CN103529942B - 基于免接触的手势的输入 - Google Patents

基于免接触的手势的输入 Download PDF

Info

Publication number
CN103529942B
CN103529942B CN201310480408.9A CN201310480408A CN103529942B CN 103529942 B CN103529942 B CN 103529942B CN 201310480408 A CN201310480408 A CN 201310480408A CN 103529942 B CN103529942 B CN 103529942B
Authority
CN
China
Prior art keywords
user
physical object
user operation
data
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310480408.9A
Other languages
English (en)
Other versions
CN103529942A (zh
Inventor
Z·莱迪沃耶维克
邹燕明
汪孔桥
R·T·塔卡拉
V·T·兰茨
R·莱赫蒂涅米
J·I·兰塔纳
R·瓦塔帕拉斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN103529942A publication Critical patent/CN103529942A/zh
Application granted granted Critical
Publication of CN103529942B publication Critical patent/CN103529942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种方法包括：在设备的附近通过用户操作的物理对象执行手势；生成数据，所述数据用于描述在执行所述手势时所述用户操作的对象的呈现；以及将所述数据解释为与至少一个对象（例如所述设备显示的对象）相关。

Description

基于免接触的手势的输入
本申请是申请号为200780024504.5的中国专利申请“基于免接触的手势的输入”（申请日：2007年6月27日）的分案申请。
技术领域
根据本发明示例性实施例的教导一般涉及电子设备的用户接口，更具体地，涉及手动激活的用户输入设备、方法、系统和计算机程序产品。
背景技术
在逐渐融合的多媒体电子行业中采用的输入设备变得越来越重要。人机终端接口在很长时间里考验着系统的设计者，然而由于几十年前鼠标的出现而没有得到明显的发展。在设备小型化和可用性的目的直接彼此冲突的移动和无线设备领域中，这是一个特别具有挑战性的问题。如果使用例如手指运动和/或用户手势的最简单形式向计算终端（CT）（其非限制性实例可包括：多媒体终端、通信终端、显示主导系统（display dominatedsystem，DDS）和设备、游戏设备和便携式计算机）提供基本输入信息，那么可实现在人类与CT之间的自然和智能的交互。
与输入设备相关的技术传统上依赖于一组机电开关（例如传统的键盘）。这样的方法需要相对较大区域用于一组开关（键盘按键），这组开关通常专用于仅一个操作。通过触摸屏显示器提供了更高级的解决方案，例如以具有集成光学触摸屏的有源矩阵LCD（AMLCD）技术将触敏开关嵌入显示器本身。在这个方法中，“单按钮”趋势向“分布式传感系统”演进，该“分布式传感系统”可嵌入设备和/或甚至直接嵌入显示器本身（AMLCD）。这种基于传感器的输入设备的物理操作可基于不同材料的机械运动、电导率/电容的改变、受静电场或光学特性的影响（通过从表面的手指阴影/反射形成）。AMLCD技术可参考文档：56.3，W.den Boer等，“Active Matrix LCD with Integrated Optical Touch Screen”，SID03文摘（Baltimore，2003），1494-1497页，以及59.3，A.Abileah等，“IntegratedOptical Touch Panel in a14.1”AMLCD”，SID04文摘，v.35，版本1，1544-1547页，它们的全部内容通过引用结合于此。
还可以参考A.Abileah等的标题为“Integrated Optical Light SensitiveActive Matrix Liquid Crystal display”的美国专利7,009,663B2（2006年3月7日），以及A.Abileah等的标题为“Light Sensitive Display”的美国专利7,053,967（2006年5月30日）（都转让给Planar系统公司），它们的全部内容通过引用结合于此。
在多媒体设备仪器的发展中，当前的趋势涉及硬件小型化以及提供较大输入容量的需求。如果输入设备可被小型化，则可为可视化组件分配更多空间，特别在显示主导概念（DDC）设备中。由于在输入设备中的改进可提供新的设计自由度以及额外的游戏相关功能，所以游戏设备的情形甚至更具有挑战性。
当前用户输入设备的实例包括基于触摸动作的设备，例如一些音乐存储和回放设备、以及某些能够识别手写字母和命令的个人数字助理（PDA）和类似设备。
此外，还涉及一些基于结构光的系统，例如在如下文档中所述的那些系统：Sze的标题为“Method for Enhancing Performance in a SystemUtilizing an Array of Sensors that Sense at Least Two Dimensions”的美国专利6,690,354B2（2004年2月10日）；Tomasi等的标题为“Quasi-Three-Dimensional Method and Apparatus to Detect and Localize Interaction ofUser-Object and Virtual Transfer Device”的美国专利6,710,770（2004年3月23日）；以及Tomasi等的标题为“Method and Apparatus forApproximating Depth of an Object’s Placement Onto a Monitored Regionwith Applications to Virtual Interface Devices”的美国专利7,050,177B2（2006年5月23日）（都转让给Canesta公司），它们的全部内容通过引用结合于此。
发明内容
根据本发明的非限制性和示例性实施例可克服上述和其它问题，并且可实现其它优点。
根据本发明示例性实施例的一方面，提供一种方法，包括：在设备的附近通过用户操作的物理对象执行手势；生成数据，所述数据用于描述在执行所述手势时所述用户操作的对象的呈现；以及将所述数据解释为与所述设备显示的至少一个对象相关。
根据本发明示例性实施例的另一方面，提供一种在计算机可读介质中实现的计算机程序产品，通过至少一个数据处理器执行所述计算机程序产品，所产生的操作包括：响应于用户在设备的表面附近使用用户操作的物理对象执行手势，来生成数据，所述数据用于描述在执行所述手势时所述用户操作的对象的呈现；以及将所述数据解释为与向用户显示的信息相关。
根据本发明示例性实施例的另一方面，提供一种设备，包括：显示信息的单元；成像系统，用于生成数据，所述数据用于描述在执行手势时用户操作的对象的呈现；以及数据处理器，将所述数据解释为与所显示的信息相关。
根据本发明示例性实施例的另一方面，提供一种方法，包括：响应于用户在设备的附近采用至少一个手指形成手势，来生成数据，所述数据用于描述在形成所述手势时所述至少一个手指的呈现；以及将所述数据解释为与显示屏上出现的至少一个对象相关。
根据本发明示例性实施例的另一方面，提供一种装置，包括：显示器，向用户显现信息；传感装置，响应于用户在所述装置的表面附近使用用户操作的物理对象执行手势，所述传感装置具有提供数据的输出，所述数据用于描述在执行所述手势时所述用户操作的对象的呈现；以及单元，具有与所述传感装置的输出耦合输入，并操作为解释数据以识别所执行的手势，以及将所识别的手势解释为在某种形式上与被显现的信息相关。
附图说明
当结合所附附图阅读时，本发明的教导的以上和其它方面在以下具体实施方式中变得更加清楚，其中：
图1A示出包括多个超声传感器（UST）作为用户输入设备的设备；
图1B是图1A的设备的简化框图；
图2A示出本发明的另一示例性实施例，其中将UST集成到以小型投影仪实现的设备中；
图2B是图2A的小型投影仪设备的简化框图；
图3A、3B（共同称为图3），图4A-4D（共同称为图4），图5A、5B（共同称为图5），和图6描述了根据本发明示例性实施例可用于选择用于执行的各个命令的示例性基于手指的手势；
图7示出手指距离的超声观察的原理；
图8A-8D（共同称为图8）示出根据本发明示例性实施例可用于选择用于执行的各个命令的示例性基于手指的手势；
图9是描述通过图10B所示的设备执行的示例性手指检测处理的逻辑流程图，其适用于捕获在图8和10A中所示的基于手指的手势；
图10A示出通过图10B的设备检测的同时接触的多个点的感测实例；
图10B是具有能够生成一个或多个指尖的图像的显示器的设备的简化框图；以及
图11是描述根据本发明示例性实施例的方法的逻辑流程图。
具体实施方式
参照图1A和1B（共同称为图1），其示出设备10，例如具有能够显现信息的至少一个视觉显示器12的显示主导设备，其包括多个超声传感器（UST）14A、14B和14C（共同称为UST14）作为用户输入设备，而图1B是图1A的设备的简化框图。应注意，在图1B中，假设设备10包括与存储器（MEM）18耦合的数据处理器（DP），所述存储器（MEM）18存储适用于在执行本发明示例性实施例时使用的程序18A。作为非限制性实例，设备10可以是或可以包括PDA、无线通信设备、游戏设备、互联网装置、远程控制设备（例如适用于通过电视机或公共交互广告牌使用的设备）、音乐存储和回放设备、投影仪、视频存储和回放设备、多媒体设备、诸如台式计算机或便携式计算机的计算机、或通常包括向用户呈现信息（例如显示屏或显示表面）或从用户接收命令和/或输入信息的用户接口的任意类型电子设备。
在图1的示例性实施例中，3个UST14排列在设备10的表面10A上，并且能够使用三角测量来检测用户手指20A、20B（还称为手指a、手指b）在三维空间中的位置。设备10采用由UST14在设备10的表面附近建立的超声场，来提供能使得设备10实时地感知手指位置以及可能的运动并做出反应的感知技术。
通常，给定的UST14使用高频声能进行检查并做出测量。为了示出一般原理，图7中示出典型的脉冲/回波设备的配置。典型的UST系统包括几个功能单元，例如脉冲发生器/接收器15A和超声传感器15B。脉冲发生器/接收器15A是分别可生成机械运动和/或电子脉冲的电子设备。传感器15B通过脉冲发生器部分驱动来生成高频超声能。声能以波的形式通过空气引入并进行传播。当在该波路径中存在中断（例如手指运动）时，能量的一部分从中断处向回反射。将被反射的波信号通过传感器15B转换成电信号，并对其进行处理以提供从传感器15B到中断处的距离（公知地，基于往返过程飞行时间的测量）。可显示对从信号生成到接收到回波时的时间的被反射的信号强度。还可以利用被反射信号的相位和强度改变来测量手指-传感器距离。
当用户的手指或更通常是手进入设备10前方的扫描场时，UST14系统测量到各个手指的距离。3个UST14传感器（在一些示例性实施例中可以在CT上具有固定的相对位置）能够提供各个手指-传感器距离的测量（a1，a2，a3，b1，b2，b3）。应注意，设备10可通过少于3个的UST14传感器来实现，然而，通过提供第三UST传感器，可通过观察在三维（3D）空间中手指运动方向上的改变来使用用于执行的手指运动和基本操作命令（例如但不限于，选择、复制、粘贴、移动、删除）。当/如果需要更高的空间检测分辨率（时），设备10还可以以例如UST传感器阵列的形式使用多于3个的UST14传感器来实现。
通常，典型地期望限制检测机构的范围，从而其在设备10的传感表面（无论传感器是UST传感器还是其它类型的传感器）附近包括相当有限的空间（其可被考虑来定义“工作封装（envelope）”），以便不会因为例如背景对象（例如用户身体的其它部分）的存在和/或运动而生成不期望的输入。典型地，传感范围将小于大约1米，更典型地，所述值大约为例如10-20cm（或更少）。典型地，最大传感范围可以是传感器技术的函数。例如，本发明的UST实施例典型地具有比下面所述的AMLCD实施例更大的检测/传感范围。可以理解，当用户将一个手指或多个手指、或者一只手或多个手放在设备10的附近时，“在设备的附近”或传感表面将是空间量、或平面或更通常是表面，它们在深度（从传感表面开始）以及横向范围（在能够从传感表面感测的区域）两个方面被包含在该传感设备的最大可用传感范围中。
应注意，在图1A中通过在显示器12上显示2个指针（例如2个十字）12A、12B而对检测的手指位置进行转换并向用户呈现。
所述UST14系统可用于在3D空间中实时地跟踪用户的手指位置。可通过在显示器12上显示一个或多个指针12A、12B来执行跟踪的可视化（可用于向用户提供感知反馈）。这个技术向用户提供了视觉坐标，并便于对在显示器12上的呈现的对象（例如图标和命令栏）进行操作。此外，如果在显示器12上显示一组标准的字符，则可向用户提供打字（键盘输入）功能，其中传统的键盘可通过虚拟键盘代替。触觉反馈（出现在机械键盘中）可通过例如显示器12上的手指“阴影”的短暂闪烁（表示特定按键被接受以及字符被输入或相应命令被执行）来代替。此外，可增加音效以确认某个命令被接受。
在一些应用中，并非检测特定手指，而是可检测整个手的所有或一部分。换句话说，被显示的指针（例如12A）可以与手的重心关联，并用于驱动/导航该指针。这种配置可大大简化（硬件和软件）的总需求，并且特别适用于在仅一个指针导航/控制需要时的情况。
图2示出本发明的另一示例性实施例，其中将UST14系统集成到以小型投影仪30实现的设备中，而图2B是图2A的小型投影仪设备30的简化框图。因此，对于在图1中同样可以找到的组件也进行编号。小型投影仪设备30包括与DP16耦合的投影仪或投影引擎32，并投放出图像34用于用户浏览。为了本发明的目的，可将图像34看作在“显示屏”或“显示表面”上。同样可显示与用户手指20A、20B的位置对应的指针34A、34B。小型投影仪设备30可经由一些有线或无线接口36（例如蓝牙收发器）链接至电话或其它多媒体设备38，并且可显示来源于设备38的数据。可采用与图1相同或类似的UST14扫描概念。此外，可以在例如组合有大型投影图像和基于用户手势输入的高级游戏概念中采用基于手指/手放置和/或运动的、与投影仪引擎32组合所得到的用户输入系统。使用基于手势的语言并结合更大格式的显示图像34，能够改进游戏概念，以及基于3D中动态用户运动的游戏设计。
可使用实时手指跟踪和在显示器/投影仪图像12/34上呈现相关指针（attributed pointers）来确定基本的面向对象或面向手势的命令。可以在不同的显示对象（例如图标、方框、滚动条和文件）上采用诸如选择、复制、粘贴、移动、删除和切换的命令。如下所述根据几个非限制性实例可将它们分成面向对象和面向手势/浏览的操作。
面向对象：
选择：手指1在显示器的一角或一些保留区域手指2在要选择的显示对象下方缓慢移动下方
复制：当被选定时通过一个手指在对象上点击
粘贴：通过一个手指快速双击
移动：缓慢移动位于移动对象上的两个手指
删除：通过先前的选定对象上的两个手指（快速）双击
切换：切换（开/关）基于手指运动方向的改变，或者可选择地，基于手指加速度的改变
面向手势/浏览：
选择与指针位置相关的对象：张开/闭合手（见图3A、3B）
前向/后向浏览：通过一个手指逆时针/顺时针周期性旋转（见图4A-4D）
放大/缩小：伸开/合拢两个手指（见图5A、5B和8D）
运行/执行预先选定的图标/命令：用两个手指围成圈（见图6）。
以上所述的示例性手势协议能够通过手指运动或手势在显示器14（或投影显示器34）上操作对象。这些示例性协议为基于手势的命令和语言提供了较大的容量和设计自由度，并且可用于利用多媒体设备10的全方位功能，同时还为游戏和其它类似的应用提供了改进。本发明的示例性实施例的使用还很好地适用于互联网浏览器和类似的应用，例如当通过HTML页面滚动以及在显示页面中选择链接时。
应注意，尽管上文描述了使用一个或多个手指，但是在UST14的能量场中采用由用户保持和操作的笔（stylus）或某些其它对象的至少一部分同样在示例性实施例的范围内。为了方便，将包括人的一个手指或多个手指、一只手或多只手、棒状物或笔的所有这些对象都称作用户操作的物理对象。
应该理解，作为几个非限制性实例，可通过基于手势的游戏设备、无线通信设备、计算机和包含计算机的仪器、机器人通信系统、用于残疾人的通信系统和导航表来使用本发明的示例性实施例。应注意，通过本发明的示例性基于超声波的实施例所提供的大大减小了用户输入设备的物理尺寸的能力，能够相应地增加用户显示设备的表面积，这在小型、手持和便携式设备（例如作为两个非限制性实例的PDA和蜂窝式电话）中是有利的。
还应注意，本发明的以上示例性实施例的使用不需要用户在手或手指上佩戴任意额外硬件。此外，由于“手指/手”的尺寸可被任意缩小，并且不限于任意特定手指/笔的尺寸，所以提高了可扩展性。
现在进一步描述本发明的示例性实施例，其中同样使用用户操作对象（例如基于手指）手势，其中通过使用成像类设备或系统（例如集成在显示设备中，例如根据上文中引用的具有集成光学触摸屏的有源矩阵LCD（AMLCD）显示设备技术构成的设备）来检测手势。这些示例性实施例还通过采用关于预定命令和协议的手指手势为命令/数据定义和通信提供计算平台，并适用于在当前和未来设备中采用最小数目键垫/键盘和最大尺寸视觉显示器的DDC设备。在这些不同的实施例中，可采用以下示例性以及非限制性手势和相关命令。
图10B示出示例性设备50的框图，所述设备50具有能够记录用户指尖的图像（例如图8和/或10A中所示的图像）的显示器52。在这种情况下的显示器52可以是根据上文中引用的具有集成光学触摸屏的有源矩阵LCD（AMLCD）显示设备技术构成的设备。应注意，改进扫描（例如文本和条形码）也可以实现。在其它实施例中，可提供一个独立相机或多个相机以便例如通过显示器52的透明表面来成像用户的手指/手。
在图10A所示的实例中，显示器52同时捕获在显示器52的表面上的5个离散位置处的用户指尖的图像。应注意，这个特定模式可被解释为一个特定手势，而所呈现的4个指尖（例如不包括拇指）可被解释为另一个特定手势。因为彼此指尖的角取向可能不同，所以在5个或更少指尖之间的间隔可改变，以编码出多个不同手势。
程序18A可适用于执行根据图9（还参见以上引用的公开文本：59.3，A.Abileah等的“Integrated Optical Touch Panel in a14.1”AMLCD”的图6）所示的逻辑流程图的程序。
通常，从捕获图像提取指尖，并记录提取结果。基于这些记录，系统判断是否开始识别处理。不管是否开始识别处理，系统都需要确定是否以及何时删除所存储的记录（这可能是基于定时器）。每当捕获新的图像时，重复所述步骤的全部或至少一部分。在捕获图像中的指尖（图8中的特征40）可看作由表示（作为非限制性实例的）重心、边缘、以及与背景不同的亮度的数据所描述的对象。存在许多图像分割方法，可用于指尖图像提取。一个示例性和非限制性分割方法是分水岭（Watershed）方法。
简而言之，分水岭是对于图像（典型地是灰度图）采用形态分水岭算子的函数。分水岭算子将图像分成分水岭区域及其边界。将灰度图看作表面，每个局部最小量可考虑成水降落在周围地区排水沟的点。分水岭的边界位于山脊的顶端。算子通过唯一索引来标记每个分水岭区域，并将边界设置为0。典型地，使用型态梯度、或包含提取边缘的图像用于分水岭算子的输入。在原始图像中的噪音和较小的不重要波动可生成伪最小梯度（spurious minima in the gradients），其可导致过度分割。平滑算子的使用或手工标记种子点是避免过度分割的两个示例性方法。此外，可参照例如Dougherty的1992年SPIE光学工程出版社的“An Introduction toMorphological Image Processing”的分水岭函数。
可使用具有3个成员的组来代表一个指尖的状态：2个用于指尖的坐标，1个用于表示它是否触摸平面（触摸状态）。栈或队列是用于在指尖触摸表面时记录坐标的合适的数据结构。可使用定时器或计数器来记录指尖何时离开表面。
根据本发明示例性实施例的手势识别任务是根据输入手势从一组候选项中选择正确的命令/操作。开始手势识别步骤的条件可取决于组的内容。例如，如果在组中仅包括X标记和复选标记（见图8B、8C），则可将条件设置为不包含指尖的连续图像的数目的阈值。如果对于该组增加放大/缩小手势，则可使用新的条件，即在一个图像中何时检测到2个指尖（见图8D）来启动手势识别处理。
存在许多不同的模式识别方法，可用于手势识别。例如，由于固有的健壮性可使用基于统计方法的方法。可包括归一化和/或平滑化技术作为手势识别处理的一部分。
记录指尖图像的状态的功能便于手势识别。然而，当这些记录没有用时，应该将它们删除。例如，只要将轨迹识别为复选标记（见图8C），就可删除表示指尖的轨迹的记录。然而，对于放大/缩小手势（见图8D），优选地仅在指尖离开显示器52的表面之后，可删除轨迹。
通常，可以理解，本发明的一方面是多个记录中每个记录的连续创建，其中多个记录中的每个记录包括用于描述在执行手势时在实时对应点处用户操作的物理对象的位置的数据。
应注意，在以上讨论的各个示例性实施例中，DP16可以是任意类型适合的数据处理器，例如体现为在集成电路中的数据处理器，并且存储器18可以是任意类型适合的数据存储设备，包括基于半导体和基于磁盘或磁带的数据存储设备。
图8中描述了在做出相应手势时通过支持图像的显示器52所记录的与显示器52的上表面关联的用户手指的“图像”。图8中标记为40的特征代表用户指尖的当前位置（当前图像），而标记为42的特征代表在用户指尖运动期间所做的先前图像，即上文提到的指尖轨迹。箭头通常表示指尖40的运动方向。
显示器52的使用可提供根据本发明示例性实施例要记录和处理的基于一个手指和多个手指的手势。现在提供几个非限制性实例。
基于一个手指的命令/协议：
1.手势：顺时针（CW）-反时针（CCW）圆形旋转（见图8A）
相关命令：浏览/滚动/列表应用
2.手势：随后通过一个手指轻敲（Tap1-Tap1…）
相关命令：激活设备/电话、运行/执行预先选定的选项
3.手势：手指在某对象/图标上保持不动（超过某时间阈值）
相关命令：选择对象/图标
4.手势：手指在某项目/对象/图标上停留之后缓慢移动
相关命令：选择该项目/对象/图标，直到移动结束
5.手势：交叉垂直线（X标记，见图8B）
相关命令：删除
6.手势：垂直移动的缺口（复选标记，见图8C）
相关命令：接受和确认
7.手势：围绕要选择的项目/图标的封闭曲线
相关命令：选择项目/图标的组
基于两个手指的命令/协议：
8.手势：线性接近/分开（手指接近，然后分离，反之亦然，见图8D）
相关命令：放大/缩小，尺寸调节
9.手势：用两个手指同时接触图标/对象
相关命令：选择准备尺寸调节的图标/对象
10.手势：用两个手指同时轻敲（Tap1和2，Tap1和2，重复…）
相关命令：高级重要性接受和确认
11.手势：一个手指在图标/对象上停留，然后特定对象的菜单出现；另一个手指进行圆形旋转，并切换菜单选项，同时抬升两个手指来选择和执行菜单选项
相关命令/应用：选择和执行菜单选项
12.混合手势
可使用上文所述的基本手势的适当组合来执行一些混合手势，例如复制（COPY）、剪切（CUT）、粘贴（PASTE）等。例如；
－复制＝选择（SELECT）＋内部的复选标记（在选择项目的附近执行）
－剪切＝选择＋内部的X标记
－粘贴基于复制，假设在复制之后剪贴板内容的指示符在屏幕上可见，然后在剪贴板上的一个轻敲（TAP）可创建粘贴命令，并将内容粘贴在指针或预先选定的项目/图标处。
以上所述的协议能够通过用户操作的物理对象（例如一个或多个手指）的运动而在显示器52上操作和/或选择对象。这些协议的使用为基于手势的命令和语言提供了较大的输入性能以及设计自由度，还可用于利用设备50的全功率（full power）。游戏设备也可以从它们的使用中获益。
参照图11，根据上述本发明的各个实施例，可以理解，提供了一种方法，包括：在设备的附近通过用户操作的物理对象执行手势（步骤11A）；生成用于描述在执行所述手势时由用户操作的对象做出的动作的数据（步骤11B）；以及将所述数据解释为与显示屏上出现的至少一个对象（例如命令）相关（步骤11C）。
应注意，可使用从触摸屏显示（2D检测系统）到3D检测系统（例如上述UST实施例）、或基于相机的系统、或基于相机-麦克风的虚拟键盘的不同输入/输出（I/O）技术来实现基于手势的协议。也可以使用结构光的系统（例如基于激光的光投射/检测系统），作为额外的非限制性实例，也可以是触摸板输入设备。
本发明这些示例性实施例的使用提供了具有最小数目所需按键的显示主导概念设备，提供了用于实现基于手势的输入设备，并且不需要提供任何重要的硬件。此外，可通过软件协议来确定命令及其解释。此外，本发明这些示例性实施例的使用提供了通过用户进行命令定制（个性化）的可能。例如，用户可以将删除手势定义为与图8B所示不同的一个手势，例如将具有从中穿过的对角线的圆圈定义为删除手势。
一般地，如这里所考虑的，由用户操作的物理对象进行的动作可以包括：一个或多个基本圆形动作、基本线性动作、至少一个基本圆形动作与至少一个基本线性动作的组合、基本圆形动作和基本线性动作中的至少一个与一段时间内基本没有动作的组合、基本曲线动作和轻敲动作。对于用户操作的物理对象包括用户的至少两个手指的情况，动作可包括一个手指相对于另一个手指的运动。记录的数据可描述用户操作的物理对象的速度和加速度中的至少一个。对于用户操作的物理对象包括用户的至少一个手指的情况，记录的数据可描述由至少一个手指摆出的至少一个形状。
当结合附图和所附权利要求阅读时，根据先前的描述，对于相关领域的普通技术人员来说，各种修改和改变变得显而易见。正如本领域的技术人员可以尝试其它手势和命令一样，仅作为一些实例，也可采用其它类似或等同的用户输入设备和技术，例如基于电阻和/或电容的触摸板或触摸屏设备。然而，本发明的教导的所有这些和类似修改仍将落入本发明的范围。
此外，通过实例，本发明示例性实施例可提供初始的用户训练会话，其中在程序18A提示时用户多次输入相同的手势，以训练对作为用户特征的特定手指运动和/或速度、以及可能的指尖尺寸的手势识别处理。作为实例，这可用于建立特定阈值或手势识别处理所使用的阈值。
此外，通过实例，并且对于图8-10的二维实施例，如果存在足够的周围照明使得即使在指尖没有与显示设备的表面实际接触时也能够获得指尖图像，那么显示器52的表面的实际接触不是必要的。在这种情况下，可以在设备50的附近的三维空间内视觉获得手指或指尖图像。
此外，在一些实施例中，可以在结合图8-10的手、手指、指尖图像实施例的相同设备中使用图1-7的UST系统，并且可以在任意给定时间使用从其中一个或另一个、或两者导出的信息进行手势识别。通常，可以在相同的设备中共同采用两个或更多类似或不同的对象感测技术。
应注意，在上述本发明的各个示例性实施例中，DP16可基于存储器18中存储的包含在程序18A中的程序指令执行基本上所有的所需处理。然而，在图像获取系统或子系统本身（例如在图1-7的基于超声的成像系统或在图8-10的基于光学的成像系统）中执行至少某些处理也在示例性实施例的范围内。例如，可以在成像系统中通过本地嵌入的数据处理器执行实际图像生成处理，并且可将结果传递至DP16并通过其处理，以执行手势识别和解释操作。
此外，可以理解，可将某些手/手指手势定义为在不同设备、应用和语言之间具有标准的和通用的含义。一个非限制性实例可以是食指和大拇指形成圆圈，而剩余的三个手指伸开（OK手势），这可普遍解释为例如“保存和关闭文件”。本发明示例性实施例的使用方便了这种类型的操作。
通常，可以理解，本发明示例性实施例的一方面是一种方法、一种计算机程序产品以及一种装置，其响应于用户在设备的附近使用用户操作的物理对象执行手势，以生成在执行手势时描述用户操作的物理对象的呈现的数据，以及将所述数据解释为与至少一个对象相关。
这里采用的“用户操作的物理对象的呈现”可包括但不限于，在二维或三维空间中用户操作的物理对象的空间方位、在二维或三维空间中用户操作的物理对象的静止、在二维或三维空间中用户操作的物理对象形成的形状、在二维或三维空间中用户操作的物理对象所做的动作、在二维或三维空间中用户操作的物理对象的速度、在二维或三维空间中用户操作的物理对象的加速度、及其组合。
例如，在执行顺时针和逆时针指尖运动的图8A中所示的手势时由用户的指尖描绘的模式可能相同（即圆圈或椭圆），然而通过实时或基本实时地感测指尖运动的方向，两个手势彼此可能不同。
应注意，可使用固定和扫描型两种传感器，例如用超声波束扫描环境的UST系统/组件。
此外，可以较好的使用本发明的实例的某些特征而无需相应地使用其它特征。由此，先前的描述应该理解为仅是本发明的原理、教导、实例和示例性实施例的示例性表述，而非对其的限制。

Claims (18)

1.一种用于在所显示的对象上实现命令的方法，包括：
在设备的附近检测通过第一用户操作的物理对象和第二用户操作的物理对象执行的手势的执行，所述检测包括检测所述第一用户操作的物理对象和所述第二用户操作的物理对象的位置；
显示第一指针，其中，所显示的第一指针的位置是基于所述第一用户操作的物理对象的位置；
显示第二指针，其中，所显示的第二指针的位置是基于所述第二用户操作的物理对象的位置；
生成数据，所述数据描述在执行所述手势时所述第一用户操作的物理对象和所述第二用户操作的物理对象的位置；以及
将所述数据解释为与所述设备所显示的对象相关，其中，将所述数据解释为与所述设备所显示的对象相关包括：在所述设备所显示的对象上实现命令。
2.如权利要求1的方法，其中，所述第一用户操作的物理对象和所述第二用户操作的物理对象包括用户的手指或者用户的手的至少一部分。
3.如权利要求1的方法，其中，生成数据包括：生成用于描述由所述第一用户操作的物理对象和所述第二用户操作的物理对象在二维或三维空间内所做的动作的数据。
4.如权利要求1的方法，其中，生成数据包括：生成用于描述由所述第一用户操作的物理对象和所述第二用户操作的物理对象在一段时间内所做的动作的数据。
5.如权利要求1的方法，其中，所述手势包括以下的至少一个：基本圆形动作、基本线性动作、至少一个基本圆形动作与至少一个基本线性动作的组合、基本圆形动作和基本线性动作与一段时间内基本无动作的组合、基本曲线动作和轻敲动作。
6.如权利要求1的方法，其中，所述手势包括：所述第一用户操作的物理对象相对于所述第二用户操作的物理对象的运动。
7.如权利要求1的方法，其中，所述数据描述所述第一用户操作的物理对象和所述第二用户操作的物理对象的速度和加速度中的至少一个。
8.如权利要求1的方法，其中，在所显示的对象上实现命令包括以下的至少一个：选择所显示的对象、移动所显示的对象、放大所显示的对象和缩小所显示的对象。
9.一种用于在所显示的对象上实现命令的装置，包括：
至少一个处理器；以及
至少一个存储计算机程序指令的存储器，其被配置为与所述至少一个处理器工作以使得所述装置至少执行以下操作：
在设备的附近检测通过第一用户操作的物理对象和第二用户操作的物理对象执行的手势的执行，所述检测包括检测所述第一用户操作的物理对象和所述第二用户操作的物理对象的位置；
显示第一指针，其中，所显示的第一指针的位置是基于所述第一用户操作的物理对象的位置；
显示第二指针，其中，所显示的第二指针的位置是基于所述第二用户操作的物理对象的位置；
生成数据，所述数据描述在执行所述手势时所述第一用户操作的物理对象和所述第二用户操作的物理对象的位置；以及
将所述数据解释为与所述设备所显示的对象相关，其中，将所述数据解释为与所述设备所显示的对象相关包括：在所述设备所显示的对象上实现命令。
10.如权利要求9的装置，其中，所述第一用户操作的物理对象和所述第二用户操作的物理对象包括用户的手指或者用户的手的至少一部分。
11.如权利要求9的装置，其中，生成数据包括：生成用于描述由所述第一用户操作的物理对象和所述第二用户操作的物理对象在二维或三维空间内所做的动作的数据。
12.如权利要求9的装置，其中，生成数据包括：生成用于描述由所述第一用户操作的物理对象和所述第二用户操作的物理对象在一段时间内所做的动作的数据。
13.如权利要求9的装置，其中，所述手势包括以下的至少一个：基本圆形动作、基本线性动作、至少一个基本圆形动作与至少一个基本线性动作的组合、基本圆形动作和基本线性动作与一段时间内基本无动作的组合、基本曲线动作和轻敲动作。
14.如权利要求9的装置，其中，所述手势包括：所述第一用户操作的物理对象相对于所述第二用户操作的物理对象的运动。
15.如权利要求9的装置，其中，所述数据描述所述第一用户操作的物理对象和所述第二用户操作的物理对象的速度和加速度中的至少一个。
16.如权利要求9的装置，其中，在所显示的对象上实现命令包括以下的至少一个：选择所显示的对象、移动所显示的对象、放大所显示的对象和缩小所显示的对象。
17.如权利要求9的装置，其中，所述装置被包含在包括用于执行无线通信的装置的设备中。
18.一种用于在所显示的对象上实现命令的系统，包括：如权利要求9的用于在所显示的对象上实现命令的装置、传感器装置和显示器。
CN201310480408.9A 2006-06-28 2007-06-27 基于免接触的手势的输入 Active CN103529942B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/477,508 2006-06-28
US11/477,508 US8086971B2 (en) 2006-06-28 2006-06-28 Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
CN2007800245045A CN101730874B (zh) 2006-06-28 2007-06-27 基于免接触的手势的输入

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2007800245045A Division CN101730874B (zh) 2006-06-28 2007-06-27 基于免接触的手势的输入

Publications (2)

Publication Number Publication Date
CN103529942A CN103529942A (zh) 2014-01-22
CN103529942B true CN103529942B (zh) 2016-09-28

Family

ID=38846028

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310480408.9A Active CN103529942B (zh) 2006-06-28 2007-06-27 基于免接触的手势的输入
CN2007800245045A Active CN101730874B (zh) 2006-06-28 2007-06-27 基于免接触的手势的输入

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2007800245045A Active CN101730874B (zh) 2006-06-28 2007-06-27 基于免接触的手势的输入

Country Status (5)

Country Link
US (2) US8086971B2 (zh)
EP (2) EP2717120B1 (zh)
KR (1) KR101098015B1 (zh)
CN (2) CN103529942B (zh)
WO (1) WO2008001202A2 (zh)

Families Citing this family (404)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9722766D0 (en) 1997-10-28 1997-12-24 British Telecomm Portable computers
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US7487444B2 (en) 2002-03-19 2009-02-03 Aol Llc Reformatting columns of content for display
US9182937B2 (en) 2010-10-01 2015-11-10 Z124 Desktop reveal by moving a logical display stack with gestures
US7725288B2 (en) * 2005-11-28 2010-05-25 Navisense Method and system for object control
US7788607B2 (en) 2005-12-01 2010-08-31 Navisense Method and system for mapping virtual coordinates
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
US8059102B2 (en) * 2006-06-13 2011-11-15 N-Trig Ltd. Fingertip touch recognition for a digitizer
US9069417B2 (en) 2006-07-12 2015-06-30 N-Trig Ltd. Hover and touch detection for digitizer
US8686964B2 (en) * 2006-07-13 2014-04-01 N-Trig Ltd. User specific recognition of intended user interaction with a digitizer
US8180114B2 (en) 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8589824B2 (en) 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US8972902B2 (en) 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US8234578B2 (en) 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US8432448B2 (en) 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7940250B2 (en) * 2006-09-06 2011-05-10 Apple Inc. Web-clip widgets on a portable multifunction device
US8354997B2 (en) * 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
US8904312B2 (en) * 2006-11-09 2014-12-02 Navisense Method and device for touchless signing and recognition
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US8656311B1 (en) 2007-01-07 2014-02-18 Apple Inc. Method and apparatus for compositing various types of content
US7872652B2 (en) * 2007-01-07 2011-01-18 Apple Inc. Application programming interfaces for synchronization
US8788954B2 (en) * 2007-01-07 2014-07-22 Apple Inc. Web-clip widgets on a portable multifunction device
US20080168402A1 (en) * 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US7903115B2 (en) 2007-01-07 2011-03-08 Apple Inc. Animations
US8813100B1 (en) 2007-01-07 2014-08-19 Apple Inc. Memory management
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8060841B2 (en) * 2007-03-19 2011-11-15 Navisense Method and device for touchless media searching
CN101689244B (zh) * 2007-05-04 2015-07-22 高通股份有限公司 用于紧凑设备的基于相机的用户输入
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US9772751B2 (en) 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
CA2591808A1 (en) * 2007-07-11 2009-01-11 Hsien-Hsiang Chiu Intelligent object tracking and gestures sensing input device
US11126321B2 (en) * 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
US9619143B2 (en) * 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US20090102603A1 (en) * 2007-10-19 2009-04-23 Fein Gene S Method and apparatus for providing authentication with a user interface system
US20090109174A1 (en) * 2007-10-30 2009-04-30 Fein Gene S Method and Apparatus for User Interface in Electronic Devices With Visual Display Units
US8477098B2 (en) 2007-10-31 2013-07-02 Gene S. Fein Method and apparatus for user interface of input devices
US20090109215A1 (en) 2007-10-31 2009-04-30 Fein Gene S Method and apparatus for user interface communication with an image manipulator
US8212768B2 (en) * 2007-10-31 2012-07-03 Fimed Properties Ag Limited Liability Company Digital, data, and multimedia user interface with a keyboard
US8139110B2 (en) 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US9377874B2 (en) 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US20090125848A1 (en) * 2007-11-14 2009-05-14 Susann Marie Keohane Touch surface-sensitive edit system
AR064377A1 (es) 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
FR2925708B1 (fr) * 2007-12-20 2009-12-18 Dav Procede de detection d'une variation angulaire d'une trajectoire de commande sur une surface tactile et module de commande correspondant
US20090189858A1 (en) * 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
US8446373B2 (en) 2008-02-08 2013-05-21 Synaptics Incorporated Method and apparatus for extended adjustment based on relative positioning of multiple objects contemporaneously in a sensing region
US8416196B2 (en) * 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
US8174502B2 (en) 2008-03-04 2012-05-08 Apple Inc. Touch event processing for web pages
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
KR101513023B1 (ko) 2008-03-25 2015-04-22 엘지전자 주식회사 단말기 및 이것의 정보 디스플레이 방법
KR101012379B1 (ko) * 2008-03-25 2011-02-09 엘지전자 주식회사 단말기 및 이것의 정보 디스플레이 방법
US20090254855A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
US9582049B2 (en) * 2008-04-17 2017-02-28 Lg Electronics Inc. Method and device for controlling user interface based on user's gesture
JP5164675B2 (ja) * 2008-06-04 2013-03-21 キヤノン株式会社 ユーザインターフェースの制御方法及び情報処理装置及びプログラム
US8345920B2 (en) 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
DE102008032448B4 (de) * 2008-07-10 2023-11-02 Rational Ag Anzeigeverfahren und Gargerät hierfür
DE102008032451C5 (de) * 2008-07-10 2017-10-19 Rational Ag Anzeigeverfahren und Gargerät hierfür
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8847739B2 (en) * 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US8527908B2 (en) * 2008-09-26 2013-09-03 Apple Inc. Computer user interface system and methods
KR101537596B1 (ko) * 2008-10-15 2015-07-20 엘지전자 주식회사 이동 단말기 및 이것의 터치 인식 방법
US8174504B2 (en) 2008-10-21 2012-05-08 Synaptics Incorporated Input device and method for adjusting a parameter of an electronic system
KR20100048090A (ko) * 2008-10-30 2010-05-11 삼성전자주식회사 터치와 모션을 통해 제어 명령을 생성하는 인터페이스 장치, 인터페이스 시스템 및 이를 이용한 인터페이스 방법
US8584031B2 (en) * 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US20100141592A1 (en) 2008-12-09 2010-06-10 Andrei Andrievsky Digital camera with character based mode initiation
US8453057B2 (en) * 2008-12-22 2013-05-28 Verizon Patent And Licensing Inc. Stage interaction for mobile device
US8030914B2 (en) * 2008-12-29 2011-10-04 Motorola Mobility, Inc. Portable electronic device having self-calibrating proximity sensors
US8275412B2 (en) 2008-12-31 2012-09-25 Motorola Mobility Llc Portable electronic device having directional proximity sensors based on device orientation
JP5168161B2 (ja) * 2009-01-16 2013-03-21 ブラザー工業株式会社 ヘッドマウントディスプレイ
DE102009008041A1 (de) * 2009-02-09 2010-08-12 Volkswagen Ag Verfahren zum Betrieb eines Kraftfahrzeuges mit einem Touchscreen
WO2010097171A1 (en) * 2009-02-25 2010-09-02 Nokia Corporation Method and apparatus for phrase replacement
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US9311112B2 (en) * 2009-03-16 2016-04-12 Apple Inc. Event recognition
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8566044B2 (en) * 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8686951B2 (en) 2009-03-18 2014-04-01 HJ Laboratories, LLC Providing an elevated and texturized display in an electronic device
US20100271312A1 (en) * 2009-04-22 2010-10-28 Rachid Alameh Menu Configuration System and Method for Display on an Electronic Device
US20100271331A1 (en) * 2009-04-22 2010-10-28 Rachid Alameh Touch-Screen and Method for an Electronic Device
EP2256592A1 (en) * 2009-05-18 2010-12-01 Lg Electronics Inc. Touchless control of an electronic device
US9417700B2 (en) * 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8294105B2 (en) * 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures
US8269175B2 (en) * 2009-05-22 2012-09-18 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting gestures of geometric shapes
US8788676B2 (en) 2009-05-22 2014-07-22 Motorola Mobility Llc Method and system for controlling data transmission to or from a mobile device
US8304733B2 (en) * 2009-05-22 2012-11-06 Motorola Mobility Llc Sensing assembly for mobile device
US8542186B2 (en) * 2009-05-22 2013-09-24 Motorola Mobility Llc Mobile device with user interaction capability and method of operating same
US8344325B2 (en) * 2009-05-22 2013-01-01 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting basic gestures
US8391719B2 (en) * 2009-05-22 2013-03-05 Motorola Mobility Llc Method and system for conducting communication between mobile devices
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
US8836648B2 (en) * 2009-05-27 2014-09-16 Microsoft Corporation Touch pull-in gesture
US8386963B2 (en) * 2009-05-28 2013-02-26 Microsoft Corporation Virtual inking using gesture recognition
TW201101198A (en) * 2009-06-17 2011-01-01 Sonix Technology Co Ltd Command input method
TWI398818B (zh) * 2009-06-30 2013-06-11 Univ Nat Taiwan Science Tech 手勢辨識方法與系統
US8941625B2 (en) 2009-07-07 2015-01-27 Elliptic Laboratories As Control using movements
US8319170B2 (en) * 2009-07-10 2012-11-27 Motorola Mobility Llc Method for adapting a pulse power mode of a proximity sensor
US20110022307A1 (en) * 2009-07-27 2011-01-27 Htc Corporation Method for operating navigation frame, navigation apparatus and recording medium
US9092115B2 (en) * 2009-09-23 2015-07-28 Microsoft Technology Licensing, Llc Computing system with visual clipboard
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
EP2491474B1 (en) * 2009-10-23 2018-05-16 Elliptic Laboratories AS Touchless interfaces
KR101639383B1 (ko) * 2009-11-12 2016-07-22 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
US20110119216A1 (en) * 2009-11-16 2011-05-19 Microsoft Corporation Natural input trainer for gestural instruction
US8665227B2 (en) * 2009-11-19 2014-03-04 Motorola Mobility Llc Method and apparatus for replicating physical key function with soft keys in an electronic device
EP2333651B1 (en) * 2009-12-11 2016-07-20 Dassault Systèmes Method and system for duplicating an object using a touch-sensitive display
US20110141013A1 (en) * 2009-12-14 2011-06-16 Alcatel-Lucent Usa, Incorporated User-interface apparatus and method for user control
US8736561B2 (en) 2010-01-06 2014-05-27 Apple Inc. Device, method, and graphical user interface with content display modes and display rotation heuristics
JP5750875B2 (ja) 2010-12-01 2015-07-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN102713798B (zh) * 2010-01-15 2016-01-13 韩国电子通信研究院 情景处理装置及方法
US9335825B2 (en) 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
US8760631B2 (en) * 2010-01-27 2014-06-24 Intersil Americas Inc. Distance sensing by IQ domain differentiation of time of flight (TOF) measurements
US8239785B2 (en) * 2010-01-27 2012-08-07 Microsoft Corporation Edge gestures
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US20110185320A1 (en) * 2010-01-28 2011-07-28 Microsoft Corporation Cross-reference Gestures
US9411504B2 (en) 2010-01-28 2016-08-09 Microsoft Technology Licensing, Llc Copy and staple gestures
US20110185299A1 (en) * 2010-01-28 2011-07-28 Microsoft Corporation Stamp Gestures
KR101114750B1 (ko) * 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치
KR101678549B1 (ko) * 2010-02-02 2016-11-23 삼성전자주식회사 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스
US9519356B2 (en) * 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
US20110191704A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Contextual multiplexing gestures
US20110191719A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Cut, Punch-Out, and Rip Gestures
US20110199342A1 (en) 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
US8797278B1 (en) * 2010-02-18 2014-08-05 The Boeing Company Aircraft charting system with multi-touch interaction gestures for managing a map of an airport
US8799827B2 (en) * 2010-02-19 2014-08-05 Microsoft Corporation Page manipulations using on and off-screen gestures
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9965165B2 (en) * 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US9274682B2 (en) * 2010-02-19 2016-03-01 Microsoft Technology Licensing, Llc Off-screen gestures to create on-screen input
US9310994B2 (en) 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US8751970B2 (en) * 2010-02-25 2014-06-10 Microsoft Corporation Multi-screen synchronous slide gesture
US20110209101A1 (en) * 2010-02-25 2011-08-25 Hinckley Kenneth P Multi-screen pinch-to-pocket gesture
US8707174B2 (en) * 2010-02-25 2014-04-22 Microsoft Corporation Multi-screen hold and page-flip gesture
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US20110209089A1 (en) * 2010-02-25 2011-08-25 Hinckley Kenneth P Multi-screen object-hold and page-change gesture
US9075522B2 (en) * 2010-02-25 2015-07-07 Microsoft Technology Licensing, Llc Multi-screen bookmark hold gesture
US8539384B2 (en) 2010-02-25 2013-09-17 Microsoft Corporation Multi-screen pinch and expand gestures
US8473870B2 (en) * 2010-02-25 2013-06-25 Microsoft Corporation Multi-screen hold and drag gesture
US20110209058A1 (en) * 2010-02-25 2011-08-25 Microsoft Corporation Multi-screen hold and tap gesture
US8756522B2 (en) * 2010-03-19 2014-06-17 Blackberry Limited Portable electronic device and method of controlling same
WO2011119154A1 (en) * 2010-03-24 2011-09-29 Hewlett-Packard Development Company, L.P. Gesture mapping for display device
US20110242305A1 (en) * 2010-04-01 2011-10-06 Peterson Harry W Immersive Multimedia Terminal
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US8881060B2 (en) 2010-04-07 2014-11-04 Apple Inc. Device, method, and graphical user interface for managing folders
US8810509B2 (en) * 2010-04-27 2014-08-19 Microsoft Corporation Interfacing with a computing application using a multi-digit sensor
US8963845B2 (en) 2010-05-05 2015-02-24 Google Technology Holdings LLC Mobile device with temperature sensing capability and method of operating same
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US9103732B2 (en) 2010-05-25 2015-08-11 Google Technology Holdings LLC User computer device with temperature sensing capabilities and method of operating same
US8751056B2 (en) 2010-05-25 2014-06-10 Motorola Mobility Llc User computer device with temperature sensing capabilities and method of operating same
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
US20110310005A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
WO2012007034A1 (en) 2010-07-13 2012-01-19 Nokia Corporation Sending and receiving information
US20120030624A1 (en) * 2010-07-30 2012-02-02 Migos Charles J Device, Method, and Graphical User Interface for Displaying Menus
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8890803B2 (en) * 2010-09-13 2014-11-18 Samsung Electronics Co., Ltd. Gesture control system
CN102446032B (zh) * 2010-09-30 2014-09-17 中国移动通信有限公司 基于摄像头的信息输入方法及终端
US9372618B2 (en) 2010-10-01 2016-06-21 Z124 Gesture based application management
JP6010036B2 (ja) * 2010-10-01 2016-10-19 ゼット１２４Ｚ１２４ タッチセンサ式ディスプレイに画像を表示する方法及び通信デバイスならびにコンピュータ可読媒体
CN102446042B (zh) * 2010-10-12 2014-10-01 谊达光电科技股份有限公司 电容式近接感应暨触控侦测装置与方法
GB2498299B (en) * 2010-10-22 2019-08-14 Hewlett Packard Development Co Evaluating an input relative to a display
KR101169583B1 (ko) * 2010-11-04 2012-07-31 주식회사 매크론 가상마우스 구동방법
JP2012104994A (ja) * 2010-11-09 2012-05-31 Sony Corp 入力装置、入力方法、プログラム及び記録媒体
KR101731346B1 (ko) * 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
CN105242258A (zh) 2010-11-16 2016-01-13 高通股份有限公司 用于基于超声反射信号的对象位置估计的系统和方法
US20120120002A1 (en) * 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
KR101646616B1 (ko) * 2010-11-30 2016-08-12 삼성전자주식회사 객체 제어 장치 및 방법
EP2649505B1 (en) * 2010-12-08 2019-06-05 Nokia Technologies Oy User interface
US9244606B2 (en) 2010-12-20 2016-01-26 Apple Inc. Device, method, and graphical user interface for navigation of concurrently open software applications
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8730190B2 (en) * 2011-01-13 2014-05-20 Qualcomm Incorporated Detect motion generated from gestures used to execute functionality associated with a computer system
EP2482164B1 (en) 2011-01-27 2013-05-22 Research In Motion Limited Portable electronic device and method therefor
EP2482168A1 (en) 2011-01-27 2012-08-01 Research In Motion Limited Portable electronic device and method therefor
US9417696B2 (en) * 2011-01-27 2016-08-16 Blackberry Limited Portable electronic device and method therefor
US8421752B2 (en) 2011-01-27 2013-04-16 Research In Motion Limited Portable electronic device and method therefor
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US10025388B2 (en) * 2011-02-10 2018-07-17 Continental Automotive Systems, Inc. Touchless human machine interface
EP2678764A4 (en) * 2011-02-22 2017-03-22 Hewlett-Packard Development Company, L.P. Control area for facilitating user input
JP2012190215A (ja) * 2011-03-10 2012-10-04 Sony Corp 入力処理装置、入力処理方法、プログラム
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
CN102693063B (zh) * 2011-03-23 2015-04-29 联想(北京)有限公司 操作控制方法、装置及电子设备
JP5766479B2 (ja) * 2011-03-25 2015-08-19 京セラ株式会社 電子機器、制御方法および制御プログラム
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US20120280900A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
EP2712436B1 (en) * 2011-05-09 2019-04-10 Koninklijke Philips N.V. Rotating an object on a screen
US20120293404A1 (en) * 2011-05-19 2012-11-22 Panasonic Corporation Low Cost Embedded Touchless Gesture Sensor
TWI466021B (zh) * 2011-05-24 2014-12-21 Asustek Comp Inc 電腦系統及其控制方法
US9104440B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US8893033B2 (en) 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US10459579B2 (en) * 2011-06-13 2019-10-29 Elliptic Laboratories As Touchless interaction
US8631317B2 (en) * 2011-06-28 2014-01-14 International Business Machines Corporation Manipulating display of document pages on a touchscreen computing device
KR101262700B1 (ko) * 2011-08-05 2013-05-08 삼성전자주식회사 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
EP2555536A1 (en) 2011-08-05 2013-02-06 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
CN102314217B (zh) * 2011-09-29 2014-01-29 上海华勤通讯技术有限公司 移动终端及移动终端挥控方法
CA2792900C (en) 2011-10-18 2017-09-05 Research In Motion Limited Method of rendering a user interface
JP6280867B2 (ja) 2011-10-18 2018-02-14 カーネギー メロン ユニバーシティ タッチセンサ表面に対するタッチ事象を分類するための方法及び装置
EP2584450A3 (en) * 2011-10-18 2014-05-21 BlackBerry Limited Method of modifying rendered attributes of list elements in a user interface
US9672050B2 (en) 2011-10-18 2017-06-06 Blackberry Limited Method of distributed layout negotiation in a user interface framework
US9075631B2 (en) 2011-10-18 2015-07-07 Blackberry Limited Method of rendering a user interface
EP2584445A1 (en) 2011-10-18 2013-04-24 Research In Motion Limited Method of animating a rearrangement of ui elements on a display screen of an eletronic device
US8984448B2 (en) 2011-10-18 2015-03-17 Blackberry Limited Method of rendering a user interface
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US8941619B2 (en) 2011-11-18 2015-01-27 Au Optronics Corporation Apparatus and method for controlling information display
CN102520791A (zh) * 2011-11-28 2012-06-27 北京盈胜泰科技术有限公司 一种无线手势识别装置
US9063591B2 (en) 2011-11-30 2015-06-23 Google Technology Holdings LLC Active styluses for interacting with a mobile device
US8963885B2 (en) 2011-11-30 2015-02-24 Google Technology Holdings LLC Mobile device for interacting with an active stylus
EP2602692A1 (en) * 2011-12-05 2013-06-12 Alcatel Lucent Method for recognizing gestures and gesture detector
CN102402290A (zh) * 2011-12-07 2012-04-04 北京盈胜泰科技术有限公司 一种肢体姿势识别方法及系统
EP2605129B1 (en) * 2011-12-16 2019-03-13 BlackBerry Limited Method of rendering a user interface
WO2013095678A1 (en) 2011-12-23 2013-06-27 Intel Corporation Mechanism to provide feedback regarding computing system command gestures
US9678574B2 (en) 2011-12-23 2017-06-13 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
US9189073B2 (en) 2011-12-23 2015-11-17 Intel Corporation Transition mechanism for computing system utilizing user sensing
US9684379B2 (en) 2011-12-23 2017-06-20 Intel Corporation Computing system utilizing coordinated two-hand command gestures
US9230171B2 (en) 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
US9052804B1 (en) 2012-01-06 2015-06-09 Google Inc. Object occlusion to initiate a visual search
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US20130201161A1 (en) * 2012-02-03 2013-08-08 John E. Dolan Methods, Systems and Apparatus for Digital-Marking-Surface Content-Unit Manipulation
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US20130204457A1 (en) * 2012-02-06 2013-08-08 Ford Global Technologies, Llc Interacting with vehicle controls through gesture recognition
CN102591587A (zh) * 2012-02-06 2012-07-18 广西佳微电子科技有限公司 一种非接触式投影机翻动系统及方法
US20150220149A1 (en) * 2012-02-14 2015-08-06 Google Inc. Systems and methods for a virtual grasping user interface
US20150015521A1 (en) * 2012-03-15 2015-01-15 Panasonic Corporation Gesture input operation processing device
JP2013218549A (ja) * 2012-04-10 2013-10-24 Alpine Electronics Inc 電子機器
TWI497347B (zh) * 2012-05-09 2015-08-21 Hung Ta Liu 以手勢為輸入之控制系統
GB2502087A (en) * 2012-05-16 2013-11-20 St Microelectronics Res & Dev Gesture recognition
EP2853989A1 (en) 2012-05-21 2015-04-01 Huawei Technologies Co., Ltd. Contactless gesture-based control method and apparatus
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN102759987A (zh) * 2012-06-13 2012-10-31 胡锦云 信息录入方法
US8907264B2 (en) 2012-06-14 2014-12-09 Intersil Americas LLC Motion and simple gesture detection using multiple photodetector segments
TWI490755B (zh) 2012-06-20 2015-07-01 Pixart Imaging Inc 輸入系統
CN103513852A (zh) * 2012-06-21 2014-01-15 深圳富泰宏精密工业有限公司 电子装置的文本编辑系统及方法
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
CN103529926A (zh) * 2012-07-06 2014-01-22 原相科技股份有限公司 输入系统
CN105378593B (zh) * 2012-07-13 2019-03-01 索尼深度传感解决方案股份有限公司 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和系统
KR101984154B1 (ko) * 2012-07-16 2019-05-30 삼성전자 주식회사 터치 및 제스처 입력을 이용한 단말의 제어 방법 및 그 단말
CN103577081B (zh) * 2012-07-30 2018-07-03 联想(北京)有限公司 一种调整显示输出的方法及电子设备
KR20140019678A (ko) * 2012-08-07 2014-02-17 삼성전자주식회사 그래픽 사용자 인터페이스 객체 생성 방법 및 장치
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
KR101938648B1 (ko) * 2012-10-23 2019-01-15 삼성전자주식회사 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
US9235342B2 (en) * 2012-11-28 2016-01-12 International Business Machines Corporation Selective sharing of displayed content in a view presented on a touchscreen of a processing system
US9075514B1 (en) * 2012-12-13 2015-07-07 Amazon Technologies, Inc. Interface selection element display
US9001064B2 (en) * 2012-12-14 2015-04-07 Barnesandnoble.Com Llc Touch sensitive device with pinch-based archive and restore functionality
CN103067782B (zh) * 2012-12-21 2017-12-22 康佳集团股份有限公司 一种基于智能电视的双手手势交互操作处理方法及系统
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
WO2014105183A1 (en) * 2012-12-28 2014-07-03 Intel Corporation Three-dimensional user interface device
CN103529930B (zh) * 2013-01-04 2016-12-28 努比亚技术有限公司 基于体感识别的索引菜单的方法、装置及其终端
CN103914143A (zh) * 2013-01-07 2014-07-09 义明科技股份有限公司 电子装置的控制方法
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US9696867B2 (en) 2013-01-15 2017-07-04 Leap Motion, Inc. Dynamic user interactions for display control and identifying dominant gestures
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9323343B2 (en) 2013-01-31 2016-04-26 Panasonic Intellectual Property Corporation Of America Information processing method and information processing apparatus
JP5572851B1 (ja) * 2013-02-26 2014-08-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 電子機器
CN104714728B (zh) * 2013-02-28 2018-10-12 联想(北京)有限公司 一种显示方法和设备
US9507425B2 (en) * 2013-03-06 2016-11-29 Sony Corporation Apparatus and method for operating a user interface of a device
US9524028B2 (en) 2013-03-08 2016-12-20 Fastvdo Llc Visual language for human computer interfaces
US9110541B1 (en) * 2013-03-14 2015-08-18 Amazon Technologies, Inc. Interface selection approaches for multi-dimensional input
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
JP5862587B2 (ja) * 2013-03-25 2016-02-16 コニカミノルタ株式会社 ジェスチャ判別装置、ジェスチャ判別方法、およびコンピュータプログラム
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9323338B2 (en) 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
US10082935B2 (en) * 2013-04-15 2018-09-25 Carnegie Mellon University Virtual tools for use with touch-sensitive surfaces
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9367137B2 (en) 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10408613B2 (en) 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
CN104298342B (zh) * 2013-07-19 2019-02-05 中兴通讯股份有限公司 一种三维空间坐标的检测方法、三维输入方法及相应装置
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
US9304596B2 (en) 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
JP2015032101A (ja) * 2013-08-01 2015-02-16 株式会社東芝 情報端末装置
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
TWI505135B (zh) * 2013-08-20 2015-10-21 Utechzone Co Ltd 顯示畫面的控制系統、輸入裝置及控制方法
CN104423578B (zh) * 2013-08-25 2019-08-06 杭州凌感科技有限公司 交互式输入系统和方法
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9194741B2 (en) 2013-09-06 2015-11-24 Blackberry Limited Device having light intensity measurement in presence of shadows
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
WO2015065341A1 (en) * 2013-10-29 2015-05-07 Intel Corporation Gesture based human computer interaction
KR102405189B1 (ko) 2013-10-30 2022-06-07 애플 인크. 관련 사용자 인터페이스 객체를 표시
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
WO2015062017A1 (zh) * 2013-10-31 2015-05-07 华为技术有限公司 悬浮或隔空操作的处理方法及装置
US9996797B1 (en) * 2013-10-31 2018-06-12 Leap Motion, Inc. Interactions with virtual objects for machine control
KR20150051278A (ko) * 2013-11-01 2015-05-12 삼성전자주식회사 오브젝트 이동 방법 및 이를 구현하는 전자 장치
CN103558920B (zh) * 2013-11-15 2018-06-19 努比亚技术有限公司 非接触式姿势的处理方法及装置
ITCO20130068A1 (it) * 2013-12-18 2015-06-19 Nu Tech S A S Di De Michele Marco & Co Metodo per fornire comandi d'utente ad un elaboratore elettronico e relativi programma per elaborare e circuito elettronico.
CN103713779A (zh) * 2013-12-31 2014-04-09 成都有尔科技有限公司 一种非接触式触控装置及其实现方法
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
EP2891950B1 (en) 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
KR102214437B1 (ko) 2014-01-10 2021-02-10 삼성전자주식회사 컴퓨팅 디바이스에서 컨텐츠 복사 실행 방법, 컨텐츠 붙여넣기 실행 방법 및 컴퓨팅 디바이스
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
CN103823555A (zh) * 2014-01-23 2014-05-28 珠海恒宇新科技有限公司 一种3d手势转换为键码的系统及方法
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
CN106068201B (zh) 2014-03-07 2019-11-01 大众汽车有限公司 用户界面和在手势检测时将输入件3d位置信号化的方法
CN104914980A (zh) * 2014-03-10 2015-09-16 联想(北京)有限公司 一种信息处理方法及装置
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
CN103914305B (zh) * 2014-04-10 2019-02-12 Oppo广东移动通信有限公司 一种移动终端上自由控制应用的方法及系统
US9569006B2 (en) * 2014-04-10 2017-02-14 Mediatek Inc. Ultrasound-based methods for touchless gesture recognition, and apparatuses using the same
CN103955277A (zh) * 2014-05-13 2014-07-30 广州三星通信技术研究有限公司 在电子设备上控制光标的方法及其装置
JP6494926B2 (ja) * 2014-05-28 2019-04-03 京セラ株式会社 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法
US9639167B2 (en) * 2014-05-30 2017-05-02 Eminent Electronic Technology Corp. Ltd. Control method of electronic apparatus having non-contact gesture sensitive region
KR102303115B1 (ko) 2014-06-05 2021-09-16 삼성전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
US9696813B2 (en) * 2015-05-27 2017-07-04 Hsien-Hsiang Chiu Gesture interface robot
CN105204610A (zh) * 2014-06-18 2015-12-30 王昱人 以动作感应来操控功能的装置
CN105320252A (zh) * 2014-06-26 2016-02-10 中兴通讯股份有限公司 一种播放器的交互方法和装置
CN108073334B (zh) * 2014-07-24 2020-12-25 Oppo广东移动通信有限公司 一种基于矢量运算的悬浮触控方法及装置
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US10310675B2 (en) * 2014-08-25 2019-06-04 Canon Kabushiki Kaisha User interface apparatus and control method
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
EP3201724A4 (en) 2014-09-30 2018-05-16 Hewlett-Packard Development Company, L.P. Gesture based manipulation of three-dimensional images
DE102014017179B4 (de) * 2014-11-20 2022-10-06 Audi Ag Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs mittels einer Bediengeste
EP3234632B1 (en) * 2014-12-15 2021-04-28 Courtius Oy Detection of acoustic events
CN104503573A (zh) * 2014-12-16 2015-04-08 苏州佳世达电通有限公司 手势操作方法及手势操作装置
US10248728B1 (en) * 2014-12-24 2019-04-02 Open Invention Network Llc Search and notification procedures based on user history information
US20160202865A1 (en) 2015-01-08 2016-07-14 Apple Inc. Coordination of static backgrounds and rubberbanding
CN104536576B (zh) * 2015-01-12 2017-05-31 苏州触达信息技术有限公司 基于超声波的同一平面内多媒体设备间手势交互方法
US20160224118A1 (en) * 2015-02-02 2016-08-04 Kdh-Design Service Inc. Helmet-used touchless sensing and gesture recognition structure and helmet thereof
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
KR20160101605A (ko) * 2015-02-17 2016-08-25 삼성전자주식회사 제스처 입력 처리 방법 및 이를 지원하는 전자 장치
CN104881192B (zh) * 2015-05-28 2018-11-16 努比亚技术有限公司 操作识别方法和装置以及终端
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
CN106484087A (zh) * 2015-09-02 2017-03-08 黄小明 一种便携遥测体感输入方法及装置
CN105302303A (zh) * 2015-10-15 2016-02-03 广东欧珀移动通信有限公司 一种游戏控制方法及装置和移动终端
CN105242861B (zh) * 2015-10-15 2019-08-02 Oppo广东移动通信有限公司 一种基于超声波的参数调节方法及装置
CN105306820A (zh) * 2015-10-15 2016-02-03 广东欧珀移动通信有限公司 控制移动终端中摄像头旋转的方法、装置及移动终端
CN105204649B (zh) * 2015-10-15 2018-01-19 广东欧珀移动通信有限公司 一种移动终端解锁的方法及装置
CN105242786A (zh) * 2015-10-15 2016-01-13 广东欧珀移动通信有限公司 一种基于超声波的应用控制方法及装置
CN105243316B (zh) * 2015-10-15 2018-01-26 广东欧珀移动通信有限公司 一种移动终端解锁的方法及装置
CN105844216B (zh) * 2016-03-11 2020-10-27 南京航空航天大学 一种利用WiFi信号识别手写字母的检测与匹配机制
CN105607745A (zh) 2016-03-16 2016-05-25 京东方科技集团股份有限公司 显示控制电路、显示控制方法和显示装置
CN105844705B (zh) * 2016-03-29 2018-11-09 联想(北京)有限公司 一种三维虚拟对象模型生成方法及电子设备
KR101671831B1 (ko) * 2016-04-11 2016-11-03 김수민 동작 인식 센서를 이용한 3차원 입력 장치
CN105881548B (zh) * 2016-04-29 2018-07-20 北京快乐智慧科技有限责任公司 唤醒智能交互机器人的方法及智能交互机器人
CN106055098B (zh) * 2016-05-24 2019-03-15 北京小米移动软件有限公司 隔空手势操作方法及装置
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
TWI634487B (zh) * 2017-03-02 2018-09-01 合盈光電科技股份有限公司 Action gesture recognition system
CN109597405A (zh) * 2017-09-30 2019-04-09 阿里巴巴集团控股有限公司 控制机器人移动的方法及机器人
CN108052202B (zh) * 2017-12-11 2021-06-11 深圳市星野信息技术有限公司 一种3d交互方法、装置、计算机设备及存储介质
DE102018201999A1 (de) * 2018-02-08 2019-08-08 BSH Hausgeräte GmbH Haushaltskältegerätevorrichtung
US10585525B2 (en) 2018-02-12 2020-03-10 International Business Machines Corporation Adaptive notification modifications for touchscreen interfaces
US10579099B2 (en) 2018-04-30 2020-03-03 Apple Inc. Expandable ring device
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US11360558B2 (en) 2018-07-17 2022-06-14 Apple Inc. Computer systems with finger devices
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
CN109634415B (zh) * 2018-12-11 2019-10-18 哈尔滨拓博科技有限公司 一种用于控制模拟量的手势识别控制方法
CN109480903A (zh) * 2018-12-25 2019-03-19 无锡祥生医疗科技股份有限公司 超声诊断设备的成像方法、装置及系统
CN109480904A (zh) * 2018-12-25 2019-03-19 无锡祥生医疗科技股份有限公司 一种超声成像方法、装置及系统
CN109753219B (zh) * 2018-12-29 2021-07-20 广州欧科信息技术股份有限公司 基于虚拟现实的手工艺品制作系统、方法及装置
US10818015B2 (en) * 2019-01-28 2020-10-27 Florida Analytical Imaging Solutions, LLC. Automatic region of interest selection in centrosome analysis
CN109947183B (zh) * 2019-03-27 2021-12-24 联想(北京)有限公司 一种控制方法及电子设备
US11016643B2 (en) 2019-04-15 2021-05-25 Apple Inc. Movement of user interface object with user-specified content
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
US11360587B1 (en) 2020-04-07 2022-06-14 Apple Inc. Deployment systems for computer system finger devices
US20220358256A1 (en) * 2020-10-29 2022-11-10 Intrface Solutions Llc Systems and methods for remote manipulation of multi-dimensional models

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US7084859B1 (en) * 1992-09-18 2006-08-01 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US5959612A (en) 1994-02-15 1999-09-28 Breyer; Branko Computer pointing device
US5821922A (en) * 1997-05-27 1998-10-13 Compaq Computer Corporation Computer having video controlled cursor system
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US6313825B1 (en) * 1998-12-28 2001-11-06 Gateway, Inc. Virtual input device
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
US7050177B2 (en) * 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US6847354B2 (en) * 2000-03-23 2005-01-25 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Three dimensional interactive display
US6624833B1 (en) * 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
US7042442B1 (en) * 2000-06-27 2006-05-09 International Business Machines Corporation Virtual invisible keyboard
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6903730B2 (en) * 2000-11-10 2005-06-07 Microsoft Corporation In-air gestures for electromagnetic coordinate digitizers
AU2002243265A1 (en) * 2000-11-19 2002-06-24 Canesta, Inc. Method for enhancing performance in a system utilizing an array of sensors that sense at least two-dimensions
DE10100615A1 (de) * 2001-01-09 2002-07-18 Siemens Ag Handerkennung mit Positionsbestimmung
US6775014B2 (en) * 2001-01-17 2004-08-10 Fujixerox Co., Ltd. System and method for determining the location of a target in a room or small area
US7053967B2 (en) * 2002-05-23 2006-05-30 Planar Systems, Inc. Light sensitive display
US7009663B2 (en) * 2003-12-17 2006-03-07 Planar Systems, Inc. Integrated optical light sensitive active matrix liquid crystal display
SE521283C2 (sv) * 2002-05-10 2003-10-14 Henrik Dryselius Anordning för inmatning av styrsignaler till en elektronisk apparat
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
US7554530B2 (en) * 2002-12-23 2009-06-30 Nokia Corporation Touch screen user interface featuring stroke-based object selection and functional object activation
US7231609B2 (en) * 2003-02-03 2007-06-12 Microsoft Corporation System and method for accessing remote screen content
KR100588042B1 (ko) * 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
GB2419433A (en) * 2004-10-20 2006-04-26 Glasgow School Of Art Automated Gesture Recognition
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
US20070064004A1 (en) * 2005-09-21 2007-03-22 Hewlett-Packard Development Company, L.P. Moving a graphic element
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control

Also Published As

Publication number Publication date
EP2717120A1 (en) 2014-04-09
EP2038732A2 (en) 2009-03-25
EP2038732A4 (en) 2012-01-18
WO2008001202A3 (en) 2008-05-22
KR20090029816A (ko) 2009-03-23
KR101098015B1 (ko) 2011-12-22
US20120056804A1 (en) 2012-03-08
CN101730874A (zh) 2010-06-09
WO2008001202A2 (en) 2008-01-03
US20080005703A1 (en) 2008-01-03
CN103529942A (zh) 2014-01-22
EP2717120B1 (en) 2021-05-19
CN101730874B (zh) 2013-11-13
US8086971B2 (en) 2011-12-27

Similar Documents

Publication Publication Date Title
CN103529942B (zh) 基于免接触的手势的输入
US10511778B2 (en) Method and apparatus for push interaction
Akaoka et al. DisplayObjects: prototyping functional physical interfaces on 3d styrofoam, paper or cardboard models
CN105183211B (zh) 用于管理并行打开的软件应用的方法和相关设备
CN105683882B (zh) 等待时间测量与测试系统和方法
KR100783552B1 (ko) 휴대 단말기의 입력 제어 방법 및 장치
CN104487929B (zh) 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
CA2662313C (en) Information output device
CN103502923B (zh) 用户与设备的基于触摸和非触摸的交互作用
CN105556438A (zh) 用于使用关于状态变化的信息来提供对用户输入的响应并预测未来用户输入的系统和方法
CN102915112A (zh) 用于近距离动作跟踪的系统和方法
CN104756054A (zh) 通过超声波传感器进行力检测
CN102165405A (zh) 利用基于交叉的小部件操纵的触摸输入
US20110250929A1 (en) Cursor control device and apparatus having same
Fiorella et al. Multi-touch user interface evaluation for 3D object manipulation on mobile devices
CN105247463B (zh) 增强的画布环境
CN104137026B (zh) 用于制图识别的方法、装置和系统
CN103472931A (zh) 鼠标仿真触控屏幕操作的方法
JP6699406B2 (ja) 情報処理装置、プログラム、位置情報作成方法、情報処理システム
CN103793053B (zh) 一种便携式终端的手势投影方法及装置
Cuypers et al. Eunomia: toward a framework for multi-touch information displays in public spaces
Athira Touchless technology
Moeslund et al. Towards natural, intuitive and non-intrusive hci devices for roundtable meetings
US11782594B2 (en) Display apparatus, display system, and display method
Park Evaluation of interaction tools for augmented reality based digital storytelling

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151222

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

C14 Grant of patent or utility model
GR01 Patent grant