CN104471511B - 识别指点手势的装置、用户接口和方法 - Google Patents

识别指点手势的装置、用户接口和方法 Download PDF

Info

Publication number
CN104471511B
CN104471511B CN201380025048.1A CN201380025048A CN104471511B CN 104471511 B CN104471511 B CN 104471511B CN 201380025048 A CN201380025048 A CN 201380025048A CN 104471511 B CN104471511 B CN 104471511B
Authority
CN
China
Prior art keywords
plane
indication
predefined
user
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380025048.1A
Other languages
English (en)
Other versions
CN104471511A (zh
Inventor
I·卡茨
A·申弗尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eyesight Mobile Technologies Ltd
Original Assignee
Eyesight Mobile Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eyesight Mobile Technologies Ltd filed Critical Eyesight Mobile Technologies Ltd
Priority to CN201810224201.8A priority Critical patent/CN108469899B/zh
Publication of CN104471511A publication Critical patent/CN104471511A/zh
Application granted granted Critical
Publication of CN104471511B publication Critical patent/CN104471511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

目前所公开的主题包括一种识别平面上的瞄准点的方法。处理通过一个或更多个图像传感器捕获的图像以获得指示至少一个指点元件在观察空间中的位置的数据以及指示观察空间中的至少一个预定义的用户身体部位的数据；利用获得的数据标识平面上的瞄准点。在确定满足预定义的条件的情况下，执行预定义的命令和/或消息。

Description

识别指点手势的装置、用户接口和方法
技术领域
本发明涉及用户接口以及包括用户接口的装置。
背景技术
已尝试利用光学传感器实现手势识别以用于向装置输入命令。手势识别需要在多个成像器中的每一个中在视频流中标识诸如手的身体部位。
例如，已知基于手势的系统在视频流中标识手势。对手势进行归类以确定向相关电子装置中的输入。接收的输入可用于控制相应系统的各个方面。
发明内容
根据目前所公开的主题的一个方面，提供一种识别平面上的瞄准点的方法，该方法包括：获得图像传感器的观察空间的至少一个图像；
通过操作上连接到所述图像传感器的至少一个处理器处理所述至少一个图像，并获得指示至少一个指点元件在所述观察空间中的位置的数据；获得指示所述观察空间中的至少一个预定义的用户身体部位的数据；以及通过所述至少一个处理器利用指示所述至少一个指点元件的位置的数据以及指示至少一个预定义的用户身体部位的位置的数据确定所述平面上的点或区域，从而得到所述平面上的瞄准点；在获得指示至少一个指点元件在所述观察空间中的位置的数据的同时确定满足预定义的条件；以及执行与所述瞄准点关联的预定义的命令和/或消息。
在一些情况下，可选地，根据目前所公开的主题的这一方面的方法可包括以下特征中的一个或更多个(按照任何期望的组合或排列)。
i.其中，所述方法还包括：在所述平面上显示至少一个图形元素；通过所述至少一个处理器利用指示所述平面上的所述瞄准点的位置的数据从显示在所述平面上的所述至少一个图形元素中标识给定图形元素。
ii.其中，确定所述平面上的所述瞄准点的步骤还包括：标识所述至少一个预定义的用户身体部位，所述至少一个身体部位包括所述用户的脸部和所述用户的预定义的脸部部位中的至少一个；标识所述至少一个指点元件；确定所述至少一个身体部位在所述观察空间内的位置，从而得到第一位置；确定所述至少一个指点元件在所述观察空间内的位置，从而得到第二位置；确定与所述第一位置和所述第二位置相关的至少一条观察射线；以及将所述瞄准点确定为所述平面上与所述至少一条观察射线和所述平面的交点关联的点。
iii.其中，确定所述第一位置的步骤包括：确定所述至少一个身体部位的二维位置；估计所述至少一个身体部位距所述平面的距离；并且其中，确定所述第二位置的步骤包括：确定所述至少一个指点元件的二维位置；以及估计指点元件距所述第一位置的距离。
iv.其中，确定所述第一位置的步骤包括：确定所述至少一个身体部位的二维位置；估计所述至少一个身体部位距所述平面的距离；并且其中，确定所述第二位置的步骤包括：确定所述至少一个指点元件的二维位置；以及估计指点元件距所述平面的距离。
v.其中，所述至少一个预定义的身体部位距所述平面的距离的估计和所述指点元件距所述第一位置的距离的估计中的至少一个利用存储在数据仓库中的数据来执行。
vi.其中，所述至少一个身体部位距所述平面的距离的估计利用指示所述用户的两个或更多个脸部部位之间的距离的数据来执行。
vii.其中，指点元件距所述第一位置的距离的估计利用关于下列项中的至少一个的数据来执行：所述用户的身高；估计的所述用户的身体比例；估计的所述用户距所述平面的距离；以及多个距离值，各个距离值表示记录的在指点手势期间至少一个指点元件与相应用户的预定义的身体部位之间的距离。
viii.其中，所述第一位置和所述第二位置的确定中的至少一个利用通过所述图像传感器和深度传感器获得的信息来执行。
ix.其中，所述深度传感器的分辨率小于所述图像传感器的分辨率。
x.其中，所述第二位置被确定为在所述观察空间中在指点手势期间所述指点元件最靠近所述平面的点P'处所述指点元件的位置。
xi.其中，所述方法还包括：利用从所述指点手势期间所述指点元件的运动提取的位置特征来确定点P'处所述指点元件的位置。
xii.其中，所述方法还包括校准处理，该校准处理包括：在所述平面上显示包括至少一个图形元素的校准序列；针对各个给定图形元素，在所述观察空间中标识所述至少一个指点元件；确定连接所述给定图形元素、所述至少一个指点元件和用户的所述预定义的身体部位的至少一条观察射线；确定所述至少一个指点元件和所述预定义的用户身体部位中的至少一个的相应位置；以及将所述相应位置与所述给定图形元素关联地存储在数据仓库中。
xiii.其中，所述校准还包括：生成校准映射，该校准映射指示所述平面上的多个位置与所述指点元件距所述至少一个预定义的用户身体部位的相应距离之间的关联。
xiv.其中，所述方法还包括：利用所述校准映射中的数据确定所述瞄准点。
xv.其中，所述方法还包括所述校准序列包括需要将在操作上连接到所述至少一个图像传感器和所述至少一个处理器的装置从待机模式切换为激活模式和/或解锁所述装置来选择的至少一个图形元素。
xvi.其中，所述方法还包括利用第一类型的特征和第二类型的特征中的至少一个来确定所述平面上的所述瞄准点；其中，所述第一类型的特征包括关于在指点手势期间所述指点元件的运动路径的特征，所述第二类型的特征包括关于至少一个候选平面的特征。
xvii.其中，所述第一类型的特征包括在所述指点手势期间所述指点元件的选择的符合预定义的标准的位置数据分量的集合；该方法还包括：针对选择的位置数据的集合中的各个给定位置数据分量，确定相应观察射线，所述相应观察射线从所述至少一个预定义的用户身体部位的位置延伸穿过所述至少一个指点元件的位置并与所述平面相交，从而得到相应候选平面，其中，所述至少一个指点元件的位置对应于所述给定位置数据分量；确定各个候选平面之间的交叠区域；利用指示所述交叠区域的数据来确定所述瞄准点。
xviii.其中，所述方法还包括：在所述平面上显示指点视觉效果；检测所述指点元件在所述观察空间中的运动路径；与所述指点元件的运动路径相关地改变显示的指点视觉效果的至少一个特性，从而提供指示在所述指点手势期间所述平面上的瞄准点的位置的数据。
xix.其中，改变所述指点视觉效果的所述至少一个特性包括下列项中的至少一个：随着所述指点元件与所述平面之间的距离减小而减小所述指点视觉效果的尺寸；以及随着所述指点元件与所述平面之间的距离增大而增大所述指点视觉效果的尺寸。
xx.其中，当满足预定义的指点视觉效果条件时显示所述指点视觉效果。
xxi.其中，所述预定义的条件是所述指点元件指向显示在所述显示器上的给定图形元素达至少预定义的量的时间。
xxii.其中，所述预定义的条件是所述指点元件执行了预定义的手势。
xxiii.其中，所述方法还包括：标识由所述指点元件执行的预定义的第一手势；响应于所述第一手势标识给定图形元素；标识由所述指点元件执行的预定义的第二手势；以及响应于所述第二手势执行命令和/或消息，其中，所述命令和/或消息与所述给定图形元素关联，并且其中，在所述第一手势之前、期间或之后标识所述第二手势。
xxiv.其中，所述至少一个预定义的用户身体部位是用户的眼睛。
xxv.其中，所述平面是显示器。
根据目前所公开的主题的另一方面，提供一种装置，该装置包括在操作上连接到至少一个处理器的至少一个图像传感器，所述至少一个图像传感器被配置为获得观察空间的至少一个图像，所述至少一个处理器被配置为：处理所述至少一个图像并获得指示至少一个指点元件在所述观察空间中的位置的数据；获得指示所述观察空间中的至少一个预定义的用户身体部位的数据；并且通过所述至少一个处理器利用指示所述至少一个指点元件的位置的所述数据和指示至少一个预定义的用户身体部位的位置的所述数据确定所述平面上的点或区域，从而得到所述平面上的瞄准点；在获得指示至少一个指点元件在所述观察空间中的位置的数据的同时确定满足预定义的条件；并且执行与所述瞄准点关联的预定义的命令和/或消息。
根据目前所公开的主题的另一方面，提供一种在操作上可连接到装置以允许将命令输入至所述装置的用户接口，该用户接口包括在操作上连接到至少一个处理器的至少一个图像传感器，所述至少一个图像传感器被配置为获得观察空间的至少一个图像，所述至少一个处理器被配置为：处理所述至少一个图像并获得指示至少一个指点元件在所述观察空间中的位置的数据；获得指示所述观察空间中的至少一个预定义的用户身体部位的数据；并且通过所述至少一个处理器利用指示所述至少一个指点元件的位置的所述数据和指示至少一个预定义的用户身体部位的位置的所述数据确定所述平面上的点或区域，从而得到所述平面上的瞄准点；在获得指示至少一个指点元件在所述观察空间中的位置的数据的同时确定满足预定义的条件；并且执行与所述瞄准点关联的预定义的命令和/或消息。
根据目前所公开的主题的另一方面，提供一种可由机器读取的有形地具体实现指令程序的程序存储装置，所述指令程序可由所述机器执行以执行一种识别平面上的瞄准点的方法，该方法包括：获得图像传感器的观察空间的至少一个图像；通过操作上连接到所述图像传感器的至少一个处理器处理所述至少一个图像，并获得指示至少一个指点元件在所述观察空间中的位置的数据；获得指示所述观察空间中的至少一个预定义的用户身体部位的数据；以及通过所述至少一个处理器利用指示所述至少一个指点元件的位置的所述数据以及指示至少一个预定义的用户身体部位的位置的所述数据确定所述平面上的点或区域，从而得到所述平面上的瞄准点；在获得指示至少一个指点元件在所述观察空间中的位置的数据的同时确定满足预定义的条件；以及执行与所述瞄准点关联的预定义的命令和/或消息。
根目前所公开的主题的另一方面，提供一种包含指令的计算机程序代码，所述指令使得处理器执行一种识别平面上的瞄准点的方法的操作，所述操作包括：获得图像传感器的观察空间的至少一个图像；通过操作上连接到所述图像传感器的至少一个处理器处理所述至少一个图像，并获得指示至少一个指点元件在所述观察空间中的位置的数据；获得指示所述观察空间中的至少一个预定义的用户身体部位的数据；以及通过所述至少一个处理器利用指示所述至少一个指点元件的位置的所述数据以及指示至少一个预定义的用户身体部位的位置的所述数据确定所述平面上的点或区域，从而得到所述平面上的瞄准点；在获得指示至少一个指点元件在所述观察空间中的位置的数据的同时确定满足预定义的条件；以及执行与所述瞄准点关联的预定义的命令和/或消息。
根据目前所公开的主题的某些实施方式，所述计算机程序代码被具体实现在计算机可读介质上。
可选地，根据目前所公开的主题的上述不同方面的装置、用户接口、程序存储装置和计算机程序代码可包括上述特征(i-xxv)中的一个或更多个(按照任何期望的组合或排列，加以必要的修改)。
附图说明
为了理解本发明并且看出它在实践中可如何实现，现在将参照附图仅通过非限制示例描述实施方式，附图中：
图1示出根据目前所公开的主题的系统；
图2a示出示意性地示出根据目前所公开的主题的处理单元的功能框图；
图2b示出示意性地示出根据目前所公开的主题的系统2的示例的功能框图；
图3是示出根据目前所公开的主题执行的操作的示例的流程图；
图4是演示根据目前所公开的主题的在用户指向屏幕时点P’的示意图；
图5是示出根据目前所公开的主题执行的确定点P’的操作的示例的流程图。
图6a是示出根据目前所公开的主题的用户指向显示器的俯视图的示意图；
图6b是示出根据目前所公开的主题的生成相似投影的指点元件的不同延伸的示意图；
图7是示出根据目前所公开的主题的在校准处理期间执行的操作的示例的流程图；
图8是演示根据目前所公开的主题执行的校准处理的示例的示意图；
图9是示出根据目前所公开的主题执行的操作的示例的流程图；
图10是示出根据目前所公开的主题的三个局部交叠候选平面的示意图；
图11是示出根据目前所公开的主题执行的操作的示例的另一流程图；以及
图12a和图12b是根据目前所公开的主题的响应于用户的指点手势的指点视觉效果的特性的改变的示例的示意图。
在公开的附图和说明书中，只要看起来适当，相同的标号指示不同的实施方式或配置所共有的那些组件。
具体实施方式
除非另外明确指出，否则从以下讨论显而易见的是，将理解，贯穿说明书的使用诸如“获得”、“处理”、“获得”、“确定”、“执行”等的术语的讨论包括计算机操纵数据和/或将数据变换为其它数据的动作和/或处理，所述数据被表示为物理量(例如，电子量)和/或所述数据表示物理对象。
本文所述的系统2包括计算机或者换句话讲连接到计算机。术语“计算机”应该被扩展地解释为覆盖具有数据处理能力的任何类型的电子装置，包括(作为非限制性示例)个人计算机、服务器、计算系统、通信装置或处理器。例如，处理器可以是被配置为运行一个或更多个软件程序的通用处理器、DSP(数字信号处理器)或GPU(图形处理单元)中的一个或更多个。另选地，处理器可以是专用硬件、专用集成电路(ASIC)。作为另一替代方式，处理器可以是专用硬件、专用集成电路(ASIC)与通用处理器、DSP(数字信号处理器)和GPU(图形处理单元)中的任一个或更多个的组合。
依据本文中的教导的操作可由为期望的目的专门构造的计算机或者由为期望的目的专门配置的通用计算机通过存储在计算机可读存储介质中的计算机程序来执行。
如本文所用的术语图像传感器应该从广义上解释为包括任何图像获取装置，包括(例如)下列项中的一个或更多个：相机、光传感器、IR传感器、超声传感器、接近传感器、CMOS图像传感器、短波红外(SWIR)图像传感器或反射传感器，“深度传感器”、生成指示传感器的观察空间中的对象的距离的视频的任何其它模块。传感器模块可包括(但不限于)飞行时间传感器、IR网格投影、立体技术以及电磁场的改变的分析。2维(2D)图像是由图像传感器获得的指示传感器的观察空间(FOV)中的对象投影在二维平面上的数据的图像。3维(3D)图像是由图像传感器获得的指示传感器的观察空间(FOV)中的对象投影在二维平面上的距离和位置的数据的图像。
如本文所用，短语“例如”、“诸如”及其各种变型描述本文所公开的主题的非限制性实施方式。说明书中提及的“一种情况”、“一些情况”、“其它情况”或其变型表示结合实施方式描述的特定特征、结构或特性包括在本文所公开的主题的至少一个实施方式中。因此，短语“一种情况”、“一些情况”、“其它情况”或其变型的出现不必指相同的实施方式。
将理解，本文所公开的主题的为了清晰起见在分开的实施方式的背景下描述的某些特征也可在单个实施方式中组合提供。相反，本文所公开的主题的为了简明在单个实施方式的背景下描述的各种特征也可分别提供或者按照任何合适的子组合来提供。
在本文所公开的主题的实施方式中，可执行与图3、图5、图7、图8和图11所示的那些步骤相比更少、更多和/或不同的步骤。在本文所公开的主题的实施方式中，图3、图5、图7、图8和图11所示的一个或更多个步骤可按照不同的次序来执行，和/或一组或更多组步骤可同时执行。图1、图2a和图2b示出依据本文所公开的主题的实施方式的系统架构的一般示意图。图1、图2a和图2b中的模块/组件可集中于一个位置，或者分散在不止一个位置上。在本文所公开的主题的其它实施方式中，所述系统可包括与图1、图2a和图2b所示的那些模块/组件相比更少、更多和/或不同的模块/组件。
应该注意的是，如本文所用的术语“标准”(或“条件”)应该被扩展地解释为包括任何复合标准(或条件)，包括例如多种标准(或条件)和/或其逻辑组合。
记住以上内容，现在看图1，图1示出依据本文所公开的主题的用于具有显示器的装置的无触摸操作的系统2。系统2包括具有显示器6的装置4。如本文所用的术语“装置”包括(但不限于)下列项中的任一个：个人计算机(PC)、娱乐装置、机顶盒、TV和移动游戏机、移动电话或平板、电子阅读器、便携式游戏控制台、诸如膝上型计算机或超极本的便携式计算机、个人计算机(PC)、一体机、TV、机顶盒、连接的TV、显示装置、家用电器、通信装置、空调机、扩展坞、游戏机、数码相机、手表、交互平板(interactive surface)、3D显示器、娱乐装置、扬声器、智能家居、厨房电器、媒体播放器或媒体系统、基于位置的装置；以及移动游戏机、微型投影仪或嵌入式投影仪、医疗装置、医疗显示装置、车辆、车载/空中信息娱乐系统、导航系统、可佩戴装置、具有增强现实功能的装置、可佩戴护目镜、基于位置的装置、机器人、交互数字标牌、数字亭、自动贩卖机、ATM。
如本文所用的术语“显示器”应该从广义上解释为包括显示图像或其它类型的视觉信息的任何类型的平面或表面，包括(但不限于)任何类型的显示器(例如，CRT、等离子、LCD、LED、OLED、3D显示器、电子墨水)。术语“显示器”可从广义上解释为包括投影仪以及它在其上投影任何类型的图像或视觉信息的平面或表面。应该注意的是，在当前讨论提及“显示器”的情况下，这应该被视为仅仅是示例，应该从广义上解释为包括任何类型的显示器，包括如上所述的平面或表面。术语“显示器”和“平面”在本文中可互换使用。
图像传感器系统8与装置4相邻设置，并获得由虚线10指示的三维观察空间(或者称作视野)的图像。用户16位于该观察空间中，因此出现在图像传感器系统8所获得的图像中。图像传感器系统8的输出可以是(例如)2D(二维)彩色或红外(IR)视频。另选地，图像传感器系统8可以是包括3D图像传感器或两个2D立体图像传感器的深度视频系统。图像传感器系统8可包括上述图像传感器类型中的一些或全部的组合。
图像传感器系统8所获得的图像被输入至处理单元12，该处理单元12可与图像传感器系统集成或者通过有线或无线通信信道连接到图像传感器系统。图2a中示意性地示出处理单元12。处理单元12包括处理器15以及可用于存储图像传感器系统8所获得的图像的存储器13。处理单元12被配置为分析图像传感器系统8所获得的图像，并且跟踪一个或更多个预定义的指点元件，用户使用所述指点元件来与显示器交互。例如，指点元件可以是位于图像传感器系统8的观察空间中的用户16的指尖14。在其它情况下，指点元件可以是(例如)用户的一只或更多只手、手的一部分、一根或更多根手指、手指的一个或更多个部分(一个或更多个指尖)或者手持手写笔。需要注意的是，在以下讨论中，术语“指尖”偶尔用作指点元件的示例。这仅是作为非限制性示例，不应被解释为以任何方式限制本文所公开的主题。
根据本文所公开的主题，处理单元12还被配置为确定指尖14所指向的显示器6上的点或区域(或者本文中称作“瞄准点”)。处理单元12可被配置为指示处理单元所确定的指尖14所指向的显示器6上的图标。
例如，被指向的图标的指示(反馈)可作为视觉指示、听觉指示、触感指示、超声指示或触觉指示来提供。例如，视觉指示可以是诸如显示在显示器上的图标、显示器上的图标的改变、显示器上的图标的颜色的改变、指示灯、在显示器上移动的指示符、定向振动指示或空气触感指示的形式。所述指示可通过在显示器上移动的指示符来提供。所述指示符可出现在显示器上出现的所有其它图像或视频的顶部。用户的眼睛22、指尖14以及显示器6上选择的图标是共线的，落在共同的观察射线24上。
应该注意的是，如本文所用的术语“图标”用作显示在显示器上并且可被用户选择的图形元素的一个非限制性示例。例如，除了图标以外，这些图形元素可包括2D和3D图形元素、显示的图像和/或电影内示出的对象和/或对象的一部分、显示在显示器上或显示的文件内的文本、交互游戏内的对象、像素或像素集合等。
处理单元12还被配置为在显示器6上显示一个或更多个可选择的图形元素(例如，图标)20。图1中示出四个图标20a、20b、20c和20d。这仅是示例，任何数量的图标可在任何时间显示在显示器6上。用户16可通过用指点元件14指向用户希望选择的特定图标来选择任一个图标。
处理单元可被配置为基于预定义的标准标识用户对图标的选择。例如，当用户指向图标达预定义的时段(例如，预定义的秒数)时，处理单元确定期望选择该图标。根据另一示例，处理单元可被配置为当用户朝着选择的图标执行预定义的动作时标识用户对图标的选择。例如，所述动作可以是由指点元件14朝着选择的图标移动，然后指尖14远离选择的图标的移动构成的轻击动作。系统2还可被配置为在指点图标时并且在选择一个时产生视觉和/或听觉反馈。
如图1例示的，指点元件14没有必要在指点的同时或者在轻击动作期间接触显示器6。在参照图1所示的示例中，指尖14指向图标20b。处理单元在图像传感器系统8所获得的视频流的图像中检测到对图标20b的选择。当处理单元确定选择了特定图标时，执行与选择的图标关联的对应命令和/或消息。
应该注意的是，如本文所用，本文所提及的命令和/或消息可被递送至任何类型的目的地，包括(但不限于)下列项中的一个或更多个：操作系统、一个或更多个服务、一个或更多个应用、一个或更多个装置、一个或更多个远程应用、一个或更多个远程服务或者一个或更多个远程装置。
本文所公开的主题还可包括响应于图形元素的选择与外部装置或网站的通信。所述通信可包括向外部装置上运行的应用、外部装置上运行的服务、外部装置上运行的操作系统、外部装置上运行的进程、外部装置的处理器上运行的一个或更多个应用、在外部装置的后台中运行的软件程序、或者向外部装置上运行的一个或更多个服务发送消息。所述方法还可包括向装置上运行的应用、装置上运行的服务、装置上运行的操作系统、装置上运行的进程、装置的处理器上运行的一个或更多个应用、装置的后台中运行的软件程序、或者向装置上运行的一个或更多个服务发送消息。
本文所公开的主题还可包括响应于图形元素的选择，发送向外部装置上运行的应用、外部装置上运行的服务、外部装置上运行的操作系统、外部装置上运行的进程、外部装置的处理器上运行的一个或更多个应用、外部装置的后台中运行的软件程序、或者向外部装置上运行的一个或更多个服务，请求与图像中标识的图形元素有关的数据的消息。
本文所公开的主题还可包括响应于图形元素的选择，发送向装置上运行的应用、装置上运行的服务、装置上运行的操作系统、装置上运行的进程、装置的处理器上运行的一个或更多个应用、装置的后台中运行的软件程序、或者向装置上运行的一个或更多个服务，请求与图像中标识的图形元素有关的数据的消息。
向外部装置或网站的消息可以是命令。例如，该命令可选自在外部装置或网站上运行应用的命令、停止外部装置或网站上运行的应用的命令、激活外部装置或网站上运行的服务的命令、停止外部装置或网站上运行的服务的命令、或者发送与图像中标识的图形元素有关的数据的命令。
向装置的消息可以是命令。例如，该命令可选自在装置上运行应用的命令、停止装置或网站上运行的应用的命令、激活装置上运行的服务的命令、停止装置上运行的服务的命令、或者发送与图像中标识的图形元素有关的数据的命令。
本文所公开的主题还包括响应于图形元素的选择，从外部装置或网站接收与图像中标识的图形元素有关的数据，并且将接收的数据呈现给用户。与外部装置或网站的通信可经由通信网络。
通过用两只手进行指点所执行的命令和/或消息可包括(例如)选择区域、通过使指尖远离彼此或朝着彼此移动来放大或缩小选择的区域、通过指尖的旋转移动来使选择的区域旋转。通过用两根手指进行指点所执行的命令和/或消息还可包括在两个对象之间形成交互(例如，将音乐轨道与视频轨道组合)或者游戏交互(例如，通过用一根手指进行指点来选择对象，并且通过用另一根手指指点显示器上的位置来设定其移动方向)。
根据本文所公开的主题，可在标识瞄准点之前和/或之后响应于用户在执行指点手势期间执行的预定义的手势来执行命令和/或消息。系统2可被配置为检测给定手势并执行关联的命令和/或消息。其中，手势包括(但不限于)：挥击(swiping)动作、两根手指的挤捏动作、指点、左至右手势、右至左手势、向上手势、向下手势、推手势、张开握紧的拳头、张开握紧的拳头并朝着图像传感器移动、轻击手势、挥手手势、拍手手势、逆拍手手势、将手握成拳、挤捏手势、逆挤捏手势、张开手上的手指的手势、张开手上的手指的逆手势、指向图形元素、将激活对象保持预定义的时间量、点击图形元素、双击图形元素、从右侧点击图形元素、从左侧点击图形元素、从底侧点击图形元素、从顶侧点击图形元素、抓握对象的图形元素、从右侧朝着对象的图形元素做手势、从左侧朝着图形元素做手势、从左侧穿过图形元素、推对象、拍手、在图形元素上方挥手、执行爆破手势、执行轻击手势、在图形元素上方执行顺时针或逆时针手势、用两根手指抓住图形元素、执行点击-拖曳-释放动作、以及滑动图标。
图2b是示出依据本文所公开的主题的系统2的示例的功能框图。如上所述，处理单元12在操作上连接到图像传感器8和装置4，并且包括处理器15和计算机存储器13。
根据参考图2b所示的示例，处理单元还包括：图像数据仓库202，其被配置用于存储图像传感器所捕获的图像；图形元素生成器204，其被配置为生成图形元素并在显示器上显示图形元素；命令执行模块206，其被配置为允许执行与显示在显示器上的各个图标关联的命令；校准模块208，其被配置用于执行如下所述的校准处理；以及机器视觉单元210。例如，机器视觉单元可包括：手势识别模块212，其被配置为在捕获的图像中标识用户所作的手势；以及观察射线确定模块214，其被配置为标识显示器上的用户所指向的点或区域(瞄准点)。
需要注意的是，术语“瞄准点”应该从广义上解释为包括平面(例如，显示器)上标识的任何点或区域。例如，瞄准点可被定义为平面上的一个或更多个点(例如，像素)以及平面上的区域的坐标。
下面参照图3至图12b更详细地描述由系统2(更具体地讲，处理单元12)的不同功能组件执行的操作。参照图3至图12b所描述的操作适用于配备有生成2D图像和3D图像中的至少一个的一个或更多个图像传感器的系统。
图3是示出依据本文所公开的主题执行的操作的示例的流程图。例如，参照图3所描述的操作可由上述系统2来执行。
在方框301，与显示器6相邻的图像传感器捕获显示器前方的观察空间的图像。可捕获图像并将图像存储在数据仓库(例如，图像数据仓库202)中以在稍后的步骤中处理。另选地，捕获的各个图像可在捕获之后立即被处理，而不存储图像本身。例如，捕获的图像可包括位于图像传感器前方并(例如，通过尝试指向显示在显示器上的图标或文本)尝试与显示在平面上的一个或更多个图形元素交互的用户。
在捕获的图像中标识用户的一个或更多个预定义的身体部位(例如，用户的脸部的部分，诸如用户的眼睛)以及一个或更多个指点元件(方框303)。一旦标识，就获得指示一个或更多个预定义的身体部位的位置数据以及指示一个或更多个指点元件的位置的数据。例如，用户的身体部位和指点元件的标识以及相应位置数据的获得可借助机器视觉单元210(例如，借助手势识别模块212)来实现。
标识用户所指向的显示器上的点(即，瞄准点)(方框305)。例如，可借助观察射线标识模块214来标识瞄准点。如上所述，用户的眼睛22、指点元件和瞄准点是共线的，落在公共的观察射线24上。因此，根据本文所公开的主题，处理单元12被配置为标识从用户的预定义的身体部位(例如，用户的眼睛)穿过指点元件延伸并在特定点(即，瞄准点)处与显示器相交的观察射线。
需要注意的是，用户的一只眼睛(或多只眼睛)是可用于标识如本文所公开的观察射线的用户的脸部部位的一个非限制性示例，其它脸部部位(例如鼻子、耳朵、嘴唇等)和身体部位可被类似地标识并用于该目的。还应该注意的是，无论在本说明书中哪里提及用户的眼睛，均应被仅视作示例，应从广义上解释为也包括脸部或身体的其它部位。
将显示在显示器上的相对于标识的瞄准点在显示器上的位置满足某种预定义的标准图形元素(例如，显示器上最靠近标识的瞄准点的图形元素)确定为用户选择的图形元素(方框307)。
如下所述，根据本文所公开的主题，与方框305关联的操作还可包括指定用于增强用户所指向的显示器上的点的标识的一个或更多个处理。
一旦确定选择的图形元素，还确定在指点元件指向选择的图形元素的同时是否满足预定义的条件(方框309)。如上所述，例如，所述条件可以是指点元件指向确定的点的预定义的时段和/或预定义的手势(例如，朝着显示器的轻击动作)或者任何其它合适的条件。还如上所述，一旦满足预定义的条件，执行与选择的图形元素关联的命令和/或消息(方框311)。根据一个示例，命令执行模块206可被配置为执行与选择的图形元素关联的命令(例如，通过与装置4中或者某一其它装置中的其它功能元件交互)。
鉴于以上内容，将理解，为了确定交互用户选择了哪一图形元素，首先需要标识用户所指向的显示器上的点的位置。为此，系统2可被配置为从图像传感器所观察的一个或更多个捕获的图像获得指示一个或更多个预定义的身体部位(例如，用户的眼睛)和一个或更多个指点元件在观察空间内的位置的数据。然后，可确定与指示一个或更多个预定义的身体部位的位置以及一个或更多个指点元件的位置的数据相关的观察射线。例如，观察射线可穿过表示一个或更多个身体部位的位置的第一点以及表示一个或更多个指点元件的位置的第二点延伸。瞄准点可被确定为观察射线与平面的交点。
在系统2包括3D图像传感器或一对2D立体图像传感器的情况下，处理单元12可被配置为在3D观察空间中定位用户的眼睛22和/或用户的指尖14的(X,Y,Z)位置。然后，处理单元确定顶点在眼睛22处并穿过指尖14的观察射线24。如图1所示，然后，在显示器6上定位观察射线与显示器相交的点18。
在一些情况下，系统2可包括2D图像传感器(生成2D图像信息)和3D图像传感器(生成3D图像信息)的组合，并被配置为从2D图像传感器所捕获的图像获得关于用户的眼睛22和用户的指尖14的X,Y坐标的信息，并从3D图像传感器所捕获的图像获得关于用户的眼睛22和用户的指尖14的Z坐标的信息。2D和3D图像传感器的组合信息可用于确定3维观察射线。例如，3D图像传感器可由比2D图像传感器的分辨率低的分辨率来表征(例如，深度传感器的分辨率小于2D图像传感器的分辨率的四分之一)。
当使用2D图像传感器时遇到更大挑战。站在显示器前方的用户可指向显示器上的任何地方，并且可基于图像传感器所捕获的用户的眼睛的2D位置(例如，X,Y坐标)和指点元件的2D位置以及用户或用户的眼睛距显示器的距离和指点元件(例如，用户的指尖)距显示器或用户的身体的距离，来确定用户指向的特定观察射线。
根据本文所公开的主题，处理单元12可被配置为如下确定用户所指向的显示器上的点(瞄准点)。可在图像传感器所捕获的图像中标识用户的眼睛(或者一些其它一个或更多个预定义的身体部位)的X,Y坐标，并且可估计用户距显示器的距离(R1)。基于估计的距离R1，可获得用户的眼睛在观察空间中的z坐标。
例如，可基于在图像传感器所获得的图像中标识的用户的眼睛之间的距离确定R1。不同个体的眼睛(例如，瞳孔)之间的距离存在相似性。相同民族的个体之间的相似性可更高。因此，用户的眼睛之间的距离可指示眼睛距显示器的距离。
另外，可在图像传感器所捕获的图像中标识指点元件的X,Y坐标。利用估计的指点元件距用户的身体的距离(在显示器的方向上，以下称作R2)，可获得指点元件在观察空间中的z坐标。估计指点元件距用户的身体的距离的方法在下面讨论。
一旦获得用户的眼睛的X,Y,Z坐标和指点元件的X,Y,Z坐标，确定延伸穿过这两个点的直线(观察射线)，并且标识该线与显示器相交的点。将标识的线与显示器的交点确定为用户所指向的显示器上的点(瞄准点)。
在显示器为3D显示器的情况下，显示的图形元素可为3D图形元素，并且可被位于显示器前方或显示器后方的观察空间中的用户感知到。因此，瞄准点的确定可通过确定从用户的眼睛穿过指点元件并穿过与观察射线相交的第一图形元素(例如，3D图形元素)延伸的观察射线来执行。
如上所述，为了确定用户所指向的显示器上的点，需要标识在进行指点时指点元件在观察空间中的位置。因此，需要标识在指点手势期间指点元件的位置，其中假设指点元件指向显示器上的选择的点。例如，指点元件位置(本文中称作点P')可以是指点元件最靠近显示器点P'的点。图4是演示依据本文所公开的主题的指点手势期间的点P’的示意图。
如本文所用，术语“指点手势”是指瞄准显示器上的期望的区域或点的指点元件的手势。例如，指点手势可以是由用户执行的手势，其中，他的指尖在显示器前方的空间中朝着显示在显示器上的特定图形元素移动。在指点手势期间，在指点手势的运动的至少一部分中，指点元件朝着显示器上的期望的点伸出。在图4中，在指点手势期间指点元件的运动路径被指示为包括最靠近显示器的点P'的线PG。
根据本文所公开的主题，系统2可被配置为标识在指点手势期间，指点元件最靠近显示器的点P’。
如果使用深度图像传感器或立体图像传感器，则处理单元12可被配置为从捕获的帧提取点P’，其中点P'的Z坐标被确定为指点元件最靠近显示器处。例如，如果图像传感器位于与显示器相同的平面上，则P'的坐标为Z坐标是最小的位置处。
当使用单个2D图像传感器时，可基于在指点手势期间指点元件的一个或更多个特征的分析来标识点P'，包括(例如)：在指点手势期间指点元件的位置数据分量的全部或部分的集合、在指点手势期间指点元件的运动路径、指点元件的运动矢量、指点元件的运动矢量的改变、不同运动矢量之间的关系、在指点手势期间指点元件在空间中的姿态(或姿态的改变)、指点元件的尺寸以及在指点手势期间指点元件的加速和减速。
在到达点P'之后，用户缩回他的手臂。指示手臂缩回的指点元件在观察空间中的位置的改变(例如，如坐标所指示)可被标识并用于标识点P'的位置。
根据另一示例，可基于在指点手势期间指点元件的尺寸的改变来标识点P'的位置。随着用户将他的手臂朝着显示器伸出，指点元件的尺寸增大(例如，在捕获的图像中用户的指尖的尺寸增大)。处理单元12可被配置为跟踪指点元件的尺寸并确定指点元件的尺寸(或者更具体地讲，指点元件的尖端)为最大处的指点元件的位置。
图5是示出根据目前所公开的主题的为标识点P'而执行的操作的示例的流程图。例如，参照图5所描述的操作可由上述处理单元12(例如，借助机器视觉模块210)来执行。
图像传感器捕获在尝试与显示在显示器上的图形元素交互时的用户的图像(方框501)。在捕获的图像中标识指点元件(方框503)。处理捕获的图像，并且标识在不同的图像中指点元件的尺寸的改变(方框505)。
例如，可计算在指点手势开始的初始位置处指尖的尺寸与沿着手臂朝着显示器的运动的不同位置处的指尖的尺寸之比，并且可标识指尖的尺寸的增长百分比。一旦指点元件在距显示器的最短距离处，则标识其尺寸的最大改变。当随后缩回手臂时，随着尖端的尺寸变小，尺寸的改变反转。
标识在指点物体的尖端的初始尺寸与当前尺寸之间标识出最大改变处的指点元件的位置(方框507)。将这一位置指定为点P'(方框508)。
如上所述，估计用户的眼睛距显示器的距离(R1)以及指点元件距用户的身体的距离，以便标识用户所指向的显示器上的点。
图6a是示出根据目前所公开的主题的用户指向显示器的俯视图的示意图。图6a示出与显示器6相邻设置的能够捕获由虚线10指示的三维观察空间的图像的图像传感器8。用户距显示器的距离由从显示器延伸至用户的眼睛之间(例如，瞳孔之间)的假想线上的点的线R1指示。如上所述，例如，可基于图像传感器所获得的图像中标识的用户的眼睛之间的距离来确定距离R1。
另外，基于典型的人的行为，可假设当用户指向显示器时，他的手臂没有完全从他的身体伸出，也没有完全朝着身体缩回。指点元件从用户的预定义的身体部位(例如，用户的眼睛)朝着显示器的伸出长度在图6a中由距离R2指示。
例如，可基于用户的身高和估计的他的身体比例，并且可能还基于指示用户距显示器的距离(R1)的信息，来估计R2。因此，在R2的估计期间还可使用关于用户的年龄和性别的信息。
另外，可选地，可基于从多个用户获得的记录的统计信息估计R2，R2指示在指点的同时用户的手臂朝着显示器伸出的长度(例如，考虑各个用户的身高和比例)。可选地，此信息可基于用户的地域和/或民族来源来分类，以便在对于不同的地域和/或民族来源可能为典型的不同指点手势之间进行区分。因此，例如，可基于针对许多用户的手臂的延伸的记录信息来计算R2的平均长度。
尽管R2可允许估计指点元件距用户的身体的距离，但在不同用户所作出的指点手势中手臂的延伸之间仍可能存在一些偏差。图6a还示出Δr，Δr是表示不同指点手势之间的手臂延伸的可能偏差的另一范围。如上所述，假设R2是在不同用户的指点手势中的测量的手臂延伸的平均值，Δr可被确定为(例如)等于上述平均值的一个或更多个标准偏差的值(例如，在对高度因素归一化之后)。
与3D图像传感器不同，由2D图像传感器捕获的图像提供用户的图像在显示器上的投影，而没有真实深度感。图6b是示出依据当前所公开的主题的生成相似投影的指点元件的不同延伸的示意图。图6b示出与显示器6相邻设置的能够捕获三维观察空间的图像的图像传感器8。通过图像传感器8捕获用户45的图像。用户45伸出他的手臂并指向显示器6。示出两个长度不同的延伸。从延伸“a”(较长延伸)延伸的观察射线在点1处与显示器6相交，而从延伸“b”(较短延伸)延伸的观察射线在点2处与显示器6相交。如图6b所示，尽管延伸“a”和“b”指向显示器上的不同点，但通过图像传感器8以相同的方式来观察这两个点(会聚在同一线R3上)。
如上所述，为了标识用户所指向的显示器上的点，确定连接用户的眼睛、指点元件以及观察射线与显示器的相应交点的观察射线。然而，由于在观察射线的标识期间存在的各种不确定性，所以用户确切地指向显示器上的哪里也存在不确定性。
例如，所述不确定性包括关于指点物体的尖端的标识以及位于眼睛之间能够最佳表示观察射线的点的标识的不确定性。另外，如上所述，在使用2D图像传感器的情况下，由于指点元件从用户身体的实际延伸以及用户距显示器的距离不明确，导致附加不确定性。
由于这些不确定性，当用户指向显示器时，代替标识用户所指向的显示器上的单个点，可在显示器上标识较大的平面(本文中称作“候选平面”)。候选平面表示从用户的眼睛延伸穿过指点元件的多条可能的线与显示器相交的平面。由图像传感器8获得的图像将包括用户的眼睛和指尖14，并且因此将包括观察射线在投影平面(投影平面是由图像传感器捕获的平面)上的投影。观察空间中的在投影平面上的投影与观察射线在投影平面上的投影相同的所有线的集合形成平面(本文中称作“候选平面”)。从用户的眼睛延伸穿过指点元件和公共候选平面的各条线在本文中被称作“候选观察射线”。候选平面可通过不同的特征来表征，包括(例如)候选平面中的像素数量(候选平面可包括一个或更多个像素)、其尺寸(例如，像素或其测量的直径)、其形状、其在屏幕上的位置等。
因此，将有利的是，尽管存在上述不确定性，仍更精确地标识用户所指向的显示器上的点或区域。
本文提供的这一问题的一个可能的解决方案基于校准处理。在校准处理中，指示用户顺序指向显示在显示器上的一个或更多个图形元素(例如，图标)中的每一个。例如，图形元素之一可以是需要将装置从待机模式切换为激活模式或者解锁显示器以进行选择的图形元素。当用户指向这样的图形元素时，处理单元12确定在用户指向图形元素的同时由图像传感器系统获得的图像中指点元件和用户的眼睛的位置。例如，如申请人的共同待审的美国专利申请10/593,628(公开号为2008-0042981)中所公开的，可在图像传感器所获得的图像中标识用户的指尖。标识图像中的脸部和眼睛的方法是本领域熟知的。当用户随后指向显示器上的图标时，利用校准数据以及对用户的眼睛22与指尖14之间的距离和用户距显示器6的距离(可从图像传感器所获得的图像中的用户的眼睛之间的距离确定)的限制，处理单元12确定用户所指向的显示器上的点(即，图标)。
图7是示出根据目前所公开的主题的在校准处理期间执行的操作的流程图。参照图7所描述的操作可由上述处理单元12(例如，借助校准模块208)执行。
在校准处理期间，更精确地估计用户的一个或更多个预定义的身体部位(例如，用户的眼睛)的位置、在观察空间内指点元件的位置以及当到达点P’时指点元件距用户身体的距离。在方框701，一个或更多个图形元素(例如，图标)显示在显示器上。图形元素按照预定义的位置、次序或形状显示在显示器上，并且提供校准序列。校准序列通过图形元素在显示器上的位置以及与不同图形元素交互的时间和/或顺序来表征。要求用户根据预定义的次序与图形元素交互(例如，指点或挥击)。另选地或另外地，校准序列可包括应该根据预定义的图案或形状挥击或移动的图形元素。
用户的一个或更多个预定义的身体部位(例如，用户的眼睛)的位置和指点元件在观察空间内的位置的更精确的估计利用用户所指向的已知位置的信息(例如，显示在预定义的位置中的图形元素)来执行。
在一些情况下，用户可能没有察觉到校准处理。例如，如上所述，可将校准处理作为解锁显示器所需的交互(例如，从左至右挥击显示在显示器上的图形元素)呈现给用户。
用户按照校准序列的要求与显示器交互，图像传感器捕获在这样做时的用户的图像(方框703)。确定在图像传感器所获得的图像中用户(例如，用户的眼睛)的2D位置(例如，X,Y坐标)(方框705)。标识指点手势并利用指点元件最靠近显示器处的指点元件的位置(例如，X,Y坐标)确定点P’(方框707)。
由于依据预定义的校准序列来执行校准处理，所以处理单元12可获得指示用户当前应该指向显示在显示器上的哪一图形元素的信息。因此，处理单元可更容易地在连接用户的位置和点P’的观察射线与显示器上的用户所指向的相应图形元素之间进行相关。因此，相应观察射线从显示器上的相关图形元素穿过位于相应点P’处的指点元件延伸到用户的身体部位(例如，用户的眼睛)的相应位置(方框709)。
可向用户提供反馈(例如，通过改变相应图形元素的颜色、尺寸、形状和位置中的一个或更多个或者通过听觉指示)。当用户遵循校准序列并与显示器上的各个图形元素交互时，可重复参照方框703至709描述的操作(方框711)。
图8是演示校准处理的一个示例的示意图。图8示出与显示器6相邻设置的能够捕获由虚线10指示的三维观察空间的图像的图像传感器8。用户指向作为校准序列(未示出)的一部分显示在显示器上的图标G1。用户的眼睛沿着线L1位于图像传感器前方的3D空间中。指点元件沿着线L2位于图像传感器前方的3D空间中点P'的位置。
用户距显示器的距离(R1)可如上所述来估计；然而，校准处理能够改进该估计。类似地，距离R2可如上所述来估计；然而，校准处理能够改进该估计。
如上面参照图6a所描述的，关于估计的距离R2(上面由Δr指示)存在不确定性。根据一个示例，在校准处理期间，第一直线(L3)从显示器上的图标G1延伸使得通过与线L2和线L1交叉，距离R2'等于R2-Δr，第二直线(L4)从显示器上的图标G1延伸使得通过与线L2和线L1交叉，距离R2”等于R2+Δr。
线L1上的表示估计的用户的位置的点ELi可被确定为位于u1和u2之间的任何点。例如，它可以是恰好在两个点之间的中点处的点。可通过从点EL至图标G1延伸直线来确定线L2上的相应点PLi。R2可被估计为距离R2”'。对于任何图标Gi，可如上所述确定表示用户的眼睛的位置的相应点ELi；以及表示指点元件的位置的点PLi。
返回图7，在方框713，确定距离R1和距离R2的校准估计。可利用针对校准序列中的不同图标获得的所有集合的点EL(例如，位于所有标识的点的中心的点)来确定距离R1的校准估计。可利用针对校准序列中的不同图标获得的所有集合的距离R”'(各自与相应的ELi有关)来确定距离R2的校准估计。
一旦系统被校准，在常规操作期间，响应于用户朝着显示器的指点手势，可利用校准处理中估计的R1和R2的值确定用户所指向的显示器上的点(方框715)。
根据本文所公开的主题，处理单元12可被配置为针对显示器上的各个图标确定不同的距离R2，并创建将不同的图标及其在显示器上的相应位置与对应距离R2关联的校准映射。可基于校准映射将显示器上的任何其它点(未被校准图标占据)与相应距离R2关联。例如，这一关联可基于图标的位置与其相应距离R2的线性组合。
在常规操作期间，处理单元12可被配置为响应于用户朝着显示器的指点手势，标识指点手势的大致方向，并选择与显示器上最靠近标识的大致方向的点处的校准图标关联的特定距离R2。
除了上述校准处理以外或代替上述校准处理，目前所公开的主题提供能够改进用户所指向的显示器上的点或区域的标识精度的其它技术。如上所述，由于与确定用户所指向的显示器上的点时所使用的参数有关的不同不确定性，在显示器上标识候选平面，该候选平面表示从用户的眼睛延伸穿过指点元件的多条可能的线与显示器相交的平面。
目前所公开的主题包括一种减小候选平面的尺寸，并更精确地标识用户所指向的显示器上的点的技术。
通常，可从捕获的与平面交互的用户的图像获得第一类型的特征和第二类型的特征。第一类型的特征包括关于在用户所作的指点手势期间指点元件的运动路径的特征。例如，第一类型的特征包括在指点手势期间指点元件的位置数据分量的全部或部分的集合、在指点手势期间指点元件的运动路径、指点元件的运动矢量、指点元件的运动矢量的改变、不同运动矢量之间的关系、在指点手势期间指点元件在空间中的姿态(或姿态的改变)、指点元件的尺寸以及在指点手势期间指点元件的加速和减速。
第二类型的特征包括关于平面上标识的一个或更多个候选平面的特征。例如，第二类型的特征包括候选平面的尺寸、平面上的候选平面的位置、候选平面的形状、不同候选平面之间的交叠。
处理单元可被配置为利用第一类型的特征和第二类型的特征中的至少一种来确定平面上的瞄准点。
图9是示出依据目前所公开的主题的为减小候选平面的尺寸而执行的操作的示例的流程图。参照图9所描述的操作可(例如)利用上述处理单元12(例如，借助机器视觉单元210)来执行。
在方框901，图像传感器捕获尝试与显示在显示器上的图形元素交互的用户的图像。处理捕获的图像并且在捕获的图像中标识用户的眼睛和指点元件(方框903)。跟踪指点元件在朝着显示器伸出时的运动路径并获得包括运动路径上指点元件(例如，用户的指尖)的不同位置的位置数据分量的序列(方框905)。
位置数据分量是与上述第一类型的特征有关的特征。更具体地讲，位置数据分量是描述在给定帧中指点元件的位置的特征。例如，位置数据分量可包括在图像传感器所捕获的观察平面中指点元件的尖端的X,Y坐标。根据此示例，在用户的手臂朝着显示器伸出的同时，可获得并存储在运动期间的不同点处他的指尖相对于观察平面的二维位置(由X,Y坐标指示)。各个存储的位置点(例如，x,y坐标)是相应的位置数据分量。
根据目前所公开的主题，跟踪指尖的运动，直至标识出指尖位于点P’处为止(方框907)。此时，从指点元件朝着显示器的运动路径提取的位置数据分量的序列中选择两个或更多个位置数据分量。例如，选择的位置数据分量可以是在指点元件到达点P’(最靠近显示器的点)之前与N帧相关的位置数据分量。另选地，选择的位置数据分量可以是位于相似观察射线上的位置。一对相似观察射线可被定义为通过在观察射线的位于用户的眼睛与显示器之间的部分处小于预定义的值的距离表征的观察射线。
如上所述，选择的位置分量(例如，由观察平面上的X,Y坐标表示)的集合中的各个位置数据分量与连接用户的眼睛、穿过由相应位置数据分量指示的位置处的指点元件并与显示器相交的相应观察射线关联。由于上述不确定性，各个观察射线可与显示器上的相应候选平面关联，而非与精确的点关联。
在显示器上标识与选择的位置数据分量关联的各个候选平面(方框909)。在方框911，标识候选平面之间的交叠区域并将其指定为选择的表示瞄准点的观察平面(注意，不同候选平面及其相应表面的相对位置是与上述第二类型的特征有关的特征)。因此，候选平面的尺寸减小，并且显示器上的更小区域被标识为瞄准点。
图10是示出依据目前所公开的主题的三个局部交叠的候选平面的示意图。各个候选平面被示出为覆盖显示器上的特定区域的圆。例如，各个平面与如上所述选择的位置值的集合中的三个最后的位置数据分量(位置值：n、n-1和n-2)中的不同位置数据分量关联。如图10所示，三个候选平面全部指向相邻区域并共用交叠部分(用短线填充的区域)，该交叠部分被指定为选择的投影平面。瞄准点可被确定为选择的投影平面的中心。
目前所公开的主题还公开了能够更精确地标识用户所指向的显示器上的点的另一种技术。图11是示出依据目前所公开的主题执行的操作的流程图。参照图11所描述的操作可由系统2等借助上述处理单元12来执行。
根据本文所公开的主题，系统2可被配置为向指向显示器的用户提供反馈。该反馈帮助用户将指点元件指向显示器上的期望的点，因此使用户能够更容易地选择期望的图形元素。如上所述，在2D显示器的背景下提供以下操作，然而，也可利用3D显示器执行相似操作(加以必要的修改)。
如前所述，图像传感器捕获在尝试与显示在显示器上的图形元素交互时的用户的图像(方框1101)。在由图像传感器获得的捕获的图像中标识用户的眼睛和指点元件(方框1103)。响应于指点手势的检测，在显示器上显示指点视觉效果(方框1105)。
指点视觉效果可以是任何类型的静态或动画图形元素(包括例如：由任何形状或颜色表征的一团颜色(a smudge of color))，可以是透明或不透明的，可部分地或完全地呈现，可以在显示在显示器上的一个或更多个图形元素的上部和/或其后面或者显示在显示器上的其它一个或更多个图形元素。
例如，指点视觉效果可具有圆形对称形状和透明颜色(透过其可以识别图形元素)，对用户而言可看起来像照亮显示器的一部分的手电光束。指点视觉效果的特性(例如，位置、尺寸、颜色、形状、亮度、透明度)可在其显示在显示器上的时间期间改变。
在3D显示器的情况下，指点视觉效果可以是(例如)照明圆的动画，该照明圆从距显示器的特定距离处开始并且随着指点元件移动靠近显示器而变小。指点视觉效果的其它示例包括用户所感知的图形元素(静态或动画)，其在指点手势开始时位于指点元件上，随着指点元件移动靠近显示器而随指点元件一起移动。
在3D显示器的情况下，指点视觉效果可在一个或更多个位置中被用户感知为在距显示器不同的距离处。
可选地，系统2可被配置为显示不同类型的指点视觉效果。系统2可被配置为允许用户选择(配置)哪一类型或哪些类型的指点视觉效果是优选的。另选地或另外地，可通过应用来控制期望的指点视觉效果的选择(配置)。例如，指点视觉效果可适合于显示在显示器上的图形元素。
根据一个示例，指点视觉效果可在满足预定义的指点视觉效果条件时显示在显示器上。所述预定义的指点视觉效果条件可与指点元件在观察空间中的位置有关，包括(例如)估计的指点元件距用户的眼睛的距离以及指点元件的尺寸的改变。另选地或另外地，所述预定义的指点视觉效果条件可与指点元件的运动路径有关，包括从指点手势开始起过去的时间、运动矢量值(例如，位置数据分量)、检测到的指点手势沿着运动路径的速度的改变、指点元件沿着运动路径的减速、估计的直至指点元件到达点P’为止的时间。
在指点手势期间，对于指点元件在观察空间中的各个位置，存在观察射线与平面的相应交点。因此，根据另一示例，所述预定义的指点视觉效果条件可与交点在平面上的分布有关(例如，指点视觉效果条件可以是交点之间的距离小于预定义的值)。在另一示例中，可基于指点元件的初始指点方向来确定指点视觉效果在显示器上的初始位置。
在指点手势期间，跟踪指点元件朝着显示器的运动路径(方框1107)。在跟踪指点元件的同时，可如上面参照图9中的方框905所述获得位置数据分量的相应序列。
随着指点元件朝着显示器移动，与指点元件的移动相关地改变指点视觉效果的一个或更多个特性(方框1009)。例如，所述特性可包括指点视觉效果的位置、形状、尺寸、颜色、亮度和透明度或者任何其它特性。例如，随着指点元件与显示器之间的距离缩短，指点视觉效果的尺寸可减小。
随着用户朝着显示器伸出他的手臂，他直观地尝试将指点视觉效果朝着显示在显示器上的期望的图形元素的位置移动。处理单元被配置为标识尝试将指点视觉效果朝着选择的图形元素移动的用户所作出的指点元件的修正移动。可选地，处理单元可被配置为基于标识的由用户执行的指点元件的修正移动来改变显示器上的指点视觉效果的位置。例如，显示器上的指点视觉效果的位置可与用户所作出的修正手势的方向相关地改变。
在另一示例中，圆形指点视觉效果随着指点元件朝着显示器移动而变小。可选地，指点视觉效果可在修正手势的方向上收缩。图12a示出响应于朝着位于左侧的图标(由正方形指示)的修正手势，尺寸收缩并且向左迁移的指点视觉效果，图12b示出响应于朝着位于右侧的图标(由正方形指示)的修正手势，尺寸收缩并且向右迁移的指点视觉效果。
利用指点视觉效果在显示器上的已知位置，并且可能还利用指点元件的移动方向，可标识相对于指点视觉效果符合预定义的标准的诸如图标的图形元素并将其确定为选择的图标(方框1013)。例如，最靠近指点视觉效果或者相对于指点视觉效果位于修正手势的方向上的图标可被确定为用户所选择的图标。
还将理解，根据目前所公开的主题的系统可以是适当编程的计算机。同样，目前所公开的主题设想出可由计算机读取以执行目前所公开的主题的方法的计算机程序。目前所公开的主题还设想出有形地具体实现可由机器执行以执行目前所公开的主题的方法的指令程序的机器可读存储器。
将理解，目前所公开的主题的应用不限于本文所包含的描述中所阐述的细节或者附图中所示出的细节。目前所公开的主题能够有其它实施方式并且按照各种方式实践和执行。因此，将理解，本文所采用的措词和术语是为了描述的目的，而不应被视作限制。因此，本领域技术人员将理解，可容易地使用本公开所基于的构思作为基础来设计实现目前所公开的主题的多个目的的其它结构、方法和系统。

Claims (56)

1.一种识别平面上的瞄准点的方法，该方法包括以下步骤：
获得图像传感器的观察空间的至少一个图像；
通过在操作上连接到所述图像传感器的至少一个处理器处理所述至少一个图像，并获得指示至少一个指点元件在所述观察空间中的位置的数据；
获得指示所述观察空间中的至少一个预定义的用户身体部位的数据；
通过所述至少一个处理器利用指示所述至少一个指点元件的位置的数据和指示至少一个预定义的用户身体部位的位置的数据以及第一类型的特征和第二类型的特征中的至少一种，确定所述平面上的点或区域，从而得到所述平面上的所述瞄准点，其中，所述第一类型的特征包括关于在指点手势期间所述指点元件的运动路径的特征，所述第二类型的特征包括关于至少一个候选平面的特征；
在获得指示至少一个指点元件在所述观察空间中的位置的数据的同时，确定满足预定义的条件；以及
执行与所述瞄准点关联的预定义的命令和/或消息。
2.根据权利要求1所述的方法，该方法还包括以下步骤：
在所述平面上显示至少一个图形元素；
通过所述至少一个处理器利用指示所述平面上的所述瞄准点的位置的数据从显示在所述平面上的所述至少一个图形元素中标识给定图形元素。
3.根据权利要求1所述的方法，其中，确定所述平面上的所述瞄准点的步骤还包括：
标识所述至少一个预定义的用户身体部位，所述至少一个身体部位包括所述用户的脸部和所述用户的预定义的脸部部位中的至少一个；
标识所述至少一个指点元件；
确定所述至少一个身体部位在所述观察空间内的位置，从而得到第一位置；
确定所述至少一个指点元件在所述观察空间内的位置，从而得到第二位置；
确定与所述第一位置和所述第二位置相关的至少一条观察射线；以及
将所述瞄准点确定为所述平面上与所述至少一条观察射线和所述平面的交点关联的点。
4.根据权利要求3所述的方法，其中，确定所述第一位置的步骤包括：
确定所述至少一个身体部位的二维位置；
估计所述至少一个身体部位距所述平面的距离；
并且其中，确定所述第二位置的步骤包括：
确定所述至少一个指点元件的二维位置；以及
估计指点元件距所述第一位置的距离。
5.根据权利要求3所述的方法，其中，确定所述第一位置的步骤包括：
确定所述至少一个身体部位的二维位置；
估计所述至少一个身体部位距所述平面的距离；
并且其中，确定所述第二位置的步骤包括：
确定所述至少一个指点元件的二维位置；以及
估计指点元件距所述平面的距离。
6.根据权利要求4所述的方法，其中，所述至少一个预定义的身体部位距所述平面的距离的估计和所述指点元件距所述第一位置的距离的估计中的至少一个利用存储在数据仓库中的数据来执行。
7.根据权利要求4所述的方法，其中，所述至少一个身体部位距所述平面的距离的估计利用指示所述用户的两个或更多个脸部部位之间的距离的数据来执行。
8.根据权利要求4所述的方法，其中，指点元件距所述第一位置的距离的估计利用关于下列项中的至少一个的数据来执行：
所述用户的身高；估计的所述用户的身体比例；估计的所述用户距所述平面的距离；以及多个距离值，各个距离值表示记录的在指点手势期间至少一个指点元件与相应用户的预定义的身体部位之间的距离。
9.根据权利要求4所述的方法，其中，所述第一位置和所述第二位置的确定中的至少一个利用通过所述图像传感器和深度传感器获得的信息来执行。
10.根据权利要求9所述的方法，其中，所述深度传感器的分辨率小于所述图像传感器的分辨率。
11.根据权利要求3所述的方法，其中，所述第二位置被确定为在所述观察空间中在指点手势期间所述指点元件最靠近所述平面的点P'处所述指点元件的位置。
12.根据权利要求11所述的方法，该方法还包括以下步骤：利用从在所述指点手势期间所述指点元件的运动提取的位置特征来确定点P'处所述指点元件的位置。
13.根据权利要求1所述的方法，该方法还包括校准处理，该校准处理包括：
在所述平面上显示包括至少一个图形元素的校准序列；针对各个给定图形元素：
在所述观察空间中标识所述至少一个指点元件；
确定连接所述给定图形元素、所述至少一个指点元件和所述预定义的用户身体部位的至少一条观察射线；
确定所述至少一个指点元件和所述预定义的用户身体部位中的至少一个的相应位置；以及
将所述相应位置与所述给定图形元素关联地存储在数据仓库中。
14.根据权利要求13所述的方法，其中，所述校准还包括：
生成校准映射，该校准映射指示所述平面上的多个位置与所述指点元件距所述至少一个预定义的用户身体部位的相应距离之间的关联。
15.根据权利要求14所述的方法，该方法还包括以下步骤：利用所述校准映射中的数据确定所述瞄准点。
16.根据权利要求13所述的方法，其中，所述校准序列包括需要将在操作上连接到所述至少一个图像传感器和所述至少一个处理器的装置从待机模式切换为激活模式和/或解锁所述装置而选择的至少一个图形元素。
17.根据权利要求1所述的方法，其中，所述第一类型的特征包括在所述指点手势期间所述指点元件的选择的符合预定义的标准的位置数据分量的集合；该方法还包括以下步骤：
针对选择的位置数据分量的集合中的各个给定位置数据分量，确定相应观察射线，所述相应观察射线从所述至少一个预定义的用户身体部位的位置延伸穿过所述至少一个指点元件的位置并与所述平面相交，从而得到相应候选平面，其中，所述至少一个指点元件的位置对应于所述给定位置数据分量；
确定各个候选平面之间的交叠区域；
利用指示所述交叠区域的数据来确定所述瞄准点。
18.根据权利要求1所述的方法，该方法还包括以下步骤：
在所述平面上显示指点视觉效果；
检测所述指点元件在所述观察空间中的运动路径；
与所述指点元件的运动路径相关地改变显示的指点视觉效果的至少一个特性，从而提供指示在所述指点手势期间所述平面上的瞄准点的位置的数据。
19.根据权利要求18所述的方法，其中，改变所述指点视觉效果的所述至少一个特性包括下列项中的至少一个：随着所述指点元件与所述平面之间的距离减小而减小所述指点视觉效果的尺寸；以及随着所述指点元件与所述平面之间的距离增大而增大所述指点视觉效果的尺寸。
20.根据权利要求18所述的方法，其中，当满足预定义的指点视觉效果条件时显示所述指点视觉效果。
21.根据权利要求2所述的方法，其中，所述预定义的条件是所述指点元件指向显示在所述显示器上的给定图形元素达至少预定义的量的时间。
22.根据权利要求2所述的方法，其中，所述预定义的条件是所述指点元件执行了预定义的手势。
23.根据权利要求2所述的方法，该方法还包括以下步骤：
标识由所述指点元件执行的预定义的第一手势；
响应于所述第一手势标识所述给定图形元素；
标识由所述指点元件执行的预定义的第二手势；以及
响应于所述第二手势执行命令和/或消息，其中，所述命令和/或消息与所述给定图形元素关联，并且其中，在所述第一手势之前、期间或之后标识所述第二手势。
24.根据权利要求1所述的方法，其中，所述至少一个预定义的用户身体部位是用户的眼睛。
25.根据权利要求1所述的方法，其中，所述平面是显示器。
26.一种识别平面上的瞄准点的装置，该装置包括：
至少一个图像传感器，所述至少一个图像传感器被配置为获得观察空间的至少一个图像；
在操作上连接到至少一个图像传感器的至少一个处理器，所述至少一个处理器被配置为：
处理所述至少一个图像并获得指示至少一个指点元件在所述观察空间中的位置的数据；
获得指示所述观察空间中的至少一个预定义的用户身体部位的数据；
通过所述至少一个处理器利用指示所述至少一个指点元件的位置的数据和指示至少一个预定义的用户身体部位的位置的所述数据以及第一类型的特征和第二类型的特征中的至少一种，确定所述平面上的点或区域，从而得到所述平面上的瞄准点，其中，所述第一类型的特征包括关于在指点手势期间所述指点元件的运动路径的特征，所述第二类型的特征包括关于至少一个候选平面的特征；
在获得指示至少一个指点元件在所述观察空间中的位置的数据的同时确定满足预定义的条件；并且
执行与所述瞄准点关联的预定义的命令和/或消息。
27.根据权利要求26所述的装置，其中，所述至少一个处理器还被配置为：在所述平面上显示至少一个图形元素；并且通过所述至少一个处理器利用指示所述平面上的所述瞄准点的位置的数据从显示在所述平面上的所述至少一个图形元素中标识给定图形元素。
28.根据权利要求26所述的装置，其中，为了确定所述平面上的所述瞄准点，所述至少一个处理器还被配置为：标识所述至少一个预定义的用户身体部位，所述至少一个身体部位包括所述用户的脸部和所述用户的预定义的脸部部位中的至少一个；标识所述至少一个指点元件；确定所述至少一个身体部位在所述观察空间内的位置，从而得到第一位置；确定所述至少一个指点元件在所述观察空间内的位置，从而得到第二位置；确定与所述第一位置和所述第二位置相关的至少一条观察射线；并且将所述瞄准点确定为所述平面上与所述至少一条观察射线和所述平面的交点关联的点。
29.根据权利要求28所述的装置，其中，为了确定所述第一位置，所述至少一个处理器还被配置为：确定所述至少一个身体部位的二维位置；估计所述至少一个身体部位距所述平面的距离；并且其中，确定所述第二位置包括：确定所述至少一个指点元件的二维位置；以及估计指点元件距所述第一位置的距离。
30.根据权利要求29所述的装置，其中，所述至少一个处理器被配置为利用存储在数据仓库中的数据来执行以下中的至少一个：所述至少一个预定义的身体部位距所述平面的距离的估计；以及所述指点元件距所述第一位置的距离的估计。
31.根据权利要求29所述的装置，其中，所述至少一个处理器被配置为利用指示所述用户的两个或更多个脸部部位之间的距离的数据来估计所述至少一个身体部位距所述平面的距离。
32.根据权利要求29所述的装置，其中，所述至少一个处理器被配置为利用关于下列项中的至少一个的数据来估计指点元件距所述第一位置的距离：
所述用户的身高；估计的所述用户的身体比例；估计的所述用户距所述平面的距离；以及多个距离值，各个距离值表示记录的在指点手势期间至少一个指点元件与相应用户的预定义的身体部位之间的距离。
33.根据权利要求29所述的装置，其中，所述至少一个图像传感器包括图像传感器和深度传感器，并且其中，所述至少一个处理器被配置为使用通过所述图像传感器和所述深度传感器获得的信息来执行所述第一位置的确定和所述第二位置的确定中的至少一个。
34.根据权利要求33所述的装置，其中，所述深度传感器的分辨率小于所述图像传感器的分辨率。
35.根据权利要求28所述的装置，其中，所述至少一个处理器被配置为将所述第二位置确定为在所述观察空间中的在指点手势期间所述指点元件最靠近所述平面的点P'处的所述指点元件的位置。
36.根据权利要求35所述的装置，其中，所述至少一个处理器被配置为利用从所述指点手势期间所述指点元件的运动提取的位置特征来确定在点P'处的所述指点元件的位置。
37.根据权利要求26所述的装置，其中，所述至少一个处理器还被配置为执行校准处理，该校准处理包括：
在所述平面上显示包括至少一个图形元素的校准序列；针对各个给定图形元素：
所述观察空间中标识所述至少一个指点元件；
确定连接所述给定图形元素、所述至少一个指点元件和所述预定义的用户身体部位的至少一条观察射线；
确定所述至少一个指点元件和所述预定义的用户身体部位中的至少一个的相应位置；并且
将所述相应位置与所述给定图形元素关联地存储在数据仓库中。
38.根据权利要求37所述的装置，其中，所述处理器还被配置为：生成校准映射，该校准映射指示所述平面上的多个位置与所述指点元件距所述至少一个预定义的用户身体部位的相应距离之间的关联。
39.根据权利要求38所述的装置，其中，所述处理器还被配置为利用所述校准映射中的数据确定所述瞄准点。
40.根据权利要求37所述的装置，其中，所述至少一个处理器被配置为在所述校准序列中显示需要将在操作上连接到所述至少一个图像传感器和所述至少一个处理器的装置从待机模式切换为激活模式和/或解锁所述装置而选择的至少一个图形元素。
41.根据权利要求26所述的装置，其中，所述第一类型的特征包括在所述指点手势期间所述指点元件的选择的符合预定义的标准的位置数据分量的集合；所述至少一个处理器还被配置为：
针对选择的位置数据分量的集合中的各个给定位置数据分量，确定相应观察射线；所述相应观察射线从所述至少一个预定义的用户身体部位的位置延伸穿过所述至少一个指点元件的位置并与所述平面相交，从而得到相应候选平面；其中，所述至少一个指点元件的位置对应于所述给定位置数据分量；
确定各个候选平面之间的交叠区域；并且
利用指示所述交叠区域的数据来确定所述瞄准点。
42.根据权利要求26所述的装置，其中，所述至少一个处理器还被配置为：在所述平面上显示指点视觉效果；检测所述指点元件在所述观察空间中的运动路径；并且与所述指点元件的运动路径相关地改变显示的指点视觉效果的至少一个特性，从而提供指示在所述指点手势期间所述平面上的瞄准点的位置的数据。
43.根据权利要求42所述的装置，其中，改变所述指点视觉效果的所述至少一个特性包括下列项中的至少一个：随着所述指点元件与所述平面之间的距离减小而减小所述指点视觉效果的尺寸；以及随着所述指点元件与所述平面之间的距离增大而增大所述指点视觉效果的尺寸。
44.根据权利要求42所述的装置，其中，所述至少一个处理器被配置为当满足预定义的指点视觉效果条件时显示所述指点视觉效果。
45.根据权利要求27所述的装置，其中，所述预定义的条件是所述指点元件指向显示在所述显示器上的给定图形元素达至少预定义的量的时间。
46.根据权利要求27所述的装置，其中，所述预定义的条件是所述指点元件执行了预定义的手势。
47.根据权利要求27所述的装置，其中，所述至少一个处理器还被配置为：标识由所述指点元件执行的预定义的第一手势；响应于所述第一手势标识给定图形元素；标识由所述指点元件执行的预定义的第二手势；并且响应于所述第二手势执行命令和/或消息，其中，所述命令和/或消息与所述给定图形元素关联，并且其中，在所述第一手势之前、期间或之后标识所述第二手势。
48.根据权利要求26所述的装置，其中，所述至少一个预定义的用户身体部位是用户的眼睛。
49.根据权利要求26所述的装置，其中，所述平面是所述装置中的显示器。
50.根据权利要求26所述的装置，其中，所述至少一个处理器在操作上连接到计算机存储器，该计算机存储器至少包括机器视觉单元和命令执行模块。
51.一种在操作上连接到识别平面上的瞄准点的装置以允许将命令输入至所述装置的用户接口，该用户接口包括：
被配置为从至少一个图像传感器接收观察空间的至少一个图像的至少一个处理器，所述至少一个处理器还被配置为：
处理所述至少一个图像并获得指示至少一个指点元件在所述观察空间中的位置的数据；
获得指示所述观察空间中的至少一个预定义的用户身体部位的数据；
通过所述至少一个处理器利用指示所述至少一个指点元件的位置的数据和指示至少一个预定义的用户身体部位的位置的数据以及第一类型的特征和第二类型的特征中的至少一种，确定所述平面上的点或区域，从而得到所述平面上的瞄准点，其中，所述第一类型的特征包括关于在指点手势期间所述指点元件的运动路径的特征，所述第二类型的特征包括关于至少一个候选平面的特征；
在获得指示至少一个指点元件在所述观察空间中的位置的数据的同时确定满足预定义的条件；并且
执行与所述瞄准点关联的预定义的命令和/或消息。
52.根据权利要求51所述的用户接口，其中，所述至少一个处理器还被配置为：在所述平面上显示至少一个图形元素；并且通过所述至少一个处理器利用指示所述平面上的所述瞄准点的位置的数据从显示在所述平面上的所述至少一个图形元素中标识给定图形元素。
53.根据权利要求51所述的用户接口，其中，为了确定所述平面上的所述瞄准点，所述至少一个处理器还被配置为：标识所述用户的所述至少一个预定义的身体部位；所述至少一个身体部位包括所述用户的脸部和所述用户的预定义的脸部部位中的至少一个；标识所述至少一个指点元件；确定所述至少一个身体部位在所述观察空间内的位置，从而得到第一位置；确定所述至少一个指点元件在所述观察空间内的位置，从而得到第二位置；确定与所述第一位置和所述第二位置相关的至少一条观察射线；并且将所述瞄准点确定为所述平面上与所述至少一条观察射线和所述平面的交点关联的点。
54.根据权利要求51所述的用户接口，其中，所述至少一个处理器还被配置为执行校准处理，该校准处理包括：
在所述平面上显示包括至少一个图形元素的校准序列；针对各个给定图形元素：
在所述观察空间中标识所述至少一个指点元件；
确定连接所述给定图形元素、所述至少一个指点元件和所述预定义的用户身体部位的至少一条观察射线；
确定所述至少一个指点元件和所述预定义的用户身体部位中的至少一个的相应位置；并且
将所述相应位置与所述给定图形元素关联地存储在数据仓库中。
55.根据权利要求51所述的用户接口，其中，所述至少一个处理器被配置为：获得在所述指点手势期间所述指点元件的选择的符合预定义的标准的位置数据分量的集合；针对选择的位置数据的集合中的各个给定位置数据分量，确定相应观察射线，所述相应观察射线从所述至少一个预定义的用户身体部位的位置延伸穿过所述至少一个指点元件的位置并与所述平面相交，从而得到相应候选平面，其中，所述至少一个指点元件的位置对应于所述给定位置数据分量；
确定各个候选平面之间的交叠区域；并且
利用指示所述交叠区域的数据来确定所述瞄准点。
56.根据权利要求51所述的用户接口，其中，所述至少一个处理器还被配置为：在所述平面上显示指点视觉效果；检测所述指点元件在所述观察空间中的运动路径；并且与所述指点元件的运动路径相关地改变显示的指点视觉效果的至少一个特性，从而提供指示在所述指点手势期间所述平面上的瞄准点的位置的数据。
CN201380025048.1A 2012-03-13 2013-03-12 识别指点手势的装置、用户接口和方法 Active CN104471511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810224201.8A CN108469899B (zh) 2012-03-13 2013-03-12 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261610116P 2012-03-13 2012-03-13
US61/610,116 2012-03-13
PCT/IL2013/050230 WO2013136333A1 (en) 2012-03-13 2013-03-12 Touch free user interface

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810224201.8A Division CN108469899B (zh) 2012-03-13 2013-03-12 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法

Publications (2)

Publication Number Publication Date
CN104471511A CN104471511A (zh) 2015-03-25
CN104471511B true CN104471511B (zh) 2018-04-20

Family

ID=49160334

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380025048.1A Active CN104471511B (zh) 2012-03-13 2013-03-12 识别指点手势的装置、用户接口和方法
CN201810224201.8A Expired - Fee Related CN108469899B (zh) 2012-03-13 2013-03-12 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810224201.8A Expired - Fee Related CN108469899B (zh) 2012-03-13 2013-03-12 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法

Country Status (3)

Country Link
US (4) US9671869B2 (zh)
CN (2) CN104471511B (zh)
WO (1) WO2013136333A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9414051B2 (en) 2010-07-20 2016-08-09 Memory Engine, Incorporated Extensible authoring and playback platform for complex virtual reality interactions and immersive applications
KR20220032059A (ko) 2011-09-19 2022-03-15 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
CN104471511B (zh) 2012-03-13 2018-04-20 视力移动技术有限公司 识别指点手势的装置、用户接口和方法
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9734582B2 (en) * 2013-02-21 2017-08-15 Lg Electronics Inc. Remote pointing method
US9122916B2 (en) * 2013-03-14 2015-09-01 Honda Motor Co., Ltd. Three dimensional fingertip tracking
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10620775B2 (en) * 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9436288B2 (en) 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9622322B2 (en) 2013-12-23 2017-04-11 Sharp Laboratories Of America, Inc. Task light based system and gesture control
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
WO2016103522A1 (ja) * 2014-12-26 2016-06-30 株式会社ニコン 制御装置、電子機器、制御方法およびプログラム
US10359883B2 (en) 2014-12-26 2019-07-23 Nikon Corporation Detection device, electronic apparatus, detection method and program
PL411339A1 (pl) * 2015-02-23 2016-08-29 Samsung Electronics Polska Spółka Z Ograniczoną Odpowiedzialnością Sposób sterowania urządzeniem za pomocą gestów i system do sterowania urządzeniem za pomocą gestów
US9791917B2 (en) * 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
CN104717365B (zh) * 2015-03-30 2017-05-10 京东方科技集团股份有限公司 亮度调节系统及方法、移动终端
EP3309708A4 (en) * 2015-06-10 2019-03-06 Vtouch Co., Ltd. METHOD AND DEVICE FOR DETECTING GESTURES IN A USER-BASED SPATIAL COORDINATE SYSTEM
CN105159539B (zh) * 2015-09-10 2018-06-01 京东方科技集团股份有限公司 可穿戴设备的触控响应方法、装置及可穿戴设备
CN105843054A (zh) * 2016-03-22 2016-08-10 美的集团股份有限公司 控制家居设备的方法、智能家居系统及移动设备
CN108008811A (zh) * 2016-10-27 2018-05-08 中兴通讯股份有限公司 一种利用非触屏方式操作终端的方法和终端
CN106682468A (zh) * 2016-12-30 2017-05-17 百度在线网络技术（北京）有限公司 解锁电子设备的方法以及电子设备
US11460994B2 (en) 2017-08-31 2022-10-04 Sony Corporation Information processing apparatus and information processing method
KR102511522B1 (ko) * 2017-10-18 2023-03-17 삼성전자주식회사 데이터 학습 서버, 이의 학습 모델 생성 및 이용 방법
US11544576B2 (en) 2017-11-14 2023-01-03 International Business Machines Corporation Unified cognition for a virtual personal cognitive assistant of an entity when consuming multiple, distinct domains at different points in time
US11443196B2 (en) * 2017-11-14 2022-09-13 International Business Machines Corporation Unified cognition for a virtual personal cognitive assistant when cognition is embodied across multiple embodied cognition object instances
US11568273B2 (en) 2017-11-14 2023-01-31 International Business Machines Corporation Multi-dimensional cognition for unified cognition in cognitive assistance
JP2019152984A (ja) * 2018-03-01 2019-09-12 富士ゼロックス株式会社 情報処理装置及びプログラム
IT201800003723A1 (it) * 2018-03-19 2019-09-19 Candy Spa Elettrodomestico con interfaccia utente
TWI734024B (zh) 2018-08-28 2021-07-21 財團法人工業技術研究院 指向判斷系統以及指向判斷方法
LU100922B1 (en) * 2018-09-10 2020-03-10 Hella Saturnus Slovenija D O O A system and a method for entertaining players outside of a vehicle
JP2020052681A (ja) * 2018-09-26 2020-04-02 シュナイダーエレクトリックホールディングス株式会社 操作処理装置
EP3856008A1 (en) * 2018-09-26 2021-08-04 Essilor International Method for determining at least one geometrico-morphological parameter of a subject
US20200125175A1 (en) * 2018-10-17 2020-04-23 WiSilica Inc. System using location, video-processing, and voice as user interface for controlling devices
US10894198B1 (en) * 2019-10-01 2021-01-19 Strikezone Technologies, LLC Systems and methods for dynamic and accurate pitch detection
US11195259B2 (en) * 2019-12-04 2021-12-07 Samsung Electronics Co., Ltd. Apparatus and method for dynamic multi-camera rectification using depth camera
CN112213850A (zh) * 2020-08-03 2021-01-12 深圳市莫廷影像技术有限公司 数码显微智能切换系统及其控制方法、裂隙灯显微镜
CN112835484B (zh) * 2021-02-02 2022-11-08 北京地平线机器人技术研发有限公司 基于操作体的动态显示方法、装置、存储介质及电子设备
US11792506B2 (en) * 2022-02-09 2023-10-17 Motorola Mobility Llc Electronic devices and corresponding methods for defining an image orientation of captured images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
CN1423796A (zh) * 2000-07-13 2003-06-11 皇家菲利浦电子有限公司 在电视会议及其它基于摄像机的系统应用中的指向方向校准
CN1904806A (zh) * 2006-07-28 2007-01-31 上海大学 手、眼关系引导的非接触式位置输入系统和方法
CN101960409A (zh) * 2007-12-31 2011-01-26 微软国际控股私有有限公司 3d指点系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
US8073198B2 (en) * 2007-10-26 2011-12-06 Samsung Electronics Co., Ltd. System and method for selection of an object of interest during physical browsing by finger framing
DE102008010990A1 (de) * 2008-02-25 2009-09-03 Siemens Aktiengesellschaft Einrichtung umfassend ein im Raum bewegbares, zu betrachtendes Objekt, insbesondere medizinische Untersuchungs- oder Behandlungseinrichtung mit einer im Raum bewegbaren Anzeigevorrichtung
US7991896B2 (en) * 2008-04-21 2011-08-02 Microsoft Corporation Gesturing to select and configure device communication
US20100088637A1 (en) * 2008-10-07 2010-04-08 Himax Media Solutions, Inc. Display Control Device and Display Control Method
JP2011028366A (ja) * 2009-07-22 2011-02-10 Sony Corp 操作制御装置および操作制御方法
US8970669B2 (en) * 2009-09-30 2015-03-03 Rovi Guides, Inc. Systems and methods for generating a three-dimensional media guidance application
US20110137727A1 (en) * 2009-12-07 2011-06-09 Rovi Technologies Corporation Systems and methods for determining proximity of media objects in a 3d media environment
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8522308B2 (en) * 2010-02-11 2013-08-27 Verizon Patent And Licensing Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience
KR101334107B1 (ko) * 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
US9715275B2 (en) 2010-04-26 2017-07-25 Nokia Technologies Oy Apparatus, method, computer program and user interface
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
US20110304649A1 (en) * 2010-06-10 2011-12-15 Microsoft Corporation Character selection
EP2455841A3 (en) * 2010-11-22 2015-07-15 Samsung Electronics Co., Ltd. Apparatus and method for selecting item using movement of object
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
JP2012141930A (ja) * 2011-01-06 2012-07-26 Sony Corp 情報処理装置、情報処理システム及び情報処理方法
CN201926822U (zh) * 2011-01-18 2011-08-10 上海麦启数码科技有限公司 可识别空间位置的3d眼镜系统
EP3527121B1 (en) * 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
KR101151962B1 (ko) * 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
US9104239B2 (en) * 2011-03-09 2015-08-11 Lg Electronics Inc. Display device and method for controlling gesture functions using different depth ranges
US9218063B2 (en) * 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US8947351B1 (en) * 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
CN104471511B (zh) * 2012-03-13 2018-04-20 视力移动技术有限公司 识别指点手势的装置、用户接口和方法
KR20220136517A (ko) * 2013-06-27 2022-10-07 아이사이트 모빌 테크놀로지 엘티디 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
CN1423796A (zh) * 2000-07-13 2003-06-11 皇家菲利浦电子有限公司 在电视会议及其它基于摄像机的系统应用中的指向方向校准
CN1904806A (zh) * 2006-07-28 2007-01-31 上海大学 手、眼关系引导的非接触式位置输入系统和方法
CN101960409A (zh) * 2007-12-31 2011-01-26 微软国际控股私有有限公司 3d指点系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Direct interaction with large displays through monocular computer vision;Kelvin Cheng;《University of Sydney School of Information Technologies》;20081001;正文第41、99-107、139、146-153、161页 *

Also Published As

Publication number Publication date
US20190324552A1 (en) 2019-10-24
US20170235376A1 (en) 2017-08-17
CN108469899B (zh) 2021-08-10
US10248218B2 (en) 2019-04-02
US20220382379A1 (en) 2022-12-01
US9671869B2 (en) 2017-06-06
US20140375547A1 (en) 2014-12-25
WO2013136333A1 (en) 2013-09-19
US11307666B2 (en) 2022-04-19
CN108469899A (zh) 2018-08-31
CN104471511A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
CN104471511B (zh) 识别指点手势的装置、用户接口和方法
CN105593787B (zh) 用于与数字设备交互的直接指向检测的系统和方法
US9939914B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US10001844B2 (en) Information processing apparatus information processing method and storage medium
CN103793060B (zh) 一种用户交互系统和方法
US20140240225A1 (en) Method for touchless control of a device
WO2022022036A1 (zh) 一种展示方法、装置、设备、存储介质及计算机程序
CN107004279A (zh) 自然用户界面相机校准
US20100259610A1 (en) Two-Dimensional Display Synced with Real World Object Movement
TW201104494A (en) Stereoscopic image interactive system
US20110164032A1 (en) Three-Dimensional User Interface
US20200387286A1 (en) Arm gaze-driven user interface element gating for artificial reality systems
EP3106963B1 (en) Mediated reality
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
US11043192B2 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
JP2004246578A (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
Shim et al. Gesture-based interactive augmented reality content authoring system using HMD
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements
Molyneaux et al. Cooperative augmentation of mobile smart objects with projected displays
Bai Mobile augmented reality: Free-hand gesture-based interaction
McDonald Hand interaction in augmented reality
Haubner et al. Recognition of dynamic hand gestures with time-of-flight cameras
Kerdvibulvech Augmented reality applications using visual tracking
Piumsomboon Natural hand interaction for augmented reality.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant