CN105593787B - 用于与数字设备交互的直接指向检测的系统和方法 - Google Patents

Abstract

公开了系统、方法和非暂态性计算机可读介质。例如，公开的非接触式手势识别系统包括至少一个处理器。该处理器可配置为启用向用户的第一显示信息的呈现，以提示在显示器上的至少第一位置处的第一非接触式手势。所述处理器还可配置为从至少一个图像传感器接收第一手势信息，该第一手势信息对应于与用户做出的第一非接触式手势相关的显示器上的第一手势位置，其中至少部分地由于用户的一只眼相对用户的另一只眼占优势，第一手势位置不同于第一显示信息的位置。另外，该处理器可能配置为确定与第一显示信息的位置和第一手势位置相关联的第一偏移。进一步地，该处理器可能配置为启用第二信息的呈现，以提示用户在显示器上的至少第二位置做出后续的非接触式手势。此外，该处理器可能配置为从至少一个图像传感器接收对应于用户做出的后续非接触式手势的后续手势信息。并且，该处理器可能配置为使用第一偏移确定显示器上受后续非接触式手势影响的位置。

Description

用于与数字设备交互的直接指向检测的系统和方法

相关申请

本申请要求2013年6月27日提交的申请号为61/840,447的美国临时申请的优先权，通过引用将其全部内容包括在内。

技术领域

本发明涉及非接触式手势检测，尤其涉及用于采用传感器来检测非接触式手势的设备和计算机可读介质。

背景技术

允许用户与设备或设备上运行的应用进行交互，这在许多不同设置中都是有用的。例如，电子系统通常包含键盘、鼠标和控制杆等，使得用户能够输入数据、操作数据，并且使得系统的处理器执行各种其它操作。然而，越来越多的触控式输入设备，比如键盘、鼠标和控制杆等，被那些允许非接触式用户交互的设备所代替或补充。例如，系统可能包括的图像传感器，该图像传感器捕获包括用户的手和/或手指等的用户图像。处理器可配置为接收该图像并基于用户执行的非接触式手势而发起操作。因此，有必要改进用于检测和输入非接触式手势的技术。

发明内容

在一个公开的实施例中，公开了一种非接触式手势识别系统。该非接触式手势识别系统可能包括至少一个处理器。该至少一个处理器可能被配置为，启用对用户的第一显示信息的呈现，以在显示器上的至少第一位置处提示第一非接触式手势，从至少一个图像传感器接收第一手势信息，该第一手势信息对应于与所述用户的第一非接触式手势相关联的、显示器上的第一手势位置，其中至少部分地由于用户的一只眼相对于该用户的另一只眼而言占优势，所述第一手势位置不同于所述第一显示信息的位置，确定与所述第一显示信息的位置和所述第一手势位置相关联的第一偏移，启用第二信息的呈现，以提示用户在所述显示器上的至少第二位置处做出后续非接触式手势，从至少一个图像传感器接收所述用户的后续非接触式手势对应的后续手势信息，并使用所述第一偏移确定所述显示器上受所述后续非接触式手势影响的位置。

将在以下描述中的部分阐述与实施例有关的其他方面，并且从描述中可以理解本发明的其他方面，或者可以通过公开的实施例的实践学习本发明的其他方面。

可以理解的是，以上整体概述和以下详细描述仅是示例性和解释性的，并非对权利要求的限制。

附图说明

合并在本说明书中并构成本说明书的一部分的附图，举例说明了本发明中的几个示例性实施例，其连同描述，用来说明本发明的原理。

图1展示了根据一些公开实施例的非接触式用户界面系统的示例性图形表示；

图2A展示了根据一些公开实施例的非接触式用户界面的示例性处理单元；

图2B展示了根据一些公开实施例的系统的示例性框图；

图3A展示了示例性偏移确定步骤，其可依照与本发明的实施例相关联的方法、系统及计算机可读介质而使用；

图3B展示了手势检测和识别的示例性步骤，其可依照与本发明的实施例相关联的方法、系统及计算机可读介质而使用；

图4展示了根据一些公开实施例的非接触式用户界面系统的示例性图形表示；

图5展示了用于识别指向位置的示例性步骤，其可依照与本发明的实施例相关联的方法、系统及计算机可读介质而使用；

图6A展示了根据一些公开实施例的非接触式用户界面系统的示例性图形表示；

图6B展示了根据一些公开实施例的非接触用户界面系统的示例性图形表示；

图7展示了示例性校准步骤，其可依照与本发明的实施例相关联的方法、系统及计算机可读介质而使用；

图8展示了根据一些公开实施例的非接触式用户界面系统的示例性图形表示；

图9展示了用于识别候选平面或候选区域的示例性步骤，其可依照与本发明的实施例相关联的方法、系统及计算机可读介质而使用；

图10展示了根据一些公开实施例的示例性候选平面的维恩图（Venn diagram）；

图11展示了示例性手势追踪步骤，其可依照与本发明的实施例相关联的方法、系统及计算机可读介质而使用；

图12展示了用于确定单眼优势的示例性步骤，其可依照与本发明的实施例相关联的方法、系统及计算机可读介质而使用；

图13展示了根据一些公开实施例的非接触式用户界面系统的示例性图形表示；

图14展示了根据一些公开实施例的用户脸部的示例性图形表示；

图15展示了根据一些公开实施例的用户手部的示例性图形表示；

图16A展示了根据一些公开实施例的指向视觉效果的示例性图形表示；

图16B展示了根据一些公开实施例的指向视觉效果的示例性图形表示；

图17展示了根据一些公开实施例的非接触式用户界面系统的示例性图形表示。

具体实施例

以下将结合附图对本发明的示例性实施例进行详细描述。在可能情况下，附图所使用的相同附图标记表示相同或相似的部件。

图1描绘了系统2的实施例，其用于具有显示器6的设备4的非接触操作。该设备4可能包括，例如，手机、智能眼镜、个人计算机（PC）、娱乐设备、机顶盒、电视机、移动游戏机、平板计算机、电子阅读器、便携式游戏机、笔记本电脑或超级笔记本电脑等便携式计算机、厨房电器等家用电器、通信设备、空调、坞站、移动视频游戏设备等游戏机、数码摄像头、手表、娱乐设备、扬声器、智能家居设备、媒体播放器或媒体系统、定位设备、微型投影仪或嵌入式投影仪、医学显示设备等医学设备、车辆、车载/机载资讯娱乐系统、导航系统、可穿戴设备、增强现实功能设备、可穿戴护目镜、机器人、交互式数字看板、数字亭、自动售卖机、自动柜员机（ATM）、或可从用户接收数据或向用户输出数据的任何其它设备或系统。

该显示器6可能包括能够导致图形或其他视觉信息显示的任何平面、表面、或其它工具。进一步地，该显示器6可能包括将图像或视觉信息投影到平面或曲面上的任何类型的投影仪。例如，该显示器6可能包括一个或多个电视机、计算机显示器、头戴式显示器、广播参考监视器、液晶显示器（LCD）屏幕、基于发光二极管（LED）的显示器、LED背光LCD显示器、阴极射线管（CRT）显示器、电致发光（ELD）显示器、电子纸/墨水显示器、等离子显示面板、有机发光二极管（OLED）显示器、薄膜晶体管（TFT）显示器、高性能定址（HPA）显示器、表面传导电子发射显示器、量子点显示器、干涉调制器显示器、体扫描显示器、碳纳米管显示器、变焦镜显示器、发射波长显示器、激光显示器、全息显示器、光场显示器、墙壁、三维显示器、电子墨水显示器、以及用于输出视觉信息的任何其它电子设备。该显示器6可能包括触摸屏或者是触摸屏的一部分。图1描绘的显示器6是设备4的一部分。然而，在可选的实施例中，显示器6可能在设备4的外部。

该系统2还可能包括图像传感器8（或从图像传感器8接收信息），该图像传感器8位于设备4附近并且配置为获取以虚线10为界的三维（3-D）观察空间的图像。该图像传感器8可能包括任何图像采集设备，例如，摄像头、光传感器、红外线（IR）传感器、超声传感器、接近传感器、CMOS图像传感器、短波红外线（SWIR）图像传感器、或反射传感器、CCD图像传感器、反射传感器、包括三维图像传感器或两个或两个以上二维立体图像传感器的深度视频系统、以及能够感应环境的视觉特性的任何其它设备中的一个或多个。举例来说，图1描绘了与设备4相邻的图像传感器8，但在可选的实施例中，该图像传感器8可能成为该设备4的一部分或者远离设备4。

位于由虚线10所指示的观察空间中的用户16可能出现在图像传感器8所获取的图像中。该图像传感器8可能输出二维的或三维的单色的、彩色的、或IR视频至处理单元12，该处理单元12可能与图像传感器8集成在一起，或者通过有线或无线通信通道连接至该图像传感器8。

本发明的实施例可能包括至少一个处理器。这里使用的术语“处理器”可能包括对一个输入或多个输入执行逻辑运算的电路。例如，这种处理器可能包括一个或多个集成电路、微芯片、微控制器、微处理器、全部的或部分的中央处理单元（CPU）、图形处理单元（GPU）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、或适用于执行指令或执行逻辑运算的任何其它电路。该至少一个处理器可能与处理单元一致，或者可能组成处理单元的任何部分，例如，图2A所示的处理单元12。图2A的处理单元12可能包括处理器15和存储器13等等，存储器13可能用于存储由图像传感器8获取的图像。处理单元12和/或处理器15配置为执行存在于处理器15和/或存储器13中的一个或多个指令。

存储器13可能包括，例如，一个或多个非暂态性存储器、ROM、EEPROM、EAROM、闪速存储器设备、磁盘、磁光盘、CD-ROM、DVD-ROM、蓝光媒介，并且可能包括指令（比如软件或固件）和/或其它数据。图2A描绘了作为处理单元12的一部分的存储器3，但在其它实施例中，存储器13可能在处理单元12的外部。

处理单元12可能配置为分析由图像传感器8获取的图像，并追踪由用户16用来与显示器6交互的一个或多个预定义的指向元件。指向元件可能包括，例如，位于该图像传感器8的观察空间内的用户16的指尖14。在一些实施例中，该指向元件可能包括，例如，用户16的一只或多只手、手的一部分、一个或多个手指、手指的一个或多个部分、以及一个或多个指尖14、或手持式定位笔。虽然图1描绘了作为指向元件的指尖14，但是可以类似地使用其它的指向元件并且服务于同样的目的。因此，无论在本说明书的什么地方提到指尖14，其都应当被看作只是一个例子，并且应当大致理解为也包括其他指向元件。

处理单元12配置为呈现显示信息，比如在显示器6上的图标20，用户16可能将指尖14指向该图标20。处理单元12还可能配置为在显示器6上指示输出18（指针（indicator）18），该输出18对应于用户16所指的位置。例如，如图17所示，该用户16可能打算指向显示器6上的显示信息（图标20）。在这个例子中，处理单元12可能确定该用户16实际上指向手势位置19。然而，该处理单元12可能确定与显示信息和手势位置19之间的差别相关的偏移O。通过部分使用与该偏移O相关的信息，处理单元12可以反应用户意图地向显示器6的目的地发送输出（例如，指针18）。在图17所示的例子中，尽管用户16实际上指向手势位置19，但是指针18显示在与图标20相同的位置。

手势位置19可能是与该显示器6上的位置有关的任何数学表达方式，其根据用户指向的位置由系统2定义在某点。该手势位置19可以包括在显示器（x，y）上的特定坐标（x，y）或（三维显示情况下的x，y，z）。手势位置19可能包括在该显示器6上的区域或位置（例如，候选平面）。另外，该手势位置19可以被定义为与显示器上的位置有关的概率函数（比如三维高斯函数）。该手势位置19可以与一组叠加图片相关联，该叠加图片反映了检测的质量，比如表示该手势位置19在显示器6上的位置的估计的精确性的概率。

在智能眼镜的情况下，例如，有能力向用户16呈现数字信息的可穿戴眼镜，该手势位置可能被定义为虚拟平面的位置，该虚拟平面是由智能眼镜显示器呈现的用户认为看到数字信息的平面。

显示信息可能包括静态图像、动态图像、交互对象（比如图标）、视频、和/或任何可视化信息。显示信息可以由上述显示器的任何方式来显示，并且可能包括平板显示器、曲面显示器、投影机、如用在可穿戴眼镜中的透明显示器，和/或直接地或间接地投射至用户的眼或瞳孔的显示器。

指向图标的指示或反馈可能由例如视觉指示、音频指示、触感指示、超声波指示、触觉指示中的一个或多个提供。显示视觉指示可能包括，例如，在显示器6上显示图标、在显示器6上更改图标、在显示器6上更改图标的颜色、显示指示灯、显示亮度增强、阴影或其它效果、在显示器6上移动指针、提供方向性振动指示、和/或提供空气触觉指示。视觉指针可能出现在显示器6上出现的所有其它图像或视频的上面（或前面）。如用户16在显示器6上选择的图标的视觉指针，可能与用户的眼22和在共同观察光线24（或视线）上的指尖14共线。由于下面将更详细描述的原因，这里使用的术语“用户的眼”为定义用户的脸上与视线相关的位置或区域的简短术语。因此，这里使用的术语“用户的眼”包括眼的瞳孔或其它的眼特征、眼之间的用户脸部位置、或与至少一个用户的眼相关的在用户脸部上位置、或可能与视线有关的脸上的一些其它的解剖特征。这种概念有时还称为“虚拟眼”。

图标作为示例性图形元素，可能在显示器6上显示并被用户16选择。除了图标之外，图形元素还可能包括，例如，显示在已显示的图像和/或影片中的对象、显示在显示器6上或在已显示的文件中的文本，以及显示在互动游戏中的对象。在这整个描述中，术语“图标”和“图形元素”被广泛地用于包括任何显示的信息。

如图3A中的步骤313所示，本发明的实施例可能使第一显示信息能够展示给用户18，从而至少在显示器6上的第一位置提示第一非接触式手势。可能例如通过从处理器15向显示设备传输数据实现该展示，以便使得信息或信息的表示能够通过显示器6呈现给用户16。举例来说，如图1所示，该展示可能被设计为引起或提示用户16向着显示器6做出非接触式手势。特别地，图1描绘了用户16执行手指指向非接触式手势。显示器6上的第一位置可能通常对应于显示信息的位置。如下文更加详细的描述，由于用户的知觉（例如，显示的信息）和显示的信息的实际位置（例如，手势位置）之间可能存在差别，这种对应可能是不精确。如下文更加详细的描述，该第一信息可能包括，例如，图形元素、图标、或其它信息。

例如，处理单元12还可能配置为在显示器6上显示一个或多个可选择的图形元素或图标。图1描绘了四个示例性的图标20a、20b、20c和20d。然而，在一些实施例中，可能在在任何时间在显示器6上显示任何数量的图标。用户16可能通过将指尖14指向其想要选择的特定的图标而选择图标20a至20d中的任何一个。

如图3A中的步骤315所示，本发明的实施例可能接收对应于显示器6上的第一手势位置的第一手势信息，该第一手势信息关联并反映用户16的第一非接触式手势。如下文更加详细的描述，该第一手势信息可以对应任何动作或姿态。该手势信息可能包括，例如，对应于检测到的手势或指向元件的数值数据或图形数据。可能由至少一个处理器15接收该数值数据或图形数据，该处理器15可能将其与已知的显示位置相关联。

处理单元12可能配置为根据预定义的标准，识别用户16选择的图标。例如，当用户16指向图标一段预定义的时间（例如，预定的若干秒钟），处理单元12可能选择该图标。另外，处理单元12可能配置为当用户16向选择的图标执行预定义的动作时，识别用户16选择的图标。例如，该预定义的动作可能包括敲打动作，其中，在指尖14向选择的图标移动之后，指尖14离开选择的图标。系统2可能配置为当用户16指向并选择图标时，生成视觉的和/或听觉的反馈。例如，如果显示器6上有单一的图标并且检测到用户手势，该系统2可能配置为假定用户16已向唯一显示的图标作手势。如果显示有多个图标，该系统2可能配置为假定用户16已向最靠近与用户的手势相关的手势位置19的图标作手势。

如下文更加详细的描述，由于用户16的一只眼相对于另一只眼处于主导地位，显示器6上的实际手势位置（检测到的指向位置）可能不同于用户16所认为的他/她指向的图标的实际显示位置。因此，为了提高非接触式手势系统的精确性，该系统可能能够确定与第一显示信息（如图标20）的位置和第一手势位置9相关的偏移O，如图17和图3A中的步骤317所示，并将在下文进行更加详细的描述。该偏移O可以通过许多不同的方式确定和应用。例如，偏移O可以通过偏移于用户的两眼之间的中心点的位置处的“虚拟眼”的选择来完成，并且该虚拟眼可作为视线的起始点。替代性地，可能基于显示器上用户18做出手势的图标（比如图标20）和检测到的手势的位置（比如手势位置19）之间的检测到的差异来确定偏移O。以下将参照图2、13及17举例说明并进行更详细的描述。

虽然本说明书有时指的是单一的偏移O的确定，但可以理解的是，这仅仅是简称，该系统可能能够确定多个偏移（连续地或周期间隔）以便有可能实现更高层次的精度，并且能够确定与显示器6上的不同位置相关的、与图标的不同尺寸相关的、与图标的不同聚类相关的或与检测到手势位置的显示器上的区域或位置中的图标之间的距离相关的多个偏移。此外，偏移可存在于由单一坐标、双坐标表示的任何方向中，或者在三维偏移的情况下，存在于由三坐标表示的任何方向中。进一步地，偏移O可能是与显示器上用户视为指向的位置和由系统2指示的手势位置19之间的差异有关的任何数学表达方式。该偏移O可以涉及显示器6自身上的两个位置之间的距离（例如，向右24像素，及向上8像素）、表示两个位置之间的差异的矢量（2-D或3-D矢量）、与这两个位置之间的距离相关的一组图形，和/或描述这两个位置之间的距离的公式。偏移O可以涉及相比于用户脸上其它的解剖位置（比如用户眼22）的“虚拟眼”。偏移O可以涉及用户的指向元件（比如指尖14）的位置，并且可能用于更改该指向元件的检测位置。该偏移O还可以涉及从“虚拟眼”前面开始，穿过指向元件，并与显示器6相交的所计算的视线24的任何特征。如图3A中的步骤319所示，当其后显示有第二信息，并且用户18向该第二信息做手势时，与该第二手势有关的图形或数值数据可以通过图像传感器（例如，图1中的图像传感器）接收，如图3A中的步骤321所示，并被传输至处理器（例如，图2A中的处理器15）。由于用户的一只眼相对于另一只眼占优势，第二或后续手势位置可能没有准确地对准该第二信息，即，用户意图指向的位置。然而，根据步骤317使用预先确定的第一偏移（或多个偏移），处理器15可能配置为对未对准进行校准，如步骤323所述。由于该校准导致的结果是，可以确定用户的意图，并且开始相应的动作。一个这样的动作可能包括向显示器6发送输出以提供用户的意图的显示表示（例如，虽然系统可能已经检测到用户指向图标左边3英寸处，但是这种偏移校准能够使得要显示的光标更靠近图标或在图标上）。结合图12和13将对偏移的示例性操作进行更加详细的描述。

在一些实施例中，在指向或敲击动作过程中，指尖14不接触该显示器6。在图1所示的例子中，指尖14指向图标20b。处理单元12可能通过分析图像传感器8获取的图像流（例如，视频流）中的图像检测到用户16将指尖14指向图标20b一段预定的时间，或者检测到用户16向图标20b执行敲击动作（或点击动作）。当该处理单元12确定特定的图标已经被选择，与已选的图标有关的相应的命令和/或消息会被分别地执行或生成。消息的生成或命令的执行可能将相应的结构发送至任意一个或多个操作系统、一个或多个本地服务、一个或多个应用、一个或多个设备、一个或多个远程的应用、一个或多个远程服务、或一个或多个远程设备。

在一些实施例中，响应于由通信连接的图形元素的选择，设备4可能与外部的设备或网站通信。该通信可能包括发送消息到以下一个或多个：在该外部的设备或网站上运行的应用、在该外部的设备或网站上运行的服务、在该外部设备或网站上运行的操作系统、在该外部设备或网站上运行的进程、在该外部设备或网站的处理器上运行的一个或多个应用、在该外部设备或网站的后台中运行的软件程序、或者在该外部设备或网站上运行的一个或多个服务。进一步地，该通信可能包括发送消息到在设备4上运行的应用、在设备4上运行的服务、在设备4上运行的操作系统、在设备4上运行的进程、在设备4的处理器15上运行的一个或多个应用、在设备4的后台中运行的软件程序、或者在设备4上运行的一个或多个服务。与外部设备或网站的通信可发生在通信网络上。

响应于图形元素的选择，可能向外部设备或网站发送消息，该外部设备或网站从在该外部设备或网站上运行的应用、在该外部设备或网站上运行的服务、在该外部设备或网站上运行的操作系统、在该外部设备或网站上运行的进程、在该外部设备或网站的处理器上运行的一个或多个应用、在该外部设备或网站的后台中运行的软件程序、或者在该外部设备或网站上运行的一个或多个服务中请求与图像中识别的图形元素相关的数据。也可能向设备4发送消息，该设备4从在设备4上运行的应用、在设备4上运行的服务、在设备4上运行的操作系统、在设备4上运行的进程、在设备4的处理器15上运行的一个或多个应用、在设备4的后台中运行的软件程序、在设备4上运行的一个或多个服务中请求与图像中识别的图形元素相关的数据。

发送至外部设备或网站的消息可能包括命令。该命令可能包括，例如，运行在该外部设备或网站上的应用的命令、停止在该外部设备或网站上运行的应用的命令、启动在该外部设备或网站上运行的服务的命令、停止在该外部设备或网站上运行的服务的命令、或发送与图像中识别的图形元素相关的数据的命令。发送至设备4的命令可能包括命令。该命令可能包括，例如，运行在该设备4上的应用的命令、停止在该设备4上运行的应用的命令、启动在该设备4运行的服务的命令、停止在该设备4上运行的服务的命令、或发送与图像中识别的图形元素相关的数据的命令。

响应于图形元素的选择，设备4可能从外部设备或网站接收与图像中识别的图形元素相关的数据，并且该设备4将所接收的数据呈现给用户16。

使用两个指向元件（比如两只手）指向所执行的命令和/或所生成的消息可能包括，例如，选择区域、通过将两指尖相互移开或移向彼此而放大或缩小选择的区域，以及通过旋转指尖来旋转选择的区域。使用两个指向元件指向所执行的命令和/或所生成的消息还包括在两个对象之间建立交互，比如将音乐歌曲和视频轨道结合。另外，用户16可能通过向显示器6指向一根手指，并且向显示器6上的另一位置指向和移动另一根手指，以执行命令和/或生成消息，从而建立游戏互动。另外，用户16可能执行命令和/或生成消息以在屏幕上滑动图标（此动作可用于解锁该设备）、滚动页面或文件夹，以及增大或减小音量。该命令可能是在一个或多个图标上的“滑动命令”。

在显示器8上识别用户已经指向的位置之后，响应于用户16执行的预定义的手势，可能执行命令和/或生成消息。系统2可能配置为检测手势并执行相关的指令和/或生成相关的消息。被检测的手势包括，例如，以下一个或多个：滑动动作、两个手指的对捏动作、指向、从左到右的手势、从右到左的手势、向上的手势、向下的手势、推送手势、打开握紧的拳头、打开握紧的拳头并移向图像传感器8、敲击手势、挥舞手势、通过手指或手执行的划圈手势、顺时针和/或逆时针手势、拍手手势、反向拍手手势、将手紧握成拳、捏紧手势、反向捏紧手势、展开手上的手指、收紧手上的手指、指向图形元素、握住活动对象以一段预定义的时间、点击图形元素、双击图形元素、点击图形元素的右侧、点击图形元素的左侧、点击图形元素的下部、点击图形元素的上部、抓住对象、从右侧向图形元素做手势、从左侧向图形元素做手势、从左侧通过图形元素、推送对象、鼓掌、在图形元素上挥舞、爆炸手势、在图形元素上的顺时针或逆时针手势、用两个手指抓住图形元素、单击拖动释放手势、滑动图标、和/或传感器可检测到的任何其它动作或手势。

图2B为系统2的结构示意图。具体地，处理单元12可能包括，例如，图像数据存储库202，其配置为存储由图像传感器8捕获的图像；图形元素生成器（即，图标生成器）204，其配置为在显示器6上生成并显示图标；命令执行模块206，其配置为允许执行与显示器6上显示的各图标有关的命令；校准模块208，其配置为执行校准过程；以及机器视觉单元210。该机器视觉单元210可能包括，例如，手势识别模块212，其可能配置为从捕获的图像识别由用户16做出的手势；以及视线识别模块214，其可能配置为识别显示器6上用户16指向的点或位置。

图3B展示了系统2可能执行的示例性方法的流程图。该方法可能包括步骤301，即在显示器6的前方捕获观察空间的至少一个图像。例如，图像传感器8可能在该显示器6的前面捕获观察空间的一系列图像。这些图像可能被捕获并存储在图像数据存储库202等数据存储库中。这些捕获的图像可能在之后被处理或在被捕获时就被立即处理。这些捕获的图像可能包括，例如，位于该显示器6前方并且试图与显示器6上显示的一个或多个图形元素交互以对准指向元件的用户16（即，试图将指向元件（如指尖14）对准显示器6上显示的图标或文本的用户18）

这些捕获的图像还可能包括一个或多个用户16的脸部的预定义部分，比如一个或多个用户的眼22，以及一个或多个指向元件，比如指尖14。该方法可能包括步骤303，即在至少一个图像中检测指向手势。具体地，可能例如借助于包括手势识别模块212的机器视觉单元210，完成对用户16和指向元件的识别。

该方法可能包括步骤305，即在显示器6上识别一个或多个指向元件指向的点或位置。可能例如借助于视线识别模块214识别该点。由于用户的眼22、指尖14以及显示器6上选择的图标所在的点可能是共线的并位于共同的视线24上，处理单元12可能配置为识别该视线24。步骤305可能还包括增强对显示器6上用户16指向的点的识别而指定的一个或多个进程。虽然图1描绘了作为用户16的脸部的一部分的用户的眼22，可能用于识别视线24，但是在本说明书中提及的脸部的其它部分也可能类似地被识别并用于此用途。因此，在本说明书中无论何处提到一个或多个用户的眼22，其都应仅作为例子并广泛地解读为同时包括脸部的其它部分。

该方法可能包括步骤307，即识别该显示器6上显示的视觉对象，该视觉对象完成相对于显示器8上识别的点的预定义的标准。例如，该视觉对象（或图形元素）可能是最靠近显示器8上识别的由用户16选择的点的视觉对象。

该方法可能包括步骤309，即当指向元件指向视觉对象时，确定何时会满足预定义的条件。可能在已经确定选择的视觉对象（图形元素）后执行步骤309。如上所述，该条件可能包括，例如，指向元件指向确定的点和/或预定义的手势（例如，向显示器6的敲击动作）一段预定义的时间，或任何其他合适的条件。

该方法可能包括步骤311，即执行与视觉对象相关的预定义的操作命令。可能在已经满足预定义的条件之后执行步骤311。例如，指令执行模块206可能配置为执行命令，比如与选择的图形元素相关的设备4中的其它功能元素交互。

为了确定交互用户16选择了哪个图形元素，首先需要识别显示器6上用户16指向的点。

在一些实施例中，图像传感器8可能包括三维传感器或一对二维立体图像传感器。在这些实施例中，处理单元12可能配置为在三维观察空间中定位用户的眼22和/或指尖14的x、y和z坐标。接着，处理单元12可能确定具有在眼22处的顶点、并穿过指尖14的视线24。如图1所示，点或标记18可能位于该显示器8上视线24与显示器6相交的位置。在一些实施例中，系统2可能同时包括二维图像传感器和三维图像传感器，并可能配置为从二维图像传感器捕获的图像获取用户的眼22和指尖14的x和y坐标，从三维图像传感器捕获的图像获取用户的眼22和指尖14的z坐标。在一些实施例中，三维图像传感器可能配置为获取低分辨率图像。来自二维和三维图像传感器的组合信息可用于确定三维视线24。

在其它实施例中，图像传感器8可能包括二维位置传感器。站立在显示器6前方的用户16可能指向显示器6上的任何地方，可以根据用户的眼22（或其它解剖位置）的二维位置（即，x和y坐标）和由图像传感器8沿解剖位置和显示器6之间的距离捕获的指向元件（即，指尖14）的二维位置以及指向元件和显示器6或用户16或用户的眼22之间的距离确定与用户的指向相关的特定视线24。

在一些实施例中，处理单元12可能配置为确定显示器6上用户16指向的点。例如，可能从该图像传感器8捕获的图像确定用户的眼22的x和y坐标。如图6所示，例如，可能估算用户16和显示器6之间的距离R1。根据所估算的距离R1，可以获取观察空间中的用户的眼22的z坐标。

可能例如根据由图像传感器8获取的图像中识别的用户的两眼22之间的距离，确定距离R1。不同人的两眼（例如，瞳孔）之间存在相似的距离。属于相同种族的人的相似度更高。因此，用户16的两眼之间的距离可能表明用户的眼22和显示器6之间的距离R1。

可以根据图像传感器9捕获的图像确定指向元件的x和y坐标。使用指向元件和用户16之间的估算距离R1，可以得到观察空间中的指向元件的z坐标。

一旦获取到用户的眼22（或虚拟眼或其它解剖特征）的x、y和z坐标及指向元件的x、y和z坐标，可以确定贯穿这两点的直线（视线24），并且可以识别该直线与显示器6相交的点。识别的该直线与显示器6相交的点可能被确定为显示器6上用户16正指向的点，例如，手势位置。

在一些实施例中，显示器6可能是三维显示器，并且显示的图形元素可能是三维图形元素，这些图形元素被用户16认为是位于显示器6前方的观察空间中或位于设备4的后面。因此，确定用户16正指向的点的位置可以由三维显示器执行，其中被识别的视线24从用户的眼22延伸，穿过指向元件，到达代表被用户16认为是位于显示器6前方的观察空间中的各图形元素的视觉元素。

在一些实施例中，显示器6为二维显示器，并且显示的图形元素为二维图形元素。因此，确定用户16正指向的点的位置可由二维显示器6执行，其中被识别的视线24从用户的眼22延伸，穿过该指向元件，到达视线24与显示器6的相交点。

图4展示了用户16指向显示器6的示例性图形表示。为了更好地确定显示器6上用户16正指向的点，比较有利的做法是在指向的同时识别观察空间中的指向元件的位置。因此，比较有利的做法是识别点P’，点P’为在指向手势过程中指向元件最靠近显示器6时指向元件的位置。指向手势过程中的用户16的手部动作由以最靠近显示器6的点P’为特征的运动矢量所给出。

系统2可能配置为在指向手势过程中识别点P’。在图像传感器8包括三维图像传感器或立体图像传感器的一些实施例中，处理单元12可能配置为从捕获的图像中提取点P’，从而当指向元件最靠近显示器6时，点P’的z坐标可能表明指向元件的位置。

在图像传感器8包括二维图像传感器的一些实施例中，可能根据对指向手势过程中的指向元件的一个或多个特征的分析识别点P’，该一个或多个特征包括，例如，该指向元件的运动路径、该指向元件的运动矢量、该指向元件的运动矢量中的变化、该指向元件的手势、该指向元件的尺寸、该指向元件的加速度和/或负加速度。在一些实施例中，对点P’的识别可基于在观察平面中的指向元件的位置的变化。例如，在用户16伸展其手臂并且已经达到点P’之后，用户16可能缩回其手臂。在观察空间中的指向元件的位置（即，坐标）的变化，可能表明手臂已缩回，并且可用于识别点P’。

在一些实施例中，可以根据指向手势过程中指向元件的尺寸的变化识别点P’。例如，随着用户16向显示器6伸展其手臂，指向元件的尺寸会增大（例如，在捕获的图像中的指尖14的尺寸会增大）。处理单元12可能配置为追踪该指向元件的尺寸，并确定当该指向元件的尺寸最大时该指向元件的位置。

图5展示了用于识别点P’的示例性方法的流程图。可以通过例如包括机器视觉模块210的处理单元12，执行参考图5所述的操作。

该方法可能包括步骤501，即捕获与显示器6交互的用户16的至少一个图像。具体地，当用户16试图与显示器6上显示的图标交互时，图像传感器8可能捕获用户16的图像。该方法可能包括步骤503，即在至少一个图像中检测指向元件。该方法可能包括步骤505，即识别指向元件的末端的尺寸的变化。在步骤505的过程中，可能对捕获的图像进行处理，并且可能在不同图像中识别指向元件的尺寸的变化。例如，可能计算在指向手势开始的时候指尖4在初始位置的尺寸与随着手臂朝向显示器6的运动时指尖14沿着不同位置的尺寸之间的比率，并且，可以识别指尖14的尺寸的增长比例。一旦指向元件位于与显示器6的最短距离处，就可能出现指向元件的最大尺寸，并且可能记录相对其初始位置的尺寸的最大变化。当手臂随后缩回时，随着指向元件的尺寸变小，尺寸的变化也减小。

该方法可能包括步骤507，即识别确定了指向元件的末端在初始尺寸和当前尺寸之间最大变化的指向元件的位置。该方法可能包括步骤508，即指定识别的位置为点P’。

图6A为描绘用户16指向显示器6的俯视图。如图6A所示，图像传感器8可能与显示器6相邻，并且能够捕获用虚线10表示的三维观察空间的图像。从显示器6至用户16的距离R1用线R1表示，其从显示器6延伸至用户16的两眼之间（例如，瞳孔之间）的假想线上的点。如上所述，可以根据例如在图像传感器获得的图像中识别的用户眼之间的距离，确定距离R1。

此外，基于典型的人的行为，可以假设的是，当用户16在指向显示器6时，其手臂不需要从其身体完全地伸展，并且可以假设的是，当手臂返回至身体时，手臂不需要完全地收回。在图6A和6B中用范围R2表示指向元件从用户16的身体向显示器6的伸展长度。

可以根据例如用户的身高和其身体的估算比例，估算范围R2，另外，可以根据表示用户16与显示器6的距离R1的信息估算范围R2。此外，在估算范围R2的过程中，也可以使用与用户16的年龄和性别相关的信息。并且，可能根据记录的从多个用户16获得的统计信息来估算范围R2，该统计信息表明用户16指向时其手臂的伸展（其可能还要考虑每位用户16的身高和比例）。

进一步地，可以根据用户16的地理和/或种族起源，对这种信息进行分类，以便区分可能与不同地理和/或种族起有关的不同指向手势。因此，例如，可以根据记录的与许多用户16的手臂伸展长度相关的信息，计算范围R2的平均长度。

虽然范围R2能够估算指向元件与用户的身体之间的距离，但是不同用户16做出的指向手势中手臂的伸展可能存在一些偏差。图6A还描述了偏差△r，其表示不同的指向手势之间手臂的伸展中潜在的偏差。如上所述，假设范围R2为测量的不同的用户16的指向手势中手臂的伸展的平均值，偏差△r可以确定为，例如，（例如，在该身高因素标准化以后）与上述平均值的一个或多个标准偏差相等的值。

图6B为描绘了指向元件的不同示例性伸展的俯视图。如图6B所示，图像传感器8可能与显示器6相邻并能够捕获三维观察空间的图像。图像传感器8可能捕获用户16的图像。不同于由三维图像传感器捕获的图像，由二维图像传感器捕获的图像将用户16的图像投影提供到显示器6上而没有深度视觉。如图6B所示，用户16可能伸展其手臂并且指向显示器6。所示的两种伸展有不同的长度。从伸展a（更长的延伸）延伸的视线与该显示器6在点P1相交，从伸展b（更短的延伸）延伸的视线与该显示器6在点P2相交。

虽然伸展a和b可能指向显示器6上的不同位置，但是这两种伸展由图像传感器8以同样的方式观察，例如，集中至同一条线R3。

如上所述，为了识别手势位置19（显示器6上用户16正指向的位置），可能确定连接用户16的眼、指向元件、以及视线24与显示器6相交的各点的视线24。然而，由于在视线24的识别过程中可能存在各种不确定因素，因此用户16正指向的显示器6上的准确位置也存在不确定因素。这些不确定因素可能包括，例如，关于指向对象的末端的识别的不确定因素，以及关于用户16的双眼之间的点的识别的不确定因素，其可能最好地代表了视线24。此外，如上所述，二维图像传感器可能包括关于指向元件从用户16的身体实际伸展的额外的不确定因素以及关于用户16与显示器6之间的距离的额外的不确定因素。

由于这些潜在的不确定因素，当用户16指向显示器6时，可能在显示器6上识别更大的区域（或候选平面）而不是在显示器6上识别用户16可能指向的单个点。该候选平面可能代表从用户的眼镜22延伸穿过指向元件并与显示器6相交的多条可能的线。由图像传感器8获得的图像可能包括用户的眼22和指尖14，并可能包括视线24在投影平面上的投影（该投影平面为图像传感器8捕获到的平面）。观察空间中在投影平面上的投影与视线24在投影平面上的投影相同的所有线的集2形成候选平面。从用户的眼22延伸并穿过指向元件和共同的候选平面的每条线都是候选的视线。候选平面可以有不同的特征，例如包括候选平面中的像素的个数（候选平面可能包括一个或多个像素）、候选平面的尺寸（例如，以像素为单位或其测量的直径）、候选平面的形状、候选平面在屏幕上的位置等等。

相应地，虽然存在上述不确定因素，但是在显示器6上更准确地识别用户16指向的点或者位置是更有利的。参照以下附图描述的操作可以应用在配置有二维、三维和立体图像传感器中的任何一个的系统中。

在一些实施例中，用户16可能被指示执行校准步骤。在该校准步骤中，用户16可能被指示顺序地指向显示器6上显示的一个或多个图形元素（例如，图标）。该图形元素中的一个可能包括，例如，图形元素，使得其选择可能将设备4从待机模式切换为工作模式或者其选择可能将显示器6解锁。当用户16指向这样的图形元素时，该处理单元12可能在用户16指向图形元素的同时在图像传感器8获取的图像中确定指向对象和用户的眼22的位置。可能在图像传感器8获取的图像中识别指尖14，参见申请人的共同未决的第10/593,628号美国专利申请所公开的内容，该申请公开为第2008/0042981号美国专利公开，通过引用将其全部并入本文。

在图像中识别的脸部和眼的方法在本领域是众所周知。当用户16随后指向显示器6上的图标时，处理单元12可能使用校准数据，连同用户眼22和指尖14之间的距离和用户16和显示器8之间的距离的限制，确定显示器6上用户16指向的位置以及图标，其中，上述限制可能根据图像传感器8获取的图像中的用户眼之间的距离确定。

图7描绘了使用包括校准模块208的处理单元12执行校准过程的示例性方法的流程图。在校准过程中，将更精确地估算用户16和显示器6之间的距离R1及指向元件和用户身体之间的范围R2。该方法包括步骤701，即在显示器6上显示校准顺序。在步骤701的过程中，一个或多个图形元素（例如，图标）可能以预定的顺序或形状在显示器6上显示，并且可能提供校准顺序。该校准顺序的特征在于显示器6上图标的位置及与不同的图标交互的时间和/或顺序。用户16被请求根据预定的顺序与图标交互（例如，指向或滑动）。在一些实施例中，该校准顺序可能还包括要根据预定的图案或形状来滑动或移动的图标。

在某些情况下，用户可能16不知道校准过程。例如，如上所述，该校准过程可作为用于解锁显示器6的交互而呈现给用户16（例如， 从左至右地滑动显示器6上显示的图标）。或者校准发生在如用户16指向显示的图标的普通使用中。

该方法可能包括步骤703，即捕获与显示器6交互的用户16的至少一个图像。在步骤703的过程中，用户16可能根据校准顺序的要求与显示器6交互，而这么做的同时图像传感器8可能捕获用户16的图像。该方法可能包括步骤705，即确定用户16在视觉平面中的位置。在步骤705的过程中，可能在图像传感器8捕获的图像中确定用户16（例如，用户的眼22）的位置（即，x和y坐标）。该方法可能包括步骤707，即确定指向元件的各点P’。在步骤707的过程中，可能识别指向手势，并且可能确定点P’，该点P’表示指向元件最接近显示器8时的指向元件的位置（即，x和y坐标）。

该方法可能包括步骤709，即确定将显示器6上的各图标连接至点P’的二维位置及用户16的二维位置的视线24。由于可能依照预定的校准顺序来执行校准过程，处理单元12可以获得表示显示器6上显示的用户16当前被要求指向的图形元素的信息。因此，该处理单元12更易于与将用户16的位置、点P’以及显示器6上用户16正指向的各图形元素连接起来的视线24建立关联。因此，各视线24可能从显示器6上相关的图形元素延伸，穿过位于各点P’的指向元件，到达用户16的各位置。

图8为描绘了示例性校准过程的俯视图。如图8所示，图像传感器8可能位于显示器6附近，并且能够捕获由虚线10表示的三维观察空间的图像。用户16可能指向图标，图标为校准顺序（未图示）的一部分。用户16站立在显示器6前面的二维位置可位于线L1上。可以按照如上所述估算用户16与显示器6之间的距离R1；然而，该校准过程能够改进此估算。点P’的二维位置可能位于线L2上。可以按照如上所述估算线L1和线L2之间延伸的范围R2；然而，该校准过程能够改进此估算。

如上根据图6A所述，关于所估算的范围R2会存在不确定因素，如上用偏差△r表示。因此，线L1与线L2之间的距离可以估算为R2+△r/2与R2-△r/2之间的任何值。在该校准过程中，第一直线L3可能从显示器6上的图标延伸，并连接至线L1和L2，使得线L1和线L2之间的距离等于R2-△r/2；第二直线L4可能从显示器6上的图标延伸，并连接至线L2和L1，使得线L1和线L2之间的距离等于R2+△r/2。如图8所示，线L2上的点a与线L1上的点u1之间的距离R2’等于R2-△r/2，线L2上的点b与线L1上的点u2之间的距离R2’’等于R2+△r/2。

线L1上的点EL表示用户16的估算位置，其可能确定为点u1和点u2之间的任何点。例如，点EL可以是恰好位于点u1和点u2之间的中间的点。线L2上的各点可以通过从线L1上的所选的点延伸经过线L2并到达图标的直线来确定。该校准方法可能包括步骤711，即向用户16提供反馈，并当用户16遵循校准顺序时重复步骤703至709。可能通过例如改变各图形元素的颜色、尺寸、形状和位置中的一种或多种，或者通过声音指示，向用户16提供反馈。当用户16遵循校准顺序并与显示器6上的各图形元素交互时，可能重复步骤703至709。

对于任何图标，可以按照如上所述，在线L1上确定表示用户16的位置的各点ELi。该方法可能包括步骤713，即根据不同视觉元素生成的多个视线确定范围R1和R2。在步骤713的过程中，可能确定范围R1和R2的最终估算。可以基于相对于校准顺序中的不同图标而获取的所有点EL来确定范围R1和R2的最终估算（例如，位于所有识别的点的中心的一个点）。

该方法可能包括步骤715，即根据范围R1和R2识别各实现24，以响应朝向显示器6的识别的位置手势。一旦系统已被校准和/或在常规操作中可能出现步骤715。

处理单元12可能配置为对显示器6上的每个图标确定一个不同的范围R2，并使用相应的范围R2创建不同的图标与其在显示器6上的各自位置的映射。根据该映射，显示器6上的任何其它的点（没有被校准图标填充）可以与各范围R2相关联。此关联可以基于，例如，图标的位置及其各范围R2的线性组合。

在常规操作期间，响应于用户16指向显示器6的指向手势，处理单元12可能配置为识别该指向手势的大体方向，并选择与位于显示器6上的点的校准图标相关的特定的范围R2，该特定的范围R2最靠近该识别的大体方向。

除了或取代如上所述的校准过程，其它的技术可以能够更精确地识别显示器6上用户16正指向的点或位置。如上阐述，由于与在确定显示器6上用户16正指向的点时所使用的参数有关的不确定因素不同，可能在显示器6上识别候选平面，该候选平面可能代表从用户16的眼延伸经过指向元件与显示器6相交的多个可能的线所在的平面。

图9为描绘了示例性的减小候选平面的尺寸并更精确地识别显示器6上用户16正指向的点的方法的流程图，其可能采用包含机器视觉单元210的处理单元12。

该方法可能包括步骤901，即捕获与显示器6交互的用户16的至少一个图像。在步骤901的过程中，图像传感器8可能捕获试图与显示器6上显示的图形元素交互的用户16的图像。该方法可能包括步骤903，即在至少一个图像中识别用户的眼22及指向元件。具体地，可能对捕获的图像进行处理并且可能在捕获的图像中识别用户的眼22及指向元件。该方法可能包括步骤905，即获取一系列位置数据。在步骤905的过程中，当指向元件向显示器6延伸时可以追踪其运动路径，并且可以获取包含运动路径中指向元件（例如，指尖14）的不同位置的一系列位置值。

该位置值包括在给定图像中可能描述指向元件的位置的参数。例如，位置值可以是由图像传感器8捕获的视觉平面内的指向元件的末端的x和y坐标。用户16可能向显示器6伸展其手臂，并且可以获取和存储指尖14相对于视觉平面的的二维位置（用x和y坐标表示）。

在指向手势期间当向显示器6更靠近地伸展手臂，从距离显示器6某段距离开始，向聚集点移动并向前时，指向元件可能指向显示器6上的相同位置（例如，指向元件可能在对齐在相似的视线24上）。在该运动路径期间，图像传感器8可能捕获一系列图像，使得可能对齐在相同的视线24上的指向元件的不同点经过用户的眼22、指向元件（即，指尖14）以及显示器6上的点。

该方法可能包括步骤907，即识别在点P’处的指向元件。在步骤907的过程中，可能追踪指向元件（即，指尖14）的运动，直至识别到指向元件位于点P’处。在该点，可以根据从指向元件朝着显示器6的运动路径中提取的位置值顺序中选择预定数量的位置值。这些选择的位置值可以是，例如，在该指向元件到达点P’之前与N个图像（或帧）有关的位置值，其中，该点P’是最靠近显示器6的点。替代性地，选择的位置值可以是位于相似的视线上的连续位置。

如上所述，在一系列位置值中（例如，由视觉平面上的x和y坐标表示）的每个位置值可能与各视线24相关联，所述各视线24连接用户的眼22，经过位于由各位置值表示的位置的指向元件，并与显示器6交互。由于上面讨论的不确定因素，每个视线均可能与显示器6上的各候选平面相关联。

该方法可能包括步骤909，即选择预定数量的位置数据分量并且识别其在显示器6上的各自候选平面。在步骤909过程中，各候选平面可能与显示器6上识别的所选位置值相关联。该方法可能包括步骤911，即识别所有候选平面之间的重叠区域作为显示器6上的选择区域。在步骤911的过程中，可能识别候选平面之间的重叠区域，并且将该重叠区域认定为选择的视觉平面，从而减小候选平面的尺寸并且将显示器6上的一个更小的区域识别作为用户16正指向的点。

图10为展示了三个部分重叠的候选平面的示例性维恩图。这三个候选平面中的每一个都被描述为覆盖显示器6上的确定区域或位置的圆圈。每个平面都与记录的一系列位置值中的最后三个位置值（位置值：n、n-1和n-2）的不同位置值关联。

如上所述，根据聚集点及以后，与一系列位置值中的不同位置值相关联的三个不同视觉平面中的每一个视觉平面可能覆盖重叠区域。如图9所述，三个候选平面可能指向相同区域并且共用重叠区域（用交叉阴影图案表示），该重叠区域被指定为所选的投影平面。

图11描绘了可能由处理单元12执行的示例性方法的流程图。系统2可能配置为向指向显示器6的用户16提供反馈。该反馈可能帮助用户6引导指向元件朝向显示器6上的所需点，并且更容易选择所需的图像元素。与图11相关的以下操作提供在二维显示的内容中，然而，类似的操作可能采用三维显示实现。

该方法可能包括步骤1101，即捕获与显示器6交互的用户16的至少一个图像。在步骤1101的过程中，当用户16试图与显示器6上显示的图标交互时图像传感器8可以捕获用户16的图像。该方法可能包括步骤1103，即在至少一个图像中识别用户的眼22及指向元件。该方法可能包括步骤1105，在显示器6上显示指向视觉效果。该步骤1105可能响应于检测到指向手势而出现。该指向视觉效果可以是，例如，任何形状或颜色、透明或不透明的斑点，并且该斑点位于相对显示器6上显示的图形元素的任何位置，该位置可能是图形元素的上面或后面。例如，该指向视觉效果可能具有以下一种或多种：对称圆形；透明色，通过该透明色可以辨别图像元素；在用户16看起来像照亮显示器6的一部分的手电光束。该指向视觉效果在显示器6上的初始位置可以基于指向元件的初始指向方向确定。可以根据指向元件的初始指向方向确定在显示器6上的指向视觉效果的初始位置。

该方法可能包括步骤1107，即在追踪指向元件的时候追踪指向元件的运动路径，参照步骤905，以及如图9所示，可以按照如上所述方法获取各系列位置值。

该方法可能包括步骤1109，即改变与执行元素的运动相关的指向视觉效果的一个或多个特征。例如，随着指向元件朝着更接近显示器6延伸，可能依照执行元素的运动改变指向视觉效果的一个或多个特征。该特征可以包括，例如，指向视觉效果的形状、尺寸和颜色中的一个或多个。例如，随着指向元件和显示器6之间的距离减小，指向视觉效果的尺寸可以减小。

随着用户16朝着显示器6伸展其手臂，用户16可能直观地试图将指向视觉效果移向显示在显示器6上的所需图形元素的位置。可能通过处理单元12识别可能由试图将指向视觉效果移向所需图形元素的用户16做出的指向元件的校正运动。可选地，可以根据用户16的校正运动改变显示器8上的指向视觉效果的位置。例如，可以依照用户16做出的校正手势的方向改变显示器6上指向视觉效果的位置。

在另一个例子中，随着指向元件更靠近显示器6，圆形的指向视觉效果会变小。可选择地，指向视觉效果可以在校正手势的方向减小。图16A描绘了响应于对位于左侧的图标（用圆圈表示）的校正手势，尺寸已经减小并且已经向左偏移的位置视觉效果，图16B描绘了响应于对位于右侧的图标（用方形表示）的校正手势，尺寸已经减小并且已经向右偏移的位置视觉效果。

该方法可能包括步骤1111，即根据指向视觉效果在显示器6上的已知位置及指向元件的运动，确定图形元素。例如，可以识别符合关于指向视觉效果的预定标准的图标为选择的图标。此外，可以确定位于最靠近斑点或者相对于该斑点在校正手势的方向上的图标为用户16选择的图标。

如上所述，处理单元12可能配置为识别从用户的眼22延伸，经过指向元件的末端，然后到达显示器6的视线24。为此，处理单元12可能配置为在捕获的图像中识别用户的眼22。

图12为通过考虑当用户16指向显示器6时用户的一只眼是占优势，计算从用户的眼22经过指向元件的末端至显示器6上用户16正指向的所需位置的视线24的示例性方法的流程图。当指向显示器6上的图形元素时，单眼优势可能导致显示器6上的图标的实际位置和用户16指向的位置之间存在偏差。换言之，当计算从用户的眼的中点经过指向元件的末端的视线24时，产生的视线可能不与显示器6上的图标的位置相交。因此，至少部分地由于用户16的一只眼相对于用户16的另一只眼占优势，第一手势位置不同于第一显示信息的位置。为了更正这种偏差，符合本发明的方法和系统可能通过使用与用户的主导眼有关的先验信息来计算视线24。因为系统可能知道显示的图标的精确位置，该优势信息可能在校准过程中或正常使用过程中由系统导出，因此，当检测到被提示指向图标的用户16正指向偏离图标的位置时，可以确定偏移。

先验信息可能从数据库或用户的行为（如眨眼期间）中获取。用户16可能被直接要求该信息，或者用户16可能被要求眨眼。在眨眼期间，主导眼可能显露为保持睁开的眼。因此，该系统2可能根据用户的主导眼计算视线24，并且更高精度地建立用户16在上述不同指向手势期间指向的位置的估计。

此外，视线24可能从显示器6上用户16通过指尖14指向的点引出。然而，可能没到达用户的其中一个瞳孔，而是到达两个瞳孔之间与更占优势的“指向眼”有关的点。如上所述，以及如下在图14中所描绘的，由于与主导眼相关的偏差，视线24或视准线从相对于图标的偏差位置（虚拟眼Ve）延伸，经过指向元件，到达用户脸上的瞳孔之间的位置。因此，有利的是在用户的眼镜之间建立更精确的起始点，而不是从用户的其中一个瞳孔锚定起始点，以计算视线24。

然而，实际上，该视线24可能与在用户16的两眼之间延伸的假想线上的任何点相交，该点可以与左眼或右眼或两眼之间的任何其它点重叠。为了更精确地确定手势位置19和显示器8上给定视线24延伸的点，可能有利的是确定与用户意图指向的意图显示位置相关的视线24相对应的代表用户的“虚拟眼”的更精准的点，而不是随意地选择用户的右眼或左眼中的一个，或连着左右眼的线上的任意点。

更详细地，图12展示了使用包括校准模块208的处理单元12确定用户的双眼之间的参考点的示例性方法。该参考点可能代表给定视线24与用户16的双眼（或瞳孔）之间延伸的视准线的更加精确的相交点。可以执行参考图12所述的过程，例如，作为单次校准或者可能周期性地更新。

该方法可能包括步骤1201，即在显示器6上显示图标。该方法可能包括步骤1203，即捕获与显示器6交互的用户16的图像。可以由图像传感器8捕获在步骤1203中被捕获的图像。

可选择地，用户16可能被指示或提示指向显示在显示器6上的图标。该指示可以在显示器6上提供给用户16，作为声音指令，作为校准过程的一部分或仅作为需要交互的信息的显示。该方法可能包括步骤1205，即识别由连接至用户16的第一眼的视线生成的第一候选平面。在步骤1205的过程中，可能识别用户16朝向显示器6的指向手势，并且可能确定连接用户的一只眼，经过指向元件至显示器6上的第一手势位置的第一视线，在显示器6上识别各候选平面。

该方法可能包括步骤1207，即识别由连接至用户16的第二眼的视线生成的第二候选平面。在步骤1207的过程中，可能识别用户15朝向显示器6的指向手势，可能确定连接用户的另一只眼、经过指向对象至显示器6上的第二手势位置的第二视线，可能在显示器8上识别单独的候选平面。如上所述，可以根据上述方法确定第一和第二候选平面，尤其是，部分地根据用户16与显示器6之间的距离R1，和指向元件和视平面中的指向元件的位置之间的伸展范围R2的估算，确定第一和第二候选平面。

图13为可能显示在显示器6上的校准图标CI的示意图。图13还描绘了两个候选平面，其中一个候选平面可能由连接用户16的左眼的视线生成（用字母L表示），而另一个候选平面可以由连接用户16的右眼的视线生成（用字母R表示）。需要注意的是，在如图13所示的例子中，候选平面R的一部分与校准图标CI重叠，而候选平面L却没有。

根据相对图标的位置的两个候选平面中的每一个候选平面的位置，处理单元12可以可能配置为确定两只眼中的哪一只眼更占优势，并且可能确定关于手势位置19的偏差O。在确定额外的手势位置的同时，系统2可能使用该眼或“虚拟眼”。处理单元12可能配置为通过关于偏差O的信息指示哪一只眼更占优势。此外，处理单元可能配置为指示左眼与右眼之间的主导程度，其可能根据，例如，候选平面L和R与校准图标CI的重叠百分比和/或“虚拟眼”相对用户的眼的相对位置，即，“虚拟眼”Ve与用户的左眼及右眼中的一只眼之间的距离相对于用户的左眼和右眼之间的总距离的比率。根据图12公开的方法还可能包括延伸连接第一候选平面和第二候选平面的线的步骤1209。根据一个例子，参照图12的说明，线130（如图13所示）可以在候选平面L的中心和候选平面R的中心之间延伸。该方法可能包括步骤1211，即沿线130（或靠近线130，即，在大致在线130附近）确定最靠近图标CI的点。例如，在直线130上识别出最靠近校准图标CI的第三点（例如，可能是用户16指向的目标）。最靠近校准图标CI的点可能将线130划分为线段A和B。在如图13所示的例子中，线段A可能从最靠近校准图标CI的点延伸至手势位置19，该手势位置19通过计算从用户16的左眼“开始”，经过指向元件（例如，指尖14）并与显示器6相交的视线来确定。该手势位置也可以定义为平面L的中心。同样地，线段B可能从最靠近校准图标CI的点延伸至手势位置的中心，该手势位置的中心通过计算从用户16的右眼“开始”，经过指向元件（例如，指尖14）并与显示器6相交的视线来确定。该手势位置也可能定义为平面R的中心。该方法可能包括步骤1213，即在用户16的两眼或瞳孔之间延伸的线上识别相应的点Ve（或“虚拟眼”）（也如图14所示）。

该点Ve可能将在用户16的双眼之间延伸的线划分为线段C和D。例如，线段C可能从点Ve延伸至用户的左瞳孔，而线段D可能从点Ve延伸至用户的右瞳孔。点Ve在用户16的双眼或瞳孔之间延伸的线上的位置可以通过插值点Ve的位置来确定，使得A/B的比例等于C/D的比例。

当识别视线时，处理单元12可能配置为将对应点Ve用作为与用户16的脸部相交的点。值得注意的是，每当校准发生时所述过程就会发生，从而达到更收敛的值以便微调“虚拟眼”的位置，并且根据用户16相对于显示器6的不同位置进行微调。

可选择地，根据图12所述的操作可以在多个图标上重复，每个图标位于显示器6上的不同位置。因此，双眼之间的各自不同的点Ve可以被识别用于处理指向显示器6上的不同区域或位置的指向手势。

系统2或使用系统2的其他设备可能将“虚拟眼”位置和/或“虚拟眼”映射信息存储在（设备4上或设备4外的）与每个特定用户相关的存储器中，以便后续使用。当该系统2（例如，通过脸部识别、用户声音署名、或由用户16专门识别）识别用户16时，该系统2可以检索表示“虚拟眼”位置和/或“虚拟眼”映射信息的存储信息。为每个用户16存储的“虚拟眼”位置和/或“虚拟眼”映像信息可能包括由图像传感器8获取的唯一识别信息，并且可能包括与每个用户16相关的偏差有关的信息。例如，为每个用户16存储的信息可能包括面部信息，该面部信息包括面部特征（如用户的双眼，包括用户的瞳孔）的位置，另外，为每个用户存储的偏差信息可能包括相对用户的双眼（包括用户的瞳孔）的用户16的偏差信息。

本发明的实施例可能包括存储一个或多个偏差，该一个或多个偏差与表示显示器6上的手势位置19和用户16在显示器6上认为指向的位置之间的差异的矢量有关。例如，从候选平面R的中心至用户16被提示去指向的图标的中心之间的距离。然后，当用户16执行连续的非接触式手势时，为了正确地确定用户正指向的显示信息（图标），系统2可能使用存储的偏差更正手势位置19。系统2可能存储与显示器的不同区域有关的多个偏差，并且可能根据手势位置19使用存储的偏差中的其中一个合适的偏差。本发明的实施例能够识别用户16的指向元件，如指尖14。手的特征可能有助于识别指尖14，或可能握在手中或穿在手上的任何其它的指向元件。图15描绘了用户的手，包括指尖14、在指尖14上的指甲26，以及食指关节28。

用于确定指向元件的方法可能包括确定指向元件是否是用户的左手或右手的一部分或者与用户的左手或右手相关。从图像传感器8捕获的图像中，可能轻易地确定当用户16执行手势时，用户16的哪只手在移动。该方法可能包括确定在指向手指的指尖14上确定指甲26的步骤。替代性地，或者除了确定指尖的指甲26以外，该方法可能在用户16用右手指向时检测手的左边部分上的食指关节28，而在用户16用左手指向时检测手的右边部分上的是指关节28。可选地，该系统可能配置为检测一组指关节（如在第三、第四和第五手指上的指关节）的签名。该系统还可能检测折叠的拇指，如以指向手为特征的图15所示。这可能是有用的，因为，如图15所示，相对于手的其他更加明显的部分，指向手型的末端的可识别特征不太明显。然而，一旦定位手的更明显部分，可以推断指尖的位置。

更具体地，可以通过对手的宽度、高度、和/或相对于用户的脸部的位置的测量或估算进行推断。如果从捕获的图像中指尖14位置不太明显，上述数据可能有助于估算用户的手的具体结构特征和尺寸。此外，手指间隔之间的已知关系可能有助于提高估算。首饰（如一个或多个戒指）可能用作确定指尖14的位置的参考点。保存在存储器13中的用于特定用户16的参考数据或平均结构数据可能有助于提高估算。上述任意参考数据可能用在于识别指向位置相关的算法中。参考点可能包括，例如，手的中心位置、首饰、任意指甲（包括指尖14上的指甲26），以及一个或多个指关节（如食指关节28）。一旦已经识别了参考点，算法可能在x和y坐标或x、y和z坐标上计算作为指尖14相对参考点的估算距离的偏差距离。该方法可能识别和追踪一个或多个参考点，并且将与参考点有关的相应偏差应用于估算指尖14的位置。

本发明的其它实施例可能包括用于校准非接触式手势识别系统的设备，该设备可能包括至少一个处理器，该至少一个处理器配置为：能够向用户呈现指示从而在显示器上的至少一个提示位置做出非接触式手势；从摄像头接收表示在显示器上的对应手势位置的信息，其中由于显示器上的手势位置和用户的意图手势位置之间存在未对准，该手势位置区别于至少一个提示位置；以及考虑到未对准，校准手势识别系统。

另外，在用于校准非接触式手势识别系统的设备中，至少一个处理器还可能配置为：将非接触式手势用于除了校准之外的至少一个操作；在应用的使用过程中发出提示而无需向用户识别校准正在进行；考虑到使用中显示器上检测的手势位置和显示器上用户被怀疑试图选择的图标位置之间的差异，通过定期地重新校准手势识别系统，可以在应用的使用过程中定期地增加手势位置的准确度；根据显示器上的手势位置与特定图标的接近度，预测用户试图激活特定的图标，并且根据预测进行校准；在应用的正常使用过程中允许定期重新校准而无需用户所述的唯一校准步骤；推迟校准直到用户跟着在至少一个提示位置上的非接触式手势执行后续动作；通过在设备解锁期间的重新校准，增加手势位置的精确度；当图标位置和手势位置之间存在差异时，根据显示器上图标的布局，确定用户是否试图激活特定图标；在检测到相对于显示器的预定用户动作后，提示用户解锁相关设备；储存与多个指向位置相关的信息和与多个指向位置中的每一个指向位置关联的图标的有关位置相关的信息，并且使用保存的信息对手势识别系统进行校准；存储与手势位置相关的信息和与手势位置关联的图标的有关位置相关的信息，和/或根据保存的信息对手势识别系统进行校准；以及，考虑到用户视觉的唯一特征，在解锁过程中进行校准。

另外，在用于校准非接触式手势识别系统的设备中，提示可能包括用于提示用户解锁相关设备或至少一个处理器的至少一个图标，其中非接触式手势为指向手势，并且至少一个处理器还配置为提示用户指向至少一个图标。显示器上的至少一个提示位置可能包括第一已知位置和第二已知位置，其中根据与提示用户从该第一已知位置向该第二已知位置做出手势相关联的信息进行校准。该预定用户动作可能包括用户的至少一个身体部分移出摄像头的可视区域。

手势位置可能是指向位置，其中至少一个处理器还可能配置为：根据指向位置和至少第一图标的位置，初次校准手势识别系统；初次校准之后，是用户能够使用做手势来控制应用；在应用的控制期间，收集与相对于显示器上的至少第二图标相关的手势的有关信息；和/或在应用的控制期间，当用户试图指向至少第二图标时，进行重新校准。

未对准可能是由于用户的一只眼相对用户的另一只眼占优势造成的，其中至少一个处理器还可能配置为：根据用户的一只眼相对用户的另一只眼占优势，对手势识别系统进行校准；确定手势位置和该至少一个提示位置之间的偏差；和/或基于偏差确定应用于后续手势位置确定的调整。

本发明的其它实施例可能包括非接触式手势识别系统，该非接触式手势识别系统包含至少一个处理器，该至少一个处理器配置为：能够向用户呈现提示从而在显示器上的至少一个提示位置做非接触指向手势；从图像传感器接收与该非接触指向手势相对应的图像信息；确定与该非接触指向手势关联的指尖位置，该指尖位置至少部分地根据除了用户的手指末端以外的用户的解剖特征确定；以及至少部分地根据预定指尖位置，在显示器上确定与该非接触指向手势关联的指向位置。

该非接触式手势识别系统可能还包括至少一个存储设备，该存储设备用于存储根据差异手方位确定指向位置的多个算法，其中至少一个处理器还配置为至少部分地根据图像信息中的手方位从多个算法中选择优选的算法，并且至少部分地根据该优选算法确定指向位置。

该非接触式手势识别系统可能还包括至少一个存储设备，该存储设备用于存储根据图像信息中检测到的是右手还是左手确定指向位置的多个算法，其中至少一个处理器还配置为：至少部分地根据检测到的是右手还是左手，从多个算法中选择一个优选的算法，并且至少部分地根据该优选算法确定指向位置；和/或至少部分地根据用户的解剖特征和用户的手的至少一部分之间的偏差，确定该用户的手是左手还是右手。

在该非接触式手势识别系统中，解剖特征：可能包括指甲；可能是用户的手的宽度、长度、尺寸、或位置中的至少一个；和/或可能是除了在指向手势中使用的指尖以外的第二指尖，其中至少一个处理器还配置为至少部分地根据用于指向的指尖和第二指尖确定指尖位置。

在该非接触式手势识别系统中，缺少在图像信息中定位指尖的情况下，至少一个处理器还可能配置为：至少部分地根据除了指尖以外的用户的手的预定区域，确定指尖位置；和/或至少部分地根据用于指向的手指的估算长度，确定指尖位置。

在该非接触式手势识别系统中，至少一个处理器还可能配置为：确定图像信息中的手是左手还是右手，并且如果确定是右手，确定指尖位置为与手的左上区域相关的位置，如果确定是左手，确定指尖位置为与手的右上区域相关的位置；检测图像信息中用户的手的两个手指，并且确定指尖位置为这两个手指之间的位置；和/或检测图像信息中用户的手的多个手指，至少部分地根据多个手指确定指尖位置，其中多个手指中的每一个手指都与用于确定指尖位置的差异权重有关。

在该非接触式手势识别系统中，缺少在图像信息中定位指尖的情况下，在第一次确定指尖位置之后，至少一个处理器还可能配置为随后使用非指尖信息追踪该指尖。

在该非接触式手势识别系统中，在第一次定位该指尖之后，但是未能第二次定位该指尖时，至少一个处理器还可能配置为随后使用第一次的指尖位置和非指尖信息追踪该指尖。

本发明的其它实施例在非接触式手势识别系统中可能包括提供视觉反馈的设备，该设备包括：至少一个处理器，其配置为：能够在显示器上呈现图像；从摄像头接收信息，该信息指示由用户执行的非接触式手势；能够在显示器上呈现手势指针，其中该手势指针指示了用户的非接触式手势相对于显示器的位置；当用户的非接触式手势与显示器为第一距离时，在显示器上的第一视觉表现中显示该手势指针；当用户的非接触式手势与显示器为不同于第一距离的第二距离时，在显示器上的第二视觉表现中显示该手势指针。

在该非接触式手势识别系统中，手势指针可能是指向指针。从摄像头接收的信息可能反映用户的手的至少一部分。显示器上的图像包括至少一个图标。

在该非接触式手势识别系统中，至少一个处理器还可能配置为：随着用户的非接触式手势与显示器的距离减小，减小手势指针的尺寸；随着用户的非接触式手势与显示器的距离增大，增大手势指针的尺寸；检测与用户的非接触式手势相关的校正运动，并且根据该校正运动确定用户选择图标的意图；仅在已经检测到手势的一部分之后和/或在图像传感器的域的预定区域中检测到用户的手的时候，才呈现手势指针；仅在检测到的手势运动相对显示器的位置落入预定的阈值中，才呈现手势指针；随着用户的非接触式手势与显示器的距离减小，增加手势指针的尺寸；和/或随着用户的非接触式手势与显示器的距离增加，减小手势指针的尺寸。

在该非接触式手势识别系统中，显示器可能以是虚拟3D显示器，其中至少一个处理器还可能配置为：使得手势指针和显示器之间的距离随着用户的手与显示器之间的距离的变化而变化；使得虚拟3D指针显示为从用户的手的至少一部分发出；随着用户的非接触式手势与显示器的距离减小，减小虚拟3D指针的尺寸；和/或以以下两种形式显示手势指针：第一形式在显示器上的信息选择之前，第二形式在显示器上的信息选择之后。

还可以理解的是，根据当前公开的主题的系统2可能包括适当编程的计算机。同样地，目前公开的主题涉及的计算机程序可由计算机读取，用于执行当前公开的主题的方法。目前公开的主题还涉及机器可读存储器，其实际体现可由机器执行的指令程序，用于执行当前公开的主题的方法。

可以理解的是，当前公开的主题并不将其应用限制在本文所包含的说明书所提出的或附图所举例说明的细节。当前公开的主题能够有其它的实施例并且能够以不同的方式实施和实现。因此，可以理解的是，本文所用的措辞和术语是为了描述的目的并且不应作为限制。同样地，本领域的技术人员将理解的是，本公开所基于的构思可能会很容易地用作为实现当前公开的主题的若干目的而设计其它的结构、方法及系统的基础。

为清晰起见，在本说明书中以单独的实施例为背景描述的特定特征还可能结合在单个的实施例中。相反地，为简洁起见，在以单个实施例为背景描述的各种特征还可能设置在多个独立的实施例或任何合适的次结合方式中。此外，虽然上述特征可能用在特定的组合中，并且甚至初始要求这样，但是要求的组合中的一个或多个特征在某些情况下可以脱离该组合，并且要求的组合可能导向次组合或次组合的变体。

以上已经描述了若干具体的实施例。其它实施例也包含在所附权利要求的范围内。

Claims (21)

1.非接触式手势识别系统，包括：

至少一个处理器，其配置为：

启用对用户的第一显示信息的呈现，以提示在显示器上的至少第一位置处的第一非接触式手势；

从至少一个图像传感器接收第一手势信息，该第一手势信息与所述用户做出的第一非接触式手势相关、且对应于所述显示器上的第一手势位置；

通过识别第一视线与所述显示器相交的第一相交点，并且通过识别第二视线与所述显示器相交的第二相交点，确定所述第一手势位置，其中，所述第一视线从与所述用户的第一眼相关联的第一位置穿过与指向元件相关联的位置到达所述显示器上，所述第二视线从与所述用户的第二眼相关联的第二位置穿过与所述指向元件相关联的位置到达所述显示器上；

确定与所述第一显示信息的位置、所述第一手势位置以及识别的所述第一相交点和所述第二相交点相关联的第一偏移；

启用第二信息的呈现，以提示所述用户在所述显示器上的至少第二位置处做出后续非接触式手势；

从所述至少一个图像传感器接收后续手势信息，该后续手势信息对应于所述用户做出的所述后续非接触式手势；

通过使用所述第一偏移调整所述后续手势信息，确定所述后续非接触式手势在所述显示器上的意图指向位置；以及

发起与确定的所述意图指向位置相对应的动作。

2.根据权利要求1所述的系统，其特征在于，所述第一非接触式手势和所述后续非接触式手势包括手指指向，并且所述至少一个处理器还配置为，使用来自所述至少一个图像传感器的所述第一手势信息和所述后续手势信息来确定在所述显示器上的所述意图指向位置。

3.根据权利要求1所述的系统，其特征在于，所述至少一个处理器还配置为向目的地发送输出，反映与所述后续非接触手势相关联的所识别的手势。

4.根据权利要求1所述的系统，其特征在于，至少部分地由于所述用户的一只眼相对于该用户另一只眼而言占优势，所述后续手势位置不同于所述显示器上的所述第二信息的位置。

5.根据权利要求1所述的系统，其特征在于，所述至少一个处理器还配置为，通过识别第一候选指向区域和第二候选指向区域中的至少一个来确定所述第一偏移，所述第一候选指向区域是使用与所述用户的所述第一眼相关联的所述第一视线生成的，所述第二候选指向区域是使用与所述用户的所述第二眼相关联的所述第二视线生成的。

6.根据权利要求5所述的系统，其特征在于，所述至少一个处理器还配置为，基于所述第一候选指向区域和所述第二候选指向区域与校准图标的重叠百分比，或者基于虚拟眼与所述第一眼和所述第二眼中的一个之间的距离相对于所述第一眼和所述第二眼之间的总距离的比率，确定所述第一眼和所述第二眼之间的主导程度，其中，所述虚拟眼对应于除了所述第一眼或所述第二眼的瞳孔以外的所述用户的面部位置。

7.根据权利要求1所述的系统，其特征在于，与所述第一偏移相关联的信息对应于用作视线计算的起始点的脸上的非瞳孔位置，并且其中所述至少一个处理器还配置为使用所述脸上的所述非瞳孔位置来确定所述后续非接触式手势的所述意图指向位置。

8.根据权利要求1所述的系统，其特征在于，所述至少一个处理器还配置为，通过确定识别的所述第一相交点和所述第二相交点附近处的至少第三点来确定所述第一手势位置。

9.根据权利要求1所述的系统，其特征在于，所述至少一个处理器还配置为，确定与单眼优势相关联的差异偏移，以区分所述显示器的区域。

10.根据权利要求1所述的系统，其特征在于，所述至少一个处理器还配置为，通过以多个差异时间间隔使用多个候选指向区域来确定指向位置。

11.根据权利要求1所述的系统，其特征在于，所述至少一个处理器还配置为，为多个用户中的每一个用户存储与所述第一偏移相关联的唯一信息。

12.根据权利要求11所述的系统，其特征在于，所述至少一个处理器还配置为，将从所述至少一个图像传感器接收的、与多个用户中的每一个用户的身份相关联的信息存储为唯一信息。

13.根据权利要求11所述的系统，其特征在于，所述至少一个处理器还配置为，针对所述多个用户中的每一个用户，将与脸上的非瞳孔位置相关的信息存储为所存储的所述唯一信息；以及

使用所存储的所述唯一信确定所述意图指向位置。

14.根据权利要求1所述的系统，其特征在于，与所述第一偏移相关联的信息包括关于所述用户的一只眼相对于该用户的另一只眼而言占优势的指示。

15.根据权利要求1所述的系统，其特征在于，与所述第一偏移相关联的信息包括所述用户的一只眼相对于该用户的另一只眼而言占优势的程度的指示。

16.根据权利要求1所述的系统，其特征在于，所述第一相交点和所述第二相交点中的每一个均包括至少一个像素。

17.非暂态性计算机可读介质，其包含指令，该指令在由至少一个处理器执行时，导致所述至少一个处理器执行以下操作：

启用对用户的第一显示信息的呈现，以提示在显示器上的至少第一位置处的第一非接触式手势；

从至少一个图像传感器接收第一手势信息，该第一手势信息与所述用户做出的第一非接触式手势相关、且对应于所述显示器上的第一手势位置；

通过识别第一视线与所述显示器相交的第一相交点，并且通过识别第二视线与所述显示器相交的第二相交点，确定所述第一手势位置，其中，所述第一视线从与所述用户的第一眼相关联的第一位置穿过与指向元件相关联的位置到达所述显示器上，所述第二视线从与所述用户的第二眼相关联的第二位置穿过与所述指向元件相关联的位置到达所述显示器上；

确定与所述第一显示信息的位置、所述第一手势位置以及识别的所述第一相交点和所述第二相交点相关联的第一偏移；

启用第二信息的呈现，以提示所述用户在所述显示器上的至少第二位置处做出后续非接触式手势；

从所述至少一个图像传感器接收后续手势信息，该后续手势信息对应于所述用户做出的所述后续非接触式手势；

通过使用所述第一偏移调整所述后续手势信息，确定所述后续非接触式手势在所述显示器上的意图指向位置；以及

发起与确定的所述意图指向位置相对应的动作。

18.根据权利要求17所述的非暂态性计算机可读介质，其特征在于，至少部分地由于表示所述用户的一只眼相对于该用户的另一只眼而言占优势的信息，后续手势位置不同于所述显示器上的所述第二信息的位置。

19.根据权利要求17所述的非暂态性计算机可读介质，其特征在于，当由所述至少一个处理器执行所述指令时，所述指令致使所述至少一个处理器执行以下额外的操作：

通过识别第一候选指向区域和第二候选指向区域中的至少一个来确定所述第一偏移，其中所述第一候选指向区域是使用与所述用户的所述第一眼相关联的所述第一视线生成的，所述第二候选指向区域是使用与所述用户的所述第二眼相关联的所述第二视线生成的。

20.根据权利要求17所述的非暂态性计算机可读介质，其特征在于，与所述第一偏移相关联的信息对应于用作视线计算的起始点的脸上的非瞳孔位置，并且当由所述至少一个处理器执行所述指令时，所述指令还致使所述至少一个处理器执行包括以下的额外的操作：

使用所述脸上的非瞳孔位置来确定所述后续非接触式手势的所述意图指向位置。

21.根据权利要求17所述的非暂态性计算机可读介质，其特征在于，所述第一相交点和所述第二相交点中的每一个均包括至少一个像素。