CN104345802B - 用于控制近眼式显示器的装置、系统和方法 - Google Patents

Abstract

本申请公开了一种使用虚拟导航空间来控制近眼式显示器的方法和设备。所述系统可包括：可配戴的近眼式显示器；具有视场的传感器，其被连接到可配戴的近眼式显示器并且被配置为捕获场景；发射机，其被连接到可配戴的近眼式显示器，所述发射机被配置为将结构化光图案发射到导航空间上，其中所述传感器被配置为捕获来自导航空间的对指定图案的反射；以及，计算机处理器，其被配置为分析所述反射并且控制通过可配戴的近眼式显示器被呈现给用户的视觉指示。所述方法实施上述的逻辑而不受限于所述结构。

Description

用于控制近眼式显示器的装置、系统和方法

其他申请的交叉引用

本申请要求来自于2013年8月8日提交的美国临时专利申请第61/863,510号的优先权，在此其以引用方式被全部并入。

技术领域

本发明通常涉及手势识别的领域，并且更具体地涉及用于近眼式显示器应用的手势识别的领域。

背景技术

在阐述本发明的背景之前，阐述下文中将使用的某些术语的定义可能是有帮助的。

如本文所使用的，术语“近眼式显示器”被定义为包括增强现实或者虚拟现实的眼镜以及可配戴的投影显示器的设备。

如本文所使用的，术语“视场”被定义为在任何给定的时刻由用户或者传感器所见的可观察到的世界的范围。

如本文所使用的，术语“增强现实(AR)”被定义为对物理的、真实的环境的直接的或者间接的实时观看，所述环境的元素通过计算机生成的感官输入，比如声音、视频、图形或者任何其它数据得到增强(或者得到补充)。

如本文所使用的，术语“虚拟现实(VR)”被定义为计算机模拟的环境，其可以模拟现实世界或者想象世界中的地方的物理存在。虚拟现实可以重建感官体验，其包括虚拟的味觉、视觉、嗅觉、听觉、触觉，等等。

在日常活动中，许多设备使用可配戴的显示器，以便将信息呈现在用户面前。这种设备的一个实例是增强现实(AR)的眼镜，其在用户眼睛的前方安放屏幕，以显示额外层的信息和内容。虽然所显示的信息是多样的并且可以容纳各种内容类别以及灵活的图形用户界面，但没有用于控制所显示的内容的方便且灵活的方式。

限制了控制所呈现的内容的功能性能力的另一个方面是内容被直接显示给用户的眼睛。在这种情况下，实际的触觉界面不是用于控制的选项，这产生了将实际的控制区域与显示器分开而同时保持触觉控制的扩展能力的需求。

此外，比如近眼式显示器设备的便携式设备在可接受的功率消耗和设备组件允许的重量方面是有限制的。因此，由于重量和功率消耗的增加，因此使用基于IR发光源和额外的IR传感器的现有的手势捕获技术是不现实的。

发明内容

本发明的实施方式克服了现有技术的难题，特别是通过使用比如具有可见光结构化的图案的前视摄像机的近眼式的设备的现有组件来克服的，这能够减少需要被嵌入到设备中的附加硬件以及限制功率消耗的增加。

根据本发明的实施方式包括以下内容:

1)一种设备，包括：

可配戴的近眼式显示器；

传感器，其被连接到所述可配戴的近眼式显示器并且被配置为捕获场景；

发射机，其被连接到所述可配戴的近眼式显示器，其中所述发射机被配置为将结构化的光图案发射到导航空间上，其中所述传感器还被配置为捕获来自所述导航空间的对所述结构化的光图案的反射；以及

计算机处理器，其被配置为分析所述反射并且基于对所述反射的分析来控制通过所述可配戴的近眼式显示器呈现给用户的视觉指示。

2)根据1)所述的设备，其中，所述计算机处理器还被配置为指示所述可配戴的近眼式显示器向所述用户呈现计算机生成的场景，以便提供虚拟现实的环境。

3)根据1)所述的设备，其中，所述计算机处理器还被配置为指示所述可配戴的近眼式显示器向所述用户呈现所捕获的场景，以便提供增强现实的环境。

4)根据1)所述的设备，其中，所述计算机处理器的所述分析是通过基于所述反射生成3D深度图并且进一步分析所述3D深度图来实现的。

5)根据1)所述的设备，其中，所述计算机处理器还被配置为指示所述发射机只照明所述传感器的一部分视场。

6)根据1)所述的设备，其中，所述计算机处理器还被配置为通过所述可配戴的近眼式显示器呈现与所述视觉指示互动的、计算机生成的场景。

7)根据1)所述的设备，其中，所述传感器和所述发射机只在可见光带宽内是可操作的。

8)根据1)所述的设备，其中，捕获所述场景的传感器和捕获所述反射的传感器是单个元件。

9)根据1)所述的设备，其中，在所述导航空间上沿着X轴移动所述控制对象导致在所述可配戴的近眼式显示器上沿着相应的X’轴移动所述视觉指示。

10)根据1)所述的设备，其中，所述控制对象是用户的手并且其中沿着Y轴移动所述手的手指引起所述视觉指示在所述可配戴的近眼式显示器上沿相应的Y’轴的运动。

11)根据1)所述的设备，其中沿着指定的弧线倾斜所述控制对象引起所述视觉指示在所述可配戴的近眼式显示器上沿着相应的轴的运动。

12)根据1)所述的设备，其中执行所述控制对象的预定义的手势或者姿态引起所述视觉指示的相应的动作。

13)根据1)所述的设备，其中，所述结构化的光图案的场的深度被选择，以便匹配所述导航空间的预定义的位置。

14)根据1)所述的设备，其中，指定的所述图案沿着第一轴是连续的并且沿着垂直于所述第一轴的第二轴是不连续的。

15)根据1)所述的设备，其中，指定的所述图案覆盖不到10％的视场。

16)一种系统，包括：

发射机，其可连接到可配戴的近眼式显示器；

计算机可读的代码，其可在计算机处理器上执行并且被配置为在执行时引起所述计算机处理器：

指示所述发射机将结构化的光图案发射到导航空间上；

指示被连接到所述可配戴的近眼式显示器的传感器捕获场景；

指示所述传感器捕获来自所述导航空间的对指定的所述图案的反射；以及

分析所述反射并且基于所述分析来控制通过所述可配戴的近眼式显示器呈现给用户的视觉指示。

17)一种方法，包括：

捕获来自用户的视点的场景；

从所述视点将结构化的光图案发射到导航空间上；

捕获来自所述导航空间的对所述结构化的光图案的反射；以及

分析所述反射并且基于对所述反射的分析来控制通过可配戴的近眼式显示器呈现给所述用户的视觉指示。

18)根据17)所述的方法，还包括指示所述可配戴的近眼式显示器向所述用户呈现计算机生成的场景，以便提供虚拟现实的环境。

19)根据17)所述的方法，还包括指示所述可配戴的近眼式显示器向所述用户呈现所捕获的场景，以便提供增强现实的环境。

20)根据17)所述的方法，其中所述分析是通过基于所述反射生成3D深度图并且进一步分析所述3D深度图来实现的。

21)根据17)所述的方法，还包括只使用所述结构化的光图案照明所述用户的一部分视场。

22)根据17)所述的方法，还包括通过所述可配戴的近眼式显示器呈现与所述视觉指示互动的、计算机生成的场景。

23)根据17)所述的方法，其中，在所述导航空间上沿着X轴移动所述控制对象导致在所述可配戴的近眼式显示器上沿着相应的X’轴移动所述视觉指示。

24)根据17)所述的方法，其中，移动所述控制对象是用户的手并且其中沿着Y轴移动所述手的手指引起所述视觉指示在所述可配戴的近眼式显示器上沿相应的Y’轴的运动。

25)根据17)所述的方法，其中，沿着指定的弧线倾斜所述控制对象引起所述视觉指示在所述可配戴的近眼式显示器上沿着相应的轴的运动。

26)根据17)所述的方法，其中，执行所述控制对象的预定义的手势或者姿态引起所述视觉指示的相应的动作。

本发明的一些实施方式包括被设计为将结构化的光图案投射到虚拟导航空间上的发射机模块、被定位并且被定向以用于捕获结构化的光数据的摄像机模块、被定义用于计算三维数据并且检测用户的控制手势的处理器、以及用于显示与指尖和被执行的手势的位置有关的信息的显示系统。

本发明的实施方式的这些、额外的、和/或其它的方面和/或优势在下面的详细描述中进行了阐述；其可能根据详细描述来推断得出；和/或可通过本发明的实施方式的实践来学习得出。

附图说明

为了更好地理解本发明的实施方式并且为了说明可以如何将这些实施方式付诸实践，现在将仅仅通过举例说明的方式参考附图，在附图中相同的标号始终表示相应的元件或者部分。

图1示出了根据本发明的实施方式的设备和其环境；

图2A是示出了根据本发明的一个实施方式的设备的框图；

图2B是示出了根据本发明的另一个实施方式的设备的框图；

图3A是示出了根据本发明的实施方式的非限制性手势和其结果的示意图；

图3B是示出了根据本发明的实施方式的另一个非限制性手势和其结果的示意图；

图3C是示出了根据本发明的实施方式的又一个非限制性手势和其结果的示意图；

图3D是示出了根据本发明的实施方式的又一个非限制性手势和其结果的示意图；

图4是示出了根据本发明的实施方式的、被投射到作为控制对象的用户的手部的非限制性图案的示意图；以及

图5是示出了根据本发明的实施方式的方法的流程图。

具体实施方式

现在详细地具体参考附图，需要强调的是，这些细节仅仅通过举例说明的方式且出于示例性讨论本技术的优选实施方式的目的被示出，并且为了提供被认为是最有帮助的和最容易理解的本技术的原理描述和概念方面而被呈现。就这点而言，并不试图比为了本技术进行基本理解所必需的内容更详细地示出本技术的结构细节，结合附图的描述使本领域的技术人员明白本发明的若干种形式可以如何在实践中被实施。

在详细说明本技术的至少一个实施方式之前，需要理解的是，本发明在其应用中并不限于下面描述中阐述的或者附图中示出的构造的细节以及组件的布置。本技术适用于其它实施方式或者以各种方式被实践或者实现的其它实施方式。同样，需要理解的是，本文使用的措辞和术语是出于描述的目的并且不应视为限制性的。

本发明的实施方式解决了控制给配戴近眼式显示器的用户呈现的光标或者任何其它添加内容的难题。换句话说，利用本发明的实施方式，被叠加在所捕获的场景上以产生增强现实或者VR的、任何计算机生成的内容可以通过观看者打手势和其姿态进行控制。

图1示出了根据本发明的实施方式的、在其工作环境内操作的设备。该设备可以被实施为可配戴的近眼式显示器100，其将图像直接投射到用户10的眼睛上。该设备可以包括具有指定视场112的传感器110(例如，摄像机)，其被连接到可配戴的近眼式显示器100并且被配置为捕获与用户10的视场122重叠的指定视场处的场景。如可从插图中看出的，设备100可以采取具有某种投影机和被耦合到面罩的图像源的眼镜130的形式。

该设备还可以包括被连接到可配戴的近眼式显示器的发射机120。发射机120可以被配置为将指定的光图案发射到导航空间124上，其中传感器110被配置为捕获来自导航空间124的对指定图案的反射。如本领域中所公知的，光源可以是激光器二极管、发光二极管(LED)、任何一种发射光束的元件。

由发射机120发射的光束通过微结构化的元件(未示出)传播到导航空间上。微结构化的元件修改光束，以便产生投射到导航空间上的光图案。

可选地，微结构化的元件将光束转换成可变横截面强度分布的光束。因此，横截面强度分布沿着光束变化，从而提供指示对象(比如用户手指中的一个)到光源的距离的信息。

可选地，发射机120将在第一方向上具有连续特性的并且在基本垂直于该第一方向的方向上具有不连续特性的光图案投射到导航空间上。可选地，微结构化的元件是衍射光学元件，这正如本领域中所公知的。

衍射光学元件可以由周期性的微结构获得，所述周期性的微结构将光束分成具有一维或者二维空间布置的离散数目的斑点，这正如本领域中所公知的。可选地，额外的元件(比如圆柱形微透镜阵列)或者额外的衍射元件被用于根据每个斑点产生条纹。

可选地，所述条纹用沿着条纹、以彼此之间固定的距离定位的相位记号进行标记。

使用比如圆柱形微透镜阵列的额外的微结构元件的可能优势是，额外的元件可以分散零阶的光束，比如激光束，这正如本领域中所公知的。零阶是从衍射元件输出的光斑的中心，并且其可以以相对高的能量为特征。将零阶分散到例如条纹的光结构可以允许增加激光光束的强度，而没有超过眼睛的安全限制。

可选地，发射机120还包括额外的衍射元件，其根据到对象的距离来改变光图案中的每个条纹的横截面强度分布，其中所述对象反射被投射的条纹。横截面强度分布是垂直于投射光的传播方向的强度分布。

可选地，强度分布变化是从高斯横截面强度分布到顶帽(Top Hat)横截面强度分布的渐变，其沿着投射光所穿过的距离逐渐进行变化，此时投射光向对象传播，并且从对象的表面被反射回来。

可选地，强度分布变化从具有单峰的强度分布渐变到具有两个或者多于两个的峰的强度分布，等等，这正如本领域中所公知的。

强度分布中的变化、从被具有光图案的光投射的对象所反射的光穿过的长距离，可以帮助区分从不同范围中的不同对象反射的条纹之间的差异，并且从而进一步帮助克服区段的一致问题。

此外，强度分布中的变化还可以被用于直接测量到可控制的对象(比如，用户的手、手指以及拇指)的距离。传感器110可以是被定位在发射机120旁边的视频摄像机，比如网络摄像头或者手机摄像头。

图2A是示出了根据本发明的一个实施方式的设备200A的框图。设备200A可以包括可配戴的近眼式显示器250、被连接到可配戴的近眼式显示器并且被配置为捕获场景的传感器210。设备200A还可以包括被连接到可配戴的近眼式显示器250的发射机220。如上文详细说明的，发射机220被配置为将结构化的光图案发射到导航空间上，其中，传感器210还可以被配置为捕获来自导航空间的对指定图案的反射。设备200A还可以包括被配置为分析反射并且基于所述分析来控制视觉指示(这里未示出)的计算机处理器230，其中所述视觉指示通过可配戴的近眼式显示器250被呈现给用户。设备200A可以采取如图1的插图中所描绘的任何头戴式显示器的眼镜的形式。

图2B是阐释依据本发明的另一个实施方式的设备的框图。在这里设备200B以扩展组件或改装配置被提供，并且与发射器220B和软件应用240B分离，所有其它元件作为工件或环境被提供。系统因此可以包括可附接到近眼显示器250B的发射器220B、在计算机处理器230B上可执行的并可配置的软件应用240B，当其被执行时，引起计算机处理器230B：指示发射器发射结构光图案到导航空间，指示附接到可配戴的近眼显示器的传感器捕获场景；指示所述传感器捕获来自导航空间的对指定图案的反射；分析反射，并基于分析控制在可配戴的近眼显示器250B上呈现给用户的可视指示器。

如本领域已知的其它结构光技术，由计算机处理器执行的分析可以通过基于来自导航空间的图案化的光线的反射产生3D深度图并进一步分析3D深度图实现。

结构光图案被投射到创建对象能以3D方式被检测的体积的虚拟导航区域。结构光可以包括点图案、线、曲线或支持3D深度映射或对象分割能力的任何其它图案。一旦对象在检测体积内部被检测到并作为控制对象被激活，关于对象位置、定向、形状等的其他性质就被计算。这些性质然后进一步被处理以创建界面事件和控制设备的用户界面上的指向指示的视觉反馈。手势事件可以通过控制对象的移动、位置或对象所创建的特定形状被触发。

根据本发明的一些实施方式，虚拟导航区域124仅覆盖部分摄像机视场112。这部分可以包括摄像机图像的较低部分，而大部分摄像机视场被保持在被投射的光线之外。以这种方式，产生结构光的需要的激光或LED的功耗显著地被减少。此外，在那种情况下，存在被投射的图案和设备摄像机的标准使用之间的轻微干扰。为了将结构光图案投射到摄像机视场的边缘上，发射器光轴和摄像机光轴之间的呈现一个角度。在深度提取和对象分割的方法中封装了这样的一个角度的效果。此外，发射器可以在与传感器(摄像机)视场方向相关的摄像机光轴的线上向后偏移被放置。这使设备设计中的附加灵活性成为可能，并同样被考虑到图案分析方法中。

根据本发明的一些实施方式，结构光图案使用可见光谱范围内的光源投射。这给予了使用可配戴设备的现有的前视摄像机而无需移除对于此类摄像机来说是标准的红外截止滤光片的能力。CMOS传感器的量子效率使得在可见光谱范围内的更好的灵敏度成为可能，这降低了结构光发射器所需要的能量。使用可见光的另一个重要优点是当进入虚拟导航区域时，控制对象用反射光高亮显示。这向用户表明将他的手/手指放置在哪里才能落入导航空间的边界内。

根据本发明的一些实施方式，结构光被聚焦到距离发射器120的特定距离，发射器120使用围绕那个距离的短的聚焦进深。这沿着发射器的光轴创建了有限的区域。仅在那个区域内部，光图案结构可以被摄像机检测到。尽管它限制了用户能够在其中操作的空间，但是它也模糊了那个区域之外的光图案，并减少了来自用户前面的场景中的对象的不想要的反射。

根据本发明的一些实施方式，结构光图案可以包括在一个方向连续且在另一个方向不连续的光特征。这些特征被用来使从背景场景分割控制对象成为可能，并用于检测对象的轮廓。此外，各种强度可以出现在不同光特征上，所述不同光特征在图案中的线特征的每个子群组之间创建唯一强度标记。这使精确检测每个线特征的索引和确定对象的准确深度成为可能，对象将图案反射回摄像机。在另一个方面，光特征可以包括符号、强度的变化、或随着光特征自身改变以帮助控制对象的分割与帮助局部检测其深度的其它特征。

图3A是阐释根据本发明的实施方式的非限制手势和其结果的图。响应于在导航空间将手沿着X轴从位置310A移动到位置312A，光标在显示器320A上沿着相应的X’轴从位置330A移动到位置332A。然而，可以理解的是，因为实际原因，从一个位置到另一个位置的唯一的手的手指的相似移位导致光标(视觉指示器)在显示器上的移位。

通常，设备的计算机处理器被配置为将在x-y-z空间的现实生活(控制对象的)中的一种形式的移动映射或翻译为在显示器上的另一种移动。相似的映射被阐释在图3B-3D中，其中在3B Y轴中映射利用现实生活中的位置310B和312B证明，位置310B和312B对应显示器320B上的光标的位置330B和332B。

在图3C和3D中，倾斜手的手掌，沿着预定弧形(例如从位置310C向右倾斜到位置312C、或者从位置310D向上倾斜到位置312D)的拳头或至少一个手指导致在显示器320C中以可能类似控制操纵杆的手势移动光标(例如，从330C向332C、或者从330D向332D)。

本发明的实施方式的一个关键特征是分离控制对象的指示方向和包括在设备显示器上的指向指示的、关于用户的视角的显示的图形的位置的能力。除了之前提到的减少导航空间的大小的优点，这也使得一些关键控制方案成为可能。这些方案的一个包括缩放或归一化控制设备的位置，以使将覆盖呈现给用户的整个图形区域的更大或更小的移动成为可能。以这种方式，虚拟导航空间的实际大小不依赖于所呈现的对象的大小和位置，并且可以基于使用情况和用户体验来确定。

在另一个方面中，控制对象的角度和定向被用作输入，以确定在呈现的UI上的图形指向指示的位置。例如，在控制对象和关于发射器光轴的水平轴之间所创建的角度可以被转换为所呈现的用户界面的x轴上的位置。在控制对象和关于发射器光轴的垂直轴之间所创建的角度可以被转换为所呈现的界面的y轴上的位置。

在本发明的另一个方面中，选择的手势被呈现。选择手势可能包括以下姿势之一：向虚拟导航空间添加控制对象。这样的控制对象可以是另外的手指。附加的控制对象可以被附接到预先处于虚拟导航空间中的第一控制对象。另一个呈现的选择手势包括旋转控制对象。例如，在控制对象是带有伸展指示的手指的手的情况下，绕手指轴旋转手或向前推动手指向前将产生点击事件。这使得在不改变控制对象的并置和定向就能够点击，因此使得点击动作过程中的稳定指向成为可能。

根据一些实施方式，传感器和发射器只在可见光带宽内是可操作的。用这种方式，图案也可以给用户用作视觉反馈-表明他或她的手在导航空间内。

根据一些实施方式，配置成捕获场景和反射的传感器是单个元件。通过配置单个传感器执行这两个任务，更具成本效益和低功耗的设备可以被实现。

根据一些实施方式，视觉指示器的控制包括沿着显示器的第一轴移动可视指示器，以响应于沿着导航空间的第二轴线移动控制对象。

根据一些实施方式，计算机处理器还被配置成，基于反射分析识别至少一个预定义的动作手势，并调用相应的与视觉指示器和可配戴的近眼显示器上呈现的内容关联的动作事件。

根据一些实施方式，导航空间位于视场中的较低侧。用这种方式，它不妨碍用户的视点。

根据一些实施方式，导航空间在深度上被发射器的视场深度限制，所述深度是指定图案被对焦的深度。

根据本发明的示例性实施方式，图4是阐释用光图案投射的手的示意图400。根据示例性实施方式，使用被设计成使检测手移动成为可能的光图案，执行手的移动的跟踪，所述手移动诸如手指和拇指的细微移动。例如，结构光的使用可以是，如在WIPO公布号为WO2013088442中所公开的内容，其通过引用被全部并入本文。

特别设计的光图案允许对移动的跟踪，即便是在二维的视频数据中，所述二维的视频数据不像三维深度图，并没有提供用于将手从身体的其它部分容易的分离。

可选地，光图案可以被专门设计用于跟踪手的指头在二维视频数据(即来自普通视频摄像机的视频图像流)中的运动。更具体地，光图案可被设计成能够在二维视频数据中根据该指头对图案造成的变形来检测和跟踪指头(即手指和拇指)以及手掌。

可选地，光图案在第一方向(即X轴)具有连续特征，并在实质上垂直于第一方向(即Y轴)的方向上的非连续(即周期性的)特征。在这样的图案的一个实例中，光图案包括彼此平行排列(或接近平行的)布置的几个条纹，如图400中所示。

传感器可以被定位在Y轴上的一定距离，接近将条纹图案投射在手410和背景420(即手停留在的桌子的表面、墙壁等)上的发射器。传感器的位置被选择，以便创建如本领域已知的，相机、投光器以及从用户的手410和背景420反射回的光之间的三角测量的效果。

三角测量效果导致沿着条纹的光点上的图案中的不连续，其中距离利用光图案投射的对象存在显著的深度偏移。不连续将条纹分段(即划分)成两个或多于两个条纹分段，即放置在手上的分段431，放置在手的左边的分段432和放置在手的右边的分段433。

条纹分段产生的这种深度偏移可以设置在用户手的手掌或指头的轮廓上，其被放置在相机和用户的身体之间。那就是说，在用户的指头或手掌将条纹分隔成两个或多于两个条纹分段。一旦这样的条纹分段被检测到，跟随条纹分段到条纹分段的终端是容易的。

设备因此可以分析二维视频数据，以产生条纹分段簇。例如，设备可以在光图案中确定，通过手的指头对条纹的分段创建的一个或多个条纹分段簇，例如从手的中指反射的四个分段簇441。因此，设备通过跟踪指头的条纹分段所创建条纹分段簇，或通过跟踪至少一个分段簇，来跟踪指头的移动。

由指头对条纹的分段(即分割)所创建的条纹分段簇包括在X轴中带有重叠的条纹分段。可选地，在簇中的条纹分段还具有相似的长度(从手指厚度推导出)或相对接近Y轴坐标。

在X轴上，分段对笔直放置的指头可以具有完全重叠，对于在X-Y平面对角放置的指头具有部分重叠。

可选地，设备进一步识别指头的深度移动，例如，通过检测所跟踪的簇中的分段的数目的变化。

例如，如果用户伸展用户的中指，指头与投光器和摄像机的平面(X-Y平面)的角度就发生变化。因此，簇441中的分段的数目从四减少到三。

可选地，设备还识别在光图案中由手的手掌对条纹的分段所创建的一个或多个条纹分段的一个或多个簇。

由手掌对条纹的分段所创建的条纹分段簇在X轴中包括上条纹分段431，其与用户手的手指条纹分段簇重叠。上条纹分段431与X轴中的四个手指簇重叠，但不超过四个手指簇的底分段的最小和最大X值。

由手掌的条纹的分段所创建的条纹分段簇还包括，在分段431的正下方，与条纹分段431显著重叠的一些条纹分段。由手掌对条纹的分段所创建的条纹分段簇还包括，更长的条纹分段，其延伸到用户拇指的条形段簇451的底部。可以理解的是指头和手掌簇的定向可能随着特定的手的位置和旋转会有所不同。

图5是阐释了用于实现本发明的实施方式的高层过程的流程图500。应该注意的是流程图500不限于设备100的上述架构。所述方法包括：捕获用户的视场的场景510；将结构化光图案发射到包含在所述场景内的导航空间520；捕获来自导航空间的对指定的图案的反射530；分析所述反射并控制通过可配戴的近眼式显示器呈现给用户的视觉指示器540。

在上面的说明书中，实施方式是本发明的实例或实现。出现的各种“一个实施方式”，“实施”或“一些实施方式”不一定都指的是同样的实施方式。

虽然本发明的各种特征可在单个实施方式的上下文中进行描述，但是这些特征也可以分别地或以任何适当组合来提供。相反，为了清楚起见，虽然本发明可以在本文的分开的多个实施方式的上下文中描述，但是本发明也可在单个实施方式中实现。

在说明书中引用的“某些实施方式”，“实施方式”，“一个实施方式”或“其它实施方式”意味着结合实施方式描述的特定特征、结构或特性被包含在至少一些实施方式中，但不一定是被包含在在本发明的所有实施方式中。

应当理解的是，本文所采用的措辞和术语不应被解释为限制性的，仅用于描述性的目的。

本发明的教导的原理和使用，参照所附的说明书、附图和实例，可以更好地理解。

应当理解的是，本文所阐述的细节不诠释为对本发明的应用的限制。

此外，还应当理解，本发明可以以各种方式实行或实施，并且本发明可以在不同于上面说明书中概括出的那些实施方式中实现。

应当理解的是，术语“包括”、“包含”、“由......组成”及其语法变体并不排除添加一个或多个组件、特征、步骤或整体或其群组，并且该术语将被解释为指定组件、特征、步骤或整体。

如果说明书或权利要求书提及“额外的”元件，这并不排除存在多于一个的附加元件。

应当理解，在权利要求书或说明书中提及“一个(a)”或“一个(an)”元件，这种引用不被解释为只存在一个那样的元素。

应当理解，在说明书中指出的组件、特征、结构或特性“可以(may)”、“可以(might)”，“能”或“可能”被包括在内，该特定组件、特征、结构或特性不一定被包括在内。

在适用情况下，虽然状态图、流程图或两者可用于描述实施方式，但是本发明不限于那些图或相应的描述。例如，流程不需要经过每个所说明的框或状态，或完全地按照如所说明或所描述的相同顺序。

本发明的方法可以通过手动地、自动地或两者结合地执行或完成选择的步骤或任务来实现。

权利要求和说明书中提出的描述、实例、方法和材料不应被解释为限制性的，而是仅是作为说明性的。

本文中所使用的技术和科学术语的含义通常被本发明所述领域的普通技术人员理解，除非另有定义。

本发明可以在使用等同或相似于本文描述的那些方法和材料的测试或实践中实现。

虽然本发明相对于数量有限的实施方式被描述，但是这些不应被解释为限制本发明的范围，而只是作为一些优选实施方式的范例。其它可能的变型，修改和应用也在本发明的范围之内。因此，本发明的范围不应该被迄今已描述的内容所限制，而是由所附权利要求以及它们的法律等同物所限制。

Claims (24)

1.一种用于控制近眼式显示器的装置，包括：

可配戴的近眼式显示器；

传感器，其被连接到所述可配戴的近眼式显示器并且被配置为捕获场景；

发射机，其被连接到所述可配戴的近眼式显示器，其中所述发射机被配置为将结构化的光图案发射到导航空间上和所述导航空间中的控制对象上，并且其中，所述传感器还被配置为捕获来自所述导航空间的对所述结构化的光图案的反射；以及

计算机处理器，其被配置为分析所述反射并且基于对所述反射的分析来根据所述控制对象的手势控制通过所述可配戴的近眼式显示器呈现给用户的视觉指示，其中

执行所述控制对象的所述手势引起与所述视觉指示关联的相应动作事件。

2.根据权利要求1所述的装置，其中，所述计算机处理器还被配置为指示所述可配戴的近眼式显示器向所述用户呈现计算机生成的场景，所述计算机生成的场景向所述用户提供虚拟现实的环境。

3.根据权利要求1所述的装置，其中，所述计算机处理器还被配置为指示所述可配戴的近眼式显示器向所述用户呈现所捕获的场景，所捕获的场景向所述用户提供增强现实的环境。

4.根据权利要求1所述的装置，其中，所述计算机处理器还被配置为基于所述反射生成3D深度图并且分析所述3D深度图。

5.根据权利要求1所述的装置，其中，所述计算机处理器还被配置为指示所述发射机只照明所述导航空间的包括所述控制对象的一部分。

6.根据权利要求1所述的装置，其中，所述计算机处理器还被配置为通过所述可配戴的近眼式显示器呈现与所述视觉指示互动的、计算机生成的场景。

7.根据权利要求1所述的装置，其中，所述传感器和所述发射机只在可见光带宽内是可操作的。

8.根据权利要求1所述的装置，其中，捕获所述场景的传感器和捕获所述反射的传感器是单个元件。

9.根据权利要求1所述的装置，其中，在所述导航空间上沿着X轴移动所述控制对象引起在所述可配戴的近眼式显示器上沿着相应的X’轴移动所述视觉指示。

10.根据权利要求1所述的装置，其中，所述控制对象是所述用户的手，并且其中，在所述导航空间上沿着Y轴移动所述手的手指引起所述视觉指示在所述可配戴的近眼式显示器上沿相应的Y’轴的运动。

11.根据权利要求1所述的装置，其中，在所述导航空间上沿着指定的弧线倾斜所述控制对象引起所述视觉指示在所述可配戴的近眼式显示器上沿着相应的轴的运动。

12.根据权利要求1所述的装置，其中，所述结构化的光图案的场的深度被选择，以匹配所述导航空间的预定义的位置。

13.根据权利要求1所述的装置，其中，所述结构化的光图案沿着第一轴是连续的并且沿着垂直于所述第一轴的第二轴是不连续的。

14.根据权利要求1所述的装置，其中，所述结构化的光图案覆盖所述传感器的不到10％的视场。

15.一种用于控制近眼式显示器的系统，包括：

发射机，其能够连接到可配戴的近眼式显示器；

计算机可读的代码，其在计算机处理器上可执行并且被配置为在执行时引起所述计算机处理器：

指示所述发射机将结构化的光图案发射到导航空间上和所述导航空间中的控制对象上；

指示被连接到所述可配戴的近眼式显示器的传感器捕获场景；

指示所述传感器捕获来自所述导航空间的对所述结构化的光图案的反射；以及

分析所述反射并且基于所述分析来根据所述控制对象的手势控制通过所述可配戴的近眼式显示器呈现给用户的视觉指示，其中

执行所述控制对象的所述手势引起与所述视觉指示关联的相应动作事件。

16.一种用于控制近眼式显示器的方法，包括：

捕获来自用户的视点的场景；

从所述视点将结构化的光图案发射到导航空间上和所述导航空间中的控制对象上；

捕获来自所述导航空间的对所述结构化的光图案的反射；以及

分析所述反射并且基于对所述反射的分析来根据所述控制对象的手势控制通过可配戴的近眼式显示器呈现给所述用户的视觉指示，其中

执行所述控制对象的所述手势引起与所述视觉指示关联的相应动作事件。

17.根据权利要求16所述的方法，还包括指示所述可配戴的近眼式显示器向所述用户呈现计算机生成的场景，所述计算机生成的场景向所述用户提供虚拟现实的环境。

18.根据权利要求16所述的方法，还包括指示所述可配戴的近眼式显示器向所述用户呈现所捕获的场景，所捕获的场景向所述用户提供增强现实的环境。

19.根据权利要求16所述的方法，其中，分析所述反射包括基于所述反射生成3D深度图并且分析所述3D深度图。

20.根据权利要求16所述的方法，还包括只使用所述结构化的光图案照明所述导航空间的包括所述控制对象的一部分。

21.根据权利要求16所述的方法，还包括通过所述可配戴的近眼式显示器呈现与所述视觉指示互动的、计算机生成的场景。

22.根据权利要求16所述的方法，其中，在所述导航空间上沿着X轴移动所述控制对象引起在所述可配戴的近眼式显示器上沿着相应的X’轴移动所述视觉指示。

23.根据权利要求16所述的方法，其中，所述控制对象是所述用户的手，并且其中，在所述导航空间上沿着Y轴移动所述手的手指引起所述视觉指示在所述可配戴的近眼式显示器上沿相应的Y’轴的运动。

24.根据权利要求16所述的方法，其中，在所述导航空间上沿着指定的弧线倾斜所述控制对象引起所述视觉指示在所述可配戴的近眼式显示器上沿着相应的轴的运动。