CN105164612A - 使用脉冲式光源的近平面分段 - Google Patents

Abstract

描述了用于在近场环境内识别姿势的方法。在一些实施例中，移动设备(诸如头戴式显示设备(HMD))可在使用具有第一范围(例如，由于光强度的指数衰减)的IR光照射环境时捕捉该环境的第一图像，且在不照射的情况下捕捉该环境的第二图像。该移动设备可基于第一图像和第二图像生成差异图像以便消除由该环境内的其他IR光源(例如，由于日光或人工光源)带来的背景噪声。在一些情况下，可向该差异图像应用对象和姿势识别技术以便检测该移动设备的近场环境内该移动设备的最终用户的手和/或手指姿势的执行。

Description

使用脉冲式光源的近平面分段

背景

家庭娱乐和游戏系统已开始采用相机和姿势识别软件来提供自然用户界面。使用自然用户界面，人的身体部位和移动可被检测、解释、以及用于控制在计算系统上运行的计算应用的各方面。该计算系统可包括用于捕捉场景的图像的彩色相机(例如，RGB相机)或深度相机。深度相机可包括利用飞行时间(TOF)或结构化光技术来获得深度信息的主动照明深度相机。彩色相机可将场景捕捉为彩色图像，而深度相机可将场景捕捉为深度图。深度图可包括环境的二维图像，该图像包括与从特定参考点(诸如与深度相机相关联的点)到环境内的物体的距离有关的深度信息。二维图像中的每一像素可与表示距该特定参考点的直线距离的深度值相关联。

概述

描述了用于在近场环境内识别姿势的技术。在一些实施例中，移动设备(诸如头戴式显示设备(HMD))可识别该移动设备的最终用户执行的手和/或手指姿势。移动设备可在使用IR光源照射环境时捕捉环境的第一图像。该IR光源可将光投射到该环境以使得第一范围被照射。由于光强度在距光源的距离上的指数衰减，第一范围可出于检测所投射的IR光的反射的目的而被充分照射。在一些情况下，可通过调制从该光源投射的IR光的初始光强度来调整第一范围。光源可包括激光器、激光二极管、或LED。移动设备可在不照射该环境的情况下捕捉该环境的第二图像。该移动设备随后可基于第一图像和第二图像生成差异图像以便消除由该环境内的其他IR光源(例如，来自由日光或人工光源带来的环境IR光)带来的背景噪声。在一些情况下，可向该差异图像应用对象和姿势识别技术以便检测该移动设备的近场环境内该移动设备的最终用户的手和/或手指姿势的执行。在一些实施例中，集成的彩色和IR图像传感器可被用来捕捉第一图像和第二图像。

提供该概述以便以简化形式介绍概念的选集，所述概念在以下详细描述中被进一步描述。该概述不意图标识所要求保护的主题的关键特征或基本特征，也不意图被用来帮助确定所要求保护的主题的范围。

附图简述

图1是可在其中实施所公开的技术的联网计算环境的一个实施例的框图。

图2A描绘了与第二移动设备通信的移动设备的一个实施例。

图2B描绘了HMD的一部分的一个实施例。

图2C描绘了图像传感器的一部分的一个实施例。

图3描绘了包括捕捉设备和计算环境的计算系统的一个实施例。

图4A描绘了环境的一个实施例，在该环境中，佩戴HMD的最终用户执行手和/或手指姿势以便控制在该HMD上运行的应用。

图4B描绘了图4A中描绘的HMD捕捉的第一图像的一个实施例。

图4C描绘了图4A中描绘的HMD捕捉的第二图像的一个实施例。

图4D描绘了基于图4B的第一图像和图4C的第二图像的差异图像的一个实施例，以便消除由环境内的非HMDIR光源所带来的背景噪声。

图4E描绘了包括与HMD的最终用户相关联的手区域的分段图像的一个实施例。

图5是描述用于识别近场环境内的姿势的方法的一个实施例的流程图。

图6是描述用于识别近场环境内的姿势的方法的替换实施例的流程图。

图7是移动设备的一个实施例的框图。

详细描述

描述了用于在近场环境内识别姿势的技术。在一些实施例中，移动设备(诸如头戴式显示设备(HMD))可在使用具有第一范围(例如，由于光强度在距离上的指数衰减)的IR光照射环境时捕捉该环境的第一图像，且在不照射的情况下捕捉该环境的第二图像。该移动设备可基于第一图像和第二图像生成差异图像以便消除由该环境内的其他IR光源(例如，来自由日光或人工光源带来的环境IR光)带来的背景噪声。在一些情况下，可向该差异图像应用对象和姿势识别技术以便检测该移动设备的近场环境内该移动设备的最终用户的手和/或手指姿势的执行。在一些实施例中，集成的彩色和IR图像传感器可被用来捕捉第一图像和第二图像。

在一些实施例中，可基于使用HMD捕捉的平面图像来执行实时的手和/或手指跟踪。而且，可使用基于两个或更多图像内的手和/或手指边界的位置的视差计算来确定与手和/或手指边界相关联的三维位置信息或深度信息。在一个实施例中，可根据使用两个图像传感器捕捉的两个或更多图像以及与移动设备相关联的一个光源来确定深度信息。在另一实施例中，可根据使用一个图像传感器捕捉的两个或更多图像以及两个不同光源来确定深度信息。在此情况下，可在第一时间点期间在使用两个不同光源中的第一光源来照射环境时使用图像传感器捕捉第一图像，且可在第一时间点之后(或之前)的第二时间点在使用该两个不同光源中的第二光源来照射该环境时使用该图像传感器捕捉第二图像。

在一个实施例中，可针对近场对象(诸如位于移动设备一米内的手)的每个边界生成相对深度值。例如，可以确定，手的拇指比手的小指或其他部位更靠近移动设备。在一些情况下，每当检测到对象边界时(例如，每当检测到前景对象和背景之间的边界时)，可针对每个扫描线(或像素行)确定深度信息。从而，近场对象(例如，手)的边界点处的相对深度信息可被从与不同视点相关联的两个或更多图像中提取并被用来推断该近场对象在该移动设备的第一范围内的空间定向。

控制HMD的一个问题是：与其他计算设备不同，HMD本身不固有地提供用于控制HMD的物理界面(例如，HMD可能不提供如与平板计算机一起使用的触摸屏界面)。而且，在一些环境中(例如，在商业会议期间或在搭乘拥挤的地铁时)，使用语音命令来控制HMD可能不合适且因此姿势识别可能是优选的。然而，依赖于深度相机的姿势识别技术可能是昂贵的并且与本文描述的图像分段和姿势识别技术相比需要相对更高的功率和计算复杂度。从而，需要一种低成本且能量高效的系统，该系统允许HMD的最终用户在很宽范围的光照环境中(例如，黑暗的房间或阳光充足的海滩)使用手和/或手指姿势来控制HMD。

图1是可在其中实施所公开的技术的联网计算环境100的一个实施例的框图。联网计算环境100包括通过一个或多个网络180互连的多个计算设备。所述一个或多个网络180允许一特定计算设备连接到另一计算设备以及与其通信。所描绘的计算设备包括移动设备11、移动设备12、移动设备19和服务器15。在一些实施例中，所述多个计算设备可以包括未示出的其他计算设备。在一些实施例中，所述多个计算设备可以包括比图1所示的计算设备的数目更多或更少的计算设备。所述一个或多个网络180可以包括诸如企业专用网络之类的安全网络、诸如无线开放式网络之类的不安全网络、局域网(LAN)、广域网(WAN)、以及因特网。所述一个或多个网络180中的每个网络可以包括集线器、网桥、路由器、交换机、以及有线传输介质，比如有线网络或直接线连接。

可包括补充信息服务器或应用服务器的服务器15可允许客户端从该服务器下载信息(例如，文本、音频、图像和视频文件)或者执行与存储在该服务器上的特定信息相关的搜索查询。一般而言，“服务器”可以包括在客户端-服务器关系中充当主机的硬件设备、或者与一个或多个客户端共享资源或为所述一个或多个客户端执行工作的软件过程。客户端-服务器关系下的计算设备之间的通信可以通过由客户端向服务器发送要求访问特定资源或执行特定工作的请求来发起。服务器随后可以执行所请求的动作并且将响应发送回客户端。

服务器15的一个实施例包括网络接口155、处理器156、存储器157和翻译器158，所有这些都彼此通信。网络接口155允许服务器15连接到一个或多个网络180。网络接口155可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器156允许服务器15执行存储在存储器157中的计算机可读指令以执行在此讨论的过程。翻译器158可包括用于将第一文件格式的第一文件翻译成第二文件格式的对应第二文件的映射逻辑(即，第二文件可以是经翻译的版本的第一文件)。可使用文件映射指令来配置翻译器158，该文件映射指令提供用于将第一文件格式的文件(或其部分)映射成第二文件格式的对应文件的指令。

移动设备19的一个实施例包括网络接口145、处理器146、存储器147、相机148、传感器149、以及显示器150，所有这些都彼此通信。网络接口145允许移动设备19连接到一个或多个网络180。网络接口145可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器146允许移动设备19执行存储在存储器147中的计算机可读指令以执行在此讨论的过程。相机148可以捕捉色彩图像和/或深度图像。传感器149可生成与移动设备19相关联的运动和/或定向信息。在一些情况下，传感器149可包括惯性测量单元(IMU)。显示器150可显示数字图像和/或视频。显示器150可包括透视显示器。

在一些实施例中，包括网络接口145、处理器146、存储器147、相机148以及传感器149的移动设备19的各组件可被集成在单芯片基片上。在一示例中，网络接口145、处理器146、存储器147、相机148、传感器149可被集成成为片上系统(SOC)。在另一实施例中，网络接口145、处理器146、存储器147、相机148、传感器149可被集成在单个封装中。

在一些实施例中，通过采用相机148、传感器149，和运行在处理器146上的姿势识别软件，移动设备19可提供自然用户界面(NUI)。使用自然用户界面，人的身体部位和移动可被检测、解释、以及用于控制计算应用的各方面。在一个示例中，利用自然用户界面的计算设备可推断与计算设备交互的人的意图(例如，最终用户执行了特定姿势来控制该计算设备)。

联网计算环境100可以为一个或多个计算设备提供云计算环境。云计算指的是基于因特网的计算，其中共享的资源、软件和/或信息通过因特网(或其他全局网络)被按需提供给一个或多个计算设备。基于在计算机网络图中使用的云图来将因特网描绘成对其所表示的底层基础设施的抽象，术语“云”被用作对因特网的比喻。

在一个示例中，移动设备19包括向头戴式显示设备(HMD)的最终用户提供增强现实环境或混合现实环境(例如，以控制在该HMD上运行的应用)的头戴式显示设备。HMD可包括视频透视和/或光学透视系统。最终用户佩戴的光学透视HMD可允许(例如经由透明透镜)对真实世界环境的实际直接查看，并且同时可将虚拟对象的图像投影到最终用户的视野中，由此用虚拟对象来增强最终用户所感知的真实世界环境。

通过利用HMD，佩戴HMD的最终用户可在真实世界环境(例如，起居室)中四处移动，并感知覆盖有虚拟对象的图像的真实世界的视图。虚拟对象可以看起来保持与真实世界环境的相干空间关系(即，当最终用户在真实世界环境中转动他们的头或移动时，显示给该最终用户的图像将改变，使得虚拟对象看起来像被最终用户感知的那样存在于该真实世界环境内)。虚拟对象还可看起来相对于最终用户的视角是固定的(例如，无论最终用户如何在真实世界环境中转动他们的头或移动，总是出现在最终用户视角的右上角的虚拟菜单)。在一个实施例中，真实世界环境的环境映射可由服务器15(即，在服务器侧)来执行，而相机定位可在移动设备19上(即，在客户端侧)执行。虚拟对象可包括与真实世界对象相关联的文本描述。

在一些实施例中，移动设备(诸如移动设备19)可与云中的服务器(诸如服务器15)通信，并可提供与移动设备相关联的服务器位置信息(例如，经由GPS坐标的移动设备的位置)和/或图像信息(例如，与在移动设备的视野内检测到的对象有关的信息)。作为响应，服务器可基于提供给该服务器的位置信息和/或图像信息向移动设备传送一个或多个虚拟对象。在一个实施例中，该一个或多个虚拟对象可由移动设备的最终用户使用手和/或手指姿势来操纵或控制。

在一些实施例中，移动设备的最终用户可使用手和/或手指姿势来控制移动设备的各个方面(例如，文件传输、环境内的真实和/或虚拟对象的选择、或与另一用户的电子通信的发起)。手和/或手指姿势可被移动设备识别。移动设备(例如，HMD)可在使用附接于HMD或作为HMD的一部分的IR光源来照射环境时捕捉该环境的第一图像。该IR光源可将光投射(或发射)到该环境中以使得第一范围被照射。由于光强度在距光源的距离上的指数衰减，仅第一范围可出于检测由环境内的对象所带来的所投射的IR光的反射的目的而被充分照射。在一些情况下，可通过调制从该光源投射的IR光的初始光强度来调整第一范围。例如，如果用于对移动设备供电的电池的能量等级低于特定阈值、如果第一设备处于低电力状态、或如果该环境内的环境IR光高于特定阈值，则可减小第一范围。该光源可包括IR激光器、激光二极管和/或IRLED。移动设备可在不照射该环境的情况下捕捉该环境的第二图像。该移动设备可基于第一图像和第二图像生成差异图像以便消除由该环境内的其他IR光源(例如，由于日光或人工光源)带来的背景噪声。在一些情况下，可向该差异图像应用对象和姿势识别技术以便检测该移动设备的近场环境内该移动设备的最终用户的手和/或手指姿势的执行。

图2A描绘了与第二移动设备5通信的移动设备19的一个实施例。移动设备19可包括透视HMD。如所描绘的，移动设备19经由有线连接6与移动设备5通信。然而，移动设备19还可经由无线连接与移动设备5通信。在一个示例中，HMD的最终用户佩戴的HMD可与该最终用户邻近区域内的第二移动设备(例如，最终用户所使用的移动电话)(例如，第二移动设备可位于外套口袋中)无线地通信。移动设备5可由移动设备19使用以便卸载计算密集的处理任务(例如，虚拟对象的渲染和/或姿势的识别)且存储可被用来在移动设备19(例如，由最终设备用来控制在移动设备上运行的应用)上提供增强现实环境的信息(例如，虚拟对象的模型)。移动设备19还可向移动设备5提供与移动设备19相关联的运动和/或定向信息。在一个示例中，运动信息可包括与移动设备19相关联的速度或加速度，并且朝向信息可包括欧拉角，其提供围绕特定坐标系统或参照系的转动信息。在一些情况中，移动设备19可包括运动和朝向传感器，诸如惯性测量单元(IMU)，以便获得与移动设备19相关联的运动和/或朝向信息。

图2B描绘了HMD(诸如图1的移动设备19)的一部分的一个实施例。仅示出了HMD200的右侧。HMD200包括右镜腿202、鼻梁204、镜片216、以及眼镜框214。右镜腿202包括与处理单元236通信的捕捉设备213(例如，前置相机和/或话筒)。捕捉设备213可包括用于记录数字图像和/或视频的一个或多个相机，并可将视觉记录传送到处理单元236。一个或多个相机可捕捉色彩信息、IR信息、和/或深度信息。该一个或多个相机可包括一个或多个图像传感器(例如，CCD图像传感器或CMOS图像传感器)。捕捉设备213还可包括用于记录声音的一个或多个话筒，并可将音频记录传送到处理单元236。

右镜腿202还包括生物测定传感器220、眼睛跟踪系统221、耳机230、运动和定向传感器238、GPS接收器232、电源239、以及无线接口237，所有这些都与处理单元236通信。生物测定传感器220可包括用于确定与HMD200的最终用户的脉搏或心率相关联的一个或多个电极，以及用于确定与HMD200的最终用户相关联的体温的温度传感器。在一个实施例中，生物测定传感器220包括压着最终用户太阳穴的脉搏速率测量传感器。运动和定向传感器238可以包括三轴磁力计、三轴陀螺仪、和/或三轴加速度计。在一个实施例中，运动和定向传感器238可包括惯性测量单元(IMU)。GPS接收器可确定与HMD200相关联的GPS位置。处理单元236可以包括一个或多个处理器和用于存储将要在所述一个或多个处理器上执行的计算机可读指令。存储器还可存储要在一个或多个处理器上执行的其它类型的数据。

在一个实施例中，眼睛跟踪系统221可包括面向内的相机。在另一实施例中，眼睛跟踪系统221可包括眼睛跟踪照明源和相关联的眼睛跟踪IR传感器。在一个实施例中，眼睛跟踪照明源可包括以大约预定IR波长或一定范围的波长发射的一个或多个红外(IR)发射器(诸如红外发光二极管(LED)或激光器(例如，VCSEL))。在一些实施例中，眼睛跟踪传感器可包括用于跟踪闪光位置的IR相机或IR位置敏感检测器(PSD)。关于眼睛跟踪系统的更多信息可在2008年7月22提交的标题为“HeadMountedEyeTrackingandDisplaySystem(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920，以及2011年9月26日提交的标题为“IntegratedEyeTrackingandDisplaySystem(集成眼睛跟踪和显示系统)”的美国专利申请13/245,700中找到。

在一个实施例中，镜片216可包括透视显示器，处理单元236生成的图像由此可被投影和/或显示在透视显示器上。捕捉设备213可被校准，使得捕捉设备213所捕捉的视野对应于HMD200的最终用户所看到的视野。耳机230可用于输出与虚拟对象的投影图像相关联的声音。在一些实施例中，HMD200可包括两个或更多个前置相机(例如，每个镜腿上一个相机)，以便从与前置相机所捕捉的视野相关联的立体信息中获得深度。两个或更多个前置相机还可包括3D、IR、和/或RGB相机。也可从利用来自运动技术的深度的单个相机中获取深度信息。例如，可从单个相机获取两个图像，这两个图像与在不同的时间点的、两个不同的空间点相关联。然后，给定与两个不同空间点有关的位置信息的情况下，可执行视差计算。

在一些实施例中，HMD200可使用凝视检测元件和与一个或多个人类眼睛元素(诸如角膜中心、眼球旋转的中心、或瞳孔中心)有关的三维坐标系，来为最终用户眼睛中的每只眼睛执行凝视检测。凝视检测可被用来标识最终用户正在关注视野内的何处。凝视检测元件的示例可包括生成闪光的照明器和用于捕捉表示所生成的闪光的数据的传感器。在一些情况中，角膜中心可以基于两次闪光使用平面几何来确定。角膜中心链接瞳孔中心和眼球的旋转中心，这可被当作用于确定处于某种凝视或观看角度的最终用户的眼睛的光轴的固定位置。

图2C描绘了图像传感器的一部分的一个实施例，该图像传感器可包括图2B中的捕捉设备213的部分。如图所示，图像传感器的该部分包括在光电传感器(例如，光电二极管)的阵列上布置的颜色过滤器。所述颜色过滤器包括蓝光过滤器281、绿光过滤器282、以及红光过滤器283。颜色过滤器的布置可以类似于与Bayer过滤器一起使用的布置。所描绘的图像传感器的该部分还包括IR光过滤器284。尽管描绘了颜色像素与IR像素的1:16的比值，然而也可使用其他颜色像素与IR像素比值(例如，1:8或1:32)。IR光过滤器284可包括IR带通过滤器。IR光过滤器284可仅允许IR光穿过到达在IR光过滤器284下方布置的光电传感器。从而，图像传感器的该部分集成了颜色过滤器和IR光过滤器两者，以使得与图像传感器的该部分相关联的光电传感器可同时获得RGB颜色信息和IR光信息两者。在一些情况下，所描绘的图像传感器的该部分可在x和y方向中被重复或步进，以便形成可在更大的光电传感器阵列上放置的更大的集成的颜色和IR光过滤器。

在一个实施例中，图像传感器可包括单色过滤器(可见灰度)和IR过滤器。单色过滤器可使用与颜色过滤器(例如，红、蓝、和绿颜色过滤器)相同的材料制造。在一个实施例中，可使用不同的单色像素与IR像素的比值，诸如1:2、1:4或1:16。

图3描绘了包括捕捉设备20和计算环境12的计算系统10的一个实施例。在一些实施例中，捕捉设备20和计算环境12可以集成在单个移动计算设备中。该单个集成移动计算设备可包括移动设备，诸如图1中的移动设备19。在一个示例中，捕捉设备20和计算环境12可被集成在HMD中。在其它实施例中，捕捉设备20可与第一移动设备(诸如图2A中的移动设备19)集成，而计算环境12可与和第一移动设备通信的第二移动设备(诸如图2A中的移动设备5)集成。

在一个实施例中，捕捉设备20可以包括用于捕捉图像和视频的一个或多个图像传感器。图像传感器可以包括CCD图像传感器或CMOS图像传感器。在一些实施例中，捕捉设备20可包括IRCMOS图像传感器。捕捉设备20可包括图像相机组件32。图像相机组件32可包括可用来对捕捉区域的深度图像进行捕捉的IR光组件34、深度相机36、以及RGB相机38。在一些情况下，图像相机组件32可包括集成的颜色和IR图像传感器。在一个示例中，捕捉设备20的IR光组件34可将红外光发射到捕捉区域并随后可使用传感器来使用图像相机组件32内的颜色和/或IR光感测组件来检测从捕捉区域中的一个或多个对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光，从而出射光脉冲和相应的入射光脉冲之间的时间可以被测量并被用于确定从捕捉设备20到捕捉区域中的一个或多个对象上的特定位置的物理距离。捕捉设备20还可包括用于产生准直光和/或用于漫射光以照射环境的光学器件(例如，用于将来自生成窄光束的IR光源的光散布开的光学漫射器)。

如图3所描绘的，捕捉设备20可以包括一个或多个话筒40。该一个或多个话筒40中的每一个都可以包括可以接收声音并将其转换成电信号的换能器或传感器。该一个或多个话筒可包括话筒阵列，其中一个或多个话筒可以按预定布局排列。

捕捉设备20可以包括可以与图像相机组件32可操作地通信的处理器42。处理器42可包括标准处理器、专用处理器、微处理器等。处理器42可以执行指令，所述指令可以包括用于接收和分析图像和/或确定是否已经发生特定姿势的指令或任何其它合适的指令。应当理解，至少一些图像分析和/或姿势识别操作可以由诸如捕捉设备20之类的一个或多个捕捉设备内所包含的处理器来执行。

捕捉设备20可以包括存储器44，该存储器44可以存储可以由处理器42执行的指令以及由图像相机组件32的光感测组件捕捉的图像(或图像的帧)。在一个示例中，存储器44可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、非易失性存储器或任何其它合适的存储组件。如所描绘的，存储器44可以是与图像捕捉组件32和处理器42进行通信的分开的组件。在另一实施例中，存储器44可被集成到处理器42和/或图像捕捉组件32中。在其他实施例中，捕捉设备20的组件32、34、36、38、40、42和44中的部分或全部可被容纳在单个外壳中。

捕捉设备20可以经由通信链路46与计算环境12进行通信。通信链路46可以是有线连接或无线连接，诸如无线802.11b,g,a或n连接。在一个实施例中，捕捉设备20可将由例如深度相机36和/或RGB相机(或集成的RGB和IR相机)38捕捉的图像经由通信链路46提供给计算环境12。

如图3中所描绘的，计算环境12包括与应用196通信的图像和音频处理引擎194。应用196可包括操作系统应用或诸如游戏应用或消息收发应用的其他计算应用。图像和音频处理引擎194包括虚拟数据引擎197、对象和姿势识别引擎190、结构数据198、处理单元191和存储器单元192，所有都彼此通信。图像和音频处理引擎194处理从捕捉设备20接收的视频、图像和音频数据。为了辅助对象的检测和/或跟踪，图像和音频处理引擎194可以利用结构数据198以及对象和姿势识别引擎190。虚拟数据引擎197处理虚拟对象，并记录与在存储器单元192中存储的真实世界环境的各种映射有关的虚拟对象的位置和定向。

处理单元191可以包括用于执行对象、面部和语音识别算法的一个或多个处理器。在一个实施例中，图像和音频处理引擎194可以将对象识别和面部识别技术应用于图像或视频数据。例如，对象识别可以用于检测特定对象(例如HMD的最终用户握持的铅笔)，并且面部识别可以用于检测环境内的特定人的面部。图像和音频处理引擎194可以将音频和语音识别技术应用于音频数据。例如，音频识别可以用于检测特定声音。要检测的特定面部、语音、声音和对象可以存储在存储器单元192中所包含的一个或多个存储器中。处理单元191可执行存储在存储器单元192中的计算机可读指令以执行此处讨论的过程。

图像和音频处理引擎194可以在执行对象识别时利用结构数据198。结构数据198可以包括关于要跟踪的目标和/或对象的结构信息。例如，可以存储人类的骨架模型以帮助识别身体部位(例如，手臂、手、和/或手指)。在另一示例中，结构数据198可以包括关于一个或多个无生命对象的结构信息以便帮助识别所述一个或多个无生命对象(例如铅笔)。

图像和音频处理引擎194还可以在执行姿势识别时利用对象和姿势识别引擎190。在一个示例中，对象和姿势识别引擎190可以包括姿势过滤器的集合，每个姿势过滤器都包括关于可被执行的姿势的信息。对象和姿势识别引擎190可将捕捉设备20捕捉的数据与姿势库中的姿势过滤器进行比较以标识用户何时执行了一个或多个姿势。在一个示例中，图像和音频处理引擎194可使用对象和姿势识别引擎190来检测计算系统10的最终用户所执行的特定姿势的执行。在一个实施例中，对象和姿势识别引擎190可利用机器学习分类技术。

图4A描绘了环境400的一个实施例，在该环境中，佩戴HMD28的最终用户执行手和/或手指姿势以便控制在该HMD28上运行的应用。如所绘制的，环境400包括灯24，该灯可包括人工IR光源。在一些情况下，日光(例如，通过打开的窗户)可包括环境400内的另一非HMD生成的IR光源。

图4B描绘了图4A的HMD28捕捉的第一图像的一个实施例。第一图像可使用IR图像传感器或集成的颜色和IR图像传感器(诸如图2C中描绘的集成的RGB和IR传感器)来捕捉。第一图像可在HMD28发射IR光到环境400中时被捕捉。如所描绘的，第一图像包括最终用户的手404以及来自其的IR光已经被捕捉的灯406的部分两者。HMD28可使用IR光源将IR光发射到环境400中，以使得第一范围被照射(例如，HMD28一米内的对象可被照射)。第一范围可被设置为其中HMD的最终用户可执行手和/或手指姿势的距离。

由于光强度在距光源的距离上的指数衰减，第一范围可出于检测所投射的IR光的反射的目的而被充分照射。如此，第一图像可能不捕捉从环境400内在第一范围以外的对象反射的IR光。在一些情况下，可通过调制从该光源投射的IR光的初始光强度和/或进行捕捉的图像传感器的曝光时间来调整第一范围。光源可包括激光器、激光二极管和/或LED。

图4C描绘了图4A的HMD28捕捉的第二图像的一个实施例。第二图像可使用IR图像传感器或集成的颜色和IR图像传感器来捕捉。第二图像可在HMD28不发射IR光到环境400中时被捕捉。如所描绘的，第二图像包括来自其的IR光已被捕捉的灯406的部分。从最终用户的手404反射的IR光不被捕捉，因为HMD28没有在发射IR光到环境400中。

图4D描绘了基于图4B的第一图像和图4C的第二图像的差异图像的一个实施例，以便消除由环境内的非HMDIR光源(例如，由日光或人工光源带来)所带来的背景噪声。如所绘制的，差异图像包括最终用户的手404，但是不包括灯406的部分(或环境内的非HMD的IR光源从其反射的其他对象)。

图4E描绘了包括与图4A的HMD28的最终用户相关联的手区域408的分段图像的一个实施例。手区域408可包括手特征，诸如指尖410、指间412、以及手心414(或掌心)。手心414可与手区域408的形心相关联。在一些实施例中，图4D的差异图像可被阈值化且随后手心414可通过计算手区域408的平均X位置和平均Y位置来确定。手心414可包括手区域408排除手区域408的手指之外的的质心(例如，平均X、平均Y坐标)。手区域408可与分段图像内最大连接分量相对应。在一个示例中，最大连接分量可与与阈值化图像相关联的白像素的最大集合相对应。

图5是描述用于识别近场环境内的姿势的方法的一个实施例的流程图。在一个实施例中，图5的过程可由移动设备(诸如图1的移动设备19)执行。

在步骤502，确定移动设备的电力状态。移动设备的电力状态可与该移动设备是在低电力状态下操作还是在高电力状态下操作相关联。如果电池(或其他能量源)的能量等级低于特定阈值或如果移动设备没有连接到另一能量源(例如，经由辅助移动设备，诸如图2A中的移动设备5)，则该移动设备可能在低电力状态下操作。如果环境内的环境IR光低于特定阈值，则移动设备也可能进入低电力状态。

在步骤504，基于电力状态进入低电力姿势识别状态。在一些实施例中，移动设备可默认地在低电力姿势识别状态下操作，除非被在该移动设备上运行的计算应用改写。

在步骤506，来自该移动设备的光被在一光强度等级发射到环境中达第一时间段。光可包括使用激光器、激光二极管和/或LED发射的IR光。光强度等级可被设置成使得光强度随距移动设备的距离的指数衰减充分照射距该移动设备第一范围(或距离)内的对象以用于检测所投射的IR光的反射的目的。在一个实施例中，第一范围可包括距该移动设备一米(即，在其中移动设备的最终用户可执行手和/或手指姿势的区域内)。第一时间段可被设置成使得环境的一个或多个图像可在光被发射到环境中时被捕捉。第一时间段可对应于检测第一范围内的对象所必须的相机或图像传感器曝光时间。在一个示例中，第一时间段可包括100ns(纳秒)。在一些情况下，光可按周期性间隔(诸如每20ms(毫秒))被发射到环境中，且对应的图像可被捕捉以随时间跟踪手和手指的移动。

在步骤508中，环境的第一图像在第一时间段期间被捕捉。第一图像可使用IR图像传感器或集成的颜色和IR图像传感器(诸如图2C中描绘的集成的RGB和IR传感器)来捕捉。在步骤510，在第一时间段之后(或之前)在该环境没有被用从移动设备发出的IR光照射时该环境的第二图像被捕捉。在步骤512，基于第一图像和第二图像来生成差异图像。差异图像可通过从第一图像中减去第二图像来生成。

在步骤514，基于该差异图像生成位掩码。在一个实施例中，位掩码可通过将该差异图像阈值化来生成。在一个示例中，位掩码可包括二进制图像(例如，由黑和白像素值构成的图像)。在步骤516，使用该位掩码来标识一个或多个手特征。在一个实施例中，该一个或多个手特征可包括指尖、指间、以及手心。在一些情况下，指尖和指间可通过向差异图像或对应的阈值化图像应用二阶导数过滤器来检测。手心可与该位掩码内的手区域的形心相关联。在一个实施例中，手心可包括用于位掩码中的最大连接分量的质心(例如，平均X、平均Y坐标)。在一个示例中，最大连接分量可与与阈值化图像相关联的白像素的最大集合相对应。

在步骤518，确定该一个或多个手特征的相对位置。该一个或多个手特征的相对位置可与该移动设备的最终用户所执行的特定姿势相对应。

在步骤520，基于与该一个或多个手特征相关联的相对位置来检测姿势。在一个实施例中，姿势可包括由该移动设备的最终用户所执行的运动或姿态。该姿势可包括动态和/或静态姿势。动态姿势是包括运动的姿势，诸如该移动设备的最终用户在打旋运动中旋转其手或者以与打开和合上书类似的方式将其手折叠打开或合上。还可检测动态手指姿势，诸如拇指和食指的捏合。静态姿势可包括静态姿态，诸如最终用户伸出其食指和中指而其他手指指向手心。

在一些实施例中，姿势(例如，静态姿势或动态姿势)可基于与通过分类(例如，经由机器学习分类技术)标识的一个或多个手特征相关联的一个或多个特征描述符被检测，而无需计算该一个或多个手特征的绝对或相对位置。在一个示例中，区域统计(例如，连接像素组的大小或轮廓弯曲度)可被用来标识与处于特定手状态中的手(例如，该手被打开或者合上)相关联的分段团块(segmentedblob)。

在步骤522，响应于检测到该姿势而在该移动设备上执行计算操作。在一个实施例中，该计算操作可包括基于移动设备的视野内的真实或虚拟对象的选择的电子通信(例如，文本消息或即时消息)的发起或信息的检索。

图6是描述用于识别近场环境内的姿势的方法的替换实施例的流程图。在一个实施例中，图6的过程可由移动设备(诸如图1的移动设备19)执行。

在步骤602，来自该移动设备的光被在一光强度等级发射到环境中达第一时间段。光可包括使用激光器、激光二极管和/或LED发射的IR光。光强度等级可被设置成使得光强度随距移动设备的距离的指数衰减充分照射距该移动设备第一范围(或距离)内的对象以用于检测所投射的IR光的反射的目的。在一个实施例中，第一范围可包括距该移动设备一米(即，在其中移动设备的最终用户可执行手和/或手指姿势的区域内)。第一时间段可被设置成使得环境的一个或多个图像可在光被发射到环境中时被捕捉。第一时间段可对应于检测第一范围内的对象所必须的相机或图像传感器曝光时间。在一个示例中，第一时间段可包括20ns。在一些情况下，光可按周期性间隔(诸如每2ms)被发射到环境中，且对应的图像可被捕捉以随时间跟踪手和手指的移动。

在步骤604中，环境的第一图像在第一时间段期间被使用第一传感器捕捉。在步骤606中，该环境的第二图像在第一时间段期间被使用第二传感器捕捉。第一传感器和第二传感器可包括IR图像传感器。第一传感器和第二传感器可被附接于该移动设备或与该移动设备集成。第一传感器和第二传感器之间的距离可相对于该移动设备固定。

当第一图像和第二图像在不同视点被捕捉时，给定关于空间中与第一传感器和第二传感器相关联的两个不同点的位置信息，可执行视差计算，以便生成深度信息。尽管深度信息可使用两个图像传感器和与该移动设备相关联的一个光源来确定，然而也可使用一个图像传感器和两个不同光源来确定。在一个实施例中，可在第一时间点期间在使用两个不同光源中的第一光源来照射环境时使用图像传感器捕捉第一图像，且可在第一时间点之后的第二时间点在使用该两个不同光源中的第二光源来照射该环境时使用该图像传感器捕捉第二图像。

在步骤608中，该环境的第三图像在第一时间段之后被使用第一传感器捕捉。在步骤610中，该环境的第四图像在第一时间段之后被使用第二传感器捕捉。可在第一时间段之后在该环境没有用从该移动设备发射的IR光照射时捕捉第三图像和第四图像。

在步骤612，基于第一图像和第三图像来生成第一差异图像。第一差异图像可通过从第一图像中减去第三图像来生成。在步骤614，基于第二图像和第四图像来生成第二差异图像。第二差异图像可通过从第二图像中减去第四图像来生成。

当第一差异图像和第二差异图像是在不同角度或使用不同视点捕捉时，与这两个图像内的手特征或边缘相关联的像素位置方面的差异可被用来确定相对深度信息。在一个实施例中，可针对近场对象(诸如手或手指)的每个边界生成相对深度值。例如，可以确定，拇指比小指或手的其他部位更靠近移动设备(例如，当将第一差异图像与第二差异图像相比较时，与拇指边界相关联的像素可比与小指边界相关联的像素移动得更多)。在一个实施例中，与特定手特征相关联的深度信息可基于第一差异图像和第二差异图像之间与该特定手特征相关联的一个或多个像素位置方面的变化来确定。

在一些情况下，每当标识出对象边界时(例如，每当检测到近场对象和背景之间的边界时)，可针对每个扫描线(或像素行)确定深度信息。在此情况下，可针对手特征确定深度信息，所述手特征包括指尖和指间、以及手的拇指侧边界(例如，靠近正中神经的边界)和手的小指侧边界(例如，靠近尺骨神经或小鱼际隆起的边界)。从而，手和手指的边界点处的相对深度信息可被从第一差异图像和第二差异图像中提取并被用来推断该移动设备的第一范围内的手和手指的空间定向。

在步骤616，基于第一差异图像和第二差异图像来确定一个或多个手特征的相对位置。该一个或多个手特征可包括指尖、指间、以及手心。该一个或多个手特征的相对位置可与该移动设备的最终用户所执行的特定姿势相对应。在步骤618，基于与该一个或多个手特征相关联的相对位置来检测姿势。在一个实施例中，姿势可包括由该移动设备的最终用户所执行的运动或姿态。该姿势可包括动态和/或静态姿势。动态姿势是包括运动的姿势，诸如该移动设备的最终用户在打旋运动中旋转其手或者以与打开和合上书类似的方式将其手折叠打开或合上。还可检测动态手指姿势，诸如拇指和食指的捏合。静态姿势可包括静态姿态，诸如最终用户伸出其食指和中指而其他三个手指指向手心。在步骤620，响应于检测到该姿势而在该移动设备上执行计算操作。在一个实施例中，该计算操作可包括基于移动设备的视野内的真实或虚拟对象的选择的电子通信(例如，文本消息或即时消息)的发起或信息的检索。

所公开的技术的一个实施例包括光源、第一传感器、以及与光源和第一传感器通信的一个或多个处理器。该一个或多个处理器使光源在第一时间段期间在一光强度等级将IR光发射到环境中。该一个或多个处理器使第一传感器在第一时间段期间捕捉该环境的第一图像以及在第一时间段之后的第二时间段期间捕捉该环境的第三图像。该光源在第二时间段期间不发射IR光到该环境中。该一个或多个处理器基于第一图像和第三图像生成第一差异图像，基于第一差异图像确定一个或多个手特征的一个或多个相对位置，基于该一个或多个手特征的该一个或多个相对位置来检测姿势，以及响应于检测到该姿势来执行计算操作。

所公开的技术的一个实施例包括在第一时间段期间在一光强度等级将IR光从移动设备发射到环境中，使用第一传感器在第一时间段期间捕捉该环境的第一图像，以及使用第一传感器在第一时间段之后的第二时间段期间捕捉该环境的第三图像。在第二时间段期间IR光不被从该移动设备发射。该方法进一步包括基于第一图像和第三图像生成第一差异图像，基于第一差异图像确定与一个或多个手特征相关联的一个或多个相对位置，基于该一个或多个相对位置检测姿势，以及响应于检测到该姿势来在该移动设备上执行计算操作。

所公开的技术的一个实施例包括在第一时间段期间将IR光从该移动设备投射到环境中，使用第一传感器在第一时间段期间捕捉该环境的第一图像，使用第二传感器在第一时间段期间捕捉该环境的第二图像，以及使用第一传感器在第一时间段之后的第二时间段期间捕捉该环境的第三图像。在第二时间段期间IR光不被从该移动设备投射。该方法进一步包括使用第二传感器在第二时间段期间捕捉该环境的第四图像，基于第一图像和第三图像生成第一差异图像，基于第二图像和第四图像生成第二差异图像，基于第一差异图像和第二差异图像确定一个或多个手特征的一个或多个相对位置，基于该一个或多个手特征的该一个或多个相对位置检测姿势，以及响应于检测到该姿势在该移动设备上执行计算操作。

图9是移动设备8300(诸如图1中的移动设备19)的一个实施例的框图。移动设备可以包括已经整合了无线接收机/发射机技术的膝上型计算机、袖珍计算机、移动电话、HMD、个人数字助理、以及手持式媒体设备。

移动设备8300包括一个或多个处理器8312以及存储器8310。存储器8310包括应用8330和非易失性存储8340。存储器8310可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。移动设备操作系统处理移动设备8300的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用8330可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、闹钟应用、以及其它应用。存储器8310中的非易失性存储组件8340可以包含诸如音乐、照片、联系人数据、日程安排数据、以及其它文件之类的数据。

一个或多个处理器8312与透视显示器8309进行通信。透视显示器8309可显示与真实世界环境相关联的一个或多个虚拟对象。所述一个或多个处理器8312还与下列各项通信：RF发射机/接收机8306，其又耦合到天线8302；红外发射机/接收机8308；全球定位服务(GPS)接收器8365；以及移动/定向传感器8314，其可以包括加速度计和/或磁力计。RF发射机/接收机8308可以通过诸如或IEEE802.11标准之类的各种无线技术标准来实现无线通信。加速度计可能已经结合在移动设备中以实现诸如下列应用：智能用户界面应用，其让用户通过姿势输入命令；以及定向应用，其可以在移动设备被旋转时将显示自动地从竖向改变成横向。可以，例如，通过微机电系统(MEMS)来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械器件(微米尺寸)。可以感测加速度方向、以及定向、振动和震动。所述一个或多个处理器8312还与响铃器/振动器8316、用户界面小键盘/屏幕8318、扬声器8320、话筒8322、相机8324、光传感器8326和温度传感器8328进行通信。用户界面小键盘/屏幕可以包括触敏屏幕显示器。

所述一个或多个处理器8312控制无线信号的发射和接收。在发射模式期间，所述一个或多个处理器8312向RF发射机/接收机8306提供来自话筒8322的语音信号，或其它数据信号。发射机/接收机8306通过天线8302来发射信号。响铃器/振动器8316被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其它通知等信号。在接收模式期间，RF发射机/接收机8306通过天线8302接收来自远程站的语音信号或数据信号。所接收到的语音信号被提供给扬声器8320，而接收到的其它数据信号被适当地处理。

另外，可以使用物理连接器8388来将移动设备8300连接到诸如AC适配器或加电对接底座之类的外部电源，以便对电池8304进行再充电。物理连接器8388还可被用作到外部计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操作。

所公开的技术可用各种其它通用或专用计算系统环境或配置来操作。适合结合本技术中使用的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、包含上述系统或设备中的任一个的分布式计算环境等。

所公开的技术可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言，如此处所述的软件和程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构和其它类型的结构。硬件或硬件和软件的组合可以替代在此描述的软件模块。

所公开的技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。

出于本文档的目的，与所公开的技术相关联的每个过程可以持续地并由一个或多个计算设备来执行。该过程中的每个步骤都可由与在其他步骤中所使用的那些计算设备相同或不同的计算设备来执行，且每个步骤不必由单个计算设备来执行。

出于本文的目的，说明书中引述的“一实施例”、“一个实施例”、“某些实施例”或“另一实施例”用于描述不同的实施例并且不必然指的是同一实施例。

出于本文的目的，连接可以是直接连接或间接连接(例如，经由另一方)。

出于本文的目的，术语对象的“集合”指的是一个或多个对象的“集合”。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上面描述的具体特征和动作是作为实现各权利要求的示例形式公开的。

Claims (10)

1.一种用于识别姿势的电子设备，包括：

光源；

第一传感器；以及

与所述光源和所述第一传感器通信的一个或多个处理器，所述一个或多个处理器使所述光源在第一时间段期间在一光强度等级将IR光发射到环境中，所述一个或多个处理器使所述第一传感器在所述第一时间段期间捕捉所述环境的第一图像以及在不同于所述第一时间段的第二时间段期间捕捉所述环境的第三图像，所述光源在所述第二时间段期间不发射所述IR光到所述环境中，所述一个或多个处理器基于所述第一图像和所述第三图像生成第一差异图像，所述一个或多个处理器基于所述第一差异图像标识一个或多个手特征，所述一个或多个处理器基于所述一个或多个手特征检测姿势，所述一个或多个处理器响应于检测到所述姿势而执行计算操作。

2.如权利要求1所述的电子设备，其特征在于，还包括：

第二传感器，所述一个或多个处理器使所述第二传感器在所述第一时间段期间捕捉所述环境的第二图像以及在所述第二时间段期间捕捉所述环境的第四图像，所述一个或多个处理器基于所述第二图像和所述第四图像生成第二差异图像，所述一个或多个处理器基于所述第一差异图像和所述第二差异图像标识所述一个或多个手特征。

3.如权利要求2所述的电子设备，其特征在于：

所述一个或多个处理器基于所述第一差异图像和所述第二差异图像之间与所述一个或多个手特征中的第一手特征相关联的一个或多个像素位置方面的改变来确定与所述第一手特征相关联的深度信息。

4.如权利要求3所述的电子设备，其特征在于：

所述第一手特征包括指峰。

5.如权利要求1-4中的任一项所述的电子设备，其特征在于：

所述第一传感器包括颜色过滤器和IR过滤器。

6.如权利要求1-5中的任一项所述的电子设备，其特征在于：

所述光强度等级被设置成使得由所述移动设备的第一范围内的对象带来的所发射的IR光的反向散射可被所述第一传感器检测。

7.如权利要求6所述的电子设备，其特征在于：

所述第一范围包括一米。

8.如权利要求1-7中的任一项所述的电子设备，其特征在于：

所述电子设备包括HMD。

9.一种用于识别姿势的方法，包括：

在第一时间段期间在一光强度等级将IR光从移动设备发射到环境中；

使用第一传感器在所述第一时间段期间捕捉所述环境的第一图像；

使用所述第一传感器在与所述第一时间段不同的第二时间段期间捕捉所述环境的第三图像，所述IR光在所述第二时间段期间不被从所述移动设备发射；

基于所述第一图像和所述第三图像生成第一差异图像；

基于所述第一差异图像标识一个或多个手特征；

基于所述一个或多个手特征检测姿势；以及

响应于检测到所述姿势在所述移动设备上执行计算操作。

10.如权利要求9所述的方法，其特征在于，进一步包括：

使用第二传感器在所述第一时间段期间捕捉所述环境的第二图像；

使用所述第二传感器在所述第二时间段期间捕捉所述环境的第四图像；以及

基于所述第二图像和所述第四图像生成第二差异图像，所述标识一个或多个手特征包括基于所述第一差异图像和所述第二差异图像标识所述一个或多个手特征。