CN105190483B - 检测用至少两个控制对象执行的手势 - Google Patents

Abstract

本发明公开了用于实施无接触平移手势的方法、系统、计算机可读媒体和设备。在一些实施例中，远程检测装置检测至少两个控制对象跨越控制平面的同步运动。随后，附接的计算装置可以响应于所述同步运动的检测，调整显示的内容的当前位置。在某些实施例中，可以确立所述控制对象的移动的变化阈值以确定何时终止平移模式。所述阈值可以基于所述控制对象的速率变化。

Description

检测用至少两个控制对象执行的手势

背景技术

本发明的方面涉及计算机接口。具体来说，描述了手势界面和检测用至少两个控制对象执行的手势的相关系统和方法。

显示装置的标准接口通常涉及电子输入端的物理操纵。电视远程控制涉及推动按钮。触摸屏显示器接口涉及检测与物理表面的触摸相互作用。此类接口具有大量的缺点。作为一个替代方案，个人的移动可以用于控制电子装置。手的移动或个人身体的另一部分的移动可以由电子装置检测并用于确定将由所述装置执行(例如提供给由所述装置执行的界面)或输出到外部装置的命令。个人的此类移动可以被称为手势。手势可以不需要个人物理操纵输入装置。

发明内容

描述了涉及无接触平移手势的某些实施例。在一些实施例中，一种方法可以包含使用远程检测装置远程检测至少两个控制对象，并通过检测平移手势启动命令，启动平移手势移动模式。随后所述方法可以包含使用所述远程检测装置远程检测所述至少两个控制对象跨越平行于内容表面的控制平面的同步移动，其中所述内容表面显示内容的一部分，并响应于所述至少两个控制对象跨越所述控制平面的所述同步移动的所述检测，调整显示在所述内容表面上的所述内容的所述部分。随后此类方法可以进一步包含通过使用所述远程检测装置远程检测平移脱离运动，结束所述平移手势移动模式。

在根据一个潜在实施例的某些方法中，检测所述平移脱离运动包括检测所述至少两个控制对象之一已经从所述控制平面去除。在根据另一个潜在实施例的某些方法中，检测所述平移脱离运动包括检测所述至少两个控制对象相对于彼此的移动已经超出预定阈值。在根据另一个潜在实施例的某些方法中，预定阈值由以下定义：阈值＝((最大容限-最小容限)×因子)+最小容限；其中所述容限水平是系统设计值，并且所述因子值是基于控制对象速度。

在根据另一个潜在实施例的某些方法中，所述因子值进一步基于与用户相关的静止控制对象摇晃测量。在根据另一个潜在实施例的某些方法中，所述控制对象速度是在多个控制速度测量值上求平均值以补偿抖动。在根据另一个潜在实施例的某些方法中，所述远程检测装置是安装到用户头部的相机。在根据另一个潜在实施例的某些方法中，所述远程检测装置包括光学相机、立体相机或深度相机。在根据另一个潜在实施例的某些方法中，其中所述远程检测装置包括安装在手部的惯性传感器。在根据另一个潜在实施例的某些方法中，所述平移手势启动命令包括使用所述远程检测装置检测所述至少两个控制对象每一者已经放入平行于所述内容表面的所述控制平面中的水平位置中预定时间量。

另一个潜在实施例是一种设备，其包含处理模块、存储器和图像捕获模块。在此类设备中，所述存储器包括使处理器执行根据各种实施例的方法的计算机可读指令。一种此类实施例包括远程检测至少两个控制对象；通过检测平移手势启动命令，启动平移手势移动模式；使用所述远程检测装置远程检测所述至少两个控制对象跨越平行于内容表面的控制平面的同步移动，其中所述内容表面显示内容的一部分；响应于所述至少两个控制对象跨越所述控制平面的所述同步移动的所述检测，调整显示在所述内容表面上的所述内容的所述部分；以及通过使用所述远程检测装置远程检测平移脱离运动，结束所述平移手势移动模式。

在其它实施例中，所述设备可以进一步包含音频传感器；和扬声器。在此类实施例中，所述平移手势启动命令可以包括经由所述音频传感器接收的语音命令。在其它实施例中，所述设备可以进一步包含天线；蜂窝电话通信模块；和局域网模块。在此类实施例中所述内容可以经由所述局域网模块从所述显示输出模块传达到所述内容表面。在其它实施例中，所述设备可以进一步包含头戴式装置，所述头戴式装置包括以通信方式耦合到所述计算机处理器的第一相机。

另一个潜在实施例涉及一种系统，其可以包含第一相机和以通信方式耦合到所述第一相机的第一计算装置。所述系统可以进一步包含以通信方式耦合到所述第一计算装置的输出显示器，并且所述第一计算装置可以包括手势分析模块，所述手势分析模块识别至少两个控制对象并追踪所述至少两个控制对象跨越平行于所述输出显示器的内容表面的控制平面的同步移动，其中所述识别和追踪使用来自所述第一相机的多个图像。在其它实施例中，所述第一计算装置包括内容控制模块，所述内容控制模块将内容输出到所述输出显示器，识别包含当前内容位置的所述内容的细节，并且响应于所述至少两个控制对象跨越所述控制平面的所述同步移动的所述追踪，调整所述内容的所述当前内容位置。

在其它实施例中，所述系统可以另外包含以通信方式耦合到所述第一计算装置的第二相机。在此类实施例中，当所述手势分析模块通过识别所述第一相机与所述至少两个控制对象中的至少一者之间的障碍物，被阻挡的控制对象时；并可以使用来自所述第二相机的第二多个图像检测所述被阻挡的控制对象的移动作为所述至少两个控制对象的所述同步移动的一部分。

一个潜在实施例包括一种用于确定输入模式的脱离的方法，所述方法包括：确定计算机系统的输入模式已经接合；基于在所述输入模式期间检测到的至少两个控制对象的移动，影响所述计算机系统的操作；以及基于所述至少两个控制对象之间的分离，确定所述输入模式已经脱离，其中造成所述脱离的所述分离的量变化。

其它此类实施例可以在所述分离的量基于所述至少两个控制对象的运动速度或行进的距离变化的情况下起作用。在其它替代实施例中，其它变量可以用于确定所述分离量。在其它实施例中，每一个控制对象的速度用于确定行进的距离。在其它实施例中，位置测量值可以用于确定所述分离。在其它实施例中，分离阈值可以基于所述两个控制对象行进的距离与每一个控制对象的速度。

在其它实施例中，一种接合输入模式的方法包括检测实质上静止阈值时间量的多个控制对象。在其它此类实施例中，一种接合输入模式的方法可以包括检测所述多个控制对象保持静止并近似在相同平面中。在其它实施例中，一种接合输入模式的方法可以包括确定所述多个控制对象大约平行于内容或内容表面。在其它实施例中，一种接合输入模式的方法可以包括确定所述多个控制对象在预定体积内。

其它实施例可以包括在真实表面或虚拟表面上呈现所布置的内容，识别其中多个控制对象保持静止在相同姿势或特定的预定姿势的接合输入。在其它此类实施例中，沿着垂直于内容表面的平面的矢量从内容表面去除所述控制对象包括脱离命令。

其它实施例可以包括显示内容，识别所述多个控制对象的同步移动以影响所述内容，其中所述影响包括基于所检测到的移动调整所述显示的内容。在其它此类实施例中，所述调整包括平移，并且所述平移匹配所检测到的所述多个控制对象的同步移动。在额外的其它实施例中，所检测到的同步移动近似平行于内容。在额外实施例中，所述多个控制对象是用户的手。在其它实施例中，所述控制对象的移动的检测和识别由相机执行。在各种实施例中，此类相机包括2D相机、立体相机、深度感相机。在替代实施例中，所述相机可以是使用惯性移动单元、红外检测器、声波运动检测或确定多个控制对象的移动和位置的任何其它此类装置确定位置的远程检测装置。

另一个潜在实施例可以包括一种用于检测对计算机系统的命令的方法，所述方法包括：检测至少两个控制对象的运动；确定在所述运动中所述至少两个控制对象之间的分离是否在可变阈值内；以及基于所述分离是否在所述可变阈值内，确定所述运动是否包括对所述计算机系统的命令。在此类方法的其它替代实施例中，所述方法可以在所述阈值基于所述至少两个的运动速度或行进的距离变化，仅仅基于速度可变的情况下起作用。在此类方法的其它替代实施例中，所述方法可以在所述阈值仅仅基于距离变化的情况下起作用。在此类方法的其它替代实施例中，所述方法可以在所述阈值基于速度与距离的组合变化的情况下起作用。在此类方法的其它替代实施例中，所述方法可以在通过相机(2d、立体、ToF、深度等)检测，所述控制对象是用户手的情况下起作用。在其它实施例中，检测可以通过惯性检测单元和红外雷达单元或其它此类检测装置进行。

在此类方法的其它替代实施例中，所述方法可以另外包括确定所述运动是否包括命令，进一步包括确定所述运动是否是实质上平面的。在此类方法的其它替代实施例中，所述方法可以另外包括确定所述平面是否实质上平行于显示的内容。在此类方法的其它替代实施例中，所述方法可以另外包括平移移动，进一步包括使显示的内容平移。在额外的此类实施例中，检测到的所述控制对象的运动包括实质上平行于内容的实质上直线运动。在额外的此类实施例中，运动包括所述控制对象中的至少一者的环绕，进一步包括确定运动在z方向上的阈值内，其中所述z方向阈值基于速度和/或总行进距离可变。在某些实施例中，所述z方向阈值可以基于用户手的伸展范围。在额外实施例中，所述z方向阈值可以基于用户手的速度。在其它实施例中，所述z方向阈值可以基于用户手的速度、用户手的伸展范围和从用户手的静止位置的偏移的任何组合。

一种额外实施例可以包括一种用于检测对计算机系统的命令的方法，所述方法包括：检测至少两个控制对象的运动；和基于在至少所述运动的一部分中所述至少两个控制对象之间的分离确定所述运动是否包括对计算机系统的命令。其它实施例可以在所述确定是基于所述分离在至少所述运动的所述部分中是否在可变阈值内的情况下起作用。其它实施例可以在所述阈值基于所述至少两个的运动速度或行进的距离变化，仅仅基于速度可变的情况下起作用。其它实施例可以在变量仅仅是基于距离的情况下起作用。其它实施例可以在所述变量是基于速度与距离的组合的情况下起作用。

一个潜在实施例可以是一种方法，其包括：基于来自一或多个检测装置的信息，检测由至少两个控制对象执行的手势启动命令；基于所述手势启动命令的所述检测，启动手势模式；基于来自所述一或多个检测装置的信息，检测所述至少两个控制对象跨越实质上平行于显示内容的表面的控制平面的实质上同步移动；响应于所述至少两个控制对象跨越所述控制平面的所述实质上同步移动的所述检测，使所述显示的内容得到调整；以及通过使用来自所述一或多个检测装置的信息检测脱离运动，结束所述手势模式。

此类方法的额外实施例可以在检测所述脱离运动包括检测所述至少两个控制对象相对于彼此的移动已经超出可变阈值的情况下起作用。此类方法的额外实施例可以在所述可变阈值由最小控制对象容限、最大控制对象容限之间的差异和校准因子定义的情况下起作用。此类方法的额外实施例可以在如下情况下起作用：其中所述最小控制对象容限是用户手的最小伸展；其中所述最大控制对象容限是所述用户手的最大伸展；并且所述校准因子是至少部分取决于所述手离中性位置的距离的变量。

此类方法的额外实施例可以在所述校准因子是基于与用户相关的静止控制对象摇晃测量的情况下起作用。此类方法的额外实施例可以在所述校准因子是基于所述至少两个控制对象的速度的情况下起作用。此类方法的额外实施例可以在所述至少两个控制对象的速度在多个控制速度测量值上求平均值以补偿抖动的情况下起作用。此类方法的额外实施例可以在检测所述平移脱离运动包括检测所述至少两个控制对象之一已经从所述控制平面去除的情况下起作用。此类方法的额外实施例可以在其中所述控制对象包括用户的手并且所述一或多个检测装置包括安装到用户头部的相机的情况下起作用。

此类方法的额外实施例可以在所述控制对象包括用户手并且其中所述一或多个检测装置包括安装在手部的惯性传感器的情况下起作用。此类方法的额外实施例可以在检测所述手势启动命令包括基于来自所述一或多个远程检测装置的信息检测所述至少两个控制对象每一者已经放入平行于所述内容表面的所述控制平面中的水平位置中预定时间量的情况下起作用。

此类方法的额外实施例可以在显示内容的表面是由计算装置产生并投影到用户的观看区域的虚拟表面的情况下起作用。此类方法的额外实施例可以在显示内容的表面是被动物理表面的情况下起作用，其中所述内容通过头戴式装置投影到用户眼睛并通过将所述被动物理表面设定为显示内容的表面的计算装置与所述被动物理表面匹配。此类方法的额外实施例可以在仅仅对于头戴式装置的单个用户，内容显示在被动物理表面上的情况下起作用。此类方法的额外实施例可以在对于头戴式装置的第一多个用户，内容显示在所述被动物理表面上并且对于头戴式装置的第二多个使用者，不显示在所述被动物理表面上的情况下起作用。

此类方法的额外实施例可以在显示所述内容的所述表面是电视显示器的情况下起作用。此类方法的额外实施例可以在如下情况下起作用：其中由所述至少两个控制对象执行的所述手势启动命令包括用户的两只手在控制平面中的抓握运动；并且其中所述脱离运动包括所述用户的两只手在所述控制平面中的释放运动。

一个额外实施例可以是一种设备，其包括：处理模块，其包括计算机处理器；计算机可读存储媒体，其耦合到所述处理模块；显示输出模块，其耦合到所述处理模块；以及图像捕获模块，其耦合到所述处理模块；其中所述计算机可读存储媒体包括计算机可读指令，所述计算机可读指令在被所述计算机处理器执行时，使所述计算机处理器执行包括以下的方法：基于来自一或多个检测装置的信息，检测由至少两个控制对象执行的手势启动命令；基于所述手势启动命令的所述检测启动手势模式；基于来自所述一或多个检测装置的信息，检测所述至少两个控制对象跨越实质上平行于显示内容的表面的控制平面的实质上同步移动；响应于所述至少两个控制对象跨越所述控制平面的所述实质上同步移动的所述检测，使所述显示的内容得到调整；以及通过使用来自所述一或多个检测装置的信息检测脱离运动，结束所述手势模式。

此类设备的额外实施例可以包括音频传感器；和扬声器；其中所述平移手势启动命令包括经由所述音频传感器接收的语音命令。此类设备的额外实施例可以包括天线；和局域网模块；其中所述内容经由所述局域网模块从所述显示输出模块传达到所述内容表面。

此类设备的额外实施例可以包括头戴式装置，所述头戴式装置包括以通信方式耦合到所述计算机处理器的第一相机。此类设备的额外实施例可以在检测所述脱离运动包括检测所述至少两个控制对象相对于彼此的移动已经超出可变阈值的情况下起作用。

此类设备的额外实施例可以在所述可变阈值由最小控制对象容限、最大控制对象容限之间的差异和校准因子定义的情况下起作用。此类设备的额外实施例可以在如下情况下起作用：其中所述最小控制对象容限是用户手的最小伸展；其中所述最大控制对象容限是所述用户手的最大伸展；并且其中所述校准因子是至少部分取决于所述手离中性位置的距离的变量。

此类设备的额外实施例可以在所述校准因子是基于与用户相关的静止控制对象摇晃测量的情况下起作用。此类设备的额外实施例可以在检测所述平移脱离运动包括检测所述至少两个控制对象之一已经从所述控制平面去除的情况下起作用。此类设备的额外实施例可以在其中所述控制对象包括用户的手并且所述一或多个检测装置包括安装到用户头部的相机的情况下起作用。此类设备的额外实施例可以在显示内容的表面是由与作为头戴式装置(head mounted device，HMD)的相机耦合的计算装置产生的虚拟表面的情况下起作用。

此类设备的额外实施例可以在显示内容的表面是被动物理表面的情况下起作用，其中所述内容通过头戴式装置投影到用户眼睛并通过将所述被动物理表面设定为显示内容的表面的计算装置与所述被动物理表面匹配。此类设备的额外实施例可以在如下情况下起作用：其中由所述至少两个控制对象执行的所述手势启动命令包括用户的两只手在控制平面中的抓握运动；并且其中所述脱离运动包括所述用户的两只手在所述控制平面中的释放运动。

另一个实施例可以是一种系统，其包括：用于基于来自一或多个检测装置的信息，检测由至少两个控制对象执行的手势启动命令的装置；用于基于所述手势启动命令的检测启动手势模式的装置；用于基于来自所述一或多个检测装置的信息，检测所述至少两个控制对象跨越实质上平行于显示内容的表面的控制平面的实质上同步移动的装置；用于响应于所述至少两个控制对象跨越所述控制平面的所述实质上同步移动的所述检测，使所述显示内容得到调整的装置；以及用于通过使用来自所述一或多个检测装置的信息检测脱离运动，结束所述手势模式的装置。

在其它替代实施例中，此类系统可以另外包括用于检测所述至少两个控制对象相对于彼此的移动已经超出可变阈值的装置。在其它替代实施例中，此类系统可以另外包括用于通过确定最小控制对象容限、最大控制对象容限之间的差异确定所述可变阈值的装置。在其它替代实施例中，此类系统可以另外包括用于确定所述可变阈值的校准因子的装置。在其它替代实施例中，此类系统可以另外包括用于确定用户手的最小伸展的装置；用于确定所述用户手的最大伸展的装置；以及用于确定所述手离中性位置的距离的装置。

在其它替代实施例中，此类系统可以另外包括用于确定与用户相关的静止控制对象摇晃测量的装置。在其它替代实施例中，此类系统可以另外包括用于确定所述至少两个控制对象的速度的装置。在其它替代实施例中，此类系统可以另外包括用于检测所述至少两个控制对象之一已经从所述控制平面去除的装置。在其它替代实施例中，此类系统可以另外包括用于基于来自所述一或多个远程检测装置的信息，检测所述至少两个控制对象每一者已经放入平行于所述内容表面的所述控制平面中的水平位置中预定时间量的装置。在其它替代实施例中，此类系统可以另外包括用于产生虚拟表面的装置。在其它替代实施例中，此类系统可以另外包括将虚拟表面投影到用户观看区域的装置。

虽然描述了各种具体实施例，但所属领域的一般技术人员将了解，各种实施例的元件、步骤和组件可以呈替代结构布置，同时保持在本发明的范围内。并且，在本文中的描述下额外实施例将为显而易见的，并因此本发明不仅涉及特定描述的实施例，而且也涉及能够具有本文所描述的功能或结构的任何实施例。

附图说明

本发明的各方面通过实例来说明。在附图中，相似参考数字指示类似元件，并且：

图1A说明包含可并入有一或多个实施例的系统的环境；

图1B说明包含可并入有一或多个实施例的系统的环境；

图1C说明包含可并入有一或多个实施例的系统的环境；

图2A展示可以并入有一或多个实施例的环境；

图2B说明在一或多个实施例中可以检测到的无接触手势的一方面；

图2C说明在一或多个实施例中可以检测到的无接触手势的一方面；

图3说明可并入有一或多个实施例的方法的一个方面；

图4说明可并入有一或多个实施例的系统的一个方面；

图5A说明包含可以并入有一或多个实施例的头戴式装置的系统的一个方面；以及

图5B说明可并入有一或多个实施例的系统的一个方面；以及

图6说明可以在其中实施一或多个实施例的计算系统的一个实例。

具体实施方式

现将关于形成说明性实施例的一部分的附图来描述若干说明性实施例。虽然下文描述可实施本发明的一或多个方面的特定实施例，但可以使用其它实施例，并且在不脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。

实施例是针对显示接口。在某些实施例中，描述了无接触界面和使用无接触界面控制显示器中的内容的相关方法。因为用户可用的输入装置和计算能力不断地增加，所以在一些情况下希望使用手势和尤其自由空气的手势与内容表面相互作用。一种潜在的导航相互作用涉及使用可以相对于例如液晶或等离子显示器表面等内容表面作出的自由空气的平移手势，在大的内容物品周围导航。内容表面还可以是图像被投影仪投影到，或图像似乎使用例如将图像发送到用户眼睛的眼镜投影到的任意表面，展示似乎在任意表面上的图像。虽然当控制对象与显示表面接触时可以作出手势，但所述手势的检测并非基于所述表面上的任何检测，而实际上是基于检测装置对例如用户手等远程控制对象的检测，如下文进一步详述。在一些实施例中，手势可以通过手持式装置，例如控制器或包括惯性测量单元(IMU)的设备检测。因此，用于检测手势的装置相对于所述用户可以不遥远，但此类装置和/或手势可以相对于所述显示器界面遥远。

在一个示例实施例中，壁装式显示器耦合到计算机，所述计算机又进一步耦合到相机。当用户从鉴于所述相机的位置与所述显示器相互作用时，所述相机将所述用户的图像传送到所述计算机。计算机识别由所述用户作出的手势，并响应于用户的手势，调整展示在显示器上的内容的呈现。例如可以使用特定的平移手势。在平移手势的一个实施方案中，用户将双手放在实质上平行于显示表面的控制平面中。随后用户将他或她的手以实质上同步运动穿过控制平面移动。相机捕获此手势的图像，并将其传送到计算机，在计算机中其被处理。显示器上的内容展示与用户手的同步运动一起平移。在另一详述实施例中，如果控制平面在内容显示器的表面上，那么紧挨着或约略触碰每只手的内容部分将在手移动时保持紧挨着每只手，如同用户触碰内容并在显示表面周围推动其。下文描述额外细节。

如本文所使用，术语“计算机”、“个人计算机”和“计算装置”是指已知的或未来将研发的任何可编程计算机系统。在某些实施例中，将计算机耦合到网络，如本文所描述。计算机系统可被配置成具有处理器可执行软件指令以执行本文所描述的过程。图6提供了如下文所描述的计算机的额外细节。

如本文所使用，术语“组件”、“模块”和“系统”意图是指计算机相关实体，其为硬件、硬件与软件的组合、软件或执行中的软件。举例来说，组件可以是(但不限于)在处理器上运行的进程、处理器、对象、可执行程序、执行线程、程序和/或计算机。借助于说明，在服务器上运行的应用程序和服务器两者都可以是组件。一或多个组件可以驻留在进程和/或执行线程内，并且组件可以本地化于一个计算机上和/或分布在两个或两个以上计算机之间。

如本文所使用，术语“手势”是指用户作出的随时间推移穿过空间的移动。此移动可以在用户指导下由任何控制对象作出。

如本文所使用，术语“控制对象”可以是指例如手、臂、肘部或脚等用户身体的任何部分。手势可以进一步包含不是用户身体的一部分的控制对象，例如笔、指挥棒或具有使装置的移动为相机更容易可见和/或耦合到相机的计算机更容易处理的输出的电子装置。实施例可以使用一个以上控制对象，并且在此类实施例中，两个或两个以上控制对象无需一致。举例来说，一个控制对象可以是电子装置，并且第二控制对象可以是用户的手。

如本文所使用，术语“远程检测装置”是指能够捕获与手势相关的数据并能够用于识别手势的任何装置。在一个实施例中，视频摄像机是远程检测装置的一个实例，其能够将图像传输到用于处理和分析以识别用户作出的特定手势的处理器。例如相机等远程检测装置可以与显示器、可穿戴装置、电话或任何其它此类相机呈现形式集成。相机可以另外包括多个输入，例如对于立体相机来说，或可以进一步包括多个单元以观测更大组的用户位置，或当阻断一或多个相机模块观看用户的全部或部分时观测用户。远程检测装置可以使用任一组波长检测来检测手势。举例来说，相机可以包含红外光来源并检测对应红外范围内的图像。还可以通过其它装置进行远程检测，包含安装在身体上的运动检测器、紫外线或其它电磁辐射检测器、超音波或其它音频远程检测技术或MEMS传感器，其中任一者可以用于远程捕获与手势相关的数据。

如本文所使用，术语“显示器”和“内容表面”是指被用户观看的数据的图像源。实例包含液晶电视、阴极射线管显示器、等离子显示器和任何其它此类图像源。在某些实施例中，图像可以投影到用户的眼睛而非从显示屏幕呈现出。在此类实施例中，系统可以将内容呈现到用户，如同内容来源于表面一般，即使表面不发射或反射光。一个实例是作为将图像提供给用户的头戴式装置的一部分的一副眼镜。

如本文所使用，术语“头戴式装置”(head mounted device，HMD)或“安装在身体上的装置”(body mounted devic，BMD)是指安装到用户的头部、身体或服装或以其它方式由用户穿戴或负载的任何装置。举例来说，HMD或BMD可以包括捕获图像数据并连接到处理器或计算机的装置。在某些实施例中，处理器与装置集成，并且在其它实施例中，处理器可以远离HMD。在一个实施例中，头戴式装置可以是移动装置CPU(例如蜂窝电话、平板计算机、智能电话等的处理器)的附件，其中头戴式装置控制系统的主要处理是在移动装置的处理器上执行。在另一个实施例中，头戴式装置可以包括处理器、存储器、显示器和相机。在一个实施例中，头戴式装置可以是包含一或多个用于从环境(例如房间等)扫描或收集信息的传感器(例如深度传感器、相机等)和用于将所收集的信息输送到另一装置(例如服务器、第二移动装置等)的电路的移动装置(例如智能电话等)。因此，HMD或BMD可以从用户捕获手势信息并使用所述信息作为无接触控制界面的一部分。

如本文所使用，“内容”是指可以在显示器中呈现并用平移手势操纵的文件或数据。实例可以是可以用任何格式存储并通过显示器呈现给用户的文本文件、图片或电影。在显示器上的内容呈现期间，内容的细节可以与所述内容的具体显示情况相关，例如颜色、缩放、细节水平和当前内容位置。

如本文所使用，“当前内容位置”是指可以呈现在显示器上的内容的一个特征。具体来说，当内容缩放，使得整个内容在显示表面上不可见时，当前内容位置可以用于将手势与在内容表面上呈现的平移转变匹配，并且当当前内容位置更新时，移位在显示表面上呈现的内容的一部分。

在另一个实施例中，头戴式装置可以包含用于与因特网、本地无线网络或另一计算装置连接的无线接口。在另一个实施例中，微型投影仪可以联合在头戴式装置中以能够将图像投影到表面上。头戴式装置可以是重量轻的并经建构以避免使用可能引起装置佩戴不适的沉重组件。头戴式装置还可以可操作以接收来自用户的音频/手势输入。此类手势或音频输入可以是口头语音命令或辨识的用户手势，当被计算装置辨识时可以使装置执行对应命令。

图1A和1B说明其中可以实施无接触平移手势的实施例的两个潜在环境。图1A和1B两者包含被安装在表面16上的显示器14。另外，在两个图中，用户的手充当控制对象20。在图1A中，HMD 10由用户6穿戴。移动计算装置8附接到用户6。在图1A中，HMD 10被说明为具有通过与相机视野12相关的阴影展示的集成相机。包埋在HMD 10中的相机的视野12通过阴影展示，并将移动以匹配用户6的头部移动。相机视野12足够宽，从而当其放入平行于表面16和显示器14的控制平面中时包含控制对象20。

展示参考轴线，其中x方向沿着表面16的基部，y方向沿着表面16的高度上下，并且z方向与表面16的平面正交。控制平面可以是在用户与显示器14之间的任何粗略x-y平面。在替代实施例中，控制平面可以从显示器的平面偏移，尤其是在用户的身体从注视显示器的位置偏移时。在其它实施例中，控制平面可以是在显示器14的表面，使得控制对象触摸显示器14，或控制平面可以是在自由空间中，在z方向上从显示器14的表面偏移。在一些实施例中，控制平面通过用户的凝视或用户的头或身体面对的方向确定。在一些实施例中，无论运动在何处执行，用户运动都将解释为在此类控制平面中。举例来说，在一些实施例中，如果用户面对或凝视表面16，那么通过用户伸展其手到其侧面所执行的圆周运动可以解释为在近似平行于表面16的控制平面中。

在图1A的系统中，来自HMD 10的图像可以从HMD 10内的通信模块无线传达到与显示器14相关的计算机，或可以无线或使用有线连接从HMD 10传达到移动计算装置8。在一个实施例中，在图像从HMD 10传达到移动计算装置8的情况下，移动计算装置8可以将所述图像传达到耦合到显示器14的额外计算装置。或者，移动计算装置8可以处理图像以识别手势，并随后调整呈现在显示器14上的内容，尤其是在显示器14上的内容来源于移动计算装置8时。在另一个实施例中，移动计算装置8可以具有执行中间处理或通信步骤以与额外计算机接口的模块或应用程序，并可以将数据传达到计算机，随后调整显示器14上的内容。在某些实施例中，显示器14无需为硬件显示器，但可以是例如由HMD 10产生的虚拟显示器。

图1B说明一个替代实施例，其中图像检测通过安装在表面16中的相机18以及显示器14执行。在此类实施例中，相机18将以通信方式耦合到可以是相机18一部分、显示器14一部分或以通信方式耦合到相机18与显示器14两者的计算机系统一部分的处理器。相机18具有由阴影区域展示的视野19，其在控制对象穿过x-y控制平面移动时将覆盖控制对象。在某些实施例中，相机可以安装到可调节的控制器，所述控制器响应于用户6的高度的检测而移动视野19。在其它实施例中，多个相机可以集成到表面16中以在用户6被阻碍相机18的视野的障碍物遮蔽的情况下提供更大区域上和从额外角度的视野。多个相机可以另外用于提供改善的手势数据，从而手势识别的准确性得到提高。在其它实施例中，额外相机可以位于相对于用户的任何位置以提供手势图像。

图1C说明另一替代实施例，其中图像检测由相机118执行。在此实施例中，用户的双手可以作为第一控制对象130和第二控制对象140检测。处理图像以检测控制对象130和140以及对内容所产生的控制可以由计算装置108针对电视显示器114上显示的内容执行。

图2A展示可以应用于一个实施例中的环境的坐标系的参考说明。在图1A和1B的实施例中，图2A的x-y箭头可以与图1A和1B的x-y平面对应。用户210展示位于面对x-y平面的正z轴位置，并且因此用户210可以作出可以由相机捕获的手势，其中用户面对显示器，其中由相机捕获的运动的坐标通过计算机使用如相机所观测的对应x、y和z坐标处理。对于图2A所展示的平移手势，控制对象在控制平面中跨越x和y坐标的移动可以与用于在显示表面上显示和操纵内容的x和y坐标相同或不同。如上所述，用户随后可以移动控制对象，在图2A中控制对象是手。远程检测系统随后可以检测控制对象的运动，并且并将此运动转换成在显示表面中显示的平移内容。把由图2A说明的手势比喻成当跨越桌子移动大型布时使用的运动。两只手如所说明，以跨越检测区域的线性、手掌张开运动使用。手势在控制平面中作出，并与如内容表面上所展示而被操纵的内容匹配。如果内容是在垂直屏幕上，那么运动将粗略地在平行于内容表面的垂直屏幕的内容平面上。如果内容是在水平屏幕上，那么运动将近似平行于水平屏幕。内容平面可以是可以被用户触摸的内容表面的表面，或可以是在内容表面上方或远离内容表面的自由空气平面。用户可能能够在水平与垂直表面平面之间变换，作为手势运动的一部分。

随后可以接收含有用户手和任选地其它关节位置的x、y和z坐标的帧流以识别手势。此类信息可以记录在被如图2中所示的手势识别系统识别的坐标系或框架内。为接合平移操作，在一些实施例中用户可以保持双手静止和水平。一旦系统接合，平移就可以开始。系统可以设计有某些阈值，使得如果用户的手保持在粗略界定的体积内预定时间量，那么可以考虑其为静止的。可以分析双手的水平位置以确定其相对于y轴线位置在彼此的例如100mm内，如图2A中所示。在平移时，应用程序可以追踪2只手到平移的对象上的平均运动。当用户已经移动对象到所需位置时，其可以使用平移脱离运动脱离平移操作。在某些实施例中，平移接合可以包含检测两个控制对象大致在相同平面中或其大致在平行于内容的平面中。在其它实施例中，当控制对象是手时，接合可以包含检测双手呈相同姿势(例如打开手，手掌张开或拳头密闭)，或一只或两只呈特定的姿势(例如当一只手打开，手掌张开时接合可以开始)。在替代实施例中，当手维持所述姿势并在坐标系中移动可以执行平移(例如在一些实施例中，例如当用户闭合其手以接合或选择，随后紧闭拳头平移时，紧闭的拳头可以用于平移)。

图2B说明平移手势的一个实施例。第一控制对象230和第二控制对象240展示为用户的手。此外，展示内容表面214，其包含显示在内容表面214上的内容部分215。在平移手势移动模式期间，控制对象进入x-y控制平面，并保持相距大致恒定的相对距离。位置1A、1B、2A、2B意图在相同的第一x-y平面中，并且位置3a和3b意图在第二x-y平面中，所述第二x-y平面可以在z方向上从第一x-y平面偏移或不偏移。

在平移手势期间，第一控制对象230从位置1A移动到位置1B，并且第二控制对象实质上同时从位置2A移动到位置2B，呈近似同步运动。如所示，第一控制对象230与第二控制对象240之间的同步相对位置在手势期间维持。作为在平移手势移动模式中操作的一部分，远程检测装置捕获控制对象的同步移动。随后处理捕获信息以识别有待在显示器呈现的对应平移转变。如图2B所示，响应于手势的检测和处理，内容部分215从初始位置3a移动到平移位置3b，其中从位置3a到3b的移动与控制对象230和240从位置1A和2A到位置1B和2B的同步移动相对应。

虽然所呈现的图展示了呈壁装类型配置或其中显示器沿着垂直位置的显示表面，但实施例还可以包含桌上类型显示器。在此类实施例中，用户可以保持呈站立或坐立位置直立，但根据图1和2中使用的参考方向，控制平面和内容表面现在x-z平面中。在此实施例中，可以考虑手势类似于用双手触摸桌布，并跨越桌子滑动桌布，其中手是控制对象并且桌布是内容。当控制对象以同步运动移动时，内容响应于控制对象的同步移动跨越显示器滑动或平移。

在某些实施例中，可以识别控制对象的同步水平的容限阈值。一个实施例在图2C中用阈值226说明此容限阈值。图2C包含第一控制对象230和第二控制对象240。在平移手势移动模式期间，当用户首先将第一控制对象和第二控制对象240放入控制平面时，可以将初始同步相对位置确定为同步相对位置220。控制平面的位置可以在此相同时间确定，或可以事先已经确定并被识别给用户。阈值226展示在平移手势期间同步相对位置220的容许变化。如果同步相对位置220变化超出阈值226，那么可以终止平移手势移动模式，并且呈现在内容表面的内容可以停止平移以匹配第一和第二控制对象的移动。除y阈值224和x阈值222之外，阈值226可以进一步包含z阈值分量，以适应z方向上可能稍微超过控制平面，但在控制平面的可接受容限内的移动差异。

在某些实施例中，阈值226可以基于许多不同的因素可变。举例来说，可以使阈值与控制对象的速率或速度成比例。具体来说，当用户控制第一控制对象230和第二控制对象240时，用户维持同步相对位置220的能力可能降低。因此系统可以测量控制对象的速率并设定阈值226，其随着测量的速率增加而增加。在此类系统的一个实施例中，那么：

(1)阈值＝((最大容限-最小容限)×校准因子)+最小容限

最大容限和最小容限可以包括针对在x、y和/或z方向上最大和最小容许偏差的系统设置，并且校准因子可以是基于所测量的速率的系统设置。在某些实施例中，校准因子可以与所测量的速率成比例，而在其它实施例中，可以使用表格或等式，针对每一速率下的校准因子值，设定各种速率与容许阈值之间的所识别的非线性关联。因此，在一些实施例中，阈值可以随着控制对象的速度增加而增加，使得当控制对象以较大速率移动时容许两个对象之间较大分离。

在某些实施例中，校准因子可以是说明控制对象从开始点行进的总距离的值。因此，阈值可以随着例如充当控制对象的手从中性位置移开而增加。在其它实施例中，容许阈值的变化可以基于额外因素。例如在伸展平移阶段期间，用户可能变得疲倦，并且阈值可以随时间而增加以补偿在用户变得疲倦时用户控制的降低。

在其它实施例中，可以进行骨架模型和相关分析以随着用户以平移手势伸展到控制平面中极限移动位置，变化阈值，使得在某些极限位置，阈值可以增加。

另外，某些用户可能具有与用户为保持控制对象在稳定位置而最佳控制相关的手部摇晃。在某些实施例中，系统可以检测重复手部摇晃移动，并且可以补偿任何阈值和速率测量值以容纳此类手部摇晃。类似地，某些小的急冲移动可能引起系统使用的个别速率测量值出乎意料地高，并且系统可以通过将控制对象移动求平均值或忽略测量离群值来补偿此类急冲移动。

其它实施例可以包含用于补偿控制对象的用户控制的变化的额外方面。举例来说，如果同步相对位置220的中心或平均位置随时间转移，那么可以重置初始同步相对位置220以匹配用户位置随时间的改变。系统可以另外识别影响同步相对位置220的用户姿态或位置的变化，并且响应于用户姿态的变化，重置同步相对位置220。此类响应可以伴随着或不伴随着阈值226设置的相关改变。

然后图3描述了用于实施无接触平移手势的一种方法的一个实施例。作为图3方法的一部分，例如电影、图片或文本对象等内容展示在例如图1的显示器14等显示器中。计算装置控制内容的哪些部分呈现在内容表面的哪些位置。远程检测装置耦合到计算机以观测用户作出的手势。

305中，远程检测装置检测两个控制对象。可以通过任何方式，例如使用光学相机、立体相机、深度相机、惯性传感器(例如腕带或环)或任何其它此类远程检测装置，进行例如用户手或双手等控制对象的检测。图1A HMD 10、图1B相机18或本文所描述的任何远程感测装置中的任一者都可以用于识别控制对象。具体来说，头盔显示器的使用是便于自由空气手势控制的集成的一个选择，如图5中进一步描述，但其它实例可以使用此类手势相互作用系统，例如媒体中心TV、商店窗口信息站和与现实世界显示器和内容表面相关的接口。

然后在310中，例如平移模式等手势模式可以基于来自305的检测到的手势启动。启动此平移模式的处理可以通过本文所述的任何计算装置，例如移动装置8、计算装置108、HMD 10内的处理器或集成到一个实施例中的任何计算系统600进行。各种实施例可以接受启动平移模式的各种输入，包含接受不同命令的不同模式。为防止在用户进入、跨越控制相机的视野行走或在控制相机的视野内执行其它动作时偶然的手势输入，计算机可以不接受某些手势，直到接收模式启动信号。平移手势启动命令可以是控制相机识别的手势。在一个潜在实施例中，此可以是检测到手势，例如检测到用户已经移动两个控制对象到用户与内容表面之间的位置，并且已经维持固定位置预定时间量。

在替代实施例中，声音或语音命令可以用于启动平移模式。在此类实施例中，系统可以启动额外处理程序来识别控制平面内的控制对象，并且一旦识别出其在控制平面中，就识别控制对象之间的同步相对位置。或者，按钮或远离手的远程控制可以用于启动平移模式。根据各种情况而定，因此控制对象的同步相对位置可以是在接收命令时控制对象的位置，或在控制平面中在输入后静止预定时间量的静置控制对象位置。

另外，在某些实施例中，然后可以在绝对控制对象起始位置与当平移模式开始时显示内容时的当前内容位置之间进行匹配。然后，在315中，例如使用关于图4所说明和描述的手势分析模块440和/或处理模块420，检测控制对象跨越近似平行于内容表面的控制平面的同步移动。在320中，然后控制对象与显示的内容的同步运动将平移手势与内容在例如HMD 10或电视114的显示器等显示器的内容表面上的平移匹配或关联。然后315和320可以连续或周期性地进行，以设定内容显示器，直到在325中终止平移模式。此就是图2B中详述的同步运动，其中控制对象的运动相关联，使得远程检测系统检测控制对象的运动并将所检测到的运动转换成用于显示内容的移位转变。在各种实施例中，不同计算装置可以用多种不同方式将从远程检测装置接收的手势信息与对显示器的内容输出的改变匹配。在一个实施例中，然后可以通过远程检测装置接收含有控制对象的x、y和z和任选地用户关节位置的帧流，并在计算装置中分析以识别手势。此类信息可以记录在通过如图2B中所示的手势识别系统识别的框架或坐标系内。然后坐标系中的移动可以与内容的坐标系匹配，其中显示的内容的移位匹配通过分析帧流所识别的坐标移动。还可以使用额外实施例和方法，其中一些在下文进一步详述。

如上文所提及，在325中，检测平移脱离运动，并且结束手势移动模式。虽然上文在测量控制对象之间的移动容许变化的情况下描述阈值226，但其它技术也可以用于终止平移模式，例如使得当用户的手返回到静止位置，移位到新的手势位置，或简单地放松时，控制对象位置的相对移位的远程检测可以用于结束平移模式。因此，可以检测多个替代性移动并将其识别为用于结束平移模式的触发事项。

作为另一替代方案，如上所述，超出z方向上的阈值的一个或两个控制对象的去除也可以充当平移脱离运动，即使控制对象在此运动期间同步。具有此类平移脱离运动的实施例可以进一步起作用以能够超过用户运动的范围，跨越内容来重复平移。举例来说，在内容是显示在显示表面上的内容部分的许多倍的具有大缩放的内容中，用户可以在控制对象在一个极限下启动平移运动。此可以是例如用户以平移模式从极限左边移动手到极限右边。在极限右边，用户可以从控制平面去除控制对象，并且在极限左边将控制对象放回控制平面。以此方式，用户可以通过重复启动和脱离平移模式和通过在平移模式接合的同时平移内容，在相同方向上跨越内容重复平移。在某些实施例中，z运动可能必须超过一些绝对阈值，或z运动可能必须伴随着z方向上的一定速率。举例来说，如果用户向后缓慢地移动双手，那么移动可以不被识别为脱离命令，但快速的向后运动或向后急拉可以脱离平移模式。在此类实施例中，远程检测装置可以用于确定是否实现可接受的绝对z运动或z方向上的速率。

在另一个替代实施例中，用于脱离平移模式的输入可以不是运动或手势。如同启动平移模式的输入一般，在某些实施例中，平移脱离可以通过语音命令或通过电子装置上的按钮或其它远程控制输入选择。

在某些实施例中，两个控制对象之间的分离可以用于确定某一运动是否是有效的输入或“手势”。举例来说，如果用户正用每只手画圆，那么系统可以使用手之间的分离来确定所述圆是否包括有效的输入或“手势”。当用户运动的速度或尺寸增加时，被视为输入或“手势”或可能“双手手势”的手之间所允许的分离可以增加。此能够使系统区别不意图作为内容控制系统的输入的手势与意图作为内容控制系统的输入的手势。系统可以使用在某些距离范围的控制对象的同步移动最可能为命令手势，而小得多的同步移动可以被识别为不大可能为命令手势。此类区别可以进一步相对于每一个个别用户的尺寸和可达距离校准。基于控制对象之间的分离的这些区别可以用于内容控制系统的多种替代性命令手势，并不仅仅用于平移手势并且在本文中描述。

图4说明用于确定个人执行的手势的系统400的一个实施例。在各种替代实施例中，系统400可以在分布式组件中实施，或可以在例如蜂窝电话等，具有处理功率足以实施图4中详述的模块的集成计算机处理器的单一装置或设备中实施。因此，在某些实施例中，整个系统400可以在单一计算装置600上实施，而在替代实施例中，每个元件可以是如图6中所示的计算装置600的组合或单独元件。更一般地说，系统400可以用于追踪一个人或控制对象的特定部分。举例来说，系统400可以用于追踪一个人的手。系统400可以被配置成追踪一个人的一只手或同时追踪双手。系统400可以被配置成同时追踪电子控制对象和用户的手。此外，系统400可以被配置成同时追踪多个人的手。虽然系统400在本文中被描述为用于追踪一个人的手的位置，但应了解系统400可以被配置成追踪人的其它部分，例如头、肩部、躯干、腿等。系统400的手部追踪可以适用于检测一或多个个人执行的手势。在一些实施例中，系统400本身可能不确定个人所执行的手势或可能不执行实际手部识别或追踪；实际上，系统400可以输出一或多个手的位置，或可以简单地输出可能含有前景对象的像素子集。一或多个手的位置可以提供给可能由一或多个个人执行的关于手势的另一片硬件或软件。在替代实施例中，系统400可以被配置成追踪保持在用户手中或附接到用户身体一部分的控制装置。

系统400可以包含图像捕获模块410、处理模块420、计算机可读存储媒体430、手势分析模块440、内容控制模块450和显示输出模块460。也可以存在额外组件。举例来说，系统400可并入为计算机系统，或更一般地说，计算机化装置的一部分。图6的计算机系统600说明一种潜在计算机系统，其可并入有图4的系统400。图像捕获模块410可以被配置成捕获多个图像。图像捕获模块410可以是相机，或更确切地说，视频摄像机，例如相机18或相机118。在其它实施例中，图像捕获模块410可以由本文所述的包含追踪移动而不是捕获图像的惯性传感器或其它传感器的任何检测装置替代。图像捕获模块410可以捕获一系列图像，呈视频帧形式。可以周期性地捕获这些图像，例如每秒30次。通过图像捕获模块410捕获的图像可以包含由图像捕获模块410产生的图像的每个像素的强度和深度值。

图像捕获模块410可以将放射线，例如红外辐射(IR)投影到其视野中(例如到场景上)。返回的红外辐射的强度可以用于确定在每个捕获的图像中表示的图像捕获模块410的每个像素的强度值。被投影的放射线也可以用于确定深度信息。因而，图像捕获模块410可以被配置成捕获场景的三维图像。由图像捕获模块410产生的图像的每个像素可以具有一个深度值和一个强度值。在一些实施例中，图像捕获模块可以不投影放射线，而是实际上可以依赖于场景中所存在的光(或更一般地说，放射线)来捕获图像。对于深度信息，图像捕获模块410可以是立体(即图像捕获模块410可以捕获两个图像并将其组合成具有深度信息的单一图像)或可以使用其它技术确定深度。

由图像捕获模块410捕获的图像可以提供给处理模块420。处理模块420可以被配置成从图像捕获模块410获取图像。处理模块420可以分析从图像捕获模块410获取的图像中的一些或全部以确定图像中的一或多者中所存在的属于一或多个个人的一或多个手的位置。处理模块420可以包含软件、固件和/或硬件。处理模块420可以与计算机可读存储媒体430通信。处理模块420可以是一或多个计算装置600中的一或多个处理器610并且计算机可读存储媒体可以是此类计算装置600的一或多个存储装置625或工作存储器635。计算机可读存储媒体430可以用于存储与针对图像捕获模块410捕获的图像的个别像素产生的背景模型和/或前景模型相关的信息。如果图像捕获模块410在图像中捕获的场景是静态的，那么可以预期第一图像和第二图像中相同位置的像素对应于相同对象。作为一个实例，如果长沙发存在于第一图像中的具体像素，那么在第二图像中，可以预期第二图像的相同具体像素也对应于长沙发。背景模型和/或前景模型可以针对获取的图像的一些或全部像素产生。计算机可读存储媒体430还可以被配置成存储处理模块420用来确定手(或个人身体的一些其它一部分)的位置的额外信息。举例来说，计算机可读存储媒体430可以含有关于阈值(其可以用于确定像素是前景或背景模型的一部分的概率)的信息和/或可以含有用于进行主成分分析的信息。

处理模块420可以提供输出到另一模块，例如手势分析模块440。手势分析模块440可以是一或多个处理器610执行的硬件、软件或固件的任何组合。在各种实施例中，手势分析模块440可以是处理模块420执行的软件，而在其它实施例中，手势分析模块440可以包括单独专用硬件，包含处理器610。处理模块420可以输出二维坐标和/或三维坐标到另一软件模块、硬件模块或固件模块，例如手势分析模块440。通过处理模块420输出的坐标可以指示检测手(或个人身体的一些其它部分)的位置。如果检测一只以上手(同一个人或不同人)，那么可以输出一组以上的坐标。二维坐标可以是基于图像的坐标，其中x坐标和y坐标对应于图像中所存在的像素。三维坐标可以并入深度信息。对于至少一个手所位于的每个图像，坐标可以由处理模块420输出。此外，处理模块420可以输出很可能抽取背景元件和/或很可能包含前景元件以进一步处理的像素的一或多个子集。

手势分析模块440可以是不同类型手势确定系统中的任一种。手势分析模块440可以被配置成使用由处理模块420输出的二维或三维坐标以确定个人执行的手势。因而，处理模块420可以仅仅输出一或多个手的坐标，确定实际手势和/或响应于手势应该执行何种功能可以由手势分析模块440执行。应了解图4中说明手势分析模块440，仅仅出于示例的目的。除手势以外，关于一或多个用户的一或多个手为何可能需要来追踪的原因存在其它可能性。因而，除手势分析模块440以外的一些其它模块可以接收个人身体的部分的位置。

内容控制模块450可以类似地实施为软件模块、硬件模块或固件模块。此类模块可以与处理模块420集成或作为单独远程模块在单独计算装置中结构化。内容控制模块450可以包括用于操纵内容输出到显示器的多种控制。此类控制可以包含播放、暂停、搜寻、快退、平移和缩放或任何其它类似的此类控制。当手势分析模块440识别启动平移模式的输入并进一步识别沿着控制平面的作为平移模式一部分的同步移动时，移动可以传达到内容控制模块以针对在目前时间显示的内容更新当前内容位置。

显示输出模块460可以进一步实施为软件模块、硬件模块或固件模块。此类模块可以包含与将内容呈现给用户的特定输出显示器匹配的指令，并且可以视为计算装置600的输出装置620。当内容控制模块450接收由手势分析模块440识别的手势命令时，通过显示输出模块460输出到显示器的显示信号可以实时或近实时修改以调整内容。

图5A和5B描述头戴式装置的一个潜在实施例。在某些实施例中，如这些图中所述的头戴式装置可以进一步与用于通过头戴式装置提供虚拟显示器的系统集成，其中显示器呈现在一副眼镜或提供显示器来源于无源显示表面的错觉的其它输出显示器中。

图5A说明可以包含于头戴式装置10的实施例中的组件。图5B说明头戴式装置10可以如何作为系统的一部分操作，其中传感器阵列500可以提供数据到执行本文所描述的各种实施例的操作的移动式处理器507并将数据传送到服务器564并从其接收数据。此类服务器可以包括一或多个计算装置600或此类装置联网在一起的任何组合。应注意处理器507头戴式装置10可以包含一个以上处理器(或多核心处理器)，其中核心处理器可以执行整体控制功能，而共处理器执行应用程序，有时称为应用程序处理器。核心处理器和应用程序处理器可以配置在相同微芯片包中，例如多核心处理器，或配置在单独芯片中。并且，处理器507可以包装在具有与其它功能相关的处理器的相同微芯片包内，例如无线通信(即调制解调器处理器)、导航(例如GPS接收机内的处理器)和图形处理(例如图形处理单元或“GPU”)。在替代实施例中，处理器507可以包括一或多个可以是计算装置600的一部分的处理器610。

头戴式装置10可以与可以包含其它计算装置，例如接入因特网的个人计算机和移动装置的通信系统或网络通信。此类个人计算机和移动设备可以包含耦合到处理器507以使处理器能够经由无线通信网络传送和接收数据的天线551、发射器/接收器或收发器552和模/数转换器553。举例来说，例如蜂窝电话等移动设备可以经由无线通信网络(例如Wi-Fi或蜂窝电话数据通信网)接入因特网。此类无线通信网络可以包含多个耦合到被耦合到因特网的网关或因特网接入服务器的基站。个人计算机可以用任何习知的方式，例如通过经由因特网网关(未显示)的有线连接或通过无线通信网络耦合到因特网。

参看图5A，头戴式装置10可以包含耦合到控制系统处理器507的场景传感器500和音频传感器505，控制系统处理器507可以配置有许多软件模块510-525并连接到显示器540和音频输出550。在各种实施例中，传感器和模块可以被结构化为具有专用处理器610和工作存储器635的单独计算装置600，而在其它实施例中，其可以共享此类计算装置元件。在一个实施例中，处理器507或场景传感器500可以将解剖学特征识别演算法应用于图像以检测一或多个解剖学特征。与控制系统相关的处理器507可以审查所检测到的解剖学特征以识别一或多个手势并将所识别的手势加工为输入命令。举例来说，如下文较详细论述，用户可以使用两个控制对象跨越控制平面的同步运动执行与平移命令对应的移动手势。响应于识别此示例手势，处理器507可以启动平移模式，并且然后当控制对象移动时调整呈现在显示器中的内容以改变所呈现的内容的当前位置。

可以包含立体相机、定向传感器(例如加速计和电子指南针)和距离传感器的场景传感器500可以将场景相关的数据(例如图像)提供给在处理器507内实施的场景管理器510，其可以被配置成解释三维场景信息。在各种实施例中，场景传感器500可以包含立体相机(如下所述)和距离传感器，其可以包含用于照射场景的红外光发射体供红外相机用。举例来说，在图5A中说明的一个实施例中，场景传感器500可以包含用于采集立体图像的立体红色绿色蓝色(RGB)相机503a，和被配置成在可以由结构化红外光发射体503c提供的红外光中使场景成像的红外相机503b。结构化红外光发射体可以被配置成发射可以由红外相机503b成像的红外光的脉冲，其中接收的像素的时间被记录并用于使用飞行时间计算确定离图像元素的距离。总起来说，立体RGB相机503a、红外相机503b和红外发射体503c可以被称为RGB-D(距离为D)相机503。

场景管理器模块510可以扫描由场景传感器500提供的距离测量值和图像，以产生图像内对象的三维重构，包含离立体相机的距离和表面取向信息。在一个实施例中，场景传感器500，并且更具体地说，RGB-D相机503，可以瞄准与用户视野和头戴式装置10对准的方向。场景传感器500可以提供完整身体三维运动捕获和手势识别。场景传感器500可以具有与红外相机503c组合的红外光发射体503c，例如单色CMOS传感器。场景传感器500可以进一步包含捕获三维视频数据的立体相机503a。场景传感器500可以在环境光、日光或总体黑暗中工作，并且可以包含如本文所描述的RGB-D相机。场景传感器500可以包含近红外(NIR)脉冲照射组件，以及具有快速门控机制的图像传感器。可以收集每一像素的脉冲信号并对应于反射脉冲的位置并可以用于计算离捕获的主题上对应点的距离。

在另一个实施例中，场景传感器500可以使用其它距离测量技术(即不同类型的距离传感器)捕获图像内对象的距离，例如超音波回波定位、雷达、立体图像的三角测量等。场景传感器500可以包含测距相机、闪存LIDAR相机、飞行时间(ToF)相机和/或RGB-D相机503，其可以使用距离门控的ToF感测、RF调节的ToF感测、脉冲光ToF感测和投影光立体感测测定离对象的距离。在另一个实施例中，场景传感器500可以使用立体相机503a捕获场景的立体图像，并基于图像内含有的捕获像素的亮度测定距离。如上文所提及，为求一致，这些类型的距离测量传感器和技术中的任一者或全部在本文中一般称为“距离传感器”。可以存在不同功能和分辨率的多个场景传感器以帮助测绘物理环境并准确追踪环境内用户的位置。

头戴式装置10还可以包含音频传感器505，例如麦克风或麦克风阵列。音频传感器505能够使头戴式装置10记录音频，并进行声源定位和环境噪声抑制。音频传感器505可以捕获音频并将音频信号转化成音频数字数据。与控制系统相关的处理器可以审查音频数字数据并应用语音识别演算法以将数据转化成可搜索的文本数据。处理器也可以针对某些识别的命令或关键词审查所产生的文本数据并使用识别的命令或关键词作为输入命令来执行一或多个任务。举例来说，用户可以发出例如“启动平移模式”等命令，使系统沿着预期控制平面搜索控制对象。作为另一实例，用户可以发出“关闭内容”以关闭在显示器上显示内容的文件。

头戴式装置10还可以包含显示器540。显示器540可以显示由场景传感器500内的相机获得或由头戴式装置10内或耦合到头戴式装置10的处理器产生的图像。在一个实施例中，显示器540可以是微型显示器。显示器540可以是完全遮蔽的显示器。在另一个实施例中，显示器540可以是可以在用户可以看穿以观看周围房间的屏幕上显示图像的半透明显示器。显示器540可以呈单眼或立体(即双眼)配置来配置。或者，头戴式装置10可以是头戴式显示装置，穿戴在头上或作为头盔的一部分，其可以在一个眼睛的前方(单眼)或在两个眼睛的前方(即双眼或立体显示器)具有小显示器540光学器件。或者，头戴式装置10还可以包含两个显示单元540，所述显示单元微型化并可以是以下中的任一或多者：阴极射线管(CRT)显示器、液晶显示器(LCD)、硅上液晶(LCos)显示器、有机发光二极管(OLED)显示器、基于作为简单微电机械系统(MEMS)装置的干涉式调制器(IMOD)元件的Mirasol显示器、光导显示器和波导显示器以及其它存在并可能研发的显示技术。在另一个实施例中，显示器540可以包括多个微型显示器540以增加总的整体分辨率并增加视野。

头戴式装置10还可以包含音频输出装置550，其可以是头戴式耳机和/或扬声器，总体展示为元件符号550以输出音频。头戴式装置10还可以包含一或多个可以提供控制功能给头戴式装置10以及产生例如虚拟对象的图像的处理器。举例来说，装置10可以包含核心处理器、应用程序处理器、图形处理器和导航处理器。或者，头盔显示器10可以耦合到单独处理器，例如智能电话中的处理器或其它移动计算装置。视频/音频输出可以通过处理器或通过(经由金属丝或无线网络)连接到头戴式装置10的移动式CPU处理。头戴式装置10还可以包含场景管理器块510、用户控制块515、表面管理器块520、音频管理器块525和信息存取块530，这些可以是单独电路模块或在处理器内作为软件模块实施。头戴式装置10可以进一步包含本地存储器和用于与其它装置或本地无线或有线网络通信以从远程存储器555接收数字数据的无线或有线接口。在系统中使用远程存储器555可以使头戴式装置10能够通过减少装置中的存储器芯片和电路板而重量更轻。

控制器的场景管理器块510可以从场景传感器500接收数据并建构物理环境的虚拟图示。举例来说，激光器可以用于发射从房间中的对象反射并被捕获在相机中的激光，其中光的往返时间用于计算离房间中的各种对象和表面的距离。此类距离测量值可以用于确定房间中对象的位置、尺寸和形状并产生场景的地图。一旦地图制定好，场景管理器块510就可以将地图与其它产生的地图相关联，以形成预定区域的更大地图。在一个实施例中，场景和距离数据可以被传输到服务器或其它计算装置，服务器或其它计算装置可以基于从许多头戴式装置接收的图像、距离和地图数据产生合并或集成的地图(并在用户在场景内走来走去时随时间推移))。此类经由无线数据可获得的集成地图数据与头戴式装置处理器相关联。

其它地图可以是由本发明的装置或由其它头戴式装置扫描的地图，或可以从云服务接收。场景管理器510可以识别表面并基于来自场景传感器500的数据追踪用户的当前位置。用户控制块515可以将用户控制输入采集到系统，例如音频命令、手势和输入装置(例如键盘、鼠标)。在一个实施例中，用户控制块515可以包含或被配置成获取手势词典以解释由场景管理器510识别的用户身体部分移动，如上文所论述，手势词典可以存储移动数据或图案以识别可以包含戳、轻拍、轻叩、推、导引、轻弹、翻转、旋转、抓握和拉动在内的手势、手掌开口以平移图像的两只手、拖拽(例如手指涂刷)、用手指形成形状和重击，所有这些都可以在产生的显示器中的虚拟对象的明显位置上或靠近其来实现。用户控制块515也可以识别复杂命令。此可以包含两个或两个以上命令。举例来说，手势和声音(例如拍打)或语音控制命令(例如作出检测‘OK’的手势并与语音命令或说出的词语组合以证实操作)。当识别用户控制515时，控制器可以提供请求到装置10的另一子组件。

头戴式装置10还可以包含表面管理器块520。表面管理器块520可以基于捕获的图像(如通过场景管理器块510管理)和来自距离传感器的测量值连续地追踪场景内表面的位置。表面管理器块520还可以连续地更新锚定在捕获的图像内的表面上的虚拟对象的位置。表面管理器块520可以负责活性表面和窗口。音频管理器块525可以提供控制指令用于音频输入和音频输出。音频管理器块525可建构传递到头戴式耳机和扬声器550的音频流。

信息存取块530可以提供控制指令以介导对数字信息的存取。数据可以存储在头戴式装置10上的本地存储器存储媒体上。数据也可以存储在可存取的数字装置上的远程数据存储媒体555上，或数据可以存储在头戴式装置10可存取的分布式云存储器上。信息存取块530与数据存储装置555通信，数据存储装置555可以是存储器、磁盘、远程存储器、云端计算资源或集成存储器555。

图6说明可以在其中实施一或多个实施例的计算系统的一个实例。如图6中所说明的计算机系统可作为图4和5中事先描述的计算机化装置的一部分并入。根据各种实施例的系统的任何组件可以包含如图6所描述的计算机系统，包含各种相机、显示器、HMD和处理装置。图6提供了计算机系统600的一个实施例的示意性说明，计算机系统600可以执行由如本文所描述的各种其它实施例提供的方法，和/或可以充当主计算机系统、远程信息站/终端、销售点装置、移动装置(例如移动装置8)、HMD(例如HMD 10)、计算装置108、相机18或118、电子控制装置和/或计算机系统。图6仅意图提供对各种组件的通用说明，可在适当时利用所述组件中的任一者或全部。因此，图6广泛地说明可以如何以相对分离或相对较集成的方式实施个别系统元件。

展示计算机系统600，其包括可以经由总线605电耦合(或另外可以在适当时通信)的硬件元件。硬件元件可以包含：一或多个处理器610，包含(但不限于)一或多个通用处理器和/或一或多个专用处理器(例如数字信号处理芯片、图形加速处理器和/或其类似者)；一或多个输入装置615，其可以包含(但不限于)鼠标、键盘和/或其类似者；和一或多个输出装置620，其可以包含(但不限于)显示装置、打印机和/或其类似者。总线605可以耦合处理器610中的两者或两者以上，或单一处理器的多个核心或多个处理器。在各种实施例中处理器610可以等效于处理模块420或处理器507。在某些实施例中，处理器610可以包括在移动装置8、电视显示器114、相机18、计算装置108、HMD 10中或本文所述的任何装置或装置的元件中。

计算机系统600可以进一步包含以下各者(和/或与以下各者通信)：一或多个非暂时性存储装置625，非暂时性存储装置625可以包括(但不限于)本地和/或网络可存取的存储装置，和/或可以包含(但不限于)磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)等固态存储装置，其可为可编程的、可快闪更新的和/或其类似者。此类存储装置可以被配置成实施任何适当的数据存储装置，包含(但不限于)各种文件系统、数据库结构和/或其类似者。

计算机系统600可能还包含通信子系统630，其可以包含(但不限于)调制解调器、网卡(无线或有线)、红外通信装置、无线通信装置和/或芯片组(例如Bluetooth^TM装置、802.11装置、Wi-Fi装置、WiMax装置、蜂窝式通信设施等)和/或类似通信接口。通信子系统630可以准许与网络(例如作为一个实例，下文所描述的网络)、其它计算机系统及/或本文中所描述的任何其它装置交换数据。在许多实施例中，计算机系统600将进一步包括非暂时性工作存储器635，其可以包含RAM或ROM装置，如上文所描述。

计算机系统600还可以包括展示为当前位于工作存储器635内的软件元件，包含操作系统640、装置驱动器、可执行库和/或例如一或多个应用程序645等其它代码，其可以包括通过各种实施例提供和/或可以经设计以实施方法和/或配置系统、通过其它实施例提供的计算机程序，如本文所描述。仅仅作为实例，关于上文所论述的方法所描述的一或多个程序可以实施为可由计算机(和/或计算机内的处理器)执行的代码和/或指令；接着，在一方面中，此等代码和/或指令可以用于配置和/或调适通用计算机(或其它装置)以根据所描述方法执行一或多个操作。

一组这些指令和/或代码可以存储在计算机可读存储媒体(例如上文所描述的存储装置625)上。在一些情况下，存储媒体可以并入于例如计算机系统600等计算机系统内。在其它实施例中，存储媒体可以与计算机系统分开(例如可移动媒体，例如压缩光盘)，和/或提供于安装包中，使得存储媒体可以用以编程、配置和/或调适其上存储有指令/代码的通用计算机。这些指令可以呈可由计算机系统600执行的可执行代码的形式，和/或可以呈源代码和/或可安装代码的形式，所述源代码和/或可安装代码在计算机系统600上编译和/或安装(例如使用多种一般可用编译程序、安装程序、压缩/解压缩公用程序等中的任一者)后，接着采用可执行代码的形式。

可根据具体要求作出实质性变化。举例来说，还可以使用定制硬件，和/或可以将特定元件实施于硬件、软件(包含便携式软件，例如小程序等)或两者中。此外，提供某种功能性的硬件和/或软件组件可以包括专用系统(具有专门的组件)或可以为更通用系统的部分。举例来说，被配置成提供本文所描述的与通过上下文辅助服务器140进行的活动的选择相关的一些或全部特征的活动选择子系统可以包括专门的硬件和/或软件(例如专用集成电路(ASIC)、软件方法等)或通用的硬件及/或软件(例如处理器610、应用程序645等)。另外，可以利用到例如网路输入/输出装置等其它计算装置的连接。

一些实施例可以采用计算机系统(例如计算机系统600)来执行根据本发明的方法。举例来说，可以由计算机系统600响应于处理器610执行工作存储器635中所含有的一或多个指令的一或多个序列(其可以并入到操作系统640和/或例如应用程序645的其它代码中)来执行所描述方法的一些或全部程序。此类指令可以从另一计算机可读媒体(例如存储装置625中的一或多者)被读入到工作存储器635中。仅举例来说，执行工作存储器635中所含有的指令的序列可以使处理器610执行本文中所描述的方法的一或多个程序。

如本文中所使用，术语“机器可读媒体”和“计算机可读媒体”是指参与提供使机器以特定方式操作的数据的任何媒体。在使用计算机系统600实施的实施例中，在将指令/代码提供到处理器610以用于执行的过程中可能涉及各种计算机可读媒体，和/或各种计算机可读媒体可以用以存储和/或携载此类指令/代码(例如作为信号)。在许多实施方案中，计算机可读媒体为物理和/或有形存储媒体。此类媒体可以采用许多形式，包含(但不限于)非易失性媒体、易失性媒体和传输媒体。非易失性媒体包含例如光盘和/或磁盘(例如存储装置625)。易失性媒体包含(但不限于)动态存储器(例如工作存储器635)。传输媒体包含(但不限于)同轴电缆、铜线和光纤，包含包括总线605的电线以及通信子系统630的各种组件(和/或通信子系统630提供与其它设备的通信所使用的媒体)。因此，传输媒体还可以呈波的形式(包含(不限于)无线电、声波和/或光波，例如在无线电波及红外线数据通信期间产生的那些波)。此类存储器可以用于移动装置8、电视显示器114、相机18、计算装置108、HMD10中或本文所述的任何装置或装置的元件中。类似地，例如手势分析模块440或内容控制模块450等模块或本文所述的任何其它此类模块都可以由存储在此类存储器中的指令实施。

常见形式的物理和/或有形计算机可读媒体包含例如软性磁盘、柔性磁盘、硬盘、磁带，或任何其它磁性媒体、CD-ROM、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或盒带、如下文所描述的载波，或计算机可以从其读取指令和/或代码的任何其它媒体。

在将一或多个指令的一或多个序列携载到处理器610以执行时可涉及各种形式的计算机可读媒体。仅仅作为实例，最初可以将指令携载于远程计算机的磁盘和/或光盘上。远程计算机可以将指令加载到其动态存储器中并将指令作为信号经由传输媒体来发送以由计算机系统600接收和/或执行。根据本发明的各种实施例，这些信号(其可以呈电磁信号、声学信号、光信号和/或类似者的形式)都是可以在其上对指令进行编码的载波的实例。

通信子系统630(和/或其组件)一般将接收信号，并且总线605可以接着将信号(和/或由信号携载的数据、指令等)携载到工作存储器635，处理器605从所述工作存储器检索指令并执行指令。由工作存储器635接收的指令可以在由处理器610执行之前或之后任选地存储在非暂时性存储装置625上。

上文所论述的方法、系统和装置为实例。各种实施例可以在适当时省略、取代或添加各种程序或组件。举例来说，在替代配置中，所描述的方法可以依不同于所描述的次序来执行，和/或可以添加、省略和/或组合各个阶段。并且，可以在各种其它实施例中组合关于某些实施例描述的特征。可以用类似方式组合实施例的不同方面和元件。而且，技术在发展，并且因此许多元件为实例，其并不会将本发明的范围限于那些特定实例。

在描述中给出具体细节以提供对实施例的透彻理解。然而，可以在没有这些特定细节的情况下实践实施例。举例来说，已在没有不必要的细节的情况下展示众所周知的电路、过程、算法、结构和技术以免混淆所述实施例。此描述仅提供示例实施例，并且不意图限制本发明的范围、适用性或配置。实际上，实施例的前述描述将为所属领域的技术人员提供了用于实施本发明的实施例的启迪性描述。可以在不脱离本发明的精神和范围的情况下对元件的功能和布置做出各种改变。

此外，一些实施例被描述为以流程与过程箭头描绘的过程。尽管每一者可以将操作描述为顺序过程，但许多操作可以并行或同时来执行。另外，可以重新布置操作的次序。过程可以具有不包含在图中的额外步骤。此外，可以由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施方法的实施例。当以软件、固件、中间件或微码实施时，执行相关联任务的程序代码或代码段可以存储在例如存储媒体等计算机可读媒体中。处理器可以执行相关任务。

已描述了若干实施例，可以在不脱离本发明的精神的情况下使用各种修改、替代构造和同等物。举例来说，以上元件可以仅为较大系统的组件，其中其它规则可以优先于本发明的应用或以其它方式修改本发明的应用。并且，可以在考虑以上元件之前、期间或之后进行数个步骤。因此，以上描述不限制本发明的范围。

Claims (38)

1.一种方法，其包括：

基于来自一或多个检测装置的信息，检测由至少两个控制对象执行的手势启动命令；

基于所述手势启动命令的所述检测，启动手势模式；

基于来自所述一或多个检测装置的信息，检测所述至少两个控制对象跨越实质上平行于其上显示内容的表面的控制平面的实质上同步移动；

响应于所述至少两个控制对象跨越所述控制平面的所述实质上同步移动的所述检测，使显示的内容得到调整；以及

通过使用来自所述一或多个检测装置的信息检测脱离运动，结束所述手势模式，

其中检测所述实质上同步移动是基于所述至少两个控制对象在可变容限阈值之内的所检测移动，所述可变容限阈值基于所检测移动的特征而变化。

2.根据权利要求1所述的方法，其中检测所述脱离运动包括检测所述至少两个控制对象相对于彼此的移动已经超出所述可变容限阈值。

3.根据权利要求2所述的方法，其中所述可变容限阈值由最小控制对象容限、最大控制对象容限之间的差异和校准因子定义。

4.根据权利要求3所述的方法，其中所述最小控制对象容限是用户手的最小伸展；

其中所述最大控制对象容限是所述用户手的最大伸展；并且

其中所述校准因子是至少部分取决于所述用户手离中性位置的距离的变量。

5.根据权利要求3所述的方法，其中所述校准因子是基于与用户相关的静止控制对象摇晃测量。

6.根据权利要求3所述的方法，其中所述校准因子是基于所述至少两个控制对象的速度。

7.根据权利要求6所述的方法，其中所述至少两个控制对象的所述速度在多个控制速度测量值上求平均值以补偿抖动。

8.根据权利要求1所述的方法，其中检测所述脱离运动包括检测所述至少两个控制对象之一已经从所述控制平面去除。

9.根据权利要求1所述的方法，其中所述至少两个控制对象包括用户的手，并且所述一或多个检测装置包括安装到用户头部的相机。

10.根据权利要求1所述的方法，其中所述至少两个控制对象包括用户的手，并且其中所述一或多个检测装置包括安装在手部的惯性传感器。

11.根据权利要求1所述的方法，其中检测所述手势启动命令包括基于来自所述一或多个检测装置的信息检测所述至少两个控制对象每一者已经放入平行于所述表面的所述控制平面中的水平位置中达预定时间量。

12.根据权利要求1所述的方法，其中其上显示所述内容的所述表面是由计算装置产生并投影到用户的观看区域的虚拟表面。

13.根据权利要求1所述的方法，其中其上显示所述内容的所述表面是物理表面。

14.根据权利要求1所述的方法，其中所述手势启动命令包括平移启动命令，其中所述手势模式包括平移手势模式，并且其中所述脱离运动包括平移脱离运动。

15.一种设备，其包括：

处理模块，其包括计算机处理器；

计算机可读存储媒体，其耦合到所述处理模块；

显示输出模块，其耦合到所述处理模块；以及

图像捕获模块，其耦合到所述处理模块；

其中所述计算机可读存储媒体包括计算机可读指令，所述计算机可读指令在被所述计算机处理器执行时，使所述计算机处理器执行包括以下的方法∶

基于来自一或多个检测装置的信息，检测由至少两个控制对象执行的手势启动命令；

基于所述手势启动命令的所述检测，启动手势模式；

基于来自所述一或多个检测装置的信息，检测所述至少两个控制对象跨越实质上平行于其上显示内容的表面的控制平面的实质上同步移动；

响应于所述至少两个控制对象跨越所述控制平面的所述实质上同步移动的所述检测，使显示的内容得到调整；以及

通过使用来自所述一或多个检测装置的信息检测脱离运动，结束所述手势模式，

其中检测所述实质上同步移动是基于所述至少两个控制对象在可变容限阈值之内的所检测移动，所述可变容限阈值基于所检测移动的特征而变化。

16.根据权利要求15所述的设备，其进一步包括：

音频传感器；和

扬声器；

其中所述手势启动命令包括经由所述音频传感器接收的语音命令。

17.根据权利要求16所述的设备，其进一步包括：

天线；和

局域网模块；

其中所述内容从所述显示输出模块经由所述局域网模块传达到所述表面。

18.根据权利要求15所述的设备，其进一步包括头戴式装置，所述头戴式装置包括以通信方式耦合到所述计算机处理器的第一相机。

19.根据权利要求15所述的设备，其中检测所述脱离运动包括检测所述至少两个控制对象相对于彼此的移动已经超出所述可变容限阈值。

20.根据权利要求19所述的设备，其中所述可变容限阈值由最小控制对象容限、最大控制对象容限之间的差异和校准因子定义。

21.根据权利要求20所述的设备，其中所述最小控制对象容限是用户手的最小伸展；

其中所述最大控制对象容限是所述用户手的最大伸展；并且

其中所述校准因子是至少部分取决于所述用户手离中性位置的距离的变量。

22.根据权利要求20所述的设备，其中所述校准因子是基于所述至少两个控制对象的速度。

23.根据权利要求15所述的设备，其中检测所述脱离运动包括检测所述至少两个控制对象之一已经从所述控制平面去除。

24.根据权利要求15所述的设备，其中所述至少两个控制对象包括用户的手，并且所述一或多个检测装置包括安装到用户头部的相机。

25.根据权利要求24所述的设备，其中其上显示所述内容的所述表面是由与作为头戴式装置HMD的所述相机耦合的计算装置产生的虚拟表面。

26.根据权利要求25所述的设备，其中其上显示所述内容的所述表面是物理表面。

27.根据权利要求15所述的设备，其中所述手势启动命令包括平移启动命令，其中所述手势模式包括平移手势模式，并且其中所述脱离运动包括平移脱离运动。

28.一种系统，其包括：

用于基于来自一或多个检测装置的信息检测由至少两个控制对象执行的手势启动命令的装置；

用于基于所述手势启动命令的所述检测启动手势模式的装置；

用于基于来自所述一或多个检测装置的信息检测所述至少两个控制对象跨越实质上平行于其上显示内容的表面的控制平面的实质上同步移动的装置；

用于响应于所述至少两个控制对象跨越所述控制平面的所述实质上同步移动的所述检测使显示的内容得到调整的装置；以及

用于通过使用来自所述一或多个检测装置的信息检测脱离运动结束所述手势模式的装置，

其中检测所述实质上同步移动是基于所述至少两个控制对象在可变容限阈值之内的所检测移动，所述可变容限阈值基于所检测移动的特征而变化。

29.根据权利要求28所述的系统，其进一步包括：

用于检测所述至少两个控制对象相对于彼此的移动已经超出所述可变容限阈值并当超出所述可变容限阈值时结束所述手势模式的装置。

30.根据权利要求29所述的系统，其进一步包括：

用于通过确定最小控制对象容限与最大控制对象容限之间的差异确定所述可变容限阈值的装置。

31.根据权利要求29所述的系统，其进一步包括：

用于确定所述可变容限阈值的校准因子以调整所述可变容限阈值为所述脱离运动的触发的装置。

32.根据权利要求31所述的系统，其进一步包括：

用于确定用户手的最小伸展以基于所述用户手的所述最小伸展调整所述校准因子的装置；

用于确定用户手的最大伸展以基于所述用户手的所述最大伸展调整所述校准因子的装置；以及

用于确定所述用户手离中性位置的距离以基于所述用户手离所述中性位置的所述距离调整所述校准因子的装置。

33.根据权利要求32所述的系统，其进一步包括：

用于检测所述至少两个控制对象之一已经从所述控制平面去除的装置；以及

用于当检测到所述至少两个控制对象之一已经从所述控制平面去除时暂停所述手势模式的装置。

34.根据权利要求31所述的系统，其进一步包括：

用于确定所述至少两个控制对象的速度以基于所述至少两个控制对象的所述速度调整所述校准因子的装置。

35.根据权利要求31所述的系统，其进一步包括：

用于确定与用户相关的静止控制对象摇晃测量以基于与所述用户和至少一个控制对象相关的对象摇晃调整所述校准因子的装置。

36.根据权利要求28所述的系统，其进一步包括：

用于基于来自所述一或多个检测装置的信息检测所述至少两个控制对象每一者已经放入平行于所述表面的所述控制平面中的水平位置中达预定时间量的装置；

和

用于当检测到所述至少两个控制对象每一者已经放入平行于所述表面的所述控制平面中的所述水平位置中达所述预定时间量时启动所述手势模式的装置。

37.根据权利要求28所述的系统，其进一步包括：

用于将包含所述显示的内容的虚拟表面投影到用户的观看区域中的装置。

38.一种包括计算机可读指令的非暂时性计算机可读指令媒体，所述计算机可读指令在由装置中的处理器执行时使所述装置：

基于来自一或多个检测装置的信息，检测由至少两个控制对象执行的手势启动命令；

基于所述手势启动命令的所述检测，启动手势模式；

基于来自所述一或多个检测装置的信息，检测所述至少两个控制对象跨越实质上平行于其上显示内容的表面的控制平面的实质上同步移动；

响应于所述至少两个控制对象跨越所述控制平面的所述实质上同步移动的所述检测，使显示的内容得到调整；以及

通过使用来自所述一或多个检测装置的信息检测脱离运动，结束所述手势模式，

其中检测所述实质上同步移动是基于所述至少两个控制对象在可变容限阈值之内的所检测移动，所述可变容限阈值基于所检测移动的特征而变化。