CN103294260B - 触敏用户界面 - Google Patents

Abstract

触敏用户界面。公开了用于向电子设备提供触摸界面的系统和方法。触摸界面可以是任何表面。作为一个示例，台面可被用作触敏界面。在一个实施例中，该系统确定表面的触摸区域，并将该触摸区域与对其提供输入的电子设备的显示器进行相关。该系统可具有标识用户的手相对于触摸区域的位置以允许用户输入的3D相机。注意，用户的手没有遮挡显示器。该系统可以在显示器上呈现用户的手的表示，以使用户能与显示屏上的元素进行交互。

Description

触敏用户界面

技术领域

本发明涉及触敏用户界面。

背景技术

在过去，计算设备使用键盘和鼠标作为输入设备。这些输入设备工作良好，但需要用户学习键区操作或学习鼠标操作。同样，这些输入设备使用起来不像许多用户想要的那样直观。

最近，一些计算机设备提供了允许用户输入的触敏显示屏。这些界面比先前界面更加直观。然而，它们通常具有用户的手遮挡显示屏的问题。同样，对于便携式设备或显示屏靠近用户的其他设备而言，触敏屏幕是最切乎实际的。然而，诸如台式计算机等一些设备具有通常距用户一定距离的显示屏。对用户而言，伸手并触摸这样的显示屏以提供用户输入可能是不切实际的。

发明内容

本文公开了用于允许对与显示器相关联的电子设备的触摸用户输入的系统和方法。触摸界面可以是任何表面。作为一个示例，台面可被用作触敏界面。该系统可具有标识用户的手对于触摸界面的相对位置以允许用户输入的3D相机。从而，用户的手没有遮挡显示器。该系统还能够确定用户的手是否悬停在触摸界面上。因此，该系统允许悬停事件作为一种类型的用户输入。

一个实施例包括一种用于允许对与显示器相关联的电子设备的用户输入的方法。该方法包括基于三维（3D）图像数据来确定物体相对于表面的3D位置。该方法还包括基于物体相对于表面的3D位置来在显示器上呈现用户输入元素。该方法还包括基于物体相对于表面的3D位置来接收对电子设备的用户输入。

一个实施例包括一种装置，该装置包括3D相机、显示器、以及耦合到3D相机和显示器的处理逻辑。处理逻辑被配置成基于来自3D相机的图像数据来确定表面的位置，以及基于来自3D相机的图像数据来确定用户的手相对于表面的3D位置。处理逻辑基于用户的手相对于表面的3D位置来在显示器上呈现用户的手的透明表示。此外，处理逻辑基于用户的手相对于表面的3D位置来接收用户输入。

一个实施例包括一种允许对与显示器相关联的电子设备的用户输入的方法。该方法包括基于3D图像数据来确定表面的位置。该表面不是显示器的表面或电子设备的表面。确定在该表面上的触摸区域。基于3D图像数据来确定用户的手相对于该表面上的触摸区域的3D位置。将触摸区域内的各位置与关联于电子设备的显示器上的各位置进行相关。基于用户的手相对于触摸区域的3D位置来在显示器上呈现用户的手的表示。基于用户的手相对于触摸区域的3D位置来接收对电子设备的用户输入。

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。

附图说明

图1A示出了用于允许使用经由触摸区域的输入的系统的一个实施例。

图1B描绘了在用户的一只手在台子的触摸区域上方时该系统的显示画面的一个实施例。

图1C示出了用户输入元素（而没有示出显示器）的一个实施例。

图1D示出了允许佩戴HMD的用户通过触摸台子的表面或悬停在台子表面上方来提供输入的系统。

图1E示出了作为近眼头戴式显示设备的透视显示设备。

图1F示出了允许用户通过触摸具有集成深度相机的显示屏的表面或悬停在该显示屏表面上方来提供输入的系统。

图2示出了包括捕捉设备和计算系统的、可被用来允许对电子设备的用户输入的系统的一个实施例。

图3是基于3D图像数据来接收对关联于显示器的电子设备的用户输入的过程的一个实施例的流程图。

图4A是确定用户的手相对于触摸区域的位置的过程的一个实施例的流程图。

图4B是示出了将用户的手映射到触摸区域的示图。

图5A是确定触摸区域的过程的一个实施例的流程图。

图5B示出了确定触摸区域的平面方程的一个实施例的细节。

图5C是定义触摸区域的过程的一个实施例的流程图。

图5D示出了确定触摸区域的一个实施例的细节。

图6A是标识用户的手以及该手相对于触摸区域的位置的过程的一个实施例的流程图。

图6B示出了通过将各深度像素置于各个桶中而形成的示例距离图。

图6C描绘了手和手臂的一部分的点云模型。

图6D示出了跟踪指尖的过程的一个实施例的流程图。

图7是呈现用户输入元素和阴影的过程的一个实施例的流程图。

图8A是混合现实显示设备的眼镜实施例中提供对硬件和软件组件的支持的眼镜腿的侧视图。

图8B是混合现实显示设备的实施例中提供对硬件和软件组件的支持和对微显示器部件的三维调整的眼镜腿的侧视图。

图9A是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的实施例的俯视图。

图9B是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的另一实施例的俯视图。

图9C是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的第三实施例的俯视图。

图9D是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的第四实施例的俯视图。

图10A是可以用于一个或多个实施例的透视、近眼、混合现实显示单元的硬件和软件组件的一个实施例的框图。

图10B是与透视、近眼、混合现实显示单元相关联的处理单元的硬件和软件组件的一个实施例的框图。

图11A示出了可用于实现计算系统的、包括多媒体控制台（或游戏控制台）计算环境的示例。

图11B示出了可被用来实现计算系统的计算环境的另一示例。

具体实施方式

现在将描述本发明技术的各实施例，它一般涉及电子设备的触摸界面。触摸界面可包括任何表面。作为一个示例，台面可被用作触敏界面。在一个实施例中，该系统确定表面的触摸区域，并将该触摸区域与对其提供输入的电子设备的显示器进行相关。该系统可具有标识用户的手对于触摸区域的相对位置以允许用户输入的3D相机。注意，用户的手没有遮挡显示器。该系统可以在显示器上呈现用户的手的表示，以使用户能与显示屏上的元素进行交互。

各种各样的用户输入功能是可能的，包括但不限于以下各项。用户可触摸表面（或触摸区域）以选择显示器上的元素。用户可在表面上移动他们的手指来拖曳显示器上的元素。用户可在表面上将他们的手指捏合在一起来缩小，或分开他们的手指来放大。注意，一个实施例的系统能够基于3D图像数据来区分左手和右手，以及将一个手指与另一个手指区分开。因此，这一信息可被用于比对于一些常规触敏显示器而言可能的用户输入（这些用户输入不能表明哪一手指或手在与显示器接触）更加复杂的用户输入。

另一可能的输入是“悬停事件”。在电子设备界面的上下文中，悬停意味着示出了兴趣但未提交。在常规用户界面中，用户可将光标置于元素（如超链接）上方而不“点击”鼠标。因此，用户没有选中或提交。然而，用户正示出了对该元素的兴趣。在一个实施例中，用户通过使他们的手处于触摸区域上方一定范围的距离内（例如，在悬停区内）来引起悬停事件。悬停区范围例如可从触摸区域上方大约1cm到10cm。因而，用户兴趣可触发悬停事件。悬停事件也可被称为“焦点事件”。

作为一个示例，显示器与台式计算机系统相关联。触摸区域可以是恰在计算机键盘的右侧和/或左侧。或者，用户可以将键盘放在远处，使得触摸区域处于键盘通常所处的位置。

图1A示出了允许经由触摸区域的用户输入的系统的一个实施例。图1A示出了用户坐在台子9处，显示器96处于用户的面前。用户将他或她的手伸在台子9上。显示器96上方有捕捉设备20。捕捉设备20可包括能够确定用户的手相对于台子9的位置的3D相机。计算系统12可通信耦合到显示器96和捕捉设备20。作为示例，计算系统12可以是台式计算机系统的塔部分；然而，存在其他可能性。计算系统12、捕捉设备20、以及显示器96一起可被称为“系统”。该系统允许台子9被用来向计算系统12提供触敏用户输入。

在一个实施例中，捕捉设备20发射准直光束。准直光束的示例可包括但不限于，红外（IR）和激光。捕捉设备20检测来自捕捉设备20的从视野中的物体8反射的光。视野由线12a、12b来粗略地描绘。在这一示例中，物体8包括用户的手和手臂。光也从台子9反射并回到捕捉设备20。因此，可以确定用户的手相对于台子9的位置。在这一示例中，该人使用他的手来进行输入。然而，在一个实施例中，该系统跟踪用户的手以外的物体来允许输入。作为示例，用户可以通过在触摸区域11上方或之上移动笔或铅笔来引起输入。

在一个实施例中，捕捉设备20使用单个RGB相机来收集3D图像数据。在一个实施例中，RGB相机使用运动立体来确定深度。使用运动立体来确定深度可包括比较在不同时间捕捉到的两个RGB图像。诸如场景理解等技术可被用来使用单个RGB相机来帮助确定深度。

触摸区域11在台子9上用虚线描绘。触摸区域11是用户可以使用来对关联于显示器96的电子设备提供触敏输入的台子9的一部分。用户还可以悬停在触摸区域11上以在不触摸台子9的情况下提供悬停输入。在一个实施例中，该系统确定要被用作触摸区域11的台子9的合适部分。在一个实施例中，该系统允许用户指定台子9的什么部分应被用作触摸区域11。可存在一个以上触摸区域11。例如，可存在用于右手的一个触摸区域以及用于左手的另一触摸区域。注意，触摸区域11不需要具有任何传感器或任何特殊特性。因而，台子9不需要以任何特殊方式来制造。台子9以外的表面可被用于触摸区域11。

为讨论起见，台子9的表面可被认为是处于x-y平面中。在一个实施例中，该系统确定用户的手相对于台子9（或触摸区域11）的(x,y,z)坐标。在一个实施例中，触摸区域11的x-y坐标与显示器96的x-y坐标系相关。在一个实施例中，z轴对应于距台子9的表面的距离。可以使用其他坐标系。例如，坐标可以从捕捉设备20的观点来表达，如将在下文讨论的。

图1B描绘了在用户的一只手在台子9的触摸区域11上方时该系统的显示画面的一个实施例。在该示例中，在显示屏96上的各元素23上方显示用户的手的透明表示18。表示18在本文中可被称为“用户输入元素”18。通过使其透明，用户输入元素18之后或之下的元素23可被清楚地看到。用户输入元素18不需要像人的手。还要注意，在呈现手时，它在形状上不一定是用户的手的精确表示。

可以使用各种呈现效果来帮助用户直观地控制用户输入。在一个实施例中，当用户悬停在台子9上方时，以某种特殊方式来呈现用户输入元素18。例如，可以使用特定色彩来指示悬停。作为一个示例，用户输入元素18可以是透明蓝色来指示悬停。在一个实施例中，在手指处于靠近台子9的触摸区域11的接触区内时，在显示器96上突出显示该手指。这由指尖边缘上的突出显示15来描绘。突出显示15可以将指尖的边缘示出为发光或任何其他效果。

另一效果是示出阴影21a、21b以向用户提供他们的手距触摸区域11有多远的感觉。例如，如果基于两个假想光源呈现了两个阴影21a、21b，则在阴影21a、21b合并在一起时，手看起来更靠近表面。描绘了两个阴影21a、21b的合并区域27。阴影也可呈现在用户输入元素18下方，但这些阴影在图1B中未示出。

可以使用其他效果来向用户提供他们的手距触摸区域11有多远的感觉。在一个实施例中，用户输入元素18至少在某种程度上使得呈现在它下方的事物变形。在一个实施例中，在手移动得远离触摸区域11时，变形的量增加。例如，词语“Store”显得有点变形。在一个实施例中，在用户将他们的手移动得更靠近触摸区域11时，变形变得更小。注意，即使存在某种水平的变形，用户输入元素18也仍然可以被认为是透明的，这与半透明或不透明形成对比。

图1C示出了用户输入元素18（而没有示出显示器96）的一个实施例。用户输入元素18具有被边缘15、17所包围的透明内部部分13。各边缘中的一些表示触摸点15。在该示例中，拇指和各手指中的一些的指尖是触摸点15。按与其他边缘不同的方式来呈现触摸点15，以使得用户可以看到他们处于接触区内的何处。注意，接触区可以处于距接触区域11某一相对近的距离内。因此，触摸点15不一定对应于实际上与触摸区域11物理上接触的部分。

注意，不是接触点的边缘17可与内部透明部分13不同地呈现，以帮助用户清楚地看到用户输入对象18的边缘。例如，边缘17可被呈现得有点比透明区域13更亮，或者更暗，以帮助突出边缘17。可以对边缘17使用其他效果以帮助突出它们。

显示器96可以与其他类型的电子设备相关联。另一示例是可被称为“头戴式显示器”或“抬头显示器”的显示器。图1D示出了允许佩戴HMD2的用户通过触摸台子9的表面或悬停在台子表面上方来提供输入的系统。在一个实施例中，HMD2具有能够确定用户的手相对于台子9上的触摸区域11的位置的3D相机。然而，可以使用不同的相机系统。因此，HMD不需要具有3D相机系统。

HMD2显示器可以呈现与图1B中描绘的图像相似的图像，以向用户示出他们的手相对于显示器96上的元素而言位于何处。在一个实施例中，HMD2呈现图像，使得它对用户而言显得一些表面（如台子9或墙）正担当显示表面。注意，如果使用台子9，则图像可看起来出现在台子9的与触摸区域11不同的区域中，使得用户的手不干扰该图像。然而，一个选项是呈现显示图像，使得它大致符合触摸区域11。

图1E示出了作为通过线6与处理单元4进行通信的近眼、头戴式显示（HMD）设备2的透视显示设备。在其他实施例中，头戴式显示设备2通过无线通信来与处理单元4进行通信。处理单元4可以采取各种实施例。在一些实施例中，处理单元4是可以佩戴在用户的身体（例如，在所示示例中的腕）上或置于口袋中的分开的单元，并且包括用于操作近眼显示设备2的计算能力中的大部分能力。处理单元4可以与一个或多个计算系统12、热点、蜂窝数据网络等无线地（例如，WiFi、蓝牙、红外、或其他无线通信手段）通信。在其他实施例中，处理单元4的功能可被集成在HMD2的软件和硬件组件中。处理单元也可被称为“处理逻辑”。处理逻辑可包括硬件和/或软件的任何组合。例如，处理逻辑可包括专用集成电路（ASIC）。处理逻辑可包括存储了处理器可执行指令的计算机可读存储设备以及执行指令的处理器。

头戴式显示设备2（在一个实施例中它是带镜架115的眼镜的形状）被佩戴在用户的头上，使得用户可以透视显示器（在该示例中该显示器被实现为用于每一只眼睛的显示光学系统96），并且从而具有对该用户前方的空间的实际直接视图。使用术语“实际直接视图”来指直接用人眼看到现实世界物体，而非看到所创建的对象的图像表示的能力。例如，透过眼镜看房间将允许用户得到该房间的实际直接视图，而在电视机上查看房间的视频不是该房间的实际直接视图。基于执行软件（例如，游戏应用）的上下文，该系统可以将虚拟对象的图像（有时称为虚拟图像）投影在可由佩戴该透明显示设备的人观看的显示器上，同时该人还透过该显示器观看现实世界物体。

镜架115提供用于将该系统的各元件保持在原位的支承体以及用于电连接的管道。在该实施例中，框架115提供了便利的眼镜架作为下面进一步讨论的系统的各元件的支撑体。在其他实施例中，可以使用其他支承结构。这样的结构的示例是帽舌、帽子、头盔或护目镜。镜架115包括用于搁在用户的每一只耳朵上的镜腿或侧臂。镜腿102代表右镜腿的实施例，并且包括HMD2的控制电路136。镜架的鼻梁104可包括捕捉设备20，它能够使用3D成像来检测它视野中的对象。

图1F示出了使用处于屏幕67之内或之后的深度相机系统来提供触摸界面的系统的一个实施例。用户坐在台子9处并与屏幕67交互，屏幕67在它之后具有深度相机系统或使深度相机系统内置于屏幕67内。深度相机系统能够捕捉3D图像数据。深度相机系统可包括光源68和一个或多个（可能很多）光检测器。作为一个示例，光源可以是红外（IR）。在一个实施例中，屏幕67的每一像素担当光检测器。然而，光检测器不需要是像素的一部分。像素可以是LCD屏幕的一部分，但可以使用其他技术。在一个实施例中，来自光源68的光穿过屏幕67并从用户8反射。屏幕67之中或之后的一个或多个光检测器捕捉反射光。因此，可以确定用户的手相对于屏幕67的位置。注意，这可包括x-、y-、以及z-位置。

屏幕67也能够用作显示器。然而，在使用触摸交互系统时，屏幕67不必被用作显示器。相反，用户8所佩戴的HMD2可被用作显示器，类似于图1D的示例。因而，该系统使用屏幕67之内或之后的深度相机系统来确定用户的手相对于屏幕67的位置。该系统在HMD2（或某一其他显示器）中显示用户的手的表示。例如，HMD2可以示出诸如图1B中的图像等图像。注意，在交互时，用户不一定向下看台子9。例如，用户可以看着墙，使得在HMD2中呈现的图像显得是墙上的显示屏。因而，图1F中示出的实施例和图1D的实施例之间的差异是深度相机系统的位置。在图1F的实施例中，HMD2不必具有深度相机。

图2示出了包括捕捉设备20和计算系统12的、可被用来允许对电子设备的用户输入的系统10的一个实施例。电子设备可包括计算系统12，但这并非是必需的。在一个实施例中，捕捉设备20是被配置成捕捉3D图像数据（这包括具有深度信息的静止图像和视频）的深度相机（或深度感测相机）。深度信息可包括具有深度值的深度图。深度相机可以使用各种技术，包括但不限于飞行时间、结构化光、立体图像等等。在一个实施例中，捕捉设备20包括深度感测图像传感器。

深度图可包括所捕捉的场景的二维（2-D）像素区域，其中2-D像素区域中的每个像素都可以表示深度值，比如所捕捉的场景中的物体与相机相距的例如以厘米、毫米等为单位的距离。图像相机组件32可被预校准以获得相机固有参数的估值，如焦距、主点、透镜失真参数等。用于相机校准的技术在Z.Zhang的“A Flexible New Technique for CameraCalibration（用于相机校准的灵活的新技术）”，关于模式分析和机器智能的IEEE论文集，22(11):1330-1334，2000中讨论，它通过引用结合于此。

如图2所示，捕捉设备20可包括可被用来捕捉捕捉区域的深度图的IR光组件34、三维（3-D）相机36、以及RGB相机38。例如，在飞行时间分析中，捕捉设备20的IR光组件34可以将红外光发射到捕捉区域上，然后可以使用传感器，用例如3-D相机36和/或RGB相机38来检测从捕捉区域中的一个或多个目标和物体的表面反向散射的光。在某实施例中，捕捉设备20可包括IRCMOS图像传感器。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到捕捉区域中的目标或物体上的特定位置的物理距离。此外，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。

在一个实施例中，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度以间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。

在另一示例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光（即，被显示为诸如网格图案或条纹图案等已知图案的光）可经由例如IR光组件34被投影到捕捉区域上。在撞击到捕捉区域中的一个或多个目标（或物体）的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机36和/或RGB相机38来捕捉并被分析以确定从捕捉设备到目标或物体上的特定位置的物理距离。

在某些实施例中，可将两个或更多个不同的相机整合到一个集成捕捉设备中。例如，深度相机和视频相机（例如RGB视频相机）可以被合并到共同的捕捉设备中。在某些实施例中，可协同使用两个或更多个分开的捕捉设备。例如，可使用深度相机和分开的摄像机。当使用摄像机时，该摄像机可用于提供目标跟踪数据、对目标跟踪进行纠错的确认数据、图像捕捉、身体部位识别、对手指（或其他小特征）的高精度跟踪、光感测和/或其他功能。

在一个实施例中，捕捉设备20可包括可以从不同的角度观察捕捉区域的两个或更多个在物理上分开的相机，以获取可以被解析以生成深度信息的视觉立体数据。还可通过使用多个检测器（可以是单色、红外、RGB或任意其他类型的检测器）捕捉图像以及执行视差计算，来确定深度。也可使用其他类型的深度图传感器来创建深度图。

如图2所示，捕捉设备20可以包括话筒40。话筒40可包括可接收声音并将其转换成电信号的变换器或传感器。在一个实施例中，话筒40可用于减少目标检测和跟踪系统10中的捕捉设备20与计算系统12之间的反馈。另外，话筒40可用于接收也可被用户提供以向计算系统12提供用户输入的音频信号。例如，在用户使用触摸界面输入了某一命令之后，系统12可提示用户通过提供音频输入来验证该命令。

捕捉设备20可包括与图像相机组件22进行通信的逻辑42。逻辑42可包括可执行指令的标准化的处理器、专用处理器、微处理器等。逻辑42还可包括诸如ASIC、电子电路、逻辑门等之类的硬件。在逻辑42是处理器的情况下，处理器42可以执行各个指令，包括用于确定深度图以及确定诸如手等目标是否在深度图中的指令。注意，计算系统12可具有用于执行一个或多个步骤以允许经由触摸界面的用户输入的单独处理器。在一些实施例中，深度相机中的逻辑42执行深度图像的初始处理，并且计算机系统12中的处理器执行更高级的功能。注意，捕捉设备20中的逻辑和计算机系统12中的处理器之间的劳动划分可以用不同的方式来划分。

如图2所示，捕捉设备20可包括存储器组件44，存储器组件44可存储可由处理器42执行的指令、由3-D相机或RGB相机所捕捉的图像或图像的帧、用户简档、或任何其他合适的信息、图像等等。在一个示例中，存储器组件44可包括随机存取存储器（RAM）、只读存储器（ROM）、高速缓存、闪存、硬盘或任何其他合适的存储组件。存储器组件44也可被称为计算机存储介质或计算机存储设备。如图2所示，存储器组件44可以是与图像捕捉组件34和处理器42进行通信的单独组件。在另一实施例中，存储器组件44可被集成到处理器42和/或图像捕捉组件34中。在一个实施例中，图2所示的捕捉设备20的组件34、36、38、40、42和44中的部分或全部被容纳在单个外壳中。

如图2所示，捕捉设备20可以经由通信链路46与计算系统12通信。通信链路46可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。计算系统12可以经由通信链路46向捕捉设备20提供时钟，该时钟可以用来确定何时捕捉例如场景。

在一个实施例中，捕捉设备20可将由例如3-D相机36和/或RGB相机38捕捉的深度信息和图像经由通信链路46提供给计算系统12。计算系统12然后可使用深度信息和所捕捉的图像来例如创建虚拟屏幕、改变用户界面、以及控制诸如游戏或文字处理程序等应用程序。

如图2所示，计算系统12包括UI命令库192、结构数据198、用户输入引擎190、深度图处理和物体报告模块194以及操作系统196。深度图处理和物体报告模块194使用深度图来跟踪诸如用户和其他物体等物体的运动。为了帮助跟踪物体，深度图处理和物体报告模块194使用UI命令190、结构数据198和用户输入引擎190。在一些实施例中，深度图处理和物体报告模块194使用分类器195和特征库199来标识各物体。

在一个示例中，结构数据198包括关于可被跟踪的物体的结构信息。例如，可以存储人类的骨架模型以帮助理解用户的移动并识别身体部位。在一个实施例中，可识别用户的手和手指。骨架模型可允许区分右手和左手，以及将一个手指与另一个手指区分开。在另一示例中，还可以存储关于无生命物体（诸如道具）的结构信息以帮助识别这些物体并帮助理解移动。作为一个示例，可识别可被用于用户输入的道具，如笔和铅笔。

在一个示例中，UI命令库192可包括用户输入命令的集合。这些命令可涉及用户的各个运动，以及哪一只手/手指在执行该运动。因而，在一个实施例中，UI命令库192具有帮助将特定身体部位链接到命令的信息。例如，UI命令库192可将由捕捉设备20所捕捉的数据（其形式为骨架模型以及与其相关联的移动）与UI命令库192中的过滤器进行比较来标识用户（其由骨架模型来表示）何时执行了一个或多个命令。那些命令可与应用的各种控制相关联。

图3是基于3D图像数据来接收对关联于显示器96的电子设备的用户输入的过程300的一个实施例的流程图。电子设备的示例包括台式计算机系统和HMD2。作为一个示例，过程300可被用来允许用户通过接触台子9或悬停在台子9上方来提供输入。过程300可由可包括台式计算机、HMD2、或另一电子设备的计算系统12执行。

在步骤302，确定物体相对于表面的3D位置。该物体可以是用户的手。通常，表面将是水平平面，但这不是必需的。可使用任何表面。例如，表面可以是垂直平面或任何斜平面。此外，表面不需要是平的。例如，表面可具有起伏。表面可具有某些其他几何形状，如半球。

步骤302可包括确定用户的手在触摸区域上的投影。例如，触摸区域11可被定义为处于x-y平面中，其中确定用户的手相对于触摸区域11的x-y位置。步骤302还可包括确定用户的手距触摸区域11有多远。例如，该系统确定用户的手距触摸区域11的平面有多远。如果触摸区域11是水平平面，则该系统确定该手在触摸区域11上方多远处。如上所述，触摸区域11不必需是水平平面。因而，距触摸区域11的距离可以是垂直距离或某一其他定向。在一个实施例中，为触摸区域11定义至少一个平面，其中距该平面的距离由垂直于该平面的线来确定。在一个实施例中，触摸区域11与来自捕捉设备20的深度图像的各像素相关联。在这种情况下，可为这些像素中的每一个定义平面方程。因而，触摸区域11可以与许多平面相关联。

在步骤304，基于用户的手的3D位置来在关联于电子设备的显示器96上呈现用户输入元素18。这可包括在显示器96的适当的x-y位置处呈现用户的手的透明表示。同样，用户的手距具有触摸区域11的表面的距离可被用来确定该用户是处于接触区、悬停区、还是更远。这一信息可被用来以描绘该用户是处于接触区、悬停区、还是更远的方式来呈现用户输入元素18。

在步骤306，基于用户的手相对于触摸区域11的3D位置来接收对电子设备的用户输入。如果用户正触摸或几乎触摸具有触摸区域11的表面，则输入可以是对显示器96上的元素的选择。如果用户悬停得距表面稍远，则输入可以是悬停事件或焦点事件。悬停事件的一个示例是呈现显示器96上的元素的附加信息。例如，如果用户悬停在显示器96上的电话号码上方，则悬停事件可以是呈现选项菜单，包括拨打该号码、执行逆向查找、向该人发送电子邮件（如果知道电子邮件地址的话）等等。

图4A是确定用户的手相对于触摸区域11的位置的过程400的一个实施例的流程图。过程400是步骤302的一个实施例。在步骤402，确定触摸区域11。在一个实施例中，在可在图4的其他步骤之前执行的校准时间段期间执行步骤402。例如，在确定背景时可使用步骤402。在一个实施例中，在或多或少连续的基础上确定触摸区域11。因而，如果捕捉设备20被推挤，则可对定义触摸区域11的位置的数据进行合适的调整，以在对用户而言就地保持实际触摸区域11的同时补偿该推挤。

在步骤404，标识用户的手。在一个实施例中，在校准时间段结束之后执行步骤404。因而，步骤404可使用与步骤402不同的一组图像数据。然而，在一个实施例中，使用相同的一组图像数据来执行步骤402和404。如上所述，可以在或多或少连续的基础上确定触摸区域11，在这种情况下，可以使用相同的图像数据来确定触摸区域和标识手。

在步骤406，确定用户的手相对于触摸区域11的位置。步骤406可包括确定用户的手是处于接触区、悬停区、还是更远。步骤406还可包括确定手投影在触摸区域11的平面的什么部分。

图4B是示出将用户的手映射到触摸区域11的示图，这可以在过程400的步骤406期间执行。用户的手8被示出在触摸区域11的上方。出于讨论的原因，触摸区域11位于x-y平面内，其中z轴垂直于该平面。注意，触摸区域11中的所有点不必需处于同一平面内。图4B描绘了在z方向上从触摸区域11的x-y平面延伸出的接触区45。悬停区47在接触区45的外延开始，沿z轴延伸得距触摸区域11更远。注意，即使手8在悬停区47的外部（例如，沿z轴更远），手8也仍然可由捕捉系统20检测到。图4B还示出了用户的手8在触摸区域11的x-y平面上的投影48。

虽然图4A和4B以及本文讨论的其他示例引用了其中标识用户的手并将其映射到触摸区域11的示例，但将理解，其他物体可被用于用户输入。同样，注意，该物体被肯定地标识为特定类型的物体不是必需的。例如，该物体不必需被标识为手。然而，在一些实施例中，使用物体识别。

图5A是确定触摸区域11的过程500的一个实施例的流程图。过程500提供步骤402的一个实施例的细节。在过程500中，在标识用户的手之前的校准时间段期间，可以确定触摸区域11。在步骤502，捕捉3D图像。3D图像可包括深度像素的阵列。出于讨论的原因，这一阵列将被称为(u,v)阵列。因而，在一个实施例中，每一深度像素与一(u,v)坐标相关联。在一个实施例中，每一深度像素具有深度值。此时，深度值能以距相机的距离为根据。因而，注意，这些深度值不是距台子9的距离。

在步骤504，基于3D图像来确定表面的平面。在一个实施例中，首先分析深度值来寻找看起来是表面的像素。具有相似深度值的各组相邻像素是一个线索。表面的大小也是一个线索。如果存在一个以上可能的表面，则可以使用诸如表面大小、斜率、以及距捕捉设备20的距离等因素。

在一个实施例中，确定深度图像中的每一像素的平面方程。可通过分析相邻像素的深度值来确定给定像素的平面方程。对于每一像素，可基于它的3D位置和始自该位置的法线来定义平面方程。可通过对相邻像素的位置的上述分析来确定法线。因而，在一个实施例中，步骤504包括确定3D图像中的每一像素的平面方程。因为3D图像中的每一像素可以与唯一的(u,v)坐标相关联，所以步骤504确定各(u,v)坐标的平面方程。

图5B示出了确定平面方程的一个实施例的细节。如在步骤502所讨论的，深度相机20被用来生成深度图像。图5B中描绘的(x,y,z)坐标系是用于x-y平面的，其中将定义触摸区域11。因而，注意，深度相机20所生成的深度图像通常将具有不同的坐标系。还要注意，对(x,y,z)坐标系的引用是为了便于讨论。触摸区域11可由一个以上平面来定义。

如上所述，深度图像的各像素能按(u,v)坐标和深度值来定义。因而，可相对于某一坐标系（不一定是图5B中的x,y,z坐标系）来向深度值中的每一像素分配3D位置。其3D位置使得它处于触摸区域11上的少许像素501被表示为触摸区域11的平面上的点。只示出了少许像素501，以便不使该附图模糊。法线502被示为始自深度轴501之一。给定像素的法线502是与该像素501及其一些邻居像素所定义的平面正交的线。像素501及其邻居像素的叉积可被用来确定法线502。因而，深度像素501的平面方程可被定义为该深度像素的3D坐标和法线502。

在步骤506，确定触摸区域11。触摸区域11可被定义为具有大约与显示器96相同形状的四边形区域。该四边形可以大于、小于显示器96或与显示器96相同大小。触摸区域11不必需与显示器96形状相同。同样，如上所述，可以有两个分开的触摸区域11。每一区域都可被用来控制整个显示屏96。或者，每一触摸区域11可控制显示器96的单独部分。

在图5B中，x-y坐标可以与关联于显示器96的x-y坐标系相关。显示器96的x-y坐标系可以与分辨率（例如，1280x800、1280x960、1280x720、1024x768，等等）相关。因为诸如分辨率等显示器参数是可调整的，所以触摸区域11与显示器96之间的映射可以响应于显示器参数的变化而改变。

在一个实施例中，并非在校准时间段期间确定触摸区域11，触摸区域11是或多或少连续地确定的。图5C是在任何时候定义触摸区域11的过程520的一个实施例的流程图。过程520是步骤402的一个实施例。触摸区域11可以用每一新3D图像帧或某一其他频率来确定。在步骤522，访问3D图像帧。可为3D图像生成深度云模型。深度云模型在下文更充分地讨论。简言之，可通过确定深度图像中的每一像素的3D坐标来形成深度云模型。

在步骤524，确定3D图像中的三个随机点的平面方程。可通过基于这三个点的位置取叉积来确定平面方程。这三个点可能最后并不在台子9的实际表面上，所以这一平面方程将不一定最终被使用。

在步骤526，将平面方程置于桶中。表示彼此重合（或至少接近重合）的平面的平面方程可被置于同一个桶中。对其他组三个随机点重复步骤524和526，直至分析了所需点为止（步骤527）。可以相当快速地确定台子9的平面。注意，即使用户将他们的手置于台子9上方，这一技术也可以找出台子9的平面。因而，注意，图像数据也可被用来确定用户的手相对于台子9的位置。

在步骤528，定义触摸区域11。在一个实施例中，处于各个桶之一内的所有各组三个随机点被确定为处于具有触摸区域11的平面上。在一个实施例中，该桶可被标识为具有最多点的桶。

图5D示出了基于各组三个随机点来确定触摸区域11的一个实施例的示例。两组三个随机点被示为每组具有一个法线502。在过程520期间，许多组三个随机点应当落入大致同一平面上。没有落入的那些组最终被丢弃。触摸区域11可被定义为所确定的平面内的某一四边形。

图6A是标识用户的手以及该手相对于触摸区域11的位置的过程600的一个实施例的流程图。过程600是来自图4A的步骤404和406的一个实施例。

在步骤602，捕捉设备20捕捉3D图像数据。在一个实施例中，在标识了触摸区域11之后执行过程600。因而，在图像数据被用于确定触摸区域11之后，可收集在过程600期间使用的图像数据。同样，因为触摸区域11已被确定，所以这一区域（以及诸如台子等表面的其他部分）可被分类成背景。在一个实施例中，使用相同的图像数据来确定触摸区域11和用户的手。过程500可被用来在步骤602之前标识触摸区域11。在一个实施例中，在过程600中使用被用来标识触摸区域11的相同图像数据。使用与在过程600中使用的相同图像数据，过程520可被用来标识触摸区域11。

在步骤604，基于深度图像中的各深度像素距表面（例如，台子9）的距离，将它们置于不同的桶中。在一个实施例中，存在着用于背景像素、触摸像素、以及悬停像素的桶。背景像素可以是被认为处于表面上的所有像素。触摸像素可以是处于距表面的特定距离内但实际上不在表面上的所有像素。例如，触摸像素可以是处于距表面大约5mm内但不在表面上的那些像素。悬停像素可以是距表面比触摸像素更远但仍然处于某一预定义范围内的那些像素。例如，悬停像素可以是距表面远于5mm但近于6cm的那些像素。

如在此所述，在一个实施例中，深度图像中的每一像素与唯一(u,v)坐标相关联。可通过查找先前为该(u,v)坐标确定的平面方程来处理来自深度图像的每一深度像素。基于该平面方程，可以确定距深度像素和平面的距离。因而，实际上，向每一深度像素分配了距表面的距离。

图6B示出了通过将各深度像素置于桶中而形成的示例距离图670。距离图670中的每一像素被置于背景桶672、接触桶674、或悬停桶676中。用户的左手主要在悬停区47中。因此，左手的深度像素主要被置于悬停桶676中。用户右手的大部分处于悬停区47中。然而，指尖中的一些处于接触区45中。因此，右手的深度像素中的许多被置于悬停桶672中。然而，一些被置于接触桶674中。表面上其他位置存在着也被确定为处于接触区45中的一些随机各组像素，并且因而当时它们被置于接触桶674中。在图6B的示例中，深度图像中的各像素的大多数被置于背景桶672中。

在图6A的步骤606中，检测3D图像数据中的候选“团块”。“团块”可被定义为基于其位置和深度值而看起来是同一物体的一部分的一组像素。在一个实施例中，标识第一背景像素。因而，在步骤606中只需要分析前景（前景可以是比背景更靠近深度相机的任何事物）中的像素。在一个实施例中，在步骤606，执行一系列floodfill。

在标识了多个候选团块之后，可以在以下步骤中轮流处理每一团块。步骤608是用于确定是否存在要处理的更多团块的测试。在步骤610，筛选当前候选团块以确定它是否是感兴趣的物体，如手臂、手、手指等等。例如，如果团块过大或过小，则它可被拒绝。如果团块过大，则它可指示无效的帧，在这种情况下，该帧可被丢弃。过小的团块可指示随机噪声，它可被忽略。如果团块具有过多空洞而不对它感兴趣，则它可被拒绝。如果团块被拒绝（步骤612），则处理返回到步骤608。

如果团块未被拒绝，则在其他步骤中处理它。在一个实施例中，处理被确定为包括手的团块（参见步骤612）。然而，可使用其他准则。对身体部位的筛选不是必需的。作为一个替换方案，用户可以使用某一物体来提供用户输入。可以使用任何物体，如笔、铅笔等。

在一个实施例中，为要进一步分析的团块开发点云模型。然而，注意，可以更早地确定点云模型。点云模型可以是3D模型，其中向深度图像中的每一深度像素分配了3D空间中的坐标。针对深度图像中的每一深度像素，点云都可具有一个点，但这不是绝对要求。在一个实施例中，点云中的每一个点是体积像素（即，voxel）。为便于讨论，将假定，点云中的每一体积像素具有深度图像中的对应的深度值。然而，注意，该一对一对应关系不是必需的。

图6C描绘了手和手臂的一部分的点云模型605。点云模型605被描绘在(a,b,c)坐标系内。因而，描绘了坐标系的a轴、b轴、以及c轴。在一些实施例中，坐标系中的这些轴中的两个对应于深度图像的u轴和v轴。然而，这一对应关系不是必需的。沿全局坐标系中的第三轴的位置可以基于深度图中的深度像素的深度值来确定。注意，可以用另一方式来生成点云模型605。

在图6A的步骤614中，该系统确定用户的手的至少一部分是否处于接触区45内。在一个实施例中，该系统可以确定团块的一部分是否处于接触区45内。在一个实施例中，该系统跟踪指尖并确定指尖是否处于接触区45中。以下描述进一步的细节。

在一个实施例中，如果手的一部分处于接触区45内，则在步骤616生成接触事件。步骤616可包括以向用户示出他们在接触或选择一元素的方式来呈现指尖。步骤616还可包括接收选择来作为对电子设备的输入。以下描述进一步的细节。在步骤614或616之后，处理继续至步骤618。

在618，确定手是否处于悬停区47内。悬停区47可被定义为处于距触摸区域11的表面的特定距离内。在一个实施例中，如果手处于悬停区47中，则在步骤620生成悬停事件。步骤620可包括以向用户示出他们处于悬停区的方式来呈现处于悬停区的手的一部分。悬停事件也可以是对电子设备的用户输入。如上所述，用户悬停可指示对显示器上的元素的兴趣或焦点（而非提交）。以下描述进一步的细节。在步骤618或620之后，处理继续至步骤622。

如果手既不在接触区45中也不在悬停区47中，则在步骤622，该手被记录为处于接触区和悬停区之外。记录这一信息，使得可以在显示器96上呈现反馈，以向用户示出他们的手的位置（即使它在接触区和悬停区45、47之外）。过程600随后可返回到步骤608以确定是否存在要处理的更多团块。

图6D示出了跟踪指尖的过程680的一个实施例的流程图。在确定接触区45内存在团块时，可以执行跟踪指尖。在过程600的步骤614中确定手的一部分处于接触区45中时，可以执行过程680。在步骤682，检测手的接触触摸区域11的各部分。在一个实施例中，在步骤682，检测触摸团块。在一个实施例中，执行一系列floodfill以标识处于接触区45中的指尖团块。在一个实施例中，这些floodfill只对被标识为手/手臂团块的一部分的像素工作。这阻止了不与用户的手相关联的随机像素被错误地标识为触摸点。回头参考图6B，只有距离图670中的被置于接触区桶674中的并且作为手的一部分的那些像素被标识为触摸点。

在一个实施例中，这些触摸团块中的每一个被标识为特定手指和手。例如，给定触摸团块可被标识为是右手食指的一部分。这一信息稍后可被用来允许用户录入依赖于哪一手指和/或手被使用的输入。然而，注意，对特定手指/手的标识可在某一其他时间执行。

在确定团块是否处于接触区45内时，处理可逐体积像素地进行。因而，步骤682可以确定点云605中的任何点是否表示该团块处于接触区45内。

在一个实施例中，步骤682一次分析一个图像帧。可对每一新图像帧重复步骤682。在步骤684，随时间跟踪指尖团块。因而，步骤684处理许多不同的图像帧。步骤684可包括逐帧来匹配指尖团块。注意，对每一指尖团块如上所述地标识特定手/手指不是必需的。在一个实施例中，从当前帧到一个或多个过去帧，使用能量最小化来匹配指尖团块。

在步骤686，基于对指尖团块的跟踪来确定用户输入。在一个实施例中，随时间跟踪一个或多个指尖的触摸区域11中的x-y坐标。在一个实施例中，在触摸区域11中移动的指尖的数量确定了用户输入的类型。例如，移动一个手指可指示用户想要移动显示器96上的元素。如果同时移动两个手指，则这可指示用户想要放大或缩小。一个类型的缩放是改变所呈现的事物的大小。例如，用户可能想要放大或缩小地图。另一类型的缩放是在目录中移至更高或更低级。例如，用户可能张开他们的手指以指示他们想要看到下一级目录中的文件或其他信息。作为另一示例，张开他们的手指可被用来发出应打开文件夹以展示它的内容的信号。收拢手指可指示应当关闭文件夹或用户想要在分层结构中向上一级（或后退）。

在一个实施例中，用户输入依赖于他们使用哪一只手和/或哪些手指。注意，不同于常规触摸界面，各实施例的触摸界面能够确定用户正在使用哪一只手和手指。例如，用户可将拇指和（任一只手）的手指捏合对将一只手的手指向另一只手的手指捏合。对于一些常规触摸界面，不能区分这些动作。然而，在一个实施例中，向这两个不同的用户动作分配不同的用户输入。存在着用于提供依赖于使用哪一只手和/或哪些手指的用户输入的许多其他可能性。

一个类型的用户输入是选择呈现在显示器96上的元素。该选择可以通过用户简单地触摸元素来指示。可以存在定义用户应当触摸该元素多久才能被认为是选择的参数。这一选择也可以通过用户轻击一次或多次来指示。例如，用户可以简单地轻击元素来选择它。或者，该选择可以通过双击来指示。可使用许多其他类型的输入。

注意，图6D描述了跟踪指尖团块的示例。然而，可跟踪其他物体。如上所述，不必需使用身体部位来提供触摸输入。例如，用户可采用诸如笔等物体来与触摸区域11进行交互。在该示例中，可随时间跟踪笔的处于接触区中的各部分以确定用户输入。

图7是呈现用户输入元素18和阴影21的过程700的一个实施例的流程图。在步骤702，访问手的点云模型605。在一个实施例中，基于其深度值来处理点云模型605中的每一像素，以使得进一步的各呈现步骤可以产生诸如图1C的示例等图像。如在该示例中讨论的，用户输入元素18可具有透明内部部分13以及边缘15、17。边缘中的一些可被突出显示以向用户示出这些边缘是触摸点15。

在步骤704，生成用于呈现用户输入元素18的数据。步骤704可包括一个或多个混合、明暗处理、以及其他图形处理步骤。在一个实施例中，点云模型605中的每一像素被表示为圆形或球形，其直径取决于该像素距触摸区域11的距离。在一个实施例中，该圆距触摸区域11越远，它的直径就越大。在一个实施例中，手距触摸区域11越远圆就越大会造成底层图像的更大模糊。这向用户提供了他们相距较远而不能与触摸区域11交互的视觉线索。

在一个实施例中，步骤704的处理执行混合操作，使得各个圆被混合。这产生了中间图像，其中内部部分13和边缘15、17具有不同的亮度水平。因而，透明内部部分13可容易地被标识，以确定什么区域应当具有与内部部分13相关联的各种效果，如变形。同样，触摸边缘15可容易地被标识，使得可以生成用于将它们呈现为突出显示的数据。在一个实施例中，中间图像被输入给明暗处理器（shader）。

在步骤706，生成用户输入元素18的阴影21a、21b。在一个实施例中，基于两个假想光源来定义阴影。这些假想光源可被用来生成表示用户的手在触摸区域11中的阴影的数据。作为一个示例，假想光源可以处于相对于触摸区域11大约45度角处。如上所述，点云模型605中的每一像素可被表示为圆或类似对象。在一个实施例中，光源穿过这些圆投影到触摸区域11的平面上，以生成阴影21a、21b的数据。

在步骤708，用户输入元素18和阴影21a、21b被呈现在显示器96上的正确位置处。注意，步骤708可包括将触摸区域11的x-y坐标系与显示器96的x-y坐标进行相关。可基于显示器分辨率（例如，1280x600等）来定义显示器96的x-y坐标。呈现输入对象18和阴影21a、21b可包括将表示这些对象的数据与表示呈现在显示器96上的任何其他事物的数据进行混合。

如上所述，显示器96可以与HMD2相关联。以下提供HMD2的进一步细节。图8A是透视、混合现实显示设备的眼镜实施例中的镜架115的提供对硬件和软件组件的支持的眼镜腿102的侧视图。在镜架115的前方是可捕捉视频和静止图像的面向物理环境的视频相机113。具体而言，在一些实施例中，面向物理环境的相机113可包括深度相机以及可见光或RGB相机。例如，该深度相机可包括IR照明器发射器和像处于可见图像传感器前方的热镜等热反射表面，该热反射表面使得可见光透过并将处于照明器所发射的波长范围内或预定波长周围的所反射的IR辐射定向到CCD或其他类型的深度传感器。可以使用其他类型的可见光相机（RGB相机）和深度相机。关于深度相机的更多信息可在2010年6月11日提交的美国已公布专利申请2011/0307260中找到，该申请的全部内容通过引用结合于此。来自传感器的数据可被发送到控制电路136的处理器210，或处理单元4、5，或者这两者，它们可以处理该数据但单元4、5也可发送到网络上的计算机系统或中枢计算系统12以供处理。该处理通过图像分割和边缘检测技术来标识对象，并将深度映射到用户的真实世界视野中的物体。另外，面向物理环境的相机113还可包括用于测量环境光的曝光计。

控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参考图10A提供。耳机130、惯性传感器132、GPS收发机144、以及温度传感器138处于镜腿102内部或安装在镜腿102上。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C（参见图10A）。惯性传感器用于感测头戴式显示设备2的位置、定向、以及突然加速。从这些移动中，也可以确定头部位置。

显示设备2提供可创建包括一个或多个虚拟物体的一个或多个图像的图像生成单元。在一些实施例中，微显示器可被用作图像生成单元。在该示例中，微显示器部件173包括光处理元件和可变焦点调整器135。光处理元件的示例是微显示器单元120。其他示例包括一个或多个光学元件，如透镜系统122的一个或多个透镜以及诸如图9A和9B中的表面124a和124b或图9C和9D中的124等一个或多个反射元件。透镜系统122可包括单个透镜或多个透镜。

微显示器单元120安装在镜腿102上或处于镜腿102内部，它包括图像源并生成虚拟物体的图像。微显示器单元120在光学上与透镜系统122和反射面124或以下附图中示出的反射面124a和124b对准。光学对准可以沿着光轴133或包括一个或多个光轴的光路133。微显示器单元120透过透镜系统122来对虚拟对象的图像进行投影，这可将图像光定向到反射元件124上，反射元件124将该光定向到图9C和9D中的光导光学元件112中或定向到反射面124a（例如，镜面或其他表面）上，反射面124a将虚拟图像的光定向到部分反射元件124b，部分反射元件124b将沿着路径133的虚拟图像视图与沿着图9A-9D中的光轴142的自然或真实直接视图进行组合。各视图的组合被引导到用户的眼睛。

可变焦调整器135改变微显示器部件的光路中的一个或多个光处理元件之间的位移或微显示器部件中的元件的光功率（optical power）。透镜的光功率被定义成其焦距的倒数，例如1/焦距，因而一个中的改变影响另一个。焦距的改变造成视野的区域的改变，例如特定距离处的区域，该区域对于由微显示器部件173生成的图像而言是焦点对准的。

在微显示器部件173作出位移改变的一个示例中，在电枢137内对位移改变进行引导，电枢137支承诸如该示例中的透镜系统122和微显示器120之类的至少一个光处理元件。电枢137帮助在各元件的物理移动期间稳定沿光路133的对准，以达到所选位移或光功率。在一些示例中，调整器135可以移动一个或多个光学元件，如电枢137内的透镜系统122中的透镜。在其他示例中，电枢可在光处理元件周围的区域中具有槽或空间，使得它在不移动光处理元件的情况下在该元件（例如微显示器120）上滑动。电枢中的另一元件（如透镜系统122）被附连，使得系统122或其内的透镜与移动的电枢137一起滑动或移动。位移范围通常是几毫米（mm）的量级。在一个示例中，范围是1-2毫米。在其他示例中，电枢137可以向透镜系统122提供对涉及除位移之外的其他物理参数的调整的焦点调整技术的支持。这样的参数的示例是偏振。

至于与调整微显示器部件的焦距有关的更多信息，请参见2010年11月8日提交的、发明人为Avi Bar-Zeev和John Lewis、题为“Automatic Variable Virtual Focus forAugmented Reality Displays（用于扩充真实显示的自动可变虚拟焦点）”的美国专利第12/941,825号，并且其通过引用结合于此。

在一个示例中，调整器135可以是诸如压电马达之类的执行器。也可使用用于执行器的其他技术，并且这样的技术的一些示例是由线圈和永久磁铁、磁致伸缩元件、以及电致伸缩元件形成的音圈。

存在着可用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理（DLP）、硅上液晶（LCOS）、以及来自Qualcomm有限公司的显示技术都是高效的反射技术的示例，因为大多数能量从已调制结构反射并且可用于本文描述的系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoP^TM引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束（例如，激光）发射到眼睛。

如上所述，微显示器部件173的光处理元件的配置创建焦距或虚拟物体出现在图像中的聚焦区。改变该配置会改变虚拟物体图像的聚焦区。由光处理元件确定的聚焦区可以基于等式1/S1+1/S2=1/f来确定和改变。

符号f表示透镜的焦距，如微显示器部件173中的透镜系统122。透镜系统122具有前节点和后节点。如果光线以相对于光轴的给定角度被向前引导到两个节点中的任一个，则光线将以相对于光轴的相等角度从另一节点出射。在一个示例中，透镜系统122的后节点将处于它自己与微显示器120之间。从后节点到微显示器120的距离可被表示成S2。前节点通常处于透镜系统122的几毫米内。目标位置是要由微显示器120在三维物理空间中生成的虚拟对象图像的位置。从前节点到虚拟图像的目标位置的距离可被表示成S1。因为图像是与微显示器120出现在透镜的相同侧的虚拟图像，所以符号规约示出S1具有负值。

如果透镜的焦距是固定的，则改变S1和S2来将虚拟物体聚焦在不同的深度处。例如，初始位置可使S1设置成无限远处，并且使S2等于透镜系统122的焦距。假定透镜系统122具有10mm的焦距，考虑虚拟物体要被置于用户视野中大约1英尺（即，300mm）的示例。S1现在大约是-300mm，f是10mm并且S2当前被设置在焦距的初始位置10mm，从而意味着透镜系统122的后节点与微显示器120相距10mm。基于1/(-300)+1/S2=1/10（所有项的单位均为毫米）来确定透镜122与微显示器120之间的新距离或新位移。其结果是S2大约为9.67mm。

在一个示例中，一个或多个处理器（如在控制电路中，处理单元4、5，或这两者）可以计算S1和S2的位移值，而使焦距f固定并使得控制电路136造成可变调整器驱动器237（参见图10A）发送驱动信号以使可变虚拟焦点调整器135例如沿光路133移动透镜系统122。在其他实施例中，作为移动透镜系统122的替换或补充，可以移动微显示器单元120。在其他实施例中，作为沿光路133的位移改变的替换或补充，也可以改变透镜系统122中的至少一个透镜的焦距。

图8B是混合现实显示设备的另一实施例中的提供对硬件和软件组件的支持和微显示器部件的三维调整的眼镜腿的侧视图。以上在图8A中示出的附图标记中的一些被移除以避免附图中的混乱。在显示光学系统14在三个维度中的任一个维度上移动的实施例中，由反射面124表示的光学元件和微显示器部件173的其他元件（例如，120、122）也可以移动以维持虚拟图像的光到该显示光学系统的光路133。在该示例中，由马达框203和传动轴205所表示的在控制电路136的处理器210（参见图10A）的控制之下的一个或多个马达构成的XYZ传动机构控制微显示器部件173的各元件的移动。可以使用的马达的示例是压电马达。在所示示例中，一个马达被附连到电枢137并且也移动可变焦点调整器135，并且另一代表性马达203控制反射元件124的移动。

图9A是透视、近眼、混合现实设备2的包括注视检测元件的安排的活动显示光学系统14的实施例的俯视图。近眼显示设备2的镜架115的一部分将包围显示光学系统14并且为微显示器部件173的实施例的各元件提供支持，微显示器部件173如图所示包括微显示器120以及其附随元件。为了示出显示系统14（在该情况下是右眼系统14r）的各个组件，在显示光学系统周围的镜架115的顶部部分未被描绘。另外，鼻梁104中的话筒110在该视图中未示出，以便将注意力集中于显示调整机构203的操作。如在图4C的示例中，在该实施例中，通过移动内部镜架117r来移动显示光学系统14，内部镜架117r在该示例中也包围微显示器部件173。在该实施例中，显示调整机构被实现为三轴马达203，这些马达将它们的传动轴205附连到内部镜架117r以在三个维度中的任一个维度上将显示光学系统14进行平移（如指示移动的三（3）个轴的符号144所示），在该实施例中显示光学系统14包括微显示器部件173。

在该实施例中，显示光学系统14具有光轴142并包括允许用户对现实世界的实际直接查看的透视镜片118。在该示例中，透视镜片118是眼镜中使用的标准镜片，并且可根据任何处方（包括不根据处方）来制作。在另一实施例中，用可变处方镜片来替换透视镜片118。在一些实施例中，透视、近眼显示设备2将包括附加镜片。

显示光学系统14还包括反射面124a和124b。在该实施例中，来自微显示器120的光经由反射元件124a沿光路133引导到嵌入在镜片118中的部分反射元件124b，部分反射元件124b将沿光路133行进的虚拟物体图像视图与沿光轴142的自然或实际直接视图进行组合，使得经组合的视图在光轴的具有用于最清晰视图的最准直光的位置处被引导到用户的眼睛（在该示例中是右眼）。

光传感器的检测区域139r也是显示光学系统14r的一部分。光学元件125通过捕捉来自用户的眼睛的沿光轴142接收到的反射光来实现检测区域139r，并将捕捉到的光定向到传感器134r，在该示例中传感器134r位于内部镜架117r内的透镜118中。如图所示，这一安排允许传感器134r的检测区域139使其中心与显示光学系统14的中心对准。例如，如果传感器134r是图像传感器，则传感器134r捕捉检测区域139，使得在图像传感器处捕捉到的图像以光轴为中心，因为检测区域139的中心是光轴。在一个示例中，传感器134r是可见光相机或RGB/IR相机的组合，并且光学元件125包括对反射自用户的眼睛的可见光进行反射的光学元件，例如部分反射镜面。

在其他实施例中，传感器134r是诸如IR相机等IR敏感设备，并且元件125包括令可见光穿过它并将IR辐射反射到传感器134r的热反射表面。IR相机不仅可以捕捉闪光，还可以捕捉用户的眼睛（包括瞳孔）的红外或近红外图像。

在其他实施例中，IR传感器设备134r是位置敏感设备（PSD），有时被称为光学位置传感器。检测到的光在传感器的表面上的位置被标识。可以选择对闪光的IR照明器的波长范围或大约预定波长敏感的PSD。当在该设备的传感器或光敏部件上检测到处于该位置敏感设备的波长范围内或大约是其预定波长的光时，生成标识检测器的表面上的位置的电子信号。在一些实施例中，PSD的表面被分成可从中确定光的位置的各分立传感器（像像素一样）。在其他示例中，可以使用PSD各向同性传感器，其中表面上的局部阻抗的变化可被用来标识光点在PSD上的位置。也可使用PSD的其他实施例。通过以预定顺序来操作照明器153，可以标识在PSD上的闪光反射位置并且因此将该闪光反射位置与角膜表面上的位置进行相关。

在图9A-6D中描绘的光检测元件（在这种情况下是反射元件）125、124、124a、以及124b是它们的功能的表示。这些元件可以采取任何数量的形式，并且可以用一个或多个光学组件按用于将光引导到其预期目的地（如相机传感器或用户的眼睛）的一个或多个安排来实现。如图所示，这一安排允许传感器的检测区域139使其中心与显示光学系统14的中心对准。图像传感器134r捕捉检测区域139，使得在该图像传感器处捕捉到的图像以光轴为中心，因为检测区域139的中心是光轴。

在用户看向正前方并且在检测区域139或图像传感器134r实际上以显示器的光轴为中心时用户的瞳孔的中心是所捕捉的用户的眼睛的图像的中心的情况下，显示光学系统14r与瞳孔对准。在两个显示光学系统14都与它们相应的瞳孔对准时，光学中心之间的距离与用户的瞳孔间距相匹配或对准。在图9A的示例中，瞳孔间距可以在三个维度上与显示光学系统14对准。

在一个实施例中，如果传感器134捕捉到的数据指示瞳孔未与光轴对准，则处理单元4、5或控制电路136或这两者中的一个或多个处理器使用将距离或长度测量单元与图像的像素或其他分立单元或区域进行相关的映射准则来确定瞳孔的中心距光轴142有多远。基于所确定的距离，一个或多个处理器确定要将显示光学系统14r调整多少距离以及在哪一方向上移动来使光轴142与瞳孔对准。控制信号由一个或多个显示调整机构驱动器245应用到组成一个或多个显示调整机构203的各组件之一，例如马达203。在该示例中在马达的情况下，马达移动它们的传动轴205来在由控制信号指示的至少一个方向上移动内部镜架117r。镜架115的可变形部分215a、215b处于内部镜架117r的镜腿一侧，它们的一端附连到内部镜架117r并且当显示光学系统14在三个方向中的任一方向上移动以相对于相应瞳孔来改变宽度、高度或深度时它们在镜腿架115内部的槽217a和217b内滑动以将内部镜架117锚定到镜架115。

除传感器之外，显示光学系统14包括其他注视检测元件。在这一实施例中，至少两个（2）（但可以更多）红外（IR）照明设备153在透镜118的侧面附连到镜架117r，它们将处于特定波长范围内或大约是预定波长的窄红外光束定向到用户的眼睛以各自在相应角膜的表面上生成相应闪光。在其他实施例中，照明器和任何光电二极管可以处于镜片上，例如在角上或在边上。在这一实施例中，除至少2个红外（IR）照明设备153之外，还有IR光电检测器152。每一光电检测器152对它对应的IR照明器153的通过镜片118的特定波长范围内的IR辐射敏感，并且被定位来检测相应闪光。如在图4A-4C中所示，照明器和光电检测器由屏障154分开，使得来自照明器153的入射IR光不干扰在光电检测器152处接收到的反射IR光。在其中传感器134是IR传感器的情况下，光电检测器152可能不需要或可以是附加闪光数据捕捉源。使用可见光相机，光电检测器152捕捉来自闪光的光，并且生成闪光强度值。

在图9A-9D中，例如检测区域139和照明器153和光电检测器152等注视检测元件的位置相对于显示光学系统14的光轴是固定的。这些元件与显示光学系统14r在内部镜架上一起移动，并且因此与显示光学系统14r的光轴一起移动，但它们与光轴142的空间关系不变。

图9B是透视、近眼、混合现实设备的包括注视检测元件的安排的可活动显示光学系统的另一实施例的俯视图。在这一实施例中，光传感器134r可被实现成可见光相机（有时称为RGB相机），或它可被实现成IR相机或能够处理可见光和IR范围内的光的相机，如深度相机。在这一示例中，图像传感器134r是检测区域139r。相机的图像传感器134r垂直地位于显示光学系统的光轴142上。在一些示例中，相机可以在镜架115上位于透视镜片118上方或下方，或嵌入在镜片118中。在一些实施例中，照明器153向相机提供光，而在其他实施例中，相机使用环境光或来自它自己的光源的光来捕捉图像。捕捉到的图像数据可被用来确定瞳孔与光轴的对准。基于注视检测元件的几何形状，可以使用基于图像数据、闪光数据或这两者的注视确定技术。

在这一示例中，鼻梁104中的马达203相对于用户的眼睛在水平方向上移动显示光学系统14r，如方向符号145所示。在系统14被移动时，可变形的镜架部件215a和215b在槽217a和217b内滑动。在这一示例中，微显示器组件173实施例的反射元件124a是固定的。因为IPD通常只确定一次并被存储，所以可能做出的对微显示器120与反射元件124a之间的焦距的任何调整可由微显示器部件来实现，例如经由在电枢137内对微显示器元件的调整。

图9C是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的第三实施例的俯视图。显示光学系统14具有注视检测元件的类似安排，包括IR照明器153和光电检测器152、以及位于镜架115上或位于透镜118上处于光轴142上方或下方的光传感器134r。在这一示例中，显示光学系统14包括作为用于将图像定向到用户的眼睛的反射元件并且被置于附加的透视透镜116和透视透镜118之间的光导光学元件112。反射元件124处于光导光学元件内并且与元件112一起移动，在该示例中在镜腿102上，微显示器部件173的实施例被附连到显示光学系统14的显示调整机构203，该显示调整机构203被实现为一组具有传动轴205的三轴马达203，包括用于移动微显示器部件的至少一个马达。鼻梁104上的一个或多个马达203表示提供三轴移动145的显示调整机构203的其他组件。在另一实施例中，马达可用于只经由它们的附连传动轴205来在水平方向上移动该设备。微显示器部件173的马达203还将垂直地移动它以维持从微显示器120出射的光与反射元件124之间的对准。控制电路的处理器210（参见图10A）对它们的移动进行协调。

光导光学元件112将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的眼睛。光导光学元件112还允许来自头戴式显示设备2的前方的光透过光导光学元件112传送到用户的眼睛，从而除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。因此，光导光学元件112的壁是透视的。光导光学元件112包括第一反射面124（例如，镜面或其他表面）。来自微显示器120的光穿过透镜122并入射在反射面124上。反射面124反射来自微显示器120的入射光，使得光通过内反射而被捕获在包括光导光学元件112的平面衬底内。

在衬底的表面上进行若干反射之后，所捕获的光波到达选择性反射面126的阵列。注意，五个表面中只有一个表面被标记为126以防止附图太过拥挤。反射面126将从衬底出射并入射在这些反射面上的光波耦合到用户的眼睛。光导光学元件的更多细节可以在于2008年11月20日公布的美国专利申请公开号2008/0285140、序列号12/214,366“Substrate-Guided Optical Devices（衬底导向的光学设备）中找到，其整体通过引用结合于此。”在一个实施例中，每只眼睛将具有其自己的光导光学元件112。

图9D是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的第四实施例的俯视图。该实施例类似于图9C的实施例，包括光导光学元件112。然而，光检测器仅有IR光电检测器152，因此这一实施例仅依赖于闪光检测来用作注视检测，如在以下示例中讨论的。

在图9A-9D的实施例中，例如检测区域139和照明器153和光电检测器152等注视检测元件的位置相对于彼此是固定的。在这些示例中，它们相对于显示光学系统14的光轴也是固定的。

在以上实施例中，所示出的具体数量的透镜只是示例。可以使用其他数目和配置的根据相同原理操作的透镜。另外，在以上示例中，只示出了透视、近眼显示器2的右侧。作为示例，完整的近眼、混合现实显示设备将包括另一组透镜116和/或118、用于图9C和9D的实施例的另一光导光学元件112、另一微显示器120、另一透镜系统122、可能包括另一面向环境的相机113、用于图9A到9C的实施例的另一眼睛跟踪相机134、耳机130、以及温度传感器138。

图10A是可以用于一个或多个实施例的透视、近眼、混合现实显示单元2的硬件和软件组件的一个实施例的框图。图10B是描述处理单元4、5的各组件的框图。在这一实施例中，近眼显示设备2接收来自处理单元4、5的关于虚拟图像的指令并向处理单元4、5提供传感器信息。可被实现在处理单元4、5中的软件和硬件组件在图10B中描绘，它们将从显示设备2接收传感器信息并且还可从中枢计算设备12（参见图1A）接收传感器信息。基于这一信息，处理单元4、5将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给显示设备12的控制电路136。

注意，图10A的各组件中的一些（例如，面向物理环境的相机113、眼睛相机134、可变虚拟焦距调整器135、光电检测器接口139、微显示器120、照明设备153（即照明器）、耳机130、温度传感器138、显示调整机构203）以阴影示出，以指示这些设备中的每一个至少有两个——头戴式显示设备2的左侧至少一个以及右侧至少一个。图10A示出控制电路200与电源管理电路202进行通信。控制电路200包括处理器210、与存储器214（例如D-RAM）进行通信的存储器控制器212、相机接口216、相机缓冲区218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。在一个实施例中，控制电路220的所有组件经由一个或多个总线的专用线路彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。

相机接口216提供到两个面向物理环境的相机113和每一眼睛相机134的接口，并且将从相机113、134接收到的相应图像存储在相机缓冲区218中。显示驱动器220将驱动微显示器120。显示格式化器222可以向执行该扩充的真实系统的处理的一个或多个计算机系统（例如4、5、12、210）的一个或多个处理器提供与被显示在微显示器120上的虚拟图像有关的信息。定时生成器226被用于向该系统提供定时数据。显示输出228是用于将来自面向物理环境的相机113和眼睛相机134的图像提供给处理单元4、5的缓冲区。显示输入230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲区。显示输出228和显示输入230与作为到处理单元4、5的接口的带接口232进行通信。

电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、可变调整器驱动器237、光电检测器接口239、音频DAC及放大器238、话筒前置放大器和音频ADC240、温度传感器接口242、显示调整机构驱动器245、以及时钟生成器244。电压调节器234通过带接口232从处理单元4、5接收电能，并将该电能提供给头戴式显示设备2的其他组件。照明驱动器236例如经由驱动电流或电压来控制照明设备153以大约预定波长或在某一波长范围内操作。音频DAC和放大器238从耳机130接收音频信息。话筒前置放大器和音频ADC240提供话筒110的接口。温度传感器接口242是用于温度传感器138的接口。一个或多个显示调整驱动器245向组成每一显示调整机构203的一个或多个马达或其他设备提供控制信号，这些控制信号表示三个方向中的至少一个方向上的移动调整量。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。电源管理单元202还向GPS收发机144提供电能并从中接收数据和向其发送数据。

可变调整器驱动器237向调整器135提供例如驱动电流或驱动电压等控制信号以移动微显示器部件173的一个或多个元件来达到通过在控制电路13或处理单元4、5或中枢计算机12或这两者的处理器210中执行的软件计算得到的聚焦区域的位移。在扫过一定范围的位移并且因此扫过一定范围的聚焦区域的实施例中，可变调整器驱动器237从定时生成器226、或者可替代地从时钟生成器244接收定时信号，以便以所编程的速率或频率来操作。

光电检测器接口239执行来自每一光电检测器的电压或电流读数所需的任何模数转换，经由存储器控制器212以处理器可读的格式来将该读数存储在存储器中，并且监视光电检测器152的操作参数，如温度和波长准确度。

图10B是与透视、近眼、混合现实显示单元相关联的处理单元4的硬件和软件组件的一个实施例的框图。移动设备5可包括硬件和软件组件的这一实施例以及执行类似功能的类似组件。图10B示出控制电路305与电源管理电路307进行通信。控制电路305包括中央处理单元（CPU）320，图形处理单元（GPU）322，高速缓存324，RAM326，与存储器330（例如，D-RAM）进行通信的存储器控制器328，与闪存334（或其他类型的非易失性存储）进行通信的闪存控制器332，经由带接口303和带接口232与透视、近眼显示设备2进行通信的显示输出缓冲区336，经由带接口303和带接口232与近眼显示设备2进行通信的显示输入缓冲区338，与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340，用于连接到无线通信设备346的PCI express接口，以及USB端口348。

在一个实施例中，无线通信组件346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等。USB端口可被用来将处理单元4、5对接到中枢计算设备12，以将数据或软件加载到处理单元4、5上以及对处理单元4、5充电。在一个实施例中，CPU320和GPU322是用于确定在何处、何时以及如何向用户的视野内插入虚拟图像的主负荷设备。

电源管理电路307包括时钟生成器360，模数转换器362，电池充电器364，电压调节器366，透视、近眼显示器电源376，以及与温度传感器374进行通信的温度传感器接口372（位于处理单元4的腕带上）。交流电到直流电转换器362被连接到充电插座370来接收AC电源并为该系统产生DC电源。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插座370接收到电能后对电池368进行充电（经由电压调节器366）。设备电源接口376向显示设备2提供电能。

图11A示出了可用于实现计算系统12的、包括多媒体控制台（或游戏控制台）900的计算环境的示例。捕捉设备20可耦合到计算系统12。如图11A所示，多媒体控制台900具有含有一级高速缓存902、二级高速缓存904和闪存ROM（只读存储器）906的中央处理单元（CPU）901。一级高速缓存902和二级高速缓存904临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU901可被提供为具有一个以上的核，并且由此具有附加的一级高速缓存902和二级高速缓存904。闪存ROM906可存储在多媒体控制台900通电时引导过程的初始阶段期间加载的可执行代码。

图形处理单元（GPU）908和视频编码器/视频编解码器（编码器/解码器）914形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元908向视频编码器/视频编解码器914运送数据。视频处理流水线向A/V（音频/视频）端口940输出数据，用于传输至电视或其他显示器。存储器控制器910连接到GPU908以方便处理器访问各种类型的存储器912，诸如但不局限于RAM（随机存取存储器）。

多媒体控制台900包括较佳地在模块918上实现的I/O控制器920、系统管理控制器922、音频处理单元923、网络接口控制器924、第一USB主控制器926、第二USB控制器928和前面板I/O子部件930。USB控制器926和928用作外围控制器942(1)-142(2)、无线适配器948、以及外置存储器设备946（例如，闪存、外置CD/DVD ROM驱动器、可移动介质等）的主机。网络接口924和/或无线适配器948提供对网络（例如，因特网、家庭网络等）的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。

提供系统存储器943来存储在引导过程期间加载的应用数据。提供媒体驱动器944，并且其可包括DVD/CD驱动器、硬盘驱动器，或其他可移动媒体驱动器等。媒体驱动器944可内置或外置于多媒体控制台900。应用数据可经由媒体驱动器944访问，以供多媒体控制台900执行、回放等。媒体驱动器944经由诸如串行ATA总线或其他高速连接（例如IEEE1394）等总线连接到I/O控制器920。

系统管理控制器922提供与确保多媒体控制台900的可用性相关的各种服务功能。音频处理单元923和音频编解码器932形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元923与音频编解码器932之间传输。音频处理流水线将数据输出到A/V端口940，以供外置音频播放器或具有音频能力的设备再现。

前面板I/O子部件930支持暴露在多媒体控制台900的外表面上的电源按钮950和弹出按钮952、以及任何LED（发光二极管）或其他指示器的功能。系统供电模块936向多媒体控制台900的组件供电。风扇938冷却多媒体控制台900内的电路。

多媒体控制台900内的CPU901、GPU908、存储器控制器910、以及各种其他组件经由一条或多条总线互连，该总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线体系结构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连（PCI）总线、PCI-Express总线等。

当多媒体控制台900通电时，应用数据可从系统存储器943加载到存储器912和/或高速缓存902、904中，并且可在CPU901上执行。应用可在导航到多媒体控制台900上可用的不同媒体类型时呈现提供一致的用户体验的图形用户界面。在操作中，媒体驱动器944中所包含的应用和/或其他媒体可从媒体驱动器944启动或播放，以将附加功能提供给多媒体控制台900。

多媒体控制台900可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台900允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口924或无线适配器948可用的宽带连接集成的情况下，多媒体控制台900还可作为更大网络社区中的参与者来操作。

当多媒体控制台900通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留量（例如，96MB）、CPU和GPU周期保留量（例如，5％）、网络带宽保留量（例如，8kbs）等。因为这些资源是在系统引导时保留的，所以所保留的资源从应用的角度而言是不存在的。

具体而言，存储器保留量优选地足够大，以包含启动内核、并发系统应用程序和驱动程序。CPU保留量优选地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留量，通过使用GPU中断来调度代码以将弹出窗口渲染为覆盖图，从而显示由系统应用生成的轻量消息（例如，弹出窗口）。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率和引起TV重新同步。

在多媒体控制台900引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的一组系统应用中。操作系统内核标识出作为系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU901上运行，以便提供对应用而言一致的系统资源视图。调度是为了使在控制台上运行的游戏应用的高速缓存中断最小化。

当并发系统应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器在系统应用活动时控制游戏应用音频水平（例如，静音、衰减）。

输入设备（例如，控制器942(1)和942(2)）由游戏应用和系统应用共享。输入设备不是保留资源，而是在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。在某些实施例中，图2的捕捉设备20可以是对多媒体控制台900的附加输入设备。

图11B示出了可被用来实现计算系统12的计算环境的另一示例。捕捉设备20可耦合到该计算环境。图11B的计算环境只是合适的计算环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将图2的计算系统12解释为对图11B的示例性操作环境中示出的任一组件或其组合有任何依赖性或要求。在一些实施例中，各个所示的计算元素可包括被配置成实例化本公开的特定方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。在其他示例中，术语电路可包括由软件指令配置的实施可用于执行功能的逻辑的通用处理单元、存储器等。在其中电路包括硬件和软件的组合的实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。

在图11B中，计算系统1120包括通常包括各种计算机可读介质的计算机1141。计算机可读介质（或处理器可读存储设备）可以是可由计算机1141访问的任何可用介质并且包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非局限，计算机可读介质可以包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储设备、或可以用来存储所需信息并可由计算机访问的任何其他存储介质。

计算机1141也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。作为示例，图11B示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器1138，从可移动、非易失性磁盘1154中读取或向其写入的磁盘驱动器1139，以及从诸如CDROM或其他光学介质等可移动、非易失性光盘1153中读取或向其写入的光盘驱动器1140。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器1138通常通过诸如接口1134之类的不可移动存储器接口连接到系统总线1121，并且磁盘驱动器1139和光盘驱动器1140通常通过诸如接口1135之类的可移动存储器接口连接到系统总线1121。

包含诸如在启动期间帮助在计算机1141内的元件之间传输信息的基本例程的基本输入/输出系统1124（BIOS）通常存储在ROM1123中。RAM1160通常包含处理单元1159可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制，图11B示出操作系统1125、应用程序1126、其他程序模块1127和程序数据1128。

上文讨论并在图10中示出的驱动器及其相关联的计算机存储介质为计算机1141提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如，在图11B中，硬盘驱动器1138被示为存储操作系统1158、应用程序1157、其他程序模块1156和程序数据1155。注意，这些组件可与操作系统1125、应用程序1126、其他程序模块1127和程序数据1128相同，也可与它们不同。在此操作系统1158、应用程序1157、其他程序模块1156以及程序数据1155被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，例如键盘1151和定点设备1152——通常是指鼠标、跟踪球或触摸垫——向计算机1141输入命令和信息。其他输入设备（未示出）可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其他输入设备通常通过耦合到系统总线的用户输入接口1136连接到处理单元1159，但也可通过诸如并行端口、游戏端口或通用串行总线（USB）之类的其他接口和总线结构来连接。相机34、36和捕捉设备20可定义用于计算机1141的附加输入设备。监视器1142或其他类型的显示设备也经由诸如视频接口1132之类的接口连接至系统总线1121。除监视器之外，计算机还可以包括可以通过输出外围接口1133连接的诸如扬声器1144和打印机1143之类的其他外围输出设备。

计算机1141可使用到一个或多个远程计算机（诸如，远程计算机1146）的逻辑连接而在联网环境中操作。远程计算机1146可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，且通常包括上文相对于计算机1141描述的许多或所有元件，但在图11B中只示出了存储器存储设备1147。逻辑连接包括局域网（LAN）1145和广域网（WAN）1149，但也可以包括其他网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。

当在LAN联网环境中使用时，计算机1141通过网络接口或适配器1137连接到LAN1145。当在WAN联网环境中使用时，计算机1141通常包括调制解调器1150或用于通过诸如因特网等WAN1149建立通信的其他手段。调制解调器1150可以是内置的或外置的，可经由用户输入接口1136或其他适当的机制连接到系统总线1121。在联网环境中，相对于计算机1141所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非局限，图11B示出驻留在存储器设备1147上的远程应用程序1148。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。

所公开的技术可用各种其他通用或专用计算系统环境或配置来操作。适合在该技术中使用的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子产品、网络PC、小型机、大型机、包含上述系统或设备中的任一个的分布式计算机环境等。

所公开的技术可在诸如程序模块等由计算机执行的计算机可执行指令的一般上下文中描述。一般而言，如此处所述的软件和程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构和其他类型的结构。硬件或硬件和软件的组合可代替如此处所述的软件模块。

所公开的技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备在内的本地和远程计算机存储介质中。

本发明系统的前述详细描述是出于说明和描述的目的而提供的。这并不旨在穷举本发明系统或将本发明系统限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择所述实施例以最好地解释本发明系统的原理及其实践应用，从而允许本领域技术人员能够在各种实施例中并采用各种适于所构想的特定用途的修改来最好地利用本发明系统。本发明系统的范围旨在由所附权利要求书来定义。

Claims (10)

1.一种用于向电子设备提供触摸界面的方法，包括：

基于包括像素的3D图像数据来确定物体相对于表面的3D位置(302)，每个所述像素具有位置和深度值，所述确定包括：

将所述3D图像数据中的像素放置在针对背景像素的第一组中、针对相对于所述表面的接触区中的像素的第二组中以及针对相对于所述表面的悬停区中的像素的第三组中；

检测所述3D图像数据中的像素的候选组，所述像素的候选组基于它们各自的位置和深度值而看起来是同一所述物体的一部分；

选择第一个候选组作为所述物体；

确定所选组中的像素是否在所述接触区中；以及

确定所选组中的像素是否在所述悬停区中；基于所述物体相对于所述表面的3D位置来在关联于电子设备的显示器上呈现用户输入元素(304)；以及

基于所述物体相对于所述表面的3D位置来接收对所述电子设备的用户输入(306)。

2.如权利要求1所述的方法，其特征在于，基于3D图像数据来确定物体相对于表面的3D位置包括：

基于所选组中的像素是否在所述接触区中来确定所述物体是否接触或几乎接触所述表面。

3.如权利要求2所述的方法，其特征在于，所述用户输入是与呈现在所述显示器上的元素相关联的选择。

4.如权利要求3所述的方法，其特征在于，呈现所述用户输入元素包括：

突出显示所述用户输入元素的一部分，以表示用户的手的接触或几乎接触所述表面的部分。

5.如权利要求1所述的方法，其特征在于，基于3D图像数据来确定物体相对于表面的3D位置包括：

基于所选组中的像素是否在所述悬停区中来确定所述物体是否悬停在所述表面上方的悬停区内。

6.如权利要求5所述的方法，其特征在于，所述用户输入是与一元素相关联的悬停事件，其中正在所述显示器上在所述用户输入元素上方悬停。

7.如权利要求6所述的方法，其特征在于，呈现所述用户输入元素包括：

在所述显示器上突出显示所述用户输入元素，以表示用户的手处于所述表面上方的悬停区中。

8.一种用于向电子设备提供触摸界面的装置，包括：

3D相机(36)；

显示器(96)；

耦合到所述3D相机和所述显示器的处理逻辑(42、210、320、901、908、1159、1129)，所述处理逻辑被配置成：

基于来自所述3D相机的3D图像数据来确定表面的位置；

基于来自所述3D相机的3D图像数据来确定用户的手相对于所述表面的3D位置，所述3D图像数据包括像素，每个所述像素具有位置和深度值，所述确定用户的手相对于所述表面的3D位置包括：

将所述3D图像数据中的像素放置在针对背景像素的第一组中、针对相对于所述表面的接触区中的像素的第二组中以及针对相对于所述表面的悬停区中的像素的第三组中；

检测所述3D图像数据中的像素的候选组，所述像素的候选组基于它们各自的位置和深度值而看起来是同一物体的一部分；

选择第一个候选组作为所述用户的手；

确定所选组中的像素是否在所述接触区中；以及

确定所选组中的像素是否在所述悬停区中；

基于所述用户的手相对于所述表面的3D位置来在所述显示器上的一个图像之上呈现所述用户的手的透明表示；以及

基于所述用户的手相对于所述表面的3D位置来接收用户输入。

9.如权利要求8所述的装置，其特征在于，所述处理逻辑被配置成：

确定所述表面上的触摸区域；以及

将触摸区域内的各部分与所述显示器上的各位置进行相关。

10.一种用于允许对与显示器相关联的电子设备的输入的方法，所述方法包括：

基于3D图像数据来确定表面的位置，所述表面不是所述显示器的表面或所述电子设备的表面；

确定在所述表面上的触摸区域；

基于3D图像数据来确定用户的手相对于所述表面上的触摸区域的3D位置，所述3D图像数据包括像素，每个所述像素具有位置和深度值，所述基于3D图像数据来确定用户的手相对于所述表面上的触摸区域的3D位置包括：

将所述3D图像数据中的像素放置在针对背景像素的第一组中、针对在所述表面之上的接触区中的像素的第二组中以及针对在所述表面之上的悬停区中的像素的第三组中；

检测所述3D图像数据中的像素的候选组，所述像素的候选组基于它们各自的位置和深度值而看起来是同一物体的一部分；

选择第一个候选组作为所述用户的手；

确定所选组中的像素是否在所述接触区中；以及

确定所选组中的像素是否在所述悬停区中；

将所述触摸区域内的各位置与关联于所述电子设备的所述显示器上的各位置进行相关；

基于所述用户的手相对于所述触摸区域的3D位置来在所述显示器上呈现所述用户的手的透明表示，这样可以透过所述用户的手的透明表示来看见元素；以及

基于所述用户的手相对于所述触摸区域的3D位置来接收对所述电子设备的用户输入。