CN105378632B - 用户焦点控制的有向用户输入 - Google Patents

Abstract

公开一种用于近眼透视显示设备的用户输入。提供增强现实环境中的不用手的用户输入。用户可通过移动其头部的朝向来提供输入。例如，用户可转动其头部。在一个方面，用户可通过沿一方向移动其眼睛注视来提供输入。在一个方面，当用户将其注意力定向在用户界面符号处时，手柄从该用户界面符号延伸出去。该手柄可担当一种类型的选择设备，以使得如果用户将其注意力沿该手柄远离该用户界面符号定向，则可做出选择。作为一个示例，该选择导致轮辐菜单出现，用户可通过转动其头部以使得系统确定该用户正沿该轮辐从该中央中枢移开目光而选择该轮辐菜单。

Description

用户焦点控制的有向用户输入

背景

增强现实(AR)涉及提供经增强的现实世界环境，其中用计算机生成的虚拟数据来增强或修改对现实世界环境(或表示现实世界环境的数据)的感知。例如，可使用诸如相机或话筒等传感输入设备实时地捕捉表示现实世界环境的数据，并用包括虚拟图像和虚拟声音的计算机生成的虚拟数据来增强该数据。虚拟数据还可包括与现实世界环境有关的信息，诸如与现实世界环境中的现实世界对象相关联的文本描述。AR实现可用于增强包括视频游戏、绘图、导航以及移动设备应用等多种应用。

近眼显示器(诸如头戴式显示器(HMD))可被用户佩戴来查看虚拟和真实对象的混合影像。近眼显示器使用光学器件和立体视觉的组合来聚焦用户的视野中的虚拟影像。

按不用手(hands-free)方式访问增强现实环境中的系统菜单是有意义的。语音具有感觉不自然的缺点，产生其中人们在公共场所说出命令的尴尬社交场景，并且在当前技术下不总是在第一次尝试时正确解释命令。鼠标和手套类型的控制器具有需要额外硬件且在用户的手被占用(例如，正拿着东西、正在吃饭等)的情况下不能容易地使用的缺点。

概述

提供一种在透视、近眼显示器(诸如HMD)中提供用户界面的系统和方法。在一个实施例中，该用户界面通过头部朝向来控制。还可使用眼睛注视。

根据一个实施例，提供一种包括以下步骤的方法。在透视、近眼显示器中呈现用户界面符号。确定佩戴该透视、近眼显示器的用户的焦点。响应于确定该用户聚焦在该用户界面符号上，在该透视、近眼显示器中呈现手柄(handle)，该手柄从该用户界面符号延伸出去。做出该用户的焦点已沿该手柄从该用户界面符号偏移的确定。响应于确定该用户的焦点已沿该手柄从该用户界面符号偏移以满足选择准则而激活一用户界面元素。

一个实施例包括一种显示系统，该显示系统包括透视、近眼显示设备和与所述显示设备通信的逻辑。该逻辑被配置成在该透视、近眼显示设备中呈现用户界面符号。该逻辑被配置成跟踪佩戴该透视、近眼显示设备的用户的眼睛注视或头部朝向。该逻辑被配置成响应于确定该眼睛注视或头部朝向指示该用户正看向用户界面符号而在该透视、近眼显示设备中显示手柄，该手柄从该用户界面符号延伸出去。该逻辑被配置成响应于确定该眼睛注视或头部朝向指示该用户沿该手柄目光从该用户界面符号移开以满足选择准则而激活一用户界面元素。

一个实施例包括一种在透视、近眼显示设备中提供用户界面的方法。该方法包括以下步骤。在透视、近眼显示设备中呈现用户界面符号。跟踪佩戴该透视、近眼显示设备的用户的头部朝向。响应于基于该头部朝向确定该用户正看向该用户界面符号的大致方向而在该透视、近眼显示设备中呈现从该用户界面符号延伸出去的手柄。响应于确定该用户的头部朝向指示该用户已沿该手柄从看向该用户界面符号移开而在该透视、近眼显示设备中派生轮辐菜单。该轮辐菜单包括围绕中心中枢的菜单项，其中每个菜单项具有在该菜单项和该中心中枢之间的一轮辐。

提供本概述以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图简述

图1是描绘一系统环境中的透视、混合现实显示设备的一个实施例的示例组件的框图，其中该设备可以在该系统环境中操作。

图2示出在环境中的佩戴头戴式显示设备的用户。

图3是头戴式显示单元的一个实施例的一部分的俯视图。

图4A是头戴式显示单元的组件的一个实施例的框图。

图4B是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。

图5是结合头戴式显示单元使用的中枢计算系统的组件的一个实施例的框图。

图6是可用于实现本文描述的中枢计算系统的计算系统的一个实施例的框图。

图7是描绘根据本技术的一实施例的过程的流程图。

图8A示出根据一个实施例在对象上呈现的用户界面符号的示例。

图8B描绘了其中符号被突出显示的一个示例。

图8C描绘了其中手柄从符号延伸出去的一个示例。

图8D是轮辐菜单的一个实施例的示例。

图9A、9B和9C示出轮辐菜单的一个实施例的示例。

图10是提供对轮辐菜单上的菜单项的选择的过程的一个实施例的流程图。

图11A、11B和11C示出了被逐渐填充的轮辐的示例。

图12是提供对轮辐菜单上的菜单项的选择的过程的一个实施例的流程图。

图13示出其中菜单项与中枢在对角线处的一个实施例。

图14A和14B描绘了轮辐菜单的另一实施例。

图15显示了其中存在与对象相关联的第一用户选择符号和第二用户选择符号的示例。

图16描绘了其中用户选择符号指向手柄已延伸的方向的一个实施例。

图17示出了嵌套式轮辐菜单的一个示例。

图18示出了允许基于聚焦在手柄上的用户输入的一个实施例。

详细描述

本文公开了一种用于提升使用近眼、透视显示设备时的用户体验的技术。根据一个实施例，提供增强现实环境中的不用手的用户输入。根据一个实施例，提供对系统菜单的访问。在一个实施例中，用户可通过移动其头部的朝向来提供输入。例如，用户可旋转其头。在一个实施例中，用户可通过移动其眼睛注视的方向来提供输入。在一个实施例中，在该近眼显示设备中呈现用户界面符号。该用户界面符号可被呈现，以使得该用户界面符号看上去在现实世界对象上或附近，或者在该近眼显示设备上呈现的虚拟对象上或附近。该用户界面符号可担当向该用户指示该用户具有输入输入以按某种方式与该对象交互的机会的指示符。如果该用户将其注意力引到该用户界面符号，则在一个实施例中，手柄从该用户界面符号延伸出去。该符号可通过该用户的头部朝向和/或其眼睛注视来确定该用户已将其注意力聚焦在该用户界面符号处。该用户界面符号也可被称为“微光(gleam)”，因为在一些实施例中，响应于用户看向该符号，可使该符号发出微光、发亮等。

该手柄可担当一种类型的选择设备，以使得如果用户引导其注意力沿该手柄远离该用户界面符号，则可做出选择。作为一个示例，用户可通过转动其头部以使得系统确定该用户正沿该手柄从该用户界面符号移开目光而使得菜单被显示。在一个实施例中，这是轮辐菜单，其具有围绕中枢的菜单项。用户看向以激活轮辐菜单的最后一点可担当该轮辐菜单的中枢。该用户随后可通过将其注意力定向到所述菜单项之一来选择所述菜单项。在一个实施例中，用户朝一菜单项移动其头部来选择该菜单项。例如，用户可能向左、向右、向上或向下移动其头部来选择该菜单项。在一个实施例中，作为选择过程的一部分，用户朝菜单项移动其眼睛。

图1是描绘一系统环境100中的透视、混合现实显示设备2的一个实施例的示例组件的框图，其中该设备可以在该系统环境中操作。该透视显示设备是通过线6与处理单元4进行通信的近眼、头戴式显示设备2。在其他实施例中，头戴式显示设备2通过无线通信来与处理单元4进行通信。处理单元4可以采取各种实施例。在一些实施例中，处理单元4是可以佩戴在用户的身体(例如，在所示示例中的腕)上或置于口袋中的分开的单元，并且包括用于操作近眼显示设备2的计算能力中的大部分能力。处理单元4可以与一个或多个中枢计算系统12、热点、蜂窝数据网络等无线地(例如，Wi-Fi、蓝牙、红外、或其他无线通信手段)通信。在其他实施例中，处理单元4的功能可被集成在显示设备2的软件和硬件组件中。

透视头戴式显示设备2(在一个实施例中它是带镜架115的眼镜的形状)被佩戴在用户的头上，使得用户可以透视显示器(在该示例中该显示器被实现为用于每一只眼睛的显示光学系统14)，并且从而具有对该用户前方的空间的实际直接视图。使用术语“实际直接视图”来指直接用人眼看到真实世界对象，而非看到所创建的对象的图像表示的能力。例如，通过眼镜看房间允许用户得到该房间的实际直接视图，而在电视机上观看房间的视频不是该房间的实际直接视图。基于执行软件(例如，游戏应用)的上下文，该系统可以将虚拟对象的图像(有时称为虚拟图像)投影在可由佩戴该透明显示设备的人观看的显示器上，同时该人还透过该显示器观看现实世界物体。

镜架115提供用于将HMD 2的各元件保持就位的支承体以及用于电连接的管道。在该实施例中，镜架115提供了便利的眼镜架作为下面进一步讨论的系统的各元件的支撑体。在其他实施例中，可以使用其他支承结构。这样的结构的示例是遮罩、帽子、头盔或护目镜。镜架包括用于搁置在用户的每只耳朵上的镜腿或侧臂。镜腿102代表右镜腿的实施例，并且包括显示设备2的控制电路136。镜架的鼻梁104包括用于记录声音并向处理单元4传送音频数据的话筒110。

中枢计算系统12可以是计算机、游戏系统或控制台等等。根据一示例实施例，中枢计算系统12可以包括硬件组件和/或软件组件，使得中枢计算系统12可被用于执行诸如游戏应用、非游戏应用等等之类的应用。应用可以在中枢计算系统12上、显示设备2上、如下所述地在移动设备5上、或在这些设备的组合上执行。

在一个实施例中，中枢计算系统12还包括一个或多个捕捉设备，诸如捕捉设备20A和20B。这两个捕捉设备可被用来捕捉该用户的房间或其它物理环境，但并非在所有实施例中都必须与透视头戴式显示设备2一起使用。

捕捉设备20A和20B可以是例如相机，相机在视觉上监视一个或多个用户和周围空间，从而可以捕捉、分析并跟踪该一个或多个用户所执行的姿势和/或移动以及周围空间的结构，以在应用中执行一个或多个控制或动作和/或使化身或屏上角色动画化。

中枢计算系统12可被连接到诸如电视机、监视器、高清电视机(HDTV)等可提供游戏或应用视觉的视听设备16。在一些情况下，视听设备16可以是三维显示设备。在一个示例中，视听设备16包括内置扬声器。在其他实施例中，视听设备16、单独的立体声系统或中枢计算系统12连接到外部扬声器22。

注意，无需中枢计算系统12就可使用HMD 2和处理单元4，在这种情况下，处理单元4将用Wi-Fi网络、蜂窝网络或其他通信手段进行通信。

在各实施例中，本文描述的过程整体或部分地由头戴式显示设备2、处理单元4、中枢计算系统12、或其组合来执行。

在一个示例实现中，通过嵌入在头戴式显示设备2中的各种传感器技术来确定用户的焦点，传感器技术包括使用来自加速度计和陀螺仪的惰性测量的惰性传感、全球定位系统(GPS)、眼睛跟踪元件。“焦点”的意思是用户正看向的地方或者吸引用户注意力的地方。用户的焦点可通过头部朝向和/或眼睛注视来确定。在一些情况下，头部朝向和眼睛注视聚焦在不同的点。例如，用户可能没有向正前方看。在这种情况下，头部朝向可被用于定义焦点。替代地，在两者不同时，眼睛注视可被用于确定用户的焦点。

其它技术和传感器可被用来确定用户的焦点。这些技术和传感器可包括飞行时间、空间扫描、机械连杆、相差传感、和/或直接场传感(direct field sensing)。在这些情况下，在头戴式显示器中可能需要额外的硬件。下面将参考图3、4A和4B描述头戴式显示设备2和处理单元4的更多细节。

在一个实施例中，中枢计算机设备12可被用来跟踪用户和头戴式显示设备2以便提供对头戴式显示设备2的位置和朝向的初步确定。在中枢计算设备12中可实现各种传感器技术，包括RGB相机、深度传感器、和/或用于确定头戴式显示设备2的位置和朝向的其它技术。下面将参考图5描述中枢计算设备12的更多细节。

可使用附加信息，诸如从云检索的信息、由一个或多个外部设备检测和/或收集的信息、以及其它相关信息，可被用于标识和连续跟踪用户的头部位置和旋转。可采用诸如使用RGB和/或深度传感器的同时定位和地图构建(SLAM)等技术来提供用户的头部相对于被构建地图的环境的实时定位。可使用来自云的数据和/或深度传感器数据来标识环境拓扑。当用户正看向他或她自己时可使用深度传感器来标识该用户的身体的区域(例如，手、臂、躯干、腿)。

应当意识到，并非总是需要如上所讨论的所有传感器信息和/或传感技术。可使用一个或多个传感器作为冗余来进一步细化对用户的总视野的测量。

图2示出在环境2220中的佩戴头戴式显示设备2的用户2222。在此示例中，用户的头部位置和朝向被连续跟踪。任选地，用户的眼睛注视也可被跟踪。例如，在给定时刻，诸如时间，用户2222的头部位置和朝向被使用如上所述的各种传感器技术来标识，且用户2222被示出为其焦点指向元素2234，该元素可以是图片、电视机屏幕等。用户的焦点可被定义为源自双眼之间的点并“向外直射”的向量。

用户的焦点也可使用眼睛跟踪来定义。在此情况下，HMD 2中或别处的技术可跟踪用户的一只眼或双眼正注视的方向。通常，眼睛注视被认为是用户的眼睛瞬时固定到的点。

该环境包括灯2224、时钟2232、墙壁2230的一部分、墙壁2226的一部分、桌子2240、处理设备2238、捕捉设备20A，20B、以及显示器2234、地板2231、以及花2242。环境2220可相对于一坐标系2250来定义，而用户的头部位置和朝向相对于第二坐标系2252来定义。

通过标识并连续跟踪各时刻的用户的头部位置和朝向，可查明焦点的方向。而且，作为头部跟踪的替代或附加，可使用眼睛跟踪来查明焦点的方向。

图3描绘了头戴式显示设备2的俯视图，其包括镜架的包含镜腿102和鼻中104的那部分。仅仅描绘了头戴式显示设备2的右侧。在头戴式显示设备2的前方是朝向物理环境的相机113，该相机可以捕捉视频和静止图像。那些图像被传送至处理单元4，如下所述。

在一个实施例中，面向物理环境的相机113是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每个像素都可以表示一深度值，比如所捕捉的场景中的一物体与相机相距的例如以厘米、毫米等为单位的距离。例如，该深度相机可包括IR照明器发射器和像处于可见图像传感器前方的热镜等热反射表面，该热反射表面使得可见光透过并将处于照明器所发射的波长范围内的所反射的IR辐射定向到CCD或其他类型的深度传感器。来自传感器的数据可被发送至处理单元4或中枢计算系统12以用于处理。该处理标识并映射用户的现实世界视野。附加地，面向物理环境的相机113还可包括用于测量环境光的光计量器。

头戴式显示设备2的镜架的一部分将围绕显示器(显示器包括一个或多个透镜)。为了示出头戴式显示设备2的组件，未描绘围绕显示器的镜架部分。该显示器包括光导光学元件112、不透明度滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明度滤光器114处于透视透镜116之后并与其对齐，光导光学元件112处于不透明度滤光器114之后并与其对齐，而透视透镜118处于光导光学元件112之后并与其对齐。透视透镜116和118是眼镜中使用的标准透镜，并且可根据任何验光单(包括无验光单)来制作。在一个实施例中，透视透镜116和118可由可变处方透镜取代。在一些实施例中，头戴式显示设备2将仅仅包括一个透明透镜或者不包括透明透镜。在另一替代方案中，处方透镜可以进入光导光学元件112内。不透明度滤光器114滤除自然光(要么以每像素为基础，要么均匀地)以增强虚拟图像的对比度。光导光学元件112将人造光引导到眼睛。下面提供不透光滤光器114和光导光学元件112的更多细节。

在镜腿102处或镜腿102内安装有图像源，该图像源(在一个实施例中)包括用于对虚拟图像进行投影的微显示器装配件120、以及用于将图像从微显示器120定向到光导光学元件112中的透镜122。在一个实施例中，透镜122是准直透镜。

控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图4A和4B提供。处于镜腿102内部或安装在镜腿102处的有耳机130、惯性和/或磁传感器132以及温度传感器138。在一个实施例中，惯性和磁传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C(参见图4A)。惯性传感器和/或磁传感器用于感测头戴式显示设备2的位置、朝向、以及突然加速。

微显示器120通过透镜122来投影图像。存在着可用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学有源材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微型显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理(DLP)、硅上液晶(LCOS)、以及来自Qualcomm有限公司的显示技术都是高效的反射技术的示例，因为大多数能量从已调制结构反射离开并且可用在本文描述的系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoP^TM显示引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束(例如，激光)发射到眼睛。

光导光学元件112将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的眼睛140。光导光学元件112还允许如箭头142所示那样将光从头戴式显示设备2的前方透过光导光学元件112透射到用户的眼睛，从而除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。从而，光导光学元件112的壁是透视的。光导光学元件112包括第一反射面124(例如镜面或其他表面)。来自微显示器120的光穿过透镜122并入射在反射表面124上。反射面124反射来自微显示器120的入射光，使得光通过内反射而被捕获在包括光导光学元件112的平面衬底内。在基底的表面上进行若干次反射之后，被陷的光波到达选择性反射表面126的阵列。注意，五个表面中只有一个表面被标记为126以防止附图太过拥挤。反射表面126将从基底出射并入射在这些反射表面上的光波耦合进用户的眼睛140。由于不同光线将以不同角度行进并在衬底的内部反射，因此这些不同的光线将以不同角度击中各个反射面126。因此，不同光线将被所述反射面中的不同反射面从衬底中反射出。关于哪些光线将被哪个表面126从衬底反射出的选择是通过选择表面126的合适角度来设计的。在一个实施例中，每只眼睛将具有其自己的光导光学元件112。当头戴式显示设备具有两个光导光学元件时，每只眼睛都可以具有其自己的微显示器120，该微显示器120可以在两只眼睛中显示相同图像或者在两只眼睛中显示不同图像。在另一实施例中，可以存在将光反射到两只眼睛中的一个光导光学元件。

与光导光学元件112对齐的不透明度滤光器114要么均匀地，要么逐像素地来选择性地阻挡自然光，以免其穿过光导光学元件112。在一个实施例中，不透明度过滤器可以是透视LCD面板、电致变色膜、PDLC(聚合物分散液晶)或能够充当不透明度过滤器的类似设备。通过从常规LCD中除去衬底、背光和漫射体的各层，可以获得这样的透视LCD面板。LCD面板可包括一个或多个透光LCD芯片，所述透光LCD芯片允许光穿过液晶。例如，在LCD投影仪中使用了这样的芯片。

不透明度滤光器114可以包括致密的像素网格，其中每个像素的透光率能够在最小和最大透光率之间被单独地控制。尽管0-100％的透光率范围是理想的，然而更有限的范围也是可接受的。作为示例，具有不超过两个偏振滤光器的单色LCD面板足以提供每像素约50％到99％的不透明度范围，最高为该LCD的分辨率。在50％的最小值处，透镜将具有稍微带色彩的外观，这是可以容忍的。100％的透光率表示完美清澈的透镜。可以从0-100％定义“阿尔法(alpha)”标度，其中0％不允许光穿过，并且100％允许所有光穿过。可以由下面描述的不透明度滤光器控制电路224为每个像素设置阿尔法的值。

在用代理为现实世界对象进行z-缓冲(z-buffering)之后，可以使用来自渲染流水线的阿尔法值的掩码(mask)。当系统为增强现实显示而呈现场景时，该系统注意到哪些现实世界物体处于哪些虚拟物体之前。如果虚拟物体处于现实世界物体之前，则不透明度对于该虚拟物体的覆盖区域而言应当是开启的。如果虚拟物体(实际上)处于现实世界物体之后，则不透明度以及该像素的任何色彩都应当是关闭的，使得对于现实光的该相应区域(其大小为一个像素或更多)而言，用户将会仅仅看到现实世界物体。覆盖将是以逐像素为基础的，所以该系统可以处置虚拟对象的一部分处于现实世界对象之前、该虚拟对象的一部分处于现实世界对象之后、以及该虚拟对象的一部分与现实世界对象相重合的情况。对这种用途而言，最期望的是能够以低的成本、功率和重量来从0％开始直至100％不透明度的显示器。此外，不透明度滤光器可以比如用彩色LCD或用诸如有机LED等其他显示器来以彩色进行呈现，以提供宽视野。

头戴式显示设备2还可包括用于跟踪用户的眼睛的位置的系统。例如，头戴式显示设备2包括眼睛跟踪部件134，该眼睛跟踪部件134将包括眼睛跟踪照明设备134A(参见图4A)和眼睛跟踪相机134B(参见图4A)。在一个实施例中，眼睛跟踪照明源134A包括一个或多个红外(IR)发射器，这些红外发射器向眼睛发射IR光。眼睛跟踪相机134B包括一个或多个感测反射的IR光的相机。通过检测角膜的反射的已知成像技术，可以标识出瞳孔的位置。此类技术可以定位眼睛的中心相对于跟踪相机的位置。一般而言，眼睛跟踪涉及获得眼睛的图像并使用计算机视觉技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛的位置就足够了，因为眼睛通常一致地移动。然而，单独地跟踪每只眼睛是可能的。

在一个实施例中，眼睛跟踪照明设备134A将使用4个IR LED并且眼睛跟踪相机134B将使用4个IR光电检测器(未示出)，所述IR LED和IR光电检测器以矩形布置使得在头戴式显示设备2的透镜的每个角处存在一个IR LED和IR光电检测器。来自LED的光从眼睛反射离开。由在4个IR光电检测器中的每个处所检测到的红外光的量来确定瞳孔方向。也就是说，眼睛中眼白相对于眼黑的量将确定对于该特定光电检测器而言从眼睛反射离开的光量。因此，光电检测器将具有对眼睛中的眼白或眼黑的量的度量。从这4个采样中，该系统可确定眼睛的方向。

另一替代方案是如下面所讨论的那样使用4个红外LED，但是在头戴式显示设备2的透镜的侧边处仅仅使用一个红外CCD。CCD将使用小镜子和/或透镜(鱼眼)，以使得CCD可对来自眼镜框的可见眼睛的多达75％成像。然后，该CCD将感测图像并且使用计算机视觉来找出该眼睛位置，就像上文所讨论的那样。也可以使用多于或少于4个的IR发射器和/或多于或少于4个的IR传感器。

用于跟踪眼睛的方向的另一实施例基于电荷跟踪。此概念基于以下观察：视网膜携带可测量的正电荷而角膜具有负电荷。传感器被安装在用户的耳朵旁(靠近耳机130)以检测眼睛在转动时的电势并且高效地实时读出眼睛正在干什么。也可以使用用于跟踪眼睛的其他实施例。

图3仅仅示出了头戴式显示设备2的一半。完整的头戴式显示设备(在适用时)将包括另一组透镜、另一不透明度滤光器、另一光导光学元件、另一微显示器、另一透镜、面向房间的相机、眼睛跟踪组件、微显示器、耳机、和温度传感器。

图4A是描绘了头戴式显示设备2的各个组件的框图。参考图3能够理解，图4A中所示的一些组件可以不存在于图3所示的每个实施例中。图4B是描述图1的处理单元4的各组件的框图。头戴式显示设备2(其组件在图4A中被描绘)被用来向用户(用户2222)显示经优化图像。此外，图4A的头戴式显示设备组件可包括跟踪各种条件(包括用户2222的头部位置和旋转)的许多传感器。头戴式显示设备2将从处理单元4接收关于虚拟图像的指令，并且将把传感器信息提供回给处理单元4。图4B中描绘了处理单元4的组件，该处理单元4将从头戴式显示设备2、并且还从中枢计算设备12(参见图1)接收传感信息。基于该信息，处理单元4将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给图4A的头戴式显示设备。

注意，图4A的组件中的一些(例如朝后的相机113、眼睛跟踪相机134B、微显示器120或153、不透明度滤光器114、眼睛跟踪照明134A、和耳机130)是以阴影示出的，以指示这些的设备中的每个都存在两个，其中一个用于头戴式显示设备2的左侧，并且一个用于头戴式显示设备2的右侧。图4A示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器214(例如D-RAM)进行通信的存储器控制器212、相机接口216、相机缓冲器218、显示驱动器220、显示格式化器2222、定时生成器226、显示输出接口228、以及显示输入接口230。在一个实施例中，控制电路200的所有组件都通过专用线路或一个或多个总线彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。相机接口216提供到两个朝向房间的相机113的接口，并且将从朝向房间的相机所接收到的图像存储在相机缓冲器218中。显示驱动器220将驱动微显示器120或153。显示格式化器2222向控制不透明度滤光器114的不透明度控制电路224提供关于微显示器120或153上所显示的虚拟图像的信息。定时生成器226被用于向该系统提供定时数据。显示输出接口228是用于将图像从朝向房间的相机113提供给处理单元4的缓冲器。显示输入230是用于接收诸如要在微型显示器120上显示的虚拟图像之类的图像的缓冲器。显示输出228和显示输入230与作为到处理单元4的接口的带接口232进行通信。显示驱动器220还可驱动镜面控制器162以定位镜面166以根据图3C和3D的以上实施例来显示被聚焦的图像。

电力管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、音频DAC和放大器238、话筒前置放大器音频ADC 240、温度传感器接口242、以及时钟生成器244。电压调节器234通过带接口232从处理单元4接收电能，并将该电能提供给头戴式显示设备2的其他组件。每个眼睛跟踪照明驱动器236都如上面所述的那样为眼睛跟踪照明134A提供IR光源。音频DAC和放大器238接收来自耳机130的音频信息。话筒前置放大器和音频ADC 240提供用于话筒110的接口。温度传感器接口242是用于温度传感器138的接口。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。

图4B是描述处理单元4的各组件的框图。图4B示出与电源管理电路307进行通信的控制电路306。控制电路304包括：中央处理单元(CPU)320、图形处理单元(GPU)322、高速缓存324、RAM 326、与存储器330(例如D-RAM)进行通信的存储器控制器328、与闪存334(或其他类型的非易失性存储)进行通信的闪存控制器332、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输出缓冲器336、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输入缓冲器338、与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340、用于连接到无线通信设备346的PCI express接口、以及(一个或多个)USB端口348。在一个实施例中，无线通信设备346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等。USB端口可以用于将处理单元4对接到中枢计算设备12，以便将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟图像的主负荷设备。以下提供更多的细节。

电源管理电路306包括时钟生成器360、模数转换器362、电池充电器364、电压调节器366、头戴式显示器电源376、以及与温度传感器374进行通信的温度传感器接口372(其位于处理单元4的腕带(wrist band)上)。模数转换器362连接到充电插座370以用于接收AC供电并为该系统产生DC供电。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电能之际(通过电压调节器366)对电池368进行充电。HMD电源376向头戴式显示设备2提供电力。

上述系统将被配置为将虚拟图像插入到用户的视野中，使得该虚拟图像替换现实世界物体的视图。替代地，可插入虚拟图像而不替换现实世界物体的图像。在各个实施例中，虚拟图像将基于被替换的物体或者该图像将被插入的环境而被调整为与合适的朝向、大小和形状相匹配。此外，虚拟图像可被调整以包括反射和阴影。在一个实施例中，头戴式显示设备2、处理单元4以及中枢计算设备12一起工作，因为这些设备中的每一个都包括被用来获得用以确定何处、何时以及如何插入虚拟图像的传感器子集。在一个实施例中，确定何处、如何以及何时插入虚拟图像的计算由中枢计算设备12执行。在另一实施例中，那些计算由处理单元4执行。在另一实施例中，一些计算由中枢计算设备12执行而其它计算由处理单元4执行。在其它实施例中，该计算可由头戴式显示设备2执行。

在一个示例实施例中，中枢计算设备12将创建用户所处的环境的模型，并且跟踪在该环境中的多个移动物体。此外，中枢计算设备12跟踪头戴式显示设备2的位置和朝向。模型和跟踪信息被从中枢计算设备12提供至处理单元4。传感器信息还可从头戴式显示设备2获得。然后，处理单元4使用其从头戴式显示设备2接收的其他传感器信息来细化用户的视野并且向头戴式显示设备2提供关于如何、在何处以及何时插入虚拟图像的指令。

图5示出了具有捕捉设备的中枢计算系统12的示例性实施例。在一个实施例中，捕捉设备20A和20B是相同结构，因此，图5仅示出了捕捉设备20A。根据一示例性实施例，捕捉设备20A可被配置为通过可包括例如飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一个实施例，捕捉设备20A可将深度信息组织成“Z层”，即可与从深度相机沿其视线延伸的Z轴垂直的层。

如图5所示，捕捉设备20A可以包括相机组件423。根据一示例性实施例，相机组件423可以是或者可以包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每个像素都可以表示一深度值，比如所捕捉的场景中的一物体与相机相距的例如以厘米、毫米等为单位的距离。

相机组件23可包括可被用于捕捉场景的深度图像的红外(IR)光组件425、三维(3D)相机426、以及RGB(视觉图像)相机428。例如，在飞行时间分析中，捕捉设备20A的IR光组件425可以将红外光发射到场景上，并且然后可以使用传感器(在一些实施例中包括未示出的传感器)、例如使用3D相机426和/或RGB相机428来检测从场景中的一个或多个目标和物体的表面后向散射的光。在一些实施例中，可以使用脉冲红外光，以使得可以测量出射光脉冲与相应入射光脉冲之间的时间，并且将其用于确定从捕捉设备20A到场景中的目标或对象上的特定位置的物理距离。另外，在其他示例实施例中，可以将出射光波的相位与入射光波的相位相比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或对象上的特定位置的物理距离。

根据另一示例性实施例，飞行时间分析可被用来通过经由包括例如快门式光脉冲成像在内的各种技术分析反射光束随时间的强度来间接地确定从捕捉设备20A到目标或对象上的特定位置的物理距离。

在另一示例性实施例中，捕捉设备20A可使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即，被显示为诸如网格图案、条纹图案、或不同图案之类的已知图案的光)可经由例如IR光组件424被投影到场景上。在落到场景中的一个或多个目标或对象的表面上以后，作为响应，图案可以变为变形的。图案的这种变形可由例如3-D相机426和/或RGB相机428(和/或其他传感器)来捕捉，然后可被分析以确定从捕捉设备到目标或对象上的特定位置的物理距离。在一些实现中，IR光组件425与相机425和426分开，使得可以使用三角测量来确定与相机425和426相距的距离。在一些实现中，捕捉设备20A将包括感测IR光的专用IR传感器或具有IR滤波器的传感器。

根据另一实施例，捕捉设备20A可以包括两个或更多个在物理上分开的相机，这些相机可以从不同的角度观察场景以获得视觉立体数据，这些视觉立体数据可以被分辨以生成深度信息。也可使用其它类型的深度图像传感器来创建深度图像。

捕捉设备20A还可以包括话筒430，所述话筒430包括可以接收声音并将其转换成电信号的换能器或传感器。话筒430可被用来接收也可由中枢计算系统12提供的音频信号。

在一示例实施例中，捕捉设备20A还可包括可与图像相机组件423进行通信的处理器432。处理器432可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令例如包括用于接收深度图像、生成合适的数据格式(例如，帧)以及将数据传送给中枢计算系统12的指令。

捕捉设备20A还可包括存储器434，该存储器434可存储由处理器432执行的指令、由3D相机和/或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器434可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图5中所示，在一个实施例中，存储器434可以是与图像捕捉组件423和处理器432通信的单独组件。根据另一实施例，存储器434可被集成到处理器432和/或图像捕捉组件422中。

捕捉设备20A和20B通过通信链路436与中枢计算系统12通信。通信链路436可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等的无线连接。根据一个实施例，中枢计算系统12可经由通信链路436向捕捉设备20A提供可被用于确定何时捕捉例如场景的时钟。附加地，捕捉设备20A经由通信链路436将由例如3-D相机426和/或RGB相机428捕捉的深度信息和视觉(例如RGB)图像提供给中枢计算系统12。在一个实施例中，深度图像和视觉图像以每秒30帧的速率被传送；但是可以使用其他帧速率。中枢计算系统12然后可以创建模型并使用模型、深度信息、以及所捕捉的图像来例如控制诸如游戏或文字处理程序等的应用和/或使化身或屏上人物动画化。

中枢计算系统12包括深度图像处理和骨架跟踪模块450，该模块使用深度图像来跟踪可被捕捉设备20A的深度相机功能检测到的一个或多个人。深度图像处理和骨架跟踪模块450向应用453提供跟踪信息，该应用可以是视频游戏、生产性应用、通信应用或其他软件应用等。还可将音频数据和视觉图像数据提供给应用452以及深度图像处理和骨架跟踪模块450。应用452提供跟踪信息、音频数据和视觉图像数据给识别器引擎454。在另一实施例中，识别器引擎454从深度图像处理和骨架跟踪模块450直接接收跟踪信息，并从捕捉设备20A和20B直接接收音频数据和视觉图像数据。

识别器引擎454与过滤器460、462、464、……、466的集合相关联，每个过滤器都包括关于可被捕捉设备20A或20B检测到的任何人或物体执行的姿势、动作或状况的信息。例如，过滤器460、462、464、……、466可处理来自捕捉设备20A的数据，以标识一个用户或一组用户何时执行了一个或多个姿势或其他动作。这些姿势可与应用452的各种控制、对象或状况相关联。因此，中枢计算系统12可以将识别器引擎454和过滤器一起用于解释和跟踪物体(包括人)的移动。

捕捉设备20A和20B向中枢计算系统12提供RGB图像(或其他格式或色彩空间的视觉图像)和深度图像。深度图像可以是多个观测到的像素，其中每个观测到的像素具有观测到的深度值。例如，深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每个像素都可具有深度值，诸如所捕捉的场景中的物体与捕捉设备相距的距离。中枢计算系统12将使用RGB图像和深度图像来跟踪用户或物体的移动。例如，该系统将使用深度图像跟踪人的骨架。可以使用许多方法以通过使用深度图像来跟踪人的骨架。

识别器引擎454包括确定姿势或动作的多个筛选程序460、462、464、...、466。过滤器包括定义姿势、动作或状况以及该姿势、动作或状况的参数或元数据的信息。例如，包括一只手从身体背面经过身体前方的运动的投掷可被实现为包括表示用户的一只手从身体背面经过身体前方的运动的信息的姿势，因为该运动可能由深度相机捕捉。随后可为该姿势设定参数。当姿势是投掷时，参数可以是这只手必须达到的阈值速度、这只手行进的距离(绝对的、或相对于用户的整体尺寸)、以及识别器引擎对发生的姿势的置信度评级。用于姿势的这些参数可随时间在各应用之间、在单个应用的各个上下文之间、或在一个应用的一个上下文内变化。

过滤器可以是模块式的或可互换的。在一个实施例中，过滤器具有多个输入(这些输入中的每一个具有一类型)以及多个输出(这些输出中的每一个具有一类型)。第一过滤器可用具有与第一过滤器相同数量和类型的输入和输出的第二过滤器来替换而不更改识别器引擎架构的任何其他方面。例如，可能具有用于驱动的第一过滤器，该第一过滤器将骨架数据作为输入并输出与该过滤器相关联的姿势正在发生的置信度和转向角。在希望用第二驱动过滤器来替换该第一驱动过滤器的情况下(这可能是因为第二驱动过滤器更高效且需要更少的处理资源)，可以通过简单地用第二过滤器替换第一过滤器来这样做，只要第二过滤器具有同样的输入和输出——骨架数据类型的一个输入、以及置信度类型和角度类型的两个输出。

过滤器不需要具有参数。例如，返回用户的高度的“用户高度”过滤器可能不允许可被调节的任何参数。备选的“用户高度”过滤器可具有可调节参数，比如在确定用户的高度时是否考虑用户的鞋、发型、头饰以及体态。

对过滤器的输入可包括诸如关于用户的关节位置的关节数据、在关节处相交的骨骼所形成的角度、来自场景的RGB颜色数据、以及用户的某一方面的变化速率等内容。来自过滤器的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及作出姿势运动的时间等内容。

识别器引擎454可以具有向过滤器提供功能的基本识别器引擎。在一实施例中，识别器引擎454实现的功能包括跟踪所识别的姿势和其他输入的随时间输入(input-over-time)存档、隐马尔可夫模型实现(其中模型化系统被假定为马尔可夫过程——其中当前状态封装了确定将来状态所使用的任何过去状态信息，因此不必为此目的而维护任何其他过去状态信息的过程——该过程具有未知参数，并且隐藏参数是从可观察数据来确定的)、以及求解姿势识别的特定实例所使用的其他功能。

过滤器460、462、464、……、466在识别器引擎454之上加载并实现，并且可利用识别器引擎454提供给所有过滤器460、462、464、……、466的服务。在一个实施例中，识别器引擎454接收数据来确定该数据是否满足任何过滤器460、462、464、……、466的要求。由于这些所提供的诸如解析输入等服务是由识别器引擎454一次性提供而非由每一过滤器460、462、464、……、466提供的，因此这一服务在一段时间内只需被处理一次而不是在该时间段对每一过滤器处理一次，因此减少了确定姿势所使用的处理。

应用452可使用识别器引擎454所提供的过滤器460、462、464、……、466，或者它可提供其自己的、插入到识别器引擎454中的过滤器。在一个实施例中，所有过滤器具有启用该插入特性的通用接口。此外，所有过滤器可利用参数，因此可使用以下单个姿势工具来诊断并调节整个过滤器系统。

在一个实施例中，中枢计算系统12包括用户简档数据库470，该用户简档数据库470包括与同中枢计算系统12交互的一个或多个用户相关的用户专用信息。在一个示例中，用户专用信息包括诸如下列与用户相关的信息：用户所表达的偏好；用户的朋友的列表；用户所偏好的活动；用户的提醒列表；用户的社交群；用户的当前位置；用户过去与该用户的环境中的物体交互的意图；以及其他用户创建的内容，比如用户的照片、图像和所记录的视频。在一个实施例中，用户专用信息可以从一个或多个诸如下列数据源获得：用户的社交站点、地址簿、电子邮件数据、即时通讯数据、用户简档或者因特网上的其他源。在一个方案中并且如将在下面详细描述的那样，用户专用信息用于自动确定用户与该用户的环境中的一个或多个物体交互的意图。

图6示出了可用于实现中枢计算系统12的计算系统的示例实施例。如图6所示，多媒体控制台500具有含有一级高速缓存502、二级高速缓存504和闪存ROM(只读存储器)506的中央处理单元(CPU)501。一级高速缓存502和二级高速缓存504临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU 501可被配备为具有一个以上的内核，并且由此具有附加的一级和二级高速缓存502和504。闪存ROM 506可存储在多媒体控制台500通电时在引导过程的初始化阶段加载的可执行代码。

图形处理单元(GPU)508和视频编码器/视频编解码器(编码器/解码器)514形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元508向视频编码器/视频编解码器514运送数据。视频处理流水线向A/V(音频/视频)端口540输出数据，用于传输至电视或其他显示器。存储器控制器510连接到GPU 508以方便处理器访问各种类型的存储器512，诸如但不局限于RAM(随机存取存储器)。

多媒体控制台500包括优选地在模块518上实现的I/O控制器520、系统管理控制器522、音频处理单元523、网络接口524、第一USB主控制器526、第二USB控制器528以及前面板I/O子部件530。USB控制器526和528用作外围控制器542(1)-542(2)、无线适配器548、以及外置存储器设备546(例如，闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口524和/或无线适配器548提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。

系统存储器543被提供来存储在引导过程期间加载的应用数据。提供媒体驱动器544，且其可包括DVD/CD驱动器、蓝光驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器144可位于多媒体控制台500的内部或外部。应用数据可经由介质驱动器544访问，以供多媒体控制台500执行、回放等。介质驱动器544经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器520。

系统管理控制器522提供与确保多媒体控制台500的可用性相关的各种服务功能。音频处理单元523和音频编解码器532形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元523与音频编解码器532之间传输。音频处理流水线将数据输出到A/V端口540，以供外置音频用户或具有音频能力的设备再现。

前面板I/O子部件530支持暴露在多媒体控制台500的外表面上的电源按钮550和弹出按钮552、以及任何LED(发光二极管)或其他指示器的功能。系统供电模块536向多媒体控制台500的组件供电。风扇538冷却多媒体控制台500内的电路。

多媒体控制台500内的CPU 501、GPU 508、存储器控制器510、以及各种其他组件经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线架构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。

当多媒体控制台500通电时，应用数据可从系统存储器543被加载到存储器512和/或高速缓存502、504中并在CPU 501上执行。应用可在导航到多媒体控制台500上可用的不同媒体类型时呈现提供一致用户体验的图形用户界面。在操作中，介质驱动器544中所包含的应用和/或其他媒体可从介质驱动器544启动或播放，以将附加功能提供给多媒体控制台500。

多媒体控制台500可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台500允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口524或无线适配器548可用的宽带连接集成的情况下，多媒体控制台500可进一步作为更大网络社区中的参与者来操作。另外，多媒体控制台500可以通过无线适配器548与处理单元4通信。

当多媒体控制台500通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器、CPU和GPU周期、网络带宽等等的保留。因为这些资源是在系统引导时保留的，所以所保留的资源从应用的视角而言是不存在的。具体而言，存储器保留量优选地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留量优选地为恒定，以使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留，显示由系统应用程序生成的轻量消息(例如，弹出窗口)，所述显示是通过使用GPU中断来调度代码以将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器(scaler)可用于设置该分辨率，从而消除了对改变频率并引起TV重新同步的需求。

在多媒体控制台500引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的一组系统应用中。操作系统内核标识出作为系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 501上运行，以便提供对应用而言一致的系统资源视图。调度是为了使针对在控制台上运行的游戏应用的高速缓存中断最小化。

当并发系统应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。

可选的输入设备(例如，控制器542(1)和542(2))由游戏应用和系统应用共享。输入设备不是保留的资源，而是要在系统应用和游戏应用之间被切换以使其各自将具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，而驱动程序维护有关焦点切换的状态信息。捕捉设备20A和20B可经由USB控制器526或其他接口来定义控制台500的附加输入设备。在其他实施例中，中枢计算系统12可以使用其他硬件架构来实现。中枢计算系统12的实现不要求任何特定硬件架构。

图7是描绘根据本技术的一实施例的过程的简化流程图。其它步骤可被添加且许多变型是可能的。并非需要所有步骤。在一个实施例中，图7中描绘的处理可由如图1中描绘的头戴式显示设备2的一个或多个组件执行。该过程的各步骤可通过软件、硬件、或硬件和软件的某种组合来执行。此处，术语“逻辑”是指软件、硬件、或硬件和软件的某种组合。从而，HMD 2可具有被配置成执行图7中描述的操作的逻辑。执行所述操作中的一些或全部的逻辑可以在HMD 2之外在中枢计算系统12处，或在某个其它处理器处。

应当注意，图7中描绘的步骤可并行或同时执行，且步骤可持续执行。例如，步骤702可被持续执行以使得用户的焦点被持续跟踪。

在步骤702中，确定佩戴HMD 2的用户的焦点。焦点是指用户将其注意力朝向到(例如，看向)的地方。在一个实施例中，通过跟踪头部朝向和/或位置来确定焦点。这可包括跟踪头部平移、旋转等。从而，当用户转动其头部以看向一对象时，系统100确定其聚焦在何物。在一个实施例中，焦点是基于眼睛注视跟踪确定的。在一个实施例中，焦点是基于眼睛注视跟踪和头部跟踪的组合确定的。

在一个实施例中，标识用户和与用户相关联的头戴式显示设备2的位置和朝向的信息被从中枢计算设备12传送并由处理单元4接收。这可在3D坐标系中定义。图2示出3D坐标系2252的一个示例，可在该坐标系中定义用户、其头部、以及头戴式显示设备2的位置和朝向。例如，中枢计算设备12将使用一个或多个深度图像和一个或多个视觉图像来跟踪用户(例如，使用骨架跟踪)。一个或多个深度图像和一个或多个视觉图像可被用来确定用户和与用户相关联的头戴式显示设备的位置和朝向。

在一个实施例中，在步骤702中使用由嵌入在头戴式显示设备2中的一个或多个传感器本地地传感的信息(例如，来自头戴式设备2)。可以使用嵌入在头戴式显示器中的包括加速度计、磁力计和陀螺仪的各种传感器技术或其他传感器技术来标识头部位置和朝向。其它传感器技术可包括飞行时间、空间扫描、机械连杆、相差传感、和/或直接场传感(direct field sensing)。在一个实施例中，处理单元4将访问来自三轴陀螺仪132B、三轴加速度计132C、以及三轴磁力计132A的数据。

在一个实施例中，在步骤702中使用标识环境中用户的眼睛的位置的信息。这也被称为如上讨论的“眼睛跟踪”。例如，在用于跟踪环境中用户的眼睛的位置的一个实施例中，可使用来自眼睛跟踪照明134A的红外光照明用户的眼睛。使用一个或多个眼睛跟踪相机134B来检测来自眼睛的反射。反射数据被从头戴式显示设备2发送至处理单元4。处理单元4将如上讨论地基于反射数据来确定眼睛的位置。在一个实施例中，标识环境中用户的眼睛的位置的信息被处理单元4接收或访问。

附加信息，诸如从云检索的信息、由一个或多个外部设备检测和/或收集的信息、以及其它相关信息也可在步骤702中使用。可采用诸如使用RGB和/或深度传感器的同时定位和地图构建(SLAM)等技术来提供用户的头部相对于被构建地图的环境的实时定位。可使用来自云的数据和/或深度传感器数据来标识环境拓扑。当用户正看向他或她自己时可使用深度传感器来标识该用户的身体的区域(例如，手、臂、躯干、腿)。

在步骤704中，系统100确定用户的焦点是否在与该用户界面符号相关联的对象的大致方向上。在此时间点，用户界面符号可以或可以不显示在HMD 2中。用户界面符号可以与现实世界对象或虚拟对象相关联。例如，该符号可以与实际的现实世界书籍或与虚拟的狗相关联。

如果系统100确定用户聚焦在该对象的大致方向上，则在步骤706中，系统100呈现符号。图8A示出根据一个实施例在对象上呈现的用户界面符号的示例。用户界面符号804被呈现在HMD 2中以使得该符号看上去与对象802相关联。对象802可以是现实世界对象或在HMD 2中呈现的虚拟对象。在此示例中，符号804被呈现在对象802的一个边缘上并看上去接触对象802。还存在许多其它可能性。符号804不必看上去与对象802接触。然而，在旁边帮助用户理解符号804可担当发起与对象802有关的用户交互、用户输入等的方式。

在步骤706，系统100可在对象802上呈现多于一个符号804。这是因为对象802可具有与其相关联的不止一个符号804。

注意，一个选项是即使用户没有在看着对象802也在HMD 2中呈现符号804。在此情况下，系统100可在用户看着对象802或其大致方向时使符号804以某种方式更可见。

如果在步骤704中系统确定用户没有聚焦在对象802的方向上，则控制传递至步骤702以继续监视用户的焦点。注意，如果用户没有聚焦在对象802的方向上，则不需要显示符号804，但是符号804任选地可以某种格式来显示。此格式可与用户看向对象802的方向时不同。例如，符号804可以较难感知。

在步骤706中呈现符号804之后，系统100在步骤708中确定用户是否正聚焦在符号804上。这可通过监视用户的头部朝向和/或位置和/或用户的眼睛注视来实现。在一个实施例中，系统100确定用户的注意力是否聚焦在符号804处达某个最小时间。

如上所述，对象802可具有与其相关联的不止一个符号804。在一个实施例中，系统100确定用户最直接地聚焦的那个符号804并突出显示该符号804。

如果用户的注意力聚焦在符号804上，则在步骤710中，系统100在HMD2中显示从符号804延伸出去的手柄。在一个实施例中，当用户第一次聚焦在符号804上时，该符号被突出显示。突出显示的示例是使得符号804发出微光、发亮、闪光、变得更明亮等。从而，符号804可被称为“微光”。如果用户继续看着符号804，则手柄向外延伸。图8B描绘了其中符号804被突出显示的一个示例。图8C描绘了其中手柄806从符号804延伸出去的一个示例。手柄806可以具有或可以不具有与其相关联的文本标签。手柄806可以具有或可以不具有与其相关联的图标。

在呈现手柄806之后，在步骤712，系统100确定用户是否沿手柄806将其焦点从符号804移开。如果否，则系统100返回至步骤708。用户可在起初看向符号804之后选择从符号804移开目光。在此情况下，步骤708的测试将为“否”且控制传递至步骤704。

在一个实施例中，步骤712包括系统100确定用户是否按指示其焦点正沿手柄806移动的方式来移动其头部。作为一个示例，这可以是头部的转动。

在一个实施例中，系统100确定用户是否按指示其眼睛注视正沿手柄806移动的方式来移动其眼睛。通常，通过眼睛跟踪确定的眼睛注视被认为是用户的眼睛(或双眼)瞬时固定到的点。在此情况下，系统100可跟踪用户正注视的不同的点并且确定这些点是否沿手柄806逐渐移动。

用户焦点的偏移不需要精确地沿着手柄806。例如，在跟踪图8C的示例的头部转动时，即使当用户将其头部向右转动时他们还将其头部向上或向下转动而使得焦点在某种程度上高于或低于手柄806，系统100仍旧将其认为是沿手柄806聚焦。然而，如果用户看向远高于(或低于)手柄806，则这可指示用户没有在尝试沿手柄806移动目光而是将其注意力转移到了别的事物。系统100此处提供的自由度可以是可调整参数。注意，此系统100可通过跟踪头部朝向和/或眼睛注视来确定用户的焦点沿着手柄806。

如果系统100确定用户已沿手柄806偏移其焦点，则在步骤714，系统100确定是否满足了选择准则。作为一个示例，选择准则可以是用户的焦点处于或接近手柄806的末端。

如果满足选择准则，则在步骤716，一用户界面元素被激活。这一点的一个示例是在HMD 2中呈现轮辐菜单。本文讨论了示例轮辐菜单。在一个实施例中，该用户界面元素在手柄806的远离符号804的末端处或附近被激活。

返回步骤714的讨论，在一些情况下，用户在看着符号804之后将不沿手柄806移动其焦点。而且，用户可从符号804移开目光。

在一种情况下，在看着符号804之后，用户从符号804和对象802两者移开目光。在此情况下，系统100可中止呈现手柄806和符号804。这由步骤718表示，从而导致“远离”状态。在此情况下，步骤720是中止在HMD 2中呈现符号804和手柄806。在此情况下，系统100可返回至在步骤702中监视用户的焦点。

在另一情况下，用户继续聚焦在手柄806，但是不满足选择准则。例如，用户的目光没有移开足够远至手柄806的末端。在另一情况下，用户在看着手柄806(但是没有满足选择准则)之后又看着符号804。在任一情况下，系统100继续呈现手柄806。这由步骤718的“手柄或符号”状态来表示，其传递控制至步骤710。

又一种可能性是用户从符号804移开目光，但是仍旧看着对象802。在此情况下，系统100可中止显示手柄806。然而，符号804仍旧被显示。这由步骤718的“对象”状态来表示，其传递控制至步骤722。在这种情况下，控制随后传递至步骤706。

在图7的过程期间，系统100可向用户提供反馈。在一个示例中，该反馈可以是音频反馈。此反馈可与各种事件相结合地被提供。例如，当用户看着符号804时，可提供音频反馈。当用户沿手柄806移动目光时，可提供用于帮助用户知道正在做出进度的音频反馈。视觉反馈也可在用户沿手柄806移动其焦点时提供。

在一些情况下，步骤714的结果是输入的选择。例如，作为步骤714中的选择的结果，对象802可能是摇尾巴的虚拟小狗。在此示例中，这可以是与符号804相关联的唯一选择。

在其它情况下，步骤714的结果是调出菜单。一种类型的菜单在此处被称为“轮辐菜单”。图8D是轮辐菜单808的一个实施例的示例。与轮辐菜单808相关联的对象802也在图8D中示出。轮辐菜单808具有中央中枢816，其在此示例中被表示为黑点。中央中枢816不必在HMD 2中被显示给用户。在一个实施例中，中央中枢816位于手柄806的与符号804所在的末端相对的末端。然而，在一个实施例中，当轮辐菜单808被显示时，手柄806和符号804不再呈现在显示画面中。在一个实施例中，轮辐菜单808看上去像是从手柄806的末端长出来的；此时，手柄806和符号804消失。

菜单808在外部具有围绕中央中枢816的数个菜单项810。在每个菜单项810和中枢816之间具有轮辐812。轮辐812不必总是被显示给用户。初始地，预期用户的焦点将在中枢816处。这是由于中枢816位于手柄806的末端处。如前所述，用户可朝手柄806的该末端偏移其焦点来激活轮辐菜单808。激活的意思是使得HMD显示轮辐菜单808。

用户能够通过将其焦点从中枢816朝菜单项810之一偏移来选择一菜单项810。初始地，中枢816和该菜单项810之间的轮辐812可能不总是被显示。当用户朝菜单项810偏移其焦点时，在一个实施例中，轮辐812朝菜单项810生长。以下讨论进一步的细节。

图9A是轮辐菜单808的一个实施例的另一示例。在此示例中，与轮辐菜单808相关联的对象802未被描绘。而且，轮辐812和中枢816为了讨论目的而被描绘。轮辐812和中枢816不需要被呈现在HMD 2中。通常，菜单项810是与对象802相关联的动作，然而不要求如此。在此示例中，菜单项810包括用于操作视频等的各种控件(例如，音量、播放/暂停、快进/倒带)。在此示例中，菜单项810具有文本标签，但是不要求如此。轮辐812可以具有或可以不具有与其相关联的文本标签。轮辐812可以具有或可以不具有与其相关联的图标。

在一个实施例中，轮辐菜单808可以是嵌套式的。这意味着对一菜单项810的选择可派生另一轮辐菜单808。例如，如果用户选择被标记为音量的菜单项810，则这可派生在图9B中描绘的轮辐菜单808。例如，如果用户选择被标记为快进/倒带的菜单项810，则这可派生在图9C中描绘的轮辐菜单808。派生菜单是指在HMD 2中呈现该菜单。

图10是提供在轮辐菜单808上的菜单项810的选择的过程1000的一个实施例的流程图。过程1000可从图7在步骤714之后执行。回忆一下，在一个实施例中步骤714导致轮辐菜单808被激活。例如，诸如图8D或9A中描绘的轮辐菜单808被激活。在过程1000中，使用头部跟踪。眼睛跟踪在过程1000中不需要被使用。进程1000可以通过硬件、软件、或硬件和软件的某种组合来执行。在一个实施例中，过程1000至少部分由HMD 2来执行。耦合至HMD2的处理器可辅助一些步骤。

在过程1000的开始，系统100可假定用户的注意力聚焦在轮辐菜单808的中枢816上。这在步骤1002中描述。给定中枢816可位于手柄806处或附近，则可做出此假定。如上所述，中枢816不必被视觉呈现在HMD 2中。而且，用户实际上直接看着中枢816的位置不是必要的。

步骤1004是跟踪用户的头部朝向和/或位置。这已经被讨论过。头部跟踪可贯穿过程1000持续执行。

在步骤1006中，系统100确定该用户的头部是否正移动以使得用户的焦点正从中枢816移开。在中枢816附近可以存在某个“安全区域”，以使得系统100不认为这是明显的头部移动，除非头部移动某个所定义的量(例如，超出一阈值)。测量头部移动的方式可以变化。一种技术是按照度数来跟踪头部转动。头部可能在转动度数方面移动某个最小量以将其认为是明显移动。

如果存在头部移动，则在步骤1008中，系统100突出显示相关轮辐812。在一个实施例中，轮辐812仅一部分被突出显示。该部分可以是最靠近轮辐816的部分。在一个实施例中，轮辐812被填充的量取决于用户将其头部移动(例如转动)得多远。

图11A-11C示出了被逐渐填充的轮辐812的示例。这可以是响应于用户在朝被标记为“更响”的菜单项的方向上将其头部移动得更远离中枢816的。例如，当用户转动其头部以使得从其双眼间“直射出去”的向量从中枢816向右朝“更响”菜单项移动使，轮辐812被逐渐填充。在一个实施例中，逐渐填充轮辐812是指逐渐或渐进地在HMD 2中呈现轮辐812的更大部分。在一个实施例中，逐渐填充轮辐812是指通过例如使轮辐更饱和、更明亮、被填充入等来逐渐或渐进地“填充入”轮辐812。例如，整个轮辐812最初可能是淡出的。随后，逐渐地或渐进地使轮辐812的更大部分更明亮、被填充入、被饱和等。注意，轮辐812也可以是“未填充的”，取决于用户的焦点。

注意，填充轮辐812可相对于头部移动具有不同敏感度。换言之，轮辐812响应于特定头部移动量而填充的程度可以是可调整的参数。这意味着来自用户的头部的前述向量不需要精确地指向轮辐812已被填充之处。例如，在图11B中，轮辐812已被填充至点A。从用户的头部的向量可以或可以不指向点A。该向量可指向比点A更靠近中枢816或更远离中枢816处。敏感度可帮助阻止假肯定(false positive)，同时仍旧使用户容易地提供输入。

一些轮辐812按照所谓的“生长模型”被填充。在此情况下，当系统100已在步骤1006中确定用户已将其头部移动特定量时，轮辐812开始填充。轮辐812可继续填充，只要用户将其头部位置维持在中央中枢816附近的“安全区域”之外。这假定头部位置也大致沿轮辐812的区域。从而，即使在用户的头部没在移动的情况下，轮辐812可继续逐渐填充，如在来自图11A-11C的序列中所描绘的。

再次返回关于图10的讨论，在步骤1010中，系统100确定是否满足选择准则。在一个实施例中，通过头部移动特定量而满足选择准则。从而，系统100确定用户的头部位置是否达到选择点。在一个实施例中，此选择点是指特定移动量(例如，头部转动)。选择点是选择准则的一个示例。当满足此选择准则时，在步骤1012中，系统选择菜单项。参考图11C，当用户的头部已移动(例如转动)所定义的量时，“更响”菜单项810被选择。此量可以使得前述头部向量正指向更响菜单项810、指向其右侧、或指向其左侧(但是在中枢右侧)。

注意，在选择菜单项810之后，轮辐菜单808可消失。例如，在选择图9B中的“完成”菜单项810之后，图9B中的轮辐菜单808可消失。一不同轮辐菜单取代现有轮辐菜单也是可能的，这在此处被称为“派生”轮辐菜单808。例如，在选择图9A的音量菜单项之际，可派生图9B的菜单项。可使用其它技术来使轮辐菜单808消失，诸如用户点头。

用户需要移动其头部以做出选择(即，以实现选择准则)的程度可以是可调整的参数。此敏感度可取决于轮辐菜单808的配置。例如，一些菜单项810可比另一些菜单项距中枢816更远地定位(作为一个示例，其中更远可按照头部转动的度数来测量)。

在一个实施例中，当轮辐812已被填充到特定度数时，达到选择点。作为一个示例，这可以是当轮辐812达到菜单项810时，如在图11C中描绘的。此选择技术可与上面描述的“生长模型”技术相结合地使用。然而，其还可与其它技术相结合地使用，诸如当用户继续进一步移动(例如转动)其头部时逐渐填充轮辐812的技术。

如果不满足选择准则(步骤1010＝否)，则控制传递至步骤1011。在步骤1011中，系统确定用户是否仍旧聚焦于相同轮辐。如果是，则控制传递至步骤1010以确定是否满足选择准则。注意，尽管用户继续聚焦在同一轮辐上，然而取决于用户的焦点，该轮辐可逐渐填充更多或可逐渐“去填充(unfill)”。

用户开始沿一轮辐812移动其头部，但是随后改变主意并将其焦点返回至中央中枢816或一不同轮辐812也是可能的。在步骤1014中对此进行测试，以免用户不再聚焦在同一轮辐上(步骤1011＝否)。一个选项是返回步骤1008来突出显示用户当前聚焦的轮辐(例如，头部被朝向的轮辐)。源自步骤1014的另一选项是在确定用户的头部被朝向中枢816附近的安全区域处之际返回至步骤1004。这由步骤1014的“中枢”状态表示。

又一种可能性是如果确定用户不再看向轮辐菜单808附近的任何地方，则在步骤1016中放弃。这由步骤1014的“离开轮辐菜单”状态来表示，其传递控制至步骤1016。

在图10的过程期间，系统100可向用户提供反馈。在一个示例中，该反馈可以是音频反馈。此反馈可与各种事件相结合地被提供。例如，当轮辐812被逐渐填充时，可提供音频反馈来帮助用户知道正做出什么进度。

在图10的过程中，允许用户移动其眼睛而不触发来自系统100的响应。这是因为在此技术中使用的是头部跟踪。这允许用户保持其头部相对静止，同时移动其眼睛以扫描轮辐菜单808中的不同菜单项。如同前面讨论的，如果存在“安全区域”等，则用户不需要保持其头部完全静止。

图12是提供在轮辐菜单808上的菜单项810的选择的过程1200的一个实施例的流程图。过程1200可从图7在步骤714之后执行。回忆起在一个实施例中步骤714导致轮辐菜单808被激活。例如，诸如图8D或9A中描绘的轮辐菜单808被激活。在过程1200中，使用眼睛跟踪。

在过程1200的开始，系统100可假定用户的注意力聚焦在轮辐菜单808的中枢816上。这在步骤1202中描述。给定中枢816可位于手柄806处或附近，则可做出此假定。如上所述，中枢816以及轮辐812不需要被呈现在HMD2中。而且，用户实际上直接看着中枢816的位置不是必要的。

步骤1204是跟踪用户的眼睛注视。这已经被讨论过。眼睛跟踪可贯穿过程1200连续执行。

在过程1200中，系统100可使用各种技术来防止假肯定。在一个实施例中，系统100通过要求用户提供他们现在正在使用其眼睛以用于选择目的的信号来允许用户调查轮辐菜单项810而无需做出疏忽的选择。从而，执行步骤1206的条件是已进入分析眼睛注视的模式。

在步骤1206中，系统确定用户的眼睛注视是否已从中枢816偏移。在中枢816附近可以存在某个“安全区域”，以使得系统不认为这是明显的眼睛移动，除非眼睛注视移动某个所定义的量。测量眼睛移动的方式可以变化。

如果存在头部移动，则在步骤1208中，系统100突出显示相关轮辐812。在一个实施例中，轮辐812仅一部分被突出显示。该部分可以是最靠近轮辐816的部分。在一个实施例中，轮辐812被逐渐填充的量取决于用户将其眼睛移动(例如转动)得多远。图11A-11C的先前讨论的示例适用于基于眼睛注视逐渐填充轮辐。与头部移动一样，填充轮辐812可相对于眼睛移动具有不同敏感度。

与头部移动的示例一样，一些轮辐812按照所谓的“生长模型”被填充。在此情况下，当系统100已在步骤1206中确定用户已将其眼睛移动特定量时，轮辐812开始逐渐填充。轮辐812可继续逐渐填充，只要用户将其眼睛位置维持在“安全区域”之外且在轮辐812附近。从而，即使在用户的眼睛没在移动的情况下，轮辐812可继续逐渐填充，如在来自图11A-11C的序列中所描绘地。

再次返回关于图12的讨论，在步骤1210中，系统100确定是否选择已被触发。在一个实施例中，通过眼睛移动特定量而触发选择点。在一个实施例中，系统100确定眼睛是否“悬停”在菜单项810(或其它选择点)附近达某个所定义的时间段。在一个实施例中，系统100确定当用户的眼睛注视在菜单项810(或其它选择点)附近时，是否发生附加选择事件。例如，用户可使用语音命令来选择、使用手的运动、触摸HMD2的一区域(例如镜腿)等。前面都是至少部分基于眼睛注视的选择准则的示例。

用户需要移动其眼睛以做出选择的程度可以是可调整的参数。此敏感度可取决于轮辐菜单808的配置。

在一个实施例中，当轮辐812已被填充到特定度时，达到选择点。作为一个示例，这可以是当轮辐812达到菜单项810时，如在图11C中描绘的。此选择技术可与上面描述的“生长模型”技术相结合地使用。然而，其还可与其它技术相结合地使用，诸如当用户继续进一步移动其眼睛时逐渐填充轮辐812的技术。

如果不满足选择准则(步骤1210＝否)，则控制传递至步骤1211。在步骤1211中，系统确定用户是否仍旧聚焦于相同轮辐。如果是，则控制传递至步骤1210以确定是否满足选择准则。注意，尽管用户继续聚焦在同一轮辐上，然而取决于用户的焦点，该轮辐可逐渐填充更多或可逐渐“去填充”。

用户开始沿一轮辐812移动其眼睛，但是随后改变主意并将其焦点返回至中央中枢816或一不同轮辐812也是可能的。如果系统确定用户不再聚焦于同一轮辐(步骤1211＝否)，则控制传递至步骤1214以基于眼睛注视来确定要采取的动作。一个选项是返回步骤1208来突出显示用户将其焦点偏移到的轮辐(例如，眼睛注视被朝向的轮辐)。

另一选项是在确定用户的眼睛注视被朝向在中枢816附近的安全区域处之际返回至步骤1204。又一种可能性是如果确定用户不再看向轮辐菜单808附近的任何地方，则在步骤1216中放弃。

在图10和12的讨论中，轮辐812被逐渐填充。然而，这不是绝对要求。在一个实施例中，响应于用户的焦点满足某个准则，诸如聚焦在菜单项810附近，轮辐812全部一起填充。

各种配置可被用于轮辐菜单808。图13示出其中菜单项810与中枢816在对角线处的一个实施例。同样，轮辐812不需要总是被呈现在HMD 2中。如上所述，给定轮辐812可响应于用户的焦点而被逐渐填充或生长。中枢816可能永远不被显示。

图14A和14B描绘了轮辐菜单808的另一实施例。图14A示出在径向配置中的四个菜单项810。中枢在菜单的中心，但在图14A中其未被描绘。轮辐在图14A中也未被描绘。菜单项810中的三个菜单项允许用户选择电影，而另一菜单项用于返回一个菜单。

图14B示出当一个轮辐812响应于系统100确定用户的焦点已从中枢朝针对电影B的菜单项810偏移而被(至少部分)填充时的此实施例。例如，系统100确定用户的头部向下转动了某个预定义量。与图10的讨论一样，在中央中枢周围可以有安全区域以在开始填充轮辐812之前允许一定的移动。轮辐812可逐渐填充或全部一起填充。取决于用户的焦点，轮辐812还可逐渐或全部一起“去填充”。可使用结合图10或12讨论的其它技术。在此示例中，轮辐812是饼形的。还可针对轮辐812使用许多其它形状。

可以有与对象802相关联的超过一个用户选择符号804。图15显示了其中存在与对象802相关联的第一用户选择符号804a和第二用户选择符号804b的示例。第二用户选择符号804b具有响应于用户将其注意力聚焦到该符号处或附近而从该符号延伸的手柄806。如同上面讨论的，如果用户将其注意力的焦点沿手柄806从第二用户选择符号804b移开，则这将激活与对象802相关联的某个菜单元素。用户还可通过将其注意力聚焦到第一用户选择符号上而选择第一用户选择符号804a。

在一个实施例中，系统100响应于用户看向对象802的大致方向而在对象802上呈现符号804a和804b两者。系统100响应于用户看着该符号804a而突出显示符号804a，并响应于用户看着该符号804b而突出显示该符号804b。如同先前讨论的，焦点可通过头部跟踪和/或眼睛跟踪来确定。

在一个实施例中，用户选择符号804按照标识手柄806将延伸的方向的方式成形。图16描绘了其中用户选择符号804c指向手柄806已延伸的方向的一个实施例。用户选择符号804d还指向一特定方向以指示手柄806将响应于聚焦在该符号804d上而从该符号804d延伸的方向。

在一个实施例中，在符号804上存在反馈，该反馈指示用户的眼睛或头部向量相对于符号804在何处。例如，符号804看上去像是具有星尘的彗星，该星辰被磁性地吸引到用户的眼睛被聚焦到的地方。这在符号804很小时帮助用户知道他们聚焦在何处。它还在系统使用不可见光标时提供帮助。例如，这可通过提供用户是否需要将其焦点稍微向右或稍微向上/向下/向左偏移以便激活该用户界面的反馈来辅助用户。

在一个实施例中，轮辐菜单808可以是嵌套式的。这意味着对一菜单项810的选择可派生另一轮辐菜单808。图17示出了嵌套式轮辐菜单808的一个示例。在此示例中，存在主控制轮辐菜单808a。选择控制视频菜单项810a派生播放控制轮辐菜单808b。选择调整平板菜单项810b派生平板控制轮辐菜单808c。注意，通常每次仅需要呈现这些轮辐菜单808之一。从而，在选择视频菜单项810a之际，主控制轮辐菜单808a可消失。按照类似方式，在选择调整平板菜单项810a之际，主控制轮辐菜单808a可消失。

进一步向下，选择播放控制轮辐菜单808b中的音量菜单项810c派生音量控制轮辐菜单808d。音量控制轮辐菜单808d派生向用户提供反馈的另一种方式。在一个实施例中，用户聚焦在减小音量菜单项810e或增大音量菜单项810d上来改变音量。在一个实施例中，用户将其注意力沿与菜单项810相关联的轮辐聚焦来提供输入。例如，用户可通过将其焦点沿与音量菜单项810e相关联的轮辐812偏移来控制音量。音量可以通过用户的焦点沿该轮辐的位置来控制。例如，距音量菜单项810e越近，音量越大。替代地，音量改变的速度可以通过用户的焦点沿与音量轮辐菜单项810e的位置来控制。例如，当用户的焦点靠近增大音量菜单项810d时，音量可更快地增大。音量条1712向用户提供反馈。通过用户输入的类似控制可通过与其它菜单项810相关联的轮辐来提供。

上文指示可以有两种(或更多种)类型的轮辐812。一种类型的轮辐812可被称为“选择轮辐”。选择轮辐可导致与该菜单项相关联的选择。例如，该选择可派生另一轮辐菜单，或可以是输入(例如，选择播放、选择快进等)。另一种类型的轮辐812可被称为“幅度”轮辐。作为一个示例，幅度轮辐可允许用户改变一值。例如，用户可改变音量水平、改变快进速率等。

图17中还描绘了在平板控制808c中的调整大小菜单项810f，在选择该菜单项808e之际其可派生调整大小轮辐菜单808e。

如在图7中所讨论的，步骤714的一种可能性是用于通过用户将其焦点偏移到手柄806的末端来提供的输入。这一点的一个示例是在键盘上输入字母。图18示出了允许基于沿手柄806滑动焦点的用户输入的一个实施例。图18示出了多个用户界面符号804，每个用户界面符号与英语字母表的一不同字母相关联。这些符号804作为HMD 2中的虚拟图像被呈现给用户。这可以是与符号804相关联的某个对象802，尽管在图18中未描绘该对象。

当用户看着符号804中的一个符号时，系统110突出显示该符号804并使手柄806从该符号804生长出来。用户随后可通过将其焦点从符号804偏移至手柄806的远离符号804的末端处或附近的点来选择该字母。根据图7的步骤714，接收对该字母的选择是响应于确定用户的焦点已从该用户界面符号804沿手柄806偏移开以满足选择准则而激活用户界面元素的一个示例。

前面的对本技术的详细描述只是为了说明和描述。它不是为了详尽的解释或将本技术限制在所公开的准确的形式。鉴于上述教导，许多修改和变型都是可能的。选择上述实施例来最好地解释本技术的原理及其实践应用，从而使本领域其他人能够在各种实施例中并用各种适于所构想的特定用途的修改一起最好地利用本技术。本技术的范围由所附的权利要求进行定义。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种提供用户界面的方法，所述方法包括：

在透视近眼显示器中呈现用户界面符号；

确定佩戴所述透视近眼显示器的用户的焦点；

响应于确定所述用户聚焦在所述用户界面符号上而在所述透视近眼显示器中显示手柄，所述手柄从所述用户界面符号延伸出去；

确定所述用户的焦点已沿所述手柄从所述用户界面符号偏移；以及

响应于确定所述用户的焦点已沿所述手柄从所述用户界面符号偏移以满足选择准则来激活用户界面元素，

其中所述激活用户界面元素包括打开与所述用户界面符号相关联的菜单，并且

其中所述打开与所述用户界面符号相关联的菜单包括派生轮辐菜单，所述轮辐菜单包括多个菜单项，且所述打开与所述用户界面符号相关联的菜单进一步包括响应于所述用户将其焦点沿与所述多个菜单项中的第一菜单项相关联的轮辐在沿该轮辐的方向上朝所述第一菜单项移动而逐渐填充该轮辐。

2.如权利要求1所述的方法，其特征在于，所述激活用户界面元素包括：

接收与所述用户界面符号相关联的输入的选择。

3.如权利要求1所述的方法，其特征在于，进一步包括：

响应于确定所述用户的焦点至少部分朝所述第一菜单项移动而显式与所述第一菜单项相关联的轮辐的至少一部分。

4.如权利要求1所述的方法，其特征在于，所述响应于确定所述用户的焦点已沿所述手柄从所述用户界面符号偏移以满足选择准则来激活用户界面元素包括：

跟踪在离开所述用户界面符号的方向上的所述用户的头部朝向。

5.如权利要求1所述的方法，其特征在于，所述响应于确定所述用户的焦点已沿所述手柄从所述用户界面符号偏移以满足选择准则来激活用户界面元素包括：

跟踪在离开所述用户界面符号的方向上的所述用户的眼睛移动。

6.如权利要求1所述的方法，其特征在于，所述在透视近眼显示器中呈现用户界面符号包括：

在所述透视近眼显示器中显示所述用户界面符号以使得所述用户界面符号出现在现实世界对象或在所述透视近眼显示器中显示的全息图像上。

7.如权利要求6所述的方法，其特征在于，所述在所述透视近眼显示器中显示所述用户界面符号以使得所述用户界面符号出现在现实世界对象或在所述透视近眼显示器中显示的全息图像上是响应于所述用户界面符号在所述透视近眼显示器中被呈现时所述用户看着现实世界中所述用户界面符号出现的点而执行的。

8.一种显示系统，包括：

透视近眼显示设备；

与所述显示设备通信的逻辑，所述逻辑被配置成：

在所述透视近眼显示设备中呈现用户界面符号；

跟踪佩戴所述透视近眼显示设备的用户的眼睛注视或头部朝向；

响应于确定所述用户注视或所述头部朝向指示所述用户正看着所述用户界面符号而在所述透视近眼显示设备中显示手柄，所述手柄从所述用户界面符号延伸出去；

响应于确定所述眼睛注视或头部朝向指示所述用户正沿所述手柄从所述用户界面符号移开目光以满足选择准则来激活用户界面元素，

其中所述激活用户界面元素包括打开与所述用户界面符号相关联的菜单，并且

其中所述打开与所述用户界面符号相关联的菜单包括派生轮辐菜单，所述轮辐菜单包括多个菜单项，且所述打开与所述用户界面符号相关联的菜单进一步包括响应于所述用户将其焦点沿与所述多个菜单项中的第一菜单项相关联的轮辐在沿该轮辐的方向上朝所述第一菜单项移动而逐渐填充该轮辐。

9.一种包括用于执行如权利要求1-7中的任一项所述的方法的装置的计算机系统。

10.一种具有指令的计算机可读存储介质，所述指令在被执行时使机器执行如权利要求1-7中的任一项所述的方法。