CN113220116A - 改变可穿戴设备用户输入模式的系统和方法及可穿戴系统 - Google Patents

Abstract

本发明涉及改变可穿戴设备用户输入模式的系统和方法及可穿戴系统。公开了使用可穿戴系统与三维空间中的虚拟对象交互的系统和方法。可穿戴系统可被编程为允许用户使用用户输入设备和姿势与虚拟对象交互。可穿戴系统还可以自动确定上下文信息，诸如用户环境中虚拟对象的布局，并基于上下文信息切换用户输入模式。

Description

改变可穿戴设备用户输入模式的系统和方法及可穿戴系统

本申请是申请日为2016年10月18日、PCT国际申请号为PCT/US2016/057554、中国国家阶段申请号为201680074220.6、发明名称为“改变可穿戴设备用户输入模式的系统和方法及可穿戴系统”的申请的分案申请。

相关申请的交叉引用

本申请根据35U.S.C.§119(e)要求于2015年10月20日提交的标题为“用户应用程序、界面和增强现实显示设备的体验(“USER APPLICATIONS,INTERFACES,AND EXPERIENCESWITH AUGMENTED REALITY DISPLAY DEVICES”)的美国临时申请No.62/244,115，2016年2月29日提交的标题为“在3D空间中选择虚拟对象”(“SELECTING VIRTUAL OBJECTS IN 3DSPACE”)的美国临时申请No.62/301,422，以及于2016年3月31日提交的标题为“在3D空间中选择虚拟对象”(“SELECTING VIRTUAL OBJECTS IN 3D SPACE”)的No.62/316,179的优先权权益。所有临时申请通过引用全部并入在此。

技术领域

本公开涉及虚拟现实、增强现实和混合现实成像和可视化系统，并且具体涉及用于与三维(3D)空间中的虚拟对象交互的系统。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的开发，其中数字再现的图像或其部分以其中他们看起来是或可能被感知为真实的方式呈现。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而不透明于其它实际的真实世界的视觉输入；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的实际世界的可视化的增强；混合现实或“MR”，其与真实世界和虚拟世界合并在一起相关，以产生新的环境，在该环境中物理和虚拟对象共存并实时交互。事实证明，人类视觉感知系统非常复杂，并且产生VR、AR或MR技术是具有挑战性的，该技术有助于在其它虚拟或真实世界的图像元素中舒适、自然、丰富地呈现虚拟图像元素。在此公开的系统和方法解决了与VR、AR和MR技术有关的各种挑战。

发明内容

在一些实施例中，公开了一种用于改变可穿戴设备的用户输入模式的系统。该系统可以包括：可穿戴设备的显示系统，其被配置为向用户呈现三维(3D)视图，其中3D视图包括可交互对象；用户输入设备，其被配置为接收用户输入；传感器，其被配置为获取与用户的姿势相关联的数据；以及硬件处理器，其与用户输入设备进行通信。硬件处理器可被编程为：确定用于与可交互对象交互的当前用户输入模式是第一用户输入模式还是第二用户输入模式，其中第一用户输入模式至少部分地基于用户的姿势，并且第二用户输入模式至少部分地基于来自用户输入设备的用户输入。响应于当前用户输入模式是第一用户输入模式的确定，硬件处理器可使用传感器监控用户的姿势；至少部分地基于监控的姿势经由显示系统在与用户的姿势有关的方向中呈现与第一用户输入模式相关联的第一形状中的焦点指示符；接收切换到第二用户输入模式的第一指示；以及响应于第一指示将当前用户输入模式切换到第二用户输入模式。响应于当前用户输入模式是第二用户输入模式的确定：硬件处理器可监控来自用户输入设备的用户输入；至少部分地基于监控的输入，经由显示系统呈现与第二用户输入模式相关联的第二形状中的焦点指示符；接收切换到第一用户输入模式的第二指示；以及响应于第二指示将当前用户输入模式切换到第一用户输入模式。

在某些实施例中，公开了一种用于改变可穿戴设备的用户输入模式的方法。该方法可以在包括计算机处理器的可穿戴设备的控制下执行。可穿戴设备可以被配置为允许用户与用户的关注场(FOR)中的可交互对象交互，该FOR包括能够由用户经由可穿戴设备的显示系统感知的用户周围的环境的一部分。该方法包括：确定用户的姿势；经由显示系统在与用户的姿势有关的方向中显示与目标可交互对象相关联的第一焦点指示符，其中目标可交互对象包括多个虚拟对象；接收对目标可交互对象的选择；向用户呈现用于将用户输入模式从姿势切换到用户输入设备上的手部手势的选项；经由显示系统显示多个虚拟对象；响应于用户已将用户输入模式从姿势切换到用户输入设备上的手部手势的确定，经由显示系统显示与多个虚拟对象中的目标虚拟对象相关联的第二焦点指示符；以及至少部分地基于来自用户输入设备的用户输入来更新第二焦点指示符。

在一些实施例中，公开了用于选择位于三维(3D)空间中的虚拟对象的可穿戴系统和方法。可穿戴系统可以包括：显示系统，其被配置为在3D空间中呈现虚拟对象；非暂态数据存储器，其被配置为存储3D空间中的可交互对象；传感器，其被配置为确定用户的姿势；以及硬件处理器，其被编程为与显示系统、数据存储器和传感器通信。可穿戴系统和方法可至少部分地基于从传感器接收的数据来确定用户的姿势；至少部分地基于用户的姿势来确定用户的视场(FOV)，该FOV包括用户在给定时间感知的用户环境的一部分；识别FOV中的一组可交互对象；至少部分地基于用户的姿势来识别FOV中的目标可交互对象；以及启动与目标可交互对象相关联的选择事件。

在本说明书中描述的主题的一个或多个实施方式的细节在附图和下面的描述中阐述。从描述、附图和权利要求中，其它特征、方面和优点将变得显而易见。本概述和以下详细描述都不旨在限定或限制本发明主题的范围。

附图说明

图1描绘了具有某些虚拟现实对象以及由人观看的某些物理对象的混合现实场景的图示。

图2示意性地示出可穿戴系统的示例。

图3示意性地示出使用多个深度平面来模拟三维图像的方法的方面。

图4示意性地示出用于向用户输出图像信息的波导堆叠的示例。

图5示出可以由波导输出的示例出射光束。

图6是示出了包括波导装置、将光光耦合到波导装置或从波导装置光耦合光的光耦合器子系统以及控制子系统的光学系统的示意图，该光学系统用于生成多焦点立体显示、图像或光场。

图7是可穿戴系统的示例的框图。

图8是渲染与识别的对象相关的虚拟内容的方法的示例的过程流程图。

图9是可穿戴系统的另一个示例的框图。

图10是用于确定向可穿戴系统的用户输入的方法的示例的过程流程图。

图11是用于与虚拟用户界面进行交互的方法的示例的过程流程图。

图12示出视场中的虚拟对象和关注场中的虚拟对象的示例。

图13A示出在用户输入设备的触摸屏上用触摸手势选择可交互对象的示例。

图13B示出在用户输入设备上用手部手势过滤可选择对象的示例。

图14是头部姿势的坐标系的示例。

图15示出用头部姿势与可交互对象交互的示例。

图16示出用手部手势与可交互对象交互的示例。

图17示出与天气应用程序的示例交互事件。

图18示出与3D虚拟对象交互的示例用户体验。

图19示出使用用户输入设备上的姿势和手部手势的组合来选择虚拟对象的示例过程。

图20示出使用用户输入设备上的姿势和手部手势的组合与虚拟对象进行交互的示例过程。

图21示出用于基于上下文信息将输入控制从头部姿势切换到手部手势的示例过程。

图22示出用于基于上下文信息切换用户交互模式的示例过程。

图23示出与包括一组虚拟对象的可交互对象交互的示例过程。

在整个附图中，可以重新使用参考数字来指示参考元素之间的对应关系。提供附图以示出在此描述的示例实施例并且不旨在限制本公开的范围。

具体实施方式

概述

通过使用AR/VR/MR设备，用户可能想要使用虚拟用户界面来瞄准和选择三维(3D)空间中的对象。例如，用户可以使用诸如物理接近、抓住或触摸项目的身体姿势来选择虚拟对象。用户也可以通过用虚拟光线或光束指向并点击对象来选择虚拟对象。但是这些技术可能导致疲劳并且难以精确地选择对象，因为可能需要用户保持他的姿势静止以实现选择。

本公开提供了解决这些问题中的一些或全部的可穿戴系统的示例。作为一个示例，用户可以移动他的头部并看向一组对象。距离用户视场中心最近的对象可以被突出为潜在的目标对象，并且用户可以驱使用户输入设备(例如，通过在触摸屏上滑动)以将突出从一个对象传送到另一个对象。用户可以通过再次驱使用户输入设备(例如通过触摸触摸屏)来确认目标对象的选择。一旦被选择，AR用户界面可允许用户对所选目标对象执行附加动作(例如，显示或从与该对象相关联的菜单中选择，执行与目标对象出现在其中的游戏相关联的动作等)。该技术对于选择用户感兴趣的对象同时减轻疲劳是特别有利的。这是因为头部姿势难以精确控制。可穿戴系统可以基于用户的头部姿势初步识别感兴趣的对象，并且同时允许用户使用手部手势精确地选择对象。

在一些实施方式中，可交互对象可以包括多个虚拟对象。例如，虚拟用户界面平面可以包括多个虚拟应用程序，诸如视频流应用程序、虚拟教室应用程序、天气应用程序、游戏应用程序、天文应用程序等。可穿戴系统可以基于可交互对象的特性来支持不同的用户输入模式。例如，当可交互对象是用户界面平面(其大小可能很大)时，可穿戴系统可以允许用户使用姿势与其交互。另一方面，当可交互对象相对较小时，可穿戴系统可改为将用户输入设备设置为默认输入模式，以允许用户精确地与虚拟对象交互。这些实施方式可能是有利的，因为移动和瞄准大对象可能对用户移动需要较少的精度，而移动和选择小对象可能需要用户精确瞄准。

可穿戴系统还可以基于上下文信息来确定用户输入模式。例如，可穿戴系统可以确定用户环境中虚拟对象的布局。当可穿戴系统在用户的注视方向中检测到密集的虚拟对象群时，可穿戴系统可以给用户选项以将输入控制从头部控制切换到手部控制。这样，用户可以更精确地与虚拟对象进行交互。作为另一个示例，AR系统可以检测对象的取向(例如，垂直或水平)并且为用户提供适当的交互(例如，在用户前面垂直出现的电视应用程序的音量控制或者在用户桌面上水平出现的虚拟键盘打字控制)。

可穿戴系统可以允许用户与其他人(也穿戴可穿戴系统)来共享虚拟内容，例如通过传递用户环境的世界地图或经由网络在可穿戴系统之间传递虚拟内容(或对虚拟内容的更新)。

3D显示的示例

图1描绘了具有某些虚拟现实对象以及由人观看的某些物理对象的混合现实场景的图示。在图1中，描绘了MR场景100，其中MR技术的用户看到以人、树木、背景中的建筑物为特征的真实世界公园状设置110，以及混凝土平台120。除了这些项目之外，MR技术的用户同样感知他“看到”站在真实世界平台120上的机器人雕像130，以及看起来像飞行的蜜蜂的化身的卡通式的头像角色140，尽管这些元素不存在于真实世界中。

为了使3D显示器产生真实的深度感觉，并且更具体地，模拟的表面深度感觉，可能期望显示器的视场中的每个点产生与其虚拟深度对应的适应响应。如果对显示点的适应响应不对应于该点的虚拟深度(由汇聚和立体视觉的双眼深度线索确定)，则人眼可能经历适应冲突，导致成像不稳定、有害的眼部紧张、头痛，并且在没有适应信息的情况下，几乎完全缺乏表面深度。

VR、AR和MR体验可以通过具有显示器的显示系统来提供，其中与多个深度平面对应的图像被提供给观看者。对于每个深度平面，图像可以是不同的(例如，提供场景或对象的略微不同的呈现)，并且可以由观看者的眼睛单独聚焦，从而有助于基于眼睛所需的适应向用户提供深度线索，为位于不同深度平面上的场景或基于观察不同深度平面上的不同图像特征失焦而聚焦不同图像特征。如在此其它地方所讨论的，这样的深度线索提供了可靠的深度感知。

图2示出可穿戴系统200的示例。可穿戴系统200包括显示器220以及支持显示器220的功能的各种机械和电子模块和系统。显示器220可以耦合到框架230，该框架230可以被用户、佩戴者或观看者210穿戴。显示器220可以位于用户210的眼睛的前方。显示器220可以向用户呈现AR/VR/MR内容。显示器220可以包括佩戴在用户头部上的头戴式显示器(HMD)。在一些实施例中，扬声器240耦合到框架230并且定位在用户的耳道附近(在一些实施例中，未示出的另一个扬声器被定位在用户的另一个耳道附近以提供立体声/可成形的声音控制)。

可穿戴系统200可以包括观察用户周围的环境中的世界的面向外的成像系统464(在图4中示出)。可穿戴系统200还可以包括可以跟踪用户的眼睛运动的面向内的成像系统462(图4中示出)。面向内的成像系统可以跟踪一只眼睛的运动或两只眼睛的运动。面向内的成像系统462可以附接到框架230并且可以与处理模块260或270电通信，该处理模块260或270可以处理由面向内的成像系统获取的图像信息以确定例如瞳孔直径或者眼睛的取向、用户210的眼睛运动或眼睛姿势。

作为示例，可穿戴系统200可以使用面向外的成像系统464或面向内的成像系统462来获取用户姿势的图像。图像可以是静止图像、视频的帧或视频、组合等。

显示器220可以诸如通过有线导线或无线连接可操作地耦合250到本地数据处理模块260，该本地数据处理模块260可以以各种配置安装，诸如固定地附接到框架230，固定地附接到用户佩戴的头盔或帽子，嵌入在耳机中，或以其它方式可移除地附接到用户210(例如，在背包式配置中，在皮带耦合式配置中)。

本地处理和数据模块260可以包括硬件处理器以及诸如非易失性存储器(例如，闪速存储器)的数字存储器，二者都可用于辅助数据的处理、缓冲以及存储。数据可以包括如下数据：a)从传感器(其可以例如可操作地耦合到框架230或以其它方式附接到用户210)捕获的数据，例如图像捕获设备(例如，面向内的成像系统中的相机或者面向外的成像系统中的相机)、麦克风、惯性测量单元(IMU)、加速度计、罗盘、全球定位系统(GPS)单元、无线电设备或陀螺仪；或b)使用远程处理模块270或远程数据储存库280获取或处理的数据，可能在这样的处理或检索之后传递给显示器220。本地处理和数据模块260可以通过通信链路262或264(诸如经由有线或无线通信链路)可操作地耦合到远程处理模块270或远程数据储存库280，使得这些远程模块作为资源可用于本地处理和数据模块260。另外，远程处理模块280和远程数据储存库280可以相互可操作地耦合。

在一些实施例中，远程处理模块270可以包括一个或多个处理器，其被配置为分析和处理数据和/或图像信息。在一些实施例中，远程数据储存库280可以包括数字数据存储设施，其可以通过互联网或其它网络配置以“云”资源配置而可用。在一些实施例中，在本地处理和数据模块中存储全部数据，并且执行全部计算，允许从远程模块完全自主使用。

人类视觉系统复杂，并且提供深度的现实感知是具挑战性的。不受理论的限制，相信对象的观看者可能由于聚散度和适应性的组合而将该对象感知为“三维”。两只眼睛彼此相对的聚散运动(即，光瞳孔彼此相向或远离的滚动运动，以会聚眼睛的视线来注视对象)与眼睛晶状体的聚焦(或“适应性”)密切相关。在正常情况下，改变眼睛晶状体的焦点或适应眼睛，以将焦点从在不同距离处的一个对象改变到另一个对象，将会在称为“适应性聚散度反射(accommodation-vergence reflex)”的关系下自动地导致在聚散度上的匹配改变达到相同的距离。同样，在正常情况下，聚散度的改变将引发适应性的匹配改变。提供适应性和聚散度之间的更好匹配的显示系统可以形成更逼真且舒适的三维图像模拟。

图3示出了使用多个深度平面来模拟三维图像的方法的方面。参考图3，在z轴上距眼睛302和眼睛304的不同距离处的对象由眼睛302和眼睛304适应，以使得那些对象在焦点中。眼睛302和眼睛304呈现特定的适应状态，以使沿着z轴的不同距离处的对象进入焦点。因此，可以说特定的适应状态与深度平面306中的特定一个深度平面相关联，该特定深度平面具有相关联的焦距，以使得当眼睛处于该深度平面的适应状态时，特定深度平面中的对象或对象的部分被聚焦。在一些实施例中，可以通过为眼睛302和304中的每一只眼睛提供图像的不同呈现来模拟三维图像，并且还通过提供与深度平面中每一个深度平面对应的图像的不同呈现来模拟三维图像。尽管为了清楚说明而示出为分离的，但应理解的是，例如，随着沿着z轴的距离增加，眼睛302和眼睛304的视场可能重叠。另外，虽然为了便于说明而示出为平坦的，但应理解的是，深度平面的轮廓可以在物理空间中是弯曲的，使得深度平面中的所有特征在特定的适应状态下与眼睛对焦。不受理论的限制，可以相信的是，人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面对应的图像的不同呈现，可以实现感知深度的高度可信的模拟。

波导堆叠组件

图4示出了用于向用户输出图像信息的波导堆叠的示例。可穿戴系统400包括可以用于采用多个波导432b、434b、436b、438b、440b向眼睛/大脑提供三维感知的波导堆叠或堆叠波导组件480。在一些实施例中，可穿戴系统400对应于图2的可穿戴系统200，图4更详细地示意性地示出了该可穿戴系统200的一些部分。例如，在一些实施例中，波导组件480可以被集成到图2的显示器220中。

继续参考图4，波导组件480还可以包括波导之间的多个特征458、456、454、452。在一些实施例中，特征458、456、454、452可以是透镜。在其它实施例中，特征458、456、454、452可以不是透镜。相反，它们可以简单地是间隔物(例如，用于形成空气间隙的包层和/或结构)。

波导432b、434b、436b、438b、440b或多个透镜458、456、454、452可以被配置为以各种级别的波前曲率或光线发散向眼睛发送图像信息。每个波导级别可以与特定的深度平面相关联，并且可以被配置为输出与该深度平面对应的图像信息。图像注入装置420、422、424、426、428可用于将图像信息注入到波导440b、438b、436b、434b、432b中，其中的每一个波导可以被配置为分配入射光穿过每一个相应的波导，用于向眼睛410输出。光从图像注入装置420、422、424、426、428的输出表面出射并被注入到波导440b、438b、436b、434b、432b的相应输入边缘。在一些实施例中，可以将单个光束(例如，准直光束)注入到每一个波导中，以便与特定波导相关联的深度平面对应的特定角度(和发散量)输出朝向眼睛410定向的克隆准直光束的整个视场。

在一些实施例中，图像注入装置420、422、424、426、428是分立显示器，每个显示器产生用于分别注入到相应波导440b、438b、436b、434b、432b中的图像信息。在一些其它实施例中，图像注入装置420、422、424、426、428是单个复用显示器的输出端，其可以例如经由一个或多个光导管(诸如，光纤线缆)向图像注入装置420、422、424、426、428中的每一个图像注入装置输送图像信息。

控制器460控制堆叠波导组件480和图像注入装置420、422、424、426、428的操作。控制器460包括调节图像信息到波导440b、438b、436b、434b、432b的定时和提供的编程(例如，在非暂时性计算机可读介质中的指令)。在一些实施例中，控制器460可以是单个整体装置，或通过有线或无线通信通道连接的分布式系统。在一些实施例中，控制器460可以是处理模块260或270(图2所示)的部分。

波导440b、438b、436b、434b、432b可以被配置为通过全内反射(TIR)在每一个相应的波导内传播光。波导440b、438b、436b、434b、432b可以各自是平面的或具有其它形状(例如，弯曲)，具有主要的顶表面和底表面以及在这些主要的顶表面和底表面之间延伸的边缘。在所示的配置中，波导440b、438b、436b、434b、432b可以各自包括光提取光学元件440a、438a、436a、434a、432a，这些光提取光学元件被配置为通过将每一个相应波导内传播的光重定向而将光提取到波导外，以向眼睛410输出图像信息。提取的光也可以被称为外耦合的光，并且光提取光学元件也可以被称为外耦合光学元件。提取的光束在波导中传播的光照射光重定向元件的位置处被波导输出。光提取光学元件(440a、438a、436a、434a、432a)可以例如是反射和/或衍射光学特征。虽然为了便于描述和清晰绘图起见而将其图示设置在波导440b、438b、436b、434b、432b的底部主表面处，但是在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以设置在顶部或底部主表面处，或可以直接设置在波导440b、438b、436b、434b、432b的体积中。在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以形成在附接到透明基板的材料层中以形成波导440b、438b、436b、434b、432b。在一些其它实施例中，波导440b、438b、436b、434b、432b可以是单片材料，并且光提取光学元件440a、438a、436a、434a、432a可以形成在那片材料的表面上或那片材料的内部中。

继续参考图4，如在此所讨论的，每一个波导440b、438b、436b、434b、432b被配置为输出光以形成与特定深度平面对应的图像。例如，最接近眼睛的波导432b可以被配置为将如注入到这种波导432b中的准直光传送到眼睛410。准直光可以代表光学无限远焦平面。下一个上行波导434b可以被配置为将穿过第一透镜452(例如，负透镜)的准直光在其可以到达眼睛410之前发出。第一透镜452可以被配置为产生轻微凸面的波前曲率，使得眼睛/大脑将来自下一个上行波导434b的光解释为来自第一焦平面，该第一焦平面从光学无限远处更靠近向内朝向眼睛410。类似地，第三上行波导436b将输出光在到达眼睛410之前穿过第一透镜452和第二透镜454。第一透镜452和第二透镜454的组合光焦度(optical power)可被配置为产生另一增量的波前曲率，以使得眼睛/大脑将来自第三波导436b的光解释为来自第二焦平面，该第二焦平面从光学无穷远比来自下一个上行波导434b的光更靠近向内朝向人。

其它波导层(例如，波导438b、440b)和透镜(例如，透镜456、458)被类似地配置，其中堆叠中的最高波导440b通过它与眼睛之间的全部透镜发送其输出，用于代表最靠近人的焦平面的聚合(aggregate)焦度。当在堆叠波导组件480的另一侧上观看/解释来自世界470的光时，为了补偿透镜458、456、454、452的堆叠，补偿透镜层430可以设置在堆叠的顶部处以补偿下面的透镜堆叠458、456、454、452的聚合焦度。这种配置提供了与可用波导/透镜配对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面可以是静态的(例如，不是动态的或电激活的)。在一些替代实施例中，两者之一或者两者都可以是使用电激活特征而动态的。

继续参考图4，光提取光学元件440a、438a、436a、434a、432a可以被配置为将光重定向到它们相应的波导之外并且针对与波导相关联的特定深度平面输出具有适当的发散量或准直量的该光。结果，具有不同相关联深度平面的波导可具有不同配置的光提取光学元件，其取决于相关联的深度平面输出具有不同发散量的光。在一些实施例中，如在此所讨论的，光提取光学元件440a、438a、436a、434a、432a可以是体积或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件440a、438a、436a、434a、432a可以是体积全息图、表面全息图和/或衍射光栅。在2015年6月25日公开的美国专利公开No.2015/0178939中描述了诸如衍射光栅的光提取光学元件，其通过引用全部并入在此。

在一些实施例中，光提取光学元件440a、438a、436a、434a、432a是形成衍射图案或“衍射光学元件”(在此也称为“DOE”)的衍射特征。优选地，DOE具有相对较低的衍射效率，以使得仅光束的一部分通过DOE的每一个交点偏转向眼睛410，而其余部分经由全内反射继续移动通过波导。携带图像信息的光因此可被分成多个相关的出射光束，该出射光束在多个位置处离开波导，并且该结果对于在波导内反弹的该特定准直光束是朝向眼睛304的相当均匀图案的出射发射。

在一些实施例中，一个或多个DOE可以在它们主动地衍射的“开”状态和它们不显著衍射的“关”状态之间可切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中微滴在主体介质中包含衍射图案，并且微滴的折射率可以切换为基本上匹配主体材料的折射率(在这种情况下，图案不明显地衍射入射光)，或者微滴可以切换为与主体介质的指数不匹配的指数(在这种情况下，该图案主动地衍射入射光)。

在一些实施例中，深度平面的数量和分布或景深可以基于观看者的眼睛的瞳孔大小或取向而动态地改变。景深可与观看者的瞳孔大小成反比地改变。因此，随着观看者眼睛瞳孔的大小减小，景深增加，使得由于平面的位置超出了眼睛的聚焦深度而不可辨别的该平面可能变得可辨别，并且随着瞳孔大小的减小表现为更聚焦并与景深中的增加相称。类似地，用于向观看者呈现不同图像的间隔开的深度平面的数量可随着瞳孔大小减小而减小。例如，观看者在不调整眼睛远离一个深度平面和到另一个深度平面的适应性的情况下，可能不能清楚地感知处于一个瞳孔大小的第一深度平面和第二深度平面的细节。然而，这两个深度平面可以在不改变适应性的情况下，对于处于另一瞳孔大小的用户同时充分地聚焦。

在一些实施例中，显示系统可以改变接收图像信息的波导的数量，基于瞳孔大小或方位的确定或者基于接收特定瞳孔大小或方位的电信号指示。例如，如果用户的眼睛不能区分与两个波导相关联的两个深度平面，则控制器460可以被配置或编程为停止向这些波导中的一个提供图像信息。有利地，这可以减轻系统的处理负担，从而增加系统的响应性。在其中波导的DOE可在开启和关闭状态之间切换的实施例中，当波导确实接收图像信息时，DOE可切换到关闭状态。

在一些实施例中，可能期望的是出射光束符合直径小于观看者眼睛的直径的条件。然而，考虑到观看者的瞳孔大小的可变性，满足这种条件可能是具有挑战性的。在一些实施例中，通过响应于观看者的瞳孔大小的确定而改变出射光束的大小，该条件在宽范围的瞳孔大小上满足。例如，随着瞳孔大小减小，出射光束的大小也可以减小。在一些实施例中，可以使用可变光圈来改变出射光束大小。

可穿戴系统400可以包括对世界470的一部分成像的面向外的成像系统464(例如，数字相机)。世界470的该部分可以被称为视场(FOV)并且成像系统464有时被称为FOV相机。可供观看者观看或成像的整个区域可被称为关注场(FOR)。因为佩戴者可以移动他的身体、头部或眼睛以感知空间中的基本上任何方向，所以FOR可以包括围绕可穿戴系统400的立体角的4π球面度。在其它情况下，佩戴者的运动可能更加收缩，并且因此佩戴者的FOR可以对向较小的立体角。从面向外的成像系统464获得的图像可以用于跟踪用户做出的手势(例如，手部手势或手指手势)，检测用户前方的世界470中的对象等。

可穿戴系统400还可以包括面向内的成像系统466(例如，数码相机)，其观察用户的运动，诸如眼睛运动和面部运动。面向内的成像系统466可以用于捕获眼睛410的图像以确定眼睛304的瞳孔的大小和/或取向。面向内的成像系统466可以用于获得图像，用于确定用户正在观看的方向(例如，眼睛姿势)或用于用户的生物测定识别(例如，经由虹膜识别)。在一些实施例中，可以为每只眼睛利用至少一个相机，以独立地分别确定每只眼睛的瞳孔大小或眼睛姿势，由此允许向每只眼睛呈现图像信息以动态地适合该眼睛。在一些其它实施例中，仅单个眼睛410的瞳孔直径或取向(例如，每对眼睛仅使用单个相机)被确定并假定对于用户的双眼是相似的。可以分析由面向内的成像系统466获得的图像以确定用户的眼睛姿势或情绪，其可由可穿戴系统400使用来决定应该向用户呈现哪些音频或视觉内容。可穿戴系统400还可以使用诸如IMU、加速度计、陀螺仪等的传感器来确定头部姿势(例如，头部位置或头部取向)

可穿戴系统400可以包括用户输入设备466，通过该用户输入设备466用户可以向控制器460输入命令以与可穿戴系统400交互。例如，用户输入设备466可以包括触控板、触摸屏、操纵杆、多自由度(DOF)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向板(D-pad)、棒、触觉设备、图腾(例如，用作虚拟用户输入设备)等等。在一些情况下，用户可以使用手指(例如，拇指)在触敏输入设备上按压或滑动以向可穿戴系统400提供输入(例如，向由可穿戴系统400提供的用户界面提供用户输入)。用户输入设备466可在使用可穿戴系统400期间由用户的手握持。用户输入设备466可以与可穿戴系统400进行有线或无线通信。

图5示出了由波导输出的出射光束的示例。示出了一个波导，但是应该理解的是，波导组件480中的其它波导可以类似地起作用，其中波导组件480包括多个波导。光520在波导432b的输入边缘432c处被注入到波导432b中，并且通过TIR在波导432b内传播。在光520撞击在DOE 432a上的点处，一部分光如出射光束510离开波导。出射光束510被示出为基本上平行，但是取决于与波导432b相关联的深度平面，该出射光束510也可以以一定角度(例如，形成发散的出射光束)被重定向以传播到眼睛410。应该理解的是，基本上平行的出射光束可以指示具有光提取光学元件的波导，其中光提取光学元件将光外耦合以形成看起来被设置在距眼睛410较大距离(例如，光学无穷远)处的深度平面上的图像。其它波导或者其它光提取光学元件组可以输出更加发散的出射光束图案，这将需要眼睛410适应更近距离以将其聚焦在视网膜上并且将被大脑解释为光来自比光学无穷远更接近眼睛410的距离。

图6是示出了包括波导装置、将光光耦合到波导装置或从波导装置光耦合光的光耦合器子系统以及控制子系统的光学系统的示意图，该光学系统用于生成多焦点立体显示、图像或光场。光学系统可以包括波导装置、将光光耦合到波导装置或从波导装置光耦合光的光耦合器子系统，以及控制子系统。光学系统可以用于生成多焦点立体、图像或光场。光学系统可以包括一个或多个主平面波导632a(在图6中仅示出一个)以及与至少一些主波导632a中的每一个主波导相关联的一个或多个DOE 632b。平面波导632b可以类似于参考图4讨论的波导432b、434b、436b、438b、440b。光学系统可以使用分布波导装置沿着第一轴(图6所示的垂直轴或Y轴)中继光，并且沿着第一轴(例如，Y轴)扩展光的有效出射光瞳。分布波导装置可以例如包括分布平面波导622b和与分布平面波导622b相关联的至少一个DOE622a(由双点划线示出)。分布平面波导622b在至少一些方面可以与主平面波导632b相似或相同，但具有与其不同的方位。类似地，至少一个DOE 622a在至少一些方面可以与DOE 632a相似或相同。例如，分布平面波导622b或DOE 622a可以分别由与主平面波导632b或DOE632a相同的材料构成。图6中所示的光学显示系统600的实施例可以集成到图2中所示的可穿戴显示系统200中。

中继的和出射光瞳扩展的光从分布波导装置可被光耦合到一个或多个主平面波导632b中。主平面波导632b可以沿着优选地与第一轴正交的第二轴(例如，图6的视图中的水平轴或X轴)中继光。值得注意的是，第二轴可以是与第一轴非正交的轴。主平面波导632b沿着该第二轴(例如，X轴)扩展光的有效出射光瞳。例如，分布平面波导622b可以沿着垂直轴或Y轴中继和扩展光，并且将该光传递到可以沿着水平轴或X轴中继和扩展光的主平面波导632b。

光学系统可以包括一个或多个彩色光源(例如，红色、绿色和蓝色激光)610，这些彩色光源可以光耦合到单模光纤640的近端中。可以穿过压电材料的中空管642来通过或接收光纤640的远端。远端作为非固定柔性悬臂644从管642突出。压电管642可以与四个象限电极(未示出)相关联。例如，电极可以镀在管642的外侧、外表面或外周或直径上。芯电极(未示出)也可以位于管642的芯、中心、内周或内径中。

例如经由导线660电耦合的驱动电子器件650驱动相对的电极对独立地在两个轴上弯曲压电管642。光纤644的突出远端顶端具有机械谐振模式。谐振的频率可以取决于光纤644的直径、长度和材料特性。通过在光纤悬臂644的第一机械谐振模式附近振动压电管642，使得光纤悬臂644可以振动，并且可以扫过大的偏转。

通过激发两个轴上的谐振，光纤悬臂644的顶端在遍及二维(2-D)扫描的区域中双轴扫描。通过与光纤悬臂644的扫描同步地调制一个或多个光源610的强度，从光纤悬臂644出射的光可以形成图像。美国专利公开No.2014/0003762中提供了这样的设置的描述，其通过引用全部并入在此。

光学耦合器子系统的部件可以准直从扫描光纤悬臂644出射的光。准直光可以由镜面648反射到包含至少一个衍射光学元件(DOE)622a的窄分布平面波导622b中。准直光可以通过TIR沿分布平面波导622b垂直地(相对于图6的视图)传播，并且与DOE 622a重复相交。DOE 622a优选具有低衍射效率。这可导致一部分光(例如，10％)在与DOE 622a的每个交点处被衍射朝向较大的主平面波导632b的边缘，并且一部分光通过TIR在其原始轨迹上向下分布平面波导622b的长度而继续。

在与DOE 622a的每个交点处，附加光可以被衍射向主波导632b的入口。通过将入射光分成多个外耦合组，光的出射光瞳可以在分布平面波导622b中由DOE 4垂直地扩展。从分布平面波导622b外耦合的该垂直扩展的光可以进入主平面波导632b的边缘。

进入主波导632b的光可以经由TIR沿着主波导632b水平传播(相对于图6的视图)。由于光通过TIR沿着主波导632b的至少一部分长度水平传播，因此光在多个点处与DOE632a相交。DOE 632a可以有利地被设计或构造成具有相位轮廓，该相位轮廓是线性衍射图案和径向对称衍射图案的总和，以产生光的偏转和聚焦。DOE 632a可以有利地具有低衍射效率(例如，10％)，使得DOE 632a的每个交点只有一部分光束的光朝着视图的眼睛偏转，而其余的光经由TIR通过波导632b继续传播。

在传播光和DOE 632a之间的每个交点处，一部分光朝着主波导632b的相邻面衍射，从而允许光脱离TIR，并且从主波导632b的面出射。在一些实施例中，DOE 632a的径向对称衍射图案另外向衍射光赋予聚焦水平，既整形单个光束的光波前(例如，赋予曲率)以及以与设计的聚焦水平相匹配的角度将光束转向。

因此，这些不同的路径可以通过多个DOE 632a以不同的角度、聚焦水平和/或在出射光瞳处产生不同的填充图案来使光耦合到主平面波导632b外。出射光瞳处的不同填充图案可以有利地用于创建具有多个深度平面的光场显示。波导组件中的每一层或堆叠中的一组层(例如3层)可用于产生相应的颜色(例如，红色、蓝色、绿色)。因此，例如，可以采用第一组的三个相邻层在第一焦深处分别产生红光、蓝光和绿光。可以采用第二组的三个相邻层在第二焦深处分别产生红光、蓝光和绿光。可以采用多组来产生具有各种焦深的全3D或4D彩色图像光场。

可穿戴系统的其它部件

在许多实施方式中，除了上述可穿戴系统的部件之外或替代，可穿戴系统还可以包括其它部件。例如，可穿戴系统可以例如包括一个或多个触觉设备或部件。触觉设备或部件可以用于向用户提供触觉。例如，触觉设备或部件可以在触摸虚拟内容(例如，虚拟对象、虚拟工具、其它虚拟构造)时提供压力或纹理的触觉。触觉可以复制虚拟对象表示的物理对象的感觉，或者可以复制虚拟内容表示的想象对象或角色(例如，龙)的感觉。在一些实施方式中，用户可佩戴触觉设备或部件(例如，用户可穿戴手套)。在一些实施方式中，触觉设备或部件可以由用户握住。

例如，可穿戴系统可以包括可由用户操纵的一个或多个物理对象以允许输入或与可穿戴系统进行交互。这些物理对象在此可以被称为图腾。一些图腾可采取无生命对象的形式，诸如例如一块金属或塑料、墙壁、桌子的表面。在某些实施方式中，图腾可能实际上不具有任何物理输入结构(例如，键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以简单地提供物理表面，并且可穿戴系统可以呈现用户界面，以便用户看起来在图腾的一个或多个表面上。例如，可穿戴系统可以使计算机键盘和触控板的图像呈现为看起来驻留在图腾的一个或多个表面上。例如，可穿戴系统可以使虚拟计算机键盘和虚拟触控板呈现为看起来在作为图腾的铝的薄矩形板的表面上。矩形板本身没有任何物理键或触控板或传感器。然而，可穿戴系统可以检测用户操纵或交互或触摸矩形板作为经由虚拟键盘或虚拟触控板进行的选择或输入。用户输入设备466(在图4中示出)可以是图腾的实施例，其可以包括触控板、触摸板、触发器、操纵杆、轨迹球、摇杆或虚拟开关、鼠标、键盘、多自由度控制器或其它物理输入设备。用户可以单独或与姿势结合使用图腾，以与可穿戴系统或其它用户进行交互。

在美国专利公布No.2015/0016777中描述了可用于本公开的可穿戴设备、HMD和显示系统的触觉设备和图腾的示例，其全部内容通过引用并入在此。

示例可穿戴系统、环境和接口

可穿戴系统可以采用各种映射相关的技术以便实现渲染光场中的高景深。在映射出虚拟世界时，了解真实世界中的所有特征和点以准确描绘与真实世界相关的虚拟对象是有利的。为此，从可穿戴系统的用户捕获的FOV图像可以被添加到世界模型，通过包括传达关于真实世界的各种点和特征的信息的新图片。例如，可穿戴系统可以收集一组地图点(诸如2D点或3D点)并找到新的地图点以呈现更精确的世界模型版本。可以将第一用户的世界模型(例如，通过诸如云网络的网络)传达给第二用户，使得第二用户可以体验围绕第一用户的世界。

图7是MR环境700的示例的框图。MR环境700可以被配置为接收来自一个或多个用户可穿戴系统(例如，可穿戴系统200或显示系统220)或静止房间系统(例如，室内相机等)的输入(例如，来自用户的可穿戴系统的视觉输入702、诸如房间相机的静止输入704、来自各种传感器的感测输入706、来自用户输入设备504的手势、图腾、眼睛跟踪、用户输入等)。可穿戴系统可以使用各种传感器(例如，加速度计、陀螺仪、温度传感器、运动传感器、深度传感器、GPS传感器、面向内的成像系统、面向外的成像系统等)来确定用户环境的位置和各种其它属性。该信息可以进一步补充来自房间中的固定相机的信息，该相机可以从不同的视点提供图像或各种提示。由相机(诸如房间相机和/或面向外的成像系统的相机)获取的图像数据可以被缩减为一组映射点。

一个或多个对象识别器708可以浏览接收到的数据(例如，点的集合)并且借助于地图数据库710来识别或映射点、标记图像，将语义信息附加到对象。地图数据库710可以包括随时间推移收集的各个点及其相应的对象。各种设备和地图数据库可以通过网络(例如LAN、WAN等)相互连接以访问云。

基于该信息和地图数据库中的点的集合，对象识别器708a至708n可以识别对象并用语义信息补充对象以赋予对象生命。例如，如果对象识别器识别一组点作为门，则系统可以附加一些语义信息(例如，门具有铰链并且具有围绕铰链的90度的运动)。如果对象识别器识别出一组点作为镜子，则系统可附加语义信息，即镜子具有可反射房间中对象的图像的反射表面。随着时间的推移，地图数据库会随着系统(可能驻留在本地或可能通过无线网络访问)积累来自世界的更多数据而生长。一旦对象被识别，信息就可以被发送到一个或多个可穿戴系统。例如，MR环境700可以包括关于在加利福尼亚州发生的场景的信息。环境700可以被发送给纽约的一个或多个用户。基于从FOV相机和其它输入接收的数据，对象识别器和其它软件组件可以映射从各种图像收集的点、识别对象等，使得场景可以准确地“传递”给可能在世界的不同地区的第二用户。环境700也可以使用拓扑图用于本地化目的。

图8是渲染与识别的对象相关的虚拟内容的方法800的示例的过程流程图。方法800描述了如何将虚拟场景表示给可穿戴系统的用户。用户可能在地理上远离场景。例如，用户可能在纽约，但可能想要观看目前在加利福尼亚州正在进行的场景，或者可能想要与居住在加利福尼亚州的朋友散步。

在框810处，AR系统可以从用户和其他用户接收关于用户的环境的输入。这可以通过各种输入设备和地图数据库中已有的知识来实现。在框810处，用户的FOV相机、传感器、GPS、眼睛跟踪等向系统传达信息。在框820处，系统可以基于该信息确定稀疏点。稀疏点可用于确定可用于显示和理解用户周围环境中各种对象的取向和位置的姿势数据(例如，头部姿势、眼睛姿势、身体姿势或手部手势)。在框830处，对象识别器708a-708n可以浏览这些收集的点并使用地图数据库识别一个或多个对象。然后可以在框840处将该信息传送给用户的个人可穿戴系统，并且可以在框850处将期望的虚拟场景相应地向用户显示。例如，期望的虚拟场景(例如，CA中的用户)可以以与纽约中的用户的各种对象和其它周围环境有关的适当的取向、位置等来显示。

图9是可穿戴系统的另一个示例的框图。在该示例中，可穿戴系统900包括地图，该地图可以包括世界的地图数据。地图可以部分地本地驻留在可穿戴系统上，并且可以部分地驻留在可以通过有线或无线网络(例如，在云系统中)访问的网络存储位置处。姿势过程910可以在可穿戴计算架构(例如，处理模块260或控制器460)上执行，并且利用来自地图的数据来确定可穿戴计算硬件或用户的位置和取向。姿势数据可以根据用户正在体验系统并在世界中操作时在运行中收集的数据来计算。数据可以包括图像、来自传感器(诸如通常包括加速度计和陀螺仪部件的惯性测量单元)的数据以及与真实或虚拟环境中的对象有关的表面信息。

稀疏点表示可以是同时定位和映射(SLAM或V-SLAM，仅参考其中输入是图像/视觉的配置)过程的输出。该系统可以配置为不仅可以查找世界上各个部件的位置，还可以查找世界的构成。姿势可能是实现许多目标的构建块，包括填充地图和使用来自地图的数据。

在一个实施例中，稀疏点位置本身可能并不完全足够，并且可能需要进一步的信息来产生多焦点AR、VR或MR体验。通常涉及深度地图信息的密集表示可以被用来至少部分地填补该缺口。这样的信息可以根据被称为立体(Stereo)940的过程来计算，其中使用诸如三角测量或飞行时间感测的技术来确定深度信息。图像信息和有源(active)图案(诸如使用有源(active)投影仪创建的红外图案)可以用作立体过程940的输入。大量的深度地图信息可以融合在一起，并且其中一些可以用表面表示来概括。例如，数学上可定义的表面可以是有效的(例如相对于大的点云)并且对诸如游戏引擎的其它处理设备是可消化输入。因此，可以在融合过程930中组合立体过程(例如，深度图)940的输出。姿势也可以是该融合过程930的输入，并且融合过程930的输出变成填充地图过程920的输入。例如在地形绘制中，子表面可以彼此连接以形成更大的表面，并且地图变成点和表面的大混合。

为了解决混合现实过程960中的各个方面，可以使用各种输入。例如，在图9所示的实施例中，游戏参数可以是输入以确定系统的用户正在与各种位置处的一个或多个怪物进行怪物作战游戏，在各种条件下死亡或逃跑的怪物(诸如如果用户射击怪物)，各种位置处的墙壁或其它对象等。世界地图可以包括关于这些对象在哪里彼此相关的信息，作为对混合现实的另一个有价值的输入。与世界相关的姿势也成为一种输入，并且对几乎任何交互系统都起着关键作用。

来自用户的控制或输入是可穿戴系统900的另一输入。如这里所述，用户输入可以包括视觉输入、手势、图腾、音频输入、感觉输入等。为了在周围移动或玩游戏，例如，用户可能需要指示可穿戴系统900关于他或她想做什么。除了仅仅在空间中移动自己之外，还存在可以使用的各种形式的用户控制。在一个实施例中，图腾(例如，用户输入设备)或诸如玩具枪的对象可由用户握持并由系统跟踪。系统优选地将被配置为知道用户正握持物品并且理解用户与物品具有什么样的交互(例如，如果图腾或对象是枪，则系统可以被配置为理解位置和方位，以及用户是否在点击触发器或可以配备有传感器(诸如IMU)的其它感测按钮或元件，这可以有助于确定正在发生什么，即使当这种活动不在任何照相机的视场内)。

手势跟踪或识别还可以提供输入信息。可穿戴系统900可以被配置成跟踪和解释按钮按压的手势，用于动作表示左或右、停止、抓住、握持等。例如，在一种配置中，用户可能想要翻阅非游戏环境中的电子邮件或日历，或与另一个人或玩家进行“拳头碰撞”。可穿戴系统900可以被配置为利用最小量的手势，其可以是动态的也可以不是动态的。例如，手势可以是简单的静态手势，如张开的手用于停止，拇指向上用于ok，拇指向下用于非ok；或者手向右或左、或上/下轻击用于方向命令。

眼睛跟踪是另一输入(例如，跟踪用户正在看的地方从而控制显示技术以在特定深度或范围渲染)。在一个实施例中，可以使用三角测量来确定眼睛的聚散度，然后使用针对特定人开发的聚散度/适应性模型，可以确定适应性。

关于照相机系统，图9中示出的示例可穿戴系统900可以包括三对照相机：布置在用户脸部两侧的相对宽的FOV或无源SLAM照相机对，定向在用户前面的不同照相机对，以处理立体成像过程940并且还捕获手势和用户面前的图腾/对象跟踪。用于立体过程940的FOV相机和一对相机可以是面向外的成像系统464(在图4中示出)的一部分。可穿戴系统900可以包括眼睛跟踪照相机(其可以是图4中所示的面向内的成像系统462的一部分)，其朝向用户的眼睛定位从而对眼睛向量和其它信息进行三角测量。可穿戴系统900还可以包括一个或多个纹理光投影仪(诸如红外(IR)投影仪)以将纹理注入到场景中。

图10是用于确定向可穿戴系统的用户输入的方法1000的示例的过程流程图。在这个示例中，用户可以与图腾进行交互。用户可具有多个图腾。例如，用户可具有社交媒体应用的指定的一个图腾，玩游戏的另一个图腾等。在框1010处，可穿戴系统可以检测图腾的运动。图腾的运动可以通过面向外的系统进行识别或者可以通过传感器(例如，触觉手套、图像传感器、手跟踪设备、眼部跟踪照相机、头部姿势传感器等)进行检测。

在框1020处，至少部分地基于检测到的手势、眼睛姿势、头部姿势或通过图腾的输入，可穿戴系统检测图腾(或用户的眼睛或头部或手势)相对于参考系的位置、方位和/或移动。参考系可以是一组地图点，可穿戴系统根据该地图点将图腾(或用户)的运动转换为动作或命令。在框1030处，与图腾的用户交互被映射。基于用户交互相对于参考系1020的映射，在框1040处系统确定用户输入。

例如，用户可以来回移动图腾或物理对象以表示翻动虚拟页面并移动到下一页面或者从一个用户界面(UI)显示屏幕移动到另一个UI屏幕。作为另一个示例，用户可以移动他们的头部或眼睛来查看用户FOR中的不同的现实或虚拟对象。如果用户注视特定现实或虚拟对象的时间长于阈值时间，则可以选择现实或虚拟对象作为用户输入。在一些实施方式中，可以跟踪用户眼睛的聚散度并且可以使用适应性/聚散度模型来确定用户眼睛的适应状态，其提供用户正在聚焦的深度平面的信息。在一些实施方式中，可穿戴系统可以使用光线投射技术来确定哪些现实或虚拟对象是沿着用户的头部姿势或眼睛姿势的方向。在各种实施方式中，光线投射技术可包括投射具有基本上很小横向宽度的薄的铅笔射线或具有基本横向宽度(例如锥体或平截头体)的投射光线。

用户界面可由在此所述的显示系统(例如图2中的显示器220)投影。它也可以使用各种其它技术显示，例如一个或多个投影仪。投影仪可以将图像投影到例如画布或球体的物理对象上。可以使用系统外部或系统的一部分的一个或多个照相机(例如，使用面向内的成像系统462或面向外的成像系统464)来跟踪与用户界面的交互。

图11是用于与虚拟用户界面进行交互的方法1100的示例的过程流程图。方法1100可以由在此描述的可穿戴系统来执行。

在框1110处，可穿戴系统可以识别特定UI。UI的类型可以由用户预先确定。可穿戴系统可以基于用户输入(例如，手势、视觉数据、音频数据、感测数据、直接命令等)识别特定UI需要填充。在框1120处，可穿戴系统可以生成针对虚拟UI的数据。例如，可以生成与UI的界限、一般结构、形状等相关的数据。另外，可穿戴系统可以确定用户的物理位置的地图坐标，使得可穿戴系统可以显示与用户的物理位置相关的UI。例如，如果UI是以身体为中心的，则可穿戴系统可以确定用户的身体姿态、头部姿势或眼睛姿势的坐标，使得可以在用户周围显示环形UI或者可以在墙上或在用户面前显示平面UI。如果UI是以手为中心的，则可以确定用户的手的地图坐标。这些地图点可以通过以下数据得出，通过FOV照相机、感测输入所接收的数据或任何其它类型的收集数据。

在框1130处，可穿戴系统可以将数据从云端发送到显示器，或者可以将数据从本地数据库发送到显示器部件。在框1140处，基于发送的数据向用户显示UI。例如，光场显示器可以将虚拟UI投影到用户的一只或两只眼睛中。一旦创建了虚拟UI，在框1150处，可穿戴系统可以简单地等待来自用户的命令以在虚拟UI上生成多个虚拟内容。例如，UI可以是围绕用户身体的身体中心环。然后，可穿戴系统可以等待命令(手势、头部或眼部运动、来自用户输入设备的输入等)，并且如果识别出(框1160)，则可以向用户显示与该命令相关联的虚拟内容(框1170)。作为示例，可穿戴系统可以在混合多个流轨道之前等待用户的手势。

在美国专利公开No.2015/0016777中描述了AR系统、UI和用户体验(UX)的附加示例，其全部内容通过引用合并于此。

关注场(FOR)和视场(FOV)中的示例对象

图12示意性地示出了视场(FOV)中的虚拟对象和关注场(FOR)中的虚拟对象的示例。如参考图4所讨论的，FOR包括能够经由可穿戴系统被用户感知的用户周围的环境的一部分。在图12中，FOR 1200可以包含可以经由可穿戴系统被用户感知的一组对象(例如1210、1220、1230、1242和1244)。用户FOR 1200内的对象可以是虚拟和/或物理对象。例如，用户的FOR 1200可以包括诸如椅子、沙发、墙壁等的物理对象。虚拟对象可以包括操作系统对象，诸如用于删除的文件的回收站、用于输入命令的终端、用于访问文件或目录的文件管理器、图标、菜单、用于音频或视频流的应用程序、来自操作系统的通知等。虚拟对象还可以包括应用程序中的对象，诸如例如化身、游戏中的虚拟对象、图形或图像等。一些虚拟对象可以是操作系统对象和应用程序中的对象。在一些实施例中，可穿戴系统可以将虚拟元素添加到现有物理对象。例如，可穿戴系统可以添加与房间中的电视相关联的虚拟菜单，其中虚拟菜单可以给用户选项以使用可穿戴系统打开或改变电视频道。

虚拟对象可以是三维(3D)、二维(2D)或一维(1D)对象。例如，如图16中示意性所示，虚拟对象可以是3D咖啡杯1636(其可以表示用于物理咖啡机的虚拟控制)。虚拟对象还可以是时钟1634(向用户显示当前时间)的2D图形表示。在一些实施方式中，一个或多个虚拟对象可以被显示在另一个虚拟对象内(或与其相关联)。例如，参考图13，虚拟咖啡杯1636示出在用户界面平面1514的内部，尽管虚拟咖啡杯看起来在该2D平面虚拟空间内是3D。

用户的FOR中的对象可以是参考图9所描述的世界地图的一部分。与对象相关联的数据(例如位置、语义信息、属性等)可以存储在各种数据结构中，诸如例如数组、列表、树、散列、图形等。可应用的每个存储对象的索引可以例如由对象的位置来确定。例如，数据结构可以通过单个坐标来索引对象，诸如对象距基准位置的距离(例如，距基准位置的左侧或右侧多远，距离基准位置的顶部或底部多远，或距基准位置深度多远)。基准位置可以基于用户的位置(诸如用户的头部的位置)来确定。基准位置还可以基于用户环境中的虚拟或物理对象(诸如目标可交互对象)的位置来确定。通过这种方式，用户环境中的3D空间可以折叠成2D用户界面，其中根据对象距基准位置的距离来布置虚拟对象。

在FOR 1200内，用户在给定时间感知的世界的部分被称为FOV 1250(例如，FOV1250可包含用户当前正在向前观看的FOR的部分)。在图12中，FOV 1250由虚线1252示意性地示出。可穿戴系统的用户可以感知FOV 1250中的多个对象，诸如对象1242、对象1244和对象1230的一部分。FOV可以取决于可穿戴设备的显示器的大小或光学特性。例如，AR显示器可以包括光学器件，光学器件仅当用户通过显示器的特定部分观看时才提供AR功能。FOV1250可对应于立体角，当通过诸如例如堆叠波导组件480(图4)或平面波导600(图6)的AR显示器观看时被用户可感知的该立体角。

随着用户的姿势改变(例如，头部姿势或眼睛姿势)，FOV 1250将相应地改变，并且FOV 1250内的对象也可以改变。例如，地图1210最初在图12中的用户的FOV的外部。如果用户朝向地图1210观看，则地图1210可以移动到用户的FOV 1250中，并且(例如)，对象1230可以移动到用户的FOV 1250的外部。如将在此描述的，可穿戴系统可以保持跟踪FOR 1200中的对象以及FOV 1250中的对象。

可交互对象的示例

在图12中，用户可以与用户的FOR 1200中的对象的子集进行交互。对象的该子集有时可以被称为可交互对象。在一些实施方式中，可交互对象可以包含用户环境中的所有对象(虚拟的和物理的)；而在其它实施方式中，可交互对象可以仅包括用户环境中的一部分对象。

可穿戴系统可以识别在用户的FOV 1250内的可交互对象的子组(例如1242、1244和1230)。FOV中的可交互对象的子组有时被称为可选择对象，因为用户目前感知它们并且可以选择它们(例如，移动它们，激活它们，获得关于它们的信息等)。如在此所讨论的，当用户移动他的身体、头部或眼睛时，用户的FOV可以改变。通常，一些对象将保留在FOV中，一些对象将从FOV的内部移动到外部(并且不再是可选择的)，并且FOV外部的其它对象将移动到FOV中(并变成可选择的)。因此，可穿戴系统可以基于用户的身体、头部或眼睛姿势来更新FOV中的可交互对象的子组。

可穿戴系统可以识别用户的FOV内的目标可交互对象。目标可交互对象可以是用户期望与之交互的对象或者可穿戴系统期望用户将与之交互的对象(例如，用户正朝向其观看的可交互对象或离用户FOV的中心最近的可交互对象)。目标可交互对象可以使用各种规则来识别，诸如对象的位置、用户的偏好或用户的姿势。例如，可穿戴系统可以选择距FOV中心最近的对象作为目标可交互对象。可穿戴系统还可以选择用户FOV中最左侧的对象或最右侧的对象作为目标可交互对象。作为另一个示例，可穿戴系统可以单独或与IMU结合使用面向内的成像系统462(在图4中示出)以确定用户的注视方向。可穿戴系统可以识别与用户的注视方向相冲突的对象作为目标可交互对象。

在一些实施方式中，AR系统可以将目标可交互对象自动取向，使得可交互对象的法线面向用户。例如，虚拟TV屏幕最初可能向上面朝房间的天花板。一旦AR系统确定用户正在朝向虚拟TV屏幕观看，AR系统可以自动旋转虚拟TV屏幕，使得虚拟TV屏幕面向用户。

焦点指示符的示例

可穿戴系统可以将焦点指示符分配给目标可交互对象，使得用户可以更容易地感知目标可交互对象。焦点指示符可以显示给用户。例如，焦点指示符可以包括光晕、颜色、感知的大小或深度改变(例如，使目标对象在被选择时看起来更接近和/或更大)或吸引用户注意的其它视觉效果。焦点指示符还可以包括可听或触觉效果，诸如振动、铃声、哔声等。

在一些实施例中，可穿戴系统可以基于在此描述的规则最初将对象识别为目标可交互对象，并且基于用户姿势的改变将目标可交互对象改变为另一个对象。结果，当用户改变他的姿势时，焦点指示符可以从一个对象移动到另一个对象。

可穿戴系统还可以显示与用户的当前位置对应的光标。光标可以采用各种形状，诸如几何锥、光线束、标线、箭头、椭圆、圆、多边形或其它1D、2D或3D形状。光标可以以与焦点指示符相同的形式呈现。例如，光标可具有与焦点指示符相同的视觉、音频或触觉效果。作为示例，光标可以是与用户头部位置对应的标线。作为另一个示例，光标可以具有与与用户输入设备相关联的当前位置对应的箭头的形状。当用户改变他的姿势或驱使用户输入设备时，光标可以相应移动。随着用户四处移动，光标可指向用户环境中的一个或多个对象或空白空间。例如，参考图16，AR系统可以在虚拟用户界面1514上移动光标，诸如从位置1620到位置1624或从位置1622到位置1620。

除了焦点指示符之外或者替代焦点指示符，可穿戴系统可以呈现光标。例如，在图15中，可穿戴系统可以在虚拟对象1514上显示标线(其可以对应于用户的注视方向)，或者提供浅蓝色光晕作为焦点指示符，或两者。在一些实施方式中，光标是焦点指示符的实施例。例如，当用户盯着虚拟对象时，可穿戴系统可以在该虚拟对象、标线对象或对象上的箭头周围呈现光晕。这些视觉指示可以表示用户关注与其交互的目标对象以及用户的当前位置二者。

与可交互对象的示例交互

用户可以通过可穿戴系统与用户的FOR 1200内的可交互对象交互，并且特别是与用户当前FOV 1250内的可交互对象交互。例如，虚拟对象1230可以是显示股票价格随时间推移而改变的曲线图。通过选择虚拟对象1230，用户可以与虚拟对象1230交互，以例如获得股票报价，购买或出售股票，获得关于公司的信息等。为了执行这些交互，可穿戴系统可以显示与虚拟对象相关联的菜单、工具栏等，这可以允许用户执行各种动作(例如，获得股票报价)。

用户可以使用各种技术，诸如例如通过选择对象，移动对象，打开与对象相关联的菜单或工具栏，或者选择一组新的可选择对象来与他的FOV内的对象进行交互。用户可以使用手部手势与可交互对象交互以驱使用户输入设备(参见例如图4中的用户输入设备466)，诸如通过点击鼠标，敲击触摸板，在触摸屏上滑动，悬停在电容式按钮上方或触摸电容式按钮，按下键盘或游戏控制器上的按键(例如，五向手柄(5-way d-pad))，将操纵杆、魔杖或图腾指向对象，按下遥控器上的按钮或与用户输入设备的其它交互。用户还可以使用头部、眼睛、手、脚或其它身体姿势来与可交互对象交互，诸如例如持续一个时间段用手臂注视或指向对象，在阈值时间间隔期间敲脚、眨眼某些次数。用户输入设备上的这些手部姿势和用户的姿势可以使AR系统发起选择事件，其中例如执行用户界面操作(显示与目标可交互对象相关联的菜单，对游戏中的化身执行游戏操作等)。

在发起选择事件，AR系统可以使用在此描述的规则将焦点指示符分配给用户的FOV中的目标可交互对象。例如，如图12所示，AR系统可以将焦点指示符分配给对象1244，因为它最接近FOV的中点。

在选择事件期间，用户可以使用在此描述的各种手部手势来改变目标可交互对象。例如，在图12中，用户可以在触摸屏上向左滑动，这可以使AR系统将目标可交互对象从对象1244改变为对象1230。AR系统还可以相应地将可见焦点指示符从对象1244传送到对象1230。

在一些实施方式中，手部手势可以使AR系统更新用户的FOV中的可选择对象的列表。例如，在图12中，当用户向右滑动时，AR系统可将对象1210移动到用户的FOV中并将对象1230移出用户的FOV。AR系统还可以基于新的该组可选择对象来更新目标可交互对象。例如，在对象1210移动到FOV中之后，系统可以将目标可交互对象从对象1244改变到对象1242。

用户可以使用在此讨论的手部手势或姿势来确认对目标可交互对象的选择。确认目标可交互对象的选择的用户动作可以是与用于发起选择事件所使用的动作相同或不同的动作。当用户确认选择时，例如通过改变焦点指示符的颜色、亮度或形状，AR系统可以改变焦点指示符。

用户可以在目标可交互对象上执行一系列用户界面操作。这些操作有时可以被称为交互事件。交互事件可以包括例如调节可交互对象的大小，显示可交互对象的菜单，浏览菜单，选择菜单上的项目，搜索项目，玩游戏，观看视频，进行电话会议，预览目标可交互对象等。交互事件可以与选择事件同时或顺序发生。在一些实施方式中，交互事件可以是选择事件的一部分。

在一些实施例中，一旦发起选择事件，可穿戴系统可以“锁定”用户的FOV，使得可穿戴系统将停止更新用户的FOV内的该组可选择对象，即使在发起选择事件之后用户的FOV已经改变。在一些实施方式中，用户仍然可以通过驱使用户输入设备或姿势改变来在用户的FOV内的可选择对象之间传送焦点指示符。

选择事件可以通过用户输入或通过与可穿戴系统的其它交互来终止。例如，可以通过以下来终止选择事件：确认对目标可交互对象的选择、发起交互事件、驱使用户输入设备以结束选择事件、确定具有终止选择事件的效果的头部或身体姿势的改变等。

使用手部手势在3D空间中选择虚拟对象的示例

用户可以通过驱使用户输入设备来瞄准和选择可交互对象。图13A是在用户输入设备1300的触摸屏1310上用触摸手势来选择可交互对象的示例。用户输入设备可以是图4中所示的用户输入设备466的实施例。触摸手势可以触发可穿戴系统将焦点指示符分配给用户的FOV内的目标可交互对象。触摸手势还可以使可穿戴系统单独或组合地发起选择事件，发起交互事件，终止选择事件，终止交互事件，确认目标可交互对象的选择等。

图13B是在用户输入设备上用手部手势过滤可选择对象的示例。用户可以沿着用户输入设备1300上的路径滑动。例如，如图13B中的箭头1314指示，用户可沿朝向触摸屏1310上的右侧的路径滑动。可使用任何类型的路径(例如，水平、垂直、相对于输入设备的对角线或其它轨迹)或可使用任何类型的方向(例如，向左或向右，向上或向下等)。

滑动手势可以使可穿戴系统将可见焦点指示符从一个对象移动到另一个对象。参考图12中所示的示例，当用户向右滑动时(如图13B中的示例所示)，AR系统可以将焦点指示符从对象1244传送到对象1242。在一些实施例中，滑动手势可以使AR系统更新用户FOV内的可选择对象列表。例如，当用户向右滑动时，AR系统可以在将对象1230移出用户的FOV的同时将对象1210移动到用户的FOV中。接收可见焦点指示符的对象也可以相应地更新(例如，从对象1244到1242)。

滑动手势可以与触摸手势(参考图13A描述)和头部姿势(参考图14描述)结合使用，以过滤和选择FOR或FOV中的3D虚拟对象。如在此所讨论的，用户还可以使用其它手势或运动来改变可选择对象的组，以改变目标可交互对象。

使用头部姿势在3D空间中选择虚拟对象的示例

图14是头部姿势的坐标系的一个示例。头部1410可以具有多个自由度。当头部1410朝不同方向移动时，头部姿势将相对于自然静止方向1420改变。图14中的坐标系示出可用于测量头部姿势相对于头部的自然静止状态1420的三个角度自由度(例如，偏航、俯仰和滚动)。如图14中所示，头部1410可以向前和向后倾斜(例如俯仰)，向左和向右转动(例如偏航)，以及从一侧向另一侧倾斜(例如滚动)。在其它实施方式中，可以使用用于测量头部姿势的其它技术或角度表示，例如任何其它类型的欧拉(Euler)角度系。

可穿戴系统可以使用在此描述的各种传感器(诸如参考图2、4和7)来确定用户的头部姿势。例如，可穿戴系统可以使用IMU或面向内的成像系统来计算用户的头部姿势或眼睛姿势。可穿戴系统可以使用这些传感器获取的数据来识别目标可交互对象。例如，目标可交互对象可以是与用户的注视方向冲突的对象。可穿戴系统可以识别目标可交互对象并且基于朝向方向的扩展注视将可见焦点指示符分配给目标可交互对象(例如，如果用户注视对象长于阈值时间，则将焦点指示符分配给目标对象)。

可穿戴系统可以基于头部姿势的改变(诸如例如在选择事件期间滚动、偏航或俯仰)来确定并更新哪个对象成为目标可交互对象。例如，参考图12，当用户可以将他的头部1410向左转动时，目标可交互对象可以从对象1244更新到其相邻对象(诸如对象1230)。在一些实施方式中，可穿戴系统可以将焦点指示符从对象1244传送到对象1230以反映该更新。

可穿戴系统还可以基于头部姿势的改变来更新用户的FOV中的可选择对象的列表。例如，用户可向右转动头部1410，这可导致可穿戴系统将对象1230移出用户的FOV并将对象1210移动到用户的FOV 1250中。目标可交互对象也可相应地使用在此描述的规则来更新。

用户可以使用头部姿势或眼睛姿势的各种改变来在多个平面之间切换。用户还可以使用头部姿势或眼睛姿势的改变来发起选择事件，确认目标可交互对象的选择，发起交互事件，在交互事件期间与目标可交互对象交互，终止选择事件或者执行与用户界面的其它交互。

在一些实施方式中，可穿戴系统可以将特定深度平面与用户的头部运动相关联，使得用户只能与该深度平面处的虚拟对象交互。例如，可穿戴系统可以将与用户头部位置对应的光标(例如，标线)设定到特定深度平面。结果，当用户移动他的头部时，光标将在设定的深度平面内被传送，并且用户可以在设定的深度平面处的对象之中进行选择，即使在不同的深度平面处可能存在其它虚拟对象。在一些实施方式中，深度平面可以涉及虚拟用户界面。可穿戴系统可以将标线设定到目标虚拟用户界面的深度平面，以便用户可以与目标用户界面平面内的虚拟对象进行交互。

与用户输入设备上的头部姿势和手部手势的组合的示例交互

用户还可以使用用户的姿势和用户的手部手势的组合来选择虚拟对象。例如，用户可以感知用户FOV中的一组虚拟对象。该组虚拟对象可以是在此描述的可选择对象的实施例。该组虚拟对象可以使用参考图2、图4-6描述的光场显示器来呈现。光场显示器可以将不同深度平面处的虚拟对象投影到用户，使得一些虚拟对象可能看起来在另一个虚拟对象的前方。

可穿戴系统可以保持当前在用户的FOV中的虚拟对象的数组(array)。可穿戴系统可以将用户环境中的虚拟对象的位置用作虚拟对象的数组索引。例如，可穿戴系统可以将x-y-z坐标(例如，图6中所示的x-y-z坐标)中的虚拟对象的y值用作对象的数组索引。在其它实施例中，可穿戴系统可以单独或与y值组合使用x值或z值来确定虚拟对象的数组索引。

当用户移动他的头部或他的注视方向时，出现在用户的FOV中的该组虚拟对象可能改变。可穿戴系统也可以相应地更新数组。在一些实施方式中，当用户发起选择事件时，可穿戴系统可以使用数组来将虚拟对象保持在用户的FOR中并且识别FOV中的一组虚拟对象。

用户可以通过驱使用户输入设备来发起用户FOV内的虚拟对象上的选择事件。在发起选择事件时，可穿戴系统可呈现包括用户的FOV中的全部(或部分)虚拟对象的用户界面。在一些实施方式中，可穿戴系统可以显示“隐藏虚拟对象”，诸如虚拟用户界面菜单或关于虚拟对象的某些信息等。当选择事件发起时，而选择事件发起之前或之后隐藏，“隐藏虚拟对象”可变得可感知。

在一些实施例中，在选择事件发起时，可穿戴系统可以改变用户的FOV中的虚拟对象的位置。例如，可穿戴系统可以使远处对象靠近用户或者将附近对象移动远离用户，使得所有虚拟对象看起来基本上处于相同的深度平面。在一些实施方式中，可穿戴系统可以改变(增大或减小)虚拟对象的大小，使得虚拟对象可以适合用户的FOV的大小。另外地或可替代地，可穿戴系统可以向用户示出虚拟对象的一部分(诸如示出图标而不是虚拟电子邮件应用程序的内容)。

在发起选择事件时，可穿戴系统还可以将用户的FOV中的虚拟对象合并(consolidate)到多个深度平面中。每个深度平面可以与虚拟用户界面相关联。

可穿戴系统可以使用虚拟对象的数组索引将虚拟对象布置在一个或多个用户界面上。例如，可穿戴系统可以合并并呈现其y轴值在一定范围内的虚拟对象以在相同用户界面上。另外地或可替代地，可穿戴系统可以基于用户的姿势将虚拟对象布置在深度平面上。例如，在用户的注视方向中可能存在多个虚拟对象，因为它们处于用户环境中的不同深度平面处，所以可穿戴系统可以在选择事件发起时将这些虚拟对象呈现在用户的FOV内，同时将其它虚拟对象放置在用户的FOV的外部。用户可以使用参考图12和13描述的技术将虚拟对象移入和移出FOV。

可穿戴系统可以识别目标可交互对象并呈现指示目标可交互对象的焦点指示符。可穿戴系统可以重新组织目标可交互对象附近的虚拟对象，并在用户的FOV中呈现重新组织的虚拟对象。例如，参考图12，可穿戴系统可以基于虚拟对象距基准位置(诸如目标可交互对象的位置)的距离来识别目标可交互对象附近的一组虚拟对象。可穿戴系统可以基于数组索引、x-y-z坐标中的值(如图6所示)或距目标可交互对象的距离等来重新组织这些虚拟对象的位置。如图12中所示，对象1242、1244和1230可以在用户的FOR中具有不同的初始位置。例如，对象1242可以位于比对象1244更高的位置(例如，更靠近用户房间的天花板)，并且可以比对象1244更远离用户。对象1230的初始位置可以比用户的FOR中的对象1244更低(例如，更靠近用户的房间的地板)。当可穿戴系统将对象1244识别为目标可交互对象时，可穿戴系统可以基于y轴值将用户的3D空间“折叠”成2D用户界面，其中具有较大y轴值的对象位于用户FOV的左侧。因此，在FOV 1250中，虚拟对象1242看起来在虚拟对象1244的左侧，其位于虚拟对象1230的左侧。在其它示例中，可以使用用于重新组织虚拟对象的不同技术。例如，FOV 1250可以示出虚拟对象在3D空间中的2D投影。如图12中所述，用户可以使用手部手势将焦点指示符传送到FOV中的对象之中。用户还可以使用手部手势来改变目标可交互对象，这可以使可穿戴系统基于新目标可交互对象附近的虚拟对象的重组来呈现FOV中的另一组虚拟对象。在可穿戴系统被配置为在不同深度平面处呈现多个用户界面的情况下，用户还可以使用手部手势在多个深度平面之间传送焦点指示符以切换用户界面。在一些实施例中，当虚拟对象不再位于用户的FOV中时，可穿戴系统可在重新组织之前将虚拟对象的位置恢复到其原始位置。在一些情况下，呈现重新组织的虚拟对象的虚拟用户界面可以在用户在目标可交互对象上发起选择事件之后生成。参考图15进一步描述了与多个用户界面交互的附加细节。

基于上下文信息的用户交互的示例

可穿戴系统可以基于上下文信息自动选择或推荐用户交互的模式(例如，在用户输入设备上的姿势或手部手势)。上下文信息可以包括对象的类型(例如物理或虚拟)、对象的布局(例如对象的密度、对象的位置和大小等)、用户的特性，或者用户当前与环境中的对象的交互、组合等。例如，在光线投射期间(参考图10描述)，可穿戴系统可以检测到用户正在观看彼此紧密接近的多个虚拟对象。可穿戴系统可以计算用户FOV中虚拟对象的密度。当密度超过一定阈值时，可穿戴系统可以推荐用户切换用户交互模式。例如，当密度超过一定阈值(其指示对象彼此非常接近)时，可穿戴系统可以将用户交互的模式从头部姿势切换到用户输入设备上的手部手势，以便允许更精确地与对象进行交互。作为另一个示例，当密度下降到一定阈值以下(其指示对象彼此远离)时，可穿戴系统可以将用户交互的模式从用户输入设备上的手部手势切换到头部姿势。这些实施方式可能是特别有利的，因为头部位置可能难以准确地控制，并且当用户试图准确地定位他的头部以与密集成群的对象相互时它可能导致用户疲劳。另一方面，用户输入设备上的手部手势可以提供对用户位置的更精确的控制，但是当用户必须将他的手部移动大量距离以便选择位置较稀疏的对象时，它可能导致用户疲劳。

图15和图16提供基于上下文信息改变用户交互模式的示例。图15示出与采用头部姿势的可交互对象交互的示例。图16示出与在用户输入设备上采用手部手势的可交互对象进行交互的示例。图16中所示的用户输入设备1610可以是图4中描述的用户输入设备466的实施例。

在图15中，用户的FOR包括诸如虚拟用户界面1512、1514和1516的可交互对象。在一些实施方式中，虚拟用户界面1512、1514和1516可以是平面对象，该平面对象包括在虚拟用户界面平面内的其它虚拟对象(1D、2D或3D)。虚拟用户界面1512、1514和1516具有大的尺寸并且不紧密地彼此靠近。结果，可穿戴系统可以确定头部运动可以是用户交互的最优模式，因为用户不必为了选择虚拟用户界面而在用户输入设备上移动大的距离。可穿戴系统可以使用光线投射技术来识别用户当前正在观看虚拟用户界面1514。用户可以在虚拟用户界面1514上发起选择事件以与用户界面1514中的对象交互。如图16中所示，虚拟用户界面1514可以包括多个虚拟对象，诸如例如虚拟TV屏幕1632、虚拟咖啡杯1636、虚拟时钟1634、相机应用程序1652、天气应用程序1638和音乐应用程序等。

基于上下文信息推荐用户交互模式的示例

作为示例，在图16中，可穿戴系统可以确定虚拟TV 1632、虚拟时钟1634、虚拟咖啡杯1636和天气应用程序1638之间的相对位置。因为这四个对象彼此靠近，所以当可穿戴系统确定用户的当前位置在位置1620处时，可穿戴系统可以呈现选项给用户，他是否想从头部姿势切换到手部控制。

另一方面，对象1652(相机应用程序)在其附近没有其它对象。因此，可穿戴系统可能不提供使用用户输入设备来与对象1652交互的选项。但是用户仍然可以使用姿势(诸如头部姿势和眼睛姿势)与对象1652交互。

用户可以使用用户输入设备或者通过改变身体姿势(诸如点头)来确认切换用户交互的模式。当用户交互模式切换到用户输入设备时，用户可以驱使用户输入设备1610以与虚拟对象交互。例如，用户可以沿着用户输入设备1610上的路径滑动，该滑动将光标从位置1620传送到位置1624。类似地，用户可以驱使用户输入设备1610，这将光标从位置1620移动到1622(其可以是箭头的形状)。除了这些示例之外，用户可以沿着在用户输入设备1610上的任何类型的路径(例如，相对于输入设备的水平、垂直或对角线)或任何类型的方向(例如，左或右，上或下等)滑动。

当光标在位置1624处时，光标的一部分与虚拟TV屏幕1632重叠。用户可以(例如，通过在触摸屏上点击)来驱使用户输入设备1610以选择虚拟TV屏幕1632。当可穿戴系统接收到虚拟TV屏幕1632的选择时，可穿戴系统可显示与TV屏幕相关联的一个或多个虚拟菜单(例如，虚拟菜单1642a和1642b)。例如，虚拟菜单可以包括以下选项：诸如例如调节音量，选择视频应用程序(例如电影或电视流服务)，选择发起电话会议等。

基于上下文信息的自动切换用户交互模式的示例

可穿戴系统还可以自动切换用户交互模式。例如，当用户在虚拟用户界面平面1512、1514、1516之中进行选择时，用户交互模式可被设定为头部姿势。一旦用户选择了虚拟用户界面平面，用户交互模式可被自动改变为用户输入设备上的手部手势(如图16中所示)。作为另一个示例，当对象足够稀疏时或者当对象的布局满足一定标准时(诸如当对象之间没有遮挡时)，用户交互模式可以被设定为身体姿势。当对象变为密集的位置或当对象的布局不再满足标准时(诸如当一个对象遮挡另一个对象时)，可穿戴系统可以自动地将用户交互的模式改变为用户输入设备上的手部手势。

可穿戴系统可以另外或可替代地将3D空间中的对象的相对位置考虑为2D空间中的相对位置。例如，用户界面1514可以是3D用户界面而不是2D用户界面。如图16中所示，天气应用程序1638可以位于比咖啡杯应用程序1636更远离用户的深度平面中。当用户的注视方向位于位置1620时，可穿戴系统可以检测与用户的注视方向相交的两个虚拟对象(虚拟时钟1634和音乐应用程序1654)，即使音乐应用程序1654可能看起来比虚拟时钟1634更远。基于该信息，可穿戴系统可以确定对象足够彼此靠近。因此，可穿戴系统可自动将用户交互模式切换为手部手势或提示用户切换至手部手势的选项。

基于上下文信息的用户界面特征的其它示例

在一些实施方式中，当用户切换到手部手势时，可穿戴系统可以将密集的虚拟对象群重新定位到一个或多个固定深度平面。如参考图12、13A-13B所述，用户可以选择固定深度平面内的虚拟对象或使用手部手势切换深度平面。该实施方式可能是特别有利的，因为它减少了由在3D空间中位于稍微不同的深度平面处的虚拟对象之间的操纵引起的用户输入设备上的繁琐操作。

当用户交互模式已经从一种方法改变到另一种时，可穿戴系统可以单独或组合地改变焦点指示符或光标。例如，当用户将用户交互的模式从头部姿势改变为用户输入设备上的手部手势(并且反之亦然)时，可穿戴系统可以改变焦点指示符的颜色。在另一个示例中，可穿戴系统可以将焦点指示符的外观从标线形状改变为箭头形状(如图16中所示)，以指示将输入控制从头部姿势改变为用户输入设备上的手部手势的选项。

在一些实施方式中，焦点指示符或光标单独或组合的改变可用于指示用于改变用户交互模式变为可用的选项。例如，当用户使用用户输入设备上的手部手势与一组稀疏放置的对象交互时，可穿戴系统可以将焦点指示符的外观从箭头改变为标线，从而指示使用头部姿势的交互选项可用。用户可以通过例如驱使用户输入设备(诸如敲击用户输入设备)或改变身体姿势(诸如点头)来确认从手部手势到头部姿势的改变。作为另一个示例，可穿戴系统可以在用户输入设备上提供振动作为焦点指示符，以示出用户交互的替代模式变得可用。

尽管参考选择一个对象来描述示例，但是可穿戴系统可以被配置为识别多个目标对象并选择多个目标对象。AR系统可以被配置为递归地在目标可交互对象的子组上执行选择事件。例如，AR系统可识别在光线投射(在图10中描述)中与虚拟锥体冲突的若干目标对象。目标对象可以包括可交互对象。AR系统可以放大这些目标对象并且允许用户使用在此描述的姿势和/或手部手势在这些目标对象内进行选择。此外，尽管参考头部姿势和在用户输入设备上的手部手势之间的改变来描述示例，但是类似的技术也可以用于在用户交互的其它模式之间进行切换。例如，可穿戴系统可以利用类似的技术来单独或组合地改变身体姿势、手部手势、头部姿势、脚部姿势、眼睛姿势等之间的用户交互模式。

交互事件的示例

在用户选择可交互对象之后，用户可以在他的FOV中的可交互对象上发起交互事件。在一些实施方式中，虚拟对象可以对应于物理对象。结果，当用户在虚拟对象上执行交互事件时，虚拟对象可以与物理对象通信，从而允许用户经由虚拟用户界面与物理对象交互。例如，图16中的3D咖啡杯1636可以与用户的环境中的咖啡机通信。在3D咖啡杯1636中示出的水位可以表示咖啡制作进展。例如，由于咖啡机闲置，水位最初可能不可见。用户可以选择3D咖啡杯1636并发起交互事件，该交互事件使可穿戴系统向用户的厨房中的咖啡机发送指令以开始冲泡咖啡。在冲泡进展期间，随着咖啡机产生更多咖啡，3D咖啡杯1636中的水位可能逐渐增加。当咖啡机完成冲泡时，可穿戴系统可以示出3D咖啡杯1636已满。在一些实施方式中，可穿戴系统还可以在3D咖啡杯上提供指示咖啡已完成冲泡的焦点指示符(诸如声音或光晕)。

作为另一个示例，可穿戴系统可以在交互事件期间呈现与用户环境中的物理对象相关联的虚拟内容。在图16中，用户可以选择天气应用程序1638并且在天气应用程序1638上发起交互事件。图17示出与天气应用程序1638的示例交互事件。在该示例中，可穿戴系统的用户可以在他家的外部并且可以感知诸如远处暴风云1710和龙卷风1720的物理对象。用户还可以感知诸如道路1730、车辆1732和建筑物1734的其它物理对象。

可穿戴系统可以通过分析用户环境的图像来识别用户的位置。当用户在天气应用程序1638(图16中示出)上发起交互事件时，可穿戴系统可以呈现叠加在用户的FOR中的物理对象上的AR/MR场景1700。可穿戴系统可以使用定位传感器(例如全球定位系统(GPS)传感器)来确定用户的位置和关于用户附近的天气的信息(例如，用户正在观看的暴风云1710和龙卷风1720的存在)。在一些实施方式中，可穿戴系统还可以使用面向外的成像系统来获取用户环境的图像。可穿戴系统可以使用诸如面向外的成像系统464、面向内的成像系统462或IMU(在图4中描述)的传感器单独或组合地来确定用户正朝向暴风1710和龙卷风1720观看。

可穿戴系统可以与网络(有线或无线)通信以访问关于暴风的信息并将该信息作为虚拟内容显示给用户，例如暴风报告1750的存在和持续时间、龙卷风的速度1754、天气预报1762(例如，作为时间函数的温度、下雨的机会)、暴风的方向1756(例如作为时间函数的暴风位置)、预期的降雨1766等。该信息可以经由文本或图形呈现给用户，使得信息的至少一部分被感知为位于暴风云1710或龙卷风1720的位置处或附近(例如，虚拟内容可以看起来像叠加在物理内容上)。例如，如图17中所示，箭头1752指示暴风中的方向(例如，在龙卷风中)，并且从可穿戴系统的用户的角度看，好像它们是3D并且叠加在龙卷风1720上或附近。风速1754可以在方向箭头1752附近呈现。可穿戴系统可以向佩戴者呈现关于暴风的其它信息，诸如例如温度预报1762，其中雨正在或预期会下降(例如，经由暴风云1710下方的倾斜虚线1764示出)，期望下降多少雨(如参考数字1766所示)，暴风中(例如，在龙卷风1720中的不同高度处)的风的方向1752和风速1754等。

可穿戴系统可以使用光场显示器(在图4-6中示出)来呈现逼真的3D虚拟内容1750、1752、1754、1756、1762、1764、1766，使得其出现在距用户的适当距离处(例如，在暴风1710和龙卷风1720上或附近)并且适合于可穿戴系统的用户的大小、形状或缩放(例如，如图17中示意性示出)。

可穿戴系统还可以允许两个或更多用户与可交互对象进行交互。两个用户都可以穿戴他们相应的可穿戴系统(诸如他们的头戴式设备)。图18示出多个用户与3D虚拟对象交互的示例用户体验。在该示例中，用户佩戴可穿戴设备1852。用户可以通过可穿戴设备1852感知虚拟内容1800。在该示例中，虚拟内容可以包括天文对象1810(例如星星或者在其它情况下是星系、行星、星云或太阳系)。关于虚拟内容1800的信息可以被显示，使得其显现在虚拟内容上或与虚拟内容相邻。例如，可以在天文对象1810附近显示星星或行星1830的轨道1820、星座、附近的星星等。可穿戴系统可以向佩戴者呈现用户界面，该佩戴者可以使用姿势或用户输入设备来访问虚拟菜单1832或虚拟输入特征1840，其中可以选择不同的动作(例如通过手势)。例如，如图18中所示，虚拟菜单1832可以允许佩戴者编辑/删除或保存正在显示的虚拟内容1800的配置文件。配置文件可以允许佩戴者(或另一个授权用户)在不同的时间或地点访问虚拟内容。另一个虚拟菜单可以允许用户与虚拟内容交互并修改正在显示的虚拟内容。例如，如图18中所示，用户输入元件1840可以允许佩戴者“添加行星”(例如通过采用手势来选择虚拟按钮1840，诸如在虚拟按钮1840的位置处“按压”佩戴者的手指)。在选择之后，佩戴者可以能够访问功能(例如，经由虚拟菜单、虚拟下拉框等)以创建具有诸如名字、直径、温度或行星距离等信息的行星配置文件。在选择之后，附加的虚拟内容(在该示例中是附加的行星)可以被显示给佩戴者。

例如经由网络在可穿戴系统之间通过传递用户环境的世界地图或通信虚拟内容(或对虚拟内容的更新)，可穿戴系统可以允许用户与其它人共享虚拟内容。例如，如图18中所示，佩戴可穿戴系统200的另一个用户1850可以观看由第一用户共享和操纵的虚拟内容。两个用户都可以享受彼此以及与虚拟内容交互的体验。虽然在该示例中使用天文对象1810，但是虚拟内容1800可以是任何类型的内容。例如，可以访问百科全书并显示和共享一个或多个主题上的内容(使用虚拟文本、虚拟图像、声音等)。共享虚拟内容的用户组不需要物理地存在于相同位置中以观看虚拟内容，并且许多用户(例如，2、3、4、5、10、100或更多)可以基本上同时观看共享的虚拟内容。

尽管参考虚拟行星系统和天气应用程序来描述示例，但这些示例不是限制性的。在此描述的技术还可以应用于在AR/MR/VR环境中呈现交互式虚拟内容的其它应用程序。例如，可穿戴系统可以被编程为包括衣服购物应用程序。当用户在百货商店时，应用程序可以访问与百货商店相关联的数据库以识别衣服的信息或衣服架。应用程序可以将访问的信息呈现为叠加在百货公司的实体衣服上的虚拟内容。

使用姿势和用户输入设备的组合来选择虚拟对象的示例过程

图19示出使用姿势和用户输入设备上的手部手势的组合来选择虚拟对象的示例过程。过程1900可以由在此描述的可穿戴系统(例如，HMD)执行(例如，通过处理模块260、270中的一个或两个)。可穿戴系统可以包括用户输入设备(参见例如图4中的用户输入设备466)、各种成像系统，诸如面向外的成像系统(参见例如图4中的面向外的成像系统464)和面向内的成像系统(参见例如图4中的面向内的成像系统462)。

在框1910处，可穿戴系统可以识别用户的FOR中的可交互对象。可交互对象可以使用诸如数组的数据结构例如存储在远程数据储存库280(图2中所示)中。用户FOR中的可交互对象可以是用户FOR中所有对象的子集。可穿戴系统可以使用面向外的成像系统462以及其它传感器(诸如IMU和GPS)来确定用户的位置并且使用该位置信息来确定用户环境中的可交互对象。

在框1920处，可穿戴系统可以使用在此描述的传感器来测量用户的姿势。可穿戴系统可以使用面向内的成像系统462来识别用户的方向。

在框1930处，可穿戴系统可以基于用户的注视方向来识别用户的FOV中的可交互对象。FOV还可以使用光线投射来确定哪些可交互对象与用户的注视方向相交。在一些实施方式中，用户的FOV中的可交互对象可以被称为可选择对象。可穿戴系统可以使用可选择对象的位置将可选择对象存储在数组中。例如，可穿戴系统可以基于x轴值(参见例如图6中的x-y-z坐标)对可选择对象(和/或可交互对象)进行索引。可穿戴系统可以基于x轴值对对象进行分类，并在1D或2D视图中将可选择对象从左到右呈现在用户的FOV中。

在一些实施方式中，可穿戴系统可能不具有仅用于可选择对象的单独数组。在这些实施方式中，可穿戴系统可以使用例如可选择对象的数组索引(其基于用户的FOV来确定)从可交互对象的数组中识别并检索可选择对象。

然而，在一些实施例中，可穿戴系统可以维护两个数组，其中一个数组用于用户的FOR中的可交互对象，而另一个数组用于用户的FOV中的可选择对象。例如，用于可交互对象的数组可以保存在远程数据储存库280(图2中示出)中，而用于可选择对象的数组可以保存在可穿戴系统本地的数据存储中。该实施方式可能是有利的，因为可穿戴系统的本地存储和数据处理能力可能是有限的，而远程数据储存库可能具有更大的数据存储和更强大的数据处理能力。通过仅将所有可交互对象的子集保存在可穿戴系统的本地存储中，它可以减少可穿戴系统的硬件需求并降低可穿戴系统中数据溢出的可能性。

如果在用户的FOV内不存在可交互对象，则可穿戴系统可以返回到框1910。可穿戴系统可以连续地监控用户的姿势，更新用户的FOV，并且连续地确定用户的FOV内的可交互对象的列表。

在框1940处，可穿戴系统可以确定用户是否想要在用户的FOV中的对象上发起选择事件。可穿戴系统可以基于以下各种指示单独地或组合地进行这种确定：诸如例如长时间注视对象，用户的头部姿势(诸如点头)或来自用户输入设备的输入。如果可穿戴系统接收到用户想要选择对象的指示，则可穿戴系统可以允许用户使用在此描述的各种手部手势与可选择对象交互。例如，用户可以沿着用户输入设备上的轨迹滑动以浏览可选择对象或者在用户输入设备上点击来选择可选择对象。

选择事件的发起可以使可穿戴系统识别用户的FOV中的目标可交互对象(在框1940处)并且将焦点指示符(在框1950处)分配给目标可交互对象。目标可交互对象可以是FOV的左侧或右侧处的对象。当中心处的对象是目标可交互对象时，可见焦点指示符也可以放置在FOV中心的对象上。可穿戴系统还可以使用3D眼睛跟踪来确定用户的眼睛姿势的方向并且将可见焦点指示符放置在与用户的眼睛姿势的方向相交的对象上。

在框1960处，用户可以使用在此描述的各种手势将焦点指示符传送到另一个对象。目标可交互对象可以相应地更新为另一个对象。例如，用户可以将焦点指示符从其当前位置移动到其相邻对象，并且结果，目标可交互对象被更新为相邻对象。

在一些实施例中，这些手势可以使可穿戴系统沿着用户的FOV内的路径移动虚拟对象(而不是传送可见焦点指示符本身)。例如，参考图12，当用户在触摸板上向左滑动时，其可能具有将对象1230完全移动到FOV中的效果，同时向左移位对象1242的位置。

图20示出使用姿势和用户输入设备上的手部手势的组合与虚拟对象进行交互的示例过程。过程2000可以由在此描述的可穿戴系统执行。

在框2010处，可穿戴系统可以确定用户的FOR中的可交互对象的组。该组可交互对象可以是用户环境中对象的子集。可交互对象可以是虚拟对象和/或物理对象。在一些实施例中，AR系统可以将虚拟元素添加到现有物理对象。例如，AR系统可以将虚拟菜单添加到房间中的电视，其中虚拟菜单可以给用户使用AR系统打开电视的选项。

如参考图12所述，AR系统可以将可交互对象和与可交互对象相关联的信息存储在各种数据结构中。对象的位置可以用作索引以存储与对象相关联的信息。

在框2020处，可穿戴系统可以确定用户的姿势。用户的姿势可以是单独或组合的头部、眼睛、脚部或其它身体姿势。可穿戴系统可以使用图4中所示的各种传感器，诸如例如面向内的成像系统462，在用户输入设备466上接收的输入，或面向外的成像系统464，来确定用户的姿势。

在框2030处，可穿戴系统可以基于用户的姿势来确定用户的FOV。FOV可以包括用户在给定时间感知的FOR的一部分。基于用户的FOV，在框2040处，AR系统可以确定可交互对象的子组的哪些在用户的FOV内。可交互对象的该子组有时被称为可选择对象。随着用户的FOV改变，用户FOV内的可选择对象也会改变。

在框2050处，可穿戴系统从可交互对象的子组接收对目标可交互对象的选择。如参考图12所描述的，可穿戴系统可以基于各种规则(诸如目标可交互对象相对于用户的FOV的位置)来初始地选择目标可交互对象。AR系统可以将焦点指示符分配给目标可交互对象。当用户的FOV改变时，可见焦点指示符可以从一个对象移动到另一个对象。

在一些实施例中，在用户驱使用户输入设备之后，可穿戴系统可以识别目标可交互对象。用户可以使用参考图12-13描述的各种手部手势来驱使用户输入设备。这些手部手势可以触发可穿戴系统将焦点指示符分配给用户FOV内的目标可交互对象。在一些实施方式中，当AR系统从用户接收到对目标可交互对象的选择时，AR系统可以在用户的FOV改变时停止更新用户FOV中的该组可选择对象。用户仍然可以浏览可交互对象或将可见焦点指示符从他的FOV内的一个对象传送到另一个对象。

在框2070处，用户可以决定在目标可交互对象上发起选择事件。选择事件可以使用在此描述的姿势和手势来发起。在一些实施例中，选择事件的发起可触发可穿戴系统将可见焦点指示符分配给目标可交互对象。即使用户的FOV可随着用户姿势的改变而改变，可穿戴系统也可以停止更新用户FOV中的该组可选择对象。用户可以使用在此描述的手势将可见焦点指示符从用户的FOV内的一个对象传送到另一个对象。例如，用户可以沿着触摸板上的轨迹(诸如左和右)滑动，这可以导致可穿戴系统将可见焦点指示符从一个对象移动到其最近的邻居。

在一些实施方式中，用户可以在选择事件期间或之后发起交互事件。交互事件也可以是选择事件的一部分。例如，如参考图12所述，交互事件可以包括调节可交互对象的大小，显示可交互对象的菜单，浏览菜单，选择菜单上的项目，搜索项目，玩游戏，观看视频，进行电话会议等。用户可以使用在此描述的各种姿势和手势参与交互事件。用户还可以使用在此讨论的姿势和手势来确认对目标可交互对象的选择。

基于上下文信息与对象交互的示例过程

图21示出用于基于上下文信息将输入控制头部姿势切换为手部手势的示例过程。过程2100可以由在此描述的可穿戴系统执行(例如，通过处理模块260、270中的一个或两个)。

可穿戴系统可以显示指示用户的当前位置的光标。光标可以是与用户头部位置对应的标线。随着用户四处移动，光标可能会移动到目标可交互对象。用户可以单独或组合地使用姿势、用户输入设备上的手部手势来选择目标可交互对象。在过程2100中，用户可以最初使用头部姿势与对象交互。在框2110处，可穿戴系统可确定用户是否已选择目标可交互对象。目标可交互对象可以是2D平面虚拟用户界面。如果用户没有选择目标可交互对象，则该过程在框2190处结束。在一些实施例中，随着用户四处移动，可穿戴系统可以连续地确定用户的当前位置。基于用户的头部姿势，可穿戴系统可以识别用户FOV中的其它目标可交互对象。

如框2120中所示，当可穿戴系统接收到对诸如2D平面虚拟用户界面的目标可交互对象的选择时，可穿戴系统可将焦点指示符分配给目标可交互对象。例如，可穿戴系统可以在目标可交互对象周围显示光晕，并且使目标可交互对象更接近用户，就好像目标可交互对象看起来悬停在3D空间中一样。可穿戴系统还可以将光标的法线(normal)和深度(对应于头部位置)设置为与目标可交互对象的法线和深度相同。结果，用户可以使用头部姿势继续与目标可交互对象内的虚拟对象进行交互。

在框2130处，可穿戴系统可以识别与用户的交互相关联的上下文。例如，可穿戴系统可以确定用户FOV中的虚拟对象(或物理对象)的布局。

在框2140处，如果可穿戴系统确定布局满足一定图案(诸如一个虚拟对象被另一个虚拟对象遮挡)或者密度超过一定阈值，则可穿戴系统可以向用户提供选项用于切换输入控制的模式。作为示例，可穿戴系统可以向用户提供选项用于将交互模式从头部姿势切换到用户输入设备。

如框2142中所示，如果用户选择不切换，则用户仍然可以使用头部姿势来瞄准和选择可交互对象。该过程在框2190处结束。

如果用户选择将输入控制切换为手部手势，则在框2150处，用户可以驱使用户输入设备以与虚拟对象交互。在框2160处，可穿戴系统可以接收用户对目标虚拟对象的选择，诸如2D平面虚拟用户界面上的UI元素。例如，参考图16，用户可以选择天气应用程序1638、咖啡制作应用程序1636等。如果在框2160处用户没有选择目标虚拟对象，则用户可以继续驱使用户输入设备，如框6150中所示。

可穿戴系统可以在选择的虚拟对象上发起选择事件或交互事件。例如，可穿戴系统可以在所选虚拟对象上提供焦点指示符。可穿戴系统还可以呈现与所选虚拟对象相关联的VR/AR/MR场景。例如，可穿戴系统可以呈现用户可以与之交互的场景1700(如图17所示)和1800(如图18所示)。

在框2180处，可穿戴系统可确定用户是否已完成选择事件或交互事件。如果可穿戴系统确定用户已经完成与目标虚拟对象的交互，则过程2100在框2190处结束。在一些实施例中，在框2190处，可穿戴系统可以将用户界面控件的模式从手部手势切换回头部姿势。

图22示出用于基于上下文信息来切换用户交互模式的示例过程。过程2200可以由在此描述的可穿戴系统执行(例如，通过处理模块260、270中的一个或两个)。

在框2210处，可穿戴系统可以确定用户用于与可交互对象进行交互的当前输入模式。当前输入模式可以是姿势或用户输入设备上的手部手势。

在框2220处，可穿戴系统可确定上下文信息，诸如用户的FOV中的对象的布局，用户的FOV中的对象的密度，用户的FOV中的对象的特性(诸如大小、位置、对象类型等)。

基于上下文信息，在框2230处，可穿戴系统可呈现改变当前用户输入模式的选项。例如，当用户正在使用头部姿势来与对象交互时，当可穿戴系统在用户的注视方向中识别出一组密集的对象时，可穿戴系统可呈现将用户输入模式改变到用户输入设备的选项。作为另一个示例，当可穿戴系统确定对象稀疏定位时，可穿戴系统可以提供将当前用户输入模式从用户输入设备改变为头部姿势的选项。

作为另一个示例，可穿戴系统可以允许用户使用姿势与用户界面平面(其可以包括其它虚拟对象)交互，同时使用用户输入设备与用户界面元素(诸如用户界面平面内的应用程序)交互。结果，当可穿戴系统检测到用户已经选择了用户界面平面时，可穿戴系统可以将用户输入模式从头部姿势改变为用户输入设备。另一方面，当用户完成与用户界面元素的交互时，可穿戴系统可以将用户输入模式从用户输入设备改变为头部姿势。

在一些实施方式中，焦点指示符(包括光标)的外观可以基于不同的用户输入模式而改变。例如，可穿戴系统可以使用标线来指示用户正在使用头部姿势与对象交互，同时使用箭头来指示用户正在使用用户输入设备与对象交互。在一些实施方式中，可穿戴系统可以改变焦点指示符的外观以示出用于切换用户输入模式是可用的选项。例如，当用户正与头部姿势交互时，可穿戴系统可以初始显示标线。当可穿戴系统检测到密集的一组对象时，可穿戴系统可以显示箭头(而不是标线)以指示用户可以将用户输入模式切换到用户输入设备。然而，当用户远离密集的一组对象时，可穿戴系统可以将焦点指示符从箭头改回到标线。

在框2240处，用户可以选择新用户输入模式的选项。例如，用户可以驱使用户输入设备以确认他想要将用户输入模式从头部姿势改变为用户输入设备上的手部手势。可穿戴系统可以相应地将当前用户输入模式更新为新选择的模式。可穿戴系统也可以将焦点指示符更新为与新选择的模式相关联的一个。

图23示出与包括一组虚拟对象的可交互对象交互的示例过程。过程2300可以由在此描述的可穿戴系统(例如，通过处理模块260、270中的一个或两个)执行。可穿戴系统可以包括用户输入设备466(在图4中示出)、光场显示器(参考图2或图4-6描述)、诸如面向外的成像系统464(在图4中示出)和面向内的成像系统462(在图4中示出)的各种传感器。

在框2310处，可穿戴系统确定用户的姿势。姿势可以是头部、眼睛、脚部或其它身体姿势等。可穿戴系统可以使用诸如例如面向内的成像系统462、面向外的成像系统464(诸如参考图10描述的FOV相机)、IMU等的各种传感器来确定用户的姿势。

可穿戴系统可以确定用户的FOR中的一组可交互对象。例如，可穿戴系统可以访问包括用户环境中的对象的信息的用户环境的地图。在框6230处，可穿戴系统可以从该组可交互对象确定目标可交互对象。目标可交互对象可以基于用户的姿势来确定。例如，目标可交互对象可以是与用户的注视方向相交的对象。随着用户的姿势改变，目标可交互对象也可能改变。

在框2330处，可穿戴系统可以接收对目标可交互对象的选择。用户可以通过单独或组合地驱使用户输入设备、改变姿势来选择目标可交互对象。如框2340中所示，可穿戴系统可在接收到对目标可交互对象的选择(如框6250中所示)之后将焦点指示符分配给目标可交互对象。

在一些实施方式中，可以进一步在目标可交互对象内显示一个或多个虚拟对象。例如，虚拟用户界面可以包括用户界面元素，诸如天气应用程序、视频流应用程序等。在框2350处，可穿戴系统可以确定与选择的目标可交互对象相关联的一组虚拟对象。用户可以使用头部姿势和手部手势与一组虚拟对象进行交互。例如，用户可以使用姿势或手部手势在一组虚拟对象中选择虚拟对象。用户还可以发起交互事件，诸如玩视频游戏、观看VR/AR/MR场景或与所选虚拟对象交互的其它用户界面。

在一些实施例中，当用户选择目标可交互对象时，可穿戴系统可以将交互模式从姿势改变为用户输入设备。例如，用户可以最初使用头部姿势来瞄准并选择他的环境中的可交互对象。一旦用户选择目标可交互对象，可穿戴系统可以将输入模式从头部姿势改变为用户输入设备，使得用户可以使用用户输入设备与目标可交互对象中的虚拟对象交互。一旦用户完成与虚拟对象的交互，可穿戴系统可以将输入模式改回头部姿势，使得用户可以继续瞄准并且与他的环境中的其它可交互对象交互。在某些实施方式中，可穿戴系统可以为用户提供选项以切换输入控制的模式。例如，如果用户在选择目标可交互对象之后决定不从头部姿势切换到手部手势，则用户可以使用头部姿势继续与目标可交互对象中的虚拟对象进行交互。

其它用户界面体验

AR和MR视觉体验的其它示例

如上所述，可穿戴系统(诸如头戴式显示器)可被配置为呈现叠加在物理世界上的3D虚拟对象。例如，可穿戴设备的用户可以在学校体育馆中，并且不仅感知本地的物理环境和物理对象(例如，坐在或站在体育馆中的体育馆和学生)，而且还感知叠加在物理世界(例如学校体育馆)上的虚拟对象。虚拟对象可以包括被溅水围绕的跳跃鲸鱼。例如，用户可以感知以下体验：鲸鱼从学校体育馆的地板出现，部分地跳过体育馆，以大水溅落在地板上，并且然后消失。在该示例中，可穿戴系统可以确定佩戴者正在观看的外部世界中的区域的尺寸(例如，在该示例中是体育馆的大小)，以便显示跳跃鲸鱼的图像，使得它们被佩戴者感知为源自该区域的子区域(例如，来自体育馆的地板)并且使用图4-6中描述的光场显示器，使得跳跃的鲸鱼和飞溅的水对于用户看起来逼真且栩栩如生。在一些实施方式中，可穿戴系统可以向用户呈现(例如，经由图2中示出的扬声器240)跳跃鲸鱼的声音，伴随显示给用户的图像。AR系统可以(附加地或可替代地)在由用户观看的场景上显示其它虚拟内容(诸如文本或图形)。例如，AR系统可以在虚拟鲸鱼从体育馆地板跳跃之前、期间或之后向佩戴者显示关于鲸鱼的信息(诸如鲸鱼的类型、年龄、习性等)。

作为另一个示例，可穿戴系统的用户可能在零售市场中。用户可以观看环境中的真实物理的人，以及包括走过市场的宇航员的图像的虚拟内容。虚拟内容可以叠加在可穿戴系统的显示器的FOV内。

可穿戴系统可以修改物理世界的图像并为用户提供MR体验。例如，用户可以看到以V形编队飞行的物理鸟群。面向外的成像系统(例如图4中所示)可以捕获该物理内容，并且可穿戴系统可以对其进行处理以识别鸟群以v形编队飞行。可穿戴系统可以用在该编队中或附近飞行的虚拟对象(例如，在该示例中为龙)添加到群体中或代替一个(或多个)鸟。作为另一个示例，可穿戴系统可以将在海滩上方悬停或飞行的虚拟对象(例如，虚拟鲸鱼)添加到物理海滩的用户视图。光场显示器呈现仿佛出现在不同距离处的逼真图像的能力允许可穿戴显示系统将鲸鱼的图像呈现为接近或远离佩戴者。在一些实施方式中，可穿戴系统可以使用阴影映射技术，使得虚拟内容看起来具有虚拟阴影，这也可以给由可穿戴系统显示的虚拟内容提供更多的真实感。

在一些实施方式中，可穿戴系统的用户可以感知AR/MR环境中的一系列虚拟图像。例如，用户可能正在朝他的杯状手看。可以通过可穿戴系统的显示器来显示诸如小象的虚拟对象，使得用户将虚拟对象感知为在用户的杯状手内。可穿戴系统可以使用面向外的成像系统来对诸如包括佩戴者手部的区域(以及手背后的任何背景)的环境区域成像。可穿戴系统可以确定与佩戴者手部的距离，使得可以缩放虚拟内容(例如，大象)，使得内容以适当的大小和距离出现在被观看的整体区域的特定的子区域(例如，手部)中。可穿戴系统可使场景看起来好像佩戴者将大象握在佩戴者手中一样。大象的位置可能针对每张图片改变，使得大象在时间序列中与时间序列中较早的时间序列相比更接近用户。跳跃大象的图像可伴有声音(例如，语音、音乐)。

与虚拟对象交互的其它示例

作为用户与虚拟用户界面的交互的示例，可穿戴系统的用户可以感知并且与人在跳舞的物理房间中的虚拟对象交互。在该示例中，用户可以是磁盘操作者(DJ)，并且可穿戴系统可以向DJ显示可以由DJ的手部运动(例如，手势)操纵的虚拟UI。虚拟UI可以包括允许DJ与UI进行交互的虚拟内容。在该示例中，虚拟UI可以配置为是可以控制播放给舞者的声音的DJ音频控制系统。UI可以包括用户输入特征，诸如可以经由手势被DJ调节的拨号(例如，飞梭快速(jog shuttle)拨号)、开关、滑块、按钮或转盘。虚拟UI可以包括输出特征，诸如声级图形或均衡器。当DJ改变声级或音频混合时，输出特征可以实时响应。可穿戴系统的面向外的成像系统可以对DJ的手部和手臂成像以确定DJ的手势(例如，手部或手指运动)。响应于确定的手势，可穿戴系统可以例如通过增大或减小音量，淡化或平移音乐，混合音乐等来调节音频。

作为另一个示例，可穿戴系统的用户可以与在患者上操作的医生一起观看手术室。可穿戴系统可向用户呈现显示患者正在被操作的解剖结构或器官(诸如心脏)的虚拟内容。可以经由手势(例如，经由佩戴者伸出并抓握或移动心脏的虚拟图像)或用户输入设备来调节虚拟器官的取向和位置。虚拟器官可以表示心脏的理想化(例如，教科书图像)或患者心脏的实际图像(例如，在手术期间采取或在手术之前预先绘制)。可穿戴系统的光场显示能力(在图4-6中描述)允许佩戴者观看器官的3D图像。在一些实施方式中，用户不需要物理地存在于环境中(例如操作)以与环境中的对象(虚拟和/或物理对象)进行交互。诸如例如通过与医生通信(例如经由扬声器)或与虚拟器官的虚拟图像交互，用户可以与医生的化身或手术室的外观进行交互。

用户还可以使用可穿戴系统观看教育虚拟内容并与其交互。在该示例中，教育虚拟内容可以包括持有指示器并指向作为教育课程的一部分向佩戴者显示的图形(例如，数字)的化身(例如，被设计为对学生有吸引力和不威胁的创造物)。与可穿戴系统通信的教育系统可以生成并递送教育虚拟内容，以作为教育课程的一部分呈现给佩戴者。虚拟内容可以包括文本、图像、视频、图形和声音。例如，化身可以向学生解释算术课程(例如，4乘以5等于？)。在一些情况下，可穿戴系统包括可以接收周围环境中的声音(例如学生的声音)的麦克风。学生可以提问，可穿戴系统(或教育系统)可以使用语音识别技术将问题转换为电子格式，并且教育系统可以将响应通信回可穿戴系统。例如，化身可以通过回答问题来响应学生的问题，(例如，用棒)指向虚拟内容的不同部分来解释答案等。

在另一个AR体验中，可穿戴系统的用户(诸如HMD)可以观看物理对象(例如，另一个人和房屋)以及虚拟娱乐显示器。虚拟娱乐显示器示出体育赛事的呈现(该示例中为篮球比赛)。虚拟娱乐显示器可向可穿戴系统的用户呈现关于正在被观看的游戏或其它游戏的信息(例如，分数、即时游戏评论、游戏回顾、玩家统计、排名等)。虚拟娱乐显示器可以显现为3D，其允许用户在显示器周围移动以观看虚拟娱乐显示器的不同侧(其可以在显示器的不同侧上显示不同的内容、不同的游戏、不同的运动，或甚至不同的娱乐类型(例如，电影))。体育赛事可以随着体育赛事的发生而实时呈现给用户。这为用户提供了与体育赛事交互的能力，即使用户没有亲身参加体育赛事。特定用户可以通过使用手势或用户输入设备来控制虚拟娱乐显示器。在一些情况下，单个用户具有虚拟娱乐显示其的控制，而其它用户可以在显示器上观看动作，但不能更改正在显示的内容。在其它实施方式中，虚拟娱乐显示器可以呈现作为多个用户的动作的结果而创建或更新的内容。

多个用户之间的其它示例交互

当一组人每个穿戴可穿戴设备时，用户可以在AR/VR/MR环境中与另一个用户交互。例如，该组中的人可以经由他们正在佩戴的可穿戴设备来享受、交互、共享或操纵(例如，经由手势)虚拟内容(其可以包括图像、视频、声音、文本等)。

这种用户交互可以发生在虚拟游戏中。随着玩家在游戏中相互参与，可穿戴设备可以向可穿戴设备的用户呈现虚拟内容和声音。在该示例中，用户可以感知具有物理对象(例如，床、桌子、窗户和游戏的另一个玩家404)房间。用户还可以感知围绕其他玩家飞行的喷火龙。玩家中的一个或两个可以通过手势(例如手部姿势或手臂姿势)、图腾(例如棒)或控制器或界面(物理的或虚拟的)来控制龙的位置、运动和动作(例如，是否会呼吸火焰)。在一些情况下，另一个玩家物理上不在房间中，并且显示给可穿戴设备的用户作为物理上存在(例如，经由远程呈现)。例如，可穿戴设备可以在他们玩游戏时呈现其他玩家的化身(诸如以虚拟小孩的形式)。小孩化身(和龙)可以由可穿戴系统或另一个游戏系统生成并通信到可穿戴系统以显示给佩戴者。小孩化身可以是另一个玩家的实际外观的表示，或者可以被选择为其他玩家选择以被可穿戴用户感知的形式。另一个玩家可以是人类玩家或机器玩家。在其它示例中，多于一个的玩家可以出现在佩戴者的环境中(例如，在房间中，在房间外面并且透过窗户观看等)。光场显示器(诸如例如参考图4至图6描述的光场显示器)呈现图像就好像它们处于与佩戴者不同距离处(例如，在不同深度平面处)的能力可以显著地增强游戏的真实性和可玩性。除龙之外，可穿戴设备还可以可选地向用户(例如，玩游戏统计或状态)显示其它信息(例如，文本或图形)。

如参考图7所述，可穿戴设备可以将物理或虚拟环境的地图以及环境中的对象传递给另一个可穿戴设备。例如，可穿戴设备可以将用户房间的地图和房间中的虚拟对象传递给另一个用户的可穿戴设备。因此，用户可以与虚拟对象交互，就好像它们处于相同的环境中一样。

附加实施例

在第一方面，一种用于观看虚拟内容的方法，该方法包括：访问与用户的视场中的区域有关的区域数据；分析区域数据以识别其中将要显示的虚拟内容的区域的子区域；部分地基于区域数据和子区域数据访问或生成虚拟内容；以及显示虚拟内容，使得当由用户观看时，虚拟内容看起来好像它被设置在区域的子区域中或其上。

在第二方面，如方面一所述的方法，其中所识别的子区域包括该区域中的物理对象。

在第三方面，如方面一或方面二所述的方法，其中区域数据是根据分析用户的视场中的区域的图像而获得的。

在第四方面，如方面一至方面三中任一方面所述的方法，其中部分地基于新接收的区域数据或子区域数据来修改虚拟内容。

在第五方面，如方面一至方面四中任一方面所述的方法，进一步包括：接收用户输入；至少部分地基于用户输入访问或生成附加的虚拟内容；并显示附加的虚拟内容。

在第六方面，如方面一至方面五中任一方面所述的方法，其中子区域包括用户附近的区域的一部分。

在第七方面，一种用于与虚拟内容交互的方法，该方法包括：访问或生成虚拟内容；在用户的视场中显示虚拟内容；显示与虚拟内容相关联的虚拟用户界面；接收用户输入；将用户输入与与虚拟用户界面的用户输入特征相关联的功能相关联；以及执行该功能。

在第八方面，如方面七所述的方法，进一步包括部分地基于所接收的用户输入来操纵或修改虚拟内容。

在第九方面，如方面七至八中任一方面所述的方法，其中用户输入是手势。

在第十方面，如方面七至九中任一方面所述的方法，其中用户输入是用户眼睛的运动。

在第十一方面，如方面七至十中任一方面所述的方法，其中虚拟内容包括教育内容或娱乐内容。

在第十二方面，如方面七至十一中任一方面所述的方法，其中当由用户感知时，虚拟内容或虚拟用户界面看起来是三维的。

在第十三方面，如方面七至十二中任一方面所述的方法，其中虚拟用户界面的用户输入特征包括拨号、开关、滑块或按钮。

在第十四方面，如方面七至十三中任一方面所述的方法，其中虚拟用户界面包括输出特征，该输出特征被配置为显示与虚拟用户界面的功能有关的信息。

在第十五方面，如方面十四所述的方法，其中输出特征实时更新。

在第十六方面中，一种在增强现实环境中显示信息的方法，该方法包括：确定用户的位置；识别用户视场中的物理对象；至少部分地基于位置或所识别的物理对象访问或生成与所识别的物理对象有关的信息；基于该信息生成虚拟内容；以及显示虚拟内容，使得信息对于用户看起来与该物理对象相关联。

在第十七方面，如方面十六所述的方法，其中虚拟内容包括文本、图像、图形或视频。

在第十八方面，如方面十六或方面十七所述的方法，进一步包括播放与所显示的虚拟内容相关联的音频。

在第十九方面，如方面十六至十八中任一方面所述的方法，进一步包括至少部分地基于用户输入来显示附加的虚拟内容。

在第二十方面，硬件处理器用可执行指令编程，使得当指令被执行时，硬件处理器执行方面一至十九中任一方面所述的方法。

在第二十一方面，一种可穿戴显示系统，包括：方面二十的硬件处理器；以及配置为向可穿戴显示系统的用户的眼睛提供图像的显示器。

在第二十二方面，如方面二十一所述的可穿戴显示系统，其中显示器包括光场显示器。

在第二十三方面，如方面二十一或方面二十二所述的可穿戴显示系统，其中显示器被配置为在多个深度平面处显示图像。

在第二十四方面，如方面二十一至二十三中任一方面所述的可穿戴显示系统，进一步包括图像捕获设备，该图像捕获设备被配置为捕获包括物理对象的区域的图像，其中可穿戴显示系统被配置为显示由用户感知的与一个或多个物理对象相关联的虚拟内容。

在第二十五方面，一种用于选择位于三维(3D)空间中的虚拟对象的方法，该方法包括：在包括计算机硬件的增强现实(AR)系统的控制下，AR系统被配置为允许用户与用户的关注场(FOR)中的可交互对象交互，该FOR包括能够由用户经由AR系统感知的用户周围的环境的一部分：确定用户的FOR中一组可交互对象；确定用户的姿势；至少部分地基于用户的姿势来确定用户的视场(FOV)，该FOV包括用户在给定时间感知的FOR的一部分；基于用户的姿势或FOV的改变，更新位于用户的FOV中的可交互对象的子组；从可交互对象的子组接收对目标可交互对象的选择；以及在目标可交互对象上发起选择事件。

在第二十六方面，如方面二十五所述的方法，进一步包括将一组可交互对象存储在数据结构中。

在第二十七方面，如方面二十六所述的方法，其中该组可交互对象中的每个可交互对象至少部分地基于可交互对象在用户的FOV中的位置而表示在数据结构中。

在第二十八方面，如方面二十七所述的方法，其中该位置包括距用户的FOV的边缘的距离。

在第二十九方面，如方面二十五所述的方法，其中从可交互对象的子组接收对目标可交互对象的选择包括：从用户设备接收第一输入；以及响应于第一输入，从可交互对象的子组中识别目标可交互对象。

在第三十方面，如方面二十五所述的方法，进一步包括：从用户设备接收第二输入；以及响应于第二输入，在目标可交互对象上发起交互事件。

在第三十一方面，如方面三十所述的方法，其中目标可交互对象是最接近用户的FOV的中点的可交互对象的子组中的可交互对象。

在第三十二方面，如方面三十所述的方法，其中目标可交互对象是用户FOV中可交互对象的子组中的最左侧或最右侧的可交互对象。

在第三十三方面，如方面三十至三十二中任一方面所述的方法，其中发起交互事件包括以下中的一个或多个：调节目标可交互对象的大小；显示目标可交互对象的菜单；浏览目标可交互对象的菜单；选择菜单上的第一项目；在数据库中搜索第二项目；玩与目标可交互对象相关联的视频游戏；观看视频；或进行电话会议。

在第三十四方面，如方面二十五所述的方法，其中通过以下来执行接收对目标可交互对象的选择：基于用户的姿势来确定用户的注视的路径；以及选择与用户注视的路径相交的对象作为目标可交互对象。

在第三十五方面，如方面二十五至三十四中任一方面所述的方法，进一步包括将可见焦点指示符分配给目标可交互对象。

在第三十六方面，如方面三十五所述的方法，其中可见焦点指示符包括目标可交互对象的突出、光晕光环、颜色改变、大小改变或感知深度的改变。

在第三十七方面，如方面二十五所述的方法，其中发起选择事件包括以下中的一个或多个：将目标可交互对象改变为成为目标可交互对象的不同可交互对象；打开与目标可交互对象相关联的菜单；或从用户接收选择目标可交互对象的确认。

在第三十八方面，如方面二十五至三十七中任一方面所述的方法，其中该组可交互对象包括虚拟对象。

在第三十九方面，如方面二十五至三十八中任一方面所述的方法，其中用户的姿势包括眼睛姿势。

在第四十方面，如方面二十五至三十九中任一方面所述的方法，其中用户的姿势包括头部姿势。

在第四十一方面，一种用于选择位于三维(3D)空间中的虚拟对象的增强现实(AR)系统，该系统包括：显示系统；网络接口；计算机处理器，其被配置为与网络接口和显示系统进行通信以进行以下操作：确定用户的FOR中的一组可交互对象；确定用户的姿势；至少部分地基于用户的姿势来确定用户的视场(FOV)，该FOV包括用户在给定时间感知的FOR的一部分；基于用户的姿势或FOV的改变来更新位于用户的FOV中的可交互对象的子组；从可交互对象的子组接收对目标可交互对象的选择；并在目标可交互对象上发起选择事件。

在第四十二方面，如方面四十一所述的系统，其中计算机处理器被进一步配置为将该组可交互对象存储在数据结构中。

在第四十三方面，如方面四十二所述的系统，其中至少部分地基于可交互对象在用户的FOV中的位置在数据结构中表示该组可交互对象中的一个或多个可交互对象。

在第四十四方面，如方面四十三所述的系统，其中该位置包括距用户的FOV的边缘的距离。

在第四十五方面，如方面四十一至四十四中任一方面所述的系统，其中计算机处理器被配置为从可交互对象的子组接收对目标可交互对象的选择，包括：从用户设备接收第一输入；并且响应于第一输入，从可交互对象的子组中识别目标可交互对象。

在第四十六方面，如方面四十一至四十五中任一方面所述的系统，其中目标可交互对象是最接近用户的FOV的中点的可交互对象的子组中的可交互对象。

在第四十七方面，如方面四十一至四十五中任一方面所述的系统，其中目标可交互对象是用户FOV中可交互对象的子组中的最左侧或最右侧的可交互对象。

在第四十八方面，如方面四十一至四十七所述的系统，其中计算机处理器被配置为从可交互对象的子组接收对目标可交互对象的选择，包括：基于用户的姿势确定用户的注视的路径；以及选择与用户注视的路径相交的对象作为目标可交互对象。

在第四十九方面，如方面四十一至四十八中任一方面所述的系统，其中计算机处理器进一步被配置为将可视焦点指示符分配给目标可交互对象。

在第五十方面，如方面四十九所述的系统，其中可见焦点指示符包括目标可交互对象的突出、光晕光环、颜色改变、大小改变或感知深度的改变。

在第五十一方面，如方面四十一至五十所述的系统，其中计算机处理器被配置为发起选择事件，包括以下中的一个或多个：将目标可交互对象改变为成为目标可交互对象的不同可交互对象；打开与目标可交互对象相关联的菜单；或从用户接收选择目标可交互对象的确认。

在第五十二方面，如方面四十一至五十一中任一方面所述的方法，其中该组可交互对象包括虚拟对象。

在第五十三方面，如方面四十一至五十二中任一方面所述的方法，其中用户的姿势包括眼睛姿势。

在第五十四方面，如方面五十一至五十三中任一方面所述的方法，其中用户的姿势包括头部姿势。

在第五十五方面，一种用于与三维(3D)空间中的虚拟对象交互的系统，该系统包括：增强现实显示器，用于显示多个可交互对象；用户输入设备；配置为确定用户的姿势的一个或多个传感器；一个或多个处理器，其中一个或多个处理器被配置为在用于选择虚拟对象的第一用户输入模式和第二用户输入模式之间切换，该第一用户输入模式至少部分地基于用户的姿势，该第二用户输入模式至少部分地基于来自用户输入设备的信号，并且一个或多个处理器进一步被配置为：当系统在第一用户输入模式中操作时：监控用户的姿势；至少部分地基于所监控的姿势在与用户的姿势有关的方向中显示与第一用户输入模式相关联的第一焦点指示符；接收切换到第二用户输入模式的指示，其中该指示进一步指示对目标可交互对象的选择；并且当系统在第二用户输入模式中操作时：监控来自用户输入设备的用户输入；以及至少部分地基于所监控的用户输入来显示与第二用户输入模式相关联的第二焦点指示符。

在第五十六方面，如方面五十五所述的系统，其中第一焦点指示符包括第一形状中的光标并且第二焦点指示符包括第二形状中的光标。

在第五十七方面，如方面五十六所述的系统，其中第一形状包括标线，并且第二形状包括箭头。

在第五十八方面，如方面五十五所述的系统，其中一个或多个处理器进一步被配置为：确定与第一焦点指示符或第二焦点指示符的位置相关联的上下文信息；并且至少部分地基于上下文信息显示用于切换到不同的用户输入模式的选项。

在第五十九方面，如方面五十五至五十八中任一方面所述的系统，目标可交互对象包括一个或多个虚拟对象。

在第六十方面，如方面五十五至五十九中任一方面所述的系统，其中用户的姿势包括以下中的至少一个：头部姿势、眼睛姿势或身体姿势。

在第六十一方面，如方面五十五至六十中任一方面所述的系统，其中用户输入设备是拇指垫、触控板、手柄(d-pad)或触摸屏。

在第六十二方面，一种用于选择位于三维(3D)空间中的可交互对象的方法，该方法包括：在包括计算机硬件的增强现实(AR)系统的控制下，该AR系统被配置为允许用户与用户的关注场(FOR)中的可交互对象进行交互，该FOR包括能够经由AR系统被用户感知的用户周围的环境的一部分，该AR系统进一步包括用户输入设备：确定与用户的FOR中的虚拟对象相关联的一组可交互对象；确定用户的姿势；至少部分地基于用户的姿势从该组可交互对象中确定目标可交互对象；将焦点指示符关联到所选目标可交互对象；以及至少部分地基于用户输入设备的输入在所选目标表面上发起选择事件。

在第六十三方面，如方面六十二所述的方法，其中确定目标可交互对象通过光线投射来执行。

在第六十四方面，如方面六十三所述的方法，其中光线投射包括投射铅笔光线。

在第六十五方面，如方面六十三所述的方法，其中光线投射包括投射具有相当大的横向宽度的光线。

在第六十六方面，如方面六十二所述的方法，其中焦点指示符对用户可见。

在第六十七方面，如方面六十六所述的方法，进一步包括向用户显示焦点指示符。

在第六十八方面，如方面六十二所述的方法，进一步包括：至少部分地基于用户的姿势来确定用户的视场(FOV)，该FOV包括由用户在给定的时间感知的FOR的一部分；访问视场(FOV)中的一个或多个可交互对象的上下文信息；以及至少部分地基于上下文信息为用户输入模式提供一个或多个选项。

在第六十九方面，如方面六十八所述的方法，进一步包括：接收对用户输入模式的选项的选择；确定当前的用户输入模式；以及响应于当前用户输入模式不同于所选选项的确定，将当前用户输入模式更新为所选选项。

在第七十方面，如方面六十九所述的方法，进一步包括更新焦点指示符以指示当前用户输入模式已经改变。

在第七十一方面，如方面七十所述的方法，其中用户输入模式包括以下中的一个或多个：用户的姿势或用户输入设备。

在第七十二方面，如方面六十二至七十一中任一方面所述的方法，其中该组可交互对象包括一个或多个虚拟用户界面平面。

在第七十三方面，如方面六十二至七十二中任一方面所述的方法，其中用户的姿势包括眼睛姿势、头部姿势或身体姿势中的至少一个。

在第七十四方面，一种用于与三维(3D)环境中的虚拟对象交互的方法，该方法包括：在包括计算机硬件的增强现实(AR)系统的控制下，AR系统被配置为允许用户与用户的关注场(FOR)中的可交互对象进行交互，该FOR包括能够经由AR系统由用户感知的用户周围的环境的一部分，该AR系统进一步包括用户输入设备：确定用户的姿势；在与用户的姿势有关的方向中显示与目标可交互对象相关联的第一焦点指示符，其中目标可交互对象包括多个虚拟对象；接收对目标可交互对象的选择；显示多个虚拟对象；显示与目标虚拟对象相关联的第二焦点指示符；至少部分地基于来自用户输入设备的输入来更新第二焦点指示符。

在第七十五方面，如方面七十四所述的方法，其中第一焦点指示符包括第一形状中的光标，并且第二焦点指示符包括第二形状中的光标。

在第七十六方面，如方面七十五所述的方法，其中第一形状包括标线，并且第二形状包括箭头。

在第七十七方面，如方面七十四至七十六中任一方面所述的方法，其中用户的姿势包括以下中的至少一个：头部姿势、眼睛姿势或身体姿势。

在第七十八方面，如方面七十四至七十七中任一方面所述的方法，其中用户输入设备是拇指垫、触控板、手柄(d-pad)或触摸屏。

在第七十九方面，一种用于与三维(3D)空间中的虚拟对象交互的方法，该方法包括：在包括计算机硬件的增强现实(AR)系统的控制下，该AR系统被配置为允许用户与用户的关注场(FOR)中的可交互对象进行交互，该FOR包括能够经由AR系统由用户感知的用户周围的环境的一部分，该AR系统进一步包括用户输入设备：当AR系统在第一用户输入模式中操作时，其中第一用户输入模式至少部分地基于用户的姿势：监控用户的姿势；至少部分地基于所监控的姿势，在与用户的姿势有关的方向中显示与第一用户输入模式相关联的第一焦点指示符；接收切换到第二用户输入模式的指示，其中指示进一步指示对目标可交互对象的选择；以及当AR系统在第二用户输入模式中操作时，其中第二用户输入模式至少部分地基于来自用户输入设备的信号：监控来自用户输入设备的用户输入；以及至少部分地基于所监控的用户输入来显示与第二用户输入模式相关联的第二焦点指示符。

在第八十方面，如方面七十九所述的方法，其中第一焦点指示符包括第一形状中的光标，并且第二焦点指示符包括第二形状中的光标。

在第八十一方面，如方面八十所述的方法，其中第一形状包括标线，并且第二形状包括箭头。

在第八十二方面，如方面七十九所述的方法，进一步包括：确定与第一焦点指示符或第二焦点指示符的位置相关联的上下文信息；并且至少部分地基于上下文信息显示用于切换到不同的用户输入模式的选项。

在第八十三方面，如方面七十九至八十二中任一方面所述的方法，目标可交互对象包括一个或多个虚拟对象。

在第八十四方面，如方面七十九至八十三中任一方面所述的方法，其中用户的姿势包括以下中的至少一个：头部姿势、眼睛姿势或身体姿势。

在第八十五方面，如方面七十九至八十四中任一方面所述的方法，其中用户输入设备是拇指垫、触控板、手柄(d-pad)或触摸屏。

在第八十六方面，增强现实设备包括被编程为执行方面六十二至八十五中任一方面的方法的计算机硬件。

在第八十七方面，一种用于改变可穿戴设备的用户输入模式的系统，该系统包括：可穿戴设备的显示系统，其被配置为向用户呈现三维(3D)视图，该3D视图包括可交互对象；用户输入设备，其被配置为接收用户输入；传感器，其被配置为获取与用户的姿势相关联的数据；与用户输入设备通信的硬件处理器，该处理器被编程为：确定用于与可交互对象交互的当前用户输入模式是第一用户输入模式还是第二用户输入模式，其中第一用户输入模式至少部分地基于用户的姿势并且第二用户输入模式至少部分地基于来自用户输入设备的用户输入；响应于当前用户输入模式是第一用户输入模式的确定：使用传感器监控用户的姿势；至少部分地基于所监控的姿势经由显示系统在与用户的姿势有关的方向中呈现与第一用户输入模式相关联的第一形状中的焦点指示符；接收切换到第二用户输入模式的第一指示；并且响应于第一指示将当前用户输入模式切换到第二用户输入模式；并且响应于当前用户输入模式是第二用户输入模式的确定：监控来自用户输入设备的用户输入；至少部分地基于所监控的输入，经由显示系统呈现与第二用户输入模式相关联的第二形状中的焦点指示符；接收切换到第一用户输入模式的第二指示；并且响应于第二指示将当前用户输入模式切换到第一用户输入模式。

在第八十八方面，如方面八十七所述的系统，其中用户的姿势包括以下中的至少一个：头部姿势、眼睛姿势、脚部姿势或身体姿势，或者其中传感器包括以下中的至少一个：面向内的成像系统、面向外的成像系统或惯性测量单元，或者其中显示系统包括被配置为在多个深度平面处显示一个或多个可交互对象的光场显示器。

在第八十九方面，如方面八十七至八十八中任一方面所述的系统，其中处理器进一步被编程为：至少部分地基于用户的姿势来确定用户的视场(FOV)，该FOV包括用户在给定时间感知的用户环境的一部分；确定与FOV相关联的上下文信息，其中上下文信息包括以下中的至少一个：FOV中的可交互对象的布局，FOV的大小，用户的FOV中的一个或多个可交互对象的大小；并且至少部分地基于上下文信息呈现用于从第一用户输入模式切换到第二用户输入模式或者从第二用户输入模式切换到第一用户输入模式的选项。

在第九十方面，如方面八十九所述的系统，其中为了呈现该选项，处理器被编程为当当前用户输入模式处于第一用户输入模式时呈现第二形状中的焦点指示符，并当当前用户输入模式处于第二用户输入模式时呈现第一形状中的焦点指示符。

在第九十一方面，如方面八十七至九十中任一方面所述的系统，其中第一指示包括用户的姿势的改变，并且其中第二指示包括用户输入设备的驱使。

在第九十二方面，一种用于改变可穿戴设备的用户输入模式的方法，该方法包括：在包括计算机处理器的可穿戴设备的控制下，该可穿戴设备被配置为允许用户与用户的关注场(FOR)中的可交互对象进行交互，该FOR包括能够由用户经由可穿戴设备的显示系统感知的用户周围的环境的一部分：确定用户的姿势；经由显示系统在与用户的姿势有关的方向中显示与目标可交互对象相关联的第一焦点指示符，其中目标可交互对象包括多个虚拟对象；接收对目标可交互对象的选择；向用户呈现用于将用户输入模式从姿势切换到用户输入设备上的手部手势的选项；经由显示系统显示多个虚拟对象；响应于用户已将用户输入模式从姿势切换到用户输入设备上的手部手势的确定，经由显示系统显示与多个虚拟对象中的目标虚拟对象相关联的第二焦点指示符；以及至少部分地基于来自用户输入设备的用户输入来更新第二焦点指示符。

在第九十三方面，如方面九十二所述的方法，其中响应于选择目标可交互对象或与多个虚拟对象或目标可交互对象相关联的上下文信息来呈现选项。

在第九十四方面，如方面九十三所述的方法，其中上下文信息包括多个虚拟对象的密度，其中用于将用户输入模式从姿势切换到用户输入设备上的手部手势的选项包括响应于多个虚拟对象的密度超过阈值密度的确定来呈现。

在第九十五方面，如方面九十二至九十四中任一方面所述的方法，其中至少部分地基于用户的姿势来识别目标虚拟对象。

在第九十六方面，如方面九十二至九十五中任一方面所述的方法，其中更新第二焦点指示符包括将第二焦点指示符从目标虚拟对象传送到多个虚拟对象中的另一个虚拟对象。

在第九十七方面，如方面九十二至九十六中任一方面所述的方法，进一步包括在目标虚拟对象上发起选择事件，该选择事件包括打开与目标虚拟对象相关联的菜单或者接收选择目标虚拟对象的指示中的至少一个。

在第九十八方面，如方面九十二至九十七中任一方面所述的方法，其中多个虚拟对象包括天气应用程序或天文应用程序中的至少一个，其中响应于对天气应用程序的选择，可穿戴设备被编程为显示叠加在用户环境中的对象上的虚拟天气信息，并且其中响应于对天文应用程序的选择，可穿戴设备被编程为显示包括叠加在用户的环境上的三维虚拟行星的交互式行星系统。

在第九十九方面，一种用于选择位于三维(3D)空间中的虚拟对象的可穿戴系统，该可穿戴系统包括：显示系统，其被配置为在3D空间中呈现虚拟对象；非暂态数据存储器，其被配置为将可交互对象存储在3D空间中；配置为确定用户的姿势的传感器；以及硬件处理器，其被编程为与显示系统、数据存储器和传感器通信以：至少部分地基于从传感器接收的数据来确定用户的姿势；至少部分地基于用户的姿势来确定用户的视场(FOV)，该FOV包括用户在给定时间感知的用户环境的一部分；识别FOV中的一组可交互对象；至少部分地基于用户的姿势来识别FOV中的目标可交互对象；以及发起与目标可交互对象相关联的选择事件。

在第一百方面，如方面九十九所述的可穿戴系统，其中该组可交互对象被存储在数据结构中，其中至少部分地基于可交互对象在第3D空间的位置来确定与每个可交互对象相关联的索引。

在第一百零一方面，如方面九十九至一百中任一方面所述的可穿戴系统，其中响应于在目标可交互对象上发起选择事件，可穿戴系统的处理器被编程为以二维(2D)界面呈现在3D空间中的目标可交互对象的阈值范围内的虚拟对象。

在第一百零二方面，如方面一百零一所述的可穿戴系统，其中2D界面经由用户输入设备可交互。

在第一百零三方面，如方面九十九至一百零二中任一方面所述的可穿戴系统，其中为了识别FOV中的目标可交互对象，处理器被配置为执行以下操作中的至少一个：基于用户的姿势确定用户的注视的路径，并选择与注视的路径相交的可交互对象作为目标可交互对象；或选择用户的FOV中最左侧或最右侧的可交互对象作为目标可交互对象，其中最左侧或最右侧可交互对象至少部分地基于与该组可交互对象相关联的索引来选择。

在第一百零四方面，如方面九十九至一百零三中任一方面所述的可穿戴系统，其中处理器被配置为响应于以下中的至少一个来发起选择事件：接收来自用户输入设备的输入或检测用户姿势的改变。

在第一百零五方面，如方面九十九至一百零四中任一方面所述的可穿戴系统，其中处理器进一步被配置为呈现与目标可交互对象相关联的焦点指示符。

在第一百零六方面，如方面九十九至一百零五中任一方面所述的可穿戴系统，进一步包括：被配置为获取与用户的位置相关联的数据的定位传感器，并且其中目标可交互对象包括天气应用程序，该天气应用程序被编程为：基于由定位传感器获取的数据来确定用户的位置；与远程计算设备通信以基于用户的位置获取天气数据；生成与天气数据相关联的虚拟元素；并将虚拟元素叠加在用户的3D空间中。

结论

在此描述的和/或附图中描绘的过程、方法和算法中的每一个可以体现在由一个或多个物理计算系统、硬件计算机处理器、应用程序特定的电路和/或被配置为执行具体和特定计算机指令的电子硬件来执行的代码模块中并且完全或部分自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言编写。在一些实施方式中，特定操作和方法可以由特定于给定功能的电路来执行。

此外，本公开的功能的某些实施方式在数学上、计算上或技术上是足够复杂的，使得应用专用硬件或一个或多个物理计算装置(利用适当的专用可执行指令)对于执行功能可能是必需的，例如由于所涉及的计算的数量或复杂性或实质上实时提供结果。例如，视频可以包括许多帧，每帧具有数百万个像素，并且具体编程的计算机硬件对于处理视频数据以在商业上合理的时间量内提供期望的图像处理任务或应用是必需的。

代码模块或任何类型的数据可以存储在任何类型的非暂态计算机可读介质上，诸如物理计算机存储器，其包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器、相同或相似的组合。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)传输，该传输介质包括基于无线的和基于有线/电缆的介质，并且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以持久地或以其它方式存储在任何类型的非暂态有形计算机存储器中，或者可以经由计算机可读传输介质来传达。

在此描述的和/或附图中描述的流程图中的任何过程、框、状态、步骤或功能应该被理解为潜在地代表包括用于实现特定功能(例如逻辑或算术)或过程中的步骤的一个或多个可执行指令的代码模块、代码段或代码部分。各种过程、框、状态、步骤或功能可以与在此提供的说明性示例相组合、重新排列、添加、删除、修改或以其它方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行在此描述的功能中的一些或全部。在此描述的方法和过程也不限于任何特定的序列，并且与其相关的框、步骤或状态可以以适当的其它序列(例如串行、并行或以一些其它方式)来执行。可以向所公开的示例实施例添加任务或事件或者从中移除任务或事件。此外，在此描述的实施方式中的各种系统组件的分离是出于说明的目的，并且不应该被理解为在所有实施方式中都需要这种分离。应该理解，所描述的程序组件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。许多实施方式变化是可能的。

过程、方法和系统可以在网络(或分布式)计算环境中实现。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、互联网和万维网。网络可以是有线或无线网络或任何其它类型的通信网络。

本公开的系统和方法各自具有若干创新性方面，其中没有单独的一个对于在此公开的期望的属性完全负责或需要。上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合均旨在落入本公开的范围内。对于本公开中所描述的实施方式的各种修改对于本领域技术人员来说可能是显而易见的，并且在不脱离本公开的精神或范围的情况下，可将在此定义的一般原理应用于其它实施方式。因此，权利要求不旨在限于在此所示的实施方式，而是应被赋予与本公开、在此公开的原理和新颖特征一致的最宽范围。

本说明书中在分开的实施方式的上下文中描述的某些特征也可以在单个实施方式中组合实现。相反地，在单个实施方式的上下文中描述的各种特征也可以分别在多个实施方式中或以任何合适的子组合来实现。此外，尽管上文可以将特征描述为以某些组合起作用并且甚至最初如此要求，但是来自所要求保护的组合的一个或多个特征可以在一些情况下从组合中删除，并且所要求保护的组合可以针对子组合或变体的子组合。每个和所有实施例都不需要或不可缺少任何单个特征或特征组合。

除非另有明确说明，或者在所使用的上下文中以其它方式理解，否则在此使用的条件语言，诸如“能够”、“可”、“可能”、“可以”、“例如”等是通常旨在表达某些实施例包括，而其它实施例不包括某些特征、元件和/或步骤。因此，这种条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或者没有作者输入或提示的情况下决定是否这些特征、元件和/或步骤包括在或将在任何特定实施例中执行。术语“包含”、“包括”、“具有”等是同义词，并且以开放式的方式包含性地使用，并且不排除附加的元件、特征、动作、操作等。此外，术语“或”以其包含性含义(而不是其专有含义)使用，因此当用于例如连接元素列表时，术语“或”表示一个、列表中的一些或全部元素。另外，除非另有说明，否则本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。

如在此所使用的，提及项目列表中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。举例来说，“A、B或C中的至少一个”旨在覆盖：A，B，C，A和B，A和C，B和C以及A、B和C。除非另有特别说明，否则诸如短语“X、Y和Z中的至少一个”的连接语言通常用于表达项目、术语等可以是X、Y或Z中的至少一个。因此，这种连接语言通常并不意味着某些实施例需要X中的至少一个，Y中的至少一个和Z中的至少一个各自存在。

类似地，虽然操作可以以特定顺序在附图中描绘，但是应该认识到，这种操作不需要以所示出的特定顺序或按顺序执行，或者执行所有示出的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其它操作可以并入示意性说明的示例性方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其它实施方式中，操作可以重新安排或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施方式中的各种系统组件的分离不应该被理解为在所有实施方式中都需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。另外，其它实施方式在以下权利要求的范围内。在一些情况下，权利要求中列举的动作可以以不同的顺序执行并且仍然实现期望的结果。

Claims (36)

1.一种用于选择位于三维(3D)空间中的虚拟对象的方法，所述方法包括：

在包括计算机硬件的增强现实(AR)系统的控制下，所述AR系统被配置为允许用户与用户的关注场(FOR)中的可交互对象交互，所述FOR包括能够由所述用户经由所述AR系统感知的用户周围的环境的一部分：

确定所述用户的所述FOR中的一组可交互对象；

确定所述用户的姿势；

至少部分地基于所述用户的所述姿势来确定所述用户的视场(FOV)，所述FOV包括所述用户在给定时间感知的所述FOR的一部分；

基于所述用户的所述姿势或所述FOV的改变，更新位于所述用户的所述FOV中的所述可交互对象的子组；

从所述可交互对象的子组接收对目标可交互对象的选择；以及

在所述目标可交互对象上发起选择事件。

2.根据权利要求1所述的方法，进一步包括将所述一组可交互对象存储在数据结构中。

3.根据权利要求2所述的方法，其中，所述一组可交互对象中的每个可交互对象至少部分地基于所述可交互对象在所述用户的所述FOV中的位置而表示在所述数据结构中。

4.根据权利要求3所述的方法，其中，所述位置包括距所述用户的所述FOV的边缘的距离。

5.根据权利要求1所述的方法，其中，从所述可交互对象的子组接收对所述目标可交互对象的选择包括：

从用户设备接收第一输入；以及

响应于所述第一输入，从所述可交互对象的子组中识别所述目标可交互对象。

6.根据权利要求1所述的方法，进一步包括：

从所述用户设备接收第二输入；以及

响应于所述第二输入，在所述目标可交互对象上发起交互事件。

7.根据权利要求6所述的方法，其中，所述目标可交互对象是最接近所述用户的所述FOV的中点的所述可交互对象的子组中的可交互对象。

8.根据权利要求6所述的方法，其中，所述目标可交互对象是所述用户的所述FOV中的所述可交互对象的子组中的最左侧或最右侧的可交互对象。

9.根据权利要求6所述的方法，其中，发起交互事件包括以下中的一者或多者：

调节所述目标可交互对象的大小；

显示所述目标可交互对象的菜单；

浏览所述目标可交互对象的菜单；

选择所述菜单上的第一项目；

在数据库中搜索第二项目；

玩与所述目标可交互对象相关联的视频游戏；

观看视频；或

进行电话会议。

10.根据权利要求1所述的方法，其中，通过以下来执行接收对所述目标可交互对象的选择：

基于所述用户的所述姿势来确定所述用户的注视的路径；以及

选择与所述用户的注视的路径相交的对象作为所述目标可交互对象。

11.根据权利要求1所述的方法，进一步包括将可见焦点指示符分配给所述目标可交互对象。

12.根据权利要求11所述的方法，其中，所述可见焦点指示符包括所述目标可交互对象的突出、光晕光环、颜色改变、大小改变或感知深度的改变中的至少一者。

13.根据权利要求1所述的方法，其中，发起选择事件包括以下中的一者或多者：

将所述目标可交互对象改变为成为所述目标可交互对象的不同可交互对象；

打开与所述目标可交互对象相关联的菜单；或

从所述用户接收选择所述目标可交互对象的确认。

14.根据权利要求1所述的方法，其中，所述一组可交互对象包括虚拟对象。

15.根据权利要求1所述的方法，其中，所述用户的所述姿势包括眼睛姿势或头部姿势。

16.一种用于选择位于三维(3D)空间中的虚拟对象的增强现实(AR)系统，所述系统包括：

显示系统；

网络接口；

计算机处理器，其被配置为与所述网络接口和所述显示系统进行通信以进行以下操作：

确定用户的FOR中的一组可交互对象；

确定所述用户的姿势；

至少部分地基于所述用户的所述姿势来确定所述用户的视场(FOV)，所述FOV包括所述用户在给定时间感知的所述FOR的一部分；

基于所述用户的所述姿势或所述FOV的改变来更新位于所述用户的所述FOV中的所述可交互对象的子组；

从所述可交互对象的子组接收对目标可交互对象的选择；以及

在所述目标可交互对象上发起选择事件。

17.根据权利要求16所述的系统，其中，所述计算机处理器被进一步配置为将所述一组可交互对象存储在数据结构中。

18.根据权利要求17所述的系统，其中，至少部分地基于所述可交互对象在所述用户的所述FOV中的位置在所述数据结构中表示所述一组可交互对象中的一个或多个可交互对象。

19.根据权利要求18所述的系统，其中，所述位置包括距所述用户的所述FOV的边缘的距离。

20.根据权利要求16所述的系统，其中，所述计算机处理器被配置为从所述可交互对象的子组接收对目标可交互对象的选择，包括：

从用户设备接收第一输入；以及

响应于所述第一输入，从所述可交互对象的子组中识别所述目标可交互对象。

21.根据权利要求16所述的系统，其中，所述目标可交互对象是最接近所述用户的FOV的中点的所述可交互对象的子组中的可交互对象。

22.根据权利要求16所述的系统，其中，所述目标可交互对象是所述用户的FOV中所述可交互对象的子组中的最左侧或最右侧的可交互对象。

23.根据权利要求16所述的系统，其中，所述计算机处理器被配置为从所述可交互对象的子组接收对目标可交互对象的选择，包括：

基于所述用户的所述姿势确定所述用户的注视的路径；以及

选择与所述用户的注视的路径相交的对象作为所述目标可交互对象。

24.根据权利要求16所述的系统，其中，所述计算机处理器进一步被配置为将可视焦点指示符分配给所述目标可交互对象。

25.根据权利要求24所述的系统，其中，所述可见焦点指示符包括所述目标可交互对象的突出、光晕光环、颜色改变、大小改变或感知深度的改变。

26.根据权利要求16所述的系统，其中，所述计算机处理器被配置为发起选择事件，包括以下中的一者或多者：

将所述目标可交互对象改变为成为所述目标可交互对象的不同可交互对象；

打开与所述目标可交互对象相关联的菜单；或

从所述用户接收选择所述目标可交互对象的确认。

27.根据权利要求16所述的系统，其中，所述一组可交互对象包括虚拟对象。

28.根据权利要求16所述的系统，其中，所述用户的所述姿势包括眼睛姿势或头部姿势。

29.一种用于选择位于三维(3D)空间中的虚拟对象的可穿戴系统，所述可穿戴系统包括：

显示系统，其被配置为呈现3D空间中的虚拟对象；

非暂态数据存储器，其被配置为将可交互对象存储在所述3D空间中；

传感器，其被配置为确定用户的姿势；以及

硬件处理器，其被编程为与所述显示系统、所述数据存储器以及所述传感器通信以：

至少部分地基于从所述传感器接收的数据来确定所述用户的所述姿势；

至少部分地基于所述用户的所述姿势来确定所述用户的视场(FOV)，所述FOV包括所述用户在给定时间感知的所述用户的环境的一部分；

识别所述FOV中的一组可交互对象；

至少部分地基于所述用户的所述姿势来识别所述FOV中的目标可交互对象；以及

发起与所述目标可交互对象相关联的选择事件。

30.一种用于观看虚拟内容的方法，所述方法包括：

访问与用户的视场中的区域有关的区域数据；

分析所述区域数据以识别所述区域中的将要在其中显示虚拟内容的子区域；

部分地基于所述区域数据和子区域数据访问或生成虚拟内容；以及

显示所述虚拟内容，使得当由所述用户观看时，所述虚拟内容看起来被设置在所述区域的所述子区域中或所述子区域上。

31.一种用于与虚拟内容交互的方法，所述方法包括：

访问或生成虚拟内容；

在用户的视场中显示所述虚拟内容；

显示与所述虚拟内容相关联的虚拟用户界面；

接收用户输入；

将所述用户输入与所述虚拟用户界面的用户输入特征的关联功能相关联；以及

执行所述功能。

32.一种在增强现实环境中显示信息的方法，所述方法包括：

确定用户的位置；

识别所述用户的视场中的物理对象；

至少部分地基于所述位置或所识别的物理对象访问或生成与所识别的物理对象有关的信息；

基于所述信息生成虚拟内容；以及

显示所述虚拟内容，使得所述信息对于所述用户看起来与所述物理对象相关联。

33.一种用于与三维(3D)空间中的虚拟对象交互的系统，所述系统包括：

增强现实显示器，用于显示多个可交互对象；

用户输入设备；

一个或多个传感器，其被配置为确定用户的姿势；

一个或多个处理器，其中所述一个或多个处理器被配置为在用于选择虚拟对象的第一用户输入模式和第二用户输入模式之间切换，所述第一用户输入模式至少部分地基于所述用户的所述姿势，所述第二用户输入模式至少部分地基于来自所述用户输入设备的信号，并且所述一个或多个处理器进一步被配置为：

当所述系统在所述第一用户输入模式中操作时：

监控所述用户的所述姿势；

至少部分地基于所监控的姿势在与所述用户的所述姿势有关的方向中显示与所述第一用户输入模式相关联的第一焦点指示符；

接收切换到所述第二用户输入模式的指示，其中所述指示进一步指示对目标可交互对象的选择；以及

当所述系统在第二用户输入模式中操作时：监控来自所述用户输入设备的用户输入；以及至少部分地基于所监控的用户输入来显示与所述第二用户输入模式相关联的第二焦点指示符。

34.一种用于选择位于三维(3D)空间中的可交互对象的方法，所述方法包括：

在包括计算机硬件的增强现实(AR)系统的控制下，所述AR系统被配置为允许用户与用户的关注场(FOR)中的可交互对象进行交互，所述FOR包括能够经由所述AR系统被用户感知的用户周围的环境的一部分，所述AR系统进一步包括用户输入设备：

确定与所述用户的所述FOR中的虚拟对象相关联的一组可交互对象；

确定所述用户的姿势；

至少部分地基于所述用户的所述姿势从所述一组可交互对象中确定目标可交互对象；

将焦点指示符关联到所选目标可交互对象；以及

至少部分地基于所述用户输入设备的输入在所选目标表面上发起选择事件。

35.一种用于与三维(3D)环境中的虚拟对象交互的方法，所述方法包括：

在包括计算机硬件的增强现实(AR)系统的控制下，所述AR系统被配置为允许用户与用户的关注场(FOR)中的可交互对象进行交互，所述FOR包括能够经由所述AR系统由所述用户感知的用户周围的环境的一部分，所述AR系统进一步包括用户输入设备：

确定所述用户的姿势；

在与所述用户的所述姿势有关的方向中显示与目标可交互对象相关联的第一焦点指示符，其中所述目标可交互对象包括多个虚拟对象；

接收对所述目标可交互对象的选择；

显示所述多个虚拟对象；

显示与目标虚拟对象相关联的第二焦点指示符；以及

至少部分地基于来自所述用户输入设备的输入来更新所述第二焦点指示符。

36.一种用于与三维(3D)空间中的虚拟对象交互的方法，所述方法包括：

在包括计算机硬件的增强现实(AR)系统的控制下，所述AR系统被配置为允许用户与用户的关注场(FOR)中的可交互对象进行交互，所述FOR包括能够经由所述AR系统由所述用户感知的用户周围的环境的一部分，所述AR系统进一步包括用户输入设备：

当所述AR系统在第一用户输入模式中操作时，其中所述第一用户输入模式至少部分地基于所述用户的姿势：

监控所述用户的所述姿势；

至少部分地基于所监控的姿势，在与所述用户的所述姿势有关的方向中显示与所述第一用户输入模式相关联的第一焦点指示符；以及

接收切换到第二用户输入模式的指示，其中所述指示进一步指示对目标可交互对象的选择；以及

当所述AR系统在所述第二用户输入模式中操作时，其中所述第二用户输入模式至少部分地基于来自所述用户输入设备的信号：

监控来自所述用户输入设备的用户输入；以及

至少部分地基于所监控的用户输入来显示与所述第二用户输入模式相关联的第二焦点指示符。

Images