CN115185366A - 用户界面菜单的情景感知 - Google Patents

Abstract

公开了可穿戴系统用来自动选择或筛选可用用户界面交互或虚拟对象的系统和方法的示例。可穿戴系统可以基于与用户、用户的环境，用户的环境中的物理对象或虚拟对象、或用户的生理状态或心理状态相关联的情景信息选择虚拟对象组以进行用户交互。

Description

用户界面菜单的情景感知

本申请是申请号为201780044955.9的中国专利申请的分案申请，原申请的申请日为2017年05月18日，优先权日为2016年05月20日，进入中国国家阶段的日期为2019年01月18日，发明名称为“用户界面菜单的情景感知”。

相关申请的交叉引用

本申请根据35U.S.C.§119(e)主张2016年5月20日提交的序列号为62/339,572的，名称为“CONTEXTUAL AWARENESS OF USER INTERFACE MENUS(用户界面菜单的情景感知)”的美国临时申请和2016年8月29日提交的序列号为62/380,869的，名称为“AUGMENTEDCOGNITION USER INTERFACE(增强认知用户界面)”的美国临时申请的优先权益，这些申请公开的全部内容在此通过引用并入此文。

技术领域

本公开涉及虚拟现实和增强现实成像和可视化系统，更具体地，涉及基于情景信息呈现和选择虚拟对象。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统开发，其中数字再现图像或其一部分以看起来是真实的或可以被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及呈现以对其它实际的真实世界视觉输入不透明的方式呈现数字或虚拟图像信息；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为对用户周围真实世界的可视化的增强。混合现实或“MR”涉及合并真实和虚拟世界以产生物理对象和虚拟对象共存并且实时交互的新环境。事实证明，人类视觉感知系统非常复杂，而且，开发促进虚拟图像元素在其它虚拟或真实世界图像元素当中舒适、感觉自然、丰富呈现的VR、AR或MR技术非常具有挑战性。本文公开的系统和方法解决了与VR、AR或MR技术相关的各种挑战。

发明内容

在一个实施例中，公开了一种用于在用户的三维(3D)环境中生成虚拟内容的可穿戴系统。该可穿戴系统可以包括增强现实显示器，该增强现实显示器被配置为在3D视图中向用户呈现虚拟内容；姿势传感器，该姿势传感器被配置为获取用户的位置或取向数据，并分析该位置或取向数据以识别该用户的姿势；硬件处理器，该硬件处理器被配置为与姿势传感器和显示器通信。该硬件处理器可以被编程为：至少部分地基于该用户的姿势识别3D环境中的用户的环境中的物理对象；接收用于启动与物理对象进行交互的指示；识别与物理对象相关联的用户的环境中的虚拟对象集；确定与物理对象相关联的情景信息；基于情景信息筛选虚拟对象集以从该虚拟对象集中识别虚拟对象子集；生成包括虚拟对象子集的虚拟菜单；至少部分地基于所确定的情景信息来确定用于呈现虚拟菜单的3D环境中的空间位置；以及通过增强现实显示器在空间位置处呈现虚拟菜单。

在另一实施例中，公开了一种用于在用户的三维(3D)环境中生成虚拟内容的方法。该方法可以包括分析从姿势传感器获取的数据以识别用户的姿势；至少部分地基于该姿势识别用户的3D环境中的可交互对象；接收用于启动与可交互对象的进行交互的指示；确定与可交互对象相关联的情景信息；基于情景信息从可交互对象上的可用用户界面操作集中选择用户界面操作子集；以及生成用于在3D视图中向用户呈现用户界面操作子集的指令。

在附图和以下描述中阐述了本说明书中描述的主题的一个或多个实施方式的细节。通过阅读说明书、附图和权利要求，其它特征、方面和优点将变得显而易见。本发明内容和以下具体实施方式并非旨在限定或限制本发明主题的范围。

附图说明

图1示出了具有由人观看到的某些虚拟现实对象和某些物理对象的混合现实场景的图示。

图2示意性地示出了可穿戴系统的示例。

图3示意性地示出了使用多个深度平面模拟三维图像的方法的各方面。

图4示意性地示出了用于将图像信息输出给用户的波导堆叠的示例。

图5示出了可以由波导输出的示例出射光束。

图6是示出光学系统的示意图，该光学系统包括波导装置、光学耦合器子系统，其用于将光光学耦合到波导装置或从波导装置光学耦合光，以及控制子系统，其用于产生多焦点体积显示器、图像或光场。

图7是可穿戴系统的示例的框图。

图8是呈现与所识别的对象有关的虚拟内容的方法的示例的过程流程图。

图9是可穿戴系统的另一示例的框图。

图10是用于确定可穿戴系统的用户输入的方法的示例的过程流程图。

图11是用于与虚拟用户界面交互的方法的示例的过程流程图。

图12示出了用户在办公室环境中与虚拟用户界面进行交互的示例。

图13和图14示出了用户在起居室环境中与虚拟用户界面进行交互的示例。

图15示出了用户在卧室环境中与虚拟用户界面进行交互的示例。

图16是用于基于情景信息生成虚拟菜单的示例方法的流程图。

图17是用于至少部分地基于用户的生理状态和/或心理状态选择虚拟内容的示例方法的流程图。

贯穿附图，可以重复使用参考标号来指示被引用元件之间的对应关系。提供附图是为了说明本文描述的示例实施例，并且并非旨在限制本公开的范围。此外，本公开中的附图用于说明目的，并非按比例绘制。

具体实施方式

概述

现代计算机界面支持广泛的功能。然而，用户可能面临着多个选项，不能快速识别感兴趣的对象。在AR/VR/MR环境中，由于当通过可穿戴设备的AR/VR/MR显示器感知时的用户视场(FOV)可能小于用户正常FOV，因此提供相关的虚拟对象集比常规计算环境更具挑战性。

本文描述的可穿戴系统可以通过分析用户环境并在用户界面上提供更小且更相关的功能子集来改善该问题。可穿戴系统可以基于情景信息(例如，用户环境或用户环境中的对象)提供该功能子集。可穿戴系统可以识别物理对象(例如，桌子和墙壁)以及它们与环境的关系。例如，可穿戴系统可以识别杯子应该放在桌子上(而不是墙壁上)，并且画应该放在垂直的墙壁上(而不是桌子上)。基于这种关系，可穿戴系统可以将虚拟杯子投射在用户房间的桌子上，将虚拟画投射在垂直的墙壁上。

除了对象与其环境之间的关系之外，诸如对象的取向(例如，水平或垂直)，还可以使用诸如对象的取向(例如，水平或垂直)、用户环境的特性以及先前的使用模式(诸如时间、位置等)之类的其它因素来确定可穿戴系统应显示哪些虚拟对象。用户环境的特性可以包括用户可以以相对安全和私密的方式(例如，在用户的家中或办公室中)与可穿戴设备进行交互的私人环境，还包括附近可能有其他人的公共环境(用户可能不希望其他人观看或无意中听到与设备进行的用户交互)。私人环境或公共环境之间的区分并不是排他的。例如，如果用户附近有许多人，则公园可以是公共环境，但如果只有用户一人或者附近没有其他人，则公园可以是私人环境。可以至少部分地基于附近人的数量、他们与用户的接近程度、他们与用户的关系(例如，他们是朋友、家人还是陌生人)等来做出区分。附加地或替换地，可穿戴系统可以识别与对象相关联的标签(例如基准标记)。标签可以包含有关应该针对与基准标记相关联的对象显示哪些虚拟对象(诸如虚拟菜单上的项目)的信息。

在一些实施例中，可穿戴系统还可包括各种生理传感器。这些传感器可以测量或估计用户的生理参数，诸如心率、呼吸率、皮肤电反应、血压、脑图状态等。这些传感器可以与面向内部的成像系统结合使用，以确定用户的眼睛运动和瞳孔扩张，眼睛运动和瞳孔扩张也可以反映用户的生理状态或心理状态。可穿戴系统可以分析由生理传感器或面向内部的成像系统获取的数据，以确定用户的心理状态，诸如情绪和兴趣。可穿戴系统可以使用用户的心理状态作为情景信息的一部分，并且至少部分地基于用户的心理状态呈现虚拟对象集。

可穿戴系统的3D显示示例

可穿戴系统(在此也被称为增强现实(AR)系统)可以被配置为向用户呈现2D或3D虚拟图像。图像可以是静止图像、视频帧或视频或其组合等。可穿戴系统可以包括可穿戴设备，可穿戴设备可以单独或组合地呈现VR、AR或MR环境以进行用户交互。可穿戴设备可以是头戴式设备(HMD)，头戴式设备可以被互换地用作AR设备(ARD)。可穿戴设备可以采取头盔、眼镜对、耳机或任何其它可穿戴配置的形式。

图1示出了具有由人观看到的某些虚拟现实对象和某些物理对象的混合现实场景的图示。在图1中，示出了MR场景100，其中MR技术的用户看到以人、树、背景中的建筑物、混凝土平台120为特征的真实世界的公园状设置110。除了这些项目之外，MR技术的用户还感知到他“看到”站在真实世界平台120上的机器人雕像130，以及看起来是大黄蜂的化身的正在飞舞的卡通式化身角色140，即使这些元素在真实世界中不存在。

为了使3D显示器产生真实的深度感，更具体地，产生模拟的表面深度感，可能需要显示器视场中的每个点生成与其虚拟深度的对应的调节响应。如果如通过会聚和立体视觉的双目深度线索所确定的，显示点的调节响应与该点的虚拟深度不对应，则人眼可能产生调节冲突，导致不稳定的成像，有害的眼睛疲劳、头痛，并且在缺乏调节信息的情况下，几乎完全缺乏表面深度。

VR、AR和MR体验可以由具有显示器的显示系统提供，在这些显示器中，与多个深度平面对应的图像被提供给观看者。对于每个深度平面，图像可以是不同的(例如，提供稍微不同的场景或对象呈现)，并且可以由观看者的眼睛单独聚焦，从而有助于基于将位于不同深度平面上的场景的不同图像特征聚焦所需的眼睛的调节，或者基于观察处于失焦状态的不同深度平面上的不同图像特征，为用户提供深度线索。如本文其它地方所讨论的，这种深度线索提供了可靠的深度感。

图2示出了可穿戴系统200的示例。可穿戴系统200包括显示器220，以及支持该显示器220的功能的各种机械和电子模块和系统。显示器220可以耦接到框架230，该框架可由显示系统用户、穿戴者或观看者210穿戴。显示器220可以被定位在用户210的眼前。显示器220可以向用户呈现AR/VR/MR内容。显示器220可以包括穿戴在用户头上的头戴式显示器(HMD)。在一些实施例中，扬声器240耦接到框架230并且被定位在用户的耳道附近(在一些实施例中，另一扬声器(未示出)被定位在用户的另一耳道附近以提供立体声/可塑形的声音控制)。

可穿戴系统200可包括面向外部的成像系统464(如图4所示)，该成像系统464观察用户周围环境中的世界。可穿戴系统200还可以包括面向内部的成像系统462(如图4所示)，该成像系统462可以跟踪用户的眼睛运动。面向内部的成像系统可以跟踪一只眼睛的运动或全部两只眼睛的运动。面向内部的成像系统462可以被附接到框架230并且可以与处理模块260或270电连接，处理模块260或270可以处理由面向内部的成像系统获取的图像信息以确定例如用户210的眼睛的瞳孔直径或取向、眼睛运动或眼睛姿势。

作为示例，可穿戴系统200可以使用面向外部的成像系统464或面向内部的成像系统462来获取用户姿势的图像。图像可以是静止图像、视频帧或视频或其组合等。

在一些实施例中，可穿戴系统200可包括一个或多个生理传感器232。这种传感器的示例包括被配置为执行眼科测试的传感器，诸如共聚焦显微镜传感器、眼震电图(ENG)传感器、眼电图(EOG)传感器、视网膜电图(ERG)传感器、激光多普勒血流计(LDF)传感器、光声成像和压力读数传感器、双光子激发显微镜传感器和/或超声传感器。传感器的其它示例包括被配置为执行其它电诊断技术的传感器，诸如心电图(ECG)传感器、脑电图(EEG)传感器、肌电图(EMG)传感器、电生理测试(EP)传感器、事件相关电位(ERP)传感器、功能性近红外光谱(fNIR)传感器、低分辨率脑电磁断层扫描(LORETA)传感器和/或光学相干断层扫描(OCT)传感器。传感器232的另外的示例包括生理传感器，诸如血糖传感器、血压传感器、皮肤电活动传感器、光电容积描记装备、用于辅助计算机听诊的传感装备、皮肤电反应传感器和/或体温传感器。传感器232还可以包括CO₂监测传感器、呼吸率传感器、气末(end-title)CO₂传感器和/或呼吸测醉器(breathalyzer)。

传感器232的示例被示意性地示出为连接到框架230。该连接可以采取物理附接到框架230的形式，并且可以附接到框架230上的任何位置。作为示例，传感器232可以被安装在框架230上，以便设置在用户的太阳穴附近或设置在框架230与用户鼻子之间的接触点处。作为另一示例，传感器232可以被设置在延伸到用户耳朵上方的框架230的部分处。在一些其它实施例中，传感器232可以远离框架230延伸以接触用户210。例如，传感器232可以接触用户身体的一部分(例如，用户的手臂)并且经由有线连接连接到框架230。在其它实施例中，传感器232可以不被物理地附接到框架230；相反，传感器232可以经由无线连接与可穿戴系统200通信。在一些实施例中，可穿戴系统200可以具有头盔的形式，并且传感器232可以朝向用户头顶或侧面设置。

在一些实施方式中，传感器232直接测量被可穿戴系统用作情景信息的生理参数。例如，心率传感器可以直接测量用户的心率。在其它实施方式中，传感器232(或传感器组)可以进行用于估计另一生理参数的测量。例如，可以将压力估计为心率测量和皮肤电反应测量的组合。可以将统计技术应用于传感器数据以估计生理(或心理)状态。作为示例，可以使用机器学习技术(例如，决策树、神经网络、支持向量机、贝叶斯(Bayesian)技术)来组合传感器数据以估计用户的状态。状态估计可以提供二元状态(例如，紧张或基准(baseline))、多元状态(例如，紧张、基准或放松)，或概率测量(例如，用户紧张的概率)。生理状态或心理状态可以反映用户的任何情绪状态，例如：焦虑、压力、愤怒、感动、厌倦、绝望或抑郁、快乐、悲伤、孤独、震惊或惊讶等。

显示器220可以诸如通过有线引线或无线连接可操作地将250耦接到本地数据处理模块260，本地数据处理模块260可以以各种配置安装，诸如固定地附接到框架230，固定地附接到用户戴的头盔或帽子，嵌入耳机中，或以其它方式可移除地附接到用户210(例如，采取背包式配置，采取束带连接式配置)。

本地处理和数据模块260可以包括硬件处理器，以及数字存储器，诸如非易失性存储器(例如，闪存)，这两者都可被用于辅助处理、缓存和数据存储。这些数据可以包括a)通过传感器(其例如可以被可操作地耦接到框架230或以其它方式附接到用户210)捕获的数据，这些传感器诸如图像捕获设备(例如，面向内部的成像系统或面向外部的成像系统中的相机)、麦克风、惯性测量单元(IMU)、加速度计、指南针、全球定位系统(GPS)单元、无线电设备或陀螺仪；或b)使用远程处理模块270或远程数据存储库280获取或处理的数据，这些数据可以在被执行完上述处理或检索之后传送到显示器220。本地处理和数据模块260可以通过通信链路262或264(诸如经由有线或无线通信链路)可操作地连接到远程处理模块270和远程数据存储库280，使得这些远程模块可用作本地处理和数据模块260的资源。此外，远程处理模块280和远程数据存储库280可以被可操作地彼此耦接。

在一些实施例中，远程处理模块270可以包括被配置为分析和处理数据和/或图像信息的一个或多个硬件处理器。在一些实施例中，远程数据存储库280可以包括数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其它网络配置获得。在一些实施例中，在本地处理和数据模块中存储全部数据并执行全部计算，允许来自远程模块的完全自主地使用。

人类视觉系统是复杂的，提供逼真的深度感具有挑战性。不受理论的限制，可以认为对象的观看者可能由于聚散度和调节的组合而将对象感知为“三维的”。两只眼睛相对于彼此的聚散度动作(即，瞳孔彼此靠近或远离以使眼睛的视线会聚固定在对象上的转动动作)与眼睛晶状体的聚焦(或“调节”)密切相关。在正常情况下，根据被称为“调节-聚散度反射”的关系，更改眼睛晶状体的焦点或调节眼睛以将焦点从一个对象转移到不同距离处的另一对象将自动导致到与同一距离匹配的聚散度变化。在调节与聚散度之间提供更好匹配的显示系统可以形成更逼真和舒适的三维图像模拟。

图3示出了使用多个深度平面模拟三维图像的方法的各方面。参考图3，z轴上距眼睛302和304不同距离处的对象由眼睛302和304调节，以使这些对象对焦。眼睛302和304呈现特定的调节状态，以使沿z轴上不同距离处的对象对焦。因此，可以认为特定的调节状态与深度平面306中的特定一者相关联，具有相关联的焦距，使得当眼睛针对特定深度平面处于调节状态时，该特定深度平面中的对象或其部分对焦。在一些实施例中，可以通过为每只眼睛302和304提供图像的不同呈现，并且还通过提供与每个深度平面对应的图像的不同呈现来模拟三维图像。尽管为了清楚地说明而示出为是分开的，但是应当理解，例如在沿z轴的距离增加时，眼睛302和304的视场可以重叠。此外，尽管为了便于说明而示出为平坦的，但是应当理解，深度平面的轮廓可以在物理空间中弯曲，使得深度平面中的所有特征在眼睛处于特定调节状态时对焦。不受理论的限制，可以认为人眼通常可以解释有限数量的深度平面以提供深度感。因此，可以通过向眼睛提供与这些有限数量的深度平面中的每一者对应的图像的不同呈现来实现高度可信的感知深度模拟。

波导堆叠组件

图4示出了用于将图像信息输出给用户的波导堆叠的示例。可穿戴系统400包括波导的堆叠或堆叠的波导组件480，该组件可被用于使用多个波导432b、434b、436b、438b、4400b向眼睛/大脑提供三维感知。在一些实施例中，可穿戴系统400可以与图2的可穿戴系统200对应，图4更详细地示意性地示出了该可穿戴系统200的一些部分。例如，在一些实施例中，波导组件480可以被集成到图2的显示器220中。

继续参考图4，波导组件480还可以包括位于波导之间的多个特征458、456、454、452。在一些实施例中，特征458、456、454、452可以是透镜。在其它实施例中，特征458、456、454、452可以不是透镜。相反，它们仅是间隔物(例如，用于形成气隙的包层和/或结构)。

波导432b、434b、436b、438b、440b和/或多个透镜458、456、454、452可以被配置为以各种水平的波前曲率或光线发散度向眼睛发送图像信息。每个波导水平可以与特定深度平面相关联，并且可以被配置为输出与该深度平面对应的图像信息。图像注入设备420、422、424、426、428可被用于将图像信息注入波导440b、438b、436b、434b、432b中，这些波导中的每个波导可以被配置将入射光分布在每个相应的波导上以便朝着眼睛410输出。光从图像注入设备420、422、424、426、428的输出表面射出，并且被注入波导440b、438b、436b、434b、432b的对应的输入边缘。在一些实施例中，可以将单个光束(例如，准直光束)注入每个波导，以输出整个克隆的准直光束场，这些准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)导向眼睛410。

在一些实施例中，图像注入设备420、422、424、426、428是分立的显示器，每个显示器产生用于分别注入到对应波导440b、438b、436b、434b、432b的图像信息。在一些其它实施例中，图像注入设备420、422、424、426、428是单个多路复用显示器的输出端，这些显示器例如可以经由一个或多个光学导管(例如，光纤光缆)将图像信息管道传输到图像注入设备420、422、424、426、428中的每一者。

控制器460控制堆叠波导组件480和图像注入设备420、422、424、426、428的操作。控制器460包括编程(例如，非暂时性计算机可读介质中的指令)，该编程调节图像信息到波导440b、438b、436b、434b、432b的定时和提供。在一些实施例中，控制器460可以是单个集成设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器460可以是处理模块260或270(如图2所示)的一部分。

波导440b、438b、436b、434b、432b可以被配置为通过全内反射(TIR)在每个相应的波导内传播光。波导440b、438b、436b、434b、432b可以各自是平面的或具有另一形状(例如，弯曲的)，其具有主要的顶部主表面和底部主表面以及在这些顶部主表面与底部主表面之间延伸的边缘。在所示的配置中，波导440b、438b、436b、434b、432b可各自包括光提取光学元件440a、438a、436a、434a、432a，这些元件被配置为通过将在每个相应的波导内传播的光重定向到波导之外来从波导中提取光，从而向眼睛410输出图像信息。所提取的光也可以被称为耦出光，并且光提取光学元件也可以被称为耦出光学元件。在波导内传播的光照射光重定向元件所在的位置处，可以由波导输出所提取的光束。光提取光学元件(440a、438a、436a、434a、432a)例如可以是反射或衍射光学特征。尽管为了便于描述和作图清晰，光提取光学元件440a、438a、436a、434a、432a被示出为设置在波导440b、438b、436b、434b、432b的底部主表面处，但是在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以被设置在顶部主表面或底部主表面，和/或可以直接被设置在波导440b、438b、436b、434b、432b的体中。在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以被附接到透明衬底，以在波导440b、438b、436b、434b、432b的材料层中形成。在一些其它实施例中，波导440b、438b、436b、434b、432b可以是整块材料，并且光提取光学元件440a、438a、436a、434a、432a可以形成在该块材料的表面上和/或内部。

继续参考图4，如本文所讨论的，每个波导440b、438b、436b、434b、432b被配置为输出光，以形成与特定深度平面对应的图像。例如，最靠近眼睛的波导432b可以被配置为将注入这种波导432b的准直光传送到眼睛410。准直光可以代表光学无限远焦平面。下一上行波导434b可以被配置为发出在到达眼睛410之前传输通过第一透镜452(例如，负透镜)的准直光；第一透镜452可以被配置为产生微凸的波前曲率，使得眼睛/大脑将来自下一上行波导434b的光解释为来自从光学无限远向内更接近眼睛410的第一焦平面的光。类似地，第三上行波导436b使其输出光在到达眼睛410之前传输通过第一透镜452和第二透镜454。第一透镜452和第二透镜454的组合光焦度(optical power)可以被配置为产生另一波前曲率增量，使得眼睛/大脑将来自第三波导436b的光解释为来自从光学无限远向内进一步更靠近人的第二焦平面的光，而不是来自下一上行波导434b的光。

其它波导层(例如，波导438b、440b)和透镜(例如，透镜456、458)被类似地配置，其中堆叠中的最高波导440b通过其与眼睛之间的所有透镜发送其输出，以获得代表与人最接近的焦平面的总光焦度。为了在观察/解释来自堆叠波导组件480的另一侧上的世界470的光时，补偿透镜堆叠458、456、454、452，可以在堆叠的顶部设置补偿透镜层430，以补偿下面的透镜堆叠458、456、454、452的总光焦度。这种配置提供与可用的波导/透镜配对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面都可以是静态的(即，不是动态的或电活性的)。在一些替代实施例中，使用电活性特征，它们中的一者或两者均可以是动态的。

继续参考图4，光提取光学元件440a、438a、436a、434a、432a可以被配置为既将光重定向到它们相应的波导之外，又为与波导相关联的特定深度平面以适当的发散量或准直量输出该光。因此，具有不同相关深度平面的波导可以具有不同配置的光提取光学元件，这些元件根据关联深度平面以不同的发散量输出光。在一些实施例中，如本文所讨论的，光提取光学元件440a、438a、436a、434a、432a可以是体特征或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件440a、438a、436a、434a、432a可以是体全息图、表面全息图和/或衍射光栅。诸如衍射光栅之类的光提取光学元件在2015年6月25日公开的美国专利公开NO.2015/0178939中进行描述，此公开的全部内容通过引用并入本文。

在一些实施例中，光提取光学元件440a、438a、436a、434a、432a是形成衍射图案的衍射特征，或“衍射光学元件”(在本文中也被称为“DOE”)。优选地，DOE具有相对低的衍射效率，使得只有一部分光束借助DOE的每个交叉点朝着眼睛410偏转，而其余部分经由全内反射继续通过波导。因此，携带图像信息的光可以被分成多个相关的出射光束，这些出射光束在多个位置处从波导出射，并且针对在波导内四处弹跳的特定准直光束，结果是形成朝着眼睛304出射的相当均匀的图案。

在一些实施例中，一个或多个DOE可以在他们活跃地衍射的“开启”状态与不明显衍射的“关闭”状态之间切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中微滴包括在主体介质中的衍射图案，并且微滴的折射率可以被切换为基本匹配主体材料的折射率(在这种情况下，图案不会明显地衍射入射光)，或者微滴可以被切换为与主体介质的折射率失配的折射率(在这种情况下，图案活跃地衍射入射光)。

在一些实施例中，深度平面或景深的数量和分布可以基于观看者的眼睛的瞳孔大小或取向动态地改变。景深可以与观看者的瞳孔大小成反比地改变。因此，当观看者眼睛的瞳孔大小减小时，景深增加，使得由于该平面的位置超出眼睛的焦深而无法辨别的该平面可能随着瞳孔大小的减小和景深的相应增加相称而变得可辨别并且显得更对焦。。同样地，被用于向观看者呈现不同图像的间隔深度平面的数量可以随着瞳孔大小的减小而减小。例如，在不调整远离一个深度平面且靠近另一深度平面的眼睛的适应性的情况下，观看者可能无法以一个瞳孔大小清楚地感知第一深度平面和第二深度平面两者的细节。然而，在不改变适应的情况下，这两个深度平面可以以另一瞳孔大小同时充分地对焦于用户。

在一些实施例中，显示系统可以基于瞳孔大小或取向的确定，或基于接收指示特定瞳孔大小或取向的电信号，改变接收图像信息的波导的数量。例如，如果用户的眼睛不能区分与两个波导相关联的两个深度平面，则控制器460可以被配置为或被编程为停止向这些波导中的一者提供图像信息。有利地，这可以减轻系统的处理负担，从而增加系统的响应性。在用于波导的DOE可在打开和关闭状态之间切换的实施例中，当波导确实接收到图像信息时，DOE可以被切换到关闭状态。

在一些实施例中，可能需要使出射光束满足直径小于观看者眼睛直径的条件。然而，考虑到观看者瞳孔大小的变化，满足这种条件可能是具有挑战性的。在一些实施例中，通过响应于观看者瞳孔大小的确定而改变出射光束的尺寸，在宽范围的瞳孔大小上满足该条件。例如，随着瞳孔大小减小，出射光束的大小也可能减小。在一些实施例中，可以使用可变孔来改变出射光束大小。

可穿戴系统400可包括面向外部的成像系统464(例如，数字相机)，该成像系统对世界470的一部分进行成像。世界470的该部分可被称为世界相机的视场(FOV)。并且成像系统464有时被称为FOV相机。可观看者观看或成像的整个区域可被称为能视域(FOR)。因为，穿戴者可以移动其身体、头部或眼睛以感知空间中的基本任何方向，所以FOR可以包括围绕可穿戴系统400的4π弧度的立体角。在其它上下文中，穿戴者的动作可能更受限制，相应地，穿戴者的FOR可以对着更小的立体角。从面向外部的成像系统464获得的图像可被用于跟踪用户做出的手势(例如，手部或手指的姿势)，检测用户前面的世界470中的对象等。

可穿戴系统400还可以包括面向内部的成像系统466(例如，数字相机)，该成像系统观察用户的动作，诸如眼睛动作和面部动作。面向内部的成像系统466可被用于捕获眼睛410的图像，以确定眼睛304的瞳孔的大小和/或取向。面向内部的成像系统466可被用于获得用来确定用户的观看方向(例如，眼睛姿势)或用于用户的生物识别(例如，经由虹膜识别)的图像。在一些实施例中，至少一个相机可被用于每只眼睛，以单独地分开确定每只眼睛的瞳孔大小或眼睛姿势，从而从而允许动态的调整向每只眼睛呈现的图像信息以适应该眼睛。在一些其它实施例中，仅确定单只眼睛410的瞳孔直径或取向(例如，每对眼睛仅使用单个相机)，并且假设对于用户的双眼是相似的。可以分析由面向内部的成像系统466获得的图像，以确定用户眼睛姿势或心情，可穿戴系统400可以使用该确定来决定应该向用户呈现的音频或视觉内容。可穿戴系统400还可以使用诸如IMU、加速器计、陀螺仪之类的传感器确定头部姿势(例如，头部位置或头部取向)。

可穿戴系统400可以包括用户输入设备466，通过该设备用户可以向控制器460输入命令以与可穿戴系统400进行交互。例如，用户输入设备466可以包括触控板、触摸屏、操纵杆、多自由度(DOF)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向垫(D-pad)、手持操纵器、触觉设备、图腾(例如，用作虚拟用户输入设备)等。多DOF控制器可以感测控制器的部分或全部可能的平移(例如，左/右、前/后、或上/下)或旋转(例如，偏航、俯仰或翻滚)方面的用户输入。支持平移动作的多DOF控制器可以被称为3DOF，而支持平移和旋转的多DOF控制器可以被称为6DOF。在一些情况下，用户可以使用手指(例如，拇指)在触敏输入设备上按压或轻扫以向可穿戴系统400提供输入(例如，以将用户输入提供给由可穿戴系统400提供的用户界面)。用户输入设备466可以在使用可穿戴系统400期间由用户握持。用户输入设备466可以与可穿戴系统400进行有线或无线通信。

可穿戴系统400还可以包括生理传感器468(可以是图2中的传感器232的示例实施例)，该传感器被配置为测量用户生理参数，诸如心率、皮肤电反应、呼吸率等。生理传感器可以将所获取的数据传送给控制器460。由生理传感器获取的数据可以由控制器460单独使用或者与其它传感器获得的数据结合使用，以确定用户的生理状态和/或心理状态。例如，控制器460可以将由生理传感器468获取的心率数据与由面向内部的成像系统462获取的瞳孔扩张信息组合，以确定用户高兴还是生气。如下面进一步描述的，可穿戴系统可以基于用户的生理状态和/或心理状态选择性地向用户呈现虚拟内容。

图5示出了由波导输出的出射光束的示例。示出了一个波导，但可以理解，波导组件480中的其它波导可以类似地起作用，其中波导组件480包括多个波导。光520在波导432b的输入边缘432c处被注入波导432b中，并且通过TIR在波导432b内传播。在光520照射到DOE432a上的点处，该光的一部分从波导出射作为出射光束510。出射光束510被示出为基本上平行，但它们也可以被重定向为以一定角度(例如形成发散的出射光束)传播到眼睛410，该角度具体取决于与波导432b相关联的深度平面。可以理解，基本平行的出射光束可以指示具有光提取光学元件的波导，该光提取光学元件耦出光，以形成看上去被设置在距眼睛410的较远距离(例如，光学无限远)固定处的深度平面上的图像。其它波导或其它光提取光学元件组可以输出更加发散的出射光束图案，这需要眼睛410适应更近的距离以将其聚焦在视网膜上，并且将被大脑解释为来自比光学无限大更接近眼睛410的距离的光。

图6是示出光学系统的示意图，该光学系统包括波导装置，将光光学耦合到波导装置或从波导装置光学耦合出光的光学耦合器子系统，以及控制子系统，该控制子系统被用于生成多焦立体显示、图像或光场。该光学系统可以包括波导装置，将光光学耦合到波导装置或从波导装置光学耦合出光的光学耦合器子系统，以及控制子系统。该光学系统可被用于生成多焦立体显示、图像或光场。该光学系统可以包括一个或多个主平面波导632a(图6仅示出一个)以及与至少一些主波导632a中的每一者相关联的一个或多个DOE 632b。平面波导632b类似于参考图4讨论的波导432b、434b、436b、438b、440b。该光学系统可以采用分布波导装置，来沿着第一轴(图6中的纵轴或Y轴)中继光，并且沿着第一轴(例如，Y轴)扩展光的有效出射光瞳。分布波导装置例如可以包括分布平面波导622b和与分布平面波导622b相关联的至少一个DOE 622a(由双点划线示出)。分布平面波导622b至少在一些方面可以与主平面波导632b相似或相同，但是与其取向不同。类似地，至少一个DOE 622a可以至少在一些方面与DOE 632a相似或相同。例如，分布平面波导622b或DOE 622a可以分别由与主平面波导632b或DOE 632a相同的材料组成。图6所示的光学显示系统600的实施例可以被集成到图2所示的可穿戴系统200中。

中继的和出瞳扩展的光可以从分布波导装置光学耦合到一个或多个主平面波导632b中。主平面波导632b可以沿着优选地与第一轴正交的第二轴(例如，图6视图中的横轴或X轴)中继光。值得注意的是，第二轴可以是不与第一轴正交的轴。主平面波导632b沿着第二轴(例如，X轴)扩展光的有效出射光瞳。例如，分布平面波导622b可以沿着纵轴或Y轴中继和扩展光，并且将该光传递到主平面波导632b，该主平面波导632b沿着横轴或X轴中继和扩展光。

光学显示系统可以包括能够光学耦合到单模光纤640的近端中的一种或多种彩色光源(例如，红色、绿色和蓝色激光)610。光纤640的远端可以带有螺纹或被压电材料制成的中空管642接收。该远端作为非固定柔性悬臂644从管642突出。压电管642可以与四象限电极(未示出)相关联。例如，这些电极可以镀在管642的外侧、外表面或外周边或外径上。芯电极(未示出)也可以位于管642的核心、中心、内周边或内径中。

例如经由引线660电耦合的驱动电子器件650驱动相对的电极对以独立地在两个轴上弯曲压电管642。光纤644的突出的远端具有机械共振模式。共振频率可取决于光纤644的直径、长度和材料特性。通过在光纤悬臂632的第一机械共振模式附近振动压电管642，可以引起光纤悬臂644发生振动，并且可以扫过大的偏转。

通过激发两个轴的共振，光纤悬臂644的尖端在填充二维(2D)扫描的区域中被执行双轴扫描。通过与光纤悬臂644的扫描同步地调制一个或多个光源610的强度，从光纤悬臂644出射的光可以形成图像。在美国专利公开NO.2014/0003762中提供了这种设置的描述，该公开的全部内容通过引用并入本文。

光学耦合器子系统的部件可以对通过扫描光纤悬臂644出射的光进行准直。准直光可以由反射镜面648反射到包含至少一个衍射光学元件(DOE)622a的窄的分布平面波导622b中。准直光可以通过TIR沿分布平面波导622b竖直(相对于图6的视图)传播，并且在这样做时，与DOE 622a重复相交。DOE 622a优选具有低衍射效率。这可以导致在与DOE 622a的每个交点处，一部分光(例如10％)被朝向较大的主平面波导632b的边缘衍射，并且一部分光经由TIR沿着分布平面波导622b的长向下在其原始轨迹上继续。

在与DOE 622a的每个交点处，额外的光可以被朝向主波导632b的入口衍射。通过将入射光分成多个耦出集，光的出射光瞳可以由在分布平面波导622b中的DOE 4竖直扩展。从分布平面波导622b耦出的该竖直扩展光可以进入主平面波导632b的边缘。

进入主波导632b的光经由TIR沿着主波导632b水平传播(相对于图6的视图)。当光经由TIR沿着主波导632b长的至少部分水平传播时，光在多个点处与DOE 632a相交。DOE632a可以有利地被设计或配置为具有线性衍射图案和径向对称衍射图案的总和的相轮廓，以产生光的偏转和聚焦。DOE 632a可以有利地具有低的衍射效率(例如，10％)，使得只有部分光束在DOE 632a的每个交点处朝向观看的眼睛偏转，而其余的光继续经由TIR通过主波导632b传播。

在传播光和DOE 632a之间的每个交点处，部分光被朝向主波导632b的相邻面衍射，从而允许光逸出TIR，并且从主波导b32b的面出射。在一些实施例中，DOE 632a的径向对称衍射图案附加地赋予衍射光以聚焦水平，既成形单个光束的光波前(例如，赋予曲率)，又以与所设计的聚焦水平相匹配的角度转向光束。

因此，这些不同的路径可以通过处于不同角度、聚焦水平和/或在出瞳处产生不同填充图案的多个DOE 632a将光耦出主平面波导632b。出瞳处的不同填充图案可以被有利地用于创建具有多个深度平面的光场显示器。波导组件中的每一层或堆叠中的层集(例如3个层)可被用于生成相应的颜色(例如，红色、蓝色、绿色)。因此，例如，可以采用由三个相邻层构成的第一层集分别在第一焦深处生成红色、蓝色和绿色光。可以采用由三个相邻层构成的第二层集分别在第二焦深处生成红色、蓝色和绿色光。可以采用多个层集来生成具有各种焦深的全3D或4D彩色图像光场。

可穿戴系统的其它组件

在许多实施方式中，可穿戴系统可以包括其它部件，作为上述可穿戴系统的部件的补充或替代。可穿戴系统例如可以包括一个或多个触觉设备或部件。触觉设备或部件可通过操作向用户提供触感。例如，触觉设备或部件可以在接触虚拟内容(例如，虚拟对象、虚拟工具、其它虚拟构造)时提供压力或纹理的触感。触感可以复制虚拟对象所表示的物理对象的感觉，或者可以复制虚拟内容所表示的想象对象或角色(例如，龙)的感觉。在一些实施方式中，用户可穿戴触觉设备或部件(例如，用户可穿戴手套)。在一些实施方式中，触觉设备或部件可以由用户持有。

可穿戴系统例如可以包括一个或多个可由用户操纵以允许输入或与可穿戴系统交互的物理对象。这些物理对象在此可以被称为图腾。一些图腾可能采取无生命对象的形式，诸如金属片或塑料片、墙、桌面。在某些实施方式中，图腾实际上可能不具有任何物理输入结构(例如，键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以仅提供物理表面，并且可穿戴系统可以呈现用户界面，以使用户看起来在图腾的一个或多个表面上。例如，可穿戴系统可以使计算机键盘和触控板的图像呈现为看起来位于图腾的一个或多个表面上。例如，可穿戴系统可以使虚拟计算机键盘和虚拟触控板出现在用作图腾的矩形薄铝板的表面上。矩形板本身没有任何物理键或触控板或传感器。然而，当经由虚拟键盘或虚拟触控板做出选择或输入时，可穿戴系统可以通过该矩形板检测到用户操纵或交互或触摸。用户输入设备466(如图4所示)可以是图腾的实施例，图腾可以包括触控板、触摸板、触发器、操纵杆、轨迹球、摇杆或虚拟开关、鼠标、键盘、多自由度控制器或其它物理输入设备。用户可以单独或结合姿势使用图腾来与可穿戴系统或其他用户进行交互。

在美国专利公开NO.2015/0016777中描述了可用于本公开的可穿戴设备HMD和显示系统的触觉设备和图腾的示例，该专利的全部内容通过引用并入此文。

可穿戴系统、环境和接口示例

可穿戴系统可以采用各种与建图相关的技术，以便在呈现光场中实现高景深。在对虚拟世界进行建图时，了解真实世界中的所有特征和点以准确描绘与真实世界相关的虚拟对象是有利的。为此，通过包括传达有关真实世界的各种点和特征的信息的新画面，可以将从可穿戴系统的用户处捕获的FOV图像添加到世界模型中。例如，可穿戴系统可以收集建图点(例如2D点或3D点)集并找到新的建图点以呈现世界模型的更准确版本。可以将第一用户的世界模型(例如，通过诸如云网络之类的网络)传送给第二用户，使得第二用户可以体验第一用户周围的世界。

图7是MR环境700的示例的框图。MR环境700可以被配置为从一个或多个用户可穿戴系统(例如，可穿戴系统200或显示系统220)或固定房间系统(例如，房间相机等)接收输入(例如，来自用户的可穿戴系统的视觉输入702、诸如房间相机之类的固定输入704、来自各种传感器(手势、图腾、眼睛跟踪传感器)的传感器输入706、来自输入设备466的用户输入等)。可穿戴系统可以使用各种传感器(例如，加速度计、陀螺仪、温度传感器、运动传感器、深度传感器、GPS传感器、面向内部的成像系统、面向外部的成像系统等)来确定用户环境的位置和各种其它属性。该信息可以进一步通过来自房间中的固定相机的信息进行补充，这些相机可以从不同的视点提供图像或各种线索。由相机(诸如房间相机和/或面向外部的成像系统的相机)获取的图像数据可以被精简为建图点集。

一个或多个对象识别器708可以浏览所接收的数据(例如，点集)并且在地图数据库710的帮助下识别或绘制点，标记图像，将语义信息附加到对象。地图数据库710可包括在一段时间内收集的各种点及其对应的对象。各种设备和地图数据库可以通过网络(例如，LAN、WAN等)彼此连接以访问云。

基于该信息和地图数据库中的点集，对象识别器708a至708n可以识别环境中的对象。例如，对象识别器可以识别人脸、人、窗户、墙壁、用户输入设备、电视、用户环境中的其它对象等。一个或多个对象识别器可以专用于具有某些特性的对象。例如，对象识别器708a可被用于识别人脸，而另一对象识别器可被用于识别图腾。

可以使用各种计算机视觉技术来执行对象识别。例如，可穿戴系统可以分析由面向外部的成像系统464(如图4所示)获取的图像以执行场景重建、事件检测、视频跟踪、对象识别、对象姿势估计、学习、索引、运动估计或图像恢复等。可以使用一个或多个计算机视觉算法来执行这些任务。计算机视觉算法的非限制性示例包括：尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、定向FAST和旋转BRIEF(ORB)、二进制鲁棒不变可缩放关键点(BRISK)、快速视网膜关键点(FREAK)、维奥拉-琼斯(Viola-Jones)算法、特征脸(Eigenfaces)方法、卢卡斯-卡纳德(Lucas-Kanade)算法、霍恩-希尔科(Horn-Schunk)算法，均值漂移(Mean-shift)算法、视觉同步定位与建图(vSLAM)技术、连续贝叶斯估(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、光束法平差、自适应阈值转换法(和其它阈值技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(诸如，支持向量机、k最近邻算法、朴素贝叶斯(Naive Bayes)、神经网络(包括卷积或深度神经网络)或其它有监督/无监督模型等)等。

附加地或替代地，对象识别可以通过各种机器学习算法来执行。一旦经过训练，机器学习算法就可以由HMD存储。机器学习算法的一些示例可以包括有监督或无监督机器学习算法，包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习向量量化)、决策树算法(例如，分类和回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k均值聚类)、关联规则学习算法(例如，先验算法)、人工神经网络算法(例如，感知器)、深度学习算法(例如，深度玻尔茨曼机(Boltzmann Machine)或深度神经网络)、降维算法(例如，主成分分析)、集合算法(例如，堆栈泛化)和/或其它机器学习算法。在一些实施例中，可以针对各个数据集定制各个模型。例如，可穿戴设备可以生成或存储基础模型。基本模型可以被用作生成特定于数据类型(例如，远端临场会话中的特定用户)、数据集(例如，在远端临场会话中从用户处获得的附加图像集)、条件情况或其它变化的其它模型的起点。在一些实施例中，可穿戴HMD可以被配置为利用多种技术来生成用于分析聚合数据的模型。其它技术可包括使用预定阈值或数据值。

基于该信息和地图数据库中的点集，对象识别器708a至708n可以识别对象并用语义信息补充对象以赋予对象生命。例如，如果对象识别器将一点集识别为门，则系统可以附加一些语义信息(例如，门具有铰链并且具有围绕铰链的90度移动)。如果对象识别器将一点集识别为镜子，则系统可以附加该镜子具有关该镜像具有可以可以照出房间中对象的图像的反射表面的语义信息。随着时间的推移，当系统(可以驻留在本地或可以通过无线网络访问)累积来自世界的更多数据时，地图数据库也随之增长。一旦识别出对象，就可以将信息发送到一个或多个可穿戴系统。例如，MR环境700可以包括有关在加利福尼亚发生的场景的信息。可以将环境700发送给纽约的一个或多个用户。基于从FOV相机接收的数据和其它输入，对象识别器和其它软件部件可以对从各种图像收集的点进行建图，识别对象等，使得场景可以被准确地“传递”给可能位于世界的另一部分的第二用户。环境700还可以使用用于本地化目的的拓扑地图。

图8是呈现与所识别的对象相关的虚拟内容的方法800的示例的过程流程图。方法800描述了如何将虚拟场景表示给可穿戴系统的用户。用户可能在地理上远离场景。例如，用户可能是纽约，但可能想要观看当前正在加利福尼亚州发生的场景，或者可能想要与居住在加利福尼亚的朋友一起散步。

在框810处，可穿戴系统可以从用户和其他用户接收有关用户的环境的输入。这可以通过各种输入设备和在地图数据库中已经具有的知识来实现。在框810处，用户的FOV相机、传感器、GPS、眼睛跟踪等将信息传送到系统。在框820处，系统可以基于该信息确定稀疏点。稀疏点可被用于确定姿势数据(例如，头部姿势、眼睛姿势、身体姿势或手势)，这些数据可被用于显示和理解用户周围环境中各种对象的取向和位置。在框830处，对象识别器708a至708n可以浏览这些收集点并使用地图数据库来识别一个或多个对象。然后，在框840处，可以将该信息传送到用户的个人可穿戴系统，并且在框850处，可以相应地向用户显示所需虚拟场景。例如，可以相对于纽约的用户的各种对象和其它环境以适当的取向、位置等显示所需虚拟场景(例如，位于CA的用户)。

图9是可穿戴系统的另一示例的框图。在该示例中，可穿戴系统900包括地图，该地图可以包括世界的地图数据。该地图可以部分地驻留在可穿戴系统本地，可以部分地驻留在可由有线或无线网络(例如，在云系统中)访问的网络存储位置。姿势处理910可以在可穿戴计算架构(例如，处理模块260或控制器460)上执行，并利用来自地图的数据确定可穿戴计算硬件或用户的位置和取向。可以根据当用户正在体验系统并在世界中操作时收集的数据来计算姿势数据。该数据可以包括图像、来自传感器(例如惯性测量单元、其通常包括加速度计和陀螺仪部件)的数据和与真实或虚拟环境中的对象相关的表面信息。

稀疏点表示可以是同步定位与建图(SLAM或V-SLAM，指示其中输入只是图像/视觉的配置)过程的输出。该系统可以被配置为不仅找出各种部件在世界上的位置，而且还要找出世界是由什么构成的。姿势可以是实现许多目标的构建块，包括填充地图和使用来自地图的数据。

在一个实施例中，稀疏点位置本身可能不完全足够，并且可能需要进一步的信息来产生多焦点AR、VR或MR体验。可以使用通常参考深度图信息的密集表示来至少部分地填充该间隙。可以根据被称为双声道的处理940计算这样的信息，其中使用诸如三角测量或飞行时间感测之类的技术来确定深度信息。图像信息和主动图案(诸如使用主动投影仪创建的红外图案)可以用作双声道处理940的输入。可以将大量深度图信息融合在一起，并且可以用表面表示来概括其中的一些。例如，数学上可定义的表面是类似游戏引擎的其它处理设备的有效(例如，相对于大点云)且可理解的输入。因此，双声道处理(例如，深度图)940的输出可以通过融合处理930组合。姿势也可以是该融合处理930的输入，并且融合930的输出变为填充建图处理920的输入。子表面可以彼此连接(例如在地形图中)以形成更大的表面，并且该地图成为点和表面的大混合体。

为了解决混合现实处理960中的各个方面，可以使用各种输入。例如，在图9所示的实施例中，可以输入游戏参数以确定系统的用户正在玩打怪兽游戏，其中一个或多个怪物位于各个位置，怪物在各种条件下死亡或逃跑(例如如果用户射杀怪物)，墙壁或其它对象位于各个位置等等。世界地图可以包括有关这些对象相对于彼此的位置信息，作为混合现实的另一有价值的输入。相对于世界的姿势也成为一种输入，并且几乎对任何交互系统起着关键作用。

来自用户的控制或输入是可穿戴系统900的另一输入。如本文所述，用户输入可包括视觉输入、手势、图腾、音频输入、感官输入(诸如由图2中的传感器232获取的生理数据)等。为了四处走动或玩游戏，例如用户可能需要指示可穿戴系统900关于他或她想做的事。除了在太空中移动自己之外，可以使用各种形式的用户控制。在一个实施例中，图腾(例如，用户输入设备)或诸如玩具枪之类的对象可由用户握持并由系统跟踪。该系统优选地被配置为知道用户正在握住物品并且了解用户与物品进行何种交互(例如，如果图腾或对象是枪，则系统可以被配置为了解位置和取向，以及用户是否正在点击触发器或其它可能配备有传感器的按钮或元件，诸如IMU，其可以有助于确定正在发生的事情，即使这样的活动不在任何相机的视场内)。

手势跟踪或识别还可以提供输入信息。可穿戴系统900可以被配置为跟踪和解释按钮按压的手势，指示向左或向右、停止、抓取、握持等的手势。例如，在一种配置中，用户可能想要在非游戏环境中翻阅电子邮件或日历，或与其它人或玩家“碰拳”。可穿戴系统900可以被配置为利用最小量的手势，手势可以是动态的，也可以不是动态的。例如，手势可以是简单的静态手势，例如张开手部表示停止，拇指向上表示完美，拇指向下表示不完美；或者左右或上下翻转手来做出方向命令。

眼睛跟踪是另一输入(例如，跟踪用户正注视的位置来控制显示技术以在特定深度或范围进行呈现)。在一个实施例中，可以使用三角测量来确定眼睛的聚散度，然后使用为该特定人物开发的聚散度/调节模型，可以确定调节。

用户还可以使用图腾来向可穿戴系统提供输入。可穿戴系统可以跟踪图腾的移动、位置或取向，以及用户对图腾的致动(例如按下图腾的按键、按钮或触摸表面)以确定混合现实过程960中的用户界面交互。

在某些实施方式中，可穿戴系统还可以在混合现实过程960中使用用户的生理数据。生理数据可以由传感器232(其可以包括生理传感器468)获取。可穿戴系统可以基于生理数据的分析来确定待呈现的内容。例如，当可穿戴系统在用户正在玩游戏时确定用户生气时(例如，由于心率增加、血压变化等)，可穿戴系统可以自动降低游戏难度以维持用户参与游戏。

关于相机系统，图9所示的示例可穿戴系统990可包括三个相机对：相对宽FOV相机对或无源SLAM相机对，其被布置在用户面部的侧面；另外的一对相机对，其被定位在用户前方以处理双声道成像处理940，并且还捕获用户面前的手势和图腾/对象跟踪。FOV相机和用于双声道成像处理940的相机对可以是面向外部的成像系统464的一部分(如图4所示)。可穿戴系统900可以包括眼睛跟踪相机(其可以是图4所示的面向内部的成像系统462的一部分)，其被朝向用户的眼睛定位，以便对眼睛向量和其它信息进行三角测量。可穿戴系统900还可以包括一个或多个纹理光投影仪(例如红外(IR)投影仪)以将纹理注入场景。

图10是用于确定可穿戴系统的用户输入的方法1000的示例的过程流程图。在该示例中，用户可以与图腾交互。用户可能有多个图腾。例如，用户可能已经指定了用于社交媒体应用的图腾，用于玩游戏的另一图腾等。在框1010处，可穿戴系统可以检测图腾的动作。图腾的动作可以通过面向外部的系统识别，或者可以通过传感器(例如，触觉手套、图像传感器、手部跟踪设备、眼睛跟踪相机、头部姿势传感器等)来检测。

在框1020处，至少部分地基于检测到的手势、眼睛姿势、头部姿势或通过图腾的输入，可穿戴系统检测图腾相对于参考帧的位置、取向和/或动作(或用户的眼睛姿势或头部姿势或手势)。参考帧可以是建图点集，可穿戴系统基于该建图点集将图腾(或用户)的动作转换为动作或命令。在框1030处，对用户与图腾的交互进行建图。在框1040处，基于相对于参考帧1020的对用户交互的绘制，系统确定用户输入。

例如，用户可以前后移动图腾或实体对象以表示翻虚拟页面并移到下一页或者从一个用户界面(UI)显示屏幕移到另一UI屏幕。作为另一示例，用户可移动他们的头部或眼睛以观看用户的FOR中的不同真实或虚拟对象。如果用户注视特定真实或虚拟对象的时间长于阈值时间，则可以将选择该真实或虚拟对象作为用户输入。在一些实施方式中，可以跟踪用户眼睛的聚散度，并且可以使用调节/聚散度模型来确定用户眼睛的调节状态，该调节状态提供有关用户正聚焦在深度平面的信息。在一些实施方式中，可穿戴系统可以使用射线投射技术来确定哪些真实或虚拟对象沿着用户的头部姿势或眼睛姿势的方向。在各种实施方式中，射线投射技术可包括投射具有基本上很小的横向宽度的窄的射线束或具有大横向宽度(例如，锥体或平截头体)的投射射线。

用户界面可以由本文所述的显示系统(诸如图2中的显示器220)投射。它还可以使用各种其它技术显示，诸如一个或多个投影仪。投影仪可以将图像投射到诸如画布或地球仪之类的物理对象上。可以使用系统外部的或作为系统一部分的一个或多个相机(例如，使用面向内部的成像系统462或面向外部的成像系统464)来跟踪与用户界面的交互。

图11是用于与虚拟用户界面交互的方法1100的示例的过程流程图。方法1100可以由本文描述的可穿戴系统执行。

在框1110处，可穿戴系统可识别特定UI。UI的类型可以由用户预先确定。可穿戴系统可以基于用户输入(例如，手势、视觉数据、音频数据、传感数据、直接命令等)识别需要来填充特定UI。在框1120处，可穿戴系统可以生成用于虚拟UI的数据。例如，可以生成与UI的限制、一般结构、形状等相关联的数据。另外，可穿戴系统可以确定用户的物理位置的地图坐标，使得可穿戴系统可以显示与用户的物理位置相对的UI。例如，如果UI以身体为中心，则可穿戴系统可以确定用户的身体姿势、头部姿势或眼睛姿势的坐标，使得可以在用户周围显示环形UI，或者可以在墙壁上或在用户前方显示平面UI。如果UI以手为中心，则可以确定用户的手部的地图坐标。这些建图点可以借助通过FOV相机接收的数据、传感器输入或任何其它类型的收集数据导出。

在框1130处，可穿戴系统可以从云向显示器发送数据，或者可以从本地数据库发向显示部件发送数据。在框1140处，基于所发送的数据向用户显示UI。例如，光场显示器可以将虚拟UI投射到用户的一只或两只眼睛中。一旦创建了虚拟UI，在框1150处，可穿戴系统只需等待来自用户的命令，以生成虚拟UI上的更多虚拟内容。例如，UI可以是围绕用户身体的以身体为中心的环。然后，可穿戴系统可以等待命令(手势、头部或眼睛动作、来自用户输入设备的输入等)，并且如果它被识别(框1160)，可以向用户显示与命令相关联的虚拟内容(框1170)。作为示例，可穿戴系统可以等待用户的手势再混合多个流轨道。

可穿戴系统、UI和用户体验(UX)的其它示例在美国专利公开NO.2015/0016777中描述，该专利公开的全部内容通过引用并入此文。

环境中的示例对象

图12示出了用户在办公室环境中与虚拟用户界面进行交互的示例。在图12中，穿戴可穿戴设备1270的用户210正站在办公室1200中。可穿戴设备可以是如本文所述的可穿戴系统200、400的一部分。办公室1200可以包括多个物理对象，诸如椅子1244、镜子1242、墙壁1248、桌子1246、转椅1240，以及由可穿戴设备1270呈现给该用户的虚拟屏幕1250。

能视域中的示例对象

穿戴可穿戴设备1270的用户210可以具有视场(FOV)和能视域(FOR)。如参考图4所讨论的，FOR包括能够被用户经由可穿戴设备1270感知的用户周围环境的一部分。对于HMD，因为穿戴者可以移动她的身体、头部或眼睛以基本上感知空间中的任何方向，所以FOR可以包括穿戴者周围的基本全部4π弧度立体角。穿戴者的动作可能更受限制，相应地，穿戴者的FOR可以对着更小的立体角。FOR可以包含能够被用户经由ARD感知的对象组。对象可以是虚拟对象和/或物理对象。虚拟对象可以包括操作系统对象，例如用于已删除文件的回收站、用于输入命令的终端、用于访问文件或目录的文件管理器、图标、菜单、用于音频或视频流的应用、来自操作系统的通知等。虚拟对象还可以包括应用中的对象，例如化身、小工具(例如，时钟的虚拟表示)、游戏中的虚拟对象、图形或图像等。一些虚拟对象可以同时是操作系统对象和应用中的对象。

在一些实施例中，虚拟对象可以与物理对象相关联。例如，如图12所示，虚拟屏幕1250可以被放置在桌子1246上。虚拟屏幕可以包括具有可选选项的虚拟菜单1210，诸如办公室生产工具1212、用于执行远端临场的应用1214以及电子邮件工具1216之类的选项。

虚拟对象可以是三维(3D)、二维(2D)或一维(1D)对象。虚拟对象可以是3D咖啡杯(可以表示物理咖啡机的虚拟控件)。虚拟对象也可以是2D菜单1210(如图12所示)。在一些实施方式中，一个或多个虚拟对象可以显示在另一虚拟对象内(或与另一虚拟对象相关联)。例如，参考图12，虚拟菜单5110被示出为位于虚拟屏幕1250内。在另一示例中，用于远端临场的虚拟应用1214可以包括具有联系人信息的另一菜单1220。

在一些实施方式中，用户环境中的一些对象可以是可交互的。例如，参考图1，用户可以与一些虚拟对象进行交互，例如通过伸出手指让化身140降落，或者上拉提供有关雕像130的信息的菜单。用户可以通过执行用户界面操作与可交互对象交互，例如，选择或移动可交互对象，致动与可交互对象关联菜单，选择要使用可交互对象执行的操作等。用户可以在用户输入设备上单独或组合地使用头部姿势、眼睛姿势、身体姿势、语音、手势执行这些用户界面操作。例如，用户可以通过改变身体姿势将虚拟对象从一个位置移到另一位置(例如，改变手势，诸如在虚拟对象上挥手)。在另一示例中，如图12所示，当用户站在桌子1246附近时，用户可以使用手势来致动用户输入设备以打开虚拟屏幕1250。用户可以通过点击鼠标，敲击触摸板，在触摸屏上滑动，悬停在电容式按钮或触摸电容式按钮，按下键盘或游戏控制器上的键(例如，5向D-pad)，将操纵杆、手持操纵器或图腾指向对象，按下遥控器上的按钮或与用户输入设备的其它交互等来致动用户输入设备466。在某些实施方式中，可穿戴设备1270可以在检测到桌子1246时自动呈现虚拟菜单1210(例如，使用一个或多个对象识别器708)。在菜单打开之后，用户可以通过沿着用户输入设备上的轨迹移动其手指来浏览菜单1210。当用户决定关闭虚拟屏幕1250时，用户可以说出一个单词(例如，说“退出”)和/或致动用户输入设备，指示关闭虚拟屏幕1250的意图。在接收到指示后，ARD可以停止在桌子1246上投射屏幕1250。

视场中的示例对象

在FOR内，用户在给定时间处感知的世界的一部分被称为FOV(例如，FOV可以包含用户当前正看向的FOR的一部分)。FOV可取决于ARD中显示器的尺寸或光学特性。例如，AR显示器可以包括仅在用户通过显示器的特定部分观看时提供AR功能的光学器件。FOV可以对与当用户透过AR显示器(例如，堆叠波导组件480(图4)或平面波导632b(图6))观看时可感知的立体角对应。

当用户的姿势改变时，FOV将对应地改变，并且FOV内的对象也改变。参考图2，用户210可以在站在桌子1246前面时感知虚拟屏幕1250。然而，当用户210走向镜子1242时，虚拟屏幕1250可以移到他的FOV之外。因此，当用户210站在镜子1242前面时将无法感知虚拟屏幕1250。在一些实施例中，当用户210在办公室1200中移动时，虚拟屏幕1250可跟随用户210。例如，当用户210移到站在镜子1242前面时，虚拟屏幕1250可以从桌子1246移到墙壁1248。虚拟屏幕的内容(诸如虚拟菜单1210上的选项)可以在虚拟屏幕1250改变其位置时发生改变。作为示例，在图12中，当虚拟屏幕1250在桌子1250上时，用户210可以感知包括各种办公生产项目的虚拟菜单1210。然而，当用户走向镜子1242时，用户能够与虚拟衣柜应用进行交互，该虚拟衣柜应用允许用户使用可穿戴设备1270模拟不同服装的外观。在某些实施方式中，一旦可穿戴设备1270检测到镜子1242，可穿戴系统便可自动发起与另一用户(例如，与用户210的个人助理)的通信(例如，远端临场会话)。

基于情景因素呈现FOV中的虚拟对象的示例

如本文所述，通常存在与对象(例如，物理或虚拟对象)或用户的环境相关联的多个虚拟对象或用户交互选项。例如，参考图12，虚拟菜单1210包括多个交互选项，诸如办公室生产工具1212(诸如文字处理器、文件夹、日历等)；远端临场应用1214，该应用允许用户(经由可穿戴系统)与另一用户进行通信，好像另一用户出现在用户210的环境中(例如，可穿戴系统可以将另一用户的图像投射给可穿戴系统的用户)；以及邮件工具，此工具允许用户210发送和接收电子邮件(电邮)或短信。在另一示例中，图13和图14所示的起居室1300可以包括虚拟对象，诸如数码相框1312a、远端临场工具1314a、赛车驾驶游戏1316a、电视(TV)应用1312b、家庭管理工具1314b(可以针对房间1300管理温度，投射墙纸等)和音乐应用1316b。

然而，如本文所述，虚拟用户界面可能无法向用户显示所有可用的虚拟对象或用户交互选项，同时提供令人满意的用户体验。例如，如图13和图14所示，存在与用户界面1310相关联的六个虚拟对象(1312a、1314a、1316a、1312b、1314b和1316b)，虚拟对象可以是虚拟菜单。但是墙壁1350上的虚拟菜单仅可以清楚地放置三个选项(参见例如图13和14中的虚拟菜单)。因此，可穿戴系统可能需要筛选可用选项的数量，并仅显示可用选项子集。

有利地，在一些实施例中，可穿戴系统可以基于情景信息筛选或选择要在用户界面1310上呈现的用户交互选项或虚拟对象。筛选或选择的用户界面交互选项或虚拟对象可以以各种布局呈现。例如，可穿戴设备可以以列表形式呈现选项和虚拟对象(诸如图12至14所示的虚拟菜单)。在某些实施例中，虚拟菜单可以采用虚拟对象的圆形表示(参见例如图15所示的虚拟菜单1530)，而不是在虚拟用户界面上显示虚拟对象的垂直列表。虚拟对象可以围绕圆形表示的中心旋转，以帮助识别和选择所需的虚拟对象。情景信息可以包括与用户的环境、用户、用户环境中的对象等相关联的信息。示例情景信息可以包括与选项相关联的物理对象的可供性、用户的环境(诸如环境是家庭环境还是办公室环境)、用户的特征、用户与环境中的对象的当前交互、用户的生理状态、用户的心理状态，它们的组合等等。下面提供了各种类型情景信息的更详细描述。

用户的环境

可穿戴系统可以筛选或选择环境中的虚拟对象，并且仅基于用户的环境呈现用于用户交互的虚拟对象子集。这是因为不同的环境可能具有不同的功能。例如，用户的联系人列表可以包括家庭成员、朋友和职业联系人的联系人信息。在办公室环境中，诸如图12所示的办公室1200，通常更适合与工作有关的活动而非娱乐活动。因此，当用户210使用远端临场工具1214时，可穿戴设备1270可以在用于远端临场会话的菜单1220中呈现与工作有关的联系人的列表，即使用户的联系人列表还包括家人联系人和朋友联系人。与之相对，图13示出了起居室1300，其中用户通常放松并与工作之外的人进行交互。因此，当用户选择远端临场工具1314a时，可穿戴设备可以在菜单1320中显示朋友联系人和家庭成员联系人信息。

作为另一示例，用户的音乐收藏可以包括各种音乐，诸如乡村音乐、爵士音乐、流行音乐和古典音乐。当用户在起居室1300中时，可穿戴设备可以向用户呈现爵士音乐和流行音乐(如虚拟菜单1430所示)。然而，当用户在卧室1500中时，可以呈现不同音乐选项集。例如，如图15中的虚拟菜单1530所示，可穿戴设备可以显示乡村音乐和古典音乐，因为这些类型的音乐具有放松效果并且可以帮助用户入睡。

作为筛选环境中的可用虚拟对象的附加或替换，可穿戴设备可以仅示出与环境功能相关的菜单选项。例如，办公室1200中的虚拟菜单1210(图12中)可以包括与工作环境相关的选项。另一方面，起居室1300中的虚拟用户界面1310(图14)可以包括娱乐项目，诸如虚拟TV 1312b、音乐1316b以及家庭管理工具1314b。

参考图12至图15所描述的示例环境旨在说明而不是限制可穿戴设备可用于在这种环境中与物理内容和虚拟内容进行情景交互的环境类型。其它环境可以包括家庭或办公室的其它部分、交通工具(例如，汽车、地铁、船、火车或飞机)、娱乐场所(例如，电影院、夜总会、游戏设施)、零售设施(例如，商店或商场)或户外(例如，公园或院子)等。

对象的可供性

可穿戴系统可以识别用户可能感兴趣或当前正在与之进行交互的环境中的对象。可穿戴系统可以基于用户的姿势(例如，眼睛注视、身体姿势或头部姿势)识别对象。例如，可穿戴设备可以使用面向内部的成像系统462(如图4所示)来跟踪用户的眼睛姿势。当可穿戴系统确定用户正在长时间观看一个方向时，可穿戴系统可以使用光线投射或锥体投射(conecast)技术来识别与用户的注视方向相交的对象。例如，可穿戴系统可以投射虚拟锥体/光线，识别与虚拟锥体/光线的一部分相交的对象。可穿戴设备还可以使用IMU(例如，参考图2、图4和图9所描述的)来跟踪用户的头部姿势。当可穿戴设备检测到用户的头部姿势的变化时，可穿戴设备可以将用户头部附近的对象识别为用户有兴趣与其进行交互的对象。作为示例，当可穿戴设备的用户正长时间观看家中的冰箱时，可穿戴设备可以识别冰箱可能是用户感兴趣的对象。在另一示例中，用户可以是站在冰箱前。可穿戴设备可以检测用户点头并将用户前面的冰箱识别为用户感兴趣的对象。在又一示例中，对象识别器708可以跟踪用户的手部移动(例如，基于来自面向外部的成像系统464的数据)。对象识别器可以识别手势(例如，手指指向冰箱)，该手势提供用于用户交互的对象的指示。

可穿戴系统可以识别所识别对象的可供性。对象的可供性包括对象与对象的环境之间的关系，该可供性为与对象相关联的动作或使用提供机会，可供性可以基于例如对象的功能、取向、类型、位置、形状、和/或大小。可供性还可以基于物理环境对象所处的环境。可穿戴设备可以缩减环境中的可用虚拟对象，并根据对象的可供性来呈现虚拟对象。作为示例，水平桌子的可供性是可以将对象放置在桌子上，垂直墙壁的可供性可以是可以将对象悬挂或投射到墙壁上。

例如，可穿戴设备可以识别对象的功能，并示出仅具有与对象的功能相关的对象的菜单。作为示例，当可穿戴设备的用户与家中的冰箱进行交互时，可穿戴设备可以识别出冰箱的功能之一是存储食物。储存食物的能力是冰箱的可供性。当用户决定例如通过致动用户输入设备来观看与冰箱相关联的选项时，可穿戴设备可以向用户呈现特定于食物的选项，诸如显示冰箱中当前可用的食物列表；包括各种食谱、食物清单的烹饪应用；更换冰箱中的滤水器的提醒等。冰箱可供性的其它示例包括很重，因此难以移动；具有可以粘贴物体的垂直前表面，前表面通常是金属并且具有磁性，这样可以将磁性物体粘贴在前表面上等。

在一些情况下，同一对象的功能可以基于环境而变化。可穿戴系统可以通过根据环境考虑对象的功能来生成虚拟菜单。例如，桌子的可供性包括它可以被用于书写和用餐。当桌子在办公室1200中时(图12所示)，桌子的可供性可以表明桌子应该被用于书写，因为办公室环境通常与文件处理相关联。因此，可穿戴设备的显示器220可以呈现虚拟菜单1210，该菜单包括位于办公工具1212或电子邮件应用1216下的文字处理应用。然而，当同一桌子位于厨房中时，该桌子的可供性可以表明桌子可被用于用餐，因为人们通常不会在他们的厨房里写文件。因此，可穿戴设备可以向用户显示与食物而非办公工具有关的虚拟对象。

可穿戴系统可以使用对象的取向来确定应该呈现的选项，因为一些活动(诸如，绘画和书写文件)可能更适合于水平表面(诸如，地板或桌子)，而其它活动(诸如，看电视或玩驾驶游戏)可能在垂直表面(诸如，墙壁)上具有更好的用户体验。可穿戴系统可以检测对象表面的取向(例如，水平与垂直)，并显示适合于该取向的选项组。

参考图12，办公室1200可以包括虚拟对象，诸如用于文件处理的办公工具1212和虚拟TV应用(图12未示出)。因为虚拟屏幕1250在具有水平表面的桌子1246上，所以可穿戴设备1270可以呈现具有办公工具1212的菜单1210，因为文件处理更适合在水平表面上完成。同时，可穿戴设备12700可以被配置为不呈现虚拟TV应用，因为虚拟TV更适合于垂直表面，而且用户当前正在与具有水平表面的对象进行交互。然而，如果用户站在墙壁1248前面，则可穿戴设备1270可以在菜单1210中包括虚拟TV，同时排除办公工具1212。

作为另一示例，在图13和图14中，虚拟用户界面1310位于具有垂直表面的墙壁1350上。因此，用户界面1310可以包括如图13所示的驾驶游戏1316a，以及包括如图14所示的虚拟TV应用1316b。这是因为用户在垂直表面上执行这些活动时可能有更好的体验。

作为对象的功能、取向和位置的附加或替换，还可以基于对象的类型确定可供性。例如，沙发可以与诸如观看电视之类的娱乐活动相关联，而桌椅可以与诸如创建财务报告之类的工作有关活动相关联。可穿戴系统还可以基于对象的大小确定可供性。例如，小桌子可被用于放置诸如花瓶之类的装饰，而大桌子可被用于家庭用餐。作为另一示例，可供性也可以基于对象的形状。具有圆形顶面的桌子可以与诸如扑克之类的某些团体游戏相关联，而具有矩形顶面的桌子可以与诸如俄罗斯方块之类的单人游戏相关联。

用户的特征

可穿戴系统还可以基于诸如年龄、性别、教育水平、职业、偏好等之类用户的特征呈现选项。可穿戴系统可以基于用户提供的简档信息来识别这些特征。在一些实施例中，可穿戴系统可以基于用户与可穿戴系统的交互(例如，频繁查看的内容)来推断这些特征。基于用户的特征，可穿戴系统可以呈现与用户的特征匹配的内容。例如，如图15所示，如果可穿戴设备的用户是幼儿，则可穿戴设备可以在卧室1500中的菜单1530中提供儿童音乐和摇篮曲的选项。

在一些实施方式中，环境可以由多个人共享。可穿戴系统可以分析共享空间的人的特征，并且仅呈现适合于共享空间的人的内容。例如，起居室1300可以由所有家庭成员共享。如果家庭有幼儿，则可穿戴设备可以仅呈现具有使得该电影适合无成年人陪伴的儿童的等级的电影(例如，“G”级电影)。在一些实施例中，当可穿戴系统对环境进行成像时，可穿戴系统可能能够识别位于同一环境的人，并基于环境中存在的人呈现选项。例如，可穿戴系统可以使用面向外部的成像系统来获取环境的图像，并且可穿戴系统可以分析这些图像，以使用人脸识别技术来识别图像中存在的一个或多个人。如果可穿戴系统确定穿戴HMD且与其父母坐在同一起居室中的儿童，则可穿戴系统可以呈现评级为适合于成年人在场的儿童的电影(例如，“PG”级电影)，作为G级电影的附加或替换。

可穿戴系统可以基于用户的偏好呈现虚拟菜单。可穿戴系统可以基于先前的使用模式推断出用户的偏好。先前的使用模式可以包括有关使用虚拟对象的位置的信息和/或有关使用虚拟对象的时间的信息。例如，每个早上当用户210在他的办公室1200(图12所示)中调出虚拟屏幕1250时，用户210通常首先检查其电子邮件。基于该使用模式，可穿戴系统可以在菜单1210中显示电子邮件应用1216。在另一示例中，每个早上当用户210走进起居室1300时，用户通常在虚拟电视屏幕1312b上观看新闻(图14所示)。因此，可穿戴系统可以基于用户的频繁使用在虚拟用户界面1310上显示TV应用1312b。然而，可穿戴系统将不在虚拟用户界面1310中显示电子邮件应用1210，因为用户210一般不在其起居室1300中查看其电子邮件。另一方面，如果用户210经常查看其电子邮件而不考虑其所在位置，则可穿戴系统也可以在虚拟用户界面1310中显示电子邮件应用1216。

菜单中的选项可以根据一天中的时间而变化。例如，如果用户210通常在早上听爵士音乐或流行音乐并且在晚上玩驾驶游戏，则可穿戴系统可以在早晨的菜单1430中呈现爵士音乐和流行音乐的选项，而在晚上呈现驾驶游戏1316a。

AR系统还可以允许用户输入其偏好。例如，用户210可以将其老板的联系人信息添加到其联系人列表1220(如图12所示)中，即使他不经常与其老板交谈。

用户与环境中对象的交互

可穿戴设备可以基于当前用户交互在用户的环境中呈现虚拟对象子集。可穿戴设备可以基于用户与其进行交互的人来呈现虚拟对象。例如，当用户在其起居室1300与其一个家庭成员进行远端临场会话时，可穿戴设备可以自动在墙上调出相册，因为用户可能想要谈论由相册捕获的共享体验。另一方面，当用户在其办公室1200中与其一个同事进行远端临场会话时，可穿戴设备可以自动呈现用户与其同事合作过的文档。

可穿戴设备还可以基于用户与其进行交互的虚拟对象来呈现虚拟对象。例如，如果用户当前正在准备财务文档，则可穿戴设备可以呈现数据分析工具，诸如计算器。但是如果用户当前正在写小说，则可穿戴设备可以向用户呈现文字处理工具。

用户的生理状态或心理状态

情景信息可以包括用户的生理状态、心理状态或自主神经系统活动及其组合等。如参考图12所述，可穿戴系统可以使用各种传感器232来测量用户对虚拟内容或环境的反应。例如，一个或多个传感器232可以获得用户眼睛区域的数据，并使用这样的数据来确定用户的心情。可穿戴系统可以使用面向内部的成像系统462(图4所示)来获得眼睛的图像。ARD可以使用这些图像来确定眼睛运动、瞳孔扩张和心率变化。在一些实施方式中，当面向内部的成像系统462具有足够大的视场时，可穿戴系统可以使用由面向内部的成像系统462获得的图像来确定用户的面部表情。可穿戴系统还可以使用面向外部的成像系统464(图2所示)来确定用户的面部表情。例如，当用户站在反射表面(诸如，镜子)附近时，面向外部的成像系统464可以获取用户脸部的反射图像。可穿戴系统可以分析反射图像以确定用户的面部表情。附加地或替代地，可穿戴系统可包括测量皮电活动(诸如，皮肤电反应)的传感器。这些传感器可以是用户可穿戴手套和/或用户输入设备466(参考图4所述的)的一部分。可穿戴系统可以使用皮电活动数据来确定用户的情绪。

可穿戴系统还可以包括用于肌电图(EMG)、脑电图(EEG)、功能性近红外光谱(fNIR)等的传感器。可穿戴系统可以使用从这些传感器获得的数据来确定用户的心理状态和生理状态。这些数据可以单独使用或与从诸如面向内部的成像系统、面向外部的成像系统和用于测量皮电活动的传感器之类的其它传感器获得的数据结合使用。ARD可以使用用户的心理状态和生理状态的信息来向用户呈现虚拟内容(诸如虚拟菜单)。

作为示例，可穿戴系统可以基于用户的心情推荐娱乐内容条(例如，游戏、电影、音乐、要显示的风景)。可以推荐娱乐内容以改善用户的心情。例如，可穿戴系统可以基于用户的生理数据(诸如，出汗)确定用户当前处于压力下。可穿戴系统可以进一步基于从位置传感器(诸如，GPS)获取的信息或从面向外部的成像系统464获取的图像来确定用户在工作。可穿戴系统可以组合这两条信息，并确定用户在工作中遇到压力。因此，可穿戴系统可以推荐用户在午休期间玩节奏较慢的探索性开放式游戏以平静下来，在虚拟显示器上显示令人放松的风景，在用户的环境中播放舒缓的音乐等。

作为另一示例，多个用户可以在物理空间或虚拟空间中一起出现或彼此交互。可穿戴系统可以确定用户之间的一种或多种共有情绪(例如，群体是高兴还是生气)。共有情绪可以是多个用户的心情的组合或融合，并且可以针对用户之间的共同情绪或主题。可穿戴系统可以基于用户之间的共有心情呈现虚拟活动(诸如，游戏)。

基准标记

在一些实施方式中，可以以基准标记(在此也被称为标签)编码情景信息。基准标记可以与物理对象相关联。基准标记可以是光学标记，诸如快速响应(QR)代码、条形码、ArUco标记(其可以在遮挡下被可靠地检测)等。基准标记还可以包括电磁标记(例如，射频识别标签)，电磁标记可以发射或接收能够被可穿戴设备检测的电磁信号。这种基准标记可以被物理地固定在物理对象上或物理对象附近。可穿戴设备可以使用面向外部的成像系统464(图4所示)或一个或多个传感器来检测基准标记，该传感器从基准标记中接收信号或将信号发送到基准标记(例如，将信号发送到标记，然后该标记可以返回回复信号)。

当可穿戴设备检测到基准标记时，可穿戴设备可以对基准标记进行解码，并基于所解码的基准标记呈现虚拟对象组。在一些实施例中，基准标记可以包含对数据库的引用，该引用包括待显示的虚拟对象与有关情景因素之间的关联。例如，基准标记可以包括物理对象(例如，桌子)的标识符。可穿戴设备可以使用标识符来访问物理对象的情景特征。在该示例中，桌子的情景特征可以包括桌子的大小和水平表面。所访问的特征可被用于确定由物理对象支持哪些用户界面操作或虚拟对象。由于桌子具有水平表面，因此可穿戴设备可以在桌子表面上呈现办公处理工具而不是画，因为画通常与垂直表面而不是水平表面相关联。

例如，在图15中，ArUco标记1512被附接到卧室1500中的窗户1510上。可穿戴系统可识别ArUco标记1512(例如，基于由面向外部的成像系统464获取的图像)并提取以ArUco标记1512编码的信息。在一些实施例中，所提取的信息可足以使可穿戴系统呈现与基准标记相关联的虚拟菜单，而无需分析窗户或用户的环境的其它情景信息。例如，所提取的信息可以包括窗户1510的取向(例如，窗户1510具有垂直表面)。基于该取向，可穿戴系统可以呈现与垂直表面相关联的虚拟对象。在某些实施方式中，可穿戴系统可能需要与另一数据源(例如，远程数据存储库280)通信以获得情景信息，诸如对象(例如，镜子)的类型、与对象相关联的环境、用户的偏好等，用于使可穿戴系统呈现识别相关虚拟对象。

基于情景因素呈现虚拟对象的示例方法

图16是用于基于情景信息生成虚拟菜单的示例方法的流程图。过程1600可以由本文所述的可穿戴系统执行。可穿戴系统可以包括：用户输入设备(参见例如图4中的用户输入设备466)，该用户输入设备被配置为接收各种用户交互的指示；显示器，该显示器可以显示物理对象附近的虚拟对象；以及姿势传感器。姿势传感器可以检测和跟踪用户的姿势，该姿势可以包括身体相对于用户的环境的取向，或者用户身体的一部分的位置或移动，诸如用户的手部做出的手势或用户的注视方向。姿势传感器可包括参考图2、图4和图9描述的惯性测量单元(IMU)、面向外部的成像系统和/或眼睛跟踪相机(例如，图4所示的相机464)。IMU可以包括加速度计、陀螺仪和其它传感器。

在框1610处，可穿戴系统可使用一个或多个姿势传感器确定用户的姿势。如本文所述，姿势可以包括眼睛姿势、头部姿势或身体姿势或其组合等。基于用户的姿势，在框1620处，可穿戴系统可识别用户的环境中的可交互对象。例如，可穿戴系统可以使用锥形投射技术来识别与用户的注视方向相交的对象。

在框1630处，用户可以致动用户输入设备，并提供打开与可交互对象相关联的虚拟菜单的指示。虚拟菜单可以包括多个虚拟对象作为菜单选项。多个虚拟对象可以是用户的环境中的虚拟对象子集或者是与可交互对象相关联的虚拟对象子集。虚拟菜单可以具有许多图形表示。虚拟菜单的一些示例被示出为图12中的对象1220和对象1210、图13和图14中的虚拟用户界面1310、图13中的对象1320、图14中的对象1430、以及图15中的对象1530。在某些实施方式中，打开虚拟菜单的指示不必需从用户输入设备接收。该指示可以与直接用户输入相关联，例如用户的头部姿势、眼睛注视、身体姿势、手势、语音命令等。

在框1640处，可穿戴系统可确定与可交互对象相关联的情景信息。情景信息可以包括可交互对象的可供性、环境(例如，工作环境或生活环境)的功能、用户的特征(诸如用户的年龄或偏好)，或当前用户与环境中的对象进行的交互等或其组合等。例如，可穿戴系统可以通过分析诸如功能、取向(水平对垂直)、位置、形状、大小等之类的可交互对象的特征来确定可交互对象的可供性。可穿戴系统还可以通过分析可交互对象与环境的关系来确定可交换对象的可供性。例如，起居室环境中的茶几可以用于娱乐目的，而卧室环境中的床头柜可以用于在人睡觉之前放置物品。

与可交互对象相关联的情景信息还可以根据用户的特征或者根据用户与环境中对象进行的交互来确定。例如，可穿戴系统可以识别用户的年龄并且仅呈现与用户的年龄相称的信息。作为另一示例，可穿戴系统可以借助虚拟菜单来分析用户的先前使用模式(诸如用户经常使用的虚拟对象的类型)，并根据先前的使用模式来定制虚拟菜单的内容。

在框1650处，可穿戴系统可以基于情景信息识别要包括在虚拟菜单中的虚拟对象的列表。例如，可穿戴系统可以识别具有与可交互对象相关的功能和/或与用户的环境相关的功能的应用列表。作为另一示例，可穿戴系统可基于诸如年龄、性别和先前使用模式之类的用户的特征来识别将包括在虚拟菜单中的虚拟对象。

在框1660处，可穿戴系统可以基于所识别的虚拟对象的列表生成虚拟菜单。虚拟菜单可以包括所识别的列表上的所有虚拟对象。在一些实施例中，菜单的空间可能有限。可穿戴系统可以设定不同类型的情景信息的优先级，以便仅向用户显示列表子集。例如，可穿戴系统可以确定先前使用模式是最重要的情景信息，因此仅基于先前使用模式显示前五个虚拟对象。

用户可以借助菜单执行各种动作，例如浏览菜单，基于对一些情景信息的分析显示先前未选择的可用虚拟对象，退出菜单，或选择菜单上的一个或多个对象以与之进行交互。

基于用户的生理数据呈现虚拟对象的示例方法

图17是用于至少部分地基于用户的生理数据选择虚拟内容的示例方法的流程图。过程1700可以由本文所述的可穿戴系统执行。可穿戴系统可以包括各种传感器232，例如被配置为测量用户的生理参数的生理传感器、被配置为跟踪用户的眼睛区域的面向内部的成像系统等。

在框1710处，可穿戴系统可以获得用户的生理数据。如参考图2和图图4所述，可穿戴系统可单独地或与面向内部的成像系统结合使用生理传感器来测量用户的生理数据。例如，可穿戴系统可以使用一个或多个生理传感器来确定用户的皮肤电反应。可穿戴系统可以使用面向内部的成像系统进一步确定用户的眼睛运动。

如框1720所示，可穿戴系统可使用生理数据来确定用户的生理状态或心理状态。例如，可穿戴系统可以使用用户的皮肤电反应和/或用户的眼睛运动来确定用户是否对某些内容感到兴奋。

在框1730处，可穿戴系统可确定要呈现给用户的虚拟内容。可穿戴系统可以基于生理数据做出这种确定。例如，使用生理数据，可穿戴系统可以确定用户有压力。可穿戴系统可以相应地呈现与减小用户压力相关联的虚拟对象(诸如音乐或视频游戏)。

可穿戴系统还可以基于结合其它情景信息对生理数据进行的分析来呈现虚拟内容。例如，基于用户的位置，可穿戴系统可以确定用户正经受工作压力。因为用户通常在工作时间不玩游戏或听音乐，所以可穿戴系统可能仅在用户休息期间推荐视频游戏和音乐来帮助用户降低其压力水平。

在框1740处，可穿戴系统可以生成包括虚拟内容的3D用户界面。例如，可穿戴系统可以在检测到用户正经受压力时显示音乐和视频游戏的图标。可穿戴系统可以在用户与物理对象进行交互时呈现虚拟菜单。例如，当用户在工作休息期间在桌子前面致动用户输入设备时，可穿戴系统可以显示音乐和视频游戏的图标。

本文描述的各种示例中的技术可以向用户提供可用虚拟对象子集或用户界面交互选项子集。可以以各种形式提供该虚拟对象子集或用户界面交互选项子集。尽管主要参考呈现菜单来描述示例，但是也可以使用其它类型的用户界面呈现。例如，可穿戴系统可以在虚拟对象子集中呈现虚拟对象的图标。在某些实施方式中，可穿戴系统可以基于情景信息自动执行操作。例如，如果用户在镜子附近，则可穿戴系统可以自动启动与用户最常联系人的远端临场会话。作为另一示例，如果可穿戴系统确定用户可能最感兴趣的虚拟对象，则可穿戴系统可以自动启动虚拟对象。

其它实施例

在第1方面，一种用于在三维(3D)空间内的用户的环境中生成虚拟菜单的方法，该方法包括：在包括计算机硬件的增强现实(AR)系统的控制下，AR系统被配置为允许用户与用户的环境中的对象进行交互，AR系统包括用户输入设备、AR显示器和被配置为检测用户姿势的惯性测量单元(IMU)，使用IMU确定用户姿势；至少部分地基于用户姿势识别3D空间内用户的环境中的物理对象；经由用户输入设备接收打开与物理对象相关联的虚拟菜单的指示；确定与物理对象相关联的情景信息；至少部分地基于所确定的情景信息确定要包括在虚拟菜单中的虚拟对象；至少部分地基于所确定的情景信息确定用于显示虚拟菜单的空间位置；生成至少包括所确定的虚拟对象的虚拟菜单；以及经由AR显示器向用户显示在空间位置处生成的菜单。

在第2方面，根据方面1所述的方法，其中，姿势包括以下一项或多项：头部姿势或身体姿势。

在第3方面，根据方面1或方面2所述的方法，其中，ARD进一步包括眼睛跟踪相机，该眼睛跟踪相机被配置为跟踪用户的眼睛姿势。

在第4方面，根据方面3所述的方法，其中，姿势包括眼睛姿势。

在第5方面，根据方面1至4中任一项所述的方法，其中，情景信息包括以下一项或多项：物理对象的可供性；环境的功能；用户的特征；或者用户与AR系统的当前或过去进行的交互。

在第6方面，根据方面5所述的方法，其中，物理对象的可供性包括物理对象与物理对象的环境之间的关系，该可供性为与物理对象相关联的动作或使用提供机会。

在第7方面，根据方面5或方面6所述的方法，其中，物理对象的可供性至少部分地基于以下一项或多项：物理对象的功能、取向、类型、位置、形状、大小或物理对象所处的环境。

在第8方面，根据方面7所述的方法，其中，物理对象的取向包括水平取向或垂直取向。

在第9方面，根据方面5至8中任一项所述的方法，其中，环境是生活环境或工作环境。

在第10方面，根据方面5至9中任一项所述的方法，其中，环境是私人环境或公共环境。

在第11方面，根据方面5所述的方法，其中，用户的特征包括以下一项或多项：年龄、性别、教育水平、职业或偏好。

在第12方面，根据方面11所述的方法，其中，偏好至少部分地基于用户的先前使用模式，其中，该先前使用模式包括有关使用虚拟对象的位置或时间的信息。

在第13方面，根据方面5所述的方法，其中，当前交互包括AR系统的用户与另一用户之间的远端临场会话。

在第14方面，根据方面1至13中任一项所述的方法，其中，情景信息以基准标记编码，其中，该基准标记与物理对象相关联。

在第15方面，根据方面14所述的方法，其中，基准标记包括光学标记或电磁标记。

在第16方面，根据方面1至15中任一项所述的方法，其中，对象包括物理对象或虚拟对象中的至少一者。

在第17方面，一种用于在三维(3D)空间内的用户环境中呈现多个虚拟对象的方法，该方法包括：在包括计算机硬件的增强现实(AR)的控制下，AR系统被配置为允许用户与用户的环境中的对象进行交互，AR系统包括用户输入设备、AR显示器和被配置为检测用户姿势的姿势传感器，使用姿势传感器来确定用户的姿势；至少部分地基于用户的姿势识别3D空间内用户环境中的可交互对象；经由用户输入设备接收呈现与物理对象相关联的多个虚拟对象的指示；确定与可交互对象相关联的情景信息；至少部分地基于所确定的情景信息来确定将向用户显示的多个虚拟对象；以及经由AR显示器向用户显示所确定的多个虚拟对象。

在第18方面，根据方面17所述的方法，其中，姿势传感器包括以下一项或多项：惯性测量单元、眼睛跟踪相机或面向外部的成像系统。

在第19方面，根据方面17或方面18所述的方法，其中，姿势包括以下一项或多项：头部姿势、眼睛姿势或身体姿势。

在第20方面，根据方面17至19中任一方面的方法，其中，情景信息包括以下一项或多项：可交互对象的可供性；环境的功能；用户的特征；或者用户与AR系统的当前或过去进行的交互。

在第21方面，根据方面20所述的方法，其中，可交互对象的可供性包括可交互对象与可交互对象的环境之间的关系，该可供性为与可交互对象相关联的动作或使用提供机会。

在第22方面，根据方面20或方面21所述的方法，其中，可交互对象的可供性至少部分地基于以下一项或多项：可交互对象的功能、取向、类型、位置、形状、大小或物理对象所处的环境。

在第23方面，根据方面22所述的方法，其中，可交互对象的取向包括水平或垂直取向。

在第24方面，根据方面20至23中任一项所述的方法，其中，环境是生活环境或工作环境。

在第25方面，根据方面20至24中任一项所述的方法，其中，环境是私人环境或公共环境。

在第26方面，根据方面20所述的方法，其中，用户的特征包括以下一项或多项：年龄、性别、教育水平、职业或偏好。

在第27方面，根据方面26所述的方法，其中，偏好至少部分地基于用户的先前使用模式，该先前使用模式包括有关使用虚拟对象的位置或时间的信息。

在第28方面，根据方面20所述的方法，其中，当前交互包括远端临场会话。

在第29方面，根据方面17至28中任一项所述的方法，其中，情景信息以基准标记编码，其中，该基准标记与可交互对象相关联。

在第30方面，根据方面29所述的方法，其中，基准标记包括光学标记或电磁标记。

在第31方面，根据方面17至30中任一项所述的方法，其中，对象包括物理对象或虚拟对象中的至少一者。

在第32方面中，根据方面17至31中任一项所述的方法，其中，可交互对象包括物理对象或虚拟对象中的至少一者。

在第33方面，一种增强现实(AR)系统，其包括计算机硬件、用户输入设备、AR显示器和姿势传感器，该增强现实(AR)系统被配置为执行方面1至32中的任一方法。

在第34方面，一种用于在三维(3D)空间中选择性地向用户呈现虚拟内容的方法，该方法包括：在包括计算机处理器、显示器以及被配置为测量用户的生理参数的生理传感器的可穿戴设备的控制下执行下面的操作：使用生理传感器来获得与用户的生理参数相关联的数据；至少部分地基于该数据确定用户的生理状态；至少部分地基于生理状态确定要呈现给用户的虚拟内容；确定在3D空间中用于显示虚拟内容的空间位置；生成至少包括所确定的虚拟内容的虚拟用户界面；以及经由可穿戴设备的显示器在所确定的空间位置处向用户显示虚拟内容。

在第35方面，根据方面34所述的方法，其中，所述生理参数包括以下至少一项：心率、瞳孔扩张、皮肤电反应、血压、脑图状态、呼吸率、或眼球运动。

在第36方面，根据方面34至35中任一项所述的方法，进一步包括使用面向内部的成像系统来获得与用户的生理参数相关联的数据，该面向内部的成像系统被配置为对用户的一只或两只眼睛进行成像。

在第37方面，根据方面34至36中任一项所述的方法，进一步包括基于该数据确定心理状态。

在第38方面，根据方面34至37中任一项所述的方法，其中，虚拟内容包括虚拟菜单。

在第39方面，根据方面34至38中任一项所述的方法，其中，基于以下至少一项进一步确定虚拟内容：与虚拟内容相关联的物理对象的可供性；用户的环境的功能；用户的特征；位于环境中的个人；以与物理对象相关联的基准标记编码的信息；或者用户与可穿戴系统当前或过去进行的交互。

在第40方面，根据方面39所述的方法，其中，物理对象的可供性包括物理对象与物理对象的环境之间的关系，该可供性为与物理对象相关联的动作或使用提供机会。

在第41方面，根据方面39或方面40所述的方法，其中，物理对象的可供性至少部分地基于以下一项或多项：物理对象的功能、取向、类型、位置、形状、大小或物理对象所处的环境。

在第42方面，根据方面41所述的方法，其，中物理对象的取向包括水平取向或垂直取向。

在第43方面，根据方面39至42中任一项所述的方法，其中，环境是生活环境或工作环境。

在第44方面，根据方面39至43中任一项所述的方法，其中，环境是私人环境或公共环境。

在第45方面，根据方面39所述的方法，其中，用户的特征包括以下一项或多项：年龄、性别、教育水平、职业或偏好。

在第46方面，根据方面45所述的方法，其中，偏好至少部分地基于用户的先前使用模式，其中，该先前使用模式包括有关使用虚拟对象的位置或时间的信息。

在第47方面，根据方面39所述的方法，其中，当前交互包括AR系统的用户与另一用户之间的远端临场会话。

在第48方面，根据方面34至47中任一项所述的方法，其中，可穿戴设备包括增强现实系统。

在第49方面，包括计算机处理器、显示器和被配置为测量用户的生理参数的生理传感器的可穿戴设备，该可穿戴设备被配置为执行根据方面34至48中的任一方法。

在第50方面，一种用于在用户的三维(3D)环境中生成虚拟内容的可穿戴系统，该可穿戴系统包括：增强现实显示器，其被配置为向用户呈现3D视图中的虚拟内容；姿势传感器，其被配置为获取用户的位置或取向数据并分析位置或取向数据以识别用户的姿势；硬件处理器，其与姿势传感器和显示器通信，该硬件处理器被编程为：至少部分地基于用户的姿势识别3D环境内用户环境中的物理对象；接收用于启动与物理对象进行交互的指示；识别与物理对象相关联的用户环境中的虚拟对象集；确定与物理对象相关联的情景信息；基于该情景信息筛选虚拟对象集以从该虚拟对象集中识别虚拟对象子集；生成包括虚拟对象子集的虚拟菜单；至少部分地基于所确定的情景信息确定3D环境中用于呈现虚拟菜单的空间位置；以及通过增强现实显示器在该空间位置处呈现虚拟菜单。

在第51方面，根据方面50所述的可穿戴系统，其中，情景信息包括物理对象的可供性，该可供性包括物理对象与物理对象的环境之间的关系，该可供性为与物理对象相关联的动作或使用提供机会，其中，物理对象的可供性至少部分地基于以下一项或多项：物理对象的功能、取向、类型、位置、形状、大小或物理对象所处的环境。

在第52方面，根据方面51所述的可穿戴系统，其中，情景信息包括物理对象的表面的取向，其中，为了筛选虚拟对象集，硬件处理器被编程为识别虚拟对象子集，该虚拟对象子集在具有该取向的表面上支持用户界面交互。

在第53方面，根据方面50至52中任一项所述的可穿戴系统，其中，姿势传感器包括：惯性测量单元，其被配置为测量用户的头部姿势并识别物理对象；硬件处理器，其被编程为至少部分地基于用户的头部姿势来投射虚拟锥体，并选择物理对象，该物理对象与虚拟锥体的一部分相交。

在第54方面，根据方面50至53中任一项所述的可穿戴系统，进一步包括：生理传感器，其被配置为测量用户的生理参数，其中，硬件处理器被编程为确定用户的心理状态并使用该心理状态作为情景信息的一部分来识别包含在虚拟菜单中的虚拟对象子集。

在第55方面，根据方面54所述的可穿戴系统，其中，生理参数与以下至少一项相关：心率、瞳孔扩张、皮肤电反应、血压、脑图状态、呼吸率或眼睛运动。

在第56方面，根据方面50至55中任一项所述的可穿戴系统，其中，3D环境包括多个用户，其中硬件处理器被编程为确定多个用户的共同特征并基于多个用户的共同特征筛选虚拟对象集。

在第57方面，根据方面50至56中任一项所述的可穿戴系统，其中，情景信息包括用户过去与虚拟对象集进行的交互，其中，硬件处理器被编程为识别用户经常与之进行交互的一个或多个虚拟对象，并且在虚拟菜单的虚拟对象子集中包括一个或多个虚拟对象。

在第58方面，根据方面50至57中任一项所述的可穿戴系统，其中，为了确定与物理对象相关联的情景信息并筛选虚拟对象集，硬件处理器被编程为：识别与物理对象相关联的基准标记，其中，该基准标记对物理对象的标识符进行编码；对基准标记进行解码以提取标识符；借助标识符来访问存储与物理对象相关联的情景信息的数据库；以及分析存储在数据库中的情景信息以筛选虚拟对象集。

在第59方面，根据方面58所述的可穿戴系统，其中，基准标记包括ArUco标记。

在第60方面，根据方面50至59中任一项所述的可穿戴系统，其中，用于呈现虚拟菜单的空间位置包括虚拟菜单相对于物理对象的位置或取向。

在第61方面，根据方面60所述的可穿戴系统，其中，为了确定用于呈现虚拟菜单的空间位置，硬件处理器被编程为使用与物理对象相关联的对象识别器来识别物理对象的表面上的空间。

在第62方面，一种用于在用户的三维(3D)环境中生成虚拟内容的方法，该方法包括：分析从姿势传感器获取的数据以识别用户的姿势；至少部分地基于该姿势识别用户的3D环境中的可交互对象；接收用于启动与可交互对象进行交互的指示；确定与可交互对象相关联的情景信息；基于该情景信息从关于可交互对象的可用用户界面操作集中选择用户界面操作子集；以及生成用于向用户呈现3D视图中的用户界面操作子集的指令。

在第63方面，根据方面62所述的方法，其中，姿势包括以下至少一项：眼睛注视、头部姿势或手势。

在第64方面，根据方面62至63中任一项所述的方法，其中，识别可交互对象包括基于用户的头部姿势执行锥体投射；以及选择用户的环境中的对象作为可交互对象，其中，该对象与在锥体投射中使用的虚拟锥体的至少一部分相交。

在第65方面，根据方面62至64中任一项所述的方法，其中，情景信息包括可交互对象的表面的取向，其中，选择用户界面操作子集包括识别能在具有该取向的表面上执行的用户界面操作。

在第66方面，根据方面62至65中任一项所述的方法，其中，启动与可交互对象进行交互的指示包括用户输入设备的致动或用户姿势的改变。

在第67方面，根据方面62至66中任一项所述的方法，进一步包括接收用户的生理参数；以及确定用户的心理状态，其中，该心理状态是用于选择用户交互子集的情景信息的一部分。

在第68方面，根据方面67所述的方法，其中，生理参数与以下至少一项有关：心率、瞳孔扩张、皮肤电反应、血压、脑图状态、呼吸率或眼睛运动。

在第69方面，根据方面62至68中任一项所述的方法，其中，生成用于在3D视图中向用户呈现用户交互子集的指令包括：生成包括用户界面操作子集的虚拟菜单；基于可交互对象的特征确定虚拟菜单的空间位置；以及生成用于在用户的3D环境中的空间位置处呈现虚拟菜单的显示指令。

其它考虑事项

在此描述的和/或附图示出的过程、方法和算法中的每一者可以体现在以下项中并通过以下项被全部或部分自动化：代码模块，其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行；和/或电子硬件，其被配置为执行具体和特定计算机指令。例如，计算系统可以包括用具体计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解译性的编程语言编写。在一些实施方式中，特定操作和方法可以由专用于给定功能的电路来执行。

此外，本公开的功能的某些实施方式在数学上、计算上或技术上足够复杂，以至于为了执行所述功能(例如，由于所涉及的计算量或复杂性或者为了基本实时地提供结果)，专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)可能是必需的。

代码模块或任何类型的数据可以被存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储装置，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器以及相同和/或相似元件的组合。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的介质和基于导线/电缆的介质，且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可以持久地或以其它方式存储在任何类型的非暂时性实体计算机存储器中，或者可以经由计算机可读传输介质来传送。

在此描述和/或附图示出的流程图中的任何过程、框、状态、步骤或功能应该被理解为潜在地表示代码模块、代码段或代码部分，其包括用于实现处理中的特定功能(例如，逻辑或算术功能)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能可以与本文提供的说明性示例一起执行以下操作：组合、重排、添加、删除、修改或其它改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文所述的功能中的部分或全部。本文描述的方法和过程也不限于任何具体的顺序，并且与其相关的框、步骤或状态可以以其它适当的顺列来执行，例如以串行、并行或以某种其它方式来执行。可以向所公开的示例实施例添加任务或事件或者从中移除任务或事件。此外，本文所述的实施方式中的各种系统组件的分离是出于说明的目的，不应该被理解为在所有实施方式中都需要这种分离。应该理解，所描述的程序组件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。许多实施方式的变体是可行的。

过程、方法和系统可以在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个域网(PAN)、云计算网络、众包计算网络、因特网和万维网。网络可以是有线或无线网络，或任何其它类型的通信网络。

本公开的系统和方法各自具有若干创新性方面，这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合使用。所有可能的组合和子组合均旨在落入本公开的范围内。对本公开中所描述的实施方式的各种修改对于本领域技术人员来说是显而易见的，并且在不脱离本公开的精神或范围的情况下，可将本文中限定的一般原理应用于其它实施方式。因此，权利要求不旨在限于本文所示的实施方式，而是应被赋予与本公开、本文公开的原理和新颖特征一致的最宽范围。

本说明书中在单独的实施方式的上下文描述的某些特征也可以在单个实施方式中组合地实现。相反，在单个实施方式的上下文中描述的各种特征也可以在多个实施方式中单独实施，或以任何合适的子组合实施。此外，尽管上文可将特征描述为以某些组合起作用，甚至最初这样要求保护，但是所要求保护的组合中的一个或多个特征在某些情况下可以从该组合中剔除，并且所要求保护的组合可以涉及子组合或子组合的变体。对于每个实施例而言，没有任何单个特征或特征组是必需的或不可或缺的。

除非另有具体说明，或者在上下文中另有理解除外，否则在此使用的诸如“可”、“可以”、“可能”、“能够”、“例如”等之类的条件语通常旨在表达某些实施例包括，而其它实施例不包括某些特征、元素和/或步骤。因此，这种条件语通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例所必需的，也不意在暗示在有或者没有程序设计者输入或提示的情况下，一个或多个实施例必然包括用于决定是否包括这些特征、元素和/或步骤是否在任何具体实施例中执行这些特征、元素和/或步骤的逻辑。术语“包括”、“包含”、“具有”等是同义词，并且以开放的方式包含性地使用，并且不排除其它元素、特征、动作、操作等。此外，术语“或”在使用时具有包含性含义(而非排他性含义)，因此，当被用于例如连接元素列表时，术语“或”表示列表元素中的一个、一些或全部。另外，除非另有说明，否则在本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。

如本文所使用的，涉及项目列表中的“至少一个”的短语指这些项目的任何组合，包括单个成员。作为示例，“A、B或C中的至少一个”旨在涵盖：A、B、C、A和B、A和C、B和C，以及A、B和C。诸如短语“X、Y和Z中的至少一个”之类的连接语(除非另有声明)以通过常用的上下文来理解，以表达项目、术语等可以是X、Y和Z中的至少一个。因此，这样的连接语通常并不旨在暗示某些实施例需要至少一个X、至少一个Y以及至少一个Z中的每个都存在。

类似地，尽管操作在附图中可以以特定顺序示出，但应认识到，这些操作不需要以所示的特定顺序或以相继的顺序执行，或者执行所有例示的操作以实现所需的结果。此外，附图可以以流程图的形式示意性地示出一个或多个示例过程。然而，其它未示出的操作可以并入示意性说明的示例方法和处理中。例如，一个或多个附加操作可以在任何所示的操作之前、之后、同时或期间执行。另外，在其它实施方式中，操作可以重新排列或排序。在某些情况下，多任务和并行处理是有利的。此外，上述实施方式描述的各种系统组件的分离不应该被理解为在所有实施方式中都需要这种分离，需要理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。另外，其它实施方式在以下权利要求的范围内。在一些情况下，权利要求中列出的动作可以以不同的顺序执行，并且仍能实现所需的结果。

Claims (5)

1.一种用于在用户的三维(3D)物理环境中生成虚拟内容的方法，所述方法包括：

在硬件处理器的控制下：

分析从姿势传感器获取的数据以识别用户的姿势；

至少部分地基于所述姿势识别所述用户的3D物理环境中的物理表面；

接收用于启动与所述物理表面进行交互的指示；

确定与所述物理表面相关联的环境信息；

基于所述环境信息访问与所述物理表面相关联的可用用户界面选项集；

从所述可用用户界面选项集确定能够清楚地放置在与所述物理表面相关联的虚拟用户界面中的多个用户界面选项；

基于能够清楚地放置在所述虚拟用户界面中的所述多个用户界面选项，从与所述物理表面相关联的可用用户界面操作集中基于所述环境信息选择用户界面操作子集；

生成用于在3D视图中向所述用户呈现包括能够清楚地放置在所述虚拟用户界面中的所述用户界面操作子集的所述虚拟用户界面的指令。

2.根据权利要求1所述的方法，其中，所述环境信息包括以下一项或多项：所述用户的环境的功能，所述用户的环境中的对象，对象以及对象与所述环境的关系，或者与所述用户的环境相关联的信息。

3.根据权利要求1所述的方法，其中，所述虚拟用户界面包括虚拟菜单。

4.一种用于在用户的三维(3D)物理环境中生成虚拟内容的方法，所述方法包括：

在硬件处理器的控制下：

分析从姿势传感器获取的数据以识别用户的姿势；

至少部分地基于所述姿势识别所述用户的3D物理环境中的物理表面；

接收用于启动与所述物理表面进行交互的指示；

确定与所述物理表面相关联的对象信息；

基于所述对象信息访问与所述物理表面相关联的可用用户界面选项集；

从所述可用用户界面选项集确定能够清楚地放置在与所述物理表面相关联的虚拟用户界面中的多个用户界面选项；

基于能够清楚地放置在所述虚拟用户界面中的所述多个用户界面选项，从与所述物理表面相关联的可用用户界面操作集中基于所述对象信息选择用户界面操作子集；

生成用于在3D视图中向所述用户呈现包括能够清楚地放置在所述虚拟用户界面中的所述用户界面操作子集的所述虚拟用户界面的指令。

5.根据权利要求4所述的方法，其中，所述对象信息包括如下一项或多项：物理对象的形状，所述物理对象的功能，对象的类型，与所述用户的环境中的对象相关联的信息，或所述物理对象的可供性。

Images