CN109313509B - 视野周围的视觉光环 - Google Patents

Abstract

可穿戴设备可以具有视野，用户可以通过该视野感知真实或虚拟对象。该设备可以显示表示与用户视野之外的对象相关联的上下文信息的视觉光环。视觉光环可以显示在视野边缘附近，并且可以随着与对象相关联的上下文信息的改变(例如，对象和用户(或用户视野)的相对位置改变)而动态地改变。

Description

视野周围的视觉光环

相关申请的交叉引用

本申请根据35U.S.C.§119(e)主张2016年4月21日提交的序列号为62/325,685的，名称为“RENDERING AURAS FOR OBJECTS IN AN AUGMENTED OR VIRTUAL REALITYENVIRONMENT(在增强或虚拟现实环境中呈现对象的光环)”的美国临时专利申请的优先权益，该申请的全部内容通过引用并入此文。

技术领域

本发明涉及虚拟现实和增强现实成像和可视化系统，更具体地，本发明涉及通知用户环境中的对象。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统开发，其中，数字再现图像或其一部分以看起来是真实的或可以被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及以对其它实际的真实世界视觉输入不透明的方式呈现数字或虚拟图像信息；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为对用户周围真实世界的可视化的增强。混合现实或“MR”涉及合并真实和虚拟世界以产生物理对象和虚拟对象共存并且实时地交互的新环境。事实证明，人类视觉感知系统非常复杂，而且，产生促进在其它虚拟或真实世界图像元素当中舒适、感觉自然、丰富呈现的虚拟图像元素的VR、AR或MR技术非常具有挑战性。本文公开的系统和方法解决了与VR、AR或MR技术相关的各种挑战。

发明内容

在一个实施例中，公开了一种用于提供用户的三维(3D)环境中的可交互对象的指示的系统。该系统可以包括可穿戴设备的显示系统，该显示系统被配置为向用户呈现三维视图并且允许与用户的能视域(FOR)中的对象进行用户交互。FOR可以包括能够经由显示系统被用户感知的该用户周围的环境的一部分。该系统还可以包括传感器，该传感器被配置为获取与用户的姿势相关联的数据；以及硬件处理器，该硬件处理器与传感器和显示系统通信。述硬件处理器可以被编程为：基于由传感器获取的数据来确定用户的姿势；至少部分地基于所述用户的姿势确定所述用户的视野(FOV)，该FOV包括能够经由显示系统被用户在给定时间感知的FOR的一部分；识别位于用户的FOV之外的可交互对象；访问与可交互对象相关联的上下文信息；基于该上下文信息确定光环的视觉表示；以及呈现该光环的视觉表示，使得能够被用户感知的该视觉光环的至少一部分位于该用户的FOV的边缘上。

在另一实施例中，公开了一种用于提供用户的三维(3D)环境中的可交互对象的指示的方法。该方法可以在可穿戴设备的控制下执行，该可穿戴设备具有显示系统、传感器以及硬件处理器，该显示系统被配置为向用户呈现三维(3D)视图并且允许与用户的能视域(FOR)中的对象进行用户交互，该FOR可以包括能够经由显示系统被用户感知的该用户周围的环境的一部分，该传感器，被配置为获取与用户的姿势相关联的数据，该硬件处理器与传感器和显示系统通信。该方法可以包括：至少部分地基于用户的姿势确定该用户的视野(FOV)，该FOV包括能够经由显示系统被该用户在给定时间感知的FOR的一部分；识别位于用户的FOV之外的可交互对象；访问与该可交互对象相关联的上下文信息；基于该上下文信息确定光环的视觉表示；以及呈现该光环的视觉表示，使得能够被用户感知的视觉光环的至少一部分位于用户的FOV的边缘上。

在附图和以下描述中阐述了本说明书中描述的主题的一个或多个实施方式的细节。根据说明书、附图和权利要求，其它特征、方面和优点将变得显而易见。本发明内容和以下具体实施方式都并非意在限定或限制本发明主题的范围。

附图说明

图1示出了具有由人观看到的某些虚拟现实对象和某些物理对象的混合现实场景的图示。

图2示意性示出了可穿戴系统的示例。

图3示意性示出了使用多个深度平面模拟三维图像的方法的各方面。

图4示意性示出了用于将图像信息输出给用户的波导堆叠的示例。

图5示出了可以由波导输出的示例出射光束。

图6是示出光学系统的示意图，该光学系统包括波导装置、光学耦合器子系统，该光学耦合子系统用于将光光学耦合到波导装置或从波导装置光学耦合光，以及控制子系统，该控制子系统用于生成多焦体积显示器、图像或光场。

图7是可穿戴系统的示例的框图。

图8是呈现与所识别的对象有关的虚拟内容的方法的示例的过程流程图。

图9是可穿戴系统的另一示例的框图。

图10是用于确定可穿戴系统的用户输入的方法的示例的过程流程图。

图11是用于通过虚拟用户界面进行交互的方法的示例的过程流程图。

图12示意性示出了视野(FOV)中的虚拟对象和能视域(FOR)中的虚拟对象的示例。

图13示意性示出了通知用户用户FOR中的对象的示例。

图14A示意性示出了FOV边缘上的视觉光环的透视图。

图14B示意性示出了针对用户FOV内的对象制作不可见的对应光环的示例。

图15A和图15B示意性地示出了视觉光环的用户体验的示例。

图16示出了呈现视觉光环的视觉表示的示例过程。

图17示出了基于上下文信息确定视觉光环的视觉表示的示例过程。

贯穿附图，可以重复使用参考标号来指示被引用元件之间的对应关系。提供附图是为了说明本文描述的示例实施例，并不旨在限制本公开的范围。此外，本公开中的附图是用于说明目的，并不是按比例绘制。尽管附图中将FOV示出为矩形，但是FOV的该表示并不旨在限制。FOV的二维表示可以是任意形状，诸如圆形、椭圆形、三角形、多边形、圆角正方形或其组合等。

具体实施方式

概述

可穿戴系统可以被配置为显示增强或虚拟现实内容。因此，用户的视觉计算体验可以被扩展到用户周围的3D环境。然而，通过可穿戴系统感知的用户视野(FOV)(也被称为用户FOV)可以小于人眼的自然FOV或小于用户周围的整个环境。因此，在用户的环境中可能存在最初在用户FOV之外，但是可以随后移动到用户FOV中，或者在用户的姿势改变(其将改变用户FOV)的情况下变得可感知的物理或虚拟对象。例如，在游戏的背景中，用户可能试图找到机器人的化身。如果机器人刚好在用户的当前FOV之外，则用户不会从可穿戴系统接收到机器人在附近的线索。如果用户稍微移动她的头部，则机器人可能突然进入用户FOV，可以令用户感到惊讶。此外，如果通过可穿戴系统的用户FOV相对较小，则用户可能难以找到机器人，除非用户转动她的头部或直接注视机器人。

为了改善用户的视觉体验，可穿戴系统可以通知用户关于位于用户FOV之外的对象。例如，可穿戴系统可以呈现位于用户当前的FOV之外的对应对象的视觉光环的视觉表示。光环的视觉表示可被用于指示与对象、用户的环境或用户相关联的上下文信息。例如，更亮或更大的光环可以指示对象更接近FOV，而更暗或更小的光环可以指示对象离FOV更远。类似地，光环的颜色可被用于指示对象的类型。例如，敌人的化身(在虚拟游戏中)可以与红色光环相关联，而朋友的化身(在虚拟游戏中)可以与绿色光环相关联，系统通知可以与蓝色光环相关联。视觉光环的部分可以被放置在用户FOV的边缘上。光环的大小、形状或位置可随用户FOV改变或对象的移动而改变。因此，光环的视觉表示或光环的视觉表示的改变可以向用户提供有关当前在用户FOV之外的附近对象的有用线索。

可穿戴系统的3D显示示例

可穿戴系统(这里也被称为增强现实(AR)系统)可以被配置为向用户呈现2D或3D虚拟图像。图像可以是静止图像、视频帧或视频或其组合等。可穿戴系统可以包括可穿戴设备，该穿戴设备可以单独或组合地呈现VR、AR或MR环境以用于用户交互。可穿戴设备可以是头戴式设备(HMD)，该头戴式设备(HMD)被可交换地用为AR设备(ARD)。

图1示出了具有由人观看到的某些虚拟现实对象以及某些物理对象的混合现实场景的图示。在图1中，示出了MR场景100，其中MR技术的用户看到真实世界的公园状设置110，该设置以人、树、建筑物，以及位于背景中的具体的平台120为特征。除了这些项目之外，MR技术的用户还感知到他“看到”站在真实世界平台120上的机器人雕像130，以及看起来像大黄蜂的化身的正在飞舞的卡通化身角色140，，即使这些元素在真实世界中不存在。

为了使3D显示器产生真实的深度感，更具体地，是模拟的表面深度感，可能需要显示器视野中的每个点生成与其虚拟深度对应的调节响应。如果如通过会聚和立体视觉的双目深度线索所确定的，对显示点的调节响应与该点的虚拟深度不对应，则人眼可能经历调节冲突，导致不稳定的成像、有害的眼睛疲劳、头痛，并且，在缺乏调节信息的情况下，几乎完全缺失表面深度。

VR、AR和MR体验可以由具有显示器的显示系统提供，在这些显示器中，与多个深度平面对应的图像被提供给观看者。对于每个深度平面，图像可以是不同的(例如，提供稍微不同的场景或对象的呈现)，并且可以由观看者的眼睛单独聚焦，从而有助于基于将位于不同深度平面上的场景的不同图像特征聚焦所需的眼睛的调节，或者基于观察处于失焦状态的不同深度平面上的不同图像特征，为用户提供深度线索。如本文其它地方所讨论的，这种深度线索提供了可靠的深度感。

图2示出了可穿戴系统200的示例。可穿戴系统200包括显示器220，以及支持该显示器220的功能的各种机械和电子模块及系统。显示器220可以被耦接到框架230，该框架可由显示系统用户、穿戴者或观看者210穿戴。显示器220可以被定位在用户210的眼前。显示器220可以向用户呈现AR/VR/MR内容。显示器220可以包括穿戴在用户头上的头戴式显示器(HMD)。在一些实施例中，扬声器240被耦接到框架230并且被定位在用户的耳道附近(在一些实施例中，另一扬声器(未示出)可以被定位在用户的另一耳道附近以提供立体/可塑形的声音控制)。

可穿戴系统200可包括面向外部的成像系统464(如图4所示)，该成像系统464观察用户周围环境中的世界。可穿戴系统200还可以包括面向内部的成像系统462(如图4所示)，该成像系统462可以跟踪用户的眼睛运动。面向内部的成像系统可以跟踪一只眼睛的运动或全部两只眼睛的运动。面向内部的成像系统462可以被附接到框架230并且可以与处理模块260或270电连接，处理模块260或270可以处理由面向内部的成像系统获取的图像信息以确定例如用户210的眼睛的瞳孔直径或取向、眼睛运动或眼睛姿势。

作为示例，可穿戴系统200可以使用面向外部的成像系统464或面向内部的成像系统462来获取用户姿势的图像。图像可以是静止图像、视频帧或视频或其组合等。

显示器220可以诸如通过有线引线或无线连接可操作地将250耦接到本地数据处理模块260，该本地数据处理模块260可以以各种配置安装，诸如固定地附接到框架230，固定地附接到用户戴的头盔或帽子，嵌入耳机中，或以其它方式可移除地附接到用户210(例如，采取背包式配置，采取束带连接式配置)。

本地处理和数据模块260可以包括硬件处理器，以及数字存储器，诸如非易失性存储器(例如，闪存)，这两者都可被用于辅助数据的处理、缓存和存储。这些数据可以包括a)通过传感器(其例如可以被可操作地耦接到框架230或以其它方式附接到用户210)捕获的数据，这些传感器诸如图像捕获设备(例如，面向内部的成像系统或面向外部的成像系统中的相机)、麦克风、惯性测量单元(IMU)、加速度计、指南针、全球定位系统(GPS)单元、无线电设备或陀螺仪；或b)使用远程处理模块270或远程数据存储库280获取或处理的数据，这些数据可以在被执行完上述处理或检索之后传送到显示器220。本地处理和数据模块260可以通过通信链路262或264(诸如经由有线或无线通信链路)可操作地耦接到远程处理模块270和远程数据存储库280，使得这些远程模块可用作本地处理和数据模块260的资源。此外，远程处理模块270和远程数据存储库280可以被可操作地彼此耦接。

在一些实施例中，远程处理模块270可以包括被配置为分析和处理数据和/或图像信息的一个或多个处理器。在一些实施例中，远程数据存储库280可以包括数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其它网络配置获得。在一些实施例中，在本地处理和数据模块中存储全部数据并执行全部计算，允许来自远程模块的完全自主地使用。

人类视觉系统是复杂的，并且提供逼真的深度感是具有挑战性的。不受理论的限制，可以认为对象的观看者可能由于聚散度和调节的组合而将对象感知为“三维的”。两只眼睛相对于彼此的聚散度动作(即，瞳孔彼此靠近或远离以使眼睛的视线会聚固定在对象上的转动动作)与眼睛晶状体的聚焦(或“调节”)密切相关。在正常情况下，根据被称为“调节-聚散度反射”的关系，更改眼睛晶状体的焦点或调节眼睛以将焦点从一个对象转移到不同距离处的另一对象将自动导致到与同一距离匹配的聚散度变化。在调节与聚散度之间提供更好匹配的显示系统可以形成更逼真和舒适的三维图像模拟。

图3示出了使用多个深度平面模拟三维图像的方法的各方面。参考图3，z轴上距眼睛302和304不同距离处的对象由眼睛302和304调节，以使这些对象对焦。眼睛302和304呈现特定的调节状态，以使沿z轴不同距离处的对象进行聚焦。因此，可以说特定的调节状态与深度平面306中的特定一者相关联，具有相关联的焦距，使得当眼睛针对特定深度平面处于调节状态时，该特定深度平面中的对象或其部分对焦。在一些实施例中，可以通过为每只眼睛302和304提供图像的不同呈现，并且还可以通过提供与每个深度平面对应的图像的不同呈现来模拟三维图像。尽管为了清楚地说明而示出为是分开的，但是应当理解，例如在沿z轴的距离增加时，眼睛302和304的视野可以重叠。此外，尽管为了便于说明而示出为平坦的，但是应当理解，深度平面的轮廓可以在物理空间中弯曲，使得深度平面中的所有特征在眼睛处于特定调节状态时对焦。不受理论的限制，可以认为人眼通常可以解释有限数量的深度平面以提供深度感。因此，可以通过向眼睛提供与这些有限数量的深度平面中的每者对应的图像的不同呈现，来实现高度可信的感知深度模拟。

波导堆叠组件

图4示出了用于将图像信息输出给用户的波导堆叠的示例。可穿戴系统400包括波导的堆叠或堆叠的波导组件480，该组件可被用于使用多个波导432b、434b、436b、438b、4400b向眼睛/大脑提供三维感知。在一些实施例中，可穿戴系统400可以与图2的可穿戴系统200对应，图4更详细地示意性地示出了该可穿戴系统200的一些部分。例如，在一些实施例中，波导组件480可以被集成到图2的显示器220中。

继续参考图4，波导组件480还可以包括位于波导之间的多个特征458、456、454、452。在一些实施例中，特征458、456、454、452可以是透镜。在其它实施例中，特征458、456、454、452可以不是透镜。相反，它们仅是间隔物(例如，用于形成气隙的包层和/或结构)。

波导432b、434b、436b、438b、440b和/或多个透镜458、456、454、452可以被配置为以各种水平的波前曲率或光线发散度向眼睛发送图像信息。每个波导水平可以与特定深度平面相关联，并且可以被配置为输出与该深度平面对应的图像信息。图像注入设备420、422、424、426、428可被用于将图像信息注入波导440b、438b、436b、434b、432b中，这些波导中的每个波导可以被配置为将入射光分布在每个相应的波导上以用于朝向眼睛410输出。光从图像注入设备420、422、424、426、428的输出表面出射，并且被注入到波导440b、438b、436b、434b、432b的对应的输入边缘。在一些实施例中，可以将单个光束(例如，准直光束)注入到每个波导，以输出整个克隆的准直光束场，这些准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)导向眼睛410。

在一些实施例中，图像注入设备420、422、424、426、428是分立的显示器，每个显示器产生用于分别注入到对应波导440b、438b、436b、434b、432b的图像信息。在一些其它实施例中，图像注入设备420、422、424、426、428是单个多路复用显示器的输出端，这些显示器例如可以经由一个或多个光学导管(例如，光纤光缆)将图像信息管道传输到图像注入设备420、422、424、426、428中的每一者。

控制器460控制堆叠波导组件480和图像注入设备420、422、424、426、428的操作。控制器460包括编程(例如，非暂时性计算机可读介质中的指令)，该编程调节图像信息到波导440b、438b、436b、434b、432b的定时和提供。在一些实施例中，控制器460可以是单个集成设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器460可以是处理模块260或270(如图2所示)的部分。

波导440b、438b、436b、434b、432b可以被配置为通过全内反射(TIR)在每个相应的波导内传播光。波导440b、438b、436b、434b、432b可以各自是平面的或具有另一形状(例如，弯曲的)，其具有顶部主表面和底部主表面以及在这些顶部主表面和底部主表面之间延伸的边缘。在所示的配置中，波导440b、438b、436b、434b、432b可各自包括光提取光学元件440a、438a、436a、434a、432a，这些元件被配置为通过将在每个相应波导内传播的光重定向到波导之外来从波导中提取光，从而向眼睛410输出图像信息。所提取的光也可以被称为耦出光，并且光提取光学元件也可以被称为耦出光学元件。在波导中传播的光照射光重定向元件所在的位置处，可以由波导输出所提取的光束。光提取光学元件(440a、438a、436a、434a、432a)例如可以是反射或衍射光学特征。尽管为了便于描述和作图清晰，光提取光学元件440a、438a、436a、434a、432a被示出为设置在波导440b、438b、436b、434b、432b的底部主表面处，但是在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以被设置在顶部主表面或底部主表面，和/或可以直接被设置在波导440b、438b、436b、434b、432b的体中。在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以在附接到透明衬底，以在形成波导440b、438b、436b、434b、432b的材料层中形成。在一些其它实施例中，波导440b、438b、436b、434b、432b可以是整块材料，并且光提取光学元件440a、438a、436a、434a、432a可以形成在该块材料的表面上和/或内部。

继续参考图4，如本文所讨论的，每个波导440b、438b、436b、434b、432b被配置为输出光以形成与特定深度平面对应的图像。例如，最靠近眼睛的波导432b可以被配置为将注入这种波导432b的准直光传送到眼睛410。准直光可以代表光学无限远焦平面。下一上行波导434b可以被配置为发出在到达眼睛410之前传输通过第一透镜452(例如，负透镜)的准直光；第一透镜452可以被配置为产生微凸的波前曲率，使得眼睛/大脑将来自该下一上行波导434b的光解释为来自从光学无限远向内更接近眼睛410的第一焦平面的光。类似地，第三上行波导436b使其输出光在到达眼睛410之前传输通过第一透镜452和第二透镜454。第一透镜452和第二透镜454的组合光焦度(optical power)可以被配置为产生另一波前曲率增量，使得眼睛/大脑将来自第三波导436b的光解释为来自从光学无限远向内进一步更靠近人的第二焦平面的光，而不是来自下一上行波导434b的光。

其它波导层(例如，波导438b、440b)和透镜(例如，透镜456、458)被类似地配置，且在堆叠中的最高波导440b通过其与眼睛之间的所有透镜发送其输出，以获得代表与人最接近的焦平面的总光焦度。为了在观察/解释来自堆叠波导组件480的另一侧上的世界470的光时，补偿透镜堆叠458、456、454、452，可以在堆叠的顶部设置补偿透镜层430以补偿下面的透镜堆叠458、456、454、452的总光焦度。这种配置提供与可用的波导/透镜配对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面都可以是静态的(例如，不是动态的或电活性的)。在一些替代实施例中，使用电活性特征，它们中的一者或两者都可以是动态的。

继续参考图4，光提取光学元件440a、438a、436a、434a、432a可以被配置为既将光重定向到它们相应的波导之外，又为与波导相关联的特定深度平面以适当的发散量或准直量输出该光。因此，具有不同关联深度平面的波导可以具有不同配置的光提取光学元件，这些元件根据关联深度平面以不同的发散量输出光。在一些实施例中，如本文所讨论的，光提取光学元件440a、438a、436a、434a、432a可以是体特征或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件440a、438a、436a、434a、432a可以是体全息图、表面全息图和/或衍射光栅。诸如衍射光栅之类的光提取光学元件在2015年6月25日公布的美国专利公开2015/0178939中被描述，该公开的全部内容通过引用并入本文。

在一些实施例中，光提取光学元件440a、438a、436a、434a、432a是形成衍射图案的衍射特征，或“衍射光学元件”(在本文中也被称为“DOE”)。优选地，DOE具有相对低的衍射效率，使得只有一部分光束借助DOE的每个交叉点朝着眼睛410偏转，而其余部分经由全内反射继续前进通过波导。因此，携带图像信息的光可以被分成多个相关的出射光束，这些出射光束在多个位置处从波导出射，并且针对在波导内四处弹跳的特定准直光束，结果是形成朝向眼睛304出射的相当均匀的图案。

在一些实施例中，一个或多个DOE可以在它们活跃地衍射的“开启”状态与不明显衍射的“关闭”状态之间切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中，微滴包括在主体介质中的衍射图案，并且微滴的折射率可以被切换为基本匹配主体材料的折射率(在这种情况下，图案不会明显地衍射入射光)，或者微滴可以被切换为与主体介质的折射率失配的折射率(在这种情况下，图案活跃地衍射入射光)。

在一些实施例中，深度平面或景深的数量和分布可以基于观看者的眼睛的瞳孔大小或取向动态地改变。景深可以与观看者的瞳孔大小成反比地改变。因此，当观看者眼睛的瞳孔大小减小时，景深增加，使得由于平面的位置超出眼睛的焦深而无法辨别的该平面，可能随着瞳孔大小的减小和景深的相应增加相称而变得可辨别并且显得更对焦。同样地，被用于向观看者呈现不同图像的间隔深度平面的数量可以随着瞳孔大小的减小而减小。例如，在不调整远离一个深度平面且靠近另一深度平面的眼睛的适应性的情况下，观看者可能无法以一个瞳孔大小清楚地感知第一深度平面和第二深度平面两者的细节。然而，在不改变适应性的情况下，这两个深度平面可以以另一瞳孔大小同时充分地对焦于用户。

在一些实施例中，显示系统可以基于瞳孔大小或取向的确定，或者基于接收指示特定瞳孔大小或取向的电信号，改变接收图像信息的波导的数量。例如，如果用户的眼睛不能区分与两个波导相关联的两个深度平面，则控制器460可以被配置为或被编程为停止向这些波导中的一者提供图像信息。有利地，这可以减轻系统的处理负担，从而增加系统的响应性。在用于波导的DOE可在打开和关闭状态之间切换的实施例中，当波导确实接收到图像信息时，DOE可以被切换到关断状态。

在一些实施例中，可能需要使出射光束满足直径小于观看者眼睛直径的条件。然而，考虑到观看者瞳孔大小的变化，满足这种条件可能是具有挑战性的。在一些实施例中，通过响应于观看者瞳孔大小的确定而改变出射光束的大小，在宽范围的瞳孔大小上满足该条件。例如，随着瞳孔大小减小，出射光束的大小也可能减小。在一些实施例中，可以使用可变孔径来改变出射光束大小。

可穿戴系统400可包括面向外部的成像系统464(例如，数字相机)，该成像系统对世界470的一部分进行成像。世界470的该部分可被称为世界相机的视野(FOV)。并且成像系统464有时被称为FOV相机。可用于观看者观看或成像的整个区域可被称为能视域(FOR)。因为，穿戴者可以移动其身体、头部或眼睛以感知空间中的基本任何方向，所以FOR可以包括围绕可穿戴系统400的4π弧度的立体角。在其它上下文中，穿戴者的动作可能更受限制，相应地，穿戴者的FOR可以对着更小的立体角。从面向外部的成像系统464获得的图像可被用于跟踪用户做出的手势(例如，手部或手指的姿势)，检测用户前面的世界470中的对象等。

可穿戴系统400还可以包括面向内部的成像系统466(例如，数字相机)，该成像系统观察用户的动作，诸如眼睛动作和面部动作。面向内部的成像系统466可被用于捕获眼睛410的图像以确定眼睛304的瞳孔的大小和/或取向。面向内部的成像系统466可被用于获得用来确定用户正在观看的方向(例如，眼睛姿势)或用于用户的生物识别(例如，经由虹膜识别)的图像。在一些实施例中，至少一个相机可被用于每只眼睛，以单独地分开确定每只眼睛的瞳孔大小或眼睛姿势，从而允许动态的调整向每只眼睛呈现的图像信息以适应该眼睛。在一些其它实施例中，仅确定单个眼睛410的瞳孔直径或取向(例如，每对眼睛仅使用单个相机)，并且假设对于用户的双眼是相似的。可以分析由面向内部的成像系统466获得的图像以确定用户眼睛姿势或情绪，可穿戴系统400可以使用该确定来决定应该向用户呈现的音频或视觉内容。可穿戴系统400还可以使用诸如IMU、加速度计、陀螺仪之类的传感器来确定头部姿势(例如，头部位置或头部取向)。

可穿戴系统400可以包括用户输入设备466，通过该设备用户可以向控制器460输入命令以与可穿戴系统400进行交互。例如，用户输入设备466可以包括触控板、触摸屏、操纵杆、多自由度(DOF)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向垫(D-pad)、手持操纵器、触觉设备、图腾(例如，用作虚拟用户输入设备)等。多DOF控制器可以感测控制器的部分或全部可能的平移(例如，左/右、前/后、或上/下)或旋转(例如，偏航、俯仰或翻滚)方面的用户输入。支持平移动作的多DOF控制器可以被称为3DOF，而支持平移和旋转的多DOF控制器可以被称为6DOF。在一些情况下，用户可以使用手指(例如，拇指)在触敏输入设备上按压或轻扫以向可穿戴系统400提供输入(例如，以将用户输入提供给由可穿戴系统400提供的用户界面)。用户输入设备466可以在使用可穿戴系统400期间由用户握持。用户输入设备466可以与可穿戴系统400进行有线或无线通信。

图5示出了由波导输出的出射光束的示例。示出了一个波导，但可以理解，波导组件480中的其它波导可以类似地起作用，其中，波导组件480包括多个波导。光520在波导432b的输入边缘432c处被注入波导432b中，并且通过TIR在波导432b内传播。在光520照射在DOE 432a上的点处，该光的部分从波导出射作为出射光束510。出射光束510被示出为基本上平行，但它们也可以被重定向为以一定角度(例如形成发散出射光束)传播到眼睛410，该角度取决于与波导432b相关联的深度平面。可以理解，基本平行的出射光束可以指示具有光提取光学元件的波导，该光提取光学元件耦出光形成看上去被设置在距眼睛410较远距离(例如，光学无限远)处的深度平面上的图像。其它波导或其它光提取光学元件组可以输出更加发散的出射光束图案，这需要眼睛410适应更近的距离以将其对焦在视网膜上，并且将被大脑解释为来自比光学无限远更接近眼睛410的距离的光。

图6是示出光学系统的示意图，该光学系统包括波导装置，将光光学耦合到波导装置或从波导装置光学耦合出光的光学耦合器子系统，以及控制子系统，该光学系统被用于生成多焦立体显示、图像或光场。该光学系统可以包括波导装置，将光光学耦合到波导装置或从波导装置光学耦合出光的光学耦合器子系统，以及控制子系统。该光学系统可被用于生成多焦立体、图像或光场。该光学系统可以包括一个或多个主平面波导632a(图6中仅示出一个)以及与至少一些主波导632a中的每者相关联的一个或多个DOE 632b。平面波导632b类似于参考图4所讨论的波导432b、434b、436b、438b、440b。该光学系统可以采用分布波导装置，来沿着第一轴(图6视图中的纵轴或Y轴)中继光，并且沿着第一轴(例如，Y轴)扩展光的有效出射光瞳。分布波导装置例如可以包括分布平面波导622b和与分布平面波导622b相关联的至少一个DOE 622a(由双点划线示出)。分布平面波导622b至少在一些方面可以与主平面波导632b相似或相同，但是与其取向不同。类似地，至少一个DOE 622a可以在至少在一些方面与DOE632a相似或相同。例如，分布平面波导622b和/或DOE 622a可以分别包括与主平面波导632b和/或DOE 632a相同的材料。图6所示的光学显示系统600的实施例可以被集成到图2所示的可穿戴系统200中。

中继的和出射光瞳扩展的光可以从分布波导装置光学耦合到一个或多个主平面波导632b中。主平面波导632b可以沿着优选地与第一轴正交的第二轴(例如，图6视图中的横轴或X轴)中继光。值得注意的是，第二轴可以是不与第一轴正交的轴。主平面波导632b沿着第二轴(例如，X轴)扩展光的有效出射光瞳。例如，分布平面波导622b可以沿着纵轴或Y轴中继和扩展光，并且将该光传递到主平面波导632b，该主平面波导632b沿着横轴或X轴中继和扩展光。

光学系统可以包括能够光学耦合到单模光纤640的近端中的一种或多种彩色光源(例如，红色、绿色和蓝色激光)610。光纤640的远端可以带有螺纹或被压电材料制成的中空管642接收。该远端作为非固定柔性悬臂644从管642突出。压电管642可以与四象限电极(未示出)相关联。例如，这些电极可以镀在管642的外侧、外表面或外周边或外径上。芯电极(未示出)也可以位于管642的核心、中心、内周边或内径中。

例如经由引线660电耦合的驱动电子器件650驱动相对的电极对以独立地在两个轴上弯曲压电管642。光纤644的突出的远端具有机械共振模式。共振频率可取决于光纤644的直径、长度和材料特性。通过在光纤悬臂632的第一机械共振模式附近振动压电管642，可以引起光纤悬臂644发生振动，并且可以扫过大的偏转。

通过激发两个轴的共振，光纤悬臂644的尖端在填充二维(2D)扫描的区域中被执行双轴扫描。通过与光纤悬臂644的扫描同步地调制一个或多个光源610的强度，从光纤悬臂644出射的光可以形成图像。在美国专利公开NO.2014/0003762中提供了这种设置的描述，该公开的全部内容通过引用并入本文。

光学耦合器子系统的部件可以对从扫描光纤悬臂644出射的光进行准直。准直光可以由反射镜648反射到包含至少一个衍射光学元件(DOE)622a的窄的分布平面波导622b中。准直光可以通过TIR沿分布平面波导622b竖直(相对于图6的视图)传播，并且在这样做时，与DOE 622a重复相交。DOE 622a优选具有低衍射效率。这可以导致在与DOE 622a的每个交点处，部分光一(例如，10％)被朝向较大的主平面波导632b的边缘衍射，并且部分光经由TIR沿着分布平面波导622b的长向下在其原始轨迹上继续。

在与DOE 622a的每个交点处，额外的光可以被朝向主波导632b的入口衍射。通过将入射光分成多个耦出组，光的出射光瞳可以由分布平面波导622b中的DOE 4竖直扩展。从分布平面波导622b耦出的该竖直扩展的光可以进入主平面波导632b的边缘。

进入主波导632b的光经由TIR沿着主波导632b水平传播(相对于图6的视图)。当光经由TIR沿着主波导632b的长的至少部分水平传播时，光在多个点处与DOE 632a相交。DOE632a可以有利地被设计或配置为具有线性衍射图案和径向对称衍射图案的总和的相轮廓，以产生光的偏转和聚焦。DOE 632a可以有利地具有低的衍射效率(例如，10％)，使得只有部分光束在DOE 632a的每个交点处朝向观看的眼睛偏转，而其余的光继续经由TIR通过主波导632b传播。

在传播光和DOE 632a之间的每个交点处，部分光被朝向主波导632b的相邻面衍射，从而允许光逸出TIR，并且从主波导632b的面出射。在一些实施例中，DOE 632a的径向对称衍射图案附加地赋予衍射光以聚焦水平(focus level)，既成形单个光束的光波前(例如，赋予曲率)，又以与设计的聚焦水平相匹配的角度来转向光束。

因此，这些不同的路径可以通过处于不同角度、聚焦水平和/或在出射光瞳处产生不同填充图案的多个DOE 632a将光耦出主平面波导632b。出射光瞳处的不同填充图案可以被有利地用于创建具有多个深度平面的光场显示器。波导组件中的每一层或堆叠中的层组(例如3个层)可被用于生成相应的颜色(例如，红色、蓝色、绿色)。因此，例如，可以采用第一组三个相邻层分别在第一焦深处生成红光、蓝光和绿光。可以采用由第二组三个相邻层分别在第二焦深处生成红光、蓝光和绿光。可以采用多个组来生成具有各种焦深的全3D或4D彩色图像光场。

可穿戴系统的其它部件

在许多实施方式中，可穿戴系统可以包括其它部件，作为上述可穿戴系统的部件的补充或替代。可穿戴系统例如可以包括一个或多个触觉设备或部件。触觉设备或部件可操作地向用户提供触感。例如，触觉设备或部件可以在接触虚拟内容(例如，虚拟对象、虚拟工具、其它虚拟构造)时提供压力或纹理的触感。触感可以复制虚拟对象所表示的物理对象的感觉，或者可以复制虚拟内容所表示的想象对象或角色(例如，龙)的感觉。在一些实施方式中，用户可穿戴触觉设备或部件(例如，用户可穿戴手套)。在一些实施方式中，触觉设备或部件可以由用户握持。

可穿戴系统例如可以包括一个或多个可由用户操纵以允许输入或与可穿戴系统交互的物理对象。这些物理对象在此可以被称为图腾。一些图腾可能采取无生命对象的形式，诸如金属片或塑料片、墙、桌面。在某些实施方式中，图腾实际上可能不具有任何物理输入结构(例如，键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以仅提供物理表面，并且可穿戴系统可以呈现用户界面，以使用户看起来在图腾的一个或多个表面上。例如，可穿戴系统可以使计算机键盘和触控板的图像呈现为看起来位于图腾的一个或多个表面上。例如，可穿戴系统可以使虚拟计算机键盘和虚拟触控板出现在用作图腾的矩形薄铝板的表面上。矩形板本身没有任何物理键或触控板或传感器。然而，当经由虚拟键盘或虚拟触控板做出选择或输入时，可穿戴系统可以通过该矩形板检测到用户操纵或交互或触摸。用户输入设备466(如图4所示)可以是图腾的实施例，图腾可以包括触控板、触摸板、触发器、操纵杆、轨迹球、摇杆或虚拟开关、鼠标、键盘、多自由度控制器或另外的物理输入设备。用户可以单独或结合姿势使用图腾来与可穿戴系统或其他用户进行交互。

在美国专利公开No.2015/0016777中描述了可用于本公开的可穿戴设备HMD和显示系统的触觉设备和图腾的示例，该专利的全部内容通过引用并入此文。

可穿戴系统、环境和接口示例

可穿戴系统可以采用各种与建图相关的技术，以便在呈现光场中实现高景深。在对虚拟世界进行建图时，了解真实世界中的所有特征和点以准确描绘与真实世界相关的虚拟对象是有利的。为此，通过包括传达有关真实世界的各种点和特征的信息的新画面，可以将从可穿戴系统的用户处捕获的FOV图像添加到世界模型。例如，可穿戴系统可以收集建图点(诸如2D点或3D点)组并找到新的建图点以呈现世界模型的更准确版本。可以将第一用户的世界模型(例如，通过诸如云网络之类的网络)传送给第二用户，使得第二用户可以体验第一用户周围的世界。

图7是MR环境700的示例的框图。MR环境700可以被配置为从一个或多个用户可穿戴系统(例如，可穿戴系统200或显示系统220)或固定房间系统(例如，房间相机等)接收输入(例如，来自用户的可穿戴系统的视觉输入702、诸如房间相机之类的固定输入704、来自各种传感器(手势、图腾、眼睛跟踪传感器)的传感器输入706、来自用户输入设备466的用户输入等)。可穿戴系统可以使用各种传感器(例如，加速度计、陀螺仪、温度传感器、运动传感器、深度传感器、GPS传感器、面向内部的成像系统、面向外部的成像系统等)来确定用户环境的位置和各种其它属性。该信息可以进一步通过来自房间中的固定相机的信息进行补充，这些相机可以从不同的视点提供图像或各种线索。由相机(诸如房间相机和/或面向外部的成像系统的相机)获取的图像数据可以被精简为一组建图点。

一个或多个对象识别器708可以浏览所接收的数据(例如，点集)并且在地图数据库710的帮助下识别或建图点，标记图像，将语义信息附加到对象。地图数据库710可包括在一段时间内收集的各种点及其对应的对象。各种设备和地图数据库可以通过网络(例如，LAN、WAN等)彼此连接以访问云。

基于该信息和地图数据库中的点集，对象识别器708a至708n可以识别环境中的对象。例如，对象识别器可以识别人脸、人、窗户、墙壁、用户输入设备、电视、用户环境中的其它对象等。一个或多个对象识别器可以专用于具有某些特性的对象。例如，对象识别器708a可被用于识别人脸，而另一对象识别器可被用于识别图腾。

可以使用各种计算机视觉技术来执行对象识别。例如，可穿戴系统可以分析由面向外部的成像系统464(如图4所示)获取的图像以执行场景重建、事件检测、视频跟踪、对象识别、对象姿势估计、学习、索引、运动估计或图像恢复等。可以使用一个或多个计算机视觉算法来执行这些任务。计算机视觉算法的非限制性示例包括：尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、定向的FAST和旋转的BRIEF(ORB)、二进制鲁棒不变可缩放关键点(BRISK)、快速视网膜关键点(FREAK)、维奥拉-琼斯(Viola-Jones)算法、特征脸(Eigenfaces)方法、卢卡斯-卡纳德(Lucas-Kanade)算法、霍恩-希尔科(Horn-Schunk)算法，均值漂移(Mean-shift)算法、视觉同步定位与建图(vSLAM)技术、连续贝叶斯估(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、光束法平差、自适应阈值转换法(和其它阈值技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(诸如，支持向量机、k最近邻算法、朴素贝叶斯(Naive Bayes)、神经网络(包括卷积或深度神经网络)或其它有监督/无监督模型等)等。

附加地或替代地，对象识别可以通过各种机器学习算法来执行。一旦经过训练，机器学习算法就可以由HMD存储。机器学习算法的一些示例可以包括有监督或无监督机器学习算法，包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习向量量化)、决策树算法(例如，分类和回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k均值聚类)、关联规则学习算法(例如，先验算法)、人工神经网络算法(例如，感知器)、深度学习算法(例如，深度玻尔茨曼机(Boltzmann Machine)或深度神经网络)、降维算法(例如，主成分分析)、集成算法(例如，堆栈泛化)和/或其它机器学习算法。在一些实施例中，可以针对各个数据集定制各个模型。例如，可穿戴设备可以生成或存储基本模型。基本模型可以被用作生成特定于数据类型(例如，远端临场会话中的特定用户)、数据集(例如，在远端临场会话中从用户处获得的附加图像组)、条件情况或其它变化的其它模型的起点。在一些实施例中，可穿戴HMD可以被配置为利用多种技术来生成用于分析聚合数据的模型。其它技术可包括使用预定阈值或数据值。

基于该信息和地图数据库中的点集，对象识别器708a至708n可以识别对象并用语义信息补充对象以赋予对象生命。例如，如果对象识别器将一组点识别为门，则系统可以附加一些语义信息(例如，门具有铰链并且具有围绕铰链的90度移动)。如果对象识别器将一组点识别为镜子，则系统可以附加该镜子具有可以照出房间中对象的图像的反射表面的语义信息。随着时间的推移，当系统(可以驻留在本地或可以通过无线网络访问)累积来自世界的更多数据时，地图数据库也随之增长。一旦识别出对象，就可以将信息发送到一个或多个可穿戴系统。例如，MR环境700可以包括有关在加利福尼亚发生的场景的信息。可以将环境700发送给纽约的一个或多个用户。基于从FOV相机接收的数据和其它输入，对象识别器和其它软件部件可以对从各种图像收集的点进行建图，识别对象等，使得场景可以被准确地“传递”给可能位于世界的另一部分的给第二用户。环境700还可以使用用于本地化目的的拓扑地图。

图8是呈现与所识别的对象相关的虚拟内容的方法800的示例的过程流程图。方法800描述了如何将虚拟场景表示给可穿戴系统的用户。用户可能在地理上远离场景。例如，用户可能在纽约，但可能想要观看当前正在加利福尼亚州发生的场景，或者可能想要与居住在加利福尼亚的朋友一起散步。

在框810处，可穿戴系统可以从用户和其他用户接收有关用户的环境的输入。这可以通过各种输入设备和在地图数据库中已经具有的知识来实现。在框810处，用户的FOV相机、传感器、GPS、眼睛跟踪等将信息传送到系统。在框820处，系统可以基于该信息确定稀疏点。稀疏点可被用于确定姿势数据(例如，头部姿势、眼睛姿势、身体姿势或手势)，这些数据可被用于显示和理解用户周围环境中各种对象的取向和位置。在框830处，对象识别器708a至708n可以浏览这些收集点并使用地图数据库识别一个或多个对象。然后，在框840处，可以将该信息传送到用户的个人可穿戴系统，并且在框850处，可以相应地向用户显示所需虚拟场景。例如，可以相对于纽约的用户的各种对象和其它环境以适当的取向、位置等显示所需虚拟场景(例如，位于CA的用户)。

图9是可穿戴系统的另一示例的框图。在该示例中，可穿戴系统900包括地图，该地图可以包括世界的地图数据。该地图可以部分地本地驻留在可穿戴系统，并且可以部分地驻留在可由有线或无线网络(例如，在云系统中)访问的网络存储位置。姿势处理910可以在可穿戴计算架构(例如，处理模块260或控制器460)上执行，并利用来自地图的数据确定可穿戴计算硬件或用户的位置和取向。可以根据当用户正在体验系统并在世界中操作时收集的数据来计算姿势数据。该数据可以包括图像、来自传感器(诸如惯性测量单元、其通常包括加速度计和陀螺仪部件)的数据和与真实或虚拟环境中的对象相关的表面信息。

稀疏点表示可以是同步定位与建图(SLAM或V-SLAM，指示其中输入只是图像/视觉的配置)过程的输出。该系统可以被配置为不仅找出各种部件在世界上的位置，而且还要找出该世界是由什么构成的。姿势可以是实现许多目标的构建块，包括填充地图和使用来自地图的数据。

在一个实施例中，稀疏点位置本身可能不完全足够，并且可能需要进一步的信息来产生多焦AR、VR或MR体验。可以使用通常参考深度图信息的密集表示来至少部分地填充该间隙。可以根据被称为双声道的处理940计算这样的信息，其中，使用诸如三角测量或飞行时间感测之类的技术来确定深度信息。图像信息和主动图案(诸如使用主动投影仪创建的红外图案)可以用作双声道处理940的输入。可以将大量深度图信息融合在一起，并且可以用表面表示来概括其中的一些。例如，数学上可定义的表面是类似游戏引擎的其它处理设备的有效(例如，相对于大点云)且可理解的输入。因此，双声道处理(例如，深度图)940的输出可以通过融合处理930组合。姿势也可以是该融合处理930的输入，并且融合930的输出变为填充建图处理920的输入。子表面可以彼此连接(诸如在地形图中)以形成更大的表面，并且该地图成为点和表面的大混合体。

为了解决混合现实处理960中的各个方面，可以使用各种输入。例如，在图9所示的实施例中，可以输入游戏参数以确定系统的用户正在玩打怪兽游戏，其中一个或多个怪兽位于各个＝位置，怪兽在各种条件下死亡或逃跑(诸如如果用户射杀怪物)，墙壁或其它对象位于各个位置等。世界地图可以包括有关这样的对象相对于彼此的位置信息，作为混合现实的另一有价值的输入。相对于世界的姿势也成为一种输入，并且几乎对任何交互系统起着关键作用。

来自用户的控制或输入是可穿戴系统900的另一输入。如本文所述，用户输入可包括视觉输入、手势、图腾、音频输入、传感器输入等。为了四处走动或玩游戏，例如用户可能需要指示可穿戴系统900关于他或她想做的事。除了在空间中移动自己之外，可以使用各种形式的用户控制。在一个实施例中，图腾(例如，用户输入设备)或诸如玩具枪之类的对象可由用户握持并由系统跟踪。该系统优选地被配置为知道用户正握持物品并且了解用户与物品进行何种交互(例如，如果图腾或对象是枪，则系统可以被配置为了解位置和取向，以及用户是否正在点击触发器或其它可能配备有传感器的遥感按钮或元件，诸如IMU，其可以有助于确定正在发生的事情，即使这样的活动不在任何相机的视野内)。

手势跟踪或识别还可以提供输入信息。可穿戴系统900可以被配置为跟踪和解释按钮按压的手势，指示向左或向右、停止、抓取、握持等的手势。例如，在一种配置中，用户可能想要在非游戏环境中翻阅电子邮件或日历，或与其它人或玩家“碰拳”。可穿戴系统900可以被配置为利用最小量的手势，手势可以是动态的，也可以不是动态的。例如，手势可以是简单的静态手势，例如张开手部表示停止，拇指向上表示完美，拇指向下表示不完美；或者左右或上下翻转手部来做出方向命令。

眼睛跟踪是另一输入(例如，跟踪用户正注视的位置来控制显示技术以在特定深度或范围进行呈现)。在一个实施例中，可以使用三角测量来确定眼睛的聚散度聚散度，然后使用为该特定人物开发的聚散度聚散度/调节模型，可以确定调节。

关于相机系统，图9所示的示例可穿戴系统990可包括三个相机对：相对宽FOV的相机对或被动SLAM相机对被布置在用户面部的侧面；另外的一个相机，其被定位在用户前方以处理双声道成像处理940，并且还捕获用户面前的手势和图腾/对象跟踪。FOV相机和用于双声道处理940的相机对可以是面向外部的成像系统464的一部分(如图4所示)。可穿戴系统900可以包括眼睛跟踪相机(其可以是图4所示的面向内部的成像系统462的一部分)，其被朝向用户的眼睛定位，以便对眼睛向量和其它信息进行三角测量。可穿戴系统900还可以包括一个或多个纹理光投影仪(诸如红外(IR)投影仪)以将纹理注入场景。

图10是用于确定可穿戴系统的用户输入的方法1000的示例的过程流程图。在该示例中，用户可以与图腾进行交互。用户可能有多个图腾。例如，用户可能已经指定了用于社交媒体应用的图腾，用于玩游戏的另一图腾等。在框1010处，可穿戴系统可以检测图腾的动作。图腾的动作可以通过面向外部的系统识别，或者可以通过传感器(例如，触觉手套、图像传感器、手部跟踪设备、眼睛跟踪相机、头部姿势传感器等)来检测。

在框1020处，至少部分地基于检测到的手势、眼睛姿势、头部姿势或通过图腾的输入，可穿戴系统检测图腾相对于参考帧的位置、取向和/或动作(或用户的眼睛姿势或头部姿势或手势)。参考帧可以是一组建图点，可穿戴系统基于该组建图点将图腾(或用户)的动作转换为动作或命令。在框1030处，对用户与图腾的交互进行建图。在框1040处，基于相对于参考帧1020的对用户交互的建图，系统确定用户输入。

例如，用户可以前后移动图腾或实体对象以表示翻虚拟页面并移到下一页或者从一个用户界面(UI)显示屏幕移到另一UI屏幕。作为另一示例，用户可移动他们的头部或眼睛以观看用户的FOR中的不同真实或虚拟对象。如果用户注视特定真实或虚拟对象的时间长于阈值时间，则可以选择该真实或虚拟对象作为用户输入。在一些实施方式中，可以跟踪用户眼睛的聚散度聚散度，并且可以使用调节/聚散度聚散度模型来确定用户眼睛的调节状态，该调节状态提供有关用户正聚焦在的深度平面的信息。在一些实施方式中，可穿戴系统可以使用射线投射技术来确定哪些真实或虚拟对象沿着用户的头部姿势或眼睛姿势的方向。在各种实施方式中，射线投射技术可包括投射具有基本上很小的横向宽度的窄的射线束或具有大横向宽度(例如，锥体或平截头体)的投射射线。

用户界面可以由本文所述的显示系统(诸如图2中的显示器220)投射。它还可以使用各种其它技术显示，诸如一个或多个投影仪。投影仪可以将图像投射到诸如画布或地球仪之类的物理对象上。可以使用系统外部或作为系统的一部分的一个或多个相机(诸如，使用面向内部的成像系统462或面向外部的成像系统464)来跟踪与用户界面的交互。

图11是用于与虚拟用户界面交互的方法1100的示例的过程流程图。方法1100可以由本文描述的可穿戴系统执行。

在框1110处，可穿戴系统可识别特定UI。UI的类型可以由用户预先确定。可穿戴系统可以基于用户输入(例如，手势、视觉数据、音频数据、传感器数据、直接命令等)识别需要填充特定UI。在框1120处，可穿戴系统可以生成用于虚拟UI的数据。例如，可以生成与UI的限制、一般结构、形状等相关联的数据。另外，可穿戴系统可以确定用户的物理位置的地图坐标，使得可穿戴系统可以显示与用户的物理位置相对的UI。例如，如果UI以身体为中心，则可穿戴系统可以确定用户的身体姿势、头部姿势或眼睛姿势的坐标，使得可以在用户周围显示环形UI，或者可以在墙壁上或在用户前方显示平面UI。如果UI以手为中心，则可以确定用户的手部的地图坐标。这些建图点可以借助通过FOV相机接收的数据、传感器输入或任何其它类型的收集数据导出。

在框1130处，可穿戴系统可以从云向显示器发送数据，或者可以从本地数据库向显示部件发送数据。在框1140处，基于所发送的数据向用户显示UI。例如，光场显示器可以将虚拟UI投射到用户的一只或两只眼睛中。一旦创建了虚拟UI，在框1150处，可穿戴系统可以只需等待来自用户的命令以生成虚拟UI上的更多虚拟内容。例如，UI可以是围绕用户身体的以身体为中心的环。然后，可穿戴系统可以等待命令(手势、头部或眼睛动作、来自用户输入设备的输入等)，并且如果它被识别(框1160)，可以向用户显示与命令相关联的虚拟内容(框1170)。作为示例，可穿戴系统可以等待用户的手势再混合多个流轨道。

可穿戴系统、UI和用户体验(UX)的其它示例在美国专利公开NO.2015/0016777中描述，该专利公开的全部内容通过引用并入此文。

能视域(FOR)和视野(FOV)中的对象的示例

图12示意性地示出了视野(FOV)中的虚拟对象和能视域(FOR)中的虚拟对象的示例。如参考图4所讨论的，FOR包括能够经由可穿戴系统被用户感知的用户周围的环境的一部分。对于头戴式增强现实设备(ARD)，FOR可以包括穿戴者周围的基本全部4π弧度的立体角，因为穿戴者可以移动她的身体、头部或眼睛以基本上感知空间中的任何方向。在其它背景中，用户的动作可能更加受限，因此用户的FOR可以对着较小的立体角。

在图12中，FOR 1200可以包括能够经由可穿戴系统被用户感知的一组对象(例如，1210、1220、1230、1242和1244)。用户FOR 1200内的对象可以是虚拟或物理对象。例如，用户FOR 1200可以包括诸如椅子、沙发、墙壁等之类的物理对象。虚拟对象可以包括操作系统对象，诸如用于已删除文件的回收站、用于输入命令的终端、用于访问文件或目录的文件管理器、图标、菜单、用于音频或视频流的应用、来自操作系统的通知等。虚拟对象还可以包括应用中的对象，诸如化身、游戏中的虚拟对象、图形或图像等。一些虚拟对象可以同时是操作系统对象和应用中的对象。在一些实施例中，可穿戴系统可以将虚拟元素添加到现有物理对象中。例如，可穿戴系统可以添加与房间中的电视相关联的虚拟菜单，其中虚拟菜单可以向用户提供使用可穿戴系统打开或改变电视频道的选项。

虚拟对象可以是三维(3D)、二维(2D)或一维(1D)对象。用户FOR中的对象可以是参考图9所描述的世界地图的一部分。与对象相关联的数据(例如，位置、语义信息、特性等)可以存储在各种数据结构中，诸如阵列、列表、树、散列、图形等。每个存储对象的索引在适当的时候例如可以通过对象的位置来确定。例如，数据结构可以通过诸如对象距基准位置的距离之类的单个坐标(例如，距基准位置的左侧或右侧多远，距基准位置的顶部或底部多远，或在深度方面距基准位置多远)索引对象。可以基于用户的位置(诸如用户头部的位置)确定基准位置。还可以基于用户环境中的虚拟或物理对象(诸如目标可交互对象)的位置确定基准位置。这样，用户环境中的3D空间可以折叠成2D用户界面，其中虚拟对象根据对象距基准位置的距离来布置。

在FOR 1200内，用户在给定时间感知的世界的一部分被称为FOV1250(例如，FOV1250可以包含用户当前正看向的FOR的一部分)。在图12中，FOV 1250由虚线1252示意性地示出。可穿戴系统的用户可以感知FOV 1250中的多个对象，诸如对象1242、对象1244和对象1230的一部分。FOV可以取决于可穿戴设备的显示器的大小或光学特性。例如，AR显示器(例如，图2中的显示器220)可以包括当用户仔细观看显示器的特定部分时提供AR/MR/VR功能的光学器件(例如，图4中的堆叠波导组件480或图6中的平面波导600)。FOV 1250可以与用户在仔细观看AR显示器时可感知的立体角对应。

当用户的姿势(例如，头部姿势或眼睛姿势)改变时，FOV 1250将对应地改变，并且FOV 1250内的对象也会改变。例如，在图12中，地图1210最初在用户FOV之外。如果用户看向地图1210，则地图1210可以移到用户FOV 1250内，例如，对象1230可以移到用户FOV 1250之外。如本文将要描述的，可穿戴系统可以跟踪FOR 1200中的对象以及FOV1250中的对象。

用户可以与用户FOR 1200内的可交互对象进行交互，特别是通过可穿戴系统与用户当前FOV 1250内的可交互对象进行交互。可交互对象可以是物理对象或虚拟对象。例如，对象1230可以是显示股票价格随时间变化的虚拟图表。通过选择虚拟对象1230，用户可以与虚拟对象1230进行交互以例如获得股票报价，买入或卖出股票，获得关于公司的信息等。为了执行这些交互，可穿戴系统可以显示与虚拟对象相关联的菜单、工具栏等，这些菜单、工具栏可以允许用户执行各种动作(例如，获得股票报价)。

用户可以使用各种技术与FOV中的对象进行交互，例如，通过选择对象，移动对象，打开与对象关联的菜单或工具栏，或选择一组新的可选对象。用户可以使用手势致动用户输入设备(请参见例如图4中的用户输入设备466)来与可交互对象进行交互，例如，点击鼠标，轻敲触摸板，轻扫触摸屏，悬停在电容式按钮上方或触摸该按钮，按键盘或游戏控制器上的键(例如，5向D-pad)，将操纵杆、手持操纵器或图腾指向对象，按下遥控上的按钮，或与用户输入设备的其它交互。用户还可以使用头部、眼睛、手部、脚部或其它身体姿势与可交互对象进行交互，例如，注视或用手臂指向对象一段时间，在阈值时间间隔内点脚、眨眼特定次数。用户在用户输入设备上的这些手势和用户姿势可以使可穿戴系统发起选择事件，其中例如执行用户界面操作(显示与目标可交互对象相关联的菜单，对游戏中的化身执行游戏操作等)。

在一些实施方式中，HMD包括光场显示器，其能够在相对于用户的不同深度平面处显示虚拟对象。虚拟对象可以进行分组并显示在不同的固定深度平面处。用户FOV可以包括多个深度平面。因此，图12中示出的虚拟对象可以但不必需处于用户的不同视距处。

通知用户FOR中的对象的示例

图13示意性地示出了通知用户用户FOR中的对象的示例。用户1310的FOR 1200具有多个对象，例如，对象1302a、对象1304a和对象1352。对象1352在用户FOV 1250内，而对象1302a和1304a在用户FOV之外，但在用户FOR 1200内。对象1302a、1304a、1352中的任一者可以是虚拟对象或物理对象。

在某些实施方式中，FOR中的对象可以是隐藏对象，使得用户不能经由显示器220直接感知对象。然而，当用户致动用户输入设备或者当用户使用某些姿势(例如头部、身体或眼睛姿势)时，显示器220可以呈现隐藏对象。例如，如图13所示，对象1352最初可以从用户视图中隐藏。但是，如果用户点击用户输入设备466，显示器便可显示对象1352。

可穿戴系统可通过在用户FOV的边缘附近放置视觉光环来提供用户FOV之外的对象的指示。在图13中，可穿戴系统可以在用户FOV 1250的边缘上放置用于对象1304a的光环1304b和用于对象1302a的另一光环1302b。

可穿戴系统可以基于与对应对象、环境或用户相关联的上下文信息(例如，用户的姿势或用户的偏好)计算视觉光环的视觉表示。视觉光环的视觉表示可包括视觉光环的形状、颜色、亮度、位置、取向、大小或其它视觉效果或特性。

为了基于对应对象的上下文信息确定视觉光环的视觉表示，可穿戴系统可以使用与莹莹对象相关联的各种特性，例如，对象的位置(包括对象相对于用户的接近度)、对象的紧迫度、对象的类型(例如，交互对象与不可交互对象、物理对象与虚拟对象、操作系统对象与游戏对象)、对象的属性(例如，敌人的化身与朋友的化身)、信息量(例如，通知的数量)等。作为基于对应对象的位置计算视觉光环的视觉表示的示例，光环1304b可以看起来比光环1302b更薄，因为对象1304a比对象1302a距用户FOV更远。作为另一示例，光环1302b可具有更大和更亮的外观，因为对象1302a更紧迫和/或距用户FOV更近。视觉光环的视觉表示可以基于与视觉光环相关联的对象的变化而随时间改变。例如，随着对象1304a移动得更靠近用户FOV，光环1304b可以变得更大(或更亮)，或者随着对象1304a远离用户FOV移动时，光环1304b可以变得更小(或更暗)。

在某些实施方式中，可以基于对应对象的现有信息量确定光环的视觉表示。例如，对象1302a可以是消息应用，其可以被配置为接收和发送针对用户1310的消息。随着对象1302接收到消息越多，光环1302b可以变得越厚以指示消息的累积。

可穿戴系统可以基于相关对象的特性向光环分配颜色。例如，可穿戴系统可以将红色分配给光环1304b，因为对象1304a与红色相关联。类似地，AR系统可以将蓝色分配给对象1302b，因为它是操作系统对象，并且AR系统将蓝色分配给所有操作系统对象。所分配的颜色不限于单一颜色，而是可以包括多种颜色、阴影、对比度、饱和度等。光环的视觉表示还可以包括视觉效果，例如动画(例如，平移或旋转光环)、淡入或淡出等。光环的视觉表现可伴有声音、触觉等。

可穿戴系统还可以基于用户的姿势确定视觉光环的视觉表示。例如，随着用户1310转向左时，对象1304a可以变得更靠近用户FOV，而对象1302a可以更远离用户FOV。因此，光环1304b可以成为更亮(或更大)，而光环1302b可以成为更暗(或更小)。光环的位置可以随着对象和/或用户的移动而改变。例如，当对象1304a移到用户1310的右侧时，AR系统可以在FOV 1250的右侧示出光环1304b。

作为基于对象的特性或用户的姿势确定视觉光环的视觉表示的补充或替代，可穿戴系统可以使用与用户环境相关联的上下文信息来确定视觉光环的视觉表示。与用户环境相关联的上下文信息可以包括环境的光照条件。光照条件可以基于用户通过显示器220感知的环境。用户感知的环境可以是用户的物理环境(诸如用户的房间)或虚拟环境(例如，游戏中的模拟丛林)。参考图13，光环1304b最初可以对用户1310不可见。这可能是因为用户通过显示器220感知黑暗环境。由于暗的对象通常是不可感知的，因此可穿戴系统可能不会在黑暗环境中显示对象的光环。然而，当光照射对象1304a时，可穿戴系统可以在用户FOV的边缘上显示光环1304b。光可以来自一个或多个屏幕外对象、光源(真实或虚拟的)等。

在某些实施例中，光环的视觉表示可以与环境光照条件下的对象的光学效果对应。例如，光环(例如，椭圆形)的形状可以是与光环相关联的对象(例如，足球)的二维投影。在该示例中，视觉光环可以看起来好像足球被投射到用户FOV的边缘上一样。

当光环对应于虚拟对象时，可穿戴系统可以模拟虚拟对象的光学效果，就像它是物理对象一样。例如，在图13中，对象1304a可以是虚拟对象，在它是物理对象的情况下，该对象可以反射红色。因此，当光照射在对象1304a上时，可穿戴系统220的显示器220可以将光环1304b显示为具有红色(以交叉影线图案示出)。

光学效果还可以包含对象的位置信息。例如，当对象位于用户后面时，反射对象的形状自然更长且更薄。用户可以使用此形状区分该对象与位于用户FOV紧右侧或左侧的另一对象。例如，在图13中，对象1304a(例如，与对象1302a相比)距用户更远并且位于用户后面。因此，光环1304b可以具有低亮度的薄形状。然而，光环1302b更厚更短，因为对象1302a位于用户FOV的紧右侧。

可穿戴系统可以利用显示器220呈现光环的视觉表示。可穿戴系统可以呈现用户FOV 1250附近的光环的视觉表示的至少一部分。在一些实施例中，当对象在FOV 1250内时，可穿戴系统可被配置为不确定对应光环。在其它实施例中，即使对象在FOV 1250内，可穿戴系统仍然可以确定光环的视觉表示。相反，可穿戴系统可以被配置为不针对FOV内的对象呈现光环的视觉表示，因为该对象是用户可感知的。如图13所示，对象1352在用户FOV 1250内，但是可穿戴系统可以被配置为不针对对象1352将光环投射到FOV的边缘上。

在某些实施方式中，尽管FOV内的对象仍然可以具有其对应的光环，但是可穿戴系统可以被配置为通过与显示器220相关联的光学效果隐藏光环的视觉表示(例如，使得用户无法感知到光环)。例如，在根据光照条件确定光环的视觉表示的情况下，光环的内表面边缘(对应于FOV内部的对象)可以被配置为与可穿戴系统是成像系统(例如，图2所示的模拟光源和/或相机)或用户的眼睛共线对准。在这样的示例中，用户将不会感知由FOV内的光源引起的来自内表面边缘的反射，因此将不会感知与FOV内部的对象对应的光环。

除了视觉光环之外，可穿戴系统还可以使用触觉或音频效果通知用户用户FOV之外的对象。例如，在增强现实游戏中，可穿戴系统可以通过用户输入设备上的振动通知用户正在接近的敌人。可穿戴系统可在敌人靠近用户时提供强振动，同时在敌人离用户相对远时提供弱振动。在另一示例中，可穿戴系统可使用可听声音来提供虚拟对象的位置信息。可穿戴系统可以使用响亮的声音来警告用户虚拟就在附近的敌人。可穿戴系统还可以模拟反映虚拟对象空间位置的声场。触觉、音频或视觉光环可以组合使用或替代地使用以通知用户周围对象。

光环视觉呈现的示例

图14A示意性地示出了FOV边缘上的视觉光环的透视图。在该示例中，边缘1410是位于FOV 1250的外边界的区域。FOV 1250的边缘1410可包括外边缘1412和内边缘1414。边缘可具有宽度1416。可穿戴系统可以将光环的一部分放置在FOV 1250的边缘1410上。例如，光环1402b的一部分位于FOV 1250的边缘1410上。作为另一示例，可穿戴系统可以将整个光环1404b放置在外边缘1412与内边缘1414之间。光环可具有各种大小。一些光环的直径可以小于或等于FOV 1250的边缘1410的宽度1416，而其它光环的直径可以大于FOV 1250的边缘1410的宽度1416。

可穿戴系统可以针对每只眼睛单独地确定和呈现光环的视觉表示以匹配人的周边视觉。例如，可穿戴系统可以仅针对右眼而不是双眼呈现光环1402b的视觉表示，因为对象1402a的位置不在左眼的FOV内。该技术还可被用于模拟观察对象动作的人眼体验。例如，可穿戴系统可以确定光环的视觉表示，以模拟对象淡出右眼的左边缘和左眼的右边缘的效果。

通过针对每只眼睛单独地呈现光环，可穿戴系统可以降低人眼在深度处解析光环的可能性，因为每只眼睛的光环不是立体地匹配的。有利地，在一些实施例中，这减少了光环与通过可穿戴系统感知的其它虚拟内容之间的视觉竞争。

图14B示意性地示出了针对用户FOV内的对象制作不可见的对应光环的示例。如图14B所示，人眼1488与用户通过可穿戴系统感知的FOV的边缘1410之间可能存在距离。当用户使用HMD时，可能存在FOV角1420。FOV角1420的度数可以基于人眼与边缘1410之间的距离确定。FOV角1420的度数也可以是基于显示器220的物理与化学特性的。当FOV角1420的度数变化时，光环的视觉表现也可能改变。

如参考图13所述，可穿戴系统可通过模拟用户环境中的光照条件来确定光环的视觉表示。这种光照条件可以被同时应用于FOV内的对象和FOV外的对象。可穿戴系统可以以使得用户无法看到与用户FOV内的对象相关联的光环的方式，放置用户FOV内的对象的光环。例如，在图14B中，光环1452可以与对象1352相关联(如图14A所示)。可穿戴系统可以被配置为将光环1452的内表面边缘定位成与可穿戴系统的成像系统或用户的眼睛共线对准。在这种配置中，用户可能无法看到光环1452的内边缘。

视觉光环的用户体验示例

图15A和15B示意性地示出了视觉光环的用户体验的示例。在图15A中，用户1210可以站在房间中。当用户1210穿戴HMD时，用户1210可以具有FOR 1250和FOV 1250。对象1552位于用户FOV内。对象1552可以是应用中的对象。例如，在图15A中，对象1552可以是用户1210通过显示器220感知的虚拟生物。

如图15A所示，对象1502a位于用户FOR 1200内，但在用户FOV 1250之外。对象1502a可以是与操作系统相关联的对象。例如，如图15A所示，对象1502a可以是首页对象，其可以将用户引导到用户的HMD的主页。可穿戴系统可以在FOV 1250的边缘1410上显示对象1502a的视觉光环1502b的一部分。可穿戴系统可以使用参考图13、图14A和图14B描述的各种上下文因素来确定光环的视觉表示，并相应地呈现视觉光环1502b的视觉表示。

当用户改变他的姿势时(诸如通过倾斜他的头部)，对象1502a可以如图15B所示移到用户FOV 1250内。在一些实施例中，当对象1502a位于FOV 1250内时，可穿戴系统的显示器220将不显示对象1502a的光环。在其它实施例中，可穿戴系统可被配置为使光环1502a的内表面边缘与可穿戴系统的成像系统(例如，图2所示的模拟光源和/或相机)或用户的一只或两只眼睛共线对准。因此，如果对象1502a在FOV 1250内，则用户可能无法感知到光环。

确定光环的视觉表示的示例过程

图16示出了呈现视觉光环的视觉表示的示例过程。过程1600可以由在此描述的可穿戴系统(请参见例如参考图2和图4描述的可穿戴系统)执行。

在框1610处，可穿戴系统确定用户FOR中的一组虚拟对象。该组虚拟对象可以是用户环境中的对象的子集。在某些实施例中，虚拟对象可以从用户的视图中隐藏。

在框1620处，可穿戴系统可确定用户的姿势。用户的姿势可以是头部姿势、眼睛姿势、身体姿势中的一项或它们的组合。可穿戴系统可以基于从各种传感器获取的数据和在用户输入设备(请参见例如图4中的用户输入设备466)上接收的输入来确定用户的姿势，这些传感器例如包括面向内部的成像系统(请参见例如图4中的面向内部的成像系统462)，这些用户输入设备包括FOV相机和/或传感器(请参见参考图10的描述)。

在框1630处，可穿戴系统可以基于用户的姿势确定用户FOV。FOV可以包括用户在给定时间感知的FOR的一部分。

基于用户FOV，在框1640处，可穿戴系统可以识别位于FOR内但在用户FOV之外的虚拟对象。在一些实施方式中，可穿戴系统可以被配置为显示用户FOR中的一些对象的光环。可穿戴系统可以基于在此描述的上下文信息识别将呈现视觉光环的虚拟对象。例如，可穿戴系统可以被配置为基于虚拟对象的类型呈现视觉光环，其中，如果虚拟对象是可交互的，则可穿戴系统可以呈现视觉光环。作为另一示例，如果虚拟对象在距用户的阈值距离内，则可穿戴系统将呈现视觉光环。作为又一示例，可穿戴系统可被配置为基于上下文信息对虚拟对象(位于在FOV之外)进行分类，并且可穿戴系统可仅呈现与最紧迫对象相关联的光环。在某些实施方式中，可穿戴系统可以显示FOR中的所有虚拟对象的光环。

在虚拟对象是隐藏对象的情况下，视觉光环可以提供隐藏宝藏的方向和位置的线索。例如，在寻宝游戏中，视觉光环可以提供隐藏宝藏的位置线索。在一些实施例中，一个视觉光环可以与不止一个对象对应。例如，可穿戴系统可以呈现指示在用户当前位置旁边可用的一组办公工具的视觉光环。

在框1650处，可穿戴系统可以确定与虚拟对象相关联的视觉光环的视觉表示。可穿戴系统可以使用各种上下文因素来确定光环的视觉表示。例如，可穿戴系统可以计算虚拟对象相对于用户FOV的位置。在某些实施例中，可穿戴系统可以单独地使用本地处理和数据模块260或组合地使用本地处理和数据模块260与远程处理模块270(图2所示)来确定视觉表示。例如，远程处理模块260可以确定视觉光环的颜色，而本地处理和数据模块260可以确定视觉光环的位置和大小。作为另一示例，远程处理模块270可确定默认视觉表示，而本地处理和数据模块260可跟踪用户(或对应于光环的虚拟对象)的动作并相应地调整默认视觉表示。例如，本地处理和数据模块260可以从远程数据存储库访问光环的默认视觉表示，并基于虚拟对象相对于用户FOV的位置来调整光环的默认视觉表示的大小和亮度。

在框1660处，可穿戴系统可呈现视觉光环的视觉表示。可以基于框1650中的确定来呈现视觉表示。视觉光环的一部分可以被放置在用户FOV的边缘上。在存在待显示的多个视觉光环的一些情况下，可穿戴系统可以将视觉光环的一部分放置成与另一视觉光环的一部分重叠。如本文所述，可穿戴系统可以针对每只眼睛单独地呈现光环的表示。单独呈现能够匹配人的周边视觉并模拟观察对象动作的人眼体验。在某些实施方式中，虚拟对象的视觉光环将针对一只眼睛而非另一只眼睛被呈现在FOV边缘上。

尽管参考呈现与虚拟对象相关联的光环的视觉表示来描述示例过程1600，但在某些实施例中，光环也可以与物理对象(例如，电视、咖啡机等)相关联。

图17示出了基于上下文信息确定视觉光环的视觉表示的示例过程。过程1700可以由本文所述的可穿戴系统(请参见例如参考图2和图4描述的可穿戴系统)执行。

在框1710处，可穿戴系统可识别用户环境中的对象。该对象可以是物理对象或虚拟对象，并且环境可以是用户的物理或虚拟环境。可穿戴系统可以使用参考图6中的过程1600描述的技术来识别对象。在某些实施例中，在用户环境中识别的对象可以是隐藏对象。该隐藏对象可以在用户视图中被遮挡(例如，被另一对象阻挡)，或者可以在用户界面操作(例如，用户输入设备466的致动或用户姿势的改变)时变得可感知。

如参考图16所述，可穿戴系统可以基于用户FOV识别对象。如本文所述，可以基于可穿戴系统的显示器的光学特性和用户的姿势(诸如身体姿势或头部姿势)确定用户FOV。在一些实施例中，所识别的对象位于用户FOV之外但在FOR内。可穿戴系统可以使用用户环境的世界地图920(图9所述)来确定对象是否在用户FOV之外。例如，可穿戴系统可以确定用户当前位置并在世界地图中定位用户。因此，可穿戴系统可以基于用户在世界地图中的位置计算FOV内的对象。

在框1720处，可穿戴系统可以访问与对象、用户或环境相关联的上下文信息。在框1730处，可以使用上下文信息来确定(或访问)与对象对应的光环的视觉表示。例如，更紧迫的对象可以与更大和更亮的光环相关联，而不太紧迫的对象可以与更小或更暗的光环相关联。作为另一示例，光环可以表示对象(在FOV的边缘上)在用户环境光照条件下的2D投影。

可选地，在框1740处，可穿戴系统可以基于框1730处的确定呈现光环的视觉表示。已经参考图13至图15B描述了光环的视觉表示的示例。在某些情况下，可穿戴系统可能不呈现光环的视觉表示。例如，如果对象在FOV内，则系统可以假定用户可以看到该对象并且可能不需要光环。如果系统希望唤起用户对FOV中的对象的注意，则系统可以呈现与该对象相关联的光环(例如，至少部分地围绕对象)以向用户警告该对象。作为另一示例，如果对象在用户后面(例如，在用户的FOR中但不在用户FOV中)，则可穿戴系统可能不呈现视觉表示，因为用户遮挡了对象在FOV的边缘上的投射。作为另一示例并且如参考图14B所述，可以将对象投射到FOV的边缘上，使得光环1452的内表面边缘上的位置与AR系统的成像系统或用户的眼睛共线对准。在这种配置中，用户无法看到光环1452的内边缘。

在对象位于FOV之外但在FOR内的情况下，如参考图6中的框1660所述，可以呈现光环的视觉表示。

尽管在此描述的示例可以提供位于FOV内，或者位于FOR内但在FOV之外的对象的光环，但是在各种实施例中，还可以提供位于FOV和FOR之外的对象的光环。例如，在视频游戏中，虚拟敌人可隐藏在墙后或从用户FOR之外的另一房间接近用户。可穿戴系统可以在用户FOV的边缘上提供视觉光环，作为虚拟敌人位置的线索。在某些实施方式中，用户可以确定是否关闭某些对象的视觉光环。例如，一旦用户已经升级到游戏中的某个级别，用户便可关闭视觉光环特征，使得可穿戴系统不提供接近的敌人的视觉光环。

其它实施例

在第1方面，一种用于提供有关用户周围的增强现实环境中存在虚拟对象的指示的方法，所述方法包括：在包括计算机硬件的增强现实(AR)系统的控制下执行以下操作，所述AR系统被配置为允许与所述用户的能视域(FOR)中的虚拟对象进行用户交互，所述FOR包括能够经由所述AR系统被所述用户感知的所述用户周围的环境的一部分：确定所述用户的FOR中的一组虚拟对象；确定所述用户的姿势；至少部分地基于所述用户的姿势确定所述用户的视野(FOV)，所述FOV包括能够经由所述AR系统被所述用户在给定时间感知的所述FOR的一部分；识别位于所述用户的FOR内但在所述用户的FOV之外的所述组虚拟对象的子组；对于所述虚拟对象的子组中的至少一些虚拟对象：确定所述虚拟对象相对于所述用户的FOV的位置；至少部分地基于所述位置确定与虚拟对象的相关联的视觉光环相对于所述用户的FOV的放置；以及显示所述视觉光环，使得所述视觉光环的至少一部分可以被所述用户感知为位于所述用户的FOV的边缘上。在一些实施例中，所述视觉光环的放置也被称为所述视觉光环的视觉表示。

在第2方面，根据第1方面所述的方法，其中，所述用户的姿势包括所述用户的眼睛姿势。

在第3方面，根据第1至2方面中任一项所述的方法，其中，所述视觉光环包括具有颜色的形状。

在第4方面，根据第3方面所述的方法，其中，所述形状包括圆角正方形。

在第5方面，根据第3至4方面中任一项所述的方法，其中，所述视觉光环的颜色指示所述虚拟对象的类型。

在第6面，根据第1至5方面中任一项所述的方法，其中，所述光环的放置包括以下一项或多项：亮度、位置或大小。

在第7方面，根据第6方面所述的方法，其中，所述亮度至少部分地基于所述虚拟对象相对于所述FOV的边缘的接近度。

在第8方面，根据第6至7方面中任一项所述的方法，其中，所述大小指示所述虚拟对象的接近度和/或紧迫度。

在第9方面，根据第1至8方面中任一项所述的方法，其中，所述用户的FOV至少部分地基于所述AR系统中的AR显示器的区域确定。

在第10方面，根据第1至9方面中任一项所述的方法，其中，所述虚拟对象包括以下一项或多项：操作系统虚拟对象或应用虚拟对象。

在第11面，根据第1至10方面中任一项所述的方法，其中，所述AR系统包括用于所述用户的第一眼睛的第一AR显示器和用于所述用户的第二眼睛的第二AR显示器，并且其中，在所述用户的FOV边缘上显示所述视觉光环包括：由所述第一AR显示器显示所述视觉光环的第一表示。

在第12方面，根据第11方面所述的方法，进一步包括由所述第二AR显示器显示所述视觉光环的第二表示，所述第二表示与所述第一表示不同。

在第13方面，根据第12方面所述的方法，其中，所述视觉光环的所述第一表示和所述视觉光环的所述第二表示单独地呈现给每只眼睛以匹配周边视觉。

在第14方面，根据第12至13方面中任一项所述的方法，其中，所述视觉光环的所述第一表示和所述视觉光环的所述第二表示单独地呈现给每只眼睛以减少或避免所述视觉光环的深度感。

在第15方面，根据第1至14方面中任一项所述的方法，进一步包括：至少部分地基于所述用户的姿势的改变来更新所述组虚拟对象的子组；并且基于所述组虚拟对象的所述更新的子组来更新所述视觉光环的所述第一表示或所述第二表示。

在第16方面，根据第1至15方面中任一项所述的方法，进一步包括：确定所述虚拟对象的子组中的虚拟对象已经移动到所述用户的FOV内；并且停止显示与该虚拟对象相关联的视觉光环。

在第17方面，根据第1至16方面中任一项所述的方法，进一步包括：确定所述用户的FOV中的虚拟对象已经移动到所述用户的FOV之外；并且显示与该虚拟对象相关的视觉光环。

在第18方面，一种用于提供用户环境中的对象的指示的方法，所述方法包括：在包括成像系统的增强现实(AR)系统的控制下执行以下操作，所述AR系统被配置为允许与所述用户的能视域(FOR)中的虚拟对象进行用户交互，所述FOR包括能够经由所述AR系统被所述用户感知的所述用户周围的环境的一部分：确定所述用户的FOR中的一组对象；确定所述用户的视野(FOV)，所述FOV包括能够经由所述AR系统被所述用户在给定时间感知的所述FOR的一部分；识别位于所述用户的FOR内但在所述用户的FOV之外的所述组对象的子组；以及显示所述组对象的子组中的一个或多个对象的视觉光环，使得所述视觉光环的至少一部分可以在所述用户的FOV中感知到。

在第19方面，根据第18方面所述的方法，其中，至少部分地基于所述用户的姿势确定所述FOV。

在第20方面，根据第19方面所述的方法，其中，所述用户的姿势包括以下一项或多项：头部姿势、眼睛姿势或身体姿势。

在第21方面，根据第18至20方面中任一项所述的方法，进一步包括：确定所述用户的环境的光照条件；模拟所述光照条件针对所述组对象中的一个或多个虚拟对象的光学效果；并且至少部分地基于所模拟的光学效果确定与所述一个或多个虚拟对象相关联的视觉光环的放置。

在第22方面，根据第21方面所述的方法，其中，所述环境是虚拟环境或物理环境中的一者或多者。

在第23方面，根据第21至22方面中任一项所述的方法，其中，所述光环的放置包括以下一项或多项：亮度、位置、形状或大小。

在第24方面，根据第21至23方面中任一项所述的方法，其中，确定所述视觉光环的放置进一步包括：识别位于所述用户的FOR中但在所述用户的FOV之外的所述组对象的子组中的虚拟对象；并且将所述成像系统和所述用户的至少一只眼睛与所述虚拟对象的关联视觉光环的内边缘共线对准。

在第25面，根据第18至24方面中任一项所述的方法，其中，所述AR系统包括用于所述用户的第一眼睛的第一AR显示器和用于所述用户的第二眼睛的第二AR显示器，并且其中，在所述用户的FOV边缘上显示所述视觉光环包括：由所述第一AR显示器显示所述视觉光环的第一表示。

在第26方面，根据第25方面所述的方法，进一步包括由所述第二AR显示器显示所述视觉光环的第二表示，所述第二表示与所述第一表示不同。

在第27方面，根据第26方面所述的方法，其中，所述视觉光环的所述第一表示和所述视觉光环的所述第二表示单独地呈现给每只眼睛以匹配周边视觉。

在第28方面，根据第26至27方面中任一项所述的方法，其中，所述视觉光环的所述第一表示和所述视觉光环的所述第二表示单独地呈现给每只眼睛以减少或避免所述视觉光环的深度感。

在第29方面，根据第18至28方面中任一项所述的方法，进一步包括：至少部分地基于所述用户的姿势的改变来更新所述组对象的子组；并且基于所述组对象的所述更新的子组来更新所述视觉光环的所述第一表示或所述第二表示。

在第30方面，一种包括被编程为执行根据第1至29方面中任一项所述的方法的计算机硬件的增强现实(AR)系统。

在第31方面，一种用于提供用户的三维(3D)环境中的可交互对象的指示的系统，所述系统包括：可穿戴设备的显示系统，其被配置为向用户呈现三维视图并且允许与用户的能视域(FOR)中的对象进行用户交互，所述FOR包括能够经由所述显示系统被所述用户感知的所述用户周围的环境的一部分；传感器，其被配置为获取与所述用户的姿势相关联的数据；硬件处理器，其与所述传感器和所述显示系统通信，所述硬件处理器被编程为：基于由所述传感器获取的数据来确定所述用户的姿势；至少部分地基于所述用户的姿势确定所述用户的视野(FOV)，所述FOV包括能够经由所述显示系统被所述用户在给定时间感知的所述FOR的一部分；识别位于所述用户的FOV之外的可交互对象；访问与所述可交互对象相关联的上下文信息；基于所述上下文信息确定光环的视觉表示；以及呈现所述光环的视觉表示，使得能够被所述用户感知的所述视觉光环的至少一部分位于所述用户的FOV的边缘上。

在第32方面，根据第1方面所述的系统，其中，所述显示系统包括用于所述用户的第一眼睛的第一光场显示器和用于所述用户的第二眼睛的第二光场显示器，并且其中，为了呈现所述光环的视觉表示，所述硬件处理器被编程为：通过所述第一光场显示器在与所述第一眼睛相关联的第一FOV的第一边缘处呈现所述光环的第一视觉表示；以及通过所述第二光场显示器在与所述第二眼睛相关联的第二FOV的第二边缘处呈现所述光环的第二视觉表示。

在第33方面，根据第32方面所述的系统，其中，所述光环的所述第一表示和所述光环的所述第二表示针对每只眼睛单独地呈现以匹配所述用户的周边视觉。

在第34方面，根据第31至33方面中任一项所述的系统，其中，所述上下文信息包括与所述用户、所述3D环境或所述可交互对象的特性相关联的信息。

在第35方面，根据第34方面所述的系统，其中，与所述3D环境相关联的信息包括所述用户的环境的光照条件，并且其中，通过模拟所述光照条件下的所述可交互对象的光学效果来确定所述光环的放置。

在第36方面，根据第31至35方面中任一项所述的系统，其中，所述硬件处理器被进一步编程为：检测所述用户的姿势的变化；基于所述用户的姿势的变化来确定所述3D环境中的所述可交互对象的更新位置；以及基于所述可交互对象的更新位置来更新所述光环的视觉表示。

在第37方面，根据第36方面所述的系统，其中，响应于确定所述更新位置在所述用户的FOV内，所述硬件处理器被编程为通过将所述光环的内边缘与所述用户的至少一只眼睛共线对准来确定所述光环的放置。

在第38方面，根据第31至37方面中任一项所述的系统，其中，所述光环的视觉表示包括以下至少一项：位置、形状、颜色、大小或亮度。

在第39方面，根据第8方面所述的系统，其中，所述光环的大小指示以下至少一项：所述可交互对象的接近度或紧迫度。

在第40方面，根据第31至39方面中任一项所述的系统，其中，所述用户的姿势包括以下至少一项：头部姿势或注视方向。

在第41方面，一种用于提供用户的三维(3D)环境中的可交互对象的指示的方法，所述方法包括：在可穿戴设备的控制下执行以下操作，所述可穿戴设备具有显示系统、传感器以及硬件处理器，所述显示系统被配置为向用户呈现三维(3D)视图并且允许与用户的能视域(FOR)中的对象进行用户交互，所述FOR包括能够经由所述显示系统被所述用户感知的所述用户周围的环境的一部分，所述传感器，其配置为获取与所述用户的姿势相关联的数据，所述硬件处理器与所述传感器和所述显示系统通信：至少部分地基于所述用户的姿势确定所述用户的视野(FOV)，所述FOV包括能够经由所述显示系统被所述用户在给定时间感知的所述FOR的一部分；识别位于所述用户的FOV之外的可交互对象；访问与所述可交互对象相关联的上下文信息；基于所述上下文信息确定光环的视觉表示；以及呈现所述光环的视觉表示，使得能够被所述用户感知的所述视觉光环的至少一部分位于所述用户的FOV的边缘上。

在第42方面，根据第41方面所述的方法，进一步包括：在与所述用户的第一眼睛相关联的第一FOV的第一边缘处呈现所述光环的第一视觉表示；以及在与所述用户的第二眼睛相关联的第二FOV的第二边缘处呈现所述光环的第二视觉表示。

在第43方面，根据第42方面所述的方法，其中，所述光环的所述第一表示和所述光环的所述第二表示针对每只眼睛单独地呈现以匹配所述用户的周边视觉。

在第44方面，根据第41至43方面中任一项所述的方法，其中，所述上下文信息包括与所述用户、所述3D环境或所述可交互对象的特性相关联的信息。

在第45方面，根据第44方面所述的方法，其中，与所述3D环境相关联的信息包括所述用户的环境的光照条件，并且其中，通过模拟所述光照条件下的所述可交互对象的光学效果来确定所述光环的视觉表示。

在第46方面，根据第45方面所述的方法，进一步包括：检测所述用户的姿势的变化；基于所述用户的姿势的变化来确定所述3D环境中的所述可交互对象的更新位置；以及基于所述可交互对象的更新位置来更新所述光环的视觉表示。

在第47方面，根据第46方面所述的方法，其中，响应于确定所述更新位置在所述用户的FOV内，将所述光环的内边缘与所述用户的至少一只眼睛共线对准。

在第48方面，根据第46至47方面中任一项所述的方法，其中，所述光环的视觉表示包括以下至少一项：位置、形状、颜色、大小或亮度。

在第49方面，根据第48方面所述的方法，其中，所述光环的大小指示以下至少一项：所述可交互对象的接近度或紧迫度。

在第50方面，根据第41至49方面中任一项所述的方法，其中，所述用户的姿势包括以下至少一项：头部姿势或注视方向。

结论

在此描述的和/或附图示出的过程、方法和算法中的每一者可以体现在以下项中并通过以下项被全部或部分自动化：代码模块，其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行；和/或电子硬件，其被配置为执行具体和特定计算机指令。例如，计算系统可以包括用具体计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解译性的编程语言编写。在一些实施方式中，特定操作和方法可以由专用于给定功能的电路来执行。

此外，本公开的功能的某些实施方式在数学上、计算上或技术上足够复杂，以至于为了执行所述功能(例如，由于所涉及的计算量或复杂性)或者为了基本实时地提供结果，专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)可能是必需的。例如，视频可以包括许多帧，每帧具有数百万个像素，并且需要专用编程的计算机硬件来处理视频数据以在商业上合理的时间内提供所需的图像处理任务或应用。

代码模块或任何类型的数据可以被存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存

储装置，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器以及相同和/或相似元件的组合。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的介质和基于导线/电缆的介质，且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可以持久地或以其它方式存储在任何类型的非暂时性实体计算机存储器中，或者可以经由计算机可读传输介质来传送。

在此描述和/或附图示出的流程图中的任何过程、框、状态、步骤或功能应该被理解为潜在地表示代码模块、代码段或代码部分，其包括用于实现处理中的特定功能(例如，逻辑或算术功能)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能可以与本文提供的说明性示例一起执行以下操作：组合、重排、添加、删除、修改或其它改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文所述的功能中的部分或全部。本文描述的方法和过程也不限于任何具体的顺序，并且与其相关的框、步骤或状态可以以其它适当的顺列来执行，例如以串行、并行或以某种其它方式来执行。可以向所公开的示例实施例添加任务或事件或者从中移除任务或事件。此外，本文所述的实施方式中的各种系统组件的分离是出于说明的目的，不应该被理解为在所有实施方式中都需要这种分离。应该理解，所描述的程序组件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。许多实施方式的变体是可行的。

过程、方法和系统可以在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个域网(PAN)、云计算网络、众包计算网络、因特网和万维网。网络可以是有线或无线网络，或任何其它类型的通信网络。

本公开的系统和方法各自具有若干创新性方面，这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合使用。所有可能的组合和子组合均旨在落入本公开的范围内。对本公开中所描述的实施方式的各种修改对于本领域技术人员来说是显而易见的，并且在不脱离本公开的精神或范围的情况下，可将本文中限定的一般原理应用于其它实施方式。因此，权利要求不旨在限于本文所示的实施方式，而是应被赋予与本公开、本文公开的原理和新颖特征一致的最宽范围。

本说明书中在单独的实施方式的上下文描述的某些特征也可以在单个实施方式中组合地实现。相反，在单个实施方式的上下文中描述的各种特征也可以在多个实施方式中单独实施，或以任何合适的子组合实施。此外，尽管上文可将特征描述为以某些组合起作用，甚至最初这样要求保护，但是所要求保护的组合中的一个或多个特征在某些情况下可以从该组合中剔除，并且所要求保护的组合可以涉及子组合或子组合的变体。对于每个实施例而言，没有任何单个特征或特征组是必需的或不可或缺的。

除非另有具体说明，或者在上下文中另有理解除外，否则在此使用的诸如“可”、“可以”、“可能”、“能够”、“例如”等之类的条件语通常旨在表达某些实施例包括，而其它实施例不包括某些特征、元素和/或步骤。因此，这种条件语通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例所必需的，也不意在暗示在有或者没有程序设计者输入或提示的情况下，一个或多个实施例必然包括用于决定是否包括这些特征、元素和/或步骤是否在任何具体实施例中执行这些特征、元素和/或步骤的逻辑。术语“包括”、“包含”、“具有”等是同义词，并且以开放的方式包含性地使用，并且不排除其它元素、特征、动作、操作等。此外，术语“或”在使用时具有包含性含义(而非排他性含义)，因此，当被用于例如连接元素列表时，术语“或”表示列表元素中的一个、一些或全部。另外，除非另有说明，否则在本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。

如本文所使用的，涉及项目列表中的“至少一个”的短语指这些项目的任何组合，包括单个成员。作为示例，“A、B或C中的至少一个”旨在涵盖：A、B、C、A和B、A和C、B和C，以及A、B和C。诸如短语“X、Y和Z中的至少一个”之类的连接语(除非另有声明)以通过常用的上下文来理解，以表达项目、术语等可以是X、Y和Z中的至少一个。因此，这样的连接语通常并不旨在暗示默写实施例需要至少一个X、至少一个Y以及至少一个Z中的每个都存在。

类似地，尽管操作在附图中可以以特定顺序示出，但应认识到，这些操作不需要以所示的特定顺序或以相继的顺序执行，或者执行所有例示的操作以实现所需的结果。此外，附图可以以流程图的形式示意性地示出一个或多个示例过程。然而，其它未示出的操作可以并入示意性说明的示例方法和处理中。例如，一个或多个附加操作可以在任何所示的操作之前、之后、同时或期间执行。另外，在其它实施方式中，操作可以重新排列或排序。在某些情况下，多任务和并行处理是有利的。此外，上述实施方式描述的各种系统组件的分离不应该被理解为在所有实施方式中都需要这种分离，需要理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。另外，其它实施方式在以下权利要求的范围内。在一些情况下，权利要求中列出的动作可以以不同的顺序执行，并且仍能实现所需的结果。

Claims (16)

1.一种用于提供用户的三维(3D)环境中的可交互对象的指示的系统，所述系统包括：

可穿戴设备的显示系统，其被配置为向用户呈现三维视图并且允许与用户的能视域(FOR)中的对象进行用户交互，所述FOR包括能够经由所述显示系统被所述用户感知的所述用户周围的环境的一部分；

传感器，其被配置为获取与所述用户的姿势相关联的数据；

硬件处理器，其与所述传感器和所述显示系统通信，所述硬件处理器被编程为：

基于由所述传感器获取的数据来确定所述用户的姿势；

至少部分地基于所述用户的姿势确定所述用户的视野(FOV)，所述FOV包括能够经由所述显示系统被所述用户在给定时间感知的所述FOR的一部分；

识别位于所述用户的FOV之外的可交互对象；

访问与所述可交互对象相关联的上下文信息；

基于所述上下文信息确定光环的视觉表示；以及

呈现所述光环的视觉表示，使得能够被所述用户感知的所述视觉光环的至少一部分位于所述用户的FOV的边缘上，

其中，所述显示系统包括用于所述用户的第一眼睛的第一光场显示器和用于所述用户的第二眼睛的第二光场显示器，并且其中，为了呈现所述光环的视觉表示，所述硬件处理器被编程为：

通过所述第一光场显示器在与所述第一眼睛相关联的第一FOV的第一边缘处呈现所述光环的第一视觉表示；以及

通过所述第二光场显示器在与所述第二眼睛相关联的第二FOV的第二边缘处呈现所述光环的第二视觉表示，

其中，所述光环的所述第一视觉表示和所述光环的所述第二视觉表示针对每只眼睛单独地呈现以匹配所述用户的周边视觉，并且其中，所述光环的所述第一视觉表示和所述光环的所述第二视觉表示不是立体地匹配的。

2.根据权利要求1所述的系统，其中，所述上下文信息包括与所述用户、所述3D环境或所述可交互对象的特性相关联的信息。

3.根据权利要求2所述的系统，其中，与所述3D环境相关联的信息包括所述用户的环境的光照条件，并且其中，通过模拟所述光照条件下的所述可交互对象的光学效果来确定所述光环的放置。

4.根据权利要求1至3中任一项所述的系统，其中，所述硬件处理器被进一步编程为：

检测所述用户的姿势的变化；

基于所述用户的姿势的变化来确定所述3D环境中的所述可交互对象的更新位置；以及

基于所述可交互对象的更新位置来更新所述光环的视觉表示。

5.根据权利要求4所述的系统，其中，响应于确定所述更新位置在所述用户的FOV内，所述硬件处理器被编程为通过将所述光环的内边缘与所述用户的至少一只眼睛共线对准来确定所述光环的放置。

6.根据权利要求1至3中任一项所述的系统，其中，所述光环的视觉表示包括以下至少一项：位置、形状、颜色、大小或亮度。

7.根据权利要求6所述的系统，其中，所述光环的大小指示以下至少一项：所述可交互对象的接近度或紧迫度。

8.根据权利要求1至3中任一项所述的系统，其中，所述用户的姿势包括以下至少一项：头部姿势或注视方向。

9.一种用于提供用户的三维(3D)环境中的可交互对象的指示的方法，所述方法包括：

在可穿戴设备的控制下执行以下操作，所述可穿戴设备具有显示系统、传感器以及硬件处理器，所述显示系统被配置为向用户呈现三维(3D)视图并且允许与用户的能视域(FOR)中的对象进行用户交互，所述FOR包括能够经由所述显示系统被所述用户感知的所述用户周围的环境的一部分，所述传感器被配置为获取与所述用户的姿势相关联的数据，所述硬件处理器与所述传感器和所述显示系统通信：

至少部分地基于所述用户的姿势确定所述用户的视野(FOV)，所述FOV包括能够经由所述显示系统被所述用户在给定时间感知的所述FOR的一部分；

识别位于所述用户的FOV之外的可交互对象；

访问与所述可交互对象相关联的上下文信息；

基于所述上下文信息确定光环的视觉表示；以及

呈现所述光环的视觉表示，使得能够被所述用户感知的所述视觉光环的至少一部分位于所述用户的FOV的边缘上，

其中呈现所述光环的所述视觉表示包括：

在与所述用户的第一眼睛相关联的第一FOV的第一边缘处呈现所述光环的第一视觉表示；以及

在与所述用户的第二眼睛相关联的第二FOV的第二边缘处呈现所述光环的第二视觉表示，

其中，所述光环的所述第一视觉表示和所述光环的所述第二视觉表示针对每只眼睛单独地呈现以匹配所述用户的周边视觉，并且其中，所述光环的所述第一视觉表示和所述光环的所述第二视觉表示不是立体地匹配的。

10.根据权利要求9所述的方法，其中，所述上下文信息包括与所述用户、所述3D环境或所述可交互对象的特性相关联的信息。

11.根据权利要求10所述的方法，其中，与所述3D环境相关联的信息包括所述用户的环境的光照条件，并且其中，通过模拟所述光照条件下的所述可交互对象的光学效果来确定所述光环的视觉表示。

12.根据权利要求11所述的方法，进一步包括：

检测所述用户的姿势的变化；

基于所述用户的姿势的变化来确定所述3D环境中的所述可交互对象的更新位置；以及

基于所述可交互对象的更新位置来更新所述光环的视觉表示。

13.根据权利要求12所述的方法，其中，响应于确定所述更新位置在所述用户的FOV内，将所述光环的内边缘与所述用户的至少一只眼睛共线对准。

14.根据权利要求12至13中任一项所述的方法，其中，所述光环的视觉表示包括以下至少一项：位置、形状、颜色、大小或亮度。

15.根据权利要求14所述的方法，其中，所述光环的大小指示以下至少一项：所述可交互对象的接近度或紧迫度。

16.根据权利要求9至13中任一项所述的方法，其中，所述用户的姿势包括以下至少一项：头部姿势或注视方向。

Images