CN117980866A - 基于情境提供方向感知指示器 - Google Patents

Abstract

本文所公开的各种具体实施包括基于在物理环境中检测的情境来提供方向感知指示器的设备、系统和方法。例如，一种示例性方法可包括：从物理环境中的设备的一个或多个传感器获得传感器数据；基于该传感器数据来检测在物理环境中与该设备的使用相关联的情境；基于确定该情境表示用户将从方向感知指示器获益的状态来确定是否呈现该方向感知指示器；以及根据确定呈现该方向感知指示器，识别该方向感知指示器的方向，其中该方向对应于基本方向或朝向锚定位置或锚定设备的方向，并且基于所识别的方向来呈现该方向感知指示器。

Description

基于情境提供方向感知指示器

技术领域

本公开整体涉及通过电子设备显示内容，并且具体地涉及基于真实世界物理环境的情境确定并呈现方向感知指示器的系统、方法和设备。

背景技术

电子设备通常用于向用户呈现虚拟对象(诸如应用内容)，该虚拟对象补充在此类电子设备所提供的视图中可感知的周围物理环境。一些现有技术提供了可能难以导航的三维(3D)环境的视图。例如，用户在物理环境中走动时可能查看具有其他虚拟内容的物理环境，并失去方向感。因此，可能希望提供一种有效地提供方向或用于使用户在3D环境中定向的指示的方法。

发明内容

本文所公开的各种具体实施包括在某些检测的情境中提供方向感知指示器(例如，细微的视觉/音频、非侵入性提示)以补充用户的自然方向感觉的设备、系统和方法。在一个示例中，使用空间音频每五分钟从北方播放一次声响。可触发此类指示器的示例性情境包括用户(a)身处新的城市或陌生的位置，(b)进行诸如其中取向很重要的徒步旅行之类的活动，(c)表现出迷失方向或迷失，和/或(d)靠近特定位置、对象或人。方向感知指示器可识别基本方向(例如，北)或朝向锚定位置或锚定设备(例如，露营地或在摇滚音乐会上的其他用户的设备(在获准共享的情况下))的方向。方向感知指示器可以例如基于诸如与特定位置、对象或人的接近度之类的因素而在视觉上或在听觉上改变。

在一些具体实施中，可在一个或多个不同的视图集合中提供方向感知指示器以改善用户体验(例如，在穿戴头戴式显示器(HMD)以进行视频透传时)。一些具体实施允许与方向感知指示器(例如，应用程序小组件)交互。在一些具体实施中，设备(例如，手持式设备、膝上型计算机、台式计算机或HMD)向用户提供三维(3D)环境的视图(例如，视觉体验和/或听觉体验)并用传感器获得与用户的响应相关联的生理数据(例如，注视特性)和运动数据(例如，控制器移动化身、头部移动等)。基于所获得的生理数据，本文所述的技术可通过跟踪用户的注视特性和其他交互(例如，物理环境中的用户移动)来确定用户在观看3D环境(例如，扩展现实(XR)环境)期间的前庭提示。基于前庭提示，这些技术可检测与方向感知指示器的交互并且提供一组不同的视图以改善用户在观看3D环境时的体验。例如，用户的体验可能会基于以下情况而改变：检测到用户处于用户将从方向感知辅助中受益的情况，用户已开始向预期的目标位置移动(从日历应用)，用户已在十字路口处停止移动，好像不确定(例如，表现出迷路，诸如>920°转圈)，和/或用户位于其他用户设备或特定位置的接近度阈值内。

一般来讲，本说明书中所述主题的一个创新方面可具体体现于方法中，在具有处理器和一个或多个传感器的电子设备处，这些方法包括下述操作：从物理环境中的设备的一个或多个传感器获得传感器数据；基于该传感器数据和该电子设备在该物理环境中的历史使用来检测与该设备的使用相关联的情境；基于与该电子设备在该物理环境中的使用相关联的该情境来确定是否呈现方向感知指示器；以及根据确定呈现该方向感知指示器，识别该方向感知指示器的方向，其中该方向对应于基本方向或朝向锚定位置或锚定设备的方向，并且基于所识别的方向来呈现该方向感知指示器。

这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。

在一些方面，呈现该方向感知指示器还基于相对于该电子设备的三维(3D)位置。在一些方面，该方向感知指示器包括使用空间音频播放以从3D位置听到的音频提示，其中3D位置是基于所识别的方向而确定的。

在一些方面，该方向感知指示器是被定位成出现在通过该电子设备所提供的该物理环境的视图中的3D位置处的视觉提示，其中该3D位置基于所识别的方向而确定。在一些方面，基于相对于与该电子设备在该物理环境中的使用相关联的所检测的情境的标准，不呈现该方向感知指示器。

在一些方面，该方向感知指示器间歇地呈现。在一些方面，基于该电子设备的移动间歇地呈现该方向感知指示器。在一些方面，基于该方向感知指示器相对于该3D位置的历史使用来间歇地呈现该方向感知指示器。

在一些方面，该方法还包括根据检测到停止呈现该方向感知指示器的请求，停止呈现该方向感知指示器。在一些方面，该方法还包括基于该电子设备与该锚定位置或锚定设备的接近度随时间推移修改该方向感知指示器。

在一些方面，检测该情境包括确定该电子设备在新位置中的使用。在一些方面，检测该情境包括确定该电子设备在某种活动期间的使用。在一些方面，检测该情境包括确定该电子设备的用户迷失方向或迷路。在一些方面，检测该情境包括确定该电子设备在某位置、某对象、另一电子设备或某人的接近度阈值距离内。

在一些方面，电子设备是头戴式设备(HMD)。

根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述的方法中的任一种方法的指令。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1示出了根据一些具体实施的呈现视觉环境并从用户获得生理数据的设备。

图2A示出了根据一些具体实施的持有电子设备的用户在物理环境中的示例性位置图。

图2B示出了根据一些具体实施的用于图2A的用户的电子设备的示例性视图，该电子设备包括方向感知指示器。

图3A示出了根据一些具体实施的基于持有电子设备的用户在城市环境中的移动的示例性位置图。

图3B示出了根据一些具体实施的用于图3A的用户的电子设备的示例性视图，该电子设备包括方向感知指示器。

图4是根据一些具体实施的基于在物理环境中检测的情境来提供方向感知指示器的流程图表示。

图5示出了根据一些具体实施的示例性设备的设备部件。

图6示出了根据一些具体实施的示例性头戴式设备(HMD)。

根据通常的做法，附图中示出的各种特征可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的部件中的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

图1示出了真实世界物理环境100，该真实世界物理环境包括具有显示器15的设备10。在一些具体实施中，设备10向用户25呈现内容20，以及与内容20相关联的视觉特性30。物理环境100包括门150和窗户160。例如，内容20可以是按钮、用户界面图标、文本框、图形等。在一些具体实施中，与内容20相关联的视觉特性30包括诸如色调、饱和度、尺寸、形状、空间频率、运动、突出显示等的视觉特性。例如，内容20可被显示为具有覆盖或包围内容20的绿色突出显示的视觉特性30。

在一些具体实施中，内容20可表示视觉3D环境(例如，扩展现实(XR)环境)，并且3D环境的视觉特性30可连续地改变。在一些实施方案中，表示视觉3D环境的内容20可使用由传感器60、65所捕获的环境的图像/视频来呈现并且使用设备15的显示器来展现。在其他具体实施中，可通过提供经由设备15的透明或半透明显示器看到的环境的视图来呈现表示视觉3D环境的内容20。头部姿态测量可由惯性测量单元(IMU)或其他跟踪系统获得。在一个示例中，用户可在持有、佩戴或接近包括获得生理数据以评价指示用户的注视特性的眼睛特性以及用户的运动数据的一个或多个传感器的电子设备时感知真实世界物理环境。

在一些具体实施中，视觉特性30是用户的特定于3D环境的视图(例如，在观看期间呈现的视觉提示或音频提示)的反馈机制。在一些具体实施中，3D环境的视图(例如，内容20)可占据显示器15的整个显示区域。例如，内容20可包括作为呈现给用户的视觉特性30和/或音频提示(例如，头戴式设备(HMD)上的360度视频)的一系列图像。

设备10经由传感器35(例如，面向用户以捕获用户的面部特征和/或眼睛注视的光强度数据和/或深度数据的一个或多个相机)从用户25获得生理数据(例如，瞳孔数据)。例如，设备10获得眼睛注视特性数据40。尽管本文讨论的该示例和其他示例示出了真实世界物理环境100中的单个设备10，但是本文公开的技术适用于多个设备以及其他真实世界物理环境。例如，设备10的功能可由多个设备执行。

在一些具体实施中，如图1所示，设备10是手持电子设备(例如，智能手机或平板电脑)。在一些具体实施中，设备10是可穿戴HMD。在一些具体实施中，设备10是膝上型计算机或台式计算机。在一些具体实施中，设备10具有触控板，并且在一些具体实施中，设备10具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。

在一些具体实施中，设备10包括用于获取物理环境的图像数据的传感器60、65。图像数据可包括光强度图像数据和/或深度数据。例如，传感器60可以是用于捕获RGB数据的摄像机，并且传感器65可以是用于捕获深度数据的深度传感器(例如，结构光、飞行时间等)。

在一些具体实施中，设备10包括用于检测眼睛位置和眼睛移动的眼睛跟踪系统。例如，眼睛跟踪系统可包括一个或多个红外(IR)发光二极管(LED)、眼睛跟踪相机(例如，近IR(NIR)照相机)和向用户25的眼睛发射光(例如，NIR光)的照明源(例如，NIR光源)。此外，设备10的照明源可发射NIR光以照射用户25的眼睛，并且NIR相机可捕获用户25的眼睛的图像。在一些具体实施中，可分析由眼睛跟踪系统捕获的图像以检测用户25的眼睛的位置和移动，或检测关于眼睛的其他信息诸如瞳孔扩张或瞳孔直径。此外，从眼睛跟踪图像估计的注视点可使得能够与设备10的显示器上示出的内容进行基于注视的交互。

在一些具体实施中，设备10具有图形用户界面(GUI)、一个或多个处理器、存储器以及存储在存储器中的用于执行多个功能的一个或多个模块、程序或指令集。在一些具体实施中，用户25通过触敏表面上的手指接触和手势与GUI进行交互。在一些具体实施中，这些功能包括图像编辑、绘图、呈现、文字处理、网页创建、盘编辑、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放和/或数字视频播放。用于执行这些功能的可执行指令可被包括在被配置用于由一个或多个处理器执行的计算机可读存储介质或其他计算机程序产品中。

在一些具体实施中，设备10采用各种生理传感器、检测或测量系统。在示例性具体实施中，检测的生理数据包括由IMU或其他跟踪系统确定的头部姿态测量。在一些具体实施中，检测的生理数据可包括但不限于：脑电图(EEG)、心电图(ECG)、肌电图(EMG)、功能近红外光谱信号(fNIRS)、血压、皮肤电导或瞳孔响应。此外，设备10可同时检测多种形式的生理数据以便从生理数据的同步采集获益。此外，在一些具体实施中，生理数据表示非自愿数据，即，不受意识控制的响应。例如，瞳孔响应可表示非自愿移动。

在一些具体实施中，应用机器学习模型(例如，经训练的神经网络)来识别生理数据中的模式，包括识别对观看3D环境(例如，图1的内容20)的生理响应。此外，该机器学习模型可用于将这些模式与对应于用户25交互的兴趣或意图的指示的学习模式相匹配。在一些具体实施中，本文描述的技术可学习特定于特定用户25的模式。例如，该技术可从确定峰模式表示用户25响应于在观看3D环境时的特定视觉特性30的兴趣或意图的指示开始学习，并且使用该信息以随后识别类似的峰模式作为用户25的兴趣或意图的另一个指示。这种学习可考虑到用户与多个视觉特征30的相对交互，以便进一步调整视觉特征30并且增强用户对3D环境的生理响应。

在一些具体实施中，用户25的头部27的位置和特征(例如，眼睛、鼻部或鼻孔的边缘)由设备10提取并且用于查找用户25的眼睛45的粗略位置坐标，从而简化精确眼睛45特征(例如，位置、注视方向等)的确定，并且使得注视特性测量更可靠和稳健。此外，设备10可容易地将头部27的3D部件的位置与通过眼睛部件图像分析获得的注视角度信息组合，以便识别用户25在任何给定时间观看到的给定屏幕对象。在一些具体实施中，使用3D标测结合注视跟踪允许用户25自由地移动他或她的头部27和眼睛45，同时减少或消除使用头部27上的传感器或发射器主动跟踪头部27的需要。

通过跟踪眼睛45，一些具体实施减少了在用户25移动他或她的头部27之后重新校准用户25的需要。在一些具体实施中，设备10使用深度信息来跟踪瞳孔50的移动，由此使得能够基于用户25的单次校准来计算可靠的呈现的瞳孔直径。利用诸如瞳孔中心角膜反射(PCCR)、瞳孔跟踪和瞳孔形状的技术，设备10可从头部27的定点计算瞳孔直径55以及眼睛45的注视角度，并且使用头部27的位置信息以便重新计算注视角度和其他注视特性测量。除了减少的重新校准之外，跟踪头部27的进一步有益效果可包括减少光投射源的数量并减少用于跟踪眼睛45的相机的数量。

在一些具体实施中，瞳孔响应可响应于用户25的一个或两个耳朵70检测到的听觉刺激。例如，设备10可包括经由声波14投射声音的扬声器12。设备10可包括其他音频源，例如用于头戴式耳机的头戴式耳机插孔、与外部扬声器的无线连接等。

图2A示出了根据一些具体实施的持有电子设备的用户在物理环境中的示例性位置图200。位置图示出了用户表示或其他对象表示在3D环境内的位置的二维(2D)俯视图。例如，表示205和表示210表示用户25在图1的物理环境100中持有设备10。位置图200还示出了具有物理环境100的一部分的视角202(例如，视场(FOV))的表示210(例如，设备10)，该视角包括表示204(门150)和表示206(窗口160)。在该示例中，在呈现用于方向感知会话的内容的示例期间，在电子设备(例如，设备10)上执行或通过外部服务器联网的方向感知指令集可基于用户25的表示和在物理环境中检测的对象的表示(例如，表示204、206等)生成位置图200。

图2B示出了由电子设备10提供的物理环境100的示例性视图220。视图220可以是物理环境100的实况相机视图、通过透视显示器的物理环境100的视图、或基于对应于物理环境100的3D模型生成的视图。视图220包括物理环境100的各方面的描绘，诸如包括在视角202中的门150的表示250和窗口160的表示260。电子设备10通过使用一种或多种已知技术(例如，电子设备10的磁力计等)来确定物理环境100中的全局参考方向215(例如，真北)。在该示例中，视图220进一步包括方向感知指示器214(例如，虚拟罗盘)，该方向感知指示器可基于所确定的物理环境100的全局参考方向215(例如，“真北”)显示在视图220中。例如，方向感知指示器214可以自动地提供或通过用户的请求提供，以便他们知道他们正看向窗外的哪个方向。作为方向感知指示器214的虚拟罗盘(例如，虚拟图标)用于示例性说明。附加地或另选地，方向感知指示器214可包括空间化音频和/或视频。在示例性具体实施中，方向感知指示器是使用空间音频播放以从3D位置听到的音频提示，其中3D位置是基于所识别的方向而确定的。可使用空间化音频的特性(例如，音高、持续时间、音符序列等)来识别音频提示所表示的方向的类型。在其他具体实施中，其他细微视觉指示器(诸如点或箭头)可围绕设备10的显示器径向定位以指示参考方向(例如，北)或指向参考位置的方向。

图3A示出了根据一些具体实施的持有电子设备的用户在物理环境中的示例性位置图300。位置图示出了用户表示或其他对象表示在3D环境内的位置的2D俯视图。例如，表示305和表示310表示用户25在物理环境315中(例如，在城市的街道上)持有设备10。位置图300还示出表示310(例如，设备10)具有物理环境315的一部分的视角302(例如，FOV)，该视角包括表示330、332和334(第一建筑物、第二建筑物和第三建筑物)、表示336(指示牌)和表示338(道路)，它们表示如图3B中的物理环境315中所示的物理对象。在该示例中，在呈现用于方向感知会话的内容的示例期间，在电子设备(例如，设备10)上执行或通过外部服务器联网的方向感知指令集可基于用户25的表示和在物理环境中检测的对象的表示(例如，表示330、332、334、336、338等)生成位置图300。然后，方向感知指令集可以使用位置图300来确定距特定对象(诸如目标位置)的距离阈值。例如，第二建筑物322(例如，表示332)可以是被确定为目标位置的用户的酒店。然后，可以使用位置地图300来确定从设备10到该目标位置的距离，以通过诸如文本框和/或音频提示之类的方向感知指示器来提供准确的方向，该方向感知指示器告知用户酒店在向前两个街区并且在左侧。

图3B示出了由电子设备10提供的物理环境315(例如，城市中的街道)的示例性视图350。视图350可以是物理环境315的实况相机视图、通过透视显示器的物理环境315的视图、或基于对应于物理环境315的3D模型生成的视图。视图350包括物理环境315的各方面的描绘，诸如包括在视角302中的第一建筑物320的表示340、第二建筑物322的表示342(例如，可以是目标位置的用户的酒店)、第三建筑物324的表示344、指示牌326的表示346和道路328的表示348。在一些具体实施中，电子设备10使用本文所述的一种或多种技术显示方向感知指示器360(例如，被定位成出现在视图350内的3D位置处的视觉和/或音频提示)。另外，在一些具体实施中，电子设备10可确定物理环境315中的全局参考方向(例如，真北)，并且视图350可包括方向感知指示器304(例如，虚拟罗盘)，该方向感知指示器可基于所确定的物理环境315的全局参考方向(例如，“真北”)显示在视图350中。

例如，视图350表示佩戴诸如HMD之类的设备(例如，图1的设备10)的用户(例如，图1的用户25)在物理环境315内的视点。向用户提供方向感知指示器360。例如，在设备10的视点内呈现视觉提示，以便可以向用户呈现对方向感知的通知的对象、消息和/或方向箭头，如图所示。另选地，可以提供对方向感知指示器360的通知的其他方法。在一些具体实施中，方向感知指示器360提供诸如“声响”的音频提示(例如，空间化音频)，以向用户指示目标对象的方向(例如，“您的酒店在左前方”)。

在一些具体实施中，方向感知指示器360可以以音频和/或视频形式空间化。在示例性具体实施中，方向感知指示器360是使用空间音频播放以从3D位置听到的音频提示，其中该3D位置是基于所识别的目标位置的方向而确定的(例如，酒店在向北两个街区并且在街道的左侧)。附加地或另选地，如图3B所示，方向感知指示器360是被定位成出现在通过电子设备所提供的物理环境的视图中的3D位置处的视觉提示，其中该3D位置基于所识别的方向(例如，通过光学透视设备)而确定。

在一些具体实施中，基于相对于与电子设备在物理环境中的使用相关联的所检测的情境的标准，不呈现方向感知指示器360。例如，如果用户之前已多次到访该位置(例如，基于历史比较)，则在没有某种附加用户交互(例如，用户请求有关去向的指示器)的情况下，可以不呈现方向感知指示器360。另选地，可存在基于用户运动的标准。例如，系统能够检测到有人正在开车或乘坐由其他人驾驶的汽车(例如，出租车)，并且可能也不需要指示器，这样他们就不分心(例如，在开车时)，或者因为其他人知道目标位置的所在位置。

在一些具体实施中，可存在方向感知指示器360的间歇呈现，间歇呈现可例如基于便利性、响应于一些反馈(诸如，用户朝向地标移动、先前呈现的历史/次数、用户请求停止等)来调整。在示例性具体实施中，方向感知指示器360间歇地呈现。在一些具体实施中，基于电子设备的移动间歇地呈现方向感知指示器。在一些具体实施中，基于方向感知指示器相对于3D位置的历史使用来间歇地呈现方向感知指示器。

在一些具体实施中，基于电子设备与锚定位置或设备的接近度随时间推移修改方向感知指示器360。例如，当用户靠近时，空间化音频通知可指示更靠近的接近度。附加地或另选地，对于视觉图标，如果用户开始沿远离目标位置的不同方向行走，则方向感知指示器360可在尺寸上增加或开始闪烁。另外，方向感知指示器360可包括文本小组件应用程序，该应用程序结合箭头一起告知用户目标位置的所在位置(例如，酒店在向前三个街区并且在您的左侧)，而不是仅使用箭头。附加或另选地，方向感知指示器360包括罗盘指示器(例如，方向感知指示器304)，以便可提供告知用户沿特定方向继续前行的音频提示(例如，“在枫树街上北行三个街区”)。因此，虚拟罗盘(方向感知指示器304)可进一步沿着特定方向引导用户。

在一些具体实施中，如图3B所示，视图350将方向感知指示器360显示为“卡”在设备/用户的视点，也称为全局锁定(例如，锁定到物理环境中的3D位置)。在一些具体实施中，方向感知指示器360的视图可为全局锁定的，直到用户满足诸如接近距离阈值等某种条件为止。在用户满足一个或多个距离阈值(例如，用户位于距目标位置的20英尺内或在其要左转时处于某一位置)之后，方向感知指示器360可改变外观。例如，响应于用户接近并且满足距离阈值，方向感知指示器360可从全局锁定转变为显示器锁定，其中指示器360可出现在显示器上的特定位置处而不管用户相对于环境的姿态如何，或转变为身体锁定，其中指示器360可出现在相对于用户身体的一部分(诸如，其躯干)偏移的特定位置和取向处。在满足距离阈值时，外观的其他变化，诸如颜色、尺寸、形状、内容等，也可以任选地改变。

在其他具体实施中，方向感知指示器360可显示为头部锁定或身体锁定，直到用户满足诸如接近距离阈值等条件为止。在用户满足一个或多个距离阈值(例如，用户位于距目标位置的20英尺内或在其要左转时处于某一位置)之后，方向感知指示器360可改变外观。例如，方向感知指示器360最初可在相对于与目标位置对应的用户的方向上而非距离上显示。响应于用户接近并满足距离阈值，方向感知指示器360可以从头部锁定或身体锁定转变到全局锁定，其中它被定位在物理环境中的3D位置处(例如，定位在目标位置处)。方向感知指示器360的外观也可能发生变化(例如，显示陈述“这是您的酒店”的指示)。当用户满足条件(例如，距离或可见性条件)时将方向感知指示器360或其他内容锚定到目标位置(例如，真实世界位置)可通过提供内容的定位来有利地节省电力和计算资源，在需要随着用户移动更新定位的情况下，这往往是资源密集型过程。在距用户的视点固定距离处呈现方向感知指示器360或其他内容可提供更好的内容可见性或易读性(例如，方向感知指示器360内的文本消息的方式类似于手持一本书保持完美距离的方式，使其更容易阅读和理解)。

在一些具体实施中，方向感知指示器可以包括触觉反馈，诸如动觉通信或3D触摸。触觉反馈是指可以通过向用户施加力、振动或运动来创造触摸体验的技术。例如，如果用户正佩戴HMD，则诸如电话或智能手表等其他设备可振动和/或提供视觉消息以向用户指示方向(例如，类似于方向感知指示器360)。例如，当用户的同伴离得很远，但看向其方向时(例如，在拥挤环境下，诸如户外音乐会)，设备可在其手表上播放来自同伴的最后一条心跳消息。

在一些具体实施中，方向感知指示器360可从显示器逐渐消失以便为用户提供更轻松的转变，从而营造更愉悦的XR环境。例如，在随着用户转身离开方向感知指示器360的某一点处(例如，在激活区之外)，方向感知指示器360可以从显示器逐渐消失。激活区可基于锚定的方向感知指示器360以鼓励用户保持相对静止以使方向感知指示器360保持在显示器内。当用户移动时，可呈现视觉或听觉指示以通知用户方向感知指示器360将停用(例如，逐渐消失)。因此，用户可通过转身离开目标位置来消除方向感知指示器360。在一些具体实施中，使方向感知指示器360逐渐转变或逐渐消失可基于用户转动其头部的速率超过阈值或者转动其头部的次数超过阈值，使得方向感知指示器360将保持在其刚好在用户迅速转头离开之前的3D位置。

在一些具体实施中，系统可能检测到用户与方向感知指示器360的交互(例如，伸手以“触摸”方向感知指示器360)并且生成和显示接近用户视图的应用窗口。在一些具体实施中，系统可能检测到用户已临时地将其视线方向移动到激活区(例如，包含目标对象(用户的酒店)的激活区)之外的另一位置。例如，用户可响应于被物理环境中的某一事件(例如，另一行人或驶过街道的汽车)转移注意力而将其视线方向移动到激活区之外的另一位置。因此，基于用户从初始激活区“移开视线”，系统开始使方向感知指示器360逐渐消失和/或缩小。然而，一旦用户已返回到在方向感知指示器360和相关联的应用窗口最初处于激活态(例如，在激活区内)时的原始视图的视点，系统就可以返回到如在用户短暂地转移注意力之前最初预期的那样，当用户通过与方向感知指示器交互来激活应用程序时，显示方向感知指示器和相关联的应用窗口。

图4是示出示例性方法400的流程图。在一些具体实施中，设备诸如设备10(图1)基于在物理环境中检测的情境，执行提供方向感知指示器(例如，视觉和/或听觉电子内容)的方法400的技术。在一些具体实施中，在移动设备、台式计算机、膝上型计算机、HMD或服务器设备上执行方法400的技术。在一些具体实施中，方法400在处理逻辑部件(包括硬件、固件、软件或它们的组合)上执行。在一些具体实施中，在执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器上执行方法400。参考图2至图3示出了方法400的示例。

在框402处，方法400从物理环境中的电子设备的传感器获得传感器数据(例如，图像、声音、运动等)。例如，捕获用户当前房间的一个或多个图像、深度数据等。在一些具体实施中，传感器数据包括在图像捕获过程中获得的深度数据和光强度图像数据。

在框404处，方法400基于传感器数据和电子设备在物理环境中的历史使用来检测与电子设备的使用相关联的情境。例如，检测用户处于其中用户将从方向感知辅助中获益的情形。其他情形可包括用户已开始朝向预期目标位置(例如，从日历应用提取的酒店位置)移动。另一种情况是用户已在十字路口处停止移动，好像不确定或表现出迷路。另外，检测情境可包括确定用户是否在另一用户设备(例如，在户外音乐会上寻找配偶)或特定位置(例如，徒步的起始位置)的接近度阈值内。

方法400可使用检测物理环境的情境的各种方式。在一些具体实施中，检测情境包括确定电子设备在新位置中的使用(例如，步行在用户先前没到访过的城市中)。在一些具体实施中，检测情境包括确定电子设备在某种活动(例如，开车、步行、跑步、徒步等)期间的使用。

在框406处，方法400包括基于与电子设备在物理环境中的使用相关联的情境来确定是否呈现方向感知指示器。例如，用户将从方向感知指示器(例如，细微的视频和/或音频、非侵入性方向提示)获益的状态可基于用户在其当前位置处迷失方向或迷路。例如，在一些具体实施中，检测情境可包括基于头部或身体运动(例如，>920°转圈，来回转向阈值次数或超过阈值速率来回转向等)、话语(例如，询问他/她自己“我在哪里？”)等来确定电子设备的用户迷失方向或迷路。

在一些具体实施中，用户将从方向感知指示器获益的状态可以是基于位置的(例如，靠近特定目标位置或目标对象)。例如，在一些具体实施中，检测情境可包括确定电子设备在某位置、某对象、另一电子设备或某人的接近度阈值距离内。例如，检测情境可包括在户外音乐会上寻找配偶、向用户通知具有许多不同路线选项的徒步的起始位置、在新地点跑步时将起始和/或结束点设定为3D位置，等等。

在框408处，根据确定呈现方向感知指示器，方法400包括识别方向感知指示器的方向，其中该方向对应于基本方向(例如，北)或朝向锚定位置或设备的方向。

在一些具体实施中，识别与物理环境的区域(例如，目标位置，诸如酒店或其他人)相关联的方向感知指示器的方向包括确定电子设备(例如，佩戴HMD或持有智能电话或平板电脑的用户)已在物理环境的区域的距离阈值内移动。例如，可由设备实现用于酒店的半英里的距离阈值或用于定位其他人(例如，诸如在户外音乐会上)的五十米的距离阈值，使得方向感知指示器将仅在用户位于目标位置的距离阈值内的情况下才对用户可见。

在一些具体实施中，检测与物理环境的目标位置相关联的交互包括跟踪电子设备相对于物理环境的姿态，以及基于电子设备的姿态来检测电子设备的显示器的视图朝向该目标位置取向。例如，位置传感器可用于获取设备(例如，设备10)的定位信息。对于定位信息，一些具体实施包括视觉惯性测距(VIO)系统，其用于使用连续相机图像(例如，诸如RGB数据的光强度图像)来确定等效测距信息以估计行进的距离。另选地，本公开的一些具体实施可包括SLAM系统(例如，位置传感器)。该SLAM系统可包括独立于GPS并且提供实时同时定位与映射的多维(例如，3D)激光扫描和范围测量系统。该SLAM系统可生成并管理由来自环境中对象的激光扫描的反射而产生的非常准确的点云数据。随着时间推移，准确地跟踪点云中的任何点的移动，使得SLAM系统可使用点云中的点作为位置的参考点，在其行进通过环境时保持对其位置和取向的精确理解。该SLAM系统还可以是依赖于光强度图像数据来估计相机和/或设备的位置和取向的可视SLAM系统。

在一些具体实施中，检测与物理环境的目标位置相关联的交互包括跟踪注视方向，以及检测注视方向对应于物理环境的目标位置。在一些具体实施中，跟踪用户的注视可包括跟踪用户注视当前聚焦在哪个像素上。例如，获得与用户的注视相关联的生理数据(例如，眼睛注视特性数据40)可涉及获得可从中确定注视方向和/或移动的眼睛的图像或眼电图信号(EOG)数据。在一些具体实施中，3D环境可以是在用户穿戴设备诸如HMD时提供的XR环境。另选地，XR环境可被呈现给用户，其中虚拟图像可覆盖到物理环境的实时视图(例如，增强现实(AR))上。在一些具体实施中，跟踪用户相对于显示器的注视包括跟踪用户注视当前聚焦的像素。

在框410处，方法400基于在所识别方向上相对于电子设备的3D位置来呈现方向感知指示器。例如，方向感知指示器可以是使用空间音频播放以从3D位置听到的音频提示和/或被定位成出现在3D位置处的视觉提示。可基于所识别的方向(例如，在设备位置的北侧)来确定3D位置。另外，方向感知指示器可以是临时的(例如，持续有限时间的声响或向北显示的逐渐消失的“N”)。附加或连续地，方向感知指示器可在一段时间内(例如，在情境持续时)周期性地重复以提供对方向的细微而直观的感知。

在一些具体实施中，方向感知指示器可以以音频和/或视频形式空间化。在示例性具体实施中，方向感知指示器是使用空间音频播放以从3D位置听到的音频提示，其中3D位置是基于所识别的方向而确定的。附加地或另选地，如图3B所示，方向感知指示器是被定位成出现在通过电子设备所提供的物理环境的视图中的3D位置处的视觉提示(例如，方向感知指示器360)，其中该3D位置基于所识别的方向(例如，通过光学透视设备)而确定。

在一些具体实施中，基于相对于与电子设备在物理环境中的使用相关联的所检测的情境的标准，不呈现方向感知指示器。例如，如果用户之前已多次到访该位置(例如，基于历史比较)，则在没有某种附加用户交互(例如，用户请求有关去向的指示器)的情况下，可以不呈现方向感知指示器360。另选地，可存在基于用户运动的标准。例如，系统能够检测到该人正在开车或乘坐由其他人驾驶的汽车(例如，出租车)，并且可能也不需要指示器，这样他们就不分心(例如，在开车时)，或者因为其他人知道目标位置的所在位置。

在一些具体实施中，可存在方向感知指示器的间歇呈现，间歇呈现可例如基于便利性、响应于一些反馈(诸如，用户朝向地标移动、先前呈现的历史/次数、用户请求停止等)来调整。在示例性具体实施中，方向感知指示器间歇地呈现。在一些具体实施中，基于电子设备的移动间歇地呈现方向感知指示器。在一些具体实施中，基于方向感知指示器相对于3D位置的历史使用来间歇地呈现方向感知指示器。在一些具体实施中，方法400还包括根据检测到停止呈现方向感知指示器的请求，避免呈现方向感知指示器。

在一些具体实施中，基于电子设备与锚定位置或设备的接近度随时间推移修改方向感知指示器。例如，当用户靠近时，空间化音频通知可指示更靠近的接近度。附加地或另选地，对于视觉图标，如果用户开始沿远离目标位置的不同方向行走，则方向感知指示器可在尺寸上增加或开始闪烁。另外，方向感知指示器可包括文本小组件应用程序，该应用程序结合箭头一起告知用户目标位置的所在位置(例如，酒店在向前三个街区并且在您的左侧)，而不是仅使用箭头。附加地或连续地，方向感知指示器包括罗盘指示器(例如，图2B的方向感知指示器214或图3B的方向感知指示器304)。以便可提供告知用户沿特定方向继续前行的音频提示(例如，“在枫树街上北行三个街区”)。因此，作为方向感知指示器的虚拟罗盘可沿着特定方向引导用户。

图5是示例性设备500的框图。设备500示出了设备10的示例性设备配置。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备10包括一个或多个处理单元502(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器506、一个或多个通信接口508(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C和/或类似类型的接口)、一个或多个编程(例如，I/O)接口510、一个或多个显示器512、一个或多个面向内部和/或面向外部的图像传感器系统514、存储器520以及用于互连这些部件和各种其他部件的一条或多条通信总线504。

在一些具体实施中，一条或多条通信总线504包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备及传感器506包括以下各项中的至少一者：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎、一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些具体实施中，一个或多个显示器512被配置为向用户呈现物理环境或图形环境的视图。在一些具体实施中，一个或多个显示器512对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或类似显示器类型。在一些具体实施中，一个或多个显示器512对应于衍射、反射、偏振、全息等波导显示器。例如，设备10包括单个显示器。又如，设备10包括针对用户的每只眼睛的显示器。

在一些具体实施中，一个或多个图像传感器系统514被配置为获得对应于物理环境100的至少一部分的图像数据。例如，一个或多个图像传感器系统514包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机、深度相机、基于事件的相机等。在各种具体实施中，一个或多个图像传感器系统514还包括发射光的照明源，诸如闪光灯。在各种具体实施中，该一个或多个图像传感器系统514还包括相机上图像信号处理器(ISP)，其被配置为对图像数据执行多个处理操作。

存储器520包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器520包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器520任选地包括与一个或多个处理单元502远程定位的一个或多个存储设备。存储器520包括非暂态计算机可读存储介质。

在一些具体实施中，存储器520或存储器520的非暂态计算机可读存储介质存储可选的操作系统530和一个或多个指令集540。操作系统530包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，指令集540包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中，指令集540是能够由一个或多个处理单元502执行以实施本文所述技术中的一种或多种的软件。

指令集540包括内容指令集542和方向感知指令集544。指令集540可体现为单个软件可执行文件或多个软件可执行文件。

在一些具体实施中，内容指令集542可由处理单元502执行以提供和/或跟踪用于在设备上显示的内容。内容指令集542可被配置为随时间推移监测和跟踪内容(例如，在查看XR环境时)，并且生成和显示虚拟内容(例如，与所确定的镜子的3D位置相关联的应用程序)。出于这些目的，在各种具体实施中，该指令包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，方向感知指令集544可由处理单元502执行以识别方向感知指示器的方向，并且基于在所识别的方向上相对于电子设备的3D位置使用本文中所论述或以其他方式可能适当的一种或多种技术来呈现方向感知指示器。出于这些目的，在各种具体实施中，该指令包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。

尽管指令集540被示出为驻留在单个设备上，但应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。此外，图5更多地用作存在于特定具体实施中的各种特征部的功能描述，该各种特征部与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。指令集的实际数量以及如何在其中分配特征将根据具体实施而变化，并且可以部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

图6示出了根据一些具体实施的示例性头戴式设备600的框图。头戴式设备600包括容纳头戴式设备600的各种部件的外壳601(或封装件)。外壳601包括(或耦接到)设置在外壳601的近侧(用户25的)端部处的眼垫(未示出)。在各种具体实施中，眼垫是塑料或橡胶件，其舒适且贴合地将头戴式设备600保持在用户25的面部上的适当位置(例如，围绕用户25的眼睛45)。

外壳601容纳显示器610，该显示器显示图像、朝向用户25的眼睛发射光或将光发射到该用户的眼睛上。在各种具体实施中，显示器610通过具有一个或多个透镜605的目镜发射光，该透镜折射由显示器610发射的光，使显示器在用户25看起来在比从眼睛到显示器610的实际距离更远的虚拟距离处。为了用户25能够聚焦在显示器610上，在各种具体实施中，虚拟距离至少大于眼睛的最小焦距(例如，7cm)。此外，为了提供更好的用户体验，在各种具体实施中，虚拟距离大于1米。

外壳601还容纳跟踪系统，该跟踪系统包括一个或多个光源622、相机624和控制器680。一个或多个光源622将光发射到用户25的眼睛上，其反射为可由相机624检测的光图案(例如，闪光圈)。基于该光图案，控制器680可确定用户25的眼睛跟踪特征。例如，控制器680可确定用户25的注视方向和/或眨眼状态(睁眼或闭眼)。又如，控制器680可确定瞳孔中心、瞳孔大小或关注点。因此，在各种具体实施中，光由一个或多个光源622发射出，从用户25的眼睛45反射，并且由相机624检测。在各种具体实施中，来自用户25的眼睛45的光在到达相机624之前从热镜反射或通过目镜。

外壳601还容纳包括一个或多个音频源626的音频系统，控制器680可根据本文述的技术利用该一个或多个音频源经由声波14向用户耳朵70提供音频。例如，音频源626可提供声音以用于背景声音以及可在3D坐标系中空间上呈现的听觉刺激。音频源626可包括扬声器、与外部扬声器系统(诸如头戴式耳机)的连接或经由无线连接而连接的外部扬声器。

显示器610发射第一波长范围内的光，并且一个或多个光源622发射第二波长范围内的光。类似地，相机624检测第二波长范围内的光。在各种具体实施中，第一波长范围是可见波长范围(例如，可见光谱内大约为400nm-700nm的波长范围)，并且第二波长范围是近红外波长范围(例如，近红外光谱内约为700nm-1400nm的波长范围)。

在各种具体实施中，眼睛跟踪(或者具体地，确定的注视方向)用于使用户能够进行交互(例如，用户25通过观看显示器610上的选项来选择它)，提供注视点渲染(例如，在用户25正在观看的显示器610的区域中呈现更高的分辨率并且在显示器610上的其他地方呈现更低的分辨率)，或者校正失真(例如，对于要在显示器610上提供的图像)。

在各种具体实施中，一个或多个光源622朝向用户25的眼睛发射光，该光以多个闪烁的形式反射。

在各种具体实施中，相机624是基于帧/快门的相机，其以帧速率在特定时间点或多个时间点生成用户25的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵，所述像素对应于相机的光传感器矩阵的位置。在各种具体实施中，每个图像用于通过测量与用户的一个或两个瞳孔相关联的像素强度的变化来测量或跟踪瞳孔扩张。

在各种具体实施中，相机624是包括在多个相应位置处的多个光传感器(例如，光传感器矩阵)的事件相机，该事件相机响应于特定光传感器检测到光强度变化而生成指示特定光传感器的特定位置的事件消息。

应当理解，上文所描述的具体实施以示例的方式引用，并且本公开不限于上文已特别示出和描述的内容。相反地，范围包括上文所描述的各种特征的组合和子组合两者，以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。

如上所述，本发明技术的一个方面是收集和使用生理数据以改善用户在与电子内容进行交互方面的电子设备体验。本公开设想，在一些情况下，该所收集的数据可包括唯一地识别特定人员或者可用于识别特定人员的兴趣、特点或倾向性的个人信息数据。此类个人信息数据可包括生理数据、人口数据、基于位置的数据、电话号码、电子邮件地址、家庭地址、个人设备的设备特征或任何其他个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改进电子设备的交互和控制能力。因此，使用此类个人信息数据使得能够对电子设备进行有计划的控制。此外，本公开还预期个人信息数据有益于用户的其他用途。

所描述的技术可采集和使用来自各种源的信息。在一些情况下，该信息可包括标识或可用于定位或联系特定个体的个人信息。该个人信息可包括人口统计数据、位置数据、电话号码、电子邮件地址、出生日期、社交媒体账户名称、工作住址或家庭地址、与用户的健康或健身水平相关联的数据或记录、或其他个人或标识信息。

个人信息的收集、存储、传递、公开、分析或其他用途应当遵守既定的隐私政策或实践。应当实施并使用一般被认为满足或超过行业或政府要求的隐私政策和惯例。个人信息应当被收集用于合法且合理的用途，并且不在这些用途之外共享或出售。信息的收集或共享应当在接收到用户的知情同意之后发生。

可设想，在一些情况下，用户可选择性地阻止使用或访问个人信息。可提供硬件或软件特征，以防止或阻止对个人信息的访问。应当处理个人信息以降低无意或未授权访问或使用的风险。通过一旦不再需要就限制数据的收集和删除数据可降低风险。当适用时，数据去标识可用于保护用户的隐私。

尽管所描述的技术可广泛地包括个人信息的使用，但是可在不访问这种个人信息的情况下实施本技术。换句话讲，本技术不会由于缺少一些或所有这种个人信息而被致使不可操作。

本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、装置或系统，以便不使要求保护的主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“标识”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种对象，但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、对象或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (45)

1.一种方法，所述方法包括：

在具有处理器和一个或多个传感器的电子设备处：

从物理环境中的所述电子设备的一个或多个传感器获得传感器数据；

基于所述传感器数据和所述电子设备在所述物理环境中的历史使用来检测与所述电子设备的使用相关联的情境；

基于与所述电子设备在所述物理环境中的使用相关联的所述情境来确定是否呈现方向感知指示器；以及

根据确定呈现所述方向感知指示器，

识别所述方向感知指示器的方向，其中所述方向对应于基本方向或朝向锚定位置或锚定设备的方向，并且

基于所识别的方向呈现所述方向感知指示器。

2.根据权利要求1所述的方法，其中呈现所述方向感知指示器还基于相对于所述电子设备的三维(3D)位置。

3.根据权利要求2所述的方法，其中所述方向感知指示器包括使用空间音频播放以从所述3D位置听到的音频提示，其中所述3D位置基于所识别的方向而确定。

4.根据权利要求2或3所述的方法，其中所述方向感知指示器是被定位成出现在通过所述电子设备所提供的所述物理环境的视图中的3D位置处的视觉提示，其中所述3D位置基于所识别的方向而确定。

5.根据权利要求1至4中任一项所述的方法，其中基于相对于与所述电子设备在所述物理环境中的使用相关联的所检测的情境的标准，不呈现所述方向感知指示器。

6.根据权利要求1至4中任一项所述的方法，其中所述方向感知指示器间歇地呈现。

7.根据权利要求6所述的方法，其中基于所述电子设备的移动间歇地呈现所述方向感知指示器。

8.根据权利要求6所述的方法，其中基于所述方向感知指示器相对于所述3D位置的历史使用间歇地呈现所述方向感知指示器。

9.根据权利要求1至8中任一项所述的方法，所述方法还包括：

根据检测到停止呈现所述方向感知指示器的请求，停止呈现所述方向感知指示器。

10.根据权利要求1至9所述的方法，所述方法还包括：

基于所述电子设备与所述锚定位置或所述锚定设备的接近度随时间推移修改所述方向感知指示器。

11.根据权利要求1至10中任一项所述的方法，其中检测所述情境包括确定所述电子设备在新位置中的使用。

12.根据权利要求1至11中任一项所述的方法，其中检测所述情境包括确定所述电子设备在一种活动期间的使用。

13.根据权利要求1至12中任一项所述的方法，其中检测所述情境包括确定所述电子设备的用户迷失方向或迷路。

14.根据权利要求1至13中任一项所述的方法，其中检测所述情境包括确定所述电子设备在某位置、某对象、另一电子设备或某人的接近度阈值距离内。

15.根据权利要求1至14中任一项所述的方法，其中所述电子设备是头戴式设备(HMD)。

16.一种设备，所述设备包括：

非暂态计算机可读存储介质；和

一个或多个处理器，所述一个或多个处理器耦接至所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述设备执行包括以下项的操作：

从物理环境中的所述设备的一个或多个传感器获得传感器数据；

基于所述传感器数据和所述电子设备在所述物理环境中的历史使用来检测与所述电子设备的使用相关联的情境；

基于与所述电子设备在所述物理环境中的使用相关联的所述情境来确定是否呈现方向感知指示器；以及

根据确定呈现所述方向感知指示器，

识别所述方向感知指示器的方向，其中所述方向对应于基本方向或朝向锚定位置或锚定设备的方向，并且

基于所识别的方向呈现所述方向感知指示器。

17.根据权利要求16所述的设备，其中呈现所述方向感知指示器还基于相对于所述设备的三维(3D)位置。

18.根据权利要求17所述的设备，其中所述方向感知指示器包括使用空间音频播放以从所述3D位置听到的音频提示，其中所述3D位置基于所识别的方向而确定。

19.根据权利要求17或18所述的设备，其中所述方向感知指示器是被定位成出现在通过所述设备所提供的所述物理环境的视图中的3D位置处的视觉提示，其中所述3D位置基于所识别的方向而确定。

20.根据权利要求16至19中任一项所述的设备，其中基于相对于与所述设备在所述物理环境中的使用相关联的所检测的情境的标准，不呈现所述方向感知指示器。

21.根据权利要求16至19中任一项所述的设备，其中所述方向感知指示器间歇地呈现。

22.根据权利要求21所述的设备，其中基于所述设备的移动间歇地呈现所述方向感知指示器。

23.根据权利要求21所述的设备，其中基于所述方向感知指示器相对于所述3D位置的历史使用间歇地呈现所述方向感知指示器。

24.根据权利要求16至23中任一项所述的设备，其中所述程序指令在由所述一个或多个处理器执行时还使得所述设备执行包括以下项的操作：

根据检测到停止呈现所述方向感知指示器的请求，停止呈现所述方向感知指示器。

25.根据权利要求16至24中任一项所述的设备，其中所述程序指令在由所述一个或多个处理器执行时还使得所述设备执行包括以下项的操作：

基于所述设备与所述锚定位置或所述锚定设备的接近度随时间推移修改所述方向感知指示器。

26.根据权利要求16至25中任一项所述的设备，其中检测所述情境包括确定所述设备在新位置中的使用。

27.根据权利要求16至26中任一项所述的设备，其中检测所述情境包括确定所述设备在一种活动期间的使用。

28.根据权利要求16至27中任一项所述的设备，其中检测所述情境包括确定所述设备的用户迷失方向或迷路。

29.根据权利要求16至28中任一项所述的设备，其中检测所述情境包括确定所述设备在某位置、某对象、另一电子设备或某人的接近度阈值距离内。

30.根据权利要求16至29中任一项所述的设备，其中所述设备是头戴式设备(HMD)。

31.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质在计算机上存储计算机可执行的程序指令以执行包括以下项的操作：

从物理环境中的电子设备的一个或多个传感器获得传感器数据；

基于所述传感器数据和所述电子设备在所述物理环境中的历史使用来检测与所述电子设备的使用相关联的情境；

基于与所述电子设备在所述物理环境中的使用相关联的所述情境来确定是否呈现方向感知指示器；以及

根据确定呈现所述方向感知指示器，

识别所述方向感知指示器的方向，其中所述方向对应于基本方向或朝向锚定位置或锚定设备的方向，并且

基于所识别的方向呈现所述方向感知指示器。

32.根据权利要求31所述的非暂态计算机可读存储介质，其中呈现所述方向感知指示器还基于相对于所述电子设备的三维(3D)位置。

33.根据权利要求32所述的非暂态计算机可读存储介质，其中所述方向感知指示器包括使用空间音频播放以从所述3D位置听到的音频提示，其中所述3D位置基于所识别的方向而确定。

34.根据权利要求32或33所述的非暂态计算机可读存储介质，其中所述方向感知指示器是被定位成出现在通过所述电子设备所提供的所述物理环境的视图中的3D位置处的视觉提示，其中所述3D位置基于所识别的方向而确定。

35.根据权利要求31至34中任一项所述的非暂态计算机可读存储介质，其中基于相对于与所述电子设备在所述物理环境中的使用相关联的所检测的情境的标准，不呈现所述方向感知指示器。

36.根据权利要求31至34中任一项所述的非暂态计算机可读存储介质，其中所述方向感知指示器间歇地呈现。

37.根据权利要求36所述的非暂态计算机可读存储介质，其中基于所述电子设备的移动间歇地呈现所述方向感知指示器。

38.根据权利要求36所述的非暂态计算机可读存储介质，其中基于所述方向感知指示器相对于所述3D位置的历史使用间歇地呈现所述方向感知指示器。

39.根据权利要求31至38中任一项所述的非暂态计算机可读存储介质，还包括：

根据检测到停止呈现所述方向感知指示器的请求，停止呈现所述方向感知指示器。

40.根据权利要求31至39中任一项所述的非暂态计算机可读存储介质，还包括：

基于所述电子设备与所述锚定位置或所述锚定设备的接近度随时间推移修改所述方向感知指示器。

41.根据权利要求31至40中任一项所述的非暂态计算机可读存储介质，其中检测所述情境包括确定所述电子设备在新位置中的使用。

42.根据权利要求31至41中任一项所述的非暂态计算机可读存储介质，其中检测所述情境包括确定所述电子设备在一种活动期间的使用。

43.根据权利要求31至42中任一项所述的非暂态计算机可读存储介质，其中检测所述情境包括确定所述电子设备的用户迷失方向或迷路。

44.根据权利要求31至43中任一项所述的非暂态计算机可读存储介质，其中检测所述情境包括确定所述电子设备在某位置、某对象、另一电子设备或某人的接近度阈值距离内。

45.根据权利要求31至44中任一项所述的非暂态计算机可读存储介质，其中所述电子设备是头戴式设备(HMD)。