CN116490840A - 用于计算机生成的对象的注意力驱动渲染 - Google Patents

Abstract

本文所公开的各种具体实施包括能够调整计算机生成的对象(例如，增强)的外观的设备、系统和方法，这些计算机生成的对象被预测为在光学透视HMD用户的当前注意力焦点之外。在一些具体实施中，一种方法包括在HMD的光学透视显示器上显示第一计算机生成的对象和第二计算机生成的对象。在一些具体实施中，基于用户注意力指向第一计算机生成的对象的预测来标识第一计算机生成的对象，并且调整第二计算机生成的对象的外观以从第一状态改变为第二状态。

Description

用于计算机生成的对象的注意力驱动渲染

技术领域

本公开一般涉及基于计算机生成的对象的渲染，并且涉及基于预测的用户注意力来调整计算机生成的对象的外观的系统、方法和设备。

背景技术

在各种电子设备诸如使用光学透视(OST)显示器的那些中，可视地显示虚拟内容的显示系统需要足够的光量才可确保所显示的内容能够被用户看见。对于其中OST显示系统半透明的设备而言，会向所显示的内容添加背景光强度。内容必须以足够的亮度显示才可确保即使在存在大量背景光的情况下(诸如，在存在来自阳光照射的白色墙壁的背景光的情况下)，所显示的内容也可见。一般来讲，减少此类设备的渲染和显示部件的能耗的尝试主要集中在去除用户无法感知的所显示的内容的细节。

发明内容

本文所公开的各种具体实施包括调整计算机生成的对象(例如，增强)的外观的设备、系统和方法，这些计算机生成的对象被预测为在光学透视(OST)设备用户的当前注意力焦点之外。在一些具体实施中，基于用户的动作(例如，注视、背景、选择、历史活动倾向、语音等)，计算机生成的对象被预测为在用户的当前注意力焦点之外。例如，如果用户的注视指示该用户正在查看一组三个对象中的第一对象，则可以预测该第一对象是当前焦点，并且可以预测第二对象和第三对象在当前焦点之外。在一些具体实施中，可调整在当前焦点之外的一个或多个计算机生成的对象的外观，以减少用于渲染和/或显示该一个或多个计算机生成的对象的能耗。在一些具体实施中，经调整的外观是特定于对象的而非特定于显示区域的。在一些具体实施中，调整一个或多个计算机生成的对象的外观以提供感知上不同的外观(例如，用户注意到外观差异)。例如，基于预测该多个计算机生成的对象中的第一计算机生成的对象在用户的当前焦点之外来标识第一计算机生成的对象，并且调整第一计算机生成的对象的外观以从第一状态改变为第二状态。与处于第一状态的外观相比，第一计算机生成的对象的处于第二状态的外观减少了渲染和/或显示第一计算机生成的对象的能耗或其他资源。

在一些具体实施中，第一计算机生成的对象的外观从第一状态到第二状态的改变瞬时发生。另选地，从第一状态到第二状态的改变发生在一段时间间隔内，在该时间间隔期间，显示第一计算机生成的对象的一个或多个中间状态。在一些具体实施中，经调整的外观与注视点显示(foveated display)技术一起使用。例如，可使用不同的显示特性来显示不同区域中(例如，在注视点区域和非注视点区域中)的内容，并且两个计算机生成的对象可分别以对应的第一状态和第二状态显示在相同的注视点区域或非注视点区域中。

在一些具体实施中，一旦用户的当前焦点(例如，注意力)被预测为将返回到(例如，指向)第一计算机生成的对象，第一计算机生成的对象的外观调整将从第二状态返回到第一状态(例如，返回到预期的显示质量)。在一些具体实施中，从第二状态到第一状态的改变可以是瞬时的(例如，通过维持高质量的内容可随时显示)或在预设时间段内实现。

在一些具体实施中，一种方法包括在头戴式设备(HMD)的光学透视显示器上显示第一计算机生成的对象和第二计算机生成的对象。在一些具体实施中，基于用户注意力指向第一计算机生成的对象的预测来标识第一计算机生成的对象，并且调整第二计算机生成的对象的外观以从第一状态改变为第二状态。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1例示了根据一些具体实施的示例性操作环境。

图2是根据一些具体实施的示意图，该示意图示出了包括多个计算机生成的对象的表示的环境，这些多个计算机生成的对象的表示具有基于光学透视设备的用户的注意力而调整的外观。

图3是根据一些具体实施的示意图，该示意图示出了包括多个计算机生成的对象的表示的环境，这些多个计算机生成的对象的表示具有基于光学透视设备的用户的注意力而调整的外观。

图4是根据一些具体实施的示意图，该示意图示出了包括多个计算机生成的对象的表示的环境，这些多个计算机生成的对象的表示具有基于光学透视设备的用户的注意力而调整的外观。

图5是根据一些具体实施的示意图，该示意图示出了包括多个计算机生成的对象的表示的环境，这些多个计算机生成的对象的表示具有基于光学透视设备的用户的注意力而调整的外观。

图6是根据一些具体实施的示出了调整计算机生成的对象的外观的示例性方法的流程图，这些计算机生成的对象被预测为在光学透视HMD用户的当前注意力焦点之外。

图7示出了根据一些具体实施的示例性电子设备。

图8示出了根据一些具体实施的示例性HMD。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

图1示出了在物理环境105中使用电子设备120的示例性操作环境100。人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。

在图1的示例中，设备120被示出为单个设备。设备120的一些具体实施是手持式的。例如，设备120可以是移动电话、平板电脑、膝上型电脑等。在一些具体实施中，设备120由用户穿戴。例如，设备120可以是手表、头戴式设备(HMD)等。在一些具体实施中，设备120的功能经由两个或更多个设备(例如另外包括任选的基站)来实现。其他示例包括膝上型计算机、台式计算机、服务器或在功率、CPU能力、GPU能力、存储能力、存储器能力等方面包括附加能力的其他此类设备。可用于实现设备120的功能的多个设备可经由有线或无线通信彼此通信。

在一些具体实施中，设备120被配置为在扩展现实(XR)环境中为用户115管理和协调计算机生成的对象的外观。在一些具体实施中，基于预测用户注意力指向设备120处的多个计算机生成的对象中的第一计算机生成的对象来标识第一计算机生成的对象，并且调整第二计算机生成的对象的外观以从第一状态改变为第二状态。在一些具体实施中，与处于第一状态的外观相比，第二计算机生成的对象的处于第二状态的外观使用更少的能耗来渲染和/或显示第二计算机生成的对象。

根据一些具体实施，当用户115出现在物理环境105内时，电子设备120向用户115呈现XR环境。人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。相比之下，人可以使用电子设备与完全或部分模拟的扩展现实(XR)环境交互以及/或者感知该扩展现实环境。该XR环境可以包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等等。利用XR系统，人的物理运动或其表示的一些可被跟踪，并且作为响应，能够以符合至少一个物理定律的方式调节在XR环境中模拟的虚拟对象的特征。例如，该XR系统可以检测用户头部的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如，该XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。在一些情形中，该XR系统可以响应于诸如物理运动的表示的其他输入(例如，语音命令)而调节图形内容的特征。

许多不同类型的电子系统可以使用户能够与XR环境交互和/或感知XR环境。示例的非排他性列表包括抬头显示器(HUD)、头戴式系统、基于投影的系统、具有集成显示能力的窗户或车辆挡风玻璃、形成为放置于用户眼睛上的透镜的显示器(例如，接触镜片)、头戴式受话器/耳机、具有触觉反馈或不具有触觉反馈的输入系统(例如，可穿戴或手持式控制器)、扬声器阵列、智能电话、平板电脑和台式计算机/膝上型计算机。头戴式系统可具有不透明显示器和一个或多个扬声器。其它头戴式系统可被配置为接受不透明外部显示器(例如，智能电话)。头戴式系统可包括用于捕获物理环境的图像或视频的一个或多个图像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有媒介，光通过该媒介被引导到用户的眼睛。显示器可利用各种显示技术，例如uLED、OLED、LED、硅基液晶、激光扫描光源、数字光投影或其组合。光波导、光学反射器、全息图媒介、光学组合器及其组合或其它类似技术可用于媒介。在一些具体实施中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的系统可利用将图形图像投影到用户的视网膜上的视网膜投影技术。投影系统也可以将虚拟对象投影到物理环境中(例如，作为全息图或投影到物理表面上)。

图2至图5是根据一些具体实施的示意图，这些示意图示出了包括多个计算机生成的对象的表示的XR环境，这些多个计算机生成的对象的表示具有基于光学透视HMD的用户的注意力而调整的外观。在一些具体实施中，HMD设备225基于物理环境205来显示XR环境200。在一些具体实施中，光学透视显示器通过反射投影图像以及允许通过显示器查看物理环境205来示出XR环境200。如图2所示，HMD 225使用光学透视显示器210来显示XR环境200，并且用户215通过显示器210看到物理环境205。

在一些具体实施中，HMD 225使用显示器210显示多个计算机生成(CG)对象250。如图2所示，多个计算机生成的对象250(例如，增强)包括第一CG对象252、第二CG对象254和第三CG对象256。例如，第一CG对象252可以是交互式天气应用程序(例如，交互式UI、3D表示、游戏、多用户对象、小组件等)，第二CG对象254可以是交互式电子邮件应用程序，并且第三CG对象256可以是交互式股票市场或投资应用程序。又如，第一CG对象252可以是交互式交通应用程序，第二CG对象254可以是互联网浏览器应用程序，并且第三CG对象256可以是提供CG对象(诸如，音乐、TV或2D/3D电影)的流式传输服务。

如图2所示，第一CG对象252、第二CG对象254和第三CG对象256分别以第一状态(例如，最高质量显示)252a、254a、256a示出。在一些具体实施中，当以第一状态示出多个计算机生成(CG)对象250时，HMD 225(例如，显示器210)的能耗最高。

在一些具体实施中，基于预测HMD 225的用户215注意力未指向多个计算机生成的对象250中的一个或多个计算机生成的对象来标识该一个或多个计算机生成的对象。然后，可以调整被预测为在HMD用户215注意力之外的该一个或多个计算机生成的对象的外观。例如，可将被预测为未接收到HMD用户215注意力的一个或多个计算机生成的对象250的外观从第一状态调整为第二状态。当以第二状态显示多个计算机生成的对象250中的一个或多个计算机生成的对象时，HMD 225(例如，显示器210)的能耗可减少。

在一些具体实施中，基于HMD用户215的动作来确定多个计算机生成的对象250中被预测为在HMD用户215注意力之外的一个或多个计算机生成的对象。例如，可基于未被HMD用户215选择、未与HMD用户215交互、未与HMD用户215的注视相交、HMD用户215过去的动作、或物理环境205或XR环境200的当前背景，来确定多个计算机生成的对象250中被预测为未接收到HMD用户215注意力的一个或多个计算机生成的对象。当HMD用户215未与第一CG对象252交互时，并且基于HMD用户215的此类动作，可调整第一CG对象252的外观以减少由光学透视显示器210用来显示第一CG对象252的能耗。

在图3至图4所示的示例性具体实施中，HMD用户215与第三CG对象256交互但未与第一CG对象252和第二CG对象254中的任一者交互达15秒、1分钟、5分钟或预设时间段，并且第一CG对象252和第二CG对象254被预测为在HMD用户215注意力之外。因此，在图3的示例性具体实施中，可基于HMD用户215动作来调整第一CG对象252和第二CG对象254的外观。如图3所示，调整了第一CG对象252和第二CG对象256的外观，以减少用于渲染(例如，确定外观或实现所确定的外观的显示)第一CG对象252和第二CG对象254的HMD 225能耗。

如图3所示，将第一CG对象252的外观调整为单色(例如，红色、绿色或蓝色)简单形状表示252b，并且将第二CG对象254的外观调整为2D线框表示254b。在一些具体实施中，相应的表示252b和254b示出了处于第二状态的第一CG对象252和第二CG对象254。

另选地，在图4所示的示例性具体实施中，将第一CG对象252的外观调整为单一的暗光(例如，红色、绿色或蓝色)252c，并且将第二CG对象254的外观调整为减弱的照明水平256c。在一些具体实施中，相应的表示252c和254c示出了处于第二状态的第一CG对象252和第二CG对象254，而第三CG对象256使用表示256a处于第一状态。

在图5所示的示例性具体实施中，第四CG对象258通过表示258a(例如，CG对象258的第一状态)被添加到在显示器210中示出的多个计算机生成的对象250。例如，第四CG对象258可以是多用户应用程序，诸如，视频通话应用程序。如图5所示，HMD用户215选择CG对象258，并且HMD用户215的注视与第三CG对象256相交，然而HMD用户225仍然未与第一CG对象252和第二CG对象254中的任一者交互。因此，在图5中，相应的表示258a和256a示出了处于第一状态的第四CG对象258和第三CG对象256，而第一CG对象252和第二CG对象254以第二状态示出。

在一些具体实施中，经调整的外观减少了使用光学透视显示器210来显示计算机生成的对象250的能量或功率需求。在一些具体实施中，调整被预测为在HMD用户215的当前注意力焦点之外(例如，不是当前焦点)的计算机生成的对象的外观包括降低OST显示器210处的计算机生成的对象的照明(LED)强度。调整计算机生成的对象的外观可包括改变OST显示器210处的渲染质量，例如，从写实改变为可能需要较少照明或较少光源的2D或轮廓。调整计算机生成的对象的外观可包括减少显示的时间量(诸如，间歇显示或重复显示)，或使显示器210的显示淡出(例如，直到用户215的下一次选择)。调整计算机生成的对象的外观可包括切换到单色表示(例如，使用红色、蓝色或绿色像素而非用于全RGB颜色的三个像素集)。调整计算机生成的对象的外观可包括切换到不同的表示，诸如光点或易于显示的单色形状。调整计算机生成的对象的外观包括降低显示器210处的更新速率(例如，每秒帧数)。调整计算机生成的对象的外观包括减少或消除动画或移动以减少照明水平或使用的光源数量。调整计算机生成的对象的外观包括减少使用的像素数量。调整计算机生成的对象的外观包括切换到不同的供HMD用户215进行检测的感官输入。在一些具体实施中，切换到不同的供HMD用户215进行检测的感官输入包括将其切换到辅助显示器(例如，HMD 225处的补充外围LED阵列)或使用空间化音频。

在一些具体实施中，经调整的外观减少了使用光学透视显示器210来渲染要显示的计算机生成的对象250(例如，计算其外观)的能量需求。在一些具体实施中，调整被预测为在HMD用户215的当前注意力焦点之外的计算机生成的对象250的外观包括降低渲染质量(例如，从写实降低到2D/轮廓)，使得计算机生成的对象中的顶点数量显著减少(例如，从数千个顶点减少到几十个顶点)。调整计算机生成的对象的外观包括减少显示计算机生成的对象的时间量，并且仅针对这些减少后的时间来计算外观。调整计算机生成的对象的外观包括切换到不同的减少了计算的表示，诸如，可使用数量减少的像素实现的单个光点或简单形状(例如，圆形、椭圆形等)。调整计算机生成的对象的外观包括切换到仅计算单色表示(例如，而非全RGB颜色)。调整计算机生成的对象的外观包括通过降低更新速率(例如，每秒的帧数)或降低要提供的姿势的精确度来减少所需的计算。在一些具体实施中，调整计算机生成的对象的外观包括通过减少或消除用于动画/移动的计算(例如，仅计算静态姿势)来减少所需的计算。

在一些具体实施中，调整计算机生成的对象的外观包括切换到将由HMD用户215使用的不同的感官输入，该不同的感官输入减少了确定该不同的感官输入(例如，诸如HMD225处的补充外围LED阵列的辅助显示器)处的外观的计算，或在HMD 225处使用空间化音频。

在一些具体实施中，切换到不同的供HMD用户215进行检测的感官输入包括为HMD用户215切换到使用比显示器210更少能量的计算机生成的对象250的表示。例如，具有减少的能耗的辅助显示器可延伸跨过(例如，重叠)显示器210的规定点位或FOV中的弧形或预设形状，并且可使用该辅助显示器以第二状态显示被预测为未获得HMD用户215注意力的计算机生成的对象中的每个对象的表示。又如，显示器210的外围处的补充LED阵列可生成投影到显示器210的FOV中的视觉表示，并且被预测为在HMD用户215注意力之外的计算机生成的对象中的每个可使用对应的LED以第二状态显示。在补充LED的一个具体实施中，LED中的每个LED投影到显示器210的FOV中的预定义位置(例如，在FOV的外围中)。再如，可使用空间化音频为被预测为在HMD用户215注意力之外的计算机生成的对象250中的每个对象生成表示，这些计算机生成的对象可以第二状态表示。通过使用空间化音频，可围绕HMD用户215设置不同音频位置和/或声音的规定配置(例如，使用12个肩高的水平钟面点位，其中12点在用户前方，6点在用户后方；或使用8英尺高并且在用户前方10英尺的12个垂直钟面点位，其中12点在顶部，6点在底部)，并且当前使用的计算机生成的对象250(例如，针对时钟配置最多至12个)的第二状态在以其第二状态呈现时具有预定义的点位。在一些具体实施中，HMD用户215将了解常用计算机生成的对象的对应空间化音频点位或辅助预定义位置。

在一些具体实施中，调整计算机生成的对象250的外观(例如，从第一状态到第二状态)包括上述的任何组合，或减少显示器210或HMD 225的能耗的附加的显示器具体实施。在一些具体实施中，计算机生成的对象250经调整处于第二状态的外观可测量地不同于计算机生成的对象250的处于第一状态的外观。

在一些具体实施中，使用多个状态向HMD用户215示出计算机生成的对象250，以允许用于渲染和/或显示计算机生成的对象250中的一个或多个对象的能量具有附加粒度。在一些具体实施中，使用第一状态、第二状态、第三状态和第四状态中的每一种状态的不同表示来示出计算机生成的对象250，其中用于以第一状态渲染和/或显示计算机生成的对象250中的一个或多个对象的能量大于以第二状态进行该操作的能量，以第二状态进行该操作的能量大于以第三状态进行该操作的能量，以第三状态进行该操作的能量大于以第四状态进行该操作的能量。因此，在一个示例中，可使用不同的对应表示在显示器210中示出4个计算机生成的对象250中的每个对象，这些不同的对应表示分别使用第一状态、第二状态、第三状态和第四状态中的一种状态。在一些具体实施中，对于HMD用户215而言，计算机生成的对象250中的每个对象的外观在第一状态至第四状态中的每一种状态下都是可测量地不同的。

在一些具体实施中，一旦HMD用户215注意力被预测为指向外观经调整的计算机生成的对象，HMD 225维持将具有经调整的外观的计算机生成的对象250切换回交互式或最高质量渲染状态(例如，所需的或预期的渲染质量)的能力。在一些具体实施中，HMD 225通过在第二CG对象254以第二状态示出的同时持续维持内容(例如，渲染254a表示)来瞬时地将外观经调整的计算机生成的对象250从第二状态转换回第一状态(例如，将第二CG对象254从254b或254c表示切换回254a表示)。在一些具体实施中，基于用户215进行的动作(例如，注视、背景、选择、历史活动、语音等)，HMD用户215注意力被预测为指向(例如，返回到)外观经调整的计算机生成的对象。

在一些具体实施中，经调整的外观与注视点显示一起使用。例如，可在显示器的同一非注视点区域中分别以对应的第一状态和第二状态显示计算机生成的对象250中的两个对象。

在一些具体实施中，预测HMD用户215注意力可涉及眼睛特征分析，诸如将计算机生成的对象250的位置与HMD用户215的注视方向进行比较。例如，可基于确定注视方向未与第一计算机生成的对象相交(例如，或未在第一计算机生成的对象的预设角度内、未在第一计算机生成的对象的预设空间距离内，或未在第一计算机生成的对象的相对空间距离内)来预测第一计算机生成的对象在HMD用户215注意力之外。在一些具体实施中，预测HMD用户215注意力可涉及分析，该分析包括HMD用户215注视第一计算机生成的对象的时长。在一些具体实施中，可通过使用被动或主动照明(闪光)(诸如，IR/NIR)以使用眼睛图像来确定注视方向。在一些具体实施中，预测HMD用户注意力可涉及接收来自输入设备的输入(例如，对应于计算机生成的对象250中的一个对象)。在一些具体实施中，预测HMD用户注意力可涉及使用基于训练的机器学习(ML)网络，该训练使用来自特定用户的数据或许多用户的数据训练集。在一些具体实施中，预测HMD用户注意力可涉及使用背景(例如，解释HMD用户215正在做什么)。例如，背景可包括HMD用户活动量/频率，HMD用户是否正在步行、驾驶等。又如，背景可包括物理环境以及HMD用户215是否正在与物理环境205交互等。

图6是根据一些具体实施的示出了调整计算机生成的对象(例如，增强、虚拟对象)的外观的示例性方法的流程图，这些计算机生成对象被预测为在光学透视(OST)HMD用户的当前注意力焦点之外。在一些具体实施中，可调整计算机生成的对象的外观，以减少用于在HMD的光学透视显示器中渲染和/或显示这些计算机生成的对象的能耗/功耗。在一些具体实施中，经调整的外观是特定于对象的而非特定于显示区域的，并且提供可检测的不同外观(例如，HMD用户注意到外观差异)。在一些具体实施中，基于HMD用户动作(例如，注视、背景、选择、历史活动、语音等)，计算机生成的对象(例如，增强)被预测为在用户的当前注意力焦点之外。在一些具体实施中，方法600由设备(例如，图1和图7的电子设备120、700)执行。方法600可使用电子设备执行，或者由彼此通信的多个设备执行。在一些具体实施中，方法600由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法600由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

在框610处，方法600在HMD的光学透视显示器上显示第一计算机生成的对象和第二计算机生成的对象(例如，增强)。例如，HMD用户可能发起三个计算机生成的对象，包括左侧的天气计算机生成的对象、中间的视频(例如，电影或电视节目)计算机生成的对象和右侧的股票跟踪计算机生成的对象。在一些具体实施中，光学透视显示器通过应用部分透射和部分反射的镜面，让HMD用户能够同时看到真实世界和XR环境。在一些具体实施中，XR环境使用基于来自各种技术(诸如，VIO或SLAM)的场景理解提供的计算机视觉3D重建。

在框620处，方法600基于用户注意力指向第一计算机生成的对象的预测来标识第一计算机生成的对象。在一些具体实施中，预测HMD用户注意力可涉及眼睛特征分析，诸如将显示的计算机生成的对象的位置与HMD用户的注视方向进行比较。例如，可基于确定注视方向未与第一计算机生成的对象相交以及/或者用户的头部姿势朝向第一计算机生成的对象来预测用户注意力未指向第一计算机生成的对象。又如，可基于确定注视方向与第二计算机生成的对象相交来预测用户注意力未指向第一计算机生成的对象。在一些具体实施中，预测HMD用户注意力可涉及眼睛特征分析，该眼睛特征分析包括用户注视对象的时长。在一些具体实施中，可通过使用被动或主动照明(闪光)(诸如，IR/NIR)以使用眼睛图像来确定注视方向。在一些具体实施中，预测HMD用户注意力可涉及接收来自输入设备的输入。在一些具体实施中，预测HMD用户注意力可涉及HMD用户选择一个或多个计算机生成的对象。在一些具体实施中，预测HMD用户注意力可涉及使用基于特定用户或许多用户的训练数据集的机器学习行为。在一些具体实施中，预测HMD用户注意力可涉及分析特定用户与特定计算机生成的对象之间的历史交互。在一些具体实施中，预测HMD用户注意力可涉及使用背景(例如，解释用户正在做什么)。例如，背景可包括用户活动量/频率，用户是否正在步行、驾驶等。又如，背景可包括物理环境以及用户是否正在与物理环境交互等。

在框630处，方法600调整第二计算机生成的对象的外观以从第一状态改变为第二状态。在一些具体实施中，第二计算机生成的对象的外观从第一状态到第二状态的调整是可检测的。在一些具体实施中，从第一状态到第二状态的改变发生在一段时间间隔内，在该时间间隔期间，显示第二计算机生成的对象的一个或多个中间状态。在一些具体实施中，从第一状态到第二状态的改变瞬时发生。

在一些具体实施中，第二计算机生成的对象的外观从第一状态到第二状态的调整减少了在HMD处执行确定第二计算机生成的对象的外观以供显示所需的计算所消耗的能量。在一些具体实施中，外观到第二状态的调整包括减少计算机生成的对象的移动量(例如，将对象留在静态点位而不计算移动)，降低用于显示第二计算机生成的对象的表示的复杂度/质量(例如，从写实或复杂3D对象降低到简单的单色2D对象或光点)，降低用于显示第二计算机生成的对象的视点的位置或取向的精确度等。在一些具体实施中，外观到第二状态的调整包括任何调整组合。

在一些具体实施中，第二计算机生成的对象的外观从第一状态到第二状态的调整减少了实际上实现显示第二计算机生成的对象的所确定的外观所需的能量。在一些具体实施中，外观到第二状态的调整包括降低对应于第二计算机生成的对象的照明强度，减少对应于第二计算机生成的对象的被照明像素的数量，减少颜色特征(例如，切换到单色表示而非全RGB颜色)，降低更新速率(例如，每秒帧数)，消除或间歇显示第二计算机生成的对象，降低用于显示第二计算机生成的对象的表示的复杂度(例如，单色2D对象、光点)等。在一些具体实施中，外观从第一状态到第二状态的调整包括任何调整组合。

在一些具体实施中，第二计算机生成的对象的外观从第一状态到第二状态的调整包括照明HMD的单独的显示器的一部分(例如，不使用OST显示器来显示第二计算机生成的对象)。在一些具体实施中，第二计算机生成的对象的外观从第一状态到第二状态的调整包括使用空间化音频来表示第二计算机生成的对象(例如，从显示切换为空间化音频)。

在一些具体实施中，一旦HMD用户注意力指回第二计算机生成的对象(例如，使用预测的HMD用户注意力)，第二计算机生成的对象的外观调整将从第二状态返回到第一状态(例如，返回到预期的显示质量)。因此，在一些具体实施中，方法600还包括预测HMD用户注意力已切换为指向(例如，指回)第二计算机生成的对象，以及调整第二计算机生成的对象的外观以从第二状态改变为第一状态。在一些具体实施中，从第二状态到第一状态的改变可以是瞬时的(例如，通过维持高质量的内容可随时显示)或在预设时间段内实现。

图7是示例性设备700的框图。设备700示出了设备120的示例性设备配置。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，电子设备700包括一个或多个处理单元702(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器706、一个或多个通信接口708(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C或类似类型的接口)、一个或多个编程(例如，I/O)接口710、一个或多个显示器712、一个或多个面向内部或面向外部的传感器系统714、存储器720以及用于互连这些部件和各种其他部件的一条或多条通信总线704。

在一些具体实施中，该一条或多条通信总线704包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，该一个或多个I/O设备及传感器706包括以下项中的至少一者：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构光、飞行时间等)或类似物的设备。

在一些具体实施中，一个或多个显示器712被配置为向用户呈现内容。在一些具体实施中，一个或多个显示器712对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)或类似显示器类型。在一些具体实施中，一个或多个显示器712对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备700可包括单个显示器。又如，电子设备700包括用于用户的每只眼睛的显示器。

在一些具体实施中，一个或多个面向内部或面向外部的传感器系统714包括捕获图像数据的图像捕获设备或阵列或者捕获音频数据的音频捕获设备或阵列(例如，麦克风)。该一个或多个图像传感器系统714可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机或者基于事件的相机等。在各种具体实施中，该一个或多个图像传感器系统714还包括发射光的照明源，诸如闪光灯。在一些具体实施中，该一个或多个图像传感器系统714还包括相机上图像信号处理器(ISP)，该ISP被配置为对图像数据执行多个处理操作。

存储器720包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器720包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器720任选地包括与一个或多个处理单元702远程定位的一个或多个存储设备。存储器720包括非暂态计算机可读存储介质。

在一些具体实施中，存储器720或存储器720的非暂态计算机可读存储介质存储可选的操作系统730和一个或多个指令集740。操作系统730包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，指令集740包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中，指令集740是能够由一个或多个处理单元702执行以实施本文所述技术中的一种或多种的软件。

在一些具体实施中，指令集740包括设备用户检测器742，该检测器由处理单元702执行以根据本文所公开的技术中的一种或多种技术来预测或确定设备700的用户的注意力。在一些具体实施中，基于检测到的HMD用户的动作(例如，注视、背景、选择、历史活动倾向、语音等)来预测HMD用户的当前注意力焦点。

在一些具体实施中，指令集740包括计算机生成(CG)对象生成器744，该生成器由处理单元702执行以根据本文所公开的技术中的一种或多种技术来确定一个或多个计算机生成的对象的表示。在一些具体实施中，执行CG对象生成器744以基于设备700的用户的注意力来将计算机生成的对象的外观从第一状态调整为第二状态，从而减少用于示出计算机生成的对象的能耗(例如，减少用于确定外观和/或实现显示所确定的外观的能量)。

尽管指令集740被示出为驻留在单个设备上，但是应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。图7更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，指令集的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。

图8示出了根据一些具体实施的示例性HMD 800的框图。在一些具体实施中，设备800包括用于检测眼睛位置和眼睛移动的眼睛跟踪系统。例如，眼睛跟踪系统可包括一个或多个红外(IR)发光二极管(LED)、眼睛跟踪相机(例如，近红外(NIR)照相机)和向用户815的眼睛发射光(例如，NIR光)的照明源(例如，NIR光源)。此外，设备800的照明源可发射NIR光以照明用户815的眼睛，并且NIR相机可捕获用户815的眼睛的图像。在一些具体实施中，可以分析由眼睛跟踪系统捕获的图像以检测用户815的眼睛的位置和移动，或者检测一只眼睛或两只眼睛的注视方向。在一些具体实施中，眼睛跟踪系统可以检测关于眼睛的其他信息，诸如眨眼(例如，速率或持续时间)、瞳孔扩张或扫视运动。此外，从眼睛跟踪图像估计的注视点可使得能够与设备800的近眼显示器上示出的内容进行基于注视的交互。

如图8所示，头戴式设备800包括容纳头戴式设备800的各种部件的外壳801(或封装件)。外壳801包括(或耦接到)设置在外壳801的近侧(用户815的)端部处的眼垫(未示出)。在各种具体实施中，眼垫是塑料或橡胶件，其舒适且贴合地将头戴式设备800保持在用户815的面部上的适当位置(例如，围绕用户815的眼睛)。

外壳801容纳显示器810，该显示器显示图像，朝向用户815的眼睛发射光或将光发射到该用户的眼睛上。在各种具体实施中，显示器810通过具有一个或多个透镜805的目镜发射光，该目镜折射由显示器810发射的光，使显示器对于用户815而言看起来处于比从眼睛到显示器810的实际距离更远的虚拟距离。为了使用户815能够聚焦在显示器810上，在各种具体实施中，该虚拟距离至少大于眼睛的最小焦距(例如，7cm)。此外，为了提供更好的用户体验，在各种具体实施中，虚拟距离大于1米。

外壳801还容纳跟踪系统，该跟踪系统包括一个或多个光源822、相机824和控制器880。一个或多个光源822将光发射到用户815的眼睛上，该光反射为可由相机824检测的光图案(例如，闪光圈)。基于该光图案，控制器880可确定用户815的眼睛跟踪特征。例如，控制器880可确定用户815的一只眼睛或两只眼睛的注视方向。又如，控制器880可确定用户815的眨眼状态(睁眼或闭眼)。再如，控制器880可确定扫视运动、瞳孔中心、瞳孔大小或关注点。因此，在各种具体实施中，光由一个或多个光源822发射，从用户815的眼睛反射，并且由相机824检测。在各种具体实施中，来自用户815的眼睛的光在到达相机824之前从热镜反射或通过目镜。

显示器810发射第一波长范围内的光，并且所述一个或多个光源822发射第二波长范围内的光。类似地，相机824检测第二波长范围内的光。在各种具体实施中，第一波长范围是可见波长范围(例如，可见光谱内大约为400nm-700nm的波长范围)，并且第二波长范围是近红外波长范围(例如，近红外光谱内约为700nm-1400nm的波长范围)。

在一些具体实施中，使用眼睛跟踪(或者具体地讲，所确定的注视方向)来跟踪用户815的焦距(例如，在一段时间内)。在一些具体实施中，还使用眼睛跟踪(或者具体地讲，所确定的注视方向)来使用户能够进行交互(例如，用户815通过观看显示器810上的选项来选择它)，提供注视点渲染(例如，在用户815正在观看的显示器810的区域中呈现更高的分辨率并且在显示器810上的其他地方呈现更低的分辨率)，或者校正失真(例如，对于要在显示器810上提供的图像)。

在各种具体实施中，一个或多个光源822朝向用户815的眼睛发射光，该光以多个闪光的形式反射。

在各种具体实施中，相机824是基于帧/快门的相机，其以帧速率在特定时间点或多个时间点生成用户815的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵，所述像素对应于相机的光传感器矩阵的位置。在具体实施中，每个图像用于通过测量与用户瞳孔中的一者或两者相关联的像素强度的变化来测量或跟踪瞳孔扩张。

在各种具体实施中，相机824是包括在多个相应位置处的多个光传感器(例如，光传感器矩阵)的事件相机，该事件相机响应于特定光传感器检测到光强度变化而生成指示该特定光传感器的特定点位的事件消息。

在一些具体实施中，设备800使用3D计算机视觉重建技术来生成物理环境805的3D地图。在一些具体实施中，设备800使用一个或多个图像传感器890(例如，相机或深度传感器)来获得物理环境805的图像。在一些具体实施中，图像是2D图像或3D图像。在一些具体实施中，图像传感器890是设备800处的面向外的传感器。在一些具体实施中，图像传感器890可以是RGB相机、深度传感器、RGB-D相机、一个或多个2D相机、IR相机等。在一些具体实施中，使用传感器的组合。在一些具体实施中，图像用于在设备800处生成物理环境805的3D地图。在一些具体实施中，图像传感器890用于生成表示物理环境805的至少一部分的XR环境。在一些具体实施中，图像传感器890用于生成用于补充物理环境805的XR环境的虚拟内容。在一些具体实施中，使用设备800处的视觉惯性测量(VIO)或同时定位与地图构建(SLAM)位置跟踪等来生成XR环境。在一些具体实施中，可使用彩色图像。另选地，在一些具体实施中，可使用灰度图像。

在一些具体实施中，设备800使用VIO系统来跟踪设备800在物理环境中的位置。在一些具体实施中，VIO实时跟踪设备800在物理环境805中的6DOF移动(例如，空间(xyz)运动(平移)的3DOF和角(俯仰/偏航/滚动)运动(旋转)的3DOF)。在一些具体实施中，VIO在设备800的显示器上的每一帧刷新之间，重新计算或更新电子设备位置在物理环境805中的位置。例如，VIO每秒10次、30次或60次或更多次地重新计算设备800的位置。在一些具体实施中，VIO使用视觉传感器(例如，相机系统)，通过将现实世界中的点与图像传感器上每一帧中的像素相匹配以及使用惯性系统(例如，加速度计和陀螺仪、惯性测量单元(IMU)等)来跟踪位置。在一些具体实施中，VIO跟踪设备800在物理环境805中行进的距离。在一些具体实施中，VIO由为电子设备提供XR开发平台的软件开发工具包来实现。在一些具体实施中，VIO生成并更新针对物理环境805的3D地图。

应当理解，上文所描述的具体实施以示例的方式引用，并且本公开不限于上文已特别示出和描述的内容。相反地，范围包括上文所描述的各种特征的组合和子组合两者，以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。本文所公开的各种具体实施包括在HMD上提供光学透视显示器的设备、系统和方法，该光学透视显示器包括本文(例如，单独地或组合地)所述的各种功能。

本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、装置或系统，以便不使要求保护的主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“标识”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种对象，但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、对象或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述具体实施方式和发明内容应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (17)

1.一种方法，包括：

在处理器处：

在头戴式设备(HMD)的光学透视显示器上显示第一计算机生成的对象和第二计算机生成的对象；

基于用户注意力指向所述第一计算机生成的对象的预测来标识所述第一计算机生成的对象；以及

调整所述第二计算机生成的对象的外观以从第一状态改变为第二状态，所述第二状态具有比所述第一状态低的渲染质量。

2.根据权利要求1所述的方法，还包括：

基于所述用户注意力指向所述第二计算机生成的对象而非所述第一计算机生成的对象的预测来标识所述第二计算机生成的对象；以及

调整所述第二计算机生成的对象的所述外观以从所述第二状态改变为所述第一状态，同时调整所述第一计算机生成的对象的外观以从所述第一状态改变为所述第二状态。

3.根据权利要求1至2中任一项所述的方法，其中基于确定注视方向与所述第一计算机生成的对象相交来预测所述用户注意力未指向所述第二计算机生成的对象。

4.根据权利要求1至3中任一项所述的方法，其中基于确定头部姿势朝向所述第一计算机生成的对象来预测所述用户注意力未指向所述第二计算机生成的对象。

5.根据权利要求1至4中任一项所述的方法，其中基于对应于所述第一计算机生成的对象的用户输入来预测所述用户注意力指向所述第一计算机生成的对象。

6.根据权利要求1至5中任一项所述的方法，其中基于使用机器学习模型来预测用户注意力指向所述第一计算机生成的对象，所述机器学习模型使用所述用户或其他用户的行为数据进行训练。

7.根据权利要求1至6中任一项所述的方法，其中所述第一状态和所述第二状态之间的差异是可检测的。

8.根据权利要求1至7中任一项所述的方法，其中从所述第一状态到所述第二状态的所述改变发生在一段时间间隔内，在所述时间间隔期间，显示所述第二计算机生成的对象的一个或多个中间状态。

9.根据权利要求1至8中任一项所述的方法，其中调整所述外观包括减少显示所述第二计算机生成的对象所需的计算。

10.根据权利要求8所述的方法，其中调整所述外观包括：

降低所述计算机生成的对象的渲染质量；

减少所述计算机生成的对象的移动量；

降低用于显示所述第二计算机生成的对象的表示的复杂度；

降低用于显示所述第二计算机生成的对象的视点的位置或取向的精确度；或者

上述的任何组合。

11.根据权利要求1至10中任一项所述的方法，其中调整所述外观包括减少显示所述第一计算机生成的对象所需的能耗。

12.根据权利要求11所述的方法，其中调整所述外观包括：

降低对应于所述第二计算机生成的对象的照明强度；

减少对应于所述第二计算机生成的对象的被照明像素的数量；

减少对应于所述第二计算机生成的对象的颜色特征；

降低所述第二计算机生成的对象的更新速率；

使所述第二计算机生成的对象的显示淡入和淡出；

降低用于显示所述第二计算机生成的对象的表示的复杂度；或者

上述的任何组合。

13.根据权利要求1至12中任一项所述的方法，其中调整所述外观包括照明所述HMD的单独的显示器的一部分，而非经由所述光学透视显示器显示所述第二计算机生成的对象。

14.根据权利要求1至13中任一项所述的方法，还包括使用空间化音频来表示所述第二计算机生成的对象。

15.根据权利要求1至14中任一项所述的方法，还包括基于注视点渲染来显示所述第一计算机生成的对象和所述第二计算机生成的对象。

16.一种系统，包括：

存储器；和

一个或多个处理器，所述一个或多个处理器耦接到所述存储器，其中所述存储器包括程序指令，所述程序指令在由所述一个或多个处理器执行时，使所述系统执行操作，所述操作包括：

在头戴式设备(HMD)的光学透视显示器上显示第一计算机生成的对象和第二计算机生成的对象；

基于用户注意力指向所述第一计算机生成的对象的预测来标识所述第一计算机生成的对象；以及

调整所述第二计算机生成的对象的外观以从第一状态改变为第二状态，所述第二状态具有比所述第一状态低的渲染质量。

17.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储在计算机上计算机可执行的以执行操作的程序指令，所述操作包括：

在头戴式设备(HMD)的光学透视显示器上显示第一计算机生成的对象和第二计算机生成的对象；

基于用户注意力指向所述第一计算机生成的对象的预测来标识所述第一计算机生成的对象；以及

调整所述第二计算机生成的对象的外观以从第一状态改变为第二状态，所述第二状态具有比所述第一状态低的渲染质量。