CN117319102A - 基于上下文的化身质量 - Google Patents

Abstract

本公开涉及“基于上下文的化身质量。”本文所公开的各种具体实施包括提供通信会话的设备、系统和方法，其中第一设备接收并使用流式传输的化身数据来渲染包括时变化身的视图，例如，在该通信会话期间从另一用户的设备发送的另一用户的一部分或全部的视频内容。为了高效地使用资源(例如，功率、带宽等)，一些具体实施基于用户上下文(例如，观看者是否正在看该化身、该化身是否在该观看者的中央凹区域内、或者该化身是否在该观看者的视场内)来调整化身预配过程(例如，视频帧率、图像分辨率等)。

Description

基于上下文的化身质量

技术领域

本公开整体涉及用于在多用户通信会话期间表示电子设备的用户的化身。

背景技术

各种技术用于使得人们能够在通信会话期间共享音频、图像和其他内容。然而，现有系统可能不提供具有各种期望属性的通信会话，这些期望属性诸如准确地表示用户外观的方面的化身或经由鉴于资源约束而高效地利用系统资源的过程共享的化身。

发明内容

本文所公开的各种具体实施包括提供通信会话的设备、系统和方法，其中第一设备接收并使用化身数据来渲染包括时变化身的视图，例如，在通信会话期间从另一用户的设备发送的另一用户的一部分或全部的类似视频的内容。为了高效地使用资源(例如，功率、带宽等)，一些具体实施基于用户上下文(例如，观看者是否正在看化身、化身是否在观看者的中央凹区域内、化身是否在观看者的视场内、或者用户的眼睛聚散是否集中在化身上)来调整化身预配过程(例如，视频帧率、图像分辨率等)。

在一些具体实施中，处理器通过执行存储在计算机可读介质上的指令来执行方法。该方法可在具有处理器的第一设备诸如观看者的设备处执行。该方法在第一物理环境中的第一设备和第二物理环境中的第二设备(例如，发送者的设备)之间的通信会话期间获得表示第二设备的第二用户的化身的第一化身数据。该方法基于该第一化身数据来呈现该第二用户的该化身。在一些具体实施中，这涉及呈现3D环境诸如扩展现实(XR)环境的视图，该3D环境包括定位在其内的3D化身。

该方法识别指示该第一设备的第一用户相对于该第二用户的该化身的未来专注状态的标记。指示专注状态的标记的示例包括但不限于第一用户是否正在看第二用户的化身、第二用户的化身是否在第一用户的中央凹区域或视场内、第二用户的化身是靠近还是远离第一用户的视点、第一用户正在做的事(例如，静止、移动、行走、使他的头部移动等)、由化身表示的第二用户正在做的事(例如，交谈、开始使手部移动等)、用户正在一起做的事或专注于的事(例如，一起看电视、并排行走、看白板)以及环境条件(例如，采光、空气质量)。

该方法根据识别该未来专注状态的该标记，获得第二化身数据并且基于该第二化身数据来呈现该第二用户的该化身。获得该第二化身数据可涉及从远程设备(例如，该第二设备或中间服务器)获得表示该第二用户的该化身的该第二化身数据，其中该第一化身数据的属性(例如，质量水平或帧率)不同于该第二化身数据的属性。

本文所公开的各种具体实施包括提供通信会话的设备、系统和方法，其中第一设备接收并使用化身数据来渲染包括时变化身的视图，例如，在通信会话期间从另一用户的设备发送的另一用户的一部分或全部的类似视频的内容。在一些具体实施中，基于用户上下文使用分段化身数据来调整化身预配过程(例如，帧率/质量)。化身数据可被分段成不同部分(例如，宏块)，每个部分具有多个质量水平的数据，并且接收设备可基于用户的专注状态是否将在化身部分上来为每个化身部分选择适当质量水平的数据或者为该化身部分选择适当的渲染优化，例如，当用户正在看手部时，手部可以高质量显示并且头部以低质量显示。可使用的示例性渲染优化包括但不限于网格分辨率选择、动画分辨率选择和着色器细节/复杂度选择。

在一些具体实施中，处理器通过执行存储在计算机可读介质上的指令来执行方法。该方法可涉及第一设备识别指示在第一物理环境中的第一设备和第二物理环境中的第二设备之间的通信会话期间第一设备的第一用户相对于第二用户的化身的未来专注状态的标记。该方法可确定第一用户的未来专注状态对应于化身的第一部分，并且根据确定第一用户的未来专注状态对应于化身的第一部分，呈现第二用户的化身，其中以比化身的第二部分高的质量呈现化身的第一部分。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1示出了根据一些具体实施的在通信会话期间在不同物理环境中操作的示例性电子设备。

图2、图3、图4、图5、图6、图7、图8、图9、图10和图11示出了根据一些具体实施的通信会话期间的基于关于用户的专注状态的示例性标记的化身数据的变化。

图12是示出了根据一些具体实施的用于在通信会话期间提供化身的方法的流程图。

图13示出了根据一些具体实施的选择性地使用化身数据和渲染过程来呈现化身。

图14是示出了根据一些具体实施的用于基于用户专注状态来呈现化身的部分的方法的流程图。

图15是根据一些具体实施的电子设备的框图。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

图1示出了在不同物理环境100、150中操作的示例性电子设备105、155。此类环境可彼此相距遥远，例如，不位于同一房间、建筑物、综合大楼、城镇等内。在图1中，物理环境100是一间房间，该房间包括第一用户110、第一用户的挂壁式绘画120和第一用户的花125。物理环境100还包括墙壁、地板和天花板。物理环境150是不同的房间，该房间包括第二用户160、第二用户的沙发170、第二用户的桌子180和第二用户的挂壁式绘画165。物理环境150还包括墙壁、地板和天花板。

电子设备105、155可各自包括一个或多个相机、麦克风、深度传感器或可分别用于捕获关于其相应物理环境100、150和那些环境100、150内的对象的信息并评估这些相应物理环境和那些环境内的对象以及捕获关于用户110、160的信息的其他传感器。每个设备105、155可使用其从其传感器获得的关于其相应物理环境和用户的信息，以提供视觉和音频内容以在通信会话期间观看或共享内容。

电子设备105、155彼此直接或间接(例如，经由中间设备或服务器)通信以在通信会话期间共享内容。例如，电子设备105可共享在物理环境100中捕获的音频和图像内容，并且该共享内容可在通信会话期间实时地在电子设备155上可听地播放和可视地显示。类似地，电子设备155可共享在物理环境150中捕获的音频和图像内容，并且该共享内容可在通信会话期间实时地在电子设备105上可听地播放和可视地显示。

共享内容中的一些共享内容可基于对应于用户110、160的传感器数据。例如，电子设备105可捕获传感器数据，包括对应于用户110的视觉外观、移动和声音的图像、音频、深度数据、运动数据等。电子设备105可在通信会话中共享此化身数据，使得电子设备155可使用该化身数据来呈现用户110的化身。类似地，电子设备155可捕获传感器数据，包括对应于用户160的视觉外观、移动和声音的图像、音频、深度数据、运动数据等。电子设备155可在通信会话中共享此化身数据，使得电子设备105可使用该化身数据来显示用户160的化身。所共享的化身数据可被流式传输或以其他方式对应于随时间推移而出现的用户110、160的外观和移动。化身数据可对应于相应用户的“现场”或其他当前外观。

化身数据可对应于相应用户的2D或3D外观。在一些具体实施中，化身数据包括纹理和3D骨架，其中通过将纹理的外观应用于由3D骨架提供的3D形状来显示化身。在一些具体实施中，化身数据是包括纹理图像(例如，2D图像)和骨架数据的帧的3D视频。在一些具体实施中，由接收者/观看者使用实时传感器数据(例如，实况流式传输的3D视频)连同先前获得的化身数据来创建化身。先前获得的化身数据可包括注册数据，该注册数据包括关于用户在实况通信会话期间可能未捕获的部分的数据，诸如基于以下项的用户表示：没有头戴式设备(HMD)遮挡的用户的整个面部的图像、用户的头部的侧面、顶部和后部的图像、用户的牙齿的图像、表现出多种表情的用户的面部的图像等。

在一些具体实施中，共享化身数据用于在3D环境内在通信会话期间呈现化身。根据一些具体实施，电子设备105、155中的一个或两个电子设备生成并呈现在通信会话期间由多个用户共享的扩展现实(XR)环境。

一些具体实施提供通信会话，其中第一设备(例如，电子设备105)接收并使用流式传输的化身数据来渲染包括时变化身的视图，例如，在通信会话期间从另一用户的设备(例如，电子设备155)发送的另一用户的一部分或全部的视频内容。为了高效地使用资源(例如，功率、带宽等)，一些具体实施基于系统约束或用户上下文(例如，观看者是否正在看化身、化身是否在观看者的中央凹区域内、化身是否在观看者的视场内、或者用户的眼睛聚散是否集中在化身上)来调整化身预配过程(例如，视频帧率、图像分辨率等)。

可在通信会话期间基于上下文(例如，基于检测到用户110的未来专注状态的标记)来调整化身数据。例如，在电子设备105和电子设备155之间的通信会话的第一部分期间，电子设备105可获得表示电子设备155的用户160的化身的第一化身数据。电子设备105可基于第一化身数据来呈现第二用户160的化身。电子设备105可识别指示电子设备105的用户110相对于用户160的化身的未来专注状态的标记。指示专注状态的标记的示例包括但不限于用户110是否正在看用户160的化身、用户160的化身是否在用户110的中央凹区域或视场内、用户160的化身是靠近还是远离用户110的视点(例如，在XR环境中)、用户110正在做的事(例如，静止、移动、行走、使他的头部移动等)、用户160正在做的事(例如，交谈、开始使手部移动等)、用户110、160正在一起做的事或专注于的事(例如，一起看电视、并排行走、看白板)以及环境条件(例如，采光、空气质量)。根据识别标记，电子设备105获得第二化身数据并且基于第二化身数据来呈现第二用户的化身。获得第二化身数据可涉及从远程设备(例如，设备155或中间服务器)获得表示第二用户的化身的第二化身数据，其中第一化身数据的属性(例如，质量水平或帧率)不同于第二化身数据的属性。

图2至图11示出了根据一些具体实施的通信会话期间的基于关于用户的专注状态的示例性标记的化身数据的变化。

在图2中，在通信会话期间，电子设备105显示包括挂壁式绘画120的描绘220、花125的描绘225和化身260a的视图200。在框270处，基于用户110朝向化身260a的注视方向来确定用户110的专注状态。在此示例中，检测到注视方向205，例如，电子设备105确定用户110正在注视由电子设备105在视图200中显示的化身260a。在此示例中，注视化身260a的观看用户(例如，用户110)被视为用户110的未来专注状态将涉及将注意力集中在化身260a上(例如，用户110将继续看/注意化身260a)的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对高的帧率、相对高的分辨率纹理、相对复杂的骨架等)的化身数据。如果具有这种属性的化身数据尚未被使用，则调整化身预配过程以使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。电子设备105可接收新的化身数据并且基于此类数据来显示化身。例如，如图所示，电子设备155可向电子设备105发送具有特定属性的化身数据275，并且电子设备105然后可使用该化身数据275在视图210中显示化身260b。在另一示例中，电子设备105向化身数据源发送标记，并且化身数据源(例如，电子设备155或中间设备)相应地确定如何配置一个或多个化身数据属性。

化身数据275可随时间推移而提供，例如作为对应于不同时间的数据流，例如，对应于不同帧时间的帧数据。在一个示例中，在用户110正在注视化身260b时，具有第一属性的化身帧数据流(例如，化身数据275)被接收并且用于显示化身，并且在检测到用户110不注视(或不准备注视)化身(这可以是用户110的专注状态已经从化身移开的标记)之后，具有第二(不同)属性的化身帧数据流(例如，化身数据285)被接收并且用于显示化身。

如框280处所示，基于注视方向不朝向化身260b来确定专注状态。在此示例中，检测到注视方向215，并且电子设备105确定用户110不注视化身260b而是注视花125的描绘225。在此示例中，观看用户(例如，用户110)不注视化身260b(注视方向215朝向花125的描绘225)，并且这样注视化身260b以外的某物被视为用户110的未来专注状态将涉及不将注意力集中在化身上的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对低的帧率、相对低的分辨率纹理、相对不太复杂的骨架等)的化身数据。化身预配过程被调整为使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。电子设备105可接收新的化身数据并且基于此类数据来显示化身。例如，电子设备155可向电子设备105发送具有特定属性的化身数据285，并且电子设备105然后可使用该化身数据285在新的视图中显示化身。在另一示例中，电子设备105向化身数据源发送标记，并且化身数据源(例如，电子设备155或中间设备)相应地确定如何配置一个或多个化身数据属性。

在图3中，在通信会话期间，电子设备105显示包括挂壁式绘画120的描绘220、花125的描绘225和化身360a的视图300。在框370处，基于化身360a在用户110的中央凹区域305内来确定用户110的专注状态。在此示例中，检测到中央凹区域305，并且电子设备105确定由电子设备105在视图300中显示的化身360a在用户110的中央凹区域305内。在此示例中，使化身360a在他们的中央凹区域305内的观看用户(例如，用户110)被视为用户110的未来专注状态将涉及将注意力集中在化身360a上(例如，用户110将继续看/注意化身360a)的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对高的帧率、相对高的分辨率纹理、相对复杂的骨架等)的化身数据。如果具有这种属性的化身数据尚未被使用，则调整化身预配过程以使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。电子设备105可接收新的化身数据并且基于此类数据来显示化身。例如，如图所示，电子设备155可向电子设备105发送具有特定属性的化身数据375，并且电子设备105然后可使用该化身数据375在视图310中显示化身360b。在另一示例中，电子设备105向化身数据源发送标记，并且化身数据源(例如，电子设备155或中间设备)相应地确定如何配置一个或多个化身数据属性。

化身数据375可随时间推移而提供，例如作为对应于不同时间的数据流，例如，对应于不同帧时间的帧数据。在一个示例中，在化身在用户110的中央凹区域内时，具有第一属性的化身帧数据流(例如，化身数据375)被接收并且用于显示化身，并且在检测到化身不再位于用户110的中央凹区域内(这可以是用户110的专注状态已经从化身移开的标记)之后，具有第二(不同)属性的化身帧数据流(例如，化身数据385)被接收并且用于显示化身。

如框380处所示，基于化身360b在用户110的中央凹区域315之外来确定专注状态。在此示例中，检测到中央凹区域315，并且电子设备105确定化身360b不在用户110的中央凹区域315内。在此示例中，化身360b不在观看用户(例如，用户110)的中央凹区域315内，并且此特性被视为用户110的未来专注状态将涉及不将注意力集中在化身上的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对低的帧率、相对低的分辨率纹理、相对不太复杂的骨架等)的化身数据。化身预配过程被调整为使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。电子设备105可接收新的化身数据并且基于此类数据来显示化身。例如，电子设备155可向电子设备105发送具有特定属性的化身数据385，并且电子设备105然后可使用该化身数据385在新的视图中显示化身。在另一示例中，电子设备105向化身数据源发送标记，并且化身数据源(例如，电子设备155或中间设备)相应地确定如何配置一个或多个化身数据属性。

在图4中，在通信会话期间，电子设备105显示包括挂壁式绘画120的描绘220、花125的描绘225和化身460a的视图400。在框470处，基于化身460a在用户110的中央凹区域405内来确定用户110的专注状态。在此示例中，检测到中央凹区域405，并且电子设备105确定由电子设备105在视图400中显示的化身460a在用户110的中央凹区域405内。在此示例中，使化身460a在他们的中央凹区域405内的观看用户(例如，用户110)被视为用户110的未来专注状态将涉及将注意力集中在化身460a上(例如，用户110将继续看/注意化身460a)的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对高的帧率、相对高的分辨率纹理、相对复杂的骨架等)的化身数据。如果具有这种属性的化身数据尚未被使用，则调整化身预配过程以使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。电子设备105可接收新的化身数据并且基于此类数据来显示化身。然而，如图所示，用户110已转向(改变他们的观看方向)并且化身不再在由电子设备105提供的视图410内。

如框480处所示，基于化身在用户110的视图410之外来确定专注状态。在此示例中，化身不在视图中被视为用户110的未来专注状态将涉及不将注意力集中在化身上的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对低的帧率、相对低的分辨率纹理、相对不太复杂的骨架等)的化身数据。实际上，如果基于预测的未来专注状态预期不显示化身，则可提供最小(或不提供)化身数据，例如仅提供化身位置数据、化身声音数据等。化身预配过程可被调整为使用具有期望属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。例如，电子设备155可向电子设备105发送具有特定属性的化身数据485。在另一示例中，电子设备105向化身数据源发送标记，并且化身数据源(例如，电子设备155或中间设备)相应地确定如何配置一个或多个化身数据属性。

在图5中，在通信会话期间，电子设备105显示包括挂壁式绘画120的描绘220、花125的描绘225和化身560a的视图500。在框570处，基于化身560a在用户110的中央凹区域505之外并且在视场内来确定用户110的专注状态。在此示例中，检测到中央凹区域505，并且电子设备105确定由电子设备105在视图500中显示的化身560a不在用户110的中央凹区域505内。在此示例中，使化身560a在他们的中央凹区域505之外但在他们的视场内的观看用户(例如，用户110)被视为用户110的未来专注状态将涉及不将全部注意力集中在化身560a上(例如，用户110将继续将他们的主要注意力集中在除化身560a以外的某物，但可对化身560a有一定意识，因为该化身保持在视线内)的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，特定帧率、特定分辨率纹理、特定复杂度水平的化身骨架等)的化身数据。如果具有这种属性的化身数据尚未被使用，则调整化身预配过程以使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。电子设备105可接收新的化身数据并且基于此类数据来显示化身。然而，如图所示，用户110已转向(改变他们的观看方向)并且化身不再在由电子设备105提供的视图510内。

如框580处所示，基于化身在用户110的视图510之外来确定专注状态。在此示例中，化身不在视图中被视为用户110的未来专注状态将涉及不将注意力集中在化身上的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对低的帧率、相对低的分辨率纹理、相对不太复杂的骨架等)的化身数据。实际上，如果基于预测的未来专注状态预期不显示化身，则可提供最小(或不提供)化身数据，例如仅提供化身位置数据、化身声音数据等。化身预配过程可被调整为使用具有期望属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。例如，电子设备155可向电子设备105发送具有特定属性的化身数据585，并且电子设备105。在另一示例中，电子设备105向化身数据源发送标记，并且化身数据源(例如，电子设备155或中间设备)相应地确定如何配置一个或多个化身数据属性。

在图6中，在通信会话期间，电子设备105显示包括挂壁式绘画120的描绘220、花125的描绘225和化身660a的视图600。在框670处，基于化身660a定位在距用户110的当前视点的阈值距离内来确定用户110的专注状态。例如，视图600可基于生成扩展现实(XR)环境、将化身定位在XR环境内的3D位置处、然后基于XR环境内的用户110的视点来提供XR环境的视图来显示，例如，其中视点可随着用户110移动或以其他方式提供输入而改变。在具体示例中，这种XR环境是(至少部分地)基于用户110的物理环境100来生成的，并且化身定位在XR环境的对应3D坐标系内的3D位置处(该3D位置在此示例中也对应于物理环境100的3D坐标系)。电子设备105可确定化身660a的位置在3D坐标系中距用户110的当前视点的阈值距离内。在此示例中，化身660a的位置在距用户110的当前视点的阈值距离内被视为用户110的未来专注状态将涉及将注意力集中在化身660a上(例如，用户110将继续将注意力引导到化身660a)的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对高的帧率、相对高的分辨率纹理、相对复杂的骨架等)的化身数据。如果具有这种属性的化身数据尚未被使用，则调整化身预配过程以使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。电子设备105可接收新的化身数据并且基于此类数据来显示化身。例如，如图所示，电子设备155(或中间设备)可向电子设备105发送具有特定属性的化身数据675。

化身数据675可随时间推移而提供，例如作为对应于不同时间的数据流，例如，对应于不同帧时间的帧数据。在一个示例中，在化身660a的位置在距用户110的当前视点的阈值距离内时，具有第一属性的化身帧数据流(例如，化身数据675)被接收并且用于显示化身，并且在检测到化身660b的位置不再在距用户110的当前视点的阈值距离内(这可以是用户110的专注状态已经从化身移开的标记)之后，具有第二(不同)属性的化身帧数据流(例如，化身数据685)被接收并且用于显示化身。

如框680处所示，基于化身660b的位置超出距用户110的当前视点的阈值距离来确定专注状态。在此示例中，化身660b的位置超出距用户110的当前视点的阈值距离被视为用户110的未来专注状态将涉及不将注意力集中在化身上的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对低的帧率、相对低的分辨率纹理、相对不太复杂的骨架等)的化身数据。如果尚未被使用，则调整化身预配过程以使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。电子设备105可接收新的化身数据并且基于此类数据来显示化身。例如，电子设备155可向电子设备105发送具有特定属性的化身数据685，并且电子设备105然后可使用该化身数据685在新的视图中显示化身。在另一示例中，电子设备105向化身数据源发送标记，并且化身数据源(例如，电子设备155或中间设备)相应地确定如何配置一个或多个化身数据属性。

在图7中，在通信会话期间，电子设备105显示包括挂壁式绘画120的描绘220、花125的描绘225和化身760a的视图700。在框770处，基于注视方向705朝向花125的描绘225来确定用户110的专注状态。在此示例中，检测到注视方向705，并且电子设备105确定用户110正在注视描绘225而不是由电子设备105在视图700中显示的化身760a。在此示例中，不注视化身760a的观看用户(例如，用户110)被视为用户110的未来专注状态将涉及不将注意力集中在化身760a上(例如，用户110将继续不看/不注意化身760a)的标记。在一些具体实施中，基于注视方向705偏离化身760a处的注视方向多远来预测专注状态。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对低的帧率、相对低的分辨率纹理、相对低复杂度的骨架等)的化身数据。如果具有这种属性的化身数据尚未被使用，则调整化身预配过程以使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。电子设备105可接收新的化身数据并且基于此类数据来显示化身。例如，如图所示，电子设备155可向电子设备105发送具有特定属性的化身数据775，并且电子设备105然后可使用该化身数据775在视图710中显示化身760b。在另一示例中，电子设备105向化身数据源发送标记，并且化身数据源(例如，电子设备155或中间设备)相应地确定如何配置一个或多个化身数据属性。

化身数据775可随时间推移而提供，例如作为对应于不同时间的数据流，例如，对应于不同帧时间的帧数据。在一个示例中，在用户110正在注视花125的描绘225(或不同于化身的其他内容)时，具有第一属性的化身帧数据流(例如，化身数据775)被接收并且用于显示化身，并且在检测到用户110注视(或准备注视)化身(这可以是用户110的专注状态已经移到化身的标记)之后，具有第二(不同)属性的化身帧数据流(例如，化身数据785)被接收并且用于显示化身。

如框780处所示，基于注视方向朝向化身760b来确定专注状态。在此示例中，检测到注视方向715，并且电子设备105确定用户110正在注视化身760b。在此示例中，观看用户(例如，用户110)正在注视化身760b(注视方向715朝向化身760b)，并且这样注视被视为用户110的未来专注状态将涉及将注意力集中在化身上的标记。在一些具体实施中，在用户的注视方向从描绘225朝向化身760b移动时检测到该注视方向，并且在注视实际上到达化身之前预测用户集中在化身上的专注状态。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对高的帧率、相对高的分辨率纹理、相对更加复杂的骨架等)的化身数据。如果尚未被使用，则调整化身预配过程以使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。电子设备105可接收新的化身数据并且基于此类数据来显示化身。例如，电子设备155可向电子设备105发送具有特定属性的化身数据785，并且电子设备105然后可使用该化身数据785在新的视图中显示化身。在另一示例中，电子设备105向化身数据源发送标记，并且化身数据源(例如，电子设备155或中间设备)相应地确定如何配置一个或多个化身数据属性。

在图8中，在通信会话期间，电子设备105显示包括挂壁式绘画120的描绘220、花125的描绘225和化身860a的视图800。在框870处，基于化身860a在用户110的中央凹区域805之外来确定用户110的专注状态。在此示例中，检测到中央凹区域805，并且电子设备105确定由电子设备105在视图800中显示的化身860a在用户110的中央凹区域805之外。在此示例中，使化身860a在他们的中央凹区域805之外的观看用户(例如，用户110)被视为用户110的未来专注状态将涉及不将注意力集中在化身860a上(例如，用户110将不直接集中在化身上)的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对低的帧率、相对低的分辨率纹理、相对不太复杂的骨架等)的化身数据。如果具有这种属性的化身数据尚未被使用，则调整化身预配过程以使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。电子设备105可接收新的化身数据并且基于此类数据来显示化身。例如，如图所示，电子设备155可向电子设备105发送具有特定属性的化身数据875，并且电子设备105然后可使用该化身数据875在视图810中显示化身860b。在另一示例中，电子设备105向化身数据源发送标记，并且化身数据源(例如，电子设备155或中间设备)相应地确定如何配置一个或多个化身数据属性。

化身数据875可随时间推移而提供，例如作为对应于不同时间的数据流，例如，对应于不同帧时间的帧数据。在一个示例中，在化身在用户110的中央凹区域内时，具有第一属性的化身帧数据流(例如，化身数据875)被接收并且用于显示化身，并且在检测到化身不再位于用户110的中央凹区域内(这可以是用户110的专注状态已经从化身移开的标记)之后，具有第二(不同)属性的化身帧数据流(例如，化身数据885)被接收并且用于显示化身。

如框880处所示，基于化身360b在用户110的中央凹区域815内来确定专注状态。在此示例中，检测到中央凹区域815，并且电子设备105确定化身860b在用户110的中央凹区域815内。在此示例中，化身860b在观看用户(例如，用户110)的中央凹区域815内，并且此特性被视为用户110的未来专注状态将涉及将注意力集中在化身上的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对高的帧率、相对高的分辨率纹理、相对更加复杂的骨架等)的化身数据。如果尚未被使用，则调整化身预配过程以使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。电子设备105可接收新的化身数据并且基于此类数据来显示化身。例如，电子设备155可向电子设备105发送具有特定属性的化身数据885，并且电子设备105然后可使用该化身数据885在新的视图中显示化身。在另一示例中，电子设备105向化身数据源发送标记，并且化身数据源(例如，电子设备155或中间设备)相应地确定如何配置一个或多个化身数据属性。

在图9中，在通信会话期间，电子设备105显示包括挂壁式绘画120的描绘220、花125的描绘225的视图900。化身数据被发送到设备105。然而，化身的位置数据不将化身定位在视图900内，例如，化身可定位在视图900中所描绘的XR环境中，但在视图900中所描绘的XR环境的部分的一旁的位置处。在框970处，基于化身不在用户110的视场内来确定用户110的专注状态。在此示例中，电子设备105确定化身不在视场内。在此示例中，化身不在视场内被视为用户110的未来专注状态将涉及不将注意力集中在化身960a上的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对低的帧率、相对低的分辨率纹理、相对不太复杂的骨架等)的化身数据。实际上，如果基于预测的未来专注状态预期不显示化身，则可提供最小(或不提供)化身数据，例如仅提供化身位置数据、化身声音数据等。如果具有这种属性的化身数据尚未被使用，则化身预配过程被调整以使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。

如框980处所示，基于化身960b定位在用户110的视图910内的中央凹区域915内来确定专注状态。在此示例中，化身在中央凹区域915内被视为用户110的未来专注状态将涉及将注意力集中在化身上的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对高的帧率、相对高的分辨率纹理、相对更加复杂的骨架等)的化身数据。化身预配过程可被调整为使用具有期望属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。例如，电子设备155可向电子设备105发送具有特定属性的化身数据985，并且电子设备105可在未来视图中显示化身。在另一示例中，电子设备105向化身数据源发送标记，并且化身数据源(例如，电子设备155或中间设备)相应地确定如何配置一个或多个化身数据属性。

在图10中，在通信会话期间，电子设备105显示包括挂壁式绘画120的描绘220、花125的描绘225的视图1000。在框1070处，基于化身560a在用户110的视场之外来确定用户110的专注状态。在此示例中，电子设备105确定化身在视场之外(例如，不在视图1000中显示)。在此示例中，化身在视场之外被视为用户110的未来专注状态将涉及不集中在化身上的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，特定帧率、特定分辨率纹理、特定复杂度水平的化身骨架等)的化身数据。实际上，如果基于预测的未来专注状态预期不显示化身，则可提供最小(或不提供)化身数据，例如仅提供化身位置数据、化身声音数据等。如果具有这种属性的化身数据尚未被使用，则化身预配过程被调整以使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。

如框1080处所示，接下来基于化身1060b在用户110的视场中但在中央凹区域1015之外来确定专注状态。在此示例中，化身在用户110的视场中但在用户110的中央凹区域1015之外被视为用户110的未来专注状态将涉及不将直接注意力集中在化身上而是使一定意识或间接注意力集中在化身1060b上的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，中值帧率、中值分辨率纹理、中值复杂度的骨架等)的化身数据。化身预配过程可被调整为使用具有期望属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。例如，电子设备155可向电子设备105发送具有特定属性的化身数据1085，并且电子设备105。在另一示例中，电子设备105向化身数据源发送标记，并且化身数据源(例如，电子设备155或中间设备)相应地确定如何配置一个或多个化身数据属性。

在图11中，在通信会话期间，电子设备105显示包括挂壁式绘画120的描绘220、花125的描绘225和化身1160a的视图1100。在框1170处，基于化身1160a定位成超出距用户110的当前视点的阈值距离来确定用户110的专注状态。例如，视图1100可通过生成扩展现实(XR)环境、将化身定位在XR环境内的3D位置处、然后基于XR环境内的用户110的视点来提供XR环境的视图来显示，例如，该视点可随着用户110移动或以其他方式提供输入而改变。在具体示例中，这种XR环境是(至少部分地)基于用户110的物理环境100来生成的，并且化身定位在XR环境的对应3D坐标系内的3D位置处(该3D位置在此示例中也对应于物理环境100的3D坐标系)。电子设备105可确定化身1160a的位置超出3D坐标系中距用户110的当前视点的阈值距离。在此示例中，化身1160a的位置超出距用户110的当前视点的阈值距离被视为用户110的未来专注状态将涉及将有限的注意力集中在化身1160a上(例如，鉴于化身的距离，不太可能注意到化身的细节或以其他方式集中在化身的细节上)的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对低的帧率、相对低的分辨率纹理、相对不太复杂的骨架等)的化身数据。如果具有这种属性的化身数据尚未被使用，则调整化身预配过程以使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。电子设备105可接收新的化身数据并且基于此类数据来显示化身。例如，如图所示，电子设备155(或中间设备)可向电子设备105发送具有特定属性的化身数据1175。

化身数据1175可随时间推移而提供，例如作为对应于不同时间的数据流，例如，对应于不同帧时间的帧数据。在一个示例中，在化身1160a的位置超出距用户110的当前视点的阈值距离时，具有第一属性的化身帧数据流(例如，化身数据1175)被接收并且用于显示化身，并且在检测到化身1160a的位置在距用户110的当前视点的阈值距离内(这可以是用户110的专注状态已经移向化身或很可能涉及化身的细节的标记)之后，具有第二(不同)属性的化身帧数据流(例如，化身数据1185)被接收并且用于显示化身。

如框1180处所示，基于化身1160b的位置在距用户110的当前视点的阈值距离内来确定专注状态。在此示例中，化身1160b的位置在距用户110的当前视点的阈值距离内被视为用户110的未来专注状态将涉及将注意力集中在化身上、例如集中在化身的细节上的标记。

基于识别此标记或预测此未来专注状态，可能期望利用具有特定属性(例如，相对高的帧率、相对高的分辨率纹理、相对更加复杂的骨架等)的化身数据。如果尚未被使用，则调整化身预配过程以使用具有该属性的化身数据。例如，电子设备105可向化身数据源(例如，电子设备155或中间设备)发送请求该未来化身数据具有特定属性的消息并且化身数据源可相应地作出响应。电子设备105可接收新的化身数据并且基于此类数据来显示化身。例如，电子设备155可向电子设备105发送具有特定属性的化身数据1185，并且电子设备105然后可使用该化身数据1185在新的视图中显示化身。在另一示例中，电子设备105向化身数据源发送标记，并且化身数据源(例如，电子设备155或中间设备)相应地确定如何配置一个或多个化身数据属性。

图12是示出了用于在通信会话期间提供化身的方法1200的流程图。在一些具体实施中，设备诸如电子设备105或电子设备155或另一设备或者此类设备中的两个或更多个设备的组合执行方法1200。在一些具体实施中，在移动设备、台式计算机、膝上型计算机、HMD、耳挂式设备或服务器设备上执行方法1200。方法1200由处理逻辑部件(包括硬件、固件、软件或它们的组合)执行。在一些具体实施中，在执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器上执行方法1200。

在框1210处，方法1200在第一物理环境中的第一设备和第二物理环境中的第二设备之间的通信会话期间获得表示第二设备的第二用户的化身的第一化身数据。在框1220处，方法1200基于第一化身数据来呈现第二用户的化身。在一些具体实施中，在通信会话的初始阶段，已知关于观看用户的专注状态的有限信息或未知该信息。初始化身数据(例如，第一化身数据)可基于观看者的未来专注状态是初始未知的假设来提供，例如，鉴于系统约束提供可用的最高质量。在其他情况下，第一化身数据不是初始化身数据，或者可针对初始化身数据预测初始专注状态，并且根据该初始专注状态预测来提供此化身数据。

在框1230处，方法1230识别指示第一设备的第一用户相对于第二用户的化身的未来专注状态的标记。标记可涉及指示用户的未来专注状态的任何上下文，包括但不限于第一用户是否正在看第二用户的化身、第二用户的化身是否在第一用户的中央凹区域或视场内、第二用户的化身是靠近还是远离第一用户的视点、第一用户正在做的事(例如，静止、移动、行走、使他们的头部移动等)、控制化身的第二用户正在做的事(例如，交谈、开始使手部移动等)、观看者和其他用户正在做的事或专注于的事(一起看电视、并排行走、看白板)或环境条件(例如，采光、空气质量)。

在一个示例中，标记包括第一用户的注视方向是否指向化身。在另一示例中，标记包括第一用户的注视方向是否指向除化身以外的对象。在另一示例中，标记是注视方向远离化身的偏离量(例如，角位移量)。在另一示例中，标记包括第二用户的化身是否在第一用户的视场的第一区域(例如，中央凹区域)内。在另一示例中，标记包括第二用户的化身是否在第一区域之外并且在第一用户的视场内。在另一示例中，标记包括第二用户的化身是否在第一用户的视场之外。

在一个示例中，标记包括3D环境中的第二用户的化身的位置与第一用户的视点的接近度。在一个示例中，标记包括第一用户在第一物理环境中的活动。在一个示例中，标记包括第二用户的活动。在另一示例中，标记包括第一用户专注的对象或活动。

在一个示例中，标记包括参与通信会话的两个或更多个化身的优先级。例如，如果通信会话中涉及第三用户的另一化身，则标记可涉及相对于化身预配的第二用户先于第三用户的优先级，例如，该优先级指示获得第二用户的化身的高质量比获得第三用户的化身的高质量更加重要。

在一个示例中，标记包括第一用户的活动或状态的数据标识。这可涉及确定第一用户正在做的事(例如，静止、移动、行走、使他们的头部移动等)很可能是第一用户相对于第二用户的化身的未来专注状态。例如，如果第一用户正走向第二用户，则与第一用户远离第二用户行走的情况相比，他们更有可能专注于第二用户。又如，如果第一用户正在使他们的头部移动以在包括第二用户的一组用户当中进行扫描，则与第一用户具有对应于注意除第二用户以外的某物的相对固定的头部位置和取向的情况相比，可能更有可能专注于第二用户。

在一个示例中，标记包括第二用户的活动或状态的数据标识。这可涉及确定控制化身的第二用户正在做的事(例如，交谈、开始使手部移动等)。例如，如果第二用户正在向第一用户挥动手部或做运动，则此类活动可吸引第一用户的注意，从而使得第一用户将更有可能专注于第二用户。又如，与接近度阈值内和/或作为与第一用户最接近的用户组的一部分的第三用户交谈的第二用户可吸引第一用户的注意，从而使得第一用户将更有可能专注于第二用户。又如，如果第二用户参与(与第一用户或另一用户)的对话，则该活动可指示第一用户正在或变得专注于第二用户。又如，如果第二用户正在向下看和读书或报纸并且没有交谈(例如，参与独自活动)，则此活动可指示第一用户不太可能专注于第二用户。

在一些具体实施中，标记包括由一个或多个生理传感器提供或基于一个或多个生理传感器确定的数据，该一个或多个生理传感器例如提供关于注视方向、专注、扫视、瞳孔扩大、瞳孔响应等的数据的眼睛传感器、提供关于呼吸速度和深度(其可指示观看者如何放松、专注、分心等)的数据的呼吸传感器、提供关于心率的数据、心电图(EKG)数据、脑电图(EEG)数据、眼电图(EOG)数据等的心脏/脉搏传感器数据。在一些具体实施中，运动传感器数据、触觉数据、位置数据、音频传感器数据或环境光传感器数据提供用于确定第一用户的专注状态的标记的数据。

在一些具体实施中，在不明确地预测第一用户的未来专注状态的情况下使用一个或多个标记(已知或据信其与特定未来专注状态相关联)。换句话讲，基于一个或多个标记和一个或多个专注状态之间的已知的、假设的或预测的关联，标记可被直接使用(例如，以调整化身数据)而不需要明确地或直接地确定专注状态。

然而，在一些其他具体实施中，方法1200使用一个或多个标记来明确地预测第一用户的未来专注状态，该一个或多个标记然后可被使用(例如，以调整化身数据)。

根据识别标记，方法1200在框1240处从远程设备(例如，第二设备或中间服务器)获得表示第二用户的化身的第二化身数据，其中第一化身数据的属性不同于第二化身数据的属性，并且在框1250处基于第二化身数据来呈现第二用户的化身。可基于确定标记满足一个或多个标准来获得第二化身数据。可基于以下操作来获得第二化身数据：基于标记来确定未来专注状态，然后确定未来专注状态不同于第一用户相对于第二用户的化身的当前专注状态。

在一些具体实施中，获得表示第二用户的化身的第二化身数据包括基于未来专注状态和当前专注状态来确定对第一化身数据的调整。专注状态可允许基于根据专注状态所需要的内容来进行质量调整，例如，专注状态需要高质量化身数据、专注状态需要低质量化身数据、或者专注状态不需要显示化身但需要关于位置、音频等的其他化身数据。在一些具体实施中，获得第二化身数据包括传输包括(例如，化身数据的属性的)所确定的调整的请求以及接收(例如，具有所请求的调整的属性的)第二化身数据。

各种化身数据属性可用于实现一个或多个益处，例如，效率、准确性等。在一个示例中，第一化身数据的属性表示第一化身数据的质量水平，并且第二化身数据的属性表示第二化身数据的质量水平。在一个示例中，第一化身数据的属性表示第一化身数据中的网格或点云的复杂度水平，并且第二化身数据的属性表示第二化身数据中的网格或点云的复杂度水平。在一个示例中，第一化身数据的属性表示第一化身数据的帧率，并且第二化身数据的属性表示第二化身数据的帧率。在一个示例中，第一化身数据的属性表示第一化身数据的用于表示该化身在一定时间段期间的外观和移动的量，并且第二化身数据的属性表示第二化身数据的用于表示该化身在一时间段期间的外观和移动的量。第一化身数据的属性和第二化身数据的属性之间的差可对应于获得、传输或渲染第一化身数据和第二化身数据所需的计算资源的量的差。

在一些具体实施中，基于第一化身数据来呈现第二用户的化身或基于第二化身数据来呈现第二用户的化身包括在3D环境内呈现化身。例如，这可涉及第一设备显示扩展现实(XR)环境，该XR环境包括添加了第二用户的化身的第一环境的视图。

在一些具体实施中，第二设备将化身数据直接提供给第一设备(例如，没有中间服务器)。在一些具体实施中，经由中间设备诸如中间服务器获得化身数据。例如，第二设备可将化身数据传输到中间服务器，该中间服务器然后将该设备重传到第一设备。第二设备或中间设备可限制或调整所提供的化身数据。

化身数据可包括用于呈现化身的各种类型的信息。例如，化身数据可包括表示由第二用户的物理环境中的一个或多个图像传感器捕获的第二用户的外观的一个或多个图像。此类图像可描绘第二用户的部分，诸如第二用户的面部、头发、肩部、臂部、手部、躯干、腿部等，或第二用户的整个身体。此类化身数据可从给定视点(例如第二用户面向的正前方)表示第二用户。化身数据可包括关于第二用户的3D几何形状或3D形状的数据。例如，化身数据可包括或基于经由第二用户的环境中的一个或多个深度传感器捕获的或从其他传感器数据(例如，图像数据)推断的深度数据。在一些具体实施中，化身数据包括连续时间段的数据，例如，基于帧的数据。

在一些具体实施中，对于多个帧中的每个帧，化身数据(例如，第一化身数据、第二化身数据或两者)包括：表示第二用户的一部分的表面外观的纹理、基于图像传感器数据来确定的纹理、以及表示第二用户的该部分的3D定位的骨架。骨架可基于包括图像数据或运动传感器数据的传感器数据来确定。

接收方设备(例如，第一设备)使用此类数据来重建来自给定视点(例如，在3D环境内)的化身的视图。基于时间的化身数据可示出实时定位、身体移动、面部移动、面部表情、手势、眼睛移动、由第二用户产生的声音、或第二用户正在实时做的事的任何其他表示。化身数据可被配置为使得能够呈现第二用户的一部分或全部的类似实况3D视频的表示。

在一些具体实施中，如图2所示，当前专注状态对应于第一用户朝向化身注视(例如，朝向注视)，未来专注状态对应于第一用户远离化身注视(例如，远离注视)，并且第一化身数据不同于第二化身数据(例如，每时间段具有比第二化身数据更多的数据)。

在一些具体实施中，如图3所示，当前专注状态对应于化身在第一用户的视场的第一区域内(例如，在中央凹区域中)，未来专注状态对应于化身在第一区域之外并且在第一用户的视场内(例如，在中央凹区域之外但在视场中)，并且第一化身数据不同于第二化身数据(例如，每时间段具有比第二化身数据更多的数据)。

在一些具体实施中，如图4所示，当前专注状态对应于化身在第一用户的视场的第一区域内(例如，在中央凹区域中)，未来专注状态对应于化身在第一用户的视场之外(例如，在FOV之外)，并且第一化身数据不同于第二化身数据(例如，每时间段具有比第二化身数据更多的数据)。第二化身数据可包括化身位置数据并且不包括化身外观数据。

在一些具体实施中，如图5所示，当前专注状态对应于化身在第一区域之外并且在第一用户的视场内(例如，在中央凹区域之外但在FOV中)，未来专注状态对应于化身在第一用户的视场之外(例如，在FOV之外)，并且第一化身数据不同于第二化身数据(例如，每时间段具有比第二化身数据更多的数据)。第二化身数据可包括化身位置数据并且不包括化身外观数据。

在一些具体实施中，如图6所示，当前专注状态对应于化身定位在3D环境中的第一用户的当前视点的阈值距离内(例如，近)，未来专注状态对应于化身定位成超出距3D环境中的第一用户的当前视点的阈值距离(例如，远)，并且第一化身数据不同于第二化身数据(例如，每时间段具有比第二化身数据更多的数据)。

在一些具体实施中，如图7所示，当前专注状态对应于第一用户远离化身注视(例如，远离注视)，未来专注状态对应于第一用户朝向化身注视(例如，朝向注视)，并且第一化身数据不同于第二化身数据(例如，每时间段具有比第二化身数据更少的数据)。

在一些具体实施中，如图8所示，当前专注状态对应于化身在第一用户的视场的第一区域之外并且在第一用户的视场内(例如，在中央凹区域之外但在FOV中)，未来专注状态对应于化身在第一用户的视场的第一区域内(例如，在中央凹区域中)，并且第一化身数据不同于第二化身数据(例如，每时间段具有比第二化身数据更少的数据)。

在一些具体实施中，如图9所示，当前专注状态对应于化身在第一用户的视场之外(例如，在FOV之外)，未来专注状态对应于化身在第一用户的视场的第一区域内(例如，在中央凹区域中)，并且第一化身数据不同于第二化身数据(例如，每时间段具有比第二化身数据更少的数据)。第一化身数据可包括化身位置数据并且不包括化身外观数据。

在一些具体实施中，如图10所示，当前专注状态对应于化身在第一用户的视场之外(例如，在FOV之外)，未来专注状态对应于化身在第一区域之外并且在第一用户的视场内(例如，在中央凹区域之外但在FOV中)，并且第一化身数据不同于第二化身数据(例如，每时间段具有比第二化身数据更少的数据)。第一化身数据可包括化身位置数据并且不包括化身外观数据。

在一些具体实施中，如图11所示，当前专注状态对应于化身定位成超出距3D环境中的第一用户的当前视点的阈值距离(例如，远)，当前专注状态对应于化身定位在3D环境中的第一用户的当前视点的阈值距离内(例如，近)，并且第一化身数据不同于第二化身数据(例如，每时间段具有比第二化身数据更少的数据)。

在一些具体实施中，第一设备在通信会话期间发送对应于第一用户的化身数据以使得第二用户能够观看第一用户的化身。第一用户和第二用户可在通信会话期间同时观看彼此的化身。任一或两个用户的化身数据可基于上下文、例如基于指示另一用户(例如，观看用户)的确定的或预测的专注状态的标记来预配。在一些具体实施中，用户设备改变它们发送的化身数据，例如以减少基于上下文来传输的化身数据的量。在一些具体实施中，用户设备发送(例如，在整个通信会话中具有相同属性的)相同化身数据，并且中间设备(例如，服务器)根据要提供给观看用户设备的上下文来产生化身数据的不同版本(例如，高复杂度、低复杂度等)。

在一些具体实施中，用户设备发送化身数据的多个版本(例如，对于发送具有不同属性的化身数据的两个版本的每个帧)，并且观看设备或中间设备根据上下文(例如，即将到来的观看者的未来专注状态)来选择这些版本中的一个版本以供观看设备使用。因此，在一些具体实施中，方法1200还涉及：并发地生成表示第一用户的化身的第三化身数据和第四化身数据，其中第三化身数据的属性不同于第四化身数据的属性；以及在通信会话中传输第三化身数据和第四化身数据。

在一些具体实施中，方法1200确定未来专注状态与当前专注状态相同(或实质上类似)，并且根据确定未来专注状态与当前专注状态相同，继续基于第二化身数据来呈现第二用户的化身，例如使用相同属性而不调整化身数据。

在一些具体实施中，当确定未来专注状态需要比当前专注状态更多的化身数据时，在第一用户进入未来专注状态之前获得第二化身数据。预期用户专注状态改变的时间可被预测并且用于确保接收到(例如，具有必要属性的)适当化身数据以在专注状态发生时满足该专注状态的化身观看要求。方法1200可在需要向第一用户显示高质量数据之前准备好更高质量化身数据。

在一些具体实施中，基于确定用户正在注视的深度/距离(例如，基于用户的眼睛聚散度)来确定未来专注状态。例如，在用户视场的中心可存在两个化身，其中一个化身相对靠近观看用户，并且另一化身相对远离观看用户。深度/距离可用于预测用户正在(或将要)看那些化身中的哪个化身。可例如经由用户眼睛获得的视图图像或其他传感器的图像来获得注视深度信息，以确定用户的聚散度在特定深度/距离处或在特定深度/距离范围内。换句话讲，此类信息可识别用户集中于多远，例如，集中于近的某物或远的某物，并且此信息可用于确定如何渲染化身(或化身的部分)。

在一些具体实施中，基于注视和上下文来确定化身质量。在(例如，在移动设备或HMD上)呈现多个化身的通信会话期间，相对于同时解码和渲染一个或多个化身可能存在显著的功率问题。本文所公开的一些具体实施提供具有基于以下项来调整的化身质量的改进的化身框架：(1)化身是否在中央凹区域中(例如，观看者的眼睛是否正在看化身)和(2)化身是否在观看者的视场内。为了实现(1)，每个参与者的设备可发送两个化身视频流，一个为高质量并且一个为低质量。接收参与者可在化身在中央凹区域内时切换到高质量流，并且在观看者不直接看化身时降级到低质量流。为了实现(2)，当化身不在用户的视场内时，则设备可完全退订视频流。这可涉及告诉中间流式传输服务器观看者的设备当前不想接收化身视频流。当化身返回到(或将要返回到)视场时，设备通知中间流式传输服务器，使得它可再次开始接收化身视频流。

在一些具体实施中，观看者的头部移动(例如，速度)用于预测化身将立即使视场移动并且抢先订阅视频流以确保化身流在化身确实进入视场时可用于渲染。

在一些具体实施中，上文的以上两个特征(1)和(2)的组合使得能够非常显著地减少具有多用户通信会话所需的功率，从而使得在其中同时使用多个高质量化身原本将不可行的设备约束情况下(例如，在涉及功率受限的HMD和多个化身的通信会话期间)在通信会话中存在多个化身是可行的。

在发送者侧使用的化身算法也可能是相对能量渴求的。化身布置/座位可用于确定上下文以确定化身数据属性。例如，如果化身正坐在沙发上看向相同方向看电影，则系统可基于估计用户将不太可能在不久的将来看彼此的化身来告知两个设备停止发送化身外观数据。

在一些具体实施中，系统在多个化身当中进行优先级排序。主要化身可被识别，例如最近的化身、观看者的视场的中心中的化身、如由眼睛聚散指示的集中的化身等，并且被给予相对更高的质量(例如，更高帧率和分辨率)。次要化身可被识别，例如，非主要的任何化身。次要化身可主要按凹形来缩放地渲染。次要化身可具有更低帧率数据(例如，约5fps)和源分辨率。阴影缩放可与凹形对准。主要和次要选择可频繁(例如，每秒若干次)发生以避免任何可感知的延迟。

在涉及视图内的多个化身的一些具体实施中，以高质量来渲染化身中的仅一个化身并且例如使用更低分辨率/帧率化身数据以降低的质量来渲染其他化身。这可比同等地使所有化身的质量降级更优选。观看者专注状态的标记可用于选择以更高质量提供哪个化身或化身的子集以及以更低质量提供哪个化身或化身的子集。

在一些具体实施中，基于设备或系统约束来调整化身质量。例如，如果观看设备不受功率约束(例如，在其插入电源并且不依靠电池运行时)，则不管上下文(例如，观看者的未来专注状态)如何，对于所有化身来说，化身质量可为高。然而，当设备受功率约束(例如，依靠电池运行)时，可基于上下文(例如，观看者的未来专注状态)来调整化身质量。

在一些具体实施中，使用多于一个标记来预测观看者的专注状态。此类标记可在确定专注状态或如何调整化身预配过程时进行加权。

图13示出了选择性地使用化身数据和渲染过程来呈现化身。在一些具体实施中，可使用不同数据质量和/或渲染过程来呈现化身的不同部分。例如，如果系统确定用户正在看化身的手部而不是它们的面部，则它可以高质量渲染手部并且以更低质量渲染面部。在图13中，化身数据包括部分特定数据，例如，化身的每个部分具有其自己的数据。此外，每个部分具有多个质量的网格和纹理数据，例如不同数量的网格三角形、不同纹理分辨率等。化身的第一部分(例如，化身的头部)的化身数据包括化身网格的第一部分(高质量)数据1302a、化身网格的第一部分(低质量)数据1302b、化身纹理的第一部分(高质量)数据1312a和化身纹理的第一部分(低质量)数据1312b。类似地，化身的第二部分(例如，化身的手部)的化身数据包括化身网格的第二部分(高质量)数据1304a、化身网格的第二部分(低质量)数据1304b、化身纹理的第二部分(高质量)数据1314a和化身纹理的第二部分(低质量)数据1314b。

如何将化身细分为各部分可使用各种标准来实现。在一个示例中，基于数据的对应于3D空间的特定区域(例如，立方区域等)的部分来细分化身。在此示例中，以3D呈现的方式被拉伸、翘曲或以其他方式不平坦的2D纹理可不被划分为相等的2D片段，而是相反可以最佳地对应于3D中的分割的方式来划分。

基于根据用户专注状态(例如，用户正在看化身的哪些部分(如果有的话))作出的选择来呈现化身1340。例如，基于用户正在看化身的第一部分，化身部分特定数据选择框1320可选择化身网格的第一部分(高质量)数据1302a、化身纹理的第一部分(高质量)数据1312a、化身网格的第二部分(低质量)数据1304b、以及化身纹理的第二部分(低质量)数据1314b以供在渲染化身时使用。相反，基于用户正在看化身的第二部分，化身部分特定数据选择框1320可选择化身网格的第一部分(低质量)数据1302b、化身纹理的第一部分(低质量)数据1312b、化身网格的第二部分(高质量)数据1304a和化身纹理的第二部分(高质量)数据1314a以供在渲染化身时使用。此外，基于用户既不在看化身的第一部分也不在看化身的第二部分，化身部分特定数据选择框1320可选择化身网格的第一部分(低质量)数据1302b、化身纹理的第一部分(低质量)数据1312b、化身网格的第二部分(低质量)数据1304b和化身纹理的第二部分(低质量)数据1314b以供在渲染化身时使用。

化身1340可使用此类数据来渲染，例如，经由渲染算法将纹理数据应用于网格数据。化身1340可基于参数(例如，渲染复杂度参数)的选择、基于用户正在看化身的哪个部分(如果有的话)来呈现。因此，化身1340可基于选择化身的具体部分的渲染参数的化身部分特定渲染复杂度选择框1330来渲染。如果用户正在看第一部分，则可使用相对更加复杂的渲染算法来渲染第一部分，而可使用相对不太复杂的渲染算法来渲染第二部分。如果用户正在看第二部分，则可使用相对不太复杂的渲染算法来渲染第一部分，而可使用相对更加复杂的渲染算法来渲染第二部分。如果用户既不在看第一部分也不在看第二部分，则可使用相对不太复杂的渲染算法来渲染第一部分和第二部分两者。

在各种具体实施中，可在化身的选择部分上选择性地使用渲染优化。此类优化可包括但不限于包括网格分辨率、动画分辨率和着色器细节/复杂度。网格分辨率优化可涉及基于网格的一部分的多个可用版本(例如，多个分辨率)来为化身的该部分选择适当的网格。这种网格的此类多个版本可在通信会话之前或期间传输。优化还可涉及化身部分特定渲染保真度选择以改变所执行的渲染过程的质量或复杂度。在一些具体实施中，这涉及以更简单的纹理代替更详细的纹理，并且反之亦然。在一些具体实施中，选择纹理分辨率，例如256x256对128x128等。优化可涉及选择动画帧率，例如，30hz对60hz。在一些具体实施中，优化可使得能够更快或以其他方式更高效地查找在渲染期间所需的数据。

使用不同数据质量或渲染参数来渲染化身的不同部分可导致视觉异常。此类异常可通过自动应用孔洞填充和平滑技术来解决，以确保化身部分之间的过渡对于用户并不突出。

在一些具体实施中，化身的不同部分的化身数据由该化身所表示的用户的设备生成，并且此类数据经由选择或订阅模式变得可用。在一个示例中，此类数据经由服务器变得可用，并且观看者(例如，观看用户的设备)基于用户当前集中于的事或者此时需要的其他事来订阅每个化身部分的给定质量的数据。此类选择性预订可使得观看设备能够优化GPU或其他处理以及优化数据传输。

图14是示出了根据一些具体实施的用于基于用户专注状态来呈现化身的部分的方法1400的流程图。在一些具体实施中，设备诸如电子设备105或电子设备155或另一设备或者此类设备中的两个或更多个设备的组合执行方法1400。在一些具体实施中，在移动设备、台式计算机、膝上型计算机、HMD、耳挂式设备或服务器设备上执行方法1400。方法1400由处理逻辑部件(包括硬件、固件、软件或它们的组合)执行。在一些具体实施中，在执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器上执行方法1400。

在框1410处，方法1400识别指示在第一物理环境中的第一设备和第二物理环境中的第二设备之间的通信会话期间第一设备的第一用户相对于第二用户的化身的未来专注状态的标记。

在框1420处，该方法确定第一用户的未来专注状态对应于化身的第一部分。

在框1430处，根据确定第一用户的未来专注状态对应于化身的第一部分，方法1400呈现第二用户的化身，其中以比化身的第二部分高的质量呈现化身的第一部分。

第一设备可获得第一部分和第二部分的第一质量版本以及第一部分和第二部分的第二质量版本，并且基于第一用户的未来专注状态来选择性地使用第一质量版本和第二质量版本来呈现化身。

在一些具体实施中，第一设备获得化身数据，该化身数据包括网格的表示该化身并且对应于该化身的第一部分的第一部分的多个版本、网格的表示该化身并且对应于该化身的第二部分的第二部分的多个版本、纹理的表示该化身并且对应于该化身的第一部分的第一部分的多个版本和纹理的表示该化身并且对应于该化身的第二部分的第二部分的多个版本。第一设备可基于第一用户的未来专注状态来选择化身数据(例如，选择性地使用化身数据)来呈现化身。在此示例中，网格的第一部分的多个版本和网格的第二版本的多个版本可(但不一定)由第一设备在通信会话之前获得。在此示例中，纹理的第一部分的多个版本和纹理的第二版本的多个版本可(但不一定)由第一设备在通信会话期间获得。

在方法1400中，呈现化身可涉及基于化身的哪些部分是未来专注状态的焦点来选择化身的部分的化身数据质量水平。呈现化身可涉及基于化身的哪些部分是未来专注状态的焦点来选择化身的部分的参数。在一些具体实施中，参数包括网格分辨率参数、动画分辨率参数和着色器复杂度参数。

图15是电子设备1500的框图。设备1500示出了电子设备105或电子设备155的示例性设备配置。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备1500包括一个或多个处理单元1502(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备和传感器1506、一个或多个通信接口1508(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C和/或类似类型的接口)、一个或多个编程(例如，I/O)接口1510、一个或多个输出设备1512、一个或多个面向内部和/或面向外部的图像传感器系统1514、存储器1520以及用于互连这些部件和各种其他部件的一条或多条通信总线1504。

在一些具体实施中，一条或多条通信总线1504包括互连系统部件并控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备及传感器1506包括以下各项中的至少一者：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构光、渡越时间等)等。

在一些具体实施中，一个或多个输出设备1512包括一个或多个显示器，该一个或多个显示器被配置为向用户呈现3D环境的视图。在一些具体实施中，一个或多个显示器1512对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或类似显示器类型。在一些具体实施中，一个或多个显示器对应于衍射、反射、偏振、全息等波导显示器。在一个示例中，设备1500包括单个显示器。在另一示例中，设备1500包括针对用户的每只眼睛的显示器。

在一些具体实施中，一个或多个输出设备1512包括一个或多个音频产生设备。在一些具体实施中，一个或多个输出设备1512包括一个或多个扬声器、环绕声扬声器、扬声器阵列或用于产生空间化声音(例如，3D音频效应)的耳机。此类设备可虚拟地将声源放置在3D环境中，包括一个或多个听者的后面、上方或下方。生成空间化声音可涉及变换声波(例如，使用头部相关的传输函数(HRTF)、混响或消除技术)来模拟自然声波(包括来自墙壁和地板的反射)，该自然声波从3D环境中的一个或多个点发出。空间化的声音可以诱使听者的大脑将声音解释成如同该声音发生在3D环境中的一个或多个点处(例如，来自一个或多个特定声源)，即使实际声音可能由其他位置中的扬声器产生。一个或多个输出设备1512可附加地或另选地被配置为生成触觉。

在一些具体实施中，一个或多个图像传感器系统1514被配置为获得对应于物理环境的至少一部分的图像数据。例如，一个或多个图像传感器系统1514可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机、深度相机、基于事件的相机等。在各种具体实施中，一个或多个图像传感器系统1514还包括发射光的照明源，诸如闪光灯。在各种具体实施中，一个或多个图像传感器系统1514还包括相机上图像信号处理器(ISP)，该ISP被配置为对图像数据执行多个处理操作。

存储器1520包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器1520包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器1520可选地包括与一个或多个处理单元1502远程定位的一个或多个存储设备。存储器1520包括非暂态计算机可读存储介质。

在一些具体实施中，存储器1520或存储器1520的非暂态计算机可读存储介质存储可选的操作系统1530和一个或多个指令集1540。操作系统1530包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，指令集1540包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中，指令集1540是能够由一个或多个处理单元1502执行以实施本文所述技术中的一种或多种的软件。

指令集1540包括环境指令集1542，该环境指令集被配置为在执行时在环境诸如本文所述的XR环境内在用户化身的通信会话期间提供视图。指令集1540还包括化身指令集1544，该化身指令集被配置为在执行时基于本文所述的上下文(例如，用户专注状态的标记)来管理化身预配过程。指令集1540可体现为单个软件可执行文件或多个软件可执行文件。

尽管指令集1540被示出为驻留在单个设备上，但应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。此外，图15更多地用作存在于特定具体实施中的各种特征部的功能描述，该各种特征部与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。指令集的实际数量以及如何在其中分配特征将根据具体实施而变化，并且可以部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

应当理解，上文所描述的具体实施以示例的方式引用，并且本公开不限于上文已特别示出和描述的内容。相反地，范围包括上文所描述的各种特征的组合和子组合两者，以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。

如上所述，本技术的一个方面在于收集并使用可包括用户数据的传感器数据，以改善电子设备的用户体验。本公开设想，在一些情况下，该所收集的数据可包括唯一地识别特定人员或者可用于识别特定人员的兴趣、特点或倾向性的个人信息数据。此类个人信息数据可以包括运动数据、生理数据、人口数据、基于位置的数据、电话号码、电子邮件地址、家庭地址、个人设备的设备特征或任何其他个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改进内容观看体验。因此，使用此类个人信息数据可能使得能够对电子设备进行有计划的控制。此外，本公开还预期个人信息数据有益于用户的其他用途。

本公开还设想到负责此类个人信息和/或生理数据的收集、分析、公开、传送、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法用途之外共享或出售。另外，此类收集应当仅在用户知情同意之后进行。另外，此类实体应采取任何所需的步骤，以保障和保护对此类个人信息数据的访问，并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。

不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的具体实施。即本公开预期设想可提供硬件元件或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就为用户定制的内容递送服务而言，本发明的技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。在另一示例中，用户可选择不为目标内容递送服务提供个人信息数据。在又一示例中，用户可选择不提供个人信息，但允许传输匿名信息以用于改进设备的功能。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用的信息来推断偏好或设置，从而选择内容并将该内容递送至用户。

在一些实施方案中，使用仅允许数据的所有者解密存储的数据的公钥/私钥系统来存储数据。在一些其他具体实施中，数据可匿名存储(例如，无需识别和/或关于用户的个人信息，诸如法定姓名、用户名、时间和位置数据等)。这样，其他用户、黑客或第三方就无法确定与存储的数据相关联的用户的身份。在一些具体实施中，用户可从不同于用于上载存储的数据的用户设备的用户设备访问其存储的数据。在这些情况下，用户可能需要提供登录凭据以访问其存储的数据。

本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、装置或系统，以便不使要求保护的主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“标识”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算设备编程或配置为实现本发明主题的一种或多种具体实施的专用计算设备。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合和/或分成子块。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (25)

1.一种方法，包括：

在具有处理器的第一设备处：

在第一物理环境中的所述第一设备和第二物理环境中的第二设备之间的通信会话期间获得表示所述第二设备的第二用户的化身的第一化身数据；

基于所述第一化身数据来呈现所述第二用户的所述化身；

识别指示所述第一设备的第一用户相对于所述第二用户的所述化身的未来专注状态的标记；以及

根据识别所述标记：

从远程设备获得表示所述第二用户的所述化身的第二化身数据，其中所述第一化身数据的属性不同于所述第二化身数据的属性；以及

基于所述第二化身数据来呈现所述第二用户的所述化身。

2.根据权利要求1所述的方法，还包括：基于所述标记来预测所述第一用户的所述未来专注状态。

3.根据权利要求1所述的方法，其中基于所述第一化身数据来呈现所述第二用户的所述化身或基于所述第二化身数据来呈现所述第二用户的所述化身包括在3D环境内呈现所述化身。

4.根据权利要求1所述的方法，其中所述第一化身数据的所述属性表示所述第一化身数据的质量水平，并且其中所述第二化身数据的所述属性表示所述第二化身数据的质量水平。

5.根据权利要求1所述的方法，其中所述第一化身数据的所述属性表示所述第一化身数据中的网格或点云的复杂度水平，并且其中所述第二化身数据的所述属性表示所述第二化身数据中的网格或点云的复杂度水平。

6.根据权利要求1所述的方法，其中所述第一化身数据的所述属性表示所述第一化身数据的帧率，并且其中所述第二化身数据的所述属性表示所述第二化身数据的帧率。

7.根据权利要求1所述的方法，其中所述第一化身数据的所述属性表示用于表示所述化身在一时间段期间的外观和移动的所述第一化身数据的量，并且其中所述第二化身数据的所述属性表示用于表示所述化身在一时间段期间的外观和移动的所述第二化身数据的量。

8.根据权利要求1所述的方法，其中所述第一化身数据的所述属性和所述第二化身数据的所述属性之间的差表示获得、传输或渲染所述第一化身数据和所述第二化身数据所需的计算资源的量的差。

9.根据权利要求1所述的方法，其中获得所述第一化身数据包括从所述第二设备或从不同于所述第一设备和所述第二设备的中间服务器获得所述第一化身数据。

10.根据权利要求1所述的方法，其中对于多个帧中的每个帧，所述第一化身数据包括：

纹理，所述纹理表示所述第二用户的一部分的表面外观，所述纹理基于图像传感器数据来确定；和

骨架，所述骨架表示所述第二用户的所述部分的3D定位，所述骨架基于运动传感器数据来确定。

11.根据权利要求10所述的方法，其中所述标记包括：

所述第一用户的注视方向是否指向所述化身；或者

所述第一用户的所述注视方向是否指向除所述化身以外的对象。

12.根据权利要求1所述的方法，其中标记包括：

所述第二用户的所述化身是否在所述第一用户的视场的第一区域内；

所述第二用户的所述化身是否在所述第一区域之外并且在所述第一用户的所述视场内；或者

所述第二用户的所述化身是否在所述第一用户的所述视场之外。

13.根据权利要求1所述的方法，其中所述第二化身数据基于确定所述未来专注状态不同于所述第一用户相对于所述第二用户的所述化身的当前专注状态来获得。

14.根据权利要求13所述的方法，其中：

所述当前专注状态对应于所述化身在所述第一用户的视场的第一区域内；

所述未来专注状态对应于所述化身在所述第一区域之外并且在所述第一用户的所述视场内；并且

所述第一化身数据每时间段具有比所述第二化身数据更多的数据。

15.根据权利要求13所述的方法，其中：

所述当前专注状态对应于所述化身在所述第一用户的视场的第一区域内；

所述未来专注状态对应于所述化身在所述第一用户的所述视场之外；并且

所述第一化身数据每时间段具有比所述第二化身数据更多的数据。

16.根据权利要求13所述的方法，其中：

所述当前专注状态对应于所述化身在所述第一区域之外并且在所述第一用户的所述视场内；

所述未来专注状态对应于所述化身在所述第一用户的所述视场之外；并且

所述第一化身数据每时间段具有比所述第二化身数据更多的数据。

17.根据权利要求13所述的方法，其中：

所述当前专注状态对应于所述化身定位在3D环境中的所述第一用户的当前视点的阈值距离内；

所述未来专注状态对应于所述化身定位成超出距所述3D环境中的所述第一用户的所述当前视点的所述阈值距离；并且

所述第一化身数据每时间段具有比所述第二化身数据更多的数据。

18.根据权利要求13所述的方法，其中：

所述当前专注状态对应于所述化身在所述第一用户的视场的第一区域之外并且在所述第一用户的所述视场内；

所述未来专注状态对应于所述化身在所述第一用户的所述视场的所述第一区域内；并且

所述第一化身数据每时间段具有比所述第二化身数据更少的数据。

19.根据权利要求13所述的方法，其中：

所述当前专注状态对应于所述化身在所述第一用户的视场之外；

所述未来专注状态对应于所述化身在所述第一用户的所述视场的第一区域内；并且

所述第一化身数据每时间段具有比所述第二化身数据更少的数据。

20.根据权利要求13所述的方法，其中：

所述当前专注状态对应于所述化身在所述第一用户的所述视场之外；

所述未来专注状态对应于所述化身在所述第一区域之外并且在所述第一用户的所述视场内；并且

所述第一化身数据每时间段具有比所述第二化身数据更少的数据。

21.根据权利要求13所述的方法，其中：

所述当前专注状态对应于所述化身定位成超出距3D环境中的所述第一用户的当前视点的阈值距离；

所述未来专注状态对应于所述化身定位在3D环境中的所述第一用户的当前视点的阈值距离内；并且

所述第一化身数据每时间段具有比所述第二化身数据更少的数据。

22.根据权利要求1所述的方法，其中所述标记包括：

3D环境中的第二用户的所述化身的位置与所述第一用户的视点的接近度；

所述第一用户在所述第一物理环境中的活动；

所述第二用户的活动；或者

所述第一用户专注于的对象或活动。

23.根据权利要求1-26中任一项所述的方法，其中所述标记包括参与所述通信会话的两个或更多个化身的优先级。

24.一种系统，包括：

非暂态计算机可读存储介质；和

一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，当所述程序指令在所述一个或多个处理器上执行时使所述系统执行包括以下项的操作：

在第一物理环境中的第一设备和第二物理环境中的第二设备之间的通信会话期间获得表示所述第二设备的第二用户的化身的第一化身数据；

基于所述第一化身数据来呈现所述第二用户的所述化身；

识别指示所述第一设备的第一用户相对于所述第二用户的所述化身的未来专注状态的标记；

根据识别所述标记：

从远程设备获得表示所述第二用户的所述化身的第二化身数据，其中所述第一化身数据的属性不同于所述第二化身数据的属性；以及

基于所述第二化身数据来呈现所述第二用户的所述化身。

25.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序指令，所述程序指令能够经由一个或多个处理器执行以执行包括以下项的操作：

在第一物理环境中的第一设备和第二物理环境中的第二设备之间的通信会话期间获得表示所述第二设备的第二用户的化身的第一化身数据；

基于所述第一化身数据来呈现所述第二用户的所述化身；

识别指示所述第一设备的第一用户相对于所述第二用户的所述化身的未来专注状态的标记；

根据识别所述标记：

从远程设备获得表示所述第二用户的所述化身的第二化身数据，其中所述第一化身数据的属性不同于所述第二化身数据的属性；以及

基于所述第二化身数据来呈现所述第二用户的所述化身。