CN116152416A - 基于扩展现实的画面渲染方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种基于扩展现实的画面渲染方法、装置及存储介质，涉及扩展现实技术领域。该方法包括：获取扩展现实设备在第一时刻采集的姿态数据，用于表示佩戴扩展现实设备的对象姿态；对姿态数据进行姿态预测，得到姿态预测数据，用于指示扩展现实设备在第二时刻预计采集的对象姿态，第二时刻是预测得到的姿态预测数据的采集时刻；将姿态预测数据发送至渲染服务器；接收渲染服务器发送的渲染数据，渲染数据是渲染服务器对姿态预测数据对应的画面进行渲染得到的数据；在第二时刻显示渲染数据对应的画面，在提高渲染效果的同时，避免了由于渲染耗时及数据传输耗时造成的显示延迟，有效防止了卡顿、丢帧等问题。

Description

基于扩展现实的画面渲染方法、装置及存储介质

技术领域

本申请涉及扩展现实技术领域，特别涉及一种基于扩展现实的画面渲染方法、装置及存储介质。

背景技术

AR(Augmented Reality，增强现实)技术是将虚拟信息叠加到真实世界，甚至是实现超越现实的技术，在一定程度上是VR(Virtual Reality，虚拟现实)技术的延伸，相对来说，AR设备产品具有体积小、重量轻、便携等特点。VR、AR、MR(Mediated Reality，混合现实)技术同属XR(Extended Reality，扩展现实)技术，具有广泛的应用前景。目标大多数AR产品采用AR终端设备进行渲染，受限于硬件能力及功耗限制，无法做到大规模或者复杂场景渲染。

相关技术中，在AR云渲染方案中，通过引入服务器端，由AR终端设备将采集到的对象姿态数据传输至服务器端进行渲染，再由服务器将渲染结果传递回AR终端设备进行显示，提升渲染效果。

然而，上述方法在实际应用中，由于渲染及数据传输需要耗费一定的时间，渲染结果在AR终端设备中的显示存在较大的延迟，容易发生卡顿、丢帧等现象。

发明内容

本申请实施例提供了一种基于扩展现实的画面渲染方法、装置及存储介质，能够基于扩展现实进行画面渲染。所述技术方案如下。

一方面，提供了一种基于扩展现实的画面渲染方法，所述方法包括：

获取扩展现实设备在第一时刻采集的姿态数据，所述姿态数据用于表示佩戴所述扩展现实设备的对象姿态；

对所述姿态数据进行姿态预测，得到姿态预测数据，所述姿态预测数据用于指示所述扩展现实设备在第二时刻预计采集的对象姿态，所述第二时刻是预测得到的所述姿态预测数据的采集时刻；

将所述姿态预测数据发送至渲染服务器，所述渲染服务器用于对所述姿态预测数据对应的画面进行渲染；

接收所述渲染服务器发送的渲染数据，所述渲染数据是所述渲染服务器对所述姿态预测数据对应的画面进行渲染得到的数据；

在所述第二时刻显示所述渲染数据对应的画面。

另一方面，提供了一种基于扩展现实的画面渲染装置，所述装置包括：

数据获取模块，用于获取扩展现实设备在第一时刻采集的姿态数据，所述姿态数据用于表示佩戴所述扩展现实设备的对象姿态；

姿态预测模块，用于对所述姿态数据进行姿态预测，得到姿态预测数据，所述姿态预测数据用于指示所述扩展现实设备在第二时刻预计采集的对象姿态，所述第二时刻是预测得到的所述姿态预测数据的采集时刻；

数据发送模块，用于将所述姿态预测数据发送至渲染服务器，所述渲染服务器用于对所述姿态预测数据对应的画面进行渲染；

数据接收模块，用于接收所述渲染服务器发送的渲染数据，所述渲染数据是所述渲染服务器对所述姿态预测数据对应的画面进行渲染得到的数据；

画面显示模块，用于在所述第二时刻显示所述渲染数据对应的画面。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述的基于扩展现实的画面渲染方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的基于扩展现实的画面渲染方法。

另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的基于扩展现实的画面渲染方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过获取扩展现实设备在第一时刻采集的姿态数据，对姿态数据进行姿态预测得到姿态预测数据，姿态预测数据是扩展现实设备在第二时刻预测采集的对象姿态，将姿态预测数据发送至渲染服务器，由渲染服务器对姿态预测数据对应的画面进行渲染，提高渲染效果；接收渲染服务器发送的渲染数据，渲染数据是渲染服务器对姿态预测数据对应的画面进行渲染得到的数据，在第二时刻显示渲染数据对应的画面，即通过扩展现实设备基于第一时刻的对象姿态预测第二时刻的对象姿态，并发送给渲染服务器，使渲染服务器提前渲染扩展现实设备在第二时刻所需显示的画面，并发送给扩展现实设备进行显示，使得扩展现实设备始终能够流畅显示预先渲染好的画面，在提高渲染效果的同时，避免了由于渲染耗时及数据传输耗时造成的显示延迟，有效防止了卡顿、丢帧等问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的实施环境示意图；

图2是本申请一个示例性实施例提供的基于扩展现实的画面渲染方法的流程图；

图3是本申请一个示例性实施例提供的虚拟物体渲染示意图；

图4是本申请一个示例性实施例提供的基于扩展现实的画面渲染方法的流程图；

图5是本申请一个示例性实施例提供的图像帧扩充方法流程图；

图6是本申请一个示例性实施例提供的终端数据流示意图；

图7是本申请一个示例性实施例提供的服务器端数据流示意图；

图8是本申请一个示例性实施例提供的终端与服务器之间的数据流示意图；

图9是本申请一个示例性实施例提供的基于扩展现实的画面渲染装置的结构框图；

图10是本申请一个示例性实施例提供的基于扩展现实的画面渲染装置模块的结构框图；

图11是本申请一个示例性实施例提供的终端的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

应当理解，尽管在本公开可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一参数也可以被称为第二参数，类似地，第二参数也可以被称为第一参数。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

AR技术是将虚拟信息叠加到真实世界，甚至是实现超越现实的技术，在一定程度上是VR技术的延伸，相对来说，AR设备产品具有体积小、重量轻、便携等特点。VR、AR、MR技术同属XR技术，具有广泛的应用前景。目标大多数AR产品采用AR终端设备进行渲染，受限于硬件能力及功耗限制，无法做到大规模或者复杂场景渲染。相关技术中，在AR云渲染方案中，通过引入服务器端，由AR终端设备将采集到的对象姿态数据传输至服务器端进行渲染，再由服务器将渲染结果传递回AR终端设备进行显示，提升渲染效果。然而，上述方法在实际应用中，由于渲染及数据传输需要耗费一定的时间，渲染结果在AR终端设备中的显示存在较大的延迟，容易发生卡顿、丢帧等现象。

本申请实施例中提供的基于扩展现实的画面渲染方法，通过获取扩展现实设备在第一时刻采集的姿态数据，对姿态数据进行姿态预测得到姿态预测数据，姿态预测数据是扩展现实设备在第二时刻预测采集的对象姿态，将姿态预测数据发送至渲染服务器，由渲染服务器对姿态预测数据对应的画面进行渲染，提高渲染效果；接收渲染服务器发送的渲染数据，渲染数据是渲染服务器对姿态预测数据对应的画面进行渲染得到的数据，在第二时刻显示渲染数据对应的画面，即通过扩展现实设备基于第一时刻的对象姿态预测第二时刻的对象姿态，并发送给渲染服务器，使渲染服务器提前渲染扩展现实设备在第二时刻所需显示的画面，并发送给扩展现实设备进行显示，使得扩展现实设备始终能够流畅显示预先渲染好的画面，在提高渲染效果的同时，避免了由于渲染耗时及数据传输耗时造成的显示延迟，有效防止了卡顿、丢帧等问题。

首先，对本申请实施环境进行介绍。请参考图1，其示出了本申请一个示例性实施例提供的实施环境示意图，该实施环境中包括：终端设备110、服务器120和通信网络130。

终端设备110是扩展现实设备，服务器120是渲染服务器，部署有渲染引擎，终端设备110和服务器120之间通过通信网络130进行数据传输。终端设备110获取在第一时刻采集的姿态数据101，姿态数据用于表示佩戴该扩展现实设备的对象姿态，对姿态数据101进行姿态预测，得到姿态预测数据102，姿态预测数据102用于指示扩展现实设备在第二时刻预计采集的对象姿态，第二时刻是预测得到的姿态预测数据102的采集时刻，将姿态预测数据102发送至渲染服务器，接收渲染服务器发送的渲染数据103，渲染数据103是渲染服务器对姿态预测数据102对应的画面进行渲染得到的数据，在第二时刻现实渲染数据103对应的画面。

上述终端是可选的，终端可以是台式计算机、膝上型便携计算机、手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层4)播放、智能电视、智能车载等多种形式的终端设备，本申请实施例对此不加以限定。

值得注意的是，上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云安全、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

其中，云技术(Cloud Technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。

在一些实施例中，上述服务器还可以实现为区块链系统中的节点。

需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到操作数据和帐号信息等都是在充分授权的情况下获取的。

进一步进行说明，本申请在收集用户的相关数据(例如：本申请中涉及到的帐号信息、历史操作数据和实时操作数据等)之前以及在收集用户的相关数据的过程中，都可以显示提示界面、弹窗或输出语音提示信息，该提示界面、弹窗或语音提示信息用于提示用户当前正在搜集其相关数据，使得本申请仅仅在获取到用户对该提示界面或者弹窗发出的确认操作后，才开始执行获取用户相关数据的相关步骤，否则(即未获取到用户对该提示界面或者弹窗发出的确认操作时)，结束获取用户相关数据的相关步骤，即不获取用户的相关数据。换句话说，本申请所采集的所有用户数据都是在用户同意并授权的情况下进行采集的，且相关用户数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

其次，结合上述实施环境，对本申请实施例提供的基于扩展现实的画面渲染方法的应用场景进行说明。

1.应用于XR游戏场景中

可选地，在XR游戏场景中，玩家通过佩戴扩展现实设备，如XR头盔、AR眼镜等，观看游戏画面，扩展现实设备获取扩展现实设备在第一时刻采集的姿态数据，即获取玩家在第一时刻的姿态，对姿态数据进行姿态预测，得到姿态预测数据，姿态预测数据用于指示扩展现实设备在第二时刻预计采集的对象姿态，即预测玩家在第二时刻的预计姿态，如基于玩家在第一时刻的头部姿态，预测玩家在第二时刻的姿态为向后扭头等，将姿态预测数据发送至与扩展现实设备建立有通信连接的渲染服务器，通过渲染服务器对姿态预测数据对应的画面进行渲染，即渲染玩家在第二时刻以预计姿态通过扩展现实设备观看的画面，如渲染有玩家在第二时刻以向后扭头的姿态将看到的游戏道具效果画面，扩展现实设备接收渲染服务器发送的渲染数据，在第二时刻显示渲染数据对应的画面，使得扩展现实设备能够基于预测姿态始终显示渲染服务器提前渲染好的画面，在提高渲染效果的同时让玩家的游戏体验感更流畅。

2.应用于工业建模与设计场景中

可选地，在工业建模与设计中3D家装、建筑设计场景中，设计师通过佩戴扩展现实设备观看家装或建筑设计效果画面，扩展现实设备获取扩展现实设备在第一时刻采集的姿态数据，即获取设计师在第一时刻的姿态，对姿态数据进行姿态预测，得到姿态预测数据，姿态预测数据用于指示扩展现实设备在第二时刻预计采集的对象姿态，即预测设计师在第二时刻的预计姿态，如基于设计师第一时刻的头部姿态，预测设计师在第二时刻为低头姿态等，将姿态预测数据发送至与扩展现实设备建立有通信连接的渲染服务器，通过渲染服务器对姿态预测数据对应的画面进行渲染，即渲染设计师在第二时刻以预计姿态通过扩展现实设备观看的画面，如渲染有设计师在第二时刻低头时将看到的虚拟地毯效果画面，扩展现实设备接收渲染服务器发送的渲染数据，在第二时刻显示渲染数据对应的画面，使得扩展现实设备能够基于预测姿态始终显示渲染服务器提前渲染好的画面，实现了3D家装、建筑设计等工业建模与设计功能，并在提高渲染效果的同时让设计师的设计体验感更流畅。

值得注意的是，上述应用场景仅为示意性的举例，本申请实施例提供的基于扩展现实的画面渲染方法可以应用于任意在XR场景中进行画面渲染的场景。

示意性的，请参考图2，其示出了本申请一个示例性实施例提供的基于扩展现实的画面渲染方法的流程图，该方法可以应用于终端，也可以应用于服务器，也可以同时应用于终端和服务器，本申请实施例以该方法应用于终端为例进行说明，如图2所示，该方法包括如下步骤：

步骤210，获取扩展现实设备在第一时刻采集的姿态数据。

其中，姿态数据用于表示佩戴扩展现实设备的对象姿态，即佩戴者的姿态。

在一些实施例中，姿态数据是6DOF(6自由度)数据，即佩戴者头部在空间内的六个自由度，用于表示佩戴者的头部姿态，如扭头、低头、抬头等，扩展现实设备基于姿态数据显示佩戴者在对应姿态下通过该设备所能看到的画面。

在一些实施例中，扩展现实设备是XR头盔、AR眼镜等能够采集对象的姿态数据，并显示渲染画面的设备，可选地，扩展显示设备通过内置或外连的陀螺仪、传感器等姿态采集设备获取佩戴者的姿态数据。扩展现实设备能够基于姿态数据显示佩戴者在姿态数据对应的姿态下将看到的扩展现实画面。其中，扩展显示设备显示的扩展现实画面可以是基于姿态数据在佩戴者视角范围内的现实场景中渲染有虚拟物体的增强现实画面，也可以是基于姿态数据渲染有在佩戴者视觉范围内的虚拟场景的虚拟现实画面等任何包括现实场景或现实物品与虚拟场景或虚拟物品的扩展现实画面。

示例性的，在AR场景下，扩展现实设备实现为AR眼镜，通过AR眼镜镜片可观看到AR眼镜视角范围内的现实场景以及渲染叠加在该现实场景中的虚拟物体，如虚拟游戏为例，通过AR眼镜可以看到AR眼镜佩戴者在抬头姿态下视角范围的真实天空的画面，以及在该姿态下视角范围内能看到的渲染的虚拟飞机叠加在真实天空中的画面，当佩戴者姿态发生变化时，根据姿态对应的视角范围，通过AR眼镜镜片直接观看到对应视角变化的真实天空的画面，以及基于变化后的姿态通过镜片显示重新渲染的虚拟飞机叠加在真实天空中的画面，当佩戴者姿态对应的视角范围内不需要显示虚拟飞机时，AR眼镜不对虚拟飞机进行渲染显示，仅能够通过镜片观察到与视角范围一致的真是天空的画面。

示例性的，在VR场景下，扩展现实设备实现为XR头盔，通过XR头盔的显示屏可以观看到XR头盔在佩戴者姿态对应的视角范围对应的虚拟场景，以及虚拟场景中的虚拟物体，虚拟场景与虚拟物体与姿态数据联动，如以3D家装场景为例，通过XR头盔可以看到佩戴者在低头姿态下视角范围内的虚拟房间场景及虚拟地毯的画面，当视角范围随佩戴者姿态发生变化时，XR头盔实时显示最新渲染的与视角范围一致的虚拟场景及对应的虚拟物品，如佩戴者由低头转变为抬头后，XR头盔显示重新渲染得到的与抬头后视角一致的虚拟房间及虚拟房间中的虚拟沙发等虚拟物体的画面，即始终基于佩戴者视角显示对应渲染的虚拟画面。

步骤220，对姿态数据进行姿态预测，得到姿态预测数据。

其中，姿态预测数据用于指示扩展现实设备在第二时刻预计采集的对象姿态，即预测扩展现实设备的佩戴者在第二时刻的姿态，第二时刻是预测得到的姿态预测数据的采集时刻，可选地，第二时刻是预先指定的时刻，或者，第二时刻是基于姿态数据和姿态预测数据之间的差异确定的时刻。

示例性的，在虚拟游戏场景中，可以通过游戏设定、剧情指引、玩家操作步骤等方式，基于玩家第一时刻的姿态数据预测玩家第二时刻对应的姿态预测数据，如，游戏设定的指示为玩家需打开身后的虚拟宝箱时，可基于该设定并基于玩家当前的姿态为背对宝箱，预测玩家在1s后的姿态为向后扭头等；在3D家装场景中，可以通过看房指引等，基于客户第一时刻的姿态数据预测客户在第二时刻对应的姿态预测数据，如客户可通过佩戴扩展现实设备在未装修的毛坯房中预览家装效果，当客户位于毛坯房玄关处时，设计师或其他工作人员可指引客户向左下方低头查看鞋柜设计，或者，扩展现实设备中预设有相关看房指引提示客户向左下方低头查看鞋柜设计，基于上述设定并基于客户当前的姿态预测客户在1s后的姿态为向左下方低头等。

在一些实施例中，通过预先训练得到的姿态预测模型实现对姿态数据的预测，将姿态数据输入预先训练得到的姿态预测模型，输出得到姿态预测数据，其中，姿态预测模型是通过标注有姿态预测标签的样本姿态数据预先训练得到的模型，可选地，姿态预测模型的训练过程实现为，将标注有姿态预测标签的样本姿态数据输入候选姿态预测模型，输出得到样本预测结果，基于样本预测结果与姿态预测标签之间的差异，对候选姿态预测模型进行训练，得到符合训练要求的姿态预测模型。

步骤230，将姿态预测数据发送至渲染服务器。

其中，渲染服务器用于对姿态预测数据对应的画面进行渲染。

在一些实施例中，姿态预测数据对应的画面可以是现实场景中渲染有虚拟物体的画面，则渲染服务器仅对姿态预测数据对应的虚拟物体进行渲染，姿态预测数据对应的画面也可以是虚拟场景画面，则渲染服务器对姿态预测数据对应的虚拟场景及场景内的虚拟物体进行渲染。

在一些实施例中，渲染服务器中存储有虚拟物体的3D渲染模型，渲染服务器能够基于姿态预测数据，通过对3D渲染模型进行渲染，得到渲染有位于姿态预测数据对应位置的虚拟物体的画面，即佩戴者在姿态预测数据对应的姿态下，将在佩戴者视角范围内被观看到的虚拟物体。

在一些实施例中，渲染服务器中还存储有虚拟物体与姿态预测数据之间的对应关系，示例性的，在AR场景中，以佩戴者所在现实空间的三维坐标系为采集坐标系，获取佩戴者在采集坐标系中的三维坐标，预设虚拟物体在采集坐标系中的三维坐标，基于佩戴者的三维坐标和虚拟物体的三维坐标之间的位置关系，预设佩戴者不同三维坐标与虚拟物体在扩展现实设备中显示位置及姿态的对应关系，基于佩戴者的三维坐标从对应关系中确定虚拟物体在扩展现实设备中的显示位置及姿态，并进行渲染。如，预设虚拟物体在现实空间中的三维坐标为坐标A，假设当佩戴者在现实空间中的三维坐标为坐标B或坐标C时，佩戴者能够通过扩展现实设备看到该虚拟物体，预设佩戴者在现实空间中的三维坐标为坐标B时，虚拟物体在扩展现实设备中的显示位置为画面坐标系对应的坐标D，显示姿态为姿态E，基于该预设的对应关系，当佩戴者位于现实空间的坐标B时扩展现实设备在画面的坐标D处显示姿态为E的虚拟物体。请参考图3，图3是本申请一个示例性实施例提供的位置对应关系示意图，如图3所示，在现实空间310中预设虚拟画框的第一位置311和虚拟花瓶的第二位置312，现实空间中包括实体墙壁313当佩戴者的视角范围对应指定实体墙壁正面时，基于佩戴者的姿态314在扩展现实设备中显示的画面320中，在第三位置321显示渲染的虚拟画框和对应视角范围内的实体墙壁313。

在一些实施例中，当扩展现实设备中显示的画面为虚拟场景时，渲染服务器中还存储有虚拟场景的渲染数据，即现实空间映射为虚拟空间的数据以及现实物体映射为虚拟空间中虚拟物体的数据，如在VR场景中，渲染服务器能够通过虚拟场景的渲染数据基于姿态预测数据对虚拟场景进行渲染，虚拟场景的渲染数据是预先存储的与姿态预测数据对应的虚拟场景数据，即预先使用扩展现实设备采集扩展设备使用空间内任意位置的姿态数据，渲染服务器基于姿态数据对使用空间内任意姿态数据对应姿态下的虚拟场景进行渲染得到虚拟场景的渲染数据并存储，示例性的，在VR游戏中，玩家通过佩戴XR头盔观看虚拟游戏画面，XR头盔根据玩家姿态变化导致的视角变化更新渲染并显示相应移动的虚拟游戏场景及虚拟游戏物体。

步骤240，接收渲染服务器发送的渲染数据。

其中，渲染数据是渲染服务器对姿态预测数据对应的画面进行渲染得到的数据。

可选地，渲染数据可以是仅包括虚拟物体渲染效果的画面数据，也可以是包括虚拟场景及虚拟场景中虚拟物体渲染效果的画面数据。

渲染服务器是与扩展现实设备建立有通信连接的服务器，渲染服务器与扩展现实设备之间通过该通信连接进行数据传输。

在一些实施例中，通过指定通信协议将姿态预测数据发送至渲染服务器，其中，扩展现实设备与渲染服务器之间建立有与指定通信协议对应的通信连接，指定通信协议符合低延迟要求，示例性的，通过UDP(用户数据报协议，User Datagram Protocol)将姿态预测数据发送至渲染服务器，其中，UDP是一种无连接、延迟小、数据传输效率高的数据传输协议，符合低延迟要求。

步骤250，在第二时刻显示渲染数据对应的画面。

可选地，渲染数据对应的画面可以是现实场景中显示有虚拟物体的画面，也可以是虚拟场景中包括虚拟物体或现实物体的画面。

综上所述，本申请实施例提供的方法，通过获取扩展现实设备在第一时刻采集的姿态数据，对姿态数据进行姿态预测得到姿态预测数据，姿态预测数据是扩展现实设备在第二时刻预测采集的对象姿态，将姿态预测数据发送至渲染服务器，由渲染服务器对姿态预测数据对应的画面进行渲染，提高渲染效果；接收渲染服务器发送的渲染数据，渲染数据是渲染服务器对姿态预测数据对应的画面进行渲染得到的数据，在第二时刻显示渲染数据对应的画面，即通过扩展现实设备基于第一时刻的对象姿态预测第二时刻的对象姿态，并发送给渲染服务器，使渲染服务器提前渲染扩展现实设备在第二时刻所需显示的画面，并发送给扩展现实设备进行显示，使得扩展现实设备始终能够流畅显示预先渲染好的画面，在提高渲染效果的同时，避免了由于渲染耗时及数据传输耗时造成的显示延迟，有效防止了卡顿、丢帧等问题。

本申请实施例提供的方法，通过将姿态数据输入预先训练得到的姿态预测模型，输出得到姿态预测数据，实现对姿态数据的姿态预测，提高了姿态预测的准确性，从而提高了渲染画面显示的准确性。

本申请实施例提供的方法，通过指定通信协议将姿态预测数据发送至渲染服务器，且指定通信协议符合低延迟要求，降低了数据传输延迟，减少了卡顿等现象。

请参考图4，图4是本申请一个示例性实施例提供的基于扩展现实的画面渲染方法的流程图，如图4所示，该方法包括如下步骤：

步骤410，获取扩展现实设备在第一时刻采集的姿态数据。

其中，姿态数据用于表示佩戴扩展现实设备的对象姿态，即佩戴者的姿态。

在一些实施例中，步骤410实现为上述步骤210。

可选地，第一时刻可以是当前时刻，或当前时刻之前的任一时刻。

步骤420，根据时间间隔要求对姿态数据进行姿态预测，得到包含时刻信息的姿态预测数据。

其中，时刻信息用于指示姿态预测数据的预计采集时刻为第二时刻，第二时刻晚于第一时刻，当第一时刻是当前时刻之前的任一时刻，第二时刻可以是当前时刻，也可以是晚于第一时刻的任一时刻。

在一些实施例中，时刻消息可以是包含在姿态预测数据中的数据，也可以是标注在姿态预测数据中的标签数据。

示例性的，根据时间间隔要求为预测姿态数据15-25毫秒(ms)后对应的姿态预测数据，对姿态数据进行姿态预测，得到包含时刻信息的姿态预测数据，如第一时刻为第0ms，根据时间间隔要求对第0ms对应的姿态数据进行姿态预测，得到包含时刻信息为20ms的姿态预测数据，即该姿态预测数据的预计采集时刻为第20ms。

可选地，上述时刻信息的确定方式包括如下两种：

第一种，基于姿态数据和姿态预测数据之间的差异情况确定时刻信息。

在一些实施例中，对姿态数据进行姿态预测，得到姿态预测数据；基于姿态预测数据和姿态数据之间的数据差异情况确定姿态数据和姿态预测数据之间的预计采集时间间隔；以第一时刻为起始时刻，确定与第一时刻之间的间隔预计采集时间间隔的时刻为第二时刻；将第二时刻作为姿态预测数据对应的时刻信息。

其中，与第一时刻之间间隔预计采集时间间隔的时刻晚于第一时刻。

示例性的，对姿态数据进行姿态预测，得到姿态预测数据，如姿态数据对应的姿态为沿指定方向低头45度，姿态预测数据对应的姿态为沿指定方向低头60度，基于姿态数据和姿态预测数据之间的差异情况，即沿指定方向低头45度和沿低头60度之间的差异情况为在同一方向低头增加30度，确定预计采集时间间隔为15ms，以第一时刻为起始时刻，确定与第一时刻之间间隔15ms的时刻为第二时刻，如，第一时刻为第5ms，确定与第5ms之间间隔15ms的第20ms为第二时刻，将第二时刻作为姿态预测数据对应的时刻信息。

第二种，基于预设时间间隔确定时刻信息。

在一些实施例中，对姿态数据进行姿态预测，得到姿态预测数据；以第一时刻为起始时刻，确定与第一时刻之间的间隔预设时间间隔的时刻为第二时刻；将第二时刻作为姿态预测数据对应的时刻信息。

在一些实施例中，预设时间间隔可以是根据预测经验主观预设的，也可以是基于姿态预测模型预测的平均预测时间间隔等预设的，如姿态预测模型预测得到的姿态预测数据对应的姿态，通常是姿态数据对应的姿态从第一时刻起向后推移平均预测时间间隔后对应的姿态。

示例性的，预设时间间隔为18ms，对姿态数据进行姿态预测，得到姿态预测数据，以作为第一时刻的第0ms为起始时刻，确定与第一时刻之间的间隔18ms的第18ms为第二时刻，将第18ms作为姿态预测数据对应的时刻信息。

步骤430，将姿态预测数据发送至渲染服务器。

其中，渲染服务器用于对姿态预测数据对应的画面进行渲染，该画面与时刻信息对应，即该画面将在时刻信息所指示的第二时刻进行显示。

在一些实施例中，步骤430实现为上述步骤230。

步骤440，接收渲染服务器发送的渲染数据。

在一些实施例中，渲染数据包括对姿态预测数据对应的画面的渲染结果与姿态预测数据之间的对应关系。

可选地，上述对应关系可以实现为包括渲染结果和对应的姿态预测数据的数据对，或者，渲染数据是标注有姿态预测数据对应的时刻信息的渲染结果。

在一些实施例中，步骤440实现为上述步骤240。

步骤450，基于渲染数据对应的姿态预测数据，在姿态预测数据对应的第二时刻显示渲染数据对应的画面。

在一些实施例中，基于上述对应关系，确定渲染数据对应的姿态预测数据，并基于姿态预测数据确定第二时刻，在第二时刻显示渲染数据对应的画面。

示例性的，接收渲染数据和对应姿态预测数据的数据对，基于姿态预测数据与对应姿态数据之间的差异情况确定第二时刻，在第二时刻显示渲染数据对应的画面；或者，基于姿态预测数据包含的时刻信息指示的第二时刻，在第二时刻显示渲染数据对应的画面。

综上所述，本申请实施例提供的方法，通过根据时间间隔要求对姿态数据进行姿态预测，得到包含时刻信息的姿态预测数据，基于渲染数据对应的姿态预测数据，在姿态预测数据对应的第二时刻显示渲染数据对应的画面，确保在第二时刻显示的渲染画面与第二时刻对应的姿态预测数据对应，提高了画面显示的准确性。

本申请实施例提供的方法，基于姿态预测数据和姿态数据之间的差异情况确定时刻信息，或者基于预设时间间隔确定时刻信息，提高了确定第二时刻的准确性，减少了姿态预测数据对应的姿态与第二时刻的实际姿态之间的差异，提高了画面显示的准确性。

在一些实施例中，上述执行基于扩展现实的画面渲染方法的终端，接收渲染服务器发送的渲染结果序列，其中，渲染结果序列中包括多个渲染数据，多个渲染数据是渲染服务器对多个姿态预测数据对应的画面进行渲染得到的数据，多个姿态预测数据是对顺序采集的多个姿态数据分别进行姿态预测得到的数据。在接收渲染服务器发送的渲染结果序列的情况下，在多个渲染数据分别对应的显示时刻显示对应的画面。

请参考图5，图5是本申请一个示例性实施例提供的图像帧扩充方法流程图，如图5所示，该方法，即上述在多个渲染数据分别对应的显示时刻显示对应的画面，包括如下步骤：

步骤510，当渲染结果序列符合补帧条件时，对渲染结果序列进行图像帧扩充，得到扩充结果序列。

其中，补帧条件用于指示渲染结果序列中的帧数未达到扩展现实设备的帧率要求。

示例性的，扩展现实设备的帧率要求为1秒90帧，渲染结果序列中的帧数为60帧，其中，渲染结果序列中包括的多个渲染数据对应的显示时刻所在的时间周期为1秒，则渲染结果序列符合补帧条件，对渲染结果序列进行图像帧扩充，得到扩充结果序列，即将1秒60帧的渲染结果序列扩充为1秒90帧的扩充结果序列。

在一些实施例中，步骤510包括如下步骤：

第一步，获取渲染结果序列中图像帧的帧数。

在一些实施例中，基于渲染结果序列中的多个渲染数据分别对应的显示时刻，确定在指定时间周期内的图像帧的帧数。

第二步，获取扩展现实设备对应的帧率要求。

在一些实施例中，帧率要求是扩展现实设备的FPS(Frames Per Second，每秒传输帧数)参数。

第三步，在帧数未达到所述帧率要求的情况下，通过在至少一组相邻图像帧之间添加中间图像帧的方式对渲染结果序列进行图像帧扩充，得到扩充结果序列。

可选地，图像帧扩充可以通过在至少一组相邻图像帧之间连续添加多个中间图像帧的方式对渲染结果序列进行图像帧扩充，或者通过按照平均图像帧间隔在至少一组相邻图像帧之间添加一个中间图像帧的方式对渲染结果序列进行图像帧扩充。示例性的，渲染结果序列包括第1ms至第60ms之间的60个图像帧，在第1个和第2个图像帧之间、第29个和第30个图像帧之间、第59个和第60个图像帧之间分别连续添加10个中间图像帧，对渲染结果序列进行图像扩充，得到包括第1ms至60ms之间的90个图像帧的扩充结果序列；或者，平均每隔2个图像帧插入一个中间帧，即在第2、4、6、8、10……60个图像帧之后分别插入一个中间图像帧，得到包括第1ms至60ms之间的90个图像帧的扩充结果序列。

在一些实施例中，中间图像帧通过ATW(Asynchronous Timewarp，异步时间扭曲)技术实现，即基于两个相邻图像帧之间的差异情况，对图像帧进行扭曲，生成处于一个图像帧向后一个图像帧变化过程中的一个或多个中间图像帧。

步骤520，在多个渲染数据对应的时间轴范围内，以扩充结果序列显示多个渲染数据分别对应的画面。

示例性的，多个渲染数据对应的时间轴范围为第1ms至60ms，则在第1ms至60ms以扩充结果序列显示多个渲染数据分别对应的画面。

综上所述，本申请实施例提供的方法，接收渲染服务器发送的渲染结果序列，在多个渲染数据分别对应的显示时刻显示对应的画面，使得多个渲染数据对应的画面能够依次显示，防止显示顺序错乱。

本申请实施例提供的方法，当渲染结果序列符合补帧条件时，对渲染结果序列进行图像帧扩充，得到扩充结果序列，在多个渲染数据对应的时间轴范围内，以扩充结果序列显示多个渲染数据分别对应的画面，防止渲染结果序列的帧数与扩展现实设备的帧率要求不符时，无法按照帧率要求进行显示，造成显示延迟或卡顿等现象。

本申请实施例提供的方法，同过获取渲染结果序列中图像帧的帧数，以及扩展现实设备对应的帧率要求，在帧数未达到帧率要求的情况下，通过在至少一组相邻图像帧之间添加中间图像帧的方式对渲染结果序列进行图像帧扩充，得到扩充结果序列，实现了图像帧的扩充。

下面，对上述基于扩展现实的画面渲染方法中的数据流进行说明。

上述基于扩展现实的画面渲染方法由作为终端的扩展现实设备执行，示意性的，请参考图6，图6是本申请一个示例性实施例提供的终端数据流示意图，如图6所示，终端600通过预设的算法模块基于第一时刻采集到的姿态信息输出姿态信息对应的姿态数据610，通过预设的预测模块基于姿态数据610预测第二时刻对应的姿态预测数据620，通过预设的网络模块对姿态预测数据620进行发送；通过预设的网络模块接收渲染服务器渲染好的视频帧数据630，通过ATW(异步时间扭曲，Asynchronous Timewarp)模块对视频帧数据630进行补帧操作得到扩充结果序列640，显示扩充结果序列640。

请参考图7，图7是本申请一个示例性实施例提供的服务器端数据流示意图，如图7所示，渲染服务器700通过预设的网络模块接收姿态预测数据710，通过渲染引擎对姿态预测数据进行渲染得到姿态预测数据对应的渲染数据720，通过预设的网络模块将渲染数据720发送至扩展现实设备。

请参考图8，图8是本申请一个示例性实施例提供的终端与服务器之间的数据流示意图，如图8所示，终端810通过AR硬件设备采集对象姿态信息811，通过算法模块生成对象姿态信息811对应的姿态数据812，通过ATW模块预测姿态数据812对应的姿态预测数据813，通过指定传输协议将姿态预测数据813发送至渲染服务器820，渲染服务器820对姿态预测数据813对应的画面814进行渲染，通过指定编码模块对画面814进行编码得到渲染数据815，将渲染数据815和姿态预测数据813通过指定传输协议发送回终端810，终端810接收渲染数据815和姿态预测数据813，并对渲染数据815进行解码得到对应的图像帧数据816，按照帧率要求通过ATW模块基于图像帧数据816进行补帧得到包括中间图像帧的扩充结果序列817，并显示扩充结果序列817。

图9是本申请一个示例性实施例提供的基于扩展现实的画面渲染装置的结构框图，如图9所示，该装置包括如下部分：

数据获取模块910，用于获取扩展现实设备在第一时刻采集的姿态数据，所述姿态数据用于表示佩戴所述扩展现实设备的对象姿态；

姿态预测模块920，用于对所述姿态数据进行姿态预测，得到姿态预测数据，所述姿态预测数据用于指示所述扩展现实设备在第二时刻预计采集的对象姿态，所述第二时刻是预测得到的所述姿态预测数据的采集时刻；

数据发送模块930，用于将所述姿态预测数据发送至渲染服务器，所述渲染服务器用于对所述姿态预测数据对应的画面进行渲染；

数据接收模块940，用于接收所述渲染服务器发送的渲染数据，所述渲染数据是所述渲染服务器对所述姿态预测数据对应的画面进行渲染得到的数据；

画面显示模块950，用于在所述第二时刻显示所述渲染数据对应的画面。

请参考图10，图10是本申请一个示例性实施例提供的基于扩展现实的画面渲染装置模块的结构框图，如图10所示，在一些实施例中，所述姿态预测模块920，包括姿态预测单元921，用于根据时间间隔要求对所述姿态数据进行姿态预测，得到包含时刻信息的所述姿态预测数据，所述时刻信息用于指示所述姿态预测数据的预计采集时刻为所述第二时刻；

在一些实施例中，所述画面显示模块950，用于基于所述渲染数据对应的所述姿态预测数据，在所述姿态预测数据对应的所述第二时刻显示所述渲染数据对应的画面。

在一些实施例中，所述姿态预测单元921，用于对所述姿态数据进行姿态预测，得到所述姿态预测数据；基于所述姿态预测数据和所述姿态数据之间的数据差异情况确定所述姿态数据和所述姿态预测数据之间的预计采集时间间隔；以所述第一时刻为起始时刻，确定与所述第一时刻之间的间隔所述预计采集时间间隔的时刻为所述第二时刻；将所述第二时刻作为所述姿态预测数据对应的时刻信息；或者，对所述姿态数据进行姿态预测，得到所述姿态预测数据；以所述第一时刻为起始时刻，确定与所述第一时刻之间的间隔预设时间间隔的时刻为所述第二时刻；将所述第二时刻作为所述姿态预测数据对应的时刻信息。

在一些实施例中，所述数据接收模块940，用于接收所述渲染服务器发送的渲染结果序列，所述渲染结果序列中包括多个渲染数据，所述多个渲染数据是所述渲染服务器对多个姿态预测数据对应的画面进行渲染得到的数据，所述多个姿态预测数据是对顺序采集的多个姿态数据分别进行姿态预测得到的数据。

在一些实施例中，所述装置还包括：多个画面显示模块960，用于在所述多个渲染数据分别对应的显示时刻显示对应的画面。

在一些实施例中，所述多个画面显示模块960包括：

图像帧扩充单元961，用于当所述渲染结果序列符合补帧条件时，对所述渲染结果序列进行图像帧扩充，得到扩充结果序列，所述补帧条件用于指示所述渲染结果序列中的帧数未达到所述扩展现实设备的帧率要求；

多个画面显示单元962，用于在所述多个渲染数据对应的时间轴范围内，以所述扩充结果序列显示所述多个渲染数据分别对应的画面。

在一些实施例中，所述图像帧扩充单元961，用于获取所述渲染结果序列中图像帧的帧数；获取所述扩展现实设备对应的帧率要求；在所述帧数未达到所述帧率要求的情况下，通过在至少一组相邻图像帧之间添加中间图像帧的方式对所述渲染结果序列进行图像帧扩充，得到所述扩充结果序列。

在一些实施例中，所述姿态预测模块920，用于将所述姿态数据输入预先训练得到的姿态预测模型，输出得到所述姿态预测数据；其中，所述姿态预测模型是通过标注有姿态预测标签的样本姿态数据预先训练得到的模型。

在一些实施例中，所述数据发送模块930，用于通过指定通信协议将所述姿态预测数据发送至所述渲染服务器，所述扩展现实设备与所述渲染服务器之间建立有与所述指定通信协议对应的通信连接，所述指定通信协议符合低延迟要求。

综上所述，本申请实施例提供的装置，通过获取扩展现实设备在第一时刻采集的姿态数据，对姿态数据进行姿态预测得到姿态预测数据，姿态预测数据是扩展现实设备在第二时刻预测采集的对象姿态，将姿态预测数据发送至渲染服务器，由渲染服务器对姿态预测数据对应的画面进行渲染，提高渲染效果；接收渲染服务器发送的渲染数据，渲染数据是渲染服务器对姿态预测数据对应的画面进行渲染得到的数据，在第二时刻显示渲染数据对应的画面，即通过扩展现实设备基于第一时刻的对象姿态预测第二时刻的对象姿态，并发送给渲染服务器，使渲染服务器提前渲染扩展现实设备在第二时刻所需显示的画面，并发送给扩展现实设备进行显示，使得扩展现实设备始终能够流畅显示预先渲染好的画面，在提高渲染效果的同时，避免了由于渲染耗时及数据传输耗时造成的显示延迟，有效防止了卡顿、丢帧等问题。

需要说明的是：上述实施例提供的基于扩展现实的画面渲染装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

图11示出了本申请一个示例性实施例提供的终端1100的结构框图。该终端1100可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1100包括有：处理器1101和存储器1102。

处理器1101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1101可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1101所执行以实现本申请中方法实施例提供的基于扩展现实的画面渲染方法。

在一些实施例中，终端1100还包括其他组件，本领域技术人员可以理解，图11中示出的结构并不构成对终端1100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本申请的实施例还提供了一种计算机设备，该计算机设备可以实现为如图1所示的终端或者服务器。该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的基于扩展现实的画面渲染方法。

本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的基于扩展现实的画面渲染方法。

本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的基于扩展现实的画面渲染方法。

可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM，Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于扩展现实的画面渲染方法，其特征在于，所述方法包括：

获取扩展现实设备在第一时刻采集的姿态数据，所述姿态数据用于表示佩戴所述扩展现实设备的对象姿态；

对所述姿态数据进行姿态预测，得到姿态预测数据，所述姿态预测数据用于指示所述扩展现实设备在第二时刻预计采集的对象姿态，所述第二时刻是预测得到的所述姿态预测数据的采集时刻；

将所述姿态预测数据发送至渲染服务器，所述渲染服务器用于对所述姿态预测数据对应的画面进行渲染；

接收所述渲染服务器发送的渲染数据，所述渲染数据是所述渲染服务器对所述姿态预测数据对应的画面进行渲染得到的数据；

在所述第二时刻显示所述渲染数据对应的画面。

2.根据权利要求1所述的方法，其特征在于，所述对所述姿态数据进行姿态预测，得到姿态预测数据，包括：

根据时间间隔要求对所述姿态数据进行姿态预测，得到包含时刻信息的所述姿态预测数据，所述时刻信息用于指示所述姿态预测数据的预计采集时刻为所述第二时刻；

所述在所述第二时刻显示所述渲染数据对应的画面，包括：

基于所述渲染数据对应的所述姿态预测数据，在所述姿态预测数据对应的所述第二时刻显示所述渲染数据对应的画面。

3.根据权利要求2所述的方法，其特征在于，所述根据时间间隔要求对所述姿态数据进行姿态预测，得到包含时刻信息的所述姿态预测数据，包括：

对所述姿态数据进行姿态预测，得到所述姿态预测数据；基于所述姿态预测数据和所述姿态数据之间的数据差异情况确定所述姿态数据和所述姿态预测数据之间的预计采集时间间隔；以所述第一时刻为起始时刻，确定与所述第一时刻之间的间隔所述预计采集时间间隔的时刻为所述第二时刻；将所述第二时刻作为所述姿态预测数据对应的时刻信息；或者，

对所述姿态数据进行姿态预测，得到所述姿态预测数据；以所述第一时刻为起始时刻，确定与所述第一时刻之间的间隔预设时间间隔的时刻为所述第二时刻；将所述第二时刻作为所述姿态预测数据对应的时刻信息。

4.根据权利要求1至3任一所述的方法，其特征在于，所述接收所述渲染服务器发送的渲染数据，包括：

接收所述渲染服务器发送的渲染结果序列，所述渲染结果序列中包括多个渲染数据，所述多个渲染数据是所述渲染服务器对多个姿态预测数据对应的画面进行渲染得到的数据，所述多个姿态预测数据是对顺序采集的多个姿态数据分别进行姿态预测得到的数据；

所述方法还包括：

在所述多个渲染数据分别对应的显示时刻显示对应的画面。

5.根据权利要求4所述的方法，其特征在于，所述在所述多个渲染数据分别对应的显示时刻显示对应的画面，包括：

当所述渲染结果序列符合补帧条件时，对所述渲染结果序列进行图像帧扩充，得到扩充结果序列，所述补帧条件用于指示所述渲染结果序列中的帧数未达到所述扩展现实设备的帧率要求；

在所述多个渲染数据对应的时间轴范围内，以所述扩充结果序列显示所述多个渲染数据分别对应的画面。

6.根据权利要求5所述的方法，其特征在于，所述当所述渲染结果序列符合补帧条件时，对所述渲染结果序列进行图像帧扩充，得到扩充结果序列，包括：

获取所述渲染结果序列中图像帧的帧数；

获取所述扩展现实设备对应的帧率要求；

在所述帧数未达到所述帧率要求的情况下，通过在至少一组相邻图像帧之间添加中间图像帧的方式对所述渲染结果序列进行图像帧扩充，得到所述扩充结果序列。

7.根据权利要求1至3任一所述的方法，其特征在于，所述对所述姿态数据进行姿态预测，得到姿态预测数据，包括：

将所述姿态数据输入预先训练得到的姿态预测模型，输出得到所述姿态预测数据；

其中，所述姿态预测模型是通过标注有姿态预测标签的样本姿态数据预先训练得到的模型。

8.根据权利要求1至3任一所述的方法，其特征在于，所述将所述姿态预测数据发送至渲染服务器，包括：

通过指定通信协议将所述姿态预测数据发送至所述渲染服务器，所述扩展现实设备与所述渲染服务器之间建立有与所述指定通信协议对应的通信连接，所述指定通信协议符合低延迟要求。

9.一种基于扩展现实的画面渲染装置，其特征在于，所述装置包括：

数据获取模块，用于获取扩展现实设备在第一时刻采集的姿态数据，所述姿态数据用于表示佩戴所述扩展现实设备的对象姿态；

姿态预测模块，用于对所述姿态数据进行姿态预测，得到姿态预测数据，所述姿态预测数据用于指示所述扩展现实设备在第二时刻预计采集的对象姿态，所述第二时刻是预测得到的所述姿态预测数据的采集时刻；

数据发送模块，用于将所述姿态预测数据发送至渲染服务器，所述渲染服务器用于对所述姿态预测数据对应的画面进行渲染；

数据接收模块，用于接收所述渲染服务器发送的渲染数据，所述渲染数据是所述渲染服务器对所述姿态预测数据对应的画面进行渲染得到的数据；

画面显示模块，用于在所述第二时刻显示所述渲染数据对应的画面。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至8任一所述的基于扩展现实的画面渲染方法。

Images