CN113936119A - 一种数据渲染方法、系统及装置 - Google Patents

Abstract

一种数据渲染方法、系统及装置，用于解决由于时延而导致终端显示设备的显示画面出现黑边的问题。其中方法包括：服务器获取用户在未来时刻的动作预测信息，确定出该动作预测信息所对应的预测显示资源并进行基础渲染，在未来时刻到来之前，将基础渲染后的预测显示资源发送给终端显示设备。如此，终端显示设备能够在未来时刻之前或未来时刻时使用预测显示资源刷新显示画面。只要预测准确，用户就能够在未来时刻之前提前看到未来时刻的显示画面或在未来时刻时实时看到未来时刻的显示画面，以避免或缓解由于时延问题而导致的终端显示设备的显示画面上出现黑边的现象，提高终端显示设备中显示画面的质量和用户的转头体验。

Description

一种数据渲染方法、系统及装置

本申请要求在2020年6月28日提交中华人民共和国知识产权局、申请号为202010600378.0、发明名称为“一种提供辅助信息的方法及UE”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及通信技术领域，尤其涉及一种数据渲染方法、系统及装置。

背景技术

虚拟现实技术是利用仿真技术与计算机图形学人机接口技术、多媒体技术、传感技术、网络技术等多种技术集合，并借助计算机及最新传感器技术而创造的一种崭新的人机交互技术。随着虚拟现实技术的发展，各种虚拟现实产品也在人们的生产生活中得到普及。虚拟现实产品，例如可以包括虚拟现实头显(即头戴式显示器设备)、虚拟现实眼镜、增强现实眼镜等。通过在现实生活中应用虚拟现实产品，使得人们足不出户也可以真实地体验到世界上的各种风情地貌。

当用户在使用虚拟现实产品时，经常会有左右转头来观看显示画面的需求。为及时向用户提供转头所对应的显示画面，虚拟现实产品可以检测用户的头部动作，并从服务器中获取对应的显示资源以显示给用户。然而，虚拟现实产品从检测到头部动作到获取显示资源并刷新显示画面之间存在一定的时延，这种情况下，虚拟现实产品在当前时刻刷新的显示画面实际上是历史时刻的动作所对应的画面。这期间，如果用户产生了新的转头角度，则由于虚拟现实产品并没有获取到该新的转头动作所对应的显示资源，因此虚拟现实产品的显示画面上该转头动作所对应的显示区域处为黑色区域或类似“拖影”的区域，这些区域称为“黑边”。当黑边越严重，则虚拟现实产品中显示画面的质量越差，用户的转头体验也相对越差。

然而，现阶段还不存在解决由于时延而导致虚拟现实产品的显示画面出现黑边的问题的方案。

发明内容

本申请提供一种数据渲染方法、系统及装置，用以提高在用户转头时虚拟现实产品的显示画面的显示质量。

第一方面，本申请提供一种数据渲染方法，该方法应用于服务器，该方法包括：服务器先接收终端显示设备发送的第一信息，该第一信息中包括用户在未来时刻的第一动作预测信息，第一动作预测信息用于指示用户在未来时刻的动作；然后，服务器再从初始显示资源中确定出第一动作预测信息对应的预测显示资源，并对预测显示资源进行基础渲染；如此，在未来时刻到来之前，服务器向终端显示设备发送第二信息，并在第二信息中携带基础渲染后的预测显示资源。

上述设计由服务器提前将预测得到的未来时刻的显示资源提供给终端显示设备(例如虚拟现实产品)，以便于终端显示设备在未来时刻之前或未来时刻时使用预测显示资源刷新显示画面。这种情况下，只要预测准确，用户就能够在未来时刻之前提前看到未来时刻的显示画面或在未来时刻时实时看到未来时刻的显示画面，如此，即使用户提前转头到未来时刻，用户看到的显示画面上也能不存在黑边或存在很少的黑边，因此，该种方式能够避免或缓解由于时延问题而导致的终端显示设备的显示画面上出现黑边的现象，有助于提高终端显示设备中显示画面的质量和用户的转头体验。更进一步的，由于该种方式提前预测得到用户在未来时刻的动作，因此服务器可以只对未来时刻的动作所对应的方向的预测显示资源进行渲染和传输，而可以不用对全部方向的显示资源进行渲染和传输，因而该种方式还能够节省服务器中的资源消耗。

在一种可能的设计中，初始显示资源可以被划分为多个数据流。这种情况下，服务器从初始显示资源中确定出第一动作预测信息对应的预测显示资源，包括：若服务器的可用资源不小于第一资源阈值，则说明云端服务器的可用资源充足，这种情况下，服务器可以将第一动作预测信息对应的全部数据流作为预测显示资源，以在云端服务器的处理能力足够的情况下避免黑边现象，尽量提高用户的观看体验。若服务器的可用资源小于第一资源阈值，则说明云端服务器的可用资源不足，这种情况下，服务器可以将第一动作预测信息对应的部分数据流作为预测显示资源，以在缓解黑边现象的同时尽量节省云端服务器的资源。该设计可以同时兼顾到服务器的资源消耗和用户的观看体验。

在一种可能的设计中，第一信息中还可以包括用户在第一时刻的动作捕捉信息，第一时刻是指预测得到第一动作预测信息的时刻，动作捕捉信息用于指示用户在第一时刻的动作。这种情况下，服务器对预测显示资源进行基础渲染之前，还可以从初始显示资源中确定出动作捕捉信息对应的当前显示资源，然后对预测显示资源进行基础渲染。对应的，服务器在未来时刻到来之前，向终端显示设备发送第二信息，包括：服务器根据当前显示资源和预测显示资源，确定目标显示资源，并对目标显示资源进行基础渲染，在未来时刻到来之前，向终端显示设备发送第二信息，第二信息中包括基础渲染后的目标显示资源。通过该设计，终端显示设备不仅能够将预测的未来动作对应的显示资源显示给用户，还能够将捕捉的当前动作对应的显示资源显示给用户，从而有助于使用户所看到的显示画面更全面。

在一种可能的设计中，初始显示资源可以被划分为多个数据流。这种情况下，服务器可以通过如下方式确定目标显示资源：

方式一，服务器可以将当前显示资源对应的全部数据流、以及预测显示资源对应的全部或部分数据流作为目标显示资源。该种方式通过增加数据流数量的方式来确定目标显示资源，可以直接利用原划分方式执行后续操作，而无需重新划分数据流，操作起来更为简单便捷。

方式二，服务器可以重新划分初始显示资源，使重新划分后的当前显示资源对应的数据流包括预测显示资源对应的全部或部分数据流，再将重新划分后的当前显示资源作为目标显示资源。该种方式通过增加数据流大小的方式来确定目标显示资源，虽然需要重新划分数据流，但是重新划分后的初始显示资源能够更加符合当前需求。

在一种可能的设计中，服务器将当前显示资源对应的全部数据流、以及预测显示资源对应的全部或部分数据流作为目标显示资源，包括：若服务器的可用资源不小于第二资源阈值，则说明服务器的可用资源充足，这种情况下，服务器可以将当前显示资源的全部数据流、以及预测显示资源的全部或部分数据流作为目标显示资源，以提高用户的观看体验。若服务器的可用资源小于第二资源阈值，则说明服务器中的可用资源不足，这种情况下，服务器可以先降低预测显示资源的分辨率，再将当前显示资源的全部数据流、以及降低分辨率后的预测显示资源的全部或部分数据流作为目标显示资源，以缓解云端服务器的资源消耗严重的问题。

在一种可能的设计中，服务器接收终端显示设备发送的第一信息，包括：服务器接收终端显示设备发送的至少两个时刻分别对应的第一信息，其中，至少两个时刻早于未来时刻，至少两个时刻中的每个时刻对应的第一信息包括在时刻预测得到的用户在未来时刻的第一动作预测信息。对应的，服务器从初始显示资源中确定出第一动作预测信息对应的预测显示资源，包括：服务器根据至少两个时刻分别对应的第一动作预测信息和每个第一动作预测信息的权重，得到用户在未来时刻的目标动作预测信息，再根据未来时刻的目标动作预测信息，从初始显示资源中确定出预测显示资源。该设计通过多次上报动作预测信息来提高动作预测的准确性，当动作预测越准确则预测显示资源越准确，越有助于缓解黑边现象。

在一种可能的设计中，服务器根据至少两个时刻分别对应的第一动作预测信息，得到用户在未来时刻的目标动作预测信息，包括：服务器对至少两个时刻分别对应的第一动作预测信息进行加权求平均，得到用户在未来时刻的目标动作预测信息。其中，针对于至少两个时刻中的每个时刻，当时刻距离未来时刻的时间差越大，则时刻对应的第一动作预测信息的权重越大。如此，通过对接近未来时刻的相对准确的动作预测信息设置较大的权重，对远离未来时刻的相对不准确的动作预测信息设置较小的权重，有助于使计算得到的目标动作预测信息更为准确。

在一种可能的设计中，服务器对预测显示资源进行基础渲染，包括：若至少两个时刻分别对应的第一动作预测信息的差异程度不大于预设的差异程度，则说明动作预测的准确度较好，这种情况下，服务器可以对预测显示资源进行基础渲染，以在预测准确的情况下尽量提高用户的观看体验。若至少两个时刻分别对应的第一动作预测信息的差异程度大于预设的差异程度，则说明动作预测的准确度不高，这种情况下，服务器可以降低预测显示资源的分辨率，并对降低分辨率后的预测显示资源进行基础渲染，以在预测不准确的情况下尽量节省云端服务器的资源消耗。

在一种可能的设计中，服务器从初始显示资源中确定出第一动作预测信息对应的预测显示资源，包括：服务器先使用预测模型确定用户在未来时刻的第二动作预测信息，再对第一动作预测信息和第二动作预测信息进行加权平均，根据加权平均后的动作预测信息，从初始显示资源中确定出预测显示资源。其中，预测模型为使用一个或多个终端显示设备上报的学习数据训练得到的，每个终端显示设备上报的学习数据用于指示穿戴终端显示设备的用户在未来时刻的真实动作，当训练得到预测模型的学习数据越多，则第二动作预测信息的权重越大。通过该设计，服务器还可以利用预测模型优化终端显示设备的预测显示资源，相比于只根据终端显示设备上报的动作预测信息确定预测显示资源的方式来说，该设计确定预测显示资源的因素更为全面，有助于降低预测显示资源的主观性，缓解由于终端显示设备上报不准确的动作预测信息而导致无法解决显示画面的黑边现象的问题。

在一种可能的设计中，服务器根据第一动作预测信息和第二动作预测信息，从初始显示资源中确定出预测显示资源之前，还可以将第一动作预测信息用于学习和预测。该设计综合使用预测模型和终端显示设备自行上报的动作预测信息来预测用户的动作，从而预测显示资源的准确度能够同时依赖于预测模型的准确度和动作预测信息的准确度，而不仅仅依赖于预测模型或动作预测信息，因此这种方式能够降低预测显示资源预测不准确的概率，有助于缓解黑边问题。

在一种可能的设计中，当第一动作预测信息仅用于学习，则服务器可以从初始显示资源中确定出第二动作预测信息对应的预测显示资源。该设计还支持用户自主选择预测显示资源的决定因素，例如只由动作预测信息确定，或者只由预测模型确定，或者由预测模型和动作预测信息综合确定，这种方式的可选性较好，更能满足用户的不同需求。

第二方面，本申请提供一种数据渲染方法，该方法应用于终端显示设备，该方法包括：终端显示设备预测得到用户在未来时刻的第一动作预测信息，并向服务器发送第一信息，第一信息中包括第一动作预测信息，第一动作预测信息用于指示用户在未来时刻的动作；然后，在未来时刻到来之前，终端显示设备可以接收服务器发送的第二信息，第二信息中包括基础渲染后的动作预测信息对应的预测显示资源；如此，终端显示设备在未来时刻到来之前或在未来时刻时，可以使用第二信息中携带的预测显示资源刷新显示画面。

在上述设计中，通过服务器提前将预测得到的未来时刻的显示资源提供给终端显示设备，使得终端显示设备能够在未来时刻之前或未来时刻时使用预测显示资源刷新显示画面，如此，即使用户提前转头到未来时刻，用户看到的显示画面上也能不存在黑边或存在很少的黑边，从而有助于提高终端显示设备中显示画面的质量和用户的转头体验。

在一种可能的设计中，终端显示设备向服务器发送第一信息之前，还可以检测用户在第一时刻的动作捕捉信息，并将该动作捕捉信息携带在第一信息中，以便于服务器在第二信息中携带该动作捕捉信息对应的当前显示资源并发送给终端显示设备。这种情况下，终端显示设备可以通过如下方式刷新显示画面：

方式一，终端显示设备在未来时刻到来之前，可以根据当前显示资源和预测显示资源生成超视角的显示画面，并显示超视角的显示画面。其中，超视角的显示画面的视角范围大于预设的视角范围。该设计由终端显示设备提前向用户提供一个超视角的显示画面(增大了用户的当前视角)，如此，只要用户的转头角度在这个增大的当前视角之内，用户就不会看到黑边，用户的观看体验较好。

方式二，终端显示设备在未来时刻到来时，根据当前显示资源和预测显示资源刷新预设的视角范围内的显示画面。该设计刷新显示画面的时刻刚好是未来时刻，即能够在未来时刻将预测到的用户未来时刻的动作对应的显示资源实时显示给用户，这种方式不仅能使用户看到的显示画面随着用户的转头动作实时更新，提高用户的转头体验，还能在预测的用户动作准确的情况下，保证用户看到的显示画面上不出现黑边。

在一种可能的设计中，终端显示设备预测得到用户在未来时刻的第一动作预测信息，向服务器发送第一信息，包括：终端显示设备在至少两个时刻分别预测得到用户在未来时刻的动作预测信息，并分别向服务器发送至少两个时刻的每个时刻对应的第一信息。其中，至少两个时刻早于未来时刻，每个时刻对应的第一信息包括在时刻预测得到的用户在未来时刻的第一动作预测信息。该设计通过多次上报动作预测信息来提高动作预测的准确性，当动作预测越准确则预测显示资源越准确，越有助于缓解黑边现象。

第三方面，本申请提供一种数据渲染系统，该数据渲染系统可以包括终端显示设备和服务器。在执行数据渲染方法时，终端显示设备可以预测得到用户在未来时刻的第一动作预测信息，并向服务器发送第一信息，第一信息中包括第一动作预测信息，第一动作预测信息用于指示用户在未来时刻的动作。对应的，服务器在接收第一信息后，可以从初始显示资源中确定出第一信息中的第一动作预测信息对应的预测显示资源，并对预测显示资源进行基础渲染，在未来时刻到来之前，向终端显示设备发送第二信息，第二信息中包括基础渲染后的预测显示资源。如此，终端显示设备在接收到第二信息后，可以在未来时刻到来之前或在未来时刻时，使用预测显示资源刷新显示画面。

在一种可能的设计中，终端显示设备在向服务器发送第一信息之前，还可以检测用户在第一时刻的动作捕捉信息，并将动作捕捉信息携带在第一信息中，其中，第一时刻为预测得到第一动作预测信息的时刻。对应的，服务器在接收到第一信息之后、发送第二信息之前，还可以从初始显示资源中确定出动作捕捉信息对应的当前显示资源，根据当前显示资源和预测显示资源，确定目标显示资源，并对目标显示资源进行基础渲染，将基础渲染后的目标显示资源携带在第二信息中。对应的，终端显示设备在接收到第二信息之后，还可以在未来时刻到来之前，根据当前显示资源和预测显示资源生成超视角的显示画面，并显示超视角的显示画面，超视角的显示画面的视角范围大于预设的视角范围。或者，终端显示设备在接收到第二信息之后，还可以在未来时刻到来时，根据当前显示资源和预测显示资源刷新预设的视角范围内的显示画面。

在一种可能的设计中，终端显示设备还可以在至少两个时刻分别预测得到用户在未来时刻的动作预测信息，并分别向服务器发送至少两个时刻中的每个时刻对应的第一信息，其中，至少两个时刻早于未来时刻，至少两个时刻中的每个时刻对应的第一信息包括在时刻预测得到的用户在未来时刻的第一动作预测信息。这种情况下，服务器还可以根据至少两个时刻分别对应的第一动作预测信息和每个第一动作预测信息的权重，得到用户在未来时刻的目标动作预测信息，根据未来时刻的目标动作预测信息，从初始显示资源中确定出预测显示资源；针对于至少两个时刻中的每个时刻，当时刻距离未来时刻的时间差越大，则时刻对应的第一动作预测信息的权重越大。

此外，在第三方面的其它可能的设计中，服务器还可以执行上述第一方面中其它任意一种可能的设计的方法，终端显示设备还可以执行上述第二方面中其它任意一种可能的设计的方法，此处不再一一赘述。

第四方面，本申请还提供一种数据渲染装置，该数据渲染装置可以包括处理器和通信接口。其中，通信接口可以接收来自数据渲染装置之外的其它通信装置的信号并传输至处理器或将来自处理器的信号发送给数据渲染装置之外的其它通信装置。处理器可以通过逻辑电路或执行代码指令用于实现如上述第一方面中任一项、或上述第二方面中任一项所述的数据渲染方法。

第五方面，本申请还提供一种数据渲染装置，该数据渲染装置可以包括处理器，处理器与存储器相连，存储器可以用于存储计算机程序，处理器可以执行存储器中存储的计算机程序，以使得数据渲染装置执行如上述第一方面中任一项、或上述第二方面中任一项所述的数据渲染方法。

第六方面，本申请还提供一种数据渲染装置，该数据渲染装置包括执行上述第一方面的任意一种可能的设计的方法的模块/单元，或者包括执行上述第二方面的任意一种可能的设计的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。

第七方面，本申请还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，当计算机程序被运行时，可以实现如上述第一方面中任一项、或上述第二方面中任一项所述的数据渲染方法。

第八方面，本申请还提供一种芯片，该芯片可以包括处理器和接口。其中，处理器可以通过接口读取指令以执行上述第一方面中任一项、或上述第二方面中任一项所述的数据渲染方法。

第九方面，本申请还提供一种计算机程序产品，该计算机程序产品可以包括计算机程序或指令，当计算机程序或指令被通信装置执行时，可以实现如上述第一方面中任一项、或上述第二方面中任一项所述的数据渲染方法。

上述第三方面至第九方面的有益效果，具体请参照上述第一方面和第二方面中相应设计可以达到的技术效果，这里不再重复赘述。

附图说明

图1A示例性示出本申请实施例适用的一种可能的系统架构图；

图1B示例性示出本申请实施例适用的另一种可能的系统架构图；

图2示例性示出本申请实施例提供的一种云端渲染场景的执行流程示意图；

图3示例性示出本申请实施例提供的一种云端渲染过程中的显示画面示意图；

图4示例性示出本申请实施例一提供的渲染方法对应的流程示意图；

图5示例性示出一种初始显示资源在云端服务器中的存储方式示意图；

图6示例性示出一种通过增加数据流数量的方式来确定目标显示资源的示意图；

图7示例性示出一种通过增加数据流大小的方式来确定目标显示资源的示意图；

图8示例性示出一种串行端云渲染方法的执行流程示意图；

图9示例性示出本申请实施例提供的一种异步端云渲染方法的执行流程示意图；

图10示例性示出本申请实施例提供的异步端云渲染方法的时间序列图；

图11示例性示出本申请实施例提供的一种云端渲染过程中视角变化示意图；

图12A至图12D示例性示出本申请实施例提供的一种终端设备与显示设备建立连接的界面变化示意图；

图13A至图13C示例性示出本申请实施例提供的另一种终端设备与显示设备建立连接的界面变化示意图；

图14示例性示出本申请实施例二提供的渲染方法对应的流程示意图；

图15示例性示出本申请实施例三提供的渲染方法对应的流程示意图；

图16示例性示出本申请实施例四提供的渲染方法对应的流程示意图；

图17示例性示出本申请实施例提供的一种数据渲染装置的结构示意图；

图18示例性示出本申请实施例提供的另一种数据渲染装置的结构示意图；

图19示例性示出本申请实施例提供的又一种数据渲染装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

图1A和图1B为本申请实施例适用的可能的系统架构示意图。该系统架构包括服务器和终端显示设备。其中，终端显示设备具有处理功能和显示功能，例如终端显示设备可以是如图1A所示包括具有处理功能的终端设备和具有显示功能的显示设备，也可以是如图1B所示将处理功能和显示功能都封装在一个设备中，具体不作限定。应理解，本申请实施例对图1A或图1B所示意的系统架构中服务器的数量、终端显示设备的数量不作限定，例如一台服务器可以同时连接多个终端显示设备。且本申请实施例所适用的系统架构中除了包括服务器和终端显示设备，还可以包括其它设备，如网络设备、核心网设备、无线中继设备和无线回传设备等，对此本申请实施例也不作限定。以及，本申请实施例中的服务器可以将所有的功能集成在一个独立的物理设备，也可以将功能分布在多个独立的物理设备上，对此本申请实施例也不作限定。

本申请实施例中，服务器与终端显示设备可以通过有线方式连接，也可以通过无线方式连接。例如在图1A所示意的系统架构中，服务器与终端设备之间、终端设备与显示设备之间均可以通过有线方式连接，或者服务器与终端设备之间、终端设备与显示设备之间均可以通过无线方式连接，或者服务器与终端设备之间通过有线方式、终端设备与显示设备之间通过无线方式连接，或者服务器与终端设备之间通过无线方式、终端设备与显示设备之间通过有线方式连接。目前最常用的一种连接方式为：服务器与终端设备之间通过无线方式连接，终端设备与显示设备之间通过有线方式或无线方式连接。

下面先对本申请实施例涉及到的术语以及相关技术进行介绍。

本申请实施例中的服务器可以是指单服务器，也可以是指服务器集群。在具体的应用场景中，该服务器可以是指云端服务器，云端服务器可以向终端显示设备提供显示资源，显示资源例如可以包括图片、视频或游戏场景等，该显示资源可以是预先存储在云端服务器的内部，也可以是云端服务器从网络下载得到，还可以是云端服务器与其他设备交互得到。此外，云端服务还能够提供简单高效、安全可靠、处理能力可弹性伸缩的计算服务，例如在将显示资源提供给终端显示设备之前，云端服务器还可以对显示资源进行基础渲染，基础渲染可以包括诸如将二维的平面显示资源渲染为三维的立体显示资源、调整显示资源的色调参数、拉伸显示资源的画面等。

在图1A所示意的系统架构中，终端设备是指具有一定的处理计算能力、并能支持低时延和高速传输性能的设备，诸如向用户提供语音和/或数据连通性的设备。例如可以包括具有有线连接功能或无线连接功能的手持式设备、或连接到有线调制解调器或无线调制解调器的处理设备。该终端设备可以包括但不限于用户设备(user equipment，UE)、无线终端设备、移动终端设备、设备到设备通信(device-to-device，D2D)终端设备、车到万物(vehicle to everything，V2X)终端设备、机器到机器/机器类通信(machine-to-machine/machine-type communications，M2M/MTC)终端设备等。例如，可以包括移动电话(或称为“蜂窝”电话)，具有移动终端设备的计算机，便携式、袖珍式、手持式、计算机内置的移动装置等。例如，还可以包括功耗、存储能力和计算能力具有一定要求的设备。此外，终端设备中还可以包括条码、射频识别(radio frequency identification，RFID)、传感器、全球定位系统(global positioning system，GPS)、激光扫描器等元器件，这些元器件用于辅助终端设备感知用户的业务互动操作。

在图1A所示意的系统架构中，显示设备可以是具有显示功能的可穿戴设备，例如虚拟现实(virtual reality，VR)头显、VR眼镜、增强现实(augmented reality，AR)头显、AR眼镜等。为了降低显示设备的成本和重量，现阶段大都直接将显示设备设置为仅具有显示功能。然而，考虑到在云端渲染场景下，终端设备不仅要为用户提供交互功能，还要协助显示设备执行解码和渲染等操作，终端设备的压力较大，因此在本申请的一个实施例中，显示设备也可以具有一定的处理能力，只要不超出显示设备的成本要求和重量要求即可。

在图1B所示意的系统架构中，终端显示设备也可以是指将上述终端设备的功能集成在显示设备内部，使得显示设备同时具有处理功能和显示功能。这种情况下，终端显示设备可以是具有处理功能和显示功能的可穿戴设备，例如VR头显(一体机)、VR眼镜(一体机)、AR头显(一体机)、AR眼镜(一体机)等。

本申请实施例中，服务器和终端设备之间、或者服务器和终端显示设备之间可以通过网络协议进行通信，网络协议例如可以包括传输控制协议/网际协议(transmissioncontrol protocol/internet protocol，TCP/IP)、用户数据报协议/网际协议(userdatagram protocol/internet protocol，UDP/IP)、超文本传输协议(hypertext transferprotocol，HTTP)、以安全为目标的超文本传输协议(hyper text transfer protocol oversecure socket layer，HTTPS)等。网络协议还可以包括在上述协议之上使用的远程过程调用协议(remote procedure call protocol，RPC)协议、表述性状态传递(representational state transfer，REST)协议等，具体不作限定。

本申请具体可以应用于云端渲染场景，为便于描述，本申请的下列实施例将服务器称为云端服务器。也就是说，在下文中所出现的“云端服务器”均可以替换为“服务器”。

先以图1A所示意的系统架构为例对云端渲染场景进行介绍。图2示例性示出本申请实施例提供的一种云端渲染场景的执行流程示意图，如图2所示，在云端渲染过程中，显示设备可以周期或实时捕捉用户的动作得到动作捕捉信息，然后经由终端设备将动作捕捉信息上报给云端服务器。云端服务器接收到该动作捕捉信息后，可以先对该动作捕捉信息进行逻辑计算，以确定出用户的视场角(field of view，FOV)，再从初始显示资源中获取用户的FOV所对应的显示资源，对该显示资源进行基础渲染后，编码压缩(用以降低网络开销，提高数据传输效率)基础渲染后的显示资源并下发给终端设备。当显示设备具有一定的处理功能时，终端设备在接收到编码压缩的数据包后，可以先解码得到基础渲染后的显示资源，再将该显示资源发送给显示设备，以由显示设备对显示资源进行头动渲染，进而使用头动渲染后的显示资源刷新当前的显示画面，以将用户的FOV所对应的显示资源显示给用户。应理解，该示例是考虑到显示设备具有一定的处理能力，为了减轻终端设备的负担，还可以只将解码放置在终端设备侧执行，而将头动渲染放置在显示设备侧执行。在其它示例中，如果显示设备不具有处理能力，则可以将解码和头动渲染都放置在终端设备侧执行。

然而，显示设备显示给用户的显示画面可能会存在问题。例如，图3示例性示出本申请实施例提供的一种云端渲染过程中的显示画面示意图，正常情况下，在接收到用户的动作捕捉信息后，云端服务器会将该动作捕捉信息所对应的原始FOV(如a图中实线部分所围成的区域)的显示资源发送给显示设备，此时用户的视角范围内看到的画面就是原始FOV所对应的显示画面。然而，从上报动作捕捉信息直至刷新显示画面之间会存在一定的时延，如果用户在该时延内又产生了新的转头动作，则用户的实际FOV(如b图中的虚线部分所围成的区域)的范围可能会超出原始FOV的范围。但是由于云端服务器只向显示设备下发了原始FOV范围内的显示资源，因此显示设备也只能向用户显示原始FOV范围内的显示画面，而实际FOV超出原始FOV的区域(如c图中的斜线所围成的区域)则会出现黑边(显示为黑色或类似“拖影”)。这种情况下，用户在实际FOV的视角边缘处只能看到黑边而无法看到马蹄和部分马尾，因此显示画面的质量和用户的转头体验均较差。

为了解决黑边现象，在一种高低质量的渲染方法中，云端服务器在每次接收到动作捕捉信息后，除了可以对该动作捕捉信息对应的高质量的局部显示资源进行基础渲染，还可以对低质量的初始显示资源进行基础渲染，并经由终端设备发送给显示设备。采用这种方式，显示设备每次都可以接收到一个高质量的局部显示资源和一个低质量的初始显示资源，如果用户存在新的转头角度，则显示设备还可以从低质量的初始显示资源中确定出超过的角度所对应的低质量的显示资源，然后同时将高质量的局部显示资源和新的转头角度对应的低质量的显示资源显示给用户。这种方式能够使用户的视角范围内不出现黑边，有助于缓解黑边现象。然而，若采用这种方式，则用户的视角范围内部分显示画面是清晰的而部分显示画面是不清晰的，由清晰的显示画面过渡到不清晰的显示画面时用户的观看体验必然会受到影响。且，初始显示资源实际上是一个360°全视角的显示资源，这种方式需要云端服务器对360°全视角的显示资源进行渲染，即使是在低质量的情况下也会耗费云端服务器大量的资源。

有鉴于此，本申请实施例提供一种渲染方法，用以在综合考虑云端服务器的资源消耗情况和用户观看体验的基础上，缓解显示画面中产生的黑边现象。

本申请实施例中的术语“系统”和“网络”可被互换使用。“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

以及，除非有特别说明，本申请实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分，不用于限定多个对象的优先级或者重要程度。例如，第一终端显示设备和第二终端显示设备，只是为了区分不同的终端显示设备，而并不是表示这两个终端显示设备的优先级或重要程度等的不同。或者，第一动作预测信息和第二动作预测信息，只是为了区分不同时刻的动作预测信息，而并不是表示这两个动作预测信息的优先级或重要程度等的不同。

下面结合具体实施例对本申请中的数据渲染方法进行介绍。

实施例一

图4示例性示出本申请实施例一提供的渲染方法对应的交互流程示意图，该方法可以由云端服务器和终端显示设备执行，例如图1A中的云端服务器、终端设备和显示设备，或者图1B中的云端服务器和终端显示设备。如图4所示，该方法包括：

步骤401，终端显示设备预测得到用户在未来时刻的动作预测信息。

在一种可选地实施方式中，终端显示设备可以先在未来时刻到来之前的某个时刻或某些时刻获取用户的动作捕捉信息，然后基于获取的动作捕捉信息预测用户在未来时刻的动作以得到动作预测信息，动作捕捉信息和动作预测信息例如可以为用户的头部所转过的角度。其中，获取动作捕捉信息的方式可以有多种，例如在一种方式中，终端显示设备内置有运动传感器，终端显示设备通过调用运动传感器采集用户的头部动作来得到动作捕捉信息。在另一种方式中，终端显示设备外置有摄像头模组，终端显示设备通过调用摄像头模组拍摄用户的头部动作图片，并对拍摄得到的图片进行解析来得到动作捕捉信息。可以理解的是，除了通过检测头部动作来确定动作捕捉信息，还可以通过检测其它位置的动作或使用其它传感器来确定动作捕捉信息，例如使用体感装置检测手部动作(此处以手部为例进行介绍，当然也可以是其它位置)，这种情况下，用户可以头戴终端显示设备并手握体感装置，终端显示设备与体感装置连接，当用户想改变终端显示设备的显示画面时，用户可以直接手握体感装置左转或右转或翻转，如此，终端显示设备给用户提供的显示画面也能随着手部动作而相应改变。采用这种方式，即使是头部运动不便(例如由于颈椎受伤导致头部无法运动)的用户也能很好地体验终端显示设备，从而有助于满足各类用户的观看需求。

为了便于理解，下列实施例以预测用户在未来时刻的头部动作为例进行介绍，预测的方式包括但不限于以下几种：

(1)、航位推测法(dead reckoning，DR)：是一种利用当前位置及速度推定未来位置及方向的技术。当预测用户在未来时刻的头部动作时，终端显示设备可以将用户在当前时刻的头部位置(例如若终端显示设备为VR眼镜，则头部位置可以是指VR眼镜的中心线与基准线的角度，当中心线位于基准线右侧，则角度为正，当中心线位于基准线左侧，则角度为负)和头部转动速度输入预设的航位推测模型。预设的航位推测模型可以先根据未来时刻和当前时刻的时间差、以及用户在当前时刻的头部转动速度，计算出用户在未来时刻相对于当前时刻时会转过的角度，然后再结合用户在当前时刻的头部位置确定出用户在未来时刻的头部位置。其中，该示例中的头部转动速度可以包括转头方向和转速值，在确定用户在未来时刻的头部位置后，终端显示设备可以根据该头部位置和当前头部位置确定出用户在未来时刻的头部动作，例如若当前头部位置为基准线右侧5度，而未来时刻的头部位置为基准线右侧10度，则用户在未来时刻的头部动作为右转5度。

(2)、卡尔曼预测器：是一种考虑到噪声影响从而利用其他元器件的数值综合得到未来位置及方向的技术。当预测用户在未来时刻的头部动作时，终端显示设备可以同时将用户在当前时刻的头部位置和头部转动速度、以及运动传感器(例如全球定位系统(GlobalPositioning System，GPS)传感器、压力传感器、霍尔传感器等)采集到的运动数据输入卡尔曼预测器，这种情况下，卡尔曼预测器一方面能够根据用户在当前时刻的头部位置和头部转动速度等信息计算得到未来时刻的头部位置的理论预测值，另一方面还可以根据运动数据计算得到未来时刻的头部位置的实际测量值，进而可以根据预先设置的理论预测值对应的权重和实际测量值对应的权重，对理论预测值和实际测量值进行加权线性组合，得到用户在未来时刻的头部位置，进而由终端显示设备确定出用户在未来时刻的头部动作。

(3)、Alpha-beta-gamma预测器：又称为ABG预测器，该预测器的逻辑计算过程与卡尔曼预测器的逻辑计算过程的相关度很高，但并不完全相同，或者说该预测器比卡尔曼预测器更为简单。具体来说，ABG预测器包含三个配置参数，即alpha、beta和gamma，这三个配置参数根据实际数据和预测数据进行更新，在预测头部运动时，ABG预测器会不断获取用户头部的实际位置以及运动传感器的运动数据，并尝试结合三个配置参数和这些数据连续地估算头部转动速度和头部转动加速度，然后将这些估算得到的数据应用于预测。由于ABG预测器在估算过程考虑到了实际数据，因此能够减少估算得到的数据中的一部分噪声或误差。且，ABG预测器的配置参数实时更新，因此也能增强估算数据响应的及时性与降噪能力。

(4)、模型拟合法：是一种利用历史位置推定未来位置的技术。该方法预先设置初始拟合模型，初始拟合模型的自变量为时刻，因变量为用户在时刻的头部位置，初始拟合模型中包括一个或多个未知参数。其中，初始拟合模型的类型可以由本领域技术人员根据经验进行设置，例如可以为多项式模型、二分类模型或b样条模型等，不作限定。当预测用户在未来时刻的头部位置时，终端显示设备可以先将各个历史时刻和用户在各个历史时刻的头部位置输入初始拟合模型，以计算得到初始拟合模型中的各个未知参数，将各个解析出的未知参数带入初始拟合模型后得到拟合模型，再将未来时刻输入拟合模型计算得到用户在未来时刻的头部位置，进而由终端显示设备确定出用户在未来时刻的头部动作。

步骤402，终端显示设备向云端服务器发送第一信息，第一信息中包括用户在未来时刻的动作预测信息。

本申请实施例中，终端显示设备可以在未来时刻到来之前的某个时刻或多个时刻向云端服务器发送动作预测信息，例如若分别在N(N为大于或等于2的整数)个时刻预测得到N个动作预测信息，则终端显示设备可以分别在这N个时刻将N个动作预测信息上报给云端服务器，也可以在未来时刻之前的某个时刻将这N个动作预测信息一次上报给云端服务器，不作限定。其中，在多次上报动作预测信息的情况下，最近一次上报的时刻与未来时刻的时间间隔需要大于或等于第一时间间隔，第一时间间隔可以由本领域技术人员根据经验进行设置。例如，在一种可选地实施方式中，可以预先通过实验确定在用户转动头部之后至终端显示设备实际刷新显示画面之间的时延，并将第一时间间隔设置为该时延，或者在多次实验的情况下，将第一时间间隔设置为多次实验中的最大时延(或者也可以为多次实验的时延的平均值或加权平均值)。这种情况下，当最近一次上报的时刻与未来时刻的时间间隔刚好等于第一时间间隔时，终端显示设备可以刚好在未来时刻将未来时刻的显示资源显示给用户，如此，用户能够实时看到转头角度所对应的显示画面，用户的转头体验较好。当最近一次上报的时刻与未来时刻的时间间隔大于第一时间间隔时，终端显示设备在未来时刻之前就根据未来时刻的显示资源刷新了显示画面，这种方式相当于终端显示设备提前向用户提供了一个超视角的显示画面(可以增大用户的当前FOV)，如此，只要用户的转头角度在这个增大的当前FOV之内，用户就不会看到黑边。显然地，相比于现有技术延时显示并可能产生黑边的方案来说，这种方式能够缓解黑边现象，并能很好地提高用户的转头体验。

步骤403，云端服务器从初始显示资源中确定出未来时刻的动作预测信息对应的预测显示资源。

在一种可选地实施方式中，终端显示设备还可以在未来时刻到达之前的某个时刻将该时刻对应的动作捕捉信息上报给云端服务器，其中，该某个时刻与未来时刻之间的时间间隔也需要大于第一时间间隔。这种情况下，云端服务器能够在距离未来时刻超过时延时长之前接收到当前时刻的动作捕捉信息和未来时刻的动作预测信息，并可以根据当前时刻的动作捕捉信息从初始显示资源中确定出当前时刻对应的当前显示资源，以及根据未来时刻的动作预测信息从初始显示资源中确定出未来时刻对应的预测显示资源，进而根据当前显示资源和预测显示资源确定目标显示资源，在未来时刻到来之前将目标显示资源下发给终端显示设备，以便于终端显示设备及时将目标显示资源显示给用户。

图5示例性示出一种初始显示资源在云端服务器中的存储方式示意图，如图5所示，初始显示资源在云端服务器中被划分为多个数据流，且每个数据流都对应各自的编码，例如在图5的示例中，将分辨率为8K的360°全景显示资源均匀划分为20个数据流(或栅格)，这20个数据流的编码依次为1至20，且按照4行5列的形式排列，每个数据流的分辨率都为8K，每个数据流占据一个单元格，一个单元格用于指示一个栅格的数据量。第一行的数据流包括数据流1、数据流2、数据流3、数据流4和数据流5，占据五个单元格；第二行的数据流包括数据流6、数据流7、数据流8、数据流9和数据流10，占据五个单元格；第三行的数据流包括数据流11、数据流12、数据流13、数据流14和数据流15，占据五个单元格；第四行的数据流包括数据流16、数据流17、数据流18、数据流19和数据流20占据五个单元格。

下面以云端服务器根据动作捕捉信息确定出捕捉到的用户动作对应的当前显示资源包括数据流7、数据流8、数据流12和数据流13为例，介绍如何确定目标显示资源。

在一种可选地实施方式中，若云端服务器根据动作预测信息确定出预测到的用户动作(例如右转5度)对应的全部数据流为数据流9、数据流10、数据流14和数据流15，则云端服务器还可以根据云端服务器的可用资源来确定动作预测信息对应的预测显示资源。当云端服务器的可用资源不小于第一资源阈值时，说明云端服务器的可用资源充足，这种情况下，可以将动作预测信息对应的全部数据流(即数据流9、数据流10、数据流14和数据流15)作为预测显示资源，以在云端服务器的处理能力足够的情况下避免黑边现象，尽量提高用户的观看体验。当云端服务器的可用资源小于第一资源阈值时，说明云端服务器的可用资源不足，这种情况下，可以将动作预测信息对应的部分数据流(例如数据流9和数据流14)作为预测显示资源，且部分数据流的数据量可以随着云端服务器不充足的增大程度而减少，以在缓解黑边现象的同时尽量节省云端服务器的资源。该种实施方式能够同时兼顾到云端服务器的资源消耗和用户的观看体验。

本申请实施例中，在确定当前显示资源和预测显示资源后，云端服务器可以通过如下任一方式确定目标显示资源：

图6示例性示出一种通过增加数据流数量的方式来确定目标显示资源的示意图，如图6所示，在该示例中，云端服务器可以直接将当前显示资源对应的全部数据流和预测显示资源对应的数据流作为目标显示资源。例如，在预测显示资源为动作预测信息对应的全部数据流的情况下，目标显示资源对应为图6中的目标显示资源a1，包括数据流7、数据流8、数据流9、数据流10、数据流12、数据流13、数据流14和数据流15，共占据8个单元格。在预测显示资源为动作预测信息对应的部分数据流的情况下，目标显示资源对应为图6中的目标显示资源a2，包括数据流7、数据流8、数据流9、数据流12、数据流13和数据流14，共占据6个单元格。

图7示例性示出一种通过增加数据流大小的方式来确定目标显示资源的示意图，如图7所示，在该示例中，云端服务器可以重新划分初始显示资源，并使重新划分后的当前显示资源包含预测显示资源。例如在预测显示资源为动作预测信息对应的全部数据流的情况下，云端服务器可以先扩大数据流8的尺寸使扩大后的数据流8包括原数据流8、原数据流9和原数据流10，同时扩大数据流13的尺寸使扩大后的数据流13包括原数据流13、原数据流14和原数据流15，如此，重新划分得到的初始显示资源对应为图7中的初始显示资源b1。这种情况下，目标显示资源可以对应为图7中的目标显示资源a3，包括数据流7、扩大后的数据流8、数据流12和扩大后的数据流13，其中，数据流7和数据流12分别占据1个单元格，扩大后的数据流8和扩大后的数据流13则分别占据3个单元格。或者，在预测显示资源为动作预测信息对应的部分数据流的情况下，云端服务器可以先扩大数据流8的尺寸使扩大后的数据流8包括原数据流8和原数据流9，同时扩大数据流13的尺寸使扩大后的数据流13包括原数据流13和原数据流14，如此，重新划分得到的初始显示资源对应为图7中的初始显示资源b2。这种情况下，目标显示资源可以对应为图7中的目标显示资源a4，包括数据流7、扩大后的数据流8、数据流12和扩大后的数据流13，其中，数据流7和数据流12分别占据1个单元格，扩大后的数据流8和扩大后的数据流13则分别占据2个单元格。

本申请实施例中，在动作预测信息对应的预测的转动角度大于或等于实际转动角度(例如预测用户向右转头10°而用户实际向右转头5°)的情况下，将动作预测信息对应的全部数据流作为预测显示资源能够完全覆盖显示画面中的黑边，从而解决黑边现象，而将动作预测信息对应的部分数据流作为预测显示资源虽然可能无法完全覆盖显示画面中的黑边，但是也可以起到缓解黑边现象的作用，从而也能够提高用户的观看体验。在动作预测信息对应的预测转动角度小于实际转动角度(例如预测用户向右转头10°而用户实际向右转头15°)的情况下，无论是将动作预测信息对应的全部数据流作为预测显示资源，还是将动作预测信息对应的部分数据流作为预测显示资源，都无法完全覆盖显示画面中的黑边，但是这种方式能够使显示画面中的黑边得到缓解，提高用户的观看体验。由此可知，无论在那种情况下，将动作预测信息对应的全部数据流或部分数据流作为预测显示资源，都能够缓解黑边现象。

步骤404，云端服务器对未来时刻的动作预测信息对应的预测显示资源进行基础渲染。

本申请实施例中，基础渲染可以包括但不限于以下内容：转换显示资源的维度、转换显示资源的格式、对显示资源添加滤镜、变形、模糊、平滑、曝光、纹理化等效果、调整显示资源的色调、色差、色温等颜色参数。一般来说，基础渲染会消耗云端服务器较多的资源，然而，本申请实施例是根据预测得到的未来时刻的动作确定预测显示资源，因此预测显示资源只为初始显示资源中预测的转动方向所对应的那部分显示资源，如此，云端服务器可以只对初始显示资源中的一部分显示资源进行基础渲染，而不需要对低质量的整个初始显示资源进行基础渲染，因此本申请实施例中的方案还能够节省云端服务器的资源消耗。

本申请实施例中，当目标显示资源的质量越高时，云端服务器后续对目标显示资源进行基础渲染所需耗费的资源也较多。为了兼顾云端服务器的资源消耗情况和用户的观看体验，本申请实施例可以通过如下方式确定目标显示资源的质量：

若通过增加数据流大小的方式来确定目标显示资源，由于扩大后的数据流会包括部分当前显示资源对应的数据流，因此为了保证用户获取到动作捕捉信息对应的高清的显示画面，目标显示资源可以均为高质量。示例来说，当目标显示资源对应为图7中的目标显示资源a3时，云端服务器可以对分辨率均为8K的数据流7、数据流12、扩大后的数据流8和扩大后的数据流13进行基础渲染。当目标显示资源对应为图7中的目标显示资源a4时，云端服务器可以对分辨率均为8K的数据流7、数据流12、扩大后的数据流8和扩大后的数据流13进行基础渲染。其中，当分辨率均为8K时，由于目标显示资源a3中扩大后的数据流8和扩大后的数据流13均占据3个单元格，而目标显示资源a4中扩大后的数据流8和扩大后的数据流13均占据2个单元格，因此云端服务器对目标显示资源a3进行基础渲染所耗费的资源大于对目标显示资源a4进行基础渲染所耗费的资源。

若通过增加数据流数量的方式来确定目标显示资源，则目标显示资源的质量可以根据云端服务器的可用资源来确定：当云端服务器的可用资源不小于第二资源阈值时，说明云端服务器中的可用资源充足，这种情况下，为了提高用户的观看体验，云端服务器可以直接将高质量的当前显示资源和高质量的预测显示资源作为目标显示资源，例如若目标显示资源对应为图6中的目标显示资源a1，则可以对分辨率均为8K的数据流7、数据流8、数据流12、数据流13、数据流9、数据流10、数据流14和数据流15进行基础渲染。当云端服务器的可用资源小于第二资源阈值时，说明云端服务器中的可用资源不足，这种情况下，为了缓解云端服务器的资源消耗严重的问题，云端服务器可以将高质量的当前显示资源和低质量的预测显示资源作为目标显示资源，例如若目标显示资源对应为图6中的目标显示资源a1，则可以对分辨率均为8K的数据流7、数据流8、数据流12和数据流13、以及分辨率均为4K(或2K)的数据流9、数据流10、数据流14和数据流15进行基础渲染。当数据流的分辨率较低时，云端服务器对数据流进行基础渲染所耗费的资源也相对较少，因此将高质量的当前显示资源和低质量的预测显示资源作为目标显示资源显然比将高质量的当前显示资源和高质量的预测显示资源作为目标显示资源要耗费更少的云端资源。

步骤405，云端服务器在未来时刻到来之前将基础渲染后的目标显示资源发送给终端显示设备。

本申请实施例中，云端服务器还可以对基础渲染后的目标显示资源进行压缩处理，然后将压缩得到的压缩包发送给终端显示设备。由于压缩包的数据量会明显小于未压缩的目标显示资源的数据量，因此传输压缩包的方式能够节省网络开销，且还能提高数据传输的效率，有助于使终端显示设备尽快刷新显示画面，减少终端显示设备的时延。

在一种可选地实施方式中，云端服务器发送基础渲染后的目标显示资源的时刻与未来时刻之间的时间间隔需要大于或等于第二时间间隔，第二时间间隔可以由本领域技术人员根据经验进行设置。例如，在一种可选地实施方式中，可以预先通过实验确定云端服务器发送基础渲染后的目标显示资源之后至终端显示设备实际刷新显示图像之间的时间差，并将第二时间间隔设置为该时间差，或者在多次实验的情况下，将第二时间间隔设置为多次实验中的最大时间差(或者也可以为多次实验的时间差的平均值或加权平均值)。这种方式有助于终端显示设备在未来时刻到达之前接收到云端服务器发送的显示资源，如此，终端显示设备能够及时显示动作预测信息对应的显示资源，有助于缓解显示画面上的黑边现象。

步骤406，终端显示设备使用基础渲染后的目标显示资源刷新显示画面。

在一种可选地实施方式中，如果终端显示设备接收到压缩包，则终端显示设备可以先对压缩包进行解压缩得到基础渲染后的目标显示资源，再按照预设的端云渲染方式对基础渲染后的目标显示资源进行头动渲染，最后使用头动渲染后的目标显示资源刷新显示画面。其中，头动渲染是指：由于终端显示设备的动作捕捉及上报过程、云端服务器的逻辑计算、基础渲染、编码压缩过程、数据传输过程、以及终端显示设备的解码过程都是需要时间的，因此在用户的头部转动之后至终端显示设备解压得到目标显示资源之前会存在一定的时延，而在该时延之间用户可能产生了新的头部动作，导致终端显示设备接收到的目标显示资源与新的头部动作并不匹配，如此，直接将之前的头部动作对应的目标显示画面显示给用户也并不合适。这种情况下，终端显示设备还可以先对目标显示资源进行拉伸、截取、变形等头动渲染操作，在头动渲染后的目标显示资源与用户在时延期间的新的头部动作匹配后，再使用匹配的目标显示资源刷新显示画面。示例来说，如果之前发送的动作捕捉信息对应为右转5度，而直至终端设备解码得到右转5度对应的目标显示资源之前又右转了2度，则如果FOV的大小不变，则终端显示设备应该从右转5度对应的目标显示资源中截取出右侧3度对应的目标显示资源来进行显示画面的刷新操作。

本申请实施例中，预设的端云渲染方式可以由本领域技术人员根据经验进行设置，现阶段通常使用串行端云渲染作为预设的端云渲染方式。图8示例性示出一种串行端云渲染方法的执行流程示意图，如图8所示，在捕捉第P时刻的姿态与位置得到动作捕捉信息并通过指令将这些信息上报给云端服务器后，终端显示设备一直处于等待状态，直至接收到云端服务器发送的第P时刻的显示资源后，才会开始采集用户在该时延内的新的头部动作，根据新的头部动作确定头动渲染的相关参数(例如拉伸参数、截取参数、变形参数等)，使用头动渲染的相关参数对显示资源进行头动渲染。显然的，在串行渲染方式下，云端服务器和终端显示设备的各项操作都是串行执行的，这种串行执行的方式会耗费较长的时间，导致终端显示设备从检测到用户的头部动作至刷新显示画面(motion to photon，MTP)的时延很长。一般来说，如果用户的头部发生运动到双眼所见的图像发生变化的时间差在20ms以内时，则用户基本不会产生不适感，但是如果超出20ms，则由于用户的视觉与前庭系统感知的运动状态不一致，这种情况不符合实际的生活场景，因此会使用户产生较为强烈的眩晕，造成晕动症。为了尽可能避免晕动症，需要使终端显示设备在云端渲染过程中的时延不超过20ms。然而串行端云渲染方式产生的时延很难达到这个要求，从而在很大概率上会使用户产生晕动症。

为了解决上述问题，图9示例性示出本申请实施例提供的一种异步端云渲染方法的执行流程示意图，如图9所示，终端显示设备先对第P时刻的姿态与位置进行动作捕捉得到第P时刻的动作捕捉信息，并预测得到未来时刻的动作预测信息，通过指令将这些信息上报给云端服务器。一方面，云端服务器侧接收到这些信息后，会通过逻辑计算确定出第P时刻的显示资源(例如包括第P时刻的当前显示资源和未来时刻的预测显示资源)，然后对第P时刻的显示资源进行基础渲染，进而对基础渲染后的第P时刻的显示资源进行编码和压缩，通过指令传输给终端显示设备。另一方面，终端显示设备在上报这些信息后，不再等待云端服务器的处理结果，而是对云端服务器之前发送回来的历史时刻(例如第P-M时刻，P和M都是大于0的正整数，且M小于P)的基础渲染后的显示资源进行旋转、平移、扭曲等头动渲染，并使用头动渲染后的第P-M时刻的显示资源刷新显示画面。当终端显示设备刷新显示画面后，如果已经到达下一动作捕捉时刻，则重复执行上述过程，若还没有到达下一动作捕捉时刻，则继续获取云端服务器之前发送过来的历史时刻(例如第P时刻)的显示资源，执行头动渲染和刷新显示画面的操作。由此可知，在异步端云渲染方式下，终端显示设备和云端服务器各自执行自己的渲染过程，在同一时刻时终端显示设备和云端服务器可以分别对不同时刻的显示资源进行渲染，这种情况下，终端显示设备的时延实际上可以由终端显示设备头动渲染的速度来决定，而不再依赖于云端服务器的基础渲染速度，有助于降低终端显示设备的时延。

基于图9所示意的执行流程，图10示例性示出本申请实施例提供的异步端云渲染方法的时间序列图，如图10所示，假设将一次动作捕捉与上报的时延、逻辑计算、基础渲染与编码压缩的时延、头动渲染的时延和显示资源传输的时延之和称为一个周期时延，则终端显示设备的显示画面始终是按照该周期时延进行刷新操作，终端显示设备在任一时刻刷新的显示画面都是距离该时刻之前一个周期时延时长的历史时刻的头部动作所对应的显示资源。因此，用户在一个周期时延的时长内所产生的新的头部动作应该对应的显示画面和历史时刻的头部动作对应的显示资源之间的差异情况，决定了刷新显示画面后会产生的黑边大小。

为了便于理解，图11示例性示出本申请实施例提供的一种云端渲染过程中FOV变化示意图。如图11所示，在原始FOV的基础上，如果第P时刻发送的动作捕捉信息对应为右转5度，则终端显示设备接收到的显示资源对应的显示画面为A图中的FOV1所示。然而，若直至终端设备刷新显示画面之前用户又右转了2度，则按照默认的FOV显示范围，终端显示设备实际应该显示给用户的显示画面为A图中的FOV2所示。这种情况下，若按照现有方案，由于终端显示设备只有FOV1的显示画面对应的显示资源，而没有右转2度对应的显示资源，因此刷新后的显示画面中右侧2度对应的显示区域为黑边。而按照本申请中的方案，网络设备预先将未来时刻的动作预测信息对应的右转2度的预测显示资源发送给终端显示设备，如此，终端显示设备根据当前FOV1和右转2度的预测显示资源能够刷新得到一个超视角的FOV3，FOV3的显示范围大于默认的FOV显示范围。如此，由于用户右转2度位于FOV3的显示范围内，因此用户看到的显示画面上不会出现黑边，从而用户的观看体验较好。

本申请实施例中，当终端显示设备接收到目标显示资源后，可以立马执行头动渲染及刷新显示画面的操作，这种情况下，如果终端显示设备在刷新显示画面的时刻刚好是未来时刻，则本申请中的方案能够在未来时刻将预测到的用户未来时刻的动作对应的显示资源实时显示给用户，这种方式不仅能使用户看到的显示画面随着用户的转头动作实时更新，以提高用户的转头体验，还能在预测的用户动作准确的情况下，保证用户看到的显示画面上不出现黑边。如果终端显示设备刷新显示画面的时刻位于未来时刻之前，则终端显示设备实际上是向用户显示一个超视角的FOV画面，如此，只要用户转头的角度位于FOV3的显示范围内，用户看到的显示画面上就不会出现黑边，从而用户的观看体验较好。

在一种可选地实施方式中，当未来时刻结束后，终端显示设备可以将当前FOV的显示范围恢复为默认的FOV的显示范围，以减少终端显示设备的资源消耗。或者，终端显示设备可以先确定用户使用的当前业务的业务类型，如果属于弱交互的业务(例如看电影、直播)，则用户在未来时刻之后的很长时间之内可能都不会有新的动作发生，这种情况下，终端显示设备可以将当前FOV的显示范围恢复为默认的FOV的显示范围，等待下一次动作发生时再增大FOV的显示范围。如果属于强交互的业务(例如打游戏)，则未来时刻之后可能很快就会有新的动作发生，这种情况下，终端显示设备可以不恢复当前FOV的显示范围，而是等待下一个新的动作发生后直接将当前FOV的显示范围更新为新的FOV的显示范围。

在本申请的上述实施例中，通过将预测得到的未来时刻的显示资源提前提供给终端显示设备(例如虚拟现实产品)，使得终端显示设备能够在未来时刻之前或未来时刻时使用预测显示资源刷新显示画面。这种情况下，只要预测准确，用户就能够在未来时刻之前提前看到未来时刻的显示画面或在未来时刻时实时看到未来时刻的显示画面，如此，即使用户提前转头到未来时刻，用户看到的显示画面上也能不存在黑边或存在很少的黑边，因此，该种方式能够避免或缓解由于时延问题而导致的终端显示设备的显示画面上出现黑边的现象，有助于提高终端显示设备中显示画面的质量和用户的转头体验。更进一步的，由于该种方式提前预测得到用户在未来时刻的动作，因此服务器可以只对未来时刻的动作所对应的方向的预测显示资源进行渲染和传输，而可以不用对全部方向的显示资源进行渲染和传输，因而该种方式还能够节省服务器中的资源消耗，降低显示资源传输的网络开销，提高显示画面的刷新效率。由此可知，本申请中的数据渲染方法能够兼顾云端服务器的资源消耗情况和用户的观看体验。

本申请实施例中的渲染方法可以应用在需要数据渲染的任一场景中，例如当用户调用云端资源看电影时可以使用该渲染方法渲染电影画面，当用户在调用云端资源打游戏时也可以使用该方法渲染游戏画面，当用户在调用云端资源直播时还可以使用该方法渲染直播画面。该内容中所述的各个场景，可以预先与终端显示设备的app绑定。若系统架构为图1B所示意的系统架构，则终端显示设备在进而对应的app后，可以直接执行图4所示意的数据渲染方法。然而，若系统架构为图1A所示意的系统架构，则在执行图4所示意的渲染方法之前，终端设备还需要先与显示设备建立连接。以用户使用游戏app为例，图12A至图12D示例性示出本申请实施例提供的一种终端设备与显示设备建立连接的界面变化示意图，在该示例中，终端设备假设为手机X，显示设备假设为眼镜Y，如图12A所示，手机X的显示屏幕上可以显示有各个app的图标，若眼镜Y与游戏app预先绑定在一起，则当用户点击该显示屏幕上的游戏app图标1201时，手机X可以显示出如图12B所示意的连接界面，该连接界面上会显示单向箭头，单向箭头由手机X指向眼镜Y，意味着手机X正在尝试自动与眼镜Y建立连接，且建立连接的过程可以对用户无感。当连接成功后，如图12C所示，手机的连接界面上会显示双向箭头，箭头的两端分别指向手机X和眼镜Y，意味着手机X与眼镜Y连接成功。这种情况下，手机进入图12D所示意出的渲染设置界面，该界面上包括多个配置框，多个配置框的内容包括但不限于以下内容：是否开启动作预测、何时开启动作预测、何时结束动作预测、在开启动作预测的情况下上报动作预测信息的频率、是否进行动作捕捉、何时开始动作捕捉、何时结束动作捕捉、在进行动作捕捉的情况下上报动作捕捉信息的频率等。

需要说明的是，“游戏app预先与眼镜绑定”只是一种可选地实施方式，在另一种可选地实施方式中，游戏app与眼镜不绑定，这种情况下，用户在打开游戏app之前(也可以是之后)，还可以手动建立手机X和眼镜Y之间的连接，该连接建立过程对用户可见，这种情况下手机上的界面变化可以如图13A至图13C所示。如图13A所示，手机X上可以设置有连接功能键1301(例如蓝牙开启按钮)，当用户点击连接功能键1301时，手机X的显示界面上可以显示出一个可连接设备列表，如图13B。可连接设备列表中包括一个或多个可连接设备的图标(和/或文字)，一个或多个可连接设备为与手机X的通信质量较好的设备，例如与手机X的距离不超过5米且已打开蓝牙搜索的手环T，或者与手机X曾经建立过连接的眼镜Y，或者与手机X位于同一wifi连接下的平板R、与手机X属于亲友设备的手机W等。进一步地，用户可以选择其中一个或多个可连接设备的图标进行点击，例如点击眼镜Y的图标，此时，眼镜Y可以振动或响铃，以向用户显示接收到连接请求，用户可以按压眼镜Y上的按钮允许眼镜Y与手机X建立连接。当连接建立成功后，手机X的显示界面上可以显示连接结果，该连接结果可以为图13C所示的文字形式“已与眼镜Y建立连接”，也可以为图12C所示的双箭头形式，连接结果中还可以包括其它信息，例如眼镜Y的型号、媒体存取控制位址(Media Access ControlAddress，MAC)等，本申请对此不作限定。进一步地，当用户点击游戏app后，如果手机X检测到已与眼镜Y建立连接，则手机X可以直接向用户显示如图12D所示意出的显示渲染配置界面。

本申请实施例中的方案还可以应用在其他场景中，例如未来可能会存在一种场景，用户戴着VR眼镜(或AR眼镜)开车，这种情况下，如果VR眼镜当前应用在导航模式，则VR眼镜可以结合道路行驶的实际情况进行导航，当确定当前时刻需要右转时，可以在VR眼镜的显示画面中显示向右的虚线标，用户可以根据虚线标的提示向右转动头部，而随着头部的转动，VR眼镜中显示的虚拟图像也会跟随着转动。这种场景下，用户既可以看到真实的道路情况，又可以看到VR眼镜显示的虚拟图像，且虚拟图像还能够根据人的头部的转动而转动，还大概率不出现黑边。当将本申请中的方案应用在该种场景，使得用户能够根据显示效果较好的虚拟图像导航到目的地，用户的体验较好，导航的效果也较好。

本申请实施例中，当动作预测信息与用户在未来时刻的真实动作越匹配，则动作预测信息的准确度越高，基于该动作预测信息确定出的预测显示资源也就能对应更少的黑边。其中，动作预测信息的准确度与预测得到动作预测信息的时间和上报动作预测信息的数量相关，当预测得到动作预测信息的时间越接近未来时刻、上报动作预测信息的数量越多，则动作预测信息的准确度越高，当预测得到动作预测信息的时间越远离未来时刻、上报动作预测信息的数量越少，则动作预测信息的准确度越低。

基于此，本申请还可以利用多次上报动作预测信息来提高预测的准确度。下面分别从实施例二和实施例三介绍多次上报动作预测信息的两种可能的实施方式。

实施例二

图14示例性示出本申请实施例二提供的渲染方法对应的流程示意图，该方法可以应用于云端服务器和终端显示设备，例如图1A所示意出的云端服务器、终端设备和显示设备，或者图1B所示意出的云端服务器和终端显示设备。如图14所示，该方法可以包括：

步骤1401，终端显示设备在K时刻将K时刻对应的动作捕捉信息和K+5时刻对应的动作预测信息X₁₁发送给云端服务器。

步骤1402，终端显示设备在K+1时刻将K+1时刻对应的动作捕捉信息和K+5时刻对应的动作预测信息X₁₂发送给云端服务器。

步骤1403，终端显示设备在K+2时刻将K+2时刻对应的动作捕捉信息和K+5时刻对应的动作预测信息X₁₃发送给云端服务器。

本申请实施例中，上述步骤1401至步骤1403中的动作预测信息可以是在对应的时刻进行动作预测得到的，例如动作预测信息X₁₁是在K时刻预测K+5时刻的动作而得到，动作预测信息X₁₂是在K+1时刻预测K+5时刻的动作而得到，动作预测信息X₁₃是在K+2时刻预测K+5时刻的动作而得到。针对于K时刻、K+1时刻和K+2时刻中的每个时刻，云端服务器接收到该时刻对应的动作捕捉信息后，还可以根据该时刻的动作捕捉信息从初始显示资源中确定出当前显示资源，然后对当前显示资源进行基础渲染后发送给终端显示设备，以便终端显示设备刷新显示画面。

步骤1404，云端服务器根据K+5时刻对应的动作预测信息X₁₁、动作预测信息X₁₂和动作预测信息X₁₃，计算得到K+5时刻对应的目标动作预测信息。

在一种可选地实施方式中，云端服务器可以将动作预测信息X₁₁、动作预测信息X₁₂和动作预测信息X₁₃的加权平均值作为目标动作预测信息。其中，这三个动作预测信息对应的权重可以根据各自预测得到的时刻和时刻K+5的时间差进行设置，当预测得到动作预测信息的时刻与时刻K+5的时间差越小，则该动作预测信息预测的准确度越高，因此该动作预测信息预测的应的权重越大，当预测得到动作预测信息的时刻与时刻K+5的时间差越大，则该动作预测信息预测的准确度越低，因此该动作预测信息预测对应的权重越小。例如假设动作预测信息X₁₁、动作预测信息X₁₂和动作预测信息X₁₃的权重分别为w1、w2和w3，则由于预测得到动作预测信息X₁₁的时刻K与时刻K+5的时间差>预测得到动作预测信息X₁₂的时刻K+1与时刻K+5的时间差>预测得到动作预测信息X₁₃的时刻K+2与时刻K+5的时间差，因此可以设置w1<w2<w3，且w1、w2和w3的和值为1。这种情况下，目标动作预测信息可以为：w1*动作预测信息X₁₁+w2*动作预测信息X₁₂和w3*动作预测信息X₁₃。采用该种实施方式，在多次上报动作预测信息的情况下，对接近未来时刻的相对准确的动作预测信息设置较大的权重，对远离未来时刻的相对不准确的动作预测信息设置较小的权重，有助于使计算得到的目标动作预测信息更为准确。

可以理解的，“采用多个动作预测信息的加权平均值作为目标动作预测信息”仅是一种可选地实施方式，在其它可选地实施方式中，云端服务器也可以直接将动作预测信息X₁₁、动作预测信息X₁₂和动作预测信息X₁₃的平均值作为目标动作预测信息，具体不作限定。

步骤1405，云端服务器根据K+2时刻对应的动作捕捉信息从初始显示资源中确定出当前显示资源，根据K+5时刻对应的目标动作预测信息从初始显示资源中确定出预测显示资源，根据当前显示资源和预测显示资源确定目标显示资源，并对目标显示资源进行基础渲染。

在一种可选地实施方式中，若多个动作预测信息的差异程度不大于预设的差异程度，则说明每次预测得到的动作预测信息都基本相同，动作预测的准确度较好，这种情况下，可以直接将高质量的当前显示资源和高质量的预测显示资源作为目标显示资源，以在预测准确的情况下尽量提高用户的观看体验。若多次动作预测信息的差异程度大于预设的差异程度，则说明多次预测得到的动作预测信息存在明显不同，动作预测的准确度不高，这种情况下，可以将高质量的当前显示资源和低质量的预测显示资源作为目标显示资源，以在预测不准确的情况下尽量节省云端服务器的资源消耗。虽然这种情况下传输的是低质量的预测显示资源，但是低质量的预测显示资源也可以缓解黑边现象，只是用户观看到的显示画面不如传输高质量的预测显示资源来的清晰。

本申请实施例中，“在预测不准确的情况下将高质量的当前显示资源和低质量的预测显示资源作为目标显示资源”只是一种可选地实施方式，在其它可选地实施方式中，云端服务器也可以将高质量的当前显示资源和初始显示资源在各个方向上对应的部分低质量的显示资源作为目标显示资源，或者将高质量的当前显示资源和低质量的整个初始显示资源作为目标显示资源，具体不做限定。

在上述实施方式中，预设的差异程度可以由本领域技术人员根据经验进行设置。例如，在一个示例中，多个动作预测信息的差异程度不大于预设的差异程度，可以包括以下内容中的一项或多项：

任意两个动作预测信息的差值不大于第一预设差值，例如在第一预设差值为0.5度的情况下，任意两个时刻预测得到的转头角度之差都不大于0.5度；

任意两个动作预测信息的差值的平均值不大于第二预设差值；

多个动作预测信息的标准差不大于第三预设差值；

多个动作预测信息的方差不大于第四预设差异值。

对应的，多个动作预测信息的差异程度大于预设的差异程度，可以包括以下内容中的一项或多项：

存在两个动作预测信息的差值大于第一预设差值，例如在第一预设差值为0.5度的情况下，动作预测信息X₁₁为右转1度，动作预测信息X₁₂为右转1.6度；

存在两个动作预测信息的差值的平均值大于第二预设差值；

多个动作预测信息的标准差大于第三预设差值；

多个动作预测信息的方差大于第四预设差异值。

步骤1406，云端服务器将基础渲染后的目标显示资源发送给终端显示设备。

步骤1407，终端显示设备对基础渲染后的目标显示资源进行头动渲染，并使用头动渲染后的目标显示资源刷新显示画面。

在实施例二中，终端显示设备按照轮询方式执行渲染过程，在每个轮询周期的各个时刻都上报同一时刻的动作预测信息，且在每个轮询周期结束后，再开启下一个轮询周期。按照步骤1401至步骤1407中的方案，实施例二中上报动作预测信息的相关配置为：从每个轮询周期的第1个时刻开始，按照每个时刻上报一次的上报频率进行动作预测信息的上报操作，且一个轮询周期内上报3次后，开始下发对应的预测显示资源。这种情况下，如果轮询周期为5，则终端显示设备会在每个轮询周期的前3个时刻上报最后1个时刻的动作预测信息，如此，用户在每个轮询周期的最后1个时刻的观看体验较好。按照这种实施方式，如果轮询周期的时长设置的足够小，例如一个轮询周期为5ms，则由于5ms的时差对用户的感知并不敏感，因此用户的观看体验也能够一直较好。

本申请实施例中，可以通过以下方式中的一项或多项来设置上报动作预测信息和上报动作捕捉信息的相关配置，例如：

在一种可选地实施方式中，终端显示设备可以在app启动的同时向用户展示如图12D所示意的配置界面，并根据用户在该配置界面上输入的信息确定是否启动动作预测、何时启动动作预测、按照何种频率上报动作预测信息、是否进行动作捕捉、何时启动动作捕捉、按照何种频率上报动作捕捉信息。或者还可以根据用户的配置设置动作预测和动作捕捉的周期。

在另一种可选地实施方式中，终端显示设备可以接收云端服务器发送的高层指示信息，然后按照高层指示信息确定上述各项配置内容。

在又一种可选地实施方式中，终端显示设备可以自动识别用户正在使用的app的业务类型，并执行：

若确定属于弱交互的扩展现实(extended reality，XR)类业务(例如电影等视频类业务)，则由于用户在该类业务中基本不会发生转头等操作，因此终端显示设备可以直接关闭动作预测、不进行动作捕捉，或者可以开启动作预测、进行动作捕捉，但设置上报动作预测信息和动作捕捉信息的频率较小，以节省云端服务器的资源消耗；

若确定属于强交互的XR类业务(例如游戏类业务或直播类业务)，则由于用户该类业务中会频繁发生转头操作，因此终端显示设备可以开启动作预测、进行动作捕捉，并可以设置动作预测信息和动作捕捉信息的频率较大，例如终端显示设备调用云端传感器使其在每个时刻都上报该时刻的动作捕捉信息和一段时间后的动作预测信息，如此，云端服务器不仅能够提前将未来时刻的显示资源提供给终端显示设备以缓解黑边现象，还可以按照一个较小的周期向终端显示设备提供与当前时刻的动作匹配的显示资源，有助于终端显示设备及时刷新显示画面，提高用户的观看体验和转头体验；

若无法识别出app所属的业务类型，则在一种情况下，终端显示设备可以通过运动传感器实时检测用户的转头情况，若运动传感器的数据基本不发生变化，则说明用户基本不转头，这种情况下可以确定该业务类型属于弱交互的XR类业务，按照弱交互的XR类业务对应的方式设置上述各项配置内容。若运动传感器的数据频繁发生变化，则说明用户频繁转头，这种情况下可以确定该业务类型属于强交互的XR类业务，按照强交互的XR类业务对应的方式设置上述各项配置内容。在另一种情况下，终端显示设备也可以直接向用户显示如图12D所示意的配置界面，然后根据用户在该配置界面上输入的信息确定上述各项配置内容。另

实施例二中的方案能使用户在动作预测时刻看到的显示画面上没有黑边，但是可能并不能解决除了动作预测时刻之外的其它时刻的黑边现象，当轮询周期较大时，用户在其它时刻的观看体验可能并不好。实施例三中的方案可以解决上述问题。

实施例三

图15示例性示出本申请实施例三提供的渲染方法对应的流程示意图，该方法可以应用于云端服务器和终端显示设备，例如图1A所示意出的云端服务器、终端设备和显示设备，或者图1B所示意出的云端服务器和终端显示设备。如图15所示，该方法包括：

步骤1501，终端显示设备在Q时刻将Q时刻对应的动作捕捉信息和Q+5时刻对应的动作预测信息X₂₁发送给云端服务器。

步骤1502，终端显示设备在Q+1时刻将Q+1时刻对应的动作捕捉信息、Q+5时刻对应的动作预测信息X₂₂和Q+6时刻对应的动作预测信息X₃₁发送给云端服务器。

步骤1503，终端显示设备在Q+2时刻将Q+2时刻对应的动作捕捉信息、Q+5时刻对应的动作预测信息X₂₃、Q+6时刻对应的动作预测信息X₃₂发送给云端服务器和Q+7时刻对应的动作预测信息X₄₁发送给云端服务器。

步骤1504，云端服务器根据Q+5时刻对应的动作预测信息X₂₁、动作预测信息X₂₂和动作预测信息X₂₃确定Q+5时刻对应的目标动作预测信息。

步骤1505，云端服务器根据Q+2时刻对应的动作捕捉信息从初始显示资源中确定出当前显示资源，根据Q+5时刻对应的目标动作预测信息从初始显示资源中确定出预测显示资源，根据当前显示资源和预测显示资源确定目标显示资源，并对目标显示资源进行基础渲染。

步骤1506，云端服务器对目标显示资源进行基础渲染，将基础渲染后的目标显示资源发送给终端显示设备。

步骤1507，终端显示设备对基础渲染后的目标显示资源进行头动渲染，并使用头动渲染的目标显示资源刷新显示画面。

在实施例二中，云端服务器会在Q+2时刻及以后的每个时刻，根据之前3个时刻分别上报的未来时刻的动作预测信息确定未来时刻的预测显示资源，并提前将预测显示资源发送给终端显示设备。例如，云端服务器会在Q+2时刻后根据Q时刻、Q+1时刻和Q+2时刻分别上报的Q+5时刻对应的3个动作预测信息，确定出Q+5时刻对应的预测显示资源并提前发送给终端显示设备，还会存储Q+1时刻和Q+2时刻分别上报的Q+6时刻对应的动作预测信息，后续在Q+3时刻后结合Q+3时刻上报的Q+6时刻对应的动作预测信息，确定出Q+6时刻对应的预测显示资源并提前发送给终端显示设备，依次类推。显然的，这种方式除了在起始的第1个时刻只上报1个动作预测信息、以及在起始的第2个时刻只上报2个动作预测信息以外，在后续的每个时刻都会上报3个动作预测信息，且最多上报3个动作预测信息。如此，虽然后续每个时刻上报的数据较多，但是这种方式从第3个时刻开始后续每个时刻都可以预先将对应的预测显示数据发送给终端显示设备，因此终端显示设备在Q+2时刻以及后续每个时刻的显示画面中的黑边现象都能得到缓解，相比与实施例二中的方案来说，实施例三中的方案下用户的观看体验和转头体验更好。

上述实施例二和实施例三都是直接根据终端显示设备上报的动作预测信息来确定预测显示资源，这种方式下的显示画面依赖于动作预测信息的准确性，如果动作预测信息不准确，则对应的预测显示资源与用户的实际动作可能并不匹配，导致显示画面不符合用户的实际转头情况。基于此，参见实施例四，本申请还提供一种渲染方法，该方法结合其它终端显示设备上报的用户动作信息来综合确定目标显示资源，有助于使目标显示资源更符合用户的实际转头情况。

实施例四

图16示例性示出本申请实施例四提供的渲染方法对应的交互流程示意图，该方法可以应用于云端服务器、第一终端显示设备和第二终端显示设备，其中，第一终端显示设备和第二终端显示设备可以分别与云端服务器连接，第一终端显示设备和云端服务器、或者第二终端显示设备和云端服务器可以按照图1A所示意出的系统架构连接，也可以按照图1B所示意出的系统架构连接。如图16所示，该方法可以包括：

步骤1601，一个或多个第一终端显示设备向云端服务器上报第一时刻的学习数据，每个第一终端显示设备上报的第一时刻的学习数据用于指示穿戴该第一终端显示设备的用户在第一时刻的真实动作信息。

本申请实施例中，时刻又可以称为帧，具体是指用户所使用的app中的时刻，例如当用户在使用视频app看电影时，某个时刻对应为从电影开始播放至结束播放的时长中的某个时刻，而并不是指现实中的时刻。为了便于理解，下列实施例以看电影为例进行介绍。

在一种可选地实施方式中，每个第一终端显示设备发送的第一时刻的学习数据可以包括穿戴该第一终端显示设备的用户在第一时刻的动作预测信息和动作预测误差信息。当用户使用该第一终端显示设备时，若第一终端显示设备检测到开启了动作预测且第一时刻为其中一个预测时刻，则第一终端显示设备会在第一时刻之前自动将用户在第一时刻的动作预测信息上报给云端服务器，云端服务器一方面可以使用该动作预测信息确定出第一时刻的目标显示资源以执行实施例一至实施例三的任一实施例中的渲染方案，另一方面还可以将用户在第一时刻的动作预测信息存储在内部存储空间。进一步的，第一终端显示设备还会判断用户是否同意参加VR体验项目，若用户同意参加，则在第一时刻到来时，第一终端显示设备还会调用运动传感器获取用户在第一时刻的动作捕捉信息，计算第一时刻的动作预测信息与动作捕捉信息的差值得到第一时刻的动作预测误差信息，并上报给云端服务器。这种情况下，云端服务器可以根据之前存储的用户在第一时刻的动作预测信息和该动作预测误差信息确定出用户在第一时刻的真实动作信息。示例来说，当用户在第一时刻的动作预测信息为右转5度，而用户在第一时刻的动作预测误差信息为2度，则可以确定用户在第一时刻的真实动作信息为右转3度。

可以理解的，“学习数据包括用户在第一时刻的动作预测信息和动作预测误差信息”只是一种可选地实施方式，在另一种可选地实施方式中，在确定用户同意参加VR体验项目的情况下，第一终端显示设备也可以直接将用户在第一时刻的动作捕捉信息上报给云端服务器，这种情况下，学习数据直接包括用户在第一时刻的动作捕捉信息，云端服务器根据用户在第一时刻的动作捕捉信息可以直接确定用户在第一时刻的真实动作。在又一种可选地实施方式中，第一终端显示设备也可以将用户使用初始显示资源的全部反馈信息作为学习数据上报给云端服务器，例如用户使用第一终端显示设备观看整部电影视频的全部动作信息，或者用户使用第一终端显示设备打游戏的全部动作信息等。

本申请实施例中，“用户是否同意参加VR体验项目”具体可以通过高层配置信息来指示，或者也可以由用户自行配置。当用户自行配置时，第一终端显示设备可以在初次开机、或用户触发启动某个app、或用户点击VR体验项目的权限配置按钮时，向用户显示出VR体验项目的配置界面，用户可以在该配置界面上按照自己的需求输入配置信息。当用户同意参加VR体验项目，则说明用户允许该第一终端显示设备将自己使用该设备的VR动作信息上报给云端服务器，且同意云端服务器根据其它终端显示设备的VR动作信息改善该第一终端显示设备预测用户动作的准确度。当用户不参加VR体验项目，则说明用户不允许该第一终端显示设备将自己使用该设备的VR动作信息上报给云端服务器，相对的云端服务器也不会根据其它终端显示设备的VR动作信息改善该第一终端显示设备预测用户动作的准确度。通过用户自己决定是否将VR动作信息上报给云端服务器，能够在观看体验的情况下兼顾到用户的隐私保护意识。

步骤1602，云端服务器根据各第一终端显示设备上报的第一时刻的学习数据，训练得到预测模型。

本申请实施例中，预测模型的类型可以由本领域技术人员根据经验进行设置，例如可以包括但不限于以下几种：

(1)神经网络模型：云端服务器可以预先定义一个包含多个可学习参数(又称为权重)的初始神经网络模型，初始神经网络模型中包括多层网络结构，在接收到各个学习数据后，使用学习数据进行迭代计算，并通过多层网络结构来处理学习数据，以计算得到输出值与目标值的损失值，将损失值反向传播梯度到初始神经网络模型的参数中，根据预设的更新规则来更新初始神经网络模型得到训练好的神经网络模型。

(2)分类模型：可以包括监督学习模型、半监督学习模型或无监督学习模型。若预测模型为监督学习模型，则云端服务器可以先对每个学习数据进行标记，然后采用支持向量机算法、线性判别算法、决策树算法或朴素贝叶斯算法中的一种或多种训练标记好的学习数据得到监督学习模型。若预测模型为半监督学习模型，则云端服务器可以先对部分学习数据进行标记，然后采用支持向量机算法训练标记的学习数据和未标记的学习数据得到半监督学习模型。若预测模型为无监督学习模型，则云端服务器可以直接采用k-聚类算法或主成分分析算法训练未标记的学习数据得到无监督学习模型。

(3)拟合模型：拟合模型的类型可以为多项式模型、线性回归模型或b样条模型等。云端服务器可以预先定义一个包含多个未知参数的初始拟合模型，该初始拟合模型的自变量为时刻，因变量为时刻对应的真实动作信息，在接收到各个学习数据后，云端服务器可以将各个学习数据中的同一时刻及同一时刻对应的真实动作信息代入初始拟合模型，解出各个未知参数，如此，将解出的各个未知参数代入初始拟合模型可以得到预测模型。

本申请实施例中，当第一终端显示设备的数量越多，则学习数据的数据量越大，结合大量的学习数据训练得到的预测模型能够综合考虑到各个用户的特征，从而预测模型的准确度相对越高。然而，如果学习数据的数据量非常大，则训练预测模型可能需要较长时间，导致训练效率较低。基于此，在一种可选地实施方式中，若各学习数据的总数据量不大于预设的数据量阈值，则云端服务器可以直接使用各学习数据训练得到预测模型，若各学习数据的总数据量大于预设的数据量阈值，则云端服务器可以先将各学习数据划分为多个子学习数据，并采用多个线程分别训练多个子学习数据得到多个子预测模型，再聚合多个子预测模型得到预测模型，这种方式能够提高模型训练的效率。

本申请实施例中，预测模型还可以进行实时更新，例如当有新的第一终端显示设备加入VR体验项目，或者当旧的第一终端显示设备有新的学习数据时，云端服务器可以使用新的第一终端显示设备上报上来的学习数据或旧的第一终端显示设备上报的新的学习数据更新预测模型，或者也可以结合这些新的学习数据和之前获取到的学习数据重新训练预测模型，具体不作限定。

在一种可选地实施方式中，不同的业务类型可以对应不同的预测模型。示例来说，研发人员可以提前归类好每个app的使用场景，每个第一终端显示设备在上报某个app的学习数据时，还可以将对应的使用场景上报给云端服务器，对应的，云端服务器接收到各个第一终端显示设备上报的学习数据和应用场景后，可以先根据应用场景将属于同一应用场景的学习数据归类在一起，再使用每个应用场景的学习数据训练得到每个应用场景所对应的预测模型。在另一种可选地实施方式中，考虑到不同用户可能存在不同的转头习惯(例如有的用户右转头时习惯向右下侧转头，而有的用户习惯向右上侧转头)，因此云端服务器也可以针对于每个用户定制专属的预测模型。在构建某一用户专属的预测模型时，云端服务器可以获取该用户使用各种类型业务的app所对应的学习数据，并对这些学习数据中的特征进行提取，根据该特征建立该用户专属的预测模型，这种情况下构建的该用户专属的预测模型适用于预测该用户在各种类型业务下的真实动作信息。在又一种可选地实施方式中，还可以针对于每个用户构建每个用户在每个业务类型下的预测模型，这种情况下，每个用户可以对应多个模型，后续在预测该用户在某一业务类型下的动作时，可以直接使用该用户在业务类型下对应的预测模型进行预测，这种方式能够使预测模型兼顾到用户特征和业务特征，预测模型的预测效果较好。

步骤1603，第二终端显示设备在第一时刻之前的一个时刻或多个时刻向云端服务器发送穿戴第二终端显示设备的用户在第一时刻的动作预测信息X₅₁。

步骤1604，云端服务器判断第二终端显示设备是否开启VR体验项目：

在第二终端显示设备未开启VR体验项目的情况下，执行步骤1605；

在第二终端显示设备开启VR体验项目的情况下，执行步骤1606。

步骤1605，云端服务器使用动作预测信息X₅₁确定第一时刻对应的预测显示资源。

本申请实施例中，当第二终端显示设备未开启VR体验项目，则用户既不希望使用动作预测信息X₅₁优化预测模型，也无需使用预测模型优化观看体验，这种情况下，动作预测信息X₅₁用于直接确定用户在第一时刻对应的预测显示资源，预测显示资源的准确度依赖于第二终端设备上报的动作预测信息X₅₁的准确度。根据动作预测信息X₅₁确定预测显示资源的具体实现过程可以参照实施例一，此处不再赘述。

步骤1606，云端服务器使用预测模型确定穿戴第二终端显示设备的用户在第一时刻对应的动作预测信息X₅₂：

若动作预测信息X₅₁仅用于VR体验项目，则执行步骤1607；

若动作预测信息X₅₁同时用于VR体验项目和预测，则执行步骤1608。

在一种可选地实施方式中，动作预测信息X₅₁仅用于VR体验项目还是同时用于VR体验项目和预测，可以由使用第二终端显示设备的用户来指示，或者可以由云端服务器中的预设配置来决定。其中，预设配置可以直接指示出一种配置，这种情况下，该预设配置适用于每个第二终端显示设备。或者，预设配置也可以指示出每个第二终端显示设备所对应的配置，这种情况下，不同的第二终端显示设备发送的动作预测信息X₅₁可能对应为不同的配置。

步骤1607，云端服务器根据动作预测信息X₅₂确定第一时刻对应的预测显示资源。

本申请实施例中，在第二终端显示设备开启VR体验项目的情况下，若动作预测信息X₅₁仅用于VR体验项目，则说明用户希望直接使用预测模型预测用户的动作来优化观看体验，而第二终端显示设备上报的动作预测信息X₅₁只用于优化预测模型，而不用于优化观看体验。这种情况下，云端服务器可以直接获取预测模型预测得到的用户在第一时刻的动作预测信息X₅₂，将动作预测信息X₅₂对应的全部数据流或部分数据流确定为预测显示资源。显然地，在这种方式下，预测显示资源的准确度依赖于预测模型的准确度。

步骤1608，云端服务器根据动作预测信息X₅₁和动作预测信息X₅₂确定第一时刻对应的预测显示资源。

本申请实施例中，在第二终端显示设备开启VR体验项目的情况下，若动作预测信息X₅₁同时用于VR体验项目和预测，则说明用户希望综合预测模型和第二终端显示设备上报的动作预测信息X₅₁来预测用户的动作。这种情况下，云端服务器可以先根据动作预测信息X₅₁和动作预测信息X₅₂确定出目标动作预测信息，再将目标动作预测信息对应的全部数据流或部分数据流作为第一时刻对应的预测显示资源。这种方式综合使用预测模型和动作预测信息X₅₁来预测用户的动作，从而预测显示资源的准确度能够同时依赖于预测模型的准确度和动作预测信息X₅₁的准确度，由于最后的预测显示资源由两部分信息综合得到，而不仅仅依赖于预测模型或动作预测信息X₅₁，因此这种方式能够降低预测显示资源预测不准确的概率，有助于缓解黑边问题。

在一种可选地实施方式中，云端服务器可以将动作预测信息X₅₁和动作预测信息X₅₂的加权平均值作为目标动作预测信息，例如在动作预测信息X₅₁包括动作预测信息X₅₁₁、动作预测信息X₅₁₂和动作预测信息X₅₁₃的情况下，目标动作预测信息可以为：t1*动作预测信息X₅₁₁+t2*动作预测信息X₅₁₂+t3*动作预测信息X₅₁₃+t4*动作预测信息X₅₂，t1、t2、t3和t4分别为动作预测信息X₅₁₁、动作预测信息X₅₁₂和动作预测信息X₅₁₃和动作预测信息X₅₂对应的权重，且t1、t2、t3和t4的和值为1。其中，t1、t2、t3的值可以基于动作预测信息X₅₁₁、动作预测信息X₅₁₂和动作预测信息X₅₁₃与第一时刻的时间差进行设置，例如若动作预测信息X₅₁₁与第一时刻的时间差、动作预测信息X₅₁₂与第一时刻的时间差、动作预测信息X₅₁₃与第一时刻的时间差依次变小，则t1<t2<t3。而t4的值可根据训练预测模型时所使用的学习数据的数据量来确定，当学习数据的数据量较大时，说明预测模型的准确度较高，因此t4可以设置为较大的值，例如大于t3。当学习数据的数据量较小时，预测模型的准确度较低，因此t4可以设置为较小的值，例如小于t1。

在上述步骤1606或步骤1608中，由于穿戴第二终端显示设备的用户同意VR体验项目，因此第二终端显示设备还可以在第一时刻调用运动传感器采集该用户在第一时刻的动作捕捉信息，根据该动作捕捉信息和动作预测信息X₅₁确定出该用户在第一时刻的动作预测误差信息，然后将该动作预测误差信息发送给云端服务器，以使云端服务器利用该用户在第一时刻的动作预测信息X₅₁和动作预测误差信息更新预测模型，提高预测模型的预测效果。

步骤1609，云端服务器在第一时刻之前将基础渲染后的预测显示资源发送给第二终端显示设备。

步骤1610，第二终端显示设备对基础渲染后的预测显示资源进行头动渲染，并使用头动渲染后的预测显示资源刷新显示画面。

在实施例四中，云端服务器可以预先根据多个第一终端显示设备的学习数据建立预测模型，后续利用预测模型优化第二终端显示设备的预测显示资源，这种方式相比于只根据第二终端显示设备上报的动作预测信息确定预测显示资源的方式来说，能够降低预测显示资源的主观性，缓解由于第二终端显示设备上报不准确的动作预测信息而导致无法解决显示画面的黑边现象的问题。更进一步的，在此基础上，若利用预测模型和第二终端显示设备上报的动作预测信息来综合确定预测显示资源，则还能够使预测显示资源更为全面，避免只采用某一方数据确定预测显示资源而导致预测显示资源不准确的问题，有效解决显示画面的黑边现象。

需要说明的是，上述各个信息的名称仅仅是作为示例，随着通信技术的演变，上述任意信息均可能改变其名称，但不管其名称如何发生变化，只要其含义与本申请上述信息的含义相同，则均落入本申请的保护范围之内。

上述主要从各个网元之间交互的角度对本申请提供的方案进行了介绍。可以理解的是，上述实现各网元为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

根据前述方法，图17为本申请实施例提供的数据渲染装置的结构示意图，如图17所示，该数据渲染装置可以为终端显示设备或服务器，也可以为芯片或电路，比如可设置于终端显示设备内的芯片或电路，再比如可设置于服务器内的芯片或电路。

进一步的，该数据渲染装置1701还可以进一步包括总线系统，其中，处理器1702、存储器1704、收发器1703可以通过总线系统相连。

应理解，上述处理器1702可以是一个芯片。例如，该处理器1702可以是现场可编程门阵列(field programmable gate array，FPGA)，可以是专用集成芯片(applicationspecific integrated circuit，ASIC)，还可以是系统芯片(system on chip，SoC)，还可以是中央处理器(central processor unit，CPU)，还可以是网络处理器(networkprocessor，NP)，还可以是数字信号处理电路(digital signal processor，DSP)，还可以是微控制器(micro controller unit，MCU)，还可以是可编程控制器(programmable logicdevice，PLD)或其他集成芯片。

在实现过程中，上述方法的各步骤可以通过处理器1702中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器1702中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1704，处理器1702读取存储器1704中的信息，结合其硬件完成上述方法的步骤。

应注意，本申请实施例中的处理器1702可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解，本申请实施例中的存储器1704可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double datarate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

该数据渲染装置1701对应上述方法中的终端显示设备的情况下，该数据渲染装置可以包括处理器1702、收发器1703和存储器1704。该存储器1704用于存储指令，该处理器1702用于执行该存储器1704存储的指令，以实现如上图1A至图16中所示的任一项或任多项对应的方法中终端显示设备的相关方案。

当数据渲染1701为上述终端显示设备，数据渲染1701可以用于执行上述实施例一至实施例四中任一实施例中终端显示设备所执行的方法。

该数据渲染装置1701为上述终端显示设备，且执行实施例一时，处理器1702预测得到用户在未来时刻的动作预测信息，动作预测信息用于指示用户在未来时刻的动作。收发器1703向服务器发送第一信息，在未来时刻到来之前，接收服务器发送的第二信息，第一信息中包括动作预测信息，第二信息中包括基础渲染后的动作预测信息对应的预测显示资源。处理器1702还在未来时刻到来之前或未来时刻到来时，使用预测显示资源刷新显示画面。

该数据渲染装置1701对应上述方法中的服务器的情况下，该数据渲染装置可以包括处理器1702、收发器1703和存储器1704。该存储器1704用于存储指令，该处理器1702用于执行该存储器1704存储的指令，以实现如上图1A至图16中所示的任一项或任多项对应的方法中终端显示设备的相关方案。

当数据渲染装置1701为上述服务器，数据渲染装置1701可以用于执行上述实施例一至实施例四中任一实施例中服务器所执行的方法。

该数据渲染装置1701为上述服务器，且执行实施例一时，收发器1703接收终端显示设备发送的第一信息，该第一信息中包括用户在未来时刻的动作预测信息，动作预测信息用于指示用户在未来时刻的动作。处理器1702从初始显示资源中确定出动作预测信息对应的预测显示资源，并对预测显示资源进行基础渲染。收发器1703还在未来时刻到来之前，向终端显示设备发送第二信息，该第二信息中包括基础渲染后的预测显示资源。

该数据渲染1701所涉及的与本申请实施例提供的技术方案相关的概念，解释和详细说明及其他步骤请参见前述方法或其他实施例中关于这些内容的描述，此处不做赘述。

根据前述方法，图18为本申请实施例提供的数据渲染装置的结构示意图，如图18所示，数据渲染装置1801可以包括通信接口1803、处理器1802和存储器1804。所述通信接口1803，用于输入和/或输出信息；所述处理器1802，用于执行计算机程序或指令，使得数据渲染装置1801实现上述图1A至图16的相关方案中终端显示设备侧的方法，或使得数据渲染装置1801实现上述图1A至图16的相关方案中服务器侧的方法。本申请实施例中，通信接口1803可以实现上述图17的收发器1703所实现的方案，处理器1802可以实现上述图17的处理器1702所实现的方案，存储器1804可以实现上述图17的存储器1704所实现的方案，在此不再赘述。

基于以上实施例以及相同构思，图19为本申请实施例提供的数据渲染装置的示意图，如图19所示，该数据渲染装置1901可以为终端显示设备或服务器，也可以为芯片或电路，比如可设置于终端显示设备或服务器的芯片或电路。

该数据渲染装置1901可以对应上述方法中的终端显示设备。该数据渲染装置1901可以实现如上图1A至图16中所示的任一项或任多项对应的方法中终端显示设备所执行的步骤。该数据渲染装置1901可以包括处理单元1902和收发单元1903。

当数据渲染装置1901为上述终端显示设备，数据渲染装置1901可以用于执行上述实施例一至实施例四中任一实施例中终端显示设备所执行的方法。

该数据渲染装置1901为上述终端显示设备，且执行实施例一时，处理单元1902预测得到用户在未来时刻的动作预测信息，动作预测信息用于指示用户在未来时刻的动作。收发单元1903向服务器发送第一信息，在未来时刻到来之前，接收服务器发送的第二信息，第一信息中包括动作预测信息，第二信息中包括基础渲染后的动作预测信息对应的预测显示资源。处理单元1902还在未来时刻到来之前或未来时刻到来时，使用预测显示资源刷新显示画面。

该数据渲染装置1901可以对应上述方法中的服务器。该数据渲染装置1901可以实现如上图1A至图16中所示的任一项或任多项对应的方法中服务器所执行的步骤。该数据渲染装置可以包括处理单元1902和收发单元1903。

当数据渲染装置1901为上述服务器，数据渲染装置1901可以用于执行上述实施例一至实施例四中任一实施例中服务器所执行的方法。

该数据渲染装置1901为上述服务器，且执行实施例一时，收发单元1903接收终端显示设备发送的第一信息，该第一信息中包括用户在未来时刻的动作预测信息，动作预测信息用于指示用户在未来时刻的动作。处理单元1902从初始显示资源中确定出动作预测信息对应的预测显示资源，并对预测显示资源进行基础渲染。收发单元1903还在未来时刻到来之前，向终端显示设备发送第二信息，该第二信息中包括基础渲染后的预测显示资源。

该数据渲染装置1901所涉及的与本申请实施例提供的技术方案相关的概念，解释和详细说明及其他步骤请参见前述方法或其他实施例中关于这些内容的描述，此处不做赘述。

可以理解的是，上述数据渲染装置1901中各个单元的功能可以参考相应方法实施例的实现，此处不再赘述。

应理解，以上数据渲染装置1901的单元的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。本申请实施例中，收发单元1903可以由上述图17的收发器1703实现，处理单元1902可以由上述图17的处理器1702实现。

根据本申请实施例提供的方法，本申请还提供一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行图1A至图16所示实施例中任意一个实施例的方法。

根据本申请实施例提供的方法，本申请还提供一种计算机可读存储介质，该计算机可读介质存储有程序代码，当该程序代码在计算机上运行时，使得该计算机执行图1A至图16所示实施例中任意一个实施例的方法。

根据本申请实施例提供的方法，本申请还提供一种系统，其包括前述的一个或多个终端显示设备以及一个或多个网络设备。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disc，SSD))等。

上述各个装置实施例中网络设备与终端设备和方法实施例中的网络设备或终端设备对应，由相应的模块或单元执行相应的步骤，例如通信单元(收发器)执行方法实施例中接收或发送的步骤，除发送、接收外的其它步骤可以由处理单元(处理器)执行。具体单元的功能可以参考相应的方法实施例。其中，处理器可以为一个或多个。

在本说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在两个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据，例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各种说明性逻辑块(illustrative logical block)和步骤(step)，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (22)

1.一种数据渲染方法，其特征在于，所述方法应用于服务器，所述方法包括：

接收终端显示设备发送的第一信息，所述第一信息中包括用户在未来时刻的第一动作预测信息；所述第一动作预测信息用于指示所述用户在所述未来时刻的动作；

从初始显示资源中确定出所述第一动作预测信息对应的预测显示资源，并对所述预测显示资源进行基础渲染；

在所述未来时刻到来之前，向所述终端显示设备发送第二信息，所述第二信息中包括基础渲染后的所述预测显示资源。

2.如权利要求1所述的方法，其特征在于，所述初始显示资源被划分为多个数据流；

所述从初始显示资源中确定出所述第一动作预测信息对应的预测显示资源，包括：

当所述服务器的可用资源不小于第一资源阈值，则将所述第一动作预测信息对应的全部数据流作为所述预测显示资源；

当所述服务器的可用资源小于所述第一资源阈值，则将所述第一动作预测信息对应的部分数据流作为所述预测显示资源。

3.如权利要求1或2所述的方法，其特征在于，所述第一信息还包括所述用户在第一时刻的动作捕捉信息；所述第一时刻为预测得到所述第一动作预测信息的时刻，所述动作捕捉信息用于指示所述用户在所述第一时刻的动作；

所述对所述预测显示资源进行基础渲染之前，还包括：

从所述初始显示资源中确定出所述动作捕捉信息对应的当前显示资源；

所述对所述预测显示资源进行基础渲染，在所述未来时刻到来之前，向所述终端显示设备发送第二信息，包括：

根据所述当前显示资源和所述预测显示资源，确定目标显示资源，并对所述目标显示资源进行基础渲染；

在所述未来时刻到来之前，向所述终端显示设备发送第二信息，所述第二信息中包括基础渲染后的所述目标显示资源。

4.如权利要求3所述的方法，其特征在于，所述初始显示资源被划分为多个数据流；

所述根据所述当前显示资源和所述预测显示资源，确定目标显示资源，包括：

将所述当前显示资源对应的全部数据流、以及所述预测显示资源对应的全部或部分数据流作为所述目标显示资源；或者，

重新划分所述初始显示资源，使重新划分后的当前显示资源对应的数据流包括所述预测显示资源对应的全部或部分数据流，将所述重新划分后的当前显示资源作为所述目标显示资源。

5.如权利要求4所述的方法，其特征在于，所述将所述当前显示资源对应的全部数据流、以及所述预测显示资源对应的全部或部分数据流作为所述目标显示资源，包括：

若所述服务器的可用资源不小于第二资源阈值，则将所述当前显示资源的全部数据流、以及所述预测显示资源的全部或部分数据流作为所述目标显示资源；

若所述服务器的可用资源小于所述第二资源阈值，则降低所述预测显示资源的分辨率，并将所述当前显示资源的全部数据流、以及降低分辨率后的所述预测显示资源的全部或部分数据流作为所述目标显示资源。

6.如权利要求1至5中任一项所述的方法，其特征在于，所述接收终端显示设备发送的第一信息，包括：

接收所述终端显示设备发送的至少两个时刻分别对应的第一信息；所述至少两个时刻早于所述未来时刻，所述至少两个时刻中的每个时刻对应的第一信息包括在所述时刻预测得到的所述用户在未来时刻的第一动作预测信息；

所述从初始显示资源中确定出所述第一动作预测信息对应的预测显示资源，包括：

根据所述至少两个时刻分别对应的第一动作预测信息，得到所述用户在所述未来时刻的目标动作预测信息；

根据所述未来时刻的目标动作预测信息，从所述初始显示资源中确定出所述预测显示资源。

7.如权利要求6所述的方法，其特征在于，根据所述至少两个时刻分别对应的第一动作预测信息，得到所述用户在所述未来时刻的目标动作预测信息，包括：

对所述至少两个时刻分别对应的第一动作预测信息进行加权求平均，得到所述用户在所述未来时刻的目标动作预测信息；其中，针对于所述至少两个时刻中的每个时刻，当所述时刻距离所述未来时刻的时间差越大，则所述时刻对应的第一动作预测信息的权重越大。

8.如权利要求6或7所述的方法，其特征在于，所述对所述预测显示资源进行基础渲染，包括：

若所述至少两个时刻分别对应的第一动作预测信息的差异程度不大于预设的差异程度，则对所述预测显示资源进行基础渲染；

若所述至少两个时刻分别对应的第一动作预测信息的差异程度大于所述预设的差异程度，则降低所述预测显示资源的分辨率，并对降低分辨率后的所述预测显示资源进行基础渲染。

9.如权利要求1至8中任一项所述的方法，其特征在于，所述从初始显示资源中确定出所述第一动作预测信息对应的预测显示资源，包括：

使用预测模型确定所述用户在所述未来时刻的第二动作预测信息；

对所述第一动作预测信息和所述第二动作预测信息进行加权平均，根据加权平均后的动作预测信息，从所述初始显示资源中确定出所述预测显示资源；

其中，所述预测模型为使用一个或多个终端显示设备上报的学习数据训练得到的，每个终端显示设备上报的学习数据用于指示穿戴所述终端显示设备的用户在所述未来时刻的真实动作；当训练得到所述预测模型的学习数据越多，则所述第二动作预测信息的权重越大。

10.如权利要求9所述的方法，其特征在于，所述根据所述第一动作预测信息和所述第二动作预测信息，从所述初始显示资源中确定出所述预测显示资源之前，还包括：

将所述第一动作预测信息用于学习和预测。

11.如权利要求10所述的方法，其特征在于，当所述第一动作预测信息仅用于学习，则：

从所述初始显示资源中确定出所述第二动作预测信息对应的所述预测显示资源。

12.一种数据渲染方法，其特征在于，所述方法应用于终端显示设备，所述方法包括：

预测得到用户在未来时刻的第一动作预测信息，所述第一动作预测信息用于指示所述用户在所述未来时刻的动作；

向服务器发送第一信息，所述第一信息中包括所述第一动作预测信息；

在所述未来时刻到来之前，接收所述服务器发送的第二信息，所述第二信息中包括基础渲染后的所述动作预测信息对应的预测显示资源；

在所述未来时刻到来之前或在所述未来时刻时，使用所述预测显示资源刷新显示画面。

13.如权利要求12所述的方法，其特征在于，所述向服务器发送第一信息之前，还包括：

检测所述用户在第一时刻的动作捕捉信息；

所述第一信息中还包括所述动作捕捉信息，所述第二信息中还包括所述动作捕捉信息对应的当前显示资源；

所述在所述未来时刻到来之前或在所述未来时刻时，使用所述预测显示资源刷新显示画面，包括：

在所述未来时刻到来之前，根据所述当前显示资源和所述预测显示资源生成超视角的显示画面，并显示所述超视角的显示画面；所述超视角的显示画面的视角范围大于预设的视角范围；或者，

在所述未来时刻到来时，根据所述当前显示资源和所述预测显示资源刷新预设的视角范围内的显示画面。

14.如权利要求12或13所述的方法，其特征在于，所述预测得到用户在未来时刻的第一动作预测信息，向服务器发送第一信息，包括：

在至少两个时刻分别预测得到所述用户在所述未来时刻的动作预测信息；所述至少两个时刻早于所述未来时刻；

分别向所述服务器发送所述至少两个时刻的每个时刻对应的第一信息，所述每个时刻对应的第一信息包括在所述时刻预测得到的所述用户在未来时刻的第一动作预测信息。

15.一种数据渲染系统，其特征在于，包括：

终端显示设备，用于预测得到用户在未来时刻的第一动作预测信息，并向服务器发送第一信息；其中，所述第一动作预测信息用于指示所述用户在所述未来时刻的动作，所述第一信息中包括所述第一动作预测信息；

服务器，用于接收所述第一信息，并从初始显示资源中确定出所述第一信息中的所述第一动作预测信息对应的预测显示资源，对所述预测显示资源进行基础渲染，在所述未来时刻到来之前，向所述终端显示设备发送第二信息；其中，所述第二信息中包括基础渲染后的所述预测显示资源；

所述终端显示设备，还用于在所述未来时刻到来之前或在所述未来时刻时，使用所述预测显示资源刷新显示画面。

16.如权利要求15所述的数据渲染系统，其特征在于，

所述终端显示设备在向所述服务器发送所述第一信息之前，还用于：检测所述用户在第一时刻的动作捕捉信息，并将所述动作捕捉信息携带在所述第一信息中；其中，所述第一时刻为预测得到所述第一动作预测信息的时刻；

所述服务器在接收到所述第一信息之后、发送所述第二信息之前，还用于：从所述初始显示资源中确定出所述动作捕捉信息对应的当前显示资源，根据所述当前显示资源和所述预测显示资源，确定目标显示资源，并对所述目标显示资源进行基础渲染，将所述基础渲染后的所述目标显示资源携带在所述第二信息中；

所述终端显示设备在接收到所述第二信息之后，还用于：在所述未来时刻到来之前，根据所述当前显示资源和所述预测显示资源生成超视角的显示画面，并显示所述超视角的显示画面，所述超视角的显示画面的视角范围大于预设的视角范围；或者，在所述未来时刻到来时，根据所述当前显示资源和所述预测显示资源刷新预设的视角范围内的显示画面。

17.如权利要求15或16所述的数据渲染系统，其特征在于，

所述终端显示设备还用于：在至少两个时刻分别预测得到所述用户在所述未来时刻的动作预测信息，并分别向所述服务器发送所述至少两个时刻中的每个时刻对应的第一信息；其中，所述至少两个时刻早于所述未来时刻，所述至少两个时刻中的每个时刻对应的第一信息包括在所述时刻预测得到的所述用户在所述未来时刻的第一动作预测信息；

所述服务器还用于：根据所述至少两个时刻分别对应的第一动作预测信息，得到所述用户在所述未来时刻的目标动作预测信息，根据所述未来时刻的目标动作预测信息，从所述初始显示资源中确定出所述预测显示资源。

18.一种数据渲染装置，其特征在于，包括处理器和通信接口，所述通信接口用于接收来自所述数据渲染装置之外的其它通信装置的信号并传输至所述处理器或将来自所述处理器的信号发送给所述数据渲染装置之外的其它通信装置，所述处理器通过逻辑电路或执行代码指令用于实现如权利要求1至11中任一项、或12至14中任一项所述的数据渲染方法。

19.一种数据渲染装置，其特征在于，包括处理器，所述处理器与存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述数据渲染装置执行如权利要求1至11中任一项、或12至14中任一项所述的数据渲染方法。

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被运行时，实现如权利要求1至11中任一项、或12至14中任一项所述的数据渲染方法。

21.一种芯片，其特征在于，包括处理器和接口；

所述处理器用于通过所述接口读取指令以执行权利要求1至11中任一项、或12至14中任一项所述的数据渲染方法。

22.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序或指令，当所述计算机程序或指令被通信装置执行时，实现如权利要求1至11中任一项、或12至14中任一项所述的数据渲染方法。

Images