CN116260802B - 数据传输方法、装置及系统 - Google Patents

Abstract

本申请提供了一种数据传输方法、装置及系统，该方法包括：获取设置在数字人渲染设备和数字人显示设备之间的一级缓存区的缓存信息，并获取设置在所述数字人显示设备上的二级缓存区的缓存信息；基于所述一级缓存区的缓存信息和所述二级缓存区的缓存信息，来确定向所述数字人显示设备发送音视频数据的发送速率；基于所确定的发送速率，向所述数字人显示设备发送所述音视频数据。本申请解决了由于虚拟数字人的音视频数据传输时速率不适当而造成的数据出现延迟和卡顿的技术问题。

Description

数据传输方法、装置及系统

技术领域

本申请涉及数据传输技术领域，具体而言，涉及一种虚拟数字人的数据传输方法、装置及系统。

背景技术

随着虚拟数字人直播技术的不断发展，越来越多的人们开始关注和追求虚拟数字人直播的娱乐和社交体验。虚拟数字人直播平台提供了一个互动交流的空间，人们可以在这里结交朋友、分享兴趣、展示才华，甚至可以通过虚拟数字人直播获得收入。虚拟数字人直播已经成为了一个新兴的行业，吸引了越来越多的用户和投资。

基于云端渲染的虚拟数字人技术中，首先在云端生成音视频数据，然后对这些数据进行压缩，最终传输到用户端进行音视频解码和渲染显示。为了满足实时的人机交互需求，通常采用RTC（Real-Time Communication，实时音视频通信）技术来传输虚拟数字人的音视频数据。

然而，在基于云端渲染的虚拟数字人技术中，由于虚拟数字人的音视频数据传输时速率可能不适当，在传输过程中可能会出现延迟和卡顿的情况，特别是在网络带宽较小或者网络拥堵的情况下更容易发生。这些问题严重影响了用户的观看体验。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据传输方法、装置及系统，以至少解决由于虚拟数字人的音视频数据传输时速率不适当而造成的数据出现延迟和卡顿的技术问题。

根据本申请实施例的一个方面，提供了一种数据传输方法，包括：获取设置在数字人渲染设备和数字人显示设备之间的一级缓存区的缓存信息，并获取设置在所述数字人显示设备上的二级缓存区的缓存信息；基于所述一级缓存区的缓存信息和所述二级缓存区的缓存信息，来确定向所述数字人显示设备发送音视频数据的发送速率；基于所确定的发送速率，向所述数字人显示设备发送所述音视频数据。

根据本申请实施例的另一方面，还提供了一种数据传输装置，包括：获取模块，被配置为获取设置在数字人渲染设备和数字人显示设备之间的一级缓存区的缓存信息，并获取设置在所述数字人显示设备上的二级缓存区的缓存信息；速率确定模块，被配置为基于所述一级缓存区的缓存信息和所述二级缓存区的缓存信息，来确定向所述数字人显示设备发送音视频数据的发送速率；发送模块，被配置为基于所确定的发送速率，向所述数字人显示设备发送所述音视频数据。

根据本申请实施例的又一方面，还提供了一种数据传输系统，包括：数字人渲染设备，设置有如上所述的数据传输装置；数字人显示设备，被配置为呈现所述音视频数据。

在本申请实施例中，获取设置在数字人渲染设备和数字人显示设备之间的一级缓存区的缓存信息，并获取设置在所述数字人显示设备上的二级缓存区的缓存信息，基于所述一级缓存区的缓存信息和所述二级缓存区的缓存信息，来确定向所述数字人显示设备发送音视频数据的发送速率，从而解决了由于虚拟数字人的音视频数据传输时速率不适当而造成的数据出现延迟和卡顿的技术问题。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种数据传输方法的流程图；

图2是根据本申请实施例的一种虚拟数字人的数据传输方法的流程图；

图3是本申请实施例提供的数字人渲染设备渲染虚拟数字人生成音视频数据的方法的流程图；

图4是本申请实施例公开的光照示意图；

图5是根据本申请实施例的基于一级缓存区和二级缓存区的缓存信息确定音视频数据的发送速率的方法的流程图；

图6是根据本申请实施例的一种数据传输装置的结构示意图；

图7是根据本申请实施例的一种数据传输系统的架构示意图；

图8示出了适于用来实现本公开实施例的电子设备的结构示意图；

其中，上述附图包括以下附图标记：

1001、CPU；1002、ROM；1003、RAM；1004、总线；1005、I/O接口；1006、输入部分；1007、输出部分；1008、存储部分；1009、通信部分；1010、驱动器；1011、可拆卸介质；100、数据传输系统；101、第一终端设备；102、第二终端设备；103、第三终端设备；104、网络；105、服务器；106、动捕装置；1062、动捕头盔；1064、动捕服；1066、动捕手套；62、获取模块；64、速率确定模块；66、发送模块。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到 ：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例1

本申请实施例提供了一种数据传输方法，如图1所示，该方法包括以下步骤：

步骤S102，获取设置在数字人渲染设备和数字人显示设备之间的一级缓存区的缓存信息，并获取设置在所述数字人显示设备上的二级缓存区的缓存信息。

所述二级缓存区的缓存信息包括所述二级缓存区的大小和所述二级缓存区的数据刷新频率。所述一级缓存区的缓存信息包括所述一级缓存区的大小、所述一级缓存区的读写速度、所述一级缓存区的数据传输延迟、和所述一级缓存区的缓存一致性。

本实施例通过获取缓存信息并根据缓存信息确定发送速率，灵活适应网络带宽，减少网络资源的使用，提高传输效率，从而解决了虚拟数字人音视频数据传输时速率不适当而导致的延迟和卡顿问题。

步骤S104，基于所述一级缓存区的缓存信息和所述二级缓存区的缓存信息，来确定向所述数字人显示设备发送音视频数据的发送速率。

基于所述一级缓存区的缓存信息和所述数字人渲染设备生成所述音视频数据的速率，来计算所述一级缓存区的当前可用空间；基于所述二级缓存区的缓存信息和所述数字人显示设备从所述二级缓存区读取所述音视频数据的速率，来计算所述二级缓存区的当前可用空间；基于所述一级缓存区的当前可用空间和所述二级缓存区的当前可用空间，来确定向所述数字人显示设备发送所述音视频数据的发送速率。

具体地，在所述一级缓存区的当前可用空间大于等于所述音视频数据的大小的情况下，将所述发送速率设置为所述数字人渲染设备生成所述音视频数据的速率；在所述一级缓存区的当前可用空间小于所述音视频数据的大小、但所述二级缓存区的当前可用空间大于预设空间阈值的情况下，将所述发送速率设置为从所述一级缓存区读取所述音视频数据的速率；在所述一级缓存区的当前可用空间小于所述音视频数据的大小、但所述二级缓存区的当前可用空间小于等于所述预设空间阈值的情况下，将所述发送速率设置为从所述二级缓存区读取所述音视频数据的速率。

本实施例通过获取数字人渲染设备和数字人显示设备之间的一级缓存区和数字人显示设备上的二级缓存区的缓存信息，以及根据缓存信息来确定向数字人显示设备发送音视频数据的发送速率，可以提高传输效率，减少数据延迟和卡顿现象，提高用户观看体验。

此外，通过基于一级缓存区和二级缓存区的当前可用空间来确定发送速率，可以灵活适应网络带宽的变化。当网络带宽较小或网络拥堵时，该方法可以根据可用缓存空间动态调整发送速率，避免数据传输过程中出现延迟和卡顿现象。

最后，通过在一级缓存区中存储音视频数据，可以减少网络带宽的使用，节省网络资源。同时，当需要重复发送相同的音视频数据时，可以直接从一级缓存区读取数据，避免重复传输相同的数据，提高数据传输效率。

步骤S106，基于所确定的发送速率，向所述数字人显示设备发送所述音视频数据。

在向所述数字人显示设备发送所述音视频数据之前，所述方法还包括：在所述一级缓存区不存在所述音视频数据的情况下，所述数字人渲染设备生成所述音视频数据，同时将所述音视频数据存储在所述一级缓存区中，否则，直接从所述一级缓存区读取所述音视频数据。

在向所述数字人显示设备发送所述音视频数据之后，所述方法还包括：在所述二级缓存区不存在所述音视频数据的情况下，所述数字人显示设备从所述一级缓存区获取所述音视频数据，同时将所述音视频数据存储在所述二级缓存区中，否则，直接从所述二级缓存区读取所述音视频数据。

在本实施例中，基于一级缓存区和二级缓存区的缓存信息来确定向数字人显示设备发送音视频数据的发送速率，从而避免了虚拟数字人观看过程中可能出现的延迟和卡顿问题。具体来说，该步骤通过计算一级缓存区和二级缓存区的当前可用空间，确定了数字人显示设备的音视频数据发送速率，使得音视频数据能够以合适的速率传输到数字人显示设备，从而提高了虚拟数字人的观看体验。

同时，本实施例还考虑了不同情况下的发送速率设置，可以在一级缓存区和二级缓存区空间不足的情况下，自动调整发送速率，从而更好地利用可用缓存空间，减少了数据传输中出现的延迟和卡顿情况。

实施例2

本申请实施例提供了一种虚拟数字人的数据传输方法，如图2所示，该方法包括以下步骤：

步骤S202，数字人渲染设备生成音视频数据。

在数字人渲染设备中，音视频数据的生成通常是通过在数字人物模型上添加声音和动画效果实现的。例如，通过添加声音文件，数字人物模型可以发出说话、唱歌或其他音效。同时，通过在数字人物模型上添加动画效果，可以使其动作更加逼真、流畅。

图3是本申请实施例提供的数字人渲染设备渲染虚拟数字人生成音视频数据的方法的流程图，如图3所示，该方法包括以下步骤：

步骤S2022，针对待渲染的皮肤上的每一个像素点，确定以该像素点的法线方向构成的半圆上任意一点的直接光照亮度和所述任意一点到所述每一个像素点的散射率。

首先，确定直接光照亮度。

参考图4，获取所述半圆圆心O至所述半圆上任意一点Q的直线OQ与所述半圆圆心O至所述每一个像素点P的直线OP之间的夹角x，以及光照方向L与法线方向N之间的夹角θ；基于所述OQ与所述OP之间的夹角x以及所述光照方向L与所述法线方向N之间的夹角θ来确定所述任意一点Q的直接光照亮度。在图4中，AB表示与法线方向N垂直且通过圆心的直线，N+θ表示法线方向N偏移角θ后的直线。

通过本步骤，可以更准确地计算待渲染皮肤表面每个像素点的亮度值，从而提高渲染质量和真实感。具体来说，本步骤考虑了光线从光源到皮肤表面上的反射和散射，通过计算任意一点Q到每一个像素点P的散射率，可以更准确地计算像素点P的亮度值。此外，本步骤还考虑了光源位置和表面法线的影响，因为不同角度的光线照射到表面上会产生不同的亮度值，而法线方向则决定了表面的反射方向。最后，通过本步骤可以更准确地计算每个像素点的亮度值，从而提高渲染质量和真实感。同时，该方案的计算量也比较小，可以在实时渲染中使用。

然后，确定散射率q(x)。散射率q(x)是与所述任意一点Q到所述每一个像素点P之间的距离d相关的函数，其中，距离所述任意一点Q越远的P点的散射率越小。

具体地，确定用于描述次表面散射特征和所述任意一点Q到所述每一个像素点P之间的距离d之间的关系的特性函数R（d）和所述散射率q(x)之间的关系。例如，可以基于所述半圆上散射率的能量守恒约束条件以及所述虚拟数字人的皮肤次表面，来确定所述特性函数R(d)；基于所述特性函数R(d)来确定所述特性函数R（d）和所述散射率q(x)之间的关系。在一些实施例中，可以通过下式来表述二者之间的关系：q(x)= kR(d)，其中，k为常数。

本实施例中，通过使用能量守恒约束条件和虚拟数字人的皮肤次表面，可以确定特性函数R(d)。然后，通过特性函数R(d)和散射率q(x)之间的关系来描述次表面散射特征，将特性函数R(d)与散射率q(x)联系起来，可以更好地理解和分析次表面散射现象。

步骤S2024，基于所述直接光照亮度和所述散射率q(x)，将所述半圆对应的半球上的所有点进行积分，得到用于表示最终的亮度的预积分D(θ)。

例如，基于所述直接光照亮度、所述散射率q(x)以及任意一点Q所占半圆弧度，来确定所述任意一点Q散射到P点的亮度；基于所述任意一点Q散射到P点的亮度，将所述半球上所有的点进行积分，得到例如如下的预积分D(θ)：

其中，R为特性函数，r为半圆半径。在一些实施例中，可将半径r设置为1以简化计算。

本实施例中，预积分D(θ)的计算是基于对半球上所有点的积分，因此可以用来表示在给定的散射率q(x)和直接光照亮度下，半球的总亮度。这对于渲染和光照模拟应用非常有用。

具体来说，通过对半圆弧度内的点进行积分，可以计算出散射到P点的亮度。然后，通过对整个半球上所有点的积分，可以得到在给定的散射率q(x)和直接光照亮度下，半球的总亮度D(θ)。这个预积分可以被用于计算光照场景中的各个部分的光照强度。在实际应用中，预积分D(θ)可以被存储为纹理或预计算的数据，以便在运行时快速地计算光照强度。

步骤S2026，利用所述预积分D(θ)，来生成光照贴图，并基于所述光照贴图对虚拟数字人进行皮肤渲染。

具体来说，生成光照贴图的过程包括将预积分D(θ)映射到一个纹理中，这个纹理中包含了光照场景中不同位置的亮度值。然后，将这个光照贴图应用于虚拟数字人的皮肤渲染中，这样可以实现在不同光照条件下的真实感皮肤渲染。

这个过程可以被用于实现高质量的皮肤渲染，因为它可以在移动平台上实现比传统的基于实时计算的方法更高的渲染质量。这是因为预积分D(θ)已经捕捉了光照场景中的各种变化，而且可以被快速地读取和应用于虚拟数字人上。这种方法也可以被用于实现其他材质的渲染，例如金属、玻璃等。

步骤S204，获取一级缓存区和二级缓存区的缓存信息。

所述二级缓存区的缓存信息包括所述二级缓存区的大小和所述二级缓存区的数据刷新频率。所述一级缓存区的缓存信息包括所述一级缓存区的大小、所述一级缓存区的读写速度、所述一级缓存区的数据传输延迟、和所述一级缓存区的缓存一致性。

步骤S206，基于一级缓存区和二级缓存区的缓存信息确定音视频数据的发送速率。

图5是根据本申请实施例的基于一级缓存区和二级缓存区的缓存信息确定音视频数据的发送速率的方法的流程图，如图5所示，该方法包括以下步骤：

步骤S2062，基于所述一级缓存区的缓存信息和所述数字人渲染设备生成所述音视频数据的速率，来计算所述一级缓存区的当前可用空间。

在一些实施例中，可以通过以下的方法来计算一级缓存区的当前可用空间：一级缓存区的当前可用空间 = 一级缓存区的大小 - 已使用空间 - 所述数字人渲染设备生成所述音视频数据的速率 × 单位时间，其中，已使用空间 = 读写速度 × 数据传输延迟× 缓存一致性。

读写速度是从一级缓存区读取或写入数据的速度，一般用单位时间内读取或写入的数据量来衡量，例如 MB/s、GB/s 等。传输延迟是从处理器发出数据请求到数据被一级缓存区返回的时间，一般用单位时间内传输的数据量来衡量，例如 ns、μs 等。缓存一致性是一级缓存区中的数据和主存中的数据是否一致。如果一级缓存区的数据和主存中的数据不一致，那么需要维护缓存一致性，这样就会占用一些空间。缓存一致性通常用一个比例来衡量，例如 99%、99.9% 等。

使用上述计算方法可以更加准确地了解一级缓存区的可用空间，从而更好地管理和优化系统资源。例如，当可用空间较少时，可以采取一些措施来减少一级缓存区的负载，例如减少数据传输量或优化读写算法，以避免出现缓存溢出或性能下降的情况。此外，还可以利用计算出的缓存一致性指标来判断缓存数据的可靠性和准确性，从而更好地保证系统的数据一致性。总之，这种计算方法可以更好地理解和管理系统的缓存资源，从而提高系统的性能和可靠性。

步骤S2064，基于所述二级缓存区的缓存信息和所述数字人显示设备从所述二级缓存区读取所述音视频数据的速率，来计算所述二级缓存区的当前可用空间；

类似于一级缓存区，可以利用以下公式来计算二级缓存区的当前可用空间：二级缓存区的当前可用空间 = 二级缓存区的大小 - 已存储的数据量，其中，二级缓存区大小是指二级缓存区的总容量，已存储的数据量是指当前已经在二级缓存区中存储的音视频数据量。

要计算已存储的数据量，需要考虑二级缓存区的数据刷新频率和数字人显示设备从二级缓存区读取音视频数据的速率。数据刷新频率是缓存区中数据的更新频率，通常由音视频数据的源头决定。数字人显示设备从二级缓存区读取音视频数据的速率取决于设备的特性和性能。假设在一个时间段内，音视频数据的总量为D，数据刷新频率为f，数字人显示设备的读取速率为r，则已存储的数据量可以表示为：已存储的数据量 = D * f / r。然后，将已存储的数据量代入可用空间公式中，即可计算出二级缓存区的当前可用空间。

通过计算二级缓存区的当前可用空间，可以实时监测该二级缓存区的使用情况，并根据需要进行相应的调整。例如，如果计算结果表明二级缓存区的可用空间越来越少，那么可以考虑增加二级缓存区的大小或者增加数据刷新频率，以避免数据丢失或者影响数字人显示设备的播放效果。此外，计算二级缓存区的当前可用空间也可以帮助用户更好地规划存储空间和资源，从而提高系统的效率和性能。

步骤S2066，基于所述一级缓存区的当前可用空间和所述二级缓存区的当前可用空间，来确定向所述数字人显示设备发送所述音视频数据的发送速率。

在一些实施例中，在所述一级缓存区的当前可用空间大于等于所述音视频数据的大小的情况下，将所述发送速率设置为所述数字人渲染设备生成所述音视频数据的速率；在所述一级缓存区的当前可用空间小于所述音视频数据的大小、但所述二级缓存区的当前可用空间大于预设空间阈值的情况下，将所述发送速率设置为从所述一级缓存区读取所述音视频数据的速率；在所述一级缓存区的当前可用空间小于所述音视频数据的大小、但所述二级缓存区的当前可用空间小于等于所述预设空间阈值的情况下，将所述发送速率设置为从所述二级缓存区读取所述音视频数据的速率。

在另外一些实施例中，如果一级缓存区和二级缓存区中任意一个的当前可用空间小于音视频数据的大小，则将发送速率设置为该缓存区可用空间对应的读取速率。如果一级缓存区和二级缓存区的当前可用空间均足够发送下一帧音视频数据，则将发送速率设置为预设的最大发送速率。如果一级缓存区和二级缓存区的当前可用空间均不足以发送下一帧音视频数据，则将发送速率设置为0，暂停音视频数据的发送，等待缓存区空出一定空间后再继续发送。如果一级缓存区的可用空间充足而二级缓存区的可用空间不足，则将发送速率设置为数字人显示设备从二级缓存区读取音视频数据的速率，即r。如果二级缓存区的可用空间充足而一级缓存区的可用空间不足，则将发送速率设置为数字人渲染设备生成音视频数据的速率，即f。如果一级缓存区和二级缓存区的可用空间之和均大于下一帧音视频数据的大小，则将发送速率设置为预设的最大发送速率或者适当降低发送速率，以充分利用缓存区的空间。

本实施例对音视频数据的发送进行了动态调整，根据当前缓存区的可用空间大小来设置发送速率，可以达到以下有益效果：1）提高音视频数据的传输效率：根据当前缓存区的可用空间大小，动态调整发送速率，能够最大限度地利用可用的带宽和网络资源，提高音视频数据的传输效率。2）降低音视频数据的延迟：在缓存区可用空间充足的情况下，将发送速率设置为预设的最大发送速率，能够加快音视频数据的传输速度，降低音视频数据的延迟，提高音视频的观看体验。3）提高系统的稳定性：当缓存区可用空间不足以发送下一帧音视频数据时，暂停音视频数据的发送，等待缓存区空出一定空间后再继续发送，避免数据丢失和系统崩溃。4）提高用户体验：根据缓存区可用空间大小动态调整发送速率，能够确保音视频数据的稳定传输，避免视频卡顿、音频中断等问题，提高用户的观看体验。

步骤S208，发送音视频数据。

以所确定的发送速率来发送音视频数据。

本实施例通过基于一级缓存区和二级缓存区的当前可用空间来确定音视频数据的发送速率，可以避免缓存区溢出和系统资源的浪费，从而提高系统的性能和可靠性。同时，也可以根据不同的情况动态调整发送速率，以最大程度地利用缓存区的空间，提高音视频数据的传输效率。

实施例3

本申请实施例提供了一种数据传输装置，如图6所示，包括：获取模块62、速率确定模块64和发送模块66。

获取模块62被配置为获取设置在数字人渲染设备和数字人显示设备之间的一级缓存区的缓存信息，并获取设置在所述数字人显示设备上的二级缓存区的缓存信息；速率确定模块64被配置为基于所述一级缓存区的缓存信息和所述二级缓存区的缓存信息，来确定向所述数字人显示设备发送音视频数据的发送速率；发送模块66被配置为基于所确定的发送速率，向所述数字人显示设备发送所述音视频数据。

需要说明的是：上述实施例提供的数据传输装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据传输装置与数据传输方法实施例属于同一构思，其具体实现过程详见方法实施例，此处不再赘述。

实施例4

本申请实施例提供了一种数据传输系统，如图7所示，数据传输系统100可以包括终端设备例如第一终端设备101、第二终端设备102、第三终端设备103中的一个或多个、网络104、服务器105和动捕装置106。本实施例中的终端设备可以为数字人显示设备，服务器105可以为数字人生成设备。

网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间、以及动捕装置106和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图7中的终端设备、网络、动捕装置和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、动捕装置和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

动捕装置106用于实时采集动捕数据，并经网络104发送给服务器105。其中，动捕装置106可以包括动捕头盔1062、动捕服1064和动捕手套1066中的一个或多个。

动捕头盔1062设置有摄像头，其拍摄速度高达60帧/秒，能够捕捉快速的唇部动作、眨眼动作，以及面部的抽动和抖动。此外，本实施例中的动捕头盔1062是开放式的结构，这样，空气能够在其中流通，从而使得佩带动捕头盔1062的人员能够在进行操作时更加舒适。动捕头盔1062可以连接专用的数据线，如果数据线长度不够，还可以通过连接增强型USB延长线延长。

动捕服1064由惯性传感器、控制盒、莱卡面料等组成。本实施例中的动捕服1064设置有17个传感器，能够同时追踪23个不同的身体环节的动作，追踪部位包括双脚、小腿、膝盖、腹部、双手、手肘以及肩膀等。本实施例中的动捕服1064通过这样的结构，能够满足运动捕捉和动画设计的严格需求，具有使用简单、穿戴舒适、数据质量高的有益效果。在其他的实施例中，动捕服1064上还可以通过放置可追踪标记来捕捉穿戴动捕服1064的人或其他物体的运动轨迹。例如，可以放置反光标记，通过红外相机等追踪装置来跟踪这些标记。

动捕手套1066由惯性传感器、弹性面料、手部动作捕捉系统等组成。本实施例中，动捕手套1066上设置有12颗高性能的九轴惯性传感器，姿态更新频率为120Hz，采集点数量为12个节点，静态精度为0.02度，动态精度为0.2度，解算频率为约1000Hz，数据延迟为30ms。

服务器105接收到动捕数据之后，执行本公开实施例所提供的数据传输方法，生成直播用的音视频数据，并推送给第一终端设备101、第二终端设备102、第三终端设备103。

本公开实施例所提供的数据传输方法一般由服务器105执行，相应地，数据传输装置一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的直播用的音视频数据的发送方法也可以由第一终端设备101、第二终端设备102、第三终端设备103执行，为其他终端设备提供数据传输服务，相应的，数据传输装置也可以设置于第一终端设备101、第二终端设备102、第三终端设备103中，本示例性实施例中对此不做特殊限定。

在一些示例性实施例中，可以是用户通过第一终端设备101、第二终端设备102、第三终端设备103上的应用程序观看音视频数据，服务器105通过本公开实施例所提供的数据传输系统，生成音视频数据，并将音视频数据发送给第一终端设备101、第二终端设备102、第三终端设备103等。

实施例5

图8示出了适于用来实现本公开实施例的电子设备的结构示意图。需要说明的是，图8示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图8所示，该电子设备包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的方法和装置中限定的各种功能。在一些实施例中，电子设备还可以包括AI( ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现上述方法实施例的各个步骤等。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的终端设备，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (7)

1.一种数据传输方法，其特征在于，包括：

数字人渲染设备生成音视频数据；

获取设置在数字人渲染设备和数字人显示设备之间的一级缓存区的缓存信息，并获取设置在所述数字人显示设备上的二级缓存区的缓存信息；

基于所述一级缓存区的缓存信息和所述二级缓存区的缓存信息，来确定向所述数字人显示设备发送所述音视频数据的发送速率；

基于所确定的发送速率，向所述数字人显示设备发送所述音视频数据；

其中，基于所述一级缓存区的缓存信息和所述二级缓存区的缓存信息，来确定向所述数字人显示设备发送音视频数据的发送速率，包括：基于所述一级缓存区的缓存信息和所述数字人渲染设备生成所述音视频数据的速率，来计算所述一级缓存区的当前可用空间；基于所述二级缓存区的缓存信息和所述数字人显示设备从所述二级缓存区读取所述音视频数据的速率，来计算所述二级缓存区的当前可用空间；基于所述一级缓存区的当前可用空间和所述二级缓存区的当前可用空间，来确定向所述数字人显示设备发送所述音视频数据的发送速率；

其中，基于所述一级缓存区的当前可用空间和所述二级缓存区的当前可用空间，来确定向所述数字人显示设备发送所述音视频数据的发送速率，包括：在所述一级缓存区的当前可用空间大于等于所述音视频数据的大小的情况下，将所述发送速率设置为所述数字人渲染设备生成所述音视频数据的速率；在所述一级缓存区的当前可用空间小于所述音视频数据的大小、但所述二级缓存区的当前可用空间大于预设空间阈值的情况下，将所述发送速率设置为从所述一级缓存区读取所述音视频数据的速率；在所述一级缓存区的当前可用空间小于所述音视频数据的大小、但所述二级缓存区的当前可用空间小于等于所述预设空间阈值的情况下，将所述发送速率设置为从所述二级缓存区读取所述音视频数据的速率；

其中，数字人渲染设备生成音视频数据包括：针对待渲染的皮肤上的每一个像素点，确定以该像素点的法线方向构成的半圆上任意一点的直接光照亮度和所述任意一点到所述每一个像素点的散射率；基于所述直接光照亮度和所述散射率，将所述半圆对应的半球上的所有点进行积分，得到用于表示最终的亮度的预积分；利用所述预积分来生成光照贴图，并基于所述光照贴图对虚拟数字人进行皮肤渲染，得到所述音视频数据。

2.根据权利要求1所述的方法，其特征在于，在向所述数字人显示设备发送所述音视频数据之前，所述方法还包括：在所述一级缓存区不存在所述音视频数据的情况下，所述数字人渲染设备生成所述音视频数据，同时将所述音视频数据存储在所述一级缓存区中，否则，直接从所述一级缓存区读取所述音视频数据。

3.根据权利要求2所述的方法，其特征在于，在向所述数字人显示设备发送所述音视频数据之后，所述方法还包括：在所述二级缓存区不存在所述音视频数据的情况下，所述数字人显示设备从所述一级缓存区获取所述音视频数据，同时将所述音视频数据存储在所述二级缓存区中，否则，直接从所述二级缓存区读取所述音视频数据。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述二级缓存区的缓存信息包括：所述二级缓存区的大小和所述二级缓存区的数据刷新频率。

5.根据权利要求1至3中任一项所述的方法，其特征在于，所述一级缓存区的缓存信息包括：所述一级缓存区的大小、所述一级缓存区的读写速度、所述一级缓存区的数据传输延迟、和所述一级缓存区的缓存一致性。

6.一种数据传输系统，其特征在于，包括：

数字人渲染设备，被配置为生成音视频数据；

数字人显示设备，被配置为呈现所述音视频数据；

其中，所述数字人渲染设备设置有数据传输装置，所述数据传输装置包括：获取模块，被配置为获取设置在数字人渲染设备和数字人显示设备之间的一级缓存区的缓存信息，并获取设置在所述数字人显示设备上的二级缓存区的缓存信息；速率确定模块，被配置为基于所述一级缓存区的缓存信息和所述二级缓存区的缓存信息，来确定向所述数字人显示设备发送所述音视频数据的发送速率；发送模块，被配置为基于所确定的发送速率，向所述数字人显示设备发送所述音视频数据；其中，所述速率确定模块还被配置为：基于所述一级缓存区的缓存信息和所述数字人渲染设备生成所述音视频数据的速率，来计算所述一级缓存区的当前可用空间；基于所述二级缓存区的缓存信息和所述数字人显示设备从所述二级缓存区读取所述音视频数据的速率，来计算所述二级缓存区的当前可用空间；基于所述一级缓存区的当前可用空间和所述二级缓存区的当前可用空间，来确定向所述数字人显示设备发送所述音视频数据的发送速率；其中，所述速率确定模块还被配置为：在所述一级缓存区的当前可用空间大于等于所述音视频数据的大小的情况下，将所述发送速率设置为所述数字人渲染设备生成所述音视频数据的速率；在所述一级缓存区的当前可用空间小于所述音视频数据的大小、但所述二级缓存区的当前可用空间大于预设空间阈值的情况下，将所述发送速率设置为从所述一级缓存区读取所述音视频数据的速率；在所述一级缓存区的当前可用空间小于所述音视频数据的大小、但所述二级缓存区的当前可用空间小于等于所述预设空间阈值的情况下，将所述发送速率设置为从所述二级缓存区读取所述音视频数据的速率；

其中，所述数字人渲染设备还被配置为：针对待渲染的皮肤上的每一个像素点，确定以该像素点的法线方向构成的半圆上任意一点的直接光照亮度和所述任意一点到所述每一个像素点的散射率；基于所述直接光照亮度和所述散射率，将所述半圆对应的半球上的所有点进行积分，得到用于表示最终的亮度的预积分；利用所述预积分来生成光照贴图，并基于所述光照贴图对虚拟数字人进行皮肤渲染，得到所述音视频数据。

7.一种计算机可读存储介质，其上存储有程序，其特征在于，在所述程序运行时，使得计算机执行如权利要求1至5中任一项所述的方法。