CN116033235B - 数据传输方法、数字人生产设备以及数字人显示设备 - Google Patents

Abstract

本公开提供了一种数据传输方法、数字人生产设备以及数字人显示设备，涉及通信技术领域，尤其涉及音视频传输领域以及虚拟数字人技术领域。具体实现方案为：接收来自数字人显示设备的指示信息；基于所述指示信息确定发送实时率；基于所述发送实时率，发送数字人音视频数据。本公开实施例可实现根据数字人显示设备的指示动态调整数字人音视频数据的发送实时率，充分利用数字人音视频数据的生产特性降低传输延迟，提升流畅度。

Description

数据传输方法、数字人生产设备以及数字人显示设备

技术领域

本公开涉及通信技术领域，尤其涉及音视频传输领域以及虚拟数字人技术领域。

背景技术

虚拟数字人(也可以简称为数字人)具备代替真人进行客服工作的能力，我们可以在服务大厅、展览大厅、营业厅等地方看到它的身影。虚拟数字人也经常应用于公共区域中的展览介绍以及电商、直播等活动中的人机互动。可见，虚拟数字人的应用场景已越来越多。

基于云端渲染的数字人技术中，在云端生成音视频数据，将音视频数据压缩后，传输到端侧，端侧进行音视频解码和渲染显示。为了满足实时的人机交互的需求，通常采用RTC(Real-Time Communication，实时音视频通信)技术传输数字人音视频数据。

发明内容

本公开提供了一种数据传输方法、数字人生产设备以及数字人显示设备。

根据本公开的一方面，提供了一种数据传输方法，包括：

接收来自数字人显示设备的指示信息；

基于所述指示信息确定发送实时率；

基于所述发送实时率，发送数字人音视频数据。

根据本公开的另一方面，提供了一种数据传输方法，包括：

向数字人生产设备发送指示信息；其中，所述指示信息用于指示所述数字人生产设备确定发送实时率，以根据所述发送实时率发送数字人音视频数据；

接收所述数字人音视频数据。

根据本公开的另一方面，提供了一种数字人生产设备，包括：

指示接收模块，用于接收来自数字人显示设备的指示信息；

实时率确定模块，用于基于所述指示信息确定发送实时率；

数据发送模块，用于基于所述发送实时率，发送数字人音视频数据。

根据本公开的另一方面，提供了一种数字人显示设备，包括：

指示发送模块，用于向数字人生产设备发送指示信息；其中，所述指示信息用于指示所述数字人生产设备确定发送实时率，以根据所述发送实时率发送数字人音视频数据；

数据接收模块，用于接收所述数字人音视频数据。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。

根据本公开的另一方面，提供了一种数字人处理系统，包括：

数字人生产设备和数字人显示设备，用于执行本公开实施例中任一的方法。

根据本公开实施例的技术方案，数字人显示设备可以发送指示信息，数字人生产设备可以基于该指示信息确定发送实时率，并基于确定的发送实时率发送数字人音视频数据。从而可实现根据数字人显示设备的指示动态调整数字人音视频数据的发送实时率，充分利用数字人音视频数据的生产特性降低传输延迟，提升流畅度，进而提升数字人交互的实时性和稳定性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是RTC通信系统中应用Jitter Buffer的系统示意图；

图2是本公开实施例的数据传输方法的示例性应用场景的示意图；

图3是本公开一实施例提供的数据传输方法的流程示意图；

图4是本公开另一实施例的数据传输方法的流程示意图；

图5是本公开实施例中数字人生产设备和数字人显示设备之间的交互流程图；

图6是本公开一实施例提供的数字人生产设备的示意性框图；

图7是本公开另一实施例提供的数字人生产设备的示意性框图；

图8是本公开一实施例提供的数字人显示设备的示意性框图；

图9是本公开另一实施例提供的数字人显示设备的示意性框图；

图10是本公开一实施例提供的数字人处理系统的示意性框图；

图11是用来实现本公开实施例的数据传输方法的电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为了便于理解本公开实施例提供的数据传输方法，以下对本公开实施例的相关技术进行说明，以下相关技术作为可选方案与本公开实施例的技术方案可以进行任意结合，其均属于本公开实施例的保护范围。

相关技术中，采用RTC技术传输数字人音视频数据。RTC一般用于实现视频会议、视频通话等场景的实时通信，通信的两端的音视频实时生产。举例而言，用户会话的音视频不会提前生成，生成和发送时长为1s(秒)的音视频需要耗费1s。通常每20ms(毫秒)采集、编码和发送一次音频，每40ms采集、编码和发送一次视频。为了解决网络抖动或丢包问题，接收侧(即数字人显示设备)需要设计Jitter Buffer(抖动缓冲器)，以缓解网络造成的音视频播放卡顿问题。其中，Jitter Buffer通常通过增加延迟来解决音视频播放卡顿问题。

图1示出了RTC通信系统中应用Jitter Buffer的系统示意图。具体而言，JitterBuffer的核心思想是用时间换空间，以增大端到端的延迟为代价来换取视频通话的流畅性。当网络不稳定时(抖动发生)，增加buffer的长度，多缓存一些数据，以应对将来可能发生的抖动；当网络稳定下来时，减小buffer的长度，少缓存一些数据，降低视频端到端的延迟，提高实时性。因此Jitter Buffer的运行过程是一个根据抖动来动态调整buffer长度的过程。总之，在网络发生抖动或丢包时，RTC依靠Jitter buffer，通过增加延迟的代价获得播放的流畅性。

然而，数字人的生产具有与视频会议、视频通话等场景的音视频数据生产不同的特性。在GPU(图形处理单元)算力的支撑下，数字人的生产可以获得较低的实时率(RealTime Factor，RTF)，即数字人音视频数据的生产时长可以小于数字人音视频数据的时长。例如，2s的音视频数据可以在1s内完成生产，但在播放侧仍然按照实时的方式去显示。基于此，本公开实施例的数据传输方法中，设计更优的流控策略，获得相比RTC更低的延迟和流畅的播放效果。

图2示出了本公开实施例的数据传输方法的示例性应用场景的示意图。在该应用场景中，数据传输方法用于数字人生产设备210和数字人显示设备220的交互处理过程。其中，数字人生产设备210用于实现数字人生产，得到数字人音视频数据，并对数字人音视频数据进行压缩，将压缩后的数字人音视频数据发送至数字人显示设备220。数字人显示设备220用于接收数字人音视频数据并存储在接收缓冲区中，在缓冲区中的数据长度达到一定阈值的情况下，对音视频数据进行解码和渲染显示。

根据本公开实施例的数据传输方法，在上述应用场景中，可根据数字人显示设备120的状态动态调整数字人生产设备110发送数字人音视频数据的发送实时率，从而充分利用数字人音视频数据的生产特性降低传输延迟，提升流畅度，进而提升数字人交互的实时性和稳定性。

图3示出了本公开一实施例提供的数据传输方法的流程示意图。该数据传输方法可以应用于数字人生产设备，或者说由数字人生产设备执行。该数字人生产设备例如是单机或多机的终端、服务器或其他处理设备。作为示例而非限定，该数字人生产设备可以部署于云端，例如该数字人生产设备为云计算的中心节点。如图3所示，该数据传输方法可以包括：

步骤S310、接收来自数字人显示设备的指示信息；

步骤S320、基于所述指示信息确定发送实时率；

步骤S330、基于所述发送实时率，发送数字人音视频数据。

其中，数字人显示设备例如是单机或多机的终端、服务器或其他处理设备。示例性地，该数字人显示设备可以为云计算的边缘计算节点或终端，但不仅限与此。

示例性地，来自数字人显示设备的指示信息可以包含数字人显示设备的状态信息，例如缓冲数据的状态信息，也可以包含与上述状态信息对应的发送实时率。如此，通过基于该指示信息确定发送实时率，实现了基于数字人显示设备的状态确定发送实时率。

实时率是指处理数据的时长与数据本身的时长的比值。在本公开实施例中，发送实时率是指生产至发送数据的时长与数据本身的时长的比值，生产实时率是指生产数据的时长与数据本身的时长的比值。

在本公开实施例中，数字人音视频数据包括用于数字人展示的音频数据和/或视频数据。如前述说明，数字人音视频数据的生产时长可以小于数字人音视频数据的时长，则该数字人音视频数据的生产实时率可以为X，X为小于1的正数。基于数字人音视频数据的这一特性，数字人音视频数据的发送实时率能够在X至1之间调整。

根据本公开实施例的数据传输方法，可实现根据数字人显示设备的指示动态调整数字人音视频数据的发送实时率。举例而言，在数字人显示设备缓冲区数据过少可能无法应对网络中的抖动的情况下，指示降低发送实时率以快速获取音视频数据；在数字人显示设备缓冲区空间不足的情况下，指示提高发送实时率以减缓音视频数据进入缓冲区，避免数据丢失。如此，充分利用了数字人音视频数据的生产时长可以小于数字人音视频数据的时长这一特性，降低传输延迟，提升流畅度，进而提升数字人交互的实时性和稳定性。也就是说，本公开实施例的数据传输方法重新设计了流控机制，替换了传统RTC的JitterBuffer机制，从用时间换取流畅的策略，变换为动态变更发送实时率，以空间换取时间的策略，更能适应不同网络，实现流畅和低延迟兼得。

可选地，所述指示信息是基于所述数字人显示设备的缓冲数据长度和/或数据等待时间确定的。示例性地，数字人显示设备可以基于缓冲数据长度和数据等待时间中的至少一个确定指示信息，例如数字人显示设备在指示信息中携带缓冲数据长度和数据等待时间中的至少一个，或者数字人显示设备基于缓冲数据长度和数据等待时间中的至少一个，确定发送实时率，再在指示信息中携带该发送实时率。

实际应用中，受网络性能影响，缓冲数据长度和数据等待时间会有一定浮动。为了提升播放流畅度，可以在缓冲数据长度达到一定阈值的情况下对缓冲区中的数据进行解码和渲染显示，在缓冲数据长度未达到该阈值的情况下进行等待。因此，缓冲数据长度大则数据等待时间短或不需要等待(数据等待时间为0)；缓冲数据长度小则数据等待时间长，造成延迟。根据上述可选方式，基于缓冲数据长度和/或数据等待时间确定指示信息，以指示数字人生产设备调整发送实时率以适应当前的数据缓冲状态，从而有助于适应当前的网络性能，实现流畅和低延迟兼得。

在一种实施方式中，指示信息包含所述发送实时率。即数字人显示设备基于缓冲数据长度和数据等待时间中的至少一个，确定发送实时率，再在指示信息中携带该发送实时率。相应地，步骤S320、基于所述指示信息确定发送实时率，包括：在所述指示信息中解析出发送实时率。

根据该实施方式，针对缓冲数据长度和/或数据等待时间的计算、转换处理在数字人显示设备侧实现，可以减少数字人生产设备接收到指示信息后的响应时间，及时调整发送实时率，从而快速适应网络性能，有利于进一步提升流畅度以及降低延迟。

在一种实施方式中，指示信息包含所述数字人显示设备的缓冲数据长度和/或数据等待时间。即数字人显示设备在指示信息中携带缓冲数据长度和数据等待时间中的至少一个。相应地，步骤S320、所述基于所述指示信息确定发送实时率，包括：在所述指示信息中解析出所述数字人显示设备的缓冲数据长度和/或数据等待时间；基于所述缓冲数据长度和/或数据等待时间，确定所述发送实时率。

根据该实施方式，针对缓冲数据长度和/或数据等待时间的计算、转换处理在数字人生产设备侧实现，可以减少端侧数字人显示设备的计算压力，节省计算资源，也有利于提升数字人显示的流畅度。

示例性地，基于所述缓冲数据长度和/或数据等待时间，确定所述发送实时率，可以包括：基于预先配置的对应关系信息以及所述数据等待时间，确定所述发送实时率。

示例性地，该对应关系信息可以为函数、对应表、关系曲线等。例如该对应关系为函数，则可以基于数据等待时间进行函数计算，得到发送实时率。又例如该对应关系为对应表，则可以基于数据等待时间在对应表中查找对应的发送实时率。

其中，所述对应关系信息用于表征所述数据等待时间与所述发送实时率之间的负相关关系。基于此，数据等待时间长，则发送实时率低，可以尽早发送生产好的数字人音视频数据；数据等待时间短，则发送实时率高，以避免缓冲区空间不足。

举例而言，缓冲区的数据等待时间T与发送实时率R的对应表可以参考以下表格，其中发送实时率R的最小值为0.5，该最小值可以基于数字人音视频数据的生产实时率确定。

数据等待时间T(ms)	发送实时率R
		0-50	1
50-100	0.9
		100-200	0.8
200-300	0.7
		300-500	0.6
500-以上	0.5

在一种可选的实施方式中，步骤S330、基于所述发送实时率，发送数字人音视频数据，可以包括：基于所述发送实时率以及QUIC(Quick UDP Internet Connection，快速UDP互联网连接)协议，发送所述数字人音视频数据。

也就是说，传输数字人音视频数据所采用的协议以QUIC协议为基础。QUIC协议是基于UDP(User Datagram Protocol，用户数据报协议)的可靠传输协议，旨在替换TCP获取弱网下更好的传输性能。采用基于QUIC协议发送数据的方式，可以天然具有可靠传输的特性，无需在数字人生产设备和显示设备之间增加额外用于可靠传输的连接。同时，由于不需要使用RTC技术，因此也无需增加RTC通信系统所需的信令子系统和媒体子系统，实施成本大幅下降。

图4示出了根据本公开另一实施例的数据传输方法的流程示意图。该数据传输方法可以应用于数字人显示设备，或者说由数字人显示设备执行。数字人显示设备例如是单机或多机的终端、服务器或其他处理设备。示例性地，该数字人显示设备可以为云计算的边缘计算节点或终端，但不仅限与此。如图4所示，该方法包括：

步骤S410、向数字人生产设备发送指示信息；其中，所述指示信息用于指示所述数字人生产设备确定发送实时率，以根据所述发送实时率发送数字人音视频数据；

步骤S420、接收所述数字人音视频数据。

该数据传输方法与前述实施例中的数据传输方法对应，可实现根据数字人显示设备的指示动态调整数字人音视频数据的发送实时率。如此，充分利用了数字人音视频数据的生产时长可以小于数字人音视频数据的时长这一特性，降低传输延迟，提升流畅度，进而提升数字人交互的实时性和稳定性。

相应地，作为可选的实施方式，该数据传输方法还可以包括：基于所述数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述指示信息。具体地，可以在指示信息中携带缓冲数据长度和数据等待时间中的至少一个，或者基于缓冲数据长度和数据等待时间中的至少一个，确定发送实时率，再在指示信息中携带该发送实时率。从而有助于适应当前的网络性能，实现流畅和低延迟兼得。

示例性地，步骤S410、基于数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述指示信息，包括：基于所述数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述发送实时率；基于所述发送实时率，确定所述指示信息。

根据该实施方式，数字人生产设备和数字人显示设备之间的交互流程可以参考图5所示设计。其中发送侧为数字人生产设备，接收侧为数字人显示设备。发送侧基于一定的实时率R向接收侧发送数据；接收侧基于数据等待时间T，确定并发送指示信息，以请求新的发送实时率R1；发送侧在接收到指示信息后，基于发送实时率R1发送数据。

可见，针对缓冲数据长度和/或数据等待时间的计算、转换处理在数字人显示设备侧实现，可以减少数字人生产设备接收到指示信息后的响应时间，及时调整发送实时率，从而快速适应网络性能，有利于进一步提升流畅度以及降低延迟。

示例性地，基于所述数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述发送实时率，包括：基于预先配置的对应关系信息以及所述数据等待时间，确定所述发送实时率。

示例性地，该对应关系信息可以为函数、对应表、关系曲线等。例如该对应关系为函数，则可以基于数据等待时间进行函数计算，得到发送实时率。又例如该对应关系为对应表，则可以基于数据等待时间在对应表中查找对应的发送实时率。

其中，所述对应关系信息用于表征所述数据等待时间与所述发送实时率之间的负相关关系。基于此，数据等待时间长，则请求较低的发送实时率，可以尽早接收生产好的数字人音视频数据；数据等待时间短，则请求较高的发送实时率，以避免缓冲区空间不足。

可选地，步骤S420、接收所述数字人音视频数据，包括：基于QUIC协议，接收所述数字人音视频数据。即传输数字人音视频数据所采用的协议以QUIC协议为基础，如此，可以天然具有可靠传输的特性，无需在数字人生产设备和显示设备之间增加额外用于可靠传输的连接。同时，由于不需要使用RTC技术，因此也无需增加RTC通信系统所需的信令子系统和媒体子系统，实施成本大幅下降。

根据本公开实施例，还提供一种数字人生产设备。图6示出了本公开一实施例提供的数字人生产设备的示意性框图。如图6所示，该数字人生产设备包括：

指示接收模块610，用于接收来自数字人显示设备的指示信息；

实时率确定模块620，用于基于所述指示信息确定发送实时率；

数据发送模块630，用于基于所述发送实时率，发送数字人音视频数据。

可选地，指示信息包含所述发送实时率；所述实时率确定模块620具体用于：在所述指示信息中解析出发送实时率。

图7示出了本公开另一实施例提供的数字人生产设备的示意性框图。在该实施例中，指示信息包含所述数字人显示设备的缓冲数据长度和/或数据等待时间。如图7所示，在该数字人生产设备中，实时率确定模块包括：

解析单元710，用于在所述指示信息中解析出所述数字人显示设备的缓冲数据长度和/或数据等待时间；

实时率确定单元720，用于基于所述缓冲数据长度和/或数据等待时间，确定所述发送实时率。

可选地，所述实时率确定单元720具体用于：

基于预先配置的对应关系信息以及所述数据等待时间，确定所述发送实时率；其中，所述对应关系信息用于表征所述数据等待时间与所述发送实时率之间的负相关关系。

可选地，数据发送模块具体用于：

基于所述发送实时率以及快速UDP互联网连接协议，发送所述数字人音视频数据。

根据本公开实施例，还提供一种数字人显示设备。图8示出了本公开一实施例提供的数字人显示设备的示意性框图。如图8所示，该数字人显示设备包括：

指示发送模块810，用于向数字人生产设备发送指示信息；其中，所述指示信息用于指示所述数字人生产设备确定发送实时率，以根据所述发送实时率发送数字人音视频数据；

数据接收模块820，用于接收所述数字人音视频数据。

图9示出了本公开另一实施例提供的数字人显示设备的示意性框图。

如图9所示，该数字人显示设备还包括：

指示确定模块910，用于基于所述数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述指示信息。

示例性地，如图9所示，指示确定模块910包括：

实时率确定单元911，用于基于所述数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述发送实时率；

指示封装单元912，用于基于所述发送实时率，确定所述指示信息。

可选地，所述实时率确定单元911具体用于：

基于预先配置的对应关系信息以及所述数据等待时间，确定所述发送实时率；其中，所述对应关系信息用于表征所述数据等待时间与所述发送实时率之间的负相关关系。

可选地，数据接收模块具体用于：基于快速UDP互联网连接协议，接收所述数字人音视频数据。

本公开实施例的装置的各模块、子模块的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。

根据本公开实施例，还提供一种数字人处理系统。图10示出了本公开一实施例提供的数字人处理系统的示意性框图。如图10所示，该数字人处理系统包括数字人生产设备1010和数字人显示设备1020。数字人生产设备1010和数字人显示设备1020分别用于执行前述实施例中对应的方法。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如数据传输方法。例如，在一些实施例中，数据传输方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的数据传输方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据传输方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (24)

1.一种数据传输方法，包括：

接收来自数字人显示设备的指示信息；

基于所述指示信息确定发送实时率；其中，所述发送实时率是生产至发送数据的时长与数据本身的时长的比值；

基于所述发送实时率，发送数字人音视频数据。

2.根据权利要求1所述的方法，其中，所述指示信息是基于所述数字人显示设备的缓冲数据长度和/或数据等待时间确定的。

3.根据权利要求2所述的方法，其中，所述指示信息包含所述发送实时率；

所述基于所述指示信息确定发送实时率，包括：

在所述指示信息中解析出发送实时率。

4.根据权利要求2所述的方法，其中，所述指示信息包含所述数字人显示设备的缓冲数据长度和/或数据等待时间；

所述基于所述指示信息确定发送实时率，包括：

在所述指示信息中解析出所述数字人显示设备的缓冲数据长度和/或数据等待时间；

基于所述缓冲数据长度和/或数据等待时间，确定所述发送实时率。

5.基于权利要求4所述的方法，其中，所述基于所述缓冲数据长度和/或数据等待时间，确定所述发送实时率，包括：

基于预先配置的对应关系信息以及所述数据等待时间，确定所述发送实时率；其中，所述对应关系信息用于表征所述数据等待时间与所述发送实时率之间的负相关关系。

6.根据权利要求1-5中任一项所述的方法，其中，所述基于所述发送实时率，发送数字人音视频数据，包括：

基于所述发送实时率以及快速UDP互联网连接协议，发送所述数字人音视频数据。

7.一种数据传输方法，包括：

向数字人生产设备发送指示信息；其中，所述指示信息用于指示所述数字人生产设备确定发送实时率，以根据所述发送实时率发送数字人音视频数据；其中，所述发送实时率是生产至发送数据的时长与数据本身的时长的比值；

接收所述数字人音视频数据。

8.根据权利要求7所述的方法，还包括：

基于所述数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述指示信息。

9.根据权利要求8所述的方法，其中，所述基于所述数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述指示信息，包括：

基于所述数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述发送实时率；

基于所述发送实时率，确定所述指示信息。

10.根据权利要求9所述的方法，其中，所述基于所述数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述发送实时率，包括：

基于预先配置的对应关系信息以及所述数据等待时间，确定所述发送实时率；其中，所述对应关系信息用于表征所述数据等待时间与所述发送实时率之间的负相关关系。

11.根据权利要求7-10中任一项所述的方法，其中，所述接收所述数字人音视频数据，包括：

基于快速UDP互联网连接协议，接收所述数字人音视频数据。

12.一种数字人生产设备，包括：

指示接收模块，用于接收来自数字人显示设备的指示信息；

实时率确定模块，用于基于所述指示信息确定发送实时率；其中，所述发送实时率是生产至发送数据的时长与数据本身的时长的比值；

数据发送模块，用于基于所述发送实时率，发送数字人音视频数据。

13.根据权利要求12所述的数字人生产设备，其中，所述指示信息包含所述发送实时率；

所述实时率确定模块具体用于：

在所述指示信息中解析出发送实时率。

14.根据权利要求12所述的数字人生产设备，其中，所述指示信息包含所述数字人显示设备的缓冲数据长度和/或数据等待时间；

所述实时率确定模块包括：

解析单元，用于在所述指示信息中解析出所述数字人显示设备的缓冲数据长度和/或数据等待时间；

实时率确定单元，用于基于所述缓冲数据长度和/或数据等待时间，确定所述发送实时率。

15.基于权利要求14所述的数字人生产设备，其中，所述实时率确定单元具体用于：

基于预先配置的对应关系信息以及所述数据等待时间，确定所述发送实时率；其中，所述对应关系信息用于表征所述数据等待时间与所述发送实时率之间的负相关关系。

16.根据权利要求12-15中任一项所述的数字人生产设备，其中，所述数据发送模块具体用于：

基于所述发送实时率以及快速UDP互联网连接协议，发送所述数字人音视频数据。

17.一种数字人显示设备，包括：

指示发送模块，用于向数字人生产设备发送指示信息；其中，所述指示信息用于指示所述数字人生产设备确定发送实时率，以根据所述发送实时率发送数字人音视频数据；其中，所述发送实时率是生产至发送数据的时长与数据本身的时长的比值；

数据接收模块，用于接收所述数字人音视频数据。

18.根据权利要求17所述的数字人显示设备，还包括：

指示确定模块，用于基于所述数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述指示信息。

19.根据权利要求18所述的数字人显示设备，其中，所述指示确定模块包括：

实时率确定单元，用于基于所述数字人音视频数据的缓冲数据长度和/或数据等待时间，确定所述发送实时率；

指示封装单元，用于基于所述发送实时率，确定所述指示信息。

20.根据权利要求19所述的数字人显示设备，其中，所述实时率确定单元具体用于：

基于预先配置的对应关系信息以及所述数据等待时间，确定所述发送实时率；其中，所述对应关系信息用于表征所述数据等待时间与所述发送实时率之间的负相关关系。

21.根据权利要求17-20中任一项所述的数字人显示设备，其中，所述数据接收模块具体用于：

基于快速UDP互联网连接协议，接收所述数字人音视频数据。

22.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。

23.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。

24.一种数字人处理系统，包括：

数字人生产设备，用于执行如权利要求1-6中任一项所述的方法；

数字人显示设备，用于执行如权利要求7-11中任一项所述的方法。