CN113766169A - 一种弱网环境下的音视频数据传输系统、优化设备及方法 - Google Patents

Abstract

本发明提出一种弱网环境下的音视频数据传输系统、优化设备及方法，所述优化设备包括：控制模块、音视频转码模块和数据包转发、过滤及缓存模块；其中，数据包转发、过滤及缓存模块用于捕获所述终端传输的数据包并将音视频数据包按照收发方向分别缓存至发送队列和接收队列；控制模块用于生成工作模式切换策略并通知发送端侧；音视频转码模块用于根据工作模式切换策略对相应的音视频数据进行重新编码，以生成占用带宽更低的音视频数据包。本发明不需要改变原始终端功能，仅需要在终端和网络之间增加一个优化设备，即可实现弱网环境下的数据包传输方式调整，大幅节约传输所需的带宽，成本很低，使用方便。

Description

一种弱网环境下的音视频数据传输系统、优化设备及方法

技术领域

本发明涉及互联网视频会议技术领域，具体涉及一种弱网环境下的音视频数据传输系统、优化设备及方法。

背景技术

互联网视频会议领域，通常存在因网络间歇性丢包或其它设备抢占带宽所引起的声音卡顿、视频花屏和延迟问题。针对这些问题，绝大部分厂家都有各自的处理方法，常见的有丢包重传、前向纠错、动态带宽调整等。但是，由于各个厂家专有算法的协议格式不同，所以某一个厂家的算法无法在不同品牌的设备之间启用。另外，一些早期型号的视频会议设备所支持的音视频编码格式有限，相比最新的音视频编码格式，同等分辨率和质量下所占用的带宽较大，对网络带宽要求也较高，直接替换这些旧设备，成本非常高昂。

发明内容

发明目的：为解决上述技术问题，本发明提出一种弱网环境下的音视频数据传输系统、优化设备及方法。

技术方案：本发明首先提出一种弱网环境下的音视频数据传输优化设备，连接在终端与网络之间，所述音视频数据传输优化设备包括：控制模块、音视频转码模块和数据包转发、过滤及缓存模块；

所述数据包转发、过滤及缓存模块用于捕获所述终端传输的数据包，并将非音视频数据包直接转发，将音视频数据包按照收发方向分别缓存至发送队列和接收队列；

所述控制模块用于统计当前的发送带宽、接收带宽和接收丢包率，进而评估网络延迟与带宽，然后生成工作模式切换策略通知发送端侧的音视频数据传输优化设备切换工作模式；所述工作模式包括丢包重传模式、前向纠错模式和音视频自适应转码模式，其中，音视频自适应转码模式下，发送端侧所述音视频数据传输优化设备的音视频转码模块对相应的音视频数据进行重新编码，以生成占用带宽更低的音视频数据包。

针对所述音视频数据传输优化设备，以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

可选的，所述音视频数据传输优化设备还包括虚拟网桥，所述虚拟网桥包括虚拟网络接口和物理网络接口，所述虚拟网络接口用于连接所述数据包转发、过滤及缓存模块，所述物理网络接口用于连接终端设备和网络侧设备。

可选的，所述数据包转发、过滤及缓存模块还用于对捕获的数据包进行过滤，并将过滤出的非音视频数据包进行直通转发。

另一方面，本发明还提出一种弱网环境下的音视频数据传输系统，包括：终端和所述的音视频数据传输优化设备，所述终端通过所述音视频数据传输优化设备接入网络。

再一方面，本发明还提出一种弱网环境下的音视频数据传输方法，所述方法基于所述的音视频数据传输优化设备实现，包括以下步骤：

（1）所述数据包转发、过滤及缓存模块捕获网络中传输的音视频数据包，并按照传输方向分别备份缓存在发送队列和接收队列中；

（2）所述控制模块统计发送队列和接收队列中的音视频数据包，计算出发送带宽、接收带宽和接收丢包率，进而计算出网络延迟和网络带宽；

（3）所述控制模块根据实时的发送带宽、接收带宽和接收丢包率生成工作模式切换策略并反馈给发送端一侧的音视频数据传输优化设备；

（4）发送端一侧的音视频数据传输优化设备根据接收到的工作模式切换策略在丢包重传模式、前向纠错模式和音视频自适应转码模式之间切换。

针对所述音视频数据传输方法，以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

可选的，所述生成切换策略的具体步骤为：

情况1：在接收丢包率大于0且小于预设的丢包率可接受阈值的前提下，若网络延迟低于预设的延迟阈值且接收丢包率小于网络带宽，则生成丢包重传策略；

情况2：在接收丢包率大于0且小于预设的丢包率可接受阈值的前提下，若网络延迟大于预设的延迟阈值且接收丢包率小于网络带宽，则生成前向纠错策略；

情况3：若接收丢包率大于等于丢包率可接受阈值，或不满足情况1和情况2，则生成音视频自适应转码策略。

可选的，所述控制模块使用网络延迟与带宽评估算法得到所述网络延迟和网络带宽。

可选的，接收端一侧的音视频数据传输优化设备在生成丢包重传策略时，一并将丢失的RTP数据包序号发送给对端，对端收到后，从本地发送队列缓存中找到对应的数据包，执行重新发送操作。

可选的，发送端一侧的音视频数据传输优化设备在接收到前向纠错策略后，将本地发送队列中缓存的相应数据包按照RFC5109规范中所述方法进行处理。

可选的，发送端一侧的音视频数据传输优化设备在接收到音视频自适应转码策略后，执行以下步骤：

（10-1）将本地发送队列里的音视频数据包分离：

（10-2）对于视频数据包，使用内置的视频解码器将压缩数据帧解码还原为YUV格式的未压缩图像；对未压缩视频图像序列进行尺寸缩放、帧率变换和图像增强处理；再将处理后的未压缩图像输入内置的视频编码器，所述控制模块根据网络评估状态实时调整所述视频编码器的编码参数；

（10-3）对于音频数据包，使用内置的音频解码器将压缩数据帧解码还原为PCM格式的未压缩音频采样；对未压缩音频采样进行重采样和3A处理；再将处理后的未压缩音频采样输入内置的音频编码器，所述控制模块根据网络评估状态实时调整所述音频编码器的编码参数；

（10-4）将重新编码后的音视频数据包打上原始RTP协议头中的序号和时间戳，并设置扩展标记位，按照原始目的地址发送。

有益效果：与现有技术相比，本发明具有以下优势：

1、本发明不需要改变原始终端功能，仅需要在终端和网络之间增加一个优化设备，即可实现弱网环境下的数据包传输方式调整，成本很低，使用方便。

2、本发明提供了音视频自适应转码模式，相比传统的丢包重传和前向纠错模式，能够大幅节约传输所需的带宽，能更好的适应低带宽的场景。

附图说明

图1为实施例1涉及的音视频数据传输优化设备内部功能原理图；

图2为实施例1涉及的音视频转码流程图；

图3为实施例1涉及的硬件实现结构图；

图4为现有的点对点通信网络部署结构图；

图5为实施例2涉及的点对点通信网络部署结构图；

图6为现有的多点通信网络部署结构图；

图7为实施例2涉及的多点通信网络部署结构图。

具体实施方式

下面将结合附图和具体实施例对本发明作更进一步的说明。但应当理解的是，本发明可以以各种形式实施，以下在附图中出示并且在下文中描述的一些示例性和非限制性实施例，并不意图将本发明限制于所说明的具体实施例。

应当理解的是，在技术上可行的情况下，以下针对不同实施例所列举的技术特征可以相互组合，从而形成本发明范围内的另外的实施例。此外，本发明所述的特定示例和实施例是非限制性的，并且可以对以上所阐述的结构、步骤、顺序做出相应修改而不脱离本发明的保护范围。

实施例1：

本实施例示例性地给出了一种弱网环境下的音视频数据传输优化设备，其结构图如图1所示，该设备连接在终端与网络之间，包括：控制模块、音视频转码模块和数据包转发、过滤及缓存模块和虚拟网桥。

虚拟网桥包括虚拟网络接口和物理网络接口，用于捕获网络中传输的所有数据包，其中，虚拟网络接口用于连接所述数据包转发、过滤及缓存模块，所述物理网络接口用于连接终端设备和网络侧设备。

数据包转发、过滤及缓存模块用于捕获所述终端传输的数据包，并将非音视频数据包直接转发，将音视频数据包按照收发方向分别缓存至发送队列和接收队列。

控制模块用于统计当前的发送带宽、接收带宽和接收丢包率，进而评估网络延迟与带宽，然后生成工作模式切换策略通知发送端侧的音视频数据传输优化设备切换工作模式；所述工作模式包括丢包重传模式、前向纠错模式和音视频自适应转码模式，其中，音视频自适应转码模式下，发送端侧所述音视频数据传输优化设备的音视频转码模块对相应的音视频数据进行重新编码，以生成占用带宽更低的音视频数据包。

基于图1中所示的设备，本实施例还给出了该设备的工作方法，即弱网环境下的音视频数据传输方法，具体步骤如下：

步骤1：对网络中传输的所有数据包进行转发和过滤，通过识别RTP协议头部的特征字段，得到双向（Tx/Rx）音视频数据包。

步骤2：将Tx方向的音视频数据包暂存在Tx缓存中，并对所有的数据包进行统计得到发送带宽tx_bitrate。

步骤3：对Rx方向的音视频数据包的RTP序号、时间戳等进行排序和检查，统计得到接收带宽rx_bitrate、接收丢包率rx_lossrate；

步骤4：使用网络延迟与带宽评估算法（Google Congestion Control、SCReAM和SPROUT）得到网络延迟est_delay和网络带宽est_bandwidth；

步骤5：策略生成

情况1：当接收丢包率rx_lossrate 大于0时表示发生数据库丢失：

情况1.1：当接收丢包率rx_lossrate小于阈值MAX_LOSS（丢包率在可接受范围内）：

当网络延迟est_delay * 2小于阈值MAX_DELAY，且接收丢包率rx_bitrate小于网络带宽est_bandwidth 时（网络延迟较低且带宽富余），通知对端启用丢包重传模式；当发生丢包时，将丢失的RTP数据包序号发送给对端，对端收到后，从Tx缓存中找到对应的数据包，执行重新发送操作。

情况1.2：当网络延迟est_delay * 2大于等于阈值MAX_DELAY，且接收丢包率rx_bitrate小于网络带宽est_bandwidth 时（网络延迟较大，但带宽富余），通知对端启用前向纠错模式；前向纠错模式将多个数据包按照RFC5109规范中所述方法进行处理。

情况2：当接收丢包率rx_lossrate大于等于阈值MAX_LOSS（丢包率超出可接受范围）或无法满足上述1.1、1.2所描述的情况（网络延迟较大且带宽无富余），则通知对端启用音视频自适应转码模式。

音视频自适应转码模式下，发送端一侧执行的步骤如下：

将原先的音视频数据包分离：

对于视频数据包，使用视频解码器将压缩数据帧解码还原为YUV格式的未压缩图像；根据控制模块的策略，对未压缩视频图像序列进行尺寸缩放、帧率变换和图像增强处理；再将处理后的未压缩图像输入视频编码器，控制模块根据网络评估状态实时调整编码格式、比特率等编码参数；

对于音频数据包，使用音频解码器将压缩数据帧解码还原为PCM格式的未压缩音频采样；根据控制模块的策略，对未压缩音频采样进行重采样、3A处理；再将处理后的未压缩音频采样输入音频编码器，控制模块根据网络评估状态实时调整编码格式、比特率等编码参数；

重新编码后的音视频数据包打上原始RTP协议头中的序号和时间戳，并设置扩展标记位，按照原始目的地址发送。

图3示出了该设备的硬件实现结构图，如图3所示，主要包括：片上系统SoC（包括中央处理器CPU、图形处理器GPU、视频处理单元VPU）、内存RAM、存储器ROM、网络适配器以及存储在所述ROM中并且能够在所述片上系统SoC上运行的程序，片上系统SoC所搭载的程序实现如前述的音视频数据传输方法。

音视频自适应转码模式相比传统的丢包重传和前向纠错模式，大幅节约传输所需的带宽，能更好的适应低带宽的场景。仅以视频数据为例，假设网络带宽上限为2.5Mbps，原始视频格式为1080P@30fps，使用H.264/Baseline方式以2Mbps恒定比特率进行编码。若启用前向纠错方式，则可用于传输FEC数据包的带宽为0.5Mbps（为计算简单，忽略RTP包头的开销），则可提供的数据冗余度为25%；如果启用视频自适应转码模式，将原始1080P@30fps/2Mbps的H.264码流转码为H.265格式，平均带宽仅需1.2Mbps，则可用于传输FEC数据包的带宽为1.3Mbps，可提供超过100%的数据冗余度。

实施例2：

本实施例在实施例1的基础上，给出了一种弱网环境下的音视频数据传输系统，包括：终端和所述的音视频数据传输优化设备，所述终端通过所述音视频数据传输优化设备接入网络。该系统包括点对点通信系统和多点通信系统，其中本实施例提出的点对点通信网络部署结构如图5所示，而图4为现有的点对点通信网络部署结构图；本实施例提出的多点通信网络部署结构如图7所示，而图6为现有的多点通信网络部署结构图。从图4-7可知，本发明不需要改变原始终端功能，仅需要在终端和网络之间增加一个优化设备，即可实现弱网环境下的数据包传输方式调整，成本很低，使用方便。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种弱网环境下的音视频数据传输优化设备，连接在终端与网络之间，其特征在于，所述音视频数据传输优化设备包括：控制模块、音视频转码模块和数据包转发、过滤及缓存模块；

所述数据包转发、过滤及缓存模块用于捕获所述终端传输的数据包，并将非音视频数据包直接转发，将音视频数据包按照收发方向分别缓存至发送队列和接收队列；

所述控制模块用于统计当前的发送带宽、接收带宽和接收丢包率，进而评估网络延迟与带宽，然后生成工作模式切换策略通知发送端侧的音视频数据传输优化设备切换工作模式；所述工作模式包括丢包重传模式、前向纠错模式和音视频自适应转码模式，其中，音视频自适应转码模式下，发送端侧所述音视频数据传输优化设备的音视频转码模块对相应的音视频数据进行重新编码，以生成占用带宽更低的音视频数据包。

2.根据权利要求1所述的弱网环境下的音视频数据传输优化设备，其特征在于，所述音视频数据传输优化设备还包括虚拟网桥，所述虚拟网桥包括虚拟网络接口和物理网络接口，所述虚拟网络接口用于连接所述数据包转发、过滤及缓存模块，所述物理网络接口用于连接终端设备和网络侧设备。

3.根据权利要求1所述的弱网环境下的音视频数据传输优化设备，其特征在于，所述数据包转发、过滤及缓存模块还用于对捕获的数据包进行过滤，并将过滤出的非音视频数据包进行直通转发。

4.一种弱网环境下的音视频数据传输系统，其特征在于，包括：终端以及如权利要求1至3任意一项所述的音视频数据传输优化设备，所述终端通过所述音视频数据传输优化设备接入网络。

5.一种弱网环境下的音视频数据传输方法，其特征在于，所述方法基于权利要求1至3任意一项所述的音视频数据传输优化设备实现，包括以下步骤：

（1）所述数据包转发、过滤及缓存模块捕获网络中传输的音视频数据包，并按照传输方向分别备份缓存在发送队列和接收队列中；

（2）所述控制模块统计发送队列和接收队列中的音视频数据包，计算出发送带宽、接收带宽和接收丢包率，进而计算出网络延迟和网络带宽；

（3）所述控制模块根据实时的发送带宽、接收带宽和接收丢包率生成工作模式切换策略并反馈给发送端一侧的音视频数据传输优化设备；

（4）发送端一侧的音视频数据传输优化设备根据接收到的工作模式切换策略在丢包重传模式、前向纠错模式和音视频自适应转码模式之间切换。

6.根据权利要求1所述的弱网环境下音视频数据传输优化的方法，其特征在于，所述生成切换策略的具体步骤为：

情况1：在接收丢包率大于0且小于预设的丢包率可接受阈值的前提下，若网络延迟低于预设的延迟阈值且接收丢包率小于网络带宽，则生成丢包重传策略；

情况2：在接收丢包率大于0且小于预设的丢包率可接受阈值的前提下，若网络延迟大于预设的延迟阈值且接收丢包率小于网络带宽，则生成前向纠错策略；

情况3：若接收丢包率大于等于丢包率可接受阈值，或不满足情况1和情况2，则生成音视频自适应转码策略。

7.根据权利要求6所述的弱网环境下音视频数据传输优化的方法，其特征在于，所述控制模块使用网络延迟与带宽评估算法得到所述网络延迟和网络带宽。

8.根据权利要求6所述的弱网环境下音视频数据传输优化的方法，其特征在于，接收端一侧的音视频数据传输优化设备在生成丢包重传策略时，一并将丢失的RTP数据包序号发送给对端，对端收到后，从本地发送队列缓存中找到对应的数据包，执行重新发送操作。

9.根据权利要求8所述的弱网环境下音视频数据传输优化的方法，其特征在于，发送端一侧的音视频数据传输优化设备在接收到前向纠错策略后，将本地发送队列中缓存的相应数据包按照RFC5109规范中所述方法进行处理。

10.根据权利要求9所述的弱网环境下音视频数据传输优化的方法，其特征在于，发送端一侧的音视频数据传输优化设备在接收到音视频自适应转码策略后，执行以下步骤：

（10-1）将本地发送队列里的音视频数据包分离：

（10-2）对于视频数据包，使用内置的视频解码器将压缩数据帧解码还原为YUV格式的未压缩图像；对未压缩视频图像序列进行尺寸缩放、帧率变换和图像增强处理；再将处理后的未压缩图像输入内置的视频编码器，所述控制模块根据网络评估状态实时调整所述视频编码器的编码参数；

（10-3）对于音频数据包，使用内置的音频解码器将压缩数据帧解码还原为PCM格式的未压缩音频采样；对未压缩音频采样进行重采样和3A处理；再将处理后的未压缩音频采样输入内置的音频编码器，所述控制模块根据网络评估状态实时调整所述音频编码器的编码参数；

（10-4）将重新编码后的音视频数据包打上原始RTP协议头中的序号和时间戳，并设置扩展标记位，按照原始目的地址发送。

Images