CN104618337A - 一种基于tcp/udp混合协议的流媒体无线自适应传输方法 - Google Patents

Abstract

本发明公开了一种基于TCP/UDP混合协议的流媒体无线自适应传输方法，其首先把TCP协议传输可靠的特点与UDP协议传输开销小、速度快、效率高特点相结合，把视音频数据用固定长度的数据包头进行封装，根据不同的数据帧类型，采用不同的通道分级传输。在接收方设置数据包生命期阀值，如果出现接收数据超时现象，则发送反馈信息包给发送方。发送方开始丢弃不可靠传输通道的非关键帧数据，从而缓解信道拥塞状况，降低音视频的延时，保证流媒体播放的实时性。此外，本发明根据接收方接收到的信道传输数据量，利用加权平均码率的控制算法来实现动态调节发送方的编码码率，从而能更好地自适应无线信道带宽的变化。

Description

一种基于TCP/UDP混合协议的流媒体无线自适应传输方法

技术领域

本发明属于音视频数据传输技术领域，具体涉及一种基于TCP/UDP混合协议的流媒体无线自适应传输方法。

背景技术

在目前的各种应急通信系统方案中，应急视音频通信终端与指挥中心的视音频数据传输主要基于3G等无线网络实施，在这种应用场合下，网络环境的复杂性要远远超过传统的有线网络，比如无线网络的低带宽、高误码等特点使得传统的基于有线网络设计的视音频通信终端效果总是不尽人意，表现为延时、抖动、花屏，甚至出现视音频传输中断等，而这在应急通信中是无法令人接受的。因此如何基于各类无线网络，尤其是电信、移动等公司的3G无线网络进行视音频数据的高质量传输是急需解决的一个现实问题。

目前应急通信采用的无线传输网络主要有两种：电信、联通的3G网络和移动的4G网络等公用无线宽带网络，或者专用无线电台。由于3G/4G等公用无线宽带网络无论是在网络覆盖面、无线网络应用成本等各个方面都存在非常明显的经济优势，这种网络也成为无线多媒体传输系统的主要网络。基于终端的标准化和应急通信系统的兼容性考虑，几乎所有应急通信平台均采用IP传输技术，因此目前的基于无线网络的多媒体通信传输技术也几乎全部是基于TCP/IP协议的，主要有以下两种：

(1)基于UDP协议。

UDP协议的特点是面向无连接的不可靠传输，也即UDP协议对分组的超时或丢弃不敏感。在有线网络中，由于网络的低误码率、高吞吐量，以及接收终端的强计算能力和纠错能力，因而在有线网络中，基于UDP协议的多媒体传输可以得到较好的效果。然而，相对于有线网络，无线网络中存在大量计算能力受限的弱终端，它们的纠错能力和缓存能力都较弱，所以对于分组的缺失非常敏感。更为严重的是，传统的单纯基于UDP协议的流媒体传输方式由于没有拥塞控制机制，所以在网络发生拥塞时仍然会向网络中注入大量数据包，导致发生拥塞的路由将分组丢弃，进而造成终端恢复视频质量的急剧下降，严重时将导致接收终端(解码器)崩溃。

(2)基于TCP协议。

最近的研究表明，越来越多的流式媒体采用TCP而非UDP作为传输协议。但是，目前TCP协议的实现(如TCP-Reno、TCP-NewReno、TCP-SACK)都把数据包的丢失作为网络拥塞的指示，进而将拥塞窗口减半，造成发送速率呈现较大的抖动性，影响了接收端的显示效果。尤其在无线高误码率网络下，丢包在很大程度上是由于链路错误而非拥塞，盲目进入拥塞控制，会导致网络利用率降低，影响接收效果。

发明内容

针对现有技术所存在的上述技术问题，本发明提供了一种基于TCP/UDP混合协议的流媒体无线自适应传输方法，该方法兼顾了数据传输效率以及传输可靠性，较好地实现了音视频数据基于无线网络的高质量传输。

一种基于TCP/UDP混合协议的流媒体无线自适应传输方法，包括如下步骤：

(1)发送端采用TCP协议与接收端建立双向0级信道，采用UDP协议与接收端建立单向1级信道；

(2)初始编码码率为V₀，发送端以该码率对采集的音视频数据进行编码；

(3)发送端对编码得到的视频流中的I帧、P帧和B帧以及与视频流同步的音频流均进行数据分割，得到多个数据分片；依次对所述的数据分片封装数据包头形成数据包；

(4)发送端根据不同的帧类型对数据包进行分级传输；

接收端每隔t毫秒比较一次I帧数据包传输延时时间与数据包生命期阀值的大小，进而根据比较的结果组建控制信息包K₁并通过双向0级信道传输至发送端，t为大于1的自然数；发送端根据控制信息包K₁，来判断是否发送P帧和B帧；

(5)接收端通过加权平均码率传输控制机制计算出下一传输周期的编码码率V₁，进而组建控制信息包K₂并通过双向0级信道传输至发送端；

发送端对控制信息包K₂进行解析将编码码率更新为V₁，并以该码率对采集的音视频数据进行编码，从步骤(3)开始执行下一传输周期任务，从而自适应无线信道带宽的变化。

所述的步骤(4)中，发送端根据不同的帧类型对数据包进行分级传输，具体标准如下：I帧属于关键帧，则发送端将I帧和音频流的数据包通过双向0级信道传输至接收端；P帧和B帧属于非关键帧，则发送端将P帧和B帧的数据包通过单向1级信道传输至接收端。

所述的控制信息包K₁或K₂内包含命令号以及控制信息数据。

所述的数据包头内依次包含帧类型、帧尾标记、数据压缩格式、序列号、时间戳和分片长度。

所述的步骤(4)中，若I帧数据包传输延时时间小于等于数据包生命期阀值，则接收端组建控制信息包K₁并通过双向0级信道传输至发送端，发送端收到控制信息包K₁后通过单向1级信道向接收端发送P帧和B帧；否则，发送端不向接收端发送P帧和B帧。

所述的步骤(5)中，接收端通过加权平均码率传输控制机制计算出下一传输周期的编码码率V₁，其具体过程如下：

5.1根据接收端收到的数据量，计算出当前传输周期和上一传输周期的信道带宽；

5.2求得当前传输周期信道带宽与上一传输周期信道带宽的比值K；

5.3根据当前传输周期的编码码率以及比值K，计算出下一传输周期的编码码率V₁。

所述的步骤5.1中，首先将当前传输周期和上一传输周期均分为n个时段，n为大于1的自然数，然后根据以下公式计算当前传输周期和上一传输周期的信道带宽；

$T=\frac{{\mathrm{\Σ}}_{i=1}^n{w}_i{T}_i}{{\mathrm{\Σ}}_{i=1}^n{w}_i}$

其中：T_i为当前传输周期或上一传输周期中第i个时段内接收端收到的总数据量，w_i为当前传输周期或上一传输周期中第i个时段对应的权重系数，T为当前传输周期或上一传输周期的信道带宽，所述的第i个时段离当前时刻越远其序号i则越大。

所述的权重系数w_i的计算表达式如下：

$w_i=\left\{\begin{array}{ccc}1& \mathrm{if}& 1\&le;i\&le;\frac{n}{2}\\ \frac{n+1-i}{\frac{n}{2}+1}& \mathrm{if}& \frac{n}{2}<i\&le;n\end{array}\right..$

优选地，设定n＝8，则w₁＝w₂＝w₃＝w₄＝1，w₅＝0.8，w₆＝0.6，w₇＝0.4，w₈＝0.2。

所述的步骤5.3中，通过以下算式计算下一传输周期的编码码率V₁：

$V_1=\left\{\begin{array}{ccc}K(V-V_{\min })+V_{\min }& \mathrm{if}& K\&le;1\\ \max (\mathrm{KV},V_{\max })& \mathrm{if}& K>1\end{array}\right.$

其中：V为当前传输周期的编码码率，V_max和V_min分别为编码码率设定的上下限。

本发明首先把TCP协议传输可靠的特点与UDP协议传输开销小、速度快、效率高特点相结合，把视音频数据用固定长度的数据包头进行封装，根据不同的数据帧类型，采用不同的通道分级传输。其中，TCP协议作为可靠传输通道，来传输关键帧数据，保证音视频的可靠传输和播放质量。UDP协议作为不可靠传输通道，选择传输非关键帧数据。在接收方设置数据包生命期阀值，如果出现接收数据超时现象，则发送反馈信息包给发送方。发送方开始丢弃不可靠传输通道的非关键帧数据，从而缓解信道拥塞状况，降低音视频的延时，保证流媒体播放的实时性。

此外，本发明根据接收方接收到的信道传输数据量，利用加权平均码率的控制算法来实现动态调节发送方的编码码率，从而能更好地自适应无线信道带宽的变化。通过以上技术，可以同时兼顾好数据传输效率与可靠性，很好地实现了基于无线网络的视音频数据的高质量传输。

附图说明

图1为本发明方法接收端的工作流程示意图。

图2为本发明方法发送端的工作流程示意图。

图3为本发明方法的分级传输模型示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1、图2所示，本发明基于TCP/UDP混合协议的流媒体无线自适应传输方法，包括如下步骤：

(1)发送端采用可靠的TCP协议与接收端建立双向0级信道，采用不可靠的UDP协议与接收端建立单向1级信道，如图3所示。

本实施方式中，0级通道从发送端向接收端传输的是关键帧数据，从接收端向发送端传输的是控制信息包，为可靠传输；1级通道中传输的是非关键帧数据，为不可靠传输。

控制信息包内包含命令号、控制信息数据及其数据长度，其结构如表1所示：

表1

(2)初始化发送端编码码率为V₀＝500Kb/s，对刚采集的音视频数据进行编码，生成I帧、P帧和B帧数据。

(3)对I帧、P帧和B帧进行数据分割，得到多个数据分片；依次对每一个数据分片封装数据包头形成数据包。每个数据分片以800个字节为单位，I帧、P帧、B帧或音频流的最后一个数据分片，可以为不足800个字节的数据分片。

数据包的结构如表2所示：

表2

数据包头

数据分片

数据包头内依次包含帧类型、帧尾标记、数据压缩格式、序列号、时间戳和分片长度，其结构如表3所示：

表3

本实施方式中，关于帧类型：若数据分片属于I帧，则帧类型为00；若数据分片属于P帧，则帧类型为01；若数据分片属于B帧，则帧类型为10；若数据分片属于音频流，则帧类型为11。

关于帧尾标记：若数据分片是I帧、P帧、B帧或音频流的最后一个数据分片，则帧尾标记为1；若否，则帧尾标记为0。

关于数据压缩格式：若数据分片属于的视频流或音频流的压缩算法为G711标准，则数据压缩格式为1，2表示G726标准，3表示GSM标准，4表示AMR标准，16表示MPEG4标准，17表示H264标准。

关于序列号：依次将序列号0～65535赋予每个数据包，超出65535的再从0～65535开始赋值。

关于时间戳：为每一个数据包赋予一个时间戳，则当前数据包的时间戳C_i＝(t_i-t₀)T+C₀；t_i为当前数据包对应的时刻，t₀为视频流或音频流的第一个数据包对应的时刻，C₀为视频流或音频流的第一个数据包的时间戳，T为比例系数；其中，C₀为随机初始化的值，对于视频流T＝90000，对于音频流T＝8000。

关于分片长度：用于表示数据分片的大小。

(4)根据不同的帧类型进行分级传输：I帧属于关键帧，通过可靠的0级通道传输至接收端；P、B帧属于非关键帧，通过不可靠的1级通道传输至接收端。

(5)接收端每隔T1毫秒比较一次I帧数据包延时时间与数据包生命期阀值的大小，根据比较的结果，组包成控制信息包K1(命令号为00，控制信息数据为丢包控制信息，其中0000为不丢包发送，0001为丢包发送)，并通过0级通道发送至发送端。发送端根据接收到控制信息包K1，来判断是否发送B、P帧。T1设置为500ms。

本实施方式中，当接收端接收到的I帧数据包延时时间小于等于数据包生命期阀值，组包成控制信息包K1(命令号为00，控制信息数据为0000)，并通过0级通道发送至发送端，发送端通过1级通道发送B、P帧数据；反之，发送端不发送B、P帧数据。

(6)接收端通过加权平均码率传输控制机制计算出下一个单位时间周期的编码码率V₁，并组包成控制信息包K2(令号为01，控制信息数据为下一个单位时间周期的编码码率V₁)，通过0级通道发送至发送端。发送端根据控制信息包K2重新初始化编码码率为V₁，从而自适应无线信道带宽的变化。

本实施方式中，加权平均码率传输控制机制如下步骤：首先，接收端根据每个单位时间周期T2秒接收到的数据量，利用以下加权平均公式求出该时间周期内的信道带宽大小。

$\stackrel{\&OverBar;}{T}=\frac{{\mathrm{\&Sigma;}}_{i=1}^n{w}_i{T}_i}{{\mathrm{\&Sigma;}}_{i=1}^n{w}_i}$

其中：n表示单位周期中参与加权平均算法的采样个数，T_i表示单位周期里的第i个采样点的传输数据量信息，表示单位周期里n个采样点的加权平均传输数据量信息，W_i表示各个采样点的权重系数，其表达式如下：

$W_i=\left\{\begin{array}{cc}1,& 1\&le;i\&le;n/2\\ \frac{n+1-i}{\frac{n}{2}+1},& n/2<i\&le;n\end{array}\right.$

其中：n值大小决定着系统对信道大小的反应速度以及速度变化的平滑性。根据实验分析表明，当n＝8时为最佳值。那么根据上式，可以得到W₁＝W₂＝W₃＝W₄＝1，W₅＝0.8，W₆＝0.6，W₇＝0.4，W₈＝0.2。因此，加权平均算法公式可以变为：

$\stackrel{\&OverBar;}{T}=\frac{{\mathrm{\&Sigma;}}_{i=1}^n{W}_i{T}_i}{6}$

即根据上式，可以分别求出当前时间周期的平均信道传输数据量和最近第一个时间周期的平均信道传输数据量进而根据求得的和之比可以评估出当前时间周期与最近第一个时间周期的平均信道带宽大小之比K。即：

$K=\frac{{\stackrel{\&OverBar;}{T}}_1}{{\stackrel{\&OverBar;}{T}}_2}$

根据最近两个时间周期的信道带宽变化状况，本实施方式采用了一种新的自适应码率算法，来估算出下一个时间周期的编码码率。加权平均码率的控制算法如下式：

$V_1=\left\{\begin{array}{cc}K*(V_0-V_{\min })+V_{\min },& K\&le;1\\ \max (K*V_0,V_{\max }),& K>1\end{array}\right.$

其中，V_max为最大的编码码率，V_min为最小的编码码率。在当前码率V₀已知的情况下，根据上式，可以计算出下一个单位时间周期的编码码率V₁，并组包成控制信息包K2。T2设置为8s，V_max设置为800Kb/s，V_min设置为100Kb/s。

Claims (10)

1.一种基于TCP/UDP混合协议的流媒体无线自适应传输方法，包括如下步骤：

(1)发送端采用TCP协议与接收端建立双向0级信道，采用UDP协议与接收端建立单向1级信道；

(2)初始编码码率为V₀，发送端以该码率对采集的音视频数据进行编码；

(3)发送端对编码得到的视频流中的I帧、P帧和B帧以及与视频流同步的音频流均进行数据分割，得到多个数据分片；依次对所述的数据分片封装数据包头形成数据包；

(4)发送端根据不同的帧类型对数据包进行分级传输；

接收端每隔t毫秒比较一次I帧数据包传输延时时间与数据包生命期阀值的大小，进而根据比较的结果组建控制信息包K₁并通过双向0级信道传输至发送端，t为大于1的自然数；发送端根据控制信息包K₁，来判断是否发送P帧和B帧；

(5)接收端通过加权平均码率传输控制机制计算出下一传输周期的编码码率V₁，进而组建控制信息包K₂并通过双向0级信道传输至发送端；

发送端对控制信息包K₂进行解析将编码码率更新为V₁，并以该码率对采集的音视频数据进行编码，从步骤(3)开始执行下一传输周期任务，从而自适应无线信道带宽的变化。

2.根据权利要求1所述的流媒体无线自适应传输方法，其特征在于：所述的步骤(4)中，发送端根据不同的帧类型对数据包进行分级传输，具体标准如下：I帧属于关键帧，则发送端将I帧和音频流的数据包通过双向0级信道传输至接收端；P帧和B帧属于非关键帧，则发送端将P帧和B帧的数据包通过单向1级信道传输至接收端。

3.根据权利要求1所述的流媒体无线自适应传输方法，其特征在于：所述的控制信息包K₁或K₂内包含命令号以及控制信息数据。

4.根据权利要求1所述的流媒体无线自适应传输方法，其特征在于：所述的数据包头内依次包含帧类型、帧尾标记、数据压缩格式、序列号、时间戳和分片长度。

5.根据权利要求1所述的流媒体无线自适应传输方法，其特征在于：所述的步骤(4)中，若I帧数据包传输延时时间小于等于数据包生命期阀值，则接收端组建控制信息包K₁并通过双向0级信道传输至发送端，发送端收到控制信息包K₁后通过单向1级信道向接收端发送P帧和B帧；否则，发送端不向接收端发送P帧和B帧。

6.根据权利要求1所述的流媒体无线自适应传输方法，其特征在于：所述的步骤(5)中，接收端通过加权平均码率传输控制机制计算出下一传输周期的编码码率V₁，其具体过程如下：

5.1根据接收端收到的数据量，计算出当前传输周期和上一传输周期的信道带宽；

5.2求得当前传输周期信道带宽与上一传输周期信道带宽的比值K；

5.3根据当前传输周期的编码码率以及比值K，计算出下一传输周期的编码码率V₁。

7.根据权利要求6所述的流媒体无线自适应传输方法，其特征在于：所述的步骤5.1中，首先将当前传输周期和上一传输周期均分为n个时段，n为大于1的自然数，然后根据以下公式计算当前传输周期和上一传输周期的信道带宽；

$T=\frac{{\mathrm{\&Sigma;}}_{i=1}^n{w}_i{T}_i}{{\mathrm{\&Sigma;}}_{i=1}^n{w}_i}$

其中：T_i为当前传输周期或上一传输周期中第i个时段内接收端收到的总数据量，w_i为当前传输周期或上一传输周期中第i个时段对应的权重系数，T为当前传输周期或上一传输周期的信道带宽，所述的第i个时段离当前时刻越远其序号i则越大。

8.根据权利要求7所述的流媒体无线自适应传输方法，其特征在于：所述的权重系数w_i的计算表达式如下：

$w_i=\left\{\begin{array}{ccc}1& \mathrm{if}& 1\&le;i\&le;\frac{n}{2}\\ \frac{n+1-i}{\frac{n}{2}+1}& \mathrm{if}& \frac{n}{2}<i\&le;n\end{array}\right..$

9.根据权利要求7所述的流媒体无线自适应传输方法，其特征在于：设定n＝8，则w₁＝w₂＝w₃＝w₄＝1，w₅＝0.8，w₆＝0.6，w₇＝0.4，w₈＝0.2。

10.根据权利要求6所述的流媒体无线自适应传输方法，其特征在于：所述的步骤5.3中，通过以下算式计算下一传输周期的编码码率V₁：

$V_1=\left\{\begin{array}{ccc}K(V-V_{\min })+V_{\min }& \mathrm{if}& K\&le;1\\ \max (\mathrm{KV},V_{\max })& \mathrm{if}& K>1\end{array}\right.$

其中：V为当前传输周期的编码码率，V_max和V_min分别为编码码率设定的上下限。