CN102088640A

CN102088640A - 基于视频内容的自适应选择重传方法

Info

Publication number: CN102088640A
Application number: CN 201110004026
Authority: CN
Inventors: 秦浩; 彭学露; 赵月; 秦艳辉
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2011-01-10
Filing date: 2011-01-10
Publication date: 2011-06-08

Abstract

本发明公开了一种基于视频内容的自适应选择重传方法，主要解决现有技术引起的网络拥塞，不能匹配网络状态选择重传门限，引起重传丢包的问题。其实现步骤是：首先，将视频编码得到的视频流打包，发送到解码端，利用包中各帧的帧重要性值加权平均得到包重要性值；然后，统计包重要性值的分布函数，再根据包重要性值分布函数的逆函数、实际的源数据发送速率、可承载的数据包速率和丢包率计算出选择重传的门限值；最后，若解码端检测出没有丢包，则进行解封装和视频解码，否则向编码端发送重传请求，编码端接收到解码端的重传请求后重传包重要性值高于重传门限值的丢包。本发明不需要重传所有的丢包，降低了时间开销和网络开销，可用于视频传输系统。

Description

基于视频内容的自适应选择重传方法

技术领域

本发明属于视频通信技术领域，涉及RTP打包以及利用包的重要性值模型选择重传丢包，可用于多媒体通信以及音频、数据等多媒体流在网络传输中的差错控制。

背景技术

随着多媒体技术以及通信网络的迅速发展，多媒体应用已成为Internet不可或缺的一部分，也逐渐成为人们日常生活的一部分。很多实时多媒体应用如视频会议、网络电话及流媒体播放器等不断涌现，这些应用不仅方便了信息交流还丰富了人们的娱乐生活。

虽然目前多媒体应用有了很大的进步，但存在私有性，不够灵活，不能给用户提供满意的视觉体验，如Real Player及Windows Media Player。随着视频压缩技术的不断发展，如MPEG-4和H.264的出现，其利用帧间时间相关性和图像空间相关性获得高水平的压缩，增加了传输效率，但受误码扩散的影响比较大。同时由于网络环境的带宽条件、分组丢失率或者比特错误率等因素影响了多媒体流的传输性能，导致媒体播放质量下降，因此必须对传输的视频数据使用多种差错控制方法。

对多媒体应用实现差错控制有开环和闭环两种方式。开环方式在一定条件下可以有效的提高数据传输质量，但会引入较大的开销和较高的计算复杂度，且算法灵活性差，特别是针对时变的传输网络。闭环方式主要利用现有网络条件的反馈信息自适应错误控制，主要方法是重传，但闭环方式会增加传输时延。但对于大多数多媒体应用允许一定的时延，尤其是具有播放缓存的应用中，如果反馈信息只需要较小的带宽要求和处理代价，这样重传差错控制的优点逐渐显现出来。特别是对服务质量要求严格的多媒体应用，如医生通过Internet网络视频远程检查疾病，重传必不可少。

传统的重传方法是通过重传每个丢失包来保证其可靠性，在网络条件差的情况下会引起网络拥塞和丢包率增加，并且多媒体的实时性不允许每个包都重传和无限制的重传，因此提出了选择重传错误控制以及次数受限的选择性重传，目的是适应网络带宽有限的现状并能保证多媒体的性能质量，降低时延的影响。现有选择重传错误控制以及次数受限的选择性重传方法主要有基于分组优先级的选择重传控制方法和基于网络状态的选择重传。其中：

基于分组优先级的选择性重传，采用的重传控制方法是根据视频内容重要性程度分配不同的等级，在资源受限的状况下，只重传等级最高的分组。这种方法并没有考虑网络状态变化如丢包率、时延及抖动等因素，在带宽受限的情况下仍有可能造成网络拥塞，也有可能丢弃了一部分重要的数据。这种方法不够灵活，只能选择重传或者不传，不能适应网络状况的变化选择多传或者少传。

基于网络状态的选择性重传，采用的重传控制方法是根据网络状态的变化如丢包率，时延，抖动等因素选择重传数据包，可以减轻网络的负担，避免拥塞事件，但是只单从网络性能考虑，在网络性能变差时，不区分丢失分组的重要性，对重要的分组和不重要的分组同等对待，分组的重要性很强若选择放弃重传，会不利于解码端质量的恢复。

发明内容

本发明的目的在于克服上述已有技术的缺点，提出一种基于视频内容的自适应选择重传方法，以在网络灵活变化的状况下选择需要重传的包数，区别对待重要性程度不同的丢包，实现对网络负担的减轻，保证解码视频质量。

为实现上述目的，本发明提供的基于视频内容的自适应选择重传方法，包括如下步骤：

(A)编码端步骤：

(A1)读取重传请求信息和数据信息单元信息；

(A2)将数据信息单元中的视频流打包后发送到解码端，并计算包重要性值：

F = Σ_{i = 1}^{n} r_{i} \cdot I_{i}

其中F为包重要性值，r_i为第i帧的帧分割长度占整个包长度的比例，I_i代表包中第i帧的帧重要性值，是由客观质量评估方法MSE(均方误差)计算得到；

(A3)统计包重要性值的分布函数G(f)：

(A4)计算重传门限值：

T > G^{- 1} (1 - \frac{1}{p} \cdot (\frac{R_{d}}{R_{s}^{'}} - 1))

其中，R′_s是实际的源数据发送速率，p为丢包率，T为选择重传的门限值，G^-1是分布函数G(T)的逆函数，R_d为可承载的数据包速率，通过速率公式计算得到；

(A5)判决是否重传丢包：若丢包的包重要性值F大于重传门限值T，则表示需要重传丢包，否则不需要重传丢包；

(B)解码端步骤：

(B1)检测是否有丢包：若在时延范围内没有收到包，则认为该包已丢失，转向步骤(B2)，否则认为没有丢包，进行解封装和视频解码；

(B2)将丢包的包序列号作为重传请求发送到编码端。

本发明与现有技术相比具有如下优点：

1)与传统的全部重传相比，由于本发明不需要重传所有的丢包，故减少了重传包数，不会引起网络拥塞和丢包率增加，降低了时间开销和网络开销，提高了视频流的流畅性；

2)与基于分组优先级的选择重传相比，由于本发明考虑了源端的发送速率、丢包率等网络环境对选择重传门限的影响，当重传门限高时，重传数量少，重传门限低时，重传数量多，故有更强的实用性；

3)与基于网络状态的选择重传相比，由于本发明考虑了视频内容的重要性，对重要性不同的包区别对待，根据视频内容的重要性程度选择重传，故在解码端能得到更优的视频质量。

附图说明

图1是本发明重传控制流程图；

图2是用本发明与现有全部重传方法及现有不重传方法的PSNR性能比较图；

具体实施方式

参照图1，本发明基于视频内容的自适应选择重传，包括如下步骤：

一、编码端

步骤1，对源序列进行视频编码，得到视频流，在编码过程中根据客观质量评估方法MSE估计视频流中每帧的帧重要性值I。

步骤2，将视频流打包后发送到解码端，并计算每个包的包重要性值：

将视频流按照实时传输协议RTP格式封装成固定长度的包，包重要性值的计算方法是由包中所有帧的帧重要性值的加权平均得到，具体计算公式如下：

F = Σ_{i = 1}^{n} r_{i} \cdot I_{i}

其中F为包重要性值，r_i为第i帧的帧分割长度占整个包长度的比例，I_i代表包中第i帧的帧重要性值。

步骤3，由步骤2得出的包重要性值统计出其分布函数G(f)。

首先是将所有的包按照包重要性值F的大小排序；再计算包重要性值小于f的包的数目与总包数的比值，这个比值就是包重要性值分布函数G(f)。

步骤4，计算选择重传门限值：

4.1)计算全部重传时的源端的发送数据包速率R：

数据包在网络中重传受到网络带宽和源端发送速率的影响，当丢包全部重传，且对所有丢包重传L次时，则源端的发送数据包速率R和可承载的数据包速率R_d、丢包率p有如下关系：

R = \frac{1}{1 + Σ_{i = 1}^{L} p^{i}} \cdot R_{d} - - - (1)

4.2)根据步骤4.1)计算选择重传时的源端的发送数据包速率R_s：

为了减轻由于重传造成网络吞吐量的下降，根据分组的重要性值和源数据发送速率只重传一部分数据，考虑选择性重传后，源数据的发送速率表达式(1)变化如下：

R_{s} = \frac{1}{1 + Σ_{i = 1}^{L} {[p^{'} \cdot p]}^{i}} \cdot R_{d} - - - (2)

其中p′为丢包选择重传的概率，p为丢包率，R_d为可承载的数据包速率，L是丢包的重传次数；

4.2.1)由以下公式得到4.2)中所涉及的丢包选择重传的概率p′：

p′＝P(F＞T)＝1-G(T) (3)

其中T为选择重传门限值，G(T)可由步骤3得到；

4.2.2)计算步骤4.2)中所涉及的可承载的数据包速率R_d：

可承载的数据包速率R_d由包的传输长度、丢包率、包传输的往返时延网络参数决定，即：

R_{d} = \frac{S}{RTT \sqrt{\frac{2 p}{3}} + 4 RTT (3 . \sqrt{\frac{3 p}{8}} . p (1 + 32 p^{2}))} - - - (4)

\approx \frac{1.22 S}{RTT \sqrt{p}}

其中，S为在网络中传输的包的长度，RTT为包传输的往返时延，p为丢包率；

4.2.3)修正步骤4.2.2)中所涉及的丢包率和包传输的往返时延：

为了减小丢包率和往返时延造成的发送速率剧烈抖动，步骤4.2.2)所涉及的丢包率和往返时延都采用平滑的加权值获得，计算如下：

SRTT(K+1)＝a·SRTT(K)+(1-a)·RTT(K) (5)

SP(K+1)＝b·SP(K)+(1-b)·P(K) (6)

其中SRTT(K+1)是平滑的包传输的往返时延估计值，SP(K+1)是平滑的丢包率估计值，K代表时刻，RTT(K)是K时刻包传输的往返时延，P(K)是K时刻丢包率，a是平滑包传输的往返时延的加权系数，b平滑丢包率的加权系数，a和b都小于1；

4.3)计算实际的源数据发送速率R′_s：

为了避免网络拥塞，实际的源数据发送速率R′_s必须低于理想状态下得出的源端的发送数据包速率R_s，即R′_s＜R_s，将(3)代入(2)，即需要满足如下关系式：

R_{s}^{'} < \frac{1}{1 + Σ_{i = 1}^{L} {[(1 - G (T)) \cdot p]}^{i}} R_{d} - - - (7)

其中G(T)可由步骤3得到，可承载的数据包速率R_d由步骤4.2.2)得到，p是丢包率，L是丢包的重传次数；

4.4计算重传门限T：

由于多次重传受时延和系统复杂度的限制，本发明只考虑重传一次的情况，即L＝1，将式(7)进一步转化为：

T > G^{- 1} (1 - \frac{1}{p} \cdot (\frac{R_{d}}{R_{s}^{'}} - 1)) - - - (8)

其中G^-1是步骤3中包重要性分布函数G(f)的逆函数，R′_s是步骤4.3)计算的实际的源数据发送速率，R_d是步骤4.2.2)计算的可承载的数据包速率，p是丢包率。

步骤5，读取由解码端反馈的重传请求信息，并判决是否重传丢包：若由步骤2计算出的包重要性值F大于步骤4计算出的选择重传门限值T，则表示需要重传丢包，否则不需要重传丢包。

二、解码端

步骤6，检测是否有丢包，若在时延范围内没有收到包，则认为该包已丢失，转向步骤7，否则认为没有丢包，转向步骤8。

步骤7，将丢包的包序列号作为重传请求发送到编码端。

步骤8，对收到的包解封装后得到视频流，最后对视频流进行视频解码。

本发明的效果可通过以下实验进一步说明：

1)实验条件

图像组(GOP)结构：IPPP...；

图像组(GOP)长度：150；

RTP包长度：1200字节；

目标帧率：30fps；

参考序列：foreman，stefan；

分辨率：352×288；

2)实验内容及结果

实验1：分别采用本发明提供的基于视频内容的自适应选择重传方法SRET和现有的全部重传方法ARET及现有不重传方法NRET进行重传控制，比较结果如图2和表1所示，其中图2(a)以“foreman”作为测试序列，图2(b)以“stefan”作为测试序列，横轴表示丢包率，纵轴表示解码序列的PSNR；表1是本发明与现有全部重传方法在不同序列和不同丢包率下需要重传的包数的比较。

表1：本发明与现有全部重传方法在不同序列和不同丢包率下需要重传的包数的比较

由图2和表1可以看出：在相同实验条件下，实验结果表明本发明提出的自适应选择性重传控制方法与现有的全部重传方法相比，在达到接近的解码质量的前提下，减少了重传的包数，减缓了网络负担；与现有不重传方法相比，解码质量得到了很大提高。

综上，由于现有的全部重传方法需要重传所有的丢包，增加了网络负担和视频时延，更有可能产生网络拥塞，导致解码视频质量的下降，而本发明提出的基于视频内容的自适应选择重传方法不需要重传所有的丢包，根据网络状态选择重传门限，只重传包重要性值高于重传门限的丢包，减小了网络开销和传输时延，改善了视频的流畅度，所以本发明提出的基于视频内容的自适应选择重传方法优于现有的全部重传方法。

Claims

1.一种基于视频内容的自适应选择重传方法，包括：

(A)编码端步骤：

(A1)读取重传请求信息和数据信息单元信息；

F = Σ_{i = 1}^{n} r_{i} \cdot I_{i}

(A3)统计包重要性值的分布函数G(f)：

(A4)计算重传门限值：

T > G^{- 1} (1 - \frac{1}{p} \cdot (\frac{R_{d}}{R_{s}^{'}} - 1))

(B)解码端步骤：

(B2)将丢包的包序列号作为重传请求发送到编码端。

2.根据权利要求1所述的自适应选择重传方法，其中步骤(A3)所述的统计包重要性值的分布函数G(f)，是将所有的包按照包重要性值F的大小排序，再计算包重要性值小于f的包的数目与总包数的比值，该比值即包重要性值的分布函数G(f)。

3.根据权利要求1所述的自适应选择重传方法，其中步骤(A4)中涉及的可承载的数据包速率R_d，按如下公式计算：

R_{d} \approx \frac{1.22 S}{RTT \sqrt{p}}

其中S为在网络中传输的包的长度，RTT为包传输的往返时延，p为丢包率。