CN102075312B - 基于视频服务质量的混合选择重传方法 - Google Patents

Abstract

本发明公开了一种基于视频服务质量的混合选择重传方法，主要解决现有技术因不必要的开销引起的数据传输量减小，传输时延大和视频信息连贯性差的问题。其实现步骤是：首先，利用视频主观质量客观化模型计算视频主观质量客观化值，并由接收端向发送端反馈的网络带宽计算出不会引起网络拥塞的数据传输冗余范围；然后，根据数据传输冗余的范围，为前向纠错冗余和选择重传冗余分配比例，使视频主观质量客观化值最优；最后，根据前向纠错冗余选择码型进行编码，再由选择重传的冗余确定需要重传的包数。本发明同时考虑了前向纠错差错控制和选择重传差错控制，降低了时间开销和网络开销，可用于视频传输系统。

Description

基于视频服务质量的混合选择重传方法

技术领域

本发明属于视频通信领域，涉及RTP包的选择重传方法与前向纠错方法，可用于视频通信系统以及音频、数据等多媒体流在网络传输中的差错控制。

背景技术

随着多媒体技术以及通信网络的迅速发展，多媒体应用已成为Internet不可或缺的一部分，也逐渐成为人们日常生活的一部分。很多实时多媒体应用如视频会议、网络电话及流媒体播放器等不断涌现，这些应用不仅方便了信息交流还丰富了人们的娱乐生活。虽然目前多媒体应用有了很大的进步，但存在私有性，不够灵活，不能给用户提供满意的视觉体验，如Real Player及Windows Media Player。随着视频压缩技术的不断发展，如MPEG-4和H.264的出现，利用帧间时间相关性和图像空间相关性获得高水平的压缩，增加了传输效率，但受误码扩散的影响比较大。同时由于网络环境的带宽条件、分组丢失率或者比特错误率等因素影响了多媒体流的传输性能，导致媒体播放质量下降，因此必须对传输的视频数据使用多种差错控制方法。

常用的差错控制方式有前向纠错方式和自动请求重传方式。前向纠错FEC是通过在发送端发送包含冗余信息可以被纠错的码，接收端自动纠正码字中的错误，其特点是“只纠不传”，卷积码和LDPC码便是常用的纠错码。自动请求重传ARQ的原理是接收端通过反向信道反馈信息，使发送端重发检查出错误的数据包，直到接收端认为已正确接收，其特点是“只传不纠”。

上述两种方式各有优缺点，其中FEC方式中不必要的开销引起数据传输量的减小，且增加了解码系统的复杂性，而自动请求重传方式则存在传输时延和信息连贯性差的缺陷。混合选择重传HARQ技术结合了FEC技术和ARQ技术的优点，发端会发送具有一定冗余信息的数据，接收端首先进行FEC，如果依然不能正确解码则要求发送端重新发送数据。因此采用HARQ技术不仅能够检测出接收数据的正确性，而且还具有一定的纠错能力。HARQ不仅可以解决单独使用FEC和单独使用ARQ的缺点，而且可以使整个系统误码率降低。混合自动请求重传技术以往研究的都是基于可靠性的数据传输，但视频通信是第三代无线通信的重要组成部分，鉴于视频通信本身的特点，有必要研究适合视频传输的差错控制技术。

根据其重传内容的不同，HARQ可分为Type-I HARQ、Type-II HARQ和Type-III HARQ三类：

1、Type-I HARQ是简单地将ARQ与FEC技术结合，对于收到的数据包先进行解码纠错，若能纠正其中的错误则接受此包；否则，丢弃此包并向发送端请求重发该数据包。

2、Type-II HARQ的特点是重传的数据与正常传输的数据不同，它只包含FEC编码的校验冗余数据，不包含信息数据，在接收端保存出错的数据包并与重传的冗余校验数据进行合并解码。

3、Type-III HARQ是指重传的数据包包含与原数据包相同的信息数据和不同FEC编码的冗余校验数据，每次重传的数据包可直接解码，如果不能正确解码，则与先前传输的出错数据包合并成一个具有更大冗余度的数据包进行解码。

Type-I HARQ对错误和丢失的数据包全部进行重传，没有充分利用解码失败后的FEC的冗余信息，因而重传的数据量很大。Type-II HARQ，Type-III HARQ都属于递增冗余型的HARQ，重传的数据具有盲目性，也就是说重传的一部分数据可能对解码完全没有贡献，因而重传的数据量也很多，造成了时延增大和网络带宽的浪费。

发明内容

本发明的目的在于克服上述已有技术的缺点，提出一种基于视频服务质量的混合选择重传方法，以减小重传数据量和消除重传数据的盲目性，提高视频质量、视频传输的实时性和网络带宽的利用率。

为实现上述目的，本发明提供的基于视频服务质量的混合选择重传方法，包括如下步骤：

(1)利用视频主观质量客观化模型，计算反映视频服务质量的视频主观质量客观化值V_q：

$V_q=1+I\·\exp (-\frac{[1-p(n,k)].(1-p_2)}{D_p})$

其中I代表由编码失真影响的基本视频质量，D_p代表与丢包率相关的视频质量健壮度，p(n，k)代表使用前向纠错后的丢包率，k为数据包的个数，n为数据包校验包的总数，p₂代表丢包选择重传的概率；

(2)在接收端获取网络传输的丢包率p₁和使用带宽B，将其反馈到发送端；

(3)根据步骤(2)获取的网络使用带宽B，计算出不会引起网络拥塞的数据传输冗余γ的范围：

$\mathrm{\&gamma;}<\frac{B}{R_s}-1$

其中B是网络传输的的网络带宽，R_s是源数据发送速率；

(4)计算数据传输冗余γ：

$\mathrm{\&gamma;}=\mathrm{\&beta;}+\mathrm{\&delta;}=\frac{n-k}{n}+[1-p(n,k)]\&CenterDot;p_2$

其中p(n，k)代表使用前向纠错后的丢包率，k为数据包的个数，n为数据包校验包的总数，p₂代表丢包选择重传的概率，β为前向纠错冗余，δ为选择重传冗余；

(5)为前向纠错冗余β和选择重传冗余δ分配比例，使步骤(1)中视频主观质量客观化值V_q最优：

5a)计算步骤(1)中视频主观质量客观化值V_q与步骤(4)中的数据传输冗余γ的关系：

$V_q=1+I\&CenterDot;\exp (-\frac{[1-p(n,k)]-(\mathrm{\&gamma;}-\frac{n-k}{n})}{D_p})$

其中I代表由编码失真影响的基本视频质量，D_p代表与丢包率相关的视频质量健壮度，p(n，k)代表使用前向纠错后的丢包率，k为数据包的个数，n为数据包和校验包的总数；

5b)计算步骤5a)中的数据包和校验包的总数n，使视频主观质量客观化值V_q达到最优；

5c)由步骤5a)中的数据包个数k和步骤5b)中计算的数据包和校验包的总数n，通过前向纠错冗余β的计算公式：和选择重传冗余δ的计算公式：δ＝γ-β，得出前向纠错冗余β和选择重传冗余δ；

(6)发送端将前向纠错编码后的包发送到接收端；

(7)根据步骤(5)得到的选择重传冗余δ确定重传丢包数；

(8)接收端收到发送端的数据包和校验包后，先进行前向纠错解码，经校验后若数据包没有错误，则进行解封装和视频解码，否则向发送端反馈重传请求，要求发送端重新发送错误的数据包。

本发明与现有技术相比具有如下优点：

1)与现有的FEC方法相比，由于本发明对出现错误的数据包进行了重传，故提高了视频质量的可靠性；

2)与现有的ARQ方法相比，由于本发明采取了FEC冗余保护措施，可以检测接收端数据的正确性，故减少了重传的包数和传输时延，使视频质量更高；

3)与现有的Type-I HARQ，Type-II HARQ，Type-III HARQ方法相比，由于本发明只重传错误数据包中比较重要的包，故消除了重传数据的盲目性，减小了重传数据量，提高了视频传输的实时性和网络带宽的利用率。

附图说明

图1是本发明的混合选择性重传流程图；

图2是foreman序列采用本发明与现有前向纠错方法及选择重传方法的视频主观质量比较图；

图3是stefan序列采用本发明与现有前向纠错方法及选择重传方法的视频主观质量比较图；

图4是hall-monitor序列采用本发明与现有前向纠错方法及选择重传方法的视频主观质量比较图。

具体实施方式

参照图1，本发明基于视频服务质量的混合选择重传，包括如下步骤：

步骤1，利用视频主观质量客观化模型，计算反映视频服务质量的视频主观质量客观化值V_q：

$V_q=1+I\&CenterDot;\exp (-\frac{[1-p(n,k)].(1-p_2)}{D_p})$

其中I代表由编码失真影响的基本视频质量，D_p代表与丢包率相关的视频质量健壮度，k为数据包的个数，n为数据包和校验包的总数，p₂代表丢包选择重传的概率，p(n，k)代表使用前向纠错后的丢包率，p(n，k)通过以下公式计算

$p(n,k)=\underset{l=k}{\overset{n}{\mathrm{\&Sigma;}}}\left(\begin{array}{c}n\\ l\end{array}\right).{(1-p_1)}^l.{p_1}^{n-l}$

其中p₁是网络传输的丢包率。

步骤2，在接收端获取网络传输的丢包率p₁和使用带宽B，将其反馈到发送端：

2.1)通过计算丢失的包数与接收到的总包数的比值获取网络传输的丢包率p₁；

2.2)通过计算单位时间内接收到的数据量获取网络传输的使用带宽B。

步骤3，在发送端根据步骤2获取的网络传输的使用带宽B，计算出不会引起网络拥塞的数据传输冗余γ的范围：

$\mathrm{\&gamma;}<\frac{B}{R_s}-1$

其中B是网络传输的网络带宽，R_s是由发送端决定的源数据发送速率。

步骤4，计算数据传输冗余γ：

$\mathrm{\&gamma;}=\mathrm{\&beta;}+\mathrm{\&delta;}=\frac{n-k}{n}+[1-p(n,k)]\&CenterDot;p_2$

其中p(n，k)代表使用前向纠错后的丢包率，k为数据包的个数，n为数据包和校验包的总数，p₂代表丢包选择重传的概率，β为前向纠错冗余，δ为选择重传冗余。

步骤5，为前向纠错冗余β和选择重传冗余δ分配比例，使步骤1中视频主观质量客观化值V_q最优：

5.1)计算步骤1中视频主观质量客观化值V_q与步骤4中的数据传输冗余γ的关系：

$V_q=1+I\&CenterDot;\exp (-\frac{[1-p(n,k)]-(\mathrm{\&gamma;}-\frac{n-k}{n})}{D_p})$

其中I代表由编码失真影响的基本视频质量，D_p代表与丢包率相关的视频质量健壮度，p(n，k)代表使用前向纠错后的丢包率，k为数据包的个数，n为数据包和校验包的总数，本实例中的数据包个数k是30，数据传输冗余γ在满足步骤3中不等式的条件下由用户自行设定；

5.2)计算步骤5.1)中的数据包和校验包的总数n，使视频主观质量客观化值V_q达到最优；

5.3)由步骤5.1)中的数据包个数k和步骤5.2)中计算的数据包和校验包的总数n，通过前向纠错冗余β的计算公式：

和选择重传冗余δ的计算公式：δ＝γ-β，得出前向纠错冗余β和选择重传冗余δ。

步骤6，根据步骤5得到的前向纠错冗余β进行前向纠错编码，发送端将其编码后的包发送到接收端；

6.1)对视频编码得到视频流，并将视频流按照实时传输协议打包；

6.2)根据步骤5得到的前向纠错冗余β选择码型进行前向纠错编码，将编码后的数据包和校验包发送到接收端。

步骤7，根据步骤5得到的选择重传冗余δ确定重传丢包数，将重传的包发送到接收端：

7.1)由包中所有帧的帧重要性值加权平均得到计算出步骤6.1)中包的包重要性值；

7.2)计算需要重传的包的数目m：

m＝d×δ

其中d为数据包的总数，δ选择重传冗余；

7.3)发送端收到重传请求后，统计总丢包数，重新发送包重要性值较大的m个数据包。

步骤8，接收端收到发送端的数据包和校验包后，先进行前向纠错解码，并对该前向纠错解码进行校验，经校验后若数据包没有错误，则进行解封装和视频解码，否则向发送端反馈重传请求，要求发送端重新发送错误的数据包。

本发明的效果通过以下实验进一步说明：

1)实验条件

图像组(GOP)结构：IPPP；

图像组(GOP)长度：150；

RTP包长度：1200字节；

目标帧率：30fps；

参考序列：foreman，stefan，hall-monitor；

分辨率：352×288；

量化因子(QP)：27；

2)实验内容及结果

实验1：对视频序列foreman，stefan，hall-monitor分别采用本发明提供的基于视频服务质量的混合选择重传方法HSARQ和现有的FEC方法及SARQ方法进行差错控制，解码视频主观质量的对比结果如图2、图3和图4所示，其中图2(a)是对“foreman”作为测试序列采用FEC方法进行差错控制的结果，图2(b)是对“foreman”作为测试序列采用SARQ方法进行差错控制的结果，图2(c)是对“foreman”作为测试序列采用HSARQ方法进行差错控制的结果，图3(a)是对“stefan”作为测试序列采用FEC方法进行差错控制的结果，图3(b)是对“stefan”作为测试序列采用SARQ方法进行差错控制的结果，图3(c)是对“stefan”作为测试序列采用HSARQ方法进行差错控制的结果，图4(a)是对“hall-monitor”作为测试序列采用FEC方法进行差错控制的结果，图4(b)是对“hall-monitor”作为测试序列采用SARQ方法进行差错控制的结果，图4(c)是对“hall-monitor”作为测试序列采用HSARQ方法进行差错控制的结果。

由图2、图3和图4可以看出：在相同实验条件下，本发明提出的混合选择性重传方法与现有的FEC方法及SARQ方法相比，提高了视频主观质量。

综上，由于现有的FEC方法中不必要的开销引起数据传输量的减小，增加了网络负担，更有可能产生网络拥塞，导致解码视频质量的下降，现有SARQ方法重传的包数较多，增加了传输时延，使视频信息连贯性变差，而本发明提出的基于视频服务质量的混合选择重传方法根据视频主观质量客观化值分配FEC和SARQ的冗余，不但没有因不必要的开销减小数据传输量，而且只重传错误的包中比较重要的包，减小了网络开销和传输时延，改善了视频的流畅度，所以本发明提出的基于视频服务质量的混合选择重传方法优于现有的FEC方法和SARQ方法。

Claims (4)

1.一种基于视频服务质量的混合选择重传方法，包括以下步骤：

（1）利用视频主观质量客观化模型，计算反映视频服务质量的视频主观质量客观化值V_q：

$V_q=1+I\&CenterDot;\exp (-\frac{[1-p(n,k)].(1-p_2)}{D_p})$

其中I代表由编码失真影响的基本视频质量，D_p代表与丢包率相关的视频质量健壮度，p(n,k)代表使用前向纠错后的丢包率，k为数据包的个数，n为数据包校验包的总数，p₂代表丢包选择重传的概率；

（2）在接收端获取网络传输的丢包率p₁和使用带宽B，将其反馈到发送端；

（3）根据步骤（2）获取的网络使用带宽B，计算出不会引起网络拥塞的数据传输冗余γ的范围：

$\mathrm{\&gamma;}<\frac{B}{R_s}-1$

其中B是网络传输的网络带宽，R_s是源数据发送速率；

（4）计算数据传输冗余γ：

$\mathrm{\&gamma;}=\mathrm{\&beta;}+\mathrm{\&delta;}=\frac{n-k}{n}+[1-p(n,k)]\&CenterDot;p_2$

其中p(n,k)代表使用前向纠错后的丢包率，k为数据包的个数，n为数据包校验包的总数，p₂代表丢包选择重传的概率，β为前向纠错冗余，δ为选择重传冗余；

（5）为前向纠错冗余β和选择重传冗余δ分配比例，使步骤（1）中视频主观质量客观化值V_q最优：

5a）计算步骤（1）中视频主观质量客观化值V_q与步骤（4）中的数据传输冗余γ的关系：

$V_q=1+I\&CenterDot;\exp (-\frac{[1-p(n,k)]-(\mathrm{\&gamma;}-\frac{n-k}{n})}{D_p})$

其中I代表由编码失真影响的基本视频质量，D_p代表与丢包率相关的视频质量健壮度，p(n,k)代表使用前向纠错后的丢包率，k为数据包的个数，n为数据包和校验包的总数；

5b）计算步骤5a）中的数据包和校验包的总数n，使视频主观质量客观化值V_q达到最优；

5c）由步骤5a）中的数据包个数k和步骤5b）中计算的数据包和校验包的总数n，通过前向纠错冗余β的计算公式：

和选择重传冗余δ的计算公式：δ＝γ-β，得出前向纠错冗余β和选择重传冗余δ；

（6）发送端将前向纠错编码后的包发送到接收端；

（7）根据步骤（5）得到的选择重传冗余δ确定重传丢包数；

（8）接收端收到发送端的数据包和校验包后，先进行前向纠错解码，经校验后若数据包没有错误，则进行解封装和视频解码，否则向发送端反馈重传请求，要求发送端重新发送错误的数据包。

2.根据权利要求1所述的混合选择重传方法，其中步骤（6）所述的发送端将前向纠错编码后的包发送到接收端，按如下步骤进行：

2a）先进行视频编码得到视频流，再将视频流按照实时传输协议打包；

2b）根据步骤（5）得到的前向纠错冗余β选择码型进行前向纠错编码，将编码后的数据包和校验包发送到接收端。

3.根据权利要求1所述的混合选择重传方法，其中步骤（7）所述的根据步骤（5）得到的选择重传冗余δ确定重传丢包数得到的选择重传冗余δ确定重传丢包数，按如下步骤进行：

3a）计算出步骤2a）中数据包的包重要性值，包重要性值是由包中所有帧的帧重要性值加权平均得到；

3b）计算需要重传的包的数目m：m为数据包的总数和选择重传冗余δ的乘积，发送端收到重传请求后，统计总丢包数，向接收端重新发送包重要性值较大的m个数据包。

4.根据权利要求1所述的混合选择重传方法，其中步骤（1）给出的主观质量客观化值V_q公式中涉及的使用前向纠错后的丢包率p(n,k)，按如下公式计算：

$p(n,k)=\underset{l=k}{\overset{n}{\mathrm{\&Sigma;}}}\left(l_n\right).{(1-p_1)}^l.{p_1}^{n-l}$

其中p₁是网络传输的丢包率，k为数据包的个数，n为数据包和校验包的总数。

Images