CN103391162A - 基于Raptor码的多媒体数据非均等差错保护方法 - Google Patents

Abstract

本发明提供一种基于Raptor码的多媒体数据非均等差错保护方法。该方法包括基本型非均等差错保护和增强型非均等差错保护两种应用模式，通过失真影响评估、排序与分类、Raptor编码与发送等步骤实现多媒体数据包的非均等差错保护。本发明的方法充分利用了Raptor码在分组长度较长时的良好特性。另外，由于使用的是标准Raptor码，本发明的方法更加易于使用。

Description

基于Raptor码的多媒体数据非均等差错保护方法

技术领域

本发明涉及一种通信技术领域的多媒体数据差错保护方法，具体是一种基于Raptor码的多媒体数据非均等差错保护（Unequal Error Protection，UEP）方法。

背景技术

随着信息技术的发展，各项多媒体应用在现代生活中已变得无处不在。许多多媒体业务都依赖于音、视频等多媒体数据的传输。由于像无线网络等现有信道往往不可避免地会受到传输差错的影响。因此，如何保护传输中的多媒体数据已成为实际应用时所必须面对的问题。

一类保护数据传输的方法是基于信道码的前向纠错（Forward Error Correction，FEC）法。目前，人们经常利用RS码等传统信道码提供保护。近来，Shokrollahi等人开发出了一种新型的喷泉（Fountain）信道码――Raptor码。与RS码等传统信道码相比，Raptor码所属的喷泉码有所谓的无码率（Rateless）特性。它可以根据固定数量的信源符号动态产生出任意数量的编码符号。此外，Raptor码在分组长度较长时仍很实用，并且能实现线性时间的编解码。目前，系统形式的Raptor码已得到标准化，并已作为前向纠错码被纳入了3GPP等标准之中。

由于多媒体数据各部分的重要性一般并不相同，因此前向纠错法经常通过非均等差错保护的方式获得更好的保护效果。目前，人们也提出了一些基于Raptor码的非均等差错保护方法。不过，许多现有的方法都需要或多或少地改变Raptor码的结构。与标准Raptor码相比，这往往会增加实际应用的难度。因此，需要一种基于标准Raptor码的多媒体数据非均等差错保护方法。使得在实现非均等差错保护的同时，降低应用的难度。

发明内容

本发明针对现有多媒体数据差错保护方法的不足，提供一种易于使用的、基于标准Raptor码的多媒体数据非均等差错保护方法。

为实现上述目的，本发明所述方法包括基本型非均等差错保护和增强型非均等差错保护两种应用模式，通过失真影响评估、排序与分类、Raptor编码与发送等步骤实现多媒体数据包的非均等差错保护。

具体地，所述方法包括基本型非均等差错保护和增强型非均等差错保护两种应用模式，该方法步骤如下：

第一步，评估当前组多媒体数据包的失真影响；

第二步，按照失真影响下降的顺序对多媒体数据包进行排序，并依次把数据包分为若干类：

1)如果采用的是基本型非均等差错保护，则把数据包依次分为第一类和第二类两类数据包；

2)如果采用的是增强型非均等差错保护，则把数据包依次分为第一类、第二类和第三类三类数据包；

第三步，Raptor编码与发送数据包：

1)如果采用的是基本型非均等差错保护，则只对第一类数据包进行Raptor编码，并将得到的Raptor编码包与第二类数据包发送出去；

2)如果采用的是增强型非均等差错保护，则只对第一类数据包进行Raptor编码，并将得到的Raptor编码包与第二类数据包发送出去；第三类数据包既不参与Raptor编码，也不被发送，节省出的资源可以用于增加第一类数据包的Raptor编码包的数量。

与现有技术相比，本发明具有如下的有益效果：

本发明的方法充分利用了Raptor码在分组长度较长时的良好特性。另外，由于使用的是标准Raptor码，本发明的方法更加易于使用。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明方法的流程图。

图2是本发明方法的基本型非均等差错保护的示意图。

图3是本发明方法的增强型非均等差错保护的示意图。

图4是实施例中评估视频包失真影响时的一种图像组结构示例。

图5是实施例中测试序列第一个图像组的PSNR比较，其中：(a)是Crew第一个图像组的PSNR比较；(b)是Raven第一个图像组的PSNR比较；(c)是Sheriff第一个图像组的PSNR比较；(d)是SpinCalendar第一个图像组的PSNR比较。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

此处把本发明应用到一个图像组（Group Of Pictures，GOP）的H.264/AVC视频包的非均等差错保护中，所采用的Raptor码是3GPP标准中的标准系统Raptor码。具体实施时参照图1所示的流程进行处理，图2和图3分别是基本型非均等差错保护和增强型非均等差错保护的示意图。以下对实施例的细节作进一步的介绍。

1．评估视频包的失真影响

此处使用平方误差和（Sum of Squared Errors，SSE）度量视频包的失真影响。一个视频包的失真影响由其所在帧的失真D_cur和其它帧的漂移失真D_dri两部分组成。通过仿真的误码掩盖操作可以得到D_cur的大小。如果该视频包属于非参考（B）帧，则不会因其产生漂移失真。因此该视频包的失真影响即为

D_NREF=D_cur    (1)

下面主要分析参考（I或P）帧视频包的失真影响。设I_cur表示当前视频包所在帧的参考帧序号。（比如在图4所示的图像组中，最大参考帧序号为I_max=4。）设视频编码时未施行周期的宏块帧内刷新。则对于后面序号为I的参考帧，可以估计出其中的漂移失真为

$D_{\mathrm{dri},\mathrm{ref}}\left(I\right)=D_{\mathrm{cur}}\frac{1}{1+\mathrm{\γ}(I-I_{\mathrm{cur}})}---\left(2\right)$

其中γ是反映隐含的或明确的滤波效果的泄漏因子。假设B帧中前向帧间编码宏块的数量等于后向帧间编码宏块的数量。则对于第I个参考帧之前紧邻的B帧而言，其中的漂移失真大约为

$D_{\mathrm{dri},\mathrm{nref}}\left(I\right)=N_B\left(I\right)\·\frac{1}{2}[D_{\mathrm{cur}}\frac{1}{1+\mathrm{\γ}(I-I_{\mathrm{cur}})}+D_{\mathrm{cur}}\frac{1}{1+\mathrm{\γ}(I-I_{\mathrm{cur}}+1)}]---\left(3\right)$

其中N_B(I)是之前紧邻的B帧的数量。（比如在图4中，除了第一个参考帧之外，其它参考帧之前紧邻的B帧数量都为2。）另外，如果设N_B(I_cur)为当前参考帧之前紧邻的B帧数量，则在当前参考帧之前紧邻的B帧中，漂移失真大约为

$D_{\mathrm{dri},\mathrm{nref}}\left(I_{\mathrm{cur}}\right)=N_B\left(I_{\mathrm{cur}}\right)\·\frac{1}{2}{D}_{\mathrm{cur}}\frac{1}{1+\mathrm{\γ}}---\left(4\right)$

综合考虑各个失真分量可知，第I_cur个参考帧中一个视频包的失真影响大约为

$D_{\mathrm{REF}}=D_{\mathrm{cur}}+\underset{I=I_{\mathrm{cur}}+1}{\overset{I_{\max }}{\mathrm{\Σ}}}{D}_{\mathrm{dri},\mathrm{ref}}\left(I\right)+\underset{I=I_{\mathrm{cur}}+1}{\overset{I_{\max }}{\mathrm{\Σ}}}{D}_{\mathrm{dri},\mathrm{nref}}\left(I\right)+D_{\mathrm{dri},\mathrm{nref}}\left(I_{\mathrm{cur}}\right)---\left(5\right)$

2．参与Raptor编码的视频包的丢失概率

假设传输信道是一个丢包率为p_l的随机丢包信道。设k和r分别表示Raptor编码时的信源包数和修复包数，则一个参与Raptor编码的视频包最终丢失的概率可以近似表示为

$P(k,r)\≈\underset{m=0}{\overset{k+r}{\mathrm{\Σ}}}{C}_{k+r}^m{(1-p_l)}^m{p_l}^{k+r-m}\·P_f(m,k)\·\frac{C_{k+r-1}^m}{C_{k+r}^m}---\left(6\right)$

其中

是收到k+r个包中的m个包的概率，P_f(m,k)表示有k个信源符号的标准Raptor码根据m个编码符号解码失败的概率，

是系统Raptor码下该视频包并不包括在m个收到的包之内的概率。此处采用的标准Raptor码的解码失败概率可以近似表示为

$P_f(m,k)=\left\{\begin{array}{cc}1& m<k\\ 0.85\&times;{0.567}^{m-k}& m\&GreaterEqual;k\end{array}\right.---\left(7\right)$

将其带入(6)中可以得到

$P(k,r)\&ap;p_l\&CenterDot;\underset{m=0}{\overset{k-1}{\mathrm{\&Sigma;}}}{C}_{k+r-1}^m{(1-p_l)}^m{p_l}^{(k+r-1)-m}$

$+p_l\&CenterDot;\underset{m=k}{\overset{k+r-1}{\mathrm{\&Sigma;}}}{C}_{k+r-1}^m{(1-p_l)}^m{p_l}^{(k+r-1)-m}\&CenterDot;(0.85\&times;{0.567}^{m-k})---\left(8\right)$

3．基本型非均等差错保护的配置优化

假设一个图像组中有K个视频包，在给定的前向纠错率下可以有R个修复包。如图2所示，在基本型非均等差错保护下，视频包在排序后被分为包含较高失真影响视频包的第一类，和包含较低失真影响视频包的第二类。设其中分别含有k₁和k₂个视频包。则第一类中的k₁个视频包会被Raptor编码为k₁+R个Raptor编码包。最终发送的是第一类所生成的k₁+R个Raptor编码包，以及第二类的k₂个视频包。

设D(i,j)表示第i类中第j个视频包的失真影响。假设每个视频包的失真影响互不相关。则由前文视频包的丢失概率和失真影响可知，在基本型非均等差错保护下，因丢包造成的视频包的平均失真影响可以近似为

${\stackrel{\&OverBar;}{D}}_b(k_1,k_2)=P(k_1,R)\&CenterDot;\underset{j=1}{\overset{k_1}{\mathrm{\&Sigma;}}}D(1,j)+p_l\&CenterDot;\underset{j=1}{\overset{k_2}{\mathrm{\&Sigma;}}}D(2,j)---\left(9\right)$

为了获得较好的保护效果，可以通过优化配置的方式使得该平均失真最小。这可以表示为

$\{{\hat{k}}_1,{\hat{k}}_2\}=\underset{k_1,k_2}{\arg \min }{\stackrel{\&OverBar;}{D}}_b(k_1,k_2)$

$s.t.\left\{\begin{array}{c}{k}_1+k_2=K\\ k_i\&GreaterEqual;0(i=\mathrm{1,2})\end{array}\right.---\left(10\right)$

实际应用时，可以通过算法1（即下文混合爬山法）第一步的一维搜索得到基本型非均等差错保护的最优参数配置(k_1,b,k_2,b)。

4．增强型非均等差错保护的配置优化

仍假设一个图像组中有K个视频包，在给定的前向纠错率下可以有R个修复包。如图3所示，在增强型非均等差错保护下，视频包在排序后被分为包含较高失真影响视频包的第一类，包含中等失真影响视频包的第二类，以及包含较低失真影响视频包的第三类。设其中分别含有k₁、k₂和k₃个视频包。由于第三类中的k₃个视频包既不会被Raptor编码，也不会被发送，因此，在不增加带宽消耗的情况下，第一类中的k₁个视频包可以被Raptor编码为k₁+R+k₃个Raptor编码包。最终发送的是第一类所生成的k₁+R+k₃个Raptor编码包，以及第二类的k₂个视频包。

设D(i,j)仍表示第i类中第j个视频包的失真影响。仍假设每个视频包的失真影响互不相关。则由前文视频包的丢失概率和失真影响可知，在增强型非均等差错保护下，因丢包造成的视频包的平均失真影响可以近似为

${\stackrel{\&OverBar;}{D}}_e(k_1,k_2,k_3)=P(k_1,R+k_3)\&CenterDot;\underset{j=1}{\overset{k_1}{\mathrm{\&Sigma;}}}D(1,j)+p_l\&CenterDot;\underset{j=1}{\overset{k_2}{\mathrm{\&Sigma;}}}D(2,j)+\underset{j=1}{\overset{k_3}{\mathrm{\&Sigma;}}}D(3,j)---\left(11\right)$

为了获得较好的保护效果，可以通过优化配置的方式使得该平均失真最小。这可以表示为

$\{{\hat{k}}_1,{\hat{k}}_2,{\hat{k}}_3\}=\underset{k_1,k_2,k_3}{\arg \min }{\stackrel{\&OverBar;}{D}}_e(k_1,k_2,k_3)$

$s.t.\left\{\begin{array}{c}{k}_1+k_2+k_3=K\\ k_i\&GreaterEqual;0(i=\mathrm{1,2,3})\end{array}\right.---\left(12\right)$

实际应用时，可以先通过算法1第一步得到(k_1,b,k_2,b)。接着，把(k₁,k₂,k₃)初始化为(k_1,b,k_2,b,0)后，再利用算法1第二步的二维搜索得到增强型非均等差错保护的最优参数配置(k_1,e,k_2,e,k_3,e)。在算法1的第二步中，根据经验把S设为10。

以上所述的算法1是指混合爬山法，具体如下：

算法1混合爬山法

第一步：

设有K个多媒体数据包，其中第一类和第二类分别有k₁和k₂个数据包，是基本型非均等差错保护下第一类和第二类分别有k₁和k₂个数据包时的平均失真影响。MAX是一个平均失真影响不可能达到的充分大的值，(k_1,b,k_2,b)用于记录基本型非均等差错保护下k₁和k₂的最优参数配置，

用于记录基本型非均等差错保护下最小的平均失真影响。

1)把(k_1,b,k_2,b)初始化为(0,K)，把

初始化为MAX；

2)把k₁从1开始循环增加至多到K；

3)在k₁的每次循环中，根据K和当前的k₁得到当前的k₂；

4)在k₁的每次循环中，如果当前的

小于

则把(k_1,b,k_2,b)更新为当前的(k₁,k₂)，把

更新为当前的

否则跳出k₁的循环；

5)循环结束后，(k_1,b,k_2,b)即为k₁和k₂的最优参数配置。

上述步骤的伪代码为：

第二步：

设有K个多媒体数据包，其中第一类、第二类和第三类分别有k₁、k₂和k₃个数据包，

是增强型非均等差错保护下第一类、第二类和第三类分别有k₁、k₂和k₃个数据包时的平均失真影响。(k_1,b,k_2,b)是算法第一步得到的最优参数配置，(k₁,k₂,k₃)^best用于记录当前k₁、k₂和k₃的最优参数配置，用于记录当前最小的平均失真影响，(k₁,k₂,k₃)^last用于记录上一次循环得到的k₁、k₂和k₃的最优参数配置，用于记录上一次循环得到的最小的平均失真影响。S用于控制内部循环的次数，min(·,·）是取最小值运算。(k_1,e,k_2,e,k_3,e)用于记录增强型非均等差错保护下k₁、k₂和k₃的最优参数配置。

1)把(k₁,k₂,k₃)^best初始化为(k_1,b,k_2,b,0)，把

初始化为

把(k₁,k₂,k₃)^last初始化为(k_1,b,k_2,b,0)，把

初始化为

2)把k₃从1开始循环增加至多到k_2,b；

3)在k₃的每次循环中，把k₁从

开始循环增加到

4)在k₁的每次循环中，根据K、当前的k₁和当前的k₃得到当前的k₂；

5)在k₁的每次循环中，如果当前的小于

则把(k₁,k₂,k₃)^best更新为当前的(k₁,k₂,k₃)，把

更新为当前的

6)在k₃的每次循环中，如果小于

则把(k₁,k₂,k₃)^last更新为(k₁,k₂,k₃)^best，把

更新为

否则跳出k₃的循环；

7)循环结束后，把(k₁,k₂,k₃)^best赋给(k_1,e,k_2,e,k_3,e)，(k_1,e,k_2,e,k_3,e)即为k₁、k₂和k₃的最优参数配置。

上述步骤的伪代码为：

5．实施条件与结果

用1280×7204:2:0序列Crew、Raven、Sheriff、SpinCalendar的第一个图像组测试上述非均等差错保护方法。首先用JM14.2软件将测试序列编码成150字节的H.264/AVC视频包。每个图像组由25帧IBBPBBP…结构的图像组成。编码时，量化参数被设为28，熵编码使用上下文自适应的二进制算术编码（Context-based Adaptive Binary ArithmeticCoding，CABAC）。

测试中，I帧的误码掩盖方式为加权的帧内插值，P帧和B帧的误码掩盖方式是从参考帧中直接拷贝。设定传输仿真中每个视频包丢失与否相互独立，设定前向纠错率为 $10\%(\frac{R}{K+R}=10\%)\&CenterDot;$

通过拟合一些有代表性的视频包的漂移失真，估计出Crew、Raven、Sheriff和SpinCalendar第一个图像组的泄漏因子γ分别为0.0899、0.0898、0.0159和0.0064。这些泄漏因子分别用于相应图像组的视频包的失真估计。

在基本型非均等差错保护下，每个图像组的视频包被分为两类。在不同的丢包率下，最终得到的各测试序列的配置参数如表1所示。在增强型非均等差错保护下，每个图像组的视频包被分为三类。在不同的丢包率下，最终得到的各测试序列的配置参数也列于表1中。

基于得到的配置参数，在不同的丢包率下，基本型非均等差错保护和增强型非均等差错保护得到的测试序列的PSNR如图5所示。图中所有的PSNR均由100次仿真结果平均得到。从图中可以看出，两种类型的非均等差错保护都取得了较好的保护效果，特别是增强型非均等差错保护有更好的鲁棒性。

表1测试序列第一个图像组的配置参数

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (3)

1.一种基于Raptor码的多媒体数据非均等差错保护方法，其特征在于：包括基本型非均等差错保护和增强型非均等差错保护两种应用模式，所述方法包括以下步骤：

第一步，评估当前组多媒体数据包的失真影响；

第二步，按照失真影响下降的顺序对多媒体数据包进行排序，并依次把数据包分为若干类：

1)如果采用的是基本型非均等差错保护，则把数据包依次分为第一类和第二类两类数据包；

2)如果采用的是增强型非均等差错保护，则把数据包依次分为第一类、第二类和第三类三类数据包；

第三步，Raptor编码与发送数据包：

1)如果采用的是基本型非均等差错保护，则只对第一类数据包进行Raptor编码，并将得到的Raptor编码包与第二类数据包发送出去；

2)如果采用的是增强型非均等差错保护，则只对第一类数据包进行Raptor编码，并将得到的Raptor编码包与第二类数据包发送出去；第三类数据包既不参与Raptor编码，也不被发送，节省出的资源可以用于增加第一类数据包的Raptor编码包的数量。

2.根据权利要求1所述的基于Raptor码的多媒体数据非均等差错保护方法，其特征在于：所述的基本型非均等差错保护下，优化两类数据包数量的算法为：

设有K个多媒体数据包，其中第一类和第二类分别有k₁和k₂个数据包，

是基本型非均等差错保护下第一类和第二类分别有k₁和k₂个数据包时的平均失真影响，MAX是一个平均失真影响不可能达到的充分大的值，(k_1,b,k_2,b)用于记录基本型非均等差错保护下k₁和k₂的最优参数配置，

用于记录基本型非均等差错保护下最小的平均失真影响，则通过以下步骤得到两类数据包的最优数量：

1)把(k_1,b,k_2,b)初始化为(0,K)，把

初始化为MAX；

2)把k₁从1开始循环增加至多到K；

3)在k₁的每次循环中，根据K和当前的k₁得到当前的k₂；

4)在k₁的每次循环中，如果当前的

小于

则把(k_1,b,k_2,b)更新为当前的(k₁,k₂)，把

更新为当前的

否则跳出k₁的循环；

5)循环结束后，(k_1,b,k_2,b)即为k₁和k₂的最优参数配置。

3.根据权利要求2所述的基于Raptor码的多媒体数据非均等差错保护方法，其特征在于：所述的增强型非均等差错保护下，优化三类数据包数量的算法为：

设有K个多媒体数据包，其中第一类、第二类和第三类分别有k₁、k₂和k₃个数据包，

是增强型非均等差错保护下第一类、第二类和第三类分别有k₁、k₂和k₃个数据包时的平均失真影响，(k_1,b,k_2,b)是权利要求2得到的最优参数配置，(k₁,k₂,k₃)^best用于记录当前k₁、k₂和k₃的最优参数配置，

用于记录当前最小的平均失真影响，(k₁,k₂,k₃)^last用于记录上一次循环得到的k₁、k₂和k₃的最优参数配置，

用于记录上一次循环得到的最小的平均失真影响，S用于控制内部循环的次数，min(·,·)是取最小值运算，(k_1,e,k_2,e,k_3,e)用于记录增强型非均等差错保护下k₁、k₂和k₃的最优参数配置，则在得到(k_1,b,k_2,b)后，再通过以下步骤得到三类数据包的最优数量：

1)把(k₁,k₂,k₃)^best初始化为(k_1,b,k_2,b,0)，把

初始化为

把(k₁,k₂,k₃)^last初始化为(k_1,b,k_2,b,0)，把

初始化为

2)把k₃从1开始循环增加至多到k_2,b；

3)在k₃的每次循环中，把k₁从开始循环增加到 $\min (k_1^{\mathrm{last}}+S,K-k_3);$

4)在k₁的每次循环中，根据K、当前的k₁和当前的k₃得到当前的k₂；

5)在k₁的每次循环中，如果当前的

小于

则把(k₁,k₂,k₃)^best更新为当前的(k₁,k₂,k₃)，把更新为当前的D_e(k₁,k₂,k₃)；

6)在k₃的每次循环中，如果小于

则把(k₁,k₂,k₃)^last更新为(k₁,k₂,k₃)^best，把更新为

否则跳出k₃的循环；

7)循环结束后，把(k₁,k₂,k₃)^best赋给(k_1,e,k_2,e,k_3,e)，(k_1,e,k_2,e,k_3,e)即为k₁、k₂和k₃的最优参数配置。

Images