CN101175216A - 一种基于多描述编码和错误隐藏的混合视频容错方法 - Google Patents

Abstract

本发明提供了一种基于多描述编码和错误隐藏的混合视频容错方法，该方法是输入的图像序列首先经过多描述编码，形成N路独立的视频压缩编码码流；这些N路描述通过独立信道进行同时传输；接收端在接收到N路描述后，分别送入解码器进行解码处理获得N路图像子序列，解码器根据丢包标定图像区域；图像子序列进行合并处理，最终得到重构的图像序列。本发明发挥了多描述编码和错误隐藏技术上的互补性，获得比单一使用其中一种技术，更好的系统性能效果；其中，编码端的多描述编码的框架针对采样环境进行处理，并可结合最新的编码标准，克服了当前多数多描述编码系统的编码效率低、实现复杂以及与现有编码规范兼容性的不足。

Description

一种基于多描述编码和错误隐藏的混合视频容错方法

技术领域

本发明属于视频技术领域，具体涉及一种综合的容错视频编码传输方法，通过在视频编码传输系统的编码端和解码端，分别采用一种多描述编码和错误隐藏方法，获得更好的系统性能效果。

技术背景

无线视频传输的鲁棒性在近几年无线视频应用的需求迅猛高涨起来后显得越来越突出。无线信道中存在着Rayleigh衰减和多用户干扰，会在传输位流中产生突发性错误。视频压缩国际标推如MPEG-x和H.26x等都是基于宏块的压缩算法，通过运动估计/运动补偿消除视频时间冗余，对差值图像进行离散余弦变换消除空间冗余，对量化后的系数进行可变长编码消除统计冗余。实践表明，通过上述方法，视频编码标准获得了极高的压缩效率。但压缩后的码流在无线信道上的传输仍然存在着一些棘手的问题，其中很突出的一点是：一方面，这些压缩后的码流对信道比特误码非常地敏感，而另一方面无线信道由于多径反射和衰落引入了大量的随机误码和突发误码，影响了码流的正常传输。尤其是当采用了可变长方案后，码流更加容易受到误码的影响，结果在解码端将失去与编码端的同步，导致在遇到下一个同步码字之前无法对可变长码字进行正确的解码；同时预测编码技术会将错误扩散到整个视频序列中，极大地降低重建图像的质量。

针对视频网络传输的特点，当前主流的视频容错传输研究方向分两类：一是分层编码结合不同优先级的传输；二是多描述编码结合同等优先级的传输。这种方案各有其优缺点。分层编码比较符合图像多分辨率的特点，并且有助于进行灵活的码率控制。然而，分层编码要求传输层能够提供不同优先级的传输，尤其是对于底层传输要提供QoS(Quality of Service)保证，这一点在多数的无线信道或者广域网中是难以做到的。相比起来，多描述编码MDC对一副图像同时生成若干各具有相同重要性的描述，每个描述都可以恢复出原图像的一个粗糙但质量尚可接受的近似，而随着接收到更多的描述，接收端的重建图像质量就会逐步提高。

上述的两类研究方向实际上代表了两种信源编码的基本思路：渐近编码(SR，Successive Refinement)与多描述编码(MDC，Multiple Description Code)之间的差异。SR编码的初衷是为了使编码码流能够自动适应不同速率的传输链路，适应不同能力的接收端，并不是为对抗误码，只是将它与分层传输机制结合起来就可以在误码条件下实现更好的传输效果。而MDC编码的最基本假定就是传输中的误码是不可避免的，其直接目的就是用多描述中的冗余来对抗传输中的误码和丢包，使得编码码流在出现误码或丢包的情况下仍能够较好地重建原编码对象。

此外，目前实际的底层传输设备一般不支持QoS机制，这使得分层编码所要求的不同优先级传输只能通过在更高层次上使用端到端的不平等保护UEP机制来模拟，这就大大增加了系统的复杂性和效率。而MDC编码并不要求网络提供QoS保证，即网络底层传输设备对多路描述同等对待，提供各自独立的逻辑信道，这样的要求更容易得到满足。

相对于多描述编码而言，错误隐藏EC技术则是另一种有效的差错复原技术。它是利用图像信号中的冗余信息和人类视觉系统特性来掩盖出错的图像数据，试图重构主观可以接受的、近似原始质量的图像。错误隐藏技术主要用在解码器，属于一种后处理技术。假设所收到的视频码流中已经发生了错误，一些内容已经不可正确解码，则可以利用错误隐藏技术尽可能地估计这些已不可解码的内容。由于无线信道的高差错率，所施加的信道保护措施仍不能避免误码或丢包的发生，因此，错误隐藏技术对无线视频接收机的视频解码器是一项很重要的功能。

可以看出，多描述编码是在编码端实施的一种视频容错技术，而差错隐藏技术则是在解码端采用的一种后处理抗误码方案。从原理上看，这两种容错技术的实现不仅没有冲突，更具有天然的互补性。如何综合上述两种容错技术构建一种容错视频编码传输系统，获得比单一使用其中一种技术，获得更好的系统性能效果。本发明正是这一想法，综合这两种容错技术特点，构建易错网络环境下的高性能的容错视频编码传输系统。

发明内容

发明目的：本发明的目的是综合多描述编码技术和错误隐藏技术的性能特点而提供一种高性能的容错视频编码方法。

技术方案：本发明所述的一种基于多描述编码和错误隐藏的混合视频容错方法，包括基于亚采样的多描述编码、多信道传输、视频解码、图像合并和错误隐藏等部分。

具体来说，输入的图像序列(视频)首先经过多描述编码，形成N路独立的视频压缩编码码流——描述；这些N路描述通过独立信道进行同时传输，这里的独立信道既可以是物理上的独立信道，也可是虚拟的独立信道；接收端在接收到N路描述后，分别送入解码器进行解码处理获得N路图像子序列，解码器根据丢包标定图像区域；图像子序列进行合并处理，对丢失损坏的区域采用错误隐藏方法进行恢复，最终得到重构的图像序列。

理想情况下，图像序列的合并重建完全是图像编码图像分解(亚采样)处理的可逆过程，N路解码重建的子图像序列中的像素，可以完全还原出高分辨率的原图像序列。但是，实际系统中存在两种端到端不匹配的情况需进一步分析处理：(1)多描述的编码的路数小于亚采样可逆处理的要求，即存在不可知像素点；(2)传输过程中的误码和丢包造成部分像素区域无法重建或部分受损。

有益效果：本发明给出的混合容错编码传输方法并不依赖于特定的图像亚采样方法、图像编解码算法，图像块合并算法，以及丢包错误隐藏算法等。因此，在某种意义上，本发明是一个具有一般性的视频编码传输架，而并不仅仅是一个具体算法。在运算量允许的条件下，上述任何环节都可以选择复杂度高但效果好的算法来进一步提高混合编码传输系统的效率和容错能力。本发明发挥了多描述编码和错误隐藏技术上的互补性，获得比单一使用其中一种技术，更好的系统性能效果；其中，编码端的多描述编码的框架针对采样环境进行处理，并可结合最新的编码标准，克服了当前多数多描述编码系统的编码效率低、实现复杂以及与现有编码规范兼容性的不足。

附图说明

图1是容错编码传输系统的基本框架示意图。

图2是直接亚采样示意图。

图3是加权亚采样示意图。

图4是图像序列的合并和错误隐藏的结构示意图。

图5是空域双线性插值方法示意图。

图6是邻近像素线性内插示意图。

具体实施方式

本发明提出的混合视频容错方法包括以下基本步骤：

1、输入图像序列的多描述编码。这包括两部分：(a)通过图像序列的亚采样分解获得N路图像子序列；(b)对这些图像子序列分别进行编码压缩，图1中以H.264视频编码标准，但不限于H.264，同样适用于MPEG等其他编码标准。

2、图像子序列的传输。编码好的多路压缩码流送入相互独立的信道，传送至接收端的相应解码器。

3、多重描述的解码处理。接收到的各路压缩码流(描述)分别送入视频解码器进行解码处理，同时标定由于丢包等因素造成的图像子序列受损区域。

4、图像序列的合并和错误隐藏。根据解码器的输出子图像序列，合并出理想的重建图像序列。

具体说明关于输入图像序列的多描述编码实现和图像序列的图像合并和错误隐藏等方法。

(1)输入图像序列的多描述编码。这里将输入图像序列分解为多路子图像序列的方法是图像的亚采样处理，假定图像序列中第n帧图像I_n。

I_n＝{f_n(i，j)}  i＝1…K，j＝1…L

则对于第n帧图像I_n的采样处理，得到子图像I_n ^m

$I_n^m=\left\{\mathrm{\Ψ}\left(f_n(i,j)\right|i=1...K,j=1...L)\right\}$

i＝1…K，j＝1…L，m＝1…N

其中，Ψ(x)函数是对原始图像帧中的相关像素的变换处理。这里主要介绍两种简单有效的亚采样算法：直接亚采样(DSS，Direct Sub-Sample)和加权亚采样(WSS，Weighted Sub-Sample)。

直接亚采样DSS：显然，直接亚采样处理比较简单，原理如图2所示。原图像序列中的像素值分别赋值给相应的子图像序列。本发明采用了子图像序列数量为N＝4，可以看出，子像素序列的分辨率长和高上均为原图像序列的一半。

各子图像序列子图像I_n ^m的像素值分别为：

子图像序列I_n ¹：a1＝A，b1＝E，c1＝I，d1＝M；

子图像序列I_n ²：a2＝B，b2＝F，c2＝J，d2＝N；

子图像序列I_n ³：a3＝C，b3＝G，c3＝K，d3＝O；

子图像序列I_n ⁴：a4＝D，b4＝H，c4＝L，d4＝P。

加权亚采样WSS：与直接亚采样方法类似，加权亚采样后的子图像序列的像素处理对原始图像帧中的相关像素的变换处理，但不同的是直接亚采样中的相关像素仅仅是原始图像帧中的单个像素值，而加权亚采样还涉及到两邻的两个像素值。如图3所示，这里仅以子图像序列I_n ¹为例进行加权亚采样处理的说明。

可以看出，各子图像序列子图像I_n ^m的像素值分别为：

子图像序列I_n ¹： $\left\{\begin{array}{c}{a}_1=\frac{A}{2}+\frac{B+C}{4}\\ b_1=\frac{E}{2}+\frac{F+G}{4}\\ c_1=\frac{I}{2}+\frac{J+K}{4}\\ d_1=\frac{M}{2}+\frac{N+O}{4}\end{array}\right.$

子图像序列I_n ²： $\left\{\begin{array}{c}{a}_2=\frac{B}{2}+\frac{A+D}{4}\\ b_2=\frac{F}{2}+\frac{E+H}{4}\\ c_2=\frac{J}{2}+\frac{I+L}{4}\\ d_2=\frac{N}{2}+\frac{M+P}{4}\end{array}\right.$

子图像序列I_n ³： $\left\{\begin{array}{c}{a}_3=\frac{C}{2}+\frac{A+D}{4}\\ b_3=\frac{G}{2}+\frac{E+H}{4}\\ c_3=\frac{K}{2}+\frac{I+L}{4}\\ d_3=\frac{O}{2}+\frac{M+P}{4}\end{array}\right.$

子图像序列I_n ⁴： $\left\{\begin{array}{c}{a}_4=\frac{D}{2}+\frac{B+C}{4}\\ b_4=\frac{H}{2}+\frac{F+G}{4}\\ c_4=\frac{K}{2}+\frac{I+L}{4}\\ d_4=\frac{M}{2}+\frac{N+O}{4}\end{array}\right.$

(2)图像序列的合并和错误隐藏。从系统的结构图可以看出，首先从多条易错传输信道接收到的各路视频描述编码流，分别送入解码器；解码得出的子图像序列经过合并还原处理，得到原图像序列。其中，根据图像的合并还原处理的实现机制不同，图像的合并还原处理分两种：直接还原取代法和加权还原取代法。需要指出的是，这里的合并还原处理不仅仅是一个简单的亚采样处理的逆过程，这涉及到后续端到端的不匹配控制处理：一是多描述的编码的路数小于亚采样可逆处理的要求，即存在不可知像素点；二是传输过程中的误码和丢包造成部分像素区域无法重建或部分受损。对于前者的情况，本发明采用双线性插值法，具体的实现机制后面介绍。图像序列的合并和错误隐藏的结构示意图如图4所示。

(a)直接还原取代法。图像的直接还原的实现机制较为简单，直接并把子图像序列中的像素值直接替换原图像序列的相应像素。

$I_n^r=I_n^{r\left(1\right)}\⊕I_n^{r\left(2\right)}\⊕I_n^{r\left(3\right)}\⊕I_n^{r\left(4\right)}$

具体如下：

A＝a1，E＝b1，I＝c1，M＝d1

B＝a2，F＝b2，J＝c2，N＝d2

C＝a3，G＝b3，K＝c3，O＝d3

D＝a4，H＝b4，L＝c4，P＝d4

(b)加权还原取代法。与亚采样算法的两种处理方法相对应，图像的合并处理除了直接还原取代外，还存在加权还原取代法，具体运算下式所示。

$\left\{\begin{array}{c}A=\frac{3a_1-d_1}{2}\\ B=\frac{3b_1-c_1}{2}\\ C=\frac{3c_1-b_1}{2}\\ D=\frac{3d_1-a_1}{2}\end{array}\right.$

(c)空域双线性插值。对于解码获得的子图像序列合并处理高分辨率的原图像序列过程中，对于确定像素点，采用还原取代得到相应像素值；而不可知像素点，由于无法通过子图像序列和还原取代换算得到数值，这里采用算法较为简单的双线性插值算法，其实现如图5所示。

${\mathrm{Pixel}}_B=\frac{1}{2}({\mathrm{Pixel}}_A+{\mathrm{Pixel}}_E)$

${\mathrm{Pixel}}_C=\frac{1}{2}({\mathrm{Pixel}}_A+{\mathrm{Pixel}}_I)$

${\mathrm{Pixel}}_D=\frac{1}{4}({\mathrm{Pixel}}_A+{\mathrm{Pixel}}_E+{\mathrm{Pixel}}_I+{\mathrm{Pixel}}_M)$

${\mathrm{Pixel}}_G=\frac{1}{2}({\mathrm{Pixel}}_E+{\mathrm{Pixel}}_M)$

${\mathrm{Pixel}}_J=\frac{1}{2}({\mathrm{Pixel}}_I+{\mathrm{Pixel}}_M))$

(d)错误隐藏处理。正如图4所示，如前面所提到的，传输过程中的误码和丢包造成部分像素区域无法重建或部分受损。考虑到一般图像帧内某一像素和其邻近的像素间有很高的相关性，除非是不同对象，否则像素灰度值不会有太大的差异，故可以用损坏区域邻近的像素以内插、外插配合距离权重等方法恢复损坏的宏块像素值。这类方法的特色就是在前后画面内像素值变化不大时，效果会比较自然，而且对图像背景改变后特别有效，但不足之处是会造成恢复后的图像边缘有渐层的感觉。对于常用的空间域的错误隐藏(PDI)，有：四个边角像素线性内插错误隐藏、邻近像素线性内插错误隐藏等。这里选用邻近像素线性内插错误隐藏。

邻近像素线性内插是利用丢失宏块的四边邻近的四个像素来做线性内插。其原理如下所述：每一个发生错误的像素，采用对应的正确像素来做内插，如图6所示，内插的像素值计算公式如下：

g(x，y)＝[(N-dx)·(N-dy)·b_L(x，y)+(N-dx)·dy·b_B(x，y)

+dx·(N-dy)·b_T(x，y)+dx·dy·b_R(x，y)]/(2N)

其中，dx，dy，N-dx，N-dy分别为g(x，y)到b_L(x，y)，b_T(x，y)，b_R(x，y)，b_B(x，y)的距离，N为宏块的大小。

用这个方法所预测出来的像素值比四个边角点线性内插法效果好很多，其模糊化的现象比较少一点，不过会产生渐层的效应。但是这个公式只适合非图像边界的宏块，如果是在四周的边界宏块，所要用的计算式子如下。

$g(x,y)=\frac{1}{N}\·[\mathrm{dy}\·b_B(x,y)+(1-\mathrm{dy})\·b_T(x,y)]$

$g(x,y)=\frac{1}{N}\·[\mathrm{dx}\·b_R(x,y)+(1-\mathrm{dx})\·b_L(x,y)]$

如果丢失的宏块刚好在图像的四个角落，则上述的式子都不适用，也由于在四个角落的宏块图像不是很重要，肉眼就不易观察出来，因此只要将周围两个宏块作平均来取代遗失的宏块即可。

Claims (6)

1.一种基于多描述编码和错误隐藏的混合视频容错方法，其特征是：该方法包括基于亚采样的多描述编码、多信道传输、视频解码、图像合并和错误隐藏；输入的图像序列首先经过多描述编码，形成N路独立的视频压缩编码码流；这些N路描述通过独立信道进行同时传输；接收端在接收到N路描述后，分别送入解码器进行解码处理获得N路图像子序列，解码器根据丢包标定图像区域；图像子序列进行合并还原处理，对丢失损坏的区域采用错误隐藏方法进行恢复，最终得到重构的图像序列。

2.根据权利要求1所述的基于多描述编码和错误隐藏的混合视频容错方法，其特征是：所述的独立信道既可以是物理上的独立信道，也可是虚拟的独立信道。

3.根据权利要求1所述的基于多描述编码和错误隐藏的混合视频容错方法，其特征是：所述亚采样采用直接亚采样算法或加权亚采样算法。

4.根据权利要求1所述的基于多描述编码和错误隐藏的混合视频容错方法，其特征是：所述图像的合并还原处理采用直接还原取代法或加权还原取代法。

5.根据权利要求4所述的基于多描述编码和错误隐藏的混合视频容错方法，其特征是：对于无法通过子图像序列的合并和还原处理取代换算得到的数值，采用双线性插值算法。

6.根据权利要求1所述的基于多描述编码和错误隐藏的混合视频容错方法，其特征是：所述错误隐藏方法采用四个边角像素线性内插错误隐藏方法或邻近像素线性内插错误隐藏方法。

Images