CN101621690A - 基于Wyner-Ziv理论的两描述视频编码方法 - Google Patents

Abstract

本发明涉及一种基于Wyner－Ziv的两描述视频编码方法。包括下列步骤：1)低复杂度编码，具体包括：奇偶帧分离；零运动H.264编码产生描述的第一部分；残差SW－SPIHT编码产生第二部分；冗余优化；2)高复杂度解码，具体包括：当两个描述都收到时，使用中心解码器解码；假设只有一个描述收到，例如，收到描述1，其第一部分进行零运动H.264解码得到W′₁，然后利用插值公式产生参考帧W_re2和边信息Y₂，并产生差值D_1y＝Y₂－W_re2。之后，进行SW－SPIHT解码器以重构差值D′₁，得到W″₂＝D′₁+W_re2，最后合并W′₁和W″₂，得到恢复的整个视频序列V′₁。本发明是一种兼具编码复杂度低和鲁棒性能好的视频编码框架，在有描述丢失时，该方法有更好的压缩性能，同时保持了低复杂度编码，可以满足低能耗设备的网络视频传输需求。

Description

基于Wyner-Ziv理论的两描述视频编码方法

技术领域

本发明涉及一种视频编码方法，尤其是涉及一种基于Wyner-Ziv理论的两描述视频编码方法。

背景技术

多描述视频编码(Multiple Description Video Coding)是应码流鲁棒传输而产生的一种新的编码思想，它将一个视频信源分为多个码流(即多个描述)，不同的描述被发送到不同的信道，当有信道丢失时，丢失的描述可用接收到的描述来估计得到，从而取得可以接受的恢复质量。当没有信道丢失时，用所有接收到的描述来恢复得到较高质量的视频。

两描述编码是一种最基本的多描述编码方式，仅考虑将信源分为两个描述发送到两个信道的情况，基本原理如图1(a)，1(b)所示。两边信道的解码器1和解码器2被称为边解码器(side decoder)，中间信道的解码器0被称为中心解码器(central decoder)。若只有一个信道工作，利用边解码器进行解码，重建信号的失真值大于最小限度失真值；若两个信道的信号都收到，则用中心解码器来恢复以获得更高质量的重建值。

一般而言，多描述或两描述视频编码的实现有两种方式：基于运动补偿循环和基于前后处理的方法。基于运动补偿循环的方法，首先在编码端进行运动估计和运动补偿，然后将运动矢量和预测误差通过多个信道发送到解码端。由于该方法不易与现有视频标准兼容，从而限制了其实际应用。而基于前后处理的多描述视频编码方法，首先将原始视频序列进行预处理，引入冗余，然后将预处理后的序列分割成多个视频子序列，对各个子序列独立进行编解码。解码端用收到的子序列来估计丢失的子序列，后处理阶段将所有子序列进行融合以生成最后的重建视频。该方法易于兼容现有视频编码标准，实现容易。时域插帧和空域填补零是基于前后处理多描述视频编码的两种常用方法。前者根据视频的运动情况，自适应地加入冗余帧，然后将视频抽取为多个描述，每个描述分别用标准编码器进行压缩后传送到解码端；解码端在后处理阶段又去掉冗余帧。而后者对输入视频序列的每一帧分别进行DCT(Discrete Consine Transform)变换，并向DCT系数中添加零系数引入冗余，然后进行逆DCT变换产生过采样帧，接着将过采样帧按空域亚采样分解为多个描述，例如奇行奇列和偶行偶列像素组成一个描述，其余像素组成另一个描述。两个描述分别由带运动估计的标准编码器编码。若两个描述同时收到，可按上述过程的逆过程恢复视频信号，如果只收到一个描述，则丢失像素由其相邻像素进行内插重构得到。

上述传统的多描述视频编码方法中，都在不同阶段利用了复杂度较高的运动估计，因此方案的一个最大缺陷是编码的复杂度高，而它们的解码端，由于没有运动估计，相对来说比较简单，因此这种多描述编码方法适合于一次编码多次解码的广播式视频传输。

随着网络通信的发展和3G通信的兴起，一些新兴的低能耗视频设备大量涌现，如3G手机、无线传感器网络、网络视频监控等等，这些设备都有视频的摄取能力，但是由于其自身的能量和内存有限，它们要求低复杂度的编码方法，而他们的解码端，一般连接到网络的基站，基站具有较高的运算能力，可以适应一些高复杂度的解码算法。这和上述传统方法的适应场合恰恰相反。因此，采用现有的方法来生成多描述视频码流是不能满足低能耗设备的视频传输要求的。

上世纪70年代信息论中出现的Wyner-Ziv理论是针对多个相关信源编码的理论，近几年，Wyenr-Ziv理论随着通信中低复杂度编码要求而得到很高的关注。对两个相关信源X和Y，如果在编码端不利用信源的相关性而仅仅在解码端利用信源的相关性进行解码，则Wyner-Ziv编码的码率范围可以表示为：

R_X≥H(X|Y)

R_Y≥H(Y|X)

R_X+R_Y≥H(X，Y)    (1)

Wyner-Ziv理论表明，对相关信源X和Y，如果在编码端不利用信源的相关性而仅仅在解码端利用信源的相关性进行解码，则总码率也可以得到和编、解码端都利用相关性基本类似的性能。Wyner-Ziv理论提出了一种简化编码端的新思路，可以将一些计算量巨大的去相关方法从编码端移动到解码端进行，从而可以实现低复杂度编码。

一个典型的Wyner-Ziv编码器如图2所示，对相关信源X和Y，假设信源Y已用传统方法进行压缩并在解码端恢复了，仅考虑X的压缩问题。编码端对X进行独立编码而不考虑Y的相关性，解码端利用Y的相关性进行解码以恢复X，即Y仅仅作为X解码的边信息。具体实现中，编码器由量化器和信道编码组成，量化器首先将信源X量化为二进制序列q，然后二进制序列进行系统信道编码生成伴随式位和信息位，抛弃信息位，只传输部分的伴随式到解码端。解码端利用接收到得伴随位和边信息Y进行信道纠错解码以恢复量化序列q′，最后再利用边信息Y，将q′恢复为原始值X′。由于X和Y之间较强的相关性，编码端仅传输较少的的伴随式，解码端也可以利用伴随式和边信息来恢复信源X，正是因为传送的伴随式少于q的比特数，Wyner-Ziv编码可取得压缩。

将Wyner-Ziv理论应用于视频编码，将相邻帧看做相关信源，设当前要进行编码的帧是Wyner-Ziv帧，对Wyner-Ziv帧首先进行变换编码以进一步去除帧内空间相关性，边信息Y通过已解码的帧用运动估计和运动补偿产生。如图3所示，Wyner-Ziv视频编码器由于将复杂度高的运动估计移到解码端，因而实现了低复杂度编码。与成熟的视频压缩技术相比(如MPEG系列，H.26*系列等)，Wyner-Ziv编码的复杂度仅仅与其帧内编码相当，远远小于其帧间编码复杂度。正因为低复杂度编码特性，Wyner-Ziv视频编码特别适合于现在新兴的低能耗网络终端的视频传输要求。虽然Wyner-Ziv的解码端由于采用迭代的信道纠错解码算法，造成较高的复杂度，但是对低能耗设备的网络视频通信来说，我们可以将复杂的解码算法转移到基站中进行。

发明内容

本发明的目的在于改进现有技术中的不足而提供一种基于Wyner-Ziv理论的两描述视频编码方法。充分利用Wyner-Ziv编码在解码端利用信源相关性的特性，将运动估计从编码端转移到解码端进行，从而实现低复杂度编码，并用Wyner-Ziv码流来恢复丢失的子序列，取得较好的传输鲁棒性。

本发明的目的通过以下技术方案来达到：

一种基于Wyner-Ziv理论的两描述视频编码方法，包括低复杂度编码和高复杂度解码，

所述的低复杂度编码步骤如下：

步骤1：帧分离，奇偶帧分离产生两个子序列W₁和W₂；

步骤2：对W₁和W₂分别用零运动H.264编码以产生两个描述的part 1；

步骤3：解码两个子序列的part 1码流得到W′₁和W′₂，并根据公式

$W_{\mathrm{re}1,i}=\frac{{W^{\′}}_{2,i}+{W^{\′}}_{2,i+1}}{2}$ 和 $W_{\mathrm{re}2,i}=\frac{{W^{\′}}_{1,i-1}+{W^{\′}}_{1,i}}{2}$

产生两个子序列每帧的参考帧W_re1和W_re2，其中，W′_1，i-1和W′_1，i是描述1中当前帧的前、后解码帧；

步骤4：做减法产生残差，对描述1，D₁＝W′₂-W_re2，对描述2，D₂＝W′₁-W_re1；

步骤5：根据优化的组合量化，对残差D₁和D₂分别进行SW-SPIHT编码产生两个Wyner-Ziv码流，形成对应描述的part 2；

步骤6：将相同描述的part 1和part 2码流送入相同的信道进行传输；

所述的高复杂度解码步骤如下：

步骤1：判断有无描述丢失；

步骤2：假设描述2丢失，只收到描述1，进行下列的解码；

1)：先进行零运动H.264解码得到part 1，W′₁；

2)：分别根据公式 $W_{\mathrm{re}2,i}=\frac{{W^{\′}}_{1,i-1}+{W^{\′}}_{1,i}}{2}$ 和

Y_2，i(x，y)＝0.25×W′_1，i-1(x+0.5×dx_f，y+0.5×dy_f)

+0.25×W′_1，i(x-0.5×dx_f，y-0.5×dy_f)

+0.25×W′_1，i-1(x-0.5×dx_b，y-0.5×dy_b)

+0.25×W′_1，i(x+0.5×dx_b，y+0.5×dy_b)

产生参考帧W_re2和边信息Y₂，其中，W′_1，i-1和W′_1，i是描述1中当前帧的前、后解码帧，(x，y)是内插帧的坐标，[dx_f，dy_f]和[dx_b，dy_b]分别是前、后向运动矢量，可通过W′_1，i-1和W′_1，i用半像素运动估计等到；

3)：计算差值D_y1＝Y₂-W_re2，并用差值D_y1作为边信息进行SW-SPIHT解码，得到恢复的差值D′₁；

4)：作加法得到恢复的part 2，即W″₂＝D′₁+W_re2；

5)：合并W′₁和W″₂，得到恢复的原始视频序列V′₁；

步骤3：假设描述1丢失，只收到描述2，进行下列的解码；

1)：先进行零运动H.264解码得到part 1，W′₂；

2)：分别根据公式 $W_{\mathrm{re}1,i}=\frac{{W^{\′}}_{2,i}+{W^{\′}}_{2,i+1}}{2}$ 和

Y_1，i(x，y)＝0.25×W′_2，i(x+0.5×dx_f，y+0.5×dy_f)

+0.25×W′_2，i+1(x-0.5×dx_f，y-0.5×dy_f)

+0.25×W′_2，i(x-0.5×dx_b，y-0.5×dy_b)

+0.25×W′_2，i+1(x+0.5×dx_b，y+0.5×dy_b)

产生参考帧W_re1和边信息Y₁，并得到差值D_y2＝Y₁-W_re1；

3)：用差值D_y2作为边信息进行SW-SPIHT解码，得到恢复的差值D′₂；

4)：作加法得到恢复的part 2，即W″₁＝D′₂+W_re1；

5)：合并W″₁和W′₂，得到恢复的原始视频序列V′₂；

步骤4：当没有描述丢失时，进行下列的解码；

1)：用零运动H.264解码得到两个描述的part 1，W′₁和W′₂，

2)：合并W′₁和W′₂以恢复视频V′₀。

本发明的优点在于：

具有编码复杂度低和鲁棒性能好的视频编码框架，实验表明，在有描述丢失时，该方法有更好的压缩性能，同时保持了低复杂度编码，因而可以满足低能耗视频设备的网络传输需求。

附图说明

图1(a)，图1(b)为两描述编码原理图；

图2为一个典型的Wyner-Ziv编码原理框图；

图3为Wyner-Ziv视频编码原理框图；

图4为基于Wyner-Ziv理论的两描述视频编码原理框架；

图5为残差Wyner-Ziv编码原理框图；

图6.SW-SPIHT编码原理图；

图7(a)，图7(b)为率失真性能比较图；

图8(a)，图8(b)为Q1点的帧PSNR比较图。

具体实施方式

如图4所示，本发明基于Wyner-Ziv的两描述视频编码方法包含了低复杂度编码和高复杂度解码两部分。在低复杂度编码端，视频序列首先被分成两个子序列，每个子序列首先用零运动H.264(图中标示为H.264 0-mv)编码形成描述的第一部分part 1，然后用优化的残差Wyner-Ziv编码来产生描述的第二部分part 2。

1.低复杂度编码

(1)帧分离

一个视频序列首先被分成两个子序列，为了实现低复杂度编码，方案采用简单的奇偶帧分离法，奇数帧组成描述1，偶数帧形成描述2。

(2)H.264 0-mv编码

使用H.264 0-mv编码是为了满足part 1的低复杂度编码要求，H.2640-mv意味着用前一时刻帧作参考帧进行零运动矢量搜索编码，因此它类似于一个差分脉冲编码调制(DPCM)。由于DPCM利用了相邻帧的时域相关性，因此H.264 0-mv编码的率失真性能高于帧内编码的性能，另外，由于编码端没有使用运动估计，其编码计算量也是较低的。在实验中，我们使用了H.264的测试版本JM9.0进行仿真，结果发现H.264 0-mv的编码复杂度与帧内编码类似。

(3)残差Wyner-Ziv编码

残差Wyner-Ziv的原理如图5所示，对当前Wyner-Ziv帧W和参考帧W_re的残差D进行Wyner-Ziv编码。由于残差Wyner-Ziv编码相当于在经典方案的编、解码端同时增加了一个条件W_re，W_re与W间有一定的相关性，因而从信息论的角度来说，增加的条件将使得系统的码率降低，从而使得残差Wyner-Ziv编码取得比非残差Wyner-Ziv编码更好的率失真性能。

(4)两描述残差Wyner-Ziv编码

本发明将残差Wyner-Ziv编码的思想扩展到两描述Wyner-Ziv中来减少描述间的冗余，形成两描述残差Wyner-Ziv编码。图4的方案中，视频序列首先被分成两个子序列，两个子序列编码分别形成对应描述的part1，part2由另一子序列用残差Wyner-Ziv编码产生。在有描述丢失时，Wyner-Ziv码流可以帮助恢复丢失的描述，但当没有丢失时，Wyner-Ziv码流是冗余的。由于两个子序列间有较强的相关性，因此可以借助另一子序列产生参考帧来进行残差Wyner-Ziv编码以减少冗余。

对每个描述的差值D＝W-W_re进行Wyner-Ziv编码以形成对应的part 2，D＝Y-W_re用作解码的边信息，其中W_re是参考帧。对描述1来说，D₁＝W′₂-W_re2，D_y1＝Y₂-W_re2，对描述2，D₂＝W′₁-W_re1，D_y2＝Y₁-W_re1。参考帧W_re和边信息Y通过内插生成，方案中使用两种内插方案，一种是简单的平均内插，这种内插在编码端和解码端都被使用以产生参考帧W_re1和W_re2，一种是复杂的运动估计内插，运动估计内插仅仅在解码端被用来产生边信息帧Y₁和Y₂。比如，描述1中，对第i帧来说，其参考帧W_re2，i和边信息帧分别利用下列公式来产生，

$W_{\mathrm{re}2,i}=\frac{{W^{\′}}_{1,i-1}+{W^{\′}}_{1,i}}{2}---\left(2\right)$

Y_2，i(x，y)＝0.25×W′_1，i-1(x+0.5×dx_f，y+0.5×dy_f)

+0.25×W′_1，i(x-0.5×dx_f，y-0.5×dy_f)

+0.25×W′_1，i-1(x-0.5×dx_b，y-0.5×dy_b)    (3)

+0.25×W′_1，i(x+0.5×dx_b，y+0.5×dy_b)

参考帧和内插帧，其中，W′_1，i-1和W′_1，i是描述1中当前帧的前后解码帧，(x，y)是内插帧的坐标，[dx_f，dy_f]和[dx_b，dy_b]分别是前、后向运动矢量，可通过W′_1，i-1和W′_1，i用半像素运动估计等到。

类似地，描述2的参考帧和边信息帧用下列公式产生：

$W_{\mathrm{re}1,i}=\frac{{W^{\′}}_{2,i}+{W^{\′}}_{2,i+1}}{2}---\left(4\right)$

Y_1，i(x，y)＝0.25×W′_2，i(x+0.5×dx_f，y+0.5×dy_f)

+0.25×W′_2，i+1(x-0.5×dx_f，y-0.5×dy_f)

+0.25×W′_2，i(x-0.5×dy_b，y-0.5×dy_b)    (5)

+0.25×W′_2，i+1(x+0.5×dx_b，y+0.5×dy_b)

(5)SW-SPIHT编码

SW-SPIHT是小波域Wyner-Ziv编码的一种实现，对相关信源X和Y，X经过小波变换和SPIHT(Set partitioning in hierarchical tree)量化后的信息与信源Y的对应信息也相关，因此可以用信道码来编码，仅仅传送部分的伴随式，解码端用边信息和伴随式通过信道解码来恢复X的SPIHT信息。

SW-SPIHT编码原理如图6所示，对于小波系数C_d，首先执行传统SPIHT编码得到每个位平面的零树分布信息SD_i，有效位信息SP_i，符号信息SS_i和细化信息SR_i，i表示C_d的第i个位平面。假设要恢复的位平面数是n，i＝1，然后使用信道码LDPCA(Low Density Parity Check Codes Accumulate)执行下面的交错编解码步骤。

步骤一：用熵编码压缩零树分布信息SD_i，然后发送到解码端。

步骤二：在解码端，用解码的SD_i来抽取边信息的有效位信息SP_yi，即假设边信息的零树信息是SD_i，则可以根据SD_i来判断当前位平面所有非零树的有效信息SP_yi，然后将SP_yi作为SP_i的边信息。

步骤三：对SP_i进行LDPCA编码，将其所有伴随式比特存放缓存，然后根据反馈信息逐步发送其伴随式比特到解码端。解码端利用收到的伴随式比特和边信息SP_yi来进行LDPCA解码以恢复SP_i。其中的反馈信道是为了适应SP_i和SP_yi的相关性变化。

步骤四：解码端用恢复的有效信息SP_i′和零树分布信息SD_i来抽取SP_yi的符号信息SS_yi和细化信息SR_yi，这将作为SS_i和SR_i解码的边信息。

步骤五：用LDPCA编码SS_i和细化信息SR_i，存储所有伴随式比特，然后根据反馈信道的信息逐步地发送其伴随式到解码端。解码端利用收到的伴随式和边信息SS_yi、SR_yi解码恢复主信息SS_i和SR_i。

步骤六：令i＝i+1，然后返回到步骤一，重复执行，直到n个位平面都恢复。

步骤七：用边信息对小波系数进行精细重构以恢复C_d，见下面介绍。

步骤八：IDWT恢复原始图像。

(6)SW-SPIHT中基于边信息的小波系数重构

SW-SPIHT解码可以得到恢复的SPIHT流，假设此恢复是无差错的。由于恢复的SPIHT码流含有C_d的信息，而C_d与边信息C_d ^y之间有很强的相关性，此相关性在高位平面时尤为突出，因此恢复的SPIHT码流与C_d ^y也同样有较强的相关性。基于此种情况，我们提出了一种更好的重构C_d的方法，也就是用公式(6)通过恢复的SPIHT码流来精细C_d ^y。

${C^{\′}}_d=\left\{\begin{array}{ccc}{v}_{\max },& \mathrm{if}& C_d^y\≥v_{\max }\\ C_d^y,& \mathrm{if}& C_d^y\∈(v_{\min },v_{\max }).\\ v_{\min },& \mathrm{if}& C_d^y\≤v_{\min }\end{array}\right.---\left(6\right)$

其中C′_d为最终恢复的小波系数；v_max和v_min分别为C_d可能的最大值和最小值，可根据恢复的SPIHT信息推断；m为C_d的位平面总数，要恢复的位平面数用n来表示，其中m≥n。此方法提高了小波系数的重构，原因有二，其一，用恢复的n个位平面信息限制了单纯由C_d ^y位平面重构C_d而产生的失真；其二，C_d ^y其余的m-n个低位平面信息补充了恢复的n个高位平面的信息，从而对重构起到了补偿作用。

(7)冗余优化

方案中，当没有描述丢失时，Wyner-Ziv比特将是冗余的。冗余的Wyner-Ziv比特数将会影响系统的性能，一方面，Wyner-Ziv比特数越多，两个描述的相关性越大，当有信道丢失时，由收到的描述来估计丢失描述所产生的失真小，这使得边解码质量变好；但另一方面，当没有信道丢失时，Wyner-Ziv比特数越多，增加的冗余越多，从而中心解码的率失真性能会降低。因此要对冗余进行优化，优化基于下列思想。

设视频输入是V，d₀(V，N)和d₁(V，N)(或者d₂(V，N))分别表示中心和边解码的均方误差，设Wyner-Ziv的比特是N，R(V，N)是两个描述的总码率，R₁(V，N)和R₂(V，N)分别是两个描述的码率，设两描述平衡，我们的优化目的是寻找优化的参数N以解决下列的优化问题：

$\underset{N}{\min }{d}_1(V,N)$

受约束于

条件1：

R(V，N)＝2R₁(V，N)＝2R₂(V，N)≤R_budge    (7)

条件2：

d₀(V，N)≤d_budge    (8)

其中，R_budge是编码两个描述的总码率，d_budge是中心解码的最大失真。优化过程可以解释为：固定中心解码质量和总码率，调整N使得边失真最小。优化方案的执行过程首先初始化，然后在条件1和2约束下，逐渐搜索N使得d₁最小。

具体地，在我们的方案中，SW-SPIHT编码将产生冗余，它的码率将影响系统的率失真性能，为了实现简单，我们对SW-SPIHT比特的优化是基于位平面(bit plane，BP)的个数，也就是，给定part 1的H.264 0-mv量化参数QP，基于上述的优化函数来调整BP的个数，最后，得到了一个优化的BP和QP组合，见表1所示。

表1.优化的组合量化参数

2.高复杂度解码

由于解码端要进行运动估计来产生边信息Y、并且要进行信道码的迭代解码，这些造成了解码端的高复杂度。

(1)边解码器算法

当只有一个描述收到时，使用边解码器解码。

假设只接收到描述1，使用边解码器1进行解码。其part 1，即W′₁通过H.264 0-mv解码得到；在恢复part 2的W″₂时，首先根据公式(2)、(3)产生参考帧W_re2和边信息Y₂，并得到差值D_y1＝Y₂-W_re2，然后用差值D_y1作为边信息进行SW-SPIHT解码，得到恢复的差值D′₁，再作加法得到恢复的part 2，即W″₂＝D′₁+W_re2。

合并W′₁和W″₂，最终得到恢复的原始视频序列V′₁。

当只接收到描述2时，利用边解码器2进行解码，步骤与上述边解码器1的类似。

(2)中心解码器算法

当没有描述丢失时，使用中心解码器恢复视频序列。

首先用零运动H.264解码得到两个描述的part1，W′₁和W′₂，然后合并W′₁和W′₂以恢复视频V′₀

本发明的效果

我们测试了2个QCIF@15Hz序列的性能，Carphone和Mogher-daughter，比较了三种两描述方案的性能：

(1)零运动H.264两描述方法，此方法仅仅用奇偶帧分离将序列分为两个描述，然后对每个序列用零运动H.264进行压缩。方法具有低复杂度编码特性。

(2)本发明提出的基于Wyner-Ziv的残差两描述视频编码方法，原理如图4所示。

(3)基于Wyner-Ziv的非残差两描述视频编码方法，与图4不同的是，没有采用残差编码，即只是对图中的W′₁和W′₂进行Wyner-Ziv编码，产生两个描述的part 2。

实验测试了上述三种方案中两个描述的总比特，实验结果如图7a，7b和图8a，8b所示。图中将上述三种方案分别标识为MDC H.264 0-mv、残差2D-DVC和2D-DVC。

1.率失真性能比较

图7a，7b表示了率失真性能曲线，从比较结果看出基于Wyner-Ziv的残差两描述视频编码方案明显地好于非残差方案，其原因是残差Wyner-Ziv编码利用了一个编解码端都可得到的参考帧，从而减少了码率。具体而言，对运动量小的Mother-daughter序列，残差方案比非残差方案得到0.5-1.8dB的边解码质量提高，0.2-1.7dB的中心解码质量提高。对运动量较大的Carphone序列而言，在中心解码质量几乎相当的条件下，边质量的提高是0.2-1.7dB。我们又比较了基于H.264 0-mv的两描述编码，很明显，所提方案与参考方案有几乎相当的效率，然而，我们的方案比H.264 0-mv两描述方案的优势在于质量的连续性，这个特性我们将用下面的试验来验证。

图8a，8b表明了三种方案在Q1点的帧边质量对比。很明显，我们的残差两描述和非残差两描述都比零运动H.264两描述有更连续的帧质量，原因是我们的方案加入了Wyner-Ziv码流，它很好地纠正了丢失的描述，尤其是，有效的残差方案取得了最好的质量。

为了进一步比较，我们计算了各点的帧边质量的方差，方差计算根据下列公式：

$\mathrm{Var}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(P_{\mathrm{SNR}}\left(i\right)-E\left(P_{\mathrm{SNR}}\right))}^2---\left(9\right)$

其中P_SNR(i)是第i帧的PSNR值，n是总帧数，E(P_SNR)是所有帧的平均值，表2表示了所有点的PSNR方差，很明显，在各个失真点，我们的残差两描述方案均取得了最小的方差，这意味着他们在有描述丢失时有更好的边质量连续性。

Claims (1)

1、一种基于Wyner-Ziv理论的两描述视频编码方法，其特征在于：包括低复杂度编码和高复杂度解码，

所述的低复杂度编码步骤如下：

步骤1：帧分离，奇偶帧分离产生两个子序列W₁和W₂；

步骤2：对W₁和W₂分别用零运动H.264编码以产生两个描述的part 1；

步骤3：解码两个子序列的part 1码流得到W′₁和W′₂，并根据公式

$W_{\mathrm{re}1,i}=\frac{{W^{\′}}_{2,i}+{W^{\′}}_{2,i+1}}{2}$ 和 $W_{\mathrm{re}2,i}=\frac{{W^{\′}}_{1,i-1}+{W^{\′}}_{1,i}}{2}$

产生两个子序列每帧的参考帧W_re1和W_re2，其中，W′_1，i-1和W′_1，i是描述1中当前帧的前、后解码帧；

步骤4：做减法产生残差，对描述1，D₁＝W′₂-W_re2，对描述2，D₂＝W′₁-W_re1；

步骤5：根据优化的组合量化，对残差D₁和D₂分别进行SW-SPIHT编码产生两个Wyner-Ziv码流，形成对应描述的part 2；

步骤6：将相同描述的part 1和part 2码流送入相同的信道进行传输；

所述的高复杂度解码步骤如下：

步骤1：判断有无描述丢失；

步骤2：假设描述2丢失，只收到描述1，进行下列的解码；

1)：先进行零运动H.264解码得到part 1，W′₁；

2)：分别根据公式 $W_{\mathrm{re}2,i}=\frac{{W^{\′}}_{1,i-1}+{W^{\′}}_{1,i}}{2}$ 和

Y_2，i(x，y)＝0.25×W′_1，i-1(x+0.5×dx_f，y+0.5×dy_f)

+0.25×W′_1，i(x-0.5×dx_f，y-0.5×dy_f)

+0.25×W′_1，i-1(x-0.5×dx_b，y-0.5×dy_b)

+0.25×W′_1，i(x+0.5×dx_b，y+0.5×dy_b)

产生参考帧W_re2和边信息Y₂，其中，W′_1，i-1和W′_1，i是描述1中当前帧的前、后解码帧，(x，y)是内插帧的坐标，[dx_f，dy_f]和[dx_b，dy_b]分别是前、后向运动矢量，可通过W′_1，i-1和W′_1，i用半像素运动估计等到；

3)：计算差值D_y1＝Y₂-W_re2，并用差值D_y1作为边信息进行SW-SPIHT解码，得到恢复的差值D′₁；

4)：作加法得到恢复的part 2，即W″₂＝D′₁+W_re2；

5)：合并W′₁和W″₂，得到恢复的原始视频序列V′₁；

步骤3：假设描述1丢失，只收到描述2，进行下列的解码；

1)：先进行零运动H.264解码得到part 1，W′₂；

2)：分别根据公式 $W_{\mathrm{re}1,i}=\frac{{W^{\′}}_{2,i}+{W^{\′}}_{2,i+1}}{2}$ 和

Y_1，i(x，y)＝0.25×W′_2，i(x+0.5×dx_f，y+0.5×dy_f)

+0.25×W′_2，i+1(x-0.5×dx_f，y-0.5×dy_f)

+0.25×W′_2，i(x-0.5×dx_b，y-0.5×dy_b)

+0.25×W′_2，i+1(x+0.5×dx_b，y+0.5×dy_b)

产生参考帧W_re1和边信息Y₁，并得到差值D_y2＝Y₁-W_re1；

3)：用差值D_y2作为边信息进行SW-SPIHT解码，得到恢复的差值D′₂；

4)：作加法得到恢复的part 2，即W″₁＝D′₂+W_re1；

5)：合并W″₁和W′₂，得到恢复的原始视频序列V′₂；

步骤4：当没有描述丢失时，进行下列的解码；

1)：用零运动H.264解码得到两个描述的part 1，W′₁和W′₂，

2)：合并W′₁和W′₂以恢复视频V′₀。

Images