CN101977327B

CN101977327B - 基于嵌入式分布式视频编码描述的视频抗差错编解码方法

Info

Publication number: CN101977327B
Application number: CN 201010544993
Authority: CN
Inventors: 熊红凯; 张永生
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2010-11-16
Filing date: 2010-11-16
Publication date: 2012-04-25
Anticipated expiration: 2030-11-16
Also published as: CN101977327A

Abstract

一种视频编解码技术领域的基于嵌入式分布式视频编码描述的视频抗差错编解码方法，通过在编码端进行混合式预测视频编码后得到分布式视频编码码流，对其中的帧间编码帧进行嵌入式分布式视频编码保护处理并发送至解码端，当解码端收到的帧间编码帧中没有传输差错并且其参考帧也未受到传输失真的影响，则丢弃该帧间编码帧所对应的分布式视频编码码流；否则解码接收到的分布式视频编码码流，并将解码结果作为后续帧的参考，从而消除传输失真随时间的传播，实现视频抗差错。本发明通过对于分布式视频编码和传统编码的联合优化可提高该系统的整体性能，适用于无反馈信道或反馈信道传输时延较长的视频传输。

Description

基于嵌入式分布式视频编码描述的视频抗差错编解码方法

技术领域

本发明涉及的是一种视频编解码技术领域的方法，具体是一种基于嵌入式分布式视频编码描述的视频抗差错编解码方法。

背景技术

视频编解码技术对于视频的存储和传输等应用至关重要。现有的混合式视频编码技术(如H.264/AVC，MPEG-x系列标准)在编码端利用时间空间预测编码提高编码效率，但其产生的码流对于传输差错非常敏感。为了提高编码码流的抗差错能力，人们通常采用信道编码等方法提高编码码流传输链路的可靠性，或者在解码时对于丢失或者出现差错的宏块(Macroblocks)利用视频信号帧间和帧内的相关性进行预测，以尽量减弱传输差错对解码图像的质量恶化。但是这两类方法相互之间独立进行的，为了进一步提高整体编码效率，研究者提出了一套完整的基于分布式视频编码的视频抗差错编码方案。

经过对现有技术的文献检索发现，S.Rane、P.Baccichet和B.Girod在2008年10月份的IEEE Transactions on Circuits and Systems for Video Technoloy期刊上发表的“Systematiclossy error protection of video signals”上提出采用分布式视频编码的粗量化的视频信号在解码质量和保护强度之间进行折中。A.Sehgal、A.Jagmohan和N.Ahuja在2004年4月份的IEEETransactions on Multimedia期刊上发表的“Wyner-Ziv coding of video：an error-resilientcompression framework”上提出通过插入采用分布式视频编码保护的基准帧来结束传输失真在时间上的传播。Y.Zhang、C.Zhu和K.-H.Yap在2008年12月的“IEEE Transactions onMultimedia”期刊上提出在Sehgal等人方案的基础上进行分布式视频解码时应联合考虑传输失真和Wyner-Ziv帧与其参考帧间的相关性。但是这些方案并没有给出如何在解码端估计传输失真以及在编码端进行分布式视频编码和传统视频编码的联合优化问题。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于嵌入式分布式视频编码描述的视频抗差错编解码方法，通过对于分布式视频编码和传统编码的联合优化可提高该系统的整体性能，而解码端的传输失真估计所需要的要素均可在解码端获得，更加适用于无反馈信道或反馈信道传输时延较长的视频传输应用。

本发明是通过以下技术方案实现的，本发明通过在编码端进行混合式预测视频编码后得到分布式视频编码码流，对其中的帧间编码帧进行嵌入式分布式视频编码保护处理并发送至解码端，当解码端收到的帧间编码帧中没有传输差错并且其参考帧也未受到传输失真的影响，则丢弃该帧间编码帧所对应的分布式视频编码码流；否则解码接收到的分布式视频编码码流，并将解码结果作为后续帧的参考，从而消除传输失真随时间的传播，实现视频抗差错。

所述的混合式预测视频编码包括：H.264规范编码、AVC规范编码或MPEG-x规范编码；

所述的嵌入式分布式视频编码保护处理是指：

第一步、首先将分布式视频编码码流中的图像划分为若干宏块，并采用混合式预测视频编码中的率失真优化方法计算每一个宏块针对所有帧内编码模式以及所有帧间编码模式的对应代价J(m)＝D(m)+λR(m)，其中D(m)为模式m对应的编码失真，R(m)为模式m对应的编码码率，并选取所有帧内编码模式中代价最小值

及其对应的帧内编码模式

以及所有帧间编码模式中代价最小值

及其对应的帧间编码模式

第二步、当

时，则对于该宏块采用帧内编码模式进行编码，否则计算该宏块分布式视频编码和混合式预测编码的联合信源信道代价J_WZ(m)＝D(m)+D_WZ(m)+λ(R(m)+R_WZ(m))，其中D_WZ(m)为模式m经过分布式视频编码保护后残余的传输失真，R_WZ(m)为对模式m进行分布式视频编码保护所需的码率；

第三步、当

时，则对于该宏块采用帧内编码模式进行编码，否则采用帧间编码模式进行编码，重复执行上述第一步至第三步直至所有宏块均完成编码；

第四步、步骤二中对于所有宏块(Macroblocks)计算所得的R_WZ(m)之和作为嵌入式分布式视频编码的码率，并据此进行分布式视频编码。

所述的所有帧内编码模式是指：当前编码块通过当前帧中已编码的块进行预测，预测模式包括以下17种：对于16×16的亮度块，包含4种可选的预测模式；或者将宏块分为4×4的亮度块，从9种预测模式中进行选择(主要包括直流分量预测和8个不同方向的预测)；对于一个宏块对应的8×8的色度块，可从4种预测模式中进行选择(包括直流分量预测、垂直预测、水平预测以及Plane预测模式)。

所述的所有帧间编码模式是指：当前编码块通过已编码帧进行预测，预测模式包括以下两者的所有组合：1)不同的宏块划分，一个16×16的宏块可以划分为16×16、16×8、8×16、8×8，而对于8×8模式，还可以继续细分为8×8、8×4、4×8以及4×4；2)不同的运动估计精度，包括整数像素运动估计、半像素运动估计和1/4像素运动估计。不同宏块划分和运动估计精度的组合构成了不同的帧间编码模式。

所述的解码端收到的帧间编码帧中没有传输差错并且参考帧也未受到传输失真的影响是指：

步骤1、采用与编码端相同的混合式预测视频编码的解码器进行解码，并判断当前帧在传输中是否发生错误：若无传输错误，则将参考帧中的传输失真叠加至当前帧，否则执行错误掩盖操作并估计该错误所造成的传输失真，然后将该传输失真与参考帧中的传输失真叠加作为当前帧的总传输失真；

步骤2、判断当前帧为基准帧(受Wyner-Ziv编码保护的帧间编码帧)时，则根据步骤一获得的像素域传输失真的概率分布计算DCT域传输失真的概率分布；

步骤3、根据概率分布计算分布式视频编码所需的似然概率信息作为解码器的参数进行解码，并将解码器的输出作为当前帧的恢复值以及下一帧的参考值。

所述的错误掩盖处理是指：根据视频信号本身的帧间相关性、空间相关性以及相邻宏块间运动矢量的相关性，通过预测所丢失宏块的运动矢量来最小化宏块丢失造成的传输失真的方法。

所述的传输失真建模是指：分析错误掩盖过程可能引起的失真。具体来说，错误掩盖造成的传输失真主要分两部分：1)运动矢量估计不准确造成的失真，主要表现为造成运动补偿结果与实际图像间发生平移；2)运动补偿残差丢失造成的失真，因为该失真接近于符合Laplace分布的随机噪声，我们用符合Laplace分布的随机变量来描述它，Laplace分布的参数可通过相邻的正确解码宏块的残差能量获得。运动矢量估计误差可以在正确解码帧中重现错误掩盖过程进行近似。因此传输失真被建模为混合Laplace分布

其中e_ρ为运动估计误差造成的失真，而e_w为运动补偿残差并服从以e_ρ为中心的Laplace分布。

与现有技术相比，本发明所提出的基于嵌入式分布式视频编码的视频抗差错编码技术在编码过程中进行联合信源信道率失真优化，提高了本发明的整体率失真性能；在解码端提出了一种在线传输失真估计方法并以混合拉普拉斯模型对传输误差进行建模。本发明的有益效果是：编码端进行联合信源信道率失真优化，提高了本发明的整体率失真性能；提出了编码端码率估计方法，可应用于无反馈信道或无法通过反馈信道确定编码码率的应用环境；解码端提出了一种基于混合拉普拉斯模型的在线传输失真估计方法，可使本发明应用于无反馈信道或反馈信道时延较长的应用环境，并且该模型相对于分布式视频编码中常用的拉普拉斯模型对传输失真的建模更加准确。

附图说明

图1是本发明方法的编码框图。

图2是本发明方法的编码端率失真优化的模式选择流程图。

图3是本发明方法的解码流程图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例的编码过程包括如下步骤：

步骤一，将待编码帧分为若干宏块(Macroblocks)，并采用H.264/AVC编码方案中的运动估计运动补偿方法计算运动矢量，将结果送入模式选择模块计算不同模式对应的编码代价；

步骤二，对于不同模式，估计用分布式视频编码对于该模式进行保护所需要的码率并估计经过分布式编码保护后解码视频序列的失真，通过综合考虑H.264/AVC和分布式视频编码的代价进行模式选择，具体的步骤见图2；

步骤三，当所有宏块都经过了模式选择和H.264/AVC编码后，根据步骤二中估计得到的分布式编码码流进行分布式视频编码；

步骤四，将H.264/AVC码流和分布式视频编码码流合并后输入信道。

如图2所示，本实施例编码过程中的模式选择模块包括如下步骤：

1、对宏块(Macroblocks)采用H.264/AVC视频编码中的方法计算某一宏块不同模式对应的代价J(m)＝D(m)+λR(m)，其中D(m)为模式m对应的编码失真，R(m)为模式m对应的编码码率。令表示所有帧内编码(Intra)模式中代价最小者，并将其代价记为

表示所有帧间编码(Inter)模式中代价最小者，并将其代价记为

2、如果

该宏块采用帧内编码(Intra)模式；

3、否则计算分布式视频编码和混合式预测编码的联合信源信道总代价J_WZ(m)＝D(m)+D_WZ(m)+λ(R(m)+R_WZ(m))，其中D_WZ(m)为模式m经过分布式视频编码保护后残余的传输失真，R_WZ(m)为对模式m进行分布式视频编码保护所需的码率；

4、如果该宏块采用帧内编码模式，否则采用帧间编码模式。

如图3所示，本实施例的解码过程包括如下步骤：

1、采用与编码端相同的混合式预测视频编码的解码器进行解码，并判断当前帧在传输中是否发生错误：若无传输错误，则将参考帧中的传输失真叠加至当前帧，否则执行错误掩盖操作并估计该错误所造成的传输失真，然后将该传输失真与参考帧中的传输失真叠加作为当前帧的总传输失真；

2、判断当前帧为基准帧(受Wyner-Ziv编码保护的帧间编码帧)时，则根据步骤一获得的像素域传输失真的概率分布计算DCT域传输失真的概率分布；

3、根据估计所得的传输失真的概率分布，计算分布式视频编码所需的似然概率信息并送入分布式视频解码器进行解码，其输出作为当前帧的恢复值并作为下一帧的参考。

实施效果

依据上述步骤，实验用视频传输序列来源于Foreman_cif.yuv(352x288的4:2:0格式的YUV文件)，总共取250帧。关键参数的设置为：

(1)序列类型为I-P-P-P-P......，每5帧设定一个基准帧；

(2)采用H.264/AVC的High Profile进行视频编码；

(3)每帧图像分为4个条带(Slice)；

(4)传输中的视频数据包丢失率为8％；

(5)分布式视频编码采用LDPCA方法；

(6)帧率设为15fps；

比较了采用本发明所述的方法以及A.Sehgal等人提出的基于分布式视频编码的方法以及采用Intra帧刷新(Intra Refresh)等抗差错方法的性能：

当码率为1000kbit/s时，本方法、A.Sehgal的方法以及Intra帧刷新方法得到的PSNR分别为34.42dB、32.15dB以及33.39dB，分别相当于获得了2.27dB和1.03dB的增益；

当码率为1200kbit/s时，本方法、A.Sehgal的方法以及Intra帧刷新方法得到的PSNR分别为35.15dB、34.08dB以及34.14dB，分别相当于获得了1.07dB和1.01dB的增益；

当码率为1400kbit/s时，本方法、A.Sehgal的方法以及Intra帧刷新方法得到的PSNR分别为36.02dB、35.00dB以及35.07dB，分别相当于获得了1.02dB和0.95dB的增益；

实验表明，较之于A.Sehgal等人提出的基于分布式编码的方法和Intra帧刷新的方法，本发明提出的H.264/AVC与分布式视频编码联合优化和解码端在线传输失真建模方案可显著提高产生码流的抗差错能力。

Claims

1.一种基于嵌入式分布式视频编码描述的视频抗差错编解码方法，其特征在于，通过在编码端首先进行混合式预测视频编码以及分布式视频编码获得编码码流，对其中的帧间编码帧进行嵌入式分布式视频编码保护处理并发送至解码端，当解码端收到的帧间编码帧中没有传输差错并且其参考帧也未受到传输失真的影响，则丢弃该帧间编码帧所对应的分布式视频编码码流；否则解码接收到的分布式视频编码码流，并将解码结果作为后续帧的参考，从而消除传输失真随时间的传播，实现视频抗差错；

所述的嵌入式分布式视频编码保护处理是指：

第一步、首先将由分布式视频编码码流保护的图像划分为若干宏块，并采用混合式预测视频编码中的率失真优化方法计算每一个宏块针对所有帧内编码模式以及所有帧间编码模式的对应代价J(m)＝D(m)+λR(m)，其中D(m)为模式m对应的编码失真，R(m)为模式m对应的编码码率，并选取所有帧内编码模式中代价最小值

及其对应的帧内编码模式

以及所有帧间编码模式中代价最小值

及其对应的帧间编码模式

第二步、当

第三步、当

第四步、对于所有宏块计算所得的R_WZ(m)之和作为嵌入式分布式视频编码的码率，并据此进行分布式视频编码。

2.根据权利要求1所述的基于嵌入式分布式视频编码描述的视频抗差错编解码方法，其特征是，所述的混合式预测视频编码包括：H.264/AVC规范编码或MPEG-x规范编码。

3.根据权利要求1所述的基于嵌入式分布式视频编码描述的视频抗差错编解码方法，其特征是，所述的解码端收到的帧间编码帧中没有传输差错并且参考帧也未受到传输失真的影响是指：

步骤1、采用与编码端的混合式预测视频编码相对应的解码器进行解码，并判断当前帧在传输中是否发生错误：若无传输错误，则将参考帧中的传输失真叠加至当前帧，否则执行错误掩盖操作并对该错误所造成的传输失真进行建模，然后将该传输失真与参考帧中的传输失真叠加作为当前帧的总传输失真；

步骤2、判断当前帧为受编码保护的帧间编码帧时，则根据步骤一获得的像素域传输失真的概率分布计算DCT域传输失真的概率分布；

步骤3、根据概率分布计算分布式视频编码所需的似然概率信息，将似然概率信息作为解码器的参数进行解码，并将解码器的输出作为当前帧的恢复值以及下一帧的参考值。

4.根据权利要求3所述的基于嵌入式分布式视频编码描述的视频抗差错编解码方法，其特征是，所述的传输失真建模是指：用混合Laplace分布描述运动补偿结果与实际图像间发生平移以及运动补偿残差丢失造成的失真，其中Laplace分布的参数通过相邻的正确解码宏块的残差能量获得，具体为：混合Laplace分布

其中e_ρ为运动估计误差造成的失真，e_w为运动补偿残差并服从以e_ρ为中心的Laplace分布。