CN103313056B - 一种基于图像融合和边缘Hash的子块修复方法 - Google Patents

Abstract

本发明公开了一种基于图像融合和边缘Hash的子块修复方法，针对分布式视频编码WZ帧重建帧中有LDPC解码错误的子块进行修复。首先利用边缘特征定位需要进行修复的子块，然后对其进行修复，子块修复借助边信息帧子块和重建的WZ帧子块的融合来完成。本发明在编码端只进行WZ帧的帧内分析与处理，不涉及编码端的其他帧，严格遵循分布式视频编码“独立编码”的要求。由于LDPC解码的误码率受相关噪声模型准确度的影响，本发明能弥补相关噪声模型的不准确而造成的编码效率的下降，对于有信道噪声存在的情况也有实际意义。

Description

一种基于图像融合和边缘Hash的子块修复方法

技术领域

本发明涉及视频编码技术领域，特别涉及一种基于图像融合和边缘Hash的子块修复方法。

背景技术

传统的视频编码器为了获得较高的压缩效率，一方面，通过基于块的离散余弦变换(Discrete Cosine Transform,DCT)去除视频信号的空间冗余度，另一方面，通过运动估计和运动补偿技术进行帧间预测编码，以去除视频信号的时间冗余度。这种用DCT结合帧间预测技术的混合编码器，在编码端需要完成变换、量化、熵编码、以及运动估计和运动补偿等大量的运算，而解码器仅仅利用来自编码器的信息重建视频信号，这使得编码复杂度远远高于解码复杂度^[8]。这种复杂度不对称的结构非常适合一次编码、多次解码的应用场合，如广播式或下行链路式的应用。然而对于近年来兴起的无线视频监控、无线传感器网络、移动可视电话等面向上行链路的、低功耗、低带宽的应用需求，其无线视频编码设备简单且能量有限，而解码设备一般无能量限制且有较强的处理能力。传统的复杂的编码器显然不适用于这种场合，复杂度不对称的结构需要逆转来适应新的应用需求。

分布式视频编码有效地将编码器的复杂度转移到解码器，是一种在解码端挖掘视频信号的时间冗余度的全新的视频编码方案。其编码框架如图1，GOP长度固定为2，关键帧(奇数帧)采用传统的H.264帧内编解码方法。编码WZ帧X(偶数帧)时将图像分成不重叠的4×4大小的块，首先对每个子块进行DCT变换，并对DCT系数均匀量化，量化后的系数用格雷码表示，然后输入LDPC编码器，输出得到校验比特q。解码时，先由解码的关键帧Y_2i-1',Y_2i+1'进行MCI得到WZ帧的边信息再进行相关噪声模型估计，LDPC解码器在已知校验比特q和边信息的条件下解码得到纠错解码系数q’，最后经重建和IDCT模块得到重建的WZ帧X’。

目前已经有大量的研究集中在边信息帧质量和相关噪声模型方面，以提高分布式视频编码器的编码效率，然而分布式视频编码的失真来源于多个方面，LDPC编解码失真就是其中之一。

图2显示了变换域Wyner-Ziv(Transform Domain Wyner-Ziv,TDWZ)系统中LDPC解码的示意图，图中y表示边信息，x_opt表示信源的最优重建，[z_i,z_i+1)是正确解码的区域。LDPC编解码失真是由其解码特性引起的。图1所示的TDWZ系统解码WZ帧时，首先是LDPC解码器解码出每个DCT系数对应的量化符号q'，如果q'被正确解码，对应的量化区间是[z_i,z_i+1)，随后按下式进行最优重建，

$x_{opt}=\left\{\begin{array}{cc}{z}_i+\frac{1}{\mathrm{\&alpha;}}+\frac{\mathrm{\&Delta;}}{1-e^{\mathrm{\&alpha;}\mathrm{\&Delta;}}},& y<z_i\\ y+\frac{\left(\mathrm{\&gamma;}+\frac{1}{\mathrm{\&alpha;}}\right)e^{-\mathrm{\&alpha;}\mathrm{\&gamma;}}-(\mathrm{\&delta;}+\frac{1}{\mathrm{\&alpha;}})e^{-\mathrm{\&alpha;}\mathrm{\&delta;}}}{2-(e^{-\mathrm{\&alpha;}\mathrm{\&gamma;}}+e^{-\mathrm{\&alpha;}\mathrm{\&delta;}})},& y\&Element;\&lsqb;z_i,z_{i+1})\\ z_{i+1}-\frac{1}{\mathrm{\&alpha;}}-\frac{\mathrm{\&Delta;}}{1-e^{\mathrm{\&alpha;}\mathrm{\&Delta;}}},& y\&GreaterEqual;z_{i+1}\end{array}\right.---\left(1\right)$

其中α是相关噪声模型的参数，它和方差σ²间有的关系，Δ＝z_i+1-z_i，即量化步长，γ＝y-z_i，δ＝z_i+1-y。则重建后该DCT系数就是我们所期望的结果。然而LDPC解码允许有一定的误差，通常误码率P_e≤10^-3，就认为是正确解。如果q'解码有误，那么对应的量化区间就是[z_i,z_i+1)以外的其它区间，再按(1)式重建后就会有很大误差，这也是造成分布式视频编码系统失真的一个因素。

由于q'是量化索引，误差的大小和两个因素有关，即q'的二进制表示中的错误比特的位置和量化步长，如果错误出现在q'的自然二进制码的低比特位，引起DCT系数的误差要小于错误出现在高比特位引起的误差，但是无论如何都会使DCT系数至少产生一个量化步长的误差，从而使整个子块产生严重的误差。而本发明能够很好地解决上面的问题。

发明内容

鉴于目前分布式视频编码的上述不足，本发明目的在于提出一种结合图像融合和边缘Hash的WZ帧子块修复方法，在WZ帧边缘Hash的指导下，用信息融合的方法，对WZ帧中有解码错误的子块进行修复，解决由于LDPC解码误差导致的失真，提高重建WZ帧子块的质量。

本发明的结合图像融合和边缘Hash的子块修复方法，首先根据边缘特征判断重建的WZ帧子块中是否有解码出错的块，然后对有解码错误的WZ帧子块进行修复，修复时根据LDPC解码器的解码特性，融合边信息帧子块和重建WZ帧子块的信息，优化WZ帧子块的质量，从而提高分布式视频编码器的性能增益。

本发明在编码端只进行WZ帧的帧内分析与处理，不涉及编码端的其他帧，严格遵循分布式视频编码“独立编码”的要求。由于LDPC解码的误码率受相关噪声模型准确度的影响，本发明能弥补相关噪声模型的不准确而造成的编码效率的下降，对于有信道噪声存在的情况也有一定的实际意义。

本发明解决其技术问题所采用的技术方案是：本发明提出了一种基于图像融合和边缘Hash的子块修复方法，其具体步骤包括如下：

步骤1：在编码端提取WZ帧子块的边缘Hash信息，根据边缘Hash信息把子块分成垂直边缘子块、水平边缘子块和其它子块三类；

步骤2：把边缘Hash信息编码传送到解码端，采用游程长度编码和直接编码相结合的方法：用游程编码表示这类子块的位置信息，用1比特“0”表示垂直边缘子块，用1比特“1”表示水平边缘子块；

步骤3：在解码端提取重建WZ帧子块的边缘Hash信息，根据边缘Hash信息把子块分成垂直边缘子块、水平边缘子块和其它子块三类；

步骤4：在解码端判断重建WZ帧子块中LDPC解码出错的子块，对需要修复的子块定位。定位的流程如图3，把原始WZ帧边缘信息与重建WZ帧编码的边缘Hash信息相比较，如果两者一致，则说明LDPC解码无误，重建子块无需修复；如果两者不一致，则说明LDPC解码有误，需要对重建子块进行修复；

步骤5：对解码出错的子块进行定位后需要对有误的子块进行修复，子块修复借助于重建WZ帧子块和边信息帧子块的融合来完成。子块融合修复的机理主要从两方面考虑，首先一旦LDPC解码有误，则此误差会给DCT系数带来很大偏差，而且一般会大于边信息帧子块的误差；其次，LDPC解码的误差在误码率的限制下不会很多，这里假设一个子块中只有一个DCT系数因为LDPC解码而产生误差。具体按下述步骤执行：

步骤5-1：求出重建WZ帧子块和边信息帧子块DCT系数残差的绝对值。分别用T_x'和T_y表示重建子块的和边信息帧子块的DCT系数矩阵，用Res表示重建子块和边信息帧子块DCT系数残差的绝对值矩阵，即

Res＝|T_x'-T_y| (2)

步骤5-2：求出残差矩阵Res中的最大值max_Res，

max_Res＝argmax{Res} (3)

如果满足

max_Res＞2*Δ_b (4)

则认为此处的DCT系数就是有LDPC解码误差的，求出max_Res的行坐标和列坐标

(u,v)。式(4)中Δ_b是b子带系数的量化步长；

步骤5-3：重建子块T_x'中(u,v)处的系数用边信息帧子块T_y相应位置处的值替代，

T_x'(u,v)＝T_y(u,v) (5)

这样就修复了重建子块中有LDPC解码误差的DCT子块系数。

显然修复的结果受到边信息帧子块(u,v)处系数的准确度的影响，由于LDPC编解码的对象是量化索引，如果解码有误，则量化索引的二进制表达的1比特错误就会引起至少一个步长的偏差，而边信息帧的误差多是由细节的丢失造成的图像模糊，所以一般情况下，边信息帧的误差不会大于LDPC解码的误差，也就是说，该方法能提高重建子块的质量。

有益效果：

1、本发明可以弥补相关噪声模型不准确而造成的编码效率下降的问题。

2、本发明提高了重建子块的质量。

附图说明

图1是TDWZ分布式视频编码器框图。

图2是LDPC解码重建示意图。

图3是基于边缘Hash的有误子块判断流程图。

具体实施方式

如图1所示，TDWZ分布式视频编码器框图对视频序列进行编码，本发明提出了一种基于图像融合和边缘Hash的子块修复方法，针对WZ帧子块中由于LDPC模块的误码率产生的误差，借助编码器提供的WZ帧子块边缘Hash信息，利用边信息帧和WZ帧重建帧的信息融合进行修复，具体按下述步骤实施：

第一步：在编码端提取WZ帧子块的边缘Hash信息，根据边缘Hash信息把子块分成垂直边缘子块、水平边缘子块和其它子块三类；

第二步：把边缘Hash信息编码传送到解码端，采用游程长度编码和直接编码相结合的方法：用游程编码表示这类子块的位置信息，用1比特“0”表示垂直边缘子块，用1比特“1”表示水平边缘子块；

第三步：在解码端提取重建WZ帧子块的边缘Hash信息，根据边缘Hash信息把子块分成垂直边缘子块、水平边缘子块和其它子块三类；

第四步：在解码端判断重建WZ帧子块中LDPC解码出错的子块，对需要修复的子块定位。定位的流程如图3，把原始WZ帧边缘信息与重建WZ帧编码的边缘Hash信息相比较，如果两者一致，则说明LDPC解码无误，重建子块无需修复；如果两者不一致，则说明LDPC解码有误，需要对重建子块进行修复；

第五步：对解码出错的子块进行定位后需要对有误的子块进行修复，子块修复借助于重建WZ帧子块和边信息帧子块的融合来完成。子块融合修复的机理主要从两方面考虑，首先一旦LDPC解码有误，则此误差会给DCT系数带来很大偏差，而且一般会大于边信息帧子块的误差；其次，LDPC解码的误差在误码率的限制下不会很多，这里假设一个子块中只有一个DCT系数因为LDPC解码而产生误差。具体按下述步骤执行：

1)求出重建WZ帧子块和边信息帧子块DCT系数残差的绝对值。分别用T_x'和T_y表示重建子块的和边信息帧子块的DCT系数矩阵，用Res表示重建子块和边信息帧子块DCT系数残差的绝对值矩阵，即

Res＝|T_x'-T_y| (2)

2)求出残差矩阵Res中的最大值max_Res，

max_Res＝argmax{Res} (3)

如果满足

max_Res＞2*Δ_b (4)

则认为此处的DCT系数就是有LDPC解码误差的，求出max_Res的行坐标和列坐标(u,v)。式(4)中Δ_b是b子带系数的量化步长；

3)重建子块T_x'中(u,v)处的系数用边信息帧子块T_y相应位置处的值替代，

T_x'(u,v)＝T_y(u,v) (5)

这样就修复了重建子块中有LDPC解码误差的DCT子块系数。

显然修复的结果受到边信息帧子块(u,v)处系数的准确度的影响，由于LDPC编解码的对象是量化索引，如果解码有误，则量化索引的二进制表达的1比特错误就会引起至少一个步长的偏差，而边信息帧的误差多是由细节的丢失造成的图像模糊，所以一般情况下，边信息帧的误差不会大于LDPC解码的误差，也就是说，该方法能提高重建子块的质量。

Claims (2)

1.一种基于图像融合和边缘Hash的子块修复方法，其特征在于，包括如下步骤：

步骤1：在编码端提取WZ帧子块的边缘Hash信息，根据边缘Hash信息把子块分成垂直边缘子块、水平边缘子块和其它子块三类；

步骤2：把边缘Hash信息编码传送到解码端，采用游程长度编码和直接编码相结合的方法：用游程编码表示这类子块的位置信息，用1比特“0”表示垂直边缘子块，用1比特“1”表示水平边缘子块；

步骤3：在解码端提取重建WZ帧子块的边缘Hash信息，根据边缘Hash信息把子块分成垂直边缘子块、水平边缘子块和其它子块三类；

步骤4：在解码端判断重建WZ帧子块中LDPC解码出错的子块，对需要修复的子块定位；

步骤5：对解码出错的子块进行定位后需要对有误的子块进行修复，子块修复借助于重建WZ帧子块和边信息帧子块的融合来完成。

2.根据权利要求1所述的一种基于图像融合和边缘Hash的子块修复方法，其特征在于，上述步骤5包括如下步骤：

步骤5-1：求出重建WZ帧子块和边信息帧子块DCT系数残差的绝对值，分别用T_x'和T_y表示重建子块的和边信息帧子块的DCT系数矩阵，用Res表示重建子块和边信息帧子块DCT系数残差的绝对值矩阵，即

Res＝|T_x'-T_y| (2)

步骤5-2：求出残差矩阵Res中的最大值max_Res，

max_Res＝argmax{Res} (3)

如果满足

max_Res＞2*Δ_b(4)

则认为此处的DCT系数就是有LDPC解码误差的，求出max_Res的行坐标和列坐标(u,v)，式(4)中Δ_b是b子带系数的量化步长；

步骤5-3：重建子块T_x'中(u,v)处的系数用边信息帧子块T_y相应位置处的值替代，

T_x'(u,v)＝T_y(u,v) (5)

这样就修复了重建子块中有LDPC解码误差的DCT子块系数。