CN101567964B - 一种低码率视频应用中的预处理降噪去块效应方法 - Google Patents

Abstract

本发明公开了一种低码率视频应用中的预处理降噪去块效应方法，包括采用矩阵得特征值进行梯度分析，用梯度分析模块，进行边缘检测，然后对与原始图像相对应的梯度映射图进行腐蚀操作以消除因孤立噪声而产生的梯度点，进行膨胀操作将梯度点对应的边缘连接起来；采用运动检测模块做运动检测以估计图像的运动区域；采用滤波强度判决模块，根据码率、梯度和运动特性选择适当强度的双边滤波器进行滤波，双边滤波器的两个参数为灰度差信息和距离信息。本发明方法不仅去噪，滤除不重要的细节以便于高效压缩，避免块效应的产生，同时也可起到一定程度的码率控制效果。

Description

一种低码率视频应用中的预处理降噪去块效应方法

技术领域：

本发明涉及一种低码率视频应用中的预处理去块效应方法。

背景技术：

输入压缩编码系统的源图像含的噪声，不但影响图像的主客观质量、编码时运动搜索的准确性，还会导致DCT高频系数增大而降低编码效率等。而基于无运动补偿的滤波方案，将导致视频的运动区域产生时域扭曲。此外，因基于块的视频编码的低码率应用中当相邻块量化步长相差较大时，重构图像不可避免地出现方块效应、飞蚊噪声(环效应)和基图像贯穿效应等扭曲现象，严重影响了重构图像的视觉效果(尤其是块效应)。且当编码器用这种带有严重扭曲现象的重构帧做后续帧的参考帧时，扭曲的参考帧不但会影响运动估计的准确性，同时还加大了运动补偿残差信息的数据量，从而导致编码压缩效率严重下降。无论是H.263的去块效应环滤波器还是MPEG-4附录F中介绍的后处理去块滤波方法等，不但受限于相应视频编码标准(即编码标准中没有制定的算法就不能使用)，且不能同时达到降噪和去块效应的目的。

发明内容：

本发明的目的在于提供一种独立于编码标准，复杂度低，具有降噪和去块效应且与目标码率自适应的低码率视频应用中的预处理降噪去块效应方法。

本发明的技术解决方案是：

一种低码率视频应用中的预处理降噪去块效应方法，其特征是：包括下列步骤：

(1)采用矩阵得特征值进行梯度分析，用梯度分析模块，进行边缘检测，然后对与原始图像相对应的梯度映射图进行腐蚀操作以消除因孤立噪声而产生的梯度点，进行膨胀操作将梯度点对应的边缘连接起来；

(2)采用运动检测模块做运动检测以估计图像的运动区域；

(3)采用滤波强度判决模块，根据码率、梯度和运动特性选择适当强度的双边滤波器进行滤波，双边滤波器的两个参数为灰度差信息和距离信息。

具体各模块的作用为：

(1)梯度分析模块

本模块主要进行图像帧的纹理分析，操作对象为4×4块，主要目的是为了获得每个4×4块的梯度信息。梯度分析采用了3×3窗口的Sobel算子，求出当前点的X方向的梯度P_X和Y方向的梯度P_Y，图像的边界不做处理。每4×4块的梯度用如下矩阵A的最大特征值来表示，因为大量实验发现4×4块的纹理复杂程度与此特征值成正比。

梯度分析采用了3×3窗口的Sobel算子，求出当前点的X方向的梯度P_X和Y方向的梯度P_Y，图像的边界不做处理。每4×4块的梯度用如下矩阵A的最大特征值来表示，因为大量实验发现4×4块的纹理复杂程度与此特征值成正比。

$A=\left[\begin{array}{cc}{J}_{11}& J_{12}\\ J_{21}& J_{22}\end{array}\right]$

J₁₁表示每个4×4块16个象素点X方向的梯度P_X的平方和；J₂₂表示该块各象素点Y方向的梯度P_Y的平方和；J₁₂＝J₂₁表示该块各象素点X方向梯度和Y方向梯度的乘积P_X×P_Y的和。定义4×4块的梯度标志M_A为：

$M_A=\left|\frac{J_{11}+J_{22}+{(J_{11}-J_{22})}^2+4J_{12}{J}_{21}}{T_h}\right|$

其中T_h约为2¹²为实验得到的门限值，其大小也可自适应调节。矩阵A的最大特征值大于等于T_h时，将此4×4块的梯度标志M_A设为1，认为其是有纹理块；否则设为0，认为其是无纹理块。

孤立噪声点的梯度标志是假梯度必须去除，采用的方法是对图像帧的梯度映射图进行腐蚀操作。即对当前帧每4×4块采用3×3窗口搜索其周围的八个像素块，若当前块有梯度而周围的块都没有梯度，则认为是噪声梯度而将当前块的梯度设为“0”使其无梯度。为了保持边缘的连续性，对图像帧的梯度映射图进行两次膨胀操作。即对当前帧每4×4块采用3×3窗口搜索其周围的八个像素块，若当前块无梯度，而周围的块只要有一个有梯度，则将当前块的梯度设为“1”，使其有梯度。腐蚀和膨胀对图像边界不做处理。

(2)运动检测模块

如果某4×4块为运动块，它将被弱滤波以尽量保持我们感兴趣的重要信息。否则，它将被强滤波。其理论基础是人眼对运动图像比静止图像更感兴趣。运动检测模块判断当前帧每个4×4像素块是否运动，其结果将被输入至滤波强度判决模块用来选择滤波强度。

(3)滤波强度判决模块

双边滤波器设有0至7共8级滤波强度，其中0级最弱7级最强。具体使用哪级强度由滤波强度判决模块决断，主要根据码率、运动信息和纹理信息来决定。具体判断为：静止纹理块的滤波强度初始设置为0，随着时间的推移，如一直不运动，将逐渐增强至7；静止非纹理的滤波强度初始设置为4，随着时间的推移，如一直不运动将逐渐增强至7级，且其增长速度大于静止纹理块；针对活动的就是人眼感兴趣的原则，运动的块不管是否含有纹理其滤波强度被设置为0至1，只要检测到该块活动就立即将其滤波强度设为0，上帧活动而本帧静止则设为1。

当前帧每个象素点的滤波强度按照以上三种情况求出后，再与周围八个象素点加权平均，形成各点新的滤波强度。最后，考虑到前后帧图像质量不能波动太大，若当前点有梯度，则滤波强度F_C按下式修改：

$F_C=\frac{3F_s+{F_s}^{\′}}{4}$

F_s为当前帧该像素点的滤波强度；F_s′为前一帧该像素点的滤波强度。若当前点没有梯度，则滤波强度滤波强度F_C按下式修改：

$F_C=\frac{F_s+{F_s}^{\′}}{2}$

经以上判断和平滑处理，形成了最后的亮度分量各个像素点的滤波强度，保存当前帧的此滤波强度结果。具体滤波前，还需根据本帧的码率情况对所有像素的滤波强度进行整体增强或减弱处理。

(4)双边滤波模块

双边滤波模块设计为高斯低通滤波大器。当前帧中像素点X的灰度权系数Ws_x和距离的权系数Wr_x分别为：

$W_{s_x}=A_s{e}^{(-\frac{{(S_k-S_{k-n})}^2}{2{{\mathrm{\σ}}_s}^2})}$

$W_{r_x}=A_r{e}^{(-\frac{{(R_k-R_{k-n})}^2}{2{{\mathrm{\σ}}_r}^2})}$

(S_k-S_k-n)表示当前点与窗口内某点灰度的差；(R_k-R_k-n)表示当前点与窗口内某点距离的差；A_s、σ_s为决定灰度滤波的滤波强度的参量，A_r、σ_r决定了距离的滤波强度。灰度权系数Ws_x和距离的权系数Wr_x已做成表格，滤波时只需根据滤波强度、灰度差和距离差查表即可。读入像素点X的滤波强度，采用5×5的窗口进行周围像素点的搜索，完成双边滤波，即当前像素点X的灰度值Y′可以按照下式计算：

$Y^{\′}=\frac{\underset{x=0}{\overset{24}{\mathrm{\Σ}}}{\mathrm{Ws}}_x\×{\mathrm{Wr}}_x\×Y_x}{\underset{x=0}{\overset{24}{\mathrm{\Σ}}}{\mathrm{Ws}}_x\×{\mathrm{Wr}}_x}$

U&V双边滤波也同上，只是当前帧每个象素点的U&V分量滤波强度均设为2。

本发明方法独立于编码标准，是根据图像纹理特性，运动情况和码率约束等，在图像的不同区域采用不同强度的自适应双边滤波。这样不仅去噪，滤除不重要的细节以便于高效压缩，避免块效应的产生，同时也可起到一定程度的码率控制效果。

附图说明：

下面结合附图和实施例对本发明作进一步说明。

图1是本发明一个实施例的结构示图。

具体实施方式：

一种低码率视频应用中的预处理降噪去块效应方法，包括下列步骤：

(1)采用矩阵得特征值进行梯度分析，用梯度分析模块，进行边缘检测，然后对与原始图像相对应的梯度映射图进行腐蚀操作以消除因孤立噪声而产生的梯度点，进行膨胀操作将梯度点对应的边缘连接起来；

(2)采用运动检测模块做运动检测以估计图像的运动区域；

(3)采用滤波强度判决模块，根据码率、梯度和运动特性选择适当强度的双边滤波器进行滤波，双边滤波器的两个参数为灰度差信息和距离信息。

具体各模块的作用为：

(1)梯度分析模块1

本模块主要进行图像帧的纹理分析，操作对象为4×4块，主要目的是为了获得每个4×4块的梯度信息。梯度分析采用了3×3窗口的Sobel算子，求出当前点的X方向的梯度P_X和Y方向的梯度P_Y，图像的边界不做处理。每4×4块的梯度用如下矩阵A的最大特征值来表示，因为大量实验发现4×4块的纹理复杂程度与此特征值成正比。

梯度分析采用了3×3窗口的Sobel算子，求出当前点的X方向的梯度P_X和Y方向的梯度P_Y，图像的边界不做处理。每4×4块的梯度用如下矩阵A的最大特征值来表示，因为大量实验发现4×4块的纹理复杂程度与此特征值成正比。

$A=\left[\begin{array}{cc}{J}_{11}& J_{12}\\ J_{21}& J_{22}\end{array}\right]$

J₁₁表示每个4×4块16个象素点X方向的梯度P_X的平方和；J₂₂表示该块各象素点Y方向的梯度P_Y的平方和；J₁₂＝J₂₁表示该块各象素点X方向梯度和Y方向梯度的乘积P_X×P_Y的和。定义4×4块的梯度标志M_A为：

$M_A=\left|\frac{J_{11}+J_{22}+{(J_{11}-J_{22})}^2+4J_{12}{J}_{21}}{T_h}\right|$

其中T_h约为2¹²为实验得到的门限值，其大小也可自适应调节。矩阵A的最大特征值大于等于T_h时，将此4×4块的梯度标志M_A设为1，认为其是有纹理块；否则设为0，认为其是无纹理块。

孤立噪声点的梯度标志是假梯度必须去除，采用的方法是对图像帧的梯度映射图进行腐蚀操作。即对当前帧每4×4块采用3×3窗口搜索其周围的八个像素块，若当前块有梯度而周围的块都没有梯度，则认为是噪声梯度而将当前块的梯度设为“0”使其无梯度。为了保持边缘的连续性，对图像帧的梯度映射图进行两次膨胀操作。即对当前帧每4×4块采用3×3窗口搜索其周围的八个像素块，若当前块无梯度，而周围的块只要有一个有梯度，则将当前块的梯度设为“1”，使其有梯度。腐蚀和膨胀对图像边界不做处理。

(2)运动检测模块2

如果某4×4块为运动块，它将被弱滤波以尽量保持我们感兴趣的重要信息。否则，它将被强滤波。其理论基础是人眼对运动图像比静止图像更感兴趣。运动检测模块判断当前帧每个4×4像素块是否运动，其结果将被输入至滤波强度判决模块用来选择滤波强度。

(3)滤波强度判决模块3

双边滤波器设有0至7共8级滤波强度，其中0级最弱7级最强。具体使用哪级强度由滤波强度判决模块决断，主要根据码率、运动信息和纹理信息来决定。具体判断为：静止纹理块的滤波强度初始设置为0，随着时间的推移，如一直不运动，将逐渐增强至7；静止非纹理的滤波强度初始设置为4，随着时间的推移，如一直不运动将逐渐增强至7级，且其增长速度大于静止纹理块；针对活动的就是人眼感兴趣的原则，运动的块不管是否含有纹理其滤波强度被设置为0至1，只要检测到该块活动就立即将其滤波强度设为0，上帧活动而本帧静止则设为1。

当前帧每个象素点的滤波强度按照以上三种情况求出后，再与周围八个象素点加权平均，形成各点新的滤波强度。最后，考虑到前后帧图像质量不能波动太大，若当前点有梯度，则滤波强度F_C按下式修改：

$F_C=\frac{3F_s+{F_s}^{\′}}{4}$

F_s为当前帧该像素点的滤波强度；F_s′为前一帧该像素点的滤波强度。若当前点没有梯度，则滤波强度滤波强度F_C按下式修改：

$F_C=\frac{F_s+{F_s}^{\′}}{2}$

经以上判断和平滑处理，形成了最后的亮度分量各个像素点的滤波强度，保存当前帧的此滤波强度结果。具体滤波前，还需根据本帧的码率情况对所有像素的滤波强度进行整体增强或减弱处理。

(4)双边滤波模块4

双边滤波模块设计为高斯低通滤波大器。当前帧中像素点X的灰度权系数Ws_x和距离的权系数Wr_x分别为：

$W_{s_x}=A_s{e}^{(-\frac{{(S_k-S_{k-n})}^2}{2{{\mathrm{\σ}}_s}^2})}$

$W_{r_x}=A_r{e}^{(-\frac{{(R_k-R_{k-n})}^2}{2{{\mathrm{\σ}}_r}^2})}$

(S_k-S_k-n)表示当前点与窗口内某点灰度的差；(R_k-R_k-n)表示当前点与窗口内某点距离的差；A_s、σ_s为决定灰度滤波的滤波强度的参量，A_r、σ_r决定了距离的滤波强度。灰度权系数Ws_x和距离的权系数Wr_x已做成表格，滤波时只需根据滤波强度、灰度差和距离差查表即可。读入像素点X的滤波强度，采用5×5的窗口进行周围像素点的搜索，完成双边滤波，即当前像素点X的灰度值Y′可以按照下式计算：

$Y^{\′}=\frac{\underset{x=0}{\overset{24}{\mathrm{\Σ}}}{\mathrm{Ws}}_x\×{\mathrm{Wr}}_x\×Y_x}{\underset{x=0}{\overset{24}{\mathrm{\Σ}}}{\mathrm{Ws}}_x\×{\mathrm{Wr}}_x}$

U&V双边滤波也同上，只是当前帧每个象素点的U&V分量滤波强度均设为2。

图中还有滤波输入5、滤波输出6、编码器7。

Claims (2)

1.一种低码率视频应用中的预处理降噪去块效应方法，其特征是：包括下列步骤：

(1)采用矩阵的特征值进行梯度分析，用梯度分析模块，进行边缘检测，然后对与原始图像相对应的梯度映射图进行腐蚀操作以消除因孤立噪声而产生的梯度点，进行膨胀操作将梯度点对应的边缘连接起来；

(2)采用运动检测模块做运动检测以估计图像的运动区域；

(3)采用滤波强度判决模块，根据码率、梯度和运动特性选择适当强度的双边滤波器进行滤波，双边滤波器的两个参数为灰度差信息和距离信息；

其中梯度分析采用了3×3窗口的Sobel算子，求出当前点的X方向的梯度P_X和Y方向的梯度P_Y，图像的边界不做处理，每4×4块的梯度用如下矩阵A的最大特征值来表示：

J₁₁表示每个4×4块16个象素点X方向的梯度P_X的平方和；J₂₂表示该块各象素点Y方向的梯度P_Y的平方和；J₁₂＝J₂₁表示该块各象素点X方向梯度和Y方向梯度的乘积P_X×P_Y的和，定义4×4块的梯度标志M_A为：

其中T_h为2¹²为实验得到的门限值，矩阵A的最大特征值大于等于T_h时，将此4×4块的梯度标志M_A设为1，认为其是有纹理块；否则设 为0，认为其是无纹理块。

2.根据权利要求1所述的低码率视频应用中的预处理降噪去块效应方法，其特征是：滤波前，还对所有象素的滤波强度进行整体增强或减弱处理。