CN101448077B - 一种自适应视频图像3d降噪方法 - Google Patents

Abstract

本发明公开了一种自适应视频图像3D降噪方法，在本发明中，实时跟踪视频序列的噪声标准差变化，通过下采样后再进行运动估计，不仅减小了噪声的影响，而且大大减小了计算量且能准确确定匹配宏块的运动强度，对当前宏块自适应地选择时域滤波或空域滤波；在空域滤波中采用双边滤波，能较好地保留运动强度较大的视频内容细节；采用了前后两帧作为参考帧，对“显露”和“遮挡”效应有较好的克服作用。整体方法计算量较小、稳定性好，能够有效地提高数字视频序列的信噪比和主观视觉质量，非常适合实时数字视频序列降噪。

Description

一种自适应视频图像3D降噪方法

技术领域

本发明涉及视频处理技术领域，具体来讲，涉及一种适用于数字视频图像处理、数字视频图像传输、数字视频图像显示等方面的自适应视频图像3D降噪方法。

背景技术

近年来，数字视频的应用表现出迅猛的发展趋势，比如：当今的电视会议就是视频处理能力提高的直接结果，利用数字视频，压缩算法能够比利用模拟视频获得更高的压缩比。数字视频的采集与传输、数字视频的显示等是视频应用系统的主要功能，在这些过程中不可避免地会引入各种噪声，噪声来源主要包括：摄像机的成像过程，成像电路，传输信道，终端显示电路。噪声的存在，不但严重影响了视频的主观视觉质量，而且会因增加图像序列的信息熵而导致数字视频压缩编码效率的严重降低。因此，伴随着数字视频日益广泛的应用，就迫切需要有滤除数字视频噪声能力强的降嗓算法。

数字视频中的噪声，在帧间的特点是不具有相关性、在每一帧内总是随机出现的，在帧内的特点是近似均匀分布的。因此，这些噪声通常可以被认为是近似白色的高斯分布以及与视频信号无关的噪声。在视频滤波研究中广泛应用加性高斯白噪声模型作为视频降质模型，进而数字视频滤波研究的目的就是：设计某种算法，使得处理后的视频序列观测值尽可能地接近原始视频序列。

现有数字视频降噪算法的基本原理包括空时滤波和时域滤波：前者利用当前像素在前若干帧中有限大小的空间邻域内所有像素间的相关性，形成一个3D降噪滤波器；后者只利用了视频序列在时间维上的相关性进行1D滤波。为克服运动带来的时域非平稳特性，这两种滤波方法还可分为运动补偿方法和运动自适应的滤波方法：运动补偿的降噪方法利用运动估计和运动补偿过程，找到当前像素在前一帧中的对应像素，通过维持时间维的平稳性以保证滤波效率；运动自适应的滤波方法则直接沿时间轴进行滤波，但采用某种自适应机制抵制由运动引起的时域非平稳。

现行的很多专利方法中：采用空时滤波方法时，在降噪的同时不可避免地引入各帧细节的模糊或产生块效应、降低了视频的主观视觉质量，且像素估计值要求处理3D邻域，计算量过大、不适合实时视频系统；以FIR滤波形式出现的运动补偿时域滤波方法，会由于较大的计算量和需要较大内存而不适合实时视频系统；递归滤波方法在计算量和内存方面都具有明显优势，适合实时视频系统，比如卡尔曼滤波方法，但该方法需要采用运动补偿来维持时域平稳性假设，而现实中基于块的运动补偿不能真实反映视频内容的非刚体运动，且基于块的运动估计和运动补偿算法速度较慢，若产生块效应就会在递归运算中不断被累积放大下去，最终降低卡尔曼滤波的性能。

通过上述分析，可以看出：如何充分利用视频序列空间相关性和时间维上的相关性，如何抑制空时域非平稳性，如何提高基于块的运动估计和运动补偿速度和降噪效果，如何克服运动补偿中由于运动带来的“遮挡”与“显露”效应，以提高滤波效率，就成为数字视频滤波的核心内容。

发明内容

本发明的目的在于克服现有视频图像3D降噪方法的不足，提供一种自适应视频图像3D降噪方法。

为达到上述发明目的，本发明的自适应视频图像3D降噪方法，包括以下步骤：

(1)、在输入视频序列中，提取出当前帧、前一帧以及后一帧，

(2)、当前帧划分成多个宏块、将当前帧中的一个宏块作为当前宏块，并分别以前一帧和后一帧作为参考帧对当前宏块进行匹配块搜索，在前一帧中得到前向匹配块，在后一帧中得到后向匹配块；

(3)、对当前帧进行实时噪声标准差估计，得到噪声标准差，并根据噪声标准差确定出自适应滤波阈值；

(4)、根据自适应滤波阈值，对前向匹配块进行运动强度判断，若前向匹配块运动强度较小，则对当前宏块进行时域滤波，若前向匹配块运动强度较大，则对当前宏块在帧内进行双边空域滤波；

(5)、根据自适应滤波阈值，对后向匹配块进行运动强度判断，若后向匹配块运动强度较小，则对当前宏块进行时域滤波，若后向匹配块运动强度较大，则对当前宏块在帧内进行双边空域滤波；

(6)、将步骤(4)、(5)对当前宏块进行滤波的结果，加权平均，得到当前宏块的自适应3D降噪结果；

(7)、依次对步骤(1)划分出的宏块进行步骤(2)～(6)的处理，得到当前帧的自适应3D降噪结果。

在本发明中，实时跟踪视频序列的噪声标准差变化，准确确定匹配宏块的运动强度，对当前宏块自适应地选择时域滤波或空域滤波；在空域滤波中采用的是双边滤波，能较好地保留运动强度较大的视频内容细节；采用了前后两帧作为参考帧，对“显露”和“遮挡”效应有较好的克服作用。整体方法计算量较小、稳定性好，能够有效地提高数字视频序列的信噪比和主观视觉质量，非常适合实时数字视频序列降噪。

附图说明

图1是自适应视频图像3D降噪方法的一种具体实施方式流程图；

图2是图1所示下采样预处理示意图；

图3是图1所示双向运动估计、匹配块搜索原理图；

图4是图1所示双向运动估计示意图；

图5是图1所示当前块和前向匹配块时域滤波示意图；

图6是图1所示当前块和后向匹配块时域滤波示意图。

具体实施方式

为更好地理解本发明，下面结合具体实施方式及附图对本发明进行更为详细描述。在以下的描述中，当已有的现有技术的详细描述也许会淡化本发明的主题内容时，这些描述在这儿将被忽略。

图1是自适应视频图像3D降噪方法的一种具体实施方式流程图。

在本实施例中，首先，对输入视频序列中的当前帧f_k、前一帧f_k-1、后一帧f_k+1分别进行下采样预处理，并将下采样后的当前帧g_k划分为等大小的宏块；然后，下采样后的当前帧g_k中划分好的宏块，分别以下采样后的前一帧g_k-1和后一帧g_k+1作为参考帧，进行双向运动估计、搜索其匹配块；

接下来，根据搜索到的匹配块，进行上采样(upsample)恢复出下采样前的实际图像尺寸，确定出当前宏块的前一帧f_k-1、后一帧f_k+1中的前后向匹配块，并根据自适应滤波器阈值T，对两个前后向匹配块进行运动强度判断，若前后匹配块运动强度不大、则与当前宏块进行时域滤波，若前后匹配块运动强度较大、则只对当前实际宏块进行双边空域滤波；最后，对当前实际宏块的前后两次滤波处理结果加权平均，得到最终输出。

下面按步骤，对本实施例作进一步详细说明：

步骤ST1：在输入视频序列中，提取出当前帧f_k、前一帧f_k-1以及后一帧f_k+1

步骤ST21：输入视频序列下采样预处理

提取输入视频序列的当前帧f_k、前一帧f_k-1、后一帧f_k+1，对这连续三帧分别下采样，并将下采样后的当前帧g_k划分成p×p像素大小的宏块B_s。

现以当前帧f_k为例说明下采样过程，如图2所示：在待下采样的m行×n列帧f_k中，利用水平和垂直方向上相邻的每两个点得到一个点，也就是用帧f_k平面上相邻四个像素点的算术平均作为新的像素点，得到下采样后的当前帧g_k，其为：

的视频帧，像素值为：

$g_k(i,j)=\frac{1}{4}(f_k(i,j)+f_k(i,j+1)+f_k(i+1,j)+f_k(i+1,j+1))---\left(1\right)$

其中f_k(i，j)指待下采样帧在(i，j)处的像素值，g_k(i，j)指下采样后的帧在(i，j)处的像素值。

这种下采样的方法，不但减少了在参考帧中搜索匹配块的运算量，更好地利用了图像的结构和纹理信息，使得找出的匹配块更准确，同时也在一定程度上达到了降噪的效果。从图2可以看出，在下采样后的参考帧中搜索匹配块，在相同搜索算法下搜索范围运算量变成了原来参考帧的1/4，或者说在相同的搜索步骤中，等效的搜索范围增大了4倍，这样就相对提高了搜索速度、减少了搜索计算量。另外，在帧平面中的垂直和水平方向上每两个点得到一个点，也就是用四个点的均值得到一个采样点，相当于对原始帧进行了一次低通滤波，在一定程度上平滑了噪声、抑制了噪声对搜索匹配块的影响。

步骤ST22：双向运动估计、匹配块搜索

下采样后的当前帧g_k划分成p×p像素大小的宏块，对其中的一个宏块作为下采样后的当前帧g_k的当前宏块B_s；

如图3所示，将宏块B_s分别以下采样后的前一帧g_k-1和后一帧g_k+1作为参考帧，通过四步法进行双向匹配块搜索，得到前向、后向p×p像素大小的下采样后的两个匹配块B_sf和B_sb，见图4。

运动估计采用的是四步搜索法，将经典的三步法中增加一步，其第一步搜索步长变为8个像素，后面三步与传统三步法一样，使得在参考帧中搜索的范围更大。

块匹配原则采样目前比较常用的SAD(绝对差和)准则，见式(2)、式(3)：

${\mathrm{SAD}}_f=\underset{i=0}{\overset{p-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{p-1}{\mathrm{\Σ}}}|g_k(i,j)-g_{k-1}(i,j)|---\left(2\right)$

${\mathrm{SAD}}_b=\underset{i=0}{\overset{p-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{p-1}{\mathrm{\Σ}}}|g_k(i,j)-g_{k+1}(i,j)|---\left(3\right)$

其中，g_k(i，j)表示当前p×p像素大小的宏块B_s中对应位置像素的像素值，g_k-1(i，j)表示前一帧g_k-1中对应p×p像素大小的宏块中像素的像素值，g_k+1(i，j)表示后一帧g_k+1中对应p×p像素大小的宏块中像素的像素值。通过前向运动估计得到下采样后的前一帧中的前向匹配块B_sf，通过后向运动估计得到下采样后的后一帧中的后向匹配块B_sb。

步骤ST23：上采样，确定当前帧的当前宏块以及前一帧和后一帧中的匹配块

在下采样后的当前帧g_k中，通过上采样，将p×p像素大小的宏块B_s恢复，得到在当前帧f_k中与之对应的2p×2p像素大小的当前宏块B_f。

在下采样后的前一帧g_k-1、后一帧g_k+1中，分别将匹配块B_sf和B_sb，通过上采样进行恢复，分别得到对前一帧f_k-1和后一帧f_k+1中与之对应的2p×2p像素大小前向匹配块B_ff和后向匹配块B_fb。

步骤ST3：噪声标准差计算

将当前帧f_k划分成若干个互不重叠的M×M像素大小的宏块，按照以下公式计算每个块的噪声方差：

${\mathrm{\δ}}^2=\frac{1}{M\×M}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{M-1}{\mathrm{\Σ}}}{(f_k(i,j)-{\stackrel{\‾}{f}}_k(i,j))}^2---\left(4\right)$

其中， ${\stackrel{\‾}{f}}_k(i,j)=\frac{1}{M\×M}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{M-1}{\mathrm{\Σ}}}{f}_k(i,j).$

取其中噪声方差值最小的作为当前帧f_k的噪声方差，然后开方得到噪声标准差δ，根据噪声标准差确定出自适应滤波阈值T。

在本实施例中，自适应滤波阈值T＝1.4×δ。

在本实施例中，M等于2p，即噪声标准差计算的宏块与用于搜索匹配块的当前宏块是一样大的。

步骤ST4：前向匹配块运动强度判断，并滤波

在步骤ST21～23中，得到当前帧f_k中的2p×2p像素大小的当前宏块B_f，以及B_f在前一帧f_k-1中的2p×2p像素大小匹配块B_ff；根据最小平均绝对差值函数MAD准则，求出前向匹配块B_ff的MAD值：

${\mathrm{MAD}}_f=\frac{1}{2p\×2p}\underset{i=0}{\overset{2p-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{2p-1}{\mathrm{\Σ}}}|f_k(i,j)-f_{k-1}(i,j)|---\left(5\right)$

其中，f_k(i，j)表示当前帧f_k中大小为2p×2p的当前宏块B_f中对应位置像素的像素值，f_k-1(i，j)表示前一帧f_k-1中大小为2p×2p的前向匹配块B_ff中对应位置像素的像素值。

通过步骤ST3中得到的噪声标准差δ，求得的阈值T；然后比较前向匹配块B_ff的MAD值与阈值T；若其MAD值小于阈值T，则认为该前向匹配块B_ff运动强度较小；若其MAD值大于阈值T，则认为该前向匹配块B_ff运动强度较大。

时域滤波

若前向匹配块B_ff运动强度较小，则前向匹配块B_ff与当前宏块B_f进行1D时域滤波，得到当前宏块B_f同前一帧中的前向匹配块B_ff时域滤波输出f_f(i，j)：

f_f(i，j)＝k₁×f_k(i，j)+(1-k₁)×f_k-1(i，j)

其中，f_k(i，j)表示当前帧的实际宏块B_f中(i，j)处像素值，f_k-1(i，j)表示前一帧中与当前帧的当前宏块B_f匹配的前向匹配块B_ff在(i，j)处的像素值，k₁表示当前帧和前一帧进行时域滤波时当前帧像素的滤波系数，见图5当前宏块B_f同前一帧中的前向匹配块B_ff时域滤波的示意图

空域滤波

若前向匹配块B_ff运动强度较大，则对当前宏块B_f进行2D双边空域滤波，用以下公式对当前帧宏块B_f中像素逐一运算、得到当前帧中宏块B_f中对应像素的2D空域滤波输出f_s(i，j)：

$f_s(i,j)=e^{\frac{-{(f(i,j)-f(m,n))}^2}{2\×{\mathrm{\δ}}^2}}\×e^{-\frac{({(m-i)}^2+{(n-j)}^2)}{2\×d^2}}---\left(6\right)$

其中，f(i，j)-f(m，n)计算的是当前像素值和它5×5像素邻域内的某个像素值的差，(m-i)²+(n-j)²计算的是当前像素和邻域像素的距离。d是用来滤波的邻域的大小，因为采用的是5×5像素的邻域，则d＝5。δ是步骤ST3得出的噪声标准差。(i，j)代表当前像素的坐标，(m，n)代表其邻域像素的坐标。

步骤ST5：后向匹配块运动强度判断，并滤波

本步骤同步骤ST4基本相同，在步骤ST21～23中，得到当前帧f_k中的2p×2p像素大小的当前宏块B_f，以及B_f在后一帧f_k+1中的2p×2p像素大小匹配块B_fb；根据最小平均绝对差值函数MAD准则，求出后向匹配块B_fb的MAD值：

${\mathrm{MAD}}_b=\frac{1}{2p\×2p}\underset{i=0}{\overset{2p-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{2p-1}{\mathrm{\Σ}}}|f_k(i,j)-f_{k+1}(i,j)|---\left(7\right)$

其中，f_k(i，j)表示当前帧f_k中大小为2p×2p的当前宏块B_f中对应位置像素的像素值，f_k+1(i，j)表示后一帧f_k+1中大小为2p×2p的后向匹配块B_fb中对应位置像素的像素值。

通过步骤ST3中得到的噪声标准差δ，求得的阈值T；然后比较后向匹配块B_fb的MAD值与阈值T；若其MAD值小于阈值T，则认为该后向匹配块B_fb运动强度较小；若其MAD值大于阈值T，则认为该后向匹配块B_fb运动强度较大。

时域滤波

若后向匹配块B_fb运动强度较小，则后向匹配块B_fb与当前宏块B_f进行1D时域滤波，得到当前宏块B_f同后一帧中的后向匹配块B_fb时域滤波输出f_b(i，j)：

f_b(i，j)＝k₂×f_k(i，j)+(1-k₂)×f_k+1(i，j)

其中，f_k(i，j)表示当前帧的实际宏块B_f中(i，j)处像素值，f_k+1(i，j)表示前一帧中与当前帧的当前宏块B_f匹配的前向匹配块B_fb在(i，j)处的像素值，k₂表示当前帧和后一帧进行时域滤波时当前帧像素的滤波系数。见图6当前宏块B_f同前一帧中的后向匹配块B_fb时域滤波的示意图

空域滤波

若前向匹配块B_ff运动强度较大，则对当前宏块B_f进行2D双边空域滤波，用以下公式对当前帧宏块B_f中像素逐一运算、得到当前帧中宏块B_f中对应像素的2D空域滤波输出f_s(i，j)：

$f_s(i,j)=e^{\frac{-{(f(i,j)-f(m,n))}^2}{2\×{\mathrm{\δ}}^2}}\×e^{-\frac{({(m-i)}^2+{(n-j)}^2)}{2\×d^2}}---\left(8\right)$

其中，f(i，j)-f(m，n)计算的是当前像素值和它5×5像素邻域内的某个像素值的差，(m-i)²+(n-j)²计算的是当前像素和邻域像素的距离。d是用来滤波的邻域的大小，因为采用的是5×5像素的邻域，则d＝5。δ是步骤ST3得出的噪声标准差。(i，j)代表当前像素的坐标，(m，n)代表其邻域像素的坐标。

目前，空域滤波已经有了较成熟的理论基础，本算法中采用的方法是考虑了图像亮度信息和空间信息的双边滤波算法，其滤波算子为h(i，j)，这个算子的基本思想是离当前像素越远，与当前像素亮度相差越大，则对当前像素的滤波结果影响越小。该双边滤波算法在滤除噪声的同时能较好的保留图像的细节和边缘。

步骤ST6：加权平均输出

根据步骤ST4、5自适应选择得到利用前后帧f_k-1、f_k+1两次滤波处理结果，然后对这两次处理结果加权平均，得到当前帧f_k的最终输出f_o，在本实施例中，采用以下公式进行计算：

f_o(i，j)＝(f_s(i，j)//f_f(i，j)+f_s(i，j)//f_b(i，j))/²    (9)

其中，f_s(i，j)表示当前帧中(i，j)处像素进行双边空域后的像素值，“//”表示‘或’，即根据前向匹配块B_ff或后向匹配块B_fb运动强度判断的结果在时域滤波和空域滤波之间选择。

步骤ST7：当前帧降噪输出

依次对步骤(2)划分出的宏块进行步骤(2)～(6)的处理，得到当前帧的自适应3D降噪结果。

尽管上面对本发明说明性的具体实施方式进行了描述，但应当清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (6)

1.一种自适应视频图像3D降噪方法，其特征在于，包括以下步骤：

(1)、在输入视频序列中，提取出当前帧、前一帧以及后一帧，

(2)、当前帧划分成多个宏块、将当前帧中的一个宏块作为当前宏块，并分别以前一帧和后一帧作为参考帧对当前宏块进行匹配块搜索，在前一帧中得到前向匹配块，在后一帧中得到后向匹配块；

(3)、对当前帧进行实时噪声标准差估计，得到噪声标准差，并根据噪声标准差确定出自适应滤波阈值；

(4)、比较前向匹配块的MAD值与自适应滤波阈值，若前向匹配块MAD值小于自适应滤波阈值，则认为前向匹配块运动强度较小，对当前宏块进行时域滤波；若前向匹配块MAD值大于自适应滤波阈值，则认为前向匹配块运动强度较大，对当前宏块在帧内进行双边空域滤波；

(5)、比较后向匹配块的MAD值与自适应滤波阈值，若后向匹配块MAD值小于自适应滤波阈值，则认为后向匹配块运动强度较小，对当前宏块进行时域滤波；若后向匹配块MAD值大于自适应滤波阈值，则认为后向匹配块运动强度较大，对当前宏块在帧内进行双边空域滤波；

(6)、将步骤(4)、(5)对当前宏块进行滤波的结果，加权平均，得到当前宏块的自适应3D降噪结果；

(7)、依次对步骤(2)划分出的宏块进行步骤(2)～(6)的处理，得到当前帧的自适应3D降噪结果。

2.根据权利要求1所述的自适应视频图像3D降噪方法，其特征在于，在进行步骤(2)时，首先对所述的当前帧、前一帧、后一帧进行下采样处理；

然后再将下采样后的当前帧划分成多个宏块，将其中的一个宏块作为当前宏块，并分别以下采样后的前一帧和后一帧作为参考帧对当前宏块进行匹配块搜索，在下采样后的前一帧中得到前向匹配块，在下采样后的后一帧中得到后向匹配块；

最后，将下采样后的当前帧中的当前宏块、下采样后的前一帧中的前向匹配块以及下采样后的后一帧中后向匹配块进行上采样，得到当前帧、前一帧以及后一帧中与之对应的当前宏块、前向匹配块以及后向匹配块。

3.根据权利要求2所述的自适应视频图像3D降噪方法，其特征在于，所述的采样处理为：

在待下采样图像帧中，利用水平和垂直方向上相邻的每两个点得到一个点算术平均作为新的像素点，得到下采样后的图像帧。

4.根据权利要求1所述的自适应视频图像3D降噪方法，其特征在于，步骤(3)中所述噪声标准差估计的步骤是：将当前帧划分成M×M大小的宏块，分别计算其噪声方差，求得的噪声方差中的最小值作为该帧的噪声方差，然后开方就得到该帧噪声标准差δ：

${\mathrm{\δ}}^2=\frac{1}{M\×M}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{M-1}{\mathrm{\Σ}}}{(f_k(i,j)-{\stackrel{\‾}{f}}_k(i,j))}^2$

其中，

f_k(i，j)为当前帧中M×M大小的宏块在(i，j)处的像素值。

5.根据权利要求4所述的自适应视频图像3D降噪方法，其特征在于，所述的自适应滤波阈值T＝1.4×δ。

6.根据权利要求4所述的自适应视频图像3D降噪方法，其特征在于，步骤(4)中所述的前向匹配块的MAD值为：

${\mathrm{MAD}}_f=\frac{1}{2p\×2p}\underset{i=0}{\overset{2p-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{2p-1}{\mathrm{\Σ}}}|f_k(i,j)-f_{k-1}(i,j)|$

其中，MAD_f表示前向匹配块的MAD值，f_k(i，j)表示当前帧f_k中大小为2p×2p的当前宏块中对应位置像素的像素值，f_k-1(i，j)表示前一帧f_k-1中大小为2p×2p的前向匹配块中对应位置像素的像素值。

Images