CN1901620A - 一种基于运动检测和自适应滤波的视频图像降噪方法 - Google Patents

Abstract

本发明公开了一种基于运动检测和自适应滤波的视频图像降噪方法，包括以下步骤：1.根据输入视频图像进行噪声方差估计，并计算自适应滤波的阈值；2.采用基于宏块的运动检测进行运动－背景区域分割；3.在静止区域采用时域卡尔曼滤波进行处理；4.在运动区域采用空域自适应滤波。本发明避免了运动估计和补偿的复杂计算，整个算法具有很低的计算代价。既保证了静止区域的处理效果，又能很大程度上避免空间细节的损坏，保证了运动区域的滤波效果。整体方法计算量小、稳定性好，非常适合实时视频应用。

Description

一种基于运动检测和自适应滤波的视频图像降噪方法

技术领域

本发明属于视频处理领域，主要涉及一种基于运动检测和自适应滤波的视频图像降噪方法，适用于数字视频会议、数字视频监控等应用的前处理步骤。

背景技术

近年来，以音、视频为主的数字多媒体应用日益表现出迅猛的发展趋势，占据了消费电子的主流地位。作为最主要的多媒体服务，数字视频得到了越来越广泛的应用。数字视频的采集与传输等是视频应用系统的主要功能，这些过程不可避免地会引入各种噪声，它们的来源主要包括：摄像机的成像过程，成像系统的电路以及传输的信道。噪声的存在会严重地影响视频的视觉质量和后继的其他处理过程，例如，噪声明显增加了图像序列的熵，因而极大地降低了压缩编码的效率。由于视频应用对降噪(noise reduction)的迫切需求，视频滤波技术的研究具有重要意义，日益得到人们的重视。目前，很多视频产品都将“智能3-D降噪(Intelligent Noise Reduction)”、“自适应降噪(Adaptive Noise Reduction)”作为主要功能之一，典型的如Samsung的“Samsung Tantus HPN6339 63”高清晰度电视中使用的HNIE(HighNatural Image Engine)。很多视频处理芯片也包括视频滤波的功能，典型的如TI的TVP5160数字视频解码芯片。在视频会议、视频监控系统中使用实时采集并处理的图像序列，对视频滤波的需求更加迫切。

加性白噪声(Additive white noise)模型是最常见的视频降质模型，在视频滤波研究中得到了广泛的应用。当S(i，j，k)和Y(i，j，k)分别表示k帧中(i，j)位置处的原始和观测像素值时，该模型如式(1)所示，据此式可知，实际观测的含噪视频信号Y(i，j，k)是由原始视频信号S(i，j，k)叠加上噪声信号v(i，j，k)得到的，而v(i，j，k)为白噪声。

         g(i，j，k)＝f(i，j，k)+v(i，j，k)                                (1)

视频滤波研究的目的是，设计某种滤波器w(i，j，k)，它与观测值Y(i，j，k)的卷积能获取尽可能接近S(i，j，k)的估计视频信号

即，

$\hat{S}(i,j,k)=Y(i,j,k)\⊗w(i,j,k)=\underset{(m,n,l)\∈S_{I,J,K}}{\mathrm{\Σ}}w(m,n,l)Y(i-m,j-n,k-l)~S(i,j,k)---\left(2\right)$

灰度图像的滤波估计利用了图像中存在的空间相关性，而图像中边缘、纹理以及不同区域使得这种相关性随空间位置不同而变化，表现出高度非平稳的特点。视频图像序列中的相关性则同时存在于空间域和时域，不但每一帧中的边缘、纹理等区域使得这种相关性具有空变特点，而且图像序列中的运动也使得各帧间相同空间位置处的相关性随时间改变。如何克服这种空-时域非平稳性、提高滤波效率，一直是视频滤波研究的核心内容。

现有的视频滤波方法的基本原理包括空-时域滤波和时域滤波：前者利用当前像素在前若干帧中有限大小的空间邻域内所有像素间的相关性，形式为一个3-D滤波；而后者只利用了图像序列在时间维上的相关性进行1-D滤波处理^[1]。为克服运动带来的时域非平稳特性，这两种方法还可进一步分为运动补偿方法和运动自适应的滤波方法。运动补偿的降噪方法直接利用运动估计和运动补偿过程找到当前像素在前帧中的对应像素，通过维持时间维的平稳性以保证滤波效率，它实际上是沿着像素在图像序列中的运动轨迹进行滤波；运动自适应的滤波方法则直接沿时间轴进行滤波，但采用某种自适应机制抵消运动引起的时域非平稳性。以美国专利[USP 6061100“Noise reduction for video signals”]^[2]为例：它通过空间滤波和时域滤波来利用空、时域相关性实现降噪目标，通过运动检测(估计)来搜索当前像素在前若干帧的相应像素以维持时域平稳性，并利用自适应空间滤波器实现进一步处理。美国专利[USP 6281942“Spatial and temporal filtering mechanism fordigital motion video signals”]^[3]也是一个典型例子：它先进行自适应空域滤波，而后根据运动程度进行自适应时域滤波，然后进行时域滤波。这些方法反映了视频滤波的基本原理，但采用空-时域滤波的方法在降低噪声的同时不可避免地会引入各帧图像细节的模糊，这种模糊有可能抵消了降噪对图像质量的提高，同时，像素估计值都要求处理3-D邻域，其计算量巨大，这限制了它在实时视频系统中的应用。很多专利方法都是以FIR(FiniteImpulse Filter)滤波形式出现的，而递推(recursive)滤波器在计算量和内存方面都具有明显的优势，更适合用于实时视频系统。一种重要的递归滤波方法是卡尔曼滤波(kalmanfilter)，对于0均值高斯分布的v(n)和w(n)来说，卡尔曼滤波器是所有估计器中MSE意义上最优的估计器，即使v(n)和w(n)不服从高斯分布，卡尔曼滤波也能得到线性估计器中MSE意义的最优估计^[6]。目前已有不少基于卡尔曼滤波的视频滤波方法出现，典型的如3DMCRUKF^[4]、MCROMKF^[5]，此类方法大都采用了运动补偿技术以克服运动的影响。这些方法如3D-RUMF^[2]往往采用3D的信号模型，在迭代计算增益时需要矩阵求逆运算，涉及的计算量非常巨大，不适合实时视频应用。对于实时应用的场合，时域的标量卡尔曼滤波是最合适的。在基于时域卡尔曼滤波的方法中，往往采用运动补偿来维持时域平稳性假设，以更好的发挥卡尔曼滤波的优势，但是，首先，噪声的存在会严重影响运动估计的精度，这使得运动估计前必须加入时域平滑运算；其次，运动补偿的精度对滤波效果也有重要影响，运动补偿一直要求很大的计算量，为提高精度，很多方法使用分数精度的像素插值来进行运动补偿^[1]，这更加剧了计算量；再次，运动补偿方法往往并不能真实反映像素的运动轨迹，比如广泛用于视频滤波的块匹配(Block Match)运动补偿方法只能反映刚体运动，而很多复杂的运动补偿能更真实地反映复杂运动，比如MPEG4包括的网格运动补偿方法，但难以用于视频滤波。不考虑运动的直接时域处理不可避免地混淆了视频图像反映的运动物体和静止背景的像素，极大地降低了卡尔曼滤波的性能。

发明内容

本发明要解决的技术问题在于抑制实时采集视频图像中的噪声，以提高数字视频的视觉质量，并提高后继视频处理步骤的性能，同时降噪方法还应在具有高滤波效率时保持很低的计算代价。

为实现本发明要解决的技术问题，本发明公开了一种基于运动检测和自适应滤波的视频图像降噪方法，包括以下步骤：

步骤一、根据输入视频图像进行噪声方差估计，并计算运动检测阈值Th_t和空域自适应滤波阈值Th_s；

步骤二、采用基于宏块的运动检测进行运动-静止区域分割，并采用均值滤波和宏块的空间约束排除噪声对分割的影响，以保证分割在噪声环境下的稳定性；

步骤三、在静止区域采用时域卡尔曼滤波，以递推滤波方法进行处理；该滤波器具有优异的滤波性能，此时卡尔曼滤波能有效克服光照及微小全局运动的影响，具有很高的滤波效率；

步骤四、在运动区域采用空域自适应滤波，自适应滤波器根据滤波像素和当前像素间差值和距离计算滤波像素对当前像素的影响，极大地降低了空间滤波过程的图像细节的毁坏。

由于本发明采用基于运动检测而不是基于运动补偿的空-时处理方法，避免了运动估计和补偿的复杂计算，整个算法具有很低的计算代价。由于在静止区域使用的卡尔曼滤波器以递推模式实现了MSE最优估计，这保证了静止区域的处理效果；在运动区域采用的空域自适应滤波器在处理噪声的同时，能很大程度上避免空间细节的损坏，保证了运动区域的滤波效果。由于整体方法计算量小、稳定性好，非常适合实时视频应用。

附图说明

图1是本发明的视频图像降噪方法的原理图；

图2是本发明方法中运动检测步骤的流程图。

具体实施方式

针对前述问题，本发明提出一个基于运动检测和卡尔曼滤波的视频滤波方法，其原理如图1所示。本发明方法首先估计噪声的方差，并计算所需的阈值；然后将各帧划分成等大不重叠的宏块；如当前宏块与前帧中相同位置处宏块的差异很小，则判为静止区域，沿时间轴进行时域卡尔曼滤波；若差异很大，则判为运动区域进行空域自适应滤波。具体步骤依次为：

1.噪声方差σ_v ²的估计

先将视频图像的某帧划分为10×10大小的子块，分别计算它们的方差，然后求得这些方差的最小值作为估计的结果。方差的计算如式(3)所示：

${\mathrm{\σ}}_v^2=\frac{1}{10\×10}\underset{i=0}{\overset{9}{\mathrm{\Σ}}}\underset{j=0}{\overset{9}{\mathrm{\Σ}}}{(g(i,j)-\hat{g}(i,j))}^2,$ 其中 $\hat{g}(i,j)=\frac{1}{100}\underset{i=0}{\overset{9}{\mathrm{\Σ}}}\underset{j=0}{\overset{9}{\mathrm{\Σ}}}g(i,j)---\left(3\right)$

其中g(i，j)指(i，j)处子块的像素值。

2.阈值Th_t和Th_s的确定

在上述步骤中，运动检测阈值Th_t用于判断在时域上两个像素之间的差别是由运动造成的还是由噪声造成的；空域自适应滤波阈值Th_s则用来判断空域上两个像素间的差别是由噪声造成的还是由图像边缘或纹理等空间细节造成的。显然，这两个阈值应与噪声的方差成比例，它们的值如式(4)计算。

$\left\{\begin{array}{c}\mathrm{Th}\_t={\left(1.3\right)}^2{\mathrm{\σ}}_v^2\\ \mathrm{Th}\_s={\left(1.8\right)}^2{\mathrm{\σ}}_v^2\end{array}\right.---\left(4\right)$

3.运动区域检测

首先进行运动区域检测，此过程如图2所示。此步骤在本方法中居于核心地位，决定着整个方法的性能。本方法为提高计算效率，将当前输入帧划分成4×4大小的不重叠的宏块。为了降低噪声对运动检测准确性的干扰，本方法计算宏块的均值来判断前、后帧是否有运动出现，这实际上是先进行空间均值滤波后进行判断，区域的运动性质判断则以宏块为单位。当前、后帧的宏块均值的平方差值大于阈值Th_t时，判决宏块处存在运动。由于误判会降低滤波效率，本发明算法进一步加入空间约束：运动块的8个相邻块都为运动块。

首先，设置如下参数：

1.refer_blk_mean(s，t)：前帧位置(s，t)处宏块的均值；

2.Mn(s，t)、Sn(s，t)：时域卡尔曼滤波器的状态；

对于当前宏块MtBlk(s，t)，本方法中运动检测过程可总结如下：

1)完成初始设置；

2)若当前宏块的标记blk_lbl(s，t)已被标记为运动或静止而非初始状态，则直接至步骤7)，否则至步骤3)；

3)计算子块的平均值blk_mean(s，t)，即 $\mathrm{blk}\_\mathrm{mean}=\underset{m=0}{\overset{3}{\mathrm{\Σ}}}\underset{n=0}{\overset{3}{\mathrm{\Σ}}}Y(s+m,t+n,k)/16;$

4)如式(5)计算Qn，若Qn大于运动检测阈值Th_t，则至步骤6)，否则至步骤5)；

Qn＝[blk__mean(s，t)-refer_blk_mean(s，t)]²                    (5)

5)当前块判决为静止区域，并更新blk_lbl(s，t)，保留Qn至后继时域卡尔曼滤波使用；

6)当前块且8个相邻块判决为运动区域，并更新所有blk_lbl，并将相应的Mn(i，j)、Sn(i，j)清零；

7)若当前帧所有宏块判决完毕，则refer_blk_mean(s，t)更新为blk_mean(s，t)，结束判决过程，否则更新(s，t)至下一宏块，回到步骤2)。

本方法根据宏块的运动、静止判决结果，分别进行时域或空域滤波。

4.时域卡尔曼滤波

在上述“运动检测”步骤结束后，对于静止区域沿时间轴进行时域卡尔曼滤波。根据视频图像形成过程的原理，静止区域的像素在当前帧中的强度值应该等于它在前一帧中的强度值(强度值包括所有亮度和色度分量)。当用S(i，j，k)来表示当前帧k中位置(i，j)处的像素强度时，有S(i，j，k)＝S(i，j，k-1)。在实际应用中，S(i，j，k)和S(i，j，k-1)往往不可能相等，而是存在一些扰动。扰动的来源很广，对于静止区域来说，如光照等成像条件的细微变化或摄像机轻微振动引入的全局运动等，它们可以用白噪声来建模。因而S(i，j，k)和S(i，j，k-1)间关系的更合理的表达如式(6)所示。

S(i，j，k)＝S(i，j，k-1)+w(i，j，k-1)                (6)

其中U(i，j，k-1)表示k-1帧到k帧的扰动。考虑到各帧存在的噪声，只能观察到如式(7)所示的含噪图像Y(i，j，k)。

Y(i，j，k)＝S(i，j，k)+v(i，j，k-1)                    (7)

时域滤波目的在于计算具有MMSE的估计

而本发明算法采用标量卡尔曼滤波来估计 本方法的时域卡尔曼滤波如式(8)～式(11)所示：

$M(i,j,k|k-1)=a^{2}M(i,j,k)+{\mathrm{\σ}}_w^2\left(n\right)---\left(8\right)$

$K(i,j,k)=M(i,j,k|k-1)/[{\mathrm{\σ}}_v^2+M(i,j,k|k-1)]---\left(9\right)$

$\hat{S}(i,j,k)=\hat{S}(i,j,k-1)+K(i,j,k)[Y(i,j,k)-\hat{S}(i,j,k-1)]---\left(10\right)$

M(i，j，k)＝(1-K(i，j，k))M(i，j，k|k-1)               (11)

其中M(i，j，k-1)和

分别表示k帧像素(i，j)可用的卡尔曼MSE误差和状态量。

据此，本方法中时域卡尔曼滤波的步骤可总结如下：

1)若当前宏块已被标记为运动块，则直接跳至步骤6)；

2)输入当前像素Y(i，j，k)和运动检测得到参数Qn；

3)按式(8)和(9)计算单步预测参数M(i，j，k-1)和增益K(i，j，k)；

4)按式(10)计算当前状态

并规整成8bit像素值作为滤波输出，而后按式(11)计算卡尔曼MSE误差；

5)若当前宏块所有像素处理完毕，跳至步骤6)，否则修改(i，j)至下一像素后跳至步骤2)；

6)当前宏块时域处理结束，进入下一宏块。

上述滤波过程要求知道噪声方差σ_v ²和方差σ_w ²，其中σ_v ²的估计方法如步骤1所述，而在静止区域中式(1)中的Qn能有效的估计σ_w ²。运动区域降低了参数估计的有效性，同时由(8)和(9)可见运动会产生 $\mathrm{Qn}>>{\mathrm{\σ}}_v^2,$ 这使得K(i，j，k)～1，此时估计信号 近于观测信号Y(i，j，k)本身，而不是滤波值。所以运动区域不适合时域滤波，这正是采用空间自适应滤波的原因。

5.空域自适应滤波

在“运动检测”步骤判决的运动区域中，本方法采用自适应空域滤波。空域滤波比时域滤波复杂得多，这是因为视频图像的每一帧都包含着丰富的空间信息，在使用空间滤波器滤除噪声时，容易对每帧的细节产生明显的模糊，降低视频图像的视觉质量。因而，空域滤波要求很高的自适应性，已能在降噪的同时尽可能的保留图像中的边缘、纹理等细节信息。

本方法采用的空域自适应滤波的原理如式(12)所示，

滤波值 $\hat{Y}(i,j)=\underset{(m,n)\∈S_{I,J,K}}{\mathrm{\Σ}}h(m,n)Y(i-m,j-n)---\left(12\right)$

其中，h(m，n)指滤波系数，Y(i-m，j-n)指空间位置(i-m，j-n)的像素观测值；

而 $h(m,n)=\frac{C(i,j)}{1+a\left(\max \right[\mathrm{Th}\_s,{(Y(i,j)-Y(i-m,j-n))}^2\left]\right)}\exp [-\frac{{(i-m)}^2+{(j-n)}^2}{{2\mathrm{\σ}}^2}]---\left(13\right)$

其中，归一化系数 $C(i,j)=\frac{1}{\underset{(m,n)\∈S_{I,J}}{\mathrm{\Σ}}\frac{\exp [-\frac{{(i-m)}^2+{(j-n)}^2}{{2\mathrm{\σ}}^2}]}{1+a\left(\max \left(\right[\mathrm{Th}\_s,{(Y(i,j)-Y(m,n))}^2\left]\right)\right)}}---\left(14\right)$

其中S_I，J为空间滤波器的支撑(Support)。由式(13)和式(14)可见，本方法的空域自适应滤波为了避免毁坏图像各帧中的边缘、纹理等细节，当前像素的滤波值只由滤波器支撑(support)内彼此相近的像素决定，当滤波像素与当前像素差别大于空域自适应滤波阈值Th_s时，其滤波系数很小，因而对当前点的滤波值的影响也很小。同时，当前像素空间位置越接近的点对当前像素的滤波值影响越大，这进一步减轻了空间滤波过程对图像的空间细节的毁坏。

空域自适应滤波的步骤可总结如下：

在处理当前像素Y(i，j)时，

1)完成初始设置，即H＝0、Sum＝0；

2)对当前像素的5×5邻域内每一点Y(i-m，j-n)，按式(13)计算其滤波器系数

$h(m,n)=\frac{\exp (-\frac{{(i-m)}^2+{(j-n)}^2}{{2\mathrm{\σ}}^2})}{1+a\left(\max \left(\right[\mathrm{Th}\_s,{(Y(i,j)-Y(m,n))}^2\left]\right)\right)},$ 并令

Sum＝Sum+h(m，n)*Y(i-m，j-n)和H＝H+h(m，n)；

3)若邻域内所有点都已计算，则至步骤4)，否则至步骤2)计算下一点；

4)根据Sum和H计算当前像素Y(i，j)的滤波值 $\hat{Y}(i,j)=\frac{\mathrm{Sum}}{H}.$

Claims (6)

1、一种基于运动检测和自适应滤波的视频图像降噪方法，其特征在于，包括以下步骤：

步骤一、根据输入视频图像进行噪声方差估计σ²，并计算运动检测阈值Th_t和空域自适应滤波阈值Th_s；

步骤二、采用基于宏块的运动检测进行运动-静止区域分割，并采用均值滤波和宏块的空间约束排除噪声对分割的影响；

步骤三、在静止区域采用时域卡尔曼滤波，以递推滤波方法进行处理；

步骤四、在运动区域采用空域自适应滤波，自适应滤波器根据滤波像素和当前像素间差值和距离计算滤波像素对当前像素的影响。

2、根据权利要求1所述的基于运动检测和自适应滤波的视频图像降噪方法，其特征在于，步骤二中所述运动-静止区域分割是根据当前位置的前、后帧的宏块均值的平方差值是否大于运动检测阈值Th_t进行判断，如果大于则判断当前位置为运动区域，否则判断为静止区域。

3、根据权利要求1所述的基于运动检测和自适应滤波的视频图像降噪方法，其特征在于，步骤一中所述噪声方差的估计具体步骤是：先将视频图像的某帧划分为10×10大小的子块，分别计算它们的方差，然后求得这些方差的最小值作为估计的结果；方差的计算如式(3)所示： ${\mathrm{\σ}}_v^2=\frac{1}{10\×10}\underset{i=0}{\overset{9}{\mathrm{\Σ}}}\underset{j=0}{\overset{9}{\mathrm{\Σ}}}{(g(i,j)-\hat{g}(i,j))}^2,$ 其中 $\hat{g}(i,j)=\frac{1}{100}\underset{i=0}{\overset{9}{\mathrm{\Σ}}}\underset{j=0}{\overset{9}{\mathrm{\Σ}}}g(i,j)---\left(3\right)$

其中g(i，j)指(i，j)处子块的像素值。

4、根据权利要求1或3所述的基于运动检测和自适应滤波的视频图像降噪方法，其特征在于，步骤一中所述运动检测阈值Th_t和空域自适应滤波阈值Th_s的确定如式(4)计算：

$\left\{\begin{array}{c}\mathrm{Th}\_t={\left(1.3\right)}^2{\mathrm{\σ}}_v^2\\ \mathrm{Th}\_s={\left(1.8\right)}^2{\mathrm{\σ}}_v^2\end{array}\right.---\left(4\right).$

5、根据权利要求1所述的基于运动检测和自适应滤波的视频图像降噪方法，其特征在于，步骤四中所述空域自适应滤波包括以下步骤：

1)初始化，即H＝0、Sum＝0；

2)对当前像素的5×5邻域内每一点Y(i-m，j-n)，按式(13)计算其滤波器系数：

$h(m,n)=\frac{\exp (-\frac{{(i-m)}^2+{(j-n)}^2}{{2\mathrm{\σ}}^2})}{1+a\left(\max \left(\right[\mathrm{Th}\_s,{(Y(i,j)-Y(m,n))}^2\left]\right)\right)}---\left(13\right)$

并令Sum＝Sum+h(m，n)*Y(i-m，j-n)和H＝H+h(m，n)；

3)若邻域内所有点都已计算，则至步骤4)，否则至步骤2)计算下一点；

4)根据Sum和H计算当前像素Y(i，j)的滤波值 $\hat{Y}(i,j)=\frac{\mathrm{Sum}}{H}.$

6、根据权利要求1所述的基于运动检测和自适应滤波的视频图像降噪方法，其特征在于，步骤二中宏块的运动检测并进行运动-静止区域分割的过程包括以下步骤：

1)初始化；

2)若当前位置(s，t)处宏块的标记blk_lbl(s，t)已被标记为运动或静止，则直接至步骤7)，否则至步骤3)，其中blk_lbl表示标记的值；

3)计算当前位置(s，t)处宏块的平均值blk_mean(s，t)，即

$\mathrm{blk}\_\mathrm{mean}(s,t)=\underset{m=0}{\overset{3}{\mathrm{\Σ}}}\underset{n=0}{\overset{3}{\mathrm{\Σ}}}Y(s+m,t+n,k)/16,$

其中Y表示空间位置(s+m，t+n)处的像素值；

4)按式(5)计算Qn，若Qn大于运动检测阈值Th_t，则至步骤6)，否则至步骤5)；

Qn＝[blk_mean(s，t)-refer_blk_mean(s，t)]²    (5)

其中refe_blk_mean(s，t)表示空间位置(s，t)前一帧的宏块均值；

5)当前块判决为静止区域，更新blk_lbl(s，t)，保留Qn至后继时域卡尔曼滤波使用；

6)当前块且8个相邻块判决为运动区域，更新所有blk_lbl，并将卡尔曼滤波器的状态变量清零；

7)当前帧所有宏块判决完毕，则refer_blk_mean(s，t)更新为blk_mean(s，t)，结束判决过程，否则更新至下一宏块，回到步骤2)。

Images