CN103024248A - 运动自适应的视频图像降噪方法及其装置 - Google Patents

Abstract

本发明涉及视频图像处理领域，公开了一种运动自适应的视频图像降噪方法及其装置。本发明中，通过确定当前待处理帧的运动级别，控制时域去噪强度，然后更新经所述时域滤波后的所述待处理帧的噪声水平，根据更新后的噪声水平，对待处理帧进行空域滤波。使得时域降噪和空域降噪的强度，能够自适应地进行调节，当运动级别减弱时，时域降噪增强，空域降噪减弱；反之，时域降噪强度减弱，空域降噪强度增强。从而达到更好的降噪效果，较好地解决了视频降噪图像模糊以及运动物体“拖尾”的现象，并且能够有效控制系统实现成本。

Description

运动自适应的视频图像降噪方法及其装置

技术领域

本发明涉及视频图像处理领域，特别涉及视频图像降噪技术。

背景技术

在视频图像处理领域，降噪是一种增强视频图像质量的十分有效的方法。视频在采集、传输和接收等过程中都不可避免地会引入噪声，为了提高视频图像的主客观效果，提高视频图像的压缩效率或节省传输带宽，都有必要对视频进行降噪处理。视频噪声通常被建模为零均值的高斯白噪声，各帧间噪声相互独立，帧内噪声随机出现。视频降噪通常是在空间域、时间域、变换域或者不同域之间结合进行处理以求达到较好的视觉效果。空域降噪利用图像邻域内像素具有相关性而噪声不具有相关性的特性进行噪声消除；空域降噪多采用低通滤波的方法，能有效滤除图像高频噪声，但同时也会模糊图像边缘或细节，去噪越强，图像越模糊。时域去噪利用视频帧间图像具有相关性而噪声是随机的不具相关性这一特点进行噪声的消除；时域降噪多采用多帧加权或者递归加权的方法；时域去噪能有效去除噪声同时保护图像边界和细节；但是简单的帧间加权会导致运动物体的“拖尾”现象，使运动图像变得模糊。现有的基于运动检测的时空域联合降噪方法，把视频帧图像采用硬阈值划分为静止区域和运动区域，对静止区域进行时域降噪，对运动区域进行空域降噪。这样简单划分运动与静止，并不能精细控制时域、空域降噪强度，取得理想降噪效果。

发明内容

本发明的目的在于提供一种运动自适应的视频图像降噪方法及其装置，充分利用了时域降噪保护图像细节和边缘，而空域降噪能有效滤除高频噪声的优势，从而达到更好的降噪效果，并且能够有效控制系统实现成本。

为解决上述技术问题，本发明提供了一种运动自适应的视频图像降噪方法，包含以下步骤：

确定当前待处理帧的运动级别；其中，所述运动级别为表示相邻两帧间的差异相对于噪声水平的波动程度的表征值；

采用与确定的所述运动级别成反比关系的时域滤波器系数，对所述待处理帧进行时域滤波；

更新经所述时域滤波后的所述待处理帧的噪声水平；

根据所述更新后的噪声水平，对所述待处理帧进行空域滤波。

本发明还提供了一种运动自适应的视频图像降噪装置，包含：

运动级别确定模块，用于确定当前待处理帧的运动级别；其中，所述运动级别为表示相邻两帧间的差异相对于噪声水平的波动程度的表征值；

时域滤波模块，用于采用与确定的所述运动级别成反比关系的时域滤波器系数，对所述待处理帧进行时域滤波；

噪声水平更新模块，用于更新经所述时域滤波模块时域滤波后的所述待处理帧的噪声水平；

空域滤波模块，用于根据所述更新后的噪声水平，对所述待处理帧进行空域滤波。

本发明实施方式相对于现有技术而言，通过确定当前待处理帧的运动级别，控制时域去噪强度，然后更新经所述时域滤波后的所述待处理帧的噪声水平，根据更新后的噪声水平，对待处理帧进行空域滤波。使得时域降噪和空域降噪的强度，能够自适应地进行调节，当运动级别减弱时，时域降噪增强，空域降噪减弱；反之，时域降噪强度减弱，空域降噪强度增强。既能有效消除噪声，同时也能保留图像的细节，从而达到更好的降噪效果，较好地解决了视频降噪图像模糊以及运动物体“拖尾”的现象，并且能够有效控制系统实现成本。

另外，在对待处理帧进行空域滤波时，根据所述更新后的噪声水平，对所述待处理帧进行基于边缘检测的空域滤波，以进一步保证滤波效果。

另外，在对所述待处理帧进行时域滤波时，在当前点位置处的像素值与参考帧同位置处的像素值的绝对差值大于设置的阈值T时，对所述时域滤波器系数进行修正，并采用修正后的时域滤波器系数，对所述待处理帧进行时域滤波。其中，所述时域滤波为多阶时域递归滤波器的滤波时，所述参考帧为经空域滤波后的图像帧；所述时域滤波为多帧加权滤波器的滤波时，所述参考帧为原始视频序列。可以有效防止前述运动级别计算可能出现的运动误判，避免了时域降噪时运动误判带来的“拖尾”现象。

附图说明

图1是根据本发明第一实施方式的运动自适应的视频图像降噪方法流程图；

图2是根据本发明第二实施方式的运动自适应的视频图像降噪装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

本发明的第一实施方式涉及一种运动自适应的视频图像降噪方法。在本实施方式中，采用运动自适应的时空域联合的视频降噪方法，根据参考帧图像与当前帧输入图像间的差异以及噪声水平，确定运动级别，对于不同的运动级别赋予不同的时域滤波系数，控制时域降噪强度；同时再修正每一像素点的噪声水平，精细控制每一像素点的空域降噪强度。

具体流程如图1所示，在步骤101中，获取视频序列图像。视频序列图像可以为YUV格式，RGB格式或其它色彩空间格式中某一分量图像。

接着，在步骤102中，对输入视频图像进行噪声估计，得到当前待处理帧的噪声水平。具体地说，假定视频图像噪声建模为高斯白噪声，且当前待处理帧的噪声水平采用前一帧或前几帧的噪声估计结果。其中，每一帧的噪声估计结果通过以下方式获取：首先，将整帧图像帧划分成L个m×n的小块；然后，分别计算各小块的噪声标准差；接着，将在所述计算得到的L个噪声标准差中，最小的K个噪声标准差的平均值作为整帧图像的噪声估计结果，L、m、n、K均为自然数。每个小块的噪声标准差具体计算公式如式（1）所示：

$\mathrm{sigma}=\sqrt{\frac{\underset{i=0}{\overset{m-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{n-1}{\mathrm{\Σ}}}{(p_{i,j}-\stackrel{\‾}{P})}^2}{m\×n}}---\left(1\right)$

$\stackrel{\‾}{P}=\frac{\underset{i=0}{\overset{m-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{n-1}{\mathrm{\Σ}}}{p}_{i,j}}{m\×n}$

其中，p_i，j为m×n的小块内像素值，sigma为该块的噪声标准差。

接着，在步骤103中，确定当前待处理帧的运动级别。其中，运动级别为表示相邻两帧间的差异相对于噪声水平的波动程度的表征值。

具体地说，在得到当前待处理帧的噪声水平后，根据以当前点为中心的设定个数的邻域的加权绝对误差和，计算相邻两帧间的差异DIFF。比如说，相邻两帧间的差异DIFF由以当前点为中心的(2×m+1)×(2×m+1)的邻域的加权绝对误差和确定，其计算式见式（2）：

$\mathrm{DIFF}=\frac{|\underset{i=-m}{\overset{m}{\mathrm{\Σ}}}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}c(i,j)\×P(x+i,y+j,t)-\underset{i=-m}{\overset{m}{\mathrm{\Σ}}}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}c(i,j)\×P(x+i,y+j,t-1)|}{\underset{i=-m}{\overset{m}{\mathrm{\Σ}}}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}c(i,j)}---\left(2\right)$

其中，c为加权权值，P为像素值，P（x+i，y+j，t）表示当前帧P（t）内位置为（x+i，y+j）的像素值，P（x+i，y+j，t-1）表示前一帧P（t-1）内位置为（x+i，y+j）的像素值。

然后，根据计算的DIFF与在步骤102中得到的噪声水平的比值，确定当前待处理帧的运动级别，如公式（3）所示：

其中，N为设定的最大运动级别。在本实施方式中，通过运动级别表征帧间差异相对于噪声水平的波动程度，利用帧间差异与噪声水平的比值，反应运动的可能性，比值越大，则运动概率增大，此时时域降噪应减弱甚至不进行时域降噪，空域去噪应增强；反之，时域降噪应增强，空域降噪应减弱。

因此，在步骤104与步骤105中，采用与确定的所述运动级别成反比关系的时域滤波器系数，对所述待处理帧进行时域滤波。

具体地说，在步骤104中，计算时域滤波器系数。时域滤波器系数alpha由运动级别LEVEL确定，LEVEL越大，则系数越小，时域降噪越弱；LEVEL越小，则系数越大，时域降噪越强。alpha计算公式见公式（4）：

$\mathrm{alpha}=\left\{\begin{array}{cc}\frac{\mathrm{\&beta;}\&times;N-\mathrm{LEVEL}}{N}& \mathrm{LEVEL}<\mathrm{\&beta;}\&times;N\\ 0& \mathrm{LEVEL}\&GreaterEqual;\mathrm{\&beta;}\&times;N\end{array}\right.---\left(4\right)$

其中，N为最大运动级别，β为预设常数，用来控制alpha的最大值，即控制时域最大降噪强度。

接着，在步骤105中，对待处理帧进行时域滤波。时域滤波可采用多阶时域递归滤波器或多帧加权滤波器。值得一提的是，在本实施方式中，还可以在当前点位置处的像素值与参考帧同位置处的像素值的绝对差值大于设置的阈值T时，对所述时域滤波器系数进行修正，并采用修正后的时域滤波器系数，对所述待处理帧进行时域滤波。其中，时域滤波为多阶时域递归滤波器的滤波时，所述参考帧为经空域滤波后的图像帧；所述时域滤波为多帧加权滤波器的滤波时，所述参考帧为原始视频序列。

具体地说，时域滤波时，为防止前述运动级别计算可能出现的运动误判。当当前点位置处的像素值与参考帧同位置处的像素值的绝对差值大于某一阈值T时，则修正时域滤波系数alpha＝0，同时修正LEVEL=β×N，这样能更好的防止时域降噪时运动误判带来的“拖尾”现象。m阶时域递归滤波器计算公式见式（5），式（5）中alpha_k由参考帧P(t-k)和当前帧P(t)通过步骤103、104计算得到。（m+n）阶加权滤波器计算公式见式（6）。式（6）中alpha_k由参考帧P(t-k)和当前帧P(t)通过步骤103、104计算得到。

$\mathrm{Pout}(x,y,t)=\frac{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{\mathrm{alpha}}_k\&times;P(x,y,t-k)+(1-{\mathrm{alpha}}_k)\&times;P(x,y,t)}{m}---\left(5\right)$

$\mathrm{Pout}(x,y,t)=\frac{\underset{k=-n}{\overset{m}{\mathrm{\&Sigma;}}}{\mathrm{alpha}}_k\&times;P(x,y,t-k)+(1-{\mathrm{alpha}}_k)\&times;P(x,y,t)}{m+n}---\left(6\right)$

接着，在步骤106中，更新经所述时域滤波后的待处理帧的噪声水平。更新时域降噪后的每个像素点噪声水平，从而达到精细调节空域降噪强度的目的。运动级别越小的点，时域降噪越强，则更新后噪声水平越弱，从而控制空域降噪减弱，较好的保护图像细节；反之，运动级别越大的点，时域降噪越弱，更新后的噪声水平越强，从而空域降噪增强，较好的滤除高频噪声。噪声水平更新公式见式(7)：

${\mathrm{sigma}}^{\&prime;}=\sqrt{\mathrm{\&lambda;}\&times;{\mathrm{alpha}}^2+{(1-\mathrm{alpha})}^2}\&times;\mathrm{sigma}---\left(7\right)$

其中，λ表征参考帧噪声水平的乘性因子，使用递归滤波时该系数越小，则表明参考帧的降噪效果越好，噪声水平越小，试验中λ取0.35即能得到较优的效果；使用多帧加权滤波时λ值设为1。

接着，在步骤107中，根据更新后的噪声水平，对待处理帧进行空域滤波。具体地说，在本步骤中，基于边缘检测的空域滤波，对时域降噪的结果进行空域降噪。空域降噪的参考噪声水平为更新后的噪声水平sigma′，sigma′的大小控制各像素点空域降噪的强弱，从而达到保护图像细节的目的。空域降噪采用基于边缘检测的空域滤波。首先进行边缘检测，在边缘处沿边缘方向滤波，防止模糊边界；非边缘处采用空域滤波，空域滤波可选用双边滤波或高斯滤波但不局限于双边和高斯滤波，也可采用其它空域滤波器。

不难发现，在本实施方式中，通过确定当前待处理帧的运动级别，控制时域去噪强度，然后更新经所述时域滤波后的所述待处理帧的噪声水平，根据更新后的噪声水平，对待处理帧进行空域滤波。使得时域降噪和空域降噪的强度，能够自适应地进行调节，当运动级别减弱时，时域降噪增强，空域降噪减弱；反之，时域降噪强度减弱，空域降噪强度增强。既能有效消除噪声，同时也能保留图像的细节，从而达到更好的降噪效果，较好地解决了视频降噪图像模糊以及运动物体“拖尾”的现象，并且能够有效控制系统实现成本。

上述方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第二实施方式涉及一种运动自适应的视频图像降噪装置，如图2所示，包含：

运动级别确定模块，用于确定当前待处理帧的运动级别；其中，所述运动级别为表示相邻两帧间的差异相对于噪声水平的波动程度的表征值。

时域滤波模块，用于采用与确定的所述运动级别成反比关系的时域滤波器系数，对所述待处理帧进行时域滤波。

噪声水平更新模块，用于更新经所述时域滤波模块时域滤波后的所述待处理帧的噪声水平。

空域滤波模块，用于根据所述更新后的噪声水平，对所述待处理帧进行空域滤波。本实施方式中，空域滤波模块进行的空域滤波，为基于边缘检测的空域滤波。

具体地说，本实施方式中的运动级别确定模块包含以下单元：

视频输入单元，用于输入所述当前待处理帧。

噪声估计单元，用于估计每一帧的噪声，所述噪声估计单元将前一帧或前几帧的噪声估计结果，作为当前待处理帧的所述噪声水平。

运动级别计算单元，用于根据以当前点为中心的设定个数的邻域的加权绝对误差和，计算相邻两帧间的差异DIFF，并根据所述计算的DIFF与所述噪声水平的比值，确定所述运动级别。

其中，噪声估计单元进一步包含以下子单元：

划分子单元，用于将整帧图像帧划分成L个m×n的小块。

计算子单元，用于分别计算各小块的噪声标准差。

噪声估计结果获取子单元，用于将在所述计算得到的L个噪声标准差中，最小的K个噪声标准差的平均值作为整帧图像的噪声估计结果。其中，L、m、n、K均为自然数。

时域滤波模块包含：

时域滤波器系数计算单元，用于计算所述与确定的运动级别成反比关系的时域滤波器系数；

滤波器，用于采用所述时域滤波器系数计算单元计算的时域滤波器系数，对所述待处理帧进行时域滤波；

参考帧存储单元，用于存储参考帧；其中，在所述滤波器为多阶时域递归滤波器时，所述参考帧为经空域滤波后的图像帧；在所述滤波器为多帧加权滤波器时，所述参考帧为原始视频序列。

其中，时域滤波器系数计算单元在当前点位置处的像素值与参考帧同位置处的像素值的绝对差值大于设置的阈值T时，对所述时域滤波器系数进行修正，并采用修正后的时域滤波器系数，对所述待处理帧进行时域滤波。

噪声水平更新模块采用以下公式更新时域滤波后的所述待处理帧中每个像素点的噪声水平：

${\mathrm{sigma}}^{\&prime;}=\sqrt{\mathrm{\&lambda;}\&times;{\mathrm{alpha}}^2+{(1-\mathrm{alpha})}^2}\&times;\mathrm{sigma}$

其中，sigma为所述时域滤波前的噪声水平；alpha为所述时域滤波器系数。

不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (12)

1.一种运动自适应的视频图像降噪方法，其特征在于，包含以下步骤：

确定当前待处理帧的运动级别；其中，所述运动级别为表示相邻两帧间的差异相对于噪声水平的波动程度的表征值；

采用与确定的所述运动级别成反比关系的时域滤波器系数，对所述待处理帧进行时域滤波；

更新经所述时域滤波后的所述待处理帧的噪声水平；

根据所述更新后的噪声水平，对所述待处理帧进行空域滤波。

2.根据权利要求1所述的运动自适应的视频图像降噪方法，其特征在于，在所述对待处理帧进行空域滤波的步骤中，根据所述更新后的噪声水平，对所述待处理帧进行基于边缘检测的空域滤波。

3.根据权利要求1所述的运动自适应的视频图像降噪方法，其特征在于，所述确定当前待处理帧的运动级别的步骤中，包含以下子步骤：

采用前一帧或前几帧的噪声估计结果，作为当前待处理帧的所述噪声水平；

根据以当前点为中心的设定个数的邻域的加权绝对误差和，计算相邻两帧间的差异DIFF；

根据所述计算的DIFF与所述噪声水平的比值，确定所述运动级别。

4.根据权利要求3所述的运动自适应的视频图像降噪方法，其特征在于，通过以下方式获取每一帧的噪声估计结果：

将整帧图像帧划分成L个m×n的小块；

分别计算各小块的噪声标准差；

将在所述计算得到的L个噪声标准差中，最小的K个噪声标准差的平均值作为整帧图像的噪声估计结果；

其中，L、m、n、K均为自然数。

5.根据权利要求1所述的运动自适应的视频图像降噪方法，其特征在于，在对所述待处理帧进行时域滤波的步骤中，包含以下子步骤：

在当前点位置处的像素值与参考帧同位置处的像素值的绝对差值大于设置的阈值T时，对所述时域滤波器系数进行修正，并采用修正后的时域滤波器系数，对所述待处理帧进行时域滤波；

其中，所述时域滤波为多阶时域递归滤波器的滤波时，所述参考帧为经空域滤波后的图像帧；所述时域滤波为多帧加权滤波器的滤波时，所述参考帧为原始视频序列。

6.根据权利要求1至5中任一项所述的运动自适应的视频图像降噪方法，其特征在于，在更新经所述时域滤波后的所述待处理帧的噪声水平的步骤中，采用以下公式更新时域滤波后的所述待处理帧中每个像素点的噪声水平：

${\mathrm{sigma}}^{\&prime;}=\sqrt{\mathrm{\&lambda;}\&times;{\mathrm{alpha}}^2+{(1-\mathrm{alpha})}^2}\&times;\mathrm{sigma}$

其中，sigma为所述时域滤波前的噪声水平；alpha为所述时域滤波器系数。

7.一种运动自适应的视频图像降噪装置，其特征在于，包含：

运动级别确定模块，用于确定当前待处理帧的运动级别；其中，所述运动级别为表示相邻两帧间的差异相对于噪声水平的波动程度的表征值；

时域滤波模块，用于采用与确定的所述运动级别成反比关系的时域滤波器系数，对所述待处理帧进行时域滤波；

噪声水平更新模块，用于更新经所述时域滤波模块时域滤波后的所述待处理帧的噪声水平；

空域滤波模块，用于根据所述更新后的噪声水平，对所述待处理帧进行空域滤波。

8.根据权利要求7所述的运动自适应的视频图像降噪装置，其特征在于，

所述空域滤波模块进行的空域滤波，为基于边缘检测的空域滤波。

9.根据权利要求7所述的运动自适应的视频图像降噪装置，其特征在于，所述运动级别确定模块包含以下单元：

视频输入单元，用于输入所述当前待处理帧；

噪声估计单元，用于估计每一帧的噪声，所述噪声估计单元将前一帧或前几帧的噪声估计结果，作为当前待处理帧的所述噪声水平；

运动级别计算单元，用于根据以当前点为中心的设定个数的邻域的加权绝对误差和，计算相邻两帧间的差异DIFF，并根据所述计算的DIFF与所述噪声水平的比值，确定所述运动级别。

10.根据权利要求9所述的运动自适应的视频图像降噪装置，其特征在于，所述噪声估计单元包含以下子单元：

划分子单元，用于将整帧图像帧划分成L个m×n的小块；

计算子单元，用于分别计算各小块的噪声标准差；

噪声估计结果获取子单元，用于将在所述计算得到的L个噪声标准差中，最小的K个噪声标准差的平均值作为整帧图像的噪声估计结果；

其中，L、m、n、K均为自然数。

11.根据权利要求7所述的运动自适应的视频图像降噪装置，其特征在于，所述时域滤波模块包含：

时域滤波器系数计算单元，用于计算所述与确定的运动级别成反比关系的时域滤波器系数；

滤波器，用于采用所述时域滤波器系数计算单元计算的时域滤波器系数，对所述待处理帧进行时域滤波；

参考帧存储单元，用于存储参考帧；其中，在所述滤波器为多阶时域递归滤波器时，所述参考帧为经空域滤波后的图像帧；在所述滤波器为多帧加权滤波器时，所述参考帧为原始视频序列。

所述时域滤波器系数计算单元在当前点位置处的像素值与参考帧同位置处的像素值的绝对差值大于设置的阈值T时，对所述时域滤波器系数进行修正，并采用修正后的时域滤波器系数，对所述待处理帧进行时域滤波。

12.根据权利要求7至11中任一项所述的运动自适应的视频图像降噪装置，其特征在于，

所述噪声水平更新模块采用以下公式更新时域滤波后的所述待处理帧中每个像素点的噪声水平：

${\mathrm{sigma}}^{\&prime;}=\sqrt{\mathrm{\&lambda;}\&times;{\mathrm{alpha}}^2+{(1-\mathrm{alpha})}^2}\&times;\mathrm{sigma}$

其中，sigma为所述时域滤波前的噪声水平；alpha为所述时域滤波器系数。

Images