CN106612386A - 一种联合时空相关特性的降噪方法 - Google Patents

Abstract

本发明提出了一种联合时空相关特性的降噪方法，方法包括：第一，将缓存序列转换到YUV颜色空间；第二，对待降噪帧的亮度分量各点进行相对前后缓存帧的运动检测。若为静止点，则以该点为中心设定方形区域，选取待降噪帧和其他缓存帧位于该方形区域内的像素作为候选滤波点；若为运动点，则以待降噪帧的方形区域为参考，在前后缓存帧的一定区域搜索最佳匹配块，将参考块和匹配块内像素作为候选滤波点进行时空滤波完成亮度降噪；第三，用降噪后的亮度局部信息计算双边权重，以此权重将色度局部信息加权平均获得降噪后色度。所提方法考虑了色度与亮度的差异及人眼对运动区域和静止区域的视觉特性，能保证降噪后视频时域和空域的平滑性。

Description

一种联合时空相关特性的降噪方法

技术领域

本发明涉及一种视频降噪方法，尤其涉及一种联合时空相关特性的降噪方法，属于数字图像处理技术领域。

背景技术

数字视频中的噪声不仅降低了视频的可观赏性，还对后续的视频压缩产生不利的影响。视频噪声主要由采集过程产生，很难从源头消除。理论上噪声是不可预测的，在时域和空域都具有很强的随机性，已经成为数字媒体处理中迫切需要解决的问题。

视频降噪相关文献中，研究者主要假设噪声类型为高斯噪声并提出许多降噪方法。目前的视频降噪方法可粗略的划分为空域滤波降噪，时域滤波降噪和时空滤波降噪三种方式。

空域滤波依赖于单帧降噪技术，由于仅利用空域信息获取降噪后的结果，忽略了视频序列之间的相关性，因此容易导致滤波后的相邻帧之间在时间维度上不能保持平滑过渡，存在明显的闪烁或抖动现象。时域滤波则仅利用一维时域信息进行降噪，不考虑信息的空间相关性。这种方法对静止区域的噪声具有较好的抑制能力，但对于运动区域容易出现拖尾现象。为了避免上述滤波引起的视觉降质，研究人员提出了许多时空滤波方法，主要包括：将非局部均值(简称：NLM)扩展到多帧的非局部均值方法，将变换域协同滤波方法扩展到三维变换域协同滤波(简称：VBM3D)方法，以及三维变换域协同滤波的改进方法4-D变换域协同滤波(简称：VBM4D)。总体而言，由于视频序列不仅在空间域存在冗余性，在时间域也存在着很大的冗余性，所以，利用了时空相关性的时空滤波方法可更好的提高视频的降噪效果。

然而，现有的时空滤波方法在处理视频中含有的结构化噪声时，仍然显得力不从心。这些噪声在空间上并不独立，呈现出低频特性。通过分析，我们发现这些结构化噪声主要分布于色度分量。其原因在于：在采集过程，为了节约带宽，根据人眼对色度不如亮度敏感的视觉特性，亮度分量会被完整保留，而色度常常会被下采样。然后，通过上采样进行显示时，视频中就会产生结构化噪声。现有时空滤波方法对亮度分量和色度分量进行相同的处理，忽略了色度分量包含信息不同于亮度分量。由于色度分量包含的多为低频信息，其边缘信息被严重破坏，噪声和细节信息混合在一起难以区分。若将亮度降噪方法直接移植于色度分量无法达到满意的降噪效果。

另外，现有时空滤波方法需要在所有区域搜索帧间最佳匹配块以聚集相似信息。其并未考虑人眼视觉在运动区域和静止区域对时域连续性要求的差异。由于运动区域帧间内容存在很大的差异，所以人眼对运动区域的时域连续性并不敏感。对于运动区域而言，搜索帧间最佳匹配块的方法可以找到更多的时域滤波点，提高降噪的效果。但是，人眼对静止区域的时域连续性非常敏感，由于图像的稀疏特性，当前块可能会与前后缓存帧中任何一个相似块成为最佳匹配，这些匹配块对时域连续性的保持所产生贡献是不同的，最佳匹配块可能并非真正的最佳，这将不能保证视频降噪后的时域平滑性。

综上所述，有效的利用色度与亮度所含信息的差异及人眼对静止区域和运动区域的视觉特性研究一种联合时空相关特性的降噪方法有重要意义。

发明内容

本发明提出了一种联合时空相关特性的降噪方法。该方法包括将亮度分量划分为运动区域点和静止区域点进行时空滤波降噪和利用降噪后亮度分量引导色度分量滤波降噪两个方面。

为实现上述目的，本发明采用下述技术方案。

一种联合时空相关特性的降噪方法，其特征在于包括如下步骤：

(1)缓存输入的视频序列，将缓存帧从其他颜色空间转换到YUV颜色空间；

(2)针对待降噪帧X_t中亮度分量Y_t的每一点，判断该点相对于前后缓存帧是否存在运动；若不存在运动，则以该点为中心设定半径为L的方形区域，选取待降噪帧和其他缓存帧位于该方形区域内的像素作为候选滤波点；若存在运动，则以待降噪帧中该点为中心半径为L的方形区域为参考，并设定该点为中心半径为S的搜索区域，在前后缓存帧的该区域内搜索最佳匹配块，选取待降噪帧中以该点为中心半径为L的方形区域和和最佳匹配块内所有像素作为候选滤波点，其中所述S大于L；

(3)对获得的候选滤波点进行时空双边滤波得到降噪后的亮度分量，其中，我们仅对通过搜索最佳匹配块获得的候选滤波点考虑时域的影响；

(4)依据降噪后亮度分量相邻像素之间的相关性，计算色度分量的滤波权重，亮度分量的中心点和相邻像素的相关性越高，色度分量滤波时分配给相邻像素的滤波权重越大；利用上述滤波权重通过色度和亮度联合滤波(joint Filter)方法对待处理视频帧的色度分量进行降噪；

(5)利用降噪后的亮度分量和色度分量合成处理后的视频帧。

如上所述的一种联合时空相关特性的降噪方法，其特征在于所述步骤(2)中，对静止区域点和运动区域点的划分步骤具体包括：

(a)选取待降噪帧的一点，以该点为中心选定半径为L的方形区域，同时选取其他缓存帧该方形区域，通过以下硬阈值滤波获取预处理后的图像块：

其中，A_m为滤波后的像素集合，γ为硬阈值操作，为归一化的二维线性变换，B_m为待降噪帧和其他缓存帧中选定的半径为L的方形区域，m为帧号。

(b)利用上述获得的预处理后图像块，求取待降噪帧所对应预处理块A_t和其他缓存帧所对应预处理块A_k的欧式距离，若距离大于某一阈值判断为运动，公式表示如下：

其中，M_k,t(x,y,t)为选定中心点相对于其他缓存帧的运动标记，(x,y)为选定中心点在该帧的坐标，1代表待降噪帧中选定中心点相对于其他缓存帧为运动区域点，0代表待降噪帧中选定中心点相对于其他缓存帧为非运动区域点，d为两个采样像素集合A_t和A_k的欧式距离。

如上所述的一种联合时空相关特性的降噪方法，其特征在于所述步骤(2)中，若待降噪帧中选定中心点相对于其他缓存帧被判断为运动后，在其他缓存帧中搜索最佳匹配块时，每次移动多个像素。

如上所述的一种联合时空相关特性的降噪方法，其特征在于所述步骤(3)中，若待降噪帧选定中心点相对于其他缓存帧被判断为静止时，缓存帧中候选滤波点通过以下公式确定：

其中I(i,j,k)为缓存帧对应的方形区域内像素，i,j为像素在缓存帧中对应的横纵坐标，t为待处理帧的帧号，k为其他缓存帧的帧号，I(x,y,t)为中心点，σ_s为与空间相关的阈值，σ_r为与像素值大小相关的阈值。

如上所述的一种联合时空相关特性的降噪方法，其特征在于所述步骤(3)中，待降噪帧选定中心点相对于其他缓存帧被判断为运动时，则上述I(i,j,k)为其他缓存帧搜索找到的最佳匹配块内像素，且需在上述公式的基础上乘以调整因子该调整因子随着时域距离的变大而减小，其公式描述如下：

其中τ为大于0小于1的值。

如上所述的一种联合时空相关特性的降噪方法，其特征在于所述的调整因子是基于时域距离对滤波权重的调整，其中τ控制时域距离对滤波权重影响的大小，若视频存在的运动剧烈，则时域距离对滤波权重影响大，τ取(0,1)区间内较小的值，反之，则取(0,1)区间内较大的值。

如上所述的一种联合时空相关特性的降噪方法，其特征在于所述步骤(4)中，通过亮度分量获取色度分量的滤波权重利用双边滤波函数完成。

附图说明

图1为根据本发明的一个实施例的降噪方法的流程示意图；

图2为静止区域点和运动区域点的时空信息聚集策略示意图。其中图2(a)表示当前帧的情况，图2(b)表示前后帧的情况。

图3显示了根据本发明的一个实施例的降噪方法与现有典型降噪方法在标准测试视频的色度降噪结果对比。其中，MSE表示均方误差。M-BF为多分辨率双边滤波方法，VBM4D为4-D变换域协同滤波方法，Su-NLM为加速非局部均值方法。

图4显示了根据本发明的一个实施例的降噪方法与现有典型降噪方法在标准测试视频的帧序列的结果对比。其中，图4(a)和(b)为测试序列Akiyo和Paris的示例帧；图4(c)和(d)为在时域上帧序列PSNR波动的情况。

具体实施方式

本发明提出了一种联合时空相关特性的降噪方法。方法如图1所示，主要包括三个部分：第一，将视频缓存序列从其他颜色空间转换到YUV颜色空间；第二，处理亮度分量时，对待降噪帧的各像素点进行相对前后缓存帧的运动检测。若被判断为静止区域点，则以该点为中心设定半径为L的方形区域，选取待降噪帧和其他缓存帧位于该方形区域内的像素作为候选滤波点；若被判断为运动区域点，则以待降噪帧中该点为中心半径为L的方形区域为参考，并设定该点为中心半径为S的搜索区域，在前后缓存帧的该搜索区域内搜索最佳匹配块，然后，选取待降噪帧中以该点为中心半径为L的方形区域和前后缓存帧中最佳匹配块内所有像素作为候选滤波点；对上述选定的时空候选滤波点进行时空滤波获得降噪后的亮度分量；第三，利用降噪后的亮度分量局部信息计算出双边函数权重，以此权重对色度分量对应局部信息进行加权平均得到降噪后的色度分量。

1.缓存输入的视频序列，将缓存帧从其他颜色空间转换到YUV颜色空间；

在一个具体的实施例中，为了减少计算的时间和内存消耗，一般选用视频缓存序列为3帧。另外，在下面的步骤中需以每个像素为中心进行局部区域像素的采样，临近边缘的像素点在采样时会超过视频帧的边界，因此要提前将边缘向外扩大，通过镜像的方式对其进行填补。

2.对视频的亮度分量Y和色度分量U、V进行不同方式的处理，其中，亮度分量的处理再细划分为运动区域点和静止区域点进行不同方式的时空候选滤波点聚集和滤波处理。

由于受到视频采集的影响，视频的亮度和色度所包含信息具有很大的区别，亮度包含丰富的高频信息，噪声和细节具有较好的区分性。而色度中绝大部分为低频信息，边缘信息损失较为严重，色度细节信息和噪声混淆在一起难以区分。针对此问题，在本实施方式中，对色度和亮度采用不同的针对性处理。

另外，多帧图像降噪技术利用的是视频序列在时域上的相关性。但是由于视频序列有运动目标存在时，会引起时域视频信号非平稳现象。简单的对这些区域进行时空域平均处理会导致严重的拖尾现象。因此，本实施例中检测出视频帧的运动区域点和非运动区域点，进而对运动区域点和非运动区域点进行不同的策略的时空信息聚集和滤波处理以解决运动带来的时域非平稳问题。处理流程如下所述：

(a)在进行待降噪点运动判断时，为了避免噪声带来的影响，要先对各帧选取或匹配获得的图像块，进行二维预滤波。这种二维预滤波是对每个块进行二维变换，然后用一个相对较小的硬阈值收缩变换系数以达到降低噪声的目的。这种方法缓解因噪声过强导致的不精确度量，公式表示如下：

其中，A_m为滤波后的像素集合，γ为硬阈值操作，为归一化的二维线性变换，B_m为待降噪帧和其他缓存帧中选定的半径为L的方形区域，m为帧号。

(b)利用上述获得的预处理后图像块，求取待降噪帧所对应预处理块A_t和其他缓存帧所对应预处理块A_k的欧式距离，判断该距离是否大于指定阈值，公式表示如下：

其中，M(x,y,t)为选定中心点相对于其他缓存帧的运动标记，(x,y)为选定中心点在该帧的坐标，1代表待降噪帧中选定中心点相对于其他缓存帧为运动区域点，0代表待降噪帧中选定中心点相对于其他缓存帧为非运动区域点，d为两个采样像素集合A_t和A_k的欧式距离。

其中d(A_t,A_k)为两帧采样像素的欧式距离。其公式表达如下：

其中，N为每帧采样集合的像素个数。

3.将亮度分量划分为运动区域点和静止区域点进行不同的时空域候选滤波点聚集。

针对待降噪帧X_t中亮度分量Y_t的每一点，判断该点相对于前后缓存帧是否存在运动；若不存在运动，则以该点为中心设定半径为L的方形区域，选取待降噪帧和其他缓存帧位于该方形区域内的像素作为候选滤波点；若存在运动，则以待降噪帧中该点为中心半径为L的方形区域为参考，并设定该点为中心半径为S的搜索区域，在前后缓存帧的该区域内搜索最佳匹配块，选取待降噪帧中以该点为中心半径为L的方形区域和和最佳匹配块内所有像素作为候选滤波点，其中所述S大于L；搜索最佳匹配块时以欧氏距离最小作为准则。

4.对亮度分量划分为运动区域点和静止区域点后获得的候选滤波点进行不同的滤波处理。

本发明采用将双边滤波扩展到时空域完成亮度分量的降噪。其中，候选滤波点与空间域相关的权重以及与灰度值相关的权重无需任何改变，然而，候选滤波点的时域权重在待降噪点相当于前后缓存帧被判断为静止区域点和运动区域点时需进行不同的考虑。当待降噪点相对于前后搜索帧静止的时候，可以认为两帧在局部区域具有相同的值，因此时域的距离并不影响两帧局部的相似性，可忽略。当待降噪点相对于前后搜索帧运动的时候，本实施例通过搜索最佳匹配块的方式寻找到时域相似信息。由于运动不仅存在平移且存在变形，因此在时域上候选滤波点的时域权重受到时域距离的影响。

针对上述不同，当待降噪点相对于前后缓存帧静止的时候，本实施例通过如下方法获取候选滤波点的权重：

其中I(i,j,k)为前后缓存帧采样集合中的像素，i,j为像素在缓存帧中对应的横纵坐标，t为待处理帧的帧号，k为其他缓存帧的帧号，I(x,y,t)为中心点，σ_s为与空间相关的半径，σ_r为与像素值大小相关的半径。

当待降噪点相对于前后缓存帧运动的时候，本实施例通过如下方法获取缓存帧候选滤波点权重：

其中τ为大于0小于1的值，用于控制时域平滑程度。

综上所述，最终降噪后的中心点可做如下描述：

其中Ω为所有候选滤波点，函数f和函数g分别表示像素的空间相关权重和像素值相关权重，其公式如下：

W(x,y,t)表示归一化因子，用于确保权重和为1，其公式如下：

5.依据降噪后亮度分量相邻像素之间的相关性，计算色度分量的滤波权重，亮度分量的中心点和相邻像素的相关性越高，色度分量滤波时分配给相邻像素的滤波权重越大；利用上述滤波权重通过色度和亮度联合滤波(joint Filter)方法对待处理视频帧的色度分量进行降噪。

利用亮度信息获取色度分量的滤波权重通过在亮度分量使用双边滤波函数完成，计算方法如下：

其中，w_u(x,y,t)和w_v(x,y,t)分别为色度分量u和v中的待降噪点的滤波权重。

依赖于亮度分量信息获取的滤波权重，通过联合滤波方式完成色度降噪，如以下公式所示：

其中，u(x,y,t)和v(x,y,t)分别为色度分量u和v中的待降噪点，u(i,j,t)和v(i,j,t)为待降噪点的环绕点，Ω为局部窗口像素集合。

以上对本发明所提供的一种联合时空相关特性的降噪方法进行了详细的说明，但显然本发明的范围并不局限于此。在不脱离所附权利要求书所限定的保护范围的情况下，对本发明的各种改变都在本发明的范围之内。

Claims (7)

1.一种联合时空相关特性的降噪方法，包括如下步骤：

(1)缓存输入的视频序列，将缓存帧从其他颜色空间转换到YUV颜色空间；

(2)针对待降噪帧X_t中亮度分量Y_t的每一点，判断该点相对于前后缓存帧是否存在运动；若不存在运动，则以该点为中心设定半径为L的方形区域，选取待降噪帧和其他缓存帧位于该方形区域内的像素作为候选滤波点；若存在运动，则以待降噪帧中该点为中心半径为L的方形区域为参考，并设定该点为中心半径为S的搜索区域，在前后缓存帧的该区域内搜索最佳匹配块，选取待降噪帧中以该点为中心半径为L的方形区域和和最佳匹配块内所有像素作为候选滤波点，其中所述S大于L；

(3)对获得的候选滤波点进行时空双边滤波得到降噪后的亮度分量，其中，我们仅对通过搜索最佳匹配块获得候选滤波点考虑时域的影响；

(4)依据降噪后亮度分量相邻像素之间的相关性，计算色度分量的滤波权重，亮度分量的中心点和相邻像素的相关性越高，色度分量滤波时分配给相邻像素的滤波权重越大；利用上述滤波权重通过色度和亮度联合滤波(joint Filter)方法对待处理视频帧的色度分量进行降噪；

(5)利用降噪后的亮度分量和色度分量合成处理后的视频帧。

2.如权利要求1所述的联合时空相关特性的降噪方法，其特征在于所述步骤(2)中，对静止区域点和运动区域点的划分步骤具体包括：

(2.1)选取待降噪帧的一点，以该点为中心点选定半径为L的方形区域，同时选取其他缓存帧该方形区域，通过以下硬阈值滤波获取预处理后的图像块：

$A_m=\mathrm{\γ}\left(T_{2D}^{ht}\right(B_m\left)\right)---\left(1\right)$

其中，A_m为滤波后的像素集合，γ为硬阈值操作，为归一化的二维线性变换，B_m为待降噪帧和其他缓存帧中选定的半径为L的方形区域，m为帧号。

(2.2)利用上述获得的预处理后图像块，求取待降噪帧所对应预处理块A_t和其他缓存帧所对应预处理块A_k的欧式距离，若距离大于某一阈值判断为运动，公式表示如下：

$M_{k,t}(x,y,t)=\left\{\begin{array}{cc}1& d\left(A_t,A_k\right)\≥T_{match}^{ht}\\ 0& else\end{array}\right.---\left(2\right)$

其中，M_k,t(x,y,t)为选定中心点相对于其他缓存帧的运动标记，(x,y)为选定中心点在该帧的坐标，1代表待降噪帧中选定中心点相对于其他缓存帧为运动区域点，0代表待降噪帧中选定中心点相对于其他缓存帧为非运动区域点，d为两个采样像素集合的欧式距离。

3.如权利要求1所述的联合时空相关特性的降噪方法，其特征在于所述步骤(2)中，若待降噪帧中选定中心点相对于其他缓存帧被判断为运动后，在其他缓存帧中搜索最佳匹配块时，每次移动多个像素。

4.如权利要求1所述的联合时空相关特性的降噪方法，其特征在于所述步骤(3)中，若待降噪帧选定中心点相对于其他缓存帧被判断为静止时，其他缓存帧中像素的权重通过以下公式确定：

$e(i,j,t)=\exp (-\frac{\left|\right|I(i,j,k)-I(x,y,t)|{|}^2}{2{{\mathrm{\σ}}_r}^2})\·\exp (-\frac{{(i-x)}^2+{(j-y)}^2}{2{{\mathrm{\σ}}_d}^2})---\left(3\right)$

其中I(i,j,k)为其他缓存帧对应的方形区域内像素，i,j为像素在缓存帧中对应的横纵坐标，t为待处理帧的帧号，k为其他缓存帧的帧号，σ_s为与空间相关的阈值，σ_r为与像素值大小相关的阈值。

5.如权利要求1所述的联合时空相关特性的降噪方法，其特征在于所述步骤(3)中，待降噪帧选定中心点相对于其他缓存帧被判断为运动时，则需在上述公式的基础上乘以调整因子该调整因子随着时域距离的变大而减小，其公式描述如下：

其中，τ为大于0小于1的值。

6.如权利要求5所述的联合时空相关特性的降噪方法，其特征在于所述的调整因子是基于时域距离对滤波权重的调整，其中τ控制时域距离对滤波权重影响的大小，若视频存在的运动剧烈，则时域距离对滤波权重影响大，取(0,1)区间内较小的值，反之，则取(0,1)区间内较大的值。

7.如权利要求1所述的联合时空相关特性的降噪方法，其特征在于所述步骤(4)中，通过亮度分量获取色度分量的滤波权重利用双边滤波函数完成。