CN105787889B - 一种基于非局部均值的图像快速去噪方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，尤其涉及一种基于非局部均值的图像快速去噪方法，本发明提供一种基于非局部均值的图像快速去噪方法，能够快速进行图像去噪，需要内存较小，适用手机等移动平台的实时去噪。本发明的有益效果如下：1.与传统NLM算法相比,大幅减少了图像的去噪时间,能够满足手机等移动终端上的实时图像处理要求；2.本发明给出的优选实施例，可以保证图像去噪过程中图像质量轻微损失。

Description

一种基于非局部均值的图像快速去噪方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于非局部均值的图像快速去噪方法。

背景技术

随着智能手机、平板电脑等移动设备的日益普及和Instagram、微信、美图秀秀等大量照片类移动互联网App应用的不断涌现,人们已经习惯了在日常生活中随时随地利用手机拍摄、存储和编辑照片,以图像为代表的多媒体信息呈爆炸性增长,并由此积累了海量的图像数据。例如,用户在Facebook、微信等移动社交平台每天所上载的照片数以亿计。然而在实际拍摄过程中,由于移动设备计算性能的限制以及拍摄效果对复杂场景环境的高度敏感性,使得拍摄图像中不可避免地存在各种噪声,干扰了人们对其呈现信息的感知和理解。因此,如何对此类图像进行有效的去噪处理,已成为当前多媒体移动计算领域最基础和重要的研究课题之一。

近年来,各种去噪算法不断出现,但都主要集中于传统的非移动端应用环境。非局部均值(NLM)算法目前仍是图像处理领域最有影响的算法之一,对本文方法给出了重要的参考思路。尽管NLM算法的去噪能力较强但其时间复杂度极高,且目前智能手机等移动设备内嵌摄像头分辨率已普遍达到千万级像素水平,使其无法在移动设备中被实时应用。针对NLM算法时间复杂度高的问题,国内外许多研究学者提出了各种不同类型的改进算法,这些算法大致可分为：

1)减少搜索区域类：减少搜索区域是最简单和最广泛使用的方法。如Mahmoudi等提出利用区域平均值和梯度值从搜索窗中预分类出一些参考值,根据两个图像块的代数均值跳过一些权值的计算。Coupe和Kervrann等受这个思路的启发提出利用方差预分类出一些参考值,不过在后续的研究中发现基于方差的改进相对于梯度不太理想。尽管该类算法可以有效降低时间复杂度,但会较大程度地影响去噪质量。

2)降低维度类:Van De Ville和Kocher等提出SVD投影法,通过将d维图像块投影到一个低维空间来减少权重计算的时间复杂度。Karnati等人尝试通过积分图像法加速加权欧氏距离的计算。Vignesh和Kuo等通过估计图像参考块的高斯模型,在计算权重时不需要完整遍历所有像素,可以最大限度地降低该算法的时间复杂度,但也面临着与第一类方法同样的问题。

3)优化数据结构类：包括快速双边网格、高斯KD树、自适应流形(AM)方法以及边缘块词典法和快速高斯变换等。这些算法可以显著地降低NLM算法的计算复杂度,然而建立这些数据结构通常需要一个漫长的预处理过程或者需要一块非常大的内存,因此限制了此类算法在手机等移动平台上的应用。

发明内容

针对以上所述的不足，本发明提供一种基于非局部均值的图像快速去噪方法，能够快速进行图像去噪，需要内存较小，适用手机等移动平台的实时去噪。

为了达到上述目的，本发明是通过以下技术方案实现的：

一种基于非局部均值的图像快速去噪方法，其特征在于，包括以下步骤：

步骤一：

输入原始图像,其噪声模型为：V(i)＝X(i)+N(i)，X(i)为未受噪声污染的原始图像，N(i)为均值为0、方差为σ²的高斯白噪声，V(i)为受污染的图像，I表示图像域，x_j为图像中的任一像素，以x_j为中心取一个搜索窗和一个相似窗，搜索窗的大小为h×h，相似窗的大小为s×s，x₁和x_h分别为搜索窗内的第一个和最后一个像素，对该搜索窗内的所有像素进行遍历；当遍历到第i个像素时，再以x_i为中心取一个相似窗，相似窗的大小为s×s，对像素x_i和像素x_j的相似窗内的对应像素通过公式(1)进行权值运算：

其中称为高斯加权欧氏距离,N_i表示以像素x_i为中心的邻域窗区域,N_j表示以像素x_j为中心的邻域窗区域，a是一个大于零的高斯核标准差,h为控制滤波程度系数；

步骤二：

通过传统非局部均值算法对图像I进行滤波，对于图像I中的x_j像素点在其邻域内的滤波值为:

其中,权重w_i,j依赖于像素x_i和像素x_j之间的相似性，即式(1)；

步骤三：

进行权重对称性优化：分析权重计算公式后可以得知，对于像素点x和y，以x为中心的相似窗和以y为中心的相似窗的权重分别为w_x,y和w_y,x，由于x到y的距离与y到x的距离相同，可以得到：

结合式(1)与式(3)得到w_x,y＝w_y,x，即两个像素间的权重只需计算一次；

步骤四：

通过下采样步长d抽样图像中的像素进一步减少通过高斯核权重计算的像素数量：

原始图像像素数为m×n，下采样过程中的抽样由一个独立的随机变量{L_j}ⁿ _j决定，变量L_j＝1对应图像像素被采样的概率p_j，L_j＝0对应图像像素不被采样的概率1-p_j，记为公式(4)和(5)：

P_s[L_j＝1]＝p_j (4)

P_s[L_j＝0]＝1-p_j (5)

其中，0≤p_j≤1，参考变量p＝[p₁,…,p_n]^T作为算法中的抽样模式，采用w_j代表图像第j个像素计算得到的权重值，则当L_j＝1时，第j个像素被采样：

下采样步长d为一个随机数，则下采样抽样率Fn是一个随机变量：

其期望值E[Fn]为：

其中，F_n和ξ分别是实际采样率和平均采样率；原始的非局部均值算法相当于ξ＝1,此时有p＝[1,…,1]^T，即图像中的所有像素被抽样；对于随机步长d，公式(2)中的分子与分母通过两个随机变量A(P)和B(P)可以近似表示如下：

计算出A(P)和B(P)的期望值u_A和u_B分别如下：

步骤五：

在权重对称性的基础上，得到最终滤波值z(p)的估算值为：

步骤五中，对被抽样到的图像像素点的权重利用权重公式计算,未被抽样到的像素的权重使用双线性插值进行计算。

所述下采样的伪代码为：

输入:图像像素数大小m×n,搜索窗大小h,相似窗大小s,下采样步长d

输出:随机变量L_j～p_j,图像像素滤波值z(p)

for i＝0；i<m；i+＝d do

列上跳过的点用双线性插值计算权重

for j＝0；j<n；j+＝d do

抽样到的点利用公式(7)计算权重

行上跳过的点用双线性插值计算权重

end for

计算像素估计值z(p)＝A(P)/B(P)

end for。

优选地，搜索窗的大小为9×9，所述相似窗的大小为5×5。

优选地，下采样步长的大小为4。

本发明的有益效果如下：

1.与传统NLM算法相比,大幅减少了图像的去噪时间,能够满足手机等移动终端上的实时图像处理要求；

2.本发明给出的优选实施例，可以保证图像去噪过程中图像质量轻微损失。

附图说明：

图1为本发明算法过程流程图；

图2为本发明权值计算示意图；

图3为本发明权重对称计算示意图；

图4为本发明算法实际应用示例原噪声图；

图5至图13分别为本发明算法实际应用中步长大小为0至8时的原噪声图的处理效果图；

具体实施方式：

依照以下的附图详细说明关于本发明的示例性实施例。

如图1、图2和图3所示一种基于非局部均值的图像快速去噪方法，其特征在于，包括以下步骤：

步骤一：

如图1所示，输入原始图像,其噪声模型为：V(i)＝X(i)+N(i)，X(i)为未受噪声污染的原始图像，N(i)为均值为0、方差为σ²的高斯白噪声，V(i)为受污染的图像，I表示图像域，如图2所示，x_j为图像中的任一像素，以x_j为中心取一个搜索窗和一个相似窗，搜索窗的大小为h×h，相似窗的大小为s×s，x₁和x_h分别为搜索窗内的第一个和最后一个像素，对该搜索窗内的所有像素进行遍历；当遍历到第i个像素时，再以x_i为中心取一个相似窗，相似窗的大小为s×s，对像素x_i和像素x_j的相似窗内的对应像素通过公式(1)进行权值运算：

其中称为高斯加权欧氏距离,N_i表示以像素x_i为中心的邻域窗区域,N_j表示以像素x_j为中心的邻域窗区域，a是一个大于零的高斯核标准差,h为控制滤波程度系数；

步骤二：

通过传统非局部均值算法对图像I进行滤波，对于图像I中的x_j像素点在其邻域内的滤波值为:

其中,权重w_i,j依赖于像素x_i和像素x_j之间的相似性，即式(1)；

步骤三：

如图3所示，进行权重对称性优化：分析权重计算公式后可以得知，对于像素点x和y，以x为中心的相似窗和以y为中心的相似窗的权重分别为w_x,y和w_y,x，由于x到y的距离与y到x的距离相同，可以得到：

结合式(1)与式(3)得到w_x,y＝w_y,x，即两个像素间的权重只需计算一次；

步骤四：

通过下采样步长d抽样图像中的像素进一步减少通过高斯核权重计算的像素数量：

原始图像像素数为m×n，下采样过程中的抽样由一个独立的随机变量{L_j}ⁿ _j决定，变量L_j＝1对应图像像素被采样的概率p_j，L_j＝0对应图像像素不被采样的概率1-p_j，记为公式(4)和(5)：

P_s[L_j＝1]＝p_j (4)

P_s[L_j＝0]＝1-p_j (5)

其中，0≤p_j≤1，参考变量p＝[p₁,…,p_n]^T作为算法中的抽样模式，采用w_j代表图像第j个像素计算得到的权重值，则当L_j＝1时，第j个像素被采样：

下采样步长d为一个随机数，则下采样抽样率Fn是一个随机变量：

其期望值E[Fn]为：

其中，F_n和ξ分别是实际采样率和平均采样率；原始的非局部均值算法相当于ξ＝1,此时有p＝[1,…,1]^T，即图像中的所有像素被抽样；对于随机步长d，公式(2)中的分子与分母通过两个随机变量A(P)和B(P)可以近似表示如下：

计算出A(P)和B(P)的期望值u_A和u_B分别如下：

步骤五：

对被抽样到的图像像素点的权重利用权重公式计算,未被抽样到的像素的权重使用双线性插值进行计算。其中，双线性插值又称为双线性内插，在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值；双线性插值广泛应用在信号处理，图像和视频处理等应用中。

在权重对称性的基础上，算法1给出了下采样算法的伪代码,相对于公式(2),本文算法得到的最终滤波值z(p)可以近似表示为:

算法1：下采样算法的伪代码为：

输入:图像像素数大小m×n,搜索窗大小h,相似窗大小s,下采样步长d

输出:随机变量L_j～p_j,图像像素滤波值z(p)

for i＝0；i<m；i+＝d do

列上跳过的点用双线性插值计算权重

for j＝0；j<n；j+＝d do

抽样到的点利用公式(7)计算权重

行上跳过的点用双线性插值计算权重

end for

计算像素估计值z(p)＝A(P)/B(P)

end for。

搜索窗的尺寸和下采样步长与非局部均值(NLM)算法的性能和速度有密切关系,因此实验首先确定优化的搜索窗的尺寸和下采样步长。

如图4所示，选用室外远景类图像进行测试。由于实际图像拍摄产生的噪声可以近似用高斯噪声、椒盐噪声和斑点噪声来模拟,本文对所有测试图像分别添加了相同参数的高斯噪声(μ＝0,σ＝0.001),椒盐噪声(μ＝0,σ＝0.001)和斑点噪声(μ＝1,σ＝0.1)。在确定近似最优下采样步长和搜索窗、相似窗大小的过程中,所采用的测试环境为3.4Ghz CPU和4GB内存的普通PC,开发工具使用的是Matlab和Visual Studio。以下是具体确定过程：

1.确定最优搜索窗和相似窗：

如图2所示，非局部均值(NLM)算法像素权重的计算量与搜索窗和相似窗的大小成指数级关系,搜索窗与相似窗通常被限定在待处理像素的邻域内,并不是遍历整个图像,搜索窗与相似窗大小的选取是为了在平衡算法的去效果与计算时间。搜索窗与相似窗过小,无法准确表示图像的结构特征,太大就会增加算法的复杂度,因此需要选取一个合适的搜索窗和相似窗尺寸。

经过一些初步的实验测试,当搜索窗和相似窗选取过大时,无法在移动设备上实现图像的实时处理。当搜索窗口超过9×9,算法的时间复杂度将会大幅度增加。测试图像在9×9的搜索窗和5×5相似窗下算法已经达到最好的效果。扩大搜索窗与相似窗可以提高PSNR,当搜索窗过大时,再增大搜索窗不但不能提高去噪效果,还会增加计算时间。因此本文选取9×9搜索窗、5×5相似窗作为本文的最优搜索窗和相似窗,可以使图像滤波时间和PSNR达到一个较为合适的折衷。

2.确定最优下采样步长：

为了确定最优的下采样步长，本文测试了不同下采样步长(步长的选取范围从0到8)下各类测试图像的去噪效果，效果图如图5至图13所示。

从图6可以看出，当下采样步长较小时，原图像中的许多边缘和纹理细节等特征可以很好地得到保留，塔尖的细节能清晰地看到。但随着下采样步长增大到步长为5时，图像的细节信息开始慢慢丢失，当步长为8时，塔尖的细节已经被模糊掉。因此下采样步长不应该选取太大，否则会严重影响图像的去噪效果。因此亟待需要确定一个相对较优的下采样步长，在图像去噪效果和处理时间之间达到一个较为合适的折衷。

为了定量地衡量去噪效果，本文选取了测试图像滤波时间、PSNR和PSNR下降值三项指标对测试图像的去噪效果进行分析，以确定最优的下采样步长。表1给出了采用不同下采样步长下处理一幅室内远景类测试图像PSNR,PSNR的下降值与滤波时间。

表1不同下采样步长下时间和PSNR

步长	PSNR	PSNR下降值	滤波总时间
				0	40.1013	0.000	6012ms
1	40.0876	0.0137	2370ms
				2	40.0650	0.0363	1520ms
3	40.0471	0.0542	1166ms
				4	40.0099	0.0914	245ms
5	39.9738	0.1275	171ms
				6	39.9378	0.1635	125ms
7	39.8838	0.2175	93ms
				8	39.8638	0.2375	78ms

从表1可以看出，当步长较小时PSNR下降较慢，当步长超过4时下降地较快，当下采样步长为4时，PSNR的下降值大约为0.0914dB，下降较小远低于人眼能感知的程度，步长为4时的去噪处理时间245ms相对于不下采样6012ms，有效降低了去噪处理时间。因此本文为了较好地把NLM算法应用于手机选择下采样步长为4为优化步长，能在算法去噪时间与PSNR之间达到一个较为合适地折衷。

本发明提出了一种基于非局部均值的图像快速去噪方法，首先依据权重对称性减少了一半的像素权重计算量，然后通过下采样抽取图像中的部分像素点，并利用权重计算公式计算采样像素点的权重，未采样到像素点的权重使用双线性插值进行计算，在轻微图像质量损失的情况下，大大减少了去噪处理时间。很好地保持图像的边缘及纹理特征，比较适用于手机等计算能力有限的移动终端。

以上所述仅为本发明示意性的具体实施方式，并非用以限定本发明的范围，任何本领域的技术人员在不脱离本发明构思和原则的前提下所做出的等同变化与修改，均应属于本发明保护的范围。

Claims (5)

1.一种基于非局部均值的图像快速去噪方法，其特征在于，包括以下步骤：

步骤一：

输入原始图像,其噪声模型为：V(i)＝X(i)+N(i)，X(i)为未受噪声污染的原始图像，N(i)为均值为0、方差为σ²的高斯白噪声，V(i)为受污染的图像，I表示图像域,x_j为图像中的任一像素，以x_j为中心取一个搜索窗和一个相似窗，搜索窗的大小为h×h，相似窗的大小为s×s，x₁和x_h分别为搜索窗内的第一个和最后一个像素，对该搜索窗内的所有像素进行遍历；当遍历到第i个像素时，再以x_i为中心取一个相似窗，相似窗的大小为s×s，对像素x_i和像素x_j的相似窗内的对应像素通过公式(1)进行权值运算：

其中称为高斯加权欧氏距离,N_i表示以像素x_i为中心的邻域窗区域,N_j表示以像素x_j为中心的邻域窗区域，a是一个大于零的高斯核标准差,h为控制滤波程度系数；

步骤二：

通过传统非局部均值算法对图像I进行滤波，对于图像I中的x_j像素点在其邻域内的滤波值为:

其中,权重w_i,j依赖于像素x_i和像素x_j之间的相似性，即式(1)；

步骤三：

进行权重对称性优化：分析权重计算公式后可以得知，对于像素点x和y，以x为中心的相似窗和以y为中心的相似窗的权重分别为w_x,y和w_y,x，由于x到y的距离与y到x的距离相同，可以得到：

结合式(1)与式(3)得到w_x,y＝w_y,x，即两个像素间的权重只需计算一次；

步骤四：

通过下采样步长d抽样图像中的像素进一步减少通过高斯核权重计算的像素数量：

原始图像像素数为m×n，下采样过程中的抽样由一个独立的随机变量决定，变量L_j＝1对应图像像素被采样的概率p_j，L_j＝0对应图像像素不被采样的概率1-p_j，记为公式(4)和(5)：

P_s[L_j＝1]＝p_j (4)

P_s[L_j＝0]＝1-p_j (5)

其中，0≤p_j≤1，参考变量p＝[p₁,…,p_n]^T作为算法中的抽样模式，采用w_j代表图像第j个像素计算得到的权重值，则当L_j＝1时，第j个像素被采样：

下采样步长d为一个随机数，则下采样抽样率F_n是一个随机变量：

其期望值E[F_n]为：

其中，F_n和ξ分别是实际采样率和平均采样率；原始的非局部均值算法相当于ξ＝1,此时有p＝[1,…,1]^T，即图像中的所有像素被抽样；对于随机步长d，公式(2)中的分子与分母通过两个随机变量A(P)和B(P)表示如下：

计算出A(P)和B(P)的期望值u_A和u_B分别如下：

步骤五：

在权重对称性的基础上，得到最终滤波值z(p)的估算值为：

2.根据权利要求1所述的一种基于非局部均值的图像快速去噪方法，其特征在于，所述步骤五中，对被抽样到的图像像素点的权重利用权重公式计算,未被抽样到的像素的权重使用双线性插值进行计算。

3.根据权利要求1所述的一种基于非局部均值的图像快速去噪方法，其特征在于，所述下采样的伪代码为：

输入:图像像素数大小m×n,搜索窗大小h,相似窗大小s,下采样步长d

输出:随机变量L_j～p_j,图像像素滤波值z(p)

for i＝0；i<m；i+＝d do

列上跳过的点用双线性插值计算权重

for j＝0；j<n；j+＝d do

抽样到的点利用公式(7)计算权重

行上跳过的点用双线性插值计算权重

end for

计算分子

计算分母

计算像素估计值z(p)＝A(P)/B(P)

end for。

4.根据权利要求1所述的一种基于非局部均值的图像快速去噪方法，其特征在于，所述搜索窗的大小为9×9，所述相似窗的大小为5×5。

5.根据权利要求1所述的一种基于非局部均值的图像快速去噪方法，其特征在于，所述下采样步长的大小为4。