CN108986047B - 图像降噪方法 - Google Patents

Abstract

本发明公开了一种图像降噪方法，包括：根据获取到的自然图像，以及在已知方差的高斯分布中采样得到的加性噪声，来构造成对的训练数据集与验证数据集，并对训练数据集进行预处理；将卷积神经网络作为Boosting单元，基于SOS算法搭建深度提升框架模型；利用预处理后的训练数据集对深度提升框架模型进行训练，并调整相应的模型参数；利用验证数据集调整训练后的深度提升框架模型的结构超参数与优化超参数；再利用验证数据集对深度提升框架模型进行验证，选出恢复损失最小的模型参数，从而确定最终的深度提升框架模型；利用最终的深度提升框架模型实现图像降噪。采用上述方法可以提高图像降噪性能。

Description

图像降噪方法

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种图像降噪方法。

背景技术

数字图像采集过程中存在复杂的噪声，其中包含电子元器件的热噪声、传感器读取转换噪声、信号传输噪声等。

通常，独立同分布的零均值高斯模型v～N(0,σ²)被用来建模这类加性噪声。设图像信号为x，则被噪声污染的图像可表示为y＝x+v。为了减少图像中的噪声，基于图像先验模型的方法被广泛地研究。例如，非局部近似模型(A.Buades,B.Coll,and J.M.Morel,“Nonlocal image and moviedenoising.”in International Journal of ComputerVision 2008,pp.123-139)，稀疏表达模型(M.Elad,and M.Aharon,“Image denoising viasparse and redundant representationsover learned dictionaries.”in IEEETransactions on Image Processing 2006,pp.3736-3745)，块匹配三维协同滤波BM3D模型(K.Dabov,A.Foi,V.Katkovnik,and K.Egiazarian,“Image denoising by sparse 3-dtransform-domain collaborative filtering.”in IEEE Transactions on ImageProcessing2007,pp.2080-2095)等。然而，这类方法在恢复被较强噪声污染的图像时，恢复结果的鲁棒性较弱。

近年来，随着图形处理器性能的提升与并行计算框架的发展，基于学习的方法备受关注。其中，简单的多层感知机(Multiple Layer Perception,MLP)模型取得了与BM3D相近的结果(H.C.Burger,C.J.Schuler and S.Harmeling,“Image denoising:Can plainneuralnetworks compete with bm3d？”in IEEE Conference on Computer Vision andPattern Recognition 2012,pp.2392-2399)。

此外，基于经典模型的提升算法(Boosting)也被引入图像降噪问题。设已恢复的图像为

该类方法通过重复提取残差

中的图像信号，或去除

中的残留噪声，迭代地提升图像恢复性能。Y.Romano提出了一种提升算法的新颖变体(Y.Romano,and M.Elad,“Boosting of image denoisingalgorithms.”in Siam Journal on ImagingSciences2015,pp.1187-1219)，称为Strengthen-Operate-Subtract(SOS)算法。通过处理增强的信号

该算法使信噪比随着迭代逐渐增强，取得了一定的性能提升。然而，基于经典模型的提升算法仍存在较大的性能差距，其优势未被充分挖掘。

发明内容

本发明的目的是提供一种图像降噪方法，可以提高图像降噪性能。

本发明的目的是通过以下技术方案实现的：

一种图像降噪方法，包括：

根据获取到的自然图像，以及在已知方差的高斯分布中采样得到的加性噪声，来构造成对的训练数据集与验证数据集，并对训练数据集进行预处理；

将卷积神经网络作为Boosting单元，基于SOS算法搭建深度提升框架模型；

利用预处理后的训练数据集对深度提升框架模型进行训练，并调整相应的模型参数；

利用验证数据集调整训练后的深度提升框架模型的结构超参数与优化超参数；再利用验证数据集对深度提升框架模型进行验证，选出恢复损失最小的模型参数，从而确定最终的深度提升框架模型；

利用最终的深度提升框架模型实现图像降噪。

由上述本发明提供的技术方案可以看出，将CNN模型引入经典的提升算法，利用深度学习框架优化参数，提高了图像降噪性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种图像降噪方法的流程图；

图2为本发明实施例提供的深度提升框架模型的示意图；

图3为本发明实施例提供的膨胀稠密混合卷积神经网络的示意图；

图4为本发明实施例提供的一组灰度图像降噪视觉结果对比图；

图5为本发明实施例提供的另一组灰度图像降噪视觉结果对比图；

图6为本发明实施例提供的一组图像去块效应视觉结果对比图；

图7为本发明实施例提供的另一组图像去块效应视觉结果对比图；

图8为本发明实施例提供的不同设置的深度提升框架在灰度图像降噪任务的性能对比图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种图像降噪方法，其用于降低图像恢复中的噪声；如图1所示，其主要包括如下步骤：

步骤1、根据获取到的自然图像，以及在已知方差的高斯分布中采样得到的加性噪声，来构造成对的训练数据集与验证数据集，并对训练数据集进行预处理。

本步骤主要包括数据集构造与预处理两部分：

1、数据集构造。

本发明实施例中，假设获取到的自然图像为x，在已知方差σ的高斯分布N(0,σ²)中采样得到与x相同分辨率的加性噪声v；然后，将噪声v加入自然图像x，得到带有噪声的自然图像y＝x+v；其中，每一对图像数据中的y作为深度提升框架模型的输入，x作为训练目标；最后，收集若干组配对图像数据{y,x}，以一定比例进行分割，形成成对的训练数据集D与验证数据集V。示例性的，可以将数据以9:1分割成训练数据集D，验证数据集V。

2、预处理。

对于训练数据集D而言，将其中的每一对图像数据{y_D,x_D}进行剪裁，得到若干相同分辨率的图像块；再将剪裁y_D和x_D得到的图像块各自拼接成具有相同数量图像块的图像批，用于随机梯度下降；最后，在图像批内进行随机扩增，包括以下一种或多种方式：90度旋转、180度旋转、270度旋转、左右翻转、上下镜像。

步骤2、将卷积神经网络作为Boosting单元，基于SOS算法搭建深度提升框架模型。

本发明实施例中，所搭建的深度提升框架模型参照文献(Y.Romano,and M.Elad,“Boosting of image denoisingalgorithms.”in Siam Journal on ImagingSciences2015,pp.1187-1219)的方法实现。该方法中，设原始自然图像为x，独立同分布的加性高斯噪声为v，则带有噪声的图像y可定义为：

y＝x+v

假设有某种降噪算法S(·)作用于带有噪声的图像，可得恢复的图像

定义为：

然而，恢复的图像

与原始图像x存在误差，定义为u：

其中，x_r表示未被算法S(·)恢复的图像信号，v_r表示残留的噪声。基于经典模型的SOS提升算法可用迭代的公式表达：

其中，S(·)表示任意一种经典的图像降噪方法。

通过简易的推导，可得：

只要存在一个“弱”降噪模型使得‖u‖≤‖v‖，则根据Cauchy-Schwarz不等式易得

的信噪比大于y的信噪比。

本发明实施例中，基于上述文献中的方法进行了一系列改进，主要为：1)将提升算法(Boosting)的降噪单元参数化，引入卷积神经网络模型；2)去除显示的减法约束，使框架拥有更高的自由度；3)将迭代算法展开成前向传播形式，得到深度提升框架模型，使整体框架能够端到端地优化。

本发明实施例所搭建的深度提升框架模型，将迭代的过程展开成一次级联数量为n的前向传播形式，输入的带有噪声的自然图像y，得到恢复的图像

表示为：

其中，θ表示所有可训练的模型参数，S_θ(·)表示膨胀稠密混合卷积神经网络，该网络替换了经典的图像降噪方法；深度提升框架模型不再是迭代的形式，而是将迭代的过程展开成了一次级联数量为n的前向传播，下标1、2、n-1、n表示膨胀稠密混合卷积神经网络中前向传播过程中级联单元的序号。

如图2所示的深度提升框架模型示意图，y表示输入带噪图像，

表示恢复的图像，B.Unit_n表示由CNN实现的Boosting单元。

本发明实施例中，S_θ(·)使用膨胀稠密混合卷积神经网络(Dilated DenseFusion Network,DDFN)实现；膨胀稠密混合卷积神经网络的损失函数使用均方根误差，设B为图像批的数量，则有：

其中，

为恢复得到的图像，x为图像批中的图像，i为图像序号；

膨胀稠密混合卷积神经网络中，稠密连接表示为：

f_l＝g_l([f₀,f₁,…,f_l-1])；

其中，f_l为第l层的特征，g_l为运算操作，f₀,f₁,…,f_l-1为第0,1,…,l-1层的特征。

如图3所示，膨胀稠密混合卷积神经网络采用拓宽混合的连接方式，混合块中包含两条支路，每条支路上包含卷积与膨胀卷积操作，非线性激活函数使用ReLU(K.He,X.Zhang,S.Ren,and J.Sun,“Delving Deep into Rectifiers:Surpassing Human-LevelPerformance on ImageNet Classification.”in IEEE International Conference onComputer Vision 2015,pp.1026-1034)。图3中C表示卷积，D表示膨胀卷积，其后的数字代表方形卷积核的大小，+号表示通道拼接操作。

本发明实施例中，(1)使用稠密连接(dense connection)可以缓解反向传播梯度弥散与爆炸，改善整体框架的收敛性能；(2)使用膨胀卷积操作可以扩大感受野，提升恢复质量；(3)使用拓宽混合(path-widening fusion)的连接方式提高参数使用效率。

本发明实施例中的膨胀卷积操作可以采用文献(F.Yu,V.Koltun,andT.Funkhouser,“Dilated Residual Networks.”in IEEE Conference on ComputerVision and Pattern Recognition 2017,pp.636-644)的方法实现。

此外，本发明实施例中的步骤1与步骤2可以不区分执行的先后顺序，即，可以一前一后执行，也可以同步执行。

步骤3、利用预处理后的训练数据集对深度提升框架模型进行训练，并调整相应的模型参数。

本发明实施例中，基于预处理后的训练数据集使用随机梯度下降算法更新深度提升框架模型参数直至收敛。

步骤4、利用验证数据集再次调整训练后的深度提升框架模型的结构超参数与优化超参数；再利用验证数据集对深度提升框架模型进行验证，选出恢复损失最小的模型参数，从而确定最终的深度提升框架模型。

本发明实施例中，所述结构超参数主要包括卷积核大小、通道数等；优化的超参数主要包括如学习率、正则化损失系数等。

步骤5、利用最终的深度提升框架模型实现图像降噪。

本发明实施例上述方法将CNN模型引入经典的提升算法，利用深度学习框架优化参数，提高图像降噪性能。特别地，本发明要提出更好的CNN结构作为提升算法单元，缓解深度神经网络收敛的困难，同时充分利用可训练参数，保证较低的计算复杂度。与基于经典模型的提升算法相比，本方法在通用测试数据集上取得了显著的性能提升；与目前基于深度学习的方法相比，本方法在多个图像恢复任务中取得了一致的性能改进。

为了测试本方法的有效性，首先将本发明上述方法与基于经典模型的SOS提升方法进行比较，如表1所示。

表1深度提升框架与基于经典模型的提升框架结果对比表

其次，在通用数据集Set12与BSD68上与现有方法(MLP、CSF、....、UNLNets)进行灰度图像降噪结果的比较，如表2、图4～图5所示。同时，还进行彩色图像降噪结果的比较，比较结果未示出。从灰度/彩色图像降噪结果的比较来看，本发明上述方法的性能明显优于现有方法。

表1灰度图像降噪结果对比表

此外，还在通用数据集Classic5与LIVE1上验证了本发明上述方法在JPEG图像去块效应问题上的有效性，如表3、图6～图7所示。

表3图像去块效应结果对比表

实验结果表明，本发明上述方法不仅在数值测度(如PSNR、SSIM)上有一致的性能提高，取得了目前最好的图像恢复准确度，并且在恢复图像的视觉质量上也有显著的改进。

另外，为了说明本发明上述方法在被较强噪声污染图像的恢复上有显著地效果提升，还与现有基于图像先验模型的方法进行了相关实验，实验结果如表4所示。

表4灰度图像盲(Blind)降噪结果对比表

其中，盲表示输入图像的噪声强度未知。在v～N(0,σ²)模型中，σ可表示噪声的强度，即σ越大噪声强度越强。

在上述实验中，-x3表示展开的深度提升框架有三级，即n＝3；同理-x5表示具有五级，n＝5。“W”是Wide的简写，表示使用了卷积通道数量较多的DDFN来搭建深度提升框架，表中的标记意义相同。通过实验比较了级联数量(比如-x3,-x5)与DDFN(提升单元)通道数量(比如更宽，W)对深度提升框架性能的影响，如图8所示，图8中使用了Set12测试集。在实际应用中，用户可以根据实际情况来深度提升框架的具体参数做相应调整。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种图像降噪方法，其特征在于，包括：

根据获取到的自然图像，以及在已知方差的高斯分布中采样得到的加性噪声，来构造成对的训练数据集与验证数据集，并对训练数据集进行预处理；

将卷积神经网络作为Boosting单元，基于SOS算法搭建深度提升框架模型；

利用预处理后的训练数据集对深度提升框架模型进行训练，并调整相应的模型参数；

利用验证数据集调整训练后的深度提升框架模型的结构超参数与优化超参数；再利用验证数据集对深度提升框架模型进行验证，选出恢复损失最小的模型参数，从而确定最终的深度提升框架模型；

利用最终的深度提升框架模型实现图像降噪；

其中，搭建的深度提升框架模型中去除了显示的减法约束，且将迭代算法展开成一次级联数量为n的前向传播形式，输入的带有噪声的自然图像y，得到恢复的图像

表示为：

其中，S_θ(·)表示膨胀稠密混合卷积神经网络，下标1、2、n-1、n表示膨胀稠密混合卷积神经网络中前向传播过程中级联单元的序号，膨胀稠密混合卷积神经网络采用拓宽混合的连接方式，混合块中包含两条支路，每条支路上包含卷积与膨胀卷积操作，非线性激活函数使用ReLU；θ表示所有可训练的模型参数。

2.根据权利要求1所述的一种图像降噪方法，其特征在于，所述根据获取到的自然图像，以及在已知方差的高斯分布中采样得到的加性噪声，来构造成对的训练数据集与验证数据集包括：

假设获取到的自然图像为x，在已知方差σ的高斯分布N(0,σ²)中采样得到与x相同分辨率的加性噪声v；

将噪声v加入自然图像x，得到带有噪声的自然图像y＝x+v；其中，每一对图像数据中的y作为深度提升框架模型的输入，x作为训练目标；

收集若干组配对图像数据{y,x}，以一定比例进行分割，形成成对的训练数据集D与验证数据集V。

3.根据权利要求1或2所述的一种图像降噪方法，其特征在于，所述的预处理操作包括：

对于训练数据集D而言，将其中的每一对图像数据进行剪裁，得到若干相同分辨率的图像块；再将剪裁得到的图像块各自拼接成具有相同数量图像块的图像批，用于随机梯度下降；最后，在图像批内进行随机扩增，包括以下一种或多种方式：90度旋转、180度旋转、270度旋转、左右翻转、上下镜像。

4.根据权利要求1所述的一种图像降噪方法，其特征在于，膨胀稠密混合卷积神经网络采用拓宽混合的连接方式，混合块中包含两条支路，每条支路上包含卷积与膨胀卷积操作，非线性激活函数使用ReLU；

膨胀稠密混合卷积神经网络的损失函数使用均方根误差，设B为图像批的数量，则有：

其中，

为恢复得到的图像，x为图像批中的图像，i为图像序号；

膨胀稠密混合卷积神经网络中，稠密连接表示为：

f_l＝g_l([f₀,f₁,…,f_l-1])；

其中，f_l为第l层的特征，g_l为运算操作，f₀,f₁,…,f_l-1为第0,1,…,l-1层的特征。

Images