CN110706181B - 一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统 - Google Patents

一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统 Download PDF

Info

Publication number
CN110706181B
CN110706181B CN201910957331.7A CN201910957331A CN110706181B CN 110706181 B CN110706181 B CN 110706181B CN 201910957331 A CN201910957331 A CN 201910957331A CN 110706181 B CN110706181 B CN 110706181B
Authority
CN
China
Prior art keywords
image
filters
model
carrying
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910957331.7A
Other languages
English (en)
Other versions
CN110706181A (zh
Inventor
李東洁
金�一
陈怀安
陈恩红
竺长安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201910957331.7A priority Critical patent/CN110706181B/zh
Publication of CN110706181A publication Critical patent/CN110706181A/zh
Application granted granted Critical
Publication of CN110706181B publication Critical patent/CN110706181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统，方法包括：获取训练数据集，并对训练数据集中的图像进行裁剪，得到块图像；搭建网络模型，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式，并引入多尺度结构，得到端到端的图像去噪模型；设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型；将噪声图片变换处理后输入到训练好的图像去噪模型中，将得到的图片做平均操作后输出去噪后的图片。本发明能够降低网络的参数量同时保证网络的去噪性能，且能够在去除图片噪声的同时保留住图片锋利的边缘和精细的细节信息。

Description

一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统
技术领域
本发明涉及图像去噪技术领域，尤其涉及一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统。
背景技术
图像去噪是计算机视觉领域一个经典而又活跃的问题。人们在获取图像的过程中，会由于光照、温度、天气等不可抗拒外部环境噪声的干扰，和电阻、电磁等元器件对于成像设备的影响，导致图像在数字化和成像过程中产生噪声，从而影响图像质量，进而影响后期的图像传播和图像处理，如动作识别、图像分割等。因此，图像去噪技术具有非常重要的研究意义。
针对不同图像自身的特点以及噪声的规律，目前，图像去噪算法主要分为：传统去噪算法和基于深度神经网络的去噪算法。传统去噪算法主要分为：稀疏模型、梯度模型、马尔可夫随机场模型和非局部自相似模型。其中最流行的是基于非局部自相似模型的方法，像BM3D、WNNM等。这种方法可以利用到图像的自相似性信息，获得了较好的去噪效果。然而，这些方法在测试的过程中涉及复杂的优化问题，这给实际应用带来了困难。而且，当图像的自相似性低的时候会产生过平滑的结果。基于深度神经网络的去噪算法，可以利用神经网络强大的非线性建模能力，通过设置合适的网络结构，可以利用图像数据集来优化网络参数，从而学习到图像的噪声特征，进而去除图片中的噪声。目前，最流行的方法包括DnCNN、Ffdnet等，，虽然这些方法取得了不错的去噪效果，然而这些方法通常是以牺牲参数量为代价来提升去噪性能的，这给实际应用带来了困难。
因此，如何有效的对图像进行去噪，是一项亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种基于多尺度膨胀卷积残差网络的图像去噪方法，能够降低网络的参数量同时保证网络的去噪性能，且能够在去除图片噪声的同时保留住图片锋利的边缘和精细的细节信息。
本发明提供了一种基于多尺度膨胀卷积残差网络的图像去噪方法，包括：
获取训练数据集，并对所述训练数据集中的图像进行裁剪，得到块图像；
搭建网络模型，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式，并引入多尺度结构，得到端到端的图像去噪模型；
设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型；
将噪声图片变换处理后输入到所述训练好的图像去噪模型中，将得到的图片做平均操作后输出去噪后的图片。
优选地，所述获取训练数据集，并对所述训练数据集中的图像进行裁剪，得到块图像，包括：
获取训练数据集，并根据网络的接受域大小对所述训练数据集中的图像进行裁剪，得到块图像。
优选地，所述设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型，包括：
将所述块图像块按照批量尺寸组合一起作为输入，利用高斯白噪声模拟真实噪声添加到所述图像块上；
设置网络模型超参数，设置权值初始化方式，设置网络模型的损失函数；
利用随机梯度下降法和反向回传算法训练所述图像去噪模型，得到训练好的图像去噪模型。
优选地，所述超参数包括：网络模型的学习率、衰减率和训练次数。
一种基于多尺度膨胀卷积残差网络的图像去噪系统，包括：
获取模块，用于获取训练数据集，并对所述训练数据集中的图像进行裁剪，得到块图像；
构建模块，用于搭建网络模型，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式，并引入多尺度结构，得到端到端的图像去噪模型；
训练模块，用于设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型；
去噪模块，用于将噪声图片变换处理后输入到所述训练好的图像去噪模型中，将得到的图片做平均操作后输出去噪后的图片。
优选地，所述获取模块在执行获取训练数据集，并对所述训练数据集中的图像进行裁剪，得到块图像时，具体用于：
获取训练数据集，并根据网络的接受域大小对所述训练数据集中的图像进行裁剪，得到块图像。
优选地，所述训练模块在执行设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型时，具体用于：
将所述块图像块按照批量尺寸组合一起作为输入，利用高斯白噪声模拟真实噪声添加到所述图像块上；
设置网络模型超参数，设置权值初始化方式，设置网络模型的损失函数；
利用随机梯度下降法和反向回传算法训练所述图像去噪模型，得到训练好的图像去噪模型。
优选地，所述超参数包括：网络模型的学习率、衰减率和训练次数。
综上所述，本发明公开了一种基于多尺度膨胀卷积残差网络的图像去噪方法，当需要对图像进行去噪时，首先获取训练数据集，并对所述训练数据集中的图像进行裁剪，得到块图像，然后搭建网络模型，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式，并引入多尺度结构，得到端到端的图像去噪模型，设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型；将噪声图片变换处理后输入到所述训练好的图像去噪模型中，将得到的图片做平均操作后输出去噪后的图片。本发明提出的网络能够更好的表示和学习低级别特征并且使网络包含更少的参数量，能够降低网络的参数量同时保证网络的去噪性能；通过在网络中选择最优的混合膨胀率模式，模式中的每一个像素对于网络的接受域有着相似的贡献，能够使网络平等的学习图片的细节信息，能够在去除图片噪声的同时保留住图片锋利的边缘和精细的细节信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明公开的一种基于多尺度膨胀卷积残差网络的图像去噪方法实施例1的方法流程图；
图2为本发明公开的一种基于多尺度膨胀卷积残差网络的图像去噪系统实施例1的结构示意图；
图3为对比不同混合膨胀率模式对于接受域影响的示意图；
图4为本发明公开的基于多尺度膨胀卷积残差网络的图像去噪的网络示意图；
图5为本发明和其他流行的去噪方法在海星上的去噪结果对比的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出的一种基于多尺度膨胀卷积残差网络的图像去噪方法，具体来说，本发明采用了残差映射，目标是学习噪声映射，得到噪声映射后，用原图像减去噪声映射即可得到去噪后的图片。更重要的是，本发明采取了一些策略提高网络的去噪表现。首先，采用了一个多尺度结构来学习网络的前两层的对于图像去噪任务非常重要的低级别特征。在这个结构中，通过几个具有不同膨胀率或者滤波器大小的并行卷积来逐步提取和细化特征。除此之外，使用对称连接将低级别特征和高级别特征连接起来。其次，为了在保持较少的参数的同时有效地扩大接受域，采用膨胀卷积来代替常规卷积。由于选择不合适的膨胀率会导致网格效应，这将会降低学习更好的特征表示的可能性。因此，本发明采用了混合膨胀率模式来消除相邻信息丢失的问题，混合膨胀率模式的设计原则是使两个非零值之间的最大距离小于等于滤波器大小：最大距离定义如下：
Mi＝max[Mi+1-2ri,Mi+1-2(Mi+1-ri),ri]；
其中，ri是膨胀率，并且Mn＝rn。并且，本发明选择每个像素对于接受域有相似的贡献的混合膨胀率模式来使网络平等的学习图片的细节信息。不同的混合膨胀率模式如图3所示，(a)、(b)、(c)分别代表[1，2，5]，[1，3，9]，[1，2，7]，从图3可以看出，本发明的混合膨胀率模式可以有效的消除网格效应，使得网络可以完整的学习到图片的信息，同时，为了使网络可以平等的学习图片信息，本发明选择每个像素对于接受域有相似贡献的混合膨胀率模式，并通过实验可以选择最佳的[1，2，7]构建网络。
为了更加清楚的对本发明的技术方案进行描述，下面以具体的实例进行说明：
如图1所示，为本发明公开的一种基于多尺度膨胀卷积残差网络的图像去噪方法实施例的方法流程图，所述方法可以包括以下步骤：
S101、获取训练数据集，并对训练数据集中的图像进行裁剪，得到块图像；
本实施例选取伯克利图像分割数据集(BSD500)中的400张灰度图像数据作为训练数据集，将块图像大小根据网络的接受域大小设置为50×50，并在训练数据集中随机裁剪约128×1,800张块图像。然后，将块图像归一化处理得到训练数据。
S102、搭建网络模型，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式，并引入多尺度结构，得到端到端的图像去噪模型；
网络模型的建立，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式(hybrid dilation rate pattern，HDP)在有效扩展网络接受域的同时平等学习图片细节信息，并引入多尺度结构来更好的表示和学习对于图片去噪任务重要的低级别特征，得到端到端的图像去噪模型。
具体的，本实施例的网络可以更好的表示和学习对于图像去噪任务重要的低级别特征。在网络中，获取上下文信息的方式有两种，一种是通过将低级别特征与高级别特征连接起来的对称连接；另一种是通过使用不同的膨胀率或滤波器尺寸从每个递归层提取不同尺度的特征并获得不同的接受域。具体的网络结构如图4所示：
第一层：将输入图像(input)分别与32个3×3、32个5×5、64个7×7的滤波器卷积操作得到的图片进行归一化处理(BN)，将处理后的图片按照通道连接在一起后与64个1×1的滤波器卷积，然后进行非线性激活(Relu)得到图像out1。
第二层：将图像out1分别与32个膨胀率为1的3×3、64个膨胀率为2的3×3、32个膨胀率为3的3×3的滤波器卷积操作得到的图片进行归一化处理(BN)，将处理后的图片按照通道连接在一起后与64个1×1的滤波器卷积，然后进行非线性激活(Relu)得到图像out2。
第三层：将图像out2与64个膨胀率为7的3×3的滤波器卷积操作得到的图片进行归一化处理(BN)，然后进行非线性激活(Relu)得到图像out3。
第四层：将图像out3与64个3×3的滤波器卷积操作得到的图片进行归一化处理(BN)，然后进行非线性激活(Relu)得到图像out4。
第五层：将图像out4与64个膨胀率为2的3×3的滤波器卷积操作得到的图片与out2按照通道连接在一起后进行归一化处理(BN)，将处理后的图片进行非线性激活(Relu)得到图像out5.
第六层：将图像out5与64个膨胀率为7的3×3的滤波器卷积操作得到的图片与out1按照通道连接在一起后进行归一化处理(BN)，将处理后的图片进行非线性激活(Relu)得到图像out6。
第七层：将图像out6与1个3×3的滤波器卷积操作得到的图像时学习到的噪声图像，将输入图像(input)减去学习到的图像得到的output作为输出。
由于输入输出的图片尺寸需要一致，因此，可以将所有的卷积的步长设置为1并且采用零填充策略。
S103、设置网络模型超参数，选择损失函数和优化方法对图像去噪模型进行训练，得到训练好的图像去噪模型；
将块图像按照批量尺寸组合一起作为输入，利用高斯白噪声模拟真实噪声添加到块图像上，设置网络模型的学习率，衰减率，训练次数等超参数，设置权值初始化方式，设置网络模型的损失函数，利用随机梯度下降法(stochastic gradient descent，SGD)和反向回传算法(back propagation，BP)训练图像去噪模型，得到训练好的图像去噪模型。
具体的，将块图像按照批量尺寸为128组合一起作为输入，利用高斯白噪声模拟的真实噪声添加到块图像上。设置训练周期为50，，设置网络模型的初始学习率为0.001，在迭代30周期后衰减到0.0001，以保证训练后期波动不会太大。使用MSRA方法初始化权重值，使得生成的权值足够随机从而收敛的全局最优解。设定网络模型的损失函数为欧式距离函数，定义如下：
Figure GDA0003790847740000081
其中，Θ是一系列可学习的参数，
Figure GDA0003790847740000082
是N对噪声/真实图片的训练块图像。
使用Adam(adaptive moment estimation)优化器训练所述图像去噪模型，得到训练好的图像去噪模型，保存训练好的图像去噪模型权重。
S104、将噪声图片变换处理后输入到训练好的图像去噪模型中，将得到的图片做平均操作后输出去噪后的图片。
本实施例选取常用的Set12数据集作为测试数据集验证去噪方法的有效性，将数据集中图片添加随机高斯白噪声模拟的真实噪声后，使用增强预测策略，将得到的噪声图片旋转和翻转后，导入到训练好的图像去噪模型后输出去噪后的图片，将得到的图片进行平均操作后得到最终的去噪后的图片。
结果分析：采用峰值信噪比(PSNR)评价去噪表现，峰值信噪比的定义如下：
Figure GDA0003790847740000083
其中，X是真实图片，X'是去噪后的图片，MSE(X,X')代表X和X'之间的均方差，定义如下：
Figure GDA0003790847740000084
其中，M、N分别代表图片的长和宽。
表1展示在Set12数据集中不同去噪方法的峰值信噪比结果，表1中可以看出本发明只在低噪声水平时(例如σ＝15)略低于DnCNN方法，在高噪声水平(例如σ＝25、σ＝50)时均高于DnCNN方法和其他流行的方法。本发明不仅获得了较好的去噪结果，而且能够使用较少的参数量。
表1在Set12数据集中不同方法的去噪结果
Methods BM3D WNNM TNRD DnCNN Ffdnet Ours
σ＝15 32.37 32.70 32.50 32.86 32.75 32.84
σ＝25 29.97 30.26 30.06 30.44 30.43 30.46
σ＝50 26.72 27.05 26.81 27.18 27.32 27.32
表2列出了不同网络去噪方法使用的参数量，从表2中可以看出本发明使用了更少的参数量，因此更适合于实际应用。
表2不同网络去噪方法使用的参数量
Methods DnCNN Ffdnet Ours
Parameters <![CDATA[5.551×10<sup>5</sup>]]> <![CDATA[5.586×10<sup>5</sup>]]> <![CDATA[2.595×10<sup>5</sup>]]>
图5展示了海星在噪声水平50的时候不同方法的去噪结果：图中从(a)到(h)分别对应Noisy、ground truth、BM3D、WNNM、EPLL、DnCNN、Ffdnet、Ours。从图5中可以看出，本发明产生了令人愉悦的去噪结果，不仅能够保留锋利的边缘和精细的细节，还能够在平滑的区域产生很好的视觉效果。
如图2所示，为本发明公开的一种基于多尺度膨胀卷积残差网络的图像去噪系统实施例的结构示意图，所述系统可以包括：
获取模块201，用于获取训练数据集，并对训练数据集中的图像进行裁剪，得到块图像；
本实施例选取伯克利图像分割数据集(BSD500)中的400张灰度图像数据作为训练数据集，将块图像大小根据网络的接受域大小设置为50×50，并在训练数据集中随机裁剪约128×1,800张块图像。然后，将块图像归一化处理得到训练数据。
构建模块202，用于搭建网络模型，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式，并引入多尺度结构，得到端到端的图像去噪模型；
网络模型的建立，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式(hybrid dilation rate pattern，HDP)在有效扩展网络接受域的同时平等学习图片细节信息，并引入多尺度结构来更好的表示和学习对于图片去噪任务重要的低级别特征，得到端到端的图像去噪模型。
具体的，本实施例的网络可以更好的表示和学习对于图像去噪任务重要的低级别特征。在网络中，获取上下文信息的方式有两种，一种是通过将低级别特征与高级别特征连接起来的对称连接；另一种是通过使用不同的膨胀率或滤波器尺寸从每个递归层提取不同尺度的特征并获得不同的接受域。具体的网络结构如图4所示：
第一层：将输入图像(input)分别与32个3×3、32个5×5、64个7×7的滤波器卷积操作得到的图片进行归一化处理(BN)，将处理后的图片按照通道连接在一起后与64个1×1的滤波器卷积，然后进行非线性激活(Relu)得到图像out1。
第二层：将图像out1分别与32个膨胀率为1的3×3、64个膨胀率为2的3×3、32个膨胀率为3的3×3的滤波器卷积操作得到的图片进行归一化处理(BN)，将处理后的图片按照通道连接在一起后与64个1×1的滤波器卷积，然后进行非线性激活(Relu)得到图像out2。
第三层：将图像out2与64个膨胀率为7的3×3的滤波器卷积操作得到的图片进行归一化处理(BN)，然后进行非线性激活(Relu)得到图像out3。
第四层：将图像out3与64个3×3的滤波器卷积操作得到的图片进行归一化处理(BN)，然后进行非线性激活(Relu)得到图像out4。
第五层：将图像out4与64个膨胀率为2的3×3的滤波器卷积操作得到的图片与out2按照通道连接在一起后进行归一化处理(BN)，将处理后的图片进行非线性激活(Relu)得到图像out5.
第六层：将图像out5与64个膨胀率为7的3×3的滤波器卷积操作得到的图片与out1按照通道连接在一起后进行归一化处理(BN)，将处理后的图片进行非线性激活(Relu)得到图像out6。
第七层：将图像out6与1个3×3的滤波器卷积操作得到的图像时学习到的噪声图像，将输入图像(input)减去学习到的图像得到的output作为输出。
由于输入输出的图片尺寸需要一致，因此，可以将所有的卷积的步长设置为1并且采用零填充策略。
训练模块203，用于设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型；
将块图像按照批量尺寸组合一起作为输入，利用高斯白噪声模拟真实噪声添加到块图像上，设置网络模型的学习率，衰减率，训练次数等超参数，设置权值初始化方式，设置网络模型的损失函数，利用随机梯度下降法(stochastic gradient descent，SGD)和反向回传算法(back propagation，BP)训练图像去噪模型，得到训练好的图像去噪模型。
具体的，将块图像按照批量尺寸为128组合一起作为输入，利用高斯白噪声模拟的真实噪声添加到块图像上。设置训练周期为50，，设置网络模型的初始学习率为0.001，在迭代30周期后衰减到0.0001，以保证训练后期波动不会太大。使用MSRA方法初始化权重值，使得生成的权值足够随机从而收敛的全局最优解。设定网络模型的损失函数为欧式距离函数，定义如下：
Figure GDA0003790847740000111
其中，Θ是一系列可学习的参数，
Figure GDA0003790847740000121
是N对噪声/真实图片的训练块图像。
使用Adam(adaptive moment estimation)优化器训练所述图像去噪模型，得到训练好的图像去噪模型，保存训练好的图像去噪模型权重。
去噪模块204，用于将噪声图片变换处理后输入到所述训练好的图像去噪模型中，将得到的图片做平均操作后输出去噪后的图片。
本实施例选取常用的Set12数据集作为测试数据集验证去噪方法的有效性，将数据集中图片添加随机高斯白噪声模拟的真实噪声后，使用增强预测策略，将得到的噪声图片旋转和翻转后，导入到训练好的图像去噪模型后输出去噪后的图片，将得到的图片进行平均操作后得到最终的去噪后的图片。
结果分析：采用峰值信噪比(PSNR)评价去噪表现，峰值信噪比的定义如下：
Figure GDA0003790847740000122
其中，X是真实图片，X'是去噪后的图片，MSE(X,X')代表X和X'之间的均方差，定义如下：
Figure GDA0003790847740000123
其中，M、N分别代表图片的长和宽。
表1展示在Set12数据集中不同去噪方法的峰值信噪比结果，表1中可以看出本发明只在低噪声水平时(例如σ＝15)略低于DnCNN方法，在高噪声水平(例如σ＝25、σ＝50)时均高于DnCNN方法和其他流行的方法。本发明不仅获得了较好的去噪结果，而且能够使用较少的参数量。
表2列出了不同网络去噪方法使用的参数量，从表2中可以看出本发明使用了更少的参数量，因此更适合于实际应用。
图5展示了海星在噪声水平50的时候不同方法的去噪结果：图中从(a)到(h)分别对应Noisy、ground truth、BM3D、WNNM、EPLL、DnCNN、Ffdnet、Ours。从图5中可以看出，本发明产生了令人愉悦的去噪结果，不仅能够保留锋利的边缘和精细的细节，还能够在平滑的区域产生很好的视觉效果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于多尺度膨胀卷积残差网络的图像去噪方法，其特征在于，包括：
获取训练数据集，并对所述训练数据集中的图像进行裁剪，得到块图像；
搭建网络模型，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式，并引入多尺度结构，得到端到端的图像去噪模型；
所述网络模型具体为：
第一层：将输入图像input分别与32个3×3、32个5×5、64个7×7的滤波器卷积操作得到的图片进行归一化处理，将处理后的图片按照通道连接在一起后与64个1×1的滤波器卷积，然后进行非线性激活得到图像out1；
第二层：将图像out1分别与32个膨胀率为1的3×3、64个膨胀率为2的3×3、32个膨胀率为3的3×3的滤波器卷积操作得到的图片进行归一化处理，将处理后的图片按照通道连接在一起后与64个1×1的滤波器卷积，然后进行非线性激活得到图像out2；
第三层：将图像out2与64个膨胀率为7的3×3的滤波器卷积操作得到的图片进行归一化处理，然后进行非线性激活得到图像out3；
第四层：将图像out3与64个3×3的滤波器卷积操作得到的图片进行归一化处理，然后进行非线性激活得到图像out4；
第五层：将图像out4与64个膨胀率为2的3×3的滤波器卷积操作得到的图片与out2按照通道连接在一起后进行归一化处理，将处理后的图片进行非线性激活得到图像out5；
第六层：将图像out5与64个膨胀率为7的3×3的滤波器卷积操作得到的图片与out1按照通道连接在一起后进行归一化处理，将处理后的图片进行非线性激活得到图像out6；
第七层：将图像out6与1个3×3的滤波器卷积操作得到的图像时学习到的噪声图像，将输入图像input减去学习到的图像得到的图像output作为输出；
设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型；
将噪声图片变换处理后输入到所述训练好的图像去噪模型中，将得到的图片做平均操作后输出去噪后的图片。
2.根据权利要求1所述的方法，其特征在于，所述获取训练数据集，并对所述训练数据集中的图像进行裁剪，得到块图像，包括：
获取训练数据集，并根据网络的接受域大小对所述训练数据集中的图像进行裁剪，得到块图像。
3.根据权利要求1所述的方法，其特征在于，所述设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型，包括：
将所述块图像块按照批量尺寸组合一起作为输入，利用高斯白噪声模拟真实噪声添加到所述图像块上；
设置网络模型超参数，设置权值初始化方式，设置网络模型的损失函数；
利用随机梯度下降法和反向回传算法训练所述图像去噪模型，得到训练好的图像去噪模型。
4.根据权利要求3所述的方法，其特征在于，所述超参数包括：网络模型的学习率、衰减率和训练次数。
5.一种基于多尺度膨胀卷积残差网络的图像去噪系统，，其特征在于，包括：
获取模块，用于获取训练数据集，并对所述训练数据集中的图像进行裁剪，得到块图像；
构建模块，用于搭建网络模型，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式，并引入多尺度结构，得到端到端的图像去噪模型；
所述网络模型具体为：
第一层：将输入图像input分别与32个3×3、32个5×5、64个7×7的滤波器卷积操作得到的图片进行归一化处理，将处理后的图片按照通道连接在一起后与64个1×1的滤波器卷积，然后进行非线性激活得到图像out1；
第二层：将图像out1分别与32个膨胀率为1的3×3、64个膨胀率为2的3×3、32个膨胀率为3的3×3的滤波器卷积操作得到的图片进行归一化处理，将处理后的图片按照通道连接在一起后与64个1×1的滤波器卷积，然后进行非线性激活得到图像out2；
第三层：将图像out2与64个膨胀率为7的3×3的滤波器卷积操作得到的图片进行归一化处理，然后进行非线性激活得到图像out3；
第四层：将图像out3与64个3×3的滤波器卷积操作得到的图片进行归一化处理，然后进行非线性激活得到图像out4；
第五层：将图像out4与64个膨胀率为2的3×3的滤波器卷积操作得到的图片与out2按照通道连接在一起后进行归一化处理，将处理后的图片进行非线性激活得到图像out5；
第六层：将图像out5与64个膨胀率为7的3×3的滤波器卷积操作得到的图片与out1按照通道连接在一起后进行归一化处理，将处理后的图片进行非线性激活得到图像out6；
第七层：将图像out6与1个3×3的滤波器卷积操作得到的图像时学习到的噪声图像，将输入图像input减去学习到的图像得到的图像output作为输出；
训练模块，用于设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型；
去噪模块，用于将噪声图片变换处理后输入到所述训练好的图像去噪模型中，将得到的图片做平均操作后输出去噪后的图片。
6.根据权利要求5所述的系统，其特征在于，所述获取模块在执行获取训练数据集，并对所述训练数据集中的图像进行裁剪，得到块图像时，具体用于：
获取训练数据集，并根据网络的接受域大小对所述训练数据集中的图像进行裁剪，得到块图像。
7.根据权利要求5所述的系统，其特征在于，所述训练模块在执行设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型时，具体用于：
将所述块图像块按照批量尺寸组合一起作为输入，利用高斯白噪声模拟真实噪声添加到所述图像块上；
设置网络模型超参数，设置权值初始化方式，设置网络模型的损失函数；
利用随机梯度下降法和反向回传算法训练所述图像去噪模型，得到训练好的图像去噪模型。
8.根据权利要求7所述的系统，其特征在于，所述超参数包括：网络模型的学习率、衰减率和训练次数。
CN201910957331.7A 2019-10-09 2019-10-09 一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统 Active CN110706181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910957331.7A CN110706181B (zh) 2019-10-09 2019-10-09 一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910957331.7A CN110706181B (zh) 2019-10-09 2019-10-09 一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统

Publications (2)

Publication Number Publication Date
CN110706181A CN110706181A (zh) 2020-01-17
CN110706181B true CN110706181B (zh) 2023-04-07

Family

ID=69200126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910957331.7A Active CN110706181B (zh) 2019-10-09 2019-10-09 一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统

Country Status (1)

Country Link
CN (1) CN110706181B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021041772A1 (en) 2019-08-30 2021-03-04 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (pet) image denoising
CN111445406B (zh) * 2020-03-24 2023-05-05 广东工业大学 一种低剂量ct图片质量改善方法、系统及设备
CN111696036B (zh) * 2020-05-25 2023-03-28 电子科技大学 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法
CN112101374B (zh) * 2020-08-01 2022-05-24 西南交通大学 基于surf特征检测和isodata聚类算法的无人机障碍物检测方法
CN112446914B (zh) * 2020-12-04 2023-08-15 中国矿业大学(北京) 一种放顶煤过程中的煤矸石质量计算方法及系统
CN113160078B (zh) * 2021-04-09 2023-01-24 长安大学 雨天交通车辆图像去雨方法、装置、设备及可读存储介质
CN113114398B (zh) * 2021-04-14 2022-01-28 中南大学 基于残差连接与膨胀卷积的通信干扰存在性检测方法
CN113191983A (zh) * 2021-05-18 2021-07-30 陕西师范大学 一种基于深度学习注意力机制的图像去噪方法及装置
CN113284042B (zh) * 2021-05-31 2023-11-07 大连民族大学 一种多路并行图像内容特征优化风格迁移方法及系统
CN113837959B (zh) * 2021-09-15 2024-04-09 山东师范大学 图像去噪模型训练方法、图像去噪方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671026A (zh) * 2018-11-28 2019-04-23 浙江大学 基于空洞卷积及自动编解码神经网络的灰度图像降噪方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354577B2 (en) * 2017-03-15 2022-06-07 Samsung Electronics Co., Ltd System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions
US10726525B2 (en) * 2017-09-26 2020-07-28 Samsung Electronics Co., Ltd. Image denoising neural network architecture and method of training the same
CN108830809B (zh) * 2018-06-05 2022-05-03 陕西师范大学 一种基于膨胀卷积图像去噪方法
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671026A (zh) * 2018-11-28 2019-04-23 浙江大学 基于空洞卷积及自动编解码神经网络的灰度图像降噪方法

Also Published As

Publication number Publication date
CN110706181A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN110706181B (zh) 一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统
CN109003240B (zh) 一种基于多尺度并行cnn的图像去噪方法
CN109859147B (zh) 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN107633486B (zh) 基于三维全卷积神经网络的结构磁共振图像去噪方法
Welling et al. Learning sparse topographic representations with products of student-t distributions
JP6057881B2 (ja) ノイズを含む画素からなる入力画像のノイズを除去する方法
CN108830809B (zh) 一种基于膨胀卷积图像去噪方法
CN110648292B (zh) 一种基于深度卷积网络的高噪声图像去噪方法
CN112419184B (zh) 一种综合局部信息和全局信息的空间注意力图像去噪方法
CN111192211B (zh) 一种基于单个深度神经网络的多噪声类型盲去噪方法
CN110276726B (zh) 一种基于多通道网络先验信息引导的图像去模糊方法
CN110490816B (zh) 一种水下异构信息数据降噪方法
CN108765330B (zh) 基于全局和局部先验联合约束的图像去噪方法和装置
CN112634146B (zh) 基于多种注意力机制的多通道cnn医学ct图像去噪方法
CN112991198A (zh) 一种基于噪声建模的盲去噪方法
CN101477681A (zh) 基于自适应滑窗邻域阈值的小波图像降噪方法
CN112801889A (zh) 图像去噪方法、系统、设备及存储介质
CN113256508A (zh) 一种改进的小波变换与卷积神经网络图像去噪声的方法
CN114742911A (zh) 图像压缩感知重建方法、系统、设备及介质
CN115082336A (zh) 一种基于机器学习的sar图像相干斑抑制方法
CN113191972A (zh) 一种轻量真实图像去噪的神经网络设计及训练方法
CN102289800B (zh) 基于Treelet的Contourlet域图像去噪方法
CN112801897A (zh) 一种基于宽卷积神经网络的图像去噪方法
CN111652810A (zh) 一种基于小波域奇异值差分模型的图像去噪方法
CN115829870A (zh) 一种基于可变尺度滤波的图像去噪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant