CN111598804B - 基于深度学习的图像多级去噪方法 - Google Patents

基于深度学习的图像多级去噪方法 Download PDF

Info

Publication number
CN111598804B
CN111598804B CN202010397663.7A CN202010397663A CN111598804B CN 111598804 B CN111598804 B CN 111598804B CN 202010397663 A CN202010397663 A CN 202010397663A CN 111598804 B CN111598804 B CN 111598804B
Authority
CN
China
Prior art keywords
image
feature extraction
sampling
module
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010397663.7A
Other languages
English (en)
Other versions
CN111598804A (zh
Inventor
张静
桑柳
万泽康
邵旻昊
李云松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010397663.7A priority Critical patent/CN111598804B/zh
Publication of CN111598804A publication Critical patent/CN111598804A/zh
Application granted granted Critical
Publication of CN111598804B publication Critical patent/CN111598804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种图像多级去噪方法，主要解决现有技术存在图像细节丢失和图像降噪效果差的问题。其实现方案是：根据图像多级尺度特征有助于含噪图像恢复为干净图像的特点，在现有的图像采样单元上进行改进构建图像上、下采样模块；利用上、下采样模块构建菱形模块，以提取图像的多级特征；利用菱形模块构建V形子网，以提取图像的浅层特征；利用多个卷积层和V形子网进行不同的组合构成图像多级去噪网络；构建损失函数并对该多级去噪网络进行训练；将待去噪图像输入到中训练好的去噪网络进行处理，输出去噪后的图像。本发明避免了由于过度下采样带来的图像细节信息丢失，保持了图像的多级特征信息，提高了降噪效果，可用于图像的高斯白噪声去噪。

Description

基于深度学习的图像多级去噪方法
技术领域
本发明属于图像处理技术领域，更进一步涉及一种图像多级去噪方法，可用于图像的高斯白噪声去噪。
背景技术
图像作为人们最常用的信息载体之一，包含着大量的信息，是人们获取信息的重要途径。而图像在获取、传输等过程中常常受到不同程度的噪声的干扰，噪声的存在会导致图像的质量下降，严重的噪声可能淹没图像本身的有用信息，为人们的观察和使用带来不便，同时还会影响图像后续诸如图像分割、目标检测等处理的精度。因此，对图像中噪声的去除是十分有必要的，在去噪的同时尽可能的保留图像的有用信息，是图像去噪的要点也是难点。
随着深度学习技术的发展，国内外的学者已经提出了很多基于深度学习的图像去噪算法，并且相对于传统算法有了更大的改进，取得了较好的去噪效果。Mao等人在其发表的论文“Image Restoration Using Very Deep Convolutional Encoder-DecoderNetworks with Symmetric Skip Connections”中提出了REDnet网络用于图像去噪，REDnet采用了对称的编码-解码结构，用多级图像下采样实现图像编码，用多级图像上采样实现图像解码，每隔固定的下采样层就采用一个跳跃连接层与对应的上采样层相连接。Zhang等人在其发表的论文“Beyond a Gaussian Denoiser:Residual Learning of DeepCNN for Image Denoising”中提出了DnCNN网络用于图像去噪，采用多个卷积、批量归一化和激活函数层堆叠的方式组成网络。这两种方法均在当时取得了图像去噪的良好效果，但它们也存在着一定的问题，REDnet通过对图像的多级采样改变图像的尺寸，即在图像的多级尺度下提取图像特征用于去噪效果的提升，但是图像的过度采样容易丢失图像的细节信息，反而不利于去噪后图像的后续处理；DnCNN在对图像的处理中没有发生图像尺寸的变化，即基于固定的图像尺度，通过加深网络层数来提升网络性能，但是一味的加深网络深度有可能导致网络难以训练甚至梯度消失的问题。
发明内容
本发明的目的在于克服上述已有技术的不足，将基于固定尺度的图像去噪和图像多级特征结合在一起，提出一种基于深度学习的图像多级去噪方法，以减少图像细节的丢失，提高图像的降噪效果。
为实现上述目的，本发明的技术方案包括如下步骤：
(1)构建上采样模块U和下采样模块D：
对图像超分辨重建网络DBPN中上采样、下采样单元进行改进，即在上、下采样单元内部每个具有下采样功能的卷积层和每个具有上采样功能的反卷积层后均添加一个用于进一步提取图像特征的卷积层，构建出上采样模块U和下采样模块D；
(2)构建菱形模块C：
将一个上采样模块U与一个下采样模块D相串联构成上路；
用一个卷积层构成中路；
用一个下采样模块D与一个上采样模块U相串联构成下路；
将所述上、中、下三路并联连接组成菱形模块C；
(3)构建V形子网：
将两个菱形模块C相串联构成一个正常路径；
将一个图像下采样卷积层、两个卷积层和一个图像上采样卷积层进行串联连接构成一个低分辨率路径；
将一个正常路径和一个低分辨率路径并联连接构成一个V形子网；
(4)构建去噪网络MSDN：
4a)将一个卷积层、两个残差结构和一个卷积层依次串联，组成噪声图像特征提取组件；
4b)将M个V形子网进行密集连接组成多级特征提取组件，M最小取2；
4c)将一个多通道的卷积层和一个单通道的卷积层相串联，组成干净图像重建组件；
4d)由噪声图像特征提取组件、多级特征提取组件和干净图像重建组件依次串联后，用噪声图像特征提取组件的输入减去干净图像重建组件的输出，组成残差学习结构；
4e)将噪声图像特征提取组件、多级特征提取组件和干净图像重建组件依次串联后，再并联残差学习结构，构成去噪网络MSDN；
(5)构建损失函数：
用去噪网络MSDN中前M-1个V形子网输出图像与不含噪声的原始干净图像的均方误差和第M个V形子网输出图像与不含噪声的原始干净图像的平均绝对误差的均值，构建该去噪网络的损失函数Loss，并将每个V形子网的输出接入到该损失函数；
(6)对原始干净图像添加高斯噪声得到训练图像，将该训练图像输入到去噪网络MSDN中对其进行训练直到损失函数收敛，得到训练好的MSDN网络；
(7)将待去噪图像输入到(6)中训练好的MSDN网络进行图像去噪处理，输出去噪后的图像：
(7a)噪声图像特征提取组件通过第一个卷积层将待去噪图像从单通道变为多通道，之后依次经过两个残差结构和一个卷积层对多通道待去噪图像进行特征提取，得到噪声图像特征提取组件的输出P1；
(7b)多级特征提取组件对噪声图像特征提取组件的输出P1通过其M个V形子网的正常路径的菱形模块C对图像进行多级特征提取，同时通过M个V形子网的低分辨率路径对图像进行浅层特征提取，得到多级特征提取组件的输出P2；
(7c)干净图像重建组件对多级特征提取组件的输出P2依次通过一个多通道卷积层和一个单通道卷积层后将P2由多通道图像重建为单通道图像，该单通道图像即为干净图像重建组件的输出P3；
(7d)残差学习结构用待去噪图像减去干净图像重建组件的输出P3得到去噪网络MSDN的输出，即去噪后的图像。
本发明与现有技术相比较，具有如下优点：
第一，本发明对现有的图像上、下采样模块进行了改进，能够获得更好的图像上、下采样效果。
第二，本发明提出了菱形模块用于图像多级特征提取，通过对图像多次上、下采样，结合了更多的上下文信息，能够对图像的多个分辨率下的特征进行提取。
第三，本发明提出了V形子网，在对图像多级特征提取的同时进一步提取图像的浅层特征，避免了由于过度下采样带来的图像细节信息丢失，同时保持了图像的多级特征信息。
第四，本发明将网络中每个V形子网的输出都接入了损失函数，通过权重控制不同子网输出占网络输出的比重，逐步优化网络可获得更加精准的网络输出结果。
附图说明
图1是本发明的实现流程图；
图2是本发明中构建的上采样模块和下采样模块结构图；
图3是本发明中构建的菱形模块结构图；
图4是本发明中构建的V形子网结构图；
图5是本发明中构建的去噪网络MSDN结构图；
图6是本发明与其他五种现有算法在Set12测试集上的测试结果对比图；
图7是本发明与其他五种现有算法在BSD68测试集上的测试结果对比图；
图8是本发明与其他五种现有算法在Urban100测试集上的测试结果对比图。
具体实施方式
本实例根据多级图像去噪网络对图像有较好的特征提取性能的特点，通过菱形模块及V形子网对含噪声图像进行多级尺度变换，在多个尺度空间下进行特征提取，并对子网逐级优化，其具体实现方式是在现有的基于深度学习的图像超分辨重建网络DBPN中上采样、下采样单元的基础上进行改进，得到性能更好的上采样、下采样模块，利用上采样、下采样这两个模块组成具有对称结构的图像多级特征提取菱形模块，在菱形模块的基础上，提出V形子网用于提取图像的浅层特征，用多个V形子网的密集连接组成图像多级去噪网络实现图像的降噪。
参照图1，本实例的具体实现步骤如下：
步骤1.构建上采样模块U和下采样模块D。
为了使得基于深度学习的图像超分辨重建网络DBPN的上、下采样单元能够更好的应用在图像去噪的网络中，本实例对其进行了改进，即分别在上、下采样单元内部每个具有下采样功能的卷积层和每个具有上采样功能的反卷积层后均添加一个用于进一步提取图像特征的卷积层，构建出上采样模块U和下采样模块D，如图2所示。新添加的卷积层充当特征提取器，以在减弱损失的同时，对图像的主要信息进行编码，使得图像的特征信息在上、下采样模块中传递时，都能够在每一次采样之后提取到采样后的图像特征信息并且进行迭代传播。上采样模块U和下采样模块D可分别用以下公式表示：
Figure BDA0002488261410000051
Figure BDA0002488261410000052
Figure BDA0002488261410000053
Figure BDA0002488261410000054
其中，UMID为上采样模块U处理过程中的中间变量，
Figure BDA0002488261410000055
表示尺寸为3×3步长为1的卷积核，
Figure BDA0002488261410000056
表示卷积操作，f↑′和f↓′分别表示通过步长为2的反卷积和卷积对图像进行上、下采样的操作，UIN和UOUT分别表示上采样模块U的输入和输出，DMID为下采样模块D处理过程中的中间变量，DIN和DOUT分别表示下采样模块D的输入和输出。
步骤2.构建菱形模块C。
为了更好的对图像的多级特征信息进行提取，本实例构建了多级特征提取模块菱形模块C，其构建步骤如下：
2.1)用一个上采样模块U与一个下采样模块D相串联构成上路；
2.2)用一个卷积层构成中路；
2.3)用一个下采样模块D与一个上采样模块U相串联构成下路；
2.4)将上、中、下三路并联连接，组成菱形模块C，如图3所示。
所述菱形模块C的工作过程如下：
菱形模块C的输入CIN是图像宽×高为m×n的64通道图像张量，CIN首先经过中路的卷积处理对其进行特征提取后，得到中路输出CM，CM与CIN尺寸相同；中路输出CM经过上路中的上采样处理后得到图像宽×高为2m×2n的64通道张量后再下采样，得到尺寸为图像宽×高的m×n张量，即上路输出CU；中路输出CM经过下路中的下采样处理后得到图像宽×高为1/2m×1/2n的64通道张量后再上采样，得到尺寸为图像宽×高的m×n的张量，即下路输出CD；将菱形模块C的中、上、下三路输出CM、CU和CD在通道维度进行级联，级联后的图像张量的通道数为64×3。为了方便菱形模块间的连接，菱形模块C的输出COUT需要与其输入CIN保持相同尺寸，即图像宽×高为m×n的64通道张量，所以采用卷积核尺寸为1×1步长为1的卷积层对级联后的图像张量进行卷积处理，将其通道数由64×3处理为64，得到菱形模块C的输出COUT。
Figure BDA0002488261410000061
其中，
Figure BDA0002488261410000062
CU＝f↓[f↑(CM)]，CD＝f↑[f↓(CM)]；f↑和f↓分别表示上采样模块U和下采样模块D的采样操作，
Figure BDA0002488261410000063
表示尺寸为1×1步长为1的卷积核，
Figure BDA0002488261410000064
表示尺寸为3×3步长为1的卷积核，
Figure BDA0002488261410000065
表示卷积操作，cat表示在通道维度对张量的级联操作。
步骤3.构建V形子网。
为了在图像多级特征提取的基础上进一步进行浅层特征提取，本实例需要构建V形子网，构建步骤如下：
3.1)将两个菱形模块C相串联构成一个保持图像原始分辨率不变的正常路径；
3.2)用一个对图像进行下采样的下采样卷积层、两个卷积层和一个对图像进行上采样的上采样卷积层相串联连接，构成一个低分辨率路径；
3.3)将正常路径和低分辨率路径并联连接，构成V形子网，如图4所示。
所述V形子网的工作过程如下：
V形子网的输入VIN是图像宽×高为m×n的64通道图像张量，VIN首先经过正常路径中第一个菱形模块C的处理后得到图像宽×高为m×n的64通道中间变量VMID；低分辨率路径对中间变量VMID进行处理，即先将VMID下采样得到图像宽×高为1/2m×1/2n的64通道张量，再依次经过2层卷积核尺寸为3×3，步长为1的卷积处理后上采样得到图像宽×高为m×n的64通道张量VL；再将V形子网的中间变量VMID和低分辨率路径的输出VL在通道维度进行级联，级联后的图像张量通道数为64×2；然后级联后的张量经过正常路径中第二个菱形模块C进行处理，得到V形子网的输出VOUT：
Figure BDA0002488261410000071
其中，VMID＝hC(VIN)，
Figure BDA0002488261410000072
hC表示菱形模块C对图像张量的处理，
Figure BDA0002488261410000073
表示尺寸为1×1的卷积核，
Figure BDA0002488261410000074
表示尺寸为3×3步长为1的卷积核，
Figure BDA0002488261410000075
表示卷积操作，cat表示在通道维度对张量的级联操作，f↑′和f↓′分别表示通过反卷积和卷积对图像进行上、下采样的操作。
由于菱形模块C的输入为图像宽×高为m×n的64通道张量，而在进行二个菱形模块C的处理之前，级联后的图像张量通道数为64×2，所以需要采用卷积核尺寸为1×1步长为1的卷积层对级联后的图像张量进行卷积处理，将其通道数由64×2处理为64。
步骤4.构建去噪网络MSDN。
本步骤是根据步骤3中构建的V形子网和噪声图像特征提取组件、多级特征提取组件及干净图像重建组件组成去噪网络MSDN。其输入MSDNIN为待去噪的灰度图像，输出MSDNOUT为去噪后的图像。其构建步骤如下：
4.1)用噪声图像特征提取组件的输入减去干净图像重建组件的输出，得到残差输出形成成残差学习结构；由两个卷积层串联后并联一个跳跃连接层构成残差结构，该跳跃连接层用于将第一个卷积层的输入与第二个卷积层的输出相加；
4.2)用一个卷积层、两个残差结构和一个卷积层依次串联组成噪声图像特征提取组件，该组件通过采用64×4的大特征通道提取图像特征，并且结合了残差结构，更有助于提取图像的上下文信息；
4.3)用M个V形子网的密集连接组成多级特征提取组件，M最小取2，根据超分辨重建算法SRFBN中的理论，为了确保需要改进的低级信息的可用性，在每次迭代的时候都提供低分辨率图像作为输入，所以每个V形子网除了与其之前各V形子网的输出在通道维度级联以实现密集连接外，还需要级联原始待去噪图像信息，此处所用的实际上是噪声图像特征提取组件的输出
Figure BDA0002488261410000076
得到多级特征提取组件的表示公式如下：
Figure BDA0002488261410000077
其中
Figure BDA0002488261410000078
表示第一个V形子网的输入，即噪声图像特征提取组件的输出，
Figure BDA0002488261410000081
h1表示噪声图像特征提取组件对图像张量的处理，
Figure BDA0002488261410000082
表示第n个V形子网的输出，hV表示V形子网对图像张量的处理，cat表示在通道维度对张量的级联操作；
4.4)用一个多通道的卷积层和一个单通道的卷积层相串联组成干净图像重建组件，多通道的卷积层卷积核尺寸为3×3、步长为1，单通道的卷积层卷积核尺寸为1×1、步长为1；
4.5)将噪声图像特征提取组件、多级特征提取组件和干净图像重建组件依次串联后，再并联一个跳跃连接层，构成去噪网络MSDN，由图5所示。
由于MSDN采用了残差学习的结构，所以4.3)中的输出实际上为MSDN对待去噪图像估计的噪声，MSDN的最终输出MSDNOUT为输入的待去噪图像MSDNIN与干净图像重建部分的输出的差值，其公式表示如下：
MSDNOUT＝MSDNIN-h3{h2[h1(MSDNIN)]}
其中h1表示噪声图像特征提取组件对图像张量的处理，h2表示多级特征提取组件对图像张量的处理，h3表示干净图像重建组件对图像张量的处理。
步骤5.构建损失函数。
为了更好的纠正网络输出，需要构建损失函数，以对去噪网络MSDN中的V形子网实现逐步优化，其构建过程如下：
5.1)求去噪网络MSDN中前M-1个V形子网输出图像与不含噪声的原始干净图像的均方误差和；
5.2)求M个V形子网输出图像与不含噪声的原始干净图像的平均绝对误差；
5.3)根据5.1)与5.2)的结果构建该去噪网络的如下损失函数Loss：
Figure BDA0002488261410000083
其中，
Figure BDA0002488261410000084
为第M个V形子网的输出，I为不含噪声的原始干净图像，
Figure BDA0002488261410000085
为第M个V形子网的输出与不含噪声的原始干净图像的均方误差，
Figure BDA0002488261410000086
为第n个V形子网的输出与不含噪声的原始干净图像的平均绝对值误差。
步骤6.训练网络。
对原始干净图像分别添加均值为0，标准差为15、25、50的高斯白噪声得到训练图像，将该训练图像输入到去噪网络MSDN中对其进行训练，直到损失函数收敛，得到训练好的MSDN网络。
步骤7.将待去噪图像输入到训练好的MSDN网络进行图像去噪处理，输出去噪后的图像。
(7.1)噪声图像特征提取组件通过第一个卷积层将待去噪图像从单通道变为多通道，之后依次经过两个残差结构和一个卷积层对多通道待去噪图像进行特征提取，得到噪声图像特征提取组件的输出P1；
(7.2)多级特征提取组件对噪声图像特征提取组件的输出P1通过其M个V形子网的正常路径的菱形模块C对图像进行多级特征提取：
(7.2.1)每个菱形模块C的上路对该菱形模块C的输入首先通过一个上采样模块U进行图像上采样和特征提取，得到图像的宽、高均为原始图像宽、高二倍的高分辨率图像，再通过一个下采样模块D对高分辨率图像进行图像下采样得到和图像原始尺寸相同的图像；
(7.2.2)每个菱形模块C的中路对该菱形模块C的输入通过一个卷积层进行特征提取；
(7.2.3)每个菱形模块C的下路对该菱形模块C的输入首先通过一个下采样模块D进行图像下采样和特征提取，得到图像的宽、高均为原始图像宽、高二分之一的低分辨率图像，再通过一个上采样模块U对低分辨率图像进行图像上采样得到和图像原始尺寸相同的图像；
(7.2.4)每个菱形模块C的上、中、下三路图像在通道维度进行级联得到该菱形模块C的输出，实现图像的多级特征提取；
(7.3)多级特征提取组件对噪声图像特征提取组件的输出P1同时通过M个V形子网的低分辨率路径对图像进行浅层特征提取，得到多级特征提取组件的输出P2：
(7.3.1)由每个V形子网的低分辨率路径对该V形子网的输入通过一个下采样卷积层进行图像下采样，得到图像的宽、高均为原始图像宽、高二分之一的低分辨率图像；
(7.3.2)通过两个卷积层对(7.3.1)得到的低分辨率图像进行特征提取得到特征提取后的低分辨率图像；
(7.3.3)通过一个图像上采样卷积层对(7.3.2)中特征提取后的低分辨率图像进行上采样，得到与图像原始尺寸相同的图像，完成图像的浅层特征提取；
(7.4)干净图像重建组件对多级特征提取组件的输出P2依次通过一个多通道卷积层和一个单通道卷积层后将P2由多通道图像重建为单通道图像，该单通道图像即为干净图像重建组件的输出P3；
(7.5)残差学习结构用待去噪图像减去干净图像重建组件的输出P3得到去噪网络MSDN的输出，即去噪后的图像。
本发明的效果可以通过以下仿真实验做进一步说明。
一、测试条件
软件采用python语言在linux系统上pytorch 0.4.1的深度学习框架下实现。
测试设备为NVIDIA GeForce 1080Ti显卡。
测试数据集为图像去噪领域常用的Set12、BSD68和Urban100。
对测试图像分别添加均值为0，标准差为15、25和50的高斯白噪声模拟待去噪图像。
为了评估所提出本发明的方法的性能，选用了其他五种现有的算法进行对比，分别是基于传统方法的BM3D、WNNM标准算法以及基于深度学习的REDnet30、DnCNN和FFDnet标准算法。
二、仿真内容
仿真1，用本发明与其他五种现有算法在Set12测试集上进行去噪测试，结果如图6所示。其中：
图6(a)为原始干净图像；
图6(b)为添加了均值为0，标准差为50的高斯白噪声之后的待去噪图像，其峰值信噪比为14.67dB；
图6(c)为BM3D算法对图6(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为26.81dB；
图6(d)为WNNM算法对图6(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为26.94dB；
图6(e)为REDnet30算法对图6(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为27.07dB；
图6(f)为DnCNN算法对图6(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为27.24dB；
图6(g)为FFDnet算法对图6(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为27.25dB；
图6(h)为本发明算法对图6(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为27.31dB。
仿真2，用本发明与其他五种现有算法在BSD68测试集上进行去噪测试，结果如图7所示。其中：
图7(a)为原始干净图像；
图7(b)为添加了均值为0，标准差为50的高斯白噪声之后的待去噪图像，其峰值信噪比为14.76dB；
图7(c)为BM3D算法对图7(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为26.21dB；
图7(d)为WNNM算法对图7(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为26.51dB；
图7(e)为REDnet30算法对图7(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为26.70dB；
图7(f)为DnCNN算法对图7(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为26.90dB；
图7(g)为FFDnet算法对图7(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为27.06dB；
图7(h)为本发明算法对图7(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为27.20dB。
仿真3，用本发明与其他五种现有算法在Urban100测试集上进行去噪测试，结果如图8所示。其中：
图8(a)为原始干净图像；
图8(b)为添加了均值为0，标准差为50的高斯白噪声之后的待去噪图像，其峰值信噪比为14.14dB；
图8(c)为BM3D算法对图8(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为25.59dB；
图8(d)为WNNM算法对图8(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为26.62dB；
图8(e)为REDnet30算法对图8(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为25.66dB；
图8(f)为DnCNN算法对图8(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为26.63dB；
图8(g)为FFDnet算法对图8(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为26.65dB；
图8(h)为本发明算法对图8(b)中的待去噪图像进行去噪后的图像，其峰值信噪比为26.80dB。
每个测试集各取一张图像为例。
从图6-图8中可以看出，六种方法均能够对噪声进行比较有效去除，但是本发明在主观效果上有着更突出的去噪表现，同时对图像细节信息的保留程度也较高。
将六种方法对三个测试集噪声标准差为15、25和50的噪声图像去噪后得到恢复图像的峰值信噪比PSNR值列表如下：
表1本发明与其他现有五种去噪算法去噪结果峰值信噪比PSNR对比
Figure BDA0002488261410000121
Figure BDA0002488261410000131
表1中不同测试集对应的标准差为给对应的测试集分别添加均值为0，标准差为15、25或50的高斯白噪声来模拟待去噪图像，BM3D、WNNM、REDnet30、DnCNN、FFDnet和本发明对应的列中数据为用各算法对待去噪图像进行去噪后与原始干净图像间的峰值信噪比PSNR，PSNR用来衡量各算法对含噪声图像的去噪效果，PSNR越高，说明算法对图像的去噪性能越好。测试集中包含多张图像，则表格中的数据为当前测试集中多张测试图像PSNR的平均值，“-”表示该算法原作者没有提供对应的测试结果。
从表1可见，本发明在Set12、BSD68和Urban100三个测试集上均具有最高的平均PSNR值，这意味着相对于其他五种现有的去噪算法，MSDN在客观上具有最佳的平均去噪效果。

Claims (6)

1.一种基于深度学习的图像多级去噪方法，其特征在于，包括如下：
(1)构建上采样模块U和下采样模块D：
对图像超分辨重建网络DBPN中上采样、下采样单元进行改进，即在上、下采样单元内部每个具有下采样功能的卷积层和每个具有上采样功能的反卷积层后均添加一个用于进一步提取图像特征的卷积层，构建出上采样模块U和下采样模块D；
(2)构建菱形模块C：
将一个上采样模块U与一个下采样模块D相串联构成上路；
用一个卷积层构成中路；
用一个下采样模块D与一个上采样模块U相串联构成下路；
将所述上、中、下三路并联连接组成菱形模块C；
(3)构建V形子网：
将两个菱形模块C相串联构成一个正常路径；
将一个图像下采样卷积层、两个卷积层和一个图像上采样卷积层进行串联连接构成一个低分辨率路径；
将一个正常路径和一个低分辨率路径并联连接构成一个V形子网；
(4)构建去噪网络MSDN：
4a)将一个卷积层、两个残差结构和一个卷积层依次串联，组成噪声图像特征提取组件；
4b)将M个V形子网进行密集连接组成多级特征提取组件，M最小取2；
4c)将一个多通道的卷积层和一个单通道的卷积层相串联，组成干净图像重建组件；
4d)由噪声图像特征提取组件、多级特征提取组件和干净图像重建组件依次串联后，用噪声图像特征提取组件的输入减去干净图像重建组件的输出，组成残差学习结构；
4e)将噪声图像特征提取组件、多级特征提取组件和干净图像重建组件依次串联后，再并联残差学习结构，构成去噪网络MSDN；
(5)构建损失函数：
用去噪网络MSDN中前M-1个V形子网输出图像与不含噪声的原始干净图像的均方误差和第M个V形子网输出图像与不含噪声的原始干净图像的平均绝对误差的均值，构建该去噪网络的损失函数Loss，并将每个V形子网的输出接入到该损失函数；
(6)对原始干净图像添加高斯噪声得到训练图像，将该训练图像输入到去噪网络MSDN中对其进行训练直到损失函数收敛，得到训练好的MSDN网络；
(7)将待去噪图像输入到(6)中训练好的MSDN网络进行图像去噪处理，输出去噪后的图像：
(7a)噪声图像特征提取组件通过第一个卷积层将待去噪图像从单通道变为多通道，之后依次经过两个残差结构和一个卷积层对多通道待去噪图像进行特征提取，得到噪声图像特征提取组件的输出P1；
(7b)多级特征提取组件对噪声图像特征提取组件的输出P1通过其M个V形子网的正常路径的菱形模块C对图像进行多级特征提取，同时通过M个V形子网的低分辨率路径对图像进行浅层特征提取，得到多级特征提取组件的输出P2；
(7c)干净图像重建组件对多级特征提取组件的输出P2依次通过一个多通道卷积层和一个单通道卷积层后将P2由多通道图像重建为单通道图像，该单通道图像即为干净图像重建组件的输出P3；
(7d)残差学习结构用待去噪图像减去干净图像重建组件的输出P3得到去噪网络MSDN的输出，即去噪后的图像。
2.根据权利要求1中所述的方法，其特征在于，4a)中的每个残差结构，由两个卷积层串联后并联一个跳跃连接层组成。
3.根据权利要求2中所述的方法，其特征在于，所述跳跃连接层，是通过用第一个卷积层的输入与第二个卷积层的输出相加求和而形成。
4.根据权利要求1中所述的方法，其特征在于，(5)中构建的损失函数Loss，表示如下：
Figure FDA0003380558920000031
其中，
Figure FDA0003380558920000032
为第M个V形子网的输出，
Figure FDA0003380558920000033
为第n个V形子网的输出，I为不含噪声的原始干净图像，
Figure FDA0003380558920000034
为第M个V形子网的输出与不含噪声的原始干净图像的平均绝对误差，
Figure FDA0003380558920000035
为第n个V形子网的输出与不含噪声的原始干净图像的均方误差。
5.根据权利要求1中所述的方法，其特征在于，(7b)中多级特征提取组件对噪声图像特征提取组件的输出P1通过M个V形子网的正常路径的菱形模块C对图像进行多级特征提取，实现如下：
(7b1)每个菱形模块C的上路对该菱形模块C的输入首先通过一个上采样模块U进行图像上采样和特征提取，得到图像的宽、高均为原始图像宽、高二倍的高分辨率图像，再通过一个下采样模块D对高分辨率图像进行图像下采样得到和图像原始尺寸相同的图像；
(7b2)每个菱形模块C的中路对该菱形模块C的输入通过一个卷积层进行特征提取；
(7b3)每个菱形模块C的下路对该菱形模块C的输入首先通过一个下采样模块D进行图像下采样和特征提取，得到图像的宽、高均为原始图像宽、高二分之一的低分辨率图像，再通过一个上采样模块U对低分辨率图像进行图像上采样得到和图像原始尺寸相同的图像；
(7b4)每个菱形模块C的上、中、下三路图像在通道维度进行级联得到该菱形模块C的输出，实现图像的多级特征提取。
6.根据权利要求1中所述的方法，其特征在于，(7b)中多级特征提取组件对噪声图像特征提取组件的输出P1同时通过其M个V形子网的低分辨率路径对图像进行浅层特征提取，实现如下：
(7b5)由每个V形子网的低分辨率路径对该V形子网的输入通过一个下采样卷积层进行图像下采样，得到图像的宽、高均为原始图像宽、高二分之一的低分辨率图像；
(7b6)通过两个卷积层对(7b5)得到的低分辨率图像进行特征提取得到特征提取后的低分辨率图像；
(7b7)通过一个图像上采样卷积层对(7b6)中特征提取后的低分辨率图像进行上采样，得到与图像原始尺寸相同的图像，完成图像的浅层特征提取。
CN202010397663.7A 2020-05-12 2020-05-12 基于深度学习的图像多级去噪方法 Active CN111598804B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010397663.7A CN111598804B (zh) 2020-05-12 2020-05-12 基于深度学习的图像多级去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010397663.7A CN111598804B (zh) 2020-05-12 2020-05-12 基于深度学习的图像多级去噪方法

Publications (2)

Publication Number Publication Date
CN111598804A CN111598804A (zh) 2020-08-28
CN111598804B true CN111598804B (zh) 2022-03-22

Family

ID=72187062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010397663.7A Active CN111598804B (zh) 2020-05-12 2020-05-12 基于深度学习的图像多级去噪方法

Country Status (1)

Country Link
CN (1) CN111598804B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598597A (zh) * 2020-12-25 2021-04-02 华为技术有限公司 一种降噪模型的训练方法及相关装置
CN113313691A (zh) * 2021-06-03 2021-08-27 上海市第一人民医院 一种基于深度学习的甲状腺彩超处理方法
CN114118140B (zh) * 2021-10-29 2022-09-23 新黎明科技股份有限公司 防爆电机轴承多视角智能故障诊断方法及系统
CN114501012A (zh) * 2021-12-31 2022-05-13 浙江大华技术股份有限公司 图像滤波、编解码方法以及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959699A (zh) * 2016-05-06 2016-09-21 西安电子科技大学 一种基于运动估计和时空域相关性的快速帧间预测方法
CN108564555A (zh) * 2018-05-11 2018-09-21 中北大学 一种基于nsst和cnn的数字图像降噪方法
CN109448006A (zh) * 2018-11-01 2019-03-08 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
CN110458756A (zh) * 2019-06-25 2019-11-15 中南大学 基于深度学习的模糊视频超分辨率方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200834470A (en) * 2007-02-05 2008-08-16 Huper Lab Co Ltd Method of noise reduction based on diamond working windows

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959699A (zh) * 2016-05-06 2016-09-21 西安电子科技大学 一种基于运动估计和时空域相关性的快速帧间预测方法
CN108564555A (zh) * 2018-05-11 2018-09-21 中北大学 一种基于nsst和cnn的数字图像降噪方法
CN109448006A (zh) * 2018-11-01 2019-03-08 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
CN110458756A (zh) * 2019-06-25 2019-11-15 中南大学 基于深度学习的模糊视频超分辨率方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep Back-Projection Networks for Super-Resolution;Muhammad Haris等;《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20180307;第1664-1673页 *
改进卷积神经网络SAR图像去噪算法;钱满等;《计算机工程与应用》;20200224;第56卷(第14期);第176-182页 *

Also Published As

Publication number Publication date
CN111598804A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111598804B (zh) 基于深度学习的图像多级去噪方法
CN109035142B (zh) 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN113222822B (zh) 基于多尺度变换的高光谱图像超分辨率重建方法
CN111932461B (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN111007566B (zh) 一种曲率驱动扩散全卷积网络地震数据坏道重建与去噪方法
CN110490816B (zh) 一种水下异构信息数据降噪方法
CN110533591B (zh) 基于编解码器结构的超分辨图像重建方法
Luo et al. Lattice network for lightweight image restoration
CN111340744A (zh) 基于注意力双流深度网络的低质量图像降采样方法及其系统
CN111127354A (zh) 一种基于多尺度字典学习的单图像去雨方法
CN112435162B (zh) 一种基于复数域神经网络的太赫兹图像超分辨重建方法
CN113723171A (zh) 基于残差生成对抗网络的脑电信号去噪方法
CN116416156A (zh) 一种基于Swin Transformer的医学图像去噪方法
CN113743301B (zh) 一种基于残差自编码器卷积神经网络的固态纳米孔测序电信号降噪处理方法
CN114494047A (zh) 一种基于双增强残差网络的生物图像去噪方法
CN112150356A (zh) 基于级联框架的单幅压缩图像超分辨率重建方法
CN112819705B (zh) 一种基于网状结构与长距离相关性的真实图像去噪方法
CN114387161A (zh) 基于增强深层特征提取和残差上下采样块的视频超分辨率
CN116957940A (zh) 基于轮廓波知识引导网络的多尺度图像超分辨率重建方法
CN114529482B (zh) 基于小波多通道深度网络的图像压缩感知重建方法
CN110288525B (zh) 一种多字典超分辨率图像重建方法
CN112907456B (zh) 基于全局平滑约束先验模型的深度神经网络图像去噪方法
CN116594061B (zh) 一种基于多尺度u形注意网络的地震数据去噪方法
CN113379643B (zh) 基于NSST域和Res2Net网络的图像去噪方法
CN117274064B (zh) 一种图像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant