CN111145123B - 基于U-Net融合保留细节的图像去噪方法 - Google Patents

基于U-Net融合保留细节的图像去噪方法 Download PDF

Info

Publication number
CN111145123B
CN111145123B CN201911387476.4A CN201911387476A CN111145123B CN 111145123 B CN111145123 B CN 111145123B CN 201911387476 A CN201911387476 A CN 201911387476A CN 111145123 B CN111145123 B CN 111145123B
Authority
CN
China
Prior art keywords
image
denoising
layer
fusion
net
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911387476.4A
Other languages
English (en)
Other versions
CN111145123A (zh
Inventor
牛玉贞
宋冰蕊
杨彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201911387476.4A priority Critical patent/CN111145123B/zh
Publication of CN111145123A publication Critical patent/CN111145123A/zh
Application granted granted Critical
Publication of CN111145123B publication Critical patent/CN111145123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于U‑Net融合保留细节的图像去噪方法，该方法包括以下步骤：步骤A：设置两种不同的去噪参数进行去噪，获得对应两种不同去噪参数的初始去噪结果图像；步骤B：分别将初始去噪结果图像，以及无噪声图像分成图像块，获得图像块对训练集；步骤C：使用步骤B获得的图像块对训练集，训练基于U‑Net的图像融合深度网络，获得对应特定噪声幅度的基于U‑Net图像融合模型；步骤D：对于噪声图像，首先获得对应步骤A的不同去噪参数的去噪结果，然后输入到步骤C训练好的基于U‑Net图像融合模型中进行融合，获得最终的去噪结果。这种方法可以有效优化图像去噪方法的去噪效果，在去除噪声的同时保留更多的图像细节。

Description

基于U-Net融合保留细节的图像去噪方法
技术领域
本发明涉及图像和视频处理以及计算机视觉领域，具体涉及一种基于U-Net融合保留细节的图像去噪方法。
背景技术
现如今，各种高新科学技术飞速发展，多媒体时代到来，电子产品大量普及。图像作为一种可以传递大量信息的优质载体，获得了越来越多的关注。图像中的信息可以经由视觉系统直接传递，但由于各种电子设备、传输媒介、人为干扰等因素，图像从获取、传播到存储的过程中不可避免地存在噪声干扰，妨碍人们对图像信息的获取。因此，研究为噪声图像去噪，使得去噪后的结果图像与原始无噪声图像相接近的方法，是十分重要的研究课题，这一课题称为图像去噪，已经吸引了众多研究人员。图像去噪被广泛应用于图像处理领域，是必不可少的预处理操作，例如图像边缘检测、图像分割、特征提取、显著性检测等。
图像去噪方法根据是否使用噪声标准差作为去噪参数分为图像盲去噪和图像非盲去噪。在现实当中图像的噪声标准差通常是未知的，神经网络具有强大的建模能力，一些方法可以学习得到单个的模型用于盲去噪，图像的盲去噪方法不依赖于噪声标准差可以广泛应用于现实场景。然而在图像噪声标准差反映图像噪声强度这一领域知识的驱动下，图像非盲去噪方法基于噪声标准差设置去噪参数使得去噪方法在处理不同强度的噪声图像时更具针对性。去噪参数的设置是图像非盲去噪方法性能的重要影响因素之一。由于现有的图像去噪技术通常直接设置去噪参数等于噪声标准差的值来处理整张图像，而适合的去噪参数并不总是完全等同于噪声标准差，图像细节较多的区域适用的去噪参数往往小于图像细节较少的区域，所以现有技术常常导致图像细节丢失过多。特别地，当图像具有较大的噪声时，噪声与图像细节相混淆，甚至连人眼也无法区分，此时现有的图像去噪技术常将大量的图像细节误认为噪声去除，导致去噪后的图像过渡平滑。
发明内容
本发明的目的在于提供一种基于U-Net融合保留细节的图像去噪方法，由于对应不同去噪参数的去噪结果图像中包含有不同的图像信息，本发明通过将对应不同去噪参数的去噪结果进行融合，有效提高了图像去噪方法的性能以及图像质量。
为实现上述目的，本发明的技术方案是：一种基于U-Net融合保留细节的图像去噪方法，包括以下步骤：
步骤A：以无噪声图像作为原始训练集，对原始训练集进行加入噪声的处理，获得噪声幅度为σi的噪声图像，分别设置两种不同的去噪参数进行去噪，获得对应两种不同去噪参数的初始去噪结果图像，其中一种去噪参数为σ，另一种去噪参数为缩小后的标准差σ′；
步骤B：分别将步骤A获得的两种不同去噪参数的初始去噪结果与原始无噪声图像分成若干个大小为n×n的图像块，获得不同噪声幅度σi下的两种不同去噪参数的初始去噪结果图像块和无噪声图像块组成的图像块对训练集；
步骤C：使用图像块对训练集训练基于U-Net的图像融合深度网络，获得对应特定噪声幅度的基于U-Net图像融合模型；
步骤D：对于噪声幅度为σi的图像，首先获得对应步骤A的不同去噪参数的去噪结果，然后输入到训练好的基于U-Net图像融合模型中进行融合，获得最终的去噪结果。
进一步地，所述步骤A中，对原始训练集进行加入不同幅度的噪声的处理，并以噪声标准差σ和缩小后的标准差σ′，分别作为去噪参数，采用基于深度残差学习的去噪网络进行去噪，获得不同去噪参数的初始去噪结果图像集合。
进一步地，所述步骤B中，获得噪声幅度σi下的对应两种不同去噪参数(σ和σ′)的初始去噪结果图像块和无噪声图像块组成的图像块对训练集，包括以下步骤：
步骤B1：分别对两种不同去噪参数(σ和σ′)的初始去噪结果图像与原始无噪声图像，每隔距离s进行取块，块的大小为n×n，获得不同噪声幅度σi下的初始图像块对训练集；
步骤B2：采用随机翻转(顺时针旋转90度、180度和270度)方法对初始图像块对训练集进行数据增强，获得最终的噪声幅度σi下的图像块对训练集合。
进一步地，所述步骤C中，获得对应特定噪声幅度的基于U-Net图像融合模型，包括以下步骤：
步骤C1：将图像块对训练集随机分成若干个批次，每个批次包含N个图像块对；
步骤C2：将每个批次的训练图像块对分别输入到基于U-Net的图像融合深度网络，所述深度网络由卷积操作，反卷积操作，带泄露线性整流函数，线性整流函数激活操作，批量标准化操作构成，得到预测的融合图像；
步骤C3：根据目标损失函数Loss，利用反向传播方法计算所述深度网络中各参数的梯度，并利用随机梯度下降方法更新参数；
其中，目标损失函数Loss定义如下：
Figure GDA0003607414130000031
其中，N表示一个训练批次(batch)中包含的图像块对个数。
Figure GDA0003607414130000032
表示第j个图像块对中的对应去噪参数σ(σ′)的初始去噪结果
Figure GDA0003607414130000033
中的图像块。Ij为无噪声图像块。
Figure GDA0003607414130000034
则表示融合网络在权重ω时所得到的结果图。||·||2表示L2范数，即欧几里得距离，·表示第j个图像块对的融合网络的输出与第j个图像块对对应的无噪声图像块的差值即
Figure GDA0003607414130000035
基于U-Net融合保留细节的图像去噪方法使用了Adam(Adaptivemoment estimation optimizer)优化方法对参数进行优化；
步骤C4：以批次为单位重复进行上述C2和C3步骤，直至步骤C3中计算得到的Loss值收敛到阈值T，保存网络参数，完成训练过程。
进一步地，所述步骤C2中，将每个批次的训练图像对分别输入到基于U-Net的图像融合深度网络中，经过编码部分，融合部分，解码部分，得到最终去噪结果图像，包括以下步骤：
步骤C21：将训练图像对输入编码部分。编码部分由两个支路组成。每个支路第一层卷积层包括卷积操作与带泄露线性整流函数(Leaky ReLU，LReLU)操作，第二层卷积层包括卷积操作与批量标准化操作(BN)。将图像对中对应步骤A获得的不同去噪参数的初始结果图像块分别输入编码器的两个支路；
按如下公式输出图像特征：
Figure GDA0003607414130000036
其中，I为图像块，两个支路的I分别为
Figure GDA0003607414130000041
和
Figure GDA0003607414130000042
K1、K2为卷积核，
Figure GDA0003607414130000043
表示卷积操作，output为该图像块的输出值，BN()为批量标准化算法，LReLU()为带泄露线性整流函数，其公式如下：
Figure GDA0003607414130000044
其中a表示LReLU函数的输入值，δ是(1,+∞)区间内的固定参数。
步骤C22：将编码部分两个支路分别输出的图像特征进行拼接(concatenate)之后输入到融合部分。融合部分第一层卷积层包括卷积操作，带泄露线性整流函数操作和批量标准化操作；
步骤C23：将融合部分第一层卷积层的输出图像特征输入第一个残差学习模块。上述残差学习模块包括两个卷积层，每个卷积层包括卷积操作、线性整流函数(ReLU)、批量标准化操作。将第一个卷积层的输出图像特征加上第一个残差学习模块的输出图像特征输入到第二个残差学习模块中，再将第一个残差学习模块的输出图像特征加上第二个残差学习模块的输出图像特征输入到第三个残差学习模块中，重复上述过程直到第十一个残差学习模块的输出图像特征与第十二个残差学习模块的输出图像特征相加得到融合部分的输出图像特征；
线性整流函数的公式如下：
Figure GDA0003607414130000045
其中b表示ReLU函数的输入值；
步骤C24：基于U-Net的图像融合深度网络的解码部分包括三个反卷积层和一个只包含卷积操作的卷积层。每个反卷积层由反卷积操作、带泄露线性整流函数、批量标准化操作组成。先将融合部分第一层卷积层输出的图像特征与融合部分输出的图像特征拼接(concatenate)输入到第一层反卷积层中。再将第一层反卷积层的输出图像特征与编码部分第二层卷积层的输出图像特征拼接(concatenate)输入到第二层反卷积层中。然后将第二层反卷积层的输出图像特征与编码部分第一层卷积层的输出图像特征拼接(concatenate)输入到第三层反卷积层中。最后将第三层反卷积层的输出图像特征输入到一层只包含卷积操作的卷积层中，获得预测出的结果图像。
进一步地，所述步骤D中，对于噪声幅度为σi的图像，首先采用基于深度残差学习的去噪网络(DNCNN)分别获得两种不同去噪参数σ和σ′的去噪结果，然后选择对应噪声幅度σ的训练好的基于U-Net图像融合模型，将两种去噪结果输入到模型中进行融合，获得最终的去噪结果。
相较于现有技术，本发明及其优选方案的有益效果是：本发明基于不同图像区域偏好不同去噪参数的发现，使用传统U-Net网络结合残差学习的改进的基于U-Net的图像融合网络，通过提取不同去噪参数的去噪结果的图像特征，训练的基于U-Net的图像融合模型所预测得到的去噪结果比原始方法能够更好地保留图像纹理细节，可以有效优化一些图像去噪方法的去噪效果，能够有效地保留较多的图像细节，实现先进的去噪性能，并且具有良好的泛化能力，可广泛应用于图像和视频处理、计算机视觉等领域。
附图说明
图1是本发明实施例方法的实现流程图；
图2是本发明实施例各步骤获得图像示例：(a)原始无噪声图像；(b)噪声图像σ＝60；(c)去噪结果1参数σ′；(d)去噪结果2参数σ；(e)结合去噪结果1和2；
图3是本发明实施例中步骤C示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
如图1所示，本实施例方法包括以下步骤：
步骤A：如图2(a)所示，本实施例以无噪声图像作为原始训练集，对原始训练集进行加入不同幅度的噪声的处理，获得不同噪声幅度下的噪声图像；如图2(b)所示，为加入噪声之后的图像；
本实施例对噪声幅度为σi的图像，分别设置两种不同的去噪参数进行去噪，获得对应两种不同去噪参数的初始去噪结果集，其中一种去噪参数为σ(去噪结果如图2(d)所示)，另一种去噪参数为缩小后的标准差σ′(去噪结果如图2(c)所示)。在本实施例中，σ′＝σ-2.5，采用基于深度残差学习的去噪网络(DNCNN)获得对应不同去噪参数的初始去噪结果图像集合。
步骤B：分别将对应两种不同去噪参数的初始去噪结果图像与原始无噪声图像分成若干个大小为n×n的图像块，获得噪声幅度σi对应的两种不同去噪参数(σ和σ′)的初始去噪结果图像块和无噪声图像块组成的图像块对训练集，具体包括以下步骤：
步骤B1：分别对两种不同去噪参数(σ和σ′)的初始去噪结果图像与原始无噪声图像，每隔距离s进行取块，块的大小为n×n，获得不同噪声幅度σi下的初始图像块对训练集；在本实施例中，n的取值为64。
步骤B2：采用随机翻转(顺时针旋转90度、180度和270度)方法对初始图像块对训练集进行数据增强，获得最终的噪声幅度σi下的图像块对训练集合。
步骤C：采用如图3所示为基于U-Net的图像融合深度网络结构，使用步骤B获得的图像块对训练集训练基于U-Net的图像融合深度网络，获得对应特定噪声幅度的基于U-Net图像融合模型。具体包括以下步骤：
步骤C1：将图像块对训练集随机分成若干个批次，每个批次包含N个图像块对；
步骤C2：将每个批次的训练图像块对分别输入到基于U-Net的图像融合深度网络，所述深度网络由卷积操作，反卷积操作，带泄露线性整流函数，线性整流函数激活操作，批量标准化操作构成，得到预测的融合图像；
步骤C3：根据目标损失函数Loss，利用反向传播方法计算所述深度网络中各参数的梯度，并利用随机梯度下降方法更新参数；
其中，目标损失函数Loss定义如下：
Figure GDA0003607414130000061
其中，N表示一个训练批次(batch)中包含的图像块对个数。
Figure GDA0003607414130000062
表示第j个图像块对中的对应去噪参数σ(σ′)的初始去噪结果
Figure GDA0003607414130000063
中的图像块。Ij为无噪声图像块。
Figure GDA0003607414130000064
则表示融合网络在权重ω时所得到的结果图。||·||2表示L2范数，即欧几里得距离，·表示第j个图像块对的融合网络的输出与第j个图像块对对应的无噪声图像块的差值即
Figure GDA0003607414130000071
基于U-Net融合保留细节的图像去噪方法使用了Adam(Adaptivemoment estimation optimizer)优化方法进行参数优化和调整；
步骤C4：以批次为单位重复进行上述C2和C3步骤，直至步骤C3中计算得到的Loss值收敛到阈值T，保存网络参数，完成训练过程。
对于步骤C2，如图3所示，每个批次的训练图像块对需要经过以下几个具体步骤：
步骤C21：将训练图像对输入编码部分。编码部分由两个支路组成。每个支路第一层卷积层包括卷积操作与带泄露线性整流函数(Leaky ReLU，LReLU)操作，第二层卷积层包括卷积操作与批量标准化操作(BN)。将图像对中对应步骤A获得的不同去噪参数的初始结果图像块分别输入编码器的两个支路；
按如下公式输出图像特征：
Figure GDA0003607414130000072
其中，I为图像块，两个支路的I分别为
Figure GDA0003607414130000075
和
Figure GDA0003607414130000076
，K1、K2为卷积核，
Figure GDA0003607414130000073
表示卷积操作，output为该图像块的输出值，BN()为批量标准化算法，LReLU()为带泄露线性整流函数，其公式如下：
Figure GDA0003607414130000074
其中a表示LReLU函数的输入值，δ是(1,+∞)区间内的固定参数。
步骤C22：将编码部分两个支路分别输出的图像特征进行拼接(concatenate)之后输入到融合部分。融合部分第一层卷积层包括卷积操作，带泄露线性整流函数操作和批量标准化操作；
步骤C23：将融合部分第一层卷积层的输出图像特征输入第一个残差学习模块。上述残差学习模块包括两个卷积层，每个卷积层包括卷积操作、线性整流函数(ReLU)、批量标准化操作。将第一个卷积层的输出图像特征加上第一个残差学习模块的输出图像特征输入到第二个残差学习模块中，再将第一个残差学习模块的输出图像特征加上第二个残差学习模块的输出图像特征输入到第三个残差学习模块中，重复上述过程直到第十一个残差学习模块的输出图像特征与第十二个残差学习模块的输出图像特征相加得到融合部分的输出图像特征；
线性整流函数的公式如下：
Figure GDA0003607414130000081
其中b表示ReLU函数的输入值；
步骤C24：基于U-Net的图像融合深度网络的解码部分包括三个反卷积层和一个只包含卷积操作的卷积层。每个反卷积层由反卷积操作、带泄露线性整流函数、批量标准化操作组成。先将融合部分第一层卷积层输出的图像特征与融合部分输出的图像特征拼接(concatenate)输入到第一层反卷积层中。再将第一层反卷积层的输出图像特征与编码部分第二层卷积层的输出图像特征拼接(concatenate)输入到第二层反卷积层中。然后将第二层反卷积层的输出图像特征与编码部分第一层卷积层的输出图像特征拼接(concatenate)输入到第三层反卷积层中。最后将第三层反卷积层的输出图像特征输入到一层只包含卷积操作的卷积层中，获得预测出的结果图像。
步骤D：对于噪声幅度为σi的图像，首先采用基于深度残差学习的去噪网络(DNCNN)分别获得两种不同去噪参数σ和σ′的去噪结果，然后选择对应噪声幅度σ的训练好的基于U-Net图像融合模型，将两种去噪结果输入到模型中进行融合，获得最终的去噪结果。将对应两种不同去噪参数的去噪结果输入到训练好的基于U-Net图像融合模型中进行融合，获得如图2(e)所示的最终的去噪结果。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种基于U-Net融合保留细节的图像去噪方法，其特征在于，包括以下步骤：
步骤A：以无噪声图像作为原始训练集，对原始训练集进行加入噪声的处理，获得噪声幅度为σi的噪声图像；分别设置两种不同的去噪参数进行去噪，获得对应两种不同去噪参数的初始去噪结果图像，其中一种去噪参数为σ，另一种去噪参数为缩小后的标准差σ′；
步骤B：分别将步骤A获得的两种不同去噪参数的初始去噪结果图像，以及原始训练集中的无噪声图像分成若干个大小为n×n的图像块，获得两种不同去噪参数的初始去噪结果图像块和无噪声图像块组成的图像块对训练集；
步骤C：使用步骤B获得的图像块对训练集，训练基于U-Net的图像融合深度网络，获得对应特定噪声幅度的基于U-Net图像融合模型；
步骤D：对于噪声幅度为σi的图像，首先获得对应步骤A的不同去噪参数的去噪结果，然后输入到步骤C训练好的基于U-Net图像融合模型中进行融合，获得最终的去噪结果；
所述步骤C具体包括以下步骤：
步骤C1：将步骤B获得的图像块对训练集随机分成若干个批次，每个批次包含N个图像块对；
步骤C2：将每个批次的训练图像块对分别输入到基于U-Net的图像融合深度网络，得到预测的融合图像，所述基于U-Net的图像融合深度网络由卷积操作，反卷积操作，带泄露线性整流函数，线性整流函数激活操作，批量标准化操作构成；
步骤C3：根据目标损失函数Loss，利用反向传播方法计算所述基于U-Net的图像融合深度网络中各参数的梯度，并利用随机梯度下降方法更新参数；
其中，所述目标损失函数Loss定义如下：
Figure FDA0003607414120000011
其中，N表示一个训练批次中包含的图像块对个数；
Figure FDA0003607414120000012
表示第j个图像块对中的对应去噪参数σ的初始去噪结果
Figure FDA0003607414120000013
中的图像块；
Figure FDA0003607414120000014
表示第j个图像块对中的对应去噪参数σ′的初始去噪结果
Figure FDA0003607414120000021
中的图像块；Ij为无噪声图像块；
Figure FDA0003607414120000022
表示融合网络在权重ω时所得到的结果图；||·||2表示L2范数；·表示第j个图像块对的融合网络的输出与第j个图像块对对应的无噪声图像块的差值即
Figure FDA0003607414120000023
在更新参数的过程中采用Adam优化方法；
步骤C4：以批次为单位重复执行步骤C2和步骤C3，直至步骤C3中计算得到的Loss值收敛到阈值T，保存网络参数，完成训练过程。
2.根据权利要求1所述的基于U-Net融合保留细节的图像去噪方法，其特征在于，所述步骤A中，对原始训练集进行加入不同幅度的噪声的处理，并以噪声标准差σ和缩小后的标准差σ′，分别作为去噪参数，采用基于深度残差学习的去噪网络进行去噪，获得不同去噪参数的初始去噪结果图像集合。
3.根据权利要求1所述的基于U-Net融合保留细节的图像去噪方法，其特征在于，所述步骤B具体包括以下步骤：
步骤B1：分别对两种不同去噪参数的初始去噪结果图像与原始训练集中的无噪声图像，每隔距离s进行取块，块的大小为n×n，获得初始图像块对训练集；
步骤B2：采用随机翻转方法对初始图像块对训练集进行数据增强，获得最终的图像块对训练集合。
4.根据权利要求1所述的基于U-Net融合保留细节的图像去噪方法，其特征在于，所述步骤C2具体包括以下步骤：
步骤C21：将训练图像块 对输入编码部分；所述编码部分由两个支路组成，每个支路第一层卷积层包括卷积操作与带泄露线性整流函数操作，第二层卷积层包括卷积操作与批量标准化操作，将图像块 对中对应不同去噪参数的初始结果图像块分别输入编码器的两个支路；
按如下公式输出图像特征：
Figure FDA0003607414120000024
其中，I为图像块，两个支路的I分别为
Figure FDA0003607414120000025
和
Figure FDA0003607414120000026
K1、K2为卷积核，
Figure FDA0003607414120000027
表示卷积操作，output为该图像块的输出值，BN()为批量标准化算法，LReLU()为带泄露线性整流函数，其公式如下：
Figure FDA0003607414120000031
其中a表示LReLU函数的输入值，δ是(1,+∞)区间内的固定参数；
步骤C22：将编码部分两个支路分别输出的图像特征进行拼接之后输入到融合部分；所述融合部分第一层卷积层包括卷积操作，带泄露线性整流函数操作和批量标准化操作；
步骤C23：将融合部分第一层卷积层的输出图像特征输入第一个残差学习模块；所述残差学习模块包括两个卷积层，每个卷积层包括卷积操作、线性整流函数、批量标准化操作，将第一个卷积层的输出图像特征加上第一个残差学习模块的输出图像特征输入到第二个残差学习模块中，再将第一个残差学习模块的输出图像特征加上第二个残差学习模块的输出图像特征输入到第三个残差学习模块中，重复上述过程直到第十一个残差学习模块的输出图像特征与第十二个残差学习模块的输出图像特征相加得到融合部分的输出图像特征；
所述线性整流函数的公式如下：
Figure FDA0003607414120000032
其中b表示ReLU函数的输入值；
步骤C24：所述基于U-Net的图像融合深度网络的解码部分包括三个反卷积层和一个只包含卷积操作的卷积层；每个所述反卷积层由反卷积操作、带泄露线性整流函数、批量标准化操作组成；先将所述融合部分第一层卷积层输出的图像特征与融合部分的输出图像特征拼接输入到第一层反卷积层中，再将第一层反卷积层的输出图像特征与编码部分第二层卷积层的输出图像特征拼接输入到第二层反卷积层中，然后将第二层反卷积层的输出图像特征与编码部分第一层卷积层的输出图像特征拼接输入到第三层反卷积层中，最后将第三层反卷积层的输出图像特征输入到一层只包含卷积操作的卷积层中，获得预测的融合图像。
5.根据权利要求1所述的基于U-Net融合保留细节的图像去噪方法，其特征在于，所述步骤D中，对于噪声幅度为σi的图像，首先采用基于深度残差学习的去噪网络分别获得两种不同去噪参数σ和σ′的去噪结果，然后选择对应噪声幅度σ的训练好的基于U-Net图像融合模型，将两种去噪结果输入到模型中进行融合，获得最终的去噪结果。
CN201911387476.4A 2019-12-27 2019-12-27 基于U-Net融合保留细节的图像去噪方法 Active CN111145123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911387476.4A CN111145123B (zh) 2019-12-27 2019-12-27 基于U-Net融合保留细节的图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911387476.4A CN111145123B (zh) 2019-12-27 2019-12-27 基于U-Net融合保留细节的图像去噪方法

Publications (2)

Publication Number Publication Date
CN111145123A CN111145123A (zh) 2020-05-12
CN111145123B true CN111145123B (zh) 2022-06-14

Family

ID=70521410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911387476.4A Active CN111145123B (zh) 2019-12-27 2019-12-27 基于U-Net融合保留细节的图像去噪方法

Country Status (1)

Country Link
CN (1) CN111145123B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200750B (zh) * 2020-10-21 2022-08-05 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法
CN112866591A (zh) * 2021-01-12 2021-05-28 福建帝视信息科技有限公司 基于掩码检测的多帧图像融合的视频图像去噪方法
CN112801906B (zh) * 2021-02-03 2023-02-21 福州大学 基于循环神经网络的循环迭代图像去噪方法
CN112801909B (zh) * 2021-02-05 2022-06-14 福州大学 基于U-Net和金字塔模块的图像融合去噪方法及系统
CN113538281B (zh) * 2021-07-21 2023-07-11 深圳大学 图像去噪方法、装置、计算机设备和存储介质
CN115439451B (zh) * 2022-09-09 2023-04-21 哈尔滨市科佳通用机电股份有限公司 一种铁路货车转向架弹簧托板的去噪检测方法
CN116051408B (zh) * 2023-01-06 2023-10-27 郑州轻工业大学 一种基于残差自编码的图像深度去噪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310244A (zh) * 2019-07-01 2019-10-08 东北大学 一种基于残差编码解码的医学图像降噪方法
CN110349103A (zh) * 2019-07-01 2019-10-18 昆明理工大学 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法
CN110503616A (zh) * 2019-08-28 2019-11-26 上海海事大学 一种应用于图片去噪的生成式网络

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853977B2 (en) * 2017-08-30 2020-12-01 Korea Advanced Institute Of Science And Technology Apparatus and method for reconstructing image using extended neural network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310244A (zh) * 2019-07-01 2019-10-08 东北大学 一种基于残差编码解码的医学图像降噪方法
CN110349103A (zh) * 2019-07-01 2019-10-18 昆明理工大学 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法
CN110503616A (zh) * 2019-08-28 2019-11-26 上海海事大学 一种应用于图片去噪的生成式网络

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
niu yuzhen et al..Region-aware image denoising by exploring parameter preference.《IEEE Transactions on Circuits and Systems for Video Technology》.2018,第28卷(第9期),第2433-2438页. *
Qin Xiangxiang et al..Automated Segmentation Based on Residual U-Net Model for MR Prostate Images.《2018 11th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI)》.2019,第1-6页. *
黄鐄 等.条件生成对抗网络的低照度图像增强方法.《中国图象图形学报》.2019,第24卷(第12期),第2149-2158页. *

Also Published As

Publication number Publication date
CN111145123A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111145123B (zh) 基于U-Net融合保留细节的图像去噪方法
CN114140353B (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN110599409B (zh) 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
CN111242862B (zh) 多尺度融合并行稠密残差卷积神经网络图像去噪方法
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
CN111209952B (zh) 基于改进ssd和迁移学习的水下目标检测方法
CN112233038A (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
Yin et al. Highly accurate image reconstruction for multimodal noise suppression using semisupervised learning on big data
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
US11263728B2 (en) Priori constraint and outlier suppression based image deblurring method
CN111127331B (zh) 基于像素级全局噪声估计编解码网络的图像去噪方法
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN109949234A (zh) 基于深度网络的视频复原模型训练方法及视频复原方法
Uddin et al. A perceptually inspired new blind image denoising method using $ L_ {1} $ and perceptual loss
CN116524307A (zh) 一种基于扩散模型的自监督预训练方法
CN115761242B (zh) 一种基于卷积神经网络和模糊图像特征的去噪方法及终端机
CN115937121A (zh) 基于多维度特征融合的无参考图像质量评价方法及系统
Ahn et al. CODEN: combined optimization-based decomposition and learning-based enhancement network for Retinex-based brightness and contrast enhancement
CN114998124A (zh) 面向目标检测的图像清晰化处理方法
CN114399440A (zh) 图像处理方法、图像处理网络训练方法、装置及电子设备
CN112085671A (zh) 一种背景重建方法、装置、计算设备及存储介质
Fan et al. Bent identity-based CNN for image Denoising
CN116012266B (zh) 图像去噪方法、系统、设备及存储介质
Han et al. NM-FlowGAN: Modeling sRGB Noise with a Hybrid Approach based on Normalizing Flows and Generative Adversarial Networks
Wang et al. Adaptive color correction and detail restoration for underwater image enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant