CN113837959B - 图像去噪模型训练方法、图像去噪方法及系统 - Google Patents

图像去噪模型训练方法、图像去噪方法及系统 Download PDF

Info

Publication number
CN113837959B
CN113837959B CN202111080181.XA CN202111080181A CN113837959B CN 113837959 B CN113837959 B CN 113837959B CN 202111080181 A CN202111080181 A CN 202111080181A CN 113837959 B CN113837959 B CN 113837959B
Authority
CN
China
Prior art keywords
image
denoising
feature extraction
layer
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111080181.XA
Other languages
English (en)
Other versions
CN113837959A (zh
Inventor
李天平
冯凯丽
丁同贺
欧佳瑜
霍文晓
刘智凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202111080181.XA priority Critical patent/CN113837959B/zh
Publication of CN113837959A publication Critical patent/CN113837959A/zh
Application granted granted Critical
Publication of CN113837959B publication Critical patent/CN113837959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像去噪模型训练方法、图像去噪方法及系统，属于图像处理技术领域，利用训练集训练基础网络模型，得到图像去噪模型；其中，所述训练数据集包括多个图像块对，每一个图像块对均包括第一图像和第二图像，第一图像为含噪声图像，第二图像为无噪声图像；基础网络模型包括并联的第一特征提取通道和第二特征提取通道，第一特征提取通道和所述第二特征提取通道的输出共同连接自注意力机制模块。本发明使用双通道网络结构来同时提取图像不同层次的信息，并且在网络中级联自注意力机制模块，提高了图像去噪效果，不仅能够提取丰富的局部特征，有效减少训练过程中的梯度爆炸和过拟合问题；结合自注意力机制提取局部信息的同时关注全局信息。

Description

图像去噪模型训练方法、图像去噪方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于交替连接的双通道自注意力机制的图像去噪模型训练方法、图像去噪方法及系统。
背景技术
图像去噪是目标检测与追踪等技术领域中必不可少的一步，在生物、医学和军事等领域都有广泛的应用。发展至今的图像去噪方法主要分为两类，一类是基于特定形式的先验的传统的图像去噪方法，另一类是基于深度学习的图像去噪方法，其中包括基于卷积神经网络的方法和基于生成性对抗网络的方法等。
对于传统的图像去噪方法，除了滤波器算法，学习字典的稀疏表示和非局部自相似性统计是目前比较流行的算法。虽然这些图像去噪方法取得了不错去噪效果，但是传统的图像去噪方法不仅具有复杂的模型，而且包含了很多需要手动调节的参数，使图像去噪的过程计算复杂而且计算量很大。随着深度学习的发展与广泛传播，深度学习因为其强大的学习能力被应用于图像去噪中，用来改善传统图像去噪方法中存在的缺点。而目前基于深度学习的图像处理方法，往往采用增加训练次数或者是增加网络层数的方法来提高去噪效果，导致训练时间较长，并且易出现过拟合或者梯度爆炸的问题。
发明内容
本发明的目的在于提供一种计算量小、计算速度快、避免了过拟合或梯度爆炸温度的基于交替连接双通道自注意力机制的图像去噪模型训练方法、图像去噪方法及系统，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种图像去噪模型训练方法，包括：
获取训练数据集，所述训练数据集包括多个图像块对，每一个所述图像块对均包括第一图像和第二图像，所述第一图像为含噪声图像，所述第二图像为无噪声图像；
建立基础网络模型，所述基础网络模型包括并联的第一特征提取通道和第二特征提取通道，所述第一特征提取通道和所述第二特征提取通道的输出共同连接自注意力机制模块；
利用所述训练数据集对所述基础网络模型进行训练，得到训练好的图像去噪模型。
优选的，所述第一特征提取通道包括六层依次连接的卷积层，在每层卷积层顺次连接的基础上，第一层卷积层连接到第三层卷积层，将第五层卷积层连接到第二层卷积层，第四层卷积层连接到第六层卷积层。
优选的，每层卷积层滤波器核的大小为，/>表示图像的通道数，当/>=1时，代表输入图像为灰度图像，当/>=3时，代表输入图像为彩色图像。
优选的，所述第一特征提取通道的每层卷积层均加入了归一化和批量正则化。
优选的，所述第二特征提取通道包括依次连接的16个卷积层，其中，第1层和第9层添加了正则化和批量归一化，第2层至第8层以及第10层至第15层为扩张卷积和批量归一化。
优选的，扩张卷积的扩张因子设置为2，则接受域扩大为4倍。扩张卷积（DilatedConvolution）也被称为空洞卷积或者膨胀卷积，是在标准的卷积核中注入空洞，以此来增加模型的感受野（reception field）。相比原来的正常卷积操作，扩张卷积多了一个参数：dilation rate，指的是卷积核的点的间隔数量，比如常规的卷积操作dilatation rate为1。
优选的，利用所述训练数据集对所述基础网络模型进行训练，得到训练好的图像去噪模型，包括：
将所述多个图像块对中的第一图像输入所述基础网络模型，获得多个输出图像；
根据所述多个输出图像和所述多个图像块对中对应的第二图像，构建损失函数；
对所述损失函数的最小值进行优化，获得优化后的网络参数；
利用优化后的网络参数对所述基础网络模型进行迭代更新，得到最终训练好的图像去噪模型。
第二方面，本发明提供一种图像去噪方法，包括：获取待处理的图像，利用如上所述的图像去噪模型训练方法得到的图像去噪模型对获取的待处理的图像进行处理，得到去噪后的图像。
第三方面，本发明提供一种图像去噪系统，包括：
获取模块，用于获取待处理的图像；
处理模块，用于利用如上所述的图像去噪模型训练方法得到的去噪网络对获取的待处理的图像进行处理，得到去噪后的图像。
第四方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的图像去噪方法。
第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的图像去噪方法的指令。
本发明有益效果：使用了双通道网络结构来同时提取图像不同层次的信息，其中第一层网络使用交替连接通道，第二层网络为宽路径特征提取通道，并且在网络中级联自注意力机制模块；交替连接通道和宽路径特征提取通道相结合提取网络不同尺度的特征，从而大幅度地提高图像的去噪效果；交替连接模块的使用不仅能够提取丰富的局部特征，还能够有效减少训练过程中的梯度爆炸和过拟合问题；自注意力机制与卷积神经网络的结合使得网络提取图像的局部信息时，也能够同时关注全局信息。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1所述的图像去噪模型训练方法流程示意图；
图2为本发明实施例1所述的图像去噪模型结构示意图；
图3为本发明实施例1所述的第一特征提取通道的网络结构示意图；
图4为本发明实施例3所述的图像去噪系统功能原理框图；
图5为本发明实施例3所述的图像去噪方法流程示意图；
图6为本发明实施例4所述的图像去噪网络模型结构图；
图7为本发明实施例4所述的噪声水平为35时，Set12数据集中一幅图像的去噪结果示意图；
图8为本发明实施例4所述的噪声水平为35时，McMaster数据集中一幅图像的去噪结果示意图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本实施例1提供一种图像去噪模型训练系统，该系统包括：
获取模块，用于获取训练数据集。其中，所述训练数据集包括多个图像块对，每一个所述图像块对均包括第一图像和第二图像，所述第一图像为含噪声图像，所述第二图像为无噪声图像。
建立模块，用于建立基础网络模型。如图2所示，建立的所述基础网络模型包括并联的第一特征提取通道和第二特征提取通道，所述第一特征提取通道和所述第二特征提取通道的输出共同连接自注意力机制模块。
训练模块，用于利用所述训练数据集对所述基础网络模型进行训练，得到训练好的图像去噪模型。
本实施例1中，利用上述的图像去噪模型训练系统实现了图像去噪模型训练方法，最终得到图像去噪模型。如图1所示，该方法包括：
使用获取模块获取训练数据集。其中，所述训练数据集包括多个图像块对，每一个所述图像块对均包括第一图像和第二图像，所述第一图像为含噪声图像，所述第二图像为无噪声图像。
使用建立模块建立基础网络模型。建立的所述基础网络模型包括并联的第一特征提取通道和第二特征提取通道，所述第一特征提取通道和所述第二特征提取通道的输出共同连接自注意力机制模块。
使用训练模块利用所述训练数据集对所述基础网络模型进行训练，得到训练好的图像去噪模型。
如图3所示，本实施例1中，所述第一特征提取通道包括六层依次连接的卷积层，在每层卷积层顺次连接的基础上，第一层卷积层连接到第三层卷积层，将第五层卷积层连接到第二层卷积层，第四层卷积层连接到第六层卷积层。
其中，每层卷积层滤波器核的大小为，/>表示图像的通道数，当/>=1时，代表输入图像为灰度图像，当/>=3时，代表输入图像为彩色图像。所述第一特征提取通道的每层卷积层均加入了归一化和批量正则化。
本实施例1中，所述第二特征提取通道包括依次连接的16个卷积层，其中，第1层和第9层添加了正则化和批量归一化，第2层至第8层以及第10层至第15层为扩张卷积和批量归一化。
其中，扩张卷积的扩张因子设置为2，则接受域扩大为4倍。
本实施例1中，利用所述训练数据集对所述基础网络模型进行训练，得到训练好的图像去噪模型，包括：
将所述多个图像块对中的第一图像输入所述基础网络模型，获得多个输出图像；
根据所述多个输出图像和所述多个图像块对中对应的第二图像，构建损失函数；
对所述损失函数的最小值进行优化，获得优化后的网络参数；
利用优化后的网络参数对所述基础网络模型进行迭代更新，得到最终训练好的图像去噪模型。
实施例2
本实施例2提供一种图像去噪模型训练系统，该系统包括：
获取模块，用于获取训练数据集。其中，所述训练数据集包括多个图像块对，每一个所述图像块对均包括第一图像和第二图像，所述第一图像为含噪声图像，所述第二图像为无噪声图像。
建立模块，用于建立基础网络模型。建立的所述基础网络模型包括并联的第一特征提取通道和第二特征提取通道，所述第一特征提取通道和所述第二特征提取通道的输出共同连接自注意力机制模块。
训练模块，用于利用所述训练数据集对所述基础网络模型进行训练，得到训练好的图像去噪模型。
本实施例2中，利用上述的图像去噪模型训练系统实现了图像去噪模型训练方法，最终得到图像去噪模型。如图1所示，该方法包括：
使用获取模块获取训练数据集。其中，所述训练数据集包括多个图像块对，每一个所述图像块对均包括第一图像和第二图像，所述第一图像为含噪声图像，所述第二图像为无噪声图像。
使用建立模块建立基础网络模型。建立的所述基础网络模型包括并联的第一特征提取通道和第二特征提取通道，所述第一特征提取通道和所述第二特征提取通道的输出共同连接自注意力机制模块。
使用训练模块利用所述训练数据集对所述基础网络模型进行训练，得到训练好的图像去噪模型。
如图2所示，本实施例2中，所述第一特征提取通道包括六层依次连接的卷积层，在每层卷积层顺次连接的基础上，第一层卷积层连接到第三层卷积层，将第五层卷积层连接到第二层卷积层，第四层卷积层连接到第六层卷积层。
其中，每层卷积层滤波器核的大小为，/>表示图像的通道数，当/>=1时，代表输入图像为灰度图像，当/>=3时，代表输入图像为彩色图像。所述第一特征提取通道的每层卷积层均加入了归一化和批量正则化。
本实施例2中，所述第二特征提取通道包括依次连接的16个卷积层，其中，第1层和第9层添加了正则化和批量归一化，第2层至第8层以及第10层至第15层为扩张卷积和批量归一化。
其中，扩张卷积的扩张因子设置为2，则接受域扩大为4倍。
本实施例2中，利用所述训练数据集对所述基础网络模型进行训练，得到训练好的图像去噪模型，包括：
将所述多个图像块对中的第一图像输入所述基础网络模型，获得多个输出图像；
根据所述多个输出图像和所述多个图像块对中对应的第二图像，构建损失函数；
对所述损失函数的最小值进行优化，获得优化后的网络参数；
利用优化后的网络参数对所述基础网络模型进行迭代更新，得到最终训练好的图像去噪模型。
本实施例2中，采用退化方程对构建的基础网络进行训练。其中，/>为加性高斯白噪声，/>为含噪图像，通过网络预测噪声/>，然后通过/>来获取干净图像/>（即去噪声后的图像）。因此，结合已有深度卷积神经网络的去噪方法，采用均方误差来训练图像去噪模型，损失函数为：
其中，代表中训练模型的参数，/>代表/>个有噪声-干净（即无噪声）的图像对。损失函数通过Adam优化器恢复潜在的清洁图像。
实施例3
如图4所示，本实施例3中，提供一种图像去噪系统，该系统包括：
获取模块，用于获取待处理的图像；
处理模块，用于利用如权利要求1-7任一项所述的图像去噪模型训练方法得到的去噪网络对获取的待处理的图像进行处理，得到去噪后的图像。
如图5所示，本实施例3中，利用上述的图像去噪系统实现了一种图像去噪方法，该方法包括：利用获取模块获取待处理的图像，利用处理模块使用训练好的图像去噪模型对待处理的图像进行处理，得到去噪后的图像。
本实施例3中，所述训练好的图像去噪模型使用图像去噪模型训练系统得到，该系统包括：
获取模块，用于获取训练数据集。其中，所述训练数据集包括多个图像块对，每一个所述图像块对均包括第一图像和第二图像，所述第一图像为含噪声图像，所述第二图像为无噪声图像。
建立模块，用于建立基础网络模型。建立的所述基础网络模型包括并联的第一特征提取通道和第二特征提取通道，所述第一特征提取通道和所述第二特征提取通道的输出共同连接自注意力机制模块。
训练模块，用于利用所述训练数据集对所述基础网络模型进行训练，得到训练好的图像去噪模型。
本实施例3中，利用上述的图像去噪模型训练系统得到图像去噪模型，包括：
使用获取模块获取训练数据集。其中，所述训练数据集包括多个图像块对，每一个所述图像块对均包括第一图像和第二图像，所述第一图像为含噪声图像，所述第二图像为无噪声图像。
使用建立模块建立基础网络模型。建立的所述基础网络模型包括并联的第一特征提取通道和第二特征提取通道，所述第一特征提取通道和所述第二特征提取通道的输出共同连接自注意力机制模块。
使用训练模块利用所述训练数据集对所述基础网络模型进行训练，得到训练好的图像去噪模型。
本实施例3中，所述第一特征提取通道包括六层依次连接的卷积层，在每层卷积层顺次连接的基础上，第一层卷积层连接到第三层卷积层，将第五层卷积层连接到第二层卷积层，第四层卷积层连接到第六层卷积层。
其中，每层卷积层滤波器核的大小为，/>表示图像的通道数，当/>=1时，代表输入图像为灰度图像，当/>=3时，代表输入图像为彩色图像。所述第一特征提取通道的每层卷积层均加入了归一化和批量正则化。
本实施例3中，所述第二特征提取通道包括依次连接的16个卷积层，其中，第1层和第9层添加了正则化和批量归一化，第2层至第8层以及第10层至第15层为扩张卷积和批量归一化。
其中，扩张卷积的扩张因子设置为2，则接受域扩大为4倍。
本实施例3中，利用所述训练数据集对所述基础网络模型进行训练，得到训练好的图像去噪模型，包括：
将所述多个图像块对中的第一图像输入所述基础网络模型，获得多个输出图像；
根据所述多个输出图像和所述多个图像块对中对应的第二图像，构建损失函数；
对所述损失函数的最小值进行优化，获得优化后的网络参数；
利用优化后的网络参数对所述基础网络模型进行迭代更新，得到最终训练好的图像去噪模型。
本实施例3中，采用退化方程对构建的基础网络进行训练。其中，/>为加性高斯白噪声，/>为含噪图像，通过网络预测噪声/>，然后通过/>来获取干净图像/>（即去噪声后的图像）。因此，结合已有深度卷积神经网络的去噪方法，采用均方误差来训练图像去噪模型，损失函数为：
其中，代表中训练模型的参数，/>代表/>个有噪声-干净（即无噪声）的图像对。损失函数通过Adam优化器恢复潜在的清洁图像。
实施例4
本实施例4中，提出一种用于图像去噪的多特征交替连接双通道自注意力机制网络。该网络使用了双通道网络结构来同时提取图像不同层次的信息，其中，第一层网络使用交替连接通道（即上述实施例1-3中的第一特征提取通道），第二层网络为宽路径特征提取通道（即上述实施例1-3中的第二特征提取通道），并且在网络中级联自注意力机制模块。
双通道网络结构来提取图像的特征，交替连接通道和宽路径特征提取通道相结合提取网络不同尺度的特征，从而大幅度地提高图像的去噪效果。交替连接模块的使用不仅能够提取丰富的局部特征，还能够有效减少训练过程中的梯度爆炸和过拟合问题。自注意力机制与卷积神经网络的结合使得网络提取图像的局部信息时，也能够同时关注全局信息。
具体的，如图6所示，本实施例4中，用于图像去噪的多特征交替连接双通道自注意力机制网络系统，由双通道网络和自注意力机制两部分级联构成。采用上层网络（第一层网络）和下层网络（第二层网络）并联的网络形式，以提取图像的关注特征，进而提高该网络处理各种去噪任务的能力。其中，将上层网络称为交替连接通道，它由三个交替连接模块组成。下层网络为宽路径特征提取通道，在宽路径特征提取通道中加入扩张卷积，扩张卷积的加入使得该通道相比于普通卷积网络有较大的感受域，很大程度的提高去噪性能。最后，增加一个轻量级自注意力机制模块，图像经过双通道卷积神经网络之后，进入自注意力机制模块，得到输出结果。自注意力机制旨在关注图像的全局信息，保留图像的全局特征，增强图像去噪的视觉表现力。
本实施例4中，基于跳过连接和密集连接的思想提出交替连接通道（即第一特征提取通道）。每个交替连接模块由六个卷积层构成，每个卷积层都加入了归一化和批量正则化，这六个卷积层不是采用简单的首尾依次连接的方式，而是采用更为复杂的交替连接的方式。在每层卷积层顺次连接的基础上，交替连接通道又将层连接到/>层，将/>层连接到/>层，将/>层连接到/>层，这样就构成了一个六层的交替连接通道。其中，每层卷积滤波器核的大小为/>，/>表示图像的通道数，当/>=1时，代表输入图像为灰度图像，当/>=3时，代表输入图像为彩色图像。
本实施例4中，交替连接通道以跳过连接为基础，保留了其残差结构的思想，又在密集连接的启发下增添了新的连接方式。总的来说，交替连接不仅保留了跳过连接的优点，而且具有密集连接的一些优势，并且比密集连接的结构更加简单。交替连接应用在图像去噪中可以提高网络的收敛能力，提高图像去噪效率。
本实施例4中，宽路径特征提取通道（第二特征提取通道）由16个卷积层构成。宽路径特征提取通道的第1层和第9层为添加了正则化和批量归一化的卷积层。第2层至第8层，第10层至第15层为扩张卷积和批量归一化层。宽路径特征提取通道的最后一层为卷积层。在宽路径特征提取通道中，我们将扩张卷积的扩张因子设置为2，则接受域扩大为4倍。宽路径特征提取通道使用扩张卷积来扩宽通道的感受野，使得该通道能够提取更多的图像信息。
本实施例4中，提出的方法采用退化方程对构建的基础网络进行训练。其中，/>为加性高斯白噪声，/>为含噪图像，通过网络预测噪声/>，然后通过/>来获取干净图像/>（即去噪声后的图像）。因此，结合已有深度卷积神经网络的去噪方法，采用均方误差来训练图像去噪模型，损失函数为：
其中，代表中训练模型的参数，/>代表/>个有噪声-干净（即无噪声）的图像对。损失函数通过Adam优化器恢复潜在的清洁图像。
本实施例4中，为了评估所提出的去噪方法的效果，在5个不同的公共数据集进行了测试，数据集分别为：Set12，BSD68，CBSD68，Kodak24，McMaster。使用峰值信噪比（PSNR）与结构相似度(SSIM)来衡量图像去噪的效果。在灰度图像和彩色图像上分别进行了对比。
对于灰度图像，表1展示了在噪声水平为15时，本实施例4所述的去噪方法与最先进的10种方法在Set12数据集上每幅图像的PSNR值以及平均PSNR值。通过表1可以直观的看出，在大多数图像上，PSNR比最先进的方法都有提高。表2展示了在各个噪声水平下，与其他先进方法在BSD68数据集上进行进测试的结果。特别是在噪声水平为25时，在BSD68数据集上额测试的SSIM已经达到0.9030，比FFDNet提升了0.08。图7为在噪声水平为35下，选取的Set 12测试集中的一幅图像与BRDNet，FFDNet，EPLL和DnCNN四种方法及含噪图像的可视化结果。
其中，如图7中的(a)为MDCNet /34.54dB，图7中的 (b)为 BRDNet/33.41dB ，图7中的(c)为 FFDNet/33.28dB，图7中的 (d)为 EPLL/33.17dB ，图7中的(e) 为DnCNN/33.06dB ，图7中的(f)为Noisy /20.21dB。
表1
表2
对于彩色图像，在噪声水平为15、25、35、50和70时，在DBSD68，Kodak24和McMaster三个数据集上进行测试，并与最先进的6种方法进行对比。表3表示各个数据集在不同噪声水平下的平均PSNR值。通过表3可以看出，在不同数据集不同噪声水平下，PSNR值都有提高。尤其是当噪声水平为70时，比BRDNet还要高0.06dB。图8为在噪声水平为35下，选取的McMaster测试集中的一幅图像与BRDNet，FFDNet和CBM3D三种方法及含噪图像的可视化结果。比最先进的BRDNet都要高0.08dB。根据PSNR值和可视化去噪结果可以看出，MDCNet在彩色图像上有良好的去噪效果。
其中， 图8中的（a）为Ours /32.33dB ，图8中的 (b)为 BRDNet/32.25dB，图8中的(c)为FFDNet/31.94dB，图8中的(d)为 CBM3D/3.04dB ，图8中的 (e) 为Noisy /17.25dB，图8 中的 (f) 为Original/35dB。
表3
实施例5
本发明实施例5提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的图像去噪方法，该方法包括：
获取待处理的图像，利用图像去噪模型对获取的待处理的图像进行处理，得到去噪后的图像。
实施例6
本发明实施例6提供一种计算机程序（产品），包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的图像去噪方法，该方法包括：获取待处理的图像，利用图像去噪模型对获取的待处理的图像进行处理，得到去噪后的图像。
实施例7
本发明实施例7提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的图像去噪方法的指令，该方法包括：
获取待处理的图像，利用图像去噪模型对获取的待处理的图像进行处理，得到去噪后的图像。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种图像去噪模型训练方法，其特征在于，包括：
获取训练数据集，所述训练数据集包括多个图像块对，每一个所述图像块对均包括第一图像和第二图像，所述第一图像为含噪声图像，所述第二图像为无噪声图像；
建立基础网络模型，所述基础网络模型包括并联的第一特征提取通道和第二特征提取通道，所述第一特征提取通道和所述第二特征提取通道的输出共同连接自注意力机制模块；
利用所述训练数据集对所述基础网络模型进行训练，得到训练好的图像去噪模型，包括：
将所述多个图像块对中的第一图像输入所述基础网络模型，获得多个输出图像；
根据所述多个输出图像和所述多个图像块对中对应的第二图像，构建损失函数，包括：
对所述损失函数的最小值进行优化，获得优化后的网络参数；
利用优化后的网络参数对所述基础网络模型进行迭代更新，得到最终训练好的图像去噪模型；
采用退化方程对构建的基础网络进行训练；其中，/>为加性高斯白噪声，/>为含噪图像，通过网络预测噪声/>，然后通过/>来获取干净图像/>，即去噪声后的图像；因此，结合已有深度卷积神经网络的去噪方法，采用均方误差来训练图像去噪模型，损失函数为：
其中，代表中训练模型的参数，/>代表/>个有噪声-干净即无噪声的图像对；损失函数通过Adam优化器恢复潜在的清洁图像。
2.根据权利要求1所述的图像去噪模型训练方法，其特征在于，所述第一特征提取通道包括六层依次连接的卷积层，在每层卷积层顺次连接的基础上，第一层卷积层连接到第三层卷积层，将第五层卷积层连接到第二层卷积层，第四层卷积层连接到第六层卷积层。
3.根据权利要求2所述的图像去噪模型训练方法，其特征在于，每层卷积层滤波器核的大小为，/>表示图像的通道数，当/>=1时，代表输入图像为灰度图像，当/>=3时，代表输入图像为彩色图像。
4.根据权利要求2所述的图像去噪模型训练方法，其特征在于，所述第一特征提取通道的每层卷积层均加入了归一化和批量正则化。
5.根据权利要求1所述的图像去噪模型训练方法，其特征在于，所述第二特征提取通道包括依次连接的16个卷积层，其中，第1层和第9层添加了正则化和批量归一化，第2层至第8层以及第10层至第15层为扩张卷积和批量归一化。
6.根据权利要求5所述的图像去噪模型训练方法，其特征在于，扩张卷积的扩张因子设置为2，则接受域扩大为4倍。
7.一种图像去噪方法，其特征在于，包括：获取待处理的图像，利用如权利要求1-6任一项所述的图像去噪模型训练方法得到的图像去噪模型对获取的待处理的图像进行处理，得到去噪后的图像。
8.一种图像去噪系统，其特征在于，包括：
获取模块，用于获取待处理的图像；
处理模块，用于利用如权利要求1-6任一项所述的图像去噪模型训练方法得到的去噪网络对获取的待处理的图像进行处理，得到去噪后的图像。
9.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求7所述的图像去噪方法的指令。
CN202111080181.XA 2021-09-15 2021-09-15 图像去噪模型训练方法、图像去噪方法及系统 Active CN113837959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111080181.XA CN113837959B (zh) 2021-09-15 2021-09-15 图像去噪模型训练方法、图像去噪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111080181.XA CN113837959B (zh) 2021-09-15 2021-09-15 图像去噪模型训练方法、图像去噪方法及系统

Publications (2)

Publication Number Publication Date
CN113837959A CN113837959A (zh) 2021-12-24
CN113837959B true CN113837959B (zh) 2024-04-09

Family

ID=78959456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111080181.XA Active CN113837959B (zh) 2021-09-15 2021-09-15 图像去噪模型训练方法、图像去噪方法及系统

Country Status (1)

Country Link
CN (1) CN113837959B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11540798B2 (en) 2019-08-30 2023-01-03 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising
CN114758481A (zh) * 2022-04-12 2022-07-15 中铁十九局集团第二工程有限公司 一种机场灯光图像监测维护系统
CN115439451B (zh) * 2022-09-09 2023-04-21 哈尔滨市科佳通用机电股份有限公司 一种铁路货车转向架弹簧托板的去噪检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408522A (zh) * 2016-06-27 2017-02-15 深圳市未来媒体技术研究院 一种基于卷积对神经网络的图像去噪方法
CN110706181A (zh) * 2019-10-09 2020-01-17 中国科学技术大学 一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统
CN111275643A (zh) * 2020-01-20 2020-06-12 西南科技大学 基于通道和空间注意力的真实噪声盲去噪网络模型及方法
CN113191972A (zh) * 2021-04-27 2021-07-30 西安交通大学 一种轻量真实图像去噪的神经网络设计及训练方法
CN113362250A (zh) * 2021-06-25 2021-09-07 南昌航空大学 一种基于双树四元小波与深度学习的图像去噪方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408522A (zh) * 2016-06-27 2017-02-15 深圳市未来媒体技术研究院 一种基于卷积对神经网络的图像去噪方法
CN110706181A (zh) * 2019-10-09 2020-01-17 中国科学技术大学 一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统
CN111275643A (zh) * 2020-01-20 2020-06-12 西南科技大学 基于通道和空间注意力的真实噪声盲去噪网络模型及方法
CN113191972A (zh) * 2021-04-27 2021-07-30 西安交通大学 一种轻量真实图像去噪的神经网络设计及训练方法
CN113362250A (zh) * 2021-06-25 2021-09-07 南昌航空大学 一种基于双树四元小波与深度学习的图像去噪方法及系统

Also Published As

Publication number Publication date
CN113837959A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN113837959B (zh) 图像去噪模型训练方法、图像去噪方法及系统
Anwar et al. Real image denoising with feature attention
Wang et al. Multi-scale dilated convolution of convolutional neural network for image denoising
CN108765296B (zh) 一种基于递归残差注意力网络的图像超分辨率重建方法
Bao et al. Real image denoising based on multi-scale residual dense block and cascaded U-Net with block-connection
CN109671026B (zh) 基于空洞卷积及自动编解码神经网络的灰度图像降噪方法
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
He et al. A hybrid-attention nested UNet for nuclear segmentation in histopathological images
CN111860528B (zh) 基于改进U-Net网络的图像分割模型及训练方法
CN112365514A (zh) 基于改进PSPNet的语义分割方法
CN112801906B (zh) 基于循环神经网络的循环迭代图像去噪方法
CN110223231A (zh) 一种含噪图像的快速超分辨重建算法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
Zhou et al. Online filter clustering and pruning for efficient convnets
CN112836602B (zh) 基于时空特征融合的行为识别方法、装置、设备及介质
Li et al. Densely connected network for impulse noise removal
CN114492522B (zh) 基于改进堆叠沙漏神经网络的自动调制分类方法
CN111860834B (zh) 一种神经网络调优方法、系统、终端以及存储介质
CN114972753B (zh) 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统
CN114067157A (zh) 基于忆阻器的神经网络优化方法、装置及忆阻器阵列
CN114283058A (zh) 基于对抗网络和最大互信息优化的图像超分辨率重建方法
CN117744745B (zh) 一种基于YOLOv5网络模型的图像优化方法及优化系统
CN118196231A (zh) 一种基于概念分割的终身学习文生图方法
Hua et al. Dynamic scene deblurring with continuous cross-layer attention transmission
CN111160354A (zh) 一种基于联合图像信息的海天背景下船舶图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant