CN113191972B - 一种轻量真实图像去噪的神经网络设计及训练方法 - Google Patents

一种轻量真实图像去噪的神经网络设计及训练方法 Download PDF

Info

Publication number
CN113191972B
CN113191972B CN202110462356.7A CN202110462356A CN113191972B CN 113191972 B CN113191972 B CN 113191972B CN 202110462356 A CN202110462356 A CN 202110462356A CN 113191972 B CN113191972 B CN 113191972B
Authority
CN
China
Prior art keywords
image
2ndrb
neural network
noise
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110462356.7A
Other languages
English (en)
Other versions
CN113191972A (zh
Inventor
侯兴松
刘恒岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202110462356.7A priority Critical patent/CN113191972B/zh
Publication of CN113191972A publication Critical patent/CN113191972A/zh
Application granted granted Critical
Publication of CN113191972B publication Critical patent/CN113191972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种轻量真实图像去噪的神经网络设计方法及训练方法，所述轻量真实图像去噪的神经网络采用4尺度的U型网络结构，包括7个二阶残差注意力模块、3个下采样模块以及3个上采样模块。本发明能够对真实含噪图像进行快速去噪，获得去噪图像。

Description

一种轻量真实图像去噪的神经网络设计及训练方法
技术领域
本发明涉及真实图像去噪领域，具体涉及一种轻量真实图像去噪的神经网络设计及训练方法。
背景技术
神经网络的兴起对于高斯图像去噪的任务产生巨大推进。因为高斯噪声容易仿真，可以直接加到图像中获得神经网络所需要的数据集，重组的数据集带来神经网络稳定的高斯噪声去噪效果。在真实场景下，神经网络用于图像去噪主要由两方面限制：经过终端数字图像处理后，噪声类型会变得比较复杂，难以在实验环境下仿真，不利于神经网络训练；常见的神经网络的参数很多，很难满足在移动终端的实时运行。因此设计一种针对真实场景的、轻量的真实噪声去噪网络具有较高的学术和工程价值。
发明内容
本发明的目的在于提供一种轻量真实图像去噪的神经网络设计及训练方法，以解决现有技术存在的问题，本发明能够对真实含噪图像进行快速去噪，获得去噪图像。
为达到上述目的，本发明采用如下技术方案：
一种轻量真实图像去噪的神经网络设计方法，所述轻量真实图像去噪的神经网络采用4尺度的U型网络结构，包括7个二阶残差注意力模块、3个下采样模块以及3个上采样模块；
所述7个二阶残差注意力模块按照与输入距离的远近依次命名为2ndRB1……2ndRB7，对于输入的含噪图像，首先经过2ndRB1进行特征的提取，2ndRB1的输出有两条分支：第一条分支向网络后方传递，与2ndRB6的输出相加后输入到2ndRB7中；第二条分支经过小波下采样，送入到2ndRB2中；2ndRB2的输出有两条分支：第一条分支向网络后方传递，与2ndRB5的输出相加后输入到2ndRB6中；第二条分支经过小波下采样，送入到2ndRB3中；2ndRB3的输出有两条分支：第一条分支向网络后方传递，与2ndRB4的输出相加后输入到2ndRB5中；第二条分支经过小波下采样，送入到2ndRB4中；2ndRB4的输出与2ndRB3的第一条分支相加输入至2ndRB5中；2ndRB5的输出与2ndRB2的第一条分支相加输入至2ndRB6中；2ndRB6的输出与2ndRB1的第一条分支相加输入至2ndRB7中；2ndRB7的输出与输入的噪声图像相加后得到去噪图像。
进一步地，所述二阶残差注意力模块包括卷积层1-激活函数-卷积层2模块和通道注意力模块，且所述二阶残差注意力模块将模块输入作为零阶项，卷积层1-激活函数-卷积层2模块输出作为一阶项，并把一阶项输入到通道注意力模块中得到二阶项，最终输出零阶项、一阶项和二阶项一半之和。
进一步地，所述7个二阶残差注意力模块参数设置如下表所示：
Figure BDA0003042754510000021
其中，卷积层1参数和卷积层2参数包括卷积核通道数c，个数n，卷积核大小d，卷积核滑动步长s，通道注意力参数包括特征伸缩倍数r。
进一步地，所述3个下采样模块参数设置如下表所示：
Figure BDA0003042754510000022
Figure BDA0003042754510000031
其中，下采样模块采用Haar小波系数卷积实现，卷积类型采用二维分层卷积，输入的每个通道数据与4个卷积核大小为2x2、滑动步长为2的卷积核卷积。
进一步地，所述3个上采样模块参数设置如下表所示：
Figure BDA0003042754510000032
所述上采样模块采用下采样网络逆过程实现，卷积类型采用二维分层反卷积。
一种轻量真实图像去噪的神经网络的训练方法，包括以下步骤：
步骤1：设计噪声生成神经网络，采用U型网络结构，其基本模块采用卷积层-激活函数-卷积层结构，其输入为干净图像，输出为生成含噪图像；
步骤2：设置训练数据集，所述轻量真实图像去噪的神经网络采用开源的SIDD数据集，将此部分图像滑动裁剪成512x512大小图像块，去除含噪图像块和无噪图像块中平均像素值差异大于10的配对图像对；所述噪声生成神经网络训练采用开源的SIDD数据集，将此部分全部图像滑动裁剪成512x512大小图像块；
步骤3：设置训练参数，所述轻量真实图像去噪的神经网络和噪声生成神经网络训练参数设置一致，初始学习率设置10-4，学习率每隔20个epoch减半，总共训练120个epoch，图像Batch size设置8，每张图像随机选择256x256大小图像内容作为输入；优化器采用ADAM优化器，β1＝0.9，β2＝0.999，ε＝10-8；
步骤4：设置训练损失函数；
步骤5：根据设置好的训练数据集、训练参数以及训练损失函数分别训练所述轻量真实图像去噪神经网络和噪声生成神经网络；
步骤6：新生成混合数据集，将噪声生成神经网络生成噪声图像和噪声方差15-55的高斯噪声加噪图像按照数量1：2获得混合噪声数据集；
步骤7：重新设置所述轻量真实图像去噪神经网络训练参数，所述轻量真实图像去噪的神经网络训练参数重新设置如下：初始学习率设置10-5，学习率每隔20个epoch减半，总共训练80个epoch，图像Batch size设置8，每张图像随机选择256x256大小图像内容作为输入；优化器采用ADAM优化器，β1＝0.9，β2＝0.999，ε＝10-8，在新生成混合数据集和重新设置参数下，再训练一次所述轻量真实图像去噪神经网络。
进一步地，所述噪声生成神经网络如下表所示：
Figure BDA0003042754510000041
其中，卷积层1参数和卷积层2参数包括卷积核通道数c，个数n，卷积核大小d，卷积核滑动步长s，以及卷积类型，所述卷积类型为卷积或反卷积。
进一步地，步骤4中所述轻量真实图像去噪的神经网络损失函数为去噪图像和无噪图像的2范数；噪声生成神经网络对生成含噪图像进行Haar小波变换得到生成含噪图像的四个子带HH1、HL1、LH1、LL1，对含噪图像进行Haar小波变换得到含噪图像的四个子带HH2、HL2、LH2、LL2；HH1和HH2都经过大小为3的二维高斯滤波器滤波得到GHH1和GHH2，HL1、LH1、LL1、HL2、LH2、LL2都经过大小5的二维高斯滤波器滤波得到GHL1、GLH1、GLL1、GHL2、GLH2、GLL2，将GHH1、GHL1、GLH1、GLL1沿通道方向拼接得到[GHH1、GHL1、GLH1、GLL1]，将将GHH2、GHL2、GLH2、GLL2沿通道方向拼接得到[GHH2、GHL2、GLH2、GLL2]，噪声生成神经网络的损失函数为[GHH1、GHL1、GLH1、GLL1]和[GHH2、GHL2、GLH2、GLL2]之间的2范数。
与现有技术相比，本发明具有以下有益的技术效果：
本发明所述的轻量真实图像去噪神经网络采用4尺度的U型网络，由7个2ndRB模块、3个小波下采样和3个小波上采样组成，2ndRB模块包括卷积层-激活函数-卷积层和通道注意力模块，通道注意力模块提取二阶特征，可以提高网络对微小噪声的滤除能力，提高网络效率，同时注意力模块、小波上采样以及小波下采样的模型参数量都比较少，可以控制网络的总参数量在一个较低的范围，适用于在手机的终端运行。
本发明将所述的轻量真实图像去噪网络的训练分为两步，第一步训练获得初步去噪模型和生成模型，第二步训练借助生成模型提升初步去噪模型性能，获得最终去噪模型，真实噪声数据集中的无噪图像通过多张图像对齐平均获得，对齐时图像边缘会有一定偏差，得到的无噪图像中边缘信息较为模糊，在此数据集上训练的初步去噪模型也会滤除较多边缘信息，导致图像模糊。为了解决这个问题，本发明在第一步训练中同时训练生成模型，生成模型的作用是由无噪图像生成噪声图像，其损失函数结合了小波变换和不同子带滤波对应不同高斯滤波器的方法，能够学习噪声分布，确保生成模型生成的含噪图的分布与噪声图像一致。在此基础上，我们进行第二步训练，将生成模型生成的数据和高斯噪声仿真的数据混合在一起获得新的数据集，新数据集获取过程中没有多张对齐平均，所以不会再出现边缘模糊的问题。初步训练模型在新数据集重新训练，获得最终去噪模型，最终去噪模型的去噪图像中的边缘信息会比初步去噪模型中的边缘信息更丰富，图像清晰度得到提升。
附图说明
图1表示网络总体结构；
图2表示二阶残差注意力模块结构；
图3表示数据集中无噪图像和噪声图像之间的差异；
图4表示两步训练流程，其中(a)为第一步训练，得到初步去噪模型和生成模型，(b)为第二步训练，由初步去噪模型得到最终去噪模型；
图5表示对于一张含噪的原始图像,经过第一步训练得到的初步去噪模型和第二步得到的最终去噪模型去噪后的效果对比，其中(a)为含噪图像，(b)为第一步训练得到的初步去噪模型对(a)的去噪效果，(c)为第二步训练后得到的最终去噪模型对(a)的去噪效果。
具体实施方式
下面结合附图对本发明作进一步详细描述：
1、本发明设计一种结合二阶残差注意力模块的去噪网络
本发明设计了一种新型的结合二阶残差注意力模块的真实图像去噪网络结构。去噪网络采用4尺度的U型网络结构，网络整体结构如图1所示。
去噪网络总共由7个二阶残差模块(2ndRB)和3个小波下采样层和以及3个小波上采样层组成。将2ndRB按照与输入距离的远近依次命名为2ndRB1……2ndRB7。对于输入的含噪图像，首先经过2ndRB1进行特征的提取，2ndRB1的输出有两条分支：第一条分支向网络后方传递，与2ndRB6的输出相加后输入到2ndRB7中；第二条分支经过小波下采样，送入到2ndRB2中；2ndRB2的输出有两条分支：第一条分支向网络后方传递，与2ndRB5的输出相加后输入到2ndRB6中；第二条分支经过小波下采样，送入到2ndRB3中；2ndRB3的输出有两条分支：第一条分支向网络后方传递，与2ndRB4的输出相加后输入到2ndRB5中；第二条分支经过小波下采样，送入到2ndRB4中；2ndRB4的输出与2ndRB3的第一条分支相加输入至2ndRB5中；2ndRB5的输出与2ndRB2的第一条分支相加输入至2ndRB6中；2ndRB6的输出与2ndRB1的第一条分支相加输入至2ndRB7中；2ndRB7的输出与输入的噪声图像相加后得到去噪图像。
每个尺度提取一定数量图像特征，同时为了提高模型效率，提出二阶残差注意力模块提取特征。二阶残差注意力模块将模块的输入作为零阶项，卷积层1-激活函数-卷积层2输出作为一阶项，并把一阶项输入到通道注意力模块中得到二阶项，最终输出零阶项、一阶项和二阶项一半之和。这种结构可以改善模糊现象并带来提升去噪效果。
二阶残差结构的结构如图2所示。将模块的输入作为零阶项x0，卷积层1-激活函数-卷积层2输出作为一阶项x1，并把一阶项输入到通道注意力模块中得到二阶项x2，最终输出零阶项、一阶项和二阶项一半之和。这种结构用较小的参数量提高模型的性能。
小波下采样模块和小波上采样模块分别是分组卷积和分组转置卷积，其卷积核参数固定为二维Haar小波变换系数，不随去噪网络的训练而改变。
2、联合噪声生成神经网络提升性能
噪声生成神经网络的作用是对输入的干净图像和随机噪声，输出生成含噪图像。为了提升噪声生成神经网络的噪声生成能力，我们设置了专门的损失函数：噪声生成神经网络对生成含噪图像进行Haar小波变换得到生成含噪图像的四个子带HH1、HL1、LH1、LL1，对含噪图像进行Haar小波变换得到含噪图像的四个子带HH2、HL2、LH2、LL2。HH1和HH2都经过大小为3的二维高斯滤波器滤波得到GHH1和GHH2，HL1、LH1、LL1、HL2、LH2、LL2都经过大小5的二维高斯滤波器滤波得到GHL1、GLH1、GLL1、GHL2、GLH2、GLL2，将GHH1、GHL1、GLH1、GLL1沿通道方向拼接得到[GHH1、GHL1、GLH1、GLL1]，将将GHH2、GHL2、GLH2、GLL2沿通道方向拼接得到[GHH2、GHL2、GLH2、GLL2]，噪声生成神经网络的损失函数为[GHH1、GHL1、GLH1、GLL1]和[GHH2、GHL2、GLH2、GLL2]之间的2范数。噪声生成神经网络的损失函数的特点是不受噪声随机性的影响，能够确保含噪图像和生成噪声图像之间的噪声分布一致。
3、去噪网络分两步完成训练
第一步采用开源的真实图像数据集训练初始去噪网络和噪声生成神经网络。此时去噪网络有较强的去噪能力，但是因为数据集中的干净图像和噪声图像之间的差异除了噪声还有部分边缘信息，导致第一步训练的去噪网络对边缘信息不够友好，容易当作噪声处理，如图3所示。
第二步将噪声生成神经网络生成噪声图像和噪声方差15-55的高斯噪声加噪图像按照数量1：2获得混合噪声数据集。此数据集起到增广图像特征和减少边缘信息损失两个作用。将初始去噪模型在此混合噪声数据集上进行模型微调，两步训练流程如图4所示。
下面结合具体实例对本发明做进一步详细说明，所述内容均为对本发明的解释，但这些说明不能被理解为限制了本发明的范围，本发明的保护范围由随附的权利要求书限定，任何在本发明权利要求基础上的改动就是本发明的保护范围。
1、第一步训练
1)网络参数设置
去噪网络由7个2ndRB模块(二阶残差注意力模块)和3个下采样以及3个上采样模块组成。按照距离输入的远近，定义模块出现次序，第一个模块代表离输入最近。2ndRB网络模块参数见表1(注：表格中卷积层1参数和卷积层2参数包括卷积核通道数c,个数n，卷积核大小d，卷积核滑动步长s，如某卷积层是由32个大小为3x3、滑动步长为1、通道数为3的卷积核组成，则表示为C3n32d3s1。表格中通道注意力参数代表通道注意力模块里通道降维和升维倍数)。
表1、各个2ndRB网络模块参数
Figure BDA0003042754510000091
小波下采样模块采用Haar小波系数卷积实现，卷积类型采用二位分层卷积，输入的每个通道数据与4个卷积核大小为2x2、滑动步长为2的卷积核卷积，这4个卷积核的权重固定为Haar小波系数，不在训练时调整。参数如表2所示。
表2、各个下采样模块参数
Figure BDA0003042754510000092
小波上采样模块采用下采样网络逆过程实现，将卷积类型由二维分层卷积改为二维分层反卷积。参数如表3所示。
表3、各个上采样模块参数
Figure BDA0003042754510000101
噪声生成神经网络采用U型网络结构，其基本模块采用卷积层1-激活函数-卷积层2结构，各个模块参数如表4所示。
表4、噪声生成神经网络参数
Figure BDA0003042754510000102
2)训练数据集设置
去噪网络训练采用开源的SIDD数据集，将此部分图像滑动裁剪成512x512大小图像块，去除含噪图像块和无噪图像块中平均像素值差异大于10的配对图像对。
噪声生成神经网络训练采用开源的SIDD数据集，将此部分全部图像滑动裁剪成512x512大小图像块。
3)训练参数设置
轻量真实图像去噪神经网络和噪声生成神经网络训练参数设置一致，初始学习率设置10-4，学习率每隔20个epoch减半，总共训练120个epoch，图像Batch size设置8，每张图像随机选择256x256大小图像内容作为输入；优化器采用ADAM优化器，β1＝0.9，β2＝0.999，ε＝10-8；
4)损失设置
所述轻量真实图像去噪的神经网络损失函数为去噪图像和无噪图像的2范数；噪声生成神经网络对生成含噪图像进行Haar小波变换得到生成含噪图像的四个子带HH1、HL1、LH1、LL1，对含噪图像进行Haar小波变换得到含噪图像的四个子带HH2、HL2、LH2、LL2。HH1和HH2都经过大小为3的二维高斯滤波器滤波得到GHH1和GHH2，HL1、LH1、LL1、HL2、LH2、LL2都经过大小5的二维高斯滤波器滤波得到GHL1、GLH1、GLL1、GHL2、GLH2、GLL2，将GHH1、GHL1、GLH1、GLL1沿通道方向拼接得到[GHH1、GHL1、GLH1、GLL1]，将将GHH2、GHL2、GLH2、GLL2沿通道方向拼接得到[GHH2、GHL2、GLH2、GLL2]，噪声生成神经网络的损失函数为[GHH1、GHL1、GLH1、GLL1]和[GHH2、GHL2、GLH2、GLL2]之间的2范数
5)训练
根据设置好的训练数据集、训练参数以及训练损失函数分别训练所述轻量真实图像去噪神经网络和噪声生成神经网络，得到初步去噪模型和生成模型。
2、第二步训练
第二步训练只需要在新生成的混合数据集上对初步去噪模型做参数微调。
1)去噪网络训练数据集设置
将噪声生成神经网络生成噪声图像和噪声方差15-55的高斯噪声加噪图像按照数量1：2获得混合噪声数据集。
2)训练参数设置
初始学习率设置10-5，学习率每隔20个epoch减半，总共训练80个epoch，图像Batchsize设置8，每张图像随机选择256x256大小图像内容作为输入；优化器采用ADAM优化器，β1＝0.9，β2＝0.999，ε＝10-8。
3)损失函数设置
第二步训练中轻量真实图像去噪神经网络损失函数与第一步训练中其损失函数一致。
5)训练
根据设置好的训练数据集、训练参数以及训练损失函数重新训练所述轻量真实图像去噪神经网络，得到最终去噪模型。
图5展示了对于一张含噪图像，经过第一步训练得到的初步去噪模型和第二步得到的最终去噪模型去噪后的效果对比，其中(a)为含噪图像，(b)为第一步训练得到的初步去噪模型对(a)的去噪效果，(c)为第二步训练后得到的最终去噪模型对(a)的去噪效果。第一步训练得到的初步去噪模型有较强的去噪能力，但也去除了部分图像自身信息，导致图中文字和衣物变得模糊，第二步训练后得到的最终去噪模型既有不错的去噪能力，又保持图像清晰。
以上结合具体实例对本发明的具体实施方式对本发明作了进一步详细说明，所述内容均为对本发明的解释但这些说明不能被理解为限制了本发明的范围，本发明的保护范围由随附的权利要求书限定，任何在本发明权利要求基础上的改动就是本发明的保护范围。

Claims (7)

1.一种轻量真实图像去噪的神经网络设计方法，其特征在于，所述轻量真实图像去噪的神经网络采用4尺度的U型网络结构，包括7个二阶残差注意力模块、3个下采样模块以及3个上采样模块；
所述7个二阶残差注意力模块按照与输入距离的远近依次命名为2ndRB1……2ndRB7，对于输入的含噪图像，首先经过2ndRB1进行特征的提取，2ndRB1的输出有两条分支：第一条分支向网络后方传递，与2ndRB6的输出相加后输入到2ndRB7中；第二条分支经过小波下采样，送入到2ndRB2中；2ndRB2的输出有两条分支：第一条分支向网络后方传递，与2ndRB5的输出相加后输入到2ndRB6中；第二条分支经过小波下采样，送入到2ndRB3中；2ndRB3的输出有两条分支：第一条分支向网络后方传递，与2ndRB4的输出相加后输入到2ndRB5中；第二条分支经过小波下采样，送入到2ndRB4中；2ndRB4的输出与2ndRB3的第一条分支相加输入至2ndRB5中；2ndRB5的输出与2ndRB2的第一条分支相加输入至2ndRB6中；2ndRB6的输出与2ndRB1的第一条分支相加输入至2ndRB7中；2ndRB7的输出与输入的噪声图像相加后得到去噪图像；
所述二阶残差注意力模块包括卷积层1-激活函数-卷积层2模块和通道注意力模块，且所述二阶残差注意力模块将模块输入作为零阶项，卷积层1-激活函数-卷积层2模块输出作为一阶项，并把一阶项输入到通道注意力模块中得到二阶项，最终输出二阶项一半、零阶项和一阶项之和。
2.根据权利要求1所述的一种轻量真实图像去噪的神经网络设计方法，其特征在于，所述7个二阶残差注意力模块参数设置如下表所示：
Figure FDA0004046259100000011
Figure FDA0004046259100000021
其中，卷积层1参数和卷积层2参数包括卷积核通道数c，个数n，卷积核大小d，卷积核滑动步长s，通道注意力参数包括特征伸缩倍数r。
3.根据权利要求1所述的一种轻量真实图像去噪的神经网络设计方法，其特征在于，所述3个下采样模块参数设置如下表所示：
Figure FDA0004046259100000022
其中，下采样模块采用Haar小波系数卷积实现，卷积类型采用二维分层卷积，输入的每个通道数据与4个卷积核大小为2x2、滑动步长为2的卷积核卷积。
4.根据权利要求3所述的一种轻量真实图像去噪的神经网络设计方法，其特征在于，所述3个上采样模块参数设置如下表所示：
Figure FDA0004046259100000023
所述上采样模块采用下采样网络逆过程实现，卷积类型采用二维分层反卷积。
5.权利要求1设计的轻量真实图像去噪的神经网络的训练方法，其特征在于，包括以下步骤：
步骤1：设计噪声生成神经网络，采用U型网络结构，其基本模块采用卷积层-激活函数-卷积层结构，其输入为干净图像，输出为生成含噪图像；
步骤2：设置训练数据集，所述轻量真实图像去噪的神经网络采用开源的SIDD数据集，将此部分图像滑动裁剪成512x512大小图像块，去除含噪图像块和无噪图像块中平均像素值差异大于10的配对图像对；所述噪声生成神经网络训练采用开源的SIDD数据集，将此部分全部图像滑动裁剪成512x512大小图像块；
步骤3：设置训练参数，所述轻量真实图像去噪的神经网络和噪声生成神经网络训练参数设置一致，初始学习率设置10-4，学习率每隔20个epoch减半，总共训练120个epoch，图像Batch size设置8，每张图像随机选择256x256大小图像内容作为输入；优化器采用ADAM优化器，β1＝0.9，β2＝0.999，ε＝10-8；
步骤4：设置训练损失函数；
步骤5：根据设置好的训练数据集、训练参数以及训练损失函数分别训练所述轻量真实图像去噪神经网络和噪声生成神经网络；
步骤6：新生成混合数据集，将噪声生成神经网络生成噪声图像和噪声方差15-55的高斯噪声加噪图像按照数量1∶2获得混合噪声数据集；
步骤7：重新设置所述轻量真实图像去噪神经网络训练参数，所述轻量真实图像去噪的神经网络训练参数重新设置如下：初始学习率设置10-5，学习率每隔20个epoch减半，总共训练80个epoch，图像Batch size设置8，每张图像随机选择256x256大小图像内容作为输入；优化器采用ADAM优化器，β1＝0.9，β2＝0.999，ε＝10-8，在新生成混合数据集和重新设置参数下，再训练一次所述轻量真实图像去噪神经网络。
6.根据权利要求5所述的轻量真实图像去噪的神经网络的训练方法，其特征在于，所述噪声生成神经网络如下表所示：
Figure FDA0004046259100000041
其中，卷积层1参数和卷积层2参数包括卷积核通道数c，个数n，卷积核大小d，卷积核滑动步长s，以及卷积类型，所述卷积类型为卷积或反卷积。
7.根据权利要求5所述的轻量真实图像去噪的神经网络的训练方法，其特征在于，步骤4中所述轻量真实图像去噪的神经网络损失函数为去噪图像和无噪图像的2范数；噪声生成神经网络对生成含噪图像进行Haar小波变换得到生成含噪图像的四个子带HH1、HL1、LH1、LL1，对含噪图像进行Haar小波变换得到含噪图像的四个子带HH2、HL2、LH2、LL2；HH1和HH2都经过大小为3的二维高斯滤波器滤波得到GHH1和GHH2，HL1、LH1、LL1、HL2、LH2、LL2都经过大小5的二维高斯滤波器滤波得到GHL1、GLH1、GLL1、GHL2、GLH2、GLL2，将GHH1、GHL1、GLH1、GLL1沿通道方向拼接得到[GHH1、GHL1、GLH1、GLL1]，将GHH2、GHL2、GLH2、GLL2沿通道方向拼接得到[GHH2、GHL2、GLH2、GLL2]，噪声生成神经网络的损失函数为[GHH1、GHL1、GLH1、GLL1]和[GHH2、GHL2、GLH2、GLL2]之间的2范数。
CN202110462356.7A 2021-04-27 2021-04-27 一种轻量真实图像去噪的神经网络设计及训练方法 Active CN113191972B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110462356.7A CN113191972B (zh) 2021-04-27 2021-04-27 一种轻量真实图像去噪的神经网络设计及训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110462356.7A CN113191972B (zh) 2021-04-27 2021-04-27 一种轻量真实图像去噪的神经网络设计及训练方法

Publications (2)

Publication Number Publication Date
CN113191972A CN113191972A (zh) 2021-07-30
CN113191972B true CN113191972B (zh) 2023-04-14

Family

ID=76979762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110462356.7A Active CN113191972B (zh) 2021-04-27 2021-04-27 一种轻量真实图像去噪的神经网络设计及训练方法

Country Status (1)

Country Link
CN (1) CN113191972B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837959B (zh) * 2021-09-15 2024-04-09 山东师范大学 图像去噪模型训练方法、图像去噪方法及系统
CN114220132A (zh) * 2021-12-01 2022-03-22 上海海栎创科技股份有限公司 指纹图像降噪方法及其装置
CN114529480B (zh) * 2022-03-02 2024-06-18 北京大学 一种基于随机重配对的无监督一锅式多帧图像去噪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
CN110083899A (zh) * 2019-04-17 2019-08-02 中国西安卫星测控中心 雷达测元数据的递推诊断与自修复方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60317472T2 (de) * 2002-02-27 2008-09-04 CDM Optics, Inc., Boulder Optimierte bildverarbeitung für wellenfrontkodierte abbildungssysteme
CN106356757B (zh) * 2016-08-11 2018-03-20 河海大学常州校区 一种基于人眼视觉特性的电力线路无人机巡检方法
US11676284B2 (en) * 2019-03-22 2023-06-13 Nvidia Corporation Shape fusion for image analysis
CN111292259A (zh) * 2020-01-14 2020-06-16 西安交通大学 一种综合多尺度与注意力机制的深度学习图像去噪方法
CN111402174A (zh) * 2020-04-03 2020-07-10 北京图湃影像科技有限公司 一种单张OCT B-scan图像去噪方法及装置
CN111915513B (zh) * 2020-07-10 2022-07-26 河海大学 一种基于改进的自适应神经网络的图像去噪方法
CN111768342B (zh) * 2020-09-03 2020-12-01 之江实验室 基于注意力机制和多级反馈监督的人脸超分辨方法
CN112233026A (zh) * 2020-09-29 2021-01-15 南京理工大学 一种基于多尺度残差注意力网络的sar图像去噪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
CN110083899A (zh) * 2019-04-17 2019-08-02 中国西安卫星测控中心 雷达测元数据的递推诊断与自修复方法

Also Published As

Publication number Publication date
CN113191972A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN113191972B (zh) 一种轻量真实图像去噪的神经网络设计及训练方法
CN114140353B (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN106709875B (zh) 一种基于联合深度网络的压缩低分辨率图像复原方法
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
CN108765296B (zh) 一种基于递归残差注意力网络的图像超分辨率重建方法
JP6930428B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN110458750B (zh) 一种基于对偶学习的无监督图像风格迁移方法
Setzer et al. Infimal convolution regularizations with discrete ℓ1-type functionals
CN111340744B (zh) 基于注意力双流深度网络的低质量图像降采样方法及其系统
Zhao et al. Invertible image decolorization
WO2007114363A1 (ja) 画像処理方法
CN110706181A (zh) 一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN111768340A (zh) 一种基于密集多路径网络的超分辨图像重构方法和系统
Gao et al. Learning to Incorporate Texture Saliency Adaptive Attention to Image Cartoonization.
TWI780884B (zh) 單圖像除雨方法及其系統
CN114926336A (zh) 视频超分辨率重建方法、装置、计算机设备及存储介质
CN114202460A (zh) 面对不同损伤图像的超分辨率高清重建方法和系统及设备
CN111369451B (zh) 一种基于复杂任务分解正则化的图像复原模型、方法及设备
Tai et al. A fast algorithm for single image super resolution in both wavelet and spatial domain
CN115272131B (zh) 基于自适应多光谱编码的图像去摩尔纹系统及方法
Adam Complex Wavelet Transform: application to denoising
CN111145103A (zh) 基于细节保留神经网络模型的蒙特卡洛去噪方法
CN115829870A (zh) 一种基于可变尺度滤波的图像去噪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant