CN112927159B - 基于多尺度选择反馈网络的真实图像去噪方法 - Google Patents
基于多尺度选择反馈网络的真实图像去噪方法 Download PDFInfo
- Publication number
- CN112927159B CN112927159B CN202110264397.5A CN202110264397A CN112927159B CN 112927159 B CN112927159 B CN 112927159B CN 202110264397 A CN202110264397 A CN 202110264397A CN 112927159 B CN112927159 B CN 112927159B
- Authority
- CN
- China
- Prior art keywords
- image
- scale selection
- feature
- noise
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 30
- 230000009977 dual effect Effects 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 17
- 230000015556 catabolic process Effects 0.000 claims abstract description 13
- 238000006731 degradation reaction Methods 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 22
- 230000008713 feedback mechanism Effects 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000000593 degrading effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000007850 degeneration Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于多尺度选择反馈网络的真实图像去噪方法，包括：构建用于提取多个感受野尺度特征的多尺度选择模块MSB；构建多尺度选择反馈网络MSFB，包括浅层特征提取单元、多个串联的MSB、图像重建单元和退化模型；针对图像去噪构建两项对偶任务：从原始噪声图像预测无噪图像，从预测的无噪图像退化到噪声图像；利用MSFB在多个时间步中反复执行两项对偶任务，进行多级迭代；迭代中将上一时间步深层MSB输出的高层级语义信息有选择地反馈至下一时间步浅层MSB的输入端，通过迭代训练MSFB；训练过程以最小化对偶损失为优化目标，以峰值信噪比作为网络性能的评判指标；将噪声图像输入训练好的MSFB中去噪，输出去噪后的图像。
Description
技术领域
本发明涉及计算机视觉和图像处理领域，特别涉及一种基于多尺度选择反馈网络的真实图像去噪方法。
背景技术
真实图像在采集系统中进行了处理、存储、传输等加工变换中会产生多种复杂的噪声，导致结构细节丢失和图像质量的下降。而图像噪声也将同样受到这样的分解和合成。在这些过程中电气系统和外界影响使得图像噪声的精确分析变得十分复杂。目前存在的大部分去噪方法基于已知合成的加性高斯白噪声，但在真实世界的噪声图像中往往性能不佳。
图像去噪作为典型的图像复原任务，图像到图像的直接转换的特性导致噪声图像在干净域中有无穷多个对应，这种病态的不适定问题很难在巨大的解空间中直接找到最佳的映射。深度学习网络可以学习和表示复杂的图像映射并进行端到端学习，近年来在图像去噪任务中得到了广泛应用。为了获得更好的性能，递归结构往往被用来堆叠更多的模块以加深网络和增大感受野。
然而，过深的网络会导致信息的损失和梯度优化困难。残差学习虽然在一定程度上加速了网络优化，但过多的直接跳跃连接导致噪声图像的重复利用，这破坏了现有映射并限制网络的恢复能力。大部分基于前馈方式的网络连接由于感受野的限制无法在浅层获得有价值的上下文信息。反馈机制在人类视觉系统中广泛存在。通过对视野中干净目标的初步预测以反向指导低阶细节区域的噪声去除。这种自上而下的高阶反馈方式强制浅层状态携带语义信息，在许多高级视觉任务中得到广泛小有成效的应用，但很少被用于图像去噪。尽管一些用于图像超分辨的网路探索了基于递归神经网络实现不同的反馈连接方式的可行性，但嘈杂的原始图像对像素预测的精度提出了更高的要求。相比于对尺度的直接放大，图像去噪需要实现有价值的高级语义信息和完善的低级细节特征之间的平衡。
为了增强网络对真实世界图像的去噪性能，一些方法将去噪任务分为噪声估计和去噪重建两个阶段。虽然这种方式在一定程度上缓解了大型网络对训练噪声的过拟合，但双阶段增加了网络复杂度且不可避免的产生噪声估计误差。在网络优化中，大部分端到端的基于卷积神经网络的去噪方法致力于最小化训练集中成对的干净无噪标签和网络最终输出的去噪结果之间的差异。然而，仅对一次重建结果的一步监督难以预测复杂的退化。更重要的是，真实世界中的噪声图像往往没有对应的无噪声图像。大量的无标签的不成对图像被浪费，导致训练集无法涵盖复杂且多变的真实噪声，导致网络对一些真实噪声适应性不佳。
发明内容
鉴于此，本发明提出一种基于多尺度选择反馈网络的真实图像去噪方法，在网络中增加噪声域的额外监督，不仅减少对干净高质量训练数据的过度依赖，还可以使得网络对噪声变化更加鲁棒，以解决目前真实噪声图像的去噪方法所存在的去噪效果差且去噪模型复杂度高的问题。
本发明为解决上述问题所提出的技术方案如下：
一种基于多尺度选择反馈网络的真实图像去噪方法，包括：
S1、构建用于提取多个感受野尺度特征的多尺度选择模块；
S2、基于多尺度选择模块构建多尺度选择反馈网络，所述多尺度选择反馈网络从输入端到输出端依次包括浅层特征提取单元、多个串联的多尺度选择模块、图像重建单元和退化模型；
S3、针对图像去噪过程构建两项对偶任务，一项为从原始噪声图像预测无噪图像，另一项为从预测的无噪图像退化到噪声图像；然后利用所述多尺度选择反馈网络在多个时间步中反复执行所述两项对偶任务，进行多级迭代；其中，图像重建单元的输出为所述预测的无噪图像，所述预测的无噪图像经由所述退化模型，输出退化的噪声图像；并且，在迭代执行所述两项对偶任务的过程中，将上一时间步中深层的多尺度选择模块输出的高层级语义信息有选择地反馈至下一时间步中浅层的多尺度选择模块的输入端；
S4、通过迭代执行所述两项对偶任务，来训练所述多尺度选择反馈网络；其中，训练集中的数据对由原始噪声图像与对应的无噪标签构成，训练过程以最小化对偶损失为优化目标，以峰值信噪比作为网络性能的评判指标；所述对偶损失包含两个部分：预测的无噪图像与对应的无噪标签之间的差异，以及退化的噪声图像与原始噪声图像之间的差异；
S5、将待去噪的噪声图像输入训练好的多尺度选择反馈网络中进行去噪，输出去噪后的图像。
本发明上述技术方案与现有技术相比，具备如下有益效果：
图像去噪包含对噪声的估计和去除，本发明针对复杂的真实图像去噪过程构建了两个对偶回归任务，一个任务仍然为干净无噪图像的预测，但引入反馈机制将常用的一步预测修改为从粗糙到精细的多级迭代预测，并将每一步的估计误差均引入总损失。考虑到使用过多的深层信息容易淹没原始低级信息，因此，本发明采用选择性反馈机制选择性地引入高层级语义信息以减少重复特征的冗余。此外，多尺度选择模块被用于在固定层融合不同尺度的特征。另一个任务目的是根据网络每一步的无噪声估计图预测潜在的噪声图像，即退化出噪声图像，使得该退化分支的输出与原始噪声图像尽可能地接近。这种闭环的监督进一步缩窄了图像映射空间，这种双重回归有效地降低了对成对的训练数据的依赖和对特定噪声水平的过拟合估计；直接从噪声域中学习并产生可靠的干净预测可以更好地适应真实世界中不成对数据的应用需求。对偶损失和反馈逐步学习策略可以适应多种类型的去噪任务，包括复杂退化和无监督图像。总之，本发明可以以较低的模型复杂度在多个真实世界噪声数据集中获得优越的去噪性能，有效提高预测的无噪图像的图像质量。
附图说明
图1是本发明实施例基于多尺度选择反馈网络的真实图像去噪方法示意图；
图2是本发明实施例的多尺度选择模块的示意图；
图3是本发明实施例实现选择性反馈机制的网络示意图；
图4是本发明实施例的退化模型示意图；
图5是本发明实施例的多尺度选择反馈机制的迭代去噪流程。
具体实施方式
下面结合附图和具体的实施方式对本发明作进一步说明。
本发明的实施例提出一种基于多尺度选择反馈网络的真实图像去噪方法，主要包括步骤S1-S5：
S1、构建用于提取多个感受野尺度特征的多尺度选择模块(multi-scaleselection block，MSB)。
图2是本发明实施例的多尺度选择模块的示意图。如图2所示，所示多尺度选择模块(MSB)包括由输入端到输出端依次连接的特征提取单元10、特征压缩单元20、特征重要性概率分配单元30、特征校准单元40和融合输出单元50。在图2所示的示例性网络中，特征提取单元10采用三个并列的不同卷积核大小的卷积层分别来提取特征，提取之后再进行特征融合，得到第一输出特征。三个卷积层的卷积核大小分别为3×3、5×5、7×7。应当理解的是，特征提取单元10中所包含的并列卷积层数量不限于图2所示的三个，卷积核的大小也不限于图2中所示，此处只是列举；本领域技术人员可以根据实际情况设计为包含2个或者多于3个的不同卷积核大小的卷积层。由特征提取单元10输出的第一输出特征经过特征压缩单元20进行特征的压缩，具体而言，特征压缩单元20包括依次连接的全局平均池化(GAP)、1×1卷积和LeakyReLU激活层。压缩后的特征分别送入三个特征重要性概率分配单元30，进行特征重要性概率分配操作。三个特征重要性概率分配单元30所输出的三个特征分别进入三个特征校准单元40，特征校准单元40的是对输入的特征执行相乘操作，此处每个特征校准单元的输入除了包含来自于对应的一个特征重要性概率分配单元的输出之外，还包含来自于特征提取单元中三个并列卷积层中对应的一个卷积层的输出。比如，图2中位于最上方的特征校准单元是对来自于特征提取单元10中最上方的3×3卷积层的输出以及来自于最上方的特征重要性概率分配单元的输出执行相乘操作，完成特征校准，输出校准后的特征。最后，三个校准后的特征通过融合输出单元50进行融合，作为MSB的输出。应当理解的是，特征重要性概率分配单元30的数量以及特征校准单元40的数量应当与特征提取单元中并列卷积层的数量相同，因此，在特征提取单元中并列卷积层的数量为其它数量时，特征重要性概率分配单元30的数量以及特征校准单元40的数量也要相应地调整，而不限于图2中示例的三个。
其中，特征重要性概率分配是通道注意力重校准的过程，在经过前面的特征压缩单元20的全局平均池化和卷积层融合了不同通道的相关性之后，在特征重要性概率分配单元，通过后面的Softmax函数处理，只有一些重要特征以更高的概率被激活，不重要的特征有更低的概率被激活。经过分配后，特征图中的值发生了变化，重要的特征有了更大的激活值，不重要的特征(比如图像中的背景特征)有了更小的激活值，这样网络就会重点关注重要的特征，比如图像中的前景特征。
S2、基于步骤S1所构建的多尺度选择模块，构建多尺度选择反馈网络(SelectiveMulti-scale Feedback Block，MSFB)，参考图1，所述多尺度选择反馈网络从输入端到输出端依次包括浅层特征提取单元60、多个串联的MSB、图像重建单元70和退化模型80。
在一些实施例中，浅层特征提取单元60采用若干个卷积层提取输入的原始噪声图像的浅层特征。比如图1中所示，采用3×3卷积串联1×1卷积来提取原始噪声图像Inoisy的浅层特征。提取的浅层特征进入堆叠的MSB，进一步提取多个感受野尺度的特征，然后通过图像重建单元70重建出去噪后的图像，即预测的无噪图像
此处t表示第t个时间步迭代。图像重建单元70包括由输入端至输出端依次连接的3×3卷积、1×1卷积、链接至原始噪声图像Inoisy的跳跃连接，即最末一个MSB输出的特征进入图像重建单元70，先经3×3卷积和1×1卷积进行特征重建，再与原始噪声图像Inoisy相加融合，得到预测的无噪图像。图像重建单元70可采用如下公式表示其作用过程：
其中，
表示第t个时间步中预测的无噪图像，MR表示对应于3×3卷积和1×1卷积的重建函数，
表示第t个时间步中最末一个(堆叠的第m个)MSB输出的特征。
预测的无噪图像
再输入至退化模块80，以输出退化的噪声图像
参考图4，退化模型包含依次串联的多个退化网络DB，所述退化网络DB包含由输入到输出依次连接的3×3卷积、LeakyReLU激励层、3×3卷积、1×1卷积以及由末尾的1×1卷积链接至开头的3×3卷积的跳跃连接。
S3、针对图像去噪过程构建两项对偶任务，一项为从原始噪声图像Inoisy预测无噪图像
另一项为从预测的无噪图像
退化到噪声图像
然后利用前述构建的多尺度选择反馈网络MSFB在多个时间步中反复执行上述两项对偶任务，进行多级迭代。在迭代执行上述两项对偶任务的过程中，将上一时间步中深层的多尺度选择模块输出的高层级语义信息有选择地反馈至下一时间步中浅层的多尺度选择模块的输入端。对于一个深度卷积神经网络而言，靠前的几层提取低层级的细节特征，而末尾的几层提取高层级语义信息。本实施例中多个堆叠的MSB构成了一个深度卷积神经网络，考虑到使用过多的深层信息容易淹没原始低级信息，因此，本实施例中引入反馈机制，将上一时间步的高层级语义信息反馈至当前时间步的浅层网络中，以使上一步的高层级语义信息能够自适应地与当前时间步中的低层级细节特征融合，动态地聚合上下文信息，实现自上而下和自下而上的实时信息交换。
具体而言，可以引入一种选择性反馈机制(selective feedback module，SFM)来将上一时间步高层级语义信息反馈至当前时间步的浅层特征中进行融合。这种选择性反馈机制是由上一时间步的后M个MSB的输出分别指向到当前时间步的前M个MSB的输入端。此处的后M个MSB、前M个MSB分别指代由m个MSB串联形成的深度卷积网络中的深层网络、浅层网络。因此M的取值范围可以是
应当理解的是，在一些实施例中，我们可以从深层网络中选择性地反馈高层级语义信息。比如图1中所示例的，假设串联了m＝30个MSB的情况下，选择上一时间步的后3个MSB的输出反馈至当前时间步的前3个MSB；也可以选择M＝4或5等，此处仅为举例，不限于此。
继续参考图1，所述的选择性反馈机制可以采用特征选择模块SM和特征融合模块FB实现，图3所示为SFM的网络结构示意图，其中的特征选择模块首先通过Concat函数将来自上一时间步的M个高层级特征fm、fm-1、…、fm-(M-1)进行通道方向上的融合，再通过主成分分析提取特征主成分并通过一个1×1卷积送入特征融合模块。特征融合模块将上一时间步所反馈的高层级信息与前一个MSB的输出fpre或者原始噪声图像Inoisy(对于第一个MSB而言)进行融合，融合的方式同样采用Concat函数，最后通过1×1卷积输出。
由于在第一步迭代时，不存在“上一时间步”，因此第一步迭代时没有反馈信息。从第二个时间步的迭代开始，以图1所示为例：在前M＝3个多尺度选择模块MSB的输入端各增加一个特征融合模块FB，同时每个特征融合模块FB还分别连接一个特征选择模块SM，并将上一时间步的后M＝3个多尺度选择模块MSB的输出都传入每个特征选择模块SM，每个特征选择模块SM都将上一时间步后3个MSB输出的高层级语义信息在通道方向上进行融合，然后再进行主成分分析(principal component analysis，PCA)以提取特征主成分，并传输至对应的特征融合模块FB，以通过特征融合模块将当前时间步的低层级特征与包含上一时间步的高层级语义信息的特征进行融合，作为当前时间步的前3个MSB的输入，实现上下文信息的融合和交换。
S4、通过迭代执行所构建的两项对偶任务，来训练多尺度选择反馈网络MSFB。假设总共迭代T个时间步，则训练集的大小可设置为T，训练集中除了包含成对的数据对，还可包含不成对的数据。所谓成对的数据对由原始噪声图像与对应的无噪标签构成，不成对的数据比如是只有真实噪声图像而没有对应的无噪标签，这样设置数据集的目的是让训练的网络鲁棒性更好，因为真实世界图像中，待预测的噪声图像往往都不存在无噪标签。训练过程以最小化对偶损失为优化目标，以峰值信噪比PSNR作为网络性能的评判指标。所述对偶损失包含两个部分：预测的无噪图像
与对应的无噪标签IGT之间的差异，以及退化的噪声图像
与原始噪声图像Inoisy之间的差异。基于此，可构建训练MSFB时的损失函数如下：
其中，θ代表所述多尺度选择反馈网络的所有学习参数；T表示训练集的大小；IGT代表无噪标签；
和
分别表示第t步迭代中的预测的无噪图像和退化的噪声图像；Inoisy代表原始噪声图像；λ1、λ2为自适应加权指数，λ1+λ2＝1，
表示预测的无噪图像与对应的无噪标签之间的差异，
表示退化的噪声图像与原始噪声图像之间的差异；对于成对的原始噪声图像与无噪标签，设置λ1＞λ2；对于没有无噪标签的不成对的原始噪声图像，设置λ1＝0、λ2＝1。
训练过程中，可迭代500～1500次之后停止训练，选择峰值信噪比最大时所对应的学习参数，作为所述多尺度选择反馈网络的最终网络参数，完成训练。优选地是进行1000次迭代。
下面给出一种示例性的训练过程及训练参数设置。在实验中使用的多尺度选择反馈网络MSFN包括30个串联的MSB，并包含4个时间步长，每次迭代引出的反馈级联数为4。对偶损失中的预测任务和对偶回归任务(退化)的加权系数分别定义为λ1＝0.9和λ2＝0.1。在真实世界的噪声图像数据中，每个训练批次有32个裁剪的128×128噪声补丁，特征通道数为64，梯度优化使用自适应学习率的Adam算法(使用标准参数：β1＝0.9,β2＝0.999,ε＝10-8)，训练可得到最优网络参数。学习率初始化为2×10-4我们使用Pytorch框架实现所有模型，并在NVIDIA GeForce RTX 2080Ti GPU上进行训练。
图5为一组真实噪声图像的迭代去噪流程，基于多级迭代的选择性反馈机制，本实施例的迭代逐步细化了结构边缘和纹理，证明了反馈分层学习策略可以从粗糙到精细重建高质量的细节。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于多尺度选择反馈网络的真实图像去噪方法，其特征在于，包括：
S1、构建用于提取多个感受野尺度特征的多尺度选择模块；
S2、基于多尺度选择模块构建多尺度选择反馈网络，所述多尺度选择反馈网络从输入端到输出端依次包括浅层特征提取单元、多个串联的多尺度选择模块、图像重建单元和退化模型；
S3、针对图像去噪过程构建两项对偶任务，一项为从原始噪声图像预测无噪图像，另一项为从预测的无噪图像退化到噪声图像；然后利用所述多尺度选择反馈网络在多个时间步中反复执行所述两项对偶任务，进行多级迭代；其中，图像重建单元的输出为所述预测的无噪图像，所述预测的无噪图像经由所述退化模型，输出退化的噪声图像；并且，在迭代执行所述两项对偶任务的过程中，将上一时间步中深层的多尺度选择模块输出的高层级语义信息有选择地反馈至下一时间步中浅层的多尺度选择模块的输入端；
S4、通过迭代执行所述两项对偶任务，来训练所述多尺度选择反馈网络；其中，训练集中的数据对由原始噪声图像与对应的无噪标签构成，训练过程以最小化对偶损失为优化目标，以峰值信噪比作为网络性能的评判指标；所述对偶损失包含两个部分：预测的无噪图像与对应的无噪标签之间的差异，以及退化的噪声图像与原始噪声图像之间的差异；
S5、将待去噪的噪声图像输入训练好的多尺度选择反馈网络中进行去噪，输出去噪后的图像。
2.如权利要求1所述的真实图像去噪方法，其特征在于，所述多尺度选择模块包括由输入端到输出端依次连接的特征提取单元、特征压缩单元、特征重要性概率分配单元、特征校准单元和融合输出单元；
所述特征提取单元采用若干个并列的卷积层分别提取输入图像的特征，再进行融合，得到第一输出特征；所述第一输出特征经过所述特征压缩单元完成特征压缩之后，分别输出至若干个并列的特征重要性概率分配单元；若干个特征重要性概率分配单元对应输出的若干个特征分别进入若干个特征校准单元，以与所述若干个并列的卷积层的输出一一对应相乘，输出若干个校准后的特征；最后通过所述融合输出单元将所述若干个校准后的特征进行融合，作为所述多尺度选择模块的输出。
3.如权利要求2所述的真实图像去噪方法，其特征在于，在所述多尺度选择模块中，所述特征提取单元包括三个并列的卷积层，卷积核大小分别为3×3、5×5、7×7；所述特征压缩单元包括依次串联的全局平均池化、1×1卷积和LeakyReLU激活层；所述特征重要性概率分配单元包括串联的1×1卷积和Softmax层。
4.如权利要求1所述的真实图像去噪方法，其特征在于，所述浅层特征提取单元采用若干个卷积层提取原始噪声图像的浅层特征。
5.如权利要求4所述的真实图像去噪方法，其特征在于，所述浅层特征提取单元包含两个串联的卷积层，卷积内核的大小依次为3×3、1×1。
6.如权利要求1所述的真实图像去噪方法，其特征在于，所述图像重建单元包括由输入端至输出端依次连接的3×3卷积、1×1卷积、链接至原始噪声图像的跳跃连接。
7.如权利要求1所述的真实图像去噪方法，其特征在于，步骤S3中所述将上一时间步中深层的多尺度选择模块输出的高层级语义信息有选择地反馈至下一时间步中浅层的多尺度选择模块的输入端，是采用将上一时间步的后M个多尺度选择模块的输出反馈到当前时间步的前M个多尺度选择模块的输入的选择性反馈机制来实现；其中，
m表示多尺度选择反馈网络中串联的多尺度选择模块的数量；
所述选择性反馈机制采用特征选择模块和特征融合模块实现，从第二个时间步的迭代开始：在前M个多尺度选择模块的输入端各增加一个所述特征融合模块，同时每个特征融合模块还分别连接一个所述特征选择模块，并将上一时间步的后M个多尺度选择模块的输出都传入每个特征选择模块，每个特征选择模块都将上一时间步后M个多尺度选择模块输出的高层级语义信息在通道方向上进行融合，然后再进行主成分分析以提取特征主成分，并传输至对应的特征融合模块，以通过特征融合模块将当前时间步的低层级特征与包含上一时间步的高层级语义信息的特征进行融合，作为当前时间步的前M个多尺度选择模块的输入。
8.如权利要求1所述的真实图像去噪方法，其特征在于，所述退化模型包含依次串联的多个退化网络，所述退化网络包含由输入到输出依次连接的3×3卷积、LeakyReLU激励层、3×3卷积、1×1卷积以及由末尾的1×1卷积链接至开头的3×3卷积的跳跃连接。
9.如权利要求1所述的真实图像去噪方法，其特征在于，步骤S4中训练所述多尺度选择反馈网络时，损失函数如下：
其中，θ代表所述多尺度选择反馈网络的所有学习参数；T表示训练集的大小；IGT代表无噪标签；
和
分别表示第t步迭代中的预测的无噪图像和退化的噪声图像；Inoisy代表原始噪声图像；λ1、λ2为自适应加权指数，λ1+λ2＝1，
表示预测的无噪图像与对应的无噪标签之间的差异，
表示退化的噪声图像与原始噪声图像之间的差异；对于成对的原始噪声图像与无噪标签，设置λ1＞λ2；对于没有无噪标签的不成对的原始噪声图像，设置λ1＝0、λ2＝1。
10.如权利要求1所述的真实图像去噪方法，其特征在于，步骤S4中对所述多尺度选择反馈网络进行训练时，迭代500～1500次之后停止训练，选择峰值信噪比最大时所对应的学习参数，作为所述多尺度选择反馈网络的最终网络参数，完成训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110264397.5A CN112927159B (zh) | 2021-03-11 | 2021-03-11 | 基于多尺度选择反馈网络的真实图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110264397.5A CN112927159B (zh) | 2021-03-11 | 2021-03-11 | 基于多尺度选择反馈网络的真实图像去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112927159A CN112927159A (zh) | 2021-06-08 |
| CN112927159B true CN112927159B (zh) | 2022-08-02 |
Family
ID=76172588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110264397.5A Active CN112927159B (zh) | 2021-03-11 | 2021-03-11 | 基于多尺度选择反馈网络的真实图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112927159B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631103B (zh) * | 2022-10-17 | 2023-09-05 | 北京百度网讯科技有限公司 | 图像生成模型的训练方法和装置、图像生成方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102810202A (zh) * | 2012-05-10 | 2012-12-05 | 南京理工大学 | 基于分数阶差分加权的图像多步残差反馈迭代滤波方法 |
| CN109087255A (zh) * | 2018-07-18 | 2018-12-25 | 中国人民解放军陆军工程大学 | 一种基于混合损失的轻量级深度图像去噪方法 |
| CN110163827A (zh) * | 2019-05-28 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像去噪模型的训练方法、图像去噪方法、装置及介质 |
| CN111127356A (zh) * | 2019-12-18 | 2020-05-08 | 清华大学深圳国际研究生院 | 一种图像盲去噪系统 |
| CN111242862A (zh) * | 2020-01-09 | 2020-06-05 | 西安理工大学 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
| CN111311518A (zh) * | 2020-03-04 | 2020-06-19 | 清华大学深圳国际研究生院 | 基于多尺度混合注意力残差网络的图像去噪方法及装置 |
| CN111768351A (zh) * | 2020-06-22 | 2020-10-13 | Oppo广东移动通信有限公司 | 图像去噪方法、图像去噪装置、存储介质与电子设备 |
| CN111861886A (zh) * | 2020-07-15 | 2020-10-30 | 南京信息工程大学 | 一种基于多尺度反馈网络的图像超分辨率重建方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11557022B2 (en) * | 2017-07-27 | 2023-01-17 | Nvidia Corporation | Neural network system with temporal feedback for denoising of rendered sequences |
| US10867370B2 (en) * | 2018-11-09 | 2020-12-15 | Gopro, Inc. | Multiscale denoising of videos |
-
2021
- 2021-03-11 CN CN202110264397.5A patent/CN112927159B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102810202A (zh) * | 2012-05-10 | 2012-12-05 | 南京理工大学 | 基于分数阶差分加权的图像多步残差反馈迭代滤波方法 |
| CN109087255A (zh) * | 2018-07-18 | 2018-12-25 | 中国人民解放军陆军工程大学 | 一种基于混合损失的轻量级深度图像去噪方法 |
| CN110163827A (zh) * | 2019-05-28 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像去噪模型的训练方法、图像去噪方法、装置及介质 |
| CN111127356A (zh) * | 2019-12-18 | 2020-05-08 | 清华大学深圳国际研究生院 | 一种图像盲去噪系统 |
| CN111242862A (zh) * | 2020-01-09 | 2020-06-05 | 西安理工大学 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
| CN111311518A (zh) * | 2020-03-04 | 2020-06-19 | 清华大学深圳国际研究生院 | 基于多尺度混合注意力残差网络的图像去噪方法及装置 |
| CN111768351A (zh) * | 2020-06-22 | 2020-10-13 | Oppo广东移动通信有限公司 | 图像去噪方法、图像去噪装置、存储介质与电子设备 |
| CN111861886A (zh) * | 2020-07-15 | 2020-10-30 | 南京信息工程大学 | 一种基于多尺度反馈网络的图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 数字图像去噪、锐化与颜色增强研究;刘千顺;《中国优秀博硕士学位论文全文数据库(博士)》;20170215(第02期);I138-143 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112927159A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028163B (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN111369487B (zh) | 一种高光谱和多光谱图像融合方法、系统及介质 | |
| CN109361404B (zh) | 一种基于半监督深度学习网络的ldpc译码系统及译码方法 | |
| CN110648292B (zh) | 一种基于深度卷积网络的高噪声图像去噪方法 | |
| CN111192211B (zh) | 一种基于单个深度神经网络的多噪声类型盲去噪方法 | |
| CN113313644B (zh) | 一种基于残差双注意力网络的水下图像增强方法 | |
| CN113177882A (zh) | 一种基于扩散模型的单帧图像超分辨处理方法 | |
| CN112184577A (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
| Luo et al. | Lattice network for lightweight image restoration | |
| CN115205147A (zh) | 一种基于Transformer的多尺度优化低照度图像增强方法 | |
| CN111986085A (zh) | 一种基于深度反馈注意力网络系统的图像超分辨率方法 | |
| CN112927159B (zh) | 基于多尺度选择反馈网络的真实图像去噪方法 | |
| CN108932715B (zh) | 一种基于深度学习的冠状动脉造影图分割的优化方法 | |
| CN115393231B (zh) | 一种缺陷图像的生成方法、装置、电子设备和存储介质 | |
| CN114511480A (zh) | 一种基于分数阶卷积神经网络的水下图像增强方法 | |
| CN114742911A (zh) | 图像压缩感知重建方法、系统、设备及介质 | |
| CN115546060A (zh) | 一种可逆的水下图像增强方法 | |
| CN112884650A (zh) | 一种基于自适应纹理蒸馏的图像混合超分辨率方法 | |
| CN114862731A (zh) | 低秩先验与空谱信息引导的多-高光谱影像融合方法 | |
| CN112330761A (zh) | 基于混合精度训练的深度ect图像增强方法 | |
| Feng et al. | Sub clustering K-SVD: size variable dictionary learning for sparse representations | |
| CN111145103B (zh) | 基于细节保留神经网络模型的蒙特卡洛去噪方法 | |
| CN111489306A (zh) | 基于强化学习的图像去噪方法 | |
| CN116823610A (zh) | 一种基于深度学习的水下图像超分辨率生成方法和系统 | |
| CN116862795A (zh) | 一种基于逐像素退化预测网络的多级去运动模糊方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |