CN111275643B - 基于通道和空间注意力的真实噪声盲去噪网络系统及方法 - Google Patents
基于通道和空间注意力的真实噪声盲去噪网络系统及方法 Download PDFInfo
- Publication number
- CN111275643B CN111275643B CN202010064130.7A CN202010064130A CN111275643B CN 111275643 B CN111275643 B CN 111275643B CN 202010064130 A CN202010064130 A CN 202010064130A CN 111275643 B CN111275643 B CN 111275643B
- Authority
- CN
- China
- Prior art keywords
- features
- channel
- feature
- image
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 239000000284 extract Substances 0.000 claims abstract description 15
- 230000009286 beneficial effect Effects 0.000 claims abstract description 6
- 230000007246 mechanism Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 9
- 230000000052 comparative effect Effects 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 10
- 238000002679 ablation Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于通道和空间注意力的真实噪声盲去噪网络系统及方法，该盲去噪网络系统包括加权特征提取模块，其通过自适应地调整通道重要性来提取待处理图像更具有判别性的像素特征；多路径残差密集模块，其提取有利于学习更具有判别性的像素特征复杂像素分布的多尺度特征并兼顾图像局部和全局细节信息的多层次特征；以及多尺度特征融合模块，其通过自适应加权融合多尺度特征和多层次特征以突出特征的空间和通道差异性，得到盲去噪后的图像。该网络模型能显著提高真实噪声图像的去噪性能，在真实图像去噪任务中具有更大的实际应用价值。
Description
技术领域
本发明涉及图像去噪领域，具体涉及一种基于通道和空间注意力的真实噪声盲去噪网络系统及方法。
背景技术
图像去噪是低维视觉中的一项重要任务，也是一种不可或缺的图像预处理方法，其目的是从噪声图像中移除噪声从而恢复出一幅干净的图像。目前基于卷积神经网络(Convolutional neural network，CNN)的去噪方法表现尤其突出，但它们大多采用加性高斯白噪声(Add White Gaussian Noise，AWGN)来模拟真实噪声。而真实噪声来源广泛且远比AWGN复杂，且基于CNN的去噪方法的性能依赖于仿真采用的噪声(AWGN)与真实噪声的像素分布之间的匹配度，因此在AWGN图像去噪上表现良好的算法却在真实噪声图像上表现很差。
目前，已有一些去噪算法利用图像分布特征获得不错的性能，但仍存在以下三个问题：第一，所有通道特征均被同等对待，没有根据其重要性进行调整；第二，固定的感受野不能充分提取丰富的层次空间特征；第三，特征融合方式单一，如简单的像素相加和通道拼接，忽略了尺度特征的空间和通道特异性。
发明内容
有鉴于此，本发明的主要目的之一在于提出一种基于通道和空间注意力的真实噪声盲去噪网络系统及方法，以期至少部分地解决上述技术问题中的至少之一。
为了实现上述目的，作为本发明的一个方面，提供了一种基于通道和空间注意力的真实噪声盲去噪网络系统，包括：
加权特征提取模块，其通过自适应地调整通道重要性来提取待处理图像更具有判别性的像素特征；
多路径残差密集模块，其提取有利于学习更具有判别性的像素特征复杂像素分布的多尺度特征并兼顾图像局部和全局细节信息的多层次特征；以及
多尺度特征融合模块，其通过自适应加权融合多尺度特征和多层次特征以突出特征的空间和通道差异性，得到盲去噪后的图像。
作为本发明的另一个方面，还提供了一种建立盲去噪网络系统的方法，包括：
(1)输入待处理图像到如上所述的盲去噪网络；
(2)利用加权特征提取模块提取具有判别性的像素特征；
(3)将所述像素特征与待处理图像进行通道拼接形成一个两通道的特征图，以避免底层特征的丢失；
(4)所述两通道的特征图进入多路径残差密集模块获得多尺度特征和多层次特征；
(5)再利用多尺度特征融合模块以自适应加权融合多尺度特征，以突出特征的空间和通道差异性；
(6)输出预测到的干净图像；
(7)计算干净图像与预测到的干净图像之间的最小绝对值误差；
(8)重复步骤(1)至(7)以降低网络损失为目的来调整网络参数，使该网络性能达到最优，得到的最优网络模型即为所述盲去噪网络系统。
基于上述技术方案可知，本发明的基于通道和空间注意力的真实噪声盲去噪网络系统及方法相对于现有技术至少具有以下优势之一：
1、本发明方法能通过通道注意力机制自适应调整通道重要性以有效提取像素特征，通过多路径残差密集模块充分提取兼顾全局信息和局部细节信息的多尺度层次空间特征，同时通过空间注意力机制来自适应加权融合多尺度特征以突出特征的空间和通道特异性，从而在DND和NC12数据集中获得显著的性能提升和良好的视觉效果；
2、多尺度特征融合模块不同于简单的像素相加和通道拼接的特征融合方式，而是基于空间注意力机制自适应地加权融合不同尺度的特征，从而突出多尺度特征的空间和通道特异性；
3、该网络能显著提高真实噪声图像的去噪性能，在真实图像去噪任务中具有更大的实际应用价值。
附图说明
图1为本发明实施例中EDFNet网络模型结构示意图；
图2为本发明实施例中通道注意力机制的结构示意图；
图3为本发明实施例中残差密集模块的结构示意图；
图4为本发明实施例中多尺度特征融合模块的结构示意图；
图5为本发明实施例中DND数据集上去噪效果对比图；
图6为本发明实施例中图像CarlosV palace的去噪效果对比图；
图7为本发明实施例中图像woman的去噪效果对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
本发明针对基于卷积神经网络的去噪方法在加性高斯白噪声(AWGN)图像上表现突出，但在真实噪声图像上表现差的问题，本发明通过统计分析AWGN和真实噪声的像素直方图分布之间的差异，构建出一个基于注意力机制的有利于学习复杂像素分布特征的端到端盲去噪网络EDFNet。
本发明公开了一种盲去噪网络系统，包括：
加权特征提取模块，其通过自适应地调整通道重要性来提取待处理图像更具有判别性的像素特征；
多路径残差密集模块，其提取有利于学习更具有判别性的像素特征复杂像素分布的多尺度特征并兼顾图像局部和全局细节信息的多层次特征；以及
多尺度特征融合模块，其通过自适应加权融合多尺度特征和多层次特征以突出特征的空间和通道差异性，得到盲去噪后的图像。
在本发明的一些事实例中，所述加权特征提取模块包括：
卷积层，用于提取像素特征；
通道注意力机制，通过调整通道重要性提取待处理图像的更具有判别性的像素特征；以及
二维特征图，用于与输入的待处理图像进行通道拼接以加强底层特征的提取。
在本发明的一些事实例中，所述通道注意力机制包括：
全局平均池化层，用于忽略卷积层的每个通道内的局部信息，突出更有判别性的通道特征，得到1×1×c维张量；
第一全连接层，用于获得1×1×2维的张量；以及
第二全连接层，用于获得通道权重向量；
其中，1是特征维度，2和c是特征图中的通道个数。
在本发明的一些事实例中，所述的卷积层仅包括多个ReLU。
在本发明的一些事实例中，所述多路径残差密集模块包括多条并行的路径，其中，每条路径均包括：
一扩张卷积层，用于提取将输入噪声图像特征与经加权特征提取模块处理后的特征进行通道数拼接后获得的多尺度特征；以及
一残差密集块，用于提取多尺度特征的多层次特征。
在本发明的一些事实例中，所述残差密集块包括：
密集连接层，将经过扩张卷积层输出的特征图F0和每一个块的输出Fi(i＝1～6)进行通道拼接；局部特征融合层，将特征图F0，F1，...，F5，F6进行通道连接以进一步增强局部信息，得到融合后的局部特征FLFF；以及
局部残差学习层，将融合后的局部特征FLFF和输入特征图F0进行像素级求和获得局部融合特征FLRL。
在本发明的一些事实例中，所述多尺度特征融合模块将多路径残差密集模块中每一条路径输出的特征求和后进行全局平均池化和两次全卷积操作。
在本发明的一些事实例中，所述加权特征提取模块基于通道注意力机制。
在本发明的一些事实例中，所述多尺度特征融合模块基于空间注意力机制。
本发明还公开了一种建立盲去噪网络系统的方法，包括：
(1)输入待处理图像到如上所述的盲去噪网络；
(2)利用加权特征提取模块提取具有判别性的像素特征；
(3)将所述像素特征与待处理图像进行通道拼接形成一个两通道的特征图，以避免底层特征的丢失；
(4)所述两通道的特征图进入多路径残差密集模块获得多尺度特征和多层次特征；
(5)再利用多尺度特征融合模块以自适应加权融合多尺度特征，以突出特征的空间和通道差异性；
(6)输出预测到的干净图像；
(7)计算干净图像与预测到的干净图像之间的最小绝对值误差；
(8)重复步骤(1)至(7)以降低网络损失为目的来调整网络参数，使该网络性能达到最优，得到的最优网络模型即为所述盲去噪网络系统。
在一个示例性实施例中，本发明分析真实噪声图像和含有AWGN的图像的像素直方图分布之间的差异，提出一个能有效学习真实噪声图像复杂像素分布特征的端到端盲去噪网络EDFNet。该网络由基于通道注意力机制的加权特征提取模块(E)、包含空洞卷积和残差密集结构的多路径残差密集模块(D)以及多尺度特征融合模块(F)组成。加权特征提取模块通过自适应地调整通道重要性来提取出更具有判别性的底层像素特征；多路径残差密集模块采用多路径网络提取多个尺度特征，同时采用残差密集(Residual Dense，RD)结构提取全局信息并保留局部细节信息。
在另一个示例性实施例中，为了提高对真实噪声图像的复杂像素分布特征的学习能力，本发明提出的端对端基于通道和空间注意力的真实噪声盲去噪网络系统(EDFNet网络模型)结构如图1所示。该网络有三个模块：用于提取更具有判别性的像素特征的加权特征提取模块(E)、用于提取有利于学习真实噪声图像复杂像素分布的多尺度特征的多路径残差密集模块(D)以及用于突出特征的空间和通道特异性的多尺度特征融合模块(F)。
如图1所示，加权特征提取模块(E)由5个带有ReLU的卷积层和一个通道注意力机制以及一个单通道的二维特征图组成，通道注意力机制用于加权提取像素级特征，二维特征图用于与输入xi进行通道拼接以加强底层特征的提取，图1中xi是输入的待处理图像，yi是输出的去噪后的图像，k代表卷积核大小，其他未被指定的k均默认为“3×3”，“1”、“2”和“32”分别代表特征图的通道数c，r代表扩张率。整个网络为了避免底层像素特征的丢失，E的输出先与输入xi进行通道拼接后再进入D。
其中，设计的通道注意力机制(CA)的结构如图2所示，包括全局平均池化层、第一全连接层FC1、第二全连接层FC2。通道注意力机制通过将特征图A中的c个通道与学习到的通道权重的集合u＝[u1，u2，...，uc]相乘获得加权后的特征图A′，其中全局平均池化层(Global average pooling，GAP)被用来得到1×1×c维张量v，1是特征维度，第一全连接层FC1(Fully connected，FC)操作获得1×1×2维的张量，第二全连接层FC2操作获得通道权重向量u。其数学模型如公式(1)所示，其中×表示特征图A与权重u之间的乘法运算，ReLU代表激活函数，Sigmoid代表激活函数：
A′＝A×u
＝A×Sigmoid{FC2[ReLU[FC1(GAP(A))]]}； (1)
由图1可知，设计的多路径残差密集模块(D)由四条并行的路径组成，每一条路径包含一扩张卷积层和一个残差密集块。其中，扩张卷积层用于提取多尺度特征；残差密集块用于提取多层次特征；第一条路径的卷积核大小k＝1×1、扩张率r＝1，其余三条路径上的卷积核大小k＝3×3、扩张率r分别为3、5和7。
其中残差密集块的结构如图3所示，与被广泛应用于高级计算机视觉任务的DenseNet不同，该残差密集块包含密集连接层、局部特征融合层(Local feature fusion，LFF)和局部残差学习层(Local residual learning，LRL)，可充分提取多层次特征，非常适合图像恢复类的任务，其中，密集连接层包括6个密集连接块，每个密集连接块由三个卷积层组合而成。使用跳线连接结构将前面各个密集连接块的输出和当前密集连接块的输出连接起来一起作为下一个密集连接块的输入。由于去除批次归一化(Batch Normalization，BN)和池化更有利于特征的保留，因此每个卷积层仅有一个ReLU(线性整流单元)。令该密集连接块输入的输入特征图为F0，每个密集连接输出的特征为Fi(i＝1～6)，令融合Fi后获得的局部融合特征为FLFF：
FLFF＝Conv[Concat(F0，F1，...，F5，F6)]； (2)
其中，Conv代表1×1的卷积操作，用来融合局部特征，Concat(F0，F1，...，F5，F6)表示将特征图F0，F1，...，F5，F6进行通道连接以进一步增强局部信息，再利用局部残差学习将融合后的局部特征FLFF和F0进行像素级求和获得最终输出FLRL：
FLRL＝FLFF+F0； (3)
多尺度特征融合模块(F)采用空间注意力机制融合多路径残差密集模块输出的多尺度特征，结构如图4所示，
图4中A′，A″，A″′，A″″分别是多路径残差密集模块(D)中每一条路径的输出特征，
为这四个分支的像素和：
然后，
依次进行全局平均池化(Global average pooling，GAP)和两次全卷积操作，且在第二次的全卷积操作中，在通道级跨分支地应用softmax获得四个1×1×c维的注意力向量α、β、γ、δ，其中c代表通道数。最后输出的特征图B＝[B1，B2，...，Bi，Bc]，其中第i(0＜i＜c)个通道Bi为：
Bi＝αiA′+βiA″+γiA″′+δiA″″； (5)
其中αi、βi、γi、δi分别是向量α、β、γ、δ的第i(0＜i＜c)个变量，且必须满足公式(6)：
αi+βi+γi+δi＝1。 (6)
利用本发明的盲去噪网络系统的方法包括：训练阶段和测试阶段：
其中，训练阶段包括：
步骤1：输入待处理图像到EDFNet网络；
步骤2：利用加权特征提取模块(E)提取具有判别性的像素特征；
步骤3：将像素特征与待处理图像进行通道拼接形成一个两通道的特征图，以避免底层特征的丢失；
步骤4：这个两通道的特征图再进入多路径残差密集模块获得兼顾全局和局部细节信息的多尺度特征和多层次特征；
步骤5：再利用多尺度特征融合模块(F)以自适应加权融合多尺度特征，以突出特征的空间和通道差异性；
步骤6：输出预测到的干净图像；
步骤7：计算真实噪声图像的标签(即干净图像)与预测到的干净图像之间的最小绝对值误差，即L1损失；
步骤8：重复步骤1-7以降低网络损失为目的来调整网络参数，使该网络性能达到最优；
步骤9：保存网络模型。
其中，测试阶段包括：
步骤1：输入训练阶段中未被使用的真实噪声图像(待处理图像)；
步骤2：调用网络模型；
步骤3：得到去噪后的图像。
以下通过具体实施例结合附图对本发明的技术方案做进一步阐述说明。需要注意的是，下述的具体实施例仅是作为举例说明，本发明的保护范围并不限于此。
在真实噪声图像去噪实验中，采用来自智能手机拍摄的数据集Smartphone ImageDenoising Dataset(SIDD)的sRGB空间的160个图像对(干净和真实噪声图像)作为训练集；再随机选择40张图片并裁剪成1280个256×256大小的块作为验证集；最后采用两个被广泛使用的标准真实数据集DND和NC12作为测试集。其中标准真实数据集DND包含50幅真实噪声图像，但其干净图像并未被公布，因此本发明只能通过一个在线提交系统(https://noise.visinf.tu-darmstadt.de/)来获得性能指标：峰值信噪比(Peak signal to noiseratio，PSNR/dB)和结构相似性(Structural similarity index method，SSIM)。NC12包括12张真实噪声图像，由于没有与其对应的干净图像，本发明仅展示部分图像的去噪效果图。
本发明实验是在GPU型号为NVIDIA GTX1080Ti的计算平台下进行，所用深度学习框架为TensorFlow1.8、CuDNN V6以及Cuda9.1。在训练过程中，本发明使用L1(最小绝对值误差)损失函数以及Adam(自适应矩估计)优化器优化网络参数，整个模型总共训练2500个epochs，学习率被初始化为5e-4。为了微调整个模型，在训练1000个epoches后，学习率降为5e-5，在训练2000个epoches后，学习率降为5e-6，批次大小被设置为8，输入图像块大小为256×256。
消融实验
实施例1
实施例1为采用本发明加权特征提取模块(E)、多路径残差密集模块(D)以及多尺度特征融合模块(F)进行的消融实验，结果如表1所示。
对比例1
对比例1为不采用本发明加权特征提取模块(E)、多路径残差密集模块(D)以及多尺度特征融合模块(F)进行的消融实验，结果如表1所示。
对比例2
对比例2为只采用本发明多路径残差密集模块(D)以及多尺度特征融合模块(F)进行的消融实验，结果如表1所示。
对比例3
对比例3为只采用本发明加权特征提取模块(E)以及多尺度特征融合模块(F)进行的消融实验，结果如表1所示。
对比例4
对比例4为只采用本发明加权特征提取模块(E)以及多路径残差密集模块(D)进行的消融实验，结果如表1所示。
表1为EDFNet结构中的加权特征提取模块(E)、多路径残差密集模块(D)以及多尺度特征融合模块(F)之间的消融实验结果。其中，对比例1-4和实施例1可知E、D和F中任意两个模块的组合可获得平均10.36dB的增益，而这三个模块的组合可获得11.07dB的增益；对比例2和实施例1可知特征提取模块(E)获得了0.12dB的增益；对比例3和实施例1可知残差密集模块(D)获得了1.23dB的增益；对比例4和实施例1可知特征融合模块(F)获得了0.78dB的增益。综上所述，EDFNet结构中的E、D和F这三个模块均能提升去噪性能，且组合起来能达到最优的去噪效果。
表1 EDFNet结构中三模块之间的消融实验
DND数据集上的去噪性能对比
表2为不同算法在DND数据集上的去噪指标对比，包括一个盲图像去噪方法(CDnCNN B)以及四个非盲图像去噪算法(TNRD、BM3D、WNNM和FFDNet)。实验结果表明，本发明方法的PSNR值达到36.10dB，SSIM值达到0.9019，分别比盲去噪方法(CDnCNN-B)提高了3.67dB和0.1119，比非盲去噪方法(TNRD、FFDNet、BM3D、WNNM)平均提高了1.79dB和0.0536，说明了本文方法具有良好的去噪性能。
表2不同算法在DND数据集上的去噪指标对比
图5对比了不同算法在DND数据集上某张图像的去噪效果，其中，图5(a)的PSNR值为19.17dB，图5(c)～(h)的PSNR值分别为25.85dB、26.51dB、30.43dB、31.36dB、30.85dB和32.99dB。由图5中(a)～(h)可知，本发明方法在真实噪声的去除以及纹理细节的保留上均表现更好；CDnCNN-B和TNRD算法对真实噪声的去除性能较差，FFDNet和WNNM算法存在边缘失真，看起来较模糊；本发明方法较BM3D更好地保留了边缘结构，且在PSNR值较BM3D提高了1.63dB。
NC12数据集上的去噪性能对比
图6中(a)～(f)和图7中(a)～(f)是不同算法在NC12数据集上的对比结果，这些算法包括一个盲图像去噪方法CDnCNN-B和三个非盲图像去噪方法BM3D、FFDNet和WNNM。由图6和图7可知，本发明提出的去噪网络EDFNet可通过通道注意力机制获得更具有判别性的底层像素特征，可通过多路径残差密集网络获得兼顾全局信息和局部细节信息的多尺度层次空间特征，基于空间注意力机制的多尺度特征融合模块可自适应加权多尺度特征，从而对真实噪声图像获得了更干净的噪声去除效果，且更好地保留了边缘和纹理细节信息，有更清晰的视觉效果。而CDnCNN-B算法和WNNM对真实噪声的去除效果不够好(如图6和图7的(b)和(e))，BM3D算法对含有真实噪声的图像细节和边缘纹理信息的保留效果也显然不够(如图6(b)的直角和图7(b)的发际线)，FFDNet算法丢失了部分边缘结构信息，看起来较模糊(如图6(d)的直角和图7(d)的眼睛)。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种盲去噪网络系统，其特征在于，包括：
加权特征提取模块，其通过自适应地调整通道重要性来提取待处理图像更具有判别性的像素特征；
多路径残差密集模块，其提取有利于学习更具有判别性的像素特征复杂像素分布的多尺度特征并兼顾图像局部和全局细节信息的多层次特征；以及
多尺度特征融合模块，其通过自适应加权融合多尺度特征和多层次特征以突出特征的空间和通道差异性，得到盲去噪后的图像；
其中，所述多路径残差密集模块包括多条并行的路径，其中，每条路径均包括：
一扩张卷积层，用于提取将输入噪声图像特征与经加权特征提取模块处理后的特征进行通道数拼接后获得的多尺度特征；以及
一残差密集块，用于提取多尺度特征的多层次特征；
其中，所述残差密集块包括N个密集连接块，所述N为正整数，所述残差密集块包括：
密集连接层，对于第i个密集连接块，将所述第i个密集连接块之前的各个层或块输出的特征图F0，...，Fi-1进行通道拼接，得到所述第i个密集连接块的输入特征图，其中，所述i为小于或等于所述N的正整数，F0表示所述扩张卷积层输出的特征图，在i大于1时，Fi-1表示第i-1个密集连接块输出的特征图；
局部特征融合层，将特征图F0，...，FN进行通道连接以进一步增强局部信息，得到融合后的局部特征FLFF；以及
局部残差学习层，将融合后的局部特征FLFF和输入特征图F0进行像素级求和获得局部融合特征FLRL；
其中，所述多尺度特征融合模块将多路径残差密集模块中每一条路径输出的特征求和后进行全局平均池化和两次全连接操作；
其中，在第二次全连接操作中，利用通道注意力机制获取多个注意力向量，所述注意力向量的数量与所述多路径残差密集模块中的路径数量相等。
2.根据权利要求1所述的盲去噪网络系统，其特征在于，
所述加权特征提取模块包括：
卷积层，用于提取像素特征；
通道注意力机制，通过调整通道重要性提取待处理图像的更具有判别性的像素特征；以及
二维特征图，用于与输入的待处理图像进行通道拼接以加强底层特征的提取。
3.根据权利要求2所述的盲去噪网络系统，其特征在于，
所述通道注意力机制包括：
全局平均池化层，用于忽略卷积层的每个通道内的局部信息，突出更有判别性的通道特征，得到1×1×c维张量；
第一全连接层，用于获得1×1×2维的张量；以及
第二全连接层，用于获得通道权重向量；
其中，1是特征维度，2和c是特征图中的通道个数。
4.根据权利要求2所述的盲去噪网络系统，其特征在于，
所述的卷积层仅包括多个ReLU。
5.根据权利要求1所述的盲去噪网络系统，其特征在于，
所述加权特征提取模块基于通道注意力机制。
6.根据权利要求1所述的盲去噪网络系统，其特征在于，
所述多尺度特征融合模块基于空间注意力机制。
7.一种建立盲去噪网络系统的方法，包括：
(1)输入待处理图像到权利要求1至6任一项所述的盲去噪网络；
(2)利用加权特征提取模块提取具有判别性的像素特征；
(3)将所述像素特征与待处理图像进行通道拼接形成一个两通道的特征图，以避免底层特征的丢失；
(4)所述两通道的特征图进入多路径残差密集模块获得多尺度特征和多层次特征；
(5)再利用多尺度特征融合模块以自适应加权融合多尺度特征，以突出特征的空间和通道差异性；
(6)输出预测到的干净图像；
(7)计算干净图像与预测到的干净图像之间的最小绝对值误差；
(8)重复步骤(1)至(7)以降低网络损失为目的来调整网络参数，使该网络性能达到最优，得到的最优网络模型即为所述盲去噪网络系统；
其中，所述多路径残差密集模块包括多条并行的路径；
其中，所述两通道的特征图进入多路径残差密集模块获得多尺度特征和多层次特征，包括：
对于每条路径，利用扩张卷积层提取将输入噪声图像特征与经加权特征提取模块处理后的特征进行通道数拼接后获得的多尺度特征；以及
利用残差密集块提取多尺度特征的多层次特征；
其中，所述残差密集块包括N个密集连接块，所述N为正整数，所述残差密集块包括：
密集连接层，对于第i个密集连接块，将所述第i个密集连接块之前的各个层或块输出的特征图F0，...，Fi-1进行通道拼接，得到所述第i个密集连接块的输入特征图，其中，所述i为小于或等于所述N的正整数，F0表示所述扩张卷积层输出的特征图，在i大于1时，Fi-1表示第i-1个密集连接块输出的特征图；
局部特征融合层，将特征图F0，...，FN进行通道连接以进一步增强局部信息，得到融合后的局部特征FLFF；以及
局部残差学习层，将融合后的局部特征FLFF和输入特征图F0进行像素级求和获得局部融合特征FLRL；
其中，所述多尺度特征融合模块将多路径残差密集模块中每一条路径输出的特征求和后进行全局平均池化和两次全连接操作；
其中，在第二次全连接操作中，利用通道注意力机制获取多个注意力向量，所述注意力向量的数量与所述多路径残差密集模块中的路径数量相等。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010064130.7A CN111275643B (zh) | 2020-01-20 | 2020-01-20 | 基于通道和空间注意力的真实噪声盲去噪网络系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010064130.7A CN111275643B (zh) | 2020-01-20 | 2020-01-20 | 基于通道和空间注意力的真实噪声盲去噪网络系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111275643A CN111275643A (zh) | 2020-06-12 |
| CN111275643B true CN111275643B (zh) | 2022-09-02 |
Family
ID=71001123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010064130.7A Active CN111275643B (zh) | 2020-01-20 | 2020-01-20 | 基于通道和空间注意力的真实噪声盲去噪网络系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111275643B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102176A (zh) * | 2020-07-27 | 2020-12-18 | 中山大学 | 基于多尺度密集混合注意力神经网络的图像去雨方法 |
| CN112215241B (zh) * | 2020-10-20 | 2022-04-01 | 西安交通大学 | 一种基于小样本学习的图像特征提取装置 |
| CN112750082B (zh) * | 2021-01-21 | 2023-05-16 | 武汉工程大学 | 基于融合注意力机制的人脸超分辨率方法及系统 |
| CN112784856A (zh) * | 2021-01-29 | 2021-05-11 | 长沙理工大学 | 胸部x射线图像的通道注意力特征提取方法和识别方法 |
| CN113066033B (zh) * | 2021-04-19 | 2023-11-17 | 智领高新科技发展(北京)有限公司 | 一种彩色图像的多阶段去噪系统及方法 |
| CN113837959B (zh) * | 2021-09-15 | 2024-04-09 | 山东师范大学 | 图像去噪模型训练方法、图像去噪方法及系统 |
| CN113781466B (zh) * | 2021-09-22 | 2024-01-19 | 河北工业大学 | 基于多尺度注意力密集网络的太阳能电池板缺陷识别方法 |
| CN114140353B (zh) * | 2021-11-25 | 2023-04-07 | 苏州大学 | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 |
| CN114418003B (zh) * | 2022-01-20 | 2022-09-16 | 北京科技大学 | 基于注意力机制及多尺寸信息提取的双图像识别分类方法 |
| US20240020477A1 (en) * | 2022-07-13 | 2024-01-18 | Samsung Electronics Co., Ltd. | System and method for using residual transformers in natural language processing |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876735A (zh) * | 2018-06-01 | 2018-11-23 | 武汉大学 | 一种基于深度残差网络的真实图像盲去噪方法 |
| CN109785249A (zh) * | 2018-12-22 | 2019-05-21 | 昆明理工大学 | 一种基于持续性记忆密集网络的图像高效去噪方法 |
| CN109859147A (zh) * | 2019-03-01 | 2019-06-07 | 武汉大学 | 一种基于生成对抗网络噪声建模的真实图像去噪方法 |
| CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
| CN110570364A (zh) * | 2019-08-05 | 2019-12-13 | 天津大学 | 基于深度神经网络的分焦平面偏振图像去噪方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8280185B2 (en) * | 2008-06-27 | 2012-10-02 | Microsoft Corporation | Image denoising techniques |
| US9338331B2 (en) * | 2014-01-09 | 2016-05-10 | Massachusetts Institute Of Technology | Riesz pyramids for fast phase-based video magnification |
| CN104796582B (zh) * | 2015-04-20 | 2018-05-04 | 中国矿业大学 | 基于随机喷射retinex的视频图像去噪与增强方法及装置 |
| US10043243B2 (en) * | 2016-01-22 | 2018-08-07 | Siemens Healthcare Gmbh | Deep unfolding algorithm for efficient image denoising under varying noise conditions |
| US10672109B2 (en) * | 2018-03-29 | 2020-06-02 | Pixar | Multi-scale architecture of denoising monte carlo renderings using neural networks |
| CN109003240B (zh) * | 2018-07-16 | 2021-07-27 | 安徽理工大学 | 一种基于多尺度并行cnn的图像去噪方法 |
| CN109325534B (zh) * | 2018-09-22 | 2020-03-17 | 天津大学 | 一种基于双向多尺度金字塔的语义分割方法 |
| CN109410149B (zh) * | 2018-11-08 | 2019-12-31 | 安徽理工大学 | 一种基于并行特征提取的cnn去噪方法 |
| CN109829901A (zh) * | 2019-01-21 | 2019-05-31 | 武汉爱尔眼科汉口医院有限公司 | 一种基于卷积神经网络的真菌性角膜炎检测方法及系统 |
| CN110009590B (zh) * | 2019-04-12 | 2021-02-02 | 北京理工大学 | 一种基于卷积神经网络的高质量彩色图像去马赛克方法 |
| CN110503649B (zh) * | 2019-07-05 | 2022-09-30 | 陕西科技大学 | 一种基于空间多尺度U-net与超像素修正的肝脏分割方法 |
| CN110390650B (zh) * | 2019-07-23 | 2022-02-11 | 中南大学 | 基于密集连接和生成对抗网络的oct图像去噪方法 |
| CN110672343B (zh) * | 2019-09-29 | 2021-01-26 | 电子科技大学 | 基于多注意力卷积神经网络的旋转机械故障诊断方法 |
-
2020
- 2020-01-20 CN CN202010064130.7A patent/CN111275643B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876735A (zh) * | 2018-06-01 | 2018-11-23 | 武汉大学 | 一种基于深度残差网络的真实图像盲去噪方法 |
| CN109785249A (zh) * | 2018-12-22 | 2019-05-21 | 昆明理工大学 | 一种基于持续性记忆密集网络的图像高效去噪方法 |
| CN109859147A (zh) * | 2019-03-01 | 2019-06-07 | 武汉大学 | 一种基于生成对抗网络噪声建模的真实图像去噪方法 |
| CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
| CN110570364A (zh) * | 2019-08-05 | 2019-12-13 | 天津大学 | 基于深度神经网络的分焦平面偏振图像去噪方法 |
Non-Patent Citations (2)
| Title |
|---|
| "Multi-scale dilated convolution of convolutional neural network for image denoising";Yanjie Wang等;《Multimedia Tools and Applications》;20190731;第78卷(第14期);摘要和图2 * |
| "Pyramid Real Image Denoising Network";Yiyun Zhao等;《arXiv》;20190801;摘要，第1-3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111275643A (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275643B (zh) | 基于通道和空间注意力的真实噪声盲去噪网络系统及方法 | |
| CN112288658B (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN109859147B (zh) | 一种基于生成对抗网络噪声建模的真实图像去噪方法 | |
| CN110599409B (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
| CN111275637A (zh) | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 | |
| CN110766632A (zh) | 基于通道注意力机制和特征金字塔的图像去噪方法 | |
| CN111340814A (zh) | 一种基于多模态自适应卷积的rgb-d图像语义分割方法 | |
| CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN110648292A (zh) | 一种基于深度卷积网络的高噪声图像去噪方法 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| CN114820388B (zh) | 一种基于编解码器结构的图像去雾方法 | |
| CN115393225A (zh) | 一种基于多层次特征提取融合的低光照图像增强方法 | |
| CN114511480A (zh) | 一种基于分数阶卷积神经网络的水下图像增强方法 | |
| CN112509144A (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
| Wang et al. | Image deconvolution with deep image and kernel priors | |
| CN110503608B (zh) | 基于多视角的卷积神经网络的图像去噪方法 | |
| CN109871790B (zh) | 一种基于混合神经网络模型的视频去色方法 | |
| CN109003247B (zh) | 彩色图像混合噪声的去除方法 | |
| Rafiee et al. | A deep convolutional neural network for salt-and-pepper noise removal using selective convolutional blocks | |
| Piriyatharawet et al. | Image denoising with deep convolutional and multi-directional LSTM networks under Poisson noise environments | |
| CN112132757A (zh) | 一种基于神经网络的通用图像复原方法 | |
| CN114820395B (zh) | 一种基于多领域信息融合的水下图像增强方法 | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| Ulu et al. | MLFAN: Multilevel Feature Attention Network With Texture Prior for Image Denoising |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |