CN116523800A - 基于残差密集网络与注意力机制的图像降噪模型及方法 - Google Patents

基于残差密集网络与注意力机制的图像降噪模型及方法 Download PDF

Info

Publication number
CN116523800A
CN116523800A CN202310796816.9A CN202310796816A CN116523800A CN 116523800 A CN116523800 A CN 116523800A CN 202310796816 A CN202310796816 A CN 202310796816A CN 116523800 A CN116523800 A CN 116523800A
Authority
CN
China
Prior art keywords
image
convolution
residual
noise reduction
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310796816.9A
Other languages
English (en)
Other versions
CN116523800B (zh
Inventor
喻春雨
童亦新
马荣恒
韩鼎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202310796816.9A priority Critical patent/CN116523800B/zh
Publication of CN116523800A publication Critical patent/CN116523800A/zh
Application granted granted Critical
Publication of CN116523800B publication Critical patent/CN116523800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于残差密集网络与注意力机制的图像降噪模型及方法，属于人工智能技术领域，图像降噪模型包括：膨胀模块用以扩展原始噪声图像的图像通道，以获得比像素域更精细的图像特征；残差密集U型子网络用于获取不同分辨率的特征信息；双元素卷积通道注意力模块用于实现多尺度特征融合，降低低频信息损失，以得到理想的降噪效果；重构模块用于对扩展后的特征图像进行复原，使其重建为像素域图像。本发明通过残差密集子网络作为主干网络用来获取不同分辨率的特征信息，同时引入全局残差与局部残差、层归一化，防止梯度在反向传播过程中消失或爆炸，使网络训练更加稳定，最终使网络能够极大地减少特征图信息的丢失。

Description

基于残差密集网络与注意力机制的图像降噪模型及方法
技术领域
本发明涉及一种基于残差密集网络与注意力机制的图像降噪模型及方法，属于人工智能技术领域。
背景技术
目前，基于深度学习的图像降噪技术在稳步发展，该技术主要基于卷积神经网络进行，利用卷积神经网络进行图像降噪的大致步骤为：首先，准备一批有噪声的图像和相应的清晰图像作为训练数据，并将数据集分为训练集和测试集；其次，设计一个适合降噪的卷积神经网络，通常包括输入层、卷积层、池化层、反卷积层、输出层等，其中，卷积层用于提取图像特征，池化层用于降低维度，反卷积层用于恢复图像尺寸，输出层用于生成降噪后的图像；然后，使用准备好的图像数据集训练卷积神经网络模型，通过反向传播算法和梯度下降法等优化算法，不断调整卷积神经网络模型参数，以逐步提高模型性能，之后使用一部分独立的数据集对卷积神经网络模型进行验证和测试，评估模型在降噪任务中的性能，如使用PSNR（峰值信噪比）、SSIM（结构相似性指标）等指标进行评估。
其代表有降噪卷积神经网络(Denoisig Co-nvolutional Neural Network，DnCNN)，该网络通过引入残差学习和批量归一化提高网络降噪性能。快速灵活的降噪神经网络(Fast and Flexible Denoising Neural Network，FFDNet)，其降噪网络结构与DnCNN一致，但它将估计的噪声水平和图像下采样后的多张噪声子图像作为输入，在消除高斯噪声的能力上强于降噪卷积神经网络。面向真实照片卷积盲降噪神经网络(ConvolutionalBlind Denoising Neural Network，CBDNet)，卷积盲降噪神经网络由噪声估计子网络与非盲降噪子网络构成，通过添加噪声估计网络提高了网络性能与泛化能力，在DeamNet架构引入双元素级注意机制(Dual Element-wise Attention Mechanism，Deam)的多尺度注意力机制，能很好地处理多尺度特征信息，减少模型在降噪过程中的特征损失。深度降噪网络DRUNet通过单一模型以噪声水平映射为输入处理程度更广的噪声。然而，现有的图像降噪技术中仍然存在随模型深度的加深，模型随之可能出现梯度不稳定、模型退化等问题，使得图像降噪性能降低。
有鉴于此，确有必要提出一种基于残差密集网络与注意力机制的图像降噪模型及方法，以解决上述问题。
发明内容
本发明的目的在于提供一种基于残差密集网络与注意力机制的图像降噪模型及方法，以解决现有技术中随着模型深度的加深，模型梯度不稳定，图像降噪性能较低的问题。
为实现上述目的，本发明提供一种基于残差密集网络与注意力机制的图像降噪模型，包括：
膨胀模块，用以扩展原始噪声图像的图像通道，以获得比像素域更精细的图像特征；
残差密集U型子网络，用于获取不同分辨率的特征信息；
双元素卷积通道注意力模块，用于实现多尺度特征融合，降低低频信息损失，以得到理想的降噪效果；
重构模块，用于对扩展后的特征图像进行复原，使其重建为像素域图像。
作为本发明的进一步改进，所述膨胀模块包括：
一个含3×3卷积核的卷积层，用于将输入图像x扩展成通道数为64的图像特征，；
一个包含两个3×3Conv层及一个ReLU层残差单元的卷积核，用于生成初始元素的特征权重X 0，，其中，δ用于表示ReLU函数。
作为本发明的进一步改进，所述残差密集U型子网络包括下采样阶段的全局残差块，双元素卷积注意力模块和上采样阶段的全局残差块。
作为本发明的进一步改进，所述下采样阶段的全局残差块包括：
局部残差块，包括一个层归一化层、两组3×3卷积核的卷积层ReLU激活层密集链接，最后采用concat层与含1×1卷积核的卷积层进行局部特征融合；
扩展局部残差块，用于将局部残差块中的两组3×3卷积核的普通卷积层改为两个3×3卷积的空洞卷积层，并将普通卷积层的扩张系数设置为2。
作为本发明的进一步改进，所述双元素卷积注意力模块与所述双元素卷积通道注意力模块结构相同，均包括通道注意力模块CAM和Deam注意力网络。
作为本发明的进一步改进，所述上采样阶段的全局残差块包括两个局部残差块。
作为本发明的进一步改进，所述重构模块包括：
一个包含两个3×3Conv层及一个ReLU层残差单元的卷积核，用于生成初始元素的特征权重，/>，其中，δ用于表示ReLU函数；
一个含3×3卷积核的卷积层，用于将输入图像x从特征域输出为像素域y，。
为实现上述目的，本发明还提供了一种基于残差密集网络与注意力机制的图像降噪方法，包括：
膨胀模块将噪声图膨胀至64通道；
将所述膨胀模块的输出结果X0送入残差密集U型子网络进行初步降噪；
将初步降噪结果与所述膨胀模块的输出结果X0一起输入双元素卷积注意力模块进行特征融合，得到特征图Xi；
重复四次初步降噪和特征融合步骤，最终输出64通道的特征图X4；
重构模块将特征图X4重构为干净图像，完成降噪。
作为本发明的进一步改进，所述双元素卷积注意力模块进行特征融合的具体步骤为：
双元素卷积注意力模块对特征图Xi分别进行平均池化和最大池化生成两个不同的特征和/>；
将和/>送入一个包含一个隐藏层的多层感知机中生成/>，其中隐藏的激活大小设置为RC/r×1×1，其中r为衰减率；
计算通道注意力的权重矩阵，
其中，sigmoid表示神经网络中的激活函数，MLP表示神经网络中的多层感知器；
输出细化特征图、/>:
其中，f l 表示输入的低级特征，fh分别表示输入的高级特征，Mc表示多层感知器的输出；
将、/>在Concat层拼接，得到特征/>，/>特征大小为W×H×2C；
将通过1×1的Conv层来降低维度，并通过两个卷积核为3×3的Conv层和一个ReLU层单元来生成初始元素的特征权重，通过sigmoid激活层将权重归一化后生成权重张量a；
其中，σ表示sigmoid函数；
利用双权重生成器模块分别生成低等级特征和高等级特征/>的权重张量a1和a2，其中，a1=a、a2=1-a；
双元素卷积注意力模块的输出为：
。
作为本发明的进一步改进，图像降噪过程使用峰值信噪比作为损失函数的度量，峰值信噪比Lpsnr的表达式为：
其中，MaxValue为图像最大像素值；MSE表示均方差误差，
均方差误差的表达式为：
其中，ŷ是图像预测值；y是图像真实值。
本发明的有益效果是：本发明通过残差密集子网络作为主干网络用来获取不同分辨率的特征信息，同时引入全局残差与局部残差、层归一化，防止梯度在反向传播过程中消失或爆炸，使网络训练更加稳定，最终使网络能够极大地减少特征图信息的丢失；同时，通过改良Deam注意力机制，提高了该注意力机制对于通道信息的关注，可以有效消除图像噪声的同时有效保留图像细节纹理。
附图说明
图1是本发明中基于残差密集网络与注意力机制的图像降噪模型的神经网络结构图。
图2是本发明基于残差密集网络与注意力机制的图像降噪模型中膨胀模块的结构示意图。
图3是本发明基于残差密集网络与注意力机制的图像降噪模型中残差密集U型子网络模块的结构示意图。
图4是本发明基于残差密集网络与注意力机制的图像降噪模型中局部残差块的结构示意图。
图5是本发明基于残差密集网络与注意力机制的图像降噪模型中扩张局部残差块的结构示意图。
图6是本发明基于残差密集网络与注意力机制的图像降噪模型中双元素卷积注意力模块的结构示意图。
图7是本发明基于残差密集网络与注意力机制的图像降噪模型中重构模块的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
请参阅图1所示，本发明提供了基于残差密集网络与注意力机制的图像降噪模型，用于对图像进行降噪，以在有效的消除图像噪声的同时有效的保留图像细节纹理，图像降噪模型包括：
请参阅图2所示，膨胀模块，用以扩展原始噪声图像的图像通道，以获得比像素域更精细的图像特征。
具体的，膨胀模块将原来1通道或3通道的噪声图膨胀至64通道，具体包括：
一个含3×3卷积核的卷积层，用于将输入图像x扩展成通道数为64的图像特征，；
一个包含两个3×3Conv层及一个ReLU层残差单元的卷积核，用于生成初始元素的特征权重X 0，以实现模块的稳定性和非线性，，其中，δ用于表示ReLU函数。
膨胀模块通过扩展源图像的通道，使后续特征提取网络获得比像素域更精细的图像特征，并且在过程中将源图像从空间域转换到特征域更有助于降噪处理。
请参阅图3所示，残差密集U型子网络，用于获取不同分辨率的特征信息。
具体包括：下采样阶段的全局残差块，双元素卷积注意力模块和上采样阶段的全局残差块。
在当前比例尺的下采样阶段，使用步幅为2、卷积核为3 ×3的卷积层对特征图进行下采样，然后将其输入到下一个比例尺的下采样阶段。当编码网络到达第四尺度特征图即最小尺度特征图时，则从下采样阶段转到上采样阶段，在此阶段由比例系数为2的双线性插值和步幅为1的卷积组成。
下采样阶段的全局残差块包括一个局部残差块和一个扩张局部残差块，上采样阶段的全局残差块包括两个局部残差块。其中，
请参阅图4所示，局部残差块，包括一个层归一化层、两组3×3卷积核的卷积层ReLU激活层密集链接，最后采用concat层与含1×1卷积核的卷积层进行局部特征融合；
请参阅图5所示，扩展局部残差块，用于将局部残差块中的两组3×3卷积核的普通卷积层改为两个3×3卷积的空洞卷积层，并将普通卷积层的扩张系数设置为2。
请参阅图6所示，双元素卷积注意力模块与双元素卷积通道注意力模块结构相同，均包括通道注意力模块CAM和Deam注意力网络，具体的，将通道注意力模块CAM加入Deam注意力网络以得到双元素卷积注意力模块。
双元素卷积通道注意力模块，用于实现多尺度特征融合，降低低频信息损失，以得到理想的降噪效果；
请参阅图7所示，重构模块，用于对扩展后的特征图像进行复原，使其重建为像素域图像。重构模块包括：
一个包含两个3×3Conv层及一个ReLU层残差单元的卷积核，用于生成初始元素的特征权重，/>，其中，δ用于表示ReLU函数；
一个含3×3卷积核的卷积层，用于将输入图像x从特征域输出为像素域y，。
本发明还提供了一种基于残差密集网络与注意力机制的图像降噪方法，用于对噪声图进行降噪，包括如下步骤：
采用BSD200，Div2K数据集用于训练，以对图像降噪模型进行预处理。
膨胀模块将噪声图膨胀至64通道。
具体的，膨胀模块将原来1通道或3通道的噪声图膨胀至64通道。
将膨胀模块的输出结果X0送入残差密集U型子网络进行初步降噪；
将初步降噪结果与所述膨胀模块的输出结果X0一起输入双元素卷积注意力模块进行特征融合，得到特征图Xi。
重复四次初步降噪和特征融合步骤，最终输出64通道的特征图X4。
具体的，双元素卷积注意力模块对特征图Xi分别进行平均池化和最大池化，生成两个不同的特征和/>；
将和/>送入一个包含一个隐藏层的多层感知机中生成/>，其中隐藏的激活大小设置为RC/r×1×1，其中r为衰减率；
通道注意力的权重矩阵为，
。
其中，sigmoid表示神经网络中的激活函数，MLP表示神经网络中的多层感知器。
输出细化特征图、/>，具体为:
其中，f l 表示输入的低级特征，fh分别表示输入的高级特征，Mc表示多层感知器的输出。
将、/>在Concat层拼接，得到特征/>，/>特征大小为W×H×2C；
将通过1×1的Conv层来降低维度，并通过两个卷积核为3×3的Conv层和一个ReLU层单元来生成初始元素的特征权重，通过sigmoid激活层将权重归一化后生成权重张量，权重张量a的计算公式如下：
。
其中，σ表示sigmoid函数。
利用双权重生成器(DWG)模块分别生成低等级特征和高等级特征/>的权重张量a1和a2，其中a1=a、a2=1-a；
双元素卷积注意力模块的输出：
。
重构模块将特征图X4重构为干净图像，完成降噪。
具体的，重构模块与膨胀模块相似，但排列顺序不同，重构模块的运算公式为：
重构模块则是对扩展后的特征图像进行复原，使其重建回空间域。
图像降噪过程使用峰值信噪比作为损失函数的度量，峰值信噪比Lpsnr的表达式为：
其中，MaxValue2为图像最大像素值；MSE表示均方差误差，均方差误差的表达式为：
其中，ŷ是图像预测值；y是图像真实值。
将本发明中基于残差密集网络与注意力机制的图像降噪方法处理后的图像在PSNR上与CBDNET和DeamNet进行对比，对比结果为本发明处理后的图像比CBDNET和DeamNet分别提高6.28dB、0.21dB，也就是说，本发明能够有效的消除图像噪声的同时有效保留图像细节纹理。
综上所述，本发明提供了一种基于残差密集网络与注意力机制的图像降噪模型及方法，通过残差密集子网络作为主干网络用来获取不同分辨率的特征信息，同时引入全局残差与局部残差、层归一化，防止梯度在反向传播过程中消失或爆炸，使网络训练更加稳定，最终使网络能够极大地减少特征图信息的丢失；同时，通过改良Deam注意力机制，提高了该注意力机制对于通道信息的关注，可以有效消除图像噪声的同时有效保留图像细节纹理。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于残差密集网络与注意力机制的图像降噪模型，其特征在于，包括：
膨胀模块，用以扩展原始噪声图像的图像通道，以获得比像素域更精细的图像特征；
残差密集U型子网络，用于获取不同分辨率的特征信息；
双元素卷积通道注意力模块，用于实现多尺度特征融合，降低低频信息损失，以得到理想的降噪效果；
重构模块，用于对扩展后的特征图像进行复原，使其重建为像素域图像。
2.根据权利要求1所述的基于残差密集网络与注意力机制的图像降噪模型，其特征在于，所述膨胀模块包括：
一个含3×3卷积核的卷积层，用于将输入图像x扩展成通道数为64的图像特征，；
一个包含两个3×3Conv层及一个ReLU层残差单元的卷积核，用于生成初始元素的特征权重X 0，，其中，δ用于表示ReLU函数。
3.根据权利要求1所述的基于残差密集网络与注意力机制的图像降噪模型，其特征在于：所述残差密集U型子网络包括下采样阶段的全局残差块，双元素卷积注意力模块和上采样阶段的全局残差块。
4.根据权利要求3所述的基于残差密集网络与注意力机制的图像降噪模型，其特征在于，所述下采样阶段的全局残差块包括：
局部残差块，包括一个层归一化层、两组3×3卷积核的卷积层ReLU激活层密集链接，最后采用concat层与含1×1卷积核的卷积层进行局部特征融合；
扩展局部残差块，用于将局部残差块中的两组3×3卷积核的普通卷积层改为两个3×3卷积的空洞卷积层，并将普通卷积层的扩张系数设置为2。
5.根据权利要求3所述的基于残差密集网络与注意力机制的图像降噪模型，其特征在于：所述双元素卷积注意力模块与所述双元素卷积通道注意力模块结构相同，均包括通道注意力模块CAM和Deam注意力网络。
6.根据权利要求3所述的基于残差密集网络与注意力机制的图像降噪模型，其特征在于：所述上采样阶段的全局残差块包括两个局部残差块。
7.根据权利要求1所述的基于残差密集网络与注意力机制的图像降噪模型，其特征在于：所述重构模块包括：
一个包含两个3×3Conv层及一个ReLU层残差单元的卷积核，用于生成初始元素的特征权重，/>，其中，δ用于表示ReLU函数；
一个含3×3卷积核的卷积层，用于将输入图像x从特征域输出为像素域y，。
8.一种基于残差密集网络与注意力机制的图像降噪方法，其特征在于，包括：
膨胀模块将噪声图膨胀至64通道；
将所述膨胀模块的输出结果X0送入残差密集U型子网络进行初步降噪；
将初步降噪结果与所述膨胀模块的输出结果X0一起输入双元素卷积注意力模块进行特征融合，得到特征图Xi；
重复四次初步降噪和特征融合步骤，最终输出64通道的特征图X4；
重构模块将特征图X4重构为干净图像，完成降噪。
9.根据权利要求8所述的基于残差密集网络与注意力机制的图像降噪方法，其特征在于，所述双元素卷积注意力模块进行特征融合的具体步骤为：
双元素卷积注意力模块对特征图Xi分别进行平均池化和最大池化生成两个不同的特征和/>；
将和/>送入一个包含一个隐藏层的多层感知机中生成/>，其中隐藏的激活大小设置为RC/r×1×1，其中r为衰减率；
计算通道注意力的权重矩阵，
其中，sigmoid表示神经网络中的激活函数，
MLP表示神经网络中的多层感知器；
输出细化特征图、/>:
其中，f l 表示输入的低级特征，f h 分别表示输入的高级特征，M c 表示多层感知器的输出；
将、/>在Concat层拼接，得到特征/>，/>特征大小为W×H×2C；
将通过1×1的Conv层来降低维度，并通过两个卷积核为3×3的Conv层和一个ReLU层单元来生成初始元素的特征权重，通过sigmoid激活层将权重归一化后生成权重张量a；
其中，σ表示sigmoid函数；
利用双权重生成器模块分别生成低等级特征和高等级特征/>的权重张量a1和a2，其中，a1=a、a2=1-a；
双元素卷积注意力模块的输出为：
。
10.根据权利要求8所述的基于残差密集网络与注意力机制的图像降噪方法，其特征在于：图像降噪过程使用峰值信噪比作为损失函数的度量，峰值信噪比Lpsnr的表达式为：
其中，MaxValue为图像最大像素值；MSE表示均方差误差，
均方差误差的表达式为：
其中，ŷ是图像预测值；y是图像真实值。
CN202310796816.9A 2023-07-03 2023-07-03 基于残差密集网络与注意力机制的图像降噪模型及方法 Active CN116523800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310796816.9A CN116523800B (zh) 2023-07-03 2023-07-03 基于残差密集网络与注意力机制的图像降噪模型及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310796816.9A CN116523800B (zh) 2023-07-03 2023-07-03 基于残差密集网络与注意力机制的图像降噪模型及方法

Publications (2)

Publication Number Publication Date
CN116523800A true CN116523800A (zh) 2023-08-01
CN116523800B CN116523800B (zh) 2023-09-22

Family

ID=87394397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310796816.9A Active CN116523800B (zh) 2023-07-03 2023-07-03 基于残差密集网络与注意力机制的图像降噪模型及方法

Country Status (1)

Country Link
CN (1) CN116523800B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757966A (zh) * 2023-08-17 2023-09-15 中科方寸知微(南京)科技有限公司 基于多层级曲率监督的图像增强方法及系统
CN117237781A (zh) * 2023-11-16 2023-12-15 哈尔滨工业大学（威海） 一种基于注意力机制的双元素融合时空预测方法
CN117670727A (zh) * 2024-01-31 2024-03-08 南京邮电大学 一种基于残差密集u形网络的图像去模糊模型及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258526A (zh) * 2020-10-30 2021-01-22 南京信息工程大学 一种基于对偶注意力机制的ct肾脏区域级联分割方法
CN113362223A (zh) * 2021-05-25 2021-09-07 重庆邮电大学 基于注意力机制和双通道网络的图像超分辨率重建方法
CN113610719A (zh) * 2021-07-19 2021-11-05 河南大学 一种注意力和密集连接残差块卷积核神经网络图像去噪方法
WO2022000183A1 (zh) * 2020-06-29 2022-01-06 深圳高性能医疗器械国家研究院有限公司 一种ct图像降噪系统及方法
CN114764750A (zh) * 2021-01-12 2022-07-19 四川大学 基于自适应一致性先验深度网络的图像去噪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022000183A1 (zh) * 2020-06-29 2022-01-06 深圳高性能医疗器械国家研究院有限公司 一种ct图像降噪系统及方法
CN112258526A (zh) * 2020-10-30 2021-01-22 南京信息工程大学 一种基于对偶注意力机制的ct肾脏区域级联分割方法
CN114764750A (zh) * 2021-01-12 2022-07-19 四川大学 基于自适应一致性先验深度网络的图像去噪方法
CN113362223A (zh) * 2021-05-25 2021-09-07 重庆邮电大学 基于注意力机制和双通道网络的图像超分辨率重建方法
CN113610719A (zh) * 2021-07-19 2021-11-05 河南大学 一种注意力和密集连接残差块卷积核神经网络图像去噪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
REN CHAO 等: "Adaptive Consistency Prior based Deep Network for Image Denoising", 《IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, pages 8592 - 8602 *
WU WENCONG 等: "Dual Residual Attention Network for Image Denoising", 《ARXIV》, pages 1 - 18 *
刘言 等: "基于Res2-Unet多阶段监督的图像降噪", 《光学精密工程》, vol. 31, no. 6, pages 920 - 935 *
赵子秋: "基于卷积神经网络和注意力模块的恶意软件检测研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 10 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757966A (zh) * 2023-08-17 2023-09-15 中科方寸知微(南京)科技有限公司 基于多层级曲率监督的图像增强方法及系统
CN117237781A (zh) * 2023-11-16 2023-12-15 哈尔滨工业大学（威海） 一种基于注意力机制的双元素融合时空预测方法
CN117237781B (zh) * 2023-11-16 2024-03-19 哈尔滨工业大学（威海） 一种基于注意力机制的双元素融合时空预测方法
CN117670727A (zh) * 2024-01-31 2024-03-08 南京邮电大学 一种基于残差密集u形网络的图像去模糊模型及方法
CN117670727B (zh) * 2024-01-31 2024-05-14 南京邮电大学 一种基于残差密集u形网络的图像去模糊模型及方法

Also Published As

Publication number Publication date
CN116523800B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
CN116523800B (zh) 基于残差密集网络与注意力机制的图像降噪模型及方法
CN111275637B (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN112419184B (zh) 一种综合局部信息和全局信息的空间注意力图像去噪方法
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN108550118A (zh) 运动模糊图像的模糊处理方法、装置、设备及存储介质
CN112686119B (zh) 基于自注意力生成对抗网络的车牌运动模糊图像处理方法
CN111681188B (zh) 基于结合图像像素先验和图像梯度先验的图像去模糊方法
CN112699844B (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN114820388B (zh) 一种基于编解码器结构的图像去雾方法
CN113689517A (zh) 一种多尺度通道注意力网络的图像纹理合成方法及系统
CN116664397B (zh) TransSR-Net结构化图像超分辨重建方法
CN111402137B (zh) 一种基于感知损失引导的深度注意力编解码单图像超分辨率算法
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
Xu et al. DCT-FANet: DCT based frequency attention network for single image super-resolution
Pires et al. Image denoising using attention-residual convolutional neural networks
CN115293966A (zh) 一种人脸图像重建方法、装置以及存储介质
CN114445299A (zh) 一种基于注意力分配机制的双残差去噪方法
Guo et al. Image blind deblurring using an adaptive patch prior
Zhao et al. SSIR: Spatial shuffle multi-head self-attention for Single Image Super-Resolution
CN116485654A (zh) 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法
CN115861749A (zh) 一种基于窗口交叉注意力的遥感图像融合方法
CN115205136A (zh) 一种基于傅里叶先验的图像去雨方法
Zhang et al. Deep residual network based medical image reconstruction
CN111260551A (zh) 一种基于深度学习的视网膜超分辨重建系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant