CN116977651B - 一种基于双分支和多尺度特征提取的图像去噪方法 - Google Patents

一种基于双分支和多尺度特征提取的图像去噪方法 Download PDF

Info

Publication number
CN116977651B
CN116977651B CN202311089336.5A CN202311089336A CN116977651B CN 116977651 B CN116977651 B CN 116977651B CN 202311089336 A CN202311089336 A CN 202311089336A CN 116977651 B CN116977651 B CN 116977651B
Authority
CN
China
Prior art keywords
image
feature extraction
scale
network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311089336.5A
Other languages
English (en)
Other versions
CN116977651A (zh
Inventor
张朝晖
计姗姗
解滨
王秀青
张姗姗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Normal University
Original Assignee
Hebei Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Normal University filed Critical Hebei Normal University
Priority to CN202311089336.5A priority Critical patent/CN116977651B/zh
Publication of CN116977651A publication Critical patent/CN116977651A/zh
Application granted granted Critical
Publication of CN116977651B publication Critical patent/CN116977651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双分支和多尺度特征提取的图像去噪方法，涉及基于深度学习的图像处理技术领域。本发明包括如下步骤：针对含噪输入图像，构建图像去噪网络的多尺度输入图像序列；构建多尺度去噪网络，在特征提取子网络中首先进行相应尺度输入图像的浅层特征提取；提出双分支特征提取模块，将其用于各特征提取子网络中，实现各尺度图像的全局与局部特征有效结合的深层次特征提取；构建监督注意力模块，进行较低分辨率尺度图像深层次特征提取结果的监督式特征增强；借助由低分辨率尺度图像向邻近较高分辨率尺度图像逐级特征融合，得到多尺度去噪网络的去噪结果。本发明充分利用输入图像的局部/全局特征优势及多尺度信息，图像去噪效果好。

Description

一种基于双分支和多尺度特征提取的图像去噪方法
技术领域
本发明涉及基于深度学习的图像处理技术领域，尤其涉及一种基于双分支和多尺度特征提取的图像去噪方法。
背景技术
图像去噪是一个具有挑战性的不适定问题，是图像复原的基本问题之一，在高级视觉任务的预处理中起着重要作用。近年来，图像去噪已广泛用于天气预报、灾难救援、安全监控与医学诊断等多领域。由于图像的获取过程常常受到硬件设备的影响，以致于获取的图像受到噪声的干扰，获取的图像质量比较低，影响人们的视觉效果。
真实图像去噪是基于真实世界的有噪声的图像，真实世界的含噪图像噪声比较复杂，在真实世界的应用中，图像去噪不仅用作图像分割、图像分类和目标检测等后续任务的预处理步骤环节，还可生成更符合人们视觉效果的图像。
传统的图像去噪方法通常是基于模型的方法，大部分是结合含噪输入图像的局部或非局部结构得到的先验信息来指导去噪，比如：利用图像的非局部自相似性(NLSS)特性和变换域中的稀疏表示、以及基于块匹配和三维滤波(BM3D)的方法等。
上述传统的基于模型的方法虽然简单有效，但往往会产生过度平滑的结果，不能有效处理与先验信息不符合的噪声干扰。
随着深度学习的发展，基于卷积神经网络的图像去噪技术得到了迅速的发展，这类方法往往采用大量由噪声干扰图像以及相应干净图像组成的“图像对”构成的训练集进行模型的监督式学习，相较于传统算法有了较大的改进，取得了较好的去噪效果。
尽管基于卷积神经网络的深度学习模型拥有更强大的学习能力，能够有效的提高网络模型对不同噪声分布和不同噪声水平的适应能力，拥有更佳的泛化能力，但较好的图像去噪方法不仅要有效抑制噪声，而且还要具有较好的图像结构、甚至语义信息的保持性，这就需要图像去噪模型应能兼具较好局部特征提取能力以及非局部语义信息的提取能力。
需要强调的是，卷积神经网络模型是通过改变卷积核的尺寸、或者不断增加网络深度来获取有价值的语义信息，因此卷积神经网络在捕获图像不同部件的长距离依赖关系方面存在局限性。
发明内容
为解决上述技术问题，本发明提出了一种基于双分支和多尺度特征提取的图像去噪方法，以充分利用受到噪声干扰的原始输入图像不同尺度的局部/全局特征、低级/高级特征，在有效抑制噪声的同时，具有较好的结构与细节保持特性。
为实现上述目的，本发明提出了一种基于双分支和多尺度特征提取的图像去噪方法，包括：
获取并处理原始噪声干扰图像，生成关于图像去噪网络的多尺度输入；
构建基于深度学习的多尺度去噪网络，所述多尺度去噪网络包括若干并行的特征提取子网络，在所述特征提取子网络中首先进行相应尺度输入图像的浅层特征提取；
在所述特征提取子网络中构建双分支特征提取模块，将所述特征提取子网络的浅层特征提取结果输入至所述双分支特征提取模块中，提取输入图像的深层次特征一；
构建监督注意力模块，基于所述监督注意力模块对所述深层次特征一进行监督式的特征增强，提取对抑制噪声干扰有价值的深层次特征二；
将所述深层次特征二由低分辨率尺度图像向邻近较高分辨率尺度图像逐级特征融合，输出所述多尺度去噪网络的去噪结果，即降噪后的图像。
优选地，获取并处理所述原始噪声干扰图像，包括：
获取原始噪声干扰图像，对所述原始噪声干扰图像进行逐级空间下采样，获得空间分辨率逐渐降低的图像，生成关于图像去噪网络的多尺度输入。
优选地，生成所述关于图像去噪网络的多尺度输入，包括：
以所述原始噪声干扰图像为第一尺度图像，即最高分辨率的尺度图像，采用双线性插值的方法顺次进行若干次空间下采样，获得分辨率逐渐降低的第二尺度以及第三尺度图像，生成关于图像去噪网络的多尺度输入图像。
优选地，在所述特征提取子网络中进行相应尺度输入图像的浅层特征提取，包括：
在所述特征提取子网络中，以单个3×3的深度超参数化卷积替换3×3普通卷积，对相应尺度输入图像进行浅层特征提取。
优选地，所述双分支特征提取模块以残差块为基础构建，每个所述特征提取子网络用于对相应尺度的输入图像进行特征提取。
优选地，所述提取输入图像的深层次特征一，包括：
将所述特征提取子网络中对应尺度图像的浅层特征提取结果，送入相应的所述双分支特征提取模块中，实现关于相应尺度输入图像的全局与局部特征有效结合的深层次特征提取，获得所述深层次特征一。
优选地，所述实现关于相应尺度输入图像的全局与局部特征有效结合的深层次特征提取，包括：
对相应尺度输入图像的浅层特征提取结果基于1×1卷积进行像素级的跨通道融合，将跨通道融合后的特征图进行通道均匀分组，获得两组特征图，将分组结果送入两个并行处理分支，其中，第一处理分支进行空间局部特征提取，第二处理分支为基于Restormer模型中的跨通道注意力的Transformer模块进行全局特征提取；
当所述第一处理分支在局部特征提取的同时，通过空间交互的方式关注来自所述第二处理分支的全局特征提取信息，并且在所述第二处理分支的全局特征提取过程中，通过通道交互的方式融合所述第一处理分支的局部特征提取信息；
经过双分支的并行特征处理与跨分支信息的双向交互后，对两分支的输出结果进行通道连接，再经1×1跨通道卷积、ReLU激活函数的非线性运算以及1×1跨通道卷积，最后在残差连接基础上得到所述双分支特征提取模块最终产生的深层特征提取结果，即所述深层次特征一。
优选地，基于所述监督注意力模块对所述深层次特征一进行监督式的特征增强，包括：
对所述双分支特征提取模块产生的深层次特征一进行基于1×1卷积的通道调整，并与当前尺度的输入图像进行对应通道、对应像素相加，获得关于相应尺度噪声干扰图像的初步复原图像，即当前尺度图像的噪声抑制结果A；
对所述当前尺度图像的噪声抑制结果A顺次进行1×1卷积、基于sigmoid激活函数的非线性运算，得到监督式注意力图B；
深层次特征一经1×1卷积的结果与所述监督式注意力图B进行对应通道、对应位置的像素相乘，得到在监督注意力模块关于所述深层次特征一的有价值信息的过滤结果C；
将所述深层次特征一与过滤结果C进行对应通道、对应位置的像素取值的相加，得到经过监督注意力增强的多通道特征图，即所述深层次特征二。
优选地，将所述深层次特征二由低分辨率尺度图像向邻近较高分辨率尺度图像逐级特征融合，包括：
由最低分辨率尺度图像所在特征提取子网路的监督注意力模块的输出开始，逐级向相邻尺度较高分辨率图像的特征提取子网络进行传递，并与该特征提取子网络产生的浅层特征融合，最终在所述多尺度去噪网络的第一尺度图像的特征提取子网络的输出端获得去噪图像。
优选地，获得所述去噪图像包括：
由最低分辨率尺度图像开始，低分辨率尺度图像所在的特征取子网络在其监督注意力模块产生的输出特征图进行基于转置卷积的空间上采样，上采样结果与邻近较高分辨率尺度图像所在特征提取子网络产生的浅层特征图进行通道连接，并经1×1卷积的跨通道融合，为较高分辨率尺度图像的浅层特征图进行有价值信息的补充；
所述较高分辨率尺度图像的浅层特征图在融合了邻近低分辨率尺度图像的有价值信息之后，经双分支特征提取模块进行深层特征提取，再经监督注意力模块的监督式特征增强，继续送入更高分辨率尺度图像特征提取子网络，进行特征融合，直至当前尺度图像为最高分辨率，最后在其特征提取子网络的输出端得到最终的去噪图像。
与现有技术相比，本发明具有如下优点和技术效果：
(1)本发明以深度超参数化卷积(DO-CONV)替换普通卷积进行每个尺度图像的浅层特征提取，在不增加网络深度的前提下，以引入更多可学习参数的处理方式，实现关于该尺度图像更为丰富、更具表达能力的特征提取，同时促进模型训练速度和预测性能的提升；
(2)本发明对现有的多尺度图像的处理方式进行了改进，在每个尺度图像的特征提取子网络内部，以该尺度图像的浅层特征提取结果为输入，借鉴双分支特征提取模块进行了双分支深度特征提取与信息融合，将基于Transformer模块的全局特征提取优势与基于残差卷积的局部特征提取优势相结合，能够从全局和局部两个方面来更好地捕获关于当前尺度图像的特征；
(3)本发明在较低分辨率尺度图像的特征提取子网络中引入监督注意力模块，对该尺度图像的深层特征提取结果进行监督式增强，可以获得针对该尺度图像的噪声抑制更有价值的特征；
(4)本发明以原始噪声干扰图像为基础，构建关于去噪网络的多尺度输入形式，在进行不同尺度图像由低级到高级、全局与局部特征提取基础上，还将低分辨率尺度图像的特征信息在监督式增强基础上向邻近较高分辨率尺度图像的特征提取子网络进行传递与融合，实现了更有意义的跨尺度信息的融合与补充，为更高分辨率尺度图像的特征提取提供更有价值的信息补充，体现了本发明的多尺度特征提取特色。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中关于图像去噪的多尺度网络结构图；
图2为本发明实施例中构建的双分支特征提取模块图；
图3为本发明实施例中所引用的监督注意力模块图；
图4为本发明实施例中一种基于双分支和多尺度特征提取的图像去噪方法流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
本发明提出了一种基于双分支和多尺度特征提取的图像去噪方法，如图4，具体包括：
步骤1，获取并处理原始噪声干扰图像，生成关于图像去噪网络的多尺度输入图像；
为获得原始含噪的彩色输入图像关于图像去噪网络的多尺度图像序列，对原始输入图像进行逐级空间下采样，获得空间分辨率逐渐降低的图像，从而生成由原始输入图像以及空间下采样结果共同构成的关于图像去噪网络的多尺度输入图像。
获得关于去噪网络多尺度输入图像的方法是：以原始噪声干扰图像为第一尺度图像，即最高分辨率的尺度图像，对其采用双线性插值的方法顺次进行两次空间下采样，得到分辨率逐渐降低的第二尺度以及第三尺度图像，这样从第一尺度到第三尺度构成了关于去噪网络的多尺度输入图像。
以原始受到噪声干扰的三通道彩色输入图像为第一尺度输入图像，对其采用两次双线性插值的方式进行空间下采样，顺次得到第二尺度和第三尺度的输入图像，由此生成关于图像去噪网络的多尺度输入图像，其中第一尺度、第二尺度和第三尺度的输入含噪图像的大小分别为：W×H×3、和/>
步骤2，构建基于深度学习的多尺度去噪网络，该去噪网络由分别用于每个尺度图像特征提取的特征提取子网络并行构成，每个特征提取子网络首先针对相应尺度的输入图像进行浅层特征提取。
在特征提取子网络中，使用单个3×3的深度超参数化卷积(DO-Conv)替换3×3普通卷积，在不增加网络深度的前提下，引入了相对普通卷积来说更多可学习的参数，实现关于相应尺度图像的更为丰富、更具表达能力的浅层特征提取，有助于促进模型训练速度和预测性能的提升。
步骤3，在多尺度去噪网络的每个特征提取子网络中，构建双分支特征提取模块，将该子网络中对应尺度图像的浅层特征提取结果送入相应的双分支特征提取模块中，实现关于该尺度输入图像的全局与局部特征有效结合的深层次特征提取。
对于每个特征提取子网络的双分支特征提取模块，具体处理过程为：
(1)双分支特征提取模块是以残差块为基础，首先对多通道输入特征图基于1×1卷积进行像素级的跨通道融合，进一步将跨通道融合后的特征图进行通道均匀分组得到两组特征图，将分组结果送入该模块内的两个并行处理分支，其中：第一个处理分支进行空间局部特征提取，第二个处理分支为基于Restormer模型中的跨通道注意力的Transformer模块进行全局特征提取。
(2)第一个处理分支进行空间局部特征提取，该分支借鉴深度超参数化卷积(Do_Conv)的局部特征提取优势，以3×3Do_Conv为基本处理层，构建深度残差卷积子块。
(3)第二个处理分支基于Restormer模型中的跨通道注意力的Transformer模块，其注意力机制是基于通道维度的，其中带门控制的前馈网络对信息的流动进行监督式注意，允许该分支网络进行更有价值的全局特征提取。
(4)两个并行处理分支的特征提取过程，既有双分支的并行特征处理，也有通过“通道交互(Channel interaction)”及“空间交互(Spatial interaction)”进行跨分支信息双向交互过程的有效结合，使得第一个处理分支在局部特征提取的同时，通过“空间交互”的方式关注来自第二个处理分支全局特征提取信息，并且在第二个处理分支的全局特征提取过程中，通过“通道交互”的方式融合第一分支的局部特征提取信息。
(5)经过双分支的并行特征处理与跨分支信息的双向交互后，对两分支的输出结果进行通道连接，再经1×1跨通道卷积、ReLU激活函数的非线性运算以及1×1跨通道卷积，最后在残差连接基础上得到双分支特征提取模块最终产生的深层特征提取结果。
步骤4，在较低分辨率尺度图像的特征提取子网络中，构建监督注意力模块，使用该模块对相应分辨率尺度图像的深层特征进行监督式的特征增强，以便从中提取对抑制噪声干扰更有价值的特征。
具体包括：
(1)监督注意力模块首先对其所在特征提取子网络的双分支特征提取模块产生的深层特征提取结果Fin进行一次基于1×1卷积的通道调整、并与当前尺度的输入图像进行对应通道、对应像素相加，得到关于该尺度噪声干扰图像的初步复原图像，即当前尺度图像的噪声抑制结果A。
(2)对当前尺度图像的噪声抑制结果A顺次进行1×1卷积、基于sigmoid激活函数的非线性运算，得到监督式注意力图B。
(3)特征图Fin经1×1卷积的结果与监督式注意力图B进行对应通道、对应位置的像素取值相乘，得到在监督注意力模块关于特征图Fin的有价值信息的过滤结果C。
(4)将特征图Fin与过滤结果C进行对应通道、对应位置的像素取值的相加，得到经过监督注意力增强的多通道特征图，即为监督注意力模块的输出结果Fout。
(5)在较低分辨率尺度图像的特征提取子网络中引入监督注意力模块，有助于对该子网络中来自双分支特征提取模块的深层特征信息实现主动地增强或抑制，以获得关于该尺度图像中更有助于抑制噪声干扰的特征，为邻近较高分辨率尺度图像的深层特征提取提供有价值的信息补充。
步骤5，生成多尺度去噪网络的最终去噪结果，去噪结果与真值图像比较即可产生用于多尺度去噪网络学习所用的预测损失。
具体包括：
(1)从最低分辨率尺度图像开始，较低分辨率尺度图像所在特征取子网络在其监督注意力模块产生的输出特征图首先进行基于转置卷积的上采样，上采样结果与邻近较高分辨率尺度图像所在特征提取子网络产生的浅层特征图进行通道连接、并经1×1卷积的跨通道融合，从而实现了由当前低分辨率尺度图像有价值信息向其邻近较高分辨率尺度图像特征提取子网络的补充。
(2)对于当前分辨率尺度图像来说，融合了邻近较低分辨率尺度图像有价值信息的浅层特征图经双分支特征提取模块进行深层特征提取，并经后续的监督注意力模块的监督式特征增强，继续送入更高分辨率尺度图像特征提取子网络，进行类似的特征融合，直至当前分辨率的尺度图像为最高分辨率。
(3)最高分辨率尺度图像的双分支特征提取模块进一步对特征融合结果进行深层特征提取、并经3×3深度残差卷积子块的局部特征加工，并借助残差连接与输入的最高分辨率尺度图像结合，最后在该尺度图像特征提取子网络的输出端得到多尺度去噪网络最终的去噪结果。
(4)多尺度去噪网络最终的去噪结果与真值图像比较，即可得到用于训练该去噪网络所用的损失。
实施例二
如图1—图4所示，一种基于双分支和多尺度特征提取的图像去噪方法包括以下步骤：
步骤S1，通过对给定的原始含噪的彩色输入图像I1顺次采用双线性插值的空间下采样方法，得到空间分辨率逐渐降低的图像I2与I3，由此得到由原始输入图像I1以及空间下采样结果I2与I3共同构成的关于图像去噪网络的多尺度输入。
步骤S2，构建多尺度去噪网络，该去噪网络由分别用于每个尺度图像特征提取的特征提取子网络并行构成，每个特征提取子网络首先针对相应尺度的输入图像进行浅层特征提取。
具体在特征提取子网络中，以单个3×3的深度超参数化卷积(DO-Conv)替换3×3普通卷积，对相应尺度输入图像进行浅层特征提取。
步骤S3，构建图2所示的双分支特征提取模块，用于图1所示多尺度去噪网络的每个特征提取子网络中，实现关于该尺度输入图像的全局与局部特征有效结合的深层次特征提取。具体实现方法如下：
步骤S3.1，如图2所示，双分支特征提取模块以残差块为基础，首先对多通道输入特征图进行1×1卷积的跨通道融合，之后将融合得到的新的多通道特征图进行通道均匀分组，送入该双分支特征提取模块的两个并行处理分支，其中：第一个处理分支进行空间局部特征提取，第二个处理分支为基于Restormer模型中的跨通道注意力的Transformer模块进行全局特征提取。
步骤S3.2，第一个处理分支以3×3的深度超参数化卷积(Do_Conv)层为基本处理层，构建深度残差卷积子块，按照“3×3深度超参数化卷积→ReLU激活→3×3深度超参数化卷积”的处理过程，进行空间局部特征提取。
步骤S3.3，第二个处理分支使用基于Restormer模型中的跨通道注意力的Transformer模块，用于捕获输入特征图各像素间长距离的交互，以缓解因卷积运算而导致感受野受限的问题，实现更具全局意义的语义信息提取。
步骤S3.4，第一个处理分支在局部特征提取的同时，通过“空间交互”的方式关注来自第二个处理分支全局特征提取信息，并且在第二个处理分支的全局特征提取过程中，通过“通道交互”的方式融合第一处理分支的局部特征提取信息。
步骤S3.5，经过双分支的并行特征处理与跨分支信息的双向交互后，对两分支的输出结果按照“通道连接→1×1跨通道卷积→ReLU激活→1×1跨通道卷积”的过程处理，最后进行残差连接，得到双分支特征提取模块产生的深层特征提取结果。
对于本实施例，在图1所示多尺度去噪网络的每个特征提取子网络中，均使用了4个串接的双分支特征提取模块，进行相应尺度图像的局部与全局特征有效结合的深层特征提取。
步骤S4，在较低分辨率尺度图像的特征提取子网络中，构建图3所示的监督注意力模块，对相应尺度图像的深层特征提取结果进行监督式特征增强，使得特征提取子网络输出关于当前尺度图像中对抑制噪声干扰更有价值的深层特征。下面结合图3给出监督注意力模块关于深层特征监督式增强的具体实现过程：
步骤S4.1，监督注意力模块首先对其所在特征提取子网络的双分支特征提取模块产生的深层特征提取结果Fin进行一次基于1×1卷积的通道调整、并与当前尺度的输入图像进行对应通道、对应像素相加，得到关于该尺度噪声干扰图像的初步复原图像，即对当前尺度图像噪声抑制的初步结果A。
步骤S4.2，对结果A顺次进行1×1卷积、以及基于sigmoid激活函数的非线性运算，得到监督式注意力图B。
步骤S4.3，特征图Fin经1×1卷积的结果与监督式注意力图B进行对应通道、对应位置的像素相乘，得到在监督注意力模块关于特征图Fin的有价值信息的过滤结果C。
步骤S4.4，将特征图Fin与过滤结果C进行对应通道、对应位置的像素取值的相加，得到经过监督注意力增强的深层多通道特征图，即为监督注意力模块的输出Fout。
在较低分辨率尺度图像的特征提取子网络中引入监督注意力模块，有助于对该子网络中来自双分支特征提取模块的深层特征信息实现主动地增强或抑制，以获得关于该尺度图像中更有助于抑制噪声干扰的深层特征，为邻近较高分辨率尺度图像的深层特征提取提供有价值的信息补充。
步骤S5，通过由低分辨率尺度图像向高分辨率尺度图像渐进跨尺度特征融合，生成多尺度去噪网络的最终去噪结果，去噪结果与真值图像比较，即可产生用于多尺度去噪网络学习所用的预测损失。具体实现步骤如下：
步骤S5.1，由最低分辨率尺度图像所在特征取子网络开始，在低分辨率尺度图像特征提取子网络的监督注意力模块产生的输出特征图首先进行基于转置卷积的空间上采样，上采样结果与邻近较高分辨率尺度图像所在特征提取子网络产生的浅层特征图进行通道连接、并经1×1卷积的跨通道融合，从而实现了由低分辨率尺度图像的有价值信息向其邻近较高分辨率尺度图像浅层特征提取结果的补充。
步骤S5.2，对于当前分辨率尺度图像来说，融合了邻近较低分辨率尺度图像有价值信息的浅层特征图经双分支特征提取模块进行深层特征提取，并经后续的监督注意力模块的监督式特征增强，继续送入更高分辨率尺度图像特征提取子网络，进行类似的补充与融合，直到当前分辨率的尺度图像为最高分辨率。
步骤S5.3，最高分辨率尺度图像的双分支特征提取模块进一步对特征融合结果进行深层特征提取、并经3×3深度残差卷积子块的局部特征加工，并借助残差连接与输入的最高分辨率尺度图像结合，最后在该尺度图像特征提取子网络的输出端得到多尺度去噪网络最终的去噪结果。
步骤S5.4，多尺度去噪网络最终的去噪结果与真值图像比较，即可得到用于训练去噪网络所用的Charbonnier损失。
通过以上步骤，即可得到多尺度去噪网络关于原始噪声干扰图像的去噪结果。
多尺度去噪网络以最小化Charbonnier损失为优化目标进行去噪网络的学习，使用PSNR(Peak Signal-to-Noise Ratio，峰值信噪比)和SSIM(Structural Similarity，结构相似度)两种指标进行去噪网络的去噪性能评价。
训练集：为了对本发明所提出的去噪网络进行学习，使用SIDD数据集的32个来自10个不同场景的高分辨率图像以及无噪声的真值图组成的图像对构成训练集。
完成了模型的学习之后，即可使用测试集进行模型的性能评价。
测试环境：Linux操作系统；NVIDIA RTX3090 GPU显卡；PyTorch深度学习框架；Python3.8。
测试集：使用来自SIDD数据集的1,280幅测试图像块以及无噪声的真值图组成的图像对构成的测试集，对本发明所述的图像去噪网路的性能进行评价。
测试指标：本发明使用峰值信噪比(PSNR)和结构相似度(SSIM)进行测试集去噪结果的性能评测，两种指标的取值均取正，并且取值越大越好。
本实施例中，将本发明的去噪算法与近年来其他5种典型的去噪算法的评价结果进行对比，相应测试结果的评价指标对比如表1所示，证明本发明在图像去噪领域可以得到较好的结果。
表1
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于双分支和多尺度特征提取的图像去噪方法，其特征在于，包括：
获取并处理原始噪声干扰图像，生成关于图像去噪网络的多尺度输入；
构建基于深度学习的多尺度去噪网络，所述多尺度去噪网络包括若干并行的特征提取子网络，在所述特征提取子网络中首先进行相应尺度输入图像的浅层特征提取；
在所述特征提取子网络中构建双分支特征提取模块，将所述特征提取子网络的浅层特征提取结果输入至所述双分支特征提取模块中，提取输入图像的深层次特征一；所述双分支特征提取模块以残差块为基础构建，每个所述特征提取子网络用于对相应尺度的输入图像进行特征提取；
提取输入图像的深层次特征一，包括：
将所述特征提取子网络中对应尺度图像的浅层特征提取结果，送入相应的所述双分支特征提取模块中，实现关于相应尺度输入图像的全局与局部特征有效结合的深层次特征提取，获得所述深层次特征一；
所述实现关于相应尺度输入图像的全局与局部特征有效结合的深层次特征提取，包括：
对相应尺度输入图像的浅层特征提取结果基于1×1卷积进行像素级的跨通道融合，将跨通道融合后的特征图进行通道均匀分组，获得两组特征图，将分组结果送入两个并行处理分支，其中，第一处理分支进行空间局部特征提取，第二处理分支为基于Restormer模型中的跨通道注意力的Transformer模块进行全局特征提取；
当所述第一处理分支在局部特征提取的同时，通过空间交互的方式关注来自所述第二处理分支的全局特征提取信息，并且在所述第二处理分支的全局特征提取过程中，通过通道交互的方式融合所述第一处理分支的局部特征提取信息；
经过双分支的并行特征处理与跨分支信息的双向交互后，对两分支的输出结果进行通道连接，再经1×1跨通道卷积、ReLU激活函数的非线性运算以及1×1跨通道卷积，最后在残差连接基础上得到所述双分支特征提取模块最终产生的深层特征提取结果，即所述深层次特征一；
构建监督注意力模块，基于所述监督注意力模块对所述深层次特征一进行监督式的特征增强，提取对抑制噪声干扰有价值的深层次特征二；
将所述深层次特征二由低分辨率尺度图像向邻近较高分辨率尺度图像逐级特征融合，输出所述多尺度去噪网络的去噪结果，即降噪后的图像；
其中，基于所述监督注意力模块对所述深层次特征一进行监督式的特征增强，包括：
对所述双分支特征提取模块产生的深层次特征一进行基于1×1卷积的通道调整，并与当前尺度的输入图像进行对应通道、对应像素相加，获得关于相应尺度噪声干扰图像的初步复原图像，即当前尺度图像的噪声抑制结果A；
对所述当前尺度图像的噪声抑制结果A顺次进行1×1卷积、基于sigmoid激活函数的非线性运算，得到监督式注意力图B；
深层次特征一经1×1卷积的结果与所述监督式注意力图B进行对应通道、对应位置的像素相乘，得到在监督注意力模块关于所述深层次特征一的有价值信息的过滤结果C；
将所述深层次特征一与过滤结果C进行对应通道、对应位置的像素取值的相加，得到经过监督注意力增强的多通道特征图，即所述深层次特征二。
2.根据权利要求1所述的基于双分支和多尺度特征提取的图像去噪方法，其特征在于，获取并处理所述原始噪声干扰图像，包括：
获取原始噪声干扰图像，对所述原始噪声干扰图像进行逐级空间下采样，获得空间分辨率逐渐降低的图像，生成关于图像去噪网络的多尺度输入。
3.根据权利要求2所述的基于双分支和多尺度特征提取的图像去噪方法，其特征在于，生成所述关于图像去噪网络的多尺度输入，包括：
以所述原始噪声干扰图像为第一尺度图像，即最高分辨率的尺度图像，采用双线性插值的方法顺次进行若干次空间下采样，获得分辨率逐渐降低的第二尺度以及第三尺度图像，生成关于图像去噪网络的多尺度输入图像。
4.根据权利要求1所述的基于双分支和多尺度特征提取的图像去噪方法，其特征在于，在所述特征提取子网络中进行相应尺度输入图像的浅层特征提取，包括：
在所述特征提取子网络中，以单个3×3的深度超参数化卷积替换3×3普通卷积，对相应尺度输入图像进行浅层特征提取。
5.根据权利要求1所述的基于双分支和多尺度特征提取的图像去噪方法，其特征在于，将所述深层次特征二由低分辨率尺度图像向邻近较高分辨率尺度图像逐级特征融合，包括：
由最低分辨率尺度图像所在特征提取子网路的监督注意力模块的输出开始，逐级向相邻尺度较高分辨率图像的特征提取子网络进行传递，并与该特征提取子网络产生的浅层特征融合，最终在所述多尺度去噪网络的第一尺度图像的特征提取子网络的输出端获得去噪图像。
6.根据权利要求5所述的基于双分支和多尺度特征提取的图像去噪方法，其特征在于，获得所述去噪图像包括：
由最低分辨率尺度图像开始，低分辨率尺度图像所在的特征取子网络在其监督注意力模块产生的输出特征图进行基于转置卷积的空间上采样，上采样结果与邻近较高分辨率尺度图像所在特征提取子网络产生的浅层特征图进行通道连接，并经1×1卷积的跨通道融合，为较高分辨率尺度图像的浅层特征图进行有价值信息的补充；
所述较高分辨率尺度图像的浅层特征图在融合了邻近低分辨率尺度图像的有价值信息之后，经双分支特征提取模块进行深层特征提取，再经监督注意力模块的监督式特征增强，继续送入更高分辨率尺度图像特征提取子网络，进行特征融合，直至当前尺度图像为最高分辨率，最后在其特征提取子网络的输出端得到最终的去噪图像。
CN202311089336.5A 2023-08-28 2023-08-28 一种基于双分支和多尺度特征提取的图像去噪方法 Active CN116977651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311089336.5A CN116977651B (zh) 2023-08-28 2023-08-28 一种基于双分支和多尺度特征提取的图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311089336.5A CN116977651B (zh) 2023-08-28 2023-08-28 一种基于双分支和多尺度特征提取的图像去噪方法

Publications (2)

Publication Number Publication Date
CN116977651A CN116977651A (zh) 2023-10-31
CN116977651B true CN116977651B (zh) 2024-02-23

Family

ID=88471446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311089336.5A Active CN116977651B (zh) 2023-08-28 2023-08-28 一种基于双分支和多尺度特征提取的图像去噪方法

Country Status (1)

Country Link
CN (1) CN116977651B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117211758B (zh) * 2023-11-07 2024-04-02 克拉玛依市远山石油科技有限公司 用于浅孔取芯的智能钻进控制系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680706A (zh) * 2020-06-17 2020-09-18 南开大学 一种基于编码和解码结构的双通道输出轮廓检测方法
CN112233038A (zh) * 2020-10-23 2021-01-15 广东启迪图卫科技股份有限公司 基于多尺度融合及边缘增强的真实图像去噪方法
CN112862688A (zh) * 2021-03-08 2021-05-28 西华大学 基于跨尺度注意力网络的图像超分辨率重建模型及方法
CN113935467A (zh) * 2021-10-19 2022-01-14 吉林大学 基于迭代多尺度注意力网络的das井中勘探数据噪声抑制方法
CN114140786A (zh) * 2021-12-03 2022-03-04 杭州师范大学 基于HRNet编码与双分支解码的场景文本识别方法
CN114581330A (zh) * 2022-03-14 2022-06-03 广东工业大学 一种基于多尺度混合注意力的太赫兹图像去噪方法
WO2023092813A1 (zh) * 2021-11-25 2023-06-01 苏州大学 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN116523750A (zh) * 2023-05-06 2023-08-01 中国人民解放军军事科学院系统工程研究院 一种基于通道注意力的单图像超分辨率重建方法和系统
CN116542864A (zh) * 2023-01-09 2023-08-04 北京航空航天大学 一种基于全局和局部双分支网络无人机图像去雾方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680706A (zh) * 2020-06-17 2020-09-18 南开大学 一种基于编码和解码结构的双通道输出轮廓检测方法
CN112233038A (zh) * 2020-10-23 2021-01-15 广东启迪图卫科技股份有限公司 基于多尺度融合及边缘增强的真实图像去噪方法
CN112862688A (zh) * 2021-03-08 2021-05-28 西华大学 基于跨尺度注意力网络的图像超分辨率重建模型及方法
CN113935467A (zh) * 2021-10-19 2022-01-14 吉林大学 基于迭代多尺度注意力网络的das井中勘探数据噪声抑制方法
WO2023092813A1 (zh) * 2021-11-25 2023-06-01 苏州大学 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN114140786A (zh) * 2021-12-03 2022-03-04 杭州师范大学 基于HRNet编码与双分支解码的场景文本识别方法
CN114581330A (zh) * 2022-03-14 2022-06-03 广东工业大学 一种基于多尺度混合注意力的太赫兹图像去噪方法
CN116542864A (zh) * 2023-01-09 2023-08-04 北京航空航天大学 一种基于全局和局部双分支网络无人机图像去雾方法
CN116523750A (zh) * 2023-05-06 2023-08-01 中国人民解放军军事科学院系统工程研究院 一种基于通道注意力的单图像超分辨率重建方法和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Do-conv: Depthwise over-parameterized convolutional layer;Cao J et al.;《IEEE Transactions on Image Processing》;第3726-3736页 *
MRDDANet: A Multiscale Residual Dense Dual Attention Network for SAR Image Denoising;Shuaiqi Liu et al.;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;第1-13页 *
Multiple forward-backward strategies for two-stage video denoising;Xinxiu Qiu et al.;《Journal of Electronic Imageing》;第32卷(第4期);第1-12页 *
结合稠密小波变换的双分支低照度图像增强;陈俊杰 等;《计算机工程与应用》;第1-12页 *
联合多尺度与注意力模型的双分支局部特征提取方法;黄鑫涛 等;《小型微型计算机系统》;第44卷(第6期);第1297-1303页 *

Also Published As

Publication number Publication date
CN116977651A (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN109035142B (zh) 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
Zhang et al. One-two-one networks for compression artifacts reduction in remote sensing
Zhao et al. Invertible image decolorization
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN116977651B (zh) 一种基于双分支和多尺度特征提取的图像去噪方法
CN111951195A (zh) 图像增强方法及装置
Arulkumar et al. Super resolution and demosaicing based self learning adaptive dictionary image denoising framework
CN113344869A (zh) 一种基于候选视差的行车环境实时立体匹配方法及装置
CN114862731A (zh) 低秩先验与空谱信息引导的多-高光谱影像融合方法
CN110838089B (zh) 一种基于OctBlock密集块的快速图像去噪方法
Fan et al. Global sensing and measurements reuse for image compressed sensing
Zhang et al. Enhanced visual perception for underwater images based on multistage generative adversarial network
CN113724134A (zh) 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法
Huang et al. Underwater image enhancement via LBP‐based attention residual network
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
CN116452930A (zh) 降质环境下基于频域增强的多光谱图像融合方法与系统
CN115511733A (zh) 一种图像退化建模方法、神经网络训练方法和装置
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与系统
Liu et al. LG-DBNet: Local and Global Dual-Branch Network for SAR Image Denoising
Zhang et al. Image deblurring method based on self-attention and residual wavelet transform
Su et al. Feature Preserving and Enhancing Network for Image Super-Resolution
Zhou et al. Restoration of Laser Interference Image Based on Large Scale Deep Learning
Xue et al. MMPDNet: Multi-Stage & Multi-Attention Progressive Image Denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant