CN117078540A - 基于多阶段串并联的上下文细节渐进式图像去噪方法 - Google Patents
基于多阶段串并联的上下文细节渐进式图像去噪方法 Download PDFInfo
- Publication number
- CN117078540A CN117078540A CN202310899368.5A CN202310899368A CN117078540A CN 117078540 A CN117078540 A CN 117078540A CN 202310899368 A CN202310899368 A CN 202310899368A CN 117078540 A CN117078540 A CN 117078540A
- Authority
- CN
- China
- Prior art keywords
- attention
- denoising
- loss function
- image denoising
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000750 progressive effect Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims description 41
- 230000009977 dual effect Effects 0.000 claims description 16
- 238000005065 mining Methods 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 13
- 238000003786 synthesis reaction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 3
- 108091006146 Channels Proteins 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于多阶段串并联的上下文细节渐进式图像去噪方法，包括，获取训练图像数据集；构建渐进式图像去噪模型；通过训练图像数据集对渐进式图像去噪模型进行训练，其中通过Charbonnier损失函数、Edge损失函数和L1重建损失函数控制降噪任务中的预测结果与真实结果之间的差异；获取待去噪图像，根据训练完成的渐进式图像去噪模型对所述待去噪图像进行图像降噪。通过本发明提出的方法，在保证去噪效果的同时，减少了计算成本和处理时间。
Description
技术领域
本发明属于图像处理领域。
背景技术
当代社会，我们都在源源不断地从外界接受信息，来了解更多消息。而如今我们已经步入了信息化的时代，接收信息的方式不仅仅只局限于语音和文本的传递，而是以图像、视频等方式进行交流。据统计，人们已经超过70％接收信息的方式是来自于图像的。图像在我们的生活中呈现的方式越来越广泛，比如：照相机成像、科学探测成像等。但是随着技术的发展，智能成像设备也越来越普及，真实图像带来的噪声干扰也是不可避免的，它会极大地降低了图像的视觉质量和计算机视觉任务的性能。因此，如何有效去除图像噪声是多媒体处理领域的热点研究的难题之一。其难点主要有以下几个方面：1)噪声类型多样：图像噪声可以来自于多种来源，如传感器噪声、压缩噪声、光照噪声。不同类型的噪声具有不同的统计特性，需要采用不同的去噪方法。因此，在实际应用中需要准确地识别噪声类型，并选择合适的去噪算法。2)噪声强度难以确定：噪声强度是指噪声对图像的影响程度，通常用信噪比(SNR)来衡量。然而，在实际场景中，噪声的强度往往难以确定，特别是在低光照、高增益等条件下，噪声强度可能会非常高。因此，如何准确估计噪声强度，是图像去噪中的一个难点。3)保留细节和纹理：图像去噪算法要在去除噪声的同时，尽可能地保留图像的细节和图像的边缘纹理。这是一个非常具有挑战性的问题，因为噪声通常会破坏图像的细节和纹理，而去噪算法过度平滑会导致图像信息的丢失。因此，图像去噪算法需要在去噪效果和细节保留之间进行权衡。4)处理时间和计算成本：图像去噪算法通常需要大量的计算资源和时间，这在实际应用中可能会限制算法的使用。特别是在实时应用、移动设备等场景下，算法的计算成本和处理时间更加关键。因此，如何在保证去噪效果的同时，减少计算成本和处理时间，是图像去噪中的一个重要问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的目的在于提出一种基于多阶段串并联的上下文细节渐进式图像去噪方法，用于实现图像降噪。
为达上述目的，本发明第一方面实施例提出了一种基于多阶段串并联的上下文细节渐进式图像去噪方法，包括：
获取训练图像数据集；
构建渐进式图像去噪模型，所述渐进式图像去噪模型包括上下文挖掘孪生子网络和空间合成子网络；
通过所述训练图像数据集对所述渐进式图像去噪模型进行训练，其中通过Charbonnier损失函数、Edge损失函数和L1重建损失函数控制降噪任务中的预测结果与真实结果之间的差异；
获取待去噪图像，根据训练完成的渐进式图像去噪模型对所述待去噪图像进行图像降噪。
另外，根据本发明上述实施例的一种基于多阶段串并联的上下文细节渐进式图像去噪方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述上下文挖掘子网络采用串联结构，依次连接多层特征处理器模块、注意力编码器-解码器模块和多头注意力控制器模块，用于捕获图像中的多尺度上下文信息。
进一步地，在本发明的一个实施例中，所述多层特征处理器采用以注意力机制为导向，空洞卷积配合普通卷积的方法实现对含噪图像的初步降噪；并加入归一化操作降低模型复杂度。
进一步地，在本发明的一个实施例中，所述注意力编码器-解码器模块包括：
通过扩展多层特征处理器的感受野捕获多尺度上下文信息；
通过将双重注意力块用作跳过连接的桥梁以抑制无用信息；
通过上采样操作来替换解码器中的转置卷积，以扩展特征分辨率；
通过采用L1损失函数来约束其视觉真实性的输出特征。
进一步地，在本发明的一个实施例中，所述多头注意力控制器模块包括：
通过由深度卷积和逐点卷积组成的可分离卷积来执行逐像素的聚合缓解不同的并联分支特征在规模和语义上可能存在的不一致性；通过计算特征之间的互协方差来学习像素之间的相关性，来获得最终的注意力图；用公式表示为：
其中，初始生成的张量是T、V、K和Q；而和/>代表重塑的张量；/>代表矩阵的乘法；xm代表输入的特征；P(·)代表GAP；fi(·)代表卷积运算的组合符号。
进一步地，在本发明的一个实施例中，所述通过将双重注意力块用作跳过连接的桥梁以抑制无用信息包括：
将空间注意力块与通道注意力块用并联结合的方法生成双重注意力块，其中过程表示为：
MC＝xin·σ(f2δ(f1P(xin)))，
MS＝xin·σ(f1C(AvgPool(xin),MaxPool(xin)))，
其中，MC和MS分别表示通道注意力图和空间注意力图；δ和σ分别表示ReLU和Sigmoid激活函数；·表示元素乘法；C(·)表示串联运算。
进一步地，在本发明的一个实施例中，所述的Charbonnier损失函数、Edge损失函数和L1重建损失函数，分别表示为：
其中，XGT表示地面真实图像，YS＝k(k＝1,2,3)表示第S＝k阶段的输出的特征图，ε通过实验设置为1×10-3；
其中，Δ表示拉普拉斯算子；
为达上述目的，本发明第二方面实施例提出了一种基于多阶段串并联的上下文细节渐进式图像去噪装置，包括以下模块：
获取模块，用于获取训练图像数据集；
构建模块，用于构建渐进式图像去噪模型，所述渐进式图像去噪模型包括上下文挖掘孪生子网络和空间合成子网络；
训练模块，用于通过所述训练图像数据集对所述渐进式图像去噪模型进行训练，其中通过Charbonnier损失函数、Edge损失函数和L1重建损失函数控制降噪任务中的预测结果与真实结果之间的差异；
去噪模块，用于获取待去噪图像，根据训练完成的渐进式图像去噪模型对所述待去噪图像进行图像降噪。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的基于多阶段串并联的上下文细节渐进式图像去噪方法。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的基于多阶段串并联的上下文细节渐进式图像去噪方法。
本发明实施例提出的基于多阶段串并联的上下文细节渐进式图像去噪方法，可以分为两个子网络，用来解决不同的子任务。特别地，上下文挖掘孪生子网络被设计为一种串行结构用来捕获图像中的多尺度上下文信息。它包括三个部分：用于语义信息预处理的多层特征处理器、用于捕获多尺度信息的注意力编码器-解码器和用于监督特征融合的多卷积注意力控制器。为了补偿空间的细节，又设计了一个具有并行结构的空间合成子网络，由多层特征处理器和使用双注意力块和全局平均池的级联块组成。空间合成子网络提取与全局上下文提取一起执行的局部空间信息。大量实验表明，此发明的网络在图像降噪方面取得了很好的效果。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种基于多阶段串并联的上下文细节渐进式图像去噪方法的流程示意图。
图2为本发明实施例所提供的一种基于多阶段串并联的上下文细节渐进式图像去噪方法的基本流程图。
图3为本发明实施例所提供的一种多层特征处理器示意图。
图4为本发明实施例所提供的一种注意力编码器-解码器示意图。
图5为本发明实施例所提供的一种多头注意力控制器示意图。
图6为本发明实施例所提供的一种双重注意力块示意图。
图7为本发明实施例所提供的一种基于多阶段串并联的上下文细节渐进式图像去噪装置的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于多阶段串并联的上下文细节渐进式图像去噪方法。
图1为本发明实施例所提供的一种基于多阶段串并联的上下文细节渐进式图像去噪方法的流程示意图。
如图1所示，该基于多阶段串并联的上下文细节渐进式图像去噪方法包括以下步骤：
S101：获取训练图像数据集；
S102：构建渐进式图像去噪模型，渐进式图像去噪模型包括上下文挖掘孪生子网络和空间合成子网络；
S103：通过训练图像数据集对渐进式图像去噪模型进行训练，其中通过Charbonnier损失函数、Edge损失函数和L1重建损失函数控制降噪任务中的预测结果与真实结果之间的差异；
S104：获取待去噪图像，根据训练完成的渐进式图像去噪模型对待去噪图像进行图像降噪。
本发明主要包含串联结构的上下文挖掘子网络和并联结构的空间合成子网络两部分。如图2所示，网络由三个阶段和两个子网络组成，用来协调上下文信息和空间信息。具体来说，给定一张退化的图像X0∈RH×W×3，其中H和W表示图像的高度和宽度。网络在前两个阶段应用上下文挖掘孪生子网络来获得低级别的特征X2∈RH×W×C，其中C表示通道数。基于网络模型的串串联结构，上下文挖掘孪生子网络通过扩大感受野来提取图像中的多尺度上下文信息。另外，保持精细的细节对于图像降噪来说是至关重要的。因此，在整体网络的第三阶段开发了具有并联结构的空间合成子网络，用于充分地利用图像中的上下文信息和详细的细节信息。
上下文挖掘孪生子网络：由于卷积神经网络难以对远距离的依赖性进行建模，对此在本子网络中配置了相同的阶段结构，用于在前两个阶段形成全局上下文信息的上下文挖掘孪生子网络。上下文挖掘孪生子网络采用了串联结构，依次连接了含有侧重提取语义特征的空洞卷积、跳跃连接和下采样操作的多层特征处理器模块、注意力编码器-解码器模块和多头注意力控制器模块。为了使分支子网络能够更好的学习到全局特征之间的相互联系，在串联的子模块中都加入了设计的双重注意力模块，这样也有利于将无价值的信息通过注意力掩码时进行相应的抑制。
进一步地，在本发明的一个实施例中，上下文挖掘子网络采用串联结构，依次连接多层特征处理器模块、注意力编码器-解码器模块和多头注意力控制器模块，用于捕获图像中的多尺度上下文信息。
进一步地，在本发明的一个实施例中，多层特征处理器采用以注意力机制为导向，空洞卷积配合普通卷积的方法实现对含噪图像的初步降噪；并加入归一化操作降低模型复杂度。
具体的，如图3所示，本发明设计了一种具有多卷积层的高效特征处理器，用于对隐藏在复杂背景中的特征进行预处理，采用以注意力机制为导向，空洞卷积配合普通卷积的方法实现对含噪图像的初步降噪，为进一步的处理提供出色的上下文信息。空洞卷积的主要优点在于可以增加感受野，而不会增加网络参数的数量。空洞卷积可以通过在卷积核中引入空洞来实现，从而使卷积核在进行卷积操作时跳过某些像素点，从而扩大了卷积核的感受野。这种方法可以有效地减少模型参数的数量，并提高模型的计算效率。此外，空洞卷积还可以用于处理具有不同尺度的输入数据，从而提高网络的泛化能力。这样可以更好的达到性能和效率的最大化，同时也减小了串联网络的深度。并且为了减小模型计算的复杂度，在模块中加入了归一化操作。归一化操作可以将数据缩放到相似的尺度，避免不同特征之间的差异产生较大影响，从而提高模型的训练速度、稳定性和泛化能力。此外，归一化操作还可以有效地解决梯度消失和爆炸问题，使得模型的训练更加高效和稳定。
进一步地，在本发明的一个实施例中，注意力编码器-解码器模块包括：
通过扩展多层特征处理器的感受野捕获多尺度上下文信息；
通过将双重注意力块用作跳过连接的桥梁以抑制无用信息；
通过上采样操作来替换解码器中的转置卷积，以扩展特征分辨率；
通过采用L1损失函数来约束其视觉真实性的输出特征。
为了进一步对图像进行信息的解析和特征的重塑，本发明在预处理模块的后面串联设计了一种基于标准编码器-解码器结构的创新模块，如图4所示。通过扩大多层特征处理器模块的感受野来捕获更多的多尺度上下文信息。为了抑制中间传输的无用的信息，双重注意力模块在跳跃连接部分加入了注意力机制对特征信息进行了全方面的筛选，从而达到控制特征信息流的效果。防止由卷积产生的特征之间的融合，在解码器部分应用双线性上采样的操作来代替解码器中的转置卷积来扩展特征分辨率。双线性上采样通过对原始的图像进行插值处理来扩大图像尺寸，从而支持更高分辨率的图像输出。具体来说，它通过对每个像素周围的四个邻居像素进行加权平均来计算新像素的值，从而实现了图像的平滑放大。最后，注意力编码器-解码器模块在解码器上采样的过程中添加了L1损失函数，让每层的输出图像分别与相同尺寸的清晰图像做差值。L1损失函数可以使模型在训练过程中更加稳定和鲁棒，可以促使模型学习到更加简单和规则化的特征，减少冗余和无用的特征，同时还可以帮助模型实现特征选择和稀疏性约束。此外，L1损失函数还可以通过稀疏性约束来减少模型的复杂度和计算量，提高模型的训练速度和效率。由此可以保证此模块最终输出上传的特征更加平衡稳定并且弥补了在编码当中造成的损失，也约束了其视觉真实性的输出特征。
通过简单的求和或者拼接并不能很好的将不同层次的特征分支融合在一起，特征信息之间会出现特征消磨和掩盖的情况。并且已经证明，隐式特征包含了信息冗余。因此，在阶段结束时又引入了具有金字塔结构的多头注意力控制器模块如图5所示。多头注意力控制器模块在跨阶段的转移和特征融合方面表现出了卓越的能力。通过利用由深度卷积和逐点卷积组成的可分离卷积来执行逐像素的聚合，来缓解不同的并联分支特征在规模和语义上可能存在的不一致性，从而消除对融合权重的质量影响。然后再通过计算特征之间的互协方差来学习像素之间的相关性，来获得最终的注意力图。
进一步地，在本发明的一个实施例中，多头注意力控制器模块包括：
通过由深度卷积和逐点卷积组成的可分离卷积来执行逐像素的聚合缓解不同的并联分支特征在规模和语义上可能存在的不一致性；通过计算特征之间的互协方差来学习像素之间的相关性，来获得最终的注意力图；用公式表示为：
其中，初始生成的张量是T、V、K和Q；而和/>代表重塑的张量；/>代表矩阵的乘法；xm代表输入的特征；P(·)代表GAP；fi(·)代表卷积运算的组合符号。
空间合成子网络：防止输出图像的背景纹理过于平滑，在整个网络的第三阶段使用空间合成子网络来着重补充学习图像中的空间局部信息：放弃具有下采样操作的编码器-解码器模块，采用注意力机制模块集合而成的级联模块。为了提高网络的泛化能力，更好的保留图像全局和局部的特征信息，空间合成子网络采用的是一种与多层特征处理器模块和级联模块相结合的并行结构。为了弥补局部细节的缺失，在两个并行分支上进行两种方向的特征信息提取工作。其中，主要用来提取局部细节的级联模块的设计包含了几个双重注意力块和全局平均池化，在加快训练速度的同时用来提供精确的细节和纹理。全局平均池化的添加可以将卷积层的输出进行降维并提取出最重要和最具代表性的特征，它通过组合注意力模块，可以形成更加复杂和高效的模块，以提高网络模型的性能和效果。
如图6所示，双重注意力块是一种取代卷积块注意力模块的注意力拓扑模块。它利用通道注意力机制在通道维度上捕获通道特征之间的正负关系，对通道间的特征关系进行建模；又结合空间注意力机制，使子模块对关键局部位置上的重要特征信息更加敏感。该设计确保了双重注意力块同时关注信道和空间两个维度用来学习广义的权重。并且信道注意力块和空间注意力块被并行地用于处理，使模型能够自适应的关注到更重要的信息特征。在通道注意力机制中，通过学习每个通道的权重，将不同通道之间的信息进行整合。在卷积神经网络中，每个卷积核都可以看作是对输入图像的一个局部特征提取器，而不同通道之间的关系则表现为卷积核之间的权重变化。通道注意力模块通过引入注意力来学习和调整不同通道之间权重的注意力机制，用来整合不同通道之间的信息。
进一步地，在本发明的一个实施例中，通过将双重注意力块用作跳过连接的桥梁以抑制无用信息包括：
将空间注意力块与通道注意力块用并联结合的方法生成双重注意力块，其中过程表示为：
MC＝xin·σ(f2δ(f1P(xin)))，
MS＝xin·σ(f1C(AvgPool(xin),MaxPool(xin)))，
其中，MC和MS分别表示通道注意力图和空间注意力图；δ和σ分别表示ReLU和Sigmoid激活函数；·表示元素乘法；C(·)表示串联运算。
空间注意力机制(SAB)的原理是通过学习每个空间位置的权重，将不同空间位置之间的信息进行整合。在卷积神经网络中，每个卷积核都可以看作是对输入图像的一个特征提取器，而不同空间位置之间的关系则表现为卷积核在不同位置上的权重变化。空间注意力机制通过引入一个注意力机制，对不同空间位置之间的权重进行学习和调整，从而实现对不同空间位置之间的信息整合。最后，将MC和MS相加，得到了DAB模块的输出。
进一步地，在本发明的一个实施例中，Charbonnier损失函数、Edge损失函数和L1重建损失函数，分别表示为：
其中，XGT表示地面真实图像，YS＝k(k＝1,2,3)表示第S＝k阶段的输出的特征图，ε通过实验设置为1×10-3；
其中，Δ表示拉普拉斯算子；
其中，Charbonnier损失函数使网络在处理图像中的噪声和伪影等问题时更具鲁棒性和稳定性，能够产生更加平滑和自然的重建结果；Edge损失函数用于测量图像任务中预测结果与真实结果之间的差异，与传统的交叉熵损失相比，Edge损失能够更好地保留图像边缘信息，提高模型的精度和鲁棒性，并且可以通过调整边缘响应值之间的权重和阈值等参数来控制损失函数的形状和敏感度；L1重建损失函数应用在注意力编码器-解码器当中，来控制信息的流动和传递。
本发明提出的基于多阶段串并联的上下文细节渐进式图像去噪方法，分别通过串联的方式和并联的方式提取图像中隐藏的上下文信息和空间细节信息。本发明的网络模型通过互补的子网络充分地协调了上下文语义和空间细节之间的特征交换和流动。在许多不同的数据集上的实验结果证明了其在客观和主观性能方面优于现有的方法。
为了实现上述实施例，本发明还提出基于多阶段串并联的上下文细节渐进式图像去噪装置。
图7为本发明实施例提供的一种基于多阶段串并联的上下文细节渐进式图像去噪装置的结构示意图。
如图7所示，该基于多阶段串并联的上下文细节渐进式图像去噪装置包括：获取模块100，构建模块200，训练模块300，去噪模块400，其中，
获取模块，用于获取训练图像数据集；
构建模块，用于构建渐进式图像去噪模型，渐进式图像去噪模型包括上下文挖掘孪生子网络和空间合成子网络；
训练模块，用于通过训练图像数据集对渐进式图像去噪模型进行训练，其中通过Charbonnier损失函数、Edge损失函数和L1重建损失函数控制降噪任务中的预测结果与真实结果之间的差异；
去噪模块，用于获取待去噪图像，根据训练完成的渐进式图像去噪模型对待去噪图像进行图像降噪。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的基于多阶段串并联的上下文细节渐进式图像去噪方法。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的基于多阶段串并联的上下文细节渐进式图像去噪方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于多阶段串并联的上下文细节渐进式图像去噪方法，其特征在于，包括以下步骤：
获取训练图像数据集；
构建渐进式图像去噪模型，所述渐进式图像去噪模型包括上下文挖掘孪生子网络和空间合成子网络；
通过所述训练图像数据集对所述渐进式图像去噪模型进行训练，其中通过Charbonnier损失函数、Edge损失函数和L1重建损失函数控制降噪任务中的预测结果与真实结果之间的差异；
获取待去噪图像，根据训练完成的渐进式图像去噪模型对所述待去噪图像进行图像降噪。
2.根据权利要求1所述的方法，其特征在于，所述上下文挖掘子网络采用串联结构，依次连接多层特征处理器模块、注意力编码器-解码器模块和多头注意力控制器模块，用于捕获图像中的多尺度上下文信息。
3.根据权利要求2所述的方法，其特征在于，所述多层特征处理器采用以注意力机制为导向，空洞卷积配合普通卷积的方法实现对含噪图像的初步降噪；并加入归一化操作降低模型复杂度。
4.根据权利要求2所述的方法，其特征在于，所述注意力编码器-解码器模块包括：
通过扩展多层特征处理器的感受野捕获多尺度上下文信息；
通过将双重注意力块用作跳过连接的桥梁以抑制无用信息；
通过上采样操作来替换解码器中的转置卷积，以扩展特征分辨率；
通过采用L1损失函数来约束其视觉真实性的输出特征。
5.根据权利要求2所述的方法，其特征在于，所述多头注意力控制器模块包括：
通过由深度卷积和逐点卷积组成的可分离卷积来执行逐像素的聚合缓解不同的并联分支特征在规模和语义上可能存在的不一致性；通过计算特征之间的互协方差来学习像素之间的相关性，来获得最终的注意力图；用公式表示为：
其中，初始生成的张量是T、V、K和Q；而和/>代表重塑的张量；/>代表矩阵的乘法；xm代表输入的特征；P(·)代表GAP；fi(·)代表卷积运算的组合符号。
6.根据权利要求4所述的方法，其特征在于，所述通过将双重注意力块用作跳过连接的桥梁以抑制无用信息包括：
将空间注意力块与通道注意力块用并联结合的方法生成双重注意力块，其中过程表示为：
MC＝xin·σ(f2δ(f1P(xin)))，
MS＝xin·σ(f1C(AvgPool(xin),MaxPool(xin)))，
其中，MC和MS分别表示通道注意力图和空间注意力图；δ和σ分别表示ReLU和Sigmoid激活函数；·表示元素乘法；C(·)表示串联运算。
7.根据权利要求1所述的方法，其特征在于，所述的Charbonnier损失函数、Edge损失函数和L1重建损失函数，分别表示为：
其中，XGT表示地面真实图像，YS＝k(k＝1,2,3)表示第S＝k阶段的输出的特征图，ε通过实验设置为1×10-3；
其中，Δ表示拉普拉斯算子；
8.一种基于多阶段串并联的上下文细节渐进式图像去噪装置，其特征在于，包括以下模块：
获取模块，用于获取训练图像数据集；
构建模块，用于构建渐进式图像去噪模型，所述渐进式图像去噪模型包括上下文挖掘孪生子网络和空间合成子网络；
训练模块，用于通过所述训练图像数据集对所述渐进式图像去噪模型进行训练，其中通过Charbonnier损失函数、Edge损失函数和L1重建损失函数控制降噪任务中的预测结果与真实结果之间的差异；
去噪模块，用于获取待去噪图像，根据训练完成的渐进式图像去噪模型对所述待去噪图像进行图像降噪。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一所述的基于多阶段串并联的上下文细节渐进式图像去噪方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的基于多阶段串并联的上下文细节渐进式图像去噪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310899368.5A CN117078540A (zh) | 2023-07-20 | 2023-07-20 | 基于多阶段串并联的上下文细节渐进式图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310899368.5A CN117078540A (zh) | 2023-07-20 | 2023-07-20 | 基于多阶段串并联的上下文细节渐进式图像去噪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117078540A true CN117078540A (zh) | 2023-11-17 |
Family
ID=88714308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310899368.5A Pending CN117078540A (zh) | 2023-07-20 | 2023-07-20 | 基于多阶段串并联的上下文细节渐进式图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117078540A (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385281A (zh) * | 2023-02-14 | 2023-07-04 | 大连工业大学 | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 |
-
2023
- 2023-07-20 CN CN202310899368.5A patent/CN117078540A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385281A (zh) * | 2023-02-14 | 2023-07-04 | 大连工业大学 | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 |
Non-Patent Citations (1)
| Title |
|---|
| YUQI JIANG等: "CS-PCN: Context-Space Progressive Collaborative Network for Image Denoising", ARXIV数据库, 17 May 2023 (2023-05-17), pages 1 - 6 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111582483B (zh) | 基于空间和通道联合注意力机制的无监督学习光流估计方法 | |
| CN110111366B (zh) | 一种基于多级损失量的端到端光流估计方法 | |
| CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN111915660B (zh) | 基于共享特征和注意力上采样的双目视差匹配方法及系统 | |
| CN110689482B (zh) | 一种基于有监督逐像素生成对抗网络的人脸超分辨率方法 | |
| CN113673307A (zh) | 一种轻量型的视频动作识别方法 | |
| CN110717856A (zh) | 一种用于医学成像的超分辨率重建算法 | |
| CN109905624A (zh) | 一种视频帧插值方法、装置及设备 | |
| CN113554032B (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
| Yu et al. | A review of single image super-resolution reconstruction based on deep learning | |
| CN106157307A (zh) | 一种基于多尺度cnn和连续crf的单目图像深度估计方法 | |
| CN112232134B (zh) | 一种基于沙漏网络结合注意力机制的人体姿态估计方法 | |
| CN114241274B (zh) | 一种基于超分辨率多尺度特征融合的小目标检测方法 | |
| CN112819910A (zh) | 基于双鬼注意力机制网络的高光谱图像重建方法 | |
| CN114170286B (zh) | 一种基于无监督深度学习的单目深度估计方法 | |
| CN111062395A (zh) | 一种实时的视频语义分割方法 | |
| CN114972024B (zh) | 一种基于图表示学习的图像超分辨率重建装置及方法 | |
| CN110569851A (zh) | 门控多层融合的实时语义分割方法 | |
| CN112270366A (zh) | 基于自适应多特征融合的微小目标检测方法 | |
| Ren et al. | A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms | |
| CN114898284A (zh) | 一种基于特征金字塔局部差异注意力机制的人群计数方法 | |
| CN112446292B (zh) | 一种2d图像显著目标检测方法及系统 | |
| CN114708172A (zh) | 图像融合方法、计算机程序产品、存储介质及电子设备 | |
| CN117115616A (zh) | 一种基于卷积神经网络的实时低照度图像目标检测方法 | |
| CN114830168A (zh) | 图像重建方法、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |