CN117078540A - 基于多阶段串并联的上下文细节渐进式图像去噪方法 - Google Patents

基于多阶段串并联的上下文细节渐进式图像去噪方法 Download PDF

Info

Publication number
CN117078540A
CN117078540A CN202310899368.5A CN202310899368A CN117078540A CN 117078540 A CN117078540 A CN 117078540A CN 202310899368 A CN202310899368 A CN 202310899368A CN 117078540 A CN117078540 A CN 117078540A
Authority
CN
China
Prior art keywords
image
attention
loss function
denoising
image denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310899368.5A
Other languages
English (en)
Inventor
章春娥
姜钰琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202310899368.5A priority Critical patent/CN117078540A/zh
Publication of CN117078540A publication Critical patent/CN117078540A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于多阶段串并联的上下文细节渐进式图像去噪方法，包括，获取训练图像数据集；构建渐进式图像去噪模型；通过训练图像数据集对渐进式图像去噪模型进行训练，其中通过Charbonnier损失函数、Edge损失函数和L1重建损失函数控制降噪任务中的预测结果与真实结果之间的差异；获取待去噪图像，根据训练完成的渐进式图像去噪模型对所述待去噪图像进行图像降噪。通过本发明提出的方法，在保证去噪效果的同时，减少了计算成本和处理时间。

Description

基于多阶段串并联的上下文细节渐进式图像去噪方法
技术领域
本发明属于图像处理领域。
背景技术
当代社会，我们都在源源不断地从外界接受信息，来了解更多消息。而如今我们已经步入了信息化的时代，接收信息的方式不仅仅只局限于语音和文本的传递，而是以图像、视频等方式进行交流。据统计，人们已经超过70％接收信息的方式是来自于图像的。图像在我们的生活中呈现的方式越来越广泛，比如：照相机成像、科学探测成像等。但是随着技术的发展，智能成像设备也越来越普及，真实图像带来的噪声干扰也是不可避免的，它会极大地降低了图像的视觉质量和计算机视觉任务的性能。因此，如何有效去除图像噪声是多媒体处理领域的热点研究的难题之一。其难点主要有以下几个方面：1)噪声类型多样：图像噪声可以来自于多种来源，如传感器噪声、压缩噪声、光照噪声。不同类型的噪声具有不同的统计特性，需要采用不同的去噪方法。因此，在实际应用中需要准确地识别噪声类型，并选择合适的去噪算法。2)噪声强度难以确定：噪声强度是指噪声对图像的影响程度，通常用信噪比(SNR)来衡量。然而，在实际场景中，噪声的强度往往难以确定，特别是在低光照、高增益等条件下，噪声强度可能会非常高。因此，如何准确估计噪声强度，是图像去噪中的一个难点。3)保留细节和纹理：图像去噪算法要在去除噪声的同时，尽可能地保留图像的细节和图像的边缘纹理。这是一个非常具有挑战性的问题，因为噪声通常会破坏图像的细节和纹理，而去噪算法过度平滑会导致图像信息的丢失。因此，图像去噪算法需要在去噪效果和细节保留之间进行权衡。4)处理时间和计算成本：图像去噪算法通常需要大量的计算资源和时间，这在实际应用中可能会限制算法的使用。特别是在实时应用、移动设备等场景下，算法的计算成本和处理时间更加关键。因此，如何在保证去噪效果的同时，减少计算成本和处理时间，是图像去噪中的一个重要问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的目的在于提出一种基于多阶段串并联的上下文细节渐进式图像去噪方法，用于实现图像降噪。
为达上述目的，本发明第一方面实施例提出了一种基于多阶段串并联的上下文细节渐进式图像去噪方法，包括：
获取训练图像数据集；
构建渐进式图像去噪模型，所述渐进式图像去噪模型包括上下文挖掘孪生子网络和空间合成子网络；
通过所述训练图像数据集对所述渐进式图像去噪模型进行训练，其中通过Charbonnier损失函数、Edge损失函数和L1重建损失函数控制降噪任务中的预测结果与真实结果之间的差异；
获取待去噪图像，根据训练完成的渐进式图像去噪模型对所述待去噪图像进行图像降噪。
另外，根据本发明上述实施例的一种基于多阶段串并联的上下文细节渐进式图像去噪方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述上下文挖掘子网络采用串联结构，依次连接多层特征处理器模块、注意力编码器-解码器模块和多头注意力控制器模块，用于捕获图像中的多尺度上下文信息。
进一步地，在本发明的一个实施例中，所述多层特征处理器采用以注意力机制为导向，空洞卷积配合普通卷积的方法实现对含噪图像的初步降噪；并加入归一化操作降低模型复杂度。
进一步地，在本发明的一个实施例中，所述注意力编码器-解码器模块包括：
通过扩展多层特征处理器的感受野捕获多尺度上下文信息；
通过将双重注意力块用作跳过连接的桥梁以抑制无用信息；
通过上采样操作来替换解码器中的转置卷积，以扩展特征分辨率；
通过采用L1损失函数来约束其视觉真实性的输出特征。
进一步地，在本发明的一个实施例中，所述多头注意力控制器模块包括：
通过由深度卷积和逐点卷积组成的可分离卷积来执行逐像素的聚合缓解不同的并联分支特征在规模和语义上可能存在的不一致性；通过计算特征之间的互协方差来学习像素之间的相关性，来获得最终的注意力图；用公式表示为：
其中，初始生成的张量是T、V、K和Q；而和/>代表重塑的张量；/>代表矩阵的乘法；xm代表输入的特征；P(·)代表GAP；fi(·)代表卷积运算的组合符号。
进一步地，在本发明的一个实施例中，所述通过将双重注意力块用作跳过连接的桥梁以抑制无用信息包括：
将空间注意力块与通道注意力块用并联结合的方法生成双重注意力块，其中过程表示为：
MC＝xin·σ(f2δ(f1P(xin)))，
MS＝xin·σ(f1C(AvgPool(xin),MaxPool(xin)))，
其中，MC和MS分别表示通道注意力图和空间注意力图；δ和σ分别表示ReLU和Sigmoid激活函数；·表示元素乘法；C(·)表示串联运算。
进一步地，在本发明的一个实施例中，所述的Charbonnier损失函数、Edge损失函数和L1重建损失函数，分别表示为：
其中，XGT表示地面真实图像，YS＝k(k＝1,2,3)表示第S＝k阶段的输出的特征图，ε通过实验设置为1×10-3；
其中，Δ表示拉普拉斯算子；
为达上述目的，本发明第二方面实施例提出了一种基于多阶段串并联的上下文细节渐进式图像去噪装置，包括以下模块：
获取模块，用于获取训练图像数据集；
构建模块，用于构建渐进式图像去噪模型，所述渐进式图像去噪模型包括上下文挖掘孪生子网络和空间合成子网络；
训练模块，用于通过所述训练图像数据集对所述渐进式图像去噪模型进行训练，其中通过Charbonnier损失函数、Edge损失函数和L1重建损失函数控制降噪任务中的预测结果与真实结果之间的差异；
去噪模块，用于获取待去噪图像，根据训练完成的渐进式图像去噪模型对所述待去噪图像进行图像降噪。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的基于多阶段串并联的上下文细节渐进式图像去噪方法。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的基于多阶段串并联的上下文细节渐进式图像去噪方法。
本发明实施例提出的基于多阶段串并联的上下文细节渐进式图像去噪方法，可以分为两个子网络，用来解决不同的子任务。特别地，上下文挖掘孪生子网络被设计为一种串行结构用来捕获图像中的多尺度上下文信息。它包括三个部分：用于语义信息预处理的多层特征处理器、用于捕获多尺度信息的注意力编码器-解码器和用于监督特征融合的多卷积注意力控制器。为了补偿空间的细节，又设计了一个具有并行结构的空间合成子网络，由多层特征处理器和使用双注意力块和全局平均池的级联块组成。空间合成子网络提取与全局上下文提取一起执行的局部空间信息。大量实验表明，此发明的网络在图像降噪方面取得了很好的效果。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种基于多阶段串并联的上下文细节渐进式图像去噪方法的流程示意图。
图2为本发明实施例所提供的一种基于多阶段串并联的上下文细节渐进式图像去噪方法的基本流程图。
图3为本发明实施例所提供的一种多层特征处理器示意图。
图4为本发明实施例所提供的一种注意力编码器-解码器示意图。
图5为本发明实施例所提供的一种多头注意力控制器示意图。
图6为本发明实施例所提供的一种双重注意力块示意图。
图7为本发明实施例所提供的一种基于多阶段串并联的上下文细节渐进式图像去噪装置的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于多阶段串并联的上下文细节渐进式图像去噪方法。
图1为本发明实施例所提供的一种基于多阶段串并联的上下文细节渐进式图像去噪方法的流程示意图。
如图1所示，该基于多阶段串并联的上下文细节渐进式图像去噪方法包括以下步骤：
S101：获取训练图像数据集；
S102：构建渐进式图像去噪模型，渐进式图像去噪模型包括上下文挖掘孪生子网络和空间合成子网络；
S103：通过训练图像数据集对渐进式图像去噪模型进行训练，其中通过Charbonnier损失函数、Edge损失函数和L1重建损失函数控制降噪任务中的预测结果与真实结果之间的差异；
S104：获取待去噪图像，根据训练完成的渐进式图像去噪模型对待去噪图像进行图像降噪。
本发明主要包含串联结构的上下文挖掘子网络和并联结构的空间合成子网络两部分。如图2所示，网络由三个阶段和两个子网络组成，用来协调上下文信息和空间信息。具体来说，给定一张退化的图像X0∈RH×W×3，其中H和W表示图像的高度和宽度。网络在前两个阶段应用上下文挖掘孪生子网络来获得低级别的特征X2∈RH×W×C，其中C表示通道数。基于网络模型的串串联结构，上下文挖掘孪生子网络通过扩大感受野来提取图像中的多尺度上下文信息。另外，保持精细的细节对于图像降噪来说是至关重要的。因此，在整体网络的第三阶段开发了具有并联结构的空间合成子网络，用于充分地利用图像中的上下文信息和详细的细节信息。
上下文挖掘孪生子网络：由于卷积神经网络难以对远距离的依赖性进行建模，对此在本子网络中配置了相同的阶段结构，用于在前两个阶段形成全局上下文信息的上下文挖掘孪生子网络。上下文挖掘孪生子网络采用了串联结构，依次连接了含有侧重提取语义特征的空洞卷积、跳跃连接和下采样操作的多层特征处理器模块、注意力编码器-解码器模块和多头注意力控制器模块。为了使分支子网络能够更好的学习到全局特征之间的相互联系，在串联的子模块中都加入了设计的双重注意力模块，这样也有利于将无价值的信息通过注意力掩码时进行相应的抑制。
进一步地，在本发明的一个实施例中，上下文挖掘子网络采用串联结构，依次连接多层特征处理器模块、注意力编码器-解码器模块和多头注意力控制器模块，用于捕获图像中的多尺度上下文信息。
进一步地，在本发明的一个实施例中，多层特征处理器采用以注意力机制为导向，空洞卷积配合普通卷积的方法实现对含噪图像的初步降噪；并加入归一化操作降低模型复杂度。
具体的，如图3所示，本发明设计了一种具有多卷积层的高效特征处理器，用于对隐藏在复杂背景中的特征进行预处理，采用以注意力机制为导向，空洞卷积配合普通卷积的方法实现对含噪图像的初步降噪，为进一步的处理提供出色的上下文信息。空洞卷积的主要优点在于可以增加感受野，而不会增加网络参数的数量。空洞卷积可以通过在卷积核中引入空洞来实现，从而使卷积核在进行卷积操作时跳过某些像素点，从而扩大了卷积核的感受野。这种方法可以有效地减少模型参数的数量，并提高模型的计算效率。此外，空洞卷积还可以用于处理具有不同尺度的输入数据，从而提高网络的泛化能力。这样可以更好的达到性能和效率的最大化，同时也减小了串联网络的深度。并且为了减小模型计算的复杂度，在模块中加入了归一化操作。归一化操作可以将数据缩放到相似的尺度，避免不同特征之间的差异产生较大影响，从而提高模型的训练速度、稳定性和泛化能力。此外，归一化操作还可以有效地解决梯度消失和爆炸问题，使得模型的训练更加高效和稳定。
进一步地，在本发明的一个实施例中，注意力编码器-解码器模块包括：
通过扩展多层特征处理器的感受野捕获多尺度上下文信息；
通过将双重注意力块用作跳过连接的桥梁以抑制无用信息；
通过上采样操作来替换解码器中的转置卷积，以扩展特征分辨率；
通过采用L1损失函数来约束其视觉真实性的输出特征。
为了进一步对图像进行信息的解析和特征的重塑，本发明在预处理模块的后面串联设计了一种基于标准编码器-解码器结构的创新模块，如图4所示。通过扩大多层特征处理器模块的感受野来捕获更多的多尺度上下文信息。为了抑制中间传输的无用的信息，双重注意力模块在跳跃连接部分加入了注意力机制对特征信息进行了全方面的筛选，从而达到控制特征信息流的效果。防止由卷积产生的特征之间的融合，在解码器部分应用双线性上采样的操作来代替解码器中的转置卷积来扩展特征分辨率。双线性上采样通过对原始的图像进行插值处理来扩大图像尺寸，从而支持更高分辨率的图像输出。具体来说，它通过对每个像素周围的四个邻居像素进行加权平均来计算新像素的值，从而实现了图像的平滑放大。最后，注意力编码器-解码器模块在解码器上采样的过程中添加了L1损失函数，让每层的输出图像分别与相同尺寸的清晰图像做差值。L1损失函数可以使模型在训练过程中更加稳定和鲁棒，可以促使模型学习到更加简单和规则化的特征，减少冗余和无用的特征，同时还可以帮助模型实现特征选择和稀疏性约束。此外，L1损失函数还可以通过稀疏性约束来减少模型的复杂度和计算量，提高模型的训练速度和效率。由此可以保证此模块最终输出上传的特征更加平衡稳定并且弥补了在编码当中造成的损失，也约束了其视觉真实性的输出特征。
通过简单的求和或者拼接并不能很好的将不同层次的特征分支融合在一起，特征信息之间会出现特征消磨和掩盖的情况。并且已经证明，隐式特征包含了信息冗余。因此，在阶段结束时又引入了具有金字塔结构的多头注意力控制器模块如图5所示。多头注意力控制器模块在跨阶段的转移和特征融合方面表现出了卓越的能力。通过利用由深度卷积和逐点卷积组成的可分离卷积来执行逐像素的聚合，来缓解不同的并联分支特征在规模和语义上可能存在的不一致性，从而消除对融合权重的质量影响。然后再通过计算特征之间的互协方差来学习像素之间的相关性，来获得最终的注意力图。
进一步地，在本发明的一个实施例中，多头注意力控制器模块包括：
通过由深度卷积和逐点卷积组成的可分离卷积来执行逐像素的聚合缓解不同的并联分支特征在规模和语义上可能存在的不一致性；通过计算特征之间的互协方差来学习像素之间的相关性，来获得最终的注意力图；用公式表示为：
其中，初始生成的张量是T、V、K和Q；而和/>代表重塑的张量；/>代表矩阵的乘法；xm代表输入的特征；P(·)代表GAP；fi(·)代表卷积运算的组合符号。
空间合成子网络：防止输出图像的背景纹理过于平滑，在整个网络的第三阶段使用空间合成子网络来着重补充学习图像中的空间局部信息：放弃具有下采样操作的编码器-解码器模块，采用注意力机制模块集合而成的级联模块。为了提高网络的泛化能力，更好的保留图像全局和局部的特征信息，空间合成子网络采用的是一种与多层特征处理器模块和级联模块相结合的并行结构。为了弥补局部细节的缺失，在两个并行分支上进行两种方向的特征信息提取工作。其中，主要用来提取局部细节的级联模块的设计包含了几个双重注意力块和全局平均池化，在加快训练速度的同时用来提供精确的细节和纹理。全局平均池化的添加可以将卷积层的输出进行降维并提取出最重要和最具代表性的特征，它通过组合注意力模块，可以形成更加复杂和高效的模块，以提高网络模型的性能和效果。
如图6所示，双重注意力块是一种取代卷积块注意力模块的注意力拓扑模块。它利用通道注意力机制在通道维度上捕获通道特征之间的正负关系，对通道间的特征关系进行建模；又结合空间注意力机制，使子模块对关键局部位置上的重要特征信息更加敏感。该设计确保了双重注意力块同时关注信道和空间两个维度用来学习广义的权重。并且信道注意力块和空间注意力块被并行地用于处理，使模型能够自适应的关注到更重要的信息特征。在通道注意力机制中，通过学习每个通道的权重，将不同通道之间的信息进行整合。在卷积神经网络中，每个卷积核都可以看作是对输入图像的一个局部特征提取器，而不同通道之间的关系则表现为卷积核之间的权重变化。通道注意力模块通过引入注意力来学习和调整不同通道之间权重的注意力机制，用来整合不同通道之间的信息。
进一步地，在本发明的一个实施例中，通过将双重注意力块用作跳过连接的桥梁以抑制无用信息包括：
将空间注意力块与通道注意力块用并联结合的方法生成双重注意力块，其中过程表示为：
MC＝xin·σ(f2δ(f1P(xin)))，
MS＝xin·σ(f1C(AvgPool(xin),MaxPool(xin)))，
其中，MC和MS分别表示通道注意力图和空间注意力图；δ和σ分别表示ReLU和Sigmoid激活函数；·表示元素乘法；C(·)表示串联运算。
空间注意力机制(SAB)的原理是通过学习每个空间位置的权重，将不同空间位置之间的信息进行整合。在卷积神经网络中，每个卷积核都可以看作是对输入图像的一个特征提取器，而不同空间位置之间的关系则表现为卷积核在不同位置上的权重变化。空间注意力机制通过引入一个注意力机制，对不同空间位置之间的权重进行学习和调整，从而实现对不同空间位置之间的信息整合。最后，将MC和MS相加，得到了DAB模块的输出。
进一步地，在本发明的一个实施例中，Charbonnier损失函数、Edge损失函数和L1重建损失函数，分别表示为：
其中，XGT表示地面真实图像，YS＝k(k＝1,2,3)表示第S＝k阶段的输出的特征图，ε通过实验设置为1×10-3；
其中，Δ表示拉普拉斯算子；
其中，Charbonnier损失函数使网络在处理图像中的噪声和伪影等问题时更具鲁棒性和稳定性，能够产生更加平滑和自然的重建结果；Edge损失函数用于测量图像任务中预测结果与真实结果之间的差异，与传统的交叉熵损失相比，Edge损失能够更好地保留图像边缘信息，提高模型的精度和鲁棒性，并且可以通过调整边缘响应值之间的权重和阈值等参数来控制损失函数的形状和敏感度；L1重建损失函数应用在注意力编码器-解码器当中，来控制信息的流动和传递。
本发明提出的基于多阶段串并联的上下文细节渐进式图像去噪方法，分别通过串联的方式和并联的方式提取图像中隐藏的上下文信息和空间细节信息。本发明的网络模型通过互补的子网络充分地协调了上下文语义和空间细节之间的特征交换和流动。在许多不同的数据集上的实验结果证明了其在客观和主观性能方面优于现有的方法。
为了实现上述实施例，本发明还提出基于多阶段串并联的上下文细节渐进式图像去噪装置。
图7为本发明实施例提供的一种基于多阶段串并联的上下文细节渐进式图像去噪装置的结构示意图。
如图7所示，该基于多阶段串并联的上下文细节渐进式图像去噪装置包括：获取模块100，构建模块200，训练模块300，去噪模块400，其中，
获取模块，用于获取训练图像数据集；
构建模块，用于构建渐进式图像去噪模型，渐进式图像去噪模型包括上下文挖掘孪生子网络和空间合成子网络；
训练模块，用于通过训练图像数据集对渐进式图像去噪模型进行训练，其中通过Charbonnier损失函数、Edge损失函数和L1重建损失函数控制降噪任务中的预测结果与真实结果之间的差异；
去噪模块，用于获取待去噪图像，根据训练完成的渐进式图像去噪模型对待去噪图像进行图像降噪。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的基于多阶段串并联的上下文细节渐进式图像去噪方法。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的基于多阶段串并联的上下文细节渐进式图像去噪方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于多阶段串并联的上下文细节渐进式图像去噪方法，其特征在于，包括以下步骤：
获取训练图像数据集；
构建渐进式图像去噪模型，所述渐进式图像去噪模型包括上下文挖掘孪生子网络和空间合成子网络；
通过所述训练图像数据集对所述渐进式图像去噪模型进行训练，其中通过Charbonnier损失函数、Edge损失函数和L1重建损失函数控制降噪任务中的预测结果与真实结果之间的差异；
获取待去噪图像，根据训练完成的渐进式图像去噪模型对所述待去噪图像进行图像降噪。
2.根据权利要求1所述的方法，其特征在于，所述上下文挖掘子网络采用串联结构，依次连接多层特征处理器模块、注意力编码器-解码器模块和多头注意力控制器模块，用于捕获图像中的多尺度上下文信息。
3.根据权利要求2所述的方法，其特征在于，所述多层特征处理器采用以注意力机制为导向，空洞卷积配合普通卷积的方法实现对含噪图像的初步降噪；并加入归一化操作降低模型复杂度。
4.根据权利要求2所述的方法，其特征在于，所述注意力编码器-解码器模块包括：
通过扩展多层特征处理器的感受野捕获多尺度上下文信息；
通过将双重注意力块用作跳过连接的桥梁以抑制无用信息；
通过上采样操作来替换解码器中的转置卷积，以扩展特征分辨率；
通过采用L1损失函数来约束其视觉真实性的输出特征。
5.根据权利要求2所述的方法，其特征在于，所述多头注意力控制器模块包括：
通过由深度卷积和逐点卷积组成的可分离卷积来执行逐像素的聚合缓解不同的并联分支特征在规模和语义上可能存在的不一致性；通过计算特征之间的互协方差来学习像素之间的相关性，来获得最终的注意力图；用公式表示为：
其中，初始生成的张量是T、V、K和Q；而和/>代表重塑的张量；/>代表矩阵的乘法；xm代表输入的特征；P(·)代表GAP；fi(·)代表卷积运算的组合符号。
6.根据权利要求4所述的方法，其特征在于，所述通过将双重注意力块用作跳过连接的桥梁以抑制无用信息包括：
将空间注意力块与通道注意力块用并联结合的方法生成双重注意力块，其中过程表示为：
MC＝xin·σ(f2δ(f1P(xin)))，
MS＝xin·σ(f1C(AvgPool(xin),MaxPool(xin)))，
其中，MC和MS分别表示通道注意力图和空间注意力图；δ和σ分别表示ReLU和Sigmoid激活函数；·表示元素乘法；C(·)表示串联运算。
7.根据权利要求1所述的方法，其特征在于，所述的Charbonnier损失函数、Edge损失函数和L1重建损失函数，分别表示为：
其中，XGT表示地面真实图像，YS＝k(k＝1,2,3)表示第S＝k阶段的输出的特征图，ε通过实验设置为1×10-3；
其中，Δ表示拉普拉斯算子；
8.一种基于多阶段串并联的上下文细节渐进式图像去噪装置，其特征在于，包括以下模块：
获取模块，用于获取训练图像数据集；
构建模块，用于构建渐进式图像去噪模型，所述渐进式图像去噪模型包括上下文挖掘孪生子网络和空间合成子网络；
训练模块，用于通过所述训练图像数据集对所述渐进式图像去噪模型进行训练，其中通过Charbonnier损失函数、Edge损失函数和L1重建损失函数控制降噪任务中的预测结果与真实结果之间的差异；
去噪模块，用于获取待去噪图像，根据训练完成的渐进式图像去噪模型对所述待去噪图像进行图像降噪。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一所述的基于多阶段串并联的上下文细节渐进式图像去噪方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的基于多阶段串并联的上下文细节渐进式图像去噪方法。
CN202310899368.5A 2023-07-20 2023-07-20 基于多阶段串并联的上下文细节渐进式图像去噪方法 Pending CN117078540A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310899368.5A CN117078540A (zh) 2023-07-20 2023-07-20 基于多阶段串并联的上下文细节渐进式图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310899368.5A CN117078540A (zh) 2023-07-20 2023-07-20 基于多阶段串并联的上下文细节渐进式图像去噪方法

Publications (1)

Publication Number Publication Date
CN117078540A true CN117078540A (zh) 2023-11-17

Family

ID=88714308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310899368.5A Pending CN117078540A (zh) 2023-07-20 2023-07-20 基于多阶段串并联的上下文细节渐进式图像去噪方法

Country Status (1)

Country Link
CN (1) CN117078540A (zh)

Similar Documents

Publication Publication Date Title
Yue et al. Supervised raw video denoising with a benchmark dataset on dynamic scenes
WO2021018163A1 (zh) 神经网络的搜索方法及装置
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN112819910B (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN110717851A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN110363068B (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN110223234A (zh) 基于级联收缩扩张的深度残差网络图像超分辨率重建方法
CN109389667B (zh) 一种基于深度学习的高效全局光照明绘制方法
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN112070664A (zh) 一种图像处理方法以及装置
CN114170286B (zh) 一种基于无监督深度学习的单目深度估计方法
CN115345866B (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
Chen et al. Image denoising via deep network based on edge enhancement
CN114049259A (zh) 一种用于图像处理的方法、芯片、装置及电子设备
Tang et al. AutoEnhancer: Transformer on U-Net architecture search for underwater image enhancement
CN116152128A (zh) 基于注意力机制的高动态范围多曝光图像融合模型及方法
CN116664435A (zh) 一种基于多尺度人脸解析图融入的人脸复原方法
Hua et al. Dynamic scene deblurring with continuous cross-layer attention transmission
Ren et al. A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms
Zhou et al. Sparse representation with enhanced nonlocal self-similarity for image denoising
CN112767277B (zh) 一种基于参考图像的深度特征排序去模糊方法
Zhang et al. A cross-scale framework for low-light image enhancement using spatial–spectral information
Peng et al. Raune-Net: a residual and attention-driven underwater image enhancement method
CN112396674B (zh) 一种基于轻量生成对抗网络的快速事件图像填补方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination