CN116757962A - 一种图像去噪方法、装置 - Google Patents

一种图像去噪方法、装置 Download PDF

Info

Publication number
CN116757962A
CN116757962A CN202310805239.5A CN202310805239A CN116757962A CN 116757962 A CN116757962 A CN 116757962A CN 202310805239 A CN202310805239 A CN 202310805239A CN 116757962 A CN116757962 A CN 116757962A
Authority
CN
China
Prior art keywords
feature
residual
attention
image
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310805239.5A
Other languages
English (en)
Inventor
江雪聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310805239.5A priority Critical patent/CN116757962A/zh
Publication of CN116757962A publication Critical patent/CN116757962A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像去噪方法、装置，其中方法包括：获取噪声图像；对所述噪声图像进行图像噪声分布预测，得到噪声预测结果；在所述噪声图像中移除所述噪声预测结果，得到粗粒度去噪图像；在所述粗粒度去噪图像中消除残留的噪声伪影并进行图像细节修复，得到细粒度去噪图像；将所述细粒度去噪图像作为目标去噪图像。本申请通过粗粒度噪声映射以消除图像中的粗粒度噪声，然后通过细粒度图像修复以修复或增强图像的细节信息，并消除噪声伪影信息，能够在消耗较少计算资源的同时，得到高质量去噪图像。

Description

一种图像去噪方法、装置
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像去噪方法、装置。
背景技术
图像是日常生活的重要信息来源之一，但是由于图像中干扰信息，即图像噪声的存在，导致高级视觉任务中遥感图像目标检测、OCR文字识别等任务精度降低，图像传达的信息大大减少。因此，图像去噪在视觉任务中至关重要。近几年，人工智能技术的发展，为图像去噪提供了新的方向。
基于卷积神经网络强大的学习能力，其被广泛应用于图像去噪领域。现有的基于卷积神经网络的图像去噪方法中，可以根据其网络模型的输出分为两类：
1)通过卷积神经网络提取含噪图像中的无噪图像特征，并基于无噪图像特征重建去噪图像，其网络模型的输出是去噪图像。此类方法虽然能重建得到高质量的无噪图像，但是卷积神经网络需要大量参数，会消耗较多的计算资源。
2)通过卷积神经网络预测含噪图像中的噪声分布，其网络模型的输出是噪声分布情况，可基于噪声分布得到去噪图像。此类方法所需参数较少，需要的计算资源也较少，但是不利于恢复细节，阻碍进一步提高图像质量。
发明内容
本申请实施方式的目的是提供一种图像去噪方法、装置，以解决现有图像去噪不能兼顾消耗较少计算资源与得到高质量去噪图像的问题。
为解决上述技术问题，本说明书第一方面提供一种图像去噪方法，包括：获取噪声图像；对所述噪声图像进行图像噪声分布预测，得到噪声预测结果；在所述噪声图像中移除所述噪声预测结果，得到粗粒度去噪图像；在所述粗粒度去噪图像中消除残留的噪声伪影并进行图像细节修复，得到细粒度去噪图像；将所述细粒度去噪图像作为目标去噪图像。
在一些实施例中，对所述噪声图像进行图像噪声分布预测，得到噪声预测结果，包括：
采用预设的图像去噪模型的第一神经网络，对所述噪声图像进行特征提取和特征筛选，得到所述噪声预测结果。
在一些实施例中，所述第一神经网络包括：第一下采样卷积层、N个卷积模块、N个反卷积模块和第一反卷积层，其中，所述卷积模块包括：双输出残差注意力模块和第二下采样卷积层，所述反卷积模块包括：单输出残差注意力模块和第二反卷积层，所述卷积模块和所述反卷积模块一一对应，N为大于等于2的正整数；
其中，所述双输出残差注意力模块比所述单输出残差注意力模块多一路输出，用于输出注意力结果，在所述卷积模块中设置双输出残差注意力模块以将残差块特征和注意力结果传送出去；在所述反卷积模块中设置单输出残差注意力模块以根据获取的特征信息预测图像中的噪声分布。
在一些实施例中，采用预设的图像去噪模型的第一神经网络，对所述噪声图像进行特征提取和特征筛选，得到所述噪声预测结果，包括：
利用所述第一下采样卷积层对所述噪声图像进行下采样卷积处理，得到第一去噪中间特征；
利用各卷积模块的双输出残差注意力模块的残差路径中堆叠的残差块，对当前残差块接收到的特征进行卷积处理以及特征映射，得到当前残差块的残差中间特征，对残差中间特征和接收到的特征进行残差连接得到残差块特征；利用各卷积模块的双输出残差注意力模块的注意力路径中的多个注意力块，对对应的残差块的残差中间特征中的各特征值分配注意力权重，得到多个注意力中间特征；对多个注意力中间特征进行特征级联和卷积处理，得到第一去噪注意力特征；对多个残差块的残差块特征进行特征级联和卷积处理，将特征级联和卷积处理的结果与所述第一去噪注意力特征进行融合，得到第二去噪中间特征；其中，所述第一去噪注意力特征和所述第二去噪中间特征为所述双输出残差注意力模块的输出；
利用各卷积模块的第二下采样卷积层对所述第二去噪中间特征进行下采样卷积处理，得到第三去噪中间特征，其中，所述第一去噪注意力特征和所述第三去噪中间特征为所述卷积模块的输出；
利用各反卷积模块的单输出残差注意力模块的残差路径中堆叠的残差块，对当前残差块接收到的特征进行卷积处理以及特征映射，得到当前残差块的残差中间特征，对残差中间特征和接收到的特征进行残差连接得到残差块特征；利用各反卷积模块的单输出残差注意力模块的注意力路径中的多个注意力块，对对应的残差块的残差中间特征中的各特征值分配注意力权重，得到多个注意力中间特征；对多个注意力中间特征进行特征级联和卷积处理，得到第二去噪注意力特征；对多个残差块的残差块特征进行特征级联和卷积处理，将特征级联和卷积处理的结果与所述第二去噪注意力特征进行融合，得到第四去噪中间特征；其中，所述第四去噪中间特征为所述单输出残差注意力模块的输出；
利用各反卷积模块的所述第二反卷积层对所述第四去噪中间特征进行反卷积处理，并将反卷积处理的结果与各反卷积模块对应的卷积模块输出的第一去噪注意力特征进行融合，得到第五去噪中间特征，其中，所述第五去噪中间特征为所述反卷积模块的输出；
利用所述第一反卷积层对所述N个反卷积模块中最后一个反卷积模块输出的第五去噪中间特征进行反卷积处理，得到所述噪声预测结果。
在一些实施例中，所述双输出残差注意力模块包括：M个残差块、M个注意力块、第一特征级联、第二特征级联、第一卷积层和第二卷积层，所述第一卷积层和所述第二卷积层为卷积核大小为1×1的卷积层，所述M个残差块与所述M个注意力块一一对应，其中，M为大于等于2的正整数；
相应的，利用各卷积模块的双输出残差注意力模块的残差路径中堆叠的残差块，对当前残差块接收到的特征进行卷积处理以及特征映射，得到当前残差块的残差中间特征，对残差中间特征和接收到的特征进行残差连接得到残差块特征；利用各卷积模块的双输出残差注意力模块的注意力路径中的多个注意力块，对对应的残差块的残差中间特征中的各特征值分配注意力权重，得到多个注意力中间特征；对多个注意力中间特征进行特征级联和卷积处理，得到第一去噪注意力特征；对多个残差块的残差块特征进行特征级联和卷积处理，将特征级联和卷积处理的结果与所述第一去噪注意力特征进行融合，得到第二去噪中间特征，包括：
利用各残差块对各残差块的输入特征进行卷积处理以及特征映射，得到残差中间特征，并通过残差连接将所述残差中间特征和各残差块的输入特征进行融合，得到当前残差块输出的残差块特征，其中，所述M个残差块中的第一个残差块的输入特征为前一下采样卷积层输出的特征，所述M个残差块中的第二个残差块至第M个残差块的输入特征为前一残差块输出的特征；
利用各注意力块对对应的残差块的残差中间特征的各通道分别进行水平方向和垂直方向的方差池化，并对各通道的池化结果进行卷积处理以及特征映射，得到各残差中间特征的注意力权重，基于各残差中间特征和各残差中间特征的注意力权重，得到各残差中间特征对应的注意力中间特征；
利用所述第一特征级联将所述M个注意力块输出的注意力中间特征进行特征级联，并利用所述第一卷积层对特征级联后的特征进行卷积处理，得到所述第一去噪注意力特征；
利用所述第二特征级联将所述M个残差块输出的所述残差块特征进行特征级联，利用所述第二卷积层对特征级联后的特征进行卷积处理，并将卷积处理结果和所述第一去噪注意力特征融合，得到所述第二去噪中间特征；
将所述第一去噪注意力特征和所述第二去噪中间特征作为所述双输出残差注意力模块的输出。
在一些实施例中，所述单输出残差注意力模块包括：M个残差块、M个注意力块、第一特征级联、第二特征级联、第一卷积层和第二卷积层，所述第一卷积层和所述第二卷积层为卷积核大小为1×1的卷积层，所述M个残差块与所述M个注意力块一一对应；
相应的，利用各反卷积模块的单输出残差注意力模块的残差路径中堆叠的残差块，对当前残差块接收到的特征进行卷积处理以及特征映射，得到当前残差块的残差中间特征，对残差中间特征和接收到的特征进行残差连接得到残差块特征；利用各反卷积模块的单输出残差注意力模块的注意力路径中的多个注意力块，对对应的残差块的残差中间特征中的各特征值分配注意力权重，得到多个注意力中间特征；对多个注意力中间特征进行特征级联和卷积处理，得到第二去噪注意力特征；对多个残差块的残差块特征进行特征级联和卷积处理，将特征级联和卷积处理的结果与所述第二去噪注意力特征进行融合，得到第四去噪中间特征，包括：
利用各残差块对各残差块的输入特征进行卷积处理以及特征映射，得到残差中间特征，并通过残差连接将所述残差中间特征和各残差块的输入特征进行融合，得到当前残差块输出的残差块特征，其中，所述M个残差块中的第一个残差块的输入特征为前一下采样卷积层输出的特征，所述M个残差块中的第二个残差块至第M个残差块的输入特征为前一残差块输出的特征；
利用各注意力块对对应的残差块的残差中间特征的各通道分别进行水平方向和垂直方向的方差池化，并对各通道的池化结果进行卷积处理以及特征映射，得到各残差中间特征的注意力权重，基于各残差中间特征和各残差中间特征的注意力权重，得到各残差中间特征对应的注意力中间特征；
利用所述第一特征级联将所述M个注意力块输出的注意力中间特征进行特征级联，并利用所述第一卷积层对特征级联后的特征进行卷积处理，得到所述第二去噪注意力特征；
利用所述第二特征级联将所述M个残差块输出的所述残差块特征进行特征级联，利用所述第二卷积层对特征级联后的特征进行卷积处理，并将卷积处理结果和所述第二去噪注意力特征融合，得到所述第四去噪中间特征；
将所述第四去噪中间特征作为所述单输出残差注意力模块的输出。
在一些实施例中，残差块与一一对应的注意力块是独立设置的，M个残差块的输出特征在尾部进行通道维度的特征级联，M个注意力块的输出特征在尾部进行通道维度的特征级联，以避免丢失特征细节，挖掘出多层次特征的相关关系以及各特征的贡献度。
在一些实施例中，在所述粗粒度去噪图像中消除残留的噪声伪影并进行图像细节修复，得到细粒度去噪图像，包括：
采用预设的图像去噪模型的第二神经网络，对所述粗粒度去噪图像进行特征提取和特征筛选，得到图像修复残差图；
将所述图像修复残差图和所述粗粒度去噪图像进行融合，得到所述细粒度去噪图像。
在一些实施例中，所述第二神经网络包括：第一非下采样卷积层、P个双输出残差注意力模块、第一特征级联、第二特征级联、第一卷积层、第二卷积层、第二非下采样卷积层、激活层和第三非下采样卷积层，P为大于等于2的正整数，所述第一卷积层和所述第二卷积层为卷积核大小为1×1的卷积层；其中，所述第二神经网络中设置双输出残差注意力模块以将注意力结果传送出去；
相应的，采用预设的图像去噪模型的第二神经网络，对所述粗粒度去噪图像进行特征提取和特征筛选，得到图像修复残差图，包括：
利用所述第一非下采样卷积层对所述粗粒度去噪图像进行卷积处理，得到第一修复中间特征；
利用各双输出残差注意力模块对各双输出残差注意力模块的残差路径中堆叠的残差块，对当前残差块接收到的特征进行卷积处理以及特征映射，得到当前残差块的残差中间特征，对残差中间特征和接收到的特征进行残差连接得到残差块特征；利用各双输出残差注意力模块的注意力路径中的多个注意力块，对对应的残差块的残差中间特征中的各特征值分配注意力权重，得到多个注意力中间特征；对多个注意力中间特征进行特征级联和卷积处理，得到第一修复注意力特征；对多个残差块的残差块特征进行特征级联和卷积处理，将特征级联和卷积处理的结果与所述第一修复注意力特征进行融合，得到第二修复中间特征；其中，所述第二修复中间特征和所述第一修复注意力特征为所述双输出残差注意力模块的输出；
利用所述第一特征级联将所述P个双输出残差注意力模块输出的P个第一修复注意力特征进行特征级联，并利用所述第一卷积层对特征级联后的特征进行卷积处理，得到所述第二修复注意力特征；
利用所述第二特征级联将所述P个双输出残差注意力模块输出的P个第二修复中间特征进行特征级联，利用所述第二卷积层对特征级联后的特征进行卷积处理，并将卷积处理结果与所述第二修复注意力特征融合，得到第三修复中间特征；
利用所述第二非下采样卷积层、所述激活层、所述第三非下采样卷积层依次对所述第三修复中间特征进行处理，得到所述图像修复残差图。
在一些实施例中，所述双输出残差注意力模块和所述单输出残差注意力模块中的任意之一的残差注意力模块进行卷积处理以及特征映射后的各特征值分配的注意力权重是通过以下方式确定的：
分别在水平方向和垂直方向对每个通道的特征值进行方差池化，得到第一特征和第二特征；
对所述第一特征和所述第二特征进行卷积处理和特征映射，得到对所述各特征值分配的注意力权重；
其中，所述第一特征和所述第二特征通过以下公式确定：
其中，表示高度为H宽度为1的第c个通道输出的第一特征，/>表示宽度为W高度为1的第c个通道输出的第二特征，xc(i,j)表示在第c个通道上特征位置为(i，j)对应的特征值。
本说明书第二方面提供一种图像去噪装置，包括：图像获取单元，用于获取噪声图像；噪声预测单元，用于对所述噪声图像进行图像噪声分布预测，得到噪声预测结果；粗去噪单元，用于在所述噪声图像中移除所述噪声预测结果，得到粗粒度去噪图像；图像修复单元，用于在所述粗粒度去噪图像中消除残留的噪声伪影并进行图像细节修复，得到细粒度去噪图像；目标图像生成单元，用于将所述细粒度去噪图像作为目标去噪图像。
本说明书第三方面提供一种电子设备，包括：存储器和处理器，所述处理器和所述存储器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而实现第一方面任一项所述方法的步骤。
本说明书第四方面提供一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，所述计算机程序指令被执行时实现第一方面任一项所述方法的步骤。
本说明书第五方面提供一种计算机程序产品，包含有计算机程序，所述计算机程序被处理器执行时实现第一方面任一项所述方法的步骤。
本说明书提供的图像去噪方法、装置，在进行图像去噪的过程中，先通过对噪声图像进行噪声分布预测，以去除图像中的粗粒度噪声，得到粗粒度去噪图像，然后在粗粒度去噪图像中消除残留的噪声伪影并进行图像细节修复，以恢复或增强去噪后图像的细节信息，得到细粒度去噪图像作为目标去噪图像。本申请通过粗粒度噪声映射以消除图像中的粗粒度噪声，然后通过细粒度图像修复以修复或增强图像的细节信息，并消除噪声伪影信息，能够在消耗较少计算资源的同时，得到高质量的去噪图像。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1所示为本申请实施例提供的一种图像去噪模型的结构示意图；
图2所示为本申请实施例提供的一种图像去噪方法的流程示意图；
图3所示为本申请实施例提供的一种细粒度去噪的处理流程示意图；
图4所示为本申请实施例提供的一种第一神经网络的结构示意图；
图5所示为本申请实施例提供的一种第一神经网络的处理流程示意图；
图6所示为一种残差注意力模块的结构示意图；
图7所示为本申请实施例提供的一种双输出残差注意力模块的结构示意图；
图8所示为本申请实施例提供的一种双输出残差注意力模块的处理流程图；
图9所示为本申请实施例提供的一种单输出残差注意力模块的结构示意图；
图10所示为本申请实施例提供的一种单输出残差注意力模块的处理流程图；
图11所示为本申请实施例提供的一种注意力块的结构示意图；
图12所示为本申请实施例提供的一种第二神经网络的结构示意图；
图13所示为本申请实施例提供的一种第二神经网络的处理流程示意图；
图14所示为本申请实施例提供的一种图像去噪装置的结构示意图；
图15所示为本申请实施例提供的一种电子设备的原理框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都应当属于本申请保护的范围。
如前文所述，目前的去噪方法不能兼顾消耗较少计算资源与得到高质量去噪图像的问题，本申请提供了一种图像去噪方法，通过粗粒度噪声映射，预测待处理图像的噪声分布，以消除图像中的粗粒度噪声，然后通过细粒度图像修复，对噪声映射后的去噪图像进行图像细节修复或增强，并在此阶段消除上一阶段残留的噪声伪影，进而能够在消耗较少计算资源的同时，得到高质量去噪图像。
本申请实施例提供的方法，各步骤的执行主体可以是计算机设备，该计算机设备是指具备数据计算、处理和存储能力的电子设备。该计算机设备可以是诸如PC(PersonalComputer，个人计算机)、平板电脑、智能手机、可穿戴设备、智能机器人等终端；也可以是服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。
在对本申请提供的图像去噪方法进行介绍前，先结合一个具体实施例，对本申请中的方法进行说明。值得注意的是，该具体实施例仅是为了更好地说明本说明书，并不构成对本说明书的不当限定。
图1所示为本申请实施例提供的一种图像去噪模型的结构示意图。图像去噪模型包括第一神经网络和第二神经网络。
如图1所示，本申请实施例中的图像去噪方法包括两个阶段：粗粒度噪声映射阶段以及细粒度图像修复阶段。粗粒度噪声映射阶段采用第一神经网络进行处理，细粒度图像修复阶段采用第二神经网络进行处理。
阶段1：粗粒度噪声映射
在本实施例中，粗粒度噪声映射阶段采用第一神经网络进行粗粒度噪声映射。
可以理解，图1中的第一级下采样卷积层101即为第一神经网络中的第一下采样卷积层；图1中的第一级双输出残差注意力模块102和第二级双输出残差注意力模块104即为第一神经网络的卷积模块中的双输出残差注意力模块，图1中的第二级下采样卷积层103和第三级下采样卷积层105即为第一神经网络的卷积模块中的第二下采样卷积层；图1中的第一级单输出残差注意力模块106和第二级单输出残差注意力模块108即为第一神经网络的反卷积模块中的单输出残差注意力模块，图1中的第一级反卷积层107和第二级反卷积层109即为第一神经网络的反卷积模块中的第二反卷积层，图1中的第三级反卷积层110即为第一神经网络的第一反卷积层。
其中，第一级双输出残差注意力模块102与第二级单输出残差注意力模块108对应，第二级双输出残差注意力模块104与第一级单输出残差注意力模块106对应。
粗粒度噪声映射可以包括以下流程S1至S10：
S1：将噪声图像Inoisy作为第一神经网络的输入，采用第一级下采样卷积层101(表示为提取噪声图像的图像特征，得到图像特征f1，图像特征f1可以通过以下公式表示：
图像特征f1可以理解为噪声图像的浅层次噪声图像特征，即第一级下采样卷积层101输出的第一去噪中间特征。具体的，图像特征f1可以包括噪声图像的噪声伪影信息以及图像细节信息。
S2：采用第一级双输出残差注意力模块102(可以表示为处理图像特征f1，得到中间特征f2和注意力特征f1 a，中间特征f1和注意力特征f1 a可以通过以下公式表示：
其中，中间特征f2即卷积模块输出的第二去噪中间特征，可以表示第一级双输出残差注意力模块102中残差路径以及注意力路径融合后的特征。注意力特征f1 a即卷积模块输出的第一去噪注意力特征，可以表示第一级双输出残差注意力模块102中的注意力路径的输出特征。
S3：采用第二级下采样卷积层103(表示为处理中间特征f2，得到中间特征f3，中间特征f3可以通过以下公式表示：
其中，中间特征f3表示第二级下采样卷积层103输出的第三去噪中间特征。
S4：采用第二级双输出残差注意力模块104(可以表示为处理中间特征f3，得到中间特征f4和注意力特征/>中间特征f4和注意力特征/>可以通过以下公式表示：
其中，中间特征f4即卷积模块输出的第二去噪中间特征，可以表示第二级双输出残差注意力模块104中残差路径以及注意力路径融合后的特征。注意力特征f2 a即卷积模块输出的第一去噪注意力特征，可以表示第二级双输出残差注意力模块104中的注意力路径的输出特征。
S5：采用第三级下采样卷积层105(表示为处理中间特征f4，得到中间特征f5，中间特征f5可以通过以下公式表示：
其中，中间特征f5为第三级下采样卷积层105输出的第三去噪中间特征。
S6：采用第一级单输出残差注意力模块106(可以表示为(·))处理中间特征f5，得到中间特征f6，中间特征f6可以通过以下公式表示：
其中，中间特征f6即反卷积模块的单输出残差注意力模块输出的第四去噪中间特征，可以表示第一级单输出残差注意力模块106的输出特征。
S7：采用第一级反卷积层107(表示为Deconv1(·))处理中间特征f6，得到中间特征f7，中间特征f7可以通过以下公式表示：
f7＝Deconv1(f6) 公式(7)；
其中，中间特征f7表示第一级反卷积层107(反卷积模块的第二反卷积层)输出的第五去噪中间特征。
S8：将中间特征f7和注意力特征f2 a逐元素相加后，采用第二级单输出残差注意力模块108(可以表示为对相加得到的特征进行处理，得到中间特征f8，中间特征f8可以通过以下公式表示：
其中，中间特征f8即反卷积模块的单残差注意力模块输出的特征，可以表示第二级单输出残差注意力模块108中输出的第四去噪中间特征。
S9：采用第二级反卷积层109(表示为Deconv2(·))处理中间特征f8，得到中间特征f9，中间特征f9可以通过以下公式表示：
f9＝Deconv2(f8) 公式(9)；
其中，中间特征f9表示第二级反卷积层109(反卷积模块的第二反卷积层)的输出的第五去噪中间特征。
S10：将中间特征f9和注意力特征f1 a逐元素相加后，采用第三级反卷积层110(表示为Deconv3(·))对相加得到的特征进行处理，得到噪声预测结果，噪声预测结果可以通过以下公式表示：
Imask＝Deconv3(f9+f1 a) 公式(10)；
其中，Imask表示粗粒度噪声映射阶段第一神经网络的噪声预测结果。
基于第三反卷积层110输出的噪声预测结果Imask以及噪声图像Inoisy，从噪声图像Inoisy中移除噪声，得到粗粒度去噪图像，该图像为粗粒度噪声映射阶段的最终输出，而细粒度图像修复阶段将以此粗粒度去噪图像为输入。
阶段2：细粒度图像修复
在本实施例中，细粒度图像修复阶段采用第二神经网络进行细粒度图像修复。
可以理解，图1中的第一级非下采样卷积层111即为第二神经网络中的第一下采样卷积层；图1中的第三级双输出残差注意力模块112和第四级双输出残差注意力模块113即为第二神经网络中的双输出残差注意力模块，图1中的特征级联114、特征级联115、1×1卷积层116和1×1卷积层117分别为第二神经网络中的第一特征级联、第二特征级联、第一卷积层和第二卷积层；图1中的第二级非下采样卷积层118、ReLU 119和第三级非下采样卷积层120分别为第二神经网络中的第二非下采样卷积层、激活层和第三非下采样卷积层。
细粒度图像修复包括以下流程：
S11：以粗粒度去噪图像为输入，其中，粗粒度去噪图像是基于第三反卷积层110输出的噪声预测结果Imask以及噪声图像Inoisy，从噪声图像Inoisy中移除噪声得到，采用第一级非下采样卷积层111(表示为Conv1(·))处理粗粒度去噪图像，得到中间特征f10，中间特征f10可以通过以下公式表示：
f10＝Conv1(Inoisy-Imask) 公式(11)；
其中，中间特征f10即第一级非下采样卷积层111输出的第一修复中间特征。
S12：采用第三级双输出残差注意力模块112(可以表示为处理中间特征f10，得到中间特征f11和注意力特征f3 a，中间特征f11和注意力特征f3 a可以通过以下公式表示：
其中，中间特征f11即第二神经网络的双输出残差注意力模块输出的第二修复中间特征，可以表示第三级双输出残差注意力模块112中残差路径以及注意力路径融合后的特征。注意力特征f3 a即第二神经网络的双输出残差注意力模块输出的第一修复注意力特征，可以表示第三级双输出残差注意力模块112中注意力路径的输出特征。
S13：采用第四级双输出残差注意力模块113(可以表示为RA4 D(·))处理中间特征f11，得到中间特征f12和注意力特征f4 a，中间特征f12和注意力特征f4 a可以通过以下公式表示：
其中，中间特征f12第二神经网络的双输出残差注意力模块输出的第二修复中间特征，可以表示第四级双输出残差注意力模块113中残差路径以及注意力路径融合后的特征。注意力特征f4 a即第二神经网络的双输出残差注意力模块输出的第一修复注意力特征，可以表示第四级双输出残差注意力模块113中注意力路径的输出特征。
S14：采用特征级联114对注意力特征f3 a和注意力特征f4 a进行通道维度的特征级联，采用特征级联115对中间特征f11和中间特征f12进行通道维度的特征级联，分别采用卷积核大小为1×1的卷积层116(表示为和卷积层117(表示为/>对特征级联后的特征进行卷积处理，然后将卷积后的两个特征进行逐元素相加，得到中间特征f13，中间特征f13可以通过以下公式表示：
其中，中间特征f13表示融合后的特征(即第三修复中间特征)，[·]表示通道维度的特征级联。
S15：依次采用第二级非下采样卷积层118(可以表示为Conv2(·))、ReLU 119(可以表示为R(·))和第三级非下采样卷积层120(可以表示为Conv3(·))对中间特征f13进行处理，得到图像修复残差图，并将图像修复残差图与粗粒度去噪图像逐元素相加，得到细粒度去噪图像作为目标去噪图像Idenoised，目标去噪图像Idenoised可以通过以下公式表示：
Idenoised＝Conv3(R(Conv2(f13)))+(Inoisy-Imask) 公式(15)。
下面将结合图2对本申请实施例提供的图像去噪方法进行介绍。
图2所示为本申请实施例提供的一种图像去噪方法的流程示意图。
如图2所示，本申请实施例提供的图像去噪方法包括如下步骤：
S201：获取噪声图像。
可以理解，其中的噪声图像是指图像中存在干扰信息的图像，该干扰信息可以是由环境或设备，在图像采集、传输、接收等过程中产生的噪声伪影，例如：电子设备(如摄像机、手机等)中的部分器件引起的热噪声、真空器引起的散粒噪声、光电管的光量子噪声等。噪声图像可以是指视频(如监控视频、拍摄视频等)中图像帧，也可以是指图片(如照片、截图等)。
S202：对所述噪声图像进行图像噪声分布预测，得到噪声预测结果。
在一些实施例中，步骤S202中对所述噪声图像进行图像噪声分布预测，得到噪声预测结果，包括：
采用预设的图像去噪模型的第一神经网络，对所述噪声图像进行特征提取和特征筛选，得到所述噪声预测结果。
可以理解，第一神经网络包括堆叠的神经网络层，通过堆叠的神经网络层中的各神经网络层进行特征提取和特征筛选。
可以理解，在一些实施例中，特征提取为通过神经网络层，对输入神经网络层输入的图像特征进行编码或解码，得到输出的图像特征。
可以理解，在一些实施例中，特征筛选为通过神经网络层，将提取出的图像特征进行细化区分，并筛选出噪声分布预测需要的特征。进一步地，可以结合注意力机制，对图像特征进行分类。例如，对于不同图像特征图，通过注意力机制提取特征的注意力权重，进而根据提取的注意力权重，可以对图像特征中的不同对象进行分类。
在一些实施例中，第一神经网络可以为卷积神经网络(Convolutional NeuralNetworks,CNN)，第一神经网络的多个神经网络层可以例如卷积层、反卷积层等。在其他实施例中，第一神经网络可以为其他种类的人工神经网络模型，本申请对此不作限制。其中，通过第一神经网络对噪声图像进行特征提取、特征筛选等等步骤将在下文结合第一神经网络的结构进行详细介绍，在此不作赘述。
S203：在所述噪声图像中移除所述噪声预测结果，得到粗粒度去噪图像。
具体的，将噪声图像与噪声预测结果进行逐元素相减，得到粗粒度去噪图像。
S204：在所述粗粒度去噪图像中消除残留的噪声伪影并进行图像细节修复，得到细粒度去噪图像。
可以理解，图像修复为通过对图像中重要信息进行提取，预测粗粒度去噪图像中受损或丢失的图像细节，并根据预测结果对去噪图像进行修复，同时消除残留的噪声伪影。
在一些实施例中，图像去噪模型可以为收集大量的噪声图像和对应的目标无噪图像作为训练数据，采用训练数据对初始神经网络模型进行训练，得到的以带噪的图像为输入，以噪声图像的目标去噪图像为输出的神经网络模型。具体的，可以利用神经网络模型输出的目标去噪图像以及对应的目标无噪图像构建损失函数，对初始神经网络模型中第一神经网络和第二神经网络的各参数进行优化，直至初始神经网络模型收敛，即可得到图像去噪模型。
在一些实施例中，构建的损失函数L可以通过如下公式表示：
L＝||Idenoised-Iclean||2 公式(16)；
其中，Idenoised表示目标去噪图像，Iclean表示目标无噪图像，||·||2表示均方误差。使用上述公式(16)的损失函数训练初始神经网络模型，重复图1中阶段1和阶段2的步骤直至初始神经网络模型参数收敛。
如图3所示，在一些实施例中，步骤S204中在所述粗粒度去噪图像中消除残留的噪声伪影并进行图像细节修复，得到细粒度去噪图像，包括：
S301：采用预设的图像去噪模型的第二神经网络，对所述粗粒度去噪图像进行特征提取和特征筛选，得到图像修复残差图。
S302：将所述图像修复残差图和所述粗粒度去噪图像进行融合，得到所述细粒度去噪图像。
在一些实施例中，第二神经网络可以为卷积神经网络(Convolutional NeuralNetworks,CNN)，第二神经网络的多个神经网络层可以例如卷积层、反卷积层等。在其他实施例中，第二神经网络可以为其他种类的人工神经网络模型，本申请对此不作限制。步骤S301中，通过第二神经网络对粗粒度去噪图像进行特征提取、特征筛选等等步骤将在下文结合第二神经网络的结构进行详细介绍，在此不作赘述。
S205：将所述细粒度去噪图像作为目标去噪图像。
可以理解，目标去噪图像即为噪声图像进行由粗到细去向去噪方法去噪完成后，得到的无噪的、图像细节清晰的图像。
图4所示为本申请实施例提供的一种第一神经网络的结构示意图。
如图4所示，在一些实施例中，第一神经网络400包括：第一下采样卷积层401、N个卷积模块402、N个反卷积模块403和第一反卷积层404，其中，所述卷积模块402包括：双输出残差注意力模块4021和第二下采样卷积层4022，所述反卷积模块403包括：单输出残差注意力模块4031和第二反卷积层4032，所述卷积模块402和所述反卷积模块403一一对应，N为大于等于2的正整数；卷积模块的参数不共享、反卷积模块的参数不共享。
其中，所述双输出残差注意力模块4021比所述单输出残差注意力模块4031多一路输出，用于输出注意力结果，在所述卷积模块402中设置双输出残差注意力模块4021以将残差块特征和注意力结果传送出去；在所述反卷积模块403中设置单输出残差注意力模块4031以根据获取的特征信息预测噪声图像中的噪声分布。
图5所示为本申请实施例提供的一种第一神经网络的处理流程示意图。
如图5所示，在一些实施例中，图2中步骤S202采用预设的图像去噪模型的第一神经网络，对所述噪声图像进行特征提取和特征筛选，得到所述噪声预测结果，包括：
S501：利用所述第一下采样卷积层对所述噪声图像进行下采样卷积处理，得到第一去噪中间特征。
S502：利用各卷积模块的双输出残差注意力模块的残差路径中堆叠的残差块，对当前残差块接收到的特征进行卷积处理以及特征映射，得到当前残差块的残差中间特征，对残差中间特征和接收到的特征进行残差连接得到残差块特征；利用各卷积模块的双输出残差注意力模块的注意力路径中的多个注意力块，对对应的残差块的残差中间特征中的各特征值分配注意力权重，得到多个注意力中间特征；对多个注意力中间特征进行特征级联和卷积处理，得到第一去噪注意力特征；对多个残差块的残差块特征进行特征级联和卷积处理，将特征级联和卷积处理的结果与所述第一去噪注意力特征进行融合，得到第二去噪中间特征。
其中，所述第一去噪注意力特征和所述第二去噪中间特征为所述双输出残差注意力模块的输出。
图6所示为一种残差注意力模块的结构示意图。从图6可以看出，现有的残差注意力模块通常是将注意力机制放置于残差块中，注意力得到的权重会直接与残差块中的特征进行逐元素相乘，得到残差注意力模块的输出。但是此种方式可能会丢失相关特征细节，并且深层结构无法再使用该残差块特征以及注意力结果。为了避免丢失相关特征细节，本申请中设置独立的注意力路径来避免丢失相关特征细节，并且独立的注意力路径也有利于挖掘多层次特征相互关系以及各特征贡献度。根据输出结果数量本申请中的残差注意力模块被分为了两种：单输出残差注意力模块和双输出残差注意力模块，其中，双输出残差注意力模块采用了如图7的结构，单输出残差注意力模块采用了如图9的结构。
图7所示为本申请实施例提供的一种双输出残差注意力模块的结构示意图。
图8所示为本申请实施例提供的一种双输出残差注意力模块的处理流程图。
结合图7和图8，在一些实施例中，双输出残差注意力模块包括：M个残差块701、M个注意力块702、第一特征级联(即图7中的特征级联703)、第二特征级联(即图7中的特征级联704)、第一卷积层(即图7中的1×1卷积层705)和第二卷积层(即图7中的1×1卷积层706)，所述第一卷积层和所述第二卷积层为卷积核大小为1×1的卷积层，所述M个残差块701与所述M个注意力块702一一对应，其中，M为大于等于2的正整数，残差块的参数不共享，注意力块的参数不共享。
相应的，步骤S502包括：
S801：利用各残差块对各残差块的输入特征进行卷积处理以及特征映射，得到残差中间特征，并通过残差连接将所述残差中间特征和各残差块的输入特征进行融合，得到当前残差块输出的残差块特征。
其中，所述M个残差块中的第一个残差块的输入特征为前一下采样卷积层输出的特征，所述M个残差块中的第二个残差块至第M个残差块的输入特征为前一残差块输出的特征。
S802：利用各注意力块对对应的残差块的残差中间特征的各通道分别进行水平方向和垂直方向的方差池化，并对各通道的池化结果进行卷积处理以及特征映射，得到各残差中间特征的注意力权重，基于各残差中间特征和各残差中间特征的注意力权重，得到各残差中间特征对应的注意力中间特征。
S803：利用所述第一特征级联将所述M个注意力块输出的注意力中间特征进行特征级联，并利用所述第一卷积层对特征级联后的特征进行卷积处理，得到所述第一去噪注意力特征。
S804：利用所述第二特征级联将所述M个残差块输出的所述残差块特征进行特征级联，利用所述第二卷积层对特征级联后的特征进行卷积处理，并将卷积处理结果和所述第一去噪注意力特征融合，得到所述第二去噪中间特征。
S805：将所述第一去噪注意力特征和所述第二去噪中间特征作为所述双输出残差注意力模块的输出。
在一些实施例中，残差块701可以包括非下采样卷积层和激活层，非下采样卷积层可以例如图7中的非下采样卷积层7011和非下采样卷积层7013，激活层可以采用激活函数ReLU，例如图7中的ReLU 7012。
在一些实施例中，残差块与一一对应的注意力块是独立设置的，M个残差块的输出特征在尾部进行通道维度的特征级联，M个注意力块的输出特征在尾部进行通道维度的特征级联，以避免丢失特征细节，挖掘出多层次特征的相关关系以及各特征的贡献度。
S503：利用各卷积模块的第二下采样卷积层对所述第二去噪中间特征进行下采样卷积处理，得到第三去噪中间特征。
其中，所述第一去噪注意力特征和所述第三去噪中间特征为所述卷积模块的输出。
S504：利用各反卷积模块的单输出残差注意力模块的残差路径中堆叠的残差块，对当前残差块接收到的特征进行卷积处理以及特征映射，得到当前残差块的残差中间特征，对残差中间特征和接收到的特征进行残差连接得到残差块特征；利用各反卷积模块的单输出残差注意力模块的注意力路径中的多个注意力块，对对应的残差块的残差中间特征中的各特征值分配注意力权重，得到多个注意力中间特征；对多个注意力中间特征进行特征级联和卷积处理，得到第二去噪注意力特征；对多个残差块的残差块特征进行特征级联和卷积处理，将特征级联和卷积处理的结果与所述第二去噪注意力特征进行融合，得到第四去噪中间特征。
其中，所述第四去噪中间特征为所述单输出残差注意力模块的输出。
图9所示为本申请实施例提供的一种单输出残差注意力模块的结构示意图。
图10所示为本申请实施例提供的一种单输出残差注意力模块的处理流程图。
结合图9和图10，在一些实施例中，单输出残差注意力模块包括：M个残差块、M个注意力块、第一特征级联、第二特征级联、第一卷积层和第二卷积层，所述第一卷积层和所述第二卷积层为卷积核大小为1×1的卷积层，所述M个残差块与所述M个注意力块一一对应。
相应的，步骤S504包括：
S1001：利用各残差块对各残差块的输入特征进行卷积处理以及特征映射，得到残差中间特征，并通过残差连接将所述残差中间特征和各残差块的输入特征进行融合，得到当前残差块输出的残差块特征。
其中，所述M个残差块中的第一个残差块的输入特征为前一下采样卷积层输出的特征，所述M个残差块中的第二个残差块至第M个残差块的输入特征为前一残差块输出的特征；
S1002：利用各注意力块对对应的残差块的残差中间特征的各通道分别进行水平方向和垂直方向的方差池化，并对各通道的池化结果进行卷积处理以及特征映射，得到各残差中间特征的注意力权重，基于各残差中间特征和各残差中间特征的注意力权重，得到各残差中间特征对应的注意力中间特征。
S1003：利用所述第一特征级联将所述M个注意力块输出的注意力中间特征进行特征级联，并利用所述第一卷积层对特征级联后的特征进行卷积处理，得到所述第二去噪注意力特征。
S1004：利用所述第二特征级联将所述M个残差块输出的所述残差块特征进行特征级联，利用所述第二卷积层对特征级联后的特征进行卷积处理，并将卷积处理结果和所述第二去噪注意力特征融合，得到所述第四去噪中间特征。
S1005：将所述第四去噪中间特征作为所述单输出残差注意力模块的输出。
S505：利用各反卷积模块的所述第二反卷积层对所述第四去噪中间特征进行反卷积处理，并将反卷积处理的结果与各反卷积模块对应的卷积模块输出的第一去噪注意力特征进行融合，得到第五去噪中间特征。
其中，所述第五去噪中间特征为所述反卷积模块的输出。
S506：利用所述第一反卷积层对所述N个反卷积模块中最后一个反卷积模块输出的第五去噪中间特征进行反卷积处理，得到所述噪声预测结果。
下面结合图11对本申请实施例中的注意力块对残差中间特征分配的注意力权重的过程进行进一步介绍。
图11所示为本申请实施例提供的一种注意力块的结构示意图。可以理解，图11中的注意力块可以为图7中的注意力块702，也可以为图9中的注意力块902。即双输出残差注意力模块中的注意力块和单输出残差注意力模块中的注意力块可以为相同的结构。
可以理解，在一些实施例中，图像特征可以通过三维矩阵表示，例如图像特征X＝[x1，x2，…，xc]，其大小可以表示为C×W×H，其中C表示图像特征的通道数，W表示图像特征的宽，H表示图像特征的宽。对于图像特征X中的任意元素xc(i，j)(0<c≤C，0<i≤W，0<j≤H)表示第c个通道中，特征位置为(i，j)的图像特征值。
如图11所示，使用注意力块对大小为C×W×H的特征进行水平和垂直方向的池化处理，分别得到大小为C×1×H的特征和大小为C×W×1的特征，注意力块还包括：卷积核大小为1×1的卷积层1101、大小为1×1的卷积层1102、第一激活层(例如图11中的Sigmod1103)和第二激活层(例如图11中的Sigmod 1103)。假设输入注意力块的图像特征的大小为C×W×H，注意力块对大小为C×W×H的输入特征是通过以下方式确定的：
(1)分别在水平方向和垂直方向对每个通道的特征值进行方差池化，得到第一特征和第二特征。
其中，所述第一特征和所述第二特征通过以下公式确定：
其中，表示高度为H宽度为1的第c个通道输出的第一特征，/>表示宽度为W高度为1的第c个通道输出的第二特征，xc(i,j)表示在第c个通道上特征位置为(i，j)对应的特征值。
(2)对所述第一特征和所述第二特征进行卷积处理和特征映射，得到对所述各特征值分配的注意力权重。
具体的，采用卷积层1101对第一特征进行卷积处理，采用第一激活层对卷积处理结果进行特征映射，得到输入特征的大小为C×H的水平方向的权重，可以表示为：
采用卷积层1102对第二特征进行卷积处理，采用第二激活层对卷积处理结果进行特征映射，得到输入特征的大小为C×W的垂直方向的权重，可以表示为：
可以理解，卷积层1101和卷积层1102可以对通道维度的特征级联后的特征进行编码，以得到与输入的特征形状大小相等的权重Ah和Av，进而实现对输入到注意力块502的特征的加权。
注意力块在得到输入特征的水平方向和垂直方向的权重后，可以对得到的权重以及注意力块的输入特征进行逐元素相乘，得到注意力块的输出的注意力结果。
假设注意力块的输出特征Y＝[y1,y2,...,yc]，其大小为C×W×H，输出特征Y可以表示为：
其中，X表示注意力块的输入特征。
可以理解，上述注意力块在各通道采用水平方向和垂直方向的方向方差池化，可以捕获注意力块输入的图像特征的空间位置相关信息以及每个通道维度的高阶统计特征，即注意力模块的方向方差池化可以捕获输入到注意力块的特征的多方向高阶统计特性，进而实现图像特征依赖性和贡献度的自适应学习，提高第一神经网络和第二神经网络的特征判别能力。
图12所示为本申请实施例提供的一种第二神经网络的结构示意图。
图13所示为本申请实施例提供的一种第二神经网络的处理流程示意图。
如图12所示，在一些实施例中，第二神经网络包括第一非下采样卷积层1201、P个双输出残差注意力模块1202、第一特征级联(例如图12中的特征级联1203)、第二特征级联(例如图12中的特征级联1204)、第一卷积层(例如图12中的大小为1×1的卷积层1205)、第二卷积层(例如图12中的大小为1×1的卷积层1206)、第二非下采样卷积层1207、激活层(例如图12中的ReLU 1208)和第三非下采样卷积层1209，P为大于等于2的正整数，其中，第二神经网络中设置双输出残差注意力模块以将注意力结果传送出去，双输出残差注意力模块的参数不共享。
相应的，如图13所示，第二神经网络在采用预设的图像去噪模型的第二神经网络，对所述粗粒度去噪图像进行特征提取和特征筛选，得到图像修复残差图时，包括：
S1301：利用所述第一非下采样卷积层对所述粗粒度去噪图像进行卷积处理，得到第一修复中间特征。
S1302：利用各双输出残差注意力模块对各双输出残差注意力模块的残差路径中堆叠的残差块，对当前残差块接收到的特征进行卷积处理以及特征映射，得到当前残差块的残差中间特征，对残差中间特征和接收到的特征进行残差连接得到残差块特征；利用各双输出残差注意力模块的注意力路径中的多个注意力块，对对应的残差块的残差中间特征中的各特征值分配注意力权重，得到多个注意力中间特征；对多个注意力中间特征进行特征级联和卷积处理，得到第一修复注意力特征；对多个残差块的残差块特征进行特征级联和卷积处理，将特征级联和卷积处理的结果与所述第一修复注意力特征进行融合，得到第二修复中间特征。
其中，所述第二修复中间特征和所述第一修复注意力特征为所述双输出残差注意力模块的输出。
S1303：利用所述第一特征级联将所述P个双输出残差注意力模块输出的P个第一修复注意力特征进行特征级联，并利用所述第一卷积层对特征级联后的特征进行卷积处理，得到所述第二修复注意力特征。
S1304：利用所述第二特征级联将所述P个双输出残差注意力模块输出的P个第二修复中间特征进行特征级联，利用所述第二卷积层对特征级联后的特征进行卷积处理，并将卷积处理结果与所述第二修复注意力特征融合，得到第三修复中间特征。
S1305：利用所述第二非下采样卷积层、所述激活层、所述第三非下采样卷积层依次对所述第三修复中间特征进行处理，得到所述图像修复残差图。
本申请实施例还提供了一种图像去噪装置，可以用于实现上述图像去噪方法。如图14所示，图像去噪装置1400包括：
图像获取单元1401，用于获取噪声图像.
噪声预测单元1402，用于对所述噪声图像进行图像噪声分布预测，得到噪声预测结果.
粗去噪单元1403，用于在所述噪声图像中移除所述噪声预测结果，得到粗粒度去噪图像。
图像修复单元1404，用于在所述粗粒度去噪图像中消除残留的噪声伪影并进行图像细节修复，得到细粒度去噪图像.
目标图像生成单元1405，用于将所述细粒度去噪图像作为目标去噪图像。
上述各单元的描述及功能可以参阅图像去噪方法部分的内容理解，不再赘述。
本发明实施例还提供了一种电子设备，如图15所示，该电子设备可以包括处理器1501和存储器1502，其中处理器1501和存储器1502可以通过总线或者其他方式连接，图15中以通过总线连接为例。
处理器1501可以为中央处理器(Central Processing Unit，CPU)。处理器1501还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器1502作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的图像去噪方法对应的程序指令/模块(例如，图14所示的图像获取单元1401、噪声预测单元1402、粗去噪单元1403、图像修复单元1404、目标图像生成单元1405)。处理器1501通过运行存储在存储器1502中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的图像去噪方法。
存储器1502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器1501所创建的数据等。此外，存储器1502可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器1502可选包括相对于处理器1501远程设置的存储器，这些远程存储器可以通过网络连接至处理器1501。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器1502中，当被所述处理器1501执行时，执行如图2所示实施例中的图像去噪方法。
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
本说明书还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，所述计算机程序指令被执行时实现上述图像去噪方法的步骤。
本说明书还提供一种计算机程序产品，包含有计算机程序，所述计算机程序被处理器执行时实现上述图像去噪方法的步骤。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。
上述实施方式阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施方式的某些部分的方法。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施方式描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (14)

1.一种图像去噪方法，其特征在于，包括：
获取噪声图像；
对所述噪声图像进行图像噪声分布预测，得到噪声预测结果；
在所述噪声图像中移除所述噪声预测结果，得到粗粒度去噪图像；
在所述粗粒度去噪图像中消除残留的噪声伪影并进行图像细节修复，得到细粒度去噪图像；
将所述细粒度去噪图像作为目标去噪图像。
2.根据权利要求1所述的图像去噪方法，其特征在于，对所述噪声图像进行图像噪声分布预测，得到噪声预测结果，包括：
采用预设的图像去噪模型的第一神经网络，对所述噪声图像进行特征提取和特征筛选，得到所述噪声预测结果。
3.根据权利要求2所述的图像去噪方法，其特征在于，所述第一神经网络包括：第一下采样卷积层、N个卷积模块、N个反卷积模块和第一反卷积层，其中，所述卷积模块包括：双输出残差注意力模块和第二下采样卷积层，所述反卷积模块包括：单输出残差注意力模块和第二反卷积层，所述卷积模块和所述反卷积模块一一对应，N为大于等于2的正整数；
其中，所述双输出残差注意力模块比所述单输出残差注意力模块多一路输出，用于输出注意力结果，在所述卷积模块中设置双输出残差注意力模块以将残差块特征和注意力结果传送出去；在所述反卷积模块中设置单输出残差注意力模块以根据获取的特征信息预测图像中的噪声分布。
4.根据权利要求3所述的图像去噪方法，其特征在于，采用预设的图像去噪模型的第一神经网络，对所述噪声图像进行特征提取和特征筛选，得到所述噪声预测结果，包括：
利用所述第一下采样卷积层对所述噪声图像进行下采样卷积处理，得到第一去噪中间特征；
利用各卷积模块的双输出残差注意力模块的残差路径中堆叠的残差块，对当前残差块接收到的特征进行卷积处理以及特征映射，得到当前残差块的残差中间特征，对残差中间特征和接收到的特征进行残差连接得到残差块特征；利用各卷积模块的双输出残差注意力模块的注意力路径中的多个注意力块，对对应的残差块的残差中间特征中的各特征值分配注意力权重，得到多个注意力中间特征；对多个注意力中间特征进行特征级联和卷积处理，得到第一去噪注意力特征；对多个残差块的残差块特征进行特征级联和卷积处理，将特征级联和卷积处理的结果与所述第一去噪注意力特征进行融合，得到第二去噪中间特征；其中，所述第一去噪注意力特征和所述第二去噪中间特征为所述双输出残差注意力模块的输出；
利用各卷积模块的第二下采样卷积层对所述第二去噪中间特征进行下采样卷积处理，得到第三去噪中间特征，其中，所述第一去噪注意力特征和所述第三去噪中间特征为所述卷积模块的输出；
利用各反卷积模块的单输出残差注意力模块的残差路径中堆叠的残差块，对当前残差块接收到的特征进行卷积处理以及特征映射，得到当前残差块的残差中间特征，对残差中间特征和接收到的特征进行残差连接得到残差块特征；利用各反卷积模块的单输出残差注意力模块的注意力路径中的多个注意力块，对对应的残差块的残差中间特征中的各特征值分配注意力权重，得到多个注意力中间特征；对多个注意力中间特征进行特征级联和卷积处理，得到第二去噪注意力特征；对多个残差块的残差块特征进行特征级联和卷积处理，将特征级联和卷积处理的结果与所述第二去噪注意力特征进行融合，得到第四去噪中间特征；其中，所述第四去噪中间特征为所述单输出残差注意力模块的输出；
利用各反卷积模块的所述第二反卷积层对所述第四去噪中间特征进行反卷积处理，并将反卷积处理的结果与各反卷积模块对应的卷积模块输出的第一去噪注意力特征进行融合，得到第五去噪中间特征，其中，所述第五去噪中间特征为所述反卷积模块的输出；
利用所述第一反卷积层对所述N个反卷积模块中最后一个反卷积模块输出的第五去噪中间特征进行反卷积处理，得到所述噪声预测结果。
5.根据权利要求4所述的图像去噪方法，其特征在于，所述双输出残差注意力模块包括：M个残差块、M个注意力块、第一特征级联、第二特征级联、第一卷积层和第二卷积层，所述第一卷积层和所述第二卷积层为卷积核大小为1×1的卷积层，所述M个残差块与所述M个注意力块一一对应，其中，M为大于等于2的正整数；
相应的，利用各卷积模块的双输出残差注意力模块的残差路径中堆叠的残差块，对当前残差块接收到的特征进行卷积处理以及特征映射，得到当前残差块的残差中间特征，对残差中间特征和接收到的特征进行残差连接得到残差块特征；利用各卷积模块的双输出残差注意力模块的注意力路径中的多个注意力块，对对应的残差块的残差中间特征中的各特征值分配注意力权重，得到多个注意力中间特征；对多个注意力中间特征进行特征级联和卷积处理，得到第一去噪注意力特征；对多个残差块的残差块特征进行特征级联和卷积处理，将特征级联和卷积处理的结果与所述第一去噪注意力特征进行融合，得到第二去噪中间特征，包括：
利用各残差块对各残差块的输入特征进行卷积处理以及特征映射，得到残差中间特征，并通过残差连接将所述残差中间特征和各残差块的输入特征进行融合，得到当前残差块输出的残差块特征，其中，所述M个残差块中的第一个残差块的输入特征为前一下采样卷积层输出的特征，所述M个残差块中的第二个残差块至第M个残差块的输入特征为前一残差块输出的特征；
利用各注意力块对对应的残差块的残差中间特征的各通道分别进行水平方向和垂直方向的方差池化，并对各通道的池化结果进行卷积处理以及特征映射，得到各残差中间特征的注意力权重，基于各残差中间特征和各残差中间特征的注意力权重，得到各残差中间特征对应的注意力中间特征；
利用所述第一特征级联将所述M个注意力块输出的注意力中间特征进行特征级联，并利用所述第一卷积层对特征级联后的特征进行卷积处理，得到所述第一去噪注意力特征；
利用所述第二特征级联将所述M个残差块输出的所述残差块特征进行特征级联，利用所述第二卷积层对特征级联后的特征进行卷积处理，并将卷积处理结果和所述第一去噪注意力特征融合，得到所述第二去噪中间特征；
将所述第一去噪注意力特征和所述第二去噪中间特征作为所述双输出残差注意力模块的输出。
6.根据权利要求4所述的图像去噪方法，其特征在于，所述单输出残差注意力模块包括：M个残差块、M个注意力块、第一特征级联、第二特征级联、第一卷积层和第二卷积层，所述第一卷积层和所述第二卷积层为卷积核大小为1×1的卷积层，所述M个残差块与所述M个注意力块一一对应；
相应的，利用各反卷积模块的单输出残差注意力模块的残差路径中堆叠的残差块，对当前残差块接收到的特征进行卷积处理以及特征映射，得到当前残差块的残差中间特征，对残差中间特征和接收到的特征进行残差连接得到残差块特征；利用各反卷积模块的单输出残差注意力模块的注意力路径中的多个注意力块，对对应的残差块的残差中间特征中的各特征值分配注意力权重，得到多个注意力中间特征；对多个注意力中间特征进行特征级联和卷积处理，得到第二去噪注意力特征；对多个残差块的残差块特征进行特征级联和卷积处理，将特征级联和卷积处理的结果与所述第二去噪注意力特征进行融合，得到第四去噪中间特征，包括：
利用各残差块对各残差块的输入特征进行卷积处理以及特征映射，得到残差中间特征，并通过残差连接将所述残差中间特征和各残差块的输入特征进行融合，得到当前残差块输出的残差块特征，其中，所述M个残差块中的第一个残差块的输入特征为前一下采样卷积层输出的特征，所述M个残差块中的第二个残差块至第M个残差块的输入特征为前一残差块输出的特征；
利用各注意力块对对应的残差块的残差中间特征的各通道分别进行水平方向和垂直方向的方差池化，并对各通道的池化结果进行卷积处理以及特征映射，得到各残差中间特征的注意力权重，基于各残差中间特征和各残差中间特征的注意力权重，得到各残差中间特征对应的注意力中间特征；
利用所述第一特征级联将所述M个注意力块输出的注意力中间特征进行特征级联，并利用所述第一卷积层对特征级联后的特征进行卷积处理，得到所述第二去噪注意力特征；
利用所述第二特征级联将所述M个残差块输出的所述残差块特征进行特征级联，利用所述第二卷积层对特征级联后的特征进行卷积处理，并将卷积处理结果和所述第二去噪注意力特征融合，得到所述第四去噪中间特征；
将所述第四去噪中间特征作为所述单输出残差注意力模块的输出。
7.根据权利要求5或6所述的图像去噪方法，其特征在于，残差块与一一对应的注意力块是独立设置的，M个残差块的输出特征在尾部进行通道维度的特征级联，M个注意力块的输出特征在尾部进行通道维度的特征级联，以避免丢失特征细节，挖掘出多层次特征的相关关系以及各特征的贡献度。
8.根据权利要求1所述的图像去噪方法，其特征在于，在所述粗粒度去噪图像中消除残留的噪声伪影并进行图像细节修复，得到细粒度去噪图像，包括：
采用预设的图像去噪模型的第二神经网络，对所述粗粒度去噪图像进行特征提取和特征筛选，得到图像修复残差图；
将所述图像修复残差图和所述粗粒度去噪图像进行融合，得到所述细粒度去噪图像。
9.根据权利要求8所述的图像去噪方法，其特征在于，所述第二神经网络包括：第一非下采样卷积层、P个双输出残差注意力模块、第一特征级联、第二特征级联、第一卷积层、第二卷积层、第二非下采样卷积层、激活层和第三非下采样卷积层，P为大于等于2的正整数，所述第一卷积层和所述第二卷积层为卷积核大小为1×1的卷积层；其中，所述第二神经网络中设置双输出残差注意力模块以将注意力结果传送出去；
相应的，采用预设的图像去噪模型的第二神经网络，对所述粗粒度去噪图像进行特征提取和特征筛选，得到图像修复残差图，包括：
利用所述第一非下采样卷积层对所述粗粒度去噪图像进行卷积处理，得到第一修复中间特征；
利用各双输出残差注意力模块对各双输出残差注意力模块的残差路径中堆叠的残差块，对当前残差块接收到的特征进行卷积处理以及特征映射，得到当前残差块的残差中间特征，对残差中间特征和接收到的特征进行残差连接得到残差块特征；利用各双输出残差注意力模块的注意力路径中的多个注意力块，对对应的残差块的残差中间特征中的各特征值分配注意力权重，得到多个注意力中间特征；对多个注意力中间特征进行特征级联和卷积处理，得到第一修复注意力特征；对多个残差块的残差块特征进行特征级联和卷积处理，将特征级联和卷积处理的结果与所述第一修复注意力特征进行融合，得到第二修复中间特征；其中，所述第二修复中间特征和所述第一修复注意力特征为所述双输出残差注意力模块的输出；
利用所述第一特征级联将所述P个双输出残差注意力模块输出的P个第一修复注意力特征进行特征级联，并利用所述第一卷积层对特征级联后的特征进行卷积处理，得到所述第二修复注意力特征；
利用所述第二特征级联将所述P个双输出残差注意力模块输出的P个第二修复中间特征进行特征级联，利用所述第二卷积层对特征级联后的特征进行卷积处理，并将卷积处理结果与所述第二修复注意力特征融合，得到第三修复中间特征；
利用所述第二非下采样卷积层、所述激活层、所述第三非下采样卷积层依次对所述第三修复中间特征进行处理，得到所述图像修复残差图。
10.根据权利要求4所述的图像去噪方法，其特征在于，所述双输出残差注意力模块和所述单输出残差注意力模块中的任意之一的残差注意力模块进行卷积处理以及特征映射后的各特征值分配的注意力权重是通过以下方式确定的：
分别在水平方向和垂直方向对每个通道的特征值进行方差池化，得到第一特征和第二特征；
对所述第一特征和所述第二特征进行卷积处理和特征映射，得到对所述各特征值分配的注意力权重；
其中，所述第一特征和所述第二特征通过以下公式确定：
其中，表示高度为H宽度为1的第c个通道输出的第一特征，/>表示宽度为W高度为1的第c个通道输出的第二特征，xc(i,j)表示在第c个通道上特征位置为(i，j)对应的特征值。
11.一种图像去噪装置，其特征在于，包括：
图像获取单元，用于获取噪声图像；
噪声预测单元，用于对所述噪声图像进行图像噪声分布预测，得到噪声预测结果；
粗去噪单元，用于在所述噪声图像中移除所述噪声预测结果，得到粗粒度去噪图像；
图像修复单元，用于在所述粗粒度去噪图像中消除残留的噪声伪影并进行图像细节修复，得到细粒度去噪图像；
目标图像生成单元，用于将所述细粒度去噪图像作为目标去噪图像。
12.一种电子设备，其特征在于，包括：
存储器和处理器，所述处理器和所述存储器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而实现权利要求1至10任一项所述方法的步骤。
13.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序指令，所述计算机程序指令被执行时实现权利要求1至10任一项所述方法的步骤。
14.一种计算机程序产品，其特征在于，包含有计算机程序，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述方法的步骤。
CN202310805239.5A 2023-06-30 2023-06-30 一种图像去噪方法、装置 Pending CN116757962A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310805239.5A CN116757962A (zh) 2023-06-30 2023-06-30 一种图像去噪方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310805239.5A CN116757962A (zh) 2023-06-30 2023-06-30 一种图像去噪方法、装置

Publications (1)

Publication Number Publication Date
CN116757962A true CN116757962A (zh) 2023-09-15

Family

ID=87956897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310805239.5A Pending CN116757962A (zh) 2023-06-30 2023-06-30 一种图像去噪方法、装置

Country Status (1)

Country Link
CN (1) CN116757962A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495711A (zh) * 2023-12-29 2024-02-02 深圳智能思创科技有限公司 图像标记去除方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495711A (zh) * 2023-12-29 2024-02-02 深圳智能思创科技有限公司 图像标记去除方法、装置、设备及存储介质
CN117495711B (zh) * 2023-12-29 2024-03-29 深圳智能思创科技有限公司 图像标记去除方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
WO2020087607A1 (zh) 一种基于Bi-Skip-Net的图像去模糊方法
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
CN111028177A (zh) 一种基于边缘的深度学习图像去运动模糊方法
US11062210B2 (en) Method and apparatus for training a neural network used for denoising
CN110782397B (zh) 一种图像处理方法、生成式对抗网络、电子设备及存储介质
WO2023082453A1 (zh) 一种图像处理方法及装置
CN113222855B (zh) 一种图像恢复方法、装置和设备
CN111932480A (zh) 去模糊视频恢复方法、装置、终端设备以及存储介质
CN116757962A (zh) 一种图像去噪方法、装置
WO2020043296A1 (en) Device and method for separating a picture into foreground and background using deep learning
Hsyu et al. Csanet: High speed channel spatial attention network for mobile isp
CN110782398B (zh) 图像处理方法、生成式对抗网络系统和电子设备
CN115082306A (zh) 一种基于蓝图可分离残差网络的图像超分辨率方法
Xiao et al. A dive into sam prior in image restoration
CN112837240B (zh) 模型训练方法、分数提升方法、装置、设备、介质和产品
CN112714263B (zh) 视频生成方法、装置、设备及存储介质
CN114399814A (zh) 一种基于深度学习的遮挡物移除和三维重建方法
CN108898557B (zh) 图像恢复方法及装置、电子设备、计算机程序及存储介质
CN116486009A (zh) 单目三维人体重建方法、装置以及电子设备
CN113205464B (zh) 图像去模糊模型的生成方法、图像去模糊方法和电子设备
CN115375909A (zh) 一种图像处理方法及装置
Jayaraman et al. Performance analysis of a dual stage deep rain streak removal convolution neural network module with a modified deep residual dense network
CN113902639A (zh) 图像处理方法、装置、电子设备及存储介质
CN112084371A (zh) 一种电影多标签分类方法、装置、电子设备以及存储介质
David et al. Foreground/background segmentation with learned dictionary

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination