CN112419184B - 一种综合局部信息和全局信息的空间注意力图像去噪方法 - Google Patents

一种综合局部信息和全局信息的空间注意力图像去噪方法 Download PDF

Info

Publication number
CN112419184B
CN112419184B CN202011305283.2A CN202011305283A CN112419184B CN 112419184 B CN112419184 B CN 112419184B CN 202011305283 A CN202011305283 A CN 202011305283A CN 112419184 B CN112419184 B CN 112419184B
Authority
CN
China
Prior art keywords
image
module
matrix
attention
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011305283.2A
Other languages
English (en)
Other versions
CN112419184A (zh
Inventor
唐述
黄容
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Qiciwei Innovation Technology Co.,Ltd.
Chongqing Santi Deep Mold Technology Co.,Ltd.
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202011305283.2A priority Critical patent/CN112419184B/zh
Publication of CN112419184A publication Critical patent/CN112419184A/zh
Application granted granted Critical
Publication of CN112419184B publication Critical patent/CN112419184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理领域，具体涉及一种综合局部信息和全局信息的空间注意力图像去噪方法，该方法包括：实时获取图像，将获取的图像输入到训练好的图像去噪模型中，得到去噪后的图像；所述图像去噪模型包括图像浅层特征提取模块、图像特征增强组以及图像重建模块；本发明设计的图像去噪模型通过同时采用串联和并联方式将非局部模块、空间注意力残差块和扩张卷积相结合来实现同时捕获图像的局部特征和全局特征，因此极大地增强了网络的表示能力，能够很好的同时兼顾噪声的去除和图像结构的保护。

Description

一种综合局部信息和全局信息的空间注意力图像去噪方法
技术领域
本发明属于图像处理领域，具体涉及一种综合局部信息和全局信息的空间注意力图像去噪方法。
背景技术
图像去噪是长期的存在的病态逆问题，目的是去除图像中的噪声，复原出潜在的清晰图像。基于深度学习的图像去噪方法是利用神经网络来学习噪声图像与清晰图像之间的映射关系，从而达到有效去除噪声的目的。
当前的图像去噪算法主要分为基于最优化的方法和基于学习的方法两大类。对于基于最优化的方法而言，该类方法是基于图像的统计特征来对图像的去噪进行建模和迭代的最优化求解，因此，不可避免的会引入启发式的参数调整和十分耗时的复原过程；对于基于学习的方法而言，现有的方法要么只考虑了图像的全局特征，要么只考虑了图像的局部特征，因此不能有效兼顾噪声的去除和图像局部结构的保护。
发明内容
为解决以上现有技术存在的问题，本发明提出了一种综合局部信息和全局信息的空间注意力图像去噪方法，该方法包括：实时获取图像，将获取的图像输入到训练好的图像去噪模型中，得到去噪后的图像；所述图像去噪模型包括图像浅层特征提取模块、图像特征增强组以及图像重建模块；
对图像去噪模型进行训练的过程包括：
S1：获取原始图像数据集，并对数据集中的图像进行随机裁剪处理，得到训练样本集；
S2：将训练样本集中的图像输入到图像浅层特征提取模块中，进行浅层特征提取，得到浅层特征图；
S3：将浅层特征图输入到图像特征增强组中，得到深层次特征图；
S4：采用图像重建模块对深层特征图进行重建，得到去噪后的重建图像；
S5：根据重建图和原始输入图计算图像去噪模型的MSE损失函数；
S6：设置初始学习率，使用多步调整学习率下降函数MultiStepLR调整学习率的大小；
S7：采用Adam算法对模型进行优化，根据学习率不断调整模型的参数，当损失函数最小时，完成模型的训练。
优选的，图像浅层特征提取模块为一个卷积网络，用于提取图像的浅层特征；采用图像浅层特征提取模块提取浅层特征的计算公式为：
Fl＝Hsf(Inoi)
优选的，图像特征增强组至少包含1个残差注意力小组RAG模块；残差注意力小组RAG模块的结构包括：非局部模块、两个行-列空间注意力残差块RCSA、3个扩张率分别为3、5、7的扩张卷积以及信息融合模块；两个行-列空间注意力残差块RCSA串联；将串联后的行-列空间注意力残差块RCSA分别与扩张率为3、5、7的扩张卷积并联；采用串联的方式将非局部模块、RCSA与扩张卷积并联模块、信息融合模块连接。
进一步的，图像特征增强组由4个RAG模块组成；将4个RAG模块依次连接，其中在第一RAG模块与第二RAG模块之间连接一个卷积下采样层，第三RAG模块与第四RAG模块之间连接一个逆卷积上采样层；每个RAG模块对浅层特征进行增强处理，得到深层次特征图。
进一步的，行-列空间注意力残差块包括两个串联的卷积模块、一个执行通道注意力机制的行维度压缩模块、一个执行通道注意力机制的列维度的压缩模块以及拼接融合模块；将行维度压缩模块与列维度的压缩模块并联，形成行列并联模块；所述行列并联模块串联于卷积模块之后；拼接融合模块串联于行列并联模块之后；在从第一个卷积模块之前和拼接融合模块之后采用跳跃连接，形成行-列空间注意力残差块。
优选的，得到深层次特征图的过程包括：
S31：采用非局部模块对输入的特征图进行处理，得到非局部特征图；
S32：采用两个行-列空间注意力残差块RCSA对非局部模块处理后的图像进行残差处理，得到残差注意力特征图；
S33：将非局部神经网络处理后的图像进行三次扩张卷积处理；
S34：将扩张卷积处理后的图像与残差注意力特征图进行并联计算，将并联计算结果进行通道维度拼接操作，得到深层次特征图。
进一步的，得到残差注意力特征图的过程包括：
S321：对非局部特征图进行两次卷积堆叠处理，提取非局部特征图的空间特征和通道特征，将空间特征和通道特征作为输入注意力矩阵；
S322：将注意力矩阵的每一列像素值进行平均处理，将平均处理后的行矩阵复制为注意力矩阵大小，得到新的行矩阵；
S323：将新的行矩阵与注意力矩阵中的逐项像素点进行相乘处理，并对相乘处理后的矩阵执行通道注意力机制，得到行注意力机制矩阵；
S324：将注意力矩阵的每一行像素值进行平均处理，将平均处理后的像素值作为新矩阵的列，得到列矩阵，并将列矩阵复制为注意力矩阵大小，得到新的列矩阵；
S325：将新的列矩阵与注意力矩阵中的逐项像素点进行相乘处理，并对点乘处理后的矩阵执行通道注意力机制，得到列注意力机制矩阵；
S326：将行注意力机制矩阵和列注意力机制矩阵进行通道维度拼接，并进行卷积处理，得到注意力机制矩阵；
S327：将输出的注意力机制矩阵与输入的非局部特征图中对应的像素点相加；
S328：重复S321-S327，得到残差注意力特征图。
进一步的，得到注意力机制矩阵的公式为：
Hrcsa＝Hconv(cat(Res_col,Res_row))
优选的，得到深层次特征图的公式为：
HRAG,i＝Hconv(Gres(Hnlm(Fdfi-1)))
优选的，图像去噪模型的损失函数为：
Figure BDA0002788143020000041
本发明的优点：
1)本发明设计的图像去噪模型通过同时采用串联和并联方式将非局部模块、空间注意力残差块和扩张卷积相结合来实现同时捕获图像的局部特征和全局特征，因此极大地增强了网络的表示能力，能够很好的同时兼顾噪声的去除和图像结构的保护；
2)本发明提出了一种新的行-列空间注意力(RCSA)策略，该策略将不同行和不同列的特征同时合并到残差块中，通过综合考虑图像的全局和局部特征统计，提高了像素级空间特征的相互依赖性，实现了每个像素特征的自适应调节，极大地提升了网络区别学习的能力，实现了更高质量的图像去噪处理；
3)本发明提出的网络将非局部模块的输出并行输入RCSA残差块和多个不同扩张率的扩张卷积中，然后，再将RCSA残差块的输出和每个扩张卷积的输出融合到一起，以自适应地筛选出更加有效的信息。
附图说明
图1为本发明的一种优选实施例的图像去噪模型的结构图；
图2为本发明的一种RAG模块结构图；
图3为本发明的一种行-列空间注意力(RCSA)残差模块结构图；
图4为本发明的去噪结果与DnCNN、SGN的对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种综合局部信息和全局信息的空间注意力图像去噪方法，如图1所示，该方法包括：实时获取图像，将获取的图像输入到训练好的图像去噪模型中，得到去噪后的图像；所述图像去噪模型包括图像浅层特征提取模块、图像特征增强组以及图像重建模块。
对图像去噪模型进行训练的过程包括：
S1：获取获取原始图像数据集，并对数据集中的图像进行随机裁剪处理，得到训练样本集。所述原始图像数据集为BSD300，其中包括300张典型的图像。所述随机裁剪处理是将原始图像数据集中的图像剪成48×48大小的图像块。
S2：将训练样本集中的图像输入到图像浅层特征提取模块中，进行浅层特征提取，得到浅层特征图。每次输入到图像浅层特征提取模块中的图像为16张。
S3：将浅层特征图输入到图像特征增强组中，得到深层次特征图；
S4：采用图像重建模块对深层特征图进行重建，得到去噪后的重建图；
S5：采用图像重建模块对深层特征图进行重建，得到去噪后的重建图像。
S6：设置初始学习率，使用多步调整学习率下降函数MultiStepLR调整学习率的大小。
S7：采用Adam算法对模型进行优化，根据学习率不断调整模型的参数，当损失函数最小时，完成模型的训练。
对数据集中的图像进行裁剪处理的过程中还包括对数据集中的图像进行去重处理，即删除数据集中重复的图像和不完整的图像；将数据集进行分割，按照2:1划分为训练集和测试集，训练集用于模型的训练，测试集用于计算模型的最优参数。
图像浅层特征提取模块为一个卷积网络，用于提取图像的浅层特征；采用图像浅层特征提取模块提取浅层特征的计算公式为：
Fl＝Hsf(Inoi)
其中，Fl表示提取的浅层特征，Hsf(.)表示对输入的图像进行3×3卷积操作，将输入的图像的通道数转化为128通道；Inoi表示输入的噪声图像。
如图2所示，图像特征增强组至少包含1个残差注意力小组RAG模块；残差注意力小组RAG模块的结构包括：非局部模块、两个行-列空间注意力残差块RCSA、3个扩张率分别为3、5、7的扩张卷积以及信息融合模块；两个行-列空间注意力残差块RCSA串联；将串联后的行-列空间注意力残差块RCSA分别与扩张率为3、5、7的扩张卷积并联；采用串联的方式将非局部模块、RCSA与扩张卷积并联模块、信息融合模块连接。图2中，NLM为非局部模块，dil-conv3为扩张率为3的扩展卷积，dil-conv5为扩张率为5的扩展卷积，dil-conv7为扩张率为7的扩展卷积，CONV为普通卷积，concat为通道维度拼接，ReLU为激活函数。
优选的，图像特征增强组由4个RAG模块组成；采用四个RAG模块的网络在能够获得较好的去噪图像，在取得较为理想的峰值信噪比的同时，也能节省GPU计算资源。
优选的，如图1所示，将4个RAG模块依次连接，其中在第一RAG模块与第二RAG模块之间连接一个卷积下采样层，第三RAG模块与第四RAG模块之间连接一个逆卷积上采样层；每个RAG模块对浅层特征进行增强处理，得到深层次特征图。
图像特征增强组中的RAG模块中包含利用串联的方式实现神经网络层面的非局部思想，使用卷积-非局部-反卷积这一结构，在保证像素值不损失的情况下，能够保证非局部信息获取的范围变为原来的两倍，同时在一定程度上节省GPU计算资源。RAG模块中包含利用并联的方式实现扩张卷积的操作，通过扩张卷积的的3、5、7的扩张率，最终RAG模块组输出的三类扩张卷积的图片依次是5×5、7×7和9×9。最终，以串联的方式将非局部模块和扩张卷积操作组结合起来。
采用串并联模块的结合的方式对图像进行处理具有以下优点：(1)将非局部模块获取所得的非局部信息与扩张卷积获取所得的局部信息进行融合，结合二者的优点，获取更丰富的图像去噪有利信息；(2)串联的方式保证非局部相似信息流入下一级扩张卷积模块组，经过并联的方式进行信息特征的进一步提取，并将这些特征进行拼接融合，从而获得较为理想的去噪效果。
如图3所示，传统注意力机制大多以通道注意力机制为主，但是该注意力仅仅将单一通道进行信息融合，本注意力模块则关注更加精细化的空间注意力。图3中，CONV为普通卷积、ReLU为激活函数、CA为通道注意力模块。
得到深层次特征图的过程包括：
S31：采用非局部模块对输入的特征图进行处理，得到非局部特征图；
S32：采用两个行-列空间注意力残差块RCSA对非局部模块处理后的图像进行残差处理，得到残差注意力特征图；
S33：将非局部模块处理后的图像进行三次扩张卷积处理；
S34：将扩张卷积处理后的图像与残差注意力特征图进行并联计算，将并联计算结果进行通道维度拼接操作，得到深层次特征图。深层次特征图的计算公式为：
HRAG,i＝Hconv(Gres(Hnlm(Fdfi-1)))
其中，Fdfi-1表示第i个RAG模块的输入，Hnlm(.)表示非局部模块操作，Gres(.)表示并联残差扩张卷积组操作，Hconv(.)表示对拼接后的矩阵进行卷积信息融合。
所示获取Gres(.)的公式为：
Gres＝Hcat(Ops(Hrcsa×2,Hdc3,Hdc5,Hdc7))
其中，Ops代表并联计算形式，Hrcsa×2代表并列的两个RCSA模块、Hdc3、Hdc5、Hdc7分别代表扩张率为3、5、7的扩张卷积，最终将四路并联操作拼接，Hcat代表通道维度的拼接操作，拼接完成后需要使用卷及操作将通道降为128通道。
得到残差注意力特征图的过程包括：
S321：对非局部特征图进行两次卷积堆叠处理，提取非局部特征图的空间特征和通道特征，将空间特征和通道特征作为输入注意力矩阵；其公式为：
Res＝CONV2(CONV1(Input))
其中，Res代表一个普通残差块的运算结果，Input代表输入的特征图，CONV1和CONV2分别代表两个卷积。
S322：将注意力矩阵的每一列像素值进行平均处理，将平均处理后的行矩阵复制为注意力矩阵大小，得到新的行矩阵；其中空间特征图的大小为R×C，其中R为行像素值个数的的度量，C为列像素值个数的的度量；得到行矩阵的公式为：
Figure BDA0002788143020000081
Figure BDA0002788143020000082
其中，xi,j代表Res内的任一像素值。
S323：将新的行矩阵与注意力矩阵中的逐项像素点进行相乘处理，并对相乘处理后的矩阵执行通道注意力机制，得到行注意力机制矩阵；其计算公式为：
Figure BDA0002788143020000083
其中，CA代表通道注意力机制的运算。
S324：将注意力矩阵的每一行像素值进行平均处理，将平均处理后的像素值作为新矩阵的列，得到列矩阵，并将列矩阵复制为注意力矩阵大小，得到新的列矩阵；得到新的行矩阵的公式为：
Figure BDA0002788143020000084
Figure BDA0002788143020000091
S325：将将新的列矩阵与注意力矩阵中的逐项像素点进行相乘处理，并对点乘处理后的矩阵执行通道注意力机制，得到列注意力机制矩阵；其公式为：
Figure BDA0002788143020000092
S326：将行注意力机制矩阵和列注意力机制矩阵进行通道维度拼接，并进行卷积处理，并进行1×1卷积，得到注意力机制矩阵；其计算的公式为：
Hrcsa＝Hconv(cat(Res_col,Res_row))
其中，Hrcsa表示注意力机制矩阵，Hconv(.)表示对注意力机制矩阵进行跳跃处理，cat(.)表示对行注意力机制矩阵和列注意力机制矩阵进行维度拼接处理，Res_col表示列注意力机制矩阵，Res_row表示行注意力机制矩阵。
S327：将输出的注意力机制矩阵与输入的非局部特征图中对应的像素点相加；
S328：重复S321-S327，得到残差注意力特征图。
从上述的计算过程以及图3可以看出，经过行和列的空间注意力操作，获得了区分的特征图。残差块位于图2中的并联分支顶端，依次并联为扩张卷积3、5、7，可以获得由精到粗的图像特征信息。所以，整个RAG模块首先通过非局部模块获得了相似的非局部信息，再将这些有效信息送入下一个并联模块进行分级提取与再加工，最终将筛选出的表征信息进行融合，得到有利于去噪的信息。
根据得到复原图像和真值图像计算图像去噪模型的MSE损失函数；其表达式为：
Figure BDA0002788143020000101
其中，M表明一次循环的累计损失值的个数，Irec,i代表第i个复原图像，Igt,i代表相应的第i个真值图像。
在对模型进行训练的过程中，将训练的学习率初始值设置为10^-4，采用Pytorch语言中的多步调整学习率下降函数MultiStepLR控制学习率的下降，其中伽玛函数gamma的值设为0.1。
采用Adam算法对提出的网络进行最优化，分别在三种标准差噪声水平：30、50、70进行了测试。网络中间层特征图数量设为128，跑300个epoch；每个批次训练16张48×48大小的图像。将本发明提出的方法与DnCNN与SGN算法在CBSD68数据集和三种噪声水平上进行了去噪性能的对比，最终图像去噪的结果如表1所示：
表1
Figure BDA0002788143020000102
从表1和图4的结果可知，本发明设计的图像去噪模型通过同时采用串联和并联方式将非局部模块、空间注意力残差块和扩张卷积相结合来实现同时捕获图像的局部特征和全局特征，因此极大地增强了网络的表示能力，能够很好的同时兼顾噪声的去除和图像结构的保护，得到更高质量的去噪图像。
具体地说，再采用Adam算法对模型进行优化时，该算法计算了去噪图像的梯度和平方梯度的指数移动平均值，并且采用一阶矩估计的指数衰减率β1、二阶矩估计的指数衰减率β2控制了指数移动平均的衰减率。由于移动平均值、β1和β2的初始值接近1.0(推荐值)，这导致了估计时间的偏差为0。这种偏差是通过第一次计算偏差估计然后再计算比可用偏差校正估计来克服的。
一种采用Adam算法进行梯度下降的具体实施例，其过程包括：
(1)确定超参数α(步长因子)、β1(一阶矩估计的指数衰减率)、β2(二阶矩估计的指数衰减率)、ε(用于数值稳定的常数)，设置超参数的初始值为：α＝0.0001、β1＝0.9、β2＝0.999、ε＝10-8；
(2)对参数向量一阶矩向量m0、二阶矩向量v0和时间步t进行初始化，即m0＝0，v0＝0，t＝0；
(3)当参数θ未达到收敛公式：θ+Δθ→θ时，循环迭代地更新各个部分。即：
a.时间步更新：t＝t+1；
b.从训练集取包含n个样本：{x(1),…,x(n)}为一个批量，目标函数yi，更新目标函数在该时间步上对参数θ所求的梯度gt：
Figure BDA0002788143020000111
其中，x(i)表示本批量的第i个样本值，
Figure BDA0002788143020000112
表示对参数θ求偏导函数，L(.)表示两个变量因子作差值运算，y(i)表示目标函数，f(x(i)；θ)表示在第i个样本关于参数θ的随机梯度下降函数，n表示样本个数。
c.更新一阶矩估计mt：β1mt+(1-β1)gt→mt，更新二阶原始矩估计vt：β2vt+(1-β2)gt⊙gt→vt；
其中，⊙表示点乘运算。
d.计算偏差修正的一阶矩估计：
Figure BDA0002788143020000113
计算偏差修正的二阶矩估计：
Figure BDA0002788143020000114
其中，
Figure BDA0002788143020000115
表示偏差修正的一阶矩估计，
Figure BDA0002788143020000116
表示偏差修正的二阶矩估计。
e.计算更新模型的参数
Figure BDA0002788143020000117
其中，Δθ表示参数θ的微调更新值。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种综合局部信息和全局信息的空间注意力图像去噪方法，其特征在于，包括：实时获取图像，将获取的图像输入到训练好的图像去噪模型中，得到去噪后的图像；所述图像去噪模型包括图像浅层特征提取模块、图像特征增强组以及图像重建模块；
对图像去噪模型进行训练的过程包括：
S1：获取原始图像数据集，并对数据集中的图像进行随机裁剪处理，得到训练样本集；
S2：将训练样本集中的图像输入到图像浅层特征提取模块中，进行浅层特征提取，得到浅层特征图；
S3：将浅层特征图输入到图像特征增强组中，得到深层次特征图；其中，图像特征增强组至少包含1个残差注意力小组RAG模块；残差注意力小组RAG模块的结构包括：非局部模块、两个行-列空间注意力残差块RCSA、3个扩张率分别为3、5、7的扩张卷积以及信息融合模块；两个行-列空间注意力残差块RCSA串联；将串联后的行-列空间注意力残差块RCSA分别与扩张率为3、5、7的扩张卷积并联；采用串联的方式将非局部模块、RCSA与扩张卷积并联模块、信息融合模块连接；
S4：采用图像重建模块对深层特征图进行重建，得到去噪后的重建图像；
S5：根据重建图和原始输入图计算图像去噪模型的MSE损失函数；
S6：设置初始学习率，使用多步调整学习率下降函数MultiStepLR调整学习率的大小；
S7：采用Adam算法对模型进行优化，根据学习率不断调整模型的参数，当损失函数最小时，完成模型的训练。
2.根据权利要求1所述的一种综合局部信息和全局信息的空间注意力图像去噪方法，其特征在于，所述图像浅层特征提取模块为一个卷积网络，用于提取图像的浅层特征；采用图像浅层特征提取模块提取浅层特征的计算公式为：
Fl＝Hsf(Inoi)
其中，Fl表示提取的浅层特征，Hsf(.)表示对输入的图像进行3×3卷积操作，Inoi表示输入的噪声图像。
3.根据权利要求1所述的一种综合局部信息和全局信息的空间注意力图像去噪方法，其特征在于，所述图像特征增强组由4个RAG模块组成；将4个RAG模块依次连接，其中在第一RAG模块与第二RAG模块之间连接一个卷积下采样层，第三RAG模块与第四RAG模块之间连接一个逆卷积上采样层；每个RAG模块对输入的特征进行增强处理，得到更深层次的特征图。
4.根据权利要求1所述的一种综合局部信息和全局信息的空间注意力图像去噪方法，其特征在于，行-列空间注意力残差块包括两个串联的卷积模块、一个执行通道注意力机制的行维度压缩模块、一个执行通道注意力机制的列维度的压缩模块以及拼接融合模块；将行维度压缩模块与列维度的压缩模块并联，形成行列并联模块；所述行列并联模块串联于卷积模块之后；拼接融合模块串联于行列并联模块之后；在从第一个卷积模块之前和拼接融合模块之后采用跳跃连接，形成行-列空间注意力残差块。
5.根据权利要求1所述的种综合局部信息和全局信息的空间注意力图像去噪方法，其特征在于，所述得到深层次特征图的过程包括：
S31：采用非局部模块对输入的特征图进行处理，得到非局部特征图；
S32：采用两个行-列空间注意力残差块RCSA对非局部模块处理后的图像进行残差处理，得到残差注意力特征图；
S33：将非局部模块处理后的图像进行三次扩张卷积处理；
S34：将扩张卷积处理后的图像与残差注意力特征图进行并联计算，将并联计算结果进行通道维度拼接操作，得到深层次特征图。
6.根据权利要求5所述的一种综合局部信息和全局信息的空间注意力图像去噪方法，其特征在于，所述得到残差注意力特征图的过程包括：
S321：对非局部特征图进行两次卷积堆叠处理，提取非局部特征图的空间特征和通道特征，将空间特征和通道特征作为输入注意力矩阵；
S322：将注意力矩阵的每一列像素值进行平均处理，将平均处理后的行矩阵复制为注意力矩阵大小，得到新的行矩阵；
S323：将新的行矩阵与注意力矩阵中的逐项像素点进行相乘处理，并对相乘处理后的矩阵执行通道注意力机制，得到行注意力机制矩阵；
S324：将注意力矩阵的每一行像素值进行平均处理，将平均处理后的像素值作为新矩阵的列，得到列矩阵，并将列矩阵复制为注意力矩阵大小，得到新的列矩阵；
S325：将新的列矩阵与注意力矩阵中的逐项像素点进行相乘处理，并对点乘处理后的矩阵执行通道注意力机制，得到列注意力机制矩阵；
S326：将行注意力机制矩阵和列注意力机制矩阵进行通道维度拼接，并进行卷积处理，得到注意力机制矩阵；
S327：将输出的注意力机制矩阵与输入的非局部特征图中对应的像素点相加；
S328：重复S321-S327，得到残差注意力特征图。
7.根据权利要求6所述的一种综合局部信息和全局信息的空间注意力图像去噪方法，其特征在于，得到注意力机制矩阵的公式为：
Hrcsa＝Hconv(cat(Res_col,Res_row))
其中，Res_row表示行注意力机制矩阵，Res_col表示列注意力机制矩阵，cat(.)表示对行注意力机制矩阵和列注意力机制矩阵进行通道维度拼接处理，Hconv(.)表示对拼接后的矩阵进行卷积信息融合，Hrcsa表示得到的注意力机制矩阵。
8.根据权利要求5所述的一种综合局部信息和全局信息的空间注意力图像去噪方法，其特征在于，得到深层次特征图的公式为：
HRAG,i＝Hconv(Gres(Hnlm(Fdfi-1)))
其中，Fdfi-1表示第i个RAG模块的输入，Hnlm(.)表示非局部模块操作，Gres(.)表示并联残差扩张卷积组操作，Hconv(.)表示对拼接后的矩阵进行卷积信息融合。
9.根据权利要求1所述的一种综合局部信息和全局信息的空间注意力图像去噪方法，其特征在于，图像去噪模型的MSE损失函数为：
Figure FDA0003837614820000041
其中，M表明一次循环的累计损失值的个数，Irec,i代表第i个复原图像，Igt,i代表相应的第i个真值图像。
CN202011305283.2A 2020-11-19 2020-11-19 一种综合局部信息和全局信息的空间注意力图像去噪方法 Active CN112419184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011305283.2A CN112419184B (zh) 2020-11-19 2020-11-19 一种综合局部信息和全局信息的空间注意力图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011305283.2A CN112419184B (zh) 2020-11-19 2020-11-19 一种综合局部信息和全局信息的空间注意力图像去噪方法

Publications (2)

Publication Number Publication Date
CN112419184A CN112419184A (zh) 2021-02-26
CN112419184B true CN112419184B (zh) 2022-11-04

Family

ID=74774215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011305283.2A Active CN112419184B (zh) 2020-11-19 2020-11-19 一种综合局部信息和全局信息的空间注意力图像去噪方法

Country Status (1)

Country Link
CN (1) CN112419184B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052771B (zh) * 2021-03-19 2023-09-05 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN113065586B (zh) * 2021-03-23 2022-10-18 四川翼飞视科技有限公司 一种非局域的图像分类装置、方法和存储介质
CN113111891B (zh) * 2021-04-19 2022-05-27 中国科学院深圳先进技术研究院 一种图像重建方法、装置、终端设备和存储介质
CN113205131A (zh) * 2021-04-28 2021-08-03 阿波罗智联(北京)科技有限公司 图像数据的处理方法、装置、路侧设备和云控平台
CN113298091A (zh) * 2021-05-25 2021-08-24 商汤集团有限公司 图像处理方法及装置、电子设备和存储介质
CN113288425A (zh) * 2021-05-27 2021-08-24 徐州医科大学附属医院 一种四肢骨折固定中导针用可视化导航系统
CN113344827B (zh) * 2021-08-05 2021-11-23 浙江华睿科技股份有限公司 一种图像去噪方法、图像去噪网络运算单元及设备
CN118435229A (zh) * 2021-12-29 2024-08-02 Oppo广东移动通信有限公司 用于增强图像质量的方法和系统
CN114897725A (zh) * 2022-05-09 2022-08-12 马上消费金融股份有限公司 图像降噪方法、装置、设备及存储介质
CN115818166B (zh) * 2022-11-15 2023-09-26 华能伊敏煤电有限责任公司 轮斗连续系统无人值守自动控制方法及其系统
WO2024145988A1 (en) * 2023-01-03 2024-07-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Neural network-based in-loop filter
CN116563302B (zh) * 2023-05-30 2023-12-12 上海万序健康科技有限公司 智慧医疗信息管理系统及其方法
CN118013204B (zh) * 2024-04-08 2024-06-11 烟台大学 雷达调制信号时频图像去噪的方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147915A (zh) * 2011-05-06 2011-08-10 重庆大学 一种权重的稀疏边缘正则化图像复原方法
CN110689482A (zh) * 2019-09-18 2020-01-14 中国科学技术大学 一种基于有监督逐像素生成对抗网络的人脸超分辨率方法
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN110852948A (zh) * 2019-11-01 2020-02-28 鹏城实验室 基于特征相关性的图像超分辨方法、存储介质及终端设备
CN110969577A (zh) * 2019-11-29 2020-04-07 北京交通大学 一种基于深度双重注意力网络的视频超分辨率重建方法
CN111401207A (zh) * 2020-03-11 2020-07-10 福州大学 基于mars深度特征提取与增强的人体动作识别方法
CN111754438A (zh) * 2020-06-24 2020-10-09 安徽理工大学 基于多分支门控融合的水下图像复原模型及其复原方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003023341A2 (en) * 2001-09-08 2003-03-20 Avecia Limited Thermographic metthod
US20090085918A1 (en) * 2007-10-02 2009-04-02 Crawford Adam Hollingworth Method and device for creating movies from still image data
US9291711B2 (en) * 2010-02-25 2016-03-22 University Of Maryland, College Park Compressive radar imaging technology
CN103413314A (zh) * 2013-08-19 2013-11-27 合肥师范学院 基于纹理梯度的纺织品缺陷检测算法
CN105608691B (zh) * 2015-12-17 2018-01-12 武汉大学 一种高分辨率sar影像单体建筑提取方法
US9665799B1 (en) * 2016-01-29 2017-05-30 Fotonation Limited Convolutional neural network
CN107292317B (zh) * 2017-06-26 2020-07-28 西安电子科技大学 基于浅层特征与t矩阵深度学习的极化sar分类方法
CN111292259A (zh) * 2020-01-14 2020-06-16 西安交通大学 一种综合多尺度与注意力机制的深度学习图像去噪方法
CN111311518B (zh) * 2020-03-04 2023-05-26 清华大学深圳国际研究生院 基于多尺度混合注意力残差网络的图像去噪方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147915A (zh) * 2011-05-06 2011-08-10 重庆大学 一种权重的稀疏边缘正则化图像复原方法
CN110689482A (zh) * 2019-09-18 2020-01-14 中国科学技术大学 一种基于有监督逐像素生成对抗网络的人脸超分辨率方法
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN110852948A (zh) * 2019-11-01 2020-02-28 鹏城实验室 基于特征相关性的图像超分辨方法、存储介质及终端设备
CN110969577A (zh) * 2019-11-29 2020-04-07 北京交通大学 一种基于深度双重注意力网络的视频超分辨率重建方法
CN111401207A (zh) * 2020-03-11 2020-07-10 福州大学 基于mars深度特征提取与增强的人体动作识别方法
CN111754438A (zh) * 2020-06-24 2020-10-09 安徽理工大学 基于多分支门控融合的水下图像复原模型及其复原方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Improving CNN Linear Layers with Power Mean Non-Linearity》;Chen-Lin Zhang;《Pattern Recognition》;20181225;全文 *
《基于亚像素卷积神经网络的图像超分辨率重建》;张俊发;《中国优秀硕士学位论文全文数据库》;20200615;第18-20、40-41页 *
《基于生成对抗网络的低光图像去噪增强算法的研究与实现》;蒋智琳;《中国优秀硕士学位论文全文数据库》;20200615;第20-21、37、53-56页 *

Also Published As

Publication number Publication date
CN112419184A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112419184B (zh) 一种综合局部信息和全局信息的空间注意力图像去噪方法
CN109859147B (zh) 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN112102177B (zh) 基于压缩与激励机制神经网络的图像去模糊方法
CN107464217B (zh) 一种图像处理方法及装置
CN113450288B (zh) 基于深度卷积神经网络单图像去雨方法、系统和存储介质
CN106709877B (zh) 一种基于多参数正则优化模型的图像去模糊方法
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN105657402A (zh) 一种深度图恢复方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN110599468A (zh) 无参考视频质量评估方法及装置
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN112288632A (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN112819705B (zh) 一种基于网状结构与长距离相关性的真实图像去噪方法
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
CN112991199A (zh) 一种基于残差密集网络的图像高低频分解噪声去除方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
CN111402173A (zh) 一种混合噪声去除方法、装置、电子设备和存储介质
CN114331913B (zh) 基于残差注意力块的运动模糊图像复原方法
CN115272113A (zh) 一种基于多尺度频率分离网络的图像去模糊方法
CN114998160A (zh) 一种并行多尺度特征融合的卷积神经网络去噪方法
CN114936977A (zh) 一种基于通道注意力和跨尺度特征融合的图像去模糊方法
CN115147274A (zh) 获取图像超分辨率方法、获取系统设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231109

Address after: 401135 Building 2, No. 19 Zhuoyue Road, Longxing Town, Liangjiang New Area, Yubei District, Chongqing (Room 102, 1st Floor, Digital Innovation Park)

Patentee after: Chongqing Santi Deep Mold Technology Co.,Ltd.

Address before: 401307 No.8, Huandao East Road, NANPENG highway logistics base, Banan District, Chongqing

Patentee before: Chongqing Qiciwei Innovation Technology Co.,Ltd.

Effective date of registration: 20231109

Address after: 401307 No.8, Huandao East Road, NANPENG highway logistics base, Banan District, Chongqing

Patentee after: Chongqing Qiciwei Innovation Technology Co.,Ltd.

Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing

Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS