CN114565528A - 一种基于多尺度和注意力机制的遥感影像降噪方法及系统 - Google Patents
一种基于多尺度和注意力机制的遥感影像降噪方法及系统 Download PDFInfo
- Publication number
- CN114565528A CN114565528A CN202210183952.6A CN202210183952A CN114565528A CN 114565528 A CN114565528 A CN 114565528A CN 202210183952 A CN202210183952 A CN 202210183952A CN 114565528 A CN114565528 A CN 114565528A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- module
- noise reduction
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000007246 mechanism Effects 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000009191 jumping Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 108091006146 Channels Proteins 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000001965 increasing effect Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度和注意力机制的遥感影像降噪方法及系统，该方法包括：获取初始遥感影像并进行噪声添加得到噪声影像；构建遥感影像深度降噪模型，并利用初始遥感影像及其对应的噪声影像进行模型训练；模型为U型结构，其至少包括编码结构、解码结构以及跳跃连接结构，编码结构和解码结构中均设有基于多头自注意力模块的局部窗口增强模块，跳跃连接结构将编码结构中每一层局部窗口增强模块的输出连接到解码结构中对应一层的局部窗口增强模块；将待降噪的遥感影像输入训练后的遥感影像深度降噪模型，将输出结果与待降噪的遥感影像进行像素级别的相加，得到降噪后的遥感影像。本发明所述方法能够有效提高遥感影像的降噪效果。
Description
技术领域
本发明属于遥感影像技术领域，具体涉及一种基于多尺度和注意力机制的遥感影像降噪方法及系统。
背景技术
高质量(High quality,HQ)光学遥感影像具有高分辨率(High resolution,HR)、低噪声的特点，意味着影像在单位面积上存储的信息量是高质量的(无用信息尽可能少，有用信息尽可能多)，因此提升光学遥感影像质量的方法具有很高的研究价值与应用前景。如何经济、方便和高效地提升光学遥感影像质量成为遥感领域的一个重大挑战。
在遥感影像获取和传输的过程中，难免会遭受到很多条件的限制及多类因素干扰，如传感器固有的特性以及周围气候环境对传输设备的干扰，使图像边缘纹理等细节模糊，质量降低。为获得清晰的、高质量的遥感影像，必须进行降噪预处理。图像降噪技术本质上都是让图像在单位面积上可以存储更多的信息量，因此图像降噪技术不但能够改善图像的显示效果，还可以帮助图像的进一步分析和处理。进而图像降噪技术引来了众多学者的关注和研究。但传统滤波算法不能实时灵活处理，导致降噪处理效果通常不理想，无法适应工程实际应用，达不到遥感图像降噪的实时精确性需求。
近些年来，深度学习快速发展并在图像降噪任务中表现优异，越来越多的深度学习模型被用来解决自然图像降噪问题。与传统图像降噪方法相比，基于深度学习的算法能够处理更多数量的图像数据，具有更强大的特征提取和学习能力，能够更好的降噪。比较流行的深度学习算法大多是基于卷积神经网络模型(Convolutional Neural Networks,CNN)。2008年CNN首次用于降噪问题上，证明卷积神经网络可以通过学习端到端的非线性映射实现降噪。后来随着网络学习能力不断增强，算法性能随着层数的增加而大大提升。
CNN通过卷积滤波器检测得到一些由关键点、物体的边界等构成的视觉要素，当使用CNN检测到一些基本的视觉要素后，高层的视觉语义信息往往更关注这些要素之间如何关联在一起进而构成一个整体，以及整体之间的空间位置关系如何构成一个场景。但卷积神经网络模型对长依赖特征的捕获能力较弱，且靠近输出层的全连接结构过于冗余且低效，近两年兴起的Transformer结构有效的解决了这些问题。Transformer是一个用来弥补卷积神经网络缺点的新型结构，它能够直接获取全局的信息，不像CNN仅能获取局部信息，Transformer能够进行并行运算，要比传统方法快上很多倍。Transformer完全用注意力机制代替了原有的序列特征提取的算法，并没有用任何CNN或者循环神经网络的结构，这就好像人对可视化信息的响应度要好于文本，大脑处理图片的速度比处理文字快，这可以降低学习和记忆难度，兼顾了并行性和解释性，对长序列也不会损失过早时刻信息，此后为了不同任务发展了不同的特征提取算法。
针对这些情况，本申请提出了一种基于多尺度和注意力机制的遥感影像降噪方法，该方法利用U型网络结构，提取遥感影像的多尺度特征，再利用这些特征进行噪声影像的降噪任务。
发明内容
本发明的目的是针对遥感影像的传统滤波算法存在的至少部分技术问题，如不能实时灵活处理，导致降噪处理效果通常不理想，无法适应工程实际应用，达不到遥感图像降噪的实时精确性需求的问题，提供一种基于多尺度和注意力机制的遥感影像降噪方法，其利用深度学习的特点以及优势构建了基于多尺度和注意力机制的遥感影像深度降噪模型，能更好的进行潜在表示的学习和噪声图的重构。
一方面，本发明提供一种基于多尺度和注意力机制的遥感影像降噪方法，其包括以下步骤：
步骤1：获取初始遥感影像，并将其作为样本；
步骤2：对所述初始遥感影像进行预处理，所述预处理至少包括噪声添加，其中，在所述初始遥感影像上添加噪声后得到噪声影像；
步骤3：构建基于多尺度和注意力机制的遥感影像深度降噪模型，并利用所述初始遥感影像及其对应的噪声影像进行模型训练；
其中，所述遥感影像深度降噪模型为U型结构，其至少包括编码结构、解码结构以及跳跃连接结构，所述编码结构和所述解码结构中均设有基于多头自注意力模块的局部窗口增强模块，所述跳跃连接结构将所述编码结构中每一层局部窗口增强模块的输出连接到所述解码结构中对应一层的局部窗口增强模块；
步骤4：将待降噪的遥感影像输入训练后的所述遥感影像深度降噪模型，将输出结果与所述待降噪的遥感影像进行像素级别的相加，得到降噪后的遥感影像。
进一步可选地，第l层的所述局部窗口增强模块中基于窗口的所述多头自注意力模块的数据处理表示为：
X'l＝WMSA(LN(Xl-1))+Xl-1
式中，X'l为多头自注意力模块的输出，WMSA为基于窗口的多头自注意力模块算法表达，LN表示层归一化，Xl-1表示第l-1层的输出作为第l层的所述局部窗口增强模块的输入；
其中，针对任一层次，所述多头自注意力模块的数据处理过程为：
首先，将输入当前层次的二维特征图X∈RC×H×W裁剪成N个窗口大小为M×M的非重叠窗口，C、H、W是当前层次的二维特征图X的通道数、高度和宽度；
X＝{X1,x2,…,XN},N＝HW/M2
其次，对每个窗口i进行扁平化和转置操作，得到特征
R的定义为表示特征图；
然后将每个特征输入多个自注意力模块；
其中，若自注意力模块编号为k，自注意力模块的输入维度为dk＝C/k，计算非重叠窗口中的第k个自注意力模块可定义为：
其中，SoftMax是归一化指数函数，B是相对位置偏移，Q、K、V表示Query，Key和Value的映射矩阵，T为矩阵转置符号，
分别表示第k个自注意力模块的Query，Key和Value的映射矩阵，
是第k个自注意力模块的输出；
所有自注意力模块{1,2,…,k}的输出连接后经过线性映射，再与输入特征X进行残差连接，获得最终结果X′。
进一步可选地，所述局部窗口增强模块由基于窗口的多头自注意力模块和局部增强前馈网络模块构成，所述多头自注意力模块的输出作为所述局部增强前馈网络模块的输入，所述局部增强前馈网络模块的数据处理表示为：
Xl＝LeFF(LN(X'l))+X'l
其中，LN表示层归一化，Xl为局部增强前馈网络模块的输出，X'l为多头自注意力模块的输出，LeFF为局部增强前馈网络模块的算法表达；
其中，针对任一层次，所述局部增强前馈网络模块的数据处理过程为：
首先，对每个令牌(token)X'l使用线性映射，以增加其特征维度；
其次，将token重构为二维特征图，并使用卷积操作以更好的捕捉局部信息；
最后，将二维特征图使用扁平化操作转化为token，通过一个线性映射收缩通道，以匹配输入通道的尺寸，并与输入特征X'l进行残差连接，得到输出结果Xl。应当理解，上述过程基于Transformer结构中MLP进行改变。
进一步可选地，编码结构中局部窗口增强模块的输出特征图作为所述跳跃连接结构的输入，然后对所述特征图进行卷积操作后，分别进行空间注意力和通道注意力提取特征，空间注意力和通道注意力的输出与输入进行残差连接并融合，再进行一次卷积；最后将卷积后的特征图与跳跃连接结构的输入进行残差连接，得到跳跃连接结构的输出结果。
进一步可选地，所述编码结构包括输入模块、下采样模块以及局部窗口增加模块；所述解码结构包括上采样模块、局部窗口增强模块以及输出模块；
其中，U型的所述遥感影像深度降噪模型中所述编码结构和所述解码结构均为多层次结构，所述编码结构中每一层由局部窗口增强模块以及下采样模块构成，所述解码结构中每一层由局部窗口增强模块以及上采样模块构成，利用所述编码结构中的下采样模块以及所述解码结构中的上采样模块使得所述编码结构和所述解码结构中同一层局部窗口增强模块对应的图像大小相同。
进一步可选地，所述预处理还包括：裁剪和/或旋转和/或翻转；
裁剪过程为：将初始遥感影像和噪声影像随机裁剪成为若干图像块；
旋转过程为：随机将初始遥感影像和噪声影像进行旋转；
翻转过程为：对初始遥感影像和噪声影像进行翻转。
进一步可选地，所述遥感影像深度降噪模型的训练过程为寻找一个函数F(·；Θ)使得存在：
其中，Θ表示模型的可训练参数集；给定噪声影像xi和参数Θ的情况下，得到降噪影像
引入如下优化问题：
式中，Θ*表示优化后的模型的可训练参数集，argmin表示使后面这个式子达到最小值时的变量的取值，L()为MSE损失函数，n为训练样本集，λ为超参数，且大于零。
第二方面，本发明提供一种基于所述遥感影像降噪方法的系统，其包括：
影像获取模块，用于获取初始遥感影像，并将其作为样本；
预处理模块，用于对所述初始遥感影像进行预处理；
模块构建模块，用于构建基于多尺度和注意力机制的遥感影像深度降噪模型，并利用所述初始遥感影像及其对应的噪声影像进行模型训练；
降噪模块，用于将待降噪的遥感影像输入训练后的所述遥感影像深度降噪模型得到降噪后的遥感影像。
第三方面，本发明提供一种电子终端，其包括：
一个或多个处理器；
存储了一个或多个计算机程序的存储器；
所述处理器调用所述计算机程序以实现：
一种基于多尺度和注意力机制的遥感影像降噪方法的步骤。
第四方面，本发明提供一种可读存储介质，其存储了计算机程序，所述计算机程序被处理器调用以实现：
一种基于多尺度和注意力机制的遥感影像降噪方法的步骤。
有益效果
本发明针对遥感影像降噪问题，引入深度学习，构建出基于多尺度和注意力机制的遥感影像深度降噪模型，该模型结构能更好的进行潜在表示的学习和噪声图的重构，有效克服传统滤波算法的部分技术缺陷，提高降噪效果。其中，本发明编码结构和解码结构中设有基于多头自注意力模块的局部窗口增强模块，充分利用Transformer结构的优势来提升模型性能。
附图说明
图1是本发明提供的一种基于多尺度和注意力机制的遥感影像降噪方法的流程示意图；
图2是本发明提供的遥感影像深度降噪模型的结构示意图；
图3是本发明提供的遥感影像深度降噪模型中跳跃连接结构的结构示意图。
具体实施方式
本发明提供的一种基于多尺度和注意力机制的遥感影像降噪方法，其用于实现遥感图像降噪，具体是利用遥感影像样本构建出基于多尺度和注意力机制的遥感影像深度降噪模型。下面将结合本发明附图对本发明的实施例进行详细阐述，显然，所描述的实例仅仅是本发明的一部分实施例，而不是全部实施例。其目的是使本发明技术方案能被同领域技术人员所理解。
如图1所示，本发明提供的一种基于多尺度和注意力机制的遥感影像降噪方法，包括以下步骤：
步骤1：获取目标区域的初始遥感影像(本实施例中以遥感为影像)，对每个目标区域的影像，分别进行数据的读取，将数据集划分为训练集、验证集和测试集三部分并分别保存。
步骤2：使用步骤1得到的训练集和验证集进行数据预处理，首先为遥感影像添加特定噪声等级的高斯噪声，分别重新组合通道顺序，之后将原始影像和噪声影像随机裁剪为若干图像块，以减少计算资源的消耗；随机旋转90°、180°、270°，并进行随机翻转，以扩充数据，达到数据增强的目的。
其中，在初始遥感影像上添加噪声得到噪声影像。其他可行的实施例中，可以选择性执行旋转、翻转等预处理操作。
步骤3：构建一个基于多尺度和注意力机制的遥感影像深度降噪模型，所构建的模型是U型网络结构，其至少包括编码结构、解码结构以及跳跃连接结构。编码结构包括输入模块、下采样模块以及局部窗口增加模块；解码结构包括上采样模块、局部窗口增强模块以及输出模块。
具体的，编码结构和解码结构均包含多个尺度，编码结构由输入模块、下采样模块、局部窗口增强模块组成。对于输入模块，由两个卷积层和参数修正线性单元(PReLU)激活函数组成。下采样模块使用若干个卷积层连接构成，对每个编码级别进行降采样，用来获取低层次的信息。局部窗口增强模块具有两个核心内部模块：基于窗口的多头自注意力模块(Window-based Multi-head Self-Attention,WMSA)和局部增强前馈网络模块(Locally-enhanced Feed-Forward Network,LeFF)。解码结构由上采样模块、局部窗口增强模块和输出模块组成。上采样模块使用卷积和逆卷积构成，对每个编码级别进行升采样，逐步进行特征图的重构。局部窗口增强模块与编码结构的该模块相同。输出模块使用卷积操作，对特征图进行映射，使其与输入影像通道数相同，并把输出结果添加到噪声影像中，获得降噪影像。
应当理解，输入模块、输出模块、上采样模块以及下采样模块均是现有技术可以实现的，因此对其不进行具体陈述。参照图2可知，本实施例中解码结构和编码结构都是多层次结构，且两者的层次是相同的，同一层次对应的特征图大小是相同的，进而在每一层次，跳跃连接结构将所述编码结构中每一层局部窗口增强模块的输出连接到所述解码结构中对应一层的局部窗口增强模块。如图2所示，将噪声影像xi输入遥感影像深度降噪模型。首先，经过编码结构的输入模块，通过卷积操作将3×H×W的噪声影像x转化为C×H×W的特征图。其次，编码结构由4个尺度组成，每个尺度包含局部窗口增强模块和下采样模块组成，由局部窗口增强模块提取特征后，经过下采样模块将特征图的长度和宽度减半，通道数加倍。随后，经过解码结构，与编码结构相对称，同样由4个尺度组成，由局部窗口增强模块提取特征后，经过上采样模块将特征图的长度和宽度加倍，通道数减半。相同尺度的编码层和解码层由跳跃连接结构相连，将编码结构学习到的细粒度特征，跳跃连接到解码结构辅助重构图像。最后，经过输出模块，将尺寸为C×H×W的特征图转化为3×H×W，将输出模块的结果与噪声影像xi进行像素级别的相加，得到降噪影像
从上可知，本发明的遥感影像深度降噪模型的目的是获得降噪影像与噪声影像之间的残差。
跳跃连接结构如图3所示，将编码结构的特征图作为输入，经过两次卷积操作后，对特征图并行进行空间注意力和通道注意力提取特征。空间注意力：先进行全局平均池化和全局最大池化，再进行卷积操作。通道注意力：先进行全局平均池化，再进行两次卷积操作，其中，涉及的卷积以及池化操作均是现有技术，因此对其不进行具体的描述。空间注意力和通道注意力的输出与输入进行残差连接并融合，再进行一次卷积。卷积后的特征图与跳跃连接结构的输入进行残差连接，得到跳跃连接结构的输出结果。综上可知，本发明在跳跃连接结构中，加入了双重注意力机制，分别在空间维度和通道维度上使用一系列卷积和全局池化操作来提取局部特征，在增加有用区域信息权重的同时减小无用区域特征信息的权重，解决Transformer结构中对局部信息捕获能力不足的缺陷。
其中，本发明基于Transformer的局部窗口增强模块来提取不同类型的特征，在特征图尺寸较大时提取到图像的几何关系、空间关系等特征，在特征图尺寸较小时提取边界、轮廓等信息。其具有两个核心内部模块：基于窗口的多头自注意力模块(Window-basedMulti-head Self-Attention,WMSA)和局部增强前馈网络模块(Locally-enhanced Feed-Forward Network,LeFF)。
WMSA模块对输入特征图Xl-1的处理流程如下：
X'l＝WMSA(LN(Xl-1))+Xl-1
其中，LN表示层归一化，X'l为WMSA模块的输出。
其中，针对任一层次，所述多头自注意力模块的数据处理过程为：
首先，将输入的二维特征图X∈RC×H×W(C、H、W是特征图的通道数、高度和宽度)裁剪成N个窗口大小为M×M的非重叠窗口。
X＝{X1,X2,…,XN},N＝HW/M2
其次，对每个窗口i进行扁平化和转置操作，得到特征
然后将每个特征输入多个自注意力模块。假设自注意力模块编号为k，模块的输入维度为dk＝C/k。计算非重叠窗口中的第k个自注意力模块可定义为：
其中，SoftMax是归一化指数函数，B是相对位置偏移，Q、K、V表示Query，Key和Value的映射矩阵，T为矩阵转置符号，
分别表示第k个自注意力模块的Query，Key和Value的映射矩阵。
是第k个自注意力模块的输出。
最后将所有自注意力模块{1,2,…,k}的输出连接后经过线性映射，再与输入特征X进行残差连接，获得最终结果X′，即针对第l层，与输入特征Xl-1残差连接，获得最终结果X'l。
第l层对应的LeFF模块对输入特征图X'l的处理流程如下：
Xl＝LeFF(LN(X'l))+X'l
其中LN表示层归一化，Xl为LeFF模块的输出。
其中，针对任一层次，所述局部增强前馈网络模块的数据处理过程为：
首先，对每个令牌(token)使用线性映射，以增加其特征维度。其次，将token重构为二维特征图，并使用卷积操作以更好的捕捉局部信息。最后，将二维特征图使用扁平化操作转化为token，通过一个线性映射收缩通道，以匹配输入通道的尺寸，并与输入特征X'l进行残差连接，得到输出结果Xl。
基于上述结构的遥感影像深度降噪模型，本发明利用噪声影像及其对应的初始遥感影像进行模型训练，训练的遥感影像深度降噪模型的输出结果与噪声影像进行像素级别的相加，得到降噪影像。本实施例中，训练过程使用Adam算法进行优化，初始学习率为0.0002；为了避免训练过拟合，采取了早停策略(early stopping strategy)，如果验证损失在20个epoch内没有减少，则训练将立即停止；经过一定次数的迭代后，当训练损失不再明显减少且验证损失达到最小值时，即模型训练完成。基于上述训练好的模型，对步骤1得到的测试集(即含有一定量噪声的遥感影像)进行降噪，得到复原影像。
进一步地选择在遥感影像测试集上进行了若干次实验并计算峰值信噪比(PeakSignal to Noise Ratio,PSNR)和结构相似性(Structural Similarity,SSIM)判断模型的降噪效果，还通过直观视觉感受进行降噪性能评价。
其中，峰值信噪比(PSNR)，它经常通过均方误差(Mean Square Error,MSE)进行定义。若两个m×z单色图像I和K，那么它们的均方误差定义为：
峰值信噪比定义为：
其中，MAXI是表示图像点颜色的最大数值。
结构相似性(SSIM)，给定两个图像x和y，两张图像的结构相似性可按照以下方式求出：
其中，μx是x的平均值，μy是y的平均值，
是x的方差，
是y的方差，σxy是x和y的协方差。c1＝(k1L)2，c2＝(k2L)2是用来维持稳定的常数。L是像素值的动态范围。k1＝0.01，k2＝0.03。结构相似性的范围为-1到。当两张图像一模一样时，SSIM的值等于1。
本实施例构建的深度降噪模型是基于Transformer的结构，利用其自注意力机制来获取长距离的依赖关系，通过特征图上的非重叠窗口使用自注意力来降低计算成本。添加了多次下采样过程，使得特征通道数不断增加，可以减少过拟合的风险，增加感受野的大小，减少从一个级别到另一个级别的信息损失。对应的，通过多次上采样将抽象的特征再还原解码到原图的尺寸，保留来自原始影像的最重要信息。此外，多次使用跳跃连接的方式，既能更好的保留原始影像中的有用特征又能降低计算资源的消耗。在跳跃连接结构通过在空间维度和通道维度的注意力机制来提取局部特征，减小与任务无关的特征图的权重来抑制对该类特征的学习，增大与任务相关的特征图的权重来加强对该类特征的学习。
步骤4：将待降噪的遥感影像输入训练后的所述遥感影像深度降噪模型，将输出结果与所述待降噪的遥感影像进行像素级别的相加，得到降噪后的遥感影像。
应当理解，本发明构建的遥感影像深度降噪模型的目的是获取降噪影像与噪声影像之间的残差，因此，将待降噪的遥感影像输入训练后的所述遥感影像深度降噪模型后，将其输出结果与待降噪的遥感影像进行像素级别的相加，得到降噪后的遥感影像。
实施例2：
本实施例提供一种基于上述遥感影像降噪方法的系统，其包括：
影像获取模块，用于获取初始遥感影像。
预处理模块，用于对所述初始遥感影像进行预处理；
模块构建模块，用于构建基于多尺度和注意力机制的遥感影像深度降噪模型，并利用所述初始遥感影像及其对应的噪声影像进行模型训练；
降噪模块，用于将待降噪的遥感影像输入训练后的所述遥感影像深度降噪模型，将输出结果与所述待降噪的遥感影像进行像素级别的相加，得到降噪后的遥感影像。
其中，各个单元模块的具体实现过程请参照前述方法的对应过程，本发明在此不进行具体的赘述，且上述功能模块单元的划分仅仅是一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。同时，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
实施例3：
本实施例提供一种电子终端，其至少包括：一个或多个处理器以及存储了一个或多个计算机程序的存储器，所述处理器调用所述计算机程序以实现：一种基于多尺度和注意力机制的遥感影像降噪方法的步骤，具体执行：
步骤1：获取初始遥感影像，并将其作为样本；
步骤2：对所述初始遥感影像进行预处理，所述预处理至少包括噪声添加，其中，在所述初始遥感影像上添加噪声后得到噪声影像；
步骤3：构建基于多尺度和注意力机制的遥感影像深度降噪模型，并利用所述初始遥感影像及其对应的噪声影像进行模型训练；
步骤4：将待降噪的遥感影像输入训练后的所述遥感影像深度降噪模型，将输出结果与所述待降噪的遥感影像进行像素级别的相加，得到降噪后的遥感影像。
各个步骤的具体实现过程请参照前述方法的阐述。
应当理解，在本发明实施例中，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
实施例4：
本实施例提供一种可读存储介质，其存储了计算机程序，所述计算机程序被处理器调用以实现：一种基于多尺度和注意力机制的遥感影像降噪方法的步骤，具体执行：
步骤1：获取初始遥感影像，并将其作为样本；
步骤2：对所述初始遥感影像进行预处理，所述预处理至少包括噪声添加，其中，在所述初始遥感影像上添加噪声后得到噪声影像；
步骤3：构建基于多尺度和注意力机制的遥感影像深度降噪模型，并利用所述初始遥感影像及其对应的噪声影像进行模型训练；
步骤4：将待降噪的遥感影像输入训练后的所述遥感影像深度降噪模型，将输出结果与所述待降噪的遥感影像进行像素级别的相加，得到降噪后的遥感影像。
各个步骤的具体实现过程请参照前述方法的阐述。
所述可读存储介质为计算机可读存储介质，其可以是前述任一实施例所述的控制器的内部存储单元，例如控制器的硬盘或内存。所述可读存储介质也可以是所述控制器的外部存储设备，例如所述控制器上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述可读存储介质还可以既包括所述控制器的内部存储单元也包括外部存储设备。所述可读存储介质用于存储所述计算机程序以及所述控制器所需的其他程序和数据。所述可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。
Claims (10)
1.一种基于多尺度和注意力机制的遥感影像降噪方法，其特征在于：包括以下步骤：
步骤1：获取初始遥感影像，并将其作为样本；
步骤2：对所述初始遥感影像进行预处理，所述预处理至少包括噪声添加，其中，在所述初始遥感影像上添加噪声后得到噪声影像；
步骤3：构建基于多尺度和注意力机制的遥感影像深度降噪模型，并利用所述初始遥感影像及其对应的噪声影像进行模型训练；
其中，所述遥感影像深度降噪模型为U型结构，其至少包括编码结构、解码结构以及跳跃连接结构，所述编码结构和所述解码结构中均设有基于多头自注意力模块的局部窗口增强模块，所述跳跃连接结构将所述编码结构中每一层局部窗口增强模块的输出连接到所述解码结构中对应一层的局部窗口增强模块；
步骤4：将待降噪的遥感影像输入训练后的所述遥感影像深度降噪模型，将输出结果与所述待降噪的遥感影像进行像素级别的相加，得到降噪后的遥感影像。
2.根据权利要求1所述的遥感影像降噪方法，其特征在于：第l层的所述局部窗口增强模块中基于窗口的所述多头自注意力模块的数据处理表示为：
X’l＝WMSA(LN(Xl-1))+Xl-1
式中，X’l为多头自注意力模块的输出，WMSA为基于窗口的多头自注意力模块算法表达，LN表示层归一化，Xl-1表示第l-1层的输出作为第l层的所述局部窗口增强模块的输入；
其中，针对任一层次，所述多头自注意力模块的数据处理过程为：
首先，将输入当前层次的二维特征图X∈RC×H×W裁剪成N个窗口大小为M×M的非重叠窗口，C、H、W是当前层次的二维特征图X的通道数、高度和宽度，N、M为正整数；
X＝{X1，X2，...，XN}，N＝HW/M2
其次，对每个窗口i进行扁平化和转置操作，得到特征
R表示特征图；
然后将每个特征输入多个自注意力模块；
其中，若自注意力模块编号为k，自注意力模块的输入维度为dk＝C/k，计算非重叠窗口中的第k个自注意力模块可定义为：
其中，SoftMax是归一化指数函数，B是相对位置偏移，Q、K、V表示Query，Key和Value的映射矩阵，T为矩阵转置符号，
分别表示第k个自注意力模块的Query，Key和Value的映射矩阵，
是第k个自注意力模块的输出；
所有自注意力模块{1，2，...，k}的输出连接后经过线性映射，再与输入特征X进行残差连接，获得最终结果X′。
3.根据权利要求1所述的遥感影像降噪方法，其特征在于：所述局部窗口增强模块由基于窗口的多头自注意力模块和局部增强前馈网络模块构成，所述多头自注意力模块的输出作为所述局部增强前馈网络模块的输入，第l层对应的所述局部增强前馈网络模块的数据处理表示为：
Xl＝LeFF(LN(X’l))+X’l
其中，LN表示层归一化，Xl为局部增强前馈网络模块的输出，X’l为多头自注意力模块的输出，LeFF为局部增强前馈网络模块的算法表达。
4.根据权利要求1所述的遥感影像降噪方法，其特征在于：编码结构中局部窗口增强模块的输出特征图作为所述跳跃连接结构的输入，然后对所述特征图进行卷积操作后，分别进行空间注意力和通道注意力提取特征，空间注意力和通道注意力的输出与输入进行残差连接并融合，再进行一次卷积；最后将卷积后的特征图与跳跃连接结构的输入进行残差连接，得到跳跃连接结构的输出结果。
5.根据权利要求1所述的遥感影像降噪方法，其特征在于：所述编码结构包括输入模块、下采样模块以及局部窗口增强模块；所述解码模块包括上采样模块、局部窗口增强模块以及输出模块；
其中，U型的所述遥感影像深度降噪模型中所述编码结构和所述编码结构均为多层次结构，所述编码结构中每一层由局部窗口增强模块以及下采样模块构成，所述解码结构中每一层由局部窗口增强模块以及上采样模块构成，利用所述编码结构中的下采样模块以及所述解码结构中的上采样模块使得所述编码结构和所述解码结构中同一层局部窗口增强模块对应的图像大小相同。
6.根据权利要求1所述的遥感影像降噪方法，其特征在于：所述预处理还包括：裁剪和/或旋转和/或翻转；
裁剪过程为：将初始遥感影像和噪声影像随机裁剪成为若干图像块；
旋转过程为：随机将初始遥感影像和噪声影像进行旋转；
翻转过程为：对初始遥感影像和噪声影像进行翻转。
7.根据权利要求1所述的遥感影像降噪方法，其特征在于：所述遥感影像深度降噪模型的训练过程为寻找一个函数F(·；Θ)使得存在：
其中，Θ表示模型的可训练参数集；给定噪声影像xi和参数Θ的情况下，得到降噪影像
引入如下优化问题：
式中，Θ*表示优化后的模型的可训练参数集，argmin表示使后面这个式子达到最小值时的变量的取值，L()为MSE损失函数，n为训练样本集，λ为超参数，且大于零。
8.一种基于权利要求1-7任一项所述遥感影像降噪方法的系统，其特征在于：包括：
影像获取模块，用于获取初始遥感影像，并将其作为样本；
预处理模块，用于对所述初始遥感影像进行预处理；
模块构建模块，用于构建基于多尺度和注意力机制的遥感影像深度降噪模型，并利用所述初始遥感影像及其对应的噪声影像进行模型训练；
降噪模块，用于将待降噪的遥感影像输入训练后的所述遥感影像深度降噪模型，将输出结果与所述待降噪的遥感影像进行像素级别的相加，得到降噪后的遥感影像。
9.一种电子终端，其特征在于：包括：
一个或多个处理器；
存储了一个或多个计算机程序的存储器；
所述处理器调用所述计算机程序以实现：
权利要求1-7任一项所述遥感影像降噪方法的步骤。
10.一种可读存储介质，其特征在于：存储了计算机程序，所述计算机程序被处理器调用以实现：
权利要求1-7任一项所述遥感影像降噪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210183952.6A CN114565528A (zh) | 2022-02-28 | 2022-02-28 | 一种基于多尺度和注意力机制的遥感影像降噪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210183952.6A CN114565528A (zh) | 2022-02-28 | 2022-02-28 | 一种基于多尺度和注意力机制的遥感影像降噪方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114565528A true CN114565528A (zh) | 2022-05-31 |
Family
ID=81716777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210183952.6A Pending CN114565528A (zh) | 2022-02-28 | 2022-02-28 | 一种基于多尺度和注意力机制的遥感影像降噪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114565528A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115147315A (zh) * | 2022-09-05 | 2022-10-04 | 杭州涿溪脑与智能研究所 | 一种基于变压器模块的神经网络荧光显微图像去噪方法 |
-
2022
- 2022-02-28 CN CN202210183952.6A patent/CN114565528A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115147315A (zh) * | 2022-09-05 | 2022-10-04 | 杭州涿溪脑与智能研究所 | 一种基于变压器模块的神经网络荧光显微图像去噪方法 |
| CN115147315B (zh) * | 2022-09-05 | 2022-12-09 | 杭州涿溪脑与智能研究所 | 一种基于变压器模块的神经网络荧光显微图像去噪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gu et al. | A brief review of image denoising algorithms and beyond | |
| Li et al. | Survey of single image super‐resolution reconstruction | |
| Liu et al. | Cross-SRN: Structure-preserving super-resolution network with cross convolution | |
| CN111950649B (zh) | 基于注意力机制与胶囊网络的低照度图像分类方法 | |
| Zuo et al. | Convolutional neural networks for image denoising and restoration | |
| Gu et al. | Integrating local and non-local denoiser priors for image restoration | |
| Gong et al. | Combining sparse representation and local rank constraint for single image super resolution | |
| Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
| US11995801B2 (en) | Image processing method, system, device and storage medium | |
| Ren et al. | Enhanced non-local total variation model and multi-directional feature prediction prior for single image super resolution | |
| CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 | |
| CN115170410A (zh) | 融合小波变换和注意力机制的图像增强方法及装置 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| Ahmed et al. | PIQI: perceptual image quality index based on ensemble of Gaussian process regression | |
| CN114565528A (zh) | 一种基于多尺度和注意力机制的遥感影像降噪方法及系统 | |
| Dharejo et al. | SwinWave-SR: Multi-scale lightweight underwater image super-resolution | |
| CN112270650B (zh) | 基于稀疏自编码器的图像处理方法、系统、介质、设备 | |
| US20240054605A1 (en) | Methods and systems for wavelet domain-based normalizing flow super-resolution image reconstruction | |
| Fang et al. | Multitask learning mechanism for remote sensing image motion deblurring | |
| CN113902647A (zh) | 一种基于双闭环网络的图像去模糊方法 | |
| CN110648291B (zh) | 一种基于深度学习的无人机运动模糊图像的复原方法 | |
| Yapici et al. | A review of image denoising with deep learning | |
| Wu et al. | RDS-denoiser: a detail-preserving convolutional neural network for image denoising | |
| CN116012266B (zh) | 图像去噪方法、系统、设备及存储介质 | |
| Wang et al. | Single image super-resolution via self-similarity and low-rank matrix recovery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |