CN116503292A - 一种基于SwinIR的高光谱遥感图像去噪方法 - Google Patents
一种基于SwinIR的高光谱遥感图像去噪方法 Download PDFInfo
- Publication number
- CN116503292A CN116503292A CN202310762260.1A CN202310762260A CN116503292A CN 116503292 A CN116503292 A CN 116503292A CN 202310762260 A CN202310762260 A CN 202310762260A CN 116503292 A CN116503292 A CN 116503292A
- Authority
- CN
- China
- Prior art keywords
- hyperspectral
- image
- dimensional
- feature
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000003595 spectral effect Effects 0.000 claims abstract description 61
- 238000001228 spectrum Methods 0.000 claims abstract description 49
- 238000011176 pooling Methods 0.000 claims abstract description 28
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 64
- 239000011159 matrix material Substances 0.000 claims description 45
- 238000000605 extraction Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于SwinIR的高光谱遥感图像去噪方法，本发明将SwinIR基础网络中单一二维空间尺度的卷积改进为二维与三维卷积拼接，并通过协调注意力机制融合空间特征与光谱特征，以此来充分获得高光谱图像的不同维度信息；采用三维光谱图像编码，并添加自适应池化层将空间编码与光谱编码结合得到整体编码，以确保重构高光谱图像的光谱连续性；采用空间重构残差，将空间重构图像与整体编码重构图像结合来防止最终去噪后的高光谱图像的失真。本发明充分利用了高光谱图像不同维度的信息，并提高了含噪声高光谱图像的图像质量。
Description
技术领域
本发明涉及人工智能高光谱遥感图像处理领域，具体涉及一种基于SwinIR的高光谱遥感图像去噪方法。
背景技术
随着遥感成像技术和智能解译算法的快速发展，遥感图像已成为各种应用中不可或缺的资源，如土地资源调查、农林监测、城市规划和军事预警。与其他类型的遥感数据相比，高光谱图像以其丰富的空间和光谱信息具有巨大的优势。然而，由于在高光谱图像的采集、存储和传输过程中，真实的高光谱图像通常会不可避免地受到各种噪声的影响，噪声会严重降低高光谱图像的质量，从而影响后续特征提取和理解任务的性能，例如高光谱图像分解、特征学习、分类和目标检测。因此，消除噪声引起的退化是其他任务之前的首要和关键问题。
为了解决这个问题，现有的方法主要可以分为三类：基于滤波器的方法、基于优化的方法和基于深度学习的方法。但是前两种方式严重依赖于先验知识及手动设计的特性，需要通过多次人工优化迭代，非常耗时。
近年来，深度学习方法在许多计算机领域得到了应用，并取得了革命性的成就。相比之下，基于深度学习的去噪方法可以更灵活、更有效地利用深度学习的能力解决高光谱图像去噪问题。虽然基于深度学习的方法在高光谱图像去噪方面取得了令人印象深刻的性能，但目前利用深度学习进行高光谱图像去噪方法主要基于卷积神经网络（CNN），它们仍然没有充分挖掘光谱维度信息矫正。
SwinIR 网络解决了计算机视觉（ComputerVision，CV）领域的两个问题：分辨率不足和计算复杂度过大，但其应用场景为单通道灰度图像或三通道RGB图像超分辨率任务，无法提取更高维度图像特征信息，因此对于除空间信息外还含有多个光谱维度的高光谱图像去噪任务并不适用。
发明内容
本发明目的：在于提供一种基于SwinIR的高光谱遥感图像去噪方法，该方法能够更充分地提取高光谱图像空间维度与光谱维度的特征，使网络适用于各种高光谱图像，并提高了噪声高光谱图像质量。
为实现以上功能，本发明设计一种基于SwinIR的高光谱遥感图像去噪方法，针对高光谱图像，执行如下步骤S1-步骤S4，完成高光谱图像的去噪：
步骤S1：采集预设数量的高光谱图像，其中包括纯净高光谱图像和噪声高光谱图像，对所采集的所有高光谱图像进行预处理，预处理后的各高光谱图像均包含噪声，并根据预设比例将预处理后的高光谱图像划分为训练集和测试集；
步骤S2：构建高光谱图像去噪网络模型，该模型以预处理后的高光谱图像为输入，以重构的纯净高光谱图像为输出，高光谱图像去噪网络模型包括改进后的SwinIR网络、空间信息与光谱信息提取模块、协调注意力模块、空间信息编码与光谱信息编码融合模块、残差图像重构模块；
步骤S3：针对高光谱图像去噪网络模型，以训练集中的各高光谱图像为输入，以重构的纯净高光谱图像为输出，应用损失函数对高光谱图像去噪网络模型进行预设次数的训练，获得训练完成的高光谱图像去噪网络模型；
步骤S4：将测试集中的各高光谱图像输入训练完成的高光谱图像去噪网络模型，获得测试集中的各高光谱图像对应的重构的纯净高光谱图像，并针对去噪结果进行评价。
作为本发明的一种优选技术方案：步骤S1中所述的预处理包括以下步骤S11-步骤S12：
步骤S11：针对纯净高光谱图像，手动添加不同强度的噪声，并通过缩放、随机旋转进行数据增强，针对噪声高光谱图像，进行随机旋转；
步骤S12：将步骤S11所获得的各高光谱图像进行裁剪，统一为64*64大小。
作为本发明的一种优选技术方案：步骤S2中所述改进后的SwinIR网络将SwinIR基础网络的浅层特征提取的3*3卷积替换为空间信息与光谱信息提取模块，以提取高光谱图像的二维空间特征和三维光谱特征；
所述空间信息与光谱信息提取模块包括二维卷积层Conv_2d、三维卷积层Conv_3d_1、三维卷积层Conv_3d_2，并对三者进行卷积拼接，以提取不同尺度的空间特征矩阵及光谱特征矩阵；
所述协调注意力模块采用平均池化、卷积、规范化、非线性层的方法，融合不同尺度的空间特征矩阵及光谱特征矩阵，捕获远程依赖关系并保留位置信息，获得整体特征矩阵；
所述空间信息编码与光谱信息编码融合模块首先针对整体特征矩阵采用二维步长进行编码，获得整体特征向量，其次引入三维编码方法，采用三维步长对步骤S1所获得的预处理后的高光谱图像进行三维特征编码，得到光谱特征向量，引入自适应池化层，融合不同长度的整体特征向量、光谱特征向量，得到编码向量；
所述残差图像重构模块首先对步骤S1所获得的预处理后的高光谱图像采用卷积Conv_first进行空间特征提取后直接进行编码重构，获得残差图像；其次通过编码向量重构得到整体图像，将残差图像和整体图像根据预设权重结合，再采用反卷积Conv_last，最终获得重构的纯净高光谱图像。
作为本发明的一种优选技术方案：步骤S2中所述的空间信息与光谱信息提取模块包括空间二维卷积、光谱三维卷积、卷积拼接过程，具体过程如下：
所述空间二维卷积采用3*3二维卷积层Conv_2d提取高光谱图像的空间信息，获得空间特征矩阵；
所述光谱三维卷积采用并行的两个相同通道不同卷积核大小的三维卷积层，即分别采用C*3*3的三维卷积层Conv_3d_1和C*7*7的三维卷积层Conv_3d_2提取高光谱图像的光谱信息，获得两个光谱矩阵，其中C表示光谱维度；
所述卷积拼接是将分别经过三维卷积层Conv_3d_1和三维卷积层Conv_3d_2卷积后的两个光谱矩阵根据通道维度相加，得到光谱特征矩阵。
作为本发明的一种优选技术方案：步骤S2中所述的协调注意力模块首先对光谱特征矩阵进行batch维度降维，将降维后的光谱特征矩阵与空间特征矩阵进行拼接，获得维度为C*H*W的光谱特征与空间特征拼接矩阵，其中C为光谱维度，H和W分别为高度和宽度，将光谱特征与空间特征拼接矩阵作为输入，依次经过并行的平均池化层、整体二维卷积层、整体规范化层和非线性层，最后由并行sigmoid激活函数输出，得到融合后的整体特征矩阵。
作为本发明的一种优选技术方案：步骤S2中所述的空间信息编码与光谱信息编码融合模块包括二维空间信息编码、三维光谱信息编码以及编码融合；
所述二维空间信息编码采用4*4的二维步长对整体特征矩阵进行分割、编码，提取空间信息，获得整体特征向量；
所述三维光谱信息编码采用2*2*2的三维步长对步骤S1所获得的预处理后的高光谱图像进行分割、编码，提取光谱信息，获得光谱特征向量；
所述编码融合是将整体特征向量和光谱特征向量连接后，分别通过并行的自适应平均池化层和自适应最大池化层，得到长度统一的平均池化向量和最大池化向量，并将二者相加，再经过sigmoid激活函数输出，最终得到编码向量。
作为本发明的一种优选技术方案：步骤S2中所述的残差图像重构模块首先对步骤S1所获得的预处理后的高光谱图像进行3*3的卷积Conv_first，然后使用4*4步长编码后进行图像重构，获得残差图像；其次通过编码向量重构得到整体图像，将残差图像和整体图像根据预设权重结合，并对其进行3*3的反卷积Conv_last，最终获得重构的纯净高光谱图像；
所述图像重构的过程为：编码后的向量首先通过归一化层，再通过多头自注意力机制，在多头自注意力机制后引入残差，再通过归一化层，最后通过多层感知机，并在其结尾同样引入残差。
作为本发明的一种优选技术方案：步骤S3中所应用的损失函数如下式：
式中，L1_Charbonnier_loss表示损失函数，y表示步骤S1所获得的预处理后的高光谱图像，x表示去噪后的重构的纯净高光谱图像，为常数项，取值为/>。
作为本发明的一种优选技术方案：步骤S4中去噪结果进行评价的指标为：峰值信噪比、结构相似性、光谱角度匹配。
有益效果：相对于现有技术，本发明的优点包括：
1、本发明的基于SwinIR网络的高光谱遥感图像去噪方法，在现有的SwinIR基础网络上，将单一二维空间尺度的卷积改进为二维与三位卷积拼接，并通过协调注意力机制融合空间特征与光谱特征，能够充分地提取高光谱图像的空间特征及多维光谱特征，使网络能够应用于高光谱图像任务；
2、本发明的基于SwinIR网络的高光谱遥感图像去噪方法，加入了三维光谱图像编码与编码融合方法，能够更好的分割得到高光谱图像不同维度上的空间以及光谱信息编码并将其进行融合，从而获得多个维度信息的编码；
3、本发明的基于SwinIR网络的高光谱遥感图像去噪方法，在重构过程中加入残差图像重构方法，进一步提高了重构后高光谱图像的质量，能够适用于含有不同类型、不同波段噪声的受污染的高光谱图像，并能提高高光谱图像整体质量且不再依赖人工或先验知识。
附图说明
图1是根据本发明实施例提供的基于SwinIR的高光谱遥感图像去噪方法的流程图；
图2是根据本发明实施例提供的空间信息与光谱信息提取模块的示意图；
图3是根据本发明实施例提供的协调注意力模块的示意图；
图4是根据本发明实施例提供的空间信息编码与光谱信息编码融合模块的示意图；
图5是根据本发明实施例提供的残差图像重构模块的示意图；
图6是根据本发明实施例提供的高光谱图像去噪网络模型的示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
参照图1，本发明实施例提供的一种基于SwinIR的高光谱遥感图像去噪方法，针对高光谱图像，执行如下步骤S1-步骤S4，完成高光谱图像的去噪：
步骤S1：采集预设数量的高光谱图像，其中包括纯净高光谱图像和噪声高光谱图像，对所采集的所有高光谱图像进行预处理，预处理后的各高光谱图像均包含噪声，并根据预设比例将预处理后的高光谱图像划分为训练集和测试集。
预处理包括以下步骤S11-步骤S12：
步骤S11：针对纯净高光谱图像，手动添加的不同强度的高斯噪声和条纹噪声，/>为噪声强度，单位为dB，并随机在不同光谱带添加随机强度高斯噪声，并作（0.25，0.5，1）缩放和随机旋转进行数据增强，针对噪声高光谱图像，进行随机旋转；
步骤S12：将步骤S11所获得的各高光谱图像进行裁剪，统一为64*64大小。
步骤S2：构建高光谱图像去噪网络模型，该模型以预处理后的高光谱图像为输入，以重构的纯净高光谱图像为输出，高光谱图像去噪网络模型包括改进后的SwinIR网络、空间信息与光谱信息提取模块、协调注意力模块、空间信息编码与光谱信息编码融合模块、残差图像重构模块。
步骤S2中所述改进后的SwinIR网络将SwinIR基础网络的浅层特征提取的3*3卷积替换为空间信息与光谱信息提取模块，以提取高光谱图像的二维空间特征和三维光谱特征；高光谱图像去噪网络模型的工作过程如下：
所述空间信息与光谱信息提取模块包括二维卷积层Conv_2d、三维卷积层Conv_3d_1、三维卷积层Conv_3d_2，并对三者进行卷积拼接，以提取不同尺度的空间特征矩阵及光谱特征矩阵；
所述协调注意力模块采用平均池化、卷积、规范化（BatchNorm）、非线性层（Non-linear）的方法，融合不同尺度的空间特征矩阵及光谱特征矩阵，捕获远程依赖关系并保留位置信息，获得整体特征矩阵；
所述空间信息编码与光谱信息编码融合模块首先针对整体特征矩阵采用二维步长进行编码，获得整体特征向量，其次引入三维编码方法，采用三维步长对步骤S1所获得的预处理后的高光谱图像进行三维特征编码，得到光谱特征向量，引入自适应池化层，融合不同长度的整体特征向量、光谱特征向量，得到编码向量；
所述残差图像重构模块首先对步骤S1所获得的预处理后的高光谱图像采用卷积Conv_first进行空间特征提取后直接进行编码重构，获得残差图像；其次通过编码向量重构得到整体图像，将残差图像和整体图像根据预设权重结合，再采用反卷积Conv_last，最终获得重构的纯净高光谱图像。
各模块具体的工作过程如下：
参考图2，图中高光谱图像的维度为C*B*H*W，C、B、H、W分别表示光谱维度、通道数、高度、宽度；所述的空间信息与光谱信息提取模块包括空间二维卷积、光谱三维卷积、卷积拼接过程，具体过程如下：
所述空间二维卷积采用3*3二维卷积层Conv_2d，输入通道为光谱维度，输出通道为统一预设维度N，提取高光谱图像的空间信息，获得N*64*64大小的空间特征矩阵；
所述光谱三维卷积采用并行的两个相同通道数为1，不同卷积核大小的三维卷积层，即分别采用C*3*3的三维卷积层Conv_3d_1和C*7*7的三维卷积层Conv_3d_2，输出维度统一为预设维度N/2，提取高光谱图像的光谱信息，得到两个大小为（N/2）*1*64*64的光谱矩阵，其中C表示光谱维度；
所述卷积拼接是将分别经过三维卷积层Conv_3d_1和三维卷积层Conv_3d_2卷积后的两个光谱矩阵在预设维度N/2上进行拼接连接，得到拼接后大小为N*1*64*64的光谱特征矩阵。
参照图3，所述的协调注意力模块首先对光谱特征矩阵进行batch维度降维，将降维后的光谱特征矩阵与空间特征矩阵在预设维度N上进行拼接，获得维度为C*H*W的光谱特征与空间特征拼接矩阵，其中C为光谱维度、H和W分别表示高度和宽度，将光谱特征与空间特征拼接矩阵分别输入W的平均池化层与H的平均池化层，经过池化分别得到C*H*1和C*1*W矩阵：
式中，H和W表示输入矩阵的高和宽，输入图像，i，j分别代表输入图像高、宽单位像素，z为输出矩阵；
将这两个矩阵进行交换维度连接并作3*3二维卷积操作，得到C*1*(H+W)矩阵，之后经过整体规范化层和非线性层，再分别使用两个二维卷积重新得到C*H*1和C*1*W矩阵，由sigmoid函数激活后，拼接为原始大小的C*H*W矩阵；最终协调注意力模块融合了不同尺度的空间特征及光谱特征矩阵，捕获远程依赖关系并保留位置信息得到二维整体特征矩阵。
参照图4，所述的空间信息编码与光谱信息编码融合模块包括二维空间信息编码、三维光谱信息编码以及编码融合；
所述二维空间信息编码采用4*4的二维步长对整体特征矩阵进行分割，并将分割后的矩阵在H、W方向上编码，得到编码维度为E，长度为H*W的整体特征向量，着重提取图像空间信息；
所述三维光谱信息编码采用2*2*2的三维步长对步骤S1所获得的预处理后的高光谱图像进行三维特征分割，并将分割后的三维矩阵在C、H、W方向上编码，得到编码维度为E，长度为C*H*W的光谱特征向量，着重获取光谱信息；
所述编码融合是将整体特征向量和光谱特征向量在编码维度E上连接后，得到维度为E*(H*W+C*H*W) 的向量，该向量维度为E,长度为(H*W+C*H*W)，分别通过并行的自适应平均池化层和自适应最大池化层，得到统一长度E*H*W的平均池化向量和最大池化向量，并将二者相加，再经过sigmoid激活函数输出，最终得到编码向量。
参照图5，所述的残差图像重构模块首先对步骤S1所获得的预处理后的高光谱图像进行3*3的卷积Conv_first，然后使用4*4步长编码后得到E*W*H的原始向量，对其进行图像重构，获得残差图像；其次通过编码向量重构得到整体图像，将残差图像和整体图像根据预设权重结合：
其中O为最终输出图像，O res为残差图像，O’为重构图像，W与代表不同权重；
并对其进行3*3的反卷积Conv_last，最终获得重构的纯净高光谱图像；
所述图像重构的过程为：编码后的向量首先通过归一化层（LayerNorm，LN），再通过四级的多头自注意力机制（MSA），多头注意力机制主要用于给予图像不同权重，更好地利用各种信息，具体如下式：
其中，Attention表示多头注意力机制，Q、k、V分别为查询矩阵、键矩阵、值矩阵，由相应的权重矩阵WQ、WK、WV与编码后得到的矩阵相乘得到，d k 为欧氏距离；
在多头自注意力机制后引入残差，残差可表示为下式：
其中表示经过归一化层、多级多头注意力机制后得到的处理后向量，/>表示输入的编码后的向量，/>表示引入残差后得到的结果向量。
再通过归一化层，最后通过多层感知机（MLP），并在其结尾同样引入残差：
此时表示经过归一化层、多层感知机后得到的处理后向量，/>表示先前过程引入残差后得到的结果向量，X表示引入残差后得到的向量。
图6为一种基于SwinIR的高光谱遥感图像去噪方法的整体网络模型，在经过所述空间信息与光谱信息提取模块、协调注意力模块、空间信息编码与光谱信息编码融合模块后，编码向量输入4个并行的重构层，每个重构层包含6个残差图像重构模块。每一个残差图像重构模块互为独立，可以充分学习图像特征并得到最优结果。引入原始图像残差，将输出结果与原始图像残差相加后，得到最终重构后的纯净高光谱图像。
步骤S3：针对高光谱图像去噪网络模型，以训练集中的各高光谱图像为输入，以重构的纯净高光谱图像为输出，应用损失函数对高光谱图像去噪网络模型进行预设次数的训练，获得训练完成的高光谱图像去噪网络模型。
所应用的损失函数如下式：
式中，L1_Charbonnier_loss表示损失函数，y表示步骤S1所获得的预处理后的高光谱图像，x表示去噪后的重构的纯净高光谱图像，为常数项，取值为/>。
步骤S4：将测试集中的各高光谱图像输入训练完成的高光谱图像去噪网络模型，获得测试集中的各高光谱图像对应的重构的纯净高光谱图像，并针对去噪结果进行评价。
去噪结果进行评价的指标为：峰值信噪比（PSNR）、结构相似性（SSIM）、光谱角度匹配(SAM)，具体如下式：
其中，I为输出图像，MSE为输出图像与输入图像方差；为输出图像I中图像点颜色的最大数值；
其中，l(x,y)为比较亮度，c(x,y) 为比较对比度，s(x,y) 为比较结构，α，β，γ设为1；
其中，，/>表示图像x，y的伴随矩阵。
实验评估结果如表1所示，展示结果为ICVL公开数据集结果。
根据表1得出面对噪声高光谱图像，本发明展现出了优秀的去噪性能。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (9)
1.一种基于SwinIR的高光谱遥感图像去噪方法，其特征在于，针对高光谱图像，执行如下步骤S1-步骤S4，完成高光谱图像的去噪：
步骤S1：采集预设数量的高光谱图像，其中包括纯净高光谱图像和噪声高光谱图像，对所采集的所有高光谱图像进行预处理，预处理后的各高光谱图像均包含噪声，并根据预设比例将预处理后的高光谱图像划分为训练集和测试集；
步骤S2：构建高光谱图像去噪网络模型，该模型以预处理后的高光谱图像为输入，以重构的纯净高光谱图像为输出，高光谱图像去噪网络模型包括改进后的SwinIR网络、空间信息与光谱信息提取模块、协调注意力模块、空间信息编码与光谱信息编码融合模块、残差图像重构模块；
步骤S3：针对高光谱图像去噪网络模型，以训练集中的各高光谱图像为输入，以重构的纯净高光谱图像为输出，应用损失函数对高光谱图像去噪网络模型进行预设次数的训练，获得训练完成的高光谱图像去噪网络模型；
步骤S4：将测试集中的各高光谱图像输入训练完成的高光谱图像去噪网络模型，获得测试集中的各高光谱图像对应的重构的纯净高光谱图像，并针对去噪结果进行评价。
2.根据权利要求1所述的一种基于SwinIR的高光谱遥感图像去噪方法，其特征在于，步骤S1中所述的预处理包括以下步骤S11-步骤S12：
步骤S11：针对纯净高光谱图像，手动添加不同强度的噪声，并通过缩放、随机旋转进行数据增强，针对噪声高光谱图像，进行随机旋转；
步骤S12：将步骤S11所获得的各高光谱图像进行裁剪，统一为64*64大小。
3.根据权利要求2所述的一种基于SwinIR的高光谱遥感图像去噪方法，其特征在于，步骤S2中所述改进后的SwinIR网络将SwinIR基础网络的浅层特征提取的3*3卷积替换为空间信息与光谱信息提取模块，以提取高光谱图像的二维空间特征和三维光谱特征；
所述空间信息与光谱信息提取模块包括二维卷积层Conv_2d、三维卷积层Conv_3d_1、三维卷积层Conv_3d_2，并对三者进行卷积拼接，以提取不同尺度的空间特征矩阵及光谱特征矩阵；
所述协调注意力模块采用平均池化、卷积、规范化、非线性层的方法，融合不同尺度的空间特征矩阵及光谱特征矩阵，捕获远程依赖关系并保留位置信息，获得整体特征矩阵；
所述空间信息编码与光谱信息编码融合模块首先针对整体特征矩阵采用二维步长进行编码，获得整体特征向量，其次引入三维编码方法，采用三维步长对步骤S1所获得的预处理后的高光谱图像进行三维特征编码，得到光谱特征向量，引入自适应池化层，融合不同长度的整体特征向量、光谱特征向量，得到编码向量；
所述残差图像重构模块首先对步骤S1所获得的预处理后的高光谱图像采用卷积Conv_first进行空间特征提取后直接进行编码重构，获得残差图像；其次通过编码向量重构得到整体图像，将残差图像和整体图像根据预设权重结合，再采用反卷积Conv_last，最终获得重构的纯净高光谱图像。
4.根据权利要求3所述的一种基于SwinIR的高光谱遥感图像去噪方法，其特征在于，步骤S2中所述的空间信息与光谱信息提取模块包括空间二维卷积、光谱三维卷积、卷积拼接过程，具体过程如下：
所述空间二维卷积采用3*3二维卷积层Conv_2d提取高光谱图像的空间信息，获得空间特征矩阵；
所述光谱三维卷积采用并行的两个相同通道不同卷积核大小的三维卷积层，即分别采用C*3*3的三维卷积层Conv_3d_1和C*7*7的三维卷积层Conv_3d_2提取高光谱图像的光谱信息，获得两个光谱矩阵，其中C表示光谱维度；
所述卷积拼接是将分别经过三维卷积层Conv_3d_1和三维卷积层Conv_3d_2卷积后的两个光谱矩阵根据通道维度相加，得到光谱特征矩阵。
5.根据权利要求4所述的一种基于SwinIR的高光谱遥感图像去噪方法，其特征在于，步骤S2中所述的协调注意力模块首先对光谱特征矩阵进行batch维度降维，将降维后的光谱特征矩阵与空间特征矩阵进行拼接，获得维度为C*H*W的光谱特征与空间特征拼接矩阵，其中C为光谱维度，H和W分别为高度和宽度，将光谱特征与空间特征拼接矩阵作为输入，依次经过并行的平均池化层、整体二维卷积层、整体规范化层和非线性层，最后由并行sigmoid激活函数输出，得到融合后的整体特征矩阵。
6.根据权利要求5所述的一种基于SwinIR的高光谱遥感图像去噪方法，其特征在于，步骤S2中所述的空间信息编码与光谱信息编码融合模块包括二维空间信息编码、三维光谱信息编码以及编码融合；
所述二维空间信息编码采用4*4的二维步长对整体特征矩阵进行分割、编码，提取空间信息，获得整体特征向量；
所述三维光谱信息编码采用2*2*2的三维步长对步骤S1所获得的预处理后的高光谱图像进行分割、编码，提取光谱信息，获得光谱特征向量；
所述编码融合是将整体特征向量和光谱特征向量连接后，分别通过并行的自适应平均池化层和自适应最大池化层，得到长度统一的平均池化向量和最大池化向量，并将二者相加，再经过sigmoid激活函数输出，最终得到编码向量。
7.根据权利要求6所述的一种基于SwinIR的高光谱遥感图像去噪方法，其特征在于，步骤S2中所述的残差图像重构模块首先对步骤S1所获得的预处理后的高光谱图像进行3*3的卷积Conv_first，然后使用4*4步长编码后进行图像重构，获得残差图像；其次通过编码向量重构得到整体图像，将残差图像和整体图像根据预设权重结合，并对其进行3*3的反卷积Conv_last，最终获得重构的纯净高光谱图像；
所述图像重构的过程为：编码后的向量首先通过归一化层，再通过多头自注意力机制，在多头自注意力机制后引入残差，再通过归一化层，最后通过多层感知机，并在其结尾同样引入残差。
8.根据权利要求7所述的一种基于SwinIR的高光谱遥感图像去噪方法，其特征在于，步骤S3中所应用的损失函数如下式：
式中，L1_Charbonnier_loss表示损失函数，y表示步骤S1所获得的预处理后的高光谱图像，x表示去噪后的重构的纯净高光谱图像，为常数项，取值为/>。
9.根据权利要求8所述的一种基于SwinIR的高光谱遥感图像去噪方法，其特征在于，步骤S4中去噪结果进行评价的指标为：峰值信噪比、结构相似性、光谱角度匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310762260.1A CN116503292B (zh) | 2023-06-27 | 2023-06-27 | 一种基于SwinIR的高光谱遥感图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310762260.1A CN116503292B (zh) | 2023-06-27 | 2023-06-27 | 一种基于SwinIR的高光谱遥感图像去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116503292A true CN116503292A (zh) | 2023-07-28 |
| CN116503292B CN116503292B (zh) | 2023-09-12 |
Family
ID=87327004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310762260.1A Active CN116503292B (zh) | 2023-06-27 | 2023-06-27 | 一种基于SwinIR的高光谱遥感图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503292B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721243A (zh) * | 2023-08-11 | 2023-09-08 | 自然资源部第一海洋研究所 | 一种空谱特征约束的深度学习大气校正方法及系统 |
| CN117765297A (zh) * | 2023-11-20 | 2024-03-26 | 中国地质大学（武汉） | 高光谱图像分类方法、装置、设备及存储介质 |
| CN118657662A (zh) * | 2024-08-20 | 2024-09-17 | 山东远桥信息科技有限公司 | 一种基于高光谱的智慧城市监控超分辨率增强方法及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972075A (zh) * | 2022-04-27 | 2022-08-30 | 南京航空航天大学 | 一种基于残差学习和混合域注意力的高光谱图像去噪方法 |
| CN115439325A (zh) * | 2022-09-09 | 2022-12-06 | 湖南大学 | 低分辨率高光谱图像处理方法、装置、计算机程序产品 |
| CN116309070A (zh) * | 2023-03-24 | 2023-06-23 | 阿坝州自然资源与科技信息研究所 | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 |
-
2023
- 2023-06-27 CN CN202310762260.1A patent/CN116503292B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972075A (zh) * | 2022-04-27 | 2022-08-30 | 南京航空航天大学 | 一种基于残差学习和混合域注意力的高光谱图像去噪方法 |
| CN115439325A (zh) * | 2022-09-09 | 2022-12-06 | 湖南大学 | 低分辨率高光谱图像处理方法、装置、计算机程序产品 |
| CN116309070A (zh) * | 2023-03-24 | 2023-06-23 | 阿坝州自然资源与科技信息研究所 | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721243A (zh) * | 2023-08-11 | 2023-09-08 | 自然资源部第一海洋研究所 | 一种空谱特征约束的深度学习大气校正方法及系统 |
| CN116721243B (zh) * | 2023-08-11 | 2023-11-28 | 自然资源部第一海洋研究所 | 一种空谱特征约束的深度学习大气校正方法及系统 |
| CN117765297A (zh) * | 2023-11-20 | 2024-03-26 | 中国地质大学（武汉） | 高光谱图像分类方法、装置、设备及存储介质 |
| CN117765297B (zh) * | 2023-11-20 | 2024-06-07 | 中国地质大学（武汉） | 高光谱图像分类方法、装置、设备及存储介质 |
| CN118657662A (zh) * | 2024-08-20 | 2024-09-17 | 山东远桥信息科技有限公司 | 一种基于高光谱的智慧城市监控超分辨率增强方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116503292B (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN116503292B (zh) | 一种基于SwinIR的高光谱遥感图像去噪方法 | |
| Jiang et al. | Decomposition makes better rain removal: An improved attention-guided deraining network | |
| Su et al. | A survey of deep learning approaches to image restoration | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| Ye et al. | CSformer: Bridging convolution and transformer for compressive sensing | |
| CN112257766B (zh) | 一种基于频域滤波处理的自然场景下阴影识别检测方法 | |
| Liu et al. | UMAG-Net: A new unsupervised multiattention-guided network for hyperspectral and multispectral image fusion | |
| Huang et al. | Deep Gaussian scale mixture prior for image reconstruction | |
| Ahmed et al. | PIQI: perceptual image quality index based on ensemble of Gaussian process regression | |
| CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 | |
| Pan et al. | Multiscale adaptive fusion network for hyperspectral image denoising | |
| Meng et al. | Gia-net: Global information aware network for low-light imaging | |
| Niresi et al. | Robust hyperspectral inpainting via low-rank regularized untrained convolutional neural network | |
| Dixit et al. | A Review of Single Image Super Resolution Techniques using Convolutional Neural Networks | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| Wang et al. | Fully non-homogeneous atmospheric scattering modeling with convolutional neural networks for single image dehazing | |
| CN115311149A (zh) | 图像去噪方法、模型、计算机可读存储介质及终端设备 | |
| Kohei et al. | Deep residual attention network for hyperspectral image reconstruction | |
| Chen et al. | Learning Deep Subspace Projection Prior for Dual-Camera Compressive Hyperspectral Imaging | |
| Liu et al. | A Novel Lightweight Model for Underwater Image Enhancement | |
| Del Campo et al. | Influence of image pre-processing to improve the accuracy in a convolutional neural network | |
| Shao et al. | No-Reference image quality assessment based on edge pattern feature in the spatial domain | |
| US20240153161A1 (en) | Convolution and transformer based compressive sensing | |
| CN115631115B (zh) | 基于递归Transformer的动态图像复原方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |