CN114972075A - 一种基于残差学习和混合域注意力的高光谱图像去噪方法 - Google Patents

一种基于残差学习和混合域注意力的高光谱图像去噪方法 Download PDF

Info

Publication number
CN114972075A
CN114972075A CN202210454377.9A CN202210454377A CN114972075A CN 114972075 A CN114972075 A CN 114972075A CN 202210454377 A CN202210454377 A CN 202210454377A CN 114972075 A CN114972075 A CN 114972075A
Authority
CN
China
Prior art keywords
hyperspectral image
noise
mixed domain
hyperspectral
domain attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210454377.9A
Other languages
English (en)
Inventor
许娟
杨华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210454377.9A priority Critical patent/CN114972075A/zh
Publication of CN114972075A publication Critical patent/CN114972075A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于残差学习和混合域注意力的高光谱图像去噪方法，主要针对电磁干扰、大气扰动、成像设备限制等因素影响而产生的高光谱图像噪声污染问题。首先对含复杂混合噪声的高光谱图像所有波段进行带重叠的分组操作，再对每个分组分别使用稀疏特征提取模块和基于混合域注意力模块进行特征提取及处理，获得局部的光谱‑空间特征，将局部特征连接后，进一步使用同分支网络结构一致的模块来提取深层光谱‑空间特征，最后通过基于残差学习策略得到去噪后的高光谱图像。

Description

一种基于残差学习和混合域注意力的高光谱图像去噪方法
技术领域
本发明属于高光谱图像处理领域，具体涉及一种基于残差学习和混合域注意力的高光谱图像混合噪声去除方法。
背景技术
高光谱成像技术是一种将反映物质辐射的光谱信息与反映物质二维空间的图像信息集于一体的“图谱合一”技术。高光谱图像的光谱波段覆盖400nm-2500nm可见光以及红外光谱，包含几十至上百个通道。其丰富的光谱信息在很多领域中都得到了不可替代的应用，例如，检测食品的质量、勘探地质矿物分布、监测环境污染情况以及军事目标识别等。成像光谱仪波段通道密集造成的光成像能量不足、以及外部环境因素的影响进而引入噪声，导致我们能够观测到的高光谱图像存在质量低、视觉效果差等问题。此外，噪声的存在也会在一定程度上使获取到的地物光谱特征产生“失真”，继而影响在后续高光谱图像分析和应用中的精度。因此，对于高光谱图像的去噪任务有着不可忽视的必要性。
目前，这项任务常见的去噪方法可分为三类：基于滤波器的方法、基于模型优化的方法、数据驱动的深度学习方法。1)基于滤波器的方法旨在通过滤波器操作从噪声信号中分离出干净信号，包括了傅里叶变化、小波变换、非局部均值变换、以及PCA主成分分析变换等，该类方法主要针对二维图像去噪问题，在处理高维立方体的高光谱图像数据时，往往会因为忽略了光谱之间的强相关性而导致去噪效果差的问题。2)基于模型优化的方法考虑了高光谱数据的合理假设或先验，将噪声高光谱图像映射到干净高光谱图像，以保持光谱-空间特征，比如稀疏低秩算法、空间自适应总变差去噪算法等。该类方法的使用是目前较为常见的一类方法，并且它对高斯噪声具有很强的假设性，但是不可忽略的是，该方法最终都归结于对于复杂问题的优化问题，需要进行多次迭代才能得到最优解，在实际过程中具有很高的计算成本以及时间成本。3)基于深度学习的方法，以端到端的方式从数据本身构建一个自动、分层的学习模型，从而适应噪声特征学习。与前两种方法相比，基于学习的方法能够联合考虑空间相似性和光谱相关性，更好地获取到高光谱图像的特征表示进而得到高质量的去噪结果。但是目前关于基于学习方法的研究还比较少，其中大多都是集中于特定的噪声水平或类型进行去除，对于混合噪声去噪的研究还不够充分。
发明内容
本发明提供一种基于残差学习和混合域注意力的高光谱图像去噪方法，通过残差学习策略以及混合域注意力提取高光谱图像的光谱与空间信息之间特有的相关性，达到从被噪声污染的高光谱图像中恢复出高质量高光谱图像的目的。
为解决上述技术问题，本发明采用如下的技术方案：
步骤1：准备高光谱图像数据作为原始干净图像数据，并按照8∶2的比例将下载的高光谱图像裁剪出两部分：训练部分和测试部分，并分别进行数据集增强操作，将该部分作为带噪声的高光谱图像X；
步骤2：对训练部分和测试部分添加模拟噪声得到带噪声的图像数据，将该部分作为带噪声的高光谱图像Y，并且构建干净-带噪声高光谱图像对；
步骤3：构建基于残差学习及混合域注意力的高光谱图像去噪网络RMDAN：结合分组策略对高维的高光谱数据进行分组，并对每个分组分别进行具体的特征处理操作；结合混合域注意力对得到的光谱-空间特征进行调整，得到更丰富的深层高频特征；最后通过残差连接得到去噪结果；
步骤4：利用干净-带噪声图像对训练基于残差学习及混合域注意力的高光谱图像去噪网络RMDAN；
步骤5：利用训练完成的RMDAN网络对测试数据集进行去噪任务。
进一步地，步骤1数据集的准备以及增强的详细操作如下：
步骤1.1：准备高光谱图像数据作为原始干净图像数据X，并按照8∶2的比例将下载的高光谱图像裁剪出两部分：训练部分和测试部分：
步骤1.2：为了能够获得更加丰富多样的数据集，分别将训练部分和测试数据以空间像素位置(0，0)为原点，以stride步幅将整张高光谱图像数据划分为若干个N*N*C的子图像块，并进一步如下所示的数据集增强操作：
data_augmentation(images，aug_num)，
其中，aug_num上下翻转、顺/逆时针旋转指定角度等。
进一步地，步骤2准备干净-带噪声高光谱图像对的详细操作如下：
步骤2.1：对带噪声的图像数据进行建模：本发明中会将多种噪声类型转换为加性噪声作为近似表示进行处理，故在本发明所考虑的噪声模型为：
Y＝X+N，
其中，N表示多种不同类型的混合噪声，Y表示带噪声的高光谱图像，X表示原始干净的高光谱图像。
步骤2.2：获取带噪声污染的数据样本Y：利用2.1所建立的噪声模型，对原始干净图像添加模拟噪声N，得到带噪声的高光谱图像数据Y。
进一步地，所述步骤3基于残差学习及混合域注意力的高光谱图像去噪网络RMDAN的构建操作如下：
步骤3.1：对带噪声的高光谱图像根据其波段之间存在的相关性和差异性进行分组处理，得到G个分组。对于高光谱图像Y来说，可以将其光谱维度划分为G个互相重叠的分组，即：
{Y1，Y2，......，YG}＝Group(Y)，
其中，Group(·)表示波段分组操作。
步骤3.2：对每个分组数据Yg(g＝1，2，......，G)分别利用由稀疏特征提取模块SFENet和混合域注意力模块MDAB组成的分支网络进行处理得到局部光谱-空间特征。详细操作如下所示：
(1)首先利用稀疏特征提取模块提取稀疏特征
Figure BSA0000271874260000035
具体来说，稀疏特征提取模块SFENet由R个稀疏块SFEB串联组成，每个稀疏块包含8个卷积块CB和空洞卷积块ACB，其中CB块表示Convolution+Batch Normalization+ReLU激活函数组成的普通卷积块，如图2a)所示；ACB块表示Atrous Convolution+Batch Normalization+ReLU激活函数组成的空洞卷积块，如图2b)所示。此外，在该模块的输入与输出之间添加跨层连接，将输入信息与本模块的输出求和作为下一模块的输入，保证模型训练过程具有更好的稳定性。该过程可以形式化的描述为：
Figure BSA0000271874260000031
其中，fSFENet(·)表示稀疏特征提取模块SFENet。
(2)对于得到的稀疏光谱-空间特征
Figure BSA0000271874260000032
利用混合域注意力模块MDAB对已经学习到的特征进行调整，捕捉跨域的交互特征，使网络关注到更多的高频噪声特征，得到深层的局部光谱-空间特征
Figure BSA0000271874260000033
Figure BSA0000271874260000034
其中，fMDAB(·)表示混合域注意力模块MDAB，具体来说，MDAB包含了三个分支，用来对三组两个不同维度之间的交互特征进行建模提取。
步骤3.3：对所有分支网络得到的局部光谱-空间特征
Figure BSA0000271874260000041
经过卷积进一步处理后，在光谱维度进行连接，得到尺寸与输入高光谱图像一样的全局特征表示FG0：
Figure BSA0000271874260000042
其中，Cat(·)表示特征连接操作，Conv(·)表示普通卷积操作。
步骤3.4：对于得到的全局光谱-空间特征FG0，使用与分支网络结构保持一致的全局网络进行全局特征提取，进一步得到深层的全局特征FG1，即：
FG1＝fMDAB(fSFENet(FG0)+FG0)，
步骤3.5：将全局特征FG1利用卷积处理后，得到预测的残差噪声估计Ires，然后利用残差学习策略得到去噪后的高光谱图像Ifin：
Ifin＝Ires+Y＝Conv(FG1)+Y，
本发明所提供的基于残差学习和混合域注意力的高光谱图像去噪方法，通过所述的稀疏特征提取、混合域注意力模块等来学习噪声残差图像，再利用全局的跨层连接进而恢复最终的去噪结果。本发明所提供的基于残差学习和混合域注意力的高光谱图像去噪方法具有如下优点：1)本发明提出了一种基于残差学习和混合域注意力的高光谱图像去噪网络RMDAN，主要由稀疏特征提取模块SFENet、混合域注意力模块MDAB以及残差连接等构成。稀疏特征提取模块SFENet使用普通卷积块CB和空洞卷积块ACB来提取稀疏光谱-空间特征，扩大感受野的同时，不过度的增加网络参数量。混合域注意力模块MDAB由三个跨域分支并联组成，用来提取深层光谱-空间特征，旨在使网络训练时更加关注噪声特征，进而获得更多的噪声特征，提高高光谱图像的恢复效果。2)本发明针对高光谱图像数据的高维特性，基于高光谱图像具有相邻波段之间存在相似性、距离较远的波段之间存在差异性的特点，将高维的高光谱图像划分为多个分组，并对每个分组分别进行特征处理，以达到在充分利用光谱相关性的同时，降低数据的维度以及减少网络参数量的目的。3)本发明采用了多种不同类型的噪声进行训练，以提高网络的去噪泛化能力。
附图说明
图1为本发明的操作步骤流程图。
图2为本发明的普通卷积块CB和空洞卷积块ACB的结构示意图。
图3为本发明的基于残差学习和混合域注意力的高光谱图像去噪网络RMDAN架构图。
具体实施方法
结合图1、3所示，本发明的具体步骤如下：
步骤1：准备高光谱图像数据作为原始干净图像数据，并按照8∶2的比例将下载的高光谱图像裁剪出两部分：训练部分和测试部分，并分别进行数据集增强操作。将该部分作为干净数据集X。
步骤1.1：下载网络上开源的高光谱图像数据集，按照图像空间维度特定方向的8∶2比例进行分割，得到训练部分和测试部分数据，例如一张高光谱图像尺寸为W*H*C，则按照W或者H的8∶2比例进行分割为训练部分和测试部分。
步骤1.2：为了获得更加丰富多样的数据集，分别将训练部分和测试部分以空间像素位置(0，0)为原点，以stride步幅将整张高光谱图像数据划分为若干个N*N*C的子图像块，并进行如下所示的数据集增强操作，扩充高光谱图像数据集：
dataaugmentation(images，aug_num)，其中，aug_num上下翻转、顺/逆时针旋转指定角度等。
步骤2：对训练部分和测试部分添加模拟噪声得到带噪声的图像数据，并且构建干净-带噪声高光谱图像对。将该部分作为带噪声的高光谱图像Y。
步骤2.1：对噪声数据进行建模：
目前可观测到的高光谱图像所包含的噪声根据噪声与信号的关系可分为加性噪声和乘性噪声。加性噪声和图像本身的信号强度是不相关的，且可以近似为高斯白噪声，所以这类带噪声的高光谱图像Y可以视为原始干净高光谱图像X与噪声A之和：
Y＝X+A (1)，
然而，乘性噪声和图像信号是相关的，并且其往往会随着图像信号的变化而变化。传感器输出信号对于光子信号非常敏感，因此高光谱图像中乘性噪声的部分不可忽略。在本发明中将其转换为加性噪声的近似表示：
Y＝X+A*X (2)，
综上所述，本发明所考虑的噪声数据可以形式化地表述为：
Y＝X+N (3)，
其中，Y代表我们所能观测到降质的高光谱图像；X代表干净的高光谱图像；N代表高斯噪声、脉冲噪声、稀疏条纹噪声以及死线等多种类型的噪声。在本噪声数据模型中，X和N是互相独立的。
步骤2.2：根据2.1所述的噪声数据模型对数据集X添加模拟噪声，得到模型的输入数据Y。因此在本发明中，带混合噪声的高光谱图像的建模过程可以描述为：
Y＝X+N，Y，X，N∈RN*N*C (4)，
其中，N*N表示高光谱图像块的空间维度尺寸即空间像素数目，C表示高光谱图像的光谱维度尺寸即光谱通道数目。
步骤3：结合分组策略、残差学习策略以及混合域注意力等思想，构建基于残差学习及混合域注意力的高光谱图像去噪网络RMDAN。
步骤3.1：为了能够利用高光谱图像相邻光谱波段之间相关性的同时，达到降低数据维数以及模型参数数量的目的，对含噪声的高光谱图像Y利用分组策略进行处理，得到G个分组Y1，Y2，......，YG，即：
{Y1，Y2，......，YG}＝Group(Y) (5)，
其中，Group(·)表示波段分组操作。详细的分组策略如下：
(1)计算高光谱图像Y各波段之间的相关系数矩阵，第i波段和第j波段之间的相关系数计算方式如下所示：
Figure BSA0000271874260000061
其中，COV(i，j)表示第i波段和第j波段之间的协方差，D(i)表示第i波段的方差。高光谱图像Y的相关系数矩阵PY为：
PY＝(ρi，j) (7)，
显然，PY是一个对角线为1的C*C对称三角矩阵；
(2)划分高光谱图像Y：根据相关系数矩阵PY，将高光谱图像Y划分为G个分组，同时本发明考虑到相邻分组之间仍然存在一定的相关性，所以在相邻组互设置有ovl个重叠波段，具体的分组策略可以描述为：
1)输入：相关系数矩阵(PY)C*C，重叠系数ovl；
2)初始化：i＝1，j＝i+1，start＝[]，end＝[]，G＝0；
3)按照如下伪代码所示的过程对光谱波段进行分组：
Figure BSA0000271874260000062
Figure BSA0000271874260000071
如此将Y划分为G个分组，且列表start和end中分别记录了每个分组的起始波段索引号和终止波段索引号，即：
Y＝[Y1，Y2，......，YG] (8)，
其中[…]表示连接操作。
步骤3.2：对每个分组数据
Figure BSA0000271874260000072
分别利用由稀疏特征提取模块SFENet和混合域注意力模块MDAB组成的分支网络进行处理得到局部光谱-空间特征。详细步骤如下所示：
(1)首先利用稀疏特征提取模块提取稀疏特征
Figure BSA0000271874260000073
具体来说，稀疏特征提取模块SFENet由R个稀疏块SFEB串联组成，每个稀疏块包含8个卷积块CB和空洞卷积块ACB，其中CB块表示Convolution+Batch Normalization+ReLU激活函数组成的普通卷积块，如图2a)所示；ACB块表示Atrous Convolution+Batch Normalization+ReLU激活函数组成的空洞卷积块，如图2b)所示。此外，在该模块中添加了跨层连接，将输入信息与本模块的输出求和作为下一模块的输入，保证模型训练过程具有更好的稳定性。该过程形式化的描述为：
Figure BSA0000271874260000074
其中，fSFENet(·)表示稀疏特征提取模块SFENet。具体来说，SFENet模块由8个卷积块串联组成，故此，由SFENet提取得到的稀疏光谱-空间特征
Figure BSA0000271874260000075
表示为：
Figure BSA0000271874260000076
其中1、2、6、8为CB普通卷积块，由fCB(·)所表示；3、4、5、7为ACB空洞卷积块，由fACB(·)表示。
在稀疏特征提取模块中SFENet采用空洞卷积，并设置不同的空洞率，会获取不同大小的感受野，即在不引入额外参数的情况下，获取了多尺度信息。空洞卷积的使用需要考虑两个问题：1)当多次叠加使用空洞率大于等于2的卷积核时，获取到的卷积结果存在局部信息丢失，出现网格效应；2)空洞卷积稀疏地采样输入信号，使得远距离卷积所得的信息之间缺乏相关性，从而影响任务最终结果精度。
为了避免上述问题的存在，SFENet模块中8个卷积的空洞率分别设置为1、1、3、5、7、1、3、1，来提取不同尺度的特征。另外，当空洞率为1时，此时空洞卷积等价于普通卷积。
(2)对于得到的稀疏光谱-空间特征
Figure BSA0000271874260000081
利用混合域注意力模块MDAB对已经学习到的特征进行调整，捕捉跨域的交互特征，使网络关注到更多的高频噪声特征，得到深层的局部光谱-空间特征表示
Figure BSA0000271874260000082
Figure BSA0000271874260000083
其中，fMDAB(·)表示混合域注意力模块MDAB，具体来说，MDAB包含了三个跨域分支，用来对三组两个不同维度之间的交互特征进行建模提取。
在高光谱图像中，不同的波段对最终去噪结果的贡献不同，所以在特征提取过程中，需要通过注意力机制进行自适应地、动态地调节局部波段特征与全局特征的依赖性，使得网络在训练时更加关注噪声特征，提取更加丰富且隐藏在复杂背景中的噪声信息，进而提高训练噪声模型的效率和减少复杂度。
具体来说，混合域注意力模块MDAB所包含三个跨域分支注意力的整体过程可以描述为：
Figure BSA0000271874260000084
Figure BSA0000271874260000085
Figure BSA0000271874260000086
Figure BSA0000271874260000087
Figure BSA0000271874260000088
Figure BSA0000271874260000089
其中，Rot1和Rot2表示分别围绕空间的H维和W维逆时针旋转90°，
Figure BSA0000271874260000091
和
Figure BSA0000271874260000092
表示其逆过程，Z_Pool(·)表示将输入图像第一个维度上的平均池化特征和最大池化特征连接起来，该操作能够保留其丰富的特征，同时缩小其深度，减少计算量。例如，特征图X进行Z_Pool操作，其进一步可以描述为：
T＝Z_Pool(X)＝[MaxPool(X)；AvgPool(X)] (18)，
步骤3.3：对所有分支网络得到的局部光谱-空间特征
Figure BSA0000271874260000093
经过卷积处理后，在光谱维度进行连接，得到尺寸与输入高光谱图像一样的全局特征表示FG0：
Figure BSA0000271874260000094
其中，Cat(·)表示特征连接操作，Conv(·)表示普通卷积操作。需要注意的是，由于相邻组设置有ovl个重叠波段，在进行连接操作时需要对重叠波段中的特征值进行平均来得到最终的全局光谱-空间特征。
步骤3.4：对于得到的全局光谱-空间特征FG0，使用与分支网络结构保持一致的全局网络进行全局特征提取，得到深层的全局特征FG1，即：
FG1＝fMDAB(fSFENet(FG0)+FG0) (20)，
步骤3.5：将全局特征FG1利用卷积处理后，得到预测的残差噪声估计Ires，然后利用残差学习策略得到去噪后的高光谱图像Ifin：
残差学习策略能够学习到更利于进行在网络中传播的残差图像，即使输入与输出之间的差异，同时很大程度上避免网络出现梯度消失的问题。因此在本发明中的输入和输出之间添加了全局的残差连接，将输入的带噪声高光谱图像添加到输出端，进行同位像素级求和操作，得到最终预测的去噪结果Ifin：
Ifin＝Y+Ires＝Y+Conv(FG1) (21)，
步骤4：利用干净-带噪声图像对训练基于残差学习及混合域注意力的高光谱图像去噪网络RMDAN。
将2.2制作的带噪声训练样本输入去噪网络进行训练，使用如步骤4.1所描述的损失函数作为训练目标，及Adam作为去噪网络的优化器。
步骤4.1：设计损失函数：高光谱图像HSI包含了丰富的空间信息和光谱信息，且噪声同时分布在空间域和光谱域范围内，因此损失函数对空间信息和光谱信息都要进行衡量。本发明使用均方误差LMSE和基于光谱角度量误差LSpec，此外还添加了对噪声估计的惩罚项Lpunish，用来衡量残差噪声的预测误差。如下所示：
Figure BSA0000271874260000101
Figure BSA0000271874260000102
Figure BSA0000271874260000103
其中，N表示一次训练过程中的数据量，Xi∈RH*W*C表示干净的原始图像，Yi∈RH*W*C表示带噪声的图像，Yi，j、Xi，j分别表示带噪声HSI和干净HSI在空间位置(i，j)的光谱向量，||·||2表示L2-范数，＜·，·＞表示两个向量的内积操作，Z表示估计的残差噪声，
Figure BSA0000271874260000104
表示真实添加的噪声。
综上所述，本发明所使用的完整损失函数可定义为：
Ltotal＝LMSE+LSpec+Lpunish (25)
步骤4.2：将训练样本Y输入到基于残差学习和混合域注意力的去噪网络RMDAN中进行训练，利用上述所示的损失函数作为优化目标，结合优化器Adam对网络进行优化。
步骤5：利用训练完成的RMDAN网络对测试样本进行图像去噪任务。
以上对本发明所提供的基于残差学习和混合注意力机制的高光谱图像去噪方法做了详细的说明，但是显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明的权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (4)

1.一种基于残差学习和混合域注意力的高光谱图像去噪方法，其特征在于，具体操作步骤如下：
步骤1：准备高光谱图像数据作为原始干净图像数据，并按照8∶2的比例将下载的高光谱图像裁剪出两部分：训练部分和测试部分，并分别进行高光谱数据集增强操作，将该部分作为原始干净图像X；
步骤2：对训练部分和测试部分添加模拟噪声得到带噪声的图像数据，将其作为带噪声的高光谱图像Y；
步骤3：构建基于残差学习及混合域注意力的高光谱图像去噪网络RMDAN：结合分组策略对高维的高光谱数据进行分组，并对每个分组分别进行特征处理操作；结合混合域注意力对得到的光谱-空间特征进行调整，得到更丰富的深层高频特征；最后通过残差连接得到去噪结果；
步骤4：训练基于残差学习及混合域注意力的高光谱图像去噪网络RMDAN；
步骤5：利用训练完成的RMDAN网络对测试数据集进行去噪任务。
2.根据权利要求1中所述的一种基于残差学习和混合域注意力的高光谱图像去噪方法，其特征在于，在步骤1中，所述的高光谱图像数据集的预处理操作以及多种高光谱图像数据集增强手段，详细步骤包括：
步骤1.1：下载网络上开源的高光谱图像数据集，按照图像空间维度特定方向的8∶2比例进行裁剪为两部分，例如一张高光谱图像尺寸为W*H*C，则按照W或者H的8∶2比例进行裁剪为训练部分和测试部分；
步骤1.2：为了能够获得更加丰富多样的数据集，分别将训练部分和测试数据以空间像素位置(0，0)为原点，以stride步幅将整张高光谱图像数据划分为若干个N*N*C的子图像块，并进行如下所示的数据集增强操作，来扩充高光谱图像数据集：
data_augmentation(images，aug_num)，
其中，aug_num所指定的操作包括上下翻转、顺/逆时针旋转一定角度等。
3.根据权利要求1中所述的一种基于残差学习和混合域注意力的高光谱图像去噪方法，其特征在于，所述步骤3中，对输入的高维高光谱图像数据根据其波段之间存在相关性和差异性特点在光谱维度进行分组处理，得到G个分组，即：
{Y1，Y2，......，YG}＝Group(Y)，
其中，Group(·)表示波段分组操作，详细步骤包括：
(1)计算高光谱图像Y各波段之间的相关系数矩阵，第i波段和第j波段之间的相关系数计算方式如下所示：
Figure FSA0000271874250000021
其中，COV(i，j)表示第i波段和第j波段之间的协方差，D(i)表示第i波段的方差。高光谱图像Y的相关系数矩阵PY为：
PY＝(ρi，j)，
显然地，PY是一个对角线为1的C*C对称三角矩阵；
(2)划分高光谱图像Y：根据相关系数矩阵PY，将高光谱图像Y划分为G个分组，同时本发明考虑到相邻分组之间仍然存在一定的相关性，所以在相邻组互设置有ovl个重叠波段，具体的分组策略可以描述为：
1)输入：相关系数矩阵(PY)C*C，重叠系数ovl；
2)初始化：i＝1，j＝i+1，start＝[]，end＝[]，G＝0；
3)按照如下伪代码所示的过程对光谱波段进行分组：
Figure FSA0000271874250000022
如此将Y划分为G个分组，且列表start和end中分别记录了每个分组的起始波段索引号和终止波段索引号。
4.根据权利要求1中所述的一种基于残差学习和混合域注意力的高光谱图像去噪方法，其特征在于，在步骤3中，所述的基于混合域注意力的深层光谱-空间特征提取模块，具体的处理过程如下：
(1)首先利用稀疏特征提取模块提取稀疏特征
Figure FSA0000271874250000023
稀疏特征提取模块SFENet由R个稀疏块SFEB串联组成，每个稀疏块包含8个卷积块CB和空洞卷积块ACB，其中CB块表示Convolution+Batch Normalization+ReLU激活函数组成的普通卷积块，ACB块表示Atrous Convolution+Batch Normalization+ReLU激活函数组成的空洞卷积块；此外，在该模块中添加了跨层连接，将输入信息与本模块的输出求和作为下一模块的输入，来保证模型训练过程具有更好的稳定性，该过程可以形式化的描述为：
Figure FSA0000271874250000031
其中，fSFENet(·)表示稀疏特征提取模块SFENet，fCB(·)表示CB普通卷积块，fACB(·)表示ACB空洞卷积块。
(2)对于得到的稀疏光谱-空间特征
Figure FSA0000271874250000032
利用混合域注意力模块MDAB对已经学习到的特征进行调整，同时捕捉跨域的交互特征，使网络关注到更多的高频噪声特征，得到深层的光谱-空间特征
Figure FSA0000271874250000033
Figure FSA0000271874250000034
其中，fMDAB(·)表示混合域注意力模块MDAB，MDAB包含了三个分支，用来对三组两个不同维度之间的交互特征进行建模，具体来说，混合域注意力模块MDAB的整体过程可以表述为：
Figure FSA0000271874250000035
Figure FSA0000271874250000036
Figure FSA0000271874250000037
s1＝σ(Conv1(Z_Pool(T1)))，
s2＝σ(Conv2(Z_Pool(T2)))，
Figure FSA0000271874250000038
其中，Rot1和Rot2表示分别围绕空间的H维和W维逆时针旋转90°，
Figure FSA0000271874250000039
和
Figure FSA00002718742500000310
表示其逆过程，Z_Pool(·)表示将输入图像第一个维度上的平均池化特征和最大池化特征连接起来，该操作能够保留其丰富的特征，同时缩小其深度，减少计算量，例如，特征图X进行Z_Pool操作，其进一步可以描述为：
T＝Z_Pool(X)＝[MaxPool(X)；AvgPool(X)]。
CN202210454377.9A 2022-04-27 2022-04-27 一种基于残差学习和混合域注意力的高光谱图像去噪方法 Pending CN114972075A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210454377.9A CN114972075A (zh) 2022-04-27 2022-04-27 一种基于残差学习和混合域注意力的高光谱图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210454377.9A CN114972075A (zh) 2022-04-27 2022-04-27 一种基于残差学习和混合域注意力的高光谱图像去噪方法

Publications (1)

Publication Number Publication Date
CN114972075A true CN114972075A (zh) 2022-08-30

Family

ID=82979034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210454377.9A Pending CN114972075A (zh) 2022-04-27 2022-04-27 一种基于残差学习和混合域注意力的高光谱图像去噪方法

Country Status (1)

Country Link
CN (1) CN114972075A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503292A (zh) * 2023-06-27 2023-07-28 南京信息工程大学 一种基于SwinIR的高光谱遥感图像去噪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503292A (zh) * 2023-06-27 2023-07-28 南京信息工程大学 一种基于SwinIR的高光谱遥感图像去噪方法
CN116503292B (zh) * 2023-06-27 2023-09-12 南京信息工程大学 一种基于SwinIR的高光谱遥感图像去噪方法

Similar Documents

Publication Publication Date Title
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
CN109102469B (zh) 一种基于卷积神经网络的遥感图像全色锐化方法
CN107292317B (zh) 基于浅层特征与t矩阵深度学习的极化sar分类方法
CN112233026A (zh) 一种基于多尺度残差注意力网络的sar图像去噪方法
Li et al. Hyperspectral pansharpening via improved PCA approach and optimal weighted fusion strategy
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN113327218B (zh) 一种基于级联网络的高光谱与全色图像融合方法
CN112184577A (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
Li et al. Spatial-spectral transformer for hyperspectral image denoising
CN111008664B (zh) 一种基于空谱联合特征的高光谱海冰检测方法
CN111738954B (zh) 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法
CN114066755A (zh) 一种基于全波段特征融合的遥感影像薄云去除方法及系统
Han et al. Edge-preserving filtering-based dehazing for remote sensing images
CN115457396A (zh) 一种基于遥感影像的地表目标地物检测方法
CN114972075A (zh) 一种基于残差学习和混合域注意力的高光谱图像去噪方法
CN113421198B (zh) 一种基于子空间的非局部低秩张量分解的高光谱图像去噪方法
CN107292855A (zh) 一种结合自适应非局部样本和低秩的图像去噪方法
Liu et al. SI-SA GAN: A generative adversarial network combined with spatial information and self-attention for removing thin cloud in optical remote sensing images
CN117392065A (zh) 一种云边协同太阳能板覆灰状况自主评估方法
CN111028160A (zh) 一种基于卷积神经网络的遥感图像噪声抑制方法
CN113887656B (zh) 一种联合深度学习与稀疏表示的高光谱图像分类方法
CN115082344A (zh) 基于细节注入的双分支网络全色锐化方法
CN111462014B (zh) 一种基于深度学习和模型驱动的单图去雨方法
CN113222924A (zh) 基于fpga的高光谱图像异常检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination