CN116091640A - 一种基于光谱自注意力机制的遥感高光谱重建方法及系统 - Google Patents
一种基于光谱自注意力机制的遥感高光谱重建方法及系统 Download PDFInfo
- Publication number
- CN116091640A CN116091640A CN202310362414.8A CN202310362414A CN116091640A CN 116091640 A CN116091640 A CN 116091640A CN 202310362414 A CN202310362414 A CN 202310362414A CN 116091640 A CN116091640 A CN 116091640A
- Authority
- CN
- China
- Prior art keywords
- spectrum
- image
- remote sensing
- hyperspectral
- spectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000007246 mechanism Effects 0.000 title claims abstract description 27
- 230000006870 function Effects 0.000 claims abstract description 44
- 230000003595 spectral effect Effects 0.000 claims abstract description 44
- 230000000694 effects Effects 0.000 claims abstract description 41
- 230000015556 catabolic process Effects 0.000 claims abstract description 27
- 238000006731 degradation reaction Methods 0.000 claims abstract description 27
- 238000012546 transfer Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000005316 response function Methods 0.000 claims abstract description 7
- 230000000593 degrading effect Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 claims description 5
- 210000001747 pupil Anatomy 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 3
- 238000004088 simulation Methods 0.000 abstract description 3
- 238000012512 characterization method Methods 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 13
- 238000010276 construction Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000443 aerosol Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 244000309464 bull Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
Abstract
本发明涉及高光谱图像重建领域，特别涉及一种基于光谱自注意力的遥感高光谱重建方法及系统。本发明方法包括：利用调制传递函数对输入的多光谱图像进行退化以实现对遥感图像的仿真；使用多层次特征提取模块对图像退化效应的去除与光谱维度扩增；之后输入光谱重建模块学习由多光谱到高光谱之间的非线性映射关系，光谱重建模块主要由编码器、瓶颈层与解码器构成的U型光谱非线性学习模块级联而成，其中瓶颈层引入光谱自注意力机制，能够有效地学习存在于图像深层信息中的谱段间相关关系，完成对光谱响应函数的有效建模。本发明能够实现由遥感多光谱图像生成遥感高光谱图像，具有对遥感图像的针对性设计，并且具有良好的光谱信息表征能力。
Description
技术领域
本发明涉及高光谱图像重建领域，特别涉及一种基于光谱自注意力机制的遥感高光谱重建方法及系统。
背景技术
高光谱图像通常由上百个波段组成独特立方体结构，丰富的光谱信息为区分不同物体的材质信息提供极大的帮助。因此，高光谱图像常常被用于遥感，医学图像诊断，军事等领域，并发挥着重要的作用。高光谱图像的成像方式按照扫描方式一般可以分为摆扫式、推扫式和频谱扫描式，这三种方式牺牲了成像时间来换取成像质量，并不适用于移动目标的成像。快照式的高光谱成像方法克服了这个问题，然而该种成像方式需要特定的算法实现由二维数据向三维数据的转换，并附带有昂贵的硬件成本，难以满足一般的需求。为了解决上述问题，实现由多光谱图像生成高光谱图像的光谱重建方法已经成为一个非常具有应用前景的研究方向，该方向通常被称为光谱超分辨率或者是光谱重建。
高光谱重建方法按照发展历程可以分为基于矩阵分解的重建方法、基于稀疏编码的重建方法和基于深度学习的重建方法。基于矩阵分解的重建方法通过添加假设对多光谱图像向高光谱图像映射进行约束从而求解，当假设存在偏差则生成效果较差；基于稀疏编码的重建方法利用高光谱图像存在的稀疏特性建立字典并进行映射，该方法往往实现的是逐像素映射，对图像的全局结构缺乏有效利用；基于深度学习的方法种类繁多，大多是基于卷积实现特征提取，然而卷积核由于感受野有限适合提取空间信息，而对高光谱图像中存在的复杂光谱信息无法做到有效地提取。另一方面，相较于自然图像，遥感图像场景中地物环境更多样，成像过程中受到外界的干扰也更复杂，使用遥感图像进行高光谱重建是一项更具挑战性的工作。现有的光谱重建方法往往面向自然图像，缺乏针对于遥感图像特点进行专用的结构设计与改进，故所生成遥感高光谱图像效果较差，难以适用于遥感领域的多种应用。总而言之，这两方面的局限性限制了现有的光谱重建方法完成面向遥感图像的光谱重建。
发明内容
本发明的目的在于提供一种基于光谱自注意力机制的遥感高光谱重建方法及系统从而实现由遥感多光谱图像生成遥感高光谱图像，本发明能够消除遥感图像中存在的退化效应，并解决了现有方法无法有效提取存在于高光谱图像光谱维度的相关信息的问题。
为达到上述目的，本发明通过下述技术方案实现。
本发明提出了一种基于光谱自注意力机制的遥感高光谱重建方法，所述方法包括：
采集遥感高光谱图像并处理生成对应多光谱图像，使用调制传递函数对多光谱图像进行退化，将退化后的多光谱图像输入预先建立并训练好的光谱重建网络模型中，输出得到重建的高光谱；
所述光谱重建网络模型包括：一个多层次特征提取模块和多个级联与跳跃连接的光谱非线性学习模块，其中，
所述多层次特征提取模块，用于对退化后的多光谱图像进行退化去除和光谱维度扩增，并输出提取的特征图；
每个所述光谱非线性学习模块均是由编码器、瓶颈层和解码器组成的U型结构，用于根据学习的多光谱图像到高光谱图像的映射关系对提取的特征图进行处理，输出得到重建的高光谱；每个U型结构的瓶颈层均引入光谱多头自注意力机制。
作为上述技术方案的改进之一，所述采集遥感高光谱图像并处理生成对应多光谱图像，具体包括：
采集经过大气校正与辐射校正后的遥感高光谱图像；
对高光谱图像进行空间分辨率裁剪获得子高光谱图像；
通过光谱响应函数将子高光谱图像生成对应多光谱图像。
作为上述技术方案的改进之一，所述使用调制传递函数对多光谱图像进行退化，其中，调制传递函数的表达式为：
其中，为湍流调制传递函数，为相机离焦效应调制传递函数，为平台震动效应调制传递函数，具体表达式分别为：
其中，为空间角频率，为折射率结构常数，为波长，为传播路径长度，为常数，为入射光瞳直径；
其中，为一阶贝塞尔函数，为轴向离焦量，，f为焦距，为空间频率；
其中，为位移标准差。
作为上述技术方案的改进之一，所述多层次特征提取模块，处理过程具体包括：
采用PixelShuffle算法改变退化后的多光谱图像的维度信息，获得空间分辨率与光谱分辨率均不同的特征图I1、I2和I3；
使用卷积和卷积组成的并联卷积组对特征图I1、I2和I3依次分别进行卷积、卷积和Concat操作，去除图像中存在的退化效应并分别生成特征图I4、I5和I6；
之后对特征图I4、I5和I6分别依次采用基于光谱响应函数引导的卷积进行卷积操作、LeakyReLU函数激活、dropout函数处理和插值操作，完成光谱维度的扩增，之后将特征图I4、I5和I6通过Concat操作生成特征图I7。
作为上述技术方案的改进之一，所述每个U型结构的编码器均依次包括级联的：2个Swin Transformer Block、1个Pathch Merging、2个 Swin Transformer Block、1个Pathch Merging、4个Swin Transformer Block和1个Pathch Merging，用于对输入的特征图进行空间维度降低和光谱维度升高，输出特征图；
所述每个U型结构的瓶颈层均包括级联的4个Spectral Transformer Block；每个Spectral Transformer Block均包括级联的2个相同的光谱自注意力机制子模块；每个光谱自注意力机制子模块均包括级联的：光谱-多头注意力机制、层标准化层、多层感知机和全连接层；其中，
所述光谱-多头注意力机制，用于进行光谱谱段间注意力的计算；
所述层标准化层，用于进行归一化操作；
所述多层感知机，用于学习输入输出间非线性关系；
所述全连接层，用于提取特征后输出特征图；
所述每个U型结构的解码器均依次包括级联的：1个Pathch Expanding、4个SwinTransformer Block、1个Pathch Expanding、2个 Swin Transformer Block、1个PathchExpanding和2个 Swin Transformer Block。
作为上述技术方案的改进之一，所述方法还包括：对预先建立的光谱重建网络模型进行训练；训练过程中，利用平均相对绝对误差和L1损失函数耦合的整体作为光谱重建网络模型整体的损失函数，并通过不断最小化来优化网络，其中，L1损失函数为平均绝对误差，即预测值与真实值之间的绝对差的平均值，表达式为：
其中，为样本数量，为真实值，为预测值。
本发明还提出了一种基于光谱自注意力机制的遥感高光谱重建系统，所述系统包括：预处理模块、退化处理模块和高光谱生成模块，其中，
所述预处理模块，用于对采集的遥感高光谱图像进行预处理生成对应多光谱图像；
所述退化处理模块，用于使用调制传递函数对多光谱图像进行退化；
所述高光谱生成模块，用于将退化后的多光谱图像输入预先建立并训练好的光谱重建网络模型中，输出得到重建的高光谱。
本发明与现有技术相比优点在于：
本发明能够通过多层次特征提取模块有效地消除遥感图像成像过程中所受的大气效应，相机离焦效应与平台震动效应所造成的图像退化，促进了遥感图像光谱重建工作的进展；同时提出了一种全新的光谱自注意力机制，该机制位于U型结构的瓶颈层，能够有效地提取位于瓶颈层的深层次光谱信息，完成对光谱不同谱段间相关关系的有效建模。
附图说明
图1为本发明的实现流程图；
图2为本发明构建的退化遥感多光谱构建结构流程图；
图3为施加退化效应后多光谱图像与原图像对比效果图；
图4为本发明构建的多层次特征提取模块的结构流程图；
图5为本发明构建的光谱非线性学习模块的结构流程图；
图6为本发明构建的光谱注意力机制模块的结构流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
本发明实施例1采用的技术方案是，一种基于光谱子注意力的遥感高光谱重建方法，按照以下步骤具体实施：
步骤一、对数据进行预处理，
采用的数据集为珠海一号高光谱卫星L1B级数据，原始数据集由25幅高光谱图像组成，每幅图像光谱波段数目为32，空间分辨率为；对高光谱图像进行空间分辨率裁剪为，光谱波段数目为31，裁剪后可获得1216个子高光谱图像；通过数据集对应光谱响应函数将高光谱图像生成对应多光谱图像，形成高光谱-多光谱图像对。
步骤二、对数据添加退化效应，
分别使用包含有大气效应、相机离焦效应和平台震动效应的调制传递函数（Modulation Transfer Function；MTF）对数据集中的多光谱图像进行退化，退化后多光谱图像大小为，高光谱图像大小为。
步骤三、构建多层次特征提取模块，
多层次特征提取模块主要由两部分组成，首先是退化去除部分，该部分输入为步骤二生成的多光谱图像，输出大小为的特征图I1，大小为的特征图I2，大小为的特征图I3；接着此三个特征图输入光谱丰富部分，分别输出大小为的特征图I4，的特征图I5和的特征图I6，最后将几个特征图进行光谱维度的连接输出大小为的特征图I7。
步骤四、构建光谱重建模块，
光谱重建模块由多个U型的光谱非线性学习模块级联而成，每个U型结构主要由三部分构成，第一部分为编码器部分，该部分输入大小为特征图I7，输出大小为特征图I8；第二部分为瓶颈层，输入大小为特征图I8，输出大小为特征图I9；第三部分为解码器部分，输入大小为特征图I9，输出大小为特征图I10。
步骤五、优化端到端的光谱重建网络，
利用平均相对绝对误差（mean relative absolute error，MRAE）和L1损失函数耦合的整体作为光谱重建网络整体的损失函数，并通过不断地最小化来优化网络，即成。
本发明的创新点：
1.本发明提出了一种用于遥感高光谱重建任务的基于光谱学习的深度学习网络，它主要由两个子网络多层次特征提取模块和光谱非线性学习模块级联而成。
2.本发明提出了一种改进的光谱自注意力模块，该模块位于U型结构的瓶颈层，能够有效地学习压缩表征下的光谱谱段间的相关信息。
3.本发明提出的多层次特征提取模块可以同时消除遥感图像退化的影响，同时使用基于大气效应，离焦效应和平台震动效应调制传递函数对数据集进行仿真模拟。
具体地，参照图1，本发明的方法基于光谱自注意力的遥感高光谱重建网络（以下简称光谱重建网络），主要由退化遥感图像构建模块，多层次特征提取模块和光谱重建模块组成。其中退化遥感图像构建模块主要由大气效应影响模块、相机离焦效应影响模块和平台震动效应影响模块三部分组成，输入是经过大气校正与辐射校正后的遥感多光谱图像，输出为退化后的遥感多光谱图像；多层次特征提取模块主要由PixelShuffle，，、Concat操作、LeakyReLU激活函数、dropout函数和插值操作组成，输入为退化遥感多光谱图像，经过该模块实现退化效应去除与光谱维度扩增两部分功能；光谱重建模块由多个U型的光谱非线性学习模块级联而成，其中每个U型结构的编码器与解码器部分主要由Swin Transformer Block、Patch Merging和Patch Expanding三者组成，U型结构的瓶颈层由本发明所提出的基于光谱注意力机制的Spectral Transformer Block组成，该模块主要实现学习由多光谱向高光谱之间的非线性映射关系。
本发明的方法，基于以上所提出的光谱重建网络，按照以下步骤实施：
步骤一、完成对退化遥感数据集的构建，参照图2，本发明基于调制传递函数（Modulation Transfer Function，MTF）进行退化图像的仿真构建。本发明所用的数据集来自于珠海一号高光谱卫星L1B级数据集，该数据提供给用户之前已经经过了大气校正与辐射校正，为了更加真实地模拟遥感图像成像过程中所受各种影响的退化作用，我们利用图2中的相关公式对多光谱图像进行退化。由于遥感图像在成像过程中不可避免地受到外部因素的影响，本发明将其归纳为三类：大气影响，相机离焦影响模块和平台震动影响，其具体实现步骤如下：
遥感图像所受大气影响是由于光在大气传播过程中，不可避免地会受到如大气分子的折射，散射，受传播路径中的温度，压强等因素的影响。大气效应一般可以分为两类：1）大气湍流所造成的散射、折射效应；2）大气中存在的气溶胶分子所引起的图像模糊与能见度降低。根据原始数据的分布特性，本发明这里只考虑大气湍流所造成的影响，具体的湍流MTF如下式：
（1）
其中为空间角频率，为折射率结构常数，为波长，为传播路径长度，为常数，为成像光学系统的入瞳直径。
离焦效应是指成像器件在运行过程中，透镜间隔、相机焦距等成像参数被外部温度，压强所影响而造成的成像界面与相机焦距不在同一平面而造成的离焦效应。具体的离焦MTF如下式：
（2）
其中为一阶贝塞尔函数，为轴向离焦量，，为入射光瞳直径，为空间频率。
平台震动效应指的是星载遥感图像拍摄平台在运行过程中，卫星的不同部件会产生不同程度的震动，并且根据相关研究表明，卫星的相机在拍摄过程中主要受到低频震动的影响，本发明使用高斯噪声来对低频震动进行模拟如下：
（3）
其中为位移标准差，为空间频率。
本发明将以上各种影响的调制传递函数进行汇总，提出了总的调制传递函数如下：
（4）
参照图3，添加退化效应后的图像从相质上看主要体现在模糊与图像分辨率下降的问题，同时也会造成对多光谱图像的光谱信息的改变，从而对之后的光谱重建过程造成影响。
步骤二、构建多层次特征提取模块完成对图像中退化效应的去除，具体结构参照图4，多层次特征提取模块的结构依次为：经过退化后的多光谱图像→PixelShuffle→空间分辨率与光谱分辨率均不同的特征图I1、I2和I3→卷积和卷积组成并联卷积组→Concat操作→卷积→LeakyReLU激活函数→dropout函数→插值操作→光谱维度不相同的特征图I4、I5和I6→Concat操作→卷积→输出光谱维度为31的特征图I7；其中，所有步长均为1，填充值为1，所有的步长为1，填充值为0；PixelShuffle将原始输入数据的空间维度和光谱维度进行改变，形成尺度分别为的I1，的I2,的I3，以便于在后续对研究目标进行不同维度的特征提取，从而充分地去除退化效应对于空域与频域的影响;由与组成的卷积组拥有不同的感受野，能够对图像中不同尺度的特征进行有效地提取，完成去除退化效应的功能，经过卷积的数据由Concat操作聚合；这三个特征图接着输入由光谱响应函数引导的卷积中，利用LeakyReLU激活函数，dropout函数和双线性插值操作完成光谱维度的扩增，进而通过卷积输出维度为31的特征图I7。
步骤三、构建光谱非线性学习模块学习由多光谱图像到高光谱图像之间的映射关系，具体结构请参照图5，光谱非线性学习模块的具体结构为：特征图I7作为该模块的输入→→Pathch Merging → →Pathch Merging→→Pathch Merging→特征图I8→Pathch Expanding→→特征图I9→Pathch Expanding→ →PathchExpanding→→Pathch Expanding→ →特征图I10。由图1可知，在本发明中，光谱重建网络使用了多个光谱非线性学习模块级联而成，因此在此处只选取了其中一个进行分析，其余同理。该模块主要由编码器，瓶颈层与解码器三部分组成。编码器由Swin Transformer Block和Pathch Merging两部分组成，实现对输入高光谱特征图I4的特征提取功能。Swin Transformer Block有着多头自注意力机制，滑动窗口设计以及位置编码，能够有效提取存在与空域中光谱相关关系丰富区域信息，在U型结构的编码器对数据维度进行压缩的同时，Swin Transformer Block能够有效地提取存在于不同维度之中的空间信息。在瓶颈层部分，本发明提出的Spectral Transformer Block对存在于深层次的光谱信息有着较强的提取能力，能够实现对不同谱段间的相关关系进行有效地建模。
参照图6，本发明所提出的Spectral Transformer Block主要由两个相同的模块相连而成，这里主要对第一个模块进行详细介绍：输入的特征图数据I8首先进入光谱-多头注意力模块（Spectral Multi-head self-attention module, S-MSA）,进行光谱谱段间注意力的计算输出为I8_1；接着I8_1进入层标准化模块（Layer Norm，LN），进行归一化操作输出为I8_2；之后I8_2输入到多层感知机（multi-layer perceptrons，MLP），全连接层提取特征后生成I8_3特征图。
步骤四、完成光谱重建网络的构建。参照图1可知，光谱重建网络由多个光谱非线性学习模块级联与跳跃连接组成。具体来说，相同的光谱非线性学习模块可以通过级联来构成更深层的神经网络，从而增加模型的表示能力和学习能力。同时，跳跃连接也可以有效地提高信息的传递效率，避免信息在传递过程中丢失或扭曲，从而提高模型的准确性和鲁棒性。此外，跳跃连接还可以使得模型具有更好的泛化能力，能够更好地适应不同的数据分布和噪声干扰，从而避免过拟合现象的发生。
我们在Windows10系统下进行了实验，实验的软件平台为PyTorch1.6，硬件平台为RTX3090显卡。为了验证本发明的有效性，我们在珠海一号高光谱卫星数据集上进行了实验，将本发明与其他重建方法之间的性能对比展示如表1。
表1：本发明实施方法与现有光谱重建方法性能指标实验结果。
| 方法 | 均方根误差 | 平均相对绝对误差 | 相对均方根误差 |
| AWAN | 0.2246 | 0.6527 | 0.2884 |
| HRNet | 0.2204 | 0.65 | 0.2817 |
| HSCNN+ | 0.2276 | 0.6803 | 0.2902 |
| HSRnet | 0.2479 | 0.7367 | 0.3126 |
| MST++ | 0.2347 | 0.6857 | 0.297 |
| Ours | 0.1836 | 0.5665 | 0.2509 |
对比表1的结果，通过将本发明所提出的方法与现有光谱重建方法（AWAN， HRNet，HSCNN+，HSRnet，MST++）的效果对比可知本发明所提出方法在均方根误差，平均相对绝对误差和相对均方根误差三个指标方面都领先于现有光谱重建方法。这是由于本方法能够充分利用遥感高光谱图像中稀疏光谱的特性，建立起有效的光谱注意力机制完成对不同谱段之间的相关关系的有效建模；同时，该发明使用多层次特征提取方法在去除图像中存在的退化方面也存在着较好的效果，提升了模型的表达能力和在复杂情况下的鲁棒性。
实施例2
基于上述方法，本发明实施例2构建了一种基于光谱自注意力机制的遥感高光谱重建系统，包括：预处理模块、退化处理模块和高光谱生成模块，其中，
所述预处理模块，用于对采集的遥感高光谱图像进行预处理生成对应多光谱图像；
所述退化处理模块，用于使用调制传递函数对多光谱图像进行退化；
所述高光谱生成模块，用于将退化后的多光谱图像输入预先建立并训练好的遥感高光谱重建模型中，输出得到重建的高光谱。
由上述可知，本发明的多层次特征提取模块能够有效地消除遥感图像中存在的退化效应，避免图像质量的降低对之后光谱重建效果产生影响；同时光谱自注意力机制模块可以实现对光谱不同谱段间的相关关系提取，可以有效地完成光谱重建工作。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种基于光谱自注意力机制的遥感高光谱重建方法，所述方法包括：
采集遥感高光谱图像并处理生成对应多光谱图像，使用调制传递函数对多光谱图像进行退化，将退化后的多光谱图像输入预先建立并训练好的遥感高光谱重建模型中，输出得到重建的高光谱；
所述遥感高光谱重建模型包括：一个多层次特征提取模块和多个级联与跳跃连接的光谱非线性学习模块，其中，
所述多层次特征提取模块，用于对退化后的多光谱图像进行退化去除和光谱维度扩增，并输出提取的特征图；
每个所述光谱非线性学习模块是由编码器，瓶颈层和解码器组成的U型结构，用于根据学习的多光谱图像到高光谱图像的映射关系对提取的特征图进行处理，输出得到重建的高光谱；每个U型结构的瓶颈层均引入多头自注意力机制。
2.根据权利要求1所述的基于光谱自注意力机制的遥感高光谱重建方法，其特征在于，所述采集遥感高光谱图像并处理生成对应多光谱图像，具体包括：
采集经过大气校正与辐射校正后的遥感高光谱图像；
对高光谱图像进行空间分辨率裁剪获得子高光谱图像；
通过光谱响应函数将子高光谱图像生成对应多光谱图像。
3.根据权利要求1所述的基于光谱自注意力机制的遥感高光谱重建方法，其特征在于，所述使用调制传递函数对多光谱图像进行退化，其中，调制传递函数的表达式为：
其中，为湍流调制传递函数，为相机离焦效应调制传递函数，为平台震动效应调制传递函数，具体表达式分别为：
其中，为空间角频率，为折射率结构常数，为波长，为传播路径长度，为常数，为入射光瞳直径；
其中，为一阶贝塞尔函数，为轴向离焦量，，f为焦距，为空间频率；
其中，为位移标准差。
4.根据权利要求1所述的基于光谱自注意力机制的遥感高光谱重建方法，其特征在于，所述多层次特征提取模块，处理过程具体包括：
采用PixelShuffle算法改变退化后的多光谱图像的维度信息，获得空间分辨率与光谱分辨率均不同的特征图I1、I2和I3；
使用卷积和卷积组成的并联卷积组对特征图I1、I2和I3依次分别进行卷积、卷积和Concat操作，去除图像中存在的退化效应并分别生成特征图I4、I5和I6；
之后对特征图I4、I5和I6分别依次采用基于光谱响应函数引导的卷积进行卷积操作、LeakyReLU函数激活、dropout函数处理和插值操作，完成光谱维度的扩增，之后将特征图I4、I5和I6通过Concat操作生成特征图I7。
5.根据权利要求4所述的基于光谱自注意力机制的遥感高光谱重建方法，其特征在于，每个U型结构的编码器均依次包括级联的：2个Swin Transformer Block、1个PathchMerging、2个 Swin Transformer Block、1个Pathch Merging、4个Swin TransformerBlock和1个Pathch Merging，用于对输入的特征图进行空间维度降低和光谱维度升高，输出特征图；
每个U型结构的瓶颈层均包括级联的4个Spectral Transformer Block；每个SpectralTransformer Block均包括级联的2个相同的光谱自注意力机制子模块；每个光谱自注意力机制子模块均包括级联的：光谱-多头注意力机制、层标准化层、多层感知机和全连接层；其中，
所述光谱-多头注意力机制，用于进行光谱谱段间注意力的计算；
所述层标准化层，用于进行归一化操作；
所述多层感知机，用于学习输入输出间非线性关系；
所述全连接层，用于提取特征后输出特征图；
每个U型结构的解码器均依次包括级联的：1个Pathch Expanding、4个SwinTransformer Block、1个Pathch Expanding、2个 Swin Transformer Block、1个PathchExpanding和2个 Swin Transformer Block。
6.根据权利要求5所述的基于光谱自注意力机制的遥感高光谱重建方法，其特征在于，所述方法还包括：对预先建立的光谱重建网络模型进行训练；训练过程中，利用平均相对绝对误差和L1损失函数耦合的整体作为光谱重建网络模型整体的损失函数，并通过不断最小化来优化网络；
L1损失函数为平均绝对误差，即预测值与真实值之间的绝对差的平均值，表达式为：
其中，为样本数量，为真实值，为预测值。
7.一种基于光谱自注意力机制的遥感高光谱重建系统，其特征在于，所述系统包括：预处理模块、退化处理模块和高光谱生成模块，其中，
所述预处理模块，用于对采集的遥感高光谱图像进行预处理生成对应多光谱图像；
所述退化处理模块，用于使用调制传递函数对多光谱图像进行退化；
所述高光谱生成模块，用于将退化后的多光谱图像输入预先建立并训练好的遥感高光谱重建模型中，输出得到重建的高光谱。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310362414.8A CN116091640B (zh) | 2023-04-07 | 2023-04-07 | 一种基于光谱自注意力机制的遥感高光谱重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310362414.8A CN116091640B (zh) | 2023-04-07 | 2023-04-07 | 一种基于光谱自注意力机制的遥感高光谱重建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116091640A true CN116091640A (zh) | 2023-05-09 |
| CN116091640B CN116091640B (zh) | 2023-06-20 |
Family
ID=86210510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310362414.8A Active CN116091640B (zh) | 2023-04-07 | 2023-04-07 | 一种基于光谱自注意力机制的遥感高光谱重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116091640B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115621A (zh) * | 2023-10-24 | 2023-11-24 | 中国海洋大学 | 基于改进U-Net网络的卫星云图预测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738953A (zh) * | 2020-06-24 | 2020-10-02 | 北京航空航天大学 | 一种基于边界感知对抗学习的大气湍流退化图像复原方法 |
| CN112634137A (zh) * | 2020-12-28 | 2021-04-09 | 西安电子科技大学 | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 |
| WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
| CN114429424A (zh) * | 2022-04-01 | 2022-05-03 | 中国石油大学(华东) | 一种适用于退化方式不定的遥感图像超分重建方法 |
| CN115082344A (zh) * | 2022-06-29 | 2022-09-20 | 西安理工大学 | 基于细节注入的双分支网络全色锐化方法 |
-
2023
- 2023-04-07 CN CN202310362414.8A patent/CN116091640B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738953A (zh) * | 2020-06-24 | 2020-10-02 | 北京航空航天大学 | 一种基于边界感知对抗学习的大气湍流退化图像复原方法 |
| WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
| CN112634137A (zh) * | 2020-12-28 | 2021-04-09 | 西安电子科技大学 | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 |
| CN114429424A (zh) * | 2022-04-01 | 2022-05-03 | 中国石油大学(华东) | 一种适用于退化方式不定的遥感图像超分重建方法 |
| CN115082344A (zh) * | 2022-06-29 | 2022-09-20 | 西安理工大学 | 基于细节注入的双分支网络全色锐化方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115621A (zh) * | 2023-10-24 | 2023-11-24 | 中国海洋大学 | 基于改进U-Net网络的卫星云图预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116091640B (zh) | 2023-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nie et al. | Deeply learned filter response functions for hyperspectral reconstruction | |
| CN111062880A (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
| Li et al. | Thick cloud removal with optical and SAR imagery via convolutional-mapping-deconvolutional network | |
| CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
| CN106788714B (zh) | 一种基于光学计算的稀疏解混方法 | |
| Hsu et al. | DCSN: Deep compressed sensing network for efficient hyperspectral data transmission of miniaturized satellite | |
| CN114723631B (zh) | 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置 | |
| CN116091640B (zh) | 一种基于光谱自注意力机制的遥感高光谱重建方法及系统 | |
| Ramirez et al. | LADMM-Net: An unrolled deep network for spectral image fusion from compressive data | |
| CN111563562A (zh) | 基于卷积神经网络的单帧散射图像的彩色目标重建方法 | |
| CN114937206A (zh) | 基于迁移学习和语义分割的高光谱图像目标检测方法 | |
| CN114387164A (zh) | 一种太赫兹单像素超分辨成像方法和系统 | |
| Tong et al. | Quantitative pure-phase object reconstruction under single-shot Fourier measurement via deep learning | |
| Sun et al. | Remote sensing images dehazing algorithm based on cascade generative adversarial networks | |
| Zhang et al. | Enhanced visual perception for underwater images based on multistage generative adversarial network | |
| Wang et al. | A deep learning-based target recognition method for entangled optical quantum imaging system | |
| Martínez et al. | Efficient transfer learning for spectral image reconstruction from RGB images | |
| Cao et al. | CFMB-T: A cross-frequency multi-branch transformer for low-quality infrared remote sensing image super-resolution | |
| Zheng et al. | Dehaze-TGGAN: Transformer-Guide Generative Adversarial Networks with Spatial-Spectrum Attention for Unpaired Remote Sensing Dehazing | |
| Li et al. | Foggy image restoration using deep sub‐pixel reconstruction network | |
| Saxena et al. | Deep learning for satellite image reconstruction | |
| Li et al. | Spectral-Learning-Based Transformer Network for the Spectral Super-Resolution of Remote-Sensing Degraded Images | |
| CN111861907B (zh) | 一种高动态范围激光焦斑图像的去噪方法 | |
| Greer et al. | Accurate reconstruction of hyperspectral images from compressive sensing measurements | |
| Urrea et al. | Optical Solutions for Spectral Imaging Inverse Problems with a Shift-Variant System. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |