CN116091640B - 一种基于光谱自注意力机制的遥感高光谱重建方法及系统 - Google Patents

一种基于光谱自注意力机制的遥感高光谱重建方法及系统 Download PDF

Info

Publication number
CN116091640B
CN116091640B CN202310362414.8A CN202310362414A CN116091640B CN 116091640 B CN116091640 B CN 116091640B CN 202310362414 A CN202310362414 A CN 202310362414A CN 116091640 B CN116091640 B CN 116091640B
Authority
CN
China
Prior art keywords
spectrum
image
hyperspectral
remote sensing
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310362414.8A
Other languages
English (en)
Other versions
CN116091640A (zh
Inventor
李增熠
李立钢
倪伟
刘博�
曹源
周文勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Space Science Center of CAS
Original Assignee
National Space Science Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Space Science Center of CAS filed Critical National Space Science Center of CAS
Priority to CN202310362414.8A priority Critical patent/CN116091640B/zh
Publication of CN116091640A publication Critical patent/CN116091640A/zh
Application granted granted Critical
Publication of CN116091640B publication Critical patent/CN116091640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及高光谱图像重建领域，特别涉及一种基于光谱自注意力的遥感高光谱重建方法及系统。本发明方法包括：利用调制传递函数对输入的多光谱图像进行退化以实现对遥感图像的仿真；使用多层次特征提取模块对图像退化效应的去除与光谱维度扩增；之后输入光谱重建模块学习由多光谱到高光谱之间的非线性映射关系，光谱重建模块主要由编码器、瓶颈层与解码器构成的U型光谱非线性学习模块级联而成，其中瓶颈层引入光谱自注意力机制，能够有效地学习存在于图像深层信息中的谱段间相关关系，完成对光谱响应函数的有效建模。本发明能够实现由遥感多光谱图像生成遥感高光谱图像，具有对遥感图像的针对性设计，并且具有良好的光谱信息表征能力。

Description

一种基于光谱自注意力机制的遥感高光谱重建方法及系统
技术领域
本发明涉及高光谱图像重建领域，特别涉及一种基于光谱自注意力机制的遥感高光谱重建方法及系统。
背景技术
高光谱图像通常由上百个波段组成独特立方体结构，丰富的光谱信息为区分不同物体的材质信息提供极大的帮助。因此，高光谱图像常常被用于遥感，医学图像诊断，军事等领域，并发挥着重要的作用。高光谱图像的成像方式按照扫描方式一般可以分为摆扫式、推扫式和频谱扫描式，这三种方式牺牲了成像时间来换取成像质量，并不适用于移动目标的成像。快照式的高光谱成像方法克服了这个问题，然而该种成像方式需要特定的算法实现由二维数据向三维数据的转换，并附带有昂贵的硬件成本，难以满足一般的需求。为了解决上述问题，实现由多光谱图像生成高光谱图像的光谱重建方法已经成为一个非常具有应用前景的研究方向，该方向通常被称为光谱超分辨率或者是光谱重建。
高光谱重建方法按照发展历程可以分为基于矩阵分解的重建方法、基于稀疏编码的重建方法和基于深度学习的重建方法。基于矩阵分解的重建方法通过添加假设对多光谱图像向高光谱图像映射进行约束从而求解，当假设存在偏差则生成效果较差；基于稀疏编码的重建方法利用高光谱图像存在的稀疏特性建立字典并进行映射，该方法往往实现的是逐像素映射，对图像的全局结构缺乏有效利用；基于深度学习的方法种类繁多，大多是基于卷积实现特征提取，然而卷积核由于感受野有限适合提取空间信息，而对高光谱图像中存在的复杂光谱信息无法做到有效地提取。另一方面，相较于自然图像，遥感图像场景中地物环境更多样，成像过程中受到外界的干扰也更复杂，使用遥感图像进行高光谱重建是一项更具挑战性的工作。现有的光谱重建方法往往面向自然图像，缺乏针对于遥感图像特点进行专用的结构设计与改进，故所生成遥感高光谱图像效果较差，难以适用于遥感领域的多种应用。总而言之，这两方面的局限性限制了现有的光谱重建方法完成面向遥感图像的光谱重建。
发明内容
本发明的目的在于提供一种基于光谱自注意力机制的遥感高光谱重建方法及系统从而实现由遥感多光谱图像生成遥感高光谱图像，本发明能够消除遥感图像中存在的退化效应，并解决了现有方法无法有效提取存在于高光谱图像光谱维度的相关信息的问题。
为达到上述目的，本发明通过下述技术方案实现。
本发明提出了一种基于光谱自注意力机制的遥感高光谱重建方法，所述方法包括：
采集遥感高光谱图像并处理生成对应多光谱图像，使用调制传递函数对多光谱图像进行退化，将退化后的多光谱图像输入预先建立并训练好的光谱重建网络模型中，输出得到重建的高光谱；
所述光谱重建网络模型包括：一个多层次特征提取模块和多个级联与跳跃连接的光谱非线性学习模块，其中，
所述多层次特征提取模块，用于对退化后的多光谱图像进行退化去除和光谱维度扩增，并输出提取的特征图；
每个所述光谱非线性学习模块均是由编码器、瓶颈层和解码器组成的U型结构，用于根据学习的多光谱图像到高光谱图像的映射关系对提取的特征图进行处理，输出得到重建的高光谱；每个U型结构的瓶颈层均引入光谱多头自注意力机制。
作为上述技术方案的改进之一，所述采集遥感高光谱图像并处理生成对应多光谱图像，具体包括：
采集经过大气校正与辐射校正后的遥感高光谱图像；
对高光谱图像进行空间分辨率裁剪获得子高光谱图像；
通过光谱响应函数将子高光谱图像生成对应多光谱图像。
作为上述技术方案的改进之一，所述使用调制传递函数对多光谱图像进行退化，其中，调制传递函数
Figure SMS_1
的表达式为：
Figure SMS_2
其中，
Figure SMS_3
为湍流调制传递函数，/>
Figure SMS_4
为相机离焦效应调制传递函数，/>
Figure SMS_5
为平台震动效应调制传递函数，具体表达式分别为：
Figure SMS_6
其中，
Figure SMS_7
为空间角频率，/>
Figure SMS_8
为折射率结构常数，/>
Figure SMS_9
为波长，/>
Figure SMS_10
为传播路径长度，/>
Figure SMS_11
为常数，/>
Figure SMS_12
为入射光瞳直径；
Figure SMS_13
其中，
Figure SMS_14
为一阶贝塞尔函数，/>
Figure SMS_15
为轴向离焦量，/>
Figure SMS_16
，f为焦距，/>
Figure SMS_17
为空间频率；
Figure SMS_18
其中，
Figure SMS_19
为位移标准差。
作为上述技术方案的改进之一，所述多层次特征提取模块，处理过程具体包括：
采用PixelShuffle算法改变退化后的多光谱图像的维度信息，获得空间分辨率与光谱分辨率均不同的特征图I1、I2和I3；
使用
Figure SMS_20
卷积和/>
Figure SMS_21
卷积组成的并联卷积组对特征图I1、I2和I3依次分别进行
Figure SMS_22
卷积、/>
Figure SMS_23
卷积和Concat操作，去除图像中存在的退化效应并分别生成特征图I4、I5和I6；
之后对特征图I4、I5和I6分别依次采用基于光谱响应函数引导的
Figure SMS_24
卷积进行
Figure SMS_25
卷积操作、LeakyReLU函数激活、dropout函数处理和插值操作，完成光谱维度的扩增，之后将特征图I4、I5和I6通过Concat操作生成特征图I7。
作为上述技术方案的改进之一，所述每个U型结构的编码器均依次包括级联的：2个Swin Transformer Block、1个Pathch Merging、2个 Swin Transformer Block、1个Pathch Merging、4个Swin Transformer Block和1个Pathch Merging，用于对输入的特征图进行空间维度降低和光谱维度升高，输出特征图；
所述每个U型结构的瓶颈层均包括级联的4个Spectral Transformer Block；每个Spectral Transformer Block均包括级联的2个相同的光谱自注意力机制子模块；每个光谱自注意力机制子模块均包括级联的：光谱-多头注意力机制、层标准化层、多层感知机和全连接层；其中，
所述光谱-多头注意力机制，用于进行光谱谱段间注意力的计算；
所述层标准化层，用于进行归一化操作；
所述多层感知机，用于学习输入输出间非线性关系；
所述全连接层，用于提取特征后输出特征图；
所述每个U型结构的解码器均依次包括级联的：1个Pathch Expanding、4个SwinTransformer Block、1个Pathch Expanding、2个 Swin Transformer Block、1个PathchExpanding和2个 Swin Transformer Block。
作为上述技术方案的改进之一，所述方法还包括：对预先建立的光谱重建网络模型进行训练；训练过程中，利用平均相对绝对误差和L1损失函数耦合的整体
Figure SMS_26
作为光谱重建网络模型整体的损失函数，并通过不断最小化/>
Figure SMS_27
来优化网络，其中，L1损失函数为平均绝对误差，即预测值与真实值之间的绝对差的平均值，表达式为：
Figure SMS_28
其中，
Figure SMS_29
为样本数量，/>
Figure SMS_30
为真实值，/>
Figure SMS_31
为预测值。
本发明还提出了一种基于光谱自注意力机制的遥感高光谱重建系统，所述系统包括：预处理模块、退化处理模块和高光谱生成模块，其中，
所述预处理模块，用于对采集的遥感高光谱图像进行预处理生成对应多光谱图像；
所述退化处理模块，用于使用调制传递函数对多光谱图像进行退化；
所述高光谱生成模块，用于将退化后的多光谱图像输入预先建立并训练好的光谱重建网络模型中，输出得到重建的高光谱。
本发明与现有技术相比优点在于：
本发明能够通过多层次特征提取模块有效地消除遥感图像成像过程中所受的大气效应，相机离焦效应与平台震动效应所造成的图像退化，促进了遥感图像光谱重建工作的进展；同时提出了一种全新的光谱自注意力机制，该机制位于U型结构的瓶颈层，能够有效地提取位于瓶颈层的深层次光谱信息，完成对光谱不同谱段间相关关系的有效建模。
附图说明
图1为本发明的实现流程图；
图2为本发明构建的退化遥感多光谱构建结构流程图；
图3为施加退化效应后多光谱图像与原图像对比效果图；
图4为本发明构建的多层次特征提取模块的结构流程图；
图5为本发明构建的光谱非线性学习模块的结构流程图；
图6为本发明构建的光谱注意力机制模块的结构流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
本发明实施例1采用的技术方案是，一种基于光谱子注意力的遥感高光谱重建方法，按照以下步骤具体实施：
步骤一、对数据进行预处理，
采用的数据集为珠海一号高光谱卫星L1B级数据，原始数据集由25幅高光谱图像组成，每幅图像光谱波段数目为32，空间分辨率为
Figure SMS_32
；对高光谱图像进行空间分辨率裁剪为/>
Figure SMS_33
，光谱波段数目为31，裁剪后可获得1216个子高光谱图像；通过数据集对应光谱响应函数将高光谱图像生成对应多光谱图像，形成高光谱-多光谱图像对。
步骤二、对数据添加退化效应，
分别使用包含有大气效应、相机离焦效应和平台震动效应的调制传递函数（Modulation Transfer Function；MTF）对数据集中的多光谱图像进行退化，退化后多光谱图像大小为
Figure SMS_34
，高光谱图像大小为/>
Figure SMS_35
。
步骤三、构建多层次特征提取模块，
多层次特征提取模块主要由两部分组成，首先是退化去除部分，该部分输入为步骤二生成的多光谱图像，输出大小为
Figure SMS_36
的特征图I1，大小为/>
Figure SMS_37
的特征图I2，大小为/>
Figure SMS_38
的特征图I3；接着此三个特征图输入光谱丰富部分，分别输出大小为/>
Figure SMS_39
的特征图I4，/>
Figure SMS_40
的特征图I5和/>
Figure SMS_41
的特征图I6，最后将几个特征图进行光谱维度的连接输出大小为/>
Figure SMS_42
的特征图I7。
步骤四、构建光谱重建模块，
光谱重建模块由多个U型的光谱非线性学习模块级联而成，每个U型结构主要由三部分构成，第一部分为编码器部分，该部分输入大小为
Figure SMS_43
特征图I7，输出大小为
Figure SMS_44
特征图I8；第二部分为瓶颈层，输入大小为/>
Figure SMS_45
特征图I8，输出大小为/>
Figure SMS_46
特征图I9；第三部分为解码器部分，输入大小为/>
Figure SMS_47
特征图I9，输出大小为/>
Figure SMS_48
特征图I10。
步骤五、优化端到端的光谱重建网络，
利用平均相对绝对误差（mean relative absolute error，MRAE）和L1损失函数耦合的整体
Figure SMS_49
作为光谱重建网络整体的损失函数，并通过不断地最小化/>
Figure SMS_50
来优化网络，即成。
本发明的创新点：
1.本发明提出了一种用于遥感高光谱重建任务的基于光谱学习的深度学习网络，它主要由两个子网络多层次特征提取模块和光谱非线性学习模块级联而成。
2.本发明提出了一种改进的光谱自注意力模块，该模块位于U型结构的瓶颈层，能够有效地学习压缩表征下的光谱谱段间的相关信息。
3.本发明提出的多层次特征提取模块可以同时消除遥感图像退化的影响，同时使用基于大气效应，离焦效应和平台震动效应调制传递函数对数据集进行仿真模拟。
具体地，参照图1，本发明的方法基于光谱自注意力的遥感高光谱重建网络（以下简称光谱重建网络），主要由退化遥感图像构建模块，多层次特征提取模块和光谱重建模块组成。其中退化遥感图像构建模块主要由大气效应影响模块、相机离焦效应影响模块和平台震动效应影响模块三部分组成，输入是经过大气校正与辐射校正后的遥感多光谱图像，输出为退化后的遥感多光谱图像；多层次特征提取模块主要由PixelShuffle，
Figure SMS_51
，/>
Figure SMS_52
、Concat操作、LeakyReLU激活函数、dropout函数和插值操作组成，输入为退化遥感多光谱图像，经过该模块实现退化效应去除与光谱维度扩增两部分功能；光谱重建模块由多个U型的光谱非线性学习模块级联而成，其中每个U型结构的编码器与解码器部分主要由SwinTransformer Block、Patch Merging和Patch Expanding三者组成，U型结构的瓶颈层由本发明所提出的基于光谱注意力机制的Spectral Transformer Block组成，该模块主要实现学习由多光谱向高光谱之间的非线性映射关系。
本发明的方法，基于以上所提出的光谱重建网络，按照以下步骤实施：
步骤一、完成对退化遥感数据集的构建，参照图2，本发明基于调制传递函数（Modulation Transfer Function，MTF）进行退化图像的仿真构建。本发明所用的数据集来自于珠海一号高光谱卫星L1B级数据集，该数据提供给用户之前已经经过了大气校正与辐射校正，为了更加真实地模拟遥感图像成像过程中所受各种影响的退化作用，我们利用图2中的相关公式对多光谱图像进行退化。由于遥感图像在成像过程中不可避免地受到外部因素的影响，本发明将其归纳为三类：大气影响，相机离焦影响模块和平台震动影响，其具体实现步骤如下：
遥感图像所受大气影响是由于光在大气传播过程中，不可避免地会受到如大气分子的折射，散射，受传播路径中的温度，压强等因素的影响。大气效应一般可以分为两类：1）大气湍流所造成的散射、折射效应；2）大气中存在的气溶胶分子所引起的图像模糊与能见度降低。根据原始数据的分布特性，本发明这里只考虑大气湍流所造成的影响，具体的湍流MTF如下式：
Figure SMS_53
（1）
其中
Figure SMS_54
为空间角频率，/>
Figure SMS_55
为折射率结构常数，/>
Figure SMS_56
为波长，/>
Figure SMS_57
为传播路径长度，/>
Figure SMS_58
为常数，/>
Figure SMS_59
为成像光学系统的入瞳直径。
离焦效应是指成像器件在运行过程中，透镜间隔、相机焦距等成像参数被外部温度，压强所影响而造成的成像界面与相机焦距不在同一平面而造成的离焦效应。具体的离焦MTF如下式：
Figure SMS_60
（2）
其中
Figure SMS_61
为一阶贝塞尔函数，/>
Figure SMS_62
为轴向离焦量，/>
Figure SMS_63
，/>
Figure SMS_64
为入射光瞳直径，
Figure SMS_65
为空间频率。
平台震动效应指的是星载遥感图像拍摄平台在运行过程中，卫星的不同部件会产生不同程度的震动，并且根据相关研究表明，卫星的相机在拍摄过程中主要受到低频震动的影响，本发明使用高斯噪声来对低频震动进行模拟如下：
Figure SMS_66
（3）
其中
Figure SMS_67
为位移标准差，/>
Figure SMS_68
为空间频率。
本发明将以上各种影响的调制传递函数进行汇总，提出了总的调制传递函数如下：
Figure SMS_69
（4）
参照图3，添加退化效应后的图像从相质上看主要体现在模糊与图像分辨率下降的问题，同时也会造成对多光谱图像的光谱信息的改变，从而对之后的光谱重建过程造成影响。
步骤二、构建多层次特征提取模块完成对图像中退化效应的去除，具体结构参照图4，多层次特征提取模块的结构依次为：经过退化后的多光谱图像→PixelShuffle→空间分辨率与光谱分辨率均不同的特征图I1、I2和I3→
Figure SMS_73
卷积和/>
Figure SMS_75
卷积组成并联卷积组→Concat操作→/>
Figure SMS_80
卷积→LeakyReLU激活函数→dropout函数→插值操作→光谱维度不相同的特征图I4、I5和I6→Concat操作→/>
Figure SMS_70
卷积→输出光谱维度为31的特征图I7；其中，所有/>
Figure SMS_74
步长均为1，填充值为1，所有的/>
Figure SMS_79
步长为1，填充值为0；PixelShuffle将原始输入数据的空间维度和光谱维度进行改变，形成尺度分别为
Figure SMS_82
的I1，/>
Figure SMS_72
的I2,/>
Figure SMS_77
的I3，以便于在后续对研究目标进行不同维度的特征提取，从而充分地去除退化效应对于空域与频域的影响;由/>
Figure SMS_78
与/>
Figure SMS_81
组成的卷积组拥有不同的感受野，能够对图像中不同尺度的特征进行有效地提取，完成去除退化效应的功能，经过卷积的数据由Concat操作聚合；这三个特征图接着输入由光谱响应函数引导的卷积/>
Figure SMS_71
中，利用LeakyReLU激活函数，dropout函数和双线性插值操作完成光谱维度的扩增，进而通过/>
Figure SMS_76
卷积输出维度为31的特征图I7。
步骤三、构建光谱非线性学习模块学习由多光谱图像到高光谱图像之间的映射关系，具体结构请参照图5，光谱非线性学习模块的具体结构为：特征图I7作为该模块的输入→
Figure SMS_83
→Pathch Merging → />
Figure SMS_84
→Pathch Merging→
Figure SMS_85
→Pathch Merging→特征图I8→Pathch Expanding→
Figure SMS_86
→特征图I9→Pathch Expanding→ />
Figure SMS_87
→PathchExpanding→/>
Figure SMS_88
→Pathch Expanding→ />
Figure SMS_89
→特征图I10。由图1可知，在本发明中，光谱重建网络使用了多个光谱非线性学习模块级联而成，因此在此处只选取了其中一个进行分析，其余同理。该模块主要由编码器，瓶颈层与解码器三部分组成。编码器由Swin Transformer Block和Pathch Merging两部分组成，实现对输入高光谱特征图I4的特征提取功能。Swin Transformer Block有着多头自注意力机制，滑动窗口设计以及位置编码，能够有效提取存在与空域中光谱相关关系丰富区域信息，在U型结构的编码器对数据维度进行压缩的同时，Swin Transformer Block能够有效地提取存在于不同维度之中的空间信息。在瓶颈层部分，本发明提出的Spectral Transformer Block对存在于深层次的光谱信息有着较强的提取能力，能够实现对不同谱段间的相关关系进行有效地建模。
参照图6，本发明所提出的Spectral Transformer Block主要由两个相同的模块相连而成，这里主要对第一个模块进行详细介绍：输入的特征图数据I8首先进入光谱-多头注意力模块（Spectral Multi-head self-attention module, S-MSA）,进行光谱谱段间注意力的计算输出为I8_1；接着I8_1进入层标准化模块（Layer Norm，LN），进行归一化操作输出为I8_2；之后I8_2输入到多层感知机（multi-layer perceptrons，MLP），全连接层提取特征后生成I8_3特征图。
步骤四、完成光谱重建网络的构建。参照图1可知，光谱重建网络由多个光谱非线性学习模块级联与跳跃连接组成。具体来说，相同的光谱非线性学习模块可以通过级联来构成更深层的神经网络，从而增加模型的表示能力和学习能力。同时，跳跃连接也可以有效地提高信息的传递效率，避免信息在传递过程中丢失或扭曲，从而提高模型的准确性和鲁棒性。此外，跳跃连接还可以使得模型具有更好的泛化能力，能够更好地适应不同的数据分布和噪声干扰，从而避免过拟合现象的发生。
我们在Windows10系统下进行了实验，实验的软件平台为PyTorch1.6，硬件平台为RTX3090显卡。为了验证本发明的有效性，我们在珠海一号高光谱卫星数据集上进行了实验，将本发明与其他重建方法之间的性能对比展示如表1。
表1：本发明实施方法与现有光谱重建方法性能指标实验结果。
方法 均方根误差 平均相对绝对误差 相对均方根误差
AWAN 0.2246 0.6527 0.2884
HRNet 0.2204 0.65 0.2817
HSCNN+ 0.2276 0.6803 0.2902
HSRnet 0.2479 0.7367 0.3126
MST++ 0.2347 0.6857 0.297
Ours 0.1836 0.5665 0.2509
对比表1的结果，通过将本发明所提出的方法与现有光谱重建方法（AWAN， HRNet，HSCNN+，HSRnet，MST++）的效果对比可知本发明所提出方法在均方根误差，平均相对绝对误差和相对均方根误差三个指标方面都领先于现有光谱重建方法。这是由于本方法能够充分利用遥感高光谱图像中稀疏光谱的特性，建立起有效的光谱注意力机制完成对不同谱段之间的相关关系的有效建模；同时，该发明使用多层次特征提取方法在去除图像中存在的退化方面也存在着较好的效果，提升了模型的表达能力和在复杂情况下的鲁棒性。
实施例2
基于上述方法，本发明实施例2构建了一种基于光谱自注意力机制的遥感高光谱重建系统，包括：预处理模块、退化处理模块和高光谱生成模块，其中，
所述预处理模块，用于对采集的遥感高光谱图像进行预处理生成对应多光谱图像；
所述退化处理模块，用于使用调制传递函数对多光谱图像进行退化；
所述高光谱生成模块，用于将退化后的多光谱图像输入预先建立并训练好的遥感高光谱重建模型中，输出得到重建的高光谱。
由上述可知，本发明的多层次特征提取模块能够有效地消除遥感图像中存在的退化效应，避免图像质量的降低对之后光谱重建效果产生影响；同时光谱自注意力机制模块可以实现对光谱不同谱段间的相关关系提取，可以有效地完成光谱重建工作。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于光谱自注意力机制的遥感高光谱重建方法，所述方法包括：
采集遥感高光谱图像并处理生成对应多光谱图像，使用调制传递函数对多光谱图像进行退化，将退化后的多光谱图像输入预先建立并训练好的遥感高光谱重建模型中，输出得到重建的高光谱；
所述遥感高光谱重建模型包括：一个多层次特征提取模块和多个级联与跳跃连接的光谱非线性学习模块，其中，
所述多层次特征提取模块，用于对退化后的多光谱图像进行退化去除和光谱维度扩增，并输出提取的特征图；
每个所述光谱非线性学习模块是由编码器，瓶颈层和解码器组成的U型结构，用于根据学习的多光谱图像到高光谱图像的映射关系对提取的特征图进行处理，输出得到重建的高光谱；每个U型结构的瓶颈层均引入多头自注意力机制；
每个U型结构的编码器均依次包括级联的：2个Swin Transformer Block、1个PathchMerging、2个 Swin Transformer Block、1个Pathch Merging、4个Swin TransformerBlock和1个Pathch Merging，用于对输入的特征图进行空间维度降低和光谱维度升高，输出特征图；
每个U型结构的瓶颈层均包括级联的4个Spectral Transformer Block；每个SpectralTransformer Block均包括级联的2个相同的光谱自注意力机制子模块；每个光谱自注意力机制子模块均包括级联的：光谱-多头注意力机制、层标准化层、多层感知机和全连接层；其中，
所述光谱-多头注意力机制，用于进行光谱谱段间注意力的计算；
所述层标准化层，用于进行归一化操作；
所述多层感知机，用于学习输入输出间非线性关系；
所述全连接层，用于提取特征后输出特征图；
每个U型结构的解码器均依次包括级联的：1个Pathch Expanding、4个SwinTransformer Block、1个Pathch Expanding、2个 Swin Transformer Block、1个PathchExpanding和2个 Swin Transformer Block。
2.根据权利要求1所述的基于光谱自注意力机制的遥感高光谱重建方法，其特征在于，所述采集遥感高光谱图像并处理生成对应多光谱图像，具体包括：
采集经过大气校正与辐射校正后的遥感高光谱图像；
对高光谱图像进行空间分辨率裁剪获得子高光谱图像；
通过光谱响应函数将子高光谱图像生成对应多光谱图像。
3.根据权利要求1所述的基于光谱自注意力机制的遥感高光谱重建方法，其特征在于，所述使用调制传递函数对多光谱图像进行退化，其中，调制传递函数
Figure QLYQS_1
的表达式为：
Figure QLYQS_2
其中，/>
Figure QLYQS_3
为湍流调制传递函数，
Figure QLYQS_4
为相机离焦效应调制传递函数，/>
Figure QLYQS_5
为平台震动效应调制传递函数，具体表达式分别为：
Figure QLYQS_6
其中，/>
Figure QLYQS_7
为空间角频率，/>
Figure QLYQS_8
为折射率结构常数，/>
Figure QLYQS_9
为波长，/>
Figure QLYQS_10
为传播路径长度，/>
Figure QLYQS_11
为常数，/>
Figure QLYQS_12
为入射光瞳直径；
Figure QLYQS_13
其中，/>
Figure QLYQS_14
为一阶贝塞尔函数，/>
Figure QLYQS_15
为轴向离焦量，
Figure QLYQS_16
，f为焦距，/>
Figure QLYQS_17
为空间频率；
Figure QLYQS_18
其中，/>
Figure QLYQS_19
为位移标准差。
4.根据权利要求1所述的基于光谱自注意力机制的遥感高光谱重建方法，其特征在于，所述多层次特征提取模块，处理过程具体包括：
采用PixelShuffle算法改变退化后的多光谱图像的维度信息，获得空间分辨率与光谱分辨率均不同的特征图I1、I2和I3；
使用
Figure QLYQS_20
卷积和/>
Figure QLYQS_21
卷积组成的并联卷积组对特征图I1、I2和I3依次分别进行/>
Figure QLYQS_22
卷积、/>
Figure QLYQS_23
卷积和Concat操作，去除图像中存在的退化效应并分别生成特征图I4、I5和I6；
之后对特征图I4、I5和I6分别依次采用基于光谱响应函数引导的
Figure QLYQS_24
卷积进行
Figure QLYQS_25
卷积操作、LeakyReLU函数激活、dropout函数处理和插值操作，完成光谱维度的扩增，之后将特征图I4、I5和I6通过Concat操作生成特征图I7。
5.根据权利要求1所述的基于光谱自注意力机制的遥感高光谱重建方法，其特征在于，所述方法还包括：对预先建立的光谱重建网络模型进行训练；训练过程中，利用平均相对绝对误差和L1损失函数耦合的整体
Figure QLYQS_26
作为光谱重建网络模型整体的损失函数，并通过不断最小化/>
Figure QLYQS_27
来优化网络；
L1损失函数为平均绝对误差，即预测值与真实值之间的绝对差的平均值，表达式为：
Figure QLYQS_28
其中，/>
Figure QLYQS_29
为样本数量，/>
Figure QLYQS_30
为真实值，/>
Figure QLYQS_31
为预测值。
6.一种基于光谱自注意力机制的遥感高光谱重建系统，其特征在于，所述系统包括：预处理模块、退化处理模块和高光谱生成模块，其中，
所述预处理模块，用于对采集的遥感高光谱图像进行预处理生成对应多光谱图像；
所述退化处理模块，用于使用调制传递函数对多光谱图像进行退化；
所述高光谱生成模块，用于将退化后的多光谱图像输入预先建立并训练好的遥感高光谱重建模型中，输出得到重建的高光谱；
所述遥感高光谱重建模型包括：一个多层次特征提取模块和多个级联与跳跃连接的光谱非线性学习模块，其中，
所述多层次特征提取模块，用于对退化后的多光谱图像进行退化去除和光谱维度扩增，并输出提取的特征图；
每个所述光谱非线性学习模块是由编码器，瓶颈层和解码器组成的U型结构，用于根据学习的多光谱图像到高光谱图像的映射关系对提取的特征图进行处理，输出得到重建的高光谱；每个U型结构的瓶颈层均引入多头自注意力机制；
每个U型结构的编码器均依次包括级联的：2个Swin Transformer Block、1个PathchMerging、2个 Swin Transformer Block、1个Pathch Merging、4个Swin TransformerBlock和1个Pathch Merging，用于对输入的特征图进行空间维度降低和光谱维度升高，输出特征图；
每个U型结构的瓶颈层均包括级联的4个Spectral Transformer Block；每个SpectralTransformer Block均包括级联的2个相同的光谱自注意力机制子模块；每个光谱自注意力机制子模块均包括级联的：光谱-多头注意力机制、层标准化层、多层感知机和全连接层；其中，
所述光谱-多头注意力机制，用于进行光谱谱段间注意力的计算；
所述层标准化层，用于进行归一化操作；
所述多层感知机，用于学习输入输出间非线性关系；
所述全连接层，用于提取特征后输出特征图；
每个U型结构的解码器均依次包括级联的：1个Pathch Expanding、4个SwinTransformer Block、1个Pathch Expanding、2个 Swin Transformer Block、1个PathchExpanding和2个 Swin Transformer Block。
CN202310362414.8A 2023-04-07 2023-04-07 一种基于光谱自注意力机制的遥感高光谱重建方法及系统 Active CN116091640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310362414.8A CN116091640B (zh) 2023-04-07 2023-04-07 一种基于光谱自注意力机制的遥感高光谱重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310362414.8A CN116091640B (zh) 2023-04-07 2023-04-07 一种基于光谱自注意力机制的遥感高光谱重建方法及系统

Publications (2)

Publication Number Publication Date
CN116091640A CN116091640A (zh) 2023-05-09
CN116091640B true CN116091640B (zh) 2023-06-20

Family

ID=86210510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310362414.8A Active CN116091640B (zh) 2023-04-07 2023-04-07 一种基于光谱自注意力机制的遥感高光谱重建方法及系统

Country Status (1)

Country Link
CN (1) CN116091640B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115621A (zh) * 2023-10-24 2023-11-24 中国海洋大学 基于改进U-Net网络的卫星云图预测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738953A (zh) * 2020-06-24 2020-10-02 北京航空航天大学 一种基于边界感知对抗学习的大气湍流退化图像复原方法
CN112287978B (zh) * 2020-10-07 2022-04-15 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN112634137B (zh) * 2020-12-28 2024-03-05 西安电子科技大学 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN114429424B (zh) * 2022-04-01 2022-06-24 中国石油大学(华东) 一种适用于退化方式不定的遥感图像超分重建方法
CN115082344A (zh) * 2022-06-29 2022-09-20 西安理工大学 基于细节注入的双分支网络全色锐化方法

Also Published As

Publication number Publication date
CN116091640A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
Chen et al. Hyperspectral image compressive sensing reconstruction using subspace-based nonlocal tensor ring decomposition
CN111062880A (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
CN106788714B (zh) 一种基于光学计算的稀疏解混方法
CN114723631B (zh) 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置
CN116091640B (zh) 一种基于光谱自注意力机制的遥感高光谱重建方法及系统
Ramirez et al. LADMM-Net: An unrolled deep network for spectral image fusion from compressive data
CN114937206A (zh) 基于迁移学习和语义分割的高光谱图像目标检测方法
CN114387164A (zh) 一种太赫兹单像素超分辨成像方法和系统
Wu et al. Multi-task multi-objective evolutionary network for hyperspectral image classification and pansharpening
Tong et al. Quantitative pure-phase object reconstruction under single-shot Fourier measurement via deep learning
Sun et al. Remote sensing images dehazing algorithm based on cascade generative adversarial networks
Li et al. Progressive recurrent neural network for multispectral remote sensing image destriping
Martínez et al. Efficient transfer learning for spectral image reconstruction from RGB images
Cao et al. CFMB-T: A cross-frequency multi-branch transformer for low-quality infrared remote sensing image super-resolution
Urrea et al. Optical Solutions for Spectral Imaging Inverse Problems with a Shift-Variant System.
Zheng et al. Dehaze-TGGAN: Transformer-Guide Generative Adversarial Networks with Spatial-Spectrum Attention for Unpaired Remote Sensing Dehazing
Li et al. Spectral-Learning-Based Transformer Network for the Spectral Super-Resolution of Remote-Sensing Degraded Images
Li et al. Foggy image restoration using deep sub‐pixel reconstruction network
Saxena et al. Deep learning for satellite image reconstruction
Greer et al. Accurate reconstruction of hyperspectral images from compressive sensing measurements
AL-Sammarraie et al. Modified Active Learning Framework for Hyperspectral Image Classification with Convolutions Neural Networks
CN111861907B (zh) 一种高动态范围激光焦斑图像的去噪方法
Yuan et al. Review of reconstruction methods for spectral snapshot compressive imaging
CN114913069B (zh) 一种基于深度神经网络的红外图像超分辨率重建方法
Wang et al. Physics-driven generative adversarial networks empower single-pixel infrared hyperspectral imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant