CN115700727A - 基于自注意力机制的光谱超分辨率重建方法及系统 - Google Patents
基于自注意力机制的光谱超分辨率重建方法及系统 Download PDFInfo
- Publication number
- CN115700727A CN115700727A CN202310000353.0A CN202310000353A CN115700727A CN 115700727 A CN115700727 A CN 115700727A CN 202310000353 A CN202310000353 A CN 202310000353A CN 115700727 A CN115700727 A CN 115700727A
- Authority
- CN
- China
- Prior art keywords
- attention
- self
- spectral
- module
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000007246 mechanism Effects 0.000 title claims description 54
- 238000001228 spectrum Methods 0.000 claims abstract description 92
- 230000004927 fusion Effects 0.000 claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims description 72
- 238000013507 mapping Methods 0.000 claims description 42
- 238000010586 diagram Methods 0.000 claims description 33
- 238000010606 normalization Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 12
- 125000004432 carbon atom Chemical group C* 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 150000001875 compounds Chemical class 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 101150070547 MAPT gene Proteins 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 8
- 238000003384 imaging method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于自注意力机制的光谱超分辨率重建方法及系统，本发明包括对输入的RGB图像X进行特征提取得到空谱浅层特征，再输入多阶段光谱超分辨率重建网络MSCT得到重建高光谱图像H；多阶段光谱超分辨率重建网络MSCT由多个级联连接的单阶段光谱超分辨率重建网络SCT以及卷积操作模块连接构成，所述单阶段光谱超分辨率重建网络SCT包括依次相连的编码器模块、瓶颈模块和解码器模块构成的支路，以及连接在编码器模块和解码器模块之间的通道特征交叉融合模块CCT。本发明能够有效实现从高空间分辨率的RGB图像重建得到高空间分辨率的高光谱图像，具有模型轻量化、重建精度高和重建速度快的优点。
Description
技术领域
本发明属于光谱超分辨率重建技术领域，具体涉及一种基于自注意力机制的光谱超分辨率重建方法及系统。
背景技术
高光谱成像以窄带记录现实世界的场景光谱，其中每个波段捕获特定光谱波长的信息，与普通RGB图像相比，高光谱图像具有更多通道，储存了更丰富的场景信息，基于这一特点，高光谱图像在遥感、医学诊断、目标检测等领域有广泛的应用。传统成像系统通常通过沿空间或光谱维度扫描场景的光谱仪来获取高光谱图像，包括摆扫式、推扫式和带序扫描仪，然而扫描过程极为耗时，且成像设备常常因物理尺寸较大而无法嵌入便携式平台中使用。快照压缩成像（SCI）系统能够解决上述难题，其通过编码孔径掩膜对成像场景的各光谱通道进行调制来生成二维快照估计图，再经过重建算法获取高光谱图像，但对于消费级使用者而言该系统仍然过于昂贵，“低成本”的SCI系统也往往需要一万至十万美元的开销，且调制过程中容易引入大量噪声，这依旧限制了高光谱图像的应用。现有的RGB图像成像设备可快速获取高空间分辨率的RGB图像且使用成本低廉，故直接由RGB图像进行光谱通道重建是一种可行方法。该技术利用光谱自注意力机制捕捉光谱通道间的内在联系，并借助通道交叉融合注意力机制融合特征中的有用信息，显著提升了高光谱图像重建精度，大大降低了高光谱图像的获取难度。目前获取高光谱图像的途径主要有两种，一种是通过融合成像方法，一种是通过光谱超分辨率方法。融合成像方法通过融合低空间分辨率高光谱图像和高空间分辨率多光谱图像来得到高分辨率高光谱图像，但低空间分辨率的高光谱图像依旧获取困难，故该方法实用效益较低。光谱超分辨率方法能够直接从RGB图像重建得高光谱图像，高光谱图像具有空间维稀疏和光谱维自相似的特点，但现有的光谱超分辨率方法主要基于卷积神经网络，其通过卷积操作提取特征的方式主要针对空间维，对光谱通道间的自相似性和依赖关系的捕捉能力不足，极大程度上限制了重建效果。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于自注意力机制的光谱超分辨率重建方法及系统，本发明能够有效实现从高空间分辨率的RGB图像重建得到高空间分辨率的高光谱图像，具有模型轻量化、重建精度高和重建速度快的优点。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于自注意力机制的光谱超分辨率重建方法，包括：
S101，对输入的RGB图像X进行特征提取得到空谱浅层特征H 0；
S102，将空谱浅层特征H 0输入训练好的多阶段光谱超分辨率重建网络MSCT得到重建高光谱图像H；所述多阶段光谱超分辨率重建网络MSCT由多个级联连接的单阶段光谱超分辨率重建网络SCT将空谱浅层特征H 0进行特征提取后，再通过一个卷积操作后与空谱浅层特征H 0叠加得到重建高光谱图像H，所述单阶段光谱超分辨率重建网络SCT用于通过一包含多级编码器的编码器模块对空谱浅层特征H 0进行编码、再通过一瓶颈模块将编码特征H b 送入一包含多级解码器的解码器模块，同时通过一基于自注意力机制的通道特征交叉融合模块CCT将各级编码器的编码特征H i 进行通道特征交叉融合得到交叉融合编码特征H i c 并送入对应层级的解码器进行融合以最终获得输出的重建高光谱图像H。
可选地，所述通道特征交叉融合模块CCT将各级编码器的编码特征H i 进行通道特征交叉融合得到编码特征H i c 包括：
S201，分别将各级编码器的编码特征H i 通过层归一化得到特征图T i ；
S202，将各级特征图T i 进行通道维堆叠操作得到特征图T；
S203，将各级特征图T i 以及特征图T通过多头通道自注意力机制单元MCA进行交叉通道自注意力计算得到各级注意力特征图T i,out ；
S204，分别将各级注意力特征图T i,out 首先与编码特征H i 跳跃连接，然后再将跳跃连接得到的特征依次经过层归一化、多层感知机后得到的特征图与原始的注意力特征图T i,out 进行跳跃连接后得到交叉融合编码特征H i c 。
可选地，步骤S203中通过多头通道自注意力机制单元MCA进行交叉通道自注意力计算包括：
S301，将各级特征图T i 和查询映射矩阵W Q 相乘作为查询矩阵Q ci ，将特征图T和键映射矩阵W K 相乘作为键矩阵K c ，将特征图T和值映射矩阵W V 相乘作为值矩阵V c ；
S302，根据下式计算各级交叉通道注意力矩阵CA i ：
上式中，softmax表示softmax激活函数，T表示对矩阵的转置；
S303，根据下式计算各级注意力特征图T i,out ：
上式中，W S 表示输出映射矩阵。
可选地，所述包含多级编码器的编码器模块中每一个编码器的输出端均连接有个
下采样模块，所述包含多级解码器的解码器模块中每一个解码器的输入端均包含一个上采
样模块，所述上采样模块用于将瓶颈模块输出的编码特征H b 或者上一个解码器输出的解码
特征
先进行二维反卷积，再与对应的交叉融合编码特征H i c 进行通道维堆叠操作，最后
通过卷积核大小为1×1的二维卷积进行降维以或得到输出的解码特征
，且由最后一级解
码器输出的解码特征通过一卷积核大小为3×3的二维卷积进行映射后再与空谱浅层特征H 0合并得到重建高光谱图像H。
可选地，所述编码器、解码器和瓶颈模块均为光谱注意力模块SAB，所述光谱注意力模块SAB对输入的特征图的处理包括：
S401，将输入的特征图经过层归一化、多头光谱自注意力机制单元SMSA进行交叉通道自注意力计算，再将交叉通道自注意力计算得到的特征图与输入的特征图进行跳跃连接；
S402，将步骤S401中跳跃连接得到的特征图经过层归一化、多层感知机后再与步骤S401中跳跃连接得到的特征图进行跳跃连接后作为光谱注意力模块SAB输出的特征图。
可选地，步骤S401中多头光谱自注意力机制单元SMSA进行交叉通道自注意力计算包括：
S501，针对输入多头光谱自注意力机制单元SMSA的特征图H in ，分别将特征图H in 和查询映射矩阵W Q 相乘作为查询矩阵Q s ，将特征图H in 和键映射矩阵W K 相乘作为键矩阵K s ，将特征图H in 和值映射矩阵W V 相乘作为值矩阵V s ，并以此确定N个单头自注意力中任意第j个单头自注意力对应的查询矩阵Q sj 、键矩阵K sj 以及值矩阵V sj ；
S502，根据下式计算任意第j个单头自注意力矩阵A i ：
上式中，softmax表示softmax激活函数，σ j 表示第j个单头自注意力的权重系数，T表示对矩阵的转置；
S503，根据下式计算多头光谱自注意力机制单元SMSA输出的特征图：
上式中，
表示多头光谱自注意力机制单元SMSA输出的特征图，CAT为通道维堆
叠操作，N为单头自注意力数量，W S 表示输出映射矩阵，
为位置编码层操作。
可选地，步骤S101中对输入的RGB图像X进行特征提取包括：
S601，对输入的RGB图像X进行卷积操作进行通道上采样得到初步特征H 0 '；
S602，对初步特征H 0 '进行卷积操作进行通道上采样得到空谱浅层特征H 0。
可选地，步骤S102中的多阶段光谱超分辨率重建网络MSCT在训练阶段所使用的损失函数为：
上式中，H为重建高光谱图像，N为RGB图像X的像素总量，S为物理传感器的光谱响
应函数，H(i)为重建高光谱图像H的第i个像素，X(i)为RGB图像X的第i个像素，λ为权重值，
为重建高光谱图像H的正则项。
此外，本发明还提供一种基于自注意力机制的光谱超分辨率重建系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于自注意力机制的光谱超分辨率重建方法。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于自注意力机制的光谱超分辨率重建方法。
和现有技术相比，本发明主要具有下述优点：本发明包括对输入的RGB图像X进行特征提取得到空谱浅层特征，再输入多阶段光谱超分辨率重建网络MSCT得到重建高光谱图像H；多阶段光谱超分辨率重建网络MSCT由多个级联连接的单阶段光谱超分辨率重建网络SCT以及卷积操作模块连接构成，单阶段光谱超分辨率重建网络SCT包括依次相连的编码器模块、瓶颈模块和解码器模块构成的支路，以及连接在编码器模块和解码器模块之间的通道特征交叉融合模块CCT，通过编码器模块捕捉光谱通道间的隐含依赖关系，并借助通道特征交叉融合模块来融合光谱注意力模块所提取的有用信息，辅以基于高光谱图像和RGB图像映射关系的损失函数来优化重建结果，由解码器输出通道数量扩展后的特征图。经过的多阶段光谱超分辨率重建网络MSCT后，再经过卷积层和跳跃连接输出重建高光谱图像H，因此本实施例方法能够有效实现从RGB图像获取高空间分辨率的高光谱图像，具有重建精度高、运算速度快、成本低的优点。
1、本发明基于RGB图像和高光谱图像之间的映射关系引导网络的学习过程。根据高光谱图像具有空间维稀疏和光谱维自相似的特点，利用光谱注意力模块和通道特征交叉融合模块，进一步提升了光谱超分辨率重建的精度和质量，高效地实现从RGB图像到高光谱图像的映射，降低了高光谱图像的获取成本。
2、本发明相比于一般的空间注意力机制模块能够令网络更准确地学习到光谱通道间的依赖关系（通过光谱注意力模块、和/或通道特征交叉融合模块），经现有RGB-高光谱图像数据集训练可得到比现有方法更优的泛化性能，且网络整体参数量较少，计算开销较低。
3、本发明在对不同来源的RGB图像进行光谱超分辨率重建时，仅需按需求改变输出光谱通道数即可，具有很强的普适性和鲁棒性。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中多阶段光谱超分辨率重建网络MSCT的结构示意图。
图3为本发明实施例中单阶段光谱超分辨率重建网络SCT的结构示意图。
图4为本发明实施例中通道特征交叉融合模块CCT的结构示意图。
图5为本发明实施例中多头通道自注意力机制单元MCA的结构示意图。
图6为本发明实施例中光谱注意力模块SAB的结构示意图。
图7为本发明实施例中多头光谱自注意力机制单元SMSA的结构示意图。
具体实施方式
如图1所示，本实施例基于自注意力机制的光谱超分辨率重建方法包括：
S101，对输入的RGB图像X进行特征提取得到空谱浅层特征H 0；
S102，将空谱浅层特征H 0输入训练好的多阶段光谱超分辨率重建网络MSCT得到重建高光谱图像H。
如图2所示，本实施例中的多阶段光谱超分辨率重建网络MSCT由多个级联连接的单阶段光谱超分辨率重建网络SCT将空谱浅层特征H 0进行特征提取后，再通过一个卷积操作后与空谱浅层特征H 0叠加得到重建高光谱图像H。本实施例中多阶段光谱超分辨率重建网络MSCT具体包括三个级联连接的单阶段光谱超分辨率重建网络SCT，通过三个级联连接的单阶段光谱超分辨率重建网络SCT依次将空谱浅层特征H 0进行特征提取后，再采用卷积核大小为3×3的卷积层进行卷积操作后与空谱浅层特征H 0叠加得到重建高光谱图像H。
如图3所示，本实施例中的单阶段光谱超分辨率重建网络SCT用于通过一包含多级编码器的编码器模块对空谱浅层特征H 0进行编码、再通过一瓶颈模块将编码特征H b 送入一包含多级解码器的解码器模块，同时通过一基于自注意力机制的通道特征交叉融合模块CCT将各级编码器的编码特征H i 进行通道特征交叉融合得到交叉融合编码特征H i c 并送入对应层级的解码器进行融合以最终获得输出的重建高光谱图像H。其中，编码器模块、瓶颈模块、解码器模块构成了单阶段光谱超分辨率重建网络SCT的主路，自注意力机制的通道特征交叉融合模块CCT构成了单阶段光谱超分辨率重建网络SCT的分路，将主路输出与分路输出叠加，由解码器模块输出高光谱图像H，形成了U形结构，因此本实施例中将单阶段光谱超分辨率重建网络SCT命名为单阶段U形分支网络，将多阶段光谱超分辨率重建网络MSCT命名为多阶段U形分支网络。编码器模块包含编码器的级数与解码器模块包含解码器的级数相同，可以根据实际需要选择，例如作为一种可选的实施方式，本实施例中编码器模块包含两级编码器，解码器模块同样也包含两级解码器。
通道特征交叉融合模块CCT用于融合编码器所提取浅层特征中的有用信息，将其叠加至解码器特征，从而进一步提升光谱超分辨率重建质量。如图3所示，本实施例中通道特征交叉融合模块CCT将各级编码器的编码特征H i 进行通道特征交叉融合得到编码特征H i c 包括：
S201，分别将各级编码器的编码特征H i 通过层归一化（LayerNorm）得到特征图T i ，可表示为：
上式中，LN表示层归一化（LayerNorm）；
S202，将各级特征图T i 进行通道维堆叠操作得到特征图T，可表示为：
上式中，CAT为通道维堆叠操作。
S203，将各级特征图T i 以及特征图T通过多头通道自注意力机制单元MCA进行交叉通道自注意力计算得到各级注意力特征图T i,out ；
S204，分别将各级注意力特征图T i,out 首先与编码特征H i 跳跃连接，然后再将跳跃
连接得到的特征依次经过层归一化（LayerNorm）、多层感知机（MLP）后得到的特征图与原始
的注意力特征图T i,out 进行跳跃连接后得到交叉融合编码特征H i c 。具体地，本实施例中为两
级编码器，因此编码器模块输出特征
、
通过网络分支路，本实施例中通道特征交叉融
合模块CCT输出的交叉融合编码特征分别为
、
，可表示为：
如图4所示，本实施例步骤S203中通过多头通道自注意力机制单元MCA进行交叉通道自注意力计算包括：
S301，将各级特征图T i 和查询映射矩阵W Q 相乘作为查询矩阵Q ci ，将特征图T和键映射矩阵W K 相乘作为键矩阵K c ，将特征图T和值映射矩阵W V 相乘作为值矩阵V c ，可表示为：
S302，根据下式计算各级交叉通道注意力矩阵CA i ：
上式中，softmax表示softmax激活函数，T表示对矩阵的转置；
S303，根据下式计算各级注意力特征图T i,out ：
上式中，W S 表示输出映射矩阵。本实施例中，i为编码器的级数，具体取值为2。参见
图4，多头通道自注意力机制单元MCA由作为输入映射的三个线性层、作为输出映射的一个
线性层构成，用于进行交叉通道自注意力计算，其中作为输入映射的三个线性层用于生成
输入映射矩阵
、
、
，作为输出映射的一个线性层用于生成输出映射矩阵
。所述层
归一化用于特征归一化。所述多层感知机为线性层-GELU激活函数层-线性层-GELU激活函
数层-线性层级联结构，用于加强非线性映射。
、
各自经过层归一化得到
，
为输入至通道特征交叉融合模块的特征图。
、
、
为输入映射矩阵，
为输
出映射矩阵，均为可学习参数。CAT为通道维堆叠操作，
为交叉通道注意力矩阵，N为注意
力头数，取N=2。经过交叉通道自注意力计算，融合各输入特征中的有用信息后，通道特征交
叉融合模块（CCT）输出的特征图为
、
，其经过跳跃连接、层归一化、MLP以及跳跃连
接后得到通道特征交叉融合模块的输出
、
。
参见图2，本实施例中，包含多级编码器的编码器模块中每一个编码器的输出端均
连接有个下采样模块，所述包含多级解码器的解码器模块中每一个解码器的输入端均包含
一个上采样模块，所述上采样模块用于将瓶颈模块输出的编码特征H b 或者上一个解码器输
出的解码特征
先进行二维反卷积，再与对应的交叉融合编码特征H i c 进行通道维堆叠操
作，最后通过卷积核大小为1×1的二维卷积进行降维以或得到输出的解码特征
，且由最
后一级解码器输出的解码特征通过一卷积核大小为3×3的二维卷积进行映射后再与空谱
浅层特征H 0合并得到重建高光谱图像H，可表示为：
上式中，
、
均为解码器模块输出，CAT为通道维堆叠操作，
表示卷积核
为1×1的二维卷积，起降维作用，配合通道维堆叠操作使通道维保持不变，
表示
卷积核为2×2的二维反卷积，起通道上采样作用，
表示卷积核为3×3的二维卷积，
起输出映射作用。
本实施例中，编码器、解码器和瓶颈模块均为光谱注意力模块SAB，光谱注意力模
块SAB用于逐步发掘经过网络主路的特征图在通道维度隐含的自相似性和依赖关系。将光
谱注意力模块SAB采用函数的方式表示，空谱浅层特征H 0通过网络主路，编码器模块输出特
征分别为
、
，瓶颈模块输出特征为
可表示为：
上式中，
表示卷积核为4×4的二维卷积，起空间下采样作用。
如图5所示，光谱注意力模块SAB为层归一化、多头光谱自注意力机制单元SMSA、层归一化（LayerNorm）、多层感知机（MLP）依次相连构成的四层结构，光谱注意力模块SAB对输入的特征图的处理包括：
S401，将输入的特征图经过层归一化、多头光谱自注意力机制单元SMSA进行交叉通道自注意力计算，再将交叉通道自注意力计算得到的特征图与输入的特征图进行跳跃连接；
S402，将步骤S401中跳跃连接得到的特征图经过层归一化、多层感知机后再与步骤S401中跳跃连接得到的特征图进行跳跃连接后作为光谱注意力模块SAB输出的特征图。
多头光谱自注意力机制单元SMSA由作为输入映射的三个线性层、位置编码层、作
为输出映射的一个线性层构成，用于进行光谱自注意力计算，其中作为输入映射的三个线
性层用于生成映射矩阵
、
、
，层归一化用于特征归一化。多层感知机为线性层-
GELU激活函数层-线性层-GELU激活函数层-线性层级联结构，用于加强非线性映射。如图6
所示，步骤S401中多头光谱自注意力机制单元SMSA进行交叉通道自注意力计算包括：
S501，针对输入多头光谱自注意力机制单元SMSA的特征图H in ，分别将特征图H in 和查询映射矩阵W Q 相乘作为查询矩阵Q s ，将特征图H in 和键映射矩阵W K 相乘作为键矩阵K s ，将特征图H in 和值映射矩阵W V 相乘作为值矩阵V s ，并以此确定N个单头自注意力中任意第j个单头自注意力对应的查询矩阵Q sj 、键矩阵K sj 以及值矩阵V sj ；可表示为：
S502，根据下式计算任意第j个单头自注意力矩阵A i ：
上式中，softmax表示softmax激活函数，σ j 表示第j个单头自注意力的权重系数，T表示对矩阵的转置；
S503，根据下式计算多头光谱自注意力机制单元SMSA输出的特征图：
上式中，
表示多头光谱自注意力机制单元SMSA输出的特征图，CAT为通道维堆
叠操作，N为单头自注意力数量，W S 表示输出映射矩阵，
为位置编码层操作。本实施例中，
位置编码层为3×3卷积层-GELU激活函数层-3×3卷积层级联结构，作为输出映射的一个线
性层用于生成输出映射矩阵
，
表示当输入为特征图
的情况下多头光谱自
注意力机制单元SMSA输出的特征图。
为输入至光谱注意力模块SAB的特征图，其分别与
三个映射矩阵处理后得到
，三者分别代表查询矩阵、键矩阵、值矩阵，都根据注
意力头数而在通道维被均等切分。
、
、
为输入映射矩阵，
为调整矩阵乘法结果的
权重系数、
为输出映射矩阵，均为可学习参数。
为单头自注意力矩阵，CAT为用于拼接
多个单头自注意力矩阵的通道维堆叠操作，N为自注意力头数，取N=4，j为注意力头数下标，
为位置编码层操作。经过自注意力计算充分捕捉光谱通道间隐含关系后，光谱自注意力
计算输出的特征图为
，其经过跳跃连接、层归一化、MLP以及跳跃连接后得到光谱注意
力模块（SAB）的输出
，二者即编码器模块输出特征。
本实施例中，步骤S101中对输入的RGB图像X进行特征提取包括：S601，对输入的
RGB图像X进行卷积操作进行通道上采样得到初步特征H 0 '；S602，对初步特征H 0 '进行卷积操
作进行通道上采样得到空谱浅层特征H 0。由于待重建高光谱图像通道数大于RGB图像，步骤
S101中对输入的RGB图像X进行特征提取采用卷积操作对RGB图像进行光谱上采样得到浅层
特征
，可表示为：
上式中，X为RGB图像，
表示卷积核为3×3的二维卷积，起通道上采样作用，
为中间变量。
本实施例中，步骤S102中的多阶段光谱超分辨率重建网络MSCT在训练阶段所使用的损失函数为：
上式中，H为重建高光谱图像，N为RGB图像X的像素总量，S为物理传感器的光谱响
应函数，H(i)为重建高光谱图像H的第i个像素，X(i)为RGB图像X的第i个像素，λ为权重值，
为重建高光谱图像H的正则项。
为了对本实施例方法进行验证，本实施例中利用NTIRE2022公开的950对数据集进行验证实验，其中NTIRE2022数据集包含空间尺寸一致的高光谱图像和RGB图像对，空间尺寸为482×512、高光谱图像波段数为31。在实验中，把该数据集中的RGB图像作为输入图像。在实际过程中，将NTIRE2022数据集中900对数据作为训练集，10对数据作为验证集，40对数据作为测试集，并对比了现有的三种光谱超分辨率方法（HSCNN+, HRNet, HDNet）在NTIRE2022数据集高光谱图像上的结果，且采用的超分辨率图像的评价指标有3种，分别是绝对相对误差（MRAE）、均方根误差（RMSE）、峰值信噪比（PSNR）。其中PSNR的值越大，高光谱图像质量越好，MRAE和RMSE的值越大代表高光谱图像的质量越差。表1展示了三种现有光谱超分辨率方法（HSCNN+, HRNet, HDNet）和本实施例提出的方法（MSCT）在NTIRE2022数据集上成像实验的客观评价指标，最好的数值结果被标黑。
表1：本实施例方法与三种现有光谱超分辨率的性能指标实验结果。
本实施例中还包括将三种现有光谱超分辨率方法（HSCNN+, HRNet, HDNet）和本实施例提出的方法（MSCT）在NTIRE2022数据集上成像对比，得到的结果包括光谱重建成像结果（均取ARAD_1K_0922场景的第四波段进行单波段展示），和光谱角误差图，可视化同一波段的光谱重建成像结果和对应参考图像的差异，角度越小代表重建成像越精确。
对比表1和三种现有光谱超分辨率方法（HSCNN+, HRNet, HDNet）和本实施例提出的方法（MSCT）在NTIRE2022数据集上成像对比可知，本实施例提出的方法（MSCT）的所有客观评价指标都优于其它方法，这是因为本实施例方法（MSCT）充分利用了高光谱图像在空间维稀疏和光谱维自相似的特点，利用光谱自注意力机制来更好地学习到光谱通道间的隐含依赖关系，并借助通道特征交叉融合模块充分融合了光谱注意力模块所提取的有用信息，进一步提升了光谱超分辨率重建的精度和质量。
综上所述，本实施例方法针对输入的一张RGB图像首先通过卷积层提取浅层特征，然后利用的多阶段光谱超分辨率重建网络MSCT进行光谱超分辨率重建，其中的编码器模块捕捉光谱通道间的隐含依赖关系，并借助通道特征交叉融合模块来融合光谱注意力模块所提取的有用信息，辅以基于高光谱图像和RGB图像映射关系的损失函数来优化重建结果，由解码器输出通道数量扩展后的特征图。经过的多阶段光谱超分辨率重建网络MSCT后，再经过卷积层和跳跃连接输出重建高光谱图像H。本实施例方法能够有效实现从RGB图像获取高空间分辨率的高光谱图像，具有重建精度高、运算速度快、成本低的优点。本实施例基于自注意力机制的光谱超分辨率重建方法，利用光谱注意力模块学习光谱通道间的隐含关系，并借助通道特征交叉融合机制融合光谱注意力模块所提取的有用信息，能够同时提升重建高光谱图像的质量和效率。首先对RGB图像进行卷积操作提取浅层特征，然后输入至多阶段U形分支网络中，多阶段U形分支网络由3个结构一致的单阶段U形分支网络组成，单阶段U形分支网络的光谱注意力模块和下采样模块级联结构，在本实施例中被称为编码器模块。由于高光谱图像具有空间维稀疏、光谱维自相似的特点，因此设计了光谱注意力模块和通道交叉融合模块，其中光谱注意力模块用于捕捉光谱通道间的隐含依赖关系，通道交叉融合模块用于融合编码器所提取特征中的有用信息。之后将单阶段U形分支网络通过编码器和瓶颈的主路输出和通过通道交叉融合模块的分路输出叠加，由编码器输出通道扩展后的特征图，经过多阶段U形分支网络（MSCT）后，再经过卷积层和跳跃连接得到高光谱图像。本实施例基于自注意力机制的光谱超分辨率重建方法从RGB图像来估计高光谱图像，并采用训练好的多阶段U形分支网络来学习高光谱图像的光谱通道间隐含依赖关系，最终获得高光谱图像。本实施例的优势是借助自注意力机制充分捕捉高光谱图像的光谱通道间隐含依赖关系，在现有RGB-高光谱图像数据集上能够得到比现有方法更优的泛化性能，并且参数量更低，抗噪声干扰能力强，与其他高性能的高光谱超分辨率成像方法相比，本实施例基于自注意力机制的光谱超分辨率重建方法所得到的高光谱图像具有更好的质量，具有更强的抗噪声干扰能力，且在对不同类型的RGB图像进行超分辨率成像时，不需要对网络结构和参数进行过多改变，具有很强的普适性和鲁棒性。
此外，本实施例还提供一种基于自注意力机制的光谱超分辨率重建系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述基于自注意力机制的光谱超分辨率重建方法。此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行前述基于自注意力机制的光谱超分辨率重建方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于自注意力机制的光谱超分辨率重建方法，其特征在于，包括：
S101，对输入的RGB图像X进行特征提取得到空谱浅层特征H 0；
S102，将空谱浅层特征H 0输入训练好的多阶段光谱超分辨率重建网络MSCT得到重建高光谱图像H；所述多阶段光谱超分辨率重建网络MSCT由多个级联连接的单阶段光谱超分辨率重建网络SCT将空谱浅层特征H 0进行特征提取后，再通过一个卷积操作后与空谱浅层特征H 0叠加得到重建高光谱图像H，所述单阶段光谱超分辨率重建网络SCT用于通过一包含多级编码器的编码器模块对空谱浅层特征H 0进行编码、再通过一瓶颈模块将编码特征H b 送入一包含多级解码器的解码器模块，同时通过一基于自注意力机制的通道特征交叉融合模块CCT将各级编码器的编码特征H i 进行通道特征交叉融合得到交叉融合编码特征H i c 并送入对应层级的解码器进行融合以最终获得输出的重建高光谱图像H。
2.根据权利要求1所述的基于自注意力机制的光谱超分辨率重建方法，其特征在于，所述通道特征交叉融合模块CCT将各级编码器的编码特征H i 进行通道特征交叉融合得到编码特征H i c 包括：
S201，分别将各级编码器的编码特征H i 通过层归一化得到特征图T i ；
S202，将各级特征图T i 进行通道维堆叠操作得到特征图T；
S203，将各级特征图T i 以及特征图T通过多头通道自注意力机制单元MCA进行交叉通道自注意力计算得到各级注意力特征图T i,out ；
S204，分别将各级注意力特征图T i,out 首先与编码特征H i 跳跃连接，然后再将跳跃连接得到的特征依次经过层归一化、多层感知机后得到的特征图与原始的注意力特征图T i,out 进行跳跃连接后得到交叉融合编码特征H i c 。
3.根据权利要求2所述的基于自注意力机制的光谱超分辨率重建方法，其特征在于，步骤S203中通过多头通道自注意力机制单元MCA进行交叉通道自注意力计算包括：
S301，将各级特征图T i 和查询映射矩阵W Q 相乘作为查询矩阵Q ci ，将特征图T和键映射矩阵W K 相乘作为键矩阵K c ，将特征图T和值映射矩阵W V 相乘作为值矩阵V c ；
S302，根据下式计算各级交叉通道注意力矩阵CA i ：
上式中，softmax表示softmax激活函数，T表示对矩阵的转置；
S303，根据下式计算各级注意力特征图T i,out ：
上式中，W S 表示输出映射矩阵。
4.根据权利要求1所述的基于自注意力机制的光谱超分辨率重建方法，其特征在于，所
述包含多级编码器的编码器模块中每一个编码器的输出端均连接有个下采样模块，所述包
含多级解码器的解码器模块中每一个解码器的输入端均包含一个上采样模块，所述上采样
模块用于将瓶颈模块输出的编码特征H b 或者上一个解码器输出的解码特征
先进行二
维反卷积，再与对应的交叉融合编码特征H i c 进行通道维堆叠操作，最后通过卷积核大小为1
×1的二维卷积进行降维以或得到输出的解码特征
，且由最后一级解码器输出的解码特
征通过一卷积核大小为3×3的二维卷积进行映射后再与空谱浅层特征H 0合并得到重建高
光谱图像H。
5.根据权利要求4所述的基于自注意力机制的光谱超分辨率重建方法，其特征在于，所述编码器、解码器和瓶颈模块均为光谱注意力模块SAB，所述光谱注意力模块SAB对输入的特征图的处理包括：
S401，将输入的特征图经过层归一化、多头光谱自注意力机制单元SMSA进行交叉通道自注意力计算，再将交叉通道自注意力计算得到的特征图与输入的特征图进行跳跃连接；
S402，将步骤S401中跳跃连接得到的特征图经过层归一化、多层感知机后再与步骤S401中跳跃连接得到的特征图进行跳跃连接后作为光谱注意力模块SAB输出的特征图。
6.根据权利要求5所述的基于自注意力机制的光谱超分辨率重建方法，其特征在于，步骤S401中多头光谱自注意力机制单元SMSA进行交叉通道自注意力计算包括：
S501，针对输入多头光谱自注意力机制单元SMSA的特征图H in ，分别将特征图H in 和查询映射矩阵W Q 相乘作为查询矩阵Q s ，将特征图H in 和键映射矩阵W K 相乘作为键矩阵K s ，将特征图H in 和值映射矩阵W V 相乘作为值矩阵V s ，并以此确定N个单头自注意力中任意第j个单头自注意力对应的查询矩阵Q sj 、键矩阵K sj 以及值矩阵V sj ；
S502，根据下式计算任意第j个单头自注意力矩阵A i ：
上式中，softmax表示softmax激活函数，σ j 表示第j个单头自注意力的权重系数，T表示对矩阵的转置；
S503，根据下式计算多头光谱自注意力机制单元SMSA输出的特征图：
上式中，
表示多头光谱自注意力机制单元SMSA输出的特征图，CAT为通道维堆叠操
作，N为单头自注意力数量，W S 表示输出映射矩阵，
为位置编码层操作。
7.根据权利要求1所述的基于自注意力机制的光谱超分辨率重建方法，其特征在于，步骤S101中对输入的RGB图像X进行特征提取包括：
S601，对输入的RGB图像X进行卷积操作进行通道上采样得到初步特征H 0 '；
S602，对初步特征H 0 '进行卷积操作进行通道上采样得到空谱浅层特征H 0。
8.根据权利要求1所述的基于自注意力机制的光谱超分辨率重建方法，其特征在于，步骤S102中的多阶段光谱超分辨率重建网络MSCT在训练阶段所使用的损失函数为：
上式中，H为重建高光谱图像，N为RGB图像X的像素总量，S为物理传感器的光谱响应函
数，H(i)为重建高光谱图像H的第i个像素，X(i)为RGB图像X的第i个像素，λ为权重值，
为重建高光谱图像H的正则项。
9.一种基于自注意力机制的光谱超分辨率重建系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述基于自注意力机制的光谱超分辨率重建方法。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述基于自注意力机制的光谱超分辨率重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310000353.0A CN115700727A (zh) | 2023-01-03 | 2023-01-03 | 基于自注意力机制的光谱超分辨率重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310000353.0A CN115700727A (zh) | 2023-01-03 | 2023-01-03 | 基于自注意力机制的光谱超分辨率重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115700727A true CN115700727A (zh) | 2023-02-07 |
Family
ID=85121202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310000353.0A Pending CN115700727A (zh) | 2023-01-03 | 2023-01-03 | 基于自注意力机制的光谱超分辨率重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115700727A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116071237A (zh) * | 2023-03-01 | 2023-05-05 | 湖南大学 | 基于滤光片采样融合的视频高光谱成像方法、系统及介质 |
| CN116579966A (zh) * | 2023-07-11 | 2023-08-11 | 江西师范大学 | 一种图像重建方法、装置、电子设备及存储介质 |
| CN116596764A (zh) * | 2023-07-17 | 2023-08-15 | 华侨大学 | 一种基于Transformer与卷积交互的轻量级图像超分辨率方法 |
| CN116934598A (zh) * | 2023-09-19 | 2023-10-24 | 湖南大学 | 一种多尺度特征融合的轻量级遥感图像超分方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429349A (zh) * | 2020-03-23 | 2020-07-17 | 西安电子科技大学 | 基于光谱约束对抗网络的高光谱图像超分辨率方法 |
| CN112819910A (zh) * | 2021-01-08 | 2021-05-18 | 上海理工大学 | 基于双鬼注意力机制网络的高光谱图像重建方法 |
| CN113139902A (zh) * | 2021-04-23 | 2021-07-20 | 深圳大学 | 一种高光谱图像超分辨率重建方法、装置及电子设备 |
| CN113793261A (zh) * | 2021-08-05 | 2021-12-14 | 西安理工大学 | 一种基于3d注意力机制全通道融合网络的光谱重建方法 |
| US20220207648A1 (en) * | 2020-12-04 | 2022-06-30 | Commonwealth Scientific And Industrial Research Organisation | Creating super-resolution images |
-
2023
- 2023-01-03 CN CN202310000353.0A patent/CN115700727A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429349A (zh) * | 2020-03-23 | 2020-07-17 | 西安电子科技大学 | 基于光谱约束对抗网络的高光谱图像超分辨率方法 |
| US20220207648A1 (en) * | 2020-12-04 | 2022-06-30 | Commonwealth Scientific And Industrial Research Organisation | Creating super-resolution images |
| CN112819910A (zh) * | 2021-01-08 | 2021-05-18 | 上海理工大学 | 基于双鬼注意力机制网络的高光谱图像重建方法 |
| CN113139902A (zh) * | 2021-04-23 | 2021-07-20 | 深圳大学 | 一种高光谱图像超分辨率重建方法、装置及电子设备 |
| CN113793261A (zh) * | 2021-08-05 | 2021-12-14 | 西安理工大学 | 一种基于3d注意力机制全通道融合网络的光谱重建方法 |
Non-Patent Citations (6)
| Title |
|---|
| HAONAN WANG ET AL.: "UCTransNet:Rethinking the Skip Connections in U-net from a Channel-wise Perspective with Transformer" * |
| MIRKO AGARLA ET AL.: "Fast-n-Squeeze：towards real-time spectral reconstruction from RGN images" * |
| MIRKO AGARLA ETAL.: "An analysis of spectral similarity measure" * |
| YUANHAO CAI ET AL.: "MST++：Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction" * |
| YUZHI ZHAO ET AL.: "Hierarchical Regression Network for Spectral Reconstruction from RGB Images" * |
| 孙赫: "基于深度学习的高光谱图像超分辨率技术研究" * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116071237A (zh) * | 2023-03-01 | 2023-05-05 | 湖南大学 | 基于滤光片采样融合的视频高光谱成像方法、系统及介质 |
| CN116579966A (zh) * | 2023-07-11 | 2023-08-11 | 江西师范大学 | 一种图像重建方法、装置、电子设备及存储介质 |
| CN116579966B (zh) * | 2023-07-11 | 2023-11-17 | 江西师范大学 | 一种图像重建方法、装置、电子设备及存储介质 |
| CN116596764A (zh) * | 2023-07-17 | 2023-08-15 | 华侨大学 | 一种基于Transformer与卷积交互的轻量级图像超分辨率方法 |
| CN116596764B (zh) * | 2023-07-17 | 2023-10-31 | 华侨大学 | 一种基于Transformer与卷积交互的轻量级图像超分辨率方法 |
| CN116934598A (zh) * | 2023-09-19 | 2023-10-24 | 湖南大学 | 一种多尺度特征融合的轻量级遥感图像超分方法及系统 |
| CN116934598B (zh) * | 2023-09-19 | 2023-12-01 | 湖南大学 | 一种多尺度特征融合的轻量级遥感图像超分方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115700727A (zh) | 基于自注意力机制的光谱超分辨率重建方法及系统 | |
| Arad et al. | Ntire 2022 spectral recovery challenge and data set | |
| Fu et al. | Joint camera spectral response selection and hyperspectral image recovery | |
| CN112347859A (zh) | 一种光学遥感图像显著性目标检测方法 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| Peng et al. | Residual pixel attention network for spectral reconstruction from RGB images | |
| CN111579506B (zh) | 基于深度学习的多摄像头高光谱成像方法、系统及介质 | |
| CN110880162B (zh) | 基于深度学习的快照光谱深度联合成像方法及系统 | |
| CN114757831B (zh) | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 | |
| AU2020281143B1 (en) | Creating super-resolution images | |
| CN111598962B (zh) | 基于矩阵草图分析的单像素成像方法和装置 | |
| CN117274760A (zh) | 一种基于多尺度混合变换器的红外与可见光图像融合方法 | |
| CN111754592A (zh) | 一种基于特征通道信息的端到端多光谱遥感图像压缩方法 | |
| CN117571128B (zh) | 一种高分辨率偏振光谱图像成像方法及系统 | |
| CN114511470B (zh) | 一种基于注意力机制的双分支全色锐化方法 | |
| CN116773018A (zh) | 一种计算光谱成像的空谱联合图像重建方法及系统 | |
| Nathan et al. | Light weight residual dense attention net for spectral reconstruction from RGB images | |
| CN118212536A (zh) | 物理引导的超分辨压缩编码光谱成像方法 | |
| CN114862976A (zh) | 一种用于旋转衍射的多光谱图像重建方法 | |
| He et al. | Single-shot hyperspectral imaging based on dual attention neural network with multi-modal learning | |
| CN117392327A (zh) | 一种基于先验图像和自编码器模型的高光谱图像重构方法 | |
| CN115496819B (zh) | 一种基于能量集中特性的快速编码光谱成像方法 | |
| CN108801457B (zh) | 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法 | |
| Zeng et al. | U-net-based multispectral image generation from an rgb image | |
| CN115795221A (zh) | 联合深度先验和可学习成像模型的光谱计算成像方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230207 |
|
| RJ01 | Rejection of invention patent application after publication |