CN113902622B - 基于深度先验联合注意力的光谱超分辨率方法 - Google Patents

Abstract

本发明提供了一种基于深度先验联合注意力的光谱超分辨率方法。首先，对给定数据训练集中的每一对RGB图像和高光谱图像RGB图像进行裁剪处理，构成训练数据集；然后，构建包括若干先验变换模块、卷积层及激活层的光谱超分辨率网络，并进行训练；最后，利用训练好的模型对测试集中的RGB图像进行光谱超分辨处理，获取对应的高光谱图像。本发明所设计的网络能够有效地利用高光谱图像自身的空间非局部自相似性及光谱相关性先验，并充分利用局部特征的互补性，使同一类别对象光谱分布更加一致，能够较好地改善RGB图像光谱超分辨率的性能。

Description

基于深度先验联合注意力的光谱超分辨率方法

技术领域

本发明属图像处理技术领域，具体涉及一种基于深度先验联合注意力的光谱超分辨率方法。

背景技术

传统的高光谱成像系统往往通过牺牲空间分辨率和时间分辨率来获取高光谱分辨率的图像，导致其应用限制在对时间和空间分辨率要求不高的场合。而基于彩色相机的高光谱成像系统具有彩色相机成像空间分辨率高及耗时短的优势，能够有效弥补传统高光谱成像系统的缺点。光谱超分辨率技术旨在针对基于彩色相机的高光谱成像系统，由RGB图像重建得到高光谱图像。

目前的光谱超分辨率方法主要是通过构建引入通道注意力、残差结构和密集结构的深度卷积神经网络建立RGB图像与高光谱图像之间的映射。如Shi等人在文献“Z.Shi,C.Chen,Z.Xiong,D.Liu,and F.Wu,HSCNN+:Advanced CNN-based hyperspectralrecovery from RGB images.In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition Workshops,pp.939-947,2018.”中公开了一种先进基于CNN的高光谱恢复方法。该方法构建的网络由残差结构和密集结构堆叠而成，但由于该网络的特征提取能力有限，因此光谱重建性能相对较差。Li等人在文献“J.Li,C.Wu,R.Song,Y.Li,and F.Liu,Adaptive weighted attention network with camera spectralsensitivity prior for spectral reconstruction from RGB images.In Proceedingsof the IEEE/CVF Conference on Computer Vision and Pattern RecognitionWorkshops,pp.462-463,2020.”中公开了一种基于自适应加权注意力网络的光谱超分辨率方法。该方法引入了相机光谱灵敏度先验，同时提出了自适应加权通道注意力及二阶非局部模块，有效提升了特征的判别性，但是该方法未能有效利用高光谱图像的内在特性，限制了光谱恢复的精度。

发明内容

为了克服现有光谱超分辨率网络不能有效利用局部互补性上下文信息及高光谱图像内在属性，如空间非局部自相似性及光谱相关性的不足，本发明提出了一种基于深度先验联合注意力的光谱超分辨率方法。首先，对给定数据训练集中的每一对RGB图像和高光谱图像RGB图像进行裁剪处理，构成训练数据集；然后，构建包括若干先验变换模块、卷积层及激活层的光谱超分辨率网络，并进行训练；最后，利用训练好的模型对测试集中的RGB图像进行光谱超分辨处理，获取对应的高光谱图像。本发明所设计的网络能够有效地利用高光谱图像自身的空间非局部自相似性及光谱相关性先验，并充分利用局部特征的互补性，使同一类别对象光谱分布更加一致，能够较好地改善RGB图像光谱超分辨率的性能。

一种基于深度先验联合注意力的光谱超分辨率方法，其特征在于步骤如下：

步骤1，构建训练数据集和测试数据集：首先从给定数据集中提取训练集和测试集，然后将训练集中的每一对RGB图像和高光谱图像裁剪为64×64大小的图像，构成训练数据集，测试集中的RGB图像和高光谱图像不做裁剪直接作为测试数据集；

步骤2，构建光谱超分辨率网络模型：首先，依次构建多通道渐进卷积模块、光谱空间的伪联合注意力模块，然后，基于多通道渐进卷积模块和光谱空间的伪联合注意力模块构建先验变换模块，最后，基于先验变换模块构建深度先验联合注意力网络，即光谱超分辨率网络模型；

所述的多通道渐进卷积模块将输入特征按下式均分为g组：

其中，e_i表示第i组特征，e₁表示第一组特征，K_i(·)表示第i级函数处理操作，当i＝1,2,…,g-1时，每一级函数由一个3×3卷积层和一个激活层组成，最后一级函数为一个3×3卷积层；P_i表示经第i级函数处理后得到的第i组特征；⊙表示串接操作；

所述的光谱空间的伪联合注意力模块的处理过程如下：

步骤a：利用两个1×1卷积对输入特征进行变换和通道降维，然后利用平均池化计算由邻近像素组成的补丁的特征均值，并对池化后的特征进行变形，最后利用内积运算及归一化指数函数建模不同补丁之间的相关性，其计算公式如下：

A＝softmax(U^TW_θW_φU) (2)

其中，A表示补丁间的相关性矩阵，U表示对输入特征平均池化和变形后得到的特征矩阵，W_θ表示对输入特征进行变换和通道降维的1×1卷积的权重一，W_φ表示对输入特征进行变换和通道降维的1×1卷积的权重二；

步骤b：利用上述两个1×1卷积的权重及其转置对输入特征进行变换，再对得到的特征进行全局平均池化，得到通道描述符，其计算公式如下：

其中，Z表示伪联合注意力模块的输入特征，Z＝[z₁,z₂,...,z_c,z_C]表示伪联合注意力模块利用上述两个1×1卷积的权重及其转置对输入特征进行变换后得到的特征，v_c表示第c个通道的描述符，h表示输入特征的高度，w表示输入特征的宽度，C表示输入特征的通道数量；z_c(i,j)表示z_c的第i行j列元素；

步骤c：利用两个步长为7的1维卷积学习得到通道注意力，其计算公式如下：

其中，W₁表示用于学习邻近通道相关性的步长为7的1维卷积的权重，W₂表示用于获得通道注意力系数的步长为7的1维卷积的权重；表示邻近通道描述符序列，/>表示邻近通道相关性建模后的邻近通道描述符序列，k＝7表示步长，δ(·)表示修正线性单元函数，σ(·)表示sigmoid函数，y_c表示第c个通道特征的注意力因子；

步骤d：利用展开和折叠操作计算得到伪联合注意力模块的输出特征，其计算公式如下：

Z＝Fold(Unflod(y*Z)A) (6)

其中，Unfold及Fold分别表示展开和折叠操作,y＝[y₁,y₂,...,y_c,...y_C]表示通道注意力因子序列，Z表示伪联合注意力模块最终输出的特征；

所述的先验变换模块采用双重残差结构，其计算公式如下：

q＝f_LeakyReLU(f_2D(f_MPC(f_LeakyReLU(f_PJAM(f_2D(x))+x)))+x) (7)

其中，x表示输入先验变换模块的特征图，q表示先验变换模块输出的特征图，f_PJAM(·)表示光谱空间的伪联合注意力模块操作处理，f_MPC(·)表示多通道渐进卷积模块操作处理，f_2D(·)表示2D卷积操作处理，卷积层的核大小为3×3、步长为1，f_LeakyReLU(·)为激活函数；

所述的深度先验联合注意力网络由若干先验变换模块、卷积层及激活层构成，首先由两个步长为1、核大小为3×3的2D卷积和两个激活层组成浅层特征提取函数，对输入图像进行特征提取，得到浅层特征；然后再利用8个先验变换模块对浅层特征依次递归变换得到深层特征，并利用一个步长为1、核大小为3×3的2D卷积对深层特征进行变换，引入全局残差将变换后的特征与浅层特征融合；最后得到的融合特征经激活层激活后，利用一个3×3卷积层由其重建高光谱图像，其计算公式如下：

其中，X表示输入的RGB图像，F₀表示浅层特征，F_k表示第k个先验变换模块的输出，k＝1,2,...,8，F₈表示第8个先验变换模块的输出，即深层特征，Y表示重建的高光谱图像；

步骤3，模型训练：将步骤1的图像训练集输入到步骤2构建的光谱超分辨率网络模型进行训练，得到训练好的网络；训练采用随机梯度下降算法，优化器采用Adam，通过最小化损失函数训练网络参数，损失函数按照下式进行计算：

其中，m表示输入图像的空间分辨率，b表示重建的高光谱图像波段数，I_gtij表示真实图像第i个像素第j个波段的光谱反射率强度值，I_recij表示经网络处理后得到的重建图像第i个像素第j个波段的光谱反射率强度值，|I_gt|＝m×b；

步骤4，图像重建：将测试数据集RGB图像输入到训练好的光谱超分辨率网络模型，模型输出即为其对应的高光谱图像。

本发明的有益效果是：所设计深度先验联合注意力网络由于在每一个先验变换模块均嵌入了光谱空间的伪联合注意力模块，因此能够充分利用图像自身内在先验属性，融合图像自相似区域特征，并增强光谱相关性，进而有效改善RGB图像的光谱超分辨率精度，光谱重建精度更高；由于采用了多通道渐进卷积设计，能够以相对较少的参数量实现局部大范围内的互补特征融合计算，能够有效降低模型的总参数量且增强邻近区域同一类别对象光谱的一致性。

附图说明

图1是本发明基于深度先验联合注意力的光谱超分辨率方法流程图；

图2是本发明深度先验联合注意力网络结构示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

如图1所示，本发明提供了一种基于深度先验联合注意力的光谱超分辨率方法，其具体实现过程如下：

1、构建训练数据集

首先从给定数据集中提取训练集和测试集，然后将训练集中的每一对RGB图像和高光谱图像裁剪为64×64大小的图像，构成训练数据集，测试集中的RGB图像和高光谱图像不做裁剪直接作为测试数据集。

2、构建光谱超分辨率网络模型

如图2所示，本发明构建了用于进行RGB图像光谱超分辨率处理的网络模型，能够重建得到其对应的高光谱图像。首先依次构建多通道渐进卷积模块、光谱空间的伪联合注意力模块，然后基于多通道渐进卷积模块和光谱空间的伪联合注意力模块构建先验变换模块，最后基于先验变换模块构建深度先验联合注意力网络，即光谱超分辨率网络模型。

(1)多通道渐进卷积模块

多通道渐进卷积模块将输入特征按下式均分为g组：

其中，e_i表示第i组特征，e₁表示第一组特征，K_i(·)表示第i级函数处理操作，当i＝1,2,…,g-1时，每一级函数由一个3×3卷积层和一个激活层组成，最后一级函数为一个3×3卷积层；P_i表示经第i级函数处理后得到的第i组特征；⊙表示串接操作。

(2)光谱空间的伪联合注意力模块

光谱空间的伪联合注意力模块包含基于补丁的稀疏非局部操作和通道注意力机制两部分。

基于补丁的稀疏非局部操作首先利用两个1×1卷积对输入特征进行变换和通道降维，然后利用平均池化计算由邻近像素组成的补丁的特征均值，并对池化后得到的特征进行变形，最后利用内积运算及归一化指数函数建模不同补丁之间的相关性，其计算公式如下：

A＝softmax(U^TW_θW_φU) (11)

其中，A表示补丁间的相关性矩阵，U表示对输入特征平均池化和变形后得到的特征矩阵，W_θ表示对输入特征进行变换和通道降维的1×1卷积的权重，W_φ表示另一个对输入特征进行变换和通道降维的1×1卷积的权重。

光谱空间的伪联合注意力模块通过权重共享的方式将通道注意力机制嵌在非局部操作中。即利用上述两个1×1卷积的权重及其转置对输入特征进行变换，再对得到的特征进行全局平均池化，得到通道描述符，其计算公式如下：

其中，Z表示伪联合注意力模块的输入特征，Z＝[z₁,z₂,...,z_c,...z_C]表示伪联合注意力模块利用上述两个1×1卷积的权重及其转置对输入特征进行变换后得到的特征，v_c表示第c个通道的描述符，h表示输入特征的高度，w表示输入特征的宽度，C表示输入特征的通道数量；z_c(i,j)表示z_c的第i行j列元素。

然后，利用两个步长k＝7的1×1卷积学习得到通道注意力，其计算公式如下：

其中，W₁表示用于学习邻近通道相关性的步长为7的1维卷积的权重，W₂表示用于获得通道注意力系数的步长为7的1维卷积的权重；表示邻近通道描述符序列，/>表示邻近通道相关性建模后的邻近通道描述符序列，δ(·)表示修正线性单元函数，σ(·)表示sigmoid函数，y_c则表示第c个通道特征的注意力因子.

最后，通过结合通道注意力机制及基于补丁的稀疏非局部操作的输出计算伪联合注意力模块的输出，其计算公式如下：

Z＝Fold(Unflod(y*Z)A) (15)

其中，Unfold及Fold分别表示展开和折叠操作,y＝[y₁,y₂,...,y_c,…y_C]表示通道注意力因子序列，Z表示伪联合注意力模块最终输出的特征。

(3)先验变换模块

先验变换模块采用双重残差结构，其计算公式如下：

q＝f_LeakyReLU(f_2D(f_MPC(f_LeakyReLU(f_PJAM(f_2D(x))+x)))+x) (16)

其中，x表示输入先验变换模块的特征图，q表示先验变换模块输出的特征图，f_PJAM(·)表示光谱空间的伪联合注意力模块操作处理，f_MPC(·)表示多通道渐进卷积模块操作处理，f_2D(·)表示2D卷积操作处理，卷积层的核大小为3×3、步长为1，f_LeakyReLU(·)为激活函数。

(4)深度先验联合注意力网络

深度先验联合注意力网络由若干先验变换模块、卷积层及激活层构成，首先由两个步长为1、核大小为3×3的2D卷积和两个激活层组成浅层特征提取函数，对输入图像进行特征提取，得到浅层特征；然后再利用8个先验变换模块对浅层特征依次递归变换得到深层特征，并利用一个步长为1、核大小为3×3的2D卷积对深层特征进行变换，引入全局残差将变换后的特征与浅层特征融合；最后得到的融合特征经激活层激活后，利用一个3×3卷积层由其重建高光谱图像，其计算公式如下：

其中，X表示输入的RGB图像，F₀表示浅层特征，F_k(k＝1,2,...8)表示第k个先验变换模块的输出，F₈表示第8个先验变换模块的输出，即深层特征，Y表示重建的高光谱图像。

3、模型训练

将步骤1的图像训练集输入到步骤2构建的光谱超分辨率网络模型进行训练，得到训练好的网络；训练采用随机梯度下降算法，优化器采用Adam，通过最小化损失函数训练网络参数，损失函数按照下式进行计算：

其中，m表示输入图像的空间分辨率，b表示重建的高光谱图像波段数，表示真实图像第i个像素第j个波段的光谱反射率强度值，/>分别表示经网络处理后得到的重建图像第i个像素第j个波段的光谱反射率强度值，|I_gt|(|I_gt|＝m×b)是给定图像空间分辨率和高光谱图像包含的光谱波段数量的乘积。

4、图像重建

加载训练好的光谱超分辨率网络模型的权重，然后对测试数据集RGB图像进行前向预测，模型输出即其对应的高光谱图像。

为验证本发明的有效性，在在中央处理器i7-6800K 3.40GHz CPU、NVIDIAGeForce GTX 1080GPU、Ubuntu操作系统上，运用Python软件、PyTorch深度学习框架进行仿真实验，实验中采用的数据集为NTIRE2020光谱重建挑战赛的数据集。NTIRE2020数据集包含两组基准，一组为已知相机光谱灵敏度函数的无噪声RGB图像光谱超分辨率基准，另一组为未知相机光谱灵敏度函数的模拟现实世界RGB图像光谱超分辨率基准。两组基准均包含450对RGB图像和高光谱图像用于训练，10对图像用于评价模型的性能，图像分辨率大小为482×512。

分别选取可学习的光谱超分辨率方法(“S.Galliani,C.Lanaras,D.Marmanis,E.Baltsavias,and K.Schindler,Learned spectral super-resolution,arXiv preprintarXiv:1703.09470,2017.”，记为方法1)、基于多尺度卷积神经网络的从RGB图像重建光谱的方法(“Y.Yan,L.Zhang,J.Li,W.Wei,and Y.Zhang,Accurate spectral super-resolution from single RGB image using multi-scale cnn,inProc.Chin.Conf.Pattern Recognit.Comput.Vis.,2018,pp.206–217.”，记为方法2)、基于卷积神经网络的从RGB图像重建光谱方法(“T.Stiebel,S.Koppers,P.Seltsam,andD.Merhof,Reconstructing spectral images from RGB-images using a convolutionalneural network,in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.Workshops,2018,pp.948–953.”，记为方法3)、基于多层级回归网络的从RGB图像重建光谱方法(“Y.Zhao,L.-M.Po,Q.Yan,W.Liu,and T.Lin,Hierarchical regression network for spectralreconstruction from RGB images,in Proc.IEEE Conf.Comput.Vis.PatternRecognit.Workshops,2020,pp.422–423.”，记为方法4)、考虑相机灵敏度先验的基于自适应加权注意力网络的从RGB图像重建光谱方法(“J.Li,C.Wu,R.Song,Y.Li,and F.Liu,Adaptive weighted attention network with camera spectral sensitivity priorfor spectral reconstruction from RGB images,in Proc.IEEEConf.Comput.Vis.Pattern Recognit.Workshops,2020,pp.462–463.”，记为方法5)作为对比方法，以平均相对绝对误差(MRAE)及均方根误差(RMSE)作为评价指标来说明不同方法的效果。表1为不同方法的两项指标的计算结果。可以看出，本发明明显优于其他方法，具有更好的光谱超分辨率效果。

表1

Claims (1)

1.一种基于深度先验联合注意力的光谱超分辨率方法，其特征在于步骤如下：

步骤1，构建训练数据集和测试数据集：首先从给定数据集中提取训练集和测试集，然后将训练集中的每一对RGB图像和高光谱图像裁剪为64×64大小的图像，构成训练数据集，测试集中的RGB图像和高光谱图像不做裁剪直接作为测试数据集；

步骤2，构建光谱超分辨率网络模型：首先，依次构建多通道渐进卷积模块、光谱空间的伪联合注意力模块，然后，基于多通道渐进卷积模块和光谱空间的伪联合注意力模块构建先验变换模块，最后，基于先验变换模块构建深度先验联合注意力网络，即光谱超分辨率网络模型；

所述的多通道渐进卷积模块将输入特征按下式均分为g组：

其中，e_i表示第i组特征，e₁表示第一组特征，K_i(·)表示第i级函数处理操作，当i＝1,2,…,g-1时，每一级函数由一个3×3卷积层和一个激活层组成，最后一级函数为一个3×3卷积层；P_i表示经第i级函数处理后得到的第i组特征；⊙表示串接操作；

所述的光谱空间的伪联合注意力模块的处理过程如下：

步骤a：利用两个1×1卷积对输入特征进行变换和通道降维，然后利用平均池化计算由邻近像素组成的补丁的特征均值，并对池化后的特征进行变形，最后利用内积运算及归一化指数函数建模不同补丁之间的相关性，其计算公式如下：

A＝softmax(U^TW_θW_φU) (2)

其中，A表示补丁间的相关性矩阵，U表示对输入特征平均池化和变形后得到的特征矩阵，W_θ表示对输入特征进行变换和通道降维的1×1卷积的权重一，W_φ表示对输入特征进行变换和通道降维的1×1卷积的权重二；

步骤b：利用上述两个1×1卷积的权重及其转置对输入特征进行变换，再对得到的特征进行全局平均池化，得到通道描述符，其计算公式如下：

Z＝(W_θW_θ ^TZ+W_φW_φ ^TZ)/2 (3)

其中，Z表示伪联合注意力模块的输入特征，Z＝[z₁,z₂,...,z_c,...z_C]表示伪联合注意力模块利用上述两个1×1卷积的权重及其转置对输入特征进行变换后得到的特征，v_c表示第c个通道的描述符，h表示输入特征的高度，w表示输入特征的宽度，C表示输入特征的通道数量；z_c(i,j)表示z_c的第i行j列元素；

步骤c：利用两个步长为7的1维卷积学习得到通道注意力，其计算公式如下：

其中，W₁表示用于学习邻近通道相关性的步长为7的1维卷积的权重，W₂表示用于获得通道注意力系数的步长为7的1维卷积的权重；表示邻近通道描述符序列，/>表示邻近通道相关性建模后的邻近通道描述符序列，k＝7表示步长，δ(·)表示修正线性单元函数，σ(·)表示sigmoid函数，y_c表示第c个通道特征的注意力因子；

步骤d：利用展开和折叠操作计算得到伪联合注意力模块的输出特征，其计算公式如下：

Z＝Fold(Unflod(y*Z)A) (6)

其中，Unfold及Fold分别表示展开和折叠操作,y＝[y₁,y₂,...,y_c,...y_C]表示通道注意力因子序列，Z表示伪联合注意力模块最终输出的特征；

所述的先验变换模块采用双重残差结构，其计算公式如下：

q＝f_LeakyReLU(f_2D(f_MPC(f_LeakyReLU(f_PJAM(f_2D(x))+x)))+x) (7)

其中，x表示输入先验变换模块的特征图，q表示先验变换模块输出的特征图，f_PJAM(·)表示光谱空间的伪联合注意力模块操作处理，f_MPC(·)表示多通道渐进卷积模块操作处理，f_2D(·)表示2D卷积操作处理，卷积层的核大小为3×3、步长为1，f_LeakyReLU(·)为激活函数；

所述的深度先验联合注意力网络由若干先验变换模块、卷积层及激活层构成，首先由两个步长为1、核大小为3×3的2D卷积和两个激活层组成浅层特征提取函数，对输入图像进行特征提取，得到浅层特征；然后再利用8个先验变换模块对浅层特征依次递归变换得到深层特征，并利用一个步长为1、核大小为3×3的2D卷积对深层特征进行变换，引入全局残差将变换后的特征与浅层特征融合；最后得到的融合特征经激活层激活后，利用一个3×3卷积层由其重建高光谱图像，其计算公式如下：

其中，X表示输入的RGB图像，F₀表示浅层特征，F_k表示第k个先验变换模块的输出，k＝1,2,...,8，F₈表示第8个先验变换模块的输出，即深层特征，Y表示重建的高光谱图像；

步骤3，模型训练：将步骤1的图像训练集输入到步骤2构建的光谱超分辨率网络模型进行训练，得到训练好的网络；训练采用随机梯度下降算法，优化器采用Adam，通过最小化损失函数训练网络参数，损失函数按照下式进行计算：

其中，m表示输入图像的空间分辨率，b表示重建的高光谱图像波段数，表示真实图像第i个像素第j个波段的光谱反射率强度值，/>表示经网络处理后得到的重建图像第i个像素第j个波段的光谱反射率强度值，|I_gt|＝m×b；

步骤4，图像重建：将测试数据集RGB图像输入到训练好的光谱超分辨率网络模型，模型输出即为其对应的高光谱图像。