CN112819910A - 基于双鬼注意力机制网络的高光谱图像重建方法 - Google Patents

Abstract

本发明提供一种基于双鬼注意力机制网络的高光谱图像重建方法，用于对单幅RGB图像进行高光谱图像的重建，包括如下步骤：步骤1，输入一幅RGB图像并进行处理，得到浅层特征信息；步骤2，将浅层特征信息进入第1个双鬼残差注意力模块中，获取深层次特征信息；步骤3，将深层次特征信息进入双输出特征卷积注意力机制模块提取更深层次的特征信息；步骤4，将更深层次的特征信息与浅层特征信息相加，得到新特征；步骤5，将新特征依次放入后续m‑1个串联双鬼残差注意力模块最终输出一个特征；步骤6，将步骤5输出的特征进行卷积后激活得到新特征；步骤7，将具有新特征的特征图进入最优非局域模块，输出高光谱图像进行可视化。

Description

基于双鬼注意力机制网络的高光谱图像重建方法

技术领域

本发明涉及一种图像重现的方法，具体涉及一种基于双鬼注意力机制网络的高光谱图像重建方法。

背景技术

高光谱成像技术是基于非常多的窄波段的影像数据技术，它将成像技术与光谱技术相结合，探测目标的二维几何空间和光谱信息，获取高分辨率的连续、窄波段的图像数据。高光谱图像集样本的图像信息与光谱信息于一身。图像信息可以反映样本的大小、形状、缺陷等外部品质特征，由于不同成分对光谱吸收也不同，在某个特定波长下图像对某个缺陷会有较显著的反映，而光谱信息能充分反映样品内部的物理结构、化学成分的差异，所以已被广泛应用于人脸识别、图像分类和图像识别、图像修复等诸多方面的应用。然而，高光谱成像物理设备价格昂贵，操作复杂且不易于移动的特点，限制于高光谱图像研究的进一步发展。基于RGB图像到HSI图像重建就能轻易解决上述这些问题，所以该技术当前成为研究的热点。

传统的方法是基于统计学如伪逆法、平滑逆法、维纳法等通过公式计算变换进行重建光谱矩阵，不仅重建的精度低，还容易受到噪声的影响。机器学习方法有很多，例如基于稀疏编码从RGB中恢复高质量高光谱图像是一种快速、低成本的直接方法[B.Arad andO.Ben-Shahar.Sparse Recovery of Hyperspectral Signal from Natural RGBImages.In B.Leibe,J.Matas,N.Sebe,and M.Welling,editors,Computer Vision–ECCV2016:11–14.]，通过捕捉高光谱先验信息来构建稀疏的高光谱字典，该字典能够提供RGB图像到高光谱图像之间的映射。但重建的精度会受到照相机镜头引起的色差、照相机传感器中的噪声以及传感器等外部的因素的影响。基于深度学习进行光谱重建的方法有较多，主要采用有监督和无监督方式，其中无监督的有GAN，这种方法要模型能够有效地捕捉数据种类的结构，并考虑了RGB图像中存在的空间上下文信息，以获得光谱重建过程。但在试图构建信息先验的光谱数据中，单个基于像素的方法在应用于光谱数据时无法有效地利用局部上下文，所以重建出的光谱精度低，速度慢，而且运行的成本也高。有监督的方法更多，例如自适应加权注意网络使用一个单独的卷积层从RGB输入中提取浅层特征。然后叠加多个双剩余注意块(dual residual attention blocks DRABs)形成一个深部网络进行深度特征提取，通过整合信道之间的相关性重新分配信道特性响应。但重建出的高光谱图像精度有待进一步提高，同时训练的模型计算复杂占用内存也比较大，这也是当前RGB重建HIS图像所存在的一个共性问题。

因此，需要设计一种能够解决上述问题的高光谱图像重建方法。

发明内容

本发明是为了解决上述问题而进行的，目的在于提供一种基于双鬼注意力机制网络的高光谱图像重建方法。

本发明提供了一种基于双鬼注意力机制网络的高光谱图像重建方法，用于对单幅RGB图像进行高光谱图像的重建，具有这样的特征，包括如下步骤：步骤1，输入一幅RGB图像，并对其进行处理，得到浅层特征信息；步骤2，将浅层特征信息进入第1个双鬼残差注意力模块中，获取深层次特征信息；步骤3，将深层次特征信息进入双输入特征卷积注意力机制模块以进一步提取更深层次的特征信息；步骤4，将更深层次的特征信息与浅层特征信息相加，得到新特征并输出；步骤5，将新特征依次放入后续m-1个串联双鬼残差注意力模块即连续经过m-1轮步骤2至步骤4的操作过程后，最终输出一个特征；步骤6，将步骤5的输出的特征进行卷积后激活，使得特征的输入与输出保持一致；步骤7，将具有特征的特征图进入最优非局域模块以增强上下层的联系，而后得到高光谱图像并输出进行可视化，即得到RGB图像重建出高光谱图像的结果。

在本发明提供的基于双鬼注意力机制网络的高光谱图像重建方法中，还可以具有这样的特征：其中，步骤1中采用一个3×3的大小卷积核对RGB图像进行卷积处理。

在本发明提供的基于双鬼注意力机制网络的高光谱图像重建方法中，还可以具有这样的特征：其中，步骤2包括如下子步骤：步骤2-1，将浅层特征信息进入第1个双鬼残差注意力模块中的第一个鬼残差模块捕获原始特征信息；步骤2-2，将原始特征信息进入第1个双鬼残差注意力模块中的第二个鬼残差模块获取深层次特征信息。

在本发明提供的基于双鬼注意力机制网络的高光谱图像重建方法中，还可以具有这样的特征：其中，步骤3中的双输出特征卷积注意力机制模块为结合了空间注意力机制模块和双输出特征通道注意力机制块的注意力机制模块。

在本发明提供的基于双鬼注意力机制网络的高光谱图像重建方法中，还可以具有这样的特征：其中，步骤4中采用一个3×3的卷积网络将更深层次的特征信息与浅层特征信息相加。

在本发明提供的基于双鬼注意力机制网络的高光谱图像重建方法中，还可以具有这样的特征：其中，步骤5中的m＝8。

在本发明提供的基于双鬼注意力机制网络的高光谱图像重建方法中，还可以具有这样的特征：其中，步骤6中的卷积为一个3×3的卷积，并采用PRELU激活函数进行激活。

在本发明提供的基于双鬼注意力机制网络的高光谱图像重建方法中，还可以具有这样的特征：其中，步骤7中的最优非局域模块利用Argmax激活函数通过反向求值来获取特征图中的特征信息量丰富的区域。

发明的作用与效果

根据本发明所涉及的基于双鬼注意力机制网络的高光谱图像重建方法，因为m个DGRAB串联能够提取到深层次的特征信息，且双输出特征CBAM能最大化地捕捉特征图上的纹理细节信息，使得重建出的高光谱图像内容更加丰富、清晰。此外，本实发明的Argmax函数能够准确地得到有用的特征尺寸，非局域模块能够有效的连接相邻以及相邻以外不同位置的卷积层的信息，维持了更多地特征信息，基于上述原因，本实发明的算法框架所重建出的光谱特征与真实的光谱信息曲线拟合的效果最好，且重建后的图像精度高且训练模型小，达到了世界最先进水平。

附图说明

图1是本发明的实施例中双鬼卷积注意力机制网络框架图；

图2是本发明的实施例中双鬼残差注意力模块示意图；

图3是本发明的实施例中鬼网络Ghost Network的示意图；

图4是本发明的实施例中卷积注意力机制模块图；

图5是本发明的实施例中最优非局域块的示意图；

图6是本发明的实施例中在NTIRE 2020 HS验证集是第451张RGB图像，YAN、HRN、AWAN、ours方法所重建的和真实图像在第16通道图的可视化结果；

图7是本发明的实施例中NTIRE2020的验证集中选择的HSI重建误差图像第31波段的光谱重建图；

图8是本发明的实施例中NTIRE 2020 HS验证集中NONE、channel、spatial、CBAM、CBAM+Resnet和DOFCBAM产生的结果示意图；

图9(a)是本发明的实施例中YAN、HRN、AWAN和ours在NTIRE 2020 HS验证集上的可视化结果图；

图9(b)是本发明的实施例中YAN、HRN、AWAN和ours在NTIRE 2020 HS验证集上的可视化结果图；

图10(a)为图9(a)的不同算法和Ours在NTIRE 2020 HS验证集上的定量比较的光谱反射率曲线示意图；

图10(b)为图9(b)不同算法和ours在NTIRE 2020 HS验证集上的定量比较结果的光谱反射率曲线示意图。

具体实施方式

为了使本发明实现的技术手段与功效易于明白了解，以下结合实施例及附图对本发明作具体阐述。

实施例：

如图1所示，本实施例提供一种基于双鬼注意力机制网络的高光谱图像重建方法，用于对单幅RGB图像进行高光谱图像的重建，包括如下步骤：

步骤1，输入一幅RGB图像，并采用一个3×3的大小卷积核对其进行提取，得到浅层特征信息。

步骤2，将所述浅层特征信息进入第1个双鬼残差注意力模块中，获取深层次特征信息，具体为：步骤2-1，将浅层特征信息进入第1个双鬼残差注意力模块中的第一个鬼残差模块捕获原始特征信息；步骤2-2，将原始特征信息进入第1个双鬼残差注意力模块中的第二个鬼残差模块获取深层次特征信息。

如图1和图2所示，双鬼残差注意力机制模块Dual Ghostnet Residual AttentionBlock即DGRAB是整个网络的主干部分，在本实施例的框架中用来加深网络获取更深层次的光谱特征信息的作用。以图1中以第m个DGRAB模块来说明它的工作原理为：DGRAB由两个鬼残差模块组成，第一个鬼残差模块R_m-1用于加深网络，深层次提取图像的特征信息。第二个鬼残差模块R_m用于联系上层特征信息，增强全局网络间的联系。第一个残差块的工作过程：首先将经过3×3卷积处理得到的图像浅层特征信息F_m-1的特征经过一个鬼网络即Ghost，然后采用PRELU激活函数，并与另一个Ghost所得到的特征与浅层特征信息F_m-1进行相加，有效的捕获了原始特征信息，再经过一对Ghost与PRELU激活函数得到F_m-1’，形成第一个双鬼残差注意力模块R_m-1。第二个残差块的工作过程：F_m-1’通过PRELU激活函数的Ghost，保证了输出与原始特征F_m特征输入保持一致，后经过一个卷积注意力机制块Dual OutputFeatureCBAM得到的结果与原来的特征值进行相加，经过PRELU激活函数输出F_m的特征值，形成第二个双鬼残差注意力模块R_m，其过程可以表达为公式(1)，具体如下：

F_m＝F_m-1+αF_m(m∈1,...,m) (1)

其中，α为PRELU激活函数，F_i为第i个特征图像。

步骤3，将深层次特征信息进入双输出特征卷积注意力机制模块Dual OutputFeature Convolutional Block Attention Module即DOFCBAM以进一步提取更深层次的特征信息。

本实施例中，双输出特征CBAM是一种结合了空间spatial即空间注意力机制模块Spatial attention mechanism module和通道channel即双输出特征通道注意力机制块Dual Output Feature Channel attention mechanism block的注意力机制模块，具有能够重点关注特征目标区域的细节信息，摒除无用的信息的作用。在本实施例中，我们提出双输出特征CBAM能有效地提取图像的特征信息，从而提高光谱重建精度。工作原理如图4所示，对于给定一个中间特征F∈R^C×H×W，工作过程分别可以表示公式(2)和公式(3)，具体如下：

F'＝M_c(F),F∈[H×W×C] (2)

F"＝M_s(F') (3)

其中，输入端是特征图F，M_c(F)表示在通道维度上做注意力机制提取的操作输出特征值F'，M_s(F)表示的是在空间维度上做注意力机制提取的操作输出特征值F”。

具体地，双输出特征通道注意力机制块开始输入原始特征F∈R^C×H×W，分别进入一个空间的全局平均池化层Avgpool(F)和最大池化层Maxpool(F)得到两个R^1×1×C的通道结果，如图4(a)所示。这样做的目的是将特征图进行压缩，得到一个一维向量以后再进行操作。之后通过PRELU激活函数能够加快特征学习的速度，减少计算的时间。送入一个共享感知层即Share MLP，该共享感知层包含了一个隐藏层，隐藏层的向量大小为(r是缩减ratio)。

本实施例提出的Share MLP对这两个不同的一维向量分别计算生成双输出特征向量即四个通道注意力的一维向量M_c∈R^C×1×1。输出的第一个和第三个双输出特征向量为

相比生成一个特征向量而言，生成双输出特征向量能够最大化地捕捉特征图上的纹理信息，使得重建出的高光谱图像内容更加丰富。第二个和第四个双输出特征向量为

相比生成一个特征向量而言，生成双输出特征向量的作用是保留最多特征图的背景信息，使得重建出高光谱图像背景信息更加清晰分明。将得到的四个特征向量值进行相加，后经过sigmoid激活函数进行归一化处理，即可得到缩放后的新特征M_c(F)∈R^H×W×1，生成后续空间注意力机制模块需要的输入特征F'，其工作过程见公式(4)，具体如下：

F'＝σ(MLP(2εAvgpool(F))+MLP(2εMaxpool(F)))

＝M_c(F) (4)

其中，σ为sigmoid函数，ε代表PRELU激活函数的学习速率，MLP是由平均池化特征和最大池化特征这两个特征输入共层享，这里的Avgpool和Maxpool特指自适应平均池化和自适应最大池化。

然后，空间注意力机制模块要生成二维空间注意力图，且在空间层面上的网络能够识别特征图中更高的响应的特征信息。首先输入的是经过通道注意力模块的特征的大小为M_c(F)∈R^H×W×1，分别进入一个一维通道的平均池化层和最大池化层之后得到两个二维向量

和

的通道特征，将其按通道维度拼接在一起得到一个二维的特征向量，然后经过一个大小为3×3的卷积核f。在本实施例的框架中，3×3的卷积f被使用是为了在不增加计算量的前提下，减少了参数量。由于使用了Sigmoid激活函数，保证了输出的特征值输出范围在(0，1)之间，并把它作为权重系数M_s。最后，拿权重系数和原来的通道注意力机制输出特征F'相乘即可得到缩放后的新特征M_s(F)∈R^H×W×C，保证了最后得到的F”在spatial维度上与原始输入的特征图F一致，其公式可以表达为：

其中，σ为sigmoid操作，f^3×3表示3×3卷积核，这里的Avgpool(F')和Maxpool(F')特指空间注意力机制块中的自适用平均池化输出结果为

和自适应最大池化其输出结果为

步骤4，采用一个3×3的卷积网络将更深层次的特征信息与浅层特征信息相加，得到新特征并输出。

步骤5，将新特征依次放入后续m-1个串联双鬼残差注意力模块即连续经过m-1轮步骤2至步骤4的操作过程最终输出一个特征。

步骤6，将步骤6的输出的特征采用一个3×3的卷积进行卷积后采用PRELU激活函数进行激活，使得特征的输入与输出保持一致。

本实施例的DGRAM中引入了鬼网络Ghost network，与普通卷积神经网络相比，在不更改输出特征图大小的情况下，Ghost network中所需的参数总数和计算复杂度均已降低。Ghost network的使用解决了光谱重建过程中出现的计算量大，占用内存过大的问题。Ghost network的架构如图3所示。

在本实施例中所采用的Ghost network的工作过程分为两个阶段，具体如下：首先第一阶段，本实施例对特征F进行均分，选择输入一半的特征图

先通过大小为1*1的卷积f进行卷积操作以获取特征尺寸，然后进行批量归一化操作，将其数值降为(0，1)之间，接着通过PRELU激活函数得到一半的特征图F1，这一阶段操作的作用是加快特征学习的收敛，避免过拟合的现象出现，其过程可以表达为公式(6)：

其中，×是卷积操作，b为bias即偏离率。

第二阶段使用廉价变换即cheap operation，将另外一半的特征图

使用深度卷积即depthwise conv进行提取特征信息。为了简化计算，本实施例将这部分的卷积核f'大小设置为1×1，同时不使用普通卷积运算中的bias如公式(7)所示，本实施例使用线性运算Φ生成多个特征图像。生成的特征图接着进行归一化操作，这样不仅保留了原来的学习特征，还加快了硬件训练数据运行的时间，此外，该算法能够降低数据之间的绝对差异，缓解过拟合的问题，能够代替dropout的正则方式。最后通过激活函数输出特征图为F2，其工作原理可用公式(7)，具体如下：

在本实施例中，采用PRELU函数作为激活函数以加快网络学习的速度，相比tanh/sigmoid等其他激活函数，PRELU作用是函数计算量小，反向传播求误差梯度时，只有简单的修正线性运算，所以计算时间短，运行速度快。此外，PRELU函数属于非饱和激活函数，使用该函数用来解决梯度消失的问题，保证输入的特征值在小于零的情况下也有非零值的输出。

在Ghost network中最终得到的特征图为第一阶段输出的特征图和第二阶段输出的特征图进行合并F3见公式(8)，具体如下：

其中，×是卷积操作，

是逐个特征图相乘，Φ是cheap operation的线性运算，F1是普通卷积特征图，F2是cheap operation的特征图，F3是输出特征图。

步骤7，将具有特征的特征图进入最优非局域模块以增强上下层的联系，而后输出高光谱图像进行可视化，即RGB图像重建出高光谱图像的结果。

本实施例中，非局部区域块Optimal Nonlocal Block即ONB已被应用于目标检测、分割等领域，且非局域区域块在本实施例的RGB重建高光谱图像时，目的是增强特征间的联系。它可以直接计算任意两个位置之间，就能很好捕获光谱的特征信息。但应用于RGB图像光谱重建HSI后带来了大量参数的问题，给准确获取丰富的特征信息带来困难，为此提出了ONB，在non-local区域块引入了Argmax激活函数，利用Argmax激活函数通过反向求值能获取特征图中的特征信息量最丰富的区域。ONB与普通的非局部区域块相比，不仅能够提取长距离的结构线索，而且能够最大化的获取到最有用的特征参数，从而能够更好的提高光谱重建的精度。

如图5所示，在ONB模块工作流程中分为两个阶段：第一阶段将原始特征图F_n,j(大小为H×W×C)将其分成两个支路进行1×1的卷积核进行操作，分支Φ得到HW×C/2和分支β得到C/2×HW，将分支Φ得到的卷积进行转置，并采用Argmax函数激活如图5所示，获取得到最为丰富的特征信息H₁*W₁*C/2，将分支β得到的特征值与分支1进行相乘得到H₁W₁×HW，得到H₁W₁×WH的权重特征图P。第二阶段：原始特征图F_n,j再次经过1×1的卷积获取支路g的特征信息C/2×HW，然后进行转置得到HW×C/2。将第一阶段输出的特征图P经过softmax进行批量归一化操作并与转置后的特征HW×C/2进行点乘得新的特征值Q：H×W×C/2。Q再经过一个1×1的卷积与原来的特征图进行相加输出结果y_n,j。在此过程中最优非局部区域块能够接受任意特征大小的输入，并且得到的输出保持和输入特征大小一致。ONB的工作过程可被表示为公式(9)，具体如下：

其中，n是输出特征图的其中一个位置，j代表所有可能位置的索引，它是n通过加权得到一个非局部的响应值。F代表输入的特征图，y_n,j是代表的是输出特征图，它的大小与输入特征图尺寸相同，f函数是用来计算n和j的相似度，计算第n个位置和其他所有位置的相关性，g(F_n,j)是，用来计算特征图在j位置的表示，目的是进行信息变换，C(F)是归一化函数，保证变换前后整体信息不变。

代表了由多个密集连接的递归卷积层，

是Argmax激活函数，采用了从每一层到所有后续层的直接连接。

以下为实验设置及评估指标：

本实施例的实验所处开发环境是操作系统Windows10，pytorch1.5.1版本，2个GPU(NVIDIA 2080Ti)；使用的数据集为NTIRE2020提供的数据，NTIRE2020包含了450张512*482大小且为31个通道的训练数据、对应的450张RGB图像、10张512*482验证数据集的RGB图像以及同样大小的31通道的高光谱图像，10张RGB图像大小为512*482测试数据集，在本实施例所通提供的框架模型中双鬼注意力模块的数量为M＝8，输出的通道为200。批量大小设置为20，优化参数设置β1＝0.9，β2＝0.99，ε＝10^-8，CBAM的reduction＝16，ONB的reduction＝8，学习率初始化为0.0001，并且多项式函数作为幂函数的衰减策略＝1.5。

本实施例中所采用的标准光谱重建指标为Root Mean Square Error即RMSE均方根误差见公式11和mean relative absolute error即MRAE平均相对绝对误差见公式12，均方根误差是预测值与真实值偏差的平方与观测次数N比值的平方根。

指的是重建后第P通道的值与第P通道

真实的光谱值之间的偏差，并且对数据中的异常值较为敏感。平均相对绝对误差计算了生成的第P通道的光谱图像

和地面真实度

之间的像素级的视觉差异即平均绝对值，精确地表示了网络的构建质量。2项指标的值越小，说明模型的效果越好。

2.实验分析

表1为不同算法和Ours在NTIRE2020高光谱验证集上的定量比较结果，其中，最好的结果进行了突出显示。

表1不同算法和Ours在NTIRE2020高光谱验证集上的定量比较结果

从图6可以看出，本实施例的算法重建出来的效果图更接近于真实光谱图像。但从表1中，在与其他先进算法YAN、AWAN、HRN实验结果评价数值指标相比，本实施例的RMSE值达到了0.0162，MARE为0.0439，2项指标为所列的算法其评价指标值中的最小。2项指标数值越小越说明本实施例的模型取得的成效优于所列算法。相比于YAN算法，本实施例的算法的RMSE值降低了0.3544，MRAE降低了0.7519；相比于AWAN算法，本实施例的算法RMSE降低了14.28％，MRAE降低了8.15％；相比于HRN算法，本实施例的算法RMSE降低了41.94％，MARE值降低了29.60％。以上进一步表明了本实施例的算法的模型的高光谱重建精度最高，达到了最先进水平。

在同样的硬件设备上，设置批量大小为20，本实施例的方法与YAN算法、AWAN算法、HRN算法这3种算法对于另一幅NTIRE2020高光谱验证集上的RGB图像所重建高光谱图像进行了性能比较其可视化效果如图7所示，与内存占用情况见表2。

表2不同算法和Ours在NTIRE2020高光谱验证集上的定量比较结果

从图7可见，本实施例提出的算法重建后图像的效果更接近于真实的高光谱图像，原因在于本实施例的框架中使用的ghost网络采用了大小为1*1的卷积核，且卷积核的尺寸越小越有利于提取图像的细节特征。

根据表2可知，本实施例可以在设备相同与训练数据的情况下，相比YAN算法，AWAN算法以及HRN算法，本实施例的方法训练出的模型是最小为32898KB。这表明在达到相同光谱重建的精度下，本实施例的方法采用的DGCAMN框架模型在RGB到高光谱重建过程中极大的减少了电脑的使用量，是一种轻量化框架模型。而AWAN算法占用的存储最大，是本实施例的方法所占用存储的6.22倍，HRN算法占用的内存量是本实施例的方法的3.77倍，YAN算法占用的内存量是本实施例的方法的3.17。以上是由于在本实施例的算法所采用的DGCAMN框架中使用了ghost替换了传统卷积获取图像特征的过程中，利用cheap operation的简单线性运算去生成更多地特征信息。在人眼视觉感受相同的情况下，ghost网络卷积核的大小为1*1，与其他3*3以及5*5大小的卷积核相比，有利于提取图像的局部特征，但计算的参数量较小。根据表2还可以得知，本实施例的算法的计算参数量最小为2783247KB，是YAN算法的参数量的五十分之一，是AWAN算法的4/25，是HRN算法的1.6e^-5。

本实施例的这部分实验目的是用于验证本实施例的双输出特征CBAM要优于其他注意力模块。在相同的batchsize，相同的数据集，以及相同的硬件设备下，基于本实施例的框架使用None、channel注意力机制、spatial注意力机制、以及在CBAM+resnet模块和双输出特征卷积注意力机制DOFCBAM下产生的420nm、470nm、560nm、630nm、以及700nm的重建结果图见图8，性能比较见表3。

表3不同框架结构和ours在NTIRE 2020 HS验证集上的定量比较结果

从图8可见，本实施例的算法所采用的DOFCBAM重建后图像的效果更贴合于真实的高光谱图像。然而加了resnet的CBAM，其方法可视化效果图见图8中CBAM+resnet所标示的红色小方框出现了红色的伪像。该类型的注意力机制在从400nm～700nm每个显示的波段图像都存在这种问题。出现上述小红框内瑕疵的原因是在于将CBAM放入resnet block过程中，CBAM+resnet网络结构的重心从注意力机制转移到了resnet。这一过程是通道注意力机制将输入的特征图压缩成一维特征，丢失了一些特征信息。一维特征接着进入空间注意力机制生成二维特征，在进行批量归一化操作后并与resnet网络上的原始特征相加，但此时这两个的特征尺寸并不相同，所以导致了CBAM+resnet算法光谱重建出的图像产生了图8中的伪像问题。

从表3中可以看到，采用DOFCBAM的光谱精度最高，其中，RMSE值达到了0.01323，MRAE值达到了0.07165。相比于没有使用CBAM的算法，RMSE值降低了21.25％，MRSE值降低了13.95％，与只经过channel注意力机制通道相比时，RMSE值降低了18.56％，MRAE值降低了46.28％。与只经过spatial注意力机制通道相比，RMSE值降低了21.71％，MARE值降低了17.17％。相比于CBAM+resnet算法，RMSE的损失值降低了30.73％，MRSE损失值降低了13.99％。与使用一个channel和一个spatial的注意力机制相比，RMSE值降低了1.05％，MARE值降低了6.71％。

由图9(a)和图(b)可以看到，本实施例所提的深度学习模型对于任意不同的RGB图像从400nm～700nm重建出的高光谱都非常清晰，接近于真实的光谱图像，这说明本实施例的算法具有一定的泛化性。如图10(a)的光谱反射率曲线所示，从440nm到475nm以及525nm到700nm之间，相比于其他三种算法，本实施例的算法的光谱反射率与真实光谱反射率曲线光谱重合率最高，如图10(b)所示，光谱反射率曲线相比于其他三类算法，本实施例的算法的光谱反射率与真实光谱反射率曲线重合度也达到了最高。

由此可见，本实施例的算法相比于其他算法重建出的精度是最高的。其原因在于本实施例使用的8个DGRAB串联能够提取到深层次的特征信息，本实施例的双输出特征CBAM能最大化地捕捉特征图上的纹理细节信息，使得重建出的高光谱图像内容更加丰富、清晰。此外，本实施例的Argmax函数能够准确地得到有用的特征尺寸，非局域块能够有效的连接相邻以及相邻以外不同位置的卷积层的信息，维持了更多地特征信息，基于上述原因，本实施例的算法框架所重建出的光谱特征与真实的光谱信息曲线拟合的效果最好，达到了世界最先进水平。

实施例的作用与效果

根据本实施例所涉及的基于双鬼注意力机制网络的高光谱图像重建方法，因为m个DGRAB串联能够提取到深层次的特征信息，且双输出特征CBAM能最大化地捕捉特征图上的纹理细节信息，使得重建出的高光谱图像内容更加丰富、清晰。此外，本实施例的Argmax函数能够准确地得到有用的特征尺寸，非局域模块能够有效的连接相邻以及相邻以外不同位置的卷积层的信息，维持了更多地特征信息，基于上述原因，本实施例的算法框架所重建出的光谱特征与真实的光谱信息曲线拟合的效果最好，且重建后的图像精度高且占用存储量小，达到了世界最先进水平。

进一步地，通过将本实施例的方法与分别采用HRN算法、YAN算法以及AWAN算法等对图片进行处理的结果进行比较，结果表明采用本实施例中的方法重建后图像的效果更贴合于真实的高光谱图像更适合重建高光谱图像。

上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (8)

1.一种基于双鬼注意力机制网络的高光谱图像重建方法，用于对单幅RGB图像进行高光谱图像的重建，其特征在于，包括如下步骤：

步骤1，输入一幅RGB图像，并对其进行处理，得到浅层特征信息；

步骤2，将所述浅层特征信息进入第1个双鬼残差注意力模块中，获取深层次特征信息；

步骤3，将所述深层次特征信息进入双输出特征卷积注意力机制模块以进一步提取更深层次的特征信息；

步骤4，将更深层次的所述特征信息与所述浅层特征信息相加，得到新特征并输出；

步骤5，将所述新特征依次放入后续m-1个串联双鬼残差注意力模块即再连续经过m-1轮步骤2至步骤4的操作过程后，最终输出一个特征；

步骤6，将步骤5的输出的所述特征进行卷积后激活，得到新特征，使得所述特征的输入与输出保持一致；

步骤7，将具有所述新特征的特征图进入最优非局域模块以增强上下层的联系，而后得到高光谱图像并输出进行可视化，即得到RGB图像重建出高光谱图像的结果。

2.根据权利要求1所述的基于双鬼注意力机制网络的高光谱图像重建方法，其特征在于：

其中，所述步骤1中采用一个3×3的大小的卷积核对所述RGB图像进行卷积处理。

3.根据权利要求1所述的基于双鬼注意力机制网络的高光谱图像重建方法，其特征在于：

其中，所述步骤2包括如下子步骤：

步骤2-1，将所述浅层特征信息进入第1个所述双鬼残差注意力模块中的第一个鬼残差模块捕获原始特征信息；

步骤2-2，将所述原始特征信息进入第1个所述双鬼残差注意力模块中的第二个鬼残差模块获取深层次特征信息。

4.根据权利要求1所述的基于双鬼注意力机制网络的高光谱图像重建方法，其特征在于：

其中，所述步骤3中的双输出特征卷积注意力机制模块为结合了空间注意力机制模块和双输出特征通道注意力机制块的注意力机制模块。

5.根据权利要求1所述的基于双鬼注意力机制网络的高光谱图像重建方法，其特征在于：

其中，所述步骤4中采用一个3×3的卷积网络将更深层次的所述特征信息与所述浅层特征信息相加。

6.根据权利要求1所述的基于双鬼注意力机制网络的高光谱图像重建方法，其特征在于：

其中，所述步骤5中的m＝8。

7.根据权利要求1所述的基于双鬼注意力机制网络的高光谱图像重建方法，其特征在于：

其中，所述步骤6中的卷积为一个3×3的卷积，并采用PRELU激活函数进行激活。

8.根据权利要求1所述的基于双鬼注意力机制网络的高光谱图像重建方法，其特征在于：

其中，所述步骤7中的最优非局域模块利用Argmax激活函数通过反向求值来获取所述特征图中的特征信息量丰富的区域。

Images