CN112116065A - 一种rgb图像光谱重建方法、系统、存储介质及应用 - Google Patents
一种rgb图像光谱重建方法、系统、存储介质及应用 Download PDFInfo
- Publication number
- CN112116065A CN112116065A CN202010815176.8A CN202010815176A CN112116065A CN 112116065 A CN112116065 A CN 112116065A CN 202010815176 A CN202010815176 A CN 202010815176A CN 112116065 A CN112116065 A CN 112116065A
- Authority
- CN
- China
- Prior art keywords
- attention
- residual
- network
- depth
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001228 spectrum Methods 0.000 title claims abstract description 30
- 230000007246 mechanism Effects 0.000 claims abstract description 79
- 230000006870 function Effects 0.000 claims abstract description 56
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 12
- 230000004044 response Effects 0.000 claims abstract description 7
- 230000003595 spectral effect Effects 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 13
- 238000001994 activation Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000007725 thermal activation Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- DIQHTDHADJUONG-UHFFFAOYSA-N C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C Chemical compound C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C DIQHTDHADJUONG-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- BQMUWNMDGNVFNI-UHFFFAOYSA-N C.C.C.C.C.C.C.C.C.C.C Chemical compound C.C.C.C.C.C.C.C.C.C.C BQMUWNMDGNVFNI-UHFFFAOYSA-N 0.000 description 1
- 241000320369 Hibbertia Species 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于高光谱图像的处理技术领域，公开了一种RGB图像光谱重建方法、系统、存储介质及应用，构建具有结构张量约束的混合2‑D–3‑D深度残差注意力网络的骨干网络；构建残差注意力模块，包含多个2‑D残差注意力模块和3‑D残差注意力模块；分别在2‑D深度残差注意力网络和3‑D深度残差注意力网络中引入2‑D通道注意力机制和3‑D波段注意力机制；结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，形成一个更精细的约束。本发明实现RGB图像到高光谱图像的端到端的映射，自适应地重新校准通道和波段维度的特征响应，增强判别学习能力，有助于在训练过程中恢复更精细、更准确的高光谱图像。
Description
技术领域
本发明属于高光谱图像的处理技术领域，尤其涉及一种RGB图像光谱重建方法、系统、存储介质及应用。
背景技术
目前，高光谱传感器记录从红外光谱到紫外线光谱的数百或数千个波段的反射率或透射率值。与传统的RGB图像不同，高光谱图像中的每个像素都包含具有丰富光谱特征的连续光谱。事实上，丰富的光谱特征已经被用于广泛地探索到各种任务中，例如目标跟踪、图像分类、场景分割和高光谱波段选择等。尽管如此，大多数现有的高光谱设备还是利用2-D传感器通过沿空间或光谱维度的扫描来捕获3-D数据，这会需要更多的曝光时间，阻碍其进一步应用于动态场景中。另外，成本高昂的高光谱系统需要在光谱分辨率与空间/时间分辨率之间进行折衷。为了解决上述问题，在过去的十年中，无扫描或快照的高光谱设备被开发，例如计算机断层扫描成像光谱仪(CTIS)、混合RGB-HS系统等。然而，这些采集系统仍然需要复杂的硬件设备，并且所采集的高光谱的空间分辨率也会受到限制。近来，已经提出了仅通过给定的RGB图像，实现三到多的映射来获得具有一致空间分辨率和更高光谱分辨率的高光谱图像，这被称为光谱重建或光谱超分辨率。显然，由于RGB图像的波段数数是3，而高光谱图像包含很多波段，所以光谱重建是一个不适定的逆映射问题。但是，仍然有可能通过建立先验或者基于学习的模型以从单个RGB图像重建光谱特征。一些早期的研究主要设计稀疏恢复或浅层学习模型来完成光谱重建过程，即实现RGB图像到高光谱图像的映射。然而，受可获得的公开高光谱数据集的数量少的限制，相对简单的映射重建质量在很大程度上取决于高光谱数据的先验信息和预处理。同时，由于泛化能力差，这些方法只能对RGB和高光谱数据之间的低级别的相关性进行建模。因此，有必要进一步提高光谱重建的准确性。最近，深层卷积神经网络已在光谱重建任务中得到了广泛的探索，与稀疏恢复和浅层映射方法相比，卷积神经网络(CNN)的强大功能表达和端到端训练范式带来了光谱重建的显著改进。通过利用训练数据所固有的上下文信息，基于CNN的方法在光谱重建中取得了相当大的成功，但也仍然存在一些缺陷。一方面，大多数现有的基于CNN的方法几乎都集中在基于二维CNN的空间特征提取上，而没有同时模拟波段间的相关性。因此，重建的高光谱图像的波段之间的关系可能与真实情况不完全相同。另一方面，大多数基于CNN的光谱重建模型仅通过叠加卷积层即可构建更深的网络，很少利用特征通道之间的相互依赖关系，从而限制了CNN的表示能力，并且无法提取更高级的上下文特征。
通过上述分析，现有技术存在的问题及缺陷为：目前大多数基于CNN的光谱超分辨算法，几乎都集中在基于二维CNN的空间特征提取上，而没有同时模拟波段间的相关性，同时也很少利用特征映射之间的固有相互依赖关系，从而限制CNN的表示能力并且无法提取更高级的上下文特征。
解决以上问题及缺陷的难度为：如何设计新的基于CNN的光谱超分辨算法能够同时提取空间-光谱特征；如何设计对应的模块建模特征映射之间的相互依赖关系。
解决以上问题及缺陷的意义为：通过设计可同时提取空间-光谱特征的光谱超分辨算法，可以使得重建高光谱图像与真实情况更加接近；通过计对应的模块利用特征映射之间的固有相互依赖关系，可以充分发挥CNN的表示能力并且提取更高级的上下文特征。
发明内容
针对现有技术存在的问题，本发明提供了一种RGB图像光谱重建方法、系统、存储介质及应用。
本发明是这样实现的，一种RGB图像光谱重建方法，所述RGB图像光谱重建方法包括：
构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络；
构建残差注意力模块，包含多个2-D残差注意力模块和3-D残差注意力模块；
分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制；
结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，作为一个更精细的约束。
进一步，所述构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络具体包括五个阶段：浅层特征提取，基于2-D深度残差注意力网络的深层空间特征提取，中间特征尺寸变换，基于3-D深度残差注意力网络的深层波段特征提取以及重建阶段。给定IRGB∈N×C×L×W表示RGB输入，IHSI∈N×31×L×W表示混合2-D–3-D深度残差注意力网络的高光谱图像输出，L是长度，W是宽度，3或31是波段数目，通过一个卷积层从RGB输入IRGB中提取浅层特征F0，表示为：
F0＝HSF(IRGB)；
其中，HSF(·)表示浅层特征提取函数，将提取的浅层特征F0∈N×C×L×W输入2-D深度残差混合注意力机制网络，以进行深层空间特征提取，其中，C是特征图的通道数，得到：
F2DSF＝H2D-RAN(F0)；
其中H2D-RAN(·)代表提出的2-D深度残差注意力网络，由M个2-D残差注意力模块堆叠而成，将提取的深度空间特征F2DSF∈N×C×L×W通过一个2-D卷积层映射到波段数目为31的新特征，通过尺寸扩展操作将其扩展为N×1×31×L×W，采用了3-D卷积层来扩大特征图的通道数，3-D深度残差注意力网络输入特征的最终尺寸为N×C×31×L×W，三个操作组合为HIFDT(·)来表示中间特征尺寸的转换：
G0＝H1FDT(F2DSF)；
其中，G0表示3-D深度残差注意力网络的输入。接着，将G0用于深度波段特征提取：G3DBF＝H3D-RAN(G0)；
其中H3D-RAN(·)代表本发明提出的3-D深度残差注意力网络，该网络由M个3-D残差注意力模块组成。G3DBF的尺寸为N×C×31×L×W。最终的重建部分由3-D卷积层组成，从而将尺寸更改为N×1×31×L×W，并进行尺寸压缩操作以将形状压缩为N×31×L×W，与真实高光谱图像的尺寸相同：
IHSI＝HREC(G3DBF)＝HHDRAN(IRGB)；
其中HREC(·)和HHDRAN(·)分别表示最后的重构部分和混合2-D–3-D深度残差注意力网络。
进一步，所述构建残差注意力模块，该结构主要包含多个2-D残差注意力模块和3-D残差注意力模块具体包括：2-D残差注意力模块：将注意力机制与残差模块集成在一起，与标准残差模块不同，使用PReLU作为激活函数来引入更多的非线性和加速收敛：
第m个2-D残差注意力模块表示为：
Fm＝Hm(Fm-1)＝Hm(Hm-1(…H1(F0)…))；
其中，Hm(·)是第m个2-D残差注意力模块的函数，Fm和Fm-1分别表示第m个2-D残差注意力模块的输入和输出，通过2-D深度残差注意力网络，空间信息从原始RGB输入中被充分提取，恢复与真实的高光谱图像尽可能地一致的空间特征；引入全局跳跃连接(GSC)帮助训练的深度网络，整个2-D深度残差注意力网络表示为：
F2DSF＝F0+WGSCFM；
其中WGSC表示2-D深度残差注意力网络的最后一个卷积层的权重参数；
3-D残差注意力模块与2-D残差注意力模块一致，使用PReLU作为激活函数，为3-D特征映射注入更多非线性，第m个模块中的3-D残差注意力机制模块表示为：
Gm＝Hm(Gm-1)＝Hm(Hm-1(…H1(G0)…))；
其中，Gm和Gm-1分别表示第m个3-D残差注意力模块的输入和输出，而Hm(·)表示第m个3-D残差注意力模块的函数；同样，3-D深度残差注意力网络也设计了全局残差连接GRC，使网络易于训练并获得良好表现，将3-D深度残差注意力网络表示为：
G3DBF＝G0+WGRCGM；
其中WGRC是在3-D深度残差注意力网络尾部设置的3-D卷积层的权重，而G3DBF是基于3-D深度残差注意力网络所提取的深度波段特征。
进一步，所述分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制包括：在2-D深度残差混合注意力机制网络中引入2-D通道注意力机制，对于一个二维卷积层，特征输出为U∈RC×L×W，令U＝[u1，u2，…，uc]，其中每一项的尺寸为L×W，通过使用二维全局平均池化将通道维度的全局空间信息转换为通道描述符：
Z＝[z1，z2，…，zC](Z∈RC)；
z的第c个分量的计算公式为：
其中，H2DGAP(·)表示二维全局平均池化函数，而uc(i，j)是第c个特征图uc的位置(i，j)的响应，每个通道描述符代表具有全局感受野的特征统计，通过采用简单的门控机制，从二维全局平均池化聚合的信息中充分利用特征图之间的相互依赖性，门控机制应满足两个条件；首先，要学习通道特征之间的非线性相互作用；其次，与单次热激活相反，学习独立的非排斥关系，门控机制的形成如下：
s＝f(W2DDδ(W2DU(zc)))；
其中W2DD和W2DU分别表示不同2-D卷积层的权重集，W2DD以缩小率r降低特征图的通道尺寸，而W2DU以相同的增长率r还原为高维通道尺寸，f(·)和δ(·)分别是Sigmoid函数和PReLU激活函数；获得表示特征映射的重要性和相互依赖性的通道统计信息s，重新校准输入uc：
其中sc和uc分别表示第c个通道的比例系数和特征映射，利用这样的2-D通道注意力机制，自适应地重新校准2-D残差注意力块中的残差分量；
3-D波段注意力机制受益于3-D卷积中特征映射尺寸的增加，首先，3-D卷积层的输出由V＝[v1，v2，…，vC]表示，V中每一项的尺寸为L×W×B，且V∈RC×B×L×W，B表示波段数，B在本论文中等于31；同样使用全局平均池化操作将沿深度维度的3-D特征图压缩为波段描述符器Q＝[q1，q2，…，qC](Q∈RC×B)：
qC＝H3DGAP(vC)；
其中H3DGAP(·)是3-D全局平均池化函数。按照2-D通道注意力机制的设计，应用3-D版本的门控机制，该机制学习波段特征响应之间的非线性相互作用和独立的非排斥关系：
p＝f(W3DDδ(W3DU(qc)))；
类似于2-D通道注意力机制,其中W3DD和W3DU表示不同3-D卷积层的权重集，而f(·)和δ(·)分别是Sigmoid函数和PReLU激活函数；获得关于波段特征重要性和相互依赖性的波段统计信息p，重新调整输入vC：
其中pC和vC表示第c个通道的比例系数和特征图。注意pc∈RC×B。
进一步，所述结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，作为一个更精细的约束，给定二维图像I(x，y)，平移(Δx，Δy)产生的变化表示为：
其中(Δx，Δy)可以取值{(0，1)，(1，0)，(1，1)，(-1，1)}，而w表示移位窗口，接着用一阶泰勒级数I(x+Δx，y+Δy)＝I(x，y)+IxΔx+IyΔy+O(Δx2，Δy2)表示变化量tr为：
其中
和
分别表示梯度矢量的x方向分量和y方向分量。如果平移量很小，简化为：
t＝[Δx，Δy]S[Δx，Δy]T；
其中矩阵S表示结构张量，定义为：
由于该结构张量S是半定矩阵，分解为：
其中β1和β2是非负特征值，θ1和θ2是相应的特征向量，这两个非负特征值描述图像的空间结构信息；如果β1≈β2≈0，则表示平坦区域；如果β1＞β2≈0，则表示边缘区域，如果β1≥β2＞0，则表示拐角区域，由此得出，较大的特征值意味着图像的高频分量；对于图像的一个像素，结构张量矩阵J定义为：
其中
表示梯度算子，·表示矩阵乘法，损失函数为：
其中τ是预定义的参数，θ表示本发明网络的参数集，Pgt (n)和Prec (n)表示第n个像素值，Tgt (n)和Trec (n)分别表示地面真实情况和重建图像中第n个像素点的结构张量的大特征值，N是像素总数。根据实验结果，将τ设置为0.01。
进一步，所述RGB图像光谱重建方法还包括：使用均方根误差RMSE和平均相对绝对误差MRAE作为评价指标，计算MRAE和RMSE如下：
其中，Pgt (n)和Prec (n)分别表示真实和重构的高光谱图像的第n个像素值，N是像素总数。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络；
构建残差注意力模块，包含多个2-D残差注意力模块和3-D残差注意力模块；
分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制；
结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，作为一个更精细的约束。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络；
构建残差注意力模块，包含多个2-D残差注意力模块和3-D残差注意力模块；
分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制；
结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，作为一个更精细的约束。
本发明的另一目的在于提供一种实施所述RGB图像光谱重建方法的RGB图像光谱重建系统，所述RGB图像光谱重建系统包括：
骨干网络构建模块，用于构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络；
残差注意力模块构建模块，用于构建残差注意力模块，该结构主要包含多个2-D残差注意力模块和3-D残差注意力模块；
注意力机制引入模块，用于分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制；
约束模块，用于结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，作为一个更精细的约束。
本发明的另一目的在于提供一种高光谱传感器，所述高光谱传感器安装有所述的RGB图像光谱重建系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提出了一种由2-D残差注意力网络和3-D残差注意力网络组成的具有结构张量约束的2-D–3-D深度残留注意力混合网络(HDRAN)，实现RGB到高光谱图像的端到端的映射，自适应地重新校准通道方式和波段维度的特征响应，增强判别学习能力，有助于在训练过程中恢复更精细，更准确的高光谱图像。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的RGB图像光谱重建方法流程图。
图2是本发明实施例提供的RGB图像光谱重建系统的结构示意图；
图2中：1、骨干网络构建模块；2、残差注意力模块构建模块；3、注意力机制引入模块；4、约束模块。
图3是本发明实施例提供的混合2-D–3-D深度残差注意力网络结构示意图。
图4是本发明实施例提供的2-D残差注意力模块结构示意图。
图5是本发明实施例提供的3-D残差注意力模块结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种RGB图像光谱重建方法、系统、存储介质及应用，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的RGB图像光谱重建方法包括以下步骤：
S101：构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络；
S102：构建残差注意力模块，该结构主要包含多个2-D残差注意力模块和3-D残差注意力模块；
S103：分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制；
S104：结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，作为一个更精细的约束。
本发明提供的RGB图像光谱重建方法具体包括以下步骤：
步骤一，构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络，主要包括五个阶段：浅层特征提取，基于2-D深度残差注意力网络的深层空间特征提取，中间特征尺寸变换，基于3-D深度残差注意力网络的深层波段特征提取以及重建阶段。给定IRGB∈N×C×L×W表示RGB输入，IHSI∈N×31×L×W表示混合2-D–3-D深度残差注意力网络的高光谱图像输出。此处，L是长度，W是宽度，3或31是波段数目。首先，本发明通过一个卷积层从RGB输入IRGB中提取浅层特征F0，表示为：
F0＝HSF(IRGB)；
其中，HSF(·)表示浅层特征提取函数。将提取的浅层特征F0∈N×C×L×W输入2-D深度残差混合注意力机制网络，以进行深层空间特征提取，其中，C是特征图的通道数。本发明可以进一步得到：
F2DSF＝H2D-RAN(F0)；
其中H2D-RAN(·)代表本发明提出的2-D深度残差注意力网络，由M个2-D残差注意力模块堆叠而成。为了顺利地连接3-D深度残差注意力网络，将提取的深度空间特征F2DSF∈N×CΔL×W通过一个2-D卷积层映射到波段数目为31的新特征，然后通过尺寸扩展操作将其扩展为N×1×31×L×W。为了整合波段之间的相互依赖关系以改善3-D深度残差注意力网络中的光谱重构质量，采用了3-D卷积层来扩大特征图的通道数。3-D深度残差注意力网络输入特征的最终尺寸为N×C×31×L×W。上述三个操作组合为HIFDT(·)来表示中间特征尺寸的转换：
G0＝H1FDT(F2DSF)；
其中，G0表示3-D深度残差注意力网络的输入。接着，将G0用于深度波段特征提取：G3DBF＝H3D-RAN(G0)；
其中H3D-RAN(·)代表本发明提出的3-D深度残差注意力网络，该网络由M个3-D残差注意力模块组成。G3DBF的尺寸为N×C×31×L×W。最终的重建部分由3-D卷积层组成，从而将尺寸更改为N×1×31×L×W，并进行尺寸压缩操作以将形状压缩为N×31×L×W，与真实高光谱图像的尺寸相同：
IHSI＝HREC(G3DBF)＝HHDRAN(IRGB)；
其中HREC(·)和HHDRAN(·)分别表示最后的重构部分和本发明的混合2-D–3-D深度残差注意力网络。
步骤二，构建残差注意力模块，该结构主要包含多个2-D残差注意力模块和3-D残差注意力模块。
2-D残差注意力模块：本发明将注意力机制与残差模块集成在一起。与标准残差模块不同，本发明使用PReLU作为激活函数来引入更多的非线性和加速收敛：
第m个2-D残差注意力模块表示为：
Fm＝Hm(Fm-1)＝Hm(Hm-1(…H1(F0)…))；
其中，Hm(·)是第m个2-D残差注意力模块的函数，Fm和Fm-1分别表示第m个2-D残差注意力模块的输入和输出。通过2-D深度残差注意力网络，空间信息从原始RGB输入中被充分提取，从而恢复与真实的高光谱图像尽可能地一致的空间特征。但简单地堆叠重复的2-D残差注意力模块不一定会获得更好的性能，因此引入全局跳跃连接(GSC)帮助训练本发明的深度网络。整个2-D深度残差注意力网络表示为：
F2DSF＝F0+WGSCFM；
其中WGSC表示2-D深度残差注意力网络的最后一个卷积层的权重参数，为简单起见，以上式子省略了偏置项。该全局跳跃连接不仅可以使得RGB图像中的大量低级信息到达深层网络，而且还可以避免深度网络中的梯度消失和梯度爆炸问题。
3-D残差注意力模块与2-D残差注意力模块一致，也使用PReLU作为激活函数，为3-D特征映射注入更多非线性。第m个模块中的3-D残差注意力机制模块表示为：
Gm＝Hm(Gm-1)＝Hm(Hm-1(…H1(G0)…))；
其中，Gm和Gm-1分别表示第m个3-D残差注意力模块的输入和输出，而Hm(·)表示第m个3-D残差注意力模块的函数。同样，3-D深度残差注意力网络也设计了全局残差连接(GRC)，使网络易于训练并获得良好表现。因此，将3-D深度残差注意力网络表示为：
G3DBF＝G0+WGRCGM；
其中WGRC是在3-D深度残差注意力网络尾部设置的3-D卷积层的权重，而G3DBF是基于3-D深度残差注意力网络所提取的深度波段特征。
步骤三，为了自适应地重新校准通道和波段特征响应，本发明分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制。
本发明在2-D深度残差混合注意力机制网络中引入2-D通道注意力机制，以自适应地重新校准通道特征响应，增强判别性学习的能力。对于一个二维卷积层，假定其特征输出为U∈RC×L×W。简单起见，本发明令U＝[u1，u2，…，uc]，其中每一项的尺寸为L×W。接下来，本发明通过使用二维全局平均池化将通道维度的全局空间信息转换为通道描述符：
Z＝[z1，z2，…，zc](Z∈Rc)；
z的第c个分量的计算公式为：
其中，H2DGAP(·)表示二维全局平均池化函数，而uc(i，j)是第c个特征图uc的位置(i，j)的响应。每个通道描述符代表具有全局感受野的特征统计，该描述符可以利用局部区域之外的上下文信息。然后，本发明通过采用简单的门控机制，从二维全局平均池化聚合的信息中充分利用特征图之间的相互依赖性。门控机制应满足两个条件。首先，要学习通道特征之间的非线性相互作用。其次，与单次热激活相反，需要强调多个通道特征，学习独立的非排斥关系。门控机制的形成如下：
s＝f(W2DDδ(W2DU(zc)))；
其中W2DD和W2DU分别表示不同2-D卷积层的权重集。W2DD以缩小率r降低特征图的通道尺寸，而W2DU以相同的增长率r还原为高维通道尺寸。f(·)和δ(·)分别是Sigmoid函数和PReLU激活函数。最终，本发明获得表示特征映射的重要性和相互依赖性的通道统计信息s，从而重新校准输入uc：
其中sc和uc分别表示第c个通道的比例系数和特征映射。利用这样的2-D通道注意力机制，可以自适应地重新校准2-D残差注意力块中的残差分量。
3-D波段注意力机制受益于3-D卷积中特征映射尺寸的增加，因此它可以沿着深度尺寸重新调整波段特征的重要性。首先，本发明假设3-D卷积层的输出由V＝[v1，v2，…，vC]表示。V中每一项的尺寸为L×W×B，且V∈RC×B×L×W(B表示波段数，B在本论文中等于31)。在这里，本发明同样使用全局平均池化操作将沿深度维度的3-D特征图压缩为波段描述符器Q＝[q1，q2，…，qC](Q∈RC×B)：
qC＝H3DGAP(vC)；
其中H3DGAP(·)是3-D全局平均池化函数。按照2-D通道注意力机制的设计，本发明应用3-D版本的门控机制。该机制可以学习波段特征响应之间的非线性相互作用和独立的非排斥关系：
p＝f(W3DDδ(W3DU(qc)))；
类似于2-D通道注意力机制,其中W3DD和W3DU表示不同3-D卷积层的权重集，而f(·)和δ(·)分别是Sigmoid函数和PReLU激活函数。最后，本发明获得关于波段特征重要性和相互依赖性的波段统计信息p，从而重新调整输入vC：
其中pC和vC表示第c个通道的比例系数和特征图。注意pC∈RC×B。
步骤四，结合高光谱图像的像素数值和结构差异，本发明采用结合结构张量和MRAE的形式作为损失函数，作为一个更精细的约束。
给定二维图像I(x，y)，平移(Δx，Δy)产生的变化可以表示为：
其中(Δx，Δy)可以取值{(0，1)，(1，0)，(1，1)，(-1，1)}，而w表示移位窗口。接着用一阶泰勒级数I(x+Δx，y+Δy)＝I(x，y)+IxΔx+IyΔy+O(Δx2，Δy2)表示变化量tr为：
其中
和
分别表示梯度矢量的x方向分量和y方向分量。如果平移量很小，可以将上述公式简化为：
t＝[Δx，Δy]S[Δx，Δy]T；
其中矩阵S表示结构张量，定义为：
由于该结构张量S是半定矩阵，因此可以将其分解为：
其中β1和β2是非负特征值，θ1和θ2是相应的特征向量，这两个非负特征值描述图像的空间结构信息。如果β1≈β2≈0，则表示平坦区域。如果β1＞β2≈0，则表示边缘区域。如果β1≥β2＞0，则表示拐角区域。由此得出，较大的特征值意味着图像的高频分量。也就是说，本发明可以通过为空间约束选择更大的特征值来尽可能准确地重建高光谱图像的细节。对于图像的一个像素，结构张量矩阵J定义为：
其中
表示梯度算子，·表示矩阵乘法。最后，本发明的损失函数为：
其中τ是预定义的参数，θ表示本发明网络的参数集，Pgt (n)和Prec (n)表示第n个像素值，Tgt (n)和Trec (n)分别表示地面真实情况和重建图像中第n个像素点的结构张量的大特征值，N是像素总数。在本发明的网络中，根据实验结果，将τ设置为0.01。
步骤五，为了客观地评价本发明在给定的数据集上的性能，使用均方根误差(RMSE)和平均相对绝对误差(MRAE)作为评价指标，计算MRAE和RMSE如下：
其中，Pgt (n)和Prec (n)分别表示真实和重构的高光谱图像的第n个像素值，N是像素总数。
使用上述数据集对本发明网络直接进行训练，并使用上述指标进行评估。
本发明提供的RGB图像光谱重建方业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的RGB图像光谱重建方仅仅是一个具体实施例而已。
如图2所示，本发明提供的RGB图像光谱重建系统包括：
骨干网络构建模块1，用于构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络；
残差注意力模块构建模块2，用于构建残差注意力模块，该结构主要包含多个2-D残差注意力模块和3-D残差注意力模块；
注意力机制引入模块3，用于分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制；
约束模块4，用于结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，作为一个更精细的约束。
下面结合附图对本发明的技术方案作进一步的描述。
本发明提供的RGB图像光谱重建方法具体包括以下步骤：
1.数据集选取
在本实例中，本发明采用了三个公共可用的高光谱数据集进行验证，包括来自NTIRE 2018光谱重建挑战赛的BGU HS数据集，CAVE数据集和Harvard数据集。BGU HS数据集为参赛者提供256幅自然高光谱图像和5+10幅其他图像用以分别进行验证和测试，所有图像的空间大小均为1392×1300，具有31个光谱带(400-700nm，大约10nm增量)。该挑战分为Clean和Real World两个赛道，Clean赛道旨在从无损RGB图像中恢复出高光谱图像，相机光谱灵敏度函数已知，Real World赛道则需要通过JPEG压缩的RGB图像中重建高光谱图像,相机光谱灵敏度函数未知。CAVE数据集包含32幅高光谱图像，它们以10nm的步长从400至700nm的31个波段，每个波段是尺寸大小为512×512的16位灰度图像。Harvard数据集由50幅高光谱图像组成，空间分辨率为1392×1040，每幅高光谱图像包含31个光谱带，这些光谱带在420-720nm处以10nm间隔。对于CAVE和Harvard数据集，本发明使用尼康D700相机的光谱响应函数为每个高光谱图像生成了相应的RGB图像。对于CAVE数据集，本发明随机选择22幅配对图像进行训练，其余10幅配对图像进行测试，而在Harvard数据集中，随机选择30幅配对图像作为训练集，其余20个配对的图像用于测试。
2.评价指标选取
为了客观地评价本发明在BGUHS，CAVE和Harvard数据集上的性能，使用均方根误差(RMSE)和平均相对绝对值误差(MRAE)作为评估指标后，计算MRAE和RMSE如下：
3.构建残差注意力机制模块
该结构主要包含多个2-D残差注意力机制模块和3-D残差注意力机制模块。
2-D残差注意力模块：本发明将注意力机制与残差模块集成在一起。与标准残差模块不同，本发明使用PReLU作为激活函数来引入更多的非线性和加速收敛：
第m个2-D残差注意力模块表示为：
Fm＝Hm(Fm-1)＝Hm(Hm-1(…H1(F0)…))；
其中，Hm(·)是第m个2-D残差注意力模块的函数，Fm和Fm-1分别表示第m个2-D残差注意力模块的输入和输出。通过2-D深度残差注意力网络，空间信息从原始RGB输入中被充分提取，从而恢复与真实的高光谱图像尽可能地一致的空间特征。但简单地堆叠重复的2-D残差注意力模块不一定会获得更好的性能，因此引入全局跳跃连接(GSC)来帮助训练本发明的深度网络。整个2-D深度残差注意力网络表示为：
F2DSF＝F0+WGSCFM；
其中WGSC表示2-D深度残差注意力网络的最后一个卷积层的权重参数，为简单起见，以上式子省略了偏置项。该全局跳跃连接不仅可以使得RGB图像中的大量低级信息到达深层网络，而且还可以避免深度网络中的梯度消失和梯度爆炸问题。
3-D残差注意力模块与2-D残差注意力模块一致，也使用PReLU作为激活函数，为3-D特征映射注入更多非线性。第m个模块中的3-D残差注意力模块表示为：
Gm＝Hm(Gm-1)＝Hm(Hm-1(…H1(G0)…))；
其中，Gm和Gm-1分别表示第m个3-D残差注意力模块的输入和输出，而Hm(·)表示第m个3-D残差注意力模块的函数。同样，3-D深度残差注意力网络也设计了全局残差连接(GRC)，使网络易于训练并获得良好表现。因此，将3-D深度残差注意力网络表示为：
G3DBF＝G0+WGRCGM；
其中WGRC是在3-D深度残差注意力网络尾部设置的3-D卷积层的权重，而G3DBF是基于3-D深度残差注意力网络所提取的深度波段特征。
4.构建具有结构张量约束的2-D–3-D深度残差混合注意力网络以及训练说明
以提出的差注意力机制模块为基础设计出具有结构张量约束的2-D–3-D深度残差混合注意力网络：首先使用单个卷积层从RGB输入中提取浅层特征；然后，叠加M个2-D残留注意力机制模块，形成一个深度特征的提取；通过尺寸变换以顺利地连接3-D深度残差混合注意力网络，进而用于深度波段特征的提取；最后，通过3-D卷积层进行重建，从而将尺寸更改为与真实高光谱图像相同；在训练过程中对RGB图像和数据集中进行64×64的采样对，训练过程中的详细参数设置如下：
]batch size：32
算法优化方式：Adam优化算法，一阶矩估计的指数衰减率β1＝0.9，二阶矩估计的指数衰减率β2＝0.99,∈＝10-8：
学习率lr＝0.0002
训练轮数epoch＝100。
5.模块有效性验证
本发明在BGUHS数据集上探索本发明的网络结构，训练以MRAE损失函数为基线方法的2-DCNN和3-DCNN的混合网络。基于基线方法，本发明首先引入注意机制，与基线方法相比，对于Clean赛道，引入注意机制可使MRAE降低9.23％，RMSE降低10.50％。对于RealWorld赛道，两个指标MRAE和RMSE的值也表明，产生了更好的结果。进一步引入结构张量约束，当本发明将结构张量作为MRAE损失函数的补充并建立空间高频细节约束时，MRAE和RMSE指标的明显下降，表明结构张量约束可以恢复更多的精细边缘信息。
6.结果比较
为说明本发明的优越性，将本发明与以下最先进的方法进行了比较，包括“H.Houand H.Andrews,“Cubic splines for image interpolation and digital filtering,”IEEE Trans.Acoust.,Speech,Signal Process.,vol.26,no.6,pp.508–517,Dec.1978.”、“B.Arad and O.Ben-Shahar,“Sparse recovery ofhyperspectral signal from naturalRGB images,”in Proc.Eur.Conf.Comput.Vis.Springer,2016,pp.19–34.”、“A.Alvarez-Gila,J.Van De Weijer,and E.Garrote,“Adversarial networks for spatial context-aware spectral image reconstruction from RGB,”in Proc.IEEEInt.Conf.Comput.Vis.Workshops(ICCVW),Oct.2017,pp.480–490.”、“Z.Shi,C.Chen,Z.Xiong,D.Liu,and F.Wu,“HSCNN+：Advanced CNN-based hyperspectral recovery fromRGB images,”in Proc.IEEE/CVF Conf.Comput.Vis.Pattern Recognit.Workshops(CVPRW),Jun.2018,pp.939–947.”、“L.Zhang et al.,“Pixel-aware deep function-mixture network for spectral super-resolution,”2019,arXiv：1903.10501.[Online].Available：http：//arxiv.org/abs/1903.10501”。最终结果在NTIRE2018光谱重建挑战赛的“干净”和“真实”轨道上，本发明的方法在MRAE和RMSE指标方面均达到了最先进的性能。在CAVE和Harvard数据集上，本发明的方法在RMSE、PSNR、SAM和SSIM指标方面均取得了最好的结果，如表格所示。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种RGB图像光谱重建方法，其特征在于，所述RGB图像光谱重建方法包括：
构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络；
构建残差注意力模块，包含多个2-D残差注意力模块和3-D残差注意力模块；
分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制；
结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，作为一个更精细的约束。
2.如权利要求1所述的RGB图像光谱重建方法，其特征在于，所述构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络具体包括五个阶段：浅层特征提取，基于2-D深度残差注意力网络的深层空间特征提取，中间特征尺寸变换，基于3-D深度残差注意力网络的深层波段特征提取以及重建阶段，给定IRGB∈N×C×L×W表示RGB输入，IHSI∈N×31×L×W表示混合2-D–3-D深度残差注意力网络的高光谱图像输出，L是长度，W是宽度，3或31是波段数目，通过一个卷积层从RGB输入IRGB中提取浅层特征F0，表示为：
F0＝HSF(IRGB)；
其中，HSF(·)表示浅层特征提取函数，将提取的浅层特征F0∈N×C×L×W输入2-D深度残差混合注意力机制网络，以进行深层空间特征提取，其中，C是特征图的通道数，得到：
F2DSF＝H2D-RAN(F0)；
其中H2D-RAN(·)代表提出的2-D深度残差注意力网络，由M个2-D残差注意力模块堆叠而成，将提取的深度空间特征F2DSF∈N×C×L×W通过一个2-D卷积层映射到波段数目为31的新特征，通过尺寸扩展操作将其扩展为N×1×31×L×W，采用了3-D卷积层来扩大特征图的通道数，3-D深度残差注意力网络输入特征的最终尺寸为N×C×31×L×W，三个操作组合为HIFDT(·)来表示中间特征尺寸的转换：
G0＝H1FDT(F2DSF)；
其中，G0表示3-D深度残差注意力网络的输入，接着，将G0用于深度波段特征提取：G3DBF＝H3D-RAN(G0)；
其中H3D-RAN(·)代表本发明提出的3-D深度残差注意力网络，该网络由M个3-D残差注意力模块组成，G3DBF的尺寸为N×C×31×L×W，最终的重建部分由3-D卷积层组成，从而将尺寸更改为N×1×31×L×W，并进行尺寸压缩操作以将形状压缩为N×31×L×W，与真实高光谱图像的尺寸相同：
IHSI＝HREC(G3DBF)＝HHDRAN(IRGB)；
其中HREC(·)和HHDRAN(·)分别表示最后的重构部分和混合2-D–3-D深度残差注意力网络。
3.如权利要求1所述的RGB图像光谱重建方法，其特征在于，所述构建残差注意力模块，该结构主要包含多个2-D残差注意力模块和3-D残差注意力模块具体包括：2-D残差注意力模块：将注意力机制与残差模块集成在一起，与标准残差模块不同，使用PReLU作为激活函数来引入更多的非线性和加速收敛：
第m个2-D残差注意力模块表示为：
Fm＝Hm(Fm-1)＝Hm(Hm-1(…H1(F0)…))；
其中，Hm(·)是第m个2-D残差注意力模块的函数，Fm和Fm-1分别表示第m个2-D残差注意力模块的输入和输出，通过2-D深度残差注意力网络，空间信息从原始RGB输入中被充分提取，恢复与真实的高光谱图像尽可能地一致的空间特征；引入全局跳跃连接(GSC)帮助训练的深度网络，整个2-D深度残差注意力网络表示为：
F2DSF＝F0+WGSCFM；
其中WGSC表示2-D深度残差注意力网络的最后一个卷积层的权重参数；
3-D残差注意力模块与2-D残差注意力模块一致，使用PReLU作为激活函数，为3-D特征映射注入更多非线性，第m个模块中的3-D残差注意力机制模块表示为：
Gm＝Hm(Gm-1)＝Hm(Hm-1(…H1(G0)…))；
其中，Gm和Gm-1分别表示第m个3-D残差注意力模块的输入和输出，而Hm(·)表示第m个3-D残差注意力模块的函数；同样，3-D深度残差注意力网络也设计了全局残差连接(GRC)，使网络易于训练并获得良好表现，将3-D深度残差注意力网络表示为：
G3DBF＝G0+WGRCGM；
其中WGRC是在3-D深度残差注意力网络尾部设置的3-D卷积层的权重，而G3DBF是基于3-D深度残差注意力网络所提取的深度波段特征。
4.如权利要求1所述的RGB图像光谱重建方法，其特征在于，所述分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制包括：在2-D深度残差混合注意力机制网络中引入2-D通道注意力机制，对于一个二维卷积层，特征输出为U∈RC×L×W，令U＝[u1，u2，…，uc]，其中每一项的尺寸为L×W，通过使用二维全局平均池化将通道维度的全局空间信息转换为通道描述符：
Z＝[z1，z2，…，zc](Z∈RC)；
z的第c个分量的计算公式为：
其中，H2DGAP(·)表示二维全局平均池化函数，而uc(i，j)是第c个特征图uc的位置(i，j)的响应，每个通道描述符代表具有全局感受野的特征统计，通过采用简单的门控机制，从二维全局平均池化聚合的信息中充分利用特征图之间的相互依赖性，门控机制应满足两个条件；首先，要学习通道特征之间的非线性相互作用；其次，与单次热激活相反，学习独立的非排斥关系，门控机制的形成如下：
s＝f(W2DDδ(W2DU(zc)))；
其中W2DD和W2DU分别表示不同2-D卷积层的权重集，W2DD以缩小率r降低特征图的通道尺寸，而W2DU以相同的增长率r还原为高维通道尺寸，f(·)和δ(·)分别是Sigmoid函数和PReLU激活函数；获得表示特征映射的重要性和相互依赖性的通道统计信息s，重新校准输入uc：
其中sc和uc分别表示第c个通道的比例系数和特征映射，利用这样的2-D通道注意力机制，自适应地重新校准2-D残差注意力块中的残差分量；
3-D波段注意力机制受益于3-D卷积中特征映射尺寸的增加，首先，3-D卷积层的输出由V＝[v1，v2，…，vC]表示，V中每一项的尺寸为L×W×B，且V∈RC×B×L×W，B表示波段数，B在本论文中等于31；同样使用全局平均池化操作将沿深度维度的3-D特征图压缩为波段描述符器Q＝[q1，q2，…，qC](Q∈RC×B)：
qC＝H3DGAP(vC)；
其中H3DGAP(·)是3-D全局平均池化函数，按照2-D通道注意力机制的设计，应用3-D版本的门控机制，该机制学习波段特征响应之间的非线性相互作用和独立的非排斥关系：
p＝f(W3DDδ(W3DU(qc)))；
类似于2-D通道注意力机制,其中W3DD和W3DU表示不同3-D卷积层的权重集，而f(·)和δ(·)分别是Sigmoid函数和PReLU激活函数；获得关于波段特征重要性和相互依赖性的波段统计信息p，重新调整输入vC：
其中pc和vc表示第c个通道的比例系数和特征图，注意pc∈RC×B。
5.如权利要求1所述的RGB图像光谱重建方法，其特征在于，所述结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，作为一个更精细的约束，给定二维图像I(x，y)，平移(Δx，Δy)产生的变化表示为：
其中(Δx，Δy)可以取值{(0，1)，(1，0)，(1，1)，(-1，1)}，而w表示移位窗口，接着用一阶泰勒级数I(x+Δx，y+Δy)＝I(x，y)+IxΔx+IyΔy+O(Δx2，Δy2)表示变化量tr为：
其中
和
分别表示梯度矢量的x方向分量和y方向分量，如果平移量很小，简化为：
t＝[Δx，Δy]S[Δx，Δy]T；
其中矩阵S表示结构张量，定义为：
由于该结构张量S是半定矩阵，分解为：
其中β1和β2是非负特征值，θ1和θ2是相应的特征向量，这两个非负特征值描述图像的空间结构信息；如果β1≈β2≈0，则表示平坦区域；如果β1＞β2≈0，则表示边缘区域，如果β1≥β2＞0，则表示拐角区域，由此得出，较大的特征值意味着图像的高频分量；对于图像的一个像素，结构张量矩阵J定义为：
其中
表示梯度算子，·表示矩阵乘法，损失函数为：
其中τ是预定义的参数，θ表示本发明网络的参数集，Pgt (n)和Prec (n)表示第n个像素值，Tgt (n)和Trec (n)分别表示地面真实情况和重建图像中第n个像素点的结构张量的大特征值，N是像素总数。根据实验结果，将τ设置为0.01。
6.如权利要求1所述的RGB图像光谱重建方法，其特征在于，所述RGB图像光谱重建方法还包括：使用均方根误差RMSE和平均相对绝对误差MRAE作为评价指标，计算MRAE和RMSE如下：
其中，Pgt (n)和Prec (n)分别表示真实和重构的高光谱图像的第n个像素值，N是像素总数。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络；
构建残差注意力模块，包含多个2-D残差注意力模块和3-D残差注意力模块；
分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制；
结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，作为一个更精细的约束。
8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络；
构建残差注意力模块，包含多个2-D残差注意力模块和3-D残差注意力模块；
分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制；
结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，作为一个更精细的约束。
9.一种实施权利要求1～6任意一项所述RGB图像光谱重建方法的RGB图像光谱重建系统，其特征在于，所述RGB图像光谱重建系统包括：
骨干网络构建模块，用于构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络；
残差注意力模块构建模块，用于构建残差注意力模块，该结构主要包含多个2-D残差注意力模块和3-D残差注意力模块；
注意力机制引入模块，用于分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制；
约束模块，用于结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，作为一个更精细的约束。
10.一种高光谱传感器，其特征在于，所述高光谱传感器安装有权利要求9所述的RGB图像光谱重建系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010815176.8A CN112116065A (zh) | 2020-08-14 | 2020-08-14 | 一种rgb图像光谱重建方法、系统、存储介质及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010815176.8A CN112116065A (zh) | 2020-08-14 | 2020-08-14 | 一种rgb图像光谱重建方法、系统、存储介质及应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112116065A true CN112116065A (zh) | 2020-12-22 |
Family
ID=73804089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010815176.8A Pending CN112116065A (zh) | 2020-08-14 | 2020-08-14 | 一种rgb图像光谱重建方法、系统、存储介质及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112116065A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112712520A (zh) * | 2021-01-18 | 2021-04-27 | 佛山科学技术学院 | 一种基于ARU-Net脉络膜层分割方法 |
| CN112990230A (zh) * | 2021-03-12 | 2021-06-18 | 西安电子科技大学 | 基于二阶段分组注意力残差机制的光谱图像压缩重建方法 |
| CN113256733A (zh) * | 2021-05-14 | 2021-08-13 | 四川大学 | 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法 |
| CN113537239A (zh) * | 2021-07-08 | 2021-10-22 | 宁波大学 | 一种基于全局关系感知注意力的高光谱图像波段选择方法 |
| CN113902622A (zh) * | 2021-11-08 | 2022-01-07 | 西北工业大学 | 基于深度先验联合注意力的光谱超分辨率方法 |
| CN114998109A (zh) * | 2022-08-03 | 2022-09-02 | 湖南大学 | 基于双rgb图像融合的高光谱成像方法、系统及介质 |
| CN115753691A (zh) * | 2022-08-23 | 2023-03-07 | 合肥工业大学 | 一种基于rgb重建高光谱的水质参数检测方法 |
| WO2023035878A1 (zh) * | 2021-09-10 | 2023-03-16 | 北京与光科技有限公司 | 光谱成像设备 |
| CN116563649A (zh) * | 2023-07-10 | 2023-08-08 | 西南交通大学 | 基于张量映射网络的高光谱图像轻量化分类方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675406A (zh) * | 2019-09-16 | 2020-01-10 | 南京信息工程大学 | 基于残差双注意力深度网络的ct图像肾脏分割算法 |
| CN111259982A (zh) * | 2020-02-13 | 2020-06-09 | 苏州大学 | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 |
-
2020
- 2020-08-14 CN CN202010815176.8A patent/CN112116065A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675406A (zh) * | 2019-09-16 | 2020-01-10 | 南京信息工程大学 | 基于残差双注意力深度网络的ct图像肾脏分割算法 |
| CN111259982A (zh) * | 2020-02-13 | 2020-06-09 | 苏州大学 | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| JIAOJIAO LI ET AL: "Hybrid 2-D–3-D Deep Residual Attentional Network With Structure Tensor Constraints for Spectral Super-Resolution of RGB Images", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING 》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112712520A (zh) * | 2021-01-18 | 2021-04-27 | 佛山科学技术学院 | 一种基于ARU-Net脉络膜层分割方法 |
| CN112990230A (zh) * | 2021-03-12 | 2021-06-18 | 西安电子科技大学 | 基于二阶段分组注意力残差机制的光谱图像压缩重建方法 |
| CN112990230B (zh) * | 2021-03-12 | 2023-05-09 | 西安电子科技大学 | 基于二阶段分组注意力残差机制的光谱图像压缩重建方法 |
| CN113256733B (zh) * | 2021-05-14 | 2022-05-20 | 四川大学 | 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法 |
| CN113256733A (zh) * | 2021-05-14 | 2021-08-13 | 四川大学 | 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法 |
| CN113537239A (zh) * | 2021-07-08 | 2021-10-22 | 宁波大学 | 一种基于全局关系感知注意力的高光谱图像波段选择方法 |
| WO2023035878A1 (zh) * | 2021-09-10 | 2023-03-16 | 北京与光科技有限公司 | 光谱成像设备 |
| CN113902622A (zh) * | 2021-11-08 | 2022-01-07 | 西北工业大学 | 基于深度先验联合注意力的光谱超分辨率方法 |
| CN113902622B (zh) * | 2021-11-08 | 2024-02-27 | 西北工业大学 | 基于深度先验联合注意力的光谱超分辨率方法 |
| CN114998109A (zh) * | 2022-08-03 | 2022-09-02 | 湖南大学 | 基于双rgb图像融合的高光谱成像方法、系统及介质 |
| CN115753691A (zh) * | 2022-08-23 | 2023-03-07 | 合肥工业大学 | 一种基于rgb重建高光谱的水质参数检测方法 |
| CN116563649A (zh) * | 2023-07-10 | 2023-08-08 | 西南交通大学 | 基于张量映射网络的高光谱图像轻量化分类方法及装置 |
| CN116563649B (zh) * | 2023-07-10 | 2023-09-08 | 西南交通大学 | 基于张量映射网络的高光谱图像轻量化分类方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112116065A (zh) | 一种rgb图像光谱重建方法、系统、存储介质及应用 | |
| Wei et al. | 3-D quasi-recurrent neural network for hyperspectral image denoising | |
| Tran et al. | Missing modalities imputation via cascaded residual autoencoder | |
| Wang et al. | Spectral–spatial multi-feature-based deep learning for hyperspectral remote sensing image classification | |
| Wen et al. | Image recovery via transform learning and low-rank modeling: The power of complementary regularizers | |
| Xie et al. | Deep convolutional networks with residual learning for accurate spectral-spatial denoising | |
| Xiong et al. | SMDS-Net: Model guided spectral-spatial network for hyperspectral image denoising | |
| Li et al. | Hybrid 2-D–3-D deep residual attentional network with structure tensor constraints for spectral super-resolution of RGB images | |
| CN108460749B (zh) | 一种高光谱与多光谱图像的快速融合方法 | |
| CN112669248B (zh) | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 | |
| CN104751162A (zh) | 基于卷积神经网络的高光谱遥感数据特征提取方法 | |
| Pan et al. | SQAD: Spatial-spectral quasi-attention recurrent network for hyperspectral image denoising | |
| He et al. | Spectral super-resolution meets deep learning: Achievements and challenges | |
| CN111696043A (zh) | 一种三维fsrcnn的高光谱图像超分辨率重建算法 | |
| Yuan et al. | Partial-DNet: A novel blind denoising model with noise intensity estimation for HSI | |
| Zhang et al. | A separation–aggregation network for image denoising | |
| Song et al. | Deep memory-augmented proximal unrolling network for compressive sensing | |
| Wu et al. | Hprn: Holistic prior-embedded relation network for spectral super-resolution | |
| Qin et al. | Deep ResNet based remote sensing image super-resolution reconstruction in discrete wavelet domain | |
| Zhou et al. | MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution | |
| Zou et al. | Cluster-based deep convolutional networks for spectral reconstruction from RGB images | |
| Zou et al. | Enhanced channel attention network with cross-layer feature fusion for spectral reconstruction in the presence of Gaussian noise | |
| CN109447009B (zh) | 基于子空间核范数正则化回归模型的高光谱图像分类方法 | |
| CN114862733A (zh) | 结合光谱解混先验和可学习退化约束的高光谱图像融合方法 | |
| Liu et al. | Diverse Hyperspectral Remote Sensing Image Synthesis With Diffusion Models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |