CN113902622A - 基于深度先验联合注意力的光谱超分辨率方法 - Google Patents
基于深度先验联合注意力的光谱超分辨率方法 Download PDFInfo
- Publication number
- CN113902622A CN113902622A CN202111315307.7A CN202111315307A CN113902622A CN 113902622 A CN113902622 A CN 113902622A CN 202111315307 A CN202111315307 A CN 202111315307A CN 113902622 A CN113902622 A CN 113902622A
- Authority
- CN
- China
- Prior art keywords
- representing
- features
- module
- convolution
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001228 spectrum Methods 0.000 title claims abstract description 40
- 230000003595 spectral effect Effects 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000004913 activation Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000000750 progressive effect Effects 0.000 claims description 14
- 230000001131 transforming effect Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000002310 reflectometry Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- CMDLYHXLYMIGIH-UHFFFAOYSA-N C.S.S Chemical compound C.S.S CMDLYHXLYMIGIH-UHFFFAOYSA-N 0.000 description 6
- 238000000701 chemical imaging Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- BQMUWNMDGNVFNI-UHFFFAOYSA-N C.C.C.C.C.C.C.C.C.C.C Chemical compound C.C.C.C.C.C.C.C.C.C.C BQMUWNMDGNVFNI-UHFFFAOYSA-N 0.000 description 1
- DIQHTDHADJUONG-UHFFFAOYSA-N C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C Chemical compound C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C.C DIQHTDHADJUONG-UHFFFAOYSA-N 0.000 description 1
- MVORZMQFXBLMHM-QWRGUYRKSA-N Gly-His-Lys Chemical compound NCCCC[C@@H](C(O)=O)NC(=O)[C@@H](NC(=O)CN)CC1=CN=CN1 MVORZMQFXBLMHM-QWRGUYRKSA-N 0.000 description 1
- ZTPNVPPLIDWEGE-UHFFFAOYSA-N P.S.S Chemical compound P.S.S ZTPNVPPLIDWEGE-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于深度先验联合注意力的光谱超分辨率方法。首先，对给定数据训练集中的每一对RGB图像和高光谱图像RGB图像进行裁剪处理，构成训练数据集；然后，构建包括若干先验变换模块、卷积层及激活层的光谱超分辨率网络，并进行训练；最后，利用训练好的模型对测试集中的RGB图像进行光谱超分辨处理，获取对应的高光谱图像。本发明所设计的网络能够有效地利用高光谱图像自身的空间非局部自相似性及光谱相关性先验，并充分利用局部特征的互补性，使同一类别对象光谱分布更加一致，能够较好地改善RGB图像光谱超分辨率的性能。
Description
技术领域
本发明属图像处理技术领域，具体涉及一种基于深度先验联合注意力的光谱超分辨率方法。
背景技术
传统的高光谱成像系统往往通过牺牲空间分辨率和时间分辨率来获取高光谱分辨率的图像，导致其应用限制在对时间和空间分辨率要求不高的场合。而基于彩色相机的高光谱成像系统具有彩色相机成像空间分辨率高及耗时短的优势，能够有效弥补传统高光谱成像系统的缺点。光谱超分辨率技术旨在针对基于彩色相机的高光谱成像系统，由RGB图像重建得到高光谱图像。
目前的光谱超分辨率方法主要是通过构建引入通道注意力、残差结构和密集结构的深度卷积神经网络建立RGB图像与高光谱图像之间的映射。如Shi等人在文献“Z.Shi,C.Chen,Z.Xiong,D.Liu,and F.Wu,HSCNN+:Advanced CNN-based hyperspectralrecovery from RGB images.In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition Workshops,pp.939-947,2018.”中公开了一种先进基于CNN的高光谱恢复方法。该方法构建的网络由残差结构和密集结构堆叠而成，但由于该网络的特征提取能力有限，因此光谱重建性能相对较差。Li等人在文献“J.Li,C.Wu,R.Song,Y.Li,and F.Liu,Adaptive weighted attention network with camera spectralsensitivity prior for spectral reconstruction from RGB images.In Proceedingsof the IEEE/CVF Conference on Computer Vision and Pattern RecognitionWorkshops,pp.462-463,2020.”中公开了一种基于自适应加权注意力网络的光谱超分辨率方法。该方法引入了相机光谱灵敏度先验，同时提出了自适应加权通道注意力及二阶非局部模块，有效提升了特征的判别性，但是该方法未能有效利用高光谱图像的内在特性，限制了光谱恢复的精度。
发明内容
为了克服现有光谱超分辨率网络不能有效利用局部互补性上下文信息及高光谱图像内在属性，如空间非局部自相似性及光谱相关性的不足，本发明提出了一种基于深度先验联合注意力的光谱超分辨率方法。首先，对给定数据训练集中的每一对RGB图像和高光谱图像RGB图像进行裁剪处理，构成训练数据集；然后，构建包括若干先验变换模块、卷积层及激活层的光谱超分辨率网络，并进行训练；最后，利用训练好的模型对测试集中的RGB图像进行光谱超分辨处理，获取对应的高光谱图像。本发明所设计的网络能够有效地利用高光谱图像自身的空间非局部自相似性及光谱相关性先验，并充分利用局部特征的互补性，使同一类别对象光谱分布更加一致，能够较好地改善RGB图像光谱超分辨率的性能。
一种基于深度先验联合注意力的光谱超分辨率方法，其特征在于步骤如下：
步骤1，构建训练数据集和测试数据集：首先从给定数据集中提取训练集和测试集，然后将训练集中的每一对RGB图像和高光谱图像裁剪为64×64大小的图像，构成训练数据集，测试集中的RGB图像和高光谱图像不做裁剪直接作为测试数据集；
步骤2，构建光谱超分辨率网络模型：首先，依次构建多通道渐进卷积模块、光谱空间的伪联合注意力模块，然后，基于多通道渐进卷积模块和光谱空间的伪联合注意力模块构建先验变换模块，最后，基于先验变换模块构建深度先验联合注意力网络，即光谱超分辨率网络模型；
所述的多通道渐进卷积模块将输入特征按下式均分为g组：
其中，ei表示第i组特征，e1表示第一组特征，Ki(·)表示第i级函数处理操作，当i＝1,2,…,g-1时，每一级函数由一个3×3卷积层和一个激活层组成，最后一级函数为一个3×3卷积层；Pi表示经第i级函数处理后得到的第i组特征；⊙表示串接操作；
所述的光谱空间的伪联合注意力模块的处理过程如下：
步骤a：利用两个1×1卷积对输入特征进行变换和通道降维，然后利用平均池化计算由邻近像素组成的补丁的特征均值，并对池化后的特征进行变形，最后利用内积运算及归一化指数函数建模不同补丁之间的相关性，其计算公式如下：
A＝softmax(UTWθWφU) (2)
其中，A表示补丁间的相关性矩阵，U表示对输入特征平均池化和变形后得到的特征矩阵，Wθ表示对输入特征进行变换和通道降维的1×1卷积的权重一，Wφ表示对输入特征进行变换和通道降维的1×1卷积的权重二；
步骤b：利用上述两个1×1卷积的权重及其转置对输入特征进行变换，再对得到的特征进行全局平均池化，得到通道描述符，其计算公式如下：
其中，Z表示伪联合注意力模块的输入特征，Z＝[z1,z2,...,zc,zC]表示伪联合注意力模块利用上述两个1×1卷积的权重及其转置对输入特征进行变换后得到的特征，vc表示第c个通道的描述符，h表示输入特征的高度，w表示输入特征的宽度，C表示输入特征的通道数量；zc(i,j)表示zc的第i行j列元素；
步骤c：利用两个步长为7的1维卷积学习得到通道注意力，其计算公式如下：
其中，W1表示用于学习邻近通道相关性的步长为7的1维卷积的权重，W2表示用于获得通道注意力系数的步长为7的1维卷积的权重；
表示邻近通道描述符序列，
表示邻近通道相关性建模后的邻近通道描述符序列，k＝7表示步长，δ(·)表示修正线性单元函数，σ(·)表示sigmoid函数，yc表示第c个通道特征的注意力因子；
步骤d：利用展开和折叠操作计算得到伪联合注意力模块的输出特征，其计算公式如下：
Z＝Fold(Unflod(y*Z)A) (6)
其中，Unfold及Fold分别表示展开和折叠操作,y＝[y1,y2,...,yc,...yC]表示通道注意力因子序列，Z表示伪联合注意力模块最终输出的特征；
所述的先验变换模块采用双重残差结构，其计算公式如下：
q＝fLeakyReLU(f2D(fMPC(fLeakyReLU(fPJAM(f2D(x))+x)))+x) (7)
其中，x表示输入先验变换模块的特征图，q表示先验变换模块输出的特征图，fPJAM(·)表示光谱空间的伪联合注意力模块操作处理，fMPC(·)表示多通道渐进卷积模块操作处理，f2D(·)表示2D卷积操作处理，卷积层的核大小为3×3、步长为1，fLeakyReLU(·)为激活函数；
所述的深度先验联合注意力网络由若干先验变换模块、卷积层及激活层构成，首先由两个步长为1、核大小为3×3的2D卷积和两个激活层组成浅层特征提取函数，对输入图像进行特征提取，得到浅层特征；然后再利用8个先验变换模块对浅层特征依次递归变换得到深层特征，并利用一个步长为1、核大小为3×3的2D卷积对深层特征进行变换，引入全局残差将变换后的特征与浅层特征融合；最后得到的融合特征经激活层激活后，利用一个3×3卷积层由其重建高光谱图像，其计算公式如下：
其中，X表示输入的RGB图像，F0表示浅层特征，Fk表示第k个先验变换模块的输出，k＝1,2,...,8，F8表示第8个先验变换模块的输出，即深层特征，Y表示重建的高光谱图像；
步骤3，模型训练：将步骤1的图像训练集输入到步骤2构建的光谱超分辨率网络模型进行训练，得到训练好的网络；训练采用随机梯度下降算法，优化器采用Adam，通过最小化损失函数训练网络参数，损失函数按照下式进行计算：
其中，m表示输入图像的空间分辨率，b表示重建的高光谱图像波段数，Igtij表示真实图像第i个像素第j个波段的光谱反射率强度值，Irecij表示经网络处理后得到的重建图像第i个像素第j个波段的光谱反射率强度值，|Igt|＝m×b；
步骤4，图像重建：将测试数据集RGB图像输入到训练好的光谱超分辨率网络模型，模型输出即为其对应的高光谱图像。
本发明的有益效果是：所设计深度先验联合注意力网络由于在每一个先验变换模块均嵌入了光谱空间的伪联合注意力模块，因此能够充分利用图像自身内在先验属性，融合图像自相似区域特征，并增强光谱相关性，进而有效改善RGB图像的光谱超分辨率精度，光谱重建精度更高；由于采用了多通道渐进卷积设计，能够以相对较少的参数量实现局部大范围内的互补特征融合计算，能够有效降低模型的总参数量且增强邻近区域同一类别对象光谱的一致性。
附图说明
图1是本发明基于深度先验联合注意力的光谱超分辨率方法流程图；
图2是本发明深度先验联合注意力网络结构示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
如图1所示，本发明提供了一种基于深度先验联合注意力的光谱超分辨率方法，其具体实现过程如下：
1、构建训练数据集
首先从给定数据集中提取训练集和测试集，然后将训练集中的每一对RGB图像和高光谱图像裁剪为64×64大小的图像，构成训练数据集，测试集中的RGB图像和高光谱图像不做裁剪直接作为测试数据集。
2、构建光谱超分辨率网络模型
如图2所示，本发明构建了用于进行RGB图像光谱超分辨率处理的网络模型，能够重建得到其对应的高光谱图像。首先依次构建多通道渐进卷积模块、光谱空间的伪联合注意力模块，然后基于多通道渐进卷积模块和光谱空间的伪联合注意力模块构建先验变换模块，最后基于先验变换模块构建深度先验联合注意力网络，即光谱超分辨率网络模型。
(1)多通道渐进卷积模块
多通道渐进卷积模块将输入特征按下式均分为g组：
其中，ei表示第i组特征，e1表示第一组特征，Ki(·)表示第i级函数处理操作，当i＝1,2,…,g-1时，每一级函数由一个3×3卷积层和一个激活层组成，最后一级函数为一个3×3卷积层；Pi表示经第i级函数处理后得到的第i组特征；⊙表示串接操作。
(2)光谱空间的伪联合注意力模块
光谱空间的伪联合注意力模块包含基于补丁的稀疏非局部操作和通道注意力机制两部分。
基于补丁的稀疏非局部操作首先利用两个1×1卷积对输入特征进行变换和通道降维，然后利用平均池化计算由邻近像素组成的补丁的特征均值，并对池化后得到的特征进行变形，最后利用内积运算及归一化指数函数建模不同补丁之间的相关性，其计算公式如下：
A＝softmax(UTWθWφU) (11)
其中，A表示补丁间的相关性矩阵，U表示对输入特征平均池化和变形后得到的特征矩阵，Wθ表示对输入特征进行变换和通道降维的1×1卷积的权重，Wφ表示另一个对输入特征进行变换和通道降维的1×1卷积的权重。
光谱空间的伪联合注意力模块通过权重共享的方式将通道注意力机制嵌在非局部操作中。即利用上述两个1×1卷积的权重及其转置对输入特征进行变换，再对得到的特征进行全局平均池化，得到通道描述符，其计算公式如下：
其中，Z表示伪联合注意力模块的输入特征，Z＝[z1,z2,...,zc,...zC]表示伪联合注意力模块利用上述两个1×1卷积的权重及其转置对输入特征进行变换后得到的特征，vc表示第c个通道的描述符，h表示输入特征的高度，w表示输入特征的宽度，C表示输入特征的通道数量；zc(i,j)表示zc的第i行j列元素。
然后，利用两个步长k＝7的1×1卷积学习得到通道注意力，其计算公式如下：
其中，W1表示用于学习邻近通道相关性的步长为7的1维卷积的权重，W2表示用于获得通道注意力系数的步长为7的1维卷积的权重；
表示邻近通道描述符序列，
表示邻近通道相关性建模后的邻近通道描述符序列，δ(·)表示修正线性单元函数，σ(·)表示sigmoid函数，yc则表示第c个通道特征的注意力因子.
最后，通过结合通道注意力机制及基于补丁的稀疏非局部操作的输出计算伪联合注意力模块的输出，其计算公式如下：
Z＝Fold(Unflod(y*Z)A) (15)
其中，Unfold及Fold分别表示展开和折叠操作,y＝[y1,y2,...,yc,…yC]表示通道注意力因子序列，Z表示伪联合注意力模块最终输出的特征。
(3)先验变换模块
先验变换模块采用双重残差结构，其计算公式如下：
q＝fLeakyReLU(f2D(fMPC(fLeakyReLU(fPJAM(f2D(x))+x)))+x) (16)
其中，x表示输入先验变换模块的特征图，q表示先验变换模块输出的特征图，fPJAM(·)表示光谱空间的伪联合注意力模块操作处理，fMPC(·)表示多通道渐进卷积模块操作处理，f2D(·)表示2D卷积操作处理，卷积层的核大小为3×3、步长为1，fLeakyReLU(·)为激活函数。
(4)深度先验联合注意力网络
深度先验联合注意力网络由若干先验变换模块、卷积层及激活层构成，首先由两个步长为1、核大小为3×3的2D卷积和两个激活层组成浅层特征提取函数，对输入图像进行特征提取，得到浅层特征；然后再利用8个先验变换模块对浅层特征依次递归变换得到深层特征，并利用一个步长为1、核大小为3×3的2D卷积对深层特征进行变换，引入全局残差将变换后的特征与浅层特征融合；最后得到的融合特征经激活层激活后，利用一个3×3卷积层由其重建高光谱图像，其计算公式如下：
其中，X表示输入的RGB图像，F0表示浅层特征，Fk(k＝1,2,...8)表示第k个先验变换模块的输出，F8表示第8个先验变换模块的输出，即深层特征，Y表示重建的高光谱图像。
3、模型训练
将步骤1的图像训练集输入到步骤2构建的光谱超分辨率网络模型进行训练，得到训练好的网络；训练采用随机梯度下降算法，优化器采用Adam，通过最小化损失函数训练网络参数，损失函数按照下式进行计算：
其中，m表示输入图像的空间分辨率，b表示重建的高光谱图像波段数，
表示真实图像第i个像素第j个波段的光谱反射率强度值，
分别表示经网络处理后得到的重建图像第i个像素第j个波段的光谱反射率强度值，|Igt|(|Igt|＝m×b)是给定图像空间分辨率和高光谱图像包含的光谱波段数量的乘积。
4、图像重建
加载训练好的光谱超分辨率网络模型的权重，然后对测试数据集RGB图像进行前向预测，模型输出即其对应的高光谱图像。
为验证本发明的有效性，在在中央处理器
i7-6800K 3.40GHz CPU、NVIDIAGeForce GTX 1080GPU、Ubuntu操作系统上，运用Python软件、PyTorch深度学习框架进行仿真实验，实验中采用的数据集为NTIRE2020光谱重建挑战赛的数据集。NTIRE2020数据集包含两组基准，一组为已知相机光谱灵敏度函数的无噪声RGB图像光谱超分辨率基准，另一组为未知相机光谱灵敏度函数的模拟现实世界RGB图像光谱超分辨率基准。两组基准均包含450对RGB图像和高光谱图像用于训练，10对图像用于评价模型的性能，图像分辨率大小为482×512。
分别选取可学习的光谱超分辨率方法(“S.Galliani,C.Lanaras,D.Marmanis,E.Baltsavias,and K.Schindler,Learned spectral super-resolution,arXiv preprintarXiv:1703.09470,2017.”，记为方法1)、基于多尺度卷积神经网络的从RGB图像重建光谱的方法(“Y.Yan,L.Zhang,J.Li,W.Wei,and Y.Zhang,Accurate spectral super-resolution from single RGB image using multi-scale cnn,inProc.Chin.Conf.Pattern Recognit.Comput.Vis.,2018,pp.206–217.”，记为方法2)、基于卷积神经网络的从RGB图像重建光谱方法(“T.Stiebel,S.Koppers,P.Seltsam,andD.Merhof,Reconstructing spectral images from RGB-images using a convolutionalneural network,in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.Workshops,2018,pp.948–953.”，记为方法3)、基于多层级回归网络的从RGB图像重建光谱方法(“Y.Zhao,L.-M.Po,Q.Yan,W.Liu,and T.Lin,Hierarchical regression network for spectralreconstruction from RGB images,in Proc.IEEE Conf.Comput.Vis.PatternRecognit.Workshops,2020,pp.422–423.”，记为方法4)、考虑相机灵敏度先验的基于自适应加权注意力网络的从RGB图像重建光谱方法(“J.Li,C.Wu,R.Song,Y.Li,and F.Liu,Adaptive weighted attention network with camera spectral sensitivity priorfor spectral reconstruction from RGB images,in Proc.IEEEConf.Comput.Vis.Pattern Recognit.Workshops,2020,pp.462–463.”，记为方法5)作为对比方法，以平均相对绝对误差(MRAE)及均方根误差(RMSE)作为评价指标来说明不同方法的效果。表1为不同方法的两项指标的计算结果。可以看出，本发明明显优于其他方法，具有更好的光谱超分辨率效果。
表1
Claims (1)
1.一种基于深度先验联合注意力的光谱超分辨率方法，其特征在于步骤如下：
步骤1，构建训练数据集和测试数据集：首先从给定数据集中提取训练集和测试集，然后将训练集中的每一对RGB图像和高光谱图像裁剪为64×64大小的图像，构成训练数据集，测试集中的RGB图像和高光谱图像不做裁剪直接作为测试数据集；
步骤2，构建光谱超分辨率网络模型：首先，依次构建多通道渐进卷积模块、光谱空间的伪联合注意力模块，然后，基于多通道渐进卷积模块和光谱空间的伪联合注意力模块构建先验变换模块，最后，基于先验变换模块构建深度先验联合注意力网络，即光谱超分辨率网络模型；
所述的多通道渐进卷积模块将输入特征按下式均分为g组：
其中，ei表示第i组特征，e1表示第一组特征，Ki(·)表示第i级函数处理操作，当i＝1,2,…,g-1时，每一级函数由一个3×3卷积层和一个激活层组成，最后一级函数为一个3×3卷积层；Pi表示经第i级函数处理后得到的第i组特征；⊙表示串接操作；
所述的光谱空间的伪联合注意力模块的处理过程如下：
步骤a：利用两个1×1卷积对输入特征进行变换和通道降维，然后利用平均池化计算由邻近像素组成的补丁的特征均值，并对池化后的特征进行变形，最后利用内积运算及归一化指数函数建模不同补丁之间的相关性，其计算公式如下：
A＝softmax(UTWθWφU) (2)
其中，A表示补丁间的相关性矩阵，U表示对输入特征平均池化和变形后得到的特征矩阵，Wθ表示对输入特征进行变换和通道降维的1×1卷积的权重一，Wφ表示对输入特征进行变换和通道降维的1×1卷积的权重二；
步骤b：利用上述两个1×1卷积的权重及其转置对输入特征进行变换，再对得到的特征进行全局平均池化，得到通道描述符，其计算公式如下：
Z＝(WθWθ TZ+WφWφ TZ)/2 (3)
其中，Z表示伪联合注意力模块的输入特征，Z＝[z1,z2,...,zc,...zC]表示伪联合注意力模块利用上述两个1×1卷积的权重及其转置对输入特征进行变换后得到的特征，vc表示第c个通道的描述符，h表示输入特征的高度，w表示输入特征的宽度，C表示输入特征的通道数量；zc(i,j)表示zc的第i行j列元素；
步骤c：利用两个步长为7的1维卷积学习得到通道注意力，其计算公式如下：
其中，W1表示用于学习邻近通道相关性的步长为7的1维卷积的权重，W2表示用于获得通道注意力系数的步长为7的1维卷积的权重；
表示邻近通道描述符序列，
表示邻近通道相关性建模后的邻近通道描述符序列，k＝7表示步长，δ(·)表示修正线性单元函数，σ(·)表示sigmoid函数，yc表示第c个通道特征的注意力因子；
步骤d：利用展开和折叠操作计算得到伪联合注意力模块的输出特征，其计算公式如下：
Z＝Fold(Unflod(y*Z)A) (6)
其中，Unfold及Fold分别表示展开和折叠操作,y＝[y1,y2,...,yc,...yC]表示通道注意力因子序列，Z表示伪联合注意力模块最终输出的特征；
所述的先验变换模块采用双重残差结构，其计算公式如下：
q＝fLeakyReLU(f2D(fMPC(fLeakyReLU(fPJAM(f2D(x))+x)))+x) (7)
其中，x表示输入先验变换模块的特征图，q表示先验变换模块输出的特征图，fPJAM(·)表示光谱空间的伪联合注意力模块操作处理，fMPC(·)表示多通道渐进卷积模块操作处理，f2D(·)表示2D卷积操作处理，卷积层的核大小为3×3、步长为1，fLeakyReLU(·)为激活函数；
所述的深度先验联合注意力网络由若干先验变换模块、卷积层及激活层构成，首先由两个步长为1、核大小为3×3的2D卷积和两个激活层组成浅层特征提取函数，对输入图像进行特征提取，得到浅层特征；然后再利用8个先验变换模块对浅层特征依次递归变换得到深层特征，并利用一个步长为1、核大小为3×3的2D卷积对深层特征进行变换，引入全局残差将变换后的特征与浅层特征融合；最后得到的融合特征经激活层激活后，利用一个3×3卷积层由其重建高光谱图像，其计算公式如下：
其中，X表示输入的RGB图像，F0表示浅层特征，Fk表示第k个先验变换模块的输出，k＝1,2,...,8，F8表示第8个先验变换模块的输出，即深层特征，Y表示重建的高光谱图像；
步骤3，模型训练：将步骤1的图像训练集输入到步骤2构建的光谱超分辨率网络模型进行训练，得到训练好的网络；训练采用随机梯度下降算法，优化器采用Adam，通过最小化损失函数训练网络参数，损失函数按照下式进行计算：
其中，m表示输入图像的空间分辨率，b表示重建的高光谱图像波段数，
表示真实图像第i个像素第j个波段的光谱反射率强度值，
表示经网络处理后得到的重建图像第i个像素第j个波段的光谱反射率强度值，|Igt|＝m×b；
步骤4，图像重建：将测试数据集RGB图像输入到训练好的光谱超分辨率网络模型，模型输出即为其对应的高光谱图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111315307.7A CN113902622B (zh) | 2021-11-08 | 2021-11-08 | 基于深度先验联合注意力的光谱超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111315307.7A CN113902622B (zh) | 2021-11-08 | 2021-11-08 | 基于深度先验联合注意力的光谱超分辨率方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113902622A true CN113902622A (zh) | 2022-01-07 |
| CN113902622B CN113902622B (zh) | 2024-02-27 |
Family
ID=79193693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111315307.7A Active CN113902622B (zh) | 2021-11-08 | 2021-11-08 | 基于深度先验联合注意力的光谱超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113902622B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114841860A (zh) * | 2022-05-12 | 2022-08-02 | 西南民族大学 | 一种基于拉普拉斯金字塔网络的高光谱遥感图像超分辨率方法 |
| CN115601611A (zh) * | 2022-10-12 | 2023-01-13 | 武汉纺织大学（Cn） | 一种适应曝光变化的深度学习光谱重建方法及系统 |
| WO2024066118A1 (zh) * | 2022-09-27 | 2024-04-04 | 同济大学 | 基于rgb和高光谱图像融合的碎塑料和微塑料检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180308260A1 (en) * | 2015-10-19 | 2018-10-25 | National Ict Australia Limited | Spectral reconstruction |
| CN111429349A (zh) * | 2020-03-23 | 2020-07-17 | 西安电子科技大学 | 基于光谱约束对抗网络的高光谱图像超分辨率方法 |
| CN112116065A (zh) * | 2020-08-14 | 2020-12-22 | 西安电子科技大学 | 一种rgb图像光谱重建方法、系统、存储介质及应用 |
| CN112379379A (zh) * | 2020-11-10 | 2021-02-19 | 河南大学 | Tops sar系统的通道相位偏差估计方法和装置 |
| CN113222823A (zh) * | 2021-06-02 | 2021-08-06 | 国网湖南省电力有限公司 | 基于混合注意力网络融合的高光谱图像超分辨率方法 |
-
2021
- 2021-11-08 CN CN202111315307.7A patent/CN113902622B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180308260A1 (en) * | 2015-10-19 | 2018-10-25 | National Ict Australia Limited | Spectral reconstruction |
| CN111429349A (zh) * | 2020-03-23 | 2020-07-17 | 西安电子科技大学 | 基于光谱约束对抗网络的高光谱图像超分辨率方法 |
| CN112116065A (zh) * | 2020-08-14 | 2020-12-22 | 西安电子科技大学 | 一种rgb图像光谱重建方法、系统、存储介质及应用 |
| CN112379379A (zh) * | 2020-11-10 | 2021-02-19 | 河南大学 | Tops sar系统的通道相位偏差估计方法和装置 |
| CN113222823A (zh) * | 2021-06-02 | 2021-08-06 | 国网湖南省电力有限公司 | 基于混合注意力网络融合的高光谱图像超分辨率方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘雨心;王莉;张昊;: "基于分层注意力机制的神经网络垃圾评论检测模型", 计算机应用, no. 11, 19 July 2018 (2018-07-19) * |
| 王立国;毕天屹;石瑶;: "基于小波包的多尺度高光谱图像超分辨率网络", 黑龙江大学自然科学学报, no. 03, 25 June 2020 (2020-06-25) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114841860A (zh) * | 2022-05-12 | 2022-08-02 | 西南民族大学 | 一种基于拉普拉斯金字塔网络的高光谱遥感图像超分辨率方法 |
| WO2024066118A1 (zh) * | 2022-09-27 | 2024-04-04 | 同济大学 | 基于rgb和高光谱图像融合的碎塑料和微塑料检测方法 |
| CN115601611A (zh) * | 2022-10-12 | 2023-01-13 | 武汉纺织大学（Cn） | 一种适应曝光变化的深度学习光谱重建方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113902622B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728192B (zh) | 一种基于新型特征金字塔深度网络的高分遥感图像分类方法 | |
| CN110210313B (zh) | 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法 | |
| CN108596248B (zh) | 一种基于改进深度卷积神经网络的遥感影像分类方法 | |
| CN111080567B (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN113902622B (zh) | 基于深度先验联合注意力的光谱超分辨率方法 | |
| CN111126256B (zh) | 一种基于自适应空谱多尺度网络的高光谱图像分类方法 | |
| CN111429349B (zh) | 基于光谱约束对抗网络的高光谱图像超分辨率方法 | |
| CN111325165B (zh) | 考虑空间关系信息的城市遥感影像场景分类方法 | |
| CN108460391B (zh) | 基于生成对抗网络的高光谱图像无监督特征提取方法 | |
| CN113361485B (zh) | 基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法 | |
| CN110110596B (zh) | 高光谱图像特征提取、分类模型构建及分类方法 | |
| CN111985543A (zh) | 一种高光谱图像分类模型的构建方法、分类方法及系统 | |
| CN112184554A (zh) | 一种基于残差混合膨胀卷积的遥感图像融合方法 | |
| CN113486851A (zh) | 基于双分支光谱多尺度注意力网络的高光谱图像分类方法 | |
| CN108460749B (zh) | 一种高光谱与多光谱图像的快速融合方法 | |
| CN108182449A (zh) | 一种高光谱图像分类方法 | |
| CN109190511B (zh) | 基于局部与结构约束低秩表示的高光谱分类方法 | |
| He et al. | DsTer: A dense spectral transformer for remote sensing spectral super-resolution | |
| CN114862731B (zh) | 低秩先验与空谱信息引导的多-高光谱影像融合方法 | |
| CN115205147A (zh) | 一种基于Transformer的多尺度优化低照度图像增强方法 | |
| CN113705580A (zh) | 基于深度迁移学习的高光谱图像分类方法 | |
| CN113705641A (zh) | 基于富上下文网络的高光谱图像分类方法 | |
| CN111861906A (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
| CN115331104A (zh) | 一种基于卷积神经网络的农作物种植信息提取方法 | |
| CN110119805A (zh) | 基于回声状态网络分类的卷积神经网络算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |