CN115272078A - 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法 - Google Patents

基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法 Download PDF

Info

Publication number
CN115272078A
CN115272078A CN202210913605.4A CN202210913605A CN115272078A CN 115272078 A CN115272078 A CN 115272078A CN 202210913605 A CN202210913605 A CN 202210913605A CN 115272078 A CN115272078 A CN 115272078A
Authority
CN
China
Prior art keywords
spectrum
feature
space
image
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210913605.4A
Other languages
English (en)
Inventor
穆廷魁
汪文静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202210913605.4A priority Critical patent/CN115272078A/zh
Publication of CN115272078A publication Critical patent/CN115272078A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

一种基于多尺度空‑谱特征学习的高光谱图像超分辨率重建方法，建立高分辨率高光谱图像‑低分辨率高光谱图像图像对训练集，构建多尺度空‑谱特征学习网络，由浅层特征提取模块提取低分辨率高光谱图像的初始浅层特征图F0，MSIM基于F0得到多尺度浅层空‑谱特征图Fs；DPMSSFN采用级联的DPMSSFB提取不同接收域的残差特征，得到不同层次的空‑谱特征图F1,…,Fd,…,FD，特征融合模块将其融合得到深层空‑谱特征图Fr；图像重建模块基于F0和Fr得到重建的超分辨率图像；训练该多尺度空‑谱特征学习网络，得到的网络模型即可用于重建待修复的高光谱图像；本发明考虑了图像的浅层特征信息、深层空‑谱特征信息及光谱相关性，结果更加清晰。

Description

基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法
技术领域
本发明属于高光谱遥感图像技术领域，涉及高光谱图像超分辨率重建技术，特别涉及一种基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法，尤其涉及利用混合光谱注意力机制引导的多尺度特征学习的方法，充分利用浅层、深层多尺度空-谱信息的特点。本方法在公开数据集上得到良好的性能验证。
背景技术
由于成像光谱的快速发展和计算机的广泛应用，高光谱成像技术得到飞速发展，成为遥感领域技术中重要的地物识别、探测手段之一。高光谱成像系统可以获得连续数百个波段同一场景的图像。获得的高光谱图像是一个具有二维空间信息和一维光谱信息的三维数据立方体，因其精细且连续的光谱信息，具有很好的分辨力，通常被用于遥感、植被检测、灾害管理等领域。受制于传感器技术，增加图像的光谱分辨率需要增加传感器的瞬时视场以获得足够的光量子，才能满足可以接收的图像信噪比，而增大瞬时视场使相同传感器内获取的面积变大，高光谱图像的一个像元表示的地表范围更广。因此，高光谱图像采集设备在设计中需要对空间信息和光谱信息进行权衡，通常需要牺牲部分图像的空间内容保证高光谱图像的光谱通道数。而低空间分辨率无法提供详细的纹理特征，限制了高光谱图像的进一步应用，如小目标检测、变化检测等高级任务。通常通过改善硬件设施和利用算法提高图像的空间分辨率，但是通过改善硬件设施价格昂贵且对现有的工程技术有很高的要求。因此利用算法提升图像的空间分辨率已成为相关领域的主流技术。高光谱图像超分辨率技术主要的目的是从低空间分辨率的高光谱图像中恢复出高分辨的图像，且需要保证光谱不失真。近年来，深度学习的快速发展，尤其是卷积神经网络(CNN)因其强大的表征能力在图像处理领域显示了强大的潜力，为图像的超分辨率技术提供了新思路。现有的网络模型设计主要聚焦于如何挖掘和利用高光谱图像的空-谱信息，忽略了浅层特征信息的重要性和光谱间的相关性。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法，以解决现有算法中对高光谱图像空-谱信息挖掘利用不充分且忽略浅层信息的重要性和光谱间的相关性的问题。
为了实现上述目的，本发明采用的技术方案是：
一种基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法，包括如下步骤：
步骤1：获得图像训练集，所述图像训练集为高分辨率高光谱图像HR-低分辨率高光谱图像LR图像对；
步骤2：构建多尺度空-谱特征学习网络；所述多尺度空-谱特征学习网络结构由浅层特征提取模块、多尺度浅层空-谱特征提取模块MSIM、多尺度深层空-谱特征提取子网络DPMSSFN、特征融合模块和图像重建模块五部分组成；
所述浅层特征提取模块提取输入的低分辨率高光谱图像LR的初始浅层特征图F0；所述MSIM由多尺度浅层空-谱信息模块MSSSIM和注意力机制SE-Net组成，基于F0得到多尺度浅层空-谱特征图Fs；所述DPMSSFN由D个双路径多尺度深层空-谱特征提取模块DPMSSFB级联组成，采用级联的DPMSSFB实现对不同接收域的残差特征提取，得到不同层次的空-谱特征图F1,…,Fd,…,FD；所述特征融合模块将F1,…,Fd,…,FD融合得到深层空-谱特征图Fr；所述图像重建模块基于F0和Fr得到重建的超分辨率图像；
步骤3：将步骤1得到的训练集输入多尺度空-谱特征学习网络进行迭代监督训练，保存训练好的网络模型；
步骤4：将待修复的高光谱图像输入步骤3训练好的网络模型，得到重建后的高光谱图像超分辨图像。
在一个实施例中，所述步骤1，对高光谱图像进行双三次下采样，得到与之对应的低分辨率图像，对得到的每张低分辨率高光谱图像进行归一化，得到初步的HR-LR图像对，并对得到的HR-LR图像对进行数据增强。
在一个实施例中，所述浅层特征提取模块利用1个3×3×3的3D卷积层提取输入的低分辨率高光谱图像LR的初始浅层特征图F0。
在一个实施例中，所述MSSSIM首先利用1个3×3×3的3D卷积层提取F0的浅层空-谱特征得到浅层空-谱特征图F0′，然后将F0′进行reshape操作得到特征图F01，用3层不同大小卷积核的2D卷积层分别提取F01的多尺度空间特征，得到特征图F13,F25,F37，最后将F13,F25,F37结合，利用通道注意力机制进行通道权重调整，得到多尺度浅层空-谱特征图Fs。
在一个实施例中，所述浅层空-谱特征图F0′为5维，通过Reshape操作转换成4维，所述将F13,F25,F37结合，是将其在光谱维度进行叠加，并利用一个1×1×1的3D卷积层对光谱维度进行降维操作得到特征图Fss；所述通道注意力机制对特征图Fss进行通道权重调整，得到多尺度浅层空-谱特征图Fs。
在一个实施例中，每个DPMSSFB以双路径学习的方式学习空-谱特征信息和空间特征信息；其中空-谱特征信息学习支路由M个多尺度空-谱信息模块MSSSI组成，MSSSI以3D-Res2Net网络搭建混合光谱注意力机制组成，3D-Res2Net是将原始的Res2Net中的2D卷积用3D卷积替代，其网络结构能够将获取多尺度的空-谱特征信息；空间特征信息学习支路由N个2D卷积组成；所述DPMSSFB首先利用一个3×3×3的卷积层提取特征图Fm的空-谱特征得到特征图Fd,1，所述Fm由Fs和F0相加得到；其次，空-谱特征信息学习支路和空间特征信息学习支路分别对Fd,1提取特征信息得到空-谱特征图Fd,ms和空间特征图Fd,si，将Fd,ms和Fd,si在光谱维度进行concat连接操作，随后利用一个1×1×1的3D卷积层进行降维得到特征图Fd，该卷积操作同时将空-谱特征信息和空间信息进行融合，使两种特征信息进行互补。
在一个实施例中，所述3D-Res2Net首先由一个1×1×1的3D卷积层对Fd,1提取特征信息得到特征图Fd,1r；其次将特征图Fd,1r的光谱通道等量划分成X1,X2,X3,X4，X1无需经过任何操作得到特征图Y1；X2经过一个3×3×3的3D卷积层得到特征图Y2；将Y2与X3相加后经过一个3×3×3的3D卷积层得到特征图Y3；将Y3与X4相加后经过一个3×3×3的3D卷积层得到特征图Y4；将特征图Y1,Y2,Y3,Y4在光谱维度相加得到特征图Y，将输入的特征图Fd,1与Y相加得到特征图Fd,Y，并利用一个1×1×1的3D卷积层提取特征图Fd,Y的特征信息得到特征图Fd,1re。
在一个实施例中，所述混合光谱注意力机制，由全局平均池化GAP、1个1×1×1的3D卷积层、通道缩放等系列操作提取特征图Fd,1re的一阶统计特征得到特征图
Figure BDA0003774719120000041
由二阶协方差池化SOCP、1个1×1×1的3D卷积层、通道缩放等系列操作提取特征图Fd,1re的二阶光谱相关性特征得到特征图
Figure BDA0003774719120000042
将
Figure BDA0003774719120000043
和
Figure BDA0003774719120000044
在光谱维度进行concat连接操作，利用1个1×1×1的3D卷积层进行降维得到特征图Fd,1c，然后利用Sigmoid激活函数对Fd,1c进行激活，得到特征图
Figure BDA0003774719120000045
最后通过局部残差学习的方式，将输入的特征图Fd,1re与
Figure BDA0003774719120000046
相加，得到特征图Fd,ms。
在一个实施例中，所述特征融合模块，首先在光谱维度将级联的DPMSSFB输出的特征图F1,…,Fd,…,FD进行连接，随后利用1个1×1×1的3D卷积进行降维得到特征图Fc，利用3×3×3的卷积层对Fc进行特征提取得到特征图Fmc，引入通道注意力机制对特征图Fmc进行通道权重调整，优化和提高了特征信息的利用率，最大限度利用特征信息，得到融合后的特征图Fr。
在一个实施例中，所述图像重建模块的图像重建分为两个部分，首先是全局残差学习，采用长跳跃连接将初始浅层特征图F0和深层空-谱特征图Fr进行相加得到特征图Ff，对Ff进行上采样，然后利用反卷积将其放大，得到初步的重建超分辨率图像；其次，由于输入的低分辨率图像和初步重建的超分辨率图像差距太大，因此对输入的低分辨率图像进行Nearest插值得到特征图Fn，将Fn与初步重建的超分辨率图像相加得到最终的重建结果。
与现有技术相比，本发明的有益效果是：
本发明在进行高光谱图像超分辨率时，所设计的网络模型包括浅层特征提取模块、多尺度浅层空-谱特征提取模块、多尺度深层空-谱特征提取子网络、特征融合模块和重建模块五个部分；浅层特征提取模块对输入的低分辨率图像进行维度扩充和浅层的特征信息提取，多尺度浅层空-谱特征提取模块挖掘高光谱图像的多尺度浅层信息，多尺度深层空-谱特征提取子网络能够有效挖掘空-谱信息和挖掘光谱相邻信息，特征融合模块能够区别来自不同层次特征的信息更好的对特征信息进行融合；本发明提出的超分辨率模型充分考虑图像的浅层特征信息、深层空-谱信息及光谱相关性，更加高效，超分结果更加清晰。
附图说明
图1为本发明提出的流程图。
图2为本发明的提出的一种基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法总体框架。
图3是图2实施例中，多尺度浅层空-谱特征提取模块MSIM的示意图。
图4是图2实施例中，双路径多尺度深层空-谱特征提取模块DPMSSFB的示意图。
图5是图4实施例中，多尺度空-谱信息模块MSSSI的示意图。
图6是图2实施例中，特征融合模块的示意图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
如前所述，现有的高光谱图像重建技术，未关注到浅层特征信息的重要性和光谱间的相关性。为此，本发明的高光谱图像超分辨率重建方法设计了多尺度浅层特征提取模块，以充分利用浅层特征信息；设计的多尺度深层特征提取模块在现有的网络框架Res2Net上进行改进，加入了混合光谱注意力机制，在充分利用空-谱特征信息的同时关注光谱间的相关性。
如图1所示，本发明包括以下几个步骤；构建HR-LR对数据集，构建多尺度空-谱特征学习网络，训练模型，将待重建的高光谱图像输入训练好的模型，预测出超分辨率的高光谱图像。具体过程如下：
第一步，高分辨率-低分辨率图像对训练集的生成。本发明以高分辨率高光谱图像HR-低分辨率高光谱图像LR图像对为训练集。
根据现有的真实高光谱数据集，对高光谱图像进行双三次下采样，得到与之对应的低分辨率图像，对得到的每张低分辨率高光谱图像进行归一化，得到初步的HR-LR图像对；对得到的HR-LR图像对进行数据增强，包括缩放、旋转、镜像翻转等操作，以增强数据集。
在一个实施例中，首先对Chikusei高光谱影像数据集进行双三次下采样得到低分辨率的高光谱图像数据集，其次，对得到的HR-LR图像对进行数据增强，数据增强中的缩放包括1倍、0.75倍、0.5倍缩放，旋转包括90°、180°、270°，以及水平垂直镜像操作。
第二步，构建多尺度空-谱特征学习网络。
如图2所示，该网络结构主要包括浅层特征提取模块、多尺度浅层空-谱特征提取模块MSIM、多尺度深层空-谱特征提取子网络DPMSSFN、特征融合模块以及图像重建模块五个部分，也可仅由上述五个部分组成。
具体步骤如下：
(1)浅层特征提取模块提取输入的低分辨率高光谱图像LR的初始浅层特征图F0，将F0输入多尺度浅层空-谱特征提取模块MSIM，得到多尺度浅层空-谱特征图Fs，并可进一步得到多尺度浅层特征Fm；公式如下：
F0＝fConv3D,3(unsqueeze(ILR)) (1)
Fs＝HMSIM(F0) (2)
Fm＝HMSIM(F0)+F0 (3)
其中fConv3D,3(·)表示卷积核为3的3D卷积层，unsqueeze(·)表示将4维的特征图(B×H×W×C)转成5维(B×N×H×W×C)，B代表Batch-size，H、W代表图像的高和宽，C是波段数，HMSIM(·)表示MSIM模块。
(2)将Fm输入多尺度深层空-谱特征提取子网络DPMSSFN，DPMSSFN由D个双路径多尺度深层空-谱特征提取模块DPMSSFB级联组成，采用级联的DPMSSFB实现对不同接收域的残差特征提取，得到不同层次的空-谱特征图F1,…,Fd,…,FD。本实施例中，D＝4；第d个DPMSSFB块的输出Fd可以表示为：
Fd＝HDPMSSFB,d(HDPMSSFB,d-1(…HDPMSSFB,1(Fm)…)) (4)
其中HDPMSSFB,d(·)表示第d个DPMSSFB模块；
(3)将(2)中得到的4个特征图F1,F2,F3,F4输入到特征融合模块进行融合，得到深层空-谱特征图Fr，通过长跳跃连接将F0和Fr连接得到特征图Ff，此过程可以表示为：
Fr＝Hfusion([F1,F2,F3,F4]) (5)
Ff＝Fr+F0 (6)
其中Hfusion(·)表示特征融合模块；
(4)将(3)中融合后得到的特征图进行超分重建：
ISR＝squeeze(fConv3D(up(Ff)))+Fn (7)
其中squeeze(·)表示将5维(B×N×H×W×C)特征图转成4维(B×H×W×C)，up(·)表示上采样操作；Fn是输入的低分辨率图像经过Nearest操作得到的特征图。
(5)对(1)中的多尺度浅层空-谱特征提取模块MSIM进行说明，MSIM由多尺度浅层空-谱信息模块MSSSIM和通道注意力机制组成；如图3所示，具体为：
①输入的特征图F0首先由MSSSIM利用一个3×3×3的3D卷积层提取浅层空-谱信息得到5维的浅层空-谱特征图F0′，然后将F0′经过Reshape操作转换成4维，输入网络的下一层得到特征图F01；
F01＝reshape(fConv3D,3(F0)) (8)
②其次利用3个平行的不同大小卷积核的2D卷积层分别提取F01的多尺度空间特征，得到特征图F13,F25,F37，将得到的F1,3,F2,5,F3,7在光谱维度进行叠加，利用1个1×1×1的3D卷积层对光谱维度进行降维得到特征图Fss，最后利用通道注意力机制对特征图Fss进行光谱通道进行权重的调整，得到多尺度浅层空-谱特征图Fs。
Fs＝fse(fConv2D,k＝1(concat(F1,3,F2,5,F3,7))) (9)
其中，fse(·)为SE-Net操作，fConv2D,k＝1(·)为卷积核为1的2D卷积层，F1,3,F2,5,F3,7为3个平行的2D卷积层得到的特征图。
(6)本实施例中，三个不同大小的2D卷积层的卷积核分别设置为3、5、7，通道注意力机制设置为SE-Net。对(2)中的多尺度深层空-谱特征提取子网络DPMSSFN进行说明，在本实施例中，DPMSSFN由4个DPMSSFB块组成，DPMSSFB由3D卷积、2D卷积、MSSSI网络组成。每个DPMSSFB以双路径学习的方式学习空-谱特征信息和空间特征信息；如图4所示，具体为：
①DPMSSFB首先利用一个3×3×3的3D卷积层提取特征图Fm的空-谱特征得到特征图Fd,1，将Fd,1输入到网络的双路径学习框架；
Fd,1＝fConv3D,1(Fm) (10)
②空-谱特征信息学习支路由M个多尺度空-谱信息模块MSSSI组成，其对Fd,1提取特征信息得到空-谱特征图Fd,ms：
Fd,ms＝Hmsssi(Hmsssi(Fd,1)) (11)
其中，Hmsssi(·)表示MSSSI模块；空间特征信息学习支路由N个2D卷积组成，示例地，其卷积大小为3×3，对Fd,1提取特征信息得到空间特征图Fd,si：
Fd,si＝reshape(fConv2D,3(fConv2D,3(reshape(Fd,1)))) (12)
其中，fConv2D,3(·)表示卷积核大小为3的2D卷积层。
在本实施例中，M＝2，N＝2；
③将得到的Fd,ms和Fd,si在光谱维度进行concat连接操作，利用1个1×1×1的3D卷积层进行降维得到特征图Fd(也即，利用残差学习将初始特征相加)，该卷积操作同时将空-谱特征信息和空间信息进行融合，使两种特征信息进行互补。
Fd＝(fConv3D,1(concat([Fd,ms,Fd,si]))+Fd,1)+Fd-1 (13)
(7)本发明的MSSSI如图5所示，以3D-Res2Net网络搭建混合光谱注意力机制组成；将原始的Res2Net中的2D卷积层换成3D卷积层，被称为3D-Res2Net，将其作为多尺度光谱信息提取的基本框架，能够将获取多尺度的空-谱特征信息；具体为：
①首先利用3D-Res2Net对输入的特征进行提取；
Fd,1r＝H3D-Res2Net(Fd,1) (14)
其中，H3D-Res2Net(·)表示3D-Res2Net模块；
②对得到的特征图Fd,1r进行混合光谱注意力机制操作；
Fd,ms＝HHSAM(Fd,1r) (15)
其中，HHSAM(·)表示混合光谱注意力机制模块HSAM；
(8)本发明中，3D-Res2Net如图5所示，具体为：
①利用1个3×3×3的3D卷积层对特征图Fd,1进行特征提取得到特征图Fd,1r；
Fd,1r＝fConv3D,1(Fd,1) (16)
②将①得到的特征图Fd,1r的光谱通道进行等量划分，共分为为4个子集，每个子集的光谱通道数相同，定义为X1,X2,X3,X4，相应的特征图Y可由式(17)得到；
Figure BDA0003774719120000101
即，X1无需经过任何操作得到特征图Y1；X2经过一个3×3×3的3D卷积层得到特征图Y2；将Y2与X3相加后经过一个3×3×3的3D卷积层得到特征图Y3；将Y3与X4相加后经过一个3×3×3的3D卷积层得到特征图Y4。其中，σ表示ReLU激活函数。
③将Y1,Y2,Y3,Y4在光谱维度相加，得到特征图Y；将输入的特征图Fd,1与Y相加得到特征图Fd,Y；通过残差连接将Y与Fd,Y相加(即利用一个1×1×1的3D卷积层提取特征图Fd,Y的特征信息)，得到特征图Fd,1re；
Fd,1re＝fConv3D,1(concat[Yi])+Fd,1) (18)
(9)本发明的混合光谱注意力机制，如图5所示，由两个支路组成，分别探索一阶统计特征和二阶光谱相关性特征；一阶统计特征由全局平均池化GAP、3D卷积核和通道缩放操作探索，二阶光谱相关性特征由协方差池化SOCP、3D卷积核和通道缩放操作组探索；具体为：
①分别对特征图Fd,1re进行全局平均池化GAP和二阶协方差池化SOCP操作；其次分别利用1×1×1的3D卷积层对池化后的特征图进行特征提取；
Fd,1g＝fConv3D,1(GAP(Fd,1re)) (19)
Fd1,s＝fConv3D,1(SOCP(Fd,1re)) (20)
其中，GAP(·)表示全局平均池化操作，SOCP(·)表示二阶协方差池化操作；
②对①获得的特征图Fd,1g和Fd1,s分别利用通道注意力机制中的通道缩放操作获得通道的权重，分别得到Fd,1re的一阶统计特征图
Figure BDA0003774719120000102
和Fd,1re的二阶光谱相关性特征图
Figure BDA0003774719120000103
Figure BDA0003774719120000104
Figure BDA0003774719120000111
③将②获得的特征图
Figure BDA0003774719120000112
和
Figure BDA0003774719120000113
在通道维度进行concat连接操作，然后利用一个1×1×1的3D卷积层进行降维得到特征图Fd,1c；
Figure BDA0003774719120000114
④将③获得的特征图Fd,1c利用sigmoid激活函数进行激活得到特征图
Figure BDA0003774719120000115
再将输入的特征图Fd,1re与激活后的特征图
Figure BDA0003774719120000116
进行残差连接，得到输出的特征图为：
Figure BDA0003774719120000117
Figure BDA0003774719120000118
其中，δ表示sigmoid激活函数；
(10)对(3)中的特征融合模块进行说明，将来自DPMSSFB的特征图F1,F2,F3,F4进行融合得到深层空-谱特征图Fr，其网络结构由3D卷积、2D卷积组成，如图6所示，具体为：
①将不同层次的特征图F1,F2,F3,F4在光谱维度进行拼接，然后利用一个1×1×1的3D卷积层进行降维得到特征图Fc：
Fc＝fConv3D,1(concat[F1,F2,F3,F4]) (26)
②利用一个3×3×3的卷积层对Fc进行特征提取得到特征图Fmc：
Fmc＝fConv3D,3(Fc) (27)
③引入通道注意力机制，对特征图Fmc利用通道缩放操作获得不同通道的权重，优化和提高了特征信息的利用率，最大限度利用特征信息。最后利用残差连接将第①步的到的特征图Fc进行连接，得到融合后的特征图Fr：
Figure BDA0003774719120000119
(11)对(3)中的图像重建模块进行说明，本发明图像重建模块的图像重建分为两个部分：
①首先是全局残差学习，采用长跳跃连接将初始浅层特征图F0和深层空-谱特征图Fr进行相加得到特征图Ff；对特征图Ff进行上采样，然后利用反卷积将其放大，再进行squeeze操作，得到初步的重建超分辨率图像ICSR；
Ff＝F0+Fr (29)
ICSR＝squeeze(fConv3D(up(Ff)) (30)
②由于输入的低分辨率图像和初步重建的超分辨率图像差距太大，因此对输入的低分辨率高光谱图像进行Nearest插值得到特征图Fn，将Fn与初步重建的超分辨率图像相加得到最终的重建结果；可表示为：
ISR＝ICSR+Fn (31)
第三步，训练多尺度空-谱特征学习网络，具体步骤如下：
(1)将第一步中数据增强后的高分辨率-低分辨率图像对数据集输入多尺度空-谱特征学习超分网络模型中；
(2)将网络最终的输出值与高分辨率高光谱图像即Ground-Truth进行比较，计算两者之间的误差，本发明具体实施时，所述的损失函数如下：
Ltotal＝L1+αLSSTV (32)
所述第一项损失函数用于减少像素损失，所述第二项光谱约束函数用于抑制光谱失真，α是用来平衡两个损失贡献的一个因子，在一个实施例中，将其设置为一个常数，α＝1×10-3；
所述第一项损失函数为L1损失，可以表述为：
Figure BDA0003774719120000121
Figure BDA0003774719120000122
和
Figure BDA0003774719120000123
是Ground-Truth和重建的高光谱图像，N是训练batch的数目；
所述第二项损失函数可表示为：
Figure BDA0003774719120000131
其中
Figure BDA0003774719120000132
和
Figure BDA0003774719120000133
分别是重建图像
Figure BDA0003774719120000134
的水平、垂直和光谱梯度。
(3)设置滤波器数量、batch-size、epoch、学习率，采用Adaptive momentestimation ADAM优化器，梯度下降算法更新各层的参数，不断优化整个网络；
在一个实施例中，采用Chikusei数据集，将滤波器数量设置为32，batch-size设置为4，epoch设置为200，初始学习率设置为1×10-4，设置ADAM优化器β1＝0.9，β2＝0.999；
第四步，将待重建的高光谱图像输入训练好的多尺度空-谱特征学习网络模型，预测出超分辨率的高光谱图像。
不同算法间PSNR、SSIM、SAM、RMSE、ERGAS、UIQI评价指标定量评估结果分析如下表所示：
表1 Chikusei数据集4倍超分辨定量评估结果
Figure BDA0003774719120000135
定量评估指标PSNR、SSIM、UIQI三个指标值越大越好，SAM、RMSE、ERGAS三个指标值越小越好。表1中加粗字体表明最好的结果，斜体表明第二好的结果。由表1可以看出，本发明的算法在Chikusei数据集上六个评估指标均取得了最好的结果。说明，本发明的算法在提高高光谱图像空间分辨率的同时还获得了良好的光谱保真度。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (10)

1.一种基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法，其特征在于，包括如下步骤：
步骤1：获得图像训练集，所述图像训练集为高分辨率高光谱图像HR-低分辨率高光谱图像LR图像对；
步骤2：构建多尺度空-谱特征学习网络；所述多尺度空-谱特征学习网络结构由浅层特征提取模块、多尺度浅层空-谱特征提取模块MSIM、多尺度深层空-谱特征提取子网络DPMSSFN、特征融合模块和图像重建模块五部分组成；
所述浅层特征提取模块提取输入的低分辨率高光谱图像LR的初始浅层特征图F0；所述MSIM由多尺度浅层空-谱信息模块MSSSIM和通道注意力机制组成，基于F0得到多尺度浅层空-谱特征图Fs；所述DPMSSFN由D个双路径多尺度深层空-谱特征提取模块DPMSSFB级联组成，采用级联的DPMSSFB实现对不同接收域的残差特征提取，得到不同层次的空-谱特征图F1,…,Fd,…,FD；所述特征融合模块将F1,…,Fd,…,FD融合得到深层空-谱特征图Fr；所述图像重建模块基于F0和Fr得到重建的超分辨率图像；
步骤3：将步骤1得到的训练集输入多尺度空-谱特征学习网络进行迭代监督训练，保存训练好的网络模型；
步骤4：将待修复的高光谱图像输入步骤3训练好的网络模型，得到重建后的高光谱图像超分辨图像。
2.根据权利要求1所述基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法，其特征在于，所述步骤1，对高光谱图像进行双三次下采样，得到与之对应的低分辨率图像，对得到的每张低分辨率高光谱图像进行归一化，得到初步的HR-LR图像对，并对得到的HR-LR图像对进行数据增强。
3.根据权利要求1所述基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法，其特征在于，所述浅层特征提取模块利用1个3×3×3的3D卷积层提取输入的低分辨率高光谱图像LR的初始浅层特征图F0。
4.根据权利要求1所述基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法，其特征在于，所述MSSSIM首先利用1个3×3×3的3D卷积层提取F0的浅层空-谱特征得到浅层空-谱特征图F0′，然后将F0′进行reshape操作得到特征图F01，用3层不同大小卷积核的2D卷积层分别提取F01的多尺度空间特征，得到特征图F13,F25,F37，最后将F13,F25,F37结合，利用通道注意力机制进行通道权重调整，得到多尺度浅层空-谱特征图Fs。
5.根据权利要求4所述基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法，其特征在于，所述浅层空-谱特征图F0′为5维，通过Reshape操作转换成4维，所述将F13,F25,F37结合，是将其在光谱维度进行叠加，并利用一个1×1×1的3D卷积层对光谱维度进行降维操作得到特征图Fss；所述SE-Net对特征图Fss进行通道权重调整，得到多尺度浅层空-谱特征图Fs。
6.根据权利要求1所述基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法，其特征在于，每个DPMSSFB以双路径学习的方式学习空-谱特征信息和空间特征信息；其中空-谱特征信息学习支路由M个多尺度空-谱信息模块MSSSI组成，MSSSI以3D-Res2Net网络搭建混合光谱注意力机制组成，3D-Res2Net是将原始的Res2Net中的2D卷积用3D卷积替代，其网络结构能够将获取多尺度的空-谱特征信息；空间特征信息学习支路由N个2D卷积组成；所述DPMSSFB首先利用一个3×3×3的卷积层提取特征图Fm的空-谱特征得到特征图Fd,1，所述Fm由Fs和F0相加得到；其次，空-谱特征信息学习支路和空间特征信息学习支路分别对Fd,1提取特征信息得到空-谱特征图Fd,ms和空间特征图Fd,si，将Fd,ms和Fd,si在光谱维度进行concat连接操作，随后利用一个1×1×1的3D卷积层进行降维得到特征图Fd，该卷积操作同时将空-谱特征信息和空间信息进行融合，使两种特征信息进行互补。
7.根据权利要求6所述基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法，其特征在于，所述3D-Res2Net首先由一个1×1×1的3D卷积层对Fd,1提取特征信息得到特征图Fd,1r；其次将特征图Fd,1r的光谱通道等量划分成X1,X2,X3,X4，X1无需经过任何操作得到特征图Y1；X2经过一个3×3×3的3D卷积层得到特征图Y2；将Y2与X3相加后经过一个3×3×3的3D卷积层得到特征图Y3；将Y3与X4相加后经过一个3×3×3的3D卷积层得到特征图Y4；将特征图Y1,Y2,Y3,Y4在光谱维度相加得到特征图Y，将输入的特征图Fd,1与Y相加得到特征图Fd,Y，并利用一个1×1×1的3D卷积层提取特征图Fd,Y的特征信息得到特征图Fd,1re。
8.根据权利要求7所述基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法，其特征在于，所述混合光谱注意力机制，由全局平均池化GAP、1个1×1×1的3D卷积层、通道缩放等系列操作提取特征图Fd,1re的一阶统计特征得到特征图
Figure FDA0003774719110000031
由二阶协方差池化SOCP、1个1×1×1的3D卷积层、通道缩放等系列操作提取特征图Fd,1re的二阶光谱相关性特征得到特征图
Figure FDA0003774719110000032
将
Figure FDA0003774719110000033
和
Figure FDA0003774719110000034
在光谱维度进行concat连接操作，利用1个1×1×1的3D卷积层进行降维得到特征图Fd,1c，然后利用Sigmoid激活函数对Fd,1c进行激活，得到特征图
Figure FDA0003774719110000035
最后通过局部残差学习的方式，将输入的特征图Fd,1re与
Figure FDA0003774719110000036
相加，得到特征图Fd,ms。
9.根据权利要求1所述基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法，其特征在于，所述特征融合模块，首先在光谱维度将级联的DPMSSFB输出的特征图F1,…,Fd,…,FD进行连接，随后利用1个1×1×1的3D卷积进行降维得到特征图Fc，利用3×3×3的卷积层对Fc进行特征提取得到特征图Fmc，引入通道注意力机制对特征图Fmc进行通道权重调整，优化和提高了特征信息的利用率，最大限度利用特征信息，得到融合后的特征图Fr。
10.根据权利要求1所述基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法，其特征在于，所述图像重建模块的图像重建分为两个部分，首先是全局残差学习，采用长跳跃连接将初始浅层特征图F0和深层空-谱特征图Fr进行相加得到特征图Ff，对Ff进行上采样，然后利用反卷积将其放大，得到初步的重建超分辨率图像；其次，由于输入的低分辨率图像和初步重建的超分辨率图像差距太大，因此对输入的低分辨率图像进行Nearest插值得到特征图Fn，将Fn与初步重建的超分辨率图像相加得到最终的重建结果。
CN202210913605.4A 2022-08-01 2022-08-01 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法 Pending CN115272078A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210913605.4A CN115272078A (zh) 2022-08-01 2022-08-01 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210913605.4A CN115272078A (zh) 2022-08-01 2022-08-01 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN115272078A true CN115272078A (zh) 2022-11-01

Family

ID=83746377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210913605.4A Pending CN115272078A (zh) 2022-08-01 2022-08-01 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN115272078A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452420A (zh) * 2023-04-11 2023-07-18 南京审计大学 一种基于Transformer与CNN分组融合的高光谱图像超分辨方法
CN116990243A (zh) * 2023-09-26 2023-11-03 湖南大学 一种基于gap框架的轻量化注意力高光谱计算重构方法
CN117036162A (zh) * 2023-06-19 2023-11-10 河北大学 轻量级胸部ct图像超分辨率的残差特征注意力融合方法
CN117437123A (zh) * 2023-09-27 2024-01-23 宁波大学 一种光谱与纹理注意力融合的深度光谱超分辨率方法
CN117726548A (zh) * 2024-02-05 2024-03-19 南京信息工程大学 一种基于跨模态特征注意力交互的全色锐化方法
CN117726548B (zh) * 2024-02-05 2024-05-10 南京信息工程大学 一种基于跨模态特征注意力交互的全色锐化方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452420A (zh) * 2023-04-11 2023-07-18 南京审计大学 一种基于Transformer与CNN分组融合的高光谱图像超分辨方法
CN116452420B (zh) * 2023-04-11 2024-02-02 南京审计大学 一种基于Transformer与CNN分组融合的高光谱图像超分辨方法
CN117036162A (zh) * 2023-06-19 2023-11-10 河北大学 轻量级胸部ct图像超分辨率的残差特征注意力融合方法
CN117036162B (zh) * 2023-06-19 2024-02-09 河北大学 轻量级胸部ct图像超分辨率的残差特征注意力融合方法
CN116990243A (zh) * 2023-09-26 2023-11-03 湖南大学 一种基于gap框架的轻量化注意力高光谱计算重构方法
CN116990243B (zh) * 2023-09-26 2024-01-19 湖南大学 一种基于gap框架的轻量化注意力高光谱计算重构方法
CN117437123A (zh) * 2023-09-27 2024-01-23 宁波大学 一种光谱与纹理注意力融合的深度光谱超分辨率方法
CN117726548A (zh) * 2024-02-05 2024-03-19 南京信息工程大学 一种基于跨模态特征注意力交互的全色锐化方法
CN117726548B (zh) * 2024-02-05 2024-05-10 南京信息工程大学 一种基于跨模态特征注意力交互的全色锐化方法

Similar Documents

Publication Publication Date Title
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN115272078A (zh) 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法
Liu et al. A spectral grouping and attention-driven residual dense network for hyperspectral image super-resolution
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN111179167A (zh) 一种基于多阶段注意力增强网络的图像超分辨方法
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN113327218A (zh) 一种基于级联网络的高光谱与全色图像融合方法
CN109801218B (zh) 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法
CN116152120B (zh) 一种融合高低频特征信息的低光图像增强方法及装置
Yang et al. License plate image super-resolution based on convolutional neural network
CN111696043A (zh) 一种三维fsrcnn的高光谱图像超分辨率重建算法
CN114266957A (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
Liu et al. An efficient unfolding network with disentangled spatial-spectral representation for hyperspectral image super-resolution
CN114937202A (zh) 一种双流Swin Transformer遥感场景分类方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
Dong et al. Real-world remote sensing image super-resolution via a practical degradation model and a kernel-aware network
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
Dong et al. Feature Pyramid Fusion Network for Hyperspectral Pansharpening
Wang et al. Underwater image super-resolution using multi-stage information distillation networks
CN112184552B (zh) 一种基于高频特征学习的子像素卷积图像超分辨方法
CN113744134A (zh) 基于光谱解混卷积神经网络的高光谱图像超分辨方法
CN115731141A (zh) 面向机动目标动态监测的天基遥感图像时空融合方法
CN117474781A (zh) 一种基于注意力机制的高光谱与多光谱图像融合方法
CN117058009A (zh) 一种基于条件扩散模型的全色锐化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination