CN113781306B - 基于双阶段策略的高光谱图像超分辨率重建方法 - Google Patents
基于双阶段策略的高光谱图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN113781306B CN113781306B CN202111065548.0A CN202111065548A CN113781306B CN 113781306 B CN113781306 B CN 113781306B CN 202111065548 A CN202111065548 A CN 202111065548A CN 113781306 B CN113781306 B CN 113781306B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- hyperspectral image
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000003321 amplification Effects 0.000 claims abstract description 16
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000001228 spectrum Methods 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于双阶段策略的高光谱图像超分辨率重建方法。首先，对高光谱图像数据集进行训练集和测试集划分，并设置超分辨率放大因子，通过下采样和增强处理得到初始训练集；然后，构建粗处理网络模型，并进行训练，利用训练好的模型对测试集中的图像重建处理，得到一次重建图像；接着，调整超分辨率放大因子，通过下采样和增强处理得到新的初始训练集，重新训练粗处理网络，利用训练好的模型对测试集中的图像重建处理，得到二次重建图像；最后，利用两次重建图像计算重构误差，并基于重构误差计算得到最终的重建图像。本发明能够充分利用更多的邻近波段信息，缓解光谱扭曲，恢复更多丢失的细节信息，得到更好的超分辨重建高光谱图像。
Description
技术领域
本发明属计算机视觉、视频增强技术领域，具体涉及一种基于双阶段策略的高光谱图像超分辨率重建方法。
背景技术
高光谱成像系统从目标区采集数十至数百个光谱波段得到高光谱图像，在采集空间信息的同时，还获得了光谱信息，极大地提高了影像信息的丰富程度。因此，在矿产勘探、医疗诊断等领域得到了广泛的应用。然而，在实际应用中，光谱传感器的物理局限性往往阻碍了高分辨率高光谱图像的获取，影响了后续的高级任务分析与解译。为了解决这一问题，高光谱图像超分辨率重建技术应运而生，它的目的是将低分辨率高光谱图像恢复为高分辨率高光谱图像，以便更好、更准确地描述地物。
现有的高光谱图像超分辨率重建方法主要采用2D/3D卷积提取高光谱图像的特征。如Jiang等人在文献“J.Jiang,H.Sun,X.Liu,and J.Ma.Learning Spatial-SpectralPrior for Super-Resolution of Hyperspectral Imagery.IEEE Transactions onComputational Imaging,2020,6:1082-1096.”中公开了一种基于空间谱先验网络的高光谱影像超分辨率重建方法。该方法引入了空间光谱先验网络，采用2D卷积提取高光谱数据的空间信息，但该方法忽视了丰富的光谱信息，导致重建性能较差。Mei等人在文献“S.Mei,X.Yuan,J.Ji,Y.Zhang,S.Wang,and Q.Du.Hyperspectral Image Spatial Super-Resolution via 3D Full Convolutional Neural Network.Remote Sensing,2017,9(11):1139.”中公开了利用3D全卷积网络提取高光谱影像特征的方法。尽管该方法有效利用了光谱信息，但其在光谱域信息可提取时，缺乏对更多空间域信息的挖掘。Li等人在文献“Q.Li,Q.Wang,and X.Li.Mixed 2D/3D Convolutional Network for HyperspectralImage Super-Resolution,Remote Sensing,2020,12(10):1660.”中公开了一种基于混合2D/3D卷积的高光谱影像超分辨率重建方法。该方法试图在光谱内容可提取的条件下增加空间探索，通过共享空间信息来设计多个2D和3D卷积。但该方法采用并行结构进行特征提取，造成了模块冗余。
上述方法将高光谱图像整个输入到网络中，需要占用更多的GPU内存，在硬件资源有限的情况下，GPU内存仍然是制约设计更深网络的主要因素。针对该问题，Wang等人在文献“Q.Wang,Q.Li,and X.Li.Hyperspectral Image Super-Resolution Using Spectrumand Feature Context,IEEE Transactions on Industrial Electronics,2020”中提出了一个双通道超分辨重建模型。该方法通过2D和3D卷积，在深度分离模块的作用下，联合分析单波段和相邻波段的信息。与现有算法不同的是，该方法首先利用当前低分辨波段和相邻的两个低分辨波段重构当前波段，然后通过循环的方式得到整个高光谱图像。该方法只利用邻近的两个波段重建单个波段，没有充分利用相对当前波段索引较远的邻近波段，实现信息互补。此外，这种循环方式重建的高光谱图像会不可避免地造成更严重的光谱扭曲。
发明内容
为了克服现有技术的不足，本发明提供一种基于双阶段策略的高光谱图像超分辨率重建方法。首先，对高光谱图像数据集进行训练集和测试集划分，并设置高光谱图像超分辨率放大因子，通过下采样和增强处理，得到初始图像训练集；然后，构建粗处理网络模型，并进行训练，利用训练好的模型对测试集中下采样后低分辨高光谱图像进行超分辨率重建处理，得到一次重建图像；接着，调整超分辨率放大因子，通过下采样和增强处理，得到新的初始图像训练集，重新训练网络，利用训练好的模型对测试集中下采样后低分辨高光谱图像进行超分辨率重建处理，得到二次重建图像；最后，利用两次重建图像计算重构误差，并基于重构误差计算得到最终的重建图像。本发明充分利用更多的邻近波段信息，实现更深层次的信息互补，能够缓解光谱扭曲，恢复更多丢失的细节信息，使得边缘细节上更清晰，较好地改善高光谱图像的重建性能。
一种基于双阶段策略的高光谱图像超分辨率重建方法，其特征在于步骤如下：
步骤1，划分图像训练集与测试集：将高光谱图像数据集随机选取80％的样本作为训练集，其余的样本作为测试集；
步骤2，构建训练集：对步骤1训练集中每一幅高光谱图像进行16次随机裁剪，得到大小均为256×256的小块图像，利用双三次插值对裁剪后的小块图像进行下采样倍，下采样前后的小块图像构成低分辨与高分辨图像对；然后再对低分辨与高分辨图像对进行数据增强处理，增强处理后的图像对构成初始图像训练集；所述的数据增强处理包括图像水平翻转、图像旋转90°、图像旋转180°、图像旋转270°；所述的s为高光谱图像超分辨率放大因子，s为正整数且s≥2；
步骤3，构建粗处理网络模型：包括波段划分、组内融合、组间融合、波段重建四个模块，其中，波段划分模块将每个波段与其最近邻4个波段划分为3组；组内融合模块利用2D卷积对划分到同一组内的所有图像进行融合处理，由顺序连接的三个相同单元块组成，每个单元块的计算公式如下：
y＝f2D(frelu(f2D(x)))+x (1)
其中，y表示经单元块计算后生成的特征图，x表示输入单元块的特征图，f2D(·)为2D卷积操作，卷积层的卷积核大小为3×3，步长为1，frelu(·)为ReLU激活函数；
组间融合模块利用3D卷积将经组内融合模块处理后的特征图Fi进行融合处理，i＝1,2,3，其计算公式如下：
其中，U表示组间融合模块处理后生成的特征图，表示在空间维度进行3D卷积操作，其卷积核为1×3×3，步长为1，/>表示在光谱维度进行3D卷积操作，其卷积核为3×1×1，步长为1，V＝[F1,F2,F3]是组间融合模块的输入；
波段重建模块利用2D反卷积将组间融合后的特征图U进行上采样，卷积核为s×s，步长为s，得到重建后波段；
步骤4，模型训练：将步骤2得到的初始图像训练集输入到步骤3构建的粗处理网络模型进行训练，得到训练好的网络模型；其中，训练采用随机梯度下降法，优化器采用Adam，通过最小化损失函数训练网络参数，损失函数按下式进行计算：
其中，Loss表示损失函数，表示网络输出的重建后高光谱图像中第t个波段，表示高分辨高光谱图像中第t个波段，t＝1,2,…,L，L表示高光谱图像中波段的总数，||·||1为L1范数；
步骤5，生成超分辨率放大因子为s的初始的超分辨重建图像PSR：采用双三次插值对测试集中的每一幅图像下采样倍，得到低分辨高光谱图像ILR，将其输入到步骤4训练好的粗处理网络模型中，得到重建后的波段图像/>t＝1,2,…,L，其共同构成超分辨高光谱图像/>
步骤6，生成超分辨率放大因子为的初始的超分辨重建图像QSR：设置新的高光谱图像超分辨率放大因子/>用s′代替s，重复步骤2-4，完成对超分辨放大因子为s′的网络训练，然后，将步骤5中的低分辨高光谱图像ILR输入到训练好的粗处理网络模型中，得到重建后的波段/>t＝1,2,…,L，其共同构成超分辨高光谱图像/>
步骤7，计算重构误差：按照下式计算的重构误差e：
其中，arccos(·)表示反余弦函数，＜·,·＞为点积操作，||·||2表示L2范数，R(·,0.5)表示采用双三次插值对图像进行0.5倍下采样；
步骤8，图像重建：按照下式计算得到最终的重建图像ISR：
ISR＝R(e,2)+PSR (5)
其中，R(·,2)表示采用双三次插值对图像进行2倍上采样。
本发明的有益效果是：由于构建的粗处理网络模型利用更多的邻近波段信息，能够获得更多互补信息，提高模型在空间的特征学习能力，实现更深层次的信息互补，改善高光谱图像的重建性能；由于粗处理后又将整个高光谱图像作为输入，在光谱角约束下计算重构误差，进行细处理重建，能够显著缓解重建图像的光谱扭曲。
附图说明
图1是本发明基于双阶段策略的高光谱图像超分辨率重建方法流程图；
图2是本发明粗处理网络模型示意图；
图3是本发明基于光谱角约束的细处理重建过程示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
如图1所示，本发明提供了一种基于双阶段策略的高光谱图像超分辨率重建方法，其具体实现过程如下：
1、划分图像训练集与测试集
将高光谱图像数据集随机选取80％的样本作为训练集，其余的样本作为测试集。
2、构建训练集
对步骤1训练集中每一幅高光谱图像进行16次随机裁剪，得到大小均为256×256的小块图像，利用双三次插值对裁剪后的小块图像进行下采样倍，下采样后的图像和裁剪后的小块图像构成低分辨与高分辨图像对；然后再对低分辨与高分辨图像对进行数据增强处理，增强处理后的图像对构成初始图像训练集；所述的数据增强处理包括图像水平翻转、图像旋转90°、图像旋转180°、图像旋转270°；所述的s为高光谱图像超分辨率放大因子，s为正整数且s≥2；
3、构建粗处理网络模型
如图2所示，该模型包括波段划分、组内融合、组间融合、波段重建四个模块。
(1)波段划分模块：波段划分模块将每个波段与其最近邻4个波段划分为3组。比如，对于包含L个波段的高光谱图像ILR，其第t波段与邻近波段的4个波段可以表示如下：
将5个波段划分为3组，一组仅包含该波段第二组包含该波段/>和其最近邻2个波段，第三组为该波段/>和剩余2个近邻波段，即：
(2)组内融合模块：组内融合模块利用2D卷积对划分到同一组内的所有图像进行融合处理，由顺序连接的三个相同单元块组成，每个单元块的计算公式如下：
y＝f2D(frelu(f2D(x)))+x (10)
其中，y表示经单元块计算后生成的特征图，x表示输入单元块的特征图，f2D(·)为2D卷积操作，卷积层的卷积核大小为3×3，步长为1，frelu(·)为ReLU激活函数；
(3)组间融合模块：构建组间融合模块利用3D卷积将经组内融合模块处理后的每一组图像的特征图Fi进行融合处理，i＝1,2,3，其计算公式如下：
其中，U表示组间融合模块处理后生成的特征图，表示在空间维度进行3D卷积操作，其卷积核为1×3×3，步长为1，/>表示在光谱维度进行3D卷积操作，其卷积核为3×1×1，步长为1，V＝[F1,F2,F3]是组间融合模块的输入。
(4)波段重建模块：波段重建模块利用2D反卷积将组间融合后的特征图U进行上采样，卷积核为s×s，步长s，得到重建后波段。
4、模型训练
将步骤2得到的初始图像训练集输入到步骤3构建的粗处理网络模型进行训练，得到训练好的网络模型；其中，训练采用随机梯度下降法，优化器采用Adam，通过最小化损失函数训练网络参数，损失函数按下式进行计算：
其中，Loss表示损失函数，表示网络输出的重建后高光谱图像中第t个波段，表示原始高分辨高光谱图像中第t个波段，t＝1,2,…,L，||·||1为L1范数。
5、生成超分辨率放大因子为s的初始的超分辨重建图像PSR
采用双三次插值对测试集中的每一幅图像下采样倍得到低分辨高光谱图像ILR，将其输入到步骤4训练好的粗处理网络模型中，得到重建后的波段/>t∈{1,2,...,L}，将这些波段合成一幅超分辨高光谱图像PSR：
6、生成超分辨率放大因子为的初始的超分辨重建图像QSR
设置新的高光谱图像超分辨率放大因子用s′代替s，返回步骤2，直至步骤4，完成对超分辨放大因子为/>的网络训练。然后，将步骤5中的低分辨高光谱图像ILR输入到超分辨放大因子为/>的训练好的粗处理网络模型中，得到重建后的波段将这些波段合成一幅超分辨高光谱图像QSR：
7、计算重构误差和重建图像
如上的粗处理阶段，由于采用多个波段对单个波段进行重构，不可避免地会导致严重的光谱失真。针对这一问题，本发明设计了基于光谱角约束的细处理过程，如图3所示，先利用反向投影机制，在光谱角约束下计算重构误差e：
其中，arccos(·)表示反余弦函数，＜·,·＞为点积操作，||·||2表示L2范数，R(·,0.5)表示采用双三次插值对图像进行0.5倍下采样。
再将重构误差于与初步重建的高光谱图像进行加法运算，得到最终重建的图像ISR：
ISR＝R(e,2)+PSR (16)
其中，R(·,2)表示采用双三次插值对图像进行2倍上采样。
为验证本发明方法的有效性，在中央处理器i7-6800K 3.40GHz CPU、NVIDIA GeForce GTX 1080GPU、Ubuntu操作系统上，运用Python软件、PyTorch深度学习框架进行仿真实验，实验中采用的数据为高光谱公开数据集CAVE与Harvard。CAVE数据集含有32幅图像，每幅图像的尺寸大小为31×512×512；Harvard数据集含有71幅图像，每幅图像的尺寸大小为31×1392×1040。每个数据集选取80％的样本作为训练集，其余的作为测试集。
分别选取基于空间谱先验网络的高光谱影像超分辨率方法(SSPSR，“J.Jiang,H.Sun,X.Liu,and J.Ma.Learning Spatial-Spectral Prior for Super-Resolution ofHyperspectral Imagery.IEEE Transactions on Computational Imaging,2020,6:1082-1096.”)、基于3D全卷积的高光谱图像超分辨率方法(3D-FCNN，“S.Mei,X.Yuan,J.Ji,Y.Zhang,S.Wang,and Q.Du.Hyperspectral Image Spatial Super-Resolution via 3DFull Convolutional Neural Network.Remote Sensing,2017,9(11):1139.”)、基于混合2D/3D卷积的高光谱超分辨率方法(MCNet，“Q.Li,Q.Wang,and X.Li.Mixed 2D/3DConvolutional Network for Hyperspectral Image Super-Resolution,RemoteSensing,2020,12(10):1660.”)与基于光谱与特征上下文的高光谱图像超分辨率方法(SFCSR，“Q.Wang,Q.Li,and X.Li.Hyperspectral Image Super-Resolution UsingSpectrum and Feature Context,IEEE Transactions on Industrial Electronics,2020”)作为对比算法，并计算峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)、结构相似性(Structural SIMilarity，SSIM)、光谱角制图(Spectral Angle Mapper，SAM)来对比不同算法的效果。表1为超分辨率放大因子为4的计算结果。可以看出，本发明在两个数据集上的三个指标均明显优于其它算法，具有更好的高光谱图像超分辨率重建效果。
表1
Claims (1)
1.一种基于双阶段策略的高光谱图像超分辨率重建方法，其特征在于步骤如下：
步骤1，划分图像训练集与测试集：将高光谱图像数据集随机选取80％的样本作为训练集，其余的样本作为测试集；
步骤2，构建训练集：对步骤1训练集中每一幅高光谱图像进行16次随机裁剪，得到大小均为256×256的小块图像，利用双三次插值对裁剪后的小块图像进行下采样倍，下采样前后的小块图像构成低分辨与高分辨图像对；然后再对低分辨与高分辨图像对进行数据增强处理，增强处理后的图像对构成初始图像训练集；所述的数据增强处理包括图像水平翻转、图像旋转90°、图像旋转180°、图像旋转270°；所述的s为高光谱图像超分辨率放大因子，s为正整数且s≥2；
步骤3，构建粗处理网络模型：包括波段划分、组内融合、组间融合、波段重建四个模块，其中，波段划分模块将每个波段与其最近邻4个波段划分为3组；组内融合模块利用2D卷积对划分到同一组内的所有图像进行融合处理，由顺序连接的三个相同单元块组成，每个单元块的计算公式如下：
y＝f2D(frelu(f2D(x)))+x (1)
其中，y表示经单元块计算后生成的特征图，x表示输入单元块的特征图，f2D(·)为2D卷积操作，卷积层的卷积核大小为3×3，步长为1，frelu(·)为ReLU激活函数；
组间融合模块利用3D卷积将经组内融合模块处理后的特征图Fi进行融合处理，i＝1,2,3，其计算公式如下：
其中，U表示组间融合模块处理后生成的特征图，表示在空间维度进行3D卷积操作，其卷积核为1×3×3，步长为1，/>表示在光谱维度进行3D卷积操作，其卷积核为3×1×1，步长为1，V＝[F1,F2,F3]是组间融合模块的输入；
波段重建模块利用2D反卷积将组间融合后的特征图U进行上采样，卷积核为s×s，步长为s，得到重建后波段；
步骤4，模型训练：将步骤2得到的初始图像训练集输入到步骤3构建的粗处理网络模型进行训练，得到训练好的网络模型；其中，训练采用随机梯度下降法，优化器采用Adam，通过最小化损失函数训练网络参数，损失函数按下式进行计算：
其中，Loss表示损失函数，表示网络输出的重建后高光谱图像中第t个波段，/>表示高分辨高光谱图像中第t个波段，t＝1,2,…,L，L表示高光谱图像中波段的总数，||·||1为L1范数；
步骤5，生成超分辨率放大因子为s的初始的超分辨重建图像PSR：采用双三次插值对测试集中的每一幅图像下采样倍，得到低分辨高光谱图像ILR，将其输入到步骤4训练好的粗处理网络模型中，得到重建后的波段图像/>t＝1,2,…,L，其共同构成超分辨高光谱图像
步骤6，生成超分辨率放大因子为的初始的超分辨重建图像QSR：设置新的高光谱图像超分辨率放大因子/>用s′代替s，重复步骤2-4，完成对超分辨放大因子为s′的网络训练，然后，将步骤5中的低分辨高光谱图像ILR输入到训练好的粗处理网络模型中，得到重建后的波段/>t＝1,2,…,L，其共同构成超分辨高光谱图像/>
步骤7，计算重构误差：按照下式计算的重构误差e：
其中，arccos(·)表示反余弦函数，＜·,·＞为点积操作，||·||2表示L2范数，R(·,0.5)表示采用双三次插值对图像进行0.5倍下采样；
步骤8，图像重建：按照下式计算得到最终的重建图像ISR：
ISR＝R(e,2)+PSR (5)
其中，R(·,2)表示采用双三次插值对图像进行2倍上采样。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111065548.0A CN113781306B (zh) | 2021-09-09 | 2021-09-09 | 基于双阶段策略的高光谱图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111065548.0A CN113781306B (zh) | 2021-09-09 | 2021-09-09 | 基于双阶段策略的高光谱图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113781306A CN113781306A (zh) | 2021-12-10 |
| CN113781306B true CN113781306B (zh) | 2024-03-08 |
Family
ID=78843007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111065548.0A Active CN113781306B (zh) | 2021-09-09 | 2021-09-09 | 基于双阶段策略的高光谱图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113781306B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110428387A (zh) * | 2018-11-16 | 2019-11-08 | 西安电子科技大学 | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 |
| CN110880162A (zh) * | 2019-11-22 | 2020-03-13 | 中国科学技术大学 | 基于深度学习的快照光谱深度联合成像方法及系统 |
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN111696043A (zh) * | 2020-06-10 | 2020-09-22 | 上海理工大学 | 一种三维fsrcnn的高光谱图像超分辨率重建算法 |
| CA3148726A1 (en) * | 2019-09-05 | 2021-03-11 | Basf Se | System and method for identification of plant species |
-
2021
- 2021-09-09 CN CN202111065548.0A patent/CN113781306B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN110428387A (zh) * | 2018-11-16 | 2019-11-08 | 西安电子科技大学 | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 |
| CA3148726A1 (en) * | 2019-09-05 | 2021-03-11 | Basf Se | System and method for identification of plant species |
| CN110880162A (zh) * | 2019-11-22 | 2020-03-13 | 中国科学技术大学 | 基于深度学习的快照光谱深度联合成像方法及系统 |
| CN111696043A (zh) * | 2020-06-10 | 2020-09-22 | 上海理工大学 | 一种三维fsrcnn的高光谱图像超分辨率重建算法 |
Non-Patent Citations (1)
| Title |
|---|
| 面向图像超分辨率的紧凑型多径卷积神经网络算法研究;应自炉;商丽娟;徐颖;刘健;;信号处理;20180625(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113781306A (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112330542B (zh) | 基于crcsan网络的图像重建系统及方法 | |
| CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN111028146A (zh) | 基于双判别器的生成对抗网络的图像超分辨率方法 | |
| CN110288524B (zh) | 基于增强型上采样和辨别融合机制的深度学习超分辨率方法 | |
| CN111709882B (zh) | 基于亚像素卷积与特征分割的超分辨率融合的计算方法 | |
| CN114266957B (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
| CN113538246B (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN110111276B (zh) | 基于空-谱信息深度利用的高光谱遥感影像超分辨率方法 | |
| CN111652804A (zh) | 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法 | |
| CN115147271A (zh) | 一种用于光场超分辨率的多视图信息注意力交互网络 | |
| CN106097253A (zh) | 一种基于块旋转和清晰度的单幅图像超分辨率重建方法 | |
| CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
| Deng et al. | Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution | |
| CN114926337A (zh) | 基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及系统 | |
| CN114187181B (zh) | 基于残差信息精炼的双路径肺部ct图像超分辨率方法 | |
| Fan et al. | Global sensing and measurements reuse for image compressed sensing | |
| Wang et al. | Group shuffle and spectral-spatial fusion for hyperspectral image super-resolution | |
| Kannan et al. | Performance comparison of various levels of fusion of multi-focused images using wavelet transform | |
| CN113781306B (zh) | 基于双阶段策略的高光谱图像超分辨率重建方法 | |
| CN116681592A (zh) | 基于多尺度自适应非局部注意力网络的图像超分辨率方法 | |
| CN116563167A (zh) | 基于自适应纹理和频域感知的人脸图像重建方法、系统、装置及介质 | |
| CN116485654A (zh) | 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法 | |
| CN113077403B (zh) | 基于局部数据块的张量增强技术的彩色图像重建方法 | |
| CN114092327A (zh) | 一种利用异构知识蒸馏的高光谱图像超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |