CN113222823A - 基于混合注意力网络融合的高光谱图像超分辨率方法 - Google Patents

基于混合注意力网络融合的高光谱图像超分辨率方法 Download PDF

Info

Publication number
CN113222823A
CN113222823A CN202110614272.0A CN202110614272A CN113222823A CN 113222823 A CN113222823 A CN 113222823A CN 202110614272 A CN202110614272 A CN 202110614272A CN 113222823 A CN113222823 A CN 113222823A
Authority
CN
China
Prior art keywords
resolution
image
hyperspectral image
super
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110614272.0A
Other languages
English (en)
Other versions
CN113222823B (zh
Inventor
李化旭
刘兰兰
龚政雄
胡建文
刘群
向云
李思锦
罗昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Hunan Electric Power Co ltd Power Transmission Overhaul Branch
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Original Assignee
State Grid Hunan Electric Power Co ltd Power Transmission Overhaul Branch
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Hunan Electric Power Co ltd Power Transmission Overhaul Branch, State Grid Corp of China SGCC, State Grid Hunan Electric Power Co Ltd filed Critical State Grid Hunan Electric Power Co ltd Power Transmission Overhaul Branch
Priority to CN202110614272.0A priority Critical patent/CN113222823B/zh
Publication of CN113222823A publication Critical patent/CN113222823A/zh
Application granted granted Critical
Publication of CN113222823B publication Critical patent/CN113222823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于混合注意力网络融合的高光谱图像超分辨率方法，包括获取高光谱低分辨率图像及对应的高光谱高分辨率图像并构成训练数据；构建高光谱图像超分辨率基础模型；采用训练数据训练高光谱图像超分辨率基础模型得到最终的高光谱图像超分辨率模型；获取待处理的高光谱图像；采用高光谱图像超分辨率模型对待处理的高光谱图像进行处理完成高光谱图像的超分辨率过程。本发明采用混合注意力网络来提升网络性能，同时采用互学习损失来保证每个网络之间具有相互监督和学习的能力，最后通过自适应集成模块来融合混合注意力网络的输出图像；因此，本发明方法的效果更好、可靠性更高且性能更加优越。

Description

基于混合注意力网络融合的高光谱图像超分辨率方法
技术领域
本发明属于图像处理领域，具体涉及一种基于混合注意力网络融合的高光谱图像超分辨率方法。
背景技术
高光谱图像不仅包含了目标场景的空间信息，还包含了丰富的光谱信息，在民用、军事、医学、计算机视觉等众多领域得到了广泛的应用。但由于高光谱成像传感器的硬件限制，高光谱图像在包含丰富的光谱分辨率的同时，其空间分辨率都很低。所以，通过研究高光谱图像的超分辨率算法来提高高光谱图像的空间分辨率变得尤为重要。
传统的高光谱图像超分辨率方法主要有以下两大类：基于融合策略的高光谱图像超分辨率算法和基于单图像的高光谱图像超分辨率算法。基于融合的超分辨率方法，依赖于同一场景具有高空间分辨率的辅助图像来实现；这些辅助图像主要包括全色图像、RGB图像和多光谱图像。从现阶段的研究成果来看，基于融合的高光谱图像超分辨率方法主要分为稀疏表示、矩阵分解、张量表示和深度学习四大类。这些基于融合的方法虽然可以获得质量很高的高分辨率高光谱图像，但需要辅助图像与高光谱图像很好地对齐；然而在实际重建中，很难获得良好的辅助图像。
与基于融合的高光谱图像超分辨率相比，单图像的高光谱图像超分辨率算法不需要辅助图像，其具有更加灵活的特点，应用起来也更加方便。单图像的高光谱图像超分辨率方法主要分为插值法、基于稀疏表示的方法和基于深度学习的方法三大类。现有的单图像的高光谱图像超分辨率方法主要是基于深度学习模型的方法如：3D-FCNN,GDRRN和MCNet等。但是，目前的高光谱图像超分辨率网络，大多数方法仅考虑了单一网络的高光谱图像超分辨率，没有考虑超分辨率网络之间的影响。此外，现有大多数网络都忽略了特征图的多尺度信息，导致重构的高光谱图像光谱信息存在一定的扭曲，丢失了部分空间结构细节。
发明内容
本发明的目的在于提供一种效果更好、可靠性更高且性能更加优越的基于混合注意力网络融合的高光谱图像超分辨率方法。
本发明提供的这种基于混合注意力网络融合的高光谱图像超分辨率方法，包括如下步骤：
S1.获取高光谱低分辨率图像，及对应的高光谱高分辨率图像，从而构成训练数据；
S2.构建高光谱图像超分辨率基础模型；
S3.采用步骤S1得到的训练数据，对步骤S2构建的高光谱图像超分辨率基础模型进行训练，从而得到最终的高光谱图像超分辨率模型；
S4.获取待处理的高光谱图像；
S5.采用步骤S3得到的高光谱图像超分辨率模型，对步骤S4得到的待处理的高光谱图像进行处理，从而完成高光谱图像的超分辨率过程。
步骤S2所述的构建高光谱图像超分辨率基础模型，具体为采用如下步骤构建模型：
A.将高光谱低分辨率图像输入到混合注意力网络，从而获取若干个中间高分辨率高光谱图像；
B.采用步骤A得到的若干个中间高分辨率高光谱图像构建互学习损失，从而实现各个三维多尺度混合注意力网络之间的相互监督和相互优化；
C.采用自适应集成网络融合若干个中间高分辨率高光谱图像，从而重构最终的高光谱高分辨率图像。
步骤A所述的混合注意力网络，具体包括1个3×3×3的卷积层、11个三维多尺度混合注意力模块、1个上采样层和2个3×3×3的卷积层；各个三维多尺度混合注意力模块之间采用残差连接。所有的卷积层参数，均为在利用训练集进行训练时，通过优化损失函数，使得损失函数达到最小时确定；所述损失函数采用均方误差进行计算。
所述的上采样层由反卷积构成。
所述的三维多尺度混合注意力模块包括3D-res2net模块和混合注意力模块。
所述的3D-res2net模块包括输入残差模块、1个3×3×3的卷积层和3个1×1×1的卷积层；输入数据依次通过3×3×3的卷积层处理后，将输出数据分为4组；第一组数据不进行卷积处理，第二组数据～第四组数据各自经过对应的1×1×1的卷积层处理；各个1×1×1的卷积层之间采用多尺度连接线信息进行连接；将得到的4组数据进行组合，组合后再通过1个1×1×1的卷积进行处理，最后与输入残差模块的数据相加，从而得到最终的3D-res2net模块的输出数据。
所述的混合注意力模块包括一阶注意力部分和二阶注意力部分；输入数据分别经过一阶注意力部分和二阶注意力部分进行处理后再进行组合，然后通过一个1×1×1的卷积进行处理；最后将得到的数据再与输入数据相乘，得到最终的混合注意力模块的输出数据。
所述的一阶注意力部分包括一个全局平均池化操作和两个1×1×1的卷积；输入数据通过平均池化操作后，再与两个1×1×1的卷积进行计算。
所述的二阶注意力部分包括一个全局协方差池化操作和两个1×1×1的卷积；首先求出输入数据的协方差矩阵，然后通过全局协方差池化操作后，再与两个1×1×1的卷积进行计算得到二阶注意力数据。
步骤B所述的互学习损失，具体为采用如下算式构建互学习损失：
Figure BDA0003096783410000041
式中LML为互学习损失；N为超分辨率网络重构的高光谱图像的个数；Y1～YN为每个超分辨率网络重构的高光谱图像；LMSE()为MSE损失函数。
步骤C所述的自适应集成网络，具体包括若干个1×1×1的卷积和softmax激活函数；输入的中间高分辨率高光谱图像分别经过2个1×1×1的卷积处理并获取特征图权重后，每个特征图权重之间再采用softmax激活函数进行自适应处理，得到最终的特征权重；然后再与输入的中间高分辨率高光谱图像进行点乘，并将结果相加，从而得到最终的输出结果。
采用如下算式作为损失函数LF，从而优化自适应集成网络的输出数据：
LF＝LM+ηLG
式中LM为重构图像与参考图像之间的MSE损失函数，且LM＝LMSE(YF,YR)，LMSE()为MSE损失函数，YF为融合图像，YR为参考图像；LG为光谱损失函数，且
Figure BDA0003096783410000042
H为图像的长，W为图像的宽，B为图像的波段数量，
Figure BDA0003096783410000043
为参考图像在光谱维度上的梯度图像，
Figure BDA0003096783410000051
为重建图像在光谱维度上的梯度图像，||1为1范数；η为平衡系数。
本发明提供的这种基于混合注意力网络融合的高光谱图像超分辨率方法，采用混合注意力网络来提升网络性能，同时采用互学习损失来保证每个网络之间具有相互监督和学习的能力，最后通过自适应集成模块来融合混合注意力网络的输出图像；因此，本发明方法的效果更好、可靠性更高且性能更加优越。
附图说明
图1为本发明方法的方法流程示意图。
图2为本发明方法中的混合注意力网络的结构示意图。
图3为本发明方法中的自适应集成网络的结构示意图。
图4为本发明方法的实施例中模拟超分辨率图像实验中不同超分辨率方法对CAVE数据集的超分辨率结果示意图。
图5为本发明方法的实施例中模拟超分辨率图像实验中不同超分辨率方法对Pavia Centre数据集的超分辨率结果示意图。
图6为本发明方法的实施例中真实超分辨率图像实验中不同超分辨率方法对CAVE数据集的超分辨率结果示意图。
图7为本发明方法的实施例中真实超分辨率图像实验中不同超分辨率方法对Pavia Centre数据集的超分辨率结果示意图。
具体实施方式
如图1所示为本发明方法的方法流程示意图：本发明提供的这种基于混合注意力网络融合的高光谱图像超分辨率方法，包括如下步骤：
S1.获取高光谱低分辨率图像，及对应的高光谱高分辨率图像，从而构成训练数据；
具体实施时，获取现有的高光谱图像，将高光谱图像生成对应的低分辨率的高光谱图像和参考图像；
S2.构建高光谱图像超分辨率基础模型；具体为采用如下步骤构建模型：
A.将高光谱低分辨率图像输入到混合注意力网络，从而获取若干个中间高分辨率高光谱图像；
混合注意力网络(如图2所示)具体包括1个3×3×3的卷积层、11个三维多尺度混合注意力模块、1个上采样层和2个3×3×3的卷积层；各个三维多尺度混合注意力模块之间采用残差连接；上采样层由反卷积构成；
其中，三维多尺度混合注意力模块包括3D-res2net模块和混合注意力模块；具体的，3D-res2net模块包括输入残差模块、1个3×3×3的卷积层和3个1×1×1的卷积层；输入数据依次通过3×3×3的卷积层处理后，将输出数据分为4组；第一组数据不进行卷积处理，第二组数据～第四组数据各自经过对应的1×1×1的卷积层处理；各个1×1×1的卷积层之间采用多尺度连接线信息进行连接；将得到的4组数据进行组合，组合后再通过1个1×1×1的卷积进行处理，最后与输入残差模块的数据相加，从而得到最终的3D-res2net模块的输出数据；
混合注意力模块包括一阶注意力部分和二阶注意力部分；输入数据分别经过一阶注意力部分和二阶注意力部分进行处理后再进行组合，然后通过一个1×1×1的卷积进行处理；最后将得到的数据再与输入数据相乘，得到最终的混合注意力模块的输出数据；
此外，一阶注意力部分包括一个全局平均池化操作和两个1×1×1的卷积；输入数据通过平均池化操作后，再与两个1×1×1的卷积进行计算；二阶注意力部分包括一个全局协方差池化操作和两个1×1×1的卷积；输入数据通过全局协方差池化操作后，再与两个1×1×1的卷积进行计算；
在步骤A中，所有的卷积层参数，均为在利用训练集进行训练时，通过优化损失函数，使得损失函数达到最小时确定；所述损失函数采用均方误差进行计算；
Figure BDA0003096783410000071
式中LMSE()为MSE损失函数；Y1～YN为每个超分辨率网络重构的高光谱图像；YR为每个超分辨率网络重构的参考图像；
3D-res2net模块是一个简单且有效的多尺度模块，而3D-res2net的分组方式能够减少大量的参数和计算量，故这种模块更加适合处理高光谱图像超分辨率；大部分注意力网络仅仅只是通过全局平均池化利用了特征图的一阶信息，没有考虑特征图的高阶信息，这样会阻碍网络的性能；本发明通过计算特征图的一阶和二阶统计量，构造了混合注意力模块来学习特征之间的相互依赖性；
B.采用步骤A得到的若干个中间高分辨率高光谱图像构建互学习损失，从而实现各个三维多尺度混合注意力网络之间的相互监督和相互优化；互学习损失，具体为采用如下算式构建互学习损失：
Figure BDA0003096783410000072
式中LML为互学习损失；N为超分辨率网络重构的高光谱图像的个数；Y1～YN为每个超分辨率网络重构的高光谱图像；LMSE()为MSE损失函数；
C.采用自适应集成网络(如图3所示)融合若干个中间高分辨率高光谱图像，从而重构最终的高光谱高分辨率图像；自适应集成网络具体包括若干个1×1×1的卷积和softmax激活函数；输入的中间高分辨率高光谱图像分别经过两个1×1×1的卷积处理并获取特征图权重后，每个特征图权重之间再采用softmax激活函数进行自适应处理，得到最终的特征权重；然后再与输入的中间高分辨率高光谱图像进行点乘，并将结果相加，从而得到最终的输出结果；
最后，采用如下算式作为损失函数LF，从而优化自适应集成网络的输出数据：
LF＝LM+ηLG
式中LM为重构图像与参考图像之间的MSE损失函数，且LM＝LMSE(YF,YR)，LMSE()为MSE损失函数，YF为融合图像，YR为参考图像；LG为光谱损失函数，且
Figure BDA0003096783410000081
H为图像的长，W为图像的宽，B为图像的波段数量，
Figure BDA0003096783410000082
为参考图像在光谱维度上的梯度图像，
Figure BDA0003096783410000083
为重建图像在光谱维度上的梯度图像，||1为1范数；η为平衡系数
S3.采用步骤S1得到的训练数据，对步骤S2构建的高光谱图像超分辨率基础模型进行训练，从而得到最终的高光谱图像超分辨率模型；
S4.获取待处理的高光谱图像；
S5.采用步骤S3得到的高光谱图像超分辨率模型，对步骤S4得到的待处理的高光谱图像进行处理，从而完成高光谱图像的超分辨率过程。
以下结合实施例，对本发明方法进行进一步说明：
本发明实例采用CAVE和Pavia Centre高光谱图像数据集来检验提出的超分辨率方法的实用性和有效性，其中CAVE数据集含有31个波段，Pavia Centre含有102个波段。本发明实例给出了模拟超分辨率的实验和真实超分辨率的实验，模拟实验中的图像通过对实际图像进行退化和下采样得到。真实超分辨率实验中输入图像是原始的高光谱图像直接进行超分辨率不进行退化处理。
本发明实例所述方法主要与Bicubic插值法，SRCNN，VDSR两种自然图像的超分辨率算法，GDRRN，3D-FCNN，SSRNet，MCNet四种高光谱图像超分辨率方法进行对比。
模拟图像实验效果分析：
图4(a)和5(a)分别为CAVE和Pavia Centre的高分辨率高光谱参考图像，图4(b)～(h)和图5(b)～(h)为两个数据集的对比方法超分辨率结果图，图4(i)和图5(i)为本发明实例所提出方法的超分辨率结果图。与高分辨率高光谱参考图像相比，图4(b)～(e)有一定的细节丢失，由图4(i)可以看出本发明实例所述方法的细节保持较好。图5(b)～(f)和图5(h)的图像较模糊，细节丢失严重，图5(i)可以看出本发明实例所述方法细节保存比较好。由超分辨率图像可直观的看出本发明实例所述方法的超分辨率图像与高分辨率高光谱参考图像差异较小。
通过对图像的分析，可以对超分辨率结果有一个直观的认识，本发明还通过客观评价指标来进一步评估图像超分辨率结果。本发明实例所述方法通过MPNSR(平均峰值信噪比)，MSSIM(平均结构相似度)和SAM(光谱角制图)这三项指标来对超分辨率结果进行评估。MPSNR的作用是估计参考的高光谱图像与重构的高光谱图像之间的像素差，MSSIM的作用是评估结构相似性，SAM则用来评估重构高光谱图像和参考图像之间的光谱失真。MPSNR和MSSIM越大，重构的高光谱图像就越好。相反，较小的SAM意味着重构图像的光谱失真较小。不同方法超分辨率结果的客观评价指标如表1、表2所示。
表1 CAVE数据集中的12张测试图像的平均评估指标示意表
Figure BDA0003096783410000101
表2 Pavia Centre数据集中的7张测试图像的平均评估指数示意表
Figure BDA0003096783410000102
由表1和表2可看出，本发明实例所述方法在CAVE和Pavia Centre数据集上的各项指标都优于其它方法。
真实图像超分辨率效果分析：
图6(a)和图7(a)分别为CAVE和Pavia Centre的低分辨率高光谱图像，图6(b)～(h)和图7(b)～(h)为两个数据集的对比方法超分辨率结果图，图6(i)和图7(i)为本发明实例所述方法的超分辨率结果图。从图6可以看出，本发明方法在数字“12”处最清晰。在图7中，本发明方法的重建图像在的红色区域显示了更清晰的细节。因此，通过图像的对比可以看出，本发明方法在真实的高光谱超分辨率中是有效的。本发明实例所述方法在保持光谱信息的同时很好的注入了空间细节，达到了较好的超分辨率效果。
由于实际超分辨率过程中，没有高分辨率高光谱参考图像，本发明实例所述方法采用无参考图像的客观指标来评估超分辨率结果。本发明使用Q指标(质量无参考指标)，以表3(不同超分辨率方法在两个数据集上的高光谱图像超分辨率结果客观评价指标)进行比较和展示。
表3 CAVE和Pavia Center数据集上真实高光谱超分辨率图像的Q指标示意表
Figure BDA0003096783410000111
从表3可以看到，在CAVE和Pavia Centre数据集上的实验本发明实例所述方法的都具有较好的应用效果。

Claims (10)

1.一种基于混合注意力网络融合的高光谱图像超分辨率方法，包括如下步骤：
S1.获取高光谱低分辨率图像，及对应的高光谱高分辨率图像，从而构成训练数据；
S2.构建高光谱图像超分辨率基础模型；
S3.采用步骤S1得到的训练数据，对步骤S2构建的高光谱图像超分辨率基础模型进行训练，从而得到最终的高光谱图像超分辨率模型；
S4.获取待处理的高光谱图像；
S5.采用步骤S3得到的高光谱图像超分辨率模型，对步骤S4得到的待处理的高光谱图像进行处理，从而完成高光谱图像的超分辨率过程。
2.根据权利要求1所述的基于混合注意力网络融合的高光谱图像超分辨率方法，其特征在于步骤S2所述的构建高光谱图像超分辨率基础模型，具体为采用如下步骤构建模型：
A.将高光谱低分辨率图像输入到混合注意力网络，从而获取若干个中间高分辨率高光谱图像；
B.采用步骤A得到的若干个中间高分辨率高光谱图像构建互学习损失，从而实现各个三维多尺度混合注意力网络之间的相互监督和相互优化；
C.采用自适应集成网络融合若干个中间高分辨率高光谱图像，从而重构最终的高光谱高分辨率图像。
3.根据权利要求2所述的基于混合注意力网络融合的高光谱图像超分辨率方法，其特征在于步骤A所述的混合注意力网络，具体包括1个3×3×3的卷积层、11个三维多尺度混合注意力模块、1个上采样层和2个3×3×3的卷积层；各个三维多尺度混合注意力模块之间采用残差连接，所有的卷积层参数，均为在利用训练集进行训练时，通过优化损失函数，使得损失函数达到最小时确定；所述损失函数采用均方误差进行计算。
4.根据权利要求3所述的基于混合注意力网络融合的高光谱图像超分辨率方法，其特征在于所述的上采样层由反卷积构成；所述的三维多尺度混合注意力模块包括3D-res2net模块和混合注意力模块。
5.根据权利要求4所述的基于混合注意力网络融合的高光谱图像超分辨率方法，其特征在于所述的3D-res2net模块包括输入残差模块、1个3×3×3的卷积层和3个1×1×1的卷积层；输入数据依次通过3×3×3的卷积层处理后，将输出数据分为4组；第一组数据不进行卷积处理，第二组数据～第四组数据各自经过对应的1×1×1的卷积层处理；各个1×1×1的卷积层之间采用多尺度连接线信息进行连接；将得到的4组数据进行组合，组合后再通过1个1×1×1的卷积进行处理，最后与输入残差模块的数据相加，从而得到最终的3D-res2net模块的输出数据。
6.根据权利要求5所述的基于混合注意力网络融合的高光谱图像超分辨率方法，其特征在于所述的混合注意力模块包括一阶注意力部分和二阶注意力部分；输入数据分别经过一阶注意力部分和二阶注意力部分进行处理后再进行组合，然后通过一个1×1×1的卷积进行处理；最后将得到的数据再与输入数据相乘，得到最终的混合注意力模块的输出数据。
7.根据权利要求6所述的基于混合注意力网络融合的高光谱图像超分辨率方法，其特征在于所述的一阶注意力部分包括一个全局平均池化操作和两个1×1×1的卷积；输入数据通过平均池化操作后，再与两个1×1×1的卷积进行计算；所述的二阶注意力部分包括一个全局协方差池化操作和两个1×1×1的卷积；首先求出输入数据的协方差矩阵，然后通过全局协方差池化操作后，再与两个1×1×1的卷积进行计算得到二阶注意力数据。
8.根据权利要求7所述的基于混合注意力网络融合的高光谱图像超分辨率方法，其特征在于步骤B所述的互学习损失，具体为采用如下算式构建互学习损失：
Figure FDA0003096783400000031
式中LML为互学习损失；N为超分辨率网络重构的高光谱图像的个数；Y1～YN为每个超分辨率网络重构的高光谱图像；LMSE()为MSE损失函数。
9.根据权利要求8所述的基于混合注意力网络融合的高光谱图像超分辨率方法，其特征在于步骤C所述的自适应集成网络，具体包括若干个1×1×1的卷积和softmax激活函数；输入的中间高分辨率高光谱图像分别经过2个1×1×1的卷积处理并获取特征图权重后，每个特征图权重之间再采用softmax激活函数进行自适应处理，得到最终的特征权重；然后再与输入的中间高分辨率高光谱图像进行点乘，并将结果相加，从而得到最终的输出结果。
10.根据权利要求9所述的基于混合注意力网络融合的高光谱图像超分辨率方法，其特征在于采用如下算式作为损失函数LF，从而优化自适应集成网络的输出数据：
LF＝LM+ηLG
式中LM为重构图像与参考图像之间的MSE损失函数，且LM＝LMSE(YF,YR)，LMSE()为MSE损失函数，YF为融合图像，YR为参考图像；LG为光谱损失函数，且
Figure FDA0003096783400000041
H为图像的长，W为图像的宽，B为图像的波段数量，
Figure FDA0003096783400000042
为参考图像在光谱维度上的梯度图像，
Figure FDA0003096783400000043
为重建图像在光谱维度上的梯度图像，
Figure FDA0003096783400000044
为1范数；η为平衡系数。
CN202110614272.0A 2021-06-02 2021-06-02 基于混合注意力网络融合的高光谱图像超分辨率方法 Active CN113222823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110614272.0A CN113222823B (zh) 2021-06-02 2021-06-02 基于混合注意力网络融合的高光谱图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110614272.0A CN113222823B (zh) 2021-06-02 2021-06-02 基于混合注意力网络融合的高光谱图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN113222823A true CN113222823A (zh) 2021-08-06
CN113222823B CN113222823B (zh) 2022-04-15

Family

ID=77082338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110614272.0A Active CN113222823B (zh) 2021-06-02 2021-06-02 基于混合注意力网络融合的高光谱图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN113222823B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888430A (zh) * 2021-09-30 2022-01-04 北京达佳互联信息技术有限公司 图像处理方法和装置以及模型训练方法和装置
CN113888491A (zh) * 2021-09-27 2022-01-04 长沙理工大学 基于非局部特征的多级高光谱图像递进超分方法及系统
CN113902622A (zh) * 2021-11-08 2022-01-07 西北工业大学 基于深度先验联合注意力的光谱超分辨率方法
CN113962913A (zh) * 2021-09-26 2022-01-21 西北大学 一种融合光谱空间信息的深度互学习框架的构建方法
CN114092327A (zh) * 2021-11-02 2022-02-25 哈尔滨工业大学 一种利用异构知识蒸馏的高光谱图像超分辨率方法
CN114429424A (zh) * 2022-04-01 2022-05-03 中国石油大学(华东) 一种适用于退化方式不定的遥感图像超分重建方法
CN114511470A (zh) * 2022-04-06 2022-05-17 中国科学院深圳先进技术研究院 一种基于注意力机制的双分支全色锐化方法
CN116071237A (zh) * 2023-03-01 2023-05-05 湖南大学 基于滤光片采样融合的视频高光谱成像方法、系统及介质
CN116188774A (zh) * 2022-12-13 2023-05-30 湖南大学 高光谱图像实例分割方法及建筑实例分割方法
CN114092327B (zh) * 2021-11-02 2024-06-07 哈尔滨工业大学 一种利用异构知识蒸馏的高光谱图像超分辨率方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991646A (zh) * 2017-03-28 2017-07-28 福建帝视信息科技有限公司 一种基于密集连接网络的图像超分辨率方法
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN108830796A (zh) * 2018-06-20 2018-11-16 重庆大学 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
CN109345476A (zh) * 2018-09-19 2019-02-15 南昌工程学院 基于深度残差网络的高光谱图像超分辨率重建方法及装置
CN109903255A (zh) * 2019-03-04 2019-06-18 北京工业大学 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法
CN109919838A (zh) * 2019-01-17 2019-06-21 华南理工大学 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN110322402A (zh) * 2019-04-30 2019-10-11 武汉理工大学 基于稠密混合注意力网络的医学图像超分辨率重建方法
CN112634137A (zh) * 2020-12-28 2021-04-09 西安电子科技大学 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN106991646A (zh) * 2017-03-28 2017-07-28 福建帝视信息科技有限公司 一种基于密集连接网络的图像超分辨率方法
CN108830796A (zh) * 2018-06-20 2018-11-16 重庆大学 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
CN109345476A (zh) * 2018-09-19 2019-02-15 南昌工程学院 基于深度残差网络的高光谱图像超分辨率重建方法及装置
CN109919838A (zh) * 2019-01-17 2019-06-21 华南理工大学 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN109903255A (zh) * 2019-03-04 2019-06-18 北京工业大学 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法
CN110322402A (zh) * 2019-04-30 2019-10-11 武汉理工大学 基于稠密混合注意力网络的医学图像超分辨率重建方法
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法
CN112634137A (zh) * 2020-12-28 2021-04-09 西安电子科技大学 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
QIAN SHI: "Hyperspectral Image Denoising_Using a 3-D Attention Denoising Network", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
SHANG-HUA GAO: "Res2Net:A New Multi-Scale", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
张书瑜: "基于深度学习和多尺度多特征融合的高分辨率遥感地表覆盖分类研究", 《中国博士学位论文全文数据库工程科技Ⅱ辑》 *
张祥东等: "基于扩张卷积注意力神经网络的高光谱图像分类", 《光学学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113962913B (zh) * 2021-09-26 2023-09-15 西北大学 一种融合光谱空间信息的深度互学习框架的构建方法
CN113962913A (zh) * 2021-09-26 2022-01-21 西北大学 一种融合光谱空间信息的深度互学习框架的构建方法
CN113888491A (zh) * 2021-09-27 2022-01-04 长沙理工大学 基于非局部特征的多级高光谱图像递进超分方法及系统
CN113888430A (zh) * 2021-09-30 2022-01-04 北京达佳互联信息技术有限公司 图像处理方法和装置以及模型训练方法和装置
CN114092327A (zh) * 2021-11-02 2022-02-25 哈尔滨工业大学 一种利用异构知识蒸馏的高光谱图像超分辨率方法
CN114092327B (zh) * 2021-11-02 2024-06-07 哈尔滨工业大学 一种利用异构知识蒸馏的高光谱图像超分辨率方法
CN113902622A (zh) * 2021-11-08 2022-01-07 西北工业大学 基于深度先验联合注意力的光谱超分辨率方法
CN113902622B (zh) * 2021-11-08 2024-02-27 西北工业大学 基于深度先验联合注意力的光谱超分辨率方法
CN114429424A (zh) * 2022-04-01 2022-05-03 中国石油大学(华东) 一种适用于退化方式不定的遥感图像超分重建方法
CN114511470A (zh) * 2022-04-06 2022-05-17 中国科学院深圳先进技术研究院 一种基于注意力机制的双分支全色锐化方法
CN114511470B (zh) * 2022-04-06 2022-07-08 中国科学院深圳先进技术研究院 一种基于注意力机制的双分支全色锐化方法
CN116188774A (zh) * 2022-12-13 2023-05-30 湖南大学 高光谱图像实例分割方法及建筑实例分割方法
CN116188774B (zh) * 2022-12-13 2024-03-22 湖南大学 高光谱图像实例分割方法及建筑实例分割方法
CN116071237A (zh) * 2023-03-01 2023-05-05 湖南大学 基于滤光片采样融合的视频高光谱成像方法、系统及介质

Also Published As

Publication number Publication date
CN113222823B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN113222823B (zh) 基于混合注意力网络融合的高光谱图像超分辨率方法
CN111047515B (zh) 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN111080567B (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN111784602B (zh) 一种生成对抗网络用于图像修复的方法
CN112184554B (zh) 一种基于残差混合膨胀卷积的遥感图像融合方法
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN103440348B (zh) 一种基于矢量量化的全局和局部颜色图像检索方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN111353424B (zh) 深度递归残差网络的遥感图像空谱融合方法和电子设备
CN108764250B (zh) 一种运用卷积神经网络提取本质图像的方法
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN112819737A (zh) 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法
Hu et al. Hyperspectral image super resolution based on multiscale feature fusion and aggregation network with 3-D convolution
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及系统
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
CN115331104A (zh) 一种基于卷积神经网络的农作物种植信息提取方法
CN112184553A (zh) 一种基于深度先验信息的高光谱图像超分辨率方法
CN113008371B (zh) 一种深度学习解色散模糊的高光谱成像方法
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
CN114359041A (zh) 一种光场图像空间超分辨率重建方法
CN113888491A (zh) 基于非局部特征的多级高光谱图像递进超分方法及系统
CN116681592A (zh) 基于多尺度自适应非局部注意力网络的图像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant