CN114862733A - 结合光谱解混先验和可学习退化约束的高光谱图像融合方法 - Google Patents

结合光谱解混先验和可学习退化约束的高光谱图像融合方法 Download PDF

Info

Publication number
CN114862733A
CN114862733A CN202210528527.6A CN202210528527A CN114862733A CN 114862733 A CN114862733 A CN 114862733A CN 202210528527 A CN202210528527 A CN 202210528527A CN 114862733 A CN114862733 A CN 114862733A
Authority
CN
China
Prior art keywords
abundance
image
degradation
network
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210528527.6A
Other languages
English (en)
Inventor
肖亮
郑可欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202210528527.6A priority Critical patent/CN114862733A/zh
Publication of CN114862733A publication Critical patent/CN114862733A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合光谱解混先验和可学习退化约束的高光谱图像融合方法，该方法包括：对高光谱图像应用解混模型，建立高分辨丰度与低分辨丰度间的退化关系；结合高光谱图像解混过程，优化低分辨率丰度以及高分辨率丰度；构建空间退化网络以及光谱退化网络学习图像间退化关系，空间退化网络能够同时适应丰度以及高光谱图像的输入；构建残差块优化中间图像，学习更加精细的特征；网络损失函数为L1范数。本发明方法应用于全色图像与高光谱图像融合或多光谱图像与高光谱图像融合有优异性能。

Description

结合光谱解混先验和可学习退化约束的高光谱图像融合方法
技术领域
本发明涉及高光谱图像融合技术，特别是一种结合光谱解混先验和可学习退化约束的高光谱图像融合方法。
背景技术
低分辨率高光谱图像(LRHS)具有数十个甚至数千个光谱波段，可以捕获物体的详细光谱信息，具有较大的光谱范围和丰富的光谱信息。高分辨率多光谱图像(HRMS)具有的光谱信息少于高光谱图像，但具有较高的空间分辨率，可以为高光谱图像提供空间信息，生成高分辨率高光谱(HRHS)图像，具有良好的空间和光谱分辨率。
深度学习网络利用多层神经网络的结构，对原始信号进行多次线性、非线性变换，从而提取出丰富的信号特征，并将其应用到实际问题的分类和识别中。深度学习利用更多的隐层权值和训练数据，使训练出的模型接近于更好的分类和预测模型。在图像融合方面，与传统的图像融合方法相比，基于深度学习的算法不需要恢复HRHS很多的先验知识，可以通过匹配的训练数据来训练一组模拟网络的输入(LRHS和HRHS图像)和输出(HRHS图像)。
基于深度学习的高光谱图像处理技术展示了其优异的性能，如[Dong C，Loy C C,He K，et al.Image super-resolution using deep convolutional networks[J].IEEEtransactions on pattern analysis and machine intelligence,2015，38(2):295-307.]，该卷积神经网络能够直接学习低和高分辨率图像间的关系。该网络利用较少的层数取得了较好的效果，但直接学习映射关系而没有利用图像间的相关性。目前，许多学者提出了通过卷积运算来建模图像图像间波段关系的模型，如[Palsson F,Sveinsson J R,Ulfarsson M O.“Multispectral and Hyperspectral Image Fusion Using a 3-DConvolutional Neural Network.IEEE Geoscience and Remote Sensing[J],2017,14(5):639-643.]。最近，有学者提出了一种考虑了低分辨率图像观测模型，以及HRHS图像在光谱维的低秩先验的高光谱与多光谱图像融合模型[Xie Q,et al.“Multispectral andHyperspectral Image Fusion by MS/HS Fusion Net[J],IEEE,2020:1585-1594.]。该方法利用较少的先验知识提出融合模型，并利用近端梯度法设计了迭代算法来求解。
这些深度学习在学习模型图像融合过程中描述输入和输出对象之间的复杂映射关系的能力受限，因此，本发明提出了一种结合光谱解混先验和可学习退化约束的高光谱图像融合方法。本方法建立高分辨丰度与低分辨丰度间的退化关系，优化高分辨率丰度的同时能够优化低分辨率丰度，利用简单的先验构造了容易学习的映射关系，改善了传统深度学习方法由低分辨往高分辨映射的困难性从而需要极大数据量的缺点。同时，利用图像间的退化关系建立退化网络，构造的空间退化网络能够适应不同深度图像的输入，在训练的过程中较好的优化了网络参数。此外，构建残差块优化生成的中间图像，加快了网络训练速度。本发明方法利用较少的网络层数，使网络能够在一个闭环中进行训练，在Cave、Harvard数据集上的仿真实验表明，该模型产生融合图像质量较高，应用于全色图像与高光谱图像融合或多光谱图像与高光谱图像融合有优异性能。
发明内容
本发明公开了一种结合光谱解混先验和可学习退化约束的高光谱图像融合方法。
实现本发明目的的技术解决方案为：第一方面，本发明提供一种结合光谱解混先验和可学习退化约束的高光谱图像融合方法，包括以下步骤
第一步，对高光谱图像应用解混模型，建立高分辨丰度与低分辨丰度间的退化关系；
第二步，结合高光谱图像解混过程，得到初始高分辨丰度，经过空间退化生成低分辨丰度，优化低分辨丰度以及高分辨丰度；
第三步，构建残差块优化中间图像，学习更加精细的特征，加快网络训练速度；
第四步，构建空间退化网络以及光谱退化网络学习图像间退化关系，空间退化网络能够同时适应丰度以及高光谱图像的输入，构建的退化网络使整体网络能够在一个闭环中训练；
第五步，网络损失函数为L1范数，建立的损失包含空间损失，光谱损失以及正则化项。
第二方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述方法的步骤。
第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。
第四方面，本发明提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述方法的步骤。
与现有技术相比，本发明的显著特点在于：(1)运用高光谱解混模型建立高分辨丰度与低分辨丰度间的退化关系，有利于优化空间退化网络以及低分辨丰度；(2)优化丰度并利用丰度并重构图像的过程中，通过训练共同的端元值，以较少的层数优化网络参数，有利于恢复良好的图像特征；(3)利用图像间的退化关系建立退化网络，减少了由于传统下采样过程可能导致的光谱畸变，同时使得整体网络能够在一个闭环中被训练；(4)引入残差学习，能够减小网络运行参数，加快了网络训练速度。本发明方法能够被有效应用于全色图像与高光谱图像融合或多光谱图像与高光谱图像融合，下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明方法的结构图。
图2为本发明方法的网络结构图。
图3、图4为本发明在Cave数据集上的测试结果(波段＝31)。
图5、图6为本发明在Harvard数据集上的测试结果(波段＝21)。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
结合图1、图2，下面详细说明本发明的实施过程，步骤如下：
第一步，对高光谱图像应用解混模型，得到待优化的初始高分辨丰度，并建立高分辨丰度与低分辨丰度间的退化关系。假设
Figure BDA0003645591000000031
为原始参考图像，H、W、C分别为其高度、宽度和通道数；图像
Figure BDA0003645591000000032
为多光谱图像，H、W、c分别为其高度、宽度和通道数，c＜C；图像
Figure BDA0003645591000000033
为低空间分辨率的高光谱图像，h、w、C分别为其高度、宽度和通道数，h＜H,w＜W。对图像Z和图像X应用解混模型，则有：
Z≈WhHm
X≈WhHh
其中
Figure BDA0003645591000000041
为光谱特征矩阵，对应图像X的端元值；
Figure BDA0003645591000000042
为空间特征矩阵，对应图像Z的丰度值。
Figure BDA0003645591000000043
为空间特征矩阵，对应图像X的丰度值。假设丰度Hm在空间维退化为丰度Hh，则有：
Hh≈HmS
第二步，结合高光谱图像解混过程，得到初始高分辨丰度，经过空间退化生成低分辨丰度，优化低分辨丰度以及高分辨丰度。端元可利用解混算法求解，再利用代价函数求解丰度。丰度Hh可由以下模型求得:
Figure BDA0003645591000000044
其中，F3()表示VCA算法。设i次迭代时该网络第k个卷积块的输出为Conk()，输出的中间高分辨丰度为
Figure BDA0003645591000000045
输出的中间低分辨丰度为
Figure BDA0003645591000000046
输出的中间融合图像为
Figure BDA0003645591000000047
输出的中间高光谱图像为
Figure BDA0003645591000000048
则有：
Figure BDA0003645591000000049
Figure BDA00036455910000000410
Figure BDA00036455910000000411
Figure BDA00036455910000000412
其中，↑表示插值操作，运算符
Figure BDA00036455910000000413
表示卷积运算，
Figure BDA00036455910000000414
表示第k个卷积块第p层的卷积核参数，Wi为卷积核参数，[...]为拼接操作，
Figure BDA00036455910000000415
表示经过第k个卷积块优化的丰度，G()表示激活函数，F1()表示空间退化网络，n为卷积块数，L为卷积块包含的卷积层数。
第三步，构建残差块优化中间图像，学习更加精细的特征，加快网络训练速度。设i次迭代时中间融合图像经过残差块后，最终输出的待优化融合图像为
Figure BDA00036455910000000416
则有：
Figure BDA00036455910000000417
其中
Figure BDA00036455910000000418
表示第m层的卷积核参数，G()表示激活函数。
第四步，构建空间退化网络以及光谱退化网络学习图像间退化关系，空间退化网络能够同时适应丰度以及高光谱图像的输入，构建的退化网络使整体网络能够在一个闭环中训练。空间退化网络对输入图像的每个波段卷积，并将输出的波段图像重新拼接生成退化后的图像；光谱退化网络对输入图像直接卷积生成退化后的图像。为了方便表示，我们将丰度
Figure BDA0003645591000000051
记为M，将丰度
Figure BDA0003645591000000052
记为H。网络第i次迭代时，图像
Figure BDA0003645591000000053
与丰度
Figure BDA0003645591000000054
经过空间退化网络，以及丰度
Figure BDA0003645591000000055
经过空间退化网络的过程被表示为：
Figure BDA0003645591000000056
Figure BDA0003645591000000057
1≥M≥0，1≥H≥0
Figure BDA0003645591000000058
其中，1≥M≥0，1≥H≥0表示丰度非负约束(ANC)，
Figure BDA0003645591000000059
为待优化LRHS图像，
Figure BDA00036455910000000510
为待优化HRMS图像，
Figure BDA00036455910000000511
为第p个波段的图像，
Figure BDA00036455910000000512
Wi为卷积核参数，F1()表示空间退化网络，F2()表示光谱退化网络，N,P为图像波段数，[...]为拼接操作。
第五步，网络损失函数为L1范数，建立的损失包含空间损失，光谱损失以及正则化项。记L表示总损失，则有：
L＝LSpatial+αLSpectral+βLASC
Figure BDA00036455910000000513
Figure BDA00036455910000000514
其中，LSpatial表示空间损失，LSpectral表示光谱损失，LASC表示正则化项，(α,β)表示平衡系数。X,Y是作为参考值的低分辨率高光谱图像和多光谱图像；LASC利用丰度和为一约束(ASC)，能够规范训练过程中产生的丰度值，则有：
LASC＝||1hw-X1K||1+||1-Y1K||1
其中1p表示长度为p，值均为1的向量。总的损失函数如下所示：
Figure BDA0003645591000000061
本发明方法通过建立高分辨丰度与低分辨丰度间的退化关系，优化高分辨率丰度的同时能够优化低分辨率丰度，利用简单的先验构造了容易学习的映射关系，改善了传统深度学习方法由低分辨往高分辨映射的困难性从而需要极大数据量的缺点。同时，利用图像间的退化关系建立退化网络，构造的空间退化网络能够适应不同深度图像的输入，在训练的过程中较好的优化了网络参数。此外，构建残差块优化生成的中间图像，加快了网络训练速度。本发明方法利用较少的网络层数，使网络能够在一个闭环中进行训练，在Cave、Harvard数据集上的仿真实验表明，该模型产生融合图像质量较高，应用于全色图像与高光谱图像融合或多光谱图像与高光谱图像融合有优异性能。
本发明的效果可通过以下仿真实验进一步说明：
仿真条件
仿真实验采用两组高光谱数据集，分别为Cave数据集和Harvard数据集。Cave数据集包含32张室内高光谱图像，每张图像包含31个波段，波长范围从400nm到700nm，图像分辨率为512×512。Harvard数据集包含50张日光条件下的室内外图像，共有31个波段，波长范围为420nm到720nm，图像分辨率为1392×1040。对于Cave数据集，随机选取20张图像作为训练集，选取12张图像作为测试集。对于Harvard数据集，随机选取30张图像作为训练集，选取20张图像作为测试集。对于Harvard数据集的每张图像，我们裁剪坐上角的1040×1040作为测试以及训练。由于数据集上不存在真实图像，因此使用Wald协议[R.Carla，L.Santurri，B.Aiazzi，and S.Baronti，“Full-scale assessment of pansharpening throughpolynomial fitting of multiscale measurements，”IEEE Transactions onGeoscience and Remote Sensing，vol.53，no.12，pp.6344–6355，2015.]生成训练数据，对于上面所提到的两个数据集，原始图像作为理想HRHS图像，然后使用均值为0、标准差为2的9×9高斯核进行滤波，并16倍下采样生成LRHS图像。HRMS图像的生成方式有所不同，我们根据Nikon D700相机的光谱响应曲线模拟生成HRMS图像(RGB图像)。对于CAVE数据集，HRHS图像块大小为512×512，LRHS图像块大小为32×32；对于Harvard数据集，HRHS图像块大小为1024×1024，LRHS图像块大小为64×64。
仿真实验结果分析
图3、图4分别为本发明方法在Cave数据集上的仿真实验结果。图5、图6分别为本发明方法在Harvard数据集上的仿真实验结果。图3和图5中，(a)表示真实图像，(b)、(c)、(d)、(e)、(f)、(g)分别表示CNMF、SupResPALM、DRPNN、VDSR、DHSIS以及本发明方法的融合结果图像。图4和图6中，(a)表示真实图像，(b)、(c)、(d)、(e)、(f)、(g)分别表示CNMF、SupResPALM、DRPNN、VDSR、DHSIS以及本发明方法的融合结果与真实图像的残差图像。从融合结果看，难以直接从视觉上区分好坏。从残差图看，本发明方法图像融合结果误差更小。为更进一步量化模型性能，使用PSNR(峰值信噪比)、SAM(光谱角)、RMSE(均方根误差)、SSIM(结构相似度)、UIQI(图像失真度)、作为图像评价指标，如表1、表2所示。
表1各方法在CAVE数据集上的定量分析结果
Figure BDA0003645591000000071
表2各方法在Harvard数据集上的定量分析结果
Figure BDA0003645591000000072
结果表明，本发明方法在SAM指标上弱于DHSIS方法，而在其他四个指标上均优于另外五个经典方法，表明了本发明方法的有效性。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种结合光谱解混先验和可学习退化约束的高光谱图像融合方法，其特征在于，包括以下步骤：
第一步，对高光谱图像应用解混模型，建立高分辨丰度与低分辨丰度间的退化关系；
第二步，结合高光谱图像解混过程，得到初始高分辨丰度，经过空间退化生成低分辨丰度，优化低分辨丰度以及高分辨丰度；
第三步，构建残差块优化中间图像，学习更加精细的特征，加快网络训练速度；
第四步，构建空间退化网络以及光谱退化网络学习图像间退化关系，空间退化网络能够同时适应丰度以及高光谱图像的输入，构建的退化网络使整体网络能够在一个闭环中训练；
第五步，网络损失函数为L1范数，建立的损失包含空间损失，光谱损失以及正则化项。
2.根据权利要求1所述的结合光谱解混先验和可学习退化约束的高光谱图像融合方法，其特征在于，第一步，对高光谱图像应用解混模型，得到待优化的初始高分辨丰度，并建立高分辨丰度与低分辨丰度间的退化关系；假设
Figure FDA0003645590990000011
为原始参考图像，H、W、C分别为其高度、宽度和通道数；图像
Figure FDA0003645590990000012
为多光谱图像，H、W、c分别为其高度、宽度和通道数，c＜C；图像
Figure FDA0003645590990000013
为低空间分辨率的高光谱图像，h、w、C分别为其高度、宽度和通道数，h＜H，w＜W；对图像Z和图像X应用解混模型，则有：
Z≈WhHm
X≈WhHh
其中
Figure FDA0003645590990000014
为光谱特征矩阵，对应图像X的端元值；
Figure FDA0003645590990000015
为空间特征矩阵，对应图像Z的丰度值；
Figure FDA0003645590990000016
为空间特征矩阵，对应图像X的丰度值；假设空间退化矩阵为
Figure FDA0003645590990000017
丰度Hm在空间维退化为丰度Hh，则有：
Hh≈HmS。
3.根据权利要求1所述的结合光谱解混先验和可学习退化约束的高光谱图像融合方法，其特征在于，第二步，结合高光谱图像解混过程，得到初始高分辨丰度，经过空间退化生成低分辨丰度，优化低分辨丰度以及高分辨丰度；端元可利用解混算法求解，再利用代价函数求解丰度；丰度Hh可由以下模型求得：
Figure FDA0003645590990000021
其中，F3()表示VCA算法；设i次迭代时该网络第k个卷积块的输出为Conk()，输出的中间高分辨丰度为
Figure FDA0003645590990000022
输出的中间低分辨丰度为
Figure FDA0003645590990000023
输出的中间融合图像为
Figure FDA0003645590990000024
输出的中间高光谱图像为
Figure FDA0003645590990000025
则有：
Figure FDA0003645590990000026
Figure FDA0003645590990000027
Figure FDA0003645590990000028
Figure FDA0003645590990000029
其中，↑表示插值操作，运算符
Figure FDA00036455909900000210
表示卷积运算，
Figure FDA00036455909900000211
表示第k个卷积块第p层的卷积核参数，Wi为卷积核参数，[…]为拼接操作，
Figure FDA00036455909900000212
表示经过第k个卷积块优化的丰度，G()表示激活函数，F1()表示空间退化网络，n为卷积块数，L为卷积块包含的卷积层数。
4.根据权利要求1所述的结合光谱解混先验和可学习退化约束的高光谱图像融合方法，第三步，构建残差块优化中间图像，学习更加精细的特征，加快网络训练速度；设i次迭代时中间融合图像经过残差块后，最终输出的待优化融合图像为
Figure FDA00036455909900000213
则有：
Figure FDA00036455909900000214
其中
Figure FDA00036455909900000215
表示第m层的卷积核参数，G()表示激活函数。
5.根据权利要求1所述的结合光谱解混先验和可学习退化约束的高光谱图像融合方法，第四步，构建空间退化网络以及光谱退化网络学习图像间退化关系，空间退化网络能够同时适应丰度以及高光谱图像的输入，构建的退化网络使整体网络能够在一个闭环中训练；空间退化网络对输入图像的每个波段卷积，并将输出的波段图像重新拼接生成退化后的图像；光谱退化网络对输入图像直接卷积生成退化后的图像；将丰度
Figure FDA00036455909900000216
记为M，将丰度
Figure FDA00036455909900000217
记为H；网络第i次迭代时，图像
Figure FDA0003645590990000031
与丰度
Figure FDA0003645590990000032
经过空间退化网络，以及丰度
Figure FDA0003645590990000033
经过空间退化网络的过程被表示为：
Figure FDA0003645590990000034
Figure FDA0003645590990000035
1≥M≥0，1≥H≥0
Figure FDA0003645590990000036
其中，1≥M≥0，1≥H≥0表示丰度非负约束，
Figure FDA0003645590990000037
为待优化LRHS图像，
Figure FDA0003645590990000038
为待优化HRMS图像，
Figure FDA0003645590990000039
为第p个波段的图像，
Figure FDA00036455909900000310
Wi为卷积核参数，F1()表示空间退化网络，F2()表示光谱退化网络，N，P为图像波段数，[…]为拼接操作。
6.根据权利要求1所述的结合光谱解混先验和可学习退化约束的高光谱图像融合方法，第五步，网络损失函数为L1范数，建立的损失包含空间损失，光谱损失以及正则化项；记L表示总损失，则有：
L＝LSpatial+αLSpectral+βLASC
Figure FDA00036455909900000311
Figure FDA00036455909900000312
其中，LSpatial表示空间损失，LSpectral表示光谱损失，LASC表示正则化项，(α，β)表示平衡系数；X，Y是作为参考值的低分辨率高光谱图像和多光谱图像；LASC利用丰度和为一约束，能够规范训练过程中产生的丰度值，则有：
LASC＝||1hw-X1K||1+||1-Y1K||1
其中1hw表示长度为hw，值均为1的向量，1K表示长度为K，值均为1的向量；
总的损失函数如下所示：
Figure FDA00036455909900000313
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6中任一所述的方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一所述的方法的步骤。
9.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6中任一所述的方法的步骤。
CN202210528527.6A 2022-05-16 2022-05-16 结合光谱解混先验和可学习退化约束的高光谱图像融合方法 Pending CN114862733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210528527.6A CN114862733A (zh) 2022-05-16 2022-05-16 结合光谱解混先验和可学习退化约束的高光谱图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210528527.6A CN114862733A (zh) 2022-05-16 2022-05-16 结合光谱解混先验和可学习退化约束的高光谱图像融合方法

Publications (1)

Publication Number Publication Date
CN114862733A true CN114862733A (zh) 2022-08-05

Family

ID=82636840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210528527.6A Pending CN114862733A (zh) 2022-05-16 2022-05-16 结合光谱解混先验和可学习退化约束的高光谱图像融合方法

Country Status (1)

Country Link
CN (1) CN114862733A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760670A (zh) * 2023-01-06 2023-03-07 之江实验室 基于网络隐式先验的无监督高光谱融合方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760670A (zh) * 2023-01-06 2023-03-07 之江实验室 基于网络隐式先验的无监督高光谱融合方法及装置

Similar Documents

Publication Publication Date Title
Wei et al. 3-D quasi-recurrent neural network for hyperspectral image denoising
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
Huang et al. WINNet: Wavelet-inspired invertible network for image denoising
CN112116065A (zh) 一种rgb图像光谱重建方法、系统、存储介质及应用
CN105069825A (zh) 基于深度置信网络的图像超分辨率重建方法
CN106097278B (zh) 一种多维信号的稀疏模型、重建方法和字典训练方法
Jiang et al. Multi-scale hybrid fusion network for single image deraining
Luo et al. Lattice network for lightweight image restoration
CN112669248B (zh) 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法
CN109214989A (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN110378344B (zh) 基于谱维转换网络的卷积神经网络多光谱图像分割方法
CN109886898B (zh) 基于优化启发的神经网络的光谱成像系统的成像方法
CN112884668A (zh) 基于多尺度的轻量级低光图像增强方法
CN108492249A (zh) 基于小卷积递归神经网络的单帧超分辨重建方法
CN112163998A (zh) 一种匹配自然降质条件的单图像超分辨率分析方法
CN115272093A (zh) 一种基于空间结构信息约束的高光谱图像解混方法
Ma et al. Multi-task interaction learning for spatiospectral image super-resolution
CN114862733A (zh) 结合光谱解混先验和可学习退化约束的高光谱图像融合方法
Khader et al. NMF-DuNet: Nonnegative matrix factorization inspired deep unrolling networks for hyperspectral and multispectral image fusion
Wang et al. Underwater image super-resolution using multi-stage information distillation networks
CN105931181B (zh) 基于非耦合映射关系的影像超分辨率重建方法及系统
Wen et al. The power of complementary regularizers: Image recovery via transform learning and low-rank modeling
Yang et al. Learning Degradation-Aware Deep Prior for Hyperspectral Image Reconstruction
Yang et al. MGDUN: An interpretable network for multi-contrast MRI image super-resolution reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination