CN115984155A - 一种基于光谱解混的高光谱、多光谱和全色图像融合方法 - Google Patents

一种基于光谱解混的高光谱、多光谱和全色图像融合方法 Download PDF

Info

Publication number
CN115984155A
CN115984155A CN202211596525.7A CN202211596525A CN115984155A CN 115984155 A CN115984155 A CN 115984155A CN 202211596525 A CN202211596525 A CN 202211596525A CN 115984155 A CN115984155 A CN 115984155A
Authority
CN
China
Prior art keywords
image
matrix
representing
hyperspectral
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211596525.7A
Other languages
English (en)
Inventor
张玮
田昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202211596525.7A priority Critical patent/CN115984155A/zh
Publication of CN115984155A publication Critical patent/CN115984155A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于光谱解混的高光谱、多光谱和全色图像融合方法，属于遥感图像融合领域，适用于通过图像融合来提升高光谱图像空间分辨率的应用场景。本发明的融合方法基于光谱解混思想，将高光谱图像分解为端元矩阵和丰度矩阵，提升了计算效率，并利用组合稀疏约束和低秩约束提升了计算准确度。本发明方法在定性和定量方面均优于对比方法的输出高分辨率高光谱图像。

Description

一种基于光谱解混的高光谱、多光谱和全色图像融合方法
技术领域
本发明属于遥感图像融合领域，涉及一种基于光谱解混的高光谱、多光谱、全色图像融合方法。适用于通过图像融合来提升高光谱图像空间分辨率的应用场景。
背景技术
高光谱图像含有从可见光波段到近红外波段的大量波段数，光谱分辨率极高，在遥感地物分类等领域发挥了很重要的作用。然而，在传感器成像过程中，空间分辨率和光谱分辨率之间具有相互制约的关系，因此，虽然高光谱图像的光谱分辨率极高，但是其空间分辨率却极低。而为了提升高光谱图像的空间分辨率，通常会将高光谱图像和多光谱图像或全色图像融合。
现有的高光谱图像融合技术大部分是基于高光谱图像与多光谱图像融合和高光谱图像与全色图像融合这两大类。这两大类中又属高光谱图像与多光谱图像融合最为常见。现有的高光谱图像与多光谱图像融合方法主要集中在基于矩阵分解的方法、基于张量分解的方法和基于深度学习的方法。基于矩阵分解的方法和基于张量分解的方法都属于基于物理机制的方法，优点是泛化性强，缺点是合适的先验难以构建。基于深度学习的方法属于挖掘数据规律的方法，优点是融合效果好，缺点是所需数据量大且泛化能力差，难以在实际中运用。现有的高光谱图像与全色图像融合方法，由于高光谱图像与全色图像的空间分辨率差异过大，无论是基于成分替代的方法，还是基于深度学习的方法，都不可避免的拥有较严重光谱失真的问题。
发明内容
本发明针对现有遥感融合方法的不足，提出了一种基于光谱解混和低秩组稀疏联合先验的高光谱、多光谱和全色图像融合方法。该方法包括以下步骤：
步骤1：输入同一区域的低分辨率高光谱图像、多光谱图像和全色图像；
步骤2：计算高光谱图像模糊矩阵、多光谱图像模糊矩阵、多光谱图像光谱响应矩阵和全色图像光谱响应向量；
步骤3：构建基于光谱解混和低秩组稀疏联合先验的高光谱、多光谱和全色图像融合模型；
步骤4：优化求解高光谱、多光谱和全色图像融合模型，获得输出高分辨率高光谱图像。作为优选，步骤1所述输入低分辨率高光谱图像、输入多光谱图像和输入全色图像分别记为
Figure BDA0003993090100000021
和
Figure BDA0003993090100000022
其中，P1，P2和P3分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像的波段数量，W1，W2和W3分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像的宽度，H1，H2和H3分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像的高度。
作为优选，步骤2所述高光谱图像模糊矩阵、多光谱图像模糊矩阵、多光谱图像光谱响应矩阵和全色图像光谱响应向量分别记为
Figure BDA0003993090100000023
和
Figure BDA0003993090100000024
步骤2所述高光谱图像模糊矩阵、多光谱图像模糊矩阵、多光谱图像光谱响应矩阵和全色图像光谱响应向量使用Miguel Simoes的方法进行计算得到。
作为优选，步骤3所述高光谱、多光谱和全色图像融合模型基于光谱解混和低秩组稀疏联合先验构成。
步骤3所述高光谱、多光谱和全色图像融合模型由数据拟合项和先验信息约束项构成。数据拟合项即根据输入低分辨率高光谱、输入多光谱、输入全色图像与输出高分辨率高光谱图像之间的物理关系构建相应的数学表达式，使输出高分辨率高光谱图像同时具备输入低分辨率高光谱、输入多光谱、输入全色图像的信息。先验信息约束项即通过输出高分辨率高光谱图像中应该蕴含的一些特征来约束输出高分辨率高光谱图像，从而获得有效解。
所述输出高分辨率高光谱图像记为
Figure BDA0003993090100000025
由于输入低分辨率高光谱图像可以看作是输出高分辨率高光谱图像经空间模糊下采样后的结果，多光谱图像可以看作是输出高分辨率高光谱图像经空间模糊下采样和光谱下采样后的结果，全色图像可以看作是输出高分辨率高光谱图像经光谱下采样后的结果，所以所述数据拟合项为：
Figure BDA0003993090100000026
其中，X表示输出高分辨率高光谱图像，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，R1和R2分别表示多光谱图像光谱响应矩阵和全色图像光谱响应向量，M1和M2分别表示高光谱图像下采样矩阵和多光谱图像下采样矩阵，Y1，Y2和Y3分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像，λ1和λ2表示权重参数，
Figure BDA0003993090100000027
表示Frobenius范数。
基于线性光谱解混可以将输出高分辨率高光谱图像分解为端元矩阵和丰度矩阵。
端元矩阵记为
Figure BDA0003993090100000028
丰度矩阵记为
Figure BDA0003993090100000029
输出高分辨率高光谱图像可以表示为：
X＝EA
代入数据拟合项中得到：
Figure BDA0003993090100000031
其中，E表示端元矩阵，A表示丰度矩阵，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，R1和R2分别表示多光谱图像光谱响应矩阵和全色图像光谱响应向量，M1和M2分别表示高光谱图像下采样矩阵和多光谱图像下采样矩阵，Y1，Y2和Y3分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像，λ1和λ2表示权重参数，
Figure BDA0003993090100000032
表示Frobenius范数。
由于高光谱图像中，大部分像元都是由小部分端元线性混合而成，所以丰度矩阵理应具有行稀疏特征，所以对丰度矩阵施加组合稀疏约束‖A‖2,。
由于高光谱图像中，具有很多相似的数据分布，所以丰度矩阵理应具有低秩特征，所以对丰度矩阵施加低秩约束‖A‖*。
因此步骤3所述先验信息约束项为：
Figure BDA0003993090100000033
其中，A表示丰度矩阵，‖·‖2,表示l2,范数，‖·‖*表示核范数，λ3和λ4表示权重参数。
因此步骤3所述高光谱、多光谱和全色图像融合模型为：
Figure BDA0003993090100000034
其中，E表示端元矩阵，A表示丰度矩阵，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，R1和R2分别表示多光谱图像光谱响应矩阵和全色图像光谱响应向量，M1和M2分别表示高光谱图像下采样矩阵和多光谱图像下采样矩阵，Y1，Y2和Y3分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像，λ1，λ2，λ3和λ4表示权重参数，
Figure BDA0003993090100000035
表示Frobenius范数，‖·‖2,表示l2,1范数，‖·‖*表示核范数。
作为优选，步骤4所述的优化求解过程的具体实现包含以下子步骤：
步骤4.1：引入辅助变量F1，F2，F3，F4和F5，分别满足F1＝AB1，F2＝AB2，F3＝A，F4＝A和F5＝A，代入高光谱、多光谱和全色图像融合模型中，得到：
Figure BDA0003993090100000036
s.t.,F1＝AB1,F2＝AB2,F3＝A,F4＝A,F5＝A
其中，E表示端元矩阵，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，R1和R2分别表示多光谱图像光谱响应矩阵和全色图像光谱响应向量，M1和M2分别表示高光谱图像下采样矩阵和多光谱图像下采样矩阵，Y1，Y2和Y3分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像，λ1，λ2，λ3和λ4表示权重参数，
Figure BDA0003993090100000041
表示Frobenius范数，‖·‖2,表示l2,范数，‖·‖*表示核范数。
将引入辅助变量后的高光谱、多光谱和全色图像融合模型转化为增广拉格朗日函数，如下所示：
Figure BDA0003993090100000042
其中，E表示端元矩阵，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，R1和R2分别表示多光谱图像光谱响应矩阵和全色图像光谱响应向量，M1和M2分别表示高光谱图像下采样矩阵和多光谱图像下采样矩阵，Y1，Y2和Y3分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像，L1，L2，L3，L4和L5表示拉格朗日乘子，λ1，λ2，λ3和λ4表示权重参数，μ表示正参数，
Figure BDA0003993090100000043
表示Frobenius范数，‖·‖2,表示l2,1范数，‖·‖*表示核范数。
步骤4.2：将步骤4.1所述增广拉格朗日函数分解成7个子问题，分别是子问题A，子问题F1，子问题F2，子问题F3，子问题F4，子问题F5，子问题L。
子问题A：
Figure BDA0003993090100000044
其中，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，L1，L2，L3，L4和L5表示拉格朗日乘子，μ表示正参数，
Figure BDA0003993090100000045
表示Frobenius范数。
子问题F1：
Figure BDA0003993090100000046
其中，E表示端元矩阵，A表示丰度矩阵，F1表示辅助变量，B1表示高光谱图像模糊矩阵，M1表示高光谱图像下采样矩阵，Y1表示输入低分辨率高光谱图像，L1表示拉格朗日乘子，μ表示正参数，
Figure BDA0003993090100000051
表示Frobenius范数。
子问题F2：
Figure BDA0003993090100000052
其中，E表示端元矩阵，A表示丰度矩阵，F2表示辅助变量，B2表示多光谱图像模糊矩阵，R1表示多光谱图像光谱响应矩阵，M2表示多光谱图像下采样矩阵，Y2表示输入多光谱图像，L2表示拉格朗日乘子，λ1表示权重参数，μ表示正参数，
Figure BDA0003993090100000053
表示Frobenius范数。
子问题F3：
Figure BDA0003993090100000054
其中，E表示端元矩阵，A表示丰度矩阵，F3表示辅助变量，R2表示全色图像光谱响应向量，Y3表示输入全色图像，L3表示拉格朗日乘子，λ2表示权重参数，μ表示正参数，
Figure BDA0003993090100000055
表示Frobenius范数。
子问题F4：
Figure BDA0003993090100000056
其中，A表示丰度矩阵，F4表示辅助变量，L4表示拉格朗日乘子，λ3表示权重参数，μ表示正参数，
Figure BDA0003993090100000057
表示Frobenius范数，‖·‖2,表示l2,1范数。
子问题F5：
Figure BDA0003993090100000058
其中，A表示丰度矩阵，F5表示辅助变量，L5表示拉格朗日乘子，λ4表示权重参数，μ表示正参数，
Figure BDA0003993090100000059
表示Frobenius范数，‖·‖*表示核范数。
子问题L：
Figure BDA00039930901000000510
其中，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，L1，L2，L3，L4和L5表示拉格朗日乘子，μ表示正参数，
Figure BDA00039930901000000511
表示Frobenius范数。
步骤4.3：对步骤4.2中的每个子问题分别求解。
子问题A解：
Figure BDA0003993090100000061
其中，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，L1，L2，L3，L4和L5表示拉格朗日乘子，μ表示正参数，T表示转置矩阵。
子问题F1解：
Figure BDA0003993090100000062
其中，E表示端元矩阵，A表示丰度矩阵，F1表示辅助变量，B1表示高光谱图像模糊矩阵，M1表示高光谱图像下采样矩阵，Y1表示输入低分辨率高光谱图像，L1表示拉格朗日乘子，μ表示正参数，T表示转置矩阵。
子问题F2解：
Figure BDA0003993090100000063
其中，E表示端元矩阵，A表示丰度矩阵，F2表示辅助变量，B2表示多光谱图像模糊矩阵，R1表示多光谱图像光谱响应矩阵，M2表示多光谱图像下采样矩阵，Y2表示输入多光谱图像，L2表示拉格朗日乘子，λ1表示权重参数，μ表示正参数，T表示转置矩阵。
子问题F3解：
Figure BDA0003993090100000064
其中，E表示端元矩阵，A表示丰度矩阵，F3表示辅助变量，R2表示全色图像光谱响应向量，Y3表示输入全色图像，L3表示拉格朗日乘子，λ2表示权重参数，μ表示正参数，T表示转置矩阵。
子问题F4解：子问题F4直接利用软阈值算法求解。
子问题F5解：子问题F5直接利用奇异值收缩算法求解。
子问题L解：
L1＝1-μ(AB1-F1)
L2＝2-μ(AB2-F2)
L3＝3-(A-F3)
L4＝4-(A-F4)
L5＝5-(A-F5)
其中，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，L1，L2，L3，L4和L5表示拉格朗日乘子，μ表示正参数，
Figure BDA0003993090100000071
表示Frobenius范数。
步骤4.4：对步骤4.3所述的7个子问题解进行循环迭代，解得丰度矩阵A。
步骤4.5：由步骤4.4得到的丰度矩阵A和公式X＝EA，得到输出高分辨率高光谱图像X。
本发明主要针对利用图像融合提升高光谱图像空间分辨率的应用需求。本发明的融合方法基于光谱解混思想，将高光谱图像分解为端元矩阵和丰度矩阵，提升了计算效率，并利用组合稀疏约束和低秩约束提升了计算准确度。本发明方法在定性和定量方面均优于对比方法的输出高分辨率高光谱图像。
附图说明
图1：是本发明实施例的对比方法FUSE的输出结果图。
图2：是本发明实施例的对比方法HSRCSU的输出结果图。
图3：是本发明实施例的对比方法CNMF的输出结果图。
图4：是本发明实施例的所提出方法的输出结果图。
图5：是本发明实施例的参考图像。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明做进一步的详细描述，应当理解的是，此处所描述的实施例仅用于解释本发明，并不用于限定本发明。
本发明使用的数据由Headwall Hyperspec-VNIR-C高光谱传感器于日本Chikusei拍摄。本发明选取了分辨率为320×320的一块区域，挑选了93个波段进行实验。将此块区域图像作为参考图像，以便于进行定量与定性评价。本发明使用均值为0，标准差为2，模板尺寸为7×7高斯模糊核对参考图像进行模糊处理，然后将模糊后的图像下采样16倍，得到尺寸为20×20×93的输入低分辨率高光谱图像，再将模糊后的图像下采样4倍且光谱下采样得到80×80×4的输入多光谱图像，然后将参考图像进行光谱下采样得到320×320的输入全色图像。
本实施例提供一种基于光谱解混的高光谱、多光谱和全色图像融合方法，包括以下步骤：
步骤1：输入同一区域的低分辨率高光谱图像、多光谱图像和全色图像；
步骤1所述输入低分辨率高光谱图像、输入多光谱图像和输入全色图像分别记为
Figure BDA0003993090100000072
和
Figure BDA0003993090100000073
其中，P1＝93，P2＝4和P3＝1分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像的波段数量，W1＝20，W2＝80和W3＝320分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像的宽度，H1＝20，H2＝80和H3＝320分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像的高度。
步骤2：计算高光谱图像模糊矩阵、多光谱图像模糊矩阵、多光谱图像光谱响应矩阵和全色图像光谱响应向量；
步骤2所述高光谱图像模糊矩阵、多光谱图像模糊矩阵、多光谱图像光谱响应矩阵和全色图像光谱响应向量分别记为
Figure BDA0003993090100000081
和
Figure BDA0003993090100000082
步骤2所述高光谱图像模糊矩阵、多光谱图像模糊矩阵、多光谱图像光谱响应矩阵和全色图像光谱响应向量使用Miguel Simoes的方法进行计算得到。
步骤3：构建基于光谱解混和低秩组稀疏联合先验的高光谱、多光谱和全色图像融合模型；
步骤3所述高光谱、多光谱和全色图像融合模型基于光谱解混和低秩组稀疏联合先验构成。
步骤3所述高光谱、多光谱和全色图像融合模型由数据拟合项和先验信息约束项构成。数据拟合项即根据输入低分辨率高光谱、输入多光谱、输入全色图像与输出高分辨率高光谱图像之间的物理关系构建相应的数学表达式，使输出高分辨率高光谱图像同时具备输入低分辨率高光谱、输入多光谱、输入全色图像的信息。先验信息约束项即通过输出高分辨率高光谱图像中应该蕴含的一些特征来约束输出高分辨率高光谱图像，从而获得有效解。
所述待求解的高光谱图像记为
Figure BDA0003993090100000083
由于输入低分辨率高光谱图像可以看作是输出高分辨率高光谱图像经空间模糊下采样后的结果，多光谱图像可以看作是输出高分辨率高光谱图像经空间模糊下采样和光谱下采样后的结果，全色图像可以看作是输出高分辨率高光谱图像经光谱下采样后的结果，所以所述数据拟合项为：
Figure BDA0003993090100000084
其中，X表示输出高分辨率高光谱图像，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，R1和R2分别表示多光谱图像光谱响应矩阵和全色图像光谱响应向量，M1和M2分别表示高光谱图像下采样矩阵和多光谱图像下采样矩阵，Y1，Y2和Y3分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像，λ1＝0.5和λ2＝10表示权重参数，
Figure BDA0003993090100000085
表示Frobenius范数。
基于线性光谱解混可以将输出高分辨率高光谱图像分解为端元矩阵和丰度矩阵。
端元矩阵记为
Figure BDA0003993090100000086
丰度矩阵记为
Figure BDA0003993090100000087
输出高分辨率高光谱图像可以表示为：
X＝EA
代入数据拟合项中得到：
Figure BDA0003993090100000091
其中，E表示端元矩阵，A表示丰度矩阵，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，R1和R2分别表示多光谱图像光谱响应矩阵和全色图像光谱响应向量，M1和M2分别表示高光谱图像下采样矩阵和多光谱图像下采样矩阵，Y1，Y2和Y3分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像，λ1＝0.5和λ2＝10表示权重参数，
Figure BDA0003993090100000092
表示Frobenius范数。
由于高光谱图像中，大部分像元都是由小部分端元线性混合而成，所以丰度矩阵理应具有行稀疏特征，所以对丰度矩阵施加组合稀疏约束‖A‖2,。
由于高光谱图像中，具有很多相似的数据分布，所以丰度矩阵理应具有低秩特征，所以对丰度矩阵施加低秩约束‖A‖*。
因此步骤3所述先验信息约束项为：
Figure BDA0003993090100000093
其中，A表示丰度矩阵，‖·‖2,表示l2,范数，‖·‖*表示核范数，λ3＝0.0003和λ4＝0.003表示权重参数。
因此步骤3所述高光谱、多光谱和全色图像融合模型为：
Figure BDA0003993090100000094
其中，E表示端元矩阵，A表示丰度矩阵，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，R1和R2分别表示多光谱图像光谱响应矩阵和全色图像光谱响应向量，M1和M2分别表示高光谱图像下采样矩阵和多光谱图像下采样矩阵，Y1，Y2和Y3分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像，λ1＝0.5，λ2＝10，λ3＝0.0003和λ4＝0.003表示权重参数，
Figure BDA0003993090100000095
表示Frobenius范数，‖·‖2,表示l2,范数，‖·‖*表示核范数。
步骤4：优化求解高光谱、多光谱和全色图像模型，获得输出高分辨率高光谱图像；
步骤4所述的优化求解过程的具体实现包含以下子步骤：
步骤4.1：引入辅助变量F1，F2，F3，F4和F5，分别满足F1＝AB1，F2＝AB2，F3＝A，F4＝A和F5＝A，代入高光谱、多光谱和全色图像融合模型中，得到：
Figure BDA0003993090100000101
s.t.,F1＝AB1,F2＝AB2,F3＝A,F4＝A,F5＝A
其中，E表示端元矩阵，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，R1和R2分别表示多光谱图像光谱响应矩阵和全色图像光谱响应向量，M1和M2分别表示高光谱图像下采样矩阵和多光谱图像下采样矩阵，Y1，Y2和Y3分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像，λ1＝0.5，λ2＝10，λ3＝0.0003和λ4＝0.003表示权重参数，
Figure BDA0003993090100000102
表示Frobenius范数，‖·‖2,表示l2,范数，‖·‖*表示核范数。
将引入辅助变量后的高光谱、多光谱和全色图像融合模型转化为增广拉格朗日函数，如下所示：
Figure BDA0003993090100000103
其中，E表示端元矩阵，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，R1和R2分别表示多光谱图像光谱响应矩阵和全色图像光谱响应向量，M1和M2分别表示高光谱图像下采样矩阵和多光谱图像下采样矩阵，Y1，Y2和Y3分别表示输入低分辨率高光谱图像、输入多光谱图像和输入全色图像，L1，L2，L3，L4和L5表示拉格朗日乘子，λ1＝0.5，λ2＝10，λ3＝0.0003和λ4＝0.003表示权重参数，μ＝0.003表示正参数，
Figure BDA0003993090100000104
表示Frobenius范数，‖·‖2,表示l2,范数，‖·‖*表示核范数。
步骤4.2：将步骤4.1所述增广拉格朗日函数分解成7个子问题，分别是子问题A，子问题F1，子问题F2，子问题F3，子问题F4，子问题F5，子问题L。
子问题A：
Figure BDA0003993090100000105
其中，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，L1，L2，L3，L4和L5表示拉格朗日乘子，μ＝0.003表示正参数，
Figure BDA0003993090100000111
表示Frobenius范数。
子问题F1：
Figure BDA0003993090100000112
其中，E表示端元矩阵，A表示丰度矩阵，F1表示辅助变量，B1表示高光谱图像模糊矩阵，M1表示高光谱图像下采样矩阵，Y1表示输入低分辨率高光谱图像，L1表示拉格朗日乘子，μ＝0.003表示正参数，
Figure BDA00039930901000001111
表示Frobenius范数。
子问题F2：
Figure BDA0003993090100000113
其中，E表示端元矩阵，A表示丰度矩阵，F2表示辅助变量，B2表示多光谱图像模糊矩阵，R1表示多光谱图像光谱响应矩阵，M2表示多光谱图像下采样矩阵，Y2表示输入多光谱图像，L2表示拉格朗日乘子，λ1＝0.5表示权重参数，μ＝0.003表示正参数，
Figure BDA0003993090100000114
表示Frobenius范数。
子问题F3：
Figure BDA0003993090100000115
其中，E表示端元矩阵，A表示丰度矩阵，F3表示辅助变量，R2表示全色图像光谱响应向量，Y3表示输入全色图像，L3表示拉格朗日乘子，λ2＝10表示权重参数，μ＝0.003表示正参数，
Figure BDA0003993090100000116
表示Frobenius范数。
子问题F4：
Figure BDA0003993090100000117
其中，A表示丰度矩阵，F4表示辅助变量，L4表示拉格朗日乘子，λ3＝0.0003表示权重参数，μ＝0.003表示正参数，
Figure BDA0003993090100000118
表示Frobenius范数，‖·‖2,表示l2,范数。
子问题F5：
Figure BDA0003993090100000119
其中，A表示丰度矩阵，F5表示辅助变量，L5表示拉格朗日乘子，λ4＝0.003表示权重参数，μ＝0.003表示正参数，
Figure BDA00039930901000001110
表示Frobenius范数，‖·‖*表示核范数。
子问题L：
Figure BDA0003993090100000121
其中，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，L1，L2，L3，L4和L5表示拉格朗日乘子，μ＝0.003表示正参数，
Figure BDA0003993090100000122
表示Frobenius范数。
步骤4.3：对步骤4.2中的每个子问题分别求解。
子问题A解：
Figure BDA0003993090100000123
其中，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，L1，L2，L3，L4和L5表示拉格朗日乘子，μ＝0.003表示正参数，T表示转置矩阵。
子问题F1解：
Figure BDA0003993090100000124
其中，E表示端元矩阵，A表示丰度矩阵，F1表示辅助变量，B1表示高光谱图像模糊矩阵，M1表示高光谱图像下采样矩阵，Y1表示输入低分辨率高光谱图像，L1表示拉格朗日乘子，μ＝0.003表示正参数，T表示转置矩阵。
子问题F2解：
Figure BDA0003993090100000125
其中，E表示端元矩阵，A表示丰度矩阵，F2表示辅助变量，B2表示多光谱图像模糊矩阵，R1表示多光谱图像光谱响应矩阵，M2表示多光谱图像下采样矩阵，Y2表示输入多光谱图像，L2表示拉格朗日乘子，λ1＝0.5表示权重参数，μ＝0.003表示正参数，T表示转置矩阵。
子问题F3解：
Figure BDA0003993090100000126
其中，E表示端元矩阵，A表示丰度矩阵，F3表示辅助变量，R2表示全色图像光谱响应向量，Y3表示输入全色图像，L3表示拉格朗日乘子，λ2＝10表示权重参数，μ＝0.003表示正参数，T表示转置矩阵。
子问题F4解：子问题F4直接利用软阈值算法求解。
子问题F5解：子问题F5直接利用奇异值收缩算法求解。
子问题L解：
L1＝1-μ(AB1-F1)
L2＝2-μ(AB2-F2)
L3＝3-(A-F3)
L4＝4-(A-F4)
L5＝5-(A-F5)
其中，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，L1，L2，L3，L4和L5表示拉格朗日乘子，μ＝0.003表示正参数，
Figure BDA0003993090100000132
表示Frobenius范数。
步骤4.4：对步骤4.3所述的7个子问题解进行循环迭代，解得丰度矩阵A。
步骤4.5：由步骤4.4得到的丰度矩阵A和公式X＝EA，得到输出高分辨率高光谱图像X。
步骤5：对步骤4得到的输出高分辨率高光谱图像进行定量和定性评价，本发明选择FUSE，HSRCSU，CNMF共三种高光谱图像融合方法与本发明方法进行定量和定性评价对比。本发明选择ERGAS、SAM、RMSE、QAVG和CC五种定量评价指标进行定量评价对比，定量评价结果如表1所示，本发明方法取得了最佳的定量评价结果。
表1客观量化评价结果
Figure BDA0003993090100000131
定性对比结果如图1-图5所示。图1为对比方法FUSE的输出结果图，图2为对比方法HSRCSU的输出结果图，图3为对比方法CNMF的输出结果图，图4为本发明方法的输出结果图，图5为参考图像。本发明方法在空间细节上比其他对比方法更加清晰，更加接近参考图像。
应当理解的是，本说明未详细阐述的部分均属于现有技术。
应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (9)

1.一种基于光谱解混的高光谱、多光谱和全色图像融合方法，其特征在于，包括如下步骤：
步骤1，输入同一区域的低分辨率高光谱图像、多光谱图像和全色图像；
步骤2，计算高光谱图像模糊矩阵、多光谱图像模糊矩阵、多光谱图像光谱响应矩阵和全色图像光谱响应向量；
步骤3，构建基于光谱解混和低秩组稀疏联合先验的高光谱、多光谱和全色图像融合模型；
步骤4，优化求解高光谱、多光谱和全色图像融合模型，获得输出高分辨率高光谱图像。
2.如权利要求1所述的一种基于光谱解混的高光谱、多光谱和全色图像融合方法，其特征在于：步骤1所述输入低分辨率高光谱图像、输入多光谱图像和输入全色图像分别记为
Figure FDA0003993090090000011
和
Figure FDA0003993090090000012
其中，P1，P2和P3分别表示输入高光谱图像、输入多光谱图像和输入全色图像的波段数量，W1，W2和W3分别表示输入高光谱图像、输入多光谱图像和输入全色图像的宽度，H1，H2和H3分别表示输入高光谱图像、输入多光谱图像和输入全色图像的高度。
3.如权利要求1所述的一种基于光谱解混的高光谱、多光谱和全色图像融合方法，其特征在于：步骤2所述高光谱图像模糊矩阵、多光谱图像模糊矩阵、多光谱图像光谱响应矩阵和全色图像光谱响应向量分别记为
Figure FDA0003993090090000013
和
Figure FDA0003993090090000014
步骤2所述高光谱图像模糊矩阵、多光谱图像模糊矩阵、多光谱图像光谱响应矩阵和全色图像光谱响应向量使用Miguel Simoes的方法进行计算得到。
4.如权利要求1所述的一种基于光谱解混的高光谱、多光谱和全色图像融合方法，其特征在于：步骤3所述高光谱、多光谱和全色图像融合模型由数据拟合项和先验信息约束项构成，数据拟合项即根据输入高光谱、输入多光谱、输入全色图像与输出高光谱图像之间的物理关系构建相应的数学表达式，使输出高光谱图像同时具备输入高光谱、输入多光谱、输入全色图像的信息，先验信息约束项即通过输出高光谱图像中应该蕴含的一些特征来约束输出高光谱图像，从而获得有效解。
5.如权利要求4所述的一种基于光谱解混的高光谱、多光谱和全色图像融合方法，其特征在于：所述数据拟合项的具体表达式如下；
记待求解的高光谱图像记为
Figure FDA0003993090090000015
由于输入高光谱图像可以看作是输出高光谱图像经空间模糊下采样后的结果，多光谱图像可以看作是输出高光谱图像经空间模糊下采样和光谱下采样后的结果，全色图像可以看作是输出高光谱图像经光谱下采样后的结果，所以所述数据拟合项为：
Figure FDA0003993090090000021
其中，X表示输出高光谱图像，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，R1和R2分别表示多光谱图像光谱响应矩阵和全色图像光谱响应向量，M1和M2分别表示高光谱图像下采样矩阵和多光谱图像下采样矩阵，Y1，Y2和Y3分别表示输入高光谱图像、输入多光谱图像和输入全色图像，λ1和λ2表示权重参数，
Figure FDA0003993090090000022
表示Frobenius范数。
6.如权利要求5所述的一种基于光谱解混的高光谱、多光谱和全色图像融合方法，其特征在于：先验信息约束项的具体表达式如下；
基于线性光谱解混可以将输出高光谱图像分解为端元矩阵和丰度矩阵；
端元矩阵记为
Figure FDA0003993090090000023
丰度矩阵记为
Figure FDA0003993090090000024
输出高光谱图像可以表示为：
X＝EA
代入数据拟合项中得到：
Figure FDA0003993090090000025
其中，E表示端元矩阵，A表示丰度矩阵，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，R1和R2分别表示多光谱图像光谱响应矩阵和全色图像光谱响应向量，M1和M2分别表示高光谱图像下采样矩阵和多光谱图像下采样矩阵，Y1，Y2和Y3分别表示输入高光谱图像、输入多光谱图像和输入全色图像，λ1和λ2表示权重参数，
Figure FDA0003993090090000026
表示Frobenius范数；
对丰度矩阵施加组合稀疏约束||A||2，1和低秩约束||A||*，因此步骤3所述先验信息约束项为：
Figure FDA0003993090090000027
其中，A表示丰度矩阵，||·||2，1表示l2，1范数，||·||*表示核范数，λ3和λ4表示权重参数。
7.如权利要求1所述的一种基于光谱解混的高光谱、多光谱和全色图像融合方法，其特征在于：步骤3所述高光谱、多光谱和全色图像融合模型为：
Figure FDA0003993090090000028
其中，E表示端元矩阵，A表示丰度矩阵，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，R1和R2分别表示多光谱图像光谱响应矩阵和全色图像光谱响应向量，M1和M2分别表示高光谱图像下采样矩阵和多光谱图像下采样矩阵，Y1，Y2和Y3分别表示输入高光谱图像、输入多光谱图像和输入全色图像，λ1，λ2，λ3和λ4表示权重参数，
Figure FDA0003993090090000029
表示Frobenius范数，||·||2，1表示l2，1范数，||·||*表示核范数。
8.如权利要求7所述的一种基于光谱解混的高光谱、多光谱和全色图像融合方法，其特征在于：步骤4所述的优化求解过程的具体实现包含以下子步骤：
步骤4.1：引入辅助变量F1，F2，F3，F4和F5，分别满足F1＝AB1，F2＝AB2，F3＝A，F4＝A和F5＝A，代入高光谱、多光谱和全色图像融合模型中，得到：
Figure FDA0003993090090000031
s.t.，F1＝AB1，F2＝AB2，F3＝A，F4＝A，F5＝A
其中，E表示端元矩阵，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，R1和R2分别表示多光谱图像光谱响应矩阵和全色图像光谱响应向量，M1和M2分别表示高光谱图像下采样矩阵和多光谱图像下采样矩阵，Y1，Y2和Y3分别表示输入高光谱图像、输入多光谱图像和输入全色图像，λ1，λ2，λ3和λ4表示权重参数，
Figure FDA0003993090090000032
表示Frobenius范数，||·||2，1表示l2，1范数，||·||*表示核范数；
将引入辅助变量后的高光谱、多光谱和全色图像融合模型转化为增广拉格朗日函数，如下所示：
Figure FDA0003993090090000033
其中，E表示端元矩阵，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，R1和R2分别表示多光谱图像光谱响应矩阵和全色图像光谱响应向量，M1和M2分别表示高光谱图像下采样矩阵和多光谱图像下采样矩阵，Y1，Y2和Y3分别表示输入高光谱图像、输入多光谱图像和输入全色图像，L1，L2，L3，L4和L5表示拉格朗日乘子，λ1，λ2，λ3和λ4表示权重参数，μ表示正参数，
Figure FDA0003993090090000034
表示Frobenius范数，||·||2，1表示l2，1范数，||·||*表示核范数；
步骤4.2：将步骤4.1所述增广拉格朗日函数分解成7个子问题，分别是子问题A，子问题F1，子问题F2，子问题F3，子问题F4，子问题F5，子问题L；
子问题A：
Figure FDA0003993090090000041
其中，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，L1，L2，L3，L4和L5表示拉格朗日乘子，μ表示正参数，
Figure FDA0003993090090000042
表示Frobenius范数；
子问题F1：
Figure FDA0003993090090000043
其中，E表示端元矩阵，A表示丰度矩阵，F1表示辅助变量，B1表示高光谱图像模糊矩阵，M1表示高光谱图像下采样矩阵，Y1表示输入高光谱图像，L1表示拉格朗日乘子，μ表示正参数，
Figure FDA0003993090090000044
表示Frobenius范数；
子问题F2：
Figure FDA0003993090090000045
其中，E表示端元矩阵，A表示丰度矩阵，F2表示辅助变量，B2表示多光谱图像模糊矩阵，R1表示多光谱图像光谱响应矩阵，M2表示多光谱图像下采样矩阵，Y2表示输入多光谱图像，L2表示拉格朗日乘子，λ1表示权重参数，μ表示正参数，
Figure FDA0003993090090000046
表示Frobenius范数；
子问题F3：
Figure FDA0003993090090000047
其中，E表示端元矩阵，A表示丰度矩阵，F3表示辅助变量，R2表示全色图像光谱响应向量，Y3表示输入全色图像，L3表示拉格朗日乘子，λ2表示权重参数，μ表示正参数，
Figure FDA00039930900900000410
表示Frobenius范数；
子问题F4：
Figure FDA0003993090090000048
其中，A表示丰度矩阵，F4表示辅助变量，L4表示拉格朗日乘子，λ3表示权重参数，μ表示正参数，
Figure FDA0003993090090000049
表示Frobenius范数，||·||2，1表示l2，1范数；
子问题F5：
Figure FDA0003993090090000051
其中，A表示丰度矩阵，F5表示辅助变量，L5表示拉格朗日乘子，λ4表示权重参数，μ表示正参数，
Figure FDA0003993090090000052
表示Frobenius范数，||·||*表示核范数；
子问题L：
Figure FDA0003993090090000053
其中，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，L1，L2，L3，L4和L5表示拉格朗日乘子，μ表示正参数，
Figure FDA0003993090090000054
表示Frobenius范数；
步骤4.3：对步骤4.2中的每个子问题分别求解；
步骤4.4：对步骤4.3所述的7个子问题解进行循环迭代，解得丰度矩阵A；
步骤4.5：由步骤4.4得到的丰度矩阵A和公式X＝EA，得到输出高光谱图像X。
9.如权利要求8所述的一种基于光谱解混的高光谱、多光谱和全色图像融合方法，其特征在于：步骤4.3中7个子问题的求解方式如下；
子问题A解：
Figure FDA0003993090090000055
其中，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，B1和B2分别表示高光谱图像模糊矩阵和多光谱图像模糊矩阵，L1，L2，L3，L4和L5表示拉格朗日乘子，μ表示正参数，T表示转置矩阵；
子问题F1解：
Figure FDA0003993090090000056
其中，E表示端元矩阵，A表示丰度矩阵，F1表示辅助变量，B1表示高光谱图像模糊矩阵，M1表示高光谱图像下采样矩阵，Y1表示输入高光谱图像，L1表示拉格朗日乘子，μ表示正参数，T表示转置矩阵；
子问题F2解：
Figure FDA0003993090090000057
其中，E表示端元矩阵，A表示丰度矩阵，F2表示辅助变量，B2表示多光谱图像模糊矩阵，R1表示多光谱图像光谱响应矩阵，M2表示多光谱图像下采样矩阵，Y2表示输入多光谱图像，L2表示拉格朗日乘子，λ1表示权重参数，μ表示正参数，T表示转置矩阵；
子问题F3解：
Figure FDA0003993090090000061
其中，E表示端元矩阵，A表示丰度矩阵，F3表示辅助变量，R2表示全色图像光谱响应向量，Y3表示输入全色图像，L3表示拉格朗日乘子，λ2表示权重参数，μ表示正参数，T表示转置矩阵；
子问题F4解：子问题F4直接利用软阈值算法求解；
子问题F5解：子问题F5直接利用奇异值收缩算法求解；
子问题L解：
L1＝L1-μ(AB1-F1)
L2＝L2-μ(AB2-F2)
L3＝L3-μ(A-F3)
L4＝L4-μ(A-F4)
L5＝L5-μ(A-F5)
其中，A表示丰度矩阵，F1，F2，F3，F4和F5表示辅助变量，L1，L2，L3，L4和L5表示拉格朗日乘子，μ表示正参数，
Figure FDA0003993090090000062
表示Frobenius范数。
CN202211596525.7A 2022-12-12 2022-12-12 一种基于光谱解混的高光谱、多光谱和全色图像融合方法 Pending CN115984155A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211596525.7A CN115984155A (zh) 2022-12-12 2022-12-12 一种基于光谱解混的高光谱、多光谱和全色图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211596525.7A CN115984155A (zh) 2022-12-12 2022-12-12 一种基于光谱解混的高光谱、多光谱和全色图像融合方法

Publications (1)

Publication Number Publication Date
CN115984155A true CN115984155A (zh) 2023-04-18

Family

ID=85967309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211596525.7A Pending CN115984155A (zh) 2022-12-12 2022-12-12 一种基于光谱解混的高光谱、多光谱和全色图像融合方法

Country Status (1)

Country Link
CN (1) CN115984155A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757925A (zh) * 2023-05-16 2023-09-15 宁波大学 一种生成高时空谱分辨率卫星遥感影像的方法和装置
CN116935214A (zh) * 2023-06-27 2023-10-24 福建鼎旸信息科技股份有限公司 一种卫星多源遥感数据的时空谱融合方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757925A (zh) * 2023-05-16 2023-09-15 宁波大学 一种生成高时空谱分辨率卫星遥感影像的方法和装置
CN116935214A (zh) * 2023-06-27 2023-10-24 福建鼎旸信息科技股份有限公司 一种卫星多源遥感数据的时空谱融合方法
CN116935214B (zh) * 2023-06-27 2024-04-12 福建鼎旸信息科技股份有限公司 一种卫星多源遥感数据的时空谱融合方法

Similar Documents

Publication Publication Date Title
Xue et al. Multilayer sparsity-based tensor decomposition for low-rank tensor completion
Xie et al. Multispectral and hyperspectral image fusion by MS/HS fusion net
Dong et al. Laplacian pyramid dense network for hyperspectral pansharpening
Rao et al. A residual convolutional neural network for pan-shaprening
CN104867124B (zh) 基于对偶稀疏非负矩阵分解的多光谱与全色图像融合方法
CN115984155A (zh) 一种基于光谱解混的高光谱、多光谱和全色图像融合方法
US8693771B2 (en) Method for pan-sharpening panchromatic and multispectral images using dictionaries
CN109102469B (zh) 一种基于卷积神经网络的遥感图像全色锐化方法
CN109727207B (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
Pan et al. Multispectral image super-resolution via RGB image fusion and radiometric calibration
CN109859153B (zh) 一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法
CN114998167B (zh) 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法
CN111223049B (zh) 一种基于结构-纹理分解的遥感图像变分融合方法
Wu et al. Multiobjective guided divide-and-conquer network for hyperspectral pansharpening
Zhou et al. PAN-guided band-aware multi-spectral feature enhancement for pan-sharpening
CN113870159A (zh) 一种基于动态梯度组稀疏和低秩正则化的高光谱融合方法
CN115131258A (zh) 一种基于稀疏张量先验的高光谱、多光谱和全色图像融合方法
CN107451954A (zh) 基于图像低秩性质的迭代像素插值方法
Zhao et al. Hsgan: Hyperspectral reconstruction from rgb images with generative adversarial network
Cao et al. Hyperspectral image super-resolution via spectral matching and correction
Gelvez-Barrera et al. Mixture-net: Low-rank deep image prior inspired by mixture models for spectral image recovery
Du et al. Performance evaluation for pan-sharpening techniques
CN110852950B (zh) 基于稀疏表示和图像融合的高光谱图像超分辨率重建方法
Meenakshisundaram Quality assessment of IKONOS and Quickbird fused images for urban mapping
Xu et al. A variational approach with nonlocal self-similarity and joint-sparsity for hyperspectral image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination