CN115880199A - 一种长波红外高光谱与多光谱图像融合方法、系统及介质 - Google Patents

一种长波红外高光谱与多光谱图像融合方法、系统及介质 Download PDF

Info

Publication number
CN115880199A
CN115880199A CN202310195183.6A CN202310195183A CN115880199A CN 115880199 A CN115880199 A CN 115880199A CN 202310195183 A CN202310195183 A CN 202310195183A CN 115880199 A CN115880199 A CN 115880199A
Authority
CN
China
Prior art keywords
tensor
matrix
coefficient matrix
clustering
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310195183.6A
Other languages
English (en)
Other versions
CN115880199B (zh
Inventor
李树涛
谭力山
佃仁伟
刘锦洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202310195183.6A priority Critical patent/CN115880199B/zh
Publication of CN115880199A publication Critical patent/CN115880199A/zh
Application granted granted Critical
Publication of CN115880199B publication Critical patent/CN115880199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种长波红外高光谱与多光谱图像融合方法、系统及介质，本发明方法包括将输入的长波高光谱图像Y(3)提取光谱基D；将输入的多光谱图像Z(3)进行聚类，根据聚类结构对空间系数矩阵C(3)进行相同聚类并将聚块拼接成张量，基于非局部相似性将预设的广义张量核范数引入为正则化项建立空间系数矩阵C(3)的求解模型，采用ADMM法优化求解得到空间系数矩阵C(3)；将光谱基D和空间系数矩阵C(3)融合，得到比长波高光谱图像Y(3)分辨率更高的长波红外高光谱图像X。本发明能够更好的获取张量不同模态之间的相关关系，使得融合获得长波红外高光谱图像的融合精度高、鲁棒性强。

Description

一种长波红外高光谱与多光谱图像融合方法、系统及介质
技术领域
本发明涉及长波红外高光谱和长波红外多光谱图像融合技术领域，具体涉及一种长波红外高光谱与多光谱图像融合方法、系统及介质。
背景技术
长波红外高光谱图像是指成像波段在8～14微米的高光谱图像，其具有较大的光谱范围和较高的光谱分辨率，能够有效的获取物体的空间信息和光谱信息，在遥感技术，计算机视觉等方面有着广泛的应用。与近红外和短波红外相比，长波红外信号的波长更短，穿透能力更强，在识别地物目标等方面优势明显。空间分辨率和光谱分辨率是长波红外高光谱图像的两个核心指标，它们的大小直接决定了长波红外高光谱图像的应用价值。然而，由于空间分辨率和光谱分辨率之间不可避免的矛盾，长波红外高光谱图像往往具有较差的空间分辨率。且由于各种硬件条件和成像原理的限制，想要直接通过传感器获取高空间分辨率高光谱图像是十分困难的。现阶段主要采用高空间分辨率多光谱图像和低空间分辨率高光谱图像融合的方法得到高空间分辨率高光谱图像。现有的融合方法往往聚焦于可见光到短波红外的高光谱和多光谱图像融合，针对长波红外的高光谱和多光谱图像融合方法鲜有研究。其主要原因是与可见光、短波红外高光谱图像相比，长波红外高光谱图像的空间分辨率更低。高光谱图像的空间分辨率越低，图像的融合也就越困难，融合得到的结果也更加容易发生畸变。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种长波红外高光谱与多光谱图像融合方法、系统及介质，本发明基于非局部相似性将预设的广义张量核范数引入为正则化项建立空间系数矩阵的求解模型，能够更好的获取张量不同模态之间的相关关系，使得融合获得长波红外高光谱图像的融合精度高、鲁棒性强。
为了解决上述技术问题，本发明采用的技术方案为：
一种长波红外高光谱与多光谱图像融合方法，包括将输入的长波高光谱图像Y(3)进行截断奇异值分解提取光谱基D；将输入的多光谱图像Z(3)进行聚类，根据得到的聚类结构对待求解的空间系数矩阵C(3)进行相同聚类并将得到的聚块拼接成张量，基于非局部相似性将预设的广义张量核范数引入为正则化项建立空间系数矩阵C(3)的求解模型，所述预设的广义张量核范数为张量三个不同模态的张量核范数的加权平均和，且每一个模态的张量核范数为为张量沿该模态展开后进行傅里叶变换得到的新张量的奇异值对数和，采用交替方向乘子法优化求解模型得到空间系数矩阵C(3)；将光谱基D和空间系数矩阵C(3)融合，得到比长波高光谱图像Y(3)分辨率更高的长波红外高光谱图像X。
可选地，所述将输入的长波高光谱图像Y(3)中进行截断奇异值分解提取光谱基D包括：基于Y(3)=UΣVT将高光谱图像Y(3)进行奇异值分解，其中U为分解得到的左奇异矩阵，Σ为分解得到的奇异值矩阵，V为分解得到的右奇异矩阵，上标T表示转置操作；从奇异值矩阵Σ中提取指定数量L个最大的奇异值作为光谱基D。
可选地，所述将输入的多光谱图像Z(3)进行聚类，根据得到的聚类结构对待求解的空间系数矩阵C(3)进行相同聚类并将得到的聚块拼接成张量包括：
S101，将多光谱图像空间根据预设的空间大小和光谱大小划分为空间大小为
Figure SMS_1
且光谱大小为s的多个斑块，其中/>
Figure SMS_2
为斑块大小；
S102，将划分得到的斑块采用预设的聚类方法聚类为：
Figure SMS_3
，
上式中，
Figure SMS_4
为第k个多光谱图像聚类簇，/>
Figure SMS_5
为第k个多光谱图像聚类簇中第j个斑块，/>
Figure SMS_6
表示第k个聚类簇中斑块的个数，/>
Figure SMS_7
为聚类簇的总数量；
S103，根据得到的聚类结构对待求解的空间系数矩阵C(3)进行相同聚类为：
Figure SMS_8
，
上式中，
Figure SMS_9
为第k个空间系数矩阵聚类簇，/>
Figure SMS_10
为第k个空间系数矩阵聚类簇中第j个聚块，/>
Figure SMS_11
与/>
Figure SMS_12
位置相同，/>
Figure SMS_13
表示维度，/>
Figure SMS_14
为光谱基D中包含的奇异值数量；
S104，分别将任意第k个空间系数矩阵聚类簇
Figure SMS_15
中的聚块拼接成张量
Figure SMS_16
。
可选地，所述张量三个不同模态的张量核范数的函数表达式为：
Figure SMS_17
，
Figure SMS_18
，
Figure SMS_19
，
上式中，
Figure SMS_20
、/>
Figure SMS_21
和/>
Figure SMS_22
分别为张量第一、二和三模态的张量核范数，/>
Figure SMS_23
～/>
Figure SMS_24
分别为张量的三个模态的维度，LS为奇异值对数和，
Figure SMS_25
和/>
Figure SMS_26
分别表示张量沿三个模态展开后进行傅里叶变换得到的新张量。
可选地，所述奇异值对数和的计算函数表达式为：
Figure SMS_27
，
上式中，
Figure SMS_28
表示矩阵A的奇异值对数和，/>
Figure SMS_29
表示矩阵A的第i个奇异值，/>
Figure SMS_30
为接近0的正数。
可选地，所述建立空间系数矩阵C(3)的求解模型的函数表达式为：
Figure SMS_31
，
上式中，C(3)表示空间系数矩阵，Y(3)表示长波高光谱图像，D表示光谱基，B为卷积模糊矩阵，S为空间一致下采样矩阵，R为光谱响应函数矩阵，Z(3)表示多光谱图像，
Figure SMS_33
为聚类簇的总数量，/>
Figure SMS_35
～/>
Figure SMS_37
为张量三个不同模态的张量核范数的权重，/>
Figure SMS_32
、
Figure SMS_36
和/>
Figure SMS_38
分别为张量三个不同模态的张量核范数，/>
Figure SMS_39
是由第k个空间系数矩阵聚类簇/>
Figure SMS_34
中的聚块拼接而成的张量。
可选地，所述采用交替方向乘子法优化求解模型得到空间系数矩阵C(3)包括：
S201，对求解模型的正则化项进行分解，并通过引入变量
Figure SMS_40
和
Figure SMS_41
，其中/>
Figure SMS_42
表示空间系数矩阵，得到以下增广的拉格朗日函数：
Figure SMS_43
上式中，
Figure SMS_46
为拉格朗日函数，/>
Figure SMS_48
为惩罚参数，/>
Figure SMS_53
、/>
Figure SMS_47
和/>
Figure SMS_49
为拉格朗日乘数，/>
Figure SMS_51
、/>
Figure SMS_54
和/>
Figure SMS_45
为引入的变量，/>
Figure SMS_50
、/>
Figure SMS_52
和/>
Figure SMS_55
分别为引入变量后的张量三个不同模态的张量核范数，/>
Figure SMS_44
表示空间系数矩阵；
S202，将空间系数矩阵C(3)的求解转换为多个子问题，分别包括空间系数矩阵C(3)的求解，引入变量
Figure SMS_56
、/>
Figure SMS_57
和/>
Figure SMS_58
的求解，以及拉格朗日乘数/>
Figure SMS_59
、/>
Figure SMS_60
和/>
Figure SMS_61
的求解；
S203，采用交替方向乘子法迭代求解多个子问题，最终得到空间系数矩阵C(3)。
可选地，步骤S203中采用交替方向乘子法迭代求解多个子问题时，空间系数矩阵C(3)的更新函数表达式为：
Figure SMS_62
上式中，
Figure SMS_65
，/>
Figure SMS_69
，/>
Figure SMS_70
为/>
Figure SMS_63
、/>
Figure SMS_67
和/>
Figure SMS_71
沿着第一、二和三模态展开得到的矩阵，
Figure SMS_73
，/>
Figure SMS_64
，/>
Figure SMS_68
为/>
Figure SMS_72
、/>
Figure SMS_74
和/>
Figure SMS_66
沿着第一、二和三模态展开得到的矩阵；强制上述空间系数矩阵C(3)的更新的函数表达式对空间系数矩阵C(3)的导数为0，并根据下式计算空间系数矩阵C(3)：
Figure SMS_75
，
上式中，H1、H2和H3为中间变量，且有：
Figure SMS_76
，
Figure SMS_77
，
Figure SMS_78
，
上式中，
Figure SMS_79
为大小为/>
Figure SMS_80
的单位矩阵；
步骤S203中采用交替方向乘子法迭代求解多个子问题时，包括首先根据下式求解第k次迭代的变量
Figure SMS_81
、/>
Figure SMS_82
和/>
Figure SMS_83
：
Figure SMS_84
，
Figure SMS_85
，
Figure SMS_86
，
上式中，
Figure SMS_87
、/>
Figure SMS_88
和/>
Figure SMS_89
为中间变量，LS为奇异值对数和，/>
Figure SMS_90
、/>
Figure SMS_91
和
Figure SMS_92
分别表示张量沿第一、二和三模态展开后进行傅里叶变换得到的新张量；且有：/>
Figure SMS_93
，
Figure SMS_94
，
Figure SMS_95
，
上式中，
Figure SMS_96
，/>
Figure SMS_100
，/>
Figure SMS_104
分别为拉格朗日乘数/>
Figure SMS_97
,/>
Figure SMS_102
中相似的簇结构组合而成的三维张量，“/>
Figure SMS_107
”，“/>
Figure SMS_108
”，“/>
Figure SMS_98
”分别表示沿第一、二和三模态进行FFT变换；然后分别将第k次迭代的变量/>
Figure SMS_103
、/>
Figure SMS_106
和/>
Figure SMS_109
进行傅里叶反变换得到第k次迭代的变量/>
Figure SMS_99
、/>
Figure SMS_101
和/>
Figure SMS_105
；
步骤S203中采用交替方向乘子法迭代求解多个子问题时，拉格朗日乘数
Figure SMS_110
、/>
Figure SMS_111
和/>
Figure SMS_112
的计算函数表达式为：
Figure SMS_113
，
Figure SMS_114
，
Figure SMS_115
，
上式中，变量
Figure SMS_118
、/>
Figure SMS_121
和/>
Figure SMS_124
分别取值为第k次迭代的变量/>
Figure SMS_117
、/>
Figure SMS_119
和/>
Figure SMS_122
，/>
Figure SMS_125
、/>
Figure SMS_116
和/>
Figure SMS_120
分别为/>
Figure SMS_123
沿第一、二和三模态变换得到的张量。
此外，本发明还提供一种长波红外高光谱及多光谱图像融合系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述长波红外高光谱及多光谱图像融合方法的步骤。
此外，本发明还提供一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述长波红外高光谱及多光谱图像融合方法的步骤。
和现有技术相比，本发明主要具有下述优点：本发明能够实现对长波红外多光谱图像和长波红外低分辨率高光谱图像进行融合，获得长波红外高分辨率高光谱图像，填补了长波红外高光谱和多光谱图像融合领域的空白，而且通过基于非局部相似性将预设的广义张量核范数引入为正则化项建立空间系数矩阵C(3)的求解模型，采用交替方向乘子法优化求解模型得到空间系数矩阵C(3)；将光谱基D和空间系数矩阵C(3)融合，得到比长波高光谱图像Y(3)分辨率更高的长波红外高光谱图像X，具有融合精度高，实现简单、鲁棒性强的优点。
附图说明
图1为本发明实施例方法的基本流程示意图。
具体实施方式
如图1所示，本实施例长波红外高光谱与多光谱图像融合方法，包括将输入的长波高光谱图像Y(3)进行截断奇异值分解提取光谱基D；将输入的多光谱图像Z(3)进行聚类，根据得到的聚类结构对待求解的空间系数矩阵C(3)进行相同聚类并将得到的聚块拼接成张量，基于非局部相似性将预设的广义张量核范数引入为正则化项建立空间系数矩阵C(3)的求解模型，所述预设的广义张量核范数为张量三个不同模态的张量核范数的加权平均和，且每一个模态的张量核范数为为张量沿该模态展开后进行傅里叶变换得到的新张量的奇异值对数和，采用交替方向乘子法优化求解模型得到空间系数矩阵C(3)；将光谱基D和空间系数矩阵C(3)融合，得到比长波高光谱图像Y(3)分辨率更高的长波红外高光谱图像X。
本实施例中，将预期得到的长波红外高光谱图像X沿光谱维度进行展开，得到矩阵X(3)，将矩阵进一步分解为X(3)= DC(3)，其中D为光谱基，C(3)为空间系数矩阵。在这种情况下，关于矩阵X(3)的融合问题被转化为关于D和空间系数矩阵C(3)的估计问题。
由于低分辨率高光谱图像保留了大部分的光谱信息，因可以采用截断奇异值分解(SVD)的方法从低分辨率高光谱图像中提取光谱基D。本实施例中，将输入的长波高光谱图像Y(3)中进行截断奇异值分解提取光谱基D包括：基于Y(3)=UΣVT将高光谱图像Y(3)进行奇异值分解，其中U为分解得到的左奇异矩阵，Σ为分解得到的奇异值矩阵，V为分解得到的右奇异矩阵，上标T表示转置操作；从奇异值矩阵Σ中提取指定数量L个最大的奇异值作为光谱基D，可表示为：D = U(:, 1 : L)，即可从左奇异矩阵U、奇异值矩阵Σ中提取指定数量L个最大的奇异值。
本实施例中，将输入的多光谱图像Z(3)进行聚类，根据得到的聚类结构对待求解的空间系数矩阵C(3)进行相同聚类并将得到的聚块拼接成张量包括：
S101，将多光谱图像空间根据预设的空间大小和光谱大小划分为空间大小为
Figure SMS_126
且光谱大小为s的多个斑块，其中/>
Figure SMS_127
为斑块大小；
S102，将划分得到的斑块采用预设的聚类方法聚类为：
Figure SMS_128
，
上式中，
Figure SMS_129
为第k个多光谱图像聚类簇，/>
Figure SMS_130
为第k个多光谱图像聚类簇中第j个斑块，/>
Figure SMS_131
表示第k个聚类簇中斑块的个数，/>
Figure SMS_132
为聚类簇的总数量；
S103，根据得到的聚类结构对待求解的空间系数矩阵C(3)进行相同聚类为：
Figure SMS_133
，
上式中，
Figure SMS_134
为第k个空间系数矩阵聚类簇，/>
Figure SMS_135
为第k个空间系数矩阵聚类簇中第j个聚块，/>
Figure SMS_136
与/>
Figure SMS_137
位置相同，/>
Figure SMS_138
表示维度，/>
Figure SMS_139
为光谱基D中包含的奇异值数量；
S104，分别将任意第k个空间系数矩阵聚类簇
Figure SMS_140
中的聚块拼接成张量
Figure SMS_141
。
因为多光谱图像空间分辨率高，保留了大量的空间结构，因此本实施例中选择从多光谱图像中学习非局部相似性。本实施例中将多光谱图像空间（MSI空间）划分为空间大小为
Figure SMS_142
且光谱大小为s的多个斑块，然后将这些斑块聚类为k个群（聚类簇），例如采用K-means++的方法进行聚类。空间系数矩阵C(3)中主要包含的是高分辨率HSI图像的空间信息，因此，上述步骤中对MSI图像的聚类操作对于空间系数矩阵C(3)同样适用。采用上述相同的方法聚类。将聚块结合在一起构成三维张量/>
Figure SMS_143
。张量/>
Figure SMS_144
由许多相似的聚块组合而成，因此它的三个模态高度相关，这为后续利用非局部相关的引入正则化参数提供了基础。
传统的张量核范数的定义为：
Figure SMS_145
，
传统张量核范数的计算需要先在张量的第三模态进行FFT变换，然后计算每一个正面切片矩阵的核范数，最后得到张量的核范数。传统张量核范数具有一定的局限性，在一定程度上忽视了张量三个不同模态之间的联系，且定义较为复杂。为了解决这一问题，本实施例中以张量奇异值分解为出发点，提出了一个新的广义张量核范数，它在求解过程中对张量的三个模态都进行快速傅立叶变换而不是只对第三个模态进行快速傅立叶变换，其函数表达式为：
Figure SMS_146
，
Figure SMS_147
，
Figure SMS_148
，
Figure SMS_149
和/>
Figure SMS_150
分别表示张量沿第一、第二和第三模态展开后进行傅里叶变换得到的新张量，/>
Figure SMS_151
, ||/>
Figure SMS_152
,和/>
Figure SMS_153
分别是沿着第一、第二和第三模态新定义的张量核范数。通过这一方法不仅可以避免模式排列带来的不利影响，还可以为张量获取三个模态之间更全面的相关关系。同时，由于奇异值对数和(LS)在逼近矩阵秩方面表现出优越的性能，本实施例中采用奇异值对数和来代替矩阵核范数。本实施例中预设的广义张量核范数为张量三个不同模态的张量核范数的加权平均和，且张量三个不同模态的张量核范数的函数表达式为：
Figure SMS_154
，
Figure SMS_155
，
Figure SMS_156
，
上式中，
Figure SMS_157
、/>
Figure SMS_158
和/>
Figure SMS_159
分别为张量第一、二和三模态的张量核范数，/>
Figure SMS_160
～/>
Figure SMS_161
分别为张量的三个模态的维度，LS为奇异值对数和，
Figure SMS_162
和/>
Figure SMS_163
分别表示张量沿三个模态展开后进行傅里叶变换得到的新张量。其中，奇异值对数和的计算函数表达式为：
Figure SMS_164
，
上式中，
Figure SMS_165
表示矩阵A的奇异值对数和，/>
Figure SMS_166
表示矩阵A的第i个奇异值，/>
Figure SMS_167
为接近0的正数。张量三个不同模态的张量核范数的加权平均和可表示为：
Figure SMS_168
，
上式中，
Figure SMS_169
～/>
Figure SMS_170
为张量三个不同模态的张量核范数的权重。本实施例方法提出的新的广义张量核范数在传统张量核范数的基础上选择对张量的三个模态同时进行FFT变换，并采用奇异值的对数和来代替原有的矩阵核范数，更好的利用了三个不同模态之间的相关性，一定程度上解决了原有张量核范数定义不灵活，使用不方便的缺点，也极大的提高了长波红外高光谱和多光谱图像融合模型的性能。
一般情况下，低分辨率高光谱图像和多光谱图像可以看作高分辨率高光谱图像下采样的结果，即Y(3)= X(3)BS；Z(3)= RX(3)。其中X(3)，Y(3)，Z(3)分别为高分辨率高光谱图像、高光谱图像以及多光谱图像展开得到的矩阵，B为卷积模糊矩阵，S为空间一致下采样矩阵，R为光谱响应函数矩阵。在得到光谱基D以后，空间系数矩阵C(3)的估计可以表示为：
Figure SMS_171
，
上式中，C(3)表示空间系数矩阵，Y(3)表示长波高光谱图像，D表示光谱基，B为卷积模糊矩阵，S为空间一致下采样矩阵，R为光谱响应函数矩阵，Z(3)表示多光谱图像。
高光谱图像HSI和多光谱图像MSI是高分辨率高光谱图像的下采样版本，因此高光谱图像HSI和多光谱图像MSI所包含数据量远小于求解高分辨率HSI所需的的数据量，由相关数学原理可知求解得到的空间系数矩阵C(3)结果不唯一。为了获得更加准确的结果，本实施例中需要在求解空间系数矩阵C(3)的过程中需要加入一些先验信息进行正则化。在众多先验信息的使用中，非局部相似性的使用被证明可以产生理想的效果。在此基础上，通过引入张量三个不同模态的张量核范数的加权平均和，则有本实施例中建立空间系数矩阵C(3)的求解模型的函数表达式为：
Figure SMS_172
，
上式中，C(3)表示空间系数矩阵，Y(3)表示长波高光谱图像，D表示光谱基，B为卷积模糊矩阵，S为空间一致下采样矩阵，R为光谱响应函数矩阵，Z(3)表示多光谱图像，
Figure SMS_174
为聚类簇的总数量，/>
Figure SMS_176
～/>
Figure SMS_179
为张量三个不同模态的张量核范数的权重，/>
Figure SMS_175
、/>
Figure SMS_177
和/>
Figure SMS_178
分别为张量三个不同模态的张量核范数，/>
Figure SMS_180
是由第k个空间系数矩阵聚类簇/>
Figure SMS_173
中的聚块拼接而成的张量。
本实施例中，述采用交替方向乘子法（ADMM法）优化求解模型得到空间系数矩阵C(3)包括：
S201，为了方便计算，对求解模型的正则化项进行分解，并通过引入变量
Figure SMS_181
和/>
Figure SMS_182
，其中/>
Figure SMS_183
表示空间系数矩阵，得到以下增广的拉格朗日函数：
Figure SMS_184
上式中，
Figure SMS_186
为拉格朗日函数，/>
Figure SMS_194
为惩罚参数，/>
Figure SMS_196
、/>
Figure SMS_188
和/>
Figure SMS_189
为拉格朗日乘数，/>
Figure SMS_191
、/>
Figure SMS_193
和/>
Figure SMS_187
为引入的变量，/>
Figure SMS_190
、/>
Figure SMS_192
和/>
Figure SMS_195
分别为引入变量后的张量三个不同模态的张量核范数，/>
Figure SMS_185
表示空间系数矩阵；
S202，将空间系数矩阵C(3)的求解转换为多个子问题，分别包括空间系数矩阵C(3)的求解，引入变量
Figure SMS_197
、/>
Figure SMS_198
和/>
Figure SMS_199
的求解，以及拉格朗日乘数/>
Figure SMS_200
、/>
Figure SMS_201
和/>
Figure SMS_202
的求解；
S203，采用交替方向乘子法迭代求解多个子问题，最终得到空间系数矩阵C(3)。
可选地，步骤S203中采用交替方向乘子法迭代求解多个子问题时，空间系数矩阵C(3)的更新函数表达式为：
Figure SMS_203
上式中，
Figure SMS_204
，/>
Figure SMS_210
，/>
Figure SMS_212
为/>
Figure SMS_206
、/>
Figure SMS_208
和/>
Figure SMS_211
沿着第一、二和三模态展开得到的矩阵，
Figure SMS_213
，/>
Figure SMS_205
，/>
Figure SMS_209
为/>
Figure SMS_214
、/>
Figure SMS_215
和/>
Figure SMS_207
沿着第一、二和三模态展开得到的矩阵；强制上述空间系数矩阵C(3)的更新的函数表达式对空间系数矩阵C(3)的导数为0；需要说明的是，前文公式中的：
Figure SMS_216
,/>
Figure SMS_217
和
Figure SMS_218
，
以及：
Figure SMS_219
,/>
Figure SMS_220
和/>
Figure SMS_221
两者实质上是等效的，只是表现的形式不同，前者是针对矩阵的表形式，而后者是针对张量的表示。空间系数矩阵C(3)的更新函数表达式是凸性的，因此可以找到唯一的解。本实施例中，并根据下式计算空间系数矩阵C(3)：
Figure SMS_222
，
上式中，H1、H2和H3为中间变量，且有：
Figure SMS_223
，
Figure SMS_224
，
Figure SMS_225
，
上式中，
Figure SMS_226
为大小为/>
Figure SMS_227
的单位矩阵；
步骤S203中采用交替方向乘子法迭代求解多个子问题时，包括首先根据下式求解第k次迭代的变量
Figure SMS_228
、/>
Figure SMS_229
和/>
Figure SMS_230
：
Figure SMS_231
，
Figure SMS_232
，
Figure SMS_233
，
上式中，
Figure SMS_234
、/>
Figure SMS_235
和/>
Figure SMS_236
为中间变量，LS为奇异值对数和，/>
Figure SMS_237
、/>
Figure SMS_238
和
Figure SMS_239
分别表示张量沿第一、二和三模态展开后进行傅里叶变换得到的新张量；且有：
Figure SMS_240
，/>
Figure SMS_241
，
Figure SMS_242
，
上式中，
Figure SMS_249
，/>
Figure SMS_243
，/>
Figure SMS_248
分别为拉格朗日乘数/>
Figure SMS_246
,/>
Figure SMS_250
中相似的簇结构组合而成的三维张量，“/>
Figure SMS_255
”，“/>
Figure SMS_258
”，“/>
Figure SMS_253
”分别表示沿第一、二和三模态进行FFT变换；然后分别将第k次迭代的变量/>
Figure SMS_260
、/>
Figure SMS_245
和/>
Figure SMS_251
进行傅里叶反变换得到第k次迭代的变量/>
Figure SMS_254
、/>
Figure SMS_257
和/>
Figure SMS_259
；本实施例中将关于张量/>
Figure SMS_262
的求解问题转化成了/>
Figure SMS_256
的求解问题，通过求解不同k值的情况下求解出不同的/>
Figure SMS_264
从而反推/>
Figure SMS_261
。关于/>
Figure SMS_263
的估计，可由/>
Figure SMS_244
进行傅里叶反变换得到。对于/>
Figure SMS_247
本实施例中采用水平逐片求解的方式。通过这一方法，关于三维张量的求解被转化成了张量切片得到的矩阵的求解。每个水平切片矩阵/>
Figure SMS_252
(i, :, :) 的低秩矩阵恢复问题可以通过以下方法解决：
Figure SMS_265
，
其中
Figure SMS_266
由矩阵/>
Figure SMS_271
, : )通过SVD奇异值分解得到，即
Figure SMS_273
。/>
Figure SMS_268
为对角矩阵，其对角元素通过对/>
Figure SMS_269
的对角元素进行阈值化操作得到，即/>
Figure SMS_270
Figure SMS_272
，/>
Figure SMS_267
表示惩罚系数；
Figure SMS_274
，
其中，
Figure SMS_276
表示阈值化函数，/>
Figure SMS_280
为自变量；/>
Figure SMS_282
，
Figure SMS_277
，其中/>
Figure SMS_281
是一个非常小（接近但不等于0）的正数，/>
Figure SMS_283
表示预设定参数。关于对/>
Figure SMS_285
,/>
Figure SMS_275
的更新和对/>
Figure SMS_279
的更新方法大致相同，只是在进行张量切片和变换时所采用的方法不同，在对/>
Figure SMS_284
的更新所涉及的切片和变换是沿着张量的第一模态，而对/>
Figure SMS_286
,/>
Figure SMS_278
的更新所涉及的切片和变换是沿着张量的第二、三模态。
步骤S203中采用交替方向乘子法迭代求解多个子问题时，拉格朗日乘数
Figure SMS_287
、/>
Figure SMS_288
和/>
Figure SMS_289
的计算函数表达式为：
Figure SMS_290
，
Figure SMS_291
，
Figure SMS_292
，/>
上式中，变量
Figure SMS_295
、/>
Figure SMS_296
和/>
Figure SMS_299
分别取值为第k次迭代的变量/>
Figure SMS_293
、/>
Figure SMS_298
和/>
Figure SMS_300
，/>
Figure SMS_302
、/>
Figure SMS_294
和/>
Figure SMS_297
分别为/>
Figure SMS_301
沿第一、二和三模态变换得到的张量。
为了对本实施例中提出的基于一种新的广义低阶张量正则化的长波红外高光谱图像融合方法进行验证，本实施例中在公开数据集中进行了实验。在实验中，将本实施例中提出的融合方法与四种现阶段效果较好的超分辨率HSI方法进行对比，分别是NSSR、GLORIA、FSTRD和CSTF。同时本实施例中采用峰值信噪比（PSNR），光谱角(SAM)，通用图像质量指标（UIQI），相对无量纲全局误差(ERGAS)这四个指标作为图像融合结果的评价指标。
在实验中，本实施例中选用CAVE数据集和Pavia数据集。CAVE数据集中的每个高光谱图像有512×512像素和31个谱带。高光谱图像集的光谱范围为400nm到700nm，波长间隔为10nm。CAVE数据集的前两个谱带是模糊的，因此本实施例中去除前两个谱带以避免偏差。本实施例中使用来自CAVE数据集的高光谱图像作为参考图像。对参考图像通过应用7×7高斯模糊，然后在两个空间维度中每32个像素下采样来模拟LR-HSI，并使用尼康D700相机的响应来生成三波段低分辨率高光谱图像LR-HSI。Pavia数据有115个光谱波段，610×340个空间像素。为了去除低信噪比频带，本实施例中将高光谱图像降低为93个频带，选择左上方256×256×93像素大小的图像作为地面真值。为了模拟低分辨率高光谱图像LR-HSI，首先用7×7的高斯模糊对HR-HSI的每个频带进行滤波，然后在两种空间模式下每四个像素下采样。利用类Ikonos反射光谱响应滤波器对四个波段的高分辨率高光谱图像HR-MSI进行了模拟。表一、表二分别是四种不同的方法在Pavia数据集和CAVE数据集上实验的结果，表现最好的由加粗标出。
表一：本实施例方法和四种不同的现有方法在Pavia数据集上实验的结果。
Figure SMS_303
表二：本实施例方法和四种不同的现有方法在CAVE数据集上实验的结果。
Figure SMS_304
由表一和表二可以看出，本实施例所提出的长波红外高光谱图像融合方法在CAVE数据集和Pavia数据集上展示了强大的性能，所有的评价指标都优于其他方法（NSSR、GLORIA、CSTF以及FSTRD方法）。其原因一方面是本实施例方法利用了高光谱图像存在于低维子空间的先验性,另一方面本实施例方法中所提出的新的广义张量核范数能够很大程度的获取张量三个不同模态之间的相关关系，减少模态排列带来的不利影响，能够更好的应用于基于非局部相似性的正则化。
综上所述，本实施例方法在原有张量核范数的对单一模态进行FFT变换的基础上选择对张量所有模态进FFT变换，有效的缓解了原有张量核范数定义困难，极易受到模态排列影响的问题，能够更好的获取张量三个模态间的相关信息，更好的应用非局部相似性作为正则化参数。同时采用奇异值对数和来代替矩阵核范数，更好的逼近矩阵的秩，进而更好的逼近张量的核范数。通过在实验中与其他集中融合方法的对比可知，本实施例模型融合精度更高，空间结构保存更好，误差更小，同时本实施例模型还具有结构简单，迁移性好等优点。
此外，本发明还提供一种长波红外高光谱及多光谱图像融合系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述长波红外高光谱及多光谱图像融合方法的步骤。
此外，本发明还提供一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述长波红外高光谱及多光谱图像融合方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种长波红外高光谱与多光谱图像融合方法，其特征在于，包括将输入的长波高光谱图像Y(3)进行截断奇异值分解提取光谱基D；将输入的多光谱图像Z(3)进行聚类，根据得到的聚类结构对待求解的空间系数矩阵C(3)进行相同聚类并将得到的聚块拼接成张量，基于非局部相似性将预设的广义张量核范数引入为正则化项建立空间系数矩阵C(3)的求解模型，所述预设的广义张量核范数为张量三个不同模态的张量核范数的加权平均和，且每一个模态的张量核范数为为张量沿该模态展开后进行傅里叶变换得到的新张量的奇异值对数和，采用交替方向乘子法优化求解模型得到空间系数矩阵C(3)；将光谱基D和空间系数矩阵C(3)融合，得到比长波高光谱图像Y(3)分辨率更高的长波红外高光谱图像X。
2.根据权利要求1所述的长波红外高光谱与多光谱图像融合方法，其特征在于，所述将输入的长波高光谱图像Y(3)中进行截断奇异值分解提取光谱基D包括：基于Y(3)=UΣVT将高光谱图像Y(3)进行奇异值分解，其中U为分解得到的左奇异矩阵，Σ为分解得到的奇异值矩阵，V为分解得到的右奇异矩阵，上标T表示转置操作；从奇异值矩阵Σ中提取指定数量L个最大的奇异值作为光谱基D。
3.根据权利要求1所述的长波红外高光谱与多光谱图像融合方法，其特征在于，所述将输入的多光谱图像Z(3)进行聚类，根据得到的聚类结构对待求解的空间系数矩阵C(3)进行相同聚类并将得到的聚块拼接成张量包括：
S101，将多光谱图像空间根据预设的空间大小和光谱大小划分为空间大小为
Figure QLYQS_1
且光谱大小为s的多个斑块，其中/>
Figure QLYQS_2
为斑块大小；
S102，将划分得到的斑块采用预设的聚类方法聚类为：
Figure QLYQS_3
，
上式中，
Figure QLYQS_4
为第k个多光谱图像聚类簇，/>
Figure QLYQS_5
为第k个多光谱图像聚类簇中第j个斑块，/>
Figure QLYQS_6
表示第k个聚类簇中斑块的个数，/>
Figure QLYQS_7
为聚类簇的总数量；
S103，根据得到的聚类结构对待求解的空间系数矩阵C(3)进行相同聚类为：
Figure QLYQS_8
，
上式中，
Figure QLYQS_9
为第k个空间系数矩阵聚类簇，/>
Figure QLYQS_10
为第k个空间系数矩阵聚类簇中第j个聚块，/>
Figure QLYQS_11
与/>
Figure QLYQS_12
位置相同，/>
Figure QLYQS_13
表示维度，/>
Figure QLYQS_14
为光谱基D中包含的奇异值数量；
S104，分别将任意第k个空间系数矩阵聚类簇
Figure QLYQS_15
中的聚块拼接成张量
Figure QLYQS_16
。
4.根据权利要求1所述的长波红外高光谱与多光谱图像融合方法，其特征在于，所述张量三个不同模态的张量核范数的函数表达式为：
Figure QLYQS_17
，
Figure QLYQS_18
，/>
Figure QLYQS_19
，
上式中，
Figure QLYQS_20
、/>
Figure QLYQS_21
和/>
Figure QLYQS_22
分别为张量第一、二和三模态的张量核范数，/>
Figure QLYQS_23
～/>
Figure QLYQS_24
分别为张量的三个模态的维度，LS为奇异值对数和，
Figure QLYQS_25
和/>
Figure QLYQS_26
分别表示张量沿三个模态展开后进行傅里叶变换得到的新张量。
5.根据权利要求4所述的长波红外高光谱与多光谱图像融合方法，其特征在于，所述奇异值对数和的计算函数表达式为：
Figure QLYQS_27
，
上式中，
Figure QLYQS_28
表示矩阵A的奇异值对数和，/>
Figure QLYQS_29
表示矩阵A的第i个奇异值，/>
Figure QLYQS_30
为接近0的正数。
6.根据权利要求4所述的长波红外高光谱与多光谱图像融合方法，其特征在于，所述建立空间系数矩阵C(3)的求解模型的函数表达式为：
Figure QLYQS_31
，
上式中，C(3)表示空间系数矩阵，Y(3)表示长波高光谱图像，D表示光谱基，B为卷积模糊矩阵，S为空间一致下采样矩阵，R为光谱响应函数矩阵，Z(3)表示多光谱图像，
Figure QLYQS_32
为聚类簇的总数量，/>
Figure QLYQS_35
～/>
Figure QLYQS_37
为张量三个不同模态的张量核范数的权重，/>
Figure QLYQS_33
、/>
Figure QLYQS_36
和/>
Figure QLYQS_38
分别为张量三个不同模态的张量核范数，/>
Figure QLYQS_39
是由第k个空间系数矩阵聚类簇/>
Figure QLYQS_34
中的聚块拼接而成的张量。
7.根据权利要求6所述的长波红外高光谱与多光谱图像融合方法，其特征在于，所述采用交替方向乘子法优化求解模型得到空间系数矩阵C(3)包括：
S201，对求解模型的正则化项进行分解，并通过引入变量
Figure QLYQS_40
和/>
Figure QLYQS_41
，其中/>
Figure QLYQS_42
表示空间系数矩阵，得到以下增广的拉格朗日函数：/>
Figure QLYQS_43
上式中，
Figure QLYQS_46
为拉格朗日函数，/>
Figure QLYQS_48
为惩罚参数，/>
Figure QLYQS_50
、/>
Figure QLYQS_45
和/>
Figure QLYQS_52
为拉格朗日乘数，/>
Figure QLYQS_54
、/>
Figure QLYQS_55
和/>
Figure QLYQS_44
为引入的变量，/>
Figure QLYQS_49
、/>
Figure QLYQS_51
和/>
Figure QLYQS_53
分别为引入变量后的张量三个不同模态的张量核范数，/>
Figure QLYQS_47
表示空间系数矩阵；
S202，将空间系数矩阵C(3)的求解转换为多个子问题，分别包括空间系数矩阵C(3)的求解，引入变量
Figure QLYQS_56
、/>
Figure QLYQS_57
和/>
Figure QLYQS_58
的求解，以及拉格朗日乘数/>
Figure QLYQS_59
、/>
Figure QLYQS_60
和/>
Figure QLYQS_61
的求解；
S203，采用交替方向乘子法迭代求解多个子问题，最终得到空间系数矩阵C(3)。
8.根据权利要求7所述的长波红外高光谱与多光谱图像融合方法，其特征在于，步骤S203中采用交替方向乘子法迭代求解多个子问题时，空间系数矩阵C(3)的更新函数表达式为：
Figure QLYQS_62
上式中，
Figure QLYQS_64
，/>
Figure QLYQS_68
，/>
Figure QLYQS_70
为/>
Figure QLYQS_65
、/>
Figure QLYQS_69
和/>
Figure QLYQS_72
沿着第一、二和三模态展开得到的矩阵，/>
Figure QLYQS_74
，
Figure QLYQS_63
，/>
Figure QLYQS_67
为/>
Figure QLYQS_71
、/>
Figure QLYQS_73
和/>
Figure QLYQS_66
沿着第一、二和三模态展开得到的矩阵；强制上述空间系数矩阵C(3)的更新的函数表达式对空间系数矩阵C(3)的导数为0，并根据下式计算空间系数矩阵C(3)：
Figure QLYQS_75
，
上式中，H1、H2和H3为中间变量，且有：
Figure QLYQS_76
，
Figure QLYQS_77
，/>
Figure QLYQS_78
，
上式中，
Figure QLYQS_79
为大小为/>
Figure QLYQS_80
的单位矩阵；
步骤S203中采用交替方向乘子法迭代求解多个子问题时，包括首先根据下式求解第k次迭代的变量
Figure QLYQS_81
、/>
Figure QLYQS_82
和/>
Figure QLYQS_83
：
Figure QLYQS_84
，
Figure QLYQS_85
，
Figure QLYQS_86
，
上式中，
Figure QLYQS_87
、/>
Figure QLYQS_88
和/>
Figure QLYQS_89
为中间变量，LS为奇异值对数和，/>
Figure QLYQS_90
、/>
Figure QLYQS_91
和
Figure QLYQS_92
分别表示张量沿第一、二和三模态展开后进行傅里叶变换得到的新张量；且有：
Figure QLYQS_93
，
Figure QLYQS_94
，
Figure QLYQS_95
，
上式中，
Figure QLYQS_97
，/>
Figure QLYQS_103
，/>
Figure QLYQS_106
分别为拉格朗日乘数/>
Figure QLYQS_98
, />
Figure QLYQS_101
中相似的簇结构组合而成的三维张量，“/>
Figure QLYQS_105
”，“/>
Figure QLYQS_107
”，“/>
Figure QLYQS_99
”分别表示沿第一、二和三模态进行FFT变换；然后分别将第k次迭代的变量/>
Figure QLYQS_104
、/>
Figure QLYQS_108
和/>
Figure QLYQS_109
进行傅里叶反变换得到第k次迭代的变量/>
Figure QLYQS_96
、/>
Figure QLYQS_100
和/>
Figure QLYQS_102
；
步骤S203中采用交替方向乘子法迭代求解多个子问题时，拉格朗日乘数
Figure QLYQS_110
、/>
Figure QLYQS_111
和/>
Figure QLYQS_112
的计算函数表达式为：
Figure QLYQS_113
，
Figure QLYQS_114
，
Figure QLYQS_115
，
上式中，变量
Figure QLYQS_116
、/>
Figure QLYQS_121
和/>
Figure QLYQS_123
分别取值为第k次迭代的变量/>
Figure QLYQS_118
、/>
Figure QLYQS_119
和/>
Figure QLYQS_122
，/>
Figure QLYQS_125
、/>
Figure QLYQS_117
和/>
Figure QLYQS_120
分别为/>
Figure QLYQS_124
沿第一、二和三模态变换得到的张量。
9.一种长波红外高光谱与多光谱图像融合系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述长波红外高光谱与多光谱图像融合方法。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述长波红外高光谱与多光谱图像融合方法。
CN202310195183.6A 2023-03-03 2023-03-03 一种长波红外高光谱与多光谱图像融合方法、系统及介质 Active CN115880199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310195183.6A CN115880199B (zh) 2023-03-03 2023-03-03 一种长波红外高光谱与多光谱图像融合方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310195183.6A CN115880199B (zh) 2023-03-03 2023-03-03 一种长波红外高光谱与多光谱图像融合方法、系统及介质

Publications (2)

Publication Number Publication Date
CN115880199A true CN115880199A (zh) 2023-03-31
CN115880199B CN115880199B (zh) 2023-05-16

Family

ID=85761890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310195183.6A Active CN115880199B (zh) 2023-03-03 2023-03-03 一种长波红外高光谱与多光谱图像融合方法、系统及介质

Country Status (1)

Country Link
CN (1) CN115880199B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245779A (zh) * 2023-05-11 2023-06-09 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129752A1 (en) * 2006-12-01 2008-06-05 Harris Corporation Spatial and Spectral Calibration of a Panchromatic, Multispectral Image Pair
US20160094827A1 (en) * 2014-09-26 2016-03-31 Xerox Corporation Hyperspectral imaging devices using hybrid vector and tensor processing
US20170205344A1 (en) * 2016-01-15 2017-07-20 The Mitre Corporation Active hyperspectral imaging system
WO2020117245A1 (en) * 2018-12-06 2020-06-11 Massachusetts Institute Of Technology Computational reconfigurable imaging spectrometer
CN111369487A (zh) * 2020-05-26 2020-07-03 湖南大学 一种高光谱和多光谱图像融合方法、系统及介质
WO2021205735A1 (en) * 2020-04-08 2021-10-14 Mitsubishi Electric Corporation Systems and methods for blind multi- spectral image fusion
CN113870159A (zh) * 2021-09-01 2021-12-31 武汉大学 一种基于动态梯度组稀疏和低秩正则化的高光谱融合方法
CN115018750A (zh) * 2022-08-08 2022-09-06 湖南大学 中波红外高光谱及多光谱图像融合方法、系统及介质
CN115131258A (zh) * 2022-06-21 2022-09-30 武汉大学 一种基于稀疏张量先验的高光谱、多光谱和全色图像融合方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129752A1 (en) * 2006-12-01 2008-06-05 Harris Corporation Spatial and Spectral Calibration of a Panchromatic, Multispectral Image Pair
US20160094827A1 (en) * 2014-09-26 2016-03-31 Xerox Corporation Hyperspectral imaging devices using hybrid vector and tensor processing
US20170205344A1 (en) * 2016-01-15 2017-07-20 The Mitre Corporation Active hyperspectral imaging system
WO2020117245A1 (en) * 2018-12-06 2020-06-11 Massachusetts Institute Of Technology Computational reconfigurable imaging spectrometer
WO2021205735A1 (en) * 2020-04-08 2021-10-14 Mitsubishi Electric Corporation Systems and methods for blind multi- spectral image fusion
CN111369487A (zh) * 2020-05-26 2020-07-03 湖南大学 一种高光谱和多光谱图像融合方法、系统及介质
CN113870159A (zh) * 2021-09-01 2021-12-31 武汉大学 一种基于动态梯度组稀疏和低秩正则化的高光谱融合方法
CN115131258A (zh) * 2022-06-21 2022-09-30 武汉大学 一种基于稀疏张量先验的高光谱、多光谱和全色图像融合方法
CN115018750A (zh) * 2022-08-08 2022-09-06 湖南大学 中波红外高光谱及多光谱图像融合方法、系统及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIN HE: "Hyperspectral Image Spectral–Spatial-Range Gabor Filtering", IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245779A (zh) * 2023-05-11 2023-06-09 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备
CN116245779B (zh) * 2023-05-11 2023-08-22 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN115880199B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
Wu et al. Fast end-to-end trainable guided filter
Li et al. Mucan: Multi-correspondence aggregation network for video super-resolution
Farbman et al. Diffusion maps for edge-aware image editing
Rabin et al. Wasserstein regularization of imaging problem
Bui et al. Point-based rendering enhancement via deep learning
CN108257093B (zh) 基于可控核与高斯过程回归的单帧图像超分辨方法
Liu et al. Adaptive sparse coding on PCA dictionary for image denoising
Gao et al. Improving the performance of infrared and visible image fusion based on latent low-rank representation nested with rolling guided image filtering
Zhang et al. A separation–aggregation network for image denoising
Lou et al. Nonlocal similarity image filtering
CN115880199A (zh) 一种长波红外高光谱与多光谱图像融合方法、系统及介质
CN106934398B (zh) 基于超像素聚类和稀疏表示的图像去噪方法
Yao et al. Principal component dictionary-based patch grouping for image denoising
Zhou et al. Adaptive weighted locality-constrained sparse coding for glaucoma diagnosis
Wei et al. Mesh defiltering via cascaded geometry recovery
Yu et al. Two-stage image decomposition and color regulator for low-light image enhancement
Li et al. Siamese conditional generative adversarial network for multi-focus image fusion
Nasrollahi et al. Deep artifact-free residual network for single-image super-resolution
Ma et al. Low-rank tensor decomposition with smooth and sparse regularization for hyperspectral and multispectral data fusion
Xiong et al. Multitask Sparse Representation Model Inspired Network for Hyperspectral Image Denoising
You et al. Single image super-resolution with non-local balanced low-rank matrix restoration
Zhang et al. A generative adversarial network with dual discriminators for infrared and visible image fusion based on saliency detection
Yang et al. Low-rank tensor completion with fractional-Jacobian-extended tensor regularization for multi-component visual data inpainting
CN114612297A (zh) 高光谱图像超分辨率重建方法及装置
Luo et al. Low-rank decomposition on transformed feature maps domain for image denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant