CN114998167A - 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法 - Google Patents

一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法 Download PDF

Info

Publication number
CN114998167A
CN114998167A CN202210528487.5A CN202210528487A CN114998167A CN 114998167 A CN114998167 A CN 114998167A CN 202210528487 A CN202210528487 A CN 202210528487A CN 114998167 A CN114998167 A CN 114998167A
Authority
CN
China
Prior art keywords
image
hyperspectral
matrix
tensor
rank
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210528487.5A
Other languages
English (en)
Other versions
CN114998167B (zh
Inventor
刘欣刚
张磊
黄增名
郭又铭
杨旻君
贺川圳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210528487.5A priority Critical patent/CN114998167B/zh
Publication of CN114998167A publication Critical patent/CN114998167A/zh
Application granted granted Critical
Publication of CN114998167B publication Critical patent/CN114998167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明属于高光谱与多光谱图像融合领域，具体提供一种基于空间‑光谱联合低秩的高光谱与多光谱图像融合方法，通过对空间‑光谱维度的非局部低秩表示和相关优化方法实现高光谱与多光谱图像的融合。在尽可能减少光谱失真的前提下，利用已知多光谱图像丰富的空间信息进行非局部自相似数据块的提取，接着考虑重构图像空间和光谱维度的低秩特性，采用低变换张量秩的方式探索图像中的相似性和相关性，最后通过分段优化的思想和交替方向乘子法迭代求解目标优化函数实现高光谱与多光谱图像的融合。本发明通过非局部联合低秩实现了高光谱与多光谱图像的有效融合，从而得到高分辨率的高光谱图像，进一步使得光谱图像的应用更加广泛。

Description

一种基于空间-光谱联合低秩的高光谱与多光谱图像融合 方法
技术领域
本发明涉及遥感图像融合领域，具体涉及一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法。
背景技术
在遥感信息领域，高光谱图像具有广泛的应用，例如地物分类、地质勘测和军事监测等。然而，受到高光谱成像设备和太阳辐射照度的限制，设计光谱成像仪时需要在分辨率和光谱波段数之间进行权衡。现有的光谱成像仪很难直接获得具有高分辨率的高光谱图像，但是获得低分辨率的高光谱图像和同一场景下高分辨率的多光谱图像却是相对简单的。之后就可以将低空间分辨率的高光谱图像和高分辨率的多光谱图像进行融合来获得高分辨率的高光谱图像，使得高光谱图像可以更加广泛地应用于各种领域。
光谱图像融合的目的是为了充分提取并利用已知高光谱图像的丰富光谱特征信息和已知多光谱图像的丰富空间特征信息，得到具有高分辨率的高光谱图像。现有的融合方法大致可以分为四类，基于全色锐化的方法、基于矩阵的方法、基于深度学习的方法和基于张量的方法。基于全色锐化的融合方法操作简单，但容易产生较大的光谱失真。基于矩阵的方法计算复杂度较低，但很难去完整地探索图像各阶之间的相关性。基于深度学习的方法需要大量的高光谱图像作为模型的训练集，在具体应用中并不容易实现。考虑到张量在表示多阶多维数据方面的优势，且已知的多光谱图像提供了丰富的空间信息，已知的高光谱图像提供了丰富的光谱信息，针对上述方法的不足，为了更完整地利用已知图像的信息，本发明提出一种新的空间-光谱联合低秩的基于张量的高光谱与多光谱图像融合方法。
发明内容
本发明针对现有光谱图像融合方法存在的不足之处，提供一种新的空间-光谱联合低秩的基于张量的光谱图像融合方法。
本发明技术方案为：一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法，包括下列的步骤：
S1：输入待融合的高光谱图像和多光谱图像。
S2：进行非局部自相似数据数据块的提取，将相似的数据块进行聚类，然后重新排列，以便探索其非局部低秩结构；
S3：进行低秩约束，对重构的结果进行空间-光谱联合低变换张量秩的约束；
S4：建立融合模型并利用交替方向乘子法(Alternating Direction Method ofMultipliers，ADMM)进行求解，从而得到光谱图像的融合结果。
其中，步骤S1包括如下步骤：
S11：输入低分辨率的高光谱图像和高分辨率的多光谱图像。高光谱图像用张量
Figure BDA0003645272240000021
来表示，其中w×h表示高光谱图像空间维度的尺寸，N表示光谱波段数。多光谱图像用张量
Figure BDA0003645272240000022
来表示，其中W×H＞＞w×h表示多光谱图像空间维度的尺寸，n＜＜N表示光谱波段数。融合得到的高分辨率高光谱图像用张量
Figure BDA0003645272240000023
来表示。
其中，步骤S2包括如下步骤：
S21：对已知的多光谱图像
Figure BDA00036452722400000213
在空间维度上进行有重叠的切分，得到m个子数据块
Figure BDA0003645272240000024
S22：对切分得到的图像块利用K-means++算法进行聚类，切分过后的数据块会被分为K簇
Figure BDA0003645272240000025
其中Mk表示第k簇中数据块的个数。
S23：对聚类过后同一簇中的数据进行展开和堆叠的操作，得到K个三阶张量
Figure BDA0003645272240000026
Figure BDA0003645272240000027
S24：根据对多光谱图像
Figure BDA00036452722400000214
的操作，对未知融合结果
Figure BDA00036452722400000215
在空间上进行分组、展开和堆叠的操作，得到K个关于融合结果的重构后的三阶张量
Figure BDA0003645272240000028
其中，步骤S3包括如下步骤：
S31：从已知高光谱图像
Figure BDA00036452722400000216
中构建变换矩阵Θ0；
S32：从已知多光谱图像
Figure BDA00036452722400000210
中构建K个变换矩阵
Figure BDA00036452722400000211
S33：对K个三阶张量
Figure BDA00036452722400000212
进行空间维度和光谱维度的低变换张量秩约束。
其中，步骤S4包括如下步骤：
S41：建立光谱图像观测模型；
S42：结合光谱图像观测模型和低变换张量秩的约束，建立光谱图像融合模型；
S43：利用ADMM迭代求解提出的目标优化函数，输出融合后的高光谱图像
Figure BDA00036452722400000217
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明利用光谱图像的非局部自相似性和聚类算法，充分利用已知多光谱图像的空间信息。再通过数据重新排列的方式，使重构后关于融合结果的K个三阶张量的所有正面切面和侧面切面都表现出相似性，并结合低变换张量秩的约束促进相似性，从而减少光谱失真。最后利用ADMM算法求解目标优化函数，从而获得视觉效果比较和数值结果比较均优于对比方法的高分辨率高光谱图像。
附图说明
图1为具体实施方式中，本发明总体框架示意图；
图2为具体实施方式中，本发明进行非局部自相似数据块的提取过程示意图。
图3为具体实施方式中，本发明所提出的方法和其它对比方法的视觉效果比较。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
我们使用的高光谱图像是由ROSIS传感器在意大利的Pavia大学获取的，我们选取该图像左上方的300×300个像素作为参考图像。已知低分辨率的高光谱图像大小为50×50×93，已知高分辨率的多光谱图像大小为300×300×4，融合后的高分辨率高光谱图像大小为300×300×93。在获取退化的低分辨率高光谱图像时，采用的是高斯模糊加空间下采样的方式，高斯核的大小为8×8，标准差为2。
参见图1，本发明的基于空间-光谱联合低秩的高光谱与多光谱图像融合方法，包括如下步骤：
S1：输入待融合的高光谱图像和多光谱图像。
其中，步骤S1包括如下步骤：
S11：输入低分辨率的高光谱图像和高分辨率的多光谱图像。高光谱图像用张量
Figure BDA0003645272240000031
来表示，其中w×h表示高光谱图像空间维度的尺寸，N表示光谱波段数。多光谱图像用张量
Figure BDA0003645272240000032
来表示，其中W×H＞＞w×h表示多光谱图像空间维度的尺寸，n＜＜N表示光谱波段数。融合得到的高分辨率高光谱图像用张量
Figure BDA0003645272240000033
来表示。
S2：进行非局部自相似数据数据块的提取，过程如图2所示。
其中，步骤S2包括如下步骤：
S21：对已知的多光谱图像
Figure BDA0003645272240000037
在空间维度上进行有重叠的切分，空间上的重叠大小为l，切分的数据块的空间尺寸为dW×dH，得到m个子数据块
Figure BDA0003645272240000034
其中
Figure BDA0003645272240000035
Figure BDA0003645272240000036
本发明的实验中，重叠大小l＝5，空间尺寸dW＝dH＝8。
S22：对切分得到的图像块利用K-means++算法进行聚类，切分过后的数据块会被分为K簇
Figure BDA0003645272240000041
其中Mk表示第k簇中数据块的个数。本发明的实验中，聚类簇数K＝240。
S23：对聚类过后同一簇中的数据进行展开和堆叠的操作，得到K个三阶张量
Figure BDA0003645272240000042
Figure BDA0003645272240000043
S24：根据对多光谱图像
Figure BDA0003645272240000044
的操作，对未知融合结果
Figure BDA00036452722400000426
在空间上进行分组、展开和堆叠的操作，得到K个关于融合结果的重构后的三阶张量
Figure BDA0003645272240000045
S3：进行低秩约束。
其中，步骤S3包括如下步骤：
S31：从已知高光谱图像
Figure BDA00036452722400000427
中构建变换矩阵Θ0，这个过程可以表示为：
Figure BDA0003645272240000047
其中Y(3)是张量
Figure BDA00036452722400000428
的模3展开矩阵；
Figure BDA0003645272240000049
表示矩阵Y(3)的奇异值分解(Singular Value Decomposition，SVD)后的结果；
Figure BDA00036452722400000410
表示构建的变换矩阵Θ0为得到的U0矩阵的转置。
S32：从已知多光谱图像
Figure BDA00036452722400000411
中构建K个变换矩阵
Figure BDA00036452722400000412
这个过程可以表示为：
Figure BDA00036452722400000413
其中
Figure BDA00036452722400000414
是张量
Figure BDA00036452722400000415
的模2展开矩阵；
Figure BDA00036452722400000416
表示矩阵
Figure BDA00036452722400000417
SVD后的结果；
Figure BDA00036452722400000418
表示构建的变换矩阵Θk为得到的Uk矩阵的转置。
S33：对K个三阶张量
Figure BDA00036452722400000419
进行空间维度和光谱维度的低变换张量秩约束。
三阶张量
Figure BDA00036452722400000420
变换张量秩的定义为：
Figure BDA00036452722400000421
其中σj(·)表示矩阵的第j个奇异值；
Figure BDA00036452722400000422
表示张量
Figure BDA00036452722400000423
的Θ变换，定义为
Figure BDA00036452722400000424
表示张量
Figure BDA00036452722400000425
的第i个正面切面矩阵。
接着对K个三阶张量
Figure BDA0003645272240000051
进行空间维度和光谱维度的低变换张量秩约束，形式如下：
Figure BDA0003645272240000052
其中α>0表示权衡系数；
Figure BDA0003645272240000053
为张量
Figure BDA00036452722400000517
的旋转后的结果，有
Figure BDA0003645272240000054
Figure BDA0003645272240000055
成立。在本发明的实验中，α＝0.3。
S4：建立融合模型并利用交替方向乘子法进行求解，从而得到光谱图像的融合结果。
其中，步骤S4包括如下步骤：
S41：建立光谱图像观测模型。
根据对已知图像和未知图像的观测，已知低分辨率高光谱图像
Figure BDA00036452722400000518
和未知高分辨率高光谱图像
Figure BDA00036452722400000519
之间的线性关系可以表示为：
Y(3)＝X(3)BD
其中Y(3)是张量
Figure BDA00036452722400000520
的模3展开矩阵；X(3)是张量
Figure BDA00036452722400000521
的模3展开矩阵；矩阵
Figure BDA0003645272240000056
表示空间模糊矩阵；矩阵
Figure BDA0003645272240000057
表示空间下采样矩阵。
已知高分辨率多光谱图像
Figure BDA00036452722400000516
和未知高分辨率高光谱图像
Figure BDA00036452722400000522
之间的线性关系可以表示为：
Z(3)＝RX(3)
其中Z(3)是张量
Figure BDA00036452722400000523
的模3展开矩阵；矩阵
Figure BDA0003645272240000059
表示光谱下采样矩阵。
S42：结合光谱图像观测模型和低变换张量秩的约束，建立光谱图像融合模型。
利用已知图像和未知图像的关系，结合对
Figure BDA00036452722400000524
空间维度和光谱维度的低变换张量秩的约束，可以得到如下目标优化函数：
Figure BDA00036452722400000510
其中‖·‖F表示Frobenius范数；λ>0表示正则化参数。在本发明的实验中，λ＝2×10-4。
S43：利用ADMM迭代求解提出的目标优化函数，输出融合后的高光谱图像
Figure BDA00036452722400000525
首先引入两个辅助的张量变量
Figure BDA00036452722400000511
和
Figure BDA00036452722400000512
满足
Figure BDA00036452722400000513
于是可以得到目标优化函数的增广拉格朗日函数如下所示：
Figure BDA0003645272240000061
其中
Figure BDA0003645272240000062
和
Figure BDA0003645272240000063
表示两个拉格朗日乘子；μ>0表示惩罚参数。该式可通过固定其余变量交替更新其中一个变量的方式进行优化。
关于变量
Figure BDA00036452722400000616
的子问题可以表示为：
Figure BDA0003645272240000064
上式强凸，令式中关于X(3)的导数为0，可以得到如下的Sylvester矩阵方程：
Figure BDA0003645272240000065
利用矩阵中求解Sylvester矩阵方程的方法即可得到上式的解。
关于变量
Figure BDA0003645272240000066
的子问题可以表示为：
Figure BDA0003645272240000067
式中，关于第k个重建后的簇，有下式成立：
Figure BDA0003645272240000068
令
Figure BDA0003645272240000069
的变换张量奇异值分解为
Figure BDA00036452722400000610
结合张量奇异值阈值收缩算法，上式的解为：
Figure BDA00036452722400000611
其中τ＝2λ/μ；
Figure BDA00036452722400000612
Figure BDA00036452722400000613
hτ(σ)是半阈值函数，定义如下所示：
Figure BDA00036452722400000614
式中
Figure BDA00036452722400000615
关于变量
Figure BDA0003645272240000071
的子问题可以表示为：
Figure BDA0003645272240000072
式中，关于第k个重建后的簇，有下式成立：
Figure BDA0003645272240000073
令
Figure BDA0003645272240000074
的变换张量奇异值分解为
Figure BDA0003645272240000075
结合张量奇异值阈值收缩算法，上式的解为：
Figure BDA0003645272240000076
关于拉格朗日乘子
Figure BDA0003645272240000077
和
Figure BDA0003645272240000078
的更新规则为：
Figure BDA0003645272240000079
Figure BDA00036452722400000710
交替更新上述张量变量，在更新次数Iter＝15之后，输出的张量
Figure BDA00036452722400000712
即为融合后的高分辨率高光谱图像，融合后的图像可以用于地物分类等领域中。
有益效果：
实验结果：为了验证本发明的可行性和有效性，我们用本发明的实验结果和一些对比方法进行了比较。比较的方法包括HySure、NSSR和LTTR。实验在光谱图像第50个光谱波段的融合效果如图3所示，其中：
图3(a)是低分辨率的高光谱图像，大小为50×50；
图3(b)是参考图像，大小为300×300；
图3(c)是HySure方法的融合结果；
图3(d)是NSSR方法的融合结果；
图3(e)是LTTR方法的融合结果；
图3(f)是采用本发明所述方法的融合结果。
为了进一步验证本发明的效果，我们采用一系列光谱图像融合的客观评价指标对融合结果进行评估，使用的客观评价指标包括峰值信噪比PSNR、均方根误差RMSE、光谱角制图SAM、通用图像质量指标UIQI和相对无量纲全局误差ERGAS。结果如表1所示：
表1各方法融合结果的客观评价
Figure BDA00036452722400000711
Figure BDA0003645272240000081
从表1可以看出，本发明的方法很好地解决了低分辨率高光谱图像与高分辨率多光谱图像的融合问题。不论在视觉效果还是客观评价上均优于对比方法，将该方法用于光谱图像融合中，可以使得高光谱图像的应用更加广泛。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (5)

1.一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法，包括以下步骤：
S1：输入待融合的高光谱图像和多光谱图像；
S2：进行非局部自相似数据块的提取，将相似的数据块先进行聚类，然后重新排列，以便探索其非局部低秩结构；
S3：进行低秩约束，对重构的结果进行空间-光谱联合低变换张量秩的约束；
S4：建立融合模型并利用交替方向乘子法进行求解，从而得到光谱图像的融合结果。
2.如权利要求1所述的一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法，其特征在于，所述步骤S1包含以下步骤：
输入低分辨率的高光谱图像和高分辨率的多光谱图像，高光谱图像用张量
Figure FDA0003645272230000011
来表示，其中w×h表示高光谱图像空间维度的尺寸，N表示光谱波段数，多光谱图像用张量
Figure FDA0003645272230000012
来表示，其中W×H＞＞w×h表示多光谱图像空间维度的尺寸，n＜＜N表示光谱波段数，融合得到的高分辨率高光谱图像用张量
Figure FDA0003645272230000013
来表示。
3.如权利要求1的一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法，其特征在于，所述步骤S2包含以下步骤：
S21：对已知的多光谱图像
Figure FDA00036452722300000115
在空间维度上进行有重叠的切分，得到m个子数据块
Figure FDA0003645272230000014
S22：对切分得到的图像块利用K-means++算法进行聚类，切分过后的数据块会被分为K簇
Figure FDA0003645272230000015
其中Mk表示第k簇中数据块的个数；
S23：对聚类过后同一簇中的数据重新排列，得到K个三阶张量
Figure FDA0003645272230000016
S24：根据对多光谱图像
Figure FDA0003645272230000017
的操作，对未知融合结果
Figure FDA0003645272230000018
在空间上进行分组和重新排列的操作，得到K个关于融合结果的重构后的三阶张量
Figure FDA0003645272230000019
4.如权利要求1所述的一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法，其特征在于，所述步骤S3包含以下步骤：
S31：从已知高光谱图像
Figure FDA00036452722300000110
中构建变换矩阵Θ0，这个过程为：
Figure FDA00036452722300000111
其中Y(3)是张量
Figure FDA00036452722300000112
的模3展开矩阵；
Figure FDA00036452722300000113
表示矩阵Y(3)的奇异值分解后的结果，U0，S0，V0分别表示分解后的参数；
Figure FDA00036452722300000114
表示构建的变换矩阵Θ0为得到的U0矩阵的转置；
S32：从已知多光谱图像
Figure FDA00036452722300000224
中构建K个变换矩阵
Figure FDA0003645272230000021
这个过程为：
Figure FDA0003645272230000022
其中
Figure FDA0003645272230000023
是张量
Figure FDA0003645272230000024
的模2展开矩阵；
Figure FDA0003645272230000025
表示矩阵
Figure FDA0003645272230000026
奇异值分解后的结果；
Figure FDA0003645272230000027
表示构建的变换矩阵Θk为得到的Uk矩阵的转置；
S33：对K个三阶张量
Figure FDA0003645272230000028
进行空间维度和光谱维度的低变换张量秩约束，形式如下：
Figure FDA0003645272230000029
其中α＞0表示权衡系数；
Figure FDA00036452722300000210
为张量
Figure FDA00036452722300000211
的旋转；
Figure FDA00036452722300000212
表示变换张量秩，Θk为变换张量秩涉及到的正交变换矩阵。
5.如权利要求1所述的一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法，其特征在于，所述步骤S4包含以下步骤：
S41：建立光谱图像观测模型；
低分辨率高光谱图像
Figure FDA00036452722300000213
和未知高分辨率高光谱图像
Figure FDA00036452722300000214
之间的线性关系为：
Y(3)＝X(3)BD
其中Y(3)是张量
Figure FDA00036452722300000215
的模3展开矩阵；X(3)是张量
Figure FDA00036452722300000216
的模3展开矩阵；矩阵
Figure FDA00036452722300000217
表示空间模糊矩阵；矩阵
Figure FDA00036452722300000218
表示空间下采样矩阵；
高分辨率多光谱图像
Figure FDA00036452722300000219
和未知高分辨率高光谱图像
Figure FDA00036452722300000220
之间的线性关系为：
Z(3)＝RX(3)
其中Z(3)是张量
Figure FDA00036452722300000221
的模3展开矩阵；矩阵
Figure FDA00036452722300000222
表示光谱下采样矩阵；
S42：结合光谱图像观测模型和低变换张量秩的约束，建立光谱图像融合模型，目标优化函数为：
Figure FDA00036452722300000223
其中||·||F表示Frobenius范数；λ＞0表示正则化参数。
S43：利用ADMM迭代求解提出的目标优化函数，输出融合后的高光谱图像
Figure FDA00036452722300000225
CN202210528487.5A 2022-05-16 2022-05-16 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法 Active CN114998167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210528487.5A CN114998167B (zh) 2022-05-16 2022-05-16 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210528487.5A CN114998167B (zh) 2022-05-16 2022-05-16 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法

Publications (2)

Publication Number Publication Date
CN114998167A true CN114998167A (zh) 2022-09-02
CN114998167B CN114998167B (zh) 2024-04-05

Family

ID=83027335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210528487.5A Active CN114998167B (zh) 2022-05-16 2022-05-16 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法

Country Status (1)

Country Link
CN (1) CN114998167B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311187A (zh) * 2022-10-12 2022-11-08 湖南大学 基于内部和外部先验的高光谱融合成像方法、系统及介质
CN115855839A (zh) * 2023-02-22 2023-03-28 湖南大学 一种基于admm框架的改进空谱融合高光谱计算重构方法
CN116245779A (zh) * 2023-05-11 2023-06-09 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460749A (zh) * 2018-03-20 2018-08-28 西安电子科技大学 一种高光谱与多光谱图像的快速融合方法
CN110516557A (zh) * 2019-08-01 2019-11-29 电子科技大学 基于低秩张量分解的多样本人脸表情识别方法
CN111861885A (zh) * 2020-07-15 2020-10-30 中国人民解放军火箭军工程大学 一种用于高光谱超分辨率重建的超像素稀疏表示方法
EP3762894A1 (en) * 2019-03-19 2021-01-13 Mitsubishi Electric Corporation Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network
CN112989593A (zh) * 2021-03-09 2021-06-18 南京理工大学 基于双相机的高光谱低秩张量融合计算成像方法
CN113205453A (zh) * 2021-04-06 2021-08-03 武汉大学 一种基于空间-光谱全变分正则化的高光谱融合方法
CN113421216A (zh) * 2021-08-24 2021-09-21 湖南大学 一种高光谱融合计算成像方法及系统
CN113870159A (zh) * 2021-09-01 2021-12-31 武汉大学 一种基于动态梯度组稀疏和低秩正则化的高光谱融合方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460749A (zh) * 2018-03-20 2018-08-28 西安电子科技大学 一种高光谱与多光谱图像的快速融合方法
EP3762894A1 (en) * 2019-03-19 2021-01-13 Mitsubishi Electric Corporation Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network
CN110516557A (zh) * 2019-08-01 2019-11-29 电子科技大学 基于低秩张量分解的多样本人脸表情识别方法
CN111861885A (zh) * 2020-07-15 2020-10-30 中国人民解放军火箭军工程大学 一种用于高光谱超分辨率重建的超像素稀疏表示方法
CN112989593A (zh) * 2021-03-09 2021-06-18 南京理工大学 基于双相机的高光谱低秩张量融合计算成像方法
CN113205453A (zh) * 2021-04-06 2021-08-03 武汉大学 一种基于空间-光谱全变分正则化的高光谱融合方法
CN113421216A (zh) * 2021-08-24 2021-09-21 湖南大学 一种高光谱融合计算成像方法及系统
CN113870159A (zh) * 2021-09-01 2021-12-31 武汉大学 一种基于动态梯度组稀疏和低秩正则化的高光谱融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KAIDONG WANG等: "Hyperspectral and Multispectral Image Fusion via Nonlocal Low-Rank Tensor Decomposition and Spectral Unmixing", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING 》, vol. 58, no. 11, 17 April 2020 (2020-04-17) *
张少磊;付光远;汪洪桥;赵玉清;: "基于向量总变差约束局部光谱解混的高光谱图像超分辨", 光学精密工程, no. 12, 15 December 2019 (2019-12-15) *
张磊: "基于非局部低秩表示的高光谱与多光谱图像融合及其应用", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, 15 January 2023 (2023-01-15) *
许蒙恩;谢宝陵;徐国明;: "空间光谱联合稀疏表示的高光谱图像超分辨率方法", 激光与光电子学进展, no. 07, 27 February 2018 (2018-02-27) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311187A (zh) * 2022-10-12 2022-11-08 湖南大学 基于内部和外部先验的高光谱融合成像方法、系统及介质
CN115311187B (zh) * 2022-10-12 2023-01-24 湖南大学 基于内部和外部先验的高光谱融合成像方法、系统及介质
CN115855839A (zh) * 2023-02-22 2023-03-28 湖南大学 一种基于admm框架的改进空谱融合高光谱计算重构方法
CN116245779A (zh) * 2023-05-11 2023-06-09 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备
CN116245779B (zh) * 2023-05-11 2023-08-22 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN114998167B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN111260576B (zh) 一种基于去噪三维卷积自编码网络的高光谱解混算法
Jiang et al. Learning spatial-spectral prior for super-resolution of hyperspectral imagery
Zhou et al. Pyramid fully convolutional network for hyperspectral and multispectral image fusion
CN106709881B (zh) 一种基于非凸低秩矩阵分解的高光谱图像去噪方法
Rao et al. A residual convolutional neural network for pan-shaprening
Chen et al. Hyperspectral image compressive sensing reconstruction using subspace-based nonlocal tensor ring decomposition
CN114998167A (zh) 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法
CN111145131A (zh) 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN104867124B (zh) 基于对偶稀疏非负矩阵分解的多光谱与全色图像融合方法
Xu et al. Hyperspectral computational imaging via collaborative Tucker3 tensor decomposition
CN106920214B (zh) 空间目标图像超分辨率重建方法
Xu et al. Hyperspectral-multispectral image fusion via tensor ring and subspace decompositions
CN108520495B (zh) 基于聚类流形先验的高光谱图像超分辨重建方法
CN111696043A (zh) 一种三维fsrcnn的高光谱图像超分辨率重建算法
Luo et al. Improving satellite image fusion via generative adversarial training
CN115984155A (zh) 一种基于光谱解混的高光谱、多光谱和全色图像融合方法
Zhong et al. Attention_FPNet: Two-branch remote sensing image pansharpening network based on attention feature fusion
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
Menezes et al. Hyperspectral image data classification with refined spectral spatial features based on stacked autoencoder approach
Ye et al. Cross-scene hyperspectral image classification based on DWT and manifold-constrained subspace learning
Liang et al. Blind super-resolution of single remotely sensed hyperspectral image
Fang et al. SDRCNN: A single-scale dense residual connected convolutional neural network for pansharpening
CN113628111B (zh) 基于梯度信息约束的高光谱图像超分辨方法
CN115131258A (zh) 一种基于稀疏张量先验的高光谱、多光谱和全色图像融合方法
CN110807746B (zh) 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant