CN116402726A - 一种高光谱-多光谱图像的去噪融合方法 - Google Patents

一种高光谱-多光谱图像的去噪融合方法 Download PDF

Info

Publication number
CN116402726A
CN116402726A CN202310675670.2A CN202310675670A CN116402726A CN 116402726 A CN116402726 A CN 116402726A CN 202310675670 A CN202310675670 A CN 202310675670A CN 116402726 A CN116402726 A CN 116402726A
Authority
CN
China
Prior art keywords
representing
image
hyperspectral
parameter
factor matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310675670.2A
Other languages
English (en)
Other versions
CN116402726B (zh
Inventor
孔祥阳
李登万
邱黎明
唐延东
钟铃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Engineering Technical College
Original Assignee
Sichuan Engineering Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Engineering Technical College filed Critical Sichuan Engineering Technical College
Priority to CN202310675670.2A priority Critical patent/CN116402726B/zh
Publication of CN116402726A publication Critical patent/CN116402726A/zh
Application granted granted Critical
Publication of CN116402726B publication Critical patent/CN116402726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种高光谱‑多光谱图像的去噪融合方法，涉及图像处理技术领域；解决了现有技术对高光谱‑多光谱图像的去噪融合效率较低的技术问题。所述一种高光谱‑多光谱图像的去噪融合方法，包括以下步骤：获取原始高光谱图像和多光谱原始图像；将所述原始高光谱图像和所述多光谱原始图像输入至所述目标融合模型，以获得目标融合图像；其中，所述目标融合模型是基于空间‑光谱特征保留策略和噪声抑制策略构建的，所述空间‑光谱特征保留策略是利用高光谱图像和多光谱图像的空间‑光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；所述噪声抑制策略是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。

Description

一种高光谱-多光谱图像的去噪融合方法
技术领域
本申请涉及图像处理技术领域，尤其涉及一种高光谱-多光谱图像的去噪融合方法。
背景技术
随着星载成像光谱仪的不断发展，越来越多的传感器可以获取同一场景的高光谱图像和多光谱图像（Multispectral Image, MSI）。但现有技术在处理上述图像时，通常只能假设多光谱图像和高光谱图像均是干净的图像，而实际获取的多光谱图像和高光谱图像不可避免地受到噪声的污染而退化，并且高光谱图像受到的退化更严重。
因此，现有技术在对上述图像进行去噪融合处理时的效率偏低。
发明内容
本申请实施例提供了一种高光谱-多光谱图像的去噪融合方法，解决了现有技术对高光谱-多光谱图像的去噪融合效率较低的技术问题。
一方面，本申请实施例提供了一种高光谱-多光谱图像的去噪融合方法，包括以下步骤：
获取原始高光谱图像和多光谱原始图像；
将所述原始高光谱图像和所述多光谱原始图像输入至所述目标融合模型，以获得目标融合图像；
其中，所述目标融合模型是基于空间-光谱特征保留策略和噪声抑制策略构建的，所述空间-光谱特征保留策略是利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；所述噪声抑制策略是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。
作为本申请一些可选实施方式，所述目标融合图像满足以下关系式：
Figure SMS_1
其中，
Figure SMS_3
，表示目标融合图像；/>
Figure SMS_7
，表示核张量；/>
Figure SMS_8
，表示包含n w个原子的空间因子矩阵；/>
Figure SMS_4
，表示包含n h个原子的空间因子矩阵；S/>
Figure SMS_6
表示包含n b个原子的光谱因子矩阵；n w表示核张量/>
Figure SMS_9
的宽度值，n h表示核张量/>
Figure SMS_11
的高度值，n b表示核张量/>
Figure SMS_2
的光谱波段数；w表示原始高光谱图像/>
Figure SMS_5
的宽度像素值，h表示原始高光谱图像/>
Figure SMS_10
的高度像素值，b表示原始高光谱图像/>
Figure SMS_12
的光谱波段数值。
作为本申请一些可选实施方式，所述原始高光谱图像满足以下关系式：
Figure SMS_13
其中，
Figure SMS_14
，表示为原始高光谱图像；/>
Figure SMS_17
表示为空间下的采样值，/>
Figure SMS_20
表示为高光谱图像出现的高斯噪声，/>
Figure SMS_16
表示高光谱图像中出现的条带噪声；n w表示核张量/>
Figure SMS_18
的宽度值，n h表示核张量/>
Figure SMS_21
的高度值，n b表示核张量/>
Figure SMS_23
的光谱波段数值；w表示原始高光谱图像/>
Figure SMS_15
的宽度像素值，h表示原始高光谱图像/>
Figure SMS_19
的高度像素值，b表示原始高光谱图像/>
Figure SMS_22
的光谱波段数值。
作为本申请一些可选实施方式，所述空间下的采样值
Figure SMS_24
满足以下关系式：
Figure SMS_25
其中，
Figure SMS_26
表示为空间下的采样值；/>
Figure SMS_27
表示为目标融合图像；/>
Figure SMS_28
，表示为沿宽度模的下采样矩阵；/>
Figure SMS_29
，表示为沿高度模的下采样矩阵；×1表示张量在第一维上与P1相乘，×2表示张量在第二维上与P1相乘，×3表示张量在第三维上与P1相乘。
作为本申请一些可选实施方式，所述多光谱原始图像满足以下关系式：
Figure SMS_30
其中，
Figure SMS_31
，表示为多光谱原始图像，/>
Figure SMS_32
表示为光谱下的采样算子，/>
Figure SMS_33
表示为多光谱图像中出现的高斯噪声。
作为本申请一些可选实施方式，所述光谱下的采样算子
Figure SMS_34
满足以下关系式：
Figure SMS_35
其中，
Figure SMS_36
表示为光谱下的采样算子；/>
Figure SMS_37
表示为目标融合图像；/>
Figure SMS_38
，表示为光谱维的下采样矩阵。
作为本申请一些可选实施方式，所述目标融合模型满足以下关系式：
Figure SMS_39
其中，
Figure SMS_47
表示目标融合模型；/>
Figure SMS_42
，表示为原始高光谱图像；/>
Figure SMS_54
，表示核张量；/>
Figure SMS_45
表示高光谱图像中出现的条带噪声；/>
Figure SMS_49
，表示包含n w个原子的空间因子矩阵；/>
Figure SMS_46
，表示包含n h个原子的空间因子矩阵；
Figure SMS_55
，表示光谱下采样字典；/>
Figure SMS_44
，表示宽度模的下采样字典；
Figure SMS_52
，表示高度模的下采样字典；/>
Figure SMS_40
代表Frobenius范数，其中，
Figure SMS_50
是指空间退化过程的数据保真度项值，/>
Figure SMS_43
是指光谱退化过程的数据保真度项值，/>
Figure SMS_48
表示第i模的权重，/>
Figure SMS_53
；/>
Figure SMS_56
表示核张量第i模展开矩阵的γ范数；/>
Figure SMS_41
表示条带噪声的L2,1范数；/>
Figure SMS_51
是权重正则化参数。
作为本申请一些可选实施方式，所述通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵，包括以下步骤：
固定H参数、S参数和
Figure SMS_57
参数后，对W参数进行迭代优化，以获得目标W参数；
固定W参数、S参数和
Figure SMS_58
参数，对H参数进行迭代优化，以获得目标H参数；
固定W参数、H参数和
Figure SMS_59
参数，对S参数进行迭代优化，以获得目标S参数；
固定W参数、H参数和S参数，对
Figure SMS_60
参数进行迭代优化，以获得目标/>
Figure SMS_61
参数；
其中，
Figure SMS_62
，表示核张量；/>
Figure SMS_63
表示高光谱图像中出现的条带噪声；
Figure SMS_64
，表示包含n w个原子的空间因子矩阵；/>
Figure SMS_65
，表示包含n h个原子的空间因子矩阵；S表示包含n b个原子的光谱因子矩阵。
作为本申请一些可选实施方式，所述固定H参数、S参数和
Figure SMS_66
参数后，对W参数进行迭代优化，以获得目标W参数时，满足以下关系式：
Figure SMS_67
其中，
Figure SMS_68
，表示为原始高光谱图像；/>
Figure SMS_71
，表示核张量；/>
Figure SMS_74
表示高光谱图像中出现的条带噪声；/>
Figure SMS_70
，表示包含n w个原子的空间因子矩阵；/>
Figure SMS_72
，表示包含n h个原子的空间因子矩阵；/>
Figure SMS_75
，表示光谱下采样字典；
Figure SMS_76
，表示宽度模的下采样字典；/>
Figure SMS_69
，表示高度模的下采样字典；Wpre表示上一步迭代的因子矩阵；/>
Figure SMS_73
代表Frobenius范数；μ>0表示正则化参数。
固定W参数、S参数和
Figure SMS_77
参数，对H参数进行迭代优化，以获得目标H参数时，满足以下关系式：
Figure SMS_78
其中，
Figure SMS_80
，表示为原始高光谱图像；/>
Figure SMS_82
，表示核张量；/>
Figure SMS_86
表示高光谱图像中出现的条带噪声；/>
Figure SMS_81
，表示包含n w个原子的空间因子矩阵；/>
Figure SMS_83
，表示包含n h个原子的空间因子矩阵；/>
Figure SMS_85
，表示光谱下采样字典；
Figure SMS_87
，表示宽度模的下采样字典；/>
Figure SMS_79
，表示高度模的下采样字典；Hpre表示上一步迭代的因子矩阵；/>
Figure SMS_84
代表Frobenius范数；μ>0表示正则化参数；
固定W参数、H参数和
Figure SMS_88
参数，对S参数进行迭代优化，以获得目标S参数时，满足以下关系式：
Figure SMS_89
其中，
Figure SMS_91
，表示为原始高光谱图像；/>
Figure SMS_95
，表示核张量；/>
Figure SMS_97
表示高光谱图像中出现的条带噪声；/>
Figure SMS_92
，表示包含n w个原子的空间因子矩阵；/>
Figure SMS_93
，表示包含n h个原子的空间因子矩阵；/>
Figure SMS_96
，表示光谱下采样字典；
Figure SMS_98
，表示宽度模的下采样字典；/>
Figure SMS_90
，表示高度模的下采样字典；Spre表示上一步迭代的因子矩阵；/>
Figure SMS_94
代表Frobenius范数；μ>0表示正则化参数；
固定W参数、H参数和S参数，对
Figure SMS_99
参数进行迭代优化，以获得目标/>
Figure SMS_100
参数时，满足以下关系式：
Figure SMS_101
其中，
Figure SMS_103
，表示为原始高光谱图像；/>
Figure SMS_106
，表示核张量；/>
Figure SMS_110
表示高光谱图像中出现的条带噪声；/>
Figure SMS_104
，表示包含n w个原子的空间因子矩阵；/>
Figure SMS_107
，表示包含n h个原子的空间因子矩阵；/>
Figure SMS_109
，表示光谱下采样字典；
Figure SMS_111
，表示宽度模的下采样字典；/>
Figure SMS_102
，表示高度模的下采样字典；
Figure SMS_105
表示上一步迭代的因子矩阵；/>
Figure SMS_108
代表Frobenius范数，μ>0表示正则化参数。
作为本申请一些可选实施方式，所述通过引入张量γ范数对核张量进行低秩约束来抑制噪声，包括：
通过张量γ范数对核张量进行低秩约束，以获得正则项；
其中，所述正则项满足以下关系式：
Figure SMS_112
Figure SMS_113
其中，
Figure SMS_114
表示为正则项；/>
Figure SMS_115
表示张量的第i模展开矩阵；/>
Figure SMS_116
表示第i模的权重，
Figure SMS_117
；/>
Figure SMS_118
，表示为矩阵X的范数；/>
Figure SMS_119
表示为X的奇异值分解得到的第k个奇异值；γ表示为张量范数。
本申请的实施例提供了一种高光谱-多光谱图像的去噪融合方法，包括以下步骤：获取原始高光谱图像和多光谱原始图像；将所述原始高光谱图像和所述多光谱原始图像输入至所述目标融合模型，以获得目标融合图像；其中，所述目标融合模型是基于空间-光谱特征保留策略和噪声抑制策略构建的，所述空间-光谱特征保留策略是利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；所述噪声抑制策略是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。通常来说，在实际应用中，所获得的原始高光谱图像和多光谱原始图像不可避免地受到噪声的污染而退化，但现有方法在对所述原始高光谱图像和多光谱原始图像进行融合处理时，往往是将其假设为干净不含噪声的图像，因此融合效率并不高。针对上述不足，本申请利用了空间-光谱特征保留策略和噪声抑制策略，其中空间-光谱特征保留策略利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；其中，噪声抑制策略则是通过引入张量γ范数对核张量进行低秩约束来抑制噪声，通过近端交替优化 (proximal alternatingoptimization， PAO)及交替方向乘子法(alternativedirectionmultipliermethod，ADMM)求解该模型，从而获得具有高空间分辨率的高光谱图像。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例所述预处理+Hysure方法获得的融合图像（左）以及其与原始图像的误差图（右）；
图2是本申请实施例所述预处理+CSU方法获得的（左）以及其与原始图像的误差图（右）；
图3是本申请实施例所述预处理+GS方法获得的（左）以及其与原始图像的误差图（右）；
图4是本申请实施例所述预处理+CNMF方法获得的（左）以及其与原始图像的误差图（右）；
图5是本申请实施例所述预处理+LTMR方法获得的（左）以及其与原始图像的误差图（右）；
图6是本申请实施例所述预处理+CSTF方法获得的（左）以及其与原始图像的误差图（右）；
图7是本申请实施例所述预处理+MHF-net方法获得的（左）以及其与原始图像的误差图（右）；
图8是本申请实施例所述去噪融合获得的融合图像（左）以及其与原始图像的误差图（右）；
图9是本申请实施例所述误差色标条示意图，用来表示图1-图8中不同方法得到的融合结果与原图的误差图中不同位置误差的大小。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：一种高光谱-多光谱图像的去噪融合方法，包括以下步骤：获取原始高光谱图像和多光谱原始图像；将所述原始高光谱图像和所述多光谱原始图像输入至所述目标融合模型，以获得目标融合图像；其中，所述目标融合模型是基于空间-光谱特征保留策略和噪声抑制策略构建的，所述空间-光谱特征保留策略是利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；所述噪声抑制策略是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。
高光谱与多光谱图像融合是通过对高光谱图像丰富的光谱信息和多光谱图像的空间信息进行融合，进而得到空间分辨率较高的高光谱图像的一类方法。随着星载成像光谱仪的不断发展，越来越多的传感器可以获取同一场景的高光谱图像和多光谱图像（Multispectral Image, MSI）。这使得通过高光谱图像与多光谱图像融合的方法提升高光谱图像的空间分辨率成为可能。例如，我国自行设计的高分5号卫星和高分2号卫星分别采用高光谱成像和多光谱成像传感器，其空间分辨率分别为30m和4m。
现有的高光谱与多光谱图像融合模型通常可分为基于贝叶斯估计方法、基于矩阵分解方法、基于深度学习方法和基于张量分解方法。基于张量分解方法将目标高分辨率高光谱图像视为一个三阶张量，然后可以通过三个模态的一个核张量和字典来估计。同时，引入核张量的稀疏先验，对高分辨率高光谱图像中的空间-光谱相关性进行建模。然而，上述方法通常假设多光谱图像和高光谱图像均是干净的图像，而实际获取的多光谱图像和高光谱图像不可避免地受到噪声的污染而退化，并且高光谱图像受到的退化更严重。
因此，针对上述方法中的不足，为了使融合模型更好地处理实际获取的多光谱和高光谱图像的融合问题，本申请提供了一种耦合张量分解高光谱-多光谱去噪融合模型。
具体来说，本申请实施例所述一种高光谱-多光谱图像的去噪融合方法，包括以下步骤：
获取原始高光谱图像和多光谱原始图像；
将所述原始高光谱图像和所述多光谱原始图像输入至所述目标融合模型，以获得目标融合图像。在实际应用中，所述目标融合模型是基于空间-光谱特征保留策略和噪声抑制策略构建的，所述空间-光谱特征保留策略是利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；所述噪声抑制策略是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。
即，本申请实施例利用了空间-光谱特征保留策略和噪声抑制策略，其中空间-光谱特征保留策略利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；其中，噪声抑制策略则是通过引入张量γ范数对核张量进行低秩约束来抑制噪声，通过近端交替优化 (proximalalternating optimization， PAO)及交替方向乘子法(alternativedirectionmultipliermethod，ADMM)求解该模型，从而获得具有高空间分辨率的高光谱图像。
具体来说，上述步骤可以包括以下步骤：
步骤S10、获取原始高光谱图像和多光谱原始图像；并将所述原始高光谱图像和所述多光谱原始图像输入至所述目标融合模型以获得目标融合图像。
其中，所述目标融合图像是指具有高空间分辨率的高光谱图像，将其记为
Figure SMS_120
；对应的，所述原始高光谱图像记为/>
Figure SMS_121
，其受到高斯噪声和条带的影响；对应的，所述多光谱原始图像记为/>
Figure SMS_122
，其受到高斯噪声污染。
基于上述原始高光谱图像和多光谱原始图像与目标融合图像之间的关系，可以获得所述原始高光谱图像和多光谱原始图像的退化模型，即：
所述原始高光谱图像满足以下关系式：
Figure SMS_123
(1-1)
其中，
Figure SMS_124
，表示为原始高光谱图像；/>
Figure SMS_125
表示为空间下的采样值（以下公式中也称之为采样算子，与采样值表示相同概念），/>
Figure SMS_126
表示为高光谱图像出现的高斯噪声，/>
Figure SMS_127
表示高光谱图像中出现的条带噪声。需要说明的是，这里用非粗体的w，h，B分别表示原始高光谱图像/>
Figure SMS_128
的宽度（w个像素）、高度（h个像素）和光谱波段数（B个波段）。
所述多光谱原始图像满足以下关系式：
Figure SMS_129
(1-2)
其中，
Figure SMS_130
，表示为多光谱原始图像，/>
Figure SMS_131
表示为光谱下的采样值（也可以称为采样算子），/>
Figure SMS_132
表示为多光谱图像中出现的高斯噪声。这里用非粗体的W，H，b分别表示原始多光谱图像/>
Figure SMS_133
的宽度（W个像素）、高度（H个像素）和光谱波段数（b个波段）。
步骤S20、由于
Figure SMS_134
的光谱向量存在于低维子空间中，因此存在一个含有n s个原子的光谱因子矩阵。同时，/>
Figure SMS_135
在空间域上具有自相似性，因此存在两个分别包含n w和n h个原子的空间因子矩阵/>
Figure SMS_136
和/>
Figure SMS_137
，对其空间模进行稀疏表示。基于Tucker分解，所述目标融合图像满足以下关系式：
Figure SMS_138
(2)
其中，
Figure SMS_139
，表示目标融合图像；/>
Figure SMS_140
，表示核张量，即包含的是张量
Figure SMS_141
的三个因子矩阵的系数；/>
Figure SMS_142
，表示包含n w个原子的空间因子矩阵；/>
Figure SMS_143
，表示包含n h个原子的空间因子矩阵；S表示包含n b个原子的光谱因子矩阵。这里用非粗体的W，H，B分别表示目标融合图像/>
Figure SMS_144
的宽度（W个像素）、高度（H个像素）和光谱波段数（B个波段）。n w，n h，n b分别表示核张量/>
Figure SMS_145
的宽度、高度和光谱波段数。
步骤S30、构建耦合张量分解的目标融合模型。
在实际应用中，所述步骤S30可以包括：
步骤3.1、在高光谱传感器的点扩展函数（Point-Spread Function, PSF）和宽度模和高度模的下采样矩阵是可分离的假设下，
Figure SMS_146
可以表示为
Figure SMS_147
(3)
其中，
Figure SMS_148
表示为空间下的采样算子；/>
Figure SMS_149
表示为目标融合图像；/>
Figure SMS_150
，表示为沿宽度模的下采样矩阵；/>
Figure SMS_151
，表示为沿高度模的下采样矩阵；描述了成像传感器的空间响应。
将式（2）代入式（3），则有
Figure SMS_152
(4)
其中，
Figure SMS_153
，表示宽度模的下采样字典；/>
Figure SMS_154
，表示高度模的下采样字典。
步骤3.2、
Figure SMS_155
可以看成是通过对/>
Figure SMS_156
进行光谱下采样得到的，即
Figure SMS_157
(5)
其中，
Figure SMS_158
表示为光谱下的采样算子；/>
Figure SMS_159
表示为目标融合图像；/>
Figure SMS_160
，表示为光谱维的下采样矩阵。
将式（2）代入式（5），则有
Figure SMS_161
(6)
其中，
Figure SMS_162
，表示光谱下采样字典。
步骤3.3、由于目标融合图像具有低秩性，因此利用张量γ-范数对其约束，即正则项为：
Figure SMS_163
Figure SMS_164
(7)
其中，R(
Figure SMS_165
)表示为正则项；/>
Figure SMS_166
表示张量的第i模展开矩阵；/>
Figure SMS_167
表示权重值，其中i=1, 2, …, N，通常取/>
Figure SMS_168
；/>
Figure SMS_169
，表示为矩阵X的范数；/>
Figure SMS_170
表示为X的奇异值分解得到的第k个奇异值；γ表示为张量范数。
由于
Figure SMS_171
，且W，H，S是正交矩阵，因此关于/>
Figure SMS_172
的正则项/>
Figure SMS_173
可转化为
Figure SMS_174
（8）
步骤3.4、对高光谱图像中的条带噪声进行L2,1范数约束，即条带噪声的正则项为
Figure SMS_175
（9）
步骤3.5、基于式(1)-式(9)建立目标函数：
Figure SMS_176
（10）
其中，
Figure SMS_192
表示目标融合模型；/>
Figure SMS_183
，表示为原始高光谱图像；/>
Figure SMS_186
，表示核张量；/>
Figure SMS_178
表示高光谱图像中出现的条带噪声；/>
Figure SMS_187
，表示包含n w个原子的空间因子矩阵；/>
Figure SMS_184
，表示包含n h个原子的空间因子矩阵；S表示包含n b个原子的光谱因子矩阵；/>
Figure SMS_194
，表示光谱下采样字典；/>
Figure SMS_179
，表示宽度模的下采样字典；/>
Figure SMS_191
，表示高度模的下采样字典；/>
Figure SMS_177
代表Frobenius范数，其中，/>
Figure SMS_189
是指空间退化过程的数据保真度项值，
Figure SMS_181
是指光谱退化过程的数据保真度项值，/>
Figure SMS_185
表示第i模的权重，
Figure SMS_182
；优选地，/>
Figure SMS_190
；/>
Figure SMS_180
表示核张量第i模展开矩阵的γ范数；/>
Figure SMS_188
表示条带噪声的L2,1范数；/>
Figure SMS_193
是权重正则化参数。
步骤S40、基于步骤3中得到的目标能量函数，通过近端交替优化（ProximalAlternative Optimization, PAO）和ADMM来求解优化问题，从而得到核张量
Figure SMS_195
和因子矩阵W、H和S，进而得到融合图像/>
Figure SMS_196
。其中，步骤4所述的优化算法中，W和H使用DUC-KSVD算法进行初始化，S使用SISAL算法进行初始化。
在实际应用中，所述步骤S40可以包括以下步骤：
步骤4.1：固定H参数、S参数和
Figure SMS_197
参数后，对W参数进行迭代优化，以获得目标W参数：
Figure SMS_198
(11)
其中，
Figure SMS_201
，表示为原始高光谱图像；/>
Figure SMS_202
，表示核张量；/>
Figure SMS_206
表示高光谱图像中出现的条带噪声；/>
Figure SMS_200
，表示包含n w个原子的空间因子矩阵；/>
Figure SMS_204
，表示包含n h个原子的空间因子矩阵；S表示包含n b个原子的光谱因子矩阵；
Figure SMS_205
，表示光谱下采样字典；/>
Figure SMS_207
，表示宽度模的下采样字典；
Figure SMS_199
，表示高度模的下采样字典；Wpre表示上一步迭代的因子矩阵；/>
Figure SMS_203
代表Frobenius范数；μ>0表示正则化参数；
为了便于优化，式（11）可以使用n模矩阵展开重新写成:
Figure SMS_208
(12)
其中，Y(1)、T(1)和Z(1)分别是
Figure SMS_209
、/>
Figure SMS_210
和/>
Figure SMS_211
的宽度模（模1）展开矩阵，并且
Figure SMS_212
，/>
Figure SMS_213
。
式（12）是一个二次优化问题，其唯一解可以通过求解以下一般的sylvester矩阵方程得到：
Figure SMS_214
(13)
该方程可以通过共轭梯度法（Conjugate Gradient， CG）进行迭代求解。
步骤4.2：固定W参数、S参数和
Figure SMS_215
参数，对H参数进行迭代优化，以获得目标H参数：
Figure SMS_216
(14)
其中，
Figure SMS_218
，表示为原始高光谱图像；/>
Figure SMS_222
，表示核张量；/>
Figure SMS_223
表示高光谱图像中出现的条带噪声；/>
Figure SMS_219
，表示包含n w个原子的空间因子矩阵；/>
Figure SMS_221
，表示包含n h个原子的空间因子矩阵；S表示包含n b个原子的光谱因子矩阵；
Figure SMS_224
，表示光谱下采样字典；/>
Figure SMS_225
，表示宽度模的下采样字典；
Figure SMS_217
，表示高度模的下采样字典；Hpre表示上一步迭代的因子矩阵；/>
Figure SMS_220
代表Frobenius范数；μ>0表示正则化参数。
与式（11）类似，式（14）可以重新写成：
Figure SMS_226
(15)
其中，Y(2)和Z(2)分别是
Figure SMS_227
和/>
Figure SMS_228
的高度模（模2）展开矩阵，并且有
Figure SMS_229
，/>
Figure SMS_230
。式（15）是一个二次优化问题，其唯一解可以通过求解以下一般的sylvester矩阵方程得到：
Figure SMS_231
(16)
该方程同样可以通过共轭梯度法进行迭代求解。
步骤4.3：固定W参数、H参数和
Figure SMS_232
参数，对S参数进行迭代优化，以获得目标S参数：
Figure SMS_233
(17)
其中，
Figure SMS_236
，表示为原始高光谱图像；/>
Figure SMS_238
，表示核张量；/>
Figure SMS_241
表示高光谱图像中出现的条带噪声；/>
Figure SMS_235
，表示包含n w个原子的空间因子矩阵；/>
Figure SMS_237
，表示包含n h个原子的空间因子矩阵；S表示包含n b个原子的光谱因子矩阵；
Figure SMS_240
，表示光谱下采样字典；/>
Figure SMS_242
，表示宽度模的下采样字典；
Figure SMS_234
，表示高度模的下采样字典；Spre表示上一步迭代的因子矩阵；/>
Figure SMS_239
代表Frobenius范数；μ>0表示正则化参数。
与式（14）类似，式（17）可以重新写成：
Figure SMS_243
(18)
其中，Y(3)和Z(3)分别是
Figure SMS_244
和/>
Figure SMS_245
的光谱模（模3）展开矩阵，并且有
Figure SMS_246
，/>
Figure SMS_247
。式（18）是一个二次优化问题，其唯一解可以通过求解以下一般的sylvester矩阵方程得到
Figure SMS_248
(19)
式（19）也可以通过共轭梯度法进行迭代求解。
步骤4.4：固定W参数、H参数和S参数，对
Figure SMS_249
参数进行迭代优化，以获得目标/>
Figure SMS_250
参数：/>
Figure SMS_251
(20)
其中，
Figure SMS_252
，表示为原始高光谱图像；/>
Figure SMS_257
，表示核张量；/>
Figure SMS_258
表示高光谱图像中出现的条带噪声；/>
Figure SMS_254
，表示包含n w个原子的空间因子矩阵；/>
Figure SMS_256
，表示包含n h个原子的空间因子矩阵；S表示包含n b个原子的光谱因子矩阵；
Figure SMS_259
，表示光谱下采样字典；/>
Figure SMS_261
，表示宽度模的下采样字典；
Figure SMS_253
，表示高度模的下采样字典；/>
Figure SMS_255
表示上一步迭代的因子矩阵；/>
Figure SMS_260
代表Frobenius范数，μ>0表示正则化参数。
式（20）可以用交替方向乘子法（ADMM）有效地求解。
具体地，所述步骤4.4可以包括：
步骤4.4.1：通过引入分裂变量
Figure SMS_262
，/>
Figure SMS_263
，/>
Figure SMS_264
，则无约束优化式（20）可以写成等价的约束形式：
Figure SMS_265
(21)
在将变量
Figure SMS_266
和/>
Figure SMS_267
看做一个块的前提下，优化式（21）可以用交替乘子法进行求解。
式（20）的增广拉格朗日函数为：
Figure SMS_268
(22)
其中，
Figure SMS_269
表示增广拉格朗日函数，/>
Figure SMS_270
、/>
Figure SMS_271
和/>
Figure SMS_272
是尺度化拉格朗日乘子，/>
Figure SMS_273
是罚参数。
步骤4.4.2：更新
Figure SMS_274
：
Figure SMS_275
(23)
这是一个二次优化问题，其闭式解为：
Figure SMS_276
(24)
步骤4.4.3：更新
Figure SMS_277
：
Figure SMS_278
(25)
根据张量运算，式（29）等价于其向量形式：
Figure SMS_279
(26)
其中，向量
Figure SMS_280
，且/>
Figure SMS_281
。
Figure SMS_282
表示将张量展开为向量。
因此，式（26）有闭式解：
Figure SMS_283
(27)
其中fold(.)表示将向量还原成张量的运算。
步骤4.4.4：更新
Figure SMS_284
：
Figure SMS_285
Figure SMS_286
(28)
根据张量运算，式（28）等价于其向量形式：
Figure SMS_287
Figure SMS_288
(29)
其中向量
Figure SMS_289
，且/>
Figure SMS_290
。因此，式（29）有闭式解：
Figure SMS_291
(30)
步骤4.4.5：更新
Figure SMS_292
：
Figure SMS_293
Figure SMS_294
(31)
对于第i模展开矩阵
Figure SMS_295
，有
Figure SMS_296
(32)
式（32）的解为
Figure SMS_297
(33)
其中
Figure SMS_298
是/>
Figure SMS_299
的奇异值分解，且/>
Figure SMS_300
，/>
Figure SMS_301
。这里/>
Figure SMS_302
表示Moreau-Yosida算子。
步骤4.4.6：更新条带成分
Figure SMS_303
：
Figure SMS_304
(34)
令
Figure SMS_305
，/>
Figure SMS_306
可以按下面的公式更新/>
Figure SMS_307
(35)
步骤4.4.7：更新乘子
Figure SMS_308
、/>
Figure SMS_309
和/>
Figure SMS_310
：
Figure SMS_311
(36)
步骤5：基于上述步骤我们将由含噪高光谱图像
Figure SMS_312
和多光谱图像/>
Figure SMS_313
进行融合得到高分辨率高光谱图像/>
Figure SMS_314
。为了对融合图像进行定量和定性的评价，我们选择了耦合非负矩阵分解（CNMF），HySure，耦合Tucker分解（CSTF），GS，CSU，LTMR以及MHF-net共7种高光谱融合模型进行对比。质量评价指标为峰值信噪比(Peak Signal to NoiseRatio，PSNR)、结构相似性度量(Structural Similarity Index Measure，SSIM)，均方根误差(Root Mean Square Error,RMSE)，相对全局融合误差(erreur relative globaleadimensionnelle de synthése，ERGAS)，光谱角(spectral angle mapper，SAM)，通用图像质量指数(Universal Image Quality Index，UIQI) ，畸变度(degree of distortion，DD)以及互相关(Cross Correlation，CC)。P评价指标值如表1所示，粗体表示最佳结果，视觉比较结果如图1所示。
在本申请所述的模拟实验中使用的是德国的ROSIS航空成像光谱仪拍摄的Pavia场景数据集。这里从原始高分辨率高光谱图像（High Resolution HSI，HR-HSI）中截取大小为200×200×93的子图作为真实值，将其作为参考图像Ref用于融合后进行质量评价。为了生成低空间分辨率的高光谱图像（Low Resolution HSI，LR-HSI），选择尺寸为4的高斯核生成空间退化矩阵。得到的LR-HSI尺寸为50×50×93。为了模拟同一场景的高空间分辨率的多光谱图像（High Resolution MSI，HR-MSI），使用类似于IKONOS的反射光谱响应滤波器沿光谱模式下采样HR-HSI，得到的高空间分辨率的多光谱图像（High Resolution MSI，HR-MSI）尺寸为200×200×4。在向LR-HSI中添加条带时，每一波段中条带所占的百分比r取0到1之间的随机值，条带的强度I=60。同时向LR-HSI和HR-MSI中分别添加SNRh=35dB和SNRm=45dB的高斯噪声。
表1给出了融合结果的客观评价指标值。不难看出，CNMF和CSTF的各项指标值与本章算法比较接近，本章算法在各个指标值上均优于对比方法。其中MHF-net方法的结果不太理想，这或许是因为其算法只针对轻度的高斯噪声，而即使经过预处理去噪后，结果中不可避免仍存在混合噪声，因此MHF-net方法的结果的各项指标值均较低。
表1不同方法评价指标值
Hysure CSU GS CNMF CSTF LTMR MHF-net 本申请
PSNR 38.28 37.81 38.34 38.93 39.32 30.14 28.42 40.77
SSIM 0.9807 0.9825 0.9763 0.9836 0.9816 0.9102 0.9098 0.9844
RMSE 3.7863 3.7364 4.0016 3.6926 3.3259 8.6985 10.2653 2.4786
ERGAS 2.1562 2.2187 2.4189 2.1962 1.9854 4.7739 6.3942 1.45
SAM 4.1872 3.7827 4.7581 4.0538 3.7026 6.6405 8.2317 2.5685
UIQI 0.9863 0.9858 0.9830 0.9877 0.9882 0.9527 0.9322 0.9899
DD 2.4028 2.0698 2.3571 2.2115 2.1684 2.2965 2.3961 1.6684
CC 0.9905 0.9905 0.9885 0.9921 0.9927 0.9438 0.9534 0.9949
在上述实验中，对于不能联合进行去噪和融合的算法将首先进行预处理，去除其中的混合噪声后再进行融合。而本申请所提方法能够同时去除混合噪声和融合，不需要事先进行去混合噪声操作。
图1-图9给出了加入混合噪声时Pavia数据集的第60波段的融合结果（每张图像的右侧子图像）以及相应的误差图（每张图像的左侧子图像）；其中，图1是本申请实施例所述预处理+Hysure方法获得的（左）以及其与原始图像的误差图（右）；图2是本申请实施例所述预处理+CSU方法获得的对比融合图像示意图；图3是本申请实施例所述预处理+GS方法获得的（左）以及其与原始图像的误差图（右）；图4是本申请实施例所述预处理+CNMF方法获得的（左）以及其与原始图像的误差图（右）；图5是本申请实施例所述预处理+LTMR方法获得的（左）以及其与原始图像的误差图（右）；图6是本申请实施例所述预处理+CSTF方法获得的（左）以及其与原始图像的误差图（右）；图7是本申请实施例所述预处理+MHF-net方法获得的（左）以及其与原始图像的误差图（右）；图8是本申请实施例所述融合方法获得的融合图像（左）以及其与原始图像的误差图（右）；图9是本申请实施例所述误差色标条示意图。
其中，误差图能够更直观显示不同方法得到的结果的误差的大小，从而比较出不同方法的优劣。从图1-图8的结果可以看出，所有的方法得到的视觉均较好；从误差图可以看出，CSU和LTMR方法的局部误差过大，GS和CNMF方法中出现了较明显的残留条带。这两种方法在融合操作时将并不明显的条带结果进行了放大，误差出现了累积。与Hysure和CSTF相比，本申请所述算法所得到的结果与原始图像的误差最小。
由此可见，本发明主要针对现有多光谱图像与高光谱图像融合模型无法有效处理含噪数据的问题，提出耦合张量分解和非凸低秩约束的联合去噪和融合模型。该方法包括空间-光谱特征保留策略和噪声抑制策略，其中空间-光谱特征保留策略利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵。噪声抑制策略则是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。通过近端交替优化求解提出的融合模型，得到高空间分辨率的高光谱图像。实验结果表明，本方法在实现联合去噪和融合的同时降低了光谱畸变，有效地避免了这两个任务分别进行而造成的误差累积问题，从而表现出更优的融合性能。
本申请实施例方案还提供了一种硬件运行环境的电子设备，该电子设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（Random Access Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，上述内容并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。如作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。在具体实施例中，所述网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中，所述电子设备通过处理器1001调用存储器1005中存储的高光谱-多光谱图像的去噪融合装置，并执行本申请实施例提供的高光谱-多光谱图像的去噪融合方法。
在实际应用时，所述高光谱-多光谱图像的去噪融合装置，可以包括：
获取图像模块，用于获取原始高光谱图像和多光谱原始图像；
融合模块，用于将所述原始高光谱图像和所述多光谱原始图像输入至所述目标融合模型，以获得目标融合图像；其中，所述目标融合模型是基于空间-光谱特征保留策略和噪声抑制策略构建的，所述空间-光谱特征保留策略是利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；所述噪声抑制策略是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。
需要说明的是，本实施例中高光谱-多光谱图像的去噪融合装置中各模块是与前述实施例中的高光谱-多光谱图像的去噪融合方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照前述高光谱-多光谱图像的去噪融合方法的实施方式，这里不再赘述。
此外，在一种实施例中，本申请还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法的步骤。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光 盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。
以上所揭露的仅为本申请的局部实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种高光谱-多光谱图像的去噪融合方法，其特征在于，包括以下步骤：
获取原始高光谱图像和多光谱原始图像；
将所述原始高光谱图像和所述多光谱原始图像输入至目标融合模型，以获得目标融合图像；
其中，所述目标融合模型是基于空间-光谱特征保留策略和噪声抑制策略构建的，所述空间-光谱特征保留策略是利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；所述噪声抑制策略是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。
2.根据权利要求1所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述目标融合图像满足以下关系式：
Figure QLYQS_1
其中，
Figure QLYQS_3
表示目标融合图像，/>
Figure QLYQS_5
表示核张量；W表示包含n w个原子的空间因子矩阵；H表示包含n h个原子的空间因子矩阵；S表示包含n b个原子的光谱因子矩阵；n w表示核张量/>
Figure QLYQS_8
的宽度值，n h表示核张量/>
Figure QLYQS_4
的高度值，n b表示核张量/>
Figure QLYQS_6
的光谱波段数；w表示原始高光谱图像
Figure QLYQS_7
的宽度像素值，h表示原始高光谱图像/>
Figure QLYQS_9
的高度像素值，b表示原始高光谱图像/>
Figure QLYQS_2
的光谱波段数值。
3.根据权利要求1所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述原始高光谱图像满足以下关系式：
Figure QLYQS_10
其中，
Figure QLYQS_11
表示为原始高光谱图像；/>
Figure QLYQS_12
表示为空间下的采样值，/>
Figure QLYQS_13
表示为高光谱图像出现的高斯噪声，/>
Figure QLYQS_14
表示高光谱图像中出现的条带噪声。
4.根据权利要求3所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述空间下的采样值满足以下关系式：
Figure QLYQS_15
其中，
Figure QLYQS_16
表示为空间下的采样值；/>
Figure QLYQS_17
表示为目标融合图像；P1表示为沿宽度模的下采样矩阵；P2表示为沿高度模的下采样矩阵。
5.根据权利要求1所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述多光谱原始图像满足以下关系式：
Figure QLYQS_18
其中，
Figure QLYQS_19
表示为多光谱原始图像，/>
Figure QLYQS_20
表示为光谱下的采样值，/>
Figure QLYQS_21
表示为多光谱图像中出现的高斯噪声。
6.根据权利要求5所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述光谱下的采样值
Figure QLYQS_22
满足以下关系式：
Figure QLYQS_23
其中，
Figure QLYQS_24
表示为光谱下的采样值；/>
Figure QLYQS_25
表示为目标融合图像；P3表示为光谱维的下采样矩阵。
7.根据权利要求1所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述目标融合模型满足以下关系式：
Figure QLYQS_26
其中，
Figure QLYQS_28
表示目标融合模型；/>
Figure QLYQS_31
表示为原始高光谱图像；/>
Figure QLYQS_33
表示核张量；/>
Figure QLYQS_29
表示高光谱图像中出现的条带噪声；W表示包含n w个原子的空间因子矩阵；H表示包含n h个原子的空间因子矩阵；S表示包含n b个原子的光谱因子矩阵；S*表示光谱下采样字典；W*表示宽度模的下采样字典；H*表示高度模的下采样字典；/>
Figure QLYQS_32
是指空间退化过程的数据保真度项值，/>
Figure QLYQS_35
是指光谱退化过程的数据保真度项值，
Figure QLYQS_37
表示第i模的权重，/>
Figure QLYQS_27
；/>
Figure QLYQS_30
表示核张量第i模展开矩阵的γ范数；/>
Figure QLYQS_34
表示条带噪声的L2,1范数；/>
Figure QLYQS_36
是权重正则化参数。
8.根据权利要求1所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵，包括以下步骤：
固定H参数、S参数和
Figure QLYQS_38
参数后，对W参数进行迭代优化，以获得目标W参数；
固定W参数、S参数和
Figure QLYQS_39
参数，对H参数进行迭代优化，以获得目标H参数；
固定W参数、H参数和
Figure QLYQS_40
参数，对S参数进行迭代优化，以获得目标S参数；
固定W参数、H参数和S参数，对
Figure QLYQS_41
参数进行迭代优化，以获得目标/>
Figure QLYQS_42
参数；
其中，
Figure QLYQS_44
表示核张量；/>
Figure QLYQS_46
表示高光谱图像中出现的条带噪声；W表示包含n w个原子的空间因子矩阵；H表示包含n h个原子的空间因子矩阵；S表示包含n b个原子的光谱因子矩阵；n w表示核张量/>
Figure QLYQS_48
的宽度值，n h表示核张量/>
Figure QLYQS_45
的高度值，n b表示核张量/>
Figure QLYQS_47
的光谱波段数值；w表示原始高光谱图像/>
Figure QLYQS_49
的宽度像素值，h表示原始高光谱图像/>
Figure QLYQS_50
的高度像素值，b表示原始高光谱图像/>
Figure QLYQS_43
的光谱波段数值。
9.根据权利要求8所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述固定H参数、S参数和
Figure QLYQS_51
参数后，对W参数进行迭代优化，以获得目标W参数时，满足以下关系式：
Figure QLYQS_52
其中，
Figure QLYQS_53
表示为原始高光谱图像；/>
Figure QLYQS_54
表示核张量；/>
Figure QLYQS_55
表示高光谱图像中出现的条带噪声；W表示包含n w个原子的空间因子矩阵；H表示包含n h个原子的空间因子矩阵；S表示包含n b个原子的光谱因子矩阵；S*表示光谱下采样字典；W*表示宽度模的下采样字典；H*表示高度模的下采样字典；Wpre表示上一步迭代的因子矩阵；/>
Figure QLYQS_56
代表Frobenius范数；μ>0表示正则化参数；
固定W参数、H参数和
Figure QLYQS_57
参数，对S参数进行迭代优化，以获得目标S参数时，满足以下关系式：
Figure QLYQS_58
其中，
Figure QLYQS_59
表示为原始高光谱图像；/>
Figure QLYQS_60
表示核张量；/>
Figure QLYQS_61
表示高光谱图像中出现的条带噪声；W表示包含n w个原子的空间因子矩阵；H表示包含n h个原子的空间因子矩阵；S表示包含n b个原子的光谱因子矩阵；S*表示光谱下采样字典；W*表示宽度模的下采样字典；H*表示高度模的下采样字典；Hpre表示上一步迭代的因子矩阵；/>
Figure QLYQS_62
代表Frobenius范数；μ>0表示正则化参数；
固定W参数、H参数和
Figure QLYQS_63
参数，对S参数进行迭代优化，以获得目标S参数时，满足以下关系式：
Figure QLYQS_64
其中，
Figure QLYQS_65
表示为原始高光谱图像；/>
Figure QLYQS_66
表示核张量；/>
Figure QLYQS_67
表示高光谱图像中出现的条带噪声；W表示包含n w个原子的空间因子矩阵；H表示包含n h个原子的空间因子矩阵；S表示包含n b个原子的光谱因子矩阵；S*表示光谱下采样字典；W*表示宽度模的下采样字典；H*表示高度模的下采样字典；Spre表示上一步迭代的因子矩阵；/>
Figure QLYQS_68
代表Frobenius范数；μ>0表示正则化参数；
固定W参数、H参数和S参数，对
Figure QLYQS_69
参数进行迭代优化，以获得目标/>
Figure QLYQS_70
参数时，满足以下关系式：
Figure QLYQS_71
其中，
Figure QLYQS_72
表示为原始高光谱图像；/>
Figure QLYQS_73
表示核张量；/>
Figure QLYQS_74
表示高光谱图像中出现的条带噪声；W表示包含n w个原子的空间因子矩阵；H表示包含n h个原子的空间因子矩阵；S表示包含n b个原子的光谱因子矩阵；S*表示光谱下采样字典；W*表示宽度模的下采样字典；H*表示高度模的下采样字典；/>
Figure QLYQS_75
表示上一步迭代的因子矩阵；/>
Figure QLYQS_76
代表Frobenius范数，μ>0表示正则化参数。
10.根据权利要求1所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述通过引入张量γ范数对核张量进行低秩约束来抑制噪声，包括：
通过张量γ范数对核张量进行低秩约束，以获得正则项；
其中，所述正则项满足以下关系式：
Figure QLYQS_77
Figure QLYQS_78
其中，
Figure QLYQS_79
表示为正则项；/>
Figure QLYQS_80
表示张量的第i模展开矩阵；/>
Figure QLYQS_81
表示第i模的权重，
Figure QLYQS_82
；/>
Figure QLYQS_83
，表示为矩阵X的范数；/>
Figure QLYQS_84
表示为X的奇异值分解得到的第k个奇异值；γ表示为张量范数。
CN202310675670.2A 2023-06-08 2023-06-08 一种高光谱-多光谱图像的去噪融合方法 Active CN116402726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310675670.2A CN116402726B (zh) 2023-06-08 2023-06-08 一种高光谱-多光谱图像的去噪融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310675670.2A CN116402726B (zh) 2023-06-08 2023-06-08 一种高光谱-多光谱图像的去噪融合方法

Publications (2)

Publication Number Publication Date
CN116402726A true CN116402726A (zh) 2023-07-07
CN116402726B CN116402726B (zh) 2023-08-22

Family

ID=87018410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310675670.2A Active CN116402726B (zh) 2023-06-08 2023-06-08 一种高光谱-多光谱图像的去噪融合方法

Country Status (1)

Country Link
CN (1) CN116402726B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780345A (zh) * 2017-01-18 2017-05-31 西北工业大学 基于耦合字典及空间转换估计的高光谱图像超分辨重建方法
CN107977951A (zh) * 2017-12-25 2018-05-01 咸阳师范学院 基于耦合张量分解的多光谱与高光谱图像融合方法
CN111369487A (zh) * 2020-05-26 2020-07-03 湖南大学 一种高光谱和多光谱图像融合方法、系统及介质
CN113409261A (zh) * 2021-06-13 2021-09-17 西北工业大学 一种基于空谱特征联合约束的高光谱异常检测方法
CN113870159A (zh) * 2021-09-01 2021-12-31 武汉大学 一种基于动态梯度组稀疏和低秩正则化的高光谱融合方法
CN115937006A (zh) * 2021-12-16 2023-04-07 北京邮电大学 一种基于高斯-威沙特先验的高光谱图像去噪方法
CN116012263A (zh) * 2023-03-27 2023-04-25 四川工程职业技术学院 一种图像噪声去除方法、装置、存储介质及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780345A (zh) * 2017-01-18 2017-05-31 西北工业大学 基于耦合字典及空间转换估计的高光谱图像超分辨重建方法
CN107977951A (zh) * 2017-12-25 2018-05-01 咸阳师范学院 基于耦合张量分解的多光谱与高光谱图像融合方法
CN111369487A (zh) * 2020-05-26 2020-07-03 湖南大学 一种高光谱和多光谱图像融合方法、系统及介质
CN113409261A (zh) * 2021-06-13 2021-09-17 西北工业大学 一种基于空谱特征联合约束的高光谱异常检测方法
CN113870159A (zh) * 2021-09-01 2021-12-31 武汉大学 一种基于动态梯度组稀疏和低秩正则化的高光谱融合方法
CN115937006A (zh) * 2021-12-16 2023-04-07 北京邮电大学 一种基于高斯-威沙特先验的高光谱图像去噪方法
CN116012263A (zh) * 2023-03-27 2023-04-25 四川工程职业技术学院 一种图像噪声去除方法、装置、存储介质及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孔祥阳;: "分块噪声自适应高光谱图像去噪算法研究", 井冈山大学学报(自然科学版), no. 01, pages 69 - 74 *
陈昭;王斌;张立明;: "基于低秩张量分析的高光谱图像降维与分类", 红外与毫米波学报, no. 06, pages 569 - 575 *

Also Published As

Publication number Publication date
CN116402726B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
US8879865B2 (en) Panchromatic sharpening method of spectral image based on fusion of overall structural information and spatial detail information
Ng et al. Solving constrained total-variation image restoration and reconstruction problems via alternating direction methods
Wang et al. Low rank constraint and spatial spectral total variation for hyperspectral image mixed denoising
EP2574216B1 (en) Method and device for recovering a digital image from a sequence of observed digital images
Zeng et al. Hyperspectral image denoising via global spatial-spectral total variation regularized nonconvex local low-rank tensor approximation
Ren et al. Multiscale structure guided diffusion for image deblurring
Seo et al. Robust flash denoising/deblurring by iterative guided filtering
CN111008936A (zh) 一种多光谱图像全色锐化方法
Nguyen et al. Deep SURE for unsupervised remote sensing image fusion
Xu et al. Hyperspectral image denoising by low-rank models with hyper-Laplacian total variation prior
CN110930324A (zh) 一种模糊星图复原方法
Yang et al. Hierarchical spatio-spectral fusion for hyperspectral image super resolution via sparse representation and pre-trained deep model
CN116402726B (zh) 一种高光谱-多光谱图像的去噪融合方法
Yang et al. Detail-aware near infrared and visible fusion with multi-order hyper-Laplacian priors
Ince et al. Simultaneous nonconvex denoising and unmixing for hyperspectral imaging
Moustafa et al. Rapid real-time generation of super-resolution hyperspectral images through compressive sensing and GPU
Fu et al. Sparsity constrained fusion of hyperspectral and multispectral images
CN112862729B (zh) 一种基于特征曲线指导的遥感图像去噪方法
CN115456891A (zh) 一种基于u型动态网络的屏下相机图像复原方法
CN114638761A (zh) 一种高光谱图像全色锐化方法、设备及介质
Jeyaprakash et al. Linearly uncorrelated principal component and deep convolutional image deblurring for natural images
Sola et al. Blind image deblurring based on multi-resolution ringing removal
Jiang et al. Total generalized variation and wavelet transform for impulsive image restoration
Güngör et al. A transform learning based deconvolution technique with super-resolution and microscanning applications
CN116433534B (zh) 一种高光谱图像修复方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant