CN114092834A - 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及系统 - Google Patents

基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及系统 Download PDF

Info

Publication number
CN114092834A
CN114092834A CN202210076344.5A CN202210076344A CN114092834A CN 114092834 A CN114092834 A CN 114092834A CN 202210076344 A CN202210076344 A CN 202210076344A CN 114092834 A CN114092834 A CN 114092834A
Authority
CN
China
Prior art keywords
space
spectrum
network
residual
degradation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210076344.5A
Other languages
English (en)
Other versions
CN114092834B (zh
Inventor
徐洋
王婷婷
吴泽彬
韦志辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202210076344.5A priority Critical patent/CN114092834B/zh
Publication of CN114092834A publication Critical patent/CN114092834A/zh
Application granted granted Critical
Publication of CN114092834B publication Critical patent/CN114092834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及系统，方法包括：建立高光谱图像的退化网络结构，用来模拟空间和光谱降采样过程；建立空间和光谱残差融合网络模型，利用退化模型得到的低分辨率结果与训练数据的差值作为融合网络的输入，即空间和光谱维度上的残差进行融合，得到对应于输入数据的残差图；对初始化数据进行修正，并将修正后的结果再送入退化网络和空谱联合修正网络中进行多次迭代以提高融合结果精度。本发明使用适用于无监督高光谱图像盲融合的空谱联合修正网络，空谱联合修正网络可以获得输入高光谱图像和真实值之间的误差图。

Description

基于空谱联合残差修正网络的无监督高光谱图像盲融合方法 及系统
技术领域
本发明属于遥感图像处理技术领域，具体涉及一种基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及系统。
背景技术
高光谱图像融合是高光谱图像遥感领域的一个重要的应用方向。高光谱图像融合是利用低空间分辨率高光谱图像中丰富的光谱信息和高空间分辨率多光谱图像中丰富的空间信息合成高空间分辨率高光谱图像数据，这些数据可以为后续更复杂的图像处理任务提供高质量的训练集。由于现有传感器自身硬件条件的限制，很难直接获取同时具有高空间分辨率和高光谱分辨率的图像，因此可以通过软件对采集的数据进行后处理以提高遥感图像的空间和光谱分辨率。
高光谱图像融合的难点在于如何有效地利用输入数据的互补信息和冗余信息提高图像的空间和光谱分辨率。成分替换，多分辨率分析和张量分解等传统方法通过假设低分辨率图像和高分辨率图像之间的强关联映射设计重构模型。而从真实场景中获取的数据在空间和光谱方面都有很大的差异，基于假设的模型不能灵活地表达不同的图像结构。与传统方法不同，基于深度学习的高光谱图像融合方法利用神经网络的反向传播和优化算法，可以有效地解决优化问题，取得良好的重建效果；其特征学习能力强，不需特定的先验模型，并且可以直接在一组训练数据上进行训练。
但是基于深度学习的高光谱图像融合仍然存在以下问题：（1）空间下采样算子和光谱响应矩阵这两个参数取决于成像设备，许多超分辨方法通过模拟成像设备信息假设这两个算子已知，假设的算子与实际参数信息的误差越大，融合结果的精度就会越偏离真实的高光谱图像；（2）通过成像设备获取的图像往往是降低一个维度的分辨率来提高另外一个维度的分辨率，即很难直接获取高空间分辨率高光谱图像，那么构建有监督的训练模型并不符合实际需求；（3）在空间退化算子和光谱响应矩阵未知的情况下进行无监督的融合是个高度不适定问题，因为无监督的训练要求损失函数不使用真实的高空间分辨率高光谱图像，则只能间接评估图像质量例如使用输出结果退化后的低分辨率图像和已知数据集进行比较，如何利用有限的低分辨率数据训练无监督的盲融合网络以及设计有效的损失函数是一个难点。
发明内容
本发明的目的在于提供一种基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及系统。
实现本发明目的的技术解决方案为：一种基于空谱联合残差修正网络的无监督高光谱图像盲融合方法，包括以下步骤：
步骤1，建立高光谱图像的退化网络结构，包括空间退化模型和光谱退化模型，分别用来模拟在空间下采样算子和光谱响应矩阵未知情况下的空间和光谱降采样过程；
步骤2，建立空间和光谱残差融合网络模型，将步骤1中的退化模型得到的低分辨率结果与训练数据的差值作为融合网络的输入，即空间和光谱维度上的残差进行融合，从而得到对应于输入数据的空谱联合残差图；
步骤3，利用步骤2中得到残差图对输入的高光谱图像进行修正，并将修正后的结果再送入退化模型和残差融合修正网络中进行多次迭代，用参数固定的退化模型对修正结果进行下采样以构建无监督的目标函数。
一种基于空谱联合残差修正网络的无监督高光谱图像盲融合系统，包括：
第一模块，用于建立高光谱图像的退化网络结构，包括空间退化模型和光谱退化模型，分别用来模拟在空间下采样算子和光谱响应矩阵未知情况下的空间和光谱降采样过程；
第二模块，用于建立空间和光谱残差融合网络模型，将退化模型得到的低分辨率结果与训练数据的差值作为融合网络的输入，即空间和光谱维度上的残差进行融合，从而得到对应于输入数据的空谱联合残差图；
第三模块，利用残差图对输入的高光谱图像进行修正，并将修正后的结果再送入退化模型和残差融合修正网络中进行多次迭代，用参数固定的退化模型对修正结果进行下采样以构建无监督的目标函数。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的基于空谱联合残差修正网络的无监督高光谱图像盲融合方法。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于空谱联合残差修正网络的无监督高光谱图像盲融合方法。
本发明与现有技术相比，其显著优点在于：（1）本发明使用适用于无监督高光谱图像盲融合的空谱联合修正网络，在空间退化算子和光谱响应矩阵未知的情况下训练空间退化网络和光谱退化网络；（2）本发明构建了空谱联合残差修正网络，利用固定参数的退化网络输出的退化结果和已知数据获作差获取空间和光谱上的残差，将残差进行融合并利用融合结果修正初始化高光谱数据；将修正结果进行多次迭代提高精度；利用退化网络对最终输出结果进行降采样并和已知数据一起构建无监督的损失函数，通过网络训练优化损失函数得到最终重建结果；（3）无监督的盲融合网络可以在不需要真实高分辨率数据且空间退化算子和光谱响应矩阵未知情况下训练网络参数，更符合实际应用的同时能取得更好的融合结果。
下面结合附图详细说明本发明提供的无监督高光谱图像盲融合方法。
附图说明
图1是本发明基于空谱联合残差修正网络的无监督高光谱图像盲融合方法流程图。
图2是本发明空谱联合修正网络迭代优化重建过程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
如图1所示，本发明的一种基于空谱联合残差修正网络的无监督高光谱图像盲融合方法，包括以下步骤：
（1）根据高光谱数据建立空间退化和光谱退化模型：
步骤1、从成像设备中获取低空间分辨率高光谱图像
Figure 762020DEST_PATH_IMAGE001
和高空间分辨率多光谱图像
Figure 741478DEST_PATH_IMAGE002
，使用高斯模糊对
Figure 521215DEST_PATH_IMAGE002
进行下采样获取低空间分辨率多光谱图像
Figure 978741DEST_PATH_IMAGE003
，用双三次插值模拟生成高空间分辨率高光谱图像
Figure 793113DEST_PATH_IMAGE004
对应的低分辨率高光谱图像
Figure 677893DEST_PATH_IMAGE005
；
步骤2、建立退化网络结构，包括空间退化网络和光谱退化网络模型，设置好参数，输入
Figure 944926DEST_PATH_IMAGE001
和
Figure 206143DEST_PATH_IMAGE003
图像对训练光谱退化模型，输入
Figure 875022DEST_PATH_IMAGE002
和
Figure 868385DEST_PATH_IMAGE003
图像对训练空间退化模型。
（2）空谱联合修正网络重建高分辨率高光谱图像：
步骤3、建立空间和光谱残差融合网络模型，利用退化模型得到低分辨率结果与训练数据的差值作为融合网络的输入，即空间和光谱维度上的残差进行融合，从而得到对应于输入数据的残差图；
步骤4、利用残差图对初始化数据进行修正，并将修正后的结果再送入退化模型和空谱联合修正网络中进行多次迭代以提高融合结果精度，利于已经固定参数的退化模型对融合结果进行下采样以构建无监督的目标函数。
本发明首先构建高光谱图像的退化网络模型，该模型可以在空间退化算子和光谱响应矩阵未知情况下模拟输入高光谱图像的低空间分辨率图像和多光谱图像。其中空间退化网络由三层神经网络和激活函数构成，而光谱退化网络由一层神经网络和激活函数构成。使用简单的网络结构可以缓解过拟合，使得退化模型更具有泛化性。通过比较已知数据和模拟的低空间分辨多光谱图像来构成退化模型的损失函数然后训练优化损失函数。
根据高光谱数据建立空谱联合修正网络模型过程为：
步骤1，从成像设备中获取低空间分辨率高光谱图像
Figure 685032DEST_PATH_IMAGE001
和高空间分辨率多光谱图像
Figure 422044DEST_PATH_IMAGE002
，使用高斯模糊对
Figure 7746DEST_PATH_IMAGE002
进行下采样获取低空间分辨率多光谱图像
Figure 437590DEST_PATH_IMAGE003
；
不同于基于深度学习的有监督融合方法拟合真实高光谱图像，即在训练过程中需要低分辨率的高光谱图像和对应的高分辨率高光谱图像，本发明提出的融合方法使用无监督的方式训练网络。利用成像设备采集到的数据包括低空间分辨率高光谱图像
Figure 741532DEST_PATH_IMAGE001
和高空间分辨率多光谱图像
Figure 16656DEST_PATH_IMAGE002
，其中
Figure 660127DEST_PATH_IMAGE006
，
Figure 57610DEST_PATH_IMAGE007
，
Figure 786532DEST_PATH_IMAGE008
和
Figure 927663DEST_PATH_IMAGE009
表示光谱维度，
Figure 425641DEST_PATH_IMAGE010
和
Figure 283042DEST_PATH_IMAGE011
表示图像宽度，
Figure 233680DEST_PATH_IMAGE012
和
Figure 178503DEST_PATH_IMAGE013
表示图像长度；使用高斯模糊处理高分辨率多光谱图像
Figure 530986DEST_PATH_IMAGE002
以模拟相同环境下的低分辨率高光谱图像
Figure 473535DEST_PATH_IMAGE003
。
步骤2，建立高光谱图像的退化网络结构，包括空间退化模型
Figure 973786DEST_PATH_IMAGE014
和光谱退化模型
Figure 394403DEST_PATH_IMAGE015
，分别用来模拟在空间下采样算子和光谱响应矩阵未知情况下的空间和光谱降采样过程；
Figure 929290DEST_PATH_IMAGE016
，其中DA为空间退化模型，
Figure 42739DEST_PATH_IMAGE017
为通过空间退化网络对
Figure 967970DEST_PATH_IMAGE002
进行空间降采样后生成的低空间分辨率多光谱图像；
Figure 254595DEST_PATH_IMAGE018
，其中DE为光谱退化模型，
Figure 316092DEST_PATH_IMAGE019
为通过光谱退化网络对
Figure 662759DEST_PATH_IMAGE020
进行光谱降采样后生成的低空间分辨率多光谱图像；
对空间退化网络进行训练，其损失函数为：
Figure 75286DEST_PATH_IMAGE021
对光谱退化网络进行预训练，其目标函数为：
Figure 103285DEST_PATH_IMAGE022
其中
Figure 347185DEST_PATH_IMAGE023
为对已知数据高空间分辨率多光谱图像
Figure 536857DEST_PATH_IMAGE002
进行高斯模糊得到的空间下采样结果，高斯核的平均值为0，标准偏差为2；损失函数采用L1范数函数，因为其实现简单且在高光谱图像超分辨率方面取得了较好的效果。
步骤3，建立空间和光谱残差融合网络模型FS，将退化模型得到的低分辨率结果与训练数据的差值作为融合网络的输入，即空间和光谱维度上的残差进行融合，从而得到对应于输入数据的残差图；
步骤3.1、将
Figure 498997DEST_PATH_IMAGE024
进行双三差值上采样得到高空间分辨率高光谱图像
Figure 65108DEST_PATH_IMAGE025
作为初始化数据，利用步骤1中训练好的退化网络获取初始化高光谱图像的空间和光谱下采样结果：
Figure 429093DEST_PATH_IMAGE026
Figure 789667DEST_PATH_IMAGE027
其中，
Figure 176786DEST_PATH_IMAGE025
为
Figure 608905DEST_PATH_IMAGE024
双三差值上采样的结果，
Figure 499500DEST_PATH_IMAGE028
是对
Figure 358872DEST_PATH_IMAGE025
进行空间下采样得到的低空间分辨率高光谱图像，
Figure 967708DEST_PATH_IMAGE029
是对
Figure 203517DEST_PATH_IMAGE025
进行光谱下采样得到的高空间分辨率多光谱图像；
步骤3.2、将退化后的结果分别和相应的已知数据
Figure 214198DEST_PATH_IMAGE002
和
Figure 244471DEST_PATH_IMAGE024
作差来获得被降采样的数据和真实数据在空间和光谱上的残差，其保留了输入数据的高频信息，保证网络在前向传播过程中不丢失细节信息；然后将空间和光谱残差图送入残差融合网络，利用融合网络对齐空间误差和光谱误差在两个维度上的大小并在保持光谱一致性的同时优化空间细节，最终获得空谱联合的残差图：
Figure 340603DEST_PATH_IMAGE030
Figure 52207DEST_PATH_IMAGE031
Figure 979712DEST_PATH_IMAGE032
步骤4，利用步骤3中得到残差图对初始化数据进行修正，并将修正后的结果再送入退化模型和残差融合修正网络中进行多次迭代，用参数固定的退化模型对修正结果进行下采样以构建无监督的目标函数：
步骤4.1、利用步骤3中得到的空谱联合残差图对本次通过空谱联合修正网络的高光谱图像进行修正：
Figure 118569DEST_PATH_IMAGE033
步骤4.2、将得到的重建结果再送入退化和残差融合修正网络中进行多次迭代以提高重建图像精度：
Figure 764314DEST_PATH_IMAGE034
Figure 14030DEST_PATH_IMAGE035
Figure 61620DEST_PATH_IMAGE036
Figure 371379DEST_PATH_IMAGE037
…
Figure 442103DEST_PATH_IMAGE038
其中
Figure 557827DEST_PATH_IMAGE039
表示经过第i次（
Figure 397607DEST_PATH_IMAGE040
）空谱联合残差修正网络迭代后得到的融合结果，训练过程如图2所示。
步骤4.3、利用参数已经固定的退化模型，对最终输出的高光谱图像进行空间和光谱下采样，得到的结果和已知数据一起构建无监督的损失函数
Figure 940584DEST_PATH_IMAGE041
，
其中
Figure 233025DEST_PATH_IMAGE042
为平衡因子，用来减小使用神经网络模拟退化模型对重建结果造成的误差，
Figure 152439DEST_PATH_IMAGE043
设定为0.1且由经验取得。
本发明的应用需要一定量的数据集支持，包括低分辨率高光谱图像和高空间分辨率多光谱图像，用于学习由神经网络构成的退化模型和空谱联合修正模型；在此基础上构成的无监督盲融合方法比许多有监督的深度学习方法更具有实用性且得到的融合结果精度更高。
本发明还提供一种基于空谱联合残差修正网络的无监督高光谱图像盲融合系统，包括：
第一模块，用于建立高光谱图像的退化网络结构，包括空间退化模型和光谱退化模型，分别用来模拟在空间下采样算子和光谱响应矩阵未知情况下的空间和光谱降采样过程；
第二模块，用于建立空间和光谱残差融合网络模型，将退化模型得到的低分辨率结果与训练数据的差值作为融合网络的输入，即空间和光谱维度上的残差进行融合，从而得到对应于输入数据的空谱联合残差图；
第三模块，利用残差图对输入的高光谱图像进行修正，并将修正后的结果再送入退化模型和残差融合修正网络中进行多次迭代，用参数固定的退化模型对修正结果进行下采样以构建无监督的目标函数。
上述第一~第三模块的具体实现方式与前述的无监督高光谱图像盲融合方法相同，此处不再赘述。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于空谱联合残差修正网络的无监督高光谱图像盲融合方法，其特征在于，包括以下步骤：
步骤1，建立高光谱图像的退化网络结构，包括空间退化模型和光谱退化模型，分别用来模拟在空间下采样算子和光谱响应矩阵未知情况下的空间和光谱降采样过程；
步骤2，建立空间和光谱残差融合网络模型，将步骤1中的退化模型得到的低分辨率结果与训练数据的差值作为融合网络的输入，即空间和光谱维度上的残差进行融合，从而得到对应于输入数据的空谱联合残差图；
步骤3，利用步骤2中得到残差图对输入的高光谱图像进行修正，并将修正后的结果再送入退化模型和残差融合修正网络中进行多次迭代，用参数固定的退化模型对修正结果进行下采样以构建无监督的目标函数。
2.根据权利要求1所述的基于空谱联合残差修正网络的无监督高光谱图像盲融合方法，其特征在于，步骤1中，建立在空间下采样算子和光谱响应矩阵未知情况下的空间和光谱退化网络模型，设置好参数，输入成像设备采集到的低空间分辨率高光谱图像
Figure 982242DEST_PATH_IMAGE001
和高空间分辨率多光谱图像
Figure 36393DEST_PATH_IMAGE002
来训练网络，具体如下：
Figure 461558DEST_PATH_IMAGE003
，其中DA为空间退化模型，
Figure 435330DEST_PATH_IMAGE004
为通过空间退化网络对
Figure 749899DEST_PATH_IMAGE002
进行空间降采样后生成的低空间分辨率多光谱图像；
Figure 809122DEST_PATH_IMAGE005
，其中DE为光谱退化模型，
Figure 365874DEST_PATH_IMAGE006
为通过光谱退化网络对
Figure 459732DEST_PATH_IMAGE007
进行光谱降采样后生成的低空间分辨率多光谱图像；
对空间退化网络进行预训练，其损失函数为：
Figure 676693DEST_PATH_IMAGE008
对光谱退化网络进行预训练，其目标函数为：
Figure 223212DEST_PATH_IMAGE009
其中
Figure 318076DEST_PATH_IMAGE010
是对已知数据高空间分辨率多光谱图像
Figure 266441DEST_PATH_IMAGE002
进行高斯模糊得到的下采样数据；损失函数采用L1范数函数。
3.根据权利要求2所述的基于空谱联合残差修正网络的无监督高光谱图像盲融合方法，其特征在于，步骤2所述的建立空间和光谱残差融合网络模型，将空间和光谱维度上的残差通过空间和光谱残差融合网络模型进行融合，从而得到对应于输入数据的空谱联合残差图，具体步骤如下；
步骤2.1、将
Figure 922812DEST_PATH_IMAGE007
进行双三差值上得到高空间分辨率高光谱图像
Figure 956627DEST_PATH_IMAGE011
作为初始化数据，利用步骤1中训练好的退化网络获取初始输入的空间退化和光谱退化结果：
Figure 855182DEST_PATH_IMAGE012
Figure 658053DEST_PATH_IMAGE013
其中，
Figure 482396DEST_PATH_IMAGE011
为
Figure 3507DEST_PATH_IMAGE007
双三差值上采样的结果，
Figure 705753DEST_PATH_IMAGE014
是通过空间退化网络对
Figure 363130DEST_PATH_IMAGE011
进行下采样得到的低空间分辨率高光谱图像，
Figure 361304DEST_PATH_IMAGE015
是通过光谱退化网络对
Figure 369712DEST_PATH_IMAGE011
进行下采样得到的高空间分辨率多光谱图像；
步骤2.2、将退化后的结果分别和相应的已知数据
Figure 610069DEST_PATH_IMAGE002
和
Figure 387532DEST_PATH_IMAGE007
作差来获取被降采样的数据和真实数据在空间和光谱上的残差；然后将空间和光谱残差图送入残差融合网络，利用融合网络对齐空间误差和光谱误差在两个维度上的大小并在保持光谱一致性的同时优化空间细节，最终获得空谱联合的残差图：
Figure 553678DEST_PATH_IMAGE016
Figure 49381DEST_PATH_IMAGE017
Figure 827850DEST_PATH_IMAGE018
Figure 459820DEST_PATH_IMAGE019
表示空间和光谱残差融合网络模型。
4.根据权利要求3所述的基于空谱联合残差修正网络的高光谱图像盲融合方法，其特征在于，步骤3所述利用步骤2中得到的残差图对初始化数据进行修正，并将修正后的结果再送入退化模型和残差融合修正网络中进行多次迭代；用参数固定的退化模型对修正结果进行下采样以构建无监督的目标函数，具体如下：
步骤3.1、利用步骤2中得到的空谱联合残差图对本次通过空谱联合修正网络的高光谱图像进行修正：
Figure 65376DEST_PATH_IMAGE020
步骤3.2、将得到的重建结果再送入退化模型和残差融合修正网络中进行多次迭代：
Figure 782796DEST_PATH_IMAGE021
Figure 364956DEST_PATH_IMAGE022
Figure 117011DEST_PATH_IMAGE023
Figure 648397DEST_PATH_IMAGE024
…
Figure 853114DEST_PATH_IMAGE025
其中
Figure 238965DEST_PATH_IMAGE026
表示经过第i次空谱联合残差修正网络迭代后得到的最终重构结果，i≤5；
步骤3.3、利用参数已经固定的退化模型，对最终输出的高光谱图像进行空间和光谱下采样，得到的结果和已知数据一起构建无监督的损失函数：
Figure 845526DEST_PATH_IMAGE027
其中
Figure 527306DEST_PATH_IMAGE028
为平衡因子，用来减小使用神经网络模拟退化模型对重建结果造成的误差。
5.一种基于空谱联合残差修正网络的无监督高光谱图像盲融合系统，其特征在于，包括：
第一模块，用于建立高光谱图像的退化网络结构，包括空间退化模型和光谱退化模型，分别用来模拟在空间下采样算子和光谱响应矩阵未知情况下的空间和光谱降采样过程；
第二模块，用于建立空间和光谱残差融合网络模型，将退化模型得到的低分辨率结果与训练数据的差值作为融合网络的输入，即空间和光谱维度上的残差进行融合，从而得到对应于输入数据的空谱联合残差图；
第三模块，利用残差图对输入的高光谱图像进行修正，并将修正后的结果再送入退化模型和残差融合修正网络中进行多次迭代，用参数固定的退化模型对修正结果进行下采样以构建无监督的目标函数。
6.根据权利要求5所述的基于空谱联合残差修正网络的无监督高光谱图像盲融合系统，其特征在于，所述第一模块，建立在空间下采样算子和光谱响应矩阵未知情况下的空间和光谱退化网络模型，设置好参数，输入成像设备采集到的低空间分辨率高光谱图像
Figure 219318DEST_PATH_IMAGE001
和高空间分辨率多光谱图像
Figure 143281DEST_PATH_IMAGE002
来训练网络，具体如下：
Figure 604349DEST_PATH_IMAGE003
，其中DA为空间退化模型，
Figure 719679DEST_PATH_IMAGE004
为通过空间退化网络对
Figure 898988DEST_PATH_IMAGE002
进行空间降采样后生成的低空间分辨率多光谱图像；
Figure 157800DEST_PATH_IMAGE005
，其中DE为光谱退化模型，
Figure 942216DEST_PATH_IMAGE006
为通过光谱退化网络对
Figure 965798DEST_PATH_IMAGE007
进行光谱降采样后生成的低空间分辨率多光谱图像；
对空间退化网络进行预训练，其损失函数为：
Figure 632403DEST_PATH_IMAGE029
对光谱退化网络进行预训练，其目标函数为：
Figure 898168DEST_PATH_IMAGE009
其中
Figure 333828DEST_PATH_IMAGE010
是对已知数据高空间分辨率多光谱图像
Figure 56540DEST_PATH_IMAGE002
进行高斯模糊得到的下采样数据；损失函数采用L1范数函数。
7.根据权利要求6所述的基于空谱联合残差修正网络的无监督高光谱图像盲融合系统，其特征在于，所述第二模块，建立空间和光谱残差融合网络模型，将空间和光谱维度上的残差通过空间和光谱残差融合网络模型进行融合，从而得到对应于输入数据的空谱联合残差图，具体如下；
将
Figure 944862DEST_PATH_IMAGE007
进行双三差值上得到高空间分辨率高光谱图像
Figure 14318DEST_PATH_IMAGE011
作为初始化数据，利用步骤1中训练好的退化网络获取初始输入的空间退化和光谱退化结果：
Figure 304485DEST_PATH_IMAGE012
Figure 669870DEST_PATH_IMAGE013
其中，
Figure 311066DEST_PATH_IMAGE011
为
Figure 918634DEST_PATH_IMAGE007
双三差值上采样的结果，
Figure 279952DEST_PATH_IMAGE014
是通过空间退化网络对
Figure 331085DEST_PATH_IMAGE011
进行下采样得到的低空间分辨率高光谱图像，
Figure 443266DEST_PATH_IMAGE015
是通过光谱退化网络对
Figure 605257DEST_PATH_IMAGE011
进行下采样得到的高空间分辨率多光谱图像；
将退化后的结果分别和相应的已知数据
Figure 355169DEST_PATH_IMAGE002
和
Figure 842783DEST_PATH_IMAGE007
作差来获取被降采样的数据和真实数据在空间和光谱上的残差；然后将空间和光谱残差图送入残差融合网络,利用融合网络对齐空间误差和光谱误差在两个维度上的大小并在保持光谱一致性的同时优化空间细节，最终获得空谱联合的残差图：
Figure 442260DEST_PATH_IMAGE016
Figure 407942DEST_PATH_IMAGE017
Figure 478273DEST_PATH_IMAGE018
Figure 605629DEST_PATH_IMAGE019
表示空间和光谱残差融合网络模型。
8.根据权利要求7所述的基于空谱联合残差修正网络的无监督高光谱图像盲融合系统，其特征在于，所述第三模块，利用残差图对初始化数据进行修正，并将修正后的结果再送入退化模型和残差融合修正网络中进行多次迭代；用参数固定的退化模型对修正结果进行下采样以构建无监督的目标函数，具体如下：
利用第二模块得到的空谱联合残差图对本次通过空谱联合修正网络的高光谱图像进行修正：
Figure 692402DEST_PATH_IMAGE030
将得到的重建结果再送入退化模型和残差融合修正网络中进行多次迭代：
Figure 461775DEST_PATH_IMAGE021
Figure 451859DEST_PATH_IMAGE022
Figure 750116DEST_PATH_IMAGE023
Figure 324186DEST_PATH_IMAGE031
…
Figure 631671DEST_PATH_IMAGE025
其中
Figure 207752DEST_PATH_IMAGE026
表示经过第
Figure 942490DEST_PATH_IMAGE032
次空谱联合残差修正网络迭代后得到的最终重构结果，
Figure 738277DEST_PATH_IMAGE033
；
利用参数已经固定的退化模型，对最终输出的高光谱图像进行空间和光谱下采样，得到的结果和已知数据一起构建无监督的损失函数
Figure 849452DEST_PATH_IMAGE027
其中
Figure 548549DEST_PATH_IMAGE028
为平衡因子，用来减小使用神经网络模拟退化模型对重建结果造成的误差。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一所述的基于空谱联合残差修正网络的无监督高光谱图像盲融合方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的基于空谱联合残差修正网络的无监督高光谱图像盲融合方法。
CN202210076344.5A 2022-01-24 2022-01-24 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及系统 Active CN114092834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210076344.5A CN114092834B (zh) 2022-01-24 2022-01-24 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210076344.5A CN114092834B (zh) 2022-01-24 2022-01-24 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及系统

Publications (2)

Publication Number Publication Date
CN114092834A true CN114092834A (zh) 2022-02-25
CN114092834B CN114092834B (zh) 2022-04-15

Family

ID=80309131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210076344.5A Active CN114092834B (zh) 2022-01-24 2022-01-24 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及系统

Country Status (1)

Country Link
CN (1) CN114092834B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972802A (zh) * 2022-04-18 2022-08-30 北京理工大学 一种基于混合监督模型的高光谱图像恢复方法和系统
CN115760670A (zh) * 2023-01-06 2023-03-07 之江实验室 基于网络隐式先验的无监督高光谱融合方法及装置
CN116429710A (zh) * 2023-06-15 2023-07-14 武汉大学人民医院（湖北省人民医院） 一种药物组分检测方法、装置、设备及可读存储介质
CN118505507A (zh) * 2024-05-13 2024-08-16 南京理工大学 基于交叉注意力深度张量网络的高光谱超分辨方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140301659A1 (en) * 2013-04-07 2014-10-09 Bo Li Panchromatic Sharpening Method of Spectral Image Based on Fusion of Overall Structural Information and Spatial Detail Information
CN104867124A (zh) * 2015-06-02 2015-08-26 西安电子科技大学 基于对偶稀疏非负矩阵分解的多光谱与全色图像融合方法
US20160320602A1 (en) * 2015-04-30 2016-11-03 Farnoud KAZEMZADEH System, method and apparatus for ultra-resolved ultra-wide field-of-view multispectral and hyperspectral holographic microscopy
CN109360147A (zh) * 2018-09-03 2019-02-19 浙江大学 基于彩色图像融合的多光谱图像超分辨率重建方法
CN110148103A (zh) * 2019-04-29 2019-08-20 中国科学院西安光学精密机械研究所 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备
CN110415199A (zh) * 2019-07-26 2019-11-05 河海大学 基于残差学习的多光谱遥感图像融合方法及装置
CN112465733A (zh) * 2020-08-31 2021-03-09 长沙理工大学 基于半监督学习的遥感图像融合方法、装置、介质及设备
CN113052130A (zh) * 2021-04-20 2021-06-29 辽宁工程技术大学 基于深度残差网络和边缘保护滤波的高光谱影像分类方法
CN113129247A (zh) * 2021-04-21 2021-07-16 重庆邮电大学 基于自适应多尺度残差卷积的遥感图像融合方法及介质
CN113744136A (zh) * 2021-09-30 2021-12-03 华中科技大学 基于通道约束多特征融合的图像超分辨率重建方法和系统
CN113763299A (zh) * 2021-08-26 2021-12-07 中国人民解放军军事科学院国防工程研究院工程防护研究所 一种全色与多光谱图像融合方法、装置及其应用

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140301659A1 (en) * 2013-04-07 2014-10-09 Bo Li Panchromatic Sharpening Method of Spectral Image Based on Fusion of Overall Structural Information and Spatial Detail Information
US20160320602A1 (en) * 2015-04-30 2016-11-03 Farnoud KAZEMZADEH System, method and apparatus for ultra-resolved ultra-wide field-of-view multispectral and hyperspectral holographic microscopy
CN104867124A (zh) * 2015-06-02 2015-08-26 西安电子科技大学 基于对偶稀疏非负矩阵分解的多光谱与全色图像融合方法
CN109360147A (zh) * 2018-09-03 2019-02-19 浙江大学 基于彩色图像融合的多光谱图像超分辨率重建方法
CN110148103A (zh) * 2019-04-29 2019-08-20 中国科学院西安光学精密机械研究所 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备
CN110415199A (zh) * 2019-07-26 2019-11-05 河海大学 基于残差学习的多光谱遥感图像融合方法及装置
CN112465733A (zh) * 2020-08-31 2021-03-09 长沙理工大学 基于半监督学习的遥感图像融合方法、装置、介质及设备
CN113052130A (zh) * 2021-04-20 2021-06-29 辽宁工程技术大学 基于深度残差网络和边缘保护滤波的高光谱影像分类方法
CN113129247A (zh) * 2021-04-21 2021-07-16 重庆邮电大学 基于自适应多尺度残差卷积的遥感图像融合方法及介质
CN113763299A (zh) * 2021-08-26 2021-12-07 中国人民解放军军事科学院国防工程研究院工程防护研究所 一种全色与多光谱图像融合方法、装置及其应用
CN113744136A (zh) * 2021-09-30 2021-12-03 华中科技大学 基于通道约束多特征融合的图像超分辨率重建方法和系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DIOLINE SARA 等: "Hyperspectral and multispectral image fusion techniques for high resolution applications: a review", 《EARTH SCIENCE INFORMATICS》 *
TIANMING ZHAN 等: "Tensor Regression and Image Fusion-Based Change Detection Using Hyperspectral and Multispectral Images: web of science", 《 IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
WEI HUANG 等: "Compressive Hyperspectral Image Reconstruction Based on Spatial–Spectral Residual Dense Network", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
徐洋: "稀疏与低秩先验下的高光谱分类与检测方法", 《中国优秀博硕士学位论文全文数据库 信息科技辑》 *
熊璋玺: "基于深度学习的遥感图像融合算法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
阴翔芸: "基于稀疏表示的高光谱与多光谱图像融合研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972802A (zh) * 2022-04-18 2022-08-30 北京理工大学 一种基于混合监督模型的高光谱图像恢复方法和系统
CN114972802B (zh) * 2022-04-18 2024-05-31 北京理工大学 一种基于混合监督模型的高光谱图像恢复方法和系统
CN115760670A (zh) * 2023-01-06 2023-03-07 之江实验室 基于网络隐式先验的无监督高光谱融合方法及装置
CN116429710A (zh) * 2023-06-15 2023-07-14 武汉大学人民医院（湖北省人民医院） 一种药物组分检测方法、装置、设备及可读存储介质
CN116429710B (zh) * 2023-06-15 2023-09-26 武汉大学人民医院（湖北省人民医院） 一种药物组分检测方法、装置、设备及可读存储介质
CN118505507A (zh) * 2024-05-13 2024-08-16 南京理工大学 基于交叉注意力深度张量网络的高光谱超分辨方法及系统

Also Published As

Publication number Publication date
CN114092834B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN114092834B (zh) 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及系统
Wang et al. Dnu: Deep non-local unrolling for computational spectral imaging
Wang et al. Hyperspectral image reconstruction using a deep spatial-spectral prior
Jiang et al. Single image super-resolution via locally regularized anchored neighborhood regression and nonlocal means
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN104112263B (zh) 基于深度神经网络的全色图像与多光谱图像融合的方法
CN112184554B (zh) 一种基于残差混合膨胀卷积的遥感图像融合方法
CN112634137A (zh) 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
Luo et al. Hyperspectral mixed noise removal via spatial-spectral constrained unsupervised deep image prior
CN108257108B (zh) 一种超分辨率图像重建方法及系统
CN105513033B (zh) 一种非局部联合稀疏表示的超分辨率重建方法
CN115272078A (zh) 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法
Yang et al. License plate image super-resolution based on convolutional neural network
Li et al. CADUI: Cross-attention-based depth unfolding iteration network for pansharpening remote sensing images
CN109785279A (zh) 一种基于深度学习的图像融合重建方法
CN113689370A (zh) 基于深度卷积神经网络的遥感图像融合方法
Yan et al. Md³net: Integrating model-driven and data-driven approaches for pansharpening
CN112330549A (zh) 一种基于盲解卷积网络的模糊图像盲复原方法及系统
Yang et al. Image super-resolution reconstruction based on improved Dirac residual network
US11748853B2 (en) Method and architecture for blind image deconvolution
Ates et al. Deep learning-based blind image super-resolution with iterative kernel reconstruction and noise estimation
Zhang et al. Degradation learning for unsupervised hyperspectral image super-resolution based on generative adversarial network
CN117765360A (zh) 一种基于多尺度残差学习的多光谱图像融合方法
CN112508082A (zh) 一种非监督学习的遥感影像空谱融合方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant