CN113284045A - 基于迁移学习和光谱恢复的hsi超分辨重建方法及相关设备 - Google Patents
基于迁移学习和光谱恢复的hsi超分辨重建方法及相关设备 Download PDFInfo
- Publication number
- CN113284045A CN113284045A CN202110550369.XA CN202110550369A CN113284045A CN 113284045 A CN113284045 A CN 113284045A CN 202110550369 A CN202110550369 A CN 202110550369A CN 113284045 A CN113284045 A CN 113284045A
- Authority
- CN
- China
- Prior art keywords
- resolution
- super
- model
- training
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000013526 transfer learning Methods 0.000 title claims abstract description 73
- 238000011084 recovery Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 158
- 238000013508 migration Methods 0.000 claims abstract description 33
- 230000005012 migration Effects 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000003595 spectral effect Effects 0.000 claims description 73
- 230000006870 function Effects 0.000 claims description 48
- 238000013136 deep learning model Methods 0.000 claims description 21
- 238000005316 response function Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000009467 reduction Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及高光谱图像领域，公开基于迁移学习和光谱恢复的HSI超分辨重建方法及相关设备，用于通过机器学习模型实现从低分辨高光谱图像预测HSI，方法包括：获取高光谱图像集训练集和彩色图像训练集；根据高光谱图像集训练集进行光谱下采样得到多光谱图像集；根据彩色图像训练集对预设迁移学习模型进行训练，得到空间超分辨模型，并对空间超分辨模型进行调优，得到目标空间超分辨模型；根据低分辨率多光谱图像集和低分辨率高光谱图像集，对预设深度学习模型进行训练，得到目标光谱超分辨模型；获取待重建的低分辨率高光谱图像，基于目标空间超分辨模型及目标光谱超分辨模型分别进行迁移学习与光谱恢复处理，得到对应的高分辨率高光谱图像。
Description
技术领域
本发明涉及深度学习的高光谱图像技术领域，尤其涉及一种基于迁移学习和光谱恢复的HSI超分辨重建方法、装置、设备及存储介质。
背景技术
高光谱图像(Hyperspectral Image,HSI)能够同时捕获丰富的光谱信息和空间信息，更加全面反映图像的特性，且高分辨率的光谱信息可以有效的区分在彩色域或者纹理相近的物体。因此，HSI在遥感领域和视觉任务得到广泛的应用，比如环境保护、植被分析、目标跟踪等等。高分辨率的图像，无论是空间域还是光谱域，可以提升现实应用的效果。因此，获取高分辨率的HSI十分重要。
图像超分辨重建是具有挑战性的计算机视觉问题，可以有效的增加图像的分辨率，提升HSI的视觉效果。就HSI而言，超分辨研究主要从空间域和光谱域提高图像的分辨率，本发明的主要目标是提升HSI的空间分辨率，本文中的超分辨研究是指空间域超分辨。HSI超分辨重建可以分为基于融合的方法和基于单图像的方法，基于单图像的超分辨重建方法主要利用深度学习实现，利用SCT-SDCNN、3D-FCN、SSIN等等。上述方法具有良好的超分辨重建效果，然而所用的深度网络模型具有极高的时空复杂度，并且需要外部训练集多网络参数进行调优，但高额的成本和复杂的技术使得HSI的训练集的获取较为困难。
针对HIS超分辨重建训练集不易获取的问题，本发明拟采用迁移学习的方法研究HSI超分辨重建问题。相比HSI，彩色图像或者多光谱图像的图像训练集的获取更加容易，本发明基于迁移学习的方法利用彩色图像训练集调优超分辨重建模型。然而，由于HSI和彩色图像的域间隔较为明显，直接迁移可能导致超分辨重建的HSI具有严重的光谱失真。
为解决上述直接迁移可能导致获得的HSI具有光谱失真的问题，本发明提出一种基于迁移学习和光谱恢复的HSI超分辨重建方法，通过利用光谱响应函数将高光谱图像进行光谱降维，可以有效减少高光谱图像和彩色图像间的域间隔；本发明还在迁移学习的基础上利用训练好的光谱恢复网络重建成高分辨率HSI。
发明内容
本发明的主要目的在于解决现有利用彩色图像训练集调优空间超分辨重建模型直接迁移可能导致获得的HSI具有光谱失真的问题，通过利用光谱响应函数将高光谱图像进行光谱降维，还在迁移学习的基础上利用训练好的光谱恢复模型重建成高分辨率HSI，实现通过机器学习模型从低分辨高光谱图像预测得到HSI，达到HSI超分辨重建的目的。
为实现上述目的，本发明第一方面提供了一种基于迁移学习和光谱恢复的HSI超分辨重建方法，包括：
获取高光谱图像集训练集T＝{(Xi，Yi)，i＝1,2,…,Z}、和彩色图像训练集C＝{(Li，Hi)，i＝1,2,…,N}，其中，X＝{Xi，i＝1,2,…,Z}为低分辨率高光谱图像集、Y＝{Yi，i＝1,2,…,Z}为高分辨率高光谱图像集，L＝{Li，i＝1,2,…,N}为低分辨率彩色图像集、H＝{Hi，i＝1,2,…,N}为高分辨率彩色图像集；
根据所述高光谱图像集训练集，利用预设光谱响应函数生成对应的多光谱图像集TC＝{(XC i，YC i)，i＝1,2,…,Z}，其中XC＝{XC i，i＝1,2,…,Z}为低分辨率多光谱图像集、YC＝{YC i，i＝1,2,…,Z}为高分辨率多光谱图像集；
根据所述彩色图像训练集对预设迁移学习模型进行训练，得到训练好的空间超分辨模型；
根据所述多光谱图像集对所述空间超分辨模型进行验证调优，得到调优最优的目标空间超分辨模型；
根据所述低分辨率多光谱图像集和低分辨率高光谱图像集，得到合成数据集(XC，X)，基于所述合成数据集对预设深度学习模型进行训练，得到目标光谱超分辨模型；
获取待重建的低分辨率高光谱图像，基于所述目标空间超分辨模型及目标光谱超分辨模型分别进行迁移学习与光谱恢复处理，得到对应的高分辨率高光谱图像。
可选的，在本发明第一方面的另一种实现方式中，所述获取待重建的低分辨率高光谱图像，基于所述目标空间超分辨模型及目标光谱超分辨模型分别进行迁移学习与光谱恢复处理，得到对应的高分辨率高光谱图像，包括：
获取待重建的低分辨率高光谱图像，利用所述预设光谱响应函数生成对应的低分辨率多光谱图像；
基于所述目标空间超分辨模型对所述低分辨率多光谱图像进行迁移学习处理，得到对应的高分辨率多光谱图像作为预测的高分辨图像；
基于所述目标光谱超分辨模型对预测的高分辨图像进行光谱恢复处理，得到对应的高分辨率高光谱图像。
可选的，在本发明第一方面的另一种实现方式中，所述根据所述彩色图像训练集对预设迁移学习模型进行训练，得到训练好的空间超分辨模型，包括：
基于所述彩色图像训练集，根据预设比例划分为第一训练子集、第一验证子集以及第一测试子集，对所述预设迁移学习模型采用端到端的有监督方式进行训练，所述预设迁移学习模型为SAN网络模型；
根据第一预设目标函数，利用所述预设迁移学习学习所述低分辨率彩色图像集中的每一幅低分辨彩色图像到所述高分辨率彩色图像集中与之对应的每一幅高分辨彩色图像的映射关系，直至所述第一预设目标函数的损失达到最小时收敛，得到训练好的空间超分辨模型。
可选的，在本发明第一方面的另一种实现方式中，所述第一预设目标函数为：
其中，θ为空间超分辨模型参数，N为训练样本数。
可选的，在本发明第一方面的另一种实现方式中，所述根据所述多光谱图像集对所述空间超分辨模型进行验证调优，得到调优最优的目标空间超分辨模型具体包括：
将所述多光谱图像集作为调优训练集，根据所述预设比例划分为第二训练子集、第二验证子集以及第二测试子集，对所述空间超分辨模型采用端到端的有监督方式进行训练；
根据所述第一预设目标函数，利用所述空间超分辨模型学习所述多光谱图像集中的低分辨率多光谱图像与高分辨率多光谱图像之间的映射关系，直至所述第一预设目标函数的损失达到最小时收敛，得到调优最优的目标空间超分辨模型。
可选的，在本发明第一方面的另一种实现方式中，所述基于所述合成数据集对预设深度学习模型进行训练，得到目标光谱超分辨模型具体包括：
基于所述合成数据集作为训练集，根据所述预设比例划分为第三训练子集、第三验证子集以及第三测试子集，对所述预设深度学习模型采用端到端的有监督方式进行训练，所述预设深度学习模型为AWAN网络模型；
根据第二预设目标函数，利用所述预设深度学习模型学习所述合成数据集中的低分辨率多光谱图像与低分辨率高光谱图像集之间的映射关系，直到所述第二预设目标函数的损失达到最小时收敛，得到训练好的目标光谱超分辨模型。
可选的，在本发明第一方面的另一种实现方式中，所述第二预设目标函数包括损失函数及光谱信息散度，所述损失函数用于减少像素损失，所述光谱信息散度用于抑制光谱失真；
其中，所述损失函数为：
所述光谱信息散度的计算公式为：
其中，Φ为光谱超分辨模型参数，ε为常数，Z为训练样本数。
本发明第二方面还提供了一种基于迁移学习和光谱恢复的HSI超分辨重建装置，所述装置包括：
训练集获取模块，用于获取高光谱图像集训练集T＝{(Xi，Yi)，i＝1,2,…,Z}、和彩色图像训练集C＝{(Li，Hi)，i＝1,2,…,N}，其中，X＝{Xi，i＝1,2,…,Z}为低分辨率高光谱图像集、Y＝{Yi，i＝1,2,…,Z}为高分辨率高光谱图像集，L＝{Li，i＝1,2,…,N}为低分辨率彩色图像集、H＝{Hi，i＝1,2,…,N}为高分辨率彩色图像集；
光谱下采样模块，用于根据所述高光谱图像集训练集，利用预设光谱响应函数生成对应的多光谱图像集TC＝{(XC i，YC i)，i＝1,2,…,Z}，其中XC＝{XC i，i＝1,2,…,Z}为低分辨率多光谱图像集、YC＝{YC i，i＝1,2,…,Z}为高分辨率多光谱图像集；
空间超分辨模型训练模块，用于根据所述彩色图像训练集对预设迁移学习模型进行训练，得到训练好的空间超分辨模型；
空间超分辨模型调优模块，用于根据所述多光谱图像集对所述空间超分辨模型进行验证调优，得到调优最优的目标空间超分辨模型；
光谱超分辨模型训练模块，用于根据所述低分辨率多光谱图像集和低分辨率高光谱图像集，得到合成数据集(XC，X)，基于所述合成数据集对预设深度学习模型进行训练，得到目标光谱超分辨模型；
超分辨重建模块，用于获取待重建的低分辨率高光谱图像，基于所述目标空间超分辨模型及目标光谱超分辨模型分别进行迁移学习与光谱恢复处理，得到对应的高分辨率高光谱图像。
本发明第三方面提供了一种基于迁移学习和光谱恢复的HSI超分辨重建设备，所述设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互联；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于迁移学习和光谱恢复的HSI超分辨重建设备执行如上述任意一项所述的基于迁移学习和光谱恢复的HSI超分辨重建方法。
本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任意一项所述基于迁移学习和光谱恢复的HSI超分辨重建方法。
本发明提供的技术方案中，通过获取高光谱图像集训练集和彩色图像训练集；根据高光谱图像集训练集进行光谱下采样得到多光谱图像集；根据彩色图像训练集对预设迁移学习模型进行训练，得到空间超分辨模型，并对空间超分辨模型进行调优，得到目标空间超分辨模型；根据低分辨率多光谱图像集和低分辨率高光谱图像集，对预设深度学习模型进行训练，得到目标光谱超分辨模型；获取待重建的低分辨率高光谱图像，基于目标空间超分辨模型及目标光谱超分辨模型分别进行迁移学习与光谱恢复处理，得到对应的高分辨率高光谱图像。本发明实施例通过利用光谱响应函数将高光谱图像进行光谱降维，可以有效减少高光谱图像和彩色图像间的域间隔，还在迁移学习的基础上利用训练好的光谱恢复网络重建成高分辨率HSI，以达到HSI超分辨重建的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例中基于迁移学习和光谱恢复的HSI超分辨重建方法的一个实施例过程示意图；
图2为本发明实施例中基于迁移学习和光谱恢复的HSI超分辨重建装置的一个实施例示意图；
图3为本发明实施例中基于迁移学习和光谱恢复的HSI超分辨重建设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于迁移学习和光谱恢复的HSI超分辨重建方法、装置、设备及存储介质，用于通过机器学习模型实现从低分辨高光谱图像预测HSI。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例进行描述。
针对在现有技术中HIS超分辨重建训练集不易获取的问题，本发明拟采用迁移学习的方法研究HSI超分辨重建问题，相比HSI，彩色图像或者多光谱图像的图像训练集的获取更加容易，本发明基于迁移学习的方法利用彩色图像训练集调优超分辨重建模型。然而，由于HSI和彩色图像的域间隔较为明显，直接迁移可能导致超分辨重建的HSI具有严重的光谱失真。为解决上述直接迁移可能导致获得的HSI具有光谱失真的问题，本发明提出一种基于迁移学习和光谱恢复的HSI超分辨重建方法，通过利用光谱响应函数将高光谱图像进行光谱降维，可以有效减少高光谱图像和彩色图像间的域间隔；本发明还在迁移学习的基础上利用训练好的光谱恢复网络重建成高分辨率HSI，以达到HSI超分辨重建的目的以下分别进行详细的说明。
参阅图1，本发明实施例基于迁移学习和光谱恢复的HSI超分辨重建方法的一个实施例包括：
步骤101、获取高光谱图像集训练集T＝{(Xi，Yi)，i＝1,2,…,Z}、和彩色图像训练集C＝{(Li，Hi)，i＝1,2,…,N}，其中，X＝{Xi，i＝1,2,…,Z}为低分辨率高光谱图像集、Y＝{Yi，i＝1,2,…,Z}为高分辨率高光谱图像集，L＝{Li，i＝1,2,…,N}为低分辨率彩色图像集、H＝{Hi，i＝1,2,…,N}为高分辨率彩色图像集；
步骤102、根据所述高光谱图像集训练集，利用预设光谱响应函数生成对应的多光谱图像集TC＝{(XC i，YC i)，i＝1,2,…,Z}，其中XC＝{XC i，i＝1,2,…,Z}为低分辨率多光谱图像集、YC＝{YC i，i＝1,2,…,Z}为高分辨率多光谱图像集；
步骤103、根据所述彩色图像训练集对预设迁移学习模型进行训练，得到训练好的空间超分辨模型；
步骤104、根据所述多光谱图像集对所述空间超分辨模型进行验证调优，得到调优最优的目标空间超分辨模型；
步骤105、根据所述低分辨率多光谱图像集和低分辨率高光谱图像集，得到合成数据集(XC，X)，基于所述合成数据集对预设深度学习模型进行训练，得到目标光谱超分辨模型；
步骤106、获取待重建的低分辨率高光谱图像，基于所述目标空间超分辨模型及目标光谱超分辨模型分别进行迁移学习与光谱恢复处理，得到对应的高分辨率高光谱图像。
众所周知，HSI包含丰富的光谱信息，例如典型地面应用的高光谱图像通常有30多波段；典型机载或星载遥感应用的高光谱图像则通常有200甚至更多的波段，超分辨网络模型通过丰富的特征提取能力取得良好的超分辨效果。例如彩色图像的中间卷积特征数约是通道的20倍，若使用相同的设置处理高光谱图像，那么网络模型的时空复杂度是巨大的，尤其是处理星载或机载遥感图像。同时，高光谱数据的获取相对困难，而超分辨网络的训练需要足够的训练集，否则容易导致过拟合的问题。高额的成本和复杂的技术使得高光谱数据是相对缺乏的。迁移学习通过跨域知识迁移解决数据缺乏问题。在高光谱图像超分辨问题方面，部分学者尝试利用迁移学习理论解决高光谱图像缺乏的问题，从而利用丰富的彩色图像训练数据。然而，这些方法通常需要后处理解决超分辨图像存在的严重光谱失真，主要原因是源域和目标域的存在较大差异，直接迁移会导致明显的误差。为利用源域(彩色图像或者多光谱图像)，和直接迁移彩色图像预训练的CNN实现高光谱图像的超分辨重建不同，本文的空间超分辨部分不是直接迁移彩色图像超分辨模型到HSI，而是迁移到光谱下采样的中间图像进行空间超分辨重建。
据此，在步骤101、步骤102中，服务器获取高光谱图像集训练集T＝{(Xi，Yi)，i＝1,2,…,Z}、和彩色图像训练集C＝{(Li，Hi)，i＝1,2,…,N}，其中，X＝{Xi，i＝1,2,…,Z}为低分辨率高光谱图像集、Y＝{Yi，i＝1,2,…,Z}为高分辨率高光谱图像集，L＝{Li，i＝1,2,…,N}为低分辨率彩色图像集、H＝{Hi，i＝1,2,…,N}为高分辨率彩色图像集，其中所述高分辨率彩色图像集只需获取较少量的数据，主要用于模型调优。本发明采用彩色图像训练集用于训练获得空间超分辨模型，用少量的高光谱图像集训练集对获取的空间超分辨模型进行调优处理，以使得获得的超分辨模型精度更为准确。
进一步地，为了有效减少高光谱图像和彩色图像间的域间隔，利用预设光谱响应函数对所述高光谱图像集训练集进行光谱下采样，生成对应的多光谱图像集TC＝{(XC i，YC i)，i＝1,2,…,Z}，其中XC＝{XC i，i＝1,2,…,Z}为低分辨率多光谱图像集、YC＝{YC i，i＝1,2,…,Z}为高分辨率多光谱图像集，其中高分辨率彩色图像集中的每一幅高分辩率彩色图像均是所述低分辨率彩色图像集中每一幅低分辩率彩色图像是一一对应的。
本发明方法实施例用于分别完成空间超分辨重建和光谱重建功能，若没有可用的高光谱训练数据，则两部分是分开训练的，本发明采用少量可用的高光谱图像训练集，则知识迁移阶段对两部分进行联合训练，由于本发明采用的光谱重建是在空间超分辨模型的基础上进行的，因此最终预测的高光谱图像质量受中间图像的影响较大。相比单独训练超分辨模型，联合训练光谱恢复可以对超分辨阶段给出反馈，使知识迁移更加趋向多光谱图像，进而促进光谱重建恢复更好的高光谱图像。
进一步地，本发明的网络模型均基于Pytorch框架实现，步骤103中，在空间超分辨网络预训练阶段，本发明基于迁移学习和光谱恢复的HSI超分辨重建方法的另一种实现方式中，所述根据所述彩色图像训练集对预设迁移学习模型进行训练，得到训练好的空间超分辨模型，包括：
基于所述彩色图像训练集，根据预设比例划分为第一训练子集、第一验证子集以及第一测试子集，对所述预设迁移学习模型采用端到端的有监督方式进行训练，所述预设迁移学习模型为SAN网络模型；
根据第一预设目标函数，利用所述预设迁移学习学习所述低分辨率彩色图像集中的每一幅低分辨彩色图像到所述高分辨率彩色图像集中与之对应的每一幅高分辨彩色图像的映射关系，直至所述第一预设目标函数的损失达到最小时收敛，得到训练好的空间超分辨模型。
具体实施时，采用DIV2K数据集进行训练，所述DIV2K数据集包含1000不同场景的图片，以{800，100，100}的比例划分为第一训练集、第一验证集以及第一测试集。超分辨模型采用SAN网络实现，模型预训练采用ADAM优化器，参数为β1＝0.9，β2＝0.99，初始学习率设为1×10-4。
可选的，所述第一预设目标函数为：
其中，θ为空间超分辨模型参数，N为训练样本数。
为更好地迁移彩色图像的知识到多光谱图像域，我们将训练好的模型在给定的低/高分辨率的多光谱图像集进行调优，调优过程和上述预训练保持相同的设置，最终训练好的目标空间超分辨模型用以预测高分辨率图像。
进一步地，步骤104中，在本发明基于迁移学习和光谱恢复的HSI超分辨重建方法的另一种实现方式中，所述根据所述多光谱图像集对所述空间超分辨模型进行验证调优，得到调优最优的目标空间超分辨模型具体包括：
将所述多光谱图像集作为调优训练集，根据所述预设比例划分为第二训练子集、第二验证子集以及第二测试子集，对所述空间超分辨模型采用端到端的有监督方式进行训练；
根据所述第一预设目标函数，利用所述空间超分辨模型学习所述多光谱图像集中的低分辨率多光谱图像与高分辨率多光谱图像之间的映射关系，直至所述第一预设目标函数的损失达到最小时收敛，得到调优最优的目标空间超分辨模型。
具体地，可用公式
表示调优得到的目标空间超分辨模型用于预测高分辨率图像，其中FSR表示调优得到的目标空间超分辨模型，
表示预测的高分辨率图像，XC表示光谱退化的低分辨率多光谱图像。
上述调优训练过程与空间超分辨网络预训练阶段所采用的参数保持一致，在此不作赘述。
进一步地，步骤105中，在本发明基于迁移学习和光谱恢复的HSI超分辨重建方法的另一种实现方式中，所述基于所述合成数据集对预设深度学习模型进行训练，得到目标光谱超分辨模型具体包括：
基于所述合成数据集作为训练集，根据所述预设比例划分为第三训练子集、第三验证子集以及第三测试子集，对所述预设深度学习模型采用端到端的有监督方式进行训练，所述预设深度学习模型为AWAN网络模型；
根据第二预设目标函数，利用所述预设深度学习模型学习所述合成数据集中的低分辨率多光谱图像与低分辨率高光谱图像集之间的映射关系，直到所述第二预设目标函数的损失达到最小时收敛，得到训练好的目标光谱超分辨模型。
具体实施时，给定低分辨率高光谱图像集X，利用上述预设光谱响应函数可以生成相应的低分辨率多光谱图像集XC，光谱超分辨模型以合成数据集(XC，X)作为训练集优化网络参数，光谱超分辨模型的训练采用低分辨高光谱图像，采用CAVE数据集进行训练，CAVE数据集包含32高光谱图像，空间分辨率为512×512每张图像具有31波段，覆盖400纳米～700纳米的光谱范围，以上述的比例划分为第二训练集、第二验证集以及第二测试集，超分辨模型采用AWAN网络实现，模型预训练采用ADAM优化器，参数为β1＝0.9，β2＝0.99，初始学习率设为1×10-4，网络训练次数为100。
可选的，在本发明基于迁移学习和光谱恢复的HSI超分辨重建方法的另一种实现方式中，所述第二预设目标函数包括损失函数及光谱信息散度，所述损失函数用于减少像素损失，所述光谱信息散度用于抑制光谱失真；
其中，所述损失函数为：
所述光谱信息散度的计算公式为：
其中，Φ为光谱超分辨模型参数，ε为常数，Z为训练样本数。
本发明具体实施时，以L(Φ)损失函数和光谱信息散度(SID)作为目标函数训练网络模型。其中，L(Φ)损失用以减少超分辨图像和参考图像的像素损失，光谱信息散度(SID)的损失可用来抑制超分辨图像和参考图像间的光谱失真。
可选的，本发明基于迁移学习和光谱恢复的HSI超分辨重建方法的另一种实现方式中，所述获取待重建的低分辨率高光谱图像，基于所述目标空间超分辨模型及目标光谱超分辨模型分别进行迁移学习与光谱恢复处理，得到对应的高分辨率高光谱图像，包括：
获取待重建的低分辨率高光谱图像，利用所述预设光谱响应函数生成对应的低分辨率多光谱图像；
基于所述目标空间超分辨模型对所述低分辨率多光谱图像进行迁移学习处理，得到对应的高分辨率多光谱图像作为预测的高分辨图像；
基于所述目标光谱超分辨模型对预测的高分辨图像进行光谱恢复处理，得到对应的高分辨率高光谱图像。
本发明方法实施例的目标是从低分辨HSI预测高分辨率的HSI，具体方法是以空间超分辨模型预测的高分辨率图像作为中间图像，再利用光谱超分辨模型恢复高分辨率的HSI。具体地，通过预设光谱响应函数进行光谱下采样待重建的低分辨率高光谱图像，得到低分辨率多光谱图像；其中的预设光谱响应函数可以为现有技术中进行光谱下采样处理达到光谱降维的响应函数，在此不作限定；通过调优得到更适合多光谱图像域的目标空间超分辨模型，将低分辨率多光谱图像进行迁移处理，得到预测的高分辨率图像，再利用训练好的目标光谱超分辨模型从预测的高分辨图像生成高分辨率HSI。
为验证本专利所提出算法的有效性，我们将本方法与其他几种基线方法进行比较，对比方法包括：Bicubic：Bicubic插值应用到低分辨率图像；SRCNN:对网络的输入和输出设置进行修改，以满足高光谱图像的需求，其余参数保持不变，利用仿真的数据集进行训练。TL-CNMF:利用预训练的网络模型超分辨低分辨率图像以逐波段的方式，再利用CNMF优化。SSIN：首先使用Bicubic方法构建成对的低分辨/高分辨图像集，然后根据原文的设置进行训练。
表1不同方法超分辨重建Balloons(from CAVE(×3))的精度对比
表2不同方法超分辨重建Balloons(from CAVE(×4))的精度对比
表1和表2分别展示对比方法在“Balloons”测试图像上的超分辨重建结果，表3和表4则是对比方法在所有测试图像上的超分辨重建平均结果，放大因子分别是×3和×4。
表3不同方法在CAVE(×3)所有测试图像上的超分辨重建平均结果
表4不同方法在CAVE(×4)所有测试图像上的超分辨重建平均结果
根据表3和表4，可以发现Bicubic差值法重建效果最差。SRCNN方法尽管相比Bicubic方法在空间域上具有更好的重建结果，但是光谱失真严重；主要原因是SRCNN最初是为彩色图像设计的，卷积特征提取数目为64，难以充分表示高光谱图像的空-谱特性，因此具有严重的光谱失真。TL-CNMF方法以逐波段的方法预测高分辨图像，在利用CNMF保持光谱一致性，提高了超分辨重建效果。SSIN方法利用具有较好的超分辨结果，原文中分组卷积的基参数(Base-features)设为16，表示从每波段图像提取16个卷积特征，表明强的特提取能力有利于提高超分辨重建的效果，但导致网络具有较高的空间复杂性。本文的方法利用光谱下采样的图像作为中间图像，可以有效地利用彩色图像域的超分辨知识，提高超分辨重建的效果，而且可以降低超分辨重建网络的计算复杂性。实验结果表明，本发明提出的方法具有好的超分辨重建效果。
综上可知，本发明提供的一种基于迁移学习和光谱恢复的HSI超分辨重建方法，通过获取高光谱图像集训练集和彩色图像训练集；根据高光谱图像集训练集进行光谱下采样得到多光谱图像集；根据彩色图像训练集对预设迁移学习模型进行训练，得到空间超分辨模型，并对空间超分辨模型进行调优，得到目标空间超分辨模型；根据低分辨率多光谱图像集和低分辨率高光谱图像集，对预设深度学习模型进行训练，得到目标光谱超分辨模型；获取待重建的低分辨率高光谱图像，基于目标空间超分辨模型及目标光谱超分辨模型分别进行迁移学习与光谱恢复处理，得到对应的高分辨率高光谱图像。本发明实施例通过在迁移学习阶段将低分辨HSI利用光谱响应函数下采样为多光谱图像，以此作为中间图像，将训练好的超分辨模型迁移到多光谱图像超分辨重建；在光谱恢复阶段利用训练好的光谱恢复模型将多光谱图像重建成高分辨率HSI。即利用光谱响应函数将高光谱图像进行光谱降维，可以有效减少高光谱图像和彩色图像间的域间隔，还在迁移学习的基础上利用训练好的光谱恢复网络重建成高分辨率HSI，以达到HSI超分辨重建的目的。
上面对本发明实施例中基于迁移学习和光谱恢复的HSI超分辨重建方法进行了描述，下面对本发明实施例中基于迁移学习和光谱恢复的HSI超分辨重建装置进行描述，请参阅图2，本发明实施例中基于迁移学习和光谱恢复的HSI超分辨重建装置的一个实施例包括：
训练集获取模块11，用于获取高光谱图像集训练集T＝{(Xi，Yi)，i＝1,2,…,Z}、和彩色图像训练集C＝{(Li，Hi)，i＝1,2,…,N}，其中，X＝{Xi，i＝1,2,…,Z}为低分辨率高光谱图像集、Y＝{Yi，i＝1,2,…,Z}为高分辨率高光谱图像集，L＝{Li，i＝1,2,…,N}为低分辨率彩色图像集、H＝{Hi，i＝1,2,…,N}为高分辨率彩色图像集；
光谱下采样模块12，用于根据所述高光谱图像集训练集，利用预设光谱响应函数生成对应的多光谱图像集TC＝{(XC i，YC i)，i＝1,2,…,Z}，其中XC＝{XC i，i＝1,2,…,Z}为低分辨率多光谱图像集、YC＝{YC i，i＝1,2,…,Z}为高分辨率多光谱图像集；
空间超分辨模型训练模块13，用于根据所述彩色图像训练集对预设迁移学习模型进行训练，得到训练好的空间超分辨模型；
空间超分辨模型调优模块14，用于根据所述多光谱图像集对所述空间超分辨模型进行验证调优，得到调优最优的目标空间超分辨模型；
光谱超分辨模型训练模块15，用于根据所述低分辨率多光谱图像集和低分辨率高光谱图像集，得到合成数据集(XC，X)，基于所述合成数据集对预设深度学习模型进行训练，得到目标光谱超分辨模型；
超分辨重建模块16，用于获取待重建的低分辨率高光谱图像，基于所述目标空间超分辨模型及目标光谱超分辨模型分别进行迁移学习与光谱恢复处理，得到对应的高分辨率高光谱图像。
可选的，在所述装置的另一种实现方式中，所述超分辨重建模块包括：
光谱下采样单元，用于获取待重建的低分辨率高光谱图像，利用所述预设光谱响应函数生成对应的低分辨率多光谱图像；
迁移学习处理单元，用于基于所述目标空间超分辨模型对所述低分辨率多光谱图像进行迁移学习处理，得到对应的高分辨率多光谱图像作为预测的高分辨图像；
光谱恢复处理单元，用于基于所述目标光谱超分辨模型对预测的高分辨图像进行光谱恢复处理，得到对应的高分辨率高光谱图像。
可选的，在所述装置的另一种实现方式中，所述空间超分辨模型训练模块包括：
第一训练集处理单元，用于基于所述彩色图像训练集，根据预设比例划分为第一训练子集、第一验证子集以及第一测试子集，对所述预设迁移学习模型采用端到端的有监督方式进行训练，所述预设迁移学习模型为SAN网络模型；
空间超分辨模型获取单元，用于根据第一预设目标函数，利用所述预设迁移学习学习所述低分辨率彩色图像集中的每一幅低分辨彩色图像到所述高分辨率彩色图像集中与之对应的每一幅高分辨彩色图像的映射关系，直至所述第一预设目标函数的损失达到最小时收敛，得到训练好的空间超分辨模型。
可选的，在所述装置的另一种实现方式中，所述第一预设目标函数为：
其中，θ为空间超分辨模型参数，N为训练样本数。
可选的，在所述装置的另一种实现方式中，所述空间超分辨模型调优模块包括：
第二训练集处理单元，用于将所述多光谱图像集作为调优训练集，根据所述预设比例划分为第二训练子集、第二验证子集以及第二测试子集，对所述空间超分辨模型采用端到端的有监督方式进行训练；
目标空间超分辨模型获取单元，用于根据所述第一预设目标函数，利用所述空间超分辨模型学习所述多光谱图像集中的低分辨率多光谱图像与高分辨率多光谱图像之间的映射关系，直至所述第一预设目标函数的损失达到最小时收敛，得到调优最优的目标空间超分辨模型。
可选的，在所述装置的另一种实现方式中，所述光谱超分辨模型训练模块具体包括：
第三训练集处理单元，用于基于所述合成数据集作为训练集，根据所述预设比例划分为第三训练子集、第三验证子集以及第三测试子集，对所述预设深度学习模型采用端到端的有监督方式进行训练，所述预设深度学习模型为AWAN网络模型；
目标光谱超分辨模型获取单元，用于根据第二预设目标函数，利用所述预设深度学习模型学习所述合成数据集中的低分辨率多光谱图像与低分辨率高光谱图像集之间的映射关系，直到所述第二预设目标函数的损失达到最小时收敛，得到训练好的目标光谱超分辨模型。
可选的，在所述装置的另一种实现方式中，所述第二预设目标函数包括损失函数及光谱信息散度，所述损失函数用于减少像素损失，所述光谱信息散度用于抑制光谱失真；
其中，所述损失函数为：
所述光谱信息散度的计算公式为：
其中，Φ为光谱超分辨模型参数，ε为常数，Z为训练样本数。
需要说明的是，本发明实施例中的装置可以用于实现上述方法实施例中的全部技术方案，其各个功能模块的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可参照上述实例中的相关描述，此处不再赘述。
上面图2从模块化功能实体的角度对本发明实施例中的基于迁移学习和光谱恢复的HSI超分辨重建装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于迁移学习和光谱恢复的HSI超分辨重建设备进行详细描述。
图3是本发明实施例提供的一种基于迁移学习和光谱恢复的HSI超分辨重建设备的结构示意图，该基于迁移学习和光谱恢复的HSI超分辨重建设备300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)301(例如，一个或一个以上处理器)和存储器309，一个或一个以上存储应用程序307或数据306的存储介质308(例如一个或一个以上海量存储设备)。其中，存储器309和存储介质308可以是短暂存储或持久存储。存储在存储介质308的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对图计算的布尔型变量存储中的一系列指令操作。更进一步地，处理器301可以设置为与存储介质308通信，在基于迁移学习和光谱恢复的HSI超分辨重建设备300上执行存储介质308中的一系列指令操作。
基于迁移学习和光谱恢复的HSI超分辨重建设备300还可以包括一个或一个以上电源302，一个或一个以上有线或无线网络接口303，一个或一个以上输入输出接口304，和/或，一个或一个以上操作系统305，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图3中示出的基于迁移学习和光谱恢复的HSI超分辨重建设备结构并不构成对基于迁移学习和光谱恢复的HSI超分辨重建设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中，该计算机可读存储介质可以是非易失性的，也可以是易失性的。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(randomaccess memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于迁移学习和光谱恢复的HSI超分辨重建方法，其特征在于，所述方法包括：
获取高光谱图像集训练集T＝{(Xi，Yi)，i＝1,2,…,Z}、和彩色图像训练集C＝{(Li，Hi)，i＝1,2,…,N}，其中，X＝{Xi，i＝1,2,…,Z}为低分辨率高光谱图像集、Y＝{Yi，i＝1,2,…,Z}为高分辨率高光谱图像集，L＝{Li，i＝1,2,…,N}为低分辨率彩色图像集、H＝{Hi，i＝1,2,…,N}为高分辨率彩色图像集；
根据所述高光谱图像集训练集，利用预设光谱响应函数生成对应的多光谱图像集TC＝{(XC i，YC i)，i＝1,2,…,Z}，其中XC＝{XC i，i＝1,2,…,Z}为低分辨率多光谱图像集、YC＝{YC i，i＝1,2,…,Z}为高分辨率多光谱图像集；
根据所述彩色图像训练集对预设迁移学习模型进行训练，得到训练好的空间超分辨模型；
根据所述多光谱图像集对所述空间超分辨模型进行验证调优，得到调优最优的目标空间超分辨模型；
根据所述低分辨率多光谱图像集和低分辨率高光谱图像集，得到合成数据集(XC，X)，基于所述合成数据集对预设深度学习模型进行训练，得到目标光谱超分辨模型；
获取待重建的低分辨率高光谱图像，基于所述目标空间超分辨模型及目标光谱超分辨模型分别进行迁移学习与光谱恢复处理，得到对应的高分辨率高光谱图像。
2.根据权利要求1所述的基于迁移学习和光谱恢复的HSI超分辨重建方法，其特征在于，所述获取待重建的低分辨率高光谱图像，基于所述目标空间超分辨模型及目标光谱超分辨模型分别进行迁移学习与光谱恢复处理，得到对应的高分辨率高光谱图像，包括：
获取待重建的低分辨率高光谱图像，利用所述预设光谱响应函数生成对应的低分辨率多光谱图像；
基于所述目标空间超分辨模型对所述低分辨率多光谱图像进行迁移学习处理，得到对应的高分辨率多光谱图像作为预测的高分辨图像；
基于所述目标光谱超分辨模型对预测的高分辨图像进行光谱恢复处理，得到对应的高分辨率高光谱图像。
3.根据权利要求1所述的基于迁移学习和光谱恢复的HSI超分辨重建方法，其特征在于，所述根据所述彩色图像训练集对预设迁移学习模型进行训练，得到训练好的空间超分辨模型，包括：
基于所述彩色图像训练集，根据预设比例划分为第一训练子集、第一验证子集以及第一测试子集，对所述预设迁移学习模型采用端到端的有监督方式进行训练，所述预设迁移学习模型为SAN网络模型；
根据第一预设目标函数，利用所述预设迁移学习学习所述低分辨率彩色图像集中的每一幅低分辨彩色图像到所述高分辨率彩色图像集中与之对应的每一幅高分辨彩色图像的映射关系，直至所述第一预设目标函数的损失达到最小时收敛，得到训练好的空间超分辨模型。
4.根据权利要求3所述的基于迁移学习和光谱恢复的HSI超分辨重建方法，其特征在于，所述第一预设目标函数为：
其中，θ为空间超分辨模型参数，N为训练样本数。
5.根据权利要求3所述的基于迁移学习和光谱恢复的HSI超分辨重建方法，其特征在于，所述根据所述多光谱图像集对所述空间超分辨模型进行验证调优，得到调优最优的目标空间超分辨模型具体包括：
将所述多光谱图像集作为调优训练集，根据所述预设比例划分为第二训练子集、第二验证子集以及第二测试子集，对所述空间超分辨模型采用端到端的有监督方式进行训练；
根据所述第一预设目标函数，利用所述空间超分辨模型学习所述多光谱图像集中的低分辨率多光谱图像与高分辨率多光谱图像之间的映射关系，直至所述第一预设目标函数的损失达到最小时收敛，得到调优最优的目标空间超分辨模型。
6.根据权利要求5所述的基于迁移学习和光谱恢复的HSI超分辨重建方法，其特征在于，所述基于所述合成数据集对预设深度学习模型进行训练，得到目标光谱超分辨模型具体包括：
基于所述合成数据集作为训练集，根据所述预设比例划分为第三训练子集、第三验证子集以及第三测试子集，对所述预设深度学习模型采用端到端的有监督方式进行训练，所述预设深度学习模型为AWAN网络模型；
根据第二预设目标函数，利用所述预设深度学习模型学习所述合成数据集中的低分辨率多光谱图像与低分辨率高光谱图像集之间的映射关系，直到所述第二预设目标函数的损失达到最小时收敛，得到训练好的目标光谱超分辨模型。
7.根据权利要求6所述的基于迁移学习和光谱恢复的HSI超分辨重建方法，其特征在于，所述第二预设目标函数包括损失函数及光谱信息散度，所述损失函数用于减少像素损失，所述光谱信息散度用于抑制光谱失真；
其中，所述损失函数为：
所述光谱信息散度的计算公式为：
其中，Φ为光谱超分辨模型参数，ε为常数，Z为训练样本数。
8.一种基于迁移学习和光谱恢复的HSI超分辨重建装置，其特征在于，所述装置包括：
训练集获取模块，用于获取高光谱图像集训练集T＝{(Xi，Yi)，i＝1,2,…,Z}、和彩色图像训练集C＝{(Li，Hi)，i＝1,2,…,N}，其中，X＝{Xi，i＝1,2,…,Z}为低分辨率高光谱图像集、Y＝{Yi，i＝1,2,…,Z}为高分辨率高光谱图像集，L＝{Li，i＝1,2,…,N}为低分辨率彩色图像集、H＝{Hi，i＝1,2,…,N}为高分辨率彩色图像集；
光谱下采样模块，用于根据所述高光谱图像集训练集，利用预设光谱响应函数生成对应的多光谱图像集TC＝{(XC i，YC i)，i＝1,2,…,Z}，其中XC＝{XC i，i＝1,2,…,Z}为低分辨率多光谱图像集、YC＝{YC i，i＝1,2,…,Z}为高分辨率多光谱图像集；
空间超分辨模型训练模块，用于根据所述彩色图像训练集对预设迁移学习模型进行训练，得到训练好的空间超分辨模型；
空间超分辨模型调优模块，用于根据所述多光谱图像集对所述空间超分辨模型进行验证调优，得到调优最优的目标空间超分辨模型；
光谱超分辨模型训练模块，用于根据所述低分辨率多光谱图像集和低分辨率高光谱图像集，得到合成数据集(XC，X)，基于所述合成数据集对预设深度学习模型进行训练，得到目标光谱超分辨模型；
超分辨重建模块，用于获取待重建的低分辨率高光谱图像，基于所述目标空间超分辨模型及目标光谱超分辨模型分别进行迁移学习与光谱恢复处理，得到对应的高分辨率高光谱图像。
9.一种基于迁移学习和光谱恢复的HSI超分辨重建设备，其特征在于，所述基于迁移学习和光谱恢复的HSI超分辨重建设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互联；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于迁移学习和光谱恢复的HSI超分辨重建设备执行如权利要求1-7中任意一项所述的基于迁移学习和光谱恢复的HSI超分辨重建方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述基于迁移学习和光谱恢复的HSI超分辨重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110550369.XA CN113284045A (zh) | 2021-05-20 | 2021-05-20 | 基于迁移学习和光谱恢复的hsi超分辨重建方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110550369.XA CN113284045A (zh) | 2021-05-20 | 2021-05-20 | 基于迁移学习和光谱恢复的hsi超分辨重建方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113284045A true CN113284045A (zh) | 2021-08-20 |
Family
ID=77280325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110550369.XA Pending CN113284045A (zh) | 2021-05-20 | 2021-05-20 | 基于迁移学习和光谱恢复的hsi超分辨重建方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113284045A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972122A (zh) * | 2022-07-27 | 2022-08-30 | 中国科学院空天信息创新研究院 | 高光谱遥感图像坏像元复原方法、装置、电子设备及介质 |
| CN116849612A (zh) * | 2023-07-07 | 2023-10-10 | 广东省新黄埔中医药联合创新研究院 | 一种多光谱舌象图像采集分析系统 |
-
2021
- 2021-05-20 CN CN202110550369.XA patent/CN113284045A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972122A (zh) * | 2022-07-27 | 2022-08-30 | 中国科学院空天信息创新研究院 | 高光谱遥感图像坏像元复原方法、装置、电子设备及介质 |
| CN114972122B (zh) * | 2022-07-27 | 2022-11-01 | 中国科学院空天信息创新研究院 | 高光谱遥感图像坏像元复原方法、装置、电子设备及介质 |
| CN116849612A (zh) * | 2023-07-07 | 2023-10-10 | 广东省新黄埔中医药联合创新研究院 | 一种多光谱舌象图像采集分析系统 |
| CN116849612B (zh) * | 2023-07-07 | 2024-01-09 | 广东省新黄埔中医药联合创新研究院 | 一种多光谱舌象图像采集分析系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Sparse representation based multi-sensor image fusion for multi-focus and multi-modality images: A review | |
| Dong et al. | Deep spatial–spectral representation learning for hyperspectral image denoising | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| JP6012408B2 (ja) | 辞書を用いてパンクロマチック画像及びマルチスペクトル画像をパンシャープン化する方法 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| Fu et al. | Adaptive spatial-spectral dictionary learning for hyperspectral image restoration | |
| US8699790B2 (en) | Method for pan-sharpening panchromatic and multispectral images using wavelet dictionaries | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| Chang et al. | Single image super-resolution using collaborative representation and non-local self-similarity | |
| CN113284045A (zh) | 基于迁移学习和光谱恢复的hsi超分辨重建方法及相关设备 | |
| CN108830791A (zh) | 基于自身样例和稀疏表示的图像超分辨率方法 | |
| CN113269677A (zh) | 基于无监督学习的hsi超分辨重建方法及相关设备 | |
| CN112132741A (zh) | 一种人脸照片图像和素描图像的转换方法及系统 | |
| Tang et al. | Combining sparse coding with structured output regression machine for single image super-resolution | |
| CN113870110A (zh) | 遥感影像的图像融合方法、装置、电子设备和存储介质 | |
| Wang et al. | A group-based embedding learning and integration network for hyperspectral image super-resolution | |
| Hang et al. | Prinet: A prior driven spectral super-resolution network | |
| Wang et al. | Group shuffle and spectral-spatial fusion for hyperspectral image super-resolution | |
| CN109559278B (zh) | 基于多特征学习的超分辨图像重建方法及系统 | |
| Xiang et al. | A multi-scale densely deep learning method for pansharpening | |
| CN110163830B (zh) | 基于Riesz-Lap变换及PCNN的图像融合方法 | |
| Liu et al. | CNN-Enhanced graph attention network for hyperspectral image super-resolution using non-local self-similarity | |
| Cho et al. | Example-based super-resolution using self-patches and approximated constrained least squares filter | |
| Bhujel et al. | Dynamic convolutional neural network for image super-resolution | |
| Lu et al. | Multi-Supervised Recursive-CNN for Hyperspectral and Multispectral Image Fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |