CN116245779A - 一种图像融合方法、装置、存储介质及电子设备 - Google Patents
一种图像融合方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116245779A CN116245779A CN202310526443.3A CN202310526443A CN116245779A CN 116245779 A CN116245779 A CN 116245779A CN 202310526443 A CN202310526443 A CN 202310526443A CN 116245779 A CN116245779 A CN 116245779A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- training sample
- obtaining
- hyperspectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 41
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 112
- 238000000034 method Methods 0.000 claims abstract description 74
- 239000011159 matrix material Substances 0.000 claims description 60
- 230000015654 memory Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001228 spectrum Methods 0.000 claims description 13
- 230000003595 spectral effect Effects 0.000 abstract description 38
- 230000014509 gene expression Effects 0.000 abstract description 11
- 238000005457 optimization Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请的实施例公开了一种图像融合方法、装置、存储介质及电子设备，涉及图像处理技术领域，包括：获取并将原始图像输入融合模型，获得目标图像；其中，融合模型能够获取图像中的低秩成分，融合模型包括第一部分与第二部分，第一训练样本为高空间分辨率的多光谱图像，第二训练样本为低空间分辨率的高光谱图像。本申请的方法通过构建的融合模型，准确地从输入的原始图像中学习低秩成分的表达，一方面从多光谱图像中学习目标图像的空间维度的低秩相关性，另一方面从高光谱图像中学习目标图像的光谱维度的低秩相关性，进而以其为子空间约束目标图像的低秩结构，使得模型具有良好的高光谱与多光谱融合性能，提升高光谱与多光谱图像融合的质量。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像融合方法、装置、存储介质及电子设备。
背景技术
由于高光谱图像(Hyperspectral Image, HSI)在成像过程中受成像器件的技术限制，空间分辨率与光谱分辨率之间相互制约，使得成像传感器很难同时获取高空间分辨率和高光谱分辨率的图像，这降低了高光谱图像空间和光谱特征的精确提取和表达，并限制了图像后续的分析与应用。
现有的传感器已可以获得同一场景下的高空间分辨率的多光谱图像(Multispectral Image, MSI)和高光谱分辨率的高光谱图像，因而融合高光谱图像和多光谱图像成为获得高空间分辨率高光谱图像的有效途径。但目前的手段要么会忽略图像中的高维结构，要么无法刻画相关性，导致融合的结果产生光谱畸变，质量偏低。
发明内容
本申请的主要目的在于提供一种图像融合方法、装置、存储介质及电子设备，旨在解决现有技术中高光谱与多光谱图像融合的质量偏低的问题。
为实现上述目的，本申请的实施例采用的技术方案如下：
第一方面，本申请实施例提供一种图像融合方法，包括以下步骤：
获取原始图像；
将原始图像输入融合模型，获得目标图像；其中，融合模型能够获取图像中的低秩成分，融合模型包括第一部分与第二部分，第一部分基于第一训练样本获得，第一训练样本为高空间分辨率的多光谱图像，第二部分基于第二训练样本获得，第二训练样本为低空间分辨率的高光谱图像，第一训练样本与第二训练样本基于同一图像生成。
在第一方面的一种可能实现方式中，将原始图像输入融合模型，获得目标图像之前，图像融合方法还包括：
基于同一图像生成若干高空间分辨率的多光谱图像与若干低空间分辨率的高光谱图像；
基于若干高空间分辨率的多光谱图像，获得第一训练样本；
根据第一训练样本，获得第一关联矩阵；其中，第一关联矩阵为高光谱图像在空间维度的相关联矩阵；
基于第一关联矩阵，获得第一部分；
基于若干低空间分辨率的高光谱图像，获得第二训练样本；
根据第二训练样本，获得第二关联矩阵；其中，第二关联矩阵为多光谱图像在光谱维度的相关联矩阵；
基于第二关联矩阵，获得第二部分；
根据第一部分与第二部分，获得融合模型。
在第一方面的一种可能实现方式中，根据第一训练样本，获得第一关联矩阵，包括：
根据第一训练样本，获得空间维度的低秩相关性；
根据空间维度的低秩相关性，获得第一关联矩阵。
在第一方面的一种可能实现方式中，根据第二训练样本，获得第二关联矩阵，包括：
根据第二训练样本，获得光谱维度的低秩相关性；
根据光谱维度的低秩相关性，获得第二关联矩阵。
在第一方面的一种可能实现方式中，根据第一部分与第二部分，获得融合模型，包括：
以第一关联矩阵与第二关联矩阵为约束，根据第一部分与第二部分，获得融合模型。
在第一方面的一种可能实现方式中，根据第一部分与第二部分，获得融合模型之后，图像融合方法还包括：
基于交替方向乘子法，求解融合模型，获得目标融合模型。
在第一方面的一种可能实现方式中，基于交替方向乘子法，求解融合模型，获得目标融合模型，包括：
基于交替方向乘子法，求解融合模型，获得模型参数；
根据辅助变量与模型参数，更新融合模型，并返回基于交替方向乘子法，求解融合模型，获得模型参数的步骤，直至满足迭代终止条件，获得目标融合模型。
第二方面，本申请实施例提供一种图像融合装置，包括：
获取模块，获取模块用于获取原始图像；
融合模块，融合模块用于将原始图像输入融合模型，获得目标图像；其中，融合模型能够获取图像中的低秩成分，融合模型包括第一部分与第二部分，第一部分基于第一训练样本获得，第一训练样本为高空间分辨率的多光谱图像，第二部分基于第二训练样本获得，第二训练样本为低空间分辨率的高光谱图像，第一训练样本与第二训练样本基于同一图像生成。
第三方面，本申请实施例提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如上述第一方面中任一项提供的图像融合方法。
第四方面，本申请实施例提供一种电子设备，包括处理器及存储器，其中，
存储器用于存储计算机程序；
处理器用于加载执行计算机程序，以使电子设备执行如上述第一方面中任一项提供的图像融合方法。
与现有技术相比，本申请的有益效果是：
本申请实施例提出的一种图像融合方法、装置、存储介质及电子设备，该方法包括：获取原始图像；将原始图像输入融合模型，获得目标图像；其中，融合模型能够获取图像中的低秩成分，融合模型包括第一部分与第二部分，第一部分基于第一训练样本获得，第一训练样本为高空间分辨率的多光谱图像，第二部分基于第二训练样本获得，第二训练样本为低空间分辨率的高光谱图像，第一训练样本与第二训练样本基于同一图像生成。本申请的方法通过构建的融合模型，准确地从输入的原始图像中学习低秩成分的表达，一方面从多光谱图像中学习目标图像的空间维度的低秩相关性，另一方面从高光谱图像中学习目标图像的光谱维度的低秩相关性，进而以其为子空间约束目标图像的低秩结构，使得模型具有良好的高光谱与多光谱融合性能，提升了高光谱与多光谱图像融合的质量。
附图说明
图1为本申请实施例涉及的硬件运行环境的电子设备结构示意图；
图2为本申请实施例提供的图像融合方法的流程示意图；
图3为本申请实施例提供的图像融合方法中的一种目标图像的示意图；
图4为本申请实施例提供的图像融合方法中采用SSSR方法下的重建误差图；
图5为本申请实施例提供的图像融合方法中采用BSR方法下的重建误差图；
图6为本申请实施例提供的图像融合方法中采用CSU方法下的重建误差图；
图7为本申请实施例提供的图像融合方法中采用CUCaNet方法下的重建误差图；
图8为采用本申请实施例提供的图像融合方法下的重建误差图；
图9为本申请实施例提供的图像融合方法中进行对比的参考图像；
图10为本申请实施例提供的图像融合装置的模块示意图；
图中标记：101-处理器，102-通信总线，103-网络接口，104-用户接口，105-存储器。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：提出一种图像融合方法、装置、存储介质及电子设备，该方法包括：获取原始图像；将原始图像输入融合模型，获得目标图像；其中，融合模型能够获取图像中的低秩成分，融合模型包括第一部分与第二部分，第一部分基于第一训练样本获得，第一训练样本为高空间分辨率的多光谱图像，第二部分基于第二训练样本获得，第二训练样本为低空间分辨率的高光谱图像，第一训练样本与第二训练样本基于同一图像生成。
由于高光谱图像(Hyperspectral Image, HSI)在成像过程中受成像器件的技术限制，空间分辨率与光谱分辨率之间相互制约，使得成像传感器很难同时获取高空间分辨率和高光谱分辨率的图像，这降低了高光谱图像空间和光谱特征的精确提取和表达，并限制了图像后续的分析与应用。然而，现有的传感器可以获得同一场景下的高空间分辨率的多光谱图像(Multispectral Image, MSI)和高光谱分辨率的高光谱图像，因而融合高光谱图像和多光谱图像成为获得高空间分辨率高光谱图像的有效途径。
早期的高光谱与多光谱图像融合方法主要处理全色图像(PAN Image)与高光谱图像的全色锐化(Pansharpening)，但由于单一的全色图像仅仅提供少量的光谱信息，导致融合结果产生严重的光谱畸变。为了克服这一问题，近年来学者们提出了许多基于多光谱图像和高光谱图像融合方法，例如，利用K-奇异值分解训练光谱字典，并在稀疏表示框架下编码待复原的高光谱图像，但由于编码过程中未考虑高光谱图像的空间像素的相关性，致使融合的性能下降。
为了处理空间信息畸变，可通过考虑空间信息的非负性来约束它的解空间，在贝叶斯框架下，可利用贝叶斯参数学习推理场景中的光谱概率分布及其比例，然后通过稀疏编码计算高分辨率的图像，基于光谱解混的物理基础，通过解混已知高光谱图像来估计光谱基，并利用多光谱图像的稀疏系数编码高空间分辨率的高光谱图像。然而，基于字典学习和光谱解混的方法在表征空间和光谱信息中忽略了高光谱图像的高维结构，导致复原结果的空间和光谱畸变。
为了利用高光谱图像的多线性结构，基于张量分解的高光谱与多光谱图像融合方法越来越受关注，这类方法将融合问题视为求解最优的张量稀疏编码和字典学习。近年来，卷积神经网络以其高效、先进的性能在高光谱与多光谱图像融合中受到越来越多的关注，这类方法大多数利用了双通道的卷积神经网络从输入的多光谱图像和高光谱图像分别提取空间和光谱特征，然后通过特征级联馈送到全连接层来生成高光谱图像。然而，基于卷积神经网络的高光谱与多光谱图像融合方法中的大规模参数导致网络的稳定性降低，影响融合的精度。
上述基于矩阵表达（如稀疏表示和光谱解混）和张量分解的方法获得了很好的性能，但是它们并不能利用中层视觉的多视图子空间表达刻画已知的高光谱图像/多光谱图像与待求解的高光谱图像在光谱/空间维度的相关性，导致融合的结果产生空间和光谱畸变。尽管基于深度卷积神经网络的融合方法已经取得了很好的效果，然而这类方法需要额外的数据来训练，但是常常缺乏多光谱和高光谱数据进行预训练。更重要的是，深度卷积神经网络模型的泛化能力弱，例如基于数据驱动的网络模型，在一类高光谱数据上训练的网络模型很难在其他类型的图像上获得很好的融合性能。
为此，本申请提供一种解决方案，通过构建的融合模型，准确地从输入的原始图像中学习低秩成分的表达，一方面从多光谱图像中学习目标图像的空间维度的低秩相关性，另一方面从高光谱图像中学习目标图像的光谱维度的低秩相关性，进而以其为子空间约束目标图像的低秩结构，使得模型具有良好的高光谱与多光谱融合性能，提升了高光谱与多光谱图像融合的质量。
参照附图1，附图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图，该电子设备可以包括：处理器101，例如中央处理器（Central Processing Unit，CPU），通信总线102、用户接口104，网络接口103，存储器105。其中，通信总线102用于实现这些组件之间的连接通信。用户接口104可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口104还可以包括标准的有线接口、无线接口。网络接口103可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器105可选的可以是独立于前述处理器101的存储装置，存储器105可能是高速的随机存取存储器（Random Access Memory，RAM）存储器，也可能是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器；处理器101可以是通用处理器，包括中央处理器、网络处理器等，还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本领域技术人员可以理解，附图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如附图1所示，作为一种存储介质的存储器105中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。
在附图1所示的电子设备中，网络接口103主要用于与网络服务器进行数据通信；用户接口104主要用于与用户进行数据交互；本申请中的处理器101、存储器105可以设置在电子设备中，电子设备通过处理器101调用存储器105中存储的图像融合装置，并执行本申请实施例提供的图像融合方法。
参照附图2，基于前述实施例的硬件设备，本申请的实施例提供一种图像融合方法，包括以下步骤：
S10：获得训练样本。
S101：基于同一图像生成若干高空间分辨率的多光谱图像与若干低空间分辨率的高光谱图像。
S102：基于若干高空间分辨率的多光谱图像，获得第一训练样本。
S103：基于若干低空间分辨率的高光谱图像，获得第二训练样本。
在具体实施过程中，获得训练样本用于训练融合模型，其中训练样本包括第一训练样本与第二训练样本，分别对应同一图像的不同表达，也即同一图像的高空间分辨率的多光谱图像与低空间分辨率的高光谱图像。具体来说：获取高空间分辨率的多光谱图像
（空间分辨率为W×H，光谱波段b）；低空间分辨率的高光谱图像/>
（空间分辨率为/>
，光谱波段为B）；构建待复原的高光谱图像/>
（空间分辨率为/>
，光谱波段为B），其中/>
。
S20：根据训练样本，获得关联矩阵。
S201：根据第一训练样本，获得第一关联矩阵；其中，第一关联矩阵为高光谱图像在空间维度的相关联矩阵。
S202：根据第二训练样本，获得第二关联矩阵；其中，第二关联矩阵为多光谱图像在光谱维度的相关联矩阵。
具体的：根据第一训练样本，获得第一关联矩阵，包括：
根据第一训练样本，获得空间维度的低秩相关性；
根据空间维度的低秩相关性，获得第一关联矩阵。
在具体实施过程中，从已知的多光谱图像
中学习空间维的低秩相关性，以获得潜在高光谱图像在空间维度的相关联矩阵，相应的多视图低秩张量子空间表达模型为：
其中，
为/>
的第i个波段，/>
为第i个波段的相关性矩阵，/>
为相应的误差矩阵。由/>
构成的张量表示为/>
，且/>
，/>
为正则化参数，实设置/>
。事实上，这个有约束的最小化问题可等价转化为如下无约束最小化问题，如下：
其中，
和/>
是拉格朗日乘子且/>
，/>
是辅助变量且
，/>
和/>
是惩罚项参数，实验中初始化/>
和/>
，/>
，在交替方向乘子法框架下，通过固定其他变量来交替求解上式中每个变量。
优化
：在其他变量固定不变的情况下，优化/>
的目标函数为：
上式的闭式解为：
优化
：在其他变量固定不变的情况下，优化/>
的目标函数为：
其中，D是由沿矩阵
的列连接构成。那么，其闭式解为：
优化
：在其他变量固定不变的情况下，优化/>
的目标函数为：
该式子的闭式解可通过t-SVD的奇异值阈值方法求解。
更新拉格朗日乘子：
通过求解多光谱图像
在各个波段的相关性矩阵/>
，我们可获得潜在高光谱图像在空间维度的相关联矩阵，如下：
根据第二训练样本，获得第二关联矩阵，包括：
根据第二训练样本，获得光谱维度的低秩相关性；
根据光谱维度的低秩相关性，获得第二关联矩阵。
从已知的高光谱图像
中学习光谱维的低秩相关性，以获得光谱维的相关联矩阵。相应的多视图低秩张量子空间表达模型为：/>
其中，
为/>
的第j个侧面切片，/>
和/>
分别对应于第j个侧面切片的相关性矩阵和误差矩阵，由/>
构成的张量表示为/>
，且/>
。我们可以利用前述式子的求解方法优化上式，得到h个矩阵/>
，将其融合得到光谱维的相关联矩阵，如下：
S30：基于关联矩阵，获得融合模型。
S301：基于第一关联矩阵，获得第一部分。
S302：基于第二关联矩阵，获得第二部分。
S303：根据第一部分与第二部分，获得融合模型。
在具体实施过程中，融合模型实质为分部建模，也即根据第一关联矩阵构建融合模型的第一部分，根据第二关联矩阵构建融合模型的第二部分，合并第一部分与第二部分后即获得融合模型。具体的：根据第一部分与第二部分，获得融合模型，包括：
以第一关联矩阵与第二关联矩阵为约束，根据第一部分与第二部分，获得融合模型。
在具体实施过程中，准确地从已知多光谱图像与高光谱图像中学习未知高光谱图像中的空间或光谱子空间表达。然后，将学习到的空间和光谱低秩表达作为子空间约束待求高光谱图像的低秩结构，并将其表述为基于变分高光谱与多光谱图像融合框架的问题。
S40：获取原始图像。
S50：将原始图像输入融合模型，获得目标图像；其中，融合模型能够获取图像中的低秩成分，融合模型包括第一部分与第二部分，第一部分基于第一训练样本获得，第一训练样本为高空间分辨率的多光谱图像，第二部分基于第二训练样本获得，第二训练样本为低空间分辨率的高光谱图像，第一训练样本与第二训练样本基于同一图像生成。
在具体实施过程中，由于本申请是需要将高光谱与多光谱图像进行融合，因此原始图像是指基于同一图像的高光谱图像与多光谱图像。目标图像则是将原始图像经过融合模型融合后的高空间分辨率高光谱图像。光谱分辨率在10-2λ数量级范围内的光谱图像称为高光谱图像，多光谱图像是指包含很多带的图像，有时只有3个带但有时要多得多，甚至上百个。每个带是一幅灰度图像，它表示根据用来产生该带的传感器的敏感度得到的场景亮度。空间分辨率，是指遥感图像上能够详细区分的最小单元的尺寸或大小，是用来表征影像分辨地面目标细节的指标，通常用像元大小、像解率或视场角来表示。
本实施例中，通过构建的融合模型，准确地从输入的原始图像中学习低秩成分的表达，一方面从多光谱图像中学习目标图像的空间维度的低秩相关性，另一方面从高光谱图像中学习目标图像的光谱维度的低秩相关性，进而以其为子空间约束目标图像的低秩结构，使得模型具有良好的高光谱与多光谱融合性能，提升了高光谱与多光谱图像融合的质量。
在一种实施例中，根据第一部分与第二部分，获得融合模型之后，图像融合方法还包括：
基于交替方向乘子法，求解融合模型，获得目标融合模型。
在具体实施过程中，将目标图像的求解表述为融合模型的求解问题，采用交替方向乘子法进行求解，交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一种求解具有可分离性的凸优化问题的计算框架, 由于其是对偶分解法和增广拉格朗日乘子法的结合，使该算法有分解性的同时保证了良好的收敛性，处理速度快。
具体来说，基于交替方向乘子法，求解融合模型，获得目标融合模型，包括：
基于交替方向乘子法，求解融合模型，获得模型参数；
根据辅助变量与模型参数，更新融合模型，并返回基于交替方向乘子法，求解融合模型，获得模型参数的步骤，直至满足迭代终止条件，获得目标融合模型。
在具体实施过程中，为了求解所述模型，引入辅助变量
，得到
其中
和/>
为正则化参数。
利用交替方向乘子法求解上式，引入辅助变量
和Ss，上式的增广拉格朗日函数如下：
其中，
和/>
为拉格朗日乘子，/>
为非负标量参数，实验中初始化/>
,
。
优化
和/>
：在保持其他变量不变的情况下，关于/>
和/>
的求解方式为：
优化
：在保持其他变量不变的情况下，关于/>
的优化函数为：
这是一个岭回归问题，通过对变量
取一阶偏导数并将其设为零，则公式(16)的闭式解为：
优化Ss：在保持其他变量不变的情况下，关于Ss的优化函数为：
沿着第三个维度展开上式，有
有闭式解：
其中，I是一个单位矩阵。
优化
：在保持其他变量不变的情况下，关于/>
的优化函数为：
令
，然后沿着第三个维度展开公式，可得到
对变量
求一阶偏导，并令其等于零，则得到/>
的最优解为：
更新拉格朗日乘子
和/>
：
迭代执行上述步骤以更新辅助变量
、/>
、/>
和Ss，直至满足结束条件，也即迭代终止条件，得到目标融合模型以输出融合图像/>
。迭代终止条件可以是达到最大的迭代次数，比如50次或100次，或者迭代终止条件为相对误差小于一个提前设置的阈值，或者如本申请实施例中设置为/>
。
采用同样的处理对象，在不同方法处理下进一步对比说明：
在如附图3所示的目标图像对应的处理对象下，为16倍采样比例，在640nm波段上融合得到如附图3所示的目标图像。对比的方法有稀疏空间光谱表示(Sparse Spatial-Spectral Representation, SSSR)方法、贝叶斯稀疏表示(Bayesian SparseRepresentation, BSR)方法、耦合光谱分解(Coupled Spectral Unmixing, CSU)方法和交叉注意力机制的光谱解混网络(Cross-attention in Coupled Unmixing Network,CUCaNet)方法。从重建高光谱图像中的高分辨率空间结构来看，上述方法及本申请的方法的重建效果都较好，但从重建误差的子区域（图像中矩形框部分为子区域，右下角为该子区域的放大图）的比较结果来看，本申请在复原高光谱图像的细节特征方面显然拥有最佳的性能，而且获得了最小的光谱重建误差。具体如下：
如附图4为采用SSSR方法下的重建误差图，附图5为采用BSR方法下的重建误差图，附图6为采用CSU方法下的重建误差图，附图7为采用 CUCaNet方法下的重建误差图以及附图8为采用本申请方法下的重建误差图，附图9则为对应的参考图像。获取对应的PSNR（即峰值信噪比）、SSIM（结构相似性）以及SAM的数值及运行时间如下表所示：
从上表不难看出，本申请的融合结果有明显的优势；具有较高的峰值信噪比，也即图像失真越少；从SSIM与SAM指标值可以看出，本申请方法获得的SSIM值与SAM值均低于四个对比方法的值，这也说明了算法在保持光谱一致性方面的优势，得到的结果获得更小的光谱畸变。此外，从运行时间对比发现本申请的运行时间最短。
参照附图10，基于与前述实施例中同样的发明构思，本申请实施例还提供一种图像融合装置，该装置包括：
获取模块，获取模块用于获取原始图像；
融合模块，融合模块用于将原始图像输入融合模型，获得目标图像；其中，融合模型能够获取图像中的低秩成分，融合模型包括第一部分与第二部分，第一部分基于第一训练样本获得，第一训练样本为高空间分辨率的多光谱图像，第二部分基于第二训练样本获得，第二训练样本为低空间分辨率的高光谱图像，第一训练样本与第二训练样本基于同一图像生成。
本领域技术人员应当理解，实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际应用时可以全部或部分集成到一个或多个实际载体上，且这些模块可以全部以软件通过处理单元调用的形式实现，也可以全部以硬件的形式实现，或是以软件、硬件结合的形式实现，需要说明的是，本实施例中图像融合装置中各模块是与前述实施例中的图像融合方法中的各步骤一一对应，因此，本实施例的具体实施方式可参照前述图像融合方法的实施方式，这里不再赘述。
基于与前述实施例中同样的发明构思，本申请的实施例还提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如本申请实施例提供的图像融合方法。
基于与前述实施例中同样的发明构思，本申请的实施例还提供一种电子设备，包括处理器及存储器，其中，
存储器用于存储计算机程序；
处理器用于加载执行计算机程序，以使电子设备执行如本申请实施例提供的图像融合方法。
此外，基于与前述实施例中同样的发明构思，本申请的实施例还提供一种计算机程序产品，包括计算机程序，当计算机程序被执行时，用于执行如本申请实施例提供的图像融合方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光 盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。
综上，本申请提供的一种图像融合方法、装置、存储介质及电子设备，该方法包括：获取原始图像；将原始图像输入融合模型，获得目标图像；其中，融合模型能够获取图像中的低秩成分，融合模型包括第一部分与第二部分，第一部分基于第一训练样本获得，第一训练样本为高空间分辨率的多光谱图像，第二部分基于第二训练样本获得，第二训练样本为低空间分辨率的高光谱图像，第一训练样本与第二训练样本基于同一图像生成。本申请的方法通过构建的融合模型，准确地从输入的原始图像中学习低秩成分的表达，一方面从多光谱图像中学习目标图像的空间维度的低秩相关性，另一方面从高光谱图像中学习目标图像的光谱维度的低秩相关性，进而以其为子空间约束目标图像的低秩结构，使得模型具有良好的高光谱与多光谱融合性能，提升了高光谱与多光谱图像融合的质量。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种图像融合方法，其特征在于，包括以下步骤：
获取原始图像；
将所述原始图像输入融合模型，获得目标图像；其中，所述融合模型能够获取图像中的低秩成分，所述融合模型包括第一部分与第二部分，所述第一部分基于第一训练样本获得，所述第一训练样本为高空间分辨率的多光谱图像，所述第二部分基于第二训练样本获得，所述第二训练样本为低空间分辨率的高光谱图像，所述第一训练样本与所述第二训练样本基于同一图像生成。
2.根据权利要求1所述的图像融合方法，其特征在于，所述将所述原始图像输入融合模型，获得目标图像之前，所述图像融合方法还包括：
基于同一图像生成若干高空间分辨率的多光谱图像与若干低空间分辨率的高光谱图像；
基于若干所述高空间分辨率的多光谱图像，获得所述第一训练样本；
根据所述第一训练样本，获得第一关联矩阵；其中，所述第一关联矩阵为高光谱图像在空间维度的相关联矩阵；
基于所述第一关联矩阵，获得所述第一部分；
基于若干所述低空间分辨率的高光谱图像，获得所述第二训练样本；
根据所述第二训练样本，获得第二关联矩阵；其中，所述第二关联矩阵为多光谱图像在光谱维度的相关联矩阵；
基于所述第二关联矩阵，获得所述第二部分；
根据所述第一部分与所述第二部分，获得所述融合模型。
3.根据权利要求2所述的图像融合方法，其特征在于，所述根据所述第一训练样本，获得第一关联矩阵，包括：
根据所述第一训练样本，获得空间维度的低秩相关性；
根据所述空间维度的低秩相关性，获得第一关联矩阵。
4.根据权利要求2所述的图像融合方法，其特征在于，所述根据所述第二训练样本，获得第二关联矩阵，包括：
根据所述第二训练样本，获得光谱维度的低秩相关性；
根据所述光谱维度的低秩相关性，获得第二关联矩阵。
5.根据权利要求2所述的图像融合方法，其特征在于，所述根据所述第一部分与所述第二部分，获得所述融合模型，包括：
以所述第一关联矩阵与所述第二关联矩阵为约束，根据所述第一部分与所述第二部分，获得所述融合模型。
6.根据权利要求2所述的图像融合方法，其特征在于，所述根据所述第一部分与所述第二部分，获得所述融合模型之后，所述图像融合方法还包括：
基于交替方向乘子法，求解所述融合模型，获得目标融合模型。
7.根据权利要求6所述的图像融合方法，其特征在于，所述基于交替方向乘子法，求解所述融合模型，获得目标融合模型，包括：
基于交替方向乘子法，求解所述融合模型，获得模型参数；
根据辅助变量与所述模型参数，更新所述融合模型，并返回所述基于交替方向乘子法，求解所述融合模型，获得模型参数的步骤，直至满足迭代终止条件，获得目标融合模型。
8.一种图像融合装置，其特征在于，包括：
获取模块，所述获取模块用于获取原始图像；
融合模块，所述融合模块用于将所述原始图像输入融合模型，获得目标图像；其中，所述融合模型能够获取图像中的低秩成分，所述融合模型包括第一部分与第二部分，所述第一部分基于第一训练样本获得，所述第一训练样本为高空间分辨率的多光谱图像，所述第二部分基于第二训练样本获得，所述第二训练样本为低空间分辨率的高光谱图像，所述第一训练样本与所述第二训练样本基于同一图像生成。
9.一种计算机可读存储介质，储存有计算机程序，其特征在于，所述计算机程序被处理器加载执行时，实现如权利要求1-7中任一项所述的图像融合方法。
10.一种电子设备，其特征在于，包括处理器及存储器，其中，
所述存储器用于存储计算机程序；
所述处理器用于加载执行所述计算机程序，以使所述电子设备执行如权利要求1-7中任一项所述的图像融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310526443.3A CN116245779B (zh) | 2023-05-11 | 2023-05-11 | 一种图像融合方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310526443.3A CN116245779B (zh) | 2023-05-11 | 2023-05-11 | 一种图像融合方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116245779A true CN116245779A (zh) | 2023-06-09 |
| CN116245779B CN116245779B (zh) | 2023-08-22 |
Family
ID=86628151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310526443.3A Active CN116245779B (zh) | 2023-05-11 | 2023-05-11 | 一种图像融合方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116245779B (zh) |
Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102842124A (zh) * | 2012-07-16 | 2012-12-26 | 西安电子科技大学 | 基于矩阵低秩分解的多光谱图像与全色图像融合方法 |
| CN106157317A (zh) * | 2016-07-21 | 2016-11-23 | 武汉大学 | 基于弥散张量引导的高分辨率遥感影像融合评价方法 |
| CN108460749A (zh) * | 2018-03-20 | 2018-08-28 | 西安电子科技大学 | 一种高光谱与多光谱图像的快速融合方法 |
| CN110148103A (zh) * | 2019-04-29 | 2019-08-20 | 中国科学院西安光学精密机械研究所 | 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备 |
| CN110751614A (zh) * | 2019-09-17 | 2020-02-04 | 宁波大学 | 基于低秩矩阵分解及导向滤波器的高光谱/多光谱影像融合方法 |
| CN111369487A (zh) * | 2020-05-26 | 2020-07-03 | 湖南大学 | 一种高光谱和多光谱图像融合方法、系统及介质 |
| US20200302249A1 (en) * | 2019-03-19 | 2020-09-24 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Multi-Spectral Image Fusion Using Unrolled Projected Gradient Descent and Convolutinoal Neural Network |
| US20200396397A1 (en) * | 2019-06-13 | 2020-12-17 | Apple Inc. | Multispectral Image Processing System and Method |
| CN113327218A (zh) * | 2021-06-10 | 2021-08-31 | 东华大学 | 一种基于级联网络的高光谱与全色图像融合方法 |
| CN113392790A (zh) * | 2021-06-24 | 2021-09-14 | 哈尔滨工业大学 | 全色/多光谱遥感图像与高光谱遥感图像的融合方法 |
| US20210319534A1 (en) * | 2020-04-08 | 2021-10-14 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Blind Multi-Spectral Image Fusion |
| CN113506234A (zh) * | 2021-07-12 | 2021-10-15 | 南京中科智慧应急研究院有限公司 | 一种基于类解混的高光谱和多光谱图像融合算法 |
| WO2022001159A1 (zh) * | 2020-06-29 | 2022-01-06 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 无监督高光谱图像隐低秩投影学习特征提取方法 |
| CN114841888A (zh) * | 2022-05-16 | 2022-08-02 | 电子科技大学 | 基于低秩张量环分解和因子先验的视觉数据补全方法 |
| CN114998167A (zh) * | 2022-05-16 | 2022-09-02 | 电子科技大学 | 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法 |
| WO2022222352A1 (zh) * | 2021-04-22 | 2022-10-27 | 海南大学 | 基于残差网络的遥感全色和多光谱图像分布式融合方法 |
| CN115272144A (zh) * | 2022-06-22 | 2022-11-01 | 昆明理工大学 | 面向高光谱图像和多光谱图像的时空谱融合方法 |
| CN115311187A (zh) * | 2022-10-12 | 2022-11-08 | 湖南大学 | 基于内部和外部先验的高光谱融合成像方法、系统及介质 |
| CN115456923A (zh) * | 2022-09-14 | 2022-12-09 | 湖南大学 | 基于高光谱和多光谱图像融合生成高光谱图像的方法及系统 |
| CN115496662A (zh) * | 2022-09-30 | 2022-12-20 | 中国科学院沈阳自动化研究所 | 基于光谱信息融合的高阶张量光谱图像超分辨率重建方法 |
| CN115527117A (zh) * | 2022-09-30 | 2022-12-27 | 中国科学院沈阳自动化研究所 | 基于高阶张量表示的高光谱图像异常检测方法 |
| CN115861076A (zh) * | 2022-12-28 | 2023-03-28 | 江南大学 | 基于矩阵分解网络的无监督高光谱图像超分辨率方法 |
| WO2023045149A1 (zh) * | 2021-09-26 | 2023-03-30 | 上海闻泰电子科技有限公司 | 图像融合方法、装置、电子设备和存储介质 |
| CN115880199A (zh) * | 2023-03-03 | 2023-03-31 | 湖南大学 | 一种长波红外高光谱与多光谱图像融合方法、系统及介质 |
-
2023
- 2023-05-11 CN CN202310526443.3A patent/CN116245779B/zh active Active
Patent Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102842124A (zh) * | 2012-07-16 | 2012-12-26 | 西安电子科技大学 | 基于矩阵低秩分解的多光谱图像与全色图像融合方法 |
| CN106157317A (zh) * | 2016-07-21 | 2016-11-23 | 武汉大学 | 基于弥散张量引导的高分辨率遥感影像融合评价方法 |
| CN108460749A (zh) * | 2018-03-20 | 2018-08-28 | 西安电子科技大学 | 一种高光谱与多光谱图像的快速融合方法 |
| US20200302249A1 (en) * | 2019-03-19 | 2020-09-24 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Multi-Spectral Image Fusion Using Unrolled Projected Gradient Descent and Convolutinoal Neural Network |
| CN110148103A (zh) * | 2019-04-29 | 2019-08-20 | 中国科学院西安光学精密机械研究所 | 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备 |
| US20200396397A1 (en) * | 2019-06-13 | 2020-12-17 | Apple Inc. | Multispectral Image Processing System and Method |
| CN110751614A (zh) * | 2019-09-17 | 2020-02-04 | 宁波大学 | 基于低秩矩阵分解及导向滤波器的高光谱/多光谱影像融合方法 |
| US20210319534A1 (en) * | 2020-04-08 | 2021-10-14 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Blind Multi-Spectral Image Fusion |
| CN111369487A (zh) * | 2020-05-26 | 2020-07-03 | 湖南大学 | 一种高光谱和多光谱图像融合方法、系统及介质 |
| WO2022001159A1 (zh) * | 2020-06-29 | 2022-01-06 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 无监督高光谱图像隐低秩投影学习特征提取方法 |
| WO2022222352A1 (zh) * | 2021-04-22 | 2022-10-27 | 海南大学 | 基于残差网络的遥感全色和多光谱图像分布式融合方法 |
| CN113327218A (zh) * | 2021-06-10 | 2021-08-31 | 东华大学 | 一种基于级联网络的高光谱与全色图像融合方法 |
| CN113392790A (zh) * | 2021-06-24 | 2021-09-14 | 哈尔滨工业大学 | 全色/多光谱遥感图像与高光谱遥感图像的融合方法 |
| CN113506234A (zh) * | 2021-07-12 | 2021-10-15 | 南京中科智慧应急研究院有限公司 | 一种基于类解混的高光谱和多光谱图像融合算法 |
| WO2023045149A1 (zh) * | 2021-09-26 | 2023-03-30 | 上海闻泰电子科技有限公司 | 图像融合方法、装置、电子设备和存储介质 |
| CN114841888A (zh) * | 2022-05-16 | 2022-08-02 | 电子科技大学 | 基于低秩张量环分解和因子先验的视觉数据补全方法 |
| CN114998167A (zh) * | 2022-05-16 | 2022-09-02 | 电子科技大学 | 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法 |
| CN115272144A (zh) * | 2022-06-22 | 2022-11-01 | 昆明理工大学 | 面向高光谱图像和多光谱图像的时空谱融合方法 |
| CN115456923A (zh) * | 2022-09-14 | 2022-12-09 | 湖南大学 | 基于高光谱和多光谱图像融合生成高光谱图像的方法及系统 |
| CN115496662A (zh) * | 2022-09-30 | 2022-12-20 | 中国科学院沈阳自动化研究所 | 基于光谱信息融合的高阶张量光谱图像超分辨率重建方法 |
| CN115527117A (zh) * | 2022-09-30 | 2022-12-27 | 中国科学院沈阳自动化研究所 | 基于高阶张量表示的高光谱图像异常检测方法 |
| CN115311187A (zh) * | 2022-10-12 | 2022-11-08 | 湖南大学 | 基于内部和外部先验的高光谱融合成像方法、系统及介质 |
| CN115861076A (zh) * | 2022-12-28 | 2023-03-28 | 江南大学 | 基于矩阵分解网络的无监督高光谱图像超分辨率方法 |
| CN115880199A (zh) * | 2023-03-03 | 2023-03-31 | 湖南大学 | 一种长波红外高光谱与多光谱图像融合方法、系统及介质 |
Non-Patent Citations (5)
| Title |
|---|
| QIAN BAOJUN等: ""HMFT: Hyperspectral and Multispectral Image Fusion Super-Resolution Method Based on Efficient Transformer and Spatial-Spectral Attention Mechanism"", 《COMPUTATIONAL INTELLIGENCE AND NEUROSCIENCE》, pages 1 - 10 * |
| XU AN BAO等: ""Iterative optimal solutions of linear matrix equations for hyperspectral and multispectral"", 《CALCOLO》, vol. 60, no. 2, pages 223 - 231 * |
| 周铮: ""基于低秩张量表示高光谱图像融合的模型与算法研究"", 《中国优秀硕士学位论文全文数据库》, no. 2, pages 028 - 436 * |
| 方帅等: ""基于细节关注的高光谱与多光谱图像融合算法"", 《遥感学报》, vol. 26, no. 12, pages 2594 - 2602 * |
| 杨斌等: ""光谱解混技术及其应用研究进展"", 《激光与光电子学进展》, vol. 58, no. 16, pages 76 - 103 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116245779B (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107169535B (zh) | 生物多光谱图像的深度学习分类方法及装置 | |
| CN112116065A (zh) | 一种rgb图像光谱重建方法、系统、存储介质及应用 | |
| Ramirez et al. | LADMM-Net: An unrolled deep network for spectral image fusion from compressive data | |
| CN112883227B (zh) | 一种基于多尺度时序特征的视频摘要生成方法和装置 | |
| Tan et al. | Pixelwise Estimation of Signal‐Dependent Image Noise Using Deep Residual Learning | |
| CN116579966B (zh) | 一种图像重建方法、装置、电子设备及存储介质 | |
| CN116760031B (zh) | 基于气象数据的高时间分辨率光伏功率预测方法和装置 | |
| CN115082968B (zh) | 基于红外光和可见光融合的行为识别方法及终端设备 | |
| CN113256733B (zh) | 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法 | |
| CN115457311A (zh) | 一种基于自表达迁移学习的高光谱遥感影像波段选择方法 | |
| Zhou et al. | MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution | |
| Wu et al. | Hprn: Holistic prior-embedded relation network for spectral super-resolution | |
| CN114240779A (zh) | 一种点云去噪方法、装置、设备及存储介质 | |
| Gkillas et al. | Cost-efficient coupled learning methods for recovering near-infrared information from RGB signals: Application in precision agriculture | |
| CN113850298A (zh) | 一种图像识别方法、装置及相关设备 | |
| CN116245779B (zh) | 一种图像融合方法、装置、存储介质及电子设备 | |
| CN115760670B (zh) | 基于网络隐式先验的无监督高光谱融合方法及装置 | |
| CN112613373A (zh) | 图像识别方法、装置、电子设备及计算机可读存储介质 | |
| CN115376195B (zh) | 训练多尺度网络模型的方法及人脸关键点检测方法 | |
| CN113628289B (zh) | 基于图卷积自编码器的高光谱影像非线性解混方法及系统 | |
| Liu et al. | Diverse hyperspectral remote sensing image synthesis with diffusion models | |
| CN112328584B (zh) | 多维时空谱数据融合方法、装置、电子设备和存储介质 | |
| CN112766212B (zh) | 高光谱遥感图像水体固有属性反演方法、装置和设备 | |
| Zhou et al. | Dark light enhancement for dark scene urban object recognition | |
| CN115796394B (zh) | 数值天气预报订正方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |