CN114581347B - 无参考影像的光学遥感空谱融合方法、装置、设备及介质 - Google Patents

无参考影像的光学遥感空谱融合方法、装置、设备及介质 Download PDF

Info

Publication number
CN114581347B
CN114581347B CN202210082101.2A CN202210082101A CN114581347B CN 114581347 B CN114581347 B CN 114581347B CN 202210082101 A CN202210082101 A CN 202210082101A CN 114581347 B CN114581347 B CN 114581347B
Authority
CN
China
Prior art keywords
image
fusion
network model
features
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210082101.2A
Other languages
English (en)
Other versions
CN114581347A (zh
Inventor
郭擎
李思佳
李安
童濂滋
王�华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202210082101.2A priority Critical patent/CN114581347B/zh
Publication of CN114581347A publication Critical patent/CN114581347A/zh
Application granted granted Critical
Publication of CN114581347B publication Critical patent/CN114581347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种无参考影像的光学遥感空谱融合方法、装置、设备及介质。所述方法包括：对多张原始全色影像和多光谱影像进行处理，得到网络训练集；构建融合网络模型和无参考标签的损失函数；根据融合网络模型和无参考标签的损失函数，生成无参考影像的融合网络模型；利用网络训练集对无参考影像的融合网络模型进行训练，得到训练后的无参考影像的融合网络模型；将待融合的全色影像和多光谱影像输入至训练后的无参考影像的融合网络模型中，得到融合结果。本发明通过建立无需使用模拟数据标签的损失函数，使得网络可以同时监督和降低空间与光谱上的损失，在提高融合效果的同时，增强网络的泛化能力。

Description

无参考影像的光学遥感空谱融合方法、装置、设备及介质
技术领域
本发明涉及遥感图像融合技术领域，尤其涉及一种无参考影像的光学遥感空谱融合方法、装置、设备及介质。
背景技术
随着遥感技术的发展，高光谱分辨率高空间分辨率遥感图像在许多遥感应用领域如目标探测、地物识别等发挥着重要作用。然而，由于成像传感器存储、制造工艺以及信号传输带宽等方面的限制，很难同时获得高空间分辨率高光谱分辨率的图像。因此，有必要采用遥感图像空谱融合技术，将具有高空间分辨率的单波段全色图像与高光谱分辨率的多光谱图像进行融合，得到同时具有高空间分辨率高光谱分辨率的融合图像。
传统方法往往将融合过程模拟成线性模型，而实际中多光谱图像和全色图像的通道覆盖带宽很多时候不能保证完全重叠，所以融合过程会涉及到光谱域和空间域之间复杂的非线性变换。因此，用线性模型来模拟图像融合过程存在一定程度的局限性，融合结果会存在一定程度的光谱失真。深度学习是近年来数据科学研究的一个新兴领域，在特征提取方面，深度学习网络结构包含多个隐藏层，能够自动提取到更抽象、更具有全面性的特征，因此与传统融合方法相比，深度学习具有更强大的特征学习和特征表达能力。在特征融合方面，深度学习网络是一种深层次的非线性网络结构，通过这一非线性结构，将提取到的影像特征综合起来，提高融合影像的鲁棒性，使其更加逼近于理想的融合图像，故深度学习网络的非线性模型可以更好地模拟出图像空谱融合的过程。
但由于缺少实际的高空间分辨率多光谱影像作为融合结果的参考影像，目前的空谱融合网络，主要是根据Wald协议(Wald protocol)，将原始的多光谱影像MS作为参考影像，对原始全色影像PAN和多光谱影像MS进行降尺度处理得到模拟数据，作为待融合的输入影像。即，对全色影像PAN进行下采样得到降尺度全色影像(PAN-degrade,PAN-dg)；由于空间分辨率的差异，对多光谱影像MS进行下采样后再进行上采样得到降尺度的多光谱影像(MS-degrade,MS-dg)。该模型存在一定的缺点：(1)首先在制作训练集的过程中，涉及到全色影像的下采样操作，而下采样的过程中会使得全色影像丢失重要的空间信息。(2)在网络训练的过程中，以多光谱影像MS作为参考影像进行训练，导致网络模型无法学习到真实的空间信息，也无法学习到真正的融合关系。(3)在模型测试阶段，使用真实的遥感影像进行测试时，是用基于降尺度数据PAN-dg和MS-dg训练好的网络模型去测试真实数据，忽略了训练集与测试集的尺度差异，往往出现模拟数据集测试效果好，但真实数据集测试效果不够理想的现象，实验结果会出现一定程度的光谱失真。
发明内容
本发明提供一种无参考影像的光学遥感空谱融合方法、装置、设备及介质，用以解决传统融合网络中存在的空间信息丢失和光谱失真问题，从融合的本质出发，着重于融合所需要的光谱特征和空间特征，与网络输入的全色与多光谱影像建立无参考标签的损失函数，使融合网络不再需要制作模拟数据集，为后端定量化遥感应用提供更好的数据源。
本发明提供的一种无参考影像的光学遥感空谱融合方法，包括：
对多张原始全色影像和多光谱影像进行处理，得到网络训练集；
构建融合网络模型和无参考标签的损失函数；
根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型；
利用所述网络训练集对所述无参考影像的融合网络模型进行训练，得到训练后的所述无参考影像的融合网络模型；
将待融合的全色影像和多光谱影像输入至训练后的所述无参考影像的融合网络模型中，得到融合结果。
可选的，所述对多张原始全色影像和多光谱影像进行处理，得到网络训练集，包括：
对多张所述原始全色影像和所述多光谱影像进行几何校正和图像配准，并对所述多光谱影像进行上采样操作；
对处理好的全色影像和上采样多光谱影像进行裁剪，得到网络训练所需要的训练集和测试集。
可选的，所述构建融合网络模型，包括：
基于卷积神经网络提取全色影像和多光谱影像的局部特征；
构建用于提取影像全局特征的网络模型，将所述局部特征输入至所述网络模型中，得到影像的融合特征，并通过1×1卷积网络重建融合影像，得到融合网络模型。
可选的，所述构建无参考标签的损失函数，包括：
提取所述融合影像的空间特征和光谱特征；
从全色影像中提取参考空间信息，以及从多光谱影像中提取参考光谱信息；
根据所述融合影像的空间特征和所述参考空间信息，得到融合影像的空间损失，以及根据所述融合影像的光谱特征和所述参考光谱信息，得到融合影像的光谱损失；
将所述空间损失和所述光谱损失通过预设的组合规则，生成无参考标签的损失函数。
可选的，根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型，包括：
利用所述无参考标签的损失函数训练所述融合网络模型，得到无参考影像的融合网络模型；
其中，在训练过程中，通过减少所述无参考标签的损失函数，同时对所述空间损失和所述光谱损失进行监督和控制，使训练结果针对性学习全色影像的空间信息和多光谱影像的光谱信息。
本发明还提供一种无参考影像的光学遥感空谱融合装置，包括：
第一处理模块，用于对多张原始全色影像和多光谱影像进行处理，得到网络训练集；
第二处理模块，用于构建融合网络模型和无参考标签的损失函数；
第三处理模块，用于根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型；
第四处理模块，用于利用所述网络训练集对所述无参考影像的融合网络模型进行训练，得到训练后的所述无参考影像的融合网络模型；
第五处理模块，用于将待融合的全色影像和多光谱影像输入至训练后的所述无参考影像的融合网络模型中，得到融合结果。
可选的，所述第一处理模块，具体用于：
对多张所述原始全色影像和所述多光谱影像进行几何校正和图像配准，并对所述多光谱影像进行上采样操作；
对处理好的全色影像和上采样多光谱影像进行裁剪，得到网络训练所需要的训练集和测试集。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的无参考影像的光学遥感空谱融合方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的无参考影像的光学遥感空谱融合方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的无参考影像的光学遥感空谱融合方法的步骤。
本发明提供的无参考影像的光学遥感空谱融合方法、装置、设备及介质，对多张原始全色影像和多光谱影像进行处理，得到网络训练集；构建融合网络模型和无参考标签的损失函数；根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型；利用所述网络训练集对所述无参考影像的融合网络模型进行训练，得到训练后的所述无参考影像的融合网络模型；将待融合的全色影像和多光谱影像输入至训练后的所述无参考影像的融合网络模型中，得到融合结果。由此可见，本发明通过建立无需使用模拟数据标签的损失函数，使得网络可以同时监督和降低空间与光谱上的损失，在提高融合效果的同时，增强网络的泛化能力。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的无参考影像的光学遥感空谱融合方法的流程示意图之一；
图2是本发明提供的无参考影像的光学遥感空谱融合方法的流程示意图之二；
图3是本发明提供的网络训练集制作的示意图；
图4是本发明提供的无参考影像的光学遥感空谱融合的示意图；
图5是本发明提供的Pyramid Transformer结构示意图；
图6是本发明提供的图像分割为以块为单位的序列化向量流程图；
图7是本发明提供的Transformer编码部分的结构示意图；
图8是本发明提供的无参考标签的损失函数的结构示意图；
图9是本发明提供的无参考影像的光学遥感空谱融合装置的结构示意图；
图10是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供的无参考影像的光学遥感空谱融合方法，包括：
步骤101：对多张原始全色影像和多光谱影像进行处理，得到网络训练集；
在本步骤中，如图3所示，对多张原始全色影像和多光谱影像进行处理，包括：(1)数据预处理部分：对原始全色和多光谱影像进行几何校正和图像配准。其中，几何校正的目的是消除和改正图像的几何误差，图像配准的目的是使多光谱图像和全色图像的同名像素点进行配准；(2)数据重采样部分：无参考影像的融合网络模型CPT-noRef(ConvolutionalNeural Network+Pyramid Transformer network with no-Reference loss)主要建立在真实的全色和多光谱影像上，在网络的输入中为了确保多光谱影像的尺寸大小与全色影像大小一致，会涉及到多光谱影像的上采样操作；(3)制作网络训练集，对(2)中处理好的全色与上采样多光谱影像进行裁剪，制作全色影像和多光谱影像的训练集与测试集，其中，训练集用于网络训练，测试集用于测试和验证网络性能。可选的，裁剪的重叠比例可以为40％左右，裁剪图像块大小为100像素×100像素。最后以0.8:0.2的比例分配裁剪得到的图像块，得到网络训练所需要的训练集与测试集。
步骤102：构建融合网络模型和无参考标签的损失函数；
在本步骤中，构建融合网络模型的步骤包括：(1)通过基本的卷积神经网络CNN提取出影像的局部特征；(2)构建Pyramid+Transformer网络模型，确保网络提取全局特征的充分性；(3)将(1)中的浅层特征输入至(2)中的Pyramid+Transformer网络中，作为网络模型的编码部分；(4)Transformer网络作为解码部分，得到网络最终的融合特征，再通过1×1卷积网络重建融合图像，由此得到CPT融合网络模型。
在本步骤中，构建无参考标签的损失函数包括：从融合理论出发，通过一定的算法提取出融合影像的空间和光谱特征，并学习全色影像的空间信息和多光谱影像的光谱信息，分别得到空间与光谱损失，通过一定的组合规则，生成网络最终的损失函数。
步骤103：根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型；
在本步骤中，将该损失函数与CPT融合网络模型结合得到CPT-noRef网络模型，即无参考影像的融合网络模型。
步骤104：利用所述网络训练集对所述无参考影像的融合网络模型进行训练，得到训练后的所述无参考影像的融合网络模型；
在本步骤中，利用步骤101得到的网络训练集对步骤103得到的CPT-noRef网络模型进行训练，得到完成训练的CPT-noRef网络模型。需要说明的是，在本实施例中以CPT网络为例进行说明，但并不限于CPT网络，还可以是其他的网络形式。
步骤105：将待融合的全色影像和多光谱影像输入至训练后的所述无参考影像的融合网络模型中，得到融合结果。
在本步骤中，利用完成训练的CPT-noRef网络模型对待融合的全色与多光谱影像进行融合得到融合结果。
本发明提供的无参考影像的光学遥感空谱融合方法，对多张原始全色影像和多光谱影像进行处理，得到网络训练集；构建融合网络模型和无参考标签的损失函数；根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型；利用所述网络训练集对所述无参考影像的融合网络模型进行训练，得到训练后的所述无参考影像的融合网络模型；将待融合的全色影像和多光谱影像输入至训练后的所述无参考影像的融合网络模型中，得到融合结果。由此可见，本发明通过建立无需使用模拟数据标签的损失函数，使得网络可以同时监督和降低空间与光谱上的损失，在提高融合效果的同时，增强网络的泛化能力。
基于上述实施例的内容，在本实施例中，所述对多张原始全色影像和多光谱影像进行处理，得到网络训练集，包括：
对多张所述原始全色影像和所述多光谱影像进行几何校正和图像配准，并对所述多光谱影像进行上采样操作；
对处理好的全色影像和上采样多光谱影像进行裁剪，得到网络训练所需要的训练集和测试集。
在本实施例中，如图3所示，对多张原始全色影像和多光谱影像进行处理，包括：(1)数据预处理部分：对原始全色和多光谱影像进行几何校正和图像配准。其中，几何校正的目的是消除和改正图像的几何误差，图像配准的目的是使多光谱图像和全色图像的同名像素点进行配准；(2)数据重采样部分：CPT-noRef网络主要建立在真实的全色和多光谱影像上，在网络的输入中为了确保多光谱影像的尺寸大小与全色影像大小一致，会涉及到多光谱影像的上采样操作；(3)制作网络训练集，对(2)中处理好的全色与上采样多光谱影像进行裁剪，制作全色影像和多光谱影像的训练集与测试集。裁剪的重叠比例可以为40％左右，裁剪图像块大小为100像素×100像素。最后以0.8:0.2的比例分配裁剪得到的图像块，得到网络训练所需要的训练集与测试集。
基于上述实施例的内容，在本实施例中，所述构建融合网络模型，包括：
基于卷积神经网络提取全色影像和多光谱影像的局部特征；
构建用于提取影像全局特征的网络模型，将所述局部特征输入至所述网络模型中，得到影像的融合特征，并通过1×1卷积网络重建融合影像，得到融合网络模型。
在本实施例中，如图4所示，构建CPT融合网络模型，包括：(1)通过基本的CNN网络提取出影像的局部特征(2)构建Pyramid+Transformer网络模型，确保网络提取全局特征的充分性。(3)将所述步骤(1)中的浅层特征输入至(2)中的Pyramid+Transformer网络中，作为网络模型的编码部分；(4)Transformer网络作为解码部分，得到网络最终的融合特征，再通过1×1卷积网络重建融合图像，由此得到CPT融合网络模型。
在本实施例中，需要说明的是，CNN浅层特征提取网络的参数如下表1所示：
表1
c1 K1×K1 f1(x) c2 K2×K2 f2(x) c3 K3×K3 f3(x)
N+1 9×9 ReLU 16 5×5 ReLU 32 5×5 ReLU
在本实施例中，构建用于提取影像全局特征的网络模型Pyramid+Transformer如图5所示。
在本实施例中，如图6所示，在将Transformer网络应用到遥感图像之前，需将遥感图像分割成以块为单位的序列化向量。通过构建金字塔模型，分层改变每一块所对应的感受域；再通过多头注意力机制，形成自适应滤波，建立块与块向量之间的关系，提取浅层纹理特征和深层语义特征，保证Transformer网络全局特征提取的充分性。金字塔模型主要分为以下三个部分：
在本实施例中，将通过CNN网络提取得到的浅层特征图像Xfea进行下采样得到Xfea-down(i)，直至特征图像尺寸与块的大小相同。在本实施例中，训练数据的大小为(100,100),设定块的大小为(5,5)，所以下采样数据集的大小分别设为(50,50)，(25,25)和(5,5)。
在本实施例中，将每一次下采样得到的特征图像Xfea-down(i)，输入到Transformer中提取全局特征Fdown(i)。
在本实施例中，将全局特征Fdown(i)进行上采样恢复至原始尺寸大小，最后将四个数据集得到的所有特征进行合并，得到最终的编码特征F。上述操作，通过下采样特征影像，扩大块所对应的感受野，实现不同像素信息的交互，由此获取不同尺度的全局特征(块对应的小感受野获取细节纹理信息，大感受野获取深层语义信息)，最后将特征在通道维度上连接，确保特征提取的充分性，并且通过学习多尺度的特征信息，可以减小网络对输入特征尺度的敏感性，在一定程度上增加网络的鲁棒性。
在本实施例中，Transformer网络的编码部分如图7所示。如下述公式所示，主要有层归一化LN(Layer Norm)，多头注意力机制MSA(Multi-head Self-Attention layer)以及多层感知机MLP(Multi-Layer Perception)这三部分结构，并结合残差模型的网络结构，所述公式为：
其中，Fi代表输入向量，LN确保网络训练的稳定性，MSA在每一个头中建立自注意力机制，并将结果集成，实现并行化提取每一个头中向量之间的长距离特征，防止网络发生过拟合，MLP层通过线性增加通道维度来增强影像特征。
在本实施例中，Transformer网络的解码部分不同于上述Transformer的编码之处在于增加了一层LN和MSA结构，用于增强网络的融合特征，如下述公式所示，所述公式为：
其中，F″i为编码得到的融合特征，D″i是解码得到的最终结果。
在本实施例中，将CNN网络提取出的浅层特征输入至所述的Pyramid Transformer网络，可以解决Transformer网络所需要训练数据量庞大的问题；另外，该模型可以双重结合两者提取影像特征的优势，弥补CNN网络会导致融合丢失重要的全局上下文特征和Transformer网络缺少部分局部特征的缺陷。
基于上述实施例的内容，在本实施例中，所述构建无参考标签的损失函数，包括：
提取所述融合影像的空间特征和光谱特征；
从全色影像中提取参考空间信息，以及从多光谱影像中提取参考光谱信息；
根据所述融合影像的空间特征和所述参考空间信息，得到融合影像的空间损失，以及根据所述融合影像的光谱特征和所述参考光谱信息，得到融合影像的光谱损失；
将所述空间损失和所述光谱损失通过预设的组合规则，生成无参考标签的损失函数。
在本实施例中，如图8所示，借助多分辨率分析技术，通过一定的算法提取融合结果的空间与光谱信息，并以相同的方式从全色影像中提取参考空间信息，从多光谱影像中提取参考光谱信息，利用均方误差分别构建空间损失与光谱损失，通过不断的训练实验，分别为这两种损失设定权重，建立一定的组合规则，作为网络最终的损失函数，使网络可以同时监督并控制融合结果在空间与光谱上的损失，提升网络的融合效果。
在本实施例中，空间损失为：图像的高频信息主要反映图像的亮度突变特性，强调像素与其邻近像素之间的关系，寻找像素之间属性、方向等方面的转换，因此高频子图像可以反映出图像的空间细节信息。在发明中，选用(包含八个方向的)对角拉普拉斯滤波提取影像的空间信息。其中二维影像表示为f(x,y)，灰色突变区域表示为则灰度突变区域可以计算为：
根据上述公式，拉普拉斯滤波G表示为：
在本实施例中，利用滤波G分别提取融合结果与全色影像的空间信息，两者利用均方误差求得空间损失。
在本实施例中，光谱损失为：遥感图像各波段的像元值是由遥感传感器检测到的电磁辐射强度决定的，它可以代表图像各波段的光谱特征。因此，在光谱损失方面，同样利用均方误差快速使融合图像的像素值尽可能接近多光谱图像的像素值。可选的，将光谱与空间损失分别设为0.8和0.2，得到网络最终的损失函数。
基于上述实施例的内容，在本实施例中，根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型，包括：
利用所述无参考标签的损失函数训练所述融合网络模型，得到无参考影像的融合网络模型；
其中，在训练过程中，通过减少所述无参考标签的损失函数，同时对所述空间损失和所述光谱损失进行监督和控制，使训练结果针对性学习全色影像的空间信息和多光谱影像的光谱信息。
在本实施例中，利用无参考标签的损失函数训练CPT网络，在训练网络的过程中，通过减少无参考标签损失函数，同时对空间和光谱损失进行监督和控制，并将整个网络模型命名为CPT-noRef，即无参考影像的融合网络模型。该网络模型可以使训练结果针对性学习全色影像的空间信息和多光谱影像的光谱信息，有效提升融合效果。
综上，本发明提供的无参考影像的光学遥感空谱融合方法，与现有技术相比，至少具有如下有益效果：(1)在融合思路上，突破了目前传统融合网络的融合思路，本发明将网络学习的目标改变为全色影像的空间信息和多光谱影像的光谱特征，更加符合空谱融合真正所需要学习的内容。网络的训练与测试都建立在待融合的真实全色与多光谱影像上。(2)在网络结构设计上，突破了传统的卷积网络，将目前先进的Transformer网络作为模型主干应用于空谱融合中。通过CNN与Transformer串联的方式，将Transformer网络提取出的全局特征与浅层的CNN提取的局部特征相结合，在不加深网络复杂性的情况下，保证影像特征提取的充分性。(3)在Transformer网络解码部分加入金字塔网络的思想，使得PyramidTransformer可以提取到不同尺度的全局特征，包括浅层的细节信息特征和深层的语义信息特征。(4)在损失函数建立上，从融合理论出发，建立无需使用模拟数据的损失函数，使得网络可以同时监督和降低空间与光谱上的损失，提高融合效果的同时，增强网络的泛化能力。
下面通过实施例进行说明：
实施例一：
在本实施例中，如图2所示，本发明提供的无参考影像的光学遥感空谱融合方法，包括：
步骤201：对多张原始图像进行处理生成网络训练集；
步骤202：构建CPT网络模型；
步骤203：构建无需参考标签的损失函数，结合CPT网络模型，生成无参考影像的CPT-noRef网络模型；
步骤204：利用网络训练集对CPT-noRef网络模型进行训练，得到训练完成的网络模型；
步骤205：利用完成训练的CPT-noRef网络模型对待融合全色与多光谱图像进行融合，得到融合图像。
可以理解的是，目前的大多数深度学习融合方法，需要实际中不存在的融合结果作为参考标签，在训练的过程中损失控制时也需要融合结果作为参考。目前的大多数做法是把原始待融合数据进行降尺度处理制作模拟输入数据，把原始的多光谱图像作为所谓的融合结果---降尺度模拟输入数据对应的融合结果。这就会让网络学习的并不是真正的融合关系，而更偏向于上下采样的关系；而且在测试时用真实数据去测试由于尺度差异会导致光谱失真。为了解决这一问题，本发明通过建立无需参考标签的损失函数，突破传统深度学习融合网络由于没有真实的高空间分辨率多光谱影像作为融合结果的参考影像，需要制作模拟数据标签的现状；通过有效结合CNN与Transformer网络提取影像特征的双重优势，使网络提取到的特征更为充分，从而增强网络模型对影像特征的表达能力，进而提升网络的融合效果。需要说明的是，本发明提供的无参考影像的光学遥感空谱融合方法不仅适用于上述的CPT网络，还可以是其它的网络形式，此处不作具体限制。
如图9所示，本发明还提供一种无参考影像的光学遥感空谱融合装置，包括：
第一处理模块1，用于对多张原始全色影像和多光谱影像进行处理，得到网络训练集；
第二处理模块2，用于构建融合网络模型和无参考标签的损失函数；
第三处理模块3，用于根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型；
第四处理模块4，用于利用所述网络训练集对所述无参考影像的融合网络模型进行训练，得到训练后的所述无参考影像的融合网络模型；
第五处理模块，用于将待融合的全色影像和多光谱影像输入至训练后的所述无参考影像的融合网络模型中，得到融合结果。
在本实施例中，如图3所示，对多张原始全色影像和多光谱影像进行处理，包括：(1)数据预处理部分：对原始全色和多光谱影像进行几何校正和图像配准。其中，几何校正的目的是消除和改正图像的几何误差，图像配准的目的是使多光谱图像和全色图像的同名像素点进行配准；(2)数据重采样部分：CPT-noRef网络主要建立在真实的全色和多光谱影像上，在网络的输入中为了确保多光谱影像的尺寸大小与全色影像大小一致，会涉及到多光谱影像的上采样操作；(3)制作网络训练集，对(2)中处理好的全色与上采样多光谱影像进行裁剪，制作全色影像和多光谱影像的训练集与测试集。可选的，裁剪的重叠比例可以为40％左右，裁剪图像块大小为100像素×100像素。最后以0.8:0.2的比例分配裁剪得到的图像块，得到网络训练所需要的训练集与测试集。
在本实施例中，构建融合网络模型的步骤包括：(1)通过基本的CNN网络提取出影像的局部特征；(2)构建Pyramid+Transformer网络模型，确保网络提取全局特征的充分性；(3)将(1)中的浅层特征输入至(2)中的Pyramid+Transformer网络中，作为网络模型的编码部分；(4)Transformer网络作为解码部分，得到网络最终的融合特征，再通过1×1卷积网络重建融合图像，由此得到CPT融合网络模型。
在本实施例中，构建无参考标签的损失函数包括：从融合理论出发，通过一定的算法提取出融合影像的空间和光谱特征，并学习全色影像的空间信息和多光谱影像的光谱信息，分别得到空间与光谱损失，通过一定的组合规则，生成网络最终的损失函数。
在本实施例中，将该损失函数与CPT融合网络模型结合得到CPT-noRef网络模型，即无参考影像的融合网络模型。
在本实施例中，利用得到的网络训练集对CPT-noRef网络模型进行训练，得到完成训练的CPT-noRef网络模型。需要说明的是，在本实施例中以CPT网络为例进行说明，但并不限于CPT网络，还可以是其他的网络形式。
在本实施例中，利用完成训练的CPT-noRef网络模型对待融合的全色与多光谱影像进行融合得到融合结果。
本发明提供的无参考影像的光学遥感空谱融合装置，对多张原始全色影像和多光谱影像进行处理，得到网络训练集；构建融合网络模型和无参考标签的损失函数；根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型；利用所述网络训练集对所述无参考影像的融合网络模型进行训练，得到训练后的所述无参考影像的融合网络模型；将待融合的全色影像和多光谱影像输入至训练后的所述无参考影像的融合网络模型中，得到融合结果。由此可见，本发明通过建立无需使用模拟数据标签的损失函数，使得网络可以同时监督和降低空间与光谱上的损失，在提高融合效果的同时，增强网络的泛化能力。
基于上述实施例的内容，在本实施例中，所述第一处理模块，具体用于：
对多张所述原始全色影像和所述多光谱影像进行几何校正和图像配准，并对所述多光谱影像进行上采样操作；
对处理好的全色影像和上采样多光谱影像进行裁剪，得到网络训练所需要的训练集和测试集。
本实施例所述的无参考影像的光学遥感空谱融合装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行无参考影像的光学遥感空谱融合方法，该方法包括：对多张原始全色影像和多光谱影像进行处理，得到网络训练集；构建融合网络模型和无参考标签的损失函数；根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型；利用所述网络训练集对所述无参考影像的融合网络模型进行训练，得到训练后的所述无参考影像的融合网络模型；将待融合的全色影像和多光谱影像输入至训练后的所述无参考影像的融合网络模型中，得到融合结果。
此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的无参考影像的光学遥感空谱融合方法，该方法包括：对多张原始全色影像和多光谱影像进行处理，得到网络训练集；构建融合网络模型和无参考标签的损失函数；根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型；利用所述网络训练集对所述无参考影像的融合网络模型进行训练，得到训练后的所述无参考影像的融合网络模型；将待融合的全色影像和多光谱影像输入至训练后的所述无参考影像的融合网络模型中，得到融合结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的无参考影像的光学遥感空谱融合方法，该方法包括：对多张原始全色影像和多光谱影像进行处理，得到网络训练集；构建融合网络模型和无参考标签的损失函数；根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型；利用所述网络训练集对所述无参考影像的融合网络模型进行训练，得到训练后的所述无参考影像的融合网络模型；将待融合的全色影像和多光谱影像输入至训练后的所述无参考影像的融合网络模型中，得到融合结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种无参考影像的光学遥感空谱融合方法，其特征在于，包括：
对多张原始全色影像和多光谱影像进行处理，得到网络训练集；
构建融合网络模型和无参考标签的损失函数；
根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型；
利用所述网络训练集对所述无参考影像的融合网络模型进行训练，得到训练后的所述无参考影像的融合网络模型；
将待融合的全色影像和多光谱影像输入至训练后的所述无参考影像的融合网络模型中，得到融合结果；
所述构建融合网络模型，包括：
基于卷积神经网络提取全色影像和多光谱影像的局部特征；
构建用于提取影像全局特征的网络模型，将所述局部特征输入至所述网络模型中，得到影像的融合特征，并通过1×1卷积网络重建融合影像，得到融合网络模型；
所述用于提取影像全局特征的网络模型包括：编码部分和解码部分；
所述将所述局部特征输入至所述网络模型中，得到影像的融合特征，具体包括：
通过所述编码部分，对所述局部特征进行下采样，获取下采样后的特征图像，以及基于所述下采样后的特征图像提取全局特征，以及对所述全局特征进行上采样获取上采样后的特征图像，以及在通道维度上，对所述上采样后的特征图像进行特征合并，获取编码特征；
通过所述解码部分，对所述编码特征进行解码处理，获取影像的融合特征；
所述构建无参考标签的损失函数，包括：
提取所述融合影像的空间特征和光谱特征；
从全色影像中提取参考空间信息，以及从多光谱影像中提取参考光谱信息；
根据所述融合影像的空间特征和所述参考空间信息，得到融合影像的空间损失，以及根据所述融合影像的光谱特征和所述参考光谱信息，得到融合影像的光谱损失；
将所述空间损失和所述光谱损失通过预设的组合规则，生成无参考标签的损失函数；
所述提取所述融合影像的空间特征和光谱特征，具体包括：
通过拉普拉斯滤波提取所述融合影像的空间特征，以及基于所述融合影像的各波段的像元值，提取所述融合影像的光谱特征；
所述从全色影像中提取参考空间信息，以及从多光谱影像中提取参考光谱信息，具体包括：
通过拉普拉斯滤波从所述全色影像中提取参考空间信息，以及基于所述多光谱影像的各波段的像元值，从所述多光谱影像中提取参考光谱信息；
根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型，包括：
利用所述无参考标签的损失函数训练所述融合网络模型，得到无参考影像的融合网络模型；
其中，在训练过程中，通过减少所述无参考标签的损失函数，同时对所述空间损失和所述光谱损失进行监督和控制，使训练结果针对性学习全色影像的空间信息和多光谱影像的光谱信息。
2.根据权利要求1所述的无参考影像的光学遥感空谱融合方法，其特征在于，所述对多张原始全色影像和多光谱影像进行处理，得到网络训练集，包括：
对多张所述原始全色影像和所述多光谱影像进行几何校正和图像配准，并对所述多光谱影像进行上采样操作；
对处理好的全色影像和上采样多光谱影像进行裁剪，得到网络训练所需要的训练集和测试集。
3.一种无参考影像的光学遥感空谱融合装置，其特征在于，包括：
第一处理模块，用于对多张原始全色影像和多光谱影像进行处理，得到网络训练集；
第二处理模块，用于构建融合网络模型和无参考标签的损失函数；
第三处理模块，用于根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型；
第四处理模块，用于利用所述网络训练集对所述无参考影像的融合网络模型进行训练，得到训练后的所述无参考影像的融合网络模型；
第五处理模块，用于将待融合的全色影像和多光谱影像输入至训练后的所述无参考影像的融合网络模型中，得到融合结果；
所述构建融合网络模型，包括：
基于卷积神经网络提取全色影像和多光谱影像的局部特征；
构建用于提取影像全局特征的网络模型，将所述局部特征输入至所述网络模型中，得到影像的融合特征，并通过1×1卷积网络重建融合影像，得到融合网络模型；
所述用于提取影像全局特征的网络模型包括：编码部分和解码部分；
所述将所述局部特征输入至所述网络模型中，得到影像的融合特征，具体包括：
通过所述编码部分，对所述局部特征进行下采样，获取下采样后的特征图像，以及基于所述下采样后的特征图像提取全局特征，以及对所述全局特征进行上采样获取上采样后的特征图像，以及在通道维度上，对所述上采样后的特征图像进行特征合并，获取编码特征；
通过所述解码部分，对所述编码特征进行解码处理，获取影像的融合特征；
所述构建无参考标签的损失函数，包括：
提取所述融合影像的空间特征和光谱特征；
从全色影像中提取参考空间信息，以及从多光谱影像中提取参考光谱信息；
根据所述融合影像的空间特征和所述参考空间信息，得到融合影像的空间损失，以及根据所述融合影像的光谱特征和所述参考光谱信息，得到融合影像的光谱损失；
将所述空间损失和所述光谱损失通过预设的组合规则，生成无参考标签的损失函数；
所述提取所述融合影像的空间特征和光谱特征，具体包括：
通过拉普拉斯滤波提取所述融合影像的空间特征，以及基于所述融合影像的各波段的像元值，提取所述融合影像的光谱特征；
所述从全色影像中提取参考空间信息，以及从多光谱影像中提取参考光谱信息，具体包括：
通过拉普拉斯滤波从所述全色影像中提取参考空间信息，以及基于所述多光谱影像的各波段的像元值，从所述多光谱影像中提取参考光谱信息；
根据所述融合网络模型和所述无参考标签的损失函数，生成无参考影像的融合网络模型，包括：
利用所述无参考标签的损失函数训练所述融合网络模型，得到无参考影像的融合网络模型；
其中，在训练过程中，通过减少所述无参考标签的损失函数，同时对所述空间损失和所述光谱损失进行监督和控制，使训练结果针对性学习全色影像的空间信息和多光谱影像的光谱信息。
4.根据权利要求3所述的无参考影像的光学遥感空谱融合装置，其特征在于，所述第一处理模块，具体用于：
对多张所述原始全色影像和所述多光谱影像进行几何校正和图像配准，并对所述多光谱影像进行上采样操作；
对处理好的全色影像和上采样多光谱影像进行裁剪，得到网络训练所需要的训练集和测试集。
5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1或2所述的无参考影像的光学遥感空谱融合方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1或2所述的无参考影像的光学遥感空谱融合方法的步骤。
7.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或2所述的无参考影像的光学遥感空谱融合方法的步骤。
CN202210082101.2A 2022-01-24 2022-01-24 无参考影像的光学遥感空谱融合方法、装置、设备及介质 Active CN114581347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210082101.2A CN114581347B (zh) 2022-01-24 2022-01-24 无参考影像的光学遥感空谱融合方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210082101.2A CN114581347B (zh) 2022-01-24 2022-01-24 无参考影像的光学遥感空谱融合方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114581347A CN114581347A (zh) 2022-06-03
CN114581347B true CN114581347B (zh) 2024-03-12

Family

ID=81769875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210082101.2A Active CN114581347B (zh) 2022-01-24 2022-01-24 无参考影像的光学遥感空谱融合方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114581347B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115565037B (zh) * 2022-09-14 2023-08-22 中国科学院空天信息创新研究院 图像融合方法及装置
CN117079105B (zh) * 2023-08-04 2024-04-26 中国科学院空天信息创新研究院 遥感图像空谱融合方法、装置、电子设备及存储介质
CN117726915B (zh) * 2024-02-07 2024-05-28 南方海洋科学与工程广东省实验室(广州) 遥感数据空谱融合方法及装置、存储介质与终端

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003282A (zh) * 2018-07-27 2018-12-14 京东方科技集团股份有限公司 一种图像处理的方法、装置及计算机存储介质
CN109410164A (zh) * 2018-11-14 2019-03-01 西北工业大学 多尺度卷积神经网络的卫星全色与多光谱图像融合方法
CN109886345A (zh) * 2019-02-27 2019-06-14 清华大学 基于关系推理的自监督学习模型训练方法和装置
CN109993717A (zh) * 2018-11-14 2019-07-09 重庆邮电大学 一种结合引导滤波和ihs变换的遥感图像融合方法
CN110189282A (zh) * 2019-05-09 2019-08-30 西北工业大学 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法
CN110211035A (zh) * 2019-04-18 2019-09-06 天津中科智能识别产业技术研究院有限公司 融合互信息的深度神经网络的图像超分辨率方法
CN110415199A (zh) * 2019-07-26 2019-11-05 河海大学 基于残差学习的多光谱遥感图像融合方法及装置
CN110930315A (zh) * 2019-10-23 2020-03-27 西北工业大学 基于双通路卷积网络和层次clstm的多光谱图像全色锐化方法
CN112465733A (zh) * 2020-08-31 2021-03-09 长沙理工大学 基于半监督学习的遥感图像融合方法、装置、介质及设备
CN112669248A (zh) * 2020-12-28 2021-04-16 西安电子科技大学 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法
CN112950475A (zh) * 2021-03-05 2021-06-11 北京工业大学 一种基于残差学习及空间变换网络的光场超分辨率重建方法
CN113222835A (zh) * 2021-04-22 2021-08-06 海南大学 基于残差网络的遥感全色和多光谱图像分布式融合方法
CN113344846A (zh) * 2021-04-20 2021-09-03 山东师范大学 基于生成对抗网络和压缩感知的遥感图像融合方法及系统
CN113902646A (zh) * 2021-11-19 2022-01-07 电子科技大学 基于深浅层特征加权融合网络的遥感影像泛锐化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410273B2 (en) * 2019-07-05 2022-08-09 Baidu Usa Llc Systems and methods for multispectral image demosaicking using deep panchromatic image guided residual interpolation
US11481876B2 (en) * 2020-04-08 2022-10-25 Mitsubishi Electric Research Laboratories, Inc. Systems and methods for blind multi-spectral image fusion

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003282A (zh) * 2018-07-27 2018-12-14 京东方科技集团股份有限公司 一种图像处理的方法、装置及计算机存储介质
CN109410164A (zh) * 2018-11-14 2019-03-01 西北工业大学 多尺度卷积神经网络的卫星全色与多光谱图像融合方法
CN109993717A (zh) * 2018-11-14 2019-07-09 重庆邮电大学 一种结合引导滤波和ihs变换的遥感图像融合方法
CN109886345A (zh) * 2019-02-27 2019-06-14 清华大学 基于关系推理的自监督学习模型训练方法和装置
CN110211035A (zh) * 2019-04-18 2019-09-06 天津中科智能识别产业技术研究院有限公司 融合互信息的深度神经网络的图像超分辨率方法
CN110189282A (zh) * 2019-05-09 2019-08-30 西北工业大学 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法
CN110415199A (zh) * 2019-07-26 2019-11-05 河海大学 基于残差学习的多光谱遥感图像融合方法及装置
CN110930315A (zh) * 2019-10-23 2020-03-27 西北工业大学 基于双通路卷积网络和层次clstm的多光谱图像全色锐化方法
CN112465733A (zh) * 2020-08-31 2021-03-09 长沙理工大学 基于半监督学习的遥感图像融合方法、装置、介质及设备
CN112669248A (zh) * 2020-12-28 2021-04-16 西安电子科技大学 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法
CN112950475A (zh) * 2021-03-05 2021-06-11 北京工业大学 一种基于残差学习及空间变换网络的光场超分辨率重建方法
CN113344846A (zh) * 2021-04-20 2021-09-03 山东师范大学 基于生成对抗网络和压缩感知的遥感图像融合方法及系统
CN113222835A (zh) * 2021-04-22 2021-08-06 海南大学 基于残差网络的遥感全色和多光谱图像分布式融合方法
CN113902646A (zh) * 2021-11-19 2022-01-07 电子科技大学 基于深浅层特征加权融合网络的遥感影像泛锐化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Novel Precise Decomposition Method for Infrared and Visible Image Fusion;H. Wei等;2019 Chinese Control Conference (CCC);20190117;第3341-3345页 *
Low-Light Image Enhancement via Pair of Complementary Gamma Functions by Fusion;C. Li等;IEEE Access;20200911;第169887-169896页 *
基于卷积神经网络的多光谱与全色遥感图像融合算法;韩文军等;南京师大学报(自然科学版);第44卷(第03期);123-130 *

Also Published As

Publication number Publication date
CN114581347A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN114581347B (zh) 无参考影像的光学遥感空谱融合方法、装置、设备及介质
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
Sánchez et al. Brain MRI super-resolution using 3D generative adversarial networks
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
Kim et al. Fully deep blind image quality predictor
Zhang et al. One-two-one networks for compression artifacts reduction in remote sensing
CN109146788A (zh) 基于深度学习的超分辨率图像重建方法和装置
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
Ahmed et al. PIQI: perceptual image quality index based on ensemble of Gaussian process regression
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN113344793A (zh) 图像超分辨率重建方法、装置、设备及存储介质
Pan et al. FDPPGAN: remote sensing image fusion based on deep perceptual patchGAN
CN116934592A (zh) 一种基于深度学习的图像拼接方法、系统、设备及介质
Zheng et al. Double-branch dehazing network based on self-calibrated attentional convolution
Wali et al. Recent Progress in Digital Image Restoration Techniques: A Review
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
Liu et al. Arbitrary-scale super-resolution via deep learning: A comprehensive survey
CN116977651A (zh) 一种基于双分支和多尺度特征提取的图像去噪方法
CN115861749A (zh) 一种基于窗口交叉注意力的遥感图像融合方法
CN115511733A (zh) 一种图像退化建模方法、神经网络训练方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant