CN115760814A

CN115760814A - 一种基于双耦合深度神经网络的遥感图像融合方法及系统

Info

Publication number: CN115760814A
Application number: CN202211488453.4A
Authority: CN
Inventors: 张凯; 颜君; 张风; 孙建德; 万文博
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2022-11-25
Filing date: 2022-11-25
Publication date: 2023-03-07

Abstract

本发明提出了一种基于双耦合深度神经网络的遥感图像融合方法及系统，包括：获取高光谱遥感图像和多光谱遥感图像；将所述高光谱遥感图像和多光谱遥感图像输入至双耦合深度神经网络模型中进行图像融合；所述双耦合深度神经网络模型包括空间信息提取模块、光谱信息提取模块、融合模块；通过所述空间信息提取模块从所述多光谱遥感图像中提取空间信息；通过所述光谱信息提取模块从所述高光谱遥感图像中提取光谱信息；通过所述融合模块对所提取的空间信息和光谱信息进行图像融合。能准确地融合空间信息和光谱信息，可用于目标识别、地物分类和环境监测等遥感领域。

Description

一种基于双耦合深度神经网络的遥感图像融合方法及系统

技术领域

本发明属于图像处理相关技术领域，尤其涉及一种基于双耦合深度神经网络的遥感图像融合方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

高光谱成像是一种可以获得数百个不同波长的窄带光谱成像技术，它结合了成像技术和光谱技术，获得的信息不仅包括目标场景的二维空间信息，还包括随波长分布的光谱辐射信息。鉴于其强大的高光谱覆盖率，能够准确识别物体，所以在很多领域都有广泛的应用，如目标检测、环境监测、图像分类、图像分割、国防军事等。然而，在现实中，要同时保证高质量的光谱分辨率和空间分辨率是不现实的，因为在窄光谱带宽的条件下，要获得较高的光谱分辨率就意味着较低的空间分辨率。同样，为了获得合适的信噪比，就必须拓宽光谱带宽，这样就无法获得更大的光谱分辨率，二者相互制约。在遥感系统中，卫星携带的传感器可以获取两种不同的图像，即高光谱图像(HS I)和多光谱图像(MS I)。高光谱图像包含丰富的光谱信息，但相对缺乏空间信息。与此相反，多光谱图像含有丰富的空间信息，但缺乏光谱信息。高光谱图像融合(即高光谱图像和多光谱图像融合)旨在通过结合高光谱图像的光谱信息和多光谱图像的空间信息来生成高分辨率高光谱图像(HR-HS I)，这为缓解上述问题提供了一个很好的解决方案。

HS I和MS I融合的方法大致可以分为基于矩阵分解的方法、基于张量表示的方法、基于全色锐化的方法和基于深度学习的方法这四种。1)基于矩阵分解的方法考虑的是将三维的HS I沿着光谱维度展开，重构为二维矩阵，一个代表空间维度，另一个为波段的数量。通常把得到的矩阵分解为光谱积乘以系数矩阵，往往通过求解相应的优化问题来估计光谱积和系数矩阵，获得对应的空间信息和光谱信息，最终得到融合的HR-HSI。2)与矩阵分解的方法不同，低分辨率高光谱图像(LR-HSI)和高分辨率多光谱图像(HR-MSI)本身就是三维数据，因此可以用三维张量来进行表示，通过这种方式可以保持遥感图像的三维立体结构，对其中的结构信息有一个很好的保留，比较有效的解决了LR-HSI和HR-MSI融合中存在的一些问题。3)基于全色锐化的方法指的是全色图像与多光谱图像融合的方法。全色图像空间分辨率高，但只有一个波段以至于光谱信息相对匮乏。多光谱图像光谱波段较多，光谱信息丰富，但是空间分辨率较低。将两者进行融合的初衷就是利用全色图像较高的空间分辨率以及多光谱图像丰富的光谱信息，实现优势互补，进而得到所需要的融合图像。4)随着近几年来深度学习的发展，利用各种卷积神经网络来进行LR-HSI和HR-MSI融合方法层出不穷，并且表现出了优异的性能。卷积神经网络是数据驱动的，可以通过训练数据有效的学习各种图像特征，以此来进行图像的重构，如UAL、PZRes-Net和SSR-NET。但是现存的方法仍存在光谱和空间信息挖掘不充分的情况，导致融合效果不尽如人意。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于双耦合深度神经网络的遥感图像融合方法及系统，将高光谱图像与多光谱图像置于双耦合网络中进行逐级处理，分别提取光谱信息和空间信息，使得本发明可以获得准确的捕获光谱和空间信息，有利于后续图像处理技术的使用，提高了光谱信息和空间信息的利用率。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：一种基于双耦合深度神经网络的遥感图像融合方法，包括：

获取高光谱遥感图像和多光谱遥感图像；

将所述高光谱遥感图像和多光谱遥感图像输入至双耦合深度神经网络模型中进行图像融合；所述双耦合深度神经网络模型包括空间信息提取模块、光谱信息提取模块、融合模块；

通过所述空间信息提取模块从所述多光谱遥感图像中提取空间信息；

通过所述光谱信息提取模块从所述高光谱遥感图像中提取光谱信息；

通过所述融合模块对所提取的空间信息和光谱信息进行图像融合。

本发明的第二个方面提供一种基于双耦合深度神经网络的遥感图像融合系统，包括：

图像获取模块：获取高光谱遥感图像和多光谱遥感图像；

融合输出模块：将所述高光谱遥感图像和多光谱遥感图像输入至双耦合深度神经网络模型中进行图像融合；所述双耦合深度神经网络模型包括空间信息提取模块、光谱信息提取模块、融合模块；

本发明的第三个方面提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。

本发明的第四个方面提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。

以上一个或多个技术方案存在以下有益效果：

本发明将高光谱图像与多光谱图像置于双耦合网络中进行逐级处理，分别提取光谱信息和空间信息，使得本发明可以获得准确的捕获光谱和空间信息，有利于后续图像处理技术的使用，提高了光谱信息和空间信息的利用率。

在本发明中，不同分辨率图像之间的学习或训练过程中应该有互动或者交流，从而使得学习到的特征更加具有互补性。通过融合模块达到了上述的目的，该模块将提取的光谱和空间信息进行互补，通过细化模块和自适应模块进一步加强，使重建的高分辨率高光谱图像包含更多细节、纹理和颜色信息。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例一中的实现流程图；

图2为本发明实施例一中空间信息提取模块的网络细节图；

图3为本发明实施例一中光谱信息提取模块的网络细节图；

图4为本发明实施例一中融合模块的网络细节图；

图5为本发明实施例一中细化模块的网络细节图；

图6为本发明实施例一中自适应模块的网络细节图；

图7为本发明实施例一中通道维度上采样模块的网络细节图；

图8为用本发明实施例一中对低分辨率高光谱图像和高分辨率多光谱图像融合的结果对比图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

如图1所示，本实施例公开了一种基于双耦合深度神经网络的遥感图像融合方法，包括：

获取高光谱遥感图像和多光谱遥感图像；

在本实施例中，数据集采用包含32个室内场景的CAVE数据集，根据需要裁剪为所需要的大小，低分辨率高光谱图像LR-HSI Y∈R^64×64×31和高分辨率多光谱图像HR-MSI X∈R^256×256×3。

使用Bicubic插值的方法进行四倍上采样将低分辨率高光谱图像上采样到与高分辨率多光谱图像相同的大小，即低分辨率高光谱图像LR-HSI Y∈R^256×256×64，高分辨率多光谱图像HR-MSI X∈R^256×256×64，形成成对的训练数据。

将四倍上采样的低分辨率高光谱图像和高分辨率多光谱图像输入双耦合网络模型，首先经过卷积操作将两者提升至相同的维度，LR-HSIY∈R^256×256×64和HR-MSI X∈R²⁵⁶ ^×256×64。

在本实例中，双耦合网络模型包括空间信息提取模块、光谱信息提取模块、融合模块、细化模块、自适应模块和通道维度上采样模块。

如图2所示，在本实施例空间信息提取模块(SPA-IEM)中，HR-MSI中的空间信息很丰富，因此从HR-MSI中使用空间图卷积来获取其特征。在进行特征提取之前应用一个卷积核为3×3，步长为1的卷积操作将通道由3提升至64。

空间信息提取模块主要由两部分组成：高频空间信息提取模块和低频空间信息提取模块。

在高频空间信息提取模块中，首先把输入分别经过一个卷积核为3×3，步长为1的卷积操作，将多光谱遥感输入图像转化为两个独立的表示，分别为第一特征表示和第二特征表示，高频空间信息提取模块包括两个分支，一个分支用于构建图连接，另一个分支被设计为图节点。在构建第一空间图连接的过程中，把经过卷积操作之后的第一特征表示进行展开，获得N个整齐排列的图像块，接下来将得到的图像块平铺成第一特征向量A₁∈R^N ^×65536，并且令第一特征向量与其转置相乘，这样通过点乘可以有效地计算出成对的相似度，得到一个第一相似度矩阵L_1H∈R^N×N，并通过softmax函数计算出相应的权重，即可得到图连接。构建第一空间图节点的时候要把得到的第二特征表示依次经过卷积核为2×2，步长为2的卷积操作、LeakyRelu和一个卷积核为2×2，步长为2的反卷积操作，接着也要通过展开操作来获得N个整齐排列的图像块，并于另一分支得到的对应权重进行相乘，逐图像块进行图卷积。最后，将相乘之后的结果再进行聚合操作即可实现高频空间信息的提取，其中聚合操作也可称之为展开操作的逆操作，得到X_H∈R^256×256×64。

在低频空间信息提取模块中，首先把输入X_H∈R^256×256×64分别经过一个卷积核为3×3，步长为1的卷积操作，转化为两个独立的表示，分别为第三特征表示和第四特征表示。低频空间信息提取模块仍然使用与高频空间信息提取模块中相同的构建图连接的方法，第二空间图连接的构建：把经过卷积操作之后的第三特征表示进行展开，获得N个整齐排列的图像块，接下来将得到的图像块平铺成第二特征向量A₂∈R^N×65536，并且令第二特征向量与其转置相乘，这样通过点乘可以有效地计算出成对的相似度，得到第二相似度矩阵L_1L∈R^N ^×N，并通过softmax函数计算出相应的权重，即可得到图连接。区别在与构建图节点的时候不需要进行卷积与反卷积操作，而是直接将得到的表示经过展开操作来获得N个整齐排列的图像块，并将图像块平铺成第三特征向量A₃∈R^N×65536，得到第二空间图节点，接下来把得到的第二空间图节点与构建好的第二空间图连接相乘，逐像素进行图卷积，随后把相乘得到的结果再经过聚合操作即可获得低频空间信息X_L∈R^256×256×64。最后，将提取到的空间信息X_L经过卷积核为3×3，步长为1的卷积操作进行输出，即可得到F_spa∈R^256×256×64。

如图3所示，在本实施例光谱信息提取模块(SPE-IEM)中，LR-HSI中的光谱信息丰富，因此对LR-HIS使用光谱图卷积来提取其特征。在进行特征提取之前应用一个卷积核为3×3，步长为1的卷积操作将通道由31提升至64。光谱信息提取模块主要由两部分组成：高频光谱信息提取模块和低频光谱信息提取模块。

与构建空间图相比，构建光谱图采取了不同的方法，但是光谱图的构造也分为构造图连接和图节点。首先对于高频光谱信息提取模块，要把输入的高光谱遥感图像LR-HSIY∈R^256×256×64分别作为两个独立的表示，分别是第五特征表示和第六特征表示。一个分支通过卷积序列来获得第一光谱图节点，第五特征表示依次为卷积核为3×3，步长为1的卷积操作、卷积核为1×1，步长为1的卷积操作、LeakyRelu和卷积核为1×1，步长为1的卷积操作，获得第一光谱图节点。另一个分支中，第六特征表示经过平均池化操作，并将平均池化的结果与其转置进行相乘，获得第三相似度矩阵L_2H∈R^N×N，并通过softmax函数计算出相应的权重来作为第一光谱图连接，并与上一分支得到的第一光谱图节点相乘，逐图像块进行图卷积。即可得到光谱高频信息Y_H∈R^256×256×64。

低频光谱信息提取模块采取与高频光谱信息提取模块中相同的方式来提取光谱低频信息。首先将输入Y_H∈R^256×256×64分别作为两个独立的表示，分别为第七特征表示和第八特征表示，第八特征表示经过平均池化操作，将平均池化的结果与其转置进行相乘，得到第四相似度矩阵L_2L∈R^N×N，接下来通过softmax函数计算出相应的权重，得到第二光谱图连接。唯一的区别是构造光谱图节点的分支不需要经过卷积序列，而是将第七特征表示直接通过reshape操作直接作为第二光谱图节点，与构建好的第二光谱图连接进行相乘，逐像素进行图卷积，即可获得光谱低频信息Y_L∈R^256×256×64。最后，将Y_L经过reshape操作后进行输出，即可得到提取的光谱信息F_spe∈R^256×256×64。

如图4所示，在本实施例融合模块(CFM)中，为了将获得的空间和光谱信息充分的融合，所以将0.5倍的F_spe和0.5倍F_spa进行相加，并且通过引入偏置b来均衡信息的融合，得到粗糙的高分辨率高光谱图像HR-HSI F_coarse∈R^256×256×64。

在重建过程中，空间和光谱信息不可避免地会丢失，这使得融合的效果变差。为了弥补融合过程中的信息损失，本实例设计了细化模块来解决这个问题。融合模块与细化模块是前后相连的，融合模块的输出即为细化模块的输入，具体过程是将输入先分为两个分支，然后分别依次通过卷积核为3×3，步长为1的卷积操作和LeakyRelu，将两个分支的输出分别与原LR-HSI和原HR-MSI进行求差，找出丢失的信息，然后将其相加，然后通过卷积核为3×3，步长为1的卷积操作和LeakyRelu输出。最后，利用跳跃连接引入前一阶段的融合结果F_coarse，并与得到的输出相加，这样就得到了细化后的结果F_R∈R^256×256×64。

如图5所示，本实施例的自适应模块(AM)通过设计映射块和自引导块来细化图像的具体细节，并且只包含少量的参数，有效避免了过度拟合，大大降低了计算量。我们将所有阶段细化模块的输出进行堆叠操作，随后通过卷积核为3×3，步长为1的卷积操作和LeakyRelu后输出，表示为F_CR，并把得到的输出F_CR作为AM的输入。映射块的功能通过以下方式实现，将输入F_CR依次通过卷积核为3×3，步长为1的卷积操作、Relu、卷积核为3×3，步长为1的卷积操作、Relu、卷积核为3×3，步长为1的卷积操作。随后将映射块得到的输出送入三个分支，第一个分支依次经过Relu和卷积核为3×3，步长为1的卷积操作；第二个分支依次经过Relu、卷积核为3×3，步长为1的卷积操作和Sigmoid函数；第三个分支不做处理。首先，把第一个分支的输出与第二个分支的输出相乘之后再与第一个分支的输出求差；其次，把第二个分支的输出和第三个分支的输出相乘；将上述两者的输出结果相加之后作为输出，作为引导块；最后，通过跳跃连接引入F_CR并与得到的输出相加之后得到细化的HR-HSIF_A∈R^256×256×64。

如图7所示，在本实施例通道维度上采样模块(CAM)中，为了进一步利用HR-MSI中的信息，在得到的F_A∈R^256×256×64的基础上还需要再一次引入空间和光谱信息。在通道维度上进行上采样。主要包括两个分支，一个分支将原始的HR-MSI X∈R^256×256×3重构成矩阵M∈R^65536×3并与退化矩阵S∈R^31×3的转置进行相乘，其中退化矩阵是提前给定的，为已知量。另一个分支在退化矩阵与退化矩阵的转置进行相乘之后，为了防止矩阵的逆不存在，再加上0.001倍的单位矩阵，在此基础上再进行求逆操作，最后，将两个分支进行相乘，重构后得到处理后的结果F_C∈R^256×256×31。光谱信息是通过直接四倍上采样之后的LR-HSI Y∈R^256×256×31引入的，随后将AM模块的输出F_A通过卷积核为3×3，步长为1的卷积操作重构为F_A∈R²⁵⁶ ^×256×31，并且给四倍上采样后的LR-HSI Y∈R^256×256×64和CAM的输出F_C∈R^256×256×31都乘以相同的系数0.5，最后把得到的三者相加即可得到重构结果F∈R^256×256×31。

在本实施例中，对双耦合神经网络模型进行训练，将低分辨率高光谱图像LR-HSI和高分辨率多光谱图像HR-MSI进行融合，得到高质量的高分辨率高光谱图像HR-HSI。融合得到高分辨率高光谱图像HR-HSI F∈R^256×256×31：输入低分辨率高光谱图像LR-HSI Y∈R⁶⁴ ^×64×31和高分辨率多光谱图像HR-MSI X∈R^256×256×3，首先用Bicubic插值对LR-HSI进行四倍的上采样，得到图像Y∈R^256×256×31，接着将LR-HSI Y∈R^256×256×31和HR-MSI X∈R^256×256×3提升到相同的维度，即LR-HSI Y∈R^256×256×64和HR-MSI X∈R^256×256×64，接下来将其分别输入光谱信息提取模块和空间信息提取模块，经过光谱高频信息提取模块和空间高频信息提取模块得到Y_H∈R^256×256×64和X_H∈R^256×256×64，然后将两者再分别送入光谱低频信息提取模块和空间低频信息提取模块得到Y_L∈R^256×256×64和X_L∈R^256×256×64，接下来将输出的两个结果F_spe∈R²⁵⁶ ^×256×64和F_spa∈R^256×256×64当作融合模块的输入，即可得到粗糙的融合结果F_coarse∈R²⁵⁶ ^×256×64。在得到初步的融合结果之后，为了弥补信息丢失，将得到的结果作为细化模块的输入，经过处理得到的输出为F_R∈R^256×256×64，为了进行更好的特征提取，本文将上述过程进行三次迭代，使光谱和空间信息得到充分挖掘。将迭代之后的结果经过堆叠之后输入自适应模块，通过其中的映射块和自引导块进一步细化图像细节，输出结果为F_A∈R^256×256×64。最后将F_A调整到与目标HR-HSI相同的大小，为F_A∈R^256×256×31，并且与通道维度上采样模块的结果F_C∈R^256×256×31和上采样LR-HSI后的结果Y∈R^256×256×31进行相加即可得到期望的HR-HSI：

F＝F_A+0.5F_c+0.5Y (1)

本实施例中双耦合神经网络模型的损失函数为L1Loss：

其中，Z∈R^256×256×31为参考高分辨率高光谱图像HR-HSI，F∈R^256×256×31为融合得到的高分辨率高光谱图像HR-HSI。

本实施例的方案的仿真环境：PyCharm Community Edition 2022.1.2x64，NVIDIAGEFORCE RTX3090，Ubuntu 18.04。

本实施例的仿真内容：仿真1：本发明包含32个室内场景的CAVE数据集，将低分辨率高光谱图像和高分辨率多光谱图像进行融合，结果如图3所示，其中：

图8(a)是低分辨率高光谱图像，大小为64×64×31，

图8(b)是高频分辨率多光谱图像，大小为256×256×3，

图8(c)是Ground-Truth，即融合结果的参考图像，大小为256×256×31

图8(d)为采用本发明对图8(a)和图8(b)进行融合后获得的高分辨率高光谱图像，大小为256×256×31。

由图8可见，图8(d)的空间细节信息相比于图8(a)有明显提高，图像的边缘和纹理更加清晰，与图8(b)相比，图8(d)的色彩信息更加丰富，由此可见，本发明能够对图8(a)和图8(b)进行较好的融合。

仿真2：为了证明本发明的效果，分别用本发明的方法和现有的CNMF、HySure、FUSE、ICCV15方法和其他的深度神经网络方法PZRes-Net、SSR-NET、UAL和UDALN方法对图8(a)和图8(b)的图像进行融合，并对融合结果进行客观指标评价，评价指标如下：

1)峰值信噪比PSNR，可以以波段为单位评价重建的HR-HSI的空间质量，PSNR最小值为0，PSNR越大，两张图像差异越小，表示融合结果与参考图像越相似。

2)光谱角制图SAM，通常用于评估每个像素处的光谱信息保存程度，越接近0，融合结果越好。

3)相对全局无量纲误差ERGAS，它是专门为评估高分辨率合成图像的质量而设计的，它测量了估计的HR-HSI的全局统计质量，数值越小表示融合结果越好。

4)平均结构相似性MSSIM，是衡量两幅图像相似度的指标，MSSIM的取值范围是[0,1]，当两张图像越相似时，则MSSIM越接近1。

5)通用质量评价指数UIQI，表示融合图像与参考图像的接近程度，越接近1，融合结果越好。

根据上述评价指标对本发明与现有技术的融合结果从客观评价指标上进行评价，结果如表1。

表1.各类方法融合结果的客观评价

由表1可见，本发明的峰值信噪比PSNR、平均结构相似性MSSIM和通用质量评价指数UIQI均大于现有技术的评价值，光谱角制图SAM和相对全局无量纲误差ERGAS均小于现有技术的评价值，以上评价值均优于现有技术的评价值，由此可以看出本发明的大部分客观评价指标均优于现有技术的客观评价指标。

实施例二

本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

实施例三

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。

实施例四

本实施例的目的是提供一种基于双耦合深度神经网络的遥感图像融合系统，包括：

图像获取模块：获取高光谱遥感图像和多光谱遥感图像；

以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种基于双耦合深度神经网络的遥感图像融合方法，其特征在于，包括：

获取高光谱遥感图像和多光谱遥感图像；

2.如权利要求1所述的一种基于双耦合深度神经网络的遥感图像融合方法，其特征在于，还包括对所述高光谱遥感图像进行上采样操作，使其与所述多光谱遥感图像尺寸相同。

3.如权利要求1所述的一种基于双耦合深度神经网络的遥感图像融合方法，其特征在于，所述空间信息提取模块包括高频空间信息提取模块和低频信息空间提取模块，对输入的多光谱遥感图像进行卷积操作转换为第一特征表示和第二特征表示，在所述高频空间信息提取模块中，具体为：

将所述第一特征表示展开并平铺成第一特征向量，将第一特征向量与其转置相乘，得到第一相似矩阵并通过softmax函数计算对应权重，得到第一空间图连接；

将所述第二特征表示依次经过2×2卷积操作、LeakyRelu激活函数、2×2反卷积操作后将得到的特征表示展开得到第一空间图节点，第一空间图节点并与第一空间图连接相乘后通过聚合操作得到高频空间信息；

或，在所述低频空间信息提取模块中，将高频空间信息提取模块的输出的高频空间信息进行卷积操作转换为第三特征表示和第四特征表示，具体为：

将所述第三特征表示展开并平铺成第二特征向量，将第二特征向量与其转置相乘，得到第二相似矩阵并通过softmax函数计算对应权重，得到第二空间图连接；

将所述第四特征表示展开并平铺成第二特征向量得到第二图节点，第二图节点与第二空间图节点相乘后通过聚合操作得到低频空间信息。

4.如权利要求1所述的一种基于双耦合深度神经网络的遥感图像融合方法，其特征在于，通过所述光谱信息提取模块从所述高光谱遥感图像中提取光谱信息，所述光谱信息提取模块包括高频光谱信息提取模块和低频光谱信息提取模块，对输入的高光谱遥感图像分为独立的第五特征表示和第六特征表示，在所述高频光谱信息提取模块，具体为：

将第五特征表示依次经过3×3卷积操作、1×1卷积操作、LeakyRelu、1×1卷积操作，获得第一光谱图节点；

将第六特征表示分别经过平均池化操作，将经过平均池化操作后的结果转置相乘，获得第三相似矩阵，通过softmax函数计算所获得相似矩阵的权重作为第一光谱图连接，将所述第一光谱图连接与所述第一光谱图节点相乘，得到高频光谱信息；

或，在所述低频光谱信息提取模块中，将高频光谱信息提取模块的输出的高频光谱信息分为独立的第七特征表示和第八特征表示，具体为：

将第七特征表示通过reshape操作获得第二光谱图节点；

将第八特征表示分别经过平均池化操作，将经过平均池化操作后的结果转置相乘，获得第四相似矩阵，通过softmax函数计算所获得相似矩阵的权重作为第二光谱图连接；

将所述第二光谱图连接与所述第二光谱图节点相乘得到光谱低频信息。

5.如权利要求1所述的一种基于双耦合深度神经网络的遥感图像融合方法，其特征在于，将所提取的空间信息与所提取的光谱信息分别乘以系数后相加，并引入偏置均衡信息的融合，得到高分辨率高光谱图像。

6.如权利要求5所述的一种基于双耦合深度神经网络的遥感图像融合方法，其特征在于，还包括细化模块，在所述细化模块中，具体为：将所述高分辨率高光谱图像经过卷积和LeakyRelu操作后分为两支，并分别与多光谱遥感图像、高光谱遥感图像求差，将求差后的结果相加后经过卷积操作和LeakyRelu输出，利用跳跃连接将所得到的输出结果与所述高分辨率高光谱图像相加输出。

7.如权利要求6所述的一种基于双耦合深度神经网络的遥感图像融合方法，其特征在于，还包括自适应模块，所述自适应模块的输入为所述细化模块的输出，在所述自适应模块中具体为：

将自适应模块的输入首先经过映射块，将映射块的输出作为引导块的输入，引导块包括经过三个分支，第一分支依次包括Relu和3×3卷积；第二分支依次包括顺序连接的Relu、3×3卷积、Sigmoid函数；

把第一个分支的输出与第二个分支的输出相乘之后再与第一个分支的输出求差；

把第二个分支的输出和第三个分支的输出相乘；

将上述得到的两个结果相加后输出；

通过跳跃连接将映射块的输入与引导块的输出相加得到自适应模块的输出；

或，还包括通道维度上采样模块，所述通道维度上采样模块包括两个分支，一个分支将自适应模块的输出重构成矩阵M与退化矩阵S的转置相乘；另一分支将退化矩阵与退化矩阵的转置进行相乘之后，再与0.001倍的单位矩阵相加，再进行求逆操作；将两个分支的输出相加，得到通道维度上采样模块的输出。

8.一种基于双耦合深度神经网络的遥感图像融合系统，其特征在于，包括：

图像获取模块：获取高光谱遥感图像和多光谱遥感图像；

9.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种基于双耦合深度神经网络的遥感图像融合方法中的步骤。

10.一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种基于双耦合深度神经网络的遥感图像融合方法中的步骤。