CN113066037A - 基于图注意力机制的多光谱与全色图像融合方法及系统 - Google Patents
基于图注意力机制的多光谱与全色图像融合方法及系统 Download PDFInfo
- Publication number
- CN113066037A CN113066037A CN202110347974.7A CN202110347974A CN113066037A CN 113066037 A CN113066037 A CN 113066037A CN 202110347974 A CN202110347974 A CN 202110347974A CN 113066037 A CN113066037 A CN 113066037A
- Authority
- CN
- China
- Prior art keywords
- image
- multispectral
- panchromatic
- neural network
- spatial resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000003062 neural network model Methods 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000013528 artificial neural network Methods 0.000 description 19
- 230000003595 spectral effect Effects 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10041—Panchromatic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术中遥感图像融合领域，提供了一种基于图注意力机制的多光谱与全色图像融合方法及系统，该方法包括：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；将多光谱图像特征图和全色图像特征图输入深度神经网络模型；采用训练样本集和Adam随机梯度下降算法对深度神经网络模型进行训练，基于损失函数优化深度神经网络模型，得到训练好的深度神经网络模型；将待融合的低分辨率的多光谱图像和高空间分辨率的全色图像输入训练好的深度神经网络模型，输出融合后的高空间分辨率的多光谱图像。
Description
技术领域
本发明属于图像处理技术中遥感图像融合领域，尤其涉及一种基于图注意力机制的多光谱与全色图像融合方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
由于卫星传感器技术的限制，同一传感器不能同时获取具有高空间分辨率和高光谱分辨率的卫星图像。现在卫星通过两种传感器采集具有较高的空间分辨率全色图像和具有较高的光谱分辨率多光谱图像，通过提取全色图像的空间细节信息并将其注入到多光谱图像中来提高多光谱图像的空间分辨率，来获取同时具有高空间分辨率和高光谱分辨率的图像。
目前，多光谱图像与全色图像融合技术主要可以分为四类：1)成分替换(component substitution methods，CS)方法；该类方法通过IHS变换或主成分分析技术，将多光谱图像转换到不同的色彩空间或不同主成分，然后用全色图像替换I通道或第一主成分，最后通过相应的逆变换来获取具有高空间分辨率的多光谱图像。该类方法能较好的提高多光谱图像的空间分辨率，但同时也会造成一定的光谱失真。2)多分辨率分析(multiresolution analysis methods，MRA)方法；该类方法利用小波变换、拉普拉斯金字塔、非下采样的contourlets变换等手段提取全色图像的空间细节，并将其注入到多光谱图像中。该类方法能较好的保存多光谱图像的光谱特性，但对其空间分辨率的提升效果有限，且时间开销较大。3)基于退化模型(degradation model based methods，DM)的方法；该类方法将多光谱图像视为理想的高分辨率多光谱图像的退化图像。利用全色图像的空间细节信息，依靠马尔科夫随机场、自回归模型等技术重建出高分辨率的多光谱图像。但该类方法存在构建重建模型难度大，改进空间有限等问题。4)基于深度神经网络(deep neuralnetwork based methods，DNN)的方法；使用深度神经网络学习图像的光谱和空间细节，获得了更好的融合性能，但仍有一个问题需要考虑：现有技术中没有考虑到多光谱图像和全色图像特征图之间的相关性的问题，忽略了多光谱图像与全色图像之间可能会具有的互补性特征。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于图注意力机制的多光谱与全色图像融合方法及系统，其通过深度神经网络计算低空间分辨率的多光谱图像和高空间分辨率的全色图像之间的相关性，并重新分配每个特征图中样本的权重，经过一个重建网络来获得高空间分辨率的融合图像。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于图注意力机制的多光谱与全色图像融合方法。
基于图注意力机制的多光谱与全色图像融合方法，包括：
获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；
将多光谱图像特征图和全色图像特征图输入深度神经网络模型；
采用训练样本集和Adam随机梯度下降算法对深度神经网络模型进行训练，基于损失函数优化深度神经网络模型，得到训练好的深度神经网络模型；
将待融合的低分辨率的多光谱图像和高空间分辨率的全色图像输入训练好的深度神经网络模型，输出融合后的高空间分辨率的多光谱图像。
本发明的第二个方面提供一种基于图注意力机制的多光谱与全色图像融合系统。
基于图注意力机制的多光谱与全色图像融合系统，包括：
采集模块，其被配置为：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；
模型构建模块，其被配置为：将多光谱图像特征图和全色图像特征图输入深度神经网络模型；
模型优化模块，其被配置为：采用训练样本集和Adam随机梯度下降算法对深度神经网络模型进行训练，基于损失函数优化深度神经网络模型，得到训练好的深度神经网络模型；
输出模块，其被配置为：将待融合的低分辨率的多光谱图像和高空间分辨率的全色图像输入训练好的深度神经网络模型，输出融合后的高空间分辨率的多光谱图像。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于图注意力机制的多光谱与全色图像融合方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于图注意力机制的多光谱与全色图像融合方法中的步骤。
与现有技术相比，本发明的有益效果是：
1、本发明能获得准确的空间和光谱信息，可用于目标识别、地物分类和环境监测等遥感领域。
2、多光谱图像和全色图像之间在学习或训练过程中应该有互动或者交流，从而使得学习到的特征更加具有互补性。通过注意力机制的引入强调了多光谱图像和全色图像特征图之间的相关性，使得之前简单的串联更加合理。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例中基于图注意力机制的多光谱与全色图像融合方法的流程图；
图2是本发明实施例中基于图注意力机制的多光谱与全色图像融合方法的结构图；
图3(a)是本发明实施例中的低空间分辨率的多光谱图像；
图3(b)是本发明实施例中的高空间分辨率的全色图像；
图3(c)是本发明实施例中的一幅参考图像；
图3(d)是本发明实施例中采用本发明对图3(a)和图3(b)进行融合后获得的高空间分辨率的多光谱图像。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本实施例提供了一种基于图注意力机制的多光谱与全色图像融合方法，构建深度神经网络，包括一条用于输入多光谱图像的分支网络和一条用于输入全色图像的分支网络，将两条分支网络提取出的特征进行堆叠后,利用图卷积注意力机制计算特征图之间的相关性，重新分配每个特征图中样本的权重，经过一个重建网络来获得高空间分辨率的融合图像。
本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：
基于图注意力机制的多光谱与全色图像融合方法，包括：
S101：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；
其中，采用双线性插值方法，将低分辨率的多光谱图像上采样为高空间分辨率的全色图像的大小。
S102：将多光谱图像特征图和全色图像特征图输入深度神经网络模型；
具体的，将低空间分辨率的多光谱图像输入到构建的深度神经网络模型，得到多光谱图像特征图；同时将高空间分辨率的全色图像输入到构建的深度神经网络模型，得到全色图像特征图。
S103：采用训练样本集和Adam随机梯度下降算法对深度神经网络模型进行训练，基于损失函数优化深度神经网络模型，得到训练好的深度神经网络模型；
其中训练集的具体为：基于高空间分辨率的全色图像和上采样处理的低分辨率的多光谱图像，构建训练样本集；其中每个训练样本，包括：一个高空间分辨率的全色图像和一个上采样处理的低分辨率的多光谱图像。
具体的，训练过程为：将多光谱图像特征图与全色图像特征图进行堆叠处理，得到第一特征图；基于第一特征图提取多通道的第二特征图，基于第二特征图构造无向万全图，采用图注意力机制算法计算无向万全图各个通道的权重；基于各个通道的权重数值与第一特征图相结合，重建卷积网络，得到第三特征图；将第三特征图与第一特征图相加得到第四特征图；对第四特征图进行卷积处理，输出融合后的高空间分辨率的多光谱图像。
S104：将待融合的低分辨率的多光谱图像和高空间分辨率的全色图像输入训练好的深度神经网络模型，输出融合后的高空间分辨率的多光谱图像。
示例的，本申请技术方案具体的实现过程如下：
作为一种实施方式，本发明中使用的是8.0米的低空间分辨率多光谱图像和2.0米的高空间分辨率全色图像，但并不局限于8.0米的低空间分辨率多光谱图像和2.0米的高空间分辨率全色图像。
(1)输入图像：
分别输入低空间分辨率的多光谱图像m和高空间分辨率的全色图像p，并将低分辨率多光谱图像上采样为全色图像大小，获得成对的训练数据。
(2)构建深度神经网络：
通过构建含有多个卷积模块的深度神经网络来对全色与多光谱图像的特征进行提取,最后将提取出的特征进行融合获得融合后的图像。本发明提出的深度神经网络中,每个卷积模块包含一个卷积核大小3×3×32的卷积层。
(2a)多光谱图像经过两个卷积模块得到特征图m'，全色图像经过两个卷积模块得到特征图p'。
(2b)特征图m'和p'堆叠得到特征图x。
(2c)依次从x的第2、3个维度提取
n为通道数或滤波器数。再对xi求均值得到
将xi当做节点。构造一个无向完全图G，节点表示为X＝{xi}。图G中边的权重通过下式计算：
其中，h和w表示特征图的高和宽，sij表示节点xi和xj之间的边权重矩阵。然后，将sij馈送到Softmax层，得到归一化的注意力分数，使用以下公式：aij＝σ(sij)
其中，σ表示Softmax函数，aij表示归一化的注意力分数。然后将归一化的注意力分数aij与x中的特征图相结合，结合方式为：
(2d)将所有x'i依次排列得到x'，然后将x'与特征图x相加，得到特征图fus。
(2e)将(2d)中得到的特征图fus经过一个卷积模块得到最后的融合结果h。
(3)构建目标方程：
其中，k表示样本数目，y表示作为参考的高分辨率多光谱图像，m和p表示输入的低分辨率多光谱图像和高分辨率全色图像，f表示深度神经网络运算的过程。
(4)训练和测试：
利用步骤(1)所得训练样本,采用随机梯度下降算法对深度神经网络进行训练,得到训练完成的深度神经网络。将待融合的全色图像与多光谱图像,输入到训练完成的深度神经网络中，得到融合后的高空间分辨率的多光谱图像。
实施例二
本实施例提供了一种基于图注意力机制的多光谱与全色图像融合系统。
基于图注意力机制的多光谱与全色图像融合系统，包括：
采集模块，其被配置为：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；
模型构建模块，其被配置为：将多光谱图像特征图和全色图像特征图输入深度神经网络模型；
模型优化模块，其被配置为：采用训练样本集和Adam随机梯度下降算法对深度神经网络模型进行训练，基于损失函数优化深度神经网络模型，得到训练好的深度神经网络模型；
输出模块，其被配置为：将待融合的低分辨率的多光谱图像和高空间分辨率的全色图像输入训练好的深度神经网络模型，输出融合后的高空间分辨率的多光谱图像。
为了进一步证明本实施例的技术方案，通过一个具体例子进行详细描述。
本发明实施例中，采用GeoEye-1卫星于2009年2月在澳大利亚霍巴特地区拍摄的低空间分辨率的多光谱和高空间分辨率的全色图像，低空间分辨率的多光谱图像大小为64×64×4，空间分辨率为8.0m，高空间分辨率的全色图像大小为256×256，空间分辨率为2.0m。
步骤1：输入图像。
分别输入低空间分辨率的多光谱图像m和高空间分辨率的全色图像p。
使用双线性插值方法，将低分辨率的多光谱图像上采样为全色图像大小，为256×256×4，获得成对的训练数据。
步骤2：构建深度神经网络：
通过构建含有多个卷积模块的深度神经网络来对全色与多光谱图像的特征进行提取，最后将提取出的特征进行融合获得融合后的图像。本发明提出的深度神经网络中，每个卷积模块包含一个卷积核大小3×3，数量为32的卷积层。
如图2中所示，
步骤2a：多光谱图像经过两个卷积模块得到特征图m'，大小为32×256×256。全色图像经过两个卷积模块得到特征图p'，大小为32×256×256。
步骤2b：特征图m'和p'堆叠得到特征图x，大小为64×256×256。
步骤2c：依次从x的第2、3个维度提取
n为通道数或滤波器数，大小为64×65536。再对xi求均值得到
大小为64×1，将xi当做节点。构造一个无向完全图G，大小为64×64，节点表示为X＝{xi}。图G中边的权重通过下式计算：
其中，h和w表示特征图的高和宽，sij表示结点xi和xj之间的边权重矩阵。
然后，我们将sij馈送到Softmax层，得到归一化的注意力分数，使用以下公式：
aij＝σ(sij)
其中，σ表示Softmax函数，aij表示归一化的注意力分数。然后将归一化的注意力分数aij与x中的特征图相结合，结合方式为：
步骤2d：将所有x'i依次排列得到x'，然后将x'与特征图x相加，得到特征图fus。
步骤2e：将步骤2d中得到的特征图fus经过一个卷积模块得到最后的融合结果h。
步骤3：利用步骤1中生成的训练样本与Adam随机梯度下降算法对网络进行训练，损失函数为:
其中，k表示样本数目，y表示作为参考的高分辨率多光谱图像，m和p表示输入的低分辨率多光谱图像和高分辨率全色图像，f表示深度神经网络运算的过程。
步骤4：利用步骤1所得训练样本，采用随机梯度下降算法对深度神经网络进行训练，得到训练完成的深度神经网络。将待融合的全色图像与多光谱图像，输入到训练完成的深度神经网络中，得到融合后的高空间分辨率的多光谱图像。即可得到高空间分辨率的多光谱图像大小256×256×4，空间分辨率为2.0m。
本实施例的效果可以通过以下仿真进一步说明。
1.仿真环境：
PyCharm Community Edition 2020.2.3 x64，NVIDIA 2080Ti GPU,Ubuntu16.04。
2.仿真内容：
仿真1，用本发明对GeoEye-1卫星于2009年2月在澳大利亚霍巴特地区拍摄的低空间分辨率的多光谱和高空间分辨率的全色图像进行融合，结果如图2所示，其中：
图3(a)是低空间分辨率的多光谱图像，大小为64×64×4，
图3(b)是高空间分辨率的全色图像，大小为256×256，
图3(c)是一幅参考图像，大小为256×256×4，
图3(d)为采用本发明对图3(a)和图3(b)进行融合后获得的高空间分辨率的多光谱图像，大小为256×256×4。
由图3(a)-图3(b)可见，图3(d)的空间纹理信息相比于图3(a)有明显提高，道路与建筑物等边缘清晰，与图3(b)相比，图3(d)的光谱信息更加丰富，由此可见，本发明能够对图3(a)和图3(b)进行较好的融合。
仿真2，为了证明本发明的效果，分别用本发明的方法和现有技术BDSD变换法、AWLP变换法、Indusion变换法、SVT变换法、VPLGC变换法和其他的深度神经网络方法PNN方法、PanNet方法对图3(a)和图3(b)的待融合图像进行融合，并对融合结果进行客观指标评价，评价指标如下：
1)相关系数CC，表示光谱信息的保留程度，结果在区间[0,1]，相关系数越接近1，表示融合结果与参考图像越相似。
2)均方根误差RMSE，表示预测值与真实值偏差的平方与观测次数n比值的平方根，数值越小，融合结果越好。
3)全局综合误差指标ERG，在RMSE的基础上，考虑融合影像与观测影像之间的尺度关系，区间在[0,1]，指标越接近于1越好。
4)光谱弧度SAM，表示光谱的扭曲程度，越接近0，融合结果越好。
5)全局质量评估indexQ，表示图像在空间和光谱上的整体相似度，结果范围在区间[0,1]，全局质量评估指数越大，融合图像越与参考图像相似。
6)整体图像质量指数UIQI，表示融合图像与参考图像的接近程度，越接近1，融合结果越好。
根据上述评价指标对本发明与现有技术的融合结果从客观评价指标上进行评价，结果如表1。
表1.各类方法融合结果的客观评价
由表1可见，本发明的相关系数CC、均方根误差RMSE、全局综合误差指标ERG、光谱弧度SAM、全局质量评估indexQ和整体图像质量指数UIQI均大于现有技术的评价值，由此可以看出本发明的大部分客观评价指标均优于现有技术的客观评价指标。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于图注意力机制的多光谱与全色图像融合方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于图注意力机制的多光谱与全色图像融合方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于图注意力机制的多光谱与全色图像融合方法，其特征在于，包括：
获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；
将多光谱图像特征图和全色图像特征图输入深度神经网络模型；
采用训练样本集和Adam随机梯度下降算法对深度神经网络模型进行训练，基于损失函数优化深度神经网络模型，得到训练好的深度神经网络模型；
将待融合的低分辨率的多光谱图像和高空间分辨率的全色图像输入训练好的深度神经网络模型，输出融合后的高空间分辨率的多光谱图像。
2.根据权利要求1所述的基于图注意力机制的多光谱与全色图像融合方法，其特征在于，采用双线性插值方法，将低分辨率的多光谱图像上采样为高空间分辨率的全色图像的大小。
3.根据权利要求1所述的基于图注意力机制的多光谱与全色图像融合方法，其特征在于，所述将多光谱图像特征图和全色图像特征图输入深度神经网络模型包括：将低空间分辨率的多光谱图像输入到构建的深度神经网络模型，得到多光谱图像特征图；同时将高空间分辨率的全色图像输入到构建的深度神经网络模型，得到全色图像特征图。
4.根据权利要求1所述的基于图注意力机制的多光谱与全色图像融合方法，其特征在于，基于高空间分辨率的全色图像和上采样处理的低分辨率的多光谱图像，构建训练样本集；其中每个训练样本，包括：一个高空间分辨率的全色图像和一个上采样处理的低分辨率的多光谱图像。
5.根据权利要求4所述的基于图注意力机制的多光谱与全色图像融合方法，其特征在于，所述训练的过程包括：将多光谱图像特征图与全色图像特征图进行堆叠处理，得到第一特征图。
6.根据权利要求5所述的基于图注意力机制的多光谱与全色图像融合方法，其特征在于，基于第一特征图提取多通道的第二特征图，基于第二特征图构造无向万全图，采用图注意力机制算法计算无向万全图各个通道的权重；基于各个通道的权重数值与第一特征图相结合，重建卷积网络，得到第三特征图；将第三特征图与第一特征图相加得到第四特征图；对第四特征图进行卷积处理，输出融合后的高空间分辨率的多光谱图像。
7.根据权利要求3所述的基于图注意力机制的多光谱与全色图像融合方法，其特征在于，所述深度神经网络模型包括：一条用于输入低分辨率的多光谱图像的分支网络和一条用于输入高空间分辨率的全色图像的分支网络，将两条分支网络提取出的特征进行堆叠。
8.基于图注意力机制的多光谱与全色图像融合系统，其特征在于，包括：
采集模块，其被配置为：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；
模型构建模块，其被配置为：将多光谱图像特征图和全色图像特征图输入深度神经网络模型；
模型优化模块，其被配置为：采用训练样本集和Adam随机梯度下降算法对深度神经网络模型进行训练，基于损失函数优化深度神经网络模型，得到训练好的深度神经网络模型；
输出模块，其被配置为：将待融合的低分辨率的多光谱图像和高空间分辨率的全色图像输入训练好的深度神经网络模型，输出融合后的高空间分辨率的多光谱图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于图注意力机制的多光谱与全色图像融合方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于图注意力机制的多光谱与全色图像融合方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110347974.7A CN113066037B (zh) | 2021-03-31 | 2021-03-31 | 基于图注意力机制的多光谱与全色图像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110347974.7A CN113066037B (zh) | 2021-03-31 | 2021-03-31 | 基于图注意力机制的多光谱与全色图像融合方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113066037A true CN113066037A (zh) | 2021-07-02 |
| CN113066037B CN113066037B (zh) | 2022-08-02 |
Family
ID=76564798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110347974.7A Active CN113066037B (zh) | 2021-03-31 | 2021-03-31 | 基于图注意力机制的多光谱与全色图像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113066037B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113688686A (zh) * | 2021-07-26 | 2021-11-23 | 厦门大学 | 基于图卷积神经网络的虚拟现实视频质量评价方法 |
| CN114511470A (zh) * | 2022-04-06 | 2022-05-17 | 中国科学院深圳先进技术研究院 | 一种基于注意力机制的双分支全色锐化方法 |
| CN116879192A (zh) * | 2023-09-07 | 2023-10-13 | 航天宏图信息技术股份有限公司 | 基于卫星遥感数据的水华预测方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104112263A (zh) * | 2014-06-28 | 2014-10-22 | 南京理工大学 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
| CN109146831A (zh) * | 2018-08-01 | 2019-01-04 | 武汉大学 | 基于双支深度学习网络的遥感图像融合方法及系统 |
| CN109767412A (zh) * | 2018-12-28 | 2019-05-17 | 珠海大横琴科技发展有限公司 | 一种基于深度残差神经网络的遥感影像融合方法及系统 |
| CN111160458A (zh) * | 2019-12-29 | 2020-05-15 | 浪潮电子信息产业股份有限公司 | 一种图像处理系统及其卷积神经网络 |
| CN111340080A (zh) * | 2020-02-19 | 2020-06-26 | 济南大学 | 一种基于互补卷积特征的高分辨率遥感影像融合方法及系统 |
| CN111429349A (zh) * | 2020-03-23 | 2020-07-17 | 西安电子科技大学 | 基于光谱约束对抗网络的高光谱图像超分辨率方法 |
-
2021
- 2021-03-31 CN CN202110347974.7A patent/CN113066037B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104112263A (zh) * | 2014-06-28 | 2014-10-22 | 南京理工大学 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
| CN109146831A (zh) * | 2018-08-01 | 2019-01-04 | 武汉大学 | 基于双支深度学习网络的遥感图像融合方法及系统 |
| CN109767412A (zh) * | 2018-12-28 | 2019-05-17 | 珠海大横琴科技发展有限公司 | 一种基于深度残差神经网络的遥感影像融合方法及系统 |
| CN111160458A (zh) * | 2019-12-29 | 2020-05-15 | 浪潮电子信息产业股份有限公司 | 一种图像处理系统及其卷积神经网络 |
| CN111340080A (zh) * | 2020-02-19 | 2020-06-26 | 济南大学 | 一种基于互补卷积特征的高分辨率遥感影像融合方法及系统 |
| CN111429349A (zh) * | 2020-03-23 | 2020-07-17 | 西安电子科技大学 | 基于光谱约束对抗网络的高光谱图像超分辨率方法 |
Non-Patent Citations (4)
| Title |
|---|
| N. RYBNIKOVA等: "Coloring Panchromatic Nighttime Satellite Images: Comparing the Performance of Several Machine Learning Methods", 《ARXIV.ORG》 * |
| PETAR VELICKOVIC等: "Grapa Attention Networks", 《ARXIV.ORG》 * |
| RUIYINGLU等: "RAFnet: Recurrent attention fusion network of hyperspectral and multispectral images", 《SIGNAL PROCESSING》 * |
| 郭慧婷等: "资源一号02D卫星高光谱与多光谱遥感影像融合方法", 《航天器工程》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113688686A (zh) * | 2021-07-26 | 2021-11-23 | 厦门大学 | 基于图卷积神经网络的虚拟现实视频质量评价方法 |
| CN113688686B (zh) * | 2021-07-26 | 2023-10-27 | 厦门大学 | 基于图卷积神经网络的虚拟现实视频质量评价方法 |
| CN114511470A (zh) * | 2022-04-06 | 2022-05-17 | 中国科学院深圳先进技术研究院 | 一种基于注意力机制的双分支全色锐化方法 |
| CN114511470B (zh) * | 2022-04-06 | 2022-07-08 | 中国科学院深圳先进技术研究院 | 一种基于注意力机制的双分支全色锐化方法 |
| CN116879192A (zh) * | 2023-09-07 | 2023-10-13 | 航天宏图信息技术股份有限公司 | 基于卫星遥感数据的水华预测方法、装置、设备及介质 |
| CN116879192B (zh) * | 2023-09-07 | 2023-12-12 | 航天宏图信息技术股份有限公司 | 基于卫星遥感数据的水华预测方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113066037B (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113066037B (zh) | 基于图注意力机制的多光谱与全色图像融合方法及系统 | |
| Zhao et al. | Transfer learning with fully pretrained deep convolution networks for land-use classification | |
| CN108537742B (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
| Chen et al. | Symmetrical dense-shortcut deep fully convolutional networks for semantic segmentation of very-high-resolution remote sensing images | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| Wang et al. | A review of image super-resolution approaches based on deep learning and applications in remote sensing | |
| Chen et al. | Convolutional neural network based dem super resolution | |
| CN107590515B (zh) | 基于熵率超像素分割的自编码器的高光谱图像分类方法 | |
| CN112184554B (zh) | 一种基于残差混合膨胀卷积的遥感图像融合方法 | |
| CN112488978A (zh) | 基于模糊核估计的多光谱图像融合成像方法及系统 | |
| CN113129247B (zh) | 基于自适应多尺度残差卷积的遥感图像融合方法及介质 | |
| CN113095370B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN113705580B (zh) | 基于深度迁移学习的高光谱图像分类方法 | |
| CN106295613A (zh) | 一种无人机目标定位方法及系统 | |
| CN113066030B (zh) | 一种基于空谱融合网络的多光谱图像全色锐化方法及系统 | |
| CN112766283B (zh) | 一种基于多尺度卷积网络的两相流流型识别方法 | |
| CN111191735A (zh) | 基于数据差异和多尺度特征的卷积神经网络影像分类方法 | |
| CN112507888A (zh) | 建筑物识别方法及装置 | |
| Huan et al. | MAENet: multiple attention encoder–decoder network for farmland segmentation of remote sensing images | |
| CN112801104A (zh) | 基于语义分割的图像像素级伪标签确定方法及系统 | |
| CN116740422A (zh) | 基于多模态注意力融合技术的遥感图像分类方法及装置 | |
| CN111967516B (zh) | 一种逐像素分类方法、存储介质及分类设备 | |
| Wang | Remote sensing image semantic segmentation algorithm based on improved ENet network | |
| CN116977747B (zh) | 基于多路多尺度特征孪生网络的小样本高光谱分类方法 | |
| CN105719323A (zh) | 一种基于优化图谱理论的高光谱降维方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |