CN116843589A - 遥感图像的融合方法、装置、设备及存储介质 - Google Patents

遥感图像的融合方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116843589A
CN116843589A CN202310765494.1A CN202310765494A CN116843589A CN 116843589 A CN116843589 A CN 116843589A CN 202310765494 A CN202310765494 A CN 202310765494A CN 116843589 A CN116843589 A CN 116843589A
Authority
CN
China
Prior art keywords
feature
image
remote sensing
attention
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310765494.1A
Other languages
English (en)
Inventor
肖雪
高莎
黄麟
何茂林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoqi Zhimou Chongqing Technology Co ltd
Original Assignee
Guoqi Zhimou Chongqing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoqi Zhimou Chongqing Technology Co ltd filed Critical Guoqi Zhimou Chongqing Technology Co ltd
Priority to CN202310765494.1A priority Critical patent/CN116843589A/zh
Publication of CN116843589A publication Critical patent/CN116843589A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种遥感图像的融合方法、装置、设备及存储介质，所述方法包括：获取遥感图像对应的全色图像和多光谱图像，提取全色图像的第一特征和第二特征，提取多光谱图像的第三特征，将第一特征、第二特征及第三特征输入基于注意力机制的神经网络，得到遥感图像的注意力特征，对第一特征、第二特征及第三特征执行通道叠加操作，得到遥感图像的叠加特征，对叠加特征和注意力特征执行融合操作，得到遥感图像的融合图像。本申请可以得到具有更好空间保真度和光谱保真度的融合图像。

Description

遥感图像的融合方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种遥感图像的融合方法、装置、设备及存储介质。
背景技术
遥感图像广泛用于城市区域分类、植被覆盖监控等领域，随着光学地面卫星在遥感领域的发展，遥感图像所带来的监控能力越来越受到关注。由于物理传感器技术的限制，光学卫星很难获得高空间分辨率和高光谱分辨率的高质量图像。卫星捕获图像主要是捕获具有高空间分辨率但低光谱分辨率的全色图像，和捕获具有高光谱分辨率但低空间分辨率的多光谱图像。
为了满足实际应用中对高空间和光谱分辨率的要求，需要对全色图像和多光谱图像进行融合，现有技术的图像融合方法主要有：
1、基于分量替换的方法，即通常通过灵活变换和替换变换域中的某些分量来实现，最终通过逆变换获得融合图像；
2、基于多尺度分解的方法，与其他图像融合方法类似，分解、融合和变换是这类泛锐化方法的主要步骤；
然而基于分量替换的方法具有空间信息高效性的优点，但是存在严重的频谱失真，基于多尺度分解的方法在光谱保真上有优势，但是存在空间扭曲的问题。现有技术的融合方法无法深度挖掘全色图像和多光谱图像之间的关系，导致无法得到高分辨率多光谱的融合图像。
因此，如何对图像进行融合得到高分辨率多光谱的融合图像，已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上内容，本申请提供一种遥感图像的融合方法、装置、设备及存储介质，其目的在于解决上述技术问题。
第一方面，本申请提供一种遥感图像的融合方法，所述方法包括：
获取遥感图像对应的全色图像和多光谱图像；
提取所述全色图像的第一特征和第二特征，提取所述多光谱图像的第三特征；
将所述第一特征、所述第二特征及所述第三特征输入基于注意力机制的神经网络，得到所述遥感图像的注意力特征；
对所述第一特征、所述第二特征及所述第三特征执行通道叠加操作，得到所述遥感图像的叠加特征；
对所述叠加特征和所述注意力特征执行融合操作，得到所述遥感图像的融合图像。
第二方面，本申请提供一种遥感图像的融合装置，所述装置包括：
获取模块：用于获取遥感图像对应的全色图像和多光谱图像；
提取模块：用于提取所述全色图像的第一特征和第二特征，提取所述多光谱图像的第三特征；
输入模块：用于将所述第一特征、所述第二特征及所述第三特征输入基于注意力机制的神经网络，得到所述遥感图像的注意力特征；
叠加模块：用于对所述第一特征、所述第二特征及所述第三特征执行通道叠加操作，得到所述遥感图像的叠加特征；
融合模块：用于对所述叠加特征和所述注意力特征执行融合操作，得到所述遥感图像的融合图像。
第三方面，本申请提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的遥感图像的融合方法。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的遥感图像的融合方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请通过对全色图像和多光谱图像进行特征提取，将提取的特征输入基于注意力机制的神经网络，得到具有更丰富的光谱和空间信息的注意力特征，并对提取的特征执行通道叠加操作得到遥感图像的叠加特征，将注意力特征与叠加特征进行融合得到具有更好空间保真度和光谱保真度的融合图像，由于融合图像经过了基于注意力机制的神经网络进行处理，融合图像具有高分辨率多光谱的图像特征。本申请通过算法即可实现对多光谱图像和全色图像的融合，在计算森林覆盖面积还和森林火灾预警识别时，一定程度上可以不依赖于更昂贵的卫星图像。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请遥感图像的融合方法实施例的流程示意图；
图2为本申请遥感图像的融合装置较佳实施例的模块示意图；
图3为本申请电子设备较佳实施例的示意图；
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
下文的公开提供了许多不同的实施例或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。
本申请提供一种遥感图像的融合方法。参照图1所示，为本申请遥感图像的融合方法的实施例的方法流程示意图。该方法可以由一个电子设备执行，该电子设备可以由软件和/或硬件实现。遥感图像的融合方法包括：
步骤S10：获取遥感图像对应的全色图像和多光谱图像；
步骤S20：提取所述全色图像的第一特征和第二特征，提取所述多光谱图像的第三特征；
步骤S30：将所述第一特征、所述第二特征及所述第三特征输入基于注意力机制的神经网络，得到所述遥感图像的注意力特征；
步骤S40：对所述第一特征、所述第二特征及所述第三特征执行通道叠加操作，得到所述遥感图像的叠加特征；
步骤S50：对所述叠加特征和所述注意力特征执行融合操作，得到所述遥感图像的融合图像。
全色图像是单通道的图像，全色是指全部可见光波段0.38～0.76um，全色图像为这一波段范围的混合图像。由于全色图像是单波段的，因此在图上显示为灰度图片，全色遥感图像一般空间分辨率高，但无法显示地物色彩，即全色图像具有高空间分辨率及低光谱分辨率。
多光谱图像是指对地物辐射中多个单波段的摄取，得到的影象数据中会有多个波段的光谱信息，若取其中RGB三个波段的信息显示，则为RGB彩色图像，即多光谱图像具有高光谱分辨率及低空间分辨率。
为了满足实际应用中对高空间和光谱分辨率的要求，需要通过将全色图像和多光谱图像进行融合来生成高分辨率多光谱图像。
本实施例中，遥感图像可以是针对森林区域的遥感图像，例如用于计算森林面积的遥感图像，用于对森林进行火灾预警和识别的遥感图像。可以理解的是，本申请的方案在实际应用中，遥感图像还可以是其它领域的遥感图像，例如，城市区域的遥感图像，山区地貌的遥感图像等。
获取遥感图像对应的全色图像和多光谱图像，使用深度神经网络提取全色图像的第一特征和第二特征，并使用深度神经网络提取多光谱图像的第三特征，需要说明的是，第一特征、第二特征及第三特征是由不同网络参数的深度神经网络提取的，即提取特征的深度神经网络包括利用不同的样本集单独训练得到的三个深度神经网络。具体地，提取所述全色图像的第一特征和第二特征，提取所述多光谱图像的第三特征，包括：
利用第一卷积神经网络提取所述全色图像的特征(记为第一特征)；
利用第二卷积神经网络提取所述全色图像的特征(记为第二特征)；
利用第三卷积神经网络提取所述多光谱图像的特征(记为第三特征)，其中，所述第一卷积神经网络、所述第二卷积神经网络及所述第三卷积神经网络具有不同的网络参数。
其中，卷积神经网络中，每一层卷积的输出都要使用PReLU函数作为激活函数，其计算公式的如下：
其中，a是激活函数负向的斜率，a是一个可学习的参数，i表示不同的通道，x表示输入。当输入为负时，PReLU函数可以根据输入数据的特点更改斜率，这样特征具有更好的表征能力，因此选择PReLU函数作为激活函数。由于卷积神经网络可以由局部至整体对数据进行分析，因此通过卷积神经网络提取的全色图像和多光谱图像的特征，可以更准确的表征全色图像和多光谱图像的主要特征。
将第一特征、第二特征及第三特征输入基于注意力机制的神经网络，得到遥感图像的注意力特征，其中，基于注意力机制的神经网络可以是Transfomer模型，也可以是卷积注意力机制网络。具体地，将所述第一特征、所述第二特征及所述第三特征输入基于注意力机制的神经网络，得到所述遥感图像的注意力特征，包括：
将所述第一特征作为值向量；
将所述第二特征作为键向量；
将所述第三特征作为查询向量；
根据所述值向量、所述键向量及所述查询向量进行自注意力计算，得到所述遥感图像的注意力特征。
将Transformer模型的编码器进行拆解，将第三特征作为查询向量，即查询向量Q＝fcnn3(LRMS)，将第一特征作为值向量，即值向量K＝fcnn1(PAN)，将第二特征作为键向量，即键向量V＝fcnn2(PAN)，LRMS表示多光谱图像，PAN表示全色图像，fcnn3(LRMS)表示第三卷积神经网络提取的多光谱图像的第三特征，fcnn2(PAN)表示第二卷积神经网络提取的全色图像的第二特征，fcnn1(PAN)表示第一卷积神经网络提取的全色图像的第一特征。根据值向量、键向量及查询向量可以进行自注意力计算，得到遥感图像的注意力特征。
进一步地，根据所述值向量、所述键向量及所述查询向量进行自注意力计算，得到所述遥感图像的注意力特征，包括：
根据所述键向量及所述查询向量，计算所述遥感图像的注意力分布；
根据所述注意力分布和所述值向量，计算得到所述遥感图像的注意力特征。
通过Transformer模型通过处理值向量、键向量及查询向量，可以实现对光谱信息和空间信息的自我注意。其中，根据所述键向量及所述查询向量，计算所述遥感图像的注意力分布，包括利用第一公式计算所述注意力分布，第一公式包括：
C＝MatMul[(Q-mean(Q)),(-mean(K))T]
其中，C表示所述注意力分布(即经过自注意力计算得到的跨特征空间的相关信息)，MatMul表示矩阵乘法函数，mean表示平均值函数，Q表示所述查询向量，K表示所述键向量，T表示矩阵转置。
其中，根据所述注意力分布和所述值向量，计算得到所述遥感图像的注意力特征，包括利用第二公式计算所述注意力特征，第二公式包括：
M＝MatMul[(C,dim＝1),]
其中，M表示所述注意力特征，MatMul表示矩阵乘法函数，SoftMax表示归一化函数，C表示所述注意力分布，V表示所述值向量，dim表示矩阵的秩。
并对第一特征、第二特征及第三特征执行通道叠加操作，得到遥感图像的叠加特征，叠加特征叠加了三个不同网络参数的卷积神经网络提取的特征。得到叠加特征和注意力特征后，对叠加特征和注意力特征执行融合操作，得到得到具有更好空间保真度和光谱保真度的融合图像。具体地，对所述叠加特征和所述注意力特征执行融合操作，得到所述遥感图像的融合图像，包括：
根据预先训练的权重参数对所述叠加特征和所述注意力特征的每个通道赋予相应的权重；
根据所述权重对所述所述叠加特征和所述注意力特征的每个通道执行加权融合操作，得到所述遥感图像的融合图像。
每个通道的重要程度不同，对重要程度较高的通道赋予较高的权重，对重要程度较低的通道赋予较低的权重，根据权重对所述叠加特征和注意力特征的每个通道执行加权融合操作，可以得到遥感图像的融合图像。
在其他实施例中，还可以构建执行上述步骤S20至步骤S50方法的目标模型，将遥感图像对应的全色图像和多光谱图像输入至目标模型，目标模型可以输出遥感图像的融合图像。目标模型的训练数据不需要进行标注，只需要将样本图像进行下采样和上采样后可以得到训练图像并进行有监督的训练，损失函数的计算公式如下：
其中，Xref是参考图像，X是模型输出图像，C、H、W分别表示通道数、图像长、宽，公式右下角的1代表使用一范数进行计算。训练得到的目标模型即可实现图像融合功能。
本申请通过将全色图像和多光谱图像分别输入神经网络进行特征提取，接着通过将Transformer模型的编码器进行拆解，将全色图像的特征作为键向量和值向量，多光谱图像的特征作为查询向量进行自注意力的计算，得到具有更丰富的光谱和空间信息的注意力特征，最后将注意力特征与叠加特征进行融合得到具有更好空间保真度和光谱保真度的融合图像，由于融合图像经过了基于注意力机制的神经网络进行处理，融合图像具有高分辨率多光谱的图像特征。通过算法即可实现对多光谱图像和全色图像的融合得到更高质量的图像，在计算森林覆盖面积还和森林火灾预警识别时，一定程度上可以不依赖于更昂贵的卫星图像。利用本申请的融合方法对不同类型的卫星遥感图像进行处理，同样可以获得稳定的结果。
参照图2所示，为本申请遥感图像的融合装置100的功能模块示意图。
本申请所述遥感图像的融合装置100可以安装于电子设备中。根据实现的功能，所述遥感图像的融合装置100可以包括获取模块110、提取模块120、输入模块130、叠加模块140及融合模块150。本申请所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
获取模块110：用于获取遥感图像对应的全色图像和多光谱图像；
提取模块120：用于提取所述全色图像的第一特征和第二特征，提取所述多光谱图像的第三特征；
输入模块130：用于将所述第一特征、所述第二特征及所述第三特征输入基于注意力机制的神经网络，得到所述遥感图像的注意力特征；
叠加模块140：用于对所述第一特征、所述第二特征及所述第三特征执行通道叠加操作，得到所述遥感图像的叠加特征；
融合模块150：用于对所述叠加特征和所述注意力特征执行融合操作，得到所述遥感图像的融合图像。
在一个实施例中，所述提取所述全色图像的第一特征和第二特征，提取所述多光谱图像的第三特征，包括：
利用第一卷积神经网络提取所述全色图像的第一特征；
利用第二卷积神经网络提取所述全色图像的第二特征；
利用第三卷积神经网络提取所述多光谱图像的第三特征，其中，所述第一卷积神经网络、所述第二卷积神经网络及所述第三卷积神经网络具有不同的网络参数。
在一个实施例中，所述将所述第一特征、所述第二特征及所述第三特征输入基于注意力机制的神经网络，得到所述遥感图像的注意力特征，包括：
将所述第一特征作为值向量；
将所述第二特征作为键向量；
将所述第三特征作为查询向量；
根据所述值向量、所述键向量及所述查询向量进行自注意力计算，得到所述遥感图像的注意力特征。
在一个实施例中，所述根据所述值向量、所述键向量及所述查询向量进行自注意力计算，得到所述遥感图像的注意力特征，包括：
根据所述键向量及所述查询向量，计算所述遥感图像的注意力分布；
根据所述注意力分布和所述值向量，计算得到所述遥感图像的注意力特征。
在一个实施例中，所述根据所述键向量及所述查询向量，计算所述遥感图像的注意力分布，包括：
利用第一公式计算所述注意力分布，所述第一公式包括：
C＝MatMul[(Q-mean(Q)),(-mean(K))T]
其中，C表示所述注意力分布，MatMul表示矩阵乘法函数，mean表示平均值函数，Q表示所述查询向量，K表示所述键向量，T表示矩阵转置。
在一个实施例中，所述根据所述注意力分布和所述值向量，计算得到所述遥感图像的注意力特征，包括：
利用第二公式计算所述注意力特征，所述第二公式包括：
M＝MatMul[(C,dim＝1),]
其中，M表示所述注意力特征，MatMul表示矩阵乘法函数，SoftMax表示归一化函数，C表示所述注意力分布，V表示所述值向量，dim表示矩阵的秩。
在一个实施例中，所述对所述叠加特征和所述注意力特征执行融合操作，得到所述遥感图像的融合图像，包括：
根据预先训练的权重参数对所述叠加特征和所述注意力特征的每个通道赋予相应的权重；
根据所述权重对所述所述叠加特征和所述注意力特征的每个通道执行加权融合操作，得到所述遥感图像的融合图像。
参照图3所示，为本申请电子设备较佳实施例的示意图。
该电子设备包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信，
存储器113，用于存放计算机程序，例如，遥感图像的融合程序；
在本申请一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的遥感图像的融合方法，包括：
获取遥感图像对应的全色图像和多光谱图像；
提取所述全色图像的第一特征和第二特征，提取所述多光谱图像的第三特征；
将所述第一特征、所述第二特征及所述第三特征输入基于注意力机制的神经网络，得到所述遥感图像的注意力特征；
对所述第一特征、所述第二特征及所述第三特征执行通道叠加操作，得到所述遥感图像的叠加特征；
对所述叠加特征和所述注意力特征执行融合操作，得到所述遥感图像的融合图像。
关于上述步骤的详细介绍，请参照上述图2关于遥感图像的融合装置100实施例的功能模块图以及图1关于遥感图像的融合方法实施例的流程图的说明。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质可以是非易失性的，也可以是易失性的。计算机可读存储介质中包括存储数据区和存储程序区，存储程序区存储有遥感图像的融合程序，所述遥感图像的融合程序被处理器执行时实现如下操作：
获取遥感图像对应的全色图像和多光谱图像；
提取所述全色图像的第一特征和第二特征，提取所述多光谱图像的第三特征；
将所述第一特征、所述第二特征及所述第三特征输入基于注意力机制的神经网络，得到所述遥感图像的注意力特征；
对所述第一特征、所述第二特征及所述第三特征执行通道叠加操作，得到所述遥感图像的叠加特征；
对所述叠加特征和所述注意力特征执行融合操作，得到所述遥感图像的融合图像。
本申请之计算机可读存储介质的具体实施方式与上述遥感图像的融合方法的具体实施方式大致相同，在此不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
应理解的是，文中使用的术语仅出于描述特定示例实施方式的目的，而无意于进行限制。除非上下文另外明确地指出，否则如文中使用的单数形式“一”、“一个”以及“所述”也可以表示包括复数形式。术语“包括”、“包含”、“含有”以及“具有”是包含性的，并且因此指明所陈述的特征、步骤、操作、元件和/或部件的存在，但并不排除存在或者添加一个或多个其它特征、步骤、操作、元件、部件、和/或它们的组合。文中描述的方法步骤、过程、以及操作不解释为必须要求它们以所描述或说明的特定顺序执行，除非明确指出执行顺序。还应当理解，可以使用另外或者替代的步骤。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种遥感图像的融合方法，其特征在于，所述方法包括：
获取遥感图像对应的全色图像和多光谱图像；
提取所述全色图像的第一特征和第二特征，提取所述多光谱图像的第三特征；
将所述第一特征、所述第二特征及所述第三特征输入基于注意力机制的神经网络，得到所述遥感图像的注意力特征；
对所述第一特征、所述第二特征及所述第三特征执行通道叠加操作，得到所述遥感图像的叠加特征；
对所述叠加特征和所述注意力特征执行融合操作，得到所述遥感图像的融合图像。
2.如权利要求1所述的遥感图像的融合方法，其特征在于，所述提取所述全色图像的第一特征和第二特征，提取所述多光谱图像的第三特征，包括：
利用第一卷积神经网络提取所述全色图像的第一特征；
利用第二卷积神经网络提取所述全色图像的第二特征；
利用第三卷积神经网络提取所述多光谱图像的第三特征，其中，所述第一卷积神经网络、所述第二卷积神经网络及所述第三卷积神经网络具有不同的网络参数。
3.如权利要求1或2所述的遥感图像的融合方法，其特征在于，所述将所述第一特征、所述第二特征及所述第三特征输入基于注意力机制的神经网络，得到所述遥感图像的注意力特征，包括：
将所述第一特征作为值向量；
将所述第二特征作为键向量；
将所述第三特征作为查询向量；
根据所述值向量、所述键向量及所述查询向量进行自注意力计算，得到所述遥感图像的注意力特征。
4.如权利要求3所述的遥感图像的融合方法，其特征在于，所述根据所述值向量、所述键向量及所述查询向量进行自注意力计算，得到所述遥感图像的注意力特征，包括：
根据所述键向量及所述查询向量，计算所述遥感图像的注意力分布；
根据所述注意力分布和所述值向量，计算得到所述遥感图像的注意力特征。
5.如权利要求4所述的遥感图像的融合方法，其特征在于，所述根据所述键向量及所述查询向量，计算所述遥感图像的注意力分布，包括：
利用第一公式计算所述注意力分布，所述第一公式包括：
C＝MatMul[(Q-mean(Q)),(K-mean(K))T]
其中，C表示所述注意力分布，MatMul表示矩阵乘法函数，mean表示平均值函数，Q表示所述查询向量，K表示所述键向量，T表示矩阵转置。
6.如权利要求4所述的遥感图像的融合方法，其特征在于，所述根据所述注意力分布和所述值向量，计算得到所述遥感图像的注意力特征，包括：
利用第二公式计算所述注意力特征，所述第二公式包括：
M＝MatMul[ SoftMax(C,dim＝1),v]
其中，M表示所述注意力特征，MatMul表示矩阵乘法函数，SoftMax表示归一化函数，C表示所述注意力分布，V表示所述值向量，dim表示矩阵的秩。
7.如权利要求1所述的遥感图像的融合方法，其特征在于，所述对所述叠加特征和所述注意力特征执行融合操作，得到所述遥感图像的融合图像，包括：
根据预先训练的权重参数对所述叠加特征和所述注意力特征的每个通道赋予相应的权重；
根据所述权重对所述所述叠加特征和所述注意力特征的每个通道执行加权融合操作，得到所述遥感图像的融合图像。
8.一种遥感图像的融合装置，其特征在于，所述装置包括：
获取模块：用于获取遥感图像对应的全色图像和多光谱图像；
提取模块：用于提取所述全色图像的第一特征和第二特征，提取所述多光谱图像的第三特征；
输入模块：用于将所述第一特征、所述第二特征及所述第三特征输入基于注意力机制的神经网络，得到所述遥感图像的注意力特征；
叠加模块：用于对所述第一特征、所述第二特征及所述第三特征执行通道叠加操作，得到所述遥感图像的叠加特征；
融合模块：用于对所述叠加特征和所述注意力特征执行融合操作，得到所述遥感图像的融合图像。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1至7中任一项所述的遥感图像的融合方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的遥感图像的融合方法。
CN202310765494.1A 2023-06-26 2023-06-26 遥感图像的融合方法、装置、设备及存储介质 Pending CN116843589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310765494.1A CN116843589A (zh) 2023-06-26 2023-06-26 遥感图像的融合方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310765494.1A CN116843589A (zh) 2023-06-26 2023-06-26 遥感图像的融合方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116843589A true CN116843589A (zh) 2023-10-03

Family

ID=88159247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310765494.1A Pending CN116843589A (zh) 2023-06-26 2023-06-26 遥感图像的融合方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116843589A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975282A (zh) * 2024-03-29 2024-05-03 山东大学 基于多元光学特征融合的紫菜养殖区遥感提取方法及系统
CN118247278A (zh) * 2024-05-28 2024-06-25 中国科学院合肥物质科学研究院 一种基于rgb图像和高光谱图像融合的舌像检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975282A (zh) * 2024-03-29 2024-05-03 山东大学 基于多元光学特征融合的紫菜养殖区遥感提取方法及系统
CN117975282B (zh) * 2024-03-29 2024-06-11 山东大学 基于多元光学特征融合的紫菜养殖区遥感提取方法及系统
CN118247278A (zh) * 2024-05-28 2024-06-25 中国科学院合肥物质科学研究院 一种基于rgb图像和高光谱图像融合的舌像检测方法

Similar Documents

Publication Publication Date Title
Romero et al. Unsupervised deep feature extraction for remote sensing image classification
US20240046105A1 (en) Image Quality Assessment Using Similar Scenes as Reference
Xie et al. Hyperspectral image super-resolution using deep feature matrix factorization
Song et al. Spatiotemporal satellite image fusion through one-pair image learning
CN116843589A (zh) 遥感图像的融合方法、装置、设备及存储介质
CN111353531B (zh) 基于奇异值分解和空谱域注意力机制高光谱图像分类方法
CN110826632B (zh) 图像变化检测方法、装置、设备及计算机可读存储介质
CN113673590A (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
Al‐Naji et al. Quality index evaluation of videos based on fuzzy interface system
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN112330671A (zh) 细胞分布状态的分析方法、装置、计算机设备和存储介质
CN116188929A (zh) 小目标检测方法、小目标检测系统
CN112668675B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN116310323A (zh) 一种飞机目标实例分割方法、系统和可读存储介质
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
Ebert-Uphoff et al. Evaluation, tuning and interpretation of neural networks for meteorological applications
US12026233B2 (en) System and method for evaluating camouflage pattern based on image analysis
CN115223181A (zh) 基于文本检测的报告材料印章文字识别方法和装置
CN113627292A (zh) 基于融合网络的遥感图像识别方法及装置
CN113643219B (zh) 一种基于三光融合的图像成像方法及装置
CN117541883B (zh) 图像生成模型训练、图像生成方法、系统以及电子设备
Soufi et al. Enhancing Accessibility to High-Resolution Satellite Imagery: A Novel Deep Learning-Based Super-Resolution Approach
Jiang et al. Analysis Model of Image Colour Data Elements Based on Deep Neural Network
CN106709935A (zh) 目标实时跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination