CN113191325B - 一种图像融合方法、系统及其应用 - Google Patents

一种图像融合方法、系统及其应用 Download PDF

Info

Publication number
CN113191325B
CN113191325B CN202110567685.8A CN202110567685A CN113191325B CN 113191325 B CN113191325 B CN 113191325B CN 202110567685 A CN202110567685 A CN 202110567685A CN 113191325 B CN113191325 B CN 113191325B
Authority
CN
China
Prior art keywords
image
information
spatial
fusion
multispectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110567685.8A
Other languages
English (en)
Other versions
CN113191325A (zh
Inventor
钟锡武
钱静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202110567685.8A priority Critical patent/CN113191325B/zh
Publication of CN113191325A publication Critical patent/CN113191325A/zh
Application granted granted Critical
Publication of CN113191325B publication Critical patent/CN113191325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于图像处理技术领域，特别是涉及一种图像融合方法、系统及其应用。本申请提供了一种图像融合方法，提取多光谱图像的第一高通信息得到第一多光谱图像，提取全色图像的第二高通信息得到第一全色图像；提取所述第一多光谱图像的第一空间信息，提取所述第一全色图像的第二空间信息；将所述第一空间信息与所述第二空间信息进行融合得到空间特征；对所述空间特征进行重建得到高空间分辨率图像，同时将多光谱图像和全色图像直接传递到重建空间特征后的高分辨率图像中，从而提高融合图像的光谱分辨率。

Description

一种图像融合方法、系统及其应用
技术领域
本申请属于图像处理技术领域，特别是涉及一种图像融合方法、系统及其应用。
背景技术
就目前遥感系统的设计而言，光谱分辨率和空间分辨率往往不能同时保持在高水平。不同传感器获取的图像在几何特征、光谱分辨率和空间分辨率方面有所不同。一些传感器获取了丰富的场景光谱信息，但缺乏足够的空间信息，如多光谱图像(multispectralimages，MS)。另一方面，一些传感器善于捕捉空间信息，但不能捕捉可靠的光谱信息，如全色图像(panchromatic image，PAN)。高空间分辨率图像提供了微妙的几何特征，而高光谱分辨率图像提供丰富的光谱信息，可用于识别和分析目标。为了充分利用多光谱图像和全色图像提供的信息，通常的方法是将低分辨率多光谱图像与同一场景的高分辨率全色图像进行融合生成具有更详细空间和光谱结构的图像，即pansharpening。
遥感影像pansharpening发展至今，各种各样的技术都有，各种各样的算法，因为pansharpening往往作为遥感影像的其他应用(如，遥感影像的语义分割、分类等)的基础，在遥感影像处理上显得尤为重要。目前的广泛使用的技术方法包括：基于主成分分析的、基于小波变换的、基于卷积神经网络的和基于生成对抗网络等方法。虽然有很多方法的出现，但是这些方法都不算是最好的，因为这些方法往往对MS图像和PAN图像空间和光谱信息利用不充分。在现有的融合算法中，往往认为空间信息存在于PAN图像中，光谱信息存在于MS图像中，但是这样往往忽略了MS图像中存在的空间信息和PAN图像中可能存在的光谱信息，这将导致不同程度的光谱和空间信息的丢失。同时，现有的深度学习方法，在进行特征融合时使用的是简单的特征图的堆叠，这样的操作仅仅提供一个固定的特征图的线性聚合，而完全不知道这种组合是否适合于特定的对象。
发明内容
1.要解决的技术问题
基于现有的深度学习方法，在进行特征融合时使用的是简单的特征图的堆叠，这样的操作仅仅提供一个固定的特征图的线性聚合，而完全不知道这种组会是否适合于特定的对象的问题，同时，现有的方法往往忽略MS图像中存在的空间信息和PAN图像中可能存在的光谱信息，在一定程度上导致了融合图像光谱和空间信息的丢失，本申请提供了一种图像融合方法、系统及其应用。
2.技术方案
为了达到上述的目的，本申请提供了一种图像融合方法，所述方法包括如下步骤：步骤1：提取多光谱图像的第一高通信息得到第一多光谱图像，提取全色图像的第二高通信息得到第一全色图像；步骤2：提取所述第一多光谱图像的第一空间信息，提取所述第一全色图像的第二空间信息；步骤3：将所述第一空间信息与所述第二空间信息进行融合得到空间特征；步骤4：对所述空间特征进行重建得到高空间分辨率图像，同时将多光谱图像和全色图像直接传递到重建空间特征后的高分辨率图像中，从而提高融合图像的光谱分辨率。
本申请提供的另一种实施方式为：所述提取多光谱图像的第一高通信息包括对输入的多光谱图像进行上采样，使得所述多光谱图像与全色图像大小相同，然后采用高通滤波提取所述上采样多光谱图像的第一高通信息；所述提取全色图像的第二高通信息包括采用高通滤波提取全色图像的第二高通信息。
本申请提供的另一种实施方式为：所述第一高通信息通过采用均值滤波提取所述上采样多光谱图像的第一低通信息，然后将所述上采样多光谱图像减去所述第一低通信息；所述第二高通信息通过采用均值滤波提取所述全色图像的第二低通信息，然后将所述上采样多光谱图像减去所述第二低通信息。
本申请提供的另一种实施方式为：所述第一空间信息采用卷积神经网络提取，所述第二空间信息采用卷积神经网络提取。
本申请提供的另一种实施方式为：所述对所述空间特征进行重建包括采用U-Net网络对所述空间特征进行重建；采用长跳跃连接，通过光谱映射将所述上采样多光谱图像和所述全色图像传递到空间重建图像中得到高空间分辨率和高光谱分辨率图像。
本申请还提供一种图像融合系统，包括依次连接的特征提取模块、注意力特征融合模块和图像重建模块；所述特征提取模块，用于获取原始图像的高通信息，然后提取图像特征得到特征图；所述注意力特征融合模块，用于对所述特征图进行融合；所述图像重建模块，用于从融合后的图像中重建出高空间分辨率图像。
本申请提供的另一种实施方式为：所述图像重建模块包括长跳跃连接子模块，所述长跳跃连接子模块用于将图像光谱信息传递到空间重建后与重建了空间信息的图像进行融合。
本申请提供的另一种实施方式为：所述系统采用作为损失函数进行训练，所述损失函数为：
其中，N是小批量训练样本的数量，和/>是PAN图像和低分辨率的MS图像，Y(i)是相应的高分辨率的MS图像，θ是Attention_FPNet网络的参数。
本申请提供的另一种实施方式为：所述注意力特征融合模块为：
其中，X1，X2表示两个输入特征，Z∈RC×H×W表示融合特征，表示由通道注意力模块M得到的权重，由0到1之间的实数组成，/>对应图2中的虚线，由0到1之间的实数组成，/>表示广播加法，/>表示逐元素相乘。
本申请还提供一种图像融合方法的应用，将所述的图像融合方法应用于遥感影像超分辨率重建问题。
3.有益效果
与现有技术相比，本申请提供的一种图像融合方法、系统及其应用的有益效果在于：
本申请提供的图像融合方法，采用一种基于注意力特征融合的双分支融合网络来解决pansharpening问题，对其命名为Attention_FPNet。
本申请提供的图像融合方法，在高通滤波域中重建图像的空间信息，更充分地考虑了多光谱和全色图像中的空间信息。同时将输入的全色图像和上采样的多光谱图像通过一个长跳跃连接直接传播到重建空间后的图像中，考虑了全色图像和多光谱图像的光谱信息，提升融合图像的光谱分辨率，也补充了由于网络加深可能导致的空间信息丢失。同时，使用一种注意力特征融合方法，充分考虑了不同特征图之间的关系，提高融合质量。
本申请提供的图像融合方法，利用卷积神经网络依靠具有很少频谱失真的强大的卷积网络的特征提取能力和注意力机制在特征融合上高效的融合性能，使用了一个基于注意力特征融合的双分支融合网络，为了更充分地利用MS图像和PAN图像中空间信息，本申请先让经过高通滤波后的MS和PAN的空间信息进行融合，然后重建融合图像的空间信息，同时使用一个注意特征融合模块替换常用的通道堆叠的方法，考虑了不同通道之间的关系，从而提高特征融合的质量。
本申请提供的图像融合方法，为了获得更高光谱分辨率的融合图像，本申请还同时考虑了MS图像和PAN图像中存在的光谱信息，使用一个长跳跃连接，将输入的PAN图像和上采样后的MS图像直接传播到经过空间重建后的融合图像中，从而减少光谱信息的丢失。
本申请提供的图像融合方法，由于随着网络深度的加深，必然会导致空间信息的丢失，这样的长跳跃连接，也起到了补充空间信息的作用。通过本申请，可以得到更高分辨率的多光谱图像。
本申请提供的图像融合方法，使用注意力特征融合的方法替换以往使用的简单的通道堆叠的方法对特征图进行融合，考虑不同通道之间的权重，提高特征融合的质量。
本申请提供的图像融合方法，在高通滤波域而不是在图像域中重建图像空间分辨率，更为充分地考虑了MS图像和PAN图像中的空间信息，可以提高融合图像的空间分辨率，同时使用一个长跳跃连接，更为充分地利用了MS图像和PAN图像的光谱信息。
本申请提供的图像融合系统，使用损失函数，而不是广泛使用的/>损失函数来优化网络。
附图说明
图1是本申请的Attention_FPNet示意图；
图2是本申请的注意力特征融合模块示意图；
图3是本申请的Attention_FPNet的详细结构示意图；
图4是本申请的第一效果示意图；
图5是本申请的第二效果示意图；
图6是本申请的第三效果示意图。
具体实施方式
在下文中，将参考附图对本申请的具体实施例进行详细地描述，依照这些详细的描述，所属领域技术人员能够清楚地理解本申请，并能够实施本申请。在不违背本申请原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施方式。
遥感影像全色锐化即pansharpening方法，该方法利用全色波段增强多光谱遥感影像，合并传感器特性模拟了全色波段和多波段影像的观测过程，利用先验知识估计高分辨率多光谱影像的期望值。这种方法使全色波段数据与多光谱波段数据自动对齐，成功地保留了光谱信息，同时增加了空间分辨率，丰富了地面信息。
近年来，人们已经提出了很多不同的pansharpening方法。这些方法大致可以分为以下四类：成分替换(component substitution，CS)，多分辨率分析(multiresolutionanalysis，MRA)，混合方法(结合CS和MAR)，基于模型的方法和基于深度学习的方法。
(1)成分替换方法：CS方法基于可逆变换，将MS图像变换到另外一种颜色空间，这种变换使得MS图像的空间信息和光谱信息分离开来，在直方图匹配后，用PAN图像的空间信息替换MS图像分离后的空间信息。最后利用逆变换将替换空间信息后的MS图像转换到原本的颜色空间。IHS(Intensity-Hue-Saturation)，主成分分析法(principal componentanalysis，PCA)，Brovey变换(Brovey transform，BT)和基于Gram-Schmidt(GS)转换的方法是最广为人知的CS方法。
(2)多分辨率分析：MRA方法是利用拉普拉斯金字塔分解、小波变换、轮廓波变换、曲波变换等多种多维方法将每个原始数据都分解为不同分辨率的一系列图像，在不同分辨率上进行融合，最后进行逆变换获得融合后的图像。
(3)混合方法：混合方法结合了CS和MRA方法的优点
(4)基于模型的方法：基于模型方法采用一种逆向的思考方式，先假设由高分辨率的MS图像到低分辨率的MS和高分辨率的PAN的一种退化过程，以最优的模型描述该退化过程，并从该退化过程反向进行还原。
(5)基于深度学习的方法：基于深度学习方法依靠具有很少频谱失真的强大的卷积网络的特征提取能力，即可获得理想的融合性能。其中，2016年，Giuseppe等在单图像超分辨率重建算法SRCNN的基础上进行改进，提出了第一个基于深度学习的三层网络结构用于解决pansharpening问题。它首先对输入的MS图像和PAN图像在通道维度上进行堆叠，然后将其送入一个三层的网络结构中，对图像进行重建，从而生成具有高空间分辨率的多光谱图像。这个方法的思想后来被运用了起来，产生了很多基于深度学习的pansharpening网络结构，帮助了后续的发展。
参见图1～6，本申请提供一种图像融合方法，所述方法包括如下步骤：步骤1：提取多光谱图像的第一高通信息得到第一多光谱图像，提取全色图像的第二高通信息得到第一全色图像；步骤2：提取所述第一多光谱图像的第一空间信息，提取所述第一全色图像的第二空间信息；步骤3：将所述第一空间信息与所述第二空间信息进行融合得到空间特征；步骤4：对所述空间特征进行重建得到高空间分辨率图像，同时将多光谱图像和全色图像直接传递到重建空间特征后的高分辨率图像中，从而提高融合图像的光谱分辨率。
进一步地，所述提取多光谱图像的第一高通信息包括对输入的多光谱图像进行上采样，使得所述多光谱图像与全色图像大小相同，然后采用高通滤波提取所述上采样多光谱图像的第一高通信息；所述提取全色图像的第二高通信息包括采用高通滤波提取全色图像的第二高通信息。
进一步地，所述第一高通信息通过采用均值滤波提取所述上采样多光谱图像的第一低通信息，然后将所述上采样多光谱图像减去所述第一低通信息；所述第二高通信息通过采用均值滤波提取所述全色图像的第二低通信息，然后将所述上采样多光谱图像减去所述第二低通信息。
进一步地，所述第一空间信息采用卷积神经网络提取，所述第二空间信息采用卷积神经网络提取。
进一步地，所述对所述空间特征进行重建包括采用U-Net网络对所述空间特征进行重建；采用长跳跃连接，通过光谱映射将所述上采样多光谱图像和所述全色图像传递到空间重建图像中得到高空间分辨率和高光谱分辨率图像。
本申请还提供一种图像融合系统，包括依次连接的特征提取模块、注意力特征融合模块和图像重建模块；所述特征提取模块，用于获取原始图像的高通信息，然后提取图像特征得到特征图；所述注意力特征融合模块，用于对所述特征图进行融合；所述图像重建模块，用于从融合后的图像中重建出高空间分辨率图像。
特征提取模块
首先对MS图像进行上采样，使其图像大小与PAN一样的大小。为了获取图像的高通信息，本申请从原始图像中减去使用平均滤波器找到的低通信息，从而得到原始图像的高通信息。之后，利用两个子网络分别从已经提取了高通滤波后的MS图像和PAN图像中提取特征。这两个子网络，结构相似，权重不同，一个子网络以4波段的图像作为输入，另一子网络以单波段的图像作为输入。每个子网络包含三个连续的卷积层，每个卷积层之后都带着一个修正线性单元(Rectified Linear Unit，ReLU)。
注意力特征融合模块
在经过特征提取模块后，得到了两个分别明确代表MS图像和PAN图像的空间信息的特征图。为了充分利用MS图像和PAN图像的空间信息，还必须对提取的特征图进行融合。但以往的基于深度学习方法，在进行特征图的融合时，只对这两个特征图进行直接的堆叠，只能提供一个固定的特征图的线性聚合，并没有考虑到不同特征图之间存在的关系，完全不知道这样的组合是否适合于特定的对象。为此，本申请使用一种注意力特征融合模块(attentional feature fusion，AFF)[14]来替代现有方法使用的通道堆叠的方法，它的结构如图2所示。AFF可以表示为：
其中，X1，X2表示两个输入特征，Z∈RC×H×W表示融合特征，表示由通道注意力模块M得到的权重，它由0到1之间的实数组成，/>对应图2中的虚线，也是由0到1之间的实数组成。/>表示广播加法，/>表示逐元素相乘。
图像重建模块
通过上述两个模块的实现，已经完成了MS图像和PAN图像空间信息的融合，至此，还需从融合后的图像中重建出高空间分辨率的图像。本申请首先对图像进行下采样。本申请没有使用大多数卷积神经网络所使用的最大池化和平均池化来获得具有尺度和旋转不变性的特征，因为图像的细节信息在pansharpening融合中是非常重要的，因此，在整个网络中，均使用步长为2的卷积核来进行下采样，而不是简单的池化操作。经过两次下采样，获得了两个不同尺度的特征图，它们分别仅占输入特征比例的1/2×1/2和1/4×1/4。之后，再利用两个反卷积进行上采样，逐步生成两个尺度分别为输入特征的1/2×1/2和1×1的特征图。
由于在深层次的卷积层中，卷积神经网络提取的特征映射图像的语义和抽象信息，而从图像的语义和抽象信息中恢复出图像的细节纹理是很难的。要恢复出逼真的细节，受U-Net[39]启发，在第二次下采样之前，将生成的特征图复制到第一次上采样之后，并与相应的特征图连接，以注入下采样过程中丢失的细节信息。最后一层输出所需的高分辨率的MS图像。本申请所使用的深度学习模型的详细结构如图3所示。
由于pansharpening任务是为了得到同时具有高空间分辨率和高光谱分辨率的多光谱图像，而且现有的方法，往往利用一定的特征提取方法，提取MS图像的光谱信息，但是这样的操作，会导致MS图像中光谱信息的丢失，而且忽略PAN图像中可能存在的光谱信息，所以本申请使用一个长跳跃连接，直接将输入的MS和PAN图像直接传递到空间重建之后，与重建了空间信息的图像进行融合，这样，一方面，补充了由于网络深度的加深而可能导致的空间信息丢失，另一方面，也直接利用了输入图像的光谱信息补充生成图像的光谱信息，提高最终融合图像的空间和光谱分辨率。
进一步地，所述图像重建模块包括长跳跃连接子模块，所述长跳跃连接子模块用于将图像光谱信息传递到空间重建后与重建了空间信息的图像进行融合。
进一步地，所述系统采用作为损失函数进行训练，所述/>损失函数为：
其中，N是小批量训练样本的数量，和/>是PAN图像和低分辨率的MS图像，Y(i)是相应的高分辨率的MS图像，θ是Attention_FPNet网络的参数。
损失函数
除了网络结构，损失函数也是一个影响重建图像质量的另一个重要因素。以往的图像重建任务使用范数作为损失函数，但生成的图像会出现模糊的现象。因此，本申请使用/>作为损失函数来训练本申请的网络。
进一步地，所述注意力特征融合模块为：
其中，X1，X2表示两个输入特征，Z∈RC×H×W表示融合特征，表示由通道注意力模块M得到的权重，由0到1之间的实数组成，/>对应图2中的虚线，由0到1之间的实数组成，/>表示广播加法，/>表示逐元素相乘。
本申请还提供一种图像融合方法的应用，将所述的图像融合方法应用于遥感影像pansharpening问题。
精度检验及评价
本申请将所使用的方法与几种广泛使用的技术进行比较，包括：PCA、IHS、Wavele、MTF_GLP_HPM、GSA、CNMF、PNN、PanNet、ResTFNet。
表1-表3显示了在Pleiades、SPOT-6和Gaofen-2三个卫星数据集上的定量指标。图4-图6示出了在三个卫星数据集上的定性结果。从表1-表3中，本申请可以看出，Attention_FPNet在绝大多数的指标上，均获得了最好的性能。特别是在Pleiades数据集上，所有的指标均取得了最好的成绩。在SPOT-6和Gaofen-2数据集上，除了QNR分别取得了第4跟第2的成绩，其他指标均取得了最好的成绩。
从图4中本申请可以看出，除了Wavelet和PNN算法外，所有方法都能产生视觉上令人满意的pansharpening图像。Wavelet方法生成的图像具有严重的模糊和伪影的现象。PNN方法也呈现模糊效果。IHS方法虽然具有良好的视觉质量，但是光谱失真也很明显。在图5中，除了Wavelet、CNMF外，其他的方法均能达到较好的视觉效果。Wavelet仍具有严重的模糊和伪影现象，而CNMF存在着一些空间细节的严重信息丢失。在Pleiades数据集上，如图6，Wavelet和PNN方法再次出现了模糊效果。本申请的Attention_FPNet算法在光谱保持方面做得更好，并且也产生了更丰富的空间细节。
表1SPOT-6数据集上的定量评估。按结果排序，前四名分别标注为(1)、(2)、(3)、(4)。.
表2Pleiades数据集上的定量评估。按结果排序，前四名分别标注为(1)、(2)、(3)、(4)。
表3Gaofen-2数据集上的定量评估。按结果排序，前四名分别标注为(1)、(2)、(3)、(4)。
精度检验结论：基于上面的实验分析，发现在三个卫星数据集上，本申请的方法，不管在光谱指标和空间指标上，还是在视觉效果上，均优于其他几种常用的方法。这表明，本申请的方法对于解决遥感影像pansharpening问题是有效的。
本申请通过在Pleiades、SPOT-6和Gaofen-2三个卫星数据集上进行了实验，实验结果表明，本申请所使用的Attention_FPNet在重建光谱和空间信息上均优于其他的现有常用的技术。实验证明，基于注意力特征融合的双分支融合网络对于pansharpening任务是可行的。
使用八个广泛使用的指标来定量评估所提出的方法和比较方法的性能。
峰值信噪比(PSNR)在均方差(MSE)的基础上，通过计算重建图像最大峰值和两个图像均方差的比值，来反映融合重建图像的质量。PSNR定义为：
其中，MAXI是表示图像点颜色的最大数值。两幅图像间的PSNR值越高，则重建图像相对于高分辨率图像失真得越少。MSE定义为：
其中，I和K为两个大小为m×n的图像，其中一个图像为另一个的噪声近似。
结构相似性(SSIM)通过计算融合图像与参考图像的均值、方差和协方差来衡量整体的融合质量。SSIM测量由三种对比模块组成，分别为亮度、对比度、结构。假设给定的两幅大小为M×N的图像X，Y，其中X和Y的均值、方差及X和Y的协方差分别用ux、uy、 δxy表示。定义亮度、对比度、结构的比较函数分别为
这三个成分因素综合起来就是SSIM指标，SSIM指标定义为
SSIM(X,Y)＝[I(X,y)]a[c(X,y)]p[s(x.Y)]γ #(6)
SSIM值越接近于1，则两幅图像相似度越高。
全局综合误差指标(ERGAS)主要评价在光谱范围内的所有融合波段的光谱质量，考虑光谱变化的整体情况。它定义为
其中，h为高分辨率图像的分辨率，l为低分辨率图像的分辨率，N为波段数，Bi为多光谱图像，Mi为多光谱图像的辐射率值的平均值。它的值越小，表明在光谱范围内，融合图像的光谱质量越好。
光谱角映射(SAM)通过计算融合图像对应像素与参考图像的夹角来评价光谱质量。它定义为
其中，Ia，Ja是融合图像和参考图像在距离点a处的像素向量。对于理想的融合图像，SAM的值应该为0。
空间相关系数(SCC)是为了评估融合图像与参考图像空间细节的相似性，利用高通滤波器提取参考图像的高频信息，计算高频信息之间的相关系数(CorrelationCoefficient，CC)[48]。
本文使用高拉普拉斯通滤波器
得到高频率。sCC越高，说明融合过程中PAN图像的大部分空间信息都被注入。计算融合图像和参考图像之间的sCC。最终的sCC在MS图像的所有波段上取平均值。
相关系数的计算为
其中，X为融合图像，Y为参考图像，w和h为图像的宽和高，μ表示图像的平均值。
指标Q结合三个因素计算图像失真:相关损失，亮度失真和对比度失真。它定为为
其中，Z1和Z2表示融合图像和参考图像的第b波段。当Q为1时，表示最佳保真度可供参考。
QNR是一种无参考的图像质量评价方法。它由光谱畸变指数Dλ和空间畸变指数DS组成。其中，表示以L个波段为ILRMS的LRMS图像，生成的HRMS图像为IHRMS，仅一个波段为IPAN的PAN图像，其退化对应的ILPAN图像，则
QNR的理想值为1，表示融合图像的质量越好。
由于现有的深度学习方法，在进行特征融合时，只是简单的通道堆叠，完全不知道组合是否适合于特定的对象，本申请使用了一种注意力特征融合方法，充分考虑了不同特征图之间的关系，提高融合质量。
尽管在上文中参考特定的实施例对本申请进行了描述，但是所属领域技术人员应当理解，在本申请公开的原理和范围内，可以针对本申请公开的配置和细节做出许多修改。本申请的保护范围由所附的权利要求来确定，并且权利要求意在涵盖权利要求中技术特征的等同物文字意义或范围所包含的全部修改。

Claims (5)

1.一种图像融合方法，其特征在于：所述方法包括如下步骤：
步骤1：提取多光谱图像的第一高通信息得到第一多光谱图像，提取全色图像的第二高通信息得到第一全色图像；
步骤2：提取所述第一多光谱图像的第一空间信息，提取所述第一全色图像的第二空间信息；
步骤3：将所述第一空间信息与所述第二空间信息进行融合得到空间特征；
步骤4：对所述空间特征进行重建得到高空间分辨率图像，同时将多光谱图像和全色图像直接传递到重建空间特征后的高分辨率图像中，从而提高融合图像的光谱分辨率；对所述空间特征进行重建包括采用U-Net网络对所述空间特征进行重建；采用长跳跃连接，通过光谱映射将所述多光谱图像和所述全色图像传递到空间重建图像中得到高空间分辨率和高光谱分辨率图像；所述图像融合方法采用l1作为损失函数进行训练，所述l1损失函数为：
其中，N是小批量训练样本的数量，和/>是PAN图像和低分辨率的MS图像，Y(i)是相应的高分辨率的MS图像，θ是基于注意力特征融合的双分支融合网络的参数；注意力特征融合模块为：
其中，X1，X2表示两个输入特征，Z∈RC×H×W表示融合特征，表示由通道注意力模块M得到的权重，由0到1之间的实数组成，/>由0到1之间的实数组成，/>表示广播加法，/>表示逐元素相乘；利用两个子网络分别从已经提取了高通滤波后的MS图像和PAN图像中提取特征，这两个子网络，结构相似，权重不同，一个子网络以4波段的图像作为输入，另一子网络以单波段的图像作为输入，每个子网络包含三个连续的卷积层，每个卷积层之后都带着一个修正线性单元；使用步长为2的卷积核来进行下采样，经过两次下采样，获得了两个不同尺度的特征图，它们分别仅占输入特征比例的1/2×1/2和1/4×1/4，之后，再利用两个反卷积进行上采样，逐步生成两个尺度分别为输入特征的1/2×1/2和1×1的特征图；在第二次下采样之前，将生成的特征图复制到第一次上采样之后，并与相应的特征图连接，以注入下采样过程中丢失的细节信息。
2.如权利要求1所述的图像融合方法，其特征在于：所述提取多光谱图像的第一高通信息包括对输入的多光谱图像进行上采样，使得所述多光谱图像与全色图像大小相同，然后采用高通滤波提取所述上采样多光谱图像的第一高通信息；所述提取全色图像的第二高通信息包括采用高通滤波提取全色图像的第二高通信息。
3.如权利要求2所述的图像融合方法，其特征在于：所述第一高通信息通过采用均值滤波提取所述上采样多光谱图像的第一低通信息，然后将所述上采样多光谱图像减去所述第一低通信息；所述第二高通信息通过采用均值滤波提取所述全色图像的第二低通信息，然后将所述上采样多光谱图像减去所述第二低通信息。
4.如权利要求1所述的图像融合方法，其特征在于：所述第一空间信息采用卷积神经网络提取，所述第二空间信息采用卷积神经网络提取。
5.一种图像融合方法的应用，其特征在于：将权利要求1～4中任一项所述的图像融合方法应用于遥感影像pansharpening问题。
CN202110567685.8A 2021-05-24 2021-05-24 一种图像融合方法、系统及其应用 Active CN113191325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110567685.8A CN113191325B (zh) 2021-05-24 2021-05-24 一种图像融合方法、系统及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110567685.8A CN113191325B (zh) 2021-05-24 2021-05-24 一种图像融合方法、系统及其应用

Publications (2)

Publication Number Publication Date
CN113191325A CN113191325A (zh) 2021-07-30
CN113191325B true CN113191325B (zh) 2023-12-12

Family

ID=76985682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110567685.8A Active CN113191325B (zh) 2021-05-24 2021-05-24 一种图像融合方法、系统及其应用

Country Status (1)

Country Link
CN (1) CN113191325B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537247B (zh) * 2021-08-13 2023-05-16 重庆大学 一种针对换流变压器振动信号的数据增强方法
CN114429424B (zh) * 2022-04-01 2022-06-24 中国石油大学(华东) 一种适用于退化方式不定的遥感图像超分重建方法
CN114511470B (zh) * 2022-04-06 2022-07-08 中国科学院深圳先进技术研究院 一种基于注意力机制的双分支全色锐化方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106508048B (zh) * 2011-12-05 2014-08-27 中国科学院自动化研究所 一种基于多尺度基本形式的相似尺度图像融合方法
CN109886870A (zh) * 2018-12-29 2019-06-14 西北大学 基于双通道神经网络的遥感图像融合方法
CN111539900A (zh) * 2020-04-24 2020-08-14 河南大学 一种基于引导滤波的ihs遥感图像融合方法
KR102160687B1 (ko) * 2019-05-21 2020-09-29 인천대학교 산학협력단 항공 이미지 융합 방법
CN112465733A (zh) * 2020-08-31 2021-03-09 长沙理工大学 基于半监督学习的遥感图像融合方法、装置、介质及设备
CN112488978A (zh) * 2021-02-05 2021-03-12 湖南大学 基于模糊核估计的多光谱图像融合成像方法及系统
CN112819737A (zh) * 2021-01-13 2021-05-18 西北大学 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482576B2 (en) * 2018-03-19 2019-11-19 Mitsubishi Electric Research Laboratories, Inc. Systems and methods for multi-spectral image super-resolution
CN114511470B (zh) * 2022-04-06 2022-07-08 中国科学院深圳先进技术研究院 一种基于注意力机制的双分支全色锐化方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106508048B (zh) * 2011-12-05 2014-08-27 中国科学院自动化研究所 一种基于多尺度基本形式的相似尺度图像融合方法
CN109886870A (zh) * 2018-12-29 2019-06-14 西北大学 基于双通道神经网络的遥感图像融合方法
KR102160687B1 (ko) * 2019-05-21 2020-09-29 인천대학교 산학협력단 항공 이미지 융합 방법
CN111539900A (zh) * 2020-04-24 2020-08-14 河南大学 一种基于引导滤波的ihs遥感图像融合方法
CN112465733A (zh) * 2020-08-31 2021-03-09 长沙理工大学 基于半监督学习的遥感图像融合方法、装置、介质及设备
CN112819737A (zh) * 2021-01-13 2021-05-18 西北大学 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法
CN112488978A (zh) * 2021-02-05 2021-03-12 湖南大学 基于模糊核估计的多光谱图像融合成像方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Attention_FPNet: Two-Branch Remote Sensing Image Pansharpening Network Based on Attention Feature Fusion;Xiwu Zhong 等;《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》;第14卷;第11879-11891页 *
PanNet: A deep network architecture for pan-sharpening;Junfeng Yang 等;《the IEEE international conference on computer vision》;第5449-5457页 *
多光谱与全色遥感图像融合算法的研究;朱超;《中国优秀硕士论文学位论文全文数据库 信息科技辑库》(第11期);第C028-158页 *
多源空――谱遥感图像融合方法进展与挑战;肖亮;刘鹏飞;李恒;;中国图象图形学报(05);第5-17页 *

Also Published As

Publication number Publication date
CN113191325A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN113191325B (zh) 一种图像融合方法、系统及其应用
Shao et al. Remote sensing image fusion with deep convolutional neural network
Blum et al. An Overview of lmage Fusion
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN112805744B (zh) 用于对多光谱图像去马赛克的系统和方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
Zhang et al. One-two-one networks for compression artifacts reduction in remote sensing
Hu et al. Pan-sharpening via multiscale dynamic convolutional neural network
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN111696043A (zh) 一种三维fsrcnn的高光谱图像超分辨率重建算法
CN115170410A (zh) 融合小波变换和注意力机制的图像增强方法及装置
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
Zhou et al. PAN-guided band-aware multi-spectral feature enhancement for pan-sharpening
Zhong et al. Attention_FPNet: Two-branch remote sensing image pansharpening network based on attention feature fusion
Yang et al. Variation learning guided convolutional network for image interpolation
CN108335265B (zh) 一种基于样本学习的快速图像超分辨率重建方法及装置
CN114511470B (zh) 一种基于注意力机制的双分支全色锐化方法
CN115100075A (zh) 基于光谱约束和残差注意力网络的高光谱全色锐化方法
CN115861749A (zh) 一种基于窗口交叉注意力的遥感图像融合方法
Daithankar et al. Analysis of the wavelet domain filtering approach for video super-resolution
CN109785253B (zh) 一种基于增强反投影的全色锐化后处理方法
Li et al. Pansharpening via subpixel convolutional residual network
Zheng et al. Hyperspectral pansharpening based on guided filter and deep residual learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant