CN114511470A - 一种基于注意力机制的双分支全色锐化方法 - Google Patents
一种基于注意力机制的双分支全色锐化方法 Download PDFInfo
- Publication number
- CN114511470A CN114511470A CN202210353729.1A CN202210353729A CN114511470A CN 114511470 A CN114511470 A CN 114511470A CN 202210353729 A CN202210353729 A CN 202210353729A CN 114511470 A CN114511470 A CN 114511470A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- attention
- complementary
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000007246 mechanism Effects 0.000 title claims abstract description 28
- 230000000295 complement effect Effects 0.000 claims abstract description 69
- 230000004927 fusion Effects 0.000 claims abstract description 66
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 230000003595 spectral effect Effects 0.000 claims description 40
- 239000000126 substance Substances 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000004321 preservation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种基于注意力机制的双分支全色锐化方法，该方法包括：获取多光谱图像和全色图像；采用基于注意力机制的特征提取模块的通道注意力分支提取多光谱图像的互补信息，得到第一互补特征；通道注意力分支用于在通道维度上自适应的调整通道权重；及采用基于注意力机制的特征提取模块的空间注意力分支提取全色图像的互补信息，得到第二互补特征；空间注意力分支用于在空间维度上自适应的对全色图像的每个像素的系数进行加权；对第一互补特征和第二互补特征进行融合，得到融合特征；对融合特征进行图像重建，得到高分辨率多光谱图像。该方案可以得到更高分辨率的多光谱图像。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种基于注意力机制的双分支全色锐化方法。
背景技术
目前遥感系统的设计而言，光谱分辨率和空间分辨率往往不能同时保持在高水平。不同传感器获取的图像在几何特征、光谱分辨率和空间分辨率方面有所不同。一些传感器获取了丰富的场景光谱信息，但缺乏足够的空间信息，如多光谱（multispectral，MS）图像。另一方面，一些传感器善于捕捉空间信息，但不能捕捉可靠的光谱信息，如全色（panchromatic，PAN）图像。高空间分辨率图像提供了微妙的几何特征，而高光谱分辨率图像提供丰富的光谱信息，可用于识别和分析目标。为了充分利用多光谱图像和全色图像提供的信息，通常的方法是将低分辨率多光谱图像与同一场景的高分辨率全色图像进行融合生成具有更详细空间和光谱结构的图像，即全色锐化。
遥感影像全色锐化发展至今，各种各样的技术都有，各种各样的算法，因为全色锐化往往作为遥感影像的其他应用（如，遥感影像的语义分割、分类等）的基础，在遥感影像处理上显得尤为重要。目前的广泛使用的技术方法包括：基于主成分分析的、基于小波变换的、基于卷积神经网络的和基于生成对抗网络等方法。虽然有很多方法的出现，但是这些方法都不算是最好的，因为这些方法往往对MS图像和PAN图像空间和光谱信息利用不充分。在现有的融合算法中，往往认为空间信息存在于PAN图像中，光谱信息存在于MS图像中，但是这样往往忽略了MS图像中存在的空间信息和PAN图像中可能存在的光谱信息，而且从MS和PAN提取的特征也视为对融合结果同等贡献，这存在一定的不合理性。同时，现有的深度学习方法，对PAN图像和MS图像提取特征后，在进行特征融合时，往往是对特征图进行线性连接，但不同的特征对融合结果的贡献未必一致，这也不符合全色锐化任务。而且，在现有基于深度学习的全色锐化问题，通常使用重建的高分辨率的MS图像（HRMS）和参考HRMS像素之间的误差来训练所使用的神经网络，但这缺乏了对光谱损失的考虑，往往能达到较好的空间性能，但是光谱保存较差。
发明内容
本说明书实施例的目的是提供一种基于注意力机制的双分支全色锐化方法。
为解决上述技术问题，本申请实施例通过以下方式实现的：
本申请提供一种基于注意力机制的双分支全色锐化方法，该方法包括：
获取多光谱图像和全色图像；
采用基于注意力机制的特征提取模块的通道注意力分支提取多光谱图像的互补信息，得到第一互补特征；通道注意力分支用于在通道维度上自适应的调整通道权重；及采用基于注意力机制的特征提取模块的空间注意力分支提取全色图像的互补信息，得到第二互补特征；空间注意力分支用于在空间维度上自适应的对全色图像的每个像素的系数进行加权；
对第一互补特征和第二互补特征进行融合，得到融合特征；
对融合特征进行图像重建，得到高分辨率多光谱图像。
在其中一个实施例中，采用基于注意力机制的特征提取模块的通道注意力分支提取多光谱图像的互补信息，得到第一互补特征，包括：
对多光谱图像进行上采样，得到上采样后多光谱图像，上采样后多光谱图像的大小与全色图像的大小一致；
采用基于注意力机制的特征提取模块的通道注意力分支提取上采样后多光谱图像的互补信息，得到第一互补特征。
在其中一个实施例中，对第一互补特征和第二互补特征进行融合，得到融合特征，包括：
采用注意力特征融合模块对第一互补特征和第二互补特征进行融合，得到融合特征。
在其中一个实施例中，采用注意力特征融合模块对第一互补特征和第二互补特征进行融合，得到融合特征，包括：
采用迭代注意力特征融合模块对第一互补特征和第二互补特征进行融合，得到融合特征。
在其中一个实施例中，对融合特征进行图像重建，得到高分辨率多光谱图像，包括：
采用三层卷积层对融合特征进行图像重建，得到高分辨率多光谱图像；其中，每层卷积层后均连着一层激活层。
在其中一个实施例中，对融合特征进行图像重建，得到高分辨率多光谱图像，包括：
对融合特征进行图像重建，得到重建图像；
利用长跳跃连接，将上采样后多光谱图像连接至重建图像；
将上采样后多光谱图像与重建图像求和，得到高分辨率多光谱图像。
在其中一个实施例中，执行该方法采用的基于注意力机制的双分支融合网络的损失函数为：
其中，N是小批量训练样本的数量，
和 
分别是全色图像和低分辨率多光谱图像，
是相应的高分辨率多光谱图像，
是网络的参数，
为基于注意力机制的双分支融合网络的网络模型，
是原始的未上采样的多光谱图像，
是原始的全色图像；
其中，
、
分别为第i波段和第j波段的高分辨率多光谱图像；
、
分别为第i波段和第j波段的低分辨率多光谱图像；K表示波段数；Q表示图像质量指数；
其中，Y表示原始的全色图像，
表示对全色图像降低分辨率后的图像。
由以上本说明书实施例提供的技术方案可见，该方案：可以得到更高分辨率的多光谱图像。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的基于注意力机制的双分支融合网络的结构示意图；
图2为本申请提供的注意力特征融合模块的结构示意图；
图3为本申请提供的基于注意力机制的双分支全色锐化方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
在不背离本申请的范围或精神的情况下，可对本申请说明书的具体实施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本申请的说明书得到的其他实施方式对技术人员而言是显而易见得的。本申请说明书和实施例仅是示例性的。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
本申请中的“份”如无特别说明，均按质量份计。
相关技术中，人们已经提出了很多不同的全色锐化方法。这些方法大致可以分为以下四类：成分替换（component substitution，CS），多分辨率分析（multiresolutionanalysis，MRA），混合方法（结合CS和MAR），基于模型的方法和基于深度学习的方法。
（1）成分替换方法：CS方法基于可逆变换，将MS图像变换到另外一种颜色空间，这种变换使得MS图像的空间信息和光谱信息分离开来，在直方图匹配后，用PAN图像的空间信息替换MS图像分离后的空间信息。最后利用逆变换将替换空间信息后的MS图像转换到原本的颜色空间。IHS（Intensity-Hue-Saturation），主成分分析法（principal componentanalysis，PCA），Brovey 变换（Brovey transform，BT）和基于Gram-Schmidt（GS）转换的方法是最广为人知的CS方法。
（2）多分辨率分析方法：MRA方法是利用拉普拉斯金字塔分解、小波变换、轮廓波变换、曲波变换等多种多维方法将每个原始数据都分解为不同分辨率的一系列图像，在不同分辨率上进行融合，最后进行逆变换获得融合后的图像。
（3）混合方法：混合方法结合了CS和MRA方法的优点
（4）基于模型的方法：基于模型方法采用一种逆向的思考方式，先假设由高分辨率的MS图像到低分辨率的MS和高分辨率的PAN的一种退化过程，以最优的模型描述该退化过程，并从该退化过程反向进行还原。
（5）基于深度学习的方法：基于深度学习方法依靠具有很少频谱失真的强大的卷积网络的特征提取能力，即可获得理想的融合性能。其中，2016年，Giuseppe等在单图像超分辨率重建算法SRCNN的基础上进行改进，提出了第一个基于深度学习的三层网络结构用于解决全色锐化问题。它首先对输入的MS图像和PAN图像在通道维度上进行堆叠，然后将其送入一个三层的网络结构中，对图像进行重建，从而生成具有高空间分辨率的多光谱图像。这个方法的思想后来被运用了起来，产生了很多基于深度学习的全色锐化网络结构，帮助了后续的发展。
上述方法往往对MS图像和PAN图像空间和光谱信息利用不充分。
下面结合附图和实施例对本发明进一步详细说明。
参照图1，其示出了适用于本申请实施例提供的方法的基于注意力机制的双分支融合网络的结构示意图。如图1所示，该基于注意力机制的双分支融合网络可以包括基于注意力机制的特征提取模块（Feature Extraction Module）、注意力特征融合模块（Attention Feature Fusion Module）和图像重建模块（Image Reconstruction Module）。
其中，基于注意力机制的特征提取模块可以简称为特征提取模块，该特征提取模块由两个分支（即通道注意力分支和空间注意力分支）组成，分别用于提取MS图像和PAN图像的互补信息。这两个分支均可分为两部分，其中第一部分均由三层结构相同，权重不同的3×3的卷积层构成，每一层卷积后均连着一层Parametric Rectified Linear Unit（PReLU）激活层。大多数的CNN结构会利用最大池化或平均池化来获得尺度和选择不变性特征，但是，这样将会损失细节，而细节信息对于全色锐化问题是很重要的，因此，在本申请中，将不采用池化操作。MS图像和PAN图像分别经过特征提取模块的两个分支的第一部分就初步得到了MS图像的第一初步互补特征和PAN图像的第二初步互补特征。
由于经过卷积层得到的特征图，不论在通道维度上还是在空间维度上，对于融合结果的贡献并非都是一致的，所以在特征提取模块中的第二部分引入了DANet（DualAttention Network，双重注意力网络），它将通道注意力和空间注意力并联从而实现注意力机制。其中，通道注意力分支为在三层卷积后加通道注意力矩阵（由通道注意力机制获得），可以自适应地在通道维度上给予不同特征图以不同权重，给予对融合结果贡献较大的通道更大的权重；空间注意力分支为在三层卷积后加空间注意力矩阵（由空间注意力机制获得），可以自适应地在空间维度上对PAN图像的每个像素的系数进行加权，以获得更具辨别力的空间特征。第一初步互补特征和第二初步互补特征分别经过特征提取模块的两个分支的第二部分就得到了MS图像的第一互补特征和PAN图像的第二互补特征。
其中，注意力特征融合模块可以简称为特征融合模块或融合模块。在经过特征提取模块后，就已经得到了两个明确表示MS图像和PAN图像互补信息的特征（第一互补特征和第二互补特征）。在特征融合模块中，必须同时考虑光谱和空间信息。因此，本申请将特征提取模块得到的特征作为特征融合模块的输入。
在以往的基于深度学习的全色锐化问题中，人们往往直接对提取的特征在通道维度进行直接的线形连接，认为每个通道对于最后的融合结果的贡献是一致的，但这存在着一定的不合理性。简单的线形连接并没有考虑到不同特征图之间存在的关系，这样的组合可能并不适合于全色锐化问题。为此，本申请引入一种注意力特征融合模块来替代现有的在通道维度简单线形连接的融合方法，注意力特征融合（Attention Feature Fusion，AFF）模块的网络结构如图2所示（图2所示为迭代注意力特征融合模块）。由于批量归一化层（batch normalization，BN）假设训练和测试数据的分布是相同的，但是这不利于模型的泛化能力，因为在一颗卫星数据集上获得的BN层参数不总是与其他卫星数据集上的一致，所以在测试新的卫星数据时，不同卫星数据集获得的BN层参数可能会导致分布波动，影响后续的计算。因此去除BN层对于不能提供足够训练数据的新卫星和传感器是有实用价值的，同时，去除BN层也可以充分减少内存使用。为此，本申请注意力特征融合模块中将BN层去除了。
如图2所示，为了生成更好的初始特征，迭代了两次AFF（Iterative AFF，iAFF），图2中每个虚线框均表示一个AFF模块。图2中
、
分别表示两个输入特征（即第一互补特征和第二互补特征），
表示融合特征。其中，AFF的计算方法如下：
其中，
表示由通道注意力机制模块M得到的权重，它由0到1之间的实数组成； 
对应图2中的虚线箭头，也是由0到1之间的实数组成。
继续参照图1，图像重建模块采用三层卷积核均为3×3的卷积层对融合后的融合特征进行重建，其中，每一层卷积后均连着一层Parametric Rectified Linear Unit（PReLU）激活层。
参照图3，其示出了适用于本申请实施例提供的一种基于注意力机制的双分支全色锐化方法的流程示意图。
如图3所示，一种基于注意力机制的双分支全色锐化方法，可以包括：
S310、获取多光谱图像和全色图像。
具体的，一般，获取的多光谱图像为低分辨率多光谱图像，获取的全色图像为高分辨率全色图像。
S320、采用基于注意力机制的特征提取模块的通道注意力分支提取多光谱图像的互补信息，得到第一互补特征；通道注意力分支用于在通道维度上自适应的调整通道权重；及采用基于注意力机制的特征提取模块的空间注意力分支提取全色图像的互补信息，得到第二互补特征；空间注意力分支用于在空间维度上自适应的对全色图像的每个像素的系数进行加权。
其中，采用基于注意力机制的特征提取模块的通道注意力分支提取多光谱图像的互补信息，得到第一互补特征，可以包括：
对多光谱图像进行上采样，得到上采样后多光谱图像，上采样后多光谱图像的大小与全色图像的大小一致；
采用基于注意力机制的特征提取模块的通道注意力分支提取上采样后多光谱图像的互补信息，得到第一互补特征。
具体的，先对图像进行预处理，即对获取的多光谱图像进行上采样，以使上采样后多光谱图像的大小与全色图像的大小一致。然后再对上采样后多光谱图像和全色图像分别提取互补信息。
本实施例中，对多光谱图像和全色图像分别进行特征提取时，分别引入了一个灵活且自适应的注意力机制，更加有效地提取了多光谱图像和全色图像有用的互补信息。
S330、对第一互补特征和第二互补特征进行融合，得到融合特征，包括：
采用注意力特征融合模块对第一互补特征和第二互补特征进行融合，得到融合特征。
具体为，采用如图2所示的迭代注意力特征融合模块对第一互补特征和第二互补特征进行融合，得到融合特征。
本实施例中，在特征融合阶段，采用迭代注意力特征融合模块进行特征融合，可以提高特征融合的性能。
S340、对融合特征进行图像重建，得到高分辨率多光谱图像，包括：
采用三层卷积层对融合特征进行图像重建，得到高分辨率多光谱图像；其中，每层卷积层后均连着一层激活层。
具体的，在经过步骤S330特征融合后，还需要从融合特征中恢复出HRMS（HighResolution Multispectral，高分辨率多光谱）图像。本申请使用三层卷积核均为3×3的卷积层（每层卷积层后均连着一层激活层），对融合后的融合特征进行重建，恢复出本申请所需要的四波段的HRMS图像。
在一个实施例中，对融合特征进行图像重建，得到高分辨率多光谱图像，还可以包括：
对融合特征进行图像重建，得到重建图像；
利用长跳跃连接，将上采样后多光谱图像连接至重建图像；
将上采样后多光谱图像与重建图像求和，得到高分辨率多光谱图像。
具体的，本申请使用一个长跳跃连接，将上采样后MS图像直接传递到网络的输出（即连接至图像重建模块的输出），作为光谱映射，补充了重建图像的光谱信息。
除了网络结构，损失函数也是影响重建图像质量的另一个重要因素。在以往的全色锐化任务中，经常使用ℓ2作为损失函数或者使用ℓ1作为损失函数，但是这些均是使用重建的HRMS图像和参考HRMS图像像素之间的误差来训练所使用的神经网络，而缺乏对光谱损失的考虑，往往无法达到较好的性能。在本申请中，设计了一种可替代的解决方案，在ℓ1损失函数的基础上，引入了光谱损失的考虑。
图像质量指数(QI)提供了两个单通道图像之间的统计相似性度量。为了测量光谱一致性，可以计算 LRMS 图像中任意一对光谱带之间的 QI 值，并将它们与全色锐化图像中的值进行比较。类似地，MS图像和 PAN图像中每个光谱带之间的 QI 值应该与全色锐化图像和 PAN 图像中每个光谱带之间的 QI值一致，这定义了空间一致性。这说明，当光谱信息在空间分辨率上从粗尺度转换到细尺度时，融合后的QI值应该保持不变。为此，本申请将
和
引入到我们的损失函数中，如下：
其中，N是小批量训练样本的数量，
和
分别是PAN图像和根据Wald协议得到的低分辨率MS图像，
是相应的高分辨率MS图像，
是网络的参数，
为本申请采用的网络模型，
是原始的未上采样的MS图像，
是原始的PAN图像。这里，取
。
其中，
、
分别为第i波段和第j波段的高分辨率多光谱图像；
、
分别为输入的第i波段和第j波段的LRMS图像；K表示波段数；Q表示图像QI；它定义为：
这里，
表示x和y之间的协方差，
分别表示x和y的方差。
分别表示x和y的均值。
其中，Y表示输入的原始PAN图像，
表示对PAN降低分辨率后的图像。
本实施例，构建了一个新的损失函数，考虑了光谱损失，从而可以提升生成图像的质量。
采用本申请实施例提供的基于注意力机制的双分支全色锐化方法，可以得到更高分辨率的多光谱图像。
下述对本申请基于注意力机制的双分支全色锐化方法进行精度检验及评价
本申请将所使用的方法与几种广泛使用的技术进行比较，使用五个广泛使用的指标来定量评估本申请提出的方法和现有方法的性能。五个指标包括：均方根误差（RootMean Square Error，RMSE）、光谱角映射（Spectral Angle Mapper，SAM）、相对无量纲全局综合误差（Relative Dimensionless Global Error in Synthesis，ERGAS）、空间相关系数(spatial correlation coefficient，SCC)、质量指标（Quality-index，Q）。
RMSE用来比较两幅图像间的差异，其直接计算两幅图像像素值的差异，数值越小说明算法结果与参考HRMS图像越相似，其理想值为0。
SAM计算的是HRMS图像和融合结果之间的夹角，评估融合结果的光谱质量，该值越小说明光谱质量越好，其理想值为0。
其中，
是融合图像和参考图像在距离点a处的像素向量。
ERGAS能较为全面地反映融合结果的质量，ERGAS的值越小说明结果越好，其理想值为0。
其中，h为高分辨率图像的分辨率，
为低分辨率图像的分辨率，N为波段数，Bi为多光谱图像，Mi为多光谱图像的辐射率值的平均值。
SCC是为了评估融合图像与参考图像空间细节的相似性，利用高通滤波器提取参考图像的高频信息，计算高频信息之间的相关系数（Correlation Coefficient ，CC）。本文使用高拉普拉斯通滤波器
得到高频率。SCC越高，说明融合过程中PAN图像的大部分空间信息都被注入。计算融合图像和参考图像之间的SCC。最终的SCC在MS图像的所有波段上取平均值。
相关系数的计算为：
其中，X为融合图像，Y为参考图像，w和h为图像的宽和高，
表示图像的平均值。
Q结合三个因素计算图像失真：相关损失，亮度失真和对比度失真。它定义为：
其中，
表示融合图像和参考图像的第b波段。当Q为1时，表示最佳保真度可供参考。
表1-表2显示了在GaoFen-1和GeoEye-1两个卫星数据集上的定量指标，表1-表2定量指标的定量结果中最好、次好以及再次之分别
。从表1-表2中，可以看出，本申请的算法在所有指标上均取得了最好的成绩，这说明本申请的网络在两个模型能生成更好的融合结果，具有更少的频谱失真。同时，MSDCNN和TFNet在GaoFen-1数据集也取得了较好的结果，在大多数指标上均超过了传统方法。在GeoEye-1数据集上，PNN和MSDCNN也取得了较好的结果，大多数指标均超过了传统方法，这表明深度学习的方法在解决全色锐化问题方面有很大的潜力。除了基于深度学习的方法外，基于Brovey变换的融合方法在GaoFen-1上数据集上也取得了较好的结果。
表1 基于GaoFen-1数据集的定量结果
表2 基于GeoEye-1数据集的定量结果
还对GaoFen-1和GeoEye-1两个卫星数据集上的定性结果进行了分析，由于定性结果图为彩色图，转换为黑白图看不出对比效果，因此，此处未附图。在 GaoFen-1 数据集上的实验结果可以看出，除了本申请的模型、MSDCNN 和 TFNet 之外，其他几种算法产生的结果都有明显的光谱失真和模糊，例如 Brovey、IHS、Wavelet 、PNN 和 PanNet，它们都具有明显的光谱失真和模糊，而 RestFNet 也有伪影的现象。为了更准确地评估光谱和空间失真，本申请还使用了残差图。从残差图中可以看出，本申请的模型在平滑部分是深蓝色的，包含的细节和纹理较少，这表明本申请的模型获得了更好的空间细节，同时也具有更好的光谱保存能力。在GeoEye-1数据集上，除了Brovey、IHS和Wavelet外，其他的算法均能得到较理想的融合性能。Brovey、IHS和 Wavelet存在着明显的模糊的现象。为了更明显地评估空间失真和光谱失真，这里也同样实用残差图，从残差图可以看出，本申请的模型在整体平滑部分也呈现出深蓝色，并且具有较少的细节和纹理，这说明本申请的模型生成的图像具有更好融的融合性能。
在实际应用中，作为Ground true的高分辨率的多光谱图像是不存在的，但是人们更期望全色锐化模型也能更好地推广到全分辨率的情况。下述将在真实数据上测试本申请的方法，即输入的测试数据（MS图像和PAN图像）均处于原始空间分辨率。由于没有可比较的Ground true，因此，使用
、
和QNR三个无参考图像质量指标来评估本申请的方法和其他几个对比算法。结果如表3所示，表3无参考质量评估中最好、次好以及再次之分别
。
从表3中能看出，在GaoFen-1数据集上，本申请的模型在
和QNR两个指标上均取得了最好的成果，就
指标也取得了第四的成绩。在GeoEye-1数据集上，本申请的模型在三个指标上均取得了最好的成绩。这说明本申请的方法在光谱信息和空间信息的保持上优于其他方法。在GaoFen-1上，PNN和ResTFNet均取得了较好的结果，在GeoEye-1上，MSDCNN和PNN也取得了较好的成果，这说明基于深度学习的方法在真实数据集上也具有很大的潜力。
本申请也对在真实数据集的实验结果做了定性的比较，由于定性结果图为彩色图，转换为黑白图看不出对比效果，因此，此处未附图。在GaoFen-1数据集上的融合结果中，能发现Brovey和IHS均存在明显的模糊现象和存在一定光谱失真现象，Wavelet存在着明显的空间信息的丢失。基于深度学习方法中，PanNet，TFNet和MSDCNN也存在着明显的模糊现象，PNN、TFNet和ResTFNet也存在这一定的空间、光谱信息失真的现象，而本申请的模型，在不发生光谱失真的情况下，生成的图像在细节方面表现更好。在GeoEye-1数据集上的融合结果可以看出，Brovey、HIS、Wavelet一样依旧存在明显的模糊现象和存在一定光谱失真现象。基于深度学习的方法，除了本申请的模型和PNN以及MSDCNN外，其他模型生成的结果，多多少少存在着一定空间信息的丢失，而PNN、MSDCNN和我们的模型生成的图像，本申请的模型生成的图像细节信息相对更丰富。
表3 两个数据集上的无参考质量评估结果。
精度检验结论：基于上面的实验分析，发现在两个卫星数据集上，本申请的方法，不管在光谱指标和空间指标上，还是在视觉效果上，均优于其他几种常用的方法。这表明，本申请的方法对于解决遥感影像全色锐化问题是有效的。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
Claims (7)
1.一种基于注意力机制的双分支全色锐化方法，其特征在于，所述方法包括：
获取多光谱图像和全色图像；
采用基于注意力机制的特征提取模块的通道注意力分支提取所述多光谱图像的互补信息，得到第一互补特征；所述通道注意力分支用于在通道维度上自适应的调整通道权重；及采用所述基于注意力机制的特征提取模块的空间注意力分支提取所述全色图像的互补信息，得到第二互补特征；所述空间注意力分支用于在空间维度上自适应的对所述全色图像的每个像素的系数进行加权；
对所述第一互补特征和所述第二互补特征进行融合，得到融合特征；
对所述融合特征进行图像重建，得到高分辨率多光谱图像。
2.根据权利要求1所述的方法，其特征在于，所述采用基于注意力机制的特征提取模块的通道注意力分支提取所述多光谱图像的互补信息，得到第一互补特征，包括：
对所述多光谱图像进行上采样，得到上采样后多光谱图像，所述上采样后多光谱图像的大小与所述全色图像的大小一致；
采用所述基于注意力机制的特征提取模块的通道注意力分支提取所述上采样后多光谱图像的互补信息，得到所述第一互补特征。
3.根据权利要求1所述的方法，其特征在于，所述对所述第一互补特征和所述第二互补特征进行融合，得到融合特征，包括：
采用注意力特征融合模块对所述第一互补特征和所述第二互补特征进行融合，得到融合特征。
4.根据权利要求3所述的方法，其特征在于，所述采用注意力特征融合模块对所述第一互补特征和所述第二互补特征进行融合，得到融合特征，包括：
采用迭代注意力特征融合模块对所述第一互补特征和所述第二互补特征进行融合，得到融合特征。
5.根据权利要求2所述的方法，其特征在于，所述对所述融合特征进行图像重建，得到高分辨率多光谱图像，包括：
采用三层卷积层对所述融合特征进行图像重建，得到所述高分辨率多光谱图像；其中，每层所述卷积层后均连着一层激活层。
6.根据权利要求5所述的方法，其特征在于，所述对所述融合特征进行图像重建，得到高分辨率多光谱图像，包括：
对所述融合特征进行图像重建，得到重建图像；
利用长跳跃连接，将所述上采样后多光谱图像连接至所述重建图像；
将所述上采样后多光谱图像与所述重建图像求和，得到所述高分辨率多光谱图像。
7.根据权利要求1-6任一项所述的方法，其特征在于，执行所述方法采用的基于注意力机制的双分支融合网络的损失函数为：
其中，N是小批量训练样本的数量，
和
分别是全色图像和低分辨率多光谱图像，
是相应的高分辨率多光谱图像，
是网络的参数，
为基于注意力机制的双分支融合网络的网络模型，
是原始的未上采样的多光谱图像，
是原始的全色图像；
其中，
分别为第i波段和第j波段的高分辨率多光谱图像；
分别为第i波段和第j波段的低分辨率多光谱图像；K表示波段数；Q表示图像质量指数；
其中，Y表示原始的全色图像，
表示对全色图像降低分辨率后的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210353729.1A CN114511470B (zh) | 2022-04-06 | 2022-04-06 | 一种基于注意力机制的双分支全色锐化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210353729.1A CN114511470B (zh) | 2022-04-06 | 2022-04-06 | 一种基于注意力机制的双分支全色锐化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114511470A true CN114511470A (zh) | 2022-05-17 |
| CN114511470B CN114511470B (zh) | 2022-07-08 |
Family
ID=81554704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210353729.1A Active CN114511470B (zh) | 2022-04-06 | 2022-04-06 | 一种基于注意力机制的双分支全色锐化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114511470B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191325A (zh) * | 2021-05-24 | 2021-07-30 | 中国科学院深圳先进技术研究院 | 一种图像融合方法、系统及其应用 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111582363A (zh) * | 2020-05-06 | 2020-08-25 | 西安电子科技大学 | 一种基于多视点深度特征融合SENet网络的分类方法 |
| CN112465733A (zh) * | 2020-08-31 | 2021-03-09 | 长沙理工大学 | 基于半监督学习的遥感图像融合方法、装置、介质及设备 |
| CN112819737A (zh) * | 2021-01-13 | 2021-05-18 | 西北大学 | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 |
| CN113066037A (zh) * | 2021-03-31 | 2021-07-02 | 山东师范大学 | 基于图注意力机制的多光谱与全色图像融合方法及系统 |
| CN113191325A (zh) * | 2021-05-24 | 2021-07-30 | 中国科学院深圳先进技术研究院 | 一种图像融合方法、系统及其应用 |
| CN113222823A (zh) * | 2021-06-02 | 2021-08-06 | 国网湖南省电力有限公司 | 基于混合注意力网络融合的高光谱图像超分辨率方法 |
| CN113920043A (zh) * | 2021-09-30 | 2022-01-11 | 海南大学 | 基于残差通道注意力机制的双流遥感图像融合方法 |
| CN114119444A (zh) * | 2021-11-29 | 2022-03-01 | 武汉大学 | 一种基于深度神经网络的多源遥感图像融合方法 |
-
2022
- 2022-04-06 CN CN202210353729.1A patent/CN114511470B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111582363A (zh) * | 2020-05-06 | 2020-08-25 | 西安电子科技大学 | 一种基于多视点深度特征融合SENet网络的分类方法 |
| CN112465733A (zh) * | 2020-08-31 | 2021-03-09 | 长沙理工大学 | 基于半监督学习的遥感图像融合方法、装置、介质及设备 |
| CN112819737A (zh) * | 2021-01-13 | 2021-05-18 | 西北大学 | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 |
| CN113066037A (zh) * | 2021-03-31 | 2021-07-02 | 山东师范大学 | 基于图注意力机制的多光谱与全色图像融合方法及系统 |
| CN113191325A (zh) * | 2021-05-24 | 2021-07-30 | 中国科学院深圳先进技术研究院 | 一种图像融合方法、系统及其应用 |
| CN113222823A (zh) * | 2021-06-02 | 2021-08-06 | 国网湖南省电力有限公司 | 基于混合注意力网络融合的高光谱图像超分辨率方法 |
| CN113920043A (zh) * | 2021-09-30 | 2022-01-11 | 海南大学 | 基于残差通道注意力机制的双流遥感图像融合方法 |
| CN114119444A (zh) * | 2021-11-29 | 2022-03-01 | 武汉大学 | 一种基于深度神经网络的多源遥感图像融合方法 |
Non-Patent Citations (7)
| Title |
|---|
| WANWAN ZHANG等: "Attention-Based Tri-UNet for Remote Sensing Image Pan-Sharpening", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 * |
| ZENGYUN HU等: "Temporal and spatial variations in the terrestrial water storage across Central Asia based on multiple satellite datasets and global hydrological models", 《JOURNAL OF HYDROLOGY》 * |
| 吴佼华等: "基于双分支卷积神经网络的SAR与多光谱图像融合实验", 《地理与地理信息科学》 * |
| 姚远等: "定量遥感尺度转换方法研究进展", 《地理科学》 * |
| 朱超: "多光谱与全色遥感图像融合算法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 杨晴: "基于注意力网络的多光谱与高光谱融合方法及系统", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
| 王乐等: "基于感知损失的遥感图像全色锐化反馈网络", 《计算机科学》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191325A (zh) * | 2021-05-24 | 2021-07-30 | 中国科学院深圳先进技术研究院 | 一种图像融合方法、系统及其应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114511470B (zh) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xie et al. | Hyperspectral image super-resolution using deep feature matrix factorization | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| Shao et al. | Remote sensing image fusion with deep convolutional neural network | |
| CN111127374B (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
| Rao et al. | A residual convolutional neural network for pan-shaprening | |
| Xu et al. | HAM-MFN: Hyperspectral and multispectral image multiscale fusion network with RAP loss | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| He et al. | Fast hyperspectral image recovery of dual-camera compressive hyperspectral imaging via non-iterative subspace-based fusion | |
| CN109727207B (zh) | 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 | |
| Hu et al. | Pan-sharpening via multiscale dynamic convolutional neural network | |
| Huang et al. | Deep hyperspectral image fusion network with iterative spatio-spectral regularization | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| Zhang et al. | LR-Net: Low-rank spatial-spectral network for hyperspectral image denoising | |
| CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
| CN113763299B (zh) | 一种全色与多光谱图像融合方法、装置及其应用 | |
| CN108765359A (zh) | 一种基于jskf模型和nsct技术的高光谱遥感影像与全色图像的融合方法 | |
| CN113191325B (zh) | 一种图像融合方法、系统及其应用 | |
| CN111696043A (zh) | 一种三维fsrcnn的高光谱图像超分辨率重建算法 | |
| CN113673590A (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| CN108288256A (zh) | 一种多光谱马赛克图像复原方法 | |
| Yang et al. | License plate image super-resolution based on convolutional neural network | |
| CN114511470B (zh) | 一种基于注意力机制的双分支全色锐化方法 | |
| CN110111276A (zh) | 基于空-谱信息深度利用的高光谱遥感影像超分辨率方法 | |
| CN115861749A (zh) | 一种基于窗口交叉注意力的遥感图像融合方法 | |
| CN115100075A (zh) | 基于光谱约束和残差注意力网络的高光谱全色锐化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |