CN115082344A - 基于细节注入的双分支网络全色锐化方法 - Google Patents

基于细节注入的双分支网络全色锐化方法 Download PDF

Info

Publication number
CN115082344A
CN115082344A CN202210747819.9A CN202210747819A CN115082344A CN 115082344 A CN115082344 A CN 115082344A CN 202210747819 A CN202210747819 A CN 202210747819A CN 115082344 A CN115082344 A CN 115082344A
Authority
CN
China
Prior art keywords
image
network
panchromatic
pan
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210747819.9A
Other languages
English (en)
Inventor
王文卿
周智强
张小乔
吕途
刘涵
梁莉莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202210747819.9A priority Critical patent/CN115082344A/zh
Publication of CN115082344A publication Critical patent/CN115082344A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10041—Panchromatic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于细节注入的双分支网络全色锐化方法，首先将原始数据划分为训练、验证和测试数据，生成相应的数据集并进行预处理；然后构建基于细节注入的双分支全色锐化网络模型；对基于细节注入的双分支全色锐化网络模型进行训练；利用训练好的网络模型对测试数据进行融合；最后对融合图像质量进行评估。本发明对于不同类别的源图像，采用不同的独立子网络进行特征提取，并在特征融合的过程中不断地利用提取的特征图，弥补融合过程中丢失的信息同时促进信息流动；解决了现有方法没有充分利用两类源图像中的特有信息及模型可解释性不强导致的融合结果性能不高的问题。

Description

基于细节注入的双分支网络全色锐化方法
技术领域
本发明属于图像处理中遥感图像融合技术领域，具体涉及一种基于细节注入的双分支网络全色锐化方法。
背景技术
遥感技术是获取地物信息的重要方式。近年来，遥感技术快速发展，遥感影像数据的规模不断增长，且在地物勘探、环境监测、国防军事等领域发挥着日益重要的作用。对于遥感数据的应用，在光谱和空间上同时具有高分辨率的遥感影像对于分析、处理和决策等过程往往具有先导作用，因而成为用户的迫切需求。然而，受到传感器成像条件和工艺的限制，单一传感器无法获取兼具高空间和高光谱分辨率的遥感影像。一般情况下，遥感卫星通过两类传感器分别获取全色图像(PAN)和多光谱(MS)图像。多光谱图像在成像前会将入射光分解为红、绿、蓝、近红外等不同谱段，因此光谱分辨率高，但含有的空间信息不足；全色图像的谱段范围比多光谱图像宽，因而光谱分辨率较低，但具有丰富的空间信息。全色锐化的目的是对两类图像进行融合，结合两类图像的互补优势，以获得在光谱和空间上兼具高分辨率的遥感影像。融合后的图像保留了多光谱图像中的光谱信息，有利于区分不同的地物目标，同时具有高的空间分辨率，便于观察目标的形状结构。全色锐化技术降低了利用单一遥感数据对目标进行分析的不确定性、不完全性，提高了遥感数据的应用价值。
近年来，全色锐化引起了越来越多研究人员的关注，并取得了可观发展。传统的全色锐化方法通常需要使用某些工具从图像中提取轮廓、边缘、纹理等特征，然后进行特征选择，再通过适当的融合规则注入这些特征以获得融合图像。这些步骤大多需要手动设计实现，复杂度较高，且获得的融合图像在光谱和空间质量间通常不能达到较好的平衡。随着深度学习技术的发展，卷积神经网络被广泛应用于计算机视觉领域并取得了瞩目发展，并且逐渐被应用于全色锐化领域。基于卷积神经网络的全色锐化方法避免了传统算法手工设计融合方案的问题，而是对特征提取和选择、融合图像重建等过程进行联合优化，减小中间过程对融合结果的影响，另外生成的融合图像的性能也较传统算法更好。
在目前提出的应用卷积神经网络解决全色锐化问题的方法中，通常将全色锐化视作多光谱图像的超分辨率重建，即以上采样的低分辨率多光谱图像和全色图像共同作为网络模型的输入，并直接学习该输入到理想高分辨率多光谱(HRMS)图像的映射，但这样忽略了两类源图像间的差异性，且没有充分利用全色图像中的空间信息及多光谱图像中的光谱信息。另一方面，许多网络将全色锐化的过程视作一个黑盒，模型结构不具有明确的物理可解释性，同时也没有引入全色锐化领域的先验知识，因此模型的学习能力和性能受到限制。
发明内容
本发明的目的是提供一种基于细节注入的双分支网络全色锐化方法，对于不同类别的源图像，采用不同的独立子网络进行特征提取，并在特征融合的过程中不断地利用提取的特征图，弥补融合过程中丢失的信息同时促进信息流动；另外，采用细节注入的策略直接学习需要注入上采样多光谱图像中的细节，简化模型学习过程的同时提高了其物理可解释性，解决了现有方法没有充分利用两类源图像中的特有信息及模型可解释性不强导致的融合结果性能不高的问题。
本发明所采用的技术方案是，基于细节注入的双分支网络全色锐化方法，具体按照以下步骤实施：
步骤1、将原始数据划分为训练、验证和测试数据，生成相应的数据集并进行预处理；
步骤2、构建基于细节注入的双分支全色锐化网络模型；
步骤3、对基于细节注入的双分支全色锐化网络模型进行训练；
步骤4、利用训练好的网络模型对测试数据进行融合；
步骤5、对融合图像质量进行评估。
本发明的特点还在于，
步骤1具体按照以下步骤实施：
步骤1.1、给定多组原始多光谱MS图像和全色PAN图像，每一组包含的多光谱图像为一个三维矩阵
Figure BDA0003719986080000031
全色图像为一个二维矩阵
Figure BDA0003719986080000032
其中
Figure BDA0003719986080000033
为实数域符号，H、W分别为全色图像的高和宽，B为多光谱图像的波段数，r表示多光谱与全色图像的空间分辨率之比，将原始多光谱图像和全色图像按8∶1∶1的比例随机划分为训练数据、验证数据和测试数据；
步骤1.2、对于训练数据和验证数据中的每一组图像，采用与获取多光谱图像的传感器的调制传递函数MTF相匹配的滤波器对原始多光谱MS图像进行滤波，然后采用最近邻插值的方式对滤波后的原始多光谱MS图像进行下采样得到空间退化的原始多光谱MS图像，同时采用双三次插值方式对全色PAN图像进行下采样得到空间退化的全色PAN图像。对空间退化的原始多光谱MS图像进行上采样，使空间退化的原始多光谱MS图像与空间退化的全色PAN图像尺寸一致。以空间退化的原始多光谱MS图像及空间退化的全色PAN图像作为模拟输入数据，并将原始多光谱MS图像作为参考图像，按设定步幅将模拟输入数据和参考图像裁剪为对应的小尺寸图像块，以产生数据量较大的训练集和验证集。
步骤1.3、对于产生的训练集和验证集，以除以最大像素灰度值的方式对模拟输入数据和参考图像进行归一化，再对归一化后的全色PAN图像进行低通滤波得到归一化全色PAN图像的低通版本，并通过全色PAN图像减去归一化全色PAN图像的低通版本的方式获得归一化全色PAN图像的高频成分(该过程在网络结构图中称为高通滤波)。
步骤1.4、对于测试数据，分别生成模拟测试数据和真实测试数据两类。生成模拟测试数据的方式为：对原始MS和PAN图像分别执行空间退化操作，然后对退化的MS图像进行上采样，接着对上采样的退化MS图像及退化的PAN图像作归一化处理，并对得到的PAN图像进行高通滤波获得退化的PAN图像的高频成分，以归一化后的上采样的退化MS图像和退化的PAN图像的高频成分作为模拟测试数据。生成真实测试数据的方式为：对原始MS图像进行上采样，然后对上采样的MS图像及原始PAN图像作归一化处理，接着对得到的PAN图像进行高通滤波获得原始PAN图像的高频成分。以归一化后的上采样MS图像和PAN图像的高频成分作为真实测试数据。
步骤2具体按照以下步骤实施：
步骤2.1、构建两个并行的结构相似的特征提取子网络a和特征提取子网络b，每个子网络由第1卷积层、第1激活函数、第2卷积层、第2激活函数、第3卷积层及第3激活函数组成，设置第1卷积层的卷积核大小为1×1，第2、3卷积层的卷积核大小为3×3，各卷积层的卷积核个数均为32，滑动步幅均为1，激活函数均采用整流线性单元ReLU；
步骤2.2、将所述步骤2.1中两个并行的特征提取子网络的输出特征图沿通道方向进行拼接，并送入特征融合子网络，所述特征融合子网络由三个连续的残差单元构成，每一个残差单元的结构由第1卷积层、第1激活函数、第2卷积层、第2激活函数和第3卷积层组成，并对第1卷积层的输入和第3卷积层的输出执行按元素加操作，在获得第一和第二个残差单元的输出后，将两个残差单元的输出分别与两分支特征提取子网络第1卷积层的输出特征图进行拼接，并以拼接后的数据作为下一残差单元的输入，设置第1卷积层的卷积核大小为1×1，卷积核个数为64，第2、3卷积层的卷积核大小为3×3，个数分别为64、32，各层卷积核的滑动步幅均为1，激活函数采用整流线性单元ReLU；
步骤2.3、将特征融合子网络的输出送入图像重建子网络，图像重建子网络的结构由第1卷积层、第1激活函数和第2卷积层组成，设置第1卷积层的卷积核大小为1×1，卷积核个数为32，第2卷积层的卷积核大小为3×3，个数为4或8，卷积核的滑动步幅均为1，激活函数采用整流线性单元ReLU；
步骤2.4、将上采样的多光谱图像与图像重建子网络的输出进行相加，得到最终的融合图像。
步骤3具体按照以下步骤实施：
步骤3.1、将步骤2中的特征提取子网络a、特征提取子网络b、特征融合子网络和图像重建子网络这四个子网络组合得到总体网络结构模型，具体组合方法是先并行特征提取子网络a和特征提取子网络b，然后串行特征融合子网络，最后串行图像重建子网络，然后将采用步骤1中生成的训练集和测试集对构建的总体网络结构模型进行有监督训练，训练过程中采用的损失函数为
L＝LM+α·Ls+β·Lλ (1)
其中LM、LS、Lλ分别为网络输出与参考图像间的均方误差项、网络输出与输入全色PAN图像间的空间损失项及网络输出与输入原始多光谱MS图像间的光谱损失项，
步骤3.2、三个损失项分别定义如下：
Figure BDA0003719986080000061
Figure BDA0003719986080000062
Figure BDA0003719986080000063
式中，
Figure BDA0003719986080000064
M分别为网络的输出图像及参考图像，m、p分别为退化的原始多光谱MS和全色PAN图像，N为训练样本的批大小batch size，repmat为将p图像沿波段方向扩展至与
Figure BDA0003719986080000065
相同波段数的操作，fdegrade表示对图像使用带有MTF滤波的空间退化操作；
步骤3.3、采用Adam方法更新模型参数，训练过程中的学习率设置为0.001，直到损失值收敛或达到设定的最大迭代次数时停止训练，得到训练好的基于细节注入的双分支全色锐化网络模型。
步骤4具体按照以下步骤实施：
将步骤1中产生的模拟测试数据和真实测试数据分别输入至步骤3训练好的基于细节注入的双分支全色锐化网络模型获得相应的模拟融合结果和真实融合结果，将获得的融合结果的像素值裁减至[0,1]区间，再通过乘最大像素灰度值的方式进行反归一化得到最终的融合结果。
步骤5具体按照以下步骤实施：
对于模拟融合图像，以原始原始多光谱MS图像为参照，通过评价指标评估所述步骤4得到的融合图像的质量；对于真实融合图像，将步骤4得到的融合图像与原始MS或全色PAN图像进行对照，计算相应的评价指标，评估融合图像质量。
本发明的有益效果是，第一，模型采用两个并行分支子网络分别从两幅源图像中提取特征，并将获取的特征信息持续地应用于后续的融合过程，使得模型能够充分利用输入图像中包含的空间和光谱信息，提高信息重用性的同时促进了信息流动，克服了现有技术中以MS和PAN图像共同作为网络输入而导致的信息利用不充分、及融合过程中出现的空间信息丢失问题。第二，模型学习的是需要补偿至上采样LRMS图像的细节图像，在简化网络学习过程的同时引入了全色锐化的先验知识，并提高了模型的物理可解释性，克服了直接学习理想融合图像带来的学习过程复杂度高、模型可解释性不强等问题。第三，模型中采用了较多1×1大小的卷积核，在保持图像或特征图的空间信息的同时减少了模型的参数量。第四，在对网络模型进行训练时设计了一种新的损失函数，其在常用均方误差损失函数的基础上添加了对融合图像的光谱信息和空间信息约束项，加强了融合图像与输入图像的光谱和空间一致性，有效缓解了采用均方误差损失函数训练网络存在的融合图像高频细节丢失和光谱失真较大等问题。
附图说明
图1为本发明的实现流程图。
图2为本发明中所采用网络模型的结构图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
基于细节注入的双分支网络全色锐化方法，流程图如图1所示，具体按照以下步骤实施：
步骤1、将原始数据划分为训练、验证和测试数据，生成相应的数据集并进行预处理；
步骤1具体按照以下步骤实施：
步骤1.1、给定多组原始多光谱MS图像和全色PAN图像，每一组包含的多光谱图像为一个三维矩阵
Figure BDA0003719986080000081
全色图像为一个二维矩阵
Figure BDA0003719986080000082
其中
Figure BDA0003719986080000083
为实数域符号，H、W分别为全色图像的高和宽，B为多光谱图像的波段数，r表示多光谱与全色图像的空间分辨率之比，将原始多光谱图像和全色图像按8∶1∶1的比例随机划分为训练数据、验证数据和测试数据；
步骤1.2、对于训练数据和验证数据中的每一组图像，采用与获取多光谱图像的传感器的调制传递函数MTF相匹配的滤波器对原始多光谱MS图像进行滤波，然后采用最近邻插值的方式对滤波后的原始多光谱MS图像进行下采样得到空间退化的原始多光谱MS图像，同时采用双三次插值方式对全色PAN图像进行下采样得到空间退化的全色PAN图像。对空间退化的原始多光谱MS图像进行上采样，使空间退化的原始多光谱MS图像与空间退化的全色PAN图像尺寸一致，上采样的退化原始多光谱MS图像作为步骤2中特征提取子网络模型a的输入，并将原始多光谱MS图像作为参考图像。以空间退化的原始多光谱MS图像及空间退化的全色PAN图像作为模拟输入数据。因为在训练整体网络结构的时候需要大量的数据集，所以按设定步幅将模拟输入数据和参考图像裁剪为对应的小尺寸图像块，以产生数据量较大的训练集和验证集。
步骤1.3、对于产生的训练集和验证集，以除以最大像素灰度值的方式对模拟输入数据和参考图像进行归一化，再对归一化后的全色PAN图像进行低通滤波得到归一化全色PAN图像的低通版本，并通过全色PAN图像减去归一化全色PAN图像的低通版本的方式获得归一化全色PAN图像的高频成分，退化全色PAN图像的高频成分作为步骤2中特征提取子网络模型b的输入；
步骤1.4、对于测试数据，分别生成模拟测试数据和真实测试数据两类。生成模拟测试数据的方式为：对原始MS和PAN图像分别执行空间退化操作，然后对退化的MS图像进行上采样，接着对上采样的退化MS图像及退化的PAN图像作归一化处理，并对得到的PAN图像进行高通滤波获得退化的PAN图像的高频成分，以归一化后的上采样的退化MS图像和退化的PAN图像的高频成分作为模拟测试数据。生成真实测试数据的方式为：对原始MS图像进行上采样，然后对上采样的MS图像及原始PAN图像作归一化处理，接着对得到的PAN图像进行高通滤波获得原始PAN图像的高频成分。以归一化后的上采样MS图像和PAN图像的高频成分作为真实测试数据。
步骤2、参照附图2构建基于细节注入的双分支全色锐化网络模型；
步骤2具体按照以下步骤实施：
步骤2.1、构建两个并行的结构相似的特征提取子网络a和特征提取子网络b，每个子网络由第1卷积层、第1激活函数、第2卷积层、第2激活函数、第3卷积层及第3激活函数组成，设置第1卷积层的卷积核大小为1×1，第2、3卷积层的卷积核大小为3×3，各卷积层的卷积核个数均为32，滑动步幅均为1，激活函数均采用整流线性单元ReLU；
步骤2.2、将所述步骤2.1中两个并行的特征提取子网络的输出特征图沿通道方向进行拼接，并送入特征融合子网络，所述特征融合子网络由三个连续的残差单元构成，每一个残差单元的结构由第1卷积层、第1激活函数、第2卷积层、第2激活函数和第3卷积层组成，并对第1卷积层的输入和第3卷积层的输出执行按元素加操作，在获得第一和第二个残差单元的输出后，将两个残差单元的输出分别与两分支特征提取子网络第1卷积层的输出特征图进行拼接，并以拼接后的数据作为下一残差单元的输入，设置第1卷积层的卷积核大小为1×1，卷积核个数为64，第2、3卷积层的卷积核大小为3×3，个数分别为64、32，各层卷积核的滑动步幅均为1，激活函数采用整流线性单元ReLU；
步骤2.3、将特征融合子网络的输出送入图像重建子网络，图像重建子网络的结构由第1卷积层、第1激活函数和第2卷积层组成，设置第1卷积层的卷积核大小为1×1，卷积核个数为32，第2卷积层的卷积核大小为3×3，个数为4或8(根据多光谱图像的波段数决定)，卷积核的滑动步幅均为1，激活函数采用整流线性单元ReLU；
步骤2.4、将上采样的多光谱图像与图像重建子网络的输出进行相加，得到最终的融合图像。
步骤3、对基于细节注入的双分支全色锐化网络模型进行训练；
步骤3具体按照以下步骤实施：
步骤3.1、将步骤2中的特征提取子网络a、特征提取子网络b、特征融合子网络和图像重建子网络这四个子网络组合得到总体网络结构模型，具体组合方法是先并行特征提取子网络a和特征提取子网络b，然后串行特征融合子网络，最后串行图像重建子网络，然后将采用步骤1中生成的训练集和验证集对构建的总体网络结构模型进行有监督训练，训练过程中采用的损失函数为
L＝LM+α·Ls+β·Lλ (1)
其中LM、LS、Lλ分别为网络输出与参考图像间的均方误差项、网络输出与输入全色PAN图像间的空间损失项及网络输出与输入原始多光谱MS图像间的光谱损失项，
步骤3.2、三个损失项分别定义如下：
Figure BDA0003719986080000111
Figure BDA0003719986080000112
Figure BDA0003719986080000113
式中，
Figure BDA0003719986080000114
M分别为网络的输出图像及参考图像，m、p分别为退化的原始多光谱MS和全色PAN图像，N为训练样本的批大小batch size，repmat为将p图像沿波段方向扩展至与
Figure BDA0003719986080000115
相同波段数的操作，fdegrade表示对图像使用带有MTF滤波的空间退化操作；
步骤3.3、采用Adam方法更新模型参数，训练过程中的学习率设置为0.001，直到损失值收敛或达到设定的最大迭代次数时停止训练，得到训练好的基于细节注入的双分支全色锐化网络模型。
步骤4、利用训练好的网络模型对测试数据进行融合；
步骤4具体按照以下步骤实施：
将步骤1中产生的模拟测试数据和真实测试数据分别输入至步骤3训练好的基于细节注入的双分支全色锐化网络模型获得相应的模拟融合结果和真实融合结果，将获得的融合结果的像素值裁减至[0,1]区间，再通过乘最大像素灰度值的方式进行反归一化得到最终的融合结果。
步骤5、对融合图像质量进行评估。
步骤5具体按照以下步骤实施：
对于模拟融合图像，以原始多光谱MS图像为参照，通过评价指标评估所述步骤4得到的融合图像的质量；对于真实融合图像，将步骤4得到的融合图像与原始MS或全色PAN图像进行对照，计算相应的评价指标，评估融合图像质量。
下面结合仿真实验，对本发明的技术效果作进一步的说明。
1.本发明的仿真实验采用的硬件平台：CPU型号为Intel(R)Core(TM)i7-10700，主频2.90GHz，内存32GB；软件平台：系统为Windows 10家庭中文版，编程语言为Python3.6，深度学习框架为Tensorflow 1.15.0。本发明的仿真实验采用的数据集为由Ikonos卫星在澳大利亚塔斯马尼亚州的惠灵顿山获取的Ikonos数据集以及WorldView3卫星在泰国曼谷获取的WorldView3数据集。Ikonos数据集提供的多光谱图像和全色图像的空间分辨率分别为4m和1m，尺寸分别为3287*3031、13148*12124，其中多光谱图像具有4个谱段；WorldView3数据集提供的多光谱图像和全色图像的空间分辨率分别为0.31m和1.24m，尺寸分别为3159*3571、12636*14284，其多光谱图像具有8个谱段，两个数据集的PAN图像均为单个谱段。将两个数据集的原始数据按200的步幅裁减为200*200的MS图像块及800*800的PAN图像块，各图像块之间互不重叠。对裁减后的原始数据按步骤1中所述的方式生成训练集、验证集和测试集。两个卫星传感器的数据集划分如表4-2所示。
表1数据集的划分(括号内表示的为MS和PAN图像的尺寸)
Figure BDA0003719986080000131
2.仿真实验及结果分析
仿真实验1：
所提方法中引入了一种根据输入图像中包含的光谱或空间信息约束融合图像的损失函数，其提出的主要思想是为了缓解了采用均方误差损失函数训练网络带来的融合图像高频细节丢失和光谱失真较大的问题。因此，本发明的仿真实验1对Ikonos数据集上的模拟测试数据进行了融合，并比较了在同一网络模型下分别采用所提损失函数和均方误差损失函数训练网络时的融合图像质量，以证实所提损失函数的有效性。
为评估融合图像质量，采用如下6个指标对融合图像质量进行量化。
(1)光谱角映射SAM(Spectral Angle Mapper)：测量融合图像与相应参考图像间的光谱相似性，其值为大于等于0的正数，值越小表明两幅图像间的光谱相似度越高。
(2)相对全局综合误差ERGAS(Erreur Relative Globale Adimensionnelle deSynthèse)：测定融合图像的全局光谱质量，其值为大于等于0的正数，值越小表明两幅图像间的光谱差异越小。
(3)相对平均光谱误差RASE(Relative Average Spectral Error)：反映融合图像的全局光谱质量，其值为大于等于0的正数，值越小表明融合图像光谱扭曲程度越低。
(4)空间相关系数SCC(Spatial Correlation Coefficient)：衡量融合图像与参考图像间的空间细节相似度，其值位于0～1之间，值越接近1，表明两幅图像的空间相关性越强，融合图像的空间质量越高。
(5)通用图像质量度量Q：测量融合图像和参考图像的相关程度、平均亮度相似度和对比度相似度，其值位于0～1之间，Q的值越接近1，表明融合图像质量越高。
(6)结构相似性SSIM(Structural Similarity)：能够全局地从亮度(luminance)、对比度(contrast)和结构(structure)三个方向评估两幅图像间的相似度，其值位于0～1之间，值越接近1，两幅图像的相似度越高。
采用上述六个指标对分别使用上述两种损失函数训练网络获得的融合结果的质量进行评价，指标数值如表2所示。
表2所提损失函数和均方误差损失函数在融合结果质量上的对比
Figure BDA0003719986080000141
从表2中可以看出，使用所提损失函数训练网络得到的融合图像的空间质量和光谱质量相比于MSE损失函数均获得了一定提升，说明所提损失函数的有效性。这是因为所提损失函数中空间约束和光谱一致性的引入使得模型在优化过程中从输入的PAN和MS图像中获得了额外的空间和光谱信息线索，这些线索有利于模型从输入图像中挖掘有效的信息或特征，进而加强融合图像与输入图像的空间一致性和光谱一致性。
仿真实验2：
为验证本发明所提方法的有效性，在相同的软硬件条件和数据集下，将其与现有的三种基于卷积神经网络的全色锐化方法进行了比较，这三种方法分别为：
1)Yang等人于论文《PanNet：a deep network architecture for pan-sharpening》中提出的在待融合图像高频领域的融合方法PanNet。
2)He等人在论文《《Pansharpening via Detail Injection BasedConvolutional Neural Networks》中提出的一种基于细节注入的浅层网络融合方法DiCNN1。
3)Deng等人于论文《Detail Injection-Based Deep Convolutional NeuralNetworks for Pansharpening》中提出的一种基于细节注入的深层网络融合方法FusionNet。
实验类型分为模拟实验和真实实验，两类实验的待融合数据按步骤1中所述生成。模拟实验中，采用上述六个指标对融合图像的质量进行评估；真实实验中，采用如下三个指标对融合图像进行质量评估：
1)光谱失真指数Dλ：测定融合图像与所观测MS图像间的光谱相似程度，其值为大于0的正数，值越小表明融合图像的光谱信息与原始MS图像越相似。
2)空间失真指数DS：衡量融合图像与原始PAN图像间的空间相似度，其值为大于0的正数，值越小表明融合图像的空间失真越小。
3)质量无参考指标QNR(Qualityno-reference index)：联合衡量融合图像的光谱失真程度和空间失真程度，其利用Dλ和DS两个指标结合计算得到，其值位于[0，1]区间，值越大表明融合图像的光谱和空间质量越高。
将所提方法及上述三种现有方法在Ikonos和WorldView3数据集上分别进行了模拟实验和真实实验，相应融合结果的指标数值如表3、4、5所示。
表3 Ikonos数据集上模拟实验结果比较
Figure BDA0003719986080000161
表4 WorldView3数据集上模拟实验结果比较
Figure BDA0003719986080000162
表5 Ikonos及WorldView3数据集上真实实验结果比较
Figure BDA0003719986080000163
对于模拟实验，从表3、4可以看出，在Ikonos及WorldView3数据集上，本发明所提方法产生的融合结果相比于现有的三种技术均获得了较明显的质量提升；在真实实验上，从表5可以看出，本发明所提方法在Ikonos数据集上产生的融合结果取得了较理想的质量，而在WorldView3数据集上也取得了具有竞争力的结果。
本发明所提方法采用两个并行的分支网络对两类源图像分别提取特征，并在特征融合的过程中不断地复用所提取的特征，以持续地注入来自源图像的空间和光谱信息。这种方式能够有效且充分地利用两幅图像中包含的空间和光谱信息，提高信息的重用性同时促进信息流动。同时，该方法引入了具有空间约束和光谱约束的损失函数，其能够加强融合图像与两类输入图像间的光谱一致性和空间一致性，因此，所提方法具有较优越的性能。
综合上述仿真实验1和仿真实验2的结果，本发明所提方法有效解决了现有技术没有充分利用两类源图像中包含的特有信息导致的融合结果质量不高的问题，同时有效缓解了使用常用均方误差损失函数训练网络存在的融合图像高频细节丢失和光谱失真较严重等问题。

Claims (6)

1.基于细节注入的双分支网络全色锐化方法，其特征在于，具体按照以下步骤实施：
步骤1、将原始数据划分为训练、验证和测试数据，生成相应的数据集并进行预处理；
步骤2、构建基于细节注入的双分支全色锐化网络模型；
步骤3、对基于细节注入的双分支全色锐化网络模型进行训练；
步骤4、利用训练好的网络模型对测试数据进行融合；
步骤5、对融合图像质量进行评估。
2.根据权利要求1所述的基于细节注入的双分支网络全色锐化方法，其特征在于，所述步骤1具体按照以下步骤实施：
步骤1.1、给定多组原始多光谱MS图像和全色PAN图像，每一组包含的多光谱图像为一个三维矩阵
Figure FDA0003719986070000011
全色图像为一个二维矩阵
Figure FDA0003719986070000012
其中
Figure FDA0003719986070000013
为实数域符号，H、W分别为全色图像的高和宽，B为多光谱图像的波段数，r表示多光谱与全色图像的空间分辨率之比，将原始多光谱图像和全色图像按8∶1∶1的比例随机划分为训练数据、验证数据和测试数据；
步骤1.2、对于训练数据和验证数据中的每一组图像，采用与获取多光谱图像的传感器的调制传递函数MTF相匹配的滤波器对原始多光谱MS图像进行滤波，然后采用最近邻插值的方式对滤波后的原始多光谱MS图像进行下采样得到空间退化的原始多光谱MS图像，同时采用双三次插值方式对全色PAN图像进行下采样得到空间退化的全色PAN图像；对空间退化的原始多光谱MS图像进行上采样，使空间退化的原始多光谱MS图像与空间退化的全色PAN图像尺寸一致；以空间退化的原始多光谱MS图像及空间退化的全色PAN图像作为模拟输入数据，并将原始多光谱MS图像作为参考图像，按设定步幅将模拟输入数据和参考图像裁剪为对应的小尺寸图像块，以产生数据量较大的训练集和验证集；
步骤1.3、对于产生的训练集和验证集，以除以最大像素灰度值的方式对模拟输入数据和参考图像进行归一化，再对归一化后的全色PAN图像进行低通滤波得到归一化全色PAN图像的低通版本，并通过全色PAN图像减去归一化全色PAN图像的低通版本的方式获得归一化全色PAN图像的高频成分；
步骤1.4、对于测试数据，分别生成模拟测试数据和真实测试数据两类；生成模拟测试数据的方式为：对原始MS和PAN图像分别执行空间退化操作，然后对退化的MS图像进行上采样，接着对上采样的退化MS图像及退化的PAN图像作归一化处理，并对得到的PAN图像进行高通滤波获得退化的PAN图像的高频成分，以归一化后的上采样的退化MS图像和退化的PAN图像的高频成分作为模拟测试数据；生成真实测试数据的方式为：对原始MS图像进行上采样，然后对上采样的MS图像及原始PAN图像作归一化处理，接着对得到的PAN图像进行高通滤波获得原始PAN图像的高频成分；以归一化后的上采样MS图像和PAN图像的高频成分作为真实测试数据。
3.根据权利要求2所述的基于细节注入的双分支网络全色锐化方法，其特征在于，所述步骤2具体按照以下步骤实施：
步骤2.1、构建两个并行的结构相似的特征提取子网络a和特征提取子网络b，每个子网络由第1卷积层、第1激活函数、第2卷积层、第2激活函数、第3卷积层及第3激活函数组成，设置第1卷积层的卷积核大小为1×1，第2、3卷积层的卷积核大小为3×3，各卷积层的卷积核个数均为32，滑动步幅均为1，激活函数均采用整流线性单元ReLU；
步骤2.2、将所述步骤2.1中两个并行的特征提取子网络的输出特征图沿通道方向进行拼接，并送入特征融合子网络，所述特征融合子网络由三个连续的残差单元构成，每一个残差单元的结构由第1卷积层、第1激活函数、第2卷积层、第2激活函数和第3卷积层组成，并对第1卷积层的输入和第3卷积层的输出执行按元素加操作，在获得第一和第二个残差单元的输出后，将两个残差单元的输出分别与两分支特征提取子网络第1卷积层的输出特征图进行拼接，并以拼接后的数据作为下一残差单元的输入，设置第1卷积层的卷积核大小为1×1，卷积核个数为64，第2、3卷积层的卷积核大小为3×3，个数分别为64、32，各层卷积核的滑动步幅均为1，激活函数采用整流线性单元ReLU；
步骤2.3、将特征融合子网络的输出送入图像重建子网络，图像重建子网络的结构由第1卷积层、第1激活函数和第2卷积层组成，设置第1卷积层的卷积核大小为1×1，卷积核个数为32，第2卷积层的卷积核大小为3×3，个数为4或8，卷积核的滑动步幅均为1，激活函数采用整流线性单元ReLU；
步骤2.4、将上采样的多光谱图像与图像重建子网络的输出进行相加，得到最终的融合图像。
4.根据权利要求3所述的基于细节注入的双分支网络全色锐化方法，其特征在于，所述步骤3具体按照以下步骤实施：
步骤3.1、将步骤2中的特征提取子网络a、特征提取子网络b、特征融合子网络和图像重建子网络这四个子网络组合得到总体网络结构模型，具体组合方法是先并行特征提取子网络a和特征提取子网络b，然后串行特征融合子网络，最后串行图像重建子网络，然后将采用步骤1中生成的训练集和验证集对构建的总体网络结构模型进行有监督训练，训练过程中采用的损失函数为L＝LM+α·LS+β·Lλ (1)
其中LM、LS、Lλ分别为网络输出与参考图像间的均方误差项、网络输出与输入全色PAN图像间的空间损失项及网络输出与输入原始多光谱MS图像间的光谱损失项，
步骤3.2、三个损失项分别定义如下：
Figure FDA0003719986070000041
Figure FDA0003719986070000042
Figure FDA0003719986070000043
式中，
Figure FDA0003719986070000044
M分别为网络的输出图像及参考图像，m、p分别为退化的原始多光谱MS和全色PAN图像，N为训练样本的批大小batch size，repmat为将p图像沿波段方向扩展至与
Figure FDA0003719986070000045
相同波段数的操作，fdegrade表示对图像使用带有MTF滤波的空间退化操作；
步骤3.3、采用Adam方法更新模型参数，训练过程中的学习率设置为0.001，直到损失值收敛或达到设定的最大迭代次数时停止训练，得到训练好的基于细节注入的双分支全色锐化网络模型。
5.根据权利要求4所述的基于细节注入的双分支网络全色锐化方法，其特征在于，所述步骤4具体按照以下步骤实施：
将步骤1中产生的模拟测试数据和真实测试数据分别输入至步骤3训练好的基于细节注入的双分支全色锐化网络模型获得相应的模拟融合结果和真实融合结果，将获得的融合结果的像素值裁减至[0,1]区间，再通过乘最大像素灰度值的方式进行反归一化得到最终的融合结果。
6.根据权利要求5所述的基于细节注入的双分支网络全色锐化方法，其特征在于，所述步骤5具体按照以下步骤实施：
对于模拟融合图像，以原始原始多光谱MS图像为参照，通过评价指标评估所述步骤4得到的融合图像的质量；对于真实融合图像，将步骤4得到的融合图像与原始MS或全色PAN图像进行对照，计算相应的评价指标，评估融合图像质量。
CN202210747819.9A 2022-06-29 2022-06-29 基于细节注入的双分支网络全色锐化方法 Pending CN115082344A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210747819.9A CN115082344A (zh) 2022-06-29 2022-06-29 基于细节注入的双分支网络全色锐化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210747819.9A CN115082344A (zh) 2022-06-29 2022-06-29 基于细节注入的双分支网络全色锐化方法

Publications (1)

Publication Number Publication Date
CN115082344A true CN115082344A (zh) 2022-09-20

Family

ID=83256071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210747819.9A Pending CN115082344A (zh) 2022-06-29 2022-06-29 基于细节注入的双分支网络全色锐化方法

Country Status (1)

Country Link
CN (1) CN115082344A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091640A (zh) * 2023-04-07 2023-05-09 中国科学院国家空间科学中心 一种基于光谱自注意力机制的遥感高光谱重建方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091640A (zh) * 2023-04-07 2023-05-09 中国科学院国家空间科学中心 一种基于光谱自注意力机制的遥感高光谱重建方法及系统

Similar Documents

Publication Publication Date Title
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN111080567B (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN108830796B (zh) 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
Deng et al. Machine learning in pansharpening: A benchmark, from shallow to deep networks
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN108537742B (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
Lin et al. Hyperspectral image denoising via matrix factorization and deep prior regularization
Zhang et al. A triple-double convolutional neural network for panchromatic sharpening
CN109727207B (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN111696043A (zh) 一种三维fsrcnn的高光谱图像超分辨率重建算法
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及系统
CN115331104A (zh) 一种基于卷积神经网络的农作物种植信息提取方法
Xiao et al. Physics-based GAN with iterative refinement unit for hyperspectral and multispectral image fusion
Zhou et al. PAN-guided band-aware multi-spectral feature enhancement for pan-sharpening
Long et al. Dual self-attention Swin transformer for hyperspectral image super-resolution
CN113902646A (zh) 基于深浅层特征加权融合网络的遥感影像泛锐化方法
CN115082344A (zh) 基于细节注入的双分支网络全色锐化方法
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination