CN114638761A - 一种高光谱图像全色锐化方法、设备及介质 - Google Patents

一种高光谱图像全色锐化方法、设备及介质 Download PDF

Info

Publication number
CN114638761A
CN114638761A CN202210293370.3A CN202210293370A CN114638761A CN 114638761 A CN114638761 A CN 114638761A CN 202210293370 A CN202210293370 A CN 202210293370A CN 114638761 A CN114638761 A CN 114638761A
Authority
CN
China
Prior art keywords
image
hyperspectral image
panchromatic
sharpening
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210293370.3A
Other languages
English (en)
Inventor
贺霖
奚达涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210293370.3A priority Critical patent/CN114638761A/zh
Publication of CN114638761A publication Critical patent/CN114638761A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种高光谱图像全色锐化方法、设备及介质，包括读取高光谱图像和对应匹配的全色图像，并进行预处理；构建训练数据集和测试数据集；构建多尺度特征聚合模块，进一步获得显著性区域自适应感知模块，根据显著性自适应感知模块构建显著性区域自适应锐化卷积神经网络；基于训练数据集训练显著性区域自适应锐化卷积神经网络；测试数据集输入经过训练后的显著性区域自适应锐化卷积神经网络，得到高空间分辨率的高光谱图像。本发明显著性区域自适应锐化卷积神经网络能够有效地提升全局的锐化性能。

Description

一种高光谱图像全色锐化方法、设备及介质
技术领域
本发明涉及遥感图像处理领域，具体涉及一种高光谱图像全色锐化方法、设备及介质。
背景技术
随着遥感技术的发展以及算法理论的不断完善，许多遥感图像处理任务对遥感图像的空间分辨率和光谱分辨率提出了更高的要求。然而，受到传感器物理结构的限制，光谱成像系统往往难以直接获取到具有高空间分辨率的高光谱图像。为了解决这一问题，通常的做法是采集空间分辨率相对较低的高光谱图像以及具有高空间分辨率的单波段全色图像，然后通过全色锐化技术对这两类图像进行融合，生成具有高空间分辨率的高光谱图像。传统的高光谱图像全色锐化方法可以分为三个类别，包括成分替代法、多分辨率分析法以及基于模型优化的方法。成分替代法主要包括主成分分析法和施密特正交变换法等一系列基于域变换技术的锐化方法；多分辨率分析法则以小波变换法及其变种、拉普拉斯金字塔变换法以及基于亮度平滑滤波调节算法等为代表；而基于模型优化的方法则主要包括基于稀疏表示的方法和贝叶斯算法等。
近年来，卷积神经网络在全色锐化领域得到了广泛的应用，许多基于卷积神经网络的高光谱图像全色锐化方法展现出了显著优于传统方法的锐化效果。这些方法一般借助卷积神经网络的特征表示能力，按照同一范式对输入的不同高光谱图像和全色图像进行处理。然而，遥感图像包含丰富的地物类型，显著性区域的地物(如居民区、人造标志物等)与非显著性区域的地物(如草地、林地等)相比，具有不尽相同的全色锐化需求。显著性区域对空间细节重建提出了更高的要求，而非显著性区域则对光谱保真具有更高的要求。但由于卷积核的权值共享和归纳偏置特性，现有的方法往往对上述显著性区域和非显著性区域采用同一处理方式，缺乏根据不同区域特性和锐化需求进行自适应调整的手段，导致锐化结果出现一定程度的局部失真。
发明内容
为了克服现有技术存在的缺点与不足，本发明提供一种高光谱图像全色锐化方法、设备及介质。
本发明采用如下技术内容：
一种高光谱图像全色锐化方法，包括：
读取高光谱图像和对应匹配的全色图像，并进行预处理；
基于预处理后的高光谱图像和全色图像，构建训练数据集和测试数据集；
构建多尺度特征聚合模块，进一步获得显著性区域自适应感知模块，根据显著性自适应感知模块构建显著性区域自适应锐化卷积神经网络；
基于训练数据集训练显著性区域自适应锐化卷积神经网络；
测试数据集输入经过训练后的显著性区域自适应锐化卷积神经网络，得到高空间分辨率的高光谱图像。
进一步，所述读取高光谱图像和对应匹配的全色图像，其中高光谱图像和全色图像在空间尺寸上存在如下关系：
Figure BDA0003562347280000021
其中r表示所述全色图像与高光谱图像的空间分辨率之比，h1和w1分别表示所述高光谱图像的高和宽，h2和w2分别表示所述全色图像的高和宽，b表示所述高光谱图像的光谱通道数。
进一步，所述预处理包括如下：
使用频率响应适配的平滑滤波器对高光谱图像和全色图像进行低通滤波得到第一高光谱图像和第一全色图像；
对第一高光谱图像和第一全色图像进行下采样，得到空间分辨率退化r倍的第二高光谱图像和第二全色图像；
使用多项式插值法对第二高光谱图像进行上采样，得到空间分辨率提升r倍的第三高光谱图像。
进一步，所述构建训练数据集和测试数据集的过程为：
选择第三高光谱图像的部分区域及第二全色图像的相对应位置；
按照设定的采样间隔无重叠的从该区域裁剪多个高光谱子图像和全色子图像作为训练样本，顺序随机打乱后构成训练数据集；
选择第三高光谱图像的剩余区域以及第二全色图像的对应位置，进行裁剪得到测试样本，构成测试数据集。
进一步，所述多尺度特征聚合模块包括：尺度卷积层SConv1、尺度卷积层SConv2、尺度卷积层SConv3、反卷积层TConv1、反卷积层TConv2、反卷积层TConv3、反卷积层TConv4、反卷积层TConv5、反卷积层TConv6、聚合卷积层AConv4、聚合卷积层AConv5、聚合卷积层AConv6、反卷积层TConv7、反卷积层TConv8及聚合卷积层AConv7。
进一步，所述显著性区域自适应感知模块包括：
多尺度特征聚合模块，输入特征图
Figure BDA0003562347280000031
输出64个特征图
Figure BDA0003562347280000032
实现多尺度空间纹理信息的提取和整合；
注意力映射层AMapping，输入特征图
Figure BDA0003562347280000033
输出注意力掩膜
Figure BDA0003562347280000034
空间特征强化卷积层RConv1，输入特征图
Figure BDA0003562347280000035
输出64个特征图
Figure BDA0003562347280000036
空间特征强化卷积层RConv2，输入特征图
Figure BDA0003562347280000037
输出64个特征图
Figure BDA0003562347280000038
显著性区域感知层SRAP，输入特征图
Figure BDA0003562347280000039
和注意力掩膜Mask(i)，输出64个特征图
Figure BDA00035623472800000310
进一步，所述显著性区域自适应锐化卷积神经网络模型包括：
光谱压缩卷积层Conv1：输入第三高光谱图像训练样本
Figure BDA00035623472800000311
输出64个特征图
Figure BDA00035623472800000312
光谱拼接层Concat：输入第二全色图像训练样本
Figure BDA00035623472800000313
和特征图
Figure BDA00035623472800000314
输出65个特征图C(i)；
第一显著性区域自适应感知模块：输入特征图C(i)，实现第一阶段显著性区域自适应锐化；
第二显著性区域自适应感知模块：输入第一阶段显著性区域自适应锐化，输出第二阶段显著性区域自适应锐化；
第三显著性区域自适应感知模块：输入第二阶段显著性区域自适应锐化的输出，输出64个特征图
Figure BDA00035623472800000315
实现第三阶段显著性区域自适应锐化
光谱重建卷积层Conv2，输入特征图
Figure BDA00035623472800000316
输出b个特征图
Figure BDA00035623472800000317
光谱补偿层Compense，输入第三高光谱图像训练样本
Figure BDA00035623472800000318
和特征图
Figure BDA00035623472800000319
输出预测图像O(i)。
进一步，显著性区域自适应锐化卷积神经网络模型的损失函数为平均绝对误差损失函数，表达式为：
Figure BDA00035623472800000320
其中Ω表示显著性区域自适应锐化卷积神经网络的输入输出映射关系，θ表示网络的参数，Nb表示每一轮迭代输入的训练样本数，||·||F表示Frobenius范数。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述高光谱图像全色锐化方法。
一种设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的所述高光谱图像全色锐化方法。
本发明的有益效果：
1、本发明提供的基于显著性区域自适应感知的高光谱图像全色锐化方法设计了一个多尺度特征聚合模块，该模块结合步长卷积和反卷积，将输入特征图映射至多个尺度分支，对各个尺度分支分别进行特征提取，并交叉聚合不同尺度的特征，从而能够有效提取和整合输入特征图中的多尺度空间细节信息。
2、本发明提供的基于显著性区域自适应感知的高光谱图像全色锐化方法设计了一个显著性区域自适应感知模块，该模块能够有效感知输入特征图中的显著性区域和非显著性区域，并生成表征其各部分区域显著性程度的注意力掩膜，从而通过该注意力掩膜自适应地对输入特征图进行差异化处理，满足其各部分区域的不同锐化需求，增强锐化效果。
3、本发明提供的基于显著性区域自适应感知的高光谱图像全色锐化方法基于所述多尺度特征聚合模块和所述显著性区域自适应感知模块构建了一个显著性区域自适应锐化卷积神经网络，该网络能够根据输入图像中不同区域的特性和锐化需求，阶段性地对输入图像中的显著性区域和非显著性区域进行有区分的自适应调整，增强显著性区域的空间细节重建效果和非显著性区域的光谱保真效果，从而有效地提升全局的锐化性能。
附图说明
图1为本发明基于显著性区域自适应感知的高光谱图像全色锐化方法的流程图。
图2为本发明多尺度特征聚合模块的结构图。
图3为本发明显著性区域自适应感知模块的结构图。
图4为本发明显著性区域自适应锐化卷积神经网络模型的结构图。
图5(a)、图5(b)及图5(c)分别为输入Rin特征图，注意力掩膜的特征图及输出Rout特征图。
图6(a)为PaviaU高光谱参考图像，图6(b)为使用双三次插值法处理后的第三高光谱图像，图6(c)为使用基于导向滤波的主成分分析算法处理后的图像，图6(d)为使用基于亮度平滑滤波调节算法处理后的图像，图6(e)为使用本实施例所述方法处理后的图像。
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例1
如图1-图4所示，本实施例提供一种基于显著性区域自适应感知的高光谱图像全色锐化方法，包括以下步骤：
S1读取高光谱图像和对应匹配的全色图像，并进行预处理；
进一步，所述步骤S1中读取的原始高光谱图像
Figure BDA0003562347280000051
和匹配的全色图像
Figure BDA0003562347280000052
在空间尺寸上存在如下数量关系：
Figure BDA0003562347280000053
其中r表示所述原始全色图像与高光谱图像的空间分辨率之比，1和w1分别表示所述原始高光谱图像的高和宽，h2和w2分别表示所述原始全色图像的高和宽。b表示所述原始高光谱图像的光谱通道数。
进一步，所述S1中预处理包括如下步骤：
使用频率响应适配的平滑滤波器对所述的原始高光谱图像
Figure BDA0003562347280000054
和全色图像
Figure BDA0003562347280000055
进行低通滤波得到第一高光谱图像和第一全色图像，随后对第一高光谱图像和第一全色图像进行下采样，得到空间分辨率退化r倍的第二高光谱图像
Figure BDA0003562347280000056
Figure BDA0003562347280000057
和第二全色图像
Figure BDA0003562347280000058
再使用多项式插值法对第二高光谱图像进行上采样，得到空间分辨率提升r倍的第三高光谱图像
Figure BDA0003562347280000059
S2基于预处理后的高光谱图像和全色图像，构建训练数据集和测试数据集；
具体的过程：
选择所述第三高光谱图像
Figure BDA00035623472800000510
的部分区域以及所述第二全色图像
Figure BDA00035623472800000511
的对应位置，按照固定的采样间隔无重叠地从该区域裁剪出部分小尺寸子图像
Figure BDA00035623472800000512
和
Figure BDA00035623472800000513
作为训练样本，将
Figure BDA00035623472800000514
和
Figure BDA00035623472800000515
的顺序随机打乱构成训练数据集；选择所述第三高光谱图像
Figure BDA00035623472800000516
的剩余区域以及所述第二全色图像
Figure BDA00035623472800000517
的对应位置，从该区域裁剪出部分子图像作为测试样本，相应地，使用这些子图像构成测试数据集。
一般认为，训练集要求尽可能囊括所有地物的特性，具有代表性，所以部分区域必须是选择在地物类型比较丰富的图像区域。
本实施例中训练集选择图像块的数量为12800，尺寸大小为20×20。
S3设计多尺度特征聚合模块和显著性区域自适应感知模块，并基于所述模块构建显著性区域自适应锐化卷积神经网络；
进一步，首先设计多尺度特征聚合模块，主要包括如下结构：
尺度卷积层SConv1，该层包含64个感受野为3×3的卷积核，卷积步长s＝1。输入特征图
Figure BDA0003562347280000061
输出64个第一尺度特征图
Figure BDA0003562347280000062
运算过程可表示为
Figure BDA0003562347280000063
Figure BDA0003562347280000064
其中
Figure BDA0003562347280000065
和
Figure BDA0003562347280000066
分别表示该层卷积核的权重和偏置，
Figure BDA0003562347280000067
Figure BDA0003562347280000068
表示非线性Leaky Relu激活函数。
尺度卷积层SConv2，该层包含64个感受野为3×3的卷积核，卷积步长s＝2。输入特征图
Figure BDA0003562347280000069
输出64个经过两倍下采样的第二尺度特征图
Figure BDA00035623472800000610
运算过程可表示为
Figure BDA00035623472800000611
其中
Figure BDA00035623472800000612
和
Figure BDA00035623472800000613
分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000614
同样表示非线性Leaky Relu激活函数。
尺度卷积层SConv3，该层包含64个感受野为3×3的卷积核，卷积步长s＝4。输入特征图
Figure BDA00035623472800000615
输出64个经过四倍下采样的第三尺度特征图
Figure BDA00035623472800000616
运算过程可表示为
Figure BDA00035623472800000617
其中
Figure BDA00035623472800000618
和
Figure BDA00035623472800000619
分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000620
同样表示非线性Leaky Relu激活函数。
反卷积层TConv1，该层包含64个感受野为3×3的卷积核，卷积步长s＝1/2。输入第二尺度特征图
Figure BDA00035623472800000621
输出64个经过两倍上采样的第一尺度特征图
Figure BDA00035623472800000622
运算过程可表示为
Figure BDA00035623472800000623
其中
Figure BDA00035623472800000624
和
Figure BDA00035623472800000625
分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000626
同样表示非线性Leaky Relu激活函数。
反卷积层TConv2，该层包含64个感受野为3×3的卷积核，卷积步长s＝1/4。输入第三尺度特征图
Figure BDA00035623472800000627
输出64个经过四倍上采样的第一尺度特征图
Figure BDA00035623472800000628
运算过程可表示为
Figure BDA00035623472800000629
其中
Figure BDA00035623472800000630
和
Figure BDA00035623472800000631
分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000632
同样表示非线性Leaky Relu激活函数。
反卷积层TConv3，该层包含64个感受野为3×3的卷积核，卷积步长s＝1/2。输入第三尺度特征图
Figure BDA00035623472800000633
输出64个经过两倍上采样的第二尺度特征图
Figure BDA00035623472800000634
运算过程可表示为
Figure BDA00035623472800000635
其中
Figure BDA00035623472800000636
和
Figure BDA00035623472800000637
分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000638
同样表示非线性Leaky Relu激活函数。
聚合卷积层AConv1，该层包含64个感受野为3×3的卷积核。输入第一尺度特征图
Figure BDA00035623472800000639
和
Figure BDA00035623472800000640
输出64个第一尺度特征图
Figure BDA00035623472800000641
运算过程可表示为
Figure BDA0003562347280000071
其中
Figure BDA0003562347280000072
和
Figure BDA0003562347280000073
分别表示该层卷积核的权重和偏置，
Figure BDA0003562347280000074
表示将多个特征图在通道维度进行拼接，
Figure BDA0003562347280000075
同样表示非线性Leaky Relu激活函数；
聚合卷积层AConv2，该层包含64个感受野为3×3的卷积核。输入第二尺度特征图
Figure BDA0003562347280000076
和
Figure BDA0003562347280000077
输出64个第二尺度特征图
Figure BDA0003562347280000078
运算过程可表示为
Figure BDA0003562347280000079
Figure BDA00035623472800000710
其中
Figure BDA00035623472800000711
和
Figure BDA00035623472800000712
分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000713
同样表示非线性Leaky Relu激活函数。
聚合卷积层AConv3，该层包含64个感受野为3×3的卷积核。输入第三尺度特征图
Figure BDA00035623472800000714
输出64个第三尺度特征图
Figure BDA00035623472800000715
运算过程可表示为
Figure BDA00035623472800000716
Figure BDA00035623472800000717
其中
Figure BDA00035623472800000718
和
Figure BDA00035623472800000719
分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000720
同样表示非线性Leaky Relu激活函数。
反卷积层TConv4，该层包含64个感受野为3×3的卷积核，卷积步长s＝1/2。输入第二尺度特征图
Figure BDA00035623472800000721
输出64个经过两倍上采样的第一尺度特征图
Figure BDA00035623472800000722
运算过程可表示为
Figure BDA00035623472800000723
其中
Figure BDA00035623472800000724
和
Figure BDA00035623472800000725
分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000726
同样表示非线性Leaky Relu激活函数。
反卷积层TConv5，该层包含64个感受野为3×3的卷积核，卷积步长s＝1/4。输入第三尺度特征图
Figure BDA00035623472800000727
输出64个经过四倍上采样的第一尺度特征图
Figure BDA00035623472800000728
运算过程可表示为
Figure BDA00035623472800000729
其中
Figure BDA00035623472800000730
和
Figure BDA00035623472800000731
分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000732
同样表示非线性Leaky Relu激活函数。
反卷积层TConv6，该层包含64个感受野为3×3的卷积核，卷积步长s＝1/2。输入第三尺度特征图
Figure BDA00035623472800000733
输出64个经过两倍上采样的第二尺度特征图
Figure BDA00035623472800000734
运算过程可表示为
Figure BDA00035623472800000735
其中
Figure BDA00035623472800000736
和
Figure BDA00035623472800000737
分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000738
同样表示非线性Leaky Relu激活函数。
聚合卷积层AConv4，该层包含64个感受野为3×3的卷积核。输入第一尺度特征图
Figure BDA00035623472800000739
和
Figure BDA00035623472800000740
输出64个第一尺度特征图
Figure BDA00035623472800000741
运算过程可表示为
Figure BDA00035623472800000742
其中
Figure BDA00035623472800000743
和
Figure BDA00035623472800000744
分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000745
同样表示非线性Leaky Relu激活函数。
聚合卷积层AConv5，该层包含64个感受野为3×3的卷积核。输入第二尺度特征图
Figure BDA00035623472800000746
和
Figure BDA00035623472800000747
输出64个第二尺度特征图
Figure BDA00035623472800000748
运算过程可表示为
Figure BDA00035623472800000749
Figure BDA00035623472800000750
其中
Figure BDA00035623472800000751
和
Figure BDA00035623472800000752
分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000753
同样表示非线性Leaky Relu激活函数；
聚合卷积层AConv6，该层包含64个感受野为3×3的卷积核。输入第三尺度特征图
Figure BDA0003562347280000081
输出64个第三尺度特征图
Figure BDA0003562347280000082
运算过程可表示为
Figure BDA0003562347280000083
Figure BDA0003562347280000084
其中
Figure BDA0003562347280000085
和
Figure BDA0003562347280000086
分别表示该层卷积核的权重和偏置，
Figure BDA0003562347280000087
同样表示非线性Leaky Relu激活函数；
反卷积层TConv7，该层包含64个感受野为3×3的卷积核，卷积步长s＝1/2。输入第二尺度特征图
Figure BDA0003562347280000088
输出64个经过两倍上采样的第一尺度特征图
Figure BDA0003562347280000089
运算过程可表示为
Figure BDA00035623472800000810
其中
Figure BDA00035623472800000811
和
Figure BDA00035623472800000812
分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000813
同样表示非线性Leaky Relu激活函数；
反卷积层TConv8，该层包含64个感受野为3×3的卷积核，卷积步长s＝1/4。输入第三尺度特征图
Figure BDA00035623472800000814
输出64个经过四倍上采样的第一尺度特征图
Figure BDA00035623472800000815
运算过程可表示为
Figure BDA00035623472800000816
其中
Figure BDA00035623472800000817
和
Figure BDA00035623472800000818
分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000819
同样表示非线性Leaky Relu激活函数；
聚合卷积层AConv7，该层包含64个感受野为3×3的卷积核。输入第一尺度特征图
Figure BDA00035623472800000820
和
Figure BDA00035623472800000821
输出64个第一尺度特征图
Figure BDA00035623472800000822
运算过程可表示为
Figure BDA00035623472800000823
其中
Figure BDA00035623472800000824
和
Figure BDA00035623472800000825
分别表示该层卷积核的权重和偏置，该层不使用激活函数。
由于遥感图像中不同地物的大小存在差异，因此需要结合多个尺度的空间信息以充分捕获不同尺寸的地物目标。本申请多尺度特征聚合模块结合步长卷积和反卷积，首先通过步长为1、2和4的步长卷积对输入特征图进行下采样形成三个不同的尺度分支，再对各个尺度分支分别进行特征提取，随后通过步长为1/2和1/4的反卷积对各个分支的特征图进行上采样并传递至上行分支与对应尺度的特征图相结合实现特征聚合。通过不同尺度分支之间特征的交叉传递和再组合，所述多尺度特征聚合模块能够捕获到多个尺度的信息表征，从而有效提取和整合输入特征图中的多尺度空间细节特性。
进一步，根据构建好的多尺度特征聚合模块，设计显著性区域自适应感知模块，主要包括：
多尺度特征聚合模块。输入特征图
Figure BDA00035623472800000826
输出64个特征图
Figure BDA00035623472800000827
实现多尺度空间纹理信息的提取和整合；
注意力映射层AMapping，该层将输入特征图转化为表征其各部分区域显著性程度的注意力掩膜。输入特征图
Figure BDA00035623472800000828
输出64个注意力掩膜Mask(i)。运算过程可表示为
Figure BDA00035623472800000829
其中
Figure BDA00035623472800000830
表示非线性Sigmoid激活函数。
空间特征强化卷积层RConv1，该层包含64个感受野为3×3的卷积核。输入特征图
Figure BDA0003562347280000091
输出64个特征图
Figure BDA0003562347280000092
运算过程可表示为
Figure BDA0003562347280000093
其中
Figure BDA0003562347280000094
和
Figure BDA0003562347280000095
分别表示该层卷积核的权重和偏置，
Figure BDA0003562347280000096
表示非线性Relu激活函数。
空间特征强化卷积层RConv2，该层包含64个感受野为3×3的卷积核。输入特征图
Figure BDA0003562347280000097
输出64个特征图
Figure BDA0003562347280000098
运算过程可表示为
Figure BDA0003562347280000099
其中
Figure BDA00035623472800000910
和
Figure BDA00035623472800000911
分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000912
同样表示非线性Relu激活函数。
显著性区域感知层SRAP，输入特征图
Figure BDA00035623472800000913
和注意力掩膜Mask(i)，输出64个特征图
Figure BDA00035623472800000914
运算过程可表示为
Figure BDA00035623472800000915
其中⊙表示逐像素乘积操作，该层不使用激活函数。
所述输入的特征图
Figure BDA00035623472800000916
为锐化场景的高层语义表征，包含了不同地物目标在神经网络前向传递过程中的抽象特征。本实施例涉及的部分特征图可视化结果如图5(a)～图5(c)所示。
本方法显著性区域自适应感知模块首先通过所述多尺度特征聚合模块在不同尺度下充分提取输入特征图中所含地物的空间信息，并将其转化为表征输入特征图各部分区域显著性程度的注意力掩膜，随后通过该注意力掩膜与输入特征图的逐像素乘积操作，突出输入特征图的显著性区域，并抑制其非显著性区域，实现差异化处理。通过结合所述多尺度特征聚合模块和注意力掩膜，所述显著性区域自适应感知模块能够有效感知输入特征图中的显著性区域和非显著性区域，并根据各部分区域的不同锐化需求进行自适应调制，增强锐化效果。
进一步，基于显著性区域自适应感知模块构建显著性区域自适应锐化卷积神经网络模型，其主要包括如下结构：
光谱压缩卷积层Conv1，该层包含64个感受野为1×1的卷积核。输入第三高光谱图像训练样本
Figure BDA00035623472800000917
输出64个特征图
Figure BDA00035623472800000918
运算过程可表示为
Figure BDA00035623472800000919
Figure BDA00035623472800000920
其中W1和B1分别表示该层卷积核的权重和偏置，
Figure BDA00035623472800000921
表示非线性Relu激活函数；
光谱拼接层Concat：输入第二全色图像训练样本
Figure BDA00035623472800000922
和特征图
Figure BDA00035623472800000923
输出65个特征图C(i)。实现第二全色图像训练样本
Figure BDA00035623472800000924
和特征图
Figure BDA00035623472800000925
在光谱维上的拼接；
第一显著性区域自适应感知模块：输入特征图C(i)。实现第一阶段显著性区域自适应锐化；
第二显著性区域自适应感知模块：输入第一阶段显著性区域自适应锐化的输出。实现第二阶段显著性区域自适应锐化；
第三显著性区域自适应感知模块：输入第二阶段显著性区域自适应锐化的输出，输出64个特征图
Figure BDA0003562347280000101
实现第三阶段显著性区域自适应锐化；
光谱重建卷积层Conv2，该层包含64个感受野为1×1的卷积核。输入特征图
Figure BDA0003562347280000102
输出b个特征图
Figure BDA0003562347280000103
运算过程可表示为
Figure BDA0003562347280000104
其中W2和B2分别表示该层卷积核的权重和偏置，该层不使用激活函数。
光谱补偿层Compense：输入第三高光谱图像训练样本
Figure BDA0003562347280000105
和特征图
Figure BDA0003562347280000106
输出预测图像O(i)。运算过程可表示为
Figure BDA0003562347280000107
其中
Figure BDA0003562347280000108
表示逐像素相加操作。
所述该网络在对输入图像进行光谱压缩降低数据维度的基础上，分为三个阶段对降维后的特征进行处理，每一阶段通过所述显著性区域自适应感知模块，根据输入特征中不同区域的特性和锐化需求有区分地自适应调整其显著性区域和非显著性区域，增强显著性区域的空间细节重建效果和非显著性区域的光谱保真效果。在实现自适应调制之后，通过光谱重建恢复数据的光谱维度，并通过光谱补偿融合输入的第三高光谱图像中的光谱信息，增强锐化效果。
S4设置超参数，并初始化所述显著性区域自适应锐化卷积神经网络的参数。
S5基于训练数据集训练显著性区域自适应锐化卷积神经网络；选择合适的损失函数和优化算法，对所述显著性区域自适应锐化卷积神经网络进行训练。
所述超参数具体是指预先设定好的固定值参数，包括学习率，迭代次数，每次迭代输入的样本数量等。
本实施例中学习率设置为0.00005，迭代次数为250000，每次输入的样本数是64。
本神经网络模型的损失函数为平均绝对误差损失函数，其表达式为：
Figure BDA0003562347280000109
其中Ω表示显著性区域自适应锐化卷积神经网络的输入输出映射关系，θ表示网络的参数，Nb表示每一轮迭代输入的训练样本数，||·||F表示Frobenius范数。
S6基于所述测试数据集，使用所述经过训练后的显著性区域自适应锐化卷积神经网络获取高空间分辨率的高光谱图像。
具体地，本实施例选用来自ROSIS成像光谱仪的PaviaU高光谱图像和全色图像验证锐化效果。所述的高光谱图像具有103个光谱通道，空间分辨率为32×32，全色图像的空间分辨率为160×160，两者的空间分辨率之比为1:5。
图6(a)为PaviaU高光谱参考图像，图6(b)为使用双三次插值法处理后的第三高光谱图像，图6(c)为使用基于导向滤波的主成分分析算法处理后的图像，图6(d)为使用基于亮度平滑滤波调节算法处理后的图像，图6(e)为使用本实施例所述方法处理后的图像。从图中可以明显观察到，使用双三次插值法处理后的图像与参考图像相比丢失了大量的空间细节信息，出现了严重的空间失真；使用基于导向滤波的主成分分析算法处理后的图像实现了一定程度的锐化，但仍然有多个区域存在空间模糊和光谱失真；使用基于亮度平滑滤波调节算法处理后的图像则取得了较好的全局锐化效果，具有较高的光谱保真度，但在部分区域仍存在空间细节丢失的问题；而使用本实施例所述方法处理后的图像实现了最好的锐化效果，不仅在建筑等显著性区域呈现出了出色的空间细节重建效果，同时在植被等非显著性区域也保持了突出的光谱保真效果，从而在全局锐化效果取得了显著的提升。
实施例2
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的高光谱图像全色锐化方法。
所述高光谱图像全色锐化方法，包括：
读取高光谱图像和对应匹配的全色图像，并进行预处理；
基于预处理后的高光谱图像和全色图像，构建训练数据集和测试数据集；
构建多尺度特征聚合模块，进一步获得显著性区域自适应感知模块，根据显著性自适应感知模块构建显著性区域自适应锐化卷积神经网络；
基于训练数据集训练显著性区域自适应锐化卷积神经网络；
测试数据集输入经过训练后的显著性区域自适应锐化卷积神经网络，得到高空间分辨率的高光谱图像。
实施例3
一种设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的所述的高光谱图像全色锐化方法。
所述高光谱图像全色锐化方法，包括：
读取高光谱图像和对应匹配的全色图像，并进行预处理；
基于预处理后的高光谱图像和全色图像，构建训练数据集和测试数据集；
构建多尺度特征聚合模块，进一步获得显著性区域自适应感知模块，根据显著性自适应感知模块构建显著性区域自适应锐化卷积神经网络；
基于训练数据集训练显著性区域自适应锐化卷积神经网络；
测试数据集输入经过训练后的显著性区域自适应锐化卷积神经网络，得到高空间分辨率的高光谱图像。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种高光谱图像全色锐化方法，其特征在于，包括：
读取高光谱图像和对应匹配的全色图像，并进行预处理；
基于预处理后的高光谱图像和全色图像，构建训练数据集和测试数据集；
构建多尺度特征聚合模块，进一步获得显著性区域自适应感知模块，根据显著性自适应感知模块构建显著性区域自适应锐化卷积神经网络；
基于训练数据集训练显著性区域自适应锐化卷积神经网络；
测试数据集输入经过训练后的显著性区域自适应锐化卷积神经网络，得到高空间分辨率的高光谱图像。
2.根据权利要求1所述的高光谱图像全色锐化方法，其特征在于，所述读取高光谱图像和对应匹配的全色图像，其中高光谱图像和全色图像在空间尺寸上存在如下关系：
Figure FDA0003562347270000011
其中r表示所述全色图像与高光谱图像的空间分辨率之比，h1和w1分别表示所述高光谱图像的高和宽，h2和w2分别表示所述全色图像的高和宽，b表示所述高光谱图像的光谱通道数。
3.根据权利要求1所述的高光谱图像全色锐化方法，其特征在于，所述预处理包括如下：
使用频率响应适配的平滑滤波器对高光谱图像和全色图像进行低通滤波得到第一高光谱图像和第一全色图像；
对第一高光谱图像和第一全色图像进行下采样，得到空间分辨率退化r倍的第二高光谱图像和第二全色图像；
使用多项式插值法对第二高光谱图像进行上采样，得到空间分辨率提升r倍的第三高光谱图像。
4.根据权利要求3所述的高光谱图像全色锐化方法，其特征在于，所述构建训练数据集和测试数据集的过程为：
选择第三高光谱图像的部分区域及第二全色图像的相对应位置；
按照设定的采样间隔无重叠的从该区域裁剪多个高光谱子图像和全色子图像作为训练样本，顺序随机打乱后构成训练数据集；
选择第三高光谱图像的剩余区域以及第二全色图像的对应位置，进行裁剪得到测试样本，构成测试数据集。
5.根据权利要求1所述的高光谱图像全色锐化方法，其特征在于，所述多尺度特征聚合模块包括：尺度卷积层SConv1、尺度卷积层SConv2、尺度卷积层SConv3、反卷积层TConv1、反卷积层TConv2、反卷积层TConv3、反卷积层TConv4、反卷积层TConv5、反卷积层TConv6、聚合卷积层AConv4、聚合卷积层AConv5、聚合卷积层AConv6、反卷积层TConv7、反卷积层TConv8及聚合卷积层AConv7。
6.根据权利要求1或5任一项所述的高光谱图像全色锐化方法，其特征在于，所述显著性区域自适应感知模块包括：
多尺度特征聚合模块，输入特征图
Figure FDA0003562347270000021
输出64个特征图
Figure FDA0003562347270000022
实现多尺度空间纹理信息的提取和整合；
注意力映射层AMapping，输入特征图
Figure FDA0003562347270000023
输出注意力掩膜Mask(i)；
空间特征强化卷积层RConv1，输入特征图
Figure FDA0003562347270000024
输出64个特征图
Figure FDA0003562347270000025
空间特征强化卷积层RConv2，输入特征图
Figure FDA0003562347270000026
输出64个特征图
Figure FDA0003562347270000027
显著性区域感知层SRAP，输入特征图
Figure FDA0003562347270000028
和注意力掩膜Mask(i)，输出64个特征图
Figure FDA0003562347270000029
7.根据权利要求6所述的高光谱图像全色锐化方法，其特征在于，所述显著性区域自适应锐化卷积神经网络模型包括：
光谱压缩卷积层Conv1：输入第三高光谱图像训练样本
Figure FDA00035623472700000210
输出64个特征图
Figure FDA00035623472700000211
光谱拼接层Concat：输入第二全色图像训练样本
Figure FDA00035623472700000212
和特征图
Figure FDA00035623472700000213
输出65个特征图C(i)；
第一显著性区域自适应感知模块：输入特征图C(i)，实现第一阶段显著性区域自适应锐化；
第二显著性区域自适应感知模块：输入第一阶段显著性区域自适应锐化，输出第二阶段显著性区域自适应锐化；
第三显著性区域自适应感知模块：输入第二阶段显著性区域自适应锐化的输出，输出64个特征图
Figure FDA00035623472700000214
实现第三阶段显著性区域自适应锐化
光谱重建卷积层Conv2，输入特征图
Figure FDA00035623472700000215
输出b个特征图
Figure FDA00035623472700000216
光谱补偿层Compense，输入第三高光谱图像训练样本
Figure FDA00035623472700000217
和特征图
Figure FDA00035623472700000218
输出预测图像O(i)。
8.根据权利要求1所述的高光谱图像全色锐化方法，其特征在于，显著性区域自适应锐化卷积神经网络模型的损失函数为平均绝对误差损失函数，表达式为：
Figure FDA0003562347270000031
其中Ω表示显著性区域自适应锐化卷积神经网络的输入输出映射关系，θ表示网络的参数，Nb表示每一轮迭代输入的训练样本数，||·||F表示Frobenius范数。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的高光谱图像全色锐化方法。
10.一种设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的如权利要求1-8任一项所述的高光谱图像全色锐化方法。
CN202210293370.3A 2022-03-24 2022-03-24 一种高光谱图像全色锐化方法、设备及介质 Pending CN114638761A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210293370.3A CN114638761A (zh) 2022-03-24 2022-03-24 一种高光谱图像全色锐化方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210293370.3A CN114638761A (zh) 2022-03-24 2022-03-24 一种高光谱图像全色锐化方法、设备及介质

Publications (1)

Publication Number Publication Date
CN114638761A true CN114638761A (zh) 2022-06-17

Family

ID=81950115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210293370.3A Pending CN114638761A (zh) 2022-03-24 2022-03-24 一种高光谱图像全色锐化方法、设备及介质

Country Status (1)

Country Link
CN (1) CN114638761A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564692A (zh) * 2022-09-07 2023-01-03 宁波大学 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564692A (zh) * 2022-09-07 2023-01-03 宁波大学 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法
CN115564692B (zh) * 2022-09-07 2023-12-05 宁波大学 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法

Similar Documents

Publication Publication Date Title
Luo et al. Pansharpening via unsupervised convolutional neural networks
CN104112263B (zh) 基于深度神经网络的全色图像与多光谱图像融合的方法
Song et al. Spatiotemporal satellite image fusion through one-pair image learning
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN109102469B (zh) 一种基于卷积神经网络的遥感图像全色锐化方法
CN111784582B (zh) 一种基于dec_se的低照度图像超分辨率重建方法
CN111008936B (zh) 一种多光谱图像全色锐化方法
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN114266957B (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN113673590A (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
Liu et al. Research on super-resolution reconstruction of remote sensing images: A comprehensive review
CN111951164A (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN113793289A (zh) 基于cnn和nsct的多光谱图像和全色图像模糊融合方法
CN115311184A (zh) 基于半监督深度神经网络的遥感图像融合方法及系统
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
CN114638761A (zh) 一种高光谱图像全色锐化方法、设备及介质
CN111899166A (zh) 一种基于深度学习的医学高光谱显微图像超分辨重构方法
Qian et al. Selfs2: Self-supervised transfer learning for sentinel-2 multispectral image super-resolution
CN114511470B (zh) 一种基于注意力机制的双分支全色锐化方法
CN110807746B (zh) 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法
CN113066030B (zh) 一种基于空谱融合网络的多光谱图像全色锐化方法及系统
CN115100075A (zh) 基于光谱约束和残差注意力网络的高光谱全色锐化方法
Yehia et al. An improved integrated intensity-hue-saturation with stationary wavelet transform multi-sensor image fusion approach
CN109785253B (zh) 一种基于增强反投影的全色锐化后处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination