CN112465733A - 基于半监督学习的遥感图像融合方法、装置、介质及设备 - Google Patents
基于半监督学习的遥感图像融合方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN112465733A CN112465733A CN202010894787.6A CN202010894787A CN112465733A CN 112465733 A CN112465733 A CN 112465733A CN 202010894787 A CN202010894787 A CN 202010894787A CN 112465733 A CN112465733 A CN 112465733A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- fusion
- degradation
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 114
- 230000015556 catabolic process Effects 0.000 claims abstract description 112
- 238000006731 degradation reaction Methods 0.000 claims abstract description 112
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000001228 spectrum Methods 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims description 35
- 230000003595 spectral effect Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000011156 evaluation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于半监督学习的遥感图像融合方法、装置、介质及设备，本发明由低尺度的监督学习和原始尺度的无监督学习构成，在进行监督学习时，将低分辨率多光谱和全色图像输入融合网络得到低分融合图像，计算参考图像与融合结果之间的低尺度损失。由于在高分部分不存在高分参考图像，本发明建立了光谱和空间退化网络实现对多光谱图像空间和光谱的约束，使用建立的光谱和空间退化网络得到原始尺度损失。本发明方法在低分部分监督学习，在高分部分无监督学习，通过半监督学习的方式来训练网络，使低分图像和高分图像的表现保持一致。实验结果表明，本发明提出的基于半监督学习的遥感图像融合方法可以达到好的融合效果。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于半监督学习的遥感图像融合方法、装置、介质及设备。
背景技术
随着科学技术的进步和传感器的发展，系统获得的信息变得复杂多样，为了更好的处理并获得更丰富的有用信息，需要研究和发展新的信息处理方法。信息融合作为可以有效的获得精确可靠信息的一种技术而兴起。图像融合技术是信息融合技术的一个分支，近些年引起了人们的广泛关注。
图像融合将多个传感器获得的图像信息进行综合，利用各传感器之间的信息互补得到一个信息全面丰富的融合图像，提高了图像的可靠性和清晰度。目前，图像融合技术应用广泛，如遥感卫星的图像融合，一般遥感卫星上的全色传感器获得的全色图像只有一个光谱带，虽然分辨率高，但缺乏光谱信息，因此需要多光谱图像与其进行融合来进行信息互补，合成分辨率高且光谱信息好的融合图像。遥感成像在农业生产、自然环境勘查、地形分析等方面有着广泛应用，为了获得更有价值的图像，遥感图像融合的研究有着重大意义。
现有的遥感图像融合方法包括基于非学习和学习两大类。基于非学习的方法是直接利用先验进行建模分析来预测高分融合图像，基于非学习的图像融合方法有很多，如IHS、 GLP和NMRA，但是现有的基于非学习方法的性能大部分都比基于学习的方法差。基于学习的方法是在利用数据建模分析来预测融合图像，近年来，基于学习的图像融合方法，尤其是基于深度学习的方法，得到广泛的研究，如PanNet、PNN和RSIFNN，通过构建模型学习全色图像和多光谱图像这两者与参考图像之间的关系来模拟产生低分融合图像，用低分图像训练的模型去预测高分图像，但此过程有一定误差，会导致低分部分与高分部分的表现不一致。
发明内容
针对现有技术的不足，本发明提供一种基于半监督学习的遥感图像融合方法、装置、介质及设备，在低分和高分上同时训练模型，克服高分和低分部分表现不一致的问题。
为了解决上述问题，一方面，本方案提供一种基于半监督学习的遥感图像融合方法，步骤如下：
步骤1：构建并训练空间退化网络和光谱退化网络；
在训练空间退化网络或光谱退化网络过程中，计算光谱退化网络或空间退化网络输出的预测图像与实际的目标图像之间的损失，再通过反向传播算法反复的优化损失，迭代至损失收敛，获取最终的光谱退化网络模型或空间退化网络；
步骤2：构建融合网络；
所述融合网络包括依次连接的特征提取单元，特征非线性映射单元以及特征重构单元；
其中，所述特征提取单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数为64；所述特征非线性映射单元包括四个依次连接的自适应多尺度模块，所述自适应多尺度模块包括并联叠加的多尺度模块和自适应模块；所述特征重构单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数分别为32，4；
步骤3：以利用构建的融合网络获取的低分融合图像、高分融合图像的损失和最小作为训练目标，对融合网络进行反向传播训练；
步骤4：将上采样多光谱图像以及全色图像输入到训练好的融合网络中，完成遥感图像融合。
在低分部分有监督训练，在高分部分，设计光谱退化网络和空间退化网络来实现无监督训练。低分和高分部分使用同一个融合网络，半监督学习的目的是使低分与高分融合阶段的表现一致。
进一步地，所述多尺度模块包括依次串联的卷积单元，所述卷积单元包括三个依次连接的卷积层，第一个卷积层为三个并联叠加的空洞卷积，且三个空洞卷积的卷积核大小均为3×3，尺度因子分别为1、2、3，第二层卷积层和第三层卷积层的卷积核大小分别为1×1，3×3；
所述自适应模块包括顺序连接的全局平均池化层、两个全连接层以及sigmoid激活函数，两个全连接层的神经元个数分别为8和64，且以全局平均池化层的输入与sigmoid激活函数的输出进行相乘运算得到的结果作为自适应模块的输出。
自适应模块调整特征通道之间的联系，通过加入自适应权重对不同特征图进行调节，形成具有通道自适应的注意力机制。采用的空洞卷积在不增加计算量的同时增加了感受野。同时还采用全局残差连接使网络快速收敛。
进一步地，所述空间退化网络包括两条支路，两条支路的输入端相连，两条支路的输出端相减得到所述空间退化网络的输出图像；空间退化网络的两条支路为第一支路和第二支路，其中，第一支路为三个依次连接的卷积层，第二支路的输入端与第一支路的输入端相连；所述第一支路中三个卷积层中的卷积核大小分别为9×9，5×5，5×5；所述第一支路中三个卷积层中的特征图个数分别为48，32和待融合的多光谱图像波段数；
所述光谱退化网络包括两条支路，两条支路的输入端相连，两条支路的输出端相加得到所述光谱退化网络的输出图像，光谱退化网络的两条支路为第三支路和第四支路，其中第三支路包括三个依次连接的卷积层，第四支路包括一个卷积核为1×1的卷积层，所述第三支路中三个卷积层中的卷积核大小均为3×3，所述第三支路中三个卷积层中的特征图个数依次为32，8，1；
训练光谱退化网络时，光谱退化网络的输入图像和输出图像分别为原始多光谱图像和同分辨率全色图像；
训练空间退化网络时，空间退化网络的输入图像和输出图像分别为原始多光谱图像和低分辨率多光谱图像。
加入光谱损失，在不提高网络计算量的情况下有效提高了融合性能，更好的保持了光谱信息。
进一步地，采用平方根误差计算光谱退化网络或空间退化网络输出的预测图像与实际的目标图像之间的损失。
进一步地，所述融合网络获取低分融合图像、高分融合图像的损失和包括三个部分，第一部分为将低分辨率多光谱图像和全色图像输入融合网络中得到低分融合图像和低分融合参考图像之间的损失，第二部分和第三部分分别为将上采样多光谱图像和全色图像输入到融合网络中得到高分融合图像，再将高分融合图像分别输入训练好的空间退化和光谱退化网络中，得到空间退化图像和光谱退化图像，以得到的空间退化图像与上采样多光谱图像之间的损失和光谱退化图像与全色图像之间的损失。
进一步地，采用均方根误差计算所述低分融合图像、高分融合图像的损失。
进一步地，采用光谱损失函数计算所述空间退化图像与上采样多光谱图像之间的损失。
另一方面，一种基于半监督学习的遥感图像融合装置，包括：
空间退化网络和光谱退化网络构建与训练单元，用于在训练空间退化网络或光谱退化网络过程中，计算光谱退化网络或空间退化网络输出的预测图像与实际的目标图像之间的损失，再通过反向传播算法反复的优化损失，迭代至损失收敛，获取最终的光谱退化网络模型或空间退化网络；
融合网络构建单元，包括依次连接的特征提取单元，特征非线性映射单元以及特征重构单元；
其中，所述特征提取单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数为64；所述特征非线性映射单元包括四个依次连接的自适应多尺度模块，所述自适应多尺度模块包括并联叠加的多尺度模块和自适应模块；所述特征重构单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数分别为32，4；
融合网络训练单元，用于低分融合图像、高分融合图像的损失和最小作为训练目标，对融合网络进行反向传播训练；
图像融合单元：将上采样多光谱图像以及全色图像输入到训练好的融合网络中，完成遥感图像融合。
再一方面，一种计算机存储介质，包括计算机程序，所述计算机程序被处理器执行时实现所述的一种基于半监督学习的遥感图像融合方法。
再一方面，一种基于半监督学习的遥感图像融合设备，包括处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述一种基于半监督学习的遥感图像融合设备执行所述一种基于半监督学习的遥感图像融合方法。
有益效果
与现有方法比，基于半监督学习遥感图像融合方法有以下优点：
1、本发明在低分部分有监督训练，在高分部分，设计光谱退化网络和空间退化网络来实现无监督训练。低分和高分部分使用同一个融合网络(参数共享)，半监督学习的目的是使低分与高分融合阶段的表现一致。
2、本发明加入光谱损失，在不提高网络计算量的情况下有效提高了融合性能，更好的保持了光谱信息。
3、本发明融合网络中的自适应模块调整特征通道之间的联系，通过加入自适应权重对不同特征图进行调节，形成具有通道自适应的注意力机制。采用的空洞卷积在不增加计算量的同时增加了感受野。同时还采用全局残差连接使网络快速收敛。
附图说明
图1为本实例所述发明方法的流程示意图；
图2为本实例中主要网络结构图，其中，图2(a)为光谱退化网络结构图，图2(b)为空间退化网络结构图，图2(c)为融合网络结构图；
图3为本实例所述方法在GeoEye1卫星图像上的模拟实验结果图，其中，图3(a)为低分辨率多光谱图像，图3(b)为全色图像，图3(c)为低分参考图像，图3(d)为NRMA方法融合图像，图3(e)为GLP方法融合图像，图3(f)为RSIFNN方法融合图像，图3(g) 为PNN方法融合图像，图3(h)为PanNet方法融合图像，图3(i)为本发明方法融合图像；
图4为本实例所述方法在GeoEye1卫星图像上的实际实验结果图，其中，图4(a)为上采样多光谱图像，图4(b)为全色图像，图4(c)为NRMA方法融合图像，图4(d)为GLP 方法融合图像，图4(e)为RSIFNN方法融合图像，图4(f)为PNN方法融合图像，图4(g) 为PanNet方法融合图像，图4(h)为本发明方法融合图像。
具体实施方式
下面结合附图和实施例对本发明作进一步详细的描述。
如图1和图2所示，一种基于半监督学习的遥感图像融合方法，步骤如下：
步骤1：构建并训练空间退化网络和光谱退化网络；
在训练空间退化网络或光谱退化网络过程中，计算光谱退化网络或空间退化网络输出的预测图像与实际的目标图像之间的损失，再通过反向传播算法反复的优化损失，迭代至损失收敛，获取最终的光谱退化网络模型或空间退化网络；
如图2a所示，所述空间退化网络包括两条支路，两条支路的输入端相连，两条支路的输出端相减得到所述空间退化网络的输出图像；空间退化网络的两条支路为第一支路和第二支路，其中，第一支路为三个依次连接的卷积层，第二支路的输入端与第一支路的输入端相连；所述第一支路中三个卷积层中的卷积核大小分别为9×9，5×5，5×5；所述第一支路中三个卷积层中的特征图个数分别为48，32和待融合的多光谱图像波段数；
如图2b所示，所述光谱退化网络包括两条支路，两条支路的输入端相连，两条支路的输出端相加得到所述光谱退化网络的输出图像，光谱退化网络的两条支路为第三支路和第四支路，其中第三支路包括三个依次连接的卷积层，第四支路包括一个卷积核为 1×1的卷积层，所述第三支路中三个卷积层中的卷积核大小均为3×3，所述第三支路中三个卷积层中的特征图个数依次为32，8，1；
训练光谱退化网络时，光谱退化网络的输入图像和输出图像分别为原始多光谱图像和同分辨率全色图像；
训练空间退化网络时，空间退化网络的输入图像和输出图像分别为原始多光谱图像和低分辨率多光谱图像。
采用平方根误差计算光谱退化网络或空间退化网络输出的预测图像与实际的目标图像之间的损失。
步骤2：构建融合网络；
所述融合网络包括依次连接的特征提取单元，特征非线性映射单元以及特征重构单元；
其中，所述特征提取单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数为64；所述特征非线性映射单元包括四个依次连接的自适应多尺度模块，所述自适应多尺度模块包括并联叠加的多尺度模块和自适应模块；所述特征重构单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数分别为32，4；
自适应多尺度模块可表示为：
YRSM＝G3(G1(C(D3,1(X),D3,2(X),D3,3(X))))+A×X
A＝S(f2(f1(M(X))))
式中，Gi表示卷积核大小为i的卷积层，Di,r表示卷积核大小为i，尺度因子为r的空洞卷积层，C表示通道维度拼接。X表示自适应模块的输入，A表示生成的自适应权重， M表示全局平均池化，f表示全连接卷积，S表示sigmoid函数。
所述多尺度模块包括依次串联的卷积单元，所述卷积单元包括三个依次连接的卷积层，第一个卷积层为三个并联叠加的空洞卷积，且三个空洞卷积的卷积核大小均为3×3，尺度因子分别为1、2、3，第二层卷积层和第三层卷积层的卷积核大小分别为1×1，3×3；
所述自适应模块包括顺序连接的全局平均池化层、两个全连接层以及sigmoid激活函数，两个全连接层的神经元个数分别为8和64，且以全局平均池化层的输入与sigmoid激活函数的输出进行相乘运算得到的结果作为自适应模块的输出。
步骤3：以利用构建的融合网络获取的低分融合图像、高分融合图像的损失和最小作为训练目标，对融合网络进行反向传播训练；
所述融合网络获取低分融合图像、高分融合图像的损失和包括三个部分，第一部分为将低分辨率多光谱图像和全色图像输入融合网络中得到低分融合图像和低分融合参考图像之间的损失，第二部分和第三部分分别为将上采样多光谱图像和全色图像输入到融合网络中得到高分融合图像，再将高分融合图像分别输入训练好的空间退化和光谱退化网络中，得到空间退化图像和光谱退化图像，以得到的空间退化图像与上采样多光谱图像之间的损失和光谱退化图像与全色图像之间的损失。
损失和为L，L＝L1+L2+L3；
在低分部分所述的损失采用均方根误差，低分融合图像与低分参考图像之间的损失可表示为：
L1＝||Y-MS||F
式中，Y表示低分融合图像，MS为低分参考图像，||·||F表示矩阵的F范数。
在高分部分所述的损失除了均方根误差外，还加了一个光谱损失函数来计算上采样多光谱图像与空间退化图像之间的损失，可表示为：
式中，UPMS表示上采样多光谱图像，Yupms表示空间退化图像，其中<·，·>表示内积，i、 j表示空间坐标。
全色图像与光谱退化图像之间的损失可表示为：
L3＝||Ypan-PAN||F
式中，PAN表示全色图像，Ypan表示光谱退化图像。
在本实例光谱退化网络和空间退化网络训练过程中，首先将原始图像切割为一定数量的小块，也就是样本，例如训练光谱退化网络时，样本的输入和目标图像分别为原始多光谱图像和同分辨率全色图像；空间退化网络的输入和目标图像则为原始多光谱图像和低分辨率多光谱图像，然后分批量输入到网络模型中获取退化图像，批量大小是训练一次所取的小块图像数量，如批量大小为32时表明网络一次训练32组样本。批量大小是卷积神经网络里一个基本的概念；然后计算预测图像与目标图像(标签)的损失(例如平方根误差)，然后通过反向传播算法反复的优化损失，迭代至损失收敛，最终获取网络模型；
步骤4：将上采样多光谱图像以及全色图像输入到训练好的融合网络中，完成遥感图像融合。
本发明的融合效果通过实验数据分析和实验融合图像来进一步说明。本发明采用GeoEye1卫星上的图像进行模拟图像实验和实际图像实验，GeoEye1卫星的多光谱图像有红、绿、蓝和近红外四个波段。模拟实验所采用的图像是通过对实际图像进行退化和下采样获得，其中，低分辨率多光谱图像还需对下采样的图像进行上采样。实际图像实验中先对实际多光谱图像进行上采样，然后再与实际全色图像进行融合。本发明与 NMRA、GLP、PanNet、PNN、RSIFNN这五种方法进行比较。
模拟图像实验结果分析：
图3(a)、3(b)和3(c)分别为GeoEye1的低分辨率多光谱图像、全色图像和低分参考图像，图3(d)～3(h)分别为NRMA、GLP、RSIFNN、PNN和PanNet方法的融合图像，图3(i)为本发明方法的融合图像。与低分参考图像图3(c)相比，图3(d)的细节和光谱都扭曲严重，图3(e)的细节结构有一定的丢失，图3(e)～3(g)的光谱欠佳，而本发明方法图 3(i)的光谱信息部分和空间细节部分都与低分参考图像的差异较小。
除了对图像进行分析外，本发明还通过Q、SAM、ERGAS、SCC、Q4这五项客观评价指标来评估低分融合结果，其中Q表示通用图像质量指标，SAM表示光谱角映射， ERGAS表示相对整体维数综合误差，SCC表示空间相关系数，Q4表示4波段图像融合质量评价指标。表1是不同融合方法在GeoEye1卫星遥感图像上模拟图像融合结果的客观评价指标，可以看出本发明方法的各项指标都优于其他方法。传统的融合方法NMRA 和GLP的融合效果相对较差，SAM指标和ERGAS指标都较大，而这两个指标的最优值为0，除此之外，其他三种方法的空间相关系数SCC都小于本发明方法，则可看出本发明方法与参考图像的相关性要比其他方法好。
表1 GeoEye1遥感图像融合客观评价指标
实际图像实验结果分析：
图4(a)为上采样多光谱图像，图4(b)为全色图像，图4(c)～4(g)分别为NRMA、GLP、RSIFNN、PNN和PanNet方法的融合图像，图4(h)为本发明方法的融合图像。图4(c) 的光谱扭曲严重，图4(d)的锐化过度，导致有些细节结构的丢失，本发明方法图4(h)的红色保持比图4(e)～4(g)稍好，可看出本发明方法在提高分辨率的同时很好的保存了光谱信息。
实际图像实验没有高分参考图像，因此除了分析融合图像外，本发明还采用无参考图像的客观评价指标Dλ、Ds、QNR来评估融合结果。其中指标Dλ用来评价融合图像的光谱扭曲程度，指标Ds用来评价融合图像的空间细节丢失程度，指标QNR是Dλ和Ds的综合，Dλ和Ds的值越趋近于0，QNR的值越接近1，说明融合效果越好。表2是不同融合方法在GeoEye1卫星上实际图像融合结果的客观评价指标。从表中可看出本发明方法的指标都优于其他方法，且综合指标QNR远远高于其他方法。与其他融合方法相比，本发明在融合过程中空间细节损失最少且融合结果最优。
表2 GeoEye1遥感图像融合客观评价指标
本实例还提供一种基于半监督学习的遥感图像融合装置，包括
空间退化网络和光谱退化网络构建与训练单元，用于在训练空间退化网络或光谱退化网络过程中，计算光谱退化网络或空间退化网络输出的预测图像与实际的目标图像之间的损失，再通过反向传播算法反复的优化损失，迭代至损失收敛，获取最终的光谱退化网络模型或空间退化网络；
融合网络构建单元，包括依次连接的特征提取单元，特征非线性映射单元以及特征重构单元；
其中，所述特征提取单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数为64；所述特征非线性映射单元包括四个依次连接的自适应多尺度模块，所述自适应多尺度模块包括并联叠加的多尺度模块和自适应模块；所述特征重构单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数分别为32，4；
融合网络训练单元，用于低分融合图像、高分融合图像的损失和最小作为训练目标，对融合网络进行反向传播训练；
图像融合单元：将上采样多光谱图像以及全色图像输入到训练好的融合网络中，完成遥感图像融合。
应当理解，本发明各个实施例中的功能单元模块可以集中在一个处理单元中，也可以是各个单元模块单独物理存在，也可以是两个或两个以上的单元模块集成在一个单元模块中，可以采用硬件或软件的形式来实现。
本发明实施例还提供一种计算机存储介质，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的一种基于半监督学习的遥感图像融合方法，其有益效果参见方法部分的有益效果，在此不再赘述。
本发明实例还提供一种基于半监督学习的遥感图像融合设备，包括处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述一种基于半监督学习的遥感图像融合设备执行如所述一种基于半监督学习的遥感图像融合方法。其有益效果参见方法部分的有益效果，在此不再赘述。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。因此，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (10)
1.一种基于半监督学习的遥感图像融合方法，其特征在于，包括：
步骤1：构建并训练空间退化网络和光谱退化网络；
在训练空间退化网络或光谱退化网络过程中，计算光谱退化网络或空间退化网络输出的预测图像与实际的目标图像之间的损失，再通过反向传播算法反复的优化损失，迭代至损失收敛，获取最终的光谱退化网络模型或空间退化网络；
步骤2：构建融合网络；
所述融合网络包括依次连接的特征提取单元，特征非线性映射单元以及特征重构单元；
其中，所述特征提取单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数为64；所述特征非线性映射单元包括四个依次连接的自适应多尺度模块，所述自适应多尺度模块包括并联叠加的多尺度模块和自适应模块；所述特征重构单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数分别为32，4；
步骤3：以利用构建的融合网络获取的低分融合图像、高分融合图像的损失和最小作为训练目标，对融合网络进行反向传播训练；
步骤4：将上采样多光谱图像以及全色图像输入到训练好的融合网络中，完成遥感图像融合。
2.根据权利要求1所述的方法，其特征在于，所述多尺度模块包括依次串联的卷积单元，所述卷积单元包括三个依次连接的卷积层，第一个卷积层为三个并联叠加的空洞卷积，且三个空洞卷积的卷积核大小均为3×3，尺度因子分别为1、2、3，第二层卷积层和第三层卷积层的卷积核大小分别为1×1，3×3；
所述自适应模块包括顺序连接的全局平均池化层、两个全连接层以及sigmoid激活函数，两个全连接层的神经元个数分别为8和64，且以全局平均池化层的输入与sigmoid激活函数的输出进行相乘运算得到的结果作为自适应模块的输出。
3.根据权利要求1所述的方法，其特征在于，所述空间退化网络包括两条支路，两条支路的输入端相连，两条支路的输出端相减得到所述空间退化网络的输出图像；空间退化网络的两条支路为第一支路和第二支路，其中，第一支路为三个依次连接的卷积层，第二支路的输入端与第一支路的输入端相连；所述第一支路中三个卷积层中的卷积核大小分别为9×9，5×5，5×5；所述第一支路中三个卷积层神经网络中的特征图个数分别为48，32和待融合的多光谱图像波段数；
所述光谱退化网络包括两条支路，两条支路的输入端相连，两条支路的输出端相加得到所述光谱退化网络的输出图像，光谱退化网络的两条支路为第三支路和第四支路，其中第三支路包括三个依次连接的卷积层，第四支路包括一个卷积核为1×1的卷积层，所述第三支路中三个卷积层中的卷积核大小均为3×3，所述第三支路中三个卷积层神经网络中的特征图个数依次为32，8，1；
训练光谱退化网络时，光谱退化网络的输入图像和输出图像分别为原始多光谱图像和同分辨率全色图像；
训练空间退化网络时，空间退化网络的输入图像和输出图像分别为原始多光谱图像和低分辨率多光谱图像。
4.根据权利要求3所述的方法，其特征在于，采用平方根误差计算光谱退化网络或空间退化网络输出的预测图像与实际的目标图像之间的损失。
5.根据权利要求1所述的方法，其特征在于，所述融合网络获取低分融合图像、高分融合图像的损失和包括三个部分，第一部分为将低分辨率多光谱图像和全色图像输入融合网络中得到低分融合图像和低分融合参考图像之间的损失，第二部分和第三部分分别为将上采样多光谱图像和全色图像输入到融合网络中得到高分融合图像，再将高分融合图像分别输入训练好的空间退化和光谱退化网络中，得到空间退化图像和光谱退化图像，以得到的空间退化图像与上采样多光谱图像之间的损失和光谱退化图像与全色图像之间的损失。
6.根据权利要求5所述的方法，其特征在于，采用均方根误差计算所述低分融合图像、高分融合图像的损失。
7.根据权利要求5所述的方法，其特征在于，采用光谱损失函数计算所述空间退化图像与上采样多光谱图像之间的损失。
8.一种基于半监督学习的遥感图像融合装置，其特征在于，包括
空间退化网络和光谱退化网络构建与训练单元，用于在训练空间退化网络或光谱退化网络过程中，计算光谱退化网络或空间退化网络输出的预测图像与实际的目标图像之间的损失，再通过反向传播算法反复的优化损失，迭代至损失收敛，获取最终的光谱退化网络模型或空间退化网络；
融合网络构建单元，包括依次连接的特征提取单元，特征非线性映射单元以及特征重构单元；
其中，所述特征提取单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数为64；所述特征非线性映射单元包括四个依次连接的自适应多尺度模块，所述自适应多尺度模块包括并联叠加的多尺度模块和自适应模块；所述特征重构单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数分别为32，4；
融合网络训练单元，用于以低分融合图像、高分融合图像的损失和最小作为训练目标，对融合网络进行反向传播训练；
图像融合单元：将上采样多光谱图像以及全色图像输入到训练好的融合网络中，完成遥感图像融合。
9.一种计算机存储介质，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的一种基于半监督学习的遥感图像融合方法。
10.一种基于半监督学习的遥感图像融合设备，其特征在于，包括处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述一种基于半监督学习的遥感图像融合设备执行如权利要求1至7中任一项所述一种基于半监督学习的遥感图像融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010894787.6A CN112465733B (zh) | 2020-08-31 | 2020-08-31 | 基于半监督学习的遥感图像融合方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010894787.6A CN112465733B (zh) | 2020-08-31 | 2020-08-31 | 基于半监督学习的遥感图像融合方法、装置、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112465733A true CN112465733A (zh) | 2021-03-09 |
| CN112465733B CN112465733B (zh) | 2022-06-28 |
Family
ID=74832894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010894787.6A Active CN112465733B (zh) | 2020-08-31 | 2020-08-31 | 基于半监督学习的遥感图像融合方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465733B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191993A (zh) * | 2021-04-20 | 2021-07-30 | 山东师范大学 | 基于深度学习的全色与多光谱图像融合方法 |
| CN113191325A (zh) * | 2021-05-24 | 2021-07-30 | 中国科学院深圳先进技术研究院 | 一种图像融合方法、系统及其应用 |
| CN113762288A (zh) * | 2021-09-22 | 2021-12-07 | 辽宁师范大学 | 基于交互式特征嵌入的多光谱图像融合方法 |
| CN114066755A (zh) * | 2021-11-11 | 2022-02-18 | 南京航空航天大学 | 一种基于全波段特征融合的遥感影像薄云去除方法及系统 |
| CN114092834A (zh) * | 2022-01-24 | 2022-02-25 | 南京理工大学 | 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及系统 |
| CN114511470A (zh) * | 2022-04-06 | 2022-05-17 | 中国科学院深圳先进技术研究院 | 一种基于注意力机制的双分支全色锐化方法 |
| CN114581347A (zh) * | 2022-01-24 | 2022-06-03 | 中国科学院空天信息创新研究院 | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 |
| CN114972118A (zh) * | 2022-06-30 | 2022-08-30 | 抖音视界(北京)有限公司 | 检查图像的降噪方法、装置、可读介质和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203523A (zh) * | 2016-07-17 | 2016-12-07 | 西安电子科技大学 | 基于梯度提升决策树半监督算法融合的高光谱图像分类 |
| CN108596266A (zh) * | 2018-05-02 | 2018-09-28 | 深圳市易成自动驾驶技术有限公司 | 基于半监督学习的融合决策方法、装置及存储介质 |
| CN109146831A (zh) * | 2018-08-01 | 2019-01-04 | 武汉大学 | 基于双支深度学习网络的遥感图像融合方法及系统 |
| JP2020042367A (ja) * | 2018-09-06 | 2020-03-19 | Ａｗｌ株式会社 | 学習システム、サーバ、及び特徴量画像描画補間プログラム |
| CN111080567A (zh) * | 2019-12-12 | 2020-04-28 | 长沙理工大学 | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 |
-
2020
- 2020-08-31 CN CN202010894787.6A patent/CN112465733B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203523A (zh) * | 2016-07-17 | 2016-12-07 | 西安电子科技大学 | 基于梯度提升决策树半监督算法融合的高光谱图像分类 |
| CN108596266A (zh) * | 2018-05-02 | 2018-09-28 | 深圳市易成自动驾驶技术有限公司 | 基于半监督学习的融合决策方法、装置及存储介质 |
| CN109146831A (zh) * | 2018-08-01 | 2019-01-04 | 武汉大学 | 基于双支深度学习网络的遥感图像融合方法及系统 |
| JP2020042367A (ja) * | 2018-09-06 | 2020-03-19 | Ａｗｌ株式会社 | 学習システム、サーバ、及び特徴量画像描画補間プログラム |
| CN111080567A (zh) * | 2019-12-12 | 2020-04-28 | 长沙理工大学 | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 胡建文: "Two-Stage Pansharpening Based on Multi-Level", 《IEEE》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191993B (zh) * | 2021-04-20 | 2022-11-04 | 山东师范大学 | 基于深度学习的全色与多光谱图像融合方法 |
| CN113191993A (zh) * | 2021-04-20 | 2021-07-30 | 山东师范大学 | 基于深度学习的全色与多光谱图像融合方法 |
| CN113191325A (zh) * | 2021-05-24 | 2021-07-30 | 中国科学院深圳先进技术研究院 | 一种图像融合方法、系统及其应用 |
| CN113191325B (zh) * | 2021-05-24 | 2023-12-12 | 中国科学院深圳先进技术研究院 | 一种图像融合方法、系统及其应用 |
| CN113762288A (zh) * | 2021-09-22 | 2021-12-07 | 辽宁师范大学 | 基于交互式特征嵌入的多光谱图像融合方法 |
| CN113762288B (zh) * | 2021-09-22 | 2022-11-29 | 辽宁师范大学 | 基于交互式特征嵌入的多光谱图像融合方法 |
| CN114066755A (zh) * | 2021-11-11 | 2022-02-18 | 南京航空航天大学 | 一种基于全波段特征融合的遥感影像薄云去除方法及系统 |
| CN114581347A (zh) * | 2022-01-24 | 2022-06-03 | 中国科学院空天信息创新研究院 | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 |
| CN114092834A (zh) * | 2022-01-24 | 2022-02-25 | 南京理工大学 | 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及系统 |
| CN114581347B (zh) * | 2022-01-24 | 2024-03-12 | 中国科学院空天信息创新研究院 | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 |
| CN114511470B (zh) * | 2022-04-06 | 2022-07-08 | 中国科学院深圳先进技术研究院 | 一种基于注意力机制的双分支全色锐化方法 |
| CN114511470A (zh) * | 2022-04-06 | 2022-05-17 | 中国科学院深圳先进技术研究院 | 一种基于注意力机制的双分支全色锐化方法 |
| CN114972118A (zh) * | 2022-06-30 | 2022-08-30 | 抖音视界(北京)有限公司 | 检查图像的降噪方法、装置、可读介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112465733B (zh) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112465733B (zh) | 基于半监督学习的遥感图像融合方法、装置、介质及设备 | |
| CN112232280B (zh) | 基于自编码器与3d深度残差网络的高光谱图像分类方法 | |
| CN113011499B (zh) | 一种基于双注意力机制的高光谱遥感图像分类方法 | |
| CN111612066B (zh) | 基于深度融合的卷积神经网络的遥感图像分类方法 | |
| CN110555446A (zh) | 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法 | |
| CN111191736A (zh) | 基于深度特征交叉融合的高光谱图像分类方法 | |
| CN108734661B (zh) | 基于图像纹理信息构建损失函数的高分辨率图像预测方法 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN111191514A (zh) | 一种基于深度学习的高光谱图像波段选择方法 | |
| CN107609642A (zh) | 计算装置和方法 | |
| CN104050507B (zh) | 基于多层神经网络的超光谱图像分类方法 | |
| CN113095409B (zh) | 基于注意力机制和权值共享的高光谱图像分类方法 | |
| CN112184554A (zh) | 一种基于残差混合膨胀卷积的遥感图像融合方法 | |
| CN113222823A (zh) | 基于混合注意力网络融合的高光谱图像超分辨率方法 | |
| CN113486851A (zh) | 基于双分支光谱多尺度注意力网络的高光谱图像分类方法 | |
| CN110119805B (zh) | 基于回声状态网络分类的卷积神经网络算法 | |
| CN113421216B (zh) | 一种高光谱融合计算成像方法及系统 | |
| CN113902622B (zh) | 基于深度先验联合注意力的光谱超分辨率方法 | |
| CN115564649A (zh) | 一种图像超分辨率重建方法、装置及设备 | |
| CN113744136A (zh) | 基于通道约束多特征融合的图像超分辨率重建方法和系统 | |
| CN115564996A (zh) | 一种基于注意力联合网络的高光谱遥感图像分类方法 | |
| CN115331104A (zh) | 一种基于卷积神经网络的农作物种植信息提取方法 | |
| CN114795178A (zh) | 一种基于多注意力神经网络的大脑状态解码方法 | |
| CN111325134A (zh) | 一种基于跨层连接卷积神经网络的遥感影像变化检测方法 | |
| CN116563606A (zh) | 一种基于双分支空谱全局特征提取网络的高光谱图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |