CN109886870B - 基于双通道神经网络的遥感图像融合方法 - Google Patents

Abstract

本发明公开了一种基于双通道神经网络的遥感图像融合方法，利用ARSIS思想，首先通过一个双通道网络联合学习，去提取全色图像高通滤波后的高频分量中的空间细节信息；然后使用细节注入模型将空间细节信息注入到多光谱图像的各个波段图像，得到所需的高分辨率多光谱图像；本发明有效利用深度学习的优点，通过双通道网络联合训练，学习得到全色图像不同于多光谱图像各波段图像的空间细节信息，充分利用图像内部和图像间的相关性，使得细节重构更为准确；同时，使用细节注入模型有效地控制注入细节的数量，显著提高融合算法的空间信息保存性能，并很好地保持原始多光谱图像的光谱特性。

Description

基于双通道神经网络的遥感图像融合方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于双通道神经网络的遥感图像融合方法。

背景技术

随着遥感技术的发展，由各种卫星传感器获取的遥感图像数据为人类对地观测提供了丰富的资源，为更深层次地认识世界做出了重要贡献。对于遥感图像，其空间和光谱分辨率彼此矛盾。全色图像空间分辨率很高，但光谱信息较少，无法显示地物色彩；多光谱图像光谱信息丰富，但空间分辨率较低。将全色图像与多光谱图像融合，将会获得兼具高空间和高光谱分辨率的多光谱图像，满足人类需要。

目前，遥感图像融合方法主要分为三类：基于成分替代的方法、基于多分辨率分析的方法和基于优化的方法。成分替代法可很好地保存空间信息，但却会引起一定的光谱失真；多分辨率分析法可被归入ARSIS概念，它能有效地保持光谱信息，缺点是会产生空间失真，并且对全色图像和上采样多光谱图像之间的准确配准要求严格；基于优化的方法提出的模型并不稳健，耗时较长而且可能会产生一些偶然错误。

深度学习模型是近年提出的一种较有前景的算法，它的所有参数都可以在训练样本的监督下更新，因此减少了对先验知识的要求，并且可以预期更高的拟合精度。现有方法中有利用深度学习进行图像融合的方法，虽然融合效果得到极大地提高，但方法的网络结构非常简单，仍有很大的改进空间。

发明内容

为充分利用深度学习的优势，及图像内部、图像间存在的结构特性和相关性，以提高图像融合的准确度，本发明提出一种基于双通道神经网络的遥感图像融合方法(DCCNN)，采用ARSIS思想，通过深度学习模型从全色图像中提取空间细节信息，然后使用细节注入模型将细节信息注入到上采样多光谱图像的各波段中，从而获得所需的高分辨率多光谱图像，解决现有技术中遥感图像融合质量低、融合效率低的问题。

为了实现上述任务，本发明采用如下技术方案予以实现：

一种基于双通道神经网络的遥感图像融合方法，包括以下步骤：

步骤1，获取一对同一场景相同角度的全色图像和多光谱图像作为测试数据集中的一个样本；获取多个场景的多对全色图像和多光谱图像，以得到训练数据集；

对于测试数据集中的样本，对样本中多光谱图像进行上采样处理得到上采样多光谱图像；

步骤2，对样本中的全色图像进行高通滤波，得到全色图像的高频分量；

步骤3，将样本中全色图像的高频分量输入到双通道神经网络中，通过学习得到空间细节信息；所述的双通道神经网络包括一个深层残差网络ResNet和一个浅层卷积网络CNN的集合；

步骤4，基于ARSIS融合框架，采用细节注入模型将步骤3得到的空间细节信息注入到步骤1得到的上采样多光谱图像的各波段中，得到融合图像；

细节注入模型为：

其中，

为初步融合图像的第j个波段图像，

为上采样多光谱图像X_MS的第j个波段图像，

为全色图像中的空间细节信息X_D的第j个波段，

为上采样多光谱图像X_MS的第i个波段图像，k为多光谱图像的总波段个数；

因此，得到融合图像为：

步骤5，采用随机梯度下降算法，利用训练数据集对步骤3的双通道神经网络进行训练，得到融合模型；

在随机梯度下降算法训练网络的过程中，不断优化损失函数，直至收敛，损失函数为：

其中，

为融合图像的第j个波段图像，X^j为与融合图像对应的参考图像的第j个波段图像，k为多光谱图像的总波段个数；

步骤6，针对于某场景的待融合全色图像和多光谱图像，通过步骤1所述的上采样、步骤2所述的高通滤波处理后，利用步骤3经过训练后得到的融合模型学习得到空间细节信息，然后通过步骤4的方法得到融合图像。

进一步地，步骤1所述的进行上采样处理得到上采样多光谱图像，包括：

采用双三次线性插值方法将多光谱图像上采样p倍得到上采样多光谱图像X_MS，其中，p为全色图像与多光谱图像空间分辨率的比值，p＝4。

进一步地，步骤2所述的对样本中的全色图像进行高通滤波，得到全色图像的高频分量，包括：

采用盒状均值滤波器对全色图像进行处理，得到全色图像中的低频分量，然后从滤波前的全色图像中减去低频内容，从而获得高频分量X_HP。

进一步地，步骤3所述的学习得到空间细节信息，包括：

步骤3.1，将全色图像的高频分量X_HP输入到深层残差网络ResNet中学习，得到深层特征X_Deep；

步骤3.2，将全色图像的高频分量X_HP输入到浅层卷积网络CNN中学习，得到浅层特征X_Shallow；

步骤3.3，将深层特征X_Deep和浅层特征X_Shallow相加，得到全色图像中的空间细节信息X_D。

本发明与现有技术相比，具有以下优点：

1.本发明采用双通道网络联合学习的方法来提取全色图像不同于多光谱图像各波段图像的空间细节信息，充分利用图像内部特性和图像间的相关性，使得空间细节信息的重构更为准确，进一步提高图像融合的质量。

2.本发明采用ARSIS思想，使用细节注入模型将空间细节信息注入到上采样多光谱图像的各个波段，有效地控制注入细节的数量，显著提高融合算法的空间信息保存性能，并能够很好地保持原始多光谱图像的光谱特性。

3.本发明在建模求解过程中充分考虑全色图像和多光谱图像的各自图像特征与图像之间的关系，使得融合更为全面、有效、准确。

附图说明

图1是本发明方法的框架图。

图2是模拟实验中不同融合方法对IKONOS卫星图像融合结果；其中，图2(a)为上采样多光谱图像，图2(b)为全色图像，图2(c)为参考图像，图2(d)为SR方法融合图像，图2(e)为GS方法融合图像，图2(f)为Indusion方法融合图像，图2(g)为PNN方法融合图像，图2(h)为PanNet方法融合图像，图2(i)为DCCNN方法融合图像。

图3是模拟实验中不同融合方法对QuickBird卫星图像融合结果；其中，图3(a)为上采样多光谱图像，图3(b)为全色图像，图3(c)为参考图像，图3(d)为SR方法融合图像，图3(e)为GS方法融合图像，图3(f)为Indusion方法融合图像，图3(g)为PNN方法融合图像，图3(h)为PanNet方法融合图像，图3(i)为DCCNN方法融合图像。

图4是实际实验中不同融合方法对IKONOS卫星图像融合结果；其中，图4(a)为上采样多光谱图像，图4(b)为全色图像，图4(c)为SR方法融合图像，图4(d)为GS方法融合图像，图4(e)为Indusion方法融合图像，图4(f)为PNN方法融合图像，图4(g)为PanNet方法融合图像，图4(h)为DCCNN方法融合图像。

图5是实际实验中不同融合方法对QuickBird卫星图像融合结果；其中，图5(a)为上采样多光谱图像，图5(b)为全色图像，图5(c)为SR方法融合图像，图5(d)为GS方法融合图像，图5(e)为Indusion方法融合图像，图5(f)为PNN方法融合图像，图5(g)为PanNet方法融合图像，图5(h)为DCCNN方法融合图像。

具体实施方式

结合图1所示的融合框架，本发明提出了一种基于双通道神经网络的遥感图像融合方法(DCCNN)，具体包括如下步骤：

步骤1，获取一对同一场景相同角度的全色图像和多光谱图像作为测试数据集中的一个样本；获取多个场景相同角度的多对全色图像和多光谱图像，以得到训练数据集；

对于测试数据集中的样本，对样本中多光谱图像进行上采样处理得到上采样多光谱图像；上采样处理后的多光谱图像与全色图像的尺寸大小相同，以便后续处理；具体地，本实施例中：

采用双三次线性插值方法将多光谱图像上采样p倍得到上采样多光谱图像X_MS，其中，p为全色图像与多光谱图像空间分辨率的比值，优选地，p＝4。

步骤2，对样本中的全色图像进行高通滤波，得到全色图像的高频分量；

高通滤波可滤除低频分量，保留所需的包含边缘、细节信息的高频分量；具体地，本实施例中，采用盒状均值滤波器对全色图像进行处理，得到全色图像中的低频分量，然后从滤波前的全色图像中减去低频内容，从而获得高频分量X_HP；

步骤3，将样本中全色图像的高频分量输入到双通道神经网络中，通过学习得到空间细节信息；所述的双通道神经网络包括一个深层残差网络ResNet和一个浅层卷积网络CNN的集合，能更好地获得全色图像中不同于多光谱图像各波段图像的空间细节信息；具体地：

步骤3.1，将全色图像的高频分量X_HP输入到深层残差网络ResNet中学习，得到深层特征X_Deep；

步骤3.2，将全色图像的高频分量X_HP输入到浅层卷积网络CNN中学习，得到浅层特征X_Shallow；

步骤3.3，将深层特征X_Deep和浅层特征X_Shallow相加，得到全色图像中的空间细节信息X_D，计算公式如下：

X_D＝DCCNN(X_HP,{W,b})

＝ResNet_Deep(X_HP；{W_Deep,b_Deep})+CNN_Shallow(X_HP；{W_Shallow,b_Shallow})

其中，W和b分别为提出的双通道神经网络的权重与偏置矢量，DCCNN()表示双通道神经光网络提取的空间细节信息，W_Deep和b_Deep分别为深层残差网络的权重与偏置矢量，ResNet_Deep()表示深层残差网络学习的深层特征，CNN_Shallow()表示浅层卷积神经网络学习的浅层特征，W_Shallow和b_Shallow分别为浅层卷积神经网络的权重与偏置矢量。

步骤4，基于ARSIS融合框架，采用细节注入模型将步骤3得到的空间细节信息X_D注入到步骤1得到的上采样多光谱图像的各波段中，得到融合图像；细节注入模型能有效地控制注入细节的数量，显著提高融合算法的空间信息保存性能，并保持多光谱图像的光谱特性；

细节注入模型为：

其中，

为初步融合图像的第j个波段图像，

为上采样多光谱图像X_MS的第j个波段图像，

为全色图像中的空间细节信息X_D的第j个波段，

为上采样多光谱图像X_MS的第i个波段图像，k为多光谱图像的总波段个数；

因此，得到融合图像为：

步骤5，采用随机梯度下降算法，利用训练数据集对步骤3的双通道神经网络进行训练，得到融合模型；

在随机梯度下降算法训练网络的过程中，不断优化损失函数，直至收敛，损失函数为：

其中，

为融合图像的第j个波段图像，X^j为与融合图像对应的参考图像的第j个波段图像，k为多光谱图像的总波段个数；融合图像越接近参考图像，表明融合的效果越好。所述的参考图像，即为对于某一个场景的原始高分辨率多光谱图像，而融合图像则是针对于该场景进行全色图像和多光谱图像采集后，利用步骤3、4处理后得到的融合图像。

步骤6，针对于某场景的待融合全色图像和多光谱图像，通过步骤1所述的上采样、步骤2所述的高通滤波处理后，利用步骤3经过训练后得到的融合模型学习得到空间细节信息，然后通过步骤4的方法得到融合图像。

实施例

本发明采用2种卫星遥感图像来验证所提融合算法的有效性；IKONOS卫星可拍摄获取的全色图像和多光谱图像的空间分辨率分别为1米和4米；QuickBird卫星提供的全色图像和多光谱图像的空间分辨率分别为0.7米和2.8米；其中，两卫星获取的多光谱图像均包括红、绿、蓝和近红外四个波段；实验中采用的全色图像大小为256×256，多光谱图像大小为64×64。

为更好地评估融合方法的实用性，本发明给出两种实验类型，分别为模拟图像实验和实际图像实验，其中，模拟图像实验是将全色图像与多光谱图像的空间分辨率同时降低4倍，作为待融合的模拟图像数据，将原始的多光谱图像作为标准融合结果进行参考，实际图像实验是直接将真实图像进行融合。

本发明主要与五种广泛使用的图像融合方法进行比较：基于稀疏表示的方法SR、基于成分替代的方法GS、基于多分辨率分析的方法Indusion、基于深度学习的方法PNN和PanNet。

实验中使用TensorFlow软件包训练网络，大约进行250000次迭代，批量大小设置为32；对于随机梯度下降算法，设置权重衰减为10^-7，动量为0.9；本发明设置深层残差网络深度为10，浅层卷积神经网络深度为3。

模拟图像实验效果分析：

图2为IKONOS卫星模拟实验结果图；图2(a)、(b)分别为上采样多光谱图像和全色图像，图2(c)为参考图像，图2(d)～(h)分别为五种对比方法的融合图像，图2(i)为DCCNN方法的融合图像；通过对融合图像和参考图像进行视觉比较，可以看出所有方法都能提高原始多光谱图像的空间分辨率，但明显能发现图2(d)和(h)中SR方法和PanNet方法融合图像的光谱失真严重，图2(g)中PNN方法融合图像的细节不清楚，图2(f)中Indusion方法融合图像在图像右部植被区域锐化现象非常严重；而从图2(i)中可以看到，本发明在提高多光谱图像空间分辨率的同时，很好地保留了源图像的光谱信息，获得的融合图像更好、更为自然。

图3为QuickBird卫星模拟实验结果图；图3(a)、(b)分别为上采样多光谱图像和全色图像，图3(c)为参考图像，图3(d)～(h)分别为五种对比方法的融合图像，图3(i)为DCCNN方法的融合图像；从图3(d)和(g)可以看出，SR方法和PNN方法融合图像的颜色改变非常大，与参考图像有明显光谱差异，从图3(e)、(f)和(h)中发现，GS、Indusion和PanNet方法融合图像在图像右下角裸露的土地区域与参考图像差异较大；但本发明与参考图像在光谱分辨率和空间分辨率上均保有较小的差异。

视觉评价对比可以对融合结果有比较直观的认识，但单纯依靠主观评价很难对融合结果给出最正确的判断，因此需结合客观指标共同对融合结果进行评估；本发明采用CC、PSNR、Q4、SAM、SSIM这五种客观评价指标对图像进行全面地评估；其中，CC表示相关系数，从统计学相关的角度来评估两个图像的各波段图像之间的光谱和空间信息相似程度；PSNR即峰值信噪比，是一种评价图像的客观标准；Q4是一个对融合图像的空间质量和光谱质量进行全面评价的客观指标，最优值为1；SAM表示全局光谱扭曲测量，反映两个图像之间的色彩差异，最优值为0；SSIM通过从亮度、对比度和结构这三个方面的比较，实现对参考图像与融合结果中每个波段图像结构相似的度量。

表1和表2分别为IKONOS和QuickBird卫星模拟图像实验中不同融合方法结果的客观指标；从表1和表2可以看到，本发明的大多数客观指标均优于其他方法，其中，本发明的CC、Q4值远远高于其他方法，即本发明方法融合图像与参考图像的相关性最强，能很好地提高多光谱图像的空间分辨率，并同时保持光谱特性。

综合视觉评价与客观指标评价，本发明提出的算法能很好地得到具有高空间和高光谱分辨率的融合图像。

表1 IKONOS卫星图像模拟实验融合结果的客观指标

表2 QuickBird卫星图像模拟实验融合结果的客观指标

实际图像实验效果分析：

图4为IKONOS卫星实际实验结果图；图4(a)、(b)分别为上采样多光谱图像和全色图像，图4(c)～(g)分别为五种对比方法的融合图像，图4(h)为DCCNN方法的融合图像；可以看到，图4(d)有少许光谱失真，图4(f)看上去非常模糊，图4(e)和(g)对边缘的提取效果较差；整体上看本发明的融合图像空间分辨率较高，光谱失真也较小。

图5为QuickBird卫星实际实验结果图；图5(a)、(b)分别为上采样多光谱图像和全色图像，图5(c)～(g)分别为五种对比方法的融合图像，图5(h)为DCCNN方法的融合图像；图5(c)融合图像过于锐化，图5(d)和(f)融合图像的颜色有明显的变化，图5(e)和(g)融合图像整体空间分辨率不高；从图5(h)看到，本发明得到的融合图像的轮廓较其他方法更清晰。

实际图像实验中，由于没有参考图像，为有效客观地评估各融合结果，采用无参考图像的客观评价指标QNR来评价图像融合质量；QNR可以对融合图像与原始图像间的亮度、对比度以及局部相关性进行度量，它包含空间信息损失指标D_s和光谱信息损失指标D_λ，其中，QNR的最优值为1，而D_s和D_λ的最优值为0。

表3和表4分别为IKONOS和QuickBird卫星实际图像实验中不同融合方法结果的客观指标；从表3和表4可以看到，本发明融合过程中产生的空间细节信息损失最少，虽然光谱损失略高一点，但本发明的无参评价客观指标QNR较其他所有方法都是最优的。

综上所述，本发明在很好保留多光谱图像光谱信息的同时，大大提高了融合图像的空间分辨率。

表3 IKONOS卫星图像实际实验融合结果的客观指标

表4 QuickBird卫星图像实际实验融合结果的客观指标

Claims (1)

1.一种基于双通道神经网络的遥感图像融合方法，其特征在于，包括以下步骤：

步骤1，获取一对同一场景相同角度的全色图像和多光谱图像作为测试数据集中的一个样本；获取多个场景的多对全色图像和多光谱图像，以得到训练数据集；

对于测试数据集中的样本，对样本中多光谱图像进行上采样处理得到上采样多光谱图像；

步骤2，对样本中的全色图像进行高通滤波，得到全色图像的高频分量；

步骤3，将样本中全色图像的高频分量输入到双通道神经网络中，通过学习得到空间细节信息；所述的双通道神经网络包括一个深层残差网络ResNet和一个浅层卷积网络CNN的集合；深层残差网络ResNet的深度为10，浅层卷积网络深度为3；

步骤4，基于ARSIS融合框架，采用细节注入模型将步骤3得到的空间细节信息注入到步骤1得到的上采样多光谱图像的各波段中，得到融合图像；

细节注入模型为：

其中，

为初步融合图像的第j个波段图像，

为上采样多光谱图像X_MS的第j个波段图像，

为全色图像中的空间细节信息X_D的第j个波段，

为上采样多光谱图像X_MS的第i个波段图像，k为多光谱图像的总波段个数；

因此，得到融合图像为：

步骤5，采用随机梯度下降算法，利用训练数据集对步骤3的双通道神经网络进行训练，得到融合模型；

在随机梯度下降算法训练网络的过程中，不断优化损失函数，直至收敛，损失函数为：

其中，

为融合图像的第j个波段图像，X^j为与融合图像对应的参考图像的第j个波段图像，k为多光谱图像的总波段个数；

步骤6，针对于某场景的待融合全色图像和多光谱图像，通过步骤1所述的上采样、步骤2所述的高通滤波处理后，利用步骤3经过训练后得到的融合模型学习得到空间细节信息，然后通过步骤4的方法得到融合图像；

步骤1所述的进行上采样处理得到上采样多光谱图像，包括：

采用双三次线性插值方法将多光谱图像上采样p倍得到上采样多光谱图像X_MS，其中，p为全色图像与多光谱图像空间分辨率的比值，p＝4；

步骤2所述的对样本中的全色图像进行高通滤波，得到全色图像的高频分量，包括：

采用盒状均值滤波器对全色图像进行处理，得到全色图像中的低频分量，然后从滤波前的全色图像中减去低频内容，从而获得高频分量X_HP；

步骤3所述的学习得到空间细节信息，包括：

步骤3.1，将全色图像的高频分量X_HP输入到深层残差网络ResNet中学习，得到深层特征X_Deep；

步骤3.2，将全色图像的高频分量X_HP输入到浅层卷积网络CNN中学习，得到浅层特征X_Shallow；

步骤3.3，将深层特征X_Deep和浅层特征X_Shallow相加，得到全色图像中的空间细节信息X_D。

Images