CN109272010B - 基于卷积神经网络的多尺度遥感图像融合方法 - Google Patents

Abstract

本发明提出一种基于卷积神经网络的多尺度遥感图像融合算法，该方法包括：第一，借助卷积神经网络的性质，构建一个符合遥感图像融合特性的多尺度卷积神经网络融合模型，其输入为待融合图像，输出为融合图像；第二，构建一个合适的训练数据集，在该训练集上成功训练提出的融合模型；第三，将遥感全色图像Pan图像转换为模型需要的待融合图像；第四，将转化后的近似Pan图像和多光谱图像MS输入训练好的融合模型，得到最终的融合图像。本发明所述方法从大量数据中学习一个自适应的多尺度融合函数，其由统计学习而来，不是人为设计，更加合理。实验结果表明，所述基于卷积神经网络的多尺度融合方法能够较好地处理不同卫星、不同波段的遥感图像。

Description

基于卷积神经网络的多尺度遥感图像融合方法

技术领域

本发明属于遥感图像融合领域，具体地讲，设计一种能够将全色图像Pan图像和多光谱图像MS图像融合在一起，使得融合图像兼具高光谱和高空间分辨率的融合方法。

背景技术

近年来，遥感图像在各种应用中被广泛使用，例如，环境管理与检测、地质危害预防、精准农业、国防安全等等。受到卫星传感器的限制，我们只能单独获取到高光谱分辨率的多光谱图像MS和高空间分辨率的全色图像Pan。但是在实际的应用中，我们需要同时用到高光谱和高空间分辨率这两种信息，高光谱分辨率用于精确地物分类，高空间分辨率则用于地物形状和纹理的描述。遥感图像融合的目的就在于结合多光谱图像的光谱信息和全色图像的空间信息，使得融合之后的图像同时具有这两种信息，达到优势互补的效果。(应用前景)

传统的遥感图像融合方法可以大致分为成分替换(Component Substitution——CS)，多尺度分析(MultiResolution Analysis——MRA)和混合方法(结合CS和MRA)，CS方法有IHS、主成分分析PCA和Brovey变换等等；MRA方法有拉普拉斯金字塔方法、高通滤波器方法和轮廓波等等；混合方法有结合曲波和HIS、结合小波变换和稀疏表示等。

IHS、PCA和Brovey等通常能够在融合图像中很好的保留Pan图像的空间信息，并且实现简单，但是，它们没有考虑Pan图像和MS图像的局部差异，使得最后的融合图像存在显著的光谱扭曲。在多尺度分析中，图像分解的级数和使用的滤波器会对融合结果产生很大的影响，典型的多尺度分析方法如小波变换，融合结果存在明显的空间信息失真。混合方法虽然结合了CS和MRA，但是最终的融合图像还是存在不同程度的光谱失真和空间结构失真，融合效果和选用的具体融合方法存在很大的关联。

上述融合方法的核心算法基本都是基于人为制定的融合规则，其最终融合效果也因融合规则而变，并且这些融合规则对待融合图像本身有较强的依赖性，同一方法在不同的遥感图像上所取得的融合效果也不尽相同，普适性较弱。融合规则可以视为一个融合函数，其输入为Pan和MS图像，输出为融合图像。寻找一个合适的融合函数是遥感图像融合的关键，因为它直接决定了最终融合效果的好坏。

发明内容

本发明的目的在于克服现有技术的不足，解决遥感图像融合效果因融合规则而差异巨大的现象，提出一种基于卷积神经网络的多尺度遥感图像融合方法，其融合效果优于传统融合方法，适应性更强。

为了实现上述目的，本发明所采用的技术方案是：

一种基于卷积神经网络的多尺度遥感图像融合方法，其关键步骤包括：

步骤一，借助卷积神经网络的性质，构建一个合适的、符合遥感图像融合特性的多尺度卷积神经网络融合模型，其输入为待融合图像，输出为融合图像；

步骤二，构建一个合适的训练数据集，该训练数据集类似于真实遥感图像，符合遥感图像融合要求，在该训练集上成功训练提出的融合模型；

步骤三，将遥感全色图像Pan图像转换为模型需要的待融合图像；

步骤四，将转化后的近似Pan图像同多光谱图像MS输入训练好的融合模型，得到最终的融合图像。

步骤一所述的构建多尺度卷积神经网络融合模型中，模型的构建过程为：

先将Pan和MS图像分别通过一层3×3卷积得到尺度1待融合图像Pan1和MS1，将Pan和MS在纵深方向上拼接，通过一层1×1卷积得到尺度0融合图像，Fusion0，将Pan1、MS1和Fusion0在纵深方向拼接，通过一层1×1卷积得到尺度1融合图像Fusion1；

将Pan1和MS1图像分别通过一层3×3卷积得到尺度2待融合图像Pan2和MS2，将Pan2、MS2和Fusion1在纵深方向拼接，通过一层1×1卷积得到尺度2融合图像Fusion2；

将Pan2和MS2图像分别通过一层3×3卷积得到尺度3待融合图像Pan3和MS3，将Pan3、MS3和Fusion2在纵深方向拼接，通过一层1×1卷积得到尺度3融合图像Fusion3，Fusion3即为最终的融合图像。

在步骤二中，构建一个合适的训练数据集，在该数据集上训练融合模型，数据集的构建方式为：

选择分类标准数据集CIFAR图像集作为训练数据集，其中每一张图像大小为32×32。将原始图像作为融合图像Fusion，将Fusion分辨率降低为原来1/2作为MS图像，将Fusion转换到HLS颜色空间，取L分量作为近似Pan图像。

使用均方误差MSE作为损失函数L，通过上述构建的数据集成功训练回归融合模型，L的计算方式如下：

在步骤三中，将遥感全色图像Pan图像转换为模型需要的近似全色图像，转换方式如下：

首先，计算MS图像对应的L图像L_MS，使用双三次插值法将其上采样至Pan大小。之后，使用NSCT分别将L_MS和Pan进行多级分解，先进行三级非下采样金字塔分解，再将高频带通经过方向滤波器组得到方向子带。在L_MS的多级分解结果中，将低频带通保留，将高频带通的方向分解子带用Pan分解结果中对应的子带替换。最后再将替换后的分解结果进行NSCT逆变换来重构L_Pan，此时L_Pan同时保留了L_MS的光谱信息和Pan的空间信息，L_Pan也就是融合模型中所用到的的近似全色图像。

在步骤四中，将转化后的近似Pan图像和多光谱图像MS输入训练好的融合模型，得到最终的融合图像。

本发明提出方法的主要优点有：(1)通过卷积神经网络来回归学习一个具有高鲁棒性且具有很好融合效果的复杂融合函数，最终融合图像能够最大程度的保留多光谱图像的光谱信息，以及全色图像的空间信息；(2)整个的融合过程只需要先通过一个简单通用的转化方法将Pan转化为模型需要的近似Pan，然后直接将近似Pan和MS输入融合模型即可得到最终融合图像，不需要其他琐碎处理，简单高效，具有端到端特性；(3)一旦模型训练结束，融合过程就是一个简单的矩阵计算任务，相比于其他多尺度分解算法，融合计算时间很短。

附图说明

图1是本发明基于卷积神经网络的多尺度遥感图像融合方法的流程图；

图2是本发明提出的基于卷积神经网络的多尺度融合模型；

图3是模型训练所需要的训练数据集示例；

图4是Landsat测试图像的融合结果。

具体实施方式

下面结合附图对本发明进行详细说明，以便本领域的技术人员更好地理解本发明。需要指出的是，在不脱离本发明核心思想的前提下，本领域的技术人员可以对本发明做出一些改进，这些都属于本发明的保护范围。

如图1所示，本发明提供一种基于卷积神经网络的多尺度遥感图像融合方法，包括如下步骤：

步骤一，借助卷积神经网络的性质，构建一个合适的、符合遥感图像融合特性的多尺度卷积神经网络融合模型，其输入为待融合图像，输出为融合图像，模型的构建过程为：

先将Pan和MS图像分别通过一层3×3卷积得到尺度1待融合图像Pan1和MS1，将Pan和MS在纵深方向上拼接，通过一层1×1卷积得到尺度0融合图像，Fusion0，将Pan1、MS1和Fusion0在纵深方向拼接，通过一层1×1卷积得到尺度1融合图像Fusion1；

将Pan1和MS1图像分别通过一层3×3卷积得到尺度2待融合图像Pan2和MS2，将Pan2、MS2和Fusion1在纵深方向拼接，通过一层1×1卷积得到尺度2融合图像Fusion2；

将Pan2和MS2图像分别通过一层3×3卷积得到尺度3待融合图像Pan3和MS3，将Pan3、MS3和Fusion2在纵深方向拼接，通过一层1×1卷积得到尺度3融合图像Fusion3，Fusion3即为最终的融合图像。

步骤二，构建一个合适的训练数据集，该训练数据集类似于真实遥感图像，符合遥感图像融合要求，在该训练集上成功训练提出的融合模型，数据集的构建方式为：

选择分类标准数据集CIFAR图像集作为训练数据集，其中每一张图像大小为32×32。将原始图像作为融合图像Fusion，将Fusion分辨率降低为原来1/2作为MS图像，将Fusion转换到HLS颜色空间，取L分量作为近似Pan图像。

使用均方误差MSE作为损失函数L，通过上述构建的数据集成功训练回归融合模型，L的计算方式如下：

步骤三，将遥感全色图像Pan图像转换为模型需要的近似全色图像，转换方式如下：

首先，计算MS图像对应的L图像L_MS，使用双三次插值法将其上采样至Pan大小。之后，使用NSCT分别将L_MS和Pan进行多级分解，先进行三级非下采样金字塔分解，再将高频带通经过方向滤波器组得到方向子带。在L_MS的多级分解结果中，将低频带通保留，将高频带通的方向分解子带用Pan分解结果中对应的子带替换。最后再将替换后的分解结果进行NSCT逆变换来重构L_Pan，此时L_Pan同时保留了L_MS的光谱信息和Pan的空间信息，L_Pan也就是融合模型中所用到的的近似全色图像。

步骤四，将转化后的近似Pan图像和多光谱图像MS输入训练好的融合模型，得到最终的融合图像。

本实施例中，图2是本发明提出的基于卷积神经网络的多尺度融合模型，其输入为待融合图像，输出直接为融合图像。图3为模型训练所需要的训练数据集示例，(a)为融合图像(原始图片),(b)为MS图像(低分辨率图像)，(c)为APan图像(HLS空间L分量)。可以看出，这些图像符合我们的训练需求，以及遥感图像本身的特点。

图4为Landsat测试图像的融合结果。从图中可以看出PCA方法的融合图像颜色较浅，存在光谱扭曲；在HSV方法的融合图像中，有些区域颜色发亮，有些区域的发暗，光谱失真比较严重；HCS方法的融合图像纹理比较模糊，且存在光谱失真；Brovey方法空间结构保留的较好，但是光谱失真比较严重；HPF方法光谱保留的较好，但是空间结构存在失真；相比于这些算法，本文提出的方法能够同时很好的保留多光谱图像的光谱信息和全色图像的空间信息。表1为图4各种算法融合结果的评测结果，其中，各个指标对应的最好结果用粗体标出。从中可以看出本文使用的融合方法在六项指标上均优于其他算法，从客观角度印证了主观评价。

表1.图4融合图像评测结果

Claims (3)

1.一种基于卷积神经网络的多尺度遥感图像融合方法，其特征在于，通过如下步骤实现：

步骤一，借助卷积神经网络的性质，构建一个符合遥感图像融合特性的多尺度卷积神经网络融合模型，其输入为待融合图像，输出为融合图像；

步骤二，构建一个合适的训练数据集，该训练数据集类似于真实遥感图像，符合遥感图像融合要求，在该训练集上成功训练提出的融合模型；

步骤三，将遥感全色图像Pan图像转换为模型需要的待融合图像；

步骤四，将转化后的近似Pan图像同多光谱图像MS输入训练好的融合模型，得到最终的融合图像；

步骤一所述的构建多尺度卷积神经网络融合模型中，模型的构建过程为：

先将Pan和MS图像分别通过一层3×3卷积得到尺度1待融合图像Pan_conv1和MS_conv1，将Pan和MS在纵深方向上拼接，通过一层1×1卷积得到尺度0融合图像Fusion0，将Pan_conv1、MS_conv1和Fusion0在纵深方向拼接，通过一层1×1卷积得到尺度1融合图像Fusion1；

将Pan_conv1和MS_conv1图像分别通过一层3×3卷积得到尺度2待融合图像Pan_conv2和MS_conv2，将Pan_conv2、MS_conv2和Fusion1在纵深方向拼接，通过一层1×1卷积得到尺度2融合图像Fusion2；

将Pan_conv2和MS_conv2图像分别通过一层3×3卷积得到尺度3待融合图像Pan_conv3和MS_conv3，将Pan_conv3、MS_conv3和Fusion2在纵深方向拼接，通过一层1×1卷积得到尺度3融合图像Fusion3，Fusion3即为最终的融合图像。

2.根据权利要求1所述的一种基于卷积神经网络的多尺度遥感图像融合方法，其特征在于，在步骤二中，构建一个合适的训练数据集，在该数据集上训练融合模型，数据集的构建方式为：

选择分类标准数据集CIFAR图像集作为训练数据集，其中每一张图像大小为32×32，将原始图像作为融合图像Fusion，将Fusion分辨率降低为原来1/2作为MS图像，将Fusion转换到HLS颜色空间，取L分量作为近似Pan图像；

使用均方误差MSE作为损失函数L，通过上述构建的数据集成功训练回归融合模型，L的计算方式如下：

3.根据权利要求1所述的一种基于卷积神经网络的多尺度遥感图像融合方法，其特征在于，在步骤三中，将遥感全色图像Pan图像转换为模型需要的近似Pan图像，转换方式如下：

首先，计算MS图像对应的L图像L_MS，使用双三次插值法将其上采样至Pan大小，之后，使用NSCT分别将L_MS和Pan进行多级分解，先进行三级非下采样金字塔分解，再将高频带通经过方向滤波器组得到方向子带，在L_MS的多级分解结果中，将低频带通保留，将高频带通的方向分解子带用Pan分解结果中对应的子带替换，最后再将替换后的分解结果进行NSCT逆变换来重构L_Pan，此时L_Pan同时保留了L_MS的光谱信息和Pan的空间信息，L_Pan也就是融合模型中所用到的近似全色图像。

Images