CN113129247A - 基于自适应多尺度残差卷积的遥感图像融合方法及介质 - Google Patents

Abstract

本发明请求保护一种基于自适应多尺度残差卷积的遥感图像融合方法及存储介质，包括步骤：S1根据Wald协议，将低分辨率的多光谱图像和高分辨率的全色图像分别进行相应倍数的下采样，构建模型需要的数据集；S2自适应匹配多光谱图像和全色图像，堆叠特征图作为输入；S3借助卷积神经网络的性质，构建一个多尺度的深层残差卷积神经网络；S4采用Adam优化算法对网络进行训练，得到训练后的深度卷积神经网络模型；S5将待融合的多光谱图像和全色图像输入到训练后的深度卷积神经网络模型中，得到融合后的高空间分辨率的多光谱图像。本发明利用深度卷积网络更充分地提取图像的空间特征，提高了多光谱遥感图像融合方法的融合效果。

Description

基于自适应多尺度残差卷积的遥感图像融合方法及介质

技术领域

本发明属于图像处理技术领域，特别涉及基于自适应多尺度残差卷积的遥感图像融合方法。

背景技术

近年来，随着社会和科技的发展，遥感图像在各种应用中被广泛使用。由于遥感成像技术受不同卫星传感器的限制，只能单独获取高空间分辨率的全色(pan)和高光谱分辨率的多光谱(ms)图像。举例来讲，地球观测卫星如QuickBird，GeoEye，Ikonos和WorldView-3等都只能拍摄两种不同类型的遥感图片，但单一传感器所获得的遥感图像质量往往不能满足现代社会多样化的需求。这个问题使得多源信息融合技术飞速发展。如本文所研究的多光谱(ms)图像和全色(pan)图像融合技术(Pan-Sharpening)就是分别从ms图像和pan图像中提取丰富的光谱信息和空间信息并将不同的图像信息融合到一起，以生成一幅高光谱分辨率且高空间分辨率的合成图像。这类融合算法已经成为了遥感特征检测以及各种土地问题分析的重要预处理步骤，为之后的复杂问题提供了高质量的分析数据。

获得同时具有高空间分辨率与高光谱分辨率的遥感图像，最直接的方法就是采用更高精度的遥感传感器。但这种遥感传感器造价昂贵而且技术难以实现。因此，图像融合方法被引入到遥感图像分析领域，用以融合全色图像的空间信息和多光谱图像的光谱信息，这种融合过程也被称作多光谱pan-sharpening。这样不仅缩短了硬件的研发时间也能节约硬件成本，还能进一步提高遥感图像质量以满足需求。

迄今为止，传统的遥感图像融合算法可以大致分为成分替换法(CS)、多尺度分析法(MRA)和基于模型的优化方法(MBO)。

成分替换是最早用来进行遥感图像融合的较为成熟的算法，其主要思想是利用彩色空间模型的定量计算优势，对所获图像各波段进行线性分离和替换，然后将计算后的各波段重新组合而得到融合结果。通常情况下，此类算法能简单有效地提高多光谱图像的分辨率，但通常会出现比较严重的光谱扭曲。多尺度分析基于多尺度分解，将源图像分解成多种尺度下的高低频分量，根据不同的融合策略选取高低频系数进行融合，是近年来发展最为快速的方法。此类算法具有较好的光谱保真度，但是融合后的图像清晰度有所下降。基于模型的融合框架是通过建立低分辨率多光谱图像、全色图像与高分辨率多光谱图像的关系模型，结合高分辨率多光谱图像先验特性，构建目标函数重建融合图像。该方法在梯度信息的提取上获得了很大的提升，但是并不能精确地描述输入和输出之间复杂的非线性映射关系。

随着深度学习技术的发展，计算机视觉和图像处理领域的众多问题得到了新的解决办法。相对于传统的pan-sharpening方法，基于卷积神经网络的方法可以通过端对端自动学习不同波段的上采样方法，更好地保持图像的光谱信息，但是现有的网络结构简单，仍有很大的改进空间。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于自适应多尺度残差卷积的遥感图像融合方法。本发明的技术方案如下：

一种基于自适应多尺度残差卷积的遥感图像融合方法，其包括以下步骤：

S1、根据Wald协议，将低分辨率的多光谱图像和高分辨率的全色图像分别进行相应倍数的下采样，构建模型需要的数据集；

S2、自适应匹配多光谱图像和全色图像，堆叠特征图作为输入；

S3、借助卷积神经网络的性质，构建一个多尺度的深层残差卷积神经网络；

S4、采用Adam优化算法对网络进行训练，得到训练后的深度卷积神经网络模型；

S5、将待融合的多光谱图像和全色图像输入到训练后的深度卷积神经网络模型中，得到融合后的高空间分辨率的多光谱图像。

进一步的，所述步骤S1根据Wald协议，将低分辨率的多光谱图像和高分辨率的全色图像分别进行相应倍数的下采样，构建模型需要的数据集，具体为：

根据Wald协议，Wald为遥感图像多光谱及全色图像数据集处理协议，用双三次插值法对初始的多光谱图像和全色图像进行下采样，双三次插值法指的是图像进行采样的算法，首先构造BiCubic基函数，得到所有行和列对应的系数，然后求解出每个像素对应的权值，最后通过求和公式可以得到目标图片对应的像素值，模拟低分辨率输入的多光谱图像和全色图像，将多光谱图像上采样4倍，形成初始化的双流输入。

进一步的，在步骤S2中，自适应匹配多光谱图像和全色图像，堆叠特征图作为输入，具体包括：

将输入的多光谱图像进行上采样匹配输入的全色图像的大小并进行堆叠，将输入的全色图像进行下采样匹配输入的多光谱图像的大小并进行堆叠，将堆叠的低分辨率特征图像进行上采样以匹配高分辨率堆叠图像，作为自适应特征输入。

进一步的，在步骤S3中，借助卷积神经网络的性质，构建一个多尺度的深层残差卷积神经网络，具体包括：

该网络分为双流输入网络，分别使用三层卷积神经网络提取多光谱和全色图像的特征信息，将输入的多光谱图像进行上采样匹配输入的全色图像的大小并进行堆叠，将输入的全色图像进行下采样匹配输入的多光谱图像的大小并进行堆叠，将堆叠的低分辨率特征图像进行上采样以匹配高分辨率堆叠图像，作为自适应特征输入；再使用并行的不同膨胀率的膨胀卷积来充分提取特征图像中丰富的图像信息，在不增加卷积核参数量的前提下，有效地扩大模型的感受野；然后，采用残差卷积神经网络缓解过拟合情况，残差卷积神经网络中的标准卷积和膨胀卷积核均为3×3，激活函数均为ReLU，滤波器的数量为64。

进一步的，在步骤S4中，采用Adam优化算法对残差混合膨胀卷积神经网络进行训练时，损失函数为：

其中，

分别表示全色图像和低分辨率多光谱图像，F⁽ⁱ⁾是对应的高分辨率多光谱图像，g_MS，i分别表示对应多光谱图像和全色图像融合结果的标准图像以及对应的每张图像，N是小批量训练样本的数量，(W,b)是所有超参数的集合，即滤波器的权重和偏差，使用L1范数作为损失函数，直接将

输入深度卷积神经网络以逼近F⁽ⁱ⁾，从而学习输入图像

和输出图像F⁽ⁱ⁾之间的非线性映射关系。

进一步的，在步骤S5中，将待融合的多光谱图像和全色图像输入到步骤S4所得训练完成的多尺度深层残差卷积神经网络模型中，得到融合后的高空间分辨率的多光谱图像。

一种存储介质，该存储介质内部存储计算机程序，所述计算机程序被处理器读取时，执行上述任一项的方法。

本发明的优点及有益效果如下：

(1)利用自适应特征输入，充分学习图像的非线性映射关系。

(2)利用深层网络来重建低分辨率的多光谱图像，提高了收敛速度和对细节的恢复能力

(3)利用残差块来学习MS图像各个波段和PAN图像的相关性，在保证网络结构足够深的同时，优化网络，减小训练误差。

(4)利用混合膨胀卷积，在不增加参数数目的情况下，既能扩大感受野，又避免了膨胀卷积带来的网格效应问题。

附图说明

图1是本发明提供优选实施例基于自适应多尺度残差卷积的遥感图像融合方法的流程图；

图2是本发明提出的基于自适应多尺度残差卷积的遥感图像融合模型；

图3是与其他主流算法的结果对比图。图3.(a)参考图像；(b)GS；(c)GLP；(d)SIRF；(e)MSDCNN；(f)本发明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，本发明提供一种基于自适应多尺度残差卷积的遥感图像融合方法，包括以下步骤：

步骤S1、根据Wald协议，将低分辨率的多光谱图像和高分辨率的全色图像分别进行相应倍数的下采样，构建模型需要的数据集。

由于遥感图像不同于自然图像，实际应用中，很难获取理想的参考图像。因此，在本发明中，我们将整个实验分为训练和测试两个部分。在训练阶段，使用模拟数据，在监督的方式下学习网络中的超参数，根据Wald协议，用双三次插值法对低分辨率的多光谱图像和高分辨率的全色图像进行下采样，模拟低分辨率输入的多光谱图像和全色图像。为了方便实验，我们将Wald协议所得图像作为数据集。通过最小化网络的输出与参考图像，形成最终的估计。测试阶段是使用真实数据，在预测的图像上到进行重建，生成高分辨率的多光谱图像。

步骤S2、自适应匹配多光谱图像和全色图像，堆叠特征图作为输入。

将输入的多光谱图像进行上采样匹配输入的全色图像的大小并进行堆叠，将输入的全色图像进行下采样匹配输入的多光谱图像的大小并进行堆叠，将堆叠的低分辨率特征图像进行上采样以匹配高分辨率堆叠图像，作为自适应特征输入。

步骤S3、采用随机梯度下降算法对网络进行训练，得到训练后的深度卷积神经网络模型。

该网络分为双流输入网络，分别使用三层卷积神经网络提取多光谱和全色图像的特征信息，将输入的多光谱图像进行上采样匹配输入的全色图像的大小并进行堆叠，将输入的全色图像进行下采样匹配输入的多光谱图像的大小并进行堆叠，将堆叠的低分辨率特征图像进行上采样以匹配高分辨率堆叠图像，作为自适应特征输入。再使用并行的不同膨胀率(分别为1，2，3，4)的膨胀卷积来充分提取特征图像中丰富的图像信息，在不增加卷积核参数量的前提下，有效地扩大模型的感受野，从而有效避免局部细节信息严重损失的问题。然后，残差卷积神经网络，缓解过拟合情况。残差混合卷积模块中的标准卷积和膨胀卷积核均为3×3，激活函数均为ReLU，滤波器的数量为64。

步骤S4、采用Adam优化算法对网络进行训练，得到训练后的深度卷积神经网络模型。

采用Adam优化算法算法对卷积神经网络进行训练时，损失函数为：

其中，

分别表示全色图像和低分辨率多光谱图像，F⁽ⁱ⁾是对应的高分辨率多光谱图像，N是小批量训练样本的数量，(W,b)是所有超参数的集合，即滤波器的权重和偏差。使用L1范数作为损失函数，直接将

输入深度卷积神经网络以逼近F⁽ⁱ⁾，从而学习输入图像

和输出图像F⁽ⁱ⁾之间的非线性映射关系。

步骤S5、将待融合的多光谱图像和全色图像输入到训练后的深度卷积神经网络模型中，得到融合后的高空间分辨率的多光谱图像。

本实施例中，图2是本发明提出的基于自适应多尺度残差卷积的遥感图像融合模型，其输入为待融合图像，输出为融合图像。

为了评估本发明的性能，选择了WorldView-3卫星的数据集作为实验对象，并将实验结果与其他四个经典的pan-sharpening方法进行了对比。其中，GS是基于CS的算法，GLP是基于MRA算法，SIRF是基于MBO的算法，PanNet和本发明是基于卷积神经网络的pan-sharpening算法，这些算法和本发明都是使用一组多光谱和全色图像进行融合。

图3显示了各个方法的实验结果，可以清楚的看到GS算法能够保持较好的结构特性，但存在明显的光谱失真。GLP算法的整体效果很好，但丢失了部分空间信息。SIRF算法保证了较好的光谱特性，但存在边缘模糊效应。对比其他方法，PanNet和本发明提出的方法在空间细节和光谱保持上都与参考图像最接近。相比之下，本算法能产生兼顾空间特性和光谱特性的融合效果的高质量图像。表1为图3中各种算法融合结果的客观质量评价结果，其中，最好的指标用黑色字体加粗标出。从中可以看出，在6个指标上均优于其他几种pan-sharpening方法，从客观角度印证了主观评价。

表1

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种基于自适应多尺度残差卷积的遥感图像融合方法，其特征在于，包括以下步骤：

S1、根据Wald协议，将低分辨率的多光谱图像和高分辨率的全色图像分别进行相应倍数的下采样，构建模型需要的数据集；

S2、自适应匹配多光谱图像和全色图像，堆叠特征图作为输入；

S3、借助卷积神经网络的性质，构建一个多尺度的深层残差卷积神经网络；

S4、采用Adam优化算法对网络进行训练，得到训练后的深度卷积神经网络模型；

S5、将待融合的多光谱图像和全色图像输入到训练后的深度卷积神经网络模型中，得到融合后的高空间分辨率的多光谱图像。

2.根据权利要求1所述的一种基于自适应多尺度残差卷积的遥感图像融合方法，其特征在于，所述步骤S1根据Wald协议，将低分辨率的多光谱图像和高分辨率的全色图像分别进行相应倍数的下采样，构建模型需要的数据集，具体为：

根据Wald协议，Wald为遥感图像多光谱及全色图像数据集处理协议，用双三次插值法对初始的多光谱图像和全色图像进行上下采样，双三次插值法指的是图像进行采样的算法，首先构造BiCubic基函数，得到所有行和列对应的系数，然后求解出每个像素对应的权值，最后通过求和公式可以得到目标图片对应的像素值；模拟低分辨率输入的多光谱图像和全色图像，将多光谱图像上采样4倍，形成初始化的双流输入。

3.根据权利要求2所述的一种基于自适应多尺度残差卷积的遥感图像融合方法，其特征在于，在步骤S2中，自适应匹配多光谱图像和全色图像，堆叠特征图作为输入，具体包括：

将输入的多光谱图像进行上采样匹配输入的全色图像的大小并进行堆叠，将输入的全色图像进行下采样匹配输入的多光谱图像的大小并进行堆叠，将堆叠的低分辨率特征图像进行上采样以匹配高分辨率堆叠图像，作为自适应特征输入。

4.根据权利要求3所述的一种基于自适应多尺度残差卷积的遥感图像融合方法，其特征在于，在步骤S3中，借助卷积神经网络的性质，构建一个多尺度的深层残差卷积神经网络，具体包括：

该网络分为双流输入网络，分别使用三层卷积神经网络提取多光谱和全色图像的特征信息，将输入的多光谱图像进行上采样匹配输入的全色图像的大小并进行堆叠，将输入的全色图像进行下采样匹配输入的多光谱图像的大小并进行堆叠，将堆叠的低分辨率特征图像进行上采样以匹配高分辨率堆叠图像，作为自适应特征输入；再使用并行的不同膨胀率的膨胀卷积来充分提取特征图像中丰富的图像信息，在不增加卷积核参数量的前提下，有效地扩大模型的感受野；然后，采用残差卷积神经网络缓解过拟合情况，残差卷积神经网络中的标准卷积和膨胀卷积核均为3×3，激活函数均为ReLU，滤波器的数量为64。

5.根据权利要求4所述的一种基于自适应多尺度残差卷积的遥感图像融合方法，其特征在于，在步骤S4中，采用Adam优化算法对残差混合膨胀卷积神经网络进行训练时，损失函数为：

其中，

分别表示全色图像和低分辨率多光谱图像，F⁽ⁱ⁾是对应的高分辨率多光谱图像，g_MS，i分别表示对应多光谱图像和全色图像融合结果的标准图像以及对应的每张图像，N是小批量训练样本的数量，(W,b)是所有超参数的集合，即滤波器的权重和偏差，使用L1范数作为损失函数，直接将

输入深度卷积神经网络以逼近F⁽ⁱ⁾，从而学习输入图像

和输出图像F⁽ⁱ⁾之间的非线性映射关系。

6.根据权利要求5所述的一种基于自适应多尺度残差卷积的遥感图像融合方法，其特征在于，在步骤S5中，将待融合的多光谱图像和全色图像输入到步骤S4所得训练完成的多尺度深层残差卷积神经网络模型中，得到融合后的高空间分辨率的多光谱图像。

7.一种存储介质，该存储介质内部存储计算机程序，其特征在于，所述计算机程序被处理器读取时，执行上述权利要求1～6任一项的方法。

Images