CN109003239A - 一种基于迁移学习神经网络的多光谱图像锐化方法 - Google Patents

Abstract

本发明公开了一种基于迁移学习神经网络的多光谱图像锐化方法，包括以下步骤：读取原始多光谱图像及与其配准的全色图像，对图像数据进行预处理，获取训练样本；搭建卷积神经网络结构；将训练样本输入卷积神经网络，利用自适应矩估计算法，使得损失误差下降至可接受的范围内，从而得到该网络结构参数的最优解；将经过相同预处理的完整多光谱测试样本输入至最优卷积神经网络结构中，输出处理得到高分辨率的多光谱图像；若需要锐化丢失波段的多光谱图像，需要先对训练好的网络进行微调，再测试。本发明能在维持原有的锐化效果的同时，增强已训练的神经网络对丢失波段的多光谱图像锐化处理的迁移能力。

Description

一种基于迁移学习神经网络的多光谱图像锐化方法

技术领域

本发明涉及遥感图像处理领域，具体涉及一种基于迁移学习神经网络的多光谱图像锐化方法。

背景技术

凭借信息量大、覆盖范围广等特点，遥感图像在多个领域发挥着重要的作用。在军事领域，它能对目标进行全方位的侦查与监控，方便收集各方情报；在民用领域，它被广泛应用于导航、灾情检测预报、资源勘测等方面。然而，由于受到传感器成像机理的限制，一般常用的遥感卫星不能提供同时具有高空间分辨率和光谱分辨率的多光谱图像。为了弥补这一不足，现今多数卫星一般同时具有两种不同类型的传感器，分别获取空间分辨率高的全色图像和光谱分辨率高的多光谱图像。随后，只要利用信号处理技术，提取全色图像的空间细节信息，用以锐化多光谱图像，即可得到理想的高分辨率的多光谱图像。当前，借助全色图像锐化多光谱图像的算法主要分为两大类：成分替代法和多分辨率分析法。前者通过空间变换将多光谱图像的空间信息替换成全色图像的，而后者利用空间滤波将全色图像的高频成分插入到多光谱图像中。然而，这些主流的锐化方法在减少输出图像的颜色失真、提高融合图像的空间分辨率和算法运算效率三方面都存在矛盾。

近年来，卷积神经网络在图像超分辨率重建领域表现出色，因此将其运用在多光谱图像的锐化中是一个极具潜力的研究方向。由于卷积神经网络是基于对训练样本的学习，所以其锐化效果高度依赖于训练样本与测试样本之间的相似程度，但是在多光谱图像的实际应用中，常常会伴随有光谱波段损坏的现象，使得已完成训练的卷积神经网络不再适用于此类图像，此时只能对网络结构进行调整，并利用缺失波段的多光谱图像重新训练。

发明内容

本发明的目的是针对现有技术的不足，为了提高卷积神经网络应用于多光谱图像锐化时的迁移能力和增强多光谱图像的锐化效果，提供了一种基于迁移学习神经网络的多光谱图像锐化方法，能够在保持相同锐化效果的同时，使得模型能迁移至丢失波段的多光谱图像中。

本发明的目的可以通过如下技术方案实现：

一种基于迁移学习神经网络的多光谱图像锐化方法，采用如下实现方式：

(1)将具有完整波段的多光谱图像及其配准的全色图像进行预处理，采样后得到多组训练样本；

(2)把训练样本输入至已初始化的神经网络，采用自适应矩估计算法对参数进行迭代更新，直到损失函数收敛；

(3)利用丢失波段的多光谱图像对训练好的卷积神经网络模型进行微调；

(4)将微调后的卷积神经网络模型用于对丢失波段的多光谱图像进行锐化处理。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明所述基于迁移学习神经网络的多光谱图像锐化方法，是利用全色图像对多光谱图像锐化方法的延伸，直接利用卷积神经网络从全色图像中提取多光谱图像所缺失的高频信息，与传统算法相比，本发明所提取的空间细节信息更具针对性。

2、本发明的卷积神经网络仅利用全色图像学习低分辨率多光谱图像所缺失的细节信息，在保持相同锐化效果的同时，减少网络的参数量，进一步降低了卷积神经网络的训练耗时。

3、本发明所设计的卷积神经网络，能将基于完整多光谱图像训练的模型迁移至丢失某些波段后的多光谱图像，避免了重新训练的步骤。

附图说明

图1为本发明实施例基于迁移学习神经网络的多光谱图像锐化方法流程图。

图2为本发明实施例卷积神经网络模型的结构图。

图3(a)为IKONOS卫星丢失波段参考图，图3(b)为采用双三次插值算法对参考图进行处理后的图像，图3(c)为采用主成分分析算法对参考图进行处理后的图像，图3(d)为基于平滑滤波的强度调制算法对参考图进行处理后的图像，图3(e)为采用本实施例所述方法对参考图进行处理后的图像。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

本实施例提供了一种基于迁移学习神经网络的多光谱图像锐化方法，流程图如图1所示，包括以下步骤：

步骤1、读取原始多光谱图像及与其配准的全色图像作为训练样本，对读取的训练样本进行预处理，得到训练样本对；

步骤2、搭建卷积神经网络模型，所述卷积神经网络模型包括卷积层和求和层，非线性激活函数采用线性整流函数；

步骤3、利用零均值的高斯分布随机初始化卷积神经网络模型中各层卷积核的权重和偏置；

步骤4、选用欧氏距离作为损失函数，得到网络预测图像与参照图像之间的欧式距离，即损失误差；

步骤5、采用自适应矩估计算法对权重和偏置进行迭代更新，直到损失误差下降至可接受范围内，此时所求得的权重和偏置参数为最优解，即得到最优卷积神经网络模型；

步骤6、若多光谱测试图像波段完整，将其进行与步骤1相同的预处理，而后输入至步骤5训练得到的最优卷积神经网络模型，输出锐化处理后的多光谱图像；

步骤7、若多光谱测试图像波段丢失，先对步骤5训练得到的最优卷积神经网络模型进行微调处理，再输入低分辨率的多光谱图像，输出锐化处理后的多光谱图像。

进一步地，所述步骤1的具体过程为：

步骤1.1、对训练样本的预处理：对读取的原始多光谱图像训练样本和原始全色图像训练样本同时先用与各自传感器的调制传递函数相适应的高斯滤波器进行平滑滤波，再进行s倍的下采样，得到低分辨率的多光谱图像训练样本和低分辨率的全色图像训练样本其中h₁、w₁分别表示多光谱图像的长和宽，H₁、W₁分别表示全色图像的长和宽，b表示波段数，两幅图像满足以下关系：h₁＝sH₁、w₁＝sW₁，s表示多光谱图像与全色图像的空间分辨率之比；接着仅对进行s倍的双三次插值，得到与具有相同分辨率，但图像质量较差的多光谱图像训练样本

步骤1.2、对训练样本和进行采样处理：同时以一定间隔在训练样本和上进行采样，将其分解为多个像素点较少的全色图像训练样本块和多光谱图像训练样本块

进一步地，步骤2中搭建的卷积神经网络模型如图2所示，共包括四层：

第一层：卷积层Conv1，输入全色图像训练样本块与64个大小为3×3的卷积核分别进行卷积滤波，并输入至线性整流函数激活处理，输出64个特征图Y₁ ⁽ⁱ⁾，能够表示为：其中Y₁ ⁽ⁱ⁾表示第一层卷积层对应的输出特征图，W₁,B₁分别表示第一层卷积核的权重矩阵和偏置矩阵，表示线性整流函数；

第二层：卷积层Conv2，输入上一层的输出，与64个大小为3×3的卷积核分别进行卷积滤波，并输入至线性整流函数激活处理，输出64个特征图Y₂ ⁽ⁱ⁾；

第三层：卷积层Conv3，输入上一层的输出，与b个大小为3×3的卷积核分别进行卷积滤波，直接输出b个特征图Y₃ ⁽ⁱ⁾；

第四层：求和层Sum，输入上一层的输出和多光谱图像训练样本块两个输入数据进行逐元素相加，输出网络锐化处理后预测的高分辨多光谱图像O⁽ⁱ⁾，其表达式为

进一步地，步骤4中卷积神经网络模型训练时所选用的欧氏距离损失函数表达式为：其中θ表示卷积神经网络模型需要优化的参数集合，N_p表示随机梯度下降算法中的批尺寸，||·||_F表示矩阵的F-范数。

进一步地，所述步骤7中对步骤5训练得到的最优卷积神经网络模型进行微调处理的具体过程为：

首先，沿用步骤2中的卷积神经网络模型构建新的卷积神经网络模型，区别在于，其中卷积层Conv3输入上一层的输出，与b-n个大小为3×3的卷积核分别进行卷积滤波，直接输出b-n个特征图Y₃ ⁽ⁱ⁾，其中n表示多光谱测试图像被丢失的波段数量；

然后，利用步骤5训练后得到的权重和偏置作为新卷积神经网络模型的初始化参数，其中卷积层Conv3的权重和偏置利用步骤3的方法重新随机初始化；

其次，设置学习率：将卷积层Conv1和卷积层Conv2的学习率均设置为0，而卷积层Conv3的学习率保持与步骤5的相同；

最后，进行训练迭代：采用自适应矩估计的方法，对新卷积神经网络模型的权重和偏置进行更新，直到损失误差下降至可接受的范围内，得到微调处理后最优的新卷积神经网络模型。

具体地，采用来自IKONOS卫星数据的多光谱图像和全色图像对本实施例所述方法进行验证，所述图像具有红、绿、蓝和近红外四个通道，全色图像和多光谱图像分辨率之比为4:1，全色图像的尺寸为256*256，多光谱图像的尺寸为64*64。

图3(a)为IKONOS卫星丢失波段参考图，图3(b)为采用双三次插值算法对参考图进行处理后的图像，图3(c)为采用主成分分析算法对参考图进行处理后的图像，图3(d)为基于平滑滤波的强度调制算法对参考图进行处理后的图像，图3(e)为采用本实施例所述方法对参考图进行处理后的图像。从图中可以看出：双三次插值得到的结果较为模糊，空间细节恢复能力较差；主成分分析和基于平滑滤波的强度调制算法均存在噪点，与参照图相差较大；本实施例所述方法的锐化结果与参考图更为接近，说明本发明的锐化效果更佳。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (5)

1.一种基于迁移学习神经网络的多光谱图像锐化方法，其特征在于，所述方法包括以下步骤：

步骤1、读取原始多光谱图像及与其配准的全色图像作为训练样本，对读取的训练样本进行预处理，得到训练样本对；

步骤2、搭建卷积神经网络模型，所述卷积神经网络模型包括卷积层和求和层，非线性激活函数采用线性整流函数；

步骤3、利用零均值的高斯分布随机初始化卷积神经网络模型中各层卷积核的权重和偏置；

步骤4、选用欧氏距离作为损失函数，得到网络预测图像与参照图像之间的欧式距离，即损失误差；

步骤5、采用自适应矩估计算法对权重和偏置进行迭代更新，直到损失误差下降至可接受范围内，此时所求得的权重和偏置参数为最优解，即得到最优卷积神经网络模型；

步骤6、若多光谱测试图像波段完整，将其进行与步骤1相同的预处理，而后输入至步骤5训练得到的最优卷积神经网络模型，输出锐化处理后的多光谱图像；

步骤7、若多光谱测试图像波段丢失，先对步骤5训练得到的最优卷积神经网络模型进行微调处理，再输入低分辨率的多光谱图像，输出锐化处理后的多光谱图像。

2.根据权利要求1所述的基于迁移学习神经网络的多光谱图像锐化方法，其特征在于，所述步骤1的具体过程为：

步骤1.1、对训练样本的预处理：对读取的原始多光谱图像训练样本和原始全色图像训练样本同时先用与各自传感器的调制传递函数相适应的高斯滤波器进行平滑滤波，再进行s倍的下采样，得到低分辨率的多光谱图像训练样本和低分辨率的全色图像训练样本其中h₁、w₁分别表示多光谱图像的长和宽，H₁、W₁分别表示全色图像的长和宽，b表示波段数，两幅图像满足以下关系：h₁＝sH₁、w₁＝sW₁，s表示多光谱图像与全色图像的空间分辨率之比；接着仅对进行s倍的双三次插值，得到与具有相同分辨率，但图像质量较差的多光谱图像训练样本

步骤1.2、对训练样本和进行采样处理：同时以一定间隔在训练样本和上进行采样，将其分解为多个像素点较少的全色图像训练样本块和多光谱图像训练样本块

3.根据权利要求2所述的基于迁移学习神经网络的多光谱图像锐化方法，其特征在于，步骤2中搭建的卷积神经网络模型共包括四层：

第一层：卷积层Conv1，输入全色图像训练样本块与64个大小为3×3的卷积核分别进行卷积滤波，并输入至线性整流函数激活处理，输出64个特征图Y₁ ⁽ⁱ⁾，能够表示为：其中Y₁ ⁽ⁱ⁾表示第一层卷积层对应的输出特征图，W₁,B₁分别表示第一层卷积核的权重矩阵和偏置矩阵，表示线性整流函数；

第二层：卷积层Conv2，输入上一层的输出，与64个大小为3×3的卷积核分别进行卷积滤波，并输入至线性整流函数激活处理，输出64个特征图Y₂ ⁽ⁱ⁾；

第三层：卷积层Conv3，输入上一层的输出，与b个大小为3×3的卷积核分别进行卷积滤波，直接输出b个特征图Y₃ ⁽ⁱ⁾；

第四层：求和层Sum，输入上一层的输出和多光谱图像训练样本块两个输入数据进行逐元素相加，输出网络锐化处理后预测的高分辨多光谱图像O⁽ⁱ⁾，其表达式为

4.根据权利要求3所述的基于迁移学习神经网络的多光谱图像锐化方法，其特征在于，步骤4中卷积神经网络模型训练时所选用的欧氏距离损失函数表达式为：其中θ表示卷积神经网络模型需要优化的参数集合，N_p表示随机梯度下降算法中的批尺寸，||·||_F表示矩阵的F-范数。

5.根据权利要求3所述的基于迁移学习神经网络的多光谱图像锐化方法，其特征在于，所述步骤7中对步骤5训练得到的最优卷积神经网络模型进行微调处理的具体过程为：

首先，沿用步骤2中的卷积神经网络模型构建新的卷积神经网络模型，区别在于，其中卷积层Conv3输入上一层的输出，与b-n个大小为3×3的卷积核分别进行卷积滤波，直接输出b-n个特征图Y₃ ⁽ⁱ⁾，其中n表示多光谱测试图像被丢失的波段数量；

然后，利用步骤5训练后得到的权重和偏置作为新卷积神经网络模型的初始化参数，其中卷积层Conv3的权重和偏置利用步骤3的方法重新随机初始化；

其次，设置学习率：将卷积层Conv1和卷积层Conv2的学习率均设置为0，而卷积层Conv3的学习率保持与步骤5的相同；

最后，进行训练迭代：采用自适应矩估计的方法，对新卷积神经网络模型的权重和偏置进行更新，直到损失误差下降至可接受的范围内，得到微调处理后最优的新卷积神经网络模型。