CN109102469B - 一种基于卷积神经网络的遥感图像全色锐化方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的遥感图像全色锐化方法，包括以下步骤：读取原始多光谱遥感图像

及其匹配的全色遥感图像

对图像数据进行预处理，获取训练样本；构造卷积神经网络结构；将训练样本输入卷积神经网络，利用随机梯度下降算法，使得损失函数稳定在最小值，从而得到该网络结构的最优解；将经过相同预处理的测试样本输入至最优卷积神经网络结构中，输出处理得到高分辨率的多光谱遥感图像。本发明能有效地减少处理结果的光谱失真，并增强了其锐化效果。

Description

一种基于卷积神经网络的遥感图像全色锐化方法

技术领域

本发明涉及遥感图像处理领域，具体涉及一种基于卷积神经网络的遥感图像全色锐化方法。

背景技术

遥感图像是目前被广泛关注的图像类型之一，在农业发展、环境监测和地质监测等领域都有广泛的应用，具有良好的工程应用价值和前景。然而在实际应用中，由于受到传感器物理结构的限制，不能同时获取具有高空间分辨率和光谱分辨率的遥感图像。为了解决这一问题，现在卫星一般具有两种不同类型的传感器，分别获取空间分辨率高的全色遥感图像和光谱分辨率高的多光谱遥感图像。通过利用全色遥感图像锐化处理多光谱遥感图像，就能得到高空间分辨率和光谱分辨率的图像，即利用全色遥感图像的空间信息去提升多光谱遥感图像的空间分辨率，同时还保护了多光谱遥感图像的光谱信息免受破坏，这个过程也称为遥感图像全色锐化。

目前，遥感图像全色锐化方法主要分为两大类：1)成分替代法，该类方法通过线性变换将多光谱遥感图像的空间成分和光谱成分相互分离，然后将其空间成分用全色遥感图像的进行替换，再进行反变换，即可得到提升的图像。该类方法能较好地修复空间细节，并且算法时间消耗少，但是处理后的图像不可避免地有严重的光谱失真现象。2)多分辨率分析，该类方法通过小波变换、拉普拉斯金字塔等手段提取全色遥感图像的高频细节信息，并将其插入到多光谱遥感图像中。该类方法能有效地保护多光谱遥感图像的光谱特性，但其对空间分辨率的提升效果有限，且耗费的时间也相对较多。因此，如何在提升多光谱遥感图像的空间分辨率的同时，还保存其光谱特性不受破坏，成为近年来全色锐化和遥感信息行业的研究热点之一。

得益于卷积神经网络在图像超分辨率重建领域的出色表现，其也有潜力在遥感图像全色锐化上得到成功应用。然而，由于多光谱遥感图像具有丰富的空间信息和光谱信息，直接利用卷积神经网络学习低分辨率和高分辨率的多光谱遥感图像映射关系时，不仅会大大提升卷积神经网络的训练时长，而且还会增大其学习的误差。

发明内容

本发明的目的是针对现有技术的不足，提出了一种具有针对性的基于卷积神经网络的遥感图像全色锐化方法，所述方法能有效地减少处理结果的光谱失真，并增强了多光谱遥感图像的锐化效果。

本发明的目的可以通过如下技术方案实现：

一种基于卷积神经网络的遥感图像全色锐化方法，所述方法包括以下步骤：

(1)、获取训练样本集：对获取的多光谱遥感图像和全色遥感图像进行预处理，得到训练样本对；

(2)、构建卷积神经网络模型：主要包括卷积层和求和层，网络激活函数采用线性整流函数；

(3)、训练卷积神经网络：利用零均值的高斯分布初始化网络各层的卷积核的权重和偏置，采用随机梯度下降算法对卷积神经网络模型进行迭代优化；

(4)、利用训练好的卷积神经网络模型，对低分辨的多光谱遥感图像进行全色锐化。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明提供的基于卷积神经网络的遥感图像全色锐化方法，是多光谱遥感图像全色锐化传统方法的延伸，摒弃了传统的分开学习全色遥感图像的细节信息和细节信息插入系数，现直接利用低分辨的多光谱遥感图像和全色遥感图像学习其缺少的细节信息，大大提升了模型的鲁棒性。

2、本发明利用卷积神经网络学习低分辨率多光谱遥感图像所缺失的细节信息，而不是完整的高分辨率多光谱遥感图像，不仅能降低卷积神经网络的训练时间，而且能提升锐化效果。

3、本发明所设计的卷积神经网络，比现有的用于全色锐化的卷积神经网络具有更清晰的物理意义，学习的特征更为明确。

附图说明

图1为本发明实施例基于卷积神经网络的遥感图像全色锐化方法的流程图。

图2为本发明实施例卷积神经网络的结构图。

图3(a)为QuickBird卫星参照图，图3(b)为采用双三次插值对参照图进行处理后的图像，图3(c)为采用主成分分析算法对参照图进行处理后的图像，图3(d)为采用基于平滑滤波的强度调制算法对参照图进行处理后的图像，图3(e)为采用本实施例所述方法对参照图进行处理后的图像。

图4(a)为Worldview-2卫星参照图，图4(b)为采用双三次插值对参照图进行处理后的图像，图4(c)为采用主成分分析算法对参照图进行处理后的图像，图4(d)为采用基于平滑滤波的强度调制算法对参照图进行处理后的图像，图4(e)为采用本实施例所述方法对参照图进行处理后的图像。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

本实施例提供了一种基于卷积神经网络的遥感图像全色锐化方法，流程图如图1所示，包括以下步骤：

步骤1、读取原始多光谱遥感图像数据

和原始全色遥感图像数据

其中h₁、w₁分别表示多光谱遥感图像的长和宽，H₁、W₁分别表示全色遥感图像的长和宽，b表示波段数，两幅图像满足以下关系：h₁＝sH₁、w₁＝sW₁，s表示多光谱遥感图像与全色遥感图像的空间分辨率之比；

步骤2、选取原始多光谱遥感图像部分区域，及其对应的原始全色遥感图像区域作为训练样本，对该训练样本进行预处理后，进行分块采样，得到多个训练样本块

步骤3、构建卷积神经网络模型，所述卷积神经网络模型包括卷积层和求和层，网络的激活函数采用线性整流函数，表达式为Y＝max(0,X)，其中X,Y分别表示神经元的输入和输出特征图；

步骤4、利用零均值的高斯分布随机初始化卷积神经网络模型中各卷积核的权重W和偏置B；

步骤5、选用欧氏距离损失函数作为输出层，得到网络预测图像与参照图像之间的欧氏距离；

步骤6、采用随机梯度下降算法对权重W和偏置B进行迭代更新，当损失函数稳定在最小值时，权重W和偏置B寻得最优解，即得到最优卷积神经网络模型；

步骤7、选取原始多光谱遥感图像另外一部分区域，及其对应的原始全色遥感图像区域作为测试样本

对该测试样本进行与步骤2相同的预处理；

步骤8、将步骤7得到的测试样本直接输入到步骤6得到的最优卷积神经网络模型，移除输出层后，即得到高分辨率的多光谱遥感图像。

进一步地，所述步骤2的具体过程为：

步骤2.1、对训练样本的预处理：对选取的多光谱遥感图像训练样本

与全色遥感图像训练样本

同时先用与相应传感器的调制传递函数相匹配的高斯滤波器进行平滑处理，再进行空间尺度为s的下采样，得到低分辨率的多光谱遥感图像训练样本

和低分辨率的全色遥感图像训练样本

其中满足表达式：h₂＝sh₁,w₂＝sw₁，接着仅对

进行空间尺度为s的上采样，得到与

相同大小的多光谱遥感图像训练样本

步骤2.2、获取网络输入训练样本G₁：将步骤2.1得到的

和

在第三维度上进行拼接，即将

作为训练样本G₁的前b个波段数据，

作为训练样本G₁的第b+1个波段数据；

步骤2.3、对训练样本G₁进行分块采样：以一定间隔在训练样本G₁上进行采样，即能够将一副像素点较多的训练样本，分解为多个像素点较少的训练样本块

具体地，步骤2.3的具体过程为：用固定大小的模板以一定的步长在训练样本G₁上滑动，每个滑动位置作为一个训练样本小块，即能够将一副像素点较多的训练样本，分解为多个像素点较少的训练样本块

进一步地，所述步骤3中构建的卷积神经网络模型共包括四层，结构图如图2所示：

第一层：卷积层Conv1，输入训练样本块

与64个大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₁ ⁽ⁱ⁾，能够表示为：

其中Y₁ ⁽ⁱ⁾表示第一层卷积层对应的输出特征图，W₁,B₁分别表示第一层卷积核的权重矩阵和偏置矩阵；

第二层：卷积层Conv2，输入上一层的输出，与64个大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₂ ⁽ⁱ⁾；

第三层：卷积层Conv3，输入上一层的输出，与b个大小为3×3的卷积核进行卷积运算，直接输出b个特征图Y₃ ⁽ⁱ⁾；

第四层：求和层Sum，输入上一层的输出和卷积神经网络训练样本块

的前b个波段，即低分辨率的多光谱遥感图像

两个输入数据进行逐元素相加，输出网络预测高分辨多光谱遥感图像O⁽ⁱ⁾，其表达式为

进一步地，步骤5中卷积神经网络模型训练时所选用的欧氏距离损失函数表达式为：

其中θ表示卷积神经网络模型需要优化的参数集合，N_p表示随机梯度下降算法中的批尺寸，||·||_F表示矩阵的F-范数。

具体地，采用来自QuickBird和Worldview-2两种不同卫星数据的多光谱遥感图像和全色遥感图像对本实施例所述方法进行验证，前者具有红、绿、蓝和近红外四个通道，后者具有红、绿、蓝、海岸、黄、红边、近红外、近红外2八个通道；两者的全色遥感图像和多光谱遥感图像分辨率之比为4:1，全色遥感图像的尺寸为256*256，多光谱遥感图像的尺寸为64*64。

图3(a)为QuickBird卫星参照图，图3(b)为采用双三次插值对图3(a)进行处理后的图像，图3(c)为采用主成分分析算法对图3(a)进行处理后的图像，图3(d)为采用基于平滑滤波的强度调制算法对图3(a)进行处理后的图像，图3(e)为采用本实施例所述方法对图3(a)进行处理后的图像。从图中可以看出：利用双三次插值和主成分分析算法得到的锐化结果与参考图相比较，空间细节修复程度较差，存在明显的模糊现象；基于平滑滤波的强度调制算法所得到的锐化结果在绿地区域锐化程度较高，甚至比参考图还要细腻；而本实施例所提出的算法得到的结果更加接近于参考图，空间细节修复程度较好，说明本实施例具有相较于现有算法，具有更佳的锐化效果。

图4(a)为Worldview-2卫星参照图，图4(b)为采用双三次插值对参照图进行处理后的图像，图4(c)为采用主成分分析算法处理后的图像，图4(d)为采用基于平滑滤波的强度调制算法处理后的图像，图4(e)为采用本实施例所述方法处理后的图像。从图中可以看出：双三次插值得到的锐化结果相对更为模糊，主成分分析和基于平滑滤波的强度调制算法锐化结果虽然空间细节修复能力比双三次插值更强，但是与参考图相比，仍存在较大差距；而本实施例的锐化结果，与参考图是最接近的，再次说明本实施例具有更佳的锐化效果。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (3)

1.一种基于卷积神经网络的遥感图像全色锐化方法，其特征在于，所述方法包括以下步骤：

步骤1、读取原始多光谱遥感图像数据

和原始全色遥感图像数据

其中h₁、w₁分别表示多光谱遥感图像的长和宽，H₁、W₁分别表示全色遥感图像的长和宽，b表示波段数，两幅图像满足以下关系：h₁＝sH₁、w₁＝sW₁，s表示多光谱遥感图像与全色遥感图像的空间分辨率之比；

步骤2、选取原始多光谱遥感图像部分区域，及其对应的原始全色遥感图像区域作为训练样本，对该训练样本进行预处理后，进行分块采样，得到多个训练样本块

步骤3、构建卷积神经网络模型，所述卷积神经网络模型包括卷积层和求和层，网络的激活函数采用线性整流函数，表达式为Y＝max(0,X)，其中X,Y分别表示神经元的输入和输出特征图；

步骤4、利用零均值的高斯分布随机初始化卷积神经网络模型中各卷积核的权重W和偏置B；

步骤5、选用欧氏距离损失函数作为输出层，得到网络预测图像与参照图像之间的欧氏距离；

步骤6、采用随机梯度下降算法对权重W和偏置B进行迭代更新，当损失函数稳定在最小值时，权重W和偏置B寻得最优解，即得到最优卷积神经网络模型；

步骤7、选取原始多光谱遥感图像另外一部分区域，及其对应的原始全色遥感图像区域作为测试样本

对该测试样本进行与步骤2相同的预处理；

步骤8、将步骤7得到的测试样本直接输入到步骤6得到的最优卷积神经网络模型，移除输出层后，即得到高分辨率的多光谱遥感图像；

利用训练好的卷积神经网络模型，对低分辨的多光谱遥感图像进行全色锐化；

所述步骤3中构建的卷积神经网络模型共包括四层：

第一层：卷积层Conv1，输入训练样本块

与64个大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₁ ⁽ⁱ⁾，能够表示为：

其中Y₁ ⁽ⁱ⁾表示第一层卷积层对应的输出特征图，W₁,B₁分别表示第一层卷积核的权重矩阵和偏置矩阵；

第二层：卷积层Conv2，输入上一层的输出，与64个大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₂ ⁽ⁱ⁾；

第三层：卷积层Conv3，输入上一层的输出，与b个大小为3×3的卷积核进行卷积运算，直接输出b个特征图Y₃ ⁽ⁱ⁾；

第四层：求和层Sum，输入上一层的输出和卷积神经网络训练样本块

的前b个波段，即低分辨率的多光谱遥感图像

两个输入数据进行逐元素相加，输出网络预测高分辨多光谱遥感图像O⁽ⁱ⁾，其表达式为

2.根据权利要求1所述的基于卷积神经网络的遥感图像全色锐化方法，其特征在于，所述步骤2的具体过程为：

步骤2.1、对训练样本的预处理：对选取的多光谱遥感图像训练样本

与全色遥感图像训练样本

同时先用与相应传感器的调制传递函数相匹配的高斯滤波器进行平滑处理，再进行空间尺度为s的下采样，得到低分辨率的多光谱遥感图像训练样本

和低分辨率的全色遥感图像训练样本

其中满足表达式：h₂＝sh₁,w₂＝sw₁，接着仅对

进行空间尺度为s的上采样，得到与

相同大小的多光谱遥感图像训练样本

步骤2.2、获取网络输入训练样本G₁：将步骤2.1得到的

和

在第三维度上进行拼接，即将

作为训练样本G₁的前b个波段数据，

作为训练样本G₁的第b+1个波段数据；

步骤2.3、对训练样本G₁进行分块采样：以一定间隔在训练样本G₁上进行采样，即能够将一副像素点较多的训练样本，分解为多个像素点较少的训练样本块

3.根据权利要求2所述的基于卷积神经网络的遥感图像全色锐化方法，其特征在于，步骤5中卷积神经网络模型训练时所选用的欧氏距离损失函数表达式为：

其中θ表示卷积神经网络模型需要优化的参数集合，N_p表示随机梯度下降算法中的批尺寸，||·||_F表示矩阵的F-范数。

Images