CN107220657B

CN107220657B - 一种面向小数据集的高分辨率遥感影像场景分类的方法

Info

Publication number: CN107220657B
Application number: CN201710325405.6A
Authority: CN
Inventors: 刘袁缘; 方芳; 谢忠; 罗忠文; 赵石; 赵一石
Original assignee: China University of Geosciences
Current assignee: China University of Geosciences
Priority date: 2017-05-10
Filing date: 2017-05-10
Publication date: 2018-05-18
Anticipated expiration: 2037-05-10
Also published as: CN107220657A

Abstract

本发明实施例公开了一种面向小数据集的高分辨率遥感影像场景分类的方法，建立了一个三个尺度、三个通道的端对端多尺度卷积联合神经网络模型。本方法共分为三个步骤，步骤一将图像尺寸大小为N×N的遥感影像，按照三个尺度进行随机子区域提取，提取后图像子区域大小分别为N/2×N/2、N/4×N/4和N/8×N/8，作为多通道卷积特征提取器输入；步骤二，建立一种融合多尺度和多通道的特征联合网络，将不同尺度的特征进行两两融合增强，实现高层特征的联合增强表达；步骤三，联合损失函数对场景的联合增强的高层特征进行分类。本发明实现在小样本训练集上的高精度分类，在小样本数据集中的高层特征表达能力和计算速度显著提高。

Description

一种面向小数据集的高分辨率遥感影像场景分类的方法

技术领域

本发明涉及高分辨率遥感影像场景分类技术领域，具体涉及一种基于多尺度卷积联合神经网络模型的高分辨率遥感影像场景分类的方法。

背景技术

随着IKONOS(伊科诺斯)、QuickBird(快鸟)等高分遥感卫星的发射，遥感卫星获取影像的分辨率不断提升。这些高分辨率的影像相比原来中低分辨率的影像所包含的信息更加丰富，而其中由于遥感影像场景中地物目标具有多样可变性、分布复杂性等特点，所包含的场景语义信息很难从中获取。近年来，深度学习由于对高层特征的良好表达，在遥感场景分类中取得了较高的识别精度。然而，它需要依赖于大量的训练数据集来优化网络参数。相关技术中，利用显著性采样获得包含影像主要信息的块，从而增强数据集大小和整体特性，再利用卷积神经网络提取高层特征，最后使用SVM分类器对场景进行分类，分类精度较好。

但是，基于深度学习方法的遥感影像场景识别技术中，良好的识别精度往往是依赖于大量的训练数据，不适用于简单的小数据集上的分类。

发明内容

针对上述技术问题，本发明提供了一种有限数据集下多尺度联合深度学习的高分辨率遥感影像场景分类的方法。该方法可以在不经过任何数据增强的情况下，获得很好的分类效果。

一种面向小数据集的高分辨率遥感影像场景分类的方法，包括以下步骤：

(1)数据预处理，对一张尺寸大小为N×N的待分类的高分辨率遥感影像随机提取0.875N×0.875N大小的图像区域，并对其进行对比度和亮度的调节；然后在所提取的图像区域再随机提取三个不同尺度不同位置的子区域块，尺寸大小分别为N/2×N/2、N/4×N/4、N/8×N/8；

(2)构建多尺度卷积联合神经网络(JMCNN)模型，所述联合多尺度卷积神经网络模型包括多通道的特征提取器、三个尺度的特征融合器和联合损失函数三部分；

(3)基于所述多尺度卷积联合神经网络(JMCNN)模型的高分遥感场景识别，对上述特征提取器、特征融合器分别进行参数设置；并将步骤(1)中提取的待识别的遥感影像输入所述特征提取器中进行卷积特征提取，提取的特征输入特征融合器得到融合增强特征，利用上述联合损失函数对所述融合增强特征进行分类，即得到遥感影像的分类结果。

进一步地，所述多通道的特征提取器由3个特征通道构成，每个所述特征通道为一个单特征提取器。

进一步地，所述多尺度特征融合器包含两个特征融合器进行特征联合；将上述N/2×N/2和N/4×N/4的图像尺寸输入上述多通道特征提取器中得到对应的两个特征，将这两个特征利用第一个特征融合器进行联合，得到一个新的联合特征；将上述N/8×N/8的图像尺寸输入上述多通道特征提取器中得到对应的特征，将这个特征与上述新的联合特征利用第二个特征融合器再次进行联合，得到最终的高层融合增强特征表达。

进一步地，所述联合损失函数为交叉熵损失与正则化项之和，对遥感影像的高层融合增强特征进行分类，得到遥感影像的分类结果。

进一步地，所述单特征提取器包含3个中间层，所述中间层由1个卷积层、1个Relu激活函数和1个最大池化层构成，所述卷积层输入为1个图像尺寸下的图像数据，输出为64×所述图像尺寸，所述Relu激活函数输入数据为所述64×所述图像尺寸，输出为所述的64×所述图像尺寸；所述卷积层的卷积核的大小均为5×5，步长为1，权重衰弱系数为0。

进一步地，所述极大池化层的卷积核的大小均为3×3，步长为2。

进一步地，所述特征融合器中的全连接层的权值衰减系数均设置为0.004，即全连接层的权值的L2范数均加入正则项；第一个特征融合器用于融合的全连接层的输出维度设置为1024；第二个特征融合器中用作将特征矩阵转换为特征向量的全连接层的输出维度设置为1024，另一个全连接层的输出维度则设置为512。

与相关技术比较，本发明的实施例提供的一种面向小数据集的高分辨率遥感影像场景分类方法，采用一种端对端的多尺度卷积联合神经网络模型，利用更少的训练集即可实现高层特征的融合增强表达；采用三个尺度和三个通道的多输入模型，有效的解决了不同分辨率下的遥感影像的分类；多尺度特征融合增强函数通过融合两两全连接层模型，实现了的高层特征的多通道融合，提高了网络的效率。本发明在小样本数据集中的高层特征表达能力和计算速度显著提高。

附图说明

图1为本发明实施例的分类流程图。

图2为本发明实施例的多尺度卷积联合神经网络模型的示意图。

图3为本发明实施例的单通道特征提取器示意图。

图4为本发明实施例的单通道特征提取器中间层示意图。

图5为本发明实施例的多通道特征示意图。

图6为本发明实施例的单个特征融合器示意图。

其中，多尺度卷积联合神经网络模型10、特征提取器11、特征融合器12、联合损失函数13、中间层111、卷积层112、修正线性单元激活函数113、极大池化层114。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

参照附图1、2，本发明的实施例提供了一种面向小数据集的高分辨率遥感影像场景分类的方法，包括以下步骤：

(1)数据预处理，对有限数据集中的一张尺寸大小为N×N的待分类的高分辨率遥感影像随机提取0.875N×0.875N大小的图像区域，并对其进行对比度和亮度的调节；然后在所提取的图像区域再随机提取三个不同尺度不同位置的子区域块，尺寸大小分别为N/2×N/2、N/4×N/4、N/8×N/8；

数据预处理的目的是为增加样本的多样性，通过图像归一化算法，调整提取的0.875N×0.875N尺寸大小的影像的对比度和亮度，减少光照对场景分类的噪声影响；

(2)构建多尺度卷积联合神经网络(JMCNN)模型，所述多尺度卷积联合神经网络模型10包括多通道的特征提取器11、三个尺度的特征融合器12和联合损失函数(Jointlysoftmax)13三部分；

采用上述三个不同尺度建立三个尺度、三个通道的端对端多尺度联合网络模型，通过对多个通道的不同尺度的高层特征的增强表达，实现在小样本训练集上的高精度分类；

(3)基于所述多尺度卷积联合神经网络(JMCNN)模型的高分遥感场景识别，对上述多通道的特征提取器11、特征融合器12分别进行参数设置；并将步骤(1)中提取的待识别的遥感影像输入所述多尺度特征提取器11中进行卷积特征提取，提取的特征输入特征融合器12得到融合增强特征，利用上述联合损失函数对所述融合增强特征进行分类，即得到遥感影像的分类结果。

所述多尺度卷积联合神经网络(JMCNN)模型10采用一种端对端的多尺度卷积联合神经网络模型，利用更少的训练集即可实现高层特征的融合增强表达，即利用有限的遥感数据集获得高识别精度；采用三个尺度和三个通道的多输入模型，有效的解决了不同分辨率下的遥感影像的分类；多尺度特征融合增强函数通过融合两两全连接层模型，实现了的高层特征的多通道融合，提高了网络的效率和识别率。本发明申请是实现遥感影像复杂场景快速自动识别的基础；在军事、救灾等领域有十分重要的意义。

优选地，参照附图3、4，多通道的所述特征提取器11由3个特征通道构成，每个所述特征通道为一个单独的所述特征提取器11；单独的所述特征提取器11由3个中间层111构成，每个所述中间层111由1个卷积层112、1个修正线性单元(ReLu)激活函数113和1个极大池化层114构成。

优选地，所述卷积层112输入为1个尺度下的图像数据，即上述步骤(1)中的N/2×N/2、N/4×N/4、N/8_×N/8三个图像尺寸中的一个，输出为64×所述图像尺寸，所述ReLu激活函数113输入为64×所述图像尺寸，输出为64×所述图像尺寸；所述卷积层112的卷积核的大小均为5×5，步长为1，权重衰弱系数为0。

优选地，所述极大池化层114的卷积核的大小均为3×3，步长为2。

优选地，参照附图5，所述多通道的特征提取器11在3个尺度下的特征通道所提取的卷积层112特征和极大池化层114特征。

不同尺度的图像子区域块分别通过三个通道的特征提取器11进行多尺度三层卷积特征提取；其中每个卷积层112后面的ReLu激活函数113用来激活不同的神经元，使得后面获得复杂高层特征解离，利于多尺度特征融合。

单个通道的特征提取过程为：

设输入影像为X∈R^h×w×c，由宽卷积计算公式(1)：

其中，h,w,c分别为影像的高、宽、颜色通道总数，F为5×5的卷积核，i为颜色通道号，b为偏置项，代表宽卷积运算，由于是宽卷积运算，输出的特征映射Y∈R^h×w×c与X维度相同。通过ReLu激活函数113激活后，接着进行极大池化层114计算，用以降低特征图的维度，获得特征映射M∈R^h×w×c，其输出维度与Y相同。

参照附图6，所述多尺度的特征融合器12包含两个融合器进行特征联合，如下表所示；将上述N/2×N/2和N/4×N/4的图像尺寸输入上述多通道的特征提取器11中得到对应的两个特征为Ft₁、Ft₂，将这两个特征利用一所述特征融合器12进行联合，得到一个新的联合特征TEM；将上述N/8×N/8的图像尺寸输入上述多通道的特征提取器11中得到对应的特征Ft₃，将所述特征Ft₃与上述新的联合特征TEM利用另一所述特征融合器12再进行联合，得到最终的高层融合增强特征表达FIN。

所述多尺度的特征融合过程的具体算法为：

假设在一个特征融合器12中的特征融合，假设任一个特征融合器12输入的两个特征矩阵为M₁、M₂∈R^h×w×c作为输入，首先将M_i(I＝1,2)以行、列、颜色通道的顺序展平为K_i∈R¹ ^×(h*w*c)，其中*代表数值乘法，然后分别进入全连接层计算并使用ReLu激活函数激活：

V_i＝K_iW+b (2)

T_i＝ReLu(V_i) (3)

其中，T_i为1024维的特征向量,i＝1,2代表不同的特征向量，W∈R^{(h*w*c)×1024}，b为偏置项。

将两向量T1、T2融合，得到V3＝concat(T1，T2)，concat后的向量V₃∈R^1×2048。然后，经由全连接层计算并ReLu激活，得到最终的特征向量P:

P＝ReLu(V₃W₃+b₃)

为了防止融合过程中出现的特征信息集产生过拟合现象，需要适当的降低全连接层的复杂度，即在本发明实施例的每个特征融合器后面加入一个dropout层，该层会使得全连接层中的每个神经元以一定的概率“失活”，即每次只随机保留一部分神经元参与训练，使得模型复杂度降低，计算量减少，模型收敛更加快速，再由于随机性的添加，模型多样性也得到了提升。由于网络的计算越向后，计算得到的特征表达能力就越强，相应需要的模型复杂度就越高，因此本发明实施例对dropout层的神经元保留概率设置参照GoogleNet的做法，第一个所述特征融合器12的保留概率设置为0.6，第二个所述特征融合器12则设置为0.7；最终融合后的特征向量P∈R^1×512。

本发明实施例在训练过程中设置保留概率，而在测试过程中，将概率全设置为1，即等价于移除dropout层。

优选地，所述联合损失函数13为交叉熵损失与正则化项之和，对遥感影像的高层融合增强特征进行分类，得到遥感影像的分类结果。

所述的交叉熵损失与正则化项之和即在经验风险上加上表示模型复杂度的结构风险。设softmax函数输出的向量为Y∈R^1×n,Y＝(y₁,y₂,…,y_n)，式中n为样本类别数，y_i表示向量中元素的实数值。

联合损失函数为：

其中，公式(4)中前一项是交叉熵损失函数，后一项是权值的L2正则项，λ为正则项系数，由各权值的权值衰减系数的乘积决定。

在分类过程中，引入了正则项的损失函数，能有效防止过拟合现象，为损失函数引入了模型的结构风险，作为损失函数的一个惩罚项，平衡经验风险与模型复杂度。

优选地，所述特征融合器12中的全连接层的权值衰减系数均设置为0.004，即全连接层的权值的L2范数均加入正则项；第一个所述特征融合器12用于融合的全连接层的输出维度设置为1024；第二个所述特征融合器12中用作将特征矩阵转换为特征向量的全连接层的输出维度设置为1024，另一个全连接层的输出维度则设置为512。

所述第一个所述特征融合器12的输入参数是从上述尺寸为N/2×N/2和N/4×N/4的影像中提取的特征矩阵，通过观察矩阵的稀疏程度，本发明实施例中进行融合的全连接层的输出维度设置为1024。

所述第二个所述特征融合器12的输入参数一个是从上述尺寸N/8×N/8的影像中提取的特征矩阵，另一个是由所述第一个特征融合器12融合而成的512维向量；本发明实施例中采用的分类模型是softmax函数分类器，其输入维度为较小的样本类别数，为了使特征向量的维度能渐进地收缩到这个较小的样本类别数，本文将第二个所述特征融合器12中用作将特征矩阵转换为特征向量的全连接层的输出维度设置为1024，另一个全连接层的输出维度则设置为512；基于此向量，softmax函数将输出一个维数与类别数n相同的一个向量Y，其中Y_i(i＝1,2,3,…,n)为该场景影像属于类别i的概率,则该场景影像类别可认为是最大的Y_i所对应的类别i。

在训练JMCNN的过程中，本发明实施例使用UCM和SIRI两个高分辨率遥感小数据集分别进行训练，所述UCM包括2100张样本图片，所述SIRI包含2400张样本图片。训练集均为从对应的原数据集随机抽样得到的0.8倍的原数据集，测试集则为剩下的0.2倍的原数据集。

在本文中，所涉及的前、后、上、下等方位词是以附图中零部件位于图中以及零部件相互之间的位置来定义的，只是为了表达技术方案的清楚及方便。应当理解，所述方位词的使用不应限制本申请请求保护的范围。

在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种面向小数据集的高分辨率遥感影像场景分类的方法，其特征是：

包括以下三个步骤：

(2)构建多尺度卷积联合神经网络(JMCNN)模型，所述多尺度卷积联合神经网络模型包括多通道的特征提取器、三个尺度的特征融合器和联合损失函数(Jointly softmax)三部分；

(3)基于所述多尺度卷积联合神经网络(JMCNN)模型的高分遥感场景识别，对上述特征提取器、特征融合器分别进行参数设置；并将步骤(1)中提取的待识别的遥感影像输入所述特征提取器中进行卷积特征提取，提取的特征输入特征融合器得到融合增强特征，利用上述联合损失函数对所述融合增强特征进行分类，即得到遥感影像的分类结果；

所述多尺度的特征融合器包含两个特征融合器进行特征联合，将上述N/2×N/2和N/4×N/4的图像尺寸输入上述多通道特征提取器中得到对应的两个特征为Ft₁、Ft₂，将这两个特征利用一特征融合器进行联合，得到一个新的联合特征TEM；将上述N/8×N/8的图像尺寸输入上述多通道特征提取器中得到对应的特征Ft₃，将所述特征Ft₃与上述新的联合特征TEM利用另一特征融合器再进行联合，得到最终的高层融合增强特征表达FIN；

所述每个特征融合器后面加入一个dropout层，该层会使得全连接层中的每个神经元以一定的概率“失活”，即每次只随机保留一部分神经元参与训练。

2.根据权利要求1所述的一种面向小数据集的高分辨率遥感影像场景分类的方法，其特征是：

所述特征提取器由3个特征通道构成，每个所述特征通道为一个单独的特征提取器；单独的所述特征提取器包含3个中间层，每个所述中间层分别由1个卷积层、1个线性修正单元(ReLu)激活函数和1个极大池化层构成。

3.根据权利要求2所述的一种面向小数据集的高分辨率遥感影像场景分类的方法，其特征是：

所述卷积层输入为1个图像尺寸的图像数据，输出为64×所述图像尺寸，所述ReLu激活函数输入为所述64×所述图像尺寸，输出为所述64×所述图像尺寸；所述卷积层的卷积核的大小均为5×5，步长为1，权重衰弱系数为0。

4.根据权利要求2所述的一种面向小数据集的高分辨率遥感影像场景分类的方法，其特征是：

所述极大池化层的卷积核的大小均为3×3，步长为2。

5.根据权利要求1所述的一种面向小数据集的高分辨率遥感影像场景分类的方法，其特征是：

所述联合损失函数为交叉熵损失与正则化项之和，对遥感影像的高层融合增强特征进行分类，得到遥感影像的分类结果。

6.根据权利要求1所述的一种面向小数据集的高分辨率遥感影像场景分类的方法，其特征是：所述特征融合器中的全连接层的权值衰减系数均设置为0.004，即全连接层的权值的L2范数均加入正则项；第一个特征融合器用于融合的全连接层的输出维度设置为1024；第二个特征融合器中用作将特征矩阵转换为特征向量的全连接层的输出维度设置为1024，另一个全连接层的输出维度则设置为512。