CN108052966B - 基于卷积神经网络的遥感图像场景自动提取和分类方法 - Google Patents

Abstract

本发明请求保护一种基于基于卷积神经网络的遥感图像场景自动提取和分类方法。主要创新点在于修改了一般情况下深度神经网络的输入特征图，增加了数据维度。主要解决目前遥感图像分辨率逐步提高，对于某些容易混淆的场景如居住区、公园、道路等的分类可能会出现由于训练样本数量的限制造成进一步的细分类中无法有效提取特征的问题。例如居住区中细分稀疏居住区和公园、密集居住区和密集商业区。本发明先利用深度学习或其他方法对待分类遥感图像进行逐像素基础地物类别分类，将分类后的结果专题图作为部分特征图与原本的场景图拼接输入神经网络进行训练及分类，使神经网络能够充分学习场景特征，提高分类识别精度。

Description

基于卷积神经网络的遥感图像场景自动提取和分类方法

技术领域

本发明属于遥感图像场景分类领域。在传统的遥感图像场景自动分类的基础上加入了额外信息、扩充了信息的维度使神经网络能够更加充分地学习到要进行分类的场景的特征上的差异，以提高分类的准确率。

背景技术

(1)卷积神经网络

卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括卷积层(convolutional layer)和池化层(pooling layer)。

卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络(Convolutional Neural Networks-简称CNN)。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。K.Fukushima在1980年提出的新识别机是卷积神经网络的第一个实现网络。随后，更多的科研工作者对该网络进行了改进。其中，具有代表性的研究成果是Alexander和Taylor提出的“改进认知机”，该方法综合了各种改进方法的优点并避免了耗时的误差反向传播。

一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显示的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。

(2)遥感图像场景分类

图像场景分类是根据图像内容自动获取图像所属类别的一种技术，已经在模式识别、计算机视觉等领域中得到广泛应用。遥感图像的场景分类作为图像场景分类的一个重要分支，近年来已经对遥感图像的目标检测、图像检索、图像增强等实际问题的研究做出了很大贡献。

遥感图像的场景即根据语义能够判断出区别的地物类型如：车站、飞机场、居民区、道路、河流等。传统的遥感图像场景分类方法较为经典的有K近邻(KNN)、支持向量机(SVM)、随机森林(RF)、稀疏分类表达器(SRF)

(3)遥感图像逐像素分类

基于像元的分类，就是分类的研究对象是单个像元，利用像元的光谱信息、纹理信息、空间关联等信息对像元表示的地物类别属性进行判断。这一类分类算法是目前研究得最多、最深入的分类算法。

在遥感图像自动分类中，传统的基于数理统计的分类方法，主要包括最小距离分类、最大似然分类、波谱角分类、混合距离法分类等，主要依赖地物的光谱属性，基于单个像元进行分类。

近年来对于神经网络分类方法的研究相当活跃。它区别于传统的分类方法：在处理模式分类问题时，并不基于某个假定的概率分布，在无监督分类中，从特征空间到模式空间的映射是通过网络自组织完成的。在监督分类中，网络通过对训练样本的学习，获得权值，形成分类器，且具备容错性。人工神经网络(ANN)分类方法一般可以获得更高精度的分类结果，因此ANN方法在遥感分类中被广泛应用，特别是对于复杂类型的地物类型分类，ANN方法显示了其优越性。

现有的场景图像分类提取的不足主要在于(1)在传统分类方法中，对于特征的手动提取相当耗时耗力，且精度要求高，且一般情况下精度不及利用神经网络分类的方法。(2)在利用神经网络及其相关模型采用一般方法隐式提取特征时，对于训练数据的数量和精度要求非常高。而一般情况下常用的数据集或者自己制作的数据集的数量都达不到能让神经网络充分学习并避免过拟合，造成精度无法达到预期。

本发明的内容是根据上述背景所描述的情况，结合三个方面的优点：(1)卷积神经网络对图像特征的自动学习；(2)遥感图像场景分类对特征的敏感性；(3)遥感图像逐像素分类已取得较好精度。提供通过将逐像素分类的结果与神经网络中场景分类中的场景进行合并以扩大输入特征图的维度，使神经网络更充分地学习分类场景的特征的方法。特别地，该发明中的输入特别适合作为目前的深层次卷积神经网络输入。因深度卷积神经网络可提取的特征较一般的神经网络更多。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种增加整个分类模型的稳定性、提高分类识别精度的基于卷积神经网络的遥感图像场景自动提取和分类方法。本发明的技术方案如下：

一种基于卷积神经网络的遥感图像场景自动提取和分类方法，其包括以下步骤：

1)、数据获取步骤：采用高分辨率卫星获取分辨率高于0.6m的遥感图像；

2)、数据预处理步骤：对获取到的遥感图像数据进行预处理；

3)、遥感图像逐像素分类步骤：采用基于像元的分类，利用像元的光谱信息、纹理信息、空间关联在内的信息对像元表示的地物类别属性进行判断并分类；或者对场景数据集采用传统的聚类方法进行分类；

4)、制作训练数据集：将分类专题图及原遥感图片上的各种场景制成训练集,输入神经网络模型进行训练；当训练达到一定精度时对遥感图像进行场景识别分类。

进一步的，所述步骤3)将遥感图中标记的场景和同样位置的逐像素分类专题图，或者场景数据库中的场景图及其对应的逐像素分类专题图进行拼接。

进一步的，所述拼接的具体方法为：通过在遥感图像N个波段之后加入一个新波段，当原场景图或从遥感图像上切割的输入场景图大小为n×n×b，其中n为图的宽度和高度，b为波段数；逐像素分类专题图为n×n×1；两图在波段维度进行拼接，拼接后的图片为n×n×(b+1)。

进一步的，所述采用经典的监督/非监督分类，采用包括SVM支持向量机或K最邻近、或者采用神经网络方法进行分类，其分类得到的特征图与原遥感图像分辨率、坐标一致。

进一步的，所述输入神经网络的数据为带有标签的场景特征图，该场景特征图除了场景的各个波段还会有额外一个通道为该场景的逐像素分类专题图，即把比原遥感图像的波段多一个通道的特征图作为输入。

进一步的，所述神经网络分类过程有两个滑动窗口遍历整个遥感图像及逐像素分类专题图，输入神经网络的特征图为将两个窗口中的各个波段数据及逐像素分类专题图拼接而成为一张的特征图，两个滑动窗口在原遥感图像和像素分类特征图上的位置必须位于相同的坐标且同步滑动。

进一步的，所述步骤3)的分类结果可以作为以滑动窗口大小为像素块的专题图，其中识别出的场景的像素值为其对应的编号，而其它没有被识别的区域的像素值为非任何场景所对应的编号。

本发明的优点及有益效果如下：

本发明目前大多数使用卷积神经网络进行遥感图像场景分类的方法流程中，一般是通过改变模型结构、参数、及分类器等方法提高特征提取的效率使模型更充分地学习其特征。但由于通过语义定义的场景有一部分在特征层面上很难进行分割，特别是在多分类的情况下。例如目前用于测试模型精度较为普遍的UC-Merced landuse dataset，例如若需要分类的场景为稀疏居住区和密集居住，则应该利用逐像素分类将植被、裸地及建筑分开，因其在植被和道路的密度上有明显差异。若不采用此种方式，很可能因为场景尺度的原因将这两个场景混淆。下面四张图片分别为高分辨率遥感图像及其逐像素分类专题图、高分辨率场景图及其逐像素分类专题图，分类目标为建筑和非建筑。

通过将逐像素分类的结果与神经网络中场景分类中的场景进行合并以扩大输入特征图的维度，使神经网络更充分地学习分类场景的特征。特别地，该发明中的输入特别适合作为目前的深层次卷积神经网络输入。因深度卷积神经网络可提取的特征本就较一般的神经网络多，而一般的场景分类数据集因其尺度固定，能够提取的信息较为有限，但若在遥感图像上进行多尺度的场景提取，则容易因为卷积神经网络的尺度不变性将两种易于混淆的类别错分。因此加入逐像素分类专题图作为输入卷积神经网络的额外维度，有助于增加整个分类模型的稳定性。

另外，还可根据易于混淆的类别，有针对性地在逐像素分类中分离出对易于混淆的场景中差别较为明显像素级要素。例如商业区建筑与密集居住区进行区分，商业区楼房较高，因此大多都会有阴影，可以通过对阴影的特征提取或者聚类单独将阴影分离出来，可以很好地帮助卷积神经网络学习区分两个类型。

如果不通过逐像素分类将阴影分离出来，通过大量数据的训练也有可能可达到近似效果。但遥感数据场景分类数据集一般并不大，因此一般来说，分类精度不会达到采用本发明的方式进行遥感场景分类所达到的精度。

附图说明

图1是本发明提供优选实施例基于卷积神经网络的遥感图像场景自动提取和分类方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

参照图1所示本发明的流程为：

该发明应用的具体流程以场景数据集UC-Merced landuse dataset为例

(1)将获取的遥感图像进行预处理，如大气校正、几何校正等。该步骤建议在ENVI等专业遥感影像处理软件完成。或者可直接获取场景数据集。

(2)对遥感图像或场景数据集进行逐像素分类，考虑到场景数据集中逐像素训练样本可能很少且难以标记，因此对场景数据集可采用传统的聚类方法进行分类。可针对场景分类的具体目标设计分类项目，

(3)利用本发明的方法，将遥感图中标记的场景和同样位置的逐像素分类专题图，或者场景数据库中的场景图及其对应的逐像素分类专题图进行拼接，拼接具体方法可以通过在遥感图像N个波段之后加入一个新波段。例如原场景图或从遥感图像上切割的输入场景图大小为n×n×b(其中n为图的宽度和高度，b为波段数)；逐像素分类专题图为n×n×1；两图在波段维度进行拼接，拼接后的图片为n×n×(b+1)

(4)将拼接后的图片输入卷积神经网络进行训练。在这里可能会出现的情况有：人工在遥感图像上进行标注其训练集太少，一般采用的方法是获取在其它类似的大数据集上进行充分训练的模型及其权重构建初始模型，加入少量数据进行精调。

(5)对达到预期精度的模型，采用其进行场景提取或场景分类，其中针对遥感图像的场景提取是通过两个滑动窗口在遥感图像和逐像素分类专题图上进行滑动，每隔一定的步数(strade)截取窗口内各波段图像拼接为特征图输入网络。而对于场景数据集则只需要按(3)中所描述的方法拼接数据输入卷积神经网络进行分类即可。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (3)

1.一种基于卷积神经网络的遥感图像场景自动提取和分类方法，其特征在于，包括以下步骤：

1）、数据获取步骤：采用高分辨率卫星获取分辨率高于0.6m的遥感图像；

2）、数据预处理步骤：对获取到的遥感图像数据进行预处理；

3）、遥感图像逐像素分类步骤：采用基于像元的分类，利用像元的光谱信息、纹理信息、空间关联在内的信息对像元表示的地物类别属性进行判断并分类；或者对场景数据集采用传统的聚类方法进行分类；

4）、制作训练数据集：将分类专题图及原遥感图片上的各种场景制成训练集,输入神经网络模型进行训练；当训练达到一定精度时对遥感图像进行场景识别分类；

所述步骤3）将遥感图中标记的场景和同样位置的逐像素分类专题图，或者场景数据库中的场景图及其对应的逐像素分类专题图进行拼接；

所述拼接的具体方法为：通过在遥感图像N个波段之后加入一个新波段，当原场景图或从遥感图像上切割的输入场景图大小为n×n×b，其中n为图的宽度和高度，b为波段数;逐像素分类专题图为n×n×1；两图在波段维度进行拼接，拼接后的图片为n×n×（b+1）；

输入神经网络的数据为带有标签的场景特征图，该场景特征图除了场景的各个波段还会有额外一个通道为该场景的逐像素分类专题图，即把比原遥感图像的波段多一个通道的特征图作为输入；

神经网络分类过程有两个滑动窗口遍历整个遥感图像及逐像素分类专题图，输入神经网络的特征图为将两个窗口中的各个波段数据及逐像素分类专题图拼接而成为一张的特征图，两个滑动窗口在原遥感图像和像素分类特征图上的位置必须位于相同的坐标且同步滑动。

2.根据权利要求1所述的基于卷积神经网络的遥感图像场景自动提取和分类方法，其特征在于，采用包括SVM支持向量机或K最邻近、或者采用神经网络方法进行分类，其分类得到的特征图与原遥感图像分辨率、坐标一致。

3.根据权利要求1所述的基于卷积神经网络的遥感图像场景自动提取和分类方法，其特征在于，所述步骤3）的分类结果可以作为以滑动窗口大小为像素块的专题图，其中识别出的场景的像素值为其对应的编号，而其它没有被识别的区域的像素值为非任何场景所对应的编号。

Images