CN110084294A - 一种基于多尺度深度特征的遥感影像分类方法 - Google Patents

Abstract

本发明属于遥感影像分类技术领域，具体涉及一种基于多尺度深度特征的遥感影像分类方法，首先，该算法能够自动建立多尺度影像金字塔；其次，借助传统卷积神经网络算法，本算法能够利用自学习算法自动提取高层影像特征；最后，将多尺度深度影像特征与光谱特征进行融合，从而提高遥感影像分类精度。本发明多尺度深度神经网络算法能够对输入的遥感影像自动构建多尺度影像金字塔，然后，提取多尺度训练样本，用于提取多尺度影像空间特征。该算法有以下两个优点：1)能够自动提取深层稳定、有效的影像特征；2)多尺度特征学习方法能够有效描述影像中复杂地物目标的多尺度效应。

Description

一种基于多尺度深度特征的遥感影像分类方法

技术领域

本发明属于遥感影像分类技术领域，具体涉及一种基于多尺度深度特征的遥感影像分类方法。

背景技术

遥感技术作为一种不直接接触地面目标而能够快速获取大面积地表真实情况的数据获取方式，它的出现与发展体现了人类对地理空间与地球环境感知能力的提升。土地覆盖与地表信息是遥感影像中最直接的环境信息，同时也是其他环境要素的基础数据。注意到，遥感数据具有描述范围大、能够动态获取、更新速度快等特点，因此，它能够广泛应用于社会发展与国民经济的各个领域，显示了遥感技术的强大生命力和广阔的应用潜力。

近年来，随着新型卫星传感器的应用、计算机人工智能的发展以及高分辨率遥感影像处理手段的不断进步，在高分辨率遥感影像分类领域涌现出诸多研究成果。这些研究一方面说明了高分辨率遥感影像在相关行业中的应用前景广阔，另一方面也揭示了现有的高分辨率影像分类算法所面临的一些亟待解决的问题。在这种情况下，发展高分辨率遥感影像分类算法显得尤为重要。

遥感图像分类是指将遥感图像中的每一个像素规划到其对应的地物类别中去的过程。而高分辨率遥感影像具有高度的复杂性(纹理、形状等)，如何寻找特征对高分辨率遥感影像有效描述与分类是研究的热点与难点。由于高分辨率遥感影像只含有少量波段信息，地物目标光谱存在高度的混淆性，因此，光谱特征在高分辨率遥感影像的分类的贡献有限。而高分辨遥感影像却具有详尽的地物目标的位置、形状及纹理等信息，所以，空间特征能否有效提取对高分辨率遥感影像的分类起着至关重要的作用，好的特征应具有抗噪性、旋转不变性和鲁棒性等特点。此外，由于影像特征往往具有很高的维度，如何选择最有效的影像特征并进行影像分类一直困扰着遥感影像分类领域。通常，为了达到影像分类的目的，人们提出了基于像素与基于对象的影像分类方法。

基于像素的分类方法作为传统的影像分析方式，它能够直接针对遥感影像中的单个像素进行类别标注。由于基于像素影像分类算法发展较早，在技术与应用上都十分成熟，主要是针对遥感影像解译的需求上发展而来的。该方法主要是通过提取影像光谱、纹理等特征进行分类器的训练，从而达到影像分类的目的。然而，由于高分辨率遥感影像中同质异谱、同谱异质现象明显，会在一定程度上影响图像的分类。截至目前已经提出了多种有效的空间特征计算方法，但是基于像素的影像特征与真实地理目标实体存在较大的尺度差异；也就是说，定义在像素层面上的空间特征并不能准确描述地物目标的空间上下文信息，因此，需要引入新型影像处理机制使其能客观反映出地理对象存在的空间特点。

面向对象分类方法进行信息提取时，处理的最小单元不再为单个像素，而是含有更多语义信息的多个相邻像元组成的有一定含义的对象。因此，基于对象的遥感影像分类方法更多利用了对象的几何信息及对象之间的语义信息、纹理信息和拓扑关系，而不仅仅是单个对象的光谱信息。面向对象的遥感影像分类方法的本质是以对象为分类的最小单元，从较高的语义认知层次对遥感影像进行分类，以减少传统的基于像元层次方法语义信息的损失率，使结果含有丰富的语义信息。

无论是基于像素或者是基于对象的高分辨率遥感影像分类方法都无法避免特征定义与选择这一关键难题。如何定义与选择遥感影像特征，关系到能否准确对遥感影像进行分类。然而由于高分辨率遥感影像具有高度的复杂性，同物异谱和同谱异物现象明显，此外，其空间信息如纹理、形状等特征定义困难，大大增加了高分辨率遥感影像的分类难度。通常，传统的遥感影像处理方法是根据解译人员经验或预定义特征库进行特征选择与分类。然而，人工定义的特征往往存在高度的线性相关与冗余，对复杂影像的描述能力有限，无法对高分变量遥感影像进行准确描述与分类。如何定义稳健的影像特征并针对不同地物目标的特点自动选择有效特征，成为高分辨率遥感分类的核心问题。注意到，传统的遥感影像特征通常由人工经验定义并且存在很大程度的线性相关与冗余。虽然，近年来学者从特征库中自动选择针对地物目标的有效特征，但是由于高分辨率遥感影像的高度复杂性，定义在影像局部的浅层特征(Gabor、EMPs等)无法准确描述复杂的地物目标。此外，地物目标在影像中通常表现出不同尺度的分布特性(如，建筑物屋顶大小、尺寸不一)。因此，为了提高高分辨率遥感影像的分类精度，在克服光谱异质度，寻找稳定、有效的深度特征基础上，必须同时考虑地物目标的多尺度效应。

发明内容

针对上述技术问题，本发明提供一种基于多尺度深度特征的遥感影像分类方法，首先，该算法能够自动建立多尺度影像金字塔；其次，借助传统卷积神经网络算法，本算法能够利用自学习算法自动提取高层影像特征；最后，将多尺度深度影像特征与光谱特征进行融合，从而提高遥感影像分类精度。

具体的包括以下步骤：

一、光谱降维

利用主成分分析算法，将原始遥感影像数据降为3个光谱波段，同时保留95％以上的原始数据信息；

二、多尺度深度特征

多尺度卷积神经网络算法自动的将输入影像转化为多尺度图像金字塔，并通过多尺度训练样本提取机制对提取影像多尺度特征：

1.多尺度影像构建

建立多尺度训练样本，通过利用遥感影像的前M个主成分波段，构建尺度为S的拉普拉斯图像金字塔其中，图像金字塔在第一尺度即为原始输入影像I_m，对后续尺度由其前一尺度构建而来；

2.卷积神经网络训练

对于遥感影像中的地面真实参照数据，以参照像素点为中心，截取一定大小的影像区域，并作为CNN的输入数据；假设从影像中随机选取了M个训练数据，则其对应的训练样本为S_i，i∈(1，...，M),t_i表示每个训练样本对应的类别标签，训练一个具有L层的CNNf(W，b|S),同时意味着在最小化损失函数的情况下学习卷积核参数W与偏置参数b.首先，对参数W和b设置初始值并初始化CNN，然后逐层进行特征提取与抽象，直至最后一层输出的预测类别为y,：

y_i＝W^LH^L-1+b^L，i∈[1，2，...，M]

这里，y_i为第i个训练样本S_i通过CNN所得到的预测所属类别；根据预测类别与真实类别的差别，训练损失函数L定义如下：

为了最小化损失函数，采用后向传播算法，将预测误差L从最后一层逐层反馈到第一层，然后，根据每一层的误差大小进行参数的改正；采用梯度随机下降算法，对于l层的参数W和b来说，其对应的梯度修正项分别为和根据修正项对CNN中的参数进行改正，从而将损失函数优化；

3.多尺度特征提取

对于多类别分类任务，假设共有C个类别，N个多尺度随机选择的训练样本，表述为特别的，每个训练样本Xⁿ可描述为由固定感受野p×p产生的图像方形区域，对应的中心点标签为t∈(1，2，...，C)；

采用多尺度卷积神经网络算法f(k，b|X)的训练，其中，M个主成分波段用于构建S个尺度的图像金字塔，多尺度影像特征从多尺度训练样本中学习得到；学习具有L层的多尺度卷积神经网络，等同于在最优化损失函数的基础上学习其每层的滤波器参数k和偏置项b。因此，前向损失函数描述为：

其中，tⁿ表示第n个训练样本Xⁿ的类别标签，并且yⁿ(k，b)表示利用多尺度卷积神经网络算法f(k，b|X)所得到的预测标签；在该算法中，第l隐含层描述为h^l，l∈{1，...，L}，特别的，h⁰表示原始输入数据；最终的输出结果表示为：

y(k，b)＝g(a^L)，witha^L＝k^Lh^L-1+b^L

通过对比基于多尺度卷积神经网络的预测标签和参照标签则损失函数可以描述为δ＝L(k，b)；利用随机梯度下降的方法进行损失函数的优化及参数k和b的改正；最终，在s个尺度下，基于多尺度卷积神经网络的多尺度空间特征F可描述为：

F＝f(k，b|X)＝g(kX+b)；

三、特征融合与影像分类

完成多尺度卷积神经网络网络的训练，利用基于多尺度卷积神经网络算法获取到的影像特征与光谱特征进行融合，将所学习到的多尺度影像特征与光谱特征V＝[v₁，v₂，...，v_m]进行融合，其中v_m表示第m个主成分对应的光谱值，融合后的特征表示为U＝[F，V]；

基于融合特征，引入LR分类器对高分辨率遥感影像进行分类，对于每个训练样本及其对应的融合特征U^m，其属于类别t的概率为：

预测的类别标签y^m＝arg为可能性最大的类别；其中，w表示LR的可训练参数，并由损失函数定义与优化；损失函数可表示为：

这里，sign(·)表示指示器函数，也就是说，sign(true)＝1或sign(false)＝0。

本发明提供的一种基于多尺度深度特征的遥感影像分类方法，不同于传统的空间特征提取算法，多尺度深度神经网络算法能够对输入的遥感影像自动构建多尺度影像金字塔，然后，提取多尺度训练样本，用于提取多尺度影像空间特征。该算法有以下两个优点：1)能够自动提取深层稳定、有效的影像特征；2)多尺度特征学习方法能够有效描述影像中复杂地物目标的多尺度效应。

附图说明

图1为本发明的流程示意图；

图2为实施例卷积神经网络训练过程；

图3为实施例多尺度深度特征和光谱特征融合与分类；

图4为实施例多尺度卷积神经网络基本框架结构；

图5为实施例Pavia Center的分类结果；

图6为实施例Pavia University的分类结果。

具体实施方式

结合图形详细阐述该技术方案。

本发明的基于多尺度深度特征的影像分类方法，首先，该算法能够自动建立多尺度影像金字塔。其次，借助传统卷积神经网络算法，本算法能够利用自学习算法自动提取高层影像特征。最后，将多尺度深度影像特征与光谱特征进行融合，从而提高遥感影像分类精度。下面以多尺度深度特征提取和遥感分类算法为实例进行说明，其流程如图1所示，具体的实施步骤如下：

一、光谱降维

利用主成分分析(PCA)算法，将原始遥感影像数据降为3个光谱波段，同时保留95％以上的原始数据信息。

二、多尺度深度特征

获取影像的多尺度空间特征成为提高高分辨率遥感影像分类精度的关键。针对这个问题，本章提出了多尺度特征提取算法，该算法能够自适应学习多尺度影像特征。具体来说，多尺度卷积神经网络算法能够自动的将输入影像转化为多尺度图像金字塔，并通过多尺度训练样本提取机制对提取影像多尺度特征。

1.多尺度影像构建

建立多尺度训练样本，通过利用遥感影像的前M个主成分波段，构建尺度为S的拉普拉斯图像金字塔其中，图像金字塔在第一尺度即为原始输入影像I_m，对后续尺度由其前一尺度构建而来。

2.卷积神经网络训练

对于遥感影像中的地面真实参照数据，以参照像素点为中心，截取一定大小的影像区域，并作为CNN的输入数据(Romero等,2015)。假设从影像中随机选取了M个训练数据，则其对应的训练样本为S_i，i∈(1，...，M),t_i表示每个训练样本对应的类别标签，如图2所示。训练一个具有L层的CNNf(W，b|S),同时意味着在最小化损失函数的情况下学习卷积核参数W与偏置参数b.首先，对参数W和b设置初始值并初始化CNN，然后逐层进行特征提取与抽象，直至最后一层输出的预测类别为y,

y_i＝W^LH^L-1+b^L，f∈[1，2，...，M]

这里，y_i为第i个训练样本S_i通过CNN所得到的预测所属类别。根据预测类别与真实类别的差别，训练损失函数L定义如下

为了最小化损失函数，后向传播(backward propagation,BP)算法被广泛应用于CNN参数的学习与优化。具体的，BP算法将预测误差L从最后一层逐层反馈到第一层，然后，根据每一层的误差大小进行参数的改正。通常，梯度随机下降算法(stochastic gradientdescent,SGD)被广泛应用于CNN参数学习中。在SGD算法中，对于l层的参数W和b来说，其对应的梯度修正项分别为和根据修正项对CNN中的参数进行改正，从而将损失函数优化。

3.多尺度特征提取

对于多类别分类任务，假设共有C个类别，N个多尺度随机选择的训练样本，可表述为特别的，每个训练样本Xⁿ可描述为由固定感受野p×p产生的图像方形区域，对应的中心点标签为t∈(1，2，...，C)。

多尺度卷积神经网络该算法f(k，b|X)的训练过程如图2所示，其中，M个主成分波段用于构建S个尺度的图像金字塔，多尺度影像特征可从多尺度训练样本中学习得到。学习具有L层的多尺度卷积神经网络，等同于在最优化损失函数的基础上学习其每层的滤波器参数k和偏置项b。因此，前向损失函数可以描述为：

其中，tⁿ表示第n个训练样本Xⁿ的类别标签，并且yⁿ(k，b)表示利用多尺度卷积神经网络算法f(k，b|X)所得到的预测标签。在该算法中，第l隐含层可描述为h^l，l∈{1，...，L}，特别的，h⁰表示原始输入数据。因此，最终的输出结果可以表示为：

y(k，b)＝g(a^L)，witha^L＝k^Lh^L-1+b^L

通过对比基于多尺度卷积神经网络的预测标签和参照标签则损失函数可以描述为δ＝L(k，b)。为了得到更好的预测结果，我们利用随机梯度下降的方法(Girshick等,2014)进行损失函数的优化及参数k和b的改正。最终，在s个尺度下，基于多尺度卷积神经网络的多尺度空间特征F可描述为：

F＝f(k，b|X)＝g(kX+b)。

三、特征融合与影像分类

一旦完成多尺度卷积神经网络网络的训练，如何将学习到的多尺度高层特征用于高分辨率遥感影像的分类成为重要任务之一。通常来讲，多特征的融合(Fauvel等,2008；Huang和Zhang,2013)是提高遥感影像分类的关键。为此，我们利用基于多尺度卷积神经网络算法获取到的影像特征与光谱特征进行融合，从而提高高分辨率遥感影像分类精度，如图3所示。

为了得到更高的影像分类精度，我们将多尺度卷积神经网络所学习到的多尺度影像特征与光谱特征V＝[v₁，v₂，...，v_m]进行融合，其中v_m表示第m个主成分对应的光谱值，融合后的特征可表示为U＝[F，V]。基于融合特征，我们引入LR分类器对高分辨率遥感影像进行分类。因此，对于每个训练样本及其对应的融合特征U^m，其属于类别t的概率为：

因此，预测的类别标签y^m＝arg为可能性最大的类别。其中，w表示LR的可训练参数，并由损失函数定义与优化。则，损失函数可表示为：

这里，sign(·)表示指示器函数，也就是说，sign(true)＝1或sign(false)＝0。

下面引入了众所周知的Pavia数据集作为高光谱/空间分辨率遥感影像的分类目标。该数据集是由光学反射成像光谱仪(ROSIS)在意大利北部城市Pavia上空所获得的，它包括两幅子数据集以及对应的参照数据(如图5和图6所示)，分别为Pavia Center和PaviaUniversity。其中，Pavia Center影像大小为1096*1096，空间分辨率为1.3m，并且在0.43-0.86μm光谱范围内具有115个波段(由于受噪声影响，实验中只使用103个光谱波段)。由于该数据集受到黑色条带影响，因此可利用的影像大小为1096*715。Pavia University数据集的影像大小为610*340像素，空间分辨率为1.3m，选取的多尺度训练样本如表1和表2所示。

在多尺度卷积神经网络算法中，3个参数需要进行学习与优化，分别为滤波器k，偏置项b和LR分类器的权重w。这些参数通过随机产生和梯度下降算法自动进行学习与优化，因此，多尺度卷积神经网络算法不需要人工定义参数。为了获取多尺度影像特征，我们将多尺度卷积神经网络中的感受野大小设定为28，也就是说，深度特征F在第一尺度中的影像输入大小为28×28，而在第二尺度中，影像范围为56×56，第三尺度的影像范围为84×84。在多尺度卷积神经网络第一层中，利用5×5的滤波器，将输入的训练样本转化为24×24×100，然后通过下采样过程，将影像特征转化为12×12×100。在第三层中，在此利用滤波器将特征转化为10×10×200，紧接着下采样又变为5×5×200。最后，将学习到的3×3×300影像特征进行降维并输入LR分类器中，多尺度卷积神经网络具体结构如图2所示。为了说明多尺度卷积神经网络方法的有效性，我们利用EMP、复合核SVM及MLRsubMLL方法进行对比试验。

为了提取多尺度影像特征，Pavia Center和PaviaUniversity建立了多尺度影像金字塔。原始影像、参照数据及不同方法下的分类影像如图5和图6所示，(a)原始影像；(b)参照影像；(c)-(h)基于SVM,EMP,SEMP,CK-SVM,MLRsubMLL和多尺度卷积神经网络的分类结果，而详细的分类精度如表2和表4所示。

表1 Pavia Center数据集的样本信息

表2 Pavia University训练与测试样本

在对Pavia University数据分类过程中，原始影像、参照数据及不同方法下的分类影像如图6所示。基于多尺度卷积神经网络影像分类方法获得了最高的分类精度。由于多尺度卷积神经网络能够准确提取影像多尺度的高层影像特征，相比于CK-SVM方法，精度提高了将近14％。特别的，类别gravel具有较为复杂的空间特征，因此，传统方法很难准确识别，而详细的分类精度如表3和4所示。

表3 Pavia Center分类精度及对比

表4Pavia University分类精度及对比

以上实施例可以看出，本发明能够显著提高遥感影像分类精度与效率，大大推动遥感数据处理的自动化及遥感商业信息的生产力。

Claims (2)

1.一种基于多尺度深度特征的遥感影像分类方法，其特征在于，包括以下步骤：

首先，该算法将原始遥感影像进行光谱空间降维，得到信息压缩后的遥感影像主成分信息；

其次，将影像主成分信息进行多尺度拉普拉斯变换，建立多尺度影像金字塔，得到多尺度遥感影像信息；

进而，借助多尺度卷积神经网络算法，通过自学习方式自动提取遥感影像不同尺度上高层影像语义特征；

最后，将多尺度深度影像特征与光谱特征进行融合，从而实现遥感影像分类精度。

2.根据权利要求1所述的一种基于多尺度深度特征的遥感影像分类方法，其特征在于，具体的包括以下步骤：

一、光谱降维

利用主成分分析算法，将原始遥感影像数据降为3个光谱波段，同时保留95％以上的原始数据信息；

二、多尺度深度特征

多尺度卷积神经网络算法自动的将输入影像转化为多尺度图像金字塔，并通过多尺度训练样本提取机制对提取影像多尺度特征：

1.多尺度影像构建

建立多尺度训练样本，通过利用遥感影像的前M个主成分波段，构建尺度为S的拉普拉斯图像金字塔其中，图像金字塔在第一尺度即为原始输入影像I_m，对后续尺度由其前一尺度构建而来；

2.卷积神经网络训练

对于遥感影像中的地面真实参照数据，以参照像素点为中心，截取一定大小的影像区域，并作为卷积神经网络的输入数据；假设从影像中随机选取了M个训练数据，则其对应的训练样本为S_i，i∈(1，...，M),t_i表示每个训练样本对应的类别标签，训练一个具有L层的卷积神经网络f(W，b|S),同时意味着在最小化损失函数的情况下学习卷积核参数W与偏置参数b.首先，对参数W和b设置初始值并初始化CNN，然后逐层进行特征提取与抽象，直至最后一层输出的预测类别为y,：

y_i＝W^LH^L-1+b^L，i∈[1，2，...，M]

这里，y_i为第i个训练样本S_i通过卷积神经网络所得到的预测所属类别；根据预测类别与真实类别的差别，训练损失函数L定义如下：

为了最小化损失函数，采用后向传播算法，将预测误差L从最后一层逐层反馈到第一层，然后，根据每一层的误差大小进行参数的改正；采用梯度随机下降算法，对于l层的参数W和b来说，其对应的梯度修正项分别为和根据修正项对卷积神经网络中的参数进行改正，从而将损失函数优化；

3.多尺度特征提取

对于多类别分类任务，假设共有C个类别，N个多尺度随机选择的训练样本，表述为特别的，每个训练样本Xⁿ可描述为由固定感受野p×p产生的图像方形区域，对应的中心点标签为t∈(1，2，...，C)；

采用多尺度卷积神经网络算法f(k，b|X)的训练，其中，M个主成分波段用于构建S个尺度的图像金字塔，多尺度影像特征从多尺度训练样本中学习得到；学习具有L层的多尺度卷积神经网络，等同于在最优化损失函数的基础上学习其每层的滤波器参数k和偏置项b。因此，前向损失函数描述为：

其中，tⁿ表示第n个训练样本Xⁿ的类别标签，并且yⁿ(k，b)表示利用多尺度卷积神经网络算法f(k，b|X)所得到的预测标签；在该算法中，第l隐含层描述为h^l，l∈{1，...，L}，特别的，h⁰表示原始输入数据；最终的输出结果表示为：

y(k，b)＝g(a^L)，witha^L＝k^Lh^L-1+b^L

通过对比基于多尺度卷积神经网络的预测标签和参照标签则损失函数可以描述为δ＝L(k，b)；利用随机梯度下降的方法进行损失函数的优化及参数k和b的改正；最终，在s个尺度下，基于多尺度卷积神经网络的多尺度空间特征F可描述为：

F＝f(k，b|X)＝g(kX+b)；

三、特征融合与影像分类

完成多尺度卷积神经网络网络的训练，利用基于多尺度卷积神经网络算法获取到的影像特征与光谱特征进行融合，即将所学习到的多尺度影像特征与光谱特征V＝[v₁，v₂，...，v_m]进行融合，其中v_m表示第m个主成分对应的光谱值，融合后的特征表示为U＝[F，V]；基于融合特征，引入LR分类器对高分辨率遥感影像进行分类，对于每个训练样本及其对应的融合特征U^m，其属于类别t的概率为：

预测的类别标签为可能性最大的类别；其中，w表示LR的可训练参数，并由损失函数定义与优化；损失函数可表示为：

这里，sign(·)表示指示器函数，也就是说，sign(true)＝1或sign(false)＝0。