CN105512661A - 一种基于多模态特征融合的遥感影像分类方法 - Google Patents

Abstract

本发明涉及一种基于多模态特征融合的遥感影像分类方法，属于遥感影像分类技术领域。本发明首先至少提取两个模态的特征；然后将得到的各个模态的特征均输入到RBM模型中进行融合，得到各模态特征的联合表达；最后根据得到联合表达对每一个超像素区域进行类型估计，从而实现对遥感影像的分类。本发明通过融合多种模式特征，即将浅层模态特征和深层模态特征均通过RBM模型进行融合以得到相应的联合表达，该联合表达即包含了遥感影像深层模态特征的层节表达，又包含了浅层模态特征的外部可视相似度，具有非常高的区分能力，提高了遥感影像的分类精度。

Description

一种基于多模态特征融合的遥感影像分类方法

技术领域

本发明涉及一种基于多模态特征融合的遥感影像分类方法，属于遥感影像分类技术领域。

背景技术

遥感影像技术的进步使得地理空间信息在数量和质量上得到爆炸式的增长，研究如何自动分析理解图像内容、获取有价值的信息是十分必要的，而其中最基础的工作就是遥感影像的分类。当前的高分辨率遥感影像具有丰富的视觉信息来描述地球表面，这些图像的使用可以使我们确定图像类别，如建筑物、道路、农场、森林、河流等等。环境以及社会经济研究都必须基于遥感影像分类结果，因此许多学者研究了不同的图像特征和分类技术，并取得了很好的结果。

然而，由于遥感影像的复杂性和多样性，提高图像分类精度仍然是项充满挑战的工作。每张图像上的特征提取基本上依赖于要被识别的图像，描述图像的一般特征包括纹理、颜色、空间关系和结构特征等。现有的分类方法大都是通过密集提取浅层特征，如SIFT特征描述符，使用稀疏编码的方式对描述符进行量化，编码的特征包含特征图，通过BOW模型或者空间金字塔进行池化。

卷积神经网络(CNNS)作为有效的深度学习模型，在图像分类领域具有明显的优势，这种深度结构使得其具有学习深度特征的能力，这种鲁棒性的训练算法能够更好的对图像物体进行表达，并且无需手动设计特征，已经被应用到图像集的分类中。例如文献7(Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation)公开了采用CNNS提取适应长度的特征向量，然后使用特定的线性分类其SVM对每个区域进行分类的方法。文献8(SpatialPyramidPoolinginDeepConvolutionalNetworksforVisualRecognition)公开了一种通过引入了空间金字塔池化(SPP)层移除CNNS中适当尺寸的限制，SPP层对特征进行池化产生相应长度的输出，作为连接层的输入。图像分类结果表明CNNS产生的深度特征具有更强的分类能力，并且逐渐取代浅层和手动设计的特征，例如SIFT、GIST等。虽然采用深度特征进行分类精度比较浅层特征高，但是深度特征缺少浅层特征包含的信息，其分类的结果无法全面表达图像的信息。

发明内容

本发明的目的是提供一种基于多模态特征融合的遥感影像分类方法，以提高遥感影像分类的精度。

本发明为解决上述技术问题提供了一种基于多模态特征融合的遥感影像分类方法，该分类方法的步骤如下：

1)将原始遥感影像中具有相似颜色、纹理的邻近像素聚合在一起，对遥感影像进行超像素分割，得到超像素区域；

2)至少提取两个模态的特征；

3)将得到的各个模态的特征融合后输入到RBM模型中进行学习，得到各模态特征的联合表达；

4)根据得到联合表达对每一个超像素区域进行类型估计，从而实现对遥感影像的分类。

所述步骤2)中的至少两个模态的特征包括浅层模态特征和深层模态特征，其中浅层模态特征为从遥感影像中提取出的SIFT特征，颜色直方图特征和CENRIST特征，深层模态特征为采用卷积神经网络从遥感影像中提取出的特征。

所述浅层模态特征和深层模态特征在输入到RBM模型进行学习之前均需通过对应的DBN模型进行处理，以分别得到浅层模态的高层特征和深层模态的高层特征。

所述输入到DBN模型进行处理的深层模态特征为深层模态中的中层特征，该中层特征的提取过程如下：

A.从采用卷积神经网络得到深层模态特征中提取设定层的特征图；

B.将提取的特征图调整至原图像大小，利用调整后各个特征图作为向量对每一个超像素区域进行描述，该特征即为深层模态的中层特征。

所述输入到DBN模型进行处理的浅层模态特征为浅层模态中的中层特征，该中层特征指的是从遥感影像中提取出的SIFT特征，颜色直方图特征和CENRIST特征

所述步骤A中设定层指的是卷积神经网络的第4卷积层、第2池化层和第5池化层。

本发明的有益效果是:本发明首先至少提取两个模态的特征；然后将得到的各个模态的特征均输入到RBM模型中进行融合，得到各模态特征的联合表达；最后根据得到联合表达对每一个超像素区域进行类型估计，从而实现对遥感影像的分类。本发明通过融合多种模式特征，即将浅层模态特征和深层模态特征均通过RBM模型进行融合以得到相应的联合表达，该联合表达即包含了遥感影像深层模态特征的层节表达，又包含了浅层模态特征的外部可视相似度，具有非常高的区分能力，提高了遥感影像的分类精度。

附图说明

图1是基于深度学习和多特征融合的遥感影像分类方法的原理示意图；

图2特征学习准则示意图；

图3是DBN产生模型示意图；

图4是本发明实施例中所选取的8类型影像示意图；

图5是本发明实施例中所选用的卷积神经网络的结构图；

图6是本发明实施例中利用卷积神经网络得到的特征图；

图7是本发明实施例中不同浅层特征组合的分类精度；

图8-a是深度模态下不同层数BRM稀疏精度示意图；

图8-b是浅层模态下不同层数BRM稀疏精度示意图；

图9-a是待分类的高层建筑图像；

图9-b是采用浅层特征联合分类方法对高层建筑图像的分类结果图；

图9-c是采用深层特征联合分类方法对高层建筑图像的分类结果图；

图9-d是采用本发明多模态联合分类方法对高层建筑图像的分类结果图；

图10-a是待分类的稠密建筑图像；

图10-b是采用浅层特征联合分类方法对稠密建筑图像的分类结果图；

图10-c是采用深层特征联合分类方法对稠密建筑图像的分类结果图；

图10-d是采用本发明多模态联合分类方法对稠密建筑图像的分类结果图；

图11-a是待分类的耕地图像；

图11-b是采用浅层特征联合分类方法对耕地图像的分类结果图；

图11-c是采用深层特征联合分类方法对耕地图像的分类结果图；

图11-d是采用本发明多模态联合分类方法对耕地图像的分类结果图；

图12-a是待分类的山脉河流图像；

图12-b是采用浅层特征联合分类方法对山脉河流图像的分类结果图；

图12-c是采用深层特征联合分类方法对山脉河流图像的分类结果图；

图12-d是采用本发明多模态联合分类方法对山脉河流图像的分类结果图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步的说明。

本发明的基于多模态特征融合的遥感影像分类方法首先至少提取两个模态的特征；然后将得到的各个模态的特征均输入到RBM模型中进行融合，得到各模态特征的联合表达；最后根据得到联合表达对每一个超像素区域进行类型估计，从而实现对遥感影像的分类。下面以深层模态特征和浅层模态特征作为选取的特征为具体的实例进行说明，其流程如图1所示，具体的实施步骤如下：

一、超像素分割

超像素指的是图像中由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域，这些小区域保留了进一步进行图像分割的有效信息，且一般不会破环图像中物体的边界信息。对于每一幅图像而言，单一的像素点并不具有实际意义，需要从许多像素点组合而成的一个区域来获取图像的相关信息。因此只有将若干性质相同的像素组合在一起才有意义，同时，由于超像素数目小于像素个数，采用超像素表达能够明显提高计算效率。本实施例采用线性迭代聚类(SLIC)的方法来完成超像素分割的过程，以产生紧凑、规则的超像素块，且产生的超像素块保留了物体的边界信息。

二、提取浅层和深层模态的特征

其中浅层模态特征为从遥感影像中提取出的SIFT特征，颜色直方图特征和CENRIST特征，深层模态特征为采用卷积神经网络从遥感影像中提取出的特征。浅层模态特征和深层模态特征在输入到RBM模型进行学习之前均需通过对应的DBN模型进行处理，以分别得到浅层模态的高层特征和深层模态的高层特征，输入到DBN模型进行处理的深层模态特征为深层模态中的中层特征，输入到DBN模型进行处理的浅层模态特征为浅层模态中的中层特征，

1.深度特征提取

1)利用CNNs提取深度模态特征并选取设定层的特征作为深度模态的中层特征。

CNNs是一种多层的网络结构模型，它通过多个阶段训练而成，每个阶段包括卷积操作、非线性转化和池化三个部分，底层的输入是高层的输出，最底层的输入就是最原始的图像，越高层的信息越抽象，语义越丰富，每一层都包含大量的特征图，每个特征图从不同方面反映图像信息，一个L层的CNNs模型可以看作是一系列的线性运算、非线性运算(如sigmoid、tanh函数运算)、池化操作(pool)组成，该过程可定义为：

F_l＝pool(sigmoid(W_l*F_l-1+b_l))

其中，F_l为第l层输出，l∈1,…,L，b_l为l层的偏置参数，W_l为l层的卷积核。源图像可被看作为F₀。

当获取了每一层的特征图，对特征图进行上采样，使得每一层的特征图与源图像具有相同尺寸。堆叠所有的的特征图产生一个三维矩阵F∈R^N×H×W其中H为图像高度、W为图像宽、N为特征图数量。F可表达为：

F＝[up(F₁),up(F₂),…,up(F_L)]

其中up为上采样操作，N_l是l层特征图个数，对于图像上任意一个像素，其描述符可以表示为p∈R^N。

充分利用所有特征图的信息对每个超像素块进行描述，使得超像素块特征具有更强的表达能力，然而由于一些特征图之间存在着冗余信息，会降低计算效率，本发明仅仅选择部分层的特征图用于构建超像素块的描述向量，在提高计算效率的同时也确保了特征描述的质量。本实施例提取第4卷积层、第2池化层、第5池化层的特征图，期间每一张特征图经过上采样调整至源图像大小，最后将图像特征图作为向量表达完整的图像内容，该特征叫做中层特征，该过程如图2所示。

2.浅层特征提取

图像浅层特征指的是颜色、纹理、形状、空间结构等多种浅层图像特征进行分布表达，本发明通过提取每一超像素块区域的SIFT、颜色直方图、CENRTST特征作为浅层特征。

SIFT提取：采用SIFT算法提取尺度、旋转不变特征，创建128维的描述向量，该描述向量对噪声和光照变化具有较高的鲁棒性，在视点变化时可以保持稳定性，弥补了旋转归一化的缺失。

CENRIST特征提取：通过提取CENRIST特征获取临近像素空间信息，将CT值聚合成直方图生成CENRIST描述向量，根据CENRIST的稀疏性，可采用PCA算法将其降维至80维。

颜色特征提取：颜色特征是遥感影像中的重要特征，SIFT和CENRIST特征一般从灰度图提取，而颜色直方图则是有效的补充。将原始图像从RGB颜色空间转换到Lab颜色空间，在Lab颜色模型上进行颜色直方图统计，为每一个超像素块构建78维的图像颜色特征向量。

三、多模态特征融合

深度学习可从原始图像中提取深度结构信息，用它产生具有较强区分能力的高层特征。对于层节式的深度特征，CNNs包含的特征图具有丰富的语义表达和结构信息；浅层特征反映了图像可视特征分布，可作为深度学习的输入图像。

多模态融合结构如图1所示，包含两个模式的输入，两个独立的DBNs分别处理浅层特征和深度特征，RBM用于构建遥感影像的联合分布。

其中RBM是一个为训练的图形模型，随机可视单元υ∈{0,1}^D，随机隐藏单元h∈{0,1}^F，每一个可视单元与隐藏单元相连接，定义能量函数为：E:{0,1}^D+F→R

$E\left(\mathrm{\υ},h;\mathrm{\θ}\right)=-\underset{i=1}{\overset{D}{\Σ}}\underset{j=1}{\overset{F}{\Σ}}{\mathrm{\υ}}_i{\mathrm{\ω}}_{ij}{h}_j-\underset{i=1}{\overset{D}{\Σ}}{b}_i{\mathrm{\υ}}_i-\underset{i=1}{\overset{D}{\Σ}}{a}_j{h}_i$

其中，θ＝{a,b,ω}为模型参数，隐藏与可视单元的联合分布为：

$P(\mathrm{\υ},h;\mathrm{\θ})=\frac{1}{Z\left(\mathrm{\θ}\right)}\exp (-E(\mathrm{\υ},h;\mathrm{\θ}))$

DBN：1层的DBN模型定义了向量χ与隐藏层l的关系如下：

$P(x,h^1,...,h^l)=\left(\underset{k=0}{\overset{l-2}{\Π}}P\right(h^k\left|h^{k+1}\right))P(h^{l-1},h^l)$

其中，x＝h⁰,是一个给定的可视隐藏节点，P(h^k|h^k+1)是伴随k层DBN模型的RBM条件分布，P(h^l-1|h^l)是顶层RBM联合分布，如图3所示。条件分布和顶层节点定义了产生模型。通过引入字母Q代表模型的后部参数，用于训练。除了顶层Q(h^l-1|h^l)，Q为近似值，等于真实的Q(h^l-1|h^l)，因为来自RBM的(h^l-1,h^l)其中，确切的推断是可能的。

多层DBN

为了形成多层DBN模型，通过加入附加层和二进制隐藏层联合两个模型，改进后的图形模型如图3所示，基于多个输入的联合分布表达为：

$P\left({\mathrm{\υ}}^m,{\mathrm{\υ}}^t,\mathrm{\θ}\right)=\underset{h_m^{\left(2\right)},h_t^{\left(2\right)}{h}^{\left(3\right)}}{\Σ}P\left(h_m^{\left(2\right)},h_t^{\left(2\right)}{h}^{\left(3\right)}\right)\left(\underset{h_m^{\left(1\right)}}{\Σ}P\right({\mathrm{\υ}}_m,h_m^{\left(1\right)},h_m^{\left(2\right)})\left)\left(\underset{h_t^{\left(1\right)}}{\Σ}P\right({\mathrm{\υ}}_t,h_t^{\left(1\right)},h_t^{\left(2\right)})\right)$

图像的每一个特征描述向量具有不同的统计属性，这使得单独的隐藏节点直接发现不同特征之间的关联性十分困难，这个困难可通过构建不同形态隐藏节点间的桥梁解决。对于每一个形态，底层RBM通过输入数据训练而成，隐藏节点的活化概率作为第3RBM层的可视输入数据。在获取每一个DBN的优化参数后，新输入的浅层和深度特征一层层的被处理直到最后一层。

最后一层的输出被看作是浅层和层节特征的高层特征，在这个过程中，来自具体特征的描述向量被削弱，高层特征的更多信息反映了图像中物体的归因。在这些操作之后，RBN可用于各种模型

实验例

下面以从谷歌地图上收集的300张具有60厘米分辨率的高分辨率遥感图像为例进行说明，其中图像的大小是600×600像素。其中选定的图像共有八个语义类：城市密集居住区(UIR)，城市稀疏住宅区(USR)，农村居民区(PR)、河流(RV)、农场土地(FL)、废物土地(WL)森林(FR)和山(MT)，如图4所示。本实验例中使用六种类型的分类任务来评估本发明分类方法的分类性能。六类目标包括建筑物、道路、花费土地、农场土地、森林和河流。训练神经网络模型时，为每个类比的图像集提供400张图像，分别是从300个卫星中提取的尺寸范围从80×80到200×200像素的图像。

本实验例所选用的卷积神经网络的体系结构如图5所示，包括卷积层、纠正线性单元(ReLU)、局部反应归一化层(LRN)、最大池化层和全连阶层。其中卷积层是卷积神经网络的核心，用以提供不同的特征图。图5中包含有五个卷积层，五个卷积层中，每个卷积的参数配置可以用具有尺寸的层符号来描述：conv1(图像块大小/步幅：7×7/1；特征图：75×75×96)；conv2(图像块大小/步幅：5×5/1；特征图：37×37×256)；conv3(图像块大小/步幅：3×3/1；特征图：18×18×384)；conv4(图像块大小/步幅：3×3/1；特征图：18×18×384)；conv5(图像块大小/步幅：3×3/1；特征图：18×18×256)。纠正线性单元，非线性应用到每个卷积层和全连通层的输出；局部反应归一化层：跟随第一和第二卷积层，用于在ReLU非线性化之后进行正规化；最大池化层：跟随第一、第二和第五个卷积层，用于总结卷积层中局部修补程序的神经元的活动；全连接层中每个输出单元连接到所有输入节点，用于捕获激活特征间的相关性，为减少风险的扩散，在第一、第二全连接层使用dropout。该模型进行交叉验证时，使用80％的图像学习和20％测试，在100×100的RGB遥感影像上进行训练，通过100×100张输入图像上81×81图像块的估计结果作为测试模型性能：中心图像块，四个角点图像块和水平反射。通过这种数据增加形式，降低网络过度拟合训练数据的容量。

为了得到最佳的浅层特征组合，提取多种类型的特征，如SIFT、GIST、颜色直方图、CENRIST和Gabor特征，这五种特征分别表示颜色、纹理、局部、空间分布信息。如SIFT、GIST和Gabor特征可通过密集的网格提取，超像素分割特征通过和超像素联合一致，超像素分割特征通过和超像素联合一致，SIFT、GIST、Globar特征适用于稠密网格特征提取。实验中，使用组合特征进行分类，如图7所示，实验了十种组合特征，其中使用颜色直方图与CENRIST的组合特征获得的分类精度明显优于其他组合特征，表明这两种特征在某中程度上互为补充。此外，分类精度不是与特征数量成正比的，例如，CENRIST、SIFT和颜色直方图特征组合时，分类精度明显高于其它组合。从图7可以看出，使用颜色直方图、CENRIST和SIFT或者颜色直方图、CENRIST和GIST三个特征组合的分类精度是最好的，这三个特征分别表示图像的颜色、纹理和结构信息，所以三种特性组合比其他的组合具有更好的互补性，因此，本实验例选用颜色直方图、CENRIST、SIFT特征组合作为浅层特征。

为了得到最佳的深层特征组合，从每个超像素分割块中提取八种特征，分别为Conv1、Conv2、Conv3、Conv4，Conv5、Pooling1、Pooling2和Pooling5图层，并使用这8种特征进行了七种特征组合实验，用不同的特征组合进行图像分类。每一类图像的数据集为随机从数据集中选取的85％的图像，其余图像为测试图像，试验结果如表1所示。

表1

如表1所示，基于卷积1，2，3，4，5层特征组合的分类准确率是72.464％，基于卷积层3，4，5层的为73.163％，但基于第4卷积层，第2和第5池化层的是76.257％，性能提高了3％左右，因为第1和第2卷积层的捕获浅层特征，如边缘和颜色信息，它无法表达形状、纹理、颜色和材料信息，随后的第3、4、5卷积层和第1、2池化层具有这些特征的丰富信息，并使用最大池操作具有最大邻域激活因子，对一个小的邻域范围进行池化以保证不变性和抗噪声能力。另外，通过池化，使上层要覆盖更大的区域，使得模型生成层节结构，因此本实验例的深部特征选用第4卷积层，第2、5池化层的特征。

为了更好的说明本发明多特征融合的遥感影像分类方法的精度，本实验例选用两个对比例进行比较。其中一个对比例使用深度特征包括第4卷积层，第1,2,5池化层和使用DBN模型获取分布特征，另一个对比例使用SIFT、CENRIST、颜色直方图的浅层特征，使用DBN模型获取分布特征。实验中，DBN节点个数和层数预先设定，深度模型包含具有5050个可视节点的高斯RBM模型，浅层模式包含具有1000个可视节点的高斯RBM模型，联合层包含2,800个隐藏单元。

表2给出了本发明和两个对比例的平均分类精度，通过表2可知，本发明比单一模式特征具有更好的分类性能，这是因为深层和浅层特征只反映了遥感影像的部分特性，采用多模态融合的方法可以使特征具有更好的区分能力。

表2

通过实验，可知RBM层数对分类精度性能的影响。对于深度形态，分别将层数设置为3、4、5和6，如图8-a所示，该结果表明较少的层一般分类准确率较低，但6层模型过拟合。对于浅层形态，分别将层数设置为2、3和4，如图图8-b所示，显示了具有不同层数的RBM模型的浅层特征的分类准确率。基于这些结果，本实验例确定最佳RBM层数为5，并将2层RBM确定为浅层特征提特征提取的最优参数。

下面选四副具有挑战性的遥感影像进行实验，其中图9-a为高层建筑，图10-a为稠密建筑，图11-a为耕地，图12-a为山脉和河流。利用上述选定的卷积神经网络结果，浅层特征组合、深层特征组合和RBM层数对选定的上述四幅遥感影像进行分类识别，下面以图9-a的高层建筑图为例进行说明，9-b为只采用浅层特征组合的分类结果，图9-c为只采用深层特征组合的分类结果，图9-d为采用本发明多特征融合得到分类结果，经过比较可以明确的看出，基于深特征组合的分类精度优于浅层特征组合，而本发明多特征融合既包含了浅层特征又包含了深层特征，所得到精度明显优于深度特征组合和浅层特征组合，进一步证明了本发明能够遥感影像的分类精度。

Claims (6)

1.一种基于多模态特征融合的遥感影像分类方法，其特征在于，该分类方法的步骤如下：

1)将原始遥感影像中具有相似颜色、纹理的邻近像素聚合在一起，对遥感影像进行超像素分割，得到超像素区域；

2)至少提取两个模态的特征；

3)将得到的各个模态的特征融合后输入到RBM模型中进行学习，得到各模态特征的联合表达；

4)根据得到联合表达对每一个超像素区域进行类型估计，从而实现对遥感影像的分类。

2.根据权利要求1所述的基于多模态特征融合的遥感影像分类方法，其特征在于，所述步骤2)中的至少两个模态的特征包括浅层模态特征和深层模态特征，其中浅层模态特征为从遥感影像中提取出的SIFT特征，颜色直方图特征和CENRIST特征，深层模态特征为采用卷积神经网络从遥感影像中提取出的特征。

3.根据权利要求2所述的基于多模态特征融合的遥感影像分类方法，其特征在于，所述浅层模态特征和深层模态特征在输入到RBM模型进行学习之前均需通过对应的DBN模型进行处理，以分别得到浅层模态的高层特征和深层模态的高层特征。

4.根据权利要求3所述的基于多模态特征融合的遥感影像分类方法，其特征在于，所述输入到DBN模型进行处理的深层模态特征为深层模态中的中层特征，该中层特征的提取过程如下：

A.从采用卷积神经网络得到深层模态特征中提取设定层的特征图；

B.将提取的特征图调整至原图像大小，利用调整后各个特征图作为向量对每一个超像素区域进行描述，该特征即为深层模态的中层特征。

5.根据权利要求3所述的基于多模态特征融合的遥感影像分类方法，其特征在于，所述输入到DBN模型进行处理的浅层模态特征为浅层模态中的中层特征，该中层特征指的是从遥感影像中提取出的SIFT特征，颜色直方图特征和CENRIST特征。

6.根据权利要求4所述的基于多模态特征融合的遥感影像分类方法，其特征在于，所述步骤A中设定层指的是卷积神经网络的第4卷积层、第2池化层和第5池化层。