CN105956610A - 一种基于多层编码结构的遥感图像地形分类方法 - Google Patents

Abstract

本发明公开了一种基于多层编码结构的遥感图像地形分类方法，包括：将预处理后的底层图像特征、底层图像特征的位置坐标、底层图像特征的尺度坐标组成底层特征空间并输入到BOVW编码层；对准局部描述依次进行局部池化处理以及正则化处理，将处理后的准局部描述和准局部特征的位置坐标组成新的准局部描述，并输入到Fisher编码层；通过新的准局部描述完成遥感图像地形的全局描述，得到深度编码向量G；采用级联方式融合深度编码向量G与FV方法得到的向量H，将融合后的特征向量P输入分类器中，完成遥感图像地形的分类任务。本发明构造了新型的多层编码框架，提取遥感图像地形中更丰富的语义信息，提升了遥感图像地形的分类性能。

Description

一种基于多层编码结构的遥感图像地形分类方法

技术领域

本发明涉及遥感图像地形分类领域，尤其涉及一种基于多层编码结构的遥感图像地形分类方法。

背景技术

随着多种卫星传感器的技术进步，大量的高分辨率遥感图像变得容易获得。通过遥感图像对地形进行分类识别一直是人们了解目标地区社会经济情况的重要手段。

目前，针对遥感图像地形分类，主流的方法是采用视觉词袋(Bag of Visual Words,BOVW)框架。其主要包括四个步骤：(1)特征提取、(2)码本聚类、(3)特征编码、以及(4)池化与正则化。BOVW框架首先从遥感图像中提取出底层视觉特征，在训练集中聚类形成单词码本，利用单词码本对目标图像进行编码再表达，通过池化和正则化手段形成对图像的最终全局描述，随后输入到预先训练好的分类器中，得到分类结果，为目标图像打上相应的语义标签，完成遥感图像的地形分类。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

在遥感图像地形中，同类地形具有差异性的视觉表现，不同类的地形间却有时表现出高度视觉相似，某些图像地形具有很强的视觉欺骗性，想一步提高遥感图像地形的分类效果，需要识别方法具有更强的语义识别能力。

发明内容

本发明提供了一种基于多层编码结构的遥感图像地形分类方法，本发明借助“深度学习”的思想，通过构建多层的编码结构，捕捉到更丰富的语义信息，提升了遥感图像地形分类的性能，详见下文描述：

一种基于多层编码结构的遥感图像地形分类方法，所述遥感图像地形分类方法包括以下步骤：

将预处理后的底层图像特征、底层图像特征的位置坐标、底层图像特征的尺度坐标组成底层特征空间并输入到BOVW编码层；

BOVW编码层对准局部描述依次进行局部池化处理以及正则化处理，将处理后的准局部描述和准局部特征的位置坐标组成新的准局部描述，并输入到Fisher编码层；

Fisher编码层通过新的准局部描述完成遥感图像地形的全局描述，得到深度编码向量G；

采用级联方式融合深度编码向量G与FV方法得到的向量H，将融合后的特征向量P输入分类器中，完成遥感图像地形的分类任务。

其中，所述遥感图像地形分类方法还包括：

对输入的地形遥感图像进行SIFT特征提取，获取底层图像特征并进行白化预处理。

所述BOVW编码层对准局部描述依次进行局部池化处理以及正则化处理具体为：

BOVW编码层将底层特征空间投射到编码空间，形成准局部描述，并对准局部描述依次进行局部池化处理以及正则化处理。

进一步地，所述遥感图像地形分类方法还包括：

对新的准局部描述进行白化处理，再输入到Fisher编码层。

其中，所述Fisher编码层通过新的准局部描述完成遥感图像地形的全局描述，得到深度编码向量G具体为：

对输入的白化处理后新的准局部描述进行再编码，完成遥感图像地形的全局描述，输出遥感图像地形的深度编码向量DCV；

随后使用级联的方式，将编码结果串联起来，再通过正则化方法，得到深度编码向量G。

进一步地，所述分类器为线性支持向量机、非线性支持向量机或极限学习机。

本发明提供的技术方案的有益效果是：

1、借助“深度学习”思想，使用现有的编码方法，构造了新型的多层编码框架，提取遥感图像地形中更丰富的语义信息，提升了遥感图像地形的分类性能。

2、融合深度编码向量DCV和标准的FV，将融合后的特征向量P输入输入分类器中获得分类结果，使其可以快速有效完成遥感图像地形的分类任务。

3、本发明采用土地利用和土地覆盖(Land Use and Land Cover，LULC)数据集做可行性验证，通过试验表明，本发明的分类性能优于目前报道的其他各种方法，验证了本发明的可行性。

附图说明

图1为一种基于多层编码结构的遥感图像地形分类方法的流程图；

图2为BOVW编码层的处理流程示意图；

图3为Fisher编码层的处理流程示意图；

图4为LULC数据集的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

为了解决背景技术中存在的缺点和不足，本方法结合了“深度学习”理论对遥感图像地形进行分类，详见下文描述：

近年以来，“深度学习”获得了众多研究者的持续关注。深度神经网络(Deep NeuralNetwork,DNN)通过构建多层网络，将一层网络的输出作为下一层网络的输入，捕捉图像更深层的语义结构，相比之前的BOVW框架获得了性能的巨大提升。DNN最终使用了更加抽象的语义信息完成对目标图像的整体描述。但是针对遥感图像地形的分类，直接构建DNN，其空间开销和运行成本都是非常昂贵的。如何借助“深度学习”的思想，提取遥感图像的抽象语义信息，有效快速的完成地形自动识别，是本方法准备解决的关键问题。

实施例1

下面结合图1对本发明实施例提供的一种基于多层编码结构的遥感图像地形分类方法进行详细描述，详见下文：

101：将预处理后的底层图像特征、底层图像特征的位置坐标、底层图像特征的尺度坐标组成底层特征空间并输入到BOVW编码层；

本发明实施例采用尺度不变特征转化特征(SIFT)作为遥感地形图像的底层图像特征，并使用白化(Whitening)技术进行特征预处理，附加上绝对空间坐标

102：BOVW编码层对准局部描述依次进行局部池化处理以及正则化处理，将处理后的准局部描述和准局部特征的位置坐标组成新的准局部描述，并输入到Fisher编码层；

103：Fisher编码层通过新的准局部描述完成遥感图像地形的全局描述，得到深度编码向量G；

104：采用级联方式融合深度编码向量G与FV方法得到的向量H，将融合后的特征向量P输入分类器中，完成遥感图像地形的分类任务。

其中，在执行步骤101之前，该遥感图像地形分类方法还包括：

对输入的地形遥感图像进行SIFT特征提取，获取底层图像特征并进行白化预处理。

其中，步骤102中的BOVW编码层对准局部描述依次进行局部池化处理以及正则化处理具体为：

BOVW编码层将底层特征空间投射到编码空间，形成准局部描述，并对准局部描述依次进行局部池化处理以及正则化处理。

其中，在将新的准局部描述输入到Fisher编码层之前，该遥感图像地形分类方法还包括：

对新的准局部描述进行白化处理，再输入到Fisher编码层。

其中，步骤103中的Fisher编码层通过新的准局部描述完成遥感图像地形的全局描述，得到深度编码向量G具体为：

对输入的白化处理后新的准局部描述进行再编码，完成遥感图像地形的全局描述，输出遥感图像地形的深度编码向量DCV；

随后使用级联的方式，将编码结果串联起来，再通过正则化方法，得到深度编码向量G。

进一步地，为了取得较好的分类效果，本发明实施例中的分类器可以为线性支持向量机、非线性支持向量机或极限学习机。

综上所述，本发明实施例借助“深度学习”的思想，将传统的编码方法类比为DNN中的一层网络，将一层的编码结果输入到下一层中进行再编码，构建了多层的编码结构，捕捉到更丰富的语义信息，提升了遥感图像地形分类的性能。

实施例2

下面结合图2和图3、以及具体的计算公式对实施例1中的方案进行进一步地描述，详见下文：

201：对输入的遥感图像地形进行SIFT特征提取，获取底层图像特征并进行白化预处理，将预处理后的底层图像特征、底层图像特征的位置坐标、底层图像特征的尺度坐标组成底层特征空间并输入到BOVW编码层；

SIFT特征提取(第0层处理)

尺度不变特征转化(Scale Invariant Feature Transform，SIFT)是一种具有视角和方向不变性的图像局部特征描述符，对光照变化和噪声敏感度低。

本发明实施例采用密集化采样，将输入的地形遥感图像中x，y方向上每隔6个像素的位置作为兴趣点，在四个尺度(8，12，16，32)下对兴趣点附近区域的梯度信息进行描述，提取每一个SIFT特征，最终由128个SIFT特征组成128维的特征向量由128维的特征向量x_k表示一个底层图像特征。

但由于原始提取的SIFT特征通常高度耦合，相关性强，对随后的码本聚类带来挑战。本发明实施例使用白化(Whitening)技术[1]对SIFT特征做预处理，降低SIFT特征之间的相关性，保证SIFT特征间具有相同的方差。

同时，底层图像特征的空间信息也很重要，本发明实施例采用附加特征绝对空间坐标的方法，即在一个底层图像特征x_k后增加3个特征，其中2个为底层图像特征x_k的位置坐标(例如：用X₁、Y₁表示)，1个是底层图像特征x_k的尺度坐标(例如：用S表示)，这样最终形成由底层图像特征和附加特征组成的131维的底层特征空间。

202：BOVW编码层将底层特征空间投射到编码空间，形成准局部描述，并对准局部描述依次进行局部池化处理以及正则化处理，将处理后的准局部描述和准局部特征的位置坐标组成新的准局部描述，对新的准局部描述进行白化处理，并输入到Fisher编码层；

BOVW编码层(第一层处理)

BOVW编码层将底层特征空间投射到编码空间，形成准局部描述 其中，f_t表示一个准局部特征描述，M表示BOVW编码层的码本大小，T表示图像中准局部特征的数量，BOVW编码层算法流程图如图2所示。首先使用K-means聚类方法，构建单词码本b_m表示一个码本单词，M表示BOVW编码层的码本大小。通过实验选定码本大小M＝1000，利用单词码本使用柔性表决编码(Soft Assignment，SA)方法对底层特征空间进行编码再表达。SA编码方法选择激活整个码本，以距离函数d_k表征激活强度，作为编码结果

$d_k=\frac{\exp (-\mathrm{\β}\hat{e}(x_k,b_m\left)\right)}{{\mathrm{\Σ}}_{m=1}^M\exp (-\mathrm{\β}\hat{e}(x_k,b_m\left)\right)}---\left(1\right)$

$SA:\hat{e}(x_k,b_m)=\left|\right|x_k-b_m|{|}^2---\left(2\right)$

其中，β是柔性控制因子，是SA编码方法中的唯一参数，通过实验确定β＝0.01。d_k表示底层特征空间的编码结果，表示x_k与码本单词b_m的欧式距离。

随后使用局部池化方法，对编码结果D局部聚集形成准局部描述

通过实验确定，局部池化空间Space为1×1×4。在1×1的空间中，对4个尺度的编码结果d_k进行池化聚集操作，池化方法使用Max-Pooling[2]方法：

Max：f_t＝Max({d_k}_k∈Space) (3)

其中，f_t表示一个准局部特征描述，Space指局部池化空间，Max表示Max-Pooling操作。

随后对准局部描述进行正则化处理，使得各准局部特征描述f_t保持在同一量级上，正则化方法选择Power+L₂正则化[3]：

L₂：f_t＝f_t/||f_t||₂ (4)

Power：f_t＝sign(f_t)|f_t|^α (5)

其中，α为平滑因子；||f_t||₂表示f_t的2范数；sign(f_t)表示f_t的正负号；|f_t|^α表示f_t的绝对值的α次幂。

Power作为L2正则化的预处理阶段，使得特征表达更加平滑，本发明实施例选择α＝0.5。为了保留局部空间信息，在上述处理后的准局部描述Ft后也附加上准局部特征的位置坐标(例如：用X2，Y2表示特征Ft的位置坐标)，同时为了降低特征间相关性，进行白化(Whitening)处理[1]，形成BOVW最终输出新的准局部描述输入到下一编码层(第二层)。

其中，之前再加上(X₂，Y₂)这2个数，变成所以具体实现时，白化处理为图像的一种标准技术手段，本发明实施例对此不做赘述。

203：对输入的白化处理后新的准局部描述进行再编码，完成遥感图像地形的全局描述，输出遥感图像地形的深度编码向量DCV；随后使用级联的方式，将编码结果串联起来，再通过正则化方法，得到最终的深度编码向量G；

Fisher编码层(第二层)

Fisher编码层对输入的白化处理后新的准局部描述进行再编码，完成地形遥感图像的全局描述，输出地形遥感图像的深度编码向量DCV。Fisher编码层算法流程图如图3所示。

Fisher编码层使用高斯混合模型(Gaussian Mixture Model，GMM)构建单词码本 GMM码本同时描述了白化处理后新的准局部描述的归属情况与聚集程度，根据实验确定码本大小N＝8。利用GMM码本词典，对白化处理后新的准局部描述进行编码表达，提取特征空间的高斯均值(1^st)和方差(2^nd)信息：

$g_n^{\left(1\right)}=\frac{1}{T\sqrt{w_n}}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t\left(n\right)\left(\frac{f_t-{\mathrm{\μ}}_n}{{\mathrm{\σ}}_n}\right)---\left(6\right)$

$g_n^{\left(2\right)}=\frac{1}{T\sqrt{2w_n}}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t\left(n\right)(\frac{{(f_t-{\mathrm{\μ}}_n)}^2}{{\mathrm{\σ}}_n^2}-1)---\left(7\right)$

其中，T为地形遥感图像上的准局部特征点数；f_t为t-th准局部特征；为准局部特征与高斯混合模型间的均值差异；为准局部特征与高斯混合模型间的方差差异。{w_n,μ_n,σ_n}分别表示单词码本B₂中各高斯分布的混合权重、均值与对角协方差；α_t(n)为柔性分配权重，表征着t-th准局部特征相对n-th高斯混合模型的权重值。

${\mathrm{\α}}_t\left(n\right)=\frac{w_{n}N(f_t;{\mathrm{\μ}}_{n,}{\mathrm{\σ}}_n)}{{\mathrm{\Σ}}_{n=1}^N{w}_{n}N(f_t;{\mathrm{\μ}}_{n,}{\mathrm{\σ}}_n)}---\left(8\right)$

其中，N(f_t；μ_n,σ_n)为f_t在第n个高斯分布中的数值。编码结果为：

$DCV:G=\[g_1^{\left(1\right)},g_1^{\left(2\right)},g_2^{\left(1\right)},g_2^{\left(2\right)},...g_n^{\left(1\right)},g_n^{\left(2\right)},...,g_N^{\left(1\right)},g_N^{\left(2\right)}\]---\left(9\right)$

随后使用级联的方式，将编码结果串联起来，再通过Power+L₂正则化方法，得到最终的深度编码向量G。

204：采用级联方式融合遥感图像地形的深度编码向量G与FV向量H，最后将融合后的特征向量P输入分类器中，得到分类结果，完成遥感图像地形的分类任务。

特征融合与支持向量机分类(第三层)

通过多层编码结构生成的深度编码向量DCV，具有更丰富的语义信息，对遥感图像地形具备更强的识别力。同时，通过实验发现，DCV不仅对各类地形有很好的分类性能，其与标准的FV方法[3]还具有互补性，通过特征融合可进一步提高遥感图像地形的地形分类能力。

FV方法也采用Fisher编码，直接对底层特征空间进行操作，使用高斯混合模型构建单词码本根据实验确定码本大小C＝8。利用GMM码本词典，对底层特征空间进行编码表达：

$h_c^{\left(1\right)}=\frac{1}{K\sqrt{w_c}}\underset{k=1}{\overset{K}{\Σ}}{\mathrm{\α}}_k\left(c\right)\left(\frac{x_k-{\mathrm{\μ}}_c}{{\mathrm{\σ}}_c}\right)---\left(10\right)$

$h_c^{\left(2\right)}=\frac{1}{K\sqrt{2w_c}}\underset{k=1}{\overset{K}{\Σ}}{\mathrm{\α}}_k\left(c\right)(\frac{{(x_k-{\mathrm{\μ}}_c)}^2}{{\mathrm{\σ}}_c^2}-1)---\left(11\right)$

其中，K为地形遥感图像地形上的底层图像特征点数；x_k为k-th底层图像特征；为底层图像特征与高斯混合模型间的均值差异；为底层图像特征与高斯混合模型间的方差差异。{w_c,μ_c,σ_c}分别表示单词码本B₃中各高斯分布的混合权重、均值与对角协方差；α_k(c)为柔性分配权重，表征着k-th底层图像特征相对c-th高斯混合模型的权重值。

$FV:H=\[h_1^{\left(1\right)},h_1^{\left(2\right)},h_2^{\left(1\right)},h_2^{\left(2\right)},...h_c^{\left(1\right)},h_c^{\left(2\right)},...,h_C^{\left(1\right)},h_C^{\left(2\right)}\]---\left(12\right)$

随后使用级联的方式，将编码结果串联起来，再通过Power+L₂正则化方法，得到FV的向量H。

本发明实施例采用级联方式融合DCV与FV特征，即将DCV向量G，与FV向量H串联起来：

P＝[G,H] (13)

最后将融合后的特征向量P输入到分类器中完成地形分类。

其中，本发明实施例优选线性支持向量机(SVM)构建分类层，具体实现采用LIBSVM，其惩罚参数采用十折交叉验证获得，分类层输出语义标签，完成地形分类。该部分的具体操作为本领域技术人员所公知，本发明实施例对此不做赘述。综上所述，本发明实施例借助“深度学习”的思想，通过构建多层的编码结构，捕捉到更丰富的语义信息，提升了遥感图像地形分类的性能

实施例3

下面结合具体的试验、附图4对实施例1和2中的方案进行可行性验证，详见下文描述：

本发明实施例构建了新型的多层编码结构，将一层的编码结果输入到下一层进行再编码表达，捕获了遥感图像地形中更复杂的语义结构，形成了更抽象的语义表达。同时使用级联方式融合深层编码向量(DCV)与标准FV，进一步提升了地形识别分类性能。

为了验证本方法与其他各种方法性能，测试数据集选择土地利用和土地覆盖(Land Useand Land Cover，LULC)数据集，LULC数据集为目前最大的遥感地形图像数据集，共包含21类地形，每一类包含100张图像，图像分辨率256×256，数据集中的各类地形如图4所示，该数据集为本领域技术人员所公知，本发明实施例对此不做赘述。

与其他方法设置相同，在每类随机选择80张图像，构成训练集，其余剩下的20张图像构成测试集，验证指标选择平均分类精度，验证实验重复10次。实验结果如表1所示。

表1：遥感图像地形分类性能对比

通过表1中的实验数据表明，本方法在LULC数据集上，分类正确率为91.8％，优于其他的各类方法，显示出本方法的优越性。

同时需要指出：本方法中使用线性支持向量机作为分类器，运算简单，效率高，如果使用更复杂的分类器，例如：非线性支持向量机，极限学习机等，该些分类器，均采用了非线性分割，其对输入特征的区分能力更强，能获得更佳的分类效果可以预计本方法(DCV+FV)还能取得更好的分类效果。

参考文献

1、Peng,X.；Wang,L.；Wang,X.；Qiao,Y.Bag of visual words and fusion methods for actionrecognition:Comprehensive study and good practice.arXiv preprint arXiv:1405.4506 2014.

2、Liu,L.；Wang,L.；Liu,X.In In defense of soft-assignment coding,Computer Vision(ICCV),2011 IEEE International Conference on,2011；IEEE:pp 2486-2493.

3、Perronnin,F.；Sánchez,J.；Mensink,T.Improving the fisher kernel for large-scale imageclassification.In Computer vision–eccv 2010,Springer:2010；pp 143-156.

4、Yang,Y.；Newsam,S.In Bag-of-visual-words and spatial extensions for land-use classification,Proceedings of the 18th SIGSPATIAL International Conference on Advances in GeographicInformation Systems,2010；ACM:pp 270-279.

5、Yang,Y.；Newsam,S.In Spatial pyramid co-occurrence for image classification,ComputerVision(ICCV),2011 IEEE International Conference on,2011；IEEE:pp 1465-1472.

6、V.；Z.In Aerial image classification using structural texture similarity,SignalProcessing and Information Technology(ISSPIT),2011 IEEE International Symposium on,2011；IEEE:pp 190-195.

7、Dai,D.；Yang,W.Satellite image classification via two-layer sparse coding with biased imagerepresentation.Geoscience and Remote Sensing Letters,IEEE 2011,8,173-176.

8、Zhao,L.；Tang,P.；Huo,L.A2-d wavelet decomposition-based bag-of-visual-words model forland-use scene classification.International Journal of Remote Sensing 2014,35,2296-2310.

9、Cheriyadat,A.M.Unsupervised feature learning for aerial scene classification.Geoscience andRemote Sensing,IEEE Transactions on 2014,52,439-451.

10、Zhang,F.；Du,B.；Zhang,L.Saliency-guided unsupervised feature learning for sceneclassification.Geoscience and Remote Sensing,IEEE Transactions on 2015,53,2175-2184.

11、Zhao,L.-J.；Tang,P.；Huo,L.-Z.Land-use scene classification using a concentriccircle-structured multiscale bag-of-visual-words model.Selected Topics in Applied EarthObservations and Remote Sensing,IEEE Journal of 2014,7,4620-4631.

12、Shao,W.；Yang,W.；Xia,G.-S.；Liu,G.A hierarchical scheme of multiple feature fusion forhigh resolution satellite scene categorization.In Computer vision systems,Springer:2013；pp324-333.

13、Chen,S.；Tian,Y.Pyramid of spatial relations for scene-level land use classification.Geoscience and Remote Sensing,IEEE Transactions on 2015,53,1947-1957.

14、Chen,C.；Zhang,B.；Su,H.；Li,W.；Wang,L.Land-use scene classification using multi-scalecompleted local binary patterns.Signal,Image and Video Processing 2015,1-8.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多层编码结构的遥感图像地形分类方法，其特征在于，所述遥感图像地形分类方法包括以下步骤：

将预处理后的底层图像特征、底层图像特征的位置坐标、底层图像特征的尺度坐标组成底层特征空间并输入到BOVW编码层；

BOVW编码层对准局部描述依次进行局部池化处理以及正则化处理，将处理后的准局部描述和准局部特征的位置坐标组成新的准局部描述，并输入到Fisher编码层；

Fisher编码层通过新的准局部描述完成遥感图像地形的全局描述，得到深度编码向量G；

采用级联方式融合深度编码向量G与FV方法得到的向量H，将融合后的特征向量P输入分类器中，完成遥感图像地形的分类任务。

2.根据权利要求1所述的一种基于多层编码结构的遥感图像地形分类方法，其特征在于，所述遥感图像地形分类方法还包括：

对输入的地形遥感图像进行SIFT特征提取，获取底层图像特征并进行白化预处理。

3.根据权利要求1所述的一种基于多层编码结构的遥感图像地形分类方法，其特征在于，所述BOVW编码层对准局部描述依次进行局部池化处理以及正则化处理具体为：

BOVW编码层将底层特征空间投射到编码空间，形成准局部描述，并对准局部描述依次进行局部池化处理以及正则化处理。

4.根据权利要求1所述的一种基于多层编码结构的遥感图像地形分类方法，其特征在于，所述遥感图像地形分类方法还包括：

对新的准局部描述进行白化处理，再输入到Fisher编码层。

5.根据权利要求1所述的一种基于多层编码结构的遥感图像地形分类方法，其特征在于，所述Fisher编码层通过新的准局部描述完成遥感图像地形的全局描述，得到深度编码向量G具体为：

对输入的白化处理后新的准局部描述进行再编码，完成遥感图像地形的全局描述，输出遥感图像地形的深度编码向量DCV；

随后使用级联的方式，将编码结果串联起来，再通过正则化方法，得到深度编码向量G。

6.根据权利要求1至5中任一权利要求所述的一种基于多层编码结构的遥感图像地形分类方法，其特征在于，

所述分类器为线性支持向量机、非线性支持向量机或极限学习机。