CN102496034A - 基于直线单词的高空间分辨率遥感图像词袋分类方法 - Google Patents

Abstract

本发明公开了一种基于直线单词的高空间分辨率遥感图像词袋分类方法。先将待分类图像划分为训练样本和分类样本，对于训练样本的步骤：提取训练图像的直线特征并计算直线的特征向量；利用K-Means++算法聚类生成直线视觉词汇表；对训练图像进行分割，在此基础上获取各分割斑块的直线视觉单词直方图；对斑块进行类别标注，并将类别、直线视觉单词直方图存储入库。样本训练后，对于分类样本的步骤：提取待分类图像的直线特征；对待分类图像进行分割，在此基础上计算直线的特征向量，并获取各斑块的直线视觉单词直方图；选取SVM分类器对待分类图像进行分类，获得分类结果。本方法利用直线特征建立词袋模型，能够获得更好的高空间分辨率遥感图像分类效果。

Description

基于直线单词的高空间分辨率遥感图像词袋分类方法

技术领域

本发明涉及一种遥感图像分类方法，具体涉及一种基于直线单词的高空间分辨率遥感图像词袋分类方法，属于遥感图像处理与信息提取领域。

背景技术

遥感图像分类是遥感图像信息提取的重要任务。伴随着高空间分辨率遥感图像的出现与广泛应用，遥感图像可以提供的地物空间结构信息和表层纹理信息越来越详细，地物边缘也更为清晰。一方面丰富的地物细节信息提升了遥感图像在地物监测、规划、管理等方面的作用，但同时高空间分辨率遥感图像使得地物之间的“同物异谱”和“同谱异物”现象变得更为普遍，遥感图像所能反映的地物类别信息也越来越多，越来越难以区分。这些难点的出现，使得许多传统的分类方法难以适用。

面向对象的图像分类方法为高空间分辨率遥感图像分类提供了可行方案。面向对象图像分类方法的优点在于其处理的对象从像元过渡到了特征像元集的对象层次，在可以参与后续分析的特征数量上更为丰富，且更接近人们观测数据的思维逻辑，因此，也更易于地学知识融合。此外，该分类方法在解决常规图像分类时的椒盐噪声效应、结果的可解释性上有很大优势。基于以上优点，面向对象的遥感图像分类方法已成为遥感图像处理与信息提取领域的研究热点。

目前常见的面向对象分类的实现过程主要依据特征距离，即根据模式在特征空间中的距离远近判断其相似性程度，从而实现模式分类。然而高空间分辨率遥感图像具有突出的异物同谱现象，许多地物仅依据特征距离往往难以相互区分。如在正射航空图像上，大型建筑物的屋顶和停车场就有可能因为在色调和纹理上非常接近而难以区别。而人区分此类地物的一个重要依据是停车场停泊了许多车辆。这在中低分辨率图像上被淹没的对象内部信息，有可能是实现高分辨率遥感图像分类的重要线索，问题的关键在于如何在高分辨率遥感图像分类中应用上类似于此的分类线索。

“Bag of words(BOW)”，即词袋模型，最早出现于自然语言处理和文本分类领域。在词袋模型中，文本(包括句子或者文档)被描述为一些无序的单词的集合而忽略了文本的单词顺序和语义信息。通过对已知的文本提取关键字，并将关键字形成词表(vocabulary)，对于待分类文本，就可在形成的词表中查找关键字，并根据关键字实现分类。这是一种简单但有效的文本分类方法。后来研究人员将其引入计算机视觉领域，形成所谓“Bag of visual words(BOV)”或“Bag of features(BOF)”模型，即把图像看作“文档”，图像的特征形成单词，采用类似文本分类的词袋模型的方式实现图像的分类识别。

词袋模型的分类实现过程涉及到特征检测和特征描述、视觉词汇表构建、视觉单词直方图构建、选择某种分类器分类等多个环节。其中，特征检测是在图像上提取用于特征描述的斑块(patch)，采用的方法如稠密的随机块采样和稀疏的兴趣点采样。特征描述为对采样位置处的全局或局部视觉特征进行描述，形成可用于计算机处理的特征。视觉词汇表构建，是利用聚类算法获取所提取特征的聚类中心，并以此作为单词划分的依据。视觉单词直方图构建是利用视觉词汇表，将每幅图像的特征量化为若干视觉单词，并生成每幅图像的视觉单词直方图。最后，选择一种分类器，利用图像的视觉单词直方图作为特征完成图像分类过程。常用的分类器包括最近邻分类、朴素贝叶斯分类等等。

Jean-Baptiste Bordes等人在《British Machine Vision Conference》2008年期刊上发表的“Mixture Distributions for Weakly SupervisedClassification in Remote Sensing Images”中提出在词袋模型的基础上引入图像的空间方位信息，并且建立概率模型，该方法利用SIFT局部特征点来建立词袋模型，通过EM算法来建立概率模型，将Quickbird全色图像划分为温室、工地、高建筑区、居民区、小工业区、高尔夫球场、钓鱼场和胡同8类。但是该分类方法只是对图像进行均匀分块，在块的基础上进行分类，对地物的形态并不能很好的进行描述，同时，该文使用的SIFT点特征不适用于遥感图像中的均值稳定区域。

陶超等人在《测绘学报》2010年第40卷第2期发表的“一种基于概率潜在语义模型的高分辨率遥感图像分类方法”论文中，将文本分析中的概率潜在语义模型应用于高分辨率遥感图像分类，提出一种非监督的遥感图像分类新方法。该方法首先利用均值漂移分割方法对图像进行分割，构建图像区域集合，然后提取集合各区域中每个像元的Gabor纹理特征，并对这些特征进行聚类形成视觉单词直方图，最后利用概率潜在语义模型对各区域进行分析，找出其最可能属于的主题或者类别，从而完成图像分类。该文利用一种非监督的遥感图像分类方法来对图像进行分类，同时，文章使用了Gabor纹理特征来构建词袋特征。

发明内容

现有的图像词袋分类模型一般均使用点特征形成单词，而后统计点的出现频率，形成视觉单词直方图，但点特征容易受噪声影响，同时点特征对地物的描述力度不够。本发明提供一种遥感图像的分类方法，能够提高特征的稳定性及特征对地物的区分力度，获得更好的高空间分辨率遥感图像分类效果。

为实现上述发明目的，本发明方法采用的技术方案如下：

基于直线单词的高空间分辨率遥感图像词袋分类方法，包括以下两个阶段：

第一阶段：训练阶段，采取如下步骤，

第一步，提取训练图像的直线特征，并在此基础上计算直线的特征向量：

(a)利用基于相位编组提取图像中直线的方法获取训练图像的相位直线；

(b)计算直线的特征向量，获取直线的密度、长度、长度熵、角度、角度熵、对比度、对比度熵、颜色特征的均值和方差的特征向量；

直线密度为以所述直线中点为中心的n×n的窗口内的直线的条数，记为N；

直线长度的计算公式如下：

$h\left(i\right)=\sqrt{{(\mathrm{pb}\left(x\right)-\mathrm{pe}\left(x\right))}^2+{(\mathrm{pb}\left(y\right)-\mathrm{pe}\left(y\right))}^2}---\left(1\right)$

其中pb(x)、pb(y)分别为所述直线起点在图像坐标平面上的X坐标值和Y坐标值；pe(x)、pe(y)分别为所述直线终点在图像坐标平面上的X坐标值和Y坐标值；

直线长度熵的计算公式如下：

$E=-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}[h\left(i\right)\×{\log }_2\left(h\left(i\right)\right)]---\left(2\right)$

其中N是所述直线的密度；h(i)为其中经过所述n×n窗口的第i条直线的长度；

直线角度是所述直线与图像坐标平面水平方向的夹角；

直线角度熵的计算公式如下：

$E^{,}=-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}[(g\left(i\right)-\mathrm{aveG})\×{\log }_2\left((g\left(i\right)-\mathrm{aveG})\right)]---\left(3\right)$

其中N是所述直线的密度；aveG为经过所述n×n窗口的所有直线角度的平均值；g(i)为经过所述n×n窗口的第i条直线与图像坐标平面水平方向的夹角；

直线对比度是所述直线支持区域内所有像元点的梯度最大值；

直线对比度熵的计算公式如下：

$E^{,,}=-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}[c\left(i\right)\×{\log }_2\left(c\left(i\right)\right)]---\left(4\right)$

其中N是所述直线的密度；c(i)为经过所述n×n窗口的第i条直线的对比度；

直线颜色特征的均值和方差的计算公式如下：

$\mathrm{\μ}=\frac{1}{M}\underset{1}{\overset{M}{\mathrm{\Σ}}}P(x,y)---\left(5\right)$

$\mathrm{\σ}=\sqrt{\frac{1}{M}\underset{1}{\overset{M}{\mathrm{\Σ}}}(P(x,y)-\mathrm{\μ})}---\left(6\right)$

其中P(x，y)为图像(x，y)点处灰度值，M为所述直线缓冲区包含像元的个数；

(c)获取训练图像中所有图像的直线特征向量后，将直线的起点和终点坐标，连同以上得到的特征向量一起存入训练样本数据库中；

第二步，读取训练样本数据库中直线的特征向量，利用K-Means++算法聚类生成直线视觉词汇表；

第三步，对训练图像采用光谱和形状特征结合的多精度图像分割方法进行分割，形成分割斑块，在此基础上，根据直线与斑块的位置关系，将包含左侧或右侧颜色特征的直线赋予斑块，形成各斑块的直线视觉单词直方图；

第四步，为分割斑块指定地物类别，并将斑块的类别信息和对应的直线视觉单词直方图信息一起存入训练样本数据库，作为分类的训练样本；

第二阶段：样本训练后，进入样本的分类阶段，采取如下步骤，

第一步，对待分类图像，利用基于相位编组提取图像中直线的方法获取待分类图像的相位直线；

第二步，对待分类图像，利用光谱和形状特征结合的多精度图像分割方法进行分割，形成分割斑块，在此基础上计算直线的特征向量，其计算方法与第一阶段第一步中的(b)相同，在此基础上，根据直线与斑块的位置关系，将包含左侧或右侧颜色特征的直线赋予斑块，形成各斑块的直线视觉单词直方图；

第三步，采用SVM分类器，其核函数为高斯径向基函数，对分割后的图像进行分类，即遍历待分类图像所有图斑，根据各图斑的直线单词直方图，利用训练样本判断各斑块所属类别，完成分类过程，获得分类结果，实现基于直线单词的词袋模型分类。

本发明方法的特点与优点：在复杂的高分辨率遥感图像中，直线特征是人造地物所具有的广泛特征，如道路、桥梁、机场及建筑物轮廓等，这些直线往往长且直，而且特征比较稳定，受光照、成像角度及噪声影响较小。而植被等自然地物，其直线特征往往短小而杂乱。直线的这些特点为我们利用它进行图像分类提供了可能。词袋模型具有计算简单，对噪声、光照和局部遮挡鲁棒等特点，本发明通过获取图像的直线特征，并对直线特征进行描述，利用直线特征矢量来构建直线视觉单词直方图，能够获得更好的高分辨率遥感图像分类效果。

附图说明

图1为现有技术中光谱和形状特征结合的多精度图像分割方法流程图。

图2为现有技术中词袋模型分类流程图。

图3为本发明方法的分类流程图。

图4为本发明实施例中直线特征对比示意图，(a)直线存在于一个斑块内情况，(b)直线经过多个斑块的情况，(c)直线颜色缓冲区。

图5为本发明实施例中直线颜色特征赋予斑块示意图，(a)直线左右颜色缓冲区与斑块都有交集的情况示意图，(b)直线左侧缓冲区与斑块有交集的情况示意图。

图6为本发明实施例中训练图像直线提取，(a)原始图像，(b)相位直线。

图7为本发明实施例中训练图像多精度分割结果图。

图8为本发明实施例中分类结果示意图，(a)待分类图像，(b)待分类图像相位直线，(c)待分类图像分割结果图，(d)待分类图像分类结果图。

具体实施方式

下面分别对本发明中所使用的现有技术，包括图像主成分变换、光谱和形状特征结合的多精度图像分割、直线提取、K-Means++聚类算法、SVM图像分类、词袋分类模型的基本原理进行介绍，并据此给出本发明方法的详细步骤。

(1)图像主成分变换

遥感图像与普通多媒体图像一个重要区别就是遥感图像一般具有多个波段。针对该特点，采用主成分变换对遥感图像进行预处理，然后对第一主成分图像进行特征提取。这样就可以实现对任意波段数的图像进行处理。以下称第一主成分图像为主成分图像。

主成分变换的主要原理如下：对某一n个波段的多光谱图像实行一个线性变换，即对该多光谱图像组成的光谱空间X乘以一个线性变换矩阵A，产生一个新的光谱空间Y，即产生一幅新的n个波段的多光谱图像。其表达式为

Y＝AX

公式中X为变换前多光谱空间的像元矢量；Y为变换后多光谱空间的像元矢量；A为X的特征向量矩阵的转置矩阵。

(2)光谱和形状特征结合的多精度图像分割

汪闽等人在《地球信息科学》2010年第2期期刊上发表的“光谱、形状特征结合的多精度遥感图像分割算法与应用”一文中，提出了光谱和形状特征结合的多精度图像分割算法。如图1，方法的基本过程是：采用降水分水岭变换对遥感图像进行初步分割获取图像次一级斑块，即分割亚基元；同时设计一种可重复合并的快速图斑合并方法进行亚基元的层次归并获得最后分割斑块，完成图像分割。在合并过程中斑块之间的差异指标是它们的光谱合并代价与形状合并代价的加权和，合并结束的标志是斑块间两两合并代价超过某用户指定的尺度参数的平方。具体步骤包括：

第一步：主成分变换

利用主成分变换消除图像波段冗余，提取第一主成分分量进行分割。这样处理的优点是突出了待分割图像的主要信息并在一定程度上压制了噪声。

第二步：基于分水岭分割的亚基元获取

在图像处理中引入分水岭概念时，常将灰度图像看成是假想的地形表面，每一个像元的灰度值表示该点的海拔高度。在实际应用中，分水岭变换所处理的一般不是原始图像而是其梯度图。以梯度为高程，梯度图像即为地形表面，高梯度的区域边缘对应于分水岭(线)，而低梯度的区域内部对应于集水盆地。采用分水岭分割进行图像分割，得到初始分割斑块，即亚基元。除此之外，登记其光谱、形状(面积，周长等)以及邻接拓扑关系服务后续合并过程。

第三步：图斑合并

在亚基元的基础上，集成斑块间光谱特征差异、形状特征差异进行斑块归并，实现图像分割。

(3)直线提取

Burns等人在《IEEE Transactions on Pattern Analysis and MachineIntelligence》1986年第8卷第4期上发表的“Extraction straight lines”一文中提出了基于相位编组提取图像中直线的方法。他们认为边缘不仅仅存在于灰度发生突变的地方，而且在灰度沿着某个方向发生缓慢变化的地方同样存在边缘。该类方法不是把梯度的幅度信息作为边缘检测的第一要素，而是把梯度的方位信息作为首先考虑的要素，如果在某个区域各点的梯度方向相同或者相近，则这个区域可能存在边缘。具体步骤如下：

第一步：计算图像梯度，获取梯度方向图

计算梯度最常用的方法是模板计算，较大的模板容易平滑图像而造成图像细节模糊甚至丢失，所以一般采用较小的模板。为了获取包含单像元宽度的直线边缘，并且在不同方向上对称，一般采用2×2大小的模板，形式如下：

$G_x=\left[\begin{array}{cc}-1& -1\\ 1& 1\end{array}\right]$ $G_y=\left[\begin{array}{cc}-1& 1\\ -1& 1\end{array}\right]$

其中G_x和G_y分别为计算像元点梯度的水平分量和垂直分量的模板。梯度的幅值和方向角分别为：

$\mathrm{mag}(x,y)={[G_x^2+G_y^2]}^{\frac{1}{2}}$

$\mathrm{\θ}(x,y)=\arctan \left(\frac{G_y}{G_x}\right)$

其中mag为梯度的幅值，θ为方向角。该方向即是相位编组的依据。

第二步：梯度方向角的标记和支持区域的生成

在获得图像的梯度图后，依据这些方向信息将像元编组为直线边缘支持区域。Burns等人首先采用了固定方向分割技术，他们将整个梯度方向的范围(0°-360°)量化为n个小的区间，例如8个45°或16个22.5°的区间，将每个小的区间标号，每个像元标记为该像元梯度方向所在区间的标号。以8区间为例，每个区间的角度为45°，它们是0°-45°，45°-90°，…，315°-360°，则其相应区间分别标记为0，1，2，…，6，7。经过以上步骤，相同编码的相邻像元便可组成一个直线所在的支持区域。同时为了避免重叠分割，可对n个区间进行一定的调整，利用新的区间再次获得支持区。对比两次获得的有差异的同一区域支持区，取其中直线长度更长的支持区作为该区域最终的支持区。

第三步：将支持区描述为直线

通过上述处理，图像梯度方向图已经被分割为多个直线支持区，采用加权最小二乘法拟合出支持区的梯度强度平面，然后和支持区代表平均强度的平面相交，交线即为所要提取的直线。

(4)K-Means++聚类算法

K-Means++通过选取更优的初始聚类中心，从而减少由于随机选择初始中心带来的过高算法复杂度，使初始聚类中心的分布尽可能的体现对象集的实际分布，提高聚类结果的稳定性。具体步骤如下：

第一步：从数据集中随机选取一个点作为聚类中心

第二步：以概率

来选择下一个聚类中心

满足

并且属于数据集C，其中D(X’)表示一个点到被选中的聚类中心最短的距离。

第三步：重复第二步，直到选择K个聚类中心为止。

(5)SVM图像分类

支持向量机(SVM)是一种处理非线性分类问题的有效工具。其基本思想可以概括为：通过某种事先选择的非线性映射将输入空间向量x映射到高维特征空间Z，然后在这个新空间中求取最优线性分类面实现分类的过程，而这种非线性映射是通过定义适当的核函数实现的。目前，所使用的核函数有主要如下几种：

1.多项式形式核函数

K(x，y)＝[(x·y)+1]^d

2.高斯径向基函数

$K(x,y)=\exp [-\frac{{(x-y)}^2}{{2\mathrm{\σ}}^2}]$

高斯径向基函数与传统径向基函数(RBF)方法的基本区别是，这里每一个基函数的中心对应于一个支持向量，它们及输出权值都是由算法自动确定的。

3.指数径向基函数

$K(x,y)=\exp [-\frac{|x-y|}{{2\mathrm{\σ}}^2}]$

4.Sigmoid核函数

K(x，y)＝tanh[scale(x·y)-offset]

本发明方法采用的核函数是高斯径向基函数。

(6)词袋分类模型

如图2，利用词袋模型进行分类主要包括训练阶段和分类阶段。

训练阶段：

第一，提取训练图像中的特征点，并用一定的方式对其进行描述，形成一定维数的特征，用于描述该特征点；

第二，对在训练图像中获得所有特征点，利用聚类算法对其进行聚类，获取指定数量的聚类中心，形成视觉词汇表。根据聚类中心个数的不同，视觉词汇表也可分为50维视觉词汇表、100维视觉词汇表等。

第三，对训练图像中的每一幅图像，利用已生成的视觉词汇表，根据欧式距离将其上的特征点量化为若干视觉单词，并对这些视觉单词进行频数统计，生成图像的视觉单词直方图，即形成了一个该图像的词袋。

第四，将训练库中所有图像的视觉单词直方图作为训练样本来训练分类器。

分类阶段：

训练好分类器后，就可以利用分类模型对图像分类。分类过程类似于训练过程，首先提取并描述分类图像上的特征点，再对应视觉词汇表获取各特征点对应的视觉单词，然后统计视觉单词出现的频率，形成词袋，最后利用训练得到的分类器对图像进行分类，做出分类判决。

以下介绍本发明方法的详细步骤，对训练样本的处理和对分类样本的处理称为训练阶段和分类阶段进行描述。

如图3，本方法对待分类遥感图像，选择其中的10％左右的图像作为训练图像，其余为待分类图像。图像训练阶段主要是对遥感图像进行直线特征提取，获取直线视觉词汇表，然后利用光谱和形状特征结合的多精度图像分割方法对其进行分割，获取图像斑块及各斑块的直线视觉单词直方图，最后选择地物斑块作为分类样本，放入训练样本数据库。分类阶段主要对待分类遥感图像提取其直线特征，利用光谱和形状特征结合的多精度图像分割方法对其进行分割，获取图像斑块及各斑块的直线视觉单词直方图，最后读取训练样本数据库中的训练样本，利用SVM方法训练分类器，通过分类器判断待分类图像各斑块的类别。

本发明基于直线单词的高空间分辨率遥感图像词袋分类方法，其详细步骤如下：

一、训练阶段

第一步，提取训练图像的直线特征，并在此基础上计算直线的特征向量

(a)利用基于相位编组提取图像中直线的方法获取训练图像的相位直线。

(b)计算直线的特征向量，获取直线的密度、长度、长度熵、角度、角度熵、对比度和对比度熵共7维特征向量。

直线密度为以所述直线中点为中心的n×n的窗口内的直线的条数，记为N，本实施例中取n为9；

直线长度的计算公式如公式(1)。

直线长度熵的计算公式如公式(2)，其中h(i)为其中经过所述9×9窗口的第i条直线的长度；

直线角度是所述直线与图像坐标平面水平方向的夹角。

直线角度熵的计算公式如公式(3)，其中aveG为经过该9×9窗口的所有直线角度的平均值；g(i)为经过该9×9窗口的第i条直线与图像坐标平面水平方向的夹角。

直线对比度是所述直线支持区域内所有像元点的梯度最大值。

直线对比度熵的计算公式如公式(4)，其中c(i)为经过该9×9窗口的第i条直线的对比度。

此外，本方法还定义了直线的颜色特征。如图4所示，图像上的直线往往有两种存在形式，一种是直线落入某个地物内部，一种是直线刚好位于不同地物的边界处。为适应第二种情况，本实施例采用如下方式计算直线的颜色特征：取直线左侧2个像元宽的缓冲区的颜色均值和方差作为该直线的左侧颜色特征，取该直线右侧2个像元宽的缓冲区范围内的像元的颜色均值和方差为该直线的右侧颜色特征。如图4(c)所示，以四波段遥感图像为例，一条直线共有左右共8维颜色特征(每个波段左右各两维直线颜色特征)。

直线颜色特征的均值和方差的计算公式如公式(5)和(6)，其中P(x，y)为图像(x，y)点处灰度值，M为直线缓冲区包含像元的个数。

(c)获取训练图像中所有图像的直线特征向量后，将其直线的起点和终点坐标，连同以上得到的15维特征向量一起存入训练样本数据库中；

第二步，生成的直线视觉词汇表

读取训练样本数据库中直线的密度、长度、长度熵、角度、角度熵、对比度、对比度熵、颜色特征的均值和方差的特征向量共15维特征，利用K-Means++聚类算法进行聚类。本发明选择视觉词汇表长度为200，即200个聚类中心。

第三步，对训练图像采用光谱和形状特征结合的多精度图像分割方法进行分割，形成分割斑块，在此基础上获取各斑块的直线视觉单词直方图。

(a)对训练图像利用光谱和形状特征结合的多精度图像分割方法对图像进行分割，获得分割斑块。

(b)为分割斑块统计直线单词信息。过程如下：首先从训练样本数据库中读取遥感图像的每条直线的特征信息，包括直线的空间位置及直线的密度、长度、长度熵、角度、角度熵、对比度和对比度熵。对于某条直线，将该直线拆分成左(右)两侧直线，左侧直线的特征用左侧颜色特征，以及该直线的密度、长度、长度熵、角度、角度熵、对比度和对比度熵进行特征描述，右侧直线的特征用右侧颜色特征以及该直线的密度、长度、长度熵、角度、角度熵、对比度和对比度熵进行描述。其次，得到该直线左侧2个像元宽的缓冲区和直线右侧2个像元宽的缓冲区。若该直线的左右缓冲区均和某斑块有交集，则相当于该斑块拥有左、右两侧直线。计算左、右侧直线与视觉词汇表中各单词的距离，获得与该特征向量最接近的视觉单词，便可在该斑块的直线视觉单词直方图的对应位置上加1，其示意图如图5(a)所示。如该直线只有一侧(如左侧)和该斑块有交集，说明该直线落在斑块边界处，则只将该侧直线(如左侧直线)纳入该斑块的直线单词统计范畴，其示意图如图5(b)所示。对斑块中的每条直线均进行上述统计，形成斑块的直线视觉单词直方图。

第四步，选取合适的分类样本入库。

为分割斑块指定地物类别，地物类别包括以下五种：1)道路和广场、2)建筑物、3)水体、4)植被、5)裸地和其他。将斑块的类别信息和对应的直线视觉单词直方图信息一起存入训练样本数据库，作为分类的训练样本。

二、分类阶段

第一步，对待分类图像利用基于相位编组提取图像中直线的方法获取待分类图像的相位直线。

第二步，对待分类图像进行分割，形成分割斑块，在此基础上计算直线的特征向量，获取各斑块的直线视觉单词直方图。

(a)对待分类图像利用光谱和形状特征结合的多精度图像分割方法进行分割，获得分割斑块。

(b)为分割斑块统计直线单词信息。首先计算直线的特征，对于某条直线，将该直线拆分成左(右)两侧直线，左侧直线的特征用左侧颜色特征，以及该直线的密度、长度、长度熵、角度、角度熵、对比度和对比度熵进行特征描述，右侧直线的特征用右侧颜色特征以及该直线的密度、长度、长度熵、角度、角度熵、对比度和对比度熵进行描述。其次，得到该直线左侧2个像元宽的缓冲区和直线右侧2个像元宽的缓冲区。若该直线的左右缓冲区均和某斑块有交集，则相当于该斑块拥有左、右两侧直线。计算左、右侧直线与视觉词汇表中各单词的距离，获得与该特征向量最接近的视觉单词，便可在该斑块的直线视觉单词直方图的对应位置上加1。如该直线只有一侧(如左侧)和该斑块有交集，说明该直线落在斑块边界处，则只将该侧直线(如左侧直线)纳入该斑块的直线单词统计范畴。对斑块中的每条直线均进行上述统计，形成斑块的直线视觉单词直方图。

第三步，选取SVM分类器，实现基于直线单词的词袋模型分类

利用SVM对分割后的图像进行分类，即遍历待分类图像所有图斑，根据各图斑的直线单词直方图，利用训练样本判断各斑块所属类别，完成分类过程。

实施例

数据准备：本实施例选用的训练样本数据和分类数据均为商业对地成像卫星GeoEye-1拍摄的庐山地区高分辨率遥感图像，图像包含4个波段，分别是R：655-690nm，G：510-580nm，B：450-510nm，NIR：780-920nm，图像的空间分辨率为2m。

一、训练阶段

第一步，提取训练图像的直线特征，并在此基础上计算直线的特征向量

(a)获取训练图像的相位直线，参数设置为：高斯滤波系数为0.5，相位编组梯度幅度差限为1，最短直线长度为10。结果如图6。

(b)计算直线的特征向量。

本实施例使用的直线特征包括直线的密度、长度、长度熵、角度、角度熵、对比度、对比度熵、颜色特征的均值和方差的特征向量共15维特征。数据库字段名见表1。

表1直线特征表结构(LineInfo)

字段名	类型	说明
			ID	字符型	直线的标识符
PHeadX	浮点型	图像上直线起点的X坐标值
			PHeadY	浮点型	图像上直线起点的Y坐标值
PTailX	浮点型	图像上直线结束点的X坐标值
			PTailY	浮点型	图像上直线结束点的Y坐标值
Density	浮点型	直线的密度
			Length	浮点型	直线的长度
LengthEntropy	浮点型	直线的长度熵
			Angle	浮点型	直线的角度

AngleEntropy	浮点型	直线的角度熵
			Contrast	浮点型	直线的对比度
ContrastEntropy	浮点型	直线的对比度熵
			BuffAve	文本型	直线的颜色均值向量
BuffCov	文本型	直线的颜色方差向量

(c)获取训练图像中所有图像的直线特征向量后，将其直线的起点和终点坐标，连同以上得到的特征向量一起存入训练样本数据库中。

第二步，生成直线视觉词汇表

读取训练样本数据库中直线的密度、长度、长度熵、角度、角度熵、对比度、对比度熵、颜色特征的均值和方差的特征向量共15维特征，利用K-Means++聚类算法进行聚类。本发明选择视觉词汇表长度为200。其表结构见表2。

表2视觉词汇表(LineCodeBook)

字段名	类型	说明
			ID	字符型	聚类中心的标识符
CenterPos	文本型	聚类中心的特征描述

第三步，对训练图像进行分割，形成分割斑块，在此基础上获取各斑块的直线视觉单词直方图

(a)对训练图像利用光谱和形状特征结合的多精度图像分割方法对图像进行分割，分割尺度参数设置值为30，颜色权值设为0.5，形状权值设为0.5，光滑度和紧凑度各为0.5，获得图像斑块。结果如图7所示。

(b)为分割斑块统计直线单词信息。过程如下：首先从训练样本数据库中读取遥感图像的每条直线的特征信息，包括直线的空间位置及直线的密度、长度、长度熵、角度、角度熵、对比度和对比度熵。对于某条直线，将该直线拆分成左(右)两侧直线，左侧直线的特征用左侧颜色特征，以及该直线的密度、长度、长度熵、角度、角度熵、对比度和对比度熵进行特征描述，右侧直线的特征用右侧颜色特征以及该直线的密度、长度、长度熵、角度、角度熵、对比度和对比度熵进行描述。其次，得到该直线左侧2个像元宽的缓冲区和直线右侧2个像元宽的缓冲区。若该直线的左右缓冲区均和某斑块有交集，则相当于该斑块拥有左、右两侧直线。计算左、右侧直线与视觉词汇表中各单词的距离，获得与该特征向量最接近的视觉单词，便可在该斑块的直线视觉单词直方图的对应位置上加1。如该直线只有一侧(如左侧)和该斑块有交集，说明该直线落在斑块边界处，则只将该侧直线(如左侧直线)纳入该斑块的直线单词统计范畴。对斑块中的每条直线均进行上述统计，形成斑块的直线视觉单词直方图。

第四步，选取合适的分类样本入库

为分割斑块指定地物类别，地物类别包括以下五种：1)道路和广场、2)建筑物、3)水体、4)植被、5)裸地和其他。将斑块的类别信息和对应的直线视觉单词直方图信息一起存入训练样本数据库，作为分类的训练样本。训练样本数据库表结构见表3。入库斑块数统计见表4。

表3直线特征训练样本数据库(StandardLineLibrary)

字段名	类型	说明
			ImageName	字符型	斑块所在图像名称
PatchID	浮点型	斑块标识符
			LocalBow	文本型	斑块的直线视觉单词直方图
PatchType	字符型	斑块类别

表4各类别地物入库斑块个数

样本类别	样本个数(斑块个数)
		道路和广场	448
建筑物	1034
		水体	149
植被	669
		裸地和其他	103

二、分类阶段

第一步，提取待分类图像的直线特征

对待分类图像，如图8(a)，获取图像的相位直线，算法参数设置为：高斯滤波系数为0.5，相位编组梯度幅度差限为1，最短直线长度为10。结果如图8(b)。

第二步，对待分类图像进行分割，形成分割斑块，在此基础上计算直线的特征向量，获取各斑块的直线视觉单词直方图

(a)对待分类图像利用光谱和形状特征结合的多精度图像分割方法进行分割，分割尺度参数设置值为30，颜色权值设为0.5，形状权值设为0.5，光滑度和紧凑度各为0.5，获得图像斑块。结果如图8(c)。

(b)为分割斑块统计直线单词信息。首先计算直线的特征，对于某条直线，将该直线拆分成左(右)两侧直线，左侧直线的特征用左侧颜色特征，以及该直线的密度、长度、长度熵、角度、角度熵、对比度和对比度熵进行特征描述，右侧直线的特征用右侧颜色特征以及该直线的密度、长度、长度熵、角度、角度熵、对比度和对比度熵进行描述。其次，得到该直线左侧2个像元宽的缓冲区和直线右侧2个像元宽的缓冲区。若该直线的左右缓冲区均和某斑块有交集，则相当于该斑块拥有左、右两侧直线。计算左、右侧直线与视觉词汇表中各单词的距离，获得与该特征向量最接近的视觉单词，便可在该斑块的直线视觉单词直方图的对应位置上加1。如该直线只有一侧(如左侧)和该斑块有交集，说明该直线落在斑块边界处，则只将该侧直线(如左侧直线)纳入该斑块的直线单词统计范畴。对斑块中的每条直线均进行上述统计，形成斑块的直线视觉单词直方图。

第三步，选取SVM分类器，实现基于直线的词袋模型分类。

利用SVM对分割后的图像进行分类。从训练样本数据库中读取样本的直线视觉单词直方图，这里的地物类别包括：道路和广场、建筑物、水体、植被、裸地和其他。利用训练数据获取SVM分类器的分类参数，本方法中的高斯核函数，其主要参数宽度参数σ设为2，误差惩罚因子C设为25。而后遍历待分类图像所有图斑，根据各图斑的直线视觉单词直方图，判断各斑块所属类别，完成最终分类。结果如图8(d)。

Claims (1)

1.基于直线单词的高空间分辨率遥感图像词袋分类方法，其特征在于，所述方法包括以下两个阶段：

第一阶段：训练阶段，采取如下步骤，

第一步，提取训练图像的直线特征，并在此基础上计算直线的特征向量：

(a)利用基于相位编组提取图像中直线的方法获取训练图像的相位直线；

(b)计算直线的特征向量，获取直线的密度、长度、长度熵、角度、角度熵、对比度、对比度熵、颜色特征的均值和方差的特征向量；

直线密度为以所述直线中点为中心的n×n的窗口内的直线的条数，记为N；

直线长度的计算公式如下：

$h\left(i\right)=\sqrt{{(\mathrm{pb}\left(x\right)-\mathrm{pe}\left(x\right))}^2+{(\mathrm{pb}\left(y\right)-\mathrm{pe}\left(y\right))}^2}---\left(1\right)$

其中pb(x)、pb(y)分别为所述直线起点在图像坐标平面上的X坐标值和Y坐标值；pe(x)、pe(y)分别为所述直线终点在图像坐标平面上的X坐标值和Y坐标值；

直线长度熵的计算公式如下：

$E=-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}[h\left(i\right)\×{\log }_2\left(h\left(i\right)\right)]---\left(2\right)$

其中N是所述直线的密度；h(i)为其中经过所述n×n窗口的第i条直线的长度；

直线角度是所述直线与图像坐标平面水平方向的夹角；

直线角度熵的计算公式如下：

$E^{,}=-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}[(g\left(i\right)-\mathrm{aveG})\×{\log }_2\left((g\left(i\right)-\mathrm{aveG})\right)]---\left(3\right)$

其中N是所述直线的密度；aveG为经过所述n×n窗口的所有直线角度的平均值；g(i)为经过所述n×n窗口的第i条直线与图像坐标平面水平方向的夹角；

直线对比度是所述直线支持区域内所有像元点的梯度最大值；

直线对比度熵的计算公式如下：

$E^{,,}=-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}[c\left(i\right)\×{\log }_2\left(c\left(i\right)\right)]---\left(4\right)$

其中N是所述直线的密度；c(i)为经过所述n×n窗口的第i条直线的对比度；

直线颜色特征的均值和方差的计算公式如下：

$\mathrm{\μ}=\frac{1}{M}\underset{1}{\overset{M}{\mathrm{\Σ}}}P(x,y)---\left(5\right)$

$\mathrm{\σ}=\sqrt{\frac{1}{M}\underset{1}{\overset{M}{\mathrm{\Σ}}}(P(x,y)-\mathrm{\μ})}---\left(6\right)$

其中P(x，y)为图像(x，y)点处灰度值，M为所述直线缓冲区包含像元的个数；

(c)获取训练图像中所有图像的直线特征向量后，将直线的起点和终点坐标，连同以上得到的特征向量一起存入训练样本数据库中；

第二步，读取训练样本数据库中直线的特征向量，利用K-Means++算法聚类生成直线视觉词汇表；

第三步，对训练图像采用光谱和形状特征结合的多精度图像分割方法进行分割，形成分割斑块，在此基础上，根据直线与斑块的位置关系，将包含左侧或右侧颜色特征的直线赋予斑块，形成各斑块的直线视觉单词直方图；

第四步，为分割斑块指定地物类别，并将斑块的类别信息和对应的直线视觉单词直方图信息一起存入训练样本数据库，作为分类的训练样本；

第二阶段：样本训练后，进入样本的分类阶段，采取如下步骤，

第一步，对待分类图像，利用基于相位编组提取图像中直线的方法获取待分类图像的相位直线；

第二步，对待分类图像，利用光谱和形状特征结合的多精度图像分割方法进行分割，形成分割斑块，在此基础上计算直线的特征向量，其计算方法与第一阶段第一步中的(b)相同，在此基础上，根据直线与斑块的位置关系，将包含左侧或右侧颜色特征的直线赋予斑块，形成各斑块的直线视觉单词直方图；

第三步，采用SVM分类器，其核函数为高斯径向基函数，对分割后的图像进行分类，即遍历待分类图像所有图斑，根据各图斑的直线单词直方图，利用训练样本判断各斑块所属类别，完成分类过程，获得分类结果，实现基于直线单词的词袋模型分类。

Images