CN108154158A - 一种面向增强现实应用的建筑物图像分割方法 - Google Patents

Abstract

本发明公开了一种面向增强现实应用的建筑物图像分割方法，包括建筑图像特征设计，包括梯度角度熵特征、颜色熵特征和线特征；选择训练样本，使用改进的K‑means对训练样本进行聚类，选择互不相交的聚类集合中的样本作为训练样本；Adaboost决策分类器训练，输入选择的样本输入训练Adaboost决策分类器；将测试图像输入Adaboost决策分类器，输出建筑物分割结果。本发明与传统分割方法相比，设计了一种建筑图像特征描述方法，并对梯度角度熵进行了简化，显著的提高了分割的效率；设计了一种基于Adaboost决策树的分类器，为了去除样本冗余性，设计了一种样本的选择方法，并训练出最终的分类器模型，快速、准确的分割了包含建筑物图像的建筑物结构和非建筑物、非人工结构。

Description

一种面向增强现实应用的建筑物图像分割方法

技术领域

本发明属于计算机视觉与图像处理领域，涉及一种面向增强现实应用的建筑物图像分割方法。

背景技术

现代建筑是一种人工结构，符合一定的科学规律和美学结构。颜色特征上，建筑并不具有统一的颜色范围；而非人工结构，如植物、土地、天空等具有相对统一的颜色范围。纹理特征上，建筑物表面纹理具有高度的统一性，重复性；非人工结构比较杂乱，不具有统一性，即人工结构图像的熵较低，而非人工结构图像的熵较高。形状特征上，建筑物，尤其是现代建筑，具有大量的直线边缘、矩形结构，且直线特征多具有垂直或者相交的空间关系，即建筑结构图像上的边缘梯度向量具有相对统一性；而非人工结构不具有任何直线和矩形特征，且其边缘非垂直、非平行。

美国学者P.Felzenszwalb通过计算区域内的特征差，并比较区域和区域之间的差异，判断是否能够融合两个区域。Felzenszwalb算法虽然对建筑的分割结果比较精细，但是建筑物下半部的墙面和灌木丛被错分成了一组，原因是由于Felzenszwalb算法采取的是对颜色特征的分割，墙面和玻璃的颜色接近于灌木丛的绿色，因此区分不够明显。Felzenszwalb算法存在过分割现象，即对于建筑物分割过于细化，导致没有整体性。由于建筑物图像大部分都包含绿色植物，且建筑物图像大多存在非单一建筑面，因此该算法并不适用于建筑物的图像分割。Shi将切割方法命名为规范化切割(Normalized Cut)，并将问题转化为求矩阵特征值和特征向量的解。规范化切割算法很好的解决了最小割算法的分离单个节点问题，分割结果也比较令人满意，但其缺点是运算量巨大，没有系统化的收敛点，因此后来学者在其基础上提出了很多改进方法，例如将图像分块，在块内进行规范化切割；稀疏化矩阵，移除相似度矩阵内的点。规范化分割对于复杂区域的分割不够细致，树木和建筑楼梯被分至同一区域；而且对于分割的块数，对分割效果影响非常大，因此规范化分割并不能适用于建筑物与非建筑物分割。

综上，能够得知，建筑物的颜色和复杂的形状特性，决定了并不存在一种成熟的算法精准的分割包含建筑物图像中建筑物主体和非建筑干扰，因此设计一种高效、精准得图像分割方法的需求是迫切的。

发明内容

本发明的目的在于针对上述建筑物图像分割技术的缺陷，提供一种面向增强现实应用的建筑物图像分割方法。

为达到上述目的，本发明采用以下技术方案予以实现：

一种面向增强现实应用的建筑物图像分割方法，包括以下步骤：

步骤1：设计建筑图像特征

建筑图像特征包括梯度角度熵特征、颜色熵特征和线特征；

步骤2：选择训练样本

改进的K-means聚类法在样本中随机选择K个样本作为聚类中心，计算样本的距离，更新聚类中心，循环迭代，当聚类中心的距离改变小于阈值0.05时，样本被划分为K个集合，忽略聚类中心，依次将每一个样本添加到样本距离最小的集合中，选择互不相交的样本作为训练样本输出；

步骤3：Adaboost决策分类器训练

将选择的训练样本Y→K:(y₁,k₁),(y₂,k₂),(y₃,k₃),…,(y_n,k_n)，其中Y为训练样本集，K为分类种类集，n为样本的数量，y_n是标记为n的样本；输入Adaboost决策分类器，划分建筑时，建筑的标签为1，非建筑的标签为﹣1；Adaboost决策树的训练过程是训练一个线性的组合，将训练样本输入后，经过线性计算，使其得到的结果逼近正确的标签H(y)，即

步骤4：向步骤3中的Adaboost决策分类器输入待分割的图像，输出建筑物与非建筑物分割结果。

本发明进一步的改进在于：

步骤1中，梯度角度熵特征是指：对于尺寸m×n的图像，为给定一个尺寸L的滑动窗口，并对滑动窗口内的建筑物图像按照窗口的行和列分别进行梯度计算；然后，将滑动窗口内的梯度角度进行分bin计算，以半圆基准，分成n等份，并统计滑动窗口内梯度角度的频数直方图；接下来，分别对行列进行操作，设i,j分别代表当前操作像素的坐标，其中i＝1,2,3,…,m；j＝1,2,3,…,n；则行方向的频率直方图大小为9×L，根据以上的定义，计算出梯度角度的离散概率分布p_row,i；在列方向也进行相同的统计，得出离散分布密度p_col,j，则图像的行梯度熵entropy_row和列梯度熵entropy_col定义如下：

上述图像位于该像素的噪声水平，即该像素属于建筑物结构还是非建筑物结构，能够由梯度角度熵表征，对应于计算熵时的底数运算，能够用梯度角度熵的指数运算结果表征：

式中：表示图像原有的噪声指数，能够根据图像的拍摄质量对噪声评判标准进行调节。

对上述梯度角度熵行简化，大幅度提高图像的分割速度，满足系统的实时性要求，具体方法如下：

1-1)选择尺寸为L滑动窗口，计算像素(i,j)滑动窗口内的像素梯度角度；

1-2)对滑动窗口内的梯度角度，在半圆范围内平均分为n份，划在相同范围内的梯度角度被认为相同梯度角度；

1-3)对滑动窗口内的像素分行、列两个方向上进行统计；设S_x是滑动窗户内第x行上梯度角度的种类总数，M_x是滑动窗户内第x行上梯度角度概率密度最大的梯度角度的数量，S_y是滑动窗户内第y行上梯度角度的种类总数，M_y是滑动窗户内第y行上梯度角度概率密度最大的梯度角度的数量；则该像素点的梯度角度熵的定义如下：

步骤1中，颜色特征从不同的色彩空间提取，包括灰度、RGB、HSV以及Lab；对于RGB颜色空间，同时提取R、G、B三个通道的色彩信息；对于HSV颜色空间，提取H、S、V三个通道的色彩信息，H、S通道的颜色直方图，H、S通道的信息熵计算颜色熵判据，具体方法如下：

令entropy_col表示图像的色彩熵，I表示图像，c表示图像的色彩信息，c能够是灰度、RGB、HSV中的任意一种或几种的组合；设I的概率密度函数p定义为：

p＝P(c＝x)(x＝1,2,3,…,n)

式中：P表示色彩分布函数，n表示c的表征范围，则：entropy_col＝-∑_xp_xlogp_x。

步骤1中，通过LSD算子检测图像中存在的直线，将统计图像上的直线数量、长度及方向作为线特征。

步骤2中，改进的K-means聚类是指：在单次聚类的结果之上，进行第二次的聚类迭代，忽略第一个样本中心，用第二个样本作为样本中心，再次进行迭代，当进行到所有数据聚类结束或当前聚类包含全部样本时，聚类结束；最后Adaboost选择两次聚类中所有子集不相交的样本作为训练样本。

步骤2中χ²距离定义为：d_i表示样本点i特征值，d_j表示样本点i特征值；改进的K-means聚类的具体流程如下：

2-1)计算当前样本d_i和剩余样本的χ²距离，若小于设定阈值，将当前样本d_i和剩余距离小于阈值的样本d_i归入集合；

2-2)计算剩余样本是否为空集，如果为空集，则停止计算，否则，继续比较，直到剩余样本为空集；

2-3)设最终样本集Y为空集，样本聚类的个数为q，抽取其中i,j＝1,2,…,q，放入Y；最终Y就是确定的样本训练集。

步骤3中，Adaboost决策树的训练过程如下：

For t＝1:T，其中T为决策树模型的个数；

3-1)初始化权重，设定为1/n；

3-3)根据权值，从样本集中抽选训练样本X；

如果：t≠1，对样本权重归一化，计算其概率密度得到第t个分类器模型，计算该分类器的输出误差：ε_t＝∑q_i,j|h_i(y_i)-k_i|；

如果：误差不小于0.5，返回步骤3-1)；否则，计算决策树上节点权值并调整样本的权重：

3-3)输出线性组合结果，作为第t个决策树的置信度评分。

与现有技术相比，本发明具有以下有益效果：

与传统分割技术相比，本发明设计了一种基于Adaboost决策树的分类器，为了去除样本冗余性，设计了一种样本的选择方法，并训练出最终的分类器模型，快速、准确的分割了包含建筑物图像的建筑物结构和非建筑物、非人工结构。与传统分割方法相比，本发明是一种基于梯度角度熵、颜色熵、线特征融合的特征描述方法，并在条件允许的情况下，对梯度角度熵进行了简化，显著的提高了分割的效率。

附图说明

图1为本发明方法的整体流程图；

图2为本发明的样本选择流程图；

图3为本发明Adaboost决策分类器的训练流程图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

参见图1-3，本发明面向增强现实应用的建筑物图像分割方法，包括以下步骤：

步骤1：建筑图像特征设计，包括：梯度角度熵特征、颜色熵特征和线特征。

梯度角度熵特征是指：对于尺寸m×n的图像，为给定一个尺寸L的滑动窗口，并对滑动窗口内的建筑物图像按照窗口的行和列分别进行梯度计算；然后，将滑动窗口内的梯度角度进行分bin计算，以半圆基准，分成n等份，并统计滑动窗口内梯度角度的频数直方图；接下来，分别对行列进行操作，设i,j(i＝1,2,3,…,m；j＝1,2,3,…,n)分别代表当前操作像素的坐标，则行方向的频率直方图大小为9×L，根据以上的定义，能够计算出梯度角度的离散概率分布p_row,i；在列方向也进行相同的统计，得出离散分布密度p_col,j，则图像的行梯度熵entropy_row和列梯度熵entropy_col定义如下：

在图像的噪声足够小的情况下，能够对上述判据进行简化，大幅度提高图像的分割速度，满足系统的实时性要求，具体做法如下：

1-1)选择尺寸为L滑动窗口，计算像素(i,j)滑动窗口内的像素梯度角度；

1-2)对滑动窗口内的梯度角度，在半圆范围内平均分为n份，划在相同范围内的梯度角度被认为相同梯度角度；

1-3)对滑动窗口内的像素分行、列两个方向上进行统计；设S_x是滑动窗户内第x行上梯度角度的种类总数，M_x是滑动窗户内第x行上梯度角度概率密度最大的梯度角度的数量，S_y是滑动窗户内第y行上梯度角度的种类总数，M_y是滑动窗户内第y行上梯度角度概率密度最大的梯度角度的数量；则该像素点的梯度角度熵的定义如下：

颜色特征从不同的色彩空间提取，包括灰度、RGB、HSV以及Lab；对于RGB颜色空间，同时提取R、G、B三个通道的色彩信息；对于HSV颜色空间，提取H、S、V三个通道的色彩信息，H、S通道的颜色直方图，H、S通道的信息熵计算颜色熵判据，具体方法如下：

令entropy_col表示图像的色彩熵，I表示图像，c表示图像的色彩信息，c能够是灰度、RGB、HSV中的任意一种或几种的组合；设I的概率密度函数p定义为：

p＝P(c＝x)(x＝1,2,3,…,n)

式中：P表示色彩分布函数，n表示c的表征范围，则：entropy_col＝-∑_xp_xlogp_x。

通过LSD算子检测图像中存在的大量的直线，由于LSD算子存在的固有缺陷，导致图像上存在断线、短线干扰，且边缘位置与实际线段的真实位置存在一些误差，因此将统计图像上的直线数量、长度、方向等作为线特征。

步骤2：选择训练样本，使用改进的K-means对训练样本进行聚类，相似度高的被认为是一个聚类，选择训练样本时，只在一个聚类内选择少量样本。

改进的K-means聚类是指：在单次聚类的结果之上，进行第二次的聚类迭代，忽略第一个样本中心，用第二个样本作为样本中心，再次进行迭代，当进行到所有数据聚类结束或当前聚类包含全部样本时，聚类结束；最后Adaboost选择两次聚类中所有子集不相交的样本作为训练样本。

根据χ²距离：d_i表示样本点i特征值，d_j表示样本点j特征值，进行如下步骤：

2-1)计算当前样本d_i和剩余样本的χ²距离，若小于设定阈值，将当前样本d_i和剩余距离小于阈值的样本d_i归入集合；

2-2)计算剩余样本是否为空集，如果为空集，则停止计算，否则，继续比较，直到剩余样本为空集；

2-3)设最终样本集Y为空集，样本聚类的个数为q，抽取其中i,j＝1,2,…,q，放入Y；最终Y就是确定的样本训练集。

步骤3：Adaboost决策分类器训练，将已经标记好的样本Y→K:(y₁,k₁),(y₂,k₂),(y₃,k₃),…,(y_n,k_n)，其中Y为训练样本集，K为分类种类集，n为样本的数量，y_n是标记为n的样本；输入Adaboost决策分类器，划分建筑时，建筑的标签为1，非建筑的标签为﹣1；Adaboost决策树的训练过程是训练一个线性的组合，将训练样本输入后，经过线性计算，使其得到的结果逼近正确的标签H(y)，即

如图3所示，Adaboost决策分类器的训练过程：

For t＝1:T，其中T为决策树模型的个数；

3-1)初始化权重，设定为1/n；

3-2)根据权值，从样本集中抽选训练样本X；

如果：t≠1，对样本权重归一化，计算其概率密度得到第t个分类器模型，计算该分类器的输出误差：ε_t＝∑q_i,j|h_i(y_i)-k_i|；

如果：误差不小于0.5，返回步骤3-1)；否则，计算决策树上节点权值并调整样本的权重：

3-3)输出线性组合结果，作为第t个决策树的置信度评分。

步骤4：向步骤3中的Adaboost决策分类器输入待分割的图像，输出建筑物与非建筑物分割结果。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (8)

1.一种面向增强现实应用的建筑物图像分割方法，其特征在于，包括以下步骤：

步骤1：设计建筑图像特征

建筑图像特征包括梯度角度熵特征、颜色熵特征和线特征；

步骤2：选择训练样本

改进的K-means聚类法在样本中随机选择K个样本作为聚类中心，计算样本的距离，更新聚类中心，循环迭代，当聚类中心的距离改变小于阈值0.05时，样本被划分为K个集合，忽略聚类中心，依次将每一个样本添加到样本距离最小的集合中，选择互不相交的样本作为训练样本输出；

步骤3：Adaboost决策分类器训练

将选择的训练样本Y→K:(y₁,k₁),(y₂,k₂),(y₃,k₃),…,(y_n,k_n)，其中Y为训练样本集，K为分类种类集，n为样本的数量，y_n是标记为n的样本；输入Adaboost决策分类器，划分建筑时，建筑的标签为1，非建筑的标签为﹣1；Adaboost决策树的训练过程是训练一个线性的组合，将训练样本输入后，经过线性计算，使其得到的结果逼近正确的标签H(y)，即

步骤4：向步骤3中的Adaboost决策分类器输入待分割的图像，输出建筑物与非建筑物分割结果。

2.根据权利要求1所述的面向增强现实应用的建筑物图像分割方法，其特征在于，步骤1中，梯度角度熵特征是指：对于尺寸m×n的图像，为给定一个尺寸L的滑动窗口，并对滑动窗口内的建筑物图像按照窗口的行和列分别进行梯度计算；然后，将滑动窗口内的梯度角度进行分bin计算，以半圆基准，分成n等份，并统计滑动窗口内梯度角度的频数直方图；接下来，分别对行列进行操作，设i,j分别代表当前操作像素的坐标，其中i＝1,2,3,…,m；j＝1,2,3,…,n；则行方向的频率直方图大小为9×L，根据以上的定义，计算出梯度角度的离散概率分布p_row,i；在列方向也进行相同的统计，得出离散分布密度p_col,j，则图像的行梯度熵entropy_row和列梯度熵entropy_col定义如下：

上述图像位于该像素的噪声水平，即该像素属于建筑物结构还是非建筑物结构，能够由梯度角度熵表征，对应于计算熵时的底数运算，能够用梯度角度熵的指数运算结果表征：

式中：表示图像原有的噪声指数，能够根据图像的拍摄质量对噪声评判标准进行调节。

3.根据权利要求2所述的面向增强现实应用的建筑物图像分割方法，其特征在于，对上述梯度角度熵行简化，大幅度提高图像的分割速度，满足系统的实时性要求，具体方法如下：

1-1)选择尺寸为L滑动窗口，计算像素(i,j)滑动窗口内的像素梯度角度；

1-2)对滑动窗口内的梯度角度，在半圆范围内平均分为n份，划在相同范围内的梯度角度被认为相同梯度角度；

1-3)对滑动窗口内的像素分行、列两个方向上进行统计；设S_x是滑动窗户内第x行上梯度角度的种类总数，M_x是滑动窗户内第x行上梯度角度概率密度最大的梯度角度的数量，S_y是滑动窗户内第y行上梯度角度的种类总数，M_y是滑动窗户内第y行上梯度角度概率密度最大的梯度角度的数量；则该像素点的梯度角度熵的定义如下：

4.根据权利要求1所述的面向增强现实应用的建筑物图像分割方法，其特征在于，步骤1中，颜色特征从不同的色彩空间提取，包括灰度、RGB、HSV以及Lab；对于RGB颜色空间，同时提取R、G、B三个通道的色彩信息；对于HSV颜色空间，提取H、S、V三个通道的色彩信息，H、S通道的颜色直方图，H、S通道的信息熵计算颜色熵判据，具体方法如下：

令entropy_col表示图像的色彩熵，I表示图像，c表示图像的色彩信息，c能够是灰度、RGB、HSV中的任意一种或几种的组合；设I的概率密度函数p定义为：

p＝P(c＝x)(x＝1,2,3,…,n)

式中：P表示色彩分布函数，n表示c的表征范围，则：entropy_col＝-∑_xp_xlogp_x。

5.根据权利要求1所述的面向增强现实应用的建筑物图像分割方法，其特征在于，步骤1中，通过LSD算子检测图像中存在的直线，将统计图像上的直线数量、长度及方向作为线特征。

6.根据权利要求1所述的面向增强现实应用的建筑物图像分割方法，其特征在于，步骤2中，改进的K-means聚类是指：在单次聚类的结果之上，进行第二次的聚类迭代，忽略第一个样本中心，用第二个样本作为样本中心，再次进行迭代，当进行到所有数据聚类结束或当前聚类包含全部样本时，聚类结束；最后Adaboost选择两次聚类中所有子集不相交的样本作为训练样本。

7.根据权利要求6所述的面向增强现实应用的建筑物图像分割方法，其特征在于，步骤2中χ²距离定义为：d_i表示样本点i特征值，d_j表示样本点i特征值；改进的K-means聚类的具体流程如下：

2-1)计算当前样本d_i和剩余样本的χ²距离，若小于设定阈值，将当前样本d_i和剩余距离小于阈值的样本d_i归入集合；

2-2)计算剩余样本是否为空集，如果为空集，则停止计算，否则，继续比较，直到剩余样本为空集；

2-3)设最终样本集Y为空集，样本聚类的个数为q，抽取其中i,j＝1,2,…,q，放入Y；最终Y就是确定的样本训练集。

8.根据权利要求1所述的面向增强现实应用的建筑物图像分割方法，其特征在于，步骤3中，Adaboost决策树的训练过程如下：

For t＝1:T，其中T为决策树模型的个数；

3-1)初始化权重，设定为1/n；

3-3)根据权值，从样本集中抽选训练样本X；

如果：t≠1，对样本权重归一化，计算其概率密度得到第t个分类器模型，计算该分类器的输出误差：ε_t＝∑q_i,j|h_i(y_i)-k_i|；

如果：误差不小于0.5，返回步骤3-1)；否则，计算决策树上节点权值并调整样本的权重：

3-3)输出线性组合结果，作为第t个决策树的置信度评分。