CN106022381B - 基于车载激光扫描点云的路灯杆自动提取方法 - Google Patents

Abstract

本发明公开了基于车载激光扫描点云的路灯杆自动提取方法，包括以下步骤：进行过滤地面点以及把非地面点分割成超体素集的预处理；对场景中所有可能是路灯的杆状物体进行定位；进行位置导向分割得到杆状物体；通过提取的杆特征和全局特征用来描述分割得到的杆状物体；用人工标注好的训练样本对随机森林和分类器支持向量机进行训练，使用训练好的随机森林和分类器支持向量机对步骤S3分割出来的杆状物体进行分类识别出路灯杆。本发明算法在路灯残缺或者被遮挡等复杂的环境下也有良好的鲁棒性，并且算法的时间复杂度很低，可以快速地应用到大规模场景的点云。

Description

基于车载激光扫描点云的路灯杆自动提取方法

技术领域

本发明涉及智能交通系统以及智慧城市的建设，尤其涉及基于车载激光扫描点云的路灯自动提取方法。

背景技术

点云的路灯杆提取方法目前有分为三大类，分别是基于形状特征的算法、基于先验知识的算法以及基于形状模板匹配的算法。Yokoyama等人在Internat ional Journalof CAD/CAM发表的论文《Detection and classification of pole-like objectsfrommobile laser scanning data of urban environments》中首先把输入点云的地面点进行过滤，接着使用K近邻算法对点云进行分割，下面使用拉普拉斯算子对分割后的点云进行平滑处理来除去噪点的影响，最后使用主成分分析对点云进行分类提取出杆状物体。Sherif等人在会议Proceedings of the 2011IEEE International Workshop on Multi-Platform/Multi-Sensor Remote Sens ing and Mapping发表的论文《Detection ofroadpoles from mobile terrestrial laser scanning point clouds》中首先对输入的点云建立KD树便于邻域搜索，接着使用多个值来测试K近邻聚类的效果，从中选择一个最好的值进行聚类。接着根据K近邻的分割和主成分分析分析计算出点的协方差矩阵的特征值进行进一步的分割，最后拟合出圆柱形从而提取出路灯杆。以上的两种算法都用到了K近邻聚类算法来聚类点，这种算法对于路灯杆被遮挡的场景下分割性能会受到影响。从而影响到了上述算法的提取路灯杆的性能。Hu等人在会议Proceedings of the 19th IEEEInternational Conference on Geoinformatics发表的论文《A novel approach toextractingstreet lamp from vehicle-borne laser data》中首先把点云投影到平面进行网格化，接着计算出每一个网格内最大的高度值，即是点坐标的z值。接下来设置一个高度的阈值来提取路灯杆，如果网格内最大的高度值高于这个阈值，这个网格内的点就当做是路灯杆。但是该算法有两个较大的弊端。第一，该算法很容易把高于路灯杆高度的其他物体也检测为路灯杆，造成虚景率较高；第二，对于不同的输入点云数据，该算法的高度阈值需要重新进行人工调整，算法自动化程度较低。Yu等人在IEEE Transactions onGeoscience andRemote Sens ing发表的论文《Semiautomated extraction of streetlight poles frommobile lidar point-clouds》中首先过滤路面点，接着根据空间几何距离进行初步的聚类，接下来人工判断路灯杆和其他物体是否连接在一起，若连接在一起则使用N-c u t(Normalized cut)算法进行分离。最后使用事先选定好的路灯杆的模板进行匹配，从而提取出路灯杆。但是该算法需要人工判断是否进行分割，算法的自动化程度不够高。

发明内容

本发明的目的在于克服上述现有技术的不足，提供一种路灯杆在被遮挡的情况下也不受影响的基于车载激光扫描点云的路灯杆自动提取方法。

为实现上述目的，本发明采用以下技术方案：基于车载激光扫描点云的路灯杆自动提取方法，包括以下步骤：

S1、进行过滤地面点以及把非地面点分割成超体素集的预处理；

S2、对场景中所有可能是路灯的杆状物体进行定位；

S3、进行位置导向分割得到杆状物体；

S4、通过提取的杆特征和全局特征用来描述分割得到的杆状物体；

S5、用人工标注好的训练样本对随机森林和分类器支持向量机进行训练，使用训练好的随机森林和分类器支持向量机对步骤S3分割出来的杆状物体进行分类，最终识别出路灯杆。

步骤S1具体包括以下步骤:

S11、根据车载激光扫描系统得到的行车轨迹数据对原始点云进行分割成段；

S12、使用基于随机抽样一致性算法对每段数据进行地面点的过滤；

S13、使用超体素的分割算法把非路面点分割成超体素集，计算每一个超体素包括点的数目、最高的点、最低的点、点集重心、投影的凸包面积以及超体素的包围盒的特征。

步骤S2具体包括以下步骤：

S21、获取初始定位图；

S22、若获取的点云道路两边密度差异较大，则使用球体下落算法获得最终定位图，若密度差异不大则直接生成最终定位图；

S23、最终定位图生成。

步骤S3具体包括以下步骤:

S31、提取杆状物体的竖杆部分，根据重心条件、比例条件和整体条件进行超体素的分类，从而分割出杆状物体；

S32、提取杆状物体的灯泡部分。

步骤S4具体包括以下步骤:

S41、计算路灯杆杆状特征；

S42、计算路灯杆全局特征。

步骤S5具体为描述杆状物体的特征向量归一化，接着使用人工标记好的数据对分类器支持向量机和随机森林进行训练，最后使用分类器对分割出的杆状物体进行分类。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

本发明算法在路灯残缺或者被遮挡等复杂的环境下也有良好的鲁棒性，并且算法的时间复杂度很低，可以快速地应用到大规模场景的点云。对于智能交通系统和智慧城市的建设有着很好的推动力，从而本发明有着重要的实际应用价值。

附图说明

图1为本发明方法的流程图；

图2为路灯杆提取每一阶段的效果图，其中图2(a)为原始三维点云场景；图2(b)为地面点过滤效果图；图2(c)为超体素分割效果图；图2(d)为杆状物体的定位示意图；图2(e)为获取的杆状物体的位置信息和超体素的特征；图2(f)为杆状物体的分割；图2(g)为特征计算；图2(h)训练分类器；图2(i)为提取的路灯杆。

图3为点云定位图生成过程效果图，其中图3(a)为原始三维点云场景；图3(b)为点云网格化；图3(c)为网格化点云中的一个网格；图3(d)为初始定位图，圈内表示图3(c)中的特定网格对应的像素；图3(e)为最终定位图；图3(f)为杆状物体的位置，图上的点表示最后检测到的杆状物体的位置；

图4为采用球体下落算法的示意图，其中图4(a)初始化；图4(b)为搜寻符合条件的超体素，并且计算从球心到超体素重心的平均距离；图4(c)为凸包面积的计算；图4(d)为球体下落终止条件；

图5为杆状物体竖杆的提取示意图，其中图5(a)为杆状物体的超体素；图5(b)为一个超体素的重心到检测出的杆状物体位置的距离；图5(c)为超体素上的点到检测出的杆状物体位置的距离；图5(d)为提取出的杆状物体的竖杆部分；

图6为提取杆状物体的路灯部分的过程示意图，图6(a)为添加种子超体素集；图6(b)为搜寻临近超体素集；图6(c)超体素高度的位置关系；图6(d)为高度上限；图6(e)为偏移距离；

图7为训练样本，其中图7(a)为正的训练样本；图7(b)为负的训练样本。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

本发明提出的基于移动车载激光扫描点云路灯杆自动提取方法的实施步骤如下：

S1、进行过滤地面点以及把非地面点分割成超体素集的预处理

S11、根据车载激光扫描系统采集到的行车轨迹数据，将原始点云沿着道路的方向进行分割成段；

S12、对于每一段的点云数据，使用基于RANSAC(随机抽样一致性算法)的方法来过滤地面点。第一次平面拟合得到的内群点集的平均高度作为地面点的平均高度。接下来在每次平面拟合迭代中，计算拟合得到的内群点集中未分类点到该次拟合平面的距离，若距离小于事先设定的阈值，则该未分类点归类于地面点。每次平面拟合迭代的输入点集都是未分类的点。平面拟合迭代一直到内群点集中存在一个点大于地面点的平均高度加1或者内群点集中点的数目保持不变，原始三维点云场景见图2(a),地面过滤效果见图2(b)。

S13、对非地面点进行超体素分割，使用超体素的分割算法把非地面点分割成超体素集,超体素的分割结果见图2(c),接着计算每一个超体素的特征,把超体素的点投影到平面并计算其凸包，接着使用三角形有向面积来计算凸包的面积以及其他特征。超体素的特征包括：点的数目、最高的点、最低的点、点集重心、投影的凸包面积、超体素的包围盒。

S2、对场景中所有可能是路灯的杆状物体进行定位；定位步骤包括：

S21、获取初始定位图；

(1)网格化过滤

非地面点首先沿着x轴和y轴划分为网格，见图3(a)所示的原始三维点云场景图和图3(b)所示的点云网格化的效果图，接下来沿着z轴计算出每一个网格中最大的z值，如果这个最大的z值在射线设定的范围(hlow,hhigh)内，则保留这个网格内的点，否则删除网格内的点。

(2)投影

见图3(c)网格化点云中的一个网格，对于网格内的每一个点p(x，y，z),公式(1)被用于求出每一个网格内所有f(z)的和，其中hlamp表示为路灯杆的高度，这个高度可以通过在点云中手动测量出。每一个网格内所有f(z)的和作为定位图的像素灰度值，由于图像灰度值的范围在[0-255]之间，因此需要求出最大f(z)的和进行归一化。所以接着求出所有网格中最大的f(z)的和，这个值标记为f′。

(3)密度差异化处理

若只用到了一个扫描头的数据，道路的两旁点云密度相差较大，这个时候需要降低f′的值。用公式f′＝α·f′来完成(本例中α值大小为0.67)。

(4)初始定位图生成

当f′获得后，公式(2)被用来进行归一化生成初始定位图F。fk表示标记为k的网格的f(z)的和。所有网格都经过公式(2)的处理。M为像素灰度值的最大值255。

接下来新生成的图像再运用高斯差算法除去图像的低频信息，保留高频信息，见以下的公式(3)，从而生成了初始定位图，见图3(d)所示的初始定位图，图中的圈内表示图3(c)中的特定网格对应的像素。

F＝F-Gaussian(F) (3)

S22、若获取的点云道路两边密度差异较大，则使用球体下落算法获得最终定位图，若密度差异不大则直接生成最终定位图；

(1)下落条件

在每一个网格中，如果这个网格内有足够多的点大于一定的阈值。并且最大z坐标的值大于一定的阈值。那么一个半径为rb的虚拟球体放置在这个网格上的最高点上准备下落，见图4(a)，当球心到达地面的时候，球体停止下落，见图4(d)。

(2)搜寻符合条件的超体素

在球体下落的过程中，如果有足够多的超体素的重心在球体的半径范围内(见图4(b)所示搜寻符合条件的超体素，并且计算从球心至超体素重心的平均距离)，并且这些超体素的平面投影凸包面积小于一定的阈值st(见图4(c)凸包面积的计算)，这个时候球体下落的位置就可能是路灯杆的位置，需要加强这个位置的检测，即提高定位图中这个位置的像素灰度值，让其更亮。

(3)添加相应的像素值

检测出定位图上需要加强灰度值的位置后，需要计算灰度值增加量。灰度值增加量与球体下落的过程遇到的符合条件的超体素的数目和超体素距球体中心的位置有关系。最终定位图的反向图见图3(e)。

S23、最终定位图生成。

当球体下落算法对于所有的网格都执行后，最终的定位图生成。这个时候设置一个像素灰度值pt，使用广度优先搜索算法获得连接区域(connected area)，当获得连接区域以后，每一个区域的中心点就当作是杆状物体的位置，见图2(d)杆状物体的定位和图3(f)(图中的点表示最后检测到的杆状物体的位置)。每一个检测到的位置被赋予一个唯一的ID号，见图2(e)。

S3、进行位置导向分割得到杆状物体

位置导向分割分为两个主要的步骤，第一步是杆状物体竖杆的提取；第二步是杆状物体路灯泡部分的提取。位置导向分割主要是把未分类的超体素根据检测出的位置而进行分类，从而分割出杆状物体。检测出的每一个杆状物体的位置都进行超体素的分类。这个分类的顺序由杆状物体的位置所对应的最终生成定位图上像素灰度值大小所决定。灰度值越大，这个杆状物体的位置越先进行超体素的分类。具体分析如下：

(1)提取杆状物体的竖杆部分

位置导向分割首先提取杆状物体的竖杆部分，根据路灯杆的高度和横截面积这两个特征，三个条件被设计出来用于超体素的分类。

重心条件

见图2(f)所示的杆状物体的分割，通常来说路灯杆是垂直于路面，并且在一个网格内路面点的z坐标几乎都是一样的。所以一个未分类的超体素的重心g到一个检测出的位置lk的距离dis(g，lk)可以由公式4计算获得。

(xg，yg)和分别是未分类的超体素的重心g和检测出的位置lk的平面坐标。dis(g，lk)的值应该小于dg，见图5(a)所示的杆状物体的超体素以及图5(b)所示的一个超体素的重心到检测出的杆状物体位置的距离。

比例条件

一个未分类超体素上的点ps到检测出的位置lk的距离也可以由上述的公式4计算获得。这个距离应该小于din，见图5(c)所示的超体素上的点到检测出的杆状物体位置的距离。符合此条件的点占未分类超体素内全部点的比例应该高于λ(本例中λ设置为0.5)。

整体条件

满足以上两个条件的未分类的超体素集sk可以计算获得。如果这个超体素集sk内超体素的数目N(sk)大于事先设定的阈值n1，并且sk上面所有超体素的点的数目Np(sk)大于事先设定的阈值np，那么检测出的位置lk的ID号将被赋值给超体素集sk内所有的超体素，见图5(d)所示提取出的杆状物体的竖杆部分。

(2)提取杆状物体的灯泡部分

这一步主要是提取路灯杆的上部灯泡部分，从一个路灯杆的构造观察可以得出如果一个未分类的超体素距分割得出的杆状物体的竖杆的顶端很近，并且在其上部，同时这个超体素在检测位置一定范围内，那么就可以推断出这个未分类的超体素很有可能属于这个检测出的位置的杆状物体。基于以上观察，本步骤的详细过程如下所示。

添加种子超体素

首先，在位置lk上，上一步骤分割得到的杆状物体的顶点ppe(xpe，ype，zpe)可以计算获得(即在位置lk上分类得到的超体素集sk的顶点)。超体素的重心在该顶点re长度范围内的超体素集可以搜索得到，见图6(a)所示的添加种子超体素集的示意图。这样的超体素集作为种子超体素集sseed被添加进队列Q里。种子超体素集sseed内的超体素被添加进队列的顺序由超体素的重心到顶点ppe的距离所决定，距离越小，越先被添加进队列Q中。接下来队列Q里的首元素被作为种子超体素u并且被移出队列Q。

扩展

获得种子超体素u后，u的重心临近范围re长度内的未分类的超体素集可以获得，见图6(b)所示的搜寻临近超体素集。接下来设置了三个添加超体素集中超体素sn到队列Q的条件，以下是三个条件。

(1)u的最高点z坐标的值要小于sn内最低点的z坐标加上lg的值，见图6(c)所示的超体素高度的位置关系。

(2)sn的最高点的z坐标的值要小于已估算出的路面高度的值hg加上路灯杆高度hlamp的值，见图6(d)所示的高度上限。

(3)sn的包围盒的八个角点到检测位置lk的距离的最大值要小于ds，见图6(e)所示的偏移距离，此距离可以由公式4获得。

超体素分类

满足以上三个条件的未分类的超体素归类于已经属于位置lk的超体素集sk(即把lk的ID号赋值给满足以上三个条件的未分类的超体素集)。同时把这些超体素集中的超体素按照超体素的重心到种子超体素的重心的距离长度，从小到大依次添加进入队列Q。

扩展的终止条件

接下来把队列Q中的首元素作为一个新的种子超体素。以上的这个过程一直重复到队列Q为空为止。每一个检测出的位置都进行这种位置导向分割来分类未分类的超体素。分割后的效果图见图2(f)。分割得到的物体的最高点psu(xsu，ysu，zsu)可以计算获得。接下来向量vh可以由公式vh＝(xsu-xpe，ysu-ype，zsu-zpe)。最后向量vh与向量(0,0,1)之间的夹角可以计算得出用于后面的分类。

S4、通过提取的特征用来描述分割得到的杆状物体

两大类特征(杆特征和全局特征)被设计出用来描述分割得到的杆状物体，见图2(g)所示的特征计算示意图。

(1)计算杆特征

完成提取杆状物体的竖杆部分的步骤后，以下九个特征被计算得出来描述杆状物体的竖杆部分，分别是：(1)杆的高度；(2)杆上点的平均高度；(3)杆上点的高度的标准差；(4)杆上超体素二维投影凸包面积的平均值；(5)杆上超体素二维投影凸包面积的标准差；(6)杆的二维投影的凸包面积；(7)杆的体积；(8)杆上点的数目；(9)杆上超体素二维投影凸包面积小于st的超体素的数目。

(2)计算全局特征

完成提取杆状物体的灯泡部分的步骤后，以下十个特征被计算得出用来描述物体的整体特征，分别是：(1)物体高度；(2)物体上所有点的平均高度；(3)物体上所有点的高度标准差；(4)物体对应最终定位图的像素灰度值的大小(见图3(e))；(5)物体上所有点的二维平面投影凸包面积；(6)物体体积；(7)物体的重心与几何重心的高度差；(8)物体上所有点的数目；(9)在分割的第一个步骤后得到的竖杆上的顶点1m范围内的超体素的数目；(10)向量vh与向量(0,0,1)之间的夹角。

S5、分类

通过事先训练好的分类器识别出路灯杆和非路灯杆。描述杆状物体的特征向量在分类之前要进行归一化处理。使用人工标记好的数据集对分类器支持向量机(SVM)和随机森林(random forest)进行训练，训练样本见图7(a)正的训练样本和图7(b)负的训练样本。接着使用训练好的支持向量机和随机森林对分割出来的杆状物体进行分类，从而最终提取出路灯杆。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (1)

1.基于车载激光扫描点云的路灯杆自动提取方法，其特征在于：包括以下步骤：

S1、进行过滤地面点以及把非地面点分割成超体素集的预处理；

其中，步骤S1包括：

S11、根据车载激光扫描系统采集到的行车轨迹数据，将点云沿着道路的方向进行分割成段；

S12、使用基于随机抽样一致性算法对每段数据进行地面点的过滤，以获得非地面点；

S13、使用超体素的分割算法把所述非地面点分割成超体素集，计算每一个超体素包括点的数目、最高的点、最低的点、点集重心、投影的凸包面积以及超体素的包围盒的特征；

S2、对非地面点中所有可能是路灯的杆状物体进行定位；

其中，步骤S2包括：

S21、对所述非地面点进行网格化过滤，以生成网格化点云，并对所述网格化点云进行投影处理和密度差异化处理，以获得初始定位图；

S22、获取所述网格化点云中每个网格所包含的点的数量以及每个网格所对应的最高点的Z坐标值，并在网格所包含的点的数量大于数量阈值且网格所对应的最高点的Z坐标值大于预设高度阈值时，根据球体下落算法确定所述初始定位图中杆状物体的位置，以及根据所述杆状物体的位置对初始定位图进行灰度值调整，以获取最终定位图；

S3、对所述超体素集进行位置导向分割得到杆状物体；

其中，步骤S3包括：

S31、提取杆状物体的竖杆部分，根据重心条件：

其中，dis(g,l_k)表示超体素的重心g到杆状物体位置的距离，(x_g,y_g)表示超体素的重心g的平面坐标，

表示杆状物体位置的平面坐标；

比例条件：

与杆状物体位置之间的距离小于din的超体素的点与超体素内全部点的比例高于λ；

和整体条件：

满足重心条件和比例条件的超体素集记为sk，如果超体素集sk内超体素的数目N(sk)大于事先设定的阈值n1，并且sk上面所有超体素的点的数目Np(sk)大于事先设定的阈值np，那么检测出的位置lk的ID号将被赋值给超体素集sk内所有的超体素，以对杆状物体的竖杆部分进行提取；

S32、提取杆状物体的灯泡部分，计算杆状物体的顶点ppe(xpe，ype，zpe)，并将重心与该顶点之间的距离小于预设距离的超体素集作为种子超体素集，以及根据超体素的重心与顶点之间的距离将种子超体素集中的超体素按序添加到队列Q中；

S33、将首位种子超体素u移出队列Q，并获取重心与该种子超体素u之间的距离小于预设长度的超体素集，以及将符合预设条件的超体素sn添加入队列Q中；

其中，预设条件包括：

u的最高点z坐标的值要小于超体素sn内最低点的z坐标的值加上 lg的值；

sn的最高点的z坐标的值要小于已估算出的路面高度的值hg加上路灯杆高度hlamp的值；

sn的包围盒的八个角点到杆状物体位置lk的距离的最大值要小于dis ；

S34、重复步骤S33，直至队列Q为空，以完成杆状物体灯泡部分的提取，并计算分割得到的杆状物体的最高点，以及计算该最高点对应的向量；

S4、通过提取的杆特征和全局特征用来描述分割得到的杆状物体；

其中，步骤S4包括：

S41、计算杆状物体的竖杆部分所对应的杆特征；

其中，杆特征包括：杆的高度、杆上点的平均高度、杆上点的高度的标准差、杆上超体素二维投影凸包面积的平均值、杆上超体素二维投影凸包面积的标准差、杆的二维投影的凸包面积、杆的面积、杆上点的数目和杆上超体素二维投影凸包面积小于st的超体素的数目；

S42、计算杆状物体的灯泡部分所对应的全局特征；

其中，全局特征包括：物体高度、物体上所有点的平均高度、物体上所有点的高度的标准差、物体对应最终定位图的像素灰度值的大小、物体上所有点的二维平面投影凸包面积、物体体积、物体的重心与几何重心的高度差、物体上所有点的数目、分割得到的竖杆上的顶点1m范围内的超体素的数目和向量之间的夹角；

S5、用人工标注好的训练样本对随机森林和分类器支持向量机进行训练，使用训练好的随机森林和分类器支持向量机对步骤S3分割出来的杆状物体进行分类，最终识别出路灯杆。

Images