CN110647835A - 基于3d点云数据的目标检测与分类方法和系统 - Google Patents

Abstract

本发明涉及激光雷达检测技术领域，特别涉及一种基于3D点云数据的目标检测与分类方法，包括如下步骤：(A)对原始点云数据进行地平面的拟合和分割得到地面点和非地面点；(B)对非地面点进行聚类处理得到多个各自独立的点云簇；(C)计算每个点云簇的尺寸和平均曲率值；(D)将计算值与已有的先验值进行比较得到每个点云簇对应的目标类型；并公开了分类系统。通过对原始点云数据进行地平面拟合找出非地面点，对非地面点进行聚类处理使得每个目标所对应的点划分在同一个点云簇中，然后通过对点云簇的尺寸和平均曲率值两个特征的提取、比较确定点云簇所对应的目标类型，该处理方法数据量小、处理速度快，并且使用这两个特征进行目标分类准确率非常高。

Description

基于3D点云数据的目标检测与分类方法和系统

技术领域

本发明涉及激光雷达检测技术领域，特别涉及一种基于3D点云数据的目标检测与分类方法和系统。

背景技术

近年来我国汽车工业一直保持着平稳的发展趋势，无人驾驶技术代表着整个产业的最新发展方向，此项技术的目的是全面提升汽车驾驶的安全性，舒适性及稳定性，满足更高的市场需求。

随着经济社会的不断发展，城市化步伐的不断加速，城市道路的交通状况显得越来越复杂，在无人驾驶领域，实时的行人、车辆检测有着重要的意义。如：可以通过检测道路两侧行人、车辆的行驶状态，从而合理安排控制决策系统进行规避与超车。总之，实时并能快速地进行目标检测与分类在无人驾驶技术中的应用非常重要。

根据数据来源的不同，目标检测主要分为基于图像的方法和基于雷达数据的方法。基于序列图像的目标检测存在的突出问题就是图像处理的数据量大，算法的实时性差,而且难以获得目标的深度信息。为了改善上述问题，在无人驾驶领域中的目标检测多采用基于雷达数据的方法，激光雷达具有数据量小、测距精度高、实时性能好等优点。但是，如何将雷达数据准确的处理成目标信息是一个急需解决的难点。

发明内容

本发明的目的在于提供一种基于3D点云数据的目标检测与分类方法，可以快速、准确的实现目标的检测和分类。

为实现以上目的，本发明采用的技术方案为：一种基于3D点云数据的目标检测与分类方法，包括如下步骤：(A)对原始点云数据进行地平面的拟合和分割，得到地面点P_g和非地面点P_ng；(B)对非地面点P_ng进行聚类处理，得到多个各自独立的点云簇P_i；(C)对于每个点云簇P_i，根据点云簇P_i中所有点的坐标计算点云簇P_i的尺寸，根据点云簇P_i中所有扫描线的曲率计算点云簇P_i的平均曲率值；(D)将每个点云簇P_i的尺寸和平均曲率值与已有的先验值进行比较得到每个点云簇P_i所对应的目标类型。

与现有技术相比，本发明存在以下技术效果：通过对原始点云数据进行地平面拟合可以区分出地面点和非地面点，然后对非地面点进行聚类处理，使得每个目标所对应的点划分在同一个点云簇中，然后通过对点云簇的尺寸和平均曲率值两个特征的提取、比较确定点云簇所对应的目标类型，该处理方法数据量小、处理速度快，并且使用这两个特征进行目标分类准确率非常高。

本发明的目的在于提供一种点云数据的目标检测与分类系统，可以快速、准确的实现目标的检测和分类。

为实现以上目的，本发明采用的技术方案为：包括扫描单元、滤波单元、点云处理单元和模式识别单元，所述的扫描单元用于扫描获取原始点云数据，滤波单元用于滤除原始点云数据中的杂波信号，点云处理单元按如下步骤对滤波后的原始点云数据进行处理：(A)对原始点云数据进行地平面的拟合和分割，得到地面点P_g和非地面点P_ng；(B)对非地面点P_ng进行聚类处理，得到多个各自独立的点云簇P_i；(C)对于每个点云簇P_i，根据点云簇P_i中所有点的坐标计算点云簇P_i的尺寸，根据点云簇P_i中所有扫描线的曲率计算点云簇P_i的平均曲率值；模式识别单元将每个点云簇P_i的尺寸和平均曲率值与已有的先验值进行比较得到每个点云簇P_i所对应的目标类型并将识别结果输出。

与现有技术相比，本发明存在以下技术效果：通过对原始点云数据进行地平面拟合可以区分出地面点和非地面点，然后对非地面点进行聚类处理，使得每个目标所对应的点划分在同一个点云簇中，然后通过对点云簇的尺寸和平均曲率值两个特征的提取、比较确定点云簇所对应的目标类型，该处理方法数据量小、处理速度快，并且使用这两个特征进行目标分类准确率非常高。

附图说明

图1是本发明的流程示意图；

图2是本发明的原理框图。

具体实施方式

下面结合图1至图2，对本发明做进一步详细叙述。

参阅图1，一种基于3D点云数据的目标检测与分类方法，包括如下步骤：(A)对原始点云数据进行地平面的拟合和分割，得到地面点P_g和非地面点P_ng；(B)对非地面点P_ng进行聚类处理，得到多个各自独立的点云簇P_i；(C)对于每个点云簇P_i，根据点云簇P_i中所有点的坐标计算点云簇P_i的尺寸，根据点云簇P_i中所有扫描线的曲率计算点云簇P_i的平均曲率值；(D)将每个点云簇P_i的尺寸和平均曲率值与已有的先验值进行比较得到每个点云簇P_i所对应的目标类型。通过对原始点云数据进行地平面拟合可以区分出地面点和非地面点，然后对非地面点进行聚类处理，使得每个目标所对应的点划分在同一个点云簇中，然后通过对点云簇的尺寸和平均曲率值两个特征的提取、比较确定点云簇所对应的目标类型，该处理方法数据量小、处理速度快，并且使用这两个特征进行目标分类准确率非常高。

从原始点云数据中分割出地面点和非地面点的处理方法有很多，本发明中优选地，所述的步骤A中，包括如下步骤：(A1)对原始点云数据，选取z＝0的点作为初始地面点P_g；(A2)根据初始地面点P_g的坐标，采用最小二乘法拟合平面，求解出平面方程Ax+By+Cz+D＝0中A、B、C、D的值得到地平面的线性模型；(A3)遍历原始点云数据中的所有点，根据以下公式计算每个点到地平面的距离：

(A4)将每个点的距离值h_dist与预先设定好的阈值距离Th_dist进行比较，若h_dist＞Th_dist，则将该点归入非地面点P_ng，否则，将该点归入地面点P_g；(A5)将步骤A4计算得到的地面点P_g作为初始地面点代入步骤A2中，重复执行步骤A2-A4，直至达到迭代次数N_iter，这里的迭代次数N_iter预先设置好；(A6)将最后一次计算得到的地面点P_g和非地面点P_ng作为最终的分类结果。

本发明中接受具有最低高度值的点为最可能属于地面的假设，该先验知识为拟合平面的初始地面点提供了依据；相对于典型的平面拟合技术，例如RANSAC中的随机选择初始地面点，有着更快的收敛效果；通过计算点在地面的投影高度是否在阈值距离内，以此更新地面点；进行多次迭代拟合地面，提高地面模型的适应性与准确度。

同样地，对于非地面点P_ng聚类处理也有很多方案可以实现，本发明中优选地，所述的步骤B中，包括如下步骤：(B1)将非地面点P_ng分为多个大组，其中同一条扫描线上的非地面点P_ng分为一组；(B2)将每个大组分为多个小组，其中每个小组中任意两个相邻点之间的距离小于等于合并阈值Th_merge；(B3)将不同大组中的小组进行合并，其中任意两个相邻扫描线中的两个小组中的最近邻点之间的距离小于合并阈值Th_merge时则合并这两个小组；(B4)合并后在同一个组内的点即构成一个点云簇Pi；以上步骤中，从同一个LiDAR环产生的一层点即为一条扫描线，LiDAR(Light Detection And Ranging)即激光探测与测量，也就是激光雷达。这里首先根据扫描线进行初步分组，然后将同一扫描线中的距离过大的点分成不同小组，最后将各扫描线中的小组进行组合，这样可以很快的实现非地面点P_ng聚类处理，并且处理的准确率比较高。

在通过程序实现时，有很多实现方式。本发明中优选地，采用标签实现分组，以上步骤B1-B4具体通过以下步骤来实现：(B1’)从顶部扫描线开始以逆时针方式遍历，形成扫描线的runs并且每条扫描线都分配有自己的标签，这就相当于步骤B1，按照扫描线分为多个大组；(B2’)对于每条扫描线中的点，如果与后接点的间距大于合并阈值Th_merge，则为后接点分配新的标签，形成新的runs，这就相当于步骤B2，将每个大组分为多个小组；(B3’)将第一条扫描线的runs记为runsAbove；当第二条扫描线的runs中的点与某一个runsAbove中的最近邻点之间的距离小于等于合并阈值Th_merge时，则该runsAbove的标签传递到第二条扫描线的runs；当第二条扫描线的runs中的点与多个runsAbove中的最近邻点之间的距离均小于等于合并阈值Th_merge时，则标签数值最小的那个runsAbove的标签传递到第二条扫描线的runs；当第二条扫描线的runs中的点与所有runsAbove中的最近邻点之间的距离均大于合并阈值Th_merge时，则第二条扫描线的runs成为新的runsAbove；依次对其他扫描线执行上述标签传递过程；(B4’)标签相同的点即构成一个点云簇P_i；以上步骤中，每条扫描线中的点构成的点向量即为runs，标签按从小到大进行编号。

在执行步骤B1’和B2’后，每个runs都被分配有标签，且标签是从小到大进行编号的。这样处理后，当执行步骤B3’时，如果出现某个新的runs与之前多个runsAbove最近邻点之间的距离均小于等于合并阈值Th_merge的情况时，可以保证这个新的runs只继承其中一个runsAbove的标签，进一步提高非地面点P_ng聚类处理的准确性。

本发明中，利用扫描线来遍历非地面点P_ng，通过欧氏距离的阈值划分不同点云簇，逐步实现点之间、扫描线之间的聚类融合；再利用扫描线生成的点向量作为点云簇的构成，相对于原先的KD-树索引，增加了点在扫描线中的索引，为后续计算扫描线的曲率提供了条件基础，同时加速在聚类过程中的搜索速度。

进一步地，所述的步骤C中，按如下步骤计算点云簇P_i的尺寸：(C11)根据点云簇P_i中所有点的坐标，计算其中心点P_center＝average(P_i)，求出中心位置[X_center，Y_center，Z_center]，点云簇P_i中心点坐标其实就是对该点云簇P_i中所有点的坐标求取平均值；(C12)遍历点云簇P_i中所有点，获取点与中心点之间的距离极值[ΔX_MAX，ΔY_MAX，ΔZ_MAX]；(C13)根据距离极值计算点云簇P_i的近似尺寸[l_i，m_i，n_i]，实际计算时，可以按照公式[l_i，m_i，n_i]＝[k*ΔX_MAX，k*ΔY_MAX，k*ΔZ_MAX]计算，其中的k为1-2之间的某个常数。当然，在计算点云簇P_i的尺寸时，也可以根据点云簇P_i中所有点的坐标来拟合出最小外接长方体，并以此长方体的体积作为点云簇P_i的尺寸；或者采用其他的算法来计算。由于本案中，只是将点云簇P_i的尺寸作为一个特征值进行后续的目标类型识别，并不需要准确的尺寸值，所以这里采用步骤C11-C13这种方案来计算近似尺寸，提高数据处理速度。

进一步地，所述的步骤C中，按如下步骤计算点云簇P_i的平均曲率值：(C21)对于每一个点云簇P_i中的点，检索其扫描线编号num，将点云簇P_i中的点按扫描线的编号num，分为点向量lines；(C22)将点向量lines中的点进行投影，消除高度z与其余点信息的影响，保留在XY平面上的位置信息[x，y]；(C23)遍历投影后的点向量lines，获取lines中的前点P_front、中间点P_mid、后点P_end；(C24)根据三个点的投影坐标，计算由该三点构成的三角形的边长a、b、c；(C25)根据公式

计算该三角形的面积，其中p＝(a+b+c)/2；(C26)根据公式R＝abc/4S计算该三角形的外接圆半径即为扫描线的曲率值；(C27)对点云簇P_i中所有扫描线的曲率值求取平均值即得到点云簇P_i的平均曲率值R_average。

本发明中，利用扫描线前、中、后三点构成三角形，通过计算三角形的外接圆半径，近似获取扫描线的曲率；相较于将扫描线中的点拟合曲线，以此求取曲率，提升了算法的适应广度；同时行人与车辆的扫描线曲率有明显的差异，曲率判别的准确度可以得到保证。另外，原始点云数据是通过激光雷达发射激光线束至物体表面反射回来得到的，而激光雷达具有上下俯仰角，因此扫描线也是有俯仰角的，通过步骤C22中的投影，可以剔除俯仰角的影响，进一步提高曲率计算的准确性。

如何根据点云簇P_i的尺寸和平均曲率值判断该点云簇P_i对应的目标物类型，本发明中提供了两种具体的实施方式供参考。

实施例一，所述的步骤D中，包括如下步骤：(D11)将已知目标物的原始点云数据按照步骤A-C进行处理得到该目标物对应的尺寸和平均曲率值，这里可以将同一个目标物放在不同位置、不同距离进行多次处理得到多个尺寸和平均曲率值，然后求取平均值；(D12)将目标物的{类型、尺寸、平均曲率值}作为先验值存储，先验值可以有很多组，比如包括三组：车辆、行人、其他，也可以更为细化，比如：大型车辆、小型车辆、非机动车、行人、其他；(D13)将每个点云簇P_i的尺寸和平均曲率值与先验值比较，若点云簇P_i的尺寸与某个类型的尺寸差值小于设定阈值且该点云簇P_i的平均曲率值与该类型的平均曲率值差值小于设定阈值，则点云簇P_i即为该类型目标物，这里的尺寸差值阈值和平均曲率值差值阈值都是预先设定好的，在对未知目标物进行识别时，只需要与先验值进行计算差值计算即可。

实施例二，所述的步骤D中，包括如下步骤：(D21)将已知目标物的多个原始点云数据按照步骤A-C进行处理得到该目标物对应的尺寸范围和平均曲率值范围，这里可以将同一个目标物放在不同位置、不同距离进行多次处理得到多个尺寸和平均曲率值，然后根据多个尺寸确定尺寸范围，根据多个平均曲率值确定平均曲率值范围；(D22)将目标物的{类型、尺寸范围、平均曲率值范围}作为先验值存储，同步骤D12，这里的先验值可以存储很多组；(D23)将每个点云簇P_i的尺寸和平均曲率值与先验值比较，若点云簇P_i的尺寸在某个类型的尺寸范围内且该点云簇P_i的平均曲率值在该类型的平均曲率值范围内，则点云簇P_i即为该类型目标物。这种识别方式下，无需设置差值阈值，在对未知目标物进行识别时，只需要判断是否在先验值范围内即可。

进一步地，所述的步骤A中，若激光雷达扫描获取的原始点云数据密度大于设定阈值，则对原始点云数据进行降采样处理；因为原始点云数据可能存在密度过大的问题，我们可以预先进行降采样处理，减少算法运行时间。所述的步骤D中，包括步骤：(D0)设置尺寸上限阈值和尺寸下限阈值，若点云簇P_i的尺寸大于尺寸上限阈值或小于尺寸下限阈值，则舍弃该点云簇P_i，否则保留该点云簇P_i；并将保留下来的点云簇P_i的尺寸和平均曲率值与已有的先验值进行比较得到每个点云簇P_i所对应的目标类型。设置尺寸上限阈值和尺寸下限阈值，剔除体积过大或过小的目标，比如大面积的墙体或者点云噪声，减少目标算法的运行时间，提高数据处理速度。

参阅图2，本发明还公开了一种点云数据的目标检测与分类系统，包括扫描单元、滤波单元、点云处理单元和模式识别单元，所述的扫描单元用于扫描获取原始点云数据，滤波单元用于滤除原始点云数据中的杂波信号，点云处理单元按步骤A-C对滤波后的原始点云数据进行处理得到多个各自独立点云簇P_i的尺寸和平均曲率值；模式识别单元将每个点云簇P_i的尺寸和平均曲率值与已有的先验值进行比较得到每个点云簇P_i所对应的目标类型并将识别结果输出。通过对原始点云数据进行地平面拟合可以区分出地面点和非地面点，然后对非地面点进行聚类处理，使得每个目标所对应的点划分在同一个点云簇中，然后通过对点云簇的尺寸和平均曲率值两个特征的提取、比较确定点云簇所对应的目标类型，该处理方法数据量小、处理速度快，并且使用这两个特征进行目标分类准确率非常高。

Claims (10)

1.一种基于3D点云数据的目标检测与分类方法，其特征在于：包括如下步骤：

(A)对原始点云数据进行地平面的拟合和分割，得到地面点P_g和非地面点P_ng；

(B)对非地面点P_ng进行聚类处理，得到多个各自独立的点云簇P_i；

(C)对于每个点云簇P_i，根据点云簇P_i中所有点的坐标计算点云簇P_i的尺寸，根据点云簇P_i中所有扫描线的曲率计算点云簇P_i的平均曲率值；

(D)将每个点云簇P_i的尺寸和平均曲率值与已有的先验值进行比较得到每个点云簇P_i所对应的目标类型。

2.如权利要求1所述的基于3D点云数据的目标检测与分类方法，其特征在于：所述的步骤A中，包括如下步骤：

(A1)对原始点云数据，选取z＝0的点作为初始地面点P_g；

(A2)根据初始地面点P_g的坐标，采用最小二乘法拟合平面，求解出平面方程Ax+By+Cz+D＝0中A、B、C、D的值得到地平面的线性模型；

(A3)遍历原始点云数据中的所有点，根据以下公式计算每个点到地平面的距离：

(A4)将每个点的距离值h_dist与预先设定好的阈值距离Th_dist进行比较，若h_dist＞Th_dist，则将该点归入非地面点P_ng，否则，将该点归入地面点P_g；

(A5)将步骤A4计算得到的地面点P_g作为初始地面点代入步骤A2中，重复执行步骤A2-A4，直至达到迭代次数N_iter；

(A6)将最后一次计算得到的地面点P_g和非地面点P_ng作为最终的分类结果。

3.如权利要求1所述的基于3D点云数据的目标检测与分类方法，其特征在于：所述的步骤B中，包括如下步骤：

(B1)将非地面点P_ng分为多个大组，其中同一条扫描线上的非地面点P_ng分为一组；

(B2)将每个大组分为多个小组，其中每个小组中任意两个相邻点之间的距离小于等于合并阈值Th_merge；

(B3)将不同大组中的小组进行合并，其中任意两个相邻扫描线中的两个小组中的最近邻点之间的距离小于合并阈值Th_merge时则合并这两个小组；

(B4)合并后在同一个组内的点即构成一个点云簇P_i；

以上步骤中，从同一个LiDAR环产生的一层点即为一条扫描线。

4.如权利要求3所述的基于3D点云数据的目标检测与分类方法，其特征在于：所述的步骤B1-B4具体包括：

(B1')从顶部扫描线开始以逆时针方式遍历，形成扫描线的runs并且每条扫描线都分配有自己的标签；

(B2')对于每条扫描线中的点，如果与后接点的间距大于合并阈值Th_merge，则为后接点分配新的标签，形成新的runs；

(B3')将第一条扫描线的runs记为runsAbove；

当第二条扫描线的runs中的点与某一个runsAbove中的最近邻点之间的距离小于等于合并阈值Th_merge时，则该runsAbove的标签传递到第二条扫描线的runs；

当第二条扫描线的runs中的点与多个runsAbove中的最近邻点之间的距离均小于等于合并阈值Th_merge时，则标签数值最小的那个runsAbove的标签传递到第二条扫描线的runs；

当第二条扫描线的runs中的点与所有runsAbove中的最近邻点之间的距离均大于合并阈值Th_merge时，则第二条扫描线的runs成为新的runsAbove；

依次对其他扫描线执行上述标签传递过程；

(B4')标签相同的点即构成一个点云簇P_i；

以上步骤中，每条扫描线中的点构成的点向量即为runs，标签按从小到大进行编号。

5.如权利要求1所述的基于3D点云数据的目标检测与分类方法，其特征在于：所述的步骤C中，按如下步骤计算点云簇P_i的尺寸：

(C11)根据点云簇P_i中所有点的坐标，计算其中心点P_center＝average(P_i),求出中心位置[X_center，Y_center，Z_center]；

(C12)遍历点云簇P_i中所有点，获取点与中心点之间的距离极值[ΔX_MAX，ΔY_MAX，ΔZ_MAX]；

(C13)根据距离极值计算点云簇P_i的近似尺寸[l_i，m_i，n_i]。

6.如权利要求4所述的基于3D点云数据的目标检测与分类方法，其特征在于：所述的步骤C中，按如下步骤计算点云簇P_i的平均曲率值：

(C21)对于每一个点云簇P_i中的点，检索其扫描线编号num，将点云簇P_i中的点按扫描线的编号num，分为点向量lines；

(C22)将点向量lines中的点进行投影，消除高度z与其余点信息的影响，保留在XY平面上的位置信息[x，y]；

(C23)遍历投影后的点向量lines，获取lines中的前点P_front、中间点P_mid、后点P_end；

(C24)根据三个点的投影坐标，计算由该三点构成的三角形的边长a、b、c；

(C25)根据公式

计算该三角形的面积，其中p＝(a+b+c)/2；

(C26)根据公式R＝abc/4S计算该三角形的外接圆半径即为扫描线的曲率值；

(C27)对点云簇P_i中所有扫描线的曲率值求取平均值即得到点云簇P_i的平均曲率值R_average。

7.如权利要求1所述的基于3D点云数据的目标检测与分类方法，其特征在于：所述的步骤D中，包括如下步骤：

(D11)将已知目标物的原始点云数据按照步骤A-C进行处理得到该目标物对应的尺寸和平均曲率值；

(D12)将目标物的{类型、尺寸、平均曲率值}作为先验值存储；

(D13)将每个点云簇P_i的尺寸和平均曲率值与先验值比较，若点云簇P_i的尺寸与某个类型的尺寸差值小于设定阈值且该点云簇P_i的平均曲率值与该类型的平均曲率值差值小于设定阈值，则点云簇P_i即为该类型目标物。

8.如权利要求1所述的基于3D点云数据的目标检测与分类方法，其特征在于：所述的步骤D中，包括如下步骤：

(D21)将已知目标物的多个原始点云数据按照步骤A-C进行处理得到该目标物对应的尺寸范围和平均曲率值范围；

(D22)将目标物的{类型、尺寸范围、平均曲率值范围}作为先验值存储；

(D23)将每个点云簇P_i的尺寸和平均曲率值与先验值比较，若点云簇P_i的尺寸在某个类型的尺寸范围内且该点云簇P_i的平均曲率值在该类型的平均曲率值范围内，则点云簇P_i即为该类型目标物。

9.如权利要求1所述的基于3D点云数据的目标检测与分类方法，其特征在于：所述的步骤A中，若激光雷达扫描获取的原始点云数据密度大于设定阈值，则对原始点云数据进行降采样处理；所述的步骤D中，包括步骤：(D0)设置尺寸上限阈值和尺寸下限阈值，若点云簇P_i的尺寸大于尺寸上限阈值或小于尺寸下限阈值，则舍弃该点云簇P_i，否则保留该点云簇P_i；并将保留下来的点云簇P_i的尺寸和平均曲率值与已有的先验值进行比较得到每个点云簇P_i所对应的目标类型。

10.一种点云数据的目标检测与分类系统，其特征在于：包括扫描单元、滤波单元、点云处理单元和模式识别单元，所述的扫描单元用于扫描获取原始点云数据，滤波单元用于滤除原始点云数据中的杂波信号，点云处理单元按如下步骤对滤波后的原始点云数据进行处理：

(A)对原始点云数据进行地平面的拟合和分割，得到地面点P_g和非地面点P_ng；

(B)对非地面点P_ng进行聚类处理，得到多个各自独立的点云簇P_i；

(C)对于每个点云簇P_i，根据点云簇P_i中所有点的坐标计算点云簇P_i的尺寸，根据点云簇P_i中所有扫描线的曲率计算点云簇P_i的平均曲率值；

模式识别单元将每个点云簇P_i的尺寸和平均曲率值与已有的先验值进行比较得到每个点云簇P_i所对应的目标类型并将识别结果输出。

Images