CN109961440B - 一种基于深度图的三维激光雷达点云目标分割方法 - Google Patents

Abstract

本发明属于激光雷达技术领域，公开了一种基于深度图的三维激光雷达点云目标分割方法，所述方法包括将三维激光雷达获取的三维点云数据转化为二维深度图；计算深度图中每一列中相邻两点形成的角度值，遍历得到深度图所对应的角度矩阵；通过广度优先搜索算法遍历深度图，若深度图相邻位置上两点的角度差值小于指定阈值，则标记为同一类型，从而找出深度图中属于地面的部分，根据点云和深度图的映射关系去除地面点云数据；基于改进DBSCAN算法对非地面点云进行目标分割，按照自适应参数eps，判断是否为核心点时同时考虑空间欧式距离和角度距离。本发明在深度图上进行分割的效率得到提高，满足了实时性的要求，有效解决了欠分割和过分割问题。

Description

一种基于深度图的三维激光雷达点云目标分割方法

技术领域

本发明涉及激光雷达技术领域，具体为一种基于深度图的三维激光雷达点云目标分割方法。

背景技术

随着人工智能、大数据的不断发展，无人驾驶同样得到了广泛的关注，无人驾驶技术未来在辅助驾驶、解决城市问题、减少交通事故等起到关键的作用。通常道路环境下，无人车的交互对象一般是车辆和行人目标，因而稳定、实时检测复杂环境中的目标是无人车技术的研究重点，也为无人车后续的道路规划、智能决策等提供了感知基础。

目前在目标检测和识别领域，主要使用的传感器有很多种，使用较广泛的是摄像机和三维激光雷达。三维激光雷达以它的测距精度高、探测范围大以及不受照明条件影响的优势，而成为一种重要的环境主动感知技术，在无人车、移动机器人等领域得到广泛的应用。三维激光雷达产生的点云是海量、稀疏、无序的点集合，要实现对环境周围目标的识别，首先，最重要的一步是将点云聚类分离成独立的子集，每个子集对应于有物理意义的目标，这种分割为后续目标识别及追踪提供了重要基础，其次，算法运行时间和分割效果直接影响到后续数据处理，但是普通的聚类算法无法满足点云分割实时性和准确性，因此研究一种快速、准确的高效分割方法很有必要。

目前，国内外对点云分割研究大致分为基于特征、基于地面投影两类，第一类研究直接在三维空间构建复杂的特征，然后通过聚类算法对目标进行分割，这类基于特征的方法虽然可以取得较好的分割效果却往往有很大的时间和计算资源的消耗。第二类研究将点云投影至俯视平面，利用栅格高程图进行处理，首先判断单元格是否被占据，然后通过对占据的单元格进行聚类、特征提取从而来检测各种几何形状的障碍物，该类方法简单高效，但是栅格单元参数无法自适应调节，容易造成欠分割或者过分割。

总而言之，现有的点云分割方法主要存在以下问题和缺陷：

(1)激光雷达工作特性和无人车周围环境的复杂性使得生成的点云数据是稀疏、不均匀和有噪的，点云分割处理往往出现欠分割和过分割问题。

(2)现有的方法在处理三维点云分割上实时性上不高，在无人车场景下无法满足实时性要求。

发明内容

为了克服现有技术方案的不足，本发明提供了一种基于深度图的三维激光雷达点云目标分割方法，该方法从深度图的角度对点云数据进行处理，先取出地面点云数据，然后对非地面点云目标进行分割，保证算法的实时性，能有效地解决背景技术提出的问题。

本发明解决其技术问题所采用的技术方案，包括如下步骤：

S1：建立三维点云数据和深度图之间的映射关系:(x,y,z)→(r,c),从而将三维点云数据转化为前景深度图；

S2：计算深度图中每一列中相邻两点形成的角度值，遍历所有列，从而得到深度图所对应的角度矩阵；

S3：通过广度优先搜索算法遍历深度图，通过角度矩阵获取深度图中每个点的角度值，如果深度图上相邻两点的角度差值小于指定阈值，则将这两点标记为同一类型，从而找出深度图中属于地面的部分，根据三维点云数据和深度图之间的映射关系分离出地面点云数据；

S4：基于深度图的改进密度聚类算法DBSCAN对非地面点云数据进行目标分割；从而分离出属于不同簇的点云目标。

其中，步骤S1中，建立点云和深度图间的映射关系:(x,y,z)→(r,c),从而将三维点云数据转化为前景深度图具体包括：

S101：将三维点云数据任意三维数据点(x,y,z)通过映射公式转化为深度图的像素(r,c)，三维数据点到激光雷达的距离d作为该点的像素值，三维激光雷达中的激光器数目决定了深度图的行数，激光雷达水平旋转一周进行扫描的次数决定了深度图的列数；

r＝arcsin(z/d)/h

c＝arctan(y/x)/v

其中，r、c对应表示二维深度图的像素坐标；d表示数据点到三维激光雷达的距离，

x，y，z分别代表三维点云数据其x轴数值、y轴数值和z轴数值；v是激光雷达垂直角度分辨率，h是激光雷达水平角度分辨率。

S102：遍历点云中所有三维数据点，按照步骤S101的方式转化为深度图下的像素点，如果当前像素值已经存在，只保留最小的值，最终生成与该点云相对应的深度图。

其中，步骤S2中，基于深度图的角度阈值法实现地面点云的去除具体包括：

S201：逐列遍历深度图，并将遍历到的列作为当前列；

S202：以从下至上的方向遍历当前列，按照角度公式计算深度图中同一列相邻两个点A、B的角度值

S203：遍历所有的列，生成与深度图相对应的角度矩阵；

其中，角度公式表示为：

其中，

表示深度图第c列中r-1与r行相邻两个点之间的角度值；AC和BC分别为以AB为斜边的两直角边；a、b分别对应表示为相邻点A、B的垂直角度值，R_r-1,c表示为第r-1行第c列的像素值，R_r,c表示为第r行第c列的像素值。

所述步骤S3包括：

S301：从深度图底部的像素点开始遍历，通过角度矩阵获取深度图对应位置上的角度值，获取对应位置上的角度值，如果该点的角度值小于45度，则标记为地面点，反之标记为非地面点；

S302：从S301标记的地面点向未标记的四周相邻点进行扩展，与相邻点之间的角度差值大小不超过指定阈值，则标记邻居点也为地面点，否则标记为非地面点；

S303：重复步骤S302，直到深度图中所有的点都已经标记完成，最终分离出所有被标记为地面点的点云数据，并去除被标记为地面点的点云数据。

所述步骤S4包括：

S401：遍历深度图中还未被标记的点云数据点，并判断其是否为核心点，若该点云数据点为核心点，则将核心点和及其邻居点标记为同一聚类簇；

S402：根据S401选取的核心点，搜索该核心点的邻域，检测邻域内与该核心点空间欧式距离小于自适应参数eps的数据点，取出作为扩展点，如果已经被标记为其他聚类簇，则跳过；

S403：从未被标记的扩展点出发，重复步骤S401，S402，直至最终对整个深度图的标记；

S404：根据最终对深度图的标记关系，分离出属于不同聚类簇的点云目标。

步骤S401中判断该点云数据点为核心点的方法包括：

若某一点云数据点同时满足第一条件和第二条件，则表示该点为核心点；

第一条件：有MinPts个邻居点至该点云数据点的欧式距离，小于或等于自适应eps参数；

第二条件：有MinPts个邻居点至该点云数据点的角度距离，小于或等于角度距离阈值；

其中，MinPts表示DBSCAN算法中的参数，即最小样本数。

进一步的，角度距离的计算方法包括：

β＝arctan(||d₂×sinω||÷||d₁-d₂×cosω||)；

其中，β表示角度距离；d₂为点云数据点对应三维雷达扫描线的距离，d₁为邻居点对应的三维雷达扫描线的距离；ω为两路扫描线在水平方向上的角度值。

进一步的，自适应参数的计算方法包括：

其中，L为聚类区域步长，ρ为聚类半径系数，(x,y,z)为该数据点在雷达坐标系下的三维坐标；x，y，z分别代表三维点云数据其x轴数值、y轴数值和z轴数值。

本发明的有益效果：

(1)本发明避免了直接对三维点云数据进行分割，而是转为深度图上处理，极大地提高了点云分割的实时性。

(2)本发明利用相邻目标在角度距离上的差异，从而有效地分割点云数据，在点云数据不均匀和目标相邻的情况下也能较好地实现点云分割。

附图说明

图1是本发明中基于深度图的点云目标分割方法的流程图；

图2是本发明中三维点云数据通过映射转化为深度图的示例；

图3是本发明中采用的激光雷达扫描角度示意图；

图4是本发明中一种实现方式的地面去除结果图；

图5是本发明中采用的角度距离示意图；

图6是本发明中一种实现方式的分割算法的时间效率对比图；

图7是本发明中一种实现方式的点云目标分割对比结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。下面结合附图和实施例，对本发明的具体实施方式做进一步详细描述。以下是实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本发明采用的一种基于深度图的三维激光雷达点云目标分割方法包括以下步骤：

S1：建立三维点云数据和深度图之间的映射关系,从而将三维点云数据转化为前景深度图；

S2：计算深度图中每一列中相邻两点形成的角度值，遍历所有列，从而得到深度图所对应的角度矩阵；

S3：通过广度优先搜索算法遍历深度图，通过角度矩阵获取深度图中每个点的角度值，如果深度图上相邻两点的角度差值小于指定阈值，则将这两点标记为同一类型，从而找出深度图中属于地面的部分，根据三维点云数据和深度图之间的映射关系分离出地面点云数据；

S4：基于深度图的改进密度聚类算法DBSCAN对非地面点云数据进行目标分割；从而分离出属于不同簇的点云目标。

步骤S11中，建立点云和深度图间的映射关系:(x,y,z)→(r,c),从而将三维点云数据转化为前景二维深度图具体包括：

S101：为了将激光雷达的三维点云转换为二维深度图，必须将三维空间中的点投影到可以展开的圆柱形表面上，以将其平面化，三维直角坐标与圆柱坐标间的转换如图2中的投影映射关系所示，三维点云数据中任意三维数据点(x,y,z)通过下式转化为二维深度图的元素(r,c)，三维数据点到激光雷达的距离d作为该点的像素值，激光器的数目就决定了深度图的行数，激光雷达旋转一周扫描决定了深度图的列数。三维激光雷达以固定的角频率旋转扫描，获得周围环境信息，同一激光器的数据被称为一个扫描线，常用的如64线、32线激光雷达，即指同时有64个、32个激光器对周围进行扫描。其中，LiDAR Point Cloud指的是激光雷达点云数据；图2中Camera View视图为当前无人车周围环境情况，将三维激光雷达获取的点云数据LiDAR Point Cloud进行可视化展示，通过Spheriacl projection投影将点云数据转化为对应的深度图形式，不同的矩形框中是当前场景下不同的行人目标；

其中，

v是激光雷达垂直角度分辨率，h是激光雷达水平角度分辨率。

S102：遍历点云中所有三维数据点，按照步骤S101的方式，最终生成深度图，如图2中的深度图所示。

步骤S2中，基于深度图的角度阈值法实现地面点云的去除具体包括：

S201：以列为单位遍历深度图，并将遍历到的列作为当前列；

S202：按照从下至上的方向遍历当前列，图3所示即为在指定场景下，无人车移动过程中的三维激光雷达两个扫描线形成的角度示意图，激光雷达中多个激光器固定在不同的垂直角度，水平旋转扫描周围环境信息，地面点处于点云数据中相对最低处且高度变化不大，图中两条相邻激光扫描线与地面Ground相交于A、B两点，可按照下式计算深度图中相邻两个点的角度

||AC||＝||R_r-1,c×sin(a)-R_r,c×sin(b)||；

||BC||＝||R_r-1,c×cos(a)-R_r,c×cos(b)||；

其中，a、b分别为相邻点A、B的垂直角度值，R_r-1,c为第r-1行第c列的像素值，R_r,c为第r行第c列的像素值。

所述步骤S3包括：

S301：从深度图底部的像素点开始遍历，通过角度矩阵获取深度图对应位置上的角度值，获取对应位置上的角度值，如果该点的角度值小于45度，则标记为地面点，反之标记为非地面点；

S302：从S301标记的地面点向未标记的四周相邻点进行扩展，与相邻点之间的角度差值大小不超过指定阈值，则标记邻居点也为地面点，否则标记为非地面点；

S303：重复步骤S302，直到深度图中所有的点都已经标记完成，最终分离出所有被标记为地面点的点云数据，并去除被标记为地面点的点云数据。

S304：未被处理的地面点按照S303步骤去扩展标记地面点，直到所有的点都已经标记完成，最终分离出所有被标记为地面点数据；

S305：通过深度图和点云的映射关系把深度图上所有标记为非地面转化为对应的三维点云数据，最终实现地面点云的去除，去除地面后的点云如图4所示。

其中，步骤S4中，基于深度图的改进DBSCAN算法对非地面点云目标分割具体包括：

S401：遍历深度图中还未被标记的数据点并判断是否为核心点，判断该数据点是否为核心点时，考虑与邻居点的空间欧式距离和角度距离，如果同时满足欧式距离和角度距离的邻居点个数大于MinPts，那么该数据点为核心点，然后对核心点和邻居点标记为同一聚类簇，否则不为核心点。角度距离示意图如图5所示，通过下式计算角度距离；

β＝arctan(||BH||÷||HA||)＝arctan(||d₂×sinω||÷||d₁-d₂×cosω||),

其中，d₂和d₁分别为扫描线OA、OB的距离，ω为扫描线OA与OB水平方向上的角度值。

S402：根据S401选取一核心点并搜索该数据点的邻域，检测邻域内与该数据点空间欧式距离小于eps的数据点，取出作为扩展点，如果已经被标记为其他聚类簇，则跳过。这里的eps为自适应参数，通过下式计算；

其中，L为聚类区域步长，ρ为聚类半径系数，(x,y,z)为该数据点在LiDAR坐标系下的三维坐标。

S403：从未被标记的扩展点出发，重复步骤S401，S402，最终实现对整个深度图的标记。

S404：根据深度图的标记关系，分离出属于不同簇的点云目标。

进一步的，步骤S401中判断该点云数据点为核心点的方法包括：

若某一点云数据点同时满足第一条件和第二条件，则表示该点为核心点；

第一条件：有MinPts个邻居点至该点云数据点的欧式距离，小于或等于自适应eps参数；

第二条件：有MinPts个邻居点至该点云数据点的角度距离，小于或等于角度距离阈值；其中，MinPts表示DBSCAN算法中的参数，即最小样本数；角度距离阈值的范围可以为5到10度。

如图6所示，本发明与其他几种现有技术进行比较，本方法、欧式分割方法以及DBSCAN分割方法依次为从上至下的曲线图；在处理相同帧数大小的点云数据时，本发明具有更佳快速的处理时间；进一步的，本发明与快速分割方法(Bogoslavskyi I,StachnissC.Fast range image-based segmentation of sparse 3D laser scans for onlineoperation[C]//2016 IEEE/RSJ International Conference on Intelligent Robotsand Systems(IROS).IEEE,2016:163-169.)进行对比，可以发现对于同一点云数据，快速分割方法会出现欠分割的例子，而本发明则不会，如图7所示。

综上，本发明能够有效且快速的分割点云数据，且分割后的结果非常有效合理。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度图的三维激光雷达点云目标分割方法，所述方法包括以下步骤：

S1：建立三维点云数据和深度图之间的映射关系,从而将三维点云数据转化为前景深度图；

S2：计算深度图中每一列中相邻两点形成的角度值，遍历所有列，从而得到深度图所对应的角度矩阵；

S3：通过广度优先搜索算法遍历深度图，通过角度矩阵获取深度图中每个点的角度值，如果深度图上相邻两点的角度差值小于指定阈值，则将这两点标记为同一类型，从而找出深度图中属于地面的部分，根据三维点云数据和深度图之间的映射关系分离出地面点云数据；

其特征在于，

S4：基于深度图的改进密度聚类算法DBSCAN对非地面点云数据进行目标分割；从而分离出属于不同簇的点云目标；

S401：遍历深度图中还未被标记的点云数据点，并判断其是否为核心点，若该点云数据点为核心点，则将核心点和及其邻居点标记为同一聚类簇；

若某一点云数据点同时满足第一条件和第二条件，则表示该点为核心点；

第一条件：有MinPts个邻居点至该点云数据点的欧式距离，小于或等于自适应参数eps；

自适应参数eps的计算方法包括：

其中，L为聚类区域步长，ρ为聚类半径系数，(x,y,z)为该数据点在雷达坐标系下的三维坐标；x，y，z分别代表三维点云数据其x轴数值、y轴数值和z轴数值；

第二条件：有MinPts个邻居点至该点云数据点的角度距离，小于或等于角度距离阈值；

其中，MinPts表示DBSCAN算法中的参数，即最小样本数；

S402：根据S401选取的核心点，搜索该核心点的邻域，检测邻域内与该核心点空间欧式距离小于自适应参数eps的数据点，取出作为扩展点，如果已经被标记为其他聚类簇，则跳过；

S403：从未被标记的扩展点出发，重复步骤S401，S402，直至最终对整个深度图的标记；

S404：根据最终对深度图的标记关系，分离出属于不同聚类簇的点云目标。

2.根据权利要求1所述的一种基于深度图的三维激光雷达点云目标分割方法，其特征在于，所述步骤S1包括：

S101：将三维点云数据中任意数据点(x,y,z)通过转化公式转换为二维深度图的像素(r,c)；

S102：遍历点云数据中所有数据点，按照步骤S101的转换公式转化为深度图下的像素点，若当前像素值已经存在，则保留两者中距离最小的像素值，从而最终生成深度图；

其中，转换公式表示为：

r、c对应表示二维深度图的像素坐标；d表示数据点到三维激光雷达的距离，

x，y，z分别代表三维点云数据其x轴数值、y轴数值和z轴数值；v是激光雷达垂直角度分辨率，h是激光雷达水平角度分辨率。

3.根据权利要求1所述的一种基于深度图的三维激光雷达点云目标分割方法，其特征在于，所述步骤S2包括：

S201：逐列遍历深度图，并将遍历到的列作为当前列；

S202：以从下至上的方向遍历当前列，按照角度公式计算深度图中同一列相邻两个点A、B的角度值

S203：遍历所有的列，生成与深度图相对应的角度矩阵；

其中，角度公式表示为：

其中，

表示深度图第c列中r-1与r行相邻两个点之间的角度值；AC和BC分别为以AB为斜边的两直角边；a、b分别对应表示为相邻点A、B的垂直角度值，Rr-1,c表示为第r-1行第c列的像素值，Rr,c表示为第r行第c列的像素值。

4.根据权利要求1所述的一种基于深度图的三维激光雷达点云目标分割方法，其特征在于，所述步骤S3包括：

S301：从深度图底部的像素点开始遍历，通过角度矩阵获取深度图对应位置上的角度值，获取对应位置上的角度值，如果该点的角度值小于45度，则标记为地面点，反之标记为非地面点；

S302：从S301标记的地面点向未标记的四周相邻点进行扩展，与相邻点之间的角度差值大小不超过指定阈值，则标记邻居点也为地面点，否则标记为非地面点；

S303：重复步骤S302，直到深度图中所有的点都已经标记完成，最终分离出所有被标记为地面点的点云数据，并去除被标记为地面点的点云数据。

5.根据权利要求1所述的一种基于深度图的三维激光雷达点云目标分割方法，其特征在于，角度距离的计算方法包括：

β＝arctan(||d₂×sinω||÷||d₁-d₂×cosω||)；

其中，β表示角度距离；d₂为点云数据点对应三维雷达扫描线的距离，d₁为邻居点对应的三维雷达扫描线的距离；ω为两路扫描线在水平方向上的角度值。

Images