CN113484875B - 一种基于混合高斯排序的激光雷达点云目标分级识别方法 - Google Patents

一种基于混合高斯排序的激光雷达点云目标分级识别方法 Download PDF

Info

Publication number
CN113484875B
CN113484875B CN202110868867.9A CN202110868867A CN113484875B CN 113484875 B CN113484875 B CN 113484875B CN 202110868867 A CN202110868867 A CN 202110868867A CN 113484875 B CN113484875 B CN 113484875B
Authority
CN
China
Prior art keywords
point cloud
points
point
ordering
clusters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110868867.9A
Other languages
English (en)
Other versions
CN113484875A (zh
Inventor
金立生
贺阳
王欢欢
郭柏苍
谢宪毅
金秋坤
张哲�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202110868867.9A priority Critical patent/CN113484875B/zh
Publication of CN113484875A publication Critical patent/CN113484875A/zh
Application granted granted Critical
Publication of CN113484875B publication Critical patent/CN113484875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Abstract

本发明涉及一种基于混合高斯排序的激光雷达点云目标分级识别方法，包括采集激光雷达点云数据并进行预处理、进行地面点云去除筛选出非地面点云、进行非地面点云密度聚类、按重要程度进行排序、按重要程度依次进行识别和输出识别出的目标等步骤。本发明可以大幅减少迭代次数，提高地面拟合算法的实时性，使地面拟合模块稳定性得以提升；可以按待识别目标的重要程度进行分层排序，保证每个目标的重要程度唯一，可以在计算资源有限时优先把计算资源分给识别更重要的目标；具有较高实时性、较强稳定性，对于部署在自动驾驶车辆等计算资源有限的设备上，应对复杂多变的真实环境具有较好的适用性。

Description

一种基于混合高斯排序的激光雷达点云目标分级识别方法
技术领域
本发明涉及一种目标识别方法，特别涉及一种基于混合高斯排序的激光雷达点云目标分级识别方法。
背景技术
目标检测作为自动驾驶和智能交通领域环境感知的主要任务之一，检测算法的实时性和有效性仍是亟需进一步优化的方向。目标检测依赖的传感器包括激光雷达、工业相机等，其中激光雷达可以为目标检测系统提供海量的点云数据。
激光雷达点云是三维图像的一种特殊数据形式，包含了所观测场景的空间几何信息。相较于二维图像提供的平面信息，深度信息的获取使得三维图像可以轻易地实现不同距离场景的分离，基于激光雷达点云的目标识别正逐渐成为三维图像信息处理的研究热点。相较于其他的3D数据格式，点云数据无需存储各离散点之间的拓扑结构，有着更为简单、灵活和强大的表示能力，在处理时可以表现出更好的性能。因此，点云成为了自动驾驶环境感知的重要数据。但是由激光雷达获得的原始点云数据往往较为复杂，包含着大量冗余信息，难以直接获取所需信息，同时，由于近年来激光雷达硬件技术不断发展，可以提供的点云数量迅速增加，同时处理所有点云难以满足实时性的要求。实时、密集的目标点云数据，对于实现高等级自动驾驶的动态避障和路径规划，具有重要的意义。
点云处理的结果将作为后续步骤的输入数据，对算法的运行结果有直接的影响，因此，点云数据处理方法一直受到三维信息处理领域的广泛关注。
发明内容
为了解决现有激光雷达点云数据量大、数据复杂、信息冗余导致的计算耗时较长等问题，本发明提供一种基于混合高斯排序的激光雷达点云目标分级识别方法，包括以下步骤：
步骤1、采集激光雷达点云数据并进行预处理；
步骤2、将预处理之后的激光雷达点云数据进行地面点云去除筛选出非地面点云；
步骤3、将非地面点进行非地面点云密度聚类；
步骤4、将聚类后的非地面点云数据按重要程度进行排序；
步骤5、将排序后的点云簇按重要程度依次进行识别；
步骤6、输出识别出的目标，包括目标类别、目标中心点位置、目标中心点速度、目标边界框中的一种或数种。
进一步的，步骤1中预处理包括数据解析、无效点去除、感兴趣区域设定、空间体素滤波，预处理后的数据仅包括有效的、包含可用特征的点云数据。
进一步的，步骤2中地面点云去除筛选出非地面点云处理步骤如下：
步骤2.1、输入激光雷达点云数据；
步骤2.2、在所有点中抽取3组点，每组包含3个点，抽取的点用下式表示：
Figure BDA0003188316920000021
其中，Pgji(x,y,z)为第j组中第i个点，j,i＝1,2,3；
步骤2.3、对每组内点云按高度进行排序，并保留每组中的最低点，保留的点可用下式表示：
{Pg1min(x,y,z),Pg2min(x,y,z),Pg3min(x,y,z)}
其中，Pgjmin(x,y,z)为第j组中的最低点，j＝1,2,3；
步骤2.4、对保留的最低点计算协方差矩阵，如下式所示：
Figure BDA0003188316920000031
其中，C为协方差矩阵，cov()为两个变量间的协方差，x、y、z为提取的3个点对应坐标的平均值；
步骤2.5、求解协方差矩阵的特征值和特征向量，如下式所示：
(C-λE)x＝0
其中，λ为协方差矩阵的特征值矩阵，E为3×3的单位矩阵，x为与特征值对应的特征向量组成的矩阵；
特征值和特征向量的求解可以转化为求解下式：
|C-λE|＝0
步骤2.6、对特征向量按特征值大小进行排序，并用最小特征值对应的特征向量构建平面方程，构建的平面方程如下式所示：
k0x+k1y+k2z+k3＝0
其中，(k0,k1,k2)为最小特征值对应的特征向量，k3为激光雷达安装高度；
步骤2.7、利用构建的平面对所有点进行地面点筛选，约束条件如下式所示：
k0xi+k1yi+k2zi+k3＜ht
其中，(xi,yi,zi)为第i个点云的三维坐标，i＝1,2,...,n，n为步骤2.1输入点云的数量，ht为点云在平面法向上误差的阈值，阈值由平面波动程度决定；
步骤2.8、判断是否是初次筛选，如果是初次筛选，则在其余未选择点中执行步骤2.2～步骤2.7；如果不是初次筛选，则对最近两次地面点提取步骤中提取出的地面点云进行比较，判断两次地面点数量变化程度是否超过阈值，如下式所示：
|nPd1-nPd2|＜nt
其中，nPd1、nPd2为第1次、第2次提取的地面点数量，nt为地面点数量变化程度阈值，阈值由第1次提取的地面点数量限制；
如果两次提取出的地面点数量变化超过阈值，则返回执行步骤2.2～步骤2.7；如果两次提取出的地面点数量变化未超阈值，则保留数量较多的点记录为地面点，并依据保留结果筛选出非地面点作为输出。
进一步的，步骤3中非地面点云密度聚类步骤如下：
步骤3.1、将所有非地面点云记为未标记点，并设置距离阈值tp、相邻点个数tr和最小相邻点个数trmin；
步骤3.2、随机采样找到满足拥有距离阈值tp内超过最小相邻点个数trmin条件的点，并记为核心点；
步骤3.3、找到核心点最近的tr个点并记为同一类，如果最近的点中有核心点，那么所有点归为该核心点所属类；
步骤3.4、将有所属类的点记为已标记点，重复执行步骤3.2、步骤3.3、步骤3.4至所有点云均被记为已标记，完成聚类。
进一步的，步骤4中非地面点云数据排序过程如下：
步骤4.1、获取聚类后的数据并提取同一簇内点云数据clustersi；
步骤4.2、对提取到的同一簇内点云数据进行数据处理，确定坐标限值，划分子网格，按子网格构建该点云簇的离散高斯分布模型，过程如下：
步骤4.2.1、计算点云簇clustersi水平方向上的坐标均值uix、uiy和标准差σix、σiy；
与此同时，计算点云簇clustersi协方差矩阵的行列式的平方根，见下式：
Figure BDA0003188316920000041
其中，Ci为点云簇clustersi的协方差矩阵；
步骤4.2.2、统计点云簇clustersi中所有点水平坐标的极值ximin、ximax、yimin、yimax，确定点云簇clustersi的坐标范围ximin＜x＜ximax、yimin＜y＜yimax，并在坐标范围内按水平方向进行子网格划分，划分依据为固定长度d；
步骤4.2.3、利用水平方向均值、标准差、协方差矩阵的行列式的平方根，在划分的子网格上构建该点云簇的二维高斯分布模型，如下式所示：
Figure BDA0003188316920000051
其中，
Figure BDA0003188316920000052
为簇内点云水平坐标xi和yi的相关性系数，x、y为划分的子网格水平坐标，gi(x,y)为点云簇clustersi在位置(x,y)的高斯分布系数；
步骤4.3、按构建出的子网格计算高斯分布系数gi(x,y)和分布函数均值，分布函数均值计算如下式所示：
Figure BDA0003188316920000053
其中，gimean为分布函数均值，num(x,y)为划分的网格数量，网格数量计算如下式所示：
Figure BDA0003188316920000054
其中，floor()为向下取整函数；
按点云求点云簇内的平均高度zimean，获取x、y方向的坐标均值并记为ximean、yimean；
步骤4.4、判断是否对所有点云簇完成计算，如果没有对所有点云簇完成计算，则对未计算点云簇重复执行步骤4.1、步骤4.2和步骤4.3，直到对所有点云簇完成计算；
步骤4.5、获取所有点云簇的计算结果，利用得到的高斯分布系数、分布函数均值、x、y方向的坐标均值、点云簇内的点云平均高度构建分层排序矩阵，方法如下：
步骤4.5.1、当判断对所有点云簇完成计算后，获取所有点云簇的计算结果，获取的数据如下所示：
{gi(x,y),gimean,ximean,yimean,zimean|clusteri,i＝1,2,...,num(clusters)}
其中，num(clusters)为获得的点云簇数量；
步骤4.5.2、对高斯分布系数、分布函数均值进行归一化，构建排序矩阵第一列向量，构建过程如下式所示：
Figure BDA0003188316920000061
Figure BDA0003188316920000062
P1i＝p1i+p2i
其中，max()为最大值函数，min()为最小值函数，P1i为排序矩阵第一列向量的第i个元素，p1i为归一化之后的第i个点云簇的高斯分布系数、p2i为归一化之后的第i个点云簇的分布函数均值；
步骤4.5.3、求点云簇中心点到坐标系原点的距离，并构建排序矩阵第二列向量，构建过程如下式所示：
Figure BDA0003188316920000063
其中，P2i为排序矩阵第二列向量的第i个元素；
步骤4.5.4、利用点云簇内的点云平均高度构建排序矩阵第三列向量，构建过程如下式所示：
P3i＝zimean
其中，P3i为排序矩阵第三列向量的第i个元素，Zimean为z方向的坐标均值；
步骤4.5.5、输出构建好的排序矩阵，如下式所示：
Figure BDA0003188316920000071
步骤4.6、依据构建的分层排序矩阵，对所有点云簇按重要程度进行排序，过程如下：
步骤4.6.1、获取排序矩阵和步骤3输出的点云簇标签，所述的点云簇标签如下式所示：
labels＝{labeli|i＝1,213,...,num(clusters)}
其中，labels为点云簇标签集合，labeli为点云簇标签集合的第i个元素，num(clusters)为点云簇数量；
步骤4.6.2、对排序矩阵第一列按从大到小顺序进行排列，同时判断是否存在相同排序，判断依据为：
Figure BDA0003188316920000072
其中，S1为第一列是否存在相同排序的判定结果，P1t为第一列是否存在相同排序的判定阈值，阈值由相似程度百分比确定；
如果存在相同排序，则执行步骤4.6.3，如果不存在相同排序，则执行步骤4.6.6；
步骤4.6.3、对排序矩阵第二列按从大到小顺序进行排列，同时判断是否存在相同排序，判断依据为：
Figure BDA0003188316920000073
其中，S2为第二列是否存在相同排序的判定结果，P2t为第二列是否存在相同排序的判定阈值，阈值由相似程度百分比确定；
如果存在相同排序，则执行步骤4.6.4，如果不存在相同排序，则执行步骤4.6.6；
步骤4.6.4、对排序矩阵第三列按从大到小顺序进行排列，同时判断是否存在相同排序，判断依据为：
Figure BDA0003188316920000081
其中，S3为第三列是否存在相同排序的判定结果，P3t为第二列是否存在相同排序的判定阈值，阈值由相似程度百分比确定；
如果存在相同排序，则执行步骤4.6.5，如果不存在相同排序，则执行步骤4.6.6；
步骤4.6.5、利用获取的点云簇聚类标签对相同部分进行从大到小顺序排列；
步骤4.6.6、输出最终排序结果。
进一步的，步骤5中识别步骤如下：
步骤5.1、采集点云样本并进行人工标注，标注类别为车辆、行人、骑车人、其他；
步骤5.2、利用深度学习构建点云分类模型，并利用采集、标注的数据训练分类器；
步骤5.3、利用训练好的深度学习模型按目标的重要程度依次识别。
本发明的有益效果：
1.本发明提出的地面拟合方法可以大幅减少迭代次数，进而提高地面拟合算法的实时性，另外使用固定假设代替随机采样，使地面拟合模块稳定性得以提升；
2.本发明提出的分层排序方法可以按待识别目标的重要程度进行分层排序，保证每个目标的重要程度唯一，随后把待识别目标按重要程度输出给识别模块进行识别，可以在计算资源有限时优先把计算资源分给识别更重要的目标；
3.本发明的分层目标识别方法具有较高实时性、较强稳定性，对于部署在自动驾驶车辆等计算资源有限的设备上，应对复杂多变的真实环境具有较好的适用性。
附图说明
图1为本发明的工作流程示意图；
图2为本发明中地面拟合的工作流程示意图；
图3为本发明中点云排序的工作流程示意图；
图4为本发明中构建的排序模型示意图。
具体实施方式
本发明提供一种基于混合高斯排序的激光雷达点云目标分级识别方法，包括以下步骤：
步骤1、在数据预处理模块对采集的激光雷达点云数据进行预处理，包括数据解析、无效点去除、感兴趣区域设定、空间体素滤波，预处理后的数据仅包括有效的、包含可用特征的点云数据。
步骤2、将预处理之后的激光雷达点云数据输入到地面拟合模块进行地面点云去除筛选出非地面点云，处理步骤如下：
步骤2.1、输入激光雷达点云数据；
步骤2.2、在所有点中抽取3组点，每组包含3个点，抽取的点可用下式表示：
Figure BDA0003188316920000101
其中，Pgji(x,y,z)为第j组中第i个点，j,i＝1,2,3；
步骤2.3、对每组内点云按高度进行排序，并保留每组中的最低点，保留的点可用下式表示：
{Pg1min(x,y,z),Pg2min(x,y,z),Pg3min(x,y,z)}
其中，Pgjmin(x,y,z)为第j组中的最低点，j＝1,2,3；
步骤2.4、对保留的最低点计算协方差矩阵，如下式所示：
Figure BDA0003188316920000102
其中，C为协方差矩阵，cov()为两个变量间的协方差，x、y、z为提取的3个点对应坐标的平均值，计算过程如下：
Figure BDA0003188316920000103
Figure BDA0003188316920000104
Figure BDA0003188316920000105
步骤2.5、求解协方差矩阵的特征值和特征向量，如下式所示：
(C-λE)x＝0
其中，λ为协方差矩阵的特征值矩阵，E为3×3的单位矩阵，x为与特征值对应的特征向量组成的矩阵；
特征值和特征向量的求解可以转化为求解下式：
|C-λE|＝0
步骤2.6、对特征向量按特征值大小进行排序，并用最小特征值对应的特征向量构建平面方程，提取的特征向量和构建的平面方程如下式所示：
λ1＞λ2＞λ3
k0x+k1y+k2z+k3＝0
其中，λ1、λ2、λ3为提取出的3个特征向量，λ3＝(k0,k1,k2)为最小特征值对应的特征向量，k3为激光雷达安装高度；
步骤2.7、利用构建的平面对所有点进行地面点筛选，约束条件如下式所示：
k0xi+k1yi+k2zi+k3＜ht
其中，(xi,yi,zi)为第i个点云的三维坐标，i＝1,2,...,n，n为步骤2.1输入点云的数量，ht为点云在平面法向上误差的阈值，阈值由平面波动程度决定，取ht＝0.1×k3；
步骤2.8、判断是否是初次筛选，如果是初次筛选，则在其余未选择点中执行步骤2.2～步骤2.7；如果不是初次筛选，则对最近两次地面点提取步骤中提取出的地面点云进行比较，判断两次地面点数量变化程度是否超过阈值，如下式所示：
|nPd1-nPd2|＜nt
其中，nPd1、nPd2为第1次、第2次提取的地面点数量，nt为地面点数量变化程度阈值，阈值由第1次提取的地面点数量限制，取nt＝0.1×nPd1；
如果两次提取出的地面点数量变化超过阈值，则返回执行步骤2.2～步骤2.7；如果两次提取出的地面点数量变化未超阈值，则保留数量较多的点记录为地面点，并依据保留结果筛选出非地面点作为输出。
步骤3、将非地面点云输入到非地面点计算模块进行非地面点云密度聚类，具体计算过程如下：
步骤3.1、将所有非地面点云记为未标记点，并设置距离阈值tp、相邻点个数tr和最小相邻点个数trmin；
步骤3.2、随机采样找到满足拥有距离阈值tp内超过最小相邻点个数trmin条件的点，并记为核心点；
步骤3.3、找到核心点最近的tr个点并记为同一类，如果最近的点中有核心点，那么所有点归为该核心点所属类；
步骤3.4、将有所属类的点记为已标记点，重复执行步骤3.2、步骤3.3、步骤3.4至所有点云均被记为已标记。
步骤4、将聚类后的非地面点云数据输入到排序模块按重要程度进行排序，排序的步骤如下：
步骤4.1、获取聚类后的数据并提取同一簇内点云数据clustersi；
步骤4.2、对提取到的同一簇内点云数据进行数据处理，确定坐标限值，划分子网格，按子网格构建该点云簇的离散高斯分布模型，具体处理过程如下所示：
步骤4.2.1、计算点云簇clustersi水平方向上的坐标均值uix、uiy和标准差σix、σiy；
与此同时，计算点云簇clustersi协方差矩阵的行列式的平方根，见下式：
Figure BDA0003188316920000121
其中，Ci为点云簇clustersi的协方差矩阵；
步骤4.2.2、统计点云簇clustersi中所有点水平坐标的极值ximin、ximax、yimin、yimax，确定点云簇clustersi的坐标范围ximin＜x＜ximax、yimin＜y＜yimax，并在坐标范围内按水平方向进行子网格划分，划分依据为固定长度d；
步骤4.2.3、利用水平方向均值、标准差、协方差矩阵的行列式的平方根，在划分的子网格上构建该点云簇的二维高斯分布模型，如下式所示：
Figure BDA0003188316920000131
其中，
Figure BDA0003188316920000132
为簇内点云水平坐标xi和yi的相关性系数，x、y为划分的子网格水平坐标，gi(x,y)为点云簇clustersi在位置(x,y)的高斯分布系数；
步骤4.3、按构建出的子网格计算高斯分布系数gi(x,y)和分布函数均值，按点云求点云簇内的平均高度zimean，获取x、y方向的坐标均值并记为ximean、yimean；分布函数均值计算如下式所示：
Figure BDA0003188316920000133
其中，gimean为分布函数均值，num(x,y)为划分的网格数量，网格数量计算如下式所示：
Figure BDA0003188316920000134
其中，floor()为向下取整函数；
步骤4.4、判断是否对所有点云簇完成计算，如果没有对所有点云簇完成计算，则对未计算点云簇重复执行步骤4.1、步骤4.2和步骤4.3；
步骤4.5、获取所有点云簇的计算结果，利用得到的高斯分布系数、分布函数均值、x、y方向的坐标均值、点云簇内的点云平均高度构建分层排序矩阵，构建步骤如下：
步骤4.5.1、当判断对所有点云簇完成计算后，获取所有点云簇的计算结果，获取的数据如下所示：
{gi(x,y),gimean,ximean,yimean,zimean|clusteri,i＝1,2,...,num(clusters)}
其中，num(clusters)为步骤3获得的点云簇数量；
步骤4.5.2、对高斯分布系数、分布函数均值进行归一化，构建排序矩阵第一列向量，构建过程如下式所示：
Figure BDA0003188316920000141
Figure BDA0003188316920000142
P1i＝p1i+p2i
其中，max()为最大值函数，min()为最小值函数，P1i为排序矩阵第一列向量的第i个元素，p1i为归一化之后的第i个点云簇的高斯分布系数、p2i为归一化之后的第i个点云簇的分布函数均值；
步骤4.5.3、求点云簇中心点到坐标系原点的距离，并构建排序矩阵第二列向量，构建过程如下式所示：
Figure BDA0003188316920000143
其中，P2i为排序矩阵第二列向量的第i个元素；
步骤4.5.4、利用点云簇内的点云平均高度构建排序矩阵第三列向量，构建过程如下式所示：
P3i＝zimean
其中，P3i为排序矩阵第三列向量的第i个元素；
步骤4.5.5、输出构建好的排序矩阵；具体如下式所示：
Figure BDA0003188316920000144
步骤4.6、依据构建的分层排序矩阵，对所有点云簇按重要程度进行排序，并输出排序结果，排序过程如下：
步骤4.6.1、获取步骤4.5.5输出的排序矩阵，同时获取步骤3输出的点云簇标签；获得的点云簇标签如下式所示：
labels＝{labeli|i＝1,213,...,num(clusters)}
其中，labels为点云簇标签集合，labeli为点云簇标签集合的第i个元素；
步骤4.6.2、对排序矩阵第一列按从大到小顺序进行排列，同时判断是否存在相同排序，判断依据为：
Figure BDA0003188316920000151
其中，S1为第一列是否存在相同排序的判定结果，P1t为第一列是否存在相同排序的判定阈值，阈值由相似程度百分比确定，取P1t＝95％；
如果存在相同排序，则执行步骤4.6.3，如果不存在相同排序，则执行步骤4.6.6；
步骤4.6.3、对排序矩阵第二列按从大到小顺序进行排列，同时判断是否存在相同排序，判断依据为：
Figure BDA0003188316920000152
其中，S2为第二列是否存在相同排序的判定结果，P2t为第二列是否存在相同排序的判定阈值，阈值由相似程度百分比确定，取P2t＝95％；
如果存在相同排序，则执行步骤4.6.4，如果不存在相同排序，则执行步骤4.6.6；
步骤4.6.4、对排序矩阵第三列按从大到小顺序进行排列，同时判断是否存在相同排序，判断依据为：
Figure BDA0003188316920000153
其中，S3为第三列是否存在相同排序的判定结果，P3t为第二列是否存在相同排序的判定阈值，阈值由相似程度百分比确定，取P3t＝95％；
如果存在相同排序，则执行步骤4.6.5，如果不存在相同排序，则执行步骤4.6.6；
步骤4.6.5、利用获取的点云簇聚类标签对相同部分进行从大到小顺序排列；
步骤4.6.6、输出最终排序结果。
步骤5、将排序后的点云簇按重要程度依次输入分类模块进行识别，分类模块的识别步骤如下：
步骤5.1、采集点云样本并进行人工标注，标注类别为车辆、行人、骑车人、其他；
步骤5.2、利用深度学习构建点云分类模型，并利用采集、标注的数据训练分类器；
步骤5.3、利用训练好的深度学习模型按目标的重要程度依次识别。
步骤6、输出识别出的目标：将深度学习识别出的目标类别、目标中心点位置、目标中心点速度、目标边界框进行输出。

Claims (5)

1.一种基于混合高斯排序的激光雷达点云目标分级识别方法，其特征在于，包括以下步骤：
步骤1、采集激光雷达点云数据并进行预处理；
步骤2、将预处理之后的激光雷达点云数据进行地面点云去除筛选出非地面点云；
步骤3、将非地面点进行非地面点云密度聚类；
步骤4、将聚类后的非地面点云数据按重要程度进行排序；
步骤5、将排序后的点云簇按重要程度依次进行识别；
步骤6、输出识别出的目标，包括目标类别、目标中心点位置、目标中心点速度、目标边界框中的一种或数种；
所述的步骤4中非地面点云数据排序过程如下：
步骤4.1、获取聚类后的数据并提取同一簇内点云数据clustersi；
步骤4.2、对提取到的同一簇内点云数据进行数据处理，确定坐标限值，划分子网格，按子网格构建该点云簇的离散高斯分布模型，过程如下：
步骤4.2.1、计算点云簇clustersi水平方向上的坐标均值uix、uiy和标准差σix、σiy；
与此同时，计算点云簇clustersi协方差矩阵的行列式的平方根，见下式：
Figure FDA0003589703710000011
其中，Ci为点云簇clustersi的协方差矩阵；
步骤4.2.2、统计点云簇clustersi中所有点水平坐标的极值ximin、ximax、yimin、yimax，确定点云簇clustersi的坐标范围ximin＜x＜ximax、yimin＜y＜yimax，并在坐标范围内按水平方向进行子网格划分，划分依据为固定长度d；
步骤4.2.3、利用水平方向均值、标准差、协方差矩阵的行列式的平方根，在划分的子网格上构建该点云簇的二维高斯分布模型，如下式所示：
Figure FDA0003589703710000012
其中，
Figure FDA0003589703710000013
为簇内点云水平坐标xi和yi的相关性系数，x、y为划分的子网格水平坐标，gi(x,y)为点云簇clustersi在位置(x,y)的高斯分布系数；
步骤4.3、按构建出的子网格计算高斯分布系数gi(x,y)和分布函数均值，分布函数均值计算如下式所示：
Figure FDA0003589703710000014
其中，gimean为分布函数均值，num(x,y)为划分的网格数量，网格数量计算如下式所示：
Figure FDA0003589703710000021
其中，floor()为向下取整函数；
按点云求点云簇内的平均高度zimean，获取x、y方向的坐标均值并记为ximean、yimean；
步骤4.4、判断是否对所有点云簇完成计算，如果没有对所有点云簇完成计算，则对未计算点云簇重复执行步骤4.1、步骤4.2和步骤4.3，直到对所有点云簇完成计算；
步骤4.5、获取所有点云簇的计算结果，利用得到的高斯分布系数、分布函数均值、x、y方向的坐标均值、点云簇内的点云平均高度构建分层排序矩阵，方法如下：
步骤4.5.1、当判断对所有点云簇完成计算后，获取所有点云簇的计算结果，获取的数据如下所示：
{gi(x,y),gimean,ximean,yimean,zimean|clusteri,i＝1,2,...,num(clusters)}
其中，num(clusters)为获得的点云簇数量；
步骤4.5.2、对高斯分布系数、分布函数均值进行归一化，构建排序矩阵第一列向量，构建过程如下式所示：
Figure FDA0003589703710000022
Figure FDA0003589703710000023
P1i＝p1i+p2i
其中，max()为最大值函数，min()为最小值函数，P1i为排序矩阵第一列向量的第i个元素，p1i为归一化之后的第i个点云簇的高斯分布系数、p2i为归一化之后的第i个点云簇的分布函数均值；
步骤4.5.3、求点云簇中心点到坐标系原点的距离，并构建排序矩阵第二列向量，构建过程如下式所示：
Figure FDA0003589703710000024
其中，P2i为排序矩阵第二列向量的第i个元素；
步骤4.5.4、利用点云簇内的点云平均高度构建排序矩阵第三列向量，构建过程如下式所示：
P3i＝zimean
其中，P3i为排序矩阵第三列向量的第i个元素，Zimean为z方向的坐标均值；
步骤4.5.5、输出构建好的排序矩阵，如下式所示：
Figure FDA0003589703710000025
步骤4.6、依据构建的分层排序矩阵，对所有点云簇按重要程度进行排序，过程如下：
步骤4.6.1、获取排序矩阵和步骤3输出的点云簇标签，所述的点云簇标签如下式所示：
labels＝{labeli|i＝1,213,...,num(clusters)}
其中，labels为点云簇标签集合，labeli为点云簇标签集合的第i个元素，num(clusters)为点云簇数量；
步骤4.6.2、对排序矩阵第一列按从大到小顺序进行排列，同时判断是否存在相同排序，判断依据为：
Figure FDA0003589703710000031
其中，S1为第一列是否存在相同排序的判定结果，P1t为第一列是否存在相同排序的判定阈值，阈值由相似程度百分比确定；
如果存在相同排序，则执行步骤4.6.3，如果不存在相同排序，则执行步骤4.6.6；
步骤4.6.3、对排序矩阵第二列按从大到小顺序进行排列，同时判断是否存在相同排序，判断依据为：
Figure FDA0003589703710000032
其中，S2为第二列是否存在相同排序的判定结果，P2t为第二列是否存在相同排序的判定阈值，阈值由相似程度百分比确定；
如果存在相同排序，则执行步骤4.6.4，如果不存在相同排序，则执行步骤4.6.6；
步骤4.6.4、对排序矩阵第三列按从大到小顺序进行排列，同时判断是否存在相同排序，判断依据为：
Figure FDA0003589703710000033
其中，S3为第三列是否存在相同排序的判定结果，P3t为第二列是否存在相同排序的判定阈值，阈值由相似程度百分比确定；
如果存在相同排序，则执行步骤4.6.5，如果不存在相同排序，则执行步骤4.6.6；
步骤4.6.5、利用获取的点云簇聚类标签对相同部分进行从大到小顺序排列；
步骤4.6.6、输出最终排序结果。
2.根据权利要求1所述的一种基于混合高斯排序的激光雷达点云目标分级识别方法，其特征在于：步骤1中预处理包括数据解析、无效点去除、感兴趣区域设定、空间体素滤波，预处理后的数据仅包括有效的、包含可用特征的点云数据。
3.根据权利要求1所述的一种基于混合高斯排序的激光雷达点云目标分级识别方法，其特征在于：步骤2中地面点云去除筛选出非地面点云处理步骤如下：
步骤2.1、输入激光雷达点云数据；
步骤2.2、在所有点中抽取3组点，每组包含3个点，抽取的点用下式表示：
Figure FDA0003589703710000041
其中，Pgji(x,y,z)为第j组中第i个点，j,i＝1,2,3；
步骤2.3、对每组内点云按高度进行排序，并保留每组中的最低点，保留的点用下式表示：
{Pg1min(x,y,z),Pg2min(x,y,z),Pg3min(x,y,z)}
其中，Pgjmin(x,y,z)为第j组中的最低点，j＝1,2,3；
步骤2.4、对保留的最低点计算协方差矩阵，如下式所示：
Figure FDA0003589703710000042
其中，C为协方差矩阵，cov()为两个变量间的协方差，x、y、z为提取的3个点对应坐标的平均值；
步骤2.5、求解协方差矩阵的特征值和特征向量，如下式所示：
(C-λE)x＝0
其中，λ为协方差矩阵的特征值矩阵，E为3×3的单位矩阵，x为与特征值对应的特征向量组成的矩阵；
特征值和特征向量的求解转化为求解下式：
|C-λE|＝0
步骤2.6、对特征向量按特征值大小进行排序，并用最小特征值对应的特征向量构建平面方程，构建的平面方程如下式所示：
k0x+k1y+k2z+k3＝0
其中，(k0,k1,k2)为最小特征值对应的特征向量，k3为激光雷达安装高度；
步骤2.7、利用构建的平面对所有点进行地面点筛选，约束条件如下式所示：
k0xi+k1yi+k2zi+k3＜ht
其中，(xi,yi,zi)为第i个点云的三维坐标，i＝1,2,...,n，n为步骤2.1输入点云的数量，ht为点云在平面法向上误差的阈值，阈值由平面波动程度决定；
步骤2.8、判断是否是初次筛选，如果是初次筛选，则在其余未选择点中执行步骤2.2～步骤2.7；如果不是初次筛选，则对最近两次地面点提取步骤中提取出的地面点云进行比较，判断两次地面点数量变化程度是否超过阈值，如下式所示：
|nPd1-nPd2|＜nt
其中，nPd1、nPd2为第1次、第2次提取的地面点数量，nt为地面点数量变化程度阈值，阈值由第1次提取的地面点数量限制；
如果两次提取出的地面点数量变化超过阈值，则返回执行步骤2.2～步骤2.7；
如果两次提取出的地面点数量变化未超阈值，则保留数量较多的点记录为地面点，并依据保留结果筛选出非地面点作为输出。
4.根据权利要求1所述的一种基于混合高斯排序的激光雷达点云目标分级识别方法，其特征在于：步骤3中非地面点云密度聚类步骤如下：
步骤3.1、将所有非地面点云记为未标记点，并设置距离阈值tp、相邻点个数tr和最小相邻点个数trmin；
步骤3.2、随机采样找到满足拥有距离阈值tp内超过最小相邻点个数trmin条件的点，并记为核心点；
步骤3.3、找到核心点最近的tr个点并记为同一类，如果最近的点中有核心点，那么所有点归为该核心点所属类；
步骤3.4、将有所属类的点记为已标记点，重复执行步骤3.2、步骤3.3、步骤3.4至所有点云均被记为已标记。
5.根据权利要求1所述的一种基于混合高斯排序的激光雷达点云目标分级识别方法，其特征在于：步骤5中识别步骤如下：
步骤5.1、采集点云样本并进行人工标注，标注类别为车辆、行人、骑车人、其他；
步骤5.2、利用深度学习构建点云分类模型，并利用采集、标注的数据训练分类器；
步骤5.3、利用训练好的深度学习模型按目标的重要程度依次识别。
CN202110868867.9A 2021-07-30 2021-07-30 一种基于混合高斯排序的激光雷达点云目标分级识别方法 Active CN113484875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110868867.9A CN113484875B (zh) 2021-07-30 2021-07-30 一种基于混合高斯排序的激光雷达点云目标分级识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110868867.9A CN113484875B (zh) 2021-07-30 2021-07-30 一种基于混合高斯排序的激光雷达点云目标分级识别方法

Publications (2)

Publication Number Publication Date
CN113484875A CN113484875A (zh) 2021-10-08
CN113484875B true CN113484875B (zh) 2022-05-24

Family

ID=77944740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110868867.9A Active CN113484875B (zh) 2021-07-30 2021-07-30 一种基于混合高斯排序的激光雷达点云目标分级识别方法

Country Status (1)

Country Link
CN (1) CN113484875B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114545434A (zh) * 2022-01-13 2022-05-27 燕山大学 一种路侧视角测速方法、系统、电子设备及存储介质
CN114359876B (zh) * 2022-03-21 2022-05-31 成都奥伦达科技有限公司 一种车辆目标识别方法及存储介质
CN116503821B (zh) * 2023-06-19 2023-08-25 成都经开地理信息勘测设计院有限公司 基于点云数据和图像识别的道路标识识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489094A (zh) * 2020-11-25 2021-03-12 国网福建省电力有限公司 一种多线机载激光雷达点云数据配准方法
CN112907735A (zh) * 2021-03-10 2021-06-04 南京理工大学 一种基于点云的柔性电缆识别与三维重建方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101975951B (zh) * 2010-06-09 2013-03-20 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
GB2507560A (en) * 2012-11-05 2014-05-07 Univ Oxford Extrinsic calibration of mobile camera and lidar
CN106918813B (zh) * 2017-03-08 2019-04-30 浙江大学 一种基于距离统计的三维声纳点云图像增强方法
WO2018214084A1 (en) * 2017-05-25 2018-11-29 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for representing environmental elements, system, and vehicle/robot
CN108319957A (zh) * 2018-02-09 2018-07-24 深圳市唯特视科技有限公司 一种基于超点图的大规模点云语义分割方法
KR20200144543A (ko) * 2018-03-20 2020-12-29 피씨엠에스 홀딩스, 인크. 우선 변환에 기반한 동적 포인트 클라우드를 최적화하는 시스템 및 방법
US11257199B2 (en) * 2018-10-18 2022-02-22 Wisconsin Alumni Research Foundation Systems, methods, and media for detecting manipulations of point cloud data
CN109544612B (zh) * 2018-11-20 2021-06-22 西南石油大学 基于特征点几何表面描述的点云配准方法
CN110490088A (zh) * 2019-07-26 2019-11-22 北京工业大学 基于区域增长法的dbscan密度聚类方法
CN112923933A (zh) * 2019-12-06 2021-06-08 北理慧动（常熟）车辆科技有限公司 一种激光雷达slam算法与惯导融合定位的方法
CN111292275B (zh) * 2019-12-26 2023-10-24 深圳一清创新科技有限公司 基于复杂地面的点云数据滤除方法、装置、计算机设备
US11585923B2 (en) * 2019-12-30 2023-02-21 GM Cruise Holdings LLC. Point cloud registration for LiDAR labeling
CN111273312B (zh) * 2020-01-15 2023-04-07 吉林大学 一种智能车辆定位与回环检测方法
CN111461023B (zh) * 2020-04-02 2023-04-18 山东大学 基于三维激光雷达的四足机器人自主跟随领航员的方法
CN111985322B (zh) * 2020-07-14 2024-02-06 西安理工大学 一种基于激光雷达的道路环境要素感知方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489094A (zh) * 2020-11-25 2021-03-12 国网福建省电力有限公司 一种多线机载激光雷达点云数据配准方法
CN112907735A (zh) * 2021-03-10 2021-06-04 南京理工大学 一种基于点云的柔性电缆识别与三维重建方法

Also Published As

Publication number Publication date
CN113484875A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
Adarsh et al. YOLO v3-Tiny: Object Detection and Recognition using one stage improved model
CN113484875B (zh) 一种基于混合高斯排序的激光雷达点云目标分级识别方法
CN110569793B (zh) 一种无监督相似性判别学习的目标跟踪方法
CN107657279B (zh) 一种基于少量样本的遥感目标检测方法
CN111444767B (zh) 一种基于激光雷达的行人检测和追踪方法
CN109711410A (zh) 一种三维物体快速分割和识别方法、装置及系统
AU2020202249A1 (en) Feature extraction from mobile lidar and imagery data
CN104346620A (zh) 对输入图像中的像素分类的方法和装置及图像处理系统
CN110222767B (zh) 基于嵌套神经网络和栅格地图的三维点云分类方法
CN113412505A (zh) 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的系统和方法
CN111968133A (zh) 自动驾驶场景下的三维点云数据实例分割方法及系统
CN115049700A (zh) 一种目标检测方法及装置
CN110147841A (zh) 基于弱监督及无监督部件检测和分割的细粒度分类方法
CN114359876B (zh) 一种车辆目标识别方法及存储介质
CN114120067A (zh) 一种物体识别方法、装置、设备及介质
Cai et al. Vehicle detection based on deep dual-vehicle deformable part models
Wen et al. Research on 3D point cloud de-distortion algorithm and its application on Euclidean clustering
Naeini et al. Improving the dynamic clustering of hyperspectral data based on the integration of swarm optimization and decision analysis
CN114494594A (zh) 基于深度学习的航天员操作设备状态识别方法
CN112200248B (zh) 一种基于dbscan聚类的城市道路环境下的点云语义分割方法、系统及存储介质
CN112070787B (zh) 基于对立推理理论的航空三维点云平面分割方法
CN110807774B (zh) 一种点云分类与语义分割方法
CN116468950A (zh) 一种类别引导中心点邻域搜索半径的三维目标检测方法
CN116052099A (zh) 一种面向非结构化道路的小目标检测方法
CN111723737B (zh) 一种基于多尺度匹配策略深度特征学习的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant