CN116012628A - 一种毫米波雷达点云聚类和多目标识别机器学习方法 - Google Patents

一种毫米波雷达点云聚类和多目标识别机器学习方法 Download PDF

Info

Publication number
CN116012628A
CN116012628A CN202211633216.2A CN202211633216A CN116012628A CN 116012628 A CN116012628 A CN 116012628A CN 202211633216 A CN202211633216 A CN 202211633216A CN 116012628 A CN116012628 A CN 116012628A
Authority
CN
China
Prior art keywords
point cloud
point
density distribution
millimeter wave
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211633216.2A
Other languages
English (en)
Inventor
钱超
项俊平
孙浩凯
章涛涛
刘昌杰
张宇杰
梁国卿
崔剑
苏益安
苗玲近
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lianyungang Jierui Electronics Co Ltd
Original Assignee
Lianyungang Jierui Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lianyungang Jierui Electronics Co Ltd filed Critical Lianyungang Jierui Electronics Co Ltd
Priority to CN202211633216.2A priority Critical patent/CN116012628A/zh
Publication of CN116012628A publication Critical patent/CN116012628A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种毫米波雷达点云聚类和多目标识别机器学习方法。该方法首先将毫米波雷达点云投影到检测区域内，形成点云密度分布图像，然后采用卷积神经网络扫描检测区域，均匀化雷达点云密度分布，随后将点云密度分布图像二值化，最后采用连通性分析方法分析点云密度分布图像的连通性，将每个连通的区域识别为同一个目标，并计算该目标的位置、速度等属性。本发明可以用于毫米波雷达点云的聚类和目标识别，能够有效将目标的空间位置、速度等信息识别出来。本发明采用神经网络均匀化点云的空间密度分布，不依赖丰富经验选取参数或公式，稳定性高，适用于各种场景。

Description

一种毫米波雷达点云聚类和多目标识别机器学习方法
技术领域
本发明属于雷达数据处理技术领域，尤其涉及毫米波雷达点云数据的聚类方法，特别是一种毫米波雷达点云聚类和多目标识别机器学习方法。
背景技术
毫米波雷达广泛应用在交通领域，作为无人驾驶车辆或者路侧的感知设备等，主要用来识别检测区域内的车辆、行人等目标。毫米波雷达具有性价比高，检测距离远，不容易受到天气影响等特点。然而毫米波雷达点云较为稀疏，给点云聚类和目标识别带来一定挑战。传统的点云聚类算法包括K-means算法、DBSCAN算法(Density-based spatialclustering ofapplication with noise)、OPTICS算法(ordering points to identifythe clustering structure)等的效果依赖于目标数量估计、点云相似度(如欧氏距离)公式、邻域半径参数的选取。对于在不同场景下的点云数据，特别是高维数据，目标数量的估计、点云相似度公式以及邻域半径参数等的选取都非常依赖于算法开发人员的经验，给目标识别结果带来很大的不确定性。因此，需要新的聚类方法，不依赖或者较少依赖经验选取参数、公式等，能够在各种复杂场景下比较准确、稳定地实现多目标识别。
发明内容
本发明的目的在于针对现有技术存在的不足，提供一种较少依赖于经验公式或参数的选取、在不同场景下能够稳定工作、适用于高维点云数据的聚类方法，提高点云聚类目标识别的便捷性、准确性。
实现本发明目的的技术解决方案为：一种毫米波雷达点云聚类和多目标识别机器学习方法，所述方法包括以下步骤：
步骤1，获取毫米波雷达点云数据，选取关注的检测区域，将关注的检测区域以外的点云以及速度为0的点云删除；
步骤2，将毫米波雷达检测到的点云位置信息从雷达自身极坐标系转换为笛卡尔坐标系；
步骤3，获取点云密度分布图像：根据雷达点云的位置，将每个雷达点云投影到检测区域内对应的像素点，每个像素点内的值表示像素点内的点云密度，由此形成点云密度分布图像；
步骤4，利用卷积神经网络均匀化点云密度分布图像；
步骤5，对均匀化后的点云密度分布图像进行二值化处理；
步骤6，对二值化的点云密度分布图进行连通性分析，识别目标；
步骤7，遍历每一个连通域，平均每个连通域内所有点云的属性，作为识别出的目标的属性，所述属性包括位置、速度。
进一步地，以关注的检测区域左下角为原点、车道线方向为y轴、垂直车道线向右方向为x轴，对于3D毫米波雷达，步骤2中的坐标转换公式为：
Figure BDA0004006604090000021
其中，r和
Figure BDA0004006604090000022
分别是雷达自身极坐标系下的点云距离信息和方位角信息，
Figure BDA0004006604090000023
是雷达法向角与车道线方向的夹角，x0和y0是关注的检测区域的左下角坐标；(x，y)为转换后的笛卡尔坐标系下的点云位置信息。
进一步地，对于4D毫米波雷达，步骤2中的坐标转换公式为：
Figure BDA0004006604090000024
其中，θ为雷达点云的俯仰角信息，z为高度方向坐标，z0为关注的检测区域左下角地面高度。
进一步地，根据点云的位置信息，统计每个像素点内点云的密度，形成密度分布图像，具体方法为：
使用矩形网格剖分关注的检测区域，其中每个矩形网格是一个像素点，则该区域内点云(x,y)对应的图像坐标(X,Y)表示为：
Figure BDA0004006604090000025
其中，εx和εy分别为网格x和y方向的尺寸，floor()表示向下取整；
将图像坐标(X,Y)的像素点值加1；
对每一个点云重复此步骤，最终获得点云的密度分布图像。
进一步地，步骤4中利用卷积神经网络均匀化点云密度分布图像，具体为：利用卷积神经网络的卷积窗扫描点云密度分布图像，将间隔距离小于预设阈值、密度值非0的像素点中间的0值像素点的值变为非0。
进一步地，步骤4中卷积神经网络采用一个单层卷积神经网络，卷积窗大小为3*3，其每个元素值为1，卷积步长为1，卷积上下左右填充各1行、1列0。
进一步地，步骤5中对均匀化后的点云密度分布图像进行二值化处理，具体方式为：设定一个最低点云密度ε，若像素点内点云密度≥ε,则像素点取值1；若像素点内点云密度<ε,则像素点取值0。
进一步地，步骤6所述对二值化的点云密度分布图进行连通性分析，具体为：对二值化的点云密度分布图进行4邻域连通性分析，像素点值为0的区域ID＝0，表示背景区域；所有连通的非0值像素点拥有一个相同的ID，被识别为同一个目标；所有不连通的非0像素点拥有一个不同的ID，表示不同的目标。
进一步地，所述步骤7执行之前，还包括执行以下判断：提取每个连通域内的所有点云，若点云数量大于设定阈值，则执行步骤7，否则将连通域舍弃，之后执行步骤7。
本发明与现有技术相比，其显著优点为：
1)可以用于毫米波雷达点云的聚类和目标识别，能够有效将目标的空间位置、速度等信息识别出来。
2)采用神经网络均匀化点云的空间密度分布，不依赖丰富经验选取参数或公式，稳定性高，适用于各种场景。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明毫米波雷达点云聚类和多目标识别机器学习方法的流程图。
图2中的(a)为毫米波雷达实测的点云数据，图2中的(b)为筛选过滤后的点云数据，图2中的(c)为坐标旋转后的点云数据。
图3为毫米波雷达点云的密度分布图。
图4为连通性分析方法得到的多目标识别结果图。
图5为连通域对应的雷达点云提取图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用于解释本申请，并不用于限定本申请。
在一个实施例中，结合图1，提供了一种毫米波雷达点云聚类和多目标识别机器学习方法，所述方法包括以下步骤：
步骤1，获取毫米波雷达点云数据，选取关注的检测区域，将关注的检测区域以外的点云以及速度为0的点云删除；
步骤2，将毫米波雷达检测到的点云位置信息从雷达自身极坐标系转换为笛卡尔坐标系；
以关注区域左下角为原点、车道线方向为y轴、垂直车道线向右方向为x轴；
对于3D毫米波雷达，坐标转换公式为：
Figure BDA0004006604090000041
其中，r和
Figure BDA0004006604090000042
分别是雷达自身极坐标系下的点云距离信息和方位角信息，
Figure BDA0004006604090000043
是雷达法向角与车道线方向的夹角，x0和y0是关注的检测区域的左下角坐标；(x，y)为转换后的笛卡尔坐标系下的点云位置信息。
对于4D毫米波雷达，坐标转换公式为：
Figure BDA0004006604090000044
其中，θ为雷达点云的俯仰角信息，z为高度方向坐标，z0为关注的检测区域左下角地面高度。
步骤3，获取点云密度分布图像：根据雷达点云的位置，将每个雷达点云投影到检测区域内对应的像素点，每个像素点内的值表示像素点内的点云密度，由此形成点云密度分布图像；具体过程为：
使用矩形网格剖分关注的检测区域，其中每个矩形网格是一个像素点，则该区域内点云(x,y)对应的图像坐标(X,Y)表示为：
Figure BDA0004006604090000045
其中，εx和εy分别为网格x和y方向的尺寸，floor()表示向下取整；
将图像坐标(X,Y)的像素点值加1；
对每一个点云重复此步骤，最终获得点云的密度分布图像；
步骤4，利用卷积神经网络均匀化点云密度分布图像，具体为：利用卷积神经网络的卷积窗扫描点云密度分布图像，将间隔距离小于预设阈值、密度值非0的像素点中间的0值像素点的值变为非0；
这里优选地，卷积神经网络采用一个单层卷积神经网络，卷积窗大小为3*3，其每个元素值为1，卷积步长为1，卷积上下左右填充各1行、1列(用0填充)。
步骤5，对均匀化后的点云密度分布图像进行二值化处理，具体方式为：设定一个最低点云密度ε，若像素点内点云密度≥ε,则像素点取值1；若像素点内点云密度<ε,则像素点取值0；
步骤6，对二值化的点云密度分布图进行连通性分析，识别目标；具体为：对二值化的点云密度分布图进行4邻域连通性分析，像素点值为0的区域ID＝0，表示背景区域；所有连通的非0值像素点拥有一个相同的ID，被识别为同一个目标；所有不连通的非0像素点拥有一个不同的ID，表示不同的目标；
步骤7，提取每个连通域内的所有点云，若点云数量大于设定阈值，则执行步骤8，否则将连通域舍弃，之后执行步骤8；
步骤8，遍历每一个连通域，平均每个连通域内所有点云的属性，作为识别出的目标的属性，所述属性包括位置、速度等。
在一个实施例中，提供了一种毫米波雷达点云聚类和多目标识别机器学习系统，包括数据预处理模块，区域卷积均匀化模块、连通性分析模块以及目标信息提取模块。
数据预处理模块，用于对雷达获取的点云数据进行筛选、滤除、以及坐标转换，以及投影到关注区域，获取关注区域的点云密度分布图。其中数据的筛选和滤除包括选取关注的检测区域，将关注区域以外的点云删除以及将速度为0(通常对应于背景环境)的点云删除。由于雷达点云所用坐标系通常是以自身位置为原点、法向为极轴的极坐标系，通过坐标转换，点云的位置等信息可以转换到笛卡尔坐标系下。数据预处理的效果如图2所示。
以关注区域左下角为原点、车道线方向为y轴、垂直车道线向右方向为x轴。对于3D毫米波雷达，该坐标转换公式为：
Figure BDA0004006604090000051
其中r和
Figure BDA0004006604090000052
分别是雷达极坐标系下的点云距离信息和方位角信息，
Figure BDA0004006604090000053
是雷达法向角与车道线方向的夹角，x0和y0是关注区域的左下角坐标。
如果雷达是4D毫米波雷达，能够给出俯仰角信息，则该转换公式为：
Figure BDA0004006604090000054
其中θ为雷达点云的俯仰角信息，z为高度方向坐标，z0为关注区域左下角地面高度。
点云的投影是指根据点云的坐标信息，获得点云在关注区域内的密度分布图像。设定关注区域x方向和y方向的像素坐标对应的尺寸εx和εy，则点云(x,y)对应的图像坐标X,Y)可以表示为：
Figure BDA0004006604090000061
其中floor()表示向下取整。然后将图像坐标(X,Y)的像素点值加1。对每一个点云重复此步骤，最终可以获得点云的密度分布图像。针对图2，获得的点云的密度分布图像如图3所示。
区域卷积均匀化模块：用于实现点云密度分布图像均匀化；具体为：卷积神经网络的卷积窗通过扫描关注区域的点云密度分布图，将点云密度分布图像均匀化，可以避免由于同一个目标的点云分段而被识别成2个目标。
本实施例中采用一个单层卷积神经网络，卷积窗大小为3*3，其每个元素值为1，卷积步长为1，卷积上下左右填充各1行/列(用0填充)。
连通性分析模块：用于实现先对点云密度分布图像进行二值化处理，将小于最低点云密度ε的像素点值变为0，大于或等于最低点云密度的像素点变为1，然后针对二值化的点云密度分布图像进行4邻域连通性分析。其中4邻域连通性分析的主要思想是将具有相同像素值且连通在一起的像素点赋予同一个ID，不连通的像素点赋予不同的ID，其中背景像素点赋予ID＝0。其具体实施方式如下：如果一个像素点内点云密度值为0，则赋予ID＝0，表示背景。如果一个像素点密度值非0且还没有赋予ID，则搜索其4邻域中非0值像素点，以及这些非0值像素点的4邻域中非0值像素点，依次类推，最后赋予它们同一个新ID。基于连通性分析的聚类方法效果如图4所示。
目标信息提取模块，用于计算每个连通域内所有点云的平均位置、速度等，作为此连通域代表的目标的实际位置、速度。如图5所示，连通性分析可以获取每个目标对应的一个或多个像素点集合Cn＝∪i(Xi,Yi)，提取出对应像素点集合Cn内的所有点云Pi∈Cn，平均所有点云的位置、速度等信息作为目标的位置、速度等。
Figure BDA0004006604090000062
Figure BDA0004006604090000063
Figure BDA0004006604090000071
Figure BDA0004006604090000072
其中
Figure BDA0004006604090000073
为目标n的x坐标，
Figure BDA0004006604090000074
为目标n的y坐标，
Figure BDA0004006604090000075
为目标n的速度，on为目标n的其他信息，N为点云数量。
本发明是一种较少依赖于经验公式或参数的选取、在不同场景下能够稳定工作、适用于高维点云数据的聚类方法，能提高点云聚类目标识别的便捷性、准确性。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种毫米波雷达点云聚类和多目标识别机器学习方法，其特征在于，所述方法包括以下步骤：
步骤1，获取毫米波雷达点云数据，选取关注的检测区域，将关注的检测区域以外的点云以及速度为0的点云删除；
步骤2，将毫米波雷达检测到的点云位置信息从雷达自身极坐标系转换为笛卡尔坐标系；
步骤3，获取点云密度分布图像：根据雷达点云的位置，将每个雷达点云投影到检测区域内对应的像素点，每个像素点内的值表示像素点内的点云密度，由此形成点云密度分布图像；
步骤4，利用卷积神经网络均匀化点云密度分布图像；
步骤5，对均匀化后的点云密度分布图像进行二值化处理；
步骤6，对二值化的点云密度分布图进行连通性分析，识别目标；
步骤7，遍历每一个连通域，平均每个连通域内所有点云的属性，作为识别出的目标的属性，所述属性包括位置、速度。
2.根据权利要求1所述的毫米波雷达点云聚类和多目标识别机器学习方法，其特征在于，以关注的检测区域左下角为原点、车道线方向为y轴、垂直车道线向右方向为x轴，对于3D毫米波雷达，步骤2中的坐标转换公式为：
Figure FDA0004006604080000011
其中，r和
Figure FDA0004006604080000012
分别是雷达自身极坐标系下的点云距离信息和方位角信息，
Figure FDA0004006604080000013
是雷达法向角与车道线方向的夹角，x0和y0是关注的检测区域的左下角坐标；(x，y)为转换后的笛卡尔坐标系下的点云位置信息。
3.根据权利要求2所述的毫米波雷达点云聚类和多目标识别机器学习方法，其特征在于，对于4D毫米波雷达，步骤2中的坐标转换公式为：
Figure FDA0004006604080000014
其中，θ为雷达点云的俯仰角信息，z为高度方向坐标，z0为关注的检测区域左下角地面高度。
4.根据权利要求1所述的毫米波雷达点云聚类和多目标识别机器学习方法，其特征在于，步骤3中，根据点云的位置信息，统计每个像素点内点云的密度，形成密度分布图像，具体方法为：
使用矩形网格剖分关注的检测区域，其中每个矩形网格是一个像素点，则该区域内点云(x,y)对应的图像坐标(X,Y)表示为：
Figure FDA0004006604080000021
其中，εx和εy分别为网格x和y方向的尺寸，floor()表示向下取整；
将图像坐标(X,Y)的像素点值加1；
对每一个点云重复此步骤，最终获得点云的密度分布图像。
5.根据权利要求1所述的毫米波雷达点云聚类和多目标识别机器学习方法，其特征在于，步骤4中利用卷积神经网络均匀化点云密度分布图像，具体为：利用卷积神经网络的卷积窗扫描点云密度分布图像，将间隔距离小于预设阈值、密度值非0的像素点中间的0值像素点的值变为非0。
6.根据权利要求1所述的毫米波雷达点云聚类和多目标识别机器学习方法，其特征在于，步骤4中卷积神经网络采用一个单层卷积神经网络，卷积窗大小为3*3，其每个元素值为1，卷积步长为1，卷积上下左右填充各1行、1列0。
7.根据权利要求1所述的毫米波雷达点云聚类和多目标识别机器学习方法，其特征在于，步骤5中对均匀化后的点云密度分布图像进行二值化处理，具体方式为：设定一个最低点云密度ε，若像素点内点云密度≥ε，则像素点取值1；若像素点内点云密度<ε,则像素点取值0。
8.根据权利要求1所述的毫米波雷达点云聚类和多目标识别机器学习方法，其特征在于，步骤6所述对二值化的点云密度分布图进行连通性分析，具体为：对二值化的点云密度分布图进行4邻域连通性分析，像素点值为0的区域ID＝0，表示背景区域；所有连通的非0值像素点拥有一个相同的ID，被识别为同一个目标；所有不连通的非0像素点拥有一个不同的ID，表示不同的目标。
9.根据权利要求1所述的毫米波雷达点云聚类和多目标识别机器学习方法，其特征在于，所述步骤7执行之前，还包括执行以下判断：提取每个连通域内的所有点云，若点云数量大于设定阈值，则执行步骤7，否则将连通域舍弃，之后执行步骤7。
CN202211633216.2A 2022-12-19 2022-12-19 一种毫米波雷达点云聚类和多目标识别机器学习方法 Pending CN116012628A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211633216.2A CN116012628A (zh) 2022-12-19 2022-12-19 一种毫米波雷达点云聚类和多目标识别机器学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211633216.2A CN116012628A (zh) 2022-12-19 2022-12-19 一种毫米波雷达点云聚类和多目标识别机器学习方法

Publications (1)

Publication Number Publication Date
CN116012628A true CN116012628A (zh) 2023-04-25

Family

ID=86024132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211633216.2A Pending CN116012628A (zh) 2022-12-19 2022-12-19 一种毫米波雷达点云聚类和多目标识别机器学习方法

Country Status (1)

Country Link
CN (1) CN116012628A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117647807A (zh) * 2024-01-30 2024-03-05 安徽隼波科技有限公司 一种基于毫米波雷达的机动车尺寸估计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117647807A (zh) * 2024-01-30 2024-03-05 安徽隼波科技有限公司 一种基于毫米波雷达的机动车尺寸估计方法
CN117647807B (zh) * 2024-01-30 2024-04-19 安徽隼波科技有限公司 一种基于毫米波雷达的机动车尺寸估计方法

Similar Documents

Publication Publication Date Title
CN109961440B (zh) 一种基于深度图的三维激光雷达点云目标分割方法
CN110781827B (zh) 一种基于激光雷达与扇状空间分割的路沿检测系统及其方法
WO2021143778A1 (zh) 一种基于激光雷达的定位方法
CN106650640B (zh) 一种基于激光雷达点云局部结构特征的负障碍物检测方法
CN106951879B (zh) 基于摄像头与毫米波雷达的多特征融合车辆检测方法
CN110349260B (zh) 一种路面标线自动提取方法及装置
CN104217427B (zh) 一种交通监控视频中车道线定位方法
CN110705543A (zh) 基于激光点云进行车道线识别的方法和系统
WO2022188663A1 (zh) 一种目标检测方法及装置
CN109948635B (zh) 一种基于激光扫描的目标识别方法及装置
CN114488194A (zh) 一种智能驾驶车辆结构化道路下目标检测识别方法
CN109101892B (zh) 基于栅格和密度聚类算法的激光雷达目标物检测方法
CN114782729A (zh) 一种基于激光雷达与视觉融合的实时目标检测方法
CN116109601A (zh) 一种基于三维激光雷达点云的实时目标检测方法
CN112285733B (zh) 一种城乡规划核实测绘数据处理方法
CN114051628B (zh) 一种确定目标对象点云集的方法及装置
CN114648654A (zh) 一种融合点云语义类别和距离的聚类方法
CN116012628A (zh) 一种毫米波雷达点云聚类和多目标识别机器学习方法
CN115267815A (zh) 一种基于点云建模的路侧激光雷达组群优化布设方法
Liu et al. Vehicle detection from aerial color imagery and airborne LiDAR data
CN114638934A (zh) 一种3D激光slam建图中动态障碍物的后处理方法
CN115267722A (zh) 一种角点提取方法、装置及存储介质
CN112379393A (zh) 一种列车碰撞预警方法及其装置
CN116681932A (zh) 一种对象识别方法、装置、电子设备及存储介质
CN110488320B (zh) 一种利用立体视觉检测车辆距离的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination