CN117876999A - 通用障碍物检测方法、可读存储介质及智能设备 - Google Patents
通用障碍物检测方法、可读存储介质及智能设备 Download PDFInfo
- Publication number
- CN117876999A CN117876999A CN202410040640.9A CN202410040640A CN117876999A CN 117876999 A CN117876999 A CN 117876999A CN 202410040640 A CN202410040640 A CN 202410040640A CN 117876999 A CN117876999 A CN 117876999A
- Authority
- CN
- China
- Prior art keywords
- grid
- target
- point cloud
- clustering
- grids
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 214
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000033001 locomotion Effects 0.000 claims description 133
- 230000003068 static effect Effects 0.000 claims description 30
- 230000006872 improvement Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013136 deep learning model Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 7
- 230000005484 gravity Effects 0.000 description 23
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及自动驾驶技术领域,具体提供一种通用障碍物检测方法、可读存储介质及智能设备,旨在解决如何有效提升通用障碍物的检测准确性的问题。为此目的,本申请根据待检测的点云数据,获取目标检测结果和栅格化点云数据,根据目标检测结果和栅格化点云数据,获取每个栅格的高斯散射核标签,根据高斯散射核标签对栅格进行聚类,并根据聚类结果获得通用障碍物检测结果。通过上述配置方式,本申请在对点云的栅格进行聚类过程中,考虑到目标检测结果,通过相对于目标检测结果的高斯散射核标签,来实现栅格的聚类,能够有效提升聚类结果的精确程度,从而获得更为准确的通用障碍物检测结果。
Description
技术领域
本申请涉及自动驾驶技术领域,具体提供一种通用障碍物检测方法、可读存储介质及智能设备。
背景技术
高级辅助驾驶的功能越来越受到大家的关注,而且使用的场景随着传感器和信息技术的进步,其功能体验也得到了进一步地提升。在高级辅助驾驶功能中,通用障碍物的检测是重要的一环。
对于通用障碍物,难以采用基于深度学习的目标检测方案来达到高精度的检测能力;而基于传统的聚类算法,由于只考虑了点云的几何分布,也难以获得良好的效果。
相应地,本领域需要一种新的通用障碍物检测方案来解决上述问题。
发明内容
为了克服上述缺陷,提出了本申请,以提供解决或至少部分地解决如何有效提升通用障碍物的检测准确性的问题。
在第一方面,本申请提供一种通用障碍物检测方法,根据待检测的点云数据,获取所述点云数据的目标检测结果和栅格化点云数据;
根据所述目标检测结果和所述栅格化点云数据,获取所述栅格化点云数据中栅格相对于所述目标检测结果的高斯散射核标签;
根据所述高斯散射核标签,对所述栅格进行聚类,以根据聚类结果获取所述点云数据中的通用障碍物检测结果。
在上述通用障碍物检测方法的一个技术方案中,所述根据所述高斯散射核标签,对所述栅格进行聚类,包括:
获取所述栅格的栅格级运动状态;
根据所述高斯散射核标签和所述栅格级运动状态,对所述栅格进行聚类。
在上述通用障碍物检测方法的一个技术方案中,所述根据所述高斯散射核标签和所述栅格级运动状态,对所述栅格进行聚类,包括:
根据所述高斯散射核标签,获取占据所述栅格的所述目标检测结果的目标编码;
根据所述栅格的栅格级运动状态和所述目标编码,对所述栅格进行聚类。
在上述通用障碍物检测方法的一个技术方案中,所述根据所述高斯散射核标签,获取占据所述栅格的所述目标检测结果的目标编码,包括:
当所述栅格的高斯散射核标签大于预设的标签阈值,且大于所述栅格的历史高斯散射核标签,将对应的所述目标检测结果的目标编码赋予所述栅格。
在上述通用障碍物检测方法的一个技术方案中,所述根据所述栅格的栅格级运动状态和所述目标编码,对所述栅格进行聚类,包括:
针对当前栅格,根据所述栅格级运动状态,获取所述当前栅格和所述当前栅格的邻域栅格的运动速度;
根据所述运动速度,获取所述当前栅格和所述邻域栅格之间运动速度的运动状态距离;
根据所述目标编码,获取所述当前栅格和所述邻域栅格之间的目标距离;
根据所述运动状态距离和所述目标距离,对所述栅格进行聚类。
在上述通用障碍物检测方法的一个技术方案中,所述根据所述运动速度,获取所述当前栅格和所述邻域栅格之间运动速度的运动状态距离,包括:
获取所述当前栅格和所述邻域栅格之间运动速度的余弦距离和欧氏距离;
对所述余弦距离和所述欧氏距离进行加权计算,获取所述运动状态距离。
在上述通用障碍物检测方法的一个技术方案中,所述根据所述目标编码,获取所述当前栅格和所述邻域栅格之间的目标距离,包括:
当所述当前栅格和所述邻域栅格的目标编码相同时,设置所述目标距离为0;
当所述当前栅格和所述邻域栅格的目标编码不同时,设置所述目标距离为-1。
在上述通用障碍物检测方法的一个技术方案中,所述根据所述运动状态距离和所述目标距离,对所述栅格进行聚类,包括:
根据所述运动状态距离和所述目标距离进行加权计算,获取所述当前栅格和所述邻域栅格之间的相似度;
当所述相似度大于预设的相似度阈值时,判定所述当前栅格和所述邻域栅格连通,从而实现所述栅格的聚类。
在上述通用障碍物检测方法的一个技术方案中,所述获取所述栅格的栅格级运动状态,包括:
基于预设的第一深度学习模型,对所述栅格化点云数据进行运动状态检测,获得所述栅格级运动状态;
其中,所述栅格级运动状态包括所述栅格的运动速度和动静态分类。
在上述通用障碍物检测方法的一个技术方案中,所述根据所述目标检测结果和所述栅格化点云数据,获取所述栅格化点云数据中栅格相对于所述目标检测结果的高斯散射核标签,包括:
根据所述目标检测结果的尺寸和预设的重叠参数,获取高斯散射核半径;
根据所述高斯散射核半径,确定所述目标检测结果的改善范围;
根据所述改善范围和所述目标检测结果对应的检测框范围,获取所述栅格化点云数据中每个栅格的高斯散射核标签。
在上述通用障碍物检测方法的一个技术方案中,所述根据所述改善范围和所述目标检测结果对应的检测框范围,获取所述栅格化点云数据中每个栅格的高斯散射核标签,包括:
当所述栅格的重心位于所述检测框范围内时,将所述高斯散射核标签设为1;
当所述栅格的重心位于所述检测框范围外,且位于所述改善范围内时,获取所述栅格的重心到所述检测框范围的边界的最小距离;
根据所述最小距离,获取所述高斯散射核标签。
在上述通用障碍物检测方法的一个技术方案中,所述根据所述最小距离,获取所述高斯散射核标签,包括:
根据以下公式获取所述高斯散射核标签:
其中,P为所述高斯散射核标签,d为所述最小距离,σ为标准差。
在上述通用障碍物检测方法的一个技术方案中,所述根据聚类结果获取所述点云数据中的通用障碍物检测结果,包括:
获取所述聚类结果中包含的所有栅格的运动速度和动静态分类;
将所述所有栅格的运动速度的平均值,作为所述聚类结果的聚类运动速度;
将所述所有栅格的动静态分类中数量最多的动静态分类,作为所述聚类结果的动静态结果;
根据所述聚类结果中包含的所有栅格、所述聚类运动速度、所述动静态结果,获取所述通用障碍物检测结果。
在上述通用障碍物检测方法的一个技术方案中,所述方法包括根据以下步骤获取所述目标检测结果:
基于第二深度学习模型,对所述点云数据进行检测,获取所述目标检测结果;
其中,所述目标检测结果包括目标的中心点、尺寸、朝向和类别中的一种或多种。
在上述通用障碍物检测方法的一个技术方案中,所述方法包括根据以下步骤获取所述栅格化点云数据:
将所述点云数据进行鸟瞰图投影,获得投影后的点云数据;
将所述投影后的点云数据划分栅格,并获取每个栅格内的点云分布属性,以获取所述栅格化点云数据。
在第二方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述通用障碍物检测方法的技术方案中任一项技术方案所述的通用障碍物检测方法。
在第三方面,提供一种智能设备,所述智能设备包括:
至少一个处理器;
以及,与所述至少一个处理器通信连接的存储器;
其中,所述存储器中存储有计算机程序,所述计算机程序被所述至少一个处理器执行时实现上述通用障碍物检测方法的技术方案中任一项技术方案所述的通用障碍物检测方法。
方案1.一种通用障碍物检测方法,其特征在于,
根据待检测的点云数据,获取所述点云数据的目标检测结果和栅格化点云数据;
根据所述目标检测结果和所述栅格化点云数据,获取所述栅格化点云数据中栅格相对于所述目标检测结果的高斯散射核标签;
根据所述高斯散射核标签,对所述栅格进行聚类,以根据聚类结果获取所述点云数据中的通用障碍物检测结果。
方案2.根据方案1所述的通用障碍物检测方法,其特征在于,
所述根据所述高斯散射核标签,对所述栅格进行聚类,包括:
获取所述栅格的栅格级运动状态;
根据所述高斯散射核标签和所述栅格级运动状态,对所述栅格进行聚类。
方案3.根据方案2所述的通用障碍物检测方法,其特征在于,
所述根据所述高斯散射核标签和所述栅格级运动状态,对所述栅格进行聚类,包括:
根据所述高斯散射核标签,获取占据所述栅格的所述目标检测结果的目标编码;
根据所述栅格的栅格级运动状态和所述目标编码,对所述栅格进行聚类。
方案4.根据方案3所述的通用障碍物检测方法,其特征在于,
所述根据所述高斯散射核标签,获取占据所述栅格的所述目标检测结果的目标编码,包括:
当所述栅格的高斯散射核标签大于预设的标签阈值,且大于所述栅格的历史高斯散射核标签,将对应的所述目标检测结果的目标编码赋予所述栅格。
方案5.根据方案3所述的通用障碍物检测方法,其特征在于,
所述根据所述栅格的栅格级运动状态和所述目标编码,对所述栅格进行聚类,包括:
针对当前栅格,根据所述栅格级运动状态,获取所述当前栅格和所述当前栅格的邻域栅格的运动速度;
根据所述运动速度,获取所述当前栅格和所述邻域栅格之间运动速度的运动状态距离;
根据所述目标编码,获取所述当前栅格和所述邻域栅格之间的目标距离;
根据所述运动状态距离和所述目标距离,对所述栅格进行聚类。
方案6.根据方案5所述的通用障碍物检测方法,其特征在于,
所述根据所述运动速度,获取所述当前栅格和所述邻域栅格之间运动速度的运动状态距离,包括:
获取所述当前栅格和所述邻域栅格之间运动速度的余弦距离和欧氏距离;
对所述余弦距离和所述欧氏距离进行加权计算,获取所述运动状态距离。
方案7.根据方案5所述的通用障碍物检测方法,其特征在于,
所述根据所述目标编码,获取所述当前栅格和所述邻域栅格之间的目标距离,包括:
当所述当前栅格和所述邻域栅格的目标编码相同时,设置所述目标距离为0;
当所述当前栅格和所述邻域栅格的目标编码不同时,设置所述目标距离为-1。
方案8.根据方案5所述的通用障碍物检测方法,其特征在于,
所述根据所述运动状态距离和所述目标距离,对所述栅格进行聚类,包括:
根据所述运动状态距离和所述目标距离进行加权计算,获取所述当前栅格和所述邻域栅格之间的相似度;
当所述相似度大于预设的相似度阈值时,判定所述当前栅格和所述邻域栅格连通,从而实现所述栅格的聚类。
方案9.根据方案2所述的通用障碍物检测方法,其特征在于,
所述获取所述栅格的栅格级运动状态,包括:
基于预设的第一深度学习模型,对所述栅格化点云数据进行运动状态检测,获得所述栅格级运动状态;
其中,所述栅格级运动状态包括所述栅格的运动速度和动静态分类。
方案10.根据方案1所述的通用障碍物检测方法,其特征在于,
所述根据所述目标检测结果和所述栅格化点云数据,获取所述栅格化点云数据中栅格相对于所述目标检测结果的高斯散射核标签,包括:
根据所述目标检测结果的尺寸和预设的重叠参数,获取高斯散射核半径;
根据所述高斯散射核半径,确定所述目标检测结果的改善范围;
根据所述改善范围和所述目标检测结果对应的检测框范围,获取所述栅格化点云数据中每个栅格的高斯散射核标签。
方案11.根据方案10所述的通用障碍物检测方法,其特征在于,
所述根据所述改善范围和所述目标检测结果对应的检测框范围,获取所述栅格化点云数据中每个栅格的高斯散射核标签,包括:
当所述栅格的重心位于所述检测框范围内时,将所述高斯散射核标签设为1;
当所述栅格的重心位于所述检测框范围外,且位于所述改善范围内时,获取所述栅格的重心到所述检测框范围的边界的最小距离;
根据所述最小距离,获取所述高斯散射核标签。
方案12.根据方案11所述的通用障碍物检测方法,其特征在于,
所述根据所述最小距离,获取所述高斯散射核标签,包括:
根据以下公式获取所述高斯散射核标签:
其中,P为所述高斯散射核标签,d为所述最小距离,σ为标准差。
方案13.根据方案1所述的通用障碍物检测方法,其特征在于,
所述根据聚类结果获取所述点云数据中的通用障碍物检测结果,包括:
获取所述聚类结果中包含的所有栅格的运动速度和动静态分类;
将所述所有栅格的运动速度的平均值,作为所述聚类结果的聚类运动速度;
将所述所有栅格的动静态分类中数量最多的动静态分类,作为所述聚类结果的动静态结果;
根据所述聚类结果中包含的所有栅格、所述聚类运动速度、所述动静态结果,获取所述通用障碍物检测结果。
方案14.根据方案1所述的通用障碍物检测方法,其特征在于,
所述方法包括根据以下步骤获取所述目标检测结果:
基于第二深度学习模型,对所述点云数据进行检测,获取所述目标检测结果;
其中,所述目标检测结果包括目标的中心点、尺寸、朝向和类别中的一种或多种。
方案15.根据方案1所述的通用障碍物检测方法,其特征在于,
所述方法包括根据以下步骤获取所述栅格化点云数据:
将所述点云数据进行鸟瞰图投影,获得投影后的点云数据;
将所述投影后的点云数据划分栅格,并获取每个栅格内的点云分布属性,以获取所述栅格化点云数据。
方案16.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行方案1至15中任一项所述的通用障碍物检测方法。
方案17.一种智能设备,其特征在于,所述智能设备包括:
至少一个处理器;
以及,与所述至少一个处理器通信连接的存储器;
其中,所述存储器中存储有计算机程序,所述计算机程序被所述至少一个处理器执行时实现方案1至15中任一项所述的通用障碍物检测方法。
本申请上述一个或多个技术方案,至少具有如下一种或多种
有益效果:
在实施本申请的技术方案中,本申请根据待检测的点云数据,获取目标检测结果和栅格化点云数据,根据目标检测结果和栅格化点云数据,获取每个栅格的高斯散射核标签,根据高斯散射核标签对栅格进行聚类,并根据聚类结果获得通用障碍物检测结果。通过上述配置方式,本申请在对点云的栅格进行聚类过程中,考虑到目标检测结果,通过相对于目标检测结果的高斯散射核标签,来实现栅格的聚类,能够有效提升聚类结果的精确程度,从而获得更为准确的通用障碍物检测结果。
进一步地,本申请在对栅格进行聚类的过程中还考虑到了栅格的栅格级运动状态,将栅格级运动状态与高斯散射核结合进行栅格聚类,聚类的过程融合了点云数据的分布特征和点云数据的运动状态特征,能够进一步提升通用障碍物的检测性能。
进一步地,本申请获取的通用障碍物检测结果包含了聚类结果的运动速度、动静态结果等运动状态信息,更加便于下游应用通用障碍物检查结果进行预测和规划等功能,能够实现对下游任务的针对性优化。
附图说明
参照附图,本申请的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本申请的保护范围组成限制。其中:
图1是根据本申请的一个实施例的通用障碍物检测方法的主要步骤流程示意图;
图2是根据本申请实施例的一个实施方式的通用障碍物检测方法的主要步骤流程示意图;
图3是根据本申请实施例的一个实施方式的目标检测结果对应的检测框范围和改善范围示意图;
图4是根据本申请实施例的一个示例的栅格的高斯散射核标签赋值效果示意图;
图5是根据本申请的一个实施例的通用障碍物检测系统的主要结构框图示意图;
图6是根据本申请的一个实施例的智能设备的存储器和处理器的连接关系示意图。
具体实施方式
下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本申请的技术原理,并非旨在限制本申请的保护范围。
在本申请的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似,可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
这里先解释本申请涉及到的一些术语。
自动驾驶系统(Automated Driving Systems,ADS),其是指系统在自身的设计运行范围(Operational Domain Design,ODD)内将持续执行全部的动态驾驶任务(DynamicDriving Task,DDT)。即,在规定的适当驾驶场景条件下才允许机器系统全部承担车辆自动操控的任务,即车辆满足ODD条件时系统被激活,该系统代替人类驾驶员作为车辆的驾驶主体。其中,动态驾驶任务DDT是指对车辆进行持续的横向(左、右转向)和纵向运动控制(加速,减速,匀速)以及对车辆行驶环境中的目标和事件进行探测和响应。设计运行范围ODD是指自动驾驶系统可以安全运行的条件,其设置的条件可以包括地理位置、道路类型、速度范围、天气、时间、国家和地方性交通法律法规等。
参阅附图1,图1是根据本申请的一个实施例的通用障碍物检测方法的主要步骤流程示意图。如图1所示,本申请实施例中的通用障碍物检测方法主要包括下列步骤S101-步骤S103。
步骤S101:根据待检测的点云数据,获取点云数据的目标检测结果和栅格化点云数据。
在本实施例中,可以根据待检测的点云数据,来获取点云数据的目标检测结果和栅格化点云数据。
一个实施方式中,可以将待检测的点云数据进行鸟瞰图(BEV,Bird’s Eye View)投影,获得投影后的点云数据,即规则的二维稠密点云矩阵。对投影后的点云数据划分栅格,并获得每个栅格内点云分布属性,即统计每个栅格内点云的高度、重心等统计量,从而获得栅格化点云数据。
一个实施方式中,可以基于第二深度学习模型,应用深度学习技术对点云数据进行检测,获得目标检测结果。目标检测结果可以包括目标的中心点(可以用三维坐标(x、y、z)表示)、尺寸(可以用长宽高表示(w、l、h))、朝向、类别等。
步骤S102:根据目标检测结果和栅格化点云数据,获取栅格化点云数据中栅格相对于目标检测结果的高斯散射核标签。
在本实施例中,可以根据目标检测结果和栅格化点云数据,来获取栅格化点云数据中每个栅格相对于目标检测结果的高斯散射核标签。其中,高斯散射核标签是根据以目标检测结果对应的检测框范围为基准,按照预设的重叠(overlap)参数设计的高斯散射核获得的标签。
步骤S103:根据高斯散射核标签,对栅格进行聚类,以根据聚类结果获取点云数据中的通用障碍物检测结果。
在本实施例中,可以根据高斯散射核标签,对栅格进行聚类,以根据聚类结果,获取点云数据通用障碍物检测结果。
一个实施方式中,通用障碍物检测结果可以包括聚类结果中的包含的所有栅格、聚类结果的聚类运动速度、动静态结果等。
基于上述步骤S101-步骤S103,本申请实施例根据待检测的点云数据,获取目标检测结果和栅格化点云数据,根据目标检测结果和栅格化点云数据,获取每个栅格的高斯散射核标签,根据高斯散射核标签对栅格进行聚类,并根据聚类结果获得通用障碍物检测结果。通过上述配置方式,本申请实施例在对点云的栅格进行聚类过程中,考虑到目标检测结果,通过相对于目标检测结果的高斯散射核标签,来实现栅格的聚类,能够有效提升聚类结果的精确程度,从而获得更为准确的通用障碍物检测结果。
下面分别对步骤S102和步骤S103作进一步地说明。
在本申请实施例的一个实施方式中,步骤S102可以进一步包括以下步骤S1021至步骤S1023:
步骤S1021:根据目标检测结果的尺寸和预设的重叠参数,获取高斯散射核半径。
在本实施方式中,可以参阅附图3,图3是根据本申请实施例的一个实施方式的目标检测结果对应的检测框范围和改善范围示意图。如图3所示,可以根据目标检测结果的尺寸,即目标检测结果的对应的检测框范围的长宽尺寸和预设的重叠(overlap)参数来获取高斯散射核半径。其中,图3中的R为高斯散射核半径。重叠参数即为设置的改善范围与检测框范围之间的IOU(Intersection over Union,交并比)阈值,改善范围与检测框范围之间的IOU需大于IOU阈值。
步骤S1022:根据高斯散射核半径,确定目标检测结果的改善范围。
在本实施方式中,可以根据高斯散射核半径,来确定目标检测结果的改善范围。图3中的虚线矩形框对应的范围即为目标检测结果对应的检测框范围,实线圆角矩形框即为改善范围。
步骤S1023:根据改善范围和目标检测结果对应的检测框范围,获取栅格化点云数据中每个栅格的高斯散射核标签。
在本实施方式中,步骤S1023可以进一步包括以下步骤S10231至步骤S10233:
步骤S10231:当栅格的重心位于检测框范围内时,将高斯散射核标签设为1。
在本实施方式中,当栅格的重心位于检测框范围内时,即图3中虚线矩形框内时,则将高斯散射核设置为1。
步骤S10232:当栅格的重心位于检测框范围外,且位于改善范围内时,获取栅格的重心到检测框范围的边界的最小距离。
在本实施方式中,当栅格的重心位于检测框范围外,且位于改善内时,获取栅格的重心到检测框范围的边界的最小距离。即,如图3所示,当栅格的重心位于虚线矩形框外,且位于实线圆角矩形内时,则可以获得栅格的重心到检测框范围的边界的最小距离。当栅格的重心位于虚线矩形框外,且位于实线圆角矩形内时,可以划分为a、b和corner(角落)区域。a区域包括a1和a2区域,b区域包括b1和b2区域,corner区域包括corner1、corner2、corner3和corner4区域。
可以先判断栅格的重心是位于a、b、corner区域中的哪个区域,可以通过重心与检测框范围的边框向量的2d叉积相乘获得的结果的正负号来判断。即,通过点和向量的相乘关系,判断栅格的重心位于哪个区域。如果位于a区域,则可以计算重心到检测框范围(即虚线矩形框)的左右两条边的最小距离;如果位于b区域,则可以计算重心到检测框范围的上下两条边的最小距离;如果位于四个corner区域,计算重心到检测框范围的四个角点的最小距离。
步骤S10233:根据最小距离,获取高斯散射核标签。
在本实施方式中,可以根据以下公式(1)获取高斯散射核标签:
其中,P为高斯散射核标签,d为最小距离,σ为标准差。
在本实施方式中,在检测框范围外,且位于改善范围内时,高斯散射核标签是呈现高斯分布递减规律的。因而,可以根据公式(1)来获取在检测框范围外,且位于改善范围内时的高斯散射核标签。
在本申请实施例的一个实施方式中,步骤S103可以进一步包括以下步骤S1031和步骤S1032:
步骤S1031:获取栅格的栅格级运动状态。
在本实施方式中,可以基于预设的第一深度学习模型,基于深度学习技术,来对栅格化点云数据进行运动状态检测,获取每个栅格的栅格级运动状态。其中,栅格级运动状态可以包括栅格的运动速度和动静态分类。栅格级运动状态的维度与栅格内点云分布属性的维度一致,从而能够获得栅格级运动状态和栅格内点云分布属性之间的映射关系。其中,栅格级运动状态表征栅格在x/y轴的运动速度,可以用[w,h,2]维向量表示,w为x轴方向的运动速度,h为y轴方向的运动速度。动静态分类表征栅格的运动状态,包含静态(static)和动态(dynamic)两类,可以用[w,h,1]维向量表示。
步骤S1032:根据高斯散射核标签和栅格级运动状态,对栅格进行聚类。
在本实施方式中,步骤S1032可以进一步包括以下步骤S10321和步骤S10322:
步骤S10321:根据高斯散射核标签,获取占据栅格的目标检测结果的目标编码。
在本实施方式中,当栅格的高斯散射核标签大于预设的标签阈值,且大于栅格的历史高斯散射核标签,将对应的目标检测结果的目标编码赋予栅格。即,可判断当前栅格的高斯栅格核标签是否大于预设的标签阈值,并判断该栅格对应当前目标检测结果获得高斯散射核标签,是否大于该栅格获得历史高斯散射核标签,如果上述两个条件均满足时,则可以认为该栅格是由当前目标检测结果占据,则为当前目标检测结果的目标编码赋予该栅格。其中,目标编码为目标检测结果对应的实例id。如,当前目标检测结果的目标编码为i,那么对应的栅格也被赋予目标编码i。
步骤S10322:根据栅格的栅格级运动状态和目标编码,对栅格进行聚类。
在本实施方式中,步骤S10322可以进一步包括以下步骤S103221至步骤S103224:
步骤S103221:针对当前栅格,根据栅格级运动状态,获取当前栅格和当前栅格的邻域栅格的运动速度。
在本实施方式中,可以根据栅格的栅格级运动状态获取当前栅格和邻域栅格的运动速度。
步骤S103222:根据运动速度,获取当前栅格和邻域栅格之间运动速度的运动状态距离。
在本实施方式中,可以根据运动速度,来获取当前栅格和邻域栅格之间的运动速度的运动状态距离。其中,运动状态距离表征了当前栅格和邻域栅格的运动状态的差异化程度。
一个实施方式中,可以分别获取当前栅格和邻域栅格的运动速度的余弦距离和欧氏(L2)距离,并对余弦距离和欧氏距离进行加权计算,从而获得当前栅格和邻域栅格之间的运动状态距离。其中,欧氏距离体现运动速度数值上的绝对差异,而余弦距离体现运动速度方向上的相对差异。
步骤S103223:根据目标编码,获取当前栅格和邻域栅格之间的目标距离。
在本实施方式中,可以根据目标编码,获取当前栅格和邻域栅格之间的目标距离。具体为,当当前栅格和邻域栅格的目标编码相同时,设置目标距离为0;当当前栅格和邻域栅格的目标编码不同时,设置目标距离为-1。
步骤S103224:根据运动状态距离和目标距离,对栅格进行聚类。
在本实施方式中,可以综合每个栅格的运动状态距离和目标距离来对栅格进行聚类。具体为,可以根据运动状态距离和目标距离进行加权计算,获取当前栅格和邻域栅格之间的相似度,将获得的相似速度与预设的相似度阈值进行比较,当相似度大于相似度阈值时,则可判定当前栅格和邻域栅格连通,从而实现栅格的聚类。本领域技术人员可以根据实际应用的需要对相似度阈值的取值进行配置。
一个示例中,可以参阅附图4,图4是根据本申请实施例的一个示例的栅格的高斯散射核标签赋值效果示意图。如图4所示,其中标号1对应的点为栅格的重心,白色粗实线矩形框2为目标检测结果对应的检测框范围,被横杆虚线框3标出的栅格为目标检测结果占据的栅格,被点虚线框4标出的栅格为在检测框范围外但存在激光扫描点的栅格,栅格中的数值为栅格对应的散射核标签。
在申请实施例的一个实施方式中,可以根据以下步骤S201至步骤S204来聚类结果获取点云数据中的通用障碍物检测结果:
步骤S201:获取聚类结果中包含的所有栅格的运动速度和动静态分类
步骤S202:将所有栅格的运动速度的平均值,作为聚类结果的聚类运动速度。
步骤S203:将所有栅格的动静态分类中数量最多的动静态分类,作为聚类结果的动静态结果。
步骤S204:根据聚类结果中包含的所有栅格、聚类运动速度、动静态结果,获取通用障碍物检测结果。
在本实施方式中,可以获取聚类结果中包含的所有栅格的运动速度和动静态分类,将所有栅格的运动速度的平均值作为聚类结果的聚类运动速度,将所有栅格的动静态分类中数量最多的动静态分类作为聚类结果的动静态结果,并将聚类结果中包含的所有栅格、聚类运动速度、动静态结果作为通用障碍物检测结果。获得的通用障碍物检测结果中包含了运动速度和动静态结果等运动状态信息,能够进一步优化下游的应用通用障碍物检测结果进行预测和规划任务。
一个实施方式中,可以参阅附图2,图2是根据本申请实施例的一个实施方式的通用障碍物检测方法的主要步骤流程示意图。如图2所示,在本实施方式中,可以将待检测的点云数据分别输入至目标检测网络、点云栅格化模块和运动状态检测网络。目标检测网络获取点云数据的目标检测结果。点云栅格化模块获取栅格化点云数据。运动状态检测模块获取栅格的栅格级运动状态。基于目标检测结果和栅格化点云数据,进行高斯散射核标签赋值。根据高斯散射核标签、栅格化点云数据和栅格级运动状态,进行栅格的连通区域标记聚类,并进行邻域相似度(即,当前栅格和邻域栅格之间的相似度)计算,根据相似度进行聚类后,进行聚类体(即,聚类结果)属性收集,基于聚类体属性进行聚类体运动状态判断,以将聚类体和聚类体的运动状态作为通用障碍物检测结果。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本申请的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些变化都在本申请的保护范围之内。
进一步,本申请还提供了一种通用障碍物检测系统。
参阅附图5,图5是根据本申请的一个实施例的通用障碍物检测系统的主要结构框图。如图5所示,本申请实施例中的通用障碍物检测系统主要包括目标检测和点云栅格化模块、高斯散射核标签获取模块和通用障碍物检测结果获取模块。在本实施例中,目标检测和点云栅格化模块可以被配置为根据待检测的点云数据,获取点云数据的目标检测结果和栅格化点云数据。高斯散射核标签获取模块可以被配置为根据目标检测结果和栅格化点云数据,获取栅格化点云数据中栅格相对于目标检测结果的高斯散射核标签。通用障碍物检测结果获取模块可以被配置为根据高斯散射核标签,对栅格进行聚类,以根据聚类结果获取点云数据中的通用障碍物检测结果。
上述通用障碍物检测系统以用于执行图1所示的通用障碍物检测方法实施例,两者的技术原理、所解决的技术问题及产生的技术效果相似,本技术领域技术人员可以清楚地了解到,为了描述的方便和简洁,通用障碍物检测系统的具体工作过程及有关说明,可以参考通用障碍物检测方法的实施例所描述的内容,此处不再赘述。
本领域技术人员能够理解的是,本申请实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本申请还提供了一种计算机可读存储介质。在根据本申请的一个计算机可读存储介质实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的通用障碍物检测方法的程序,该程序可以由处理器加载并运行以实现上述通用障碍物检测方法。为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
本申请的另一方面还提供了一种智能设备,智能设备可以包括至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器中存储有计算机程序,计算机程序被至少一个处理器执行时实现上述任一实施例所述的方法。本申请的智能设备,可以包括驾驶设备、智能车、机器人等设备。可以参阅附图6,图6是根据本申请的一个实施例的智能设备的存储器和处理器的连接关系示意图。如图6所示,图6中示例性的示出了存储器和处理器通过总线通信连接。
在本申请的一些实施例中,智能设备还包括至少一个传感器,传感器用于感知信息。传感器与本申请提到的任何一种类型的处理器通信连接。可选地,智能设备还包括自动驾驶系统,自动驾驶系统用于引导智能设备自行行驶或辅助驾驶。处理器与传感器和/或自动驾驶系统通信,用于完成上述任一实施例所述的方法。
进一步,应该理解的是,由于各个模块的设定仅仅是为了说明本申请的装置的功能单元,这些模块对应的物理器件可以是处理器本身,或者处理器中软件的一部分,硬件的一部分,或者软件和硬件结合的一部分。因此,图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是,可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本申请的原理,因此,拆分或合并之后的技术方案都将落入本申请的保护范围内。
本申请各实施例中可能涉及的相关用户个人信息,均为严格按照法律法规的要求,遵循合法、正当、必要的原则,基于业务场景的合理目的,处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的,以及经用户授权获取的个人信息。
本申请处理的用户个人信息会因具体产品/服务场景而有所不同,需以用户使用产品/服务的具体场景为准,可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。申请人会以高度的勤勉义务对待用户的个人信息及其处理。
本申请非常重视用户个人信息的安全,已采取符合业界标准、合理可行的安全防护措施保护用户的信息,防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。
至此,已经结合附图所示的优选实施方式描述了本申请的技术方案,但是,本领域技术人员容易理解的是,本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本申请的保护范围之内。
Claims (10)
1.一种通用障碍物检测方法,其特征在于,
根据待检测的点云数据,获取所述点云数据的目标检测结果和栅格化点云数据;
根据所述目标检测结果和所述栅格化点云数据,获取所述栅格化点云数据中栅格相对于所述目标检测结果的高斯散射核标签;
根据所述高斯散射核标签,对所述栅格进行聚类,以根据聚类结果获取所述点云数据中的通用障碍物检测结果。
2.根据权利要求1所述的通用障碍物检测方法,其特征在于,
所述根据所述高斯散射核标签,对所述栅格进行聚类,包括:
获取所述栅格的栅格级运动状态;
根据所述高斯散射核标签和所述栅格级运动状态,对所述栅格进行聚类。
3.根据权利要求2所述的通用障碍物检测方法,其特征在于,
所述根据所述高斯散射核标签和所述栅格级运动状态,对所述栅格进行聚类,包括:
根据所述高斯散射核标签,获取占据所述栅格的所述目标检测结果的目标编码;
根据所述栅格的栅格级运动状态和所述目标编码,对所述栅格进行聚类。
4.根据权利要求3所述的通用障碍物检测方法,其特征在于,
所述根据所述高斯散射核标签,获取占据所述栅格的所述目标检测结果的目标编码,包括:
当所述栅格的高斯散射核标签大于预设的标签阈值,且大于所述栅格的历史高斯散射核标签,将对应的所述目标检测结果的目标编码赋予所述栅格。
5.根据权利要求3所述的通用障碍物检测方法,其特征在于,
所述根据所述栅格的栅格级运动状态和所述目标编码,对所述栅格进行聚类,包括:
针对当前栅格,根据所述栅格级运动状态,获取所述当前栅格和所述当前栅格的邻域栅格的运动速度;
根据所述运动速度,获取所述当前栅格和所述邻域栅格之间运动速度的运动状态距离;
根据所述目标编码,获取所述当前栅格和所述邻域栅格之间的目标距离;
根据所述运动状态距离和所述目标距离,对所述栅格进行聚类。
6.根据权利要求5所述的通用障碍物检测方法,其特征在于,
所述根据所述运动速度,获取所述当前栅格和所述邻域栅格之间运动速度的运动状态距离,包括:
获取所述当前栅格和所述邻域栅格之间运动速度的余弦距离和欧氏距离;
对所述余弦距离和所述欧氏距离进行加权计算,获取所述运动状态距离。
7.根据权利要求5所述的通用障碍物检测方法,其特征在于,
所述根据所述目标编码,获取所述当前栅格和所述邻域栅格之间的目标距离,包括:
当所述当前栅格和所述邻域栅格的目标编码相同时,设置所述目标距离为0;
当所述当前栅格和所述邻域栅格的目标编码不同时,设置所述目标距离为-1。
8.根据权利要求5所述的通用障碍物检测方法,其特征在于,
所述根据所述运动状态距离和所述目标距离,对所述栅格进行聚类,包括:
根据所述运动状态距离和所述目标距离进行加权计算,获取所述当前栅格和所述邻域栅格之间的相似度;
当所述相似度大于预设的相似度阈值时,判定所述当前栅格和所述邻域栅格连通,从而实现所述栅格的聚类。
9.根据权利要求2所述的通用障碍物检测方法,其特征在于,
所述获取所述栅格的栅格级运动状态,包括:
基于预设的第一深度学习模型,对所述栅格化点云数据进行运动状态检测,获得所述栅格级运动状态;
其中,所述栅格级运动状态包括所述栅格的运动速度和动静态分类。
10.根据权利要求1所述的通用障碍物检测方法,其特征在于,
所述根据所述目标检测结果和所述栅格化点云数据,获取所述栅格化点云数据中栅格相对于所述目标检测结果的高斯散射核标签,包括:
根据所述目标检测结果的尺寸和预设的重叠参数,获取高斯散射核半径;
根据所述高斯散射核半径,确定所述目标检测结果的改善范围;
根据所述改善范围和所述目标检测结果对应的检测框范围,获取所述栅格化点云数据中每个栅格的高斯散射核标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410040640.9A CN117876999A (zh) | 2024-01-10 | 2024-01-10 | 通用障碍物检测方法、可读存储介质及智能设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410040640.9A CN117876999A (zh) | 2024-01-10 | 2024-01-10 | 通用障碍物检测方法、可读存储介质及智能设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117876999A true CN117876999A (zh) | 2024-04-12 |
Family
ID=90586294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410040640.9A Pending CN117876999A (zh) | 2024-01-10 | 2024-01-10 | 通用障碍物检测方法、可读存储介质及智能设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117876999A (zh) |
-
2024
- 2024-01-10 CN CN202410040640.9A patent/CN117876999A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111666921B (zh) | 车辆控制方法、装置、计算机设备和计算机可读存储介质 | |
CN112417967B (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
CN108509820B (zh) | 障碍物分割方法及装置、计算机设备及可读介质 | |
JP7239703B2 (ja) | 領域外コンテキストを用いたオブジェクト分類 | |
CN108629231B (zh) | 障碍物检测方法、装置、设备及存储介质 | |
CN108470174B (zh) | 障碍物分割方法及装置、计算机设备及可读介质 | |
CN113412505A (zh) | 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的系统和方法 | |
KR20210043628A (ko) | 장애물 감지 방법, 지능형 주행 제어 방법, 장치, 매체, 및 기기 | |
CN110832497A (zh) | 用于自治系统的对象过滤和统一表示形式的系统和方法 | |
CN112166458A (zh) | 目标检测与跟踪方法、系统、设备及存储介质 | |
CN111857135A (zh) | 用于车辆的避障方法、装置、电子设备和计算机存储介质 | |
CN112347986A (zh) | 样本生成、神经网络训练、智能行驶控制方法及装置 | |
CN112789521B (zh) | 感知区域的确定方法、装置、存储介质及车辆 | |
US20220171975A1 (en) | Method for Determining a Semantic Free Space | |
CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
CN117876999A (zh) | 通用障碍物检测方法、可读存储介质及智能设备 | |
CN117831003A (zh) | 通用障碍物检测方法、可读存储介质及智能设备 | |
EP4064116B1 (en) | Method and a device for assigning a bounding box to an object | |
CN117495847B (zh) | 路口检测方法、可读存储介质及智能设备 | |
CN115236696B (zh) | 确定障碍物的方法、装置、电子设备及存储介质 | |
CN117876708A (zh) | 障碍物轮廓获取方法、智能设备及计算机可读存储介质 | |
CN117111491B (zh) | 一种自动驾驶仿真中物体最近点确定方法、装置及设备 | |
CN118097610A (zh) | 静态障碍物检测方法、存储介质及智能设备 | |
CN117788597A (zh) | 点云定位方法、可读存储介质及智能设备 | |
CN117670982A (zh) | 目标对象轮廓获取方法、目标对象检测方法及智能设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |