CN115457497A

CN115457497A - 一种基于3d目标检测和多目标追踪检测车辆速度的方法

Info

Publication number: CN115457497A
Application number: CN202211136917.5A
Authority: CN
Inventors: 刘升恒; 李腾飞; 黄永明; 杨绿溪
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2022-09-19
Filing date: 2022-09-19
Publication date: 2022-12-09

Abstract

本发明涉及计算机视觉领域，设计了一种基于3D目标检测和多目标追踪算法来感知周围车辆速度的方法，该方法能够有效识别周围车辆并计算周围车辆的速度。所诉方法包括：数据集采集，通过雷达车获取训练样本数据；3D目标检测，对连续帧的点云数据进行车辆识别，获得目标车辆每一帧的位置坐标；3D多目标追踪，使用匈牙利算法和卡尔曼滤波算法组合，通过传统的追踪算法达到较高的计算效率同时又不会有较大的精度损失。通过对连续帧点云数据中的车辆进行识别追踪，获取车辆在每一帧的位置坐标和唯一标识，通过每一帧的位置坐标转换为现实世界中的世界坐标位置。根据世界坐标计算连续帧点云数据中每相邻两帧的移动距离进而计算车辆速度。

Description

一种基于3D目标检测和多目标追踪检测车辆速度的方法

技术领域

本发明涉及计算机视觉领域，特别是一种基于3D目标检测和多目标追踪感知周围车辆速度的一种方法。

背景技术

自动驾驶车辆自主行驶在道路上，需要对周围的三维场景进行感知，因为深度信息、目标三围尺寸等在2D感知中无法获得的，这些信息是自动捡拾感知系统的基础，对后续的路径规划、运动预测、碰撞具有重要指导作用。根据输入传感器信号类型，自动驾驶三维目标检测算法可以分为：基于图像的算法、基于激光点云的算法和基于多模态融合的算法。目前3D目标检测正处于高速发展时期，从成本上讲激光雷达大于双目相机大于单目相机，但是随着激光雷达的不断产业化发展，成本在不断降低，从准确率上来讲激光雷达大于双目和单目相机。

通过三维目标检测对周围场景进行感知，可以获得更加准确的信息，并且通过目标检测和后续的多目标追踪任务可以对周围的车辆进行速度检测，这对自动驾驶场景的车辆后续的路径规划，运动预测等任务有很大帮助，使车辆自动驾驶更加安全。

发明内容

基于此，有必要针对上述技术问题，本发明提供了一种基于3D目标检测和多目标追踪感知周围车辆速度的方法，能够有效检测自动驾驶车辆周围车辆的信息和速度。

本公开提供了一种周围车辆速度检测的方法：包括数据集采集，模型训练。对周围车辆进行识别，获取车辆信息和这一帧的位置信息。根据3D目标检测结果对目标车辆的位置信息进行坐标转换获得现实世界车辆的世界坐标，根据世界坐标和车辆的检测信息进行追踪获得目标车辆唯一标识以及目标车辆在现实世界中的移动距离。根据车辆在现实世界中的行驶距离以及连续帧的时间间隔，计算车辆在当前帧的速度，其中行驶距离根据移动距离得到。

一种基于3D目标检测和多目标追踪检测车辆速度的方法，具体包括如下步骤：

步骤1，采集城市道路场景数据，获取连续帧的点云数据集，作为训练样本集；

采用雷达车搭载128线激光雷达在城市道路场景中采集场景数据，获得连续帧的点云数据，自身车辆在某一时刻的姿态表示文件；

步骤2，搭建3D目标检测网络模型，并根据获得的数据集进行3D目标检测模型训练；

所述3D目标检测网络模型是基于CenterPoint3D目标检测的模型，使用CenterPoint能够大大减少对象检测器的搜索空间，检测效果好并且效率高；

步骤3，根据训练好的3D目标检测模型对需要测试的连续帧点云数据进行检测，识别每一帧场景中周围车辆的信息；所述目标车辆信息包括车辆类别，车辆的3D检测框在当前帧车辆的相对位置坐标；

步骤4，根据每一帧目标车辆的相对位置坐标及车辆自身姿态表示文件，得到目标车辆的世界位置坐标

步骤5，根据3D目标检测结果进行多目标追踪，获得周围车辆唯一标识和车辆运动轨迹；

步骤6，根据周围车辆世界位置坐标、车辆唯一标识、车辆运动轨迹、以及连续帧时间间隔计算周围车辆的行驶速度。

进一步的，步骤2中所述3D目标检测网络模型包括如下内容：

步骤2.1，使用VoxNet或者PointPillars作为3D目标检测的主干网络，对原始点云数据进行特征提取，得到特征图，特征图维度为M∈R^W×H×F，W是宽,L是长，F是通道数。

步骤2.2，主干网络可以预测并得到目标中心位置的热力图，3D目标大小以及旋转角。将原始点云数据的特征图放入全卷积网络中进行中心点检测，因为中心点在空间中分布是非常稀疏的，这不利于训练所以为每个点生成满足高斯分布的热力图。高斯分布中的含有两个参数，分别是期望值和方差，其中期望值是标签1。本方法采用的方差大小参考了CornerNet中半径的设置方法，即保证该点的高斯分布范围内，至少有1个点能够产生IoU>0.3的Box。在得到多个中心点后，使用中心点的特征回归出Box的多个参数,包括高度值、在3D空间中目标的尺寸以及使用sin、cos表示的偏航角。

步骤2.3.一阶段的检测结果提供了一个粗略的目标框，检测框是空间中的长方体，有6个面。第二阶段从除了顶面和底面的其余四个面中取出面心点，即每个面的中心点。使用双线性插值，从特征图中提取出这四个点的对应特征。将这四个点的特征拼接起来进行预测，得到对每个框的置信度分数以及对应的优化参数，对一阶段的检测结果进行优化。

进一步的，步骤5中根据3D目标检测结果进行多目标追踪，获得周围车辆唯一标识和车辆运动轨迹；具体包括如下步骤：

步骤5.1：采用AB3DMOT多目标追踪算法对周围目标车辆进行追踪，通过对匈牙利算法和卡尔曼滤波算法简单组合，可以达到较高的计算效率又不会有较大的精度损失；

将3D目标检测模型第一阶段的输出作为AB3DMOT多目标追踪算法的输入，不额外增加特征，第一阶段的目标检测结果可表示为[x,y,z,theta,l,w,h]表示目标物体在三维空间中的坐标、旋转角以及三维目标框的长宽高。对每一个目标车辆附上各自唯一标识ID，作为该目标车辆轨迹的唯一标识。

上一帧目标与当前帧目标的关联，采用的是匈牙利算法，AB3DMOT在构建关联矩阵的时候，用到了Iou3d来标识两个目标的距离，用公式表达为：

目标车辆的状态的更新采用卡尔曼滤波算法更新，一个目标对象对应一个卡尔曼滤波器实例。

步骤5.2：对于没有匹配到的追踪器，若连续2帧没有匹配到则删除该追踪器；若追踪器连续命中的帧数大于2帧，则追踪器返回显示。从而获得周围车辆的运动轨迹和唯一标识。

进一步的，步骤6中根据周围车辆世界位置坐标，车辆唯一标识、车辆运动轨迹，连续帧时间间隔计算周围车辆的行驶速度，具体如下：

每相邻两帧点云数据中目标车辆在世界坐标中的位移作为目标车辆在现实世界的行驶距离，每相邻两帧数据的时间间隔作为目标车辆在现实世界的行驶时间；

根据当前帧和下一帧计算当前帧目标车辆的行驶速度，将目标车辆在当前帧的计算速度作为目标车辆在当前帧的速度；

若所述目标车辆为数据集最后一帧出现，则取车辆上一帧的行驶速度作为所述目标车辆在当前帧的行驶速度。

有益效果：

本发明采用3D目标检测算法，能够准确识别周围的车辆类型，并且根据检测结果继续对目标车辆进行追踪，可以计算出目标车辆的行驶速度。相比于常规的2D目标检测追踪求速度有更高的准确性，对比常规的雷达测速，本方法可以准备识别出不同的车辆速度和车辆类型，具有更高的准确度，对自动驾驶领域可以提供帮助。

附图说明

图1为本发明方法的流程图；

图2为CenterPoint3D目标检测模型结构图；

图3为AB3DMOT多目标追踪结构图。

具体实施方式

为了使相关领域的研究人员对本结构的特点有更清楚的认识，下面结合附图对本申请的结构做进一步描述：

本发明整体结构示意图如图1所示，首先进行数据采集获取训练数据样本，构建3D目标检测网络模型，对数据进行目标检测将得到的结果作为数据输入传递到下一步多目标追踪流程中，在多目标追踪过程对目标车辆进行坐标位置转换，得到车辆的行驶距离，时间间隔，行驶速度。

步骤1，通过搭载128线的激光雷达获得样本训练集。

步骤2建基于CenterPoint3D目标识别模型，模型的总体框架如图2所示。设

为3D主干网络的输出。

CenterPoint的第一阶段预测输出目标中心位置的热力图、目标大小、旋转角。所有的输出都是密集的预测。中心热图头(center heatmap head)的目标是在任何被检测物体的中心位置产生一个热图峰值。中心头产生一个K通道热图Y，每个K类有一个通道。在训练过程中，它的目标是由带注释的边界框的3D中心投影到地图视图中产生的2D高斯函数。本方法使用focal loss。自上而下地图视图中的目标比图像中的目标更稀疏，为了抵消这一点，可以增加了目标热图Y的正向监督，通过放大每个ground-truth目标中心渲染的高斯峰。

回归头将一些目标属性存储在目标的中心特征处：亚体素位置的优化，地面高度，3D尺寸，偏转角度。亚体素定位的细化减少了由于体素化和主干网络的步幅而产生的量化误差。高度高于地面的有助于在3D中定位物体，并添加被地图视图投影删除的缺失的海拔信息。方位预测采用偏航角的正弦和余弦作为连续回归目标。结合框大小，回归头提供了三维包围框的完整状态信息。每个输出使用它自己的头,在ground-truth中心位置使用L1损失来训练。

第二阶段从骨干网的输出中提取额外的点特征。我们从预测边界框的每个面的三维中心提取一个点特征。对于每个点，我们使用双线性插值从主映射视图输出提取一个特征。接下来，将提取的点特征连接起来，并将它们通过一个全连接神经网络传递。第二阶段在一级CenterPoint的预测结果之上预测一个类不可知的置信度得分和框的细化。对于类不可知的置信评分预测，使用一个得分目标，引导框的3D IoU与相应的ground truth边界框：

I＝min(1,max(0,2×IoU_t-0.5)) (2)

IoU_t是在第t个提议框和ground truth之间的IoU。本方法使用二元交叉熵损失进行训练：

其中

是预测的置信度。本方法直接使用类从单阶段CenterPoint预测，计算最终的置信度的几何平均两个分数

其中

是最后的预测目标的置信度和

和

分别是第一阶段和第二阶段目标t的置信度。对于框回归，模型预测在第一阶段建议之上的改进，本方法用L1损失训练模型。

步骤3，根据训练好的3D目标检测模型对需要测试的连续帧点云数据进行检测，对第一阶段目标检测的结果进行坐标位置转换，通过车辆姿态表示文件将目标车辆在当前帧的位置坐标转换为世界坐标。

步骤4，多目标追踪采用AB3DMOT算法，该算法的结构图如图3所示。通过将匈牙利算法和卡尔曼滤波算法进行组合，能够达到较高的效率，同时有没有较大的精度损失。整个流程首先3D目标检测模块提供雷达点云的边界框，3D卡尔曼滤波器将对象状态预测到当前帧，数据关联模块匹配预测轨迹与当前帧检测框，3D卡尔曼滤波器基于测量结果更新对象状态，记忆模块控制新出现和消失的轨迹。通过匈牙利算法对前后两帧进行关联，状态估计采用卡尔曼滤波算法。AB3DMOT采用的运动模型是匀速运动模型，对目标的状态可以描述为x＝[x,y,z,theta,l,w,h]，其中x,y,z标识目标物体在三维空间中的坐标；theta表示目标物体在xy平面的旋转角；l,w,h表示目标物体的长宽高；对于目标的观测值，直接采用第一阶段CenterPoint目标检测算法的输出x,y,z,theta,l,w,h,没有新建其它某些特征。

对于生命周期管理，任何在当前帧的观测中，没有被关联上的目标，都认为是图像中新增的目标，将其加入跟踪列表中，新增的目标虽然加入到跟踪列表中，但是不会马上在结果中显现出来，连续被关联更新多少帧，这个超参数就是代码中的min_hits，即至少被连续关联更新min_hits帧，才在结果中将该目标显示到结果集中。在本方法中min_hits设置值为2，即连续两帧被检测到才会更新到结果集中。当检测器无法检测出某个目标，即表示该目标可能离开了图像，应该将其删除max_age参数表示目标连续丢失多少帧后将其删除，本方法中max_age为2，即连续两帧无法检测到目标，则删除该跟踪器。

步骤5，每相邻两帧点云数据中目标车辆在世界坐标中的位移作为目标车辆在现实世界的行驶距离s，每相邻两帧数据的时间间隔作为目标车辆在现实世界的行驶时间t。根据当前帧和下一帧计算当前帧目标车辆的行驶速度，将目标车辆在当前帧的计算速度作为所述目标车辆在当前帧的速度。计算公式为：

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种基于3D目标检测和多目标追踪检测车辆速度的方法，其特征在于，包括如下步骤：

步骤1，采集城市道路场景数据，获取连续帧的点云数据集；

步骤3，根据训练好的3D目标检测模型对需要测试的连续帧点云数据进行检测，识别每一帧场景中周围车辆的信息；所述车辆信息包括当前帧车辆的相对位置坐标；

步骤4，根据每一帧目标车辆的相对位置坐标及车辆自身姿态文件，得到目标车辆的世界位置坐标

2.根据权利要求1所述一种基于3D目标检测和多目标追踪检测车辆速度的方法，其特征在于，步骤5中根据3D目标检测结果进行多目标追踪，获得周围车辆唯一标识和车辆运动轨迹；包括如下步骤：

步骤5.1，采用AB3DMOT多目标追踪算法对周围目标车辆进行追踪，将3D目标检测模型第一阶段的输出作为AB3DMOT多目标追踪算法的输入，对每一个目标车辆附上各自唯一标识ID，作为该目标车辆轨迹的唯一标识。

步骤5.2：对于没有匹配到的追踪器，若连续两帧没有匹配到则删除该追踪器；若追踪器连续命中的帧数大于两帧，则追踪器返回显示。从而获得周围车辆的运动轨迹和唯一标识。

3.根据权利要求1所述一种基于3D目标检测和多目标追踪检测车辆速度的方法，其特征在于，步骤6中根据周围车辆世界位置坐标、车辆唯一标识、车辆运动轨迹、以及连续帧时间间隔计算周围车辆的行驶速度，具体包括：

4.根据权利要求1所述一种基于3D目标检测和多目标追踪检测车辆速度的方法，其特征在于，步骤4中车辆自身姿态文件，是基于雷达成像地图的定位算法所提供的。

5.根据权利要求1所述一种基于3D目标检测和多目标追踪检测车辆速度的方法，其特征在于，所述3D目标检测网络模型是基于CenterPoint3D目标检测的模型。