CN115712108A - 毫米波雷达目标检测模型训练方法、检测方法及装置 - Google Patents

Abstract

本发明提供一种毫米波雷达目标检测模型训练方法、检测方法及装置，通过根据连续多帧毫米波雷达点云数据和3D框标注信息，对毫米波雷达目标检测模型进行预训练，得到预训练毫米波雷达目标检测模型；根据连续多帧毫米波雷达点云数据生成GT框速度信息；根据基于预训练毫米波雷达目标检测模型输出的目标框预测位置信息和GT框速度信息对预训练毫米波雷达目标检测模型进行速度回归训练，得到具有速度估计能力的毫米波雷达目标检测模型，通过预训练和速度回归训练，可以得到精确的速度预测信息，满足用户需求，并且，通过自动生成GT框速度信息，可以避免只依靠自监督学习造成的收敛慢问题，进一步提高速度估计精度。

Description

毫米波雷达目标检测模型训练方法、检测方法及装置

技术领域

本发明涉及目标检测技术领域，尤其涉及一种毫米波雷达目标检测模型训练方法、检测方法及装置。

背景技术

毫米波雷达利用辐射电磁能量来测量在传感器视野中的目标，远距离目标探测能力强。随着雷达技术和芯片技术的发展，毫米波雷达体积越来越小，可以在多目标复杂的环境下发挥很好的性能，更好的对驾驶人起到预警作用。随着毫米波雷达向高级别自动驾驶应用的不断扩展，要求毫米波雷达提供更准确更详细的目标信息。随着深度学习在计算机视觉的迅速发展，自动驾驶也开始采用深度学习方法代替传统算法。现有基于深度学习的目标检测方法依赖人工标注数据，深度神经网络通过人工标注数据进行监督学习，调整模型参数，完成预先设定的检测任务。在自动驾驶场景下的目标检测中实现对车辆速度预测具有重要意义，但传统毫米波雷达目标检测方法实现速度预测是依靠连续帧标注的3D框的时空关系递推出车辆的速度，由于传统毫米波雷达目标检测方法依赖连续帧标注，而连续帧的标注增加了标注成本，而自动驾驶是一个开放场景，在开放场景下通过人工难以实现对连续帧标注，因此，传统激光雷达目标检测方法缺乏速度推理能力，并且，由于毫米波雷达点云只包含径向速度信息，且毫米波点云位置误差大，导致速度预测收敛速度慢，精度低，不能满足用户需求。

发明内容

本发明提供一种毫米波雷达目标检测模型训练方法、检测方法及装置，用以解决传统毫米波雷达目标检测模型依靠标注数据进行训练，不能适用于需要海量数据的自动驾驶速度预测，且速度预测收敛速度慢的缺陷。

本发明提供一种毫米波雷达目标检测模型训练方法，包括：

根据连续多帧毫米波雷达点云数据和3D框标注信息，对毫米波雷达目标检测模型进行预训练，得到预训练毫米波雷达目标检测模型；

根据所述连续多帧毫米波雷达点云数据生成GT框速度信息；

根据基于所述预训练毫米波雷达目标检测模型输出的目标框预测位置信息和所述GT框速度信息对所述预训练毫米波雷达目标检测模型进行速度回归训练，得到具有速度估计能力的毫米波雷达目标检测模型目标预测位置目标预测位置。

根据本发明提供的一种毫米波雷达目标检测模型训练方法，所述对所述毫米波雷达目标检测模型进行预训练，包括：

对所述连续多帧毫米波雷达点云数据进行粗特征提取，得到鸟瞰视角下的多帧粗特征信息；

将所述多帧粗特征信息进行叠加后进行特征学习得到多维特征信息；

根据所述多维特征信息得到预测目标框信息；

根据所述预测目标框信息与预设标准目标框信息计算预训练损失值；

根据所述预训练损失值调整模型参数以得到预训练毫米波雷达目标检测模型。

根据本发明提供的一种毫米波雷达目标检测模型训练方法，所述根据所述多维特征信息得到预测目标框信息包括：

创建鸟瞰视角下的多普勒速度地图，所述多普勒速度地图包括多个网格；

将所述连续多帧毫米波雷达点云数据中多帧点云数据投影至所述多普勒速度地图中；

提取所述多个网格中的各个网格中的多普勒速度最大值作为对应网格的多普勒速度特征信息；

将所述多维特征信息与所述各个网格的多普勒速度特征信息进行串联，得到串联结果；

根据所述串联结果得到预测目标框信息。

根据本发明提供的一种毫米波雷达目标检测模型训练方法，所述根据所述连续多帧毫米波雷达点云数据生成GT框速度信息，包括：

对所述连续多帧毫米波雷达点云数据进行前景点分割，得到属于每个GT框的点云簇；

根据点云簇中点云方位角和GT框朝向角计算出每个点云的多普勒速度；

根据每个点云的多普勒速度与点云簇中所有点云多普勒速度中位数的差值剔除离群点云；

根据剔除离群点云后的点云簇中多普勒速度和目标框位置关系，得到GT框速度信息。

根据本发明提供的一种毫米波雷达目标检测模型训练方法，所述根据基于所述预训练毫米波雷达目标检测模型输出的目标框预测位置信息和所述GT框速度信息对所述预训练毫米波雷达目标检测模型进行速度回归训练目标预测位置，包括：

分别计算基于目标预测位置进行预测的第一损失值和基于GT框速度信息进行预测的第二损失值；

将所述第一损失值和所述第二损失值的加权和作为速度回归训练损失值；

根据所述速度回归训练损失值调整模型参数以得到训练好的毫米波雷达目标检测模型。

根据本发明提供的一种毫米波雷达目标检测模型训练方法，所述计算基于目标预测位置进行预测的第一损失值包括：

将连续多帧毫米波雷达点云数据中t-1时刻点云数据输入所述预训练毫米波雷达目标检测模型，得到t-1时刻对应的目标框预测位置；

基于t-1时刻到t时刻车辆的位姿变化，对t-1时刻对应的目标框预测位置进行运动补偿；

根据运动补偿后的t-1时刻对应的目标框预测位置与预测速度计算t时刻目标位置，得到t时刻对应的目标框预测位置；

将t时刻对应的目标框预测位置与t时刻的3D框标注信息进行匹配，得到多个匹配对；

将多个匹配对的中心点距离的平均值作为第一损失值。

本发明还提供一种毫米波雷达目标检测方法，包括：

获取实时毫米波雷达点云数据；

将所述实时毫米波雷达点云数据输入具有速度估计能力的毫米波雷达目标检测模型，得到目标检测结果，所述目标检测结果包括目标的位置和速度，其中，所述毫米波雷达目标检测模型基于上述任一项所述的毫米波雷达目标检测模型训练方法进行训练得到。

本发明还提供一种毫米波雷达目标检测模型训练装置，包括：

预训练模块，用于根据连续多帧毫米波雷达点云数据和3D框标注信息，对毫米波雷达目标检测模型进行预训练，得到预训练毫米波雷达目标检测模型；

生成模块，用于根据所述连续多帧毫米波雷达点云数据生成GT框速度信息；

速度回归训练模块，用于根据基于所述预训练毫米波雷达目标检测模型输出的目标框预测位置信息和所述GT框速度信息对所述预训练毫米波雷达目标检测模型进行速度回归训练，得到具有速度估计能力的毫米波雷达目标检测模型目标预测位置目标预测位置。

本发明还提供一种毫米波雷达目标检测装置，包括：

获取模块，用于获取实时毫米波雷达点云数据；

检测模块，用于将所述实时毫米波雷达点云数据输入具有速度估计能力的毫米波雷达目标检测模型，得到目标检测结果，所述目标检测结果包括目标的位置和速度，其中，所述毫米波雷达目标检测模型基于上述任一项所述的毫米波雷达目标检测模型训练方法进行训练得到。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的毫米波雷达目标检测模型训练方法，和/或，上述任一种所述的毫米波雷达目标检测方法。

本发明提供的毫米波雷达目标检测模型训练方法、检测方法及装置，通过根据连续多帧毫米波雷达点云数据和3D框标注信息，对毫米波雷达目标检测模型进行预训练，得到预训练毫米波雷达目标检测模型；根据连续多帧毫米波雷达点云数据生成GT框速度信息；根据基于预训练毫米波雷达目标检测模型输出的目标框预测位置信息和GT框速度信息对预训练毫米波雷达目标检测模型进行速度回归训练，得到具有速度估计能力的毫米波雷达目标检测模型，通过预训练和速度回归训练，可以得到精确的速度预测信息，满足用户需求，并且，通过自动生成GT框速度信息，可以避免只依靠自监督学习造成的收敛慢问题，进一步提高速度估计精度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的毫米波雷达目标检测模型训练方法的流程示意图；

图2是本发明提供的毫米波雷达目标检测模型网络结构范式示意图；

图3是本发明提供的毫米波雷达目标检测模型输出目标框预测结果示意图；

图4是本发明提供的毫米波雷达目标检测方法的流程示意图；

图5是本发明提供的毫米波雷达目标检测模型训练装置的结构示意图；

图6是本发明提供的毫米波雷达目标检测装置的结构示意图；

图7是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的毫米波雷达目标检测模型训练方法的流程图，如图1所示，本发明实施例提供的毫米波雷达目标检测模型训练方法，包括：

步骤101、根据连续多帧毫米波雷达点云数据和3D框标注信息，对毫米波雷达目标检测模型进行预训练，得到预训练毫米波雷达目标检测模型。

在本发明实施例中，3D框标注信息包括3D框的位置和尺寸。

步骤102、根据连续多帧毫米波雷达点云数据生成GT框速度信息；

在本发明实施例中，GT框(ground truth box)速度信息是指正确的速度标注信息。需要说明的是，根据连续多帧毫米波雷达点云数据还可以生成GT框其他信息，例如目标的位置，目标的大小、类别等。

步骤103、根据基于预训练毫米波雷达目标检测模型输出的目标框预测位置信息和GT框速度信息对预训练毫米波雷达目标检测模型进行速度回归训练，得到具有速度估计能力的毫米波雷达目标检测模型。

需要说明的是，预训练毫米波雷达目标检测模型还可以输出目标的类别、大小等信息。

在本发明实施例中，基于目标预测位置对预训练毫米波雷达目标检测模型进行速度回归训练是通过根据不同时刻目标的形状、位置等信息可以估计出目标的速度，基于GT框速度信息可以直接提供正确的速度标注信息用于模型训练，从而加快模型训练的速度和准确性。

传统的毫米波雷达目标检测模型需要3D标注数据，标注数据通常为3D框的形式，包含：(x、y、z、w、h、l)，其中，x、y、z表示目标在自车笛卡尔坐标系下的位置，w、h、l分别表示目标的长、宽、高，其无法直接得到目标速度，通常需要根据连续帧标注的3D框的时空关系递推出标注框的速度，这通常依赖连续帧标注，而连续帧的标注增加了标注成本，从而增加了速度标注成本，因此传统的毫米波雷达目标检测模型缺少速度推理能力。

本发明实施例提供的毫米波雷达目标检测模型训练方法通过根据连续多帧毫米波雷达点云数据和3D框标注信息，对毫米波雷达目标检测模型进行预训练，得到预训练毫米波雷达目标检测模型；根据连续多帧毫米波雷达点云数据生成GT框速度信息；根据基于预训练毫米波雷达目标检测模型输出的目标框预测位置信息和GT框速度信息对预训练毫米波雷达目标检测模型进行速度回归训练，得到具有速度估计能力的毫米波雷达目标检测模型，通过预训练和速度回归训练，可以得到精确的速度预测信息，满足用户需求，并且，通过自动生成GT框速度信息，可以避免只依靠自监督学习造成的收敛慢问题，进一步提高速度估计精度。

基于上述任一实施例，在本发明实施例中，毫米波雷达目标检测模型的网络结构范式示意图如图2所示，采用基于网格的(grid-based)结构对毫米波雷达点云数据进行处理，用Pointpillars的方法将点云投影至鸟瞰视角(BEV，Bird Eye View)网格中，然后通过一个2D卷积主干网络来学习特征，通过neck和multitask head预测目标类别、目标框位置、形状以及速度等属性，基于以上网络结构，步骤101中根据连续多帧毫米波雷达点云数据和3D框标注信息，对毫米波雷达目标检测模型进行预训练，具体包括：

步骤1011、对连续多帧毫米波雷达点云数据进行粗特征提取，得到鸟瞰视角下的多帧粗特征信息；

在本发明实施例中，连续n帧毫米波雷达点云数据组成毫米波雷达点云集合p＝{p1,p2…pn}，其中第i帧点云数据pi＝{x,y,z,doppler,rcs,snr,t}，x,y,z为以自车为中心笛卡尔坐标系下的坐标位置，doppler表示多普勒速度，需要说明的是，该多普勒速度是雷达相对于静止地面的速度，通常在操作中，需要在原始doppler的基础上补偿自车运动的偏移，rcs表示雷达反散射截面积，snr表示信噪比，t表示获取点云数据的时间和当前时间戳的时间差，可以根据传感器指标和感兴趣区域灵活选取n。通常n＝5可以在避免计算量剧增的前提下，保证更好的检测精度。

通过引入多帧点云可以有效解决毫米波雷达过于稀疏的问题，同时，为模型提供丰富的时空语义信息。例如叠加500ms的点云数据，在叠加点云数据后需将多帧点云分别补偿至当前自车的位姿状态下。

毫米波雷达多帧点云数据分别通过基于网格的特征提取，得到BEV下的单帧粗特征，粗特征为特征维数较低的特征集合，例如包括点云获取时间、反散射截面积，信噪比等。特征提取可以根据需要选取合适的方法，如采用pointpillars的方法。

步骤1012、将多帧粗特征信息进行叠加后进行特征学习得到多维特征信息；

在本发明实施例中，将多帧粗特征信息进行叠加，得到多帧点云BEV下的特征输入，送入主干网络(backbone)中进行特征学习，可以得到更详细的多维特征信息，主干网络可以根据需要灵活选取合适的方法，如res-net等。

步骤1013、根据多维特征信息得到预测目标框信息；

在本发明实施例中，将多维特征信息输入网络结构中的neck和head模块，通过multitask head输出目标类别、3D框以及速度信息，其中neck和head可以根据需要灵活选取合适的网络，例如neck为FPN特征金字塔网络，head为centerpoint网络。

步骤1014、将预测目标框信息与GT框信息进行比较，将比较结果作为预训练损失值；

在本发明实施例中，预测目标框信息中包括与目标框3D信息合集b＝{b1,b2…bk}，其中bk＝{x,y,z,w,h,l}，x,y,z表示目标在自车笛卡尔坐标系下的位置，w、h、l分别表示目标的长、宽、高。

目标预测位置包括分类结果和回归结果，分类结果包括目标的类别，回归结果包括目标框的3D信息，例如目标框的位置、长宽高等信息，预训练损失值计算方法包括：

预训练损失值L_det＝W_clsL_cls+W_boxL_box,其中，W_cls为分类任务权重，L_cls为分类任务损失；W_box为回归任务权重，L_box为回归任务损失。

将目标框预测类别与GT框信息中的实际类别相比较，可以计算出分类任务损失，将目标框预测形状、位置信息与GT框信息中的实际形状、位置信息相比较，可以计算出回归任务损失，再根据实际情况选取分类任务权重和回归任务权重，即可得到预训练损失值。

步骤1015、根据预训练损失值调整模型参数以得到预训练毫米波雷达目标检测模型。

在本发明实施例中，调整模型参数例如调整backbone、neck和head各模块所选取方法中的参数，从而得到预训练毫米波雷达目标检测模型。

在本发明一些实施例中，基于原始毫米波雷达点云数据集合对毫米波雷达目标检测模型进行预训练，还包括：

创建鸟瞰视角下的多普勒速度地图，多普勒速度地图包括多个网格；

将连续多帧毫米波雷达点云数据中多帧点云数据投影至多普勒速度地图中；

提取多个网格中的各个网格中的多普勒速度最大值作为对应网格的多普勒速度特征信息；

将多维特征信息与所述各个网格的多普勒速度特征信息进行串联，得到串联结果；

根据串联结果得到预测目标框信息。

通过backbone得到BEV特征后，与之前得到的时间差特征串联到一起，可以保证网络能够更好的学到时空信息，判断出哪些点云数据参与到后续模型计算中，是否有数据丢失，获取点云速度分布的信息，提升速度回归的精度。

基于上述任一实施例，在本发明实施例中，步骤102中根据连续多帧毫米波雷达点云数据生成GT框速度信息，具体包括：

步骤1021、对连续多帧毫米波雷达点云数据进行前景点分割，得到属于每个GT框的点云簇；

将毫米波雷达点云数据与GT框进行匹配，可以得到属于每个GT框的点云簇。

步骤1022、根据点云簇中点云方位角和GT框朝向角计算出每个点云的多普勒速度；

设点云方位角为θ，GT框朝向角为

则每个点云的速度为：

v_r表示点云的多普勒速度。

步骤1023、根据每个点云的多普勒速度与点云簇中所有点云多普勒速度中位数的差值剔除离群点云；

例如，将与点云簇中所有点云多普勒速度中位数的差值大于2m/s的点云作为离群点云进行剔除。

步骤1024、根据剔除离群点云后的点云簇中多普勒速度和目标框位置关系，联立方程组；

方程组为：

其中，v_r表示点云的多普勒速度，θ表示点云相对雷达的方位角，v_x,v_y分别表示整个点云簇在x轴和y轴方向的速度。

步骤1025、通过最小二乘求解方程组得到GT框速度信息。

通过最小二乘求解方程组可以得到目标在x轴和y轴方向的速度将目标在x轴和y轴方向的速度作为GT框速度信息。

通过以上步骤可以自动生成GT框速度信息，不需要人工标注速度信息，节约成本。

基于上述任一实施例，在本发明实施例中，步骤103中基于目标预测位置和GT框速度信息对预训练毫米波雷达目标检测模型进行速度回归训练，具体包括：

步骤1031、分别计算基于目标预测位置进行预测的第一损失值和基于GT框速度信息进行预测的第二损失值；

在本发明实施例中，计算基于目标预测位置进行预测的第一损失值包括：

步骤10311、将原始毫米波雷达点云数据集合中t-1时刻点云数据输入预训练毫米波雷达目标检测模型，得到t-1时刻对应的目标框预测位置；

t-1时刻对应的目标框预测位置为Bt-1＝{b1…bk}，bk＝{x,y,z,w,h,l}，x、y、z表示目标在自车笛卡尔坐标系下的位置，w、h、l分别表示目标的长、宽、高。

步骤10312、基于t-1时刻到t时刻车辆的位姿变化，对t-1时刻对应的目标框预测位置进行运动补偿，

步骤10313、对运动补偿后的Bt-1基于预测速度进行位置预测，则t时刻对应的目标框预测位置为：x’＝x+v_x*Δt，y’＝y+v_y*Δt，Δt＝t时刻-t-1时刻；

步骤10314、将t时刻对应的目标框预测位置与GT框信息进行比较，将比较结果作为速度回归训练损失值；

获取t时刻的GT框信息：GT框Bt＝{b1…bm}，bm＝{x,y,z,w,h,l}x,y,z表示目标在自车笛卡尔坐标系下的实际位置，w、h、l分别表示目标的实际长、宽、高；

在本发明一些实施例中，将t时刻对应的目标框预测位置与GT框信息进行比较，将比较结果作为第一损失值，包括：

将t时刻对应的目标预测位置与t时刻的GT框信息进行匹配，得到多个匹配对；

计算多个匹配对的中心点距离，将中心点距离的平均值作为第一损失值。

如图3所示，左侧为t-1时刻模型根据点云输入预测出的目标位置，根据t-1时刻的位置和速度，可以预测出在t时刻目标的位置。右侧实线框为目标的预测位置，虚线框为GT框的位置，通过匹配算法可以得到检测和GT的匹配对，匹配对的中心点距离可以用来表征速度估计的损失，目标点匹配方法可以采用匈牙利匹配算法，得到一对一的匹配对，若未匹配成功，则忽略没有匹配到的目标点。对于得到的n个匹配对，求取每一个匹配对的中心点距离D＝{d1,d2…dn}。

因此第一损失值为

通过速度预测的位置误差来监督速度预测。

基于GT框速度信息进行预测的第二损失值，其计算方法包括：

计算模型输出的预测速度与其对应的GT框速度信息之间的误差绝对值；

对多个预测速度对应的多个绝对值进行求和，将求和结果作为第二损失值。

步骤1032、将第一损失值和第二损失值的加权和作为速度回归训练损失值；

速度回归训练损失值L_vel＝W1L_vel1+W2L_vel2。其中，L_vel1为第二损失值，W1为第二损失值对应权重，L_vel2为第一损失值，W2为第一损失值对应权重，训练初期，W1可设置的更大，以保证更快的速度收敛，训练后期可增大W2以保证速度回归的精度。

步骤1033、根据速度回归训练损失值调整模型参数以得到训练好的毫米波雷达目标检测模型。

结合预训练过程和速度训练过程，毫米波雷达目标检测模型的损失值最终为：L_det＝W_clsL_cls+W_boxL_box+W_velL_vel，其中，W_cls为分类任务权重，L_cls为分类任务损失；W_box为回归任务权重，L_box为回归任务损失；W_vel为速度估计任务权重，L_vel为速度估计任务损失。训练好的模型可以更快地输出速度预测结果，并且，速度预测结果更加准确。

本发明实施例提供的毫米波雷达目标检测模型训练方法，在预训练阶段学习位置信息，在速度回归训练阶段通过生成的GT框速度信息进行弱监督学习和基于位置估计的自监督学习提高速度预测速度和精度。由于毫米波雷达点云只包含径向速度信息，且毫米波点云位置误差大，因此只依靠自标注或者位置误差监督，都会导致收敛较慢，精度不高。本发明实施例提供的方法不依赖速度标注的混合监督学习，可以达到有速度标注的速度回归精度的70％以上，显著降低标注成本，同时降低算法对数据的依赖。

图4为本发明实施例提供的毫米波雷达目标检测方法的流程图，如图4所示，本发明实施例提供的毫米波雷达目标检测方法，包括：

步骤401：获取实时毫米波雷达点云数据；

步骤402：将实时毫米波雷达点云数据输入具有速度估计能力的毫米波雷达目标检测模型，得到目标检测结果，所述目标检测结果包括目标的位置和速度，其中，毫米波雷达目标检测模型基于上述实施例任一项所述的毫米波雷达目标检测模型训练方法进行训练得到。

在本发明实施例中，通过将毫米波雷达点云数据输入训练好的毫米波雷达目标检测模型，得到目标检测结果，目标检测结果包括目标框的位置、形状和速度中的至少一种，可以降低模型训练成本，提高模型收敛速度，并且，估计出的速度更加准确，满足用户要求。

下面对本发明提供的毫米波雷达目标检测模型训练装置、进行描述，下文描述的毫米波雷达目标检测模型训练装置与上文描述的毫米波雷达目标检测模型训练方法可相互对应参照。

图5为本发明实施例提供的毫米波雷达目标检测模型训练装置的示意图，如图5所示，本发明实施例提供的毫米波雷达目标检测模型训练装置，包括：

预训练模块501，用于根据连续多帧毫米波雷达点云数据和3D框标注信息，对毫米波雷达目标检测模型进行预训练，得到预训练毫米波雷达目标检测模型；

生成模块502，用于根据连续多帧毫米波雷达点云数据生成GT框速度信息；

速度回归训练模块503，用于根据基于预训练毫米波雷达目标检测模型输出的目标框预测位置信息和GT框速度信息对预训练毫米波雷达目标检测模型进行速度回归训练，得到具有速度估计能力的毫米波雷达目标检测模型。。

本发明实施例提供的毫米波雷达目标检测模型训练装置通过根据连续多帧毫米波雷达点云数据和3D框标注信息，对毫米波雷达目标检测模型进行预训练，得到预训练毫米波雷达目标检测模型；根据连续多帧毫米波雷达点云数据生成GT框速度信息；根据基于预训练毫米波雷达目标检测模型输出的目标框预测位置信息和GT框速度信息对预训练毫米波雷达目标检测模型进行速度回归训练，得到具有速度估计能力的毫米波雷达目标检测模型，通过预训练和速度回归训练，可以得到精确的速度预测信息，满足用户需求，并且，通过自动生成GT框速度信息，可以避免只依靠自监督学习造成的收敛慢问题，进一步提高速度估计精度。

下面对本发明提供的毫米波雷达目标检测装置进行描述，下文描述的毫米波雷达目标检测装置与上文描述的毫米波雷达目标检测方法可相互对应参照。

图6为本发明实施例提供的毫米波雷达目标检测装置的示意图，如图6所示，本发明实施例提供的毫米波雷达目标检测装置，包括：

获取模块601，用于获取实时毫米波雷达点云数据；

检测模块602，用于将实时毫米波雷达点云数据输入具有速度估计能力的毫米波雷达目标检测模型，得到目标检测结果，所述目标检测结果包括目标的位置和速度，其中，所述毫米波雷达目标检测模型基于上述任一项所述的毫米波雷达目标检测模型训练方法进行训练得到。

本发明实施例提供的毫米波雷达目标检测装置通过将毫米波雷达点云数据输入训练好的毫米波雷达目标检测模型，得到目标检测结果，目标检测结果包括目标框的位置、形状和速度中的至少一种，可以降低模型训练成本，提高模型收敛速度，并且，估计出的速度更加准确，满足用户要求。

图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行毫米波雷达目标检测模型训练方法，该方法包括：根据连续多帧毫米波雷达点云数据和3D框标注信息，对毫米波雷达目标检测模型进行预训练，得到预训练毫米波雷达目标检测模型；根据连续多帧毫米波雷达点云数据生成GT框速度信息；根据基于预训练毫米波雷达目标检测模型输出的目标框预测位置信息和GT框速度信息对预训练毫米波雷达目标检测模型进行速度回归训练，得到具有速度估计能力的毫米波雷达目标检测模型，和/或，执行毫米波雷达目标检测方法，该方法包括：获取实时毫米波雷达点云数据；将实时毫米波雷达点云数据输入具有速度估计能力的毫米波雷达目标检测模型，得到目标检测结果，所述目标检测结果包括目标的位置和速度，其中，毫米波雷达目标检测模型基于上述实施例任一项所述的毫米波雷达目标检测模型训练方法进行训练。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种毫米波雷达目标检测模型训练方法，其特征在于，包括：

根据连续多帧毫米波雷达点云数据和3D框标注信息，对毫米波雷达目标检测模型进行预训练，得到预训练毫米波雷达目标检测模型；

根据所述连续多帧毫米波雷达点云数据生成GT框速度信息；

根据基于所述预训练毫米波雷达目标检测模型输出的目标框预测位置信息和所述GT框速度信息对所述预训练毫米波雷达目标检测模型进行速度回归训练，得到具有速度估计能力的毫米波雷达目标检测模型。

2.根据权利要求1所述的毫米波雷达目标检测模型训练方法，其特征在于，所述对所述毫米波雷达目标检测模型进行预训练，包括：

对所述连续多帧毫米波雷达点云数据进行粗特征提取，得到鸟瞰视角下的多帧粗特征信息；

将所述多帧粗特征信息进行叠加后进行特征学习得到多维特征信息；

根据所述多维特征信息得到预测目标框信息；

根据所述预测目标框信息与预设标准目标框信息计算预训练损失值；

根据所述预训练损失值调整模型参数以得到预训练毫米波雷达目标检测模型。

3.根据权利要求2所述的毫米波雷达目标检测模型训练方法，其特征在于，根据所述多维特征信息得到预测目标框信息包括：

创建鸟瞰视角下的多普勒速度地图，所述多普勒速度地图包括多个网格；

将所述连续多帧毫米波雷达点云数据中多帧点云数据投影至所述多普勒速度地图中；

提取所述多个网格中的各个网格中的多普勒速度最大值作为对应网格的多普勒速度特征信息；

将所述多维特征信息与所述各个网格的多普勒速度特征信息进行串联，得到串联结果；

根据所述串联结果得到预测目标框信息。

4.根据权利要求1所述的毫米波雷达目标检测模型训练方法，其特征在于，所述根据所述连续多帧毫米波雷达点云数据生成GT框速度信息，包括：

对所述连续多帧毫米波雷达点云数据进行前景点分割，得到属于每个GT框的点云簇；

根据点云簇中点云方位角和GT框朝向角计算出每个点云的多普勒速度；

根据每个点云的多普勒速度与点云簇中所有点云多普勒速度中位数的差值剔除离群点云；

根据剔除离群点云后的点云簇中多普勒速度和目标框位置关系，得到GT框速度信息。

5.根据权利要求1或4所述的毫米波雷达目标检测模型训练方法，其特征在于，所述根据基于所述预训练毫米波雷达目标检测模型输出的目标框预测位置信息和所述GT框速度信息对所述预训练毫米波雷达目标检测模型进行速度回归训练目标预测位置，包括：

分别计算基于目标框预测位置信息进行预测的第一损失值和基于GT框速度信息进行预测的第二损失值；

将所述第一损失值和所述第二损失值的加权和作为速度回归训练损失值；

根据所述速度回归训练损失值调整模型参数以得到训练好的毫米波雷达目标检测模型。

6.根据权利要求5所述的毫米波雷达目标检测模型训练方法，其特征在于，所述计算基于目标预测位置进行预测的第一损失值包括：

将连续多帧毫米波雷达点云数据中t-1时刻点云数据输入所述预训练毫米波雷达目标检测模型，得到t-1时刻对应的目标框预测位置；

基于t-1时刻到t时刻车辆的位姿变化，对t-1时刻对应的目标框预测位置进行运动补偿；

根据运动补偿后的t-1时刻对应的目标框预测位置与预测速度计算t时刻目标位置，得到t时刻对应的目标框预测位置；

将t时刻对应的目标框预测位置与t时刻的3D框标注信息进行匹配，得到多个匹配对；

将多个匹配对的中心点距离的平均值作为第一损失值。

7.一种毫米波雷达目标检测方法，其特征在于，包括：

获取实时毫米波雷达点云数据；

将所述实时毫米波雷达点云数据输入具有速度估计能力的毫米波雷达目标检测模型，得到目标检测结果，所述目标检测结果包括目标的位置和速度，其中，所述毫米波雷达目标检测模型基于权利要求1～6任一项所述的毫米波雷达目标检测模型训练方法进行训练得到。

8.一种毫米波雷达目标检测模型训练装置，其特征在于，包括：

预训练模块，用于根据连续多帧毫米波雷达点云数据和3D框标注信息，对毫米波雷达目标检测模型进行预训练，得到预训练毫米波雷达目标检测模型；

生成模块，用于根据所述连续多帧毫米波雷达点云数据生成GT框速度信息；

速度回归训练模块，用于根据基于所述预训练毫米波雷达目标检测模型输出的目标框预测位置信息和所述GT框速度信息对所述预训练毫米波雷达目标检测模型进行速度回归训练，得到具有速度估计能力的毫米波雷达目标检测模型。

9.一种毫米波雷达目标检测装置，其特征在于，包括：

获取模块，用于获取毫米波雷达点云数据；

检测模块，用于将所述毫米波雷达点云数据输入具有速度估计能力的毫米波雷达目标检测模型，得到目标检测结果，所述目标检测结果包括目标的位置和速度，其中，所述毫米波雷达目标检测模型基于权利要求1～6任一项所述的毫米波雷达目标检测模型训练方法进行训练得到。

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的毫米波雷达目标检测模型训练方法，和/或，如权利要求7所述的毫米波雷达目标检测方法。

Images