CN112598715A - 基于多传感器的多目标跟踪方法、系统及计算机可读介质 - Google Patents

Abstract

本发明公开了一种基于多传感器的多目标跟踪方法，包括：已跟踪目标状态的更新与预测；检测目标关联和已跟踪目标集合更新；已跟踪目标状态的更新与预测通过确定的已跟踪目标当前的传感器反馈状态值更新已跟踪目标的状态值；并预测下一次传感器反馈时的已跟踪目标的状态值得到已跟踪目标的状态预测值；检测目标关联是对检测目标和已跟踪目标进行关联，从检测目标中筛选出与已跟踪目标相匹配的检测目标；已跟踪目标集合更新根据检测目标关联最后的结果更新已跟踪目标集合中的已跟踪目标。本发明还提供了基于多传感器的多目标跟踪系统。本发明能够准确的对主车周围的障碍物进行跟踪，大大降低虚警和漏检的可能性，保证多目标跟踪的有效性；鲁棒性高。

Description

基于多传感器的多目标跟踪方法、系统及计算机可读介质

技术领域

本发明属于自动驾驶领域，特别涉及基于多传感器的多目标跟踪方法、系统及计算机可读介质。

背景技术

境感知是自动驾驶领域的关键技术，其对自动驾驶的安全性起到十分重要的作用。目前在自动驾驶领域常用激光雷达Lidar、毫米波雷达Radar、相机Camera等传感器检测位于车辆周围行人、车辆等障碍物。对于传感器检测到的数据常用深度神经网络或者传统特征提取等方法进行处理；然而常用的方法无法保证每帧都能给出正确检测结果，常出现虚警、漏检等现象。同时，毫米波雷达Radar容易受周围金属物体影响，其检测输出与不稳定。此外在跟踪算法中，端到端的多目标跟踪神经网络对计算平台要求较高，同时处理大量的样本数据，实施难度较大，其无法保证100%的跟踪效果。没有办法对车辆周围的障碍物进行准确的跟踪将会是车辆自动驾驶的一个很大的安全隐患。

发明内容

发明目的：本发明针对现有技术存在的问题，提出了一种计算量小、跟踪的有效性高的基于多传感器的多目标跟踪方法。

技术方案：为实现上述目的，本发明提供了一种基于多传感器的多目标跟踪方法，包括以下步骤：已跟踪目标状态的更新与预测、检测目标关联和已跟踪目标集合更新；其中：

已跟踪目标状态的更新与预测通过确定的已跟踪目标当前的传感器反馈状态值更新已跟踪目标的状态值；并预测下一次传感器反馈时的已跟踪目标的状态值得到已跟踪目标的状态预测值；

检测目标关联是对检测目标和已跟踪目标进行关联，从检测目标中筛选出与已跟踪目标相匹配的检测目标；

已跟踪目标集合更新根据检测目标关联最后的结果更新已跟踪目标集合中的已跟踪目标；

检测目标关联具体包括：

计算每个检测目标的状态值与每个已跟踪目标的状态预测值之间的欧式距离；

通过匈牙利算法结合每个检测目标的状态值与每个已跟踪目标的状态预测值之间的欧式距离对检测目标与已跟踪目标进行关键，计算最优匹配；

将每个检测目标的类别与每个已跟踪目标的类别进行对比；筛选出与已跟踪目标类别相同的检测目标；

计算每个对应的同类别的检测目标与已跟踪目标之间的位置距离；并与设定的对应的同类别距离阈值进行对比，小于设定的距离阈值的则认为检测目标与已跟踪目标匹配，反之则认为检测目标与已跟踪目标不匹配。

其中，已跟踪目标状态的更新与预测通过卡尔曼滤波算法实现。

进一步，已跟踪目标集合更新包括三种更新情况，其中，当检测目标与已跟踪目标匹配，则保留检测目标，用检测目标的状态值更新已跟踪目标的状态值；当检测目标没有相匹配的已跟踪目标，则对检测目标被检测到的次数进行计数，当检测目标被检测到的次数超过设定的技术阈值时，则将检测目标加入已跟踪目标集合；当已跟踪目标没有匹配的检测目标，相对上次状态更新时间大于更新时间阈值，则将该已跟踪目标从已跟踪目标集合中删除。这样能够及时的更新已跟踪目标集合，降低整个系统的计算量。

进一步，已跟踪目标的速度小于1m/s或者已跟踪目标与主车距离在0-5米之间，更新时间阈值设置为1~2秒；跟踪时长大于20S且已跟踪目标的速度不小于1m/s 或者跟主车的距离大于5米的已跟踪目标的更新时间阈值设置为0.2-0.5秒。这样可以使跟踪的目标更加的准确，不会被误删，同时也可以提高跟踪目标集合的更新效率。

本发明还提供了一种基于多传感器的多目标跟踪系统，包括已跟踪目标状态的更新与预测模块、检测目标关联模块和已跟踪目标集合更新模块；其中：

已跟踪目标状态的更新与预测模块通过确定的已跟踪目标当前的传感器反馈状态值更新已跟踪目标的状态值；并预测下一次传感器反馈时的已跟踪目标的状态值得到已跟踪目标的状态预测值；

检测目标关联模块对检测目标和已跟踪目标进行关联，从检测目标中筛选出与已跟踪目标相匹配的检测目标；

已跟踪目标集合更新模块根据检测目标关联最后的结果更新已跟踪目标集合中的已跟踪目标；

检测目标关联模块具体包括：

计算每个检测目标的状态值与每个已跟踪目标的状态预测值之间的欧式距离；

通过匈牙利算法结合每个检测目标的状态值与每个已跟踪目标的状态预测值之间的欧式距离对检测目标与已跟踪目标进行关键，计算最优匹配；

将每个检测目标的类别与每个已跟踪目标的类别进行对比；筛选出与已跟踪目标类别相同的检测目标；

计算每个对应的同类别的检测目标与已跟踪目标之间的位置距离；并与设定的对应的同类别距离阈值进行对比，小于设定的距离阈值的则认为检测目标与已跟踪目标匹配，反之则认为检测目标与已跟踪目标不匹配。

本发明还提供一种存储软件的计算机可读介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括上述基于多传感器的多目标跟踪方法的流程。

工作原理：本发明通过多个传感器采集主车周围的环境信息，将传感器输出的检测目标与已跟踪目标进行关联和匹配，在关联和匹配的过程中融合了欧式距离、匈牙利算法、同类别分析和最小距离筛选，从而使关联和匹配的结果更加准确；同时也更加匹配的结果及时对已跟踪目标集合进行更新。

有益效果：与现有技术相比，本发明不仅能够准确的对主车周围的障碍物进行跟踪，而且，其跟踪效果更好，大大降低了虚警和漏检的可能性，保证了多目标跟踪的有效性；再者，本发明提供的方法对计算平台的要求不高，且有较强的鲁棒性。

附图说明

图1为多传感器的多目标跟踪系统的示意图。

图2为多传感器的多目标跟踪方法流程图。

具体实施方式

下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本实施例提供了基于多传感器的多目标跟踪方法，在主车上安装常用传感器，本实施例中在主车上安装有激光雷达Lidar、毫米波雷达Radar和相机Camera，这些传感器主要用于检测位于主车周围的行人、车辆等障碍物。该方法基于多传感器的多目标跟踪系统，该系统主要包括四个模块，如图1所示，分别为传感器采集模块、已跟踪目标状态的更新与预测模块；检测目标关联模块和已跟踪目标集合更新模块。其中，传感器采集模块主要用于采集每个传感器的反馈值；已跟踪目标状态的更新与预测模块通过确定的已跟踪目标当前的传感器反馈状态值更新已跟踪目标的状态值；并预测下一次传感器反馈时的已跟踪目标的状态值得到已跟踪目标的状态预测值；检测目标关联模块对检测目标和已跟踪目标进行关联，从检测目标中筛选出与已跟踪目标相匹配的检测目标；已跟踪目标集合更新模块根据检测目标关联最后的结果更新已跟踪目标集合中的已跟踪目标。

如图2所示，本实施例提供了基于多传感器的多目标跟踪方法具体包括以下步骤：

已跟踪目标状态的更新与预测模块是通过卡尔曼滤波算法实现，分为已跟踪目标状态的更新和已跟踪目标状态的预测。其中，已跟踪目标状态的更新主要通过已跟踪目标集合更新部分得出的结果进行已跟踪目标状态的更新，即已跟踪目标集合更新部分根据判断得出检测目标是否为已跟踪目标或者为新的跟踪目标，如果是的话，则用当时传感器的反馈值更新已跟踪目标的状态。已跟踪目标状态的预测是根据更新后的已跟踪目标的状态预测下一时刻的已跟踪目标的状态。根据以下公式进行计算：

；

其中；t ^det 为传感器检输出检测目标的时间，t ^upd 为已跟踪目标上次执行状态更新 的时间，

和

分别上次执行状态更新后已跟踪目标的横向速度和纵向速度，

和

分别为上次执行状态更新后已跟踪目标的横向位置和纵向位置，

和

分别为传感器反馈检测目标时，已跟踪目标的预计位置。已跟踪目标状态的预测部分 的结果用于给检测目标关联部分进行关联匹配。

检测目标关联部分主要包括以下步骤：

步骤1：计算每个检测目标状态值与已跟踪目标状态的更新与预测部分中每个已跟踪目标的状态预测值之间的欧氏距离，得到关联矩阵A，其中，A为M*N的矩阵，M为已跟踪目标的总数，N为检测目标的总数，关联矩阵A中的每个元素即为每个检测目标状态值与已跟踪目标状态的更新与预测部分中每个已跟踪目标的状态预测值之间的欧氏距离值；

步骤2：通过匈牙利算法结合步骤1中得到的关联矩阵A将检测目标与已跟踪目标进行关联，得到最优匹配；

步骤3：将检测目标的类别与已跟踪目标的类别进行对比，得到类别判断矩阵C，类别判断矩阵C为M*N的矩阵，其中的元素为0或者1，如果检测目标的类别与已跟踪目标的类别相同，则对应的元素为1，反之为0。本实施例中，主要分成机动车、非机车和其它不确定物体。其中机动车包含：汽车、卡车、公交车、摩托车；非机动车包含：自动车、电瓶车、行人；其它不确定物体包含道路上水马、锥桶等物体。矩阵中的元素为同类物体时，类别判断矩阵C的元素c _ij =1，若非同类型物体，其元素c _ij =0。其中i表示第i个已跟踪目标，j表示传感器输出的第j个检测目标；

步骤4：计算每个对应的同类别的检测目标与已跟踪目标之间的位置距离；并与设定的距离阈值进行对比，小于设定的距离阈值的则认为是同一目标，反之则认为不是同一目标；即根据步骤3的对比结果进行判断，属于同一目标则认为检测目标与已跟踪目标匹配，不是同一目标则认为检测目标与已跟踪目标不匹配。本实施例中，机动车的距离阈值设定为5米，非机动车的距离阈值设定为2米，其他不确定问题的距离阈值设定为1米。

已跟踪目标集合更新部分主要根据检测目标关联部分的匹配结果进行判断和更新，分为以下几种判断情况：

（1）检测目标与已跟踪目标相匹配，用检测目标的状态信息作为观测值输入到已跟踪目标状态的更新与预测部分，对已跟踪目标的状态值进行更新。

（2）如果检测目标没有相匹配的已跟踪目标，则对该检测目标设置对应计数器，只有同一个传感器检测到该检测目标时，则计数器自加1；当计数器的值大于计数阈值时，将该检测目标加入已跟踪目标集合；计数阈值的优选范围为3~4。如果两个以上的传感器检测到该检测目标时，直接将该检测目标加入已跟踪目标集合。

（3）如果已跟踪目标没有匹配的检测目标，相对上次状态更新时间大于更新时间阈值的情况，则认为目标消失，将该已跟踪目标从已跟踪目标集合中删除。

更新时间阈值的设定可分为三种情况：

1）如果已跟踪目标静止、运行速度缓慢，即已跟踪目标的速度小于1m/s或者已跟踪目标与主车距离在0-5米之间，则认为已跟踪目标不容易消失。更新时间阈值设置为1~2秒。

2）如果已跟踪目标被长期跟踪，跟踪时长大于20S且不满足第（1）情况时，运动即已跟踪目标的速度不小于1m/s 或者跟主车的距离大于5米的，表示已跟踪目标跟丢的可能性越低，如果未检测到，认为目标已大概率消失。针对这种已跟踪目标其更新时间阈值设置为0.2-0.5秒。

3）除去1）和2）的两种情况，都认为是正常情况，正常情况下的更新时间阈值设置为0.5-1秒。

本实施例中在0秒时，Lidar传感器反馈两个检测目标状态值，其中一个为一辆车，其相对于主车的横向距离为2米，纵向距离为5米；另一个为一个人，其相对于主车的横向距离为1米，纵向距离为1米。由于此时为初始状态，即将两个检测目标加入已跟踪目标集合{（车，2m，5m，0m/s，0m/s）；（人，1m，1m，0m/s，0m/s）}。

在0.1s时，Radar传感器反馈了两个检测目标的状态值，其中一个为一辆车，其相对于主车的横向距离为2.4米，纵向距离为5.1米，横向速度4m/s，纵向速度0m/s；另一个为一个人，其相对于主车的横向距离为1米，纵向距离为1米，横向速度0m/s，纵向速度0.01m/s。此时已跟踪目标通过卡尔曼滤波算法预测后得到的状态预测值分别为：已跟踪目标车的预测状态值为（2m，5m，0m/s，0m/s）；已跟踪目标人的预测状态值为（1m，1m，0m/s，0m/s）。通过计算每个检测目标状态值与已跟踪目标状态的更新与预测部分中每个已跟踪目标的状态预测值之间的欧氏距离，得到关联矩阵A：

；

将检测目标的类别与已跟踪目标的类别进行对比，得到类别判断矩阵C：

；

检测目标与已跟踪目标之间的位置距离符合设置的距离阈值，根据关联和匹配后的结果，可以判断出Radar传感器反馈的两个检测目标分别就是已跟踪目标集合中的两个已跟踪目标，即用此时传感器的反馈值更新已跟踪目标的状态值，得到新的已跟踪目标集合{（车，2.4m，5.1m，4m/s，0m/s）；（人，1m，1m，0m/s，0m/s）}。

在0.2s时，Camera传感器反馈了两个检测目标的状态值，其中一个为一辆车，其相对于主车的横向距离为2.8米，纵向距离为5米；另一个为一个人，其相对于主车的横向距离为1米，纵向距离为1米。此时已跟踪目标通过卡尔曼滤波算法预测后得到的状态预测值分别为：已跟踪目标车的预测状态值为（2.8m，5m，4m/s，0m/s）；已跟踪目标人的预测状态值为（1m，1m，0m/s，0m/s）。通过计算每个检测目标状态值与已跟踪目标状态的更新与预测部分中每个已跟踪目标的状态预测值之间的欧氏距离，得到关联矩阵A：

；

将检测目标的类别与已跟踪目标的类别进行对比，得到类别判断矩阵C：

；

检测目标与已跟踪目标之间的位置距离符合设置的距离阈值，根据关联和匹配后的结果，可以判断出Camera传感器反馈的两个检测目标分别就是已跟踪目标集合中的两个已跟踪目标，即用此时传感器的反馈值更新已跟踪目标的状态值，得到新的已跟踪目标集合{（车，2.8m，5 m，4m/s，0m/s）；（人，1m，1m，0m/s，0m/s）}。

本发明还提供了一种存储软件的计算机可读介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括如前述用于基于多传感器的多目标跟踪方法的流程。

本发明还提供了一种计算机系统，包括：一个或多个处理器；存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括如前述用于基于多传感器的多目标跟踪方法的流程。

应当理解，本发明的前述用于自动驾驶车辆的定位方法的示例可以在任何包含具有数据存储和数据处理的计算机系统中，前述的计算机系统可以是至少一个包括处理器和存储器的电子处理系统或者电子设备，例如PC电脑，不论是个人用PC电脑、商用PC电脑，或者图形处理用PC电脑、服务器级PC电脑。这些PC电脑通过具有数据接口和/或网络接口，实现有线和/或无线的数据传输，尤其是车辆的各种数据。

在另一些实施例，该计算机系统还可以是服务器，尤其是云服务器，具有数据存储、处理以及网络通讯功能。

作为示例的计算机系统通常包括由系统总线连接的至少一个处理器、存储器和网络接口。网络接口用于与其他设备/系统进行通信。

处理器用于提供系统的计算和控制。

存储器包括非易失性存储器和缓存。

非易失性存储器通常具有海量存储能力，可以存储操作系统以及计算机程序，这些计算机程序可以包括可被操作的指令，这些指令在通过一个或多个处理器执行时使得一个或多个处理器能够执行本发明前述实施例的基于多传感器的多目标跟踪过程。

在需要或者合理的实现方式中，前述计算机系统，不论是PC设备或者服务器，还可以包括比图示中更多或者更少的部件，或者组合，或者采用不同的硬件、软件等不同部件或者不同的部署方式。

Claims (8)

1.一种基于多传感器的多目标跟踪方法，其特征在于：包括以下步骤：已跟踪目标状态的更新与预测；检测目标关联和已跟踪目标集合更新；其中：

已跟踪目标状态的更新与预测通过确定的已跟踪目标当前的传感器反馈状态值更新已跟踪目标的状态值；并预测下一次传感器反馈时的已跟踪目标的状态值得到已跟踪目标的状态预测值；

检测目标关联是对检测目标和已跟踪目标进行关联，从检测目标中筛选出与已跟踪目标相匹配的检测目标；

已跟踪目标集合更新根据检测目标关联最后的结果更新已跟踪目标集合中的已跟踪目标；

检测目标关联具体包括：

计算每个检测目标的状态值与每个已跟踪目标的状态预测值之间的欧式距离；

通过匈牙利算法结合每个检测目标的状态值与每个已跟踪目标的状态预测值之间的欧式距离对检测目标与已跟踪目标进行关键，计算最优匹配；

将每个检测目标的类别与每个已跟踪目标的类别进行对比；筛选出与已跟踪目标类别相同的检测目标；

计算每个对应的同类别的检测目标与已跟踪目标之间的位置距离；并与设定的对应的同类别距离阈值进行对比，小于设定的距离阈值的则认为检测目标与已跟踪目标匹配，反之则认为检测目标与已跟踪目标不匹配。

2.根据权利要求1所述的基于多传感器的多目标跟踪方法，其特征在于：已跟踪目标状态的更新与预测通过卡尔曼滤波算法实现。

3.根据权利要求1所述的基于多传感器的多目标跟踪方法，其特征在于：已跟踪目标集合更新包括三种更新情况，其中，当检测目标与已跟踪目标匹配，则保留检测目标，用检测目标的状态值更新已跟踪目标的状态值；当检测目标没有相匹配的已跟踪目标，则对检测目标被检测到的次数进行计数，当检测目标被检测到的次数超过设定的技术阈值时，则将检测目标加入已跟踪目标集合；当已跟踪目标没有匹配的检测目标，相对上次状态更新时间大于更新时间阈值，则将该已跟踪目标从已跟踪目标集合中删除。

4.根据权利要求3所述的基于多传感器的多目标跟踪方法，其特征在于：已跟踪目标的速度小于1m/s或者已跟踪目标与主车距离在0-5米之间，更新时间阈值设置为1~2秒；跟踪时长大于20S且已跟踪目标的速度不小于1m/s 或者跟主车的距离大于5米的已跟踪目标的更新时间阈值设置为0.2-0.5秒。

5.一种基于多传感器的多目标跟踪系统，其特征在于：包括已跟踪目标状态的更新与预测模块；检测目标关联模块和已跟踪目标集合更新模块；其中：

已跟踪目标状态的更新与预测模块通过确定的已跟踪目标当前的传感器反馈状态值更新已跟踪目标的状态值；并预测下一次传感器反馈时的已跟踪目标的状态值得到已跟踪目标的状态预测值；

检测目标关联模块对检测目标和已跟踪目标进行关联，从检测目标中筛选出与已跟踪目标相匹配的检测目标；

已跟踪目标集合更新模块根据检测目标关联最后的结果更新已跟踪目标集合中的已跟踪目标；

检测目标关联模块具体包括：

计算每个检测目标的状态值与每个已跟踪目标的状态预测值之间的欧式距离；

通过匈牙利算法结合每个检测目标的状态值与每个已跟踪目标的状态预测值之间的欧式距离对检测目标与已跟踪目标进行关键，计算最优匹配；

将每个检测目标的类别与每个已跟踪目标的类别进行对比；筛选出与已跟踪目标类别相同的检测目标；

计算每个对应的同类别的检测目标与已跟踪目标之间的位置距离；并与设定的对应的同类别距离阈值进行对比，小于设定的距离阈值的则认为检测目标与已跟踪目标匹配，反之则认为检测目标与已跟踪目标不匹配。

6.根据权利要求5所述的基于多传感器的多目标跟踪系统，其特征在于：已跟踪目标集合更新模块包括三种更新情况，其中，当检测目标与已跟踪目标匹配，则保留检测目标，用检测目标的状态值更新已跟踪目标的状态值；当检测目标没有相匹配的已跟踪目标，则对检测目标被检测到的次数进行计数，当检测目标被检测到的次数超过设定的技术阈值时，则将检测目标加入已跟踪目标集合；当已跟踪目标没有匹配的检测目标，相对上次状态更新时间大于更新时间阈值，则将该已跟踪目标从已跟踪目标集合中删除。

7.根据权利要求6所述的基于多传感器的多目标跟踪系统，其特征在于：已跟踪目标的速度小于1m/s或者已跟踪目标与主车距离在0-5米之间，更新时间阈值设置为1~2秒；跟踪时长大于20S且已跟踪目标的速度不小于1m/s 或者跟主车的距离大于5米的已跟踪目标的更新时间阈值设置为0.2-0.5秒。

8.一种存储软件的计算机可读介质，其特征在于，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括如权利要求1-4中任意一项所述的基于多传感器的多目标跟踪方法的流程。

Images