CN116703962A - 一种多目标跟踪方法及系统 - Google Patents

Abstract

本发明涉及目标跟踪技术领域，特别是涉及一种多目标跟踪方法及系统。本方案通过对点云深度学习目标进行跟踪，对目标的位置、角度进行滤波，利用相似度匹配的方式对相邻帧中的目标进行关联，使目标输出的状态稳定，提升了目标的检出率；同时根据目标的得分采用高低阈值算法，将符合高阈值策略的新目标的位置、角度和速度等信息添加进所构建的跟踪目标信息表，然后进行跟踪，降低了目标的误检情况。

Description

一种多目标跟踪方法及系统

技术领域

本发明涉及目标跟踪技术领域，特别是涉及一种多目标跟踪方法及系统。

背景技术

目标跟踪是计算机视觉中的一项重要任务。经典的目标跟踪的目的是定位目标在每帧视频图像中位置，产生目标运动轨迹；现有的基于视觉的目标跟踪主要分为两大类，即点目标跟踪和占有一定区域且具有纹理、轮廓等特征的目标跟踪。目前，目标跟踪技术广泛应用于自动驾驶、智能视频监控、人机交互、机器人视觉导航、虚拟现实和医学诊断等领域。特别是在自动驾驶领域的应用被引起广泛关注。

申请公布号为CN109118523A的中国发明专利申请，公开了一种基于YOLO的图像目标跟踪方法，具体步骤为：S1、输入视频；S2、使用目标检测网络YOLO检测目标，初始化卡尔曼滤波器；S3、检测当前帧图像，如果检测到目标转至步骤S4，否则执行步骤S5；S4、计算当前帧图像目标的检测位置与预测位置的交并比，如果交并比大于预设阈值，用目标的检测位置作为目标在当前帧的位置，否则返回步骤S2；S5、将目标在上一帧的位置与目标在当前帧的预测位置做关键点匹配，如果匹配对大于预设阈值，得到目标在当前帧的位置，否则返回步骤S2；S6、检查视频是否检测结束，若是则结束跟踪，否则返回步骤S3。

该方式存在两个弊端：1)在对目标的当前帧的位置与目标在当前帧的预测位置做关联时，如果计算出的交并比小于预先设定的阈值就认为关联失败，这样会导致一些误判，造成漏检；2)在对当前帧的目标做跟踪时，没有考虑目标的得分，因为经过深度学习推理的目标，虽然有些目标得分较低，它可能也是真正的目标，有些目标得分较高，它可能也是虚假的目标。如果不加过滤，直接对所有的当前帧目标建立跟踪机制，容易释放出虚假的目标，造成目标多检。这两个弊端都会降低对目标检测的准确性，容易造成自动驾驶车辆误刹车或者应该刹车时却没有刹车，存在行车安全风险。

激光雷达是自动驾驶领域重要的传感器之一，依靠激光雷达光束的不间断扫描，自动驾驶车辆的感知系统可以获取到周围场景的点云信息。基于雷达点云的深度学习目标检测算法，将检测到的目标框按照得分的设定值进行过滤，最后输出类别得分高于设定值的目标框。当设置低阈值时，输出的目标存在误检；当设置高阈值时，输出的目标存在漏检，该算法难以平衡这两种情况。另外，激光点云虽然具有丰富的特征信息，但是由于目标与自动驾驶车辆的相对位置不同，以及目标有可能因遮挡、交叉等让点云呈现出不完整的形态，这样的场景在进行目标检测时，极易造成目标漏检，也会造成自动驾驶车辆误刹车或者应该刹车时却没有刹车，存在安全风险。

发明内容

本发明的目的在于提供一种多目标跟踪方法，用以解决现有技术存在的对目标检测存在漏检和误检而容易引起行车安全事故的问题；还提供了一种多目标跟踪系统，用于实现上述方法的过程。

为解决上述技术问题，本发明提供了一种多目标跟踪方法，包括以下步骤：

1)实时采集点云信息，通过深度学习模型获取当前帧的目标；

2)采用卡尔曼滤波算法预测上一帧的目标框在当前帧的位置，得到对应的预测框，将其和当前帧的实际检测框进行相似度匹配，将通过相似度匹配的方式关联上的目标通过卡尔曼滤波算法更新其当前的位置、角度和速度信息，并将该信息放进目标集；

3)若目标为首帧检测到的目标，且符合高阈值策略，则将该目标的位置、角度和速度信息添加进所构建的跟踪目标信息表；高阈值策略是指该目标的深度学习得分值超过设定阈值；

4)遍历跟踪目标信息表中所有目标，将超过设定的存储时间阈值的目标从目标集中删除；如果目标集中目标的生命周期高于生命周期阈值，输出跟踪目标，否则不输出该目标；生命周期是指设定的目标被检测到的累计帧数。有益效果：本发明通过对点云深度学习目标进行跟踪，对目标的位置、角度进行滤波，利用相似度匹配的方式对相邻帧中的目标进行关联，使目标输出的状态稳定，提升了目标的检出率；同时根据目标的得分采用高低阈值算法，将符合高阈值策略的新目标的位置、角度和速度信息添加进所构建的跟踪目标信息表，然后进行跟踪，降低了目标的误检情况。

进一步地，对于通过步骤2)未关联上目标，若该目标为行人类型的目标，则利用二次关联条件对行人类型的目标进行二次关联，对于通过二次关联条件关联上的行人类型的目标，通过卡尔曼滤波算法更新其当前的位置、角度和速度信息并放进目标集；二次关联条件是指检测到的行人类型的目标的预测框和实际检测框之间的位置、角度、速度和运动轨迹信息中的至少一种信息的相似度达到设定阈值。

有益效果：由于行人类型的目标比较小而且比较重要，行人当前帧的实际检测框尺寸较小，易受测量误差影响，同时预测后得到的预测框尺寸也比较小，由此计算预测框和当前帧检测框之间的交并比时结果有时较小，不容易匹配上，容易造成漏检，因此对于行人类型的目标采用二次关联条件进一步筛选，以减少对行人类型的目标的漏检率。

进一步地，利用二次关联条件仍没有关联上的目标包括有首帧检测到的目标和在当前帧的实际检测框中未出现的已有目标；对于首帧检测到的目标，将该帧对应的目标框中采集到的位置、角度和速度信息放进目标集；对于在当前帧的实际检测框中未出现的已有目标，将对应的预测框预测出的位置、角度和速度信息放进目标集。

有益效果：通过相似度匹配方式和二次关联条件都没有关联上的目标，包括有首帧检测到的目标和在当前帧的实际检测框中未出现的已有目标，并分别通过当前帧的目标框和预测框获取这两种情况下的目标信息，并添加进目标集，实现了对所有目标的信息的获取，以降低对目标检测的漏检率。

进一步地，若首帧出现的被检测目标的深度学习得分值小于设定阈值，则不对该目标进行跟踪

有益效果：通过比较首帧出现的被检测目标的深度学习得分值与设定值，只对高于设定值的目标进行跟踪，能够降低目标的误检情况。

进一步地，若当前时刻的时间戳和目标集中的目标对应的最后一次更新的时间戳之间的时间差超过设定的存储时间阈值，或者目标集中的目标的生命周期连续减小的帧数对应的时间段超过设定的存储时间阈值，则将该目标删除。

有益效果：通过时间戳或者目标的生命周期筛选出在设定时间范围内一直没有出现的目标，由于该类目标长时间没有被检测到，可以认为其在后续检测帧中出现的概率极小，不再具有跟踪价值，因此将其删除，以减小对真正的目标检测的误检率。

进一步地，步骤2)中的相似度匹配，是指计算出预测框和当前帧检测框之间的交并比，再通过匈牙利算法完成匹配。。

本发明还提供一种多目标跟踪系统，该系统包括处理器和存储器，其中，存储器用于存储处理器的可执行指令；处理器配置为经由执行可执行指令来执行上述任一项所述的多目标跟踪方法。

附图说明

图1是本发明的多目标跟踪方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明了，以下结合附图及实施例，对本发明技术原理及实际应用进行进一步详细说明。

多目标跟踪方法实施例：

本发明提供了一种多目标跟踪方法，首先通过深度学习算法获取点云中的目标，对目标的位置、角度进行卡尔曼滤波算法处理，使目标输出的状态稳定，同时根据目标的深度学习得分采用高阈值策略，识别目标类型并跟踪，既降低了目标的误检情况，又提升了目标的检出率；然后，根据目标类型采用不同的跟踪策略，对于未关联上的行人类型的目标，结合历史信息做进一步筛选，以减少对行人类型的目标的漏检率；最后，结合目标生命周期推出满足跟踪条件的目标。

图1所示为该方法的流程图，具体步骤如下：

(1)采集点云信息，通过深度学习模型得到当前帧的目标；

(2)对时间戳进行持续更新；

(3)使用卡尔曼滤波算法来预测上一帧的目标框在当前帧的位置得到预测框，预测框和当前帧的实际检测框之间的交并比作为二者匹配时的相似度，然后通过匈牙利算法完成匹配。

对于当前帧与预测帧关联上的目标，通过卡尔曼滤波算法更新被跟踪目标当前的最优位置、最优角度和最优速度(最优位置、最优角度和最优速度的计算方法：在卡尔曼滤波算法中建立位置-速度-时间模型和角度-时间模型，当前帧的最优位置、最优速度和最优角度采用卡尔曼滤波算法阶段二的后验估计值。)，并将其放进目标集；

本实施例将检测到的目标分为行人和非行人两种类型的目标，目标的类型能够通过深度学习算法推理得到。由于行人类型的目标比较小而且比较重要，行人当前帧的实际检测框尺寸较小，易受测量误差影响，同时预测后得到的预测框尺寸也比较小，由此计算预测框和当前帧检测框之间的交并比时结果有时较小，不容易匹配上，容易造成漏检，因此对于未关联上的行人类型的目标通过二次关联条件做进一步筛选。其中，二次关联条件指的是检测到的行人类型的目标的预测框和实际检测框之间的位置、角度、速度和运动轨迹等信息融合之后的相似度，如果满足设定的相似度阈值，则认为是当前帧与预测帧关联上的行人类型的目标，通过卡尔曼滤波算法更新该目标当前的最优位置、最优角度和最优速度，将其放进目标集；

通过相似度匹配和二次关联条件均没有关联上的当前帧目标框中的目标和预测框中目标，包括有首帧检测到的目标(即首次出现的新目标)和在当前帧的实际检测框中未出现的已有目标。对于首帧检测到的目标，将该帧对应的目标框中采集到的位置、角度和速度等信息放进目标集；对于在当前帧的实际检测框中未出现的已有目标，将对应的预测框预测出的位置、角度和速度等信息放进目标集。本实施例中二次关联条件指的是检测到的行人类型的目标的预测框和实际检测框之间的位置、角度、速度和运动轨迹等信息融合之后的相似度达到设定阈值，作为其他实施方式，二次关联条件还可以是检测到的行人类型的目标的预测框和实际检测框之间的位置、角度、速度和运动轨迹等信息中的至少一种信息的相似度。

(4)计算目标集中各个目标的速度置信度(速度置信度的方法：计算目标最近5帧速度的标准差，标准差小于设定的阈值则认为该目标速度置信度较高，反之认为速度置信度较低。)，更新跟踪目标信息表中各个目标的速度置信度信息。

由于在步骤(3)中已经对检测目标的类型进行了识别，这里若被检测目标的深度学习得分值小于设定值，则认为该目标可信度比较低，也就是该目标可能并不是识别出的类型，或者不属于待跟踪目标类型中的任意一种，因此不再对其跟踪；若被检测目标的深度学习得分值大于设定值，则认为该目标可信度比较高，也就是该目标的实际类型和识别出的类型很可能吻合，具有跟踪价值，因此继续对其跟踪。

这里将跟踪目标分为首帧检测到的目标和非首帧检测到的目标。对于首帧检测到的目标，利用深度学习得分设置高阈值策略，若首帧检测到的目标超过设定的对应类型的深度学习得分值(例如0.7或0.8等)，则说明该目标满足高阈值策略，并且能够识别出该目标所属的目标类型，需要对该目标进行跟踪，因此为该目标建立包括位置、角度和速度等信息的跟踪目标信息表，实现对跟踪目标信息表的初始化，并维护跟踪目标信息表；否则，不对其进行跟踪。

对于非首帧检测到的目标，若该帧检测到了其实际检测框，则将其与预测框进行关联，关联上后将滤波后的位置、角度和速度的值，以及该帧对应的时间戳更新到跟踪目标信息表；若该帧未检测到其实际检测框，则将对应的预测框预测出的位置、角度和速度信息更新到跟踪目标信息表。

然后遍历跟踪目标信息表中所有的目标，若当前时刻的时间戳和目标集中的目标对应的最后一次更新的时间戳之间的时间差超过设定的存储时间阈值，则认为该目标消失了，因此将该目标从目标集中删除。其中，设定的存储时间阈值是指设定的当前时刻的时间戳和目标集中各个目标对应的最后一次更新的时间戳对应的时间差。

(5)计算目标集中各个目标的生命周期，生命周期指的是该目标在实际检测框中出现的帧数，即目标被检测到的累计帧数。例如，某个行人类型的目标在检测的第3帧出现，则其生命周期为1；在第4帧出现了，则其生命周期加1之后变为2；在第5帧未出现，则其生命周期减1之后变为1；在第6帧、第7帧、第8帧均出现了，则其生命周期加3之后变为4，以此类推，计算该目标的生命周期。

若目标集中目标的生命周期大于设定的生命周期阈值(例如3帧或4帧等)，则认为该目标的可信度较高，向系统外其他模块推出该目标供其使用；否则，在本系统内部继续保持跟踪该目标，观察后续状态决定是否推出。

(6)跳转至步骤(1)，进行下一轮目标跟踪。

本实施例是根据时间戳对目标集中的目标进行删除，作为其他实施方式，也可以根据设定的目标集中目标的生命周期连续减小的帧数进行删除。例如，某个行人类型的目标连续四帧都未检测到，也就是其生命周期连续减4，则认为该目标消失了，因此将该目标从目标集中删除。

本发明的多目标跟踪方法能够在各种在应用场景下对自动驾驶车辆周围环境中目标的跟踪检测，作为其他实施方式，也可以应用于智能视频监控、人机交互、机器人视觉导航、虚拟现实和医学诊断等领域。

多目标跟踪系统实施例：

本实施例的多目标跟踪系统，包括处理器和存储器，处理器执行由存储器存储的计算机程序，以使本发明实现上述方法实施例的方法。也就是说，以上方法实施例中的方法应理解为可由计算机程序指令实现多目标跟踪方法的流程。可提供这些计算机程序下达指令到处理器，使得通过处理器执行这些指令产生用于实现上述方法流程所指定的功能。

本实施例所指的处理器是指微处理器MCU或可编程逻辑器件FPGA等的处理装置；本实施例所指的存储器包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。

通过上述存储器、处理器以及计算机程序构成的系统，在计算机中由处理器执行相应的程序指令来实现，处理器可以搭载各种操作系统，如windows操作系统、linux系统、android、iOS系统等。

作为其他实施方式，系统还可以包括显示器，显示器用于将计算出的各个量的结果展示出来，以供工作人员参考。

Claims (7)

1.一种多目标跟踪方法，其特征在于，包括以下步骤：

1)实时采集点云信息，通过深度学习模型获取当前帧的目标；

2)采用卡尔曼滤波算法预测上一帧的目标框在当前帧的位置，得到对应的预测框，将其和当前帧的实际检测框进行相似度匹配，将通过相似度匹配的方式关联上的目标通过卡尔曼滤波算法更新其当前的位置、角度和速度信息，并将该信息放进目标集；

3)若目标为首帧检测到的目标，且符合高阈值策略，则将该目标的位置、角度和速度信息添加进所构建的跟踪目标信息表；所述高阈值策略是指该目标的深度学习得分值超过设定阈值；

4)遍历跟踪目标信息表中所有目标，将超过设定的存储时间阈值的目标从目标集中删除；如果目标集中目标的生命周期高于生命周期阈值，输出跟踪的目标，否则不输出该目标；所述生命周期是指设定的目标被检测到的累计帧数。

2.根据权利要求1所述的多目标跟踪方法，其特征在于，对于通过所述步骤2)未关联上目标，若该目标为行人类型的目标，则利用二次关联条件对行人类型的目标进行二次关联，对于通过二次关联条件关联上的行人类型的目标，通过卡尔曼滤波算法更新其当前的位置、角度和速度信息并放进目标集；所述二次关联条件是指检测到的行人类型的目标的预测框和实际检测框之间的位置、角度、速度和运动轨迹信息中的至少一种信息的相似度达到设定阈值。

3.根据权利要求2所述的多目标跟踪方法，其特征在于，利用所述二次关联条件仍没有关联上的目标包括有首帧检测到的目标和在当前帧的实际检测框中未出现的已有目标；对于首帧检测到的目标，将该帧对应的目标框中采集到的位置、角度和速度信息放进目标集；对于在当前帧的实际检测框中未出现的已有目标，将对应的预测框预测出的位置、角度和速度信息放进目标集。

4.根据权利要求1-3任一项所述的多目标跟踪方法，其特征在于，若首帧出现的被检测目标的深度学习得分值小于设定阈值，则不对该目标进行跟踪。

5.根据权利要求4所述的多目标跟踪方法，其特征在于，若当前时刻的时间戳和目标集中的目标对应的最后一次更新的时间戳之间的时间差超过所述设定的存储时间阈值，或者目标集中的目标的生命周期连续减小的帧数对应的时间段超过所述设定的存储时间阈值，则将该目标删除。

6.根据权利要求1-3任一项所述的多目标跟踪方法，其特征在于，所述步骤2)中的相似度匹配，是指计算出预测框和当前帧检测框之间的交并比，再通过匈牙利算法完成匹配。

7.一种多目标跟踪系统，其特征在于，该系统包括处理器和存储器，其中，所述存储器用于存储所述处理器的可执行指令；所述处理器配置为经由执行所述可执行指令来执行权利要求1-6中任一项所述的多目标跟踪方法。