CN113887449A - 多目标跟踪方法及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种多目标跟踪方法及计算机可读存储介质，方法包括：根据预设的间隔帧数，在视频流中确定检测帧和跟踪帧；依序从视频流中获取一视频帧，作为当前视频帧；若当前视频帧为检测帧，则进行目标检测，得到各待测目标的检测框及类别；根据当前视频帧与上一个检测帧之间的各跟踪帧中已编号的各待测目标的跟踪框和类别以及当前视频帧中的各检测框及其对应的类别，确定已编号的各待测目标在当前视频帧中的检测框，并进行关联；分别对当前视频帧中未被关联的检测框对应的待测目标进行编号；若当前视频帧为跟踪帧，则对已编号的各待测目标进行跟踪，得到已编号的各待测目标在当前视频帧中的跟踪框。本发明可降低运行负担，确保实时性。

Description

多目标跟踪方法及计算机可读存储介质

技术领域

本发明涉及目标检测技术领域，尤其涉及一种多目标跟踪方法及计算机可读存储介质。

背景技术

近年来，随着城镇化的发展以及居民生活水平的提高，机动车数量迅速增长。对此，在各类路段环境中，常见道路两侧划分出路边临时停车路段以缓解停车压力。但这种解决方式产生了一些新的问题，例如，违规停车，包括压线停车与超时停车，在人工管理上存在混乱与难度。

在一些较简单的场景中，存在代替人工管理的方法。如城市街区的监控摄像头，通过进入车道线的一次拍照，记录车辆特征判断其开始停车，检测是否压线；离开时再进行拍照，统计是否超时。进一步地，利用计算机视觉技术，检测违规停车行为，例如，在公开号为CN106373426B的中国专利中，公开了一种基于计算机视觉的停车位及违规占道停车监控方法，通过识别车道线检测车位区域，统计车位区域与非车位区域直方图，实时刷新直方图变化以发现违规停车行为。

但上述的一些方法，并不适用于复杂的场景，如物流园，每天都有大量的物流车辆进出或停放于园区中。此时的违章停车，实际上核心是一种多目标跟踪问题。

多目标跟踪一般分为以下阶段：

1、检测阶段：目标检测算法使用边框分析每个输入帧，识别属于某种类别的目标。

2、特征提取阶段：一种或多种特征提取算法分析检测特征。

3、匹配阶段：特征和运动预测用于计算成对的检测和/或轨迹之间相似度/距离的得分。

4、关联阶段：通过相同ID分配给标识相同目标的检测阶段，相似度/距离度量将属于同一目标的检测和轨迹关联起来。

复杂场景中的特征匹配阶段尤为困难。

传统的多目标跟踪方法，特征提取来自前帧目标，尝试匹配最相近特征的下一帧目标，利用生成式的特征模型，不断跟踪目标。主要方法有卡尔曼滤波，粒子滤波，mean-shift等。此类方法仅对跟踪目标自身进行建模，在复杂场景中，车辆繁多且相似性高，导致了目标车辆图像中可利用信息有限且相近，此时的多目标跟踪问题上，建模精度以及特征匹配都无法取得较好的结果。

对此，业界有提出不少基于检测的跟踪(tracking-by-detection)方法，又称为判别模型法。判别模型法以目标区域为正样本，背景区域为负样本，使用机器学习方法训练分类器，下一帧用训练好的分类器寻找最优区域。分类器采用机器学习，训练中用到了背景信息，这样分类器就能专注区分前景和背景，所以判别类方法普遍都比生成类好。

判别模型法又分为深度学习方法和相关滤波类方法。

基于深度学习的跟踪算法是近年来的热门研究，更侧重于跟踪的性能，大多无法满足实时性。虽然一些单目标跟踪的算法，如SiamMask、cropping-inside residual(CIR)等，也在兼顾跟踪效果与实时性上做出了突破。但它们在多目标跟踪的场景研究中，面对复杂场景下目标繁多、目标信息有限且相近等挑战，仍有待改进与探索。

相关滤波类方法在单目标跟踪上取得了很好的效果，且因其具备实时性与成熟的跟踪稳定性，适合在多目标跟踪上做出扩展。但方法多样，适合各种目标的跟踪器不一。

另外，对于多目标跟踪，目标在二维图像上被遮挡时，跟踪的目标会丢失，再次出现时继续的关联是一大难题。此问题的原因在于，目标跟踪利用目标整体的特征匹配，在遮挡发生的帧间很难产生正确的匹配问题。目前，可以通过目标检测的方式得到弥补，目标检测可以学习到物体的局部特征，在发生部分遮挡时，仍然具备检测出目标的能力。因此，在目标丢失时，运行目标检测，能降低解决遮挡关联问题的严重性。然而，对于物流园的场景，遮挡问题发生的概率相当高，如果一直进行目标检测的话，目标检测的资源消耗会远高于目标跟踪，即不停运行目标检测将影响实时性。

另一个困扰多目标跟踪的问题，是在遮挡发生时，若两目标物体的特征相近，后景目标跟踪框可能转移到前景目标上，称为漂移(drift)现象。在复杂场景中，目标特征信息有限且相近，加剧了此现象的发生。

发明内容

本发明所要解决的技术问题是：提供一种多目标跟踪方法及计算机可读存储介质，可降低运行负担，确保实时性。

为了解决上述技术问题，本发明采用的技术方案为：一种多目标跟踪方法，包括：

根据预设的间隔帧数，在视频流中确定检测帧，并将相邻两个检测帧之间的视频帧作为跟踪帧；

依序从所述视频流中获取一视频帧，作为当前视频帧；

若当前视频帧为检测帧，则对当前视频帧进行目标检测，得到当前视频帧中各待测目标的检测框及类别；

根据当前视频帧与上一个检测帧之间的各跟踪帧中已编号的各待测目标的跟踪框、所述已编号的各待测目标的类别以及当前视频帧中的各检测框及其对应的类别，确定所述已编号的各待测目标在当前视频帧中的检测框，并将所确定的检测框分别与其对应的已编号的待测目标进行关联；

分别对当前视频帧中未被关联的检测框对应的待测目标进行编号；

若当前视频帧为跟踪帧，则通过预设的跟踪算法，对已编号的各待测目标进行跟踪，得到已编号的各待测目标在当前视频帧中的跟踪框。

本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的方法的步骤。

本发明的有益效果在于：通过每隔一定帧数进行目标检测，中间帧进行目标跟踪，不仅可降低运行负担，确保实时性，还可校正跟踪结果，提高跟踪准确率，可一定程度上解决长时跟踪产生的遮挡关联问题；通过在进行检测框与跟踪框的关联时，考虑框的类别，不关联不同类别的框，可在一定程度上避免了漂移现象的产生。

附图说明

图1为本发明的一种多目标跟踪方法的流程图；

图2为本发明实施例一的方法流程图；

图3为本发明实施例一的目标检测结果示意图；

图4为本发明实施例一的跟踪框与检测框的关联方法示意图；

图5为本发明实施例一的跟踪框示意图；

图6为本发明实施例一的压线位置提示示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图详予说明。

请参阅图1，一种多目标跟踪方法，包括：

根据预设的间隔帧数，在视频流中确定检测帧，并将相邻两个检测帧之间的视频帧作为跟踪帧；

依序从所述视频流中获取一视频帧，作为当前视频帧；

若当前视频帧为检测帧，则对当前视频帧进行目标检测，得到当前视频帧中各待测目标的检测框及类别；

根据当前视频帧与上一个检测帧之间的各跟踪帧中已编号的各待测目标的跟踪框、所述已编号的各待测目标的类别以及当前视频帧中的各检测框及其对应的类别，确定所述已编号的各待测目标在当前视频帧中的检测框，并将所确定的检测框分别与其对应的已编号的待测目标进行关联；

分别对当前视频帧中未被关联的检测框对应的待测目标进行编号；

若当前视频帧为跟踪帧，则通过预设的跟踪算法，对已编号的各待测目标进行跟踪，得到已编号的各待测目标在当前视频帧中的跟踪框。

从上述描述可知，本发明的有益效果在于：可降低运行负担，确保实时性，还可校正跟踪结果，提高跟踪准确率。

进一步地，所述对当前视频帧进行目标检测，得到当前视频帧中各待测目标的检测框及类别具体为：

对当前视频帧进行目标检测，得到各待测目标的检测框以及对应各类别的分类置信度；

根据一待测目标对应各类别的分类置信度，将分类置信度最高的类别作为所述一待测目标的类别。

由上述描述可知，通过取分类置信度最高的类别作为待测目标的类别，后续在检测框与跟踪框的关联时，不关联不同类别的框，可避免漂移现象的产生。

进一步地，所述通过预设的跟踪算法，对已编号的各待测目标进行跟踪，得到已编号的各待测目标在当前视频帧中的跟踪框具体为：

判断当前视频帧的前一个视频帧中已编号的一待测目标是否已确定对应的跟踪算法；

若是，则通过所述一待测目标对应的跟踪算法，对所述一待测目标进行跟踪，得到所述一待测目标在当前视频帧中的跟踪框；

若否，则分别通过预设数量的跟踪算法对所述一待测目标进行跟踪，得到所述一待测目标在当前视频帧中对应各跟踪算法的跟踪框。

进一步地，所述根据当前视频帧与上一个检测帧之间的各跟踪帧中已编号的各待测目标的跟踪框、所述已编号的各待测目标的类别以及当前视频帧中的各检测框及其对应的类别，确定所述已编号的各待测目标在当前视频帧中的检测框，并将所确定的检测框分别与其对应的已编号的待测目标进行关联具体为：

判断当前视频帧的前一个视频帧中的已编号的一待测目标是否已确定对应的跟踪算法；

若已确定，则根据所述一待测目标在当前视频帧与上一个检测帧之间的各跟踪帧中的跟踪框、所述一待测目标的类别以及当前视频帧中的各检测框及其对应的类别，确定所述一待测目标在当前视频帧中的检测框，并将所确定的检测框与所述一待测目标进行关联；

若未确定，则根据所述一待测目标在当前视频帧的前一个视频帧中对应各跟踪算法的跟踪框、所述一待测目标的类别以及当前视频帧中的各检测框及其对应的类别，确定所述一待测目标在当前视频帧中的检测框，并将所确定的检测框与所述一待测目标进行关联；

根据所述一待测目标在当前视频帧的前一个视频帧中对应各跟踪算法的跟踪框以及所述一待测目标在当前视频帧中的检测框，确定所述一待测目标对应的跟踪算法。

由上述描述可知，在刚对待测目标进行编号后，通过多种跟踪算法对其进行跟踪，并在下一检测帧时确定待测目标对应的跟踪算法，可保证各待测目标均达到较好的跟踪效果。

进一步地，所述根据所述一待测目标在当前视频帧与上一个检测帧之间的各跟踪帧中的跟踪框、所述一待测目标的类别以及当前视频帧中的各检测框及其对应的类别，确定所述一待测目标在当前视频帧中的检测框，并将所确定的检测框与所述一待测目标进行关联具体为：

获取所述一待测目标在当前视频帧与上一个检测帧之间的各跟踪帧中的跟踪框；

根据所述各跟踪帧中的跟踪框，确定轨迹范围；

从当前视频帧中的各检测框中获取与所述一待测目标类别相同、处于所述轨迹范围内且与所述一待测目标在当前视频帧的前一个视频帧中的跟踪框质心距离最近的检测框，作为所述一待测目标在当前视频帧中的检测框；

将所述一待测目标在当前视频帧中的检测框与所述一待测目标进行关联。

由上述描述可知，通过限定关联条件，只关联类别相同且处于轨迹范围的检测框，可避免漂移现象的产生。

进一步地，所述根据所述各跟踪帧中的跟踪框，确定轨迹范围具体为：

根据所述各跟踪帧中的跟踪框的中心点坐标的x值以及所述各跟踪帧对应的时间点，拟合得到第一曲线，并根据所述第一曲线以及当前视频帧的时间点，计算得到所述一待测目标在当前视频帧中的预测框的中心点坐标的x值；

根据所述各跟踪帧中的跟踪框的中心点坐标的y值以及所述各跟踪帧对应的时间点，拟合得到第二曲线，并根据所述第二曲线以及当前视频帧的时间点，计算得到所述一待测目标在当前视频帧中的预测框的中心点坐标的y值；

根据所述预测框的中心点坐标的x值和y值，确定所述预测框的中心点；

以所述一待测目标在当前视频帧的前一个视频帧中的跟踪框的中心点为端点，并以所述端点与所述预测框的中心点的连线为中心线，根据预设的角度确定扇形区域，得到轨迹范围。

由上述描述可知，可得到较准确的预测轨迹范围。

进一步地，所述根据所述一待测目标在当前视频帧的前一个视频帧中对应各跟踪算法的跟踪框、所述一待测目标的类别以及当前视频帧中的各检测框及其对应的类别，确定所述一待测目标在当前视频帧中的检测框，并将所确定的检测框与所述一待测目标进行关联具体为：

获取当前视频帧的前一个视频帧中所述一待测目标对应各跟踪算法的跟踪框，得到各跟踪框；

从当前视频帧中的各检测框中获取与所述一待测目标类别相同的检测框，得到同类检测框；

分别计算各同类检测框与所述各跟踪框的质心距离；

根据同一同类检测框与所述各跟踪框的质心距离，计算所述同一同类检测框与所述各跟踪框的质心距离均方差，得到所述同一同类检测框对应的均方差；

将最小均方差对应的同类检测框作为所述一待测目标在当前视频帧中的检测框，并将所述最小均方差对应的同类检测框与所述一待测目标进行关联。

由上述描述可知，在还未确定待测目标对应的跟踪算法时，基于质心距离均方差来关联检测框。

进一步地，所述根据所述一待测目标在当前视频帧的前一个视频帧中对应各跟踪算法的跟踪框以及所述一待测目标在当前视频帧中的检测框，确定所述一待测目标对应的跟踪算法具体为：

分别计算所述各跟踪框与所述一待测目标在当前视频帧中的检测框的质心距离，得到各跟踪框对应的质心距离；

将质心距离最小的跟踪框对应的跟踪算法作为所述一待测目标对应的跟踪算法。

由上述描述可知，基于质心距离，来确定对应的跟踪算法。

进一步地，所述方法还包括：

分别根据已编号的各待测目标的检测框和跟踪框与车道线的重叠检测结果，计算已编号的各待测目标的连续压线时间；

若已编号的一待测目标的连续压线时间超过预设的时间阈值，则进行警报，并提示压线位置。

由上述描述可知，可实现压线检测。

本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的方法的步骤。

实施例一

请参照图2-6，本发明的实施例一为：一种多目标跟踪方法，可应用于物流园压线检测等场景，通过对物流园的监控视频进行分析，实现自动化的压线检测。

本方法中，将视频流的视频帧分为两类，一类为检测帧，在检测帧中进行目标检测，相邻两个检测帧之间间隔预设的帧数；另一类为跟踪帧，在跟踪帧中进行目标跟踪。本实施例中，将视频流的第一帧视频帧就作为检测帧，假设预设的间隔帧数为n，则视频流中第k(n+1)+1帧均为检测帧，k为自然数；相邻两个检测帧之间的视频帧即作为跟踪帧。

如图2所示，本方法包括如下步骤：

S1：依序从所述视频流中获取一视频帧，作为当前视频帧；即获取视频流中的第i帧视频帧，i的初始值为1。

S2：判断当前视频帧是否为检测帧，即判断i＝k(n+1)+1是否成立，若是，则执行步骤S3，若否，则表示当前视频帧为跟踪帧，执行步骤S11。

S3：对当前视频帧进行目标检测，得到当前视频帧中各待测目标的检测框及类别，如图3所示。

具体地，通过微调RetinaNet神经网络，并通过训练后的神经网络模型对当前视频帧进行目标检测，输出各待测目标的检测框以及各待测目标对应各类别的分类置信度，然后将分类置信度最高的类别作为待测目标的类别。

S4：遍历当前视频帧的前一个视频帧中的已编号的各待测目标，依次获取已编号的一待测目标。

对于视频流中的第一帧视频帧，由于其不存在前一个视频帧，因此对第一帧视频帧进行目标检测后，可直接对第一帧视频帧中的各待测目标进行编号，即执行步骤S10。

S5：判断所述一待测目标是否已确定对应的跟踪算法，若是，则执行步骤S6，若否，则执行步骤S7。

S6：根据所述一待测目标在当前视频帧与上一个检测帧之间的各跟踪帧中的跟踪框、所述一待测目标的类别以及当前视频帧中的各检测框及其对应的类别，确定所述一待测目标在当前视频帧中的检测框，并将所确定的检测框与所述一待测目标进行关联。

具体地，首先，获取所述一待测目标在当前视频帧与上一个检测帧之间的各跟踪帧中的跟踪框；此时，最好的情况下可分别从n个跟踪帧获取到一个跟踪框，总共获取到n个跟踪框；若中间某些跟踪框缺失(例如目标在中间的某几帧跟踪帧中被完全遮挡)，则可通过拟合曲线并预测待测目标的位置，从而对缺失的跟踪框的位置进行预测。

然后，根据所述各跟踪框，确定轨迹范围。本实施例中，先根据所述各跟踪帧中的跟踪框的中心点坐标的x值以及各跟踪帧对应的时间点，拟合得到第一曲线，其中，各视频帧的间隔时间是固定的，可根据视频流的帧率得到，那么当前视频帧的时间点即为其前一个跟踪帧的时间点加上间隔时间；获取到当前视频帧的时间点后，代入所述第一曲线，即可得到所述一待测目标在当前视频帧中的预测框的中心点坐标的x值。

同理，根据所述各跟踪帧中的跟踪框的中心点坐标的y值以及各跟踪帧对应的时间点，拟合得到第二曲线，然后将当前视频帧的时间点代入第二曲线后，即可得到所述一待测目标在当前视频帧中的预测框的中心点坐标的y值。

根据上述获取到的预测框的中心点坐标的x值和y值，即可得到预测框的中心点坐标。

然后以所述一待测目标在当前视频帧的前一个视频帧中的跟踪框的中心点为端点，即以获取的各跟踪框中的最后一个跟踪框的中心点为端点，以所述端点与所述预测框的中心点的连线为中心线，确定出一个预设的角度的扇形区域，该扇形区域即为轨迹范围。

接着，如图4所示，从当前视频帧中的各检测框中获取满足下述三个条件的检测框，作为所述一待测目标在当前视频帧中的检测框：

1、类别相同，即检测框对应的类别与所述一待测目标的类别相同；

2、处于所述轨迹范围内，即检测框的中心点位于所述轨迹范围内；

3、质心距离最近，即检测框的中心点与获取的各跟踪框中的最后一个跟踪框的中心点的距离最近。

最后，将所述一待测目标在当前视频帧中的检测框与所述一待测目标进行关联，例如，可将该检测框与该待测目标的编号进行关联。

进一步地，如果预测框的中心点坐标的x值或y值超出了视频帧的坐标范围，则表示该待测目标逐渐离开监控区域，此时，可无需确定该待测目标在当前视频帧中的检测框。

S7：根据所述一待测目标在当前视频帧的前一个视频帧中对应各跟踪算法的跟踪框、所述一待测目标的类别以及当前视频帧中的各检测框及其对应的类别，确定所述一待测目标在当前视频帧中的检测框，并将所确定的检测框与所述一待测目标进行关联。

具体地，首先，获取当前视频帧的前一个视频帧中所述一待测目标对应各跟踪算法的跟踪框，得到各跟踪框。如果所述一待测目标还未确定对应的跟踪算法，则在此之前的n个跟踪帧中，都存在该待测目标对应不同跟踪算法的多个跟踪框。从步骤S14可知，本实施例使用了9种跟踪算法进行目标跟踪，那么，在当前视频帧的前一个视频帧中可获取到该待测目标的9个跟踪框。

然后，从当前视频帧中的各检测框中获取与所述一待测目标类别相同的检测框，得到同类检测框。

接着，分别计算各同类检测框与所述各跟踪框的质心距离(即中心点的距离)；然后对于每个同类检测框，都根据其与各跟踪框的质心距离，计算均方差，即标准差。

最后，将均方差最小的同类检测框作为所述一待测目标在当前视频帧中的检测框，并将其与所述一待测目标进行关联。例如，可将该检测框与该待测目标的编号进行关联。

S8：根据所述一待测目标在当前视频帧的前一个视频帧中对应各跟踪算法的跟踪框以及所述一待测目标在当前视频帧中的检测框，确定所述一待测目标对应的跟踪算法。

具体地，分别计算所述各跟踪框与所述一待测目标在当前视频帧中的检测框的质心距离，得到各跟踪框对应的质心距离；将质心距离最小的跟踪框对应的跟踪算法作为所述一待测目标对应的跟踪算法。也就是说，将与该待测目标的检测框质心距离最近的跟踪框对应的跟踪算法作为该待测目标的跟踪算法。

S9：判断是否遍历完当前视频帧的前一个视频帧中的已编号的各待测目标，若是，则执行步骤S10，若否，则继续获取下一已编号的待测目标，即执行步骤S4。

S10：分别对当前视频帧中未被关联的检测框对应的待测目标进行编号；其中，每个待测目标的编号唯一。

S11：遍历当前视频帧的前一个视频帧中已编号的各待测目标，依次获取已编号的一待测目标。

S12：判断所述一待测目标是否已确定对应的跟踪算法，若是，则执行步骤S13，若否，则执行步骤S14。

S13：通过所述一待测目标对应的跟踪算法，对所述一待测目标进行跟踪，得到所述一待测目标在当前视频帧中的跟踪框。

S14：分别通过预设数量的跟踪算法对所述一待测目标进行跟踪，得到所述一待测目标在当前视频帧中对应各跟踪算法的跟踪框。

本实施例中，使用9种跟踪器进行目标跟踪，分别为dlib库correction跟踪器(DSST)，以及opnecv库的csrt、kcf、boosting、mil、tld、medianflow、mosse、Goturn跟踪器。在下一检测帧之前的n个跟踪帧中，对于该待测目标，每个跟踪帧中都存在对应的9个跟踪框。

S15：判断是否遍历完当前视频帧的前一个视频帧中已编号的各待测目标，若是，则表示已对前一个视频帧中已编号的各待测目标进行了跟踪，得到各待测目标在当前视频帧中的跟踪框，如图5所示，然后继续从所述视频流中获取下一视频帧，即令i＝i+1，然后执行步骤S1，若否，则继续获取当前视频帧中下一已编号的待测目标，即执行步骤S11。

通过上述步骤，即可得到每个出现在监控区域中的待测目标的检测框和跟踪框，同一待测目标的检测框和跟踪框都与该待测目标的编号关联，且具有时间顺序。

分别将同一待测目标的检测框和跟踪框与车道线进行重叠检测，即判断是否重叠。其中，由于一个摄像头对准的是固定的监控区域，因此每个视频帧中的车道线位置都是相同的，那么车道线的位置可以预先计算出来，无需在每个视频帧中重新确定。然后，获取与车道线重叠的连续的检测框或跟踪框，并根据连续的检测框或跟踪框的个数，计算该待测目标的连续压线时间。

例如，假设一待测目标出现于视频流中的第2(n+1)+1帧至第4(n+1)帧中，并且，该待测目标在第2(n+1)+1帧中的检测框以及第2(n+1)+2帧至第3(n+1)帧中的跟踪框均与车道线重叠，即表示该待测目标在连续的n+1帧中都与车道线重叠，那么该待测目标的连续压线时间t＝(n+1)×1/f，其中，f为视频流的帧率。

最后将该待测目标的连续压线时间与预设的时间阈值进行比较，若超过预设的时间阈值，则表示该待测目标存在压线违章情况，进行警报，并可根据该待测目标与车道线重叠的检测框或跟踪框的位置，进行压线位置的提示，如图6所示。

对每个已编号的待测目标都进行上述步骤，即可对每个待测目标进行压线检测。即本实施例通过应用短帧的检测方法与长帧的跟踪方法交替跟踪多目标车辆，并根据跟踪车辆与车道线位置关系，实现超时违规压线车辆的识别。

本实施例通过每隔一定帧数进行目标检测，中间帧进行目标跟踪，不仅可降低运行负担，确保实时性，还可校正跟踪结果，提高跟踪准确率，可一定程度上解决长时跟踪产生的遮挡关联问题。通过采用微调的one-stage的RetinaNet进行目标检测，在得到检测框的同时，还得到分类置信度，以确定目标的类别，在进行检测框与跟踪框的关联时，只考虑类别相同的框，不关联不同分类的框，一定程度上避免了漂移现象的产生；并且只考虑处于预测的轨迹范围内的框，不关联轨迹范围外的框，进一步避免了漂移现象。通过为每个待测目标确定对应的跟踪算法，保证每个待测目标都能达到较好的跟踪效果。

实施例二

本实施例是对应上述实施例的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的多目标跟踪方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

综上所述，本发明提供的一种多目标跟踪方法及计算机可读存储介质，通过每隔一定帧数进行目标检测，中间帧进行目标跟踪，不仅可降低运行负担，确保实时性，还可校正跟踪结果，提高跟踪准确率，可一定程度上解决长时跟踪产生的遮挡关联问题；通过在进行检测框与跟踪框的关联时，不关联不同类别的框，不关联轨迹范围外的框，可避免漂移现象的产生。通过为每个待测目标确定对应的跟踪算法，保证每个待测目标都能达到较好的跟踪效果；同时，可根据跟踪的车辆目标与车道线位置关系，实现超时违规压线车辆的识别。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多目标跟踪方法，其特征在于，包括：

根据预设的间隔帧数，在视频流中确定检测帧，并将相邻两个检测帧之间的视频帧作为跟踪帧；

依序从所述视频流中获取一视频帧，作为当前视频帧；

若当前视频帧为检测帧，则对当前视频帧进行目标检测，得到当前视频帧中各待测目标的检测框及类别；

根据当前视频帧与上一个检测帧之间的各跟踪帧中已编号的各待测目标的跟踪框、所述已编号的各待测目标的类别以及当前视频帧中的各检测框及其对应的类别，确定所述已编号的各待测目标在当前视频帧中的检测框，并将所确定的检测框分别与其对应的已编号的待测目标进行关联；

分别对当前视频帧中未被关联的检测框对应的待测目标进行编号；

若当前视频帧为跟踪帧，则通过预设的跟踪算法，对已编号的各待测目标进行跟踪，得到已编号的各待测目标在当前视频帧中的跟踪框。

2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述对当前视频帧进行目标检测，得到当前视频帧中各待测目标的检测框及类别具体为：

对当前视频帧进行目标检测，得到各待测目标的检测框以及对应各类别的分类置信度；

根据一待测目标对应各类别的分类置信度，将分类置信度最高的类别作为所述一待测目标的类别。

3.根据权利要求1所述的多目标跟踪方法，其特征在于，所述通过预设的跟踪算法，对已编号的各待测目标进行跟踪，得到已编号的各待测目标在当前视频帧中的跟踪框具体为：

判断当前视频帧的前一个视频帧中已编号的一待测目标是否已确定对应的跟踪算法；

若是，则通过所述一待测目标对应的跟踪算法，对所述一待测目标进行跟踪，得到所述一待测目标在当前视频帧中的跟踪框；

若否，则分别通过预设数量的跟踪算法对所述一待测目标进行跟踪，得到所述一待测目标在当前视频帧中对应各跟踪算法的跟踪框。

4.根据权利要求3所述的多目标跟踪方法，其特征在于，所述根据当前视频帧与上一个检测帧之间的各跟踪帧中已编号的各待测目标的跟踪框、所述已编号的各待测目标的类别以及当前视频帧中的各检测框及其对应的类别，确定所述已编号的各待测目标在当前视频帧中的检测框，并将所确定的检测框分别与其对应的已编号的待测目标进行关联具体为：

判断当前视频帧的前一个视频帧中的已编号的一待测目标是否已确定对应的跟踪算法；

若已确定，则根据所述一待测目标在当前视频帧与上一个检测帧之间的各跟踪帧中的跟踪框、所述一待测目标的类别以及当前视频帧中的各检测框及其对应的类别，确定所述一待测目标在当前视频帧中的检测框，并将所确定的检测框与所述一待测目标进行关联；

若未确定，则根据所述一待测目标在当前视频帧的前一个视频帧中对应各跟踪算法的跟踪框、所述一待测目标的类别以及当前视频帧中的各检测框及其对应的类别，确定所述一待测目标在当前视频帧中的检测框，并将所确定的检测框与所述一待测目标进行关联；

根据所述一待测目标在当前视频帧的前一个视频帧中对应各跟踪算法的跟踪框以及所述一待测目标在当前视频帧中的检测框，确定所述一待测目标对应的跟踪算法。

5.根据权利要求4所述的多目标跟踪方法，其特征在于，所述根据所述一待测目标在当前视频帧与上一个检测帧之间的各跟踪帧中的跟踪框、所述一待测目标的类别以及当前视频帧中的各检测框及其对应的类别，确定所述一待测目标在当前视频帧中的检测框，并将所确定的检测框与所述一待测目标进行关联具体为：

获取所述一待测目标在当前视频帧与上一个检测帧之间的各跟踪帧中的跟踪框；

根据所述各跟踪帧中的跟踪框，确定轨迹范围；

从当前视频帧中的各检测框中获取与所述一待测目标类别相同、处于所述轨迹范围内且与所述一待测目标在当前视频帧的前一个视频帧中的跟踪框质心距离最近的检测框，作为所述一待测目标在当前视频帧中的检测框；

将所述一待测目标在当前视频帧中的检测框与所述一待测目标进行关联。

6.根据权利要求5所述的多目标跟踪方法，其特征在于，所述根据所述各跟踪帧中的跟踪框，确定轨迹范围具体为：

根据所述各跟踪帧中的跟踪框的中心点坐标的x值以及所述各跟踪帧对应的时间点，拟合得到第一曲线，并根据所述第一曲线以及当前视频帧的时间点，计算得到所述一待测目标在当前视频帧中的预测框的中心点坐标的x值；

根据所述各跟踪帧中的跟踪框的中心点坐标的y值以及所述各跟踪帧对应的时间点，拟合得到第二曲线，并根据所述第二曲线以及当前视频帧的时间点，计算得到所述一待测目标在当前视频帧中的预测框的中心点坐标的y值；

根据所述预测框的中心点坐标的x值和y值，确定所述预测框的中心点；

以所述一待测目标在当前视频帧的前一个视频帧中的跟踪框的中心点为端点，并以所述端点与所述预测框的中心点的连线为中心线，根据预设的角度确定扇形区域，得到轨迹范围。

7.根据权利要求4所述的多目标跟踪方法，其特征在于，所述根据所述一待测目标在当前视频帧的前一个视频帧中对应各跟踪算法的跟踪框、所述一待测目标的类别以及当前视频帧中的各检测框及其对应的类别，确定所述一待测目标在当前视频帧中的检测框，并将所确定的检测框与所述一待测目标进行关联具体为：

获取当前视频帧的前一个视频帧中所述一待测目标对应各跟踪算法的跟踪框，得到各跟踪框；

从当前视频帧中的各检测框中获取与所述一待测目标类别相同的检测框，得到同类检测框；

分别计算各同类检测框与所述各跟踪框的质心距离；

根据同一同类检测框与所述各跟踪框的质心距离，计算所述同一同类检测框与所述各跟踪框的质心距离均方差，得到所述同一同类检测框对应的均方差；

将最小均方差对应的同类检测框作为所述一待测目标在当前视频帧中的检测框，并将所述最小均方差对应的同类检测框与所述一待测目标进行关联。

8.根据权利要求4所述的多目标跟踪方法，其特征在于，所述根据所述一待测目标在当前视频帧的前一个视频帧中对应各跟踪算法的跟踪框以及所述一待测目标在当前视频帧中的检测框，确定所述一待测目标对应的跟踪算法具体为：

分别计算所述各跟踪框与所述一待测目标在当前视频帧中的检测框的质心距离，得到各跟踪框对应的质心距离；

将质心距离最小的跟踪框对应的跟踪算法作为所述一待测目标对应的跟踪算法。

9.根据权利要求1所述的多目标跟踪方法，其特征在于，所述方法还包括：

分别根据已编号的各待测目标的检测框和跟踪框与车道线的重叠检测结果，计算已编号的各待测目标的连续压线时间；

若已编号的一待测目标的连续压线时间超过预设的时间阈值，则进行警报，并提示压线位置。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9任一项所述的方法的步骤。

Images