CN116152292A - 一种基于三次匹配的多类别多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于三次匹配的多类别多目标跟踪方法，包括：将视频序列输入训练好的检测器获得检测结果；根据结果中的置信度得分将检测结果分为高分框和低分框；对跟踪器中所有轨迹进行卡尔曼预测；对轨迹和检测结果进行三次参数不同且目的不同的数据关联匹配，对匹配成功的轨迹进行激活和更新；对未匹配成功的失踪轨迹进行位置修正和输出判定。本发明可以有效提升多类别多目标跟踪的稳定性和可靠性。在目标被遮挡或者检测器出现漏检时可以通过数据关联方法进行一定的补救，通过简单的方法使得跟踪器有一定的抗抖动性能，有效提升了跟踪器的鲁棒性。本发明可以与任何一种满足跟踪器输入要求的主流检测器相适配，有较广泛的实用价值。

Description

一种基于三次匹配的多类别多目标跟踪方法

技术领域

本发明涉及计算机视觉领域中的目标检测和跟踪技术领域，具体地，涉及一种基于三次匹配的多类别多目标跟踪数据关联方法。

背景技术

随着人工智能技术的飞速发展，基于计算机视觉技术的智能监控系统、自动驾驶领域较以往取得了重大的突破，进一步减少了人力资源的浪费，提高了安防和交通领域的安全性。视觉多目标检测以及跟踪技术都是这些领域中的关键基础性技术。而无人机和无人艇等无人平台下的多目标跟踪不仅可以获得目标的空间位置，而且可以进行目标运动轨迹的跟踪和预测，在军工和民用领域都有着广泛的应用场景。因此，对无人平台下的多目标检测和跟踪方法的研究是十分有价值而且必要的。

基于检测的跟踪是目前较为主流的多目标跟踪方法之一，这种跟踪方法需要先从检测器中获得图像目标检测的结果，再将检测结果送入跟踪器中进行多目标跟踪。跟踪器所起到的作用是根据前后两帧的检测结果进行位置或特征的信息关联，对跟踪器中所有的轨迹信息进行动态的管理和更新。

在一些实际复杂场景中，多目标跟踪可能会面临目标类别不平衡、目标相互遮挡、目标尺寸小、复杂光照及载体机动等条件下目标关联难度大等问题，且考虑到设备的计算能力限制，需要设计简单且高效的跟踪系统。另外，基于检测的跟踪方法的跟踪性能依赖于目标检测的性能是否稳定可靠，而实际场景中难免会遇到跟踪不准确的情况，如虚警、漏检以及目标类别判定错误等，此时需要所设计的跟踪器有一定的鲁棒性，在检测不准确时利用信息关联的方法对检测结果进行一定程度的纠正或补救，保证跟踪性能的可靠和稳定。

发明内容

针对以上问题，本发明提出一种基于三次匹配的多类别多目标跟踪方法，通过三次不同关联目标和不同参数设置的针对性轨迹匹配，可以有效减少因为镜头抖动和目标尺寸过小导致的轨迹匹配失败情况；通过增加不同类别轨迹匹配和不同尺寸轨迹匹配的额外惩罚代价，可以有效提升匹配的可靠性；通过显示修正后的卡尔曼滤波预测框，可以有效减少检测器漏检带来的影响。

为达到上述目的，本发明采用如下技术方案：

S1、使用一个已经在通用数据集或目标专用数据集上训练好的预训练模型作为检测器；

S2、将视频序列输入检测器得到目标检测结果，该检测结果包括图像中所有检测到的目标框的坐标、类别和置信度得分；

S3、跟踪器开始跟踪，判断当前输入是否为视频序列第一帧，若是，则根据检测结果初始化所有轨迹，轨迹状态初始化为已跟踪，若不是，则进行轨迹的更新；

S4、跟踪器更新开始，将输入的检测结果根据器置信度得分是否高于设定阈值分为高分框和低分框；

S5、对轨迹列表中的所有轨迹进行卡尔曼滤波预测，得到预测后的轨迹位置的框坐标；

S6、进行第一次匹配：将跟踪器的轨迹列表中所有轨迹与检测得到的高分框进行MIoU匹配，对匹配成功的轨迹进行激活和更新；

S7、进行第二次匹配：将第一次匹配中没有匹配成功的轨迹与检测得到的低分框进行MIOU匹配，对匹配成功的轨迹进行激活和更新；

S8、进行第三次匹配：将第二次匹配后仍然没有匹配成功的轨迹再与此时未匹配成功的高分框进行更松弛的MIoU匹配，对匹配成功的轨迹进行激活和更新；

S9、匹配后处理：对于三次匹配后仍未成功匹配的轨迹，认为其暂时匹配失败，标记为失踪轨迹，对于三次匹配后仍未成功匹配的检测框，若其置信度得分高于设定置信度阈值，则认为可能是出现了新目标，根据该框建立新轨迹，状态暂时标记为未激活，若该目标在下一帧的匹配中匹配成功，则仍为确定是新轨迹，进行激活和更新，若没有匹配成功，则认为是检测器虚警，删除该轨迹。

S10、对失踪轨迹进行位置修正，然后根据其修正后位置是否处于图片边缘来决定其是否输出。输出跟踪结果，包括匹配成功的已跟踪轨迹和判定可以输出的修正后的失踪轨迹。

特别地，所述S1中所使用的检测器可以为目前任何一种主流的目标检测算法在通用数据集或指定专用数据集上训练所得到的模型，如YOLOv5或YOLOX等，只需要其检测输出结果中包含所述S2中的内容，若缺少类别或置信度得分的输出，可以通过修改其源码中的结果输出部分来得到。

进一步地，所述S3包括：

若输入跟踪器的为视频序列的第一帧，则根据检测结果进行所有轨迹的初始化，具体实现方式为：

由于此时跟踪器的轨迹列表中没有任何轨迹，因此无法进行匹配，会直接跳过所述步骤S4-S8，在执行所述S9时，由于是第一帧，所以根据检测框建立新轨迹的轨迹状态并不会标记为未激活而是直接标记为已跟踪状态，用于后续帧中的匹配工作；

所有轨迹的坐标初始化为检测结果的坐标，并根据该坐标初始化每一条轨迹对应的卡尔曼滤波器的均值和方差。

进一步地，所述S4包括：

设定高分检测阈值和低分检测阈值det_thresh1和det_thresh2，对于每一个检测结果，若其置信度得分score大于det_thresh1，则认为是高分框，若其置信度得分score小于det_thresh1且大于det_thresh2，则认为是低分框，若置信度得分score小于det_thresh2，则认为其得分太低，是检测器的虚警，舍弃该结果，不参与后续匹配。检测框的分类原则可按照下表处理。

进一步地，所述S6-S8中涉及的MIoU匹配的实现步骤包括：

计算待匹配的所有轨迹与所有检测框之间的MIoU值，根据MIoU计算结果得到初步的关联代价矩阵，初步关联代价Cost0与MIoU的关系为

Cost0＝1-MIoU；

计算待匹配的所有轨迹与所有检测框之间的额外关联惩罚值AP，将AP矩阵与初步关联代价矩阵相加得到关联代价矩阵Cost，计算公式为

Cost＝Cost0+AP

得到关联代价矩阵后，利用匈牙利匹配算法根据该矩阵计算得到是的总体关联代价最小的最优匹配方案。

特别地，上述匹配实现过程中所涉及的MIoU的定义为：

MIoU(Modified IoU)，在交并比IoU的基础上改进而来，综合考虑了两框之间的距离和尺度因素，用MIoU代替IoU进行关联匹配可以获得更稳定可靠的匹配结果。对于图3所示的两个目标框，d表示两框中心点之间的距离，D表示两框的合并框的对角线长度，w₁和h₁表示框1的宽和高，w₂和h₂表示框2的宽和高，则两框之间的MIoU计算方式如下

其中，

特别地，上述匹配实现过程中所涉及的AP的定义为：

AP(Additional Punishment)，额外惩罚值，在由MIoU计算得到的关联代价矩阵的基础上附加由类别置信度和框大小计算得到的AP值，可以使得关联匹配的结果更加可靠和稳定。AP值由两部分组成，第一部分AP1为尺寸惩罚值，两框的尺寸大小差异越大，AP1的值越大，取值范围为0到1，其计算方式如下

AP值的第二部分AP2为不同类别相匹配的惩罚值，若匹配的轨迹与检测框的类别相同，则AP2为0，即没有惩罚，若匹配的轨迹与检测框的类别不同，则AP2的值为参与匹配的轨迹的当前类别置信度的值。当前轨迹的类别置信度越高，则匹配到不同类别的检测结果所得到的惩罚值就越大。AP值的计算方式如下

AP＝AP1+AP2

特别地，上述计算AP值的过程中所涉及的轨迹的类别置信度的值定义为：

每一个轨迹在初始化时，其轨迹类别即为对应检测结果的类别，类别置信度赋初值0.1，在后续的跟踪进程中，轨迹每一次成功匹配后，若匹配到的检测框与轨迹的类别相同，则该轨迹的类别置信度增加0.1，若不同则减少0.1，每次计算结束后，若类别置信度大于0，则轨迹的类别保持不变，若类别置信度已经归零，则将轨迹类别更改为检测结果的类别。该过程中类别置信度设有最大值，到达最大之后该值将不再增加，每次类别置信度归零轨迹改变类别后，轨迹类别置信度重新赋值0.1。

特别地，所述S6和S8的两次匹配的区别在于：

第一次和第三次匹配都是将轨迹与高分框匹配，第一次匹配的要求更为严格，即其匈牙利匹配算法的阈值设置更小，而第三次匹配的要求较为宽松，其匈牙利匹配算法的阈值设置更大；

进行第三次匹配的意义在于，某些轨迹可能会因为镜头抖动较大或者物体框太小而位移较大使得关联过程中的MIoU值较小，对应的匹配代价太大而关联不到检测结果导致匹配失败。第三次匹配是对前两次匹配后还没有匹配成功的轨迹和检测框进行关联，松弛了匹配要求，匈牙利匹配算法的阈值设置更大，可以有效对因各种因素没有在第一次匹配中匹配成功的轨迹进行补救，使得跟踪结果更为稳定可靠。

进一步地，所述S7-S8中涉及的激活和更新的定义为：

激活的定义为将上一帧中新出现的标记为未激活的新轨迹在其匹配成功后，将其从未激活状态改为激活状态，列入已跟踪的轨迹列表；

更新的定义为轨迹根据匹配到的检测框更新其轨迹信息，以其原本坐标和新匹配到的检测框坐标进行加权作为新的轨迹坐标，同时以新的检测框坐标更新该轨迹的卡尔曼滤波器的均值、方差以及卡尔曼增益等参数。

进一步地，所述S10包括：

对于三次匹配后没有成功匹配的轨迹，没有对应的较为准确的检测结果可以更新其轨迹信息，只能利用卡尔曼预测结果作为其新的轨迹位置。但是，如果镜头出现较大抖动，两帧图片之间会有明显的偏移值，卡尔曼预测的效果并不好，因此需要进行修正。此处采用一种简单的方式来估计修正的偏移值；

在第一次匹配和第三次匹配中，都是将轨迹与高分框进行关联匹配，因此其匹配成功的匹配结果有较高的可靠性。记录在这两次匹配中匹配成功的轨迹在更新前后的坐标差，取这些差值的平均值作为偏移值的估计，所有未匹配成功的轨迹都根据该估计偏移值进行位置修正；

考虑到未匹配成功的失踪轨迹很有可能是由于目标被遮挡或者检测器漏检导致的检测结果缺失使得跟踪失败，因此采用修正后的卡尔曼预测的结果作为跟踪结果进行输出，作为目标被遮挡或者检测器漏检的补救，待目标重新被检测到即可立即重新成功匹配正常跟踪；

修正后的失踪轨迹是否作为跟踪结果输出需要经过判定，若修正后的坐标位于设定的图片边缘区域内，认为该轨迹已经离开画面，不作为跟踪结果输出，若不在图片边缘区域内，则认为是补救轨迹，作为跟踪结果输出。

与现有技术相比，本发明具有如下的有益效果：

本发明的多类别多目标跟踪方法通过三次MIoU匹配，可以有效减少因图像抖动或者小目标运动较快导致的关联失败情况，使多目标跟踪结果更加稳定可靠；

本发明通过类别置信度的设置，可以有效补救检测器出现的类别识别错误情况，同时还可以作为数据关联中额外惩罚值的计算依据使得轨迹匹配更准确，使得跟踪结果更稳定可靠；

本发明根据匹配成功的轨迹对图像抖动进行简单的估计并对失踪轨迹进行位置修正，可以有效对目标被遮挡或者检测器漏检的情况进行补救，以一种简单的方法达到了一定的抗抖动性能，使得跟踪器有较高的鲁棒性。

本发明的基于三次匹配的多类别多目标跟踪方法可以与任何一种满足跟踪器输入要求的主流检测器相适配，有较广泛的实用价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面对实施例中使用的附图作简单地介绍。

图1为本发明实施方式的基于三次匹配的多类别多目标跟踪方法示意图。

图2为数据关联的匹配流程示意图。

图3为计算MIoU的框参数示意图。

具体实施方式

为了更加清楚地说明本发明的技术方案，以下结合附图及实施例，对本发明做进一步描述。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

目标检测的性能会极大地影响多类别多目标跟踪的性能，一个优良的跟踪器不仅可以在检测结果可靠时保持稳定的跟踪，还应该有较好的鲁棒性，即在视频序列出现较大抖动或者目标运动较快时也能进行有效的数据关联，而且能够在检测器出现虚警、漏检或类别识别错误等检测错误时，能够进行一定程度的纠正或者补救。

基于上述思想，本发明提供了一种基于三次匹配的多类别多目标跟踪方法，通过三次不同的匹配获得稳定可靠的数据关联结果，且通过对匹配失败的失踪轨迹的位置修正和输出可以对目标被遮挡或者检测器漏检的情况做出有效补救，提升跟踪的可靠性和稳定性。

请参阅图1，图1为本发明提供的一种基于三次匹配的多类别多目标跟踪方法的流程图。如图1中所示，本发明提供的基于三次匹配的多类别多目标跟踪方法，包括如下步骤：

步骤1、使用一个已经在通用数据集或目标专用数据集上训练好的预训练模型作为检测器。在一优选实施例中，所述检测器为YoloV5检测器，利用其官方给出的预训练模型在专用海上目标数据集上进行增广训练，得到本发明需要的专用目标检测器。

需要说明的是，本发明所使用的检测器并不局限于YoloV5检测器，任何检测结果满足跟踪器输入要求的检测器都可以作为本发明所适配的检测器。

步骤2、将待跟踪的视频序列RGB图像输入检测器得到检测结果，检测结果需要包含所有检测目标的位置坐标、置信度得分和分类。

需要说明的是，若某一检测器其原输出中不包含目标的置信度得分和分类，可通过修改其源码的输出部分来得到。

在一优选实施例中，检测器的每一个检测目标的结果输出为一个6维向量(x1,y1,x2,y2,score,cls)，该向量前四个值为检测框的左上角和右下角坐标，score为置信度得分，取值范围为0到1之间，cls为分类结果，为整型变量。

步骤3、若输出图像是第一帧，则由于此时跟踪器的轨迹列表中没有任何轨迹，因此直接跳过步骤4-步骤8，直接进入步骤9。此时，所有得分高于检测阈值的目标都认为是新轨迹，且由于是第一帧，其轨迹状态直接标记为已激活和已跟踪，以便于后续帧的轨迹跟踪。

步骤4、根据检测结果的置信度得分将其分为高分框和低分框，在一优选实施例中，设定高分检测阈值和低分检测阈值det_thresh1和det_thresh2，对于每一个检测结果，若其置信度得分score大于det_thresh1，则认为是高分框，若其置信度得分score小于det_thresh1且大于det_thresh2，则认为是低分框，若置信度得分score小于det_thresh2，则认为其得分太低，是检测器的虚警，舍弃该结果，不参与后续匹配。检测框的分类和处理原则可按照下表处理。

步骤5、轨迹列表中所有已有轨迹进行卡尔曼预测。在一优选实施例中，所采用的卡尔曼滤波器用一个8维向量

来表示轨迹的运动状态，其中前4个值为轨迹框的中心点横纵坐标、框高比以及高度值，后4个值为前4个值对应的变化率。据此构建目标的运动模型并进行轨迹预测。

步骤6、第一次MIoU匹配，对匹配成功的轨迹进行激活和更新。在一优选实施例中，假设此时轨迹列表有m个待匹配轨迹，n_H个高分框，n_L个低分框。按照图2所示的匹配流程进行匹配。

步骤601、MIoU矩阵的计算。对于如图3所示的任意两个框，d表示两框中心点之间的距离，D表示两框的合并框的对角线长度，w₁和h₁表示框1的宽和高，w₂和h₂表示框2的宽和高，则两框之间的MIoU计算方式如下

其中，

第一次匹配中，对m个待匹配轨迹与n_H个高分框计算轨迹与框之间MIoU值，得到m×n_H维的MIoU矩阵，该矩阵的第i行第j列的元素值为第i个轨迹和第j个高分框的MIoU值。

步骤602、代价矩阵Cost的计算。首先根据步骤601所述步骤计算得到的MIoU矩阵计算得到初步代价矩阵Cost0，计算方法为

Cost0＝1-MIoU；

然后计算额外惩罚值矩阵AP，其计算方法为

AP＝AP1+AP2

其中，AP1为尺寸惩罚值，两框的尺寸大小差异越大，AP1的值越大，取值范围为(0，1)，其计算方式如下

AP2为不同类别相匹配的惩罚值，若匹配的轨迹与检测框的类别相同，则AP2为0，即没有惩罚，若匹配的轨迹与检测框的类别不同，则AP2的值为参与匹配的轨迹的当前类别置信度的值。当前轨迹的类别置信度越高，则匹配到不同类别的检测结果所得到的惩罚值就越大。

最后可得到用于匹配的代价矩阵Cost,其计算方法如下

Cost＝Cost0+AP

步骤603、匈牙利匹配进行最优匹配。在一优选实施例中，设定第一次匹配的匹配阈值track_thresh1，在匈牙利算法匹配过程中，对于代价矩阵Cost中值大于阈值track_thresh1的元素，会将其值设为正无穷，即认为该元素对应的匹配方案代价无穷大，不可能匹配成功。最终，通过匈牙利算法输出一个总体代价最小的匹配方案。

步骤604、匹配成功的轨迹进行激活(如果该轨迹是上一帧出现的新轨迹还未激活)，然后根据其匹配到的检测框进行更新，将该轨迹的状态改为已跟踪(若其原本为失踪状态)，然后以其原本坐标和新匹配到的检测框坐标进行加权作为新的轨迹坐标，同时以新的检测框坐标更新该轨迹的卡尔曼滤波器的运动模型，即其8维向量的值。

步骤7、第二次MIoU匹配，对匹配成功的轨迹进行激活和更新。过程与步骤6的第一次匹配过程基本相同。在一优选实施例中，假设第一次匹配中有m₁轨迹成功匹配，则第二次匹配就是将剩余的m-m₁个轨迹与n_L个低分框进行匹配，仍然包括计算MIoU矩阵、计算代价矩阵Cost和匈牙利匹配等步骤。

需要说明的是，第二次匹配的意义在于某些应当与轨迹相匹配检测框可能会在运动过程中遭到一定程度的遮挡或者发生运动模糊，导致其检测得分不高，使其在数据关联中被遗漏导致跟踪中断，因此有必要为此类检测框进行一次专门的匹配。

步骤8、第三次MIoU匹配，对匹配成功的轨迹进行激活和更新。过程与步骤6的第一次匹配过程基本相同。在一优选实施例中，假设第二次匹配中有m₂轨迹成功匹配，则第二次匹配就是将剩余的m-m₁-m₂个轨迹与n_H-m₁个高分框进行匹配，仍然包括计算MIoU矩阵、计算代价矩阵Cost和匈牙利匹配等步骤。

需要说明的是，第三次匹配与第一次匹配不同点在于，两次匹配最终匈牙利匹配时的匹配阈值不同，第三次匹配的阈值track_thresh3要明显大于第一次匹配的阈值track_thresh1，即第三次匹配的要求更为宽松。进行此轮匹配的原因是，图像发生抖动或者小目标运动较快都可能导致同一轨迹两帧之间的位置差异较大，使得轨迹与检测结果之间的MIoU值较小匹配代价较大，导致在第一次匹配中无法进行关联，此次匹配的目的就是对此类未在第一次匹配中成功匹配的轨迹进行补救。

步骤9、进行匹配的后处理。在一优选实施例中，假设第三次匹配中有m₃轨迹成功匹配，对于剩下的m-m₁-m₂-m₃个未成功匹配的轨迹，将其标记未失踪轨迹，若其原本就是失踪轨迹，则该轨迹失踪帧数加1，当失踪帧数达到设定的失踪帧数最大值后，认为该轨迹已丢失，删除该轨迹；对于剩下的n_H-m₁-m₃+n_L-m₂个检测框，判断其置信度是否高于设定好的新轨迹置信度阈值，若高于，则根据检测框建立新轨迹，状态标记为未激活，根据其在下一帧的匹配情况决定是否激活，若不高于，则认为是检测器虚警，不建立新轨迹。

步骤10、对所有失踪轨迹进行位置修正和是否输出的判定。当图像发生明显抖动是，卡尔曼预测的轨迹位置会有较大的误差，如果不加以修正就直接输出结果会导致跟踪精度下降，同时也会为下一帧的数据关联增加难度，因此需要采取一定措施对抖动进行估计并对轨迹位置进行修正。

需要说明的是，对于在三次匹配中匹配成功的轨迹，由于其会在匹配后根据匹配到的检测结果更新位置，因此并不需要额外的位置修正。但是对于未匹配成功的失踪轨迹，没有相应的检测结果进行修正，只能用卡尔曼预测的结果作为跟踪结果，因此受抖动影响较大，需要进行修正。

在第一次匹配的匈牙利匹配结束后，需要对匹配成功的m₁个轨迹进行更新，记录这些轨迹更新前和更新后的中心点坐标差值(Δx,Δy)，得到第一次匹配的偏移值矩阵center_shift1，维度为m₁×2。对第三次匹配采取同样的处理方法，得到第三次匹配的偏移值矩阵center_shift2，维度为m₂×2。对两个偏移值矩阵分别求均值得到坐标偏移值(Δx₁,Δy₁)和(Δx₂,Δy₂)，然后对这两个偏移值进行加权得到最终的估计偏移值

如下

然后对所有失踪轨迹的中心点坐标加上该偏移值，得到修正后的轨迹坐标。

对于检测器漏检导致的失踪轨迹，可以用修正后的预测轨迹输出作为补救，但是并不是所有的失踪轨迹都能够输出，需要对其是否处于图片边缘进行判定。在一优选实施例中，设某一轨迹修正后的坐标为(x,y)，该帧图片宽高为(W,H)，进行如下判定处理

其中μ为可调参数，取值为0到1。

判定完成后，将判定输出的失踪轨迹和匹配成功的已跟踪轨迹作为跟踪结果输出。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种基于三次匹配的多类别多目标跟踪方法，其特征在于，包括以下步骤：

S1、将视频序列输入检测器得到目标检测结果，该检测结果包括图像中所有检测到的目标框的坐标、类别和置信度得分；

S2、跟踪器开始跟踪，判断当前输入是否为视频序列第一帧，若是，则根据检测结果初始化所有轨迹，轨迹状态初始化为已跟踪，若不是，则进行轨迹的更新；

S3、跟踪器更新开始，将输入的检测结果根据器置信度得分是否高于设定阈值分为高分框和低分框；

S4、对轨迹列表中的所有轨迹进行卡尔曼滤波预测，得到预测后的轨迹位置的框坐标；

S5、进行第一次匹配：将跟踪器的轨迹列表中所有轨迹与检测得到的高分框进行MIoU匹配，对匹配成功的轨迹进行激活和更新；

S6、进行第二次匹配：将第一次匹配中没有匹配成功的轨迹与检测得到的低分框进行MIoU匹配，对匹配成功的轨迹进行激活和更新；

S7、进行第三次匹配：将第二次匹配后仍然没有匹配成功的轨迹再与此时未匹配成功的高分框进行更松弛的MIoU匹配，对匹配成功的轨迹进行激活和更新；

S8、匹配后处理：对于三次匹配后仍未成功匹配的轨迹，认为其暂时匹配失败，标记为失踪轨迹，对于三次匹配后仍未成功匹配的检测框，若其置信度得分高于设定置信度阈值，则认为可能是出现了新目标，根据该框建立新轨迹，状态暂时标记为未激活，若该目标在下一帧的匹配中匹配成功，则仍为确定是新轨迹，进行激活和更新，若没有匹配成功，则认为是检测器虚警，删除该轨迹；

S9、对失踪轨迹进行位置修正，然后根据其修正后位置是否处于图片边缘来决定其是否输出；输出跟踪结果，包括匹配成功的已跟踪轨迹和判定可以输出的修正后的失踪轨迹。

2.根据权利要求1所述的一种基于三次匹配的多类别多目标跟踪方法，其特征在于，所述S3包括：

设定高分检测阈值和低分检测阈值det_thresh1和det_thresh2，对于每一个检测结果，若其置信度得分score大于det_thresh1，则认为是高分框，若其置信度得分score小于det_thresh1且大于det_thresh2，则认为是低分框，若置信度得分score小于det_thresh2，则认为其得分太低，是检测器的虚警，舍弃该结果，不参与后续匹配。

3.根据权利要求1所述的一种基于三次匹配的多类别多目标跟踪方法，其特征在于，所述S5-S7中涉及的MIoU匹配的实现步骤包括：

计算待匹配的所有轨迹与所有检测框之间的MIoU值，根据MIoU计算结果得到初步的关联代价矩阵，初步关联代价Cost0与MIoU的关系为

Cost0＝1-MIoU；

计算待匹配的所有轨迹与所有检测框之间的额外关联惩罚值AP，将AP矩阵与初步关联代价矩阵相加得到关联代价矩阵Cost，计算公式为

Cost＝Cost0+AP

得到关联代价矩阵后，利用匈牙利匹配算法根据该矩阵计算得到是的总体关联代价最小的最优匹配方案。

4.根据权利要求1所述的一种基于三次匹配的多类别多目标跟踪方法，其特征在于，匹配实现过程中所涉及的MIoU的定义为：

对于任意两框，d表示两框中心点之间的距离，D表示两框的合并框的对角线长度，w₁和h₁表示框1的宽和高，w₂和h₂表示框2的宽和高，则两框之间的MIoU计算方式如下

其中，IoU为交并比，

5.根据权利要求3所述的一种基于三次匹配的多类别多目标跟踪方法，其特征在于，匹配实现过程中所涉及的AP的定义为：

AP值由两部分组成，第一部分AP1为尺寸惩罚值，两框的尺寸大小差异越大，AP1的值越大，取值范围为0到1，其计算方式如下

AP值的第二部分AP2为不同类别相匹配的惩罚值，若匹配的轨迹与检测框的类别相同，则AP2为0，即没有惩罚，若匹配的轨迹与检测框的类别不同，则AP2的值为参与匹配的轨迹的当前类别置信度的值；当前轨迹的类别置信度越高，则匹配到不同类别的检测结果所得到的惩罚值就越大；AP值的计算方式如下

AP＝AP1+AP2。

6.根据权利要求5所述的一种基于三次匹配的多类别多目标跟踪方法，其特征在于，计算AP值的过程中所涉及的轨迹的类别置信度的值定义为：

每一个轨迹在初始化时，其轨迹类别即为对应检测结果的类别，类别置信度赋初值0.1，在后续的跟踪进程中，轨迹每一次成功匹配后，若匹配到的检测框与轨迹的类别相同，则该轨迹的类别置信度增加0.1，若不同则减少0.1，每次计算结束后，若类别置信度大于0，则轨迹的类别保持不变，若类别置信度已经归零，则将轨迹类别更改为检测结果的类别；该过程中类别置信度设有最大值，到达最大之后该值将不再增加，每次类别置信度归零轨迹改变类别后，轨迹类别置信度重新赋值0.1。

7.根据权利要求1所述的一种基于三次匹配的多类别多目标跟踪方法，其特征在于，所述S5和S7的两次匹配的区别在于：

第一次和第三次匹配都是将轨迹与高分框匹配，第一次匹配的要求更为严格，即其匈牙利匹配算法的阈值设置更小，而第三次匹配的要求较为宽松，其匈牙利匹配算法的阈值设置更大。

8.根据权利要求1所述的一种基于三次匹配的多类别多目标跟踪方法，其特征在于，所述S9包括：

记录在第一次匹配和第三次匹配中匹配成功的轨迹在更新前后的坐标差，取这些差值的平均值作为偏移值的估计，所有未匹配成功的轨迹都根据该估计偏移值进行位置修正；

修正后的失踪轨迹是否作为跟踪结果输出需要经过判定，若修正后的坐标位于设定的图片边缘区域内，认为该轨迹已经离开画面，不作为跟踪结果输出，若不在图片边缘区域内，则认为是补救轨迹，作为跟踪结果输出。

Images