CN110853078A

CN110853078A - 一种基于遮挡对的在线多目标跟踪方法

Info

Publication number: CN110853078A
Application number: CN201911047363.XA
Authority: CN
Inventors: 李腾辉; 王祝萍; 张皓; 黄超; 张长柱
Original assignee: Tongji University
Current assignee: Tongji University
Priority date: 2019-10-30
Filing date: 2019-10-30
Publication date: 2020-02-28
Anticipated expiration: 2039-10-30
Also published as: CN110853078B

Abstract

本发明涉及一种基于遮挡对的在线多目标跟踪方法，包括以下步骤：初始化卡尔曼预测轨迹；按时间顺序获取图像检测结果，将当前图像检测结果与上一帧的跟踪轨迹进行匹配，判断是否匹配成功；若存在未匹配的跟踪轨迹，则计算图像检测结果与所述未匹配的跟踪轨迹的面积覆盖率，若存在最大的面积覆盖率大于设定阈值，则基于最大的面积覆盖率对应的图像检测结果生成遮挡对，存储至遮挡对列表；若存在未匹配的检测结果，则利用卡尔曼预测结果和遮挡对列表对所述未匹配的检测结果进行重识别，更新卡尔曼预测轨迹；全局更新卡尔曼预测轨迹和遮挡对。与现有技术相比，本发明具有精度高、速度快等优点。

Description

一种基于遮挡对的在线多目标跟踪方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于遮挡对的在线多目标跟踪方法。

背景技术

在计算机视觉领域中，基于视频信息的目标跟踪一直是研究的重点。基于视觉的跟踪方法分析连续的视频序列，判断跟踪目标位置、形状、速度和轨迹等信息，在智能视频监控、人机交互和视觉导航等领域有广泛的应用。

目标跟踪方法种类多样。Alex Bewley等人在2016年ICIP上发表“Simple Onlineand Realtime Tracking”(Sort)。SORT方法提出一种简单的在线跟踪框架，使用卡尔曼滤波建立运动模型，预测跟踪目标运动位置，再通过匈牙利算法对帧间跟踪结果进行数据关联。这个框架只使用了目标的运动特征，跟踪速率快，但是没法解决目标之间的遮挡问题。Alex Bewley等人在2017年ICIP上发表“Simple Online and Realtime Tracking with aDeep Association Metric”(DeepSort)。DeepSort方法在Sort的框架下，结合卡尔曼预测位置和目标外观特征，使得跟踪目标效果提升。然而，加入外观特征会导致目标跟踪速率下降，若仅使用卡尔曼预测，重识别的准确度不高。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷而提供一种基于遮挡对的在线多目标跟踪方法，在保证速度的前提下，提升多目标跟踪的重识别能力。

本发明的目的可以通过以下技术方案来实现：

一种基于遮挡对的在线多目标跟踪方法，包括以下步骤：

1)初始化卡尔曼预测轨迹；

2)按时间顺序获取图像检测结果，将当前图像检测结果与上一帧的跟踪轨迹进行匹配，判断是否匹配成功，若是，则执行步骤6)，若否，则执行步骤3)；

3)若存在未匹配的跟踪轨迹，则执行步骤4)，若存在未匹配的检测结果，则执行步骤5)；

4)计算图像检测结果与所述未匹配的跟踪轨迹的面积覆盖率，若存在最大的面积覆盖率大于设定阈值，则基于最大的面积覆盖率对应的图像检测结果生成遮挡对，存储至遮挡对列表，返回步骤2)；

5)利用卡尔曼预测结果和遮挡对列表对所述未匹配的检测结果进行重识别，更新卡尔曼预测轨迹，返回步骤2)；

6)更新卡尔曼预测轨迹，返回步骤2)。

进一步地，所述卡尔曼预测轨迹的数据格式为：

其中，u和v表示轨迹最新一帧跟踪目标边界框中心的水平位置和垂直位置，s和r代表目标边界框的面积和纵横比，id表示轨迹的身份，age表示轨迹存在的时间，该时间随帧数加1。

进一步地，所述设定阈值为0.3。

进一步地，所述遮挡对的存储格式为：

C_j＝(ID_A,ID_B,t)

其中，C_j表示遮挡对，ID_A、ID_B表示被遮挡跟踪目标A和遮挡物B的身份，t表示遮挡对存在时间，该时间随帧数加1。

进一步地，所述重识别具体为：

计算所述未匹配的检测结果与其他检测结果的面积覆盖率，获得面积覆盖率最大的检测结果ID_max，判断遮挡对列表中是否存在该ID_max，若是，则获得被该ID_max遮挡的跟踪目标ID和遮挡时间t，在卡尔曼预测轨迹中寻找ID和t均匹配的轨迹，若否，则采用匈牙利算法进行所述未匹配的检测结果与卡尔曼预测轨迹的匹配。

进一步地，所述步骤2)中，采用匈牙利算法将当前图像检测结果与上一帧的跟踪轨迹进行匹配。

进一步地，所述更新卡尔曼预测轨迹具体为：将图像检测结果边界框的值存入对应卡尔曼预测轨迹的1-7位，将该卡尔曼预测轨迹的ID赋予所述图像检测结果。

进一步地，所述初始化卡尔曼预测轨迹时，删除在6帧内发生中断的轨迹。

进一步地，当卡尔曼滤波预测轨迹age大于15帧时，删除对应轨迹，并删除遮挡对列表中被遮挡目标ID等于此轨迹ID的遮挡对。

与现有技术相比，本发明具有如下有益效果：

1)通过结合卡尔曼预测和遮挡对处理遮挡问题，提升了在没有校正环节下，卡尔曼滤波算法预测目标位置的可靠性，减少了多目标跟踪问题中跟踪目标身份频繁切换的情况，提升多目标跟踪方法的重识别能力。

2)仅使用卡尔曼预测和跟踪目标的位置信息，保证运算速度，改善现有多目标跟踪方法复杂度大和准确度低的问题，做到对多目标的实时跟踪。

附图说明

图1为本发明的流程示意图；

图2为本发明基于遮挡对的重识别逻辑流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种基于遮挡对的在线多目标跟踪方法，用于实现多目标跟踪重识别。多目标跟踪重识别指跟踪目标被遮挡，跟踪中断，当跟踪目标再次出现时，能重新匹配跟踪目标身份的能力。如图1和图2所示，该方法包括以下步骤：

1)基于输入图像初始化卡尔曼预测轨迹。

轨迹用于记录跟踪目标的位置和身份等信息。卡尔曼预测轨迹的数据格式为：

初始化卡尔曼预测轨迹时，删除在6帧内发生中断的轨迹。卡尔曼滤波需要一段时间进行收敛，这段时间为轨迹的试用期，设置为6帧，轨迹age大于6后进入稳定期；轨迹在试用期发生中断，则删除轨迹；轨迹在试用期连续，使用两帧间检测边界框的交并比计算匈牙利算法的效益矩阵，通过效益矩阵输出两帧间检测结果的最优匹配对。

2)按时间顺序获取图像检测结果，将当前图像检测结果与上一帧的跟踪轨迹进行匹配。

该步骤中，计算当前图像检测结果与上一帧的跟踪轨迹的相似度，获得效益矩阵，采用匈牙利算法进行最优匹配。

该步骤中的匹配结果有3种情况，分别为成功匹配的匹配对、未匹配的跟踪轨迹(跟踪目标跟丢)和未匹配的检测结果。对于成功匹配的匹配对，将检测结果的1-7位边界框的值更新轨迹，并将轨迹的ID赋予检测结果。对于后2种匹配不成功的情况，使用卡尔曼预测和遮挡对进行处理，具体方法如图2所示：

2.1)对于存在未匹配的跟踪轨迹，计算图像检测结果与所述未匹配的跟踪轨迹的面积覆盖率，若存在最大的面积覆盖率大于设定阈值，则基于最大的面积覆盖率对应的图像检测结果生成遮挡对，存储至遮挡对列表，否则，直接使用卡尔曼预测维持轨迹。

面积覆盖率r的计算方式为：

在第k帧，跟踪目标A跟丢，则将第k-1帧跟踪目标边界框和第k帧检测结果求面积覆盖率，得

其中，S_A表示跟踪目标A的边界框面积，S_B表示跟踪目标B的边界框面积。

本实施例中，设定阈值为0.3。

假设两个跟踪目标A和B，在k时刻A被B遮挡，遮挡对C_j的存储格式为：

C_j＝(ID_A,ID_B,t)

2.2)对于未匹配上的检测结果，使用卡尔曼预测结果和遮挡对进行重识别。

计算所述未匹配的检测结果与其他检测结果的面积覆盖率，获得面积覆盖率最大的检测结果ID_max，判断遮挡对列表中是否存在该ID_max，若是，则获得被该ID_max遮挡的跟踪目标ID和遮挡时间t，在卡尔曼预测轨迹中寻找ID和t均匹配的轨迹，认为该轨迹跟踪目标再次出现，记录该检测结果i和轨迹的j，若否，则采用匈牙利算法进行所述未匹配的检测结果与卡尔曼预测轨迹的匹配，进行重识别。

对于记录的检测结果i和轨迹的j，匈牙利算法的效益矩阵中计算方式如下：

cost(i,j)＝(0.8-0.01*t_k)*IoU(det_i,trks_j)+(0.2+0.01*t_k)

其中t_k表示卡尔曼预测轨迹存在的时间，IoU(det_i,trks_j)表示检测结果i和轨迹j的交并比，效益矩阵cost(i,j)∈(0,1)。

检测结果和轨迹成功匹配时需要满足效益矩阵值大于0.3，防止检测结果和轨迹相似度太低产生误匹配。

3)更新卡尔曼预测和遮挡对。

成功匹配图像检测结果的轨迹，使用检测结果校正卡尔曼预测结果，存入轨迹1-7位，未成功匹配检测结果的轨迹，将卡尔曼预测结果存入轨迹1-7位、轨迹ID均保持不变，age随帧数加1，遮挡对时间t随帧数加1。

卡尔曼滤波在无校正环节的情况下，准确预测的可能性，随预测时间的延长而逐渐降低，同时为降低算法复杂度，若卡尔曼滤波预测维持的轨迹age大于15帧，则删除轨迹，并删除遮挡对中被遮挡目标ID等于此轨迹ID的组合C_j。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由本发明所确定的保护范围内。

Claims

1.一种基于遮挡对的在线多目标跟踪方法，其特征在于，包括以下步骤：

1)初始化卡尔曼预测轨迹；

6)全局更新卡尔曼预测轨迹和遮挡对，返回步骤2)。

2.根据权利要求1所述的基于遮挡对的在线多目标跟踪方法，其特征在于，所述卡尔曼预测轨迹的数据格式为：

3.根据权利要求1所述的基于遮挡对的在线多目标跟踪方法，其特征在于，所述设定阈值为0.3。

4.根据权利要求1所述的基于遮挡对的在线多目标跟踪方法，其特征在于，所述遮挡对的存储格式为：

C_j＝(ID_A,ID_B,t)

5.根据权利要求1所述的基于遮挡对的在线多目标跟踪方法，其特征在于，所述重识别具体为：

6.根据权利要求1所述的基于遮挡对的在线多目标跟踪方法，其特征在于，所述步骤2)中，采用匈牙利算法将当前图像检测结果与上一帧的跟踪轨迹进行匹配。

7.根据权利要求2所述的基于遮挡对的在线多目标跟踪方法，其特征在于，所述更新卡尔曼预测轨迹具体为：将图像检测结果边界框的值存入对应卡尔曼预测轨迹的1-7位，将该卡尔曼预测轨迹的ID赋予所述图像检测结果。

8.根据权利要求1所述的基于遮挡对的在线多目标跟踪方法，其特征在于，所述初始化卡尔曼预测轨迹时，删除在6帧内发生中断的轨迹。

9.根据权利要求2所述的基于遮挡对的在线多目标跟踪方法，其特征在于，当卡尔曼滤波预测轨迹age大于15帧时，删除对应轨迹，并删除遮挡对列表中被遮挡目标ID等于此轨迹ID的遮挡对。