CN110197502B

CN110197502B - 一种基于身份再识别的多目标跟踪方法及系统

Info

Publication number: CN110197502B
Application number: CN201910498068.XA
Authority: CN
Inventors: 郭文; 金跃龙; 丁昕苗; 应龙
Original assignee: Shandong Technology and Business University
Current assignee: Shandong Technology and Business University
Priority date: 2019-06-06
Filing date: 2019-06-06
Publication date: 2021-01-22
Anticipated expiration: 2039-06-06
Also published as: CN110197502A

Abstract

本公开提供了一种基于身份再识别的多目标跟踪方法及系统，该方法包括以下步骤：建立再识别检索库和轨迹树；获取当前时刻的检测视频序列，提取当前时刻检测视频序列中跟踪目标的再识别特征；遍历轨迹树的每条短轨迹中所有子节点，统计每条短轨迹的表观得分、身份再识别得分以及运动得分；将每条短轨迹的表观得分、身份再识别得分和运行得分进行融合，得到每条短轨迹多线索的总得分，并建立全局假设轨迹树集合。

Description

一种基于身份再识别的多目标跟踪方法及系统

技术领域

本公开涉及多目标跟踪技术领域，具体涉及一种基于身份再识别的多线索多假设跟踪的多目标跟踪方法及系统。

背景技术

多目标跟踪是计算机视觉领域的一个难点问题，它在无人驾驶汽车、视频监控和人机交互中有着广泛的应用。多目标跟踪的任务主要是能够在一个视频序列里同时记录多个数目的目标轨迹信息，虽然多目标跟踪的技术已经有了一些进步，但是这个领域的发展困难重重。多目标跟踪不但有单目标跟踪的一些研究难点，例如运动模糊、光照变化、嘈杂背景、遮挡和尺度变化等因素的影响，而且还有多目标跟踪特有的问题，例如目标跟踪数目的变化(包括目标的生成(born)、合并(merge)、分裂(split)和消失(death))、目标身份的交换、虚假检测等，因此要实现在复杂场景下多目标的有效跟踪是非常困难的。

在多目标跟踪领域里，多假设跟踪(Multiple Hypotheses Tracking，MHT)方法是一个最早的能够成功实现多目标跟踪的算法，它首先在雷达目标跟踪中取得了很好的跟踪效果，它将目标的检测作为输入，然后通过优化算法进行数据关联形成最终的轨迹。由于多假设跟踪是一个宽度优先搜索算法，因此如何快速可靠的进行搜索树的剪枝，使得多假设的数目保持在可控范围是实现多假设跟踪的关键。但是面向视觉目标的跟踪上，由于存在大量虚假检测导致的关联轨迹树节点数成指数增长，使得这个算法难以在实际中得到应用。最近深度学习在计算机视觉领域的急速发展，例如检测准确度的提升和特征判别性的提高，使得在单目标跟踪里流行的基于检测的跟踪方法能够为多假设跟踪的应用提供新的有力的支撑。

最近基于深度特征的多目标跟踪算法基本上是借鉴目标分类、目标识别、目标检测领域的思想，它们通过学习有判别性的视觉卷积神经网络特征(CNN)特征或者深度度量学习已经取得了一些有意义的研究成果，例如Deep Sort，RNN等，当然这些基于深度学习的理论在计算机视觉领域取得的成就也必将促进多目标视觉跟踪的发展。

现有的方法考虑了多假设跟踪的多目标跟踪算法，并且指出了过多的错误检测是导致该算法关联轨迹树节点数成指数增长的问题所在，因而导致算法的时间消耗过大，为此采用了多输出正则化最小二乘算法来更新跟踪树的节点，并且采用了在PASCALVOC数据上训练的卷积神经网络特征来提高表达的判别性，这些都降低了多假设跟踪的计算复杂度，提高了跟踪的性能。

发明人在研发过程中发现，以上方案还存在以下问题：

(1)多目标跟踪由于目标频繁的出现遮挡、合并、分离、出现、消失等现象，以上方案仅仅采用了表观特征和运动特征这种实时跟踪特征，缺乏历史特征的辅助，会导致大量的错误关联，出现ID跳变，进而导致跟踪失败，而且在跟踪失败后也难以实现重新轨迹恢复；

(2)以上方案采用这种简单的多输出正则化最小二乘算法的特征度量学习方法也有待改进，无法实现实时特征表达的判别性。

发明内容

为了克服上述现有技术的不足，本公开提供了一种基于身份再识别的多线索多假设跟踪的多目标跟踪方法及系统，有效缓解了MHT中由于假设分支过多导致的指数增长问题，并且减少了多目标跟踪中的ID跳变问题，解决了跟踪失败的恢复问题，提高了多目标跟踪算法的精确性。

本公开一方面提供的一种基于身份再识别的多目标跟踪方法的技术方案是：

一种基于身份再识别的多目标跟踪方法，该方法包括以下步骤：

获取前一时刻的多个检测视频序列,提取所有检测视频序列中目标的再识别特征,建立再识别检索库，并对每个检测视频序列的目标的进行关联，生成短轨迹，构建轨迹树；

获取当前时刻的检测视频序列，采用宽度残差网络提取当前时刻检测视频序列中跟踪目标的再识别特征；

遍历轨迹树中每条短轨迹上的所有子节点，采用度量学习方法计算每个子节点的再识别特征与当前时刻检测视频序列中跟踪目标的再识别特征之间的表观相似度，统计每条短轨迹的表观得分；

采用深度学习方法对当前时刻检测视频序列中跟踪目标进行目标身份再识别，得到每条短轨迹的身份再识别得分；

遍历轨迹树的每条短轨迹中所有子节点，预测当前时刻检测视频序列中跟踪目标的位置信息，判断其与当前时刻检测视频序列中跟踪目标的实际位置之间的距离大小，统计每条短轨迹的运动得分；

将每条短轨迹的表观得分、身份再识别得分和运行得分进行融合，得到每条短轨迹多线索的总得分，并建立全局假设轨迹树集合。

本公开另一方面提供的一种基于身份再识别的多目标跟踪系统的技术方案是：

一种基于身份再识别的多目标跟踪系统，该系统包括：

初始轨迹树构建模块，用于获取前一时刻的多个检测视频序列,提取所有检测视频序列中目标的再识别特征,建立再识别检索库，并对每个检测视频序列的目标的进行关联，生成短轨迹，构建轨迹树；

跟踪目标检测模块，用于获取当前时刻的检测视频序列，采用宽度残差网络提取当前时刻检测视频序列中跟踪目标的再识别特征；

表观相似性度量模块，用于遍历轨迹树中每条短轨迹上的所有子节点，采用度量学习方法计算每个子节点的再识别特征与当前时刻检测视频序列中跟踪目标的再识别特征之间的表观相似度，统计每条短轨迹的表观得分；

身份再识别模块，用于采用深度学习方法对当前时刻检测视频序列中跟踪目标进行目标身份再识别，得到每条短轨迹的身份再识别得分；

运动信息预测模块，用于遍历轨迹树的每条短轨迹中所有子节点，预测当前时刻检测视频序列中跟踪目标的位置信息，判断其与当前时刻检测视频序列中跟踪目标的实际位置之间的距离大小，统计每条短轨迹的运动得分；

多线索得分信息融合模块，用于将每条短轨迹的表观得分、身份再识别得分和运行得分进行融合，得到每条短轨迹多线索的总得分。

全局假设轨迹树集合构建模块，用于建立全局假设轨迹树集合，对全局假设轨迹树集合循环建立图，找出最大加权独立集；采用扫描修剪方法对全局假设轨迹树进行轨迹修正，如果短轨迹存储的目标数量大于设定的阈值，则保留得分最大的多个目标，对其余目标的进行轨迹分裂，形成最佳轨迹。

本公开另一方面提供的一种计算机可读存储介质的技术方案是：

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的基于身份再识别的多目标跟踪方法中的步骤。

本公开另一方面提供的一种计算机设备的技术方案是：

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于身份再识别的多目标跟踪方法中的步骤。

通过上述技术方案，本公开的有益效果是：

(1)本公开有效缓解了MHT中由于假设分支过多导致的指数增长问题，并且减少了多目标跟踪中的ID跳变问题，解决了跟踪失败的恢复问题，提高了多目标跟踪算法的精确性；

(2)本公开使用轨迹的时空关系作为约束来学习时间窗口中目标的判别性外观度量，以度量外观模型中的特征向量和显著度模型之间的相似性，增强了目标实时特征的判别性；

(3)本公开使用深度特征通过核相关滤波算法进行婚姻匹配原理在跟踪中捕获最有可能的检测，帮助生成更加准确的目标关联树轨迹，从而提高算法对跟踪目标数据关联的准确性；

(4)为了解决多目标在发生遮挡、特征突变引起的实时特征失效进而导致的身份跳变、跟踪失败，本公开将多目标跟踪的数据关联问题看成行人再识别的问题，给每一个目标建立一个长期历史特征库，转化为给定检测目标与候选图像库相匹配的问题，一旦发生跟踪失败，检测目标依然可以通过检索库重新找到它所对应的轨迹，有效的利用身份再识别提高跟踪效果，减少ID的跳变。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本申请，并不构成对本公开的不当限定。

图1是实施例一多目标跟踪方法的流程图；

图2(a)、2(b)、2(c)是实施例一MHT跟踪实例图；

图3是实施例一身份再识别方法的流程图；

图4(a)、4(b)、4(c)是实施例一基于Re-ID的MHT跟踪实例图；

图5是实施例一跟踪结果的定性显示图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本公开使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

名词解释：

(1)Re-ID，Re-identification，身份再识别。

(2)KCF，核相关滤波算法。

(3)MHT，Multiple Hypotheses Tracking，多假设跟踪；

(4)WRN，Wide Residual Network，宽度残差网络，是在原始的残差模块的基础上加上了一个系数k，从而拓宽卷积核的个数。

实施例一

为了有效缓解MHT中由于假设分支过多导致的指数增长问题，减少多目标跟踪中的ID跳变问题，解决跟踪失败的恢复问题，提高多目标跟踪算法的精确性，本实施例提供一种基于身份再识别的多线索多假设跟着的多目标跟踪方法。

请参阅附图1，所述基于身份再识别的多线索多假设跟踪的多目标跟踪方法包括以下步骤：

S101，获取前一时刻的多个检测视频序列,采用宽度残差网络提取所有检测视频序列中目标的再识别特征F_reid,建立再识别检索库，并对每个检测视频序列的目标的进行关联，生成可靠的短轨迹，构建轨迹树○。

具体地，获取t-1时刻的多个检测视频序列，t不等于1，对于得到的每一个视频序列进行目标检测时，通常采用例如梯度直方图(HOG)、颜色直方图、局部二值模式(LBP)、卷积特征(CNN)等对跟踪物体进行表观建模，本实施例提取的是卷积特征和颜色直方图，因此，本实施例采用宽度残差网络提取目标的再识别卷积特征，相对于原始的残差网络的运行顺序是先卷积，然后批规范化，最后ReLU函数激活，宽度残差网络变成了批规范化、ReLU函数激活、卷积这种顺序，采用这种方式网络的训练更加得快速而且精确。

通过宽度残差网络提取所有检测视频序列的目标的再识别特征F_reid，并建立再识别检索库G:{g₁,g₂......g_h}，其数量和轨迹树相同，并且保留历史特征信息F_{reid_history}。

为了准确且有效的生成初始的短轨迹，本实施例仅在相邻的两帧视频进行数据关联。

在多假设跟踪算法里，跟踪轨迹就是不断的进行正确的数据关联，将后续的真实的目标关联到相应的轨迹树中，同时删除已经死亡的数据。那么对于初始短轨迹，每一个检测视频序列的两个目标(r_i,r_j)，它们的关联概率采用如下的方式计算：

其中，

表示第i个目标的位置信息，

表示第i个目标的尺度信息，

表示第i个目标的卷积特征，

分别表示位置和尺度信息的方差，||·||代表计算向量的模。当这种关联概率大于一定的阈值时，则将该目标关联到轨迹中。

但是这种关联概率仅仅揭示了检测数据关联的内部的聚类性，而没有考虑到检测数据的判别性。同时为了给后续进行的身份再识别提供准确的检索库，本实施例采用了核相关滤波算法对相邻两帧视频序列的检测目标进行短时的跟踪，来计算检测目标之间的判别性。核相关滤波算法(KCF)作为唯一在处理速度满足高速而在精度上又能跟深度学习抗衡的算法而在跟踪领域独树一帜。

在本实施例中利用核相关滤波算法每秒高达350帧的高速的处理速度对初始的检测目标进行相关滤波的处理为得到最优的初始关联提供数据支撑。根据相关滤波处理后输出的检测目标，本实施例将每一个检测视频序列的某两个目标(r_i,r_j)与其它目标r_k的判别性定义为：

其中，

(·)表示傅里叶变逆变换，

(·)表示傅里叶变换，⊙表示Hadamard点积运算。

因此，如果在这一帧视频序列的目标里如果还存在另外一个目标r_k，只有满足了如下条件，两个目标(r_i,r_j)才能进行关联。

min{|P(r_i,r_j)-P(r_j,r_k)|，|P(r_i,r_j)-P(r_i,r_k)|}＞max{|θ((r_i,r_j),r_k)|,|θ((r_j,r_i),r_k)|} (3)

这里，|·|表示绝对值运算。这种约束则是限制两种目标的相似度与其它任何的检测的相似度相比都大，可以增加检测之间的判别性。如果一个检测没有任何一个关联，这样的检测可能是一个退化的检测，在初始阶段就单独形成一个轨迹，这样随着目标关联的进行，沿着正确方向将所有可能的目标进行正确的关联，形成可靠的短轨迹，短轨迹上有若干个目标形成的节点，每个节点具有再识别特征F_reid，利用多个视频序列形成的多条短轨迹，建立初始轨迹树。同时将此时的短轨迹存储到再识别检索库中形成初始的再识别检索库。

本实施例通过核相关滤波算法对目标特征进行相关滤波处理，在跟踪中捕获最有可能的检测目标，帮助生成更加准确的目标关联短轨迹，从而提高算法对跟踪目标数据关联的准确性。

S102，获取当前时刻的检测视频序列，提取当前时刻的检测视频序列中跟踪目标的再识别特征F_reid。

具体地，获取t时刻的检测视频序列，通过宽度残差网络提取t时刻的检测视频序列中跟踪目标的再识别特征F_reid。

S103，遍历轨迹树中每条短轨迹上的所有子节点，采用度量学习方法计算每个子节点的再识别卷积特征与当前时刻检测视频序列中跟踪目标的再识别特征之间的表观相似度，统计每条短轨迹的表观得分。

多假设跟踪要求两个目标在需要进行数据关联的正确性被确定以前，在初始的短轨迹上尽可能保持多个激活的假设，这个轨迹的继续关联可以通过轨迹中的检测目标与跟踪物体的表观特征的相似度来进行进一步的预测，这样每一个跟踪假设树通过给一个新的目标确定的标签来延伸，同时为了防止漏检，本实施例也单独分裂一个树枝给虚拟的检测。

短轨迹之间的表观相似性，与向量的距离计算息息相关。常规的方式例如欧式距离或者余弦相似度在大量数据的计算上缺乏区分性。而度量学习作为一种可以衡量两个向量距离特性的方法则可以在大量的数据进行，度量学习的目的是通过训练和学习，抑制类内距离，扩大类间距离。多目标跟踪的度量学习就是从数据中学习一个有效衡量两个检测目标相似度的实数值度量。在本实施例中，采用马氏距离作为度量函数，记两个向量的马氏距离为：

M就是需要学习的实值度量。为了得到这个矩阵，根据信息度量学习理论，如果存在相似对集合

和不相似对集合

对矩阵M的求解问题可以看成对如下的优化问题求解：

其中，tr(·)表示求一个矩阵的迹，(·)^T代表矩阵的转置，det(·)是矩阵的行列式，dim是特征空间的维度，γ是权重因子，ξ_ij是一个松弛向量，确保上述的最优问题有解，这个优化问题的求解可以先进行Bregman投影，循环的形成矩阵M的基，然后采用增量拉格朗日多项式乘法的方法求解。

根据每个子节点的再识别特征与当前时刻检测视频序列中目标的再识别特征之间的表观相似度，判断子节点对应的目标与当前时刻视频序列中目标是否属于一个目标，将子节点的再识别特征与当前时刻检测视频序列中目标的再识别特征之间的表观相似度与设定的阈值相比较，若大于设定的阈值，则属于一个目标，输出1，若不属于，则输出零，将输出结果保存到d_z中，z＝{1,2....k}，并且统计并保存每条短轨迹的表观得分到d_app中。

本实施例使用轨迹的时空关系作为约束来度量学习当前时间窗口中检测目标的判别性外观度量，以度量外观模型中的特征向量和显著度模型之间的相似性，增强了目标实时特征的判别性。

S104，采用深度学习方法对当前时刻检测视频序列中跟踪目标进行目标身份再识别，得到每条短轨迹的身份再识别得分。

虽然表观相似度度量能够较好的为检测的数据关联提供有判别性的实时特征，但是多目标跟踪频繁发生的遮挡、特征突变极易引起实时特征失效进而导致跟踪目标的身份(ID)跳变，甚至跟踪失败，如图2(a)、图2(b)和图2(c)所示，9号ID的目标由于重叠，而新检测到的目标的表观与9号ID非常相近，因而与新检测到的目标发生了身份的交换，发生了错误关联，9号ID变成了11号，身份发生了跳变。

因此，本实施例将多目标跟踪问题转化为一个基于深度学习的目标身份再识别问题，将跟踪目标看成从检索库中查找目标真实的身份，从而恢复跟踪目标的原始轨迹，减少目标身份的跳变问题，实现检测数据关联的准确性。

近十年来，深度学习在计算机视觉各个领域取得令人鼓舞的成绩，在例如检测、分类、识别和跟踪任务上都击败了传统的方法。同样在目标的重识别问题上，基于深度学习的方法可以自动学习出复杂的特征描述，端对端的实现行人重识别任务，这使得再识别的任务变得容易起来。

在本实施例中，采用改进的WRN网络作为身份再识别网络，将其输出判别的余弦Softmax分类器置换为随机森林分类器，该改进的WRN网络的结构为两个卷积层紧跟着一个池化层和六个残差层的结构，第十层为稠密层，经过2范数归一化输出的数据为128维，该改进的WRN网络结构如表1。

表1改进的WRN网络结构

随机森林分类器是由一系列相互独立的树状分类器组成的分类器构成。一棵决策树递归分裂样本到左子节点和右子节点，直至样本到达叶子节点。随机森林分类器的每棵树被独立地训练，分裂函数在训练和预测过程起着非常重要的作用。随机森林分类器的最后预测结果由所有相互独立树的概率投票所得，在本实施例中，训练得到一个针对身份再识别特征余弦相似度具有强力识别作用的随机森林分类器。

请参阅附图3，采用深度学习方法对当前时刻检测目标进行目标身份再识别的具体实现过程如下：

(1)从再识别检索库中提取每条短轨迹K个最好的历史特征信息F_{reid_history}以及当前时刻检测视频序列中目标的再识别特征F_reid。

(2)采用改进的WRN网络计算历史特征信息F_{reid_history}和当前时刻检测视频序列中目标的再识别特征F_reid的余弦相似度。

(3)通过随机森林分类器识别出当前时刻检测视频序列中目标是否属于再识别检索库中的已有的目标类别，将余弦相似度与设定的阈值相比较，若大于设定的阈值，若属于再识别检索库中的已有的目标类别，输出1，否则，输出0，并将结果保存到r_z中，z＝{1,2....k}，统计每条短轨迹的身份再识别得分，并保存到d_reid。

在本实施例中，将已经正确关联的目标特征存储到再识别检索库里，由于每一个短轨迹的历史特征有很多个，其中并不是所有的特征都是有判别性的，为了进一步减少跟踪目标的身份跳变，提高再识别检索库中样本的代表性，因此，本实施例选取K个最好的历史特征信息组成最佳匹配检索库，假设检索库里对第i条短轨迹已经存储了n个历史特征信息，记为

那么这K的最有代表性历史特征的选择可以采用如下方式选取：

这里需要指出的是，如果为了方便，也可以直接记录随机森林分类器输出的得分作为选择的标准，并每隔10帧进行一次更新，因为在跟踪过程中，最近的目标的表观信息对跟踪更加有效。如图4(a)、图4(b)和图4(c)所示，经过身份再识别的历史信息的融合，在图2中的发生ID跳变导致的跟踪失败被纠正了，ID为9的人的跟踪轨迹在后续帧中跟踪正确。

为了解决多目标在发生遮挡、特征突变引起的实时特征失效进而导致的身份跳变、跟踪失败，将多目标跟踪的数据关联问题转化为行人再识别的问题，给每一个目标建立一个长期特征库，将给定检测目标与候选图像库相匹配的问题。而检测目标可以通过特征库重新找到它所对应的轨迹，有效的利用身份再识别提高跟踪效果，减少ID的跳变。

S105，遍历轨迹树的每条短轨迹中所有子节点，采用KCF滤波器预测当前时刻检测视频序列中跟踪目标的位置信息，判断其与当前时刻检测视频序列中跟踪目标的实际位置之间的距离，统计每条短轨迹的运动得分。

将短轨迹中每个节点的位置信息和再识别特征F_reid以及当前时刻检测视频序列中目标的再识别特征F_reid输入kcf跟踪器，得到预测的当前时刻检测视频序列中目标的位置信息，若其与当前时刻检测视频序列中目标的实际位置间的距离少于设定的阈值，根据婚配理论，可以判断这个两个目标为一个目标，则输出1，否则输出0，将结果保存到kc_z中，z＝{1,2....k}，统计并保存位置信息的运动得分d_kcf。

S105，将每条短轨迹的表观得分、身份再识别得分和运行得分进行融合，判断当前时刻检测视频序列中跟踪目标是否属于该短轨迹。

上述步骤得到每条短轨迹的表观得分、身份再识别得分，运动目标的运动得分在关联似然计算中也起到了重要的作用。本实施例使用目标假设和零假设之间的对数似然比作为位置相似度，目标假设检测序列来自同一目标，零假设检测序列来自背景。然后第k个短轨迹在时间k的位置相似度定义为：

其中，

表示视频序列位置的测量，

来表示来检测视频序列i_1:k(i₁,i₂...i_k)来自目标假设轨迹l，

表示零假设，本实施例假设状态是条件独立的，因此这个条件概率因素可以分解为：

在目标假设下在时间t进行每个位置测量的可能性被假定为高斯分布，而零假设可能性概率为均匀的，它们满足：

这里

(·)表示正态分布，对于测量

通过卡尔曼滤波器估计平均值

和协方差

假设零假设下的可能性是均匀分布的，其中V表示运动空间的面积。

MHT进行数据关联将可能关联的检测目标放到该节点的子节点下面，那么本实施例将上述步骤得到每条短轨迹的身份再识别得分、度量学习的表观相似度得分以及KCF跟踪的运动得分，都显示为满足关联要求的条件，则认为它关联，并且放到轨迹树里，最后计算出每条短轨迹的分数，最终每条短轨迹多线索的相似性得分由下式求出：

这里

分别表示第l条轨迹的表观相似度得分、运动得分和再识别得分；w_app、w_kcf、w_reid、w_mot为表观相似度得分、运动得分和再识别得分的相应权重。

根据每条短轨迹多线索的相似性得分，判断当前时刻检测视频序列中目标是否属于该短轨迹，即将每条短轨迹多线索的相似性得分与设定的阈值相比较，若大于设定的阈值，则当前时刻检测视频序列中目标属于该短轨迹，则在该短轨迹上建立子节点存放新检测信息，并且使用卡尔曼滤波计算轨迹树的总得分s＝w_appd_app+w_motd_mot+w_reidd_reid+w_kcfd_kcf，更新检索库G。

S106，建立全局假设轨迹树集合。

具体地，对所有的不冲突短轨迹，每个短轨迹与其二进制变量

和轨迹得分

相关联，形成全局假设轨迹树集合。对所有的全局假设轨迹树集合循环建立图，找出最大加权独立集，后续进行N-Scan剪枝的处理，形成最佳轨迹。

假定包含所有目标的所有假设轨迹树集合已经生成，那么需要最终确定对某一个跟踪目标的轨迹的最有可能的组合，这个问题就是对如下问题求解的指派问题：

对每个跟踪目标i_u有一个约束Z，这确保了它被分配给一条轨迹。每个轨迹与其二进制变量约束

和轨迹得分

相关联，因此，方程式中的目标函数(10)表示全局假设中轨迹的总分。

求解目标函数(10)找到最可能的轨迹集的任务可以表述为最大加权独立集(MWIS)问题。如果通过将每个轨迹假设T_l分配给图顶点x_l∈V来构造无向图G＝(V,E)。每个顶点具有对应于其轨迹得分d^l(k)的权重w_l，如果两个轨迹在任何检测处由于共享检测而不能共存，则边(l,j)∈E连接这两个顶点x_l和x_j。一般来讲，一个独立集合是一组没有边缘的顶点构成的。因此，找到最大权重独立集等同于找到一个能够最大化总轨迹得分的兼容轨迹集，也就是求解如下的离散优化问题：

这个MWIS优化问题可以利用文献《A new algorithm for the maximum-weightclique problem.Nordic Journal of Computing》中算法来解决，求解这个问题的难度，由结点数和图密度决定。

轨迹确定后，为了使假设的数目不成指数增长，进行必要的剪枝操作是一个关键步骤，在本实施例中，采用标准的扫描修剪(N-scan)进行轨迹修正，其次如果一条轨迹存储的目标大于一定的阈值，可以采用保留得分最大的几个目标其余的进行轨迹分裂，以保证假设的数目保持在合理的范围。

本实施例还提供对上的基于身份再识别的多线索多假设跟踪的多目标跟踪算法的实验验证。

为了验证本实施例所提出的基于身份再识别的多线索多假设跟踪的多目标跟踪算法的有效性，跟多假设跟踪算法(MHT)，和基于深度特征的多假设跟踪算法(MHTDAM)进行了全面的比较。本实施例中的参数设定可以采用实验测试的方式进行调参。

为了全面地定量评价多目标跟踪数据关联方法，使用多目标跟踪领域最常用的CLEAR MOT评价指标和文献《Evaluating multiple object tracking performance:theclear mot metrics,EURASIP Journal on Image and Video Processing》、《Learningaffinities and dependencies for multi-target tracking using a CRF model》中定义的评价指标。其中涉及的指标有：

Recl(↑):召回率，正确匹配的检测与Ground truth检测的比率。

PRCN(↑):正确率，正确匹配的检测与总结果检测的比率。

MOTA(↑):多目标跟踪准确度，评价轨迹标识分配的整体情况。考虑轨迹漏跟，轨迹错跟，以及标识交换这些跟踪错误的情况，计算所有帧上累积的总的跟踪准确度。

MOTP(↑):多目标跟踪精度，跟踪结果的框与基准结果框相交的面积占整个基准结果框的比例。

FN(↓):漏跟率，累积的未被跟踪的轨迹的数目占总帧数的比率。

FP(↓):误跟率，累积的错误跟踪的轨迹的数目占总帧数的比率。

IDS(↓):身份跳变，跟踪上的轨迹改变其标识的次数。

跟踪结果的定性显示在图5，只列了一组作为可视化显示，从本组的定性跟踪结果图中可以发现本专利的方法更加准确，轨迹稳定，没有发生ID跳变，而其余两种对比方法则出现了ID跳变导致的错误轨迹的生成。

图5是跟踪结果的可视化显示，其中第一行为本专利的跟踪结果，第二行为MHT-DAM的跟踪结果，第三行为MHT跟踪结果。

跟踪结果的定量分析结果如表1所示，通过MOT2015数据集上的结果分析，可以看出本实施例提出的方法的跟踪结果更好也更加鲁棒。与基准方法相比，本章提出的方法在多目标跟踪准确度(MOTA)、多目标跟踪精度(MOTP)、精确率(PRCN)和召回率(Recl)这几项分值更高，漏跟率(FN)、错跟率(FP)、身份跳变(IDS)分值更低，尤其是身份跳变(IDS)有了明显的改进，这些数据对比结果都显示了本实施例提出的基于身份再识别的多线索多假设跟踪的多目标跟踪方法的鲁棒性。

表1跟踪结果的定量分析结果

实施例二

本实施例提供一种基于身份再识别的多目标跟踪系统，该系统包括：

实施例三

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所示的基于身份再识别的多目标跟踪方法中的步骤。

实施例四

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如图1所示的基于身份再识别的多目标跟踪方法中的步骤。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims

1.一种基于身份再识别的多目标跟踪方法，其特征是，该方法包括以下步骤：

2.根据权利要求1所述的基于身份再识别的多目标跟踪方法，其特征是，所述对每个检测视频序列的目标的进行关联，生成短轨迹的步骤包括：

利用每个检测视频序列的目标的位置信息、尺度信息和再识别特征，计算任意两个目标的关联概率以及其中任意一个目标与其他目标的关联概率；

采用核相关滤波跟踪方法对每个检测视频序列的目标进行处理，得到任意两个目标中每个目标与其他目标之间的判别性指标；

当检测视频序列中任意两个目标的关联概率与其中任意一个目标与其他目标的关联概率的差值的绝对值的最小值大于检测视频序列中任意两个目标与其他目标之间的判别性指标的差值的绝对值最大值，则将视频序列中目标关联在轨迹中，生成短轨迹，并存储到再识别检索库中。

3.根据权利要求1所述的基于身份再识别的多目标跟踪方法，其特征是，所述采用度量学习方法计算每个子节点的再识别特征与当前时刻检测视频序列中跟踪目标的再识别特征之间的表观相似度的步骤包括：

从再识别检索库中提取每条短轨迹上的每个子节点的再识别特征以及当前时刻检测视频序列中跟踪目标的再识别特征；

采用增量拉格朗日多项式乘法方法求解度量学习矩阵；

基于度量学习矩阵，利用度量函数计算每个子节点的再识别特征与当前时刻检测视频序列中跟踪目标的再识别特征之间的马氏距离；

当子节点的再识别特征与当前时刻检测视频序列中跟踪目标的再识别特征之间的马氏距离小于设定阈值时，则表明二者表观相似，表观相似度为1，否者，表观相似度为0；

根据每个子节点与当前时刻检测视频序列中跟踪目标的表观相似度，统计每条短轨迹的表观得分。

4.根据权利要求1所述的基于身份再识别的多目标跟踪方法，其特征是，所述采用深度学习方法对当前时刻检测视频序列中跟踪目标进行目标身份再识别的步骤包括：

从再识别检索库中选取每条短轨迹多个最优历史特征信息以及当前时刻检测视频序列中跟踪目标的再识别特征；

采用改进的WRN网络计算每条短轨迹多个历史特征信息与当前时刻检测视频序列中目标的再识别特征的余弦相似度；

根据余弦相似度，利用随机森林分类器识别当前时刻检测视频序列中目标是否属于再识别检索库中已有的目标类别，若属于，则该条短轨迹的身份再识别得分加一。

5.根据权利要求1所述的基于身份再识别的多目标跟踪方法，其特征是，所述预测当前时刻检测视频序列中跟踪目标的位置信息的步骤包括：

将短轨迹中每个节点的位置信息和再识别特征以及当前时刻检测视频序列中跟踪目标的再识别特征输入KCF跟踪器，得到预测的当前时刻检测视频序列中跟踪目标的位置信息；

计算预测的当前时刻检测视频序列中跟踪目标的位置信息与与当前时刻检测视频序列中跟踪目标的实际位置间的距离，若其与当前时刻检测视频序列中跟踪目标的实际位置间的距离小于设定的阈值，则判断这个两个目标为一个目标，该条短轨迹的运动得分加一。

6.根据权利要求1所述的基于身份再识别的多目标跟踪方法，其特征是，所述建立全局假设轨迹树集合的步骤包括：

根据每条短轨迹多线索的总得分，判断当前时刻检测视频序列中跟踪目标是否属于该短轨迹；

若短轨迹多线索的总得分大于设定阈值，则当前时刻检测视频序列中跟踪目标属于该短轨迹，将该短轨迹与其二进制变量和得分相关联；

利用包含所有目标的短轨迹，形成包含所有目标的全局假设轨迹树集合。

7.根据权利要求1所述的基于身份再识别的多目标跟踪方法，其特征是，还包括：

对全局假设轨迹树集合循环建立图，找出最大加权独立集；

采用扫描修剪方法对全局假设轨迹树进行轨迹修正，如果短轨迹存储的目标数量大于设定的阈值，则保留得分最大的多个目标，对其余目标的进行轨迹分裂，形成最佳轨迹。

8.一种基于身份再识别的多目标跟踪系统，其特征是，该系统包括：

多线索得分信息融合模块，用于将每条短轨迹的表观得分、身份再识别得分和运行得分进行融合，得到每条短轨迹多线索的总得分；

9.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于身份再识别的多目标跟踪方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于身份再识别的多目标跟踪方法中的步骤。