CN110276783B - 一种多目标跟踪方法、装置及计算机系统 - Google Patents

Abstract

本发明公开了一种多目标跟踪方法、装置及计算机系统，所述方法包括：对于目标，获得图像序列的每一帧中的检测目标；预测每一个所述检测目标在下一帧的位置，获得预测的跟踪目标信息；计算所述目标预测信息和检测目标之间相似度的度量信息；将计算得到的所述度量信息输入循环深度神经网络(RNN)输出损失函数；得到跟踪目标的预测信息与检测目标结果的损失函数；由最优二分配算法最小化损失函数得到最优的第i个跟踪目标的预测信息和第j个检测目标结果的最优唯一匹配。本发明将传统追踪算法与深度神经网络进行了结合，可以显著降低预测误差。

Description

一种多目标跟踪方法、装置及计算机系统

技术领域

本发明属于计算机视觉智能跟踪技术，特别涉及一种基于运动特征和目标信息的深度网络联合损失函数的多目标跟踪方法。

背景技术

在计算机视觉领域中多目标跟踪(Multi Object Tracking,MOT)技术是一个具有重要意义的研究问题，广泛应用在视觉监控、运动分析、无人驾驶和导航等等领域。多目标跟踪致力于对视频中的全部特定目标进行自动提取，并通过时空关联，得到对应运动轨迹信息。因此，多目标跟踪适合处理包含大量目标的复杂场景，在智慧零售，无人驾驶，智能安防等领域有广泛的应用。与此同时，多目标在场景中的运动往往存在大量相互遮挡和交互的问题，给目标提取及关联带来了大量干扰，多目标跟踪存在巨大挑战。当前，最常用的多目标跟踪使用基于检测的跟踪(tracking-by-detection)结构，在该结构下，多目标轨迹会随着不同时刻的目标检测结果动态的生成和消亡，在人群/车辆的室内和室外流动场景中都有广阔的应用前景。根据不同实际场景和运用需求，可实现在线(online)跟踪和离线(offline)跟踪，二者的差别在于在处理当前帧时，后视频数据帧目标检测结果是否被利用到。在线模型逐帧接收数据帧检测信息，这意味着除了当前帧之外，只能使用来自过去帧的信息。离线模型可以访问整个视频数据帧，这意味着从过去和将来的数据帧都可以使用，因此离线模型可视为一个最优化问题，其目标是找到一组最小化全局损失(Cost)的目标轨迹路径。现有方法主要使用线性规划和K最短路径解决离线最优化问题等。离线跟踪由于可以获得更多信息，可以期待从这些模型中得到更好的性能，但是，当实际场景中实时性要求高时，此时需要使用在线模型，因为未来的数据帧显然无法使用。离线跟踪可获得更高的跟踪准度和精度，同时计算复杂度和时间延迟也随之增加。

在多目标跟踪在线模型中，没有明确的定义达到可实时在线模型的跟踪速度的标准。如果跟踪器能给出的输出速度比输入速度更快，就可以看作实时在线模型。即是说，如果能在一分钟内分析超过60秒的视频，该跟踪器就是实时模型。例如，视频帧以30FPS的速率被捕获，并且以恒定间隔被输入到跟踪器，若跟踪器在1s内达成目标跟踪结果输出，该跟踪即可达到实时在线跟踪的要求。不过由于大部分的跟踪模型无法达到每秒30FPS的速率，这使得输入必须跳过一些视频帧，以达到实时在线跟踪。然而，视频帧速率越低，需要预测的目标对象在输入数据帧之间移动位置就越远。这表明一旦降低帧速率，跟踪将变得更困难，因为预测下一个0.1秒的目标显然比后1秒的目标更容易。在MOTChallenge的排行榜中，最新的在线跟踪算法需要输入低速率帧才能实时运行。因此，应用这些跟踪模型于低帧率实时系统中时，性能也会随之降低。

使用tracking-by-detection的方法时，检测器是独立存在的。如果跟踪器每秒处理的速度比输入的视频帧速率快，可以看作实时在线跟踪。但是，在实际应用中，因为需要同时产生检测结果和进行计算跟踪，所以计算结果必须在两个任务之间共享，以降低系统可以实时操作的帧速率。因此，在设计检测器时，强大的检测器虽然能给出更加精确的检测结果，有助于目标跟踪分析，但同时会在一定程度降低运行速度。使得计算跟踪必须跳过更多的数据帧，也增加了目标跟踪的难度。不幸的是，提交跟踪挑战的算法模型始终考虑分析提高跟踪性能，而很少考虑跟踪器的速度。大部分多目标跟踪技术的研究都使用基于目标检测的运动特征和图像信息进行时空关联跟踪，以获得目标的最终轨迹，同时使用目标检测的深度特征(Feature)以获得更好的性能。但是这些方法由于较高的计算复杂度，用于低帧率在线目标跟踪中性能受限。

为了满足实时跟踪的要求，可以通过目标的运动信息和位置特征跟踪目标，现有文献中提出了基于检测框结果的超高速目标跟踪模型。但是在交通环境下的机动车/非机动车/行人的共同轨迹跟踪下，使用IOU(Intersection-over-Union)的高速跟踪对于小目标跟踪效果并不好。由于目标较小，相关的目标和检测结果之间的IOU<门限(Threshold)，导致跟踪失败。如果仅使用目标检测结果和跟踪目标预测信息之间的距离位置信息(euclidean_distances)，对诸如大型车辆之类的大目标的支持并不好。由于检测框的误差和形变，目标位移大于门限值导致联接失败跟踪中断。本申请提出的基于RNN的位置信息(euclidean_distances)、运动信息(motion,kalman预测)和IOU共同损失函数(costfunction)可以有效缓解大目标和小目标的同时跟踪问题。目前存在的时空特征和图像的深度特征的权值求和损失函数，使用深度神经网络理论上获得更合理的联合特征性能。在保证精度的同时追求应用场景中大目标(车辆)和小目标(行人)的同时跟踪实时性。

发明内容

本发明要解决的技术问题是，针对基于IOU的高速目标跟踪对小目标跟踪效果不佳的问题，通过自适应计算损失函数的方法，提高车辆大目标与行人小目标的共同跟踪性能。

对此，本发明提出一种基于运动特征和目标信息的深度网络联合损失函数的多目标跟踪方法，所述方法包括：

1)、获得图像序列每一帧中的目标检测结果(x₁,y₁,w₁,h₁)，其中(x₁,y₁)表示目标检测框的中心位置坐标，(w₁,h₁)表示目标检测框的宽和高；

2)、预测每一个目标在下一帧的位置，获得目标预测信息(x₂,y₂,w₂,h₂)，即跟踪目标信息，其中(x₂,y₂)表示预测目标检测框的中心位置坐标，(w₂,h₂)表示预测目标检测框的宽和高；

3)、计算所述目标预测信息和目标检测结果之间相似度的度量信息；

4)、将第3)步计算得到的所述度量信息输入循环深度神经网络RNN，并输出特征权重；

5)、根据上述特征权重得到损失函数C_ij，其中i表示预测的第i个目标，j表示检测的第j个目标；

6)、由最优二分配算法最小化损失和函数得到最优的预测目标i的目标预测信息和第j个目标检测结果的最优唯一匹配；

7)、判断所述图像序列是否还存在未处理的图像帧，如果有则返回第1)步，否则结束。

根据本发明的方法，优选的，所述度量信息包括：预测目标的检测框和目标检测框之间的欧式距离，预测目标的检测框和目标检测框之间的交并比IOU，预测目标和检测的目标之间的循环深度神经网络RNN特征的距离。

根据本发明的方法，优选的，所述第4)步中，当前共有T个预测的目标，即跟踪目标，j表示检测的第j个目标，i表示预测的第i个目标，根据RNN的输出特征权重，使得损失和函数L最小：

其中，

其中，Ed_ij表示检测的第j个目标的检测框和第i个预测目标的检测框之间的欧式距离，IOU_ij表示检测的第j个目标的检测框和第i个预测目标的检测框之间的交并比

表示检测的第j个目标和预测的第i个目标之间的速度误差，

表示检测的第j个目标和预测的第i个目标的加速度误差，

表示检测的第j个目标和第i个预测目标的RNN特征误差，

表示检测的第j个目标的姿态关键点和预测的第i个目标的姿态关键点距离，λ_d，λ_iou，λ_v，λ_a，λ_feature，λ_pose分别表示欧式距离、IOU、速度误差、加速度误差、RNN特征误差、关键点距离的权重比例。

根据本发明的方法，优选的，所述第6)步中，由最优二分配算法(Hungarian)最小化损失和函数可找到，所有检测目标j结果中，和预测的目标i最优匹配的检测结果k：

其中，T表示预测的目标个数。

根据本发明的方法，优选的，对每一帧图像使用Kalman运动预测和基于神经网络的最优度量匹配方法，实时获得多个目标的跟踪轨迹线路。

本发明将传统追踪算法与深度神经网络进行了结合，采用Kalman预测与Hungrian目标匹配为基本框架，利用循环神经网络将目标检测的时空特征进行距离测度学习，最小化损失函数，完成最优的目标轨迹追踪。其中损失函数同时考虑了跟踪目标的预测信息与目标检测之间的位置、区域、速度、加速度、视觉特征、运动模式等的差异，可以显著降低预测误差。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是在Online跟踪的处理流程示意图。

具体实施方式

以下结合说明书附图1对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明提出了一种基于运动特征和目标信息的深度网络联合损失函数的多目标跟踪方法，其特征在于，所述方法包括：

1)、获得图像序列每一帧中的目标检测结果(x₁,y₁,w₁,h₁)，其中(x₁,y₁)表示目标检测框的中心位置坐标，(w₁,h₁)表示目标检测框的宽和高；

2)、预测每一个目标在下一帧的位置，获得目标预测信息(x₂,y₂,w₂,h₂)，即跟踪目标信息，其中(x₂,y₂)表示预测目标检测框的中心位置坐标，(w₂,h₂)表示预测目标检测框的宽和高；

3)、计算所述目标预测信息和目标检测结果之间相似度的度量信息；

4)、将第3)步计算得到的所述度量信息输入循环深度神经网络RNN，并输出特征权重；

5)、根据上述特征权重得到损失函数C_ij，其中i表示预测的第i个目标，j表示检测的第j个目标；

6)、由最优二分配算法最小化损失和函数得到最优的预测目标i的目标预测信息和第j个目标检测结果的最优唯一匹配；

7)、判断所述图像序列是否还存在未处理的图像帧，如果有则返回第1)步，否则结束。

具体的，在Online跟踪中，由于图像序列是逐步处理的，因此其也称为序列跟踪。可以根据当前检测状态跟踪目标的视觉和运动状态信息，预测下一时刻的跟踪目标状态信息：

表示预测运动状态，

P_k/k-1表示系统协方差，

表示由k-1时刻预测的k时刻运动状态向量，运动向量包含当前状态的位置和速度信息[d₁，v₁，d₂，v₂]，d₁，v₁分别表示预测的目标在x轴方向上的位置和速度，d₂，v₂分别表示预测的目标在y轴方向上的位置和速度。

表示k-1时刻预测运动状态和k-1时刻目标检测结果的信息融合。

F_k为运动状态转移矩阵，F_k＝[[1，dt，0，0]，[0，1，0，0]，[0，0，1，dt]，[0，0，0，1]]。dt表示单位时间，即速度与位置距离的关系。

Q_k为系统预测误差噪声，由现有技术和实际环境中的跟踪目标的运动决定。由于预测的目标状态

和检测的目标状态Z_k(由目标检测器得到的目标位置状态[d₁，d₂])，都存在系统预测误差Q_k和目标检测误差R_k，Q_k和R_k都是确定噪声矩阵，由现有技术可得到当前目标跟踪场景的最优矩阵。kalman增益K_k由下列公式计算得出，获得当前时刻目标的最优运动状态信息

H_k是目标运动状态与测量位置状态的转移矩阵。H_k＝[[1，0，0，0]，[0，0，1，0]]，即[d₁，v₁，d₂，v₂]到[d₁，d₂]的转移矩阵。

P_k/k-1表示由k-1时刻预测的k时刻协方差矩阵，P_k/k表示由kalman增益K_k更新后得到的k时刻协方差矩阵。

在上述获得预测运动状态与视觉特征的基础上，通过计算目标检测和预测的跟踪目标度量相似度，由最优度量信息可以匹配到目标跟踪物体。通常情况下目标检测和预测的跟踪目标度量相似度可以通过多个特征匹配寻找两者之间的相似度。例如跟踪目标的预测信息和目标检测欧式距离，跟踪目标的预测框和目标检测框之间的交并比(IOU，Intersection-over-Union)，深度神经网络特征的距离(包括欧式距离，余弦距离等)。这些度量特征通过权重叠加求和得到跟踪目标的预测信息和目标检测的最终匹配程度。这些权重可以通过经验提取和调试寻找到某些场景的最优解，但是存在局限性。基于神经网络的深度学习算法是通过标定数据寻找到这些最优权重。由于神经网络优秀泛化能力，通过不同轨迹情况的大量标定数据，可以自适应提取不同场景的最优权重得到最优解。只需要给神经网络输入数据集——包含哪些跟踪目标的预测信息和目标检测对(detection-truth-pair)是一个目标，哪些detection-truth-pair不是一个目标。神经网络经过训练可以自适应提取数据集中的最优匹配度量权重。同时，随着数据集的丰富和多样性增强，训练后神经网络的最优解将拥有更优秀的多场景适应性。

RNN神经网络(Recurrent Neural Network)的输入为预测的目标(即跟踪目标)i和检测目标j的距离度量、IOU、速度度量和深度神经网络特征等。RNN训练数据包括人工标注目标框(ground truth bounding Box)和目标检测框(BBox)。要获得匹配的训练数据，我们逐帧的匹配目标检测框和标注目标框。将ground truth IOU>0.5的所有检测的BBox中得分(score)最高的结果作为训练的正样本label＝1。同时寻找一个IOU<0.5的检测BBox作为训练的负样本label＝0。这样标记出所有ground truth的label训练数据。使用交叉熵损失函数loss，并使用Adam(Adaptive momentum estimation)梯度下降最优化算法。收敛RNN得到ground truth和detection结果之间的最优权重，最后输出为匹配得分0～1。输出得分高，表示该检测结果和跟踪目标之间得匹配程度越高。

在该方法中，使用循环神经网络RNN寻找最优的匹配度量信息，具体如下所示：

特征：[距离,IOU,速度,deep CNN feature]

输入：预测Bbox和检测Bbox

输出：最优特征权重分配

假设当前共有T个跟踪目标，j表示第j个目标检测结果。根据RNN的输出特征权重，目标函数是所有跟踪目标的预测信息与目标检测结果匹配的损失和函数L最小

其中：

第i个跟踪目标的预测信息和第j个目标检测结果之间的特征表示如下：

Ed_ij表示目标之间的欧式距离，IOU_ij表示目标之间的(bbox_i∩bbox_j/bbox_i∪bbox_j)，

表示跟踪目标i的预测速度和检测目标j的速度误差，

表示跟踪目标i的预测速度和检测目标j的加速度误差，

表示跟踪目标i和检测目标j的CNN深度神经网络特征误差，

表示跟踪目标i预测姿态关键点和检测目标j姿态关键点的平均距离。λ_d，λ_iou，λ_v，λ_a，λ_feature，λ_pose分别表示欧式距离、IOU、速度误差、加速度误差、神经网络特征误差、关键点距离的权重比例。

由最优二分配算法(Hungarian)最小化损失函数可找到，所有检测目标结果j中，和跟踪目标i最优匹配的检测结果k

最后，逐帧的使用Kalman运动预测和基于神经网络的最优度量匹配方法，就可以实时的获得多个目标的跟踪轨迹线路，实现场景应用。为了满足实时特性，可以只使用目标运动信息和位置特征跟踪目标，现有技术提出了基于检测框结果IOU的超高速目标跟踪。然而在交通环境下的机动车/非机动车/行人的共同轨迹跟踪下，只使用IOU(Intersection-over-Union)的高速跟踪算法对于小目标的支持并不很好。由于目标较小，相关的目标和检测结果之间的IOU<门限(Threshold)，最后跟踪失败。本发明提出的基于RNN的位置信息(Euclidean_Distances)、运动信息(Motion，Kalman预测)和IOU共同损失函数(CostFunction)可以有效缓解大目标和小目标的同时跟踪问题。RNN网络的输入为跟踪目标的预测信息和检测目标之间欧式距离、速度cost和IOU信息，输出为特征的联合损失函数。使用深度神经网计算时空特征和图像的深度特征的联合权值可以取得更合理的特征性能，在保证精度的同时追求应用场景中大目标(车辆)和小目标(行人)的同时跟踪实时性。

实施例一

使用我们的跟踪模型在实际交通场景中的测试结果(其中一帧)，机动车和非机动车各自的轨迹线由不同颜色轨迹描绘出。视频的输入数据帧为30FPS，从交通视频中逐帧检测机动车与非机动车，经过RNN网络计算目标之间的损失函数，时空联接输出最后的目标轨迹。跟踪模块更新步骤如下：

1、使用检测器检测每一帧的目标(x₁,y₁,w₁,h₁)；

2、预测predict每一个目标的下一帧的(x₂,y₂,w₂,h₂)；

3、计算跟踪目标的预测信息和检测目标结果之间的欧式距离、IOU、和速度误差度量；

4、将第3步计算的度量信息输入RNN神经网络输出最后的损失函数cost；

5、得到损失函数C_ij，其中i表示第i个跟踪目标的预测信息，j表示第j个检测目标结果；

6、最优二分配算法(Hungarian)得到最优的跟踪和检测目标匹配；

7、下一帧回到step1。

若干公开多目标跟踪benchmark用于评估跟踪模型，其中较常见的是MOTChallenge。MOTChallenge是一个评价多目标跟踪模型算法性能的一个benchmark平台，提供了MOT15、MOT16、MOT17的测试数据集。数据集提供多个视频序列不同检测器下标记行人的检测框，这些视频序列来自于多个数据源，它们的分辨率、帧率和照明各不相同。测试的目标是使这些检测尽可能精确地跟踪，使用多个跟踪算法在benchmark平台上比较提交，并且提供一种工具来计算所有跟踪结果度量。每个目标有一个唯一trackingID，其中一帧的跟踪结果如下所示：

使用本发明提出的跟踪方法的MOTChallenge17-benchmark的结果下

使用IOU的超高速离线跟踪方法的MOTbechmark结果如下

MOTA是多目标跟踪的主要指标，从MOT17benchmark行人多目标跟踪的结果中看到，根据实施例一的结果，跟踪器可以保证大目标和小目标的同时跟踪性能。

在这种追踪算法我们添加使用行人重识别特征(ReID feature)后，可有效提高长时间追踪(LongTerm Tracking)，最后综合MOTA＝51.6％。

本发明提出的基于RNN的位置信息(Euclidean_Distances)、运动信息(Motion，Kalman预测)和IOU共同损失函数(Cost Function)可以有效缓解大目标和小目标的同时跟踪问题。RNN网络的输入为跟踪目标的预测信息和检测目标之间欧式距离、速度cost和IOU信息，输出为特征的联合损失函数。使用深度神经网计算时空特征和图像的深度特征的联合权值可以取得更合理的特征性能，在保证精度的同时追求应用场景中大目标(车辆)和小目标(行人)的同时跟踪实时性。

同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施方式仅用以说明本发明实施例的技术方案而非限制，尽管参照以上较佳实施方式对本发明实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。

对于本领域技术人员而言，显然本发明实施例不限于上述示范性实施例的细节，而且在不背离本发明实施例的精神或基本特征的情况下，能够以其他的具体形式实现本发明实施例。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明实施例的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施方式仅用以说明本发明实施例的技术方案而非限制，尽管参照以上较佳实施方式对本发明实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。

Claims (5)

1.一种基于运动特征和目标信息的深度网络联合损失函数的多目标跟踪方法，其特征在于，所述方法包括：

1)、获得图像序列每一帧中的目标检测结果(x₁，y₁，w₁，h₁)，其中(x₁，y₁)表示目标检测框的中心位置坐标，(w₁，h₁)表示目标检测框的宽和高；

2)、预测每一个目标在下一帧的位置，获得目标预测信息(x₂，y₂，w₂，h₂)，即跟踪目标信息，其中(x₂，y₂)表示预测目标检测框的中心位置坐标，(w₂，h₂)表示预测目标检测框的宽和高；

3)、计算所述目标预测信息和目标检测结果之间相似度的度量信息；

4)、将第3)步计算得到的所述度量信息输入循环深度神经网络RNN，并输出特征权重；

5)、根据上述特征权重得到损失函数C_ij，其中i表示预测的第i个目标，j表示检测的第j个目标；

6)、由最优二分配算法最小化损失和函数得到最优的预测目标i的目标预测信息和第j个目标检测结果的最优唯一匹配；

7)、判断所述图像序列是否还存在未处理的图像帧，如果有则返回第1)步，否则结束；

所述第4)步中，当前共有T个预测的目标，即跟踪目标，j表示检测的第j个目标，i表示预测的第i个目标，根据RNN的输出特征权重，使得损失和函数L最小：

其中，

其中，Ed_ij表示检测的第j个目标的检测框和第i个预测目标的检测框之间的欧式距离，IOU_ij表示检测的第j个目标的检测框和第i个预测目标的检测框之间的交并比，

表示检测的第j个目标和预测的第i个目标之间的速度误差，

表示检测的第j个目标和预测的第i个目标的加速度误差，

表示检测的第j个目标和第i个预测目标的RNN特征误差，

表示检测的第j个目标的姿态关键点和预测的第i个目标的姿态关键点距离，λ_d，λ_iou，λ_v，λ_a，λ_feature，λ_pose分别表示欧式距离、IOU、速度误差、加速度误差、RNN特征误差、关键点距离的权重比例；

所述第6)步中，由最优二分配算法(Hungarian)最小化损失和函数可找到，所有检测目标j结果中，和预测的目标i最优匹配的检测结果k：

其中，T表示预测的目标个数。

2.根据权利要求1所述的方法，其特征在于，所述度量信息包括：预测目标的检测框和目标检测框之间的欧式距离，预测目标的检测框和目标检测框之间的交并比IOU，预测目标和检测的目标之间的循环深度神经网络RNN特征的距离。

3.根据权利要求1所述的方法，其特征在于，对每一帧图像使用Kalman运动预测和基于神经网络的最优度量匹配方法，实时获得多个目标的跟踪轨迹线路。

4.一种计算机系统，该系统包括存储器和处理器，所述存储器存储有计算机程序指令，该处理器通过执行所述存储器上的计算机程序指令，实现如权利要求1-3之一所述的方法。

5.一种基于运动特征和目标信息的深度网络联合损失函数的多目标跟踪装置，其特征在于，所述装置包括：

目标检测装置，获得图像序列每一帧中的目标检测结果(x₁，y₁，w₁，h₁)，其中(x₁，y₁)表示目标检测框的中心位置坐标，(w₁，h₁)表示目标检测框的宽和高；

目标预测装置，预测每一个目标在下一帧的位置，获得目标预测信息(x₂，y₂，w₂，h₂)，即跟踪目标信息，其中(x₂，y₂)表示预测目标检测框的中心位置坐标，(w₂，h₂)表示预测目标检测框的宽和高；

相似度计算装置，计算所述目标预测信息和目标检测结果之间相似度的度量信息；

特征权重计算装置，将计算得到的所述度量信息输入循环深度神经网络RNN，并输出特征权重；

损失函数计算装置，根据上述特征权重得到损失函数C_ij，其中i表示预测的第i个目标，j表示检测的第j个目标；

最优唯一匹配确定装置，由最优二分配算法最小化损失和函数得到最优的预测目标i的目标预测信息和第j个目标检测结果的最优唯一匹配；

特征权重计算装置包括损失函数计算子模块，所述损失函数计算子模块用于当前共有T个预测的目标，即跟踪目标，j表示检测的第j个目标，i表示预测的第i个目标，根据RNN的输出特征权重，使得损失和函数L最小：

其中，

其中，Ed_ij表示检测的第j个目标的检测框和第i个预测目标的检测框之间的欧式距离，IOU_ij表示检测的第j个目标的检测框和第i个预测目标的检测框之间的交并比，

表示检测的第j个目标和预测的第i个目标之间的速度误差，

表示检测的第j个目标和预测的第i个目标的加速度误差，

表示检测的第j个目标和第i个预测目标的RNN特征误差，

表示检测的第j个目标的姿态关键点和预测的第i个目标的姿态关键点距离，λ_d，λ_iou，λ_v，λ_a，λ_feature，λ_pose分别表示欧式距离、IOU、速度误差、加速度误差、RNN特征误差、关键点距离的权重比例；

所述最优唯一匹配确定装置还包括预测子模块，所述预测子模块用于由最优二分配算法(Hungarian)最小化损失和函数可找到，所有检测目标j结果中，和

预测的目标i最优匹配的检测结果k：

其中，T表示预测的目标个数。

Images