CN111862153B - 一种面向行人的长时间多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种面向行人的长时间多目标跟踪方法，属于多目标跟踪算法领域，具体涉及行人长时间跟踪算法技术领域，以解决如何对长时间遮挡的目标实现正确的目标关联，包括如下步骤：数据预处理、目标检测以及目标跟踪，其中，目标跟踪包括特征提取、特征度量、目标关联、轨迹核查以及轨迹更新。通过数据预处理，实现了原始数据的接收以及图像的处理，之后通过目标检测，获得当前接收图像所涉及的行人信息，在通过目标跟踪，对连续图像序列涉及到的行人，实现目标关联，从而产生跟踪轨迹，该算法在考虑多种复杂情况下，通过二次比对的方式实现对长期遮挡目标的正确关联，提高了算法的鲁棒性，同时提高了目标关联的准确率。

Description

一种面向行人的长时间多目标跟踪方法

技术领域

一种面向行人的长时间多目标跟踪方法，本发明属于多目标跟踪算法领域，具体涉及行人长时间跟踪算法技术领域。

背景技术

多目标跟踪主要是针对连续的图像序列，根据目标检测算法得到图像中存在的目标，接着调用目标跟踪算法对连续图像中运动的目标进行正确的关联。多目标跟踪算法主要是采用基于检测的多目标跟踪的技术路线。多目标跟踪算法中的目标跟踪部分主要含有外观模型与运动模型，外观模型主要是对检测算法得到的目标进行外观特征提取，运动模型主要是捕获目标的运动行为，学习目标运动的方式，从而预估目标在后续帧中的位置信息。

传统的多目标跟踪算法是根据单一特征在连续图像中实现多目标之间的关联。然后如果仅考虑外观特征，可能出现相似外观的目标进行关联的现象；如果仅考虑运动特征，可能出现跟踪目标漂移的现象。因此在复杂的环境中采用传统的多目标跟踪算法会造成算法性能下降。由于跟踪的场景具有复杂性，会出现目标长时间遮挡的现象，如何在复杂环境中对长期遮挡的目标实现正确关联极其重要。

发明内容

本发明的目的在于：提供一种面向行人的长时间多目标跟踪方法，以解决如何对长时间遮挡的目标实现正确的目标关联。

本发明采用的技术方案如下：

一种面向行人的长时间多目标跟踪方法，其特征在于，包括如下步骤：

步骤1、接收远程监控的视频数据，进行数据预处理，将处理好后的图像image得存放在缓存buffer中，得到视频数据date；

步骤2、读取视频数据date，对读取的图像进行目标检测，得到图像所涉及的所有行人的位置信息，将检测的结果存储到txt文件中；

步骤3、对txt文件中记录的行人的位置信息进行目标跟踪处理，提取外观特征；

步骤4、用LSTM网络对已存在轨迹集合中的轨迹提取运动特征；

步骤5、对外观特征和运动特征进行特征度量；

步骤6、根据度量结果，采用匈牙利算法进行目标关联，生成如下轨迹情况，情况b，图像帧中出现新的目标，将其初始化为暂定轨迹，把该条轨迹添加到新增已确认轨迹集合add_ct；情况c，暂定轨迹集合tentative_t中出现状态转换为已确认轨迹，即暂定轨迹存在连续3帧能够关联到目标对象，把该条轨迹添加到新增已确认轨迹集合add_ct；

步骤7、对步骤6生成的轨迹进行核查；

步骤8、根据步骤6和步骤7的结果对轨迹更新，更新结束后，返回步骤2，接着对后续视频帧进行多目标跟踪，直到没有接收到监控视频数据。

优选的，步骤1中，使用Socket实现系统与远程摄像头连接，接收远程监控的视频数据，数据预处理具体为：每间隔5帧图像，本地系统接收1帧图像，将该图像调整成224×224。

优选的，读取buffer中的视频数据date，对读取的图像使用YOLOv3算法实现目标检测，得到当前图像所涉及所有行人的位置信息，即＜id，＜x，y，w，h＞＞，其中＜x，y，w，h＞为行人检测框左上角的坐标，将检测的结果存储在txt文件中。

优选的，针对完成检测功能的图像进行目标跟踪处理，根据txt文件记录行人在图像中左上角的坐标，对该图像进行剪裁，得到单一的行人图像，存储于目标集合O中，接着遍历目标集合O中的行人目标，并且使用VGG16网络对该遍历的目标提取外观特征，得到维度为1×128的外观特征向量，把所有目标的外观特征存储到目标外观特征集合，即F_det＝{f_det1，f_det2，...，f_detn}。

优选的，步骤4中，已存在的轨迹集合包括已确认轨迹、暂定轨迹、暂时删除暂定轨迹、暂时删除已确认轨迹，永久删除轨迹，当有新增目标出现时，此时将该目标初始为暂定轨迹，若不能连续关联到目标，则转换为暂时删除暂定轨迹，当暂时删除暂定轨迹在一段时间内关联到目标，则将状态转换为暂定轨迹；当暂定轨迹连续3帧能关联到对象，轨迹状态转换为已确认轨迹，若超过15帧未关联到对象，将轨迹状态转换为暂时删除已确认轨迹，当暂时删除已确认轨迹在一段时间内关联到目标，则将状态转换为已确认轨迹；当暂定删除的轨迹超过10帧未能关联到目标，表明目标永久消失，则转换为永久删除轨迹。对已确认轨迹集合confirm_t＝{ct₁，ct₂，...，ct_n}以及暂定轨迹集合tentative_t＝{tt₁，tt₂，...，tt_n}提取运动特征，把集合中的每条轨迹的后续16个坐标点作为LSTM网络的输入，从而得到每条轨迹对当前时刻的坐标预估值＜x′，y′，w′，h′＞，即行人左上角坐标。

优选的，根据F_det＝{f_det1，f_det2，...，f_detn}与坐标预估值＜x′，y′，w′，h′＞，进行如下操作，首先根据F_det，对当前帧中的行人外观特征与轨迹外观特征进行比较，比较方法如公式(2)所示，由于轨迹含有外观特征f₁这一属性，轨迹外观特征的获取则可直接读取该属性值，将轨迹外观特征与F_det中记录当前目标的外观特征通过公式(2)进行比较。

其中，f₁为轨迹的外观特征，f_det为目标外观特征。

当d₁值大于等于0.5时，表明两者的外观相似，当前目标可能为当前轨迹跟踪的对象，则继续进行后续操作，反之，将该值丢弃，不对两者进行后续操作。

根据满足外观特征度量结果条件得到轨迹目标对，即＜track，object＞，接着对其进行运动特征度量，根据轨迹track的坐标预估值

(即坐标预估值＜x′，y′，w′，h′＞)，与object的位置信息进行比较，其中，每个目标的坐标信息记录在f_det中的后4列中，比较方式如公式(3)所示：

其中，

为预测位置的面积，

为实际目标位置的面积。

当d₂值大于等于0.5时，表明预测位置与对比目标的位置接近，当前目标可能为当前轨迹跟踪的对象，则继续进行后续操作，反之，将该值丢弃，不对两者进行后续操作。

根据上述对未满足条件的轨迹目标对筛选，接着把满足条件的轨迹目标对＜track，object＞所对应的外观特征度量值以及运动特征度量值代入公式(1)中，得到轨迹目标对最终的度量值d，公式(1)如下所示，

d＝λ·d₁+(1-λ)·d₂ (1)

其中，d₁为外观特征度量结果，d₂为运动特征度量结果，λ为权重。

优选的，将最终的度量值d存入矩阵cost中，将该矩阵输入到匈牙利算法得到最终目标匹配对＜track，object＞，匈牙利算法过程：先矩阵中每行减去当前行的最小值，接着判断矩阵的每行中0是否出现在矩阵的不同行不同列中，若为真，则结束算法，然后，在行和列中交替进行对含有0的行和列上打勾，对没有打勾的行与打有勾的列上画线接着在矩阵中剩下元素中找出最小值，对已画线的行中元素减去最小值和列中元素加上最小值，不停迭代循环。

优选的，步骤6还生成如下轨迹情况，情况a，已有的轨迹集中的轨迹在当前图像中找到可关联的目标，并且轨迹状态没有发生变化；情况d，暂定删除轨迹集中的轨迹超过24帧未能关联到目标，此时轨迹状态变为永久删除轨迹，后续操作不再对这类轨迹进行操作。

优选的，针对出现情况b新增暂定轨迹集合add_tt＝{addtt₁，addtt₂，...，addtt_n}中每条轨迹与暂时删除暂定轨迹集合d_tt＝{dtt₁，dtt₂，...，dtt_n}进行核查，对该情况的轨迹对<addtt_j，dtt_i＞核查时，使用公式(2)得到的d₁值进行外观特征比较，由于暂时删除暂定轨迹与新增暂定轨迹相隔时间间距大于等于15帧，此时比较的过程还需要参考轨迹可信基数θ，两条轨迹相隔距离越大，说明可行度越低，θ的计算如公式(4)所示，最终轨迹应该满足的核查条件如公式(5)所示，

d_f＝θ+d₁≥check_γ (5)

其中，θ为轨迹可信基数，length为当前轨迹的长度，check_γ为阈值，d₁为公式2得到的结果；

根据公式(5)得出的df值，判断是否大于等于check_γ，check_γ取值为1.6，若满足则说明两条轨迹为跟踪同一目标的轨迹；

针对出现情况c新增已确认轨迹集合add_ct＝{addct₁，addct₂，...，addct_n}中的每条轨迹与暂时删除确认轨迹集合d_ct＝{dct₁，dct₂，...，dct_n}中的每一条轨迹进行核查，首先把轨迹对<addct_j，dct_i＞的外观特征通过公式(2)进行度量，若d₁值大于等于0.7，则接着对暂时删除确认轨迹dct_i主要通过LSTM网络生成与addct_j轨迹时间相对应的预测轨迹，然后把预测轨迹上的预估点与addct_j轨迹上的时间相对应的轨迹点，通过公式(3)对运动特征进行度量，每对轨迹点度量结果为t_i，所有相应两点的度量结果如公式(6)所示，整体比较的过程中依然需要参考轨迹可信基数θ，θ的计算如公式(4)所示，最终轨迹应该满足的核查条件如公式(7)所示，

d_m＝θ+t_total≥check_ε (7)

其中，t_total为轨迹度量结果，ti为轨迹点度量值，θ为轨迹可信基数，check_ε为阈值，

根据公式(7)得出的df值，判断是否大于等于check_ε，check_ε取值为1.7，若满足则说明两条轨迹为跟踪同一目标的轨迹。

优选的，对已确认轨迹集合confirm_t＝{ct₁，ct₂，...，ct_n}、暂定轨迹集合tentative_t＝{tt₁，tt₂，...，tt_n}、暂时删除暂定轨迹集合d_tt＝{dtt₁，dtt₂，...，dtt_n}、暂时删除确认轨迹集合d_ct＝{dct₁，dct₂，...，dct_n}以及永久删除轨迹集合d_ft＝{dft₁，dft₂，...，dft_n}进行更新，更新结束后，返回步骤2，接着对后续视频帧进行多目标跟踪，直到没有接收到监控视频数据。

本申请中，算法也可用于跟踪别的运动物体，比如针对车辆的跟踪。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明中，通过数据预处理，实现了原始数据的接收以及图像的处理，之后通过目标检测，获得当前接收图像所涉及的行人信息，在通过目标跟踪，对连续图像序列涉及到的行人，实现目标关联，从而产生跟踪轨迹，该算法在考虑多种复杂情况下，通过二次比对的方式实现对长期遮挡目标的正确关联，提高了算法的鲁棒性，同时提高了目标关联的准确率；

2、本发明中，通过对外观特征度量结果与运动特征度量结果，进行整体特征度量，为了对遮挡目标实现长时间关联，对情况b当前图像帧中出现新的目标，将其初始化为暂定轨迹，把该条轨迹添加到新增暂定轨迹集合add_tt；情况c暂定轨迹集合tentative_t中出现状态转换为已确认轨迹，即暂定轨迹存在连续3帧能够关联到目标对象，把该条轨迹添加到新增已确认轨迹集合add_ct，分别进行了核查，使对同一目标的轨迹跟踪更为准确，且易于实现；

3、本发发明的算法实现了模块化，可以结合不同的检测与跟踪算法，便于工程使用。

4、本申请的算法也可用于跟踪别的运动物体，比如针对车辆的跟踪，具有较好的扩展性。

附图说明

图1为本发明一种面向行人的长时间多目标跟踪方法的流程图；

图2为本发明轨迹状态的转换图；

图3为本发明轨迹核查的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

如图1，一种面向行人的长时间多目标跟踪方法，包括如下步骤：

步骤1、使用Socket实现系统与远程摄像头连接，接收远程监控的视频数据，数据预处理具体为：每间隔5帧图像，本地系统接收1帧图像，将该图像调整成224×224，将处理好后的图像image得存放在缓存buffer中，得到视频数据date；

步骤2、读取bufier中的视频数据date，对读取的图像使用YOLOv3算法实现目标检测，得到当前图像所涉及所有行人的位置信息，即＜id，＜x，y，w，h＞＞，其中＜x，y，w，h＞为行人检测框左上角的坐标，将检测的结果存储在txt文件中；

步骤3、针对完成检测功能的图像进行目标跟踪处理；

根据txt文件记录行人在图像中左上角的坐标，对该图像进行剪裁，得到单一的行人图像，存储于目标集合O中，接着遍历目标集合O中的行人目标，并且使用VGG16网络对该遍历的目标提取外观特征，得到维度为1×128的外观特征向量，把所有目标的外观特征存储到目标外观特征集合，即F_det＝{f_det1，f_det2，...，f_detn}。

图2展示了轨迹状态转换过程，跟踪目标产生的轨迹拥有5个状态：已确认轨迹、暂定轨迹、暂时删除暂定轨迹、暂时删除已确认轨迹，永久删除轨迹。当有新增目标出现时，此时将该目标初始为暂定轨迹，若不能连续关联到目标(连续3帧未关联)，则转换为暂时删除暂定轨迹，当暂时删除暂定轨迹在10帧以内关联到目标，则将状态转换为暂定轨迹；当暂定轨迹连续3帧能关联到对象，轨迹状态转换为已确认轨迹，若超过15帧未关联到对象，将轨迹状态转换为暂时删除已确认轨迹，当暂时删除已确认轨迹在10帧以内关联到目标，则将状态转换为已确认轨迹；当暂时删除暂定轨迹超过10帧未能关联到目标，表明目标永久消失，则转换为永久删除轨迹；当暂时删除已确定轨迹超过10帧未能关联到目标，表明目标永久消失，则转换为永久删除轨迹。

步骤4、对已确认轨迹集合confirm_t＝{ct₁，ct₂，...，ct_n}以及暂定轨迹集合tentative_t＝{tt₁，tt₂，...，tt_n}提取运动特征，把集合中的每条轨迹的后续16个坐标点作为LSTM网络的输入，从而得到每条轨迹对当前时刻的坐标预估值＜x′，y′，w′，h′＞，即行人左上角坐标。

步骤5、根据步骤3的结果F_det＝{f_det1，f_det2，...，f_detn}与步骤4的坐标预估值＜x′，y′，w′，h′＞，进行如下操作，首先根据F_det，对当前帧中的行人外观特征与轨迹外观特征进行比较，比较方法如公式(2)所示，由于轨迹含有外观特征f₁这一属性，轨迹外观特征的获取则可直接读取该属性值，将轨迹外观特征与F_det中记录当前目标的外观特征通过公式(2)进行比较。

其中，f₁为轨迹的外观特征，f_det为目标外观特征。

当d₁值大于等于0.5时，表明两者的外观相似，当前目标可能为当前轨迹跟踪的对象，则继续进行后续操作，反之，将该值丢弃，不对两者进行后续操作。

根据满足外观特征度量结果条件得到轨迹目标对，即＜track，object＞，接着对其进行运动特征度量，根据轨迹track的坐标预估值

(即坐标预估值＜x′，y′，w′，h′＞)，与object的位置信息进行比较，其中，每个目标的坐标信息记录在f_det中的后4列中，比较方式如公式(3)所示：

其中，

为预测位置的面积，

为实际目标位置的面积。

当d₂值大于等于0.5时，表明预测位置与对比目标的位置接近，当前目标可能为当前轨迹跟踪的对象，则继续进行后续操作，反之，将该值丢弃，不对两者进行后续操作。

根据上述对未满足条件的轨迹目标对筛选，接着把满足条件的轨迹目标对＜track，object＞所对应的外观特征度量值以及运动特征度量值代入公式(1)中，得到轨迹目标对最终的度量值d，公式(1)如下所示，

d＝λ·d₁+(1-λ)·d₂ (1)

其中，d₁为外观特征度量结果，d₂为运动特征度量结果，λ为权重。

步骤6、把步骤5得到的轨迹目标对＜track，object＞对应的度量结果d存入矩阵cost中，将该矩阵输入到匈牙利算法得到最终目标匹配对＜track，object＞。匈牙利算法过程：先矩阵中每行减去当前行的最小值，接着判断矩阵的每行中0是否出现在矩阵的不同行不同列中，若为真，则结束算法，然后，在行和列中交替进行对含有0的行和列上打勾，对没有打勾的行与打有勾的列上画线接着在矩阵中剩下元素中找出最小值，对已画线的行中元素减去最小值和列中元素加上最小值，不停迭代循环。

步骤7、步骤6结束之后，则出现以下4种轨迹情况：

情况a，已有的轨迹集中的轨迹在当前图像中找到可关联的目标，并且轨迹状态没有发生变化；

情况b，图像帧中出现新的目标，将其初始化为暂定轨迹，把该条轨迹添加到新增已确认轨迹集合add_ct；

情况c，暂定轨迹集合tentative_t中出现状态转换为已确认轨迹，即暂定轨迹存在连续3帧能够关联到目标对象，把该条轨迹添加到新增已确认轨迹集合add_ct；

情况d，暂定删除轨迹集中的轨迹超过24帧未能关联到目标，此时轨迹状态变为永久删除轨迹，后续操作不再对这类轨迹进行操作。

图3展示了轨迹核查部分的运行流程，以下对该部分进行详细讲述。

为了对遮挡目标实现长时间关联，本发明采用如下步骤：

以下针对出现情况b与情况c的轨迹进行核查：

针对出现情况b新增暂定轨迹集合add_tt＝{addtt₁，addtt₂，...，addtt_n}中每条轨迹与暂时删除暂定轨迹集合d-tt＝{dtt₁，dtt₂，...，dtt_n}进行核查，对该情况的轨迹对<addtt_j，dtt_i＞核查时，使用公式(2)得到的d₁值进行外观特征比较，由于暂时删除暂定轨迹与新增暂定轨迹相隔时间间距大于等于15帧，此时比较的过程还需要参考轨迹可信基数θ，两条轨迹相隔距离越大，说明可行度越低，θ的计算如公式(4)所示，最终轨迹应该满足的核查条件如公式(5)所示，

d_f＝θ+d₁≥check_γ (5)

其中，θ为轨迹可信基数，length为当前轨迹的长度，check_γ为阈值，d₁为公式2得到的结果；

根据公式(5)得出的d_f值，判断是否大于等于check_γ，check_γ取值为1.6，若满足则说明两条轨迹为跟踪同一目标的轨迹；

针对出现情况c新增已确认轨迹集合add_ct＝{addct₁，addct₂，...，addct_n}中的每条轨迹与暂时删除确认轨迹集合d_ct＝{dct₁，dct₂，...，dct_n}中的每一条轨迹进行核查，首先把轨迹对<addct_j，dct_i＞的外观特征通过公式(2)进行度量，若d₁值大于等于0.7，则接着对暂时删除确认轨迹dct_i主要通过LSTM网络生成与addct_j轨迹时间相对应的预测轨迹，然后把预测轨迹上的预估点与addct_j轨迹上的时间相对应的轨迹点，通过公式(3)对运动特征进行度量，每对轨迹点度量结果为t_i，所有相应两点的度量结果如公式(6)所示，整体比较的过程中依然需要参考轨迹可信基数θ，θ的计算如公式(4)所示，最终轨迹应该满足的核查条件如公式(7)所示，

d_m＝θ+t_total≥check_ε (7)

其中，t_total为轨迹度量结果，t_i为轨迹点度量值，θ为轨迹可信基数，check_ε为阈值，

根据公式(7)得出的df值，判断是否大于等于check_ε，check_ε取值为1.7，若满足则说明两条轨迹为跟踪同一目标的轨迹。

步骤8、执行到该步骤，说明当前图像帧的行人目标与轨迹已经关联结束，此时对已确认轨迹集合confirm_t＝{ct₁，ct₂，...，ct_n}、暂定轨迹集合tentative_t＝{tt₁，tt₂，...，tt_n}、暂时删除暂定轨迹集合d_tt＝{dtt₁，dtt₂，...，dtt_n}、暂时删除确认轨迹集合d_ct＝{dct₁，dct₂，...，dct_n}以及永久删除轨迹集合d_ft＝{dft₁，dft₂，...，dft_n}进行更新，更新结束后，返回步骤2，接着对后续视频帧进行多目标跟踪，直到没有接收到监控视频数据。

图1中原始数据是远程监控的视频数据；

图3中Y是；N否。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种面向行人的长时间多目标跟踪方法，其特征在于，包括如下步骤：

步骤1、接收远程监控的视频数据，进行数据预处理，将处理好后的图像image存放在缓存buffer中，得到视频数据date；

步骤2、读取视频数据date，对读取的图像进行目标检测，得到图像所涉及的所有行人的位置信息，将检测的结果存储到txt文件中；

步骤3、对txt文件中记录的行人的位置信息进行目标跟踪处理，提取外观特征，根据txt文件记录行人在图像中左上角的坐标，对该图像进行剪裁，得到单一的行人图像，存储于目标集合O中，接着遍历目标集合O中的行人目标，并且使用VGG16网络对该遍历的目标提取外观特征，得到维度为1×128的外观特征向量，把所有目标的外观特征存储到目标外观特征集合，即F_det＝{f_det1,f_det2,…,f_detn}；

步骤4、用LSTM网络对已存在轨迹集合中的轨迹提取运动特征，已存在的轨迹集合包括已确认轨迹、暂定轨迹、暂时删除暂定轨迹、暂时删除已确认轨迹，永久删除轨迹，对已确认轨迹集合confirm_t＝{ct₁,ct₂,…,ct_n}以及暂定轨迹集合tentative_t＝{tt₁,tt₂,…,tt_n}提取运动特征，把集合中的每条轨迹的后续16个坐标点作为LSTM网络的输入，从而得到每条轨迹对当前时刻的坐标预估值<x′,y′,w′,h′＞；

步骤5、对外观特征和运动特征进行特征度量，根据F_det＝{f_det1,f_det2,…,f_detn}，由于轨迹含有外观特征f₁这一属性，轨迹外观特征的获取是直接读取该属性的值，将轨迹外观特征与F_det中记录当前目标的外观特征通过公式(2)进行比较；

其中，f₁为轨迹外观特征，f_det为目标外观特征，当d₁值大于等于0.5时，表明两者的外观相似，则继续进行后续操作，反之，将该值丢弃，不对两者进行后续操作，根据满足外观特征度量结果条件得到轨迹目标对，即<track,object＞，接着对其进行运动特征度量，根据轨迹track的坐标预估值

即坐标预估值<x′,y′,w′,h′＞与object的位置信息进行比较，其中，每个目标的坐标信息记录在f_det中的后4列中，比较方式如公式(3)所示：

其中，

为预测位置的面积，

为实际目标位置的面积；

当d₂值大于等于0.5时，表明预测位置与对比目标的位置接近，则继续进行后续操作，反之，将该值丢弃，不对两者进行后续操作，把满足条件的轨迹目标对<track,object＞所对应的外观特征度量值以及运动特征度量值代入公式(1)中，得到轨迹目标对最终的度量值d，公式(1)如下所示，

d＝λ·d₁+(1-λ)·d₂ (1)

其中，d₁为外观特征度量结果，d₂为运动特征度量结果，λ为权重；

步骤6、根据度量结果，采用匈牙利算法进行目标关联，生成如下轨迹情况，情况b，图像帧中出现新的目标，将其初始化为暂定轨迹，把该条轨迹添加到新增已确认轨迹集合add_ct；情况c，暂定轨迹集合tentative_t中出现状态转换为已确认轨迹，即暂定轨迹存在连续3帧能够关联到目标对象，把该条轨迹添加到新增已确认轨迹集合add_ct，针对出现情况b新增暂定轨迹集合add_tt＝{addtt₁,addtt₂,…,addtt_n}中每条轨迹与暂时删除暂定轨迹集合d_tt＝{dtt₁,dtt₂,…,dtt_n}进行核查，对该情况的轨迹对<addtt_j,dtt_i>核查时，使用公式(2)得到的d₁值进行外观特征比较，由于暂时删除暂定轨迹与新增暂定轨迹相隔时间间距大于等于15帧，此时比较的过程还需要参考轨迹可信基数θ，两条轨迹相隔距离越大，说明可行度越低，θ的计算如公式(4)所示，最终轨迹应该满足的核查条件如公式(5)所示，

d_f＝θ+d₁≥check_γ (5)

其中，θ为轨迹可信基数，length为当前轨迹的长度，check_γ为阈值，d₁为公式(2)得到的结果；

根据公式(5)得出的d_f值，判断是否大于等于check_γ，check_γ取值为1.6，若满足则说明两条轨迹为跟踪同一目标的轨迹；

针对出现情况c新增已确认轨迹集合add_ct＝{addct₁,addct₂,…,addct_n}中的每条轨迹与暂时删除确认轨迹集合d_ct＝{dct₁,dct₂,…,dct_n}中的每一条轨迹进行核查，首先把轨迹对<addct_j,dct_i>的外观特征通过公式(2)进行度量，若d₁值大于等于0.7，则接着对暂时删除确认轨迹dct_i主要通过LSTM网络生成与addct_j轨迹时间相对应的预测轨迹，然后把预测轨迹上的预估点与addct_j轨迹上的时间相对应的轨迹点，通过公式(3)对运动特征进行度量，每对轨迹点度量结果为t_i，所有相应两点的度量结果如公式(6)所示，整体比较的过程中依然需要参考轨迹可信基数θ，θ的计算如公式(4)所示，最终轨迹应该满足的核查条件如公式(7)所示，

d_m＝θ+t_total≥check_ε (7)

其中，t_total为轨迹度量结果，t_i为轨迹点度量值，θ为轨迹可信基数，check_ε为阈值，

根据公式(7)得出的d_f值，判断是否大于等于check_ε，check_ε取值为1.7，若满足则说明两条轨迹为跟踪同一目标的轨迹；

步骤7、对步骤6生成的轨迹进行核查；

步骤8、根据步骤6和步骤7的结果对轨迹更新，更新结束后，返回步骤2，接着对后续视频帧进行多目标跟踪，直到没有接收到监控视频数据。

2.根据权利要求1所述的一种面向行人的长时间多目标跟踪方法，其特征在于，步骤1中，使用Socket实现系统与远程摄像头连接，接收远程监控的视频数据，数据预处理具体为：每间隔5帧图像，本地系统接收1帧图像，将该图像调整成224×224。

3.根据权利要求1所述的一种面向行人的长时间多目标跟踪方法，其特征在于，读取buffer中的视频数据date，对读取的图像使用YOLOv3算法实现目标检测，得到当前图像所涉及所有行人的位置信息，即<id,<x,y,w,h＞＞，其中<x,y,w,h＞为行人检测框左上角的坐标，将检测的结果存储在txt文件中。

4.根据权利要求1所述的一种面向行人的长时间多目标跟踪方法，其特征在于，将最终的度量值d存入矩阵cost中，将该矩阵输入到匈牙利算法得到最终目标匹配对<track,object＞。

5.根据权利要求1所述的一种面向行人的长时间多目标跟踪方法，其特征在于，步骤6还生成如下轨迹情况，情况a，已有的轨迹集中的轨迹在当前图像中找到可关联的目标，并且轨迹状态没有发生变化；情况d，暂定删除轨迹集中的轨迹超过24帧未能关联到目标，此时轨迹状态变为永久删除轨迹，后续操作不再对这类轨迹进行操作。

6.根据权利要求1所述的一种面向行人的长时间多目标跟踪方法，其特征在于，对已确认轨迹集合、暂定轨迹集合、暂时删除暂定轨迹集合、暂时删除确认轨迹集合以及永久删除轨迹集合进行更新，更新结束后，返回步骤2，接着对后续视频帧进行多目标跟踪，直到没有接收到监控视频数据。

Images