CN115063441A - 减少跳变的多目标跟踪方法、系统及相关设备 - Google Patents

减少跳变的多目标跟踪方法、系统及相关设备 Download PDF

Info

Publication number
CN115063441A
CN115063441A CN202210526017.5A CN202210526017A CN115063441A CN 115063441 A CN115063441 A CN 115063441A CN 202210526017 A CN202210526017 A CN 202210526017A CN 115063441 A CN115063441 A CN 115063441A
Authority
CN
China
Prior art keywords
pedestrian
tracking
target
coordinate frame
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210526017.5A
Other languages
English (en)
Inventor
王旭
武大硕
许能华
闫潇宁
郑双午
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Anruan Huishi Technology Co ltd
Original Assignee
Shenzhen Anruan Huishi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Anruan Huishi Technology Co ltd filed Critical Shenzhen Anruan Huishi Technology Co ltd
Priority to CN202210526017.5A priority Critical patent/CN115063441A/zh
Publication of CN115063441A publication Critical patent/CN115063441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于计算机视觉应用领域，提供了一种减少跳变的多目标跟踪方法、系统及相关设备，所述方法包括：获取视频序列数据，并从视频序列数据中获取当前帧的行人检测目标以及坐标框信息、行人检测外观数据；将坐标框信息转换为八维信息，进行多目标跟踪；使用卡尔曼滤波器根据前一帧的行人轨迹数据计算行人预测位置信息，并计算其和坐标框信息之间的马氏距离；获取行人跟踪外观数据，并计算其与行人检测外观数据之间的余弦距离；根据马氏距离和余弦距离，使用匈牙利算法进行跟踪匹配，得到多目标跟踪结果。本发明采用了优先筛选远离边缘的目标结合多种级联匹配方法进行多目标跟踪的方法，使ID跳变的情况得到改善，提高了准确度。

Description

减少跳变的多目标跟踪方法、系统及相关设备
技术领域
本发明属于计算机视觉应用领域，尤其涉及一种减少跳变的多目标跟踪方法、系统及相关设备。
背景技术
多目标跟踪是计算机视觉领域的一个研究热点，在和目标检测的研究结合后，成为一种在连续的图像中识别并追踪同一个目标物体的应用。多目标跟踪广泛应用在安防视频监控、自动驾驶等领域，尤其是在安防领域发挥着重要作用。
现有的多目标跟踪方法的主要目的是要估计物体在后继视频序列中的行动轨迹以及活动状态，处理识别出一系列的图像序列及目标检测信息以外，还需要实现在不同的图像帧中识别相同的运动目标，并分配给每个目标单独的标签，现有的多目标跟踪方法主要以一个跟踪ID作为标签，当后续的视频序列中追踪到同一个目标后，将已有的跟踪ID再赋予新识别到的目标。
现有多目标跟踪仍然存在着一定的缺陷，使得在复杂和困难场景下的目标跟踪不稳定，最常见的现象是多目标在被同时跟踪时，在不同的目标对象交汇重叠时容易发生跟踪ID的混淆、复用和跳变，这种情况在视频画面的边缘处更容易发生，最终使得目标跟踪算法失去跟踪对象，或直接造成误识别。
发明内容
本发明实施例提供一种减少跳变的多目标跟踪方法、系统及相关设备，旨在解决现有的多目标跟踪方法容易出现跟踪目标时出现跟踪ID的混淆、复用和跳变的问题。
第一方面，本发明实施例一种减少跳变的多目标跟踪方法，所述方法包括：
获取视频序列数据，并从所述视频序列数据中分别获取当前帧的行人检测目标以及所述行人检测目标对应的坐标框信息，所述行人检测目标包括行人检测外观数据；
将所述坐标框信息转换为包含向量的八维信息，并将所述八维信息对应的所述行人检测目标进行多目标跟踪；
使用卡尔曼滤波器根据所述当前帧的前一帧的行人轨迹数据计算行人预测位置信息，并计算所述行人预测位置信息和所述坐标框信息之间的马氏距离；其中，所述行人轨迹数据是所述当前帧的前一帧中已检测到的行人跟踪外观数据和行人跟踪坐标框的集合；
获取所述行人跟踪外观数据，并计算所述行人检测外观数据和所述行人跟踪外观数据之间的余弦距离；
根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述行人检测目标和所述行人轨迹数据进行跟踪匹配，得到多目标跟踪结果。
更进一步地，所述坐标框信息包括所述行人检测目标在所述当前帧中的中心横坐标、中心纵坐标、纵横比和高度，所述八维信息在所述坐标框信息的基础上还包括所述中心横坐标、所述中心纵坐标、所述纵横比、以及所述高度各自对应的矢量速度。
更进一步地，所述获取视频序列数据，并从所述视频序列数据中分别获取当前帧的行人检测目标，以及所述行人检测目标对应的坐标框信息，所述行人检测目标包括行人检测外观数据的步骤，还包括步骤：
计算所述行人检测目标的所述坐标框信息与所述当前帧的帧边缘的欧氏距离，对计算出的所述欧氏距离小于预设边缘值所对应的所述行人检测目标降低跟踪匹配优先级。
更进一步地，所述使用卡尔曼滤波器根据所述当前帧的前一帧的行人轨迹数据计算行人预测位置信息，并计算所述行人预测位置信息和所述坐标框信息之间的马氏距离的步骤，还包括步骤：
获取所述行人轨迹数据中对应的所述行人跟踪坐标框距离上一次成功完成跟踪匹配的帧数，并根据所述帧数的数量设定所述行人跟踪坐标框的匹配计数器的数值。
更进一步地，根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述行人检测目标和所述行人轨迹数据进行跟踪匹配，得到多目标跟踪结果的步骤，包括以下子步骤：
根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述行人检测目标和所述行人轨迹数据进行跟踪匹配，其中：
若所述行人检测目标和所述行人轨迹数据之间满足匈牙利算法的匹配要求，则将所述行人检测目标和所述行人轨迹数据作为满足所述多目标跟踪结果的检测跟踪对；
若所述行人检测目标和所述行人轨迹数据之间不满足匈牙利算法的匹配要求，则进一步计算所述行人检测目标对应的所述坐标框信息、以及所述行人轨迹数据对应的所述行人跟踪坐标框之间的交并比，并基于所述交并比的计算结果再使用匈牙利算法进行跟踪匹配。
更进一步地，所述进一步计算所述行人检测目标对应的所述坐标框信息、以及所述行人轨迹数据对应的所述行人跟踪坐标框之间的交并比，并基于所述交并比的计算结果再使用匈牙利算法进行跟踪匹配的步骤，包括以下子步骤：
当所述坐标框信息和所述行人跟踪坐标框之间的所述交并比的计算结果满足匈牙利算法的匹配要求，则将对应的所述行人检测目标和所述行人轨迹数据作为满足所述多目标跟踪结果的所述检测跟踪对；
当所述坐标框信息和所述行人跟踪坐标框之间的所述交并比的计算结果不满足匈牙利算法的匹配要求，则进一步确认所述行人跟踪坐标框是否为首次进行跟踪匹配、且是否超出预设迭代匹配次数，其中：
若所述行人跟踪坐标框为首次进行跟踪匹配，则将所述行人跟踪坐标框放入跟踪匹配队列；
若所述行人跟踪坐标框不为首次进行跟踪匹配、且未超出所述预设迭代匹配次数，则将所述行人跟踪坐标框放入跟踪匹配队列；
若所述行人跟踪坐标框不为首次进行跟踪匹配、且超出所述预设迭代匹配次数，则将将所述行人跟踪坐标框删除，不再做跟踪匹配。
更进一步地，在根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述当前行人目标和所述行人轨迹数据进行跟踪匹配，得到多目标跟踪结果的步骤后，还包括如下步骤：
根据所述检测跟踪对，将完成跟踪匹配的所述当前行人目标对应的所述预测行人位置信息的数据替换为所述坐标框信息的数据，并根据所述检测跟踪对和所述跟踪匹配队列进行所述当前帧的下一帧的多目标跟踪。
第二方面，本发明实施例还提供一种减少跳变的多目标跟踪系统，包括：
视频数据获取模块，用于获取视频序列数据，并从所述视频序列数据中分别获取当前帧的行人检测目标以及所述行人检测目标对应的坐标框信息，所述行人检测目标包括行人检测外观数据；
数据转换模块，用于将所述坐标框信息转换为包含向量的八维信息，并将所述八维信息对应的所述行人检测目标进行多目标跟踪；
位置预测模块，用于使用卡尔曼滤波器根据所述当前帧的前一帧的行人轨迹数据计算行人预测位置信息，并计算所述行人预测位置信息和所述坐标框信息之间的马氏距离；其中，所述行人轨迹数据是所述当前帧的前一帧中已检测到的行人跟踪外观数据和行人跟踪坐标框的集合；
行人识别模块，用于获取所述行人跟踪外观数据，并计算所述行人检测外观数据和所述行人跟踪外观数据之间的余弦距离；
目标跟踪匹配模块，用于根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述行人检测目标和所述行人轨迹数据进行跟踪匹配，得到多目标跟踪结果。
第三方面，本发明实施例还提供一种计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例中任意一项所述的减少跳变的多目标跟踪方法中的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中任意一项所述的减少跳变的多目标跟踪方法中的步骤。
本发明所达到的有益效果，由于采用了优先筛选远离边缘的目标，并结合多种级联匹配方法进行多目标跟踪的方法，使得ID跳变的情况得到改善，跟踪的稳定性得到提高，同时，还因为使用了当前的识别目标与历史的轨迹数据作对比和替换的方法，进一步提高了多目标识别的准确度。
附图说明
图1是本发明实施例提供的减少跳变的多目标跟踪方法的步骤流程框图；
图2是本发明实施例提供的减少跳变的多目标跟踪方法中步骤S105的子流程框图；
图3是本发明实施例提供的减少跳变的多目标跟踪系统200的结构示意图；
图4是本发明实施例提供的计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参照图1，图1是本发明实施例提供的减少跳变的多目标跟踪方法的步骤流程框图，包括以下步骤：
S101、获取视频序列数据，并从所述视频序列数据中分别获取当前帧的行人检测目标以及所述行人检测目标对应的坐标框信息，所述行人检测目标包括行人检测外观数据。
所述视频序列数据是一连续时间段中拍摄得到的视频数据，多目标跟踪的目的即在于，对所述视频序列数据中的行人进行跟踪，并标记同一行人在随着视频帧的增加而在帧图像中的位置，从而实现所述视频序列数据中的行人连续标记。对于所述当前帧，是指进行多目标跟踪时当前跟踪到的视频帧，对于其中的每一行人，都作为多目标跟踪的对象，在本发明实施例中即为所述行人检测目标，所述行人检测目标对应有其在所述当前帧的帧图像中的坐标框信息，以及由坐标框标记出来的所述行人检测外观数据。同时，由于多目标追踪应用场景的特殊性，得到的所述行人检测目标会包含多个，一种常见的应用中，对于每一个所述行人检测目标，在检测完成时会分配一个用于单独标记的追踪ID。
作为实现本发明实施例中获取到所述行人检测目标的方法，可以使用已训练好的行人检测算法，所述行人检测算法在对图像中的行人进行检测识别时，基于行人整体的轮廓，会用一个矩形选框将行人框出，并作为识别结果。在本发明实施例中，所述坐标框信息即为矩形选框在所述当前帧中的中心横坐标、中心纵坐标、纵横比、高度。
S102、将所述坐标框信息转换为包含向量的八维信息，并将所述八维信息对应的所述行人检测目标进行多目标跟踪。
所述八维信息在所述坐标框信息的基础上还包括所述中心横坐标、所述中心纵坐标、所述纵横比、所述高度各自对应的矢量速度。示例性的，对于所述坐标框信息，其向量为[Xcenter，Ycenter，纵横比a，高度h]，则对应的所述八维信息为[Xcenter，Ycenter，纵横比a，高度h，VX，VY，Va，Vh]。
步骤S102还包括：
计算所述行人检测目标的所述坐标框信息与所述当前帧的帧边缘的欧氏距离，对计算出的所述欧氏距离小于预设边缘值所对应的所述行人检测目标降低跟踪匹配优先级。
所述预设边缘值用于判断所述坐标框信息是否离帧图像的边缘太近，当用于目标跟踪的行人图像太靠近图像边缘时，认为该行人为刚进入识别范围或即将离开识别范围，此时，行人被识别出来的所述坐标框信息可能会出现不包含完整行人的情况，例如帧图像形成时出现环境物遮挡或半身像，换句话说，帧图像的边缘不适于进行目标跟踪，为了避免这样的行人与被完整识别出来的行人同时进行目标跟踪，需要在获取到所述坐标框信息的同时，计算所述坐标框信息与所述当前帧的帧边缘的距离，本发明实施例中使用欧氏距离进行计算和判断，当计算出来的所述欧氏距离的结果数值小于所述预设边缘值时，对所述坐标框信息对应的所述行人检测目标的跟踪匹配优先级进行降低处理。
S103、使用卡尔曼滤波器根据所述当前帧的前一帧的行人轨迹数据计算行人预测位置信息，并计算所述行人预测位置信息和所述坐标框信息之间的马氏距离；其中，所述行人轨迹数据是所述当前帧的前一帧中已检测到的行人跟踪外观数据和行人跟踪坐标框的集合。
具体的，所述行人轨迹数据为所述当前帧的前一帧中进行过目标跟踪时检测到的行人坐标框和对应的图像数据，即所述行人跟踪坐标框和所述行人跟踪外观数据，对于多目标跟踪的应用场景来说，同一视频帧中可能出现多个行人，那么其在同一帧中跟踪的行人目标也会包含多个，对应的所述行人跟踪坐标框和所述行人跟踪外观数据也会包含多个。在本发明实施例中，基于所述行人跟踪坐标框，使用所述卡尔曼滤波器进行预测，得到所述行人跟踪坐标框可能在所述当前帧中出现的位置，也就是所述行人预测位置信息。
更进一步地，步骤S103还包括：
获取所述行人轨迹数据中对应的所述行人跟踪坐标框距离上一次成功完成跟踪匹配的帧数，并根据所述帧数的数量设定所述行人跟踪坐标框的匹配计数器的数值。
S104、获取所述行人跟踪外观数据，并计算所述行人检测外观数据和所述行人跟踪外观数据之间的余弦距离。
具体的，所述行人跟踪外观数据与所述行人检测外观数据均为包含行人特征的图像，在本发明实施例中，利用已训练好的行人属性识别模型分别对所述行人跟踪外观数据与所述行人检测外观数据进行特征提取，得到用于相互比较的特征信息，示例性的，所述行人属性识别模型可以是能够实现行人重识别(Re-ID)的神经网络模型。之后，对于检测得到的其中一个所述行人检测外观数据，使其与所述行人跟踪外观数据两两之间进行所述余弦距离的计算。
S105、根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述行人检测目标和所述行人轨迹数据进行跟踪匹配，得到多目标跟踪结果。
具体的，请参照图2，图2是本发明实施例提供的减少跳变的多目标跟踪方法中步骤S105的子流程框图，包括以下子步骤：
S1051、根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述行人检测目标和所述行人轨迹数据进行跟踪匹配。
匈牙利算法是一种组合优化算法，用于在数据集中寻找满足最小差距的数据对，在本发明实施例中使用所述匈牙利算法将所述行人检测目标和所述行人轨迹数据进行跟踪匹配，并从中匹配出与当前帧中的所述坐标框信息最为相近的所述行人跟踪目标框。其中，根据所述行人检测目标和所述行人轨迹数据之间是否满足匈牙利算法的匹配要求的情况，还分为：
S1051a、当所述行人检测目标和所述行人轨迹数据之间满足匈牙利算法的匹配要求，则将所述行人检测目标和所述行人轨迹数据作为满足所述多目标跟踪结果的检测跟踪对。
具体的，所述匈牙利算法计算匹配出与当前帧中的所述坐标框信息最为相近的所述行人跟踪目标框，并将其作为一个所述检测跟踪对，对于多目标跟踪来说，所述当前帧中的所有所述行人检测目标对应的所述坐标框信息都要使用所述匈牙利算法进行匹配计算，对于任意一个可以进行跟踪的所述行人检测目标，至少有一个满足所述匈牙利算法的匹配要求的所述行人跟踪目标框与之对应。
S1051b、当所述行人检测目标和所述行人轨迹数据之间不满足匈牙利算法的匹配要求，则进一步计算所述行人检测目标对应的所述坐标框信息、以及所述行人轨迹数据对应的所述行人跟踪坐标框之间的交并比，并基于所述交并比的计算结果再使用匈牙利算法进行跟踪匹配。
对于不满足所述匈牙利算法的所述行人检测目标和所述行人轨迹数据，将其额外筛选出来，进一步计算所述坐标框信息与所有所述行人跟踪坐标框之间的交并比，交并比(Intersection-over-Union，简称IoU)在本发明实施例中指所述坐标框信息与任何一个所述行人跟踪坐标框之间的重叠程度，对于交并比的数值满足某一预设数值区间的所述行人跟踪坐标框，将其与所述坐标框信息再次使用所述匈牙利算法进行跟踪匹配。
更进一步地，上述步骤S1051b中，对于交并比的数值满足某一预设数值区间的所述行人跟踪坐标框、并进一步使用匈牙利算法进行匹配的所述行人跟踪坐标框，再次匹配的结果还分为：
S1052a、若所述坐标框信息和所述行人跟踪坐标框之间的所述交并比的计算结果满足匈牙利算法的匹配要求，则将对应的所述行人检测目标和所述行人轨迹数据作为满足所述多目标跟踪结果的所述检测跟踪对。
在本步骤中，对于使用匈牙利算法匹配得到的结果，作为与步骤S1051a相同的所述检测跟踪对为输出结果。对于上述实施例中的所述行人检测目标含有跟踪ID的情况，在步骤S1051a中未被正确匹配到的所述行人检测目标，在本步骤中通过更具有图像相关性的交并比计算方式再次进行匹配，从而提高了跟踪匹配的成功率，减少跟踪ID跳变的情况，同时，也避免了跟踪ID因为图像相近出现复用的情况。
S1052b、若所述坐标框信息和所述行人跟踪坐标框之间的所述交并比的计算结果不满足匈牙利算法的匹配要求，则进一步确认所述行人跟踪坐标框是否为首次进行跟踪匹配、且是否超出预设迭代匹配次数。
对于首次进行所述跟踪匹配的所述行人跟踪坐标框，指的是在所述行人轨迹数据中被识别到，但并未在所述当前帧的前一帧或者更前的视频帧中与其他的行人目标作为所述跟踪检测对的情况，在本发明实施例中，将首次进行跟踪匹配的所述行人跟踪坐标框定义为未确认跟踪坐标框；所述预设迭代匹配次数用于标记所述行人跟踪坐标框在连续的视频帧中未被匹配的次数，在本发明实施例中将所述预设迭代匹配次数的最大值设为3。
其中，对于所述行人跟踪坐标框是否为首次进行跟踪匹配、且是否超出预设迭代匹配次数的情况，还分为：
S1053a、若所述行人跟踪坐标框为首次进行跟踪匹配，则将所述行人跟踪坐标框放入跟踪匹配队列。
优选的，对于首次进行跟踪匹配的所述行人跟踪坐标框，在其使用交并比的计算方法与所述行人检测目标进行匹配计算时，可以将交并比的重叠程度区间设为一个较大的数值，以优化初次出现的行人的跟踪成功率。
S1053b、若所述行人跟踪坐标框不为首次进行跟踪匹配、且未超出所述预设迭代匹配次数，则将所述行人跟踪坐标框放入跟踪匹配队列。
所述预设迭代匹配次数的设计可以尽可能减少因为行人目标的图像清晰度不稳而导致跟踪失败的情况，本发明实施例将所述预设迭代匹配次数的最大值设为3，可以使所述行人跟踪坐标框进行最多连续三帧的跟踪匹配，以避免漏检的情况发生。
S1053c、若所述行人跟踪坐标框不为首次进行跟踪匹配、且超出所述预设迭代匹配次数，则将将所述行人跟踪坐标框删除，不再做跟踪匹配。
更进一步地，在上述步骤S105结束后，还包括步骤：
S106、根据所述检测跟踪对，将完成跟踪匹配的所述当前行人目标对应的所述预测行人位置信息的数据替换为所述坐标框信息的数据，并根据所述检测跟踪对和所述跟踪匹配队列进行所述当前帧的下一帧的多目标跟踪。
所述检测跟踪对包括了所述当前帧中的所述行人检测目标被正确匹配跟踪后的所有跟踪结果，即对应了所述当前帧的多目标跟踪结果。根据所述检测跟踪对，将其中的所述行人检测目标对应的所述预测行人位置信息的数据替换为所述坐标框信息的数据，其目的在于，利用实际检测到的坐标位置覆盖通过神经网络预测得到的坐标位置，从而提高多目标跟踪的精确度，之后，结合所述检测跟踪对的数据，以及上述步骤S105中根据未被跟踪匹配到的数据得到的所述跟踪匹配队列，将其作为所述当前帧的下一帧所使用的所述行人轨迹数据，以进行所述当前帧的下一帧的多目标跟踪。
本发明所达到的有益效果，由于采用了优先筛选远离边缘的目标，并结合多种级联匹配方法进行多目标跟踪的方法，使得ID跳变的情况得到改善，跟踪的稳定性得到提高，同时，还因为使用了当前的识别目标与历史的轨迹数据作对比和替换的方法，进一步提高了多目标识别的准确度。
本发明实施例还提供一种减少跳变的多目标跟踪系统，请参照图3，图3是本发明实施例提供的减少跳变的多目标跟踪系统200的结构示意图，包括：
视频数据获取模块201，用于获取视频序列数据，并从所述视频序列数据中获取当前帧的行人检测目标，以及所述行人检测目标对应的坐标框信息，所述行人检测目标还包括行人检测外观数据；
数据转换模块202，用于将所述坐标框信息转换为包含向量的八维信息，并将所述八维信息对应的所述行人检测目标进行多目标跟踪；
位置预测模块203，用于使用卡尔曼滤波器根据所述当前帧的前一帧的行人轨迹数据计算行人预测位置信息，并计算所述行人预测位置信息和所述坐标框信息之间的马氏距离，所述行人轨迹数据是所述当前帧的前一帧中已检测到的行人跟踪外观数据和行人跟踪坐标框的集合；
行人识别模块204，用于获取所述行人跟踪外观数据，并计算所述行人检测外观数据和所述行人跟踪外观数据之间的余弦距离；
目标跟踪匹配模块205，用于根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述行人检测目标和所述行人轨迹数据进行跟踪匹配，得到多目标跟踪结果。
所述少跳变的多目标跟踪系统200能够实现如上述实施例中的减少跳变的多目标跟踪方法中的步骤，且能实现同样的技术效果，参上述实施例中的描述，此处不再赘述。
本发明实施例还提供一种计算机设备，请参照图4，图4是本发明实施例提供的计算机设备的结构示意图，所述计算机设备300包括：存储器302、处理器301及存储在所述存储器302上并可在所述处理器301上运行的计算机程序。
所述处理器301调用所述存储器302存储的计算机程序，执行本发明实施例提供的少跳变的多目标跟踪方法中的步骤，请结合图1，具体包括：
S101、获取视频序列数据，并从所述视频序列数据中分别获取当前帧的行人检测目标以及所述行人检测目标对应的坐标框信息，所述行人检测目标包括行人检测外观数据。
S102、将所述坐标框信息转换为包含向量的八维信息，并将所述八维信息对应的所述行人检测目标进行多目标跟踪。
更进一步地，所述坐标框信息包括所述行人检测目标在所述当前帧中的中心横坐标、中心纵坐标、纵横和高度，所述八维信息在所述坐标框信息的基础上还包括所述中心横坐标、所述中心纵坐标、所述纵横比、以及所述高度各自对应的矢量速度。
更进一步地，所述获取视频序列数据，并从所述视频序列数据中获取当前帧的行人检测目标，以及所述行人检测目标对应的坐标框信息，所述行人检测目标还包括行人检测外观数据的步骤，还包括步骤：
计算所述行人检测目标的所述坐标框信息与所述当前帧的帧边缘的欧氏距离，对计算出的所述欧氏距离小于预设边缘值所对应的所述行人检测目标降低跟踪匹配优先级。
S103、使用卡尔曼滤波器根据所述当前帧的前一帧的行人轨迹数据计算行人预测位置信息，并计算所述行人预测位置信息和所述坐标框信息之间的马氏距离；其中，所述行人轨迹数据是所述当前帧的前一帧中已检测到的行人跟踪外观数据和行人跟踪坐标框的集合。
更进一步地，所述使用卡尔曼滤波器根据所述当前帧的前一帧的行人轨迹数据计算行人预测位置信息，并计算所述行人预测位置信息和所述坐标框信息之间的马氏距离的步骤，还包括步骤：
获取所述行人轨迹数据中对应的所述行人跟踪坐标框距离上一次成功完成跟踪匹配的帧数，并根据所述帧数的数量设定所述行人跟踪坐标框的匹配计数器的数值。
S104、获取所述行人跟踪外观数据，并计算所述行人检测外观数据和所述行人跟踪外观数据之间的余弦距离。
S105、根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述行人检测目标和所述行人轨迹数据进行跟踪匹配，得到多目标跟踪结果。
更进一步地，根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述行人检测目标和所述行人轨迹数据进行跟踪匹配，得到多目标跟踪结果的步骤，包括以下子步骤：
根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述行人检测目标和所述行人轨迹数据进行跟踪匹配，其中：
若所述行人检测目标和所述行人轨迹数据之间满足匈牙利算法的匹配要求，则将所述行人检测目标和所述行人轨迹数据作为满足所述多目标跟踪结果的检测跟踪对；
若所述行人检测目标和所述行人轨迹数据之间不满足匈牙利算法的匹配要求，则进一步计算所述行人检测目标对应的所述坐标框信息、以及所述行人轨迹数据对应的所述行人跟踪坐标框之间的交并比，并基于所述交并比的计算结果再使用匈牙利算法进行跟踪匹配。
更进一步地，所述进一步计算所述行人检测目标对应的所述坐标框信息、以及所述行人轨迹数据对应的所述行人跟踪坐标框之间的交并比，并基于所述交并比的计算结果再使用匈牙利算法进行跟踪匹配的步骤，包括以下子步骤：
当所述坐标框信息和所述行人跟踪坐标框之间的所述交并比的计算结果满足匈牙利算法的匹配要求，则将对应的所述行人检测目标和所述行人轨迹数据作为满足所述多目标跟踪结果的所述检测跟踪对；
当所述坐标框信息和所述行人跟踪坐标框之间的所述交并比的计算结果不满足匈牙利算法的匹配要求，则进一步确认所述行人跟踪坐标框是否为首次进行跟踪匹配、且是否超出预设迭代匹配次数，其中：
若所述行人跟踪坐标框为首次进行跟踪匹配，则将所述行人跟踪坐标框放入跟踪匹配队列；
若所述行人跟踪坐标框不为首次进行跟踪匹配、且未超出所述预设迭代匹配次数，则将所述行人跟踪坐标框放入跟踪匹配队列；
若所述行人跟踪坐标框不为首次进行跟踪匹配、且超出所述预设迭代匹配次数，则将将所述行人跟踪坐标框删除，不再做跟踪匹配。
更进一步地，在根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述当前行人目标和所述行人轨迹数据进行跟踪匹配，得到多目标跟踪结果的步骤后，还包括步骤：
根据所述检测跟踪对，将完成跟踪匹配的所述当前行人目标对应的所述预测行人位置信息的数据替换为所述坐标框信息的数据，并根据所述检测跟踪对和所述跟踪匹配队列进行所述当前帧的下一帧的多目标跟踪。
本发明实施例提供的计算机设备300能够实现如上述实施例中的减少跳变的多目标跟踪方法中的步骤，且能实现同样的技术效果，参上述实施例中的描述，此处不再赘述。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的少跳变的多目标跟踪方法中的各个过程及步骤，且能实现相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，所揭露的仅为本发明较佳实施例而已，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式用等同变化，均属于本发明的保护之内。

Claims (10)

1.一种减少跳变的多目标跟踪方法，其特征在于，所述方法包括：
获取视频序列数据，并从所述视频序列数据中分别获取当前帧的行人检测目标以及所述行人检测目标对应的坐标框信息，所述行人检测目标包括行人检测外观数据；
将所述坐标框信息转换为包含向量的八维信息，并将所述八维信息对应的所述行人检测目标进行多目标跟踪；
使用卡尔曼滤波器根据所述当前帧的前一帧的行人轨迹数据计算行人预测位置信息，并计算所述行人预测位置信息和所述坐标框信息之间的马氏距离；其中，所述行人轨迹数据是所述当前帧的前一帧中已检测到的行人跟踪外观数据和行人跟踪坐标框的集合；
获取所述行人跟踪外观数据，并计算所述行人检测外观数据和所述行人跟踪外观数据之间的余弦距离；
根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述行人检测目标和所述行人轨迹数据进行跟踪匹配，得到多目标跟踪结果。
2.如权利要求1所述的减少跳变的多目标跟踪方法，其特征在于，所述坐标框信息包括所述行人检测目标在所述当前帧中的中心横坐标、中心纵坐标、纵横比和高度，所述八维信息在所述坐标框信息的基础上还包括所述中心横坐标、所述中心纵坐标、所述纵横比、以及所述高度各自对应的矢量速度。
3.如权利要求1所述的减少跳变的多目标跟踪方法，其特征在于，所述获取视频序列数据，并从所述视频序列数据中分别获取当前帧的行人检测目标以及所述行人检测目标对应的坐标框信息，所述行人检测目标包括行人检测外观数据的步骤，还包括步骤：
计算所述行人检测目标的所述坐标框信息与所述当前帧的帧边缘的欧氏距离，对计算出的所述欧氏距离小于预设边缘值所对应的所述行人检测目标降低跟踪匹配优先级。
4.如权利要求1所述的减少跳变的多目标跟踪方法，其特征在于，所述使用卡尔曼滤波器根据所述当前帧的前一帧的行人轨迹数据计算行人预测位置信息，并计算所述行人预测位置信息和所述坐标框信息之间的马氏距离的步骤，还包括步骤：
获取所述行人轨迹数据中对应的所述行人跟踪坐标框距离上一次成功完成跟踪匹配的帧数，并根据所述帧数的数量设定所述行人跟踪坐标框的匹配计数器的数值。
5.如权利要求4所述的减少跳变的多目标跟踪方法，其特征在于，根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述行人检测目标和所述行人轨迹数据进行跟踪匹配，得到多目标跟踪结果的步骤，包括以下子步骤：
根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述行人检测目标和所述行人轨迹数据进行跟踪匹配，其中：
若所述行人检测目标和所述行人轨迹数据之间满足匈牙利算法的匹配要求，则将对应的所述行人检测目标和所述行人轨迹数据作为满足所述多目标跟踪结果的检测跟踪对；
若所述行人检测目标和所述行人轨迹数据之间不满足匈牙利算法的匹配要求，则进一步计算所述行人检测目标对应的所述坐标框信息、以及所述行人轨迹数据对应的所述行人跟踪坐标框之间的交并比，并基于所述交并比的计算结果再使用匈牙利算法进行跟踪匹配。
6.如权利要求5所述的减少跳变的多目标跟踪方法，其特征在于，所述进一步计算所述行人检测目标对应的所述坐标框信息、以及所述行人轨迹数据对应的所述行人跟踪坐标框之间的交并比，并基于所述交并比的计算结果再使用匈牙利算法进行跟踪匹配的步骤，包括以下子步骤：
当所述坐标框信息和所述行人跟踪坐标框之间的所述交并比的计算结果满足匈牙利算法的匹配要求，则将对应的所述行人检测目标和所述行人轨迹数据作为满足所述多目标跟踪结果的所述检测跟踪对；
当所述坐标框信息和所述行人跟踪坐标框之间的所述交并比的计算结果不满足匈牙利算法的匹配要求，则进一步确认所述行人跟踪坐标框是否为首次进行跟踪匹配、且是否超出预设迭代匹配次数，其中：
若所述行人跟踪坐标框为首次进行跟踪匹配，则将所述行人跟踪坐标框放入跟踪匹配队列；
若所述行人跟踪坐标框不为首次进行跟踪匹配、且未超出所述预设迭代匹配次数，则将所述行人跟踪坐标框放入跟踪匹配队列；
若所述行人跟踪坐标框不为首次进行跟踪匹配、且超出所述预设迭代匹配次数，则将将所述行人跟踪坐标框删除，不再做跟踪匹配。
7.如权利要求6所述的减少跳变的多目标跟踪方法，其特征在于，在根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述当前行人目标和所述行人轨迹数据进行跟踪匹配，得到多目标跟踪结果的步骤后，还包括如下步骤：
根据所述检测跟踪对，将完成跟踪匹配的所述当前行人目标对应的所述预测行人位置信息的数据替换为所述坐标框信息的数据，并根据所述检测跟踪对和所述跟踪匹配队列进行所述当前帧的下一帧的多目标跟踪。
8.一种减少跳变的多目标跟踪系统，其特征在于，包括：
视频数据获取模块，用于获取视频序列数据，并从所述视频序列数据中获取当前帧的行人检测目标，以及所述行人检测目标对应的坐标框信息，所述行人检测目标还包括行人检测外观数据；
数据转换模块，用于将所述坐标框信息转换为包含向量的八维信息，并将所述八维信息对应的所述行人检测目标进行多目标跟踪；
位置预测模块，用于使用卡尔曼滤波器根据所述当前帧的前一帧的行人轨迹数据计算行人预测位置信息，并计算所述行人预测位置信息和所述坐标框信息之间的马氏距离，所述行人轨迹数据是所述当前帧的前一帧中已检测到的行人跟踪外观数据和行人跟踪坐标框的集合；
行人识别模块，用于获取所述行人跟踪外观数据，并计算所述行人检测外观数据和所述行人跟踪外观数据之间的余弦距离；
目标跟踪匹配模块，用于根据所述马氏距离和所述余弦距离，使用匈牙利算法对所述行人检测目标和所述行人轨迹数据进行跟踪匹配，得到多目标跟踪结果。
9.一种计算机设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的减少跳变的多目标跟踪方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的减少跳变的多目标跟踪方法中的步骤。
CN202210526017.5A 2022-05-13 2022-05-13 减少跳变的多目标跟踪方法、系统及相关设备 Pending CN115063441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210526017.5A CN115063441A (zh) 2022-05-13 2022-05-13 减少跳变的多目标跟踪方法、系统及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210526017.5A CN115063441A (zh) 2022-05-13 2022-05-13 减少跳变的多目标跟踪方法、系统及相关设备

Publications (1)

Publication Number Publication Date
CN115063441A true CN115063441A (zh) 2022-09-16

Family

ID=83198252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210526017.5A Pending CN115063441A (zh) 2022-05-13 2022-05-13 减少跳变的多目标跟踪方法、系统及相关设备

Country Status (1)

Country Link
CN (1) CN115063441A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116402862A (zh) * 2023-06-09 2023-07-07 泉州装备制造研究所 多目标跟踪方法、装置、电子设备及存储介质
CN117036407A (zh) * 2023-08-11 2023-11-10 浙江深象智能科技有限公司 多目标跟踪方法、装置及设备
CN117545145A (zh) * 2023-11-24 2024-02-09 海南博思高科软件开发有限公司 基于视频图像数据处理的时空照明控制方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116402862A (zh) * 2023-06-09 2023-07-07 泉州装备制造研究所 多目标跟踪方法、装置、电子设备及存储介质
CN116402862B (zh) * 2023-06-09 2023-08-22 泉州装备制造研究所 多目标跟踪方法、装置、电子设备及存储介质
CN117036407A (zh) * 2023-08-11 2023-11-10 浙江深象智能科技有限公司 多目标跟踪方法、装置及设备
CN117036407B (zh) * 2023-08-11 2024-04-02 浙江深象智能科技有限公司 多目标跟踪方法、装置及设备
CN117545145A (zh) * 2023-11-24 2024-02-09 海南博思高科软件开发有限公司 基于视频图像数据处理的时空照明控制方法及系统

Similar Documents

Publication Publication Date Title
CN115063441A (zh) 减少跳变的多目标跟踪方法、系统及相关设备
CN113284168B (zh) 目标跟踪方法、装置、电子设备及存储介质
US10417503B2 (en) Image processing apparatus and image processing method
EP1859410B1 (en) Method of tracking objects in a video sequence
EP1859411B1 (en) Tracking objects in a video sequence
CN105938622B (zh) 检测运动图像中的物体的方法和装置
CN106934817B (zh) 基于多属性的多目标跟踪方法及装置
CN113723190A (zh) 一种面向同步移动目标的多目标跟踪方法
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN112308879A (zh) 图像处理设备、追踪对象物体的方法和存储介质
CN113191180A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN112215156A (zh) 一种视频监控中的人脸抓拍方法及系统
CN110348332A (zh) 一种交通视频场景下机非人多目标实时轨迹提取方法
CN111639570B (zh) 一种基于运动模型和单目标线索的在线多目标跟踪方法
CN110349184B (zh) 基于迭代滤波和观测判别的多行人跟踪方法
Gad et al. Real-time lane instance segmentation using SegNet and image processing
CN109949344A (zh) 一种基于颜色概率目标建议窗口的核相关滤波跟踪方法
CN111986231A (zh) 一种多目标跟踪方法及系统
Wang et al. Tracking objects through occlusions using improved Kalman filter
CN112307897A (zh) 一种社区监控场景下基于局部特征识别和邻帧匹配的宠物跟踪方法
CN114066933A (zh) 一种多目标跟踪方法、系统及相关设备
CN113887449A (zh) 多目标跟踪方法及计算机可读存储介质
CN115131705A (zh) 目标检测方法、装置、电子设备及存储介质
CN114429488A (zh) 目标追踪方法及目标追踪装置
CN114004876A (zh) 一种尺寸标定方法、尺寸标定装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination