CN116681729B - 基于轨迹预测的抗遮挡多目标跟踪方法 - Google Patents
基于轨迹预测的抗遮挡多目标跟踪方法 Download PDFInfo
- Publication number
- CN116681729B CN116681729B CN202310704417.5A CN202310704417A CN116681729B CN 116681729 B CN116681729 B CN 116681729B CN 202310704417 A CN202310704417 A CN 202310704417A CN 116681729 B CN116681729 B CN 116681729B
- Authority
- CN
- China
- Prior art keywords
- target
- track
- graph
- frame
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 abstract description 2
- 241001239379 Calophysus macropterus Species 0.000 description 16
- 230000008569 process Effects 0.000 description 7
- 101000642315 Homo sapiens Spermatogenesis-associated protein 17 Proteins 0.000 description 6
- 102100036408 Spermatogenesis-associated protein 17 Human genes 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 238000013467 fragmentation Methods 0.000 description 3
- 238000006062 fragmentation reaction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000010485 coping Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于轨迹预测的抗遮挡多目标跟踪方法，涉及图像处理方法技术领域。所述方法包括如下步骤：通过轨迹预测得到目标预测框，进行一般场景下多目标跟踪，作为第一次关联匹配；若第一次关联匹配得分达到预设的阈值，则完成本次跟踪任务；若第一次关联匹配得分未达到预设的阈值，则再进行第二次关联匹配；第二次关联匹配用于针对严重遮挡及完全遮挡的情况，通过使用基于邻边图关系的二次多目标跟踪方法进行关联匹配；若两次关联匹配均未能匹配成功，则保留历史轨迹信息和目标特征，通过假设框持续跟踪机制继续对目标进行跟踪。所述方法能够在严重遮挡情况下实现多目标跟踪。
Description
技术领域
本发明涉及图像处理方法技术领域，尤其涉及一种基于轨迹预测的抗遮挡多目标跟踪方法
背景技术
多目标跟踪(Multiple Object Tracking, MOT)是计算机视觉最具挑战性的任务之一，主要任务是检测及定位每个目标，并关联同一目标在不同帧中的身份信息。多目标跟踪具有重要的学术研究价值及应用前景。从学术研究角度看，多目标跟踪涉及图像处理、机器视觉和多媒体技术等诸多学科领域。从实际应用角度看，多目标跟踪在监控领域、虚拟现实、人工智能和自动驾驶等诸多方面得到应用。
为了解决遮挡场景下的多目标跟踪性能问题，离不开利用目标的运动预测和外观特征等信息，精确的目标运动轨迹预测对遮挡情况下的多目标跟踪很有帮助。多目标跟踪常用的数据关联方法为特征匹配，遮挡问题给仅基于特征匹配的多目标跟踪造成了极大挑战。具体来说，在局部遮挡情况下，目标外观特征较少；在严重遮挡与完全遮挡情况下，无法提取当前目标外观特征。因此，进行基于轨迹预测的抗遮挡多目标跟踪研究具有重要意义。
目前的多目标跟踪方法一般都是基于深度学习，利用特征匹配进行数据关联，因此大量的方法是通过增强特征，引入注意力等来增强目标特征之间的匹配。然而，当目标被严重遮挡时，无法提取当前帧被遮挡目标的特征，就很容易跟踪失败，产生ID的切换。当目标完全遮挡时，会导致目标丢失、轨迹碎片化及ID身份信息跳变等问题。因此，亟须一种基于轨迹预测的抗遮挡多目标跟踪方法解决上述严重遮挡及完全遮挡情况下的跟踪问题。
发明内容
本发明所要解决的技术问题是如何提供一种能够在严重遮挡情况下实现多目标跟踪的方法。
为解决上述技术问题，本发明所采取的技术方案是：一种基于轨迹预测的抗遮挡多目标跟踪方法，其特征在于包括如下步骤：
通过轨迹预测得到目标预测框，进行一般场景下多目标跟踪，作为第一次关联匹配；
若第一次关联匹配得分达到预设的阈值，则完成本次跟踪任务；若第一次关联匹配得分未达到预设的阈值，则再进行第二次关联匹配；
第二次关联匹配用于针对严重遮挡及完全遮挡的情况，通过使用基于邻边图关系的二次多目标跟踪方法进行关联匹配；
若两次关联匹配均未能匹配成功，则保留历史轨迹信息和目标特征，通过假设框持续跟踪机制继续对目标进行跟踪。
进一步的技术方案在于，所述基于邻边图关系的二次多目标跟踪方法包括如下步骤：
从检测中提取特征，然后利用这些特征构造检测图，其中检测图结点为当前帧的检测特征；
构造轨迹图的构造步骤类似于检测图，轨迹图中的结点对应当前帧之前的匹配生成的轨迹，不同的是轨迹图节点特征是对轨迹中的所有检测特征进行平均得到；
在完成结点特征的初始化之后，使用交叉图卷积网络对结点特征进行特征增强；
最后使用二分图匹配公式进行检测无向图和轨迹无向图的图匹配计算，实现两个无向图边与边及结点与结点之间的相似度计算。
进一步的技术方案在于，构造顶点亲和性矩阵中的每个元素是检测图顶点特征与轨迹图顶点特征之间的余弦相似度：
（1）
式中，表示检测图顶点特征，/>表示轨迹图顶点特征，/>表示/>的转置；
构造边缘亲和矩阵的每个元素是检测图与轨迹图中边特征之间的余弦相似度:
（2）
式中，表示检测图中的/>的边特征，/>表示轨迹图中/>的边特征，/>表示/>的转置。
进一步的技术方案在于，所述假设框持续跟踪机制包括如下步骤：
先将确定轨迹预测框作为目标假设框持续跟踪δ帧，当目标在此期间再次出现在视野中，则保持ID不变，并认为假设正确，通过轨迹修复可描绘完整的跟踪目标轨迹；若在δ帧中目标未再次出现，则丢弃假设轨迹与假设框，同时丢弃该目标的特征信息，以保证跟踪系统运行速度。
进一步的技术方案在于，所述假设框持续跟踪机制中，当目标严重遮挡出现时，将上一帧的假设框与目标位置建模为无向图，与当前帧检测无向图进行匹配，实现目标再次开始出现时严重遮挡无明显特征时的跟踪。
优选的，所述δ=50。
采用上述技术方案所产生的有益效果在于：本申请所述方法中，针对严重遮挡情况下多目标跟踪问题，提供了一种基于邻边图关系的二次多目标跟踪方法。首先将历史轨迹的空间关系和当前检测目标的空间关系转换为两个无向图，然后将数据关联问题转化为图匹配问题。基于邻边图关系的二次多目标跟踪方法更关注目标ID身份信息关联，提升在严重遮挡情况下的多目标跟踪性能。在MOT Challenge官方网站多个数据集进行了验证，实验结果充分的证明了该方法的有效性。
针对完全遮挡情况会导致目标丢失、轨迹碎片化及ID身份信息跳变等问题，提供了一种假设框持续跟踪机制。即先将预测框作为目标假设框持续跟踪δ帧(δ=50)，当目标在此期间再次出现在视野中，则保持ID不变，并认为假设正确，通过轨迹修复可描绘完整的跟踪目标轨迹。在MOT Challenge官方网站多个数据集进行了验证，实验结果充分的证明了该方法的有效性。
相对于现有需依赖特征进行多目标跟踪的方法，本次发明可解决在严重遮挡及完全遮挡情况下的多目标跟踪问题。同时本发明所提方法具备可移植性，方便应用与现有多目标跟踪方法上，优化大部分多目标跟踪方法性能。由于大部分多目标跟踪方法依赖特征，在应对严重遮挡及完全遮挡情况下性能较差。本发明着力解决了在严重遮挡及完全遮挡下多目标跟踪问题，所提方法可嵌入其他多目标跟踪方法中。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例所述方法的流程图；
图2为本发明实施例所述方法中基于邻边图关系的二次多目标跟踪流程图；
图3为本发明实施例所述方法中假设框持续跟踪流程图；
图4为本发明实施例所述方法中第一次数据关联阈值选取折线图；
图5为本发明实施例所述方法中第二次数据关联阈值选取折线图；
图6为本发明跟踪MOT17测试集官网反馈可视化结果图；
图7为本发明跟踪MOT20测试集官网反馈可视化结果图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
如图1所示，本发明实施例公开了一种基于轨迹预测的抗遮挡多目标跟踪方法，所述方法包括如下步骤：
S1：通过轨迹预测得到目标预测框，使用基础方法（例如DeepSORT）进行一般场景下多目标跟踪作为第一次关联匹配；
S2：若第一次关联匹配得分达到预设的阈值，则完成本次跟踪任务；若第一次关联匹配得分未达到阈值，则再进行第二次关联匹配；
S3：第二次关联匹配针对严重遮挡及完全遮挡的情况，因大面积遮挡无法提取到目标的特征，故通过使用一种基于邻边图关系的二次多目标跟踪方法进行，以应对严重遮挡问题；
S4：若两次关联匹配均未能匹配成功，则保留历史轨迹信息和目标特征，通过假设框持续跟踪机制继续对目标进行跟踪。
如图2所示，为本发明实施例所述方法中基于邻边图关系的二次多目标跟踪方法示意图。首先将历史轨迹的空间关系和当前检测目标的空间关系转换为两个无向图，然后将数据关联问题转化为图匹配问题，其具体步骤包括：
S1：首先从检测中提取特征，然后利用这些特征构造检测图，其中检测图结点为t帧的检测特征。
S2：轨迹图的构造步骤类似于检测图，轨迹图中的结点对应t帧之前的匹配生成的轨迹。不同的是轨迹图节点特征是对轨迹中的所有检测特征进行平均得到。
S3：在完成结点特征的初始化之后，使用交叉图卷积网络对结点特征进行特征增强。
S4：在实现过程中，计算检测图和轨迹图中边之间的余弦距离，然后构造边缘亲和矩阵，矩阵的元素是两个图中边特征之间的余弦距离，顶点亲和矩阵是顶点特征之间的余弦相似性。然后从二次亲和矩阵和顶点亲和矩阵导出最优匹配得分向量，重新调整它的形状，得到最优匹配得分映射。
在实现中，构造顶点亲和性矩阵中的每个元素是检测图顶点特征与轨迹图顶点特征之间的余弦相似度：
（1）
式中，表示检测图顶点特征，/>表示轨迹图顶点特征，/>表示/>的转置；
构造边缘亲和矩阵的每个元素是检测图与轨迹图中边特征之间的余弦相似度:
（2）
式中，表示检测图中的/>的边特征，/>表示轨迹图中/>的边特征，表示/>的转置。
针对完全遮挡情况会导致目标丢失、轨迹碎片化及ID身份信息跳变等问题，本实施例提供了一种假设框持续跟踪机制。即先将确定轨迹预测框作为目标假设框持续跟踪δ帧(δ=50)，当目标在此期间再次出现在视野中，则保持ID不变，并认为假设正确，通过轨迹修复可描绘完整的跟踪目标轨迹。若在δ帧中目标未再次出现，则丢弃假设轨迹与假设框，同时丢弃该目标的特征信息，以保证跟踪系统运行速度。因假设框持续跟踪机制，当目标严重遮挡出现时，可将上一帧的假设框与目标位置建模为无向图，与当前帧检测无向图进行匹配，可实现目标再次开始出现时严重遮挡无明显特征时的跟踪。至此，解决目标在无遮挡、局部遮挡、严重遮挡及完全遮挡情况下的多目标跟踪。
如图3所示，为本发明实施例所述方法中假设框持续跟踪示意图。Ft-2帧为局部遮挡的情况，Ft-1帧为严重遮挡的情况，可使用本发明提供了的基于邻边图关系的二次多目标跟踪方法通过邻边位置关系匹配解决严重遮挡的多目标跟踪问题。若无法检测到目标可使用本发明提供了的跟踪恢复低分检测方法来恢复这个目标的检测。Ft帧到Ft+2帧需进行假设框持续跟踪机制，使用预测框作为假设目标框持续跟踪，直到Ft+3帧目标再次出现，可保持目标身份继续跟踪并修复完整轨迹。
对于每个轨迹，计算该轨迹未成功匹配帧数，该帧数当轨迹/>与检测成功匹配时置为0。若连续丢失匹配的轨迹帧数超过阈值，则丢弃该轨迹信息。对每个不能成功匹配到历史轨迹的高分检测框，分配新ID信息，初始为不确定态的。在此期间，若连续三帧成功关联，则转为确定态的，否则将被删除。仅有确定态的轨迹才会使用假设持续跟踪机制，等待目标再次出现有对应检测与轨迹成功关联，以恢复完整的跟踪轨迹。
试验分析：
如图4所示，为本发明实施例所述方法中第一次数据关联阈值选取折线图，在跟踪方法中数据关联匹配的得分大于阈值则认为匹配成功。阈值设置分别从0.1至0.9进行了跟踪实验，横轴代表第一次数据关联匹配阈值，纵轴表示跟踪性能百分比。本实施例更注重跟踪性能的MOTA及IDF1的结果，带有较大矩形点的折线表示评价指标MOTA，带有较小矩形点的折线代表评价指标IDF1。由图4可见，在相同的运行环境下，当第一次数据关联匹配阈值选取0.6时，MOTA达到最优，且远超过其他阈值的跟踪准确度。因此，第一次数据关联匹配阈值选取0.6。
如图5所示，为本发明实施例所述方法中第二次数据关联阈值选取折线图。阈值设置分别从0.1至0.9进行了跟踪实验，横轴代表第二次数据关联匹配阈值，纵轴表示跟踪性能百分比。本实施例更注重跟踪性能的MOTA及IDF1的结果，带有较大矩形点的折线表示评价指标MOTA，带有较小矩形点的折线代表评价指标IDF1。由图5可见，在相同的运行环境下，当第二次数据关联匹配阈值选取0.4时，MOTA达到最优，且远超过其他阈值的跟踪准确度，同时，评价指标IDF1达到较高百分比。因此，第二次数据关联匹配阈值选取0.4。
为了验证方法的有效性，在MOT Challenge官网的MOT16、MOT17和MOT20数据集进行实验。使用MOT数据集标准评价指标，包括MOTA、IDF1、MT、ML、FP、FN、ID Sw.等，来评估跟踪性能的不同方面。MOTA基于FP、FN和ID Sw.进行计算，FN为漏检表示GT的box没有检测出来的情况，FP为误检表示检测出来的box不在GT里面的情况，ID Sw.为ID发生变化的次数，ID Sw.值越大表示跟踪出来的轨迹与GT的偏离就越多。MOTA同时考虑了FN、FP、ID S三个指标，因此MOTA更偏向于关注多目标跟踪的检测性能。IDF1中的TP、FP、FN还考虑了ID身份信息，因此IDF1能更好的衡量多目标跟踪器对某一目标跟踪的ID身份信息维持能力。
在实验训练中，本实施例使用YOLOX作为主干网络，输入图像的尺寸为1088×608，特征图的尺寸为272×152。使用Pytorch框架在两个GeForce RTX 2080 Ti图形处理器(GPU)上，进行了30轮的训练，训练步骤大约需要25个小时。本实施例使用计算机操作系统为Ubuntu 18.04，中央处理器(CPU)型号为Intel core i9-10900K。搭建运行环境PyTorch版本号1.7.0，torchvision版本号为0.8.0，CUDA版本号为10.2。
在MOT16数据集的官方挑战中，与其他先进方法进行了比较，对比实验结果见表1。本实施例在MOTA、IDF1指标上取得了最好的性能，达到了78.0%的跟踪准确率及78.3%的IDF1值。这说明该方法在目标检测和目标相关性能方面都取得了良好的效果。MT命中的指针比其他跟踪方法要高得多，这意味着跟踪在至少80%的时间内成功匹配，占所有跟踪目标的比例更高。FN指数性能优于其他短镜头跟踪，这意味着本实施例方法可以实现更多的目标真值检测，减少漏检检测。
表1 在MOT16数据集与先进方法对比实验
在MOT17数据集上与其他先进方法进行了比较，见表2。本实施例方法在MOT17上实现了MOTA指标达到78.5，IDF1指标达到78.0。为了提升跟踪性能本实施例提供了应对局部遮挡、严重遮挡及完全遮挡情况的三个模块。与FairMOT方法相比在MOTA指标上提升了5.3%，在IDF1指标上提升了5.7%。与其他TraDes、MOTR、CorrTrack等先进方法相比，MOTA、MT、FN指标取得了更好的性能。
表2 在MOT17数据集与先进方法对比实验
与MOT17不同的是，MOT20人群更加密集。在MOT20的测试集中，一帧图像便有170位行人同时出现。在MOT20数据集上与其他先进方法进行了比较，见表3。本实施例方法在MOT20数据集中实现了MOTA指标达到72.8%，IDF1指标达到73.4%。与其他先进方法相比，本实施例方法在IDF1、MT、ML、FN多个指标达到较好性能，并在MOTA与FP指标上保持了可比性，这表明本实施例为了解决多种遮挡情况问题而提供了的方法是有效的。
表3 在MOT20数据集与先进方法对比实验
如图6所示，为本发明跟踪MOT17测试集官网反馈可视化结果。在MOT17-08数据集第143帧的截图中可以发现目标在严重遮挡的情况下历史轨迹没变，第226帧可以看出当目标严重遮挡出现时可以最快跟踪目标，这验证了本实施例基于邻边图关系的二次多目标跟踪方法的有效性。通过MOT17-03数据集轨迹ID为47的目标可以发现，当她发生大面积频繁遮挡甚至完全遮挡时，本实施例方法可以进行细微变化的目标检测并保持原有跟踪轨迹ID不变，这证明本实施例假设框持续跟踪机制的有效性。
如图7所示，本发明跟踪MOT20测试集官网反馈可视化结果。在MOT20-07数据集ID为112的目标经历了局部遮挡、严重遮挡、完全遮挡后再次出现，本实施例方法可以持续跟踪该目标，再严重遮挡情况想成功检测并保持身份ID不变。在其他可视化结果可以发现，本实施例方法不仅能够适应局部遮挡的情况，还可以适应严重遮挡、完全遮挡以及长期遮挡等情况来进行目标跟踪，并恢复严重遮挡目标检测，保持目标轨迹身份不变。
综上，本次发明可解决在严重遮挡及完全遮挡情况下的多目标跟踪问题。同时本发明所提方法具备可移植性，方便应用与现有多目标跟踪方法上，优化大部分多目标跟踪方法性能。由于大部分多目标跟踪方法依赖特征，在应对严重遮挡及完全遮挡情况下性能较差。本发明着力解决了在严重遮挡及完全遮挡下多目标跟踪问题，所提方法可嵌入其他多目标跟踪方法中。
Claims (5)
1.一种基于轨迹预测的抗遮挡多目标跟踪方法，其特征在于包括如下步骤：
通过轨迹预测得到目标预测框，进行一般场景下多目标跟踪，作为第一次关联匹配；
若第一次关联匹配得分达到预设的阈值，则完成本次跟踪任务；若第一次关联匹配得分未达到预设的阈值，则再进行第二次关联匹配；
第二次关联匹配用于针对严重遮挡及完全遮挡的情况，通过使用基于邻边图关系的二次多目标跟踪方法进行关联匹配；
若两次关联匹配均未能匹配成功，则保留历史轨迹信息和目标特征，通过假设框持续跟踪机制继续对目标进行跟踪；
所述基于邻边图关系的二次多目标跟踪方法包括如下步骤：
从检测中提取特征，然后利用这些特征构造检测图，其中检测图结点为当前帧的检测特征；
构造轨迹图的构造步骤类似于检测图，轨迹图中的结点对应当前帧之前的匹配生成的轨迹，不同的是轨迹图节点特征是对轨迹中的所有检测特征进行平均得到；
在完成结点特征的初始化之后，使用交叉图卷积网络对结点特征进行特征增强；
最后使用二分图匹配公式进行检测无向图和轨迹无向图的图匹配计算，实现两个无向图边与边及结点与结点之间的相似度计算；
所述假设框持续跟踪机制包括如下步骤：先将确定轨迹预测框作为目标假设框持续跟踪δ帧，当目标在此期间再次出现在视野中，则保持ID不变，并认为假设正确，通过轨迹修复可描绘完整的跟踪目标轨迹；若在δ帧中目标未再次出现，则丢弃假设轨迹与假设框，同时丢弃该目标的特征信息，以保证跟踪系统运行速度。
2.根据权利要求1所述的基于轨迹预测的抗遮挡多目标跟踪方法，其特征在于：
构造顶点亲和性矩阵B中的每个元素是检测图顶点特征与轨迹图顶点特征之间的余弦相似度：
Bi，j＝hi Thj (1)
式中，hi表示检测图顶点特征，hj表示轨迹图顶点特征，hi T表示hi的转置；
构造边缘亲和矩阵Me的每个元素是检测图与轨迹图中边特征之间的余弦相似度:
式中，hi，i′表示检测图中的(i，i′)的边特征，hj，j′表示轨迹图中(j，j′)的边特征，表示hi，i′的转置。
3.根据权利要求1所述的基于轨迹预测的抗遮挡多目标跟踪方法，其特征在于，所述假设框持续跟踪机制中，当目标严重遮挡出现时，将上一帧的假设框与目标位置建模为无向图，与当前帧检测无向图进行匹配，实现目标再次开始出现时严重遮挡无明显特征时的跟踪。
4.根据权利要求1所述的基于轨迹预测的抗遮挡多目标跟踪方法，其特征在于，所述δ＝50。
5.根据权利要求1所述的基于轨迹预测的抗遮挡多目标跟踪方法，其特征在于：对于每个轨迹Tt，计算该轨迹未成功匹配帧数，该帧数当轨迹Tt与检测成功匹配时置为0；若连续丢失匹配的轨迹帧数超过阈值，则丢弃该轨迹信息；对每个不能成功匹配到历史轨迹的高分检测框，分配新ID信息，初始为不确定态的；在此期间，若连续三帧成功关联，则转为确定态的，否则将被删除；仅有确定态的轨迹才会使用假设持续跟踪机制，等待目标再次出现有对应检测与轨迹成功关联，以恢复完整的跟踪轨迹。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310704417.5A CN116681729B (zh) | 2023-06-14 | 2023-06-14 | 基于轨迹预测的抗遮挡多目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310704417.5A CN116681729B (zh) | 2023-06-14 | 2023-06-14 | 基于轨迹预测的抗遮挡多目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116681729A CN116681729A (zh) | 2023-09-01 |
| CN116681729B true CN116681729B (zh) | 2024-01-26 |
Family
ID=87785274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310704417.5A Active CN116681729B (zh) | 2023-06-14 | 2023-06-14 | 基于轨迹预测的抗遮挡多目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116681729B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173221B (zh) * | 2023-09-19 | 2024-04-19 | 浙江大学 | 一种基于真实性分级与遮挡恢复的多目标跟踪方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180080004A (ko) * | 2017-01-03 | 2018-07-11 | 국방과학연구소 | 가림환경에서의 표적 형상정보를 활용한 표적 추적 방법 |
| CN110853078A (zh) * | 2019-10-30 | 2020-02-28 | 同济大学 | 一种基于遮挡对的在线多目标跟踪方法 |
| CN113723190A (zh) * | 2021-07-29 | 2021-11-30 | 北京工业大学 | 一种面向同步移动目标的多目标跟踪方法 |
| CN114724059A (zh) * | 2022-03-14 | 2022-07-08 | 南京邮电大学 | 一种二次关联低分检测框的链式多目标跟踪方法 |
| CN114913386A (zh) * | 2021-01-29 | 2022-08-16 | 北京图森智途科技有限公司 | 一种多目标跟踪模型的训练方法以及多目标跟踪方法 |
| CN115830075A (zh) * | 2023-02-20 | 2023-03-21 | 武汉广银飞科技发展有限公司 | 一种面向行人多目标跟踪的分级关联匹配方法 |
| CN115984320A (zh) * | 2022-11-19 | 2023-04-18 | 武汉图科智能科技有限公司 | 基于长短期运动预测和有序数据关联的多目标跟踪方法 |
| CN116074642A (zh) * | 2023-03-28 | 2023-05-05 | 石家庄铁道大学 | 基于多目标处理单元的监控视频浓缩方法 |
| CN116128932A (zh) * | 2023-04-18 | 2023-05-16 | 无锡学院 | 一种多目标跟踪方法 |
| CN116152292A (zh) * | 2023-02-13 | 2023-05-23 | 东南大学 | 一种基于三次匹配的多类别多目标跟踪方法 |
-
2023
- 2023-06-14 CN CN202310704417.5A patent/CN116681729B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180080004A (ko) * | 2017-01-03 | 2018-07-11 | 국방과학연구소 | 가림환경에서의 표적 형상정보를 활용한 표적 추적 방법 |
| CN110853078A (zh) * | 2019-10-30 | 2020-02-28 | 同济大学 | 一种基于遮挡对的在线多目标跟踪方法 |
| CN114913386A (zh) * | 2021-01-29 | 2022-08-16 | 北京图森智途科技有限公司 | 一种多目标跟踪模型的训练方法以及多目标跟踪方法 |
| CN113723190A (zh) * | 2021-07-29 | 2021-11-30 | 北京工业大学 | 一种面向同步移动目标的多目标跟踪方法 |
| CN114724059A (zh) * | 2022-03-14 | 2022-07-08 | 南京邮电大学 | 一种二次关联低分检测框的链式多目标跟踪方法 |
| CN115984320A (zh) * | 2022-11-19 | 2023-04-18 | 武汉图科智能科技有限公司 | 基于长短期运动预测和有序数据关联的多目标跟踪方法 |
| CN116152292A (zh) * | 2023-02-13 | 2023-05-23 | 东南大学 | 一种基于三次匹配的多类别多目标跟踪方法 |
| CN115830075A (zh) * | 2023-02-20 | 2023-03-21 | 武汉广银飞科技发展有限公司 | 一种面向行人多目标跟踪的分级关联匹配方法 |
| CN116074642A (zh) * | 2023-03-28 | 2023-05-05 | 石家庄铁道大学 | 基于多目标处理单元的监控视频浓缩方法 |
| CN116128932A (zh) * | 2023-04-18 | 2023-05-16 | 无锡学院 | 一种多目标跟踪方法 |
Non-Patent Citations (3)
| Title |
|---|
| Research on target detection and tracking algorithm for campus driverless vehicle based on improved DeepSORT;Jin, J. 等;《 2022 China Automation Congress (CAC)》;第1304-1308页 * |
| 基于多信息融合的多目标跟踪方法研究;张静;王文杰;;计算机测量与控制(09);第239-243页 * |
| 遮挡判别下的多尺度相关滤波跟踪算法;刘万军;张壮;姜文涛;张晟;;中国图象图形学报(12);第17-28页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116681729A (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qu et al. | Focus on local: Detecting lane marker from bottom up via key point | |
| Wang et al. | Tracklet association by online target-specific metric learning and coherent dynamics estimation | |
| CN102999920B (zh) | 基于最近邻分类器和均值漂移的目标跟踪方法 | |
| CN116681729B (zh) | 基于轨迹预测的抗遮挡多目标跟踪方法 | |
| CN106952293B (zh) | 一种基于非参数在线聚类的目标跟踪方法 | |
| CN105139420A (zh) | 一种基于粒子滤波和感知哈希的视频目标跟踪方法 | |
| CN111798483B (zh) | 一种抗遮挡行人跟踪的方法、装置及存储介质 | |
| CN108986143B (zh) | 一种视频中目标检测跟踪方法 | |
| CN110120064A (zh) | 一种基于互强化与多注意机制学习的深度相关目标跟踪算法 | |
| CN114155284A (zh) | 基于多目标行人场景的行人跟踪方法、装置、设备及介质 | |
| CN116883458B (zh) | 基于Transformer并融合以观测为中心运动特征的多目标跟踪系统 | |
| CN109448027A (zh) | 一种基于算法融合的自适应、持久的运动目标识别方法 | |
| Wang et al. | Online multiple object tracking via flow and convolutional features | |
| CN111161325A (zh) | 基于卡尔曼滤波与lstm的三维多目标跟踪方法 | |
| CN114092517A (zh) | 基于传统和深度学习算法的多目标跟踪方法 | |
| Wang et al. | Multiple-human tracking by iterative data association and detection update | |
| Chen et al. | Motion propagation detection association for multi-target tracking in wide area aerial surveillance | |
| CN115984320A (zh) | 基于长短期运动预测和有序数据关联的多目标跟踪方法 | |
| CN111798486A (zh) | 基于人体运动预测的多视角人体运动捕捉方法 | |
| Liu et al. | Online multi-object tracking using hierarchical constraints for complex scenarios | |
| CN109472813A (zh) | 一种基于背景加权的Mean Shift算法和Kalman预测融合的遮挡跟踪方法 | |
| CN101950425A (zh) | 一种基于运动行为检测的智能跟踪算法 | |
| CN117173217A (zh) | 一种基于多尺度通道特征聚合的视频多目标跟踪方法 | |
| CN116245913A (zh) | 基于层次化上下文引导的多目标跟踪方法 | |
| CN115272967A (zh) | 一种跨摄像机行人实时跟踪识别方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |