CN109615641A - 基于kcf算法的多目标行人跟踪系统及跟踪方法 - Google Patents
基于kcf算法的多目标行人跟踪系统及跟踪方法 Download PDFInfo
- Publication number
- CN109615641A CN109615641A CN201811407750.5A CN201811407750A CN109615641A CN 109615641 A CN109615641 A CN 109615641A CN 201811407750 A CN201811407750 A CN 201811407750A CN 109615641 A CN109615641 A CN 109615641A
- Authority
- CN
- China
- Prior art keywords
- target
- model
- module
- tracking
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 124
- 239000011121 hardwood Substances 0.000 claims description 45
- 238000012360 testing method Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 19
- 238000007689 inspection Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000013442 quality metrics Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 101000578283 Oryza sativa subsp. japonica Naringenin 7-O-methyltransferase Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于KCF算法的多目标行人跟踪系统及跟踪方法，系统包括初始化模块、单目标跟踪KCF模块、跟踪与检测匹配模块、目标移除模块、打印模块和目标新增模块；所述初始化模块，用于初始化所有变量；所述单目标跟踪KCF模块，用于对单个目标进行跟踪；所述跟踪与检测匹配模块，对每个目标的跟踪结果与画面中的检测目标进行匹配；所述目标移除模块，用于判定目标是否已经离开画面；所述打印模块，用于对所述跟踪与检测匹配模块的匹配结果，在图上画出行人的边框以及其id信息；所述目标新增模块，用于判定检测目标是否为新出现的目标。本发明基于单目标跟踪算法KCF设计出一个多目标跟踪的系统框架，实时地提供各个目标的运动轨迹以及id信息。
Description
技术领域
本发明属于图像处理的技术领域，涉及一种基于KCF算法的多目标行人跟踪系统及跟踪方法。
背景技术
目标跟踪算法可以自动提取和分析轨迹特征，包括单目标跟踪和多目标跟踪。单目标跟踪的研究较为广泛，当前解决的相对更好，可以通过对目标的表观和运动建模，典型的如Mean shift算法，利用卡尔曼滤波、粒子滤波进行状态预测，KCF相关性滤波算法等。而多目标跟踪问题就要复杂得多，除了单目标跟踪中存在的物体形变、背景干扰等问题因素，还需要解决目标间的关联匹配。多目标跟踪通常需要解决以下问题：1.如何判断新目标的出现、老目标的消失；2对各个跟踪轨迹与检测结果进行相似性匹配，即区分各个目标；3跟踪目标间的交互和处理；4当跟踪目标再次出现，如何进行再识别问题。现有的学术上的多目标跟踪方法大多属于“tracking-by-detection”的方法，即先得到各目标的检测结果，再与各轨迹进行链接匹配。从算法形式上来看，可分成确定性推导的跟踪和概率统计最大化的跟踪，如多假设的多目标跟踪算法(MHT)，基于检测可信度的粒子滤波算法，NOMT，deep-sort等。
现有技术中的多目标跟踪算法大多设计得过于复杂、笨重，速度慢。而且这些算法的评测是在学术公开的数据集上进行，容易对这些固定数据集过于拟合，而在实际应用中效果不太理想。而在工程落地上，比起跟踪准确性的轻微提升，实际业务会更关注算法的速度与简单轻便性。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供基于KCF算法的多目标行人跟踪系统及跟踪方法，本发明主要基于单目标跟踪算法KCF设计出一个多目标跟踪的系统，实时地提供各个目标的运动轨迹以及id信息。
为了达到上述目的，本发明采用以下技术方案：
本发明基于KCF算法的多目标行人跟踪系统，包括初始化模块、单目标跟踪KCF模块、跟踪与检测匹配模块、目标移除模块、打印模块和目标新增模块；
所述初始化模块，用于初始化所有变量；
所述单目标跟踪KCF模块，用于对单个目标进行跟踪；
所述跟踪与检测匹配模块，对每个目标的跟踪结果与画面中的检测目标进行匹配，即区分各个目标，将各目标与跟踪轨迹链接；
所述目标移除模块，用于判定目标是否已经离开画面；
所述打印模块，根据之前的匹配结果，从打印队列中逐个取出检测框与其对应的目标id，并在图中打印出来，即将图中的行人用检测框框出来且添加上其对应id；
所述目标新增模块，用于判定检测目标是否为新出现的目标。
作为优选的技术方案，所属初始化模块中，初始化的变量包括将视频转换成图片形式，用行人检测器获取每帧图片的行人边框坐标，初始化模型容器、状态管理器。
作为优选的技术方案，所述单目标跟踪KCF模块，基于KCF算法使用目标周围的区域的循环矩阵采集正负样本，利用脊回归训练目标检测器，并利用循环矩阵在傅立叶空间可对角化的性质将矩阵的运算转化为向量的Hadamad积，降低了运算量；所述单目标跟踪KCF 模块包含初始化功能与跟踪功能，当输入参数为两个，即“当前帧图片”、“目标的检测结果”时，执行初始化功能，模块输出为“目标的初始模型”；而当输入参数为三个，即“当前桢图片”、“上一桢跟踪到的目标的边框坐标”、“该目标的模型”时，执行跟踪功能，模块的输出为“当前桢跟踪到的目标的边框坐标”、“该目标更新后的模型”。
作为优选的技术方案，所述跟踪匹配模块中跟踪匹配的过程为：
首先初始化模型与目标检测结果的状态管理器，然后遍历容器里的模型，对每个模型都使用单目标跟踪KCF模块里的跟踪功能进行跟踪预测，即输入当前桢图片、上一桢跟踪到的目标的边框坐标、该目标的模型到单目标跟踪KCF模块，得到当前桢跟踪到的目标的边框坐标与该目标更新后的模型，并将更新后的模型替换掉容器中的原模型；
然后再将当前桢跟踪到的目标的边框坐标与当前图中所有目标检测结果进行匹配对比，检查该目标的跟踪结果是否存在于画面中，具体为计算两个边框区域的overlap重合覆盖率，若overlap大于设定的阈值，则认为匹配成功，跟踪结果与检测框是同一个目标，将检测框与该目标对应的id添加到打印列表中；而对于匹配失败的情况，则需更新模型与目标检测结果的状态管理器，记录匹配失败的模型与检测框。
作为优选的技术方案，所述目标移除模块中，移除的具体操作为：
先利用模型状态管理器挑出匹配失败的模型，作为已离开目标的候选项；
模型匹配失败，说明该目标的跟踪结果在图中没有检测框与其匹配相关，并进行进一步安全检查，连续与后面n桢的检测框计算overlap，若overlap都小于设定的阈值，才真正认为该目标已经离开画面，并且将该目标所对应的模型从容器中移除。
作为优选的技术方案，所述目标新增模块中，判定检测目标是否为新出现的目标的方法为：
首先利用检测框状态管理器挑出匹配失败的检测框，将其作为新出现的目标的候选项；匹配失败的检测框，说明其与所有模型对应的目标的跟踪结果都没有匹配相关，进一步增加了一步安全检查，计算该检测框与后面n桢的跟踪结果的overlap，若overlap都小于阈值，则说明该检测框为新出现的目标；若为新出现的目标，则利用利用单目标跟踪KCF模块的初始化功能，输入当前帧图片与该检测框，来初始化该新目标的模型，并将该新模型放进容器内。
本发明基于KCF算法的多目标行人跟踪系统的跟踪方法方法，包括下述步骤：
S1、进行初始化操作，包括将视频切成每帧图片的形式，并用行人检测器获取每帧图片的所有行人目标的检测结果；并新建一个模型容器，用来保存当前跟踪目标的跟踪模型；
S2遍历每一帧图片进行操作，若为第一张图片，即开始进入画面，需对图片中的所有目标初始化其跟踪模型；
S3若不是第一张图片，则需要对当前容器中所保存的所有跟踪目标进行跟踪预测，并将跟踪结果与图中的检测结果匹配；
S4在对所有目标的跟踪结果与检测框匹配完成后，需要检查有哪些老目标已经离开了画面；具体操作为：
先利用模型状态管理器挑出匹配失败的模型，作为已离开目标的候选项；对于匹配失败的模型所对应的目标，并不一定是已经离开的画面的目标，为了避免误检的情况，增加了一步安全检查，连续与后面n桢的检测框计算overlap，若overlap都小于阈值，则最终认为该目标已经离开画面，并且将该目标所对应的模型从容器中移除；
S5、根据之前的匹配结果，从打印队列中逐个取出检测框与其对应的目标id，并在图中打印出来，即将图中的行人用检测框框出来且添加上其对应id；
S6、检查画面中出现了哪些新的目标；具体为：
利用检测框状态管理器挑出匹配失败的检测框，将其作为新出现的目标的候选项；匹配失败的检测框，说明其与所有模型对应的目标的跟踪结果都没有匹配相关，进一步增加了一步安全检查，计算该检测框与后面n桢的跟踪结果的overlap，若overlap都小于设定阈值，则说明该检测框为新出现的目标。
根据权利要求7所述的所述基于KCF算法的多目标行人跟踪系统的跟踪方法方法，其特征在于，所述步骤S2具体为：
用单目标跟踪KCF模块的初始化功能，输入当前帧图片与该目标的检测结果，即可得到该目标的初始模型，再将图片中的所有目标的初始化模型添加到容器中。
作为优选的技术方案，步骤S3具体为：
先初始化模型与目标检测结果的状态管理器，然后遍历容器里的模型，对每个模型都使用单目标跟踪KCF模块里的跟踪功能进行跟踪预测，即输入当前桢图片、上一桢跟踪到的目标的边框坐标、该目标的模型到单目标跟踪KCF模块，得到当前桢跟踪到的目标的边框坐标与该目标更新后的模型，并将更新后的模型替换掉容器中的原模型；
然后再将当前桢跟踪到的目标的边框坐标与当前图中所有目标检测结果进行匹配对比，检查该目标的跟踪结果是否存在于画面中，具体为计算两个边框区域的overlap重合覆盖率，若overlap大于一定阈值，则认为匹配成功，跟踪结果与检测框是同一个目标，将检测框与该目标对应的id添加到打印列表中；而对于匹配失败的情况，则需更新模型与目标检测结果的状态管理器，记录匹配失败的模型与检测框。
作为优选的技术方案，所述步骤S6中，若判断为新出现的目标，则利用利用单目标跟踪 KCF模块的初始化功能，输入当前帧图片与该检测框，来初始化该新目标的模型，并将该新模型放进容器内。
本发明与现有技术相比，具有如下优点和有益效果：
本发明的优点是简单轻便、快速有效，且框架稳定统一，可像抽插接口般在系统中灵活选用不同的单目标跟踪算法。在不改变该系统框架的情况下，可随时换上当前新提出的、效果更好的单目标跟踪算法，简单轻便。且得益于单目标跟踪算法的快速性，整个多目标跟踪系统运行速度也很快，能很好的应用在工程落地上。
附图说明
图1(a)、图1(b)分别是单目标跟踪KCF模块初始化功能和跟踪功能的模块图；
图2是本发明基于KCF算法的多目标行人跟踪系统的模块图；
图3是本发明基于KCF算法的多目标行人跟踪方法的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图2所示，本发明基于KCF算法的多目标行人跟踪系统，包括初始化模块、单目标跟踪KCF模块、跟踪与检测匹配模块、目标移除模块、打印模块和目标新增模块；
所述初始化模块，用于初始化所有变量；所属初始化模块中，初始化的变量包括将视频转换成图片形式，用行人检测器获取每帧图片的行人边框坐标，初始化模型容器、状态管理器。
所述单目标跟踪KCF模块，用于对单个目标进行跟踪；如图2所示，所述单目标跟踪KCF模块，基于单目标跟踪算法作为多目标跟踪系统的基础，是该系统的基础部分。KCF算法使用目标周围的区域的循环矩阵采集正负样本，利用脊回归训练目标检测器，并利用循环矩阵在傅立叶空间可对角化的性质将矩阵的运算转化为向量的Hadamad积，大大降低了运算量，提高了算法的运算速度。所述单目标跟踪KCF模块包含初始化功能与跟踪功能，当输入参数为两个，即“当前帧图片”、“目标的检测结果(边框坐标)”时，执行初始化功能，模块输出为“目标的初始模型”；而当输入参数为三个，即“当前桢图片”、“上一桢跟踪到的目标的边框坐标”、“该目标的模型”时，执行跟踪功能，模块的输出为“当前桢跟踪到的目标的边框坐标”、“该目标更新后的模型”。如图1(a)图1(b)所示。
所述跟踪与检测匹配模块，对每个目标的跟踪结果与画面中的检测目标进行匹配，即区分各个目标，将各目标与跟踪轨迹链接；所述跟踪匹配模块中跟踪匹配的过程为：
首先初始化模型与目标检测结果的状态管理器(记录模型或目标检测结果的匹配状态)，然后遍历容器里的模型，对每个模型都使用单目标跟踪KCF模块里的跟踪功能进行跟踪预测，即输入当前桢图片、上一桢跟踪到的目标的边框坐标、该目标的模型到单目标跟踪KCF模块，得到当前桢跟踪到的目标的边框坐标与该目标更新后的模型，并将更新后的模型替换掉容器中的原模型。然后再将当前桢跟踪到的目标的边框坐标与当前图中所有目标检测结果进行匹配对比，检查该目标的跟踪结果是否存在于画面中，具体为计算两个边框区域的overlap(重合覆盖率)，若overlap大于一定阈值(这里设为0.4)，则认为匹配成功，跟踪结果与检测框是同一个目标，将检测框与该目标对应的id添加到打印列表中。而对于匹配失败的情况，则需更新模型与目标检测结果的状态管理器，记录匹配失败的模型与检测框。
所述目标移除模块，用于判定目标是否已经离开画面；具体过程为：
先利用模型状态管理器挑出匹配失败的模型，作为已离开目标的候选项。模型匹配失败，说明该目标的跟踪结果在图中没有检测框与其匹配相关，而导致该情况的发生存在两种可能，一种是目标已经离开了画面，另一种则是误检，目标在画面中，可是因为跟踪结果或检测结果质量不好，导致双方overlap过低或根本不存在overlap。因此，匹配失败的模型所对应的目标，并不一定是已经离开的画面的目标，为了避免误检的情况，我们增加了一步安全检查，连续与后面n桢的检测框计算overlap(系统中n设置为7)，若overlap都小于阈值，才真正认为该目标已经离开画面，并且将该目标所对应的模型从容器中移除。
所述打印模块，根据之前的匹配结果，从打印队列中逐个取出检测框与其对应的目标id，并在图中打印出来，即将图中的行人用检测框框出来且添加上其对应id。
所述目标新增模块，用于判定检测目标是否为新出现的目标；判断方法具体为：
首先利用检测框状态管理器挑出匹配失败的检测框，将其作为新出现的目标的候选项。匹配失败的检测框，说明其与所有模型对应的目标的跟踪结果都没有匹配相关，导致该情况的发生存在两种可能，一种是该检测框为新出现的目标，另一种是误检，即实际上该目标为老目标，因为跟踪结果的质量不好，导致双方overlap过低或根本不存在overlap。因此，我们在这里增加了一步安全检查，计算该检测框与后面n桢的跟踪结果的overlap，若overlap 都小于阈值，则说明该检测框为新出现的目标。若为新出现的目标，则利用利用单目标跟踪 KCF模块的初始化功能，输入当前帧图片与该检测框，来初始化该新目标的模型，并将该新模型放进容器内。
如图3所示，本发明基于KCF算法的多目标行人跟踪系统的方法的主要思想为：先创建一个容器，用来保存视频中出现的目标的模型和前后帧的边框坐标；每对一帧图片进行跟踪时，依次从容器中取出模型与上一帧目标的边框坐标，并联合当前图片输入到KCF单目标跟踪KCF模块，将得到的跟踪结果与行人检测结果作overlap比较，若overlap(两区域覆盖率) 大于一定阈值，则判定为同一个，匹配成功；若容器中的所有模型都无法与行人检测结果匹配，则判定为该目标已离开画面(改进：为了防止误检，再取后面n帧来匹配，若还是无法匹配，才判定目标离开画面。)；若当前帧的行人检测目标与容器中的所有模型都不匹配，则判定该目标位新出现的目标，新建模型并放进容器内。
如图3所示，本发明基于KCF算法的多目标行人跟踪系统的方法，具体步骤如下：
(1)先进行初始化操作，包括将视频切成每帧图片的形式，并用行人检测器获取每帧图片的所有行人目标的检测结果(边框坐标)。新建一个模型容器，用来保存当前跟踪目标的跟踪模型。
(2)遍历每一帧图片进行操作，若为第一张图片，即开始进入画面，需对图片中的所有目标初始化其跟踪模型，具体方式为利用单目标跟踪KCF模块的初始化功能，输入当前帧图片与该目标的检测结果(边框坐标)，即可得到该目标的初始模型，再将图片中的所有目标的初始化模型添加到容器中。
(3)若不是第一张图片，则需要对当前容器中所保存的所有跟踪目标进行跟踪预测，并将跟踪结果与图中的检测结果匹配，具体为先初始化模型与目标检测结果的状态管理器(记录模型或目标检测结果的匹配状态)，然后遍历容器里的模型，对每个模型都使用单目标跟踪 KCF模块里的跟踪功能进行跟踪预测，即输入当前桢图片、上一桢跟踪到的目标的边框坐标、该目标的模型到单目标跟踪KCF模块，得到当前桢跟踪到的目标的边框坐标与该目标更新后的模型，并将更新后的模型替换掉容器中的原模型。然后再将当前桢跟踪到的目标的边框坐标与当前图中所有目标检测结果进行匹配对比，检查该目标的跟踪结果是否存在于画面中，具体为计算两个边框区域的overlap(重合覆盖率)，若overlap大于一定阈值(这里设为0.4)，则认为匹配成功，跟踪结果与检测框是同一个目标，将检测框与该目标对应的id添加到打印列表中。而对于匹配失败的情况，则需更新模型与目标检测结果的状态管理器，记录匹配失败的模型与检测框。
(4)在对所有目标的跟踪结果与检测框匹配完成后，需要检查有哪些老目标已经离开了画面。具体操作为先利用模型状态管理器挑出匹配失败的模型，作为已离开目标的候选项。模型匹配失败，说明该目标的跟踪结果在图中没有检测框与其匹配相关，而导致该情况的发生存在两种可能，一种是目标已经离开了画面，另一种则是误检，目标在画面中，可是因为跟踪结果或检测结果质量不好，导致双方overlap过低或根本不存在overlap。因此，匹配失败的模型所对应的目标，并不一定是已经离开的画面的目标，为了避免误检的情况，我们增加了一步安全检查，连续与后面n桢的检测框计算overlap(系统中n设置为7)，若overlap 都小于阈值，才真正认为该目标已经离开画面，并且将该目标所对应的模型从容器中移除。
(5)根据之前的匹配结果，从打印队列中逐个取出检测框与其对应的目标id，并在图中打印出来，即将图中的行人用检测框框出来且添加上其对应id。
(6)接下来则是检查画面中出现了哪些新的目标。具体为先利用检测框状态管理器挑出匹配失败的检测框，将其作为新出现的目标的候选项。匹配失败的检测框，说明其与所有模型对应的目标的跟踪结果都没有匹配相关，导致该情况的发生也存在两种可能，一种是该检测框为新出现的目标，另一种是误检，即实际上该目标为老目标，因为跟踪结果的质量不好，导致双方overlap过低或根本不存在overlap。因此，我们在这里也增加了一步安全检查，计算该检测框与后面n桢的跟踪结果的overlap，若overlap都小于阈值，则说明该检测框为新出现的目标。若为新出现的目标，则利用利用单目标跟踪KCF模块的初始化功能，输入当前帧图片与该检测框，来初始化该新目标的模型，并将该新模型放进容器内。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.基于KCF算法的多目标行人跟踪系统，其特征在于，包括初始化模块、单目标跟踪KCF模块、跟踪与检测匹配模块、目标移除模块、打印模块和目标新增模块；
所述初始化模块，用于初始化所有变量；
所述单目标跟踪KCF模块，用于对单个目标进行跟踪；
所述跟踪与检测匹配模块，对每个目标的跟踪结果与画面中的检测目标进行匹配，即区分各个目标，将各目标与跟踪轨迹链接；
所述目标移除模块，用于判定目标是否已经离开画面；
所述打印模块，根据之前的匹配结果，从打印队列中逐个取出检测框与其对应的目标id，并在图中打印出来，即将图中的行人用检测框框出来且添加上其对应id；
所述目标新增模块，用于判定检测目标是否为新出现的目标。
2.根据权利要求1所述基于KCF算法的多目标行人跟踪系统，其特征在于，所属初始化模块中，初始化的变量包括将视频转换成图片形式，用行人检测器获取每帧图片的行人边框坐标，初始化模型容器、状态管理器。
3.根据权利要求1所述基于KCF算法的多目标行人跟踪系统，其特征在于，所述单目标跟踪KCF模块，基于KCF算法使用目标周围的区域的循环矩阵采集正负样本，利用脊回归训练目标检测器，并利用循环矩阵在傅立叶空间可对角化的性质将矩阵的运算转化为向量的Hadamad积，降低了运算量；所述单目标跟踪KCF模块包含初始化功能与跟踪功能，当输入参数为两个，即“当前帧图片”、“目标的检测结果”时，执行初始化功能，模块输出为“目标的初始模型”；而当输入参数为三个，即“当前桢图片”、“上一桢跟踪到的目标的边框坐标”、“该目标的模型”时，执行跟踪功能，模块的输出为“当前桢跟踪到的目标的边框坐标”、“该目标更新后的模型”。
4.根据权利要求1所述基于KCF算法的多目标行人跟踪系统，其特征在于，所述跟踪匹配模块中跟踪匹配的过程为：
首先初始化模型与目标检测结果的状态管理器，然后遍历容器里的模型，对每个模型都使用单目标跟踪KCF模块里的跟踪功能进行跟踪预测，即输入当前桢图片、上一桢跟踪到的目标的边框坐标、该目标的模型到单目标跟踪KCF模块，得到当前桢跟踪到的目标的边框坐标与该目标更新后的模型，并将更新后的模型替换掉容器中的原模型；
然后再将当前桢跟踪到的目标的边框坐标与当前图中所有目标检测结果进行匹配对比，检查该目标的跟踪结果是否存在于画面中，具体为计算两个边框区域的overlap重合覆盖率，若overlap大于设定的阈值，则认为匹配成功，跟踪结果与检测框是同一个目标，将检测框与该目标对应的id添加到打印列表中；而对于匹配失败的情况，则需更新模型与目标检测结果的状态管理器，记录匹配失败的模型与检测框。
5.根据权利要求1所述基于KCF算法的多目标行人跟踪系统，其特征在于，所述目标移除模块中，移除的具体操作为：
先利用模型状态管理器挑出匹配失败的模型，作为已离开目标的候选项；
模型匹配失败，说明该目标的跟踪结果在图中没有检测框与其匹配相关，并进行进一步安全检查，连续与后面n桢的检测框计算overlap，若overlap都小于设定的阈值，才真正认为该目标已经离开画面，并且将该目标所对应的模型从容器中移除。
6.根据权利要求1所述基于KCF算法的多目标行人跟踪系统，其特征在于，所述目标新增模块中，判定检测目标是否为新出现的目标的方法为：
首先利用检测框状态管理器挑出匹配失败的检测框，将其作为新出现的目标的候选项；匹配失败的检测框，说明其与所有模型对应的目标的跟踪结果都没有匹配相关，进一步增加了一步安全检查，计算该检测框与后面n桢的跟踪结果的overlap，若overlap都小于阈值，则说明该检测框为新出现的目标；若为新出现的目标，则利用利用单目标跟踪KCF模块的初始化功能，输入当前帧图片与该检测框，来初始化该新目标的模型，并将该新模型放进容器内。
7.根据权利要求1-6中任一项所述基于KCF算法的多目标行人跟踪系统的跟踪方法方法，其特征在于，包括下述步骤：
S1、进行初始化操作，包括将视频切成每帧图片的形式，并用行人检测器获取每帧图片的所有行人目标的检测结果；并新建一个模型容器，用来保存当前跟踪目标的跟踪模型；
S2遍历每一帧图片进行操作，若为第一张图片，即开始进入画面，需对图片中的所有目标初始化其跟踪模型；
S3若不是第一张图片，则需要对当前容器中所保存的所有跟踪目标进行跟踪预测，并将跟踪结果与图中的检测结果匹配；
S4在对所有目标的跟踪结果与检测框匹配完成后，需要检查有哪些老目标已经离开了画面；具体操作为：
先利用模型状态管理器挑出匹配失败的模型，作为已离开目标的候选项；对于匹配失败的模型所对应的目标，并不一定是已经离开的画面的目标，为了避免误检的情况，增加了一步安全检查，连续与后面n桢的检测框计算overlap，若overlap都小于阈值，则最终认为该目标已经离开画面，并且将该目标所对应的模型从容器中移除；
S5、根据之前的匹配结果，从打印队列中逐个取出检测框与其对应的目标id，并在图中打印出来，即将图中的行人用检测框框出来且添加上其对应id；
S6、检查画面中出现了哪些新的目标；具体为：
利用检测框状态管理器挑出匹配失败的检测框，将其作为新出现的目标的候选项；匹配失败的检测框，说明其与所有模型对应的目标的跟踪结果都没有匹配相关，进一步增加了一步安全检查，计算该检测框与后面n桢的跟踪结果的overlap，若overlap都小于设定阈值，则说明该检测框为新出现的目标。
8.根据权利要求7所述的所述基于KCF算法的多目标行人跟踪系统的跟踪方法方法，其特征在于，所述步骤S2具体为：
用单目标跟踪KCF模块的初始化功能，输入当前帧图片与该目标的检测结果，即可得到该目标的初始模型，再将图片中的所有目标的初始化模型添加到容器中。
9.根据权利要求7所述的所述基于KCF算法的多目标行人跟踪系统的跟踪方法方法，其特征在于，步骤S3具体为：
先初始化模型与目标检测结果的状态管理器，然后遍历容器里的模型，对每个模型都使用单目标跟踪KCF模块里的跟踪功能进行跟踪预测，即输入当前桢图片、上一桢跟踪到的目标的边框坐标、该目标的模型到单目标跟踪KCF模块，得到当前桢跟踪到的目标的边框坐标与该目标更新后的模型，并将更新后的模型替换掉容器中的原模型；
然后再将当前桢跟踪到的目标的边框坐标与当前图中所有目标检测结果进行匹配对比，检查该目标的跟踪结果是否存在于画面中，具体为计算两个边框区域的overlap重合覆盖率，若overlap大于一定阈值，则认为匹配成功，跟踪结果与检测框是同一个目标，将检测框与该目标对应的id添加到打印列表中；而对于匹配失败的情况，则需更新模型与目标检测结果的状态管理器，记录匹配失败的模型与检测框。
10.根据权利要求7所述的所述基于KCF算法的多目标行人跟踪系统的跟踪方法方法，其特征在于，所述步骤S6中，若判断为新出现的目标，则利用利用单目标跟踪KCF模块的初始化功能，输入当前帧图片与该检测框，来初始化该新目标的模型，并将该新模型放进容器内。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811407750.5A CN109615641B (zh) | 2018-11-23 | 2018-11-23 | 基于kcf算法的多目标行人跟踪系统及跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811407750.5A CN109615641B (zh) | 2018-11-23 | 2018-11-23 | 基于kcf算法的多目标行人跟踪系统及跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109615641A true CN109615641A (zh) | 2019-04-12 |
| CN109615641B CN109615641B (zh) | 2022-11-29 |
Family
ID=66004949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811407750.5A Active CN109615641B (zh) | 2018-11-23 | 2018-11-23 | 基于kcf算法的多目标行人跟踪系统及跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109615641B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929567A (zh) * | 2019-10-17 | 2020-03-27 | 北京全路通信信号研究设计院集团有限公司 | 基于单目相机监控场景下目标的位置速度测量方法及系统 |
| CN111784744A (zh) * | 2020-07-06 | 2020-10-16 | 天津理工大学 | 一种基于视频监控的目标自动检测与跟踪方法 |
| CN112561963A (zh) * | 2020-12-18 | 2021-03-26 | 北京百度网讯科技有限公司 | 目标跟踪的方法、装置、路侧设备以及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413295A (zh) * | 2013-07-12 | 2013-11-27 | 长沙理工大学 | 一种视频多目标长程跟踪方法 |
| WO2016131300A1 (zh) * | 2015-07-22 | 2016-08-25 | 中兴通讯股份有限公司 | 一种自适应跨摄像机多目标跟踪方法及系统 |
| CN108022258A (zh) * | 2017-10-20 | 2018-05-11 | 南京邮电大学 | 基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法 |
| CN108053427A (zh) * | 2017-10-31 | 2018-05-18 | 深圳大学 | 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置 |
| CN108470332A (zh) * | 2018-01-24 | 2018-08-31 | 博云视觉（北京）科技有限公司 | 一种多目标跟踪方法及装置 |
| CN108664930A (zh) * | 2018-05-11 | 2018-10-16 | 西安天和防务技术股份有限公司 | 一种智能的多目标检测跟踪方法 |
-
2018
- 2018-11-23 CN CN201811407750.5A patent/CN109615641B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413295A (zh) * | 2013-07-12 | 2013-11-27 | 长沙理工大学 | 一种视频多目标长程跟踪方法 |
| WO2016131300A1 (zh) * | 2015-07-22 | 2016-08-25 | 中兴通讯股份有限公司 | 一种自适应跨摄像机多目标跟踪方法及系统 |
| CN108022258A (zh) * | 2017-10-20 | 2018-05-11 | 南京邮电大学 | 基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法 |
| CN108053427A (zh) * | 2017-10-31 | 2018-05-18 | 深圳大学 | 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置 |
| CN108470332A (zh) * | 2018-01-24 | 2018-08-31 | 博云视觉（北京）科技有限公司 | 一种多目标跟踪方法及装置 |
| CN108664930A (zh) * | 2018-05-11 | 2018-10-16 | 西安天和防务技术股份有限公司 | 一种智能的多目标检测跟踪方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929567A (zh) * | 2019-10-17 | 2020-03-27 | 北京全路通信信号研究设计院集团有限公司 | 基于单目相机监控场景下目标的位置速度测量方法及系统 |
| CN110929567B (zh) * | 2019-10-17 | 2022-09-27 | 北京全路通信信号研究设计院集团有限公司 | 基于单目相机监控场景下目标的位置速度测量方法及系统 |
| CN111784744A (zh) * | 2020-07-06 | 2020-10-16 | 天津理工大学 | 一种基于视频监控的目标自动检测与跟踪方法 |
| CN112561963A (zh) * | 2020-12-18 | 2021-03-26 | 北京百度网讯科技有限公司 | 目标跟踪的方法、装置、路侧设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109615641B (zh) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Angah et al. | Tracking multiple construction workers through deep learning and the gradient based method with re-matching based on multi-object tracking accuracy | |
| CN104134222B (zh) | 基于多特征融合的车流监控图像检测和跟踪系统及方法 | |
| WO2017185688A1 (zh) | 一种在线目标跟踪方法及装置 | |
| CN109816690A (zh) | 基于深度特征的多目标追踪方法及系统 | |
| CN108470332A (zh) | 一种多目标跟踪方法及装置 | |
| CN107943837A (zh) | 一种前景目标关键帧化的视频摘要生成方法 | |
| CN111932583A (zh) | 一种基于复杂背景下的时空信息一体化智能跟踪方法 | |
| CN104574439A (zh) | 一种融合卡尔曼滤波与tld算法的目标跟踪方法 | |
| CN109615641A (zh) | 基于kcf算法的多目标行人跟踪系统及跟踪方法 | |
| CN107292297A (zh) | 一种基于深度学习和重叠率跟踪的视频车流量检测方法 | |
| CN115995063A (zh) | 作业车辆检测与跟踪方法和系统 | |
| CN107316317A (zh) | 一种行人多目标跟踪方法和装置 | |
| CN107452015A (zh) | 一种具有重检测机制的目标跟踪系统 | |
| CN108648211A (zh) | 一种基于深度学习的小目标检测方法、装置、设备和介质 | |
| CN106952293A (zh) | 一种基于非参数在线聚类的目标跟踪方法 | |
| CN105335701A (zh) | 一种基于hog与d-s证据理论多信息融合的行人检测方法 | |
| CN112241969A (zh) | 基于交通监控视频的目标检测跟踪方法、装置及存储介质 | |
| CN109918995B (zh) | 一种基于深度学习的人群异常检测方法 | |
| CN104299243A (zh) | 一种基于霍夫森林的目标跟踪方法 | |
| CN109740609A (zh) | 一种轨距检测方法及装置 | |
| CN109766867A (zh) | 车辆运行状态确定方法、装置、计算机设备和存储介质 | |
| CN108320306A (zh) | 融合tld和kcf的视频目标跟踪方法 | |
| CN107507223A (zh) | 动态环境下基于多特征聚类匹配的目标跟踪方法 | |
| WO2018227491A1 (zh) | 视频多目标模糊数据关联方法及装置 | |
| CN104219488A (zh) | 目标图像的生成方法和装置、以及视频监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |