CN110363791A - 一种融合单目标跟踪结果的在线多目标跟踪算法 - Google Patents

一种融合单目标跟踪结果的在线多目标跟踪算法 Download PDF

Info

Publication number
CN110363791A
CN110363791A CN201910580114.0A CN201910580114A CN110363791A CN 110363791 A CN110363791 A CN 110363791A CN 201910580114 A CN201910580114 A CN 201910580114A CN 110363791 A CN110363791 A CN 110363791A
Authority
CN
China
Prior art keywords
target
node
cluster
monotrack
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910580114.0A
Other languages
English (en)
Other versions
CN110363791B (zh
Inventor
张姗姗
祝娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN201910580114.0A priority Critical patent/CN110363791B/zh
Publication of CN110363791A publication Critical patent/CN110363791A/zh
Application granted granted Critical
Publication of CN110363791B publication Critical patent/CN110363791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种融合单目标跟踪结果的在线多目标跟踪算法，该算法包括：利用单目标跟踪算法CSRT预测目标当前的位置；利用ReID网络模型对预测框和检测框区域分别提取特征向量，计算特征向量的相似度；结合目标、预测框，以及检测框构建一个有权重的无向图；利用马尔可夫聚类算法对无向图进行聚类操作，得到集群；最后根据集群中的预测框和检测框更新目标的当前位置。本发明的在线多目标跟踪算法，不仅提高了多目标跟踪的精度，且有效地改善了因目标遮挡、目标尺寸小等造成检测框漏检的情况。

Description

一种融合单目标跟踪结果的在线多目标跟踪算法
技术领域
本发明涉及视觉跟踪领域，具体涉及一种融合单目标跟踪结果的在线多目标跟踪算法。
背景技术
视频中的多目标跟踪是许多视觉应用的基本且重要的任务，例如视频监控和自动驾驶。此任务的目的是在每个帧中定位多个对象并获取每个标识的轨迹。目前大多数方法都是基于检测框的跟踪方法，包括在线跟踪方式和离线跟踪方式：在线跟踪方式是根据目标和检测框的相似度构建关联矩阵，利用匹配算法匹配目标和检测框位置；离线跟踪方式是根据一段时期内的检测框以及之间的相似度构建图，利用子图划分解决目标跟踪。
Wojke Nicolai等人提出DeepSort方法，其主要利用匈牙利算法根据目标与检测框的相似度进行匹配，连接轨迹。Zhu Ji等人利用改善后的ECO跟踪器跟踪目标，在配合带有空间和时间注意力机制的DMAN网络判断目标与预测框的相似程度。
尽管上述方法在多目标跟踪结果上有很大进步，但是这些方法十分依赖检测框或十分依赖预测框的效果。若依赖检测框，会造成因漏检目标而丢失目标情况发生；若依赖预测框，而单目标跟踪器在复杂场景下容易跟丢目标，最终导致跟踪效果不佳。所以需要设计一种结合预测和检测的优势、提高跟踪目标的精度的多目标跟踪方法。
发明内容
本发明的目的在于提供一种融合单目标跟踪结果的在线多目标跟踪算法，结合单目标跟踪器的预测结果，利用马尔可夫聚类算法对两帧的目标、预测框、检测框进行聚类，利用预测框解决检测器因目标遮挡或目标过小而漏检的问题。
实现本发明目的的技术解决方案为：一种融合单目标跟踪结果的在线多目标跟踪算法，包括如下步骤：
步骤1、利用单目标跟踪算法预测目标当前的位置；
步骤2、利用ReID网络模型对预测框和检测框区域分别提取特征向量，计算特征向量的相似度；
步骤3、结合目标、预测框以及检测框构建一个有权重的无向图；
步骤4、利用马尔可夫聚类算法对无向图进行聚类操作，得到集群；
步骤5、根据集群中的预测框和检测框更新目标的当前位置。
本发明与现有技术相比，其显著优点为：(1)本发明利用单目标跟踪算法在短时间内持续跟踪目标，得到目标位置，有效地弥补了因目标遮挡或目标过小而漏检目标的问题；(2)本发明利用马尔可夫聚类算法，聚类一个目标的多个位置，有效地解决了在线跟踪方式中因冗余检测结果而导致一个目标有多个标识的问题。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明融合单目标跟踪结果的在线多目标跟踪算法流程图。
图2为本发明构建的加权无向图的示意图。
图3为本发明聚类加权无向图结果的示意图。
图4为本发明在位置更新类型的示意图。
图5为本发明的实验结果与检测框结果在MOT17数据集上的对比图。
图6为本发明在MOT19数据集上的结果可视化图。
具体实施方式
如图1所示，一种融合单目标跟踪结果的在线多目标跟踪算法，包括如下步骤：
步骤1、利用单目标跟踪算法CSRT预测目标O当前的位置Pt；
步骤2、利用ReID网络模型对预测框Pt和检测框Dt区域分别提取特征向量f，计算特征向量的相似度s；
步骤3、结合目标O、预测框Pt，以及检测框Dt构建一个有权重的无向图G＝(V,E)；
步骤4、利用马尔可夫聚类算法对无向图G进行聚类操作，得到集群C；
步骤5、最后根据集群中的预测框和检测框更新目标的当前位置。
进一步的，步骤1中利用单目标跟踪算法CSRT预测目标O当前的位置Pt的过程具体为：根据前一帧目标位置n为目标个数，单目标跟踪器CSRT预测每个目标的坐标位置其中p＝[x,y,w,h]，(x,y)为框的左上角坐标，(w,h)为框的宽高。
进一步的，步骤2中根据当前帧的物体检测框Dt和目标的预测框Pt，裁剪出图片区域，利用ReID网络模型对图片区域分别提取特征向量f，其中特征向量f为128维向量，特征向量的相似度s用余弦距离计算，并且归一化至(0,1)之间。
进一步的，步骤3中构建一个有权重的无向图G＝(V,E)，且目标、预测框、检测框作为节点，节点之间的相似度s作为边的权重。
进一步的，步骤4中利用马尔可夫聚类算法对无向图G进行聚类操作，得到集群C，不同集合表示不同目标，每个集合都是目标、预测框和检测框的组合。
进一步的，步骤5中根据集群中的预测框和检测框更新目标的当前位置的过程具体为：融合同一个集群中的预测节点和检测节点的坐标，对该集群的目标节点更新位置，作为当前帧的目标位置。
本发明利用单目标跟踪算法CSRT跟踪目标，根据前一帧的坐标信息，预测出每个目标在当前帧的位置，有效地控制了检测器失灵未发现目标的情况。
下面结合实施例和附图对本发明进行详细说明。
实施例
如图1所示，一种融合单目标跟踪结果的在线多目标跟踪算法，利用单目标跟踪算法CSRT预测目标O当前的位置Pt；利用ReID网络模型对预测框Pt和检测框Dt区域分别提取特征向量f，计算特征向量的相似度s；结合目标O、预测框Pt，以及检测框Dt构建一个有权重的无向图G＝(V,E)；利用马尔可夫聚类算法对无向图G进行聚类操作，得到集群C；最后根据集群中的预测框和检测框更新目标的当前位置。具体步骤如下：
步骤1、利用单目标跟踪算法CSRT预测目标O当前的位置Pt。根据前一帧目标位置n为目标个数，单目标跟踪器CSRT预测每个目标的坐标位置其中p＝[x,y,w,h]，(x,y)为框的左上角坐标，(w,h)为框的宽高。单目标跟踪算法CSRT是一个具有信道和空间可靠性的判别相关滤波跟踪器。给定目标的方向梯度直方图特征和颜色特征相关滤波器通道置信度权重其中Nc表示特征通道数，用相关相应图的最大值位置估计出跟踪目标的位置：
其中运算符★表示循环相关运算，相应图g的最大值位置即为目标位置p。
步骤2、利用ReID网络模型对预测框Pt和检测框Dt区域分别提取特征向量f，计算特征向量的相似度s。首先在当前帧图片上根据预测框Pt和检测框Dt的位置裁剪出对应的图片区域；接着将这些图片调整到同一宽高尺度，例如宽64像素、高128像素；然后用ReID网络模型对这些调整后的图片提取特征向量f，其中特征向量f是一个1×128维的向量；最后用特征向量的余弦距离来表示特征的相似度s，公式如下，其中f1,f2表示两组特征向量：
步骤3、结合目标O、预测框Pt，以及检测框Dt构建一个有权重的无向图G＝(V,E)，如图2所示。目标、预测框、检测框作为图的节点，每个节点都有一个编号，根据公式(2)计算节点之间的相似度s作为边的权重，其中构建图时，有两点约束：一是同类型节点之间不必计算相似度及不连接该边，例如检测节点1和检测节点2不计算相似；二是如果两节点之间的坐标距离超过一定阈值，则不连接该边。增加上述两点约束可以降低了接下来的聚类运算复杂度。
步骤4、利用马尔可夫聚类算法对加权无向图G进行聚类操作，得到集群C。在聚类过程中，本发明设计了一种循环马尔可夫聚类方法，对聚类结果进行一定条件的筛选得到最后的集群C。首先计算每个集合中目标、预测框节点和检测框节点的个数，如果目标个数大于1，则将依据该集合在加权无向图G上创建子图，然后循环调用马尔可夫聚类方法，直到将多个目标分离开，最后得到的集群C中，每个集合中目标个数等于0或等于1，图3为集群结果示意图，集群被划分为多个集合，且每个集合包含了属于该集合中目标的预测或检测结果。
步骤5、最后根据集群中的预测框和检测框更新目标的当前位置。对于含有目标节点的集群来说，其余预测节点和检测节点的情况可以对应4种类型，如图4所示，圆圈表示目标节点，方框表示检测节点，三角形表示预测节点。
(1)该集群包含一个目标节点、一个预测节点、一个或多个检测节点，结合预测节点和检测节点的位置更新目标的当前帧位置。
(2)该集群包含一个目标节点、一个或多个检测节点，先用Kalman滤波器预测目标的位置，再用检测的坐标更新目标的当前帧位置。
(3)该集群包含一个目标节点、一个预测节点，用预测节点的坐标位置作为目标的当前帧位置。
(4)该集群只包含一个目标节点，该目标被视为丢失，不再跟踪该目标。
表1在线方法在数据集MOT17上的比较
方法 MOTA↑ FN↓ Frag↓
GMPHD_N1Tr 42.1 297646 10864
EAMTT 42.6 288474 5720
FPSN 44.9 269952 14491
PHD_GSDL 48.0 265954 8886
AM_ADM 48.1 265495 5027
DMAN 48.2 263608 5378
SOTD_MCL 48.4 255091 4944
表1是本发明的方法，简写为SOTD_MCL，与其他在线方法在数据集MOT17上结果的比较。评测指标包括MOTA表示跟踪的精度，FN表示错误的非目标数量，Frag表示一个目标的轨迹完整情况。符号“↑”表示值越高性能越好，符号“↓”表示值越低性能越好。可以发现，本发明在MOTA、FN、Frag这3个指标上都取得最高的排名，充分证明了本发明不仅能提高多目标跟踪的精度，而且能有效地控制漏检目标对实验结果的影响。
图5是本发明的实验结果与检测框结果在MOT17数据集上的对比图，第一行为MOT17数据给出的检测框的示意图，可以发现目标会因遮挡或尺寸较小而漏检，缺失位置信息；第二行是本发明的实验结果，可以看出本发明在目标行人被遮挡或在目标较小的情况下能有效地跟踪到目标。图6展示了本发明在MOT19数据集上的跟踪效果，本发明对小目标及遮挡目标的跟踪有很大优势。

Claims (9)

1.一种融合单目标跟踪结果的在线多目标跟踪算法，其特征在于，包括如下步骤：
步骤1、利用单目标跟踪算法预测目标当前的位置；
步骤2、利用ReID网络模型对预测框和检测框区域分别提取特征向量，计算特征向量的相似度；
步骤3、结合目标、预测框以及检测框构建一个有权重的无向图；
步骤4、利用马尔可夫聚类算法对无向图进行聚类操作，得到集群；
步骤5、根据集群中的预测框和检测框更新目标的当前位置。
2.根据权利要求1所述的融合单目标跟踪结果的在线多目标跟踪算法，其特征在于，步骤1中利用单目标跟踪算法CSRT预测目标O当前的位置Pt的过程具体为：根据前一帧目标位置n为目标个数，单目标跟踪器CSRT预测每个目标的坐标位置其中p＝[x,y,w,h]，(x,y)为预测框的左上角坐标，(w,h)为预测框的宽高。
3.根据权利要求1所述的融合单目标跟踪结果的在线多目标跟踪算法，其特征在于，步骤2中根据当前帧的物体检测框Dt和目标的预测框Pt，裁剪出图片区域，利用ReID网络模型对图片区域分别提取特征向量f，其中特征向量f为128维向量，特征向量的相似度s用余弦距离计算，并且归一化至(0,1)之间。
4.根据权利要求1所述的融合单目标跟踪结果的在线多目标跟踪算法，其特征在于，步骤3中构建一个有权重的无向图G＝(V,E)，且目标、预测框、检测框作为节点，节点之间的相似度s作为边的权重，V表示节点，E表示边。
5.根据权利要求4所述的融合单目标跟踪结果的在线多目标跟踪算法，其特征在于，构建无向图时，有两点约束：一是同类型节点之间不计算相似度及不连接该边，二是如果两节点之间的坐标距离超过设定阈值，则不连接该边。
6.根据权利要求1所述的融合单目标跟踪结果的在线多目标跟踪算法，其特征在于，步骤4中利用马尔可夫聚类算法对无向图G进行聚类操作，得到集群C，不同集合表示不同目标，每个集合都是目标、预测框和检测框的组合。
7.根据权利要求6所述的融合单目标跟踪结果的在线多目标跟踪算法，其特征在于，马尔可夫聚类算法具体方法为：
首先计算每个集合中目标、预测框节点和检测框节点的个数，如果目标个数大于1，则将依据该集合在加权无向图G上创建子图，然后循环调用马尔可夫聚类方法，直到将多个目标分离开，最后得到的集群C中，每个集合中目标个数等于0或等于1，集群被划分为多个集合，且每个集合包含属于该集合中目标的预测或检测结果。
8.根据权利要求1所述的融合单目标跟踪结果的在线多目标跟踪算法，其特征在于，步骤5中根据集群中的预测框和检测框更新目标的当前位置的过程具体为：融合同一个集群中的预测节点和检测节点的坐标，对该集群的目标节点更新位置，作为当前帧的目标位置。
9.根据权利要求8所述的融合单目标跟踪结果的在线多目标跟踪算法，其特征在于，对于含有目标节点的集群，可对应4种类型：
(1)集群包含一个目标节点、一个预测节点、一个以上的检测节点，结合预测节点和检测节点的位置更新目标的当前帧位置；
(2)集群包含一个目标节点、一个以上的检测节点，先用Kalman滤波器预测目标的位置，再用检测的坐标更新目标的当前帧位置；
(3)集群包含一个目标节点、一个预测节点，用预测节点的坐标位置作为目标的当前帧位置；
(4)集群只包含一个目标节点，该目标被视为丢失，不再跟踪该目标。
CN201910580114.0A 2019-06-28 2019-06-28 一种融合单目标跟踪结果的在线多目标跟踪方法 Active CN110363791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910580114.0A CN110363791B (zh) 2019-06-28 2019-06-28 一种融合单目标跟踪结果的在线多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910580114.0A CN110363791B (zh) 2019-06-28 2019-06-28 一种融合单目标跟踪结果的在线多目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110363791A true CN110363791A (zh) 2019-10-22
CN110363791B CN110363791B (zh) 2022-09-13

Family

ID=68215983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910580114.0A Active CN110363791B (zh) 2019-06-28 2019-06-28 一种融合单目标跟踪结果的在线多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110363791B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242973A (zh) * 2020-01-06 2020-06-05 上海商汤临港智能科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN111986237A (zh) * 2020-09-01 2020-11-24 安徽炬视科技有限公司 一种人数无关的实时多目标跟踪算法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070133840A1 (en) * 2005-11-04 2007-06-14 Clean Earth Technologies, Llc Tracking Using An Elastic Cluster of Trackers
CN109636829A (zh) * 2018-11-24 2019-04-16 华中科技大学 一种基于语义信息和场景信息的多目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070133840A1 (en) * 2005-11-04 2007-06-14 Clean Earth Technologies, Llc Tracking Using An Elastic Cluster of Trackers
CN109636829A (zh) * 2018-11-24 2019-04-16 华中科技大学 一种基于语义信息和场景信息的多目标跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242973A (zh) * 2020-01-06 2020-06-05 上海商汤临港智能科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN111986237A (zh) * 2020-09-01 2020-11-24 安徽炬视科技有限公司 一种人数无关的实时多目标跟踪算法

Also Published As

Publication number Publication date
CN110363791B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN113034548B (zh) 一种适用于嵌入式终端的多目标跟踪方法及其系统
US10417503B2 (en) Image processing apparatus and image processing method
CN106845621B (zh) 基于深度卷积神经网络的密集人群人数计数方法及系统
CN107424171B (zh) 一种基于分块的抗遮挡目标跟踪方法
CN107563313A (zh) 基于深度学习的多目标行人检测与跟踪方法
CN110097584B (zh) 结合目标检测和语义分割的图像配准方法
CN106714109A (zh) 基于众包数据的WiFi指纹库更新方法
CN108537829B (zh) 一种监控视频人员状态识别方法
CN106803263A (zh) 一种目标跟踪方法及装置
CN110349187A (zh) 基于tsk模糊分类器的目标跟踪方法、装置及存储介质
CN110688940A (zh) 一种快速的基于人脸检测的人脸追踪方法
CN110363791A (zh) 一种融合单目标跟踪结果的在线多目标跟踪算法
CN110208789B (zh) 一种多帧联合目标航迹识别方法
CN109239702B (zh) 一种基于目标状态集的机场低空飞鸟数量统计方法
CN116645402A (zh) 一种基于改进目标检测网络的在线行人跟踪方法
CN113763427A (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
Cancela et al. Unsupervised trajectory modelling using temporal information via minimal paths
CN111241928A (zh) 人脸识别底库优化方法、系统、设备、可读存储介质
CN109887001A (zh) 目标跟踪方法、装置、计算机设备及存储介质
CN114926859A (zh) 一种结合头部跟踪的密集场景下行人多目标跟踪方法
CN110660084A (zh) 一种多目标跟踪的方法及装置
CN116758110B (zh) 复杂运动场景下的鲁棒多目标跟踪方法
CN109508674A (zh) 基于区域划分的机载下视异构图像匹配方法
CN117274314A (zh) 一种特征融合的视频目标跟踪方法及系统
CN111784742A (zh) 一种行人跨镜头追踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant