CN105894022B - 一种自适应分层关联多目标跟踪方法 - Google Patents

一种自适应分层关联多目标跟踪方法 Download PDF

Info

Publication number
CN105894022B
CN105894022B CN201610193012.XA CN201610193012A CN105894022B CN 105894022 B CN105894022 B CN 105894022B CN 201610193012 A CN201610193012 A CN 201610193012A CN 105894022 B CN105894022 B CN 105894022B
Authority
CN
China
Prior art keywords
target
track
frame
ilda
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610193012.XA
Other languages
English (en)
Other versions
CN105894022A (zh
Inventor
胡栋
张晶
栾筱朋
张娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201610193012.XA priority Critical patent/CN105894022B/zh
Publication of CN105894022A publication Critical patent/CN105894022A/zh
Application granted granted Critical
Publication of CN105894022B publication Critical patent/CN105894022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于智能视频监控技术领域，提出了一种自适应分层关联多目标跟踪方法。本方法利用增量线性可判别分析(ILDA，Incremental Linear Discriminant Analysis)寻找一个能尽可能分离各个目标的投影矩阵，并提取各个目标的特征均值向量，并用其定义轨迹和候选目标进行匹配的关联代价函数，从而来指导连续轨迹和断开轨迹的增长。当前帧匹配结束后，计算各个轨迹最新匹配结果和其特征均值向量的差异，当差异大于一定阈值的时候，用该匹配结果来更新ILDA模型相关参数，否则不更新。相比现有技术，本发明能够减少多目标跟踪过程中由于目标外观相似而跟错目标的概率。

Description

一种自适应分层关联多目标跟踪方法
技术领域
本发明属于图像数据处理或产生领域的图像分析技术，具体涉及一种自适应分层关联多目标跟踪方法，属于智能视频监控技术领域。
背景技术
多目标跟踪在计算机视觉系统中具有举足轻重的位置，在人机交互、军事制导、安全监控、智能交通等众多领域中有着广阔的前景。
近年来，随着检测器提供的检测结果越来越可靠，基于检测的追踪方法逐渐成为多目标追踪的一个主要研究方向。其中，分层数据关联框架受到不少人的关注，它把数据关联分为两步，第一步是局部关联，传统的方法是关联相邻帧的检测结果使轨迹片段可靠有效地增长，直到当前帧没有匹配的检测结果使得轨迹中断。第二步是全局关联，主要是计算断开轨迹和候选目标的相似度，关联它们尽可能得到目标完整的轨迹。
在现实的需求场景中，对行人的追踪，对比赛现场运动员的追踪，对车辆的追踪等等都面临着目标之间外观非常相似的问题。而传统的基于分层关联的依据正是相邻两帧检测结果的表观相似度，外观相似的目标之间的色彩直方图也往往非常相似，这使得多个目标之间难以区分，甚至会产生跟错目标的情况，使得目标最终轨迹的质量下降，追踪的鲁棒性降低。
现有技术中，公告号为CN102521612B，名称为"一种基于协同关联粒子滤波的多视频目标主动跟踪方法"的国内发明专利利用视觉注意机制“主动发现”目标，解决了目标的出现、消失，以及交互目标的合并、分裂以及过遮挡造成的误跟踪及跟踪丢问题，但在多个目标外观相似且空间位置相近的情况下，跟错目标的概率上升。
发明内容
本发明要解决的技术问题是解决传统分层数据关联技术容易发生的由于目标外观相似导致的跟错、跟丢目标问题。
为此，本发明提出一种自适应分层关联多目标跟踪方法。
本发明具体采用以下技术方案解决上述技术问题，包括以下步骤：
步骤1、以颜色相似度为手段对前N帧的检测结果进行匹配，形成各个目标在前N帧的初始轨迹，定义目标i在当前第t帧的跟踪结果为其中，(x,y)为目标区域中心坐标，(w,h)为目标的宽和高，则目标的轨迹Ti是目标从出现到当前帧跟踪结果的集合，表示为其中，m是帧号，和分别是轨迹的开始帧和结尾帧，形成初始轨迹包括以下过程：
(a)把第一帧的所有检测结果作为待追踪的目标；
(b)计算其中一个待追踪目标i和当前第t帧第j个检测结果的颜色相似度，采用Bhattacharyya系数ρ来计算，其中，p和q分别是目标i和检测结果j的HSV颜色直方图，如果ρ＞0.7，则将检测j作为待追踪目标i的子节点；
(c)重复步骤(b)，直至计算完所有待追踪目标的子节点；
(d)对所有待匹配检测结果进行统计，同一个检测结果可能有被多个待追踪目标当成子节点的情况，则分别依次形成多个轨迹，最后，选择其中最长或者相似度最高的轨迹，其余的则被舍弃；
步骤2、选出N帧都有跟踪结果的初始目标轨迹，把这些目标的所有跟踪结果框作为样本集合，训练出ILDA模型，包括以下过程：
(a)假设有k个目标，第i(1≤i≤k)个目标有ni个样本，计算每个样本的HSV颜色直方图向量则目标i的均值向量为所有目标的总体均值向量
(b)计算所有样本类内离散度矩阵为样本类间离散度矩阵为
(c)通过对进行特征分解获得其特征向量，将特征值按照大小进行降序排列，取前k-1个特征向量组成投影矩阵WILDA；
步骤3、目标在前一帧有跟踪结果称为连续轨迹，根据当前的ILDA模型指导连续轨迹和当前帧中的检测结果进行二分匹配，使得连续轨迹得以增长；
步骤4、目标在前一帧没有跟踪结果称为断开轨迹，根据当前的ILDA模型指导断开轨迹和候选目标进行二分匹配，候选目标包括其余的轨迹和步骤3剩余的未匹配的检测结果，使得断开轨迹得以增长；
步骤5、如果当前帧仍然有剩余的检测结果没有匹配，判断其是否为一个新出现的目标；
步骤6、自适应地用跟踪结果来更新ILDA模型各个参数；
步骤7、判定是否为结尾帧，如果是，则结束跟踪，否则返回步骤3。
作为优选，上述步骤1中的N帧具体设定如下：
N在实验中取值为五，因为判定一个新目标出现的条件是该目标连续出现五帧，所以用目标在前五帧的初始轨迹来训练接下来的ILDA模型最为合理。
作为优选，上述步骤3中连续轨迹的增长过程具体如下：
(a)计算h个连续的轨迹和m个检测结果Zt的关联代价矩阵S＝[sij]h×m，其中，sij是第i个连续轨迹Ti和第j个检测结果的关联代价，mi(c)是连续轨迹的均值向量，是检测结果的HSV色彩直方图向量；
(b)根据上面的关联代价矩阵S进行二分匹配，具体过程为：当目标i的轨迹Ti(c)和检测的关联代价sij低于预先设定的阈值-log(θ)(θ实验中取值为0.7)，则两者是可以关联的关系，计算出所有可以关联的关系后，用匈牙利算法得到二分匹配的最优结果；
(c)把匹配后的最新跟踪结果加入连续轨迹Ti(c)。
进一步，作为优选，上述步骤4断开轨迹的增长过程具体如下：
(a)考虑l个断开轨迹Ti(d)和n个剩余的检测结果进行匹配，关联代价矩阵为C＝[cij]l×n，其中，mi(d)是断开轨迹的均值向量，是检测结果的HSV色彩直方图向量，依据关联代价矩阵C，用匈牙利算法进行二分匹配，依然采用连续轨迹增长中用到的阈值θ，由此得到了匹配的最优结果；
(b)考虑l个断开轨迹Ti(d)与满足时间约束的h个连续轨迹Tj(c)进行匹配，满足时间约束即指断开轨迹的结尾帧小于连续轨迹的开始帧关联代价矩阵为A＝[aij]l×h，其中，aij＝-log(ρ(WILDAmi(d),WILDAmj(c)))，mi(d)和mj(c)分别是断开轨迹和连续轨迹的均值向量，依据关联代价矩阵A，用匈牙利算法进行二分匹配，依然采用连续轨迹增长中用到的阈值θ，由此得到了匹配的最优结果；
(c)把匹配后的最新跟踪结果加入断开轨迹Ti(d)。
作为优选，上述步骤5判断新目标出现具体设定如下：
如果当前帧仍然有尚未匹配的检测结果，则暂时把该检测结果初始化一个候选新目标，如果该候选新目标接下来能够连续五帧匹配到跟踪结果，则可以断定该候选新目标的确是一个新目标，否则删除该候选新目标。
最后，上述步骤6中自适应更新ILDA模型具体设定如下：
对于目标i，在当前帧匹配到跟踪结果则计算跟踪结果投影后的特征和目标的ILDA模板均值mi的差异，定义为：
当差异Δ大于一定阈值，则把该跟踪结果放入用来更新ILDA模板的增量样本集里。每隔五帧，用增量样本集来更新ILDA模板相关参数。更新的参数包括各个目标的均值向量mi，类间散度矩阵Sb，类内散度矩阵Sw，投影矩阵WILDA。
本发明利用增量线性可判别分析寻找一个能尽可能分离各个目标的投影矩阵，提取各个目标的特征均值向量，并用这两个参数定义轨迹和候选目标进行匹配的关联代价函数，使得连续轨迹和断开轨迹的增长过程更为可靠。相比现有技术，本发明能够减少多目标跟踪过程中由于外观相似导致跟错目标的概率，并有效提高了目标跟踪轨迹的质量。
附图说明
图1为本发明的基本原理示意图。
具体实施方式
为使本发明的目的、实现方案和优点更为清晰，下面对本发明的具体实施作进一步的详细描述，本发明的具体流程如图1所示。
一种鲁棒的在线分层关联方法，具体按照以下步骤：
步骤1、该发明的视频由视频监控系统或者视频传感器网络的采集设备获得。
步骤2、用检测器对视频序列进行检测，得到每一帧的检测结果。
步骤3、以颜色相似度为手段对前N帧的检测结果进行匹配，形成各个目标在前N帧的初始轨迹，定义目标i在当前第t帧的跟踪结果为其中，(x,y)为目标区域中心坐标，(w,h)为目标的宽和高，则目标的轨迹Ti是目标从出现到当前帧跟踪结果的集合，表示为其中，m是帧号，和分别是轨迹的开始帧和结尾帧，形成初始轨迹包括以下过程：
(a)把第一帧的所有检测结果作为待追踪的目标；
(b)计算其中一个待追踪目标i和当前第t帧第j个检测结果的颜色相似度，采用Bhattacharyya系数ρ来计算，其中，p和q分别是目标i和检测结果j的HSV颜色直方图，如果ρ＞0.7，则将检测j作为待追踪目标i的子节点；
(c)重复步骤(b)，直至计算完所有待追踪目标的子节点；
(d)对所有待匹配检测结果进行统计，同一个检测结果可能有被多个待追踪目标当成子节点的情况，则分别依次形成多个轨迹，最后，选择其中最长或者相似度最高的轨迹，其余的则被舍弃；
步骤4、选出N帧都有跟踪结果的初始目标轨迹，把这些目标的所有跟踪结果框作为样本集合，训练出ILDA模型，包括以下过程：
(a)假设有k个目标，第i(1≤i≤k)个目标有ni个样本，计算每个样本的HSV颜色直方图向量则目标i的均值向量为所有目标的总体均值向量
(b)计算所有样本类内离散度矩阵为样本类间离散度矩阵为
(c)通过对进行特征分解获得其特征向量，将特征值按照大小进行降序排列，取前k-1个特征向量组成投影矩阵WILDA；
步骤5、目标在前一帧有跟踪结果称为连续轨迹，根据当前的ILDA模型指导连续轨迹和当前帧中的检测结果进行二分匹配，使得连续轨迹得以增长；
步骤6、目标在前一帧没有跟踪结果称为断开轨迹，根据当前的ILDA模型指导断开轨迹和候选目标进行二分匹配，候选目标包括其余的轨迹和步骤5剩余的未匹配的检测结果，使得断开轨迹得以增长；
步骤7、如果当前帧仍然有剩余的检测结果没有匹配，判断其是否为一个新出现的目标；
步骤8、自适应地用跟踪结果来更新ILDA模型各个参数；
步骤9、判定是否为结尾帧，如果是，则结束跟踪，否则返回步骤5。
作为优选，上述步骤3中的N帧具体设定如下：
N在实验中取值为五，因为判定一个新目标出现的条件是该目标连续出现五帧，所以用目标在前五帧的初始轨迹来训练接下来的ILDA模型最为合理。
作为优选，上述步骤5中连续轨迹的增长过程具体如下：
(a)计算h个连续的轨迹和m个检测结果Zt的关联代价矩阵S＝[sij]h×m，其中，sij是第i个连续轨迹Ti和第j个检测结果的关联代价，mi(c)是连续轨迹的均值向量，是检测结果的HSV色彩直方图向量；
(b)根据上面的关联代价矩阵S进行二分匹配，具体过程为：当目标i的轨迹Ti(c)和检测的关联代价sij低于预先设定的阈值-log(θ)(θ实验中取值为0.7)，则两者是可以关联的关系，计算出所有可以关联的关系后，用匈牙利算法得到二分匹配的最优结果；
(c)把匹配后的最新跟踪结果加入连续轨迹Ti(c)。
进一步，作为优选，上述步骤6断开轨迹的增长过程具体如下：
(a)考虑l个断开轨迹Ti(d)和n个剩余的检测结果进行匹配，关联代价矩阵为C＝[cij]l×n，其中，mi(d)是断开轨迹的均值向量，是检测结果的HSV色彩直方图向量，依据关联代价矩阵C，用匈牙利算法进行二分匹配，依然采用连续轨迹增长中用到的阈值θ，由此得到了匹配的最优结果；
(b)考虑l个断开轨迹Ti(d)与满足时间约束的h个连续轨迹Tj(c)进行匹配，满足时间约束即指断开轨迹的结尾帧小于连续轨迹的开始帧关联代价矩阵为A＝[aij]l×h，其中，aij＝-log(ρ(WILDAmi(d),WILDAmj(c)))，mi(d)和mj(c)分别是断开轨迹和连续轨迹的均值向量，依据关联代价矩阵A，用匈牙利算法进行二分匹配，依然采用连续轨迹增长中用到的阈值θ，由此得到了匹配的最优结果；
(c)把匹配后的最新跟踪结果加入断开轨迹Ti(d)。
作为优选，上述步骤7判断新目标出现具体设定如下：
如果当前帧仍然有尚未匹配的检测结果，则暂时把该检测结果初始化一个候选新目标，如果该候选新目标接下来能够连续五帧匹配到跟踪结果，则可以断定该候选新目标的确是一个新目标，否则删除该候选新目标。
最后，上述步骤8中自适应更新ILDA模型具体设定如下：
对于目标i，在当前帧匹配到跟踪结果则计算跟踪结果投影后的特征和目标的ILDA模板均值mi的差异，定义为：
当差异Δ大于一定阈值，则把该跟踪结果放入用来更新ILDA模板的增量样本集里。每隔五帧，用增量样本集来更新ILDA模板相关参数。更新的参数包括各个目标的均值向量mi，类间散度矩阵Sb，类内散度矩阵Sw，投影矩阵WILDA。
发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明在连续轨迹增长和断开轨迹增长阶段都构建出了质量更高的轨迹，并且在多个目标外观相似的环境下，能够较好地区分出它们，大大减少了跟错、跟丢目标的概率。
为了验证本发明的效果，一共进行了两个验证实验。
本发明实验的硬件及软件仿真环境如表1所示：
表1
采用ETH-Bahnhof视频序列来进行测试。ETH-Bahnhof视频序列视频分辨率为640*480，帧率14帧每秒，共计1000帧。该视频序列录制于一个繁忙的街道上，所以行人密度非常大，而且摄像机处于水平视角，所以视频中行人存在严重遮挡的情况。
评价鲁棒性的标准则采用CLEAR-MOT评价标准，该标准目前广泛用于评价多目标追踪鲁棒性，主要包括以下方面：
FP(False Positive)：假正率，即跟踪得到假正目标的概率
FN(False Negative)：假负率，即跟踪丢失目标的概率
IDSW(ID Switches)：轨迹ID被交换的次数
MOTA(Multiple Object Tracking Accuracy)：描述目标追踪的平均准确度，MOTA＝1-∑t(FNt+FPt+IDSWt)/∑tGTt，其中，t是帧号，GT是真值目标的数目。
MOTP(Multiple Object Tracking Precision)：描述目标追踪的平均精度，MOTP＝∑t,idt,i/∑tct，其中，ct是帧t中追踪成功目标的数目，dt,i是目标i的追踪框和真实值追踪框的比例。
综上所述，FP,FN,IDSW的值越低，MOTA，MOTP的值越高，多目标追踪的性能越好。
而评价跟踪实时性的标准采用每帧的处理速度(秒/帧)，用时越少，说明跟踪实时性越好。
第一个实验内容：在更新目标ILDA模板时，设置不同的差异阈值，评价本文算法在不同阈值的情况下的鲁棒性和实时性。
表2
表2为实验一的实验结果，由表2可以看出：
(1)观察实时性评价参数，即每帧处理速度，在设置阈值为10％的时候，处理速度由0.4秒/帧下降到0.293秒/帧，节省了26.8％的时间，降幅是最大的；
(2)观察鲁棒性参数，即FP,FN,IDSW,MOTA,MOTP，发现阈值设置在10％的时候，鲁棒性基本没有下降，阈值设置为30％的时候，鲁棒性已经明显下降。
(3)根据上面观察所得，在阈值设置为10％时，即在追踪结果和该类别的ILDA模板表观相似度差异小于10％的时候，不进行更新，这时候鲁棒性没有下降，而且节省了26.8％的时间。
第二个实验内容：把本发明算法和一篇处于世界领先水平的论文进行鲁棒性比较，比较算法是Seung-Hwan14年在IEEE TRANSACTIONS ON IMAGE PROCESSING上发表的Robust Online Multi-object Tracking With Data Association and TrackManagement，本发明算法在更新ILDA模板时把差异阈值设置为10％。
FP FN IDSW MOTP MOTA
本文算法 8.9％ 34.8％ 37 74.8％ 65.4％
比较算法 9.8％ 23.2％ 72 58.4％ 66.5％
表3
表3为实验二的实验结果，由表3可以看出：本文的ID交换次数IDSW为37，而比较算法为72，即相比比较算法，本发明算法的IDSW减少了48.6％。说明，本发明算法在多目标追踪时对于区分相似目标有更强的优越性，大大减少了ID交换的概率。
需要说明的是，以上所述仅为本发明的一个具体实施例，并不用以限制本发明，本实施例中所用数据集和攻击模式仅限于本实施例，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种自适应分层关联多目标跟踪方法，其特征在于包括以下步骤：
步骤1、以颜色相似度为手段对前N帧的检测结果进行匹配，形成各个目标在前N帧的初始轨迹，定义目标i在当前第t帧的跟踪结果为其中，(x,y)为目标区域中心坐标，(w,h)为目标的宽和高，则目标的轨迹Ti是目标从出现到当前帧跟踪结果的集合，表示为其中，m是帧号，和分别是轨迹的开始帧和结尾帧，形成初始轨迹包括以下过程：
(a)把第一帧的所有检测结果作为待追踪的目标；
(b)计算其中一个待追踪目标i和当前第t帧第j个检测结果的颜色相似度，采用Bhattacharyya系数ρ来计算，其中，p和q分别是目标i和检测结果j的HSV颜色直方图，如果ρ＞0.7，则将检测j作为待追踪目标i的子节点；
(c)重复步骤(b)，直至计算完所有待追踪目标的子节点；
(d)对所有待匹配检测结果进行统计，同一个检测结果可能有被多个待追踪目标当成子节点的情况，则分别依次形成多个轨迹，最后，选择其中最长或者相似度最高的轨迹，其余的则被舍弃；
步骤2、选出N帧都有跟踪结果的初始目标轨迹，把这些目标的所有跟踪结果框作为样本集合，训练出ILDA模型，包括以下过程：
(a)假设有k个目标，第i个目标有ni个样本，计算每个样本的HSV颜色直方图向量则目标i的均值向量为所有目标的总体均值向量其中1≤i≤k，1≤j≤ni；
(b)计算所有样本类内离散度矩阵为样本类间离散度矩阵为
(c)通过对进行特征分解获得其特征向量，将特征值按照大小进行降序排列，取前k-1个特征向量组成投影矩阵WILDA；
步骤3、目标在前一帧有跟踪结果称为连续轨迹，根据当前的ILDA模型指导连续轨迹和当前帧中的检测结果进行二分匹配，使得连续轨迹得以增长；
步骤4、目标在前一帧没有跟踪结果称为断开轨迹，根据当前的ILDA模型指导断开轨迹和候选目标进行二分匹配，候选目标包括其余的轨迹和步骤3剩余的未匹配的检测结果，使得断开轨迹得以增长；
步骤5、如果当前帧仍然有剩余的检测结果没有匹配，判断其是否为一个新出现的目标；
步骤6、自适应地用跟踪结果来更新ILDA模型各个参数；
步骤7、判定是否为结尾帧，如果是，则结束跟踪，否则返回步骤3。
2.如权利要求1所述的自适应分层关联多目标跟踪方法，其特征在于，所述步骤1中的N帧具体设定如下：
N在实验中取值为五，因为判定一个新目标出现的条件是该目标连续出现五帧，所以用目标在前五帧的初始轨迹来训练接下来的ILDA模型最为合理。
3.如权利要求1所述的自适应分层关联多目标跟踪方法，其特征在于，所述步骤3中连续轨迹的增长过程具体如下：
(a)计算h个连续的轨迹和m个检测结果Zt的关联代价矩阵S＝[sij]h×m，其中，sij是第i个连续轨迹Ti和第j个检测结果的关联代价，mi(c)是连续轨迹的均值向量，是检测结果的HSV色彩直方图向量；
(b)根据上面的关联代价矩阵S进行二分匹配，具体过程为：当目标i的轨迹Ti(c)和检测的关联代价sij低于预先设定的阈值-log(θ)，则两者是可以关联的关系，计算出所有可以关联的关系后，用匈牙利算法得到二分匹配的最优结果，θ实验中取值为0.7；
(c)把匹配后的最新跟踪结果加入连续轨迹Ti(c)。
4.如权利要求1所述的自适应分层关联多目标跟踪方法，其特征在于，所述步骤4断开轨迹的增长过程具体如下：
(a)考虑l个断开轨迹Ti(d)和n个剩余的检测结果进行匹配，关联代价矩阵为C＝[cij]l×n，其中，mi(d)是断开轨迹的均值向量，是检测结果的HSV色彩直方图向量，依据关联代价矩阵C，用匈牙利算法进行二分匹配，依然采用连续轨迹增长中用到的阈值θ，由此得到了匹配的最优结果；
(b)考虑l个断开轨迹Ti(d)与满足时间约束的h个连续轨迹Tj(c)进行匹配，满足时间约束即指断开轨迹的结尾帧小于连续轨迹的开始帧关联代价矩阵为A＝[aij]l×h，其中，aij＝-log(ρ(WILDAmi(d),WILDAmj(c)))，mi(d)和mj(c)分别是断开轨迹和连续轨迹的均值向量，依据关联代价矩阵A，用匈牙利算法进行二分匹配，依然采用连续轨迹增长中用到的阈值θ，由此得到了匹配的最优结果；
(c)把匹配后的最新跟踪结果加入断开轨迹Ti(d)。
5.如权利要求1所述的自适应分层关联多目标跟踪方法，其特征在于，所述步骤5判断新目标出现具体设定如下：
如果当前帧仍然有尚未匹配的检测结果，则暂时把该检测结果初始化一个候选新目标，如果该候选新目标接下来能够连续五帧匹配到跟踪结果，则可以断定该候选新目标的确是一个新目标，否则删除该候选新目标。
6.如权利要求1所述的自适应分层关联多目标跟踪方法，其特征在于，所述步骤6中自适应更新ILDA模型具体设定如下：
对于目标i，在当前帧匹配到跟踪结果则计算跟踪结果投影后的特征和目标的ILDA模板均值mi的差异，定义为：
当差异Δ大于一定阈值，则把该跟踪结果放入用来更新ILDA模板的增量样本集里，每隔五帧，用增量样本集来更新ILDA模板相关参数，更新的参数包括各个目标的均值向量mi，类间散度矩阵Sb，类内散度矩阵Sw，投影矩阵WILDA。
CN201610193012.XA 2016-03-30 2016-03-30 一种自适应分层关联多目标跟踪方法 Active CN105894022B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610193012.XA CN105894022B (zh) 2016-03-30 2016-03-30 一种自适应分层关联多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610193012.XA CN105894022B (zh) 2016-03-30 2016-03-30 一种自适应分层关联多目标跟踪方法

Publications (2)

Publication Number Publication Date
CN105894022A CN105894022A (zh) 2016-08-24
CN105894022B true CN105894022B (zh) 2019-05-03

Family

ID=57014410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610193012.XA Active CN105894022B (zh) 2016-03-30 2016-03-30 一种自适应分层关联多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN105894022B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874856A (zh) * 2017-01-19 2017-06-20 博康智能信息技术有限公司 一种目标跟踪状态模型训练方法及装置
CN108932730B (zh) * 2018-05-31 2021-11-23 哈工大机器人集团(昆山)有限公司 基于数据关联的视频多目标跟踪方法及系统
CN108921880B (zh) * 2018-06-11 2022-05-03 西安电子科技大学 一种基于多个单跟踪器的视觉多目标跟踪方法
CN110544266B (zh) * 2019-09-11 2022-03-18 陕西师范大学 一种基于结构稀疏表示的交通目标跟踪方法
CN111862147B (zh) * 2020-06-03 2024-01-23 江西江铃集团新能源汽车有限公司 视频中多车辆和多行人目标的跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243765A (zh) * 2011-05-06 2011-11-16 大连民族学院 基于多相机的多目标定位跟踪方法及系统
US8971572B1 (en) * 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
CN105224912A (zh) * 2015-08-31 2016-01-06 电子科技大学 基于运动信息和轨迹关联的视频行人检测和跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243765A (zh) * 2011-05-06 2011-11-16 大连民族学院 基于多相机的多目标定位跟踪方法及系统
US8971572B1 (en) * 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
CN105224912A (zh) * 2015-08-31 2016-01-06 电子科技大学 基于运动信息和轨迹关联的视频行人检测和跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SlidingWindow Optimization on an Ambiguity-Clearness Graph for Multi-object Tracking;Qi Guo,等;《computer science 2015》;20151128;全文
交通监控中运动目标轨迹的距离计算和聚类;李明之，等;《计算机工程与设计》;20120630;第33卷(第6期);全文
图像序列中人的姿态估计与动作识别;吴心筱;《中国博士学位论文全文数据库 信息科技辑》;20101115(第11期);全文

Also Published As

Publication number Publication date
CN105894022A (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
CN105894022B (zh) 一种自适应分层关联多目标跟踪方法
CN113011367B (zh) 一种基于目标轨迹的异常行为分析方法
CN110619657B (zh) 一种面向智慧社区的多摄像机联动多目标追踪方法及系统
CN109948582B (zh) 一种基于跟踪轨迹分析的车辆逆行智能检测方法
CN108537829B (zh) 一种监控视频人员状态识别方法
CN109816692A (zh) 一种基于Camshift算法的运动目标跟踪方法
CN108596045B (zh) 一种基于空中监控平台的群体异常行为检测方法
CN103605971B (zh) 一种捕获人脸图像的方法及装置
CN106682573B (zh) 一种单摄像头的行人跟踪方法
CN105320917B (zh) 一种基于头肩轮廓及bp神经网络的行人检测及跟踪方法
CN101673403A (zh) 复杂干扰场景下的目标跟踪方法
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
CN102521565A (zh) 低分辨率视频的服装识别方法及系统
CN107230267A (zh) 基于人脸识别算法的幼儿园智能签到方法
CN104751136A (zh) 一种基于人脸识别的多相机视频事件回溯追踪方法
CN106326924A (zh) 一种基于局部分类的目标跟踪方法及系统
CN105138967B (zh) 基于人眼区域活动状态的活体检测方法和装置
CN109035305A (zh) 一种基于rgb-d低视角情况下的室内人体检测与跟踪方法
CN102142085A (zh) 一种林区监控视频中运动火焰目标的鲁棒跟踪方法
CN109239702B (zh) 一种基于目标状态集的机场低空飞鸟数量统计方法
CN103400120A (zh) 基于视频分析的银行自助服务区域推入行为检测方法
CN109299700A (zh) 基于人群密度分析的地铁群体异常行为检测方法
CN104537384B (zh) 一种结合似然比判决的sar目标鉴别方法
CN110349184B (zh) 基于迭代滤波和观测判别的多行人跟踪方法
CN101877135B (zh) 一种基于背景重构的运动目标检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant