CN104915970A - 一种基于轨迹关联的多目标跟踪方法 - Google Patents

一种基于轨迹关联的多目标跟踪方法 Download PDF

Info

Publication number
CN104915970A
CN104915970A CN201510326021.7A CN201510326021A CN104915970A CN 104915970 A CN104915970 A CN 104915970A CN 201510326021 A CN201510326021 A CN 201510326021A CN 104915970 A CN104915970 A CN 104915970A
Authority
CN
China
Prior art keywords
track
association
target
model
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510326021.7A
Other languages
English (en)
Other versions
CN104915970B (zh
Inventor
朱松豪
师哲
胡学伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201510326021.7A priority Critical patent/CN104915970B/zh
Publication of CN104915970A publication Critical patent/CN104915970A/zh
Application granted granted Critical
Publication of CN104915970B publication Critical patent/CN104915970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于轨迹关联的多目标跟踪方法,该方法包括以下步骤:首先,基于场景自适应方法生成局部轨迹,实现检测响应与原有轨迹关联;然后,基于增量线性判决的表观模型,实现全局轨迹关联;最后,基于非线性运动模型,实现轨迹片段间空缺填补,以获取完整且平滑的跟踪轨迹。本发明的方法能在目标遮挡、不同目标具有相似外貌特征、运动目标方向突变等复杂情况下,实现多目标的正确关联,最终得到稳定、连续的跟踪轨迹。

Description

一种基于轨迹关联的多目标跟踪方法
技术领域
本发明涉及一种多目标跟踪方法,尤其涉及一种基于轨迹关联的多目标跟踪方法,属于图像处理技术领域。
背景技术
基于轨迹关联的多目标跟踪算法是国内外学者的研究热点,其主要原理是在跟踪目标的多个短小跟踪片段间建立关联,以获取跟踪目标连续、平滑的跟踪轨迹。多目标跟踪算法的关键在于如何度量轨迹间的相似性。
在复杂场景中,当具有相似表观的目标间存在交互行为时,很易导致错误的轨迹关联。这就要求多目标跟踪算法不仅能准确跟踪新出现的目标,还能对原有的跟踪目标保持连续性。此外,基于在线学习表观模型算法虽然能满足时性需求,但这种方法需要整个视频序列的先验信息,且迭代过程加大了方法的时间复杂度;同时,由于跟踪目标运动的任意性,导致运动轨迹的非线性。而本发明能够很好地解决上面的问题。
发明内容
本发明目的在于解决了复杂场景中具有相似表观的目标间存在交互行为时,很易导致错误的轨迹关联的问题,提出了一种基于轨迹关联的多目标跟踪方法,该方法是基于场景自适应的局部轨迹生成方法。
本发明解决其技术问题所采取的技术方案是:一种基于轨迹关联的多目标跟踪方法,该方法包括如下步骤:
步骤1:基于场景自适应方法生成局部轨迹,实现检测响应与原有轨迹关联;
步骤2:基于增量线性判决的表观模型,实现全局轨迹关联;
步骤3:基于非线性运动模型,实现轨迹片段间空缺填补,以获取完整且平滑的跟踪轨迹。
进一步的,本发明局部轨迹生成的具体过程,包括:
利用前景检测技术实现图像目标的检测;基于场景自适应计算检测响应与已有轨迹间的关联性;判断检测响应是否成功关联某条轨迹;将成功关联的检测响应加入目标集合中,同时将未关联的检测响应作为新目标加入目标集合中。
进一步的,本发明局部轨迹关联的具体过程,包括:
定义D={di}为一系列检测响应,通过计算相似性得到目标的轨迹片段:
Plink=Apos(dj|di)Asize(dj|di)Aappr(dj|di)      (1)
上式中的Apos(di|d2)表示不同目标间位置的相似性:
A p o s ( d 1 | d 2 ) = exp [ - ( x 1 - x 2 ) 2 σ x 2 ] exp [ - ( y 1 - y 2 ) 2 σ y 2 ] - - - ( 2 )
上式中的x1、y1与x1、y2分别为不同目标在连续两帧中的位置,σx与σy分别为当前轨迹片段的方差。式(1)中的Asize(d1|d2)表示目标尺寸的相似性:
A s i z e ( d 1 | d 2 ) = exp [ - ( s 1 - s 2 ) 2 σ s 2 ] - - - ( 3 )
上式中的s1与s2分别为目标的尺寸,σs为当前所有轨迹片段面积的方差。式(1)中的Aappr(d1|d2)表示目标间的表观相似性:
A appr ( d 1 | d 2 ) = 1 - BC ( d 1 , d 2 ) = 1 - Σ n = 1 N q ( d 1 ) n p ( d 2 ) n - - - ( 4 )
上式中的q、p分别表示不同目标灰度级的权重,N表示直方图的级数。
本发明采用基于场景自适应的关联策略,将当前检测响应关联成局部轨迹:
A f k ( d i , T j ) = G ( Dist f k ( d i ( t ) , Y j ) ; u f k , s f k 2 ) - - - ( 5 )
A f k ( d i , T j ) = G ( Gist f k ( d i ( t ) , T j ) ; u f k , s f k 2 ) - - - ( 6 )
进一步的,本发明全局轨迹关联的具体过程,包括:
计算轨迹间的相似性:
P lin k ( T j L | T i L ) = A a ( T j L | T i L ) A m ( T j . L | T i L ) A t ( T j L | T i L ) - - - ( 7 )
进一步的,本发明基于运动模型,计算轨迹间的运动相似性,包括:
A m ( T j L | T i L ) = G ( p i t a i l + v i t a i l Δ t ; p j h e a d ; Σ Δ t ) · G ( p j h e a d - v j h e a d Δ t ; p i t a i l ; Σ Δ t ) - - - ( 8 )
上式中的Δt表示第i条轨迹Ti的尾部与第j条轨迹Tj的头部间的帧数;p和v表示经卡尔曼滤波后目标轨迹的位置与速度信息。
时域模型保证了两条轨迹Ti与Tj在时间上没有重叠:
P t ( T i , T j ) = 1 i f f j ( s ) - f i ( e ) > 0 0 o t h e r w i s e - - - ( 9 )
上式中的fi(e)表示第i轨迹Ti的结束帧,fj(s)表示第j轨迹Tj的起始帧。
基于增量线性表观模型Λ,计算轨迹间的表观相似性:
Λ A ( X , Y ) = ( U T f ( X ) · U T f ( Y ) ) | | U T f ( X ) | | | | U T f ( Y ) | | - - - ( 10 )
进一步的,本发明轨迹间空缺填补计算步骤如下:
步骤1:分析新生成的轨迹Ti*:如果该轨迹为一单独轨迹,则将其归入最终的轨迹集合{Ti};如果该轨迹包含两条以上的轨迹片段,则进入下一步。
步骤2:按时间先后顺序,排列轨迹Ti*对应的轨迹片段,并填补片段间的空缺:对由于目标遮挡引起的轨迹片段,本发明采用线性运动模型进行填补;对由于运动状态突变引起的轨迹片段,本发明采用非线性运动估计模型进行填补。
步骤3:重复以上步骤,遍历轨迹集合{Ti*}中每一条轨迹,剔除未能成功关联的轨迹片段,最终得到目标平滑而连续的轨迹。
附图说明
图1为基于MF1-c1视频片段的跟踪结果示意图。
图2为基于S2L1视频库的跟踪结果示意图。
图3为基于本发明的目标跟踪结果示意图。
图4为本发明的方法流程图。
具体实施方式
下面结合说明书附图对本发明创造作进一步的详细说明。
如图4所示,本发明的提供了一种基于轨迹关联的多目标跟踪方法,该方法包括:首先,场景自适应的局部轨迹生成方法能自适应地选取合适特征表征目标,且通过特征融合减少目标表征的二义性;其次,采用基于增量线性判决的表观模型可有效减少计算量,且可有效解决目标在显著形变、表观改变及长时遮挡下的识别问题;同时,采用基于非线性运动模型的轨迹填充策略,可有效解决不满足线性运动轨迹间的关联问题,以生成更为平滑、连续的跟踪轨迹。
步骤1:基于场景自适应方法生成局部轨迹,实现检测响应与原有轨迹关联。
鲁棒性的目标表示,是目标局部轨迹生成过程中的一个重要任务。为解决此类问题,本发明提出了基于场景自适应的局部轨迹生成方法,即:依据分层的特征空间,自适应地分阶关联局部轨迹。
1、基于场景自适应的局部轨迹思路
在多目标关联框架中,一个关键步骤是将当前帧的n个检测响应与m条轨迹进行关联。假设Dt:={d1,d2,…,dn}表示第t帧中的n个检测响应,T:={T1,T2,…,Tm}表示m条轨迹, 表示与第j条轨迹Tj相关联的检测响应,表示t时刻与轨迹Tj关联的检测响应。
轨迹间的相似性常常是先计算检测响应与轨迹间基于某个特征的相似性,然后将不同特征的相似性相乘以获得最终的关联性:
Plink(di,Tj)=Apos(di,Tj)Asz(di,Tj)Aappr(di,Tj)...    (11)
上式中的这里A定义了检测响应di与轨迹Tj间的相似性,f(k)定义了目标响应的特征。然而,基于众多特征的相似性关联计算,不能提高目标识别的准确性;相反,它易导致算法的错误率叠加和时间复杂度的增大。为解决该问题,本发明提出基于场景自适应分层空间的关联。
2、场景自适应分层空间的关联
首先建立一个特征空间F,用以描述检测响应与轨迹间的相似性:
P lin k ( d i , T j | F ) = Π f ( k ) ∈ F A f ( k ) ( d i , T j ) - - - ( 12 )
然后,依据特征空间F重构K层特征空间:利用鲁棒性的特征,构建特征空间的低层;通过逐渐添加特征,构建特征空间的高层:
F H k = F H k - 1 ∪ { f ( k ) } . - - - ( 13 )
3、基于场景自适应的特征选取过程
假设表示第t帧中的检测响应di,Tj表示一系列在第t帧前已关联到目标j的轨迹,则当检测响应di在第t帧时已关联到Tj情况下,目标j特征表示的差异值为:
v f ( k ) j ( t ) = Dist f ( k ) ( d j ( t ) , T j ) - - - ( 14 )
上式中的Distf(k)表示检测响应di与轨迹Tj在特征表示f(k)下的距离度量。
分别计算差异值的均值uf(k)与标准偏差Sf(k)
{ u f ( k ) = Σ j = 1 N T Σ l = 1 t δ j ( l ) v f ( k ) j ( l ) Σ j = 1 N T Σ l = 1 t δ j ( l ) + 1 s f ( k ) = ( Σ j = 1 N T Σ l = 1 t ( δ j ( l ) v f ( k ) j ( l ) ) 2 - ( u f ( k ) ) 2 Σ j = 1 N T Σ l = 1 t δ j ( l ) + 1 ) 1 2 - - - ( 15 )
上式中的NT表示关联到轨迹的检测响应数目,为:
δ j ( t ) = 1 f k i s s e l e c t e d t o r e p r e s e n t r j ( t ) o n f r a m e t 0 o t h e r w i s e - - - ( 16 )
目标特征f(k)的鲁棒性表示为:
R k = U k ( w 1 · 1 u f ( k ) + w 2 · 1 s f ( k ) ) - - - ( 17 )
上式中的Uk是一个为不同特征预先设定的参数(本发明设为20),w1与w2是权重参数。
实际应用中,本发明采用迭代方式更新uf(k)与Sf(k)
u ^ f ( k ) = ( 1 - 1 Δ n ( t ) + 1 ) · u f ( k ) + 1 Δ n ( t ) + 1 · v f ( k ) j ( t + 1 ) - - - ( 18 )
( s ^ f ( k ) ) 2 = ( 1 - 1 Δ n ( t + 1 ) + 1 ) · ( S f ( k ) ) 2 + 1 Δ n ( t + 1 ) + 1 · ( u f ( k ) 2 - u ^ f ( k ) 2 + ( v f ( k ) j ( t + 1 ) ) 2 ) - - - ( 19 )
上式中的Δn(t)为:
Δ n ( t ) = Σ j = 1 N T Σ l = 1 t δ j ( l ) - - - ( 20 )
对于给定的更新值uf(k)与Sf(k),Rk可通过式(17)进行更新。
4、基于场景自适应的局部轨迹
假设选取K个鲁棒性特征,构建K层特征空间Hk,且在Hk内有Mk条轨迹THk:={Tj Hk}M与Nk个检测响应DHk:={di Hk}N间存在关联,则基于场景自适应的局部轨迹具体过程描述如下:
计算THk与DHk之间的相似性矩阵MHk
A H k i j = P lin k ( d i , T j | F H K ) = Π f ( k ) ∈ F H k A f ( k ) ( d i , T j ) - - - ( 21 )
上式中的Aij Hk表示MHk的第i行和第j列的元素,且
A f ( k ) ( d i , T j ) = G ( Dist f ( t ) ( d i ( t ) , T j ) ; u f ( k ) , s f ( k ) 2 ) - - - ( 22 )
基于式(21)所示的相似性矩阵,本发明提出基于分层的局部轨迹生成方法,该方法首先检测响应,并以此更新轨迹Tj;然后,对那些不可靠连接,将构建多层特征空间;最后,采用迭代过程实现轨迹关联,对那些由于目标遮挡、走出区域而引起的目标跟丢,则在全局轨迹关联算法框架中进行进一步分析。
步骤2:基于增量线性判决的表观模型,实现全局轨迹关联;
本发明提出基于增量线性判别表观模型的在线学习关联策略。由于增量线性判别法不仅有利于减少表观模型学习的计算量,且有利于长时保存轨迹信息,因此,该关联策略可有效解决显著形变、表观改变、长时遮挡下的目标识别问题。
1、训练样本
由于遮挡导致、显著形变、表观改变等情况会产生伪轨迹,因此,本发明只从已有轨迹片段中提取训练样本。
训练样本的生成过程是:首先将每帧图像中的检测相应用HSV色彩空间的颜色特征fi表示,然后与标记轨迹片段yi生成B={(fi,yi)}。为提高目标识别的效果,本发明基于增量线性判决分析法实现高维特征的低维空间投影。
2、增量线性判决分析法
为确保同类数据间的高相似性,及不同类数据间的高差异性,基于类分离最大化原则构建如下式所示的投影矩阵:
U ^ = argmax U | U T S B U | | U T S T U | - - - ( 23 )
上式中的ST和SB分别表示总体散度和类间散度:
S T = Σ l ( f l - μ ) · ( f l - μ ) T S B = Σ i = 1 C ( m i - μ ) ( m i - μ ) T - - - ( 24 )
上式中的C表示轨迹片段的数目,ni表示第i类轨迹的片段数,mi表示第i类轨迹的平均特征值,μ表示所有轨迹的平均特征值。
利用特征值分解,分别获得ST和SB的主成分,及相应的生成空间;对新产生的轨迹片段,同样利用特征值分解,获得其主成分及相应的生成空间。
第i类轨迹的的特征模型表示为:
i,ni,Pii}             (25)
上式中的Pi表示第i类轨迹的主成分,Λi表示第i类轨迹的生成空间。
为提高计算效率,本发明采用不同轨迹间基向量的线性组合表示轨迹关联后的主成分:
P3=h([p1,p212])·R       (26)
上式中的h(·)表示对向量进行正交归一化处理,R为旋转矩阵。
基于以上公式,轨迹关联后的总体散度矩阵ST可表示为:
S T 3 = h ( [ P 1 , P 2 , μ 1 - μ 2 ] ) · R · Λ 3 · R T · h ( [ P 1 , P 2 , μ 1 - μ 2 ] ) T - - - ( 27 )
由于正交性,上式可进一步表示为:
h ( [ P 1 , P 2 , μ 1 - μ 2 ] ) T · S T 3 · h ( [ P 1 , P 2 , μ 1 - μ 2 ] ) = R · Λ 3 · R T - - - ( 28 )
上式等号左边的表达式可确定旋转矩阵R及相应的主成分P3,及获得轨迹合并后的生成空间Λ3
在本发明中,轨迹i和轨迹j的类间散度矩阵SB的空间模型表示为:
i,ni,Qii,nijij}           (29)
上式中的Qi表示第i条轨迹的主成分,Δi为第i条轨迹的生成空间,αij表示轨迹i与轨迹j的特征均值在投影算子Q下的特征均值。利用算子向量aij及轨迹i的总体样本均值μi,可得到轨迹集合的特征均值:
μij=μi+aij·Qi          (30)
本发明利用下式表示轨迹合并后的类间散度:
S B 3 = S B 1 + S B 2 + A + ( μ 1 - μ 2 ) · ( μ 1 - μ 2 ) T · n 1 n 2 / ( n 1 + n 2 ) A = Σ k = 1 , 2 - ( μ 2 , k - μ 1 , k ) · ( μ 2 , k - μ 1 , k ) T · n 1 , k n 2 , k n 1 , k + n 2 , k - - - ( 31 )
上式中的K为轨迹片段的类标签。
轨迹关联后的主成分求解问题可转化为求解旋转矩阵R的问题:
h ( [ Q 1 , Q 2 , μ 1 - μ 2 ] ) T · S B 3 · h ( [ Q 1 , Q 2 , μ 1 - μ 2 ] ) = RΔ 3 R T - - - ( 32 )
第i类轨迹的特征均值aij表示轨迹i中所有片段特征均值的主成分投影:
aij=QTiji)               (33)
此时,轨迹i的特征均值更新为:
μ3j=(n1jμ1j+n2jμ2j)/(n1j+n2j)         (34)
基于类间散度特征模型获取投影算子的过程描述如下。
投影空间表示为:
[ ( P 3 Δ 3 - 1 2 ) T , Q 3 ] - - - ( 35 )
投影空间的基向量集合表示为:
Ω = h ( [ ( P 3 Δ 3 - 1 2 ) T , Q 3 ] ) - - - ( 36 )
旋转矩阵R表示为:
Ω T ( P 3 Δ 3 - 1 2 ) T S B 3 ( P 3 Δ 3 - 1 2 ) T Ω = RΛR T - - - ( 37 )
投影算子U表示为:
U = ( P 3 Δ 3 - 1 2 ) T · W = ( P 3 Δ 3 - 1 2 ) T · Ω R - - - ( 38 )
基于增量线性判决的表观相似性模型表示为:
Λ A = ( X , Y ) = U T f ( X ) · U T f ( Y ) | | U T f ( X ) | | | | U T f ( Y ) | | - - - ( 39 )
步骤3:基于非线性运动模型,实现轨迹片段间空缺填补,以获取完整且平滑的跟踪轨迹
1、轨迹关联
假设轨迹中含有置信度较高(置信度评测标准参见实验部分)的轨迹片段集合为{T1 *,T2 *,…,TM *},且Ti *的表达形式为:
{ d i t s i , ... , d i t e i } - - - ( 40 )
上式中的分别表示轨迹片段i的开始帧与结束帧。表示t时刻的检测响应,分别表示位置信息、尺寸信息、速度矢量信息。
G(Ptail+vtailΔt-pheadp)G(phead-vheadΔt-ptailp)      (41)
上式中的△t为ptail与phead的帧差,G(·)为高斯函数。
本发明只关联那些置信度较高的轨迹片段:首先,去除那些满足式(41)所示的线性运动模型的头部片段和尾部片段;然后,将那些满足非线性运动状态模型的片段,运用非线性运动模型进行关联。
2、基于非线性运动模型的轨迹关联
利用算法1,实现非线性运动轨迹片段的关联。
在上述算法1中,<a,b>表示向量a、b的角度,(x,y)表示x到y的向量,ζ为角度阈值。上述的算法依据在线学习的非线性运动模型,利用检测响应关联轨迹,获取平滑、连续的轨迹。相比之前的跟踪算法,该算法在目标运动方向突变跟踪性能上表现出一定的鲁棒性。

Claims (6)

1.一种基于轨迹关联的多目标跟踪方法,其特征在于,所述方法包括如下步骤:
步骤1:基于场景自适应方法生成局部轨迹,实现检测响应与原有轨迹关联;
步骤2:基于增量线性判决的表观模型,实现全局轨迹关联;
步骤3:基于非线性运动模型,实现轨迹片段间空缺填补,以获取完整且平滑的跟踪轨迹。
2.根据权利要求1所述的一种基于轨迹关联的多目标跟踪方法,其特征在于:所述步骤1基于场景自适应方法生成局部轨迹,实现检测响应与原有轨迹关联,包括:
利用前景检测技术实现图像目标的检测;基于场景自适应计算检测响应与已有轨迹间的关联性;判断检测响应是否成功关联某条轨迹;将成功关联的检测响应加入目标集合中,同时将未关联的检测响应作为新目标加入目标集合中。
3.根据权利要求1所述的一种基于轨迹关联的多目标跟踪方法,其特征在于,所述方法的局部轨迹关联,包括:
定义D={di}为一系列检测响应,通过计算相似性得到目标的轨迹片段:
Plink=Apos(dj|di)Asize(dj|di)Aappr(dj|di)         (1)
上式中的Apos(di|d2)表示不同目标间位置的相似性:
A p o s ( d 1 | d 2 ) = exp &lsqb; - ( x 1 - x 2 ) 2 &sigma; x 2 &rsqb; exp &lsqb; - ( y 1 - y 2 ) 2 &sigma; y 2 &rsqb; - - - ( 2 )
上式中的x1、y1与x1、y2分别为不同目标在连续两帧中的位置,σx与σy分别为当前轨迹片段的方差,式(1)中的Asize(d1|d2)表示目标尺寸的相似性:
A s i z e ( d 1 | d 2 ) = exp &lsqb; - ( s 1 - s 2 ) 2 &sigma; s 2 &rsqb; - - - ( 3 )
上式中的s1与s2分别为目标的尺寸,σs为当前所有轨迹片段面积的方差;
式(1)中的Aappr(d1|d2)表示目标间的表观相似性:
A a p p r ( d 1 | d 2 ) = 1 - B C ( d 1 , d 2 ) = 1 - &Sigma; n = 1 N q ( d 1 ) n p ( d 2 ) n - - - ( 4 )
上式中的q、p分别表示不同目标灰度级的权重,N表示直方图的级数;
采用基于场景自适应的关联策略,将当前检测响应关联成局部轨迹:
A f k ( d i , T j ) = G ( Dist f k ( d i ( t ) , T j ) ; u f k , s f k 2 ) - - - ( 5 )
A f k ( d i , T j ) = G ( Dist f k ( d i ( t ) , T j ) ; u f k , s f k 2 ) - - - ( 6 ) .
4.权利要求1所述的一种基于轨迹关联的多目标跟踪方法,其特征在于,所述步骤2基于增量线性判决的表观模型,实现全局轨迹关联包括:运动模型、时域模型与表观模型在内的三个相似性模型;采用基于学习的表观模型更新策略:首先,从之前运动轨迹中提取在线训练样本;然后,基于增量线性判决法,将目标轨迹的表观信息投影到判决空间。
5.权利要求1或4所述的一种基于轨迹关联的多目标跟踪方法,其特征在于,所述步骤2基于增量线性判决的表观模型,实现全局轨迹关联全局轨迹关联的具体过程如下:
计算轨迹间的相似性:
P l i n k ( T j L | T i L ) = A a ( T j L | T i L ) A m ( T j L | T i L ) A t ( T j L | T i L ) - - - ( 7 )
基于运动模型,计算轨迹间的运动相似性:
A m ( T j L | L i T ) = G ( p i t a i l + v i t a i l &Delta; t ; p j h e a d ; &Sigma; &Delta; t ) &CenterDot; G ( p j h e a d - v j h e a d &Delta; t ; p i t a i l , &Sigma; &Delta; t ) - - - ( 8 )
上式中的Δt表示第i条轨迹Ti的尾部与第j条轨迹Tj的头部间的帧数;p和v表示经卡尔曼滤波后目标轨迹的位置与速度信息;
时域模型保证了两条轨迹Ti与Tj在时间上没有重叠:
P t ( T i , T j ) = 1 i f f j ( s ) - f i ( e ) > 0 0 o t h e r w i s e - - - ( 9 )
上式中的fi(e)表示第i轨迹Ti的结束帧,fj(s)表示第j轨迹Tj的起始帧;基于增量线性表观模型Λ,计算轨迹间的表观相似性:
&Lambda; A ( X , Y ) = ( U T f ( X ) &CenterDot; U T f ( Y ) ) || U T f ( X ) || || U T f ( Y ) || - - - ( 10 ) .
6.根据权利要求1所述的一种基于轨迹关联的多目标跟踪方法,其特征在于,所述步骤3基于非线性运动模型,实现轨迹片段间空缺填补,以获取完整且平滑的跟踪轨迹,包括:
分析新生成的轨迹Ti*:如果该轨迹为一单独轨迹,则将其归入最终的轨迹集合{Ti};如果该轨迹包含两条以上的轨迹片段,则进入下一步;
按时间先后顺序,排列轨迹Ti*对应的轨迹片段,并填补片段间的空缺:对由于目标遮挡引起的轨迹片段,采用线性运动模型进行填补;对由于运动状态突变引起的轨迹片段,采用非线性运动估计模型进行填补;
重复上述步骤,遍历轨迹集合{Ti*}中每一条轨迹,剔除未能成功关联的轨迹片段,最终得到目标平滑而连续的轨迹。
CN201510326021.7A 2015-06-12 2015-06-12 一种基于轨迹关联的多目标跟踪方法 Active CN104915970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510326021.7A CN104915970B (zh) 2015-06-12 2015-06-12 一种基于轨迹关联的多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510326021.7A CN104915970B (zh) 2015-06-12 2015-06-12 一种基于轨迹关联的多目标跟踪方法

Publications (2)

Publication Number Publication Date
CN104915970A true CN104915970A (zh) 2015-09-16
CN104915970B CN104915970B (zh) 2019-03-29

Family

ID=54085007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510326021.7A Active CN104915970B (zh) 2015-06-12 2015-06-12 一种基于轨迹关联的多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN104915970B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469429A (zh) * 2015-11-27 2016-04-06 北京航空航天大学 目标跟踪方法和装置
CN105513081A (zh) * 2015-12-21 2016-04-20 中国兵器工业计算机应用技术研究所 一种多目标的跟踪识别方法
CN105654517A (zh) * 2016-02-22 2016-06-08 江苏信息职业技术学院 基于分层空间的rb化粒子滤波算法
CN105654139A (zh) * 2015-12-31 2016-06-08 北京理工大学 一种采用时间动态表观模型的实时在线多目标跟踪方法
CN105809714A (zh) * 2016-03-07 2016-07-27 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于轨迹置信度的多目标跟踪方法
CN106127809A (zh) * 2016-06-22 2016-11-16 浙江工业大学 一种显微图像序列中癌细胞轨迹追踪与关联方法
CN106600631A (zh) * 2016-11-30 2017-04-26 郑州金惠计算机系统工程有限公司 基于多目标跟踪的客流统计方法
CN107133269A (zh) * 2017-04-01 2017-09-05 中国人民解放军国防科学技术大学 基于移动目标的频繁位置轨迹生成方法及装置
CN107169989A (zh) * 2017-04-17 2017-09-15 南京邮电大学 一种基于数据关联与轨迹评估的多目标跟踪方法
CN107316317A (zh) * 2017-05-23 2017-11-03 深圳市深网视界科技有限公司 一种行人多目标跟踪方法和装置
CN107438173A (zh) * 2016-05-25 2017-12-05 佳能株式会社 视频处理装置、视频处理方法和存储介质
CN107798272A (zh) * 2016-08-30 2018-03-13 佳能株式会社 快速多目标检测与跟踪系统
WO2019006632A1 (zh) * 2017-07-04 2019-01-10 深圳大学 一种视频多目标跟踪方法及装置
CN109583505A (zh) * 2018-12-05 2019-04-05 百度在线网络技术(北京)有限公司 一种多传感器的物体关联方法、装置、设备及介质
CN109697392A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 绘制目标对象热力图的方法及装置
CN109934849A (zh) * 2019-03-08 2019-06-25 西北工业大学 基于轨迹度量学习的在线多目标跟踪方法
CN110110649A (zh) * 2019-05-02 2019-08-09 西安电子科技大学 基于速度方向的可选择性人脸检测方法
CN110458867A (zh) * 2019-08-15 2019-11-15 北京邮电大学 一种基于注意力循环网络的目标跟踪方法
CN110675432A (zh) * 2019-10-11 2020-01-10 智慧视通(杭州)科技发展有限公司 一种基于多维特征融合的视频多目标跟踪方法
CN111739053A (zh) * 2019-03-21 2020-10-02 四川大学 一种复杂场景下的在线多行人检测跟踪方法
CN112000090A (zh) * 2020-07-03 2020-11-27 中国北方车辆研究所 一种用于非结构化道路的轨迹队列管理方法
CN112070071A (zh) * 2020-11-11 2020-12-11 腾讯科技(深圳)有限公司 视频中的对象标注方法、装置、计算机设备及存储介质
CN112116634A (zh) * 2020-07-30 2020-12-22 西安交通大学 一种半在线机置的多目标跟踪方法
CN113466904A (zh) * 2021-06-11 2021-10-01 西安交通大学 一种动态干扰源跟踪方法及系统
CN114078325A (zh) * 2020-08-19 2022-02-22 北京万集科技股份有限公司 多感知系统配准方法、装置、计算机设备和存储介质
CN114882068A (zh) * 2022-04-24 2022-08-09 电子科技大学 多目标跟踪方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281477A (zh) * 2013-05-17 2013-09-04 天津大学 基于多级别特征数据关联的多目标视觉跟踪方法
CN103955947A (zh) * 2014-03-21 2014-07-30 南京邮电大学 一种基于连续最小能量与表观模型的多目标关联跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281477A (zh) * 2013-05-17 2013-09-04 天津大学 基于多级别特征数据关联的多目标视觉跟踪方法
CN103955947A (zh) * 2014-03-21 2014-07-30 南京邮电大学 一种基于连续最小能量与表观模型的多目标关联跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SEUNG-HWAN BAE ET AL: "Robust Online Multi-Object Tracking based on Tracklet Confidence and Online Discriminative Appearance Learning", 《THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
WANG C ET AL: "Scene-Adaptive Hierarchical Data Association for Multiple Objects Tracking", 《IEEE SIGNAL PROCESSING LETTERS》 *
YANG B ET AL: "Multi-target tracking by online learning of non-linear motion patterns and robust appearance models", 《COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469429A (zh) * 2015-11-27 2016-04-06 北京航空航天大学 目标跟踪方法和装置
CN105513081A (zh) * 2015-12-21 2016-04-20 中国兵器工业计算机应用技术研究所 一种多目标的跟踪识别方法
CN105654139A (zh) * 2015-12-31 2016-06-08 北京理工大学 一种采用时间动态表观模型的实时在线多目标跟踪方法
CN105654139B (zh) * 2015-12-31 2019-04-05 北京理工大学 一种采用时间动态表观模型的实时在线多目标跟踪方法
CN105654517A (zh) * 2016-02-22 2016-06-08 江苏信息职业技术学院 基于分层空间的rb化粒子滤波算法
CN105809714A (zh) * 2016-03-07 2016-07-27 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于轨迹置信度的多目标跟踪方法
CN107438173A (zh) * 2016-05-25 2017-12-05 佳能株式会社 视频处理装置、视频处理方法和存储介质
CN106127809A (zh) * 2016-06-22 2016-11-16 浙江工业大学 一种显微图像序列中癌细胞轨迹追踪与关联方法
CN106127809B (zh) * 2016-06-22 2018-09-18 浙江工业大学 一种显微图像序列中癌细胞轨迹追踪与关联方法
CN107798272A (zh) * 2016-08-30 2018-03-13 佳能株式会社 快速多目标检测与跟踪系统
CN107798272B (zh) * 2016-08-30 2021-11-02 佳能株式会社 快速多目标检测与跟踪系统
CN106600631A (zh) * 2016-11-30 2017-04-26 郑州金惠计算机系统工程有限公司 基于多目标跟踪的客流统计方法
CN107133269A (zh) * 2017-04-01 2017-09-05 中国人民解放军国防科学技术大学 基于移动目标的频繁位置轨迹生成方法及装置
CN107133269B (zh) * 2017-04-01 2021-06-18 中国人民解放军国防科技大学 基于移动目标的频繁位置轨迹生成方法及装置
CN107169989B (zh) * 2017-04-17 2020-04-24 南京邮电大学 一种基于数据关联与轨迹评估的多目标跟踪方法
CN107169989A (zh) * 2017-04-17 2017-09-15 南京邮电大学 一种基于数据关联与轨迹评估的多目标跟踪方法
CN107316317A (zh) * 2017-05-23 2017-11-03 深圳市深网视界科技有限公司 一种行人多目标跟踪方法和装置
WO2019006632A1 (zh) * 2017-07-04 2019-01-10 深圳大学 一种视频多目标跟踪方法及装置
CN109697392A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 绘制目标对象热力图的方法及装置
CN109583505A (zh) * 2018-12-05 2019-04-05 百度在线网络技术(北京)有限公司 一种多传感器的物体关联方法、装置、设备及介质
CN109934849A (zh) * 2019-03-08 2019-06-25 西北工业大学 基于轨迹度量学习的在线多目标跟踪方法
CN111739053B (zh) * 2019-03-21 2022-10-21 四川大学 一种复杂场景下的在线多行人检测跟踪方法
CN111739053A (zh) * 2019-03-21 2020-10-02 四川大学 一种复杂场景下的在线多行人检测跟踪方法
CN110110649A (zh) * 2019-05-02 2019-08-09 西安电子科技大学 基于速度方向的可选择性人脸检测方法
CN110110649B (zh) * 2019-05-02 2023-04-07 西安电子科技大学 基于速度方向的可选择性人脸检测方法
CN110458867B (zh) * 2019-08-15 2020-07-24 北京邮电大学 一种基于注意力循环网络的目标跟踪方法
CN110458867A (zh) * 2019-08-15 2019-11-15 北京邮电大学 一种基于注意力循环网络的目标跟踪方法
CN115311330A (zh) * 2019-10-11 2022-11-08 杭州云栖智慧视通科技有限公司 一种基于位置预测的视频多目标跟踪方法
CN115311329A (zh) * 2019-10-11 2022-11-08 杭州云栖智慧视通科技有限公司 一种基于双环节约束的视频多目标跟踪方法
CN110675432B (zh) * 2019-10-11 2022-11-08 杭州云栖智慧视通科技有限公司 一种基于多维特征融合的视频多目标跟踪方法
CN115311329B (zh) * 2019-10-11 2023-05-23 杭州云栖智慧视通科技有限公司 一种基于双环节约束的视频多目标跟踪方法
CN115311330B (zh) * 2019-10-11 2023-04-07 杭州云栖智慧视通科技有限公司 一种基于位置预测的视频多目标跟踪方法
CN110675432A (zh) * 2019-10-11 2020-01-10 智慧视通(杭州)科技发展有限公司 一种基于多维特征融合的视频多目标跟踪方法
CN112000090B (zh) * 2020-07-03 2023-06-27 中国北方车辆研究所 一种用于非结构化道路的轨迹队列管理方法
CN112000090A (zh) * 2020-07-03 2020-11-27 中国北方车辆研究所 一种用于非结构化道路的轨迹队列管理方法
CN112116634A (zh) * 2020-07-30 2020-12-22 西安交通大学 一种半在线机置的多目标跟踪方法
CN112116634B (zh) * 2020-07-30 2024-05-07 西安交通大学 一种半在线机置的多目标跟踪方法
CN114078325A (zh) * 2020-08-19 2022-02-22 北京万集科技股份有限公司 多感知系统配准方法、装置、计算机设备和存储介质
CN114078325B (zh) * 2020-08-19 2023-09-05 北京万集科技股份有限公司 多感知系统配准方法、装置、计算机设备和存储介质
CN112070071A (zh) * 2020-11-11 2020-12-11 腾讯科技(深圳)有限公司 视频中的对象标注方法、装置、计算机设备及存储介质
CN113466904B (zh) * 2021-06-11 2022-12-09 西安交通大学 一种动态干扰源跟踪方法及系统
CN113466904A (zh) * 2021-06-11 2021-10-01 西安交通大学 一种动态干扰源跟踪方法及系统
CN114882068A (zh) * 2022-04-24 2022-08-09 电子科技大学 多目标跟踪方法、装置、计算机设备和存储介质
CN114882068B (zh) * 2022-04-24 2023-09-01 电子科技大学 多目标跟踪方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN104915970B (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN104915970A (zh) 一种基于轨迹关联的多目标跟踪方法
Chiu et al. Probabilistic 3d multi-modal, multi-object tracking for autonomous driving
CN102881022B (zh) 基于在线学习的遮挡目标跟踪方法
CN107341820B (zh) 一种融合Cuckoo搜索和KCF的突变运动目标跟踪方法
CN102473307B (zh) 用于轨迹估计的方法和装置以及用于分割的方法
EP2811424B1 (en) Method and apparatus for training an estimator for estimating a pose of an articulated object
CN101276468B (zh) 在视频帧序列中跟踪目标的由计算机执行的方法
Wang et al. Split and connect: A universal tracklet booster for multi-object tracking
CN111932580A (zh) 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统
CN105957105B (zh) 基于行为学习的多目标跟踪方法及系统
Piccoli et al. Fussi-net: Fusion of spatio-temporal skeletons for intention prediction network
CN104200488A (zh) 一种基于图表示和匹配的多目标跟踪方法
CN104199022B (zh) 一种基于目标模态估计的临近空间高超声速目标跟踪方法
CN111862145B (zh) 一种基于多尺度行人检测的目标跟踪方法
CN103310188A (zh) 用于姿态识别的方法和设备
CN105809718A (zh) 一种轨迹熵最小化的对象跟踪方法
CN106199581A (zh) 一种随机集理论下的多机动目标跟踪方法
Abdechiri et al. Visual object tracking with online weighted chaotic multiple instance learning
Chen et al. Multi-scale bio-inspired place recognition
CN107194950B (zh) 一种基于慢特征分析的多人跟踪方法
CN105894008A (zh) 结合特征点匹配及深度神经网络检测的目标运动跟踪方法
Liu et al. Correlation filter with motion detection for robust tracking of shape-deformed targets
CN110555864B (zh) 基于pspce的自适应目标跟踪方法
CN102184554A (zh) 基于激活区域背景感知的红外目标跟踪方法
CN106054167A (zh) 基于强度滤波器的多扩展目标跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210003 new model road 66, Gulou District, Nanjing, Jiangsu

Applicant after: Nanjing Post & Telecommunication Univ.

Address before: 210023 9 Wen Yuan Road, Qixia District, Nanjing, Jiangsu.

Applicant before: Nanjing Post & Telecommunication Univ.

GR01 Patent grant
GR01 Patent grant