CN110544266A - 一种基于结构稀疏表示的交通目标跟踪方法 - Google Patents

一种基于结构稀疏表示的交通目标跟踪方法 Download PDF

Info

Publication number
CN110544266A
CN110544266A CN201910836543.XA CN201910836543A CN110544266A CN 110544266 A CN110544266 A CN 110544266A CN 201910836543 A CN201910836543 A CN 201910836543A CN 110544266 A CN110544266 A CN 110544266A
Authority
CN
China
Prior art keywords
detection response
sparse
track
target
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910836543.XA
Other languages
English (en)
Other versions
CN110544266B (zh
Inventor
杨红红
张玉梅
吴晓军
高晟
王云鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN201910836543.XA priority Critical patent/CN110544266B/zh
Publication of CN110544266A publication Critical patent/CN110544266A/zh
Application granted granted Critical
Publication of CN110544266B publication Critical patent/CN110544266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种基于结构稀疏表示的交通多目标跟踪方法,包括如下步骤:S100:利用交通运动目标与检测响应之间的几何位置关系和基于外观变化的空域约束关系构建该交通运动目标的时空约束模型;S200:利用所述时空约束模型获得改进稀疏表示外观模型,该改进稀疏表示外观模型是通过基于权值约束的判别式稀疏表示和基于遮挡分析的局部稀疏表示获得的;S300:基于所述时空约束模型和所述改进稀疏表示外观模型进行检测响应估计,获得最优检测响应;S400:基于所获得的最优检测响应进行轨迹关联估计,获得最终的轨迹‑检测响应关联概率进行数据关联。该方法对交通场景中的运动目标进行跟踪,可以有效提高目标跟踪的鲁棒性和跟踪精度。

Description

一种基于结构稀疏表示的交通目标跟踪方法
技术领域
本公开属于视频信息处理分析,计算机视觉领域,具体涉及一种基于结构稀疏表示的交通目标跟踪方法。
背景技术
动态交通场景中对车辆或行人的跟踪是智能交通领域研究的一个重点内容。在智能交通平台中对多个交通目标进行跟踪的目的是定位交通场景周围的目标,使车辆能够快速感知周围环境。该项技术可以使驾驶员快速了解驾驶环境,有助于提高交通安全。多交通目标跟踪技术作为智能交通系统(intelligent transportation system,ITS)的核心技术,在视频监控、交通安全、汽车辅助驾驶系统等行业中有着广泛的应用。
然而,在动态交通场景中,多交通目标跟踪是一项更具挑战性的任务,该场景中的视频图像是通过安装在移动车辆上的摄像头获取的。在这种情况下,由于目标的快速运动、车辆间的相互遮挡加之车辆的转弯等现象,会造成被跟踪车辆的跟踪边界框发生剧烈的变化。此外,由于车辆运动过程中周围的场景是动态变化的,与传统的行人跟踪等低速跟踪相比,运动车辆跟踪中的遮挡、视角变化、光线及尺度等的变化更为严重。因此,在动态场景中对多交通目标可靠有效的跟踪仍然是一个挑战性的问题。
目前,主流的多目标跟踪方法主要遵循检测-跟踪的(tracking-by-detection,TBD)框架。虽然基于TBD范式的MOT跟踪方法在多目标跟踪中取得了显著的成效,但是,针对动态场景中的交通目标跟踪方法比较少。遮挡问题是动态交通场景中的一个普遍问题。由于动态场景中遮挡及交通目标的快速运动,会引起目标外观发生剧烈的变化,从完整到部分可见,从而导致数据关联匹配失败的问题。并且,动态交通场景中长时间的遮挡会造成目标外观模型包含大量的错误样本,引起目标跟丢问题。此外,在动态交通场景中,由于运动目标的突然加速或制动等现象,会造成目标运动位置错误估计的问题。
发明内容
鉴于此,本公开提供了一种基于结构稀疏表示的交通多目标跟踪方法,包括如下步骤:
S100:利用交通运动目标与检测响应之间的几何位置关系和基于外观变化的空域约束关系构建该交通运动目标的时空约束模型;
S200:利用所述时空约束模型获得改进稀疏表示外观模型,该改进稀疏表示外观模型是通过基于权值约束的判别式稀疏表示和基于遮挡分析的局部稀疏表示获得的;
S300:基于所述时空约束模型和所述改进稀疏表示外观模型进行检测响应估计,获得最优检测响应;
S400:基于所获得的最优检测响应进行轨迹关联估计,获得最终的轨迹-检测响应关联概率进行数据关联。
通过上述技术方案,本方法对交通场景中的运动目标进行跟踪,降低动态交通场景中误检及遮挡对多目标跟踪的影响,可以有效提高目标跟踪的鲁棒性和跟踪精度。
附图说明
图1是本公开一个实施例中所提供的一种基于结构稀疏表示的交通目标跟踪方法的流程示意图。
图2是本公开一个实施例中依据几何关系建立的时域约束示意图。
图3(a)至图3(c)是本公开一个实施例中稀疏外观建模过程中基于稀疏表示的样本采样示意图。
图4是本公开一个实施例中本方法不同组成部分在KTTTI视频库验证集上基于多目标跟踪性能指标的对比示意图。
具体实施方式
下面结合附图1至图4对本发明进行进一步的详细说明。
在一个实施例中,参见图1,其公开了一种基于结构稀疏表示的交通多目标跟踪方法,包括如下步骤:
S100:利用交通运动目标与检测响应之间的几何位置关系和基于外观变化的空域约束关系构建该交通运动目标的时空约束模型;
S200:利用所述时空约束模型获得改进稀疏表示外观模型,该改进稀疏表示外观模型是通过基于权值约束的判别式稀疏表示和基于遮挡分析的局部稀疏表示获得的;
S300:基于所述时空约束模型和所述改进稀疏表示外观模型进行检测响应估计,获得最优检测响应;
S400:基于所获得的最优检测响应进行轨迹关联估计,获得最终的轨迹-检测响应关联概率进行数据关联。
就该实施例而言,该方法强调目标外观模型在多目标跟踪中的重要性,首先利用运动目标与检测响应之间的时空关系构建相应的结构约束模型,然后提出基于结构约束模型的权值约束判别式稀疏外观表示方法和遮挡分析的局部稀疏外观表示方法,降低误检及遮挡对多目标跟踪性能的影响。最后,该方法将轨迹与检测响应的数据关联问题划分为检测响应估计和轨迹关联估计两部分,基于时空约束模型进行检测响应估计,获得相应的最优检测响应。然后基于所获得的最优检测响应进行轨迹关联估计,获得最终的轨迹-检测响应关联概率进行数据关联,得到当前的目标轨迹,实现动态场景中交通目标的跟踪,有效提高目标跟踪的鲁棒性和跟踪精度。
基于Bayesian框架提出的一种基于时空约束稀疏表示的多交通目标跟踪方法,是基于TBD的在线多目标跟踪方法,其一个关键任务是将当前帧中的N个检测响应与M条轨迹进行关联,生成当前的轨迹。假设第t帧中,存在N个检测响应M条轨迹 表示与第j条轨迹Tj相关联的检测响应,ts和te表示轨迹Tj的起始帧和终止帧,表示第k帧中与轨迹Tj相关联的检测响应。基于Bayesian规则,通过最大化之间的后验概率获得轨迹关联,得到当前帧的轨迹。
式中,基于目标观测状态的轨迹估计,之间的条件概率。
由于在线MOT跟踪中,基于Bayesian框架的之间的数据关联随时间的递增会指数增加。因此,使用遍历搜索方法求解式中的优化关联是很难的。本方法将其分解为基于时空约束的两个估计状态:
其中,通过基于时空约束的检测响应估计,可以获得第t帧中最优的检测响应 是基于最优检测响应的轨迹估计。
在另一个实施例中,所述S100进一步包括:
对于当前帧中的N个检测响应与M条轨迹,存在M个交通运动目标状态针对N个检测响应所建立的时空约束模型为:
M,N为正整数,对于第t帧中任意的检测响应 表示的关联索引,时空关联建立的条件是rt i,k=1;
其中,第t帧中,对于任意的交通运动目标状态和检测响应其对应的时空约束模型为:
rt i,j=fst∪fa,rt i,j∈{0,1}
式中,为交通运动目标状态的中心位置坐标,为检测响应的中心位置坐标,w和h分别为交通运动目标状态对应边界框的宽度和高度,fst是基于交通运动目标状态与检测响应几何关系的时域约束;如果代表同一个交通运动目标,则它们的几何位置将很近,fst=1表示在时域上关联,反之,fst=0表示在时域上不关联;fa基于外观变化的空域关系约束,描述交通运动目标与检测响应在连续帧中的空域关系;表示的外观差异,如果之间基于稀疏表示的外观差异小于预定义阈值,则在空域上关联,fa=1,反之,fa=0表示在空域上未关联;分别表示第i个检测响应和j个交通运动目标状态的稀疏直方图,D′表示稀疏直方图的维度,τ为预定义阈值;rt i,j表示之间的关联索引,其值由fst和fa共同决定。
就该实施例而言,所述的跟踪目标时空约束模型构建的思路是:第t帧中,属于同一个目标的目标状态Xt及检测响应zt是相似的。zt和Xt之间的时空信息不会发生显著的变化。因此,对于第t帧中任意的检测响应依据所跟踪目标的历史状态信息X1:t={x1,…,xt},建立相应的时空约束模型,以优化其检测响应。在动态运动场景中,由于车辆目标的快速运动及相机的运动,所跟踪目标的位置将发生非常大的变化,因此,仅仅依靠之间几何位置关系fst建立的约束(如图2所示)将不可靠。此外,基于fst的约束关系并未考虑运动目标的上下文信息,因此,本方法引入基于外观变化的空域约束关系fa,描述被跟踪目标与检测响应在连续帧中的空域约束关系。通过该模型得到的是每个轨迹的候选检测响应。
在另一个实施例中,所述S200进一步包括:
S201:基于稀疏表示的样本采集,具体为:
对于第t帧中任意的检测响应利用轨迹的历史信息构建相应的稀疏表示字典模板其中,t为正整数,分别表示轨迹Tt i的起始帧和终止帧,n表示字典模板的数目;为检测响应的灰度值,将其归一化为32×32的大小并将其转换为列向量;
对于第t帧中任意的轨迹Tt i,从轨迹Tt i的历史轨迹中采集Np个正样本,从Tt i的互斥轨迹i≠j中采集Nn个负样本,其中,Np,Nn为正整数;对于任意的仅从中采集n′个候选检测响应,n′为正整数;根据所述的时空约束模型消除中不可能成为下一帧目标状态的候选检测响应,从而获得基于时空约束的交通运动目标的稀疏样本;
S202:基于权值约束的判别式稀疏表示,具体为:
对于任意的轨迹经所述交通运动目标的时空约束模型计算所获得的候选检测响应为K=32×32,引入目标模板Fi权值约束对于候选检测响应Z,其对应的稀疏系数αi求解为:
式中,λ为规则化参数,z表示任意帧中的任意一个候选检测响应;
然后获得候选检测响应Z的相似度为:
H(z)=exp(-(ε+-)/σ)
式中为候选检测响应z基于正样本稀疏模板集F+中Np个正样本的重构误差,是相应的稀疏系数向量;是候选检测响应Z基于负样本稀疏模板集F_中Nn个负样本的重构误差,是相应的稀疏系数向量;σ是调节侯选检测响应Z相似度的常数;
S203:局部稀疏表示为:
经所述交通运动目标的时空约束模型获得第t帧中任意轨迹的候选检测响应对于候选检测响应提取M′个局部图像块然后获得候选检测响应局部图像块zi,m′的稀疏表示:
式中,λ2是稀疏控制参数,是相应局部图像块zi,m′的稀疏系数向量;对于Fi中第n个目标模板,其对应的m′个局部图像模板为m′=1,…,M′,dm′是第m′个局部图像块向量的维数;
对于任意的候选检测响应将其对应的局部图像块的稀疏表示进行合并,获得候选检测响应的稀疏直方图表示B={β1,…,βM′};
S204:基于遮挡分析的局部稀疏表示具体为:
基于所述局部图像块稀疏系数向量,计算任意局部图像块zi,m′的重构误差:
然后,定义局部图像块zi,m的遮挡程度指标φi,m′
式中,ε0为预定义的阈值;如果εi,m′>ε0,则表示局部图像块zi,m′存在遮挡现象,设定为φi,m′=0,反之,设定为φi,m′=1;
然后,基于局部图像块遮挡程度指标,计算目标模板稀疏直方图
式中,⊙表示向量间的点积;
最后,根据直方图相交原则,计算候选检测响应稀疏直方图与目标模板稀疏直方图之间的相似度:
S205:基于改进稀疏表示的外观模型为:
候选检测响应z与轨迹T基于改进稀疏表示的外观模型pa
式中,Hz和Lz分别为候选检测响应z与轨迹T基于权值约束的判别式稀疏外观相似度和基于遮挡分析的局部稀疏外观的相似度。
就该实施例而言,在线多目标跟踪中,关联关系模型是影响多目标跟踪性能的重要因素。通常依据目标的外观及运动信息构造MOT跟踪中的关联关系模型。而目标的外观特征由于能较好的表征被跟踪目标在视频帧中的关联信息,其对跟踪性能有着重要的影响。由于在动态交通场景中,遮挡及噪声样本干扰比较严重,因此,本方法提出了一种改进的稀疏表示方法,将整体及局部稀疏表示结合起来对所跟踪目标的外观、噪声或遮挡进行建模,实现动态交通场景中跟踪目标外观的准确描述,提高多目标跟踪的跟踪性能。
在线多目标跟踪中,对于当前帧中存在的任意轨迹,提出了如图3(a)至图3(c)所示的训练样本采集方法。由于目标外观建模是基于稀疏表示的,因此,对于第t帧中任意的检测响应都需要将其稀疏投映到模板空间中。
由于本方法是基于TBD的在线多目标跟踪方法,可以预先获得每个检测响应zi的检测相似度ri,其先验检测响应相似度可以表示对应检测响应的可靠性。因此,将先验检测响应相似度引入到判别式稀疏表示中,以消除直接应用轨迹的检测响应构造稀疏表示模板过程中由误检引起的误差累积。
对于第t帧中任意的轨迹本方法通过采集获得目标模板对于目标模板Fi,使用空间划分方法对每个目标区域采集M′个局部图像块,将其作为局部稀疏表示的字典模板。
如果检测响应中的第m′个局部图像块可以由目标模板中的第m′个图像块表示,则在检测响应中的其他局部图像块的稀疏重构中,相同模板中相应的局部图像块获得比其他模板中相应图像块更优的稀疏重构表示。因此,本方法中检测响应的任意局部图像块将会成为跟踪目标的一部分,通过将所有的局部图像块结合起来,实现目标的完整重构表示。从而,基于局部稀疏表示的目标外观建模方法有助于保留目标的局部结构信息,实现目标外观高效的稀疏表示。
稀疏直方图是依据所跟踪目标的局部空间信息计算得到的,因此,其能够有效的处理动态交通场景中的遮挡问题。在计算候选检测响应和目标模板稀疏直方图的过程中,将遮挡指标φ同时引入二者的计算中,以公平的计算二者的稀疏表示,实现鲁棒的目标外观表示。
在多目标跟踪中,所跟踪的目标外观经常发生变化,因此,需要对用于权值判别式稀疏表示(discriminative sparse representation,DSR)的目标外观模板及用于遮挡分析局部稀疏表示(local sparse appearance,LSR)的目标外观模板进行更新。对于DSR中任意的目标模板F和LSR中的任意的局部字典模板Fi,m′,依据其与跟踪目标的相似度设定权值。其权值设定原则是,当模板集中的目标模板用于表示候选目标时,根据其使用频率设定相应的权值,目标模板使用的越频繁,其权值越高,反之,其权值越低。然后,依据模板的权值,在DSR模板更新中,其正样本模板集中用高权值的模板替换低权值的模板,负样本模板集中用互斥轨迹上的模板对其模板进行更新。在LSR模板更新中,用当前帧候选样本中高权值的局部字典模板替换低权值的局部字典模板。实现稀疏表示中基于权值策略的字典模板更新。
为第t帧中,存在的N个检测响应未改进之前的候选检测响应为中的所有检测响应,改进之后,仅剩符合约束模型的那一部分,这里n′代表符合约束模型约束条件的检测响应的数目。所以,达到消除目的。
在另一个实施例中,所述S300进一步包括:
S301:依据时空约束模型,计算第t帧中任意检测响应的先验检测概率:
式中,为基于kalman运动模型计算得到的转移密度;
S302:基于与交通运动目标状态的时空约束关联关系,根据外观,形状及运动信息计算得到基于时空约束的检测响应似然概率:
式中,pa,ps和pm分别表示检测响应与交通运动目标状态的外观相似度,形状相似度及运动相似度;
式中,ps中,(hx,hz),(wx,wz)分别表示检测响应和交通运动目标状态边界框的高度和宽度,pm中S(·)表示检测响应和交通运动目标状态边界框的面积;
S303:通过下式得到基于时空约束的后验检测估计概率,从而得到第t帧中最优的检测响应
就该实施例而言,基于检测响应与目标状态之间的时空约束模型计算检测响应的先验概率,从而有效减少数据关联的计算量,并且有助于消除误检对跟踪的影响。
的计算由两部分组成,由MAP理论,计算第t帧中每一个候选检测响应的后验概率,然后由第t帧中所有的候选检测响应构成一个集合,这个集合为第t帧中最优的检测响应集
在另一个实施例中,所述S400进一步包括:
S401:轨迹先验关联概率计算为:
式中,为所述的后验检测估计概率,n′是基于所述时空约束模型的zi之间的匹配对个数;
S402:轨迹关联似然函数计算为:
式中,是检测响应zi与轨迹Tj关联的相似度,其中,利用外观和运动信息计算它们之间的关联相似度:
p(zi|Tj)=pa(zi|Tj)pm(zi|Tj)
式中,pa(zl|Tj)为检测响应zi与轨迹Tj的外观相似度,pm(zi|Tj)为轨迹Tj的尾部位置与头部位置基于帧差Δt的运动相似度,具体定义为:其中,p和V分别表示轨迹Tj头部和尾部的位置及速度;
S403:通过下式
计算得到轨迹后验关联概率,即得到成对的轨迹-检测响应关联概率。
就该实施例而言,假设第t帧中存在N个候选检测响应和M条轨迹如果通过遍历搜索方法关联第t帧中的每个检测响应与轨迹,其数据量将非常庞大。因此,本方法通过求解轨迹与最优检测响应之间的数据关联问题,获得第t帧中最优的轨迹关联结果。经过基于时空约束的检测响应估计,本方法获得第t帧中优化的q个检测响应然后通过MAP(maximum aposteriori)估计,获得第j条轨迹与第i个检测响应之间成对的轨迹-检测响应关联:
式中,表示第i个优化的检测响应与轨迹相关联,表示由轨迹观测似然函数与轨迹先验关联概率计算所得的轨迹后验关联概率。
轨迹先验关联概率描述的是数据关联之前第i个优化检测响应与轨迹相关联
在另一个实施例中,基于轨迹-检测响应关联概率的数据关联:
经过计算,获得成对的轨迹-检测响应关联概率。然后构建第t帧中轨迹与检测响应之间的数据关联关系矩阵C=[cij]M×N。其中,由Hungarian算法求解最终的轨迹与检测响应之间的关联匹配。最后,依据关联匹配结果,使用第t帧中的检测响应更新目标状态,利用kalman滤波器估计目标在新一帧中的轨迹状态。此外,对第t帧中未关联匹配的检测响应进行保留,作为潜在的跟踪目标,将其作为初始化轨迹。当潜在的目标在连续多帧(本方法定义为5帧)中与其他检测响应或轨迹发生关联,则其产生新的目标轨迹,否则,潜在的跟踪目标在连续多帧中(本方法定义为5帧)未与任何检测响应或轨迹发生关联,将认为其是噪声干扰,对其进行舍弃处理。
在另一个实施例中,为了进一步说明本方法提出的时空约束模型及基于改进的稀疏表示外观建模策略的有效性,从时空约束策略及目标外观表示两个方面对本方法进行说明。图4为本方法提供的各不同组成部分在KITTI视频验证集上基于多目标跟踪评价指标的评价结果,其评价指标包括:MOTP(Multiple Object Tracking Precision),MOTA(Multiple Object Tracking Accuracy),MT(Mostly-Tracked)和ML(Mostly-Lost)。GSP-tracker为本方法仅使用检测响应与运动目标的几何信息构建式中的时空约束关系,即该跟踪方法仅使用基于几何位置的时域约束。ASP-tracker为本方法仅基于检测响应与运动目标的外观信息构建式中的时空约束关系,即该跟踪方法仅使用基于外观特征的空域约束。LSR-tracker为本方法仅基于遮挡分析的局部稀疏表示方法构建式目标外观模型的跟踪方法,DSR-tracker为本方法仅基于权值约束的判别式稀疏表示方法构建式目标外观模型的跟踪方法,Ours表示本方法包含所有步骤的跟踪方法。
由图4(对于带(↑)的指标,其数值越高表示性能越好;对于带(↓)的指标,其数值越低表示其性能越好)评价结果可以看出,本方法各个组成部分均有助于提高多目标跟踪方法的跟踪精度,GSP-tracker,ASP-tracker,DSP-tracker和LSP-tracker跟踪方法的跟踪精度(MOTA)指标均低于本方法的跟踪方法。GSP-tracker跟踪方法由于仅使用检测响应与运动目标的几何信息构建两者的时空约束关系,其MOTA和ML指标明显下降,类似的现象也出现在ASP-tracker跟踪方法中。GSP-tracker和ASP-tracker都是基于检测响应与运动目标时空约束关系的跟踪方法,两者跟踪结果的区别在于ASP-tracker跟踪方法的MOTA和ML指标降低程度的比GSP-tracker跟踪方法小。这是因为GSP-tracker跟踪方法仅使用检测响应与运动目标的几何信息构建两者的时空约束关系,在动态交通场景中,由于车辆等运动目标的快速运动、拐弯等运动造成视频帧中所跟踪目标的位置发生剧烈的变化,因此,跟踪目标之间基于时间序列的几何关系将不可靠,依据此建立的检测响应与运动目标之间的约束关系也将不可靠。在这种场景中,ASP-tracker跟踪方法在建立检测响应与运动目标之间的约束关系时,考虑被跟踪目标在短时窗口内局部和全局的外观变化,利用被跟踪目标的上下文信息,建立相应的空域约束,从而较好地处理动态交通场景中快速运动及发生形变的目标。在本方法提出的外观模型表示方面,由于LSP-tracker跟踪方法使用基于遮挡分析的局部稀疏外观表示方法,能够准确处理被跟踪目标的外观变化及遮挡现象,因此,LSP-tracker跟踪方法的性能优于DSP-tracker跟踪方法。因此,本方法有助于提高多目标跟踪的跟踪精度。
尽管以上结合附图对本发明的实施方案进行了描述,但本发明并不局限于上述的具体实施方案和应用领域,上述的具体实施方案仅仅是示意性的、指导性的,而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下,还可以做出很多种的形式,这些均属于本发明保护之列。

Claims (5)

1.一种基于结构稀疏表示的交通多目标跟踪方法,包括如下步骤:
S100:利用交通运动目标与检测响应之间的几何位置关系和基于外观变化的空域约束关系构建该交通运动目标的时空约束模型;
S200:利用所述时空约束模型获得改进稀疏表示外观模型,该改进稀疏表示外观模型是通过基于权值约束的判别式稀疏表示和基于遮挡分析的局部稀疏表示获得的;
S300:基于所述时空约束模型和所述改进稀疏表示外观模型进行检测响应估计,获得最优检测响应;
S400:基于所获得的最优检测响应进行轨迹关联估计,获得最终的轨迹-检测响应关联概率进行数据关联。
2.根据权利要求1所述的方法,所述S100进一步包括:
对于当前帧中的N个检测响应与M条轨迹,存在M个交通运动目标状态针对N个检测响应所建立的时空约束模型为:
M,N为正整数,对于第t帧中任意的检测响应 表示的关联索引,时空关联建立的条件是
其中,优选的,第t帧中,对于任意的交通运动目标状态和检测响应其对应的时空约束模型为:
式中,为交通运动目标状态的中心位置坐标,为检测响应的中心位置坐标,w和h分别为交通运动目标状态对应边界框的宽度和高度,fst是基于交通运动目标状态与检测响应几何关系的时域约束;如果代表同一个交通运动目标,则它们的几何位置将很近,fst=1表示在时域上关联,反之,fst=0表示在时域上不关联;fa基于外观变化的空域关系约束,描述交通运动目标与检测响应在连续帧中的空域关系;表示的外观差异,如果之间基于稀疏表示的外观差异小于预定义阈值,则在空间上关联,fa=1,反之,fa=0表示在空域上未关联;分别表示第i个检测响应和j个交通运动目标状态的稀疏直方图,D′表示稀疏直方图的维度,τ为预定义阈值;表示之间的关联索引,其值由fst和fa共同决定。
3.根据权利要求1所述的方法,所述S200进一步包括:
S201:基于稀疏表示的样本采集,具体为:
对于第t帧中任意的检测响应利用轨迹的历史信息构建相应的稀疏表示字典模板其中,t为正整数,分别表示轨迹的起始帧和终止帧,n表示字典模板的数目;为检测响应的灰度值,将其归一化为32×32的大小并将其转换为列向量;
对于第t帧中任意的轨迹从轨迹的历史轨迹中采集Np个正样本,从的互斥轨迹中采集Nn个负样本,其中,Np,Nn为正整数;对于任意的仅从中采集n′个候选检测响应,n′为正整数;根据所述的时空约束模型消除中不可能成为下一帧目标状态的候选检测响应,从而获得基于时空约束的交通运动目标的稀疏样本;
S202:基于权值约束的判别式稀疏表示,具体为:
对于任意的轨迹经所述交通运动目标的时空约束模型计算所获得的候选检测响应为K=32×32,引入目标模板Fi权值约束对于候选检测响应z,其对应的稀疏系数αi求解为:
式中,λ为规则化参数,z表示任意帧中的任意一个候选检测响应;
然后获得候选检测响应z的相似度为:
H(z)=exp(-(ε+-)/σ)
式中为候选检测响应z基于正样本稀疏模板集F+中Np个正样本的重构误差,是相应的稀疏系数向量;是候选检测响应z基于负样本稀疏模板集F-中Nn个负样本的重构误差,是相应的稀疏系数向量;σ是调节侯选检测响应z相似度的常数;
S203:局部稀疏表示为:
经所述交通运动目标的时空约束模型获得第t帧中任意轨迹的候选检测响应对于候选检测响应提取M′个局部图像块然后获得候选检测响应局部图像块zi,m′的稀疏表示:
式中,λ2是稀疏控制参数,是相应局部图像块zi,m′的稀疏系数向量;对于Fi中第n个目标模板,其对应的m′个局部图像模板为dm′是第m′个局部图像块向量的维数;
对于任意的候选检测响应将其对应的局部图像块的稀疏表示进行合并,获得候选检测响应的稀疏直方图表示B={β1,…,βM′};
S204:基于遮挡分析的局部稀疏表示具体为:
基于所述局部图像块稀疏系数向量,计算任意局部图像块zi,m′的重构误差:
然后,定义局部图像块zi,m′的遮挡程度指标φi,m′
式中,ε0为预定义的阈值;如果εi,m′>ε0,则表示局部图像块zi,m′存在遮挡现象,设定为φi,m′=0,反之,设定为φi,m′=1;
然后,基于局部图像块遮挡程度指标,计算目标模板稀疏直方图
式中,⊙表示向量间的点积;
最后,根据直方图相交原则,计算候选检测响应稀疏直方图与目标模板稀疏直方图之间的相似度:
S205:基于改进稀疏表示的外观模型为:
候选检测响应z与轨迹T基于改进稀疏表示的外观模型pa
式中,Hz和Lz分别为候选检测响应z与轨迹T基于权值约束的判别式稀疏外观相似度和基于遮挡分析的局部稀疏外观的相似度。
4.根据权利要求1所述的方法,所述S300进一步包括:
S301:依据时空约束模型,计算第t帧中任意检测响应的先验检测概率:
式中,为基于kalman运动模型计算得到的转移密度;
S302:基于与交通运动目标状态的时空约束关联关系,根据外观,形状及运动信息计算得到基于时空约束的检测响应似然概率:
式中,pa,ps和pm分别表示检测响应与交通运动目标状态的外观相似度,形状相似度及运动相似度;
式中,ps中,(hx,hz),(wx,wz)分别表示检测响应和交通运动目标状态边界框的高度和宽度,pm中S(·)表示检测响应和交通运动目标状态边界框的面积;
S303:通过下式得到基于时空约束的后验检测估计概率,从而得到第t帧中最优的检测响应
5.根据权利要求4所述的方法,所述S400进一步包括:
S401:轨迹先验关联概率计算为:
式中,为所述的后验检测估计概率,n′是基于所述时空约束模型的zi之间的匹配对个数;
S402:轨迹关联似然函数计算为:
式中,是检测响应zi与轨迹Tj关联的相似度,其中,利用外观和运动信息计算它们之间的关联相似度:
p(zi|Tj)=pa(zi|Tj)pm(zi|Tj)
式中,pa(zi|Tj)为检测响应zi与轨迹Tj的外观相似度,pm(zi|Tj)为轨迹Tj的尾部位置与头部位置基于帧差Δt的运动相似度,具体定义为:其中,p和v分别表示轨迹Tj头部和尾部的位置及速度;
S403:通过下式
计算得到轨迹后验关联概率,即得到成对的轨迹-检测响应关联概率。
CN201910836543.XA 2019-09-11 2019-09-11 一种基于结构稀疏表示的交通目标跟踪方法 Active CN110544266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910836543.XA CN110544266B (zh) 2019-09-11 2019-09-11 一种基于结构稀疏表示的交通目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910836543.XA CN110544266B (zh) 2019-09-11 2019-09-11 一种基于结构稀疏表示的交通目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110544266A true CN110544266A (zh) 2019-12-06
CN110544266B CN110544266B (zh) 2022-03-18

Family

ID=68712541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910836543.XA Active CN110544266B (zh) 2019-09-11 2019-09-11 一种基于结构稀疏表示的交通目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110544266B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110085702A1 (en) * 2009-10-08 2011-04-14 University Of Southern California Object tracking by hierarchical association of detection responses
CN105678804A (zh) * 2016-01-06 2016-06-15 北京理工大学 一种耦合目标检测与数据关联的实时在线多目标跟踪方法
CN105894022A (zh) * 2016-03-30 2016-08-24 南京邮电大学 一种自适应分层关联多目标跟踪方法
CN106846374A (zh) * 2016-12-21 2017-06-13 大连海事大学 多摄像头场景下车辆的轨迹计算方法
CN107038431A (zh) * 2017-05-09 2017-08-11 西北工业大学 基于局部稀疏和时空上下文信息的航拍视频目标跟踪方法
CN108549905A (zh) * 2018-04-09 2018-09-18 上海方立数码科技有限公司 一种严重遮挡情况下的精准目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110085702A1 (en) * 2009-10-08 2011-04-14 University Of Southern California Object tracking by hierarchical association of detection responses
CN105678804A (zh) * 2016-01-06 2016-06-15 北京理工大学 一种耦合目标检测与数据关联的实时在线多目标跟踪方法
CN105894022A (zh) * 2016-03-30 2016-08-24 南京邮电大学 一种自适应分层关联多目标跟踪方法
CN106846374A (zh) * 2016-12-21 2017-06-13 大连海事大学 多摄像头场景下车辆的轨迹计算方法
CN107038431A (zh) * 2017-05-09 2017-08-11 西北工业大学 基于局部稀疏和时空上下文信息的航拍视频目标跟踪方法
CN108549905A (zh) * 2018-04-09 2018-09-18 上海方立数码科技有限公司 一种严重遮挡情况下的精准目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HONGHONG HAN ET AL.: "An efficient edge artificial intelligence multipedestrian tracking method with rank constraint", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATION》 *
LU HONG YOON ET AL.: "Bayesian multi-object tracking using motion context from multiple objects", 《2015 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》 *
高灿等: "基于运动状态和多层超图关联的多目标跟踪", 《合肥工业大学学报(自然科学版)》 *

Also Published As

Publication number Publication date
CN110544266B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
Wu et al. Vision-based real-time aerial object localization and tracking for UAV sensing system
CN110335337B (zh) 一种基于端到端半监督生成对抗网络的视觉里程计的方法
Hausler et al. Multi-process fusion: Visual place recognition using multiple image processing methods
Wojek et al. Monocular visual scene understanding: Understanding multi-object traffic scenes
Song et al. High accuracy monocular SFM and scale correction for autonomous driving
CN109242884B (zh) 基于JCFNet网络的遥感视频目标跟踪方法
US20170316569A1 (en) Robust Anytime Tracking Combining 3D Shape, Color, and Motion with Annealed Dynamic Histograms
CN111666871B (zh) 一种面向无人机的改进yolo与sift相结合的多小目标检测跟踪方法
CN103955688B (zh) 一种基于计算机视觉的斑马鱼群检测与跟踪方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
CN110827262B (zh) 一种基于连续有限帧红外图像的弱小目标检测方法
CN111862145A (zh) 一种基于多尺度行人检测的目标跟踪方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
Tu et al. A biologically inspired vision-based approach for detecting multiple moving objects in complex outdoor scenes
CN115496900A (zh) 一种基于稀疏融合的在线碳语义地图构建方法
El Jaafari et al. A novel approach for on-road vehicle detection and tracking
CN116721337A (zh) 无人驾驶场景下基于动态车辆检测的点云畸变矫正方法
Zheng et al. Dim target detection method based on deep learning in complex traffic environment
Castellano et al. Density-based clustering with fully-convolutional networks for crowd flow detection from drones
Thomas et al. Fast approach for moving vehicle localization and bounding box estimation in highway traffic videos
CN109271865B (zh) 基于散射变换多层相关滤波的运动目标跟踪方法
CN113092807B (zh) 基于多目标跟踪算法的城市高架道路车辆测速方法
JP2010020808A (ja) 移動物体認識方法及び装置
CN110544266B (zh) 一种基于结构稀疏表示的交通目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant