CN107122735A - 一种基于深度学习和条件随机场的多目标跟踪方法 - Google Patents
一种基于深度学习和条件随机场的多目标跟踪方法 Download PDFInfo
- Publication number
- CN107122735A CN107122735A CN201710282459.9A CN201710282459A CN107122735A CN 107122735 A CN107122735 A CN 107122735A CN 201710282459 A CN201710282459 A CN 201710282459A CN 107122735 A CN107122735 A CN 107122735A
- Authority
- CN
- China
- Prior art keywords
- mrow
- tracking
- msubsup
- testing result
- fragment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 54
- 239000012634 fragment Substances 0.000 claims abstract description 52
- 238000005381 potential energy Methods 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 10
- 238000013461 design Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 238000005303 weighing Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001239379 Calophysus macropterus Species 0.000 description 1
- 101000578283 Oryza sativa subsp. japonica Naringenin 7-O-methyltransferase Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习和条件随机场的多目标跟踪方法,主要包括下述步骤:用训练集训练深度网络;用网络提取目标的表观特征;在时间滑窗内将数据集给出的检测结果连接成可能的跟踪片段;将每个目标的跟踪片段集合作为点进行条件随机场建模;计算随机场中点与边的势能;利用联合树求解条件随机场得到滑窗内的跟踪结果;移动窗口,重复跟踪过程。主要贡献包括:(1)提出一种基于深度网络提取特征的多目标跟踪方法;(2)提出一种新的跟踪片段相似性度量方法;(3)实现一种基于跟踪片段集的半在线跟踪算法。通过利用深度网络提取表观特征,将检测结果连接为可能的跟踪片段,并利用条件随机场对片段进行关联,完成了多目标跟踪。
Description
技术领域
本发明涉及多目标跟踪领域,特别涉及一种基于深度学习和条件随机场的多目标跟踪方法。
背景技术
尽管多目标跟踪技术有了较大发展,但是仍然由于存在跟踪准确率低、速度慢等问题而难以应用到实际。多目标跟踪,为了将检测结果进行准确的匹配,往往需要提取判别能力较强的特征,如SIFT,HOG等,而传统方法不仅耗时而且其判别能力也因特征本身的设计受到限制。近年来,深度学习在计算机视觉领域取得了辉煌的成绩,尤其是卷积神经网络,其特点是数据驱动,网络生成特征而非人工设计,由于其强大的特征描述能力,得到了广泛的应用。因此,将深度学习应用到多目标跟踪领域势在必行。
目前,多目标跟踪方法主要是基于检测的跟踪,即先利用检测算法将图像中的目标检测出来,然后对每帧图像中检测出的目标进行匹配连接,而多目标跟踪算法研究的重点在于匹配连接模型。
现有的方法也主要分为两类,一类是注重提取有判别力的特征,另一类则力求建立更稳健的匹配关联模型:
(1)提高特征表达能力的方法主要是根据多目标跟踪的问题特点而设计更符合该问题的特征,这类算法往往将多目标跟踪中的运动特点以及目标之间的相关关系加入到特征设计中,但往往会因遮挡等原因出现较多匹配问题。典型代表如Anton Milan等人提出的CEM(参考:Milan,A.and Roth,S.and Schindler,K.,Continuous Energy Minimizationfor Multi-Target Tracking,IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINEINTELLIGENCE,VOL.36,NO.1,2014),NChoi W等人提出的NOMT(参考:NChoi W.Near-onlinemulti-target tracking with aggregated local flow descriptor.Proceedings ofthe IEEE International Conference on Computer Vision.2015:3029-3037.)。
(2)数据关联模型主要集中在如何将目标进行匹配。其中一类方法是将数据之间的关联建立为贝叶斯模型,这类方法虽然能改善因遮挡等带来的跟踪问题,但往往需要求取大量的参数,典型代表如Yu Xiang提出的MDP(参考:Xiang Y,Alahi A,SavareseS.Learning to track:Online multi-object tracking by decision making,Proceedings of the IEEE International Conference on Computer Vision.2015:4705-4713.).另一类方法是将其建模为图模型,通过求解能量最小化的图割模型来获得跟踪结果,这类方法虽然能得到最优或者局部最优的解,但往往将跟踪问题离线化,且速度较慢,典型代表为Anton Milan等人提出的DCE(参考:Milan A,Schindler K,Roth S.Multi-target tracking by discrete-continuous energy minimization.IEEE transactionson pattern analysis and machine intelligence,2016,38(10):2054-2068.),还有一类新的方法,这类方法探索使用递归网络对跟踪的时序问题进行建模,虽然能更大程度的利用跟踪中的运动连续信息,但是其与特征的融合仍存在较多问题,典型代表为Anton Milan等人提出的RNN-based的方法(参考:Milan A,Rezatofighi S H,Dick A,et al.Onlinemulti-target tracking using recurrent neural networks[J].arXiv preprintarXiv:1604.03635,2016.)。
发明内容
本发明的目的在于克服现有多目标跟踪技术的缺点与不足,提出一种基于深度学习和条件随机场的多目标跟踪方法,该方法既能快速有效地区分相似目标,又改善了因遮挡等原因造成的跟踪间断的问题,且利用滑动窗口的方式实现了半在线的跟踪方法,使得多目标跟踪方法更为精确有效。
本发明的目的通过以下的技术方案实现:一种基于深度学习和条件随机场的多目标跟踪方法,包括步骤:
S1、训练网络:利用给定的训练集,训练一个深度网络;
S2、应用阶段:输入待处理视频的目标检测结果,对检测结果进行筛选,得到筛选后的检测结果;
S3、提取特征:将筛选后的检测结果输入深度网络中,得到检测结果的表观特征;
S4、产生跟踪片段:根据滑动窗口中检测结果和检测结果之间、目标与检测结果之间的表观特征相似度和位置关系,将可能为同一目标的检测结果连接成跟踪片段;
S5、建模:将跟踪片段集合进行建模得到条件随机场模型,其中条件随机场中的点代表某一跟踪目标的可能的跟踪片段集合,集合的大小为跟踪片段的个数;点与点之间存在的边表示不同目标的跟踪片段之间共存的可能性;
S6、计算:计算条件随机场中点的势能与边的势能;
S7、求解:利用联合树算法求解,得到每个目标的跟踪片段索引,作为该滑动窗口内的跟踪结果;
S8、滑动窗口,设定滑动步长,计算滑动窗口内的跟踪结果,依次循环,得到整个视频的跟踪结果。
作为优选,在步骤S1中,深度网络包含两个卷积层、两个全连接层和一个归一化层,训练使用的损失函数是triplet-loss损失,其表达式为:
上式中,为锚点,即某个目标的表观特征,为正样本特征,正样本为与锚点属于同一个目标的其他样本,为负样本特征,负样本为与锚点属于不同目标的样本,σ为松弛参数。
优选的,在步骤S2中,对目标检测后的结果进行筛选,筛选包括:去掉检测置信度得分低于阈值的检测结果;去掉检测结果与真实标注的交并比大于一定阈值的检测结果;所述检测置信度得分是检测器对该检测结果的信心值,交并比是指两个检测框相交的面积除以并集的面积得到的比例,越大表示检测框体与真实标注框体重合度越高。
作为优选,在步骤S3中,将筛选后的检测结果输入到深度网络提取特征前需将检测结果归一化到相同尺寸,深度网络最后一层全连接层的输出作为检测结果的表观特征。
作为优选,在步骤S4中,将表观相似度与运动相似度分别大于给定阈值的检测结果连接构成跟踪片段,其中表观相似度使用欧式距离度量,其数学公式为其中f(di)m,f(dj)m分别为检测结果di,dj表观特征的第m维;
运动相似度用检测结果与跟踪片段在当前帧中检测框体的位置的交并比的平方来衡量,两个框体交并比的数学表达式为其中p,d分别为预测框体和检测框体,inner(p,d)为两框体的重叠面积,union(p,d)为两框体的联合面积。
更进一步的,所述预测的框体位置采用二项式拟合来预测,具体是:先根据跟踪片段中框体的位置来确定二项式的参数,其数学表达式为其中x,y分别为框体的中心位置,n为跟踪片段内框体个数,为二项式拟合函数,通过上式即可求得二项式的参数;同理,可拟合出时间t与x的二项式函数然后预测该跟踪片段在t1时刻框体的位置为其中h为已连接的跟踪片段。
更进一步的,预设一遗忘时间,如果在后续的跟踪片段中一目标超过遗忘时间都没有出现,则删除该目标。
作为优选,在步骤S6中,计算条件随机场中点的势能,其数学表达式为其中T为滑动窗口的长度,为滑动窗口前已知的第m个跟踪目标,为该跟踪目标在滑动窗口内的第xm条跟踪片段;
其中表示跟踪目标与跟踪片段内检测结果的势能,第一项为表观相似度的势能,第二项为位置关系的势能,η为参数,为该目标在滑动窗口内最后一次出现的时刻,o2为预测框体与检测框体交并比率的平方;
fp(di,dj)=-DA(di,dj)为某跟踪片段内两个检测框体的势能,为高阶势能ξ为计算预测框体与检测框体中心点之间的欧式距离,K为计算两检测结果的颜色直方图的欧式距离,γ,ε,θ为参数。
作为优选,在步骤S6中,不同目标跟踪片段间的势能主要惩罚不同目标的跟踪片段在某一时刻为连接了同一检测框体的情况,边的势能数学表达式为:
其中为跟踪片段在时刻τ所连接的检测框体,为知识函数,当两个跟踪片段是时刻τ所连接的是同一个检测框体时为1,否则为0,α,β为参数,其中β要超过一定值,且该值要足够大,以此避免框体的重复分配。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明方法基于深度卷积神经网络,使用triplet-loss训练网络使得网络输出的特征更具有判别能力,使得更容易区分不同目标,网络结构的选择保证了提取特征的速度。
2、本发明方法提出新的跟踪片段相似性度量方法。将表观特征和运动特征相融合,加入物体的运动连续性特征使得信息更加丰富,同时也考虑到了跟踪片段在同一时刻的互斥的特性,使得度量更完善。
3、本发明方法实现一种基于跟踪片段集的半在线跟踪算法。将有可能为同一目标的检测结果连接得到跟踪片段集合作为条件随机场中的点,使得跟踪结果在滑动窗口内局部最优,利用联合树算法进行求解,也使得求解更加快速。
附图说明
图1为本发明一种基于深度学习和条件随机场的多目标跟踪方法流程示意图。
图2为本发明方法在一般评价标准上的性能结果。
图3(a)-(c)为本发明方法的跟踪效果示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。
本次实验在MOT16数据集上进行(参考:Milan,A.and Leal-Taix,L.and Reid,I.and Roth,S.and Schindler,K.MOT16:A Benchmark for Multi-ObjectTracking.arXiv:1603.00831),这是多目标跟踪算法常用的数据集,该数据集分为训练集和测试集两部分,各包含7个场景的视频片段,每个片段包含的帧数由450到1500不等。图3是该数据集的部分图像示例。由该图可以看出,该数据集包含了多种情景,目标较为密集,背景复杂,在该数据集上进行实验具有一定的挑战性。
图1展示了本发明一种基于深度学习和条件随机场的多目标跟踪方法的具体步骤,以下是步骤的详述:
(1)利用训练集给定的图片和标注信息对深度卷积网络进行训练,其中网络结构包括两个卷积层、两个全连接层和一个归一化层,训练使用的损失函数是triplet-loss损失。输入网络前需将检测结果归一化到80*230大小。
(2)对待处理视频目标检测后给出的检测结果进行预处理,包括:去掉检测得分低于阈值的检测结果,本实验中该阈值设置为dtTre=0;去掉交并比大于一定阈值的检测结果,本实验中交并比阈值设置为iouThre=0.7。
(3)将时间滑窗内预处理后的检测结果进行归一化,本实验中时间滑窗长度T=10,归一化尺度为80*230,然后输入深度卷积网络提取特征,每个检测结果在通过最后的全连接层后得到400维的特征向量作为其表观特征。
(4)产生跟踪片段。如果当前帧为第一帧,则该帧中每个检测结果作为一个目标,如果不是第一帧,则计算当前帧中的检测结果与已有跟踪片段的相似度,包括根据计算检测结果有已有跟踪片段中检测结果的表观相似度,以及利用计算某跟踪片段在当前帧中预测框体的位置,并根据计算检测结果与预测框体的交并比的平方作为其运动相似度。如果表观相似度和运动相似度分别高于给定阈值,则认为该检测结果有可能与该跟踪片段属于同一目标,将其进行连接,除此之外设置遗忘时间deleteT=15帧,一般监控视频的帧率是25帧每秒,即25fps,即超过遗忘时间都没有出现的目标将其删除,最后得到滑动窗口内的多个跟踪片段。
(5)建模。滑动窗口内属于同一目标的跟踪片段集作为一个点,跟踪片段与跟踪目标的相似度采用本发明提出的度量方式,根据计算跟踪每个点的势能向量,本实验中设置参数为(η,γ,ε,θ)=(0.98,20,0.4,0.8);同时根据计算点与点之间边的势能,本实验中设置参数为(α,β)=(0.5,1000)。因此每个点的势能向量为其中i指第i个点,也即当前的第i个跟踪目标,N为该跟踪目标在滑动窗口内的跟踪片段个数;每条边的势能矩阵为其中i,j分别代表点i,j,N和M分别代表点i,j中包含的跟踪片段个数。
(6)求解。利用联合树算法对形成的条件随机场进行求解。本发明所采用的求解方法本身对于结果并无影响,所以直接采用标准工具包(参考:M.Schmidt.UGM:AMatlabtoolbox for probabilistic undirected graphical models)进行求解,不做修改。
(7)滑动窗口,滑动步长step=5,计算滑窗内的跟踪结果,依次循环,得到整个视频的跟踪结果。
图2所示为本次实施的实验在一般评价标准上的性能结果,实验评估标准与论文“MOT16:A Benchmark for Multi-Object Tracking”(参考:Milan,A.and Leal-Taix,L.and Reid,I.and Roth,S.and Schindler,K.MOT16:A Benchmark for Multi-ObjectTracking.arXiv:1603.00831)提出的标准相同,该论文提供了多目标跟踪领域的基本评估标准。其中MOTA为跟踪的准确度;MOTP为跟踪的精确度,主要与检测器的精确度有关;MT(most tracked),表示超过目标真实跟踪结果80%的目标数目;ML(most lost),表示低于目标真实跟踪结果20%的目标数目;FP(false positive)和FN(false negative)分别表示误报率和漏报率,IDs(ID switch)即为跟踪ID交换的次数,FPS为算法每秒处理的帧数,来评估算法的效率。从图2中可以看出,本实验的效果要优于用递归网络的多目标跟踪方法(RNN_based)。
从图3中三组跟踪效果可以看出,本发明的跟踪方法,对检测结果较准确的数据集,如在(a)组和(b)组中,检测框体较准确,跟踪效果也相对较好;在检测本身存在较大误差时,跟踪效果也随之变差;在背景杂乱、目标较多的场景下,对于检测较准的目标跟踪依然较准。
可通过各种手段实施本发明描述的技术。举例来说,这些技术可实施在硬件、固件、软件或其组合中。对于硬件实施方案,处理模块可实施在一个或一个以上专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑装置(PLD)、现场可编辑逻辑门阵列(FPGA)、处理器、控制器、微控制器、电子装置、其他经设计以执行本发明所描述的功能的电子单元或其组合内。
对于固件和/或软件实施方案,可用执行本文描述的功能的模块(例如,过程、步骤、流程等)来实施所述技术。固件和/或软件代码可存储在存储器中并由处理器执行。存储器可实施在处理器内或处理器外部。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (9)
1.一种基于深度学习和条件随机场的多目标跟踪方法,其特征在于,包括步骤:
S1、训练网络:利用给定的训练集,训练一个深度网络;
S2、应用阶段:输入待处理视频的目标检测结果,对检测结果进行筛选,得到筛选后的检测结果;
S3、提取特征:将筛选后的检测结果输入深度网络中,得到检测结果的表观特征;
S4、产生跟踪片段:根据滑动窗口中检测结果和检测结果之间、目标与检测结果之间的表观特征相似度和位置关系,将可能为同一目标的检测结果连接成跟踪片段;
S5、建模:将跟踪片段集合进行建模得到条件随机场模型,其中条件随机场中的点代表某一跟踪目标的可能的跟踪片段集合,集合的大小为跟踪片段的个数;点与点之间存在的边表示不同目标的跟踪片段之间共存的可能性;
S6、计算:计算条件随机场中点的势能与边的势能;
S7、求解:利用联合树算法求解,得到每个目标的跟踪片段索引,作为该滑动窗口内的跟踪结果;
S8、滑动窗口,设定滑动步长,计算滑动窗口内的跟踪结果,依次循环,得到整个视频的跟踪结果。
2.根据权利要求1所述的基于深度学习和条件随机场的多目标跟踪方法,其特征在于,在步骤S1中,深度网络包含两个卷积层、两个全连接层和一个归一化层,训练使用的损失函数是triplet-loss损失,其表达式为:
<mrow>
<mi>min</mi>
<munderover>
<mi>&Sigma;</mi>
<mi>i</mi>
<mi>N</mi>
</munderover>
<msub>
<mrow>
<mo>&lsqb;</mo>
<mo>|</mo>
<mo>|</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>d</mi>
<mi>i</mi>
<mi>a</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>d</mi>
<mi>i</mi>
<mi>p</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mo>|</mo>
<mo>|</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>d</mi>
<mi>i</mi>
<mi>a</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>d</mi>
<mi>i</mi>
<mi>n</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&sigma;</mi>
<mo>&rsqb;</mo>
</mrow>
<mo>+</mo>
</msub>
</mrow>
上式中,为锚点,即某个目标的表观特征,为正样本特征,正样本为与锚点属于同一个目标的其他样本,为负样本特征,负样本为与锚点属于不同目标的样本,σ为松弛参数。
3.根据权利要求1所述的基于深度学习和条件随机场的多目标跟踪方法,其特征在于,在步骤S2中,对目标检测后的结果进行筛选,筛选包括:去掉检测置信度得分低于阈值的检测结果;去掉检测结果与真实标注的交并比大于一定阈值的检测结果;所述检测置信度得分是检测器对该检测结果的信心值,交并比是指两个检测框相交的面积除以并集的面积得到的比例。
4.根据权利要求1所述的基于深度学习和条件随机场的多目标跟踪方法,其特征在于,在步骤S3中,将筛选后的检测结果输入到深度网络提取特征前需将检测结果归一化到相同尺寸,深度网络最后一层全连接层的输出作为检测结果的表观特征。
5.根据权利要求1所述的基于深度学习和条件随机场的多目标跟踪方法,其特征在于,在步骤S4中,将表观相似度与运动相似度分别大于给定阈值的检测结果连接构成跟踪片段,其中表观相似度使用欧式距离度量,其数学公式为其中f(di)m,f(dj)m分别为检测结果di,dj表观特征的第m维;
运动相似度用检测结果与跟踪片段在当前帧中检测框体的位置的交并比的平方来衡量,两个框体交并比的数学表达式为其中p,d分别为预测框体和检测框体,inner(p,d)为两框体的重叠面积,union(p,d)为两框体的联合面积。
6.根据权利要求5所述的基于深度学习和条件随机场的多目标跟踪方法,其特征在于,所述预测的框体位置采用二项式拟合来预测,具体是:先根据跟踪片段中框体的位置来确定二项式的参数,其数学表达式为其中x,y分别为框体的中心位置,n为跟踪片段内框体个数,为二项式拟合函数,通过上式即可求得二项式的参数;同理,可拟合出时间t与x的二项式函数然后预测该跟踪片段在t1时刻框体的位置为其中h为已连接的跟踪片段。
7.根据权利要求6所述的基于深度学习和条件随机场的多目标跟踪方法,其特征在于,预设一遗忘时间,如果在后续的跟踪片段中一目标超过遗忘时间都没有出现,则删除该目标。
8.根据权利要求1所述的基于深度学习和条件随机场的多目标跟踪方法,其特征在于,在步骤S6中,计算条件随机场中点的势能,其数学表达式为其中T为滑动窗口的长度,为滑动窗口前已知的第m个跟踪目标,为该跟踪目标在滑动窗口内的第xm条跟踪片段;
其中表示跟踪目标与跟踪片段内检测结果的势能,第一项为表观相似度的势能,第二项为位置关系的势能,η为参数,为该目标在滑动窗口内最后一次出现的时刻,o2为预测框体与检测框体交并比率的平方;
fp(di,dj)=-DA(di,dj)为某跟踪片段内两个检测框体的势能,为高阶势能ξ为计算预测框体与检测框体中心点之间的欧式距离,K为计算两检测结果的颜色直方图的欧式距离,γ,ε,θ为参数。
9.根据权利要求1所述的基于深度学习和条件随机场的多目标跟踪方法,其特征在于,在步骤S6中,不同目标跟踪片段间的势能主要惩罚不同目标的跟踪片段在某一时刻为连接了同一检测框体的情况,边的势能数学表达式为:
<mrow>
<msub>
<mi>&rho;</mi>
<mi>e</mi>
</msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>H</mi>
<mrow>
<mi>m</mi>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>m</mi>
</msub>
</mrow>
<mi>t</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>n</mi>
</msub>
</mrow>
<mi>t</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>&tau;</mi>
<mo>=</mo>
<mi>t</mi>
<mo>-</mo>
<mi>T</mi>
</mrow>
<mi>t</mi>
</munderover>
<mi>&alpha;</mi>
<mo>*</mo>
<msup>
<mi>o</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>d</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mi>H</mi>
<mrow>
<mi>m</mi>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>m</mi>
</msub>
</mrow>
<mi>t</mi>
</msubsup>
<mo>,</mo>
<mi>&tau;</mi>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>d</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>n</mi>
</msub>
</mrow>
<mi>t</mi>
</msubsup>
<mo>,</mo>
<mi>&tau;</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&beta;</mi>
<mo>*</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>d</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mi>H</mi>
<mrow>
<mi>m</mi>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>m</mi>
</msub>
</mrow>
<mi>t</mi>
</msubsup>
<mo>,</mo>
<mi>&tau;</mi>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>d</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>n</mi>
</msub>
</mrow>
<mi>t</mi>
</msubsup>
<mo>,</mo>
<mi>&tau;</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中为跟踪片段在时刻τ所连接的检测框体,为知识函数,当两个跟踪片段是时刻τ所连接的是同一个检测框体时为1,否则为0,α,β为参数,其中β要超过一定值,且该值要足够大,以此避免框体的重复分配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710282459.9A CN107122735B (zh) | 2017-04-26 | 2017-04-26 | 一种基于深度学习和条件随机场的多目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710282459.9A CN107122735B (zh) | 2017-04-26 | 2017-04-26 | 一种基于深度学习和条件随机场的多目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107122735A true CN107122735A (zh) | 2017-09-01 |
CN107122735B CN107122735B (zh) | 2020-07-14 |
Family
ID=59725902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710282459.9A Active CN107122735B (zh) | 2017-04-26 | 2017-04-26 | 一种基于深度学习和条件随机场的多目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107122735B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679469A (zh) * | 2017-09-22 | 2018-02-09 | 东南大学—无锡集成电路技术研究所 | 一种基于深度学习的非极大值抑制方法 |
CN108062756A (zh) * | 2018-01-29 | 2018-05-22 | 重庆理工大学 | 基于深度全卷积网络和条件随机场的图像语义分割方法 |
CN108470332A (zh) * | 2018-01-24 | 2018-08-31 | 博云视觉(北京)科技有限公司 | 一种多目标跟踪方法及装置 |
CN108648192A (zh) * | 2018-05-17 | 2018-10-12 | 杭州依图医疗技术有限公司 | 一种检测结节的方法及装置 |
CN110110670A (zh) * | 2019-05-09 | 2019-08-09 | 杭州电子科技大学 | 基于Wasserstein度量的行人跟踪中的数据关联方法 |
CN110210304A (zh) * | 2019-04-29 | 2019-09-06 | 北京百度网讯科技有限公司 | 用于目标检测和跟踪的方法及系统 |
CN111199182A (zh) * | 2019-11-12 | 2020-05-26 | 恒大智慧科技有限公司 | 基于智慧社区的丢失物件方法、系统及存储介质 |
CN111460958A (zh) * | 2020-03-26 | 2020-07-28 | 暗物智能科技(广州)有限公司 | 一种物体检测器构建、物体检测方法及系统 |
CN112668377A (zh) * | 2019-10-16 | 2021-04-16 | 清华大学 | 信息识别系统及其方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102592135A (zh) * | 2011-12-16 | 2012-07-18 | 温州大学 | 融合目标空间分布和时序分布特征子空间的视觉跟踪方法 |
EP2618311A1 (en) * | 2012-01-17 | 2013-07-24 | NTT DoCoMo, Inc. | A computer-implemented method and apparatus for performing a head animation |
CN103218628A (zh) * | 2013-03-22 | 2013-07-24 | 中国科学技术大学 | 一种基于团块与轨迹特征的异常行为描述方法 |
CN104751492A (zh) * | 2015-04-17 | 2015-07-01 | 中国科学院自动化研究所 | 基于动态耦合条件随机场的目标区域跟踪方法 |
-
2017
- 2017-04-26 CN CN201710282459.9A patent/CN107122735B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102592135A (zh) * | 2011-12-16 | 2012-07-18 | 温州大学 | 融合目标空间分布和时序分布特征子空间的视觉跟踪方法 |
EP2618311A1 (en) * | 2012-01-17 | 2013-07-24 | NTT DoCoMo, Inc. | A computer-implemented method and apparatus for performing a head animation |
CN103218628A (zh) * | 2013-03-22 | 2013-07-24 | 中国科学技术大学 | 一种基于团块与轨迹特征的异常行为描述方法 |
CN104751492A (zh) * | 2015-04-17 | 2015-07-01 | 中国科学院自动化研究所 | 基于动态耦合条件随机场的目标区域跟踪方法 |
Non-Patent Citations (7)
Title |
---|
ANTON MILAN 等: "Detection- and Trajectory-Level Exclusion in Multiple Object Tracking", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
ANTON MILAN 等: "Multi-Target Tracking by Discrete-Continuous Energy Minimization", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
BO YANG 等: "An online learned CRF model for multi-target tracking", 《2012 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
SHIZHE CHEN 等: "Deep Ranking for Person Re-Identification via Joint Representation Learning", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
WONGUN CHOI 等: "Near-Online Multi-target Tracking with Aggregated Local Flow Descriptor", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
王爱平: "视频目标跟踪技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
王长辉 等: "基于能量最小化的多目标跟踪算法研究", 《科学技术与工程》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679469A (zh) * | 2017-09-22 | 2018-02-09 | 东南大学—无锡集成电路技术研究所 | 一种基于深度学习的非极大值抑制方法 |
CN107679469B (zh) * | 2017-09-22 | 2021-03-30 | 东南大学—无锡集成电路技术研究所 | 一种基于深度学习的非极大值抑制方法 |
CN108470332A (zh) * | 2018-01-24 | 2018-08-31 | 博云视觉(北京)科技有限公司 | 一种多目标跟踪方法及装置 |
CN108470332B (zh) * | 2018-01-24 | 2023-07-07 | 博云视觉(北京)科技有限公司 | 一种多目标跟踪方法及装置 |
CN108062756A (zh) * | 2018-01-29 | 2018-05-22 | 重庆理工大学 | 基于深度全卷积网络和条件随机场的图像语义分割方法 |
CN108648192A (zh) * | 2018-05-17 | 2018-10-12 | 杭州依图医疗技术有限公司 | 一种检测结节的方法及装置 |
CN110210304A (zh) * | 2019-04-29 | 2019-09-06 | 北京百度网讯科技有限公司 | 用于目标检测和跟踪的方法及系统 |
CN110210304B (zh) * | 2019-04-29 | 2021-06-11 | 北京百度网讯科技有限公司 | 用于目标检测和跟踪的方法及系统 |
CN110110670A (zh) * | 2019-05-09 | 2019-08-09 | 杭州电子科技大学 | 基于Wasserstein度量的行人跟踪中的数据关联方法 |
CN112668377A (zh) * | 2019-10-16 | 2021-04-16 | 清华大学 | 信息识别系统及其方法 |
CN111199182A (zh) * | 2019-11-12 | 2020-05-26 | 恒大智慧科技有限公司 | 基于智慧社区的丢失物件方法、系统及存储介质 |
CN111460958A (zh) * | 2020-03-26 | 2020-07-28 | 暗物智能科技(广州)有限公司 | 一种物体检测器构建、物体检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107122735B (zh) | 2020-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107122735A (zh) | 一种基于深度学习和条件随机场的多目标跟踪方法 | |
Cheng et al. | Decoupled two-stage crowd counting and beyond | |
Russakovsky et al. | Detecting avocados to zucchinis: what have we done, and where are we going? | |
CN107545582A (zh) | 基于模糊逻辑的视频多目标跟踪方法及装置 | |
CN108470353A (zh) | 一种目标跟踪方法、装置和存储介质 | |
CN106204638A (zh) | 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法 | |
Deng et al. | Amae: Adaptive motion-agnostic encoder for event-based object classification | |
CN110349187A (zh) | 基于tsk模糊分类器的目标跟踪方法、装置及存储介质 | |
Chen et al. | Person count localization in videos from noisy foreground and detections | |
CN103150552B (zh) | 一种基于人头计数的驾驶培训管理方法 | |
Lin et al. | Modeling and estimating persistent motion with geometric flows | |
CN106373145A (zh) | 基于跟踪片段置信度和区分性外观学习的多目标跟踪方法 | |
CN109376736A (zh) | 一种基于深度卷积神经网络的视频小目标检测方法 | |
CN110047096A (zh) | 一种基于深度条件随机场模型的多目标跟踪方法和系统 | |
Zheng et al. | Video analysis in sports by lightweight object detection network under the background of sports industry development | |
Viraktamath et al. | Comparison of YOLOv3 and SSD algorithms | |
CN106204549B (zh) | 一种基于视频分析的广告牌监测方法、装置及电子设备 | |
Abbass et al. | Violence detection enhancement by involving convolutional block attention modules into various deep learning architectures: comprehensive case study for ubi-fights dataset | |
Fan et al. | Video anomaly detection using CycleGan based on skeleton features | |
Chen et al. | Online spatio-temporal action detection in long-distance imaging affected by the atmosphere | |
Bassek et al. | Analysis of contextualized intensity in Men’s elite handball using graph-based deep learning | |
Yan et al. | Crowd counting via scale-adaptive convolutional neural network in extremely dense crowd images | |
Hu et al. | Study on the automatic basketball shooting system based on the background subtraction method | |
CN105654514A (zh) | 一种图像目标跟踪方法 | |
Tang et al. | Deep Learning Approach to Automated Data Collection and Processing of Video Surveillance in Sport Activity Prediction. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
OL01 | Intention to license declared | ||
OL01 | Intention to license declared |