CN108198201A - 一种多目标跟踪方法、终端设备及存储介质 - Google Patents
一种多目标跟踪方法、终端设备及存储介质 Download PDFInfo
- Publication number
- CN108198201A CN108198201A CN201711375873.0A CN201711375873A CN108198201A CN 108198201 A CN108198201 A CN 108198201A CN 201711375873 A CN201711375873 A CN 201711375873A CN 108198201 A CN108198201 A CN 108198201A
- Authority
- CN
- China
- Prior art keywords
- tracking
- video image
- frame video
- tracker
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
Abstract
本发明公开了一种多目标跟踪方法、终端设备及存储介质,该多目标跟踪方法包括:检测出当前帧视频图像中待跟踪的多个目标对象;分别提取多个目标对象的HOG特征与颜色直方图特征,并将其输入根据上一帧视频图像更新的跟踪器,以获取当前帧视频图像的跟踪结果;提取跟踪结果的HOG特征与颜色直方图特征,根据其更新当前的跟踪器;重复以上步骤,直至跟踪过程结束后分别获取每个目标对象在整个跟踪过程中的运动轨迹;其中,在获取跟踪结果的过程中实时调整跟踪框的大小,以使其自适应与其对应的目标对象的大小。本发明减少了跟踪结果中的漂移现象,并能让跟踪框自适应跟踪目标对象的大小。
Description
技术领域
本发明涉及目标检测及跟踪技术领域,特别是涉及一种多目标跟踪方法、终端设备及存储介质。
背景技术
人脸多目标跟踪技术越来越受到学术界和商业界的关注。人脸多目标跟踪作为一项重要的基础性技术,通常在安防监控和客流统计等诸多应用场景下有着极为重要的价值。人脸多目标跟踪技术旨在通过计算机视觉技术在监控视频场景中得到每个目标从出现在视野中到从视野中消失的完整运动轨迹。由于不同监控场景下行人存在遮挡和运动模式复杂等差异大的问题,多目标跟踪一直是图像识别中难度较大的领域。
目前,比较热门的多目标跟踪方法是核化相关滤波跟踪算法(Kernerlizedcorrelation filter,KCF),是由joao faro于2014年提出来的,是目前大多数基于相关滤波跟踪算法的基础框架。基于相关滤波(Correlation filter,CF)的跟踪方法由于在跟踪性能和计算效率上的出色表现使其成为当前目标跟踪领域的研究热点。随着人脸检测技术的快速发展,基于深度学习的人脸检测方法,相比传统的人脸检测方法,提高了目标检测的精确度。更准确的检测结果可以进一步的促进跟踪算法的发展和跟踪效果的提升。使用模板特征时,KCF跟踪算法对目标快速变形时跟踪不够准确,在使用HOG特征时,由于该特征描述的是目标的形态信息,因此当目标形态发生显著变化时(例如遮挡HE转向等姿态变化)就会产生跟踪错误。另外,KCF跟踪算法对跟踪目标的尺度(大小)变化适应性不强,通常的解决办法是加一个尺度变化的比例系数得到不同的尺度来构成尺度金字塔,再对候选目标区域分别在不同的尺度条件下进行检测,然后按照某种规则通过多次检测的结果选取最优的一个尺度作为最终结果,这样做的代价是会明显牺牲原有算法的速度优势。
当前KCF跟踪算法还存在边界效应,即算法对快速运动的物体或者是低频率的视频不够准确。因为在这种情况下,下一帧图像中目标的位置会偏离跟踪算法初始设定的搜索范围中心太远。另外,相对跟踪算法的搜索框而言正确目标的位置要么靠近搜索框边缘,要么出去一部分或者全不在搜索框内,当经过跟踪算法中的余弦窗步骤的处理后,那些运动到靠近搜索框边缘位置的目标也会由于余弦窗的存在而损失掉部分目标信息,同理对那些运动到位置超出搜索框范围一半或者完全不在搜索框范围内的目标将会损失更多的信息,从而无法正确匹配,产生跟踪错误。总之,基于模板特征的KCF跟踪方法,对人脸目标的快速变形和快速运动处理不好,KCF跟踪方法不能随着目标大小的变化,自适应地改变跟踪框的大小。
发明内容
本发明实施例主要提供一种多目标跟踪方法、终端设备及存储介质,以解决现有技术中,使用HOG特征时,KCF跟踪算法对目标快速变形时跟踪不够准确,由于该HOG特征描述的是目标的形态信息,因此当目标形态发生显著变化时(例如遮挡和转向等姿态变化),就会产生跟踪错误的问题。
为解决上述技术问题,本发明实施例采用的一技术方案如下:
一种多目标跟踪方法,其包括:
检测出当前帧视频图像中待跟踪的多个目标对象;分别提取多个所述目标对象的HOG特征与颜色直方图特征,并将所述HOG特征与所述颜色直方图特征输入根据上一帧视频图像更新的跟踪器,以获取当前帧视频图像的跟踪结果;提取所述跟踪结果的HOG特征与颜色直方图特征,根据所述HOG特征与所述颜色直方图特征更新当前的跟踪器,并将该更新后的跟踪器作为下一帧视频图像输入的跟踪器;重复以上步骤,直至跟踪过程结束后分别获取每个所述目标对象在整个跟踪过程中的运动轨迹。
为解决上述技术问题,本发明实施例采用的另一技术方案如下:
一种终端设备,其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述的多目标跟踪方法。
为解决上述技术问题,本发明实施例采用的又一技术方案如下:
一种存储介质,其上存储有计算机程序,所述计算机程序被执行时实现如上述的多目标跟踪方法。
本发明实施例的有益效果是:区别于现有技术的情况,本发明实施例通过在KCF跟踪过程中结合模板特征和颜色特征对相关滤波跟踪算法的互补性,减少跟踪结果中的漂移现象,即使目标形态发生显著变化时(例如遮挡和转向等姿态变化),也不会产生跟踪错误的问题。
附图说明
图1是本发明实施例的多目标跟踪方法一实施方式的部分实施流程图;
图2是本发明实施例的多目标跟踪方法一实施方式的获取当前帧视频图像的跟踪结果的部分实施流程图;
图3是本发明实施例的多目标跟踪方法一实施方式的根据所述颜色响应图获取当前帧视频图像的多个所述跟踪目标对象的大小的部分实施流程图;
图4是本发明实施例的终端设备一实施方式的部分框架示意图;
图5是本发明实施例的存储介质一实施方式的部分框架示意图。
具体实施方式
实施例一
图1是本发明实施例的多目标跟踪方法一实施方式的部分实施流程图,结合图1可以得到,本发明的一种多目标跟踪方法,其包括:
步骤S101:检测出当前帧视频图像中待跟踪的多个目标对象。
在本实施例中,可选地,当检测出的是第一帧视频图像中待跟踪的多个目标对象时,具体包括:
提取该第一帧视频图像中待跟踪的多个目标对象的HOG特征与颜色直方图特征。
根据HOG特征与所述颜色直方图特征更新当前的跟踪器,将该更新后的跟踪器作为第二帧视频图像输入的跟踪器。
步骤S102:分别提取多个所述目标对象的HOG特征与颜色直方图特征,并将所述HOG特征与所述颜色直方图特征输入根据上一帧视频图像更新的跟踪器,以获取当前帧视频图像的跟踪结果。
步骤S103:提取所述跟踪结果的HOG特征与颜色直方图特征,根据所述HOG特征与所述颜色直方图特征更新当前的跟踪器,并将该更新后的跟踪器作为下一帧视频图像输入的跟踪器。
步骤S104:重复以上步骤,直至跟踪过程结束后分别获取每个所述目标对象在整个跟踪过程中的运动轨迹。
其中,所述跟踪结果包括多个所述目标对象的位置及大小,且在获取所述跟踪结果的过程中实时调整跟踪框的大小,以使跟踪框的大小与其对应的所述目标对象的大小相匹配。
如图2所示,在本实施例中,可选地,将所述HOG特征与所述颜色直方图特征输入根据上一帧视频图像更新的跟踪器,以获取当前帧视频图像的跟踪结果,具体包括:
步骤S201:根据所述HOG特征得到对应的模板响应图,并根据所述颜色直方图特征得到对应的颜色响应图。
步骤S202:分别获取所述模板响应图的极大响应值位置点与所述颜色响应图的极大响应值位置点,并根据该两个极大响应值位置点获取多个所述目标对象在当前帧视频图像的位置。
步骤S203:根据所述颜色响应图获取当前帧视频图像的多个所述跟踪目标对象的大小。
在本实施例中,可选地,根据所述颜色响应图获取当前帧视频图像的多个所述跟踪目标对象的大小之后,还包括:
根据多个所述跟踪目标对象的大小,实时对跟踪框的大小进行调整,使得跟踪框的大小和与其对应的当前帧视频图像的所述跟踪目标的大小相匹配。
在本实施例中,可选地,根据该两个极大响应值位置点获取多个所述目标对象在当前帧视频图像的位置,通过加权求和融合的方式得到,具体包括;
分别记当前帧视频图像的所述模板响应图的极大响应值位置点与所述颜色响应图的极大响应值位置点为P和Q,则当前帧视频图像中的其中一个所述跟踪目标对象的位置为:
R=a*P+b*Q,其中R为当前帧视频图像中的其中一个所述跟踪目标对象的位置,且a=0.7,b=0.3。
如图3所示,在本实施例中,可选地,根据所述颜色响应图获取当前帧视频图像的多个所述跟踪目标对象的大小,具体包括:
步骤S301:根据像素灰度值的大小对所述颜色响应图进行区域分割,分别分割出每个所述跟踪目标对象的目标区域。
步骤S302:计算每个所述目标区域所包含的像素个数,并根据该像素个数计算出其对应的所述目标区域的大小。
其中,所述目标区域为除去背景区域后的区域,每个所述目标区域的大小和与其对应的所述跟踪目标对象的大小相同。
在本实施例中,可选地,根据HOG特征与所述颜色直方图特征更新当前的跟踪器,具体更新方法如下:
HOG下帧=(1-c)*HOG上帧+c*HOG当前;
HIST下帧=(1-d)*HIST上帧+d*HIST当前;
其中,HOG下帧为下一帧视频图像对应的跟踪器的HOG特征,HOG上帧为上一帧视频图像对应的跟踪器的HOG特征,HOG当前为当前帧视频图像对应的跟踪器的HOG特征,HIST下帧为下一帧视频图像对应的跟踪器的颜色直方图特征,HIST上帧为上一帧视频图像对应的跟踪器的颜色直方图特征,HIST当前为当前帧视频图像对应的跟踪器的颜色直方图特征,其中,c和d为更新速率,且c=0.04,d=0.02。
在本实施例中,可选地,所述获取每个所述目标对象在整个跟踪过程中的运动轨迹,是通过数据关联(Data Association)方式将检测到的多个目标对象分别准确地划分到与其对应的运动轨迹中。具体地,是将检测出的所述多个目标对象和对应跟踪的多个目标对象进行匹配,得出当前帧视频图像的多个目标对象相对于上一帧视频图像的运动轨迹,该运动轨迹包括位置及大小。数据关联是多目标跟踪的重要过程,其目的是决定如何将检测到的目标准确划分到对应的轨迹中,从而得到被跟踪对象完整的运动轨迹。为了能够满足对实时性要求高的应用场景如视频监控中,该发明中使用的数据关联方法是基于匈牙利分配算法在线分配关联对象的。具体来说就是计算所有的跟踪对象与当前所有检测出的目标两两之间的IOU距离(IOU,交并比,即两个区域相交部分的面积除以两个区域的面积之和),并将该结果作为代价(cost)矩阵,通过匈牙利算法进行分配。通过分配算法的求解,总代价最小的结果就对应着所需要的最佳分配方案,从而实现检测目标和轨迹之间的关联。
下面通过举例对本发明实施例的实施原理进行详细说明,以跟踪一个目标为例,KCF包括训练阶段和测试阶段。
训练阶段:
对于给定的跟踪目标对象,首先以该目标对象为中心从视频帧图像上取出大小为M*N的图像块作为目标区域(通常取得的图像块大小要比目标对象的实际大小稍大,本发明中取用图像块的大小为目标对象实际大小2.5倍的区域),再提取目标区域的HOG(Histogram of Oriented Gradients,梯度方向直方图)特征,以及颜色直方图特征(即颜色直方图统计信息)。
提取目标区域的HOG特征,具体来说,是采用Pedro Felzenszwalb提出的计算方法来提取,通过该方法可以得到该目标区域31维的HOG特征向量表示,这31维的特征向量就能够表示当前区域里物体的形状和位置等信息。计算目标区域的颜色直方图特征的过程具体来说就是,首先将跟踪目标对象的实际所在区域作为前景区域,剩下的其余区域(扩大2.5倍的结果)作为背景区域,考虑到输入帧为彩色图像,一个像素点由红绿蓝(rgb)三个颜色通道合成,所以需要统计3个颜色通道的颜色直方图。由于每个颜色通道的数值大小范围为0~255,本发明将其划分为32个统计区域,则每个区域所包含的长度为8,即0-8、8-16....,247-255共32个区域,最后通过以下线性变换将三个颜色通道结合起来,即对区域内的任一像素,若其红绿蓝分量分别为r、g和b,则它在颜色直方图中的位置为X:
X=r/8+(g/8)*32+(b/8)*32*32;
即直方图X处的统计值加1,同理对区域内的前景部分和背景部分的每个像素点进行处理,可以分别得到32768维的颜色直方图fg_hist和bg_hist(其中,fg_hist表示前景区域,bg_hist表示背景区域)。前景区域的颜色直方图fg_hist代表出现在目标物体上的像素统计情况,同理bg_hist表示出现在非目标物体上的像素统计情况。
最后利用本阶段所提取的HOG特征和颜色直方图统计信息生成初始跟踪器。具体来说就是:
(a)利用所提取的HOG特征生成初始模板相关滤波器。
使用当前HOG特征的数值,去初始化跟踪器的模板信息。
(b)利用所提取的颜色统计直方图统计信息生成初始的颜色直方图权重信息。
使用当前得到的颜色直方图(fg_hist和bg_hist),去初始化跟踪器的颜色信息。
2)测试阶段:
基于当前的跟踪器(已经由训练阶段进行了设置),取出视频流中的下一帧图像进行处理,主要包括以下步骤:求取HOG特征、计算出模板响应图、求取颜色概率图、通过计算积分图得到颜色响应图、寻找模板响应图和颜色响应图上的最大值位置,得到跟踪目标对象的位置,在对颜色积分图进行分割,计算得到跟踪目标对象的大小。
在当前图像帧上根据跟踪目标最后出现的位置,取出目标区域并提取当前目标区域的HOG特征(过程同训练阶段),得到模板特征图像。利用跟踪器当前的模板信息对该模板特征图像进行卷积操作,这样可以得到基于模板特征的响应图。由于使用卷积操作,则在该响应图上与模板信息越相似的地方,该位置处得到的数值就越大,在目标物体位置处的数值就最大。
然后需要根据跟踪器当前的颜色直方图信息,转换为目标区域内每个像素点为前景区域(目标区域)的概率值。因为像素点为前景区域的概率值,从出现的几率上来计算,不受位置等因素的影响,对本发明实施例所要应用的问题更加可靠,所以为了实现本发明实施例中颜色信息和模板信息的互补,本发明实施例中使用像素点的颜色概率值得到对应的统计特征图作为颜色信息。具体来说就是使用跟踪器保存的颜色直方图fg_hist和bg_hist,在测试阶段生成逐像素点的概率图,计算过程具体来说就是对任一像素点,通过与训练阶段相同的过程得到其出现在颜色直方图中的位置X,则该像素点为前景区域(目标区域)的概率p为:
P=fg_hist(X)/(fg_hist(X)+bg_hist(X))。
通过计算后,得到目标区域内所有像素的概率值构成的概率图。需要注意的是,在使用颜色信息时,不需要进行余弦窗处理,另外提取的信息为逐像素的概率信息,都有助于缓解使用模板特征时产生的边界效应,以及对目标形变不够鲁棒等问题,从而实现两者的互补。
接下来,根据跟踪目标对象的大小对得到的概率图进行积分(积分图是图像中常用的方法,计算过程为分别在横向和纵向上对概率图的每一点做累加,则对概率图上任一个矩形区域内的数值等于该矩形区域右下角处的累加数值减去左上角的累加数值),得到积分图像也就是该目标区域对跟踪目标对象的颜色信息的响应图。
接下来,分别使用以上得到的基于模板的响应图和基于颜色的响应图来定位跟踪目标的当前位置。具体为分别在模板响应图上查找响应值极大的位置点P,并在颜色响应图上查找响应值极大的位置点Q,使用权重系数对P和Q进行加权求和得到融合后的新位置R,在本实施例中,a和b均为加权系数,且a+b=1,可选地,加权比例a=0.7,b=0.3,即
R=a*P+b*Q;
R作为当前帧跟踪目标对象的位置,从而实现对跟踪目标对象的定位和跟踪。
进一步地,为了让跟踪框自适应跟踪目标对象的大小变化,根据上一步新得到的目标位置和在颜色响应图上得到的极大值,进而可以通过设置阈值条件在颜色响应图上得到分割结果。具体来说,本发明实施例中设置阈值大小为该极大值的0.6倍,即在颜色响应图上只保留大于阈值条件的像素,得到分割结果。根据图像分割操作的定义以及本发明实施例中颜色响应图的特点(在跟踪目标的位置处响应最大,在其周围响应值递减),当设置阈值为0.6时,可以将目标对象周围的响应值保留不变,而小于该阈值的位置一般距跟踪目标对象的位置比较远,则将其设置为0。
因为该颜色响应图和图像帧图像是逐像素点对应的,所以体现在原图像帧上就是跟踪目标对象和背景的分割结果,从而可以计算每个分割出的区域块所包含的像素个数,来进一步得到当前跟踪目标对象的大小。将计算得到的目标对象大小与上一帧求得的该目标对象大小进行比较,再将变化值量化到不同的尺度上。可选地,本发明实施例中采用等间隔为1.05的6个尺度。本发明中使用的求跟踪目标大小的方法,相对准确并且有计算量小,计算效率高的优点。
进一步地,根据当前图像帧的目标定位和跟踪结果,将目标对象所在的区域用矩形框(即跟踪框)选中并显示在当前图像帧上。其中,矩形框尺寸根据上一步得到的尺度进行调整,得到本帧的跟踪结果。最后利用当前图像帧的跟踪结果更新模板相关滤波器和颜色直方图的权重向量,具体来说就是:提取目标区域的HOG特征(new_HOG),根据相关滤波器的更新法则,生成新的模板特征HOG,本发明实施例中,可选地,使用的更新速率α=0.04,则更新法则为:
HOG=(1-α)*old_HOG+α*new_HOG;
提取颜色直方图统计信息(new_HIST),根据直方图权重向量的更新法则,生成新的颜色直方图HIST,本发明实施例中,可选地,使用的更新速率为β=0.02,则更新法则为:
HIST=(1-β)*old_HIST+β*new_HIST;
重复训练阶段和测试阶段步骤,实现对视频流的连续帧进行循环处理,从而实现对目标对象的连续跟踪。
本发明实施例一方面通过在KCF跟踪过程中结合HOG特征和颜色直方图特征对相关滤波跟踪算法的互补性,减少了跟踪结果中的漂移现象,即使目标形态发生显著变化时(例如遮挡和转向等姿态变化),也不会产生跟踪错误的问题。本发明实施例另一方面通过利用跟踪目标对象的颜色直方图特征进一步的获得跟踪目标对象的分割结果,从而预估出目标对象的大小,用来指导跟踪算法并进行跟踪框的尺度调整,最终使得跟踪框在可以跟踪到对应的目标对象位置的情况下,还能够自适应目标对象的大小变化。
实施例二
请参阅图4,参考图4可以看到,本发明实施例的一种终端设备20,其包括处理器21、存储器22及存储于所述存储器22上并可在所述处理器21上运行的计算机程序221,所述处理器21执行所述计算机程序221时实现如实施例一或实施例二所述的多目标跟踪方法。由于该多目标跟踪方法已经在实施例一和实施例二进行了详细的说明,在此不再重复说明。
本发明实施例实现的多目标跟踪方法,一方面通过在KCF跟踪过程中结合HOG特征和颜色直方图特征对相关滤波跟踪算法的互补性,减少了跟踪结果中的漂移现象,即使目标形态发生显著变化时(例如遮挡和转向等姿态变化),也不会产生跟踪错误的问题。本发明实施例另一方面通过利用跟踪目标对象的颜色直方图特征进一步的获得跟踪目标对象的分割结果,从而预估出目标对象的大小,用来指导跟踪算法并进行跟踪框的尺度调整,最终使得跟踪框在可以跟踪到对应的目标对象位置的情况下,还能够自适应目标对象的大小变化。
实施例三
请参阅图5,参考图5可以看到,本发明实施例的一种存储介质30,所述的存储介质30,如:ROM/RAM、磁碟、光盘等,其上存储有计算机程序31,所述计算机程序31被执行时实现如实施例一或实施例二所述的多目标跟踪方法。由于该多目标跟踪方法已经在实施例一和实施例二进行了详细的说明,在此不再重复说明。
本发明实施例实现的多目标跟踪方法,一方面通过在KCF跟踪过程中结合HOG特征和颜色直方图特征对相关滤波跟踪算法的互补性,减少了跟踪结果中的漂移现象,即使目标形态发生显著变化时(例如遮挡和转向等姿态变化),也不会产生跟踪错误的问题。本发明实施例另一方面通过利用跟踪目标对象的颜色直方图特征进一步的获得跟踪目标对象的分割结果,从而预估出目标对象的大小,用来指导跟踪算法并进行跟踪框的尺度调整,最终使得跟踪框在可以跟踪到对应的目标对象位置的情况下,还能够自适应目标对象的大小变化。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种多目标跟踪方法,其特征在于,包括:
检测出当前帧视频图像中待跟踪的多个目标对象;
分别提取多个所述目标对象的HOG特征与颜色直方图特征,并将所述HOG特征与所述颜色直方图特征输入根据上一帧视频图像更新的跟踪器,以获取当前帧视频图像的跟踪结果;
提取所述跟踪结果的HOG特征与颜色直方图特征,根据所述HOG特征与所述颜色直方图特征更新当前的跟踪器,并将该更新后的跟踪器作为下一帧视频图像输入的跟踪器;
重复以上步骤,直至跟踪过程结束后分别获取每个所述目标对象在整个跟踪过程中的运动轨迹。
2.根据权利要求1所述的多目标跟踪方法,其特征在于,所述多目标跟踪方法还包括:
当检测出的是第一帧视频图像中待跟踪的多个目标对象时,提取该第一帧视频图像中待跟踪的多个目标对象的HOG特征与颜色直方图特征;
根据HOG特征与所述颜色直方图特征更新当前的跟踪器,将该更新后的跟踪器作为第二帧视频图像输入的跟踪器。
3.根据权利要求1所述的多目标跟踪方法,其特征在于,所述将所述HOG特征与所述颜色直方图特征输入根据上一帧视频图像更新的跟踪器,以获取当前帧视频图像的跟踪结果,具体包括:
根据所述HOG特征得到对应的模板响应图,并根据所述颜色直方图特征得到对应的颜色响应图;
分别获取所述模板响应图的极大响应值位置点与所述颜色响应图的极大响应值位置点,并根据该两个极大响应值位置点获取多个所述目标对象在当前帧视频图像的位置;
根据所述颜色响应图获取当前帧视频图像的多个所述跟踪目标对象的大小;
其中,所述跟踪结果包括多个所述目标对象的位置及大小,且在获取所述跟踪结果的过程中实时调整跟踪框的大小,以使跟踪框的大小与其对应的所述目标对象的大小相匹配。
4.根据权利要求3所述的多目标跟踪方法,其特征在于,所述根据所述颜色响应图获取当前帧视频图像的多个所述跟踪目标对象的大小之后,还包括:
根据多个所述跟踪目标对象的大小,实时对跟踪框的大小进行调整,使得跟踪框的大小和与其对应的当前帧视频图像的所述跟踪目标的大小相匹配。
5.根据权利要求3所述的多目标跟踪方法,其特征在于,所述根据该两个极大响应值位置点获取多个所述目标对象在当前帧视频图像的位置,具体包括;
分别记当前帧视频图像的所述模板响应图的极大响应值位置点与所述颜色响应图的极大响应值位置点为P和Q,则当前帧视频图像中的其中一个所述跟踪目标对象的位置为:
R=a*P+b*Q,其中R为当前帧视频图像中的其中一个所述跟踪目标对象的位置,a和b均为加权系数,且a+b=1。
6.根据权利要求3所述的多目标跟踪方法,其特征在于,所述根据所述颜色响应图获取当前帧视频图像的多个所述跟踪目标对象的大小,具体包括:
根据像素灰度值的大小对所述颜色响应图进行区域分割,分别分割出每个所述跟踪目标对象的目标区域;
计算每个所述目标区域所包含的像素个数,并根据该像素个数计算出其对应的所述目标区域的大小;
其中,所述目标区域为除去背景区域后的区域,每个所述目标区域的大小和与其对应的所述跟踪目标对象的大小相同。
7.根据权利要求1所述的多目标跟踪方法,其特征在于,所述根据HOG特征与所述颜色直方图特征更新当前的跟踪器,具体更新方法如下:
HOG下帧=(1-c)*HOG上帧+c*HOG当前;
HIST下帧=(1-d)*HIST上帧+d*HIST当前;
其中,HOG下帧为下一帧视频图像对应的跟踪器的HOG特征,HOG上帧为上一帧视频图像对应的跟踪器的HOG特征,HOG当前为当前帧视频图像对应的跟踪器的HOG特征,HIST下帧为下一帧视频图像对应的跟踪器的颜色直方图特征,HIST上帧为上一帧视频图像对应的跟踪器的颜色直方图特征,HIST当前为当前帧视频图像对应的跟踪器的颜色直方图特征,其中,c和d为更新速率。
8.根据权利要求1所述的多目标跟踪方法,其特征在于,所述获取每个所述目标对象在整个跟踪过程中的运动轨迹,是通过数据关联方式将检测到的多个目标对象分别划分到与其对应的运动轨迹中。
9.一种终端设备,其特征在于,其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1~8所述的多目标跟踪方法。
10.一种存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被执行时实现如权利要求1~8所述的多目标跟踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711375873.0A CN108198201A (zh) | 2017-12-19 | 2017-12-19 | 一种多目标跟踪方法、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711375873.0A CN108198201A (zh) | 2017-12-19 | 2017-12-19 | 一种多目标跟踪方法、终端设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108198201A true CN108198201A (zh) | 2018-06-22 |
Family
ID=62576878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711375873.0A Pending CN108198201A (zh) | 2017-12-19 | 2017-12-19 | 一种多目标跟踪方法、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108198201A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109670410A (zh) * | 2018-11-29 | 2019-04-23 | 昆明理工大学 | 一种基于多特征的融合的长时运动目标跟踪方法 |
CN109741365A (zh) * | 2018-11-27 | 2019-05-10 | 上海歌尔泰克机器人有限公司 | 目标跟踪方法、无人机、终端设备及存储介质 |
CN109740441A (zh) * | 2018-12-10 | 2019-05-10 | 平安科技(深圳)有限公司 | 基于图像识别的目标检测方法、装置及终端设备 |
CN109978779A (zh) * | 2019-03-12 | 2019-07-05 | 东南大学 | 一种基于核化相关滤波方法的多目标跟踪装置 |
CN110060276A (zh) * | 2019-04-18 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 对象追踪方法、追踪处理方法、相应的装置、电子设备 |
CN110634153A (zh) * | 2019-09-19 | 2019-12-31 | 上海眼控科技股份有限公司 | 目标跟踪模板更新方法、装置、计算机设备和存储介质 |
CN110633636A (zh) * | 2019-08-08 | 2019-12-31 | 平安科技(深圳)有限公司 | 尾随检测方法、装置、电子设备及存储介质 |
CN110955259A (zh) * | 2019-11-28 | 2020-04-03 | 上海歌尔泰克机器人有限公司 | 无人机及其跟踪方法和计算机可读存储介质 |
CN111242981A (zh) * | 2020-01-21 | 2020-06-05 | 北京捷通华声科技股份有限公司 | 一种定置物品的跟踪方法、装置和安保设备 |
CN111292352A (zh) * | 2020-01-20 | 2020-06-16 | 杭州电子科技大学 | 多目标跟踪方法、装置、设备及存储介质 |
CN111402291A (zh) * | 2020-03-04 | 2020-07-10 | 北京百度网讯科技有限公司 | 用于跟踪目标的方法和装置 |
CN111507212A (zh) * | 2020-04-03 | 2020-08-07 | 咪咕文化科技有限公司 | 视频焦点区域提取方法、装置、设备及存储介质 |
CN111862154A (zh) * | 2020-07-13 | 2020-10-30 | 中移(杭州)信息技术有限公司 | 机器人视觉跟踪方法、装置、机器人及存储介质 |
KR20210027778A (ko) * | 2019-09-03 | 2021-03-11 | 중앙대학교 산학협력단 | 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법 |
CN113377977A (zh) * | 2021-06-17 | 2021-09-10 | 深圳市睿联技术股份有限公司 | 一种视频信息生成方法、装置、系统和存储介质 |
US11967089B2 (en) | 2019-04-18 | 2024-04-23 | Tencent Technology (Shenzhen) Company Limited | Object tracking method, tracking processing method, corresponding apparatus, and electronic device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105279773A (zh) * | 2015-10-27 | 2016-01-27 | 杭州电子科技大学 | 一种基于tld框架的改进型视频跟踪优化方法 |
CN106651913A (zh) * | 2016-11-29 | 2017-05-10 | 开易(北京)科技有限公司 | 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统 |
-
2017
- 2017-12-19 CN CN201711375873.0A patent/CN108198201A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105279773A (zh) * | 2015-10-27 | 2016-01-27 | 杭州电子科技大学 | 一种基于tld框架的改进型视频跟踪优化方法 |
CN106651913A (zh) * | 2016-11-29 | 2017-05-10 | 开易(北京)科技有限公司 | 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109741365A (zh) * | 2018-11-27 | 2019-05-10 | 上海歌尔泰克机器人有限公司 | 目标跟踪方法、无人机、终端设备及存储介质 |
CN109670410A (zh) * | 2018-11-29 | 2019-04-23 | 昆明理工大学 | 一种基于多特征的融合的长时运动目标跟踪方法 |
CN109740441A (zh) * | 2018-12-10 | 2019-05-10 | 平安科技(深圳)有限公司 | 基于图像识别的目标检测方法、装置及终端设备 |
CN109978779A (zh) * | 2019-03-12 | 2019-07-05 | 东南大学 | 一种基于核化相关滤波方法的多目标跟踪装置 |
CN110060276A (zh) * | 2019-04-18 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 对象追踪方法、追踪处理方法、相应的装置、电子设备 |
CN110060276B (zh) * | 2019-04-18 | 2023-05-16 | 腾讯科技(深圳)有限公司 | 对象追踪方法、追踪处理方法、相应的装置、电子设备 |
US11967089B2 (en) | 2019-04-18 | 2024-04-23 | Tencent Technology (Shenzhen) Company Limited | Object tracking method, tracking processing method, corresponding apparatus, and electronic device |
CN110633636B (zh) * | 2019-08-08 | 2023-06-30 | 平安科技(深圳)有限公司 | 尾随检测方法、装置、电子设备及存储介质 |
CN110633636A (zh) * | 2019-08-08 | 2019-12-31 | 平安科技(深圳)有限公司 | 尾随检测方法、装置、电子设备及存储介质 |
KR102263717B1 (ko) * | 2019-09-03 | 2021-06-10 | 중앙대학교 산학협력단 | 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법 |
KR20210027778A (ko) * | 2019-09-03 | 2021-03-11 | 중앙대학교 산학협력단 | 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법 |
CN110634153A (zh) * | 2019-09-19 | 2019-12-31 | 上海眼控科技股份有限公司 | 目标跟踪模板更新方法、装置、计算机设备和存储介质 |
CN110955259B (zh) * | 2019-11-28 | 2023-08-29 | 上海歌尔泰克机器人有限公司 | 无人机及其跟踪方法和计算机可读存储介质 |
CN110955259A (zh) * | 2019-11-28 | 2020-04-03 | 上海歌尔泰克机器人有限公司 | 无人机及其跟踪方法和计算机可读存储介质 |
CN111292352A (zh) * | 2020-01-20 | 2020-06-16 | 杭州电子科技大学 | 多目标跟踪方法、装置、设备及存储介质 |
CN111292352B (zh) * | 2020-01-20 | 2023-08-25 | 杭州电子科技大学 | 多目标跟踪方法、装置、设备及存储介质 |
CN111242981A (zh) * | 2020-01-21 | 2020-06-05 | 北京捷通华声科技股份有限公司 | 一种定置物品的跟踪方法、装置和安保设备 |
CN111402291A (zh) * | 2020-03-04 | 2020-07-10 | 北京百度网讯科技有限公司 | 用于跟踪目标的方法和装置 |
CN111402291B (zh) * | 2020-03-04 | 2023-08-29 | 阿波罗智联(北京)科技有限公司 | 用于跟踪目标的方法和装置 |
CN111507212A (zh) * | 2020-04-03 | 2020-08-07 | 咪咕文化科技有限公司 | 视频焦点区域提取方法、装置、设备及存储介质 |
CN111862154A (zh) * | 2020-07-13 | 2020-10-30 | 中移(杭州)信息技术有限公司 | 机器人视觉跟踪方法、装置、机器人及存储介质 |
CN111862154B (zh) * | 2020-07-13 | 2024-03-01 | 中移(杭州)信息技术有限公司 | 机器人视觉跟踪方法、装置、机器人及存储介质 |
CN113377977A (zh) * | 2021-06-17 | 2021-09-10 | 深圳市睿联技术股份有限公司 | 一种视频信息生成方法、装置、系统和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108198201A (zh) | 一种多目标跟踪方法、终端设备及存储介质 | |
JP6095018B2 (ja) | 移動オブジェクトの検出及び追跡 | |
CN105405154B (zh) | 基于颜色-结构特征的目标对象跟踪方法 | |
CN108665487B (zh) | 基于红外和可见光融合的变电站作业对象和目标定位方法 | |
CN104134222B (zh) | 基于多特征融合的车流监控图像检测和跟踪系统及方法 | |
CN103514441B (zh) | 基于移动平台的人脸特征点定位跟踪方法 | |
CN105488811B (zh) | 一种基于深度梯度的目标跟踪方法与系统 | |
CN114782691B (zh) | 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备 | |
CN110276264B (zh) | 一种基于前景分割图的人群密度估计方法 | |
CN107767400B (zh) | 基于层次化显著性分析的遥感图像序列动目标检测方法 | |
CN103077531B (zh) | 基于边缘信息的灰度目标自动跟踪方法 | |
CN111161313B (zh) | 一种视频流中的多目标追踪方法及装置 | |
CN110135500A (zh) | 一种基于自适应深度特征滤波器的多场景下目标跟踪方法 | |
CN101853511A (zh) | 一种抗遮挡目标轨迹预测跟踪方法 | |
Taketomi et al. | Real-time and accurate extrinsic camera parameter estimation using feature landmark database for augmented reality | |
WO2019071976A1 (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
CN101916446A (zh) | 基于边缘信息和均值移位的灰度目标跟踪算法 | |
CN113763427B (zh) | 一种基于从粗到精遮挡处理的多目标跟踪方法 | |
CN110738667A (zh) | 一种基于动态场景的rgb-d slam方法和系统 | |
CN109448023A (zh) | 一种结合空间置信图和轨迹估计的卫星视频小目标实时跟踪方法 | |
CN109446978B (zh) | 基于凝视卫星复杂场景的飞机动目标跟踪方法 | |
KR20170015299A (ko) | 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치 | |
CN109697385A (zh) | 一种目标跟踪方法及装置 | |
CN112364865A (zh) | 一种复杂场景中运动小目标的检测方法 | |
KR100994367B1 (ko) | 영상 추적 장치의 이동표적 움직임 추적 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180622 |