CN104517125B - 高速物体的图像实时跟踪方法与系统 - Google Patents

高速物体的图像实时跟踪方法与系统 Download PDF

Info

Publication number
CN104517125B
CN104517125B CN201410830968.7A CN201410830968A CN104517125B CN 104517125 B CN104517125 B CN 104517125B CN 201410830968 A CN201410830968 A CN 201410830968A CN 104517125 B CN104517125 B CN 104517125B
Authority
CN
China
Prior art keywords
target
scan box
image
frame
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410830968.7A
Other languages
English (en)
Other versions
CN104517125A (zh
Inventor
胡志坤
郑远力
唐品利
宋菁烨
江浩
张少腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUNAN TIANGUAN ELECTRONIC INFORMATION TECHNOLOGY Co Ltd
Original Assignee
HUNAN TIANGUAN ELECTRONIC INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUNAN TIANGUAN ELECTRONIC INFORMATION TECHNOLOGY Co Ltd filed Critical HUNAN TIANGUAN ELECTRONIC INFORMATION TECHNOLOGY Co Ltd
Priority to CN201410830968.7A priority Critical patent/CN104517125B/zh
Publication of CN104517125A publication Critical patent/CN104517125A/zh
Application granted granted Critical
Publication of CN104517125B publication Critical patent/CN104517125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种高速物体的图像实时跟踪方法与系统,采集目标图像,预计目标在下一帧图片中的位置,并根据目标图像当前帧和下一帧图片中的位置,生成目标框,再根据图像采集窗口尺寸生成大小不同的第一类扫描框,计算第一类扫描框与目标框的重合率,选取超过预设重合率的扫描框,作为第二类扫描框,将第二类扫描框中的图像区域输入分类器,确定含有目标的扫描框,作为第三类扫描框,对目标框和第三类扫描框进行加权整合,得出最终的目标框,根据所述最终的目标框对高速物体进行实时跟踪。采用预计目标框附近区域产生检测框的方式,来缩小TLD的目标检测区域,提高最终目标框选定效率,实时跟踪时准确率高,能够对高速目标进行实施跟踪。

Description

高速物体的图像实时跟踪方法与系统
技术领域
本发明涉及图像跟踪算法技术领域,特别是涉及高速物体的图像实时跟踪方法与系统。
背景技术
视频跟踪是计算机视觉的最重要的应用之一。TLD(Tracking-Learning-Detection)算法将跟踪分成了3个子任务:跟踪器、学习器、检测器。它可以实现对目标的长期在线跟踪。学习器同时检测检测器的正负结果,可以找出错误的正负图块,作为新的目标和背景的特征,生成样本添加到模型中。跟踪器采用估计运动轨迹,再用前后向误差计算每个轨迹的可靠性,最后再抛弃可靠性偏低的50%的跟踪点,得到最终的估计轨迹。检测器采用了三个分类器在当前帧中确定目标的位置,同时纠正跟踪器的错误。整合部分从跟踪器和检测器处取来各自输出的目标框,取两者的加权整合作为最后的目标框,显示到图像上。
但是,TLD中检测器对每一帧图片都要产生大量的子窗口进行全局扫描,以及学习器采集样本的方式,TLD的计算量巨大,运行速度非常缓慢。因为帧与帧之间间隔的时间太久,来不及学习目标的新的变化,故很容易丢失一些高速运动、形状快速变化的目标。比如,快速运动的汽车、摩托车。所以它在实时跟踪时准确率低,这使得它不能适应对实时性要求高的场合。
发明内容
基于此,有必要针对现有图像实时跟踪方式无法适用于实时性要求高的场合的问题,提供一种效率高且适应对实时性要求高的场合的高速物体的图像实时跟踪方法与系统。
一种高速物体的图像实时跟踪方法,包括步骤:
划设图像采集窗口,采集目标图像;
根据采集的目标图像,预计目标在下一帧图片中的位置,并根据目标图像当前帧图片中的位置和下一帧图片中的位置,生成目标框;
根据图像采集窗口尺寸生成大小不同的第一类扫描框;
分别计算第一类扫描框与目标框的重合率,从所述第一类扫描框中选取超过预设重合率的扫描框,作为第二类扫描框;
将第二类扫描框中的图像区域输入分类器,确定含有目标的扫描框,作为第三类扫描框;
对目标框和第三类扫描框进行加权整合,得出最终的目标框;
根据所述最终的目标框对高速物体进行实时跟踪。
一种高速物体的图像实时跟踪系统,包括:
采集模块,用于划设图像采集窗口,采集目标图像;
预计模块,用于根据采集的目标图像,预计目标在下一帧图片中的位置,并根据目标图像当前帧图片中的位置和下一帧图片中的位置,生成目标框;
第一类扫描框生成模块,用于根据图像采集窗口尺寸生成大小不同的第一类扫描框;
第二类扫描框生成模块,用于分别计算第一类扫描框与目标框的重合率,从所述第一类扫描框中选取超过预设重合率的扫描框,作为第二类扫描框;
第三类扫描框生成模块,用于将第二类扫描框中的图像区域输入分类器,确定含有目标的扫描框,作为第三类扫描框;
整合模块,用于对目标框和第三类扫描框进行加权整合,得出最终的目标框;
跟踪模块,用于根据所述最终的目标框对高速物体进行实时跟踪。
本发明高速物体的图像实时跟踪方法与系统,首先划设图像采集窗口,采集目标图像,预计目标在下一帧图片中的位置,并根据目标图像当前帧图片中的位置和下一帧图片中的位置,生成目标框,再根据图像采集窗口尺寸生成大小不同的第一类扫描框,之后计算第一类扫描框与目标框的重合率,选取超过预设重合率的扫描框,作为第二类扫描框,将第二类扫描框中的图像区域输入分类器,确定含有目标的扫描框,作为第三类扫描框,对目标框和第三类扫描框进行加权整合,得出最终的目标框,根据所述最终的目标框对高速物体进行实时跟踪。本发明高速物体的图像实时跟踪方法采用预计目标框附近区域产生检测框的方式,来缩小TLD的目标检测区域,提高最终目标框选定效率,实时跟踪时准确率高,能够对高速目标进行实施跟踪。
附图说明
图1为本发明高速物体的图像实时跟踪方法第一个实施例的流程示意图;
图2为本发明高速物体的图像实时跟踪方法第二个实施例的流程示意图;
图3为本发明高速物体的图像实时跟踪系统第一个实施例的结构示意图;
图4为本发明高速物体的图像实时跟踪系统第二个实施例的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下根据附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施仅仅用以解释本发明,并不限定本发明。
在TLD算法将跟踪分成了3个子任务:跟踪器、学习器和检测器,为了便于解释说明本发明高速物体的图像实时跟踪方法与系统的技术方案,下述具体实施例中,同样将本发明高速物体的图像实时跟踪方法与系统分为三个子任务跟踪器、学习器和检测器,不过应当指出的是,本发明中的跟踪器、学习器和检测器与TLD算法中的跟踪器、学习器和检测器功能以及整个操作过程不相同。
如图1所示,一种高速物体的图像实时跟踪方法,包括步骤:
S100:划设图像采集窗口,采集目标图像。
跟踪器划设图像采集窗口,采集目标图像。划设图像采集窗口可以根据预设参数进行划设,也可以根据当前需求进行划设,通常来说划设一个矩形的图像采集窗口,类似于用鼠标选定某个区域一样,生成图像采集窗口后,通过这个图像采集窗口跟踪对象的目标图像。
S200:根据采集的目标图像,预计目标在下一帧图片中的位置,并根据目标图像当前帧图片中的位置和下一帧图片中的位置,生成目标框。
目标框是指含有跟踪对象的扫描框,检测器根据采集的目标图像,预计目标在下一帧图片中的位置。对跟踪对象的运行轨迹进行预测,根据采集到的当前帧目标图像,预计目标在下一帧图片中的位置。这样预计可以避免大范围重复、无价值的获取多个图像,为后续提高最终目标框选定效率打下基础。根据目标图像当前帧图片中的位置和下一帧图片中的位置,生成目标框具体过程可以为,跟踪器根据当前帧和下一帧的光流场的变化,基于当前帧的目标的位置估计出的下一帧的目标框的位置。
S300:根据图像采集窗口尺寸生成大小不同的第一类扫描框。
检测器根据图像采集窗口尺寸生成大小不同的第一类扫描框。非必要的,大小不同的第一类扫描框可以按照一定等比例大小生成。例如,假定有11个第一类扫描框,按照顺序后面一个第一类扫描框的大小是之前一个扫描框大小的λ倍。
S400:分别计算第一类扫描框与目标框的重合率,从所述第一类扫描框中选取超过预设重合率的扫描框,作为第二类扫描框。
检测器分别计算第一类扫描框与目标框的重合率,从所述第一类扫描框中选取超过预设重合率的扫描框,作为第二类扫描框。预设重合率是预先设定的,其数值可以根据当前应用环境的需求或者操作人员的需求进行调整,又或者可以根据历史数据、专家数据确定。
重合率具体可以为:重合率overlap的计算为两个框的重合部分面积除以未重合部分面积之和,记录所有满足overlap>γ的i和j,作为在目标框附近滑动的扫描框的标签。
S500:将第二类扫描框中的图像区域输入分类器,确定含有目标的扫描框,作为第三类扫描框。
非必要的,步骤S500具体可以为:
第二类扫描框中的图像区域输入分类器,遍历第二类扫描框,对每个框中的区域进行检测。先经过方差分类器检测,利用积分图计算每个待检测窗口的方差,方差大于阈值的,则认为其含有前景目标。然后进入集成分类器,先计算该图像片的特征值,再计算该特征值对应的后验概率累加值,若集合分类器的后验概率平均值大于阈值,则认为含有目标。检测器将第二类扫描框中的图像区域输入分类器,确定含有目标的扫描框,作为第三类扫描框。分类器是一种计算机程序,他的设计目标是在通过学习后,可以自动的对给定的数据进行分类,应用在搜索引擎以及各种检索程序中。同时也大量应用于数据分析与预测领域,分类器是一种机器学习程序,因此归为人工智能的范畴中。人工智能的多个领域,包括数据挖掘,专家系统,模式识别都用到此类程序,对于分类器,其实质为数学模型。针对模型的不同,目前有多种分支,包括:Bayes网络分类器,决策树算法,聚类算法等。
S600:对目标框和第三类扫描框进行加权整合,得出最终的目标框。
加权整合可以通过整合器来实现。
S700:根据所述最终的目标框对高速物体进行实时跟踪。
在确定最终的目标框后,根据这个扫描框对高速物体进行准确的实时跟踪。
本发明高速物体的图像实时跟踪方法,首先划设图像采集窗口,采集目标图像,预计目标在下一帧图片中的位置,并根据目标图像当前帧图片中的位置和下一帧图片中的位置,生成目标框,再根据图像采集窗口尺寸生成大小不同的第一类扫描框,之后计算第一类扫描框与目标框的重合率,选取超过预设重合率的扫描框,作为第二类扫描框,将第二类扫描框中的图像区域输入分类器,确定含有目标的扫描框,作为第三类扫描框,对目标框和第三类扫描框进行加权整合,得出最终的目标框,根据所述最终的目标框对高速物体进行实时跟踪。本发明高速物体的图像实时跟踪方法采用预计目标框附近区域产生检测框的方式,来缩小TLD的目标检测区域,提高最终目标框选定效率,实时跟踪时准确率高,能够对高速目标进行实施跟踪。
如图2所示,在其中一个实施例中,步骤S600之后还有步骤:
S620:检测分类器输出的目标特征和背景特征错误,将目标特征和背景特征错误作为新的正负训练样本,更新分类器中的目标模型。
上述步骤可以通过学习器来实现。具体来说,在跟踪学习检测算法框架中,跟踪器和检测器两部分是并行独立的,他们之间的数据交互和自身的模型更新都是通过学习器实现的。由于图像中目标与背景并不是相互独立的,所以不仅目标含有有价值的信息,背景的信息也具有一定的价值。学习器中含有正样本检错器和负样本检错器,分别检测检测器中分类器输出中目标特征和背景特征的错误。将错误作为新的正负训练样本,用于更新检测器。正样本检错器的任务是找出检测器中被标示为背景特征的目标特征,即错误的负图块。正样本检错器是从时间序列的角度查找错误的。它用跟踪器估计出当前帧中目标的位置,与检测器得出的正图块位置进行比较,如果跟踪器中有但检测器中没有,则该图块就是正样本检错器要找的错误。正样本检错器会依据其生成新的正训练样本,添加到模型中,同时会更新检测器中的分类器。负样本检错器的工作方式与正样本检错器相似,只不过负样本检错器要找的是被标示为目标特征的背景特征,即错误的正图块。它会从位置空间的角度,将跟踪器与检测器的结果作比较,找到错误的正图块,生成新的负训练样本,更新模型。
在其中一个实施例中,所述根据采集的目标图像,预计目标在下一帧图片中的位置,具体包括步骤:
获取目标图像序列中的第I帧图像和第I-1帧图像,其中,所述I为正整数,且大于1;
在第I-1帧图像的目标框中的产证随机原始取样点Da,采用金字塔光流法预计Da在第I帧图像上的预计点Db。
对第I帧图像上的预计点Db进行反向金字塔光流法计算,获得在第I-1帧图像上对应位置Dc;
计算Da与Dc之间的几何距离,抛弃Da与Dc之间的几何距离大于中位值的50%的数据;
根据剩余的Da与Dc,计算目标在第I帧图像上的位置。
采用金字塔光流法以及严谨的数学处理过程,确保数据获取的准确。
如图2所示,在其中一个实施例中,步骤S200之后还有步骤:
S220:将包含有目标位置的下一帧图像块归化到预设尺寸,计算含有目标位置的下一帧图像块与分类器中目标模型的保守相似度,当保守相似度小于阈值时,认定本次跟踪无效,当保守相似度大于或者等于阈值时,认定本次跟踪有效。
预设尺寸优选的为15*15的尺寸,保守相似度的阈值可以根据历史经验数据获取。分类器中目标模型是指分类器中已存储的各种场景模型,例如汽车、飞机等这些目标的模型,在分类器中存储有这些目标模型的相关参数。当保守相似度小于阈值时,认定本次跟踪无效,终止跟踪或者重新执行本步骤之前的操作,重新开始跟踪,当保守相似度大于或者等于阈值时,认定本次跟踪有效,继续后续操作。
在其中一个实施例中,所述将第二类扫描框中的图像区域输入分类器,确定含有目标的扫描框,作为第三类扫描框具体包括步骤:
将第二类扫描框中的图像区域输入分类器;
对第二类扫描框中的图像区域进行检测,判断是否为含有目标的扫描框,其中,判断过程具体为:
利用积分图计算当前第二类扫描框的方差,当方差大于阈值时,则认为当前第二类扫描框可能含有目标,再计算当前可能含有目标的第二类扫描框中的图像的特征值,以及计算该特征值对应的后验概率累加值,根据后验概率累加值计算后验概率平均值,当后验概率平均值大于阈值时,则认为当前第二类扫描框含有目标;
将确定含有目标的扫描框,作为第三类扫描框。
下面将采用一个具体实例,详细解释说明本发明高速物体的图像实时跟踪的处理过程。
先在上一帧的目标框用网格均匀撒点的方法采样10*10=100个特征点。然后用金字塔光流法跟踪。
以第1帧和第2帧的计算为例子。第1帧上的采样特征点的坐标为(x1,a1,y1,a1),a1代表在第1帧上面的采样点的序号。经过光流法后,得到第2帧中该物体的特征点坐标为(x2,b2,y2,b2)。
然后再对第2帧的估计点(x2,b2,y2,b2)使用反向金字塔光流法,计算其在第1帧上面对应的点(x1,c1,y1,c1),然后比较所有(x1,a1,y1,a1)和(x1,c1,y1,c1)的几何距离,抛弃其中大于中位值的50%的数据,用剩下的点估计出目标在当前帧的位置。如果最终跟踪的点中有轨迹误差大于10的直接认为跟踪失败。
假设保留下来的点的数量是m个,在第1帧上的(x1,d1,y1,d1),对应的在第2帧上面的是(x2,d2,y2,d2),则第2帧相对1帧矩形框的中心位置横坐标变化为,
中心位置的纵坐标变换为,
假设第1帧的目标框的在横坐标的范围是(x1,L,x1,R),在纵坐标的范围是(y1,D,y1,U)。则第1帧的目标框的中心位置为,
所以第2帧的目标框的估计的中心位置为,
po2,x,y=(po1,x+Ox,po1,y+Oy) (4)
计算第2帧中的(x2,d2,y2,d2)两两之间的距离得到矩阵D2,计算第1帧中的(x1,d1,y1,d1)两两之间的距离得到矩阵D1。D2中的每一个元素除以D1中的对应的元素,得到行矩阵D2,1,对该矩阵取平均就得到缩放倍数S。
第2帧的目标框的估计的宽度为,
w2=S*(x1,R-x1,L) (5)
第2帧的目标框的估计的高度为,
h2=S*(y1,U-y1,D) (6)
通过上述步骤,就可以估计预测出第二帧的目标的位置。将预测到的位置图像块归一化到15X15,计算这个图像块与在线模型的保守相似度,如果保守相似度小于阈值,则认为跟踪无效。如果有效,则输出预测位置TBB。
以第1帧为例,设整个视野的宽度为wl,高度为hl。第一帧目标窗口尺寸的宽度为wbb,高度为hbb,将其依次放大λ-5、λ-4、λ-3、λ-2、λ-1、λ0、λ1、λ2、λ3、λ4、λ5倍,共11种不同大小的矩形框。除第一个矩形框外,每个矩形框的大小是前一个矩形框的λ倍。(扫描过程的描述)
第i种矩形框的宽度计算公式为
wi=wbbi i=-5,-4,...,5 (7)
第i种矩形框的高度计算公式为
hi=hbbi i=-5,-4,...,5 (8)
然后每一个矩形框逐行滑动,滑动的行步长是该矩形框的度的α倍,每个矩形框滑动的列步长是该矩形框高度的α倍。
则第i种矩形框扫描的行步长计算公式为:
sw,i=α*wi (9)
第i种矩形框的扫描的列步长计算公式为:
sh,i=α*hi (10)
所以,第i种矩形框在行上的扫描个数与该帧图片的宽度wl有关,其计算公式为
每个矩形框依据行列步长逐行滑过整个图片。
第i个矩形框在第j个位置的左上角x坐标为
xbl,i,j=1+sw,i*[(j-1)%nline,i] (12)
第i个矩形框在第j个位置的左上角的y坐标为
ybl,i,j=1+sh,i*[(j-1)|nline,i] (13)
第i个矩形框在第j个位置的右下角的x坐标为
xbr,i,j=xbl,i,j+wi (14)
第i个矩形框在第j个位置的右下角的y坐标为
ybr,i,j=ybl,i,j+hi (15)
j的范围与该帧图片的高度hl和宽度wl有关,其计算公式为
把所有滑动点位置记录的总和作为扫描窗口库。每帧的扫描框依据跟踪器估计的目标框TBB动态生成。将扫描窗口库中的各个框的位置与估计的目标框TBB进行重合率检测。设扫描窗口库中的各个框的左上角坐标为(xbl,ybl),右下角坐标为(xbr,ybr);TBB的左上角坐标为(xBl,yBl),右下角坐标为(xBr,yBr)。
重合率overlap的计算为两个框的重合部分面积除以未重合部分面积之和。
记录所有满足overlap>γ的i和j,作为在TBB附近滑动的扫描框的标签。
遍历这些筛选出来的扫描框,对每个框中的区域进行检测。先经过方差分类器检测,利用积分图计算每个待检测窗口的方差,方差大于阈值的,则认为其含有前景目标。然后进入集成分类器,先计算该图像片的特征值,再计算该特征值对应的后验概率累加值,若集合分类器的后验概率平均值大于阈值,则认为含有目标。
选出检测出目标的100个窗口,窗口的选择是按照后验概率的大小降序排列后选择的前100个。
对选择后的窗口进入最近邻分类器进行检测。将窗口进行归一化15X15大小。计算该窗口图像片到在线模型的相关相似度和保守相似度。相似度大于阈值,则认为含有目标。于是,就可以得到所有含有目标的扫描框DBB,数量为n,n<=100。
设TBB的左上角顶点的坐标为(xTBBLU,yTBBLU),DBB所有框的左上角的顶点的坐标依次为(xDBBLU1,yDBBLU1)、(xDBBLU2,yDBBLU2)、(xDBBLU3,yDBBLU3)、···、(xDBBLUn,yDBBLUn)。给TBB赋的权值为a,给DBB赋的权值为1。a的大小根据实际跟踪情况进行调节。一般情况下,5<a<20。
BB的左上角顶点(xBBLU,yBBLU)的计算如下。
xBBLU=(a*xTBBLU+xDBBLU1+xDBBLU2+xDBBLU3+…+xDBBLUn)/(a+n)
yBBLU=(a*yTBBLU+yDBBLU1+yDBBLU2+yDBBLU3+…+yDBBLUn)/(a+n)
相应的,BB的左下角、右上角、右下角顶点坐标也用跟左上角同样的方法计算出来。
如图3所示,一种高速物体的图像实时跟踪系统,包括:
采集模块100,用于划设图像采集窗口,采集目标图像;
预计模块200,用于根据采集的目标图像,预计目标在下一帧图片中的位置,并根据目标图像当前帧图片中的位置和下一帧图片中的位置,生成目标框;
第一类扫描框生成模块300,用于根据图像采集窗口尺寸生成大小不同的第一类扫描框;
第二类扫描框生成模块400,用于分别计算第一类扫描框与目标框的重合率,从所述第一类扫描框中选取超过预设重合率的扫描框,作为第二类扫描框;
第三类扫描框生成模块500,用于将第二类扫描框中的图像区域输入分类器,确定含有目标的扫描框,作为第三类扫描框;
整合模块600,用于对目标框和第三类扫描框进行加权整合,得出最终的目标框;
跟踪模块700,用于根据所述最终的目标框对高速物体进行实时跟踪。
本发明高速物体的图像实时跟踪系统,采集模块100划设图像采集窗口,采集目标图像,预计模块200预计目标在下一帧图片中的位置,并根据目标图像当前帧图片中的位置和下一帧图片中的位置,生成目标框,第一类扫描框生成模块300根据图像采集窗口尺寸生成大小不同的第一类扫描框,第二类扫描框生成模块400计算第一类扫描框与目标框的重合率,选取超过预设重合率的扫描框,作为第二类扫描框,第三类扫描框生成模块500将第二类扫描框中的图像区域输入分类器,确定含有目标的扫描框,作为第三类扫描框,整合模块600对目标框和第三类扫描框进行加权整合,得出最终的目标框,跟踪模块700根据所述最终的目标框对高速物体进行实时跟踪。本发明高速物体的图像实时跟踪方法采用预计目标框附近区域产生检测框的方式,来缩小TLD的目标检测区域,提高最终目标框选定效率,实时跟踪时准确率高,能够对高速目标进行实施跟踪。
如图4所示,在其中一个实施例中,所述高速物体的图像实时跟踪系统还包括:
学习模块800,用于检测分类器输出的目标特征和背景特征错误,将目标特征和背景特征错误作为新的正负训练样本,更新分类器中的目标模型。
在其中一个实施例中,所述预计模块200具体还包括有:
获取单元,用于获取目标图像序列中的第I帧图像和第I-1帧图像,其中,所述I为正整数,且大于1;
正向计算单元,用于在第I-1帧图像的目标框中的产证随机原始取样点Da,采用金字塔光流法预计Da在第I帧图像上的预计点Db。
反向计算单元,用于对第I帧图像上的预计点Db进行反向金字塔光流法计算,获得在第I-1帧图像上对应位置Dc;
数据处理单元,用于计算Da与Dc之间的几何距离,抛弃Da与Dc之间的几何距离大于中位值的50%的数据;
计算单元,用于根据剩余的Da与Dc,计算目标在第I帧图像上的位置。
如图4所示,在其中一个实施例中,所述高速物体的图像实时跟踪系统还包括:
跟踪认定模块900,用于将包含有目标位置的下一帧图像块归化到预设尺寸,计算含有目标位置的下一帧图像块与分类器中目标模型的保守相似度,当保守相似度小于阈值时,认定本次跟踪无效,当保守相似度大于或者等于阈值时,认定本次跟踪有效。
在其中一个实施例中,所述第三类扫描框生成模块500具体包括:
输入单元,用于将第二类扫描框中的图像区域输入分类器;
判断单元,用于对第二类扫描框中的图像区域进行检测,判断是否为含有目标的扫描框,其中,判断过程具体为:
利用积分图计算当前第二类扫描框的方差,当方差大于阈值时,则认为当前第二类扫描框可能含有目标,再计算当前可能含有目标的第二类扫描框中的图像的特征值,以及计算该特征值对应的后验概率累加值,根据后验概率累加值计算后验概率平均值,当后验概率平均值大于阈值时,则认为当前第二类扫描框含有目标;
确定单元,用于将确定含有目标的扫描框,作为第三类扫描框。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种高速物体的图像实时跟踪方法,其特征在于,包括步骤:
划设图像采集窗口,采集目标图像;
根据采集的目标图像,预计目标在下一帧图片中的位置,并根据目标图像当前帧图片中的位置和下一帧图片中的位置,生成目标框;
根据图像采集窗口尺寸生成大小不同的第一类扫描框;
分别计算第一类扫描框与目标框的重合率,从所述第一类扫描框中选取超过预设重合率的扫描框,作为第二类扫描框;
将第二类扫描框中的图像区域输入分类器,确定含有目标的扫描框,作为第三类扫描框;
对目标框和第三类扫描框进行加权整合,得出最终的目标框;
根据所述最终的目标框对高速物体进行实时跟踪;
所述将第二类扫描框中的图像区域输入分类器,确定含有目标的扫描框,作为第三类扫描框具体包括步骤:
将第二类扫描框中的图像区域输入分类器;
对第二类扫描框中的图像区域进行检测,判断是否为含有目标的扫描框,其中,判断过程具体为:
利用积分图计算当前第二类扫描框的方差,当方差大于阈值时,则认为当前第二类扫描框可能含有目标,再计算当前可能含有目标的第二类扫描框中的图像的特征值,以及计算该特征值对应的后验概率累加值,根据后验概率累加值计算后验概率平均值,当后验概率平均值大于阈值时,则认为当前第二类扫描框含有目标;
将确定含有目标的扫描框,作为第三类扫描框。
2.根据权利要求1所述的高速物体的图像实时跟踪方法,其特征在于,所述对目标框和第三类扫描框进行加权整合,得出最终的目标框之后还有步骤:
检测分类器输出的目标特征和背景特征错误,将目标特征和背景特征错误作为新的正负训练样本,更新分类器中的目标模型。
3.根据权利要求1或2所述的高速物体的图像实时跟踪方法,其特征在于,所述根据采集的目标图像,预计目标在下一帧图片中的位置具体包括步骤:
获取目标图像序列中的第I帧图像和第I-1帧图像,其中,所述I为正整数,且大于1;
在第I-1帧图像的目标框中的产证随机原始取样点Da,采用金字塔光流法预计Da在第I帧图像上的预计点Db;
对第I帧图像上的预计点Db进行反向金字塔光流法计算,获得在第I-1帧图像上对应位置Dc;
计算Da与Dc之间的几何距离,抛弃Da与Dc之间的几何距离大于中位值的50%的数据;
根据剩余的Da与Dc,计算目标在第I帧图像上的位置。
4.根据权利要求1或2所述的高速物体的图像实时跟踪方法,其特征在于,所述根据采集的目标图像,预计目标在下一帧图片中的位置,并根据目标图像当前帧图片中的位置和下一帧图片中的位置,生成目标框之后还有步骤:
将包含有目标位置的下一帧图像块归化到预设尺寸,计算含有目标位置的下一帧图像块与分类器中目标模型的保守相似度,当保守相似度小于阈值时,认定本次跟踪无效,当保守相似度大于或者等于阈值时,认定本次跟踪有效。
5.一种高速物体的图像实时跟踪系统,其特征在于,包括:
采集模块,用于划设图像采集窗口,采集目标图像;
预计模块,用于根据采集的目标图像,预计目标在下一帧图片中的位置,并根据目标图像当前帧图片中的位置和下一帧图片中的位置,生成目标框;
第一类扫描框生成模块,用于根据图像采集窗口尺寸生成大小不同的第一类扫描框;
第二类扫描框生成模块,用于分别计算第一类扫描框与目标框的重合率,从所述第一类扫描框中选取超过预设重合率的扫描框,作为第二类扫描框;
第三类扫描框生成模块,用于将第二类扫描框中的图像区域输入分类器,确定含有目标的扫描框,作为第三类扫描框;
整合模块,用于对目标框和第三类扫描框进行加权整合,得出最终的目标框;
跟踪模块,用于根据所述最终的目标框对高速物体进行实时跟踪;
所述第三类扫描框生成模块具体包括:
输入单元,用于将第二类扫描框中的图像区域输入分类器;
判断单元,用于对第二类扫描框中的图像区域进行检测,判断是否为含有目标的扫描框,其中,判断过程具体为:
利用积分图计算当前第二类扫描框的方差,当方差大于阈值时,则认为当前第二类扫描框可能含有目标,再计算当前可能含有目标的第二类扫描框中的图像的特征值,以及计算该特征值对应的后验概率累加值,根据后验概率累加值计算后验概率平均值,当后验概率平均值大于阈值时,则认为当前第二类扫描框含有目标;
确定单元,用于将确定含有目标的扫描框,作为第三类扫描框。
6.根据权利要求5所述的高速物体的图像实时跟踪系统,其特征在于,还包括:
学习模块,用于检测分类器输出的目标特征和背景特征错误,将目标特征和背景特征错误作为新的正负训练样本,更新分类器中的目标模型。
7.根据权利要求5或6所述的高速物体的图像实时跟踪系统,其特征在于,所述预计模块具体包括有:
获取单元,用于获取目标图像序列中的第I帧图像和第I-1帧图像,其中,所述I为正整数,且大于1;
正向计算单元,用于在第I-1帧图像的目标框中的产证随机原始取样点Da,采用金字塔光流法预计Da在第I帧图像上的预计点Db;
反向计算单元,用于对第I帧图像上的预计点Db进行反向金字塔光流法计算,获得在第I-1帧图像上对应位置Dc;
数据处理单元,用于计算Da与Dc之间的几何距离,抛弃Da与Dc之间的几何距离大于中位值的50%的数据;
计算单元,用于根据剩余的Da与Dc,计算目标在第I帧图像上的位置。
8.根据权利要求5或6所述的高速物体的图像实时跟踪系统,其特征在于,还包括:
跟踪认定模块,用于将包含有目标位置的下一帧图像块归化到预设尺寸,计算含有目标位置的下一帧图像块与分类器中目标模型的保守相似度,当保守相似度小于阈值时,认定本次跟踪无效,当保守相似度大于或者等于阈值时,认定本次跟踪有效。
CN201410830968.7A 2014-12-26 2014-12-26 高速物体的图像实时跟踪方法与系统 Active CN104517125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410830968.7A CN104517125B (zh) 2014-12-26 2014-12-26 高速物体的图像实时跟踪方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410830968.7A CN104517125B (zh) 2014-12-26 2014-12-26 高速物体的图像实时跟踪方法与系统

Publications (2)

Publication Number Publication Date
CN104517125A CN104517125A (zh) 2015-04-15
CN104517125B true CN104517125B (zh) 2018-05-22

Family

ID=52792391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410830968.7A Active CN104517125B (zh) 2014-12-26 2014-12-26 高速物体的图像实时跟踪方法与系统

Country Status (1)

Country Link
CN (1) CN104517125B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966095B (zh) * 2015-06-03 2019-04-26 深圳一电航空技术有限公司 图像目标检测方法及装置
CN106204644A (zh) * 2016-07-01 2016-12-07 屈桢深 一种基于视频的目标长期跟踪方法
CN106127815B (zh) * 2016-07-21 2019-04-09 广东工业大学 一种融合卷积神经网络的跟踪方法及系统
CN107105159B (zh) * 2017-04-13 2020-01-07 山东万腾电子科技有限公司 基于SoC的嵌入式运动目标实时检测跟踪系统及方法
CN110007748B (zh) * 2018-01-05 2021-02-19 Oppo广东移动通信有限公司 终端的控制方法、处理装置、存储介质及终端
CN109544590B (zh) * 2018-11-27 2020-05-15 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备
CN110223321B (zh) * 2019-01-16 2022-12-02 深圳职业技术学院 一种基于局部结构化回归的目标跟踪方法
CN111178371B (zh) * 2019-12-17 2023-12-01 深圳市优必选科技股份有限公司 目标检测方法、装置和计算机存储介质
CN112508016B (zh) * 2020-12-15 2024-04-16 深圳万兴软件有限公司 一种图像处理方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881024A (zh) * 2012-08-24 2013-01-16 南京航空航天大学 一种基于tld的视频目标跟踪方法
CN102903122A (zh) * 2012-09-13 2013-01-30 西北工业大学 基于特征光流与在线集成学习的视频目标跟踪方法
CN103679755A (zh) * 2013-12-20 2014-03-26 河北汉光重工有限责任公司 一种单目标长时间跟踪技术
CN103871079A (zh) * 2014-03-18 2014-06-18 南京金智视讯技术有限公司 基于机器学习和光流的车辆跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881024A (zh) * 2012-08-24 2013-01-16 南京航空航天大学 一种基于tld的视频目标跟踪方法
CN102903122A (zh) * 2012-09-13 2013-01-30 西北工业大学 基于特征光流与在线集成学习的视频目标跟踪方法
CN103679755A (zh) * 2013-12-20 2014-03-26 河北汉光重工有限责任公司 一种单目标长时间跟踪技术
CN103871079A (zh) * 2014-03-18 2014-06-18 南京金智视讯技术有限公司 基于机器学习和光流的车辆跟踪方法

Also Published As

Publication number Publication date
CN104517125A (zh) 2015-04-15

Similar Documents

Publication Publication Date Title
CN104517125B (zh) 高速物体的图像实时跟踪方法与系统
CN109934121B (zh) 一种基于YOLOv3算法的果园行人检测方法
CN107818571B (zh) 基于深度学习网络和均值漂移的船只自动跟踪方法及系统
CN109145836B (zh) 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法
CN103886325B (zh) 一种分块的循环矩阵视频跟踪方法
CN111753682B (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN110610210B (zh) 一种多目标检测方法
CN108804992B (zh) 一种基于深度学习的人群统计方法
CA3136674C (en) Methods and systems for crack detection using a fully convolutional network
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN110674674A (zh) 一种基于yolo v3的旋转目标检测方法
CN104778699B (zh) 一种自适应对象特征的跟踪方法
CN111767826A (zh) 一种定时定点场景异常检测方法
Min et al. Coeb-slam: A robust vslam in dynamic environments combined object detection, epipolar geometry constraint, and blur filtering
Roy et al. AWDMC-Net: classification of adversarial weather degraded multiclass scenes using a convolution neural network
Shuai et al. Regression convolutional network for vanishing point detection
Kajabad et al. YOLOv4 for urban object detection: Case of electronic inventory in St. Petersburg
CN112183287A (zh) 一种移动机器人在复杂背景下的人数统计方法
CN116935356A (zh) 基于弱监督的自动驾驶多模态图片和点云实例分割方法
CN114897937A (zh) 一种基于视觉的场外施工深度学习实例分割跟踪方法
CN115205549A (zh) 一种基于互信息和语义分割的slam方法
CN114067359A (zh) 融合人体关键点与可见部位注意力特征的行人检测方法
CN113379794A (zh) 基于注意力-关键点预测模型的单目标跟踪系统及方法
CN113781521A (zh) 一种基于改进YOLO-DeepSort的仿生机器鱼检测跟踪方法
CN113505806A (zh) 一种机器人抓取检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant