CN101777185B - 融合描述式和判别式建模的目标跟踪方法 - Google Patents

融合描述式和判别式建模的目标跟踪方法 Download PDF

Info

Publication number
CN101777185B
CN101777185B CN2009102423391A CN200910242339A CN101777185B CN 101777185 B CN101777185 B CN 101777185B CN 2009102423391 A CN2009102423391 A CN 2009102423391A CN 200910242339 A CN200910242339 A CN 200910242339A CN 101777185 B CN101777185 B CN 101777185B
Authority
CN
China
Prior art keywords
yardstick
image block
little image
svc
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009102423391A
Other languages
English (en)
Other versions
CN101777185A (zh
Inventor
唐明
张静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN2009102423391A priority Critical patent/CN101777185B/zh
Publication of CN101777185A publication Critical patent/CN101777185A/zh
Application granted granted Critical
Publication of CN101777185B publication Critical patent/CN101777185B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开一种融合描述式和判别式建模的目标跟踪方法,包括以下步骤:1.t=1,在第1帧图像中的被跟踪目标及其邻近背景上随机抽取多尺度小图像块集合并训练两对二类支持向量机和一类支持向量机作为被跟踪目标的模型;2.在第t+1帧图像中随机抽取多尺度小图像块集合并通过被跟踪目标的模型确定第t+1帧图像中小图像块属于被跟踪目标的置信度,用新一帧图像中小图像块的置信度及其中心坐标构造置信图;在置信图上用均值移动算法获得被跟踪目标在新一帧图像中的新位置;根据图像块置信度和被跟踪目标的新位置,对当前帧中的小图像块分类,并根据分类结果更新被跟踪目标的模型;3.若未到视频文件的结尾,递增t,返回步骤2;4.终止。

Description

融合描述式和判别式建模的目标跟踪方法
技术领域
本发明属于计算机视觉技术领域,涉及一种对目标进行跟踪的方法
背景技术
目标检测与跟踪是计算机视觉的主要研究方向之一,它在人机交互、智能监视、医学图像分析、移动机器人视觉导航、视频图像分析等领域中有着广泛的应用。一个准确鲁棒的目标跟踪器对于后续的分析将产生极大帮助。
现有的目标跟踪算法,从数学方法上通常可以分为两类:产生式方法和判别式方法。产生式方法学习被跟踪目标的外观,得到被跟踪目标外观的描述性模型。产生式方法通过更新描述式模型来适应被跟踪目标外观的变化,而忽略背景对目标的影响。因此,产生式算法在背景和目标比较相似时,跟踪结果容易偏离真正的目标位置。判别式方法通过学习背景和被跟踪目标的分类面,获得对被跟踪目标外观和背景外观的判别性模型。判别式方法通过更新判别式模型,即分类面,来适应被跟踪目标和背景外观的变化。判别式方法由于同时关注被跟踪目标外观和背景外观,往往能更有效地从背景中识别出目标。但是现有的判别式方法通常仅仅关注目标和背景的判别性的模型,因而也容易产生模型偏差,而所采用的更新方法又很难体现目标的真实变化,因此经常会出现严重的“模型飘移”问题,导致被跟踪目标的丢失。
发明内容
针对现有技术的现状,本发明的目的是提出一种结合了描述式(或称产生式)和判别式目标建模方法优点的跟踪一般物体的方法,使对给出的图像序列能自动进行对目标的定位与跟踪,从图像序列中获得被跟踪目标在每一帧图像中的位置。
为实现以上目的,本发明提供的一种融合描述式和判别式建模的目标跟踪方法,基于两个尺度小图像块集合并且用二类支持向量机和一类支持向量机共同对被跟踪目标建模,该方法包括步骤如下:
步骤S1:对视频文件的第1帧图像做初始化处理;即,设帧号t=1,从视频文件中读取第1帧图像,人工或者利用目标检测算法确定被跟踪目标及其局部背景在第1帧图像中的位置,即初始位置;在被跟踪目标及其局部背景上随机抽取两个尺度的小图像块集合;按照用户指定的特征类型计算各小图像块的特征;利用两个尺度的小图像块的特征训练两对二类支持向量机和一类支持向量机,用第一尺度小图像块集合训练得到的二类支持向量机2-SVC(1,s1)和一类支持向量机1-SVC(1,s1),以及用第二尺度小图像块集合训练得到的二类支持向量机2-SVC(1,s2)和一类支持向量机1-SVC(1,s2)共同构成被跟踪目标的模型,其中,s1和s2分别表示第一尺度和第二尺度,2-SVC表示为二类支持向量机,1-SVC表示为一类支持向量机;
步骤S2:确定被跟踪目标在第t+1帧图像中的位置;即,从视频文件中读取第t+1帧图像,随机抽取两个尺度的小图像块集合;计算各小图像块的特征;利用基于两个尺度小图像块的被跟踪目标的模型2-SVC(t,s1)、1-SVC(t,s1)和2-SVC(t,s2)、1-SVC(t,s2)确定被跟踪目标在第t+1帧中的位置,并根据被跟踪目标在第t+1帧中的位置将被跟踪目标模型由2-SVC(t,s1)、1-SVC(t,s1)和2-SVC(t,s2)、1-SVC(t,s2)更新为2-SVC(t+1,s1)、1-SVC(t+1,s1)和2-SVC(t+1,s2)、1-SVC(t+1,s2);输出被跟踪目标在第t+1帧图像中的位置;
步骤S3:若第t+1帧不是视频文件的最后一帧,t=t+1,返回步骤S2,若第t+1帧是视频文件的最后一帧,则至步骤S4;
步骤S4:结束目标跟踪。
其中,对视频文件的第1帧图像做初始化处理的具体步骤如下:
步骤S11:设帧号t=1,用目标框和背景框在视频文件的第1帧图像中选定需要被跟踪的目标以及被跟踪目标附近的背景的初始位置;
步骤S12:指定小图像块第一尺度,分别在目标框和背景框的环矩形区域中随机采样,得到表示图像中被跟踪目标及被跟踪目标局部背景的一对第一尺度小图像块集合;表示图像中被跟踪目标的第一尺度小图像块是正样本,表示图像中被跟踪目标局部背景的第一尺度小图像块是负样本;
步骤S13:指定小图像块第二尺度,分别在目标框和背景框的环形区域中随机采样,得到表示图像中被跟踪目标及被跟踪目标局部背景的一对第二尺度小图像块集合;表示图像中被跟踪目标的第二尺度小图像块是正样本,表示图像中被跟踪目标局部背景的第二尺度小图像块是负样本;
步骤S14:对一对第一尺度小图像块集合中的各小图像块,指定一种特征的直方图作为各小图像块的特征,对各小图像块进行计算并得到第一尺度小图像块特征;
步骤S15:对一对第二尺度小图像块集合中的各小图像块,指定一种特征的直方图作为各小图像块的特征,对各小小图像块的特征进行计算并得到第二尺度小图像块特征;
步骤S16:利用一对第一尺度小图像块集合训练二类支持向量机,获得第一尺度下目标和背景的判别分类面,亦称第一尺度二类支持向量机2-SVC(1,s1);利用一对第一尺度小图像块集合中表示被跟踪目标的小图像块集合训练一类支持向量机获得第一尺度下目标的描述性特征分布,亦称第一尺度一类支持向量机1-SVC(1,s1);这一对第一尺度二类支持向量机2-SVC(1,s1)和第一尺度一类支持向量机1-SVC(1,s1)构成第一帧图像中第一尺度下的被跟踪目标模型;
步骤S17:利用一对第二尺度小图像块集合训练二类支持向量机,获得第二尺度下目标和背景的判别分类面,亦称第二尺度二类支持向量机2-SVC(1,s2);利用一对第二尺度小图像块集合中表示被跟踪目标的小图像块集合训练一类支持向量机获得第二尺度下目标的描述性特征分布,亦称第二尺度一类支持向量机1-SVC(1,s2);这一对第二尺度二类支持向量机2-SVC(1,s2)和第二尺度一类支持向量机1-SVC(1,s2)构成第一帧图像中第二尺度下的被跟踪目标模型。
其中,确定被跟踪目标在第t+1帧图像中的位置的具体步骤如下:
步骤S21:读取被跟踪目标位置未知的第t+1帧图像;
步骤S22:对第t+1帧图像随机抽取第一尺度的图像块,得到第t+1帧图像中第一尺度小图像块集合;
步骤S23:计算第t+1帧图像中第一尺度小图像块集合中所有小图像块的特征;
步骤S24:利用在第t帧图像中在第一尺度小图像块集合上训练得到的二类支持向量机2-SVC(t,s1)和一类支持向量机1-SVC(t,s1)对第t+1帧图像的第一尺度小图像块集合分类;
步骤S25:取二类支持向量机2-SVC(t,s1)和一类支持向量机1-SVC(t,s1)对第t+1帧图像的第一尺度小图像块集合分类的输出值之和作为第t+1帧图像中每个第一尺度小图像块属于目标的置信度;所有第一尺度小图像块的置信度和第一尺度小图像块在第t+1帧图像中的中心像素坐标构成第一尺度图像块集合的置信图;
步骤S26:利用第一尺度小图像块集合的置信图,在第t+1帧图像中排除非目标区域,得到可能目标区域,在这个可能目标区域中随机抽取第二尺度的小图像块,得到第t+1帧图像的第二尺度小图像块集合;
步骤S27:计算第t+1帧图像中第二尺度小图像块集合中所有小图像块的特征;
步骤S28:利用在第t帧图像中第二尺度小图像块集合上训练得到的二类支持向量机2-SVC(t,s2)和一类支持向量机1-SVC(t,s2)对第t+1帧图像的第二尺度小图像块集合分类;
步骤S29:取二类支持向量机2-SVC(t,s2)和一类支持向量机1-SVC(t,s2)对第t+1帧图像的第二尺度小图像块集合分类的输出值之和作为第t+1帧图像中每个第二尺度小图像块属于目标的置信度;所有第二尺度小图像块的置信度和第二尺度小图像块在第t+1帧图像中的中心像素坐标构成第二尺度图像块集合的置信图;
步骤S210:利用第t+1帧图像中的第二尺度小图像块集合的置信图,修正第t+1帧图像中的第一尺度小图像块集合的置信图;
步骤S211:在修正后的第t+1帧图像中第一尺度小图像块集合的置信图上,利用均值移动算法确定被跟踪目标在第t+1帧图像中的位置,将目标框移至该新位置并输出显示;
步骤S212:根据第t+1帧图像中被跟踪目标的位置重新随机采样以获得一对新的第一尺度小图像块集合和一对新的第二尺度小图像块集合,利用被跟踪目标模型2-SVC(t,s1)、1-SVC(t,s1)和2-SVC(t,s2)、1-SVC(t,s2)计算新的小图像块集合中各小图像块属于被跟踪目标的置信度,从而确定每个小图像块的分类结果,再利用每个图像块的分类结果更新得到第t+1帧中被跟踪目标的模型2-SVC(t+1,s1)、1-SVC(t+1,s1)和2-SVC(t+1,s2)、1-SVC(t+1,s2)。
其中,所述非目标区域是置信度为非正的第一尺度小图像块所覆盖的区域。
其中,所述利用第二尺度小图像块集合的置信图,修正第一尺度小图像块的置信图是对所有覆盖第一尺度小图像块中心点的第二尺度小图像块的置信度求最大值,如果所有覆盖第一尺度小图像块中心点的第二尺度小图像块的置信度的最大值为非正数,则第一尺度小图像块的置信度为所有覆盖第一尺度小图像块中心点的第二尺度小图像块的置信度的最大值,如果所有覆盖第一尺度小图像块中心点的第二尺度小图像块的置信度的最大值为正数,则第一尺度小图像块的置信度与所有覆盖第一尺度小图像块中心点的第二尺度小图像块的置信度的最大值之和为第一尺度小图像块的新的置信度。
其中,所述被跟踪目标的小图像块集合由多个具有相同尺度的在目标框中采样得到的小图像块构成。
其中,所述局部背景的小图像块集合由多个具有相同尺度的在背景框以内目标框以外即环矩形区域中采样得到的小图像块组成。
其中,所述两个尺度小图像块包括第一尺度小图像块和第二尺度小图像块,第一尺度小图像块的尺度为固定值,第二尺度小图像块的尺度与目标框大小成正比。
其中,所述更新两个尺度下的二类支持向量机2-SVC(t,s1)、2-SVC(t,s2)和一类支持向量机1-SVC(t,s1)、1-SVC(t,s2)是对在第t帧图像中学习得到的两个尺度下的二类支持向量机2-SVC(t,s1)、2-SVC(t,s2)和一类支持向量机1-SVC(t,s1)、1-SVC(t,s2)保留其前k帧图像中的样本,去掉前第k+1帧图像中的样本,并加入第t+1帧图像中的新样本重新训练二类支持向量机和一类支持向量机得到第t+1帧图像中的两个尺度下的二类支持向量机2-SVC(t+1,s1)、2-SVC(t+1,s2)和一类支持向量机1-SVC(t+1,s1)、1-SVC(t+1,s2)。
本发明的有益效果:本发明结合描述式和判别式目标建模方法的优点,有效地利用二类支持向量机较强的判别能力区分出目标和背景,同时为增强克服“模型飘移”问题的能力,用一类支持向量机获得对目标的描述式模型。本发明对背景不断变化,摄像机不固定,目标外观和尺度不断发生变化的情形也适用,且能取得良好的效果。大量的实验结果表明,本发明的方法在跟踪的稳定性和精度方面明显优于现有的一些主流方法。本发明的方法既利用了判别式方法能够针对一幅图像最优地区分目标和背景的能力,又利用产生式方法对目标本身的描述更准确的优点,使得方法能更好地适应目标和背景的变化,大大减轻了“模型漂移”问题对方法的不利影响。
附图说明
图1是本发明融合描述式和判别式方法的目标跟踪方法的流程图。
图2是图1中对视频文件中第一帧图像做初始化处理的流程图。
图3是图2中对视频文件中新取出的第t+1帧图像的处理流程图。
图4是两个尺度小图像块示意图。
图5a、图5b、图5c是两个尺度小图像块集合的置信图示意图。
具体实施方式
下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
请参考图1示出的本发明流程图。
在以下各步骤中,t表示一个视频文件的帧序号,t=1表示第1帧图像,t=2表示第2帧图像,以此类推。s1和s2分别表示第一尺度和第二尺度。
步骤S1.初始化。图2示出方法初始化的流程图,其中,2-SVC(t,s1)、2-SVC(t,s2)和1-SVC(t,s1)、1-SVC(t,s2)分别表示利用从第1帧图像中随机采样得到的小图像块集合训练得到的两类支持向量机和一类支持向量机,s1和s2分别表示第一和第二尺度。
步骤S11.设t=1。用目标框和背景框在视频文件的第1帧图像中选定需要被跟踪的目标以及被跟踪目标附近的背景。
步骤S12.指定小图像块第一尺度,分别在目标框和背景框(环矩形区域)中随机采样,得到表示图像中被跟踪目标及被跟踪目标局部背景的一对第一尺度小图像块集合。随机采样得到的第一尺度小图像块集合
Figure G2009102423391D00071
由固定大小的小图像块(通常是9像素×9像素至11像素×11像素)组成,第一尺度小图像块的采样率为8%~16%,完全位于目标窗内部的小图像块被标记为正样本,其余的小图像块被标记为负样本,如图4所示。图4右上方的椭圆代表第一尺度小图像块中的正样本集合,正样本均来自中间图像中的目标窗,右下方的椭圆代表第一尺度小图像块中的负样本集合,负样本均来自中间图像中目标窗以外的环矩形图像区域。图中给出的第一尺度小图像块的尺度是11像素×11像素。
步骤S13.指定小图像块第二尺度,分别在目标框和背景框(环矩形区域)中随机采样,得到表示图像中被跟踪目标及被跟踪目标局部背景的一对第二尺度小图像块集合。随机采样得到的第二尺度小图像块集合
Figure G2009102423391D00072
由与目标窗大小有关的小图像块组成,通常第二尺度小图像块的大小是目标窗尺度的1/8至1/2倍,第二尺度小图像块的采样率为2%~5%,完全位于目标窗内部的小图像块被标记为正样本,其余的小图像块被标记为负样本,如图4所示。图4左上方的椭圆代表第二尺度小图像块中的正样本集合,正样本均来自中间图像中的目标窗,左下方的椭圆代表第二尺度小图像块中的负样本集合,负样本均来自中间图像中目标窗以外的环矩形图像区域。图中给出的第二尺度小图像块的尺度是21像素×21像素。
步骤S14.对一对第一尺度小图像块集合中的各小图像块,指定一种特征,比如指定颜色或者纹理等的直方图作为各小图像块的特征,计算各小图像块的特征,后继帧也采用同样的特征。
步骤S15.对一对第二尺度小图像块集合中的各小图像块,指定一种特征,比如指定颜色或者纹理等的直方图作为各小图像块的特征,计算各小图像块的特征,后继帧也采用同样的特征。
步骤S16.利用一对第一尺度小图像块集合训练二类支持向量机,获得第一尺度下目标和背景的判别分类面
Figure G2009102423391D00081
,其中p表示小图像块。利用第一尺度下表示被跟踪目标的小图像块集合训练一类支持向量机,获得第一尺度下目标的描述性模型
Figure G2009102423391D00082
,其中p表示小图像块。
Figure G2009102423391D00083
Figure G2009102423391D00084
构成第一尺度目标模型。
步骤S17.利用一对第二尺度小图像块集合训练二类支持向量机,获得第二尺度下目标和背景的判别分类面
Figure G2009102423391D00085
,其中p表示小图像块。利用第二尺度下表示被跟踪目标的小图像块集合训练一类支持向量机,获得第一尺度下目标的描述性模型
Figure G2009102423391D00086
,其中p表示小图像块。。
Figure G2009102423391D00087
构成第二尺度目标模型。
第i尺度下的一类支持向量机和二类支持向量机输出之和为第i尺度融合分类器
Figure G2009102423391D00089
h t s i ( p ) = h t , 2 - SVC s i ( p ) + h t , 1 - SVC s i ( p ) ,
其中,i∈{1,2}。
步骤S2.确定被跟踪目标在第t+1帧中的位置,并更新目标模型。图3示出本发明方法处理新取得的一帧(即第t+1帧)的流程图,其中,2-SVC(t,s1)、2-SVC(t,s2)和1-SVC(t,s1)、1-SVC(t,s2)分别表示利用从第t帧图像中随机采样得到的小图像块集合训练得到的两类支持向量机和一类支持向量机,s1和s2分别表示第一二尺度和第二尺度,2-SVC表示为二类支持向量机,1-SVC表示为一类支持向量机。
步骤S21.读取第t+1帧图像。
步骤S22.根据第t帧图像中目标窗的位置,在目标位置未知的第t+1帧图像中的同样位置及其附近随机抽取第一尺度小图像块集合
Figure G2009102423391D000811
步骤S23.计算第t+1帧图像中第一尺度小图像块集合中所有小图像块的特征。
步骤S24.利用在第t帧图像中在第一尺度小图像块集合上训练得到的融合分类器
Figure G2009102423391D00091
对第t+1帧图像的第一尺度小图像块集合
Figure G2009102423391D00092
分类。
步骤S25.计算第一尺度小图像块集合
Figure G2009102423391D00093
中每个第一尺度小图像块p作为正样本的置信度
Figure G2009102423391D00094
c t + 1 s 1 ( x p , y p ) = 1 , h t s 1 ( p ) > 1 ; h t s 1 ( p ) , - 1 < h t s 1 ( p ) < 1 ; - 1 , h t s 1 ( p ) < - 1 ,
其中(xp,yp)是小图像块p的中心。集合
Figure G2009102423391D00096
构成第t+1帧图像中第一尺度小图像块置信图(图5a)
步骤26:利用第一尺度小图像块集合的置信图,在第t+1帧图像中排除非目标区域,得到可能目标区域。可能目标区域中既有未被第一尺度小图像块覆盖的像素,也有被第一尺度小图像块覆盖并满足下述不等式的像素:
( &Sigma; ( u , v ) &Element; { p } t + 1 s 1 c t + 1 s 1 ( u , v ) ) > 0 ,
其中(u,v)是小图像块 p &Element; { p } t + 1 s 1 覆盖的像素。注意:对于第一尺度小图像块的置信图
Figure G2009102423391D00099
,如果覆盖的像素(u,v)不是任何图像块 p &Element; { p } t s 1 的中心,那么 c t + 1 s 1 ( u , v ) = 0 . 在这个可能目标区域中随机抽取第二尺度的小图像块,得到第t+1帧图像的第二尺度小图像块集合
Figure G2009102423391D000912
步骤S27.计算第t+1帧图像中第二尺度小图像块集合
Figure G2009102423391D000913
中所有小图像块的特征。
步骤S28.利用第t帧图像针对第二尺小图像块的融合分类器
Figure G2009102423391D000914
对第二尺度小图像块集合分类。
步骤S29.计算第二尺度小图像块集合
Figure G2009102423391D000916
中每个第二尺度小图像块p作为正样本的置信度
Figure G2009102423391D000917
c t + 1 s 2 ( x p , y p ) = 1 , h t s 2 ( p ) > 1 ; h t s 2 ( p ) - 1 < h t s 2 ( p ) < 1 ; - 1 , h t s 2 ( p ) < - 1 ,
其中(xp,yp)是小图像块p的中心。集合
Figure G2009102423391D00101
构成第t+1帧图像中第二尺度小图像块置信图(图5b)。
步骤S210.利用第二尺度小图像块置信图来修正第一尺度小图像块置信图。由于第一尺度小图像块p可能被多个第二尺度小图像块覆盖,其中覆盖第一尺度小图像块p的中心(u,v)且具有最大置信度的第二尺度小图像块的置信度cm被用来修正第一尺度小图像块p的置信度。
Figure G2009102423391D00102
这里,m表示最大值之意。图5c所示为修正后的第一尺度小图像块置信图。
步骤S211.确定被跟踪目标在第t+1帧中的位置。在第t+1帧中修正后的第一尺度小图像块集合的置信图
Figure G2009102423391D00103
上,以第t帧中目标的位置为初始位置,利用均值移动算法得到第t+1帧中目标的位置,具体步骤如下。
步骤S2111设:循环变量k=0,q0是第t帧图像中目标窗的中心,
Figure G2009102423391D00104
是该中心在第t+1帧图像中的图像坐标,qk是第t帧图像中第k次循环时目标窗的中心,
Figure G2009102423391D00105
是在第t+1帧图像中以
Figure G2009102423391D00106
为中心的一个半径为δ的圆形邻域。
步骤S2112
( x q k + 1 , y q k + 1 ) = 1 N q k &Sigma; p &Element; S qk ( x p , y p ) ,
这里,
Figure G2009102423391D00108
表示
Figure G2009102423391D00109
中具有非零置信度的小图像片的个数,第t+1帧图像中的小图像片p具有非零置信度,(xp,yp)表示小图像片p的中心在第t+1帧图像中的图像坐标。k=k+1,循环执行步骤S2.11.2,直至收敛。收敛时的
Figure G2009102423391D001010
即为目标窗在第t+1帧图像中的中心位置。
步骤S212:在线更新两类支持向量机和一类支持向量机。
步骤S2121获取新样本。在第t+1帧图像中随机采样,获得两种尺度的小图像块集合。利用第一尺度小图像块的融合分类器和第二尺度小图像块的融合分类器
Figure G2009102423391D001012
计算第t+1帧图像中所有第一尺度小图像块和第二尺度小图像块的置信度,并按下式标记样本的正负。
Figure G2009102423391D00111
这里,Rt+1表示第t+1帧图像中的目标窗,若小图像块p是第一尺度的,则i=1,若小图像块p是第二尺度的,则i=2。
步骤S2122去除旧样本。对于二类支持向量机,由于背景方差往往较大,故只利用第t+1帧图像的正负样本更新二类支持向量机。对于一类支持向量机,去除前K帧图像以前的帧中的正样本并加入第t+1帧图像中的正样本,利用所有这些样本更新一类支持向量机。这里,K是更新容量参数。
步骤S3.若第t+1帧不是视频文件的最后一帧,t=t+1,返回第S2步。否则,至步骤S4。
步骤S4.结束目标跟踪。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内。

Claims (9)

1.一种融合描述式和判别式建模的目标跟踪方法,其特征在于,基于两个尺度小图像块集合并且用二类支持向量机和一类支持向量机共同对被跟踪目标建模,该方法包括步骤如下:
步骤S1:对视频文件的第1帧图像做初始化处理:设帧号t=1,从视频文件中读取第1帧图像,人工或者利用目标检测算法确定被跟踪目标及其局部背景在第1帧图像中的位置,即初始位置;在被跟踪目标及其局部背景上随机抽取两个尺度的小图像块集合;按照用户指定的特征类型计算各小图像块的特征;利用两个尺度的小图像块的特征训练两对二类支持向量机和一类支持向量机,用第一尺度小图像块集合训练得到的二类支持向量机为2-SVC(1,s1)和一类支持向量机为1-SVC(1,s1),以及用第二尺度小图像块集合训练得到的二类支持向量机2-SVC(1,s2)和一类支持向量机为1-SVC(1,s2)共同构成被跟踪目标的模型,其中,s1和s2分别表示第一尺度和第二尺度,2-SVC表示为二类支持向量机,1-SVC表示为一类支持向量机;
步骤S2:确定被跟踪目标在第t+1帧图像中的位置:从视频文件中读取第t+1帧图像,随机抽取两个尺度的小图像块集合;计算各小图像块的特征;基于两个尺度小图像块的被跟踪目标的模型为2-SVC(t,s1)、1-SVC(t,s1)和2-SVC(t,s2)、1-SVC(t,s2),利用2-SVC(t,s1)、1-SVC(t,s1)和2-SVC(t,s2)、1-SVC(t,s2)确定被跟踪目标在第t+1帧中的位置,并根据被跟踪目标在第t+1帧中的位置将被跟踪目标模型由2-SVC(t,s1)、1-SVC(t,s1)和2-SVC(t,s2)、1-SVC(t,s2)更新为2-SVC(t+1,s1)、1-SVC(t+1,s1)和2-SVC(t+1,s2)、1-SVC(t+1,s2);输出被跟踪目标在第t+1帧图像中的位置;
步骤S3:若第t+1帧不是视频文件的最后一帧,t=t+1,返回步骤S2;若第t+1帧是视频文件的最后一帧,则至步骤S4;
步骤S4:结束目标跟踪。
2.如权利要求1所述的目标跟踪方法,其特征在于,对视频文件的第1帧图像做初始化处理的具体步骤如下: 
步骤S11:设帧号t=1,用目标框和背景框在视频文件的第1帧图像中选定需要被跟踪的目标以及被跟踪目标附近的背景的初始位置;
步骤S12:指定小图像块第一尺度,分别在目标框和背景框的环矩形区域中随机采样,得到表示图像中被跟踪目标及被跟踪目标局部背景的一对第一尺度小图像块集合;表示图像中被跟踪目标的第一尺度小图像块是正样本,表示图像中被跟踪目标局部背景的第一尺度小图像块是负样本;
步骤S13:指定小图像块第二尺度,分别在目标框和背景框的环形区域中随机采样,得到表示图像中被跟踪目标及被跟踪目标局部背景的一对第二尺度小图像块集合;表示图像中被跟踪目标的第二尺度小图像块是正样本,表示图像中被跟踪目标局部背景的第二尺度小图像块是负样本;
步骤S14:对一对第一尺度小图像块集合中的各小图像块,指定一种特征的直方图作为各小图像块的特征,对各小图像块进行计算并得到第一尺度小图像块特征;
步骤S15:对一对第二尺度小图像块集合中的各小图像块,指定一种特征的直方图作为各小图像块的特征,对各小图像块的特征进行计算并得到第二尺度小图像块特征;
步骤S16:利用一对第一尺度小图像块集合训练二类支持向量机,获得第一尺度下目标和背景的判别分类面,亦称第一尺度二类支持向量机2-SVC(1,s1);利用一对第一尺度小图像块集合中表示被跟踪目标的小图像块集合训练一类支持向量机获得第一尺度下目标的描述性特征分布,亦称第一尺度一类支持向量机1-SVC(1,s1);这一对第一尺度二类支持向量机2-SVC(1,s1)和第一尺度一类支持向量机1-SVC(1,s1)构成第一帧图像中第一尺度下的被跟踪目标模型;
步骤S17:利用一对第二尺度小图像块集合训练二类支持向量机,获得第二尺度下目标和背景的判别分类面,亦称第二尺度二类支持向量机2-SVC(1,s2);利用一对第二尺度小图像块集合中表示被跟踪目标的小图像块集合训练一类支持向量机获得第二尺度下目标的描述性特征分布,亦称第二尺度一类支持向量机1-SVC(1,s2);这一对第二尺度二 类支持向量机2-SVC(1,s2)和第二尺度一类支持向量机1-SVC(1,s2)构成第一帧图像中第二尺度下的被跟踪目标模型。
3.如权利要求1所述的目标跟踪方法,其特征在于,确定被跟踪目标在第t+1帧图像中的位置的具体步骤如下:
步骤S21:读取被跟踪目标位置未知的第t+1帧图像;
步骤S22:对第t+1帧图像随机抽取第一尺度的图像块,得到第t+1帧图像中第一尺度小图像块集合;
步骤S23:计算第t+1帧图像中第一尺度小图像块集合中所有小图像块的特征;
步骤S24:利用在第t帧图像中在第一尺度小图像块集合上训练得到的二类支持向量机2-SVC(t,s1)和一类支持向量机1-SVC(t,s1)对第t+1帧图像的第一尺度小图像块集合分类;
步骤S25:取二类支持向量机2-SVC(t,s1)和一类支持向量机1-SVC(t,s1)对第t+1帧图像的第一尺度小图像块集合分类的输出值之和作为第t+1帧图像中每个第一尺度小图像块属于目标的置信度;所有第一尺度小图像块的置信度和第一尺度小图像块在第t+1帧图像中的中心像素坐标构成第一尺度图像块集合的置信图;
步骤S26:利用第一尺度小图像块集合的置信图,在第t+1帧图像中排除非目标区域,得到可能目标区域,在这个可能目标区域中随机抽取第二尺度的小图像块,得到第t+1帧图像的第二尺度小图像块集合;
步骤S27:计算第t+1帧图像中第二尺度小图像块集合中所有小图像块的特征;
步骤S28:利用在第t帧图像中第二尺度小图像块集合上训练得到的二类支持向量机2-SVC(t,s2)和一类支持向量机1-SVC(t,s2)对第t+1帧图像的第二尺度小图像块集合分类;
步骤S29:取二类支持向量机2-SVC(t,s2)和一类支持向量机1-SVC(t,s2)对第t+1帧图像的第二尺度小图像块集合分类的输出值之和作为第t+1帧图像中每个第二尺度小图像块属于目标的置信度;所有第二尺度小图像块的置信度和第二尺度小图像块在第t+1帧图像中的中心像素坐标构成第二尺度图像块集合的置信图; 
步骤S210:利用第t+1帧图像中的第二尺度小图像块集合的置信图,修正第t+1帧图像中的第一尺度小图像块集合的置信图;
步骤S211:在修正后的第t+1帧图像中第一尺度小图像块集合的置信图上,利用均值移动算法确定被跟踪目标在第t+1帧图像中的位置,将目标框移至该位置并输出显示;
步骤S212:根据第t+1帧图像中被跟踪目标的位置重新随机采样以获得一对新的第一尺度小图像块集合和一对新的第二尺度小图像块集合,利用被跟踪目标模型2-SVC(t,s1)、1-SVC(t,s1)和2-SVC(t,s2)、1-SVC(t,s2)计算新的小图像块集合中各小图像块属于被跟踪目标的置信度,从而确定每个小图像块的分类结果,再利用每个图像块的分类结果更新得到第t+1帧中被跟踪目标的模型2-SVC(t+1,s1)、1-SVC(t+1,s1)和2-SVC(t+1,s2)、1-SVC(t+1,s2)。
4.如权利要求3所述的目标跟踪方法,其特征在于,所述非目标区域是置信度为非正的第一尺度小图像块所覆盖的区域。
5.如权利要求3所述的目标跟踪方法,其特征在于,所述利用第二尺度小图像块集合的置信图修正第一尺度小图像块的置信图是对所有覆盖第一尺度小图像块中心点的第二尺度小图像块的置信度求最大值,如果所有覆盖第一尺度小图像块中心点的第二尺度小图像块的置信度的最大值为非正数,则第一尺度小图像块的置信度为所有覆盖第一尺度小图像块中心点的第二尺度小图像块的置信度的最大值,如果所有覆盖第一尺度小图像块中心点的第二尺度小图像块的置信度的最大值为正数,则第一尺度小图像块的置信度与所有覆盖第一尺度小图像块中心点的第二尺度小图像块的置信度的最大值之和为第一尺度小图像块的新的置信度。
6.如权利要求1所述的目标跟踪方法,其特征在于,所述被跟踪目标的小图像块集合由多个具有相同尺度的在目标框中采样得到的小图像块构成。
7.如权利要求1所述的目标跟踪方法,其特征在于,所述局部背景的小图像块集合由多个具有相同尺度的在背景框以内目标框以外即环矩形区域中采样得到的小图像块组成。 
8.如权利要求1所述的目标跟踪方法,其特征在于,所述两个尺度小图像块包括第一尺度小图像块和第二尺度小图像块,其中第一尺度小图像块的尺度为固定值,第二尺度小图像块的尺度与目标框大小成正比。
9.如权利要求1所述的目标跟踪方法,其特征在于:所述更新两个尺度下的二类支持向量机2-SVC(t,s1)、2-SVC(t,s2)和一类支持向量机1-SVC(t,s1)、1-SVC(t,s2)是对在第t帧图像中学习得到的两个尺度下的二类支持向量机2-SVC(t,s 1)、2-SVC(t,s2)和一类支持向量机1-SVC(t,s1)、1-SVC(t,s2)保留其前k帧图像中的样本,去掉前第k+1帧图像中的样本,并加入第t+1帧图像中的新样本重新训练二类支持向量机和一类支持向量机得到第t+1帧图像中的两个尺度下的二类支持向量机2-SVC(t+1,s1)、2-SVC(t+1,s2)和一类支持向量机1-SVC(t+1,s1)、1-SVC(t+1,s2)。 
CN2009102423391A 2009-12-09 2009-12-09 融合描述式和判别式建模的目标跟踪方法 Expired - Fee Related CN101777185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009102423391A CN101777185B (zh) 2009-12-09 2009-12-09 融合描述式和判别式建模的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009102423391A CN101777185B (zh) 2009-12-09 2009-12-09 融合描述式和判别式建模的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN101777185A CN101777185A (zh) 2010-07-14
CN101777185B true CN101777185B (zh) 2012-04-25

Family

ID=42513640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102423391A Expired - Fee Related CN101777185B (zh) 2009-12-09 2009-12-09 融合描述式和判别式建模的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN101777185B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930609B (zh) * 2010-08-24 2012-12-05 东软集团股份有限公司 接近的目标物检测方法及装置
CN102385690B (zh) * 2010-09-01 2014-01-15 汉王科技股份有限公司 基于视频图像的目标跟踪方法及系统
CN104217417B (zh) * 2013-05-31 2017-07-07 张伟伟 一种视频多目标跟踪的方法及装置
CN103310206B (zh) * 2013-07-06 2016-05-25 中国科学技术大学 一种基于多特征与多帧信息融合的助力车检测方法
CN103473560B (zh) * 2013-09-08 2016-07-06 西安电子科技大学 基于上下文约束编码的目标跟踪方法
CN104835181B (zh) * 2015-05-23 2018-07-24 温州大学苍南研究院 一种基于排序融合学习的目标跟踪方法
CN105184811B (zh) * 2015-05-25 2017-02-22 西北工业大学 一种基于结构支持向量机的多尺度目标跟踪方法
CN106203423B (zh) * 2016-06-26 2021-04-16 广东外语外贸大学 一种融合上下文探测的弱结构感知视觉目标跟踪方法
US10482609B2 (en) * 2017-04-04 2019-11-19 General Electric Company Optical flow determination system
CN108733676A (zh) * 2017-04-14 2018-11-02 合信息技术(北京)有限公司 视频缩略图的提取方法及装置
CN108447078B (zh) * 2018-02-28 2022-06-10 长沙师范学院 基于视觉显著性的干扰感知跟踪算法
CN112640419B (zh) * 2020-02-28 2022-07-05 深圳市大疆创新科技有限公司 跟随方法、可移动平台、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1514408A (zh) * 2002-09-12 2004-07-21 上海交通大学 复杂背景条件下红外弱小目标的检测与跟踪方法
US7424498B1 (en) * 2003-06-30 2008-09-09 Data Domain, Inc. Probabilistic summary data structure based encoding for garbage collection
CN101295405A (zh) * 2008-06-13 2008-10-29 西北工业大学 人像与车辆识别报警跟踪方法
CN101577005A (zh) * 2009-06-12 2009-11-11 北京中星微电子有限公司 一种目标跟踪方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1514408A (zh) * 2002-09-12 2004-07-21 上海交通大学 复杂背景条件下红外弱小目标的检测与跟踪方法
US7424498B1 (en) * 2003-06-30 2008-09-09 Data Domain, Inc. Probabilistic summary data structure based encoding for garbage collection
CN101295405A (zh) * 2008-06-13 2008-10-29 西北工业大学 人像与车辆识别报警跟踪方法
CN101577005A (zh) * 2009-06-12 2009-11-11 北京中星微电子有限公司 一种目标跟踪方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开平9-88112A 1997.03.31

Also Published As

Publication number Publication date
CN101777185A (zh) 2010-07-14

Similar Documents

Publication Publication Date Title
CN101777185B (zh) 融合描述式和判别式建模的目标跟踪方法
Tellaeche et al. A computer vision approach for weeds identification through Support Vector Machines
CN101777184B (zh) 基于局部距离学习和排序队列的视觉目标跟踪方法
CN104881029B (zh) 基于一点ransac和fast算法的移动机器人导航方法
CN103218605B (zh) 一种基于积分投影与边缘检测的快速人眼定位方法
CN106125087A (zh) 基于激光雷达的舞蹈机器人室内行人跟踪方法
CN102708361B (zh) 远距离人脸采集方法
CN103455794B (zh) 一种基于帧融合技术的动态手势识别方法
CN101406390B (zh) 检测人体部位和人的方法和设备以及对象检测方法和设备
CN104680559B (zh) 基于运动行为模式的多视角室内行人跟踪方法
CN105869178A (zh) 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法
CN105069429A (zh) 一种基于大数据平台的人流量分析统计方法和系统
JP6453488B2 (ja) 人体頭頂部の識別に基づく通行人の統計方法及び装置
CN107907124A (zh) 基于场景重识的定位方法、电子设备、存储介质、系统
CN104616324B (zh) 基于自适应表观模型和点‑集距离度量学习的目标跟踪方法
CN103150019A (zh) 一种手写输入系统及方法
CN102867349A (zh) 一种基于椭圆环模板匹配的人数统计方法
CN101577005A (zh) 一种目标跟踪方法及装置
CN102034355A (zh) 一种基于特征点匹配的车辆检测及跟踪方法
CN103810491A (zh) 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
Munaro et al. OpenPTrack: People tracking for heterogeneous networks of color-depth cameras
CN105224947A (zh) 分类器训练方法和系统
CN106969770A (zh) 一种机器人及其导航方法、计算机可读存储介质
CN106296743A (zh) 一种自适应运动目标跟踪方法及无人机跟踪系统
CN104063691B (zh) 基于改进的Hough变换的车道线快速检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120425

Termination date: 20211209