CN101290681A - 视频目标跟踪方法、装置及自动视频跟踪系统 - Google Patents
视频目标跟踪方法、装置及自动视频跟踪系统 Download PDFInfo
- Publication number
- CN101290681A CN101290681A CNA2008100981721A CN200810098172A CN101290681A CN 101290681 A CN101290681 A CN 101290681A CN A2008100981721 A CNA2008100981721 A CN A2008100981721A CN 200810098172 A CN200810098172 A CN 200810098172A CN 101290681 A CN101290681 A CN 101290681A
- Authority
- CN
- China
- Prior art keywords
- target
- video
- feature
- position candidate
- lbp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种视频目标跟踪方法,包括:对当前帧中各候选位置进行梯度向量流GVF变形,得到各变形曲线;计算所述变形曲线的视频特征;根据计算得到的视频特征确定一个候选位置作为目标位置。本发明还公开一种视频目标跟踪装置及自动视频跟踪系统,能够提高目标跟踪的准确率。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种视频目标跟踪方法、装置及自动视频跟踪系统。
背景技术
所谓自动视频跟踪,是利用视频的图像信号,自动进行目标的检测、识别、定位,自动控制云台和摄像机的运动,跟踪和锁定目标。视频目标跟踪的过程大体上可以描述为:成像系统以二维阵列的形式,将客观世界三维场景所形成的图像采集记录下来并保存到计算机中。计算机对输入图像进行分析和解释,通过预处理、特征提取、特征选择、特征跟踪等算法处理,将所得到的目标信息,包括物体的结构,形状,颜色,位置运动速度和方向等,传送给跟踪处理设备。跟踪处理设备是随动机构,它根据计算获得的控制信息,能够自动调整系统的方位,自动地跟踪运动目标,最终使所获取的图像中始终包含被跟踪目标。
当前在视频监控及视频会议等场景中,应用较多的是对人头部的跟踪。例如在视频会议场景中,大家关注的焦点是会议的主讲人,而这时如果依赖于人工的移动摄像机跟踪主讲人则比较困难,也费时费力。如果采用头部跟踪算法控制一个具有PTZ(Pan Tilt Zoom,云台)功能的摄像机拍摄主讲人,则可以达到实时地跟踪主讲人的头部,使主讲人的动作持续地显示在各方的会议画面上。
现有技术中提出了采用颜色和梯度特征进行视频中人头部跟踪的方法,该方法中将头部形状近似的表达为椭圆,对于椭圆周界上的点,计算其沿椭圆法线方向上的梯度分量值,将该值作为目标的梯度特征;另外,对于椭圆内部的像素计算其颜色直方图,作为其颜色特征,并计算其与前一帧目标模板的颜色直方图的相似度。然后在下一帧图象中搜索最优的椭圆位置与大小,找到该两种特征值的和最大者为跟踪目标的位置。
在实践过程中,发明人经过研究发现:上述现有技术中采用椭圆来近似的表达头部轮廓,但是在实际情况下,头部轮廓与椭圆的差别比较大,只有一部分圆弧上可以用椭圆来表达。在图像相对较清晰的情况下,例如在人脸正面的情况下,耳朵与下巴等部位都不能近似在椭圆的边界上;在人脸侧面的情况下,头部的前半部分(如眼睛、鼻子、嘴巴、下巴)也无法完全近似在椭圆的边界上,甚至距离椭圆边界还有较大的距离。由于椭圆无法较精确的描述人头部的轮廓,从而在计算其周界梯度时不够准确,而在计算其颜色分布函数时,也会将不属于人头部的背景图像计算进去,影响特征计算的准确性,最终对跟踪效果产生负面影响。
发明内容
本发明实施例提供一种视频目标跟踪方法、装置及自动视频跟踪系统,能够提高目标跟踪的准确率。
本发明实施例提供以下技术方案:
本发明实施例提供一种视频目标跟踪方法,包括:
对当前帧中各候选位置进行梯度向量流GVF变形,得到各变形曲线;
计算所述变形曲线的视频特征;
根据计算得到的视频特征确定一个候选位置作为目标位置。
本发明实施例还提供一种视频目标跟踪装置,包括:
GVF目标曲线逼近单元,用于对当前帧中各候选位置进行梯度向量流GVF变形,得到各变形曲线;
特征计算单元,用于计算所述变形曲线的视频特征;
目标跟踪单元,用于根据计算得到的视频特征确定一个候选位置作为目标位置。
本发明实施例还提供一种自动视频跟踪系统,包括:视频目标跟踪装置和跟踪处理设备;其中,
所述视频目标跟踪装置,包括:
GVF目标曲线逼近单元,用于对当前帧中各候选位置进行梯度向量流GVF变形,得到各变形曲线;
特征计算单元,用于计算所述变形曲线的视频特征;
目标跟踪单元,用于根据计算得到的视频特征确定一个候选位置作为目标位置;
所述跟踪处理设备,用于根据所述视频目标跟踪装置确定的目标位置,自动调整方位及跟踪运动目标,最终使所获取的图像中始终包含被跟踪目标。
本发明实施例通过对当前帧中各候选位置在GVF场指导下进行变形,使变形曲线最终完全逼近目标轮廓,从而在计算目标特征时能够得到更加准确的结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例视频目标跟踪方法流程图;
图2A、B、C分别是本发明另一个实施例中用于计算GVF向量场的原图像图、原图像的边缘图、GVF向量场用向量形式展示图;
图3A、B、C是本发明又一个实施例中曲线按弧长插值效果过程示意图;
图4是本发明又一个实施例跟踪算法流程图;
图5是本发明又一个实施例视频目标跟踪装置结构图;
图6是本发明又一个实施例自动视频跟踪系统结构图。
具体实施方式
本发明实施例提供一种视频目标跟踪方法、装置及自动视频跟踪系统,能够提高目标跟踪的准确率。为使本发明的目的、技术方案及优点更加清楚明白,下面参照附图并举实施例,对本发明进一步详细说明。由于头部目标跟踪且以椭圆形状为模板最为典型,故下文以头部目标跟踪为例进行详细阐述。然而,本发明实施例不局限于头部目标跟踪,可用于其它基于椭圆或者相应规则形状为模板,但目标并不足够规则的其它种类目标跟踪问题。
如图1所示,为本发明一个实施例视频目标跟踪方法流程图,包括以下过程:
步骤101、对当前帧中各候选位置进行GVF(Gradient Vector Flow,梯度向量流)变形,得到各变形曲线;
步骤102、计算所述变形曲线的多种视频特征,例如,可以计算每个变形曲线的直方图反投影特征、梯度幅度特征、LBP(Local Binary Pattern,局部二值模式)特征三种特征;
步骤103、根据计算得到的视频特征确定一个候选位置作为目标位置。
需要说明的是,在步骤101之前还包括初始化步骤,即可以通过自动的或者人机交互的方式选择需要跟踪的目标;在此基础上可以计算一些在后续步骤中需要依赖的初始特征,例如计算目标的颜色直方图,用于在后续步骤中计算直方图反投影特征;计算目标的LBP特征作为模板特征等。
本发明实施例在GVF指导下对当前帧中各候选位置进行变形,例如以椭圆形为模板对当前帧中各候选位置进行变形,得到更准确的头部的边界曲线,以便后续多个特征的计算结果会相对更加精确,其具体实现过程说明如下:
活动轮廓模型是图像分割和边界提取的重要工具之一,本发明实施例中可以采用活动轮廓模型。但是由于在活动轮廓模型中,用于促使曲线逼近目标区域边界的外部推动力只存在于边界附近的小范围区域内,因而初始曲线必须接近目标边界。本发明实施例又通过GVF算法,以降低活动轮廓模型对初始曲线设置的依赖程度,从而将原始梯度向量从图像边界附近扩散到整个图像区域。
要构造GVF,首先需要从待处理图像I(x,y)中获得一个边界图像f(x,y),使得f(x,y)在图像边界附近较大,而在平滑区域较小。本发明实施例中采用下式计算边界图像:
其中Ge(x,y)是一个标准方差为σ的二维高斯函数,用于平滑图像以克服噪声的影响,为梯度算子,(x,y)为图像坐标。。
其中ux,uy,vx,vy是向量场的一阶偏导数,μ是一个正实数,用来控制积分式中两项之间的权重。由于在非目标边缘处的图像区域是比较均衡的,其对应的梯度值也很小,根据公式(2),此时能量函数的大小由的偏导数的平方和决定;这也说明了在非目标边缘处,向量流的变化是缓慢的。而在目标边缘处,对应的梯度值很大,能量函数的大小由积分函数的第二项决定。此时,函数的最小值依赖于 的值越接近于能量函数就越小。μ是混合因子,其与图像的噪声有关,噪声越大,μ值就越大。能量EGVF的最小化过程可以通过迭代计算的方式来完成。
为了从公式(2)中解出 离散迭代求解形式为:
其中表示拉普拉斯算子,下标n,n+1分别表示本次和下一次迭代标号,fx(x,y)和fy(x,y)分别表示边界图像f(x,y)在x,y方向的偏导数,GVF场的计算过程可以用如下的例子展示出来,如图2A为需要计算GVF场的原始图像,在该图像上用公式(1)计算边缘图得到图2B的图像;然后再利用公式(3),取μ值为0.15,迭代60次后得到的结果如图2C所示。在图2C中,为了明确显示向量的方向性,对向量场进行了归一化,所得到的向量均为单位向量,在图中用带有箭头的单位长度来表示每个向量。在图2C中可以很明显地看到,对于在图2B中比较清晰的人的身体上的图像边缘,周围有较大的范围内都有许多向量指向边缘,这就意味着该外力场会指导这些周围的粒子向该边缘运动,使活动轮廓在变形过程中趋近于理想边缘。
而在头部跟踪过程中,考虑到所给出的椭圆模型已经能够相对较好的描述头部的轮廓,也就是说,在椭圆位置适当的情况下已经比较逼近头部的边缘了。在这种情况下,将椭圆位置也就是初始曲线位置已经靠近目标边缘作为先验知识,则仅需要GVF外力所产生的能量项就可以基本使活动轮廓模型变形至目标轮廓。为了进一步加速运算过程,把曲线上的每个像素点考虑为一个粒子,在GVF外力场的推动下运动,在一定的迭代步数后即达到目标轮廓。在实现中需要对迭代步数做出一定的限制,例如3到5次迭代即可。这是由于本身初始曲线已经比较靠近目标轮廓,而对于初始曲线距目标轮廓比较远的情况,也就是说所给定的椭圆位置距离真实跟踪目标比较远,则此时该候选位置显然不能作为跟踪结果。一旦迭代步数较多,根据GVF外力场的扩散特性,会把一些距离目标较远的不合适的候选椭圆也变形拉近至目标轮廓位置,这样反而会误导候选目标的真实特征值的计算。
在对初始的椭圆曲线进行变形后,一些像素点会在变形过程中重合到同一点,从而相邻点之间的间隔就不再是等距的,需要在变形过程中或者在最后的结果中对这些点进行插值,使得每两个相邻点之间有相同的间隔。这样的操作可以使最终的曲线均匀分布,从而在计算曲线上的梯度幅度值等特征时,不至于使某几个像素点由于本身是多个点的重合而具有过大的权重。如图3所示,图3A为初始椭圆曲线,各点为离散的粒子,当这些粒子在GVF外力场驱动下运动后成为图3B的形状时,诸如上方及左侧的孤立点就是由于外力场的特性导致的一些点重合为一个点,此时这些点的权重相当于增大了许多倍。特别是在计算沿周界上的梯度幅度值时,显然由于这些点梯度值完全一致,失去了曲线的意义,使得计算结果并不是针对曲线的周界而只是某些孤立点,显然会得出错误的结果。这时经过插值的曲线如图3C就不一样了,在图3C中,孤立点之间采用线性插值的方法补充了各个点,这些插值保证了曲线的连续性并能在很大程度上尽可能地包围在目标的边界上。特别是在这个曲线的结果与实际目标边界不一致时,这些插值点可以用来降低孤立点的权重,使得计算结果不会过于依赖于某些特殊点。这里所选取的插值方式除线性插值外,还可以选用其它插值方式,例如二次插值、样条插值等。
在跟踪过程中,各个候选位置的椭圆在GVF外力场作用下变形后,其结果曲线完全位于头部轮廓上。而原有的椭圆模板虽然接近头部位置,但实际上模板上的像素点并不与头部轮廓相重合,因此经过GVF外力场作用后,完全达到了更加准确定位目标的效果。
另外,所述步骤102中计算所述变形曲线的多种视频特征,包括计算每个候选位置的直方图反投影特征、梯度幅度特征、LBP特征三种特征;其中特征的选择对于跟踪效果起着关键性的作用,之所以选择直方图反投影特征、梯度幅度特征、LBP特征三种特征,是因为这三种特征组合在一起具有一定的互补性,有利于跟踪不同阶段的稳定性。其具体计算过程分别说明如下:
1、直方图反投影特征
直方图可以用于描述图像中某个区域或某个特定对象。直方图比率则通过对象的直方图与其周围背景间直方图之间的商,达到强调在对象中出现而在背景中不出现的那些颜色的目的。这样可以大大增加背景与对象之间的区别,也就可以增强对象定位的可靠性。
而直方图比率正是计算直方图反投影的第一步。直方图反投影也可以被看作是一个滤波器,该滤波器作用于原彩色图像上并形成一个灰度图像。这个灰度图像上的每个像素值由原来彩色图像中该点的像素值对应的直方图比率所决定,也就是说,在新图像上只有颜色与对象模型的颜色非常接近的像素点才会在这个灰度图像上有较高的像素值。用于在本实施例中目标跟踪的直方图反投影方法的一般步骤如下,其中所有原始彩色图像都转换至HSV(Hue、Saturation、Value,色相、饱和度、亮度)颜色空间:
根据跟踪目标的位置,计算第一帧图像中目标对象的三维颜色直方图Hinit;
在第n帧图像中将与n-1帧相同位置大小的区域各边界向外扩展N个像素,计算扩展区域的颜色直方图为Houter;
计算直方图比率: 其中,i为直方图向量下标。
计算反投影图像Map:Map(i,j)=R(Ih(i,j),Is(i,j),Iv(i,j)),其中,(I,j)为图像像素坐标;Ih,Is,Iv分别为图像的H,S,V分量。
在以后的各帧图像中,重新计算当前跟踪区域的Houter,以第一帧中Hinit重新计算得到反投影图像。
在上述过程中,在各帧图像中计算直方图反投影时都使用了第一帧图像中目标的直方图,也就是说,各帧图像中都以第一帧图像中目标的颜色为基准进行匹配,保持该直方图反投影特征的稳定不变,不随目标形态改变而变化,属于稳定特征。
在得到反投影图后,计算候选位置曲线所包围的面积内反投影图的平均像素值,作为该位置的直方图反投影特征值,该特征值反映了曲线所包围部分的颜色与初始跟踪对象的颜色的一致程度。
其中,式中Area为曲线所包围的区域面积。
2、梯度幅度特征
计算沿曲线按像素平均梯度幅度值:
其中,式中Nσ表示曲线的周长;gs(i)代表该点上的梯度向量,梯度幅度特征反映了候选位置曲线与头部轮廓的吻合程度。
3、LBP特征
LBP最初定义于像素的8邻域中,以中心像素的灰度值为阈值,将周围8个像素的值与其比较,如果周围的像素值小于中心像素的灰度值,该像素位置就被标记为0,否则标记为1;将阈值后的值(即0或者1)分别与对应位置像素的权重相乘,8个乘积的和即为该邻域的LBP值,由定义可以看出,灰度值的单调变化不会引起LBP特征值的变化。
在某一灰度图像中,定义一个半径为R(R>0)的圆环形邻域,P(P>0)个邻域像素均匀分布在圆周上。gc为该邻域中心像素的灰度值,gi(i=0,...,P-1)是P邻域像素的灰度值,得到表征局部纹理特征的LBP值:
其中
又定义具有旋转不变性的LBP,即不断旋转圆形邻域得到一系列初始定义的LBP值,取其最小值作为该邻域的LBP值:
ROR(x,i)函数为旋转函数,表示把x向右旋转i(|i|<P)次。
又定义均匀性的度量用U表示:
其中,gp=g0。满足U≤2的所有模式称为均匀模式。
则最终有:
在原图像经过LBPP,R riu2算子运算后,得到LBP特征图,然后将需要计算LBP特征的图像块进行分块,可以分为3×3块,对于每个子块图像,在对应的LBP特征图上计算其直方图。可将各图像子块的直方图连接起来形成一个直方图向量,该向量即为该候选区域或者目标区域的LBP特征向量。在得到目标区域(即当前的模板特征)与候选区域的直方图特征向量后,可以由多种方法来比较直方图的相似度,常用的有三种方法,即:直方图相交、Log概率统计、χ2概率统计,三种测量方法如下公式(9)、式(10)、式(11)所示:
直方图相交:
Log概率统计:
χ2概率统计:
其中,式中Ai,Bi分别表示参与比较的两个LBP特征向量的每个元素。
可以选择其中一种作为度量方法,本实施例中选择了第三种,即所选择的图像块为以选定目标的中心为中心,窗宽为W的一个正方形区域计算其LBP直方图特征向量,其中0<W<min{c,k};c、k分别表示选定目标的长、宽。同样在每一帧中候选位置计算相应的LBP直方图特征向量,然后得到二者之间的χ2概率统计度量值,作为该候选位置的LBP特征值φl,从而衡量该候选位置与目标的匹配度。
所述步骤103中,首先根据由上述步骤102已经计算出的目标的三个特征,通过下式计算每个粒子的权重:
W=wgφg+whφh+wlφl
该式中φg、φh、φl分别表示梯度幅度特征、直方图反投影特征、LBP特征。其中wg、wh、wl分别为三种特征的权重,这三个值可以根据实验结果选定,例如可以分别选定为0.4、0.3、0.3。需要说明一点,若三种特征之前进行过归一化计算,则wg、wh、wl之和必须等于1;否则,wg、wh、wl之间无此关系。
然后,在上述计算过权重的粒子群中,选择具有最大权重的粒子作为目标的正确位置,从而得到最合适的候选位置作为当前的目标位置,即目标跟踪结果。
上述方法还可以进一步包括:
步骤104,根据所述目标位置预测下一帧的候选位置,并将所述下一帧作为所述当前帧。具体是,根据上一帧已经计算过权重的粒子群,进行重新采样得到下一帧的粒子群,进而转入步骤101重复后续过程,从而不断的得到目标跟踪结果。
步骤105,更新LBP特征向量。具体是将上述步骤102计算得到的LBP特征值替换原来作为模板的LBP特征向量。
本发明上述实施例通过对当前帧中各候选位置在GVF场指导下进行变形,使变形曲线最终完全逼近目标轮廓,从而在计算目标特征时能够得到更加准确的结果;并在此基础上采用了多特征的目标跟踪方法,包括直方图反投影特征、梯度幅度特征、LBP特征三种特征,充分利用将这三种特征组合在一起所具有的互补性,从而提高跟踪不同阶段的稳定性,大大改进了目标跟踪的准确率,使跟踪结果有了很大程度的改善。
如图4所示,为本发明又一个实施例的跟踪方法流程图,过程包括如下:
步骤401、在第一帧图像中标记待跟踪目标的位置,即可以在图像中用矩形框表示目标的位置,并记录矩形框的位置;
步骤402-403、计算目标的颜色直方图、目标区域中心并向外延伸W宽度的正方形区域的LBP特征向量,作为LBP模板特征;
步骤404、初始化粒子群:{x0 m,m=1,..,M},式中M为粒子的个数;x0m表示一个粒子,每个粒子是一个四维向量(x,y,a,b),其中,x、y分别表示目标中心的坐标,a、b分别表示目标椭圆的长轴和短轴;x0 m的下标表示跟踪过程图像的帧数,也就是跟踪时间序号,上标表示粒子群中该粒子的序号。该粒子群中每个粒子的初始值为目标的初始位置,也即前述实施例中所述的各个候选位置;
步骤405-406、读取当前帧图像,并计算该图像帧的反投影图像;
步骤407、根据上一帧跟踪结果所产生的粒子群,进行本帧粒子群的预测。在粒子预测阶段,采用一个二阶自回归模型得到新的粒子群:
其中A、B、C可以直接指定,例如分别指定为2、-1、0.5;也可以通过其它算法从目标运动中学习得到;vt~N(0,∑)表示一个服从正态分布的白噪声。该模型分别应用于每个粒子的四个参数,即步骤404中提及的四维向量(x,y,a,b);其中t+1帧的粒子群即为本帧的粒子群;
步骤408、对所述预测的粒子群进行GVF变形,计算每个粒子的直方图反投影特征、梯度幅度特征、LBP特征;即如前述实施例中所描述的三种特征的具体计算过程;
步骤409、在所述预测的粒子群上,根据每个粒子所提供的目标在图象上的坐标值(x,y,a,b),计算该粒子的权重。也就是说,假设该粒子所给出的目标位置是正确的,那么在这种情况下目标的三个特征可以按上述方法计算,则计算结果就是每个粒子的权重,由下式计算得到:
W=wgφg+whφh+wlφl
该式中φg、φh、φl分别表示梯度幅度特征、直方图反投影特征、LBP特征。其中wg、wh、wl分别为三种特征的权重,这三个值可以根据实验结果选定,例如可以分别选定为0.4、0.3、0.3。需要说明一点,若三种特征之前进行过归一化计算,则wg、wh、wl之和必须等于1;否则,wg、wh、wl之间无此关系;
步骤410、选择具有最大权重的粒子作为目标的正确位置,即跟踪结果;
步骤411、在该位置上需要重新计算LBP特征向量,按照前述方法,将在以该位置中心为中心,向外延伸W的正方形区域内计算的LBP特征向量替换原来作为模板的LBP特征向量,其中0<W<min{c,k};c、k分别表示选定目标的长、宽;
步骤412、根据上一帧已经计算过权重的粒子群,进行重新采样得到下一帧的粒子群。即当某个粒子权重比较大时,则很可能是比较接近正确的目标位置,因此,在以后的跟踪过程中,需要以这样的粒子为基础。在重采样过程中,则较多的选择这样的粒子,权重越大,那么在下一帧的粒子群中所占的个数越多。新的粒子群又作为下一帧的粒子群进行下一帧的跟踪过程。
步骤413、判断跟踪是否结束,如果否则转向步骤405继续进行。其中,跟踪是否结束可以通过能否读取到下一帧图像来确定,即能读取到下一帧图像,则确定跟踪没有结束,否则跟踪结束;还可以人为设定停止跟踪。
上述流程是以椭圆模板为例,如果采用矩形模板,则流程与之稍有区别,即步骤404中,初始化粒子群:{x0 m,m=1,...,M},式中M为粒子的个数;x0 m表示一个粒子,每个粒子是一个四维向量(x,y,a,b),其中,x、y分别表示目标中心的坐标,a、b分别表示目标矩形的长和宽;x0 m的下标表示跟踪过程图像的帧数,也就是跟踪时间序号,上标表示粒子群中该粒子的序号。其他步骤不变。对于其他形状的模板也与之类似,只是参数的含义有所区别而已,此处不再赘述。
由上述步骤可以看出,梯度幅度特征不依赖于前面的任何一帧图像,是目标本身的固有特征。而在计算直方图反投影特征时,仅依赖于初始帧图像中目标区域的直方图。也就是说,在整个跟踪过程中,所有的候选目标的颜色与最初目标的颜色越一致该特征越强。而对于LBP特征,则依赖于前一帧图像中的目标位置,即每次跟踪到新的目标位置后,将更新当前的LBP直方图特征向量,该向量用于与下一帧中所有候选位置区域相应特征进行相似度测量。因此,本实施例通过利用LBP特征进行目标跟踪,可以更精确地描述候选区域的目标特征,从而可以提高目标跟踪的准确度。
如图5所示,为本发明又一个实施例的视频目标跟踪装置结构图,包括:GVF目标曲线逼近单元520、特征计算单元530、目标跟踪单元540;其中:
所述的GVF目标曲线逼近单元520,用于对当前帧中各候选位置进行梯度向量流GVF变形,得到各变形曲线;
所述的特征计算单元530,用于计算所述变形曲线的视频特征,具体地,可以包括:计算所述变形曲线的直方图反投影特征、梯度幅度特征和局部二值模式LBP特征;
所述的目标跟踪单元540,用于根据所述特征计算单元530对各个候选位置的视频特征计算结果,确定一个候选位置作为目标位置。
本发明实施例通过对当前帧中各候选位置在GVF场指导下进行变形,使变形曲线最终完全逼近目标轮廓,从而在计算目标特征时能够得到更加准确的结果。
进一步地,所述GVF目标曲线逼近单元520在变形过程中或者在最后的结果中对各候选位置上的点进行插值,使得每两个相邻点之间有相同的间隔。
所述特征计算单元530通过将每个变形曲线对应的LBP特征向量与上一帧的目标位置的LBP特征向量进行相似度计算,得到所述变形曲线的LBP特征值。计算每个变形曲线的直方图反投影特征时均使用视频中初始帧图像中目标区域的直方图;计算每个变形曲线的LBP特征时是以选定目标位置的中心为中心,窗宽为W的一个正方形区域进行计算,其中0<W<min{c,k};c、k分别表示选定目标的长、宽。
若上一帧为视频中的第一帧,则所述装置还包括:初始化单元510,用于预先设定候选位置及对应的LBP特征向量。
所述目标跟踪单元540还可以进一步包括:计算子单元和选择子单元,其中:
所述的计算子单元,用于按照下式计算各候选位置的权重:
W=wgφg+whφh+wlφl,其中:φg、φh、φl分别表示梯度幅度特征、直方图反投影特征、LBP特征;wg、wh、wl分别为所述三种特征的权重;
所述的选择子单元,用于根据所述计算子单元的计算结果选择权重最大的候选位置作为目标跟踪结果。
此外,所述目标跟踪单元还可以包括:预测子单元:用于根据所述目标位置预测下一帧的各候选位置,并将所述下一帧作为所述当前帧。
需要说明的是,对于三种特征的计算以及其他相关内容可以参照前述方法实施例的具体阐述,此处不再赘述。
由于视频目标跟踪是个动态循环的过程,因此所述装置可以通过特征更新单元550更新LBP特征模板的向量后,继续由所述GVF目标曲线逼近单元520对所述目标跟踪单元540预测的下一帧中目标的候选位置在GVF指导下进行变形,然后提供给所述特征计算单元530进行多种特征的计算,再由所述目标跟踪单元540根据特征计算结果,选择最合适的候选位置作为当前帧的目标跟踪结果并通过跟踪结果输出单元560输出。
如图6所示,为本发明又一个实施例的自动视频跟踪系统结构图,包括:视频目标跟踪装置500和跟踪处理设备600;其中:
所述的视频目标跟踪装置500具体包括:初始化单元510、GVF目标曲线逼近单元520、特征计算单元530、目标跟踪单元540、特征更新单元550、及跟踪结果输出单元560;其中:
所述的GVF目标曲线逼近单元520,用于对当前帧中各候选位置进行梯度向量流GVF变形,得到各变形曲线;
所述的特征计算单元530,用于计算所述变形曲线的视频特征,具体地,可以包括:计算所述变形曲线的直方图反投影特征、梯度幅度特征和局部二值模式LBP特征;
所述的目标跟踪单元540,用于根据所述特征计算单元530对各个候选位置的视频特征计算结果,确定一个候选位置作为目标位置;
所述的跟踪处理设备600,用于根据所述视频目标跟踪装置500确定的目标位置,自动调整方位及跟踪运动目标,最终使所获取的图像中始终包含被跟踪目标。
采用本发明实施例提供的跟踪系统,其中的目标跟踪装置500,通过将候选位置在GVF指导下进行变形,可以更加逼近目标的实际曲线可以提高目标跟踪的准确率。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
综上所述,本文提供了一种视频目标跟踪方法、装置及自动视频跟踪系统,通过对各候选位置在GVF场指导下进行变形,使变形曲线最终完全逼近目标轮廓,从而在计算目标特征时能够得到更加准确的结果。此基础上还采用了多特征的目标跟踪方法,包括直方图反投影特征、梯度幅度特征、LBP特征三种特征,充分利用将这三种特征组合在一起所具有的互补性,从而提高跟踪不同阶段的稳定性,大大改进了目标跟踪的准确率,使跟踪结果有了很大程度的改善。本发明实施例可以广泛应用在视频会议、智能视频监控等领域。
以上对本发明所提供的视频目标跟踪方法、装置及自动视频跟踪系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方案;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (20)
1、一种视频目标跟踪方法,其特征在于,包括:
对当前帧中各候选位置进行梯度向量流GVF变形,得到各变形曲线;
计算所述变形曲线的视频特征;
根据计算得到的视频特征确定一个候选位置作为目标位置。
2、根据权利要求1所述的视频目标跟踪方法,其特征在于,所述计算所述变形曲线的视频特征包括:计算所述变形曲线的直方图反投影特征、梯度幅度特征和局部二值模式LBP特征。
3、根据权利要求2所述的视频目标跟踪方法,其特征在于,所述对当前帧中各候选位置进行梯度向量流GVF变形,得到各变形曲线包括:
在变形过程中或者在最后的结果中对各候选位置上的点进行插值,使得每两个相邻点之间有相同的间隔。
4、根据权利要求3所述的视频目标跟踪方法,其特征在于,所述插值具体为线性插值、或二次插值、或样条插值。
5、根据权利要求2所述的视频目标跟踪方法,其特征在于,所述计算变形曲线的LBP特征的方法包括:
通过将每个变形曲线对应的LBP特征向量与上一帧的目标位置的LBP特征向量进行相似度计算,得到所述变形曲线的LBP特征值。
6、根据权利要求5所述的视频目标跟踪方法,其特征在于,若上一帧为视频中的第一帧,则所述上一帧的目标位置为预先设定的候选位置,所述上一帧的LBP特征向量为所述预先设定的候选位置的LBP特征向量。
7、根据权利要求5所述的视频目标跟踪方法,其特征在于,所述计算每个变形曲线的LBP特征向量时是以候选位置的中心为中心,窗宽为W的一个正方形区域进行计算,其中0<W<min{c,k};c、k分别表示候选位置的长、宽。
8、根据权利要求2所述的视频目标跟踪方法,其特征在于,所述计算变形曲线的直方图反投影特征时均使用视频中第一帧的目标位置的直方图。
9、根据权利要求2所述的视频目标跟踪方法,其特征在于,所述根据计算得到的视频特征确定一个候选位置作为目标位置的步骤包括:
按照下式计算各候选位置的权重:
W=wgφg+whφh+wlφl,其中:φg、φh、φl分别表示梯度幅度特征、直方图反投影特征、LBP特征;wg、wh、wl分别为所述三种特征的权重;
选择权重最大的候选位置作为目标跟踪结果。
10、根据权利要求1所述的视频目标跟踪方法,其特征在于,还包括:根据所述目标位置预测下一帧的各候选位置,并将所述下一帧作为所述当前帧。
11、一种视频目标跟踪装置,其特征在于,包括:
GVF目标曲线逼近单元,用于对当前帧中各候选位置进行梯度向量流GVF变形,得到各变形曲线;
特征计算单元,用于计算所述变形曲线的视频特征;
目标跟踪单元,用于根据计算得到的视频特征确定一个候选位置作为目标位置。
12、根据权利要求11所述的视频目标跟踪装置,其特征在于,所述视频特征包括:所述变形曲线的直方图反投影特征、梯度幅度特征和局部二值模式LBP特征。
13、根据权利要求12所述的视频目标跟踪装置,其特征在于,所述GVF目标曲线逼近单元用于在变形过程中或者在最后的结果中对各候选位置上的点进行插值,使得每两个相邻点之间有相同的间隔。
14、根据权利要求12所述的视频目标跟踪装置,其特征在于,所述特征计算用于通过将每个变形曲线对应的LBP特征向量与上一帧的目标位置的LBP特征向量进行相似度计算,得到所述变形曲线的LBP特征值。
15、根据权利要求14所述的视频目标跟踪装置,其特征在于,若上一帧为视频中的第一帧,则所述装置还包括初始化单元,用于预先设定候选位置及对应的LBP特征向量。
16、根据权利要求14所述的视频目标跟踪装置,其特征在于,所述特征计算单元计算每个变形曲线的LBP特征向量时是以选定目标位置的中心为中心,窗宽为W的一个正方形区域进行计算,其中0<W<min{c,k};c、k分别表示选定目标的长、宽。
17、根据权利要求12所述的视频目标跟踪装置,其特征在于,所述特征计算单元计算变形曲线的直方图反投影特征时均使用视频中第一帧的目标位置的直方图。
18、根据权利要求12所述的视频目标跟踪装置,其特征在于,所述目标跟踪单元包括:
计算子单元,用于按照下式计算各候选位置的权重:
W=wgφg+whφh+wlφl,其中:φg、φh、φl分别表示梯度幅度特征、直方图反投影特征、LBP特征;wg、wh、wl分别为所述三种特征的权重;
选择子单元,用于根据所述计算子单元的计算结果选择权重最大的候选位置作为目标位置。
19、根据权利要求11所述的视频目标跟踪装置,其特征在于,所述目标跟踪单元还包括预测子单元:用于根据所述目标位置预测下一帧的各候选位置,并将所述下一帧作为所述当前帧。
20、一种自动视频跟踪系统,其特征在于,包括:视频目标跟踪装置和跟踪处理设备;其中,
所述视频目标跟踪装置,包括:
GVF目标曲线逼近单元,用于对当前帧中各候选位置进行梯度向量流GVF变形,得到各变形曲线;
特征计算单元,用于计算所述变形曲线的视频特征;
目标跟踪单元,用于根据计算得到的视频特征确定一个候选位置作为目标位置;
所述跟踪处理设备,用于根据所述视频目标跟踪装置确定的目标位置,自动调整方位及跟踪运动目标,最终使所获取的图像中始终包含被跟踪目标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008100981721A CN101290681B (zh) | 2008-05-26 | 2008-05-26 | 视频目标跟踪方法、装置及自动视频跟踪系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008100981721A CN101290681B (zh) | 2008-05-26 | 2008-05-26 | 视频目标跟踪方法、装置及自动视频跟踪系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101290681A true CN101290681A (zh) | 2008-10-22 |
CN101290681B CN101290681B (zh) | 2010-06-02 |
Family
ID=40034927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008100981721A Expired - Fee Related CN101290681B (zh) | 2008-05-26 | 2008-05-26 | 视频目标跟踪方法、装置及自动视频跟踪系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101290681B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142146B (zh) * | 2010-01-28 | 2013-04-17 | 北京中科大洋科技发展股份有限公司 | 一种对视频目标区域进行跟踪的方法 |
CN104915969A (zh) * | 2015-05-21 | 2015-09-16 | 云南大学 | 一种基于粒子群优化的模版匹配跟踪方法 |
CN105844673A (zh) * | 2016-05-20 | 2016-08-10 | 北京传翼四方科技发展有限公司 | 基于自然人机交互技术的全角度人跟踪系统及控制方法 |
CN106683120A (zh) * | 2016-12-28 | 2017-05-17 | 杭州趣维科技有限公司 | 追踪并覆盖动态贴纸的图像处理方法 |
CN106909885A (zh) * | 2017-01-19 | 2017-06-30 | 博康智能信息技术有限公司上海分公司 | 一种基于目标候选的目标跟踪方法及装置 |
CN106920248A (zh) * | 2017-01-19 | 2017-07-04 | 博康智能信息技术有限公司上海分公司 | 一种目标跟踪方法及装置 |
CN106920247A (zh) * | 2017-01-19 | 2017-07-04 | 博康智能信息技术有限公司上海分公司 | 一种基于比对网络的目标跟踪方法及装置 |
CN107490377A (zh) * | 2017-07-17 | 2017-12-19 | 五邑大学 | 室内无地图导航系统及导航方法 |
CN108010032A (zh) * | 2017-12-25 | 2018-05-08 | 北京奇虎科技有限公司 | 基于自适应跟踪框分割的视频风景处理方法及装置 |
CN108122011A (zh) * | 2017-12-26 | 2018-06-05 | 中国科学院半导体研究所 | 基于多种不变性混合的目标跟踪方法和系统 |
CN109034100A (zh) * | 2018-08-13 | 2018-12-18 | 成都盯盯科技有限公司 | 人脸图样检测方法、装置、设备及存储介质 |
CN109242016A (zh) * | 2018-08-30 | 2019-01-18 | 天津理工大学 | 一种空间曲线的相似性判断方法 |
CN106157329B (zh) * | 2015-04-20 | 2021-08-17 | 中兴通讯股份有限公司 | 一种自适应目标跟踪方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100224752B1 (ko) * | 1997-06-11 | 1999-10-15 | 윤종용 | 표적 추적 방법 및 장치 |
US7418113B2 (en) * | 2005-04-01 | 2008-08-26 | Porikli Fatih M | Tracking objects in low frame rate videos |
CN101072332A (zh) * | 2007-06-04 | 2007-11-14 | 深圳市融合视讯科技有限公司 | 一种自动跟踪活动目标进行拍摄的方法 |
-
2008
- 2008-05-26 CN CN2008100981721A patent/CN101290681B/zh not_active Expired - Fee Related
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142146B (zh) * | 2010-01-28 | 2013-04-17 | 北京中科大洋科技发展股份有限公司 | 一种对视频目标区域进行跟踪的方法 |
CN106157329B (zh) * | 2015-04-20 | 2021-08-17 | 中兴通讯股份有限公司 | 一种自适应目标跟踪方法及装置 |
CN104915969B (zh) * | 2015-05-21 | 2019-01-18 | 云南大学 | 一种基于粒子群优化的模版匹配跟踪方法 |
CN104915969A (zh) * | 2015-05-21 | 2015-09-16 | 云南大学 | 一种基于粒子群优化的模版匹配跟踪方法 |
CN105844673A (zh) * | 2016-05-20 | 2016-08-10 | 北京传翼四方科技发展有限公司 | 基于自然人机交互技术的全角度人跟踪系统及控制方法 |
CN106683120A (zh) * | 2016-12-28 | 2017-05-17 | 杭州趣维科技有限公司 | 追踪并覆盖动态贴纸的图像处理方法 |
CN106683120B (zh) * | 2016-12-28 | 2019-12-13 | 杭州趣维科技有限公司 | 追踪并覆盖动态贴纸的图像处理方法 |
CN106909885A (zh) * | 2017-01-19 | 2017-06-30 | 博康智能信息技术有限公司上海分公司 | 一种基于目标候选的目标跟踪方法及装置 |
CN106920248A (zh) * | 2017-01-19 | 2017-07-04 | 博康智能信息技术有限公司上海分公司 | 一种目标跟踪方法及装置 |
CN106920247A (zh) * | 2017-01-19 | 2017-07-04 | 博康智能信息技术有限公司上海分公司 | 一种基于比对网络的目标跟踪方法及装置 |
CN107490377A (zh) * | 2017-07-17 | 2017-12-19 | 五邑大学 | 室内无地图导航系统及导航方法 |
CN108010032A (zh) * | 2017-12-25 | 2018-05-08 | 北京奇虎科技有限公司 | 基于自适应跟踪框分割的视频风景处理方法及装置 |
CN108122011A (zh) * | 2017-12-26 | 2018-06-05 | 中国科学院半导体研究所 | 基于多种不变性混合的目标跟踪方法和系统 |
CN108122011B (zh) * | 2017-12-26 | 2021-09-03 | 中国科学院半导体研究所 | 基于多种不变性混合的目标跟踪方法和系统 |
CN109034100A (zh) * | 2018-08-13 | 2018-12-18 | 成都盯盯科技有限公司 | 人脸图样检测方法、装置、设备及存储介质 |
CN109242016A (zh) * | 2018-08-30 | 2019-01-18 | 天津理工大学 | 一种空间曲线的相似性判断方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101290681B (zh) | 2010-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101290681B (zh) | 视频目标跟踪方法、装置及自动视频跟踪系统 | |
US11733386B2 (en) | Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene | |
EP3709216B1 (en) | Methods and apparatuses for object detection in a scene represented by depth data of a range detection sensor and image data of a camera | |
Li et al. | Robust visual tracking based on convolutional features with illumination and occlusion handing | |
Mahadevan et al. | Saliency-based discriminant tracking | |
Jung et al. | A lane departure warning system using lateral offset with uncalibrated camera | |
US8600108B2 (en) | Data processing system and method | |
CN110651310A (zh) | 估计对象密度和/或流量的深度学习方法及相关方法和软件 | |
CN102598057A (zh) | 自动对象识别、然后根据对象形状进行对象跟踪的方法和系统 | |
CN105184763A (zh) | 图像处理方法和装置 | |
CN107909081A (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
JP2010191772A (ja) | 学習装置、学習方法、識別装置、識別方法、及び、プログラム | |
García et al. | Adaptive multi-cue 3D tracking of arbitrary objects | |
Riahi et al. | Online multi-object tracking by detection based on generative appearance models | |
Li et al. | Robust object tracking via multi-feature adaptive fusion based on stability: contrast analysis | |
CN103413312A (zh) | 基于邻里成分分析和尺度空间理论的视频目标跟踪方法 | |
Ren et al. | Research on infrared small target segmentation algorithm based on improved mask R-CNN | |
Böttger et al. | Accurate and robust tracking of rigid objects in real time | |
Dou et al. | Robust visual tracking based on joint multi-feature histogram by integrating particle filter and mean shift | |
Zhou et al. | Target tracking based on foreground probability | |
Dadgostar et al. | Gesture-based human–machine interfaces: a novel approach for robust hand and face tracking | |
WO2022064632A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
Gritzman et al. | Automatic computation of histogram threshold for lip segmentation using feedback of shape information | |
Dosaev et al. | A new real-time method for finding temporary and permanent road marking and its applications | |
Zhou et al. | Gaussian-weighted Jensen–Shannon divergence as a robust fitness function for multi-model fitting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100602 Termination date: 20170526 |