CN105930808A - 一种基于vector boosting模板更新的运动目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于vector boosting模板更新的目标跟踪方法，包括以下步骤：输入跟踪视频序列，在第一帧检测到目标位置的基础上，生成正负样本，用vector boosting的算法，构造模板，以及造贝叶斯分类器；在下一帧到来的时候，在上一帧目标位置的周围，产生很多候选的目标区域，接着，用上一帧训练的分类器，找到响应最大的区域，作为这一帧的目标位置，当出现分类器相应低的情况时，引进了预测机制，用当前帧的前两帧的目标运动状态，对跟错的目标进行校正，用最新跟踪到的目标信息进行模板和分类器的更新。本发明提出的自适应目标跟踪的算法，实时性较高，达到60帧每秒的跟踪速度，跟踪效果较好，能够处理跟踪中出现的遮挡，形变，快速运动等挑战。

Description

一种基于vector boosting模板更新的运动目标跟踪方法

技术领域

本发明属于图像信息处理技术领域，尤其涉及一种vector boosting模板更新的运动目标跟踪方法。

背景技术

计算机视觉起源于二十世纪七十年代，可以看成是利用模拟的人类视觉系统，通过机器替代人眼进行观察，使计算机具有人脑般的视觉分析的能力，从而实现在目标的识别、跟踪等。随着其研究领域越来越广泛，计算机视觉成为了计算机科学的一个独立分支，计算机技术的一个重要研究方向，而计算机视觉中的一个重要环节就是目标跟踪。

近年来，目标跟踪作为计算机视觉和模式识别领域的一个被广泛研究的课题，在视频监控、智能交通、智能人机交互、视频压缩、军用领域等领域有着诸多的应用。目标跟踪可以理解为在视频序列中给出第一帧的初始位置之后，确定后续帧中的目标运动轨迹和位置等参数，从而进行跟踪。

Donoho于2006年首先提出压缩感知(CS)的概念，该理论随即就在数学和工程应用等领域产生了深刻影响,国内外学者都对此进行了深入的研究。最近也有人尝试把压缩感知理论应用于目标跟踪。比较有代表性的两个成果是Li等人基于压缩感知理论拓展L1跟踪算法，使得跟踪速率比原来的L1跟踪算法提高了超过5000倍；张开华等人把压缩感知理论拓展到基于检测的目标跟踪方法，大大地提高了跟踪效果和实时性。为了得到更好的跟踪效果和实时性，相关文献指出提出的算法尚有两大问题需要解决:挑选高区分率的目标特征；确保更新后目标模型的正确性。

Levis和Weiss认为好特征对于系统从少量样本中学习的能力影响很大。Jebare认为在分类方法中考虑特征选择至关重要。Zhu等人提出了一种多样化判别方法选择频繁子图特征。在输入数据可以被线性分类器预测的假设条件下，Yang等人把判别分析与L_2,1范式最小化合并成一个联合框架用于半监督特征选择。Babenko等人基于包的似然概率最大化从250个Haar-like特征中选择50个最强判别力的特征用于检测目标.该方法不适合没有包的实时压缩感知跟踪"。

现有的基于压缩感知的目标跟踪，还存在很多不足。例如对于目标表观变化，光照变化等目标外观变化情况的处理，以及当目标受到严重遮挡时如何错误避免跟踪。本专利引入vector boosting来构建在前景和背景区分度最大模板，并且通过对模板更新来考虑外观的变化，在分类器置信度偏低时，用在线轨迹矫正来预测当前帧的目标位置，同时停止更新模板和分类器，避免错误更新导致的错误跟踪。

发明内容

基于压缩感知的视频目标跟踪算法取得了一定的成果，但是压缩感知模型对于光照，形变，遮挡等处理仍存在不足。在目标外观变化以及受到遮挡，光照变化的情况下，如何有效更新特征模板自适应地表示目标的外观模型，以及如何处理遮挡出现时候目标丢失。本发明利用vector boosting提取能够最大程度区分正负样本的特征模板，当出现分类器置信度偏低的情况时，用当前帧前两帧的目标运动状态对目标的位置进行预测，并且，采用保守地方式对目标的模板和分类器进行更新，目的是能够自适应地表示目标表观的模型。主要包括以下3个主要方面。

在线vector boosting的特征选择：

首先在第一帧的目标位置周围，提取正负样本:

$\begin{array}{c}{D}^{\mathrm{\&zeta;}}=\left\{p\right|\left|\right|l_t\left(p\right)-l_1\left|\right|<\mathrm{\&zeta;}\}\\ D^{\mathrm{\&alpha;},\mathrm{\&beta;}}=\left\{p\right|\mathrm{\&alpha;}<\left|\right|I_t\left(p\right)-l_1\left|\right|<\mathrm{\&beta;}\}\end{array}---\left(1\right)$

其中，l₁表示的是第一帧的目标位置，一般通过检测可以得到。D^α正样本的集合，D^α _, ^β是负样本的集合。

本专利采用Vector boosting的方法，学习特征模板，使得在该特征模板下，能够将正负样本集(1)最大地区分开来。假设特征模板T是一个M×c个块的组合，这个组合能够最大化这个式子：

$m\arg in=\underset{i=1}{\overset{M}{\&Sigma;}}{\mathrm{margin}}_i---\left(2\right)$

对于T中的每一行的块，先随机产生n个大小相同的块，然后要从里面随机选取得到c个块的组合，使得：

$\begin{array}{c}{\mathrm{margin}}_i=|\stackrel{\&OverBar;}{Z_i^{+}}-\stackrel{\&OverBar;}{Z_i^{-}}{|}_2^1\\ =\sqrt{{(\stackrel{\&OverBar;}{Z_i^{+}}-\stackrel{\&OverBar;}{Z_i^{-}})}^T(\stackrel{\&OverBar;}{Z_i^{+}}-\stackrel{\&OverBar;}{Z_i^{-}})}\\ =\sqrt{{\stackrel{\&OverBar;}{Z_i^{+}}}^T\stackrel{\&OverBar;}{Z_i^{+}}-{\stackrel{\&OverBar;}{Z_i^{+}}}^T\stackrel{\&OverBar;}{Z_i^{-}}-{\stackrel{\&OverBar;}{Z_i^{-}}}^T\stackrel{\&OverBar;}{Z_i^{+}}+{\stackrel{\&OverBar;}{Z_i^{-}}}^T\stackrel{\&OverBar;}{Z_i^{-}}}\\ =\sqrt{2n-2\underset{j=1}{\overset{n}{\&Sigma;}}{\stackrel{\&OverBar;}{z_{ij}^{+}}}^T\stackrel{\&OverBar;}{z_{ij}^{-}}}\end{array}---\left(3\right)$

其中分别表示平均的正负样本表示，表示的是块在正负样本上的平均表示。

从而得到:

所以(2)式中的问题就转换成，求解最大化的(4)式：

(5)式可以转化成迭代优化的过程：

具体求解过程如下，其中选择出来的块就相当于一个弱分类器h_ij：

1.随机产生固定大小，位置随机的一组块z_i,j，改组块在正负样本的表示成：假设初始的H_i,j＝0；

2.从z_i,j中随机选取一个块，

3.记录下满足条件的块：

4.这个块就作为一个弱分类器

5.用来组合形成强分类器H_ij＝H_ij+h_ij。

重复执行此过程直至选出特征模板中的所有块。

选出块以后，通过压缩感知的理论，将图片在这个特征模板上面投影，得到目标的haar特征作为每个矩形框的特征。

正负样本分别在特征模板上面进行投影，就会得到正负样本的特征向量，用来构建贝叶斯分类器，当出现下一帧图像时，满足D^γ＝{p|||l_t(p)-l_t-1||＜γ}条件的作为当前帧目标的候选框，在这些候选框上，用学到的模板T提取特征，投到分类器中求解响应值，响应最大的位置为当前帧候选的目标位置。

在线特征模板的更新：

模板更新的主要目的是考虑目标的外观，会随着时间进行变换，如果不更新模板的话，会造成模板不能有效地提取特征，最后导致跟踪过程中目标的丢失。本专利采用保守的模板更新的方式：只更新包含信息变化大的模板块，保持包含信息变化不大的模板块。假设表示相邻两帧之间的第i行第j个模板中的小块包含的信息的变化，如果信息的变化超过一定的阈值，就用在当前帧学习到的小块代替原来的位置，用公式表示为：

h_ij(p_t)＝ηh_ij(p_t)+(1-η)h_ij(p_t-1). (7)

在线轨迹的矫正：

跟踪的任务被看做是一个二分类的问题，一类是正样本，一类是负样本。本专利中构建朴素贝叶斯分类器对提取的候选框的特征做分类。

$H\left(v\right)=log\left(\frac{{\&Pi;}_{i=1}^{c}p\left(v_i\right|y=+)p(y=+)}{{\&Pi;}_{i=1}^{c}p\left(v_i\right|y=-)p(y=-)}\right)=\underset{i=1}{\overset{c}{\&Sigma;}}log\left(\frac{p\left(v_i\right|y=+)}{p\left(v_i\right|y=-)}\right)---\left(8\right)$

其中，假设条件分布满足高斯分布：

分别表示第i个正样本的均值和方差，同理可得的含义。

贝叶斯分类器的参数采用增量更新的方式进行更新：

$\begin{array}{c}{\mathrm{\&mu;}}_i^{+}\&LeftArrow;{\mathrm{\&lambda;\&mu;}}_i^{+}+(1-\mathrm{\&lambda;}){\mathrm{\&mu;}}^{+},\\ {\mathrm{\&sigma;}}_i^{+}\&LeftArrow;\sqrt{\mathrm{\&lambda;}{\left({\mathrm{\&sigma;}}_i^{+}\right)}^2+(1-\mathrm{\&lambda;}){\left({\mathrm{\&sigma;}}^{+}\right)}^2+\mathrm{\&lambda;}(1-\mathrm{\&lambda;}){({\mathrm{\&mu;}}_i^{+}-{\mathrm{\&mu;}}^{+})}^2},\end{array}---\left(10\right)$

本发明完整的方法操作流程如下：

步骤1)、输入第t帧图像。

步骤2)、在l_t-1的位置处提取候选框的位置D^γ＝{p|||l_t(p)-l_t-1||＜γ}，l_t-1是上一帧的目标位置，γ是搜索区域的半径，满足条件的l_t(p)构成当前帧的候选框。

步骤3)、运用上一帧构建的分类器(8)，找到置信度最大的目标位置。

步骤4)、如果，置信度比0小，证明估计出的位置很有可能是错的，就用前两帧的运动状态，对这一帧的目标位置进行较正，得到当前帧目标的位置l_t。

步骤5)、如果，置信度比0大，则估计的位置是正确的位置，得到当前帧目标的位置l_t。

步骤6)、在l_t周围提取正负样本，正样本的区域是：D^α＝{p|||l_t(p)-l_t||＜ζ}，负样本的区域是：D^α,β＝{p|α＜||l_t(p)-l_t||＜β}，其中ζ＜α＜β。

步骤7)、更新特征的模板，根据公式(7)。

步骤8)、更新分类器，根据公式(10)。

步骤9)、输出当前帧跟踪到的目标位置l_t。

有益效果

本发明提出的自适应目标跟踪的算法，实时性较高，达到60帧每秒的跟踪速度，跟踪效果较好，能够处理跟踪中出现的遮挡，形变，快速运动等挑战

附图说明

图1是本发明基于vector boosting模板更新的自适应压缩感知的目标跟踪算法流程示意图。

图2评价指标的示意图。(a)中心点位置误差示意图；(b)重叠率示意图。(A是指跟踪到的目标位置，B是指目标的实际位置。)

图3算法对于目标形变的测试。

图4算法对于遮挡的测试。

图5算法对于光照变化的测试。

图6算法的定性评价。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明。

为了便于理解本发明技术方案，给出一个具体实施例。本实施例将本发明所提供的技术方案应用到环境复杂的实际视频序列中，进行运动目标跟踪。该测试序列规格是484×326，共391帧，测试序列来自标准的公共视频测试序列库。利用本发明所提出的基于vector boosting模板更新的自适应压缩感知的目标跟踪的算法，

如图1所示，本实施例的运动目标检测过程具体如下：

步骤1、输入第1帧图像，在第一帧的目标周围提取正负样本，正样本的区域D^α＝{p|||l₁(p)-l₁||＜4}，以及负样本D^α,β＝{p|8＜||l₁(p)-l₁||＜45}，第一帧目标的位置是由检测器检测到的[73,126,29,23]。接着用vector boosting算法构造特征的模板，根据目标的大小，我们对模板中块的大小进行约束：2＜w＜10,2＜h＜8，模板中的每一行的确定过程如下：首先随机产生一个小块的大小，满足上面的限制条件，模板中每行块的大小是一样大的，接着，随机产生20个小块，这些小块位置随机(在目标框中)，大小相同，我们的目的就是从这20个小块中选出5个构成模板中的一行，大致过程是：在20个小块中选出一个小块，把这个小块对应的正负样本上块取出来，把小块在正样本的区域，对应的位置相加，得到一个列向量同理可得小块在负样本位置上得到的列向量求出接着剩下的块中，选择块加入上一个选择的块中，构成一个组合，新选出的块加入组合中的目标是让选出来的块在正负样本表示出来的列向量，分离地最开。重复以上的选块过程，直到选出5个块，构成模板中的一行。然后重复以上模板中第一行的产生过程，产生其他行，最后得到的模板是由150组这样的块构成，每组5个小块。模板在正负样本上面进行投影，得到的就是每个样本的特征向量。下面的公式得到的就是第一帧构成的分类器。

$H_1\left(v\right)=\log \left(\frac{{\&Pi;}_{i=1}^{c}p\left(v_i\right|y=+)p(y=+)}{{\&Pi;}_{i=1}^{c}p\left(v_i\right|y=-)p(y=-)}\right)=\underset{i=1}{\overset{c}{\&Sigma;}}\log \left(\frac{p\left(v_i\right|y=+)}{p\left(v_i\right|y=-)}\right)---\left(11\right)$

步骤2、：在l_t-1的位置处提取候选框的位置D^γ＝{p|||l_t(p)-l_t-1||＜γ}，l_t-1是上一帧的目标位置，γ是搜索区域的半径，满足条件的l_t(p)构成当前帧的候选框。

步骤3、运用上一帧构建的分类器，找到置信度最大的目标位置。

$H_{t-1}\left(v\right)=\log \left(\frac{{\&Pi;}_{i=1}^{c}p\left(v_i\right|y=+)p(y=+)}{{\&Pi;}_{i=1}^{c}p\left(v_i\right|y=-)p(y=-)}\right)=\underset{i=1}{\overset{c}{\&Sigma;}}\log \left(\frac{p\left(v_i\right|y=+)}{p\left(v_i\right|y=-)}\right)---\left(12\right)$

步骤4、如果，置信度比0小，证明估计出的位置很有可能是错的，就用前两帧的运动状态，对这一帧的目标位置进行较正，得到当前帧目标的位置l_t。

步骤5、如果，置信度比0大，则估计的位置是正确的位置，得到当前帧目标的位置l_t。

步骤6、在l_t周围提取正负样本，正样本的区域是：D^α＝{p|||l_t(p)-l_t||＜2}，负样本的区域是：D^α,β＝{p|α＜||l_t(p)-l_t||＜β}，其中ζ＜α＜β。

步骤7、更新特征的模板，根据公式(7)。

步骤8、更新分类器，根据公式(10)。

步骤9、输出当前帧跟踪到的目标位置l_t。

实验的评价使用定性和定量两种分析方法。

评价目标跟踪算法的性能，一般来说有两种评价的指标：中心点位置误差和目标重叠率，这两种评价指标的示意图如图2所示。

如图2(a)所示，t时刻跟踪窗口的位置为P_t，对应的图像坐标是(x_t,y_t)，目标的真实位置为图像坐标是那么中心点位置误差可以表示为：

如图2(b)所示，表示跟踪窗口的矩形窗口是R_T,表示目标真实位置的矩形窗口是R_G,用两个矩形框R_T与R_G的重叠区域R'＝R_T∩R_G的面积在整个公共区域R_T∪R_G的面积比表示目标重叠率，即为：

$r_t=\frac{S\left(R^{\&prime;}\right)}{S(R_T\&cup;R_G)}=\frac{S(R_T\&cap;R_G)}{S(R_T\&cup;R_G)}---\left(14\right)$

其中S(R)表示R窗口的面积。在重叠率r_t→1的时候，跟踪窗口R_T的位置以及大小接近于目标的真实窗口R_G。而本文中用的重叠率曲线是指其中∪和∩分别表示两个区域相交的部分和联合的部分，|·|表示在区域内的像素的数目。

除了以上两种评价指标外，本文还使用了2013Benchmark中介绍其他几种评价指标，这使得评价指标种类更多，更加合理。主要有以下几种：

(1)准确率曲线(Precision plot)。前面提到的中心点位置误差在跟踪器丢失目标时，输出的位置可能是随机的，这时的中心点位置误差就不能够正确的评价跟踪性能。而准确率曲线就可以用来衡量整个的跟踪过程。准确率曲线指估计的位置在给定阈值距离内的帧数占总帧数的比重。本文实验中采用的的阈值是20个像素。

(2)成功率曲线(Success plot)。成功率曲线指的是边界框的重叠率。对于给定的跟踪边界框R_t和目标真实位置的边界框R_g，重叠的得分定义为其中∪和∩分别表示两个区域相交的部分和联合的部分，|·|表示在区域内的像素的数目。为了评估在一个视频序列中算法的性能，我们计算重叠率S比给定阈值t₀大的像素的数目。成功率曲线反映了比0-1之间变化的阈值大的帧数占总帧数的比重。使用一个给定的阈值可能有失公正或缺少代表性，所以运用在成功率曲线下面的区域AUC(area under curve)来对跟踪算法的性能进行排列。

(3)OPE(one-pass evaluation)。传统的评估跟踪器的方式是在第一帧中用标注的位置进行初始化，再在整个视频序列中进行跟踪，最后记录平均的准确率曲线或者成功率曲线。把这种方式称为OPE(one-pass evaluation)。

定性分析：

将本专利提出的算法在Benchmark中具有挑战性的视频上进行测试，来测试本专利算法的鲁棒性和稳定性。

图3-图5将本专利的算法和Benchmark中性能排前10的算法进行比较，主要比较了算法对于形变，遮挡，光照处理的性能，当然，么一个视频不止只包括一个属性，视频中的目标中同样面临快速运动，平面内旋转，平面外旋转，运动模糊等挑战。下面，逐一对各个视频属性进行分析。

图3中，目标在运动过程中，目标的外观会随着时间变换，本专利提出的算法，跟踪效果较好，主要原因是，本专利的算法在跟踪过程中，对特征模板和外观模型进行了更新，让目标外观能够考虑到形变，所以能够较好地跟踪外观变化的目标。

图4中，目标在运动过程中，目标会受到遮挡，本专利提出的算法，跟踪效果较好，主要原因是，本专利的算法在跟踪过程中，对遮挡进行了处理，采取了在线轨迹的矫正，就是在分类器的置信度低于0时，停止目标模板和分类器的更新，而是用当前帧前两帧的运行状态对目标的运动轨迹进行预测。实验结果表明，这种对遮挡的处理方式是有效的。

图5中，目标在运动过程中，目标会受到光照的变化的影响，本专利提出的算法，跟踪效果较好，主要原因是，本专利的算法在跟踪过程中，在对目标模板利用vector boosting选择的过程中，是对规范化的目标块进行处理，选出来的块构成的模板，是对光照变化鲁棒的。实验结果表明，这种对光照的处理方式是有效的。

定量分析：

本专利提出的算法，在Benchmark进行了定量的评测，见图6，在准确率曲线和成功率曲线上，均排在首位，体现了本专利提出算法较好的性能。并且，本专利提出的算法跟踪速度快，能够达到60帧每秒，达到了实时性。

综上可知，相对于现有的跟踪算法不能较好处理遮挡，外观形变，光照变化等挑战的问题，本专利提出的算法能够较好处理这些挑战性的问题。本发明提出的算法，用vectorboosting的方式，学习得到在正负样本上区分度大的目标模板，并且根据目标外观的变化，对目标的模板和分类器进行更新，以此来考虑目标外观的变化，防止跟踪的漂移，并且，当分类器的置信度低于一定阈值的时候，停止目标模板和分类器的更新，用前两帧的运动状态对目标的运动状态进行预测。无论是从跟踪的准确率还是从视觉效果上来看，都呈现出一定的优势。

Claims (5)

1.一种基于vector boosting模板更新的运动目标跟踪方法，其特征在于，构建视频数据的自适应目标外观变化模型，运用特征模板更新，分类器更新，在线轨迹矫正来提高跟踪算法的鲁棒新，包括以下步骤：

步骤1)、输入第t帧图像；

步骤2)、在l_t-1的位置处提取候选框的位置D^γ＝{p|||l_t(p)-l_t-1||＜γ}，l_t-1是上一帧的目标位置，γ是搜索区域的半径，满足条件的l_t(p)构成当前帧的候选框；

步骤3)、运用上一帧构建的分类器，找到置信度最大的目标位置；

步骤4)、如果，置信度比0小，证明估计出的位置很有可能是错的，就用前两帧的运动状态，对这一帧的目标位置进行较正，得到当前帧目标的位置l_t；

步骤5)、如果，置信度比0大，则估计的位置是正确的位置，得到当前帧目标的位置l_t；

步骤6)、在l_t周围提取正负样本，正样本的区域是：D^α＝{p|||l_t(p)-l_t||＜ζ}，负样本的区域是：D^α,β＝{p|α＜||l_t(p)-l_t||＜β}，其中ζ＜α＜β；

步骤7)、更新特征的模板；

步骤8)、更新分类器；

步骤9)、输出当前帧跟踪到的目标位置l_t。

2.跟据权利要求1所述的方法，其特征在于：步骤2)中的搜索半径为25个像素。

3.跟据权利要求1所述基于的运动目标跟踪方法，其特征在于：步骤3)中的构造的分类器，正样本在目标的周围2个像素取到。

4.跟据权利要求1所述基于vector boosting模板更新的运动目标跟踪方法，其特征在于：步骤4)中的轨迹矫正，是根据前两帧的运动状态轨迹进行预测。

5.跟据权利要求1所述的方法，其特征在于：步骤7)中的模板更新和构造都是基于vector boosting。