CN103530604A - 一种基于直推的鲁棒视觉跟踪方法 - Google Patents

Abstract

本发明公开了一种基于直推的鲁棒视觉跟踪方法，包括以下步骤：在第一帧中手动获得初始目标；在后续帧中，通过粒子滤波采样获得大量候选目标，作为未标记样本，而将以前的跟踪结果作为标记样本，以所有样本为顶点建立一张图；通过最小化代价函数，获得候选目标属于真实目标的置信度，并将具有最大置信度的候选目标作为当前估计；最后更新正样本集，将置信度高的样本加入到正样本集，并删除置信度低的样本。本发明解决了运动目标外观变化较大的问题，提出了一种基于图直推学习的视觉目标鲁棒跟踪方法，可广泛应用各种公共场所的视频监控，同时还可以用于机载侦察与监视系统，获得可观的军事效益和提升公共安全服务。

Description

一种基于直推的鲁棒视觉跟踪方法

技术领域

本发明属于计算机视觉和模式识别技术领域，尤其涉及一种基于直推的鲁棒视觉跟踪方法。

背景技术

运动目标跟踪作为计算机视觉领域的一项最基础的核心技术，它是后续的各种高级处理，如目标识别、目标行为分析、视频图像的压缩编码等高层次视频处理和应用理解的基础。目标跟踪的实质是通过对图像传感器拍摄到的视频序列进行分析，计算出目标在每帧图像中的位置、大小和运动速度等参数。其难点在于图像是从三维空间到二维平面的投影，本身存在信息损失，而且运动目标并不是一个确定不变的信号，它在跟踪过程中会发生旋转、缩放、位移等各种复杂的变化。除此之外，背景复杂、摄像机发生相对位移、光照变化、目标被遮挡等因素都会增加运动目标跟踪的复杂性。因此，在复杂环境下如何对运动目标进行准确、鲁棒的跟踪依然是一项非常具有挑战性的任务。

目前有大量关于目标跟踪方面的文献，大致可以将它们分为两类：基于模板匹配的跟踪和基于分类的跟踪，基于模板匹配的跟踪，首先对目标进行有效地描述，然后在图像中搜索与模板最匹配的区域作为目标在当前图像中的状态。这种方法本质上是在高维数据空间中，寻找最近邻域数据。但是，对于内部和外部都变化的图像来说，很难找到一个合适的模板来有效地描述目标。一种改进的方法是，让模板不断更新以适应目标的变化，但这样也会产生问题：误差的积累使得模板偏移真实的目标。典型的基于模板的方法如，特征跟踪，WSL跟踪,核跟踪和SMOG跟踪。

最近基于分类的跟踪受到了广泛的关注。这种方法将跟踪问题当作分类问题来处理，目的是寻找一个目标和背景之间的最优分类面，从而在图像序列中跟踪目标，为了适应目标和背景的变化，这类方法采取更新决策面的策略，取代模板法中的更新目标模板方法。与模板匹配的不同之处在于，基于分类的跟踪不仅考虑目标信息，而且还考虑背景信息。Lin等利用Fisher线性判别函数在子空间中对目标区域和背景区域分类，取得了比较好的结果，Nguyen等也是采用Fisher线性判别函数来分类，不同之处在于它们选用的特征不同，前者是全局特征，而后者是局部特征。由于Fisher线性判别函数最优的前提条件是目标和背景都是等方差单高斯分布，而在实际中很难满足这个假设。

1.IVT跟踪技术方案及其缺陷。

IVT跟踪技术假设目标在特征子空间中保持恒定，在粒子滤波的框架下，通过增量PCA变换获得目标的特征向量，实现对目标的鲁棒跟踪。其跟踪流程如下：

（1）在第一帧中，手动标定目标的位置；

（2）初始化目标的特征基和均值；

（3）在下一帧中，利用粒子采样获得大量的候选目标；

（4）在当前帧中，根据观测模型计算每个粒子的似然概率，从而获得该粒子的权重；

（5）存储似然概率最大的粒子。当存储的粒子积累到一定程度后，对样本的特征基，均值进行增量更新。

（6）执行第（3）步。

IVT跟踪技术通过上述迭代过程实现对目标的鲁棒跟踪。这种方法的缺陷在于，它们仅仅关注目标信息，完全忽略了背景信息，而在实际中，背景信息对目标跟踪是有很大帮助的。

2.图嵌入跟踪模型技术方案及其缺陷。

图嵌入模型跟踪技术将跟踪问题看作分类问题来处理，将目标和背景分布嵌入到图模型中，解决背景多模态的问题，其跟踪流程如下：

（1）根据目标上一帧目标的状态和当前观测图像，得到目标在当前图像的估计；

（2）根据当前目标状态获得目标的重建误差，并依据重建误差在当前图像中对目标进行采样；

（3）根据基于图的观测模型，计算每个粒子的似然概率；

（4）根据正负样本，获得每个粒子的最大后验概率；

（5）更新正负样本；

（6）执行（2）。

然而这种方法有两个潜在的前提假设：（1）目标是高斯分布；（2）目标和背景是线性可分的。此外，这种方法中负样本选取的好坏将直接影响到跟踪结果。

但是，现有的技术对于目标特征变化较大没有很好的处理方法，且在使用中受限。

发明内容

本发明实施例的目的在于提供一种现有的技术对于目标特征变化较大没有很好的处理方法，且在使用中受限的问题。

本发明实施例是这样实现的，一种基于直推的鲁棒视觉跟踪方法，所述基于直推的鲁棒视觉跟踪方法包括以下步骤：

在第一帧中手动获得初始目标；

在后续帧中，通过粒子滤波采样获得大量候选目标，作为未标记样本，而将以前的跟踪结果作为标记样本，以所有样本为顶点建立一张图；

通过最小化代价函数，获得候选目标属于真实目标的置信度，并将具有最大置信度的候选目标作为当前估计；

最后更新正样本集，将置信度高的样本加入到正样本集，并删除置信度低的样本。

进一步，通过应用Lucas-kanade算法预测计算p(z_t|z_t-1)，获得大量候选目标。

进一步，计算p(z_t|z_t-1)的具体步骤为：

图像中目标的状态可以用仿射图像变换表示，用W(s,p)表示仿射变换：

$W(s,p)=\left(\begin{array}{ccc}{p}_1& p_3& p_5\\ p_2& p_4& p_6\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$

其中p=(p₁,p₂,p₃,p₄,p₅,p₆)表示仿射参数，s=(dx,dy)^T是目标在图像中的位置状态，

Lucas-Kanade算法可以为粒子的产生过程提供一种启发式预测，Lucas-Kanade算法的目标是最小化图像和模板之间的最小平方误差，已知当前的估计p，通过迭代的方法计算参数增量△p，能量函数可以写作：

$E\left(\mathrm{\Δp}\right)=\underset{s}{\mathrm{\Σ}}{\left|\right|I\left(w(s,p+\mathrm{\Δp})\right)-T\left(s\right)\left|\right|}^2$

其中T(s)是模板图像，令

得到：

$\mathrm{\Δp}=H^{-1}\underset{s}{\mathrm{\Σ}}{[\▿I\frac{\∂w}{\∂p}]}^T[I\left(w(s,p)\right)-T\left(s\right)]$

其中

是图像I的梯度图像，H是hessian矩阵：

$H=\underset{s}{\mathrm{\Σ}}{[\▿I\frac{\∂w}{\∂p}]}^T[\▿I\frac{\∂w}{\∂p}]$

假设在第t-1帧图像中的估计为z_t-1，在第t帧图像中通过Lucas-Kanade算法迭代得到增量△p，则可以预测当前的状态为：

${\hat{z}}_t=z_{t-1}+\mathrm{\Δp}$

设状态z_t中的每个参数都是独立的高斯分布，均值为?

$p\left(z_t\right|z_{t-1})=N\left(z_t\right|{\hat{z}}_t,\mathrm{\Σ})$

其中N()是高斯分布，根据p(z_t|z_t-1)，在当前图像中采样，获得候选目标。

进一步，在候选目标中采样用含有隐含变量的一阶马尔科夫模型来描述运动目标的跟踪过程。

进一步，一阶马尔科夫模型来描述运动目标的跟踪过程的步骤为：根据p(z_t|z_t-1)，在当前图像中采样，获得候选目标，

假设目标在t时刻的真实状态和观测状态分别为z_t和o_t，跟踪问题可以描述为：已知观测状态O_t={o₁,o₂,…,o_t}和t时刻以前的估计状态Z_t-1={z₁,z₂,…,z_t-1}来估计目标在t时刻的状态z_t，根据贝叶斯准则，可以表示为如下形式：

$p\left(z_t\right|z_{1:t-1},O_t)=p\left(o_t\right|z_t)\underset{z_{t-1}}{\∫}p\left(z_t\right|z_{t-1})p\left(z_{t-1}\right|o_{t-1}){\mathrm{dz}}_{t-1}$

由上式可知，跟踪过程可以分成以下两步：

预测：

$p\left(z_t\right|O_{t-1})=\underset{z_{t-1}}{\∫}p\left(z_t\right|z_{t-1})p\left(z_{t-1}\right|O_{t-1}){\mathrm{dz}}_{t-1}$

更新：

p(z_t|O_t)∝p(o_t|z_t)p(z_t|O_t-1)。

进一步，通过计算图拉普拉斯得到真实目标的置信度。

进一步，图拉普拉斯计算的具体步骤为：

得到标记样本和未标记样本，所有样本属于

样本的标记为y_i∈{-1,1}，图可以分为三个子图：标记样本构成的子图，未标记样本构成的子图以及标记样本和未标记样本构成的子图，相应的权重矩阵可以表示为：

$W=\left(\begin{array}{cc}{W}^{\mathrm{ll}}& W^{\mathrm{lu}}\\ W^{\mathrm{ul}}& W^{\mathrm{uu}}\end{array}\right)$

其中W^lu和W^ul是转置矩阵，

标注样本子图采用全连接图，权重定义如下：

$w_{\mathrm{ij}}^{\mathrm{ll}}=\left\{\begin{array}{ccc}1,& \mathrm{if}& y_i=y_j\\ 0,& & \mathrm{others}\end{array}\right.$

未标记样本子图采用k近邻图，即，如果样本x_i是样本x_j的k近邻，则将这两个样本连接起来，权重定义为：

$w_{\mathrm{ij}}^{\mathrm{uu}}=\left\{\begin{array}{ccc}\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{{2\mathrm{\σ}}^2}),& \mathrm{if}& x_j\∈\mathrm{knn}\left(x_i\right)\\ 0,& \mathrm{others}& \end{array}\right.$

其中σ是方差，在实验中，取σ=1.5，k=7，

标记样本和未标记样本的子图也采用k近邻图，和未标记样本子图的区别在于，样本x_i和样本x_j分别属于标记样本和未标记样本，权重矩阵表示如下：

$w_{\mathrm{ij}}^{\mathrm{ul}}=\left\{\begin{array}{ccc}\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{{2\mathrm{\σ}}^2}),& \mathrm{if}& x_j\∈\mathrm{knn}\left(x_i\right)\\ 0,& \mathrm{others}& \end{array}\right.$

其中σ是方差，在实验中，取σ=1.5，k=3，

利用目标在连续帧中的一致性来约束目标模型，用

表示正样本属于真实目标的置信度：

$y_i=\left\{\begin{array}{ccc}\exp (-\frac{\exp (-{\left|\right|x_i-{\mathrm{UU}}^T{x}_i\left|\right|}^2)}{{2\mathrm{\σ}}^2}),& \mathrm{if}& x_i\∈L\\ 0,& \mathrm{if}& x_i\∈U\end{array}\right.$

其中，U是通过在线主成分分析算法得到的子空间的基。

进一步，利用最小化代价函数，并获得候选目标的置信度的具体步骤为：

令{(x₁,y₁),…,(x_l,y_l)}为标记样本，

y_i∈{1,…,C}，{x_l+1…x_l+u}是未标记样本，l<<u，分别用L和U来分别表示标记样本集和未标记样本集，在本文中只考虑两类情形，即C=2，

一般来说，相似样本具有相同的标记，图的顶点表示所有的样本点，包括标记样本和未标记样本，图的边表示所连接点的相似性，定义两个顶点(x_i,x_j)之间的权重如下：

$w_{i,j}=\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{2{\mathrm{\&sigma;}}^2})$

其中σ是方差，

定义函数表示样本属于其中一类的置信度，代价函数定义如下：

$J\left(f\right)=\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{(f\left(x_i\right)-y_i)}^2+\mathrm{\&lambda;}\underset{i,j=1}{\overset{n}{\mathrm{\&Sigma;}}}{\left|\right|f\left(x_i\right)-f\left(x_j\right)\left|\right|}^2{w}_{i,j}$

其中λ>0是规则化参数，实验中取λ=1，y_i表示样本属于该类的真实置信度，在上式中，第一项和第二项分别表示全局约束和局部约束，f的解表达式为：

f^*argminJ(f)

用矩阵形式重写公式，得到：

J(f)=(f(X)-Y)^T(f(X)-Y)+λf(X)^TLf(X)

其中L=D-W是图拉普拉斯矩阵，D是对角矩阵，用来描述顶点的维度：

$d_{\mathrm{ii}}=\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}$

因此，图拉普拉斯矩阵L是对称和半正定的，

令

可以得到：

(I-λL)f=Y

问题的解表示为：

f=(I-λL)^-1Y。

进一步，状态估计，通过直推学习，获得候选目标属于目标的置信度f的步骤为：

选择具有最大置信度的候选目标，作为当前图像中的目标估计，

${\hat{z}}_t\arg \max f\left(z_t^i\right).$

进一步，更新正样本集，将正样本集合记做

其中π_i是样本

的置信度，正样本集的按如下方式建立：初始的正样本集由手动获得的正样本组成，并令其置信度为1，在后续帧中，利用遗忘因子来降低以前正样本的置信度，Δ=α*Δ，在当前帧中，通过直推学习得到所有候选目标的置信度，选择其中置信度较大的候选目标加入到正样本集中，Δ^add={(x_i,π_i)|π_i>τ₁}，在正样本集中，删除置信度低的样本，Δ^delete={(x_i,π_i)|π_i<τ₂}，输出：状态估计

本发明的基于直推的鲁棒视觉跟踪方法，通过将目标跟踪看作一个直推学习问题。直推学习同时利用标注样本和未标注样本，学习分类器，标记样本用来最大化不同类别之间的分类间隔，未标记样本用来逼近数据的内部结构，从而获得好的分类结果。在发明中，流形假设取代高斯分布假设，也就是说，如果两个样本的连线通过一个高密度区域，那么它们属于同一类的概率很大。本发明解决了运动目标外观变化较大的问题，提出了一种基于图直推学习的视觉目标鲁棒跟踪方法，可广泛应用各种公共场所的视频监控，同时还可以用于机载侦察与监视系统，获得可观的军事效益和提升公共安全服务。

附图说明

图1是本发明实施例提供的基于直推的鲁棒视觉跟踪方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明提供的基于直推的鲁棒视觉跟踪方法流程。为了便于说明，仅仅示出了与本发明相关的部分。

本发明的基于直推的鲁棒视觉跟踪方法，该基于直推的鲁棒视觉跟踪方法包括以下步骤：

在第一帧中手动获得初始目标；

在后续帧中，通过粒子滤波采样获得大量候选目标，作为未标记样本，而将以前的跟踪结果作为标记样本，以所有样本为顶点建立一张图；

通过最小化代价函数，获得候选目标属于真实目标的置信度，并将具有最大置信度的候选目标作为当前估计；

最后更新正样本集，将置信度高的样本加入到正样本集，并删除置信度低的样本。

作为本发明实施例的一优化方案，通过应用Lucas-kanade算法预测计算p(z_t|z_t-1)，获得大量候选目标。

作为本发明实施例的一优化方案，计算p(z_t|z_t-1)的具体步骤为：

图像中目标的状态可以用仿射图像变换表示，用W(s,p)表示仿射变换：

$W(s,p)=\left(\begin{array}{ccc}{p}_1& p_3& p_5\\ p_2& p_4& p_6\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$

其中p=(p₁,p₂,p₃,p₄,p₅,p₆)表示仿射参数，s=(dx,dy)^T是目标在图像中的位置状态，

Lucas-Kanade算法可以为粒子的产生过程提供一种启发式预测，Lucas-Kanade算法的目标是最小化图像和模板之间的最小平方误差，已知当前的估计p，通过迭代的方法计算参数增量Δp，能量函数可以写作：

$E\left(\mathrm{\&Delta;p}\right)=\underset{s}{\mathrm{\&Sigma;}}{\left|\right|I\left(w(s,p+\mathrm{\&Delta;p})\right)-T\left(s\right)\left|\right|}^2$

其中T(s)是模板图像，令

得到：

$\mathrm{\&Delta;p}=H^{-1}\underset{s}{\mathrm{\&Sigma;}}{[\&dtri;I\frac{\&PartialD;w}{\&PartialD;p}]}^T[I\left(w(s,p)\right)-T\left(s\right)]$

其中

是图像I的梯度图像，H是hessian矩阵：

$H=\underset{s}{\mathrm{\&Sigma;}}{[\&dtri;I\frac{\&PartialD;w}{\&PartialD;p}]}^T[\&dtri;I\frac{\&PartialD;w}{\&PartialD;p}]$

假设在第t-1帧图像中的估计为z_t-1，在第t帧图像中通过Lucas-Kanade算法迭代得到增量△p，则可以预测当前的状态为：

${\hat{z}}_t=z_{t-1}+\mathrm{\&Delta;p}$

设状态z_t中的每个参数都是独立的高斯分布，均值为

$p\left(z_t\right|z_{t-1})=N\left(z_t\right|{\hat{z}}_t,\mathrm{\&Sigma;})$

其中N()是高斯分布，根据p(z_t|z_t-1)，在当前图像中采样，获得候选目标。

作为本发明实施例的一优化方案，在候选目标中采样用含有隐含变量的一阶马尔科夫模型来描述运动目标的跟踪过程。

作为本发明实施例的一优化方案，一阶马尔科夫模型来描述运动目标的跟踪过程的步骤为：根据p(z_t|z_t-1)，在当前图像中采样，获得候选目标，

假设目标在t时刻的真实状态和观测状态分别为z_t和o_t，跟踪问题可以描述为：已知观测状态O_t={o₁,o₂,…,o_t}和t时刻以前的估计状态Z_t-1={z₁,z₂,…,z_t-1}来估计目标在t时刻的状态z_t，根据贝叶斯准则，可以表示为如下形式：

$p\left(z_t\right|z_{1:t-1},O_t)=p\left(o_t\right|z_t)\underset{z_{t-1}}{\&Integral;}p\left(z_t\right|z_{t-1})p\left(z_{t-1}\right|o_{t-1}){\mathrm{dz}}_{t-1}$

由上式可知，跟踪过程可以分成以下两步：

预测：

$p\left(z_t\right|O_{t-1})=\underset{z_{t-1}}{\&Integral;}p\left(z_t\right|z_{t-1})p\left(z_{t-1}\right|O_{t-1}){\mathrm{dz}}_{t-1}$

更新：

p(z_t|O_t)∝p(o_t|z_t)p(z_t|O_t-1)。

作为本发明实施例的一优化方案，通过计算图拉普拉斯得到真实目标的置信度。

作为本发明实施例的一优化方案，图拉普拉斯计算的具体步骤为：

得到标记样本和未标记样本，所有样本

属于

，样本

的标记为y_i∈{-1,1}，图可以分为三个子图：标记样本构成的子图，未标记样本构成的子图以及标记样本和未标记样本构成的子图，相应的权重矩阵可以表示为：

$W=\left(\begin{array}{cc}{W}^{\mathrm{ll}}& W^{\mathrm{lu}}\\ W^{\mathrm{ul}}& W^{\mathrm{uu}}\end{array}\right)$

其中W^lu和W^ul是转置矩阵，

标注样本子图采用全连接图，权重定义如下：

$w_{\mathrm{ij}}^{\mathrm{ll}}=\left\{\begin{array}{ccc}1,& \mathrm{if}& y_i=y_j\\ 0,& & \mathrm{others}\end{array}\right.$

未标记样本子图采用k近邻图，即，如果样本x_i是样本x_j的k近邻，则将这两个样本连接起来，权重定义为：

$w_{\mathrm{ij}}^{\mathrm{uu}}=\left\{\begin{array}{ccc}\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{{2\mathrm{\&sigma;}}^2}),& \mathrm{if}& x_j\&Element;\mathrm{knn}\left(x_i\right)\\ 0,& \mathrm{others}& \end{array}\right.$

其中σ是方差，在实验中，取σ=1.5，k=7，

标记样本和未标记样本的子图也采用k近邻图，和未标记样本子图的区别在于，样本x_i和样本x_j分别属于标记样本和未标记样本，权重矩阵表示如下：

$w_{\mathrm{ij}}^{\mathrm{ul}}=\left\{\begin{array}{ccc}\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{{2\mathrm{\&sigma;}}^2}),& \mathrm{if}& x_j\&Element;\mathrm{knn}\left(x_i\right)\\ 0,& \mathrm{others}& \end{array}\right.$

其中σ是方差，在实验中，取σ=1.5，k=3，

利用目标在连续帧中的一致性来约束目标模型，用

表示正样本属于真实目标的置信度：

$y_i=\left\{\begin{array}{ccc}\exp (-\frac{\exp (-{\left|\right|x_i-{\mathrm{UU}}^T{x}_i\left|\right|}^2)}{{2\mathrm{\&sigma;}}^2}),& \mathrm{if}& x_i\&Element;L\\ 0,& \mathrm{if}& x_i\&Element;U\end{array}\right.$

其中，U是通过在线主成分分析算法得到的子空间的基。

作为本发明实施例的一优化方案，利用最小化代价函数，并获得候选目标的置信度的具体步骤为：

令{(x₁,y₁),…,(x_l,y_l)}为标记样本，

y_i∈{1,…,C}，{x_l+1…x_l+u}是未标记样本，l<<u，分别用L和U来分别表示标记样本集和未标记样本集，在本文中只考虑两类情形，即C=2，

一般来说，相似样本具有相同的标记，图的顶点表示所有的样本点，包括标记样本和未标记样本，图的边表示所连接点的相似性，定义两个顶点(x_i,x_j)之间的权重如下：

$w_{i,j}=\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{2{\mathrm{\&sigma;}}^2})$

其中σ是方差，

定义函数

表示样本属于其中一类的置信度，代价函数定义如下：

$J\left(f\right)=\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{(f\left(x_i\right)-y_i)}^2+\mathrm{\&lambda;}\underset{i,j=1}{\overset{n}{\mathrm{\&Sigma;}}}{\left|\right|f\left(x_i\right)-f\left(x_j\right)\left|\right|}^2{w}_{i,j}$

其中λ>0是规则化参数，实验中取λ=1，y_i表示样本属于该类的真实置信度，在上式中，第一项和第二项分别表示全局约束和局部约束，f的解表达式为：

f^*argminJ(f)

用矩阵形式重写公式，得到：

J(f)=(f(X)-Y)^T(f(X)-Y)+λf(X)^TLf(X)

其中L=D-W是图拉普拉斯矩阵，D是对角矩阵，用来描述顶点的维度：

$d_{\mathrm{ii}}=\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}$

因此，图拉普拉斯矩阵L是对称和半正定的，

令

可以得到：

(I-λL)f=Y

问题的解表示为：

f=(I-λL)^-1Y。

作为本发明实施例的一优化方案，状态估计，通过直推学习，获得候选目标属于目标的置信度f的步骤为：

选择具有最大置信度的候选目标，作为当前图像中的目标估计，

${\hat{z}}_t\arg \max f\left(z_t^i\right).$

作为本发明实施例的一优化方案，更新正样本集，将正样本集合记做

其中π_i是样本的置信度，正样本集的按如下方式建立：初始的正样本集由手动获得的正样本组成，并令其置信度为1，在后续帧中，利用遗忘因子来降低以前正样本的置信度，Δ=α*Δ，在当前帧中，通过直推学习得到所有候选目标的置信度，选择其中置信度较大的候选目标加入到正样本集中，Δ^add={(x_i,π_i)|π_i>τ₁}，在正样本集中，删除置信度低的样本，Δ^delete={(x_i,π_i)|π_i<τ₂}，输出：状态估计?

下面结合附图及具体实施例对本发明的应用原理作进一步描述。

如图1所示，本发明实施例的基于直推的鲁棒视觉跟踪方法包括以下步骤：

S101：在第一帧中手动获得初始目标；

S102：在后续帧中，通过粒子滤波采样获得大量候选目标，作为未标记样本，而将以前的跟踪结果作为标记样本，以所有样本为顶点建立一张图；

S103：通过最小化代价函数，获得候选目标属于真实目标的置信度，并将具有最大置信度的候选目标作为当前估计；

S104：最后更新正样本集，将置信度高的样本加入到正样本集，并删除置信度低的样本。

本发明的基于图直推的鲁棒视觉跟踪方法的具体步骤如下：

输入：给定当前的状态估计z_t和正样本集

步骤1.应用Lucas-kanade算法预测，

图像中目标的状态可以用仿射图像变换表示，用W(s,p)表示仿射变换：

$W(s,p)=\left(\begin{array}{ccc}{p}_1& p_3& p_5\\ p_2& p_4& p_6\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)---\left(1\right)$

其中p=(p₁,p₂,p₃,p₄,p₅,p₆)表示仿射参数，s=(dx,dy)^T是目标在图像中的位置状态，

Lucas-Kanade算法[141]可以为粒子的产生过程提供一种启发式预测，Lucas-Kanade算法的目标是最小化图像和模板之间的最小平方误差，已知当前的估计p，通过迭代的方法计算参数增量Δp，能量函数可以写作：

$E\left(\mathrm{\&Delta;p}\right)=\underset{s}{\mathrm{\&Sigma;}}{\left|\right|I\left(w(s,p+\mathrm{\&Delta;p})\right)-T\left(s\right)\left|\right|}^2---\left(2\right)$

其中T(s)是模板图像，令

得到：

$\mathrm{\&Delta;p}=H^{-1}\underset{s}{\mathrm{\&Sigma;}}{[\&dtri;I\frac{\&PartialD;w}{\&PartialD;p}]}^T[I\left(w(s,p)\right)-T\left(s\right)]---\left(3\right)$

其中

是图像I的梯度图像，H是hessian矩阵：

$H=\underset{s}{\mathrm{\&Sigma;}}{[\&dtri;I\frac{\&PartialD;w}{\&PartialD;p}]}^T[\&dtri;I\frac{\&PartialD;w}{\&PartialD;p}]---\left(4\right)$

假设在第t-1帧图像中的估计为z_t-1，在第t帧图像中通过Lucas-Kanade算法迭代得到增量Δp，则可以预测当前的状态为：

${\hat{z}}_t=z_{t-1}+\mathrm{\&Delta;p}---\left(5\right)$

设状态zt中的每个参数都是独立的高斯分布，均值为

$p\left(z_t\right|z_{t-1})=N\left(z_t\right|{\hat{z}}_t,\mathrm{\&Sigma;})---\left(6\right)$

其中N()是高斯分布，根据p(z_t|z_t-1)，在当前图像中采样，获得候选目标；

步骤2.采样，根据p(z_t|z_t-1)，在当前图像中采样，获得候选目标，

假设目标在t时刻的真实状态和观测状态分别为z_t和o_t，可以用含有隐含变量的一阶马尔科夫(Markov)模型来描述运动目标的跟踪过程^[140]，如图6.5所示，跟踪问题可以描述为：已知观测状态O_t={o₁,o₂,…,o_t}和t时刻以前的估计状态Z_t-1={z₁,z₂,…,z_t-1}来估计目标在t时刻的状态z_t，根据贝叶斯准则，可以表示为如下形式：

$p\left(z_t\right|z_{1:t-1},O_t)=p\left(o_t\right|z_t)\underset{z_{t-1}}{\&Integral;}p\left(z_t\right|z_{t-1})p\left(z_{t-1}\right|o_{t-1}){\mathrm{dz}}_{t-1}---\left(7\right)$

由上式可知，跟踪过程可以分成以下两步：

预测：

$p\left(z_t\right|O_{t-1})=\underset{z_{t-1}}{\&Integral;}p\left(z_t\right|z_{t-1})p\left(z_{t-1}\right|O_{t-1}){\mathrm{dz}}_{t-1}---\left(8\right)$

更新：

p(z_t|O_t)∝p(o_t|z_t)p(z_t|O_t-1)   (9)

步骤3.计算图拉普拉斯，

在跟踪过程中，我们已经得到标记样本和未标记样本，如上节所述，所有样本

属于

样本

的标记为y_i∈{-1,1}，图可以分为三个子图：标记样本构成的子图，未标记样本构成的子图以及标记样本和未标记样本构成的子图，相应的权重矩阵可以表示为：

$W=\left(\begin{array}{cc}{W}^{\mathrm{ll}}& W^{\mathrm{lu}}\\ W^{\mathrm{ul}}& W^{\mathrm{uu}}\end{array}\right)---\left(10\right)$

其中W^lu和W^ul是转置矩阵，

标注样本子图采用全连接图，权重定义如下：

$w_{\mathrm{ij}}^{\mathrm{ll}}=\left\{\begin{array}{ccc}1,& \mathrm{if}& y_i=y_j\\ 0,& & \mathrm{others}\end{array}\right.---\left(11\right)$

未标记样本子图采用k近邻图，即，如果样本x_i是样本x_j的k近邻，则将这两个样本连接起来，权重定义为：

$w_{\mathrm{ij}}^{\mathrm{uu}}=\left\{\begin{array}{ccc}\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{{2\mathrm{\&sigma;}}^2}),& \mathrm{if}& x_j\&Element;\mathrm{knn}\left(x_i\right)\\ 0,& \mathrm{others}& \end{array}\right.---\left(12\right)$

其中σ是方差，在实验中，取σ=1.5，k=7，

标记样本和未标记样本的子图也采用k近邻图，和未标记样本子图的区别在于，样本x_i和样本x_j分别属于标记样本和未标记样本，权重矩阵表示如下：

$w_{\mathrm{ij}}^{\mathrm{ul}}=\left\{\begin{array}{ccc}\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{{2\mathrm{\&sigma;}}^2}),& \mathrm{if}& x_j\&Element;\mathrm{knn}\left(x_i\right)\\ 0,& \mathrm{others}& \end{array}\right.---\left(13\right)$

其中σ是方差，在实验中，取σ=1.5，k=3，

利用目标在连续帧中的一致性来约束目标模型，最近，Ross等人借用SKL算法在线更新特征向量用于目标跟踪，获得了好的效果，用

表示正样本

属于真实目标的置信度：

$y_i=\left\{\begin{array}{ccc}\exp (-\frac{\exp (-{\left|\right|x_i-{\mathrm{UU}}^T{x}_i\left|\right|}^2)}{{2\mathrm{\&sigma;}}^2}),& \mathrm{if}& x_i\&Element;L\\ 0,& \mathrm{if}& x_i\&Element;U\end{array}\right.---\left(14\right)$

其中，U是通过在线主成分分析算法[71]得到的子空间的基；

步骤4.直推学习，最小化代价函数，并获得候选目标的置信度，

令{(x₁,y₁),…,(x_l,y_l)}为标记样本，

y_i∈{1,…,C}，{x_l+1…x_l+u}是未标记样本，l<<u，分别用L和U来分别表示标记样本集和未标记样本集，在本文中只考虑两类情形，即C=2，

一般来说，相似样本具有相同的标记，图的顶点表示所有的样本点，包括标记样本和未标记样本，图的边表示所连接点的相似性，定义两个顶点(x_i,x_j)之间的权重如下：

$w_{i,j}=\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{2{\mathrm{\&sigma;}}^2})---\left(15\right)$

其中σ是方差，

定义函数

表示样本属于其中一类的置信度，代价函数定义如下：

$J\left(f\right)=\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{(f\left(x_i\right)-y_i)}^2+\mathrm{\&lambda;}\underset{i,j=1}{\overset{n}{\mathrm{\&Sigma;}}}{\left|\right|f\left(x_i\right)-f\left(x_j\right)\left|\right|}^2{w}_{i,j}---\left(16\right)$

其中λ>0是规则化参数，实验中取λ=1，y_i表示样本属于该类的真实置信度，在上式中，第一项和第二项分别表示全局约束和局部约束，f的解表达式为：

f^*argminJ(f)   (17)

用矩阵形式重写公式(6.2)，得到：

J(f)=(f(X)-Y)^T(f(X)-Y)+λf(X)^TLf(X)   (18)

其中L=D-W是图拉普拉斯矩阵，D是对角矩阵，用来描述顶点的维度：

$d_{\mathrm{ii}}=\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}---\left(19\right)$

因此，图拉普拉斯矩阵L是对称和半正定的，

令

可以得到：

(I-λL)f=Y   (20)

问题的解表示为：

f=(I-λL)^-1Y   (21)

步骤5.状态估计，通过直推学习，获得候选目标属于目标的置信度f，选择具有最大置信度的候选目标，作为当前图像中的目标估计，

${\hat{z}}_t\arg \max f\left(z_t^i\right)---\left(22\right)$

步骤6.更新正样本集，

正样本的选择在算法中非常重要，将正样本集合记做

其中π_i是样本

的置信度，正样本集的按如下方式建立：初始的正样本集由手动获得的正样本组成，并令其置信度为1，在后续帧中，利用遗忘因子来降低以前正样本的置信度，Δ=α*Δ，在当前帧中，通过直推学习得到所有候选目标的置信度，选择其中置信度较大的候选目标加入到正样本集中，Δ^add={(x_i,π_i)|π_i>τ₁}，在正样本集中，删除置信度低的样本，Δ^delete={(x_i,π_i)|π_i<τ₂}，

输出：状态估计

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于直推的鲁棒视觉跟踪方法，其特征在于，所述基于直推的鲁棒视觉跟踪方法包括以下步骤：

在第一帧中手动获得初始目标；

在后续帧中，通过粒子滤波采样获得大量候选目标，作为未标记样本，而将以前的跟踪结果作为标记样本，以所有样本为顶点建立一张图；

通过最小化代价函数，获得候选目标属于真实目标的置信度，并将具有最大置信度的候选目标作为当前估计；

最后更新正样本集，将置信度高的样本加入到正样本集，并删除置信度低的样本。

2.如权利要求1所述的基于直推的鲁棒视觉跟踪方法，其特征在于，通过应用Lucas-kanade算法预测计算p(z_t|z_t-1)，获得大量候选目标。

3.如权利要求2所述的基于直推的鲁棒视觉跟踪方法，其特征在于，计算p(z_t|z_t-1)的具体步骤为：

图像中目标的状态可以用仿射图像变换表示，用W(s,p)表示仿射变换：

$W(s,p)=\left(\begin{array}{ccc}{p}_1& p_3& p_5\\ p_2& p_4& p_6\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$

其中p=(p₁,p₂,p₃,p₄,p₅,p₆)表示仿射参数，s=(dx,dy)^T是目标在图像中的位置状态，

Lucas-Kanade算法可以为粒子的产生过程提供一种启发式预测，Lucas-Kanade算法的目标是最小化图像和模板之间的最小平方误差，已知当前的估计p，通过迭代的方法计算参数增量Δp，能量函数可以写作：

$E\left(\mathrm{\&Delta;p}\right)=\underset{s}{\mathrm{\&Sigma;}}{\left|\right|I\left(w(s,p+\mathrm{\&Delta;p})\right)-T\left(s\right)\left|\right|}^2$

其中T(s)是模板图像，令

得到：

$\mathrm{\&Delta;p}=H^{-1}\underset{s}{\mathrm{\&Sigma;}}{[\&dtri;I\frac{\&PartialD;w}{\&PartialD;p}]}^T[I\left(w(s,p)\right)-T\left(s\right)]$

其中?I是图像I的梯度图像，H是hessian矩阵：

$H=\underset{s}{\mathrm{\&Sigma;}}{[\&dtri;I\frac{\&PartialD;w}{\&PartialD;p}]}^T[\&dtri;I\frac{\&PartialD;w}{\&PartialD;p}]$

假设在第t-1帧图像中的估计为z_t-1，在第t帧图像中通过Lucas-Kanade算法迭代得到增量△p，则可以预测当前的状态为：

${\hat{z}}_t=z_{t-1}+\mathrm{\&Delta;p}$

设状态z_t中的每个参数都是独立的高斯分布，均值为

$p\left(z_t\right|z_{t-1})=N\left(z_t\right|{\hat{z}}_t,\mathrm{\&Sigma;})$

其中N()是高斯分布，根据p(z_t|z_t-1)，在当前图像中采样，获得候选目标。

4.如权利要求1所述的基于直推的鲁棒视觉跟踪方法，其特征在于，在候选目标中采样用含有隐含变量的一阶马尔科夫模型来描述运动目标的跟踪过程。

5.如权利要求4所述的基于直推的鲁棒视觉跟踪方法，其特征在于，一阶马尔科夫模型来描述运动目标的跟踪过程的步骤为：根据p(z_t|z_t-1)，在当前图像中采样，获得候选目标，

假设目标在t时刻的真实状态和观测状态分别为z_t和o_t，跟踪问题可以描述为：已知观测状态O_t={o₁,o₂,…,o_t}和t时刻以前的估计状态Z_t-1={z₁,z₂,…,z_t-1}来估计目标在t时刻的状态z_t，根据贝叶斯准则，可以表示为如下形式：

$p\left(z_t\right|z_{1:t-1},O_t)=p\left(o_t\right|z_t)\underset{z_{t-1}}{\&Integral;}p\left(z_t\right|z_{t-1})p\left(z_{t-1}\right|o_{t-1}){\mathrm{dz}}_{t-1}$

由上式可知，跟踪过程可以分成以下两步：

预测：

$p\left(z_t\right|O_{t-1})=\underset{z_{t-1}}{\&Integral;}p\left(z_t\right|z_{t-1})p\left(z_{t-1}\right|O_{t-1}){\mathrm{dz}}_{t-1}$

更新：

p(z_t|O_t)∝p(o_t|z_t)p(z_t|O_t-1)。

6.如权利要求1所述的基于直推的鲁棒视觉跟踪方法，其特征在于，通过计算图拉普拉斯得到真实目标的置信度。

7.如权利要求6所述的基于直推的鲁棒视觉跟踪方法，其特征在于，图拉普拉斯计算的具体步骤为：

得到标记样本和未标记样本，所有样本属于

样本

的标记为y_i∈{-1,1}，图可以分为三个子图：标记样本构成的子图，未标记样本构成的子图以及标记样本和未标记样本构成的子图，相应的权重矩阵可以表示为：

$W=\left(\begin{array}{cc}{W}^{\mathrm{ll}}& W^{\mathrm{lu}}\\ W^{\mathrm{ul}}& W^{\mathrm{uu}}\end{array}\right)$

其中W^lu和W^ul是转置矩阵，

标注样本子图采用全连接图，权重定义如下：

$w_{\mathrm{ij}}^{\mathrm{ll}}=\left\{\begin{array}{ccc}1,& \mathrm{if}& y_i=y_j\\ 0,& & \mathrm{others}\end{array}\right.$

未标记样本子图采用k近邻图，即，如果样本x_i是样本x_j的k近邻，则将这两个样本连接起来，权重定义为：

$w_{\mathrm{ij}}^{\mathrm{ll}}=\left\{\begin{array}{ccc}\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{{2\mathrm{\&sigma;}}^2}),& \mathrm{if}& x_j\&Element;\mathrm{knn}\left(x_i\right)\\ 0,& \mathrm{others}& \end{array}\right.$

其中σ是方差，在实验中，取σ=1.5，k=7，

标记样本和未标记样本的子图也采用k近邻图，和未标记样本子图的区别在于，样本x_i和样本x_j分别属于标记样本和未标记样本，权重矩阵表示如下：

$w_{\mathrm{ij}}^{\mathrm{ul}}=\left\{\begin{array}{ccc}\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{{2\mathrm{\&sigma;}}^2}),& \mathrm{if}& x_j\&Element;\mathrm{knn}\left(x_i\right)\\ 0,& \mathrm{others}& \end{array}\right.$

其中σ是方差，在实验中，取σ=1.5，k=3，

利用目标在连续帧中的一致性来约束目标模型，用表示正样本l属于真实目标的置信度：

$y_i=\left\{\begin{array}{ccc}\exp (-\frac{\exp (-{\left|\right|x_i-{\mathrm{UU}}^T{x}_i\left|\right|}^2)}{{2\mathrm{\&sigma;}}^2}),& \mathrm{if}& x_i\&Element;L\\ 0,& \mathrm{if}& x_i\&Element;U\end{array}\right.$

其中，U是通过在线主成分分析算法得到的子空间的基。

8.如权利要求1所述的基于直推的鲁棒视觉跟踪方法，其特征在于，利用最小化代价函数，并获得候选目标的置信度的具体步骤为：

令{(x₁,y₁),…,(x_l,y_l)}为标记样本，

y_i∈{1,…,C}，{x_l+1…x_l+u}是未标记样本，l<<u，分别用L和U来分别表示标记样本集和未标记样本集，在本文中只考虑两类情形，即C=2，

相似样本具有相同的标记，图的顶点表示所有的样本点，包括标记样本和未标记样本，图的边表示所连接点的相似性，定义两个顶点(x_i,x_j)之间的权重如下：

$w_{i,j}=\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{2{\mathrm{\&sigma;}}^2})$

其中σ是方差，

定义函数

表示样本属于其中一类的置信度，代价函数定义如下：

$J\left(f\right)=\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{(f\left(x_i\right)-y_i)}^2+\mathrm{\&lambda;}\underset{i,j=1}{\overset{n}{\mathrm{\&Sigma;}}}{\left|\right|f\left(x_i\right)-f\left(x_j\right)\left|\right|}^2{w}_{i,j}$

其中λ>0是规则化参数，实验中取λ=1，y_i表示样本属于该类的真实置信度，在上式中，第一项和第二项分别表示全局约束和局部约束，f的解表达式为：

f^*=argminJ(f)

用矩阵形式重写公式，得到：

J(f)=(f(X)-Y)^T(f(X)-Y)+λf(X)^TLf(X)

其中L=D-W是图拉普拉斯矩阵，D是对角矩阵，用来描述顶点的维度：

$d_{\mathrm{ii}}=\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}$

因此，图拉普拉斯矩阵L是对称和半正定的，

令

可以得到：

(I-λL)f=Y

问题的解表示为：

f=(I-λL)^-1Y。

9.如权利要求1所述的基于直推的鲁棒视觉跟踪方法，其特征在于，状态估计，通过直推学习，获得候选目标属于目标的置信度f的步骤为：

选择具有最大置信度的候选目标，作为当前图像中的目标估计，

${\hat{z}}_t\arg \max f\left(z_t^i\right).$

10.如权利要求1所述的基于直推的鲁棒视觉跟踪方法，其特征在于，更新正样本集，将正样本集合记做

其中π_i是样本

的置信度，正样本集的按如下方式建立：初始的正样本集由手动获得的正样本组成，并令其置信度为1，在后续帧中，利用遗忘因子来降低以前正样本的置信度，Δ=α*Δ，在当前帧中，通过直推学习得到所有候选目标的置信度，选择其中置信度较大的候选目标加入到正样本集中，Δ^add={(x_i,π_i)|π_i>τ₁}，在正样本集中，删除置信度低的样本，Δ^delete={(x_i,π_i)|π_i<τ₂}，输出：状态估计

Images