CN103295242B - 一种多特征联合稀疏表示的目标跟踪方法 - Google Patents

Abstract

本发明通过对传统的稀疏编码跟踪器求解稀疏系数方法以及采用的目标特征进行分析和改进，提供一种多特征联合稀疏表示的目标跟踪方法，在光照影响较大、目标出现严重遮挡等复杂场景下保持目标跟踪的稳定性，提高目标跟踪器的精度。本发明包括如下步骤：构建初始字典；目标模板的分块处理；抽取候选粒子；提取目标特征；确定图像特征数和块的类别数；特征的核化处理；将候选样本用字典中所有块进行稀疏表示；核扩展；求解稀疏问题；块的残差计算；构建似然函数；更新模板库。本发明采用多特征联合描述目标，提高了算法的精度和跟踪的稳健性。

Description

一种多特征联合稀疏表示的目标跟踪方法

技术领域

本发明属于计算机图像处理技术领域，涉及一种目标跟踪方法，更为具体地说，是涉及一种多特征联合稀疏表示的目标跟踪方法。

背景技术

视觉目标跟踪是指从摄像机记录的视频序列中连续地推断特定目标运动状态轨迹的技术，是计算机视觉研究中非常重要的一个研究课题,可用于自动监控、机器人导航、人机接口等很多应用领域。目标跟踪不仅推动了图像处理、模式识别、机器学习和人工智能等领域的理论研究，也成为很多实用的计算机视觉系统必不可少的一个环节。尽管目标跟踪对于人类视觉系统而言是一个非常简单的任务，但对于计算机视觉而言，现有跟踪算法的性能还远没有达到人类视觉系统的智能。主要困难在于自然场景中的目标跟踪不仅要解决如何将目标与周围相似的背景区分开来，还要解决跟踪过程中目标由于姿态、光照和遮挡等因素导致的外观变化,需要有效地处理快速运动、遮挡，光照影响，背景杂波等多方面的问题。

最近，稀疏表示（稀疏编码）被成功应用于视觉跟踪中。稀疏编码跟踪器的主要思想是将每个候选目标表示成字典模板的一种稀疏线性组合，跟踪过程中字典模板需要进行动态更新以迎合目标外观的改变（Mei,X.,Ling,H.Robust visual tracking and vehicleclassification via sparse representation[J].IEEE Transactions on Pattern Analysisand Machine Intelligence,2011,33(11),2259–2272.）。这种方法可以很好地处理目标遮挡问题，从而提高了跟踪器的性能。然而，上述稀疏编码跟踪器在处理每帧时都需要执行复杂的l1最小化计算，在粒子滤波框架下，计算量将随着抽样粒子数呈线性增加的趋势，从而限制了跟踪器的实时应用。

专利申请号：201210453491.6，公开号：CN103024349A的国内发明专利申请“一种基于稀疏限制的MLE视频目标跟踪方法”公开了一种基于稀疏限制的MLE视频目标跟踪方法。该方法通过跟踪前n帧作为初始目标模板库T；采用状态转移模型抽取m个样本；计算m个样本像素的权值，选取权值阈值对m个样本的像素进行异常筛选；对筛选后的m个样本进行稀疏编码求解，得到样本像素的重建误差；根据观测似然模型，获取m个样本中跟踪目标的最佳值，作为当前帧的跟踪结果。该方法在稀疏编码前对样本像素进行了预处理，一定程度上提高了目标跟踪的精度，但是由于仅采用像素灰度值这一种特征，当光照变化影响较大或目标出现严重遮挡时，必然会造成跟踪的失败，对环境要求高，适应范围较窄。

发明内容

为了解决上述问题，本发明通过对传统的稀疏编码跟踪器求解稀疏系数方法以及采用的目标特征进行分析和改进，提供一种多特征联合稀疏表示的目标跟踪方法，在光照影响较大、目标出现严重遮挡等复杂场景下保持目标跟踪的稳定性，提高目标跟踪器的精度。

为了达到以上目的，本发明提供以下技术方案：

一种基于多特征联合稀疏表示的视觉目标跟踪方法，包括以下步骤:

(1)构建初始字典：跟踪视频序列前n帧，将跟踪得到的前n帧目标作为初始字典；

(2)目标模板的分块处理：按照预先设定的块的尺寸大小及分块步长，采取重叠分块的方式，对每个目标模块进行分块；重叠分块完成后，字典中的总块数＝字典中目标模板的个数×每个目标模板的重叠块数。

(3)抽取候选粒子：跟踪过程中，对于新到来的每帧图像，抽取N个粒子，所述抽取粒子的方式如下：基于相邻帧之间目标移动很小的特点，给定一帧新的图像，在对应于上一帧跟踪目标的位置周围进行高斯采样，选取目标的运动仿射变换参数作为状态变量X_t＝(x_t,y_t,θ_t,s_t,α_t,φ_t)，其中x_t,y_t分别表示目标在第t帧x，y方向上的坐标，θ_t表示目标在第t帧的旋转角度，s_t表示目标在第t帧变化的尺度，α_t表示目标在第t帧的高宽比，φ_t表示目标在第t帧的倾斜角；对抽取的粒子按照步骤（2）的方法进行重叠分块处理；

(4)提取目标特征：对字典中的块和候选样本中的块进行特征提取；根据需要选取多个特征，然后联合这些特征对目标图像块进行稀疏表示。

(5)确定图像特征数和块的类别数：根据分类思想表示对应于各个特征的字典模板，字典模板表示为：其中J为类别数，特征索引k＝1,…,K，K为特征个数,其中m_k是第k个特征的维数，p_j是第j类模板的个数；(其中

(6)特征的核化处理：对字典模板和候选目标进行核化处理，根据步骤（4），（5），由于提取的各种特征维数不一致，需要对字典模板和候选目标进行核化处理（Kernelization）。当考虑第k个特征时，对应于第k个特征的字典模板为（核化前），其中J为块的类别数，其中m_k是第k个特征的维数，p是字典模板中总的块数；对应于第k个特征的第j类候选样本表示为（核化前），则按照以下方式对字典X^k和候选样本进行核化处理：X^k←(X^k)^TX^k，显然核化后，对于任意特征k，都有X^k∈R^p×p，从而达到了维数的一致。

(7)联合稀疏表示：候选样本采用与字典模板相同的特征，且其每块用字典中所有块进行稀疏表示。用（核化前）表示第j类候选样本，则它可被字典模板块线性表示如下：

$Y_j^k=X^k{w}_j^k+{\mathrm{\ϵ}}_j^k,k=1,...,K$

其中(其中是与第j类候选样本相对应的表示系数（重构系数向量），是残差项。用 $w^k=[w_1^k,...,w_J^k]$ 表示第k个特征的表示系数， $w_{\text{j}}={[{\left(w_j^1\right)}^T,...{\left(w_k^K\right)}^T]}^T$ 表示联合所有K个特征对应于第j类模板的表示系数。设因此，多特征联合稀疏表示可以公式化为以下l_1,2混合范数正则化问题的解：

$\underset{W}{\min }\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\left|\right|\underset{j=1}{\overset{J}{\mathrm{\Σ}}}(y_j^k-X^k{w}_j^k)\left|\right|}_2^2+\mathrm{\λ}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\left|\right|w_j\left|\right|}_2---\left(1\right)$

(8)求解上述稀疏问题得到相应的稀疏系数；

(9)块的残差计算：当候选样本的某一类块（即某一位置块）用字典模板的所有块来表示时，显然，对应于字典模板中与之类别相同的块（即相同位置的块）的表示系数值较大。因而接下来求候选样本每块的重构误差时，我们仅利用字典中与候选样本块具有相同类别的块及其表示系数进行重构（舍弃掉其他类别不同类的块及其表示系数）。因此，对于第j类块，重构误差（残差）计算如下：

$\mathrm{residua}{l}_j=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\θ}}^k[H_j^k-2h_j^k{\hat{w}}_j^k+{\left({\hat{w}}_j^k\right)}^T{G}_j^k{\hat{w}}_j^k]---\left(4\right)$

其中 $G_j^k={\mathrm{\φ}}^k{\left(X_j^k\right)}^T{\mathrm{\φ}}^k\left(X_j^k\right),H_j^k={\mathrm{\φ}}^k{\left(y_j^k\right)}^T{\mathrm{\φ}}^k\left(y_j^k\right),{\left\{{\mathrm{\θ}}^k\right\}}_{k=1}^K({\mathrm{\Σ}}_k{\mathrm{\θ}}^k=1)$ 是核权值，用以度量不同特征在最后决策上的置信度大小（confidence），在这里，我们取等权值。

(10)构建似然函数：主要思想是利用重构误差（残差）来构建似然函数。我们将上一步求得的候选样本的每个块的残差residual_j进行累加，接下来对所有候选样本按照residual进行排序，最小residual对应的候选样本即为最佳样本（最佳粒子）。

(11)模板更新：跟踪中如果采用固定不变的字典模板，则当目标外观或姿态发生变化，光照不均以及出现遮挡时往往会导致跟踪失败；然而如果字典模板更新太过频繁的话，误差将会积累最终会导致跟踪器发生漂移。因而需要设计一种合理的模板更新方法。模板更新的主要思想是用当前好的跟踪结果去替代字典中已经过时的目标模板。在此，我们将子空间学习（subspace learning）的方法引入稀疏表示以适应目标外观的变化，同时也减少了遮挡目标模板的影响。

在大多跟踪方法中，早期的跟踪结果相对精确一些，因此它们应该在字典模板中存储更长的时间，平衡新旧目标模板的一种有效方式就是给它们分配不同的更新概率。我们首先产生一个累积的概率序列：

$L_p=\{0,\frac{1}{2^{n-1}-1},\frac{3}{2^{n-1}-1},...,\frac{2^{i-1}-1}{2^{n-1}-1},...1\},i=\mathrm{1,2},...,n$

其中n表示字典中模板的个数，可以看出该累积序列的特点是前面密集后面稀疏。然后在0到1之间产生一个随机数r，根据随机数r的大小在上述累积序列中所处的位置来确定需要更新的模板。通过这样的更新方式将会致使老的模板更新较慢，而新的模板更新较快，从而可以减少模板漂移问题。

接下来联合稀疏表示和子空间学习来实现对字典模板的更新。我们先搜集目标的跟踪结果然后执行增量学习方法（incremental learning method）。目标估计值可建模成PCA基向量和遮挡模板的线性组合如下：

$p=\mathrm{Uq}+e=\left[\begin{array}{cc}U& I\end{array}\right]\left[\begin{array}{c}q\\ e\end{array}\right]---\left(5\right)$

其中p表示观测向量，U是由特征基向量（eigenbasis vectors）构成的矩阵，q是特征基向量的系数，e表示p中被遮挡或干扰的像素。由于因遮挡或噪声引起的误差是随机的并且稀疏的，因此我们可以将此问题看成以下l₁正则化最小二乘问题：

$\underset{c}{\min }{\left|\right|p-\mathrm{Hc}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|c\left|\right|}_1---\left(6\right)$

其中H＝[UI],c＝[qe]^T，λ是一个正则化参数。通过求解公式（6）得到q和e，将重构图像p用于替代被更新的模板。可以看出，遮挡模板的系数e用来解释存在的噪声和遮挡，可避免噪声被更新进入字典模板，而仅由PCA基向量构建的重构图像对遮挡的影响并不敏感。因此采用这种字典模板更新方法，可以适应目标外观的改变并能很好地处理部分遮挡。

作为本发明的一种优选方案，所述特征包括包括灰度、HOG（Histogram of OrientationGradient）、颜色、形状、纹理、边缘、HSV、SIFT（Scale-Invariant Feature Transform）、SURF（Speeded-Up Robust Features）、Harr、LBP（Local Binary Patterns）中的两种或两种以上组合。

作为本发明的一种改进方案，将原始特征空间扩展到RKHS（Reproducing Kernel HilbertSpace），将步骤（7）中公式重新写成：

$\underset{W}{\min }\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\left|\right|\underset{j=1}{\overset{J}{\mathrm{\Σ}}}(h_j^k-G^k{w}_j^k)\left|\right|}_2^2+\mathrm{\λ}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\left|\right|w_j\left|\right|}_2$

其中 $G^k={\mathrm{\φ}}^k{\left(x^k\right)}^T{\mathrm{\φ}}^k\left(X^k\right)$ 是对应第k个特征的字典模板核矩阵， $h_j^k={\mathrm{\φ}}^k{\left(X^k\right)}^T{\mathrm{\φ}}^k\left(y_j^k\right)$ 是对应第k个特征的第j个候选样本的核向量，

作为本发明的一种优选方案，所述步骤（8）中采用KAPG（Kernelizable AcceleratedProximal Gradient）方法进行求解。

作为本发明的一种优选方案，所述步骤（11）更新模板库间隔为5帧。

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：

1.采用多特征联合描述目标，提高了跟踪的稳健性。

2.通过对字典模板和候选模板样本进行重叠分块并采用分类的思想，利用字典中与候选样本块具有相同类别的块及其表示系数对块进行重构，依据重构误差构建似然函数以确定最佳候选样本，实现对目标的精确跟踪。

3.利用KAPG方法求解联合特征的稀疏系数，避免了传统方法在处理每帧时都需要执行复杂的l1最小化计算，大大减少了计算量，迎合了实时性的要求。

4.本发明提出的基于多特征联合稀疏表示的视觉目标跟踪方法，在很大程度上简化了计算的复杂度，提高了算法的精度和稳健性。本方法在目标发生遮挡，旋转，尺度变化，快速运动，光照变化等各种复杂情况下，依然可以准确的跟踪目标，并且达到满意的处理速度。

附图说明

图1为本发明提供的视觉目标跟踪方法步骤流程图；

图2为对目标模板进行重叠分块的示意图；

图3为真实目标图像的示例图；

图4为对图2进行重叠分块的示意图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。

本发明提供的基于多特征联合稀疏表示的视觉目标跟踪方法，如图1所示，包括如下步骤：

步骤1构建初始字典：首先构建字典模板库，构建字典模板的方法是：选取视频序列第1帧中的目标作为第1个目标模板，采用矩形框的方式定位目标，用矩形框的中心点和长宽来确定目标的位置和大小，选取目标模版可采用手动方式；然后利用一个简单跟踪器（例如粒子滤波跟踪器）跟踪视频序列前10帧（包含第1帧），将跟踪得到的前10帧目标作为初始字典（初始目标模板库）。

步骤2目标模板的分块处理：如图2所示，对字典中的目标模板进行重叠分块，设目标模板的尺寸大小是32×32，块（patch）的大小是16×16，分块步长（step size）为8，按照从上到下，从左到右的顺序对目标图像进行分块，则每个目标模板最终可重叠分成9块。按照上述重叠分块模式，对如图3所示的真实图像进行重叠分块后，得到如图4所示的重叠分块示意图。重叠分块完成后，则字典中的总块数＝10×9＝90块。需要注意的是，其后跟踪过程中抽取的候选样本也需要按照这种相同的方式进行重叠分块。

步骤3抽取候选粒子：在新的一帧图像到来时，需要抽取候选粒子（样本）。设每帧抽取600个粒子（样本），每帧抽取的粒子数量可以根据需要进行调整。基于相邻帧之间目标移动很小的特点，给定一帧新的图像，在对应于上一帧跟踪目标的位置周围进行高斯采样（服从零均值，一个较小方差的分布）。选取目标的运动仿射变换参数作为状态变量X_t＝(x_t,y_t,θ_t,s_t,α_t,φ_t)，其中x_t,y_t分别表示目标在第t帧x，y方向上的坐标，θ_t表示目标在第t帧的旋转角度，s_t表示目标在第t帧变化的尺度，α_t表示目标在第t帧的高宽比，φ_t表示目标在第t帧的倾斜角。假设状态转移模型服从高斯分布，即：

p(X_t|X_t-1)＝N(X_t;X_t-1,Σ)

式中Σ是一个对角矩阵，对角元素是运动仿射参数的方差

步骤4提取目标特征：选取多个特征，例如灰度、HOG（Histogram of Orientation Gradient）、颜色、形状、纹理、边缘、HSV、SIFT（Scale-Invariant Feature Transform）、SURF（Speeded-UpRobust Features）、Harr、LBP（Local Binary Patterns）等多类特征，然后联合这些特征对目标图像块进行稀疏表示。在本例中分别提取每块像素点的灰度特征以及HOG特征，并联合这两种特征对目标图像块进行稀疏表示。

步骤5 确定图像特征数和块的类别数：利用分类的思想，将不同位置的块看成不同类别，则每个目标图像的块数就相当于类别数。假设采用K个不同的特征，对于每个特征索引k＝1,…,K，字典模板表示为：其中J为类别数。（核化前），其中m_k是第k个特征的维数，p_j是第j类模板的个数；(其中

本例中，仅采用灰度和HOG这两种图像特征，则K=2，k＝1，2；每个模板共分为相邻重叠的9块（即9个不同的位置块），依据块的位置进行分类，将相同位置的块归为一类，共有9类，则J＝9。

步骤6 特征的核化处理：由于提取的两种特征（灰度特征和HOG特征）维数不一致，需要进行核化处理（Kernelization）。对应于灰度特征的字典模板为（核化前），对应于HOG特征的字典模板为（核化前），其中对应于灰度特征的第j类候选样本为（核化前），对应于HOG特征的第j类候选样本为（核化前）。按照以下方式对字典X^k和候选样本进行核化处理：X^k←(X^k)^TX^k，经过核化处理后，有X¹∈R^p×p,X²∈R^p×p，（核化后），不同特征的维数达到了一致。

步骤7 联合稀疏表示：经过核化处理后，我们将原始特征空间扩展到RKHS来重新讨论稀疏表示问题。候选样本（抽样粒子）采用与字典模板相同的特征，且其每块用字典中所有块进行稀疏表示。用（核化前）表示第j类候选样本，则它可被字典模板块线性表示如下：

$Y_j^k=X^k{w}_j^k+{\mathrm{\ϵ}}_j^k,k=1,2,j=1,...,9$

其中是与第j类候选样本相对应的表示系数（重构系数向量），是残差项。用表示第k个特征的表示系数，表示联合灰度和HOG特征对应于第j类模板的表示系数。设因此，多特征联合稀疏表示可以公式化为以下l_1,2混合范数正则化问题的解：

$\underset{W}{\min }\frac{1}{2}\underset{k=1}{\overset{2}{\mathrm{\Σ}}}{\left|\right|\underset{j=1}{\overset{9}{\mathrm{\Σ}}}(y_j^k-X^k{w}_j^k)\left|\right|}_2^2+\mathrm{\λ}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\left|\right|w_j\left|\right|}_2---\left(1\right)$

步骤8求解上述稀疏问题得到相应的稀疏系数，在本例中采用KAPG（kernelizableaccelerated proximal gradient）方法进行求解。

步骤9块的残差计算：接下来根据稀疏系数求候选样本每块的重构误差，我们仅利用字典中与候选样本块具有相同类别的块及其表示系数进行重构（舍弃掉其他类别不同类的块及其表示系数）。因此，对于第j类块，重构误差（残差）计算如下：

$\mathrm{residua}{l}_j=\underset{k=1}{\overset{2}{\mathrm{\Σ}}}{\mathrm{\θ}}^k[{\left(y_j^k\right)}^T{y}_j^k-2y_j^k{\hat{w}}_j^k+{\left({\hat{w}}_j^k\right)}^T{X}_j^k{\hat{w}}_j^k]$

其中是核权值，用以度量不同特征在最后决策上的置信度大小（confidence），在这里可以取等权值。

步骤10稀疏问题的求解：我们将求得的候选样本的每个块的残差residual_j进行累加，

接着对所有候选样本按照residual进行排序，最小residual对应的候选样本即为最佳样本（最佳粒子），以此作为当前帧的跟踪结果。

步骤11模板更新：跟踪过程中，一般采取每5帧（5帧为更新间隔，可由人为事先确定）对字典模板库更新一次，通过联合稀疏表示和子空间学习来实现对字典模板的更新，利用重构图像来替代字典模板库中被更新的模板。

在本例中我们采用两种度量准则来定量评估跟踪器的性能。第一种是真实值与跟踪结果中心位置（像素点）的相对误差（average center error）；另一种称为重叠率或the success rate，若给定跟踪结果R_T和真实值R_G，则the success rate计算如下：

$\mathrm{score}=\frac{\mathrm{area}(R_T\∩R_G)}{\mathrm{area}(R_T\∪R_G)}$

通过上述两种度量方式，采用8种挑战性视频序列验证本实施例提供的目标跟踪方法，跟并与现有的7种跟踪方法进行了比较。现有的7种跟踪算法分别为：incremental visualtracking(IVT),L1tracker,P-N(PN)tracker,visual tracking decomposition(VTD),multipleinstance learning(MIL)tracker,fragment-based(FragTrack)tracking,structural local sparsetracker(SLS)；而OURS为本发明提供的跟踪算法。采用的8种挑战性视频序列分别为：Faceooc2,Caviar,Woman,Car11,David,Singer,Board,Stone。跟踪结果如表1、表2所示。其中粗体数值表示最佳值，下划线数值表示次最佳值。

表1.平均中心误差(单位：像素)

	IVT	L1	PN	VTD	MIL	FragTrack	SLS	Ours
									Faceooc2	10.2	11.1	18.6	10.4	14.1	15.5	3.8	4.9
Caviar	66.2	65.9	53.0	60.9	83.9	94.2	2.3	2.5
									Woman	167.5	131.6	9.0	136.6	122.4	113.6	2.8	3.1
Car11	2.1	33.3	25.1	27.1	43.5	63.9	2.0	1.7
									David	3.6	7.6	9.7	13.6	16.1	76.7	3.6	4.6
Singer	8.5	4.6	32.7	4.1	15.2	22.0	4.8	6.2
									Board	165.4	177.0	97.3	96.1	60.1	31.9	7.3	7.9
Stone	2.2	19.2	8.0	31.4	32.3	65.9	1.8	2.8

表2.重叠率

	IVT	L1	PN	VTD	MIL	FragTrack	SLS	Ours
									Faceooc2	0.59	0.67	0.49	0.59	0.61	0.60	0.82	0.78
Caviar	0.21	0.20	0.21	0.19	0.19	0.19	0.84	0.90
									Woman	0.19	0.18	0.60	0.15	0.16	0.20	0.78	0.85
Car11	0.81	0.44	0.38	0.43	0.17	0.09	0.81	0.86
									David	0.72	0.63	0.60	0.53	0.45	0.19	0.79	0.81
Singer	0.66	0.70	0.41	0.79	0.33	0.34	0.81	0.78
									Board	0.17	0.15	0.31	0.36	0.51	0.73	0.74	0.89
Stone	0.66	0.29	0.41	0.42	0.32	0.15	0.56	0.61

由此可见本发明提供的目标跟踪方法，与已有的算法相比，算法精度有了明显的提高，我们的算法误差偏低、重叠率高，跟踪效果更为稳定。

实施例二：

实施例一中步骤7中多特征联合稀疏是基于原始特征向量的稀疏表示。然而，在许多视觉问题中，特征描述（向量）常被编码成核矩阵（kernel matrices）的形式，为了联合多个核特征，我们将原始特征空间扩展到RKHS来重新讨论稀疏表示问题。

核函数技术在于：对于每个特征k，使用一个非线性函数φ^k将字典模板和候选样本从原始特征空间映射到另一个高维的RKHS，在此高维空间中，对于一些给定的核函数g^k，有φ^k(x_i)^Tφ^k(x_j)＝g^k(x_i,x_j)。在新的空间，我们将实施例一步骤7中公式（1）重新写成：

$\underset{W}{\min }\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\left|\right|\underset{j=1}{\overset{J}{\mathrm{\Σ}}}({\mathrm{\φ}}^k\left(y_j^k\right)-{\mathrm{\φ}}^k\left(X^k\right)w_j^k)\left|\right|}_2^2+\mathrm{\λ}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\left|\right|w_j\left|\right|}_2---\left(2\right)$

其中 ${\mathrm{\φ}}^k\left(X^k\right)=\left[{\mathrm{\φ}}^k\left(X_1^k\right),...,{\mathrm{\φ}}^k\left(X_J^k\right)\right].$

设 $G^k={\mathrm{\φ}}^k{\left(x^k\right)}^T{\mathrm{\φ}}^k\left(X^k\right)$ 是对应第k个特征的字典模板核矩阵， $h_j^k={\mathrm{\φ}}^k{\left(X^k\right)}^T{\mathrm{\φ}}^k\left(y_j^k\right)$ 是对应第k个特征的第j个候选样本的核向量。利用核矩阵的一种简单方式就是直接将和Gk作为提取的新特征，则公式（1）可重新写为：

$\underset{W}{\min }\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\left|\right|\underset{j=1}{\overset{J}{\mathrm{\Σ}}}(h_j^k-G^k{w}_j^k)\left|\right|}_2^2+\mathrm{\λ}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\left|\right|w_j\left|\right|}_2---\left(3\right)$

基于上述公式（3），再采用KAPG方法求解上述稀疏问题得到相应的稀疏系数。

本实施例中其余步骤与实施例一相同。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

Claims (5)

1.一种基于多特征联合稀疏表示的视觉目标跟踪方法，其特征在于，包括以下步骤:

(1)跟踪视频序列前n帧，将跟踪得到的前n帧目标作为初始字典；

(2)按照预先设定的块的尺寸大小及分块步长，采取重叠分块的方式，对每个目标模块进行分块；重叠分块完成后，字典中的总块数＝字典中目标模板的个数×每个目标模板的重叠块数；

(3)跟踪过程中，对于新到来的每帧图像，抽取N个粒子，所述抽取粒子的方式如下：基于相邻帧之间目标移动很小的特点，给定一帧新的图像，在对应于上一帧跟踪目标的位置周围进行高斯采样，选取目标的运动仿射变换参数作为状态变量X_t＝(x_t,y_t,θ_t,s_t,α_t,φ_t)，其中x_t,y_t分别表示目标在第t帧x，y方向上的坐标，θ_t表示目标在第t帧的旋转角度，s_t表示目标在第t帧变化的尺度，α_t表示目标在第t帧的高宽比，φ_t表示目标在第t帧的倾斜角；对抽取的粒子按照步骤(2)的方法进行重叠分块处理；

(4)对字典中的块和候选样本中的块进行特征提取；

(5)字典模板表示为：其中J为类别数，每个特征索引k＝1,...,K，K为特征个数,其中m_k是第k个特征的维数，p_j是第j类模板的个数； $X^k\∈R^{m_k\×p}$ (其中 $p=\underset{j=1}{\overset{J}{\Σ}}{p}_j$ )；

(6)对字典模板和候选目标进行核化处理，核化方式为X^k←(X^k)^TX^k，其中X^k为字典模板，为候选样本；

(7)候选样本采用与字典模板相同的特征，且其每块用字典中所有块进行多特征联合稀疏表示为：

$\underset{W}{min}\frac{1}{2}\underset{k=1}{\overset{K}{\Σ}}{||\underset{j=1}{\overset{J}{\Σ}}(y_j^k-X^k{w}_j^k)||}_2^2+\mathrm{\λ}\underset{j=1}{\overset{J}{\Σ}}{||w_j||}_2$

其中表示第j类候选样本，是与第j类候选样本相对应的表示系数，其中表示联合灰度和HOG特征对应于第j类模板的表示系数，λ是一个正则化参数；

(8)求解上述稀疏问题得到相应的稀疏系数；

(9)利用字典中与候选样本块具有相同类别的块及其表示系数进行候选样本每块的误差重构对于第j类块，重构误差计算如下：

${\mathrm{residual}}_j=\underset{k=1}{\overset{K}{\Σ}}{\mathrm{\θ}}^k\[H_j^k-2h_j^k{\hat{w}}_j^k+{\left({\hat{w}}_j^k\right)}^T{G}_j^k{\hat{w}}_j^k\]$

其中 $G_j^k={\mathrm{\φ}}^k{\left(X_j^k\right)}^T{\mathrm{\φ}}^k\left(X_j^k\right),H_j^k={\mathrm{\φ}}^k{\left(y_j^k\right)}^T{\mathrm{\φ}}^k\left(y_j^k\right),{\left\{{\mathrm{\θ}}^k\right\}}_{k=1}^K({\mathrm{\Σ}}_k{\mathrm{\θ}}^k=1)$ 是核权值，用以度量不同特征在最后决策上的置信度大小；

(10)将步骤(9)求得的候选样本的每个块的残差residual_j进行累加，再对所有候选样本按照residual进行排序，最小residual对应的候选样本即为最佳样本；

(11)联合稀疏表示和子空间学习来实现对字典模板的更新。

2.根据权利要求1所述的基于多特征联合稀疏表示的视觉目标跟踪方法，其特征在于：所述步骤(4)中特征包括灰度、HOG、颜色、形状、纹理、边缘、HSV、SIFT、SURF、Harr、LBP中的两种或两种以上组合。

3.根据权利要求1或2所述的基于多特征联合稀疏表示的视觉目标跟踪方法，其特征在于：将原始特征空间扩展到RKHS，将步骤(7)中公式重新写成：

$\underset{W}{min}\frac{1}{2}\underset{k=1}{\overset{K}{\Σ}}{||\underset{j=1}{\overset{J}{\Σ}}(h_j^k-G^k{w}_j^k)||}_2^2+\mathrm{\λ}\underset{j=1}{\overset{J}{\Σ}}{||w_j||}_2$

其中G^k＝φ^k(X^k)^Tφ^k(X^k)是对应第k个特征的字典模板核矩阵，是对应第k个特征的第j个候选样本的核向量，

4.根据权利要求1所述的基于多特征联合稀疏表示的视觉目标跟踪方法，其特征在于：所述步骤(8)中采用KAPG方法进行求解。

5.根据权利要求1所述的基于多特征联合稀疏表示的视觉目标跟踪方法，其特征在于：所述步骤(11)更新模板库间隔为5帧。