CN104616319A - 基于支持向量机的多特征选择目标跟踪方法 - Google Patents

Abstract

本发明公开了基于支持向量机的多特征选择目标跟踪方法，其步骤为：获取正负样本，提取样本的多种特征；抽取候选目标，提取目标的多种特征；对所有特征进行核化处理；训练SVM分类器；计算置信值，判别候选目标；更新分类器；评估跟踪性能。本发明能够解决单一特征描述目标能力较差的问题以及克服单一正样本训练的分类器分类能力较弱的缺点，能够在光照影响较大、目标出现严重遮挡等复杂场景下提高目标跟踪器的精度和稳健性。

Description

基于支持向量机的多特征选择目标跟踪方法

技术领域

本发明属于图像处理和计算机视觉领域，特别涉及了基于支持向量机的多特征选择目标跟踪方法。

背景技术

目标跟踪是计算机视觉研究领域中的关键问题，可用于自动监控、机器人导航、人机交互等很多应用领域。对于应用于真实场景的一种稳健的视觉跟踪算法，需要有效地处理目标外观及姿态的改变，快速运动、遮挡，光照影响，背景杂波等多方面的挑战。

目前，主流的目标跟踪方法是将跟踪问题视为分类问题。即在特定区域中将感兴趣的目标从背景中分离出来。南京信息工程大学申请的专利“基于多特征联合稀疏表示的视觉目标跟踪方法”(公开号：CN 103295242A)公开了一种基于多特征联合稀疏表示的视觉目标跟踪方法。该方法采用像素灰度值特征和HOG特征联合描述目标，通过对字典模板和候选样本进行重叠分块并采用分类的思想，利用字典中与候选样本块具有相同类别的块及其表示系数对块进行重构，依据重构误差构建似然函数确定最佳候选样本。同时利用APG方法求解联合特征的稀疏系数，避免了传统方法在处理每帧时都需要执行复杂的l1最小化计算。该方法在目标发生遮挡、尺度变化、快速运动、光照变化等情况时能够稳定地跟踪，但跟踪速度有待进一步提高。北京工业大学申请的专利“基于改进多示例学习算法的运动目标跟踪方法”(公开号：CN 103325125A)公开了一种基于改进的多示例学习算法的目标跟踪方法。该方法根据压缩感知理论设计随机测量矩阵，利用多示例学习算法在当前跟踪结果小邻域内采样示例构成正包，同时在其大邻域圆环内采样示例构成负包，对每个示例，在图像平面提取表征目标的特征，并利用随机感知矩阵对其降维。根据提取的示例特征在线学习弱分类器，并在弱分类器池中选择判别能力较强的弱分类器构成强分类器；当跟踪到新的目标位置时，利用当前跟踪结果与目标模板的相似性分数在线自适应调整分类器更新程度参数。该方法采用的是Haar特征，Haar特征对边缘信息比较敏感，当目标变形或与背景相似时，容易造成跟踪失败。Martin等人研究了在基于检测的跟踪框架下颜色的贡献，提出颜色统计特征在视觉跟踪中提供了优越的性能。该方法跟踪速度很快，能进行实时跟踪，跟踪精度也较高，但当目标尺寸变化较大时，跟踪器不能很好地处理。

发明内容

为了解决上述背景技术提出的问题，本发明旨在提供基于支持向量机的多特征选择目标跟踪方法，该方法能够解决单一特征描述目标能力较差的问题以及克服单一正样本训练的分类器分类能力较弱的缺点，能够在光照影响较大、目标出现严重遮挡等复杂场景下提高目标跟踪器的精度和稳健性。

为了实现上述技术目的，本发明的技术方案为：

基于支持向量机的多特征选择目标跟踪方法，包括以下步骤：

(1)利用简单跟踪器跟踪视频序列的前n帧，将每帧的跟踪结果分别作为一个正样本，共得到n个正样本，同时在当前帧的跟踪结果附近获取若干负样本，分别提取正、负样本的多个特征；

(2)在跟踪过程中，对于新到来的每帧图像，分别抽取N个粒子作为候选目标，并对抽取的候选目标采用步骤(1)中提取正、负样本特征的方式提取目标特征；

(3)对于从正、负样本以及候选目标中提取出的特征进行核化处理，使所有特征的维数达到相同；

(4)利用正、负样本训练支持向量机分类器；

(5)用分类器计算候选目标属于正样本的概率，将具有最大概率值的候选目标作为跟踪结果；

(6)在跟踪过程中，每隔一定帧数对正、负样本进行更新，用更新后的正、负样本重新训练分类器，实现分类器的更新；

(7)采用标准度量准则评估跟踪性能。

步骤(1)中，所述正、负样本的多个特征包括灰度特征和LBP特征。

步骤(2)中，所述候选目标的抽取方法为，在上一帧图像的跟踪目标的周围进行高斯采样，选取跟踪目标的运动仿射参数作为跟踪目标的状态变量S_t＝(ψ_t,β_t,θ_t,s_t,α_t,φ_t)，抽取候选目标；其中ψ_t、β_t、θ_t、s_t、α_t、φ_t分别表示跟踪目标在第t帧x方向上的坐标、y方向上的坐标、旋转角度、尺度变化、宽高比、倾斜度；

步骤(6)中，采用子空间学习的方法更新正样本。

步骤(7)中，所述标准度量准则包括中心误差和跟踪重叠率。

采用上述技术方案带来的有益效果：

(1)本发明不同于传统用单一正样本和多个负样本进行分类器训练的方法，采用不同特征的多个正负样本进行分类器训练，增强了分类器的分类能力；

(2)本发明联合采用不同特征——灰度特征和LBP特征对目标进行描述，弥补了单一特征描述目标能力不足的缺点；

(3)本发明在跟踪过程中，采用子空间学习的方法对正样本集进行更新，较好地处理了遮挡等因素的不良影响；

(4)本发明在目标发生遮挡，旋转，尺度变化，快速运动，光照变化等各种复杂情况下，依然可以准确的跟踪目标，并且达到满意的处理速度。

附图说明

图1为本发明的流程图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

首先，手动或者用一个自动检测器在第一帧中选择需要跟踪的目标。接着，获得目标的正、负样本，获得正样本的方法：在第一帧中提取需要跟踪的目标后，接着利用一个简单跟踪器跟踪视频序列前n帧，将前n帧的跟踪结果作为n个正样本。在当前帧的跟踪结果附近抽取若干个图像块构成负样本集。这里所述“跟踪结果附近”的大小由实际操作决定。

提取正负样本集的灰度特征和LBP特征。将目标正样本图像区域的像素灰度值按列依次排序得到一维列向量作为目标的灰度特征。用表示目标的灰度特征，表示d行1列的解空间。在灰度图像的基础上计算出每个像素点的LBP码，将LBP码按列依次排序得到一维列向量作为目标的LBP特征，用表示目标的LBP特征，表示p行1列的解空间。用和分别表示正样本集的灰度特征和LBP特征，n表示正样本的个数。用同样的方法提取负样本的灰度特征和LBP特征，构成和m表示当前负样本集内的负样本个数。在本实施例中，n的取值为10，m的取值为40。

在新的一帧图像到来时，需要抽取候选目标。在候选样本的产生中，用S_t表示目标在时刻t的目标状态，则p(S_t|S_t-1)可以假设为一个简单的平滑模型。目标跟踪过程中，基于相邻帧之间目标移动很小的特点，对新的一帧图像，可以在上一帧跟踪目标位置周围进行高斯采样。本发明选取目标的运动仿射参数作为目标的状态变量，用向量S_t＝(ψ_t,β_t,θ_t,s_t,α_t,φ_t)表示，其中ψ_t、β_t、θ_t、s_t、α_t、φ_t分别表示目标在第t帧x方向上的坐标、y方向上的坐标、旋转角度、尺度变化、宽高比、倾斜度。假设状态转移模型服从高斯分布，即：

p(S_t|S_t-1)＝N(S_t；S_t-1,Σ)    (1)

式(1)中Σ是一个对角协方差矩阵，其对角元素依次是前述6个运动仿射参数的方差。

对所产生的候选目标，采用前述提取正、负样本特征的方法来提取候选目标的灰度特征和LBP特征，用和分别表示候选目标的灰度特征和LBP特征集合，N表示每帧抽取候选目标的数目，在本实施例中，N的取值为600。

接着用正、负样本训练分类器。为了实现用多种特征训练分类器，需要对不同的特征(包括正负样本集和候选目标的特征)进行核化处理。用和分别表示正、负样本的两种特征集合。和分别表示候选目标的两种特征集合。用统一表示正负样本的两种特征集合，统一表示候选目标的两种特征集合。其中k表示特征索引，m_k表示对应第k个特征的维数。按照下面的方式对和进行核化处理：

经过核化处理，对任意特征k，都有不同的特征核化后的维数只与正、负样本总的个数有关。从而使所有特征在维数上达到了一致，便于不同特征之间的融合。在本实施例中，n＝10，m＝40，k＝2，d＝m₁＝1024，p＝m₂＝900，N＝600。

本发明采用训练支持向量机(SVM)的方法对不同特征的正负样本进行训练。已知的目标正负样本可以归为一个训练集：x_i是训练样本的特征向量，y_i是训练样本对应的标签，即y_i∈{-1,+1}。为使分类器对所有样本正确分类并具备分类间隔，要求其满足：

y_i[(w·x_i)+b]≥1,i＝1,2,…c    (2)

其中，w为权值向量，b为偏置。由此可得分类间隔为2/||w||，于是采用带约束的最小值问题即可以代替构造最优超平面的问题：

$\min \mathrm{\Φ}\left(w\right)=\frac{1}{2}{\left|\right|w\left|\right|}^2=\frac{1}{2}(w^{\′}\·w)---\left(3\right)$

引入Lagrange函数：

$L=\frac{1}{2}{\left|\right|w\left|\right|}^2-\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{a}_i{y}_i(w\·x_i+b)+\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{a}_i---\left(4\right)$

其中，a_i＞0为Lagrange系数。将该QP(quadratic programming)问题转化为下列对偶问题(a＝(a₁,a₂,…a_c))：

$\max Q\left(a\right)=\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{a}_j-\frac{1}{2}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{a}_i{a}_j{y}_i{y}_j\left(x_i{x}_j\right),$

$s.t.\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{a}_i{a}_j=0,a_j\≥0,j=\mathrm{1,2},...c---\left(5\right)$

经计算，最优权值向量w^*和最优偏置b^*分别为

$w^{*}=\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{a}_j^{*}{y}_j{x}_j---\left(6\right)$

$b^{*}=y_i-\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{y}_j{a}_j^{*}(x_j\·x_i)---\left(7\right)$

其中，因此得到最优分类面(w^*·x)+b^*＝0，进而得到最优分类函数为

$f\left(x\right)=\mathrm{sgn}\{(w^{*}\·x)+b^{*}\}=\mathrm{sgn}\{\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{a}_j^{*}{y}_j(x_j\·x_i)+b^{*}\}---\left(8\right)$

用训练得到的分类器对候选目标的不同特征分别进行分类判别，得到f(Y^k)＝sgn{(w^*·Y^k)+b^*}。将判别后的值映射到logistic函数上，候选目标是正样本的概率即为通过对不同特征的候选目标是正样本的概率大小比较，实现特征的选择并实现对目标的跟踪，将具有最大概率值的候选目标作为跟踪结果，即目标的跟踪结果为

接着，对样本及分类器进行更新。本发明在跟踪过程中，每隔5帧数使用子空间学习的方法对正样本集进行更新。在大部分的跟踪方法中，早期的跟踪结果相对精确一些，因此它们应该在正样本集中存储更长的时间，平衡新旧正样本的一种有效方式就是给它们分配不同的更新概率。我们首先产生一个累积的概率序列：

$L_p=\{0,\frac{1}{2^{n-1}-1},\frac{3}{2^{n-1}-1},...,\frac{2^{i-1}-1}{2^{n-1}-1}\},i=\mathrm{1,2},...,n---\left(9\right)$

其中，n表示正样本个数，可以看出该累积序列的特点是前面密集后面稀疏。然后在0到1之间产生一个随机数r，根据随机数r的大小在上述累积序列中所处的位置来确定需要更新的正样本。通过这样的更新方式将会致使老的正样本更新较慢，而新的正样本更新较快，从而可以克服跟踪漂移问题。接下来联合稀疏表示和子空间学习来实现对正样本集的更新。我们用正样本集的目标灰度特征执行增量学习方法(incremental learning method)，得到特征基向量(eigenbasis vectors)构成的矩阵U、特征基向量的系数q。则目标估计值可建模成PCA基向量和遮挡模板的线性组合：

式(10)中表示观测向量，e表示中被遮挡或干扰的像素。由于因遮挡或噪声引起的误差是随机的并且稀疏的，因此我们可以将此问题看成以下l₁正则化最小二乘问题：

式(11)中H＝[U I]，μ＝[q e]^T，λ是一个正则化参数。通过求解式(11)得到q和e，将重构图像用于替代被更新的正样本。采用这种正样本集更新方法，可以适应目标外观的改变并能很好地处理部分遮挡。重构图像即是更新后的正样本的灰度特征，通过灰度特征可以得到该样本的LBP特征，在当前帧抽取若干负样本提取灰度特征和LBP特征，根据得到的正负样本集训练新的分类器实现对目标的跟踪。实验发现，本发明在目标发生外观变化、遮挡、光照改变等复杂情况时，子空间学习的方法能够对最新的跟踪结果进行重构，将重构图像更新进正样本集中，使得正样本集在消除遮挡、光照改变等不良情况下，既保留了老的正样本，又将目标当前的变化情况更新进来。用子空间学习的方法对正样本集进行更新进而训练新的分类器能够应对诸多复杂情况，实现对目标的准确、稳定的跟踪。

最后对跟踪结果进行度量。本发明采用两种度量准则来定量评估跟踪性能。第一种是真实值与跟踪结果中心位置的距离，距离越小表示跟踪结果越精确；另一种称为the success rate，若给定跟踪结果R_T和真实值R_G，则the success rate计算如下：

$\mathrm{score}=\frac{\mathrm{area}(R_T\∩R_G)}{\mathrm{area}(R_T\∪R_G)}---\left(12\right)$

式(12)中，area(x)表示取x的面积，“∩”表示取交集，“∪”表示取并集，score值越大表示跟踪结果越好。

本发明通过对不同特征的多个正负样本训练分类器，用分类器对候选粒子的不同特征进行判决，进而实现了特征的选择并取得了较好地跟踪结果。同时用子空间学习的方法对正样本集进行更新有效地克服了遮挡、光照变化等不良影响。通过与其他经典跟踪方法的对比发现，本发明具有一定的优势。表1和表2分别展示了本发明与其他跟踪方法在平均中心位置误差和目标框的平均重叠率上的对比情况，其他跟踪方法有Frag、IVT、MIL、VTD、TLD、APGL1、MTT、LSAT、SCM、ASLAS、OSPT，Ours表示本发明方法。

表1

表2

视频序列	Frag	IVT	MIL	VTD	TLD	APGL1	MTT	LSAT	SCM	ASLAS	OSPT	Ours
													Car4	0.22	0.92	0.34	0.73	0.64	0.70	0.53	0.91	0.89	0.89	0.92	0.91
Car11	0.09	0.81	0.17	0.43	0.38	0.83	0.58	0.49	0.79	0.81	0.81	0.82
													animal	0.08	0.22	0.21	0.58	0.41	0.45	0.60	0.35	0.46	0.62	0.61	0.62
Caviar1	0.68	0.28	0.25	0.83	0.70	0.28	0.45	0.85	0.91	0.90	0.89	0.81
													Occlusion1	0.90	0.85	0.59	0.77	0.65	0.87	0.79	0.90	0.93	0.83	0.91	0.92
Face	0.39	0.44	0.15	0.24	0.62	0.14	0.26	0.69	0.36	0.21	0.68	0.74
													singer	0.34	0.66	0.34	0.79	0.41	0.83	0.32	0.52	0.85	0.78	0.82	0.85
Caviar2	0.56	0.45	0.26	0.67	0.66	0.32	0.33	0.28	0.81	0.35	0.71	0.69
													Owl	0.09	0.22	0.09	0.12	0.60	0.17	0.09	0.13	0.79	0.78	0.48	0.73
Average	0.37	0.54	0.27	0.57	0.56	0.51	0.44	0.57	0.75	0.69	0.76	0.79

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.基于支持向量机的多特征选择目标跟踪方法，其特征在于，包括以下步骤：

(1)利用简单跟踪器跟踪视频序列的前n帧，将每帧的跟踪结果分别作为一个正样本，共得到n个正样本，同时在当前帧的跟踪结果附近获取若干负样本，分别提取正、负样本的多个特征；

(2)在跟踪过程中，对于新到来的每帧图像，分别抽取N个粒子作为候选目标，并对抽取的候选目标采用步骤(1)中提取正、负样本特征的方式提取目标特征；

(3)对于从正、负样本以及候选目标中提取出的特征进行核化处理，使所有特征的维数达到相同；

(4)利用正、负样本训练支持向量机分类器；

(5)用分类器计算候选目标属于正样本的概率，将具有最大概率值的候选目标作为跟踪结果；

(6)在跟踪过程中，每隔一定帧数对正、负样本进行更新，用更新后的正、负样本重新训练分类器，实现分类器的更新；

(7)采用标准度量准则评估跟踪性能。

2.根据权利要求1所述基于支持向量机的多特征选择目标跟踪方法，其特征在于：步骤(1)中，所述正、负样本的多个特征包括灰度特征和LBP特征。

3.根据权利要求1所述基于支持向量机的多特征选择目标跟踪方法，其特征在于：步骤(2)中，所述候选目标的抽取方法为，在上一帧图像的跟踪目标的周围进行高斯采样，选取跟踪目标的运动仿射参数作为跟踪目标的状态变量S_t＝(ψ_t,β_t,θ_t,s_t,α_t,φ_t)，抽取候选目标；其中ψ_t、β_t、θ_t、s_t、α_t、φ_t分别表示跟踪目标在第t帧x方向上的坐标、y方向上的坐标、旋转角度、尺度变化、宽高比、倾斜度。

4.根据权利要求1所述基于支持向量机的多特征选择目标跟踪方法，其特征在于：步骤(6)中，采用子空间学习的方法更新正样本。

5.根据权利要求1所述基于支持向量机的多特征选择目标跟踪方法，其特征在于：步骤(7)中，所述标准度量准则包括中心误差和跟踪重叠率。