CN105184811A - 一种基于结构支持向量机的多尺度目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于结构支持向量机的多尺度目标跟踪方法，利用结构输出支持向量机输出目标的位置估计值，避免了传统分类器对样本标签进行精确估计的需要；通过在线学习的方式更新结构输出支持向量机的参数，实现目标自适应跟踪；采用少量多尺度粒子作为候选样本，克服了传统固定尺度密集采样计算量过大的缺点，并显著提高了方法对目标尺度变化的适应性；提出一种阈值机制来避免支持向量集维数随时间快速无限增长，避免了计算资源的浪费；采用积分图进行Haar-like特征的快速计算，保证了方法的实时性。本发明在复杂背景下有较强鲁棒性，对目标的尺度变化、部分遮挡、旋转、光照变化等有较强适应性，满足实际目标跟踪任务的需要。

Description

一种基于结构支持向量机的多尺度目标跟踪方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于结构支持向量机的多尺度目标跟踪方法。

背景技术

基于视觉的运动目标跟踪是计算机视觉中最热门的研究课题之一，目标跟踪技术在战略与技术侦查、精确打击与武器制导、智能交通、医学诊断、视频监控等领域都有广泛的应用。同时，运动目标跟踪是计算机视觉中包括场景理解、行为识别等更高层任务研究的基础，对于理解人类视觉机制和探索人工智能具有重要意义。目前，国内外学者在目标跟踪领域开展了大量的工作，但由于自然场景中，目标外观会由于遮挡、光照、成像视角、尺度变化、非刚性形变等因素而发生难以预测的变化，使得实现鲁棒、实时的运动目标跟踪仍然面临诸多挑战。

现有的视觉目标跟踪方法可以分为三类：模式匹配法、状态估计法和基于检测的目标跟踪方法。模式匹配法关注于目标建模，通过计算候选样本与目标外观模型的最大相似度来完成目标定位。该类方法只利用了目标的外观信息，忽略了运动信息，当目标外观变化较大时会导致丢失。运动估计法是一种跟踪算法框架，可以与多种目标建模方法相结合，其实质是根据已有观测数据对目标状态进行估计，再用观测值来修正估计值的过程，常用的有卡尔曼滤波、粒子滤波等。基于检测的目标跟踪方法是近年来的研究热点，将跟踪问题视为检测问题，即通过建立在线更新的分类器来实现目标与背景的分离，弥补了传统方法忽略大量背景信息的缺点，且对目标外观变化有较强适应性。目前典型的基于检测的跟踪方法包括Struck(StructuredOutputTrackingwithKernels)、CT(compressivetracking)、TLD(Tracking-Learning-Detection)等。

结构输出跟踪(Struck)由于其高鲁棒性而得到广泛关注，采用结构输出支持向量机可以直接输出目标位置的估计值，避免了传统方法中输出样本标签的中间步骤，但该方法存在两个问题：一是采用固定尺度采集样本，而目标在运动过程中尺度会不断变化，这大大限制了该方法的应用范围；二是没有考虑目标的运动信息，当目标外观变化较大或运动较快时容易跟踪失败。因此，基于结构输出支持向量机的目标跟踪方法仍需进行改进以提高其跟踪精度。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于结构支持向量机的多尺度目标跟踪方法，方法对运动目标的尺度变化、外观变化有较强鲁棒性。

技术方案

一种基于结构支持向量机的多尺度目标跟踪方法，其特征在于步骤如下：

步骤1、系统初始化：读取目标的初始位置initBB＝(init_x,init_y,init_w,init_h),其中(init_x,init_y)表示矩形目标框左上角点的位置，(init_w,init_h)表示宽和高，并计算第一帧图像中目标的Haar-like特征x₀；

根据目标的初始位置，构建n个粒子；所述每个粒子的参数包括位置(xMin,yMin)、宽高(width,height)、尺度s和特征V；将每个粒子的当前k时刻、(k-1)时刻、(k-2)时刻参数值均初始化为s＝1，V＝x₀，(xMin,yMin,width,height)＝initBB，width＝init_w×s,height＝init_h×s；

步骤2、利用二阶模型对每个粒子状态进行预测：

利用二阶模型i＝1,2,...,n.预测每个粒子的当前状态，生成一组以上一帧目标位置为中心、不同位置、不同尺度的粒子集Par＝(P₀,P₁,...P_n)；

其中：表示第i个粒子在k时刻的状态，w_k表示零均值白噪声，A和B分别为常数；

步骤3、多尺度目标跟踪：

读取第t帧图像，以步骤2中生成的粒子集Par＝(P₀,P₁,...P_n)作为目标的候选样本集，由结构输出支持向量机的判别函数计算Par中所有样本的响应值，以响应值最大的样本P_max所对应的粒子位置作为目标的估计位置， $y_t=\underset{y\∈Y}{\arg \max }F(x_i,y);$

其中：表示第j个支持向量的系数，(x_i,y)、分别表示候选样本和支持向量的Haar-like特征和位置，表示高斯核函数，衡量候选样本(x_i,y)与支持向量的相似度，Φ(x_i,y)表示特征映射；y_t表示第t帧目标的估计位置，Y表示候选样本的位置集；

步骤4、结构输出支持向量机更新两组独立数据：

所述两组独立数据为支持模式集SP和支持向量集SV；

所述支持模式集SP是：保存每一帧目标附近样本的特征向量x和位置信息BB；

所述支持向量集SV是：一个支持向量引用某个支持模式中的某个样本，保存该样本的特征x、位置BB、系数β、梯度g；

更新过程如下：

a)添加新支持模式SP_t：首先以第t帧目标位置BB为中心进行固定尺度的极坐标采样，得到样本集S＝((x₀,y₀),(x₁,y₁)...((x_m,y_m))，其中x_i为特征，y_i为位置，将该样本集添加入支持模式集SP中；(x₀,y₀)为第t帧目标信息，将其作为正支持向量添加入SV中，记为s⁺；然后由结构输出支持向量机的判别函数计算S中每个样本的响应值，由g_i(y)＝-Δ(y,y_i)-F(x_i,y)计算每个样本的梯度值，其中Δ(y,y_i)表示第t帧目标位置y_i与样本框y的重叠率，由求得，将梯度值最小的样本作为负支持向量添加入支持向量集，记为s^-；最后由Sequentialminimaloptimization优化算法进行s⁺及s^-的参数更新；

b)更新支持模式集SP：随机选取一个支持模式，由引用该支持模式的支持向量计算上述样本集S中梯度值最大且满足β＜δ(y,y_i)C的样本作为正支持向量，记为s⁺，其中 $\mathrm{\δ}(y,y_i)=\left\{\begin{array}{c}1,y=y_i\\ 0,y\≠y_i\end{array}\right.,$ C为常数；在所有支持模式中，将梯度值最小的样本作为负支持向量，记为s^-；由Sequentialminimaloptimization优化算法进行s⁺及s^-的参数更新；

c)优化支持模式集SP：随机选取一个支持模式，同b)中方法选取正支持向量s⁺；由计算得到负支持向量s^-；由Sequentialminimaloptimization优化算法进行s⁺及s^-的参数更新；

d)阈值机制：若支持向量集维数超过阈值，则移除引起权向量改变最小的负支持向量(x_r,y)，权向量 $\stackrel{\‾}{w}={\mathrm{\β}}_r^{y^2}\{k(x_r,y,x_r,y)+k(x_r,y_r,x_r,y_r)-2k(x_r,y,x_r,y_r)\};$

步骤5：根据步骤3中最大得分粒子P_max重置所有粒子的参数，读取下一帧图像，返回步骤2。

多次迭代步骤4中的b)、c)、d)以提高支持向量参数的准确度。

所述常数A和B的取值范围为A＝1～2，B＝-1～1。

有益效果

本发明提出的一种基于结构支持向量机的多尺度目标跟踪方法，利用结构输出支持向量机输出目标的位置估计值，避免了传统分类器对样本标签进行精确估计的需要；通过在线学习的方式更新结构输出支持向量机的参数，实现目标自适应跟踪；采用少量多尺度粒子作为候选样本，克服了传统固定尺度密集采样计算量过大的缺点，并显著提高了方法对目标尺度变化的适应性；提出一种阈值机制来避免支持向量集维数随时间快速无限增长，避免了计算资源的浪费；采用积分图进行Haar-like特征的快速计算，保证了方法的实时性。本发明在复杂背景下有较强鲁棒性，对目标的尺度变化、部分遮挡、旋转、光照变化等有较强适应性，满足实际目标跟踪任务的需要。

附图说明

图1：基于结构输出支持向量机的多尺度目标跟踪方法流程图；

图2：本发明与Struck算法、CT算法对人脸的跟踪结果对比图；

(a)本发明方法跟踪结果；(b)Struck跟踪结果；(c)CT跟踪结果；

图3：本发明与Struck算法、CT算法对汽车的跟踪结果对比图；

(a)本发明方法跟踪结果；(b)Struck跟踪结果；(c)CT跟踪结果。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：因特尔酷睿2双核2.93G计算机、2.0GB内存、512M显卡，运行的软件环境是：VisualStudio2010，Windows7。我们用C++及opencv实现了本发明提出的方法。

本发明具体实施如下：

步骤1、系统初始化：读取目标的初始位置initBB＝(init_x,init_y,init_w,init_h),其中(init_x,init_y)表示目标框的左上角点的位置，(init_w,init_h)表示矩形目标框的宽和高；将图像尺寸调整为240×320，并计算第一帧图像中目标的灰度Haar-like特征x₀；

所述Haar-like特征是一种矩形特征，反应图像的灰度变化，可通过积分图进行快速计算。本实施例选取了6种不同类型的Haar-like特征，包括两种边缘特征、两种线性特征，中心环绕特征、对角线特征，每种特征取32个矩形框，最终生成192维的特征向量，然后将特征值归一化到[-1,1]范围内，为了降低跟踪方法的随机性，在取32个矩形框时，采用均匀网格(2×4×4)的方式。

构建n个粒子，粒子参数包括位置(xMin,yMin)、宽高(width,height)、尺度s、特征V，将每个粒子的当前k时刻、(k-1)时刻、(k-2)时刻的参数值均初始化为s＝1，V＝x₀，(xMin,yMin,width,height)＝initBB。本实施例中n＝800，且粒子宽、高同比例变化，即width＝init_w×s,height＝init_h×s。

步骤2、利用二阶模型对粒子状态进行预测：对每个粒子，利用其(k-1)、(k-2)帧的状态信息预测当前帧的状态，具体公式为：

$\left\{\begin{array}{c}{x}_k\left(i\right)={\mathrm{Ax}}_{k-1}\left(i\right)+{\mathrm{Bx}}_{k-2}\left(i\right)+w_k^x\\ y_k\left(i\right)={\mathrm{Ay}}_{k-1}\left(i\right)+{\mathrm{By}}_{k-2}\left(i\right)+w_k^y\\ s_k\left(i\right)={\mathrm{As}}_{k-1}\left(i\right)+{\mathrm{Bs}}_{k-2}\left(i\right)+w_k^s\end{array}\right.$

其中x_k(i)，y_k(i)表示第i个粒子的左上角点坐标、s_k(i)表示第i个粒子的尺度， 分别表示三个状态的零均值白噪声，由此生成一组以上一帧目标位置为中心、不同位置、不同尺度的粒子集Par＝(P₀,P₁,...P_n)。本实施例中，A＝1.5，B＝-0.5，标准差分别为sd_x＝10,sd_y＝10,sd_s＝0.06。

步骤3、多尺度目标跟踪：读取第t帧图像，将其调整为240×320，以步骤2中生成的粒子集Par＝(P₀,P₁,...P_n)作为目标的候选样本集，由结构输出支持向量机的判别函数计算Par中所有样本的响应值，其中表示第j个支持向量的系数，(x_i,y)、分别表示候选样本和支持向量的Haar-like特征和位置，表示高斯核函数，衡量候选样本(x_i,y)与支持向量的相似度，Φ(x_i,y)表示特征映射；

响应值最大的样本P_max所对应的粒子位置即目标的估计位置，即其中y_t表示第t帧目标的估计位置，Y表示候选样本的位置集。

步骤4、结构输出支持向量机更新：结构输出支持向量机包含两组独立数据：一是支持模式集SP，保存每一帧目标周围所有样本的特征向量x和位置信息BB；二是支持向量集SV，一个支持向量引用某个支持模式中的某个样本,保存该样本的特征x、位置BB、系数β、梯度g。对SP和SV的更新需要四个过程：

a)添加新支持模式SP_t：首先以第(t-1)帧目标位置BB_t为中心、搜索半径为30像素、半径步长为12像素、相位步长为22.5°进行固定尺度的极坐标采样，得到81维的样本集S＝((x₀,y₀),(x₁,y₁)...((x₈₀,y₈₀))，其中x为特征，y为位置，将该样本集添加到支持模式集SP中；(x₀,y₀)为第t帧目标信息，将其作为正支持向量添加入SV中，记为s⁺；然后由结构输出支持向量机的判别函数计算S中所有样本的响应值，由g_i(y)＝-Δ(y,y_i)-F(x_i,y)计算每个样本的梯度值，其中Δ(y,y_i)表示第t帧目标位置y_i与样本框y的重叠率，由求得，将梯度值最小的样本作为负支持向量添加入支持向量集，记为s^-；最后由Sequentialminimaloptimization(SMO)优化算法进行s⁺及s^-的参数更新。本实施例中高斯核函数 $k(x,\stackrel{\‾}{x})=\exp (-0.2{\left|\right|x-\stackrel{\‾}{x}\left|\right|}^2).$

所述Sequentialminimaloptimization(SMO)优化算法包括系数更新、梯度更新两部分：

系数更新：由 $\left\{\begin{array}{c}{\mathrm{\β}}_i^{y^{+}}\←{\mathrm{\β}}_i^{y^{+}}+\mathrm{\λ}\\ {\mathrm{\β}}_i^{y^{-}}\←{\mathrm{\β}}_i^{y^{-}}-\mathrm{\λ}\end{array}\right.$ 更新支持向量的系数β，

其中 ${\mathrm{\Σ}}_y{\mathrm{\β}}_i^y=0,\mathrm{\λ}=\max (0,\min ({\mathrm{\λ}}^u,\mathrm{C\δ}(s^{+},y_i)-{\mathrm{\β}}_i^{y^{+}})),{\mathrm{\λ}}^u=\frac{g_i\left(s^{+}\right)-g_i\left(s^{-}\right)}{k_{00}+k_{11}-2k_{01}},$

高斯核映射值 $\left\{\begin{array}{c}{k}_{00}=<\mathrm{\&Phi;}(x_i,s^{+}),\mathrm{\&Phi;}(x_i,s^{+})>\\ k_{11}=<\mathrm{\&Phi;}(x_i,s^{-}),\mathrm{\&Phi;}(x_i,s^{-})>\\ k_{01}=<\mathrm{\&Phi;}(x_i,s^{+}),\mathrm{\&Phi;}(x_i,s^{-})>\end{array}\right.;$

梯度更新：由g_j(y)←g_j(y)-λ(k₀-k₁)更新所有支持向量的梯度g，其中k₀＝＜Φ(x_j,s),Φ(x_i,s⁺)＞，k₁＝＜Φ(x_j,y),Φ(x_i,s^-)＞，Φ(x_j,y)为已有支持向量的特征映射，Φ(x_i,s)为新支持向量的特征映射。

b)更新支持模式集SP：随机选取一个支持模式，由引用该支持模式的支持向量计算上述样本集S中梯度值最大且满足β＜δ(y,y_i)C的样本作为正支持向量，记为s⁺，其中 $\mathrm{\&delta;}(y,y_i)=\left\{\begin{array}{c}1,y=y_i\\ 0,y\&NotEqual;y_i\end{array}\right.,$ C为常数100；在所有支持模式中，将梯度值最小的样本作为负支持向量，记为s^-；由Sequentialminimaloptimization(SMO)优化算法进行s⁺及s^-的参数更新。

c)优化支持模式集SP：随机选取一个支持模式，同b)中方法选取正支持向量s⁺；由计算得到负支持向量s^-；由Sequentialminimaloptimization(SMO)优化算法进行s⁺及s^-的参数更新。

d)阈值机制：若支持向量集维数超过阈值，则移除引起权向量改变最小的负支持向量(x_r,y)，权向量 $\stackrel{\&OverBar;}{w}={\mathrm{\&beta;}}_r^{y^2}\{k(x_r,y,x_r,y)+k(x_r,y_r,x_r,y_r)-2k(x_r,y,x_r,y_r)\},$ 本实施例取阈值为100。

将b)、c)、d)迭代10次以提高支持向量参数的准确度。

步骤5、根据步骤4中最大得分粒子P_max重置所有粒子的参数，读取下一帧图像，返回步骤2。

Claims (3)

1.一种基于结构支持向量机的多尺度目标跟踪方法，其特征在于步骤如下：

步骤1、系统初始化：读取目标的初始位置initBB＝(init_x,init_y,init_w,init_h),其中(init_x,init_y)表示矩形目标框左上角点的位置，(init_w,init_h)表示宽和高，并计算第一帧图像中目标的Haar-like特征x₀；

根据目标的初始位置，构建n个粒子；所述每个粒子的参数包括位置(xMin,yMin)、宽高(width,height)、尺度s和特征V；将每个粒子的当前k时刻、(k-1)时刻、(k-2)时刻参数值均初始化为s＝1，V＝x₀，(xMin,yMin,width,height)＝initBB，width＝init_w×s,height＝init_h×s；

步骤2、利用二阶模型对每个粒子状态进行预测：

利用二阶模型预测每个粒子的当前状态，生成一组以上一帧目标位置为中心、不同位置、不同尺度的粒子集Par＝(P₀,P₁,...P_n)；

其中：表示第i个粒子在k时刻的状态，w_k表示零均值白噪声，A和B分别为常数；

步骤3、多尺度目标跟踪：

读取第t帧图像，以步骤2中生成的粒子集Par＝(P₀,P₁,...P_n)作为目标的候选样本集，由结构输出支持向量机的判别函数计算Par中所有样本的响应值，以响应值最大的样本P_max所对应的粒子位置作为目标的估计位置， $y_t=\underset{y\&Element;Y}{\arg \max }F(x_i,y);$

其中：表示第j个支持向量的系数，(x_i,y)、分别表示候选样本和支持向量的Haar-like特征和位置，表示高斯核函数，衡量候选样本(x_i,y)与支持向量的相似度，Φ(x_i,y)表示特征映射；y_t表示第t帧目标的估计位置，Y表示候选样本的位置集；

步骤4、结构输出支持向量机更新两组独立数据：

所述两组独立数据为支持模式集SP和支持向量集SV；

所述支持模式集SP是：保存每一帧目标附近样本的特征向量x和位置信息BB；

所述支持向量集SV是：一个支持向量引用某个支持模式中的某个样本，保存该样本的特征x、位置BB、系数β、梯度g；

更新过程如下：

a)添加新支持模式SP_t：首先以第t帧目标位置BB为中心进行固定尺度的极坐标采样，得到样本集S＝((x₀,y₀),(x₁,y₁)...((x_m,y_m))，其中x_i为特征，y_i为位置，将该样本集添加入支持模式集SP中；(x₀,y₀)为第t帧目标信息，将其作为正支持向量添加入SV中，记为s⁺；然后由结构输出支持向量机的判别函数计算S中每个样本的响应值，由g_i(y)＝-Δ(y,y_i)-F(x_i,y)计算每个样本的梯度值，其中Δ(y,y_i)表示第t帧目标位置y_i与样本框y的重叠率，由求得，将梯度值最小的样本作为负支持向量添加入支持向量集，记为s^-；最后由Sequentialminimaloptimization优化算法进行s⁺及s^-的参数更新；

b)更新支持模式集SP：随机选取一个支持模式，由引用该支持模式的支持向量计算上述样本集S中梯度值最大且满足β＜δ(y,y_i)C的样本作为正支持向量，记为s⁺，其中 $\mathrm{\&delta;}(y,y_i)=\left\{\begin{array}{c}1,y=y_i\\ 0,y\&NotEqual;y_i\end{array}\right.,$ C为常数；在所有支持模式中，将梯度值最小的样本作为负支持向量，记为s^-；由Sequentialminimaloptimization优化算法进行s⁺及s^-的参数更新；

c)优化支持模式集SP：随机选取一个支持模式，同b)中方法选取正支持向量s⁺；由计算得到负支持向量s^-；由Sequentialminimaloptimization优化算法进行s⁺及s^-的参数更新；

d)阈值机制：若支持向量集维数超过阈值，则移除引起权向量改变最小的负支持向量(x_r,y)，权向量 $\stackrel{\&OverBar;}{w}={\mathrm{\&beta;}}_r^{y^2}\{k(x_r,y,x_r,y)+k(x_r,y_r,x_r,y_r)-2k(x_r,y,x_r,y_r)\};$

步骤5：根据步骤3中最大得分粒子P_max重置所有粒子的参数，读取下一帧图像，返回步骤2。

2.根据权利要求1所述基于结构支持向量机的多尺度目标跟踪方法，其特征在于：多次迭代步骤4中的b)、c)、d)以提高支持向量参数的准确度。

3.根据权利要求1所述基于结构支持向量机的多尺度目标跟踪方法，其特征在于：所述常数A和B的取值范围为A＝1～2，B＝-1～1。