CN104091349B - 基于支持向量机的鲁棒目标跟踪方法 - Google Patents

Abstract

基于支持向量机的鲁棒目标跟踪方法，包括样本选择和支持向量更新、基于结构化支持向量机的在线目标跟踪、卡尔曼修正以及目标重定位。本发明针对视频场景中由于目标运动交叉、半遮挡或暂时离开画面时产生误差累积，从而造成的跟踪漂移问题提出改进方法。对于目标运动交叉或半遮挡，提出采用帧间目标匹配度波动值决定更新支持向量，并结合卡尔曼滤波修正跟踪结果；对于目标暂时离开画面，采用停止更新支持向量和更改搜索策略的方法进行目标重定位。本发明提高了跟踪的实时性和鲁棒性，有效解决了由于误差累积造成的跟踪漂移问题。

Description

基于支持向量机的鲁棒目标跟踪方法

技术领域

本发明是视频目标跟踪中跟踪漂移领域，具体涉及视频图像处理技术领域。

背景技术

目标跟踪技术是智能视频目标跟踪系统中的核心技术之一，它的基本任务是在序列图像中根据视频信息在空间和时间上的相关性，确定目标在每一帧的位置和姿态。随着世界反恐、公共安全和平安城市等的需要，安防成为视频目标跟踪应用的重要领域，但是目前视频监控设施的智能化水平较低，大部分只是进行视频数据记录，以供事后查询，而视频目标行为分析和跟踪等功能则不能满足现实需要。

视频目标跟踪主要有基于学习、基于特征和基于区域的跟踪方法。目前，由于基于学习的跟踪方法鲁棒性和区分性较好，逐渐引起相关学者的关注。基于学习的方法包括两类，一个是生成模型类的跟踪方法，一个是判别模型类的跟踪方法。生成模型类的跟踪方法估计观测数据的联合概率分布，生成目标的外观模型，根据最大化数据似然概率获得与目标最匹配的检索图像块并标记出来，从而实现跟踪。优点是能充分利用目标的外观模型，并且对光照和颜色变化不敏感；缺点是不能充分利用背景信息，区分性较差，且在复杂背景下易受到干扰。判别模型类的跟踪方法估计观测数据的条件概率分布，寻找能把目标和背景分离开的最优分类面。由于分类边界比较灵活，所以这种跟踪方法的区分性较好。缺点是相对于生成模型类的方法来说，判别模型类的方法只能判断目标是哪一类，而不能描述目标的外观，即不能充分反映训练数据本身的特性。

一个完整的目标跟踪算法必须能准确的检测出目标，获得目标的重要信息，同时能够有效的在一定干扰下进行准确跟踪。当前目标跟踪技术主要有以下一些难点问题：

(1)鲁棒性：鲁棒性即系统的健壮性，是指跟踪算法在复杂环境条件下能持续、平稳地跟踪目标。所谓的复杂环境包括光照的变化、目标姿态改变或者目标不规则变形等。传统的跟踪算法在特定环境和角度下跟踪效果很好，但在上述复杂环境下跟踪效果往往较差。

(2)实时性：视频目标跟踪算法在实施核心跟踪算法前需要对每一帧图像进行大量运算，包括提取图像特征、像素点比较等。对于视频目标跟踪系统，必须要具备能够实时处理视频图像序列的能力。而实时性和鲁棒性又常常是矛盾的，所以寻求折中是技术的关键。

(3)抗遮挡问题：视频目标在运动过程中会遇到半遮挡或者全遮挡引起的目标暂时离开画面，传统跟踪算法往往跟踪不准确，或者跟踪到别的物体，原因是大多数跟踪算法主要依赖前帧运算得出目标位移变化，如果前帧出现误差，则在后续帧中造成误差累积，从而产生跟踪漂移。虽然已经有相关算法可以解决遮挡问题，但算法的精度和速度降低太多。

论文《Struck:Structured Output Tracking with Kernels》，Computer Vision(ICCV),2011 IEEE International，提出一种基于支持向量机的在线结构化输出跟踪方法，根据上一帧预测目标位置选择样本和更新支持向量，并根据当前帧计算得到的目标位置预测下一帧。由于过度依赖上一帧的预测，且每一帧都更新支持向量，所以当目标遇到半遮挡或全遮挡时容易造成误差累积，从而产生跟踪漂移现象。

发明内容

技术问题：本发明的目的是提供一种基于支持向量机的鲁棒跟踪方法，来解决视频跟踪中由于目标运动交叉、半遮挡或暂时离开画面造成的跟踪漂移问题。

技术方案：本发明的方法是一种策略性的方法，通过引入匹配度波动值样本更新与卡尔曼预测修正相结合的检测跟踪方法达到自适应跟踪。

A1、预处理：

采用手动方式在帧图像中框选跟踪目标，并将跟踪目标设置在跟踪框内，记录目标的坐标以及跟踪框长度和宽度；

卡尔曼滤波器初始化并读取目标初始位置；

A2、特征提取：计算目标区域中图像块的特征向量，建立特征样本群，初始化支持向量池，用于计算样本匹配值；

A3、支持向量更新：与传统直接采用最高匹配值的样本为基样本更新支持向量不同，本发明根据前后帧样本最高匹配度波动值更新支持向量，能及时捕捉目标形变或遮挡造成的变化，避免将背景或障碍物作为目标更新支持向量。若波动值符合阈值T1，则更新支持向量，并将此匹配值最高的样本坐标传到下一帧作为预测目标，若不符合，则此帧不更新支持向量；

A4、基于支持向量机的在线目标跟踪：以预测的目标位置为起点，基于在线结构化支持向量机，结合卡尔曼滤波器，建立运动模型，对目标在线跟踪和位置预测，计算支持向量机预测坐标与卡尔曼预测坐标的欧氏距离；

A5、卡尔曼滤波修正：现有技术仅根据在线支持向量跟踪定位目标，遇到遮挡往往造成跟踪漂移，本发明考虑目标运动的方向和速度，结合卡尔曼滤波修正，对于匹配度波动值符合阈值T₁的目标位置，提取样本和更新支持向量，用svm的预测值更新滤波器；对于不符合阈值T₁的目标位置，使用卡尔曼滤波算法对跟踪的方位进行预测和纠正，同时根据支持向量机预测坐标与卡尔曼预测坐标的欧氏距离决定更新支持向量的方法；

A6、支持向量池溢出限制：当支持向量个数超过限定阈值，并且在不断增加，删除贡献最小的支持向量；

A7、目标重定位：当判定目标离开画面，停止更新支持向量，更改搜索策略，直至重新定位目标。由于在线目标跟踪时不断更新支持向量，保存了目标特征，当目标重新出现在画面，可以及时且精确定位。

进一步地，所述阈值范围匹配度波动值T₁为0.25，svm预测坐标与卡尔曼预测坐标欧氏距离T₂为8。

有益效果：本发明是针对视频目标跟踪中跟踪漂移的解决方案。结合帧间目标匹配度波动值样本更新与卡尔曼滤波修正相结合的检测跟踪算法，考虑目标运动的方向和速度，对场景中发生的目标运动交叉、遮挡现象以及目标暂时离开画面具有较好的实时性和鲁棒性，有效解决了由于误差累积造成的跟踪漂移问题。

附图说明

图1更新支持向量阶段提取样本的方法；

图2卡尔曼滤波器工作流程；

图3基于支持向量机的目标跟踪和卡尔曼修正流程图。

具体实施方式

一、体系结构

1、图1所示的是在更新支持向量阶段提取样本的方法，中心点为当前正样本框的中心，按照平分半径和角度的方法构建样本网群，在半径上交错取点，这种取点方法可以在不减少特征数量的前提下减轻计算量。

2、图2所示的是卡尔曼滤波器的两个部分，分别是时间更新和测量更新，其中，表示k帧目标的位置，u_k-1表示k-1帧对系统的控制量，本文设置u_k-1为零，P_k为误差协方差，Q和R分别是为过程噪声和测量噪声，不随系统状态变化而变化。A为状态转移矩阵： $A=\left[\begin{array}{cccc}1& 0& \mathrm{\Δt}& 0\\ 0& 1& 0& \mathrm{\Δt}\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

H为观测矩阵观测矩阵： $H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]$

3、图3表示基于支持向量机的目标跟踪和卡尔曼预测修正流程图。

二、方法流程

1、基于支持向量机的样本选择

本文采用匹配值最高的样本作为正样本更新支持向量，要获取正样本首先要进行样本采集，采集方法为临近区域搜索法，在二维平面按照Y＝{(x,y)|x²+y²<r²}方式选取样本，本文中r＝30，计算这些样本的特征向量，并与支持向量匹配，本文主要使用Haar特征，在目标整体区域内生成，使用灰度直方图和积分直方图作为判断依据，能有效减少特征计算时间。

匹配函数的表达表示为：F(x)＝<w,Φ(x,y)>，其中Φ<x,y>是核函数，表示特征向量从低维空间到高维空间的映射。为了使获得的F(x)为最大，在一系列训练样本对中用标准拉格朗日对偶技术解决凸二次规划问题：

$\begin{array}{cc}\min & \frac{1}{2}{\left|\right|w\left|\right|}^2+C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&zeta;}}_i\end{array}$

$\begin{array}{c}\begin{array}{ccc}\mathrm{subject}& \mathrm{to}& y_i[\left({\mathrm{wx}}_i\right)+b]\&GreaterEqual;\mathrm{loss}\end{array},(x_i,x)-{\mathrm{\&zeta;}}_i\\ {\mathrm{\&zeta;}}_i\&GreaterEqual;0\end{array}$

其中：ζ_i是松弛变量，C是惩罚因子，C>0是一个常数，控制对错分样本惩罚的程度。loss(x_i,x)为正支持向量x_i对应样本框与特征向量x对应样本框的重叠率。对核函数进行核因子分解，最终将匹配函数化简表示为：

$F(x,y)=\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&beta;}}_i\mathrm{\&Phi;}\left(x\right)*\mathrm{\&Phi;}\left(x_i\right)---\left(3\right)$

其中β_i是各个支持向量的权重，x是测试特征向量，x_i是支持向量。

2、支持向量更新

传统方法采用最高匹配值样本更新，每一帧都会给出这样的样本，但在目标遮挡时，匹配值最高的样本往往不是目标或者偏离目标较远，此时仍然以此样本为正样本更新支持向量，会使得跟踪的精确度下降甚至是跟踪漂移。本文提出用帧间匹配值波动的方法选取正样本，具体如下:

|F_n-F_n-1|<T₁,n>2

T₁为前一帧与当前帧最高匹配值之差的判定值，由于匹配值反映的是与目标的相似程度，如果匹配值的波动突然变大，说明目标出现异常，此时就不可以用最高匹配值对应的样本直接作为正样本更新支持向量，采用卡尔曼滤波器修正。

当波动值符合阈值T₁时，卡尔曼滤波器的预测目标作为参考目标，并用半径搜索法搜索样本用以新支持向量用作svm训练，搜索和更新方法为：以当前匹配值最高的样本为中心，以一定半径交错取点，按照平分半径和角度的方法构成一个样本网群，如图1。

支持向量具体更新方法为：计算每个样本的梯度，选出最大梯度对应的样本，计算其特征向量，归入支持向量队列作为正支持向量；选出梯度最小的样本，计算该样本的特征向量，归入支持向量队列作为负支持向量。采用经典SMO算法对支持向量队列最小优化。这一再训练的过程实现分类器更新最优分界面，同时记录下对决定最优分类面位置起重要作用的的支持向量，这些支持向量以再训练的方式逐帧传递，由于跟踪器可以参考更多的历史信息(支持向量)，所以能更好地适应目标外观变化，确保跟踪的精确性和鲁棒性。

3、基于支持向量机的目标跟踪和卡尔曼修正

在目标跟踪的初始化阶段，第一帧通过人为标定或自动检测来标定运动目标，采用半径搜索方式选取样本，提取哈尔特征，从而获得获得第一批人为标定的样本集合，这些样本被训练出svm初始分类工具。

在后续的帧中，首先在前一帧预测位置按照临近区域搜索法获得样本集合，计算样本与目标的匹配值，并且对符合阈值T₁的样本更新支持向量，同时用该样本坐标更新卡尔曼滤波器。若提取的样本都不符合阈值T₁，则停止更新支持向量，采用卡尔曼预测修正策略。

卡尔曼滤波器(optimal recursive data processing algorithm)利用目标的动态信息，设法去掉噪声的影响，得到一个关于目标位置的好的估计。这个估计可以是对当前目标位置的估计(滤波)，也可以是对于将来位置的估计(预测)，也可以是对过去位置的估计(插值或平滑)。本文采用滤波和预测相结合的方法：

sqrt[(x_i-x_j)^2+(y_i-y_j)^2]<T₂，

其中(x_i,y_i)为svm预测坐标，(x_j,y_j)为卡尔曼预测坐标，T₂为二者欧氏距离判定值。

当样本符合既T₁又符合T₂时采用卡尔曼滤波器预测坐标作为参考更新滤波器，用svm所计算的该样本作为跟踪目标并更新支持向量,由于卡尔曼滤波器一开始不收敛，往往预测坐标与实际位置差别较大，所以不考虑符合T₁但不符合T₂的情况；；

当样本不符合T₁但符合T₂时，用前一帧的卡尔曼预测坐标作为当前帧的跟踪坐标，不更新此帧的支持向量；

当样本既不符合T₁又不符合T₂时，用前一帧的卡尔曼预测坐标作为当前帧的跟踪坐标，并用此卡尔曼预测坐标更新支持向量。

卡尔曼具体更新过程见图2

进一步地，所述阈值范围匹配度波动值T₁为0.25，svm预测坐标与卡尔曼预测坐标欧氏距离T₂为8。

4、目标重定位

当卡尔曼滤波器预测坐标连续三帧超出边界，则判定目标离开画面，停止更新支持向量，采用扩展的半径搜索法搜索目标，直至目标重定位。由于在线目标跟踪时不断更新支持向量，保存了目标特征，当目标重新出现在画面，可以及时且精确定位。

Claims (2)

1.基于支持向量机的鲁棒目标跟踪方法，包括样本选择和支持向量更新、基于结构化支持向量机的在线目标跟踪、卡尔曼修正以及目标重定位；其特征在于，针对目标运动交叉或半遮挡，提出采用帧间目标匹配度波动值决定更新支持向量，并结合卡尔曼滤波修正跟踪结果；针对目标暂时离开画面，采用停止更新支持向量和更改搜索策略的方法进行目标重定位；具体步骤如下：

A1、预处理：

采用手动方式在帧图像中框选跟踪目标，并将跟踪目标设置在跟踪框内，记录目标的坐标以及跟踪框长度和宽度；

卡尔曼滤波器初始化并读取目标初始位置；

A2、特征提取：计算目标区域中图像块的特征向量，建立特征样本群，初始化支持向量池，用于计算样本匹配值；

A3、支持向量更新：与传统直接采用最高匹配值的样本为基样本更新支持向量不同，根据前后帧样本最高匹配度波动值更新支持向量，能及时捕捉目标形变或遮挡造成的变化，避免将背景或障碍物作为目标更新支持向量；若波动值符合阈值T₁，则更新支持向量，并将此匹配值最高的样本坐标传到下一帧作为预测目标，若不符合，则此帧不更新支持向量；

A4、基于支持向量机的在线目标跟踪：以预测的目标位置为起点，基于在线结构化支持向量机，结合卡尔曼滤波器，建立运动模型，对目标在线跟踪和位置预测，计算支持向量机预测坐标与卡尔曼预测坐标的欧氏距离；

A5、卡尔曼滤波修正：仅根据在线支持向量跟踪定位目标，遇到遮挡往往造成跟踪漂移，考虑目标运动的方向和速度，结合卡尔曼滤波修正，对于匹配度波动值符合阈值T₁的目标位置，提取样本和更新支持向量，用svm的预测值更新滤波器；对于不符合阈值T₁的目标位置，使用卡尔曼滤波算法对跟踪的方位进行预测和纠正，同时根据支持向量机预测坐标与卡尔曼预测坐标的欧氏距离决定更新支持向量的方法；

A6、支持向量池溢出限制：当支持向量个数超过限定值，并且在不断增加，删除贡献最小的支持向量；

A7、目标重定位：当判定目标离开画面，停止更新支持向量，更改搜索策略，直至重新定位目标；由于在线目标跟踪时不断更新支持向量，保存了目标特征，当目标重新出现在画面，可以及时且精确定位。

2.根据权利要求1所述的基于支持向量机的鲁棒目标跟踪方法，其特征在于，所述阈值范围匹配度波动值T₁为0.25，svm预测坐标与卡尔曼预测坐标欧氏距离T₂为8。