CN106326924A - 一种基于局部分类的目标跟踪方法及系统 - Google Patents

Abstract

本发明提供一种基于局部分类的目标跟踪方法及系统，包括基于第一帧进行正样本和负样本的采集，进行训练样本集和验证样本集的划分；对训练样本集进行局部块的采样，训练目标的局部分类器，获取目标模型；然后基于粒子滤波框架在后续帧图片中采取候选，对于每一个候选采取局部块，采用相应的局部分类器进行估计，目标的位置更新为取得最大置信度的候选所在的位置。因此，本发明提出了通过对目标局部块的联合跟踪，克服了基于全局目标跟踪无法解决的遮挡条件下跟踪漂移的问题。进一步地，提出了一种基于双重阈值约束的样本更新方式，并基于目标的时域稳定性更新局部分类器的权重，能有效地判断并抑制局部遮挡，同时避免了随机性和偶然性。

Description

一种基于局部分类的目标跟踪方法及系统

技术领域

本发明属于计算机视觉领域，尤其涉及一种基于局部分类的目标跟踪方法及系统。

背景技术

目标跟踪是在连续的图像或视频序列中估计出感兴趣目标的运动状态和运动轨迹，是计算机视觉的一个重要分支，广泛应用于行为分析、视频监控、智慧交通、国防建设等各个领域。近年来，尽管目标跟踪已经取得了很大的进展^[1-5]，但是由于光照变化、尺度变化、以及局部遮挡等环境因素的影响，当前的跟踪算法的鲁棒性和稳定性还具有一定的局限性。

现有的目标跟踪算法大致可归为生成式方法和判别式方法。生成式方法是指在图像区域中找到与运动目标模型最相似的区域以实现跟踪。而判别式跟踪方法把跟踪看成二分类问题，旨在构造一个分类器将目标和背景区分出来。如Kalal等人提出一种P-N学习方法以利用正负样本之间的结构关系来学习一个分类器从而实现跟踪^[2]。

然而现有的大多数判别式跟踪方法通常把目标看成一个整体而建模，当目标发生局部遮挡时，往往导致跟踪发生漂移。此外，在跟踪过程中，由于目标外貌的变化，目标模型的更新显得尤为重要，对于判别式方法，如何有效地更新正负样本是模型更新的关键，传统样本更新方法常将最新跟踪结果作为正样本更新，进而采集负样本，跟踪发生错误时，模型会因采集到的错误样本而大大降低了判别力。尽管有方法提出将当前跟踪结果置信度作为判断依据，但更新效率仍很低下，模型无法很好地适应跟踪过程中的目标外貌变化。

因此如何为目标构建鲁棒的目标模型，如何构建更新模型以适应目标外貌变化是大多数研究者争相探索的问题。针对以上问题，本发明提出了一种基于局部分类的目标跟踪技术方案。

相关参考文献：

[1]Henriques J F,Caseiro R,Martins P,et al.High-speed tracking withkernelized correlation filters[J].IEEE Transactions on Pattern Analysis andMachine Intelligence,2015,37(3):583-596.

[2]Kalal Z,Mikolajczyk K,Matas J.Tracking-learning-detection[J].IEEEtransactions on pattern analysis and machine intelligence,2012,34(7):1409-1422.

[3]Zhang K,Zhang L,Yang M H,et al.Fast tracking via spatio-temporalcontext learning[J].arXiv preprint arXiv:1311.1939,2013.

[4]Danelljan M,Shahbaz Khan F,Felsberg M,et al.Adaptive colorattributes for real-time visual tracking[C].Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2014:1090-1097.

[5]Danelljan M,Hager G,Shahbaz Khan F,et al.Learning spatiallyregularized correlation filters for visual tracking[C].Proceedings of theIEEE International Conference on Computer Vision.2015:4310-4318.

[6]Wu Y,Lim J,Yang M H.Online object tracking:A benchmark[C].Proceedings of the IEEE conference on computer vision and patternrecognition.2013:2411-2418.

发明内容

针对现有判别式跟踪方法存在的问题：1)通常将目标看成一个整体进行建模而训练全局分类器，在遮挡场景下容易发生跟踪漂移问题，2)传统样本更新方法中更新样本时，更新约束单一，更新效率低，使得模型无法很好地适应目标外貌变化，因此，本发明创新性地提出了一种基于局部分类的目标跟踪技术方案。

本发明技术方案还提供一种基于局部分类的目标跟踪方法，包括以下步骤，

步骤1，目标模型的构建，包括基于第一帧进行正样本和负样本的采集，进行训练样本集和验证样本集的划分；对训练样本集进行局部块的采样，训练目标的局部分类器，获取目标模型；

所述对训练样本集进行局部块的采样，训练目标的局部分类器，实现方式如下，设给定正样本训练集其中包含P_A个正样本，给定负样本训练集其中包含N_A个负样本；

对于给定的每一个样本，在样本上按照预设的大小以预设步长采取M个局部块，得到了局部块的训练样本集；

提取每个局部块的特征；

基于局部块的训练样本集，利用支持向量机分别训练每一个相应采样位置的局部块所对应的局部分类器c_k，k＝1,2...M；

对于任一局部分类器c_k，若验证样本集中正样本和负样本的数量分别为P_V和N_V，相应权重ω_k计算如下，

${\mathrm{\ω}}_k=\frac{1}{\mathrm{\β}}(1-\underset{n=1}{\overset{P_V+N_V}{\Σ}}\frac{I\left(c_k\right(x_n^k)\≠t_n^k)}{P_V+N_V})$

其中，β为归一化参数，为位于第n个样本上的第k个局部块，为对应的标签，而表示使用第k个局部分类器c_k对局部块进行判别得到的标签，函数I(φ)表示符号函数；

将用于将目标和背景区分的全局分类器C(x)作为目标模型，用局部分类器c_k进行线性加权表示如下，

$C\left(x\right)=\underset{k=1}{\overset{M}{\Σ}}{\mathrm{\ω}}_k{c}_k\left(x^k\right)$

其中，x表示待测的全局样本，x^k表示全局样本x上的第k个样本块；

步骤2，基于粒子滤波的跟踪，包括基于粒子滤波框架在后续帧图片中采取Ω个候选，Ω为预设的取值；对于每一个候选，采用和步骤1中一致的方式采取M个局部块，对于第k个局部块采用相应的局部分类器c_k估计该局部块为目标局部块的置信度，通过对所有局部块的置信度进行线性加权得到整个候选的置信度；目标的位置更新为取得最大置信度的候选所在的位置。

而且，进行局部分类器的更新，实现方式如下，

若当前帧的跟踪结果的置信度p_t(x)＞ρ₁，则根据当前跟踪结果采集新的正样本集和负样本集若当前帧的跟踪结果的置信度较高ρ₂＞p_t(x)＞ρ₂，只根据当前跟踪结果采集新的负样本集；

每隔若干帧，利用这几帧积累的样本重新训练出新的局部分类器。

而且，每次训练新的分类器后，进行权重的更新，实现更新目标模型，

权重的更新方式如下，

${\mathrm{\ω}}_k={\mathrm{\ω}}_k^0+\mathrm{\λ}\mathrm{\δ}({\mathrm{\Δ}}_k-\mathrm{\γ})$

其中，为更新前第k个局部分类器的权重，λ为权重变化量，γ为判断权重更新的阈值，Δ_k表示第k个局部块的时域稳定性，是在连续r帧的跟踪结果中第k个局部块的r个置信度的均值；

δ(x)定义为，

$\mathrm{\δ}\left(x\right)=\left\{\begin{array}{cc}1& ifx>0\\ 0& ifx=0\\ -1& otherwise\end{array}\right.$

计算得到新的所有局部分类器的权重后，所有权重都进行归一化处理。

而且，求取取得最大置信度的候选，实现方式如下，

设在第t帧采集的候选集为目标的观测为z_t；

对于任一候选采用已构建好的目标模型计算响应值其为目标的后验概率p(z_t|s_t)定义为其中函数在第t帧，目标的位置更新为取得最大置信度的候选所在的位置

本发明还相应提供一种基于局部分类的目标跟踪系统，包括以下模块，

目标模型构建模块，用于基于第一帧进行正样本和负样本的采集，进行训练样本集和验证样本集的划分；对训练样本集进行局部块的采样，训练目标的局部分类器，获取目标模型；

所述对训练样本集进行局部块的采样，训练目标的局部分类器，实现方式如下，设给定正样本训练集其中包含P_A个正样本，给定负样本训练集其中包含N_A个负样本；

对于给定的每一个样本，在样本上按照预设的大小以预设步长采取M个局部块，得到了局部块的训练样本集；

提取每个局部块的特征；

基于局部块的训练样本集，利用支持向量机分别训练每一个相应采样位置的局部块所对应的局部分类器c_k，k＝1,2...M；

对于任一局部分类器c_k，若验证样本集中正样本和负样本的数量分别为P_V和N_V，相应权重ω_k计算如下，

${\mathrm{\ω}}_k=\frac{1}{\mathrm{\β}}(1-\underset{n=1}{\overset{P_V+N_V}{\Σ}}\frac{I\left(c_k\right(x_n^k)\≠t_n^k)}{P_V+N_V})$

其中，β为归一化参数，为位于第n个样本上的第k个局部块，为对应的标签，而表示使用第k个局部分类器c_k对局部块进行判别得到的标签，函数I(φ)表示符号函数；

将用于将目标和背景区分的全局分类器C(x)作为目标模型，用局部分类器c_k进行线性加权表示如下，

$C\left(x\right)=\underset{k=1}{\overset{M}{\Σ}}{\mathrm{\ω}}_k{c}_k\left(x^k\right)$

其中，x表示待测的全局样本，x^k表示全局样本x上的第k个样本块；

基于粒子滤波的跟踪模块，用于基于粒子滤波框架在后续帧图片中采取Ω个候选，Ω为预设的取值；对于每一个候选，采用和步骤1中一致的方式采取M个局部块，对于第k个局部块采用相应的局部分类器c_k估计该局部块为目标局部块的置信度，通过对所有局部块的置信度进行线性加权得到整个候选的置信度；目标的位置更新为取得最大置信度的候选所在的位置。

而且，进行局部分类器的更新，实现方式如下，

若当前帧的跟踪结果的置信度p_t(x)＞ρ₁，则根据当前跟踪结果采集新的正样本集和负样本集若当前帧的跟踪结果的置信度较高ρ₂＞p_t(x)＞ρ₂，只根据当前跟踪结果采集新的负样本集；

每隔若干帧，利用这几帧积累的样本重新训练出新的局部分类器。

而且，每次训练新的分类器后，进行权重的更新，实现更新目标模型，

权重的更新方式如下，

${\mathrm{\ω}}_k={\mathrm{\ω}}_k^0+\mathrm{\λ}\mathrm{\δ}({\mathrm{\Δ}}_k-\mathrm{\γ})$

其中，为更新前第k个局部分类器的权重，λ为权重变化量，γ为判断权重更新的阈值，Δ_k表示第k个局部块的时域稳定性，是在连续r帧的跟踪结果中第k个局部块的r个置信度的均值；

δ(x)定义为，

$\mathrm{\δ}\left(x\right)=\left\{\begin{array}{cc}1& ifx>0\\ 0& ifx=0\\ -1& otherwise\end{array}\right.$

计算得到新的所有局部分类器的权重后，所有权重都进行归一化处理。

而且，求取取得最大置信度的候选，实现方式如下，

设在第t帧采集的候选集为目标的观测为z_t；

对于任一候选采用已构建好的目标模型计算响应值其为目标的后验概率p(z_t|s_t)定义为其中函数在第t帧，目标的位置更新为取得最大置信度的候选所在的位置

与现有目标跟踪技术相比，本发明具有以下优点和有益效果：

本发明提出了一个基于局部分类的目标跟踪框架，通过对目标局部块的联合跟踪，克服了基于全局目标跟踪无法解决的遮挡条件下跟踪漂移的问题。

进一步地，本发明提出了一种基于双重阈值的正负样本更新策略，相对于传统方法的更新策略，提高了样本更新效率和分类器的判别力。

进一步地，本发明利用目标在时域上的稳定性来综合判断跟踪结果的可信度，有效避免了基于单帧响应值判断的随机性和偶然性。

附图说明

图1为本发明原理示意图。

图2为本发明实施例中的目标模型构建流程图。

图3为本发明实施例中基于双重阈值约束的样本更新示意图。

具体实施方式

下面通过附图结合实施例，对本发明的技术方案作进一步具体的说明。

参见图1，对基于整体建模和基于局部分类建模的跟踪算法进行了遮挡场景下的跟踪性能比较：若把待跟踪目标看作一个整体而建模，进而得到一个基于整体的分类器，当目标发生局部遮挡时，遮挡块的存在会大大影响整个目标的置信度，从而导致模型的判别力大大降低，最终跟踪结果发生漂移。然而基于局部分类的跟踪模型是把目标看成是多个局部块的集合而建立目标模型。即使目标发生了局部遮挡，遮挡块仅仅会影响其所对应的局部分类器，而可见块仍能为跟踪可靠的线索，从而正确地定位目标。

本发明实施例采用MATLAB7作为仿真实验平台，在公共的数据集OTB50^【6】上进行测试。选取了OTB数据集中的20段测试视频上进行了实验，这些视频包括了遮挡、光照、尺度变化、剧烈运动等跟踪难点。以下针对上述目标跟踪实施例对本发明做进一步的阐述，本发明的流程包括：

步骤1，目标模型的构建：

在目标跟踪中，只有在视频或图像序列的第一帧给出待跟踪目标，然后利用所设计的跟踪算法实现在后续视频帧中估计出目标的运动轨迹。因此要实现跟踪，首先得为目标建立目标模型。目标模型的构建流程图如附图2所示，首先基于现有技术中多示例学习的思想对目标进行正负样本的采样，进而将得到的正负样本集以预设的比例分为验证集和训练集两部分，其中训练集用于训练模型，验证集用于计算估计误差。那么对于训练集中的正负样本集，以预设的步长用一个预设固定大小的窗口进行扫框采集局部块(其他采集方式也可)，得到所有局部块的训练样本后，提取HOG(Histogram of Oriented Gradient)特征进行训练相应的局部分类器，那么最终的全局分类器则有多个局部分类器线性加权组合而成。

步骤1.1，样本采集

步骤1.1.1，正负样本的采集

本发明方法属于判别式跟踪方法的一种，旨在设计一个分类器将目标和背景区分出来。那么要得到分类器，首先需要在已给出目标位置的第一帧中采集训练样本。本发明主要是基于多示例学习的思想来采集目标的正负样本集，即在初始目标附近周围采集多个样本作为目标的正样本集，同时在远离初始目标的位置采集多个样本作为目标的负样本集。具体实现如下：

1.正样本的选取

在初始化阶段，需要完成正负样本的采样，同时初始化局部分类器的权重。首先对于正样本采集，实施例在初始目标周围，距离目标中心以较小的采样半径采集正样本集T₊＝{x|θ₁＞||l(x)-l^*||}，在本发明中，θ₁为正样本的采样半径。l(x)表示样本x的中心位置，l^*表示目标初始位置的中心。值得注意的是，需要统一样本的大小，实施例将所有的样本归一化到统一的大小(32x32)。具体实施时，本领域技术人员可自行预设样本大小和正样本的采样半径。

2.负样本的选取

类似的，实施例在远离目标的位置选取相应的负样本T_-＝{x|θ₂＞||l(x)-l^*||＞θ₁}，负样本的采样半径θ₂＞θ₁。具体实施时，本领域技术人员可自行预设负样本的采样半径θ₂。

步骤1.1.2，训练样本集和验证样本集的划分

采集完正负样本集后，采用机器学习中模型的留出法对样本集进行划分，划分为训练样本集A和验证样本集V，即正样本集划分为训练正样本集和验证样本集，负样本集会划分为训练样本集和验证样本集。其中训练样本集用于训练目标的局部分类器，而验证样本集用于初始化局部分类器的权重。根据机器学习理论“留出法”，优选的，以训练样本集和验证样本集的划分比例为2/3～4/5最佳。

步骤1.2，基于所采集样本构建模型

对训练样本集A进行局部块的采样，便可训练目标的局部分类器，本发明提出利用目标的局部块样本集训练相应的局部分类器，从而根据局部分类器来估计下一帧目标候选的局部块的置信度，通过对局部置信度的线性加权，从而估计出目标候选为待跟踪目标的概率。具体步骤如下：

1.设给定正样本训练集其中包含P_A个正样本，给定负样本训练集其中包含N_A个负样本。

2.对于每一个样本(A₊中的正样本以及A_-中的负样本)，实施例在样本上按照预设的大小以预设采用步长采取M个局部块(patch)，从而得到了局部块的训练样本集。具体实施时，局部块的大小、采样步长可由本领域技术人员预先设定(主要视需求而定，建议可分别设为：12×12、5)。

3.对每个patch，实施例提取它们的HOG(方向梯度直方图)来表征它们的特征，具体实施时，本领域技术人员也可根据实际需求提取其他视觉特征，如LBP、Haar-like等，也可综合多个特征作为它的特征。

4.基于局部块的训练样本集利用SVM(支持向量机)从特征层面上分别训练每一个相应采样位置的patch所对应的局部分类器c_k，c_k表示第k个相应采样位置的patch对应的局部分类器，即能得到M个局部分类器，k＝1,2...M。

5.由于不同的patch有着不同的重要性，本发明采用给予不同的局部分类器分配不同权重的方式以衡量。对任一相应采样位置的patch，根据训练好的局部分类器在验证样本集V上的分类误差，从而赋予相应的权重。那么对于任一c_k，若验证样本集中正负样本的数量分别为P_V,N_V，其权重ω_k计算如下：其中β为归一化参数，为位于第n个样本上的第k个局部patch，为其对应的标签，而表示使用第k个局部分类器c_k对该局部块进行判别得到的标签，函数I(φ)表示符号函数，当φ为真值为1，否则为0。

6.因此，用于将目标和背景区分的全局分类器C(x)，可以用局部分类器c_k来线性加权表示：这里的x表示待测的全局样本(步骤2采用候选)，x^k表示该全局样本上的第k个patch。由此，目标模型得以构建。

步骤2，基于粒子滤波的跟踪：

1.在第一帧构建完目标模型后，在后续帧的跟踪过程中，实施例基于粒子滤波框架“Arulampalam M S,Maskell S,et al.A tutorial on particle filters for onlinenonlinear/non-Gaussian Bayesian tracking[J]”在后续每帧图片中采取Ω个候选，实验中Ω的取值，本领域技术人员可根据实际需求预先设定(建议设为优选的200～400)。特别地，实施例采用表征目标矩形框的六个参数(α₁,α₂,α₃,α₄,α₅,α₆)的仿射变换来刻画目标相邻帧间的运动状态，分别为横向变化、纵向变化、尺度变化、旋转变化、宽高比变化、倾斜角度。在运动模型中，这些参数是互相独立的且变化状态符合高斯分布。

2.对于每一个候选，采用和训练阶段同样的方法采取M个局部patch，继而使用之前训练好的局部分类器进行局部patch的置信度判别。即对于第k个patch，采用已训练好的相应的局部分类器c_k估计该patch为目标patch的置信度。因此，每一个候选中的所有patch都能用其对应的局部分类器得到相应的置信度，那么通过对候选中所有patch的置信度进行线性加权可以得到整个候选的置信度。

3.设在第t帧采集的候选集为目标的观测为z_t。那么对于任一候选先采用已构建好的目标模型C(x)计算响应值那么其为目标的后验概率p(z_t|s_t)定义为：其中函数x为函数变量，e为数学常量。

4.那么，在第t帧，目标的位置可更新为取得最大置信度的候选所在的位置，即：

基于以上基本流程，本发明进一步提出进行模型的更新：

由于跟踪过程中因光照、遮挡、尺度等变化而导致目标的外貌发生变化，因此模型需要不断地更新以适应外貌变化。在本发明中，模型需要更新的包括两部分，即局部分类器的更新及其对应的权重的更新。

1.局部分类器的更新：

要更新局部分类器，即是更新目标的训练样本集进而训练得到新的局部分类器。不同于传统的正负样本更新仅依据单一约束而同时更新的方式，即传统方法认为当前跟踪结果的置信度未达到足以作为新正样本的阈值时，均不应更新样本，本发明提出了一种基于双重阈值约束的样本更新方法来进行采集新的正负训练样本，该方法认为负样本的更新约束不应依赖于正样本的更新约束，即便该置信度不足够高但仍具有较高的可信度，此时，虽无法采集新的正样本，但是在远离当前跟踪结果的位置采集到的负样本仍是有效的负样本。通过该方法能有效提高了样本更新效率和分类器的判别力。详细更新步骤见附图3。

(1)如附图3所示，若当前帧的跟踪结果的置信度足够高时，即p_t(x)＞ρ₁，则认为当前跟踪结果可信并可以在其附近采集新的正样本集同时在远离跟踪结果较远区域采集新的负样本集可分别定义为：

$A_{+}^1=\left\{x\right|{\mathrm{\θ}}_1>\left|\right|l\left(x\right)-l_t^{*}\left|\right|\},A_{-}^1=\{x|{\mathrm{\θ}}_2>||l\left(x\right)-l_t^{*}||>{\mathrm{\θ}}_1\}$

其中为当前帧的跟踪结果位置，下同。采样半径和步骤1一致。

(2)若当前帧的跟踪结果的置信度较高但却不足以被当作正样本时，即ρ₁＞p_t(x)＞ρ₂，此时正样本集不更新，仅在远离跟踪结果较远的区域采集负样本集，即：其中具体实施时，本领域技术人员可自行预设置信度阈值ρ₁、ρ₂的取值。

在第一帧以后的后续帧中，每一帧都能由(1)、(2)可得到新正样本集和新的负样本集但是并非每一帧都会采用步骤二训练新的分类器，而是每隔若干帧(本领域技术人员可以自行预设帧数，建议设为5)，利用这几帧积累的样本重新训练出新的局部分类器以便使用新的局部分类器进行跟踪，即用这几帧积累的正样本替换之前的给定正样本训练集用累积的负样本替换之前给定的负样本训练集依次迭代下去。特殊的，如果连续几帧都是(2)的情况，说明这几帧置信度均不够高，正样本不被更新。

2.权重的更新：

每次训练新的局部分类器后，进行权重的更新，实现更新目标模型。在跟踪过程中，如何判断进而处理遮挡一直是研究者争相探讨的问题。为了处理遮挡问题，实施例通过更新局部分类器权重方式减少遮挡块的影响。权重的更新依据为局部块的时域稳定性，即若是某一个patch在连续多帧的置信度均低于某个阈值，那么便认为该patch为遮挡块，那么便会降低它的权重，反之则增加。权重的更新方式如下：

其中为更新前第k个分类器的权重，λ为权重变化量(实验中设为0.05，可根据实际情况而设)，γ为判断权重更新的阈值(实验中设为0.5，可根据实际情况而设)，表示第k个patch的时域稳定性，即在连续r帧的跟踪结果中，该patch的r个置信度的均值。δ(x)定义为：

$\mathrm{\δ}\left(x\right)=\left\{\begin{array}{cc}1& ifx>0\\ 0& ifx=0\\ -1& otherwise\end{array}\right.,$

通过上式得到新的所有局部分类器的权重后，为了规范化，所有权重都进行归一化处理。值得注意的是，权重也并非每一帧都会更新，而是和分类器更新同步。

基于以上流程，可以进行评价目标跟踪算法效果。现有的目标跟踪算法评价指标主要有覆盖率和中心误差两大评价指标：

1.覆盖率：给定数据集标注结果(groundtruth)，覆盖率表示跟踪结果框ROI_T与标注目标框ROI_G的交集与并集的比值，如下式：

$score=\frac{area({\mathrm{ROI}}_T\∩{\mathrm{ROI}}_G)}{area({\mathrm{ROI}}_T\∪{\mathrm{ROI}}_G)}$

本实施例中采用所有帧覆盖率的平均值作为算法在该视频序列的跟踪效果。

2.中心误差：中心误差是指跟踪结果框中心(x_t,y_t)与数据集标注框的中心(x_g,y_g)之间的欧氏距离。中心误差越小，则表示跟踪效果越准确。

${\mathrm{Error}}_{center}=\sqrt{{(x_t-x_g)}^2+{(y_t-y_g)}^2}$

本发明方法在公开的数据集OTB50上的20段视频的实验结果可知，表1和表2均为本发明方法和现有的6个主流且效果好的跟踪算法的效果对比，表1为平均中心误差对比，表2为平均覆盖率对比。其中，每段视频序列中，效果最好的两个结果加下划线表示，详细如下：

表1 平均中心误差

表2 平均覆盖率

Datasets	TLD	IVT	MIL	OAB	Frag	VTD	Ours
								Dog1	0.58	0.67	0.53	0.50	0.50	0.53	0.59
Deer	0.59	0.04	0.36	0.62	0.08	0.06	0.61
								Doll	0.55	0.51	0.35	0.15	0.49	0.60	0.77
Faceocc1	0.56	0.63	0.54	0.18	0.68	0.59	0.79
								Freeman3	0.37	0.31	0.07	0.21	0.28	0.20	0.65
Faceocc2	0.54	0.57	0.64	0.51	0.49	0.69	0.68
								Jogging-1	0.75	0.12	0.15	0.55	0.52	0.14	0.73
Subway	0.19	0.16	0.68	0.18	0.47	0.15	0.64
								Skating1	0.13	0.09	0.13	0.36	0.10	0.52	0.53
Sylvester	0.63	0.34	0.55	0.57	0.49	0.58	0.64
								Singer1	0.73	0.67	0.33	0.34	0.22	0.45	0.81
Singer2	0.04	0.03	0.04	0.04	0.19	0.04	0.55
								Walking	0.31	0.51	0.27	0.48	0.26	0.31	0.78
Walking2	0.29	0.71	0.53	0.53	0.48	0.62	0.73
								Woman	0.49	0.11	0.15	0.44	0.14	0.13	0.67
Cardark	0.30	0.48	0.15	0.69	0.07	0.46	0.68
								Crossing	0.42	0.32	0.73	0.64	0.29	0.31	0.79
CarScale	0.34	0.43	0.41	0.41	0.36	0.36	0.58
								Mhyang	0.57	0.74	0.68	0.71	0.61	0.73	0.83
MountainBike	0.26	0.65	0.70	0.61	0.12	0.68	0.54
								Average	0.43	0.40	0.40	0.44	0.34	0.41	0.68

具体实施时，本发明所提供方法可基于软件技术实现自动运行流程，也可采用模块化方式实现相应系统。

本发明实施例提供一种基于局部分类的目标跟踪系统，包括以下模块，

目标模型构建模块，用于基于第一帧进行正样本和负样本的采集，进行训练样本集和验证样本集的划分；对训练样本集进行局部块的采样，训练目标的局部分类器，获取目标模型；

所述对训练样本集进行局部块的采样，训练目标的局部分类器，实现方式如下，设给定正样本训练集其中包含P_A个正样本，给定负样本训练集其中包含N_A个负样本；

对于给定的每一个样本，在样本上按照预设的大小以预设步长采取M个局部块，得到了局部块的训练样本集；

提取每个局部块的特征；

基于局部块的训练样本集，利用支持向量机分别训练每一个相应采样位置的局部块所对应的局部分类器c_k，k＝1,2...M；

对于任一局部分类器c_k，若验证样本集中正样本和负样本的数量分别为P_V和N_V，相应权重ω_k计算如下，

${\mathrm{\ω}}_k=\frac{1}{\mathrm{\β}}(1-\underset{n=1}{\overset{P_V+N_V}{\Σ}}\frac{I\left(c_k\right(x_n^k)\≠t_n^k)}{P_V+N_V})$

其中，β为归一化参数，为位于第n个样本上的第k个局部块，为对应的标签，而表示使用第k个局部分类器c_k对局部块进行判别得到的标签，函数I(φ)表示符号函数；

将用于将目标和背景区分的全局分类器C(x)作为目标模型，用局部分类器c_k进行线性加权表示如下，

$C\left(x\right)=\underset{k=1}{\overset{M}{\Σ}}{\mathrm{\ω}}_k{c}_k\left(x^k\right)$

其中，x表示待测的全局样本，x^k表示全局样本x上的第k个样本块；

基于粒子滤波的跟踪模块，用于基于粒子滤波框架在后续帧图片中采取Ω个候选，Ω为预设的取值；对于每一个候选，采用和步骤1中一致的方式采取M个局部块，对于第k个局部块采用相应的局部分类器c_k估计该局部块为目标局部块的置信度，通过对所有局部块的置信度进行线性加权得到整个候选的置信度；目标的位置更新为取得最大置信度的候选所在的位置。

各模块具体实现可参见相应步骤，本发明不予赘述。

本发明所述的实施例是说明性的，而不是限定性的。因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (8)

1.一种基于局部分类的目标跟踪方法，其特征在于：包括以下步骤，

步骤1，目标模型的构建，包括基于第一帧进行正样本和负样本的采集，进行训练样本集和验证样本集的划分；对训练样本集进行局部块的采样，训练目标的局部分类器，获取目标模型；

所述对训练样本集进行局部块的采样，训练目标的局部分类器，实现方式如下，设给定正样本训练集其中包含P_A个正样本，给定负样本训练集其中包含N_A个负样本；

对于给定的每一个样本，在样本上按照预设的大小以预设步长采取M个局部块，得到了局部块的训练样本集；

提取每个局部块的特征；

基于局部块的训练样本集，利用支持向量机分别训练每一个相应采样位置的局部块所对应的局部分类器c_k，k＝1,2...M；

对于任一局部分类器c_k，若验证样本集中正样本和负样本的数量分别为P_V和N_V，相应权重ω_k计算如下，

${\mathrm{\ω}}_k=\frac{1}{\mathrm{\β}}(1-\underset{n=1}{\overset{P_V+N_V}{\Σ}}\frac{I\left(c_k\right(x_n^k)\≠t_n^k)}{P_V+N_V})$

其中，β为归一化参数，为位于第n个样本上的第k个局部块，为对应的标签，而表示使用第k个局部分类器c_k对局部块进行判别得到的标签，函数I(φ)表示符号函数；

将用于将目标和背景区分的全局分类器C(x)作为目标模型，用局部分类器c_k进行线性加权表示如下，

$C\left(x\right)=\underset{k=1}{\overset{M}{\Σ}}{\mathrm{\ω}}_k{c}_k\left(x^k\right)$

其中，x表示待测的全局样本，x^k表示全局样本x上的第k个样本块；

步骤2，基于粒子滤波的跟踪，包括基于粒子滤波框架在后续帧图片中采取Ω个候选，Ω为预设的取值；对于每一个候选，采用和步骤1中一致的方式采取M个局部块，对于第k个局部块采用相应的局部分类器c_k估计该局部块为目标局部块的置信度，通过对所有局部块的置信度进行线性加权得到整个候选的置信度；目标的位置更新为取得最大置信度的候选所在的位置。

2.根据权利要求1所述基于局部分类的目标跟踪方法，其特征在于：进行局部分类器的更新，实现方式如下，

若当前帧的跟踪结果的置信度p_t(x)＞ρ₁，则根据当前跟踪结果采集新的正样本集和负样本集若当前帧的跟踪结果的置信度较高ρ₂＞p_t(x)＞ρ₂，只根据当前跟踪结果采集新的负样本集；

每隔若干帧，利用这几帧积累的样本重新训练出新的局部分类器。

3.根据权利要求2所述基于局部分类的目标跟踪方法，其特征在于：每次训练新的分类器后，进行权重的更新，实现更新目标模型，

权重的更新方式如下，

${\mathrm{\ω}}_k={\mathrm{\ω}}_k^0+\mathrm{\λ}\mathrm{\δ}({\mathrm{\Δ}}_k-\mathrm{\γ})$

其中，为更新前第k个局部分类器的权重，λ为权重变化量，γ为判断权重更新的阈值，Δ_k表示第k个局部块的时域稳定性，是在连续r帧的跟踪结果中第k个局部块的r个置信度的均值；

δ(x)定义为，

$\mathrm{\δ}\left(x\right)=\left\{\begin{array}{cc}1& ifx>0\\ 0& ifx=0\\ -1& otherwise\end{array}\right.$

计算得到新的所有局部分类器的权重后，所有权重都进行归一化处理。

4.根据权利要求1或2或3所述基于局部分类的目标跟踪方法，其特征在于：求取取得最大置信度的候选，实现方式如下，

设在第t帧采集的候选集为目标的观测为z_t；

对于任一候选采用已构建好的目标模型计算响应值其为目标的后验概率p(z_t|s_t)定义为其中函数在第t帧，目标的位置更新为取得最大置信度的候选所在的位置

5.一种基于局部分类的目标跟踪系统，其特征在于：包括以下模块，

目标模型构建模块，用于基于第一帧进行正样本和负样本的采集，进行训练样本集和验证样本集的划分；对训练样本集进行局部块的采样，训练目标的局部分类器，获取目标模型；

所述对训练样本集进行局部块的采样，训练目标的局部分类器，实现方式如下，设给定正样本训练集其中包含P_A个正样本，给定负样本训练集其中包含N_A个负样本；

对于给定的每一个样本，在样本上按照预设的大小以预设步长采取M个局部块，得到了局部块的训练样本集；

提取每个局部块的特征；

基于局部块的训练样本集，利用支持向量机分别训练每一个相应采样位置的局部块所对应的局部分类器c_k，k＝1,2...M；

对于任一局部分类器c_k，若验证样本集中正样本和负样本的数量分别为P_V和N_V，相应权重ω_k计算如下，

${\mathrm{\ω}}_k=\frac{1}{\mathrm{\β}}(1-\underset{n=1}{\overset{P_V+N_V}{\Σ}}\frac{I\left(c_k\right(x_n^k)\≠t_n^k)}{P_V+N_V})$

其中，β为归一化参数，为位于第n个样本上的第k个局部块，为对应的标签，而表示使用第k个局部分类器c_k对局部块进行判别得到的标签，函数I(φ)表示符号函数；

将用于将目标和背景区分的全局分类器C(x)作为目标模型，用局部分类器c_k进行线性加权表示如下，

$C\left(x\right)=\underset{k=1}{\overset{M}{\Σ}}{\mathrm{\ω}}_k{c}_k\left(x^k\right)$

其中，x表示待测的全局样本，x^k表示全局样本x上的第k个样本块；

基于粒子滤波的跟踪模块，用于基于粒子滤波框架在后续帧图片中采取Ω个候选，Ω为预设的取值；对于每一个候选，采用和步骤1中一致的方式采取M个局部块，对于第k个局部块采用相应的局部分类器c_k估计该局部块为目标局部块的置信度，通过对所有局部块的置信度进行线性加权得到整个候选的置信度；目标的位置更新为取得最大置信度的候选所在的位置。

6.根据权利要求5所述基于局部分类的目标跟踪系统，其特征在于：进行局部分类器的更新，实现方式如下，

若当前帧的跟踪结果的置信度p_t(x)＞ρ₁，则根据当前跟踪结果采集新的正样本集和负样本集若当前帧的跟踪结果的置信度较高ρ₂＞p_t(x)＞ρ₂，只根据当前跟踪结果采集新的负样本集；

每隔若干帧，利用这几帧积累的样本重新训练出新的局部分类器。

7.根据权利要求5所述基于局部分类的目标跟踪系统，其特征在于：每次训练新的分类器后，进行权重的更新，实现更新目标模型，

权重的更新方式如下，

${\mathrm{\ω}}_k={\mathrm{\ω}}_k^0+\mathrm{\λ}\mathrm{\δ}({\mathrm{\Δ}}_k-\mathrm{\γ})$

其中，为更新前第k个局部分类器的权重，λ为权重变化量，γ为判断权重更新的阈值，Δ_k表示第k个局部块的时域稳定性，是在连续r帧的跟踪结果中第k个局部块的r个置信度的均值；

δ(x)定义为，

$\mathrm{\δ}\left(x\right)=\left\{\begin{array}{cc}1& ifx>0\\ 0& ifx=0\\ -1& otherwise\end{array}\right.$

计算得到新的所有局部分类器的权重后，所有权重都进行归一化处理。

8.根据权利要求5或6或7所述基于局部分类的目标跟踪系统，其特征在于：求取取得最大置信度的候选，实现方式如下，

设在第t帧采集的候选集为目标的观测为z_t；

对于任一候选采用已构建好的目标模型计算响应值其为目标的后验概率p(z_t|s_t)定义为其中函数在第t帧，目标的位置更新为取得最大置信度的候选所在的位置