CN105427339A - 一种结合特征筛选与二次定位的快速压缩跟踪方法 - Google Patents

Abstract

本发明涉及一种结合特征筛选与二次定位的快速压缩跟踪算法，该算法首先对采集的正、负样本划分子区域，从各个子区域中分别提取压缩特征，根据样本估计出各个压缩特征在正、负类中的分布，然后提出一种基于自适应学习率和正类更新阈值的策略，更新正、负类中的特征分布，最后根据跟踪所处的不同阶段，用不同的采样半径采集不同的候选样本集，并从全部特征中筛选出部分优质特征加权构建分类器，通过检测候选样本集精确定位跟踪目标。本算法结合了特征筛选与二次定位策略，不仅具有更好的抵抗短时遮挡的能力，还有更高的准确性和稳定性，以及良好的实时性。

Description

一种结合特征筛选与二次定位的快速压缩跟踪方法

技术领域

本发明涉及一种结合特征筛选与二次定位的快速压缩跟踪方法，该方法能够应对目标出现短时遮挡的情况，属于图像处理技术领域，可应用于目标的快速跟踪。

背景技术

目前目标跟踪在计算机视觉领域有着非常重要的地位和极其广泛的应用，是近年来的热点研究问题，积累了相当的研究成果。但是由于现有的目标跟踪方法分别存在着计算复杂度高、计算量大、准确性不够以及跟踪速度慢等缺点，所以创造性地结合现有的一些成果，设计出一种准确快速的目标跟踪方法显得尤为迫切。

在计算机视觉领域内，目标跟踪方法主要可分为两大类方法：第一类是传统的目标跟踪方法，第二类是将目标跟踪归结为一个二元分类问题，即目标类和背景类，并通过分类器从背景中检测出目标来实现跟踪。

传统的方法里MeanShift算法对颜色变化敏感，而且受搜索窗口的限制，无法实现运动幅度较大的目标跟踪；CamShift算法对目标与背景颜色相近的跟踪效果会变差；Kalman滤波在非线性场合下不适用，对其使用造成了一定的限制；而粒子滤波则对粒子退化现象很敏感。

第二类方法中粒子滤波框架下L1跟踪算法计算复杂度高，因此限制了它在实时系统中的应用；基于AdaBoost的在线特征选择方法的分类器设计很容易受到噪声的影响，且易因累积误差而导致跟踪漂移；多示例学习跟踪算法可以实时的训练具有判决性的分类器。但是，如果目标发生严重遮挡，分类器更新时仍然会受到遮挡区域的影响，最终因误差积累而导致跟踪漂移；KaihuaZhang等提出的实时压缩跟踪算法有着不错性能，不过首先压缩特征的随机性较强，会影响分类器的分类准确性，其次压缩特征的分布使用固定学习率进行更新，比较盲目，容易引入噪声，影响抗遮挡性能。再者，跟踪阶段要用分类器检测采样区域内的所有样本，计算量大。因此，针对二元分类的单目标跟踪问题，以不同的思路改进以往方法的不足是可能且有重要意义的。

发明内容

本发明的目的是克服现有技术的上述不足，提出一种具有较好的抗短时遮挡性能，且实时性非常好的结合特征筛选与二次定位的快速压缩跟踪方法(Fastcompressivetrackingalgorithmcombiningfeatureselectionwithsecondarylocalization，简称FSSL-CT)。为此，本发明采用如下的技术方案：

1.根据目标的初始位置，采集正负样本集；

2.用子区域模板对每个样本划分5个子区域；

3.提取压缩特征。用样本的各个子区域之与一系列不同尺度的矩形滤波器卷积，得到多尺度特征，将这些特征组成的高维向量通过随机测量矩阵降到低维，即可得到50个压缩特征；

4.利用正负样本集估计每个压缩特征在正、负类中的分布；

5.利用Bhattacharyya系数度量相邻两帧之间目标特征分布的差异，并设定更新阈值，当差异超过更新阈值时，当前帧中该特征在正类中的分布将不会更新；

6.利用Bhattacharyya系数度量当前帧中每个压缩特征在正、负类之间分布的差异，将此差异作为学习率，更新压缩特征的分布参数；

7.根据步骤6中得到的分布差异计算对应特征的权值，对特征按其权值从大到小排序，根据需要按权值选取特征加权构建朴素贝叶斯分类器；

8.以5个像素为采样间隔对候选区域内的样本采样，通过分类器找出跟踪目标的粗略位置；

9.以步骤8中得到的位置为中心，缩小候选区域范围，采集该区域内的所有样本，通过分类器找到目标的最终位置。

与现有技术相比，本发明的有益效果是：

1.抗短时遮挡能力更好。本发明对样本划分了子区域，并使用Bhattacharyya系数度量分布的差异性，根据差异决定模型更新学习率、目标模型的更新，能够更好的应对目标短时遮挡问题，自适应学习率的使用克服了固定学习率无法匹配目标特征变化速度的问题；

2.速度快。采用二次定位的策略，且在不同阶段使用不同数量的特征构建分类器判别候选样本，提高了跟踪速度。

3.在保证跟踪准确性的同时，还具有更好的抗短时遮挡能力和实时性。

附图说明

图1为本发明的流程图；

图2为子区域模板；

图3为降维示意图；

图4(a)为B＝0.998时特征v1的分布情况；

图4(b)为B＝0.882时特征v2的分布情况；

图4(c)为B＝0.4578时特征v3的分布情况；

图5为二次跟踪定位示意图。

图6(a)为视频序列FaceOcc2的中心误差曲线；

图6(b)为视频序列Girl的中心误差曲线；

图6(c)为视频序列Jogging的中心误差曲线；

图6(d)为视频序列Hat的中心误差曲线；

图6(e)为视频序列Light的中心误差曲线；

图7为视频序列FaceOcc2的第16、272、701、780帧；

图8为视频序列Girl的第231、332、440、467帧；

图9为视频序列Jogging的第53、78、79、231帧；

图10为视频序列Hat的第36、295、429、515帧；

图11为视频序列Light的第86、188、279、320帧。

具体实施方式

本发明的流程如图1所示，首先，采集正、负样本，对采集的正、负样本划分子区域，从各个子区域中分别提取压缩特征，根据样本估计出各个压缩特征在正、负类中的分布；然后，提出一种基于自适应学习率和正类更新阈值的策略，更新正、负类中的特征分布；最后，在跟踪的不同阶段，获取不同的候选样本集，并从全部特征中筛选出部分优质特征加权构建分类器，通过检测候选样本集定位跟踪目标。下面结合附图，对本发明技术方案的具体实施过程加以说明。

1.采集正、负样本；

根据事先设定的采样半径，在以目标中心为圆心的圆形区域内采集样本，其中，离目标距离近的样本作为正样本，即人脸样本；离目标较远的样本作为负样本，即背景样本。

2.划分子区域

为了提高算法的抗遮挡性能，对每个样本按其全局区域划分为五个子区域，划分子区域的模板如图2所示。

3.压缩特征提取

在每个子区域内，与一系列不同尺度的矩形滤波器F_i，j卷积得到样本图像Z∈R^w×h的多尺度特征，F_i，j定义如下：

$F_{i,j}(x,y)=\left\{\begin{array}{cc}1,& 1\≤x\≤i,1\≤y\≤j\\ 0,& otherwise\end{array}\right.$

其中，1≤i≤w和1≤j≤h是矩形滤波器的宽度和高度，w和h是子区域的宽度和高度。

由公式可知，样本图像Z的多尺度特征是用w×h个矩形滤波器对其滤波得到的。为了方便降维处理，将每个矩形滤波器的滤波结果都表示为一个列向量，最后样本图像特征的高维向量就是每个矩形滤波器滤波结果列向量的组合。

对高维的图像特征进行降维，即用随机测量矩阵对与高维特征相乘，有效地实现了对多尺度特征的压缩，降维过程如图3所示。而降维所用的随机测量矩阵则是通过随机数发生器产生的一种非常稀疏的矩阵，定义如下：

$r_{ij}=\sqrt{s}\×\left\{\begin{array}{ccc}1& withprobability& \frac{1}{2s}\\ 0& withprobability& 1-\frac{1}{2s}\\ -1& withprobability& \frac{2}{2s}\end{array}\right.$

当s＝O(m)时，此矩阵几乎能够与随机高斯矩阵同样准确，且每一行最多只有4个非零值需要计算，能在很大程度上降低所需的存储空间，提高算法速度。

4.估计特征在正、负类中的分布

压缩特征的提取就是特征由高维向低维的随机映射过程，而高维随机特征的随机映射几乎总是服从高斯分布。利用特征在正、负样本集中的特征值就可以估计出期望和方差，从而得到特征分布。

5.特征分布的更新

本方法采用Bhattacharyya系数(简称巴氏系数)度量分布之间的差异性。由于特征的分布是连续的高斯分布，所以巴氏系数的表达式为：

$B=\∫\sqrt{p\left(x\right)q\left(x\right)}dx$

其中B∈[0，1]，表示两个分布之间的重叠度。

5.1自适应学习率

在相同的两帧之间，各个特征的分布变化是不同的，采用固定学习率很难保证更新后的特征分布能够有效反映其真实分布，当二者不匹配时，构建的分类器的性能就会下降；

本方法利用正、负类中各个特征在相邻两帧之间的分布计算巴氏系数，将巴氏系数作为学习率，更新相应特征的分布。

5.2正类中特征分布的更新

目标跟踪过程中经常会遇到遮挡的情况，虽然已经划分了子区域，但当目标被遮挡的区域很大时，仍然会使绝大多数的特征受到影响，此时若继续更新这些特征的分布，就会使分类器将遮挡物体误认为是目标，当遮挡物体与目标分离时，跟踪窗口也会随之偏离真实的目标。

所以，对于正类中的特征，设定一个更新阈值T，只有当巴氏系数B＞T时，才更新特征分布，否则保持原有分布不变，从而有效避免遮挡带来的跟踪漂移。特征分布的更新公式如下：

${\mathrm{\&mu;}}_i^1\&LeftArrow;\left\{\begin{array}{cc}{\mathrm{\&mu;}}_i^1,& B<T\\ {\mathrm{B\&mu;}}_i^1+(1-B){\mathrm{\&mu;}}^1,& B>T\end{array}\right.$

${\mathrm{\&sigma;}}_i^1\&LeftArrow;\left\{\begin{array}{cc}{\mathrm{\&sigma;}}_i^1,& B<T\\ \sqrt{B{\left({\mathrm{\&sigma;}}_i^1\right)}^2+(1-B){\left({\mathrm{\&sigma;}}^1\right)}^2+B(1-B){({\mathrm{\&mu;}}_i^1-{\mathrm{\&mu;}}^1)}^2},& B>T\end{array}\right.$

${\mathrm{\&mu;}}_i^0\&LeftArrow;{\mathrm{B\&mu;}}_i^0+(1-B){\mathrm{\&mu;}}^0$

${\mathrm{\&sigma;}}_i^0\&LeftArrow;\sqrt{B{\left({\mathrm{\&sigma;}}_i^0\right)}^2+(1-B){\left({\mathrm{\&sigma;}}^0\right)}^2+B(1-B){({\mathrm{\&mu;}}_i^0-{\mathrm{\&mu;}}^0)}^2}$

6.构建朴素贝叶斯分类器

6.1朴素贝叶斯分类器

本方法采用结构简单的朴素贝叶斯分类器来建模。假设每一个样本图片Z∈R^w×h的低维特征向量v＝(v₁，…，v_m)^T∈Rⁿ中的每个向量都是彼此独立的，且每个样本是目标和背景的概率相同，则分类器模型如下：

$H\left(v\right)=\underset{i=1}{\overset{n}{\&Sigma;}}log\left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right)$

式中，y∈{0，1}为样本标记，y＝1代表正样本，即目标，y＝0代表负样本，即背景。

6.2加权分类器的构建

由H(v)的公式可以看出，朴素贝叶斯分类器由若干个分量相加组成，而每个分量都是一个特征在正、负类中分布的概率密度的比值取对数，把每个分量看做是一个弱分类器，那么每个弱分类器都对应一个特征。所以朴素贝叶斯分类器的更新就是各个弱分类器的更新，而弱分类器的更新对应特征在正、负类中分布的更新。特征在正、负类中分布差异的大小直接决定了该特征分类能力的强弱。显然，差异越大，分类能力越强；差异越小，分类能力越弱。

本文在构建分类器时，利用巴氏系数度量正、负类特征分布间的相似性，根据巴氏系数计算各个特征的权值，并将每个特征按其权值从大到小排序。在跟踪的不同阶段，根据需要从所有特征中根据权值筛选出不同数量的优质特征，加权构建分类器，使构建出的分类器可以对不同弱分类器反馈的分类结果区分对待，有效提升自身的分类能力。新的分类器模型如下：

$H\left(v\right)=\underset{i=1}{\overset{n}{\&Sigma;}}\log \left(\right(1-B)\&times;\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)})$

巴氏系数B与分布之间的关系如图4所示，随着压缩特征v1、v2、v3在正、负类中的分布差异逐渐增大，B值越来越小。

7.二次定位

本方法提出一种基于二次定位的跟踪策略，如图5所示，该策略分为两个过程。首先根据上一帧得到的目标g_t的位置，在半径为γ₁＝35像素的圆形区域内用大小为5个像素的采样间隔Δ₁等间隔采样，得到样本集A1，按权值筛选出20个压缩特征构建分类器，检测A1，找出最有可能是目标的样本S；再根据S的位置，采集半径为γ₂＝5的圆形区域内的所有样本，得到样本集A2，按权值筛选出40个压缩特征构建分类器，检测A2，得到最终的跟踪目标g_t+1，完成跟踪。

本发明效果可以通过以下实验进一步证实：

为了验证本发明方法的准确性和算法速度，选取6个公共测试序列和2个自制的红外测试序列进行结果验证。

其中公共测试序列包含光照变化、遮挡和姿态变化等具有挑战性的因素。利用红外光源和红外摄像机拍摄了两组测试序列，图10对应驾驶员戴帽子和墨镜的情况，图11对应驾驶室内光线变化的情况。在每个测试序列中，将本算法与CT和FCT(FastCompressiveTracking)算法进行比较。实验环境为Intel(R)Core(TM)i3双核处理器，2.53GHz主频，3G内存，Win7操作系统，开发平台为VS2010+opencv2.4.9。据由于CT和FCT给出的参数和在源程序中给出的配置参数不完全相同，所以选取其中效果较好的参数。各算法在每个测试序列上都运行10次，最后取平均值，并以成功率和中心位置误差两个准则作为评价指标。

在判断每一帧是否跟踪成功时，采用的判定准则定义如下：

$S=\frac{T\&cap;G}{T\&cup;G}$

其中，T为跟踪结果区域，G为目标的实际区域，S为准则的判定值。若S＞0.5，则认为跟踪成功，否则认为跟踪失败。最后，根据跟踪成功的帧数与总帧数的比值得到跟踪的成功率。不同算法在不同测试视频中的跟踪成功率如表1所示。从表中可以看出，FSSL-CT算法在大多数的测试序列中跟踪成功从表中可以看出，FSSL-CT算法在大多数的测试序列中跟踪成功率都是最高的。

表1各算法跟踪成功率比较/(％)

表2各算法平均中心误差比较/(像素)

中心位置误差采用欧式距离计算。各测试序列中算法的平均中心误差如表2所示。图6是3种算法在8种测试序列中的中心位置误差曲线图。

FSSL-CT算法在很大程度上增强了抗遮挡的性能。如图7(FaceOcc2)第701帧、图8(Girl)第440帧、图9(Jogging)第78帧，当各目标被大部分遮挡甚至完全遮挡时，所有算法均出现了不同程度的跟踪漂移，但当目标重新出现后，图7(FaceOcc2)第780帧中，在两种物体的严重遮挡影响下，FCT受发生较大的漂移，无法正确跟踪目标；图8(Girl)中是一个人被另一个人遮挡，因为二者比较相似，且遮挡时间较短，对目标的分布的影响较小，所以在第467帧中各算法都能重新定位目标；而图9(Jogging)中遮挡物体与目标相差较大，由于CT和FCT算法采用固定的学习率，已将遮挡物体学习为目标，所以当第79帧目标再次出现时，无法重新跟踪到真实的目标。而FSSL-CT对正类设定了更新阈值，使特征没有因遮挡而受到较大影响，几乎始终保持着目标的分布，所以在目标出现后能立刻将其找回，并在之后的帧中稳定跟踪。

对于自制的红外测试序列，如图10第429、515帧所示，人脸从被帽子完全遮挡到重新出现的过程中，CT和FCT算法受帽子的影响发生跟踪漂移，人脸重新出现后分类器无法正确对其检测。而FSSL-CT算法则能够重新准确地定位到人脸。图11中，在光线不断变化的情况下三种算法都能跟踪到目标，但从图5(e)所示的中心误差曲线可以看出，FSSL-CT算法的中心误差要小于其它两种算法。

算法速度上，为了比较各个算法的运行速度，对每个视频序列测试十次，得出每一帧的平均处理时间，实验结果如表3所示。由于使用了二次定位的方法，减少了需要检测的样本数目，且每次定位的过程中只筛选出部分优质特征构建分类器，减少了检测每个样本需要的时间，FSSL-CT算法的平均处理时间能够达到2.9毫秒/帧，明显快于其它两种算法。

表3各算法运行速度比较/(毫秒/帧)

Claims (6)

1.一种结合特征筛选与二次定位的快速压缩跟踪方法，所述方法包括下列步骤：

步骤1：根据目标的初始位置，采集正、负样本集；

步骤2：用子区域模板对每个样本划分5个子区域；

步骤3：提取压缩特征；用样本的各个子区域与不超过子区域范围的不同尺度的矩形滤波器卷积，得到多尺度特征，将这些特征组成的高维向量通过随机测量矩阵降到低维，得到50个压缩特征；

步骤4：利用正负样本集估计每个压缩特征在正、负类中的分布；

步骤5：利用Bhattacharyya系数度量相邻两帧之间目标特征分布的差异，并设定更新阈值，当差异超过更新阈值时，当前帧中该特征在正类中的分布将不会更新；

步骤6：利用Bhattacharyya系数度量当前帧中每个压缩特征在正、负类之间分布的差异，将此差异作为学习率，更新压缩特征的分布参数；

步骤7：根据步骤6中得到的分布差异计算对应特征的权值，对特征按其权值从大到小排序，根据需要按权值选取压缩特征加权构建朴素贝叶斯分类器；

步骤8：以5个像素为采样间隔对候选区域内的样本采样，通过分类器找出跟踪目标的粗略位置；

步骤9：以步骤8中得到的位置为中心，缩小候选区域范围，采集该区域内的所有样本，通过分类器找到目标的最终位置。

2.根据权利要求1所述的结合特征筛选与二次定位的快速压缩跟踪方法，其特征在于，步骤2中，子区域的划分方法如图2。

3.根据权利要求1所述的结合特征筛选与二次定位的快速压缩跟踪方法，其特征在于，步骤5中，用Bhattacharyya系数度量相邻两帧之间目标特征分布的变化，并设定更新阈值，判断是否更新特征分布；当目标出现遮挡时，特征分布的变化会比无遮挡情况下大，此时不更新特征的分布。

4.根据权利要求1所述的结合特征筛选与二次定位的快速压缩跟踪方法，其特征在于，步骤6中，将特征在正、负类中的分布差异作为学习率，使更新后的特征分布更能准确的反映特征在正、负类中的真实分布。

5.根据权利要求1所述的结合特征筛选与二次定位的快速压缩跟踪方法，其特征在于，步骤7中，利用特征在正、负类中的分布差异计算特征的加权，依据权值对特征进行筛选，对筛选出的特征加权构建分类器，分类器模型如下：

。

6.根据权利要求1所述的结合特征筛选与二次定位的快速压缩跟踪方法，其特征在于，步骤7、8、9中，采用二次定位的策略；在两次定位过程中，使用不同的采样间隔采集样本，同时根据特征权值筛选特征构建分类器。