CN103870839A - 视频目标在线多特征跟踪方法 - Google Patents

Abstract

本发明揭露了一种视频目标在线多特征跟踪方法，所述方法包括对输入的视频首帧选取待检测目标，计算选取区域稀疏特征的值；将选取区域作为正样本，背景区域作为负样本，分别提取数据特征；计算视频序列新一帧候选区域的稀疏特征值，进行目标匹配跟踪；更新分类器和参数，进行新一轮目标跟踪。本发明通过对待检测目标稀疏特征表示，降低计算复杂性，并采用实时更新分类器的方法，实现在线跟踪，使得目标不易丢失，达到稳定的跟踪效果。

Description

视频目标在线多特征跟踪方法

【技术领域】

本发明涉及人工智能及识别技术领域，特别涉及一种视频目标的在线多特征跟踪方法。 

【背景技术】

随着计算机软硬件的持续快速发展，各种基于视频图像的应用软件开始涌入人们的视野，极其便利的操作方便了用户的日常生活。但目前主要的应用局限于视频的初级阶段(采集、编码、传输、播放等)，有针对性的高级应用较少；另外有越来越多的摄像头，出现在生活的各个角落，尤其是安防领域，公司、学校、住宅区，这些摄像头通常会产生数据量庞大的实时视频数据，需要大量人力监控以及极大的存储设备。作为视频应用的高级阶段，视频目标检测与跟踪也成为了目前国内外计算机视觉领域中持续的热点方向。 

现阶段已有众多的跟踪算法被提出，且取得了一些成功。在线学习的boosting目标跟踪方法，在目标发生剧烈外观变化时具有良好的跟踪适应性。其主要工作是通过选择不同特征，把目标从背景中区分出来，分类器通过自身学习进行更新。压缩感知目标跟踪算法方法采用正交匹配算法有效解决了最优化问题。从被检测目标周边选取正、负样本，构造成投影矩阵，新目标位置为矩阵中正样本所对应的系数最大的位置，快速的提取特征，能够达到实时跟踪检测目标的效果。 

但是在真实环境中仍旧有未解决的问题(位置、光照、遮挡和运动等的外观改变等)，限制了这些最先进算法应用于商业领域。在线学习的boosting目标跟踪方法，很容易产生跟踪框漂移，且由于学习特征维数巨大，对于商用电脑的配置，帧速率很低，制约了实时检测的效果。压缩感知目标跟踪算法 能够达到实时跟踪检测目标的效果，但目标描述特征单一，在目标纹理、运动或光照变化剧烈时容易产生漂移，甚至跟丢。那么，如何实现视频目标准确跟踪并满足实时性需求是现有技术中的一大难题。 

【发明内容】

本发明的目的在于提供一种视频目标在线多特征跟踪方法，所述目标在线多特征跟踪方法通过对待检测目标稀疏特征表示，降低计算复杂性，并采用实时更新分类器的方法，实现在线跟踪，使得目标不易丢失，达到稳定的跟踪效果。 

为了达到本发明的目的，根据本发明的一个方面，本发明提供一种视频目标在线多特征跟踪方法，所述方法包括：对输入的视频首帧选取待检测目标，计算选取区域稀疏特征的值；将选取区域作为正样本，背景区域作为负样本，分别提取数据特征；计算视频序列新一帧候选区域的稀疏特征值，进行目标匹配跟踪；更新分类器和参数，进行新一轮目标跟踪。 

利用压缩感知算法V=R1X提取选取区域特征，其中X∈R^n×1为原始区域数据，V∈R^k×1为压缩后的特征值，R1∈R^k×n(k＜＜n)为测量矩阵；R1为稀疏阵，表示为： 

a通过随机概率在2到4中任意选取。选取区域的实际稀疏特征值为： 

${V1}_i=\underset{k=1}{\overset{\mathrm{NR}}{\mathrm{\Σ}}}\frac{{R1}_{i,k}{S}_{i,k}}{\sqrt{\mathrm{NR}}},$

其中S为在待检区域随机选取的图块，NR为图块数目，其值在2～4间随机选取。R1_i，k值计算为1或者-1，其值在同一图块中不变。则实际特征V1为原始特征的加权和，

如图2所示。 

进一步的，根据R1生成随机测量矩阵R2，表示为： 

则特征V2为： 

其中S_i，k为第k个图像块，R2_i，k为权值。 

进一步的，待检测目标的每个特征是被检目标的概率如下： 

$p_i\left(i\right)=\log \left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right),$

其中符合条件分布： 

$p\left(v_i^1\right|y=1)~N({\mathrm{\μ}}_i^{11},{\mathrm{\σ}}_i^{11}),p\left(v_i^2\right|y=1)~N({\mathrm{\μ}}_i^{12},{\mathrm{\σ}}_i^{12}),$

$p\left(v_i^1\right|y=1)~N({\mathrm{\μ}}_i^{01},{\mathrm{\σ}}_i^{01}),p\left(v_i^2\right|y=0)~N({\mathrm{\μ}}_i^{02},{\mathrm{\σ}}_i^{02}),$

对正负样本进行相似性判别，设定0为判别正负样本的阈值，如果p_i(i)＞0，认为样本为正，反之认为样本为负。设定特征的权值为w_i，且会在得到训练样本的分类结果后重置，每个特征的权值计算方式如下： 

$w_i=\frac{{\mathrm{tp}}_i+{\mathrm{fn}}_i}{{\mathrm{tp}}_i+{\mathrm{fn}}_i+{\mathrm{tn}}_i+{\mathrm{tp}}_i},$

其中tp_i为正样本被正确分类的个数，tn_i为负样本被正确分类的个数，fp_i为正样本被错误分类的个数，fn_i为负样本被错误分类的个数。 

进一步的，根据加权过的特征寻找目标在下一帧的位置： 

$H^n\left(v\right)=\underset{i}{\overset{n}{\mathrm{\Σ}}}{w}_i\log \left(\frac{p\left(v_i^1\right|y=1)p\left(v_i^2\right|y=1)}{p\left(v_i^1\right|y=0)p\left(v_i^2\right|y=0)}\right),$

并且对相关参数的更新公式如下： 

${\mathrm{\μ}}_i^{\mathrm{rk}}\←{\mathrm{\λ}}^r{\mathrm{\μ}}_i^{\mathrm{rk}}+(1-{\mathrm{\λ}}^r){\mathrm{\μ}}^{\mathrm{rk}},$

${\mathrm{\σ}}_i^{\mathrm{rk}}\←\sqrt{{\mathrm{\λ}}^r{\left({\mathrm{\σ}}_i^{\mathrm{rk}}\right)}^2+(1-{\mathrm{\λ}}^r){\left({\mathrm{\σ}}^{\mathrm{rk}}\right)}^2+{\mathrm{\λ}}^r(1-{\mathrm{\λ}}^r){({\mathrm{\μ}}_i^{\mathrm{rk}}-{\mathrm{\μ}}^{\mathrm{rk}})}^2},$

其中k为1和0时分别表示正负样本；r为1和2分别表示通过特征提取矩阵R1和R2生成特征；λ>0表示更新速率，越小更新速度越快。λ¹越小，目标的纹理特征变化越快；λ²越小，目标的灰度均值特征变化越大。 

本发明中有效地对视频目标特征值的权值进行实时更新，满足相关的视频目标准确、实时跟踪的需求。 

【附图说明】

结合参考附图及接下来的详细描述，本发明将更容易理解，图1为本发明中的视频目标在线多特征跟踪方法流程图。图2为压缩感知特征V1的特征生成示意图。 

【具体实施方式】

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。 

本发明实施例提供了一种视频目标在线多特征跟踪方法，所述目标在线多特征跟踪方法通过对待检测目标稀疏特征表示，降低计算复杂性，并采用实时更新分类器的方法，实现在线跟踪，使得目标不易丢失，达到稳定的跟 踪效果。 

请参考图1，其示出了本发明中的目标在线多特征跟踪方法100的具体实施例子的方法流程图。所述特征值提取方法100包括： 

步骤102，对输入的视频首帧选取待检测目标，计算选取区域稀疏特征的值； 

对实验所用视频序列运用目标在线多特征跟踪方法，对待检测目标稀疏特征表示，降低计算复杂性，实现在线跟踪，达到稳定的跟踪效果。在算法实验或实际应用中，视频序列通常是一系列物体在某场景运动的灰度图像序列(若是彩色图像则先转换为灰度图像)，若每帧视频图像大小为256×256，帧数为500，对首帧输入图像按60×90选取待检测目标。 

根据R1_i中只存在1或-1的概率为： 

$\begin{array}{c}p(\underset{k}{\mathrm{\Σ}}{R1}_{i,k}=\mathrm{kor}\underset{k}{\mathrm{\Σ}}{R1}_{i,k}=-k)\\ =\underset{j=2}{\overset{4}{\mathrm{\Σ}}}p(\mathrm{NR}=j)\underset{k=1}{\overset{\mathrm{NR}}{\mathrm{\Π}}}p({R1}_{i,k}=1)+\underset{j=2}{\overset{4}{\mathrm{\Σ}}}p(\mathrm{NR}=j)\underset{k=1}{\overset{\mathrm{NR}}{\mathrm{\Π}}}p({R1}_{i,k}=-1)\\ \≈0.29\end{array}$

可知特征V1表现为图像灰度的均值，在另外R1_i中1或-1同时存在的概率为0.79下，特征表现为纹理特征。则实际特征 

${V1}_i=\underset{j}{\mathrm{\Σ}}{R}_{i,j}{x}_j(i=\mathrm{1,2},...,k).$

根据R2_i，则特征 

可知V2与V1形成概率互补的两种特征，能相互补充，提高目标跟踪的稳定性。 

本发明中，采用多特征的方式(灰度均值特征和纹理特征)跟踪匹配目标特征， 多特征主要针对单一特征存在不稳定、易丢失的问题进行改进，多特征跟踪极大提高了算法的鲁棒性。 

步骤104，将选取区域作为正样本，背景区域作为负样本，分别提取数据特征； 

待检测目标的每个特征是被检目标的概率如下： 

$p_i\left(i\right)=\log \left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right),$

对正负样本进行相似性判别，设定0为判别正负样本的阈值，如果p_i(i)＞0，认为样本为正，反之认为样本为负。设定特征的权值为wi，且会在得到训练样本的分类结果后重置，每个特征的权值计算方式如下： 

$w_i=\frac{{\mathrm{tp}}_i+{\mathrm{fn}}_i}{{\mathrm{tp}}_i+{\mathrm{fn}}_i+{\mathrm{tn}}_i+{\mathrm{tp}}_i},$

其中tp_i为正样本被正确分类的个数，tn_i为负样本被正确分类的个数，fp_i为正样本被错误分类的个数，fn_i为负样本被错误分类的个数。 

步骤106，计算视频序列新一帧候选区域的稀疏特征值，进行目标匹配跟踪； 

在定位到目标后，将跟踪窗口内的目标区域作为正样本，将跟踪窗口周边的若干背景区域作为负样本。当样本(x，y)，y∈{0，1}产生时，n个特征选择器顺序生成，每次生成均对m个特征进行更新：当h_m(x)=y时，

累加；当h_m(x)≠y时，

累加。 

更新完毕后，每个特征选择器挑选当前最小累积错误率的特征作为其对应的弱分类器：

其中 

m⁺=arg_mmin(ε_m) 

ε_m为每个特征的累积错误率， 

${\mathrm{\ϵ}}_m=\frac{{\mathrm{\λ}}_m^{\mathrm{wrong}}}{{\mathrm{\λ}}_m^{\mathrm{wrong}}+{\mathrm{\λ}}_m^{\mathrm{corr}}},$

在跟踪过程中，需要计算n个选择器中m个特征的累积错误率，选择具有最小错误率的弱分类器并返回计算所得权值，这个过程计算量大，利用压缩感知公式有效减少特征数据量后，基本能达到实时的目标检测。 

步骤108，更新分类器和参数，返回步骤102进行下一轮跟踪； 

更新分类器Hⁿ(v)为： 

$H^n\left(v\right)=\underset{i}{\overset{n}{\mathrm{\Σ}}}{w}_i\log \left(\frac{p\left(v_i^1\right|y=1)p\left(v_i^2\right|y=1)}{p\left(v_i^1\right|y=0)p\left(v_i^2\right|y=0)}\right),$

并且对相关参数的更新公式如下： 

${\mathrm{\μ}}_i^{\mathrm{rk}}\←{\mathrm{\λ}}^r{\mathrm{\μ}}_i^{\mathrm{rk}}+(1-{\mathrm{\λ}}^r){\mathrm{\μ}}^{\mathrm{rk}},$

${\mathrm{\σ}}_i^{\mathrm{rk}}\←\sqrt{{\mathrm{\λ}}^r{\left({\mathrm{\σ}}_i^{\mathrm{rk}}\right)}^2+(1-{\mathrm{\λ}}^r){\left({\mathrm{\σ}}^{\mathrm{rk}}\right)}^2+{\mathrm{\λ}}^r(1-{\mathrm{\λ}}^r){({\mathrm{\μ}}_i^{\mathrm{rk}}-{\mathrm{\μ}}^{\mathrm{rk}})}^2},$

其中k为1和0时分别表示正负样本；r为1和2分别表示通过特征提取矩阵R1和R2生成特征；λ>0表示更新速率，越小更新速度越快。λ¹越小，目标的纹理特征变化越快；λ²越小，目标的灰度均值特征变化越大。 

进一步的，迭代训练分类器，更新权值，用Kalman滤波预测计算新一帧候选区域，进行目标匹配。本发明中对背景和前景目标同时更新，只有同时达到最大值时，才作为最佳估计位置。这种方法在目标被遮挡时，有很好的抗干扰效果。 

按本发明视频目标在线多特征跟踪的方法与Online Boosting Tracking算法(以下简称OBT算法)和Compressive Tracking算法(以下简称CT算法)进行横向对比实验。对视频图像大小为256×256，帧数为500的视频序列，首帧输入图像按60×90选取待检测目标，搜索范围为临近24像素内。本发 明方法与CT算法、OBT算法进行了比较，实验中CT算法选取特征的个数为100个，OBT算法中强分类器50个，包含100个弱分类器，算法都采用Haar-like特征。 

提取待测目标的特征值V1和V2作为正样本，选取临近2～4同样大小背景，计算相同特征作为负样本。 

将实验中所用的视频序列David和Sylv，分别应用在线多特征跟踪的方法，OBT算法以及CT算法。观察视频序列由在线多特征跟踪的方法、OBT算法以及CT算法的误差图像分布，和按算法进行实验的结果相比较，本发明在对David的跟踪最稳定，或跟CT算法的跟踪效果基本相同；在Sylv视频序列中，在目标纹理出现变化较大的情况下，本发明因采用纹理特征和灰度均值特征相结合的方法，且依据不同特征的不同稳定性进行加权，比OBT算法以及CT算法跟踪稳定。 

进一步的，将实验中所用的视频序列Girl。分别应用在线多特征跟踪的方法，OBT算法以及CT算法。观察视频序列由在线多特征跟踪的方法、OBT算法以及CT算法。在遮挡方面，本发明优于OBT算法以及CT算法，而后两者均产生了不同程度的漂移甚至丢失现象。 

分别进行本发明实验、OBT算法实验和CT算法实验，跟踪3种类型的视频序列图像，观察它们映射到xy坐标系的误差分布。结果显示，在这3次实验中，应用在线多特征跟踪的方法的实验结果优于OBT算法实验和CT算法实验。 

本发明提出的在线多特征跟踪的方法，是为了对目标特征进行压缩，降低算法的计算复杂度。对比OBT算法实验和CT算法实验实验所用时间：以OBT算法和CT算法实验时，从读取图像序列首帧开始到算法结束为运行所用时间；运用在线多特征跟踪的方法实验时，总的运行时间小于OBT算法，和CT算法大致相等。记录实验所用时间，结果显示，运用在线多特征跟踪 的方法在时间上比OBT算法有很大的降低，提高了效率。 

通过上述在线多特征跟踪方法的具体实例，本发明在线多特征跟踪方法既保证了目标跟踪的准确性，又减少运算时间，降低了运算复杂度。 

需要说明的是：上述实施例提供的在线多特征跟踪方法，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即不同分辨率的输入视频图像序列、帧数、不同大小的跟踪目标，以完成以上描述的全部或者部分功能。 

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于所述具体实施方式。 

Claims (7)

1.一种视频目标在线多特征跟踪方法，其特征在于，所述方法包括：

对输入的视频首帧选取待检测目标，计算选取区域稀疏特征的值；

将选取区域作为正样本，背景区域作为负样本，分别提取数据特征；

计算视频序列新一帧候选区域的稀疏特征值，进行目标匹配跟踪；

更新分类器和参数，进行新一轮目标跟踪。

2.根据权利要求1所述的视频目标在线多特征跟踪方法，其特征在于，所述对输入的视频首帧选取待检测目标，计算选取区域稀疏特征的值包括：

利用压缩感知算法V=R1X提取选取区域特征，其中X∈R^n×1为原始区域数据，V∈R^k×1为压缩后的特征值，R1∈R^k×n(k＜＜n)为测量矩阵。R1为稀疏阵，表示为：

其中α通过随机概率在2到4中任意选取。选取区域的实际稀疏特征值为：

${V1}_i=\underset{k=1}{\overset{\mathrm{NR}}{\mathrm{\Σ}}}\frac{{R1}_{i,k}{S}_{i,k}}{\sqrt{\mathrm{NR}}},$

其中，S为在待检区域随机选取的图块，NR为图块数目，其值在2～4间随机选取。R1^i，k值计算为1或者-1，其值在同一图块中不变。

3.根据权利要求2所述的视频目标在线多特征跟踪方法，其特征在于，稀疏特征值的表示，则实际特征V1为原始特征的加权和：

$\underset{j}{\mathrm{\Σ}}{R}_{i,j}{x}_j={V1}_i(i=\mathrm{1,2},...,k).$

4.根据权利要求2所述的视频目标在线跟踪多特征方法，其特征在于，根据R1生成随机测量矩阵R2，表示为：

则特征V2，表示为：

其中S_i，k为第k个图像块，R2_i，k为权值。

5.根据权利要求1所述的视频目标在线多特征跟踪方法，其特征在于，将选取区域作为正样本，背景区域作为负样本，分别提取数据特征包括：

待检测目标的每个特征是被检目标的概率为：

$p_i\left(i\right)=\log \left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right),$

其中符合条件分布：

$p\left(v_i^1\right|y=1)~N({\mathrm{\μ}}_i^{11},{\mathrm{\σ}}_i^{11}),p\left(v_i^2\right|y=1)~N({\mathrm{\μ}}_i^{12},{\mathrm{\σ}}_i^{12}),$

$p\left(v_i^1\right|y=1)~N({\mathrm{\μ}}_i^{01},{\mathrm{\σ}}_i^{01}),p\left(v_i^2\right|y=0)~N({\mathrm{\μ}}_i^{02},{\mathrm{\σ}}_i^{02}),$

对正负样本进行相似性判别，设定0为判别正负样本的阈值，如果p_i(i)＞0，认为样本为正，反之认为样本为负。设定特征的权值为w_i，且会在得到训练样本的分类结果后重置，每个特征的权值计算方式为：

$w_i=\frac{{\mathrm{tp}}_i+{\mathrm{fn}}_i}{{\mathrm{tp}}_i+{\mathrm{fn}}_i+{\mathrm{tn}}_i+{\mathrm{tp}}_i},$

其中tp_i为正样本被正确分类的个数，tn_i为负样本被正确分类的个数，fp_i为正样本被错误分类的个数，fn_i为负样本被错误分类的个数。

6.根据权利要求1所述的视频目标在线多特征跟踪方法，其特征在于，计算视频序列新一帧候选区域的稀疏特征值，进行目标匹配跟踪包括：

当样本(x，y)，y∈{0，1}产生时，n个特征选择器顺序生成，每次生成均对m个特征进行更新：当h_m(x)=y时，

累加；当h_m(x)≠y时，

累加。

更新完毕后，每个特征选择器挑选当前最小累积错误率的特征作为其对应的弱分类器：

其中

m⁺=arg_mmin(ε_m)

ε_m为每个特征的累积错误率，

${\mathrm{\ϵ}}_m=\frac{{\mathrm{\λ}}_m^{\mathrm{wrong}}}{{\mathrm{\λ}}_m^{\mathrm{wrong}}+{\mathrm{\λ}}_m^{\mathrm{corr}}},$

在跟踪过程中，需要计算n个选择器中m个特征的累积错误率，选择具有最小错误率的弱分类器并返回计算所得权值，这个过程计算量大，利用压缩感知公式有效减少特征数据量后，基本能达到实时的目标检测。

7.根据权利要求1所述的视频目标在线多特征跟踪方法，其特征在于，更新分类器和参数，进行新一轮目标跟踪包括：

更新分类器Hⁿ(v)为：

$H^n\left(v\right)=\underset{i}{\overset{n}{\mathrm{\Σ}}}{w}_i\log \left(\frac{p\left(v_i^1\right|y=1)p\left(v_i^2\right|y=1)}{p\left(v_i^1\right|y=0)p\left(v_i^2\right|y=0)}\right),$

并且对相关参数的更新公式如下：

${\mathrm{\μ}}_i^{\mathrm{rk}}\←{\mathrm{\λ}}^r{\mathrm{\μ}}_i^{\mathrm{rk}}+(1-{\mathrm{\λ}}^r){\mathrm{\μ}}^{\mathrm{rk}},$

${\mathrm{\σ}}_i^{\mathrm{rk}}\←\sqrt{{\mathrm{\λ}}^r{\left({\mathrm{\σ}}_i^{\mathrm{rk}}\right)}^2+(1-{\mathrm{\λ}}^r){\left({\mathrm{\σ}}^{\mathrm{rk}}\right)}^2+{\mathrm{\λ}}^r(1-{\mathrm{\λ}}^r){({\mathrm{\μ}}_i^{\mathrm{rk}}-{\mathrm{\μ}}^{\mathrm{rk}})}^2},$

其中k为1和0时分别表示正负样本；r为1和2分别表示通过特征提取矩阵R1和R2生成特征；λ>0表示更新速率，越小更新速度越快。λ¹越小，目标的纹理特征变化越快；λ²越小，目标的灰度均值特征变化越大。有效地对视频目标特征值的权值进行实时更新，满足相关的视频目标准确、实时跟踪的需求。

Images