CN105321188A - 基于前景概率的目标跟踪方法 - Google Patents

Abstract

本发明属于模式识别领域，涉及图像处理中的目标跟踪方法。具体地说是一种基于前景概率的目标跟踪方法，可以用于各种视频监控、交通管制等系统中的目标检测与跟踪。针对Mean？shift跟踪算法中权值在减小背景影响的同时削弱了目标模型的表示，为了减小权值对模型表示的影响，提出了由目标模型、候选模型以及像素点属于前景的概率构成的权值图来加强前景和背景的差异，从而抑制背景像素的影响。通过Adaboost得到投影向量，计算出前景的概率图，并利用其概率与Mean？shift的权值融合，利用加强前景和背景差异化的投影向量的更新来适应光照或背景等变化，根据改进的权值的矩特征确定目标的中心位置、尺度以及旋转角度，实现目标的跟踪。

Description

基于前景概率的目标跟踪方法

技术领域

本发明属于计算机视觉领域，涉及图像处理中的目标跟踪方法。具体地说是一种基于前景概率的目标跟踪方法，可以用于各种视频监控、交通管制等系统中的目标检测与跟踪。

背景技术

Meanshift又叫均值漂移算法，该算法是基于核密度估计的无参数模式的统计迭代算法，因其不需要参数、实时性好等优点在跟踪领域得到广泛的应用，但是当部分目标特征与局部背景相似时，跟踪算法易于导致局部最优，从而降低跟踪的准确性，因此，在实际应用过程中受到了限制。

近几年，许多国内外研究者在Meanshift算法的基础上提出了众多的改进算法。连续自适应均值漂移(CAMSHIFT)算法中的权值图依赖于目标模型，能很好的反映目标的动态变化，并且利用权值图的矩特征估计目标的尺寸与旋转角度，但是权值图的矩特征不具有良好的鲁棒性。SOMAST(Scaleandorientationadaptivemeanshifttracking)考虑到目标模型与候选模型之间的巴氏系数与权值图的相关性，利用相似性系数使得权值图的零阶矩更加逼近目标的大小。CBWH(correctedbackground-weightedhistogram)是根据BWH中目标候选区域里像素点的权重分配与没有引入背景信息的权重是成比例这一情况提出的，可以有效地减小背景的干扰。目前，一种新型的CIG(ContextInformationandGlobal)特征提取方法，且利用候选模型大于目标模型产生的权重抑制背景的影响，由此解决Meanshift算法的不足。但这些跟踪算法忽略了局部背景信息，像素点的权值在减小背景影响的同时，也削弱了目标模型，使得跟踪算法易于导致局部最优，从而降低跟踪的准确性。

发明内容

针对上述问题，本发明提出一种基于前景概率的目标跟踪方法，该方法能区分前景和背景，使像素点属于前景的概率与权值融合，以减小由于权值削弱模型的影响。

实现本发明的关键技术是：通过Adaboost算法找到区分前景和背景的投影向量，将原始图像进行超平面投影得到投影图像，利用投影图像得到像素点属于前景的概率图，通过改进的权值图的矩特征确定目标的中心位置、尺度及旋转角度，实现目标的跟踪。

为实现上述目标，具体实现步骤如下：

(1)在第一帧中手动选择目标区域中所有像素点作为正样本和负样本，通过Adaboost算法选择具有判决性的特征维，得到投影向量W，计算Y＝W^TX，其中X是初始图像，Y是投影后图像，经过T次迭代，形成具有判决性的特征维；

(2)设投影后图像像素点属于前景的分布为高斯分布，计算投影图的概率分布p(x_i)，参与目标模型的计算；

(3)利用得到的目标模型和候选模型计算每个像素点的权值w″；

(4)利用所有像素点权值的总和计算候选区域中目标的中心位置、尺寸和旋转角度。

本文发明具有以下优点：

(1)本文发明通过Adaboost加强前景和背景的差异，并不需要像图像分割一样，准确的将前景与背景分割，而是计算出像素点属于前景的概率，并利用其概率值得到改进的目标模型和候选模型。每个像素在迭代过程中不会严格的将其归属到前景或者背景，而是以不同程度归属到这两类，抑制背景像素的影响。

(2)将区分前景和背景的投影向量进行更新来适应光照和背景等变化，根据改进的权值的矩特征能精确确定目标的中心位置尺度以及旋转角度，实现目标的跟踪。

附图说明

图1是视频1跟踪方法的比较，(a)是迭代次数的比较，(b)是中心误差的比较；

图2是视频2跟踪方法的比较，(a)是迭代次数的比较，(b)是中心误差的比较；

图3是视频3跟踪方法的比较，(a)是迭代次数的比较，(b)是中心误差的比较；

图4是视频4跟踪方法的比较，(a)是迭代次数的比较，(b)是中心误差的比较；

图5是跟踪性能与x、y轴误差的比较。

具体实施方式

一、本文发明基于前景概率的目标跟踪方法

1、局部二值模式(LocalBinarypattern，LBP)算子提取运动目标的纹理特征

LBP是目标的纹理特征，一般有9种模式，在这9种模式中与边界和角点相关的模式2、3、4、5、6是目标的主要模式，其余为光滑点，这5种模式提取了目标的边界纹理信息。利用模式2、3、4、5、6提取图像的主要边缘纹理特征，用这五种基本纹理模型LBP_8，1表示图像。将颜色空间量化16×16×16来描述目标，而当颜色特征中加入灰度纹理边缘特征后，对于颜色特征可以粗略量化R和G两个颜色通道，为8×8特征空间，加上LBP的五种纹理模式，所以只需8×8×5的特征向量，在特征空间量化的个数上少于颜色直方图。因为本文将目标的直方图特征空间量化为两个颜色通道和一个纹理通道，所以弱分类器的个数为3。依次计算目标区域中每个像素点的纹理值，如果纹理模式为0，则忽略该像素点，即不参与目标模型的建立。FLBP_8，1的公式为：

其中，g_c表示中心像素点的灰度值，g_p表示以g_c为中心，以R为半径的领域上的P个点的灰度值。

2、基于Adaboost算法投影图像的概率分布

在第一帧中手动选择目标区域中所有像素点作为正样本，即y_i＝1，目标周围以其长半轴和短半轴的1/2的内的像素点属于负样本，即y_i＝-1，初始化像素点的权重D(i)＝1/N，投影向量W＝0。弱分类器的错误率公式如下：

${\mathrm{\ϵ}}_k=\min \underset{i=1}{\overset{M}{\mathrm{\Σ}}}{D}_t\left(i\right)[y_i\≠h_k\left(x_i\right)]k=\mathrm{1,2,3}$

h_k(x_i)＝sign[p(y＝1|f_k(x_i))-p(y＝-1|f_k(x_i))]

其中，f_k(x_i)表示特征向量三个通道中每个像素点的特征值。假设条件概率p(f_k(x_i)|y＝1)和p(f_k(x_i)|y＝-1)服从高斯分布，则利用贝叶斯公式推导出弱分类器过程如下：

$\begin{array}{c}{h}_k\left(x_i\right)=\mathrm{sign}\left[\begin{array}{c}\frac{p\left(f\left(x_i\right)\right|y=1)p(y=1)}{p(y=1)p\left(f\left(x_i\right)\right|y=1)+p(y=-1)p\left(f\left(x_i\right)\right|y=-1)}\\ -\frac{p\left(f\left(x_i\right)\right|y=-1)p(y=-1)}{p(y=-1)p\left(f\left(x_i\right)\right|y=-1)+p(y=1)p\left(f\left(x_i\right)\right|y=1)}\end{array}\right]\\ =\mathrm{sign}\left[\frac{p(y=1)p\left(f\left(x_i\right)\right|y=1)-p\left(f\left(x_i\right)\right|y=-1)}{p(y=1)p\left(f\left(x_i\right)\right|y=1)+p\left(f\left(x_i\right)\right|y=-1)}\right]\\ =\mathrm{sign}\left[\frac{p\left(f\left(x_i\right)\right|y=1)-p\left(f\left(x_i\right)\right|y=-1)}{p\left(f\left(x_i\right)\right|y=1)+p\left(f\left(x_i\right)\right|y=-1)}\right]\end{array}$

最终的弱分类器的表达式为：

$h_k\left(x_i\right)=\mathrm{sign}\left(\frac{p\left(f_k\left(x_i\right)\right|y=1)-p\left(f_k\left(x_i\right)\right|y=-1)}{p\left(f_k\left(x_i\right)\right|y=1)+p\left(f_k\left(x_i\right)\right|y=-1))}\right),k=\mathrm{1,2,3}$

高斯分布的参数更新如下：

${\mathrm{\σ}}_i\←\sqrt{\mathrm{\λ}{\left({\mathrm{\σ}}_i\right)}^2+(1-\mathrm{\λ}){\mathrm{\σ}}^2+\mathrm{\λ}(1-\mathrm{\λ}){({\mathrm{\μ}}_i-\mathrm{\μ})}^2}$

${\mathrm{\μ}}_i\←\mathrm{\λ}{\mathrm{\μ}}_i+(1-\mathrm{\λ})\mathrm{\μ}\frac{1}{n}\underset{k=0|y=1}{\overset{n-1}{\mathrm{\Σ}}}f\left(x_i\right)$

其中，λ代表学习 $\mathrm{\μ}=\frac{1}{n}\underset{k=0|y=1}{\overset{n-1}{\mathrm{\Σ}}}f\left(x_i\right),$ $\mathrm{\σ}=\sqrt{\frac{1}{n}\underset{k=0|y=1}{\overset{n-1}{\mathrm{\Σ}}}{(f\left(x_i\right)-\mathrm{\μ})}^2}.$ 错误率小于0.5时，分类器的极性μ_t＝1，否则μ_t＝-1。ε_t＝minε_k，k＝1，2，3，分类器的权值为：

${\mathrm{\α}}_t=\frac{1}{2}\log \frac{1-{\mathrm{\ϵ}}_t}{{\mathrm{\ϵ}}_t}$

样本权值为：

$D_{t+1}\left(i\right)=D_t\left(i\right)e^{-{\mathrm{\α}}_t{y}_i{h}_t\left(x_i\right)}$

经过T＝10次迭代，最终确定投影向量：

W_t+1＝W_t+α_tμ_te_t，i

其中，e_t，i是3×1的向量，当i＝argminε_i时，e_i＝1。计算Y＝W^TX，其中X是初始图像，Y为投影后图像。初始图像X按特征维三个通道对像素向量化，得到三个1×N维的向量，将其拼接成3行N维向量，即3×N。投影向量W为3×3维向量，于是投影后的Y为1×N的向量，将其按原始图像的大小排列就能得到像素点个数为N的图像。经过T次迭代，迭代过程中会改变3×1维中错误率最小的一维，形成具有判决性的特征维，设投影后图像像素点属于前景的分布为高斯分布，则投影图的概率分布为：

$p\left(x_i\right)=e^{\frac{{-(y\left(x_i\right)-\mathrm{\μ})}^2}{{\mathrm{\σ}}^2}},i=\mathrm{1,2},...,N$

(μ，σ²)为投影图像的均值与方差，通过上式强化前景与背景的像素值的差异。当出现前景和背景的颜色特征类似的情况下，加入纹理特征后与颜色特征量化为8×8×5，投影后图像区分出目标和背景。

3、具体实施步骤

参照图1，本发明的具体实施步骤包括如下：

步骤1.在第一帧中手动选择目标区域中的所有像素点作为正样本，即y_i＝1，在目标区域周围以其长半轴和短本周的1/2内的像素点作为负样本，即y_i＝-1。假设去除光滑点后剩余像素点为{x_i，y_i}，i＝1，2，...N，y_i∈{-1，1}，初始化像素点的权值D(i)＝1/N，投影向量W＝0。

步骤2.通过Adaboost算法选择具有判决性的特征维，将初始图像投影，得到投影图的概率分布：

(2.1)假设条件概率p(f_k(x_i)|y＝1)和p(f_k(x_i)|y＝-1)服从高斯分布，令p(y＝1)＝p(y＝-1)，分别计算3个弱分类器的表达式h_k(x_i)和错误率ε_k：

$h_k\left(x_i\right)=\mathrm{sign}\left(\frac{p\left(f_k\left(x_i\right)\right|y=1)-p\left(f_k\left(x_i\right)\right|y=-1)}{p\left(f_k\left(x_i\right)\right|y=1)+p\left(f_k\left(x_i\right)\right|y=-1\left)\right)}\right),k=\mathrm{1,2,3}$

${\mathrm{\ϵ}}_k=\min \underset{i=1}{\overset{M}{\mathrm{\Σ}}}{D}_t\left(i\right)[y_i\≠h_k\left(x_i\right)]k=\mathrm{1,2,3}$

错误率小于0.5时，分类器的极性μ_t＝1，否则μ_t＝-1。ε_t＝minε_k，k＝1，2，3；

(2.2)根据ε_t计算分类器的权值α_t：

${\mathrm{\α}}_t=\frac{1}{2}\log \frac{1-{\mathrm{\ϵ}}_t}{{\mathrm{\ϵ}}_t}$

(2.3)根据由此可得到样本权值D_t+1：

$D_{t+1}\left(i\right)=D_t\left(i\right)e^{-{\mathrm{\α}}_t{y}_i{h}_t\left(x_i\right)}$

(2.4)经过T＝10次迭代，最终得到投影向量W_t+1：

W_t+1＝W_t+α_tu_te_t，i

其中，e_t，i是3×1的向量，当i＝argminε_i时，e_i＝1。

(2.5)经过T次迭代，形成具有判决性的特征维，设投影后图像像素点属于前景的分布为高斯分布，则投影图的概率分布为：

$p\left(x_i\right)=e^{\frac{{-(y\left(x_i\right)-\mathrm{\μ})}^2}{{\mathrm{\σ}}^2}},i=\mathrm{1,2},...,N$

(μ，σ²)为投影图像的均值与方差，通过上式强化前景与背景的像素值的差异。

步骤3.通过投影得到的概率分布定义目标模型和每个像素点的权值w″：

${\hat{q}}_u^{\text{'}}=C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}p\left(x_i\right)k\left({\left|\right|x_i\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-u]$

$w^{\text{'}\text{'}}=\sqrt{p\left(x_i\right)}\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{\frac{{\hat{q}}_u^{\text{'}}}{{\hat{p}}_u\left(y_0\right)}}\mathrm{\δ}[b\left(x_i\right)-u]$

由此可以看出，每个点的权重与投影后的像素点有关，当p(x_i)越大，表明该点属于前景的可能性越大，因此，点的权重相应的增大，对目标定位的决定性越大。

步骤4.通过所有像素点权值的总和计算目标的中心位置、尺寸和旋转角度：

(4.1)首先计算权值图的一阶矩M₁₀和M₀₁得到候选区域的中心位置坐标：

$y(\stackrel{\‾}{x},\stackrel{\‾}{y})=(M_{10}/M_{00},M_{01}/M_{00})$

(4.2)再由二阶中心距M₂₀、M₀₂和M₁₁构成协方差矩阵，通过奇异值分解得到目标的尺度和旋转角：

${\mathrm{\μ}}_{20}=M_{20}/M_{00}-{\stackrel{\‾}{x}}^2$

${\mathrm{\μ}}_{11}=M_{11}/M_{00}-\stackrel{\‾}{\mathrm{xy}}$

${\mathrm{\μ}}_{02}=M_{02}/M_{00}-{\stackrel{\‾}{y}}^2$

其中 $\left[\begin{array}{cc}{\mathrm{\μ}}_{20}& {\mathrm{\μ}}_{11}\\ {\mathrm{\μ}}_{11}& {\mathrm{\μ}}_{02}\end{array}\right]=\left[\begin{array}{cc}{\mathrm{\μ}}_{11}& {\mathrm{\μ}}_{12}\\ {\mathrm{\μ}}_{21}& {\mathrm{\μ}}_{22}\end{array}\right]\×\left[\begin{array}{cc}{\mathrm{\λ}}_1^2& 0\\ 0& {\mathrm{\λ}}_2^2\end{array}\right]\×{\left[\begin{array}{cc}{\mathrm{\μ}}_{11}& {\mathrm{\μ}}_{12}\\ {\mathrm{\μ}}_{21}& {\mathrm{\μ}}_{22}\end{array}\right]}^T,$ (μ₁₁，μ₂₁)^T和(μ₂₁，μ₂₂)^T分别代表目标在两个轴上旋转的尺度。

(4.3)通过尺度因子α的大小，计算表示实际目标的椭圆的长半轴l和短半轴h：

$\mathrm{\α}=\sqrt{\frac{{\mathrm{\π\α}}^2{\mathrm{\λ}}_1{\mathrm{\λ}}_2}{\mathrm{\π}{\mathrm{\λ}}_1{\mathrm{\λ}}_2}}=\sqrt{\frac{\mathrm{\πlh}}{\mathrm{\π}{\mathrm{\λ}}_1{\mathrm{\λ}}_2}}=\sqrt{\frac{M_{00}}{\mathrm{\π}{\mathrm{\λ}}_1{\mathrm{\λ}}_2}}$

l＝λ₁αh＝λ₂α

步骤5.为了适应运动过程中光照或背景等变化，需要每隔8帧对投影向量进行更新。首先判断当前跟踪的帧数i是否是8的倍数，如果不是，则投影向量保持不变；如果是，则将初始帧到第i帧中所有跟踪目标的大小利用线性插值缩放到固定大小的窗口，然后进行均值运算，考虑到与第i帧越接近的跟踪结果对其影响越大，因此计算公式为image＝[image(1)+image(2)]/2，image＝[image+image(3)]/2，依此类推，image＝[image(i)+image]/2。最后基于新的图像求出新的投影向量W_N，则即将到来的第i+1帧中用于计算前景概率的投影向量为W′＝(W+W_N)/2。

本发明的效果可通过以下实验仿真进一步说明：

1、仿真条件及其参数

本发明采用几个视频来进行实验分析，视频1分别率大小为352×240，共72帧；视频2分辨率为640×480，共96帧，其特点是目标发生尺度变化；视频3的分辨率为290×217，共40帧，其特点是在运动目标的附近有两辆颜色与其的运动车辆。视频4来自数据库中的CarDark视频。文中颜色空间量化为8×8，纹理空间提取的是模式2、3、4、5、6，在Meanshift迭代过程中，允许的最大误差为0.05个像素，迭代上限为16步，更新高斯分布参数的学习参数λ为0.85，投影向量的更新速度为每隔帧率的1/3更新一次，文中用于实验的视频帧率24PFS，即F＝8。

2、仿真内容及结果分析

图1、图2、图3和图4分别为本文算法与Meanshift算法、SOAMST算法和CWBH算法迭代次数的比较和中心误差的比较。可以看出，本文方法的迭代次数小于Meanshift和SOAMST的迭代次数，因为SOAMST是在Meanshift的基础上，利用目标模板与候选模板之间的巴氏系数使得权值图的零阶矩的和更趋近于候选区域目标的真实面积，但SOAMST并没有对前景和背景中像素点的权重进行分析，权重与Meanshift类似，只是考虑到目标模型和候选模型，而本文方法相应的减小了背景的权重，削弱了背景的干扰，优化了迭代次数。

图5为4种算法在4个视频中的跟踪性能和x、y轴误差的比较。可以看出本文算法相对于其他3种算法在x、y轴上的中心误差比较小。原因在于，其他三种方法受到背景的影响，不能准确的估计目标的中心以及尺寸，而本文方法考虑到目标初始化后背景信息的影响，所以在计算权值时，利用像素点概率削弱背景像素点的影响，得到可靠的权值图像。总而言之，本文方法计算权值的时候考虑到属于前景像素的概率，并且通过更新的投影向量区分每帧中前景与背景，从图5可以看出，当目标存在尺度变化或者运动角度变化等问题时，本文方法可以有效的跟踪目标。图5中的相对误差计算公式X_i，Y_i，x_i，y_i视频中目标的中心点和由实验得到的中心点横坐标和纵坐标。

Claims (3)

1.基于前景概率的目标跟踪方法，包括：

(1)通过Adaboost算法加强前景和背景的差异，首在目标区域选择正负样本，构建弱分类器的表达式h_k(x_i)和错误率ε_k选择具有判决性的特征维，找到区分前景和背景的投影向量W，设投影后图像像素点属于前景的分布为高斯分布，利用投影图像得到像素点属于前景的概率图将原始图像进行超平面投影得到投影图像。

(2)构造目标模型和每个像素点的权值w″。本发明假设投影后图像像素点属于前景的分布为高斯分布，计算投影图的概率分布p(x_i)，由此可以得到目标模型和每个像素点的权值，如下所示：

其中C为归一化常数，k为核函数，x_i表示目标区域中第i个像素点的坐标，b(x_i)为像素点x_i映射到对应特征空间。为以y₀为中心的候选区域的特征模型。每个像素在迭代过程中不会严格的将其归属到前景或者背景，而是以不同程度归属到这两类，抑制背景像素的影响。

(3)通过改进的权值图的矩特征确定目标的中心位置、尺度及旋转角度，实现目标的跟踪。

(4)为了适应运动过程中光照或背景等变化，需要每隔8帧对投影向量进行更新。image＝[image(1)+image(2)]/2，image＝[image+image(3)]/2，依此类推，image＝[image(i)+image]/2。最后基于新的图像求出新的投影向量W_N，则即将到来的第i+1帧中用于计算前景概率的投影向量为W′＝(W+W_N)/2。

2.根据权利要求书1所述的基于前景概率的目标跟踪方法，其中，步骤1所述的弱分类器的表达式h_k(x_i)和错误率ε_k，按照下述方法得到：

在第一帧中手动选择目标区域中的所有像素点作为正样本，即y_i＝1，在目标区域周围以其长半轴和短本周的1/2内的像素点作为负样本，即y_i＝-1。假设去除光滑点后剩余像素点为{x_i，y_i}，i＝1，2，...N，y_i∈{-1，1}，初始化像素点的权值D(i)＝1/N，投影向量W＝0；假设条件概率p(f_k(x_i)|y＝1)和p(f_k(x_i)|y＝-1)服从高斯分布，令p(y＝1)＝p(y＝-1)，分别计算3个弱分类器的表达式h_k(x_i)和错误率ε_k：

错误率小于0.5时，分类器的极性μ_t＝1，否则μ_t＝-1。ε_t＝minε_k，k＝1，2，3。

3.根据权利要求书1所述的基于前景概率的目标跟踪方法，其中，步骤4中改进的权值图的矩特征确定目标的中心位置、尺度及旋转角度都是通过计算所有像素点的总和一阶矩M₁₀和M₀₁得到候选区域的中心位置坐标：

再由二阶中心距M₂₀、M₀₂和M₁₁构成协方差矩阵，通过奇异值分解得到目标的尺度和旋转角：

其中(μ₁₁，μ₂₁)^T和(μ₂₁，μ₂₂)^T分别代表目标在两个轴上旋转的尺度。通过尺度因子α的大小，计算表示实际目标的椭圆的长半轴l和短半轴h：

l＝λ₁αh＝λ₂α。