CN102831622A - 一种基于Mean shift的目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于Mean shift目标跟踪改进型方法，其特征在于：首先利用卡尔曼滤波算法对目标当前位置进行预测，然后设计模糊判定准则在线调整目标尺度值，利用Mean shift迭代运算逐步逼近目标完成跟踪，最后，利用相似度和置信度系数设计模型更新准则，以实现模板的自适应更新。利用本发明方法，能够有效适应跟踪目标尺度的变化，避免目标跟踪中的漂移现象，又能有效克服图像中噪声的干扰，跟踪精度明显提高，可实现长时间目标实时稳定跟踪。

Description

一种基于Mean shift的目标跟踪方法

技术领域

本发明涉及一种基于Mean shift(均值漂移)算法的目标跟踪改进型方法，设计了一种有效克服跟踪漂移问题并适应目标尺度变化的模糊自适应方法，可以应用于各类运动目标跟踪系统。 

背景技术

目标跟踪是近年来计算机视觉领域中备受关注的研究方向，在安全监控、运动检测等领域都具有广泛的应用前景。目前运动目标的跟踪方法主要有光流法、粒子滤波、Mean shift均值漂移等方法，其中Mean shift算法以其良好的实时特性获得广泛的应用与发展。但传统的基于Mean shift的跟踪算法存在以下问题：1）由于采用固定的核窗宽度，不能很好的适应目标尺度的变化；2）目标模型固定不变，随着跟踪时间的积累，产生跟踪漂移，最终可能会丢失目标。 

基于此，本发明提出了一种基于Mean shift算法的模糊自适应运动目标跟踪方法，在此基础上设计了一个自适应模糊跟踪系统，可有效适应目标尺度的变化另外，增加了模型自适应更新机制，根据候选目标的置信度自适应调整目标模型，理论上这种方法不仅可以适应目标尺度的变化并能克服目标跟踪过程中的跟踪漂移问题。 

发明内容

要解决的技术问题 

能够有效适应跟踪目标尺度的变化，并能够避免目标跟踪中的漂移现象，实现目标长时间实时稳定跟踪。 

技术方案 

一种基于Mean shift的目标跟踪方法，其特征在于：

步骤1：在第1帧图像中选取包含目标跟踪的区域作为目标模板图像； 

步骤2：根据目标运动的位置和速度构造卡尔曼滤波器模型，预测第k帧候选目标 的位置 

然后以 

为中心，作窗口大小为h(k)^*的矩形窗，得到窗所覆盖的目标图像I(k)；所述的h(k)^*为第k帧候选目标增益尺度，为h(k)^*＝(1+β)×h(k-1)，其中h(k-1)为第k-1帧候选目标尺度，β为拓展因子； 

步骤3：计算第k帧图像候选目标的置信度L(k)和I(k)与I(k-1)之间的相似度ρ(k)，当 $\left\{\begin{array}{c}|L\left(k\right)-L(k-1)|＜{\mathrm{\θ}}_{\mathrm{th}}\\ \mathrm{\ρ}\left(k\right)>{\mathrm{\ρ}}_{\mathrm{th}}\end{array}\right.$ 成立时，不进行候选目标尺度的更新，重复步骤2； 

所述的 其中：P_ub(b(y_i))为图像背景的概率密度函数，P_u(b(y_i))为候选目标的概率密度函数，δ为调整因子；y_i为第k帧候选目标第i个像素点的值，N_d为第k帧候选目标像素点总数； 

I(k-1)为第k-1帧的目标图像，ρ(k)=||I(k)·I(k-1)||₂，θ_th为候选目标置信度的下限阈值；ρ_th为候选目标相似度的下限阈值； 

步骤4：以置信度梯度z(k)和相似度梯度m(k)作为模糊控制器的输入,h(k)作为模糊控制器的输出，采用表1所述模糊控制规则建立模糊控制器，输出h(k)_i； 

表1模糊控制规则表 

所述的z(k)＝L(k)-L(k-1)，m(k)＝ρ(k)-ρ(k-1)，h(k)_i＝h(k)₀+Δh(k)_i，h(k)_i为第k帧中第i次Mean shift迭代运算获得的候选目标尺度，i为第k帧尺度调整机制迭代次数； 

步骤5：在候选目标尺度等于h(k)_i条件下进行Mean shift迭代运算，当  $\left\{\begin{array}{c}|L\left(k\right)-L(k-1)|＜{\mathrm{\θ}}_{\mathrm{th}}\\ \mathrm{\ρ}{\left(k\right)}_i>{\mathrm{\ρ}}_{\mathrm{th}}\end{array}\right.$ 成立时，继续步骤6，否则重复步骤3； 

所述的ρ(k)_i为第i次Mean shift迭代I(k)与I(k-1)之间的相似度； 

步骤6：以q(u)(k)＝λ_k×q(u)(k)^*+(1-λ_k)×q(u)(k-1)调整第k帧的目标模板，当ρ[q(u)(k),q(u)(k-1)]≥ε，调整结束，得到新的目标模板，然后重复步骤2；所述的ε为模型更新阈值； 

所述的q(u)(k)为第k帧目标模板，q(u)(k)^*为第k帧初始目标模板，q(u)(k-1)为第k-1帧目标模板，λ_k为第k帧更新因子： 

所述 ${\mathrm{\λ}}_k=(1+\mathrm{\α}\frac{L\left(k\right)-L(k-1)}{\left|L\left(k\right)\right|}){\mathrm{\λ}}_{k-1},$ α为学习速度； 

所述ρ[q(u)(k),q(u)(k-1)]为q(u)(k)与q(u)(k-1)之间的欧式距离：且ρ[q(u)(k),q(u)(k-1)]=||q(u)(k)·q(u)(k-1)||₂； 

所述k值在每次重复时令k＝k+1。 

所述拓展因子β为0.4~1。 

所述调整因δ子取值为δ＝0.001。 

所述候选目标置信度的下限阈值θ_th取值为10。 

所述候选目标相似度的下限阈值ρ_th取值为0.8。 

所述模型更新阈值ε取ε＝0.8。 

所述学习速度α取值0.2~0.5。 

有益效果 

本发明是基于Mean shift算法的目标跟踪改进型方法，在原算法基础上进行了部分改进，引入目标置信度的概念，利用目标置信度与目标尺度之间的关系，再结合相似度的描述，采用模糊判别准则，自适应的获取目标尺度值，同时，采用自适应模型更新机制，能够有效避免目标跟踪中的漂移现象，又能有效克服图像中噪声的干扰，跟踪精度明显提高。 

本发明对方法进行了仿真实验，处理后的图像与原图像相比，跟踪效果得到了明显改善，结果令人满意，并且快速性好，满足了实时性的要求。 

附图说明

图1：目标置信度随尺度h变化的关系图 

图2：模糊自适应目标跟踪系统结构图 

图3：利用本发明中的方法得到的跟踪视频图像 

a未处理视频第10帧图像 

b未处理视频第30帧图像 

c未处理视频第60帧图像 

d处理后视频第10帧图像 

e处理后视频第30帧图像 

f处理后视频第60帧图像 

图4：本发明方法与传统Mean shift跟踪误差对比 

具体实施方式

现结合实施例、附图对本发明作进一步描述： 

用于实施的硬件环境是：联想Lenovo计算机、1GB内存、256M显卡，运行的软件环境是：Matlab2010a和Windows XP。我们用MATLAB软件实现了本发明提出的方法。 

本发明方法的基本流程如附图1所示，具体实施如下： 

步骤一：在第1帧图像中选取包含目标跟踪的区域作为目标模板图像； 

步骤二：以目标运动的信息（位置及速度）构造卡尔曼滤波器模型以，预测第k帧候选目标的位置 

并以 

为中心，作窗口大小为h(k)^*的矩形窗，该窗所覆盖的图像称为目标图像I(k)； 

其中，h(k)^*＝(1+β)×h(k-1)，h(k-1)为第k-1帧候选目标尺度，β为拓展因子，取值为0.4~1；实施过程如下： 

（1）建立目标运动数学模型，其数学公式为： 

$X\left(k\right)=\left[\begin{array}{c}1,t\\ \mathrm{0,1}\end{array}\right]\left[\begin{array}{c}X\left(k\right)\\ X{\left(k\right)}^{\′}\end{array}\right]+\left[\begin{array}{c}\frac{t^2}{2}\\ t\end{array}\right]W\left(k\right)---\left(1\right)$

Z(k)＝H×X(k)+V(k)    （2） 

其中，X(k)表示第k帧中候选目标位置的像素坐标；X(k)′表示第k帧中候选目标位置的导数；t表示时间间隔；一般为了计算方便，取t＝1；W(k)表示过程噪声。Z(k)为X(k)实时观测值，H为测量矩阵，V(k)表示测量噪声。 

（2）利用卡尔曼滤波器获取当前帧候选目标预测位置 

这个过程可以用以下方程来表示： 

$X\left(k\right|k-1)=\left[\begin{array}{c}1,t\\ \mathrm{0,1}\end{array}\right]P(k-1|k-1)---\left(3\right)$

$P\left(k\right|k-1)=\left[\begin{array}{c}1,t\\ \mathrm{0,1}\end{array}\right]P(k-1|k-1)\left[\begin{array}{c}\mathrm{1,0}\\ t,1\end{array}\right]+Q---\left(4\right)$

X(k|k)＝X(k|k-1)+Kg(k)(Z(k)-H×X(k|k-1))    （5） 

Kg(k)＝P(k|k-1)H^T/(H×P(k|k-1)H^T+R)         （6） 

P(k|k)＝（I-Kg(k)H）P(k|k-1)                （7） 

其中，X(k|k-1)为利用第k-1帧状态预测的第k帧候选目标位置。X(k|k)为第k帧候选目标位置最优化估算值，即第k帧候选目标预测值。P(k|k-1)为X(k|k-1)的协方差更新矩阵。Q为系统过程噪声矩阵W(k)的协方差矩阵，R为测量噪声矩阵V(k)的协方差矩阵，Kg(k)为卡尔曼滤波增益矩阵。 

（3）以 为中心，并结合第k帧的目标增益尺度h(k)^*，获取目标图像I(k)。 

步骤三：计算第k帧图像候选目标的置信度L(k)和I(k)与I(k-1)之间的相似度ρ(k)，当符合 $\left\{\begin{array}{c}|L\left(k\right)-L(k-1)|＜{\mathrm{\θ}}_{\mathrm{th}}\\ \mathrm{\ρ}\left(k\right)>{\mathrm{\ρ}}_{\mathrm{th}}\end{array}\right.,$ 不进行候选目标尺度的更新，重复步骤二； 

其中， 

P_ub(b(y_i))为背景的概率密度函数，P_u(b(y_i))为候选目标的概率密度函数，δ为调整因子，取值为0.001；y_i为第k帧候选目标第i点的像素值，N_d为第k帧候选目标像素点总数；I(k-1)为第k-1帧的目标图像，ρ(k)=||I(k)·I(k-1)||₂，θ_th为候选目标置信度的下限阈值，取值为10，ρ_th为候选目标相似度的下限阈值，取值为0.8； 

步骤四：以置信度梯度z(k)和相似度梯度m(k)作为模糊控制器的输入,h(k)作为模糊控制器的输出，并利用表1所述模糊控制规则建立模糊控制器，输出h(k)_i； 

其中，z(k)＝L(k)-L(k-1)，m(k)＝ρk)-ρk-1)，h(k)_i＝h(k)₀+Δh(k)_i，h(k)_i为第k帧中第i次Mean shift迭代运算获得的候选目标尺度，i为第k帧尺度调整机制迭代次数，设定i≤5；L(k)与目标尺度h(k)是一种非线性、时变的关系，很难用精确的数学模型来表示，而模糊控制不需要预先知道过程精确度数学模型，对于非线性、时变系统具有更好的适应性，对系统参数的变化有更强的鲁棒性。模糊控制系统设计的关键在于找出输入与输出之间的模糊关系。选择置信度梯度l(k)及相似度梯度m(k)作为模糊控制器的输入变量,以目标尺度h(k)作为输出变量，定义模糊量l(k)与m(k)的模糊子集为{NB,NS,ZE,PS,PM,PB},论域为{-1,1}；模糊量h(k)的模糊子集为{NB,NM,NS,ZE,PS,PM,PB},论域选为{0.9,1.1}。考虑到对论域的覆盖程度和灵敏度,稳定性与鲁棒性原则,各模糊子集均选用三角形隶属函数。模糊控制器的核心是“IF…TNEN”形式的模糊控制规则。控制规则的选取直接关系到系统控制性能的优劣,是设计的关键。而在模糊自适应跟踪系统中，h(k)与L(k)、ρ(k)的模糊关系如下： 

（1）若L(k)较L(k-1)减小，且幅度较大，ρ(k)较ρ(k-1)减小，且幅度较大，则说明目标尺度h(k)明显减小。 

（2）若L(k)较L(k-1)变化，且幅度较小，ρ(k)较ρ(k-1)变化，幅度较小，则说明目标尺度h(k)不变化。 

（3）若L(k)较L(k-1)增大，且幅度较大，ρ(k)较ρ(k-1)也增大，则说明目标尺度h(k)明显增大。 

根据上述分析同时考虑到其相互影响,本发明建立了25条模糊控制规则,其中h(k)_i与l(k)、m(k)之间的模糊关系如表1所示； 

在系统运行中，不断检测z(k)、m(k)，再通过模糊控制规则对目标尺度h(k)进行在线调整。 

步骤五：在候选目标尺度等于h(k)_i条件下进行Mean shift迭代运算，当  $\left\{\begin{array}{c}|L\left(k\right)-L(k-1)|＜{\mathrm{\θ}}_{\mathrm{th}}\\ \mathrm{\ρ}{\left(k\right)}_i>{\mathrm{\ρ}}_{\mathrm{th}}\end{array}\right.$ 成立时，继续步骤六，否则重复步骤三； 

其中，ρ(k)_i为第i次Mean shift迭代I(k)与I(k-1)之间的相似度。 

在RGB颜色空间上将窗口内像素点的颜色量化成m级，由此构成一个特征空间，特征空间中特征值的个数为m。将目标区域在特征空间的密度估计作为目标模型的描述，则u第个特征值的概率密度估计为： 

$q_u=c\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left({\left|\right|\frac{x_0-x_i}{h}\left|\right|}^2\right)\mathrm{\δ}\left[(x_i-u)\right]---\left(8\right)$

其中，u=1,2，…，m；x₀是矩形窗口的中心像素坐标，x_i是第i个像素点的坐标；k(x)是核函数，采用线性核函数，h是核函数的带宽；函数δ提取颜色值等于特征值u的像素值。 

和(8)式类似，候选目标中特征值u的概率为： 

$p_u\left(y_0\right)=c\underset{i=1}{\overset{n_k}{\mathrm{\Σ}}}k\left({\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right)\mathrm{\δ}\left[(x_i-u)\right]---\left(9\right)$

其中，y₀是当前帧中候选目标区域的中心，x_i是第i个像素的坐标。 

定义相似性函数为 

$\mathrm{\ρ}\left(y\right)=\mathrm{\ρ}(p\left(\widehat{y_0}\right),\widehat{q_u})=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{\widehat{p_u}\left(y_0\right)\widehat{q_u}}---\left(10\right)$

该值在[0,1]区间取值，ρ(y)的值越大，俩个模型的相似度越高。要得到相似度的最大值，需要求式(10)的最大值，对其求导，并令导数为0，得到mean shift迭代方程如下： 

$\widehat{y_1}=\frac{\underset{i=1}{\overset{n_k}{\mathrm{\Σ}}}{x}_i{w}_{i}g\left({\left|\right|\frac{y-x_i}{h}\left|\right|}^2\right)}{\underset{i=1}{\overset{n_k}{\mathrm{\Σ}}}{w}_{i}g\left({\left|\right|\frac{y-x_i}{h}\left|\right|}^2\right)}---\left(11\right)$

通过迭代 

可达到当前帧的局部最大值。上述连续的迭代过程，即可收敛于当前帧的最优位置。这个过程称为Mean shift迭代过程。 

步骤六：以q(u)(k)＝λ_k×q(u)(k)^*+(1-λ_k)×q(u)(k-1)调整第k帧目标模板，ρ[q(u)(k),q(u)(k-1)]≥ε，调整结束，得到新的目标模板，然后重复步骤二； 

其中，ε为模型更新阈值，取ε＝0.8；q(u)(k)为第k帧目标模板，q(u)(k)^*为第k帧初始目标模板，q(u)(k-1)为第k-1帧目标模板，λ_k为调整第k帧更新因子： 

α为学习速度，取值0.2~0.5，ρ[q(u)(k),q(u)(k-1)]为q(u)(k)与q(u)(k-1)之间的相似性（即欧式距离）：ρ[q(u)(k),q(u)(k-1)]=||q(u)(k)·q(u)(k-1)||₂。本发明模型更新准则对目标模型增加自适应权值，使目标模型更新时考虑候选目标模型置信度的变化，自适应的调整第k帧及第k-1帧目标模型权重，可有效避免频繁更换目标模型而带来的累积误差，能更准确进行目标模型更新。 

利用本发明方法进行运动目标跟踪实验，可明显改善跟踪的精度，并可有效消除跟踪漂移现象。 

Claims (7)

1.一种基于Mean shift的目标跟踪方法，其特征在于：

步骤1：在第1帧图像中选取包含目标跟踪的区域作为目标模板图像；

步骤2：根据目标运动的位置和速度构造卡尔曼滤波器模型，预测第k帧候选目标的位置然后以为中心，作窗口大小为h(k)^*的矩形窗，得到窗所覆盖的目标图像I(k)；所述的h(k)^*为第k帧候选目标增益尺度，为h(k)^*＝(1+β)×h(k-1)，其中h(k-1)为第k-1帧候选目标尺度，β为拓展因子；

步骤3：计算第k帧图像候选目标的置信度L(k)和I(k)与I(k-1)之间的相似度ρ(k)，当 $\left\{\begin{array}{c}|L\left(k\right)-L(k-1)|<{\mathrm{\&theta;}}_{\mathrm{th}}\\ \mathrm{\&rho;}\left(k\right)>{\mathrm{\&rho;}}_{\mathrm{th}}\end{array}\right.$ 成立时，不进行候选目标尺度的更新，重复步骤2；

所述的其中：P_ub(b(y_i))为图像背景的概率密度函数，P_u(b(y_i))为候选目标的概率密度函数，δ为调整因子；y_i为第k帧候选目标第i个像素点的值，N_d为第k帧候选目标像素点总数；

I(k-1)为第k-1帧的目标图像，ρ(k)=||I(k)·I(k-1)||₂，θ_th为候选目标置信度的下限阈值；ρ_th为候选目标相似度的下限阈值；

步骤4：以置信度梯度z(k)和相似度梯度m(k)作为模糊控制器的输入,h(k)作为模糊控制器的输出，采用表1所述模糊控制规则建立模糊控制器，输出h(k)_i；

表1模糊控制规则表

所述的z(k)＝L(k)-L(k-1)，m(k)＝ρ(k)-ρ(k-1)，h(k)_i＝h(k)₀+Δh(k)_i，h(k)_i为第k帧中第i次Mean shift迭代运算获得的候选目标尺度，i为第k帧尺度调整机制迭代次数；

步骤5：在候选目标尺度等于h(k)_i条件下进行Mean shift迭代运算，当 $\left\{\begin{array}{c}|L\left(k\right)-L(k-1)|<{\mathrm{\&theta;}}_{\mathrm{th}}\\ \mathrm{\&rho;}{\left(k\right)}_i>{\mathrm{\&rho;}}_{\mathrm{th}}\end{array}\right.$ 成立时，继续步骤6，否则重复步骤3；

所述的ρ(k)_i为第i次Mean shift迭代I(k)与I(k-1)之间的相似度；

步骤6：以q(u)(k)＝λ_k×q(u)(k)^*+(1-λ_k)×q(u)(k-1)调整第k帧的目标模板，当ρ[q(u)(k)，q(u)(k-1)]≥ε，调整结束，得到新的目标模板，然后重复步骤2；所述的ε为模型更新阈值；

所述的q(u)(k)为第k帧目标模板，q(u)(k)^*为第k帧初始目标模板，q(u)(k-1)为第k-1帧目标模板，λ_k为第k帧更新因子：

所述 ${\mathrm{\&lambda;}}_k=(1+\mathrm{\&alpha;}\frac{L\left(k\right)-L(k-1)}{\left|L\left(k\right)\right|}){\mathrm{\&lambda;}}_{k-1},$ α为学习速度；

所述  ρ[q(u)(k)，q(u)(k-1)]为  q(u)(k)与q(u)(k-1)之间的欧式距离：且ρ[q(u)(k)，q(u)(k-1)]＝||q(u)(k)·q(u)(k-1)||₂；

所述k值在每次重复时令k＝k+1。

2.根据权利要求1所述的基于Mean shift的目标跟踪方法，其特征在于：所述拓展因子β为0.4～1。

3.根据权利要求1所述的基于Mean shift的目标跟踪方法，其特征在于：所述调整因δ子取值为δ＝0.001。

4.根据权利要求1所述的基于Mean shift的目标跟踪方法，其特征在于：所述候选目标置信度的下限阈值θ_th取值为10。

5.根据权利要求1所述的基于Mean shift的目标跟踪方法，其特征在于：所述候选目标相似度的下限阈值ρ_th取值为0.8。

6.根据权利要求1所述的基于Mean shift的目标跟踪方法，其特征在于：所述模型更新阈值ε取ε＝0.8。

7.根据权利要求1所述的基于Mean shift的目标跟踪方法，其特征在于：所述学习速度α取值0.2～0.5。

Images