CN101324956A - 基于均值漂移的抗遮挡运动目标跟踪方法 - Google Patents

Abstract

一种图像处理技术领域的基于均值漂移的抗遮挡运动目标跟踪方法。本发明首先构建均值漂移模型和卡尔曼滤波器模型，然后利用卡尔曼滤波器进行预估计来获得每帧均值漂移搜索的起始位置，由图像差分法可以得到物体的轮廓，同时定义了相似因子对物体是否发生遮挡加以判断。当发生遮挡时，根据物体运动状态的不同，对颜色信息和运动信息分别赋予不同权值来预测物体在当前帧的位置并作为下一帧预测的起点。此时，目标位置的线性预测替代了卡尔曼滤波器的作用。试验证明，本发明可以实现对快速运动目标的跟踪，对遮挡也有很好的鲁棒性。

Description

基于均值漂移的抗遮挡运动目标跟踪方法

技术领域

本发明涉及一种图像处理技术领域的运动目标跟踪方法，具体是一种基于均值漂移的抗遮挡运动目标跟踪方法。

背景技术

随着多媒体技术的发展，人们正在接触越来越多甚至于海量的视频信息。而其中大量的视频信息是运动场景下的。由于视频中在相邻帧间存在的强相关性以及运动目标时域状态的连续性，使得对运动目标进行较好地检测、分割、识别和跟踪成为可能。运动目标跟踪是计算机视觉领域最为重要的应用之一，在交通，军事，体育等领域有着广泛的应用。

常用的有基于均值漂移(Mean Shift)的跟踪方法；基于卡尔曼(Kalman)滤波器的跟踪方法。但是这两种方法都有其不足的一面：

均值漂移方法是一种非参数概率密度估计方法，方法利用像素特征点概率密度函数梯度最优化方法，通过迭代快速的收敛于概率密度函数的局部最大值，实现快速目标定位，能够对非刚性目标实时跟踪，对目标的变形，旋转等运动有较好的适用性。但由于均值漂移方法在目标跟踪过程中没有利用目标在空间中的运动方向和运动速度信息，当周围环境存在干扰时，仅使用均值漂移容易丢失目标；而且，由于受均值漂移方法理论本身原理局限，它只能对特征点近距离的像素点的概率密度函数做泰勒展开，当下一帧图像对应特征点偏离当前帧对应特征点较远时，均值漂移方法就会出现很大误差，造成跟踪失败；

卡尔曼滤波器是一个对动态系统的状态序列进行线性最小方差估计的方法，具有计算量小、可实时计算的特点，可以准确的预测目标的位置和速度，但是仅适用于运动目标状态转移方程满足线性条件时，才能获得好的效果。

经对现有技术的文献检索发现，Alper Yilmaz等在《Computer Vision andPattern Recognition》IEEE Conference on 17-22 June 2007 Page(s)：1-6上发表“Object Tracking by Asymmetric Kernel Mean Shift with AutomaticScale and Orientation Selection”(用自动分割和初始选定实现非对称核均值漂移目标跟踪，计算机视觉和模式识别IEEE会议)。该文提出了在图像坐标系下以物体大小和初始形状作为额外的坐标参考同时在有限次数迭代中估计所有未知量的方法。文中的试验结果说明该方法具有较好的跟踪性能。但该方法没有考虑目标颜色发生明显变化或者周围环境发生干扰时的情况以及没有充分利用目标在空间中的运动方向和运动速度信息，因此该方法在实际应用中常常会由于场景的动态变化或者发生遮挡而变得不适用。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于均值漂移的抗遮挡运动目标跟踪方法，采用基于颜色直方图均值漂移的同时，合理结合卡尔曼滤波对目标空间运动位置的预测，保证了跟踪运动目标的连续性。同时，对于跟踪方法中最难处理的遮挡问题，取得了较好的效果。

本发明是提供以下技术方案实现的，本发明包括如下步骤：

第一步，均值漂移建模：对视频完成图像信息采集后，针对跟踪区域内图像的每一个特征点，建构均值漂移核函数，在此核函数基础上构造均值漂移模型；该核函数是本发明利用均值漂移迭代搜索的依赖函数和基础，这一步是整个方法中最基础最重要的一步，也是在卡尔曼滤波之后完成对目标的搜索并最终定位目标的关键。

第二步，卡尔曼滤波器建模：以物体运动规律为基础，构造卡尔曼滤波器模型，用来对目标初始位置进行预估，在每一帧，卡尔曼滤波器以前一帧目标位置为初始迭代点并预测出本帧目标位置，之后，均值漂移以此位置为启始点并在其领域内开始迭代搜索并最终定位目标位置。

第三步，目标遮挡判别和处理：由图像差分法得到物体的轮廓，同时采用相似因子对物体是否发生遮挡进行判断。这一步骤是在每一帧处理开始之前进行的工作，是首先得到物体的灰度轮廓，并与前一帧的轮廓进行比较，判断是否发生了遮挡。当发生遮挡时，根据物体运动状态的不同，对颜色信息和运动信息分别赋予不同权值来预测物体在当前帧的位置并作为下一帧预测的起点。此时，目标位置的线性预测替代了卡尔曼滤波器的作用。这样，在视频的每一帧，都能实现对初始帧框定目标进行实时跟踪。

所述均值漂移建模，具体步骤如下：

①在第一帧图像上，框定跟踪区域。在此区域内的每一个特征点，都作为之后进行均值漂移的基础。在此步骤中完成图像信息采集，采用OpenCv标准函数库函数cvQueryFrame读取每一帧图像，从而建立起每一帧像素值矩阵。

②构造一个核函数k(||x||²)，并用物体的灰度或色彩分布来描述这个物体，以一定间隔颜色值为单位，将取值为像素颜色值的特征空间分为多个特征值。在初始帧包含目标的搜索窗口中(假设物体中心位于x₀)，抽出跟踪物体第u个特征值的概率

${\hat{q}}_u=C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left({\left|\right|\frac{x_i^s{-x}_0}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i^s\right)-u]---\left(1\right)$

式中，x_i是第i个像素的坐标；k(||x||²)是核函数，h表示核函数的带宽，一般等于窗口宽度的一半；函数b和δ的作用是判断x_i处的颜色值是否属于特征值u；C是一个标准化的常量系数，使得所有特征值的概率和为1。

至此，已经可以依靠

取出物体所有特征点的概率密度。

③取出候选位于y的物体的第u个特征值的概率

${\hat{p}}_u\left(y\right)=C_h\underset{i=1}{\overset{n_h}{\mathrm{\Σ}}}k\left({\left|\right|\frac{x_i^s-y}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i^s\right)-u]---\left(2\right)$

与

的最相似性用Bhattacharrya系数来度量分布，即

$\widehat{\mathrm{\ρ}}\left(y\right)\≡\mathrm{\ρ}[p\left(y\right),q]=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u\left(y\right){\hat{q}}_u}---\left(3\right)$

④接下来，目标跟踪就是寻找最优的y，使得

与

最相似。最优y值就是要跟踪目标的位置坐标。这是一个循环迭代求取最优值的过程，由均值漂移来完成。

所述卡尔曼滤波器是一种递推估计器。卡尔曼预测估计就是在前一帧系统状态的基础上预估下一帧系统状态。因此每次只需保存上一帧的状态，就可预测下一帧状态。再以此递推，可以一直预测下去直到系统条件不满足为止。因此，卡尔曼滤波器常用于计算机对信号的实时处理，其原理是通过k时刻就给出k+1时刻的预测值X(k+1)，并保证该预测值的均方误差最小。

所述卡尔曼滤波器建模，具体如下：

设信号向量X(k)＝[x(k)y(k)x′(k)y′(k)]^T，其中x(k)，y(k)分别是目标中心x，y轴上的位置分量，x′(k)，y′(k)分别是x，y轴上的速度。观测向量Y(k)＝[x_c(k)y_c(k)]^T，其中x_c(k)，y_c(k)分别是目标中心x，y轴上位置的观测值。

首先，构建卡尔曼滤波器包含的两个模型：

①信号模型：

X(k)＝A(k)X(k-1)+B(k)W(k-1)(6)

其中，X(k)表示系统状态，它描述了在k时刻各运动矢量的值；A(k)矩阵为运动模型，用于描述目标物体平移运动；B(k)是控制增益矩阵；W(k-1)表示运动模型的预测误差，其统计特性服从高斯分布。

②观测模型：

Y(k)＝C(k)X(k-1)+V(k-1)(7)

其中，Y(k)表示系统测量状态，C(k)为关系矩阵，V(k-1)为运动估值过程中所产生的误差。

其次，根据物体运动定律 $s=s_0+v\left(t\right)t+\frac{1}{2}a\left(t\right)t^2---\left(8\right)$ 构造运动模型：

$\left[\begin{array}{c}x\left(k\right)\\ y\left(k\right)\\ x^{\′}\left(k\right)\\ y^{\′}\left(k\right)\end{array}\right]=\left[\begin{array}{cccc}1& 0& t& 0\\ 0& 1& 0& t\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x(k-1)\\ y(k-1)\\ x^{\′}(k-1)\\ y^{\′}(k-1)\end{array}\right]+\left[\begin{array}{c}{t}^2/2\\ t^2/2\\ t\\ t\end{array}\right]w(k-1)---\left(9\right)$

$\left[\begin{array}{c}{x}_c\left(k\right)\\ y_c\left(k\right)\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]\left[\begin{array}{c}x(k-1)\\ y(k-1)\\ x^{\′}(k-1)\\ y^{\′}(k-1)\end{array}\right]+\left[\begin{array}{c}1\\ 1\end{array}\right]v(k-1)---\left(10\right)$

然后设定初始值：t＝l，σ_v＝σ_w＝10，X(-1)＝[x_s y_s 0 0]。其中x_s，y_s表示起始帧目标的中心坐标。

至此，卡尔曼滤波器模型构建完毕，在每一帧，只需以上一帧目标状态参量作为卡尔曼的输入，卡尔曼滤波器就能不断循环工作，预测出目标特征点位置作为均值漂移的起始点。

所述由图像差分法得到物体的轮廓，假设物体在运动过程中未发生形变，则其运动过程中的外在轮廓是不会发生变化的，因此，可以采用图像帧间差分方法取出该物体在运动每一时刻它的轮廓来。帧间差分法是基于运动图像序列中，相邻两帧图像间具有强相关性而提出的检测方法，它首先采用帧间差分方法来取出物体灰度图像，把物体色彩空间转化到灰度空间；可以采用标准图像处理函数库(例如0penCv函数库)接口函数读取每一帧彩色图像RGB空间并转化为灰度H空间。然后用角点检测函数勾画出物体轮廓：在上一步骤得到目标灰度图像基础上，利用背景差分就可以得到物体轮廓。

一旦跟踪物体发生遮挡，由检测方法得到的轮廓必然发生较大形变从而引起失真。

所述遮挡目标遮挡判别，具体为：定义一个参数——相似因子α，它是与上一帧轮廓的相似度：

其中h_内，w_内分别是轮廓内最大中心对称矩形的高和宽，h_外，w_外分别是轮廓外相切矩阵的高和宽。下标1和2分别代表当前帧和上一帧。如果α位于预先规定的阈值范围(0.9--1.1)，此时可以判定其没有发生遮挡；反之，则认为其发生了遮挡。

所述目标遮挡处理，具体为：在判定发生了遮挡的情况下，首先提取出物体在各时刻的概率分布图像和差分图像；接下来，采用帧间差分法提取运动目标区域，根据目标运动速率大小，以不同权重将概率分布图像与差分图像相结合。

当物体速度较大时，充分利用相对可靠的物体运动信息结合前几帧目标的位置变量，以运动参数(v，a，s等)为预测初始变量，线性预测目标在当前帧位置；当物体速度较小时，采用帧间差分法提取运动目标区域，以不同权重将概率分布图像与差分图像相结合，依靠颜色信息来预测物体的当前帧位置。

接着，构造结合目标运动信息与图像信息计算目标质心的公式，用于在发生遮挡时继续跟踪目标：

$Z_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}(1-\mathrm{\ϵ})I_c(x,y)+\mathrm{\ϵ}{I}_m(x,y)---\left(11\right)$

$Z_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}x[(1-\mathrm{\ϵ})I_c(x,y)+\mathrm{\ϵ}{I}_m(x,y)]---\left(12\right)$

$Z_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}y[(1-\mathrm{\ϵ})I_c(x,y)+\mathrm{\ϵ}{I}_m(x,y)]---\left(13\right)$

并进一步计算搜索窗的质心(x_c，y_c)为：x_c＝Z₁₀/Z₀₀，y_c＝Z₀₁/Z₀₀。其中I_c(x，y)，I_m(x，y)分别是概率分布图和差分图像中坐标为(x，y)的像素值，ε为比例因子，ε＝k*v，k是系数，v是目标运动速率。这一步骤是计算搜索窗口的中心位置，并显示跟踪位置，为下一帧的处理做好准备。

同时，继续计算相似因子的值，并开始下一帧卡尔曼滤波器预测工作。

至此，在每一帧，初始帧框定区域的跟踪目标将自始至终被框定，即使中间发生了遮挡，目标也能被迅速重新框定出来，实现了对目标的实时跟踪。

本发明针对现有均值漂移理论的不足，采用均值漂移和卡尔曼滤波器相结合来处理动态背景下目标跟踪问题，既提高了跟踪准确率又增强了实时性，使其在实用方面有了更高的可行性。首先利用卡尔曼滤波器进行预估计来获得每帧均值漂移搜索的起始位置。由图像差分法可以得到物体的轮廓，同时定义了相似因子对物体是否发生遮挡加以判断。当发生遮挡时，根据物体运动状态的不同，对颜色信息和运动信息分别赋予不同权值来预测物体在当前帧的位置并作为下一帧预测的起点。此时，目标位置的线性预测替代了卡尔曼滤波器的作用。试验证明，本发明可以实现对快速运动目标的跟踪，对遮挡也有很好的鲁棒性。

附图说明

图1为本发明实施例实施流程图

图2为本发明实施例跟踪(遮挡部分)效果图

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例实施具体实施过程：

①在第一帧图像上，框定跟踪区域。在此区域内的每一个特征点，都作为之后进行均值漂移运算的基础。在此步骤中完成图像信息采集，采用0penCv标准函数库函数cvQueryFrame读取第一帧图像，并调用标准函数bgr2hsv把图像RGB色彩空间转化为灰度空间，从而建立起第一帧图像像素值矩阵。

②继续采用0penCv标准函数库函数cvQueryFrame读取下一帧图像，继而调用标准函数bgr2hsv把图像RGB色彩空间转化为灰度空间，从而建立起下一帧图像像素值矩阵。

③在上一步骤得到目标灰度图像基础上，利用背景差分就可以得到物体轮廓。由于物体与背景间的相对运动，因此利用两帧图像灰度差就可以检测出物体轮廓。

④构造核函数k(||x||²)，并用物体的灰度或色彩分布来描述这个物体，以一定间隔颜色值为单位，将取值为像素颜色值的特征空间分为多个特征值。在初始帧包含目标的搜索窗口中(假设物体中心位于x₀)，抽出跟踪物体第u个特征值的概率

${\hat{q}}_u=C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left({\left|\right|\frac{x_i^s{-x}_0}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i^s\right)-u]---\left(1\right)$

式中，x_i是第i个像素的坐标；k(||x||²)是核函数，h表示核函数的带宽，一般等于窗口宽度的一半；函数b和δ的作用是判断x_i处的颜色值是否属于特征值u；C是一个标准化的常量系数，使得所有特征值的概率和为1。

至此，已经可以依靠取出物体所有特征点的概率密度。

⑤取出候选位于y的物体的第u个特征值的概率

${\hat{p}}_u\left(y\right)=C_h\underset{i=1}{\overset{n_h}{\mathrm{\Σ}}}k\left({\left|\right|\frac{x_i^s-y}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i^s\right)-u]---\left(2\right)$

与

的最相似性用Bhattacharrya系数

来度量分布，即

$\widehat{\mathrm{\ρ}}\left(y\right)\≡\mathrm{\ρ}[p\left(y\right),q]=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u\left(y\right){\hat{q}}_u}---\left(3\right)$

⑥接下来，目标跟踪就是寻找最优的位置坐标y，使得

与

最相似。最优y值就是要跟踪目标的位置坐标。这是一个循环迭代求取最优值的过程，由均值漂移(Mean Shi ft)算法来完成。

⑦构建Kalman滤波器模型。

设信号向量X(k)＝[x(k)y(k)x′(k)y′(k)]^T，其中x(k)，y(k)分别是目标中心x，y轴上的位置分量，x′(k)，y′(k)分别是x，y轴上的速度。观测向量Y(k)＝[x_c(k)y_c(k)]^T，其中x_c(k)，y_c(k)分别是目标中心x，y轴上位置的观测值。

首先，构建Kalman滤波器包含的两个模型：

信号模型：

X(k)＝A(k)X(k-1)+B(k)W(k-1)(6)

观测模型：

Y(k)＝C(k)X(k-1)+V(k-1)(7)

其中，X(k)表示系统状态，它描述了在k时刻各运动矢量的值；A(k)矩阵为运动模型，用于描述目标物体平移运动；B(k)是控制增益矩阵；W(k-1)表示运动模型的预测误差，其统计特性服从高斯分布。Y(k)表示系统测量状态，C(k)为关系矩阵，V(k-1)为运动估值过程中所产生的误差。

其次，根据物体运动定律 $s=s_0+v\left(t\right)t+\frac{1}{2}a\left(t\right)t^2---\left(8\right)$ 构造运动模型：

$\left[\begin{array}{c}x\left(k\right)\\ y\left(k\right)\\ x^{\′}\left(k\right)\\ y^{\′}\left(k\right)\end{array}\right]=\left[\begin{array}{cccc}1& 0& t& 0\\ 0& 1& 0& t\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x(k-1)\\ y(k-1)\\ x^{\′}(k-1)\\ y^{\′}(k-1)\end{array}\right]+\left[\begin{array}{c}{t}^2/2\\ t^2/2\\ t\\ t\end{array}\right]w(k-1)---\left(9\right)$

$\left[\begin{array}{c}{x}_c\left(k\right)\\ y_c\left(k\right)\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]\left[\begin{array}{c}x(k-1)\\ y(k-1)\\ x^{\′}(k-1)\\ y^{\′}(k-1)\end{array}\right]+\left[\begin{array}{c}1\\ 1\end{array}\right]v(k-1)---\left(10\right)$

然后设定初始值：t＝l，σ_v＝σ_w＝10，X(-1)＝[x_s y_s 0 0]。其中x_s，y_s表示起始帧目标的中心坐标。至此，卡尔曼滤波器模型构建完毕，在每一帧，只需以上一帧目标状态参量作为卡尔曼的输入，卡尔曼滤波器就能不断循环工作，预测出目标特征点位置作为均值漂移运算的起始点。

⑧转至步骤②读取下一帧图像并调用步骤⑦中尔曼滤波器预测初始位置和误差方差从而更新尔曼状态参量。

⑨以上一步尔曼滤波器所得到的初始值为基础，在此位置附近利用均值漂移迭代函数(即步骤⑥)求取观测位置。

⑩在上一步求出观测位置基础上，转至步骤③计算并勾画出轮廓。

计算本轮廓与上一帧轮廓的相似度，即计算相似因子α。

定义参数---相似因子α，它是与上一帧轮廓的相似度。其定义如下：

其中h_内，h_内分别是轮廓内最大中心对称矩形的高和宽，h_外，w_外分别是轮廓外相切矩阵的高和宽。下标1和2分别代表当前帧和上一帧。如果α位于预先规定的阈值范围(0.9--1.1)，此时可以判定其没有发生遮挡；反之，则认为其发生了遮挡。

根据相似因子α判断是否发生了遮挡，即判断α是否在阈值范围内(0.9-1.1)。若未发生遮挡，则继续用尔曼滤波器来更新目标状态信息；若发生了遮挡，则用帧间差分方法结合运动信息和颜色信息线性预测下一帧目标位置和状态。

在判定发生了遮挡的情况下，首先提取出物体在各时刻的概率分布图像和差分图像(如步骤④)；接下来，采用帧间差分法(如步骤③)提取运动目标区域，根据目标运动速率大小，以不同权重将概率分布图像与差分图像相结合。

当物体速度较大(以10m/s为限，即大于10m/s)时，利用物体运动信息结合前几帧目标的位置变量，以运动参数为预测初始变量，线性预测目标在当前帧位置；当物体速度较小(以10m/s为限，即小于10m/s)时，采用帧间差分法提取运动目标区域，以不同权重将概率分布图像与差分图像相结合，依靠颜色信息来预测物体的当前帧位置；

本实施例中所指10m/s不是一个既定值，是根据实验所得效果较好的一个参考值。不同应用环境可适当调整。

接着，构造质心计算公式，用于发生遮挡时继续跟踪目标：

$Z_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}(1-\mathrm{\ϵ})I_c(x,y)+\mathrm{\ϵ}{I}_m(x,y)---\left(11\right)$

$Z_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}x[(1-\mathrm{\ϵ})I_c(x,y)+\mathrm{\ϵ}{I}_m(x,y)]---\left(12\right)$

$Z_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}y[(1-\mathrm{\ϵ})I_c(x,y)+\mathrm{\ϵ}{I}_m(x,y)]---\left(13\right)$

并进一步计算搜索窗的质心(x_c，y_c)为：x_c＝Z₁₀/Z₀₀，y_c＝Z₀₁/Z₀₀。其中I_c(x，y)，I_m(x，y)分别是概率分布图和差分图像中坐标为(x，y)的像素值，ε为比例因子，ε＝k*v，k是系数，v是目标运动速率。这一步骤是计算搜索窗口的中心位置，并显示跟踪位置，为下一帧的处理做好准备。

同时，继续计算相似因子的值，并开始下一帧卡尔曼滤波器预测工作。

跳转至步骤②。

至此，在每一帧，初始帧框定区域的跟踪目标将自始至终被框定，即使中间发生了遮挡，目标也能被迅速重新框定出来，实现了对目标的实时跟踪。

在本例中，在第一帧框定初始目标后，在未发生遮挡时，在以Kalman预滤波基础上由均值漂移迭代能始终快速正确跟踪目标(见图2第6、10、12帧)；当发生遮挡后，以运动和图像信息为基础进行线性预测也能够迅速调整并继续准确跟定目标(见图2第12、14、16、19帧)。从实施例可以看出采用均值漂移和卡尔曼滤波器相结合来处理动态背景下目标跟踪问题，既提高了跟踪准确率又增强了实时性。

Claims (7)

1、一种基于均值漂移的抗遮挡运动目标跟踪方法，其特征在于，包括如下步骤：

第一步，均值漂移建模：对视频完成图像信息采集后，针对跟踪区域内图像的每一个特征点，建构均值漂移核函数，在此核函数基础上构造均值漂移模型；

第二步，卡尔曼滤波器建模：以物体运动规律为基础，构造卡尔曼滤波器模型，用来对目标初始位置进行预估，在每一帧，卡尔曼滤波器以前一帧目标位置为初始迭代点并预测出本帧目标位置，之后，均值漂移以此位置为启始点并在其领域内开始迭代搜索并最终定位目标位置；

第三步，目标遮挡判别和处理：由图像差分法得到物体的轮廓，同时采用相似因子对物体是否发生遮挡进行判断，这一步骤是在每一帧处理开始之前进行的工作，首先得到物体的灰度轮廓，并与前一帧的轮廓进行比较，判断是否发生了遮挡，当发生遮挡时，根据物体运动状态，对颜色信息和运动信息分别赋予权值来预测物体在当前帧的位置并作为下一帧预测的起点，此时，目标位置的线性预测替代了卡尔曼滤波器的作用，这样，在视频的每一帧，都能实现对初始帧框定目标进行实时跟踪。

2、根据权利要求1所述的基于均值漂移的抗遮挡运动目标跟踪方法，其特征是，所述均值漂移建模，具体步骤如下：

①在第一帧图像上，框定跟踪区域，在此区域内的每一个特征点，都作为之后进行均值漂移的基础，在此步骤中完成图像信息采集，采用OpenCv标准函数库函数cvQueryFrame读取每一帧图像，从而建立起每一帧像素值矩阵；

②构造一个核函数k(‖x‖²)，并用物体的灰度或色彩分布来描述这个物体，以一定间隔颜色值为单位，将取值为像素颜色值的特征空间分为多个特征值，在初始帧包含目标的搜索窗口中，假设物体中心位于x₀，抽出跟踪物体第u个特征值的概率

${\hat{q}}_u=C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left({\left|\right|\frac{x_i^s-x_0}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i^s\right)-u],$ 式中，x_i是第i个像素的坐标；k(‖x‖²)是核函数，h表示核函数的带宽；函数b和δ的作用是判断x_i处的颜色值是否属于特征值u；C是一个标准化的常量系数，使得所有特征值的概率和为1；

至此，依靠

取出物体所有特征点的概率密度；

③取出候选位于y的物体的第u个特征值的概率

${\hat{p}}_u\left(y\right)=C_h\underset{i=1}{\overset{n_h}{\mathrm{\Σ}}}k\left({\left|\right|\frac{x_i^s-y}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i^s\right)-u]$

与的最相似性用Bhattacharrya系数来度量分布，即

$\widehat{\mathrm{\ρ}}\left(y\right)=\mathrm{\ρ}[p\left(y\right),q]=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u\left(y\right){\hat{q}}_u}$

④接下来，目标跟踪就是寻找最优的y，使得

与

最相似，最优y值就是要跟踪目标的位置坐标，这是一个循环迭代求取最优值的过程，由均值漂移来完成。

3、根据权利要求1所述的基于均值漂移的抗遮挡运动目标跟踪方法，其特征是，所述卡尔曼滤波器建模，具体如下：

设信号向量X(k)＝[x(k)y(k)x′(k)y′(k)]^T，其中x(k)，y(k)分别是目标中心x，y轴上的位置分量，x′(k)，y′(k)分别是x，y轴上的速度，观测向量Y(k)＝[x_c(k)y_c(k)]^T，其中x_c(k)，y_c(k)分别是目标中心x，y轴上位置的观测值；

首先，构建卡尔曼滤波器包含的两个模型：

①信号模型：

X(k)＝A(k)X(k-1)+B(k)W(k-1)

其中，X(k)表示系统状态，它描述了在k时刻各运动矢量的值；A(k)矩阵为运动模型，用于描述目标物体平移运动；B(k)是控制增益矩阵；W(k-1)表示运动模型的预测误差，其统计特性服从高斯分布；

②观测模型：

Y(k)＝C(k)X(k-1)+V(k-1)

其中，Y(k)表示系统测量状态，C(k)为关系矩阵，V(k-1)为运动估值过程中所产生的误差；

其次，根据物体运动定律 $s=s_0+v\left(t\right)t+\frac{1}{2}a\left(t\right)t^2$ 构造运动模型：

$\left[\begin{array}{c}x\left(k\right)\\ y\left(k\right)\\ x^{\′}\left(k\right)\\ y^{\′}\left(k\right)\end{array}\right]=\left[\begin{array}{cccc}1& 0& t& 0\\ 0& 1& 0& t\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x(k-1)\\ y(k-1)\\ x^{\′}(k-1)\\ y^{\′}(k-1)\end{array}\right]+\left[\begin{array}{c}{t}^2/2\\ t^2/2\\ t\\ t\end{array}\right]w(k-1)$

$\left[\begin{array}{c}{x}_c\left(k\right)\\ y_c\left(k\right)\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]\left[\begin{array}{c}x(k-1)\\ y(k-1)\\ x^{\′}(k-1)\\ y^{\′}(k-1)\end{array}\right]+\left[\begin{array}{c}1\\ 1\end{array}\right]v(k-1)$

然后设定初始值：t＝1，σ_v＝σ_w＝10，X(-1)＝[x_s y_s 0 0]，其中x_s，y_s表示起始帧目标的中心坐标；

至此，卡尔曼滤波器模型构建完毕，在每一帧，只需以上一帧目标状态参量作为卡尔曼的输入，卡尔曼滤波器就能循环工作，预测出目标特征点位置作为均值漂移的起始点。

4、根据权利要求1所述的基于均值漂移的抗遮挡运动目标跟踪方法，其特征是，所述由图像差分法得到物体的轮廓，是指采用帧间差分方法来取出物体灰度图像，把物体色彩空间转化到灰度空间，然后在得到的目标灰度图像基础上，利用背景差分得到物体轮廓。

5、根据权利要求1所述的基于均值漂移的抗遮挡运动目标跟踪方法，其特征是，所述采用相似因子对物体是否发生遮挡进行判断，具体为：

定义相似因子α，它是与上一帧轮廓的相似度：

其中h_内，w_内分别是轮廓内最大中心对称矩形的高和宽，h_外，w_外分别是轮廓外相切矩阵的高和宽，下标1和2分别代表当前帧和上一帧，如果α位于预先规定的阈值范围(0.9-1.1)，此时判定其没有发生遮挡，反之，则认为其发生了遮挡。

6、根据权利要求1所述的基于均值漂移的抗遮挡运动目标跟踪方法，其特征是，所述目标遮挡处理，具体为：

在判定发生了遮挡的情况下，首先提取出物体在各时刻的概率分布图像和差分图像，接下来，采用帧间差分法提取运动目标区域，根据目标运动速率大小，以不同权重将概率分布图像与差分图像相结合；

当物体速度大于设定速度时，利用物体运动信息结合前几帧目标的位置变量，以运动参数为预测初始变量，线性预测目标在当前帧位置；当物体速度小于设定速度时，采用帧间差分法提取运动目标区域，以不同权重将概率分布图像与差分图像相结合，依靠颜色信息来预测物体的当前帧位置；

接着，构造结合目标运动信息与图像信息计算目标质心的公式，用于在发生遮挡时继续跟踪目标：

$Z_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}(1-\mathrm{\ϵ})I_c(x,y)+\mathrm{\ϵ}{I}_m(x,y)$

$Z_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}x[(1-\mathrm{\ϵ})I_c(x,y)+\mathrm{\ϵ}{I}_m(x,y)]$

$Z_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}y[(1-\mathrm{\ϵ})I_c(x,y)+\mathrm{\ϵ}{I}_m(x,y)]$

并进一步计算搜索窗的质心(x_c，y_c)为：x_c＝Z₁₀/Z₀₀，y_c＝Z₀₁/Z₀₀，其中I_c(x，y)，I_m(x，y)分别是概率分布图和差分图像中坐标为(x，y)的像素值，ε为比例因子，ε＝k*v，k是系数，v是目标运动速率，这一步骤是计算搜索窗口的中心位置，并显示跟踪位置，为下一帧的处理做好准备；

同时，继续计算相似因子的值，并开始下一帧卡尔曼滤波器预测工作；

至此，在每一帧，初始帧框定区域的跟踪目标将自始至终被框定，即使中间发生了遮挡，目标也能被重新框定出来，实现对目标的实时跟踪。

7、根据权利要求6所述的基于均值漂移的抗遮挡运动目标跟踪方法，其特征是，所述设定速度，是指10m/s。

Images