CN103927764A - 一种结合目标信息和运动估计的车辆跟踪方法 - Google Patents

Abstract

本发明公开了一种结合目标信息和运动估计的车辆跟踪方法，包括以下步骤：步骤1、初始化目标中心像素点坐标x0和跟踪窗宽h₁(l,w)；步骤2、提取目标运动信息，计算目标的颜色概率模型步骤3、读取下一帧图像序列i，结合运动信息确定目标尺度的变化，更新h₁(l,w)；步骤4、卡尔曼滤波器估计目标在当前帧中的预测位置步骤5、在预测位置附近，利用Mean-Shift过程定位目标在当前帧中的位置y₁，步骤6、更新卡尔曼滤波器，跳转至S3继续执行。本发明针对目标尺度变化和背景干扰问题，结合目标车辆的运动信息，优化了模型描述，并根据尺度判断机制自适应地改变MS算法核函数的窗宽，通过卡尔曼滤波器对目标进行运动估计，优化了MS算法初始搜索中心，解决了MS算法无法跟踪被遮挡车辆的问题。

Description

一种结合目标信息和运动估计的车辆跟踪方法

技术领域

本发明属于车辆运动分析领域，特别涉及一种结合目标信息和运动估计的车辆跟踪算法。

背景技术

基于计算机视觉的车辆跟踪系统有视频采集和图像处理两大部分组成，如图1所示。首先由摄像机获取视频信号后，计算机通过视频采集卡接受来自视频输入端的模拟信号，对该模拟信号进行采集并量化为数字信号存储到计算机硬盘上，接着通过数字图像处理和跟踪技术实现对车辆的跟踪。

MS(Mean-Shift)算法是常用的视频图像目标跟踪算法。通过目标的HSV特征利用MS算法实现了对目标的跟踪。该算法首先提取目标颜色特征，并以此作为目标模型，然后通过计算目标模型与候选模型的相似性系数，以相似性系数最大的点作为目标的中心，从而确定目标的位置。通过目标的HSI特征，同时结合目标的局部方向信息，提高了MS算法进行车辆跟踪的稳定性。但是在上述工作中算法均是采用固定窗宽，不能适应车辆在运动图像中产生的尺度变化；此外，由于MS算法是用泰勒级数在上一帧中心近似估计作为当前帧初始窗口，这种估计在车辆变速、车辆遮挡等情况时容易造成跟踪目标的丢失。

近年来，也有不少工作采用其他算法进行视觉车辆跟踪。区域匹配法，首先提取车辆的区域参数(中心、长度、宽度)，将预测的参数与后序图像序列中提取的区域参数进行匹配，如果坐标中心和面积之差小于预设的阈值，则认为成功实现跟踪；如果大于预设的阈值，则认为发生遮挡，同时利用一条“最佳分割线”将粘连的车辆分开，然后重新确定车辆的位置。但是区域匹配法采用固定的阈值判断车辆的区域，在车辆尺度变化较大时仍会导致定位准确性降低，且“最佳分割线”在车辆有遮挡时分割出车辆的区域匹配相似度也会大大降低。马尔夫链蒙特卡洛(MCMC)法，通过对建立的车辆2维模型库搜索匹配实现对车辆的跟踪。模型库是通过对每一种车辆在0⁰～90⁰之间均分为19个摄像机视角、在0⁰～360⁰之间均分为72个车辆方向形成的2维图形集合。由于车辆外形的差异性和种类的多样性，构建模型库本身和对模型进行搜索匹配的计算成本是相当巨大的。同时该2维模型也没有考虑车辆在运动过程中的尺度变化。

Snake模型是一条可变形的参数曲线及其相应的能量函数，通过最小化能量函数来控制参数曲线变形，以具有最小能量的曲线作为目标的轮廓。作者首先通过图像预处理获得目标的初始轮廓，然后最小化能量函数获得目标的边缘，从而根据边缘位置求得目标在当前帧中的位置。基于轮廓的跟踪算法很大程度上依赖于目标边缘的精确提取，一旦初始化车辆轮廓时出现较大偏差，就可能使Snake模型收敛不到真实的边缘。文利用目标角点特征实现车辆跟踪。根据同一车辆角点相似的原理，通过匹配相邻帧间的角点特征确定角点所在区域的目标位置。利用目标的sift特征实现车辆跟踪。该方法首先在当前帧中提取目标区域的sift特征点，然后计算下一帧目标区域的sift特征点，如果这些特征点与目标先验的特征点相似，则用该特征点位置估算出目标的位置，否则就取消对象的跟踪，重新计算目标区域的sift特征点直到匹配成功。角点特征法和sift特征法较好地克服了目标的尺度、旋转、亮度变化等带来的跟踪丢失问题，但当目标被遮挡时，仍会导致角点错判和sift特征点为零的情况，从而跟丢目标。最后，用PS(Particle Swarm)算法进行车辆跟踪。该算法通过particle swarm在搜索区域找到和目标模板最相似的区域，从而确定最优中心位置。但是当目标被遮挡时PS算法会错误地跟踪到遮挡物，同时PS算法的计算量较大。

发明内容

鉴于此，本发明对车辆跟踪中目标尺度变化和遮挡问题，在基于颜色特征的MS算法基础上，结合目标信息和运动估计成功实现了车辆跟踪。

本发明的目的是通过这样的技术方案实现的，一种结合目标信息和运动估计的车辆跟踪方法，其特征在于：包括以下步骤：步骤1、初始化目标中心像素点坐标x₀和跟踪窗宽h₁(l,w)；步骤2、提取目标运动信息，计算目标的颜色概率模型u为颜色特征值；步骤3、读取下一帧图像序列i，结合运动信息确定目标尺度的变化，更新h_i(l,w)，l,w分别为目标窗的长度和宽度；步骤4、卡尔曼滤波器估计目标在当前帧中的预测位置步骤5、在预测位置附近，利用Mean-Shift过程定位目标在当前帧中的位置y₁，S6、更新卡尔曼滤波器，跳转至步骤3继续执行。

进一步，步骤3中运动信息的提取包括以下子步骤：S21、在视频图像当前帧中锁定跟踪的目标；S22、分别用背景消除法和帧差法计算出相应的目标的二值图；S23、将计算出的两个二值图进行“或”运算，并进行形态学滤波后获得目标背景分割图，其中1为前景，0为背景；目标信息的提取按式(1)进行，j表示目标中的像素，x_j为目标区域中像素坐标，B(xj)为目标信息。

进一步，步骤2中，颜色概率模型为： $P_i^u=C_h\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{k}_{\mathrm{new}}\left[{\left|\right|\frac{x_j-x_0}{h_i}\left|\right|}^2\right]\mathrm{\δ}[b\left(x_j\right)-u]---\left(2\right)$

$k_{\mathrm{new}}\left[{\left|\right|\frac{x_j-x_0}{h_i}\left|\right|}^2\right]=k\left[{\left|\right|\frac{x_j-x_0}{h_i}\left|\right|}^2\right]\×B\left(x_j\right)---\left(3\right)$

$k\left(x\right)\∝\begin{array}{}\end{array}\left\{\begin{array}{cc}1-x,& 0\≤x\≤1\\ 0,& x>1\end{array}\right.---\left(4\right)$

x_i为图像序列的坐标位置，b(x_j)表示x_j处像素的颜色特征值，δ为Delta函数，它的作用为判断目标区域中像素xj的颜色特征值是否属于第u个颜色特征值，若等于则值为1，否则为0；Ch是一个归一化的常量系数，使得k_new为结合目标信息改进的核函数，k(x)为核函数的轮廓函数，h_i为核函数的窗宽。

进一步，步骤3中目标尺度的判断方法为：

如果当前帧的目标像素总数S_i与初始帧的目标像素总数S₁比值为k_i，那么在计算当前帧的核函数带宽h_i时，认为h_i相应地变化倍，即h₁为初始帧的核函数带宽。

进一步，S5包括以下子步骤：

(a)根据式(2)计算目标在当前帧中的颜色概率模型

(b)根据式(7)计算权值w_j， $w_j=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{\δ}[b\left(x_j\right)-u]\sqrt{\frac{P_1^u}{P_i^u\left(y_0\right)}}\×B\left(x_j\right)---\left(7\right)$

(c)由公式(8)求得目标的新位置如果则赋给即并跳转至(a)；

否则执行(d)， $y_1=\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}g\left({\left|\right|\frac{x_j-y_0}{h_i}\left|\right|}^2\right)w_j{x}_j}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}g\left({\left|\right|\frac{x_j-y_0}{h_i}\left|\right|}^2\right)w_j}---\left(8\right);$ ε₁，ε₂分别为目标位置更新允许的像素误差和颜色特征误差。

(d)在和之间根据式(5)计算Bhattacharyya系数如果说明遮挡明显，目标的新位置y1更新为卡尔曼滤波器的预测值，即为否则认为无遮挡或遮挡不明显，y₁更新为Mean-Shift搜索值即

${\mathrm{\ρ}}_i\left(y\right)\≡{\mathrm{\ρ}}_i[P_i^u\left(y\right),P_1^u]=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{P_i^u\left(y\right)P_1^u}---\left(5\right),$ ρ_i(y)表示目标模型和候选模型的相似度，ρ_i(y)越大，相似度越高。

由于采用了上述技术方案，本发明具有如下的优点:

本发明针对目标尺度变化和背景干扰问题，结合目标车辆的运动信息，优化了模型描述，并根据尺度判断机制自适应地改变MS算法核函数的窗宽，提高了MS算法对运动车辆尺度变化的适应性；通过卡尔曼滤波器对目标进行运动估计，优化了MS算法初始搜索中心，解决了MS算法无法跟踪被遮挡车辆的问题。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为基于计算机视觉的车辆跟踪简要示意图；

图2为本发明车辆跟踪方法流程图；

图3为目标运动信息提取的流程图；

图4为所示本实施例选取了S1～S4共4段视屏序列；

图5为序列S1在传统MS算法中的初始搜索中心、搜索结果与目标真实位置的比较图；

图6为序列S1在改进MS算法中的初始搜索中心、搜索结果与目标真实位置的比较图；

图7为序列S4的Bhattacharyya系数分布图；

图8为序列S1跟踪对比图；

图9为序列S2跟踪对比图；

图10为序列S3跟踪对比图；

图11为序列S4跟踪对比图；

图12为改进MS算法跟踪结果图；

图13为传统MS和改进MS算法的定位偏差比较图。

具体实施方式

以下将结合附图，对本发明的优选实施例进行详细的描述；应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

Mean-Shift是车辆视觉跟踪的常用技术，但由于车辆尺度变化、背景的干扰和车辆之间的相互遮挡，常常使得Mean-Shift算法难以准确定位目标车辆，甚至定位失败。针对尺度变化、背景干扰及遮挡问题，提出了结合目标信息和运动估计的车辆跟踪算法。该算法在Mean-Shift算法的基础上，结合目标车辆的运动信息，优化了模型描述，并根据尺度判断机制自适应地改变Mean-Shift算法核函数的窗宽，提高了Mean-Shift算法对运动车辆尺度变化的适应性；通过卡尔曼滤波器对目标进行运动估计，改善了Mean-Shift算法无法跟踪被遮挡车辆的问题，并优化了Mean-Shift算法的初始搜索中心。综上所述，本发明提出一种结合目标信息和运动估计的车辆跟踪算法，具体包括以下步骤：

步骤1、初始化目标中心像素点坐标x₀和跟踪窗宽h₁(l,w)，；

步骤2、提取目标运动信息，计算目标的颜色概率模型u为颜色特征值；

传统MS算法在建立目标模型时，无可避免地融入了背景像素，虽然核函数的引入降低了背景像素对目标像素的干扰，但是当目标像素和背景像素相似时，这种干扰将严重影响模型的可信度。为了消除背景对模型的干扰，我们可以利用检测出的二值图像，判断搜索窗口中的像素是否为目标车辆，如果该像素属于目标车辆，则提取其RGB颜色值，否则忽略其RGB颜色值。图3为目标运动信息提取的流程，分三个步骤完成。第一步，在视频图像当前帧中锁定跟踪的目标，如图3(a)中的矩形框。第二步，分别用背景消除法^[20]和帧差法^[20]计算出相应的目标的二值图，如图3(b)和图3(c)所示。最后图3(d)是对图3(b)和图3(c)获得的二值图用逻辑“或”运算求得的,并进行形态学滤波后获得的目标背景分割图，其中1为目标，0为背景。目标信息的提取按式(1)进行。

(1)其中，j表示目标中的像素，x_j为目标区域中像素坐标，B(x_j)为目标信息。

在提取了目标信息后，就可以在基于颜色特征的MS算法的上，利用式(2)计算建立目标模型

$P_i^u=C_h\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{k}_{\mathrm{new}}\left[{\left|\right|\frac{x_j-x_0}{h_i}\left|\right|}^2\right]\mathrm{\δ}[b\left(x_j\right)-u]---\left(2\right)$

其中，

$k_{\mathrm{new}}\left[{\left|\right|\frac{x_j-x_0}{h_i}\left|\right|}^2\right]=k\left[{\left|\right|\frac{x_j-x_0}{h_i}\left|\right|}^2\right]\×B\left(x_j\right)---\left(3\right)$

$k\left(x\right)\∝\begin{array}{}\end{array}\left\{\begin{array}{cc}1-x,& 0\≤x\≤1\\ 0,& x>1\end{array}\right.---\left(4\right)$

其中，x_i为图像序列的坐标位置，b(x_j)表示x_j处像素的颜色特征值，本实施例分别量化R,G,B三种颜色通道为16，则δ为Delta函数，它的作用为判断目标区域中像素x_j的颜色值是否属于第u个特征值，若等于则值为1，否则为0。C_h是一个归一化的常量系数，使得k_new为结合目标信息改进的核函数，如式(3)所示，式(3)中k为核函数的轮廓函数，如式(4)所示；h_i为核函数的窗宽。

步骤3、读取下一帧图像序列i，结合运动信息确定目标尺度的变化，更新更新h_i(l,w)，l,w分别为目标窗的长度和宽度；

传统MS算法的固定窗宽导致车辆在远离或者靠近摄像头时，搜索窗口不能有效地反应目标车辆真实大小，从而使候选模型偏离真实的目标模型。如果在建立候选模型之前，运用某种尺度检测机制来判断目标的尺度变化，及时调整核函数的窗宽hi(i为视频帧数)，那么就能提高MS算法对尺度变化的适应性。具体地，本实施例通过目标的像素总数判断目标尺度的变化，如果当前帧的目标像素总数S_i与初始帧的目标像素总数S₁比值为k_i，那么在计算当前帧的核函数带宽h_i时，认为h_i相应地变化倍，即h1为初始帧的核函数带宽。

步骤4、卡尔曼滤波器估计目标在当前帧中的预测位置

步骤5、在预测位置附近，利用Mean-Shift过程定位目标在当前帧中的位置y₁，

(a)根据式(2)计算目标在当前帧中的颜色概率模型

(b)根据式(7)计算权值w_j

(c)由公式(8)求得目标的新位置如果则并跳转至(a)；否则执行(d).

(d)在和之间根据式(5)计算Bhattacharyya系数如果说明遮挡明显，目标中心y₁更新为卡尔曼滤波器的预测值，即为否则认为无遮挡或遮挡不明显，y₁更新为Mean-Shift搜索值即

S6、更新卡尔曼滤波器，跳转至步骤3继续执行。

在MS算法中，通过Bhattacharyya系数ρ_i来度量目标模型和候选模型之间的相似程度，如式(5)所示。Bhattacharyya系数几何意义是两个向量间角度的余弦值，由此可知，ρ_i反映了目标模型和目标候选模型之间的相似程度，ρ_i越大，模型越相似，反之亦然。

${\mathrm{\ρ}}_i\left(y\right)\≡{\mathrm{\ρ}}_i[P_i^u\left(y\right),P_1^u]=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{P_i^u\left(y\right)P_1^u}---\left(5\right),$

可以看出，使得ρ_i(y)最大的点即是目标在当前帧中的位置。在基本的MS算法中，对式(5)在y₀处进行泰勒展开，可得到

${\mathrm{\ρ}}_i[P_i^u\left(y\right),P_1^u]\≈\frac{1}{2}\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{P_i^u\left(y_0\right)P_1^u}+\frac{C_h}{2}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_{j}k\left({\left|\right|\frac{y-x_j}{h_i}\left|\right|}^2\right)---\left(6\right)$

其中,

$w_j=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{\δ}[b\left(x_j\right)-u]\sqrt{\frac{P_1^u}{P_i^u\left(y_0\right)}}\×B\left(x_j\right)---\left(7\right)$

式(6)第二项的表达式实际上是表示一个概率密度估计式，于是使相似度函数最大化的问题就变成了一个使得概率核密度估计式最大化的问题，即寻求概率密度函数的峰值问题。此时，应用MS迭代就能在邻域内寻找到概率密度函数的峰值，由此得到跟踪的新位置y₁。其中，g(x)＝-k'(x)。

$y_1=\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}g\left({\left|\right|\frac{x_j-y_0}{h_i}\left|\right|}^2\right)w_j{x}_j}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}g\left({\left|\right|\frac{x_j-y_0}{h_i}\left|\right|}^2\right)w_j}---\left(8\right)$

由于在传统MS算法中，是以上一帧的目标中心y₀作为当前帧的初始中心开始迭代的，但是当目标运动过快时，在上一帧的目标位置y₀点进行泰勒展开已经不能算是邻域内的分析了，因此在这种情况下利用MS算法进行跟踪是无效的。除此之外，传统的MS算法没有遮挡判断机制，使得目标被遮挡时，MS算法会陷入局部最优，从而错误地跟踪到相似物或者遮挡物上。

针对遮挡和初始搜索中心问题，可以利用运动估计来解决。卡尔曼滤波作为一种对动态系统的状态序列进行线性最小方差估计的算法，本实施例将利用卡尔曼滤波器预测车辆的初始搜索中心y₀，并通过MS迭代在这个邻域内找到目标最优的位置，最后以这个目标位置作为卡尔曼滤波器的观测值更新滤波器，进行下一帧的运算。当目标被遮挡时，可以直接利用卡尔曼的预测值作为目标的位置，从而避免了MS跟踪到遮挡物或相似物的缺陷。

令状态向量X＝[x(n),y(n),v(x),v(y^T)]为目标在x轴和y轴的位置和速度，测量矢量[x(n),y(n)]^T为观测目标的位置。首先初始化状态状态向量X_i，卡尔曼滤波器的状态方程和观测方程为：

X_i+1＝AX_i+W   (9)

Z_i＝HX_i+V   (10)

其中，A为状态转移矩阵；H为测量矩阵；W,R分别为状态和测量的噪声向量，它们是互不相关的高斯噪声，其方差分别为Q,R。卡尔曼滤波算法为：

状态向量预测方程为：

${\hat{X}}_{i|i-1}=A{\hat{X}}_{i-1}---\left(11\right)$

状态向量协方差矩阵预测为：

P_i|i-1＝AP_i-1A^T+Q    (12)

卡尔曼增益矩阵为：

K_i＝P_i|i-1H^T(HP_i|i-1H^T+R)^-1   (13)

状态向量更新方程为：

${\hat{X}}_i={\hat{X}}_{i|i-1}+K_i(Z_i-H{\hat{X}}_{i|i-1})---\left(14\right)$

状态向量协方差更新方程为：

P_i＝(I-K_iH)P_i|i-1    (15)

其中，为预测状态，为估计状态，P_i|i-1为预测误差协方差，P_i为估计误差协方差。

实施例一

本实施例选取了S1～S4共4段视屏序列，如图4所示。其中视频序列S1来自PETS数据库，视频序列S2～S4来自于实地采集的视频，所有的视频都被标准化为320*240像素，序列S1的帧速率为15frmae/s，序列S2～S4的帧速率为30frmae/s。序列S1至S4的总时长分别为33秒、2分28秒、4分零3秒、1分18秒，视频序列S1中的车速属于高速的范围(80-100Km/h)，视频序列S2、S3、S4中的车辆车速属于中速的范围(50-70Km/h)。本实施例所跟踪的目标车辆为中型轿车，车身尺寸约为长4.5米，宽1.7米，高1.45米左右。本实施例将利用这4段视频，并分别截取帧序列验证本实施例算法。在初始化卡尔曼估计器时，假设Q＝diag(0.01)，R＝[[0.2845,0.0045]',[0.0045,0.0455]']，本实施例判断目标车辆被遮挡的阈值取为0.5。

由于MS算法采用固定的窗宽搜索目标，忽略了目标车辆在运动过程中尺度的变化，当目标在逐渐变大的情况下，MS算法只能定位到目标的局部，造成定位偏差，甚至造成定位失败。本实施例通过检测目标的像素值S_i，从而根据尺度比例k_i确定目标的变化，更新搜索窗宽h_i(l,w)。例如，在序列S2中，在第一帧中初始化目标中心x₀＝(135pixel,76pixel)，窗宽h₁(l,w)＝(18pixel,12pixel)，目标总像素值S₁＝409pixel，尺度比例k₁＝1。当程序运行至21帧时，此时目标总像素值S₂₁＝699pixel，因此目标的尺度比例k₂₁＝1.8656，搜索窗宽更新为h₂₁＝(25pixel,16pixel)，然后再根据第4步至第6步循环完成该算法。

虽然传统MS算法中核函数的引进降低了背景像素对目标像素的干扰，但是当目标像素和背景像素相似时，这种干扰将严重影响模型的可信度。本实施例利用检测出来的目标信息很好地区别了目标像素和背景像素，因此在建立模型时，忽略了背景像素RGB颜色值，从而避免了背景像素对模型的干扰。

由于传统MS算法是以上一帧的目标中心y₀作为当前帧的初始中心开始迭代的，对于快速移动的目标，很容易使算法陷入局部最优。在图5、图6中，每一个图包含3种数值线，即分别代表初始搜索中心的坐标、MS搜索到的目标坐标和目标真实的坐标位置。图5中可以看到，在当前帧中，传统的MS算法以上一帧的目标中心作为初始中心开始迭代，因此对于序列S1中快速运动的红色车辆，传统的MS算法陷入局部最优，使得搜索窗跟丢目标。当后面的车辆驶入搜索窗口时，MS算法又错误地跟踪到后驶入的车辆，反映到图5图6来看，就是搜索到的目标位置在向真实的目标位置靠近。

由于本实施例在进行搜索前，通过目标过去的运动状态估计出了目标在当前帧中的位置，并以此作为MS算法的初始搜索中心，从而克服了MS算法采用泰勒级数估计当前帧初始窗口的缺陷。如图6所示，初始帧确定目标车辆的位置(y₁,x₁)后，在第二帧中利用卡尔曼估计器预测出目标的初始搜索中心根据表1的第5步搜索出目标中心(y₂,x₂)，最后以目标中心(y₂,x₂)作为观测值更新卡尔曼滤波器，然后重复执行该过程，直至最后一帧。

从图6中可以看出，在结合运动估计以后，初始搜索中心明显更靠近目标的真实坐标，这也就意味，对于快速移动的目标车辆，优化后的初始中心更有可能接近目标的真实位置，因此避免了搜索窗口完全落后于目标车辆导致跟丢目标的情况发生，从而使MS搜索值趋近于目标的真实值。

在MS算法中，目标被遮挡时，当前帧搜索窗口中融入了很多遮挡物的信息，导致候选模型偏离真实的目标模型，从而错误地跟踪到遮挡物或与目标相似的物体。由于目标被遮挡时，候选模型与目标模型之间的相似性系数ρ会小于目标没有被遮挡时的值，因此可以利用相似性系数ρ判断目标是否被遮挡。我们设一个门限值α，如果ρ＜α，就认为目标被遮挡，此时丢弃MS搜索结果。由于经过一些帧后，卡尔曼滤波器关于目标位置的预测值和其后MS算法寻找到的观测值很接近，因此对于遮挡的情况，可以直接利用卡尔曼估计器的预测值作为目标的位置。

本实验判断遮挡的阈值为0.5。图7是序列S4的相似性系数，在序列S4中，目标车辆从30帧开始被遮挡，在此之前由于相似性系数没有低于设定的阈值，因此本实施例认为遮挡不明显。在46帧～76帧期间，由于目标车辆被明显遮挡，导致其相似性系数明显降低，如果仍继续采用MS搜索值作为目标中心，很可能会定位到遮挡物上，因此本实施例丢弃MS搜索得到的值，而以卡尔曼预测的值作为目标的位置。在76帧以后，目标逐渐出现，相应的Bhattacharyya系数也在逐渐增加，此时认为目标遮挡不明显，因此又重新利用MS搜索得到的值作为目标中心，在85帧以后，目标重新完全出现在视野中，Bhattacharyya系数在一个稳定值左右波动。

针对S1～S4这4个视频序列，本实施例采用了传统的MS算法，窗宽±10％的MS算法，基于sift的目标跟踪、、基于PS的目标跟踪、和改进的MS算法对跟踪效果进行了比较。如图8至图11所示：

对于序列S1，由于目标车辆行驶速度快，使得其在帧间移动的距离较大。MS算法由于采用泰勒级数在某邻域内展开的近似处理的缺陷，导致搜索窗口脱离目标；PS算法在目标快速移动时，容易陷入局部最优；窗宽±10％的MS算法由于考虑了3种可能尺度，因此能定位到目标的局部；对于sift的跟踪算法，由于搜索到的目标特征点的减少，从而造成该算法仅能定位到包含特征点的局部位置。

对于序列S2和S3，由于目标车辆的尺度在视频序列中是逐渐增大的，并且无遮挡，使得sift算法能够提取到足够的特征点与初始特征点匹配，因此sift算法能够在每一帧中定位到移动的目标车辆。由于MS算法无法自适应地改变搜索窗口的尺度，导致搜索区域只局限于目标车俩的局部，从而产生定位偏差，如序列S3所示。定位偏差的逐帧累加会使得目标彻底消失在搜索窗口中，导致定位失败，如序列S2；由于PS在预测中心周围的固定区域随机分配，可能使粒子不能在极点处进行足够的搜索，从而陷入局部极致区域。

对于序列S4，由于车辆中途被严重遮挡，导致sift算法无法提取特征点，造成定位失败；而MS算法、窗宽±10％的MS算法、PS算法由于无法判断目标是否被遮挡，因此会错误的跟踪到遮挡物或相似物。在本算法中，利用相似性系数作为目标是否被遮挡的判断因素，提高了MS算法抗遮挡的能力。图12为本实施例算法的跟踪轨迹。

图13为视频序列S1-S4的4个视频序列的定位偏差比较，本实施例采用与目标真实坐标之间的欧式距离作为定位偏差。在序列S1中，目标车辆的快速运动使得传统的MS算法陷入局部最优，导致跟丢目标，从而使定位偏差逐渐变大；但是在28帧后搜索窗口中出现了一个与目标模型相似的车辆，因此传统的MS算法错误地跟踪到相似物并朝目标车辆方向移动，使得28帧后，定位误差逐渐减小。在序列S2和S3中，由于目标尺度的变化，导致MS算法无法精确的定位到目标中心，从而产生定位偏差，这些定位偏差的逐帧累积最终会导致定位失败。在序列S2中，由于误差的累积，使得搜索窗口在35帧后脱离目标并产生更大的偏差；同样，在序列S3中，搜索窗口在第51帧后完全脱离目标。由于本算法考虑了目标尺度的变化，优化了MS算法的初始搜索中心，从而提高了MS算法跟踪精度。在序列S4中，当目标没有被遮挡时，传统MS算法能定位到目标中心，一旦目标被严重遮挡时，MS算法便会错误的定位到与目标模型最相似的区域，并一直在这个区域来回浮动，从而使偏差逐渐增大；当目标再次出现在视野中时，由于MS算法自身无法从脱离目标的状态中纠正过来，因此并不会重新跟踪上目标车辆。由于本实施例根据相似性系数判断出遮挡后，利用卡尔曼滤波器估计出目标的位置，从而弥补了MS算法的不足。

为了更精确地分析和对比本实施例采用的算法，本实施例采用跟踪命中率(Tracking shot)作为评判标准。跟踪命中率TS是指跟踪窗口定位到目标的次数所占百分比。每成功定位一次，次数就加1。

表1跟踪能力对比表

从表1中可以看出，对于4段视频系列而言，本实施例的跟踪命中率明显高于表中列出的其他算法。采用粒子群跟踪算法的命中率TS相对较低。由于粒子群在预测中心周围的固定区域随机分配的，这就造成粒子区域不能很好地反应车辆的真实范围，从而忽略了其他的搜索区域；其次，参数的不合理设置也会造成定位失败，如果在计算过程中，出现较大的v，很有可能使粒子越过极点，即窗口跃过目标的情形，如果v较小，那么粒子不能在极点处进行足够的搜索，从而陷入局部极致区域，从而跟踪失败。在基于sift的跟踪算法中，对于无遮挡的视频序列S2，S3来说，该算法的跟踪命中率很高，但是对于有遮挡的序列S4，其TS就远低于本实施例的算法。窗宽±10％的MS算法由于比较了3种窗宽的相似性系数，其命中率明显高于固定窗宽的MS算法。

由于结合了目标信息和运动估计，本实施例算法的命中率明显高于MS算法的命中率。

本实施例针对车辆跟踪中目标尺度变化和遮挡问题，在基于颜色特征的MS算法基础上，结合目标信息和运动估计成功实现了车辆跟踪。由于目标车辆在移动的过程中尺度可能发生变化，或者被其它干扰物遮挡，这就使目标模型与候选模型之间的相似性系数降低，导致MS算法陷入局部最优，从而造成定位失败。在本实施例中，在MS算法基础上，结合了目标的信息，提高了MS算法对目标尺度变化的适应性并减少了背景干扰；当目标被严重遮挡时，结合运动估计，利用卡尔曼滤波预测目标的位置，从而弥补了MS算在处理遮挡问题时的不足；此外，利用卡尔曼滤波器优化后的初始中心克服了基本MS算法用泰勒级数估计当前帧初始窗口精度不高的缺陷。实验结果表明，改进的MS算法能准确的对目标进行跟踪。

以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种结合目标信息和运动估计的车辆跟踪方法，其特征在于：包括以下步骤：

步骤1、初始化目标中心像素点坐标x₀和跟踪窗宽h₁(l,w)，；

步骤2、提取目标运动信息，计算目标的颜色概率模型u为颜色特征值；

步骤3、读取下一帧图像序列i，结合运动信息确定目标尺度的变化，更新h_i(l,w)，l,w分

别为目标窗的长度和宽度；

步骤4、卡尔曼滤波器估计目标在当前帧中的预测位置

步骤5、在预测位置附近，利用Mean-Shift过程定位目标在当前帧中的位置y1，

步骤6、更新卡尔曼滤波器，跳转至S3继续执行。

2.根据权利要求1所述的车辆跟踪方法，其特征在于：步骤2中运动信息的提取包括以下子步骤：

S21、在视频图像当前帧中锁定跟踪的目标；

S22、分别用背景消除法和帧差法计算出相应的目标的二值图；

S23、将计算出的两个二值图进行“或”运算，并进行形态学滤波后获得目标背景分割图，

其中1为前景，0为背景；目标信息的提取按式(1)进行，

j表示目标中的像素，x_j为目标区域中像素坐标，B(x_j)为目标信息。

3.根据权利要求2所述的车辆跟踪方法，其特征在于：步骤2中，颜色概率模型为：

$P_i^u=C_h\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{k}_{\mathrm{new}}\left[{\left|\right|\frac{x_j-x_0}{h_i}\left|\right|}^2\right]\mathrm{\δ}[b\left(x_j\right)-u]---\left(2\right)$ $k_{\mathrm{new}}\left[{\left|\right|\frac{x_j-x_0}{h_i}\left|\right|}^2\right]=k\left[{\left|\right|\frac{x_j-x_0}{h_i}\left|\right|}^2\right]\×B\left(x_j\right)---\left(3\right)$

$k\left(x\right)\∝\begin{array}{}\end{array}\left\{\begin{array}{cc}1-x,& 0\≤x\≤1\\ 0,& x>1\end{array}\right.---\left(4\right)$

x_i为图像序列的坐标位置，b(x_j)表示x_j处像素的颜色特征值，δ为Delta函数，它的作用为判断目标区域中像素xj的颜色特征值是否属于第u个颜色特征值，若等于则值为1，否则为0；C_h是一个归一化的常量系数，使得k_new为结合目标信息改进的核函数，k(x)为核函数的轮廓函数，h_i为核函数的窗宽。

4.根据权利要求1所述的车辆跟踪方法，其特征在于：步骤3中目标尺度的判断方法为：如果当前帧的目标像素总数S_i与初始帧的目标像素总数S₁比值为k_i，那么在计算当前帧的核函数带宽h_i时，认为h_i相应地变化倍，即h₁为初始帧的核函数带宽。

5.根据权利要求1所述的车辆跟踪方法，其特征在于：步骤5包括以下子步骤：

(a)根据式(2)计算目标在当前帧中的颜色概率模型

(b)根据式(7)计算权值w_j， $w_j=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{\δ}[b\left(x_j\right)-u]\sqrt{\frac{P_1^u}{P_i^u\left(y_0\right)}}\×B\left(x_j\right)---\left(7\right)$

(c)由公式(8)求得目标的新位置如果则将更新后的位置

赋给即并跳转至(a)；否则执行(d)， $y_1=\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}g\left({\left|\right|\frac{x_j-y_0}{h_i}\left|\right|}^2\right)w_j{x}_j}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}g\left({\left|\right|\frac{x_j-y_0}{h_i}\left|\right|}^2\right)w_j}---\left(8\right)$ ε₁，

ε₂分别为目标位置更新允许的像素误差和颜色特征误差；

(d)在和之间根据式(5)计算Bhattacharyya系数如果说明遮挡明显，目标的新位置y1更新为卡尔曼滤波器的预测值，即为否则认为无遮挡或遮挡不明显，y1更新为Mean-Shift搜索值即

${\mathrm{\ρ}}_i\left(y\right)\≡{\mathrm{\ρ}}_i[P_i^u\left(y\right),P_1^u]=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{P_i^u\left(y\right)P_1^u}---\left(5\right),$ ρ_i(y)表示目标模型和候选模型的相似度，ρ_i(y)越大，相似度越高。