CN101976504A - 一种基于颜色空间信息的多车辆视频跟踪方法 - Google Patents

Abstract

一种基于颜色空间信息的多车辆视频跟踪方法，其特征在于包括如下步骤：(1)检测车辆运动区域：包括对高速公路监控车道区域进行自适应估计和采用快速约束三角剖分方法检测车辆目标区域；(2)建立车辆表观模型：依据车辆的对称性特征对其进行分片段处理，建立颜色相关图特征向量；(3)建立车辆状态模型：建立满足多车辆状态模型，采用基于二次线性回归进行状态预测；(4)基于粒子滤波对多车辆进行定位。本发明利用了量化颜色的空间关联关系，并结合分片段的方法建立车辆表观模型，能够实现对多车辆的鲁棒跟踪。

Description

一种基于颜色空间信息的多车辆视频跟踪方法

技术领域

本发明涉及一种基于颜色空间信息的多车辆视频跟踪方法，属于基于机器视觉技术领域。

背景技术

通常情况下，交通场景的监控主要是通过人工控制来完成。它需要投入大量的人力和物力，即便这样，在高强度的工作环境下，遗漏仍可能发生；特别是出现车辆异常事件时，也不能进一步作出快速反应的。因此，智能交通系统(ITS，Intelligent Transportation Systems)基于机器视觉在近年发展起来。它通过分析视频序列检测、识别和跟踪车辆目标，以获得诸如位置，速度，方向和加速度等运动参数，无需任何人人工干预，或者很少的人工干预。

Zehang Sun等在《IEEE模式识别与机器智能学报》(2006年第694-711页)发表文章“道路车辆检测：概览”(《IEEE Transactions on Pattern Analysisand Machine Intelligence》(pp.694-711，2006)：“On-road vehicle detection：areview”)进行了总结，包括基于知识的、基于运动的和基于表观特征的检测方法。

在目标跟踪算法中，基于蒙特卡罗序列的方法是一种较为理想的方法，也称为概率性跟踪方法，典型的算法是粒子滤波。在粒子滤波框架下，对车辆的表达是非常重要的问题，因为这种表达可以描述车辆表观与运动状态之间的关联关系。一个好的目标表达可以使跟踪的车辆区别于背景和其他车辆，已获得更好的跟踪效果。车辆的表达包括表观模型和运动状态模型。很多视觉特征可以被选择为车辆目标的跟踪进行表观建模。Comaniciu等发表文章“基于核函数的物体跟踪”(Kernel-based object tracking)，提出了基于颜色直方图的跟踪算法，该方法对环境噪音和部分遮挡是鲁棒的，但是在背景与目标颜色相同或者光线变化时该方法失效。但是，空间信息的缺失将会减少模型中的区分度。因此，要通过加强模型的敏感性来区分背景或其他车辆。在车辆表达中加入空间信息对于增强跟踪结果的鲁棒性具有重要的作用，这样可以使车辆的形状和尺度不变形得以保持。在Birchfield ST等人发表的题为“空间图与直方图在区域跟踪上的比较”(Spatiograms versushistograms for region-based tracking)的文献中介绍的空间图是一种通过增加空间均值和方差来获取对跟踪目标的充足描述的直方图。

另一种流行的跟踪算法是确定性跟踪算法，典型的算法是MeanShift。该算法实质是一个优化问题，通过车辆检测获得其目标模板，并建立特征函数来度量车辆候选区域与参考模板之间的相似度，当特征函数取得最大值时，目标被定位。特别地，Zhao Q等人发表的题为“利用颜色相关图的物体跟踪”(Object tracking using color correlogram)的文献和题为“简化的颜色相关图在视频跟踪中的运动表观分析”(Motion observability analysis of thesimplified color correlogram for visual tracking)的文献分别给出了基于颜色相关的MeanShift框架跟踪方法，但是在计算颜色相关图时，方法的计算复杂度较高。粒子滤波由于是非线性、非高斯且多模态的特点，被广泛应用，但是单纯使用粒子滤波进行跟踪需要大量粒子。因此，可以考虑将确定性跟踪方法与概率性跟踪方法进行结合，特别是将MeanShift算法与粒子滤波算法结合，既能克服MeanShift算法没有预测功能的缺点，又能解决粒子滤波算法需要大量粒子进行精确计算的缺点。CamShift算法是MeanShift的一种改进算法，它作用于动态概率分布，在连续的视频图像序列中，运动物体的尺寸和位置的变化导致相应的概率分布的动态变化，该算法自适应概率分布的动态变化，根据概率分布的变化情况自动调整搜寻窗口的尺寸和位置。

发明内容

本发明要的技术解决问题：克服现有技术的不足，提供一种基于颜色空间信息的多车辆视频跟踪方法。

本发明的技术方案：一种基于颜色空间信息的多车辆视频跟踪方法，其特征在于包括如下步骤：

(1)检测车辆运动区域：包括对高速公路监控车道区域进行自适应估计和采用快速约束三角剖分方法检测车辆目标区域；

(2)建立车辆表观模型：依据车辆的对称性特征对其进行分片段处理，建立颜色相关图特征向量；

(3)建立车辆状态模型：建立满足多车辆状态模型，采用基于二次线性回归进行状态预测；

(4)基于粒子滤波对多车辆进行定位。

其中，所述步骤(1)首先对高速公路监控车道区域进行自适应估计：

假设第(k+1)帧中，背景像素点p的灰度值表述为：

G(k+1，p)＝G(k，p)+L(k，p)+noise¹(k，p)

其中，G(k，p)是第k帧中，背景像素点p的灰度值；L(k，p)是描述光照随着时间变化的不确定模型；noise¹(k，p)为以零为中心的高斯白噪声(含系统测量误差)；输入图像像素点p的灰度表示为：

I(k，p)＝G(k，p)+noise²(k，p)

其中，noise²(k，p)为一个以零为中心的高斯白噪声；消去系统测量误差得到：

I(k+1，p)＝G(k，p)+ω(k+1，p)

其中，ω(k+1，p)＝L(k，p)+noise1(k，p)+noise²(k+1，p)，且ω(k，p)是高斯分布。

其中，所述步骤(1)的检测车辆目标区域采用快速约束三角剖分方法，包括如下步骤：

1)通过Canny算子提取轮廓信息；

2)对图像轮廓应用Hough变换取得图像中的直线集合；

3)提取直线两端点得到角点集合；

4)以所有约束边为基础，构建初始约束三角网，并依次插入所有独立角点；

5)提取角密度、水平直线密度、密度垂直直线、三角形密度和车辆区域的平均亮度构建特征向量；

6)将候选区域中的五个特征向量输入以K(x，y)＝x×y为核函数的支持向量机中，可以得到输出E_SVM，当E_SVM大于系统设定的置信阈值E_ξ的时候，则该区域为真实车辆区域。

其中，所述步骤(2)的车辆表观模型的建立步骤包括：

1)将车辆检测区域定义为长度为l，宽度为h的矩形，车辆参考区域的特征向量H^*；

2)根据车辆的对称性特点，将矩形区域划分成对称且相交的4个矩形片段；

3)计算每个片段的特征向量：

其中，

是检测区域中的点p₁＝(x₁，y₁)和p₂＝(x₂，y₂)的颜色自相关图；c_i和c_j是这两个点的量化颜色空间I(p₁)和I(p₂)的值，i，j∈[k](k＝1，2，…，K)，K是颜色空间的量化尺度；d_f是第f个片段中两个点之间的距离；

4)对每个片段的特征向量进行归一化，并构建该车辆目标的表观特征模型为：

其中，是

经过归一化后的特征向量。

所述步骤3)中第f个片段中中两个点的距离为：

$d_f=\sqrt{{\left(d_f^{\left(h\right)}\right)}^2+{\left(d_f^{\left(v\right)}\right)}^2},$

其中，

和

分别是第f个片段中两点之间的水平距离和垂直距离，且当记4个矩形片段的长度、宽度分别为l₁＝l₂＝l/2，h₁＝h₂＝h，l₃＝l₄＝l，h₃＝h₄＝h/2时，

η是比例因子。

当所述步骤2)中矩形片段的尺寸小于16×16时，两个点之间的距离为：

$d=\sqrt{{\left(d^{\left(h\right)}\right)}^2+{\left(d^{\left(v\right)}\right)}^2},$

其中，水平距离和垂直距离分别为d^(h)＝ηl，d^(v)＝ηh，η是比例因子；

设车辆参考区域的特征向量H^*，车辆候选区域的特征向量为：

其中，

是

经过归一化后的特征向量。

所述车辆候选区域的特征向量H与车辆参考区域的特征向量H^*之间的Bhattacharyya系数定义为：

$\mathrm{\ρ}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\sqrt{H^{*}\left(k\right)\×H\left(k\right)},$

其中，k是颜色的量化尺度；

相似度度量函数：

$D(H^{*},H)=\sqrt{1-\mathrm{\ρ}};$

基于RGB颜色空间的车辆的表观模型O_t为：

$p\left(O_t{|S}_t\right){\∝e}^{-{\mathrm{\λD}}^2(H^{*},H)}.$

所述步骤(3)的车辆状态模型定义为：S＝(x，y，l，h)^T，其中，(x，y)构成被跟踪目标的中心点C＝(x，y)^T，搜索窗W＝(l，h)^T是长为l，宽为h的矩形；采用二次线性自回归的方法预测当前的状态：

p(S_k|S_k-1，S_k-2，…，S₁)～N(S_k；2S_k-1-S_k-2，∑)；

多车辆目标时，状态预测模型为：

p(S_k(m)|S_k-1(m)，…，S₁(m))～N(S_k(m)；2S_k-1(m)-S_k-2(m)，∑(m))

其中，假设目标之间是相互独立的，且当前有M个车辆目标，S_k(m)表示第k帧中第m个车辆目标的状态。

其中，所述步骤(4)基于粒子滤波对多车辆进行定位的具体步骤为：

1)将(0，1]分成N个连续互不重合的区间，即

N即为初始化的粒子个数；

2)对每个独立同分布采样得到的初始粒子集{Sⁱ}_{i＝1，2，…，N}，有

其中U((u，v])表示在区间(u，v]上的均匀分布；

3)粒子状态

的期望值

并得到该粒子的权重

4)将粒子集随机地分成2个数目相等子集：

5)对其中一个子集

的每一个粒子进行迭代：

选择加权值最大的粒子，然后我们使用该子集中的所有粒子，来计算这个粒子状态中心点的平均位移，进而接近其局部模式：

$\mathrm{mean}\_\mathrm{shift}\left({\stackrel{\‾}{C}}_t^i\right)=\frac{{\mathrm{\Σ}}_{j=1}^M{C}_{j}m\left(C_j\right)g\left(\right|\left|{\frac{{\stackrel{\‾}{C}}_k^i-C_j}{r}\left|\right|}^2\right)}{{\mathrm{\Σ}}_{j=1}^{M}m\left(C_j\right)g\left(\right|\left|{\frac{{\stackrel{\‾}{C}}_k^i-C_j}{r}\left|\right|}^2\right)}-{\stackrel{\‾}{C}}_t^i,$

其中{C_j}_j＝1...N/2是状态

在矩形区域像素坐标点；m(C_j)是在点C_j处像素值的相似权重，它是对应的H^*和

的直方图二进制比率的平方根；g()是一个核函数；r是标准化后的窗口半径；

该粒子的状态中心点均以最新的状态中心近似构成：

$C_k^i\≈\mathrm{mean}\_\mathrm{shift}\left({\stackrel{\‾}{C}}_k^i\right)+{\stackrel{\‾}{C}}_k^i;$

该粒子的窗口尺寸，利用如下方法进行调整：

${\stackrel{\‾}{W}}_k^i\≈k\sqrt{\frac{M_{00}\left({\stackrel{\‾}{S}}_k^i\right)}{256\×{\stackrel{\‾}{l}}_k^i\×{\stackrel{\‾}{h}}_k^i}}\·{\stackrel{\‾}{W}}_t^i,$

其中k是一个经验常量值，零阶矩M₀₀按照以下公式计算：

该粒子权重也进行相应为：

将经过一次迭代的子集与原有不变的子集

合并，得到新的粒子集

同时对两个子集的权值合并且正则化

协方差按照迭代次数成指数级递减，即有

j＝1，2，…，I，其中I是迭代次数；得到新的状态概率密度函数；

6)迭代结束，输出对当前状态的估计：

本发明与现有技术相比的优点在于：

(1)对高速公路监控车道区域进行自适应估计是基于Kalman滤波的自适应背景建模理论，考虑在长时间内光照条件发生变化的情况，图像噪声是随着环境光照和气候条件变化而变化，具有较低的计算复杂度，且能够消除图像噪声变化。

(2)车辆目标区域检测采用快速约束三角剖分方法，该方法可以去除无用区域，提取相关特征信息，并不需要去精确获取车辆轮廓，关注车辆的粗略位置和计算的实时性；通过基于约束边优先的三角剖分图像区块划分方法，获得车辆的候选区域，通过支持向量机选定真实区域。

(3)本发明通过改进颜色相关图，构建了通过Bhattacharyya系数进行相似度测量的特征向量，使得该向量能够在CamShift框架能使用。

(4)采用CamShift与粒子滤波融合的方法进行车辆跟踪，首先，CamShift能够优化每个滤波器的尺度和位置，在提高粒子滤波的采样效率方面比MeanShift方法有更强大的功能。其次，粒子滤波的多种假设的性质可以使得CamShift能够自适应地调整尺度因子；通过利用粒子之间的冗余，CamShift以一种简化的方式作用于在整个粒子集；最后，对CamShift的有限次迭代避免了粒子穷竭现象。

附图说明

图1为本发明的对车辆分片段示意图；

图2为本发明基于分片段的颜色相关图定义原理图。

具体实施方式

如图1所示，是本发明方法的流程图，本方法包括如下步骤：

(一)检测车辆运动区域

1、对高速公路监控车道区域进行自适应估计

假设第(k+1)帧中，背景像素点p的灰度值表述为：

G(k+1，p)＝G(k，p)+L(k，p)+noise¹(k，p)

其中，G(k，p)是第k帧中，背景像素点p的灰度值；L(k，p)是描述光照随着时间变化的不确定模型；noise¹(k，p)为以零为中心的高斯白噪声(含系统测量误差)；输入图像像素点p的灰度表示为：

I(k，p)＝G(k，p)+noise²(k，p)

其中，noise²(k，p)为一个以零为中心的高斯白噪声；消去系统测量误差得到：

I(k+1，p)＝G(k，p)+ω(k+1，p)

其中，ω(k+1，p)＝L(k，p)+noise¹(k，p)+noise²(k+1，p)。ω(n，p)是高斯分布，可以分别用均值m(n，p)和变量s(n，p)代表ω(n，p)。明显地，在时域空间内m(n，p)和s(n，p)的值不会是一个常数。如何正确的计算m(n，p)和s(n，p)，是背景估计中的一个关键问题。

在交通监控中，在一个很小的区域内光照的变化和噪声分布基本上是不变的。因此，m(n，p)和s(n，p)在一个小区域内的值与该像素在该区域中的位置无关，所以，他们可以分别被表示为m(n)和s(n)。然后，在一个小区域中，由{I(n+1，p)}和{G(n，p)}的差值可以得到一个直方图。通过该直方图，可以估计出m(n)和s(n)的值。

2、基于快速三角剖分的车辆目标区域检测。

(1)通过Canny算子提取轮廓信息：常用的边缘检测算法有Sobel、Canny算法，其通过对比可以得出如下结论：Sobel算法计算简单、速度快，但是其对图像噪声敏感，边缘往往是断续的、不完整的。Canny算子不易受噪声干扰，能检测出弱边缘，且不用浮点运算，可以提高效率。

(2)对图像轮廓应用Hough变换取得图像中的直线集合：Hough变换在检测二值图像中的直线或曲线时抗干扰能力强，能在信噪比较低的条件下进行检测。

(3)提取直线两端点得到角点集合：车辆特征预处理的过程就是提取角点和边缘直线的过程。车辆的轮廓具有明显的角点和直线特征，由于阴影或背景图像的影响，角点和直线集合只能用来检测车辆的大致区域。但经过提取角点和边缘轮廓直线，达到了降低计算复杂度的目的，可以有效地保证算法实时性。

(4)以所有约束边为基础，构建初始约束三角网(CDT，ConstrainedDelaunay Triangulation)，并依次插入所有独立角点：

1)以约束边为三角形的其中一边l_i，在顶点集合Q中取一点p_i，如边l_i和点p_i所构成的外接圆不包含任何其他顶点，则连接点p_i和边l_i的两个顶点构成一个约束三角形；如边l_i和点p_i所构成的外接圆包含其他顶点，则以所包含的顶点为顶点集合，选取其中一点与边l_i，循环步骤A。

2)通过步骤A，构建了一个初始基于约束边的CDT。在该CDT中，插入点一独立角点p的过程如下：

A、通过三角形中心和邻域信息定位p所在的三角形A₀。

B、通过三角形的邻域特征寻找相邻，重构p所影响的邻近点之间的三角网之间的拓扑关系；具体步骤如下：

a、以p所在三角形的非约束边为扩展方向，获得其邻域三角形A₁，A₂。

b、依次对其邻域三角形A₁，A₂做最小外接圆，如包含p，则邻域三角形A₁并不存在于插入p后重新构建的CDT′中，删除邻边，继续步骤c；如不包含p，则邻域三角形A₂存在于插入p后，重新构建的CDT′中，继续步骤d；如无新邻域三角形，则直接进行步骤d。

c、步骤b中所述的邻域三角形，其另外两个邻域三角形A₇，A₈，也属于点P的影响域，对A₇，A₈重复步骤b。

d、将点P的影响域边界上的点与点P相连，构成点P影响域内的重构三角形。此时完成一个插入P点后构成的CDT′。

(5)提取角密度、水平直线密度、密度垂直直线、三角形密度和车辆区域的平均亮度构建特征向量：车辆区域一般由车辆前端轮廓线L_f和后端轮廓线L_b两条线段所围四边形所限定。在预处理的时候已经提取车辆轮廓的直线信息，因此，L_f和L_b作为约束边存在于CDT变换后产生的三角边中，且车辆轮廓线的特征为：长度在一定区间、相对于图像水平线倾角较小(在本发明中，要求倾斜角小于30度)。进行车辆前后轮廓线的提取，并且根据前后轮廓线的约束关系，连接端点形成四边形区域。由于轮廓线比较多，因此，将会产生多个满足条件的四边形区域，根据下列特征向量进行分类计算，从中选取可置信的车辆区域。具体特征如下：

1)角点密度D_c：假设区域单位面积中的角点数量；

2)水平直线密度D_h：水平倾斜角(与x轴的夹角)较小的直线密度。如果用(x_h1，y_h1)和(x_h2，y_h2)表示水平线段的两个端点，则直线的水平倾斜度可表示为：k_h＝|(y_h2-y_h1)/(x_h2-x_h1)|。在本文中，要求该倾斜角小于30度，即 $k_h<1/\sqrt{3};$

3)垂直直线密度D_v：垂直倾斜角(与y轴的夹角)较小的直线密度。如果用(x_v1，y_v1)和(x_v2，y_v2)表示垂直直线的两个端点，则直线的水平倾斜度可表示为：k_v＝|(y_v2-y_v1)/(x_v2-x_v1)|。在本文中，要求该直线与水平的倾斜角大于60度，即

4)三角形密度D_t：在选取的候选区域内，三角形的密度；

5)候选区域到真实车辆区域的样本标准偏差S：通过计算候选四边形区域中，完整三角形面积的覆盖程度，来表示该区域为真实车辆区域的置信度。

针对每个候选的四边形区域，提取上述五个特征向量。上述五个特征向量较好的涵盖了车辆轮廓的水平、垂直和纹理信息，同时，提取过程的算法复杂度较低，满足实时计算的需要。

利用候选区域到真实区域的样本标准偏差S验证候选区域的可置信度。现假定候选区域i中包含n个完整的三角形，第j个三角形的亮度和(灰度值之和)为Sum_j，所有三角形的亮度和总体平均为

系统自由度为f＝n-1：

$S=\sqrt{\frac{\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{({\mathrm{Sum}}_j-\stackrel{\&OverBar;}{\text{S}})}^2}{f}}$

根据样本标准偏差的等效变换，可直接对测量值进行计算。等效变换的结果如下所示：

$S=\sqrt{\frac{\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{({\mathrm{Sum}}_j-\stackrel{\&OverBar;}{S})}^2}{f}}=\sqrt{{\frac{\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{{\mathrm{Sum}}_j}^2}{f}-\frac{\left(\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{Sum}}_j\right)}{\mathrm{nf}}}^2}$

此时，根据上述提取的特征，可以形成一个新的特征向量组O_i＝{D_Ci，D_hi，D_vi，D_ti，S_i}

(6)将候选区域中的五个特征向量输入以K(x，y)＝x×y为核函数的支持向量机(SVM，Supported Vector Machine)中，可以得到输出E_SVM，当E_SVM大于系统设定的置信阈值E_ξ的时候，则该区域为真实车辆区域。若选定的五个特征向量没有涵盖各个候选区域的包含和重叠关系，因此出现置信区域重叠的情况。设定部分包含率阈值为η，即有两区域的公共面积应S_Common，小置信区域面积S_small，则如果S_Common/S_small＞η，则小置信区域并入大置信区域。同时，以最小外接矩形包含小置信区域形成大置信区域，如此循环。本发明中选择η＝0.6，最终以最小外接矩形包含被检车辆区域。

(二)建立车辆表观模型

在颜色分析中，由于直方图计算效率较高，因此模型一般通过直方图建立。但是，直方图只能抽取出一幅图像的颜色分布特征，而不包含任何空间特征，这就使得跟踪的过程出现较大偏差甚至是错误，因为不同的图像也可能具有几乎相同的直方图。颜色空间特征能够弥补这个缺陷。颜色相关图就是一个很好的选择，它不仅包括颜色的统计信息，也包括空间分布。

1、颜色相关图

颜色相关图是一种特殊的颜色集合直方图，它利用了颜色对之间的空间关系，具有比传统的颜色直方图更强的分辨能力。一般地，一幅m×n大小的图像I，其颜色相关图定义为：

${\mathrm{\&Phi;}}_{c_i,c_j}^d=P(I\left(p_1\right)=c_i,|p_1-p_2|=d|I\left(p_2\right)=c_j),$

其中，c_i和c_j是像素点p₁＝(x₁，y₁)和p₂＝(x₂，y₂)处的图像颜色量化值，i，j∈[k](k＝1，2，…，K)；d∈[z](z＝1，2，…，Z)是两个像素点之间的距离。同时，为了简化计算，可以只考虑相同颜色之间的相关性，因此图像I的颜色自相关图可以定义为：

$A_{c_i}^d={\mathrm{\&Phi;}}_{c_i,c_i}^d=P(I\left(p_1\right)=c_i,|p_1-p_2|=d|I\left(p_2\right)=c_i)$

2、基于分片段的颜色相关图

从颜色相关图的定义可以分析出，颜色空间的量化尺度k以及像素点之间的距离的量化尺度z对其计算的鲁棒性具有较大的影响。k和z越大，颜色相关图包含的信息越完整，自然也就带来了较高的计算复杂度和较大的内存消耗。因此，本发明对颜色相关图模型进行了改进。

首先，定义车辆目标候选区域为一个长度为l且宽度为h的矩形，为了保持特征的稳定以及车辆的细节特征，我们对车辆目标候选区域进行分片段处理。这里需要指出的是：片段的数目及划分方法对跟踪的准确度和效率具有一定的影响。虽然，片段数目越多，跟踪方法的鲁棒性越高，但是也会加大每一帧的计算量。对于每一帧的计算量在很大程度上取决于每个片段的大小，但这也需要加以限制。特别地，选择尺寸很小的片段可能会导致跟踪漂移，也会导致车辆的一些信息被忽略。因此，本发明采用对称且相交的片段划分方法，片段划分数目为4，如图1所示，且每个片段也为矩形，这些片段的长度和宽度分别为：l₁＝l₂＝l/2，h₁＝h₂＝h，l₃＝l₄＝l，h₃＝h₄＝h/2。

我们以其中的一个片段为例进行说明，如图2所示。以该片段的中点为坐标原点，建立X和Y轴的坐标系。图像中像素点p₁和p₂分别位于两个不同的象限，同时，我们将这两个点之间的水平距离d^(h)和垂直距离d^(v)设为固定值。不同的距离值d会描述不同程度的纹理特征。d的值越大，纹理特征越粗糙；相反，d的值越小，纹理特征描述得越明显。如果d取值太大会导致特征向量中包括较多的0元素，使得向量失去稳定性；但是如果d取值太小，特征向量会对物体的形变和场景的光照变化很敏感。因此，本发明中，d^(h)和d(v)被设置为：

$d_f^{\left(h\right)}={\mathrm{\&eta;l}}_f,$ $d_f^{\left(v\right)}={\mathrm{\&eta;h}}_f,$

其中，η取1/2，f是片段的编号。

根据定义，颜色相关图是一个二维对称矩阵，因此，本发明使用上三角阵来构建特征向量：

这个特征向量是具有使用Bhattacharyya系数进行相似度测量的理想形式。接下来，每个片段的向量经过归一化处理后，整个车辆的特征向量表示为：

当片段的尺寸小于16×16时，不再进行片段划分，特征向量的形成可以简化为：

d^(h)＝ηl，d^(v)＝ηh，

3、车辆的表观模型

本发明使用RGB颜色空间构建表观模型O_t，因此，车辆参考模板和车辆候选区域之间的Bhattacharyya系数定义为：

$\mathrm{\&rho;}=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}\sqrt{H^{*}\left(k\right)\&times;H\left(k\right)},$

其中，k是颜色的量化尺度。进而得到相似度度量函数：

$D(H^{*},H)=\sqrt{1-\mathrm{\&rho;}},$

因此，车辆的表观模型为：

$p\left(O_t{|S}_t\right){\&Proportional;e}^{-{\mathrm{\&lambda;D}}^2(H^{*},H)}.$

(三)建立车辆状态模型

我们将被跟踪目标的状态模型定义为：S＝(x，y，l，h)^T，其中，(x，y)构成被跟踪目标的中心点C，用来描述目标的位置属性，即有C＝(x，y)^T；搜索窗W是长为l，宽为h的矩形，用来描述目标的大小属性，即有W＝(l，h)^T。因此，状态模型又可表示为：S＝(C^T，W^T)^T。

考虑到视频序列中被跟踪目标的关联性特点，需要对其进行预测建模。我们采用数理统计中的二次线性回归的方法，认为一个被跟踪目标当前的运动状态是由前一个运动状态S_k-1，最后一次状态变换偏移量S_k-1-S_k-2，及一个均值为0，协方差矩阵为∑_k的高斯分布ω_k进行预测的，即：

$\left\{\begin{array}{c}{S}_k=a+b{S}_{k-1}+c(S_{k-1}-S_{k-2})+{\mathrm{\&omega;}}_k\\ {\mathrm{\&omega;}}_k\text{~N}(0,{\mathrm{\&Sigma;}}_k)\end{array}\right.$

且预测模型满足高斯分布：p(S_k|S_k-1，S_k-2，…，S₁)～N(S_k；2S_k-1-S_k-2，∑_k)多车辆目标时，状态预测模型为：

p(S_k(m)|S_k-1(m)，…，S₁(m))～N(S_k(m)；2S_k-1(m)-S_k-2(m)，∑(m))其中，

则表示第k帧中第m个车辆目标的第i个粒子的状态。

(四)基于分层粒子滤波的车辆跟踪。

(1)将(0，1]分成N个连续互不重合的区间，即

N即为初始化的粒子个数；

(2)对每个独立同分布采样得到的初始粒子集

有

其中U((u，v])表示在区间(u，v]上的均匀分布；

(3)粒子状态

的期望值

并得到该粒子的权重 ${\mathrm{\&omega;}}_k^i=p\left(O_k\right|S_k^i);$

(4)将粒子集随机地分成2个数目相等子集：

(5)对其中一个子集

的每一个粒子进行迭代：

选择加权值最大的粒子，然后我们使用该子集中的所有粒子，来计算这个粒子状态中心点的平均位移，进而接近其局部模式：

$\mathrm{mean}\_\mathrm{shift}\left({\stackrel{\&OverBar;}{C}}_t^i\right)=\frac{{\mathrm{\&Sigma;}}_{j=1}^M{C}_{j}m\left(C_j\right)g\left(\right|\left|{\frac{{\stackrel{\&OverBar;}{C}}_k^i-C_j}{r}\left|\right|}^2\right)}{{\mathrm{\&Sigma;}}_{j=1}^{M}m\left(C_j\right)g\left(\right|\left|{\frac{{\stackrel{\&OverBar;}{C}}_k^i-C_j}{r}\left|\right|}^2\right)}-{\stackrel{\&OverBar;}{C}}_t^i,$

其中{C_j}_j＝1...N/2是状态

在矩形区域像素坐标点；m(C_j)是在点C_j处像素值的相似权重，它是对应的H^*和

的直方图二进制比率的平方根；g()是一个核函数；r是标准化后的窗口半径；

该粒子的状态中心点均以最新的状态中心近似构成：

$C_k^i\&ap;\mathrm{mean}\_\mathrm{shift}\left({\stackrel{\&OverBar;}{C}}_k^i\right)+{\stackrel{\&OverBar;}{C}}_k^i;$

该粒子的窗口尺寸，利用如下方法进行调整：

具有金属导电网络结构，能有效地提高材料的导电性能；石墨既作为基体，又起到减摩作用，制备的滑块材料摩擦系数小，改性成分可以改善金属基体与炭基体的界面结合，提高炭基滑块材料的机械性能。

其中k是一个经验常量值，零阶矩M₀₀按照以下公式计算：

该粒子权重也进行相应为：

将经过一次迭代的子集与原有不变的子集

合并，得到新的粒子集

同时对两个子集的权值合并且正则化

协方差按照迭代次数成指数级递减，即有

j＝1，2，…，I，其中I是迭代次数；得到新的状态概率密度函数；

(6)迭代结束，输出对当前状态的估计：

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

尽管为说明目的公开了本发明的最佳实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例和附图所公开的内容。

Claims (9)

1.一种基于颜色空间信息的多车辆视频跟踪方法，其特征在于包括如下步骤：

(1)检测车辆运动区域：包括对高速公路监控车道区域进行自适应估计和采用快速约束三角剖分方法检测车辆目标区域；

(2)建立车辆表观模型：依据车辆的对称性特征对其进行分片段处理，建立颜色相关图特征向量；

(3)建立车辆状态模型：建立满足多车辆状态模型，采用基于二次线性回归进行状态预测；

(4)基于粒子滤波对多车辆进行定位。

2.根据权利要求1所述的基于颜色空间信息的多车辆视频跟踪方法，其特征在于：所述步骤(1)首先对监控车道区域进行自适应估计：

假设第(k+1)帧中，背景像素点p的灰度值表述为：

G(k+1，p)＝G(k，p)+L(k，p)+noise¹(k，p)

其中，G(k，p)是第k帧中，背景像素点p的灰度值；L(k，p)是描述光照随着时间变化的不确定模型；noise¹(k，p)为以零为中心的高斯白噪声；输入图像像素点p的灰度表示为：

I(k，p)＝G(k，p)+noise²(k，p)

其中，noise²(k，p)为一个以零为中心的高斯白噪声；消去系统测量误差得到：

I(k+1，p)＝G(k，p)+ω(k+1，p)

其中，ω(k+1，p)＝L(k，p)+noise¹(k，p)+noise²(k+1，p)，且ω(k，p)是高斯分布。

3.根据权利要求1所述的高速公路监控场景下多车辆视频跟踪方法，其特征在于：所述步骤(1)的检测车辆目标区域采用快速约束三角剖分方法，包括如下步骤：

1)通过Canny算子提取轮廓信息；

2)对图像轮廓应用Hough变换取得图像中的直线集合；

3)提取直线两端点得到角点集合；

4)以所有约束边为基础，构建初始约束三角网，并依次插入所有独立角点；

5)提取角密度、水平直线密度、密度垂直直线、三角形密度和车辆区域的平均亮度构建特征向量；

6)将候选区域中的五个特征向量输入以K(x，y)＝x×y为核函数的支持向量机中，可以得到输出E_SVM，当E_SVM大于系统设定的置信阈值E_ξ的时候，则该区域为真实车辆区域。

4.根据权利要求1所述的基于颜色空间信息的多车辆视频跟踪方法，其特征在于：所述步骤(2)的车辆表观模型的建立步骤包括：

1)将车辆检测区域定义为长度为l，宽度为h的矩形，车辆参考区域的特征向量H^*；

2)根据车辆的对称性特点，将矩形区域划分成对称且相交的4个矩形片段；

3)计算每个片段的特征向量：

其中，

是检测区域中的点p₁＝(x₁，y₁)和p₂＝(x₂，y₂)的颜色自相关图；c_i和c_j是这两个点的量化颜色空间I(p₁)和I(p₂)的值，i，j∈[k](k＝1，2，…，K)，K是颜色空间的量化尺度；d_f是第f个片段中两个点之间的距离；

4)对每个片段的特征向量进行归一化，并构建该车辆目标的表观特征模型为：

其中，

是经过归一化后的特征向量。

5.根据权利要求4所述的基于颜色空间信息的多车辆视频跟踪方法，其特征在于：所述步骤3)中第f个片段中中两个点的距离为：

$d_f=\sqrt{{\left(d_f^{\left(h\right)}\right)}^2+{\left(d_f^{\left(v\right)}\right)}^2},$

其中，和分别是第f个片段中两点之间的水平距离和垂直距离，且当记4个矩形片段的长度、宽度分别为l₁＝l₂＝l/2，h₁＝h₂＝h，l₃＝l₄＝l，h₃＝h₄＝h/2时，

η是比例因子。

6.根据权利要求4所述的基于颜色空间信息的多车辆视频跟踪方法，其特征在于：所述步骤2)中当矩形片段的尺寸小于16×16时，两个点之间的距离为：

$d=\sqrt{{\left(d^{\left(h\right)}\right)}^2+{\left(d^{\left(v\right)}\right)}^2},$

其中，水平距离和垂直距离分别为d^(h)＝ηl，d^(v)＝ηh，η是比例因子；

设车辆参考区域的特征向量H^*，车辆候选区域的特征向量为：

其中，是

经过归一化后的特征向量。

7.根据权利要求4或6所述的基于颜色空间信息的多车辆视频跟踪方法，其特征在于：所述车辆候选区域的特征向量H与车辆参考区域的特征向量H^*之间的Bhattacharyya系数定义为：

$\mathrm{\&rho;}=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}\sqrt{H^{*}\left(k\right)\&times;H\left(k\right)},$

其中，k是颜色的量化尺度；

相似度度量函数：

$D(H^{*},H)=\sqrt{1-\mathrm{\&rho;}};$

基于RGB颜色空间的车辆的表观模型O_t为：

$p\left(O_t{|S}_t\right){\&Proportional;e}^{-{\mathrm{\&lambda;D}}^2(H^{*},H)}.$

8.根据权利要求1所述的基于颜色空间信息的多车辆视频跟踪方法，其特征在于：所述步骤(3)的车辆状态模型定义为：S＝(x，y，l，h)^T，其中，(x，y)构成被跟踪目标的中心点C＝(x，y)^T，搜索窗W＝(l，h)^T是长为l，宽为h的矩形；采用二次线性自回归的方法预测当前的状态：

p(S_k|S_k-1，S_k-2，…，S₁)～N(S_k；2S_k-1-S_k-2，∑)；

多车辆目标时，状态预测模型为：

p(S_k(m)|S_k-1(m)，…，S₁(m))～N(S_k(m)；2S_k-1(m)-S_k-2(m)，∑(m))

其中，假设目标之间是相互独立的，且当前有M个车辆目标，S_k(m)表示第k帧中第m个车辆目标的状态。

9.根据权利要求1所述的基于颜色空间信息的多车辆视频跟踪方法，其特征在于：所述步骤(4)基于粒子滤波对多车辆进行定位的具体步骤为：

1)将(0，1]分成N个连续互不重合的区间，即

N即为初始化的粒子个数；

2)对每个独立同分布采样得到的初始粒子集{Sⁱ}_{i＝1，2，…，N}，有

其中U((u，v])表示在区间(u，v]上的均匀分布；

3)粒子状态

的期望值并得到该粒子的权重

4)将粒子集随机地分成2个数目相等子集：

5)对其中一个子集

的每一个粒子进行迭代：

选择加权值最大的粒子，然后使用该子集中的所有粒子，来计算这个粒子状态中心点的平均位移，进而接近其局部模式：

$\mathrm{mean}\_\mathrm{shift}\left({\stackrel{\&OverBar;}{C}}_t^i\right)=\frac{{\mathrm{\&Sigma;}}_{j=1}^M{C}_{j}m\left(C_j\right)g\left(\right|\left|{\frac{{\stackrel{\&OverBar;}{C}}_k^i-C_j}{r}\left|\right|}^2\right)}{{\mathrm{\&Sigma;}}_{j=1}^{M}m\left(C_j\right)g\left(\right|\left|{\frac{{\stackrel{\&OverBar;}{C}}_k^i-C_j}{r}\left|\right|}^2\right)}-{\stackrel{\&OverBar;}{C}}_t^i,$

其中{C_j}_j＝1...N/2是状态

在矩形区域像素坐标点；m(C_j)是在点C_j处像素值的相似权重，它是对应的H^*和

的直方图二进制比率的平方根；g()是一个核函数；r是标准化后的窗口半径；

该粒子的状态中心点均以最新的状态中心近似构成：

$C_k^i\&ap;\mathrm{mean}\_\mathrm{shift}\left({\stackrel{\&OverBar;}{C}}_k^i\right)+{\stackrel{\&OverBar;}{C}}_k^i;$

该粒子的窗口尺寸，利用如下方法进行调整：

${\stackrel{\&OverBar;}{W}}_k^i\&ap;k\sqrt{\frac{M_{00}\left({\stackrel{\&OverBar;}{S}}_k^i\right)}{256\&times;{\stackrel{\&OverBar;}{l}}_k^i\&times;{\stackrel{\&OverBar;}{h}}_k^i}}\&CenterDot;{\stackrel{\&OverBar;}{W}}_t^i,$

其中k是一个经验常量值，零阶矩M₀₀按照以下公式计算：

该粒子权重也进行相应为：

将经过一次迭代的子集与原有不变的子集

合并，得到新的粒子集同时对两个子集的权值合并且正则化

协方差按照迭代次数成指数级递减，即有

j＝1，2，…，I，其中I是迭代次数；得到新的状态概率密度函数；

6)迭代结束，输出对当前状态的估计：

Images