CN101800890A - 一种高速公路监控场景下多车辆视频跟踪方法 - Google Patents

Abstract

一种高速公路监控场景下多车辆视频跟踪方法，其特征在于包括如下步骤：(1)检测车辆运动区域：包括对高速公路监控车道区域进行自适应估计和采用快速约束三角剖分方法检测车辆目标区域；(2)建立多车辆目标模型：包括采用车辆状态模型二次自回归模型进行预测，观测模型采用颜色直方图特征和局部积分方向描述子(LlOD，Local Integral OrientationDescriptor)特征融合建模，采用阈值方法判断车辆进、出监控区域(3)基于分层粒子滤波的车辆跟踪：采用Camshift算法与粒子滤波分层次相融合方法进行鲁棒跟踪。本发明为高速公路监控场景下多车辆视频跟踪提供了较为完整的技术方案，能够实现对车辆的鲁棒跟踪。

Description

一种高速公路监控场景下多车辆视频跟踪方法

技术领域

本发明涉及一种高速公路监控场景下多车辆视频跟踪方法，属于基于机器视觉技术领域的方法。

背景技术

通常情况下，交通场景的监控主要是通过人工控制来完成。它需要投入大量的人力和物力，即便这样，在高强度的工作环境下，遗漏仍可能发生；特别是出现车辆异常事件时，也不能进一步作出快速反应的。因此，智能交通系统(ITS，Intelligent Transportation Systems)基于机器视觉在近年发展起来。它通过分析视频序列检测、识别和跟踪车辆目标，以获得诸如位置，速度，方向和加速度等运动参数，无需任何人人工干预，或者很少的人工干预。一般来说，三个关键问题需要解决，即：1)检测感兴趣区域(ROI)的车辆的目标；2)建模的车辆目标；3)定位运动车辆的目标。

对于第一个问题，Zehang Sun等在《IEEE模式识别与机器智能学报》(2006年第694-711页)发表文章“道路车辆检测：概览”(《IEEETransactions on Pattern Analysis and Machine Intelligence》(pp.694-711，2006)：“On-road vehicle detection：a review”)进行了总结，包括基于知识的、基于运动的和基于表观特征的检测方法。

很多视觉特征可以被选择为车辆目标的跟踪进行表观建模。Comaniciu等在《IEEE模式识别与机器智能学报》(2003年第564-577页)上发表文章“基于核函数的物体跟踪”(《IEEE Transactions on Pattern Analysis andMachine Intelligence》(pp.564-577，2003)：“Kernel-based objecttracking”)提出了基于颜色直方图的跟踪算法，该方法对环境噪音和部分遮挡是鲁棒的，但是在背景与目标颜色相同或者光线变化时该方法失效。LiPH等在《图像与视觉计算》(2003年第111-123页)上发表文章“基于粒子滤波的视觉轮廓跟踪算法”(《Image and Vision Computing》(pp.111-123，2003)：“Visual contour tracking based on particle filters”)提出边缘特征对于克服颜色特征的是一种不错的选择，该特征不需要对车辆目标进行明确建模，但是，计算边缘是一件非常耗时的过程。近些年来，特征描述子被得到广泛的关注，该类特征可以嵌入跟踪框架中。Tu Q等人在“IEEE信息与自动化国际会议”会议集(2008年第86-90页)上发表文章“基于仿射不变特征的鲁棒的车辆跟踪算法”(“IEEE InternationalConference on Information and Automation”(pp.86-90，2008)：“Robustvehicle tracking based on Scale Invariant Feature Transform”)，该算法利用了SIFT描述子进行车辆的跟踪。但是，SIFT的计算复杂度非常高无法满足实时监控系统的要求。其他特征，如光流、小波、统计学习等，同样被用作目标建模。

一般来说，车辆目标的定位方法可分为两类：确定性跟踪和概率性跟踪。确定性跟踪的实质是一个优化问题，通过车辆检测获得其目标模板，并建立特征函数来度量车辆候选区域与参考模板之间的相似度，当特征函数取得最大值时，目标被定位。MeanShift算法就是确定性跟踪的典型代表，该算法计算简单且有效，但是传统的MeanShift算法在跟踪目标是假定目标是不发生变化的，因此，当表观特征发生变化时，跟踪会偏离甚至失效。概率性跟踪算法是在贝叶斯框架下求解目标状态的后验概率密度的过程。卡尔曼滤波，隐马尔科夫模型和粒子滤波器都可以用来进行目标跟踪。粒子滤波由于是非线性、非高斯且多模态的特点，被广泛应用，但是单纯使用粒子滤波进行跟踪需要大量粒子。因此，可以考虑将确定性跟踪方法与概率性跟踪方法进行结合，特别是将MeanShift算法与粒子滤波算法结合，既能克服MeanShift算法没有预测功能的缺点，又能解决粒子滤波算法需要大量粒子进行精确计算的缺点。Camshift算法是MeanShift的一种改进算法，它作用于动态概率分布，在连续的视频图像序列中，运动物体的尺寸和位置的变化导致相应的概率分布的动态变化，该算法自适应概率分布的动态变化，根据概率分布的变化情况自动调整搜寻窗口的尺寸和位置。

发明内容

本发明要的技术解决问题：克服现有技术的不足，提供一种高速公路监控场景下多车辆视频跟踪方法，该方法重点解决的问题包括：

(1)车辆运动区域检测

(2)多车辆目标建模

(3)车辆目标定位

本发明的技术方案：一种高速公路监控场景下多车辆视频跟踪方法，其特征在于包括如下步骤：

(1)检测车辆运动区域：包括对高速公路监控车道区域进行自适应估计和采用快速约束三角剖分方法检测车辆目标区域；

(2)建立多车辆目标模型：包括采用车辆状态模型二次自回归模型进行预测，观测模型采用颜色直方图特征和局部积分方向描述子(LIOD，LocalIntegral Orientation Descriptor)特征融合建模，采用阈值方法判断车辆进、出监控区域

(3)基于分层粒子滤波的车辆跟踪：采用Camshift算法与粒子滤波分层次相融合方法进行鲁棒跟踪。

其中，所述步骤(1)首先对高速公路监控车道区域进行自适应估计：

假设第(k+1)帧中，背景像素点p的灰度值表述为：

G(k+1，p)＝G(k，p)+L(k，p)+noise¹(k，p)

其中，G(k，p)是第k帧中，背景像素点p的灰度值；L(k，p)是描述光照随着时间变化的不确定模型；noise¹(k，p)为以零为中心的高斯白噪声(含系统测量误差)；输入图像像素点p的灰度表示为：

I(k，p)＝G(k，p)+noise²(k，p)

其中，noise²(k，p)为一个以零为中心的高斯白噪声；消去系统测量误差得到：

I(k+1，p)＝G(k，p)+ω(k+1，p)

其中，ω(k+1，p)＝L(k，p)+noise¹(k，p)+noise²(k+1，p)，且ω(k，p)是高斯分布。

其中，所述步骤(1)的检测车辆目标区域采用快速约束三角剖分方法，包括如下步骤：

1)通过Canny算子提取轮廓信息；

2)对图像轮廓应用Hough变换取得图像中的直线集合；

3)提取直线两端点得到角点集合；

4)以所有约束边为基础，构建初始约束三角网，并依次插入所有独立角点；

5)提取角密度，水平直线密度，密度垂直直线，三角形密度和车辆区域的平均亮度构建特征向量；

6)将候选区域中的五个特征向量输入以K(x，y)＝x×y为核函数的支持向量机中，可以得到输出E_SVM，当E_SVM大于系统设定的置信阈值E_ξ的时候，则该区域为真实车辆区域。

其中，所述步骤(2)的车辆状态模型定义为：S＝(x，y，l，h)^T，其中，(x，y)构成被跟踪目标的中心点C＝(x，y)^T，搜索窗W＝(l，h)^T是长为l，宽为h的矩形；采用二次线性自回归的方法预测当前的状态：

p(S_k|S_k-1，S_k-2，…，S₁)～N(S_k；2S_k-1-S_k-2，∑)；

多车辆目标时，状态预测模型为：

p(S_k(m)|S_k-1(m)，…，S₁(m))～N(S_k(m)；2S_k-1(m)-S_k-2(m)，∑(m))

其中，假设目标之间是相互独立的，且当前有M个车辆目标，S_k(m)表示第k帧中第m个车辆目标的状态。

其中，所述步骤(2)的车辆观测模型是由RGB颜色直方图特征和局部积分方向描述子特征进行融合构成的：

p(O_k|S_k)∝p_color(O_k|S_k)p_LIOD(O_k|S_k)，其中，

是基于RGB颜色直方图特征的观测函数，

是局部积分方向描述子特征的观测函数，O_k为当前视频帧，B(·，·)是巴氏距离；H和H^*分别是从被Sk覆盖的区域中估计出的候选颜色直方图和参考颜色直方图；H_LIOD和H_LIOD ^*分别是从被S_k覆盖的区域中估计出的候选局部积分方向描述子直方图和参考局部积分方向描述子直方图。

其中，所述局部积分方向描述子是对局部图像梯度的方向采用得到8个分格，每个像素位置的梯度方向可以由其梯度值加权得到，每一个像素位置的第t个分格在s尺度时的加权梯度方向直方图定义如下：

其中，

是梯度向量，即为像素点(x，y)处的梯度G_x(x，y)，G_y(x，y)；R是在像素点(x，y)的作为尺度函数的局部支持区域的尺寸；Z是标准化因子，ω(x，y，k)是第t个分格的方向计数器：

$\mathrm{\ω}(x,y,t)=\left\{\begin{array}{cc}1& \mathrm{if\θ}(x,y)\∈t^{\mathrm{th}}\mathrm{bin}\\ 0& \mathrm{otherwise}\end{array}\right.,$

其中，θ(x，y)是像素点(x，y)的梯度方向角arctan(G_y(x，y)/G_x(x，y))。

其中，所述步骤(2)中对车辆进、出监控区域采用阈值方法进行判断：

1)车辆进入监控区域：T_in为判断新车辆目标进入视场的阈值，第k帧时有J个车辆目标，第k-1帧有M个车辆目标，且有J＞M，满足以下条件时有车辆进入监控区域：

$p\left(O_k\left(j\right)\right|S_k^i\left(m\right))<T_{\mathrm{in}};$

2)车辆退出监控区域：T_out为判断车辆目标离开视场的阈值，第k帧时有P个车辆目标，第k-1帧有M个车辆目标，且有P＜M，满足一下条件时有车辆退出监控区域：

$p\left(O_k\left(p\right)\right|S_k^i\left(m\right))<T_{\mathrm{out}};$

其中，S_k ⁱ(m)则表示第k帧中第m个车辆目标的第i个粒子的状态。

其中，所述步骤(3)采用Camshift算法与粒子滤波分层次相融合方法进行鲁棒跟踪的具体步骤为：

1)将(0，1]分成N个连续互不重合的区间，即

N即为初始化的粒子个数；

2)对每个独立同分布采样得到的初始粒子集{Sⁱ}_{i＝1，2，…，N}，有

其中U((u，v])表示在区间(u，v]上的均匀分布；

3)粒子状态S_k ⁱ的期望值并得到该粒子的权重 ${\mathrm{\&omega;}}_k^i=p\left(O_k\right|S_k^i);$

4)将粒子集随机地分成2个数目相等子集：{S_k ^m}_{m＝1，2，，N/2}，{S^k _n}_{n＝1，2，，N/2}；

5)对其中一个子集{S^k _m}_{m＝1，2，，N/2}的每一个粒子进行迭代：

选择加权值最大的粒子，然后我们使用该子集中的所有粒子，来计算这个粒子状态中心点的平均位移，进而接近其局部模式：

$\mathrm{mean}\_\mathrm{shift}\left({\stackrel{\&OverBar;}{C}}_t^i\right)=\frac{{\mathrm{\&Sigma;}}_{j=1}^M{C}_{j}m\left(C_j\right)g\left({\left|\right|\frac{{\stackrel{\&OverBar;}{C}}_k^i-C_j}{r}\left|\right|}^2\right)}{{\mathrm{\&Sigma;}}_{j=1}^{M}m\left(C_j\right)g\left({\left|\right|\frac{{\stackrel{\&OverBar;}{C}}_k^i-C_j}{r}\left|\right|}^2\right)}-{\stackrel{\&OverBar;}{C}}_t^i,$

其中{C_j}_j＝1...N/2是状态

在矩形区域像素坐标点；m(C_j)是在点C_j处像素值的相似权重，它是对应的H^*和

的直方图二进制比率的平方根；g()是一个核函数；r是标准化后的窗口半径；

该粒子的状态中心点均以最新的状态中心近似构成：

$C_k^i\&ap;\mathrm{mean}\_\mathrm{shift}\left({\stackrel{\&OverBar;}{C}}_k^i\right)+{\stackrel{\&OverBar;}{C}}_k^i;$

该粒子的窗口尺寸，利用如下方法进行调整：

${\stackrel{\&OverBar;}{W}}_k^i\&ap;k\sqrt{\frac{M_{00}\left({\stackrel{\&OverBar;}{S}}_k^i\right)}{256\&times;{\stackrel{\&OverBar;}{l}}_k^i\&times;{\stackrel{\&OverBar;}{h}}_k^i}}\&CenterDot;{\stackrel{\&OverBar;}{W}}_t^i,$

其中k是一个经验常量值，零阶矩M₀₀按照以下公式计算： $M_{00}={\mathrm{\&Sigma;}}_{j=1}^{M}m\left(C_j\right);$

该粒子权重也进行相应为： ${\mathrm{\&omega;}}_k^i\&ap;p\left(O_k\right|S_k^i);$

将经过一次迭代的子集与原有不变的子集{S_k ⁿ}_{m＝1，2，，N/2}合并，得到新的粒子集{S_k ⁱ}_{i＝1，2，，N}，同时对两个子集的权值合并且正则化

协方差按照迭代次数成指数级递减，即有

j＝1，2，…，I，其中I是迭代次数；得到新的状态概率密度函数；

6)迭代结束，输出对当前状态的估计： ${\tilde{S}}_k=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{S}_k^i{\mathrm{\&omega;}}_k^i.$

本发明与现有技术相比的优点在于：

(1)对高速公路监控车道区域进行自适应估计是基于Kalman滤波的自适应背景建模理论，考虑在长时间内光照条件发生变化的情况，图像噪声是随着环境光照和气候条件变化而变化，具有较低的计算复杂度，且能够消除图像噪声变化。

(2)车辆目标区域检测采用快速约束三角剖分方法，该方法可以去除无用区域，提取相关特征信息，并不需要去精确获取车辆轮廓，关注车辆的粗略位置和计算的实时性；通过基于约束边优先的三角剖分图像区块划分方法，获得车辆的候选区域，通过支持向量机选定真实区域。

(3)采用颜色直方图特征和局部积分方向描述子特征融合作为车辆的观测模型，既充分发挥了颜色直方图特征对于车辆形变等的不敏感性优点，又使得在颜色特征不能满足时以局部积分方向描述子特征作为补充。

(4)局部积分方向描述子特征相对于SIFT特征计算简单，对于不同尺度的特征计算只需要通过四个参考点进行图像卷积计算得到。

(5)采用Camshift与粒子滤波融合的方法进行车辆跟踪，首先，Camshift能够优化每个滤波器的尺度和位置，在提高粒子滤波的采样效率方面比MeanShift方法有更强大的功能。其次，粒子滤波的多种假设的性质可以使得Camshift能够自适应地调整尺度因子；通过利用粒子之间的冗余，Camshift以一种简化的方式作用于在整个粒子集；最后，对Camshift的有限次迭代避免了粒子穷竭现象。

附图说明

图1为本发明的方法流程图；

图2为本发明中CamShift算法与粒子滤波进行分层次融合的原理图。

具体实施方式

如图1所示，是本发明方法的流程图，本方法包括如下步骤：

(一)检测车辆运动区域

1、对高速公路监控车道区域进行自适应估计

假设第(k+1)帧中，背景像素点p的灰度值表述为：

G(k+1，p)＝G(k，p)+L(k，p)+noise¹(k，p)

其中，G(k，p)是第k帧中，背景像素点p的灰度值；L(k，p)是描述光照随着时间变化的不确定模型；noise¹(k，p)为以零为中心的高斯白噪声(含系统测量误差)；输入图像像素点p的灰度表示为：

I(k，p)＝G(k，p)+noise²(k，p)

其中，noise²(k，p)为一个以零为中心的高斯白噪声；消去系统测量误差得到：

I(k+1，p)＝G(k，p)+ω(k+1，p)

其中，ω(k+1，p)＝L(k，p)+noise¹(k，p)+noise²(k+1，p)。ω(n，p)是高斯分布，可以分别用均值m(n，p)和变量s(n，p)代表ω(n，p)。明显地，在时域空间内m(n，p)和s(n，p)的值不会是一个常数。如何正确的计算m(n，p)和s(n，p)，是背景估计中的一个关键问题。

在交通监控中，在一个很小的区域内光照的变化和噪声分布基本上是不变的。因此，m(n，p)和s(n，p)在一个小区域内的值与该像素在该区域中的位置无关，所以，他们可以分别被表示为m(n)和s(n)。然后，在一个小区域中，由{I(n+1，p)}和{G(n，p)}的差值可以得到一个直方图。通过该直方图，可以估计出m(n)和s(n)的值。

2、基于快速三角剖分的车辆目标区域检测。

(1)通过Canny算子提取轮廓信息：常用的边缘检测算法有Sobel、Canny算法，其通过对比可以得出如下结论：Sobel算法计算简单、速度快，但是其对图像噪声敏感，边缘往往是断续的、不完整的。Canny算子不易受噪声干扰，能检测出弱边缘，且不用浮点运算，可以提高效率。

(2)对图像轮廓应用Hough变换取得图像中的直线集合：Hough变换在检测二值图像中的直线或曲线时抗干扰能力强，能在信噪比较低的条件下进行检测。

(3)提取直线两端点得到角点集合：车辆特征预处理的过程就是提取角点和边缘直线的过程。车辆的轮廓具有明显的角点和直线特征，由于阴影或背景图像的影响，角点和直线集合只能用来检测车辆的大致区域。但经过提取角点和边缘轮廓直线，达到了降低计算复杂度的目的，可以有效地保证算法实时性。

(4)以所有约束边为基础，构建初始约束三角网(CDT，ConstrainedDelaunay Triangulation)，并依次插入所有独立角点：

1)以约束边为三角形的其中一边l_i，在顶点集合Q中取一点p_i，如边l_i和点p_i所构成的外接圆不包含任何其他顶点，则连接点p_i和边l_i的两个顶点构成一个约束三角形；如边l_i和点p_i所构成的外接圆包含其他顶点，则以所包含的顶点为顶点集合，选取其中一点与边l_i，循环步骤A。

2)通过步骤A，构建了一个初始基于约束边的CDT。在该CDT中，插入点一独立角点p的过程如下：

A、通过三角形中心和邻域信息定位p所在的三角形A₀。

B、通过三角形的邻域特征寻找相邻，重构p所影响的邻近点之间的三角网之间的拓扑关系；具体步骤如下：

a、以p所在三角形的非约束边为扩展方向，获得其邻域三角形A₁，A₂。

b、依次对其邻域三角形A₁，A₂做最小外接圆，如包含p，则邻域三角形A₁并不存在于插入p后重新构建的CDT′中，删除邻边，继续步骤c；如不包含p，则邻域三角形A₂存在于插入p后，重新构建的CDT′中，继续步骤d；如无新邻域三角形，则直接进行步骤d。

c、步骤b中所述的邻域三角形，其另外两个邻域三角形A₇，A₈，也属于点P的影响域，对A₇，A₈重复步骤b。

d、将点P的影响域边界上的点与点P相连，构成点P影响域内的重构三角形。此时完成一个插入P点后构成的CDT′。

(5)提取角密度，水平直线密度，密度垂直直线，三角形密度和车辆区域的平均亮度构建特征向量：车辆区域一般由车辆前端轮廓线L_f和后端轮廓线L_b两条线段所围四边形所限定。在预处理的时候已经提取车辆轮廓的直线信息，因此，L_f和L_b作为约束边存在于CDT变换后产生的三角边中，且车辆轮廓线的特征为：长度在一定区间、相对于图像水平线倾角较小(在本发明中，要求倾斜角小于30度)。进行车辆前后轮廓线的提取，并且根据前后轮廓线的约束关系，连接端点形成四边形区域。由于轮廓线比较多，因此，将会产生多个满足条件的四边形区域，根据下列特征向量进行分类计算，从中选取可置信的车辆区域。具体特征如下：

1)角点密度D_c：假设区域单位面积中的角点数量；

2)水平直线密度D_h：水平倾斜角(与x轴的夹角)较小的直线密度。如果用(x_h1，y_h1)和(x_h2，y_h2)表示水平线段的两个端点，则直线的水平倾斜度可表示为：k_h＝|(y_h2-y_h1)/(x_h2-x_h1)|。在本文中，要求该倾斜角小于30度，即 $k_h<1/\sqrt{3};$

3)垂直直线密度D_v：垂直倾斜角(与y轴的夹角)较小的直线密度。如果用(x_v1，y_v1)和(x_v2，y_v2)表示垂直直线的两个端点，则直线的水平倾斜度可表示为：k_v＝|(y_v2-y_v1)/(x_v2-x_v1)|。在本文中，要求该直线与水平的倾斜角大于60度，即 $k_v>\sqrt{3};$

4)三角形密度D_t：在选取的候选区域内，三角形的密度；

5)候选区域到真实车辆区域的样本标准偏差S：通过计算候选四边形区域中，完整三角形面积的覆盖程度，来表示该区域为真实车辆区域的置信度。

针对每个候选的四边形区域，提取上述五个特征向量。上述五个特征向量较好的涵盖了车辆轮廓的水平、垂直和纹理信息，同时，提取过程的算法复杂度较低，满足实时计算的需要。

利用候选区域到真实区域的样本标准偏差S验证候选区域的可置信度。现假定候选区域i中包含n个完整的三角形，第j个三角形的亮度和(灰度值之和)为Sum_j，所有三角形的亮度和总体平均为

系统自由度为f＝n-1：

$S=\sqrt{\frac{\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{({\mathrm{Sum}}_j-\stackrel{\&OverBar;}{S})}^2}{f}}$

根据样本标准偏差的等效变换，可直接对测量值进行计算。等效变换的结果如下所示：

$S=\sqrt{\frac{\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{({\mathrm{Sum}}_j-\stackrel{\&OverBar;}{S})}^2}{f}}=\sqrt{\frac{\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{{\mathrm{Sum}}_j}^2}{f}-\frac{{\left(\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{Sum}}_j\right)}^2}{\mathrm{nf}}}$

此时，根据上述提取的特征，可以形成一个新的特征向量组O_i＝{D_ci，D_hi，D_vi，D_ti，S_i}。

(6)将候选区域中的五个特征向量输入以K(x，y)＝x×y为核函数的支持向量机(SVM，Supported Vector Machine)中，可以得到输出E_SVM，当E_SVM大于系统设定的置信阈值E_ξ的时候，则该区域为真实车辆区域。若选定的五个特征向量没有涵盖各个候选区域的包含和重叠关系，因此出现置信区域重叠的情况。设定部分包含率阈值为η，即有两区域的公共面积应S_Common，小置信区域面积S_small，则如果S_Common/S_small＞η，则小置信区域并入大置信区域。同时，以最小外接矩形包含小置信区域形成大置信区域，如此循环。本发明中中选择η＝0.6，最终以最小外接矩形包含被检车辆区域。

(二)建立多车辆目标模型

1、多车辆状态模型与观测模型

(1)车辆目标状态模型

鉴于CamShift算法作用于动态概率分布，具有可根据概率分布的变化情况自动调整搜寻窗口的尺寸和位置的特性，我们将被跟踪目标的状态模型定义为：S＝(x，y，l，h)^T，其中，(x，y)构成被跟踪目标的中心点C，用来描述目标的位置属性，即有C＝(x，y)^T；搜索窗W是长为l，宽为h的矩形，用来描述目标的大小属性，即有W＝(l，h)^T。因此，状态模型又可表示为：S＝(C^T，W^T)^T。

考虑到视频序列中被跟踪目标的关联性特点，需要对其进行预测建模。我们采用数理统计中的二次线性回归的方法，认为一个被跟踪目标当前的运动状态是由前一个运动状态S_k-1，最后一次状态变换偏移量S_k-1-S_k-2，及一个均值为0，协方差矩阵为∑_k的高斯分布ω_k进行预测的，即：

$\left\{\begin{array}{c}{S}_k=a+{\mathrm{bS}}_{k-1}+c(S_{k-1}-S_{k-2})+{\mathrm{\&omega;}}_k\\ {\mathrm{\&omega;}}_k~N(0,{\mathrm{\&Sigma;}}_k)\end{array}\right.$

且预测模型满足高斯分布：p(S_k|S_k-1，S_k-2，…，S₁)～N(S_k；2S_k-1-S_k-2，∑_k)

(2)车辆目标观测模型

车辆目标的观测模型由RGB颜色直方图特征和局部积分方向描述子特征进行融合构成的：p(O_k|S_k)∝p_color(O_k|S_k)p_LIOD(O_k|S_k)，其中，

是基于RGB颜色直方图特征的观测函数，

是局部积分方向描述子特征的观测函数，O_k为当前视频帧，B(·，·)是巴氏距离(Bhattacharyya)；H和H^*分别是从被S_k覆盖的区域中估计出的候选颜色直方图和参考颜色直方图；H_LIOD和H_LIOD ^*分别是从被S_k覆盖的区域中估计出的候选局部积分方向描述子直方图和参考局部积分方向描述子直方图。

局部积分方向描述子是对局部图像梯度的方向采用得到8个分格(bins)，每个像素位置的梯度方向可以由其梯度值加权得到，每一个像素位置的第t个bin在s尺度时的加权梯度方向直方图定义如下：

其中，

是梯度向量，即为像素点(x，y)处的梯度G_x(x，y)，G_y(x，y)；R是在像素点(x，y)的作为尺度函数的局部支持区域的尺寸；Z是标准化因子，ω(x，y，k)是第t个bis的方向计数器：

$\mathrm{\&omega;}(x,y,t)=\left\{\begin{array}{cc}1& \mathrm{if\&theta;}(x,y)\&Element;t^{\mathrm{th}}\mathrm{bin}\\ 0& \mathrm{otherwise}\end{array}\right.,$

其中，θ(x，y)是像素点(x，y)的梯度方向角arctan(G_y(x，y)/G_x(x，y))。

2、判断车辆进、出监视区域

(1)车辆进入监控区域：T_in为判断新车辆目标进入视场的阈值，第k帧时有J个车辆目标，第k-1帧有M个车辆目标，且有J＞M，满足以下条件时有车辆进入监控区域：

$p\left(O_k\left(j\right)\right|S_k^i\left(m\right))<T_{\mathrm{in}};$

(2)车辆退出监控区域：T_out为判断车辆目标离开视场的阈值，第k帧时有P个车辆目标，第k-1帧有M个车辆目标，且有P＜M，满足一下条件时有车辆退出监控区域：

$p\left(O_k\left(p\right)\right|S_k^i\left(m\right))<T_{\mathrm{out}};$

其中，S_k ⁱ(m)则表示第k帧中第m个车辆目标的第i个粒子的状态。

(三)基于分层粒子滤波的车辆跟踪，如图2所示。

(1)将(0，1]分成N个连续互不重合的区间，即

N即为初始化的粒子个数；

(2)对每个独立同分布采样得到的初始粒子集{Sⁱ}_{i＝1，2，…，N}，有

其中U((u，v])表示在区间(u，v]上的均匀分布；

(3)粒子状态S_k ⁱ的期望值

并得到该粒子的权重 ${\mathrm{\&omega;}}_k^i=p\left(O_k\right|S_k^i);$

(4)将粒子集随机地分成2个数目相等子集：{S_k ^m}_{m＝1，2，，N/2}，{S_k ⁿ}_{n＝1，2，，N/2}；

(5)对其中一个子集{S_k ^m}_{m＝1，2，，N/2}的每一个粒子进行迭代：

选择加权值最大的粒子，然后我们使用该子集中的所有粒子，来计算这个粒子状态中心点的平均位移，进而接近其局部模式：

$\mathrm{mean}\_\mathrm{shift}\left({\stackrel{\&OverBar;}{C}}_t^i\right)=\frac{{\mathrm{\&Sigma;}}_{j=1}^M{C}_{j}m\left(C_j\right)g\left({\left|\right|\frac{{\stackrel{\&OverBar;}{C}}_k^i-C_j}{r}\left|\right|}^2\right)}{{\mathrm{\&Sigma;}}_{j=1}^{M}m\left(C_j\right)g\left({\left|\right|\frac{{\stackrel{\&OverBar;}{C}}_k^i-C_j}{r}\left|\right|}^2\right)}-{\stackrel{\&OverBar;}{C}}_t^i,$

其中{C_j}_j＝1...N/2是状态

在矩形区域像素坐标点；m(C_j)是在点C_j处像素值的相似权重，它是对应的H^*和

的直方图二进制比率的平方根；g()是一个核函数；r是标准化后的窗口半径；

该粒子的状态中心点均以最新的状态中心近似构成：

$C_k^i\&ap;\mathrm{mean}\_\mathrm{shift}\left({\stackrel{\&OverBar;}{C}}_k^i\right)+{\stackrel{\&OverBar;}{C}}_k^i;$

该粒子的窗口尺寸，利用如下方法进行调整：

${\stackrel{\&OverBar;}{W}}_k^i\&ap;k\sqrt{\frac{M_{00}\left({\stackrel{\&OverBar;}{S}}_k^i\right)}{256\&times;{\stackrel{\&OverBar;}{l}}_k^i\&times;{\stackrel{\&OverBar;}{h}}_k^i}}\&CenterDot;{\stackrel{\&OverBar;}{W}}_t^i,$

其中k是一个经验常量值，零阶矩M₀₀按照以下公式计算： $M_{00}={\mathrm{\&Sigma;}}_{j=1}^{M}m\left(C_j\right);$

该粒子权重也进行相应为： ${\mathrm{\&omega;}}_k^i\&ap;p\left(O_k\right|S_k^i);$

将经过一次迭代的子集与原有不变的子集{S_k ⁿ}_{m＝1，2，，N/2}合并，得到新的粒子集{S_k ⁱ}_{i＝1，2，，N}，同时对两个子集的权值合并且正则化

协方差按照迭代次数成指数级递减，即有

j＝1，2，…，I，其中I是迭代次数；得到新的状态概率密度函数；

(6)迭代结束，输出对当前状态的估计： ${\tilde{S}}_k=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{S}_k^i{\mathrm{\&omega;}}_k^i.$

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

尽管为说明目的公开了本发明的最佳实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例和附图所公开的内容。

Claims (8)

1.一种高速公路监控场景下多车辆视频跟踪方法，其特征在于包括如下步骤：

(1)检测车辆运动区域：包括对高速公路监控车道区域进行自适应估计和采用快速约束三角剖分方法检测车辆目标区域；

(2)建立多车辆目标模型：包括采用车辆状态模型二次自回归模型进行预测，观测模型采用颜色直方图特征和局部积分方向描述子特征融合建模，采用阈值方法判断车辆进、出监控区域

(3)基于分层粒子滤波的车辆跟踪：采用Camshift算法与粒子滤波分层次相融合方法进行鲁棒跟踪。

2.根据权利要求1所述的高速公路监控场景下多车辆视频跟踪方法，其特征在于：所述步骤(1)首先对高速公路监控车道区域进行自适应估计：

假设第(k+1)帧中，背景像素点p的灰度值表述为：

G(k+1，p)＝G(k，p)+L(k，p)+noise¹(k，p)

其中，G(k，p)是第k帧中，背景像素点p的灰度值；L(k，p)是描述光照随着时间变化的不确定模型；noise¹(k，p)为以零为中心的高斯白噪声(含系统测量误差)；输入图像像素点p的灰度表示为：

I(k，p)＝G(k，p)+noise²(k，p)

其中，noise²(k，p)为一个以零为中心的高斯白噪声；消去系统测量误差得到：

I(k+1，p)＝G(k，p)+ω(k+1，p)

其中，ω(k+1，p)＝L(k，p)+noise¹(k，p)+noise²(k+1，p)，且ω(k，p)是高斯分布。

3.根据权利要求1所述的高速公路监控场景下多车辆视频跟踪方法，其特征在于：所述步骤(1)的检测车辆目标区域采用快速约束三角剖分方法，包括如下步骤：

1)通过Canny算子提取轮廓信息；

2)对图像轮廓应用Hough变换取得图像中的直线集合；

3)提取直线两端点得到角点集合；

4)以所有约束边为基础，构建初始约束三角网，并依次插入所有独立角点；

5)提取角密度，水平直线密度，密度垂直直线，三角形密度和车辆区域的平均亮度构建特征向量；

6)将候选区域中的五个特征向量输入以K(x，y)＝x×y为核函数的支持向量机中，可以得到输出E_SVM，当E_SVM大于系统设定的置信阈值E_ξ的时候，则该区域为真实车辆区域。

4.根据权利要求1所述的高速公路监控场景下多车辆视频跟踪方法，其特征在于：所述步骤(2)的车辆状态模型定义为：S＝(x，y，l，h)^T，其中，(x，y)构成被跟踪目标的中心点C＝(x，y)^T，搜索窗W＝(l，h)^T是长为l，宽为h的矩形；采用二次线性自回归的方法预测当前的状态：

p(S_k|S_k-1，S_k2，…，S₁)～N(S_k；2S_k-1-S_k-2，∑)；

多车辆目标时，状态预测模型为：

p(S_k(m)|S_k-1(m)，…，S₁(m))～N(S_k(m)；2S_k-1(m)-S_k-2(m)，∑(m))

其中，假设目标之间是相互独立的，且当前有M个车辆目标，S_k(m)表示第k帧中第m个车辆目标的状态。

5.根据权利要求1所述的高速公路监控场景下多车辆视频跟踪方法，其特征在于：所述步骤(2)的车辆观测模型是由RGB颜色直方图特征和局部积分方向描述子特征进行融合构成的：

p(O_k|S_k)∝p_color(O_k|S_k)p_LIOD(O_k|S_k)，其中，

是基于RGB颜色直方图特征的观测函数，

是局部积分方向描述子特征的观测函数，O_k为当前视频帧，B(·，·)是巴氏距离；H和H^*分别是从被S_k覆盖的区域中估计出的候选颜色直方图和参考颜色直方图；H_LIOD和H_LIOD ^*分别是从被S_k覆盖的区域中估计出的候选局部积分方向描述子直方图和参考局部积分方向描述子直方图。

6.根据权利要求5所述的高速公路监控场景下多车辆视频跟踪方法，其特征在于：所述局部积分方向描述子是对局部图像梯度的方向采用得到8个分格，每个像素位置的梯度方向可以由其梯度值加权得到，每一个像素位置的第t个分格在s尺度时的加权梯度方向直方图定义如下：

其中，

是梯度向量，即为像素点(x，y)处的梯度G_x(x，y)，G_y(x，y)；R是在像素点(x，y)的作为尺度函数的局部支持区域的尺寸；Z是标准化因子，ω(x，y，k)是第t个分格的方向计数器：

$\mathrm{\&omega;}(x,y,t)=\left\{\begin{array}{cc}1& \mathrm{if\&theta;}(x,y)\&Element;t^{\mathrm{th}}\mathrm{bin}\\ 0& \mathrm{otherwise}\end{array}\right.0,$

其中，θ(x，y)是像素点(x，y)的梯度方向角arctan(G_y(x，y)/G_x(x，y))。

7.根据权利要求1所述的高速公路监控场景下多车辆视频跟踪方法，其特征在于：所述步骤(2)中对车辆进、出监控区域采用阈值方法进行判断：

1)车辆进入监控区域：T_in为判断新车辆目标进入视场的阈值，第k帧时有J个车辆目标，第k-1帧有M个车辆目标，且有J＞M，满足以下条件时有车辆进入监控区域：

$p\left(O_k\left(j\right)\right|S_k^i\left(m\right))<T_{\mathrm{in}};$

2)车辆退出监控区域：T_out为判断车辆目标离开视场的阈值，第k帧时有P个车辆目标，第k-1帧有M个车辆目标，且有P＜M，满足一下条件时有车辆退出监控区域：

$p\left(O_k\left(p\right)\right|S_k^i\left(m\right))<T_{\mathrm{out}};$

其中，S_k ⁱ(m)则表示第k帧中第m个车辆目标的第i个粒子的状态。

8.根据权利要求1所述的高速公路监控场景下多车辆视频跟踪方法，其特征在于：所述步骤(3)采用Camshift算法与粒子滤波分层次相融合方法进行鲁棒跟踪的具体步骤为：

1)将(0，1]分成N个连续互不重合的区间，即

N即为初始化的粒子个数；

2)对每个独立同分布采样得到的初始粒子集{Sⁱ}_{i＝1，2，…，N}，有

其中U((u，v])表示在区间(u，v]上的均匀分布；

3)粒子状态S_k ⁱ的期望值

并得到该粒子的权重 ${\mathrm{\&omega;}}_k^i=p\left(O_k\right|S_k^i);$

4)将粒子集随机地分成2个数目相等子集：{S_k ^m}_{m＝1，2，，N/2}，{S_k ⁿ}_{n＝1，2，，N/2}；

5)对其中一个子集{S_k ^m}_{m＝1，2，，N/2}的每一个粒子进行迭代：

选择加权值最大的粒子，然后我们使用该子集中的所有粒子，来计算这个粒子状态中心点的平均位移，进而接近其局部模式：

$\mathrm{mean}\_\mathrm{shift}\left({\stackrel{\&OverBar;}{C}}_t^i\right)=\frac{{\mathrm{\&Sigma;}}_{j=1}^M{C}_{j}m\left(C_j\right)g\left({\left|\right|\frac{{\stackrel{\&OverBar;}{C}}_k^i-C_j}{r}\left|\right|}^2\right)}{{\mathrm{\&Sigma;}}_{j=1}^{M}m\left(C_j\right)g\left({\left|\right|\frac{{\stackrel{\&OverBar;}{C}}_k^i-C_j}{r}\left|\right|}^2\right)}-{\stackrel{\&OverBar;}{C}}_t^i,$

其中{C_j}_j＝1...N/2是状态

在矩形区域像素坐标点；m(C_j)是在点C_j处像素值的相似权重，它是对应的H^*和

的直方图二进制比率的平方根；g()是一个核函数；r是标准化后的窗口半径；

该粒子的状态中心点均以最新的状态中心近似构成：

$C_k^i\&ap;\mathrm{mean}\_\mathrm{shift}\left({\stackrel{\&OverBar;}{C}}_k^i\right)+{\stackrel{\&OverBar;}{C}}_k^i;$

该粒子的窗口尺寸，利用如下方法进行调整：

${\stackrel{\&OverBar;}{W}}_k^i\&ap;k\sqrt{\frac{M_{00}\left({\stackrel{\&OverBar;}{S}}_k^i\right)}{256\&times;{\stackrel{\&OverBar;}{l}}_k^i\&times;{\stackrel{\&OverBar;}{h}}_k^i}}\&CenterDot;{\stackrel{\&OverBar;}{W}}_t^i,$

其中k是一个经验常量值，零阶矩M₀₀按照以下公式计算： $M_{00}={\mathrm{\&Sigma;}}_{j=1}^{M}m\left(C_j\right);$

该粒子权重也进行相应为： ${\mathrm{\&omega;}}_k^i\&ap;p\left(O_k\right|S_k^i);$

将经过一次迭代的子集与原有不变的子集{S_k ⁿ}_{m＝1，2，，N/2}合并，得到新的粒子集{S_k ⁱ}_{i＝1，2，，N}，同时对两个子集的权值合并且正则化

协方差按照迭代次数成指数级递减，即有

j＝1，2，…，I，其中I是迭代次数；得到新的状态概率密度函数；

6)迭代结束，输出对当前状态的估计： ${\tilde{S}}_k=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{S}_k^i{\mathrm{\&omega;}}_k^i.$

Images