CN100578563C - 基于视频图像的车辆计数方法 - Google Patents

Abstract

一种基于视频图像的车辆计数方法，包括以下步骤：捕获多帧视频图像，并收集该多帧图像中每个像素点的像素值；从预定的帧图像开始，根据收集的该多帧图像中所述每个像素值，计算该预定帧视频图像的每个像素的在预定时刻的像素值的概率密度值；利用计算所得到的所述概率密度值确定所述视频图像中的前景图像；确定该前景图像中的面积大于一定给定值的区域为运动的车辆；以及，跟踪所述视频图像上的车辆，获得新出现的车辆的数量以及离开的车辆的数量。可以利用包括网络摄像机、微处理器、视频编解码器和计算机的硬件系统实施本发明。本发明的方法采用计算机视觉技术实现车辆计数，其所需设备简单、容易实现且成本较低。

Description

基于视频图像的车辆计数方法

技术领域

本发明涉及一种车辆计数方法，尤其涉及一种基于视频图像的车辆计数方法。

背景技术

统计和分析车辆的流量对于高速公路等的载荷控制和管理起着至关重要的作用，是科学管理高速公路的基础。

目前，高速公路上主要是使用环形感应线圈检测器对车辆进行计数，这种方法的主要缺点是环形感应线圈容易受到电磁干扰，而且系统庞大、成本较高，难以广泛应用。

发明内容

本发明的目的在于提供一种基于视觉图像的车辆计数方法，以改进现有技术中采用环形感应线圈进行车辆计数的上述不足。

本发明的基于视频图像的车辆计数方法，包括以下步骤：捕获多帧视频图像，并收集该多帧图像中每个像素点的像素值；从预定的帧图像开始，根据收集的该多帧图像中所述每个像素值，计算该预定帧视频图像的每个像素的在预定时刻的像素值的概率密度值；利用计算所得到的所述概率密度值确定所述视频图像中的前景图像；确定该前景图像中的面积大于一给定值的区域为运动的车辆；以及，跟踪所述视频图像上的车辆，获得新出现的车辆的数量以及离开的车辆的数量。

上述的车辆计数方法，其特点在于，所述视频图像的每个像素的在预定时刻的像素值的概率密度值满足下面的关系式：

$P_r\left(x_t\right)={\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{d}{\mathrm{\Π}}}\frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_j^2}}e}^{\frac{{(x_{t_j}-x_{i_j})}^2}{2{\mathrm{\σ}}_j^2}}$

其中，t为预定时刻，x_t表示一个像素点在t时刻的像素值，x_i表示一段时间内像素值x_t的一组观察值样本，d是像素点的颜色特征的维数，σ_j是预先给定的常数，P_r(x_t)为像素值x_t在预定时刻t的概率密度值。

上述的车辆计数方法，其特点在于，该方法还包括给定全局阀值的步骤，如果像素值的所述概率密度值小于所述全局阀值，则相应的像素点为前景点，否则，相应的像素点为背景点。

上述的车辆计数方法，其特点在于，在确定所述视频图像中的前景图像之后并在确定前景图像中的面积大于一给定值的区域为运动车辆之前，还包括对前景图像进行数学形态学滤波处理的步骤。

上述的车辆计数方法，其特点在于，所述对前景图像进行数学形态学滤波处理的步骤至少包括中值滤波和/或形态学腐蚀。

上述的车辆计数方法，其特点在于，所述对前景图像进行数学形态学滤波处理的步骤还包括在所述中值滤波和/或形态学腐蚀后进行的形态学膨胀操作。

上述的车辆计数方法，其特点在于，采用基于颜色直方图的特征匹配方法跟踪所述视频图像上的车辆，以获得新出现的车辆的数量以及离开的车辆的数量。

上述的车辆计数方法，其特点在于，该基于颜色直方图的特征匹配方法包括：选取多个具有预定长度、宽度和中心位置的目标区域的像素点；定义该像素点特征在量化的特征空间中的量化序号与量化值之间的映射关系；计算该运动车辆的颜色直方图，以确定该量化值在该目标区域中出现的概率。

上述的车辆计数方法，其特点在于，该量化值在目标区域中出现的概率满足下列关系式：

${\hat{p}}_h\left(y\right)=C_h\underset{i=1}{\overset{n_k}{\mathrm{\Σ}}}k\left({\left|\right|\frac{y-x_i}{\sqrt{S_w^2+S_h^2}}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-h],h=\mathrm{0,1},...,H-1$

其中

表示对于每个像素点在目标区域中出现的概率，是长宽分别为S_w和S_h、中心位置为y的目标区域的像素点的集合，b(x_i)表示该像素点特征在量化的特征空间中的量化序号，h＝0，1，…，H-1表示量化值，k(x)是核函数，C_h是归一化系数。

上述的车辆计数方法，其特点在于，其中该量化值在目标区域中出现的概率进一步满足下列关系式：

$\underset{i=0}{\overset{H-1}{\mathrm{\Σ}}}{\hat{p}}_h=1.$

上述的车辆计数方法，其特点在于，还包括对相邻帧中检测到的运动车辆进行特征匹配以确定新出现的车辆和离开的车辆的数量的步骤。

上述的车辆计数方法，其特点在于，进一步包括

度量该多帧运动车辆的颜色直方图之间的距离，确定所有的距离中的最大值；

如果任何两个帧的运动车辆的颜色直方图等于该最大值，则确定该两个帧的运动图像匹配。

上述的方法，其特点在于，该多帧运动车辆的颜色直方图之间的距离满足下列关系式：

$d(A_i,B_j)=\sqrt{1-\underset{h=0}{\overset{H-1}{\mathrm{\Σ}}}\sqrt{{\hat{p}}_A^h{\hat{p}}_B^h}}$

其中，{A_i}_i＝1 ^M为当前帧运动目标，{B_j}_j＝1 ^N为前一帧的运动目标， ${\hat{p}}_A={\left\{{\hat{p}}_A^h\right\}}_{h=\mathrm{0,1},...,H-1}$ 和 ${\hat{p}}_B={\left\{{\hat{p}}_B^h\right\}}_{h=\mathrm{0,1},...,H-1}$ 分别为A_i与B_j的颜色直方图。

本发明的基于视频图像的车辆计数方法，采用计算机视觉技术，利用高速公路上设置的监控摄像机实现车辆计数，从而所需设备简单、容易实现而且成本较低。本发明的车辆计数方法中，采用核密度估计方法计算像素值的概率密度，因此不需要对数据的分布进行假设，具有更加广泛的适用范围。另外，本发明的车辆计数方法中，采用基于颜色直方图的特征匹配方法跟踪视频图像中的车辆，适合于处理较多运动目标的跟踪问题，且对于车辆颜色相似的情况，也能够实现正确的跟踪。

附图说明

为了更好地理解本发明，下面结合附图和优选实施例对本发明进行详细的说明，其中：

图1示出了实现本发明的车辆计数方法的一种系统的简化框图；

图2示出了实现本发明的车辆计数方法的另一种系统的简化框图；以及

图3示出了本发明的车辆计数方法的流程图。

具体实施方式

图1示出了实现本发明的车辆计数方法的硬件系统100的简化框图，所述硬件系统100包括：摄像机101，用于采集视频图像；视频编解码器102，用于对摄像机101所采集的图像进行编解码处理；以及，计算机103，用于通过IP网络104接收来自视频编解码器102的视频图像，然后利用本发明的车辆计数方法对所接收的视频图像进行处理，以进行车辆计数。

可选地，本发明的车辆计数方法也可以通过图2中所示的硬件系统200实现，硬件系统200与硬件系统100的不同之处在于，硬件系统200中在嵌入式系统中的微处理器201直接实现，然后通过IP网络104将结果传送到客户端的计算机。

下面结合图3说明本发明的基于视频图像的车辆计数方法。

首先，在步骤301中建立初始背景模型，即利用摄像机100采集视频图像，对于每个像素点(i，j)，集M帧图像中该位置处的像素值I₁，I₂，…，I_M。

然后，在步骤302中检测前景点，即从M+1帧图像开始，对于当前图像上的每个像素点(i，j)，利用公式：

$P_r\left(x_t\right)={\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{d}{\mathrm{\Π}}}\frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_j^2}}e}^{\frac{{(x_{t_j}-x_{i_j})}^2}{2{\mathrm{\σ}}_j^2}}$ -----公式1

计算像素点(i，j)处的像素值的概率密度值P_r(i，j)，其中，公式1中，x₁，x₂，…x_N是一段时间内像素值x_t的一组观察值样本，d是像素点的颜色特征的维数，σ₁，σ₂，…，σ_d是预先给定的常数。

在得到像素点(i，j)处的像素值的概率密度值P_r(i，j)后，利用阀值法检测前景点，即对给定的阀值th，如果P_r(i，j)小于阀值th，则像素点(i，j)为前景点，否者，像素点(i，j)为背景点。在多数情况下，还没有计算完所有的样本点时公式1的和就已经超过了阀值th，因此一般情况下图像的大部分基本上都是背景点，这有助于提高处理速度。

检测完前景点后，在步骤303中对前景图像进行数学形态学滤波处理以滤除噪声、填补空洞，所述滤波处理可以包括中值滤波、腐蚀操作以及膨胀操作。优选地，滤波处理按以下步骤进行：

1、对前景图像进行3×3的中值滤波，以去除孤立的噪声点；

2、对步骤1中得到的图像进行5×5的形态学膨胀操作；

3、对步骤2得到的图像进行边界跟踪(Bound Tracking)或者边缘点连接(Edge Point Linking)，得到图像中每个连通区域的边界，从而获得每个连通区域的相关信息如大小、面积等，然后出去面积小于一定阀值或者形状不规则的连通区域；

4、将步骤3中获取的边界内部的像素点设置为前景点，以填充其中可能存在的空洞。

应当理解，上述的滤波处理不是固定的，如步骤1中也可以用形态学腐蚀代替中值滤波，步骤2中有时也可以用3×3的形态学膨胀操作等。

滤波处理后，面积大于给定阀值的区域被选定为运动目标，即车辆。

选定运动目标后，在步骤304中采用基于颜色直方图的特征匹配方法跟踪视频图像上的车辆，具体如下：

首先，计算每个运动目标的颜色直方图，设

是长宽分别为S_w和S_h、中心位置为y的目标区域的像素点的集合，定义映射b：R²→{0，1，…，H-1}，对于每个像素点x_i，b(x_i)表示该像素点特征在量化的特征空间中的量化序号，量化值h＝0，1，…，H-1在目标区域中出现的概率

可以按下式计算：

${\hat{p}}_h\left(y\right)=C_h\underset{i=1}{\overset{n_k}{\mathrm{\Σ}}}k\left({\left|\right|\frac{y-x_i}{\sqrt{S_w^2+S_h^2}}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-h],h=\mathrm{0,1},...,H-1$ -----公式2

其中k(x)是核函数，优选地为Epanechnikov核函数，C_h是归一化系数，使得 $\underset{i=0}{\overset{H-1}{\mathrm{\Σ}}}{\hat{p}}_h=1.$

然后，将当前帧检测到的运动目标与前一帧的运动目标进行特征匹配。

设当前帧运动目标为{A_i}_i＝1 ^M，前一帧的运动目标为{B_j}_j＝1 ^N，其中A_i与B_j的颜色直方图分别为 ${\hat{p}}_A={\left\{{\hat{p}}_A^h\right\}}_{h=\mathrm{0,1},...,H-1}$ 和 ${\hat{p}}_B={\left\{{\hat{p}}_B^h\right\}}_{h=\mathrm{0,1},...,H-1},$ 使用Bhattacharyya系数来度量两者之间的距离：

$d(A_i,B_j)=\sqrt{1-\underset{h=0}{\overset{H-1}{\mathrm{\Σ}}}\sqrt{{\hat{p}}_A^h{\hat{p}}_B^h}}$ -----公式3

分别计算{A_i}_i＝1 ^M与{B_j}_j＝1 ^N之间的颜色直方图距离：d(A_i，B_j)，i＝1，2，…M，j＝1，2，…N。求出所有的距离中的最大值， $d(A_x,B_y)=\max \left({\left\{d(A_i,B_j)\right\}}_{i=1,...M}^{j=1...,N}\right),$ 则A_x和B_y匹配，即认为B_y就是t-1帧时的A_x。然后去除A_x和B_y，在剩余的目标中继续上述匹配过程。没有匹配的目标，有三种情况，一是新出现的目标，二是已经离开视野的目标，三是出现了遮挡的情况的目标。对于这些目标，予以保留并在连续若干(一般5到10)帧图像中进行匹配，如果一直没有匹配，就认为该目标是离开视野的目标，如果在后续的帧图像中有匹配目标，则认为该目标是新出现的目标。

匹配完成后，在步骤305中对车辆进行计数，这主要通过统计新出现的目标以及离开视野的目标的数目实现。首先，第一帧检测到的目标个数为N₀，然后统计每一帧中新出现的运动目标的个数N_t ⁺以及离开视野的目标数目N_t ^-，则当前帧车辆数目为 $N=N_0+\underset{t=1}{\overset{T}{\mathrm{\Σ}}}(N_t^{+}-N_t^{-}),$ 总的车辆数目 $N=N_0+\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{N}_t^{+}.$

通常，为了连续地对车辆进行技术，在步骤303中进行滤波处理后，在步骤306中，利用新采集的视频图像更新背景模型，采用“先进先出”的模式将非运动区域的像素值加入到背景模型中，运动区域的背景模型保持不变，然后回到步骤301。重复进行上述处理，可以连续地对车辆进行计数。

Claims (13)

1、一种基于视频图像的车辆计数方法，其特征在于，包括以下步骤：

捕获多帧视频图像，并收集该多帧图像中每个像素点的像素值；

从预定的帧图像开始，根据收集的该多帧图像中所述每个像素值，计算该预定帧视频图像的每个像素的在预定时刻的像素值的概率密度值；

利用计算所得到的所述概率密度值确定所述视频图像中的前景图像；

确定该前景图像中的面积大于一给定值的区域为运动的车辆；以及

跟踪所述视频图像上的车辆，获得新出现的车辆的数量以及离开的车辆的数量。

2、根据权利要求1所述的车辆计数方法，其特征在于，所述视频图像的每个像素的在预定时刻的像素值的概率密度值满足下面的关系式：

$P_r\left(x_t\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{1}{\text{\Π}}}\frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_j^2}}{e}^{-\frac{{(x_{t_j}-x_{i_j})}^2}{{2\mathrm{\σ}}_j^2}}$

其中，t为预定时刻，x_t表示一个像素点在t时刻的像素值，x_i表示一段时间内像素值x_t的一组观察值样本，d是像素点的颜色特征的维数，σ_j是预先给定的常数，P_r(x_t)为像素值x_t在预定时刻t的概率密度值。

3、根据权利要求1所述的车辆计数方法，其特征在于，该方法还包括给定全局阀值的步骤，如果像素值的所述概率密度值小于所述全局阀值，则相应的像素点为前景点，否则，相应的像素点为背景点。

4、根据权利要求1所述的车辆计数方法，其特征在于，在确定所述视频图像中的前景图像之后并在确定前景图像中的面积大于一给定值的区域为运动车辆之前，还包括对前景图像进行数学形态学滤波处理的步骤。

5、根据权利要求4所述的车辆计数方法，其特征在于，所述对前景图像进行数学形态学滤波处理的步骤至少包括中值滤波和/或形态学腐蚀。

6、根据权利要求5所述的车辆计数方法，其特征在于，所述对前景图像进行数学形态学滤波处理的步骤还包括在所述中值滤波和/或形态学腐蚀后进行的形态学膨胀操作。

7、根据权利要求1所述的车辆计数方法，其特征在于，采用基于颜色直方图的特征匹配方法跟踪所述视频图像上的车辆，以获得新出现的车辆的数量以及离开的车辆的数量。

8、根据权利要求7所述的车辆计数方法，其特征在于，该基于颜色直方图的特征匹配方法包括

选取多个具有预定长度、宽度和中心位置的目标区域的像素点；

定义该像素点特征在量化的特征空间中的量化序号与量化值之间的映射关系；

计算该运动车辆的颜色直方图，以确定该量化值在该目标区域中出现的概率。

9、根据权利要求8所述的车辆计数方法，其特征在于，该量化值在目标区域中出现的概率满足下列关系式：

${\hat{p}}_h\left(y\right)=C_h\underset{i=1}{\overset{n_k}{\mathrm{\Σ}}}k\left(\right|\left|\frac{y-x_i}{\sqrt{S_w^2+S_h^2}}\right|{|}^2)\mathrm{\δ}[b\left(x_i\right)-h],h=\mathrm{0,1},...,H-1$

其中

表示对于每个像素点在目标区域中出现的概率，

是长宽分别为S_w和S_h、中心位置为y的目标区域的像素点的集合，b(x_i)表示该像素点特征在量化的特征空间中的量化序号，h＝0，1，…，H-1表示量化值，k(x)是核函数，C_h是归一化系数。

10、根据权利要求9所述的方法，其特征在于，其中该量化值在目标区域中出现的概率进一步满足下列关系式：

$\underset{i=0}{\overset{H-1}{\mathrm{\Σ}}}{\hat{p}}_h=1.$

11、根据权利要求8所述的车辆计数方法，其特征在于，还包括对相邻帧中检测到的运动车辆进行特征匹配以确定新出现的车辆和离开的车辆的数量的步骤。

12、根据权利要求11所述的车辆计数方法，其特征在于，进一步包括

度量该多帧运动车辆的颜色直方图之间的距离，确定所有的距离中的最大值；

如果任何两个帧的运动车辆的颜色直方图等于该最大值，则确定该两个帧的运动图像匹配。

13、根据权利要求12所述的方法，其特征在于，该多帧运动车辆的颜色直方图之间的距离满足下列关系式：

$d(A_i,B_j)=\sqrt{1-\underset{h=0}{\overset{H-1}{\mathrm{\Σ}}}\sqrt{{\hat{p}}_A^h{\hat{p}}_B^h}}$

其中，{A_i}_i＝1 ^M为当前帧运动目标，{B_j}_j＝1 ^N为前一帧的运动目标， ${\hat{p}}_A={\left\{{\hat{p}}_A^h\right\}}_{h=\mathrm{0,1},...,H-1}$ 和 ${\hat{p}}_B={\left\{{\hat{p}}_B^h\right\}}_{h=\mathrm{0,1},...,H-1}$ 分别为A_i与B_j的颜色直方图。

Images