CN105809184A - 一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法 - Google Patents

Abstract

本发明涉及机器视觉识别领域，特别是一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法。本发明包括：收集加油站车辆样本和非车辆样本；对车辆样本和非车辆样本进行预处理；训练车辆分类器；利用车辆分类器对获取的实时图像进行车辆识别并记录车辆区域；采用光流法对识别到的车辆区域角点进行跟踪并绘制中心点轨迹；通过计算车辆区域与事先划定的加油站车位的面积重合比来判定车位占用情况并对车辆占用车位时间进行计时。本发明既可以对加油站内部车辆进行识别并对车辆轨迹进行跟踪，又可判断加油站内部车位占用情况，具有实施成本低，自动化程度高的特点。

Description

一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法

技术领域

本发明涉及机器视觉识别领域，特别是一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法。

背景技术

目前国内的加油站通常全天作业，而加油站每天来往车辆数目繁多，加油作业量很大，受加油站停车面积、加油车位及工作人数等传统条件限制，提高加油效率成为加油站亟需解决的问题。首先，加油站每天进出的车流量巨大，进站加油的车辆行进与停靠具有随机性和盲目性，特别是加油高峰期极易出现车辆拥堵，降低了加油效率。其次，若车辆加完油后未及时离开，造成拥堵，极大地降低加油车位的使用效率。最后，每台加油机对应4个车位，一辆车占用2个加油车位的情况时有发生，若车辆停靠不规范，也会降低加油效率。使用视频方式对加油站进出车辆进行监控并分析，有利于进行合理的人力与物力资源配置，提高加油站的工作效率。

发明内容

本发明的目的是提供一种自动对进站加油的车辆进行检测识别和全程跟踪，并判断车位占用情况和计时，提高加油站生产效率的适用于加油站的车辆实时识别跟踪与车位占用判断的方法。

本发明的目的是这样实现的：

本发明包括：

(1)收集加油站车辆样本和非车辆样本：

通过调节摄像机俯角使摄像机俯视拍摄进站车辆的车头或车尾，分割出车辆车头和车尾作为车辆样本，将不包含车头或车尾的图像作为非车辆样本；

(2)对车辆样本和非车辆样本进行预处理：

根据设定的样本的尺寸，对车辆样本进行随机翻转、平移变换、尺度变换和旋转变换以增加样本数量，将所有车辆样本按设定尺寸归一化；对非车辆样本进行尺度变换，将所有非车辆样本按设定尺寸归一化；

(3)训练车辆分类器：

首先计算样本图像积分图，获取样本图像的Haar-like矩形特征；其次设定分类器级数N，每级分类器采用Adaboosting算法训练强分类器，然后将N级强分类器级联组合成级联车辆分类器；

(3.1)对每个车辆样本，利用积分图像法计算该样本的图像积分，计算方法为遍历该样本图像的每一个像素点，采用增量方式计算像素点积分图：

(3.1.1)对于倾角为0°的正矩形特征，遍历至图像的(x,y)点，该点积分图的计算公式为：

SAT(x,y)＝SAT(x,y-1)+SAT(x-1,y)+I(x,y)-SAT(x-1,y-1)

其中SAT(x,y)为点(x,y)左上角所有像素值之和，I(x,y)为该点像素值；对于正矩形R＝(x,y,w,h,0°)，其像素值之和计算公式为：

RecSum(R)＝

SAT(x-1,y-1)+SAT(x+w-1,y+h-1)-SAT(x-1,y+h-1)-SAT(x+w-1,y-1)

w为矩形大长度，h为矩形的高度，无论矩形的尺寸大小,只需查找积分图像4次，就可以求得任意矩形内像素值的和；

(3.1.2)对于倾角为45°的正矩形特征，遍历至图像的(x,y)点，该点积分图的计算公式为：

RSAT(x,y)＝

RSAT(x-1,y-1)+RSAT(x+1,y-1)-RSAT(x,y-2)+I(x,y)+I(x,y-1)

其中RSAT(x,y)为点(x,y)正上方的像素值之和，计算范围是从点(x,y)开始向上延伸出的一个倾角45°的矩形区域与原图像区域的交接区域；对于正矩形R＝(x,y,w,h,45°)，其像素值之和计算公式为：

RSAT(x,y)＝

RSAT(x-h+w,y+w-1)+RSAT(x,y-1)-RSAT(x-h,y+h-1)-RSAT(x+w,y+w-1)

w为矩形大长度，h为矩形的高度，无论矩形的尺寸大小,只需查找积分图像4次，就可以求得任意矩形内像素值的和；

(3.2)计算样本图像的Haar-like矩形特征：Haar-like的每个特征由2或3个矩形组成，分别检测边缘和线性特征，其特征值的计算为组成的矩形区域灰度积分之和：

Feature＝∑w_i*RecSum(R_i)i∈I＝{1,2,...N}

其中Feature为该样本图像的矩形特征和，RecSum(R_i)为矩形R_i所围区域的积分图，w_i为矩形的权重，每个Haar-like矩形特征由2或3个矩形组成，黑色矩形的权重设为1，白色矩形的权重设为-1；

计算每个车辆样本的矩形特征，将生成的特征向量文件输入到分类器中训练；

(3.3)设定分类器级数N，每级分类器采用Adaboosting算法训练强分类器，其具体过程为：

将样本标记为(x₁,y₁),(x₂,y₂)...(x_N,y_N)作为训练样本，其中x_i表示的是特征向量，y_i表示的是分类的类别标签，车辆识别可以看作是车辆与非车辆的两类模式的分类问题，y_i∈{0,1}，对于车辆样本为1，对于非车辆样本为0，选定弱学习算法，其具体过程：

(3.3.1)初始化样本权重w_i＝D(i)：已知训练样本包含K个车辆样本和L个非车辆样本，当样本为车辆样本时D(i)＝1/k，当样本为非车辆样本使D(i)＝1/L；

(3.3.2)对于每个t＝1,2,...T(T为弱分类器个数)进行如下操作：

(3.3.2.1)归一化权重：q_t,j＝w_t,j/∑w_t,j,j∈{1,2,...N}；

(3.3.2.2)对每个特征j，根据弱学习算法训练得到相应的弱分类器h_j(x_i)，计算对应所有特征的弱分类器的加权(q_t)错误率ε_j：

ε_j＝∑_iq_i|h_j(x_i)-y_i|

(3.3.2.3)选择具有最小误差ε_j的简单分类器h_t(x_i)加入到强分类器中去：

ε_t＝min_f,p,θ∑_iq_i|h_j(x_i)-y_i|

(3.3.2.4)按照这个最佳的简单分类器h_t(x_i)更新每个样本所对应的权重：

$w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-e_i}$

如果第i个样本被正确分类，e_i＝0,；否则e_i＝1，β_t＝ε_t/(1-ε_t)；

(3.3.3)得到的强分类器为：

当时，R_(x)＝1；否则，R_(x)＝0；

(3.3.2.4)设定每级强分类器的最大允许识别率f_max，最小识别率f_min，根据2,3步的单级强分类器的训练步骤训练强分类器，最后将N级强分类器级联构成级联的车辆分类器；

(4)利用车辆分类器对获取的实时图像进行车辆识别并记录车辆区域：

将实时图像进行均值滤波和直方图均衡化处理后，用车辆分类器识别实时图像中的多个车辆区域并记录；

(5)采用光流法对识别到的车辆区域角点进行跟踪并绘制中心点轨迹：

首先计算识别的车辆区域内的角点，然后采用光流法计算角点在每帧图像中的位置以对车辆进行跟踪，绘制角点区域中心的轨迹；

(5.1)对于每一个识别到的车辆区域，采用Haaris角点检测法计算车辆区域内的角点：

(5.1.1)采用高斯函数计算图像的方向导数，分别保存为两个数组I_x以及I_y；

(5.1.2)计算图像每一个像素的局部自相关矩阵U(x,y)为

$\left[\begin{array}{cc}\underset{-k\≤i,j\≤k}{\Σ}{w}_{i,j}{I}_x^2(x+i,y+i)& \underset{-k\≤i,j\≤k}{\Σ}{w}_{i,j}{I}_x(x+i,y+j)I_y(x+i,y+j)\\ \underset{-k\≤i,j\≤k}{\Σ}{w}_{i,j}{I}_x(x+i,y+j)I_y(x+i,y+j)& \underset{-k\≤i,j\≤k}{\Σ}{w}_{i,j}{I}_y^2(x+i,y+j)\end{array}\right]$

其中，w_i,j是归一化的权重比例；

(5.1.3)计算U(x,y)在x方向和y方向的两个特征值，当特征值同时达到最大值时，其对应的点即为Haaris角点；

(5.2)采用Lucas-Kanade光流法跟踪车辆区域的的角点并绘制角点区域中心的轨迹：

根据光流约束方程计算t-1时刻车辆区域角点的光流运动场，根据亮度恒定、时间连续、空间一致的约束条件建立光流运动场的系统方程，通过求解方程寻找角点在t时刻的最佳位置，对车辆区域角点进行跟踪；

在图像金字塔的最高层计算光流用得到的运动估计结果作为下一层金字塔的起始点，重复这个过程直到到达金字塔的最底层，满足光流计算的约束条件，直接进行光流估计；

(5.3)求取车辆区域角点的最大外接矩形作为车辆区域的跟踪框并绘出；若车辆运动到图像的边缘，则判断该车辆即将离开加油站，去除该车辆，不再进行跟踪；记录每辆车跟踪框中心在每帧图像中的位置，连接这些中心点并绘出车辆的运动轨迹；

(6)通过计算车辆区域与事先划定的加油站车位的面积重合比来判定车位占用情况并对车辆占用车位时间进行计时；

(6.1)提取不包含车辆只包含加油车位的加油站背景图像，用梯形框划定背景图像中各个加油车位的位置并标号k，计算每个梯形加油车位的面积S_k；

(6.2)计算所有车辆跟踪框的面积S_l，某辆车l运动到车位k，面积重合比为则为：

$\∂=\left|S_k-S_l\right|/S_k$

设定车位占用面积重合比为T，当时，判断该车位被占用；否则该车位不被占用；

(6.3)当时，判断该车位被占用，触发车位占用计时；当时，车辆离开车位，车位占用计时结束，计算时间差Δt作为该辆车在该车位的占用时间。

本发明的有益效果在于：本发明既可以对加油站内部车辆进行识别并对车辆轨迹进行跟踪，又可判断加油站内部车位占用情况，具有实施成本低，自动化程度高的特点。

附图说明

图1为车辆分类器训练流程图。

图2为车辆识别跟踪并判断车位占用情况的流程图。

图3为安装在加油站内部高处上的摄像机所成加油站内部场景。

图4为车辆识别效果图。

图5为车辆跟踪效果图。

图6为车位占用判断效果图。

具体实施方式

下面结合附图与实例对本发明作进一步的说明：

本发明公开了一种适用于加油站的车辆实时识别跟踪与车位占用判断方法，属于机器视觉技术领域。具体包括：收集加油站车辆样本和非车辆样本；对车辆样本和非车辆样本进行预处理；训练车辆分类器；利用车辆分类器对获取的实时图像进行车辆识别并记录车辆区域；计算车辆区域的角点，采用光流法对识别到的车辆区域角点进行跟踪并绘制中心点轨迹；通过计算车辆区域与事先划定的加油站车位的面积重合比来判定车位占用情况并对车辆占用车位时间进行计时。本发明既可以对加油站内部车辆进行识别并对车辆轨迹进行跟踪，又可判断加油站内部车位占用情况，具有实施成本低，自动化程度高的特点。

本发明经过扩展亦可应用于停车场、道路监控、电子警察等领域的车辆实时识别跟踪与车位占用判断中。

一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法，包括以下步骤：

S1.收集加油站车辆样本和非车辆样本：

将摄像机安装在加油站内部高处，通过调节摄像机俯角使摄像机俯视拍摄进站车辆的车头或车尾，分割出车辆车头和车尾作为车辆样本，将不包含车头或车尾的图像作为非车辆样本；

S2.对车辆样本和非车辆样本进行预处理：

根据设定的样本的尺寸，对车辆样本进行随机翻转、平移变换、尺度变换和旋转变换以增加样本数量，将所有车辆样本按设定尺寸归一化。对非车辆样本进行尺度变换，将所有非车辆样本按设定尺寸归一化。

S3.训练车辆分类器：

首先计算样本图像积分图，获取样本图像的Haar-like矩形特征；其次设定分类器级数N，每级分类器采用Adaboosting算法训练强分类器，然后将N级强分类器级联组合成级联车辆分类器。

S4.利用训练所得车辆分类器对摄像机获取的实时图像进行车辆识别并记录车辆区域：

将实时图像进行均值滤波和直方图均衡化处理后，用车辆分类器识别实时图像中的多个车辆区域并记录。

S5.采用光流法对识别到的车辆区域角点进行跟踪并绘制中心点轨迹：

首先计算识别的车辆区域内的角点，然后采用光流法计算角点在每帧图像中的位置以对车辆进行跟踪，绘制角点区域中心的轨迹。若车辆运动到图像的边缘，则判断该车辆即将离开加油站，去除该车辆，不再进行跟踪。

S6.通过计算车辆区域与事先划定的加油站车位的面积重合比来判定车位占用情况并对车辆占用车位时间进行计时：

对图像中加油车位进行事先划定，并用梯形框来表示。当所跟踪的车辆占用某个车位进行加油时，若对应的跟踪框与划定的车位区域的面积重合比例达到一定阈值时则判定该车位已被占用，触发计时；当重合比例小于该阈值时，计时结束，表示车辆离开车位，计算时间差作为该辆车在该车位的占用时间。

进一步的，所述的步骤S3包括以下子步骤：

S3-1.对每个车辆样本，利用积分图像法计算该样本的图像积分，计算方法为遍历该样本图像的每一个像素点，采用增量方式计算像素点积分图：

1°.对于倾角为0°的正矩形特征，假设遍历至图像的(x,y)点，该点积分图的计算公式为：

SAT(x,y)＝SAT(x,y-1)+SAT(x-1,y)+I(x,y)-SAT(x-1,y-1)

其中SAT(x,y)为点(x,y)左上角所有像素值之和，I(x,y)为该点像素值。对于正矩形R＝(x,y,w,h,0°)，其像素值之和计算公式为：

RecSum(R)＝

SAT(x-1,y-1)+SAT(x+w-1,y+h-1)-SAT(x-1,y+h-1)-SAT(x+w-1,y-1)

w为矩形大长度，h为矩形的高度，无论矩形的尺寸大小,只需查找积分图像4次，就可以求得任意矩形内像素值的和。

2°.对于倾角为45°的正矩形特征，假设遍历至图像的(x,y)点，该点积分图的计算公式为：

RSAT(x,y)＝

RSAT(x-1,y-1)+RSAT(x+1,y-1)-RSAT(x,y-2)+I(x,y)+I(x,y-1)

其中RSAT(x,y)为点(x,y)正上方的像素值之和，计算范围是从点(x,y)开始向上延伸出的一个倾角45°的矩形区域与原图像区域的交接区域。对于正矩形R＝(x,y,w,h,45°)，其像素值之和计算公式为：

RSAT(x,y)＝

RSAT(x-h+w,y+w-1)+RSAT(x,y-1)-RSAT(x-h,y+h-1)-RSAT(x+w,y+w-1)

w为矩形大长度，h为矩形的高度，无论矩形的尺寸大小,只需查找积分图像4次，就可以求得任意矩形内像素值的和。

S3-2.计算样本图像的Haar-like矩形特征：Haar-like的每个特征由2或3个矩形组成，分别检测边缘和线性特征，其特征值的计算为组成的矩形区域灰度积分之和，计算公式如下：

Feature＝∑w_i*RecSum(R_i)i∈I＝{1,2,...N}

其中Feature为该样本图像的矩形特征和，RecSum(R_i)为矩形R_i所围区域的积分图，w_i为矩形的权重，每个Haar-like矩形特征由2或3个矩形组成，黑色矩形的权重设为1，白色矩形的权重设为-1。

计算每个车辆样本的矩形特征，将生成的特征向量文件输入到分类器中训练。

S3-3.设定分类器级数N，每级分类器采用Adaboosting算法训练强分类器，其具体过程为：

将样本标记为(x₁,y₁),(x₂,y₂)...(x_N,y_N)作为训练样本，其中x_i表示的是特征向量，y_i表示的是分类的类别标签，车辆识别可以看作是车辆与非车辆的两类模式的分类问题，y_i∈{0,1}，对于车辆样本为1，对于非车辆样本为0，选定弱学习算法，其具体过程：

1°.初始化样本权重w_i＝D(i)：已知训练样本包含K个车辆样本和L个非车辆样本，当样本为车辆样本时D(i)＝1/k，当样本为非车辆样本使D(i)＝1/L。

2°.对于每个t＝1,2,...T(T为弱分类器个数)进行如下操作：

(1)归一化权重：q_t,j＝w_t,j/∑w_t,j,j∈{1,2,...N}；

(2)对每个特征j，根据弱学习算法训练得到相应的弱分类器h_j(x_i)，计算对应所有特征的弱分类器的加权(q_t)错误率ε_j：

ε_j＝∑_iq_i|h_j(x_i)-y_i|

(3)选择具有最小误差ε_j的简单分类器h_t(x_i)加入到强分类器中去：

ε_t＝min_f,p,θ∑_iq_i|h_j(x_i)-y_i|

(4)按照这个最佳的简单分类器h_t(x_i)更新每个样本所对应的权重：

$w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-e_i}$

如果第i个样本被正确分类，e_i＝0,；否则e_i＝1，β_t＝ε_t/(1-ε_t)。

3°.得到的强分类器为：

当时，R_(x)＝1；否则，R_(x)＝0。

4°.设定每级强分类器的最大允许识别率f_max，最小识别率f_min，根据2,3步的单级强分类器的训练步骤训练强分类器，最后将N级强分类器级联构成级联的车辆分类器。

进一步的，所述的步骤S5包括以下子步骤：

S5-1.对于每一个识别到的车辆区域，采用Haaris角点检测法计算车辆区域内的角点：

1°.采用高斯函数计算图像的方向导数，分别保存为两个数组I_x以及I_y。

2°.计算图像每一个像素的局部自相关矩阵U(x,y)为

$\left[\begin{array}{cc}\underset{-k\≤i,j\≤k}{\Σ}{w}_{i,j}{I}_x^2(x+i,y+i)& \underset{-k\≤i,j\≤k}{\Σ}{w}_{i,j}{I}_x(x+i,y+j)I_y(x+i,y+j)\\ \underset{-k\≤i,j\≤k}{\Σ}{w}_{i,j}{I}_x(x+i,y+j)I_y(x+i,y+j)& \underset{-k\≤i,j\≤k}{\Σ}{w}_{i,j}{I}_y^2(x+i,y+j)\end{array}\right]$

其中，w_i,j是归一化的权重比例。

3°.计算U(x,y)在x方向和y方向的两个特征值，当特征值同时达到最大值时，其对应的点即为Haaris角点。

S5-2.采用Lucas-Kanade光流法跟踪车辆区域的的角点并绘制角点区域中心的轨迹：

首先根据光流约束方程计算t-1时刻车辆区域角点的光流运动场，其次根据亮度恒定、时间连续、空间一致的约束条件建立光流运动场的系统方程，最后通过求解方程寻找角点在t时刻的最佳位置，对车辆区域角点进行跟踪；

为了排除角点在前后两帧的运动尺度大且不连贯而造成的错误跟踪，采用图像金字塔的方法，首先在图像金字塔的最高层计算光流，其次用得到的运动估计结果作为下一层金字塔的起始点，重复这个过程直到到达金字塔的最底层，满足光流计算的约束条件，就可以直接进行光流估计。

S5-3.求取车辆区域角点的最大外接矩形作为车辆区域的跟踪框并绘出。若车辆运动到图像的边缘，则判断该车辆即将离开加油站，去除该车辆，不再进行跟踪。记录每辆车跟踪框中心在每帧图像中的位置，连接这些中心点并绘出车辆的运动轨迹。

进一步的，所述的步骤S6包括以下子步骤：

S6-1.首先提取不包含车辆只包含加油车位的加油站背景图像，用梯形框划定背景图像中各个加油车位的位置并标号k，计算每个梯形加油车位的面积S_k。

S6-2.计算所有车辆跟踪框的面积S_l，假设某辆车l运动到车位k，面积重合比为则的计算公式如下：

$\∂=\left|S_k-S_l\right|/S_k$

设定车位占用面积重合比为T，当时，判断该车位被占用；否则该车位不被占用。

S6-3.当时，判断该车位被占用，触发车位占用计时；当时，车辆离开车位，车位占用计时结束，计算时间差Δt作为该辆车在该车位的占用时间。

作为本发明的一个实施例，一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法，对进站加油的车辆进行检测识别和全程跟踪，并判断车位占用情况和计时，其车辆分类器训练流程图如图1所示，车辆识别跟踪并判断车位占用情况的流程图如图2所示，包括以下步骤：

S1.收集加油站车辆样本和非车辆样本：

将摄像机安装在加油站内部高处，使摄像机拍摄整个加油站内部的场景，如图3所示。由于车辆的车头、车尾包含较丰富的纹理、边缘信息并且通用性较强，因此调节摄像机俯角使摄像机俯视拍摄进站车辆的车头或车尾，分割出车辆车头和车尾作为车辆样本，将不包含车头或车尾的图像作为非车辆样本。

S2.对车辆样本和非车辆样本进行预处理：

根据设定的样本的尺寸，对车辆样本进行随机翻转、平移变换、尺度变换和旋转变换以增加样本数量，将所有车辆样本按设定尺寸归一化。对非车辆样本进行尺度变换，将所有非车辆样本按设定尺寸归一化。车辆样本与非车辆样本数量应按1:2～1:3的比例获取，本次训练一共使用3000张车辆样本，7000张非车辆样本，将训练样本统一归一化为50*50的尺寸。

S3.训练车辆分类器：

首先，对每个车辆样本，利用积分图像法计算该样本的正向积分图和斜向积分图，计算方法为遍历该样本图像的每一个像素点，采用增量方式计算像素点积分图。

其次，计算样本图像的Haar-like矩形特征。Haar-like的每个特征由2或3个矩形组成，分别检测边缘和线性特征，其特征值的计算为组成的矩形区域灰度积分之和。

最后，设定分类器级数为15，每级分类器采用Adaboosting算法训练强分类器，最后将15级强分类器级联构成级联的车辆分类器。

S4.利用车辆分类器对获取的实时图像进行车辆识别并记录车辆区域：

由于光照、噪声干扰和摄像机的分辨率不高，所获取的实时图像一般含有噪声且对比度不高，将实时图像进行均值滤波和直方图均衡化处理去除噪声、增加对比度后，用车辆分类器识别实时图像中的多个车辆区域并记录。

为实现连续观测，必须排除一辆车被多次识别并存储的情况。可判断一辆车在前后2帧识别区域中心的欧氏距离，当小于设定阈值时认为时同一辆车，不再将其存储，当大于设定阈值时，认为是新出现的车辆，将其存储并初始化车辆跟踪。车辆识别的效果如图4所示。

S5.采用光流法对识别到的车辆区域角点进行跟踪并绘制中心点轨迹：

本文可以使用任何一种光流法对识别车辆进行跟踪。但作为实施例，现以

Lucas-Kanade光流法对识别到的车辆进行跟踪。首先检测车辆区域的Haaris角点，其次根据光流约束方程计算t-1时刻车辆区域角点的光流运动场，根据亮度恒定、时间连续、空间一致的约束条件建立光流运动场的系统方程，最后通过求解方程寻找角点在t时刻的最佳位置，对车辆区域角点进行跟踪

为了排除角点在前后两帧的运动尺度大且不连贯而造成的错误跟踪，采用图像金字塔的方法，首先在图像金字塔的最高层计算光流，其次用得到的运动估计结果作为下一层金字塔的起始点，重复这个过程直到到达金字塔的最底层，满足光流计算的约束条件，就可以直接进行光流估计。

求取车辆区域角点的最大外接矩形作为车辆区域的跟踪框并绘出。记录每辆车跟踪框中心在每帧图像中的位置，连接这些中心点并绘出车辆的运动轨迹。

若车辆运动到图像的边缘，则判断该车辆即将离开加油站，去除该车辆，不再进行跟踪。车辆跟踪效果如图5所示。

S7.通过计算车辆区域与事先划定的加油站车位的面积重合比来判定车位占用情况并对车辆占用车位时间进行计时：

首先，提取不包含车辆只包含加油车位的加油站背景图像，用梯形框划定背景图像中各个加油车位的位置并标号k，计算每个梯形加油车位的面积S_k。

其次，计算所有车辆跟踪框的面积S_l，假设某辆车l运动到车位k，面积重合比为则的计算公式如下：

$\∂=\left|S_k-S_l\right|/S_k$

设定车位占用面积重合比为T，当时，判断该车位被占用；否则该车位不被占用，如图6所示。

当时，判断该车位被占用，触发车位占用计时；当时，车辆离开车位，车位占用计时结束，计算时间差Δt作为该辆车在该车位的占用时间。

Claims (1)

1.一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法，其特征在于，包括：

(1)收集加油站车辆样本和非车辆样本：

通过调节摄像机俯角使摄像机俯视拍摄进站车辆的车头或车尾，分割出车辆车头和车尾作为车辆样本，将不包含车头或车尾的图像作为非车辆样本；

(2)对车辆样本和非车辆样本进行预处理：

根据设定的样本的尺寸，对车辆样本进行随机翻转、平移变换、尺度变换和旋转变换以增加样本数量，将所有车辆样本按设定尺寸归一化；对非车辆样本进行尺度变换，将所有非车辆样本按设定尺寸归一化；

(3)训练车辆分类器：

首先计算样本图像积分图，获取样本图像的Haar-like矩形特征；其次设定分类器级数N，每级分类器采用Adaboosting算法训练强分类器，然后将N级强分类器级联组合成级联车辆分类器；

(3.1)对每个车辆样本，利用积分图像法计算该样本的图像积分，计算方法为遍历该样本图像的每一个像素点，采用增量方式计算像素点积分图：

(3.1.1)对于倾角为0°的正矩形特征，遍历至图像的(x,y)点，该点积分图的计算公式为：

SAT(x,y)＝SAT(x,y-1)+SAT(x-1,y)+I(x,y)-SAT(x-1,y-1)

其中SAT(x,y)为点(x,y)左上角所有像素值之和，I(x,y)为该点像素值；对于正矩形R＝(x,y,w,h,0°)，其像素值之和计算公式为：

RecSum(R)＝

SAT(x-1,y-1)+SAT(x+w-1,y+h-1)-SAT(x-1,y+h-1)-SAT(x+w-1,y-1)

w为矩形大长度，h为矩形的高度，无论矩形的尺寸大小,只需查找积分图像4次，就可以求得任意矩形内像素值的和；

(3.1.2)对于倾角为45°的正矩形特征，遍历至图像的(x,y)点，该点积分图的计算公式为：

RSAT(x,y)＝

RSAT(x-1,y-1)+RSAT(x+1,y-1)-RSAT(x,y-2)+I(x,y)+I(x,y-1)

其中RSAT(x,y)为点(x,y)正上方的像素值之和，计算范围是从点(x,y)开始向上延伸出的一个倾角45°的矩形区域与原图像区域的交接区域；对于正矩形R＝(x,y,w,h,45°)，其像素值之和计算公式为：

RSAT(x,y)＝

RSAT(x-h+w,y+w-1)+RSAT(x,y-1)-RSAT(x-h,y+h-1)-RSAT(x+w,y+w-1)

w为矩形大长度，h为矩形的高度，无论矩形的尺寸大小,只需查找积分图像4次，就可以求得任意矩形内像素值的和；

(3.2)计算样本图像的Haar-like矩形特征：Haar-like的每个特征由2或3个矩形组成，分别检测边缘和线性特征，其特征值的计算为组成的矩形区域灰度积分之和：

Feature＝Σw_i*RecSum(R_i)i∈I＝{1,2,...N}

其中Feature为该样本图像的矩形特征和，RecSum(R_i)为矩形R_i所围区域的积分图，w_i为矩形的权重，每个Haar-like矩形特征由2或3个矩形组成，黑色矩形的权重设为1，白色矩形的权重设为-1；

计算每个车辆样本的矩形特征，将生成的特征向量文件输入到分类器中训练；

(3.3)设定分类器级数N，每级分类器采用Adaboosting算法训练强分类器，其具体过程为：

将样本标记为(x₁,y₁),(x₂,y₂)...(x_N,y_N)作为训练样本，其中x_i表示的是特征向量，y_i表示的是分类的类别标签，车辆识别可以看作是车辆与非车辆的两类模式的分类问题，y_i∈{0,1}，对于车辆样本为1，对于非车辆样本为0，选定弱学习算法，其具体过程：

(3.3.1)初始化样本权重w_i＝D(i)：已知训练样本包含K个车辆样本和L个非车辆样本，当样本为车辆样本时D(i)＝1/k，当样本为非车辆样本使D(i)＝1/L；

(3.3.2)对于每个t＝1,2,...T(T为弱分类器个数)进行如下操作：

(3.3.2.1)归一化权重：q_t,j＝w_t,j/Σw_t,j,j∈{1,2,...N}；

(3.3.2.2)对每个特征j，根据弱学习算法训练得到相应的弱分类器h_j(x_i)，计算对应所有特征的弱分类器的加权(q_t)错误率ε_j：

ε_j＝Σ_iq_i|h_j(x_i)-y_i|

(3.3.2.3)选择具有最小误差ε_j的简单分类器h_t(x_i)加入到强分类器中去：

ε_t＝min_f,p,θΣ_iq_i|h_j(x_i)-y_i|

(3.3.2.4)按照这个最佳的简单分类器h_t(x_i)更新每个样本所对应的权重：

$w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-e_i}$

如果第i个样本被正确分类，e_i＝0,；否则e_i＝1，β_t＝ε_t/(1-ε_t)；

(3.3.3)得到的强分类器为：

当时，R_(x)＝1；否则，R_(x)＝0；

(3.3.2.4)设定每级强分类器的最大允许识别率f_max，最小识别率f_min，根据2,3步的单级强分类器的训练步骤训练强分类器，最后将N级强分类器级联构成级联的车辆分类器；

(4)利用车辆分类器对获取的实时图像进行车辆识别并记录车辆区域：

将实时图像进行均值滤波和直方图均衡化处理后，用车辆分类器识别实时图像中的多个车辆区域并记录；

(5)采用光流法对识别到的车辆区域角点进行跟踪并绘制中心点轨迹：

首先计算识别的车辆区域内的角点，然后采用光流法计算角点在每帧图像中的位置以对车辆进行跟踪，绘制角点区域中心的轨迹；

(5.1)对于每一个识别到的车辆区域，采用Haaris角点检测法计算车辆区域内的角点：

(5.1.1)采用高斯函数计算图像的方向导数，分别保存为两个数组I_x以及I_y；

(5.1.2)计算图像每一个像素的局部自相关矩阵U(x,y)为

$\left[\begin{array}{cc}\underset{-k\≤i,j\≤k}{\mathrm{\Σ}}{w}_{i,j}{I}_x^2(x+i,y+i)& \underset{-k\≤i,j\≤k}{\mathrm{\Σ}}{w}_{i,j}{I}_x(x+i,y+j)I_y(x+i,y+j)\\ \underset{-k\≤i,j\≤k}{\mathrm{\Σ}}{w}_{i,j}{I}_x(x+i,y+j)I_y(x+i,y+j)& \underset{-k\≤i,j\≤k}{\mathrm{\Σ}}{w}_{i,j}{I}_x^2(x+i,y+j)\end{array}\right]$

其中，w_i,j是归一化的权重比例；

(5.1.3)计算U(x,y)在x方向和y方向的两个特征值，当特征值同时达到最大值时，其对应的点即为Haaris角点；

(5.2)采用Lucas-Kanade光流法跟踪车辆区域的的角点并绘制角点区域中心的轨迹：

根据光流约束方程计算t-1时刻车辆区域角点的光流运动场，根据亮度恒定、时间连续、空间一致的约束条件建立光流运动场的系统方程，通过求解方程寻找角点在t时刻的最佳位置，对车辆区域角点进行跟踪；

在图像金字塔的最高层计算光流用得到的运动估计结果作为下一层金字塔的起始点，重复这个过程直到到达金字塔的最底层，满足光流计算的约束条件，直接进行光流估计；

(5.3)求取车辆区域角点的最大外接矩形作为车辆区域的跟踪框并绘出；若车辆运动到图像的边缘，则判断该车辆即将离开加油站，去除该车辆，不再进行跟踪；记录每辆车跟踪框中心在每帧图像中的位置，连接这些中心点并绘出车辆的运动轨迹；

(6)通过计算车辆区域与事先划定的加油站车位的面积重合比来判定车位占用情况并对车辆占用车位时间进行计时；

(6.1)提取不包含车辆只包含加油车位的加油站背景图像，用梯形框划定背景图像中各个加油车位的位置并标号k，计算每个梯形加油车位的面积S_k；

(6.2)计算所有车辆跟踪框的面积S_l，某辆车l运动到车位k，面积重合比为则为：

$\∂=|S_k-S_l/|S_k$

设定车位占用面积重合比为T，当时，判断该车位被占用；否则该车位不被占用；

(6.3)当时，判断该车位被占用，触发车位占用计时；当时，车辆离开车位，车位占用计时结束，计算时间差Δt作为该辆车在该车位的占用时间。