CN105809184B - 一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法 - Google Patents
一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法 Download PDFInfo
- Publication number
- CN105809184B CN105809184B CN201510726868.4A CN201510726868A CN105809184B CN 105809184 B CN105809184 B CN 105809184B CN 201510726868 A CN201510726868 A CN 201510726868A CN 105809184 B CN105809184 B CN 105809184B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- classifier
- parking space
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及机器视觉识别领域,特别是一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法。本发明包括:收集加油站车辆样本和非车辆样本;对车辆样本和非车辆样本进行预处理;训练车辆分类器;利用车辆分类器对获取的实时图像进行车辆识别并记录车辆区域;采用光流法对识别到的车辆区域角点进行跟踪并绘制中心点轨迹;通过计算车辆区域与事先划定的加油站车位的面积重合比来判定车位占用情况并对车辆占用车位时间进行计时。本发明既可以对加油站内部车辆进行识别并对车辆轨迹进行跟踪,又可判断加油站内部车位占用情况,具有实施成本低,自动化程度高的特点。
Description
技术领域
本发明涉及机器视觉识别领域,特别是一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法。
背景技术
目前国内的加油站通常全天作业,而加油站每天来往车辆数目繁多,加油作业量很大,受加油站停车面积、加油车位及工作人数等传统条件限制,提高加油效率成为加油站亟需解决的问题。首先,加油站每天进出的车流量巨大,进站加油的车辆行进与停靠具有随机性和盲目性,特别是加油高峰期极易出现车辆拥堵,降低了加油效率。其次,若车辆加完油后未及时离开,造成拥堵,极大地降低加油车位的使用效率。最后,每台加油机对应4个车位,一辆车占用2个加油车位的情况时有发生,若车辆停靠不规范,也会降低加油效率。使用视频方式对加油站进出车辆进行监控并分析,有利于进行合理的人力与物力资源配置,提高加油站的工作效率。
发明内容
本发明的目的是提供一种自动对进站加油的车辆进行检测识别和全程跟踪,并判断车位占用情况和计时,提高加油站生产效率的适用于加油站的车辆实时识别跟踪与车位占用判断的方法。
本发明的目的是这样实现的:
本发明包括:
(1)收集加油站车辆样本和非车辆样本:
通过调节摄像机俯角使摄像机俯视拍摄进站车辆的车头或车尾,分割出车辆车头和车尾作为车辆样本,将不包含车头或车尾的图像作为非车辆样本;
(2)对车辆样本和非车辆样本进行预处理:
根据设定的样本的尺寸,对车辆样本进行随机翻转、平移变换、尺度变换和旋转变换以增加样本数量,将所有车辆样本按设定尺寸归一化;对非车辆样本进行尺度变换,将所有非车辆样本按设定尺寸归一化;
(3)训练车辆分类器:
首先计算样本图像积分图,获取样本图像的Haar-like矩形特征;其次设定分类器级数N,每级分类器采用Adaboosting算法训练强分类器,然后将N级强分类器级联组合成级联车辆分类器;
(3.1)对每个车辆样本,利用积分图像法计算该样本的图像积分,计算方法为遍历该样本图像的每一个像素点,采用增量方式计算像素点积分图:
(3.1.1)对于倾角为0°的正矩形特征,遍历至图像的(x,y)点,该点积分图的计算公式为:
SAT(x,y)=SAT(x,y-1)+SAT(x-1,y)+I(x,y)-SAT(x-1,y-1)
其中SAT(x,y)为点(x,y)左上角所有像素值之和,I(x,y)为该点像素值;对于正矩形R=(x,y,w,h,0°),其像素值之和计算公式为:
RecSum(R)=
SAT(x-1,y-1)+SAT(x+w-1,y+h-1)-SAT(x-1,y+h-1)-SAT(x+w-1,y-1)
w为矩形大长度,h为矩形的高度,无论矩形的尺寸大小,只需查找积分图像4次,就可以求得任意矩形内像素值的和;
(3.1.2)对于倾角为45°的正矩形特征,遍历至图像的(x,y)点,该点积分图的计算公式为:
RSAT(x,y)=
RSAT(x-1,y-1)+RSAT(x+1,y-1)-RSAT(x,y-2)+I(x,y)+I(x,y-1)
其中RSAT(x,y)为点(x,y)正上方的像素值之和,计算范围是从点(x,y)开始向上延伸出的一个倾角45°的矩形区域与原图像区域的交接区域;对于正矩形R=(x,y,w,h,45°),其像素值之和计算公式为:
RSAT(x,y)=
RSAT(x-h+w,y+w-1)+RSAT(x,y-1)-RSAT(x-h,y+h-1)-RSAT(x+w,y+w-1)
w为矩形大长度,h为矩形的高度,无论矩形的尺寸大小,只需查找积分图像4次,就可以求得任意矩形内像素值的和;
(3.2)计算样本图像的Haar-like矩形特征:Haar-like的每个特征由2或3个矩形组成,分别检测边缘和线性特征,其特征值的计算为组成的矩形区域灰度积分之和:
Feature=∑wi*RecSum(Ri)i∈I={1,2,...N}
其中Feature为该样本图像的矩形特征和,RecSum(Ri)为矩形Ri所围区域的积分图,wi为矩形的权重,每个Haar-like矩形特征由2或3个矩形组成,黑色矩形的权重设为1,白色矩形的权重设为-1;
计算每个车辆样本的矩形特征,将生成的特征向量文件输入到分类器中训练;
(3.3)设定分类器级数N,每级分类器采用Adaboosting算法训练强分类器,其具体过程为:
将样本标记为(x1,y1),(x2,y2)...(xN,yN)作为训练样本,其中xi表示的是特征向量,yi表示的是分类的类别标签,车辆识别可以看作是车辆与非车辆的两类模式的分类问题,yi∈{0,1},对于车辆样本为1,对于非车辆样本为0,选定弱学习算法,其具体过程:
(3.3.1)初始化样本权重wi=D(i):已知训练样本包含K个车辆样本和L个非车辆样本,当样本为车辆样本时D(i)=1/k,当样本为非车辆样本使D(i)=1/L;
(3.3.2)对于每个t=1,2,...T(T为弱分类器个数)进行如下操作:
(3.3.2.1)归一化权重:qt,j=wt,j/∑wt,j,j∈{1,2,...N};
(3.3.2.2)对每个特征j,根据弱学习算法训练得到相应的弱分类器hj(xi),计算对应所有特征的弱分类器的加权(qt)错误率εj:
εj=∑iqi|hj(xi)-yi|
(3.3.2.3)选择具有最小误差εj的简单分类器ht(xi)加入到强分类器中去:
εt=minf,p,θ∑iqi|hj(xi)-yi|
(3.3.2.4)按照这个最佳的简单分类器ht(xi)更新每个样本所对应的权重:
如果第i个样本被正确分类,ei=0,;否则ei=1,βt=εt/(1-εt);
(3.3.3)得到的强分类器为:
(3.3.2.4)设定每级强分类器的最大允许识别率fmax,最小识别率fmin,根据2,3步的单级强分类器的训练步骤训练强分类器,最后将N级强分类器级联构成级联的车辆分类器;
(4)利用车辆分类器对获取的实时图像进行车辆识别并记录车辆区域:
将实时图像进行均值滤波和直方图均衡化处理后,用车辆分类器识别实时图像中的多个车辆区域并记录;
(5)采用光流法对识别到的车辆区域角点进行跟踪并绘制中心点轨迹:
首先计算识别的车辆区域内的角点,然后采用光流法计算角点在每帧图像中的位置以对车辆进行跟踪,绘制角点区域中心的轨迹;
(5.1)对于每一个识别到的车辆区域,采用Haaris角点检测法计算车辆区域内的角点:
(5.1.1)采用高斯函数计算图像的方向导数,分别保存为两个数组Ix以及Iy;
(5.1.2)计算图像每一个像素的局部自相关矩阵U(x,y)为
其中,wi,j是归一化的权重比例;
(5.1.3)计算U(x,y)在x方向和y方向的两个特征值,当特征值同时达到最大值时,其对应的点即为Haaris角点;
(5.2)采用Lucas-Kanade光流法跟踪车辆区域的的角点并绘制角点区域中心的轨迹:
根据光流约束方程计算t-1时刻车辆区域角点的光流运动场,根据亮度恒定、时间连续、空间一致的约束条件建立光流运动场的系统方程,通过求解方程寻找角点在t时刻的最佳位置,对车辆区域角点进行跟踪;
在图像金字塔的最高层计算光流用得到的运动估计结果作为下一层金字塔的起始点,重复这个过程直到到达金字塔的最底层,满足光流计算的约束条件,直接进行光流估计;
(5.3)求取车辆区域角点的最大外接矩形作为车辆区域的跟踪框并绘出;若车辆运动到图像的边缘,则判断该车辆即将离开加油站,去除该车辆,不再进行跟踪;记录每辆车跟踪框中心在每帧图像中的位置,连接这些中心点并绘出车辆的运动轨迹;
(6)通过计算车辆区域与事先划定的加油站车位的面积重合比来判定车位占用情况并对车辆占用车位时间进行计时;
(6.1)提取不包含车辆只包含加油车位的加油站背景图像,用梯形框划定背景图像中各个加油车位的位置并标号k,计算每个梯形加油车位的面积Sk;
本发明的有益效果在于:本发明既可以对加油站内部车辆进行识别并对车辆轨迹进行跟踪,又可判断加油站内部车位占用情况,具有实施成本低,自动化程度高的特点。
附图说明
图1为车辆分类器训练流程图。
图2为车辆识别跟踪并判断车位占用情况的流程图。
图3为安装在加油站内部高处上的摄像机所成加油站内部场景。
图4为车辆识别效果图。
图5为车辆跟踪效果图。
图6为车位占用判断效果图。
具体实施方式
下面结合附图与实例对本发明作进一步的说明:
本发明公开了一种适用于加油站的车辆实时识别跟踪与车位占用判断方法,属于机器视觉技术领域。具体包括:收集加油站车辆样本和非车辆样本;对车辆样本和非车辆样本进行预处理;训练车辆分类器;利用车辆分类器对获取的实时图像进行车辆识别并记录车辆区域;计算车辆区域的角点,采用光流法对识别到的车辆区域角点进行跟踪并绘制中心点轨迹;通过计算车辆区域与事先划定的加油站车位的面积重合比来判定车位占用情况并对车辆占用车位时间进行计时。本发明既可以对加油站内部车辆进行识别并对车辆轨迹进行跟踪,又可判断加油站内部车位占用情况,具有实施成本低,自动化程度高的特点。
本发明经过扩展亦可应用于停车场、道路监控、电子警察等领域的车辆实时识别跟踪与车位占用判断中。
一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法,包括以下步骤:
S1.收集加油站车辆样本和非车辆样本:
将摄像机安装在加油站内部高处,通过调节摄像机俯角使摄像机俯视拍摄进站车辆的车头或车尾,分割出车辆车头和车尾作为车辆样本,将不包含车头或车尾的图像作为非车辆样本;
S2.对车辆样本和非车辆样本进行预处理:
根据设定的样本的尺寸,对车辆样本进行随机翻转、平移变换、尺度变换和旋转变换以增加样本数量,将所有车辆样本按设定尺寸归一化。对非车辆样本进行尺度变换,将所有非车辆样本按设定尺寸归一化。
S3.训练车辆分类器:
首先计算样本图像积分图,获取样本图像的Haar-like矩形特征;其次设定分类器级数N,每级分类器采用Adaboosting算法训练强分类器,然后将N级强分类器级联组合成级联车辆分类器。
S4.利用训练所得车辆分类器对摄像机获取的实时图像进行车辆识别并记录车辆区域:
将实时图像进行均值滤波和直方图均衡化处理后,用车辆分类器识别实时图像中的多个车辆区域并记录。
S5.采用光流法对识别到的车辆区域角点进行跟踪并绘制中心点轨迹:
首先计算识别的车辆区域内的角点,然后采用光流法计算角点在每帧图像中的位置以对车辆进行跟踪,绘制角点区域中心的轨迹。若车辆运动到图像的边缘,则判断该车辆即将离开加油站,去除该车辆,不再进行跟踪。
S6.通过计算车辆区域与事先划定的加油站车位的面积重合比来判定车位占用情况并对车辆占用车位时间进行计时:
对图像中加油车位进行事先划定,并用梯形框来表示。当所跟踪的车辆占用某个车位进行加油时,若对应的跟踪框与划定的车位区域的面积重合比例达到一定阈值时则判定该车位已被占用,触发计时;当重合比例小于该阈值时,计时结束,表示车辆离开车位,计算时间差作为该辆车在该车位的占用时间。
进一步的,所述的步骤S3包括以下子步骤:
S3-1.对每个车辆样本,利用积分图像法计算该样本的图像积分,计算方法为遍历该样本图像的每一个像素点,采用增量方式计算像素点积分图:
1°.对于倾角为0°的正矩形特征,假设遍历至图像的(x,y)点,该点积分图的计算公式为:
SAT(x,y)=SAT(x,y-1)+SAT(x-1,y)+I(x,y)-SAT(x-1,y-1)
其中SAT(x,y)为点(x,y)左上角所有像素值之和,I(x,y)为该点像素值。对于正矩形R=(x,y,w,h,0°),其像素值之和计算公式为:
RecSum(R)=
SAT(x-1,y-1)+SAT(x+w-1,y+h-1)-SAT(x-1,y+h-1)-SAT(x+w-1,y-1)
w为矩形大长度,h为矩形的高度,无论矩形的尺寸大小,只需查找积分图像4次,就可以求得任意矩形内像素值的和。
2°.对于倾角为45°的正矩形特征,假设遍历至图像的(x,y)点,该点积分图的计算公式为:
RSAT(x,y)=
RSAT(x-1,y-1)+RSAT(x+1,y-1)-RSAT(x,y-2)+I(x,y)+I(x,y-1)
其中RSAT(x,y)为点(x,y)正上方的像素值之和,计算范围是从点(x,y)开始向上延伸出的一个倾角45°的矩形区域与原图像区域的交接区域。对于正矩形R=(x,y,w,h,45°),其像素值之和计算公式为:
RSAT(x,y)=
RSAT(x-h+w,y+w-1)+RSAT(x,y-1)-RSAT(x-h,y+h-1)-RSAT(x+w,y+w-1)
w为矩形大长度,h为矩形的高度,无论矩形的尺寸大小,只需查找积分图像4次,就可以求得任意矩形内像素值的和。
S3-2.计算样本图像的Haar-like矩形特征:Haar-like的每个特征由2或3个矩形组成,分别检测边缘和线性特征,其特征值的计算为组成的矩形区域灰度积分之和,计算公式如下:
Feature=∑wi*RecSum(Ri)i∈I={1,2,...N}
其中Feature为该样本图像的矩形特征和,RecSum(Ri)为矩形Ri所围区域的积分图,wi为矩形的权重,每个Haar-like矩形特征由2或3个矩形组成,黑色矩形的权重设为1,白色矩形的权重设为-1。
计算每个车辆样本的矩形特征,将生成的特征向量文件输入到分类器中训练。
S3-3.设定分类器级数N,每级分类器采用Adaboosting算法训练强分类器,其具体过程为:
将样本标记为(x1,y1),(x2,y2)...(xN,yN)作为训练样本,其中xi表示的是特征向量,yi表示的是分类的类别标签,车辆识别可以看作是车辆与非车辆的两类模式的分类问题,yi∈{0,1},对于车辆样本为1,对于非车辆样本为0,选定弱学习算法,其具体过程:
1°.初始化样本权重wi=D(i):已知训练样本包含K个车辆样本和L个非车辆样本,当样本为车辆样本时D(i)=1/k,当样本为非车辆样本使D(i)=1/L。
2°.对于每个t=1,2,...T(T为弱分类器个数)进行如下操作:
(1)归一化权重:qt,j=wt,j/∑wt,j,j∈{1,2,...N};
(2)对每个特征j,根据弱学习算法训练得到相应的弱分类器hj(xi),计算对应所有特征的弱分类器的加权(qt)错误率εj:
εj=∑iqi|hj(xi)-yi|
(3)选择具有最小误差εj的简单分类器ht(xi)加入到强分类器中去:
εt=minf,p,θ∑iqi|hj(xi)-yi|
(4)按照这个最佳的简单分类器ht(xi)更新每个样本所对应的权重:
如果第i个样本被正确分类,ei=0,;否则ei=1,βt=εt/(1-εt)。
3°.得到的强分类器为:
4°.设定每级强分类器的最大允许识别率fmax,最小识别率fmin,根据2,3步的单级强分类器的训练步骤训练强分类器,最后将N级强分类器级联构成级联的车辆分类器。
进一步的,所述的步骤S5包括以下子步骤:
S5-1.对于每一个识别到的车辆区域,采用Haaris角点检测法计算车辆区域内的角点:
1°.采用高斯函数计算图像的方向导数,分别保存为两个数组Ix以及Iy。
2°.计算图像每一个像素的局部自相关矩阵U(x,y)为
其中,wi,j是归一化的权重比例。
3°.计算U(x,y)在x方向和y方向的两个特征值,当特征值同时达到最大值时,其对应的点即为Haaris角点。
S5-2.采用Lucas-Kanade光流法跟踪车辆区域的的角点并绘制角点区域中心的轨迹:
首先根据光流约束方程计算t-1时刻车辆区域角点的光流运动场,其次根据亮度恒定、时间连续、空间一致的约束条件建立光流运动场的系统方程,最后通过求解方程寻找角点在t时刻的最佳位置,对车辆区域角点进行跟踪;
为了排除角点在前后两帧的运动尺度大且不连贯而造成的错误跟踪,采用图像金字塔的方法,首先在图像金字塔的最高层计算光流,其次用得到的运动估计结果作为下一层金字塔的起始点,重复这个过程直到到达金字塔的最底层,满足光流计算的约束条件,就可以直接进行光流估计。
S5-3.求取车辆区域角点的最大外接矩形作为车辆区域的跟踪框并绘出。若车辆运动到图像的边缘,则判断该车辆即将离开加油站,去除该车辆,不再进行跟踪。记录每辆车跟踪框中心在每帧图像中的位置,连接这些中心点并绘出车辆的运动轨迹。
进一步的,所述的步骤S6包括以下子步骤:
S6-1.首先提取不包含车辆只包含加油车位的加油站背景图像,用梯形框划定背景图像中各个加油车位的位置并标号k,计算每个梯形加油车位的面积Sk。
作为本发明的一个实施例,一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法,对进站加油的车辆进行检测识别和全程跟踪,并判断车位占用情况和计时,其车辆分类器训练流程图如图1所示,车辆识别跟踪并判断车位占用情况的流程图如图2所示,包括以下步骤:
S1.收集加油站车辆样本和非车辆样本:
将摄像机安装在加油站内部高处,使摄像机拍摄整个加油站内部的场景,如图3所示。由于车辆的车头、车尾包含较丰富的纹理、边缘信息并且通用性较强,因此调节摄像机俯角使摄像机俯视拍摄进站车辆的车头或车尾,分割出车辆车头和车尾作为车辆样本,将不包含车头或车尾的图像作为非车辆样本。
S2.对车辆样本和非车辆样本进行预处理:
根据设定的样本的尺寸,对车辆样本进行随机翻转、平移变换、尺度变换和旋转变换以增加样本数量,将所有车辆样本按设定尺寸归一化。对非车辆样本进行尺度变换,将所有非车辆样本按设定尺寸归一化。车辆样本与非车辆样本数量应按1:2~1:3的比例获取,本次训练一共使用3000张车辆样本,7000张非车辆样本,将训练样本统一归一化为50*50的尺寸。
S3.训练车辆分类器:
首先,对每个车辆样本,利用积分图像法计算该样本的正向积分图和斜向积分图,计算方法为遍历该样本图像的每一个像素点,采用增量方式计算像素点积分图。
其次,计算样本图像的Haar-like矩形特征。Haar-like的每个特征由2或3个矩形组成,分别检测边缘和线性特征,其特征值的计算为组成的矩形区域灰度积分之和。
最后,设定分类器级数为15,每级分类器采用Adaboosting算法训练强分类器,最后将15级强分类器级联构成级联的车辆分类器。
S4.利用车辆分类器对获取的实时图像进行车辆识别并记录车辆区域:
由于光照、噪声干扰和摄像机的分辨率不高,所获取的实时图像一般含有噪声且对比度不高,将实时图像进行均值滤波和直方图均衡化处理去除噪声、增加对比度后,用车辆分类器识别实时图像中的多个车辆区域并记录。
为实现连续观测,必须排除一辆车被多次识别并存储的情况。可判断一辆车在前后2帧识别区域中心的欧氏距离,当小于设定阈值时认为时同一辆车,不再将其存储,当大于设定阈值时,认为是新出现的车辆,将其存储并初始化车辆跟踪。车辆识别的效果如图4所示。
S5.采用光流法对识别到的车辆区域角点进行跟踪并绘制中心点轨迹:
本文可以使用任何一种光流法对识别车辆进行跟踪。但作为实施例,现以
Lucas-Kanade光流法对识别到的车辆进行跟踪。首先检测车辆区域的Haaris角点,其次根据光流约束方程计算t-1时刻车辆区域角点的光流运动场,根据亮度恒定、时间连续、空间一致的约束条件建立光流运动场的系统方程,最后通过求解方程寻找角点在t时刻的最佳位置,对车辆区域角点进行跟踪
为了排除角点在前后两帧的运动尺度大且不连贯而造成的错误跟踪,采用图像金字塔的方法,首先在图像金字塔的最高层计算光流,其次用得到的运动估计结果作为下一层金字塔的起始点,重复这个过程直到到达金字塔的最底层,满足光流计算的约束条件,就可以直接进行光流估计。
求取车辆区域角点的最大外接矩形作为车辆区域的跟踪框并绘出。记录每辆车跟踪框中心在每帧图像中的位置,连接这些中心点并绘出车辆的运动轨迹。
若车辆运动到图像的边缘,则判断该车辆即将离开加油站,去除该车辆,不再进行跟踪。车辆跟踪效果如图5所示。
S7.通过计算车辆区域与事先划定的加油站车位的面积重合比来判定车位占用情况并对车辆占用车位时间进行计时:
首先,提取不包含车辆只包含加油车位的加油站背景图像,用梯形框划定背景图像中各个加油车位的位置并标号k,计算每个梯形加油车位的面积Sk。
Claims (1)
1.一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法,其特征在于,包括:
(1)收集加油站车辆样本和非车辆样本:
通过调节摄像机俯角使摄像机俯视拍摄进站车辆的车头或车尾,分割出车辆车头和车尾作为车辆样本,将不包含车头或车尾的图像作为非车辆样本;
(2)对车辆样本和非车辆样本进行预处理:
根据设定的样本的尺寸,对车辆样本进行随机翻转、平移变换、尺度变换和旋转变换以增加样本数量,将所有车辆样本按设定尺寸归一化;对非车辆样本进行尺度变换,将所有非车辆样本按设定尺寸归一化;
(3)训练车辆分类器:
首先计算样本图像积分图,获取样本图像的Haar-like矩形特征;其次设定分类器级数N,每级分类器采用Adaboosting算法训练强分类器,然后将N级强分类器级联组合成级联车辆分类器;
(3.1)对每个车辆样本,利用积分图像法计算该样本的图像积分,计算方法为遍历该样本图像的每一个像素点,采用增量方式计算像素点积分图:
(3.1.1)对于倾角为0°的正矩形特征,遍历至图像的(x,y)点,该点积分图的计算公式为:
SAT(x,y)=SAT(x,y-1)+SAT(x-1,y)+I(x,y)-SAT(x-1,y-1)
其中SAT(x,y)为点(x,y)左上角所有像素值之和,I(x,y)为该点像素值;对于正矩形R=(x,y,w,h,0°),其像素值之和计算公式为:
RecSum(R)=SAT(x-1,y-1)+SAT(x+w-1,y+h-1)-SAT(x-1,y+h-1)-SAT(x+w-1,y-1)
w为矩形的长度,h为矩形的高度,无论矩形的尺寸大小,只需查找积分图像4次,就求得任意矩形内像素值的和;
(3.1.2)对于倾角为45°的正矩形特征,遍历至图像的(x,y)点,该点积分图的计算公式为:
RSAT(x,y)=RSAT(x-1,y-1)+RSAT(x+1,y-1)-RSAT(x,y-2)+I(x,y)+I(x,y-1)
其中RSAT(x,y)为点(x,y)正上方的像素值之和,计算范围是从点(x,y)开始向上延伸出的一个倾角45°的矩形区域与原图像区域的交接区域;对于正矩形R=(x,y,w,h,45°),
像素值之和=RSAT(x-h+w,y+w-1)+RSAT(x,y-1)-RSAT(x-h,y+h-1)-RSAT(x+w,y+w-1);
w为矩形的长度,h为矩形的高度,无论矩形的尺寸大小,只需查找积分图像4次,就求得任意矩形内像素值的和;
(3.2)计算样本图像的Haar-like矩形特征:Haar-like的每个特征由2或3个矩形组成,分别检测边缘和线性特征,其特征值的计算为组成的矩形区域灰度积分之和:
Feature=∑wi*RecSum(Ri)i∈I={1,2,...N}
其中Feature为该样本图像的矩形特征和,RecSum(Ri)为矩形Ri所围区域的积分图,wi为矩形的权重,每个Haar-like矩形特征由2或3个矩形组成,黑色矩形的权重设为1,白色矩形的权重设为-1;
计算每个车辆样本的矩形特征,将生成的特征向量文件输入到分类器中训练;
(3.3)设定分类器级数N,每级分类器采用Adaboosting算法训练强分类器,其具体过程为:
将样本标记为(x1,y1),(x2,y2)...(xN,yN)作为训练样本,其中xi表示的是特征向量,yi表示的是分类的类别标签,车辆识别看作是车辆与非车辆的两类模式的分类问题,yi∈{0,1},对于车辆样本为1,对于非车辆样本为0,选定弱学习算法,其具体过程:
(3.3.1)初始化样本权重wi=D(i):已知训练样本包含K个车辆样本和L个非车辆样本,当样本为车辆样本时D(i)=1/K,当样本为非车辆样本时D(i)=1/L;
(3.3.2)对于每个t=1,2,...T进行如下操作,T为弱分类器个数:
(3.3.2.1)归一化权重:qt,j=wt,j/∑wt,j,j∈{1,2,...N};
(3.3.2.2)对每个特征j,根据弱学习算法训练得到相应的弱分类器hj(xi),计算对应所有特征的弱分类器的加权qt错误率εj:
εj=∑iqi|hj(xi)-yi|
(3.3.2.3)选择具有最小误差εj的简单分类器ht(xi)加入到强分类器中去:
εt=minf,p,θ∑iqi|hj(xi)-yi|;
(3.3.2.4)按照这个最佳的简单分类器ht(xi)更新每个样本所对应的权重:
如果第i个样本被正确分类,ei=0;否则ei=1,βt=εt/(1-εt);
(3.3.2.5)得到的强分类器为:
(3.3.2.6)设定每级强分类器的最大允许识别率fmax,最小识别率fmin,根据(3.3.2.2)、(3.3.2.3)步的单级强分类器的训练步骤训练强分类器,最后将N级强分类器级联构成级联的车辆分类器;
(4)利用车辆分类器对获取的实时图像进行车辆识别并记录车辆区域:
将实时图像进行均值滤波和直方图均衡化处理后,用车辆分类器识别实时图像中的多个车辆区域并记录;
(5)采用光流法对识别到的车辆区域角点进行跟踪并绘制中心点轨迹:
首先计算识别的车辆区域内的角点,然后采用光流法计算角点在每帧图像中的位置以对车辆进行跟踪,绘制角点区域中心的轨迹;
(5.1)对于每一个识别到的车辆区域,采用Haaris角点检测法计算车辆区域内的角点:
(5.1.1)采用高斯函数计算图像的方向导数,分别保存为两个数组Ix以及Iy;
(5.1.2)计算图像每一个像素的局部自相关矩阵U(x,y)为
其中,wi,j是归一化的权重比例;
(5.1.3)计算U(x,y)在x方向和y方向的两个特征值,当特征值同时达到最大值时,其对应的点即为Haaris角点;
(5.2)采用Lucas-Kanade光流法跟踪车辆区域的角点并绘制角点区域中心的轨迹:
根据光流约束方程计算t-1时刻车辆区域角点的光流运动场,根据亮度恒定、时间连续、空间一致的约束条件建立光流运动场的系统方程,通过求解方程寻找角点在t时刻的最佳位置,对车辆区域角点进行跟踪;
在图像金字塔的最高层计算光流,用得到的运动估计结果作为下一层金字塔的起始点,重复这个过程直到到达金字塔的最底层,满足光流计算的约束条件,直接进行光流估计;
(5.3)求取车辆区域角点的最大外接矩形作为车辆区域的跟踪框并绘出;若车辆运动到图像的边缘,则判断该车辆即将离开加油站,去除该车辆,不再进行跟踪;记录每辆车跟踪框中心在每帧图像中的位置,连接这些中心点并绘出车辆的运动轨迹;
(6)通过计算车辆区域与事先划定的加油站车位的面积重合比来判定车位占用情况并对车辆占用车位时间进行计时;
(6.1)提取不包含车辆只包含加油车位的加油站背景图像,用梯形框划定背景图像中各个加油车位的位置并标号k,计算每个梯形加油车位的面积Sk;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510726868.4A CN105809184B (zh) | 2015-10-30 | 2015-10-30 | 一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510726868.4A CN105809184B (zh) | 2015-10-30 | 2015-10-30 | 一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105809184A CN105809184A (zh) | 2016-07-27 |
CN105809184B true CN105809184B (zh) | 2020-06-16 |
Family
ID=56465624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510726868.4A Active CN105809184B (zh) | 2015-10-30 | 2015-10-30 | 一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105809184B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190355104A1 (en) * | 2016-09-29 | 2019-11-21 | Huawei Technologies Co., Ltd. | Image Correction Method and Apparatus |
CN106530818A (zh) * | 2016-12-30 | 2017-03-22 | 北京航空航天大学 | 基于视频处理技术的智能停车场管理系统 |
CN108509828A (zh) * | 2017-02-28 | 2018-09-07 | 深圳市朗驰欣创科技股份有限公司 | 一种人脸识别方法和人脸识别装置 |
CN108320518A (zh) * | 2018-01-03 | 2018-07-24 | 深圳市喂车科技有限公司 | 一种可加油车位分配方法及系统 |
CN108399753B (zh) * | 2018-03-01 | 2020-08-11 | 山东建筑大学 | 基于超声波录波信息的车辆轨迹跟踪方法与系统 |
CN109801279B (zh) * | 2019-01-21 | 2021-02-02 | 京东方科技集团股份有限公司 | 图像中的目标检测方法及装置、电子设备、存储介质 |
CN110852212A (zh) * | 2019-10-29 | 2020-02-28 | 上海眼控科技股份有限公司 | 一种用于车辆检测中检验操作对象的方法及设备 |
CN111368874B (zh) * | 2020-01-23 | 2022-11-15 | 天津大学 | 一种基于单分类技术的图像类别增量学习方法 |
CN111354021A (zh) * | 2020-02-14 | 2020-06-30 | 广东工业大学 | 一种基于目标识别及像素标记的目标跟踪方法 |
CN111582483B (zh) * | 2020-05-14 | 2022-12-13 | 哈尔滨工程大学 | 基于空间和通道联合注意力机制的无监督学习光流估计方法 |
CN113816326A (zh) * | 2020-06-18 | 2021-12-21 | 中国石油化工股份有限公司 | 用于控制加油装置的出油端的方法、装置和系统 |
CN112733436B (zh) * | 2020-12-29 | 2023-11-28 | 久融新能源科技有限公司 | 一种基于二维运动导引的充电及停车位识别方法 |
CN112990002B (zh) * | 2021-03-12 | 2023-04-18 | 吉林大学 | 下坡路上交通信号灯识别方法、系统及计算机可读介质 |
CN117253231B (zh) * | 2023-11-15 | 2024-01-26 | 四川弘和数智集团有限公司 | 一种油气站图像处理方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102110376A (zh) * | 2011-02-18 | 2011-06-29 | 汤一平 | 基于计算机视觉的路边停车位检测装置 |
CN103295021A (zh) * | 2012-02-24 | 2013-09-11 | 北京明日时尚信息技术有限公司 | 一种静态图片中车辆特征检测及识别的方法及系统 |
CN103870837A (zh) * | 2014-02-25 | 2014-06-18 | 奇瑞汽车股份有限公司 | 一种检测待检测区域内是否存在车辆的方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010208358A (ja) * | 2009-03-06 | 2010-09-24 | Toyota Industries Corp | 駐車支援装置 |
-
2015
- 2015-10-30 CN CN201510726868.4A patent/CN105809184B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102110376A (zh) * | 2011-02-18 | 2011-06-29 | 汤一平 | 基于计算机视觉的路边停车位检测装置 |
CN103295021A (zh) * | 2012-02-24 | 2013-09-11 | 北京明日时尚信息技术有限公司 | 一种静态图片中车辆特征检测及识别的方法及系统 |
CN103870837A (zh) * | 2014-02-25 | 2014-06-18 | 奇瑞汽车股份有限公司 | 一种检测待检测区域内是否存在车辆的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105809184A (zh) | 2016-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105809184B (zh) | 一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法 | |
CN109829403B (zh) | 一种基于深度学习的车辆防碰撞预警方法及系统 | |
CN111368687B (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
CN109190444B (zh) | 一种基于视频的收费车道车辆特征识别系统的实现方法 | |
CN108564814B (zh) | 一种基于图像的停车场车位检测方法及装置 | |
WO2019196131A1 (zh) | 面向车载热成像行人检测的感兴趣区域过滤方法和装置 | |
JP4942510B2 (ja) | 車両画像認識装置およびその方法 | |
CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
US10878259B2 (en) | Vehicle detecting method, nighttime vehicle detecting method based on dynamic light intensity and system thereof | |
Ap et al. | Automatic number plate detection in vehicles using faster R-CNN | |
Siogkas et al. | Random-walker monocular road detection in adverse conditions using automated spatiotemporal seed selection | |
CN103824081A (zh) | 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法 | |
CN112990065B (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
CN106919902A (zh) | 一种基于cnn的车辆识别和轨迹追踪方法 | |
CN110706235A (zh) | 一种基于双级级联分割的远红外行人检测方法 | |
CN111915583A (zh) | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 | |
Su et al. | A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification | |
Helala et al. | Road boundary detection in challenging scenarios | |
Zhou et al. | Hybridization of appearance and symmetry for vehicle-logo localization | |
Aradhya | Elegant and efficient algorithms for real time object detection, counting and classification for video surveillance applications from single fixed camera | |
CN117392638A (zh) | 一种服务于机器人场景的开放物体类别感知方法及装置 | |
Sridevi et al. | Vehicle identification based on the model | |
CN108647679B (zh) | 一种基于车窗粗定位的车标识别方法 | |
CN108288041B (zh) | 一种行人目标错检去除的预处理方法 | |
Niknejad et al. | Vehicle detection and tracking at nighttime for urban autonomous driving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |