CN101751785A - 基于图像处理的车牌自动识别方法 - Google Patents

Abstract

本发明涉及一种基于图像处理的车牌自动识别方法。目前车牌识别方法存在一定的弊端。本发明方法是采用基于支持向量机的方法对车牌字符进行识别，顺序包括车牌定位、倾斜校正、字符分割和字符识别。其中字符识别是采用支持向量机方法对车牌字符进行识别，首先进行字符特征提取，然后通过SVM训练，计算识别字符所需要的参数，利用训练得到的参数识别字符。本发明方法通过对拍摄的数字图像进行技术处理来识别车牌，具有成本低、操作方便等特点，同时该方法利用车辆的唯一标志作为识别车辆的依据，避免了作弊情况。

Description

基于图像处理的车牌自动识别方法

技术领域

本发明属于图像处理技术领域，涉及一种改进的基于图像处理的车牌自动识别方法，采用基于支持向量机的方法对车牌字符进行识别。

背景技术

随着我国经济的快速发展，城市规模和车辆数目急剧扩大，现有的交通能力已不能满足要求。交通堵塞、交通事故、环境污染等问题日益突出。一个新的学科领域：智能交通系统(Intelligent Transportation System，ITS)由此应运而生。车牌自动识别系统(License Plate Recognition，LPR)是智能交通领域中一个重要的课题，其任务是分析、处理车辆图像，自动识别车辆牌照。车牌识别技术主要涉及计算机视觉技术与模式匹配技术。车牌识别系统可以广泛应用于高速公路收费系统、公路流量监控、出入控制、停车场车辆管理等需要车牌认证的场合，从事车牌识别系统的研究具有重大的现实意义和巨大的经济价值。

目前车牌识别方法主要有：工C卡识别，该方法是在每辆汽车上安装一个微型电子信号接收和发射装置(IC卡)，当汽车通过设有车辆检测装备的路口时，工C卡系统将与路口的计算机系统进行对话，从而辨别出该车的车牌号码；条形码识别，是在车辆的侧面印刷条形码，将车牌牌照、车型等信息存储在条形码中，当车辆经过设有车辆检测装备的路口时，条形码扫描器读取车牌信息。工C卡识别方法识别率高，速度快，稳定可靠，但是需要对车辆系统进行大幅度改造，对硬件要求高，整套装置价格高昂，而且存在作弊隐患，即不同车之间可通过更换射频装置来逃避检查。条形码识别方法识别速度快、准确率高、可靠性强、成本低，但对条形码扫描器要求很高，而且需要制定出全国统一的标准，并且不同车之间可通过更换条形码来逃避检查，存在作弊隐患。

发明内容

本发明的目的就是针对现有技术的不足，提供一种基于图像处理的车牌自动识别方法，该方法是采用基于支持向量机的方法对车牌字符进行识别。

基于图像处理的车牌自动识别方法，该方法顺序包括车牌定位、倾斜校正、字符分割和字符识别，其特征是：

(1)车牌定位方法的具体步骤如下：

首先以像素为单位设变量H值为车牌照片的高度，变量W为车牌照片的宽度；取记录交界点的个数变量N为0，初始化车牌的上行像素高度START和下行像素高度END为0；

第一次扫描时设定变量K＝H，即从车辆照片的底部开始扫描，然后按以下操作：

(a)如果K＞0，扫描第K行，扫描方向从左到右，判断扫描到的每一个点是否为交界点，如该点颜色与背景色不同则该点为交界点，如果该点是交界点，则N加1，转入(b)，如果该点不是交界点继续扫描该行的下一个点；

如果K≤0，则扫描结束；

(b)如果N＞6，则此行为车牌交界线，转入(d)；如果N≤6，转入(c)；

(c)如果START≤0，则N重新赋值为0，K减1，转入(a)；如果START＞0，则N重新赋值为0，把K的值赋给END，计算START-END的值：如果START-END的值大于等于设定的阀值，确定扫描到车牌，则K自减1，转入(e)；如果START-END的值小于阀值，确定没有扫描到车牌，则K自减1，转入(f)；

(d)N重新赋值为0；如果START≤0，则START赋值为K，然后K自减1，转入(a)；如果START＞0，直接转入(a)；

(e)确定STRAT到END的这一区域存在车牌，则定位车牌，转入倾斜校正步骤；

(f)START和END重新都赋值为0，转入(a)；

(2)倾斜校正方法的具体步骤是：

(g)计算车牌下部轮廓线的斜率k：在下边框上的交界点中任意选一个作为起始点，计算该点与该点同侧的其他交界点连线的斜率，取平均斜率为车牌下部轮廓线的斜率k，得到倾斜角度α，α＝arctank；

(h)将车牌的矩形区域的左上脚顶点作为不动点进行整个矩形区域的旋转，设矩形四个顶点的坐标分别是：左上(left，top)、左下(left，down)、右上(right，top)、右下(right，down)；

对于这个区域内的任意一点(X₀，Y₀)，它和左上点的连线的倾斜度为 $\mathrm{\θ}=\arctan \left(\frac{Y_0-\mathrm{top}}{X_0-\mathrm{left}}\right);$ 该点变换后的坐标变为(X₁，Y₁)，变换式如下式：

对矩形区域中的每个点(X，Y)进行如下操作：

①将原始点(X，Y)的颜色信息赋给目标点，标记为(X₁，Y₁)，转入②；

②如果目标点的下邻点未被标记，则将原始点(X，Y)的颜色信息赋给点(X₁，1+Y₁)，转入③；

③如果目标点的右邻点未被标记，则原始点(X，Y)的颜色信息赋给点(X₁+1，Y₁)；

(3)字符分割方法的具体步骤是：

设车牌区域的上、下、左、右的边界坐标分别top、down、left、right，然后按照以下操作：

(i)第i条分割线的横坐标是它和横坐标

之间的区域是车牌第i个字符的区域，i＝1，2，3，4，5，方向是从右到左；

(j)第7条分割线的横坐标是

第6条分割线的横坐标是第7条分割线和第6条分割线之间的区域是车牌第一个字符的区域；第6条分割线和横坐标之间的区域是车牌第二个字符的区域；

(k)设第i条分割线的横坐标是X_i，分割线横坐标的波动范围为 $R(R=\mathrm{int}(\frac{1}{25}(\mathrm{right}-\mathrm{left})+0.5));$ 计算(x_i-R，X_i+R)范围内的每个横坐标所在列的白色像素数量；取白色像素数量最少的横坐标作为最终分割线的横坐标；

通过步骤(i)～(k)横向分割字符，然后通过以下步骤去掉铆钉干扰：

(m)计算从左到右方向第1、3、4、5、7个字符的最高点纵坐标，最高点纵坐标为高度H_i；

(n)对于高度集合{H₁，H₃，H₄，H₅，H₇}，除去其中最大点和最小点，对剩下的点取平均值，将这个平均值作为车牌区域新的top；

利用相同的方法计算新的down；

(4)字符识别的方法具体是：

(p)对字符外轮廓进行特征提取，外轮廓包括字符的上、下、左、右四个边界线；首先提取包含字符的最小矩形，得到字符的高和宽，提取最小矩形的方法采用步骤(3)相同的方法，得到四个顶点的坐标；特征提取就是取外轮廓上各个点的相对坐标，根据字符高度大于宽度的特征，在上、下两面各取3个点；在左、右两面各取4个点，这14个点加上字符宽比高的值，共15个特征向量；设包含字符的最小矩形的上、下、左、右边框的坐标分别为Y1、Y2、X1、X2；设置二维数组C[N]用于存储特征向量，N＝15；C[0]存放字符宽对高的比值((X2-X1)/(Y2-Y1))；

①对于上、下边界上点的提取方法如下：

对线段

从上到下或从下到上搜索第一个白色点A；如果A的左右相邻点的颜色为白色，则将该点存入数组C中，该点认为是字符上下边界上的点；否则继续向下或向上搜索；

②对于左、右边界上点的提取方法如下：

对线段

从左到右或从右到左搜索第一个白色点B，如果B的上下相邻点的颜色为白色，则将该点存入数组D中，该点认为是字符左右边界上的点；否则继续向右或向左搜索；

(q)对存储的特征向量采用支持向量机方法进行字符识别。

本发明方法通过对拍摄的数字图像通过综合图像处理技术和人工智能技术处理，来识别车牌，具有成本低、操作方便等特点。同时本发明方法利用车辆的唯一标志(即车牌)作为识别车辆的依据，避免了作弊情况。

附图说明

图1是本发明中字符分割示意图。

具体实施方式

本发明方法首先进行车牌定位，然后进行倾斜校正，最后进行字符分割和字符识别。

(1)车牌定位方法采用一种综合运用多种车牌特征的快速车牌定位算法，利用车牌纹理特征、颜色特征和几何特征来定位车牌。具体步骤如下：

首先以像素为单位设变量H值为车牌照片的高度，变量W为车牌照片的宽度。取记录交界点的个数变量N为0，初始化车牌的上行像素高度START和下行像素高度END为0。

第一次扫描时设定变量K＝H，即从车辆照片的底部开始扫描，然后按以下操作：

(a)如果K＞0，扫描第K行，扫描方向从左到右，判断扫描到的每一个点是否为交界点，如该点颜色与背景色不同则该点为交界点，如果该点是交界点，则N加1，转入(b)，如果该点不是交界点继续扫描该行的下一个点；

如果K≤0，则扫描结束；

(b)如果N＞6，则此行为车牌交界线，转入(d)；如果N≤6，转入(c)。

(c)判断START是否大于0：如果START≤0，则N重新赋值为0，K减1，转入(a)；如果START＞0，则N重新赋值为0，把K的值赋给END，计算START-END的值：如果START-END的值大于等于设定的阀值，确定扫描到车牌，(本实施例设阀值为5个像素)，则K自减1，转入(e)；如果START-END的值小于阀值，确定没有扫描到车牌，则K白减1，转入(f)。

(d)N重新赋值为0。如果START≤0，则START赋值为K，然后K自减1，转入(a)；如果START＞0，直接转入(a)。

(e)确定STRAT到END的这一区域存在车牌，定位车牌，转入倾斜校正步骤。

(f)START和END重新都赋值为0，转入(a)。

(2)倾斜校正方法具体步骤是：

(g)计算车牌下部轮廓线的斜率k：在下边框上的交界点中任意选一个作为起始点，计算该点与该点同侧的其他交界点连线的斜率，取平均斜率为车牌下部轮廓线的斜率k，得到倾斜角度α，α＝arctank。

(h)将车牌的矩形区域的左上脚顶点作为不动点进行整个矩形区域的旋转。

设矩形四个顶点的坐标分别是：左上(left，top)、左下(left，down)、右上(right，top)、右下(right，down)。

对于这个区域内的任意一点(X₀，Y₀)，它和左上点的连线的倾斜度为 $\mathrm{\θ}=\arctan \left(\frac{Y_0-\mathrm{top}}{X_0-\mathrm{left}}\right);$ 该点变换后的坐标变为(X₁，Y₁)，变换式如下式：

对矩形区域中的每个点(X，Y)进行如下操作：

①将原始点(X，Y)的颜色信息赋给目标点，标记为(X₁，Y₁)，转入②；

②如果目标点的下邻点未被标记，则将原始点(X，Y)的颜色信息赋给点(X₁，1+Y₁)，转入③；

③如果目标点的右邻点未被标记，则原始点(X，Y)的颜色信息赋给点(X₁+1，Y₁)。

(3)字符分割是从两端开始分割，把车牌字符中的圆点孤立出来，从而减少圆点的干扰。设车牌区域的上、下、左、右的边界坐标分别top、down、left、right，现实中车牌字符宽度为整个车牌宽度的2/15。如图1所示，图中虚线为分割线。

具体方法是：

(i)第i条分割线的横坐标是

它和横坐标

之间的区域是车牌第i个字符的区域(方向从右到左，i＝1，2，3，4，5)。这样就基本上定出了车牌后5个字符的分割线。

(j)第7条分割线的横坐标是

第6条分割线的横坐标是

第7条分割线和第6条分割线之间的区域是车牌第一个字符的区域。第6条分割线和横坐标

之间的区域是车牌第二个字符的区域。之所以把车牌区域分为两部分分割是为了避开第2个字符和第3个字符之间的圆点间隔符。

(k)设第i条分割线的横坐标是X_i，分割线的波动范围为 $R(R=\mathrm{int}(\frac{1}{25}(\mathrm{right}-\mathrm{left})+0.5)).$ 对范围(X_i-R，X_i+R)内每个x，计算这个x所在列的白色像素数量(列的上、下限是top和left，这里判别白色的条件变为灰度值G是否比二值化处理中得到的阀值大，如果G大于阀值，则认为是白色)。取白色像素数量最少的那个x作为最终分割线的位置。

通过步骤(i)～(k)横向分割字符，假设第i个字符的左右两个分割线坐标分别为L_i和R_i下面几个步骤去掉铆钉等干扰。

(m)计算从左到右方向第1、3、4、5、7个字符的最高点纵坐标，最高点纵坐标为高度H_i。

(n)对于高度集合{H₁，H₃，H₄，H₅，H₇}，除去其中最大点和最小点，对剩下的点取平均值，将这个平均值作为车牌区域新的top。这样就可以把铆钉部分和字符部分割开。

利用相同的方法计算新的down。

(4)字符识别的方法具体是：

(p)对字符外轮廓进行特征提取，外轮廓包括字符的上、下、左、右四个边界线。首先提取包含字符的最小矩形，得到字符的高和宽；特征提取主要是取外轮廓上各个点的相对坐标(横坐标和纵坐标分别是相对字符宽度和高度的比值)，根据字符高度大于宽度的特征，在上、下两面各取3个点。在左、右两面各取4个点，这14个点加上字符宽比高的值，共15个。即提取的字符特征是15维的。设包含字符的最小矩形的上、下、左、右分别为Y1、Y2、X1、X2。设置二维数组C[N]用于存储特征向量，N＝15。C[0]存放字符宽对高的比值((X2-X1)/(Y2-Y1))。

①对于上、下边界上点的提取方法如下：

对线段

从上到下或从下到上搜索第一个白色点A；如果A的左右相邻点的颜色为白色，则将该点存入数组C中，该点认为是字符上下边界上的点；否则继续向下或向上搜索。

②对于左、右边界上点的提取方法如下：

对线段

从左到右或从右到左搜索第一个白色点B，如果B的上下相邻点的颜色为白色，则将该点存入数组D中，该点认为是字符左右边界上的点；否则继续向右或向左搜索。

(q)对存储的特征向量采用支持向量机方法进行字符识别。

采用支持向量机方法进行字符识别利用成熟的现有技术，在libsvm上单独进行。

Claims (1)

1.基于图像处理的车牌自动识别方法，该方法顺序包括车牌定位、倾斜校正、字符分割和字符识别，其特征是：

(1)车牌定位方法的具体步骤如下：

首先以像素为单位设变量H值为车牌照片的高度，变量W为车牌照片的宽度；取记录交界点的个数变量N为0，初始化车牌的上行像素高度START和下行像素高度END为0；

第一次扫描时设定变量K＝H，即从车辆照片的底部开始扫描，然后按以下操作：

(a)如果K＞0，扫描第K行，扫描方向从左到右，判断扫描到的每一个点是否为交界点，如该点颜色与背景色不同则该点为交界点，如果该点是交界点，则N加1，转入(b)，如果该点不是交界点继续扫描该行的下一个点；

如果K≤0，则扫描结束；

(b)如果N＞6，则此行为车牌交界线，转入(d)；如果N≤6，转入(c)；

(c)如果START≤0，则N重新赋值为0，K减1，转入(a)；如果START＞0，则N重新赋值为0，把K的值赋给END，计算START-END的值：如果START-END的值大于等于设定的阀值，确定扫描到车牌，则K自减1，转入(e)；如果START-END的值小于阀值，确定没有扫描到车牌，则K自减1，转入(f)；

(d)N重新赋值为0；如果START≤0，则START赋值为K，然后K自减1，转入(a)；如果START＞0，直接转入(a)；

(e)确定STRAT到END的这一区域存在车牌，则定位车牌，转入倾斜校正步骤；

(f)START和END重新都赋值为0，转入(a)；

(2)倾斜校正方法的具体步骤是：

(g)计算车牌下部轮廓线的斜率k：在下边框上的交界点中任意选一个作为起始点，计算该点与该点同侧的其他交界点连线的斜率，取平均斜率为车牌下部轮廓线的斜率k，得到倾斜角度α，α＝arctank；

(h)将车牌的矩形区域的左上脚顶点作为不动点进行整个矩形区域的旋转，设矩形四个顶点的坐标分别是：左上(left，top)、左下(left，down)、右上(right，top)、右下(right，down)；

对于这个区域内的任意一点(X₀，Y₀)，它和左上点的连线的倾斜度为 $\mathrm{\θ}=\arctan \left(\frac{Y_0-\mathrm{top}}{X_0-\mathrm{left}}\right)$ ；该点变换后的坐标变为(X₁，Y₁)，变换式如下式：

$\left\{\begin{array}{c}c=X_0-\mathrm{left}\\ d=Y_0-\mathrm{top}\\ X_1=\mathrm{int}(\mathrm{left}+\mathrm{sqrt}(c^2+d^2)\cos (\mathrm{\θ}+\mathrm{\α}))\\ Y_1=\mathrm{int}(\mathrm{top}+\mathrm{sqrt}(c^2+d^2)\sin (\mathrm{\θ}+\mathrm{\α}))\end{array}\right.$

对矩形区域中的每个点(X，Y)进行如下操作：

①将原始点(X，Y)的颜色信息赋给目标点，标记为(X₁，Y₁)，转入②；

②如果目标点的下邻点未被标记，则将原始点(X，Y)的颜色信息赋给点(X₁，1+Y₁)，转入③；

③如果目标点的右邻点未被标记，则原始点(X，Y)的颜色信息赋给点(X₁+1，Y₁)；

(3)字符分割方法的具体步骤是：

设车牌区域的上、下、左、右的边界坐标分别top、down、left、right，然后按照以下操作：

(i)第i条分割线的横坐标是

，它和横坐标之间的区域是车牌第i个字符的区域，i＝1，2，3，4，5，方向是从右到左；

(j)第7条分割线的横坐标是

，第6条分割线的横坐标是

，第7条分割线和第6条分割线之间的区域是车牌第一个字符的区域；第6条分割线和横坐标

之间的区域是车牌第二个字符的区域；

(k)设第i条分割线的横坐标是X_i，分割线横坐标的波动范围为 $R(R=\mathrm{int}(\frac{1}{25}(\mathrm{right}-\mathrm{left})+0.5))$ ；计算(X_i-R，X_i+R)范围内的每个横坐标所在列的白色像素数量；取白色像素数量最少的横坐标作为最终分割线的横坐标；

通过步骤(i)～(k)横向分割字符，然后通过以下步骤去掉铆钉干扰：

(m)计算从左到右方向第1、3、4、5、7个字符的最高点纵坐标，最高点纵坐标为高度H_i；

(n)对于高度集合{H₁，H₃，H₄，H₅，H₇}，除去其中最大点和最小点，对剩下的点取平均值，将这个平均值作为车牌区域新的top；

利用相同的方法计算新的down；

(4)字符识别的方法具体是：

(p)对字符外轮廓进行特征提取，外轮廓包括字符的上、下、左、右四个边界线；首先提取包含字符的最小矩形，得到字符的高和宽，提取最小矩形的方法采用步骤(3)相同的方法，得到四个顶点的坐标；特征提取就是取外轮廓上各个点的相对坐标，根据字符高度大于宽度的特征，在上、下两面各取3个点；在左、右两面各取4个点，这14个点加上字符宽比高的值，共15个特征向量；设包含字符的最小矩形的上、下、左、右边框的坐标分别为Y1、Y2、X1、X2；设置二维数组C[N]用于存储特征向量，N＝15；C[0]存放字符宽对高的比值((X2-X1)/(Y2-Y1))；

①对于上、下边界上点的提取方法如下：

对线段 $X=(\frac{X1+X2}{2}+k\left(\frac{X2-X1}{4}\right))(Y1<Y<Y2,k=-\mathrm{1,0,1})$ ，从上到下或从下到上搜索第一个白色点A；如果A的左右相邻点的颜色为白色，则将该点存入数组C中，该点认为是字符上下边界上的点；否则继续向下或向上搜索；

②对于左、右边界上点的提取方法如下：

对线段 $Y=(\frac{Y1+Y2}{2}+k\left(\frac{Y2-Y1}{5}\right))(X1<X<X2,k=\mathrm{1,2,3,4})$ ，从左到右或从右到左搜索第一个白色点B，如果B的上下相邻点的颜色为白色，则将该点存入数组D中，该点认为是字符左右边界上的点；否则继续向右或向左搜索；

(q)对存储的特征向量采用支持向量机方法进行字符识别。

Images