CN102708356A - 一种基于复杂背景下的车牌自动定位和识别方法 - Google Patents

Abstract

本发明涉及一种基于复杂背景下的车牌自动定位和识别方法，采集的图像可以由交警或者管理人员应用数码相机在各种工作条件下随时拍摄汽车图片而并非固定在某个位置或者路口进行采集，针对这些随机情况实现车牌的自动定位和识别。该方法按以下步骤进行：采集车牌图像；对彩色图像进行转换；获取车牌图像边缘信息；获取候选车牌区域图像；精确定位出车牌字符区域；对字符进行单字符分割；最后，使用BP神经网络实现车牌字符的识别。本发明可有效的提取出复杂背景下的车牌图像，具有准确度高等优点。

Description

一种基于复杂背景下的车牌自动定位和识别方法

技术领域：

本发明涉及一种车牌的定位和识别方法，特别是涉及一种基于复杂背景下的车牌自动定位和识别方法。 

背景技术：

车牌自动识别系统(License Plate Recognition，LPR)是ITS实际应用中的重要组成部分，在交通控制和监视系统中占有重要的地位。LPR在现代社会生活中应用于很多方面，从最开始的停车场车辆管理、违章车辆查询、高速路收费系统、小区出入登记情况这些静态或低速车牌识别系统发展到交通岗车辆的违规行驶、高速路监测等运动中的牌照识别系统，这就使得LPR技术在保证牌照识别准确的同时要求系统兼具更好的实时性。 

车牌识别系统的关键技术包括车牌的定位、字符的分割和识别，各部分的算法已经很成熟，国外起步比较早，典型代表有：R.Mullot等开发了集装箱识别系统，并成功使用到LPR中，这种LPR技术主要是利用字符纹理对车牌进行定位与识别；EunRyung等利用图片颜色特征进行车牌的定位识别；D.W.Tindail利用车牌反光的原理开发出一种车牌识别系统，该系统可自动识别全部5种英国格式的车牌。国内典型代表有：浙江大学的张引提出了彩色图像边缘检测算子Prewitt和彩色边缘检测与区域生成相结合的牌照定位算法；清华大学的陈寅鹏提出了一种综合多种特征的车牌定位算法和一个基于模板匹配的字符分割算法；天津大学的李刚等提出一种基于数学形态学的车牌定位的算法；四川大学的王娟等提出了基于改进的形态学二分法的车牌定位方法。 

正常情况即没有复杂背景的干扰下，车牌区域的纹理信息是比较清晰的， 但是在复杂背景、光照变化这些不利因素影响下的车牌识别系统仍是难点，固定在某个位置或者路口获取汽车图像在环境、背景上都显得单一，而且违章的车辆往往会出现在没有摄像头的地方，这给交警和管理人员带来了麻烦，所以交警和管理人员可以利用数码相机采集图像，这种采集方式具有随机性，但是汽车图片的环境和背景就会比固定摄像采集要复杂的多，因此设计一套系统可以针对不同的复杂背景中的车牌进行定位、分割和识别具有非常大的实际意义。 

发明内容：

发明目的： 

本发明涉及一种基于复杂背景下的车牌自动定位和识别方法，其目的是设计出一种可以针对非固定摄像头即利用数码相机，在随走随拍的情况下不同的环境(包括晴天、阴天、黑天)、背景(广告牌、光照不均等)中的汽车图像进行车牌区域定位、字符分割和字符识别的方法。通过对图库进行实验验证算法的可行性，可以依据算法进行嵌入式系统的研究，最终实现对摄像头监测不到的违章车辆进行实时检测和记录，减轻了交警和管理人员的工作量。 

技术方案： 

本发明是通过以下技术方案来实现的： 

一种基于复杂背景下的车牌自动定位和识别方法，其特征在于：图像采集是由交警或者管理人员在各种工作条件下随时拍摄的汽车图片，而不是固定在某个位置或者路口的图像获取方式，这种采集方式具有随机性，针对这些复杂背景下采集的汽车图片进行车牌定位、字符分割和识别，该方法步骤如下： 

(1)对车牌进行定位：采集车牌图像，并将数码相机随机采集的车牌图像输入到计算机中，对车牌图像进行处理，包括汽车图像的倾斜校正、车体区域图像的灰度化、边缘检测、阈值分割、形态学运算，得到若干的连通区域，根 据投影法搜索车牌区域，利用车牌宽高比、面积等牌照特有的性质对牌照区域进行修正，得到候选车牌区域图像，具体步骤如下： 

1)由于采集到的图像可能出现偏转，需要对这部分的图像采用Radon变换对倾斜的车牌图像进行校正，先计算倾角，然后对倾斜图像利用坐标变换公式进行校正，如公式(1)和(2)所示；为了进行对牌照图像的旋转，首先选定旋转中心，以车牌照图像几何中心位置作为旋转中心来进行旋转；将汽车的图像转化为二值图；取角度从0到179度，每次增加1度，对二值图像作Radon变换；在所有R_θ(x′)结果中取最大值；找到与该最大值对应的角度θ；由于θ与图像的倾斜方向垂直，取逆时针为正方向，得出图像的倾斜角度为θ-90°； 

$R_{\mathrm{\θ}}\left(x^{\′}\right)={\∫}_{-\∞}^{\∞}f(x^{\′}\cos \mathrm{\θ}-y^{\′}\sin \mathrm{\θ},x^{\′}\sin \mathrm{\θ}+y^{\′}\cos \mathrm{\θ}){\mathrm{dy}}^{\′}---\left(1\right),$

$\left\{\begin{array}{c}{x}^{\′}=x\cos +y\sin \mathrm{\θ}\\ y^{\′}=-x\sin \mathrm{\θ}+y\cos \mathrm{\θ}\end{array}\right.---\left(2\right);$

2)利用公式gray＝0.299R+0.587G+0.114B对车牌图像进行灰度计算； 

3)为找到车牌区域，首先要加强车牌区域的边缘梯度信息，利用改进累积绝对差分算法对车牌图像的灰度信息进行垂直边缘检测，对于点(i，j)对应的灰度值为f(i，j)，则该点相邻的上、中、下方向上像素点表示为(i，j-1)、(i，j)、(i，j+1)所对应的灰度值为f(i，j-1)、f(i，j)、f(i，j+1)，对应算法为公式(3)： 

E(i，j)＝|f(i，j+1)-f(i，j)-(f(i，j)    (3)； 

-f(i，j-1))-(f(i，j+1)-f(i，j-1))| 

4)得到了灰度图像的垂直边缘点，再利用归一化公式(4)，将边缘灰度信息归一化： 

E(i，j)＝(255/(max(i，j)-min(i，j))    (4) 

*(E(i，j)-min(i，j))) 

式中，max(i，j)为E(i，j)中的最大灰度级，min(i，j)是最小灰度级； 

5)对归一化后的边缘图像求出边缘像素密度作为初始阈值T公式(5)，然 后利用公式(6)进行形态学闭运算，针对边缘图像数学形态学处理后的二值图像求阈值Average如公式(7)，分割的阈值利用Average对初始阈值进行修正T-Average，由于大量实验表明车牌的边缘密度占整个图像的3％左右，因此利用公式(5)～(7)循环判断T-Average的值，当T-Average＝0.03左右，循环停止，这样找到的阈值更具有通用性，可针对多种复杂情况的图片实现阈值分割； 

$T=\mathrm{\α}*\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\max [E(1,j),E(2,j),E(3,j),...,E(m,j)]}{n}---\left(5\right),$

式中，m、n是图像的行、列数，α是系数，根据汽车车牌区域的垂直边缘信息和背景信息的区别α通常取0.5， 

$A\·B=\left(\mathrm{A\ΘB}\right)\⊕B---\left(6\right),$

$\mathrm{Average}=\frac{\underset{x=1}{\overset{m}{\mathrm{\Σ}}}\underset{y=1}{\overset{n}{\mathrm{\Σ}}}f(x,y)}{m*n}---\left(7\right),$

式中，f(x，y)为对边缘图像进行形态学处理后的像素点(x，y)对应的值，得到的Average可以看成是边缘像素密度； 

6)结合车牌字符的纹理特征对车牌区域进行定位，通过水平和垂直搜索黑白像素跳变的规律来判断真实的车牌区域。具体为：得到预处理后的图像对其进行自下而上和自左而右的扫描，判断扫描线与候选区域的交点个数，从而得到候选车牌区域； 

(2)对步骤(1)获取的车牌图像进行处理，包括灰度化、二值化，然后对处理后的二值图像进行单个字符分割，具体步骤为： 

1)按照步骤(1.2)对得到的彩色车牌区域进行灰度化； 

2)利用Otsu方法对牌照区域的灰度图像进行阈值分割，如公式(8)和公式(9)求出 和 

取比值得到分割阈值。 

${\mathrm{\σ}}_B^2={\mathrm{\ω}}_1{({\mathrm{\μ}}_1-\stackrel{\‾}{\mathrm{\μ}})}^2+{\mathrm{\ω}}_2{({\mathrm{\μ}}_2-\stackrel{\‾}{\mathrm{\μ}})}^2---\left(8\right)$

${\mathrm{\σ}}_A^2={\mathrm{\ω}}_1{\mathrm{\σ}}_1^2+{\mathrm{\ω}}_2{\mathrm{\σ}}_2^2---\left(9\right)$

3)采用基于垂直投影的车牌字符分割，对于车牌二值图像f(i，j)大小为M*N，定义f(i，j)在j行上的垂直投影函数为式(10)所示， 

$h\left(j\right)=\underset{j}{\overset{M}{\mathrm{\Σ}}}f(i,j),$ j＝1，2，3…N    (10)， 

由于每个字符之间有比较明显的间隔，通过在垂直方向上的投影就会在这些间隔处产生波谷，对车牌的字符进行单个字符分割就依靠这些波谷信息，但是对于牌照不清晰或者损坏严重的车牌，经过灰度化、二值化等一些预处理后会出现字符之间粘连的现象，这样会导致错误的将字符分开，造成字符减少或者多于信息出现，此时就需要用车牌的一些比例关系的先验知识，具体如下所示： 

(1)牌照字符的宽度与总宽度比：10.2％； 

(2)字符间隙与总宽度比：2.7％； 

(3)二三字符间距与总宽度比：7.8％； 

(4)字符“1”宽度与总宽度比：3.1％； 

(5)字符“1”宽度与普通字符宽度比：30％。 

车牌字符中间隙最大的是第2、3个字符间距，以此处为参考点，利用此处零值的边界就可以找到第2个字符的右边界和第3个字符的左边界。接着分别向左和右扫描，如果扫描到的字符它的垂直方向上的投影的宽度<T₁则需要将字符合并起来，如果>T₂(T₁<T₂)，还需要进一步分割，若在这两个值之间，就不需要处理。确定需要合并时，继续判断这个字符的左右两边宽度，如果判断出来左边字符的宽度<T₁，则该字符与左边字符合并，如果右边字符宽度<T₁，则该字符与右边字符合并。如果还要继续分割字符，就是要将两边的一个字符中的部分笔画误当成了该字符，在左右两边就会需要合并，找到<T₁部分合并，再取合 并后的字符中点作为分割的边界就可以了。阈值由下式（11）所得。 

$\left\{\begin{array}{c}{T}_1=70\%\&times;\mathrm{width}\&times;10.2\%\\ T_2=(1+30\%)\&times;\mathrm{width}\&times;10.2\%\end{array}\right.---\left(11\right)$

其中width是图片的总宽度。 

(3)利用BP神经网络实现车牌字符的识别： 

BP网络3个层的神经元数目的确定是BP网络设计的关键： 

1)输入层个数： 

BP网络的输入层的节点个数，即为归一化图像所输出的特征的维数，用8*16归一化特征提取采用的是逐像素特征提取法，这样，对于每一个输入样本，就有8*16个特征，所以输入层的结点个数为1280； 

2)隐层结点个数： 

对于隐层的结点个数，OCR系统的神经网络的隐层个数一般在8～30个结点之间；根据测试结果不断改变结点数目可以在上述范围内确定较好的隐层结点个数； 

3)输出层结点个数： 

对于输出层结点个数的确定，取决于如何设定标准输出； 

神经网络一般都有一个激励函数，激励函数将输出信号压缩为一个允许的范围内，使其成为有限值，通常神经元输出的范围在(0，1)或者(-1，1)的闭区间上，常用的为Sigmoid函数，Sigmoid函数定义如公式(12)： 

$f\left(x\right)=\frac{1}{1+e^{-x}}---\left(12\right)$

优点及效果： 

本发明为解决复杂背景给车牌识别系统带来的难题，提出了一种基于复杂背景下的车牌自动定位和识别方法，本发明在传统方法的基础上提出了一种基 于改进累积绝对差分方法的边缘检测和阈值分割的车牌定位方法，先利用改进累积绝对差分方法求出车牌图像的垂直边缘，再运用自适应阈值分割法与形态学方法结合对图像进行预处理，再用投影法进行水平和垂直的搜索，最后剔除伪区域，定位出车牌部分。再对车牌图像进行字符的分割和神经网络的识别，可以将定位出的车牌图像的字母和数字部分准确识别出来。 

该方法对比其他方法有时间短，准确率高的优点，特别是在车牌区域检测方面，可以针对数码相机在白天、阴天、夜间采集到包括反光、阴影、远距离等情况的汽车图像准确的将车牌区域检测出来。该方法是一个完整的车牌定位和识别系统，可生成界面，手动选择图片自动生成车牌定位结果图和识别结果，帮助准确记录违章车辆，减少工作人员的工作量，也可开发嵌入式系统，实现车牌的在线检测。 

四、附图说明：

图1为数码相机采集到的汽车图片； 

图2为对倾斜的车牌进行校正后的图像； 

图3为车牌定位流程图； 

图4为彩图转换为灰度图； 

图5为采用改进累积绝对差分方法对车牌图像进行垂直边缘检测并与其他边缘检测方法比较； 

图6为阈值分割后图像； 

图7为水平和垂直扫描后汽车牌照定位图； 

图8为针对图1进行的车牌定位示意图； 

图9为车牌字符分割流程图； 

图10为对车牌字符进行单个字符分割； 

图11为给出神经网络识别字母和数字的结果。 

具体实施方式：

下面结合附图和具体的实施方式对本发明做进一步的说明： 

本发明涉及一种基于复杂背景下的车牌自动定位和识别方法，图像采集方式是由交警或者管理人员在各种工作条件下随时拍摄，而不是固定在某个位置或者路口获取图像方式，这种采集方式具有随机性，例如可以随手拍下没有摄像头拍摄的道路上的违章车辆，针对这些复杂背景下采集的汽车图片进行车牌定位、字符分割和识别，该方法步骤如下：采集车牌图像；对彩色图像进行转换；获取车牌图像边缘信息；获取候选车牌区域图像；精确定位出车牌字符区域；对字符进行单字符分割；使用BP神经网络实现车牌字符的识别。 

具体步骤如下： 

(1)将数码相机随机采集的不同场景和环境的车牌图像输入到计算机中，对车牌图像进行处理，包括汽车图像的倾斜校正、车体区域图像的灰度化、边缘检测、阈值分割、形态学运算，得到若干的连通区域，根据投影法搜索车牌区域，利用车牌宽高比、面积等牌照特有的性质对牌照区域进行修正，得到候选车牌区域图像，具体步骤如下： 

1)由于采集到的图像可能出现偏转，需要对这部分的图像采用Radon变换对倾斜的车牌图像进行校正，先计算倾角，然后对倾斜图像利用坐标变换公式进行校正，如公式(1)和(2)所示；为了进行对牌照图像的旋转，首先选定旋转中心，以车牌照图像几何中心位置作为旋转中心来进行旋转；将汽车的图像转化为二值图；取角度从0到179度，每次增加1度，对二值图像作Radon变换；在所有R_θ(x′)结果中取最大值；找到与该最大值对应的角度θ；由于θ与图像的倾斜方向垂直，取逆时针为正方向，得出图像的倾斜角度为θ-90°； 

$R_{\mathrm{\&theta;}}\left(x^{\&prime;}\right)={\&Integral;}_{-\&infin;}^{\&infin;}f(x^{\&prime;}\cos \mathrm{\&theta;}-y^{\&prime;}\sin \mathrm{\&theta;},x^{\&prime;}\sin \mathrm{\&theta;}+y^{\&prime;}\cos \mathrm{\&theta;}){\mathrm{dy}}^{\&prime;}---\left(1\right),$

$\left\{\begin{array}{c}{x}^{\&prime;}=x\cos +y\sin \mathrm{\&theta;}\\ y^{\&prime;}=-x\sin \mathrm{\&theta;}+y\cos \mathrm{\&theta;}\end{array}\right.---\left(2\right);$

2)利用公式gray＝0.299R+0.587G+0.114B对车牌图像进行灰度计算； 

3)为找到车牌区域，首先要加强车牌区域的边缘梯度信息，利用改进累积绝对差分算法对车牌图像的灰度信息进行垂直边缘检测，对于点(i，j)对应的灰度值为f(i，j)，则该点相邻的上、中、下方向上像素点表示为(i，j-1)、(i，j)、(i，j+1)所对应的灰度值为f(i，j-1)、f(i，j)、f(i，j+1)，对应算法为公式(3)： 

E(i，j)＝|f(i，j+1)-f(i，j)-(f(i，j)    (3)； 

-f(i，j-1))-(f(i，j+1)-f(i，j-1))| 

4)得到了灰度图像的垂直边缘点，再利用归一化公式(4)，将边缘灰度信息归一化： 

E(i，j)＝(255/(max(i，j)-min(i，j))    (4) 

*(E(i，j)-min(i，j))) 

式中，max(i，j)为E(i，j)中的最大灰度级，min(i，j)是最小灰度级； 

5)对归一化后的边缘图像求出边缘像素密度作为初始阈值T公式(5)，然后利用公式(6)进行形态学闭运算，针对边缘图像数学形态学处理后的二值图像求阈值Average如公式(7)，分割的阈值利用Average对初始阈值进行修正T-Average，由于大量实验表明车牌的边缘密度大约占整个图像的3％左右，因此利用公式(5)～(7)循环判断T-Average的值，当T-Average＝0.03左右，循环停止，这样找到的阈值更具有通用性，可针对多种复杂情况的图片实现阈值分割； 

$T=\mathrm{\&alpha;}*\frac{\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\max [E(1,j),E(2,j),E(3,j),...,E(m,j)]}{n}---\left(5\right),$

式(5)中，m、n是图像的行、列数，α是系数，根据汽车车牌区域的垂直边缘信息和背景信息的区别α通常取0.5， 

$A\&CenterDot;B=\left(\mathrm{A\&Theta;B}\right)\&CirclePlus;B---\left(6\right),$

$\mathrm{Average}=\frac{\underset{x=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{n}{\mathrm{\&Sigma;}}}f(x,y)}{m*n}---\left(7\right);$

式(7)中，f(x，y)为对边缘图像进行形态学处理后的像素点(x，y)对应的值，得到的Average可以看成是边缘像素密度； 

6)结合车牌字符的纹理特征对车牌区域进行定位，通过水平和垂直搜索黑白像素跳变的规律来判断真实的车牌区域。具体为：得到预处理后的图像对其进行自下而上和自左而右的扫描，判断扫描线与候选区域的交点个数，从而得到候选车牌区域； 

(2)对步骤(1)获取的车牌图像进行处理，包括灰度化、二值化，然后对处理后的二值图像进行单个字符分割，具体步骤为： 

1)按照步骤(1.2)对得到的彩色车牌区域进行灰度化； 

2)利用Otsu方法对牌照区域的灰度图像进行阈值分割，如公式(8)和公式(9)求出 

和 

取比值得到分割阈值。 

${\mathrm{\&sigma;}}_B^2={\mathrm{\&omega;}}_1{({\mathrm{\&mu;}}_1-\stackrel{\&OverBar;}{\mathrm{\&mu;}})}^2+{\mathrm{\&omega;}}_2{({\mathrm{\&mu;}}_2-\stackrel{\&OverBar;}{\mathrm{\&mu;}})}^2---\left(8\right)$

${\mathrm{\&sigma;}}_A^2={\mathrm{\&omega;}}_1{\mathrm{\&sigma;}}_1^2+{\mathrm{\&omega;}}_2{\mathrm{\&sigma;}}_2^2---\left(9\right)$

3)采用基于垂直投影的车牌字符分割，对于车牌二值图像f(i，j)大小为M*N，定义f(i，j)在j行上的垂直投影函数为式(10)所示， 

$h\left(j\right)=\underset{j}{\overset{M}{\mathrm{\&Sigma;}}}f(i,j),$ j＝1，2，3…N    (10)， 

由于字符之间存在间隔，那么垂直投影就会在间隔处存在波谷，可以利用这一信息对字符进行单个字符分割，但需要注意的是，对于一些模糊或者划痕过于严重的车牌，在预处理后会出现字符之间粘连的现象，这样会造成字符被错误分开，此时就需要用车牌字符宽度与总宽度比为10.2％这一先验知识设定 阈值T₁和T₂，进行分割，其中W是图片的总宽度， 

$\left\{\begin{array}{c}{T}_1=70\%\&times;W\&times;10.2\%\\ T_2=(1+30\%)\&times;W\&times;10.2\%\end{array}\right.---\left(11\right)$

因为二三字符间距是整个间隙中最大最明显的，所以以此为参考点，利用该零值的边界就可以找到第二个字符的右边界和第三个字符的左边界；接着分别向左和右扫描字符，如果扫描到的字符垂直投影宽度小于阈值T₁需要合并字符，如果大于阈值T₂(T₁＜T₂)，则还需要进一步分割，若在这两个值之间，就不需要处理；确定需要合并的话，则继续判断该字符的左右两边字符宽度，如果左边字符宽度小于T₁，则该字符与左边字符合并，如果右边字符宽度小于T₁，则该字符与右边字符合并；确定需要继续分割的话，那么就是要将两边的一个字符中的部分笔画误当成了该字符，在左右两边就会需要合并，找到小于T₁部分并合并，再取合并的字符重点作为分割的边界就可以了；这样会有效的避免铆钉、边框和非字符图像的影响。 

(3)利用BP神经网络实现车牌字符(数字和字母)的识别： 

神经网络一般都有一个激励函数，激励函数将输出信号压缩为一个允许的范围内，使其成为有限值，通常神经元输出的范围在(0，1)或者(-1，1)的闭区间上，常用的为Sigmoid函数，Sigmoid函数定义如公式(12)： 

$f\left(x\right)=\frac{1}{1+e^{-x}}---\left(12\right).$

所述步骤(3)中BP网络3个层的神经元数目的确定是BP网络设计的关键： 

1)输入层个数： 

BP网络的输入层的节点个数，即为归一化图像所输出的特征的维数，本发明用8*16归一化特征提取采用的是逐像素特征提取法，这样，对于每一个输入样本，就有8*16个特征，所以输入层的结点个数为1280； 

2)隐层结点个数： 

对于隐层的结点个数，没有什么硬性规定，一般来说，隐层神经元的数目多那么BP也就越精确，训练时间也越长；但是，隐层神经元不易选取太多，否则会造成识别率的下降，也会降低网络的抗噪能力；根据经验，OCR系统的神经网络的隐层个数一般在8～30个结点之间；根据测试结果不断改变结点数目可以在上述范围内确定较好的隐层结点个数； 

3)输出层结点个数： 

对于输出层结点个数的确定，取决于如何设定标准输出；对于0～9之间的字输出个数就为10，所以结点个数可以取10；但是，在实际的处理中，一般需要对输出进行编码输出，例如对于0～9这10个数字，就可以进行8421编码方式进行编码，这样的话输出层的个数就降为4个。 

下面通过具体的实施例，并结合附图，对本发明的技术方案作进一步具体的说明。 

实施例：参照图1～图11，一种基于复杂背景下的车牌自动定位和识别方法，步骤如下： 

(1)利用数码相机在室外分别针对晴天、阴天、夜间情况采集到的图像如图一所示采集的图像，采集的图片会出现倾斜的情况，利用radon变换求出图像偏转的角度，根据偏转的角度对图像进行旋转校正，校正如图2所示。 

(2)图3是将彩色的汽车图像进行处理得到车牌定位和识别结果的过程流程图。将彩色图像转化成灰度图像如图4所示，得到图像的灰度信息后，要对图像进行一系列预处理，包括边缘检测、阈值分割、形态学处理。利用改进累积绝对差分算法对车牌图像的灰度信息进行垂直边缘检测，这种方法可以有效的突显出边缘信息，比常用的边缘检测更能显示出车牌区域信息，找到边缘后对图像 进行归一化再确定了初始阈值后对图像进行初始分割得到图像5，该图中还显示了与其他常用方法的比较，明显看出利用本次发明方法可以很好显示车牌部分边缘信息。 

(3)对初始阈值进行循环判断，是否满足T-Average＝0.03的条件，如果满足，利用此时的阈值对图像进行分割得到图6，该图下部分就是车牌区域部分，此时还有一些不属于车牌区域的干扰。 

(4)结合车牌字符的纹理特征对车牌区域进行定位，通过水平和垂直搜索黑白像素跳变的规律来判断真实的车牌区域。具体为：得到预处理后的图像对其进行自下而上和自左而右的扫描，判断扫描线与候选区域的交点个数，从而得到候选车牌区域如图7所示，图8是针对各种情况采集的图片做定位的处理。 

(5)对彩色的车牌图像进行灰度变换和利用OTSU方法二值化处理，对得到的二值图像进行字符分割，图9所示是字符分割的流程，图10显示字符分割的结果。 

(6)利用BP神经网络实现车牌字符的识别，图11显示字符的数字和字母的识别结果。 

针对各种不同的环境条件，用数码相机在路口、小区、停车场等地方以不同的光照条件、时间、距离为实验背景进行采集，获取了200幅图像进行测试实验，该方法目标定位准确度可以达到92.5％，识别率能达到97.5，经过实验证明，本发明方法可以有效的提取出复杂背景下(包括光照变化、视角变化、距离变化以及夜间)的车牌图像，具有良好的鲁棒性。证明该方法有很好的定位、识别的准确度和工程实用性，适于推广应用。 

Claims (1)

1.一种基于复杂背景下的车牌自动定位和识别方法，其特征在于：图像采集是由交警或者管理人员在随机的情况下拍摄的汽车图片，采集的方式不是固定在某个位置或者路口，而是随走随拍的方式，这种采集方式具有随机性，针对这些复杂背景下采集的汽车图片进行车牌定位、字符分割和识别，该方法步骤如下：

(1)对车牌进行定位：将数码相机随机采集的车牌图像输入到计算机中，对车牌图像进行处理，包括汽车图像的倾斜校正、车体区域图像的灰度化、边缘检测、阈值分割、形态学运算，得到若干的连通区域，根据投影法搜索车牌区域，得到候选车牌区域图像，具体步骤如下：

1)由于采集到的图像可能出现偏转，需要对这部分的图像采用Radon变换对倾斜的车牌图像进行校正，先计算倾角，然后对倾斜图像利用坐标变换公式进行校正，如公式(1)和(2)所示；为了进行对牌照图像的旋转，首先选定旋转中心，以车牌照图像几何中心位置作为旋转中心来进行旋转；取角度从0到179度，每次增加1度，对汽车的二值图像作Radon变换；在所有R_θ(x′)结果中取最大值；找到与该最大值对应的角度θ；由于θ与图像的倾斜方向垂直，取逆时针为正方向，得出图像的倾斜角度为θ-90°；

$R_{\mathrm{\&theta;}}\left(x^{\&prime;}\right)={\&Integral;}_{-\&infin;}^{\&infin;}f(x^{\&prime;}\cos \mathrm{\&theta;}-y^{\&prime;}\sin \mathrm{\&theta;},x^{\&prime;}\sin \mathrm{\&theta;}+y^{\&prime;}\cos \mathrm{\&theta;}){\mathrm{dy}}^{\&prime;}---\left(1\right),$

$\left\{\begin{array}{c}{x}^{\&prime;}=x\cos +y\sin \mathrm{\&theta;}\\ y^{\&prime;}=-x\sin \mathrm{\&theta;}+y\cos \mathrm{\&theta;}\end{array}\right.---\left(2\right);$

2)利用公式gray＝0.299R+0.587G+0.114B对车牌图像进行灰度计算；

3)为找到车牌区域，首先要加强车牌区域的边缘梯度信息，利用改进累积绝对差分算法对车牌图像的灰度信息进行垂直边缘检测，对于点(i，j)对应的灰度值为f(i，j)，则该点相邻的上、中、下方向上像素点表示为(i，j-1)、(i，j)、(i，j+1)所对应的灰度值为f(i，j-1)、f(i，j)、f(i，j+1)，对应算法为公式(3)：

E(i，j)＝|f(i，j+1)-f(i，j)-(f(i，j)    (3)；

-f(i，j-1))-(f(i，j+1)-f(i，j-1))|

4)得到了灰度图像的垂直边缘点，再利用归一化公式(4)，将边缘灰度信息归一化：

E(i，j)＝(255/(max(i，j)-min(i，j))    (4)

*(E(i，j)-mm(i，j)))

式中，max(i，j)为E(i，j)中的最大灰度级，min(i，j)是最小灰度级；

5)对归一化后的边缘图像求出边缘像素密度作为初始阈值T公式(5)，然后利用公式(6)进行形态学闭运算，针对边缘图像数学形态学处理后的二值图像求阈值Average如公式(7)，分割的阈值利用Average对初始阈值进行修正T-Average，由于大量实验表明车牌的边缘密度占整个图像的3％左右，因此利用公式(5)～(7)循环判断T-Average的值，当T-Average＝0.03左右，循环停止，这样找到的阈值更具有通用性，可针对多种复杂情况的图片实现阈值分割；

$T=\mathrm{\&alpha;}*\frac{\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\max [E(1,j),E(2,j),E(3,j),...,E(m,j)]}{n}---\left(5\right),$

式中，m、n是图像的行、列数，α是系数，根据汽车车牌区域的垂直边缘信息和背景信息的区别α通常取0.5，

$A\&CenterDot;B=\left(\mathrm{A\&Theta;B}\right)\&CirclePlus;B---\left(6\right),$

$\mathrm{Average}=\frac{\underset{x=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{n}{\mathrm{\&Sigma;}}}f(x,y)}{m*n}---\left(7\right),$

式中，f(x，y)为对边缘图像进行形态学处理后的像素点(x，y)对应的值，得到的Average可以看成是边缘像素密度；

6)结合车牌字符的纹理特征对车牌区域进行定位，通过水平和垂直搜索黑白像素跳变的规律来判断真实的车牌区域，具体为：得到预处理后的图像对其进行自下而上和自左而右的扫描，判断扫描线与候选区域的交点个数，从而得到候选车牌区域；

(2)对步骤(1)获取的车牌图像进行处理，包括灰度化、二值化，然后对处理后的二值图像进行单个字符分割，具体步骤为：

1)按照步骤(1.2)对得到的彩色车牌区域进行灰度化；

2)利用Otsu方法对牌照区域的灰度图像进行阈值分割，如公式(8)和公式(9)求出和

取比值得到分割阈值，

${\mathrm{\&sigma;}}_B^2={\mathrm{\&omega;}}_1{({\mathrm{\&mu;}}_1-\stackrel{\&OverBar;}{\mathrm{\&mu;}})}^2+{\mathrm{\&omega;}}_2{({\mathrm{\&mu;}}_2-\stackrel{\&OverBar;}{\mathrm{\&mu;}})}^2---\left(8\right)$

${\mathrm{\&sigma;}}_A^2={\mathrm{\&omega;}}_1{\mathrm{\&sigma;}}_1^2+{\mathrm{\&omega;}}_2{\mathrm{\&sigma;}}_2^2---\left(9\right)$

3)采用基于垂直投影的车牌字符分割，对于车牌二值图像f(i，j)大小为M*N，定义f(i，j)在j行上的垂直投影函数为式(10)所示，

$h\left(j\right)=\underset{j}{\overset{M}{\mathrm{\&Sigma;}}}f(i,j),$ j＝1，2，3…N    (10)，

由于字符之间存在间隔，那么垂直投影就会在间隔处存在波谷，可以利用这一信息对字符进行单个字符分割，但需要注意的是，对于一些模糊或者划痕过于严重的车牌，在预处理后会出现字符之间粘连的现象，这样会造成字符被错误分开，此时就需要用车牌字符宽度与总宽度比为10.2％这一先验知识设定阈值T₁和T₂，进行分割，其中W是图片的总宽度，

$\left\{\begin{array}{c}{T}_1=70\%\&times;W\&times;10.2\%\\ T_2=(1+30\%)\&times;W\&times;10.2\%\end{array}\right.---\left(11\right)$

因为二三字符间距是整个间隙中最大最明显的，所以以此为参考点，利用该零值的边界就可以找到第二个字符的右边界和第三个字符的左边界；接着分别向左和右扫描字符，如果扫描到的字符垂直投影宽度小于阈值T₁需要合并字符，如果大于阈值T₂(T₁＜T₂)，则还需要进一步分割，若在这两个值之间，就不需要处理；确定需要合并的话，则继续判断该字符的左右两边字符宽度，如果左边字符宽度小于T₁，则该字符与左边字符合并，如果右边字符宽度小于T₁，则该字符与右边字符合并；确定需要继续分割的话，那么就是要将两边的一个字符中的部分笔画误当成了该字符，在左右两边就会需要合并，找到小于T₁部分并合并，再取合并的字符重点作为分割的边界，这样会有效的避免铆钉、边框和非字符图像的影响；

(3)利用BP神经网络实现车牌字符的识别：

BP网络3个层的神经元数目的确定是BP网络设计的关键：

1)输入层个数：

BP网络的输入层的节点个数，即为归一化图像所输出的特征的维数，用8*16归一化特征提取采用的是逐像素特征提取法，这样，对于每一个输入样本，就有8*16个特征，所以输入层的结点个数为1280；

2)隐层结点个数：

对于隐层的结点个数，OCR系统的神经网络的隐层个数一般在8～30个结点之间；根据测试结果不断改变结点数目可以在上述范围内确定较好的隐层结点个数；

3)输出层结点个数：

对于输出层结点个数的确定，取决于如何设定标准输出；

神经网络一般都有一个激励函数，激励函数将输出信号压缩为一个允许的范围内，使其成为有限值，通常神经元输出的范围在(0，1)或者(-1，1)的闭区间上，常用的为Sigmoid函数，Sigmoid函数定义如公式(12)：

$f\left(x\right)=\frac{1}{1+e^{-x}}---\left(12\right).$

Images