CN101859382B - 一种基于最大稳定极值区域的车牌检测与识别的方法 - Google Patents

Abstract

本发明属于模式识别与图像处理技术领域，涉及一种基于最大稳定极值区域的车牌检测与识别方法。首先提取最大稳定极值区域(MSER)，得到候选车牌文字区域；对于每个极值区域，采用一种有效的特征描述，然后利用事先训练得到的分类器进行分类，将这些极值区域分为“文字”或“非文字”区域，再结合车牌自身结构特征，从原始图像中提取出车牌；利用形状上下文的特征描述，用模板匹配的方法完成字符识别。由于最大稳定极值区域具有仿射不变性、稳定性及多尺度特性，而且由于区域只由灰度值大小关系决定，对光照变化不敏感，因此本发明提出的以其作为底层特征的车牌检测与识别的方法，适应复杂背景，具有良好的稳定性和更高的识别率。

Description

一种基于最大稳定极值区域的车牌检测与识别的方法

技术领域

本发明属于模式识别与图像处理技术领域，具体涉及一种基于最大稳定极值区域的车牌检测与识别的方法。

背景技术

伴随着世界各国汽车数量的增加，城市交通状况日益受到人们的重视。如何有效地进行交通管理，越来越成为各国政府的相关部门所关注的焦点。在这种情况下，车辆的自动检测作为信息的来源，越来越受到人们的重视。车牌自动识别技术作为车辆检测系统的一个重要环节，在交通监视和控制中占有很重要的地位，可应用于道路交通流监控、交通事故现场勘测、交通违章自动记录、高速公路自动收费系统、停车场自动安全管理、智能园区管理等领域。同时，车牌识别的方法还可应用到其它识别领域，因此车牌识别问题已成为现代交通工程领域中研究的重点和热点问题之一。

车牌识别技术的关键在于三部分：车牌检测、车牌字符分割和车牌字符识别。

车牌检测是车牌识别技术中最关键的一步，车牌检测就是从包含整个车辆的图像中找到车牌区域的位置。参考文献[1]F.Martin提出了基于形态学算子“top-hat”的检测方法，能够找到图像中有着显著不同亮度的较小目标。该算法检测率达80％。可是，由于形态学操作与二值图像中物体的大小有关，该算法高度依赖于摄像机与车牌图像之间的距离。参考文献[2]B.Hongliang和l.Changping提出一种基于边缘点统计和数学形态学的混合车牌检测算法，用于高速公路收费管理系统。该方法分为四个部分：垂直边缘检测，边缘统计分析，分级车牌检测和基于形态学的车牌检测。平均准确率高达99.6％(9825个图片中精确检测的有9786)。该方法采用的实验数据均为从固定距离和角度采集的图像，因此给予特检测置的候选区域以优先权。该先验知识毫无疑问会增加检测结果的精确度。参考文献[3]介绍的车牌检测方法是水平扫描图像，寻找重复对比度变化达15个像素或更多的区域。Draghici假设车牌的文字和背景之间的对比度足够大，车牌区域至少有3到4个文字，文字最小垂直高度大约为15个像素。应当指出15这个特殊值是由使用的摄像机或图像采集卡的分辨率、车辆与摄像机的平均距离和文字的实际大小决定的。参考文献[4]R Zunino和S Rovetta提出了一种基于矢量量化的牌照检测方法。然而向量四元树(VQ)的方法需架构庞大的四元树。T.D.Duan(见参考文献[5])等人使用了Hough变换，由于Hough变换需要大量的计算量，T.D.Duan等采用了Hough变换和轮廓算法相结合的方法，使检测精确率和运行时间都有了很大提高。C.-T.Hsieh(见参考文献[6])中使用了小波变换的方法检测车牌区域。检测精确率大约是92％，但是这种方法在摄像头和车辆之间的距离太远或者太近，甚至是拍摄角度太宽的情况下都是不太稳定的。随着彩色图像处理技术的发展，彩色图像在车牌检测研究中的作用也越来越重要，多种基于颜色特征的车牌检测方法被提出。参考文献[7]提出的基于图像颜色的车牌检测方法的基本思想是车牌的背景颜色和字符颜色很大可能只在车牌所在区域才发生关联，而后使用HLS色彩模型对颜色进行区分，区分之后使用车牌特征(长宽比)等几何特征进行检测。但是这些基于颜色的方法都有很强的当地特色。另外，由于在户外的光照条件发生改变的时候，所拍摄的车牌颜色很可能是不稳定的，所以至今还没有一种方法可以在自然条件下达到很高的检测精确率。

虽然现阶段存在很多种基于各种方法的车牌检测方法，但是由于车牌检测本身受客观条件(天气、环境、拍摄条件、各国特点等等)和车牌本身条件(破损、污渍)的影响，使每种算法都存在一定的缺点。

字符分割过程的目的是把一行或者多行字符组合中的每一个字符独立完整地切割出来，成为单个的字符。作为车牌识别系统的关键步骤，车牌字符分割的准确性同样可以决定整个系统的识别正确率。其中最常用的字符分割方法是投影法(见参考文献[7])。投影法的核心思想是将车牌图像二值化后，计算图像所有列的垂直投影，然后依据垂直投影直方图得到一个阈值，再与车牌的形状和纹理特征相结合来分割字符。该方法简单、易于实现，但是对车牌图像质量要求较高，受噪声影响较大，易造成分割字符的粘连与断裂，在一定程度上影响了车牌的识别率。S.Nomura等人(见参考文献[8])提出利用自适应形态学的方法对车牌模糊的图像进行字符分割。基于直方图的算法在分割字符之前自动检测碎片和合并这些碎片。对于重叠字符的分割，形态学分级算法自动确定参考线；对于连接字符的分割，形态学细化算法和分割代价计算自动检测基准线。该方法可以检测断裂、重叠或连接的字符，突出了自适应的特点。但是该算法计算复杂，不能应用于实时车牌识别系统。Y.Cui等人(见参考文献[9])提出了利用时空信息的，基于马尔科夫随机场(MarkovRandom Fields，MRF)的字符分割算法。该算法用于视频序列中的车牌字符分割，但分割结果远不适于自动字符识别。A.Capar等人(见参考文献[10])建立了一个形状驱动的活动轮廓模型，应用于车牌字符分割问题。这种方法存在对噪声较敏感、前期处理要求较高等缺点.影响了其适用范围。B.R.Lee等人(见参考文献[11])使用了自适应局部二值化，先将已去边框的车牌字符分割成单个的字符区域，然后对每个字符区域进行二值化，但当车牌噪声较大时，该算法失效。参考文献[12]的方法基于模式识别里聚类思想的聚类分析法。聚类法在解决字符粘连、汉字连通性以及抗噪声等方面效果明显，但是也存在逻辑设计复杂和运行时间长的问题。

车牌字符识别实际上是依附在车牌上的印刷体文字的识别，能否正确识别不仅是文字识别技术的问题，还要考虑其载体-车牌区域的影响，也就是说车牌字符识别技术是文字识别技术与车牌图像自身因素协调兼顾的综合性技术。由于光照条件、天气变化等自然因素和摄像机性能、车牌整洁度、车辆运动、拍摄倾斜角度等人为因素，车牌中的字符往往出现各种各样质量的模糊污损、扭曲变形、干扰噪声和多种分辨率，这些都给字符的识别增加了难度。目前最常用的车牌字符识别算法是基于神经网络和模板匹配的方法。参考文献[13]训练了一个包含24个输入元，15个隐层神经元，36个输出元的多层感知神经网络来识别26个拉丁字母和10个阿拉伯数字。识别结果为98.5％。但该算法训练过程非常耗时，而且，隐层数目和相应的神经元需要经过多次尝试才能确定。参考文献[14]通过在车牌子图像上移动字符模板并计算归一化的交叉相关值，进行车牌字符识别。该系统处理每张图片用时1.1秒。参考文献[15]也使用模板匹配方法识别车牌字符。该方法识别速度快，但是对噪声点比较敏感。在实际应用中，为了提高正确率往往需要使用大的模板或多个模板进行匹配，处理时间则随着模板的增大以及模板个数的增加而增加。参考文献[16]基于隐马尔科夫模型，作者指出识别之前要先进行复杂的预处理过程和确定隐马尔科夫模型参数，识别结果达95.7％。但该算法要求车牌宽度是图像宽度的25％到75％之间，对摄像头到车牌之间的距离有一定的限制。参考文献[17]设计了一个基于SVM的车牌识别系统，识别率为97.2％。可是，该系统仅局限于韩国车牌。

虽然车牌字符识别在技术上已经取得了一定的突破，然而离复杂多变的实际应用要求还有一定差距，许多新方法仅停留在理论和文章上或者限定在比较狭窄的约束范围内，并不能以产品的形式大范围投入使用，因而车牌字符识别的实用化研究仍然有很长的路要走。

本发明就是针对这个实际应用存在的问题的解决方案，提出一种基于最大稳定极值区域的车牌检测与识别的方法。

与本发明相关的参考文献有：

[1]F.Martin，M.Garcia，and J.L.Alba，“New methods for automatic reading of VLP’s(Vehicle License Plates)，”in Proc.IASTED Int.Conf.SPPRA，2002.

[2]B.Hongliang and L.Changping，“A hybrid license plate extraction method based onedge statistics and morphology，”in Proc.ICPR，2004，pp.831-834.

[3]S.Draghici，“A neural network based artificial vision system for license platerecognition，”Int.J.Neural Syst.，vol.8，no.1，pp.113-126，Feb.1997.

[4]R.Zunino and S.Rovetta，“Vector quantization for license-plate location and imagecoding，”IEEE Trans.Ind.Electron.，vol.47，no.1，pp.159-167，Feb.2000.

[5]T.D.Duan，T.L.H.Du，T.V.Phuoc，and N.V.Hoang，“Building an automatic vehiclelicense-plate recognition system，”in Proc.Int.Conf.Comput.Sci.(RIVF)，2005，pp.59-63.

[6]C.-T.Hsieh，Y.-S.Juan，and K.-M.Hung，“Multiple license plate detection for complexbackground，”in Proc.Int Conf.AINA，2005，vol.2，pp.389-392.

[7]X.Shi，W.Zhao，and Y.Shen.Automatic License Plate Recognition System Based onColor Image Processing[C].vol.3483，O.Gervasi et al.，Ed.New York：Springer-Verlag，2005：1159-1168.

[8]S.Nomura，K.Yamanaka，O.Katai，H.Kawakami，and T.Shiose，“A novel adaptivemorphological approach for degraded character image segmentation，”Pattern Recognit.，vol.38，no.11，pp.1961-1975，Nov.2005.

[9]Y. Cui and Q.Huang，“Extracting characters of license plates from video sequences，”Mach.Vis.Appl.，vol.10，no.5/6，pp.308-320，Apr.1998.

[10]A.Capar and M.Gokmen，“Concurrent segmentation and recognition withshape-driven fast marching methods，”in Proc.18th ICPR，Hong Kong，2006，vol.1，pp.155-158.

[11]B.R.Lee，K.Park，H.Kang，H.Kim，and C.Kim，Adaptive Local BinarizationMethod for Recognition of Vehicle License Plates，vol.3322，R.Klette and J.Zuni′c，Eds.NewYork：Springer-Verlag，2004，pp.646-655.

[12]J.A.Sethian，“A fast marching level set method for monotonically advancing fronts，”in Proc.Nat.Acad.Sci.，Feb.1996，vol.93，pp.1591-1595.

[13]J.A.G.Nijhuis，M.H.ter Brugge，K.A.Helmholt，J.P.W.Pluim，L.Spaanenburg，R.S.Venema，and M.A.Westenberg，“Car license plate recognition with neural networks and fuzzylogic，”in Proc.IEEE Int.Conf.Neural Netw.，1995，vol.5，pp.2232-2236.

[13]P.Comelli，P.Ferragina，M.N.Granieri，and F.Stabile，“Optical recognition of motorvehicle license plates，”IEEE Trans.Veh.Technol.，vol.44，no.4，pp.790-799，Nov.1995.

[14]Y.-P.Huang，S.-Y.Lai，and W.-P.Chuang，“A template-based model for license platerecognition，”in Proc.IEEE Int.Conf.Netw.，Sensing and Control，2004，pp.737-742.

[15]D.Llorens，A.Marzal，V.Palazon，and J.M.Vilar，“Car license plates extraction andrecognition based on connected components analysis and HMM decoding，”in Lecture Notes onComputer Science，vol.3522，J.S.Marques et al.，Eds.New York：Springer-Verlag，2005，pp.571-578.

[16]K.K.Kim，K.I.Kim，J.B.Kim，and H.J.Kim，“Learning-based approach，for licenseplate recognition，”in Proc.IEEE Signal Process.Soc.Workshop，NNs Signal Process.，2000，vol.2，pp.614-623.

发明内容

本发明专利的目的在于提供一种稳定性和鲁棒性更高的车牌检测与识别的方法，用于车牌自动识别系统，实现车牌的自动检测与识别。

为达到上述目的，本发明提出了一种新的系统设计方案，其算法流程图见附图1。该方案包括MSER算法分割、车牌检测、车牌字符识别三个步骤：

步骤1：把待检测图像转换成灰度图像。提取最大稳定极值区域(MSER)，得到候选车牌文字区域，实现了字符的分割；

步骤2：对于每个极值区域，采用一种有效的特征描述，然后利用事先训练得到的分类器进行分类，将这些极值区域分为“文字”或“非文字”区域，再结合车牌自身结构特征，从原始图像中提取出车牌；

步骤3：利用形状上下文特征描述子，使用模板匹配的方法进行字符识别。

具体而言，

本发明所述的步骤2车牌检测的具体过程为：

(2.1)对于每个极值区域，找到该极值区域的最小外接矩形，即找到该极值区域内像素点集合的最左边，最右边，最上边和最下边的像素位置；

(2.2)对于该外接矩形围成的子图像，采用双线性插值计算的方法，进行按比例缩放图像操作，得到大小为24×48(像素)的子图像；

(2.3)设计一组Gabor滤波器用于提取该子图像的纹理特征，具体方法为：

采用包含有5个尺度(u＝0，1，2，3，4)8个方向(v＝0，1，...，7)的Gabor滤波器组，共有40个滤波器，每个滤波器大小为32×32。通过该滤波器组得到Gabor特征的维数高达46080。本发明通过删除一些行和列使得特征维数降低为原来的九分之一，相比PCA等其他方法更加节省时间。

(2.4)利用事先训练得到的分类器进行判别，该分类器的输出结果为1或0，输出1表明该极值区域为类似“文字”区域，反之表明该极值区域为“非文字”区域；

(2.5)对于步骤(2.4)得到的所有类似“文字”区域，计算它们的重心坐标，公式如下：

$x_0=\frac{1}{\left|R\right|}\underset{1\≤i\≤\left|R\right|}{\mathrm{\Σ}}{x}_i$

$y_0=\frac{1}{\left|R\right|}\underset{1\≤i\≤\left|R\right|}{\mathrm{\Σ}}{y}_i$

其中，R代表类似“文字”区域，|R|为由类似“文字”区域内所有像素组成的集合的势，即该区域内像素点的个数，i表示该区域内第i个像素点，(x_i，y_i)为该区域内第i个像素点的坐标；区域重心是根据所有区域中的点计算而来的；

(2.6)按照区域重心的行号对这些类似“文字”区域进行排序；

(2.7)根据车牌本身固有的几何特征和字符排列格式特征，比如车牌字符具有近似相同的高度或宽度，并且其重心近似成一条直线等特征，对这些类似“文字”区域的空间位置关系进行分析，可以得到一个区域集合，该集合包含的类似“文字”区域的个数最多，则认为该集合构成的子图像是车牌；

所述步骤(2.4)中Adaboost分类器训练过程如下：

(2.4.1)选取样本

训练样本的要求是包含MSER区域的最小矩形围成的子图像，但是由于车牌文字以及车牌图像背景的形态千差万别，所以训练样本在选取过程中需要考虑到样本的多样性。训练样本大小都被归一化为24×48像素，其中正例与反例的比例是1∶2，各个样本尤其是反例各不相同，分别具有一定的代表性；

(2.4.2)根据所述步骤(2.3)中的方法，提取Gabor特征；

(2.4.3)将Gabor特征转化为对应的弱分类器：

使用CART(分类与回归树)作为弱分类器，CART只选用一个特征进行分类，即退化成了仅有一个划分的简单决策树(stump)。CART弱分类器输出结果为1或者0，输出1表示判断是真，也就是被判断为车牌文字图像，反之是假即非车牌文字图像；

(2.4.4)从大量的弱分类器中迭代选择出最优的分类器：

Adaboost算法的训练过程的目的是挑选最优弱分类器，并赋予其权重。在生成弱分类器之后，根据所需的弱分类器数量来进行训练，并将所得到的弱分类器输出使用。

每个Gabor特征j对应一个弱分类器，其分类错误率为ε_j，计算出最小分类错误率ε＝min{ε_j}，

然后更新样本权重，使错分类的样本权重加大，这样按照Adaboost算法的训练流程迭代并挑选一个最优分类器。

本发明所述的步骤3中车牌字符识别的具体过程为：

(3.1)对于步骤2得到的车牌子图像内根据Adaboost算法判别为“文字”的区域，按照区域重心的列号进行排序；

(3.2)对于车牌子图像内每个“文字”区域，找到该区域的最小外接矩形，即找到该极值区域内像素点集合的最左边，最右边，最上边和最下边的像素位置；

(3.3)对该子图像利用Ostu算法二值化，并采用双线性插值计算的方法，对该子图像进行按比例缩放图像操作，得到大小为48×96像素的图像；

(3.4)求该子图像的轮廓线，并提取一组边缘轮廓点；

(3.5)对边缘像素点进行精简，检查全部点对的距离，每次去除距离最小的点对中的一个点，直至剩下的点的数量达到要取样的点的数量，规定该数量为100；

(3.6)定义该子图像为P，按照形状上下文描述子的计算方法，计算形状直方图，得到每一个边缘点p_i的形状上下文h_i(k)，k表示对第k个bin中所包含采样点计数；

(3.7)将该子图像与模板库中的每一个模板逐一比较，假设模板字符图像为Q，第q_j个点的形状上下文为h_j(k)，计算P和Q之间的相似度，采用χ²分布距离来计算，得到匹配代价C(p_i，q_j)(p_i∈P，q_j∈Q)，

$C(p_i,q_j)=\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\frac{{[h_i\left(k\right)-h_j\left(k\right)]}^2}{h_i\left(k\right)+h_j\left(k\right)}$

从而得到匹配代价矩阵C：

$\left[\begin{array}{cccc}C(p_1,q_1)& C(p_1,q_2)& \·\·\·& C(p_1,q_n)\\ C(p_2,q_1)& C(p_2,q_2)& \·\·\·& C(p_2,q_n)\\ \·& \·& & \·\\ \·& \·& & \·\\ \·& \·& & \·\\ C(p_m,q_1)& C(p_m,q_2)& \·\·\·& C(p_m,q_n)\end{array}\right]$

m为P内点的个数，n为Q内点的个数；

(3.8)基于代价矩阵C，进行点的匹配操作，通过最小化如下匹配代价公式来获得P和Q点集的一个对应关系π(i)：

$H\left(\mathrm{\π}\right)=\underset{i}{\mathrm{\Σ}}C(p_i,q_{\mathrm{\π}\left(i\right)})$

(3.9)计算P和Q之间的形状上下文距离；

(3.10)根据形状上下文距离大小，从小到大排序，距离最小的模板为匹配的模板，输出该模板作为识别结果。

所述的步骤(3.7)中模板形状上下文计算通过下述步骤：

(3.7.1)创建匹配模板：

(3.7.2)采用双线性插值计算的方法，对该子图像进行按比例缩放图像操作，得到大小为48×96像素的图像；

(3.7.3)利用Ostu方法计算图像二值化的自适应阈值，并将该模板图像二值化；

(3.7.4)求该模板图像的轮廓线，并提取一组边缘轮廓点；

(3.7.5)计算每一个边缘点的形状上下文。形状上下文的计算方法为：考虑形状P的参考点p_i，对形成的以其为始点，以其余点为终点的矢量集合，构造这个集合的相应的形状直方图描述：即将整个集合视为一个空间，对空间按照角度和距离进行划分，角度空间分为12份，距离按照log₂r划分为5份，形成12×5的子空间，并对形成的各个子空间进行统计描述：

h_i(k)＝#{q≠p_i：(q-p_i)∈bin(k)}

其中，#表示计数，bin表示划分后的子空间，k∈{1，2，...，K}，K为划分以后子空间的数目，得到点p_i的含有60个分量的形状直方图，称为该点对应的形状上下文；

所述的步骤(3.7.1)中创建匹配模板的方法包括：

在实际图像中采集得到字符模板。首先在MSER算法分割的基础上，找到字符区域最左边，最右边，最上边和最下边的黑色像素位置，作为确定字符的实际边框尺寸依据；然后采用插值计算的方法，进行按比例缩放图像操作，以便得到规定的模板尺寸，规定模板大小为24×48像素的子图像。

本发明的主要特点有：

(1)车牌识别技术最基本的流程是依次经过车牌检测、车牌字符分割、车牌字符识别三个步骤。本发明提出了一种新的设计方案，首先用MSER算法进行分割以便获得类似字符的候选区域，然后用机器学习的办法找到目标车牌区域，最后进行字符识别。

(2)由于最大稳定极值区域(MSER)具有仿射不变性、保邻域性、稳定性及多尺度特性，而且由于区域只由灰度值大小关系决定，对光照变化不敏感，因此，本发明提出的以MSER作为底层特征的车牌检测与识别的方法，能够适应复杂背景，具有良好的稳定性和更高的识别率。

(3)本发明充分利用Gabor特征的特性，将其作为最大稳定极值区域的特征描述，有效地描述了车牌字符的纹理特征。

(4)本发明基于最大稳定极值区域，提出基于Adaboost分类器的目标检测方法。本发明没有将整个车牌目标作为整体进行训练学习，而是将MSER算法分割出的车牌文字区域作为样本进行学习。然后利用训练好的Adaboost分类器分别检测感兴趣目标(即车牌)的各个部分(即车牌的各个字符)。由于Adaboost分类器能够有很高的检测率以及很快的检测速度，适合构建实时的识别系统。

(5)最大稳定极值区域(MSER)算法能够较准确地分割出车牌字符，本发明在此基础上，利用形状上下文(shape context)作为特征描述子是非常有效的，进而利用模板匹配方法完成了字符识别。

附图说明

图1为本发明方法的流程图。

具体实施方式

采用本发明的方法，首先编写车牌自动识别软件；然后在高速公路的入口处、收费站和其他任何合适位置采用摄像装置自动拍摄车辆的原始图像；接着把拍摄到的车辆原始图像作为源数据输入到车牌自动识别软件中进行处理；识别出的车牌字符保存到硬盘上。下面通过具体实例来进一步说明本发明的应用。

实施例1：

车牌检测分为两个阶段：

(1)学习阶段：

步骤1：首先把待识别图像转换成灰度图像。提取最大稳定极值区域，得到候选车牌文字区域。

步骤2：选取样本：

训练样本的要求是包含MSER区域的最小矩形围成的子图像。训练样本大小都被归一化为24×48像素，其中正例与反例的比例是1∶2，各个样本尤其是反例各不相同，分别具有一定的代表性；

步骤3：设计一组Gabor滤波器用于提取该子图像的纹理特征，具体方法为：

1)采用包含有5个尺度(u＝0，1，2，3，4)8个方向(v＝0，1，...，7)的Gabor滤波器组，共有40个滤波器，每个滤波器大小为32×32。通过该滤波器组得到Gabor特征的维数高达46080；

2)该子图像依次与Gabor滤波器组的各个滤波器卷积后，得到120×384的矩阵，设为A，对该矩阵实施如下过程：第一步，从第3行开始，每隔3行删除1行，得到矩阵A₁；第二步，对矩阵A₁，从第2行开始，每隔2行删除1行，得到矩阵A₂；第三步，对矩阵A₂，从第3列开始，每隔3列删除1列，得到矩阵A₃；第四步，对矩阵A₃，从第2列开始，每隔2列删除1列，得到矩阵A₄，A₄为40×128，这样就使得特征维数降低为原来的九分之一。

步骤4：将Gabor特征转化为对应的弱分类器：

使用CART(分类与回归树)作为弱分类器，CART只选用一个特征进行分类，即退化成了仅有一个划分的简单决策树(stump)。CART弱分类器输出结果为1或者0，输出1表示判断是真，也就是被判断为车牌文字图像，反之是假即非车牌文字图像；

步骤5：从大量的弱分类器中迭代选择出最优的分类器：

每个Gabor特征j对应一个弱分类器，其分类错误率为ε_j，计算出最小分类错误率

ε＝min{ε_j}，然后更新样本权重，使错分类的样本权重加大，这样按照Adaboost算法的训练流程迭代并挑选一个最优分类器。

(2)检测阶段：

步骤1：首先把待识别图像转换成灰度图像。提取最大稳定极值区域，得到候选车牌文字区域。

步骤2：对于每个极值区域，找到该极值区域的最小外接矩形，即找到该极值区域内像素点集合的最左边，最右边，最上边和最下边的像素位置；

步骤3：对于该外接矩形围成的子图像，采用双线性插值计算的方法，进行按比例缩放图像操作，得到大小为24×48(像素)的子图像；

步骤4：设计一组Gabor滤波器用于提取该子图像的纹理特征，具体方法为：采用包含有5个尺度(u＝0，1，2，3，4)8个方向(v＝0，1，...，7)的Gabor滤波器组，共有40个滤波器，每个滤波器大小为32×32。该子图像依次与Gabor滤波器组的各个滤波器卷积后，得到120×384的矩阵，设为A，维数高达46080；对该矩阵实施如下过程：第一步，从第3行开始，每隔3行删除1行，得到矩阵A₁；第二步，对矩阵A₁，从第2行开始，每隔2行删除1行，得到矩阵A₂；第三步，对矩阵A₂，从第3列开始，每隔3列删除1列，得到矩阵A₃；第四步，对矩阵A₃，从第2列开始，每隔2列删除1列，得到矩阵A₄，A₄为40×128，这样就使得特征维数降低为原来的九分之一。

步骤5：利用事先训练得到的分类器进行判别，该分类器的输出结果为1或0，输出1表明该极值区域为类似“文字”区域，反之表明该极值区域为“非文字”区域；

步骤6：对于上一步得到的所有类似“文字”区域，计算它们的重心坐标，区域重心是根据所有区域中的点计算而来的；

步骤7：按照区域重心的行号对这些类似“文字”区域进行排序；

步骤8：根据车牌字符具有近似相同的高度或宽度，并且其重心近似成一条直线等车牌本身固有的几何特征，对这些类似“文字”区域的空间位置关系进行分析，可以得到一个区域集合，该集合包含的“文字”区域的个数最多，则认为该集合构成的子图像是车牌；

车牌识别过程也分为两个阶段：

(1)创建匹配模板，并计算每个模板的形状上下文：

步骤1：在提取最大稳定极值区域的基础上，找到字符区域最左边，最右边，最上边和最下边的黑色像素位置，作为确定字符的实际边框尺寸依据；

步骤2：采用插值计算的方法，进行按比例缩放图像操作，以便得到规定的模板尺寸，规定模板大小为48×96像素的子图像；

步骤3：利用Ostu方法计算图像二值化的自适应阈值，并将该模板图像二值化；

步骤4：求该模板图像的轮廓线，并提取一组边缘轮廓点；

步骤5：计算每一个边缘点的形状上下文。

(2)车牌字符识别：

步骤1：对于车牌检测阶段得到的车牌矩形框内根据Adaboost算法判别为“文字”的区域，按照区域重心的列号进行排序；

步骤2：对于车牌矩形框内每个“文字”区域，找到该区域的最小外接矩形，即找到该极值区域内像素点集合的最左边，最右边，最上边和最下边的像素位置；

步骤3：对该子图像利用Ostu算法二值化，并采用双线性插值计算的方法，对该子图像进行按比例缩放图像操作，得到大小为48×96像素的图像；

步骤4：求该子图像的轮廓线，并提取一组边缘轮廓点；

步骤5：对边缘像素点进行精简，检查全部点对的距离，每次去除距离最小的点对中的一个点，直至剩下的点的数量达到要取样的点的数量，规定该数量为100；

步骤6：定义该子图像为P，按照形状上下文描述子的计算方法，计算形状直方图，得到每一个边缘点p_i的形状上下文h_i(k)，k表示对第k个bin中所包含采样点计数；

步骤7：将该子图像与模板库中的每一个模板逐一比较，假设模板字符图像为Q，第q_j个点的形状上下文为h_j(k)，计算P和Q之间的相似度，采用χ²分布距离来计算，得到匹配代价C(p_i，q_j)(p_i∈P，q_j∈Q)，

$C(p_i,q_j)=\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\frac{{[h_i\left(k\right)-h_j\left(k\right)]}^2}{h_i\left(k\right)+h_j\left(k\right)}$

从而得到匹配代价矩阵C；

步骤8：基于代价矩阵C，进行点的匹配操作，通过最小化如下匹配代价公式来获得P和Q点集的一个对应关系π(i)：

$H\left(\mathrm{\π}\right)=\underset{i}{\mathrm{\Σ}}C(p_i,q_{\mathrm{\π}\left(i\right)})$

步骤9：计算P和Q之间的形状上下文距离；

步骤10：根据形状上下文距离大小，从小到大排序，距离最小的模板为匹配的模板，输出该模板作为识别结果。

Claims (5)

1.一种基于最大稳定极值区域的车牌检测与识别的方法，其特征在于具体步骤为：

步骤1.把待检测图像转换成灰度图像提取仿射不变特征区域——最大稳定极值区域，得到候选车牌文字区域，这些区域包括大量非车牌文字区域；

步骤2.对于每个极值区域，找到它最左边，最右边，最上边和最下边的像素位置，即得到包含该极值区域的最小矩形框；

步骤3.对于该矩形框围成的子图像，进行按比例缩放图像操作，得到大小为24×48像素的子图像；

步骤4.设计一组Gabor滤波器用于提取该子图像的纹理特征；

步骤5.利用事先训练得到的分类器进行判别，该分类器的输出结果为1或0，输出1表示判断为真，表明该极值区域为类似“文字”区域，反之是假，表明该极值区域为“非文字”区域；

步骤6.对于步骤5得到的所有类似“文字”区域，计算它们的重心坐标(x₀，y₀)，公式如下：

$x_0=\frac{1}{\left|R\right|}\underset{1\≤i\≤\left|R\right|}{\mathrm{\Σ}}{x}_i$

$y_0=\frac{1}{\left|R\right|}\underset{1\≤i\≤\left|R\right|}{\mathrm{\Σ}}{y}_i$

其中，R代表类似“文字”区域，|R|为由类似“文字”区域内所有像素组成的集合的势，即该区域内像素点的个数，i表示该区域内第i个像素点，(x_i，y_i)为该区域内第i个像素点的坐标；区域重心是根据所有区域中的点计算而来的；

步骤7.按照区域重心的行号对这些类似“文字”区域进行排序；

步骤8.根据车牌字符具有近似相同的高度或宽度，并且各字符重心近似成一条直线的车牌本身固有的几何特征和字符排列格式特征，对这些类似“文字”区域的空间位置关系进行分析，得到一个区域集合，该集合内包含的“文字”区域的个数最多，则认为该集合构成的子图像是车牌；步骤9.对于车牌子图像内根据Adaboost算法判别为“文字”的区域，按照区域重心的列号进行排序；

步骤10.对于车牌子图像内每个“文字”区域，按照步骤2的方法，得到包含该“文字”区域的最小矩形框围成的子图像；

步骤11.对该子图像进行二值化处理，并进行按比例缩放图像操作，得到大小为48×96像素的图像；

步骤12.对该子图像进行边缘检测，并提取一组边缘轮廓点；

步骤13.对边缘像素点进行精简，方法为：检查全部点对的距离，每次去除距离最小的点对中的一个点，直至剩下的点的数量达到要取样的点的数量，规定该数量为100；

步骤14.对于步骤10得到的子图像，定义为P，计算形状上下文特征；形状上下文的计算方法为：考虑形状P的参考点p_i，对形成的以其为始点，以其余点为终点的矢量集合，构造这个集合的相应的形状直方图描述：即将整个集合视为一个空间，对空间按照角度和距离进行划分，角度空间分为12份，距离按照log₂r划分为5份，形成12×5的子空间，并对形成的各个子空间进行统计描述：

h_i(k)＝#{q≠p_i；(q-p_i)∈bin(k)}

其中，#表示计数，bin表示划分后的子空间，k为子空间序号，k∈{1，2，...，K}，K为划分以后子空间的数目，得到点p_i的含有60个分量的形状直方图，称为该点对应的形状上下文；

步骤15.将该子图像与模板库中的每一个模板逐一比较，假设字符模板图像为Q，字符Q的第q_j个点的形状上下文为h_j(k)，计算P和Q之间的相似度，采用χ²分布距离来计算，得到匹配代价C(p_i，q_j)p_i∈P，q_j∈Q)，

$C(p_i,q_j)=\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\frac{{[h_i\left(k\right)-h_j\left(k\right)]}^2}{h_i\left(k\right)+h_j\left(k\right)}$

从而得到匹配代价矩阵C：

$\left[\begin{array}{cccc}C(p_1,q_1)& C(q_1,q_2)& ...& C(p_1,q_n)\\ C(p_2,q_1)& C(p_2,q_2)& ...& C(p_2,p_n)\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ C(p_m,q_1)& C(p_m,q_2)& ...& C(p_m,q_n)\end{array}\right]$

m为P内点的个数，n为Q内点的个数；

步骤16.基于匹配代价矩阵C，进行点的匹配操作，P的点集：{p₁，p₂，…，p_m}和Q的点集：{q₁，q₂，…，q_n}，通过最小化如下匹配代价公式来获得：P和Q点集的一个对应关系以π(i)表示，依照此对应关系得到的两个点集合的匹配代价为：

$H\left(\mathrm{\π}\right)=\underset{i}{\mathrm{\Σ}}C(p_i,q_{\mathrm{\π}\left(i\right)});$

步骤17.计算P和Q之间的形状上下文距离；

步骤18.根据形状上下文距离大小，从小到大排序，距离最小的模板为匹配的模板，输出该模板作为识别结果。

2.根据权利要求1所述的方法，其特征在于，所述的步骤4中设计一组Gabor滤波器提取该子图像的纹理特征，其步骤为：

(4.1)采用包含有5个尺度：u＝0，1，2，3，4，和8个方向v＝0，1，2，3，4，5，6，7的Gabor滤波器组，共有40个滤波器，每个滤波器大小为32×32；通过该滤波器组得到Gabor特征的维数为46080；

(4.2)降维：该子图像大小为24×48像素，依次与Gabor滤波器组的各个滤波器卷积后，得到120×384的矩阵，设为A，对该矩阵实施如下过程：第一步，从第3行开始，每隔3行删除1行，得到矩阵A₁；第二步，对矩阵A₁，从第2行开始，每隔2行删除1行，得到矩阵A₂；第三步，对矩阵A₂，从第3列开始，每隔3列删除1列，得到矩阵A₃；第四步，对矩阵A₃，从第2列开始，每隔2列删除1列，得到矩阵A₄；A₄为40×128，这样就使得特征维数降低为原来的九分之一。

3.根据权利要求2所述的方法，其特征在于，所述的步骤5中Adaboost分类器的训练过程，其步骤为：

(5.1)选取样本：

按照样本多样性的要求选取训练样本，训练样本大小都被归一化为24×48像素，其中正例与反例的比例是1∶2，各个样本分别具有一定的代表性；

(5.2)提取Gabor特征；

(5.3)将Gabor特征转化为对应的弱分类器：

使用CART作为弱分类器，CART弱分类器输出结果为1或者0，输出1表示判断是真，即被判断为车牌文字图像，反之是假即非车牌文字图像；

(5.4)从大量的弱分类器中迭代选择出最优的分类器：

每个Gabor特征j对应一个弱分类器，其分类错误率为ε_j，计算出最小分类错误率ε＝min{ε_j}，

然后更新样本权重，使错分类的样本权重加大，这样按照Adaboost算法的训练流程迭代并挑选一个最优分类器。

4.根据权利要求1所述的方法，其特征在于，所述的步骤15中模板形状上下文的计算步骤为：

(15.1)创建匹配模板：

(15.2)对该子图像进行按比例缩放图像操作，得到大小为48×96像素的图像；

(15.3)对该模板图像进行二值化处理；

(15.4)对该模板图像进行边缘检测，并提取一组边缘轮廓点；

(15.5)计算每一个边缘点的形状上下文。

5.根据权利要求4所述的方法，其特征在于，所述的步骤(15.1)中创建匹配模板的方法包括：

(15.1.1)在实际图像中采集得到字符模板首先在MSER算法分割的基础上，找到字符区域最左边，最右边，最上边和最下边的像素位置，作为确定字符的实际边框尺寸依据；

(15.1.2)进行按比例缩放图像操作，以便得到规定的模板尺寸，规定模板大小为24×48像素的子图像。

Images