CN102147858A - 车牌字符识别方法 - Google Patents

Abstract

本发明提供了一种车牌字符识别方法，该方法中所采用的描述器是直接以字符图像的几何中心点作为特征点，通过PCA算法寻找车牌字符图像中字符的主方向，从而生成字符特征点的描述子，相对于现有的SIFT描述器而言，车牌字符图像中字符的主方向的运算量得以大幅简化，提高了计算机运算效率，能够更好的满足车牌识别系统的实时性要求，并且生成的描述器同时保证了车牌字符图像的旋转不变性以及抗噪声和光照影响的能力，具有良好的鲁棒性；同时，采用SVM分类算法与本发明采用的NSIFT描述器相结合对车牌字符图像进行字符识别，相对于采用KNN等其它分类算法而言，在不增加分类算法运算复杂度的前提下具备了更高的识别率。

Description

车牌字符识别方法

技术领域

本发明属于交通管理和图像识别技术领域，尤其涉及一种车牌字符识别方法。

背景技术

车牌号码跟身份证号码一样是对车辆进行标识的标记。随着现代交通管理系统智能化的快速发展，车牌识别系统在交通管理系统的各个领域都有广泛的应用。车牌识别系统的处理流程通常包括图像采集、图像预处理、车牌图像定位、车牌字符图像分割和车牌字符识别这五个部分；其中，图像采集，是利用交通摄像头等图像采集设备采集含有汽车车牌的图像信息；图像预处理部分可以在车牌图像定位、车牌图像分割两个部分的之前、之间或之后进行，主要是对图像进行去噪滤波、灰度化、二值化等预处理，用以增强车牌图像的可识别性能；车牌图像定位，是从采集的含有汽车车牌的图像信息中定位到车牌图像，并将车牌图像抽离出来，以便针对性的进行识别处理；车牌字符图像分割，是将车牌图像中含有的多个字符一一分割开，得到仅含有单个字符的车牌字符图像，便于后期仅对车牌字符图像进行识别而避免了考虑车牌图像中多个字符之间的排列组合可能性，有助于大幅度降低车牌识别系统数据库的数据冗余度；车牌字符识别，是通过数学建模，采用识别算法对分割得到的车牌字符图像进行字符识别，从而获得车牌字符识别结果。图像采集、图像预处理、车牌图像定位、车牌字符图像分割这几个部分的技术处理相对比较简单，现有技术中的相关处理技术已经能够较好的满足其要求。车牌字符识别部分技术难度较高，也是车牌识别系统中最重要、最关键的一个部分，由于图像采集设备安放位置和拍摄角度等原因，采集到的汽车车牌图像中字符的主方向(字符的主方向，是指图像中字符自身的竖直方向)很可能是倾斜一定角度的，增加了车牌字符识别的难度，因此车牌字符识别过程中，需要先建立适宜的描述器对车牌字符图像加以数学描述，以修正车牌字符图像中字符的主方向，同时要保证对车牌字符图像描述的鲁棒性，以营造良好的字符识别基础，再选择适宜的分类识别算法对字符进行基于数据库的分类识别。由此可见，描述器处理质量的优劣将直接影响最终的字符识别率，因此，如何利用鲁棒特征描述方法建立良好的描述器，成为整个车牌识别系统的技术核心。

目前，已经提出的描述器设计算法有很多，Mikolajczyk等人在文献“A performance evaluation of local descriptors.IEEE Transactions on Pattern Analysis and Machine Intelligence”(Oct，2005)中详细的分析对比了各种描述器的性能。其中，差分不变描述器(可参考文献“Koenderink J，van Doorn A J.Representation of local ge-ometry in the visual system.Biological Cybernetics，1987，55(6)：367-375”)的总体性能较差；可调滤波器(可参考文献“Freeman W T，Adelson EH.The design and use of steerable 

IEEE Transactions on Pattern Analysis and Machine Intelligence，1991，13(9)：891-906”)和梯度矩(可参考文献“van Gool LJ，Moons T，Ungureanu D.Affne/photometric invariants for planar intensity patterns.In：Proceedings of the 4th European Conference on Computer Vision.Cam-bridge，England：Springer，1996.642-651”)虽然设计简单，匹配速度快，但是鲁棒性差；形状上下文(可参考文献“Belongie S，Malik J，Puzicha J.Shape matching and ob-ject recognition using shape contexts.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(4)：509-522”)、复系数滤波器(可参考文献“Schaffalitzky F，Zisserman A.Multi-view matching for un-ordered image sets，or ‘How do I organize my holiday snaps？’.In：Processing of the 7th European Conference on Computer Vision.Copenhagen，Denmark：Springer，2002.414-431”)等描述器对图像的变换不具有较好的鲁棒性；相对而言，SIFT描述器(Scale-invariant feature transform，尺度不变特征转换，简称SIFT；可参考文献“Lowe D G.Distinctive image features from scale-invariant keypoints.International Journal of Computer Vision，2004，60(2)：91-110”)可以说是目前最具鲁棒性的描述器，但由于其尺度不变特征点的提取算法的计算复杂性很高，对计算机处理效率带来了很大的负面影响，另一方面，SIFT描述器中128维的向量维数较高，导致匹配运算速度较慢，也进一步恶化了计算机处理效率，这两方面的原因都使得SIFT描述器难以满足车牌字符识别系统的实时性要求。

发明内容

针对现有技术中存在的上述问题，本发明基于车牌字符图像的特点而提供一种简化了SIFT描述器运算步骤的车牌字符识别方法；本发明的车牌字符识别方法中所采用的描述器是直接以字符图像的几何中心点作为特征点，通过PCA(Principal Component Analysis，主成分分析，简称PCA)算法寻找车牌字符图像中字符的主方向，从而生成字符特征点的描述子，简化了图像特征点的计算复杂性，有助于提高车牌字符识别的计算机运算效率，以便更好的满足实时性要求。

为实现上述目的，本发明采用了如下技术手段：

车牌字符识别方法，包括以下步骤：

A)修正车牌字符图像中字符的主方向；该步骤具体包括：

a1)预先将车牌字符图像的分辨率处理为R行×C列，并设定灰度阈值P₀，将车牌字符图像中灰度值大于灰度阈值P₀的像素点判定为字符像素点；

a2)以车牌字符图像的几何中心点作为原点建立直角坐标系，将车牌字符图像中的字符像素点映射到所述直角坐标系中，其坐标映射公式为：

$x_{\mathrm{vc}}=\frac{1-C}{2}+c,$ $y_{\mathrm{vr}}=\frac{R-1}{2}-r;$

(x_vc，y_vr)即为位于车牌字符图像中第r行第c列的字符像素点在直角坐标系中的坐标，其中，r∈{1，2，...，R}，c∈{1，2，...，C}；

a3)以车牌字符图像中各个字符像素点的坐标构建字符坐标矩阵V，用PCA算法计算出字符坐标矩阵V的特征向量，以最大特征值所对应特征向量的方向为车牌字符图像中字符的主方向，并求出字符主方向到直角坐标系纵坐标轴的倾斜角度

取

a4)根据倾斜角度

对车牌字符图像进行字符旋转，处理得到字符主方向与图像竖直方向相一致且分辨率为R行×C列的正向车牌字符图像；

B)生成描述器；该步骤具体包括：

b1)以正向车牌字符图像的几何中心点作为原点建立直角坐标系，将正向车牌字符图像中各个像素点映射到所述直角坐标系中，其坐标映射公式为：

$x_c=\frac{1-C}{2}+c,$ $y_r=\frac{R-1}{2}-r;$

(x_c，y_r)即为位于正向车牌字符图像中第r行第c列的字符像素点在直角坐标系中的坐标，其中，r∈{1，2，...，R}，c∈{1，2，...，C}；

b2)计算正向车牌字符图像中第r行第c列像素点的梯度值m(x_c，y_r)和梯度方向θ(x_c，y_r)：

$m(x_c,y_r)=\sqrt{{(P(x_{c+1},y_r)-P(x_{c-1},y_r))}^2+{(P(x_c,y_{r+1})-P(x_c,y_{r-1}))}^2};$

$\mathrm{\θ}(x_c,y_r)=\arctan [2\·\frac{P(x_c,y_{r+1})-P(x_c,y_{r-1})}{P(x_{c+1},y_r)-P(x_{c-1},y_r)}];$

其中，P为灰度值符号，P(x_c，y_r-1)、(P(x_c，y_r+1)、P(x_c-1，y_r)和P(x_c+1，y_r)分别表示与第r行第c列像素点相邻的上一个像素点、下一个像素点、左一个像素点和右一个像素点的灰度值；

b3)将正向车牌字符图像按横4纵4等分为16个小区域，其中横向第i纵向第j个小区域的中心点在直角坐标系中的坐标为(x_oj，y_oi)，j∈{1，2，3，4}，i∈{1，2，3，4}，横向相邻两个小区域的中心点的x轴向间距为S_x，纵向相邻两个小区域的中心点的y轴向间距为S_y；由此计算正向车牌字符图像中第r行第c列像素点在其所在的横向第i纵向第j个小区域中的位置权重PW_ij(x_c，y_r)：

PW_ij(x_c，y_r)＝D_cj×D_ri；

其中，

D_cj和D_ri分别为第r行第c列像素点在其所在的横向第i纵向第j个小区域中的x轴向位置权重和y轴向位置权重；

b4)计算正向车牌字符图像中第r行第c列像素点的高斯权重GW(x_c，y_r)：

$\mathrm{GW}(x_c,y_r)=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-\frac{{x_c}^2+{y_r}^2}{2{\mathrm{\σ}}^2}};$

其中，e为自然常数，π为圆周率，σ取常数；

b5)计算正向车牌字符图像中第r行第c列像素点的方向权重DW_Lt(x_c，y_r)：

${\mathrm{DW}}_{\mathrm{Lt}}(x_c,y_r)=1-\frac{|\mathrm{\θ}(x_c,y_r)-L_t|}{0.25\mathrm{\π}};$

其中，L_t的取值条件满足L_t＝t·0.25π，t∈{0，1，2，3，4，5，6，7}，且|θ(x_c，y_r)-L_t|＜0.25π；

b6)生成正向车牌字符图像中第r行第c列像素点的描述子W(x_c，y_r)：

W(x_c，y_r)＝PW_ij(x_c，y_r)×DW_Lt(x_c，y_r)×GW(x_c，y_r)×m(x_c，y_r)；

b7)按照步骤b2)～b6)所述的方法，生成正向车牌字符图像中各个像素点的描述子；将正向车牌字符图像中一个小区域内的各个像素点的描述子相累加，形成一个8维的描述器因子，从而由正向车牌字符图像中16个小区域所形成的16个描述器因子构成128维的描述器；

C)对待测车牌字符图像进行字符识别；该步骤具体包括：

c1)在数据库中建立所含字符已知的车牌字符图像模板，所述车牌字符图像模板包括所含字符为汉字的汉字图像模板、所含字符为字母的字母图像模板以及所含字符为数字的数字图像模板；

c2)针对待测车牌字符图像，在数据库中指定部分车牌字符图像模板作为识别基准；采用步骤A)和步骤B)所述的方法生成待测车牌字符图像的描述器以及针对其指定的部分车牌字符图像模板的描述器，并基于针对其指定的部分车牌字符图像模板的描述器采用SVM分类算法对待测车牌字符图像的描述器进行分类运算，求得与待测车牌字符图像相匹配的车牌字符图像模板，从而识别出待测车牌字符图像中的字符，输出识别结果；

其中，针对车牌第一个字符的待测车牌字符图像指定的部分车牌字符图像模板为数据库中的各汉字图像模板，针对车牌第二个字符的待测车牌字符图像指定的部分车牌字符图像模板为数据库中的各字母图像模板，针对车牌第三或第四个字符的待测车牌字符图像指定的部分车牌字符图像模板为数据库中的各字母图像模板以及各数字图像模板，针对车牌第五、第六或第七个字符的待测车牌字符图像指定的部分车牌字符图像模板为数据库中的各数字图像模板。

上述的车牌字符识别识别方法中，进一步，所述分辨率R行×C列中，R的取值在16～64之间，C的取值在16～64之间。

上述的车牌字符识别识别方法中，进一步，所述灰度阈值P₀的取值在150～200之间。

上述的车牌字符识别识别方法中，进一步，所述σ的优选取值为σ＝2S_x。

相比于现有技术，本发明具有如下有益效果：

1、本发明的车牌字符识别方法，通过PCA算法计算车牌字符图像中字符的主方向，相对于现有的SIFT描述器而言，车牌字符图像中字符的主方向的运算量得以大幅简化，提高了计算机运算效率，能够更好的满足车牌识别系统的实时性要求，并且生成的描述器同时保证了车牌字符图像的旋转不变性以及抗噪声和光照影响的能力，具有良好的鲁棒性。

2、本发明的车牌字符识别方法中，采用SVM分类算法与本发明采用的NSIFT描述器相结合对车牌字符图像进行字符识别，相对于采用KNN等其它分类算法而言，在不增加分类算法运算复杂度的前提下具备了更高的识别率。

附图说明

图1为一所含字符倾斜的车牌字符图像；

图2为本发明方法中用PCA算法计算图1中所含字符主方向的效果图；

图3为采用本发明方法的NSIFT描述器对图1所示车牌字符图像进行处理过后的效果图；

图4为实施例中对本发明方法的NSIFT描述器进行有效性验证的验证结果曲线图；

图5～图8分别为实施例中采用“NSIFT描述器+SVM算法”与采用“NSIFT描述器+KNN算法”对“汉字类”、“数字类”、“字母类”和“数字+字母类”车牌字符图像的识别率比较曲线图；

图9为采用PCA算法对本发明方法的NSIFT描述器降维处理后的车牌字符图像识别率曲线图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

现有技术中，Lowe David George提出的SIFT描述器的生成过程主要包括四个步骤：一)检测尺度空间极值点；二)精确定位极值点；三)为每个关键点指定方向参数；四)关键点描述子的生成。其中，前三个步骤是为了确定图像的关键点和关键点的主方向(针对车牌字符图像而言，其关键点即为字符像素点)，但是该过程的计算复杂性很高；第四个步骤用于生成描述器。而车牌字符图像具有图像尺寸小，一张图像只需要一个特征点进行描述，字符的几何中心和重心相差不大的特征。因此，本发明方法中提出的描述器生成算法根据车牌字符图像的特征，直接以车牌字符图像的几何中心点作为直角坐标系原点，利用PCA算法寻找字符像素点坐标的主方向，解决了车牌字符图像中字符的主方向的确定问题，很大程度的减少了该过程的运算复杂度；而本发明车牌字符识别方法中描述器的生成过程与现有SIFT描述器生成过程的第四步骤相类似，从而有效保证了本发明描述器的鲁棒性。为了描述方便，并与现有的SIFT描述器加以区分，本文将本发明方法中所采用的描述器称为NSIFT描述器。下面通过实施例对本发明方法的造作流程、可行性以及识别效果进行进一步的说明。

1.车牌字符识别方法：

本发明的车牌字符识别方法的步骤如下：

A)修正车牌字符图像中字符的主方向：

图1所示的车牌字符图像，是图像采集设备采集到得车牌图像经过定位、分割、去噪滤波、灰度化处理过后的得到的车牌字符图像，图中可以看到其中的字符“渝”的主方向是倾斜的。为便于识别处理，需要修正车牌字符图像中字符的主方向，具体的处理步骤是：

a1)预先将车牌字符图像的分辨率处理为R行×C列，并设定灰度阈值P₀，将车牌字符图像中灰度值大于灰度阈值P₀的像素点判定为字符像素点。分辨率处理为R行×C列，一方面是为了统一图像分辨率以便于后期识别，另一方面是控制像素点的运算处理量；为同时保证车牌字符图像达到可识别分辨率并且控制像素点的运算处理量，车牌字符图像的分辨率R行×C列最好在16×16到64×64之间。而车牌字符图像中，字符像素点的颜色较浅，其灰度值通常在200以上；而底色的颜色较深，灰度值通常在150以下，因此用于区分字符相似点的灰度阈值P₀适宜设置在150～200之间。

a2)以车牌字符图像的几何中心点作为原点建立直角坐标系，将车牌字符图像中的字符像素点映射到所述直角坐标系中，其坐标映射公式为：

$x_{\mathrm{vc}}=\frac{1-C}{2}+c,$ $y_{\mathrm{vr}}=\frac{R-1}{2}-r;$

(x_vc，y_vr)即为位于车牌字符图像中第r行第c列的字符像素点在直角坐标系中的坐标，其中，r∈{1，2，...，R}，c∈{1，2，...，C}。

a3)以车牌字符图像中各个字符像素点的坐标构建字符坐标矩阵V，用PCA算法计算出字符坐标矩阵V的特征向量，以最大特征值所对应特征向量的方向为车牌字符图像中字符的主方向，并求出字符主方向到直角坐标系纵坐标轴的倾斜角度

取

PCA算法为本领域的公知公用算法，其详细过程本文不再加以赘述，可参考“Smith，L.I.A Tutorial on Principal Component Analysis.2002，Unpublished”、“Shlens J.A Tutorial on Principal Component Analysis.2005，Unpublished，Version 2”等现有文献资料。用PCA算法计算图1所示的车牌字符图像中字符“渝”主方向的效果图，如图2所示。

经过上述的三个步骤，最终计算出该车牌字符图像中字符“渝”的主方向倾斜角度

为25°。

a4)根据倾斜角度

对车牌字符图像进行字符旋转，处理得到字符主方向与图像竖直方向相一致且分辨率为R行×C列的正向车牌字符图像。对图1所示的车牌字符图像中字符“渝”按25°偏角进行字符旋转后，字符主方向与图像竖直方向修正为相一致，修正后效果如图3所示。

B)生成描述器：

以正向车牌字符图像为基础生成描述器，以对车牌字符图像进行数学描述，便于后期识别应用。之所以正向车牌字符图像的分辨率也处理为R行×C列，同样是出于统一图像分辨率和控制像素点的运算处理量的考虑。本发明提出的NSIFT描述器的生成过程和现有SIFT算法的生成过程相类似，其具体的生成步骤如下：

b1)以正向车牌字符图像的几何中心点作为原点建立直角坐标系，将正向车牌字符图像中各个像素点映射到所述直角坐标系中，其坐标映射公式为：

$x_c=\frac{1-C}{2}+c,$ $y_r=\frac{R-1}{2}-r;$

(x_c，y_r)即为位于正向车牌字符图像中第r行第c列的字符像素点在直角坐标系中的坐标，其中，r∈{1，2，...，R}，c∈{1，2，...，C}。

b2)计算正向车牌字符图像中第r行第c列像素点的梯度值m(x_c，y_r)和梯度方向θ(x_c，y_r)：

$m(x_c,y_r)=\sqrt{{(P(x_{c+1},y_r)-P(x_{c-1},y_r))}^2+{(P(x_c,y_{r+1})-P(x_c,y_{r-1}))}^2};$

$\mathrm{\θ}(x_c,y_r)=\arctan [2\·\frac{P(x_c,y_{r+1})-P(x_c,y_{r-1})}{P(x_{c+1},y_r)-P(x_{c-1},y_r)}];$

其中，P为灰度值符号，P(x_c，y_r-1)、(P(x_c，y_r+1)、P(x_c-1，y_r)和P(x_c+1，y_r)分别表示与第r行第c列像素点相邻的上一个像素点、下一个像素点、左一个像素点和右一个像素点的灰度值，从而一个像素点在正向车牌字符图像的信息用与其相邻的上下左右四个像素点进行描述。

b3)计算车牌字符图像中像素点的位置权重：

将正向车牌字符图像按横4纵4等分为16个小区域，其中横向第i纵向第j个小区域的中心点在直角坐标系中的坐标为(x_oj，y_oi)，j∈{1，2，3，4}，i∈{1，2，3，4}，因此一共有16个这样的小区域中心点；小区域划分数量与描述器的维数相关，从而关系到车牌字符图像识别率和识别运算量的问题，在后文中会进一步介绍划分16个小区域的原因。其中，横向相邻两个小区域的中心点的x轴向间距为S_x，纵向相邻两个小区域的中心点的y轴向间距为S_y。由此正向计算车牌字符图像中第r行第c列像素点在其所在的横向第i纵向第j个小区域中的位置权重PW_ij(x_c，y_r)：

PW_ij(x_c，y_r)＝D_cj×D_ri；

其中，

D_cj和D_ri分别为第r行第c列像素点在其所在的横向第i纵向第j个小区域中的x轴向位置权重和y轴向位置权重；

b4)计算正向车牌字符图像中第r行第c列像素点的高斯权重GW(x_c，y_r)：

$\mathrm{GW}(x_c,y_r)=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-\frac{{x_c}^2+{y_r}^2}{2{\mathrm{\σ}}^2}};$

其中，e为自然常数，π为圆周率；σ为方差，在实际的计算中σ可以取常数。经过对实验数据的统计验证，取σ＝2×S_x时，车牌字符图像中的字符识别率相对较高，可视为σ的优选取值。

b5)计算正向车牌字符图像中第r行第c列像素点的方向权重DW_Lt(x_c，y_r)：

${\mathrm{DW}}_{\mathrm{Lt}}(x_c,y_r)=1-\frac{|\mathrm{\θ}(x_c,y_r)-L_t|}{0.25\mathrm{\π}};$

其中，L_t是指将方向区间[0，2π)划分为8个条目的条目方向角，在方向区间[0，2π)之中，从0开始，每隔0.25π划分一个条目，则条目方向角L_t＝t·0.25π，t∈{0，1，2，3，4，5，6，7}；同时，上公式中，L_t的取值条件还应当满足|θ(x_c，y_r)-L_t|＜0.25π，即方向权重DW_Lt(x_c，y_r)的值是指第r行第c列像素点的梯度方向θ(x_c，y_r)在满足|θ(x_c，y_r)-L_t|＜0.25π这一条件的条目方向角上的权重。

b6)生成正向车牌字符图像中第r行第c列像素点的描述子W(x_c，y_r)：

W(x_c，y_r)＝PW_ij(x_c，y_r)·DW_Lt(x_c，y_r)·GW(x_c，y_r)·m(x_c，y_r)。

b7)按照步骤b2)～b6)所述的方法，生成正向车牌字符图像中各个像素点的描述子；然后，将正向车牌字符图像中一个小区域内的各个像素点的描述子相累加，形成一个8维的描述器因子，从而由正向车牌字符图像中16个小区域所形成的16个描述器因子构成128维的NSIFT描述器。由此可见，正向车牌字符图像中小区域的划分数量与NSIFT描述器的维数密切相关，分区过多则导致NSIFT描述器的维数增加，进而增加后期识别处理过程的数据运算量；在保证字符识别率的情况下，将正向车牌字符图像按横4纵4等分为16个小区域是较为适宜的划分方式。

上述NSIFT描述器的生成步骤中，步骤b3)中计算得到的位置权重使得NSIFT描述器具有图像旋转不变性；步骤b4)中计算得到的高斯权重体现了越靠近车牌字符图像中心的像素点其贡献越大；步骤b5)中计算得到的方向权重使得NSIFT描述器具有抗噪声和光照影响的能力。这三个权重因子保证了NSIFT描述器的鲁棒性。

当然，还可以采用现有的一些方法对本发明提出的NSIFT描述器加以进一步的改进。例如可以运用PCA算法对NSIFT描述器进行降维处理(运用PCA算法进行降维处理的具体方法，可参考文献“Ke Y.PCA-SIFT：a more distinctive representation for local image descriptors.CVPR，2004，2：506-513.10”)，生成一个低维的特征向量，从而进一步的提高匹配运算速度，再度优化计算机处理效率。这些改进，都应当涵盖在本发明的保护范围中。

C)对待测车牌字符图像进行字符识别：

c1)建立车牌字符图像模板：

采集所含字符已知的车牌字符图像，用以在数据库中建立车牌字符图像模板。由于车牌可以由汉字、英文字母、数字组成，因此可将含有单个字符的车牌字符图像分为“汉字类”、“字母类”、“数字类”这三个大类，相应地，在数据库中建立的车牌字符图像模板也应当包括所含字符为汉字的汉字图像模板、所含字符为字母的字母图像模板以及所含字符为数字的数字图像模板。

c2)字符识别：

在针对待测车牌字符图像的字符识别过程中，需要考虑的优化问题有两个，一个是如何选择识别基准的问题，另一个如何选择识别算法的问题。

对于如何选择识别基准的问题，如果将数据库中所有车牌字符图像模板作为识别基准，对每一个待测车牌字符图像进行对比识别的话，会进行一些不必要对比运算；例如“汉字类”待测车牌字符图像与字母图像模板和数字图像模板进行对比，不会产生有意义的识别结果，而其对比运算会耗费识别时间进而会降低识别效率。车牌中的字符分布具有明显的特征：第一个字符为汉字；第二次字符为英文字母；第三、四个字符为数字、英文字母或者其组合；第五、六、七个字符为数字。根据这个特征，本发明针对待测车牌字符图像，在数据库中指定部分车牌字符图像模板作为识别基准，以避免不必要的识别对比，提高识别效率；其中，针对车牌第一个字符的待测车牌字符图像指定的部分车牌字符图像模板为数据库中的各汉字图像模板，针对车牌第二个字符的待测车牌字符图像指定的部分车牌字符图像模板为数据库中的各字母图像模板，针对车牌第三或第四个字符的待测车牌字符图像指定的部分车牌字符图像模板为数据库中的各字母图像模板以及各数字图像模板，针对车牌第五、第六或第七个字符的待测车牌字符图像指定的部分车牌字符图像模板为数据库中的各数字图像模板。

对于如何选择识别算法的问题，现有的分类识别算法很多，例如常用的基于距离的KNN算法(K-Nearest Neighbor，临近分类算法，简称KNN)，该分类算法运算简单，但是抗噪声能力弱，分类精度较低；神经网络(可参考文献“Paliwal M；Kumar UA.Neural networks and statistical techniques：A review of applications.Expert Systems with Applications，Jan 2009，36(1)：2-17.”)是针对大样本问题的机器学习方法，该方法的分类效果与训练样本的数目和训练的次数有关，不适用于解决车牌字符识别这种小样本问题。SVM分类算法(Support Vector Machine，支持向量机，简称SVM)是Vapnik等人根据统计学习理论提出的一类针对小样本问题的新型机器学习方法(可参考文献“Burges C J C.A Tutorial on Support Vector Machines for Pattern Recognition.Knowledge Discovery and Data Mining，1998，2(2).”)，该算法已经在模式识别、回归分析和概率密度函数估计等方面得到了广泛的应用。SVM算法的核心思想就是将结构风险最小化原则引入到分类，是从线性可分情况下的最优分类超平面发展而来的，其本质是在训练样本中找到构造最优分类超平面的支持向量，在数学上归结为一个求解具有不等式约束条件的二次规划问题。考虑到SVM分类算法的线性分析性能及其不增加多维数据复杂性、能有效避免“维数灾难”的优点，本发明采用SVM分类算法结合NSIFT描述器进行待测车牌字符图像的字符识别。

采用步骤A)和步骤B)所述的方法生成待测车牌字符图像的描述器以及针对其指定的部分车牌字符图像模板的描述器，并基于针对其指定的部分车牌字符图像模板的描述器采用SVM分类算法对待测车牌字符图像的描述器进行分类运算，求得与待测车牌字符图像相匹配的车牌字符图像模板，从而识别出待测车牌字符图像中的字符，输出识别结果。SVM分类算法也是本领域的公知公用的分类算法，其详细过程本文不再加以赘述，可参考“Burges C J C.A Tutorial on Support Vector Machines for Pattern Recognition.Knowledge Discovery and Data Mining，1998，2(2)”、“王润民；钱友；姚畅.一种基于GA和支持向量机的车牌字符识别方法.计算机工程应用，2008，44(17)：231-233”等现有文献资料。

SVM分类算法中，比较常用的核函数有以下四种：

①线性核函数：  K(x，x_i)＝(x·x_i)；

②多项式核函数：K(x，x_i)＝(1+x·x_i)；

③高斯径向基核函数：K(x，x_i)＝exp(-||x-x_i||²/δ²)；

④二层神经网络核函数：K(x，x_i)＝tanh(k₁(x·x_i)+k₂)。

本发明所采用的SVM分类算法适宜选用高斯径向基核函数作为核函数；而对于SVM分类算法中惩罚因子g和高斯径向基核函数参数δ²的取值，可以先分别取g＝2^α，δ²＝2^β，α，β∈{-8，-7，...，-1，0，1，...，7，8}，然后针对每一对惩罚因子g和高斯径向基核函数参数δ²的组合进行训练，找到识别率最高的组合即作为惩罚因子g和高斯径向基核函数参数δ²的优选取值。

2.本发明方法的鲁棒性验证实验与实验结果分析：

本发明方法中所采用的NSIFT描述器以图像的梯度信息为基础生成特征向量，而以往字符识别算法的特征提取都是直接以图像信息为基础。为了验证NSIFT描述器的鲁棒性，针对“8”、“B”、“渝”、“湘”四个字符生成NSIFT描述器，利用欧氏距离比较其向量相似度。针对“8”、“B”、“渝”、“湘”中的每一字符各准备10张车牌字符图像，分别为：主方向没有倾斜的原始车牌字符图像，对原始车牌字符图像添加高斯噪声0.1、0.2、0.3、0.4后的4张图像，以及将原始车牌字符图像中字符倾斜5度、15度、25度、35度、45度后的5张图像。从而针对“8”、“B”、“渝”、“湘”四个字符共有40张车牌字符图像。

为验证NSIFT描述器和SVM分类算法结合识别车牌字符的有效性，分别用“NSIFT+KNN”识别算法和“NSIFT+SVM”识别算法，分别对“汉字类”、“字母类”、“数字类”、“数字+字母类”车牌字符图像中的字符进行识别，分析其识别结果。

为说明本发明提出的车牌字符识别方法的实时性，还通过实验将生成的NSIFT描述器用PCA算法进一步降维，从不同维度上比较了识别效果，以验证维度的降低对识别率的影响。

2.1.实验样本的选取：

实验的样本是实拍的700多幅车牌图像以及通过网络下载的1000多幅车牌图像，通过车牌识别系统的定位、分割、去噪滤波、灰度化处理后，从这1700多幅车牌图像获取到的车牌字符图像，建立车牌字符图像模板。车牌字符图像模板中，包含有各省车牌中汉字字符的汉字图像模板800多幅，A～Z这26大写字母字符的字母图像模板600多幅，0～9这10个数字字符的数字图像模板500多幅。

2.2.实验结果：

2.2.1.验证NSIFT描述器的有效性：

字符识别研究的出发点是找到相同类车牌字符能够区别于其它类车牌字符的特征。在本实验中，验证NSIFT描述器有效性的方法是利用欧式距离计算向量的相似度，两个向量的欧式距离越小，则表明它们的相似度越高。若所含字符相同的车牌字符图像生成的NSIFT描述器之间的欧式距离小于所含字符不同的车牌字符图像生成的NSIFT描述器之间的欧式距离，则说明本发明提出的NSIFT描述器能够寻找到车牌字符的最优特征，该特征可以很好的区分出所含字符不同的车牌字符图像并同时可以很好的描述所含字符相同的车牌字符图像。

该过程中，选用的字符图像为“8”、“B”、“湘”、“渝”，字符“8”与字符“B”相似度很高，字符“湘”与字符“渝”相似度很高，些相似度较高、容易混淆的字符是车牌字符识别的难点。为了验证NSIFT算法的鲁棒性，针对“8”、“B”、“渝”、“湘”中的每一字符各准备10张车牌字符图像，分别为：主方向没有倾斜的原始车牌字符图像，对原始车牌字符图像添加高斯噪声0.1、0.2、0.3、0.4后的4张图像，以及将原始车牌字符图像中字符倾斜5度、15度、25度、35度、45度后的5张图像。从而针对“8”、“B”、“渝”、“湘”四个字符共有40张车牌字符图像。

为了对比生成的NSIFT描述器的相似度，以“8”、“B”、“湘”、“渝”字符的原始车牌字符图像为识别基准，分别对“8”、“B”、“湘”、“渝”字符的10张图片进行相似度计算，其有效性验证结果对应于图4所示验证结果曲线图中的四条曲线。图4所示验证结果曲线图中，横坐标上1到40个横坐标点分别依次表示“8”、“B”、“渝”、“湘”四个字符对应的40张图像，“8”、“B”、“渝”、“湘”中的每一字符各包含10张图片，每一字符对应的10张图片依次为：主方向没有倾斜的原始车牌字符图像，对原始车牌字符图像添加高斯噪声0.1、0.2、0.3、0.4后的4张图像，以及将原始车牌字符图像中字符倾斜5度、15度、25度、35度、45度后的5张图像；纵坐标表示相似度值。

分析图4中以字符“8”为基准的曲线，除了第10张字符图像的相似度略高于11到15张图像的相似度外，字符“8”的其它9张图像的相似度都低于其它类的图像。分析以字符“B”为基准的曲线，可以看出字符“B”的同类图像的相似度都明显低于不同类图像的相似度。分析以字符“湘”为基准和以字符“渝”为基准的曲线，都可以得到相同的实验结果。由此证明，NSIFT描述器能够区分出所含字符不同的车牌字符图像，并且能够很好的识别出所含字符相同的车牌字符图像。

分析图4中对应添加高斯噪声后以及字符倾斜后的图像的相似度值。每条曲线中加入高斯噪声的字符图像都与所含字符相同原始车牌字符图像有很高的相似度，说明NSIFT描述器对噪声具有很强的鲁棒性；字符倾斜角度不大于25度的图像与所含字符相同原始车牌字符图像具有较高的相似度，表明NSIFT描述器对25度以内的倾斜角度具有鲁棒性。

通过以上的实验分析，可以验证本发明提出的NSIFT描述器的有效性和鲁棒性。

2.2.2.验证NSIFT描述器+SVM识别算法的有效性：

图5～图8分别为采用“NSIFT描述器+SVM算法”与采用“NSIFT描述器+KNN算法”依次对“汉字类”(图5)、“数字类”(图6)、“字母类”(图7)和“数字+字母类”(图8)的车牌字符图像的识别率比较曲线图；其中，横坐标表示经加噪或旋转后的测试字符图像集，从左到右的10个横坐标点分别为：原始测试图像，添加高斯噪声0.1、0.2、0.3、0.4后的4张测试图像，倾斜5度、15度、25度、35度、45度后的5张测试图像；纵坐标表示字符识别率。

通过对比图5～图8中第1到第5个点的识别率可以看出，NSIFT描述器对噪声具有很强的鲁棒性，不大于高斯噪声0.4的噪声干扰对识别率的影响很低。对比图5～图8中“NSIFT+KNN算法”和“NSIFT+SVM算法”可以看出，SVM分类算法可以很大程度的提高识别率，特别当字符图像的倾斜角度变大时，SVM分类算法的优越性更加明显了。对比“汉字类”、“数字类”、“字母类”和“数字+字母类”四类车牌字符图像，SVM分类算法对汉字识别率影响明显，而“汉字类”车牌字符图像的字符识别一直是车牌字符识别中的难点，因此SVM分类算法对提高车牌整体的识别效果有着重要的作用。

从图5～图8中可以看出，当字符图像的倾斜角度大于25度之后，字符识别率下降的速度加快，特别是汉字识别率的下降速度很快，这主要是因为汉字的笔画相对较为复杂，若倾斜角度过大，部分汉字笔画可能存在重叠、交叉的现象，并且确定主方向之后再进行主方向的修正，可能导致汉字的整体结构变的模糊，降低了其可识别性。

2.2.3.验证对NSIFT描述器进一步降维的有效性：

由于车牌识别系统的实时性要求，NSIFT描述器的维度为128维，还存在一定的降维空间。为了进一步满足车牌识别系统的实时性需求，可以采用现有的将为手段对NSIFT描述器进一步降维。本实验的目的在于验证采用PCA算法对本发明方法的NSIFT描述器进行降维处理的有效性。

图9所示为将生成的NSIFT描述器用PCA算法进一步降维之后的车牌字符图像识别率曲线图；其中，横坐标表示维度，实验中，选取的维度为：20、40、60、80、100、128；纵坐标表示字符识别率；图9中的四条曲线分别表示“汉字类”、“数字类”、“字母类”和“数字+字母类”四类车牌字符图像在不同维度下的字符识别率。

从图9中可以看出，将NSIFT描述器生成的向量降维至不低于60的维度时，字符图像的识别率基本不受影响。对于“数字类”车牌字符图像，维度可以降至20维，其字符识别率基本不发生改变；对于“字母类”车牌字符图像，维度降至20维，其字符识别率降低程度不到1％；对于“汉字类”和“数字+字母类”车牌字符图像，维度降至20维，其字符识别率影响最大，但字符识别率下降的程度也不超过2％。

通过以上的分析可以看出，对本发明方法的NSIFT描述器用PCA算法进一步降维的方法是可行的。在车牌识别的实际应用中，可以根据算法对实时性的具体需求，将NSIFT描述器降低到适合的维度，对字符识别率的影响不大。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.车牌字符识别方法，其特征在于，包括以下步骤：

A)修正车牌字符图像中字符的主方向；该步骤具体包括：

a1)预先将车牌字符图像的分辨率处理为R行×C列，并设定灰度阈值P₀，将车牌字符图像中灰度值大于灰度阈值P₀的像素点判定为字符像素点；

a2)以车牌字符图像的几何中心点作为原点建立直角坐标系，将车牌字符图像中的字符像素点映射到所述直角坐标系中，其坐标映射公式为：

$x_{\mathrm{vc}}=\frac{1-C}{2}+c,$ $y_{\mathrm{vr}}=\frac{R-1}{2}-r;$

(x_vc，y_vr)即为位于车牌字符图像中第r行第c列的字符像素点在直角坐标系中的坐标，其中，r∈{1，2，...，R}，c∈{1，2，...，C}；

a3)以车牌字符图像中各个字符像素点的坐标构建字符坐标矩阵V，用PCA算法计算出字符坐标矩阵V的特征向量，以最大特征值所对应特征向量的方向为车牌字符图像中字符的主方向，并求出字符主方向到直角坐标系纵坐标轴的倾斜角度

取

a4)根据倾斜角度

对车牌字符图像进行字符旋转，处理得到字符主方向与图像竖直方向相一致且分辨率为R行×C列的正向车牌字符图像；

B)生成描述器；该步骤具体包括：

b1)以正向车牌字符图像的几何中心点作为原点建立直角坐标系，将正向车牌字符图像中各个像素点映射到所述直角坐标系中，其坐标映射公式为：

$x_c=\frac{1-C}{2}+c,$ $y_r=\frac{R-1}{2}-r;$

(x_c，y_r)即为位于正向车牌字符图像中第r行第c列的字符像素点在直角坐标系中的坐标，其中，r∈{1，2，...，R}，c∈{1，2，...，C}；

b2)计算正向车牌字符图像中第r行第c列像素点的梯度值m(x_c，y_r)和梯度方向θ(x_c，y_r)：

$m(x_c,y_r)=\sqrt{{(P(x_{c+1},y_r)-P(x_{c-1},y_r))}^2+{(P(x_c,y_{r+1})-P(x_c,y_{r-1}))}^2};$

$\mathrm{\θ}(x_c,y_r)=\arctan [2\·\frac{P(x_c,y_{r+1})-P(x_c,y_{r-1})}{P(x_{c+1},y_r)-P(x_{c-1},y_r)}];$

其中，P为灰度值符号，P(x_c，y_r-1)、(P(x_c，y_r+1)、P(x_c-1，y_r)和P(x_c+1，y_r)分别表示与第r行第c列像素点相邻的上一个像素点、下一个像素点、左一个像素点和右一个像素点的灰度值；

b3)将正向车牌字符图像按横4纵4等分为16个小区域，其中横向第i纵向第j个小区域的中心点在直角坐标系中的坐标为(x_oj，y_oi)，j∈{1，2，3，4}，i∈{1，2，3，4}，横向相邻两个小区域的中心点的x轴向间距为S_x，纵向相邻两个小区域的中心点的y轴向间距为S_y；由此计算正向车牌字符图像中第r行第c列像素点在其所在的横向第i纵向第j个小区域中的位置权重PW_ij(x_c，y_r)：

PW_ij(x_c，y_r)＝D_cj×D_ri；

其中，

D_cj和D_ri分别为第r行第c列像素点在其所在的横向第i纵向第j个小区域中的x轴向位置权重和y轴向位置权重；

b4)计算正向车牌字符图像中第r行第c列像素点的高斯权重GW(x_c，y_r)：

$\mathrm{GW}(x_c,y_r)=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-\frac{{x_c}^2+{y_r}^2}{2{\mathrm{\σ}}^2}};$

其中，e为自然常数，π为圆周率，σ取常数；

b5)计算正向车牌字符图像中第r行第c列像素点的方向权重DW_Lt(x_c，y_r)：

${\mathrm{DW}}_{\mathrm{Lt}}(x_c,y_r)=1-\frac{|\mathrm{\θ}(x_c,y_r)-L_t|}{0.25\mathrm{\π}};$

其中，L_t的取值条件满足L_t＝t·0.25π，t∈{0，1，2，3，4，5，6，7}，且|θ(x_c，y_r)-L_t|＜0.25π；

b6)生成正向车牌字符图像中第r行第c列像素点的描述子W(x_c，y_r)：

W(x_c，y_r)＝PW_ij(x_c，y_r)×DW_Lt(x_c，y_r)×GW(x_c，y_r)×m(x_c，y_r)；

b7)按照步骤b2)～b6)所述的方法，生成正向车牌字符图像中各个像素点的描述子；将正向车牌字符图像中一个小区域内的各个像素点的描述子相累加，形成一个8维的描述器因子，从而由正向车牌字符图像中16个小区域所形成的16个描述器因子构成128维的描述器；

C)对待测车牌字符图像进行字符识别；该步骤具体包括：

c1)在数据库中建立所含字符已知的车牌字符图像模板，所述车牌字符图像模板包括所含字符为汉字的汉字图像模板、所含字符为字母的字母图像模板以及所含字符为数字的数字图像模板；

c2)针对待测车牌字符图像，在数据库中指定部分车牌字符图像模板作为识别基准；采用步骤A)和步骤B)所述的方法生成待测车牌字符图像的描述器以及针对其指定的部分车牌字符图像模板的描述器，并基于针对其指定的部分车牌字符图像模板的描述器采用SVM分类算法对待测车牌字符图像的描述器进行分类运算，求得与待测车牌字符图像相匹配的车牌字符图像模板，从而识别出待测车牌字符图像中的字符，输出识别结果；

其中，针对车牌第一个字符的待测车牌字符图像指定的部分车牌字符图像模板为数据库中的各汉字图像模板，针对车牌第二个字符的待测车牌字符图像指定的部分车牌字符图像模板为数据库中的各字母图像模板，针对车牌第三或第四个字符的待测车牌字符图像指定的部分车牌字符图像模板为数据库中的各字母图像模板以及各数字图像模板，针对车牌第五、第六或第七个字符的待测车牌字符图像指定的部分车牌字符图像模板为数据库中的各数字图像模板。

2.根据权利要求1所述的车牌字符识别识别方法，其特征在于，所述分辨率R行×C列中，R的取值在16～64之间，C的取值在16～64之间。

3.根据权利要求1所述的车牌字符识别识别方法，其特征在于，所述灰度阈值P₀的取值在150～200之间。

4.根据权利要求1所述的车牌字符识别识别方法，其特征在于，所述σ的优选取值为σ＝2S_x。

Images