CN102163287B - 一种基于类Haar特征和支持向量机的车牌字符识别方法 - Google Patents

Abstract

本发明提出了一种基于类Haar特征向量和支持向量机(SVM)的车牌字符识别新方法，属于模式识别和智能交通领域，涉及字符图像特征提取和字符分类器训练。车牌字符识别方法是车牌识别的核心技术，其中需要解决的两个关键问题是字符特征提取和字符分类器设计。本发明选用适合字符笔画宽度的类Haar特征结构描述字符笔画，提取字符图像块的类Haar特征结构隶属度构成字符识别的特征向量，用以训练泛化性能好的SVM字符分类器。字符的几何结构是识别字符的关键特征，将笔画几何结构转换成统计量值来描述，是本发明的创新所在。所提车牌字符图像识别方法抗干扰性好，用于交通视频中的车牌字符识别，具有实时性好、识别精度高之特点。

Description

一种基于类Haar特征和支持向量机的车牌字符识别方法

技术领域

本发明属于模式识别和智能交通领域，涉及图像特征提取和字符分类器训练。本发明提出了一种基于类Haar特征向量和支持向量机(Support Vector Machine，SVM)分类器的车牌图像字符识别新方法，用于交通视频中的车牌字符识别，具有实时性好、识别精度高之特点。

背景技术

智能交通系统是90年代兴起的新一代交通运输系统，迄今为止国际上没有公认的定义。第一届智能交通系统世界大会认为，智能交通系统是将先进的信息技术、计算机技术、数据通信技术、电子控制技术、人工智能技术等有效地集成并应用于地面交通系统，从而建立起可以在大范围内发挥作用的，实时、准确、高效的地面交通系统。智能交通系统在有效利用现有交通设施、保证交通安全、提高运输效率、促进社会经济发展、推动社会信息化及形成新产业等方面均具有极其重要的作用，从而受到世界各国的重视。

车牌识别(License Plate Recognition，LPR)是计算机视觉、图像处理与模式识别技术在智能交通领域的一个重要研究课题，是智能交通系统的一个重要组成部分。LPR系统采集包含车辆的交通视频或图像，并利用模式识别方法进行处理和识别，获得车辆的车牌信息，达到识别车辆牌照的目的，为交通智能化管理提供必要的基本信息。车牌识别技术在交通违章监督管理、高速公路不停车收费、车辆跟踪、停车场监控与管理以及车辆安全防盗等领域，具有广阔的应用前景。

车牌字符识别方法是车牌识别的核心技术，运用模式识别的理论和方法识别牌照字符，属于光学字符识别(OCR)的一个子课题，其中需要解决的两个关键问题是字符特征提取和字符分类器设计。字符特征提取，决定选择并提取何种特征描述字符，才能突出相同字符的共性、不同字符的差异性。模式识别中特征的选取与具体应用密切相关，而特征的选择是否恰当直接影响算法的最终识别率。字符分类器，根据字符图像的特征取值，将字符图像分类到某个字符类；分类器的分类准确性和泛化性能也是整个系统识别率的决定因素。目前，车牌字符识别主要有两类方法：

1.模板匹配法

将待识别的字符图像与所建立的标准模板图像进行逐像素的比较，取相似度最高的模板字符为识别结果。使用该方法时，如果模板多则耗时长，而且很容易受到待识别字符图像的噪声和倾斜度等的影响而产生误识别，对于汉字识别尤为不利，一般单字识别率低于98％。

2.特征匹配法

基于字符的结构特征或统计特征设计分类器，识别字符。常用的字符统计特征有矩和频域特征，常用的字符结构特征有run-length特征、LBP特征以及Gabor特征；然而，这些特征无论哪一种都难以兼具高识别率和高识别速度。

车牌字符识别算法的准确率和速度对车牌识别系统的性能起决定作用，研究开发准确快速的车牌字符识别算法是非常必要的。目前我国使用的车牌字符集由汉字、英文字母和数字这三类字符集组成，汉字集由各省简称(如京、沪、粤等)以及使馆、军队和武警等部门的汉字简称构成，每个车牌中包含一个汉字字符；英文字母集为A～Z(除去I)，每个车牌中包含几个字母字符；数字集为0～9，每个车牌中包含数字字符若干。针对我国车牌字符图像特点，本发明提出了一种基于类Haar特征向量和支持向量机的车牌字符识别方法。

发明内容

有别于一般OCR所处理的字符图像，由于实际车牌的污染和实时采集设备的影响，一般车牌字符图像噪声干扰大，图像质量差，不易提取精准的字符轮廓边缘特征用于识别，且车牌的倾斜也会大大影响模板匹配方法的效果。本发明根据字符图像的特点，提出了一种基于类Haar特征向量和支持向量机(SVM)的车牌字符识别新方法。该方法根据字符笔画结构区分不同的字符，由于Haar特征能够很好地将图像几何结构特征转换为便于计算机计算的统计特征，故选用适合字符笔画宽度的类Haar特征结构描述字符笔画，并提取各图像块的类Haar特征结构隶属度构成字符识别的特征向量。为了得到泛化性能好的字符图像分类器，以所提取的类Haar特征训练支持向量机分类器。支持向量机是在统计学习理论的经验风险最小化和结构风险最小化准则的基础上发展起来的新的模式识别方法，能够很好地解决小样本、非线性及高维数等模式识别问题，是目前使用最为广泛的分类器。

字符的几何结构是识别字符的关键特征，而识别图像对象的几何结构是计算机的弱项，计算机更擅长统计计算，如何将几何结构转换成统计量值，是本发明的创新所在。利用类Haar特征向量描述字符的笔画结构，不仅能有效表征字符笔画结构特点，而且该特征对于字符图像污染造成的干扰具有较好的鲁棒性，这是现有其它字符识别特征不可比拟的。

本发明所提出车牌字符识别方法对车牌字符污染、模糊以及字符笔画缺失、断裂有较强的抗干扰能力，识别率和实时性都很好(单字识别率＞99.5％、识别时间＜2ms)；尤其是汉字识别，取得很好的识别效果。

附图说明

图1为本发明选取的类Haar特征模板

图2为车牌字符特征提取模块图

图3为SVM分类器训练图

图4为车牌字符识别框图

具体实施方式

本发明所设计的字符识别方法，提取字符图像块的类Haar特征向量，将此特征送到SVM分类器识别字符类别。算法所使用的类Haar特征模板如附图1所示，模板结构(1)用以表示字符上端的“横”笔画，模板结构(3)用以表示字符下端的“横”笔画，模板结构(2)用以表示字符左边的“竖”笔画，模板结构(4)用以表示字符右边的“竖”笔画，模板结构(5)用以表示位于字符中部的“横”，模板结构(6)用以表示位于字符中部的“竖”，模板结构(7)用以表示笔画“撇”，模板结构(8)用以表示笔画“捺”。本发明的字符识别方法包含两部分：字符特征提取和字符分类器设计，以下对本发明的具体实施方式进行详细说明：

一.提取合适类Haar特征向量表示车牌图像字符几何结构

车牌字符的结构特征提取算法流程如附图2所示，该提取算法首先将归一化的字符图像划分为等大小的图像块，统计各图像块中各种类Haar特征的隶属度，构成各个图像块的特性矢量；按照从上到下、从左到右的次序排列各个图像块的特征矢量，形成待识别字符的特征向量样本。具体算法如下：

1.字符图像分割及归一化

在包含车牌的图像或视频帧图像中定位并分割出车牌子图像，对车牌部分图像进行预处理并将它分割成若干(一般为7个)个仅包含单个字符的图像，将这些字符图像归一化到同一尺寸(W×H)的图像I(i，j)，(0≤i＜H，0≤j＜W)，其中W为字符图像归一化宽度，H为字符图像归一化高度；

2.字符图像二值化

对归一化后的车牌字符图像I(i，j)进行二值化，得到字符二值图像B(i，j)，(0≤i＜H，0≤j＜W)；

3.字符结构特征向量提取

对字符二值图像B(i，j)，提取描述字符结构的类Haar特征向量，步骤如下：

(1)计算积分图

计算二值图像B(i，j)的积分图S(x，y)，(0≤x≤W，0≤y≤H)

$S(x,y)=\underset{0\≤i\≤y}{\mathrm{\Σ}}\underset{0\≤j\≤x}{\mathrm{\Σ}}B(i,j)$

(2)计算各像素点的类Haar特征值f_k(i，j)

附图1是本发明选定的用于表征字符笔画的8种类Haar特征模板结构，选取结构中的黑色矩形宽度大小为归一化后车牌字符图像字符笔画宽度，长度为对应类Haar特征模板宽度的两倍；计算图像各像素点的这8种类Haar特征值

f_k(i，j)，(k＝1，2，...，8)f_k(i，j)，(k＝1，2，...，8，0≤i＜H，0≤j＜W)

f_k(i，j)＝∑_{p∈{1，2，...，P}}ω_p·RSum(r_p)

其中p∈{1，2，...，P}表示该类Haar特征由P个矩形构成，ω_p表示第p个矩形的权值(-1，+1)，取黑色矩形的权值为+1，白色矩形的权值为-1，RSum(r_p)是第p个矩形r_p内所有像素灰度值之和，可以由积分图S(x，y)计算而得。

(3)计算各像素点类Haar特征隶属度d(i，j)＝{d_k(i，j)，k＝1，2，…，8}

$d_k(i,j)=\frac{f_k(i,j)}{F_k},$ k＝1，2，...，8

其中，F_k是第k种类Haar特征结构的特征基准值，算法中此值等于该类Haar模板结构中黑色区域的面积，8个F_k特征值用以描述字符的横、竖、撇、捺标准笔画结构类Haar特征值；d_k(i，j)的值反映了位于点(i，j)上的笔画属于第k种类Haar特征的隶属度，d_k(i，j)＝1表示位于点(i，j)的笔画为第k种类Haar特征模板所描述的标准笔画，d_k(i，j)＝0表示点(i，j)处没有第k种类Haar特征模板所描述笔画结构；

(4)计算各图像块类Haar特征隶属度d(m，n)＝{d_k(m，n)，k＝1，2，…，8}，用以表示各块的笔画结构特征

将图像区域分成M×N块，分别计算各图像块的8种特征结构的隶属度d(m，n)＝{d_k(m，n)，k＝1，2，…，8}，

$d_k(m,n)=\left(\underset{i_{m-1}\&le;i<i_m}{\mathrm{\&Sigma;}}\underset{j_{n-1}\&le;j<j_n}{\mathrm{\&Sigma;}}{d}_k(i,j)\right)/C,$ k＝1，2，…8，0≤m＜M，0≤n＜N其中，C为各块内像素数目，(i_m-1，j_n-1)和(i_mj_n)分别是第(m，n)块的左上角和右下角坐标；

(5)结构特征向量形成

按照从上到下、从左到右的次序，依次排列各图像块d(m，n)，得到描述一个字符结构的特征向量D＝{d(m，n)，0≤m＜M，0≤n＜N}，维数为M×N×8，从而实现几何结构的统计表示特征向量。

二.车牌字符分类器设计

经过上述步骤得到描述字符结构的特征向量，即可用于训练车牌字符识别分类器，训练过程如附图3所示。根据我国车牌字符图像特点，我们设计实现了两大类分类器：汉字分类器、字母和数字分类器。车牌字符分类器的设计实现具体方案如下：

1.汉字分类器

针对每一个在车牌中可能出现的汉字，分别训练一个二分类SVM分类器，训练时以训练集中同一汉字的所有字符图像的特征向量归于一个特征向量子集，作为正样本，训练集中其余汉字图像特征向量为负样本，设计“一对多”(one against all)的汉字分类器，得到各个汉字的分类器模型。

2.字母和数字分类器

用于车牌的字母和数字共计35个字符，针对每一个字符，以字符结构特征矢量为输入特征，分别训练“一对多”的字符SVM分类器，得到35个字符的分类器模型。

三.车牌字符识别

1.字符识别流程如附图4，对于字符大小满足识别条件(字符高度在34像素以上)的车牌，分割出各个字符图像，提取图像的结构特征向量，如果是汉字(车牌上第一个字符)，将其特征向量输入汉字分类器，给出汉字类别判断；如果是字母或数字(位于车牌上第二至第七个位置)，将其特征向量输入字母和数字分类器，给出字符分类结果；

2.合并各个字符分类器的输出，得到整个车牌字符的识别结果，形成车牌字符串作为车牌识别系统的输出。

在计算机视觉领域，如何使计算机能够自动识别图像对象结构之差异，是非常有研究价值的课题。本发明的创新之处在于使用类Haar特征向量将图像中的几何结构特征转换为便于计算机计算的统计量来表示，既有效地表示了字符的笔画分布结构特征，也具有计算快速的特点，对于交通视频中车牌字符识别兼具高准确性和实时性。

本发明采用SVM训练字符分类器，充分利用了SVM分类器具有的良好的泛化性能，使所述车牌字符识别系统对于实际交通视频具有良好的鲁棒性。

容易理解，以上所述仅为本发明的较佳实施例，并非用于限定本发明的精神和保护范围，任何熟悉本领域的技术人员做出的等同变化或替换，都应视为涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于类Haar特征向量和支持向量机(SVM)的车牌字符识别方法，该方法包括以下步骤：

步骤一，提取合适类Haar特征向量表示车牌图像字符几何结构；

步骤二，使用支持向量机(SVM)进行车牌字符分类；

其中所述步骤一的具体做法为：

(1)分割并归一化字符图像

在包含车牌的图像或视频帧中定位并分割出车牌图像，对车牌图像进行预处理并将它分割成若干个仅包含单个字符的图像，将这些字符图像归一化到同一尺寸W×H的图像I(i，j)，(0≤i＜H，0≤j＜W)，其中W为字符图像宽度，H为字符图像的高度；

(2)字符图像二值化

对归一化后的车牌字符图像I(i，j)进行二值化，得到字符二值图像B(i，j)，(0≤i＜H，0≤j＜W)；

(3)字符结构特征向量提取

对字符二值图像B(i，j)，提取描述字符结构的类Haar特征向量，做法如下：

①计算二值图像B(i，j)的积分图S(x，y)，(0≤x≤W，0≤y≤H)，

$S(x,y)=\underset{0\&le;i\&le;y}{\mathrm{\&Sigma;}}\underset{0\&le;j\&le;x}{\mathrm{\&Sigma;}}B(i,j)$

②逐像素计算类Haar特征结构值f_k(i，j)，(k＝1，2，...，8，0≤i＜H，0≤j＜W)

选取类Haar特征中基本的4种边缘特征模板和4种线特征模板共8种类Haar特征模板结构，其中4种边缘特征模板包括表示笔画“横”的水平结构模板2种——字符上端的“横”笔画和下端的“横”笔画，表示笔画“竖”的垂直结构模板2种——字符左边的“竖”笔画和字符右边的“竖”笔画；4种线特征模板包括表示笔画“横”的水平结构模板——位于字符中部的“横”，表示笔画“竖”的垂直结构模板——位于字符中部的“竖”，表示笔画“撇”的左斜45°结构模板，表示笔画“捺”的右斜45°结构模板；选取结构中的黑色矩形宽度大小为归一化后车牌字符图像字符笔画宽度，长度为对应类Haar特征模板宽度的两倍，分别用以表示字符笔画结构中的横、竖、撇和捺结构；逐像素计算这8种类Haar特征结构的特征

f_k(i，j)＝∑_{p∈{1，2，...，P}}ω_p·RSum(r_p)

式中p∈{1，2，...，P}表示该类Haar特征由P个矩形构成，ω_p表示第p个矩形的权值(-1，+1)，取黑色矩形的权值为+1，白色矩形的权值为-1，RSum(r_p)是第p个矩形r_p内所有像素灰度值之和；

③逐像素计算类Haar特征隶属度d(i，j)＝{d_k(i，j)，k＝1，2，…，8}，用以表示像素点的笔画结构特征，

$d_k(i,j)=\frac{f_k(i,j)}{f_k},k=\mathrm{1,2},...,8$

其中，F_k是第k种类Haar特征结构的特征基准值，算法中此值等于该类Haar模板结构中黑色区域的面积，8个F_k特征值用以描述字符的横、竖、撇、捺标准笔画结构类Haar特征值；d_k(i，j)的值反映了位于点(i，j)上的笔画属于第k种类Haar特征的隶属度，d_k(i，j)＝1表示位于点(i，j)的笔画为第k种类Haar特征模板所描述的标准笔画，d_k(i，j)＝0表示点(i，j)处没有第k种类Haar特征模板所描述笔画结构；

④将图像区域分成M×N块，分别计算各图像块的8种特征结构的隶属度d_k(m，n)，用以表示各块的笔画结构特征

$d_k(m,n)=\left(\underset{i_{m-1}\&le;i<i_m}{\mathrm{\&Sigma;}}\underset{j_{n-1}\&le;j<j_n}{\mathrm{\&Sigma;}}{d}_k(i,j)\right)/C,k=\mathrm{1,2},...\mathrm{8,0}\&le;m<M,0\&le;n<N$ 式中，C为各块内像素数目，(i_m-1，j_n-1)和(i_m，j_n)分别是第(m，n)块的左上角和右下角坐标；构成各图像块类Haar特征隶属度d(m，n)＝{d_k(m，n)，k＝1，2，…，8}；

⑤结构特征向量形成

按照从上到下、从左到右的次序，依次排列各图像块d(m，n)，得到描述一个字符结构的特征向量D＝{d(m，n)，0≤m＜M，0≤n＜N}，维数为M×N×8，从而实现几何结构的统计表示特征向量。

2.根据权利要求1的方法，其中所述步骤二包括车牌字符分类器设计和车牌字符识别两个部分。

3.根据权利要求2的方法，其中所述车牌字符分类器设计具体方法如下：

根据我国车牌特点，将所有字符分为汉字类，字母和数字类共两个子类别分开识别，分别构造这两个类别的分类器：

(1)汉字分类器

针对每一个在车牌中可能出现的汉字，分别训练一个二分类SVM分类器，训练时以训练集中同一汉字的所有字符图像的特征向量归于一个特征向量子集，作为正样本，训练集中其余汉字图像特征向量为负样本，设计一对多的汉字分类器，得到各个汉字的分类器模型；

(2)字母和数字分类器

用于车牌的字母和数字共计35个字符，针对每一个字符，以字符结构特征矢量为输入特征，分别训练一对多的字符SVM分类器，得到35个字符的分类器模型。

4.根据权利要求2的方法，其中所述车牌字符识别具体方法如下：

(1)根据字符分割得到的字符位置信息，将汉字字符特征送到汉字分类器识别出具体汉字，将其余字符送到字母和数字分类器中识别出具体字母或数字；

(2)合并各个字符分类器的输出，得到整个车牌字符的识别结果，形成车牌字符串作为车牌识别系统的输出。

Images