CN104299009B - 基于多特征融合的车牌字符识别方法 - Google Patents

Abstract

本发明涉及一种基于多特征融合的车牌字符识别方法。其步骤为：(1)对视频中的车辆进行检测并对车辆中的车牌进行定位与分割；(2)对分割出的车牌进行投影分析，分割并提取出车牌中7个有效字符；(3)对分割出的字符图片进行形态学处理，并提取出车牌字符的三种特征进行有效融合；(3)利用支持向量机对融合特征进行训练生成车牌字符分类器，对实时视频中的车辆车牌字符进行有效识别。与现有技术相比，本发明可以降低所提取的车牌字符特征的经验性成分，使得特征提取理论更加充足，从而可以提高车牌识别的效果。

Description

基于多特征融合的车牌字符识别方法

技术领域

本发明涉及一种车牌字符识别方法，特指一种基于多特征融合的车牌字符识别方法。

背景技术

现如今，汽车已经成为人们工作生活中不可或缺的交通工具。由于汽车数量的上升,目前城市内的交通状况并不容乐观。由此看来，智能交通系统(ITS:IntelligentTransportation System)的应用迫在眉睫。车牌是一辆汽车独一无二的信息，因此，对车辆牌照的识别技术可以作为辨识一辆车最为有效的方法。从根本上讲，车牌识别应用了先进的图像处理，模式识别，人工智能技术来获取，处理，解释，记录拍照的图像。目前，牌照识别技术已经广泛而成功的应用于高速公路的监测，电子收费，交通违规管理，安全停车管理，偷盗车辆辨识等重要领域。在视频监控的基础上，车牌识别具有辅助违规行为检测的作用。良好的车牌识别不仅有助于协助交警部门对违规行为的处罚，也在一定程度上对交通秩序有所帮助。

现在，基于视频的车牌字符识别主要基于模板匹配与模式识别方法，其中模板匹配法首先针对各种车牌字符标准模板，利用欧式距离或其他方法对视频中的待检测车牌字符与标准模板进行匹配，匹配度最高的车牌字符即为所对应的识别字符。模板匹配方法存在计算量复杂，实时性相对较差等缺点。模式识别方法中，特征的提取包括半投影，粗网格等像素比例特征，包括不变矩，灰度共生矩阵等纹理特征，包括HOG,SIFT，EOH等边缘信息特征等，这些特征的选取过程均为人为设计，经验性成分偏多，理论依据不是很充分。分类器的选取包括支持向量机，BP神经网络，AdaBoost等常见分类器。

发明内容

本发明目的在于克服现有技术不足，公开一种基于多特征融合的车牌字符识别方法，对特征的提取包括了人为设计特征(粗网格特征，LBP-EOH特征)的全局性，其中边缘直方图特征的提取中利用LBP算子取代传统的canny算子，更能有效描绘出车牌字符边缘信息，提取的特征更具代表性；另外，在人为设计特征的基础之上加入了通过深度信念网络挖掘出的车牌字符图片底层像素的高阶特征描述符，达到了人为特征设计与底层特征挖掘的有效融合，缓解了特征提取存在经验性偏多的问题。

本发明提供的一种从实时视频中检测并定位分割出车辆车牌，然后对车牌中的字符进行分割提取，在此基础上首先提取传统的粗网格特征，提取传统的基于LBP算子的边缘方向直方图(LBP-EOH)特征，然后加入通过深度信念网络挖掘出的车牌字符底层像素的高阶特征描述符，将三种特征进行有效融合，最后利用支持向量机对融合特征进行训练构建车牌字符分类器，从而对实时视频中的车牌字符做到有效识别。

本发明具体采用如下的技术方案：

一种基于多特征融合的车牌字符识别方法，其特征在于，该方法包括：

步骤1：输入实时视频，对车辆进行检测；

步骤2：对检测到的车辆进行车牌定位与分割；

步骤3：对提取出的车牌进行字符分割；

步骤4：对分割出的字符进行形态学处理；

步骤5：提取车牌字符的三种特征，对三种特征进行有效融合；

步骤6：利用支持向量机对所提取出的融合特征进行训练，生成车牌字符分类器；

步骤7：利用车牌字符分类器对实时视频中的车牌字符进行有效识别。

所述的步骤1利用虚拟线圈进行车辆检测，当视频中检测到车牌时作后续处理；

所述的步骤2利用双边缘检测以及寻找连通域的方法定位到车牌所在位置，利用三帧差法对车牌进行分割与提取；

所述的步骤3利用投影法与连通域法对车牌中的字符进行分割与提取；

所述的步骤4针对所提取的不同特征类型对车牌字符作不同规格的形态学处理，包括以下步骤：

步骤4-1：首先对字符图像做锐化以及灰度化，然后对字符图像进行大小归一化以及位置归一化；

步骤4-2：针对传统特征的提取，在步骤4-1的基础上对字符图像做高斯平滑去噪处理；

步骤4-3：针对深度信念网络所提取的特征，在步骤4-1的基础上需要对图像的像素值按照公式：

归一化至0～1之间；

所述的步骤5提取车牌字符三种类型的特征包括以下步骤：

步骤5-1：提取车牌字符的粗网格特征；

步骤5-2：提取车牌字符的基于LBP算子的边缘方向直方图特征；

步骤5-3：利用深度信念网络深度挖掘出车牌字符底层像素的高阶特征描述符；

步骤5-4：对提取的三种特征进行有效融合；

所述的步骤6利用支持向量机对大量的车牌字符样本特征进行训练，得到车牌字符分类器；

所述的步骤7利用训练完成的车牌字符分类器对实时视频中的车牌字符进行识别，得到最终的识别结果。

与现有技术相比，本发明可以降低所提取的车牌字符特征的经验性成分，使得特征提取理论更加充足，从而可以提高车牌识别的效果。

附图说明

图1为基于多特征融合的车牌字符识别总流程图；

图2.1为粗网格特征提取的直方图；

图2.2为LBP-EOH特征提取的直方图；

图2.3为深度信念网络特征提取的原理图；

图3为深度信念网络模型(基本公式)；

图4为分类器的构建与训练流程。

具体实施方式

以下结合附图对本发明技术方案作进一步说明：

原理：本发明提取一种基于多特征融合的方法对实时视频中的车牌字符进行有效识别。在传统人为设计的特征中加入通过深度信念网络挖掘出的车牌字符图片底层像素的高阶特征描述符，利用支持向量机对融合特征进行训练构建车牌字符分类器。

本发明基于多特征融合的车牌字符识别方法:提取的车牌字符特征是在传统特征的基础之上加入从车牌字符图片底层像素挖掘出的高阶特征，通过特征融合既保留了传统特征的全局性，又深度挖掘出车牌字符的底层像素特征，可以使提取的特征经验性成分减少，理论依据更加充足。该方法包括如下步骤：

(1)对于从视频中定位并分割出车辆车牌，本发明首先对实时视频进行车辆检测，对检测出有车辆的一帧图片进行车辆车牌准确定位，对定位出的车辆车牌进行准确分割，得到车辆车牌的原始图片。

(2)对于车牌中的字符分割，本发明利用投影法以及连通域法，将得到的车辆车牌中的字符进行有效分割，得到车牌中7张独立的车牌字符原始图片。

(3)对于分类器的构建与训练，本发明首先选取适当的样本字符图片，对图片进行简单预处理，如锐化，灰度化，大小归一化，位置归一化等。然后进行特征提取，提取的特征包括粗网格特征，基于LBP算子的边缘方向直方图特征，通过深度信念网络挖掘的车牌字符底层像素的高阶特征描述符，将三种特征进行有效融合。利用支持向量机对融合特征进行训练，得到最终的车牌字符分类器。

(4)对于视频中的车牌字符识别测试，本发明在视频预处理的基础上，得到车牌字符的原始图片，利用构建完善的车牌字符分类器对车牌字符进行有效识别，统计车牌识别结果，与已知的车牌字符结果进行对比，得到最终的正确识别率。

图1是本发明的综合流程图

如图1所示：首先读取实时交通视频，利用虚拟线圈对视频中的车辆进行检测，检测到有车时，提取当前一帧图片，对图片进行分析，利用双边缘检测以及寻找连通域的方法定位到车牌所在位置，并将车牌沿着边缘进行分割，得到车牌的整体原始图片，对整体车牌图片做投影分析，对车牌中的字符进行有效分割，提取车牌中7张字符原始图片，对图片做形态学处理，并利用高斯滤波对图像进行平滑去噪处理。

其中，I为输入图像，G为高斯函数，I’为平滑处理后的图像，为卷积符号。

然后对车牌字符进行特征提取，提取的特征包括粗网格特征，基于LBP算子的边缘方向直方图(LBP-EOH)特征，通过深度信念网络挖掘出的车牌字符图片底层像素的高阶特征描述符(DBN)。将三种特征进行有效融合，利用支持向量机对得到的融合特征进行训练，得到车牌字符分类器，利用该分类器对视频中的车牌字符进行有效识别。

图2.1是本发明粗网格特征提取的原理图

如图2.1所示：首先定义一个含有M x N个空格的粗网格，每一空格大小为(Widthx Height)/(M x N)其中Width表示车牌字符图像的宽度，Height表示车牌字符图像的高度。然后计算车牌字符在对应粗网格中像素所占比例，统计整张车牌字符的粗网格特征，最后生成M x N维的粗网格特征向量。

图2.2是本发明LBP-EOH特征提取的原理图

如图2.2所示：首先利用LBP算子提取车牌字符的边缘信息，然后利用Sobel算子，计算边缘方向的水平梯度D_x和垂直梯度D_y:

D_x＝f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)-

f(x-1,y-1)-2f(x,y-1)-f(x+1,y-1)

D_y＝-f(x-1,y-1)+f(x+1,y-1)-2f(x-1,y)+

2f(x+1,y)-f(x-1,y+1)+f(x+1,y-1)

边缘方向：θ(x,y)＝acrtan(D_y/D_x)θ(x,y)∈(-π/2,π/2)

将边缘方向归并量化为有限个方向，设定每18度为一个方向，即共有10个方向。通过对边缘方向直方图的计算，可以得到车牌字符图片的一个10维的特征向量。加上非边缘的一维向量，共11维特征向量。

图2.3是本发明深度信念网络特征提取的原理图

如图2.3所示：利用深度信念网络从车牌字符图片底层像素开始提取特征，逐层向上将特征进行抽象，DBN是通过逐层贪婪优化训练受限玻尔兹曼机(RBM)来构建网络的，每一层RBM得到的隐含层将作为下一层的可视层，通过层层迭代训练，得到完整的DBN网络，最终得到的DBN特征即为挖掘出的车牌字符图片底层像素的高阶特征描述符。

图3是RBM模型的基本公式

公式(1)中h为隐含层，v为可视层，j为隐含层对应节点序列号，i为可视层对应节点序列号，w为连接隐含层与可视层之间的网络权值，b为偏置值，σ(x)为S型函数，如公式(3)所示。其中公式(1)代表了从可视层向隐含层隐射时，在已知可视层节点数值的基础上隐含层对应节点值为1时的概率。公式(2)代表了从隐含层向可视层隐射时，在已知隐含层节点数值的基础上可视层节点值为1的概率。

图4是本发明分类器构建与训练的流程图

如图4所示：选取合适的车牌字符样本图片，对图片做形态学处理，提取车牌字符的三种特征，包括粗网格特征，LBP-EOH特征，DBN特征，将三种特征进行有效融合，利用支持向量机对融合特征进行训练，得到车牌字符分类器。

综上所述，整个实现流程概况为：

(1)对实时视频进行分析，在车辆检测的基础上，对车辆中的车牌进行准确定位并提取分割。

(2)在车牌准确定位与分割的基础之上，对车牌中的字符进行有效分割与提取，得到车牌7张有效字符图片。

(3)提取车牌字符的三种类型特征，包括粗网格特征，LBP-EOH特征，DBN特征，并将三种特征进行有效融合。

(4)利用支持向量机对融合特征进行训练，得到车牌字符分类器，对视频中的车牌字符进行有效识别。

本发明的创新点体现在：

(1)特征的提取包括了人为设计特征(粗网格特征，LBP-EOH特征)的全局性，其中边缘直方图特征的提取中利用LBP算子取代传统的canny算子，更能有效描绘出车牌字符边缘信息，提取的特征更具代表性。

(2)在人为设计特征的基础之上加入了通过深度信念网络挖掘出的车牌字符图片底层像素的高阶特征描述符，达到了人为特征设计与底层特征挖掘的有效融合，缓解了特征提取存在经验性偏多的问题。

Claims (1)

1.一种基于多特征融合的车牌字符识别方法，其特征在于，该方法包括：

步骤1：输入实时视频，对车辆进行检测；

步骤2：对检测到的车辆进行车牌定位与分割；

步骤3：对提取出的车牌进行字符分割；

步骤4：对分割出的字符进行形态学处理；

步骤5：提取车牌字符的三种特征，对三种特征进行有效融合；

步骤6：利用支持向量机对所提取出的融合特征进行训练，生成车牌字符分类器；

步骤7：利用车牌字符分类器对实时视频中的车牌字符进行有效识别；

所述的步骤1利用虚拟线圈进行车辆检测，当视频中检测到车牌时作后续处理；

所述的步骤2利用双边缘检测以及寻找连通域的方法定位到车牌所在位置，利用三帧差法对车牌进行分割与提取；

所述的步骤3利用投影法与连通域法对车牌中的字符进行分割与提取；

所述的步骤4针对所提取的不同特征类型对车牌字符作不同规格的形态学处理，包括以下步骤：

步骤4-1：首先对字符图像做锐化以及灰度化，然后对字符图像进行大小归一化以及位置归一化；

步骤4-2：针对传统特征的提取，在步骤4-1的基础上对字符图像做高斯平滑去噪处理；

步骤4-3：针对深度信念网络所提取的特征，在步骤4-1的基础上需要对图像的像素值按照公式：

归一化至0～1之间；

所述的步骤5提取车牌字符三种类型的特征包括以下步骤：

步骤5-1：提取车牌字符的粗网格特征；

步骤5-2：提取车牌字符的基于LBP算子的边缘方向直方图特征；该步骤具体为：首先利用LBP算子提取车牌字符的边缘信息，然后利用Sobel算子，计算边缘方向的水平梯度D_x和垂直梯度D_y:

D_x＝f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)-

f(x-1,y-1)-2f(x,y-1)-f(x+1,y-1)

D_y＝-f(x-1,y-1)+f(x+1,y-1)-2f(x-1,y)+

2f(x+1,y)-f(x-1,y+1)+f(x+1,y-1)

边缘方向：θ(x,y)＝acrtan(D_y/D_x)θ(x,y)∈(-π/2,π/2)

将边缘方向归并量化为有限个方向，设定每18度为一个方向，即共有10个方向；通过对边缘方向直方图的计算，可以得到车牌字符图片的一个10维的特征向量；加上非边缘的一维向量，共11维特征向量；

步骤5-3：利用深度信念网络深度挖掘出车牌字符底层像素的高阶特征描述符；

步骤5-4：对提取的三种特征进行有效融合；

所述的步骤6利用支持向量机对大量的车牌字符样本特征进行训练，得到车牌字符分类器；

所述的步骤7利用训练完成的车牌字符分类器对实时视频中的车牌字符进行识别，得到最终的识别结果。