CN103870803A - 一种基于粗定位与精定位融合的车牌识别方法和系统 - Google Patents

Abstract

本发明实施方式提出一种基于粗定位与精定位融合的车牌识别方法和系统。采集关于车牌图像的正样本集和负样本集，提取正样本集和负样本集的类哈尔（Haar）特征以训练车牌分类器，并使用该车牌分类器粗定位待检测图像中的车牌区域；将粗定位车牌区域转化为灰度图，并分析垂直以及水平投影信息以确定车牌的上下边界和左右边界，获得精定位的车牌区域；采集包含预定车牌字符的车牌字符集，利用超正方体（Tesseract）引擎分析车牌字符集中预定车牌字符的字符特征并训练得到车牌字符库，并利用车牌字符库识别精定位的车牌区域，以确定精定位的车牌区域中的字符。解决由于复杂背景产生的干扰车牌定位精度的问题。

Description

一种基于粗定位与精定位融合的车牌识别方法和系统

技术领域

本发明属于数字图像处理技术领域，特别是一种基于粗定位与精定位融合的车牌识别方法和系统。 

背景技术

车牌识别系统是智能交通系统的重要组成部分，同时也是计算机视觉、数字图像处理和模式识别等交叉学科的研究热点。车牌号码是全世界唯一对车辆身份识别的标记，通过车牌识别系统输出为几个字节大小的车牌号码字符串，无论在存储空间占用上还是在管理数据库等方面都有着无可比拟的优越性，在大型停车场、高速公路、交通部门的收费站等管理场合，都有着广泛的应用前景。 

车牌识别技术就其识别基础，主要分为间接法和直接法两种。间接法是基于IC卡鉴别或条码的识别，通过识别安装在汽车上的IC卡或条形码中所存储的车牌信息来识别车牌及相关信息，IC卡技术识别准确度高，运行可靠，可以全天候作业，但整套装置价格昂贵，硬件设备十分复杂；条形码技术识别速度快准确度高，但对于扫描设备要求高。此外，二者都需要制定全国统一的标准，并且无法核对车与条形码是否相符。直接法是基于图像识别技术，能在无任何专用发送车牌信号的车载发射设备情况下，对运动车辆或静止车辆的车牌号码进行非接触信息采集并实时识别，与间接法相比，这种系统首先节省了设备安置提高了经济效益，其次采用先进的计算机应用技术可提高识别速度，另外可以通过人工干预解决系统中的识别错误，而间接法是难以与人交互的。 

车牌识别系统一般分为三大组成部分：车牌定位、字符分割和字符识 别。 

对于车牌定位，传统的方法包括基于灰度图像通过水平扫描来查找灰度跳变数较大的区域，或者利用边缘检测算法提取边缘信息统计跳跃点频率来定位车牌区域，或者基于彩色信息来查找图像中特定颜色的区域。然而这些方法的鲁棒性并不高，轻微的环境变化都会对定位产生很大的影响。 

对于字符识别，目前最常用的方法有：基于模版匹配的字符识别算法、基于神经网络的字符识别算法以及特征统计匹配法。首先、模板匹配字符识别算法是一种经典的模式识别方法，也是最直接的识别字符方法，通过计算输入模式与样本之间的相似性来确定匹配程度，得到匹配结果。优点是快，但缺点也很致命，就是对噪声敏感，任何光照、字符清晰度、大小变化都会影响识别的正确率。另外，基于神经网络的方法有两种，一是先对待识别字符进行特征提取，然后用所获得的特征来训练分类器；二是直接把待处理图像输入网络，由网络自动实现特征提取直至识别。该方法利于识别比较清晰的车牌，且有较强的容错能力。还有，特征统计匹配法主要是根据汉字的笔画，但由于外部原因常常导致字符模糊、倾斜等，所以鲁棒性不强。综上，基于神经网络的方法性能较好，但实时性较差。 

发明内容

本发明实施方式提出一种基于粗定位与精定位融合的车牌识别方法，以解决由于复杂背景产生的干扰车牌定位精度的问题，并提高字符识别的准确率和速度。 

本发明实施方式还提出一种基于粗定位与精定位融合的车牌识别系统，以解决由于复杂背景产生的干扰车牌定位精度的问题，并提高字符识别的准确率和速度。 

本发明实施方式的技术方案如下： 

一种基于粗定位与精定位融合的车牌识别方法，该方法包括： 

采集关于车牌图像的正样本集和负样本集，提取所述正样本集和负样本集 的类哈尔Haar特征以训练车牌分类器，并使用该车牌分类器粗定位待检测图像中的车牌区域； 

将所述粗定位车牌区域转化为灰度图，并分析垂直以及水平投影信息以确定车牌的上下边界和左右边界，获得精定位的车牌区域； 

采集包含预定车牌字符的车牌字符集，利用超正方体Tesseract引擎分析所述车牌字符集中预定车牌字符的字符特征并训练得到车牌字符库，并利用所述车牌字符库识别所述精定位的车牌区域，以确定所述精定位的车牌区域中的字符。 

所述将粗定位车牌区域转化为灰度图，并分析垂直以及水平投影信息以确定车牌的上下边界和左右边界，获得精定位的车牌区域包括： 

将粗定位车牌区域转化成灰度图像并采用高斯滤波做平滑处理，使用索贝尔Sobel检测算子对平滑处理后图像进行边缘检测以提取垂直边缘信息；对提取垂直边缘信息的图像自上向下扫描并做水平投影，然后通过滤波得到平滑曲线；在所述平滑曲线寻找峰值并获取上下边界，以得到多个候选区域；使用筛选算法从所述候选区域中筛选出最优区域以确定车牌区域的上下边界； 

对确定上下边界之后的灰度图像执行线性滤波处理，利用自适应阈值法对线性滤波处理后的图像进行二值化；对二值化后图像做一次闭运算；根据一次闭运算获得的连通区域去除左右密度大的冗余部分；自左向右扫描车牌区域，求每列黑色像素的数量，通过查找峰值点确定各个字符以及圆点的左右边界，将车牌灰度图像切割成多个分片，缝隙处的像素设为0，即变为黑色；查找连通区域，去掉车牌边框的L形区域，再计算各个分片的长宽比和分片间的缝隙宽度，筛掉不符合字符特征的分片，将最左和最右的分片确定为车牌区域的左右边界。 

所述使用该车牌分类器粗定位待检测图像中的车牌区域包括： 

将待检测图像输入该车牌分类器，产生候选定位区域； 

计算各个候选定位区域的灰度跳变数； 

将灰度跳变数最大的候选定位区域确定为车牌区域。 

该方法进一步包括： 

确定分片的所有连通区域； 

计算分片的每个连通区域的像素和，并当所述像素和低于预先设定的门限值时，将该分片确定为孤立点，并去除该孤立点。 

一种基于粗定位与精定位融合的车牌识别系统，包括粗定位模块、精定位模块和字符识别模块，其中： 

粗定位模块，用于采集关于车牌图像的正样本集和负样本集，提取所述正样本集和负样本集的类哈尔Haar特征以训练车牌分类器，并使用该车牌分类器粗定位待检测图像中的车牌区域； 

精定位模块，用于将所述粗定位车牌区域转化为灰度图，并分析垂直以及水平投影信息以确定车牌的上下边界和左右边界，获得精定位的车牌区域； 

字符识别模块，用于采集包含预定车牌字符的车牌字符集，利用超正方体Tesseract引擎分析所述车牌字符集中预定车牌字符的字符特征并训练得到车牌字符库，并利用所述车牌字符库识别所述精定位的车牌区域，以确定所述精定位的车牌区域中的字符。 

精定位模块，用于将粗定位车牌区域转化成灰度图像并采用高斯滤波做平滑处理，使用索贝尔Sobel检测算子对平滑处理后图像进行边缘检测以提取垂直边缘信息；对提取垂直边缘信息的图像自上向下扫描并做水平投影，然后通过滤波得到平滑曲线；在所述平滑曲线寻找峰值并获取上下边界，以得到多个候选区域；使用筛选算法从所述候选区域中筛选出最优区域以确定车牌区域的上下边界； 

对确定上下边界之后的灰度图像执行线性滤波处理，利用自适应阈值法对线性滤波处理后的图像进行二值化；对二值化后图像做一次闭运算；根据一次闭运算获得的连通区域去除左右密度大的冗余部分；自左向右扫描车牌区域，求每列黑色像素的数量，通过查找峰值点确定各个字符以及圆点的左右边界，将车牌灰度图像切割成多个分片，缝隙处的像素设为0，即变为黑色；查找连通区域，去掉车牌边框的L形区域，再计算各个分片的长宽比和分片间的缝隙 宽度，筛掉不符合字符特征的分片，将最左和最右的分片确定为车牌区域的的左右边界。 

粗定位模块，用于将待检测图像输入该车牌分类器，产生候选定位区域；计算各个候选定位区域的灰度跳变数；将灰度跳变数最大的候选定位区域确定为车牌区域。 

精定位模块，进一步用于确定分片的所有连通区域； 

计算分片的每个连通区域的像素和，并当所述像素和低于预先设定的门限值时，将该分片确定为孤立点，并去除该孤立点。 

在本发明中，首先采集关于车牌图像的正样本集和负样本集，提取所述正样本集和负样本集的类哈尔Haar特征以训练车牌分类器，并使用该车牌分类器粗定位待检测图像中的车牌区域；然后将所述粗定位车牌区域转化为灰度图，并分析垂直以及水平投影信息以确定车牌的上下边界和左右边界，获得精定位的车牌区域；再采集包含预定车牌字符的车牌字符集，利用超正方体Tesseract引擎分析所述车牌字符集中预定车牌字符的字符特征并训练得到车牌字符库，并利用所述车牌字符库识别所述精定位的车牌区域，以确定所述精定位的车牌区域中的字符。 

由此可见，本发明提出了一种由粗到精的车牌区域检测算法并应用于车牌识别系统中，使用车牌分类器粗定位后，为提高后续分割字符与识别字符的准确率，可以利用分割的字符分片再次定位车牌的边界，使结果更精确，整体上从多个角度加强系统的鲁棒性。 

而且，与现有技术相比，本发明综合运用了多种算法和方法，包括运用机器学习的方法训练车牌分类器、结合灰度跳变和投影特征筛选候选车牌区域、使用基本的形态学运算子去除边框、经典的种子填充算法去除噪点、使用开源的OCR引擎针对中国车牌的制式按类别训练和识别车牌字符，从而还提高字符识别的准确率和速度。 

附图说明

图1为本发明基于粗定位与精定位融合的车牌识别方法流程图。 

图2是本发明标准车牌图像示意图。 

图3是本发明识别错误后加入负样本子集的图像示意图。 

图4是本发明归一化的正样本图像示意图。 

图5是本发明车牌粗定位示意图。 

图6是本发明定位上下边界示意图。 

图7是本发明定位左右边界示意图。 

图8是本发明车牌分割示意图。 

图9是本发明车牌字符样本示意图。 

图10是本发明基于粗定位与精定位融合的车牌识别系统结构图。 

图11是本发明基于粗定位与精定位融合的车牌识别系统整体处理示意图。 

图12是参数的第一示意图。 

图13是参数的第二示意图。 

图14是参数的第三示意图。 

图15是参数的第四示意图。 

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。 

目前国内现有的车牌识别方面的工作还有待完善。 

本申请首先为了弥补基于图像处理方法的缺点，适应变化的背景环境，提高车牌定位的鲁棒性，采用机器学习的技术，基于分类器的方法进行车牌定位，解决由于复杂背景产生的一些类似车牌区域干扰车牌定位精度的问题。而且，采用先进的光学字符识别技术，提高字符识别的准确率和速度。 

机器学习方法由于识别性能好，鲁棒性高，越来越多地被应用到目标识别中。光学字符识别（Optical Character Recognition，OCR）是自动识别技术的一个重要方面，属于模式识别的一门学问，目的是让计算机知道它看到了什么文字。Tesseract是一个开源的OCR引擎，可以识别多种格式的图像文件，目前支持中文等60多种语言。 

本申请首先将Haar特征和分类器相结合应用于车牌定位中，然后使用Tesseract引擎训练车牌字符库进行字符识别。设计的车牌识别系统分为三个功能模块：训练特征分类器进行粗定位、精确定位以及使用Tesseract引擎训练字符库识别车牌。 

图1为本发明基于粗定位与精定位融合的车牌识别方法流程图。 

如图1所示，该方法包括： 

步骤101：采集关于车牌图像的正样本集和负样本集，提取所述正样本集和负样本集的类哈尔（Haar）特征以训练车牌分类器，并使用该车牌分类器粗定位待检测图像中的车牌区域。 

类Haar特征是由Viola等人在人脸检测系统中引入的一种简单矩形特征，因类似于Haar小波而得名。Lienhart等人在Viola的算法基础上提出了扩展的类Haar特征，该算法不仅使用了水平和竖直方向的矩形区域作为特征，而且将矩形进行旋转，得到了与水平方向成45°角的矩形特征。本申请可以采用扩展的类Haar特征来描述车牌的边缘及结构特征。 

为了训练出作为车牌分类器的Haar分类器，总体上包括三个步骤：准备正负样本；建立正负样本集；训练分类器模型。 

首先采集车牌图像的正样本集。由于实际场景中摄像机不可能正对着车牌，实际获取的车牌图像会有一定的倾斜或透视角度。 

还可以随机搜集图片作为分类器训练的负样本的初始版本，采取多次反复训练，不断扩充负样本以加强分类器的性能，即利用训练好的分类器在训练集上定位，将定位错误的图像归入负样本中，包括车灯、散热器等图像，等等，再继续训练，重复多次后得到最终的车牌分类器。 

图2为正样本集中的标准车牌图像；图3为识别后加入负样本集的图像。 

输入待检测图像到车牌分类器，会产生多个不同的候选区域，车牌区域区别于其它区域的地方在于牌照上的字符，字符之间的间隔比较均匀，字符和牌照底色在灰度值上存在跳变。 

针对这个特点，可以计算所有候选区域的灰度跳变数，并选择跳变数最 大的区域作为粗定位的车牌区域。 

由于粗定位的结果包含了冗余的部分，存在上下左右边框，若不去除将会对字符切割和识别带来影响，所以需要进行精确定位。 

步骤102：将所述粗定位车牌区域转化为灰度图，并分析垂直以及水平投影信息以确定车牌的上下边界和左右边界，获得精定位的车牌区域。 

本发明确定车牌上下边界的具体思路是：先对粗定位得到的车牌图像转化成灰度图并采用高斯滤波做平滑处理，使用Sobel检测算子对平滑处理后图像进行边缘检测以提取垂直边缘信息；对提取垂直边缘信息之后的图像自上向下扫描做水平投影，通过滤波得到平滑曲线；找到峰值然后获取上下边界，得到多个候选区域；使用筛选算法得到最优区域，确定上下边界。 

其中，一个主要问题是如何确定峰值y_bm及其上下边界y_b0与y_b1。 

水平投影后的图像

会存在很多毛刺，可以通过与矩阵m_hr做卷积得到平滑曲线P_y(y)，如公式（1），其中矩阵m_hr需满足公式（2）。 

$P_y\left(y\right)=P_y^r\left(y\right)\widetilde{*}{m}_{\mathrm{hr}}\left[y\right]---\left(1\right)$

$\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}{m}_{\mathrm{hr}}[i,j]=1---\left(2\right)$

其中，w、h表示粗定位车牌区域灰度图的宽度与高度；因此可由公式（3）计算峰值y_bm、由公式（4）（5）计算上下边界y_b0与y_b1： 

$y_{\mathrm{bm}}=\arg \underset{y_0\≤y\≤y_1}{\max }\left\{p_y\left(y\right)\right\}---\left(3\right)$

$y_{b0}=\underset{y_0\≤y\≤y_{\mathrm{bm}}}{\max }\left\{y\right|p_y\left(y\right)\≤c_y*p_y\left(y_{\mathrm{bm}}\right)\}---\left(4\right)$

$y_{b1}=\underset{y_{\mathrm{bm}}\≤y\≤y_1}{\max }\left\{y\right|p_y\left(y\right)\≤c_y*p_y\left(y_{\mathrm{bm}}\right)\}---\left(5\right)$

其中c_y是常数。筛选算法是采用基本探测分析法计算各个候选区域的权重。 

本申请根据中国车牌的特征，将计算权重定义为公式（6）： 

α=0.001*α₁+100*α₂+1000*α₃+0.1*α₄        （6） 

其中各项参数的说明如表1所示： 

表1 

接下来确定车牌左右边界： 

对灰度图像线性滤波处理，用自适应阈值法对图像进行二值化，然后对图像做一次闭运算，即腐蚀、膨胀的形态学组合变换，根据得到的连通区域去除左右密度大的冗余部分；再自左向右扫描车牌区域，求每列黑色像素的数量，通过查找峰值点确定各个字符以及圆点的左右边界，将车牌灰度图像被切割成多个分片，缝隙处的像素设为0，即变为黑色；查找连通区域，去掉车牌边框的“L”形区域，再计算各个分片的长宽比和分片间的缝隙宽度，筛掉不符合字符特征的分片，确定了最左和最右的分片，即车牌的左右边界。 

其中，采用的闭运算是基本的形态学运算子之一，通过消弭狭窄的间断和小的空洞，填补轮廓线中的断裂，将二值化图像区域融合，使得密度大的区域变成一个连通的区域。 

至此，已经可以准确定位车牌，但由于图像中的孤立点会降低后续字符识别的准确率，所以本申请还提出根据连通性去除孤立点，基本思想是针对每一个分片找到所有连通区域，计算分片的每个连通区域的像素和（分片有至少一个连通区域，需要计算每个连通区域的像素和），并当所述像素和小于某一阈值时，则认为该分片是非目标字符，即孤立点。 

查找连通区域的算法是根据光栅计算机图形学中的一个基本操作：四连通种子填充（seed-fill）算法。 

用f(x,y)来表示像素点的值，w、h表示分片的宽度与长度，设定[0,0]为分片的左上角的像素，[w-1,h-1]为右下角的像素，f(x,y)=0表示像素值为黑色，f(x,y)=255则为白色。 

设集合P表示一个连通区域，包含了所有相邻的连续的像素[x,y]，即当[x,y]至少有一个相邻像素[x',y']满足[x',y']∈P，则[x,y]∈P，可表示为公式（7）： 

其中，

表示二元关系“在四连通区域内a是b的邻居像素”，如公式（8）所示： 

$[x,y]{\stackrel{..}{N}}_4[x^{\′},y^{\′}]\⇔|x-x^{\′}|=1\⊕|y-y^{\′}|=1---\left(8\right)$

如果集合P满足公式（9）则认为其是孤立点： 

$\left|P\right|<\frac{1}{8}*w*h.$

步骤103：采集包含预定车牌字符的车牌字符集，利用超正方体Tesseract引擎分析所述车牌字符集中预定车牌字符的字符特征并训练得到车牌字符库，并利用所述车牌字符库识别所述精定位的车牌区域，以确定所述精定位的车牌区域中的字符。 

在这里，Tesseract是一个开源的OCR引擎，使用C++开发，提供了一系列函数，在官网上能下载到编译好的应用程序，可以识别多种格式的图像 文件，目前支持中文等60多种语言，或者对识别效果有特殊要求时可以对它进行训练，通过提供图像文件和识别结果文件（box文件），让Tesseract引擎能够进行学习。 

Tesseract引擎能够读取tiff格式的图像文件，可以是彩色的或者是灰度的。组件分析通过检测嵌套轮廓、子轮廓等得到字符轮廓，轮廓通过嵌套聚集在一起形成块，块被识别成文本线。根据字符空格，文本线被分割成不同的词，通过使用有限的空格相应的文本被断成词。识别过程分成两个阶段，首先，尝试轮流识别每个词，结果满意的词被传送到一个自适应分类器作为训练数据，自适应分类器接着有机会精确识别文本。接着第二阶段继续识别那些并未第一阶段很好识别的文本。 

使用Tesseract引擎训练字符库对应的traineddata文件，需要产生下列过程文件： 

lang.config 

lang.unicharset 

lang.inttemp 

lang.pffmtable 

lang.normproto 

lang.punc-dawg 

lang.word-dawg 

lang.number-dawg 

lang.freq-dawg 

这些文件准备好之后，使用combine_tessdata进行最后的合并工作，生成lang.traineddata，这个文件就是最终训练出来的字符库。 

本申请提出了一种由粗到精的车牌区域检测算法并应用于车牌识别系统中，使用车牌分类器粗定位后，为提高后续分割字符与识别字符的准确率，根据我国车牌的特点来分割字符，并利用分割的字符分片再次定位车牌的边界，使结果更精确，整体上从多个角度加强系统的鲁棒性。 

和已有的系统相比，本发明综合运用了多种算法和方法，包括运用机器 学习的方法训练车牌分类器、结合灰度跳变和投影特征筛选候选车牌区域、使用基本的形态学运算子去除边框、经典的种子填充算法去除噪点、使用开源的OCR引擎针对中国车牌的制式按类别训练和识别车牌字符。 

下面详细描述本发明的一个具体实施范例。 

首先，使用开源的计算机视觉库（Open Source Computer Vision Library，OpenCV）提供的CreateSamples、HaarTraining等程序训练一个Haar分类器，总体上包括3步： 

1)准备正负样本； 

2)用CreateSamples程序建正样本集； 

3)用HaarTraining程序训练，得到最终的分类器模型（xml文件）。 

本发明在实施时共搜集车牌图像1000张作为正样本，负样本共计8000张。对于正样本，先把所有的图片裁切好，并对尺寸做调整，即为归一化处理。 

图4是本发明归一化的正样本图像示意图。 

由于HaarTraining训练时输入的正样本是vec文件，所以需要使用OpenCV自带的CreateSamples程序将准备好的正样本转换为vec文件。转换的步骤如下： 

1)首先制作一个正例样本描述文件，用于描述正样本文件名（包括绝对路径或相对路径）、正例样本数目以及各正例样本在图片中的位置和大小，这样就生成了正样本描述文件。 

2)运行CreateSamples程序。 

3)运行结束会生成一个vec文件，该文件包含正样本数目，宽高以及所有样本图像数据。 

负样本图像可以是不含正样本模式的任何图像，比如一些风景等。训练时，OpenCV需要一个负样本描述文件，该文件只需包含所有负样本的文件名及绝对（或相对）路径名。负样本描述文件的生成方法可参照正样本描述文件生成方法,负样本图像的大小只要不小于正样本就可以。 

准备好正样本集和负样本集及其描述文件后，就可以开始训练。这个过程是由haartraining程序来实现的，该程序源码由OpenCV自带，且可执行程序在OpenCV安装目录的bin目录下。 

训练结束后，会在目录data下生成一些子目录，即为训练好的分类器。然后用OpenCV自带的performance.exe进行检测，即车牌粗定位。 

图5是本发明车牌粗定位示意图，其中方框中有些是是分类器选出的所有候选区域，有些方框是根据最大灰度跳变数选择的窗口。为了检测该分类器的鲁棒性，选择国内民用车牌100张进行测试，经统计分析，粗定位准确率为97%。 

然后，将粗定位结果作为输入，依次按照本发明所描述的具体步骤确定上下和左右边界。 

图6是本发明定位上下边界示意图，其中a～f是定位上下边界各步骤的示意图。 

a～f的说明如下： 

（a）、将粗定位得到的车牌图像转化成灰度图并采用高斯滤波做平滑处理； 

（b）、使用Sobel检测算子对图像进行边缘检测，提取垂直边缘信息； 

（c）、自上向下扫描做水平投影； 

（d）、通过滤波得到平滑曲线； 

（e）、找到峰值然后取系数0.55获取上下边界，得到多个候选区域； 

（f）、使用筛选算法得到最优区域，确定上下边界。 

图7是本发明定位左右边界示意图，其中g～l是定位左右边界各步骤的示意图。 

g～l的说明如下： 

（g）、对灰度图像线性滤波处理，用自适应阈值法对图像进行二值化； 

（h）、对二值化图像做一次闭运算，即腐蚀、膨胀的形态学组合变换； 

（i）、根据h)得到的连通区域去除左右密度大的冗余部分； 

（j）、对图像做二值化处理； 

（k）、自左向右扫描车牌区域，求每列黑色像素的数量，通过查找峰值点确定各个字符以及圆点的左右边界，将车牌灰度图像被切割成多个分片，缝隙处的像素设为0，即变为黑色； 

（l）、查找连通区域，去掉车牌边框的“L”形区域，再计算各个分片的长宽比和分片间的缝隙宽度，筛掉不符合字符特征的分片，确定了最左和最右的分片，即车牌的左右边界。 

然后，使用Tesseract引擎训练字符以库识别车牌。 

根据我国车牌号GA36-92标准（军车、警车、教练车、领事馆车等除外），标准车牌格式是：X₁X₂X₃X₄X₅X₆X₇，共七个字符，其中X₁是汉字，X₂是大写英文字母，接着是圆点，X₃至X₇是大写英文字母或阿拉伯数字，字符为规则的字体。 

已经确定了圆点的位置，基于以上先验知识，可将车牌分割为X₁X₂和X₃X₄X₅X₆X₇两部分，分别做字符识别。 

图8是本发明车牌分割示意图。 

如图8所示，避免了由于字符粘连难以分割的情形。所以利用Tesseract引擎训练两个字符库，一个包含各省、直辖市和自治区的简称（共31个汉字）以及大写英文字母用来识别X₁X₂，一个包含大写英文字母和阿拉伯数字（共34个字符，国家规定英文字母中的I和O避而不用，以免和数字中的1和0混淆）用来识别X₃X₄X₅X₆X₇。 

为最大限度上防止伪造车牌，公安部为现行车牌开发了一种特殊字体，以黑体为基本字体进行了一定的改进，使得目前通用的电脑上的任何字体都不与其完全吻合，只在公安交警部门或指定的车牌制作单位的输出设备上可以输出。所以搜集各省的车牌，将其二值化处理后获取汉字、字母和数字部分。图9是本发明车牌字符样本示意图。 

使用Tesseract引擎训练的过程如下： 

（1）、获取一个训练图片（*.GIFf）； 

（2）、产生相应的Box文件（*.box）： 

编辑该Box文件，校正识别出来的字符，如果单个字符识别成了两个或者多个字符，则要将这些字符进行合并，若将多个字符识别成了一个，要对其进行拆分； 

（3）、产生字符特征文件（*.tr）： 

这一步产生三个文件：tesseract.log记录该步骤执行的结果，lang.fontname.number.txt，lang.fontname.number.tr为特征文件； 

（4）、计算字符集（unicharset）： 

这一步产生字符集文件unicharset； 

（5）、聚集字符特征（inttemp、pffmtable、normproto）： 

使用上一步产生的字符集文件来生成当前新语言的字符集文件，同时还会生成图形原型文件inttemp和每个字符所对应的字符特征数文件pffmtable以及字符形状正常化特征文件normproto； 

（6）、合并训练文件（*.traineddata）： 

最后一步，产生训练结果文件lang.traineddata。 

然后使用训练结果对类似于两部分的车牌图像分别进行识别。本实例搜集车牌字符图片共2*97张。 

表2是对所有字符识别的结果统计，识别的准确率达到98.68%。经过粗定位、精确定位、字符识别后，总体准确率为97%*98.69%=95.7%。 

表2字符识别结果统计 

基于上述详细描述，本发明还提出了一种车牌识别系统。 

图10是本发明车牌识别系统结构图。 

如图10所示，该系统包括：粗定位模块1001、精定位模块1002和字符识别模块1003，其中： 

粗定位模块1001，用于采集关于车牌图像的正样本集和负样本集，提取所述正样本集和负样本集的类哈尔Haar特征以训练车牌分类器，并使用该车牌分类器粗定位待检测图像中的车牌区域； 

精定位模块1002，用于将所述粗定位车牌区域转化为灰度图，并分析垂直以及水平投影信息以确定车牌的上下边界和左右边界，获得精定位的车牌区域； 

字符识别模块1003，用于采集包含预定车牌字符的车牌字符集，利用超正方体Tesseract引擎分析所述车牌字符集中预定车牌字符的字符特征并训练得到车牌字符库，并利用所述车牌字符库识别所述精定位的车牌区域，以确定所述精定位的车牌区域中的字符。 

在一个实施方式中： 

精定位模块1002，用于将粗定位车牌区域转化成灰度图像并采用高斯滤波做平滑处理，使用索贝尔Sobel检测算子对平滑处理后图像进行边缘检测以提取垂直边缘信息；对提取垂直边缘信息的图像自上向下扫描并做水平投影，然后通过滤波得到平滑曲线；在所述平滑曲线寻找峰值并获取上下边界，以得到多个候选区域；使用筛选算法从所述候选区域中筛选出最优区域以确定车牌区域的上下边界； 

对确定上下边界之后的灰度图像执行线性滤波处理，利用自适应阈值法对线性滤波处理后的图像进行二值化；对二值化后图像做一次闭运算；根据一次闭运算获得的连通区域去除左右密度大的冗余部分；自左向右扫描车牌区域，求每列黑色像素的数量，通过查找峰值点确定各个字符以及圆点的左右边界，将车牌灰度图像切割成多个分片，缝隙处的像素设为0，即变为黑色；查找连通区域，去掉车牌边框的L形区域，再计算各个分片的长宽比和分片间的缝隙宽度，筛掉不符合字符特征的分片，将最左和最右的分片确定为车牌区域的左右边界。 

在一个实施方式中： 

粗定位模块1001，用于将待检测图像输入该车牌分类器，产生候选定位区域；计算各个候选定位区域的灰度跳变数；将灰度跳变数最大的候选定位区域确定为车牌区域。 

在一个实施方式中： 

精定位模块1002，进一步用于确定分片的所有连通区域； 

计算分片的每个连通区域的像素和，并当所述像素和低于预先设定的门限值时，将该分片确定为孤立点，并去除该孤立点。 

图11是本发明车牌识别系统整体处理示意图。 

综上所述，本发明首先采集关于车牌图像的正样本集和负样本集，提取所述正样本集和负样本集的类哈尔Haar特征以训练车牌分类器，并使用该车牌分类器粗定位待检测图像中的车牌区域；然后将所述粗定位车牌区域转化为灰度图，并分析垂直以及水平投影信息以确定车牌的上下边界和左右边界，获得精定位的车牌区域；再采集包含预定车牌字符的车牌字符集，利用超正方体Tesseract引擎分析所述车牌字符集中预定车牌字符的字符特征并训练得到车牌字符库，并利用所述车牌字符库识别所述精定位的车牌区域，以确定所述精定位的车牌区域中的字符。 

由此可见，本发明提出了一种由粗到精的车牌区域检测算法并应用于车牌识别系统中，使用车牌分类器粗定位后，为提高后续分割字符与识别字符的准确率，可以利用分割的字符分片再次定位车牌的边界，使结果更精确，整体上从多个角度加强系统的鲁棒性。 

而且，与现有技术相比，本发明综合运用了多种算法和方法，包括运用机器学习的方法训练车牌分类器、结合灰度跳变和投影特征筛选候选车牌区域、使用基本的形态学运算子去除边框、经典的种子填充算法去除噪点、使用开源的OCR引擎针对中国车牌的制式按类别训练和识别车牌字符，从而还提高字符识别的准确率和速度。 

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护 范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (8)

1.一种基于粗定位与精定位融合的车牌识别方法，其特征在于，该方法包括：

采集关于车牌图像的正样本集和负样本集，提取所述正样本集和负样本集的类哈尔Haar特征以训练车牌分类器，并使用该车牌分类器粗定位待检测图像中的车牌区域；

将所述粗定位车牌区域转化为灰度图，并分析垂直以及水平投影信息以确定车牌的上下边界和左右边界，获得精定位的车牌区域；

采集包含预定车牌字符的车牌字符集，利用超正方体Tesseract引擎分析所述车牌字符集中预定车牌字符的字符特征并训练得到车牌字符库，并利用所述车牌字符库识别所述精定位的车牌区域，以确定所述精定位的车牌区域中的字符。

2.根据权利要求1所述的基于粗定位与精定位融合的车牌识别方法，其特征在于，所述将粗定位车牌区域转化为灰度图，并分析垂直以及水平投影信息以确定车牌的上下边界和左右边界，获得精定位的车牌区域包括：

将粗定位车牌区域转化成灰度图像并采用高斯滤波做平滑处理，使用索贝尔Sobel检测算子对平滑处理后图像进行边缘检测以提取垂直边缘信息；对提取垂直边缘信息的图像自上向下扫描并做水平投影，然后通过滤波得到平滑曲线；在所述平滑曲线寻找峰值并获取上下边界，以得到多个候选区域；使用筛选算法从所述候选区域中筛选出最优区域以确定车牌区域的上下边界；

对确定上下边界之后的灰度图像执行线性滤波处理，利用自适应阈值法对线性滤波处理后的图像进行二值化；对二值化后图像做一次闭运算；根据一次闭运算获得的连通区域去除左右密度大的冗余部分；自左向右扫描车牌区域，求每列黑色像素的数量，通过查找峰值点确定各个字符以及圆点的左右边界，将车牌灰度图像切割成多个分片，缝隙处的像素设为0，即变为黑色；查找连通区域，去掉车牌边框的L形区域，再计算各个分片的长宽比和分片间的缝隙宽度，筛掉不符合字符特征的分片，将最左和最右的分片确定为车牌区域的左右边界。

3.根据权利要求1所述的基于粗定位与精定位融合的车牌识别方法，其特征在于，所述使用该车牌分类器粗定位待检测图像中的车牌区域包括：

将待检测图像输入该车牌分类器，产生候选定位区域；

计算各个候选定位区域的灰度跳变数；

将灰度跳变数最大的候选定位区域确定为车牌区域。

4.根据权利要求2所述的基于粗定位与精定位融合的车牌识别方法，其特征在于，该方法进一步包括：

确定分片的所有连通区域；

计算分片的每个连通区域的像素和，并当所述像素和低于预先设定的门限值时，将该分片确定为孤立点，并去除该孤立点。

5.一种基于粗定位与精定位融合的车牌识别系统，其特征在于，包括粗定位模块、精定位模块和字符识别模块，其中：

粗定位模块，用于采集关于车牌图像的正样本集和负样本集，提取所述正样本集和负样本集的类哈尔Haar特征以训练车牌分类器，并使用该车牌分类器粗定位待检测图像中的车牌区域；

精定位模块，用于将所述粗定位车牌区域转化为灰度图，并分析垂直以及水平投影信息以确定车牌的上下边界和左右边界，获得精定位的车牌区域；

字符识别模块，用于采集包含预定车牌字符的车牌字符集，利用超正方体Tesseract引擎分析所述车牌字符集中预定车牌字符的字符特征并训练得到车牌字符库，并利用所述车牌字符库识别所述精定位的车牌区域，以确定所述精定位的车牌区域中的字符。

6.根据权利要求5所述的基于粗定位与精定位融合的车牌识别系统，其特征在于，

精定位模块，用于将粗定位车牌区域转化成灰度图像并采用高斯滤波做平滑处理，使用索贝尔Sobel检测算子对平滑处理后图像进行边缘检测以提取垂直边缘信息；对提取垂直边缘信息的图像自上向下扫描并做水平投影，然后通过滤波得到平滑曲线；在所述平滑曲线寻找峰值并获取上下边界，以得到多个候选区域；使用筛选算法从所述候选区域中筛选出最优区域以确定车牌区域的上下边界；

对确定上下边界之后的灰度图像执行线性滤波处理，利用自适应阈值法对线性滤波处理后的图像进行二值化；对二值化后图像做一次闭运算；根据一次闭运算获得的连通区域去除左右密度大的冗余部分；自左向右扫描车牌区域，求每列黑色像素的数量，通过查找峰值点确定各个字符以及圆点的左右边界，将车牌灰度图像切割成多个分片，缝隙处的像素设为0，即变为黑色；查找连通区域，去掉车牌边框的L形区域，再计算各个分片的长宽比和分片间的缝隙宽度，筛掉不符合字符特征的分片，将最左和最右的分片确定为车牌区域的的左右边界。

7.根据权利要求5所述的基于粗定位与精定位融合的车牌识别系统，其特征在于，

粗定位模块，用于将待检测图像输入该车牌分类器，产生候选定位区域；计算各个候选定位区域的灰度跳变数；将灰度跳变数最大的候选定位区域确定为车牌区域。

8.根据权利要求6所述的基于粗定位与精定位融合的车牌识别系统，其特征在于，

精定位模块，进一步用于确定分片的所有连通区域；

计算分片的每个连通区域的像素和，并当所述像素和低于预先设定的门限值时，将该分片确定为孤立点，并去除该孤立点。

Images