CN101877050A

CN101877050A - 一种车牌字符的自动提取方法

Info

Publication number: CN101877050A
Application number: CN2009102299784A
Authority: CN
Inventors: 孙志阳; 裴雷; 刘微; 李月高
Original assignee: Qingdao Hisense Network Technology Co Ltd
Current assignee: Hisense Network Technology Co Ltd; Qingdao Hisense Network Technology Co Ltd
Priority date: 2009-11-10
Filing date: 2009-11-10
Publication date: 2010-11-03
Anticipated expiration: 2029-11-10
Also published as: CN101877050B

Abstract

本发明公开了一种车牌字符的自动提取方法，采用全局与局部相结合的二值化方法对车牌图像进行处理。其中，利用最大类间方差法对车牌图像进行全局二值化处理，可以准确地将车牌字符与背景分离开；采取自适应的二次局部二值化方法对分割出来的每个单字符图像进行处理，可以保证字符细节的完整性。该方法运算量小，实现性高，适应性强，能够适应不同环境和光照条件下的车牌图像，通过突出字符特征，提高了后续字符识别的准确率。该方法可以用于基于数字视频/图像处理的新型车辆牌照自动识别系统中，实现系统中车辆牌照的自动识别。

Description

一种车牌字符的自动提取方法

技术领域

本发明属于图像处理技术领域，具体地说，是涉及一种对车辆牌照图像中的字符进行自动提取的方法。

背景技术

随着我国国民经济的高速发展，国内高速公路、城市道路、停车场建设越来越多，对交通控制、安全管理的要求也日益提高，智能交通系统已成为当前交通管理发展的重要方向。而车辆牌照识别系统作为智能交通系统的一部分起着举足轻重的作用，它在高速公路、城市道路和停车场等项目管理上占有无可替代的重要地位，它的广泛应用必将有助于我国交通管理自动化的进程。

车辆牌照识别系统作为一个综合的实时计算机视觉系统，主要包括车牌定位、车牌字符分割和车牌字符识别三个关键环节。它的研究主要涉及模式识别、人工智能、计算机视觉、数字图像处理等众多学科领域。其中，车牌字符的准确分割提取更是该系统的核心环节，是车牌字符得以准确识别的关键所在。

目前，在车牌识别系统中，大都采用二值化算法来将车牌中的字符和背景区分开来，以进行字符的提取过程。这种车牌二值化算法大部分都是基于全局阈值或者人为的固定阈值，这类方法适应能力差，字符分割和识别的效果不好。

发明内容

本发明的目的在于提供一种车牌字符的自动提取方法，利用数字图像处理技术对复杂环境及不同照度条件下的车牌进行自适应的二值化处理，以便突出字符特征，提高后续识别的准确率。

为解决上述技术问题，本发明采用以下技术方案予以实现：

一种车牌字符的自动提取方法，包括以下步骤：

a、从原始车牌图像中获取车牌的背景颜色；

b、对原始车牌图像进行灰度化处理，变为灰度图像；

c、确定全局二值化阈值，利用全局二值化阈值对灰度图像进行首次全局的二值化处理，形成二值化图像；

d、在二值化图像上进行字符分割，确定每个字符的分割区域；

e、在所述的灰度图像上，根据确定的字符分割区域对每个单字符图像进行边缘检测，形成二值化的备份图像；

f、采用横向1*n窗口对所述灰度图像进行局部二值化处理，其中，n在单字符宽度的1/6到1/4之间取值；结合形成的备份图像判断每个窗口内是否存在边缘，如果窗口内不存在边缘，则利用全局二值化阈值对窗口内的图像进行二值化处理，如果窗口内存在边缘，则以边缘灰度为二值化阈值，对窗口内的图像进行二值化处理，以突出字符细节，获得字符图像。

其中，所述全局二值化阈值可以通过最大类间方差法或者下降梯度法或者固定阈值法进行确定。

在所述步骤a中，可以采用统计车牌图像RGB三色分量直方图的方法来获取车牌的背景颜色，以中国车牌为例：

首先判断3个直方图曲线的相似度；如果3条曲线的相似度大于设定值S1，则认为是白牌或者黑牌，然后根据3色直方图均值高低判断具体颜色，均值大于阈值S2的，认为是白牌，否则认为是黑牌；如果3条曲线的相似度小于设定值S1，则认为是蓝牌或者黄牌，如果3色直方图中的蓝色分量均值低于其他两色分量的均值，则认为是黄牌，否则认为是蓝牌。

优选的，所述设定值S1可以在0.6到0.8之间取值；所述阈值S2可以在100到200之间取值。

进一步的，为了提高字符识别的准确率，优选在所述步骤b、c之间再增加一步对所述灰度图像进行倾斜校正，获得正置车牌的灰度图像的过程。在此过程中具体包括以下步骤：

(1)对所述灰度图像每行的水平梯度进行统计，并将梯度变化明显的区域定义为字符区域，记录字符区域的长度为L₀；

(2)将所述灰度图像上下各旋转1度，按照步骤(1)所述方法分别统计出旋转后的灰度图像中字符区域的长度，分别记为L₊₁、L_-1；

(3)如果L₀小于L₊₁和L_-1，则所述灰度图像即为正置车牌的灰度图像，退出倾斜校正过程；

(4)若L₀大于L₊₁，则将所述灰度图像在上旋转1度的基础上再上旋转1度，并按照步骤(1)所述方法统计出当前图像中字符区域的长度，记为L₊₂；若L₊₁小于L₊₂，则认为上旋转1度的灰度图像为正置车牌的灰度图像，退出倾斜校正过程；否则，再对上旋转2度的灰度图像再进行1度的上旋转，并记录字符区域的长度L₊₃，与L₊₂进行比较，以此类推，直到找到L_+i小于L_+(i+1)的灰度图像记为正置车牌的灰度图像，退出倾斜校正过程；

(5)若L₀大于L_-1，则将所述灰度图像在下旋转1度的基础上再下旋转1度，并按照步骤(1)所述方法统计出当前图像中字符区域的长度，记为L_-2；若L_-1小于L_-2，则认为下旋转1度的灰度图像为正置车牌的灰度图像，退出倾斜校正过程；否则，再对下旋转2度的灰度图像再进行1度的下旋转，并记录字符区域的长度L_-3，与L_-2进行比较，以此类推，直到找到L_-i小于L_-(i+1)的灰度图像记为正置车牌的灰度图像，退出倾斜校正过程。

又进一步的，为了实现车牌字符的准确分割，本发明在所述步骤d中具体设计了以下过程：

d1、根据步骤a中获取的车牌背景颜色，判断二值化图像中字符和背景各自所对应的数值，并统一处理成字符为1、背景为0的二值化图像；

d2、将步骤d1形成的二值化图像向水平方向进行投影；

d3、寻找水平投影的波谷边界位置作为分割点对图像进行字符分割；如果分割后的字符图像宽度小于模板宽度的2/3，则统计字符两边的黑点区域宽度，如果两边的黑点区域宽度都大于模板宽度的1/4，则认为是字符“1”进行分割，否则将该分割点去除，寻找下一个分割点；如果分割后的字符图像宽度大于模板宽度的3/2，则认为有两个字符粘连，此时在模板宽度位置进行分割；其中，所述的模板宽度为字符区域高度的1/M；M为按照车牌制造规定所确定的字符高度与字符宽度的比值。比如中国车牌，按照规定：字符高度应为字符宽度的两倍，此时，M应等于2。

对于识别对象为中国车牌的系统来说，按照中国车牌的制造规定，车牌由7个字符组成，前面两个字符，后面五个字符，前后两部分字符之间留有一块较宽的空白位置以作区分。

基于中国车牌所具有的上述字符设计特点，本发明在所述步骤d2、d3之间又设计了一步寻找二值化图像中起始两个字符与后面五个字符之间空白位置的过程，以进一步提高对中国车牌中字符分割的准确性，具体包括以下步骤：

首先，以水平投影中的第一个波峰为起点、字符区域长度的一半为终点，寻找其间波谷长度最长的一段认为是起始两个字符与后面五个字符之间的空白位置；

其次，以所述空白位置所对应的波谷的边界位置作为分割起始位置，向前分割两个字符，向后分割五个字符；

然后，采用步骤d3所述的方法对前后两部分字符区域中的各个字符进行具体分割。

再进一步的，为了使最终提取出的车牌字符大小满足用户的要求，本发明还设计了一步对通过步骤f处理得到的字符图像进行归一化处理的步骤，即步骤g：对获得的每一个字符图像作宽度为X、高度为Y的归一化处理；所述X、Y由用户设定。

更进一步的，在所述步骤b、c之间还可以包括对所述灰度图像进行拉伸的过程，使拉伸后的灰度图像的宽度为X的N倍以上，高度按照拉伸宽度进行同比例拉伸；其中，N为车牌中字符的个数。

优选的，所述拉伸后的灰度图像的宽度为X的N+1倍。

与现有技术相比，本发明的优点和积极效果是：本发明采用全局与局部相结合的二值化方法对车牌图像进行处理，利用最大类间方差法对车牌图像进行全局二值化处理，可以准确地将车牌字符与背景分离开，采取自适应的二次局部二值化方法可以保证字符细节的完整性。该方法运算量小，实现性高，适应性强，能够适应不同环境和光照条件下的车牌图像，通过突出字符特征，提高了后续字符识别的准确率。

结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。

附图说明

图1是本发明所提出的车牌字符自动提取方法的一种实施例的程序流程框图；

图2是采集到的车牌图像的一种实施例的效果图；

图3是对图2所示车牌图像进行全局二值化处理后形成的二值化图像的效果图；

图4是车牌图像的一种实施例的分割线示意图；

图5是图3中首字符分割后局部二值化的效果图。

具体实施方式

下面结合附图对本发明的具体实施方式进行详细地描述。

本发明为了提高车牌字符的识别效果，对于车牌中字符与背景之间的分割采用全局的二值化方法进行处理，比如利用最大类间方差法(OTSU)对图像进行首次全局的二值化处理；而对于字符细节的准确提取则采用自适应的二次局部二值化方法进行处理，比如以边缘为指导的局部二值化方法进行处理，以突出字符特征，方便后续字符的准确识别，从而克服了同类系统和方法中的种种不足。

下面通过一个具体的实施例来详细阐述所述车牌字符自动提取方法的具体设计步骤及处理过程。

实施例一，本实施例主要以中国车牌为例来对车牌字符的自动提取方法进行详细阐述，参见图1所示，具体包括以下步骤：

S101、读取原始车牌图像。

这里的车牌图像可以是从图库中调取的车牌图像，也可以是从交通监控系统中通过公路摄像头实际拍摄的车牌图像。图2列举了两个通过摄像头拍摄并进行车牌定位处理后生成的车牌图像。

S102、对原始车牌图像进行一定的预处理，获得车牌的背景颜色。

对于背景颜色的判断，目前的图像处理领域已经形成了很多成熟的方法。本实施例结合车牌背景的固有特性，提出了一种通过统计车牌图像三色分量直方图来提取车牌背景颜色的方法，具体包括以下步骤：

A1、统计车牌图像的RGB三色分量直方图；

A2、判断3个直方图曲线的相似度，通过将相似度与预先设定的参考值进行比较，以对车牌颜色进行初步化分。以中国车牌为例，考虑到中国车牌的背景颜色只有白色、黑色、蓝色、黄色四种，因此，将可以将参考值设定在0.6到0.8之间，即设定值S1在0.6到0.8之间取值。如果3条曲线的相似度大于设定值S1，则认为是白牌或者黑牌；否则为蓝牌或者黄牌。

A3、根据3色直方图均值的高低来判断车牌背景的具体颜色。以中国车牌为例，如果经步骤A2确定了该车牌图像为白牌或者黑牌，则进一步判断3色直方图均值的高低；若均值大于阈值S2，所述阈值S2可以在100到200之间取值，则认为是白牌，否则认为是黑牌；如果经步骤A2确定了该车牌图像为蓝牌或者黄牌，且3色直方图中的蓝色分量均值低于其他两色分量的均值，则认为是黄牌，否则认为是蓝牌。将蓝牌和黑牌归为一类，输出同一标志，比如color＝1；黄牌和白牌归为一类，输出同一标志，比如color＝0，以用于在后续进行全局二值化处理时进行指导。

对于采用其它背景颜色设计的非中国车牌来说，只需根据背景颜色的种类，选择合适的设定值S1和阈值S2，即可方便地加以区分。

S103、对原始车牌图像进行灰度化处理，去掉其中的颜色信息，变为灰度图像。

S104、对灰度图像进行拉伸。

此过程是为了提高字符的划分精度和识别的准确度而专门设置的。在本实施例的图像拉伸过程中，首先将灰度图像进行水平拉伸，使拉伸后的灰度图像的宽度为最终字符归一化处理后所要求的单个字符宽度X的N倍以上，N为车牌中字符的个数；然后将灰度图像进行垂直拉伸，即进行高度方向上的拉伸，使高度方向的拉伸比例与宽度方向的拉伸比例相等，即高度按照拉伸宽度进行同比例拉伸。

在本实施例中，所述拉伸后的灰度图像的宽度优选为X的N+1倍左右。以中国车牌为例，由于中国车牌由7个字符组成，即N＝7，因此，在对中国车牌进行字符识别的系统中，优选将灰度图像的宽度拉伸到单个字符宽度X的8倍左右，以提高处理效果。

S105、对拉伸后的灰度图像进行倾斜校正，以获得正置车牌的灰度图像。

本实施例采用基于横向差分投影的倾斜校正方法来克服由于摄像机拍摄角度所带来的车牌倾斜问题，具体包括以下步骤：

B1、对拉伸后的灰度图像每行的水平梯度进行统计，即统计相邻两像素的差值之和；由于字符区域图像梯度变化明显大于字符外区域，因此，正置的车牌图像梯度变化剧烈且区域较窄，统计当前图像梯度变化剧烈的区域长度定义为字符区域，记录字符区域的长度为L₀；

B2、将拉伸后的灰度图像上下各旋转1度，按照步骤B1所述方法分别统计出旋转后的灰度图像中字符区域的长度，分别记为L₊₁、L_-1；

B3、如果L₀小于L₊₁和L_-1，则所述灰度图像即为正置车牌的灰度图像，退出倾斜校正过程S105；

B4、若L₀大于L₊₁，则将所述灰度图像在上旋转1度的基础上再上旋转1度，并按照步骤B1所述方法统计出当前图像中字符区域的长度，记为L₊₂；若L₊₁小于L₊₂，则认为上旋转1度的灰度图像为正置车牌的灰度图像，退出倾斜校正过程S105；否则，再对上旋转2度的灰度图像再进行1度的上旋转，并记录字符区域的长度L₊₃，与L₊₂进行比较，以此类推，直到找到L_+i小于L_+(i+1)的灰度图像记为正置车牌的灰度图像，退出倾斜校正过程S105；其中，i表示旋转的角度，“+”表示上旋转，“-”表示下旋转；

B5、若L₀大于L_-1，则将所述灰度图像在下旋转1度的基础上再下旋转1度，并按照步骤B1所述方法统计出当前图像中字符区域的长度，记为L_-2；若L_-1小于L_-2，则认为下旋转1度的灰度图像为正置车牌的灰度图像，退出倾斜校正过程S105；否则，再对下旋转2度的灰度图像再进行1度的下旋转，并记录字符区域的长度L_-3，与L_-2进行比较，以此类推，直到找到L_-i小于L_-(i+1)的灰度图像记为正置车牌的灰度图像，退出倾斜校正过程S105。

举例说明：如果拉伸后的初始灰度图像的梯度变化剧烈区域长度为15，即L₀＝15，旋转+1度时为17，旋转-1度时为18，则当前灰度图像车牌不用校正。如果旋转+1度时为14，则再旋转+1度，如果此时梯度变化剧烈的区域长度为15，则校正+1度时所获得的灰度图像为正置车牌的灰度图像，其字符区域的长度为14，记录下来作为基准，以用来确定后续的模板宽度。

S106、利用全局二值化阈值对获得的正置车牌的灰度图像进行首次全局的二值化处理，形成二值化图像，如图3所示。

在本实施例中，可以利用最大类间方差法(OTSU)、下降梯度法或者固定阈值法来确定全局二值化阈值，进而对图像进行首次全局的二值化处理。然后进行形态滤波，以去除孤立噪声点。

S107、在二值化图像上进行字符分割，确定每个字符的分割区域。

在本实施例中，此过程可以通过以下步骤具体实现：

C1、根据步骤S102中获取的车牌背景颜色，判断二值化图像中字符和背景各自所对应的数值，并统一处理成字符为1、背景为0的二值化图像；

以中国车牌为例，如果图像中的车牌为蓝牌或者黑牌，则经步骤S106二值化处理后的图像即为字符为1、背景为0的二值化图像；如果图像中的车牌为黄牌或者白牌，则经步骤S106二值化处理后的图像为字符为0、背景为1的二值化图像，此时，需要对其进行二值化取反处理，统一成字符为1、背景为0的二值化图像。在具体编程过程中，可以借助步骤S102生成的color参数的取值来判断是否对图像进行二值化取反处理；

C2、将步骤C1形成的二值化图像向水平方向进行投影；

C3、采用投影统计为主，模板为辅的方法在正置车牌的灰度图像上分割出单个字符，以中国车牌为例，具体包括以下步骤：

(1)以水平投影中的第一个波峰为起点、字符区域长度的一半为终点，寻找其间波谷长度最长的一段认为是起始两个字符与后面五个字符之间的空白位置；

按照中国车牌的制造规定，车牌中的7个字符分两部分布置，前面设置两个字符，后面设置五个字符，前后两部分字符之间留有一块较宽的空白位置以作区分。基于该字符设计特点可以采用步骤(1)的方法来确定空白位置。

对于两部分字符中间存在一点的车牌，由于该点像素较少并且宽度较窄，因此，可以很容易地去除掉。

(2)以所述空白位置所对应的波谷的边界位置作为分割起始位置，向前分割两个字符，向后分割五个字符；

(3)对前后两部分字符区域中的各个字符进行具体分割，即：

首先，定义模板宽度为字符区域高度的1/M。所述字符区域即为步骤S105中获得的正置车牌的字符区域，其高度在确定该字符区域时即已获得。M为按照车牌制造规定所确定的字符高度与字符宽度的比值。比如中国车牌，按照规定：字符高度应为字符宽度的两倍，因此，M＝2，模板宽度为字符区域高度的1/2。

然后，寻找水平投影的波谷边界位置作为分割点对图像进行字符分割；如果分割后的字符图像宽度小于模板宽度很多，比如小于模板宽度的2/3，则统计字符两边的黑点区域宽度，如果两边的黑点区域宽度都大于模板宽度的1/4或者1/3，则认为是字符“1”进行分割，否则将该分割点去除，寻找下一个分割点。如汉字“川”，会在字符内部产生断裂，但断裂处黑点宽度较窄，应去除“川”中间的两个分割点，以此可以防止在字符断裂处分割，参见图4所示。图4中的箭头部分表示分割点。如果分割后的字符图像宽度大于模板宽度很多，比如大于模板宽度的3/2，则认为有两个字符粘连，此时应在模板宽度位置进行分割。

对于不具备上述字符设计特点的非中国车牌来说，可以省去步骤(1)、(2)，直接采用步骤(3)的方法来分割出车牌中的每个字符图像。

S108、在步骤S105处理后生成的灰度图像上，根据确定的字符分割区域对每个单字符图像进行边缘检测，形成二值化的备份图像。

在本实施例中，所述边缘检测可以采用canny、robert、高斯、sobel等传统的边缘检测方法。

S109、在分割后取出的单个字符图像上采用以边缘为指导的局部二值化方法来突出字符细节，具体包括以下步骤：

采用横向1*n窗口对步骤S105处理后生成的灰度图像进行局部二值化处理，其中，n可以在单字符宽度X的1/6到1/4之间取值。结合形成的备份图像判断每个窗口内是否存在边缘，如果窗口内不存在边缘，则利用全局二值化阈值对窗口内的图像进行二值化处理；如果窗口内存在边缘，则以边缘灰度为二值化阈值，对窗口内的图像进行二值化处理，以获得字符细节突出的字符图像，如图5所示。

S110、对获得的每一个字符图像作宽度为X、高度为Y的归一化处理。所述X、Y可以由用户自行设定或者在编程时按照习惯固定下来。

本发明所提出的车牌识别系统中的车牌二值化算法，通过数字图像处理算法实现复杂光照环境下对车牌进行二值化处理的功能，可以用于基于数字视频/图像处理的新型车辆牌照自动识别系统中，实现系统中车辆牌照的自动识别。

应当指出的是，以上所述仅是本发明的一种优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种车牌字符的自动提取方法，包括以下步骤：

a、从原始车牌图像中获取车牌的背景颜色；

b、对原始车牌图像进行灰度化处理，变为灰度图像；

2.根据权利要求1所述的车牌字符的自动提取方法，其特征在于：在所述步骤b、c之间还包括对所述灰度图像进行倾斜校正，获得正置车牌的灰度图像的过程；在此过程中具体包括以下步骤：

3.根据权利要求2所述的车牌字符的自动提取方法，其特征在于：在所述步骤d中具体包括以下过程：

d2、将步骤d1形成的二值化图像向水平方向进行投影；

d3、寻找水平投影的波谷边界位置作为分割点对图像进行字符分割；如果分割后的字符图像宽度小于模板宽度的2/3，则统计字符两边的黑点区域宽度，如果两边的黑点区域宽度都大于模板宽度的1/4，则认为是字符“1”进行分割，否则将该分割点去除，寻找下一个分割点；如果分割后的字符图像宽度大于模板宽度的3/2，则认为有两个字符粘连，此时在模板宽度位置进行分割；

其中，所述的模板宽度为字符区域高度的1/M；M为按照车牌制造规定所确定的字符高度与字符宽度的比值。

4.根据权利要求3所述的车牌字符的自动提取方法，其特征在于：所述车牌为中国车牌，M等于2。

5.根据权利要求4所述的车牌字符的自动提取方法，其特征在于：在所述步骤d2、d3之间还包括寻找二值化图像中起始两个字符与后面五个字符之间空白位置的过程，具体包括以下步骤：

其次，以所述空白位置所对应的波谷的边界位置作为分割起始位置，向前分割两个字符，向后分割五个字符；进而采用步骤d3所述的方法对前后两部分字符区域中的各个字符进行分割。

6.根据权利要求1所述的车牌字符的自动提取方法，其特征在于：所述全局二值化阈值通过最大类间方差法或者下降梯度法或者固定阈值法进行确定。

7.根据权利要求1至6中任一项所述的车牌字符的自动提取方法，其特征在于：在所述步骤f之后还包括步骤g：

g、对获得的每一个字符图像作宽度为X、高度为Y的归一化处理；所述X、Y由用户设定。

8.根据权利要求7所述的车牌字符的自动提取方法，其特征在于：在所述步骤b、c之间还包括对所述灰度图像进行拉伸的过程，使拉伸后的灰度图像的宽度为X的N倍以上，高度按照拉伸宽度进行同比例拉伸；其中，N为车牌中字符的个数。

9.根据权利要求8所述的车牌字符的自动提取方法，其特征在于：所述拉伸后的灰度图像的宽度为X的N+1倍。

10.根据权利要求1至6中任一项所述的车牌字符的自动提取方法，其特征在于：在所述步骤a中，采用统计车牌图像RGB三色分量直方图的方法来获取车牌的背景颜色：

首先判断3个直方图曲线的相似度；如果3条曲线的相似度大于设定值S1，则认为是白牌或者黑牌，然后根据3色直方图均值高低判断具体颜色，均值大于阈值S2的，认为是白牌，否则认为是黑牌；如果3条曲线的相似度小于设定值S1，则认为是蓝牌或者黄牌，如果3色直方图中的蓝色分量均值低于其他两色分量的均值，则认为是黄牌，否则认为是蓝牌；

其中，所述设定值S1在0.6到0.8之间取值；所述阈值S2在100到200之间取值。