CN105373794B - 一种车牌识别方法 - Google Patents
一种车牌识别方法 Download PDFInfo
- Publication number
- CN105373794B CN105373794B CN201510937041.8A CN201510937041A CN105373794B CN 105373794 B CN105373794 B CN 105373794B CN 201510937041 A CN201510937041 A CN 201510937041A CN 105373794 B CN105373794 B CN 105373794B
- Authority
- CN
- China
- Prior art keywords
- license plate
- haar
- expanded
- character
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Abstract
本发明一种车牌识别方法，涉及用于识别图形的方法，步骤是：图像预处理；根据颜色和纹理特征分割车辆区域；提取车辆区域图的显著因子图；利用基于扩展的Haar‑like特征的Adaboost分类器提取候选车牌；从候选车牌中确定真车牌位置；将标记的车牌从对应的车辆区域原图中分割出来；利用结构特征进行字符分割；基于改进的模板匹配方法的字符识别。本发明方法克服了现有的车牌识别方法应用场景比较单一，有的只适用于简单的单一场景的单一车牌识别，难以适用于多场景的多车牌识别，识别率容易受到强光、雾霾和弱光照环境的影响的缺陷。
Description
技术领域
本发明的技术方案涉及用于识别图形的方法，具体地说是一种车牌识别方法。
背景技术
智能交通系统(Intelligent Transportation System,以下简称ITS)有助于解决交通所面临的越来越多的车辆管理难题，而车牌识别是ITS中车辆检测系统的重要环节，可以应用到高速公路收费管理系统、高速公路超速自动化监管系统、城市交通路口的电子警察、停车场收费管理系统等领域。
车牌定位技术是车牌识别系统的主要环节，现有技术中比较常见的方法是利用车牌的颜色和纹理信息结合形态学处理方法得到车牌区域，但对光照敏感、强光或者雾霾天的车牌定位效果差，且容易受到复杂背景的影响；现有技术中利用车牌的边缘特征以及形状特征进行定位的方法不适用于边缘模糊以及车身与车牌颜色相近的情况；现有技术中机器学习也是车牌定位技术常用的一种方法，利用车牌特征离线训练分类器，进而对在线图像进行测试分类，如神经网络和Adaboost分类器，机器学习的方法虽然可以更好的容纳不同环境的差异性，克服了图像处理方法对环境变化敏感的缺点，但是预先需要大量的训练样本，因此训练样本数据的建立和特征提取方法的选择是该方法成功的关键。
车牌识别技术中车牌字符分割是关键部分，主要分为连通域分析法和投影分析法。连通域分析法对字符进行分割时不受车牌倾斜的影响，但是对噪声敏感，易出现字符粘连的情况；投影法分析操作简单，对车牌进行水平投影，可确定字符的上下边缘，对其进行垂直投影，根据波峰与波谷的位置便可确定七个字符的具体位置，但此方法对倾斜车牌与污损车牌的处理效果差。
车牌字符识别主要分为模板匹配法与基于学习的方法，模板匹配法操作简单，是最常用的方法，但其对污损、倾斜字符识别效果差；基于学习的方法包括SVM分类和人工神经网络方法，经过对单个字符的复杂训练实现对字符的识别，此种方法一般识别率较高，但识别率同其在车牌检测中一样取决于训练样本的选取，方法的训练过程复杂。专利CN104036241A公开了一种车牌识别方法，利用车辆图像的HSI颜色空间各分量的阈值限定得到候选区域，根据字符以及背景的颜色特征进行精细定位，并利用车牌的几何特征进行校验，得到车牌图像，对车牌图像进行倾斜校正、连通域字符分割以及训练SVM分类器完成字符的识别，并利用相似字符的特殊特征进行相似字符的二次识别，该方法存在定位部分不具有普适性，不能适应复杂的场景，车牌颜色受到强光，弱光照等影响导致准确率低，分割部分只用连通域法难以保证得到所有的字符的缺陷。
综上所述，目前车牌识别领域存在的问题是：现有的车牌识别方法应用场景比较单一，有的只适用于简单的单一场景的单一车牌识别，难以适用于多场景的多车牌识别，识别率容易受到强光、雾霾、弱光照等环境的影响，因此，研发能在多场景下对多车牌识别的方法具有很高的实用价值。
发明内容
本发明所要解决的技术问题是：提供一种车牌识别方法，根据车牌本身的颜色和纹理特征的先验知识确定车辆区域，分割出车辆区域，然后利用中心像素和其邻域像素的关系得到车辆区域显著因子图，利用基于扩展的Haar-like特征的Adaboost分类器获得候选车牌，对候选车牌进行校验，完成车牌定位，对定位出的所有车牌，利用字符的结构特征进行字符分割，对分割得到的7个字符利用改进的模板匹配方法进行字符识别，克服了现有的车牌识别方法应用场景比较单一，有的只适用于简单的单一场景的单一车牌识别，难以适用于多场景的多车牌识别，识别率容易受到强光、雾霾和弱光照环境的影响的缺陷。
本发明解决该技术问题所采用的技术方案是：一种车牌识别方法，包括下述步骤：
第一步，图像预处理：
读入摄像机采集到的原始的彩色道路交通图像，建立Adaboost分类器的训练数据集，其中包括手动截取的4000张不同场景下的车牌正样本彩色图，以及截取的包括道路、树木和车身的20000张不同尺寸的场景负样本彩色图，对该数据集中的所有样本彩色图进行预处理，将车牌正样本彩色图大小归一化到64×20像素，不对场景负样本彩色图进行归一化处理，但保证场景负样本彩色图的尺寸大于车牌正样本彩色图；
第二步，根据颜色和纹理特征分割车辆区域：
(1)提取颜色特征图：
将第一步读入的原始的彩色道路交通图像由RGB颜色空间转换到HSV颜色空间，其中H代表色调，S代表饱和度，V代表亮度，扫描整幅图像，根据H分量和S分量利用公式(1)对图像进行二值化，提取颜色特征图C：
其中C为得到的颜色特征图，其保留了原始图像中包含车牌在内的蓝色的部分；
(2)提取纹理特征图：
将第一步读入的原始的彩色道路交通图像，由RGB颜色空间转换到灰度空间，采用的方法如公式(2)，其中F为得到的灰度图像，采用公式(3)、(4)计算纹理特征：
F＝0.299×R+0.587×G+0.114×B (2)，
G(i,j)＝|F(i,j)-F(i-1,j)|+|F(i,j)-F(i+1,j)| (3)，
其中G(i,j)代表输出的纹理特征的灰度图，Avg_value为纹理特征灰度图G的平均灰度，利用公式(4)得到二值化的阈值，T为获得的纹理特征图；
(3)车辆区域分割：
将上述步骤(1)得到的颜色特征图C和步骤(2)得到的纹理特征图T进行“与”操作，得到颜色纹理特征图，利用形态学“闭运算”填充该颜色纹理特征图的细小孔洞，进而对该颜色纹理特征图进行投影操作，首先进行垂直投影，得到1～3个垂直投影区域，在投影的区域内进行水平投影，记录投影边缘，最终得到1～3个车辆区域，将所得到车辆区域从原始的彩色道路交通图像中分割出来，得到彩色车辆区域图；
第三步，提取车辆区域图的显著因子图：
对第一步预处理后的Adaboost分类器的训练数据集提取车牌正样本彩色图和场景负样本彩色图的显著因子图，并提取第二步的步骤(3)得到的彩色车辆区域图的显著因子图，具体操作如下：
将第一步中采集的车牌正样本彩色图和场景负样本彩色图以及第二步的步骤(3)得到的彩色车辆区域图从RGB颜色空间转换到灰度空间，扫描整幅灰度图片，将当前像素作为中心像素，显著因子定义为N×N邻域的各像素值与中心像素值F(i,j)的差的总和与中心像素值的比值，利用反正切函数将比值归一化到(-π/2，π/2)，显著因子的计算过程如公式(5)所示：
式中，arctan为反正切函数，Sal(F(i,j))即为当前像素F(i,j)的显著因子，其取值范围为(-π/2，π/2)，对待处理的彩色车辆区域图中每个像素都利用上述显著因子提取方法进行显著因子的提取，获得该彩色车辆区域图的显著因子图；
第四步，利用基于扩展的Haar-like特征的Adaboost分类器提取候选车牌：
(1)提取扩展的Haar-like特征：
对第三步中得到的显著因子图提取扩展的Haar-like特征，就蓝色车牌而言，车牌字符个数固定，每个字符的位置也是固定的，不同车牌的相同字符区域的字符不尽相同，而且车牌具有明显的边框，第二个字符与第三个字符间隔比其余字符间隔大，根据以上的特点，设计如下的(a)～(g)7种扩展的Haar-like特征，并且设计的扩展的Haar-like特征模板内有白色矩形填充区域和黑白线条色矩形填充区域两种矩形；
扩展的Haar-like特征(a)：对于整个车牌区域，扩展的Haar-like特征为水平方向的线特征，扩展的Haar-like特征模板的宽度和高度固定，扩展的Haar-like特征模板的高度为车牌的高度，扩展的Haar-like特征模板的宽度为车牌的宽度，共包含三个矩形，白色矩形高度∶黑白线条色矩形高度∶白色矩形高度＝1∶2∶1，用以描述车牌的整体的扩展的Haar-like特征，即字符区域与边缘区域的变化的扩展的Haar-like特征；
扩展的Haar-like特征(b)：在车牌顶部1/4和底部1/4范围内包含如下的水平边缘信息：第一个扩展的Haar-like特征为水平方向的边缘特征，扩展的Haar-like特征模板共包含两个矩形，白色矩形高度∶黑白线条色矩形高度＝1∶1；第二个扩展的Haar-like特征为水平方向的线特征，扩展的Haar-like特征模板共包含三个矩形，白色矩形高度:黑白线条色矩形高度∶白色矩形高度＝1∶1∶1；在车牌顶部1/4和底部1/4范围内，第一个扩展的Haar-like特征模板中单个矩形的宽度变化范围为[1，64]，高度变化范围为[1，2]，第二个扩展的Haar-like特征模板中单个矩形的宽度变化范围为[1，64]，高度为1，在该范围内不断移动每一个扩展的Haar-like特征模板，每一种形态称为一个扩展的Haar-like特征，这两类扩展的Haar-like特征用以描述车牌的水平边框；
扩展的Haar-like特征(c)：在车牌左侧1/12和右侧1/12范围内包含如下的垂直边缘：第一个扩展的Haar-like特征为垂直方向的边缘特征，扩展的Haar-like特征模板共包含两个矩形，白色矩形宽度∶黑白线条色矩形宽度＝1∶1；第二个扩展的Haar-like特征为垂直方向的线特征，扩展的Haar-like特征模板共包含三个矩形，白色矩形宽度:黑白线条色矩形宽度:白色矩形宽度＝1∶1∶1；在车牌左侧1/12和右侧1/12范围内，第一个扩展的Haar-like特征模板中单个矩形的宽度的变化范围为[1，2]，高度变化范围为[1，20]，第二个扩展的Haar-like特征模板中单个矩形的宽度为1，高度变化范围为[1，20]，在该范围内不断移动每一个扩展的Haar-like特征模板，每一种形态称为一个扩展的Haar-like特征，这两类扩展的Haar-like特征用以描述车牌的垂直边框；
扩展的Haar-like特征(d)：车牌第二个字符与第三个字符距离比其他任意两个相邻字符距离远，中间包含一个白色圆形的分割点，利用这个特点，设计了两个扩展的Haar-like特征，两个特征为垂直方向的边缘特征，第一个扩展的Haar-like特征模板的宽度和高度固定，包含两个矩形，白色矩形宽度:黑白线条色矩形宽度＝1:1，左侧矩形包含前两个字符，右侧矩形包含分隔点、第三个字符与部分字符后的间隙，高度为字符区域的高度，第二个扩展的Haar-like特征模板的宽度和高度固定，包含两个矩形，白色矩形宽度∶黑白线条色矩形宽度＝1∶1，左侧矩形包含分隔点、第三个字符与部分字符后的间隙，右侧矩形包含第四个字符与第五个字符，高度为字符区域的高度，这两类扩展的Haar-like特征用以描述车牌字符区域的第二个字符与第三个字符的较大间隔；
扩展的Haar-like特征(e)：车牌的7个字符宽度相等，除了第二个字符与第三个字符间距较大以外，其余相邻字符间距相等，利用这一特点，设计垂直方向的边缘特征，扩展的Haar-like特征模板的宽度和高度固定，包含两个矩形，白色矩形宽度:黑白线条色矩形宽度＝1:1，单个矩形宽度为单个字符宽度与1/2字符间距之和，高度为字符区域的高度，在整个字符区域，从左到右扫描得到所有的扩展的Haar-like特征，该扩展的Haar-like特征描述的是字符区域的字符与字符之间的变化扩展的Haar-like特征；
扩展的Haar-like特征(f)：对于整个字符区域，由于字符上下两部分结构基本类似，利用这一特点，设计水平方向的边缘特征，扩展的Haar-like特征模板的宽度变化范围为[8，54]，高度固定，包含两个矩形，白色矩形高度∶黑白线条色矩形高度＝1∶1，单个矩形高度为1/2的字符高度，初始宽度为单个字符宽度，在整个字符区域进行扫描，扫描结束后将矩形宽度加1，高度不变，继续扫描，直至矩形宽度增加至等于字符区域的宽度时停止，记录所有的扩展的Haar-like特征，该扩展的Haar-like特征利用的是字符的相似的上下结构；
扩展的Haar-like特征(g)：对于整个字符区域，由于每个字符宽度相等，字符之间有间隙，设计垂直方向的线特征，扩展的Haar-like特征模板的宽度和高度固定，包含三个矩形，白色矩形宽度:黑白线条色矩形宽度∶白色矩形宽度＝1∶3∶1，左侧矩形为字符的左侧间距，中间矩形为单个字符，右侧矩形为字符的右侧间距，高度为字符区域的高度，在整个字符区域进行横向扫描，记录所有扩展的Haar-like特征，该扩展的Haar-like特征描述的是字符与字符间隙的变化扩展的Haar-like特征；
以上7种扩展的Haar-like特征主要分为整体扩展的Haar-like特征和局部扩展的Haar-like特征两大类，扩展的Haar-like特征(a)为整体扩展的Haar-like特征，扩展的Haar-like特征(b)到(g)为局部扩展的Haar-like特征，其中，扩展的Haar-like特征(b)和(c)为边缘区域扩展的Haar-like特征，扩展的Haar-like特征(d)到(g)为字符区域扩展的Haar-like特征；
实际训练中采用64×20像素大小的车牌，车牌区域为整幅车牌，边缘区域包括四个区域，即车牌顶部1/4范围内、底部1/4范围内、左侧1/12范围内和右侧1/12范围内，字符区域为车牌的顶部1/4到底部1/4之间以及左侧1/12到右侧1/12之间的范围，扩展的Haar-like特征模板内有白色矩形和黑白线条色矩形两种，在显著因子图上，每一种扩展的Haar-like特征都是黑白线条矩形填充区域的像素值之和与白色矩形填充区域的像素值之和的差值，而计算出来的这个差值就是提取扩展的Haar-like特征的特征值；
(2)训练Adaboost分类器：
利用OpenCV2.0进行分类器的训练，将OpenCV 2.0中的haartraining特征提取部分替换成上述(1)步中提取到的扩展的Haar-like特征，生成可执行文件opencv_haartraining.exe，参数nstages设置为12，即预设的强分类器级数为13，设置参数nonsym，代表提取的扩展的Haar-like特征为非垂直对称的，参数minhitrate设置为0.999，即每级强分类器的最小命中率，参数maxfalsealarm设置为0.5，即每级强分类器的最大误检率，将第三步提取到的车牌正样本和场景负样本的显著因子图输入上述Adaboost分类器进行训练，对于分类器的训练，首先训练弱分类器，然后把这些弱分类器级联起来，形成第0层强分类器，然后训练第1层强分类器，直至完成了第12层强分类器的训练，将第0层至第12层的强分类器级联起来构成一个更强的最终分类器，即最终的强分类器；
(3)提取候选车牌：
利用上述步骤(2)得到的基于扩展的Haar-like特征的Adaboost分类器对第三步中提取的车辆区域的显著因子图用多尺度的矩形滑动窗口进行全局扫描，滑动窗口的初始大小为64×20像素，多尺度比例系数设置为1.1，即滑动窗口依次扩大10％，当滑动窗口大于被扫描的图像时停止扫描，当分析的滑动窗口全部通过Adaboost分类器每一层时返回正值，即得到了一个候选车牌；移动矩形滑动窗口，直至完成整幅图片的扫描，提取到所有的候选车牌；
第五步，从候选车牌中确定真车牌位置：
(1)利用连通域个数进行候选车牌筛选：
对上述第四步中提取的每一个候选车牌，利用最大类间方差OTSU法确定二值化阈值，进行二值化操作得到二值化的候选车牌，扫描所有二值化的候选车牌，对连通域搜索并标记，根据连通域的个数进行筛选，保留4≤连通域个数≤10范围内的候选车牌，根据保留的候选车牌的连通域个数设置参数A；若连通域个数为7和8，则该候选车牌最可能为真车牌，参数A设为0.5；若连通域个数为6，该候选车牌为真车牌的概率较低，此时参数A设为0.6；其余情况为真车牌的概率最低，此时参数A设为0.7；
(2)根据连通域的平均宽度以及高度方差进行候选车牌筛选：
根据上述步骤(1)中的连通域计算平均宽度Avg_width以及高度方差Variance_height，并根据这两个参数进行候选车牌筛选，若候选车牌连通域的Avg_width>8像素并且Variance_height<40像素则保留该候选车牌，否则淘汰；
(3)对二值化的候选车牌进行精细搜索：
对经过步骤(1)和步骤(2)筛选过的二值化候选车牌进行精细搜索，从候选车牌的上下左右四个方向进行扫描确定边缘，扫描到的第一个灰度值为255的像素即为边缘，如此方法确定四个边缘，得到精确定位的二值化候选车牌；
(4)计算边缘密度方差：
对上述步(3)得到的精确定位的二值化候选车牌求垂直边缘，并将边缘图像平均分成2行4列的8个图像块，若第i块的非零边缘像素的个数为ni，块内像素总数为Ni，则第i块的边缘密度定义为ni/Ni，统计8个图像块的边缘密度，然后计算这8个图像块的边缘密度值的方差，该边缘密度方差的值即为参数B的值；
(5)根据参数A和参数B得到真车牌：
当只有一个候选车牌时，则该候选车牌为真车牌，对该车牌利用矩形框进行标记，记录矩形框的位置、大小以及对应的车辆；当候选车牌多于一个，对于每个候选车牌，上述步骤(1)的参数A越小代表此候选车牌为真车牌的概率越大，上述步骤(4)的参数B越小，即边缘密度方差越小，说明该候选车牌边缘分布越均匀，为真车牌的概率也越大，所以求参数A和参数B的和，并对所有候选车牌的参数之和进行排序，参数A和参数B之和最小的候选车牌即为真车牌并对其利用矩形框进行标记，记录矩形框的位置、大小以及对应的车辆；
第六步，将标记的车牌从对应的车辆区域原图中分割出来：
当上述第二步中最终只得到一个车辆区域时，对第五步中标记的车牌，根据标记的矩形框的位置以及大小将标记的车牌从对应的车辆区域原图中分割出来；当第二步中最终得到了两个或三个车辆区域时，则重复第三步到第五步，直至将所有车辆区域的车牌均利用矩形框进行标记，然后将标记的所有车牌从对应的车辆区域原图中分割出来，得到一个车牌序列；
第七步，利用结构特征进行字符分割：
(1)连通域标记及粗筛选：
对第六步分割出的标记的车牌利用最大类间方差OTSU法进行二值化操作，对二值化的车牌图像进行连通域标记，然后再对二值化的车牌图像进行扫描，记录每个连通域的上下左右边缘位置、宽度、高度、中心和标记值，对上述所有连通域进行粗筛选，由于字符高度是相同的，宽度除了字符“1”之外也是相同的，上述记录中，宽度大于车牌区域1/7的连通域，即为边框的区域，记录中小于平均高度1/3的连通域，即为分隔圆点、噪点、铆钉区域，将这些连通域中灰度值为255的像素值置为0，在二值化的车牌图像中即删除了这些可能为非字符的连通域；
(2)连通域精细筛选：
保留高度最相似的不多于7个连通域，对获得的连通域根据左侧边缘位置从左到右排序，利用连通域的高度计算每个连通域与其他连通域的高度差，得到一个距离矩阵，对距离矩阵内的距离由小到大进行排序，获得距离最近的不多于6个的距离平均值并进行记录，依次对每个连通域进行上述处理，获得所有连通域与距离最近的不多于6个的距离平均值，然后将最小平均距离对应的连通域视为基础连通域，将与其距离最相近的不多于6个的连通域视为衍生连通域，将基础连通域与衍生连通域作为高度最相似的连通域，即得到了高度最相似的最多7个连通域，对经过筛选后剩余的连通域，分别计算一个连通域与另一个连通域的上、下边距，取上、下边距的绝对值较大者记作该两个连通域的高度差，求该连通域与其他连通域的高度差的和，去除高度差的和大于30像素的连通域，则去除了位置差异较大的连通域；
(3)补充缺失字符：
对保留下的连通域进行进一步判断，判断是否存在缺失字符，若字符个数小于7，则存在缺失字符，根据字符的位置与结构特征对缺失字符进行补充；
(4)字符分割：
当上述第六步为一个车牌时，则根据连通域的位置以及大小对得到的7个字符进行分割，得到7张二值化的字符图片，完成一个车牌的字符分割；当第六步得到了一个车牌序列，则对每个车牌重复上述步(1)到(3)，完成多车牌的字符分割；
第八步，基于改进的模板匹配方法的字符识别：
(1)建立字符模板库：
创建标准字符模板库；对标准字符模板库中的非汉字字符进行膨胀操作，得到模糊字符模板库；
(2)模糊字符处理以及模板匹配：
将上述第七步(4)字符分割中分割得到的7张二值化的字符图片的尺寸归一化到24×48像素，对车牌的首字符，即汉字，求Canny边缘，根据边缘图像中汉字中心区域非零像素的数量来判断车牌的模糊程度：
若边缘像素个数≥10，认为车牌字符模糊度低，将所有字符与标准模板进行匹配；
若边缘像素个数<10，认为车牌字符模糊度高，将非汉字字符与模糊的模板进行模板匹配，汉字字符与标准模板进行匹配；
根据上述原则对每个字符都进行字符模板匹配，直至完成7个字符的匹配；判断匹配结果中是否包含相似字符“0”和“D”，“8”和“B”，“2”和“Z”，若包含则继续进行下面的步骤(3)，若不包含则记录识别结果以及对应的车牌；
(3)相似字符处理：
对于相似字符，提取图像左侧的外轮廓，将外轮廓像素点作为特征点集，利用Hausdorff距离分别计算待识别的相似字符与两个相似的字符模板的特征点集之间的距离，距离最近的那个模板即为二次识别结果；重复上述过程，直至所有的相似字符完成二次识别，记录识别结果以及对应的车牌；
(4)输出识别结果：
当只有一个候选车牌时，则输出识别结果；当候选车牌多于一个时，则重复上述步骤(2)和(3)，并输出多车牌的识别结果。
上述一种车牌识别方法，所述显著因子定义为N×N邻域的各像素值与中心像素值F(i,j)的差的总和与中心像素值的比值，这里的N＝3。
上述一种车牌识别方法，所述公式(5)式中，当前像素F(i,j)的显著因子Sal(F(i,j))划分为七个取值范围：(-π/2，-1.25]，(-1.25，-0.75]，(-0.75，-0.25]，(-0.25，0.25]，(0.25，0.75]，(0.75，1.25]，(1.25，π/2)，每个取值范围映射到灰度图上一个灰度值，将上述七个显著因子取值区间对应的灰度值设定为：0，0，0，120，160，200，255。
上述一种车牌识别方法，所述扩展的Haar-like特征(f)中的单个字符宽度为8，字符区域的宽度为54。
上述一种车牌识别方法，所述的宽度和高度的单位为像素。
上述一种车牌识别方法，只适用于中国(大陆)的蓝色车牌。
本发明的有益效果是：与现有技术相比，本发明具有以下技术效果和显著性进步：
(1)本发明方法在车牌定位中利用了颜色和纹理信息进行车辆区域提取，相较于在整幅图搜索缩小了检测范围，提高检测速度；提取车辆区域的显著因子图，对弱光照和复杂天气的车牌处理效果相比于灰度图保留了清晰的边缘，便于特征提取；
(2)本发明根据车牌的结构特征，从车牌的整体特征和局部特征入手，设计了便于车牌定位的扩展的Haar-like特征，降低了Adaboost分类器的输入特征维度，提升了训练效率和定位准确率；
(3)本发明方法在字符分割部分根据字符具有相同高度的特点，通过连通域标记、连通域粗筛选和连通域精细筛选获得每个字符的位置，并对字符的缺失情况进行了处理，使得字符分割更加准确、高效；
(4)本发明方法在字符识别阶段采用改进的模板匹配方法，对强光下或雾霾天气下的模糊车牌处理效果优于传统的模板匹配，且对于相似字符的识别效果有很大的改善。
附图说明
图1为本发明一种车牌识别方法流程图。
图2(a)为本发明方法中采用的道路交通图像示意图。
图2(b)为本发明方法中车辆区域分割后利用Adaboost分类器得到的候选车牌结果示意图。
图3为本发明方法的车牌定位结果示意图。
图4为本发明方法中提取的扩展的Haar-like特征的示意图。
图5为本发明方法中车牌字符分割的结果示意图。
具体实施方式
图1所示实施例表明，本发明多场景下的多车牌识别方法步骤流程是：图像预处理→根据颜色和纹理特征分割车辆区域→提取车辆区域图的显著因子图→利用基于扩展的Haar-like特征的Adaboost分类器提取候选车牌→从候选车牌中确定真车牌位置→将标记的车牌从对应的车辆区域原图中分割出来→利用结构特征进行字符分割→基于改进的模板匹配方法的字符识别。
图2(a)所示实施例显示本发明方法中采用的道路交通图像的示意图，图像为道路卡口摄像机拍摄。
图2(b)所示实施例显示本发明方法中车辆区域分割后得到的车辆区域图像，对车辆区域利用Adaboost分类器进行定位，得到所有的候选车牌，其中的黑白线条色矩形内为候选车牌，图中共包含3个候选车牌，其中1个真车牌，2个非车牌区域，对候选车牌进行筛选，去除其中的两个非车牌区域。
图3所示实施例显示本发明方法中所有的候选车牌经过车牌校验后得到的真车牌的示意图，即通过车牌校验去除了图2(b)中的两个非车牌区域。
图4所示实施例为本发明方法中采用的7种扩展的Haar-like特征：
扩展的Haar-like特征(a)：其特征类别为整体特征，特征分布为车牌区域。对于整个车牌区域，扩展的Haar-like特征为水平方向的线特征，扩展的Haar-like特征模板的宽度和高度固定，扩展的Haar-like特征模板的高度为车牌的高度，扩展的Haar-like特征模板的宽度为车牌的宽度，共包含三个矩形，白色矩形高度∶黑白线条色矩形高度∶白色矩形高度＝1:2:1，用以描述车牌的整体的扩展的Haar-like特征，即字符区域与边缘区域的变化的扩展的Haar-like特征。
下面扩展的Haar-like特征(b)和扩展的Haar-like特征(c)的特征类别为局部特征，特征分布为边缘区域。
扩展的Haar-like特征(b)：在车牌顶部1/4和底部1/4范围内包含如下的水平边缘信息：其中第一个扩展的Haar-like特征为水平方向的边缘特征，扩展的Haar-like特征模板共包含两个矩形，白色矩形高度:黑白线条色矩形高度＝1:1；第二个扩展的Haar-like特征为水平方向的线特征，扩展的Haar-like特征模板共包含三个矩形，白色矩形高度:黑白线条色矩形高度:白色矩形高度＝1:1:1；在车牌顶部1/4和底部1/4范围内，第一个扩展的Haar-like特征模板中单个矩形的宽度变化范围为[1，64]，高度变化范围为[1，2]，第二个扩展的Haar-like特征模板中单个矩形的宽度变化范围为[1，64]，高度为1，在该范围内不断移动每一个扩展的Haar-like特征模板，每一种形态称为一个扩展的Haar-like特征，这两类扩展的Haar-like特征用以描述车牌的水平边框；
扩展的Haar-like特征(c)：在车牌左侧1/12和右侧1/12范围内包含如下的垂直边缘：其中第一个扩展的Haar-like特征为垂直方向的边缘特征，扩展的Haar-like特征模板共包含两个矩形，白色矩形宽度:黑白线条色矩形宽度＝1:1；第二个扩展的Haar-like特征为垂直方向的线特征，扩展的Haar-like特征模板共包含三个矩形，白色矩形宽度:黑白线条色矩形宽度:白色矩形宽度＝1:1:1；在车牌左侧1/12和右侧1/12范围内，第一个扩展的Haar-like特征模板中单个矩形的宽度的变化范围为[1，2]，高度变化范围为[1，20]，第二个扩展的Haar-like特征模板中单个矩形的宽度为1，高度变化范围为[1，20]，在该范围内不断移动每一个扩展的Haar-like特征模板，每一种形态称为一个扩展的Haar-like特征，这两类扩展的Haar-like特征用以描述车牌的垂直边框；
下面扩展的Haar-like特征(d)和扩展的Haar-like特征(g)的特征类别为局部特征，特征分布为字符区域。
扩展的Haar-like特征(d)：车牌第二个字符与第三个字符距离比其他任意两个相邻字符距离远，中间包含一个白色圆形的分割点，利用这个特点，设计了两个扩展的Haar-like特征，两个特征为垂直方向的边缘特征，第一个扩展的Haar-like特征模板的宽度和高度固定，包含两个矩形，白色矩形宽度:黑白线条色矩形宽度＝1:1，左侧矩形包含前两个字符，右侧矩形包含分隔点、第三个字符与部分字符后的间隙，高度为字符区域的高度，第二个扩展的Haar-like特征模板的宽度和高度固定，包含两个矩形，白色矩形宽度:黑白线条色矩形宽度＝1:1，左侧矩形包含分隔点、第三个字符与部分字符后的间隙，右侧矩形包含第四个字符与第五个字符，高度为字符区域的高度，这两类扩展的Haar-like特征用以描述车牌字符区域的第二个字符与第三个字符的较大间隔；
扩展的Haar-like特征(e)：车牌的7个字符宽度相等，除了第二个字符与第三个字符间距较大以外，其余相邻字符间距相等，利用这一特点，设计垂直方向的边缘特征，扩展的Haar-like特征模板的宽度和高度固定，包含两个矩形，白色矩形宽度:黑白线条色矩形宽度＝1:1，单个矩形宽度为单个字符宽度与1/2字符间距之和，高度为字符区域的高度，在整个字符区域，从左到右扫描得到所有的扩展的Haar-like特征，该扩展的Haar-like特征描述的是字符区域的字符与字符之间的变化扩展的Haar-like特征；
扩展的Haar-like特征(f)：对于整个字符区域，由于字符上下两部分结构基本类似，利用这一特点，设计水平方向的边缘特征，扩展的Haar-like特征模板的宽度变化范围为[8，54]，高度固定，包含两个矩形，白色矩形高度:黑白线条色矩形高度＝1:1，单个矩形高度为1/2的字符高度，初始宽度为单个字符宽度，在整个字符区域进行扫描，扫描结束后将矩形宽度加1，高度不变，继续扫描，直至矩形宽度增加至等于字符区域的宽度时停止，记录所有的扩展的Haar-like特征，该扩展的Haar-like特征利用的是字符的相似的上下结构；
扩展的Haar-like特征(g)：对于整个字符区域，由于每个字符宽度相等，字符之间有间隙，设计垂直方向的线特征，扩展的Haar-like特征模板的宽度和高度固定，包含三个矩形，白色矩形宽度:黑白线条色矩形宽度:白色矩形宽度＝1:3:1，左侧矩形为字符的左侧间距，中间矩形为单个字符，右侧矩形为字符的右侧间距，高度为字符区域的高度，在整个字符区域进行横向扫描，记录所有扩展的Haar-like特征，该扩展的Haar-like特征描述的是字符与字符间隙的变化扩展的Haar-like特征。
图5所示实施例显示本发明方法中的车牌分割示意图，将车牌中的7个字符进行分割，图中的7个矩形框内为分割得到的车牌字符。
实施例1
本实施例一种车牌识别方法的具体步骤如下：
第一步，图像预处理：
读入摄像机采集到的原始的彩色道路交通图像，建立Adaboost分类器的训练数据集，其中包括手动截取的4000张不同场景下的车牌正样本彩色图，以及截取的包括道路、树木和车身的20000张不同尺寸的场景负样本彩色图，对该数据集中的所有样本彩色图进行预处理，将车牌正样本彩色图大小归一化到64×20像素，不对场景负样本彩色图进行归一化处理，但保证场景负样本彩色图的尺寸大于车牌正样本彩色图，便于Adaboost训练时从负样本可以截取正样本大小的训练图片。
第二步，根据颜色和纹理特征分割车辆区域：
(1)提取颜色特征图：
将第一步读入的原始的彩色道路交通图像由RGB颜色空间转换到HSV颜色空间，其中H代表色调，S代表饱和度，V代表亮度，扫描整幅图像，根据H分量和S分量利用公式(1)对图像进行二值化，提取颜色特征图C：
其中C为得到的颜色特征图，其保留了原始图像中包含车牌在内的蓝色的部分；
(2)提取纹理特征图：
将第一步读入的原始的彩色道路交通图像，由RGB颜色空间转换到灰度空间，采用的方法如公式(2)，其中F为得到的灰度图像，采用公式(3)、(4)计算纹理特征：
F＝0.299×R+0.587×G+0.114×B(2)，
G(i,j)＝|F(i,j)-F(i-1,j)|+|F(i,j)-F(i+1,j)|(3)，
其中G(i,j)代表输出的纹理特征的灰度图，Avg_value为纹理特征灰度图G的平均灰度，利用公式(4)得到二值化的阈值，T为获得的纹理特征图；
(3)车辆区域分割：
将上述步骤(1)得到的颜色特征图C和步骤(2)得到的纹理特征图T进行“与”操作，得到颜色纹理特征图，利用形态学“闭运算”填充该颜色纹理特征图的细小孔洞，进而对该颜色纹理特征图进行投影操作，首先进行垂直投影，得到1个垂直投影区域，在投影的区域内进行水平投影，记录投影边缘，最终得到1个车辆区域，将所得到车辆区域从原始的彩色道路交通图像中分割出来，得到彩色车辆区域图；
第三步，提取车辆区域图的显著因子图：
对第一步预处理后的Adaboost分类器的训练数据集提取车牌正样本彩色图和场景负样本彩色图的显著因子图，并提取第二步的步骤(3)得到的彩色车辆区域图的显著因子图，具体操作如下：
将第一步中采集的车牌正样本彩色图和场景负样本彩色图以及第二步的步骤(3)得到的彩色车辆区域图从RGB颜色空间转换到灰度空间，扫描整幅灰度图片，将当前像素作为中心像素，显著因子定义为N×N邻域的各像素值与中心像素值F(i,j)的差的总和与中心像素值的比值，利用反正切函数将比值归一化到(-π/2，π/2)，显著因子的计算过程如公式(5)所示：
式中，arctan为反正切函数，Sal(F(i,j))即为当前像素F(i,j)的显著因子，其取值范围为(-π/2，π/2)，对待处理的彩色车辆区域图中每个像素都利用上述显著因子提取方法进行显著因子的提取，获得该彩色车辆区域图的显著因子图，上述N×N中的N＝3，所述公式(5)式中，当前像素F(i,j)的显著因子Sal(F(i,j))划分为七个取值范围：(-π/2，-1.25]，(-1.25，-0.75]，(-0.75，-0.25]，(-0.25，0.25]，(0.25，0.75]，(0.75，1.25]，(1.25，π/2)，每个取值范围映射到灰度图上一个灰度值，将上述七个显著因子取值区间对应的灰度值设定为：0，0，0，120，160，200，255；
第四步，利用基于扩展的Haar-like特征的Adaboost分类器提取候选车牌：
(1)提取扩展的Haar-like特征：
对第三步中得到的显著因子图提取扩展的Haar-like特征，就蓝色车牌而言，车牌字符个数固定，每个字符的位置也是固定的，不同车牌的相同字符区域的字符不尽相同，而且车牌具有明显的边框，第二个字符与第三个字符间隔比其余字符间隔大，根据以上的特点，设计如下的(a)～(g)7种扩展的Haar-like特征，并且设计的扩展的Haar-like特征模板内有白色矩形填充区域和黑白线条色矩形填充区域两种矩形；
扩展的Haar-like特征(a)：对于整个车牌区域，扩展的Haar-like特征为水平方向的线特征，扩展的Haar-like特征模板的宽度和高度固定，扩展的Haar-like特征模板的高度为车牌的高度，扩展的Haar-like特征模板的宽度为车牌的宽度，共包含三个矩形，白色矩形高度∶黑白线条色矩形高度∶白色矩形高度＝1∶2∶1，用以描述车牌的整体的扩展的Haar-like特征，即字符区域与边缘区域的变化的扩展的Haar-like特征；
扩展的Haar-like特征(b)：在车牌顶部1/4和底部1/4范围内包含如下的水平边缘信息：第一个扩展的Haar-like特征为水平方向的边缘特征，扩展的Haar-like特征模板共包含两个矩形，白色矩形高度∶黑白线条色矩形高度＝1∶1；第二个扩展的Haar-like特征为水平方向的线特征，扩展的Haar-like特征模板共包含三个矩形，白色矩形高度:黑白线条色矩形高度∶白色矩形高度＝1∶1∶1；在车牌顶部1/4和底部1/4范围内，第一个扩展的Haar-like特征模板中单个矩形的宽度变化范围为[1，64]，高度变化范围为[1，2]，第二个扩展的Haar-like特征模板中单个矩形的宽度变化范围为[1，64]，高度为1，在该范围内不断移动每一个扩展的Haar-like特征模板，每一种形态称为一个扩展的Haar-like特征，这两类扩展的Haar-like特征用以描述车牌的水平边框；
扩展的Haar-like特征(c)：在车牌左侧1/12和右侧1/12范围内包含如下的垂直边缘：第一个扩展的Haar-like特征为垂直方向的边缘特征，扩展的Haar-like特征模板共包含两个矩形，白色矩形宽度∶黑白线条色矩形宽度＝1∶1；第二个扩展的Haar-like特征为垂直方向的线特征，扩展的Haar-like特征模板共包含三个矩形，白色矩形宽度:黑白线条色矩形宽度:白色矩形宽度＝1∶1∶1；在车牌左侧1/12和右侧1/12范围内，第一个扩展的Haar-like特征模板中单个矩形的宽度的变化范围为[1，2]，高度变化范围为[1，20]，第二个扩展的Haar-like特征模板中单个矩形的宽度为1，高度变化范围为[1，20]，在该范围内不断移动每一个扩展的Haar-like特征模板，每一种形态称为一个扩展的Haar-like特征，这两类扩展的Haar-like特征用以描述车牌的垂直边框；
扩展的Haar-like特征(d)：车牌第二个字符与第三个字符距离比其他任意两个相邻字符距离远，中间包含一个白色圆形的分割点，利用这个特点，设计了两个扩展的Haar-like特征，两个特征为垂直方向的边缘特征，第一个扩展的Haar-like特征模板的宽度和高度固定，包含两个矩形，白色矩形宽度:黑白线条色矩形宽度＝1:1，左侧矩形包含前两个字符，右侧矩形包含分隔点、第三个字符与部分字符后的间隙，高度为字符区域的高度，第二个扩展的Haar-like特征模板的宽度和高度固定，包含两个矩形，白色矩形宽度∶黑白线条色矩形宽度＝1∶1，左侧矩形包含分隔点、第三个字符与部分字符后的间隙，右侧矩形包含第四个字符与第五个字符，高度为字符区域的高度，这两类扩展的Haar-like特征用以描述车牌字符区域的第二个字符与第三个字符的较大间隔；
扩展的Haar-like特征(e)：车牌的7个字符宽度相等，除了第二个字符与第三个字符间距较大以外，其余相邻字符间距相等，利用这一特点，设计垂直方向的边缘特征，扩展的Haar-like特征模板的宽度和高度固定，包含两个矩形，白色矩形宽度:黑白线条色矩形宽度＝1:1，单个矩形宽度为单个字符宽度与1/2字符间距之和，高度为字符区域的高度，在整个字符区域，从左到右扫描得到所有的扩展的Haar-like特征，该扩展的Haar-like特征描述的是字符区域的字符与字符之间的变化扩展的Haar-like特征；
扩展的Haar-like特征(f)：对于整个字符区域，由于字符上下两部分结构基本类似，利用这一特点，设计水平方向的边缘特征，扩展的Haar-like特征模板的宽度变化范围为[8，54]，高度固定，包含两个矩形，白色矩形高度∶黑白线条色矩形高度＝1∶1，单个矩形高度为1/2的字符高度，初始宽度为单个字符宽度，该单个字符宽度为8，在整个字符区域进行扫描，扫描结束后将矩形宽度加1，高度不变，继续扫描，直至矩形宽度增加至等于字符区域的宽度时停止，字符区域的宽度为54，记录所有的扩展的Haar-like特征，该扩展的Haar-like特征利用的是字符的相似的上下结构；
扩展的Haar-like特征(g)：对于整个字符区域，由于每个字符宽度相等，字符之间有间隙，设计垂直方向的线特征，扩展的Haar-like特征模板的宽度和高度固定，包含三个矩形，白色矩形宽度:黑白线条色矩形宽度∶白色矩形宽度＝1∶3∶1，左侧矩形为字符的左侧间距，中间矩形为单个字符，右侧矩形为字符的右侧间距，高度为字符区域的高度，在整个字符区域进行横向扫描，记录所有扩展的Haar-like特征，该扩展的Haar-like特征描述的是字符与字符间隙的变化扩展的Haar-like特征；
以上7种扩展的Haar-like特征主要分为整体扩展的Haar-like特征和局部扩展的Haar-like特征两大类，扩展的Haar-like特征(a)为整体扩展的Haar-like特征，扩展的Haar-like特征(b)到(g)为局部扩展的Haar-like特征，其中，扩展的Haar-like特征(b)和(c)为边缘区域扩展的Haar-like特征，扩展的Haar-like特征(d)到(g)为字符区域扩展的Haar-like特征；
实际训练中采用64×20像素大小的车牌，车牌区域为整幅车牌，边缘区域包括四个区域，即车牌顶部1/4范围内、底部1/4范围内、左侧1/12范围内和右侧1/12范围内，字符区域为车牌的顶部1/4到底部1/4之间以及左侧1/12到右侧1/12之间的范围，扩展的Haar-like特征模板内有白色矩形和黑白线条色矩形两种，在显著因子图上，每一种扩展的Haar-like特征都是黑白线条矩形填充区域的像素值之和与白色矩形填充区域的像素值之和的差值，而计算出来的这个差值就是提取扩展的Haar-like特征的特征值；
(2)训练Adaboost分类器：
利用OpenCV2.0进行分类器的训练，将OpenCV 2.0中的haartraining特征提取部分替换成上述(1)步中提取到的扩展的Haar-like特征，生成可执行文件opencv_haartraining.exe，参数nstages设置为12，即预设的强分类器级数为13，设置参数nonsym，代表提取的扩展的Haar-like特征为非垂直对称的，参数minhitrate设置为0.999，即每级强分类器的最小命中率，参数maxfalsealarm设置为0.5，即每级强分类器的最大误检率，将第三步提取到的车牌正样本和场景负样本的显著因子图输入上述Adaboost分类器进行训练，对于分类器的训练，首先训练弱分类器，然后把这些弱分类器级联起来，形成第0层强分类器，然后训练第1层强分类器，直至完成了第12层强分类器的训练，将第0层至第12层的强分类器级联起来构成一个更强的最终分类器，即最终的强分类器；
(3)提取候选车牌：
利用上述步骤(2)得到的基于扩展的Haar-like特征的Adaboost分类器对第三步中提取的车辆区域的显著因子图用多尺度的矩形滑动窗口进行全局扫描，滑动窗口的初始大小为64×20像素，多尺度比例系数设置为1.1，即滑动窗口依次扩大10％，当滑动窗口大于被扫描的图像时停止扫描，当分析的滑动窗口全部通过Adaboost分类器每一层时返回正值，即得到了一个候选车牌；移动矩形滑动窗口，直至完成整幅图片的扫描，提取到所有的候选车牌；
第五步，从候选车牌中确定真车牌位置：
(1)利用连通域个数进行候选车牌筛选：
对上述第四步中提取的每一个候选车牌，利用最大类间方差OTSU法确定二值化阈值，进行二值化操作得到二值化的候选车牌，扫描所有二值化的候选车牌，对连通域搜索并标记，根据连通域的个数进行筛选，保留4≤连通域个数≤10范围内的候选车牌，根据保留的候选车牌的连通域个数设置参数A；若连通域个数为7和8，则该候选车牌最可能为真车牌，参数A设为0.5；若连通域个数为6，该候选车牌为真车牌的概率较低，此时参数A设为0.6；其余情况为真车牌的概率最低，此时参数A设为0.7；
(2)根据连通域的平均宽度以及高度方差进行候选车牌筛选：
根据上述步(1)中的连通域计算平均宽度Avg_width以及高度方差Variance_height，并根据这两个参数进行候选车牌筛选，若候选车牌连通域的Avg_width>8像素并且Variance_height<40像素则保留该候选车牌，否则淘汰；
(3)对二值化的候选车牌进行精细搜索：
为便于边缘密度的提取，去除边缘冗余区域，对经过步骤(1)和步骤(2)筛选过的二值化候选车牌进行精细搜索，从候选车牌的上下左右四个方向进行扫描确定边缘，扫描到的第一个灰度值为255的像素即为边缘，如此方法确定四个边缘，得到精确定位的二值化候选车牌；
(4)计算边缘密度方差：
对上述步(3)得到的精确定位的二值化候选车牌求垂直边缘，并将边缘图像平均分成2行4列的8个图像块，若第i块的非零边缘像素的个数为ni，块内像素总数为Ni，则第i块的边缘密度定义为ni/Ni，统计8个图像块的边缘密度，然后计算这8个图像块的边缘密度值的方差，该边缘密度方差的值即为参数B的值；
(5)根据参数A和参数B得到真车牌：
当只有一个候选车牌时，则该候选车牌为真车牌，对该车牌利用矩形框进行标记，记录矩形框的位置、大小以及对应的车辆；当候选车牌多于一个，对于每个候选车牌，上述步骤(1)的参数A越小代表此候选车牌为真车牌的概率越大，上述步骤(4)的参数B越小，即边缘密度方差越小，说明该候选车牌边缘分布越均匀，为真车牌的概率也越大，所以求参数A和参数B的和，并对所有候选车牌的参数之和进行排序，参数A和参数B之和最小的候选车牌即为真车牌并对其利用矩形框进行标记，记录矩形框的位置、大小以及对应的车辆；
第六步，将标记的车牌从对应的车辆区域原图中分割出来：
当上述第二步中最终只得到一个车辆区域时，对第五步中标记的车牌，根据标记的矩形框的位置以及大小将标记的车牌从对应的车辆区域原图中分割出来；当第二步中最终得到了两个或三个车辆区域时，则重复第三步到第五步，直至将所有车辆区域的车牌均利用矩形框进行标记，然后将标记的所有车牌从对应的车辆区域原图中分割出来，得到一个车牌序列；
第七步，利用结构特征进行字符分割：
(1)连通域标记及粗筛选：
对第六步分割出的标记的车牌利用最大类间方差OTSU法进行二值化操作，对二值化的车牌图像进行连通域标记，然后再对二值化的车牌图像进行扫描，记录每个连通域的上下左右边缘位置、宽度、高度、中心和标记值，对上述所有连通域进行粗筛选，由于字符高度是相同的，宽度除了字符“1”之外也是相同的，上述记录中，宽度大于车牌区域1/7的连通域，即为边框的区域，记录中小于平均高度1/3的连通域，即为分隔圆点、噪点、铆钉区域，将这些连通域中灰度值为255的像素值置为0，在二值化的车牌图像中即删除了这些可能为非字符的连通域；
(2)连通域精细筛选：
保留高度最相似的不多于7个连通域，对获得的连通域根据左侧边缘位置从左到右排序，利用连通域的高度计算每个连通域与其他连通域的高度差，得到一个距离矩阵，对距离矩阵内的距离由小到大进行排序，获得距离最近的不多于6个的距离平均值并进行记录，依次对每个连通域进行上述处理，获得所有连通域与距离最近的不多于6个的距离平均值，然后将最小平均距离对应的连通域视为基础连通域，将与其距离最相近的不多于6个的连通域视为衍生连通域，将基础连通域与衍生连通域作为高度最相似的连通域，即得到了高度最相似的最多7个连通域，对经过筛选后剩余的连通域，分别计算一个连通域与另一个连通域的上、下边距，取上、下边距的绝对值较大者记作该两个连通域的高度差，求该连通域与其他连通域的高度差的和，去除高度差的和大于30像素的连通域，则去除了位置差异较大的连通域；
(3)补充缺失字符：
对保留下的连通域进行进一步判断，判断是否存在缺失字符，若字符个数小于7，则存在缺失字符，根据字符的位置与结构特征对缺失字符进行补充；
(4)字符分割：
当上述第六步为一个车牌时，则根据连通域的位置以及大小对得到的7个字符进行分割，得到7张二值化的字符图片，完成一个车牌的字符分割；当第六步得到了一个车牌序列，则对每个车牌重复上述步(1)到(3)，完成多车牌的字符分割；
第八步，基于改进的模板匹配方法的字符识别：
(1)建立字符模板库：
创建标准字符模板库；对标准字符模板库中的非汉字字符进行膨胀操作，得到模糊字符模板库；
(2)模糊字符处理以及模板匹配：
将上述第七步(4)字符分割中分割得到的7张二值化的字符图片的尺寸归一化到24×48像素，对车牌的首字符，即汉字，求Canny边缘，根据边缘图像中汉字中心区域非零像素的数量来判断车牌的模糊程度：
若边缘像素个数≥10，认为车牌字符模糊度低，将所有字符与标准模板进行匹配；
若边缘像素个数<10，认为车牌字符模糊度高，将非汉字字符与模糊的模板进行模板匹配，汉字字符与标准模板进行匹配；
根据上述原则对每个字符都进行字符模板匹配，直至完成7个字符的匹配；判断匹配结果中是否包含相似字符“0”和“D”，“8”和“B”，“2”和“Z”，若包含则继续进行下面的步骤(3)，若不包含则记录识别结果以及对应的车牌；
(3)相似字符处理：
对于相似字符，提取图像左侧的外轮廓，将外轮廓像素点作为特征点集，利用Hausdorff距离分别计算待识别的相似字符与两个相似的字符模板的特征点集之间的距离，距离最近的那个模板即为二次识别结果；重复上述过程，直至所有的相似字符完成二次识别，记录识别结果以及对应的车牌；
(4)输出识别结果：
当只有一个候选车牌时，则输出识别结果；当候选车牌多于一个时，则重复上述步骤(2)和(3)，并输出多车牌的识别结果。
实施例2
除第二步的(3)车辆区域分割中：首先进行垂直投影，得到2个垂直投影区域，在投影的区域内进行水平投影，记录投影边缘，最终得到2个车辆区域之外，其他同实施例1。实施例3
除第二步的(3)车辆区域分割中：首先进行垂直投影，得到3个垂直投影区域，在投影的区域内进行水平投影，记录投影边缘，最终得到3个车辆区域之外，其他同实施例1。
上述实施例一种车牌识别方法，所述的宽度和高度的单位为像素。
上述实施例一种车牌识别方法，只适用于中国(大陆)的蓝色车牌。
上述实施例的一种车牌识别方法均利用VS2005开发平台和OpenCV2.0库实现，处理器采用AMD A8-7100，4G内存，实验样本库可分为多种场景，包括晴朗白天、晴朗夜间、弱光照、雨天、雾霾天气、强光照，车辆图片来自道路卡口和门禁系统，包含了不同省份的车牌，实验样本库共包含1000副车牌，分辨率包括4种，大小包括1600×1200像素，1920×1080像素、2048×1680像素和1628×1236像素，其中35张实验图片包含多车牌，而且车牌距离摄像机的距离远近不同。本实施例的训练样本中车牌正样本为4000幅，负样本为20000幅，包含截取自道路、树木、车身不同尺寸的图片。为了对本实施例的方法进行有效的评估，本实施例的实验对包含1000副车牌的964幅图像进行定位，这些图像按不同场景的分辨率分为晴朗白天、晴朗夜间、弱光照、复杂天气。定位方法的平均的查全率为95.40％，查准率为98.66％，漏检率为4.60％，误检率为1.34％，表1列出了晴朗白天、晴朗夜间、弱光照、复杂天气四种不同场景下的车牌定位结果，并将每个场景的定位结果分别和颜色+纹理方法、灰度图上基于原始Haar特征提取的Adaboost分类器方法进行比较。
对于车牌字符分割与识别，本实施例从四种场景的1000张图片中按比例随机选取了100副车牌作为测试样本集，表2列出了本实施例的分割方法与投影法的分割结果，其中车牌包含晴朗白天30副、晴朗夜间30副、弱光照25副、复杂天气15副，保证了实验结果的普适性。表3列出了本实施例的识别方法与原始模板匹配法的识别结果。
表1.不同方法在不同场景下的车牌定位结果
表2.不同方法的车牌字符分割结果
表3.不同方法的车牌字符识别结果
结果表明，在本实施例的一种车牌识别方法中，综合查全率与查准率，车牌定位方法在多种场景下对多车牌的定位结果优于颜色+纹理方法以及原始的基于haar特征的Adaboost分类器方法，尤其是对弱光照以及复杂天气的定位准确率明显高于两种对比方法。由于受到污损与倾斜因素的影响，本实施例中采用的字符分割方法对比投影法更加有优势。字符分割的优劣直接影响着字符识别的准确性，本实施例中的字符识别方法是改进的模板匹配，主要是在模糊字符和相似字符上的识别上有优势，准确率比原始模板匹配法提升1％。
本实施例中，所述Adaboost分类器是公知的，所涉及的设备是本技术领域熟知并可通过商购途径获得的，所述的宽度和高度的单位为像素。
本实施例只针对中国(大陆)的蓝色车牌。
Claims (2)
1.一种车牌识别方法，其特征在于包括下述步骤：
第一步，图像预处理：
读入摄像机采集到的原始的彩色道路交通图像，建立Adaboost分类器的训练数据集，其中包括手动截取的4000张不同场景下的车牌正样本彩色图，以及截取的包括道路、树木和车身的20000张不同尺寸的场景负样本彩色图，对该数据集中的所有样本彩色图进行预处理，将车牌正样本彩色图大小归一化到64×20像素，不对场景负样本彩色图进行归一化处理，但保证场景负样本彩色图的尺寸大于车牌正样本彩色图；
第二步，根据颜色和纹理特征分割车辆区域：
(1)提取颜色特征图：
将第一步读入的原始的彩色道路交通图像由RGB颜色空间转换到HSV颜色空间，其中H代表色调，S代表饱和度，V代表亮度，扫描整幅图像，根据H分量和S分量利用公式(1)对图像进行二值化，提取颜色特征图C(i，j)：
其中C(i，j)为得到的颜色特征图，其保留了原始图像中包含车牌在内的蓝色的部分；
(2)提取纹理特征图：
将第一步读入的原始的彩色道路交通图像，由RGB颜色空间转换到灰度空间，采用的方法如公式(2)，其中F(i，j)为得到的灰度图像，采用公式(3)、(4)计算纹理特征：
F(i，j)＝0.299×R+0.587×G+0.114×B (2)，
G(i，j)＝|F(i，j)-F(i-1，j)|+|F(i，j)-F(i+1，j)| (3)，
其中G(i，j)代表输出的纹理特征的灰度图，Avg_value为纹理特征灰度图G(i，j)的平均灰度，利用公式(4)得到二值化的阈值，T(i，j)为获得的纹理特征图；
(3)车辆区域分割：
将上述步骤“(1)提取颜色特征图”得到的颜色特征图C(i，j)和步骤(2)得到的纹理特征图T(i，j)进行“与”操作，得到颜色纹理特征图，利用形态学“闭运算”填充该颜色纹理特征图的细小孔洞，进而对该颜色纹理特征图进行投影操作，首先进行垂直投影，得到1～3个垂直投影区域，在投影的区域内进行水平投影，记录投影边缘，最终得到1～3个车辆区域，将所得到车辆区域从原始的彩色道路交通图像中分割出来，得到彩色车辆区域图；
第三步，提取车辆区域图的显著因子图：
对第一步预处理后的Adaboost分类器的训练数据集提取车牌正样本彩色图和场景负样本彩色图的显著因子图，并提取第二步的步骤(3)得到的彩色车辆区域图的显著因子图，具体操作如下：
将第一步中采集的车牌正样本彩色图和场景负样本彩色图以及第二步的步骤(3)得到的彩色车辆区域图从RGB颜色空间转换到灰度空间，扫描整幅灰度图片，将当前像素作为中心像素，显著因子定义为N×N邻域的各像素值与中心像素值F(i，j)的差的总和与中心像素值的比值，利用反正切函数将比值归一化到(-π/2，π/2)，显著因子的计算过程如公式(5)所示：
<mrow>
<mi>S</mi>
<mi>a</mi>
<mi>l</mi>
<mrow>
<mo>(</mo>
<mi>F</mi>
<mo>(</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>arctan</mi>
<mo>{</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>/</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>/</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>/</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>/</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
</munderover>
<mo>&lsqb;</mo>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>+</mo>
<mi>x</mi>
<mo>,</mo>
<mi>j</mi>
<mo>+</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>/</mo>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>}</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
式中，arctan为反正切函数，Sal(F(i，j))即为当前像素F(i，j)的显著因子，其取值范围为(-π/2，π/2)，对待处理的彩色车辆区域图中每个像素都利用上述显著因子提取方法进行显著因子的提取，获得该彩色车辆区域图的显著因子图；上述N×N中的N＝3，所述公式(5)式中，当前像素F(i，j)的显著因子Sal(F(i，j))划分为七个取值范围：(-π/2，-1.25]，(-1.25，-0.75]，(-0.75，-0.25]，(-0.25，0.25]，(0.25，0.75]，(0.75，1.25]，(1.25，π/2)，每个取值范围映射到灰度图上一个灰度值，将上述七个显著因子取值范围对应的灰度值设定为：0，0，0，120，160，200，255；
第四步，利用基于扩展的Haar-like特征的Adaboost分类器提取候选车牌：
(1)提取扩展的Haar-like特征：
对第三步中得到的显著因子图提取扩展的Haar-like特征，就蓝色车牌而言，车牌字符个数固定，每个字符的位置也是固定的，不同车牌的相同字符区域的字符不尽相同，而且车牌具有明显的边框，第二个字符与第三个字符间隔比其余字符间隔大，根据以上的特点，设计如下的(a)～(g)7种扩展的Haar-like特征，并且设计的扩展的Haar-like特征模板内有白色矩形填充区域和黑白线条色矩形填充区域两种矩形；
扩展的Haar-like特征(a)：对于整个车牌区域，扩展的Haar-like特征为水平方向的线特征，扩展的Haar-like特征模板的宽度和高度固定，扩展的Haar-like特征模板的高度为车牌的高度，扩展的Haar-like特征模板的宽度为车牌的宽度，共包含三个矩形，白色矩形高度∶黑白线条色矩形高度∶白色矩形高度＝1∶2∶1，用以描述车牌的整体的扩展的Haar-like特征，即字符区域与边缘区域的变化的扩展的Haar-like特征；
扩展的Haar-like特征(b)：在车牌顶部1/4和底部1/4范围内包含如下的水平边缘信息：第一个扩展的Haar-like特征为水平方向的边缘特征，扩展的Haar-like特征模板共包含两个矩形，白色矩形高度∶黑白线条色矩形高度＝1∶1；第二个扩展的Haar-like特征为水平方向的线特征，扩展的Haar-like特征模板共包含三个矩形，白色矩形高度∶黑白线条色矩形高度∶白色矩形高度＝1∶1∶1；在车牌顶部1/4和底部1/4范围内，第一个扩展的Haar-like特征模板中单个矩形的宽度变化范围为[1，64]，高度变化范围为[1，2]，第二个扩展的Haar-like特征模板中单个矩形的宽度变化范围为[1，64]，高度为1，在该范围内不断移动每一个扩展的Haar-like特征模板，每一种形态称为一个扩展的Haar-like特征，这两类扩展的Haar-like特征用以描述车牌的水平边框；
扩展的Haar-like特征(c)：在车牌左侧1/12和右侧1/12范围内包含如下的垂直边缘：第一个扩展的Haar-like特征为垂直方向的边缘特征，扩展的Haar-like特征模板共包含两个矩形，白色矩形宽度∶黑白线条色矩形宽度＝1∶1；第二个扩展的Haar-like特征为垂直方向的线特征，扩展的Haar-like特征模板共包含三个矩形，白色矩形宽度∶黑白线条色矩形宽度∶白色矩形宽度＝1∶1∶1；在车牌左侧1/12和右侧1/12范围内，第一个扩展的Haar-like特征模板中单个矩形的宽度的变化范围为[1，2]，高度变化范围为[1，20]，第二个扩展的Haar-like特征模板中单个矩形的宽度为1，高度变化范围为[1，20]，在该范围内不断移动每一个扩展的Haar-like特征模板，每一种形态称为一个扩展的Haar-like特征，这两类扩展的Haar-like特征用以描述车牌的垂直边框；
扩展的Haar-like特征(d)：车牌第二个字符与第三个字符距离比其他任意两个相邻字符距离远，中间包含一个白色圆形的分割点，利用这个特点，设计了两个扩展的Haar-like特征，两个特征为垂直方向的边缘特征，第一个扩展的Haar-like特征模板的宽度和高度固定，包含两个矩形，白色矩形宽度∶黑白线条色矩形宽度＝1∶1，左侧矩形包含前两个字符，右侧矩形包含分隔点、第三个字符与部分字符后的间隙，高度为字符区域的高度，第二个扩展的Haar-like特征模板的宽度和高度固定，包含两个矩形，白色矩形宽度∶黑白线条色矩形宽度＝1∶1，左侧矩形包含分隔点、第三个字符与部分字符后的间隙，右侧矩形包含第四个字符与第五个字符，高度为字符区域的高度，这两类扩展的Haar-like特征用以描述车牌字符区域的第二个字符与第三个字符的较大间隔；
扩展的Haar-like特征(e)：车牌的7个字符宽度相等，除了第二个字符与第三个字符间距较大以外，其余相邻字符间距相等，利用这一特点，设计垂直方向的边缘特征，扩展的Haar-like特征模板的宽度和高度固定，包含两个矩形，白色矩形宽度∶黑白线条色矩形宽度＝1∶1，单个矩形宽度为单个字符宽度与1/2字符间距之和，高度为字符区域的高度，在整个字符区域，从左到右扫描得到所有的扩展的Haar-like特征，该扩展的Haar-like特征描述的是字符区域的字符与字符之间的变化扩展的Haar-like特征；
扩展的Haar-like特征(f)：对于整个字符区域，由于字符上下两部分结构基本类似，利用这一特点，设计水平方向的边缘特征，扩展的Haar-like特征模板的宽度变化范围为[8，54]，高度固定，包含两个矩形，白色矩形高度∶黑白线条色矩形高度＝1∶1，单个矩形高度为1/2的字符高度，初始宽度为单个字符宽度，在整个字符区域进行扫描，扫描结束后将矩形宽度加1，高度不变，继续扫描，直至矩形宽度增加至等于字符区域的宽度时停止，记录所有的扩展的Haar-like特征，该扩展的Haar-like特征利用的是字符的相似的上下结构；
扩展的Haar-like特征(g)：对于整个字符区域，由于每个字符宽度相等，字符之间有间隙，设计垂直方向的线特征，扩展的Haar-like特征模板的宽度和高度固定，包含三个矩形，白色矩形宽度∶黑白线条色矩形宽度∶白色矩形宽度＝1∶3∶1，左侧矩形为字符的左侧间距，中间矩形为单个字符，右侧矩形为字符的右侧间距，高度为字符区域的高度，在整个字符区域进行横向扫描，记录所有扩展的Haar-like特征，该扩展的Haar-like特征描述的是字符与字符间隙的变化扩展的Haar-like特征；
以上7种扩展的Haar-like特征主要分为整体扩展的Haar-like特征和局部扩展的Haar-like特征两大类，扩展的Haar-like特征(a)为整体扩展的Haar-like特征，扩展的Haar-like特征(b)到(g)为局部扩展的Haar-like特征，其中，扩展的Haar-like特征(b)和(c)为边缘区域扩展的Haar-like特征，扩展的Haar-like特征(d)到(g)为字符区域扩展的Haar-like特征；
实际训练中采用64×20像素大小的车牌，车牌区域为整幅车牌，边缘区域包括四个区域，即车牌顶部1/4范围内、底部1/4范围内、左侧1/12范围内和右侧1/12范围内，字符区域为车牌的顶部1/4到底部1/4之间以及左侧1/12到右侧1/12之间的范围，扩展的Haar-like特征模板内有白色矩形和黑白线条色矩形两种，在显著因子图上，每一种扩展的Haar-like特征都是黑白线条矩形填充区域的像素值之和与白色矩形填充区域的像素值之和的差值，而计算出来的这个差值就是提取扩展的Haar-like特征的特征值；
(2)训练Adaboost分类器：
利用OpenCV2.0进行分类器的训练，将OpenCV 2.0中的haartraining特征提取部分替换成上述步骤“(1)提取扩展的Haar-like特征”中提取到的扩展的Haar-like特征，生成可执行文件opencv_haartraining.exe，参数nstages设置为12，即预设的强分类器级数为13，设置参数nonsym，代表提取的扩展的Haar-like特征为非垂直对称的，参数minhitrate设置为0.999，即每级强分类器的最小命中率，参数maxfalsealarm设置为0.5，即每级强分类器的最大误检率，将第三步提取到的车牌正样本和场景负样本的显著因子图输入上述Adaboost分类器进行训练，对于分类器的训练，首先训练弱分类器，然后把这些弱分类器级联起来，形成第0层强分类器，然后训练第1层强分类器，直至完成了第12层强分类器的训练，将第0层至第12层的强分类器级联起来构成一个更强的最终分类器，即最终的强分类器；
(3)提取候选车牌：
利用上述步骤“(2)训练Adaboost分类器”得到的基于扩展的Haar-like特征的Adaboost分类器对第三步中提取的车辆区域的显著因子图用多尺度的矩形滑动窗口进行全局扫描，滑动窗口的初始大小为64×20像素，多尺度比例系数设置为1.1，即滑动窗口依次扩大10％，当滑动窗口大于被扫描的图像时停止扫描，当分析的滑动窗口全部通过Adaboost分类器每一层时返回正值，即得到了一个候选车牌；移动矩形滑动窗口，直至完成整幅图片的扫描，提取到所有的候选车牌；
第五步，从候选车牌中确定真车牌位置：
(1)利用连通域个数进行候选车牌筛选：
对上述第四步中提取的每一个候选车牌，利用最大类间方差OTSU法确定二值化阈值，进行二值化操作得到二值化的候选车牌，扫描所有二值化的候选车牌，对连通域搜索并标记，根据连通域的个数进行筛选，保留4≤连通域个数≤10范围内的候选车牌，根据保留的候选车牌的连通域个数设置参数A；若连通域个数为7和8，则该候选车牌最可能为真车牌，参数A设为0.5；若连通域个数为6，该候选车牌为真车牌的概率较低，此时参数A设为0.6；其余情况为真车牌的概率最低，此时参数A设为0.7；
(2)根据连通域的平均宽度以及高度方差进行候选车牌筛选：
根据上述步骤“(1)利用连通域个数进行候选车牌筛选”中的连通域计算平均宽度Avg_width以及高度方差Variance_height，并根据这两个参数进行候选车牌筛选，若候选车牌连通域的Avg_width＞8像素并且Variance_height＜40像素则保留该候选车牌，否则淘汰；
(3)对二值化的候选车牌进行精细搜索：
对经过上述步骤“(1)利用连通域个数进行候选车牌筛选”和上述步骤“(2)根据连通域的平均宽度以及高度方差进行候选车牌筛选”筛选过的二值化候选车牌进行精细搜索，从候选车牌的上下左右四个方向进行扫描确定边缘，扫描到的第一个灰度值为255的像素即为边缘，如此方法确定四个边缘，得到精确定位的二值化候选车牌；
(4)计算边缘密度方差：
对上述步骤“(3)对二值化的候选车牌进行精细搜索”得到的精确定位的二值化候选车牌求垂直边缘，并将边缘图像平均分成2行4列的8个图像块，若第i块的非零边缘像素的个数为ni，块内像素总数为Ni，则第i块的边缘密度定义为ni/Ni，统计8个图像块的边缘密度，然后计算这8个图像块的边缘密度值的方差，该边缘密度方差的值即为参数B的值；
(5)根据参数A和参数B得到真车牌：
当只有一个候选车牌时，则该候选车牌为真车牌，对该车牌利用矩形框进行标记，记录矩形框的位置、大小以及对应的车辆；当候选车牌多于一个，对于每个候选车牌，上述步骤“(1)利用连通域个数进行候选车牌筛选”的参数A越小代表此候选车牌为真车牌的概率越大，上述步骤“(4)计算边缘密度方差”的参数B越小，即边缘密度方差越小，说明该候选车牌边缘分布越均匀，为真车牌的概率也越大，所以求参数A和参数B的和，并对所有候选车牌的参数之和进行排序，参数A和参数B之和最小的候选车牌即为真车牌并对其利用矩形框进行标记，记录矩形框的位置、大小以及对应的车辆；
第六步，将标记的车牌从对应的车辆区域原图中分割出来：
当上述第二步中最终只得到一个车辆区域时，对第五步中标记的车牌，根据标记的矩形框的位置以及大小将标记的车牌从对应的车辆区域原图中分割出来；当第二步中最终得到了两个或三个车辆区域时，则重复第三步到第五步，直至将所有车辆区域的车牌均利用矩形框进行标记，然后将标记的所有车牌从对应的车辆区域原图中分割出来，得到一个车牌序列；
第七步，利用结构特征进行字符分割：
(1)连通域标记及粗筛选：
对第六步分割出的标记的车牌利用最大类间方差OTSU法进行二值化操作，对二值化的车牌图像进行连通域标记，然后再对二值化的车牌图像进行扫描，记录每个连通域的上下左右边缘位置、宽度、高度、中心和标记值，对所有上述连通域进行粗筛选，由于字符高度是相同的，宽度除了字符“1”之外也是相同的，上述记录中，宽度大于车牌区域1/7的连通域，即为边框的区域，记录中小于平均高度1/3的连通域，即为分隔圆点、噪点、铆钉区域，将这些连通域中灰度值为255的像素值置为0，在二值化的车牌图像中即删除了这些可能为非字符的连通域；
(2)连通域精细筛选：
保留高度最相似的不多于7个连通域，对获得的连通域根据左侧边缘位置从左到右排序，利用连通域的高度计算每个连通域与其他连通域的高度差，得到一个距离矩阵，对距离矩阵内的距离由小到大进行排序，获得距离最近的不多于6个的距离平均值并进行记录，依次对每个连通域进行上述处理，获得所有连通域与距离最近的不多于6个的距离平均值，然后将最小平均距离对应的连通域视为基础连通域，将与其距离最相近的不多于6个的连通域视为衍生连通域，将基础连通域与衍生连通域作为高度最相似的连通域，即得到了高度最相似的最多7个连通域，对经过筛选后剩余的连通域，分别计算一个连通域与另一个连通域的上、下边距，取上、下边距的绝对值较大者记作该两个连通域的高度差，求该连通域与其他连通域的高度差的和，去除高度差的和大于30像素的连通域，则去除了位置差异较大的连通域；
(3)补充缺失字符：
对保留下的连通域进行进一步判断，判断是否存在缺失字符，若字符个数小于7，则存在缺失字符，根据字符的位置与结构特征对缺失字符进行补充；
(4)字符分割：
当上述第六步为一个车牌时，则根据连通域的位置以及大小对得到的7个字符进行分割，得到7张二值化的字符图片，完成一个车牌的字符分割；当第六步得到了一个车牌序列，则对每个车牌重复上述步骤“(1)连通域标记及粗筛选”到上述步骤“(3)补充缺失字符”，完成多车牌的字符分割；
第八步，基于改进的模板匹配方法的字符识别：
(1)建立字符模板库：
创建标准字符模板库；对标准字符模板库中的非汉字字符进行膨胀操作，得到模糊字符模板库；
(2)模糊字符处理以及模板匹配：
将上述第七步的步骤“(4)字符分割”字符分割中分割得到的7张二值化的字符图片的尺寸归一化到24×48像素，对车牌的首字符，即汉字，求Canny边缘，根据边缘图像中汉字中心区域非零像素的数量来判断车牌的模糊程度：
若边缘像素个数≥10，认为车牌字符模糊度低，将所有字符与标准模板进行匹配；
若边缘像素个数＜10，认为车牌字符模糊度高，将非汉字字符与模糊的模板进行模板匹配，汉字字符与标准模板进行匹配；
根据上述原则对每个字符都进行字符模板匹配，直至完成7个字符的匹配；判断匹配结果中是否包含相似字符“0”和“D”，“8”和“B”，“2”和“Z”，若包含则继续进行下面的步骤“(3)相似字符处理”，若不包含则记录识别结果以及对应的车牌；
(3)相似字符处理：
对于相似字符，提取图像左侧的外轮廓，将外轮廓像素点作为特征点集，利用Hausdorff距离分别计算待识别的相似字符与两个相似的字符模板的特征点集之间的距离，距离最近的那个模板即为二次识别结果；重复上述过程，直至所有的相似字符完成二次识别，记录识别结果以及对应的车牌；
(4)输出识别结果：
当只有一个候选车牌时，则输出识别结果；当候选车牌多于一个时，则重复上述步骤“(2)模糊字符处理以及模板匹配”和上述步骤“(3)相似字符处理”，并输出多车牌的识别结果；
其中，所述的宽度和高度的单位为像素。
2.根据权利要求1所述一种车牌识别方法，其特征在于：所述扩展的Haar-like特征(f)中的单个字符宽度为8，字符区域的宽度为54。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510937041.8A CN105373794B (zh) | 2015-12-14 | 2015-12-14 | 一种车牌识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510937041.8A CN105373794B (zh) | 2015-12-14 | 2015-12-14 | 一种车牌识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105373794A CN105373794A (zh) | 2016-03-02 |
| CN105373794B true CN105373794B (zh) | 2018-02-06 |
Family
ID=55375976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510937041.8A Expired - Fee Related CN105373794B (zh) | 2015-12-14 | 2015-12-14 | 一种车牌识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105373794B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109724530A (zh) * | 2019-01-28 | 2019-05-07 | 上海同岩土木工程科技股份有限公司 | 一种基于图像分析的隧道收敛变形在线监测方法 |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913093B (zh) * | 2016-05-03 | 2019-06-21 | 电子科技大学 | 一种用于文字识别处理的模板匹配方法 |
| CN106022336B (zh) * | 2016-05-17 | 2019-05-07 | 英飞拓(杭州)信息系统技术有限公司 | 一种基于高速公路抓拍图像的车牌检测方法 |
| CN106529520A (zh) * | 2016-10-09 | 2017-03-22 | 中国传媒大学 | 基于运动员号码识别的马拉松比赛照片管理方法 |
| CN106570501A (zh) * | 2016-10-26 | 2017-04-19 | 成都君晟科技有限公司 | 一种仪表面板字符自动识别方法 |
| CN106548155A (zh) * | 2016-10-28 | 2017-03-29 | 安徽四创电子股份有限公司 | 一种基于深度信念网络的车牌检测方法 |
| CN106529532A (zh) * | 2016-11-07 | 2017-03-22 | 湖南源信光电科技有限公司 | 一种基于积分特征通道与灰度投影的车牌识别系统 |
| CN106778741B (zh) * | 2016-12-08 | 2018-06-29 | 中国人民解放军国防科学技术大学 | 一种基于手持终端拍摄的复杂背景图像中的车牌定位方法 |
| CN106650752B (zh) * | 2016-12-09 | 2019-04-30 | 浙江浩腾电子科技股份有限公司 | 一种车身颜色识别方法 |
| CN108229466B (zh) * | 2016-12-15 | 2020-12-11 | 杭州海康威视数字技术股份有限公司 | 一种车牌识别方法及装置 |
| CN106780535A (zh) * | 2016-12-21 | 2017-05-31 | 潘小胜 | 一种灰度图像处理方法 |
| CN108268867B (zh) | 2016-12-30 | 2020-10-30 | 杭州海康威视数字技术股份有限公司 | 一种车牌定位方法及装置 |
| CN108268865A (zh) * | 2016-12-30 | 2018-07-10 | 航天信息股份有限公司 | 一种基于级联卷积网络的自然场景下车牌识别方法及系统 |
| CN106650741A (zh) * | 2016-12-30 | 2017-05-10 | 深圳市捷顺科技实业股份有限公司 | 一种车牌字符识别方法及装置 |
| CN106781685A (zh) * | 2017-03-06 | 2017-05-31 | 苏州悦驻智能科技有限公司 | 一种基于室内停车场管理机器人的城市智能停车系统 |
| CN107016417A (zh) * | 2017-03-28 | 2017-08-04 | 青岛伟东云教育集团有限公司 | 一种字符识别的方法及装置 |
| CN107122732B (zh) * | 2017-04-25 | 2019-12-31 | 福州大学 | 一种监控场景下高鲁棒性的快速车牌定位方法 |
| CN107578042B (zh) * | 2017-05-08 | 2020-04-10 | 浙江工业大学 | 一种基于r通道水平邻域方差计算的车牌定位方法 |
| CN107240185B (zh) * | 2017-06-23 | 2019-09-20 | 深圳怡化电脑股份有限公司 | 一种冠字号识别方法、装置、设备及存储介质 |
| CN107451589A (zh) * | 2017-07-07 | 2017-12-08 | 南京邮电大学 | 一种基于改进的ostu算法的夜间车牌二值化的方法 |
| CN107194385A (zh) * | 2017-07-17 | 2017-09-22 | 陈剑桃 | 一种智能车牌识别系统 |
| CN107204055A (zh) * | 2017-07-25 | 2017-09-26 | 成都大学 | 一种智能联网行车记录仪 |
| CN107742284B (zh) * | 2017-09-19 | 2020-08-18 | 浙江农林大学 | 一种剔除心肌细胞图像冗余层级结构信息的方法及系统 |
| CN107844769B (zh) * | 2017-11-01 | 2021-06-01 | 浪潮集团有限公司 | 一种复杂场景下的车辆检测方法及系统 |
| CN107832762A (zh) * | 2017-11-06 | 2018-03-23 | 广西科技大学 | 一种基于多特征融合的车牌定位与识别方法 |
| CN110569836B (zh) * | 2018-06-06 | 2022-07-12 | 赛灵思电子科技(北京)有限公司 | 一种可变长字符串识别方法与装置 |
| CN108921828B (zh) * | 2018-06-15 | 2022-04-22 | 湖南科技大学 | 一种复杂场景下不显著焊缝识别方法 |
| CN109145901B (zh) * | 2018-08-14 | 2023-04-21 | 腾讯科技（深圳）有限公司 | 物品识别方法、装置、计算机可读存储介质和计算机设备 |
| CN109359531B (zh) * | 2018-09-12 | 2021-12-14 | 仲恺农业工程学院 | 一种面向自然场景的果实采收区域自动定位方法 |
| CN109325497A (zh) * | 2018-09-20 | 2019-02-12 | 珠海市君天电子科技有限公司 | 一种图像二值化方法、装置、电子设备及存储介质 |
| CN109492642B (zh) * | 2018-09-25 | 2023-11-24 | 平安科技（深圳）有限公司 | 车牌识别方法、装置、计算机设备及存储介质 |
| CN110188693B (zh) * | 2019-05-30 | 2023-04-07 | 重庆大学 | 改进的复杂环境车辆特征提取和停车判别方法 |
| CN110232381B (zh) * | 2019-06-19 | 2023-06-20 | 梧州学院 | 车牌分割方法、装置、计算机设备及计算机可读存储介质 |
| CN110516666B (zh) * | 2019-07-10 | 2023-01-17 | 西安电子科技大学 | 基于mser和isodata相结合的车牌定位方法 |
| CN110717057A (zh) * | 2019-09-04 | 2020-01-21 | 杭州憶盛医疗科技有限公司 | 一种数字病理全切片图像检索方法 |
| CN110689057B (zh) * | 2019-09-11 | 2022-07-15 | 哈尔滨工程大学 | 基于图像分割的降低神经网络训练样本量的方法 |
| US20230009564A1 (en) * | 2019-12-05 | 2023-01-12 | Canaan Bright Sight Co., Ltd | Character segmentation method and apparatus, and computer-readable storage medium |
| CN111199228B (zh) * | 2019-12-26 | 2023-03-28 | 深圳市芊熠智能硬件有限公司 | 一种车牌定位的方法及装置 |
| CN111461128A (zh) * | 2020-03-31 | 2020-07-28 | 北京爱笔科技有限公司 | 一种车牌的识别方法及装置 |
| CN111222503B (zh) * | 2020-04-16 | 2020-09-08 | 湖南师范大学 | 一种古琴减字谱指法的手写谱字识别方法 |
| CN111652222A (zh) * | 2020-07-13 | 2020-09-11 | 深圳市智搜信息技术有限公司 | 车牌定位方法与装置和计算机设备及存储介质 |
| CN111860521B (zh) * | 2020-07-21 | 2022-04-22 | 西安交通大学 | 一种畸变喷码字符逐层分割的方法 |
| CN112488097B (zh) * | 2020-10-30 | 2021-07-27 | 南京云牛智能科技有限公司 | 一种车牌识别中的缺失字符补全方法 |
| CN113095327B (zh) * | 2021-03-16 | 2022-10-14 | 深圳市雄帝科技股份有限公司 | 光学字符识别区域的定位方法、系统及其存储介质 |
| CN113516193B (zh) * | 2021-07-19 | 2024-03-01 | 中国农业大学 | 基于图像处理的红枣缺陷识别分类方法及装置 |
| CN117351438A (zh) * | 2023-10-24 | 2024-01-05 | 武汉无线飞翔科技有限公司 | 一种基于图像识别的车辆实时位置跟踪方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6553131B1 (en) * | 1999-09-15 | 2003-04-22 | Siemens Corporate Research, Inc. | License plate recognition with an intelligent camera |
| CN101937508A (zh) * | 2010-09-30 | 2011-01-05 | 湖南大学 | 一种基于高清图像的车牌定位与识别方法 |
| CN104715252A (zh) * | 2015-03-12 | 2015-06-17 | 电子科技大学 | 一种动态模板结合像素点的车牌字符分割方法 |
-
2015
- 2015-12-14 CN CN201510937041.8A patent/CN105373794B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6553131B1 (en) * | 1999-09-15 | 2003-04-22 | Siemens Corporate Research, Inc. | License plate recognition with an intelligent camera |
| CN101937508A (zh) * | 2010-09-30 | 2011-01-05 | 湖南大学 | 一种基于高清图像的车牌定位与识别方法 |
| CN104715252A (zh) * | 2015-03-12 | 2015-06-17 | 电子科技大学 | 一种动态模板结合像素点的车牌字符分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| Learning-Based License Plate Detection Using Global and Local Features;Huaifeng Zhang等;《The 18th International Conference on Pattern Recognition》;20060918;第1-4页 * |
| 嵌入式监控影像车牌识别方法;陈祖斌 等;《吉林大学学报(信息科学版)》;20150715;第33卷(第4期);第463-470页 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109724530A (zh) * | 2019-01-28 | 2019-05-07 | 上海同岩土木工程科技股份有限公司 | 一种基于图像分析的隧道收敛变形在线监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105373794A (zh) | 2016-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105373794B (zh) | 一种车牌识别方法 | |
| CN105046196B (zh) | 基于级联卷积神经网络的前车车辆信息结构化输出方法 | |
| Yu et al. | An approach to Korean license plate recognition based on vertical edge matching | |
| Roy et al. | License plate detection and character recognition system for commercial vehicles based on morphological approach and template matching | |
| Al-Ghaili et al. | Vertical-edge-based car-license-plate detection method | |
| CN101872416B (zh) | 对道路图像进行车牌识别的方法和系统 | |
| CN106683119B (zh) | 基于航拍视频图像的运动车辆检测方法 | |
| CN106529532A (zh) | 一种基于积分特征通道与灰度投影的车牌识别系统 | |
| Deb et al. | HSI color based vehicle license plate detection | |
| CN107180230B (zh) | 通用车牌识别方法 | |
| CN109886168B (zh) | 一种基于层阶的地面交通标志识别方法 | |
| CN108509950B (zh) | 基于概率特征加权融合的铁路接触网支柱号牌检测识别法 | |
| Guo et al. | Mixed vertical-and-horizontal-text traffic sign detection and recognition for street-level scene | |
| Antar et al. | Automatic number plate recognition of Saudi license car plates | |
| CN115424217A (zh) | 基于ai视觉的车辆智能识别方法、装置和电子设备 | |
| CN112115800A (zh) | 一种基于深度学习目标检测的车辆组合识别系统及方法 | |
| Sahu et al. | A comparative analysis of deep learning approach for automatic number plate recognition | |
| Fusek et al. | Adaboost for parking lot occupation detection | |
| Devi et al. | An Efficient Hybrid Technique for Automatic License Plate Recognitions | |
| Coronado et al. | Detection and classification of road signs for automatic inventory systems using computer vision | |
| CN110046618B (zh) | 基于机器学习和最大极值稳定区域的车牌识别方法 | |
| CN110516666B (zh) | 基于mser和isodata相结合的车牌定位方法 | |
| CN108734170B (zh) | 基于机器学习和模板的车牌字符分割方法 | |
| Deb et al. | Vehicle license plate detection algorithm based on color space and geometrical properties | |
| Hossen et al. | License plate detection and recognition system based on morphological approach and feed-forward neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180206 Termination date: 20211214 |