CN109800762A - 一种基于动态匹配因子的模糊车牌识别算法 - Google Patents

Abstract

本申请公开一种基于动态匹配因子的模糊车牌识别算法，建立相似字符集合，对车牌的字符图像和模板库的字符图像按照边框比例缩放，归一化为16*20；对车牌图像出理后得到P个归一化后的二值图像，每个二值化图像与模板库的Q个字符进行匹配，通过匹配因子一识别出每个二值化图像的字符，判断识别的字符是否属于某个相似字符集合，并且计算该字符与模板库对应的字符的匹配因子二，匹配因子二不大于0.13则进入神经网络识别过程，如果匹配因子二大于0.13时，属于相似字符集合则进入相似字符的局部特征匹配进行二次识别，如果不属于相似字符集合，则直接输出识别结果，车牌识别的准确率得到了很大的提高，并具有良好的鲁棒性和实时性。

Description

一种基于动态匹配因子的模糊车牌识别算法

技术领域

本发明涉及车牌识别领域，尤其涉及一种基于动态匹配因子的分级分类相似字符模糊车牌算法与相应的实现系统。

背景技术

车牌识别技术产生于20世纪60年代，而真正引起研究人员的高度重视是在20世纪80年代。当时，西方国家进入了高速发展的经济时代，由于车辆数量大幅度提升，城市交通问题越来越严重，因此引起了美国及欧洲很多国家研究人员的重视，这些国家开始大量投入资金去建立一个智能交通系统，来缓解交通问题带来的一系列问题。在西方发达国家智能交通系统的推动下，其他各个国家也纷纷建立适用于自己国家的智能交通系统。

车牌识别的主要问题是如何提高识别准确率和识别速度。随着计算机软硬件的快速发展，识别速度可以得到很大的提高，但是识别准确率依然是一个存在的重大问题。影响车牌识别准确与否的因素主要有三个，第一个是其所处环境条件，第二个是其车牌自身字符组成形式相关，第三个是国内车况条件的影响。

从车辆所处环境条件的角度来考虑，在全天候条件下，车辆图像背景的复杂、天气的阴晴变化、光照的强弱变化、车辆的高速行驶等很多实际因素都会导致采集到的图像质量不高，例如图像模糊、噪声干扰大等，这直接导致了识别系统识别率的低下。

从车牌自身组成的角度来考虑，中国车牌由汉字、字母、阿拉伯数字三类字符混合组成。其中，中国车牌中使用到的汉字较多，并且笔划也比较多，而汉字与字母、阿拉伯数字的识别非常不一样，这不仅增大了字符识别的复杂度，也会导致识别系统识别率低下。另外，国内标准车牌针对不同车型和不用用途规定了多种车牌格式，例如军用车、警车、驾校车辆、普通车辆、大型公共汽车等的牌照格式就各具特色。因此，找到一种可以准确并且高效的识别方法就更加困难。基于上述的这些现状，提出了基于分级分类的相似车牌字符识别算法。

本申请的一种基于动态匹配因子的模糊车牌识别算法，首先建立相似字符集合，对车牌的字符图像和模板库的字符图像按照边框比例缩放，归一化为16*20；对车牌图像出理后得到P个归一化后的二值图像，每个二值化图像与模板库的Q个字符进行匹配，通过匹配因子一识别出每个二值化图像的字符，判断识别的字符是否属于某个相似字符集合，并且计算该字符与模板库对应的字符的匹配因子二，匹配因子二不大于0.13则进入神经网络识别过程，如果匹配因子二大于0.13，时，属于相似字符集合则进入相似字符的局部特征匹配进行二次识别，如果不属于相似字符集合，则直接输出识别结果，车牌识别的准确率得到了很大的提高，并具有良好的鲁棒性和实时性。

发明内容

本发明的目的是为了解决传统车牌识别效率不高和识别率低的问题，为此对经典的基于神经网络的识别方法和基于模板匹配的识别方法进行了深入分析和研究，分析了模板匹配的识别方法，提出了分级分类的相似字符识别的算法，该算法可以很好的解决当前的效率和识别率问题，有很好的鲁棒性和实时性。

本发明采用动态匹配因子的分级分类相似字符模糊车牌识别方法，并结合分级分类思想以及相似字符集以及神经网络的特点，提出一种改进的动态匹配因子的分级分类相似字符模糊车牌识别算法。该方法首先需要建立一个标准的模板库，为识别做好准备。在建立字库之前，要搜集完整的字符集样本，然后进行滤波、二值化、归一化等预处理，使得图像的有用部分得到加强，最后提取出字符特征作为匹配模板。

传统的字符分类模板库主要分为汉字模板库、字母模板库、数字字母模板库、数字模板库。对于大多车牌字符的识别，传统字符分类模板库是适用的，但随着车主自主选择和自编车牌号的盛行，车牌的最后三个字符不再仅仅局限在数字模板库，而可能出现字母，甚至教练车、警车等的车牌最后是汉字的情况。

车牌编排的灵活性使得传统的模板库分类不再适用，因此，本发明对模板库进行改进以适应当前各种灵活编号的车牌。针对车牌的七个字符重新设计了汉字模板库、字母模板库、数字字母模板库、数字字母汉字模板库四个模板库。

在成功提取字符特征、构建模板库后，接下来进行待识别字符的匹配。针对单一使用模板匹配算法对相似字符识别率低的缺点，本发明在通用模板匹配识别的基础上，利用局部特征区域对相似字符进行二次识别，如果识别的匹配因子落在了设定的神经网络范围，要采用神经网络进行特征的训练和特征的识别，达到了很好的效果。具体识别算法步骤如下：

(1) 建立标准的模板库；

采集车牌字符集样本，然后通过滤波、二值化、归一化图像处理，提取出字符特征作为模板库；

按照车牌的字符从左向右的第1位、第2位、第3和4位、第5至第7位依次建立汉字模板库、字母模板库、数字字母模板库、数字字母汉字模板库四个模板库；

(2)建立相似字符集合

根据字母和数字中的形态相似字符，建立的相似字符集合包括：分别是相似字符集合一{A，4}；相似字符集合二{B，8，S，5,3}；相似字符集合三{E，F}；相似字符集合四{Z，2}；相似字符集合五{Q，0，O}；相似字符集合六{D，C，G}；相似字符集合七{N，W}。

(3) 识别字符图像；

1)首先对车牌的字符图像进行二值化处理、去噪处理和归一化处理，然后进行图像分割成每个独立的字符图像，将分割后的车牌的字符图像和模板库的字符图像按照边框比例缩放，将大小归一化为 16*20；

2)对归一化后的各二值图像进行特征提取，将提取的特征向量与模板库中各相应模板特征向量进行比较得到相似度；归一化后的图像信息仅包括320个像素值，采用320维的特征向量存储，用以使匹配结果更加准确；

3)采用通用模板匹配方式对各字符图像进行第一次识别如下，对需要识别的字符分别处理后得到P个归一化后的二值图像为：

模板库中各模板为：

其中，分别表示点处待识别图像和模板图像的像素值，字符有效区域像素值取值“1”，字符背景区域像素值取值“0”，得到匹配因子一，如公式（1）（2）（3）：

其中，统计模板图像中识别像素点的个数；为识别图像和第k个模板匹配的匹配因子一，模板匹配的因子如公式1，选取识别图像和Q个模板库中所有的模板进行做与运算用来表示，然后对矩阵的每个像素点求和，计算出所有的匹配像素点个数，然后除以所有的像素点个数计算出和该模板的匹配因子；之后计算出所有模板的匹配因子，其中最大值就是识别图像和模板库中字符的匹配因子一，那么对应的该模板的字符就是待识别的车牌字符图像的值，识别出该字符。

4)判断步骤(3)得到的识别字符结果是否在特征上属于某个相似字符集合；

5）判断是否进入神经网络识别：

处理后得到P个归一化后的二值图像为：

其中匹配因子二的计算公式为二值化处理后的总的有效像素点1的总和除以图像中的所有像素点的个数，即识别像素点的个数总和除以图像中的所有像素点个数，由于字符图像的处理中对图像归一化为16*20，因此计算公式为公式（4）：

(4)

其中是匹配因子二，取值范围在[0,1]之间，当大于0.13的时候不进入神经网络的识别过程，小于或等于0.13的时候进入神经网络的识别过程。

6）如果上述的识别结果大于0.13，且属于某个相似字符集合，在该相似字符子集合内采用二次匹配，即局部特征匹配方式步骤：将待识别字符、相似字符集合中的字符的16*20像素值的几何中心为中心，分割成均等的8*10像素值的四个特征区域，将待识别的相似字符像素值的每一个特征区域分别与相似字符集合中相似字符的相对应的像素位置的特征区域进行比对匹配，找到与相似字符集合中一个相似字符的特征区域的像素值一致性高的相似字符，输出为该相似字符为识别结果。

7）如果第一次的识别结果匹配因子二大于0.13，且不属于某个相似字符集合，则直接输出结果。

所述的P个归一化后的二值图像中的P等于7，即车牌为7个字符的车牌。

在神经网络识别的过程中，首先选取字母模板库和数字字母模板库以及数字字母模板库作为神经网络的训练集，其中主要选取26个字母和10个阿拉伯数字进行精确训练，然后选取30张模糊的数字字母组合进行交叉训练，其中每个字符都包含15000张样本进行训练，针对66个不同的字符一共包含990000张图片作为神经网络的训练样本。因此神经网络的输入层设置990000个神经元，即每个样本作为一组输入数据；输出设置为36个神经元。将此作为神经网络的输入输出，然后多获取的车牌进行字符分割，动态因子匹配过程，落入神经网络的识别过程，就进行神经网络的识别，从而实现车牌字符的识别过程。

本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

图1新旧模板库对比示意图，（a）为传统模板库分类，（b）为改进的模板库分类。

图2改进模板匹配算法处理流程示意图。

图3 D和0局部特征对比图。

图4 局部特征的以几何中心为原点的四部分图。

图5测试的车牌。

图6 图像预处理以后的分割字符。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步详细说明。

参见图2，为本发明实施例提供的改进模板匹配算法处理流程示意图，包括如下步骤：

本发明采用模板匹配方法作为基本的字符识别方法，并结合分级分类思想以及相似字符集的特点，提出一种改进的分级分类车牌相似字符识别算法。该方法首先需要建立一个标准的模板库，为识别做好准备。在建立字库之前，要搜集完整的字符集样本，然后进行滤波、二值化、归一化等预处理，使得图像的有用部分得到加强，最后提取出字符特征作为匹配模板。

传统的字符分类模板库主要分为汉字模板库、字母模板库、数字字母模板库、数字模板库。对于大多车牌字符的识别，传统字符分类模板库是适用的，但随着车主自主选择和自编车牌号的盛行，车牌的最后三个字符不再仅仅局限在数字模板库，而可能出现字母，甚至教练车、警车等的车牌最后是汉字的情况。

车牌编排的灵活性使得传统的模板库分类不再适用，因此，本发明对模板库进行改进以适应当前各种灵活编号的车牌。针对车牌的七个字符重新设计了汉字模板库、字母模板库、数字字母模板库、数字字母汉字模板库四个模板库。传统的模板库分类和本发明改进的模板库分类对比如图1所示。

在成功提取字符特征、构建模板库后，接下来进行待识别字符的匹配。针对单一使用模板匹配算法对相似字符识别率低的缺点，本发明在通用模板匹配识别的基础上，利用局部特征区域对相似字符进行二次识别，达到了很好的效果。具体识别算法步骤如下：

1)首先对字符图像进行二值化处理、去噪处理和归一化处理，本发明将字符图像和模板按照边框比例缩放，将大小归一化为16*20；如图5所示对于原始的图像进行数据的预处理以后字符分割成如图6所示。

2)对归一化后的各二值图像进行特征提取，将提取的特征向量与模板库中各相应模板特征向量进行比较得到相似度；本发明考虑到归一化后的图像信息仅包括320个像素值，为了使匹配结果更加准确，采用320维的特征向量；

3)采用通用模板匹配方式对各字符图像进行第一次识别如下，对需要识别的字符分别处理后得到P个归一化后的二值图像为：

模板库中各模板为：

其中，分别表示点处待识别图像和模板图像的像素值，字符有效区域像素值取值“1”，字符背景区域像素值取值“0”，得到匹配因子一，如公式（1）（2）（3）：

其中，统计模板图像中识别像素点的个数；为识别图像和第k个模板匹配的匹配因子一，模板匹配的因子如公式1，选取识别图像和Q个模板库中所有的模板进行做与运算用来表示，然后对矩阵的每个像素点求和，计算出所有的匹配像素点个数，然后除以所有的像素点个数计算出和该模板的匹配因子；之后计算出所有模板的匹配因子，其中最大值就是识别图像和模板库中字符的匹配因子一，那么对应的该模板的字符就是待识别的车牌字符图像的值，识别出该字符。

4)判断步骤(3)得到的识别结果是否在特征上属于某个相似字符集合，如果匹配系数范围说明该字符图像属于清晰度较低的图像，则转入神经网络进行识别；

本算法针对26个英文字母和10个数字中的相似字符，设计的相似字符集合包括：“A”、“4”、“B”、“8”、“D”、“C”、“G”、“Q”、“S”、“5”、“3”、“Z”、“2”、“E”、“F”、“N”、“W”、“O”、“0”。针对该相似字符集合，通过分析字符的特征，把特征最接近的字符建立了几个相似字符子集合，分别是相似字符集合一{A，4}；相似字符集合二{B，8，S，5，3}；相似字符集合三{E，F}；相似字符集合四{Z，2}；相似字符集合五{Q，0，O}；相似字符集合六{D，C，G}；相似字符集合七{N，W}，如图3相似特征处理；

5）如果的识别结果不属于任何相似字符集且动态匹配因子不在神经网络范围内，就转到那么直接输出识别结果。

预处理后得到P个归一化后的二值图像为：

其中匹配因子的计算公式为二值化处理后的总的有效像素点1的总和除以图像中的所有像素点，前面在图像的预处理中对图像归一化为16*20。计算公式为公式（4）所示。

(4)

其中是匹配因子，取值范围在[0,1]之间，本专利通过大量的实验得出取0.13值的时候，车牌的识别效果最好，即大于0.13的时候不走神经网络的识别过程，小于0.13的时候走神经网络的识别过程。

6)如果第一次的识别结果属于某个相似字符集，就在该相似字符集内采用局部特征匹配方法，相应地选取相似字符特征中差别最大的区域作为特征区域与模板库中的各模板字符对应区域进行匹配运算。相似字符的差异定义标准是将待识别字符以几何中心为原点分为四部分，本专利设置的四部分把该字符的像素点进行4等分，每个部分的像素为80个如图4所示的。分别对这四部分进行分析排查，找出相似度差别较大的特征区域与模板的对应区域进行匹配。

7）如果识别结果中匹配因子二不大于0.13属于神经网络，则进入神经网络进行识别输出。

在神经网络识别的过程中，首先选取字母模板库和数字字母模板库以及数字字母模板库作为神经网络的训练集，其中主要选取26个字母和10个阿拉伯数字进行精确训练，然后选取30张模糊的数字字母组合进行交叉训练，其中每个字符都包含15000张样本进行训练，针对66个不同的字符一共包含990000张图片作为神经网络的训练样本。因此神经网络的输入层设置990000个神经元，即每个样本作为一组输入数据；输出设置为36个神经元。将此作为神经网络的输入输出，然后多获取的车牌进行字符分割，动态因子匹配过程，落入神经网络的识别过程，就进行神经网络的识别如图4所示，进行输入输出的确定，以及选取sigmoid为激励函数，从而实现车牌字符的识别过程。

本发明可用于其他模板匹配的算法中；适用于识别在车牌、字符及科学研究等领域中；也适用于其他需要识别文本的各种场合。

以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以采用本发明中的模板匹配算法进行优化，然后在商业、企业中对本发明进行应用，不脱离本发明的精神和范围。

Claims (2)

1.一种基于动态匹配因子的模糊车牌识别算法，其特征在于：包括以下步骤：

(1) 建立标准的模板库；

采集车牌字符集样本，然后通过滤波、二值化、归一化图像处理，提取出字符特征作为模板库；

按照车牌的字符从左向右的第1位、第2位、第3和4位、第5至第7位依次建立汉字模板库、字母模板库、数字字母模板库、数字字母汉字模板库四个模板库；

(2)建立相似字符集合

根据字母和数字中的形态相似字符，建立的相似字符集合包括：分别是相似字符集合一{A，4}；相似字符集合二{B，8，S，5,3}；相似字符集合三{E，F}；相似字符集合四{Z，2}；相似字符集合五{Q，0，O}；相似字符集合六{D，C，G}；相似字符集合七{N，W}；

(3) 识别字符图像；

1)首先对车牌的字符图像进行二值化处理、去噪处理和归一化处理，然后进行图像分割成每个独立的字符图像，将分割后的车牌的字符图像和模板库的字符图像按照边框比例缩放，将大小归一化为 16*20；

2)对归一化后的各二值图像进行特征提取，将提取的特征向量与模板库中各相应模板特征向量进行比较得到相似度；归一化后的图像信息仅包括320个像素值，采用320维的特征向量存储，用以使匹配结果更加准确；

3)采用通用模板匹配方式对各字符图像进行第一次识别如下，对需要识别的字符分别处理后得到P个归一化后的二值图像为：

模板库中各模板为：

其中，分别表示点处待识别图像和模板图像的像素值，字符有效区域像素值取值“1”，字符背景区域像素值取值“0”，得到匹配因子一，如公式（1）（2）（3）：

其中，统计模板图像中识别像素点的个数；为识别图像和第k个模板匹配的匹配因子一，模板匹配的因子如公式1，选取识别图像和Q个模板库中所有的模板进行做与运算用来表示，然后对矩阵的每个像素点求和，计算出所有的匹配像素点个数，然后除以所有的像素点个数计算出和该模板的匹配因子；之后计算出所有模板的匹配因子，其中最大值就是识别图像和模板库中字符的匹配因子一，那么对应的该模板的字符就是待识别的车牌字符图像的值，识别出该字符；

4)判断步骤(3)得到的识别字符结果是否在特征上属于某个相似字符集合；

5）判断是否进入神经网络识别：

处理后得到P个归一化后的二值图像为：

其中匹配因子二的计算公式为二值化处理后的总的有效像素点1的总和除以图像中的所有像素点的个数，即识别像素点的个数总和除以图像中的所有像素点个数，由于字符图像的处理中对图像归一化为16*20，因此计算公式为公式（4）：

(4)

其中△t是匹配因子二，取值范围在[0,1]之间，当△t大于0.13的时候不进入神经网络的识别过程，△t小于或等于0.13的时候进入神经网络的识别过程；

6)如果上述的识别结果△t大于0.13，且属于某个相似字符集合，在该相似字符子集合内采用二次匹配，即局部特征匹配方式步骤：将待识别字符、相似字符集合中的字符的16*20像素值的几何中心为中心，分割成均等的8*10像素值的四个特征区域，将待识别的相似字符像素值的每一个特征区域分别与相似字符集合中相似字符的相对应的像素位置的特征区域进行比对匹配，找到与相似字符集合中一个相似字符的特征区域的像素值一致性高的相似字符，输出为该相似字符为识别结果；

7）如果第一次的识别结果匹配因子二△t大于0.13，且不属于某个相似字符集合，则直接输出结果。

2.根据权利要求1所述的基于动态匹配因子的模糊车牌识别算法，其特征在于：所述的P个归一化后的二值图像中的P等于7，即车牌为7个字符的车牌。