CN105512600A - 一种基于互信息与特征提取的车牌识别方法 - Google Patents
一种基于互信息与特征提取的车牌识别方法 Download PDFInfo
- Publication number
- CN105512600A CN105512600A CN201410507841.1A CN201410507841A CN105512600A CN 105512600 A CN105512600 A CN 105512600A CN 201410507841 A CN201410507841 A CN 201410507841A CN 105512600 A CN105512600 A CN 105512600A
- Authority
- CN
- China
- Prior art keywords
- character
- mutual information
- gibberish
- depth
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Character Discrimination (AREA)
Abstract
本发明公开一种基于互信息与特征提取的车牌识别方法，首先，根据不同的车牌颜色以及我国车牌的编号特征进行模板库的分类，分别建立汉字模板库、数字字母模板库、数字模板库以及字母模板库等。其次，本发明采用多模板互信息匹配，对于字母与数字的识别，如果同样采用多模板互信息匹配，则大大增加了其计算复杂度。在实际应用中，本发明对字母与数字采用单模板互信息匹配与易混字特征提取的方法进行判别。这样将模板分成不同的库以及不同的字符采用不同的识别方案，不仅大大提高了速度，又提高了正确识别率，真正解决了实际应用场景的技术问题。
Description
技术领域
本发明公开一种车牌识别方法，特别是一种基于互信息与特征提取的车牌识别方法。
背景技术
车牌识别系统经过多年的发展，已经是一项较为成熟的技术，但由于外界环境光线变化、季节环境等变化及车牌本身比较模糊等条件的影响，使得车牌识别系统一直是一个有解但一直不能解决得很好的问题，而且现有技术中的许多方法都计算复杂，并没有考虑到实时处理的环境。虽然目前国内外都有一些实用的车牌识别系统面市，但是，这些系统的识别率都因获取条件的不良变化有很大降低，至今车牌自动识别技术尚未达到很完善的程度，仍需进一步的研究与完善。车牌识别系统将向着不断提高适应性和实时性的方向发展。另外，我国车牌的类型复杂也为识别带来了困难。
目前，我国车牌主要具有以下特点：
(1)我国车牌类型可分为蓝底白字、黑底白字、黄底黑字以及白底黑字四种类型。
(2)我国车牌上的汉字部分一般都表示不同省份自治区直辖市的简称(总共31个)，设置在车牌的第一个字符。其中，黑底车牌还包含了使馆汽车号牌和摩托车号牌，其机动车登记编号的简称汉字为“使”。
(3)2013年5月，新式武警车牌与军用车牌正式启用，新式武警车牌的第二个字符块将原来的小写数字改成汉字(例如：WJ01.12345改成WJ京.12345)。军用车牌的第一个字符由原来的汉字改成字母(例如：海A.12345改成HA.12345)。因此，第一个字符包含了31个汉字和10个字母(即由原来7个军区汉字简称以及“军”、“海”、“空”组成的10个汉字变成10个字母简称)。
(4)在车牌中第二个字符位置一般为26个字母。
(5)蓝底车牌与黑底车牌的第三个字符到第七个字符一般为数字与字母，其中，黑牌的第七个字符还包含了领馆车的“领”与港澳台车牌的“港澳台”。黄底车牌与白底车牌的第三个与第四个字符为数字与字母，第五个与第七个字符一般为数字，其中黄底车牌的第七个字符还包含教练汽车号牌和摩托车号牌的机动车登记编号中使用汉字简称“学”字，挂车号牌的机动车登记编号中使用汉字简称“挂”字，试验车的临时行驶车号牌的机动车登记编号中使用汉字简称“试”字，以及特型车的临时行驶车号牌的机动车登记编号中使用汉字简称“超”字等；白底车牌的第七个字符还包含警用车牌的“警”字。
(6)我国车牌上还存在一些字符结构特征比较相似的字符(如阿拉伯数字“2”与英文字母“Z”、“8”和“B”、“5”和“S”、“0”和“Q”等)这些特征都会给车牌字符识别带来困扰，其通常被称为“易混字符”。
正因为我国车牌的这种特殊性，使得我国车牌的识别与国外相比更具挑战性。国内许多学者针对我国车牌的特点提出了很多有效的车牌识别方法。现有技术中车牌识别方法主要分为三大类：基于模板匹配、特征统计匹配与基于分类器的字符识别。
模板匹配算法结构设计简单，易于实现，但识别结果受分割出的二值图像质量的影响，如果字符倾斜、断裂、模糊或是光照不均等，均会造成字符识别错误；字符的统计特征算法本身比较复杂，将字符点矩阵看作是一个整体，根据每个字符的笔画特征点不同，将字符分解为横、竖、撇、捺等一种或几种的组合，经过统计从而得到相应的特征，在实际的应用中，由于外部原因造成的字符模糊、倾斜等情况，导致了部分字符无法正确识别；机器学习受这些影响较小，但其本身结构复杂，对字符的特征提取方法要求较高，样本选取困难，且训练速度慢，难于收敛，所以这三类方法各有利弊。
发明内容
针对上述提到的现有技术中的车牌识别方法各自存在的弊端，本发明针对我国车牌特征以及字符特征，采用不同的识别方法来提高其识别效果。首先，我国车牌拥有蓝底、黑底、白底与黄底四种类型，根据不同的车牌颜色以及我国车牌的编号特征进行模板库的分类，分别建立汉字模板库、数字字母模板库、数字模板库以及字母模板库等。其次，车牌中的汉字常常出现粘连、模糊不清、缺失等情况，本发明采用多模板互信息匹配，能很好解决其问题。对于字母与数字的识别，如果同样采用多模板互信息匹配，则大大增加了其计算复杂度。在实际应用中，字母与数字比汉字更加清晰完整，但字母与数字拥有很多的相似字符，仅采用互信息匹配已无法满足易混字符(即相似字符，如0与D)的判别，所以本发明对字母与数字采用单模板互信息匹配与易混字特征提取的方法进行判别。这样将模板分成不同的库以及不同的字符采用不同的识别方案，不仅大大提高了速度，又提高了正确识别率，真正解决了实际应用场景的技术问题。
本发明解决其技术问题采用的技术方案是：一种基于互信息与特征提取的车牌识别方法，该车牌识别方法包括下述步骤：
步骤S1：第一个字符识别，如果是白牌，则判断是否为警用车牌，如果是警用车牌，则同黄牌、黑牌与蓝牌一样选用32个汉字多模板库，进行多模板互信息匹配，不是警用车牌，则选择军用车牌的10个单模板字母库，采用互信息单模板匹配与易混字特征提取；
步骤S2：第二个字符识别，选择26个字母的单模板库，采用互信息单模板匹配与易混字特征提取方法；
步骤S3：第三个字符与第四个字符识别，选用24个字母与10个数字的单模板库，进行互信息单模板匹配与易混字特征提取。
步骤S4：第五个字符与第六个字符识别，如果为蓝牌与黑牌，则选用24个字母与10个数字的单模板库，如果是黄牌与白牌，则选用10个数字的单模板库，同样采用互信息单模板匹配与易混字特征提取；
步骤S5：第七个字符识别，如果是蓝牌，则选用24个字母与10个数字的单模板库，如果是黄牌，则选择10个数字的单模板与3个汉字多模板库，如果是黑牌，则选择10个数字与24个字母的单模板库与“港澳台领”的多模板库，同样采用互信息与易混字特征提取方法。
本发明解决其技术问题采用的技术方案进一步还包括：
所述的步骤S1中所述的多模板互信息匹配识别一个待识别字符，其主要步骤如下：
a.首先计算待识别字符与字符库中每个模板的互信息，并求得最大互信息；
b.互信息计算公式为：I(A,B)＝H(A)+H(B)-H(AB)，其中，H＝-(p1log2p1+p2log2p2+…+pnlog2pn)，对于输入的二值图像I(x,y)，其熵可得，H(A)＝-(pA(0)log2pA(0)+pA(1)log2pA(1))，同理，模板库中第i个模板的熵为：H(i)＝-(pi(0)log2pi(0)+pi(1)log2pi(1))，则可得待识别字符与第i个模板互信息为：H(A,i)＝-(pA,i(0)log2pA,i(0)+pA,i(1)log2pA,i(1))，其中，pA,i(0)表示待识别字符与模板字符像素点都为0的概率；
c.将待识别字符判为互信息最大的模板所属的那一类。
所述的步骤S1中所述的单模板互信息与易混字特征提取方法的主要步骤包括：
1)对待识别字符进行单模板互信息识别，每个字符只对应一个模板；
2)如果经过单模板互信息匹配判别的字符属于易混字符，则进行易混字符特征提取判别，并输出判别结果；如果不属于易混字符，则输出单模板互信息的判别结果。
所述的易混字符的特征提取判别方法实现步骤如下：首先，根据单模板互信息匹配判别的结果，进行不同的特征提取，然后将其特征与模板库对应的特征求欧氏距离，将其判为欧氏距离最小的那一类。
所述的特征提取的统计特征包括：①中间部分的白像素和，基于32*16大小的字符模板，其区域范围为：左上坐标为(6,10)，右下坐标为(10,20)；②右下角部分的白像素和，基于32*16大小的字符模板，其区域范围为：左上坐标为(10,16)，右下坐标为(16,32)；③下半部分白像素和，基于32*16大小的字符模板，其区域范围为：左上坐标为(1,16)，右下坐标为(16,32)；侧面轮廓深度指字符某一侧面离边界的深度和，令在第i行，从右边界向左边界扫描，当遇到第一个像素不为零时，计算右边界到此像素点之间的为零数量，通过提取字符4个侧面的轮廓深度累加和，能够获得4个特征向量，即左侧面轮廓深度、右侧面轮廓深度、上侧面轮廓深度、下侧面轮廓深度；最大上轮廓深度指从中间列向右边扫描，计算每一列为零像素深度，获得最大的轮廓深度为其特征；轮廓的宽度比指从每一行的左边开始扫描，计算每行的第一次由1变为0到第一次由0变1中间为0的个数，并计算其最大与最小的个数比即为轮廓宽度比。
所述的步骤S2中易混字符与其特征提取方法包含如下：
①与“E”“F”易混字有：“B”，其采用的特征方法为：下半部分像素统计特征与右轮廓深度；
②与“B”易混字有：“D”，其采用的特征方法为：中间像素统计；
③与“D”易混字有：“O”：其可根据左直线像素统计特征与左上左下的零像素统计进行识别；
④与“G”易混字有：“Q、S、B”，首先根据左直线像素统计特征与左上左下的零像素统计区分出“B”，然后根据右下角、中间像素统计特征与左右轮廓深度特征区分“S、Q、G”；
⑤与“Q”易混字有：“O、D”，首先采用左直线像素统计特征与左上左下的零像素统计区分出“D”，然后根据右下角像素统计以及内轮廓深度区分出“O、Q”；
⑥与“C”易混字有：“O、G”，直接采用右轮廓深度即可区分；
⑦与“P”易混字有：“R”，采用下半部分像素统计特征以及右轮廓深度特征；
⑧与“O”易混字有：“G、D、Q”，首先根据左直线像素统计特征与左上左下的零像素统计区分出“D”，然后根据右下角像素统计特征、内轮廓深度与右轮廓深度的特征融合区分“O、Q、G”；
⑨与“U”易混字有：“O、D”，首先根据左直线像素统计特征与左上左下的零像素统计区分出“D”，然后根据上轮廓深度的特征“O、U”。
所述的内轮廓深度方法指字符某一内部边界的深度和，令在第i行，从左边界向左边界扫描，当遇到第一次像素点由1变为0时起到由0变为1时结束，计算他们之间的为零像素个数，并根据需求，可以规定区域范围，求取他们的累加和即为内轮廓深度，根据四个不同方向，可得左右上下四个内轮廓特征。
所述的步骤S3中24个字母与10个字母的易混字符与特征提取如下：
①“Z”易混字有：“2”或者与“2”易混字有“Z”，其采用的特征为：取上内轮廓深度，如果内轮廓深度大于预定的阈值，则判为2，否则为Z；
②与“S”易混字有：“5”或者与“5”易混字有“S”，其采用的特征为：取上内轮廓深度，如果内轮廓深度大于预定的阈值，则判为S，否则为5；
③与“T”易混字有：“7”或者与“7”易混字有:“T”，提取特征为：上半部分的左轮廓深度与右轮廓深度；
④与“B”易混字符为“8”，或者与“8”易混字符为“B”，首先进行左跳变特征提取，左跳变特征提取指基于从左往右的每一列，从上往下扫描，如果这行的跳变情况依次是由0变1，由1变0，再由0变1，由1变0，则结束整个扫描，并记录第一次由1变0到第二次由0变1中间像素为0的个数，如果其个数在某一范围内，则表明其为数字“8”的可信度高，增加其权值，取权值为2；如果超出其范围，有可能是“B”，也有可能是“8”，则取其权值为1，如果根本不满足跳变情况，是“B”的可信度更高，则取权值为0。其次，取其左上与左下的在一定区域内像素为0的个数和，如果其个数在一定范围内，则为“8”的可能性大，取权值为2；如果其个数满足一定的条件，一般指4<左上0像素的个数<9，且4<左下0像素的个数<9，则取权值为1，上面两种情况都不满足，则取值为0；然后，计算其左直线特征，即从左往右计算每列像素为1的个数大于30的行数满足一定的条件，则为B的可信度比较大，取权值为-1,如果等于3，则取权值为0；如果满足条件的行数为0，则为8的可行度大，取权值为2；否则都为1；最后，将三种权值相加，如果总权值大于某一阈值，则最终结果判为8，否则为B；
⑤与“D”易混字符为“0”，或者与“0”易混字符为“D”，左上与左下像素为0的个数以及左直线特征，与其不同的是D在实际提取中左边有噪声提取，因此求和时，去掉最上、最下以及最左三行，如果左上、左下以及直线特征满足一定的条件，则最终结果判为D，否则为0。
所述的步骤S4中10个数字的易混字符与特征提取主要包含如下：
①与“8”易混字有：“3”或者与“3”易混字有“8”，其采用的特征为：左轮廓深度；
②与“4”易混字有：“6”，其采用的特征为：左轮廓深度与右轮廓深度；
③与“3”易混字有：“8”、“5”：其采用的特征为：左轮廓深度与右轮廓深度；
④与“5”易混字有：“3”，其采用的特征为：左轮廓深度与右轮廓深度。
所述的步骤S1中车牌识别武警车牌的主要实现步骤如下：
S6：第一个字符识别：将“WJ”看成一个字符，利用前两个字符的间隔以及WJ的特征进行识别，再次确定识别否为武警车牌；
S7：第二个字符识别：如果分割的字符为6个，则为总部车牌，如果为7个字符，则选择31个汉字的多模板库，进行互信息的多模板匹配；
S8：第三个字符至第六个字符识别：选择10个数字与字母“X”的单模板库，进行互信息单模板匹配与易混字特征提取；
S9：第七个字符识别：选择10个数字与7个字母的单模板库，采用互信息单模板匹配与易混字特征提取。
本发明的有益效果是：本发明结构简单易实现，解决方案全面，包含了新式军用车牌、武警车牌、警用车牌及其他普通车牌。根据我国车牌的特点，进行模板分类，并采用不同的识别方法进行不同字符的识别，针对易混字符的识别，提出了几种有效的字符特征提取的方法(最大上轮廓深度、轮廓宽度比、内轮廓深度以及直线像素统计特征等)，不仅提高了识别效果，且大大提高了运算速度，真正解决了实际应用问题。
下面将结合附图和具体实施方式对本发明做进一步说明。
附图说明
图1为除武警车牌以外的车牌识别方案流程图。
图2为武警车牌识别方案流程图。
具体实施方式
本实施例为本发明优选实施方式，其他凡其原理和基本结构与本实施例相同或近似的，均在本发明保护范围之内。
本发明为一种基于互信息(互信息是用来度量两个对象之间的相互性，那么在车牌识别中，是用来度量两个字符之间的相似度。)与特征提取(特征提取是计算机视觉和图像处理中的一个概念，即当某一对象以图像的形式表现时，通过提取图像信息来突出该对象具有代表性特征的一种方法。)的车牌识别方法，请参看附图1，识别其他车牌(除武警车牌以外)的主要实现步骤如下：
步骤S1：第一个字符识别，如果是白牌(车牌颜色的判断采用常规技术，即根据颜色进行判断)，则判断是否为警用车牌(警用车牌的最后一个字符为红色，其他都为黑色)。如果是警用车牌，则同黄牌、黑牌与蓝牌一样选用32个汉字多模板库，进行多模板互信息匹配(模板匹配是指当某一对象的图案以图像的形式表现时，根据该图案与已知的一幅图像各部分的相似度判断其是否存在，并求得对象物在图像中位置的操作叫模板匹配。那么，在识别中，则通过求未知对象图像与已知模板图像的相似度，判断未知对象是否属于该类模板对象)。本实施例中，所述的32个汉字模板主要为31个不同省份自治区直辖市的简称与使馆车的汉字简称“使”，其模板制作主要体现了车牌去噪方法、车牌切割方法给字符带来的影响，比如字符的上、下、左三方向部分由于去除车牌的边框时，容易造成部分缺失，当受到噪声影响时，又容易产生偏移，另外根据字符的特征，不同的字符有不同部分缺失，如：沪，左边的偏旁容易被去除，粤字上面的一点容易被去除，因此，根据这些特点，对不同的字符制作不同的模板，其模板归一化大小为32*16的二值图像，背景为0，前景为1，从左往右分别表示正常字符模板、左上下三方向部分缺失、上面缺失+左偏移、左上下偏移。如果不是警用车牌，则选择军用车牌的10个单模板字母库，采用互信息单模板匹配与易混字特征提取，本实施例中，所述的军用车牌的10个单模板字母库分别为北、济、南、沈、广、成、兰、军、海、空，其简称字母为：B、J、N、S、G、C、L、V、H、K。
进一步，步骤S1中所述的多模板互信息匹配指每个字符对应多个不同的模板，可根据字符的不同特征与分割方法进行不同模板的制作。如果要识别一个待识别字符，其主要步骤如下：
a.首先计算待识别字符与字符库中每个模板的互信息，并求得最大互信息。
b.互信息是模板匹配算法中一种有效的算法，其取相似性最大者为所属图像所属类别，即计算待识别字符与模板字符的最大互信息者为所属类别。
互信息计算公式为：I(A,B)＝H(A)+H(B)-H(AB)。其中，H＝-(p1log2p1+p2log2p2+…+pnlog2pn).对于输入的二值图像I(x,y)，其熵可得，H(A)＝-(pA(0)log2pA(0)+pA(1)log2pA(1))。同理，模板库中第i个模板的熵为：H(i)＝-(pi(0)log2pi(0)+pi(1)log2pi(1))。则可得待识别字符与第i个模板互信息为：H(A,i)＝-(pA,i(0)log2pA,i(0)+pA,i(1)log2pA,i(1))。其中，pA,i(0)表示待识别字符与模板字符像素点都为0的概率。
c.那么，将待识别字符判为互信息最大的模板所属的那一类。
进一步，步骤S1中所述的单模板互信息与易混字特征提取方法的主要步骤包括：
1)对待识别字符进行单模板互信息识别，其方法同多模板互信息一样，只是每个字符只对应一个模板。
2)如果经过单模板互信息匹配判别的字符属于易混字符(例如C与G或者N与G)，则进行易混字符特征提取判别，并输出判别结果；如果不属于易混字符，则输出单模板互信息的判别结果。
进一步，易混字符的特征提取判别方法实现步骤如下(以下所述的易混字符特诊提取判别方案同此处所述方案)：首先，根据单模板互信息匹配判别的结果，进行不同的特征提取，然后将其特征与模板库对应的特征求欧氏距离，将其判为欧氏距离最小的那一类。
本实施例中，易混字符的特征提取判别实现步骤具体如下：如果在上述步骤中进行互信息的判别结果为C或者G，则进行待识别字符的右侧面轮廓深度与中间部分白像素和，并分别求其与C模板以及G模板相同特征的欧式距离，将待识别字符判为属于最小欧氏距离的那一类。利用同样的方法判别N与H，提取特征为最大上轮廓深度以及轮廓的宽度比。
本实施例中所述的中间部分白像素和指的是像素统计特征，像素统计特征主要指在一定区域范围内统计满足某一条件的像素和。在本发明中，主要用到的统计特征有：①中间部分的白像素和(基于32*16大小的字符模板，其区域范围为：左上坐标为(6,10)，右下坐标为(10,20))；②右下角部分的白像素和(基于32*16大小的字符模板，其区域范围为：左上坐标为(10,16)，右下坐标为(16,32))；③下半部分白像素和(基于32*16大小的字符模板，其区域范围为：左上坐标为(1,16)，右下坐标为(16,32))。
本实施例中所述的右侧面轮廓深度指的是侧面轮廓深度特征提取，侧面轮廓深度指字符某一侧面离边界的深度和，令在第i行，从右边界向左边界扫描，当遇到第一个像素不为零时，计算右边界到此像素点之间的为零数量。通过提取字符4个侧面的轮廓深度累加和，可获得4个特征向量，即左侧面轮廓深度、右侧面轮廓深度、上侧面轮廓深度、下侧面轮廓深度。比如，字符“S”与“8”的左轮廓深度与右轮廓深度明显不同。
本实施例中所述的最大上轮廓深度指从中间列向右边扫描，计算每一列为零像素深度(即计算每一列从第一行开始连续为零像素点的个数)，获得最大的轮廓深度为其特征。
本实施例中所述的轮廓的宽度比指从每一行的左边开始扫描，计算每行的第一次由1变为0到第一次由0变1中间为0的个数，并计算其最大与最小的个数比即为轮廓宽度比。
步骤S2：第二个字符识别。第二个字符都为26个字母，因此选择26个字母的单模板库，采用互信息单模板匹配与易混字特征提取方法。
所述的易混字符与其特征提取方法包含如下：
①与“E”“F”易混字有：“B”，其采用的特征方法为：下半部分像素统计特征与右轮廓深度。
②与“B”易混字有：“D”，其采用的特征方法为：中间像素统计。
③与“D”易混字有:“O”：其可根据左直线像素统计特征与左上左下的零像素统计进行识别。
④与“G”易混字有:“Q、S、B”，首先根据左直线像素统计特征与左上左下的零像素统计区分出“B”，然后根据右下角、中间像素统计特征与左右轮廓深度特征区分“S、Q、G”。
⑤与“Q”易混字有：“O、D”，首先采用左直线像素统计特征与左上左下的零像素统计区分出“D”，然后根据右下角像素统计以及内轮廓深度区分出“O、Q”。
⑥与“C”易混字有：“O、G”，直接采用右轮廓深度即可区分。
⑦与“P”易混字有：“R”，采用下半部分像素统计特征以及右轮廓深度特征。
⑧与“O”易混字有：“G、D、Q”，首先根据左直线像素统计特征与左上左下的零像素统计区分出“D”，然后根据右下角像素统计特征、内轮廓深度与右轮廓深度的特征融合区分“O、Q、G”。
⑨与“U”易混字有：“O、D”，首先根据左直线像素统计特征与左上左下的零像素统计区分出“D”，然后根据上轮廓深度的特征“O、U”。
本实施例中所述的左直线像素统计特征指的是基于模板32*16，统计从左往右每列像素为1的个数大于某一阈值的行数，其与左上左下的零像素统计的相结合的具体应用实例详见步骤S3的B与8、D与0的易混字特征提取方法。
本实施例中所述的内轮廓深度方法与侧面轮廓深度类似，即指字符某一内部边界的深度和，令在第i行，从左边界向左边界扫描，当遇到第一次像素点由1变为0时起到由0变为1时结束，计算他们之间的为零像素个数，并根据需求，可以规定区域范围，求取他们的累加和即为内轮廓深度。同样，根据四个不同方向，可得左右上下四个内轮廓特征，在本发明中之应用到了上下两个内轮廓深度。另外，求O与Q的内轮廓深度，由下往上扫描，从第一次满足内轮廓深度的那行开始，往上扩展5行的区域进行内轮廓深度求和。其他字符的内轮廓特征提取的范围都为固定值，比如上下两个方向，一般取上10行或者下10行进行内轮廓深度统计。
步骤S3：第三个字符与第四个字符识别。根据我国车牌特征，第三个字符与第四个字符都为字母与数字。因此选用24个字母与10个数字的单模板库，进行互信息单模板匹配与易混字特征提取。
所述的24个字母(除I与O)与10个字母的易混字符与特征提取(步骤S2中所述的字母易混字符以外)如下：
①“Z”易混字有：“2”或者与“2”易混字有“Z”，其采用的特征为：取上内轮廓深度，如果内轮廓深度大于预定的阈值(一般取值为7)，则判为2，否则为Z。
②与“S”易混字有：“5”或者与“5”易混字有“S”，其采用的特征为：取上内轮廓深度，如果内轮廓深度大于预定的阈值(一般取值为15)，则判为S，否则为5。
③与“T”易混字有:“7”或者与“7”易混字有:“T”，提取特征为：上半部分的左轮廓深度与右轮廓深度。
④与“B”易混字符为“8”，或者与“8”易混字符为“B”。由于B与8特征非常相似，本发明采用三种特征以及赋予权值的方法进行区分，首先进行左跳变特征提取，左跳变特征提取指基于从左往右的每一列，从上往下扫描，如果这行的跳变情况依次是由0变1，由1变0，再由0变1，由1变0，则结束整个扫描，并记录第一次由1变0到第二次由0变1中间像素为0的个数，如果其个数在某一范围内(一般取值为(4～7))，则表明其为数字“8”的可信度高，增加其权值，取权值为2；如果超出其范围，有可能是“B”，也有可能是“8”，则取其权值为1，如果根本不满足跳变情况，是“B”的可信度更高，则取权值为0。其次，取其左上与左下的在一定区域内(5*5的方框区域大小)像素为0的个数和，如果其个数在一定范围内(一般指左上0像素的个数>9，或者左下0像素的个数>9，或者上下总和>15)，则为“8”的可能性大，取权值为2；如果其个数满足一定的条件，一般指4<左上0像素的个数<9，且4<左下0像素的个数<9，则取权值为1，上面两种情况都不满足，则取值为0；然后，计算其左直线特征，即从左往右计算每列像素为1的个数大于30(注意模板的高为32)的行数满足一定的条件(一般取>3)，则为B的可信度比较大，取权值为-1,如果等于3，则取权值为0；如果满足条件(每列像素为1的个数大于30)的行数为0，则为8的可行度大，取权值为2；否则都为1；最后，将三种权值相加，如果总权值大于某一阈值(一般取2)，则最终结果判为8，否则为B。
⑤与“D”易混字符为“0”，或者与“0”易混字符为“D”。方法同④的后两种方法，即左上与左下像素为0的个数以及左直线特征，与其不同的是D在实际提取中左边有噪声提取，因此求和时，去掉最上、最下以及最左三行。如果左上、左下以及直线特征满足一定的条件(一般指左上与左下0像素的个数总和<3且满足条件：像素为1的个数大于30的行数>2)，则最终结果判为D，否则为0。
步骤S4：第五个字符与第六个字符识别。如果为蓝牌与黑牌，则同步骤S3，选用24个字母与10个数字的单模板库。如果是黄牌与白牌，则选用10个数字的单模板库，同样采用互信息单模板匹配与易混字特征提取。
本实施例中所述的10个数字的易混字符与特征提取主要包含如下：
①与“8”易混字有：“3”或者与“3”易混字有“8”，其采用的特征为：左轮廓深度。
②与“4”易混字有：“6”，其采用的特征为：左轮廓深度与右轮廓深度。
③与“3”易混字有:“8”、“5”：其采用的特征为：左轮廓深度与右轮廓深度。
④与“5”易混字有:“3”，其采用的特征为：左轮廓深度与右轮廓深度。
步骤S5：第七个字符识别。如果是蓝牌，则同步骤S3。如果是黄牌，则选择10个数字的单模板与3个汉字(挂、学、超)多模板库。如果是黑牌，则选择10个数字与24个字母的单模板库与“港澳台领”的多模板库。同样采用互信息与易混字特征提取方法。
请结合参看附图2，本发明中的一种基于互信息与特征提取的车牌识别方法，其识别武警车牌的主要实现步骤如下：
S6：第一个字符识别：将“WJ”看成一个字符。在车牌定位时，通过车牌的长宽比以及车牌颜色与字符颜色。初次判别是否为武警车牌，在进行字符分割时，利用前两个字符的间隔以及WJ的特征进行识别，再次确定识别否为武警车牌。
S7：第二个字符识别：如果分割的字符为6个，则为总部车牌，这一步骤不进行。如果为7个字符，则选择31个汉字的多模板库，进行互信息的多模板匹配。
S8：第三个字符至第六个字符识别：选择10个数字与字母“X”的单模板库，进行互信息单模板匹配与易混字特征提取。
S9：第七个字符识别：选择10个数字与7个字母的单模板库，采用互信息单模板匹配与易混字特征提取。
表1基于字符类型与不同方法的识别结果
表2本发明基于视频的整体车牌识别结果
本发明的实验效果：本实例是基于视频的车牌识别系统，车牌定位部分采用基于边缘与连通区域相结合的方法，字符二值化采用的是局部自适应阈值，字符分割主要为垂直投影。利用VC2010编程工具实现，相关结果采用Opencv窗口进行显示。
表1为基于字符类型与不同方法的识别结果，其测试样本为单个的字符，其大小为与模板同，即32*16，其中包含了模糊、缺失、倾斜、偏移等现象。从表中可看出，互信息模板匹配在一定程度上能适应字符的模糊与缺失，因此，利用单模板互信息识别汉字也能达到70.9％，字母与数字最高能达到93.3％。采用多模板的互信息很明显优于单模板，并达到了95％。而互信息+易混字特征提取明显优于互信息单模板，字母与数字的识别率达到了99.2％。表2是识别系统基于视频的整体识别效果。
其相关设备与工程参数如下：
①车牌的水平倾斜角度处于-15度～15度之间；
②摄像头选海康200万枪型网络摄像机DS-2CD4026FWD-(A)，具有强光抑制，镜头为8～40毫米；
③摄像机离地高度约5.5米，拍摄距离约20～25米远，车速小于120m/小时。
④摄像机快门设置为手动1/1000；
⑤ROI区域(感兴趣区域)的宽度与单车道的道路宽度一致，高度为图像高度的4/5。
⑥在默认参数下车牌大小为28*85～78*233范围内。
其识别统计结果如表2所示，白天的正确识别率为95.2％，晚上车牌跟补光设备与车牌材质的完好性有关，造成很多车牌模糊不清以及个别字符缺失等情况，因此，识别效果比白天较低，达到93.4％。本发明算法简单，其识别部分的平均运算时间小于8ms。
Claims (10)
1.一种基于互信息与特征提取的车牌识别方法，其特征是：所述的车牌识别方法包括下述步骤：
步骤S1：第一个字符识别，如果是白牌，则判断是否为警用车牌，如果是警用车牌，则同黄牌、黑牌与蓝牌一样选用32个汉字多模板库，进行多模板互信息匹配，不是警用车牌，则选择军用车牌的10个单模板字母库，采用互信息单模板匹配与易混字特征提取；
步骤S2：第二个字符识别，选择26个字母的单模板库，采用互信息单模板匹配与易混字特征提取方法；
步骤S3：第三个字符与第四个字符识别，选用24个字母与10个数字的单模板库，进行互信息单模板匹配与易混字特征提取。
步骤S4：第五个字符与第六个字符识别，如果为蓝牌与黑牌，则选用24个字母与10个数字的单模板库，如果是黄牌与白牌，则选用10个数字的单模板库，同样采用互信息单模板匹配与易混字特征提取；
步骤S5：第七个字符识别，如果是蓝牌，则选用24个字母与10个数字的单模板库，如果是黄牌，则选择10个数字的单模板与3个汉字多模板库，如果是黑牌，则选择10个数字与24个字母的单模板库与“港澳台领”的多模板库，同样采用互信息与易混字特征提取方法。
2.根据权利要求1所述的基于互信息与特征提取的车牌识别方法，其特征是：所述的步骤S1中所述的多模板互信息匹配识别一个待识别字符，其主要步骤如下：
a.首先计算待识别字符与字符库中每个模板的互信息，并求得最大互信息；
b.互信息计算公式为：I(A,B)＝H(A)+H(B)-H(AB)，其中，H＝-(p1log2p1+p2log2p2+…+pnlog2pn)，对于输入的二值图像I(x,y)，其熵可得，H(A)＝-(pA(0)log2pA(0)+pA(1)log2pA(1))，同理，模板库中第i个模板的熵为：H(i)＝-(pi(0)log2pi(0)+pi(1)log2pi(1))，则可得待识别字符与第i个模板互信息为：H(A,i)＝-(pA,i(0)log2pA,i(0)+pA,i(1)log2pA,i(1))，其中，pA,i(0)表示待识别字符与模板字符像素点都为0的概率；
c.将待识别字符判为互信息最大的模板所属的那一类。
3.根据权利要求1所述的基于互信息与特征提取的车牌识别方法，其特征是：所述的步骤S1中所述的单模板互信息与易混字特征提取方法的主要步骤包括：
1)对待识别字符进行单模板互信息识别，每个字符只对应一个模板；
2)如果经过单模板互信息匹配判别的字符属于易混字符，则进行易混字符特征提取判别，并输出判别结果；如果不属于易混字符，则输出单模板互信息的判别结果。
4.根据权利要求3所述的基于互信息与特征提取的车牌识别方法，其特征是：所述的易混字符的特征提取判别方法实现步骤如下：首先，根据单模板互信息匹配判别的结果，进行不同的特征提取，然后将其特征与模板库对应的特征求欧氏距离，将其判为欧氏距离最小的那一类。
5.根据权利要求4所述的基于互信息与特征提取的车牌识别方法，其特征是：所述的特征提取的统计特征包括：①中间部分的白像素和，基于32*16大小的字符模板，其区域范围为：左上坐标为(6,10)，右下坐标为(10,20)；②右下角部分的白像素和，基于32*16大小的字符模板，其区域范围为：左上坐标为(10,16)，右下坐标为(16,32)；③下半部分白像素和，基于32*16大小的字符模板，其区域范围为：左上坐标为(1,16)，右下坐标为(16,32)；侧面轮廓深度指字符某一侧面离边界的深度和，令在第i行，从右边界向左边界扫描，当遇到第一个像素不为零时，计算右边界到此像素点之间的为零数量，通过提取字符4个侧面的轮廓深度累加和，能够获得4个特征向量，即左侧面轮廓深度、右侧面轮廓深度、上侧面轮廓深度、下侧面轮廓深度；最大上轮廓深度指从中间列向右边扫描，计算每一列为零像素深度，获得最大的轮廓深度为其特征；轮廓的宽度比指从每一行的左边开始扫描，计算每行的第一次由1变为0到第一次由0变1中间为0的个数，并计算其最大与最小的个数比即为轮廓宽度比。
6.根据权利要求5所述的基于互信息与特征提取的车牌识别方法，其特征是：所述的步骤S2中易混字符与其特征提取方法包含如下：
①与“E”“F”易混字有：“B”，其采用的特征方法为：下半部分像素统计特征与右轮廓深度；
②与“B”易混字有：“D”，其采用的特征方法为：中间像素统计；
③与“D”易混字有：“O”：其可根据左直线像素统计特征与左上左下的零像素统计进行识别；
④与“G”易混字有：“Q、S、B”，首先根据左直线像素统计特征与左上左下的零像素统计区分出“B”，然后根据右下角、中间像素统计特征与左右轮廓深度特征区分“S、Q、G”；
⑤与“Q”易混字有：“O、D”，首先采用左直线像素统计特征与左上左下的零像素统计区分出“D”，然后根据右下角像素统计以及内轮廓深度区分出“O、Q”；
⑥与“C”易混字有：“O、G”，直接采用右轮廓深度即可区分；
⑦与“P”易混字有：“R”，采用下半部分像素统计特征以及右轮廓深度特征；
⑧与“O”易混字有：“G、D、Q”，首先根据左直线像素统计特征与左上左下的零像素统计区分出“D”，然后根据右下角像素统计特征、内轮廓深度与右轮廓深度的特征融合区分“O、Q、G”；
⑨与“U”易混字有：“O、D”，首先根据左直线像素统计特征与左上左下的零像素统计区分出“D”，然后根据上轮廓深度的特征“O、U”。
7.根据权利要求1所述的基于互信息与特征提取的车牌识别方法，其特征是：所述的内轮廓深度方法指字符某一内部边界的深度和，令在第i行，从左边界向左边界扫描，当遇到第一次像素点由1变为0时起到由0变为1时结束，计算他们之间的为零像素个数，并根据需求，可以规定区域范围，求取他们的累加和即为内轮廓深度，根据四个不同方向，可得左右上下四个内轮廓特征。
8.根据权利要求1所述的基于互信息与特征提取的车牌识别方法，其特征是：所述的步骤S3中24个字母与10个字母的易混字符与特征提取如下：
①“Z”易混字有：“2”或者与“2”易混字有“Z”，其采用的特征为：取上内轮廓深度，如果内轮廓深度大于预定的阈值，则判为2，否则为Z；
②与“S”易混字有：“5”或者与“5”易混字有“S”，其采用的特征为：取上内轮廓深度，如果内轮廓深度大于预定的阈值，则判为S，否则为5；
③与“T”易混字有：“7”或者与“7”易混字有:“T”，提取特征为：上半部分的左轮廓深度与右轮廓深度；
④与“B”易混字符为“8”，或者与“8”易混字符为“B”，首先进行左跳变特征提取，左跳变特征提取指基于从左往右的每一列，从上往下扫描，如果这行的跳变情况依次是由0变1，由1变0，再由0变1，由1变0，则结束整个扫描，并记录第一次由1变0到第二次由0变1中间像素为0的个数，如果其个数在某一范围内，则表明其为数字“8”的可信度高，增加其权值，取权值为2；如果超出其范围，有可能是“B”，也有可能是“8”，则取其权值为1，如果根本不满足跳变情况，是“B”的可信度更高，则取权值为0。其次，取其左上与左下的在一定区域内像素为0的个数和，如果其个数在一定范围内，则为“8”的可能性大，取权值为2；如果其个数满足一定的条件，一般指4<左上0像素的个数<9，且4<左下0像素的个数<9，则取权值为1，上面两种情况都不满足，则取值为0；然后，计算其左直线特征，即从左往右计算每列像素为1的个数大于30的行数满足一定的条件，则为B的可信度比较大，取权值为-1,如果等于3，则取权值为0；如果满足条件的行数为0，则为8的可行度大，取权值为2；否则都为1；最后，将三种权值相加，如果总权值大于某一阈值，则最终结果判为8，否则为B；
⑤与“D”易混字符为“0”，或者与“0”易混字符为“D”，左上与左下像素为0的个数以及左直线特征，与其不同的是D在实际提取中左边有噪声提取，因此求和时，去掉最上、最下以及最左三行，如果左上、左下以及直线特征满足一定的条件，则最终结果判为D，否则为0。
9.根据权利要求1所述的基于互信息与特征提取的车牌识别方法，其特征是：
所述的步骤S4中10个数字的易混字符与特征提取主要包含如下：
①与“8”易混字有：“3”或者与“3”易混字有“8”，其采用的特征为：左轮廓深度；
②与“4”易混字有：“6”，其采用的特征为：左轮廓深度与右轮廓深度；
③与“3”易混字有：“8”、“5”：其采用的特征为：左轮廓深度与右轮廓深度；
④与“5”易混字有：“3”，其采用的特征为：左轮廓深度与右轮廓深度。
10.根据权利要求1所述的基于互信息与特征提取的车牌识别方法，其特征是：所述的步骤S1中车牌识别武警车牌的主要实现步骤如下：
S6：第一个字符识别：将“WJ”看成一个字符，利用前两个字符的间隔以及WJ的特征进行识别，再次确定识别否为武警车牌；
S7：第二个字符识别：如果分割的字符为6个，则为总部车牌，如果为7个字符，则选择31个汉字的多模板库，进行互信息的多模板匹配；
S8：第三个字符至第六个字符识别：选择10个数字与字母“X”的单模板库，进行互信息单模板匹配与易混字特征提取；
S9：第七个字符识别：选择10个数字与7个字母的单模板库，采用互信息单模板匹配与易混字特征提取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410507841.1A CN105512600A (zh) | 2014-09-28 | 2014-09-28 | 一种基于互信息与特征提取的车牌识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410507841.1A CN105512600A (zh) | 2014-09-28 | 2014-09-28 | 一种基于互信息与特征提取的车牌识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105512600A true CN105512600A (zh) | 2016-04-20 |
Family
ID=55720569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410507841.1A Pending CN105512600A (zh) | 2014-09-28 | 2014-09-28 | 一种基于互信息与特征提取的车牌识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105512600A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108073926A (zh) * | 2016-11-17 | 2018-05-25 | 杭州海康威视数字技术股份有限公司 | 一种车牌识别方法及装置 |
| CN108090484A (zh) * | 2016-11-23 | 2018-05-29 | 杭州海康威视数字技术股份有限公司 | 一种车牌识别方法及装置 |
| CN109255283A (zh) * | 2017-07-14 | 2019-01-22 | 杭州海康威视数字技术股份有限公司 | 一种基于多帧的车牌号码确定方法、装置及电子设备 |
| CN109858339A (zh) * | 2018-12-22 | 2019-06-07 | 深圳市珍爱捷云信息技术有限公司 | 信息验证方法、装置、计算机设备及计算机可读存储介质 |
| CN110689003A (zh) * | 2019-08-22 | 2020-01-14 | 长沙千视通智能科技有限公司 | 低照度成像车牌识别方法、系统、计算机设备及存储介质 |
| CN111860539A (zh) * | 2020-07-20 | 2020-10-30 | 济南博观智能科技有限公司 | 一种车牌颜色的识别方法、装置及介质 |
-
2014
- 2014-09-28 CN CN201410507841.1A patent/CN105512600A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108073926A (zh) * | 2016-11-17 | 2018-05-25 | 杭州海康威视数字技术股份有限公司 | 一种车牌识别方法及装置 |
| CN108073926B (zh) * | 2016-11-17 | 2020-04-03 | 杭州海康威视数字技术股份有限公司 | 一种车牌识别方法及装置 |
| CN108090484A (zh) * | 2016-11-23 | 2018-05-29 | 杭州海康威视数字技术股份有限公司 | 一种车牌识别方法及装置 |
| CN108090484B (zh) * | 2016-11-23 | 2020-04-03 | 杭州海康威视数字技术股份有限公司 | 一种车牌识别方法及装置 |
| CN109255283A (zh) * | 2017-07-14 | 2019-01-22 | 杭州海康威视数字技术股份有限公司 | 一种基于多帧的车牌号码确定方法、装置及电子设备 |
| CN109255283B (zh) * | 2017-07-14 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 一种基于多帧的车牌号码确定方法、装置及电子设备 |
| CN109858339A (zh) * | 2018-12-22 | 2019-06-07 | 深圳市珍爱捷云信息技术有限公司 | 信息验证方法、装置、计算机设备及计算机可读存储介质 |
| CN109858339B (zh) * | 2018-12-22 | 2023-06-09 | 深圳市珍爱捷云信息技术有限公司 | 信息验证方法、装置、计算机设备及计算机可读存储介质 |
| CN110689003A (zh) * | 2019-08-22 | 2020-01-14 | 长沙千视通智能科技有限公司 | 低照度成像车牌识别方法、系统、计算机设备及存储介质 |
| CN111860539A (zh) * | 2020-07-20 | 2020-10-30 | 济南博观智能科技有限公司 | 一种车牌颜色的识别方法、装置及介质 |
| CN111860539B (zh) * | 2020-07-20 | 2024-05-10 | 济南博观智能科技有限公司 | 一种车牌颜色的识别方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105512600A (zh) | 一种基于互信息与特征提取的车牌识别方法 | |
| CN103116896B (zh) | 一种基于视觉显著性模型的自动检测跟踪方法 | |
| CN108121991B (zh) | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN107066933A (zh) | 一种道路标牌识别方法及系统 | |
| CN102629322B (zh) | 一种基于边界点笔画形状的字符特征提取方法及应用 | |
| CN104881662B (zh) | 一种单幅图像行人检测方法 | |
| CN103218605B (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
| CN104809481A (zh) | 一种基于自适应色彩聚类的自然场景文本检测的方法 | |
| CN106096602A (zh) | 一种基于卷积神经网络的中文车牌识别方法 | |
| CN106156684B (zh) | 一种二维码识别方法及装置 | |
| TW201039248A (en) | Method and system for identifying image and outputting identification result | |
| CN108334881A (zh) | 一种基于深度学习的车牌识别方法 | |
| CN108268871A (zh) | 一种基于卷积神经网络的端到端的车牌识别方法和系统 | |
| CN106599028A (zh) | 一种基于视频图像处理的书本内容搜索匹配方法 | |
| CN106529532A (zh) | 一种基于积分特征通道与灰度投影的车牌识别系统 | |
| CN107944451B (zh) | 一种藏文古籍文档的行切分方法及系统 | |
| CN106599896A (zh) | 一种字符分割方法和装置、及元件检测方法和装置 | |
| CN107633226A (zh) | 一种人体动作跟踪识别方法及系统 | |
| CN110032932B (zh) | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 | |
| CN107092876A (zh) | 基于Retinex与S‑SIFT特征结合的低照度车型识别方法 | |
| CN106503694A (zh) | 基于八邻域特征的数字识别方法 | |
| CN104574401A (zh) | 一种基于平行线匹配的图像配准方法 | |
| CN111160205A (zh) | 一种交通场景嵌入式多类目标端对端统一检测方法 | |
| CN107122775A (zh) | 一种基于特征匹配的安卓手机身份证字符识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160420 |
|
| WD01 | Invention patent application deemed withdrawn after publication |