CN110163206A - 车牌识别方法、系统、存储介质和装置 - Google Patents

Abstract

本发明涉及一种车牌识别方法、系统、存储介质和装置。主要包括：获取车牌图像；将车牌图像运用字符分割算法，将车牌图像分割为若干个单独的待识别字符；将各个单独的待识别字符依次输入到多粒度多类别级联森林中，进行识别，并将最后的识别结果输出。本发明使用多粒度多类别级联森林算法，通过对比实验发现，可以有效提高车牌的识别率，尤其对于一些清晰度很差的车牌的识别率有显著提高。

Description

车牌识别方法、系统、存储介质和装置

技术领域

本发明涉及车牌自动识别技术领域，特别是涉及车牌识别方法、系统、存储介质和装置。

背景技术

车牌识别系统是计算机视频图像识别技术在车辆牌照识别中的一种应用。其技术要求可以将运动中的汽车牌照从环境中提取并识别出来，经过牌照提取、预处理、特征提取、字符识别等技术手段，实现识别车辆牌号、颜色等信息的功能。能够起到车辆出入管理、自动放行、检测报警等作用，对于维护交通安全、城市治安，防止交通堵塞和实现交通的自动化管路有着现实的意义。

运用图像处理技术进行车牌识别的研究最早始于80年代，通常采用的是简单的图像处理技术，并没有形成完整的系统体系，除此以外最终还是需要人工进行干预。直到90年代，随着计算机视觉技术的发展，出现了车牌识别的系统化研究，该系统主要基于模式识别技术，主要分为图像分割、特征提取和模板构造、字符识别三部分。主要的原理是利用不同阈值对应的直方图不同，经过大量的统计实验确定出车牌位置的图像直方图的阈值范围，从而根据阈值对应的直方图分割出车牌，再利用预先设置的标准字符模板进行模式匹配识别出字符。近几年，随着人工智能技术的再次兴起，利用人工智能技术进行车牌识别也吸引了越来越多的关注。人工智能领域中，处理图像的主流深度神经网络是卷积神经网络，通过对图像进行卷积、池化以及全连接等一列操作，识别出图像中的字符。

车牌识别主要有以下五个步骤，分别是图像采集、牌照定位、字符分割、字符识别以及结果输出。除了必不可少的硬件设备外，主要的软件核心算法包括车牌定位算法，车牌字符分割算法和光学字符识别算法等。车牌的识别率与牌照质量密切相关。牌照的污损、油漆脱落以及牌照被遮挡等情况都会影响到识别率。现在已有的车牌识别系统已经有了很好的识别率，但是识别率任然有待提高，尤其是在车牌清晰度很差的情况下，还是会出现无法正确识别出车牌的情况。

发明内容

基于此，提供一种车牌识别方法。以提高车牌的识别率。

一种车牌识别方法，包括：

构建多粒度多类别级联森林，通过数据集对所述多粒度多类别级联森林进行训练；

获取待识别的车牌图像；

运用字符分割算法，将车牌图像分割为若干个单独的待识别字符；

将各个单独的待识别字符依次输入到训练好的多粒度多类别级联森林中，进行识别，并将最后的识别结果输出。

上述方法中，使用多粒度多类别级联森林算法，通过对比实验发现，可以有效提高车牌的识别率，尤其对于一些清晰度很差的车牌的识别率有显著提高。

在其中一个实施例中，所述多粒度多类别级联森林包括多粒度扫描以及级联多类别森林。

在其中一个实施例中，所述级联多类别森林的每一层由完全随机森林、极端随机森林以及分类和回归树森林组成。

在其中一个实施例中，所述多粒度扫描为对每一个单独的待识别字符用三个不同尺寸的窗口进行切片操作，得到三组不同大小的实例，将每一组实例作为输入给到随机森林，得到三组链式数据。。

在其中一个实施例中，所述将各个单独的待识别字符依次输入到多粒度多类别级联森林中，进行识别，并将最后的识别结果输出包括：

对每一个单独的待识别字符，用三个不同尺寸的窗口进行切片操作，得到三组不同大小的实例；

将每一组实例作为输入给到随机森林，得到三组链式数据，三组链式数据分别形成三个概率向量；

将三个概率向量作为多粒度多类别级联森林的输入，所述多粒度多类别级联森林的每一层的森林由完全随机森林、极端随机森林以及分类和回归树森林组成，最后一层森林输出结果后，取最大值对应的字符作为待识别字符的最终的识别结果。

一种车牌识别系统，包括：

图像采集装置，用于获取车辆图像；

图像处理装置，所述车牌图像处理装置包括：

图像预处理单元；

车牌定位单元，所述车牌定位单元用于从车辆图像上获取车牌图像；

字符分割单元，所述字符分割单元用于将车牌图像运用字符分割算法，将车牌图像分割为若干个单独的待识别字符；

字符识别单元，所述字符识别单元用于将各个单独的待识别字符依次输入到训练好的多粒度多类别级联森林中，进行识别，并将最后的识别结果输出。

一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行所述的车牌识别方法对应的操作。

一种计算机装置，包括：处理器、存储器、通信接口和通信总线，所述处理器、存储器和通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行所述的车牌识别方法对应的操作。

附图说明

图1为本发明的实施例的车牌识别方法的流程图。

图2为本发明的实施例的车牌识别系统的示意图。

图3为本发明的实施例的车牌识别方法的多粒度扫描的示意图。

图4为本发明的实施例的车牌识别方法的多粒度扫描中获得实例的示意图。

图5为本发明实施例的车牌识别方法的多粒度多类别级联森林整体示意图。

图6为本发明的实施例的车牌识别方法的数据连接示意图。

图7为本发明的实施例的车牌识别方法的每层森林的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1所示，本发明的实施例提供了一种车牌识别方法，包括：

S100、构建多粒度多类别级联森林，通过数据集对所述多粒度多类别级联森林进行训练；

S200、获取待识别的车牌图像；

S300、运用字符分割算法，将车牌图像分割为若干个单独的待识别字符；

S400、将各个单独的待识别字符依次输入到训练好的多粒度多类别级联森林中，进行识别，并将最后的识别结果输出。

上述方法中，使用多粒度多类别级联森林算法，通过对比实验发现，可以有效提高车牌的识别率，尤其对于一些清晰度很差的车牌的识别率有显著提高。

本实施例中，上述步骤S100中，具体的训练方法可以为：

(1)采集在不同光照强度，不同拍摄角度的情况下，0-9，A-Z，以及各省份车牌简称的字符图片。也就是现有的车牌上包含的具体字符的图片。

(2)为每张字符图片贴上标签。

(3)用贴上标签的字符图片组成用于训练的数据集，通过K折交叉法训练多粒度多类别级联森林模型,直至最后的识别率达到令人满意的程度。理论上越高越好。

对于该模型中的参数更新，主要包括每棵树的参数更新以及最后一层森林包含的各片森林的权值的更新。每棵树的参数可包括：最大深度；节点分裂的最小样本数；叶子节点的最小样本数；叶节点的最大数目；用于分裂的最大特征个数等。其中，每棵树的参数可根据实际情况通过有限次试验进行调整更新即可。具体的模型架构在后续详细介绍。

本实施例中，步骤S200中，可使用现有技术的各种算法获取车牌图像。同时，步骤S300中，也可以使用现有算法，例如字符分割算法等，将车牌图像分割为若干个单独的待识别字符。

本实施例中，所述多粒度多类别级联森林包括多粒度扫描以及级联多类别森林。

本实施例中，所述级联多类别森林的每一层由完全随机森林、极端随机森林以及分类和回归树森林组成。

本实施例中，所述多粒度扫描为对每一个单独待识别字符用三个不同尺寸的窗口进行切片操作，得到三组不同大小的实例，将每一组实例作为输入给到随机森林，得到三组链式数据，其中所述三组实例对应的随机森林互不一样。

具体的，如图3和图4所示，单个待识别字符的图像也就是一个N*N的输入，选取一个Y*Y的正方形作为窗口。步骤一：从输入的左上角开始，以Y*Y的尺寸截取输入的图片，生成一个实例(instance)，每截取一次，以步长(stride)的长度向右滑行窗口，然后再截取图片，再生成一个实例，重复该过程，直至窗口滑动至输入的最右边。步骤二：窗口向下滑动步长的长度，然后重复步骤一的操作，直至窗口滑行至输入的最左边。步骤三：重复步骤二以及步骤一，直至窗口滑行至输入的最底端。然后再分别以不同尺寸的窗口重复上述的切片操作。例如以X*X和Z*Z的窗口进行上述的切片操作。

本实施例中，步骤S400中，所述将各个单独的待识别字符依次输入到多粒度多类别级联森林中，进行识别，并将最后的识别结果输出包括：

S410、对每一个单独待识别字符，用三个不同尺寸的窗口进行切片操作，得到三组不同大小的实例。

S420、将每一组实例作为输入给到随机森林，得到三组链式数据，三组实例对应的随机森林互不一样。所述三组链式数据分别形成三个概率向量。

S430、将三个概率向量作为多粒度多类别级联森林的输入，所述多粒度多类别级联森林的每一层的森林由完全随机森林、极端随机森林以及分类和回归树森林组成，最后一层森林输出结果后，取最大值对应的字符作为待识别字符的最终的识别结果。不同层级间使用相同算法生成的森林不完全相同，每一层的森林完全不相同。

需要说明的是：

首先，单个待识别字符的图像，在图6中就是N*N的输入，也相当于本发明的算法的原始输入。用尺寸不同的窗口对上述输入进行一个滑动切割的操作，以Y*Y的窗口为例，在切割的操作完成后，会得到N个大小为Y*Y的实例，接着将每个实例作为输入给到随机森林，得到一个长度为C的概率向量。C的长度与待识别字符有关，例如，待识别字符可能是0至9这十个数字中的一个，则C的长度就是10，待识别字符可能是0至9以及A到Z中的一个，则C的长度就是36,。这样可以得到N个长度为C的概率向量，将这N个概率向量像链条一样拼接起来，就可以得到一个长度为N*C的概率向量，这里用M表示。

接着，如图5所示，上述方法中，所述多粒度多类别级联森林包括中间部和位于中间部后方的最终部。最终部包括1层森林，该层森林由完全随机森林、极端随机森林以及分类和回归树森林组成。中间部由N组森林组成，每组森林包括三层森林，分别为第一层森林，第二层森林和第三层森林。上述每层森林都由完全随机森林、极端随机森林以及分类和回归树森林组成。上述三个概率向量分别为第一概率向量，第二概率向量和第三概率向量，三个概率向量分别与每组森林的三层森林一一对应，也就是第一概率向量与每组森林中的第一层森林对应，第二概率向量与每组森林中的第二层森林对应，第三概率向量与每组森林中的第三层森林对应。例如，图5中，第一概率向量My与1A层森林对应，第二概率向量Mx与1B层森林对应，第三概率向量Mz与1C层森林对应，图中虚线给出了对应关系。其中，1A层森林、1B层森林和1C层森林共同组成第一组森林。相应的，第二组森林为2B层森林、2B层森林和2C层森林，My与2B层森林对应，Mx与2B层森林对应，Mz与2C层森林对应。以此类推直至NC层。

如图5和图6所示，将My作为输入，给到1A层森林，1A层森林的三片不同森林对于My的处理结果依次为a1、b1和c1。再将a1、b1、c1与My依次相连，并作为输入，给到1B层。例如，以0至9这十个数字为例，从图5中可以看出，a1是极端随机森林对于My的处理结果，b1是分类与回归树森林对于My的处理结果，c1是完全随机森林对于My的处理结果，a1,b1和c1都是长度为10的概率向量。“依次相连”指的是将a1、b1和c1像链条一样连接起来，然后再和My相连，得到一个长度为(30+N*C)的向量。1B层森林的三片不同森林对于输入的处理结果依次为a2、b2和c2，再将a2、b2和c2和Mx依次相连，作为输入给到级联森林的1C层森林，1C层森林的三片不同森林对于输入的处理结果依次为a3,b3和c3，再将a3、b3和c3与Mz依次相连，作为输入给到2A层森林，2A层的处理结果分别依次相连在与My相连，作为输入给到2B层森林，以此类推，直到最后一层，也就是NC层森林。NC层森林的输出作为输入给到最终部对应的三片不同的森林，将三片森林的输出分别乘上对应森林的权重，得到三组向量，再将三组向量对应位置的概率相加，得到一组向量，选择最大概率对应的字符作为最后的输出。

以下举例说明最后结果输出的过程：

如图5所示，以待识别字符可能是0至9这十个数字中的一个为例。实际中，车牌号是数字加字母组成，与该例子类似。将第NC层的输出作为输入给到第NC层后面的最终部对应的一层森林，该层森林也由三片森林组成，分别是极端随机森林，分类与回归森林和完全随机森林。该森林处理后的输出结果如表1所示。

表1

极端随机森林	分类与回归森林	完全随机森林
			0.15	0.12	0.16
0.23	0.18	0.22
			0.46	0.33	0.21
0.29	0.34	0.15
			0.79	0.83	0.96
0.17	0.09	0.11
			0.33	0.17	0.22
0.27	0.11	0.21
			0.31	0.25	0.16
0.17	0.21	0.18

设上述三片森林对应的权重分别为：极端随机森林为0.2；分类与回归森林为0.6；完全随机森林为0.2。这里的权重只是举例说明。再将每片森林的处理结果乘上该森林的权值，得到表2的结果。

表2

每片森林对应的结果即一组向量，再将三组向量各对应位置上的值相加，得到表3的结果。

表3

概率	字符
		0.134	0
0.198	1
		0.332	2
0.292	3
		0.848	4
0.11	5
		0.212	6
0.162	7
		0.244	8
0.196	9

由表3可以看出，最大的概率为0.848，因此，该概率对应的字符“4”作为待识别字符的识别结果，也就是车牌上的某个待识别字符经识别后认为该字符为“4”。

需要说明的是，在字符识别阶段，主流的算法主要有基于模板匹配的算法以及基于人工神经网络的算法，而当图像存在缺陷时，不论时那种算法，最终的识别效果都会受到不同程度的影响。本发明采用了最新算法多粒度级联森林的变体，多粒度多类别级联森林，利用深度模型在特征处理以及集成树模型在分类方面的优异性能，改善识别率。本发明与现有的车牌识别系统相比，改善了识别率以外，提高了系统的性能。

表4为对比实现数据。将本发明的方法与现有的传统的车牌识别算法进行比较，识别率如表4所示。

表4

算法	识别率
		gc-m-forest(本发明的方法)	99.56％
gcforest(多粒度级联森林)	99.16％
		LeNet-5	99.05％
Deep Belief Net(深度信念网络)	98.75％
		SVM(rbf kernel)(支持向量机)	98.60％
Random Forest(随机森林)	96.80％

由表4可以看出，在数据集Mnist上，Random Fores(随机森林)的准确率为96.80％，gcforest(gcforest由完全随机森林和随机森林组成)的准确率为99.16％，gc-m-forest(本发明的方法)的准确率为99.56％，所以针对集成学习来讲，弱学习的差异性将有助于提高算法的性能，且不同层级间使用相同算法生成的森林不完全相同，每一层的森林完全不相同，级联森林中的每一层都是依据分类和回归树算法，极端随机树算法和完全随机树算法这三种算法生成对应的分类和回归树树，完全随机树以及极端随机树，进而在每一层形成三片不同的森林，分别是分类和回归树森林，极端随机森林以及完全随机森林，所以每一层的森林完全不相同。因为即使是使用相同的算法，具体的每一棵树在生成的过程中，由于在每个节点选择的分裂属性不尽相同，所以不同层级间，使用相同算法生成的森林会不完全相同。如图7所示，第一层中的三片森林完全不相同，第一层到第N层之间，各层的分类和回归树森林，极端随机森林以及完全随机森林不完全相同。

如图2所示，本发明的实施例还提供了一种车牌识别系统，包括：

图像采集装置，用于获取车辆图像；

图像处理装置，所述车牌图像处理装置包括：

图像预处理单元，用于对车牌图像进行预处理，例如，识别车牌的颜色，黄色车牌，蓝色车牌等等，并将图像转化为灰度图。

车牌定位单元，所述车牌定位单元用于从车辆图像上获取车牌图像，也就是将车牌这一小块长方形区域从一整幅图像中截取出来。

字符分割单元，所述字符分割单元用于将车牌图像运用字符分割算法，将车牌图像分割为若干个单独的待识别字符。

字符识别单元，所述字符识别单元用于将各个单独的待识别字符依次输入到训练好的多粒度多类别级联森林中，进行识别，并将最后的识别结果输出。

其中，图像采集装置可包括补助光源、触发传感器以及图像采集装置，图像采集装置可以为摄像头。当车辆靠近触发传感器后，触发传感器产生触发信号，图像采集装置对车辆图像进行采集。采集后，将车辆图像发送给图像处理装置进行处理。

本发明的实施例还提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行所述的车牌识别方法对应的操作。

本发明的实施例还提供了一种计算机装置，包括：处理器、存储器、通信接口和通信总线，所述处理器、存储器和通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行所述的车牌识别方法对应的操作。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种车牌识别方法，其特征在于，包括：

构建多粒度多类别级联森林，通过数据集对所述多粒度多类别级联森林进行训练；

获取待识别的车牌图像；

运用字符分割算法，将车牌图像分割为若干个单独的待识别字符；

将各个单独的待识别字符依次输入到训练好的多粒度多类别级联森林中，进行识别，并将最后的识别结果输出。

2.根据权利要求1所述的车牌识别方法，其特征在于，所述多粒度多类别级联森林包括多粒度扫描以及级联多类别森林。

3.根据权利要求2所述的车牌识别方法，其特征在于，所述级联多类别森林的每一层由完全随机森林、极端随机森林以及分类和回归树森林组成。

4.根据权利要求2所述的车牌识别方法，其特征在于，所述多粒度扫描为对每一个单独的待识别字符用三个不同尺寸的窗口进行切片操作，得到三组不同大小的实例，将每一组实例作为输入给到随机森林，得到三组链式数据。

5.根据权利要求1所述的车牌识别方法，其特征在于，所述将各个单独的待识别字符依次输入到多粒度多类别级联森林中，进行识别，并将最后的识别结果输出包括：

对每一个单独的待识别字符，用三个不同尺寸的窗口进行切片操作，得到三组不同大小的实例；

将每一组实例作为输入给到随机森林，得到三组链式数据，三组链式数据分别形成三个概率向量；

将三个概率向量作为多粒度多类别级联森林的输入，所述多粒度多类别级联森林的每一层的森林由完全随机森林、极端随机森林以及分类和回归树森林组成，最后一层森林输出结果后，取最大值对应的字符作为待识别字符的最终的识别结果。

6.一种车牌识别系统，其特征在于：包括：

图像采集装置，用于获取车辆图像；

图像处理装置，所述车牌图像处理装置包括：

图像预处理单元；

车牌定位单元，所述车牌定位单元用于从车辆图像上获取车牌图像；

字符分割单元，所述字符分割单元用于将车牌图像运用字符分割算法，将车牌图像分割为若干个单独的待识别字符；

字符识别单元，所述字符识别单元用于将各个单独的待识别字符依次输入到训练好的多粒度多类别级联森林中，进行识别，并将最后的识别结果输出。

7.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1至5中任意一项所述的车牌识别方法对应的操作。

8.一种计算机装置，包括：处理器、存储器、通信接口和通信总线，所述处理器、存储器和通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1至5中任意一项所述的车牌识别方法对应的操作。