CN105631445A - 中文车牌字符识别方法及系统 - Google Patents

Abstract

本发明公开了一种中文车牌字符识别方法及系统，其中方法包括以下步骤：对训练图像和测试图像进行尺度归一化,其中，训练图像和测试图像中均包含有中文车牌字符；根据中文车牌字符中不同类型字符的位置，采用不同维数的LBP算法，计算归一化后的测试图像和训练图像中的各位置区域的LBP特征向量；对训练图像中的各位置区域的LBP特征向量进行训练，得到适合于不同类型字符的MLP字符模型；将测试图像中的各位置区域的LBP特征向量输入MLP字符模型中，对测试图像中包含的中文车牌字符进行分类识别。本发明提供的中文车牌字符识别方法及系统，识别准确率高、速度快。

Description

中文车牌字符识别方法及系统

技术领域

本发明涉及模式识别技术领域，特别是涉及一种中文车牌字符识别方法及系统。

背景技术

目前，智能交通系统(IntelligentTransportationSystem,ITS)在车辆管理系统中越来越流行，从而减少了不少人力、物力和财力，同时有效改进了交通安全。车牌识别系统作为智能交通系统的核心部分，通常由三步构成，分别是车牌定位、字符分割以及字符识别。

现有技术中，通常采用局部二值模式(LocalBinaryPattern,LBP)特征作为车牌图像各位置处的特征，LBP特征通过对当前位置处的像素点与邻域像素的取值关系进行编码，从而获得当前位置处的像素点与其邻域像素点所构成的位置区域的纹理特征，进而基于各位置区域的纹理特征来识别车辆图像中是否包含应有的车牌字符。

LBP特征能够在一定程度上反应每个像素点的邻域特征。但是，由于中文车牌字符图像通常包括汉字字符、字母以及阿拉伯数字，具有较复杂的纹理。所以，采用现有的3×3邻域的LBP特征无法准确反映出包含有多种字符的图像特征，从而导致中文车牌字符图像识别的准确性不高，而且速度较慢。

发明内容

基于此，有必要针对现有技术的缺陷和不足，提供一种中文车牌字符识别方法及系统，能够快速、准确地对中文车牌字符进行识别。

为实现本发明目的而提供的中文车牌字符识别方法，包括以下步骤：

S100，对训练图像和测试图像进行尺度归一化,其中，所述训练图像和所述测试图像中均包含有中文车牌字符；

S200，根据所述中文车牌字符中不同类型字符的位置，采用不同维数的LBP算法，计算归一化后的所述测试图像和所述训练图像中的各位置区域的LBP特征向量；

S300，对所述训练图像中的各位置区域的LBP特征向量进行训练，得到适合于不同类型字符的MLP字符模型；

S400，将所述测试图像中的各位置区域的LBP特征向量输入所述MLP字符模型中，对所述测试图像中包含的中文车牌字符进行分类识别。

在其中一个实施例中，所述步骤S200包括以下步骤：

S210，对尺度归一化后的所述测试图像和所述训练图像中的各位置区域进行分块；其中，所述测试图像和所述训练图像中包含的中文车牌字符的第一位字符所在的位置区域分块的数目大于其他字符所在的位置区域分块的数目；

S220，提取同一个位置区域分块后的各分块图像的LBP特征，计算各分块图像的LBP直方图；根据每一个位置区域内所有的分块图像的LBP直方图得到所述测试图像和所述训练图像中的各位置区域的LBP特征向量。

在其中一个实施例中，所述步骤S300包括以下步骤：

S310，采用反向传播算法，对所述训练图像中的各位置区域的LBP特征向量进行训练，得到适合于不同类型字符的MLP字符模型。

其中，所述MLP字符模型包括汉字MLP模型、字母MLP模型、数字MLP模型以及字母数字MLP模型。

在其中一个实施例中，所述步骤S400包括以下步骤：

S410，将所述测试图像中包含的中文车牌字符的第一位字符所在的位置区域的LBP特征向量输入所述汉字MLP模型，进行分类识别；

S420，将所述测试图像中包含的中文车牌字符中的除第一位字符以外的其他字符所在的位置区域的LBP特征向量分别输入所述字母MLP模型、数字MLP模型或字母数字MLP模型，进行分类识别。

在其中一个实施例中，所述步骤S420包括以下步骤：

S421，若所述字母MLP模型与所述字母数字MLP模型对当前字符所在的位置区域的LBP特征向量的分类结果一致，则判断所述当前字符为字母；

S422，若所述数字MLP模型与所述字母数字MLP模型对当前字符所在的位置区域的LBP特征向量的识别结果一致，则判断所述当前字符为数字。

相应地，基于统一发明构思，本发明还提供一种中文车牌字符识别系统，包括图像归一化模块、特征向量提取模块、字符模型训练模块以及字符识别模块；

所述图像归一化模块，用于对训练图像和测试图像进行尺度归一化,其中，所述训练图像和所述测试图像中均包含有中文车牌字符；

所述特征向量提取模块，用于根据所述中文车牌字符中不同类型字符的位置，采用不同维数的LBP算法，计算归一化后的所述测试图像和所述训练图像中的各位置区域的LBP特征向量；

所述字符模型训练模块，用于对所述训练图像中的各位置区域的LBP特征向量进行训练，得到适合于不同类型字符的MLP字符模型；

所述字符识别模块，用于将所述测试图像中的各位置区域的LBP特征向量输入所述MLP字符模型中，对所述测试图像中包含的中文车牌字符进行分类识别。

在其中一个实施例中，所述特征向量提取模块包括位置区域分块单元和特征向量计算单元；

所述位置区域分块单元，用于对尺度归一化后的所述测试图像和所述训练图像中的各位置区域进行分块；其中，所述测试图像和所述训练图像中包含的中文车牌字符的第一位字符所在的位置区域分块的数目大于其他字符所在的位置区域分块的数目；

所述特征向量计算单元，用于提取同一个位置区域分块后的各分块图像的LBP特征，计算各分块图像的LBP直方图；根据每一个位置区域内所有的分块图像的LBP直方图得到所述测试图像和所述训练图像中的各位置区域的LBP特征向量。

在其中一个实施例中，所述字符模型训练模块包括反向传播训练单元；

所述反向传播训练单元，用于采用反向传播算法，对所述训练图像中的各位置区域的LBP特征向量进行训练，得到适合于不同类型字符的MLP字符模型。

其中，所述MLP字符模型包括汉字MLP模型、字母MLP模型、数字MLP模型以及字母数字MLP模型。

在其中一个实施例中，所述字符识别模块包括汉字分类单元以及字母数字分类单元；

所述汉字分类单元，用于将所述测试图像中包含的中文车牌字符的第一位字符所在的位置区域的LBP特征向量输入所述汉字MLP模型，进行分类识别；

所述字母数字分类单元，用于将所述测试图像中包含的中文车牌字符中的除第一位字符以外的其他字符所在的位置区域的LBP特征向量分别输入所述字母MLP模型、数字MLP模型或字母数字MLP模型，进行分类识别。

在其中一个实施例中，所述字母数字分类单元包括第一判断子单元和第二判断子单元；

所述第一判断子单元，用于在所述字母MLP模型与所述字母数字MLP模型对当前字符的识别结果一致时，判断所述当前字符为字母；

所述第二判断子单元，用于在所述数字MLP模型与所述字母数字MLP模型对当前字符的识别结果一致时，判断所述当前字符为数字。

本发明的有益效果：本发明提供的中文车牌字符识别方法及系统，采用不同维数的LBP算法有针对性的计算归一化后的测试图像和训练图像中的各位置区域的LBP特征向量，并采用多层感知器对不同种类的字符进行训练，得到适合于不同类型字符的MLP字符模型，对中文车牌图像中的汉字、数字和字母进行分类识别。其结合了LBP算法与多层感知器的优势，识别准确率高、速度快。

附图说明

为了使本发明的中文车牌字符识别方法及系统的目的、技术方案及优点更加清楚明白，以下结合具体附图及具体实施例，对本发明的中文车牌字符识别方法及系统进行进一步详细说明。

图1为本发明的中文车牌字符识别方法的一个实施例的流程图；

图2为基本LBP算子的运算示意图；

图3a为本发明的中文车牌字符识别方法的一个实施例的汉字字符LBP分块示意图；

图3b为图3a所示实施例中的字母字符LBP分块示意图；

图3c为图3a所示实施例中的数字字符LBP分块示意图；

图4为本发明的中文车牌字符识别方法的一个实施例中的多层感知器的拓扑结构图；

图5为本发明的中文车牌字符识别系统的一个实施例的结构示意。

具体实施方式

下面将结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示，本发明提供的一实施例的中文车牌字符识别方法，包括以下步骤：

S100，对包含有中文车牌字符的训练图像和测试图像进行尺度归一化。归一化可以采用插值方法，其归一化的尺度可根据训练图像和测试图像中的中文车牌字符的大小适当选择。其中，测试图像即为待识别的中文车牌字符图像。

S200，根据中文车牌字符中不同类型字符的位置，采用不同维数的LBP算法，计算归一化后的测试图像和训练图像中的各位置区域的LBP特征向量。

例如，采用最基本的3×3邻域的LBP算法，计算测试图像和训练图像中的对应的数字或字母所在的位置区域的LBP特征向量，能够准确反映出数字字符或字母字符的图像特征。但是对于汉字字符，由于其纹理较复杂，继续采用最基本的3×3邻域的LBP算法进行处理，就很难准确反映出汉字字符的图像特征。所以，本发明中采用维数扩展后的LBP算法，例如，4×4邻域LBP算法或者10×10邻域LBP算法等不同维数的LBP算法，计算测试图像和训练图像中汉字字符所在的位置区域的LBP特征向量，能够准确反映出汉字字符的图像特征。

S300，采用多层感知器(Multi-layerPerceptron，MLP)对训练图像中的各位置区域的LBP特征向量进行训练，得到适合于不同类型字符的MLP字符模型。

本实施例中的MLP字符模型包括汉字MLP模型、字母MLP模型、数字MLP模型以及字母数字MLP模型。

多层感知器是一种人工神经网络，其结构类似于一套级联的感知器，使用输入与输出之间的多层加权连接。多层感知器是建立在单层感知器的基础上的，相比于单层感知器，中间多了一些隐含层。MLP可处理非线性问题，增加了感知器的表现能力。

S400，将测试图像中的各位置区域的LBP特征向量输入MLP字符模型中，对测试图像中包含的中文车牌字符进行分类识别。

需要说明的是，基本的LBP算法应用于图像的局部，对于一幅图像的每个像素，一个3x3的窗口被放在以该点为中心的位置上。将该点的八邻域内的像素灰度值与中心点像素灰度进行比较，若大于则输出1，反之输出0。这样，按特定顺序将所得到八个二进制数组合，即可得到一个八位的二进制数，进而转换为一个十进制数。这个数字最终作为该点像素的标签，表示出基本LBP算法在此像素点的输出，如图2所示。

现有的车牌字符识别系统就是采用最基本的3×3邻域的LBP特征，无法准确反映出包含有多种字符的图像特征，从而导致中文车牌字符图像识别的准确性不高，而且速度较慢。本发明主要根据中文车牌字符的特点对基本的LBP算法进行了改进。

目前的中文车牌一般包括3种不同类型的字符，分别为汉字字符、字母字符以及数字字符。而且现有的中文车牌第一位为汉字，后面几位为字母、数字或字母数字的组合(目前，中国的车牌号为7位，第一位为汉字，第二位为大写字母，后五位为数字或字母与数字的组合)。其中，位于第一位的汉字纹理最复杂，后几位的字母和数字的纹理相对简单。

本发明根据这一特点，采用不同维数的LBP算法(即图像中各位置区域的分块数目不完全相同)有针对性的计算归一化后的测试图像和训练图像中的各位置区域的LBP特征向量。由于LBP算法的计算复杂度低，使用LBP算法描述的图像特征可反映出局部区域的纹理关系，其具有尺度不变和旋转不变性，所以大大提升了字符识别的准确度和速度。在此基础上采用MLP(多层感知器)对不同种类的字符进行训练，得到适合于不同类型字符的MLP字符模型，对中文车牌图像中的汉字、数字和字母进行分类识别，进一步提升了字符识别的准确度。

具体地，步骤S200包括以下步骤：

S210，对尺度归一化后的测试图像和训练图像中的各位置区域进行分块；其中，测试图像和训练图像中包含的中文车牌字符的第一位字符所在的位置区域分块的数目大于其他字符所在的位置区域分块的数目。

S220，提取同一个位置区域分块后的各分块图像的LBP特征，计算各分块图像的LBP直方图；根据每一个位置区域内所有的分块图像的LBP直方图得到测试图像和训练图像中的各位置区域的LBP特征向量。

举例说明如下：首先将包含有中文车牌字符的训练图像和测试图像均归一化到NxN，然后将其中的汉字字符(位于第一位)所在的位置区域分割成4x4块，则每块的大小为(N/4)x(N/4)，如图3a所示；将数字字符和字母字符(位于非第一位)所在的位置区域分割成3x3块，则每块的大小为(N/3)x(N/3)，如图3b、3c所示。

对于每一小块图像，首先采用LBP算法提取特征，计算LBP直方图，再将每一个位置区域中的多个小块的直方图组合成一个新的向量，作为描述该位置区域的LBP特征向量(即位于该位置区域的字符的LBP特征向量)。这样将各个字符的特征点的位置信息也融入到了特征向量中，尤其是对于纹理复杂的汉字字符来说，此特征描述更全面有效。

步骤S300包括以下步骤：

S310，采用反向传播算法，对训练图像中的各位置区域的LBP特征向量进行训练，得到适合于不同类型字符的MLP字符模型。

MLP字符模型训练可以采用反向传播算法，如图4所示，将训练图像中的各位置区域的LBP特征向量从网络输入层输入，经隐含层处理后传入输出层。如果输出层未得到所期望的输出结果，则进行误差的反向传播，误差信号沿原连接路径返回。网络根据反向传播的误差信号修改各层连接权值，这样可以使识别误差达到最小。

在其中一个实施例中，步骤S400包括以下步骤：

S410，将测试图像中包含的中文车牌字符的第一位字符所在的位置区域的LBP特征向量输入汉字MLP模型，进行分类识别。

S420，将测试图像中包含的中文车牌字符中的除第一位字符以外的其他字符所在的位置区域的LBP特征向量分别输入字母MLP模型、数字MLP模型或字母数字MLP模型，进行分类识别。

步骤S420包括以下步骤：

S421，若字母MLP模型与字母数字MLP模型对当前字符所在的位置区域的LBP特征向量的分类结果一致，则判断当前字符为字母。

S422，若数字MLP模型与字母数字MLP模型对当前字符所在的位置区域的LBP特征向量的识别结果一致，则判断当前字符为数字。

本发明提供的中文车牌字符识别方法，通过对传统的LBP算法进行更改进，采用不同维数的LBP算法描述中文车牌中的不同类型的字符，并采用多层感知器分类算法识别字符，结合了LBP算法与多层感知器的优势，相比于传统的车牌字符识别方法，具有识别准确率高、速度快的特点。所以，本发明提供的中文车牌字符识别方法还可应用于要求实时性高、准确性高的智能交通系统，提升系统的整体性能。

基于同一发明构思，相应地本发明实施例还提供一种中文车牌字符识别系统，由于此系统解决问题的原理与前述中文车牌字符识别方法的实现原理相似，此系统的实施可以通过前述方法的具体过程实现，因此重复之处不再赘述。

参加图5，本发明一实施例提供的中文车牌字符识别系统，包括图像归一化模块100、特征向量提取模块200、字符模型训练模块300以及字符识别模块400；

图像归一化模块100，用于对训练图像和测试图像进行尺度归一化,其中，训练图像和测试图像中均包含有中文车牌字符；

特征向量提取模块200，用于根据中文车牌字符中不同类型字符的位置，采用不同维数的LBP算法，计算归一化后的测试图像和训练图像中的各位置区域的LBP特征向量；

字符模型训练模块300，用于对训练图像中的各位置区域的LBP特征向量进行训练，得到适合于不同类型字符的MLP字符模型；

字符识别模块400，用于将测试图像中的各位置区域的LBP特征向量输入MLP字符模型中，对测试图像中包含的中文车牌字符进行分类识别。

其中，特征向量提取模块200包括位置区域分块单元210和特征向量计算单元220；

位置区域分块单元210，用于对尺度归一化后的测试图像和训练图像中的各位置区域进行分块；其中，测试图像和训练图像中包含的中文车牌字符的第一位字符所在的位置区域分块的数目大于其他字符所在的位置区域分块的数目；

特征向量计算单元220，用于提取同一个位置区域分块后的各分块图像的LBP特征，计算各分块图像的LBP直方图；根据每一个位置区域内所有的分块图像的LBP直方图得到测试图像和训练图像中的各位置区域的LBP特征向量。

在其中一个实施例中，字符模型训练模块300包括反向传播训练单元310；

反向传播训练单元310，用于采用反向传播算法，对训练图像中的各位置区域的LBP特征向量进行训练，得到适合于不同类型字符的MLP字符模型。

其中，MLP字符模型包括汉字MLP模型、字母MLP模型、数字MLP模型以及字母数字MLP模型。

进一步地，字符识别模块400包括汉字分类单元410以及字母数字分类单元420；

汉字分类单元410，用于将测试图像中包含的中文车牌字符的第一位字符所在的位置区域的LBP特征向量输入汉字MLP模型，进行分类识别。

字母数字分类单元420，用于将测试图像中包含的中文车牌字符中的除第一位字符以外的其他字符所在的位置区域的LBP特征向量分别输入字母MLP模型、数字MLP模型或字母数字MLP模型，进行分类识别。

进一步地，字母数字分类单元420包括第一判断子单元421和第二判断子单元422；

第一判断子单元421，用于在字母MLP模型与字母数字MLP模型对当前字符的识别结果一致时，判断当前字符为字母。

第二判断子单元422，用于在数字MLP模型与字母数字MLP模型对当前字符的识别结果一致时，判断当前字符为数字。

本发明提供的中文车牌字符识别方法及系统，结合了LBP算法与MLP的优势，具有识别准确率高、速度快的特点。本发明提供的中文车牌字符识别方法和系统还可应用于要求实时性高、准确性高的智能交通系统，提升系统的整体性能。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种中文车牌字符识别方法，其特征在于，包括以下步骤：

S100，对训练图像和测试图像进行尺度归一化,其中，所述训练图像和所述测试图像中均包含有中文车牌字符；

S200，根据所述中文车牌字符中不同类型字符的位置，采用不同维数的LBP算法，计算归一化后的所述测试图像和所述训练图像中的各位置区域的LBP特征向量；

S300，对所述训练图像中的各位置区域的LBP特征向量进行训练，得到适合于不同类型字符的MLP字符模型；

S400，将所述测试图像中的各位置区域的LBP特征向量输入所述MLP字符模型中，对所述测试图像中包含的中文车牌字符进行分类识别。

2.根据权利要求1所述的中文车牌字符识别方法，其特征在于，所述步骤S200包括以下步骤：

S210，对尺度归一化后的所述测试图像和所述训练图像中的各位置区域进行分块；其中，所述测试图像和所述训练图像中包含的中文车牌字符的第一位字符所在的位置区域分块的数目大于其他字符所在的位置区域分块的数目；

S220，提取同一个位置区域分块后的各分块图像的LBP特征，计算各分块图像的LBP直方图；根据每一个位置区域内所有的分块图像的LBP直方图得到所述测试图像和所述训练图像中的各位置区域的LBP特征向量。

3.根据权利要求1或2所述的中文车牌字符识别方法，其特征在于，所述步骤S300包括以下步骤：

S310，采用反向传播算法，对所述训练图像中的各位置区域的LBP特征向量进行训练，得到适合于不同类型字符的MLP字符模型。

4.根据权利要求3所述的中文车牌字符识别方法，其特征在于，所述MLP字符模型包括汉字MLP模型、字母MLP模型、数字MLP模型以及字母数字MLP模型。

5.根据权利要求4所述的中文车牌字符识别方法，其特征在于，所述步骤S400包括以下步骤：

S410，将所述测试图像中包含的中文车牌字符的第一位字符所在的位置区域的LBP特征向量输入所述汉字MLP模型，进行分类识别；

S420，将所述测试图像中包含的中文车牌字符中的除第一位字符以外的其他字符所在的位置区域的LBP特征向量分别输入所述字母MLP模型、数字MLP模型或字母数字MLP模型，进行分类识别。

6.根据权利要求5所述的中文车牌字符识别方法，其特征在于，所述步骤S420包括以下步骤：

S421，若所述字母MLP模型与所述字母数字MLP模型对当前字符所在的位置区域的LBP特征向量的分类结果一致，则判断所述当前字符为字母；

S422，若所述数字MLP模型与所述字母数字MLP模型对当前字符所在的位置区域的LBP特征向量的识别结果一致，则判断所述当前字符为数字。

7.一种中文车牌字符识别系统，其特征在于，包括图像归一化模块、特征向量提取模块、字符模型训练模块以及字符识别模块；

所述图像归一化模块，用于对训练图像和测试图像进行尺度归一化,其中，所述训练图像和所述测试图像中均包含有中文车牌字符；

所述特征向量提取模块，用于根据所述中文车牌字符中不同类型字符的位置，采用不同维数的LBP算法，计算归一化后的所述测试图像和所述训练图像中的各位置区域的LBP特征向量；

所述字符模型训练模块，用于对所述训练图像中的各位置区域的LBP特征向量进行训练，得到适合于不同类型字符的MLP字符模型；

所述字符识别模块，用于将所述测试图像中的各位置区域的LBP特征向量输入所述MLP字符模型中，对所述测试图像中包含的中文车牌字符进行分类识别。

8.根据权利要求7所述的中文车牌字符识别系统，其特征在于，所述特征向量提取模块包括位置区域分块单元和特征向量计算单元；

所述位置区域分块单元，用于对尺度归一化后的所述测试图像和所述训练图像中的各位置区域进行分块；其中，所述测试图像和所述训练图像中包含的中文车牌字符的第一位字符所在的位置区域分块的数目大于其他字符所在的位置区域分块的数目；

所述特征向量计算单元，用于提取同一个位置区域分块后的各分块图像的LBP特征，计算各分块图像的LBP直方图；根据每一个位置区域内所有的分块图像的LBP直方图得到所述测试图像和所述训练图像中的各位置区域的LBP特征向量。

9.根据权利要求7或8所述的中文车牌字符识别系统，其特征在于，所述字符模型训练模块包括反向传播训练单元；

所述反向传播训练单元，用于采用反向传播算法，对所述训练图像中的各位置区域的LBP特征向量进行训练，得到适合于不同类型字符的MLP字符模型。

10.根据权利要求9所述的中文车牌字符识别系统，其特征在于，所述MLP字符模型包括汉字MLP模型、字母MLP模型、数字MLP模型以及字母数字MLP模型。

11.根据权利要求10所述的中文车牌字符识别系统，其特征在于，所述字符识别模块包括汉字分类单元以及字母数字分类单元；

所述汉字分类单元，用于将所述测试图像中包含的中文车牌字符的第一位字符所在的位置区域的LBP特征向量输入所述汉字MLP模型，进行分类识别；

所述字母数字分类单元，用于将所述测试图像中包含的中文车牌字符中的除第一位字符以外的其他字符所在的位置区域的LBP特征向量分别输入所述字母MLP模型、数字MLP模型或字母数字MLP模型，进行分类识别。

12.根据权利要求11所述的中文车牌字符识别系统，其特征在于，所述字母数字分类单元包括第一判断子单元和第二判断子单元；

所述第一判断子单元，用于在所述字母MLP模型与所述字母数字MLP模型对当前字符的识别结果一致时，判断所述当前字符为字母；

所述第二判断子单元，用于在所述数字MLP模型与所述字母数字MLP模型对当前字符的识别结果一致时，判断所述当前字符为数字。