CN109753914B - 一种基于深度学习的车牌字符识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车牌字符识别方法，属于车牌识别技术领域，包括构建深度神经网络模型，该深度神经网络模型包括基础网络、车牌字符分割网络和车牌字符识别网络，车牌字符分割网络和车牌字符识别网络共享基础网络；收集车牌样本图像，对所构建的深度神经网络模型进行训练，得到字符识别模型；利用字符识别模型，对待识别车牌图像进行车牌字符识别。本发明通过构建深度神经网络模型，直接完成车牌字符分割、字符识别，既保证了车牌字符识别结果的准确性，提高了车牌字符识别的速度。

Description

一种基于深度学习的车牌字符识别方法

技术领域

本发明涉及车牌识别技术领域，特别涉及一种基于深度学习的车牌字符识别方法。

背景技术

车牌识别是智能交通的核心技术，包含了两个大部分：车牌位置检测和车牌字符识别。其中，车牌字符识别是整个技术最重要的一部分，车牌字符识别引擎的质量，直接决定车牌识别技术的整体性能。

车牌字符识别是指在一幅已知车牌位置的图像中，准确无遗漏的识别出该车牌上的所有汉字、字符和数字，具体包括以下技术步骤：车牌位置校正、车牌字符分割、车牌字符识别等。

车牌位置校正是指对位置不理想的初检测车牌进行空间变换，使之成为理想位置的车牌，方便后续进行精确的字符分割，空间变换包括平移变换、旋转变换、缩放变换、错切变换、透视变换等，常用的校正方法有以下几类：

(1)基于直线检测的方法，代表方法有“基于hough直线检测的校正方法”和“基于radon直线检测的校正方法”，其原理是直接检测车牌上的直线，根据直线的倾斜角度进行车牌位置校正。

(2)基于遍历查找的方法，代表方法有“基于旋转投影的校正方法”。其原理是首先将车牌旋转到每一个允许的角度位置，然后进行投影获取相应的特征值，通过比较获取最佳的特征值，此时对应的角度就是最佳的车牌倾斜角度。

(3)基于特征分析的方法，代表方法有“基于主元分析的校正方法”、“基于最小二乘法的校正方法”，该类方法直接对灰度图像或者二值化图像进行整体的分析，获取整体意义上的最优校正参数。

车牌字符分割是指在一幅已知车牌位置的图像中，精确分割出每个单一字符，主要有以下几类方法：

(1)基于垂直投影的方法，该方法通过获取车牌字符的垂直投影曲线，依据曲线的波峰波谷位置，获取每个字符的边缘位置。

(2)基于连通区域分析的方法，该方法首先进行车牌图像二值化，利用单个字符都是单连通区域的特征进行分析，最终获取字符的位置。

(3)基于机器学习的方法，如“一种基于支持向量机的车牌字符分割方法”，该类方法通过获取车牌的布局规律特征，借助分类器进行训练学习，最终完成车牌字符的分割。

车牌字符识别是指对于已经精确分割的单个字符，识别出其真实的字母意义，常用的方法有以下几类：

(1)全局特征，该类特征采用全局变换来获取字符的整体特征，使用有序的整体特征或者子集特征来构成特征向量，常见的特征有GABOR变换特征、矩特征、投影特征、笔划密度特征、HARR特征、HOG特征等。这些特征的优点是对局部变化不敏感，抗干扰能力强；其缺点是容易忽略某些重要的局部特征，无法区分相似的字符。

(2)局部特征，该类特征是在字符的多个局部区域内，计算相应的特征，使用串联的有序局部特征构成最终的特征向量，主要特征包括局部灰度直方图特征、LBP特征、穿线特征、SIFT特征等。该类特征的优点是区分字符的能力强；其缺点是过分关注字符的局部特征，往往会错误区分具有噪声干扰的字符。

以上技术对于清晰的车牌图像，均可以达到很不错的效果，然而，实际环境中采集的车牌图像，往往存在分辨率较低、部分字符变浅或缺失、边缘模糊、字符倾斜等特点，使得准确地进行车牌位置校正、车牌字符分割、车牌字符识别变得很困难，甚至出现失效的情况，严重影响了车牌识别的整体性能。因此，如何准确鲁棒的识别车牌字符，依然是国内车牌识别系统的难点。

近年来，深度学习技术凭借着可以模拟人类大脑神经网络，能够进行精确的非线性预测，在各个领域都得到了广泛的关注和应用，但该技术的缺点是模型消耗内存很大，运算量很大，因此需要消耗大量的内存和运算能力。

发明内容

本发明的目的在于提供一种基于深度学习的车牌字符识别方法，以兼顾车牌字符识别准确率和识别速度。

为实现以上目的，本发明采用一种基于深度学习的车牌字符识别方法，包括如下步骤：

S1、构建深度神经网络模型，该深度神经网络模型包括基础网络base network、车牌字符分割网络location network和车牌字符识别网络recognition network，车牌字符分割网络和车牌字符识别网络共享基础网络；

S2、收集车牌样本图像，对所构建的深度神经网络模型进行训练，得到字符识别模型；

S3、利用所述字符识别模型，对待识别车牌图像进行车牌字符识别。

优选地，所述基础网络的输出是输入图像的高层特征层feature map，基础网络包括：卷积层conv0、最大值池化层pool0以及残差网络基础机构体；

卷积层conv0的输出接最大值池化层pool0，最大值池化层pool0的输出接残差网络基础机构体，经残差网络基础机构体输出输入图像的高层特征层feature map。

优选地，所述残差网络基础机构体数量为5个，包括resblock0、resblock1、resblock2、resblock3和resblock4；

残差网络基础机构体包括分支brance1、分支brance2和合并层eltsum，分支brance2包括brance2_0和brance2_1；

分支brance1、分支brance2和合并层eltsum均为卷积层，分支brance1和分支brance2的输出接入合并层eltsum。

优选地，所述基础网络中每一个卷积层后面均带有批量归一化BN层和非线性激活relu层。

优选地，所述车牌字符分割网络包括卷积层conv_rect0和q个字符位置矩形预测网络，卷积层conv_rect0的输出分别接q个字符位置矩形预测网络的输入；

所述基础网络的输出结果通过卷积层conv_rect0；

卷积层conv_rect0的输出结果分别经过q个字符位置矩形预测网络，得到q个字符的位置矩形。

优选地，所述字符位置矩形预测网络包括卷积层conv_loc和全连接层fc_loc；卷积层conv_loc的输入接所述卷积层conv_rect0的输出，卷积层conv_loc的输出接全连接层fc_loc。

优选地，所述车牌字符分割网络中每个卷积层后面均有批量归一化BN层和非线性激活relu层。

优选地，所述车牌字符识别网络包括感兴趣区域裁剪层roicrop、全连接层char_fc0和全连接层char_fc1；

所述基础网络的输出和所述q个字符位置矩形预测网络的输出分别接入感兴趣区域裁剪层roicrop的输入，感兴趣区域裁剪层roicrop的输出依次经全连接层char_fc0和全连接层char_fc1后输出车牌字符识别结果。

优选地，所述感兴趣区域裁剪层roicrop获取所述高层特征层feature map和所述q个字符的位置矩形并进行处理，包括：

计算所述基础网络的特征层总跨度；

根据所述q个字符的位置矩形，调整感兴趣区域尺寸，确定感兴趣区域；

对于每一个字符位置矩形，计算该矩形在所述高层特征层feature map上的对应位置区域，作为感兴趣区域的特征层区域位置；

在高层特征层feature map上，根据感兴趣区域的特征层区域位置提取对应的特征值，并放入特征向量中，得到特征向量。

优选地，所述步骤S2包括：

收集车牌图像作为车牌样本图像，并对车牌样本图像进行预整理，得到标注车牌字符位置矩形的局部车牌图像；

采用图像增强方法对预整理后的车牌样本图像进行扩充，并将扩充后的车牌样本图像作为车牌样本图像集合；

对车牌样本图像集合中的图像进行尺寸归一化操作，得到归一化后的图像；

利用归一化后的图像对所述深度神经网络模型进行训练，得到所述字符识别模型。

优选地，所述步骤S3包括：

对待识别车牌图像进行预整理，得到待识别车牌图像的局部车牌图像；

对待识别车牌图像的局部车牌图像进行归一化处理，得到归一化后的待识别车牌图像的局部车牌；

将归一化后的待识别车牌图像的局部车牌送入所述字符识别模型，得到待识别车牌图像的字符识别结果。

与现有技术相比，本发明存在以下技术效果：由于车牌字符具有明确的位置排列规则，同时车牌字符彼此之间具有一定的关联性，本发明通过构建深度神经网络模型，该深度神经网络模型不再严格意义上区分车牌字符分割、车牌字符识别等步骤，而是直接完成车牌字符分割、字符识别，传统意义上的多个车牌字符识别步骤只需一个深度神经网络模型即可完成，既保证了车牌字符识别结果的准确性，提高了车牌字符识别的速度。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是一种基于深度学习的车牌字符识别方法的流程示意图；

图2是车深度神经网络模型整体结构图；

图3是基础网络结构图；

图4是残差网络基础结构体结构图；

图5是车牌字符分割网络结构图；

图6是车牌字符位置矩形预测网络结构图；

图7是车牌字符识别网络结构图。

附图中，每个神经网络结构层图形左侧的标识，表示该网络结构的输出特征尺寸：特征层宽度×特征层高度×特征层通道数。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1至图2所示，本实施例公开了一种基于深度学习的车牌字符识别方法，包括如下步骤S1至S3：

S1、构建深度神经网络模型，该深度神经网络模型包括基础网络base network、车牌字符分割网络location network和车牌字符识别网络recognition network，车牌字符分割网络和车牌字符识别网络共享基础网络；

S2、收集车牌样本图像，对所构建的深度神经网络模型进行训练，得到字符识别模型；

S3、利用所述字符识别模型，对待识别车牌图像进行车牌字符识别。

需要说明的是，本实施例中构建的深度神经网络模型，其主要作用是借助一个综合深度神经网络模型，直接完成车牌字符分割和车牌字符识别等步骤的工作，输出整体最优的字符识别结果。由于不再刻意区分车牌字符分割、车牌字符识别等步骤，使得整个车牌字符识别速度更快，误差来源更少，识别精度更高。

需要说明的是，本实施例采用的深度神经网络是卷积神经网络(CNN)，凭借着局部稀疏连接和权值共享，是图像处理领域应用最普遍的深度神经网络。

优选地，在实际应用中，所处理的对象是车牌字符识别，这是一种很特殊的图像处理对象：首先图像上的车牌具有特定的长宽比例，其次车牌字符具有明确的位置排列规则，不同字符之间具有一定的相关性。因此，综合考虑了车牌字符识别任务的特殊性和卷积神经网络的计算能力，采用改进的ResNet经典网络作为深度神经网络模型的基础网络。基础网络主要用于获取输入图像的具有高度抽象和丰富表达能力的高层特征，高层特征提取的质量直接影响后续字符识别的性能。

如图2至图3所示，基础网络包括：卷积层conv0、最大值池化层pool0以及5个残差网络基础机构体。基础网络的输入图像是一幅宽度是192像素高度是64像素的3通道RGB图像，输出是高层特征层feature map。其中：conv 0是核尺寸为3x3，跨度为2的卷积层，pool0是核尺寸为2x2，跨度为2的最大值池化层。

如图4所示，残差网络基础机构包括包括分支brance1、分支brance2和合并层eltsum，eltsum是不同分支对应元素相加的合并层。其中：

在残差网络基础机构体resblock0、resblock2、resblock4中，分支brance1是核尺寸为1x1，跨度为1的卷积层，分支brance2里的brance2_0、brance2_1均是核尺寸为3x3，跨度为1的卷积层。

在残差网络基础机构体resblock1里，分支brance1是核尺寸为1x1，跨度为2的卷积层，分支brance2里的brance2_0是核尺寸为3x3，跨度为2的卷积层，分支brance2里的brance2_1是核尺寸为3x3，跨度为1的卷积层。

在残差网络基础机构体resblock3里，分支brance1是核尺寸为1x1，高度方向跨度为2，宽度方向跨度为1的卷积层，分支brance2的brance2_0是核尺寸为3x3，高度方向跨度为2，宽度方向跨度为1的卷积层，分支brance2的brance2_1是核尺寸为3x3，跨度为1的卷积层。

需要说明的是，在本实施例中，如无特殊说明，跨度指的是同时包含高度方向跨度和宽度方向跨度。

较为优选地，在基础网络中，每一个卷积层后面均带有批量归一化BN层和非线性激活relu层。

优选地，本实施例中字符分割网络的作用主要是在基础网络提取的高层特征层feature map的基础上，检测出每个字符的位置矩形，进而辅助和提升后续的字符识别性能。综合考虑了车牌字符位置的特殊性和卷积神经网络的计算能力，基于faster rcnn经典网络模型的rpn网络结构思想，采用改进后的多任务回归分析的深度神经网络结构。

如图5所示，车牌字符分割网络包括卷积层conv_rect0和q个字符位置矩形预测网络，卷积层conv_rect0的输出分别接是q个字符位置矩形预测网络的输入。获取的高层特征层feature map首先经过一个核尺寸为3x3，跨度为2的卷积层conv_rect0，然后分别经过7个字符位置矩形预测网络loc0、loc1、loc2、loc3、loc4、loc5、loc6，输出7个字符位置矩形。

具体地，如图6所示，字符位置矩形预测网络包括卷积层conv_loc和全连接层fc_loc；卷积层conv_loc的输入接所述卷积层conv_rect0的输出，卷积层conv_loc的输出接全连接层fc_loc。其中：conv_loc是核尺寸为3x3，跨度为2的卷积层，fc_loc是预测字符位置矩形的全连接层。

需要说明的是，在车牌字符分割网络中，每一个卷积层后面均带有批量归一化BN层和非线性激活relu层，每一个全连接层后面带有非线性激活relu层。

优选地，车牌字符识别网络主要是基于字符分割网络获取的字符位置矩形的基础上，识别出字符的真实意义，进而输出整个车牌字符识别结果，该网络基于faster rcnn经典网络模型的RoiPool的思想，综合使用字符分割网络获取的字符位置矩形和基础网络输出的特征层，采用多任务分类的深度神经网络结构，获取字符的识别结果，

如图7所示，车牌字符识别网络包括感兴趣区域裁剪层roicrop、全连接层char_fc0和全连接层char_fc1；基础网络的输出和q个字符位置矩形预测网络的输出分别接入感兴趣区域裁剪层roicrop的输入，感兴趣区域裁剪层roicrop的输出依次经全连接层char_fc0和全连接层char_fc1后输出车牌字符识别结果。另外，每一个卷积层后面均带有批量归一化BN层和非线性激活relu层，每一个全连接层后面带有非线性激活relu层。

本实施例中，在基础网络输出的高层特征层feature map和q个字符位置矩形预测网络输出的字符位置矩形的基础上，经过一个感兴趣区域(roi)裁剪层roicrop，在高层特征层feature map上分别提取出每一个字符位置矩形区域对应的高层特征区域，然后经过2个全连接层char_fc0、char_fc1，分别输出每一个字符位置矩形对应的字符识别结果，串联所有的字符识别结果，即是最终的车牌字符识别结果。

具体地，感兴趣区域(roi)裁剪层roicrop的具体实现过程包括以下步骤S131至S134：

S131、计算基础网络的特征层总跨度：

基础网络的总跨度S等于基础网络内所有层的跨度乘积；

S132、调整感兴趣区域尺寸：

由于获取的q个字符位置矩形的尺寸存在差异，需要统一所有字符的位置矩形尺寸。本实施例通过获取其中最大位置矩形的尺寸，将剩下的字符位置矩形均统一到该矩形尺寸；

S133、计算感兴趣区域的特征层区域：

对于每一个字符位置矩形，计算该矩形在高层特征层feature map上的对应位置区域。主要方法是字符位置矩形除以总跨度S，所得的位置矩形就是高层特征层featuremap上的对应矩形区域，由于该矩形区域坐标可能存在小数形成，所以统一采用向上取整。

S134、提取感兴趣区域的特征向量：

在高层特征层feature map上，依据步骤S133获取的感兴趣区域的特征层区域位置，提取对应的特征值，并放入特征向量中。

由于不同车牌的字符位置矩形尺寸大小不一样，导致特征向量的长度存在差异，为了解决这种情况，对于长度较短的特征向量，进行填充0元素，使得最终的特征向量长度是统一的。

优选地，设计完成深度神经网络模型后，接下来就是收集各种情景下的车牌样本图像，进一步整理图像后，送入深度神经网络模型，学习相关的模型参数。上述步骤S2：收集车牌样本图像，对所构建的深度神经网络模型进行训练，得到字符识别模型。具体步骤如下：

S21、收集车牌图像：

主要是收集各种场景，各种光线、各种角度下的车牌图像。

S22、整理车牌图像：

主要是在整幅图像中，检测出车牌所在的位置，通过裁剪操作把局部车牌图像从整幅图中提取出来并保存，主要使用现有的成熟方法。

S23、标注车牌字符位置矩形：

主要方法是使用现有的车牌字符分割技术进行车牌字符位置矩形的分割定位，然后人工进行审核，对于错误的字符位置矩形进行校正；

S24、扩展车牌图像：

主要方法是采用目前常用的图像增强方法，包括：各种平移变换、旋转变换、缩放变换、错切变换、透视变换、颜色变换，对整理后的车牌图像进行变换操作，扩充车牌图像样本库；

S25、车牌图像归一化：

主要是对车牌图像集合进行尺寸归一化操作，把所有的车牌图像缩放到固定的尺寸，主要采用双线性插值算法，公式如下：

其中，(x,y)表示待求RGB值的像素坐标，(x₁,y₁)、(x₂,y₁)、(x₁,y₂)、(x₂,y₂)表示距离像素(x,y)最近的四个已知BGR值的像素坐标，g(x,y)表示像素(x,y)的RGB值，*表示乘积。

S26、训练深度神经网络模型：

优选地，把整理好的归一化车牌图像集合送入定义好的深度神经网络模型，学习相关的模型参数。训练时，首先训练字符分割网络，然后在联合训练字符分割网络和字符识别网络，这种分阶段训练方法有助于整个深度神经网络模型的收敛，获得更好的学习参数。

优选地，车牌字符分割网络的目标损失函数是由7个字符位置矩形预测网络的目标损失函数平均加权求和得来，而每个字符位置矩形预测网络的目标损失函数采用的是常用的均方差损失函数，字符识别网络的目标损失函数采用的是常用的多类交叉熵损失函数。

优选地，使用深度神经网络模型，训练完深度神经网络模型后，接下来就是在实际环境中进行模型使用，对于任意给出的一幅车牌图像，首先进行车牌位置检测，然后把尺寸归一化后的局部车牌图像送入训练好的深度神经网络模型，输出车牌字符识别结果，上述步骤S3具体包括如下细分步骤S31至S32：

S31、检测局部车牌图像：

主要是在整幅图像中，检测出车牌所在的位置，通过裁剪操作把局部车牌图像从整幅图中提取出来，并进行图像尺寸归一化，主要方法是使用现有的成熟方法。

S32、识别车牌字符：

主要方法是把归一化后的局部车牌图像，送入训练好的深度神经网络模型，最终的输出结果就是最优的车牌字符识别结果，此时，字符分割网络只是一个中间结果，辅助进行字符识别。

需要说明的是，本发明通过构建一个一体化深度神经网络模型，直接完成车牌字符分割、车牌字符识别等工作，输出整体最优的字符识别结果。不再严格意义上区分车牌位置校正、车牌字符分割、车牌字符识别等步骤，多个车牌字符识别步骤只需一个深度神经网络模型即可完成。识别速度更快，误差来源更少，识别结果更加准确，对于污损、粘连、字符缺失、定位不够精确的低质量车牌图像，鲁棒性更强。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的车牌字符识别方法，其特征在于，包括如下步骤：

S1、构建深度神经网络模型，该深度神经网络模型包括基础网络、车牌字符分割网络和车牌字符识别网络，车牌字符分割网络和车牌字符识别网络共享基础网络；

所述基础网络包括依次连接的卷积层conv0、最大值池化层pool0以及残差网络基础机构体，残差网络基础机构体包括均为卷积层的分支brance1、分支brance2和合并层eltsum，分支brance1和分支brance2的输出接入合并层eltsum；

所述车牌字符分割网络包括卷积层conv_rect0和q个字符位置矩形预测网络，卷积层conv_rect0的输出分别接q个字符位置矩形预测网络的输入；所述字符位置矩形预测网络包括卷积层conv_loc和全连接层fc_loc；卷积层conv_loc的输入接所述卷积层conv_rect0的输出，卷积层conv_loc的输出接全连接层fc_loc；

所述车牌字符识别网络包括感兴趣区域裁剪层roicrop、全连接层char_fc0和全连接层char_fc1；所述基础网络的输出和所述q个字符位置矩形预测网络的输出分别接入感兴趣区域裁剪层roicrop的输入，感兴趣区域裁剪层roicrop的输出依次经全连接层char_fc0和全连接层char_fc1后输出车牌字符识别结果；其中所述感兴趣区域裁剪层roicrop用于获取所述q个字符的位置矩形在高层特征层feature map上的对应特征向量；

S2、收集车牌样本图像，对所构建的深度神经网络模型进行训练，得到字符识别模型；

S3、利用所述字符识别模型，对待识别车牌图像进行车牌字符识别。

2.如权利要求1所述的基于深度学习的车牌字符识别方法，其特征在于，所述基础网络的输出是输入图像的高层特征层feature map，卷积层conv0的输出接最大值池化层pool0，最大值池化层pool0的输出接残差网络基础机构体，经残差网络基础机构体输出输入图像的高层特征层feature map。

3.如权利要求2所述的基于深度学习的车牌字符识别方法，其特征在于，所述残差网络基础机构体数量为至少3个；

分支brance2包括brance2_0和brance2_1。

4.如权利要求3所述的基于深度学习的车牌字符识别方法，其特征在于，所述基础网络中每一个卷积层后面均带有批量归一化BN层和非线性激活relu层。

5.如权利要求1所述的基于深度学习的车牌字符识别方法，其特征在于，所述基础网络的输出结果通过卷积层conv_rect0；

卷积层conv_rect0的输出结果分别经过q个字符位置矩形预测网络，得到q个字符的位置矩形。

6.如权利要求1所述的基于深度学习的车牌字符识别方法，其特征在于，所述感兴趣区域裁剪层roicrop用于获取所述q个字符的位置矩形在高层特征层feature map上的对应特征向量，包括：

计算所述基础网络的特征层总跨度；

根据所述q个字符的位置矩形，调整感兴趣区域尺寸，确定感兴趣区域；

对于每一个字符位置矩形，计算该矩形在所述高层特征层feature map上的对应位置区域，作为感兴趣区域的特征层区域位置；

在高层特征层feature map上，根据感兴趣区域的特征层区域位置提取对应的特征值，并放入特征向量中。

7.如权利要求1所述的基于深度学习的车牌字符识别方法，其特征在于，所述步骤S2包括：

收集车牌图像作为车牌样本图像，并对车牌样本图像进行预整理，得到标注车牌字符位置矩形的局部车牌图像；

采用图像增强方法对预整理后的车牌样本图像进行扩充，并将扩充后的车牌样本图像作为车牌样本图像集合；

对车牌样本图像集合中的图像进行尺寸归一化操作，得到归一化后的图像；

利用归一化后的图像对所述深度神经网络模型进行训练，得到所述字符识别模型。

8.如权利要求1所述的基于深度学习的车牌字符识别方法，其特征在于，所述步骤S3包括：

对待识别车牌图像进行预整理，得到待识别车牌图像的局部车牌图像；

对待识别车牌图像的局部车牌图像进行归一化处理，得到归一化后的待识别车牌图像的局部车牌；

将归一化后的待识别车牌图像的局部车牌送入所述字符识别模型，得到待识别车牌图像的字符识别结果。

Images