CN109766805A - 一种基于深度学习的双层车牌字符识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的双层车牌字符识别方法，本发明涉及车牌识别技术领域，双层车牌字符识别方法包括如下步骤：构建深度神经网络模型，该深度神经网络模型包括字符定位网络、字符合成网络和字符识别网络，字符定位网络、字符合成网络和字符识别网络依次连接，获取双层车牌训练样本图像集合，训练深度神经网络模型，通过训练后的深度神经网络模型，对待识别的双层车牌图像进行识别；该深度神经网络模型消耗内存较小，运算量较小，对车牌字符的识别结果更加准确，鲁棒性更强，解决了传统车牌字符识别效果差、鲁棒性低的缺陷。

Description

一种基于深度学习的双层车牌字符识别方法

技术领域

本发明涉及车牌识别技术领域，尤其涉及一种基于深度学习的双层车牌字符识别方法。

背景技术

车牌字符识别是车牌识别系统的最后一步，也是至关重要的一步，它直接影响着整个系统的识别准确率和效率。近年来，随着新技术方法的出现，对于各种单层车牌图像，如中国的单层蓝牌、单层黄牌、新能源车牌等，国内外已有很多成熟的方法，可以达到很高的准确率。然而对于中国的双层车牌，很少有文献或科研机构进行研究，究其原因，主要是双层车牌相对于单层车牌更加复杂，首先，双层车牌存在双层字符布局，现有的单层车牌识别技术无法适用；其次，双层车牌的字符类型更加丰富，上层车牌字符和下层车牌字符的字体、大小、数目均不一样，对于字符的分割和识别，难度更大；再次，在实际环境中采集的双层车牌图像，字符往往存在分辨率较低、部分变浅或缺失、边缘模糊、字符倾斜等特点，使得准确识别字符变得很困难。基于现有的单层车牌字符识别方法，无法达到满意的准确率。因此，准确识别双层车牌字符，成为国内车牌识别系统的难点。

目前，常用的双层车牌字符识别方法主要是基于灰度投影的方法，如“一种基于投影与识别的双层车牌字符分割方法统”(中国专利申请号：CN201410510488.2)，主要通过对双层车牌图像进行倾斜校正，然后进行水平灰度投影，根据投影曲线的波峰和波谷位置，把双层车牌分割成上、下两部分区域，最后，对于每一部分区域车牌，按照单层车牌字符识别方法进行处理。该类方法对于清晰的双层车牌可以达到很不错的效果，然而对于分辨率较低、边缘模糊、字符倾斜的双层车牌，该类方法往往效果很差，无法准确地进行车牌位置校正、车牌字符分割、车牌字符识别等。

近年来，深度学习技术凭借着可以模拟人类大脑神经网络，能够进行精确的非线性预测，在各个领域都得到了广泛的关注和应用，但该技术的缺点是模型消耗内存很大，运算量很大，因此需要消耗大量的内存和运算能力，同时对于分辨率较低、边缘模糊、字符倾斜的双层车牌，识别效果差，鲁棒性低。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于深度学习的双层车牌字符识别方法，识别结果更加准确，鲁棒性更强；深度神经网络模型的模型消耗内存较小，运算量较小。

本发明提出的一种基于深度学习的双层车牌字符识别方法，包括如下步骤：

构建深度神经网络模型，该深度神经网络模型包括字符定位网络、字符合成网络和字符识别网络，字符定位网络、字符合成网络和字符识别网络依次连接；

通过获取的双层车牌训练样本图像集合，训练深度神经网络模型；

通过训练后的深度神经网络模型，对待识别的双层车牌图像进行识别。

进一步地，所述字符定位网络包括：卷积层conv0、卷积层conv1、最大值池化层maxpool0、最大值池化层maxpool1、上层区域定位模块locUP和下层区域定位模块locBT；所述卷积层conv0的输出接所述最大值池化层maxpool0，所述最大值池化层maxpool0的输出接所述卷积层conv1，所述卷积层conv1的输出接所述最大值池化层maxpool1，所述最大值池化层maxpool1的输出分别接所述上层区域定位模块locUP、所述下层区域定位模块locBT，所述上层区域定位模块locUP用于输出双层车牌上层区域图像，所述下层区域定位模块locBT用于输出双层车牌下层区域图像。

进一步地，所述上层区域定位模块locUP和所述下层区域定位模块locBT均是基于经典的空间变换网络STN结构，所述上层区域定位模块locUP包括如下步骤：

获取双层车牌上层区域位置的空间变换矩阵；

通过空间变换矩阵，获取双层车牌上层区域变换的网格生成器generator；

通过网格生成器generator，构建双层车牌上层区域图像的采样器sampler。

进一步地，所述空间变换矩阵的构建包括：卷积层loc_conv0、卷积层loc_conv1和全连接层loc_fc；卷积层loc_conv0的输入接最大值池化层maxpool1的输出，卷积层loc_conv0的输出接卷积层loc_conv1，卷积层loc_conv1的输出接全连接层loc_fc，全连接层loc_fc输出9个特征参数，9个特征参数组合形成3×3的特征矩阵，该特征矩阵的逆矩阵作为空间变换矩阵。

进一步地，所述字符合成网络的构建包括如下步骤：

对所述双层车牌上层区域图像进行缩放操作，以调整双层车牌上层区域的字符尺寸；

将双层车牌下层区域图像和已调整完的双层车牌上层区域图像进行拼接，得到单层车牌图像；

对所述单层车牌图像进行尺寸归一化操作，得到归一化的车牌图像。

进一步地，所述字符识别网络包括卷积层recog_conv0、卷积层recog_conv1、卷积层recog_conv2、最大值池化层maxpool2、特征形状调整层recog_shape和LSTM循环神经网络结构体；卷积层recog_conv0的输出接最大值池化层maxpool2，最大值池化层maxpool2的输出接卷积层recog_conv1，卷积层recog_conv1的输出接卷积层recog_conv2，卷积层recog_conv2的输出接特征形状调整层recog_shape，特征形状调整层recog_shape的输出接LSTM循环神经网络结构体。

进一步地，所述训练深度神经网络模型，包括如下步骤：

收集并整理双层车牌样本图像；

标注双层车牌信息；

扩展双层车牌图像；

将扩展后的双层车牌图像进行尺寸归一化操作，得到归一化的双层车牌训练样本图像集合；

将所述归一化的双层车牌训练样本图像集合送入所述深度神经网络模型中，以训练深度神经网络模型。

进一步地，所述对待识别的双层车牌图像进行识别，包括如下步骤：

检测局部双层车牌图像：对待检测的双层车牌图像进行裁剪，得到局部双层车牌图像，将局部双层车牌图像进行尺寸归一化操作，得到尺寸归一化的局部双层车牌图像；

识别双层车牌字符：将尺寸归一化后的局部双层车牌图像送入深度神经网络模型中，得到双层车牌字符的识别结果。

进一步地，所述深度神经网络模型中每一个卷积层后面均带有批量归一化BN层和非线性激活relu层。

进一步地，所述深度神经网络模型中每一个全连接层后面带有非线性激活relu层。

本发明提供的一种基于深度学习的双层车牌字符识别方法的优点在于：本发明结构中提供的一种基于深度学习的双层车牌字符识别方法，直接完成双层车牌位置校正、车牌字符分割、车牌字符识别等工作，输出整体最优的字符识别结果。多个车牌字符识别步骤只需一个深度神经网络模型即可完成，识别速度更快，误差来源更少，识别结果更加准确，对于污损、粘连、字符缺失、定位精确不够的低质量车牌图像，鲁棒性更强；而且通过合理的构建深度神经网络模型，使得深度神经网络模型用于识别双层车牌字符时，模型消耗内存较小，运算量较小。

附图说明

图1为本发明一种基于深度学习的双层车牌字符识别方法的流程示意图；

图2为本发明深度神经网络模型的总体结构图；

图3为本发明字符定位网络结构图；

图4为本发明上层区域定位模块的网络结构图；

图5为本发明字符识别网络结构图；

图6为本发明双层车牌示意图；

图7为本发明双层车牌上层区域定位示意图

图8为本发明双层车牌下层区域定位示意图；

图9为合成的单层车牌图像示意图。

具体实施方式

下面，通过具体实施例对本发明的技术方案进行详细说明。

本实施例以常见的中国双层车牌为例，如图6所示，该车牌有7个字符，分上、下两层，上层有2个字符，下层有5个字符，并且每层字符之间存在规则的排列顺序，另外，本发明所处理的双层车牌图像主要是粗定位后的局部双层车牌图像。

如图1所示，本发明提出的一种基于深度学习的双层车牌字符识别方法，包括如下步骤S1至S3：

S1：构建深度神经网络模型，该深度神经网络模型包括字符定位网络(locationnetwork)、字符合成网络(combine network)和字符识别网络(recognition network)，字符定位网络、字符合成网络和字符识别网络依次连接；本发明设计的深度神经网络模型，其主要作用是借助一个综合深度神经网络模型，直接完成双层车牌位置校正、车牌字符分割、车牌字符识别等步骤的工作，输出整体最优的字符识别结果。由于不再刻意区分车牌位置校正、车牌字符分割、车牌字符识别等步骤，使得整个车牌字符识别速度更快，误差来源更少，识别精度更高。本发明采用的深度神经网络是卷积神经网络(CNN，ConvolutionalNeural Networks)，凭借着局部稀疏连接和权值共享，卷积神经网络是图像处理领域应用最普遍的深度神经网络。

如图2所示，S1：构建深度神经网络模型，包括如下步骤S11至S13：

S11：构建字符定位网络，字符定位网络主要用于定位双层车牌的上层车牌区域和下层车牌区域。为了获取准确的双层车牌上层、下层车牌区域，通常的做法是先进行双层车牌的位置校正，然后再进行双层车牌上层、下层车牌区域定位，这种通常做法步骤较繁琐，定位精度也没有保证。因此，综合考虑字符定位任务的特点和深度神经网络的计算能力，本发明采用一个深度神经网络模型直接完成双层车牌的位置校正和双层车牌上层、下层车牌区域定位。

具体的网络结构如图3所示，该深度神经网络模型的输入图像input是一幅宽度是224个像素高度是224个像素的3通道RGB图像，网络第一层conv0是一个卷积核尺寸是7x7，跨度stride是4的卷积层conv0，网络第二层maxpool0是核尺寸为3x3，跨度stride是2的最大值池化层maxpool0，网络第三层conv1是一个卷积核尺寸是3x3，跨度stride是2的卷积层conv1，网络第四层maxpool1是核尺寸为3x3，跨度stride是2的最大值池化层maxpool1，然后分别通过车牌上层区域定位模块locUP和车牌下层区域定位模块locBT，分别获取双层车牌上层车牌区域位置和下层车牌区域位置。

车牌上层区域定位模块locUP和车牌下层区域定位模块locBT是基于经典的空间变换网络STN(Spatial TransformerNetworks)结构，该网络结构的优点是允许损失函数在该网络内进行逆向传播(backpropagation)，可以针对各种位置的双层车牌图像自适应学习出车牌上、下层区域的位置参数，进而完成双层车牌的上、下层区域的位置校正和区域定位，效果如图6、7和8所示。

由于车牌上层区域定位模块locUP和车牌下层区域定位模块locBT的网络结构相同，本实施例以车牌上层区域定位模块为例阐述该模块的设计过程，如图4所示，该设计步骤如下S111至S113：

S111：获取双层车牌上层区域位置空间变换矩阵，主要是在最大值池化层maxpool1输出的特征层基础上，首先通过1个卷积核尺寸为3x3，跨度为1的卷积层loc_conv0，然后通过1个卷积核尺寸为3x3，跨度为2的卷积层loc_conv1，最后通过1个全连接层loc_fc，输出9个特征参数，即是当前双层车牌上层区域位置参数，该位置参数包含了双层车牌上层区域的位置校正参数和双层车牌上层区域的裁剪参数，按顺序组合成一个3x3的矩阵，该矩阵的逆矩阵就是所需要的双层车牌上层区域位置空间变换矩阵。

S112、获取双层车牌上层区域变换的网格生成器generator，主要基于步骤S111获取的双层车牌上层区域位置空间变换矩阵，获取变换后的双层车牌上层区域图像和原始输入图像input之间的像素位置对应关系，按照公式(1)、公式(2)，获取双层车牌上层区域图像上每一个像素在输入图像input上的对应位置，该对应位置关系是唯一的；

其中，x_i ⁱⁿ、y_i ⁱⁿ表示输入图像input上(x_i ⁱⁿ,y_i ⁱⁿ)像素位置，x_i ^out、y_i ^out表示双层车牌上层区域图像上(x_i ^out,y_i ^out)像素位置，M表示空间变换矩阵，m₁₁、m₁₂、m₁₃、m₂₁、m₂₂、m₂₃、m₃₁、m₃₂、m₃₃均表示空间变换矩阵M中的元素，这些元素一般是通过步骤S111中网络结构学习获取。

S113：构建双层车牌上层区域图像的采样器sampler，主要是基于步骤S122获取的双层车牌上层区域变换的网格生成器模型，计算输出的双层车牌上层区域图像上每一个像素位置的灰度值，而输出的双层车牌上层区域图像上每一个像素位置的灰度值等于输入图像input上的对应像素位置的灰度值，由于输入图像input上的对应像素位置可能位于非整数位置，因此，按照公式(3)，采用改进的双线性插值算法获取该像素的灰度值。

其中，O_i ^c表示输出的双层车牌上层区域图像上第c通道上第i像素的灰度值，输出的双层车牌上层区域图像的高度和宽度分别是2w和w，其中，w表示一个固定的数值，I_nm ^c表示原始输入图像上第c通道上像素(n，m)处的灰度值，H、W分别表示原始输入图像的高度和宽度，max()表示获取两个元素中最大值的函数，x_i ⁱⁿ、y_i ⁱⁿ表示输出双层车牌上层区域图像上O_i ^c所对应的原始输入图像input上的像素位置是(x_i ⁱⁿ,y_i ⁱⁿ)。

S12：构建字符合成网络，字符合成网络主要是在步骤S11获取的车牌上层区域和车牌下层区域的基础上，首先通过图像缩放操作把车牌上层区域的字符尺寸变换到和车牌下层区域的字符尺寸相同，然后把车牌上层区域和车牌下层区域拼接成一个7字符的单层车牌图像，效果如图7、8、9所示，具体步骤如下：

S121：对所述双层车牌上层区域图像进行缩放操作，以调整双层车牌上层区域的字符尺寸。一般的，车牌上层区域的字符尺寸小于车牌下层区域的字符尺寸，为了让车牌上、下层区域字符尺寸一样，按照公式(5)，对车牌上层区域图像进行缩放操作，使得变换后的车牌上层区域的高度和车牌下层区域的高度相同，变换后的车牌上层区域的宽度是车牌下层区域的宽度的一半；

S122、将双层车牌下层区域图像和已调整完的双层车牌上层区域图像进行拼接，得到单层车牌图像。

拼接车牌上下层区域，主要是按照宽度方向，把车牌下层区域串联到车牌上层区域之后，合并后的车牌区域是一个7字符的单层车牌图像。

S123、对所述单层车牌图像进行尺寸归一化操作，得到归一化的车牌图像。

归一化单层车牌图像，主要是对步骤S122获取单层车牌图像进行尺寸归一化。主要是按照公式(4)，把单层车牌图像的尺寸归一化到固定的尺寸，本实施例选择的尺寸是宽度是128个像素，高度是24个像素。

S13、构建字符识别网络，字符识别网络主要是在步骤S12获取的合并后单层车牌图像的基础上，识别出所有车牌字符的真实意义，进而输出整个车牌字符识别结果。一般的双层车牌字符语义之间存在一定的相关性，因此我们采用循环神经网络(RNN，RecurrentNeural Network)思想，通过一个深度神经网络模型，直接输出完整的车牌字符识别结果，不再需要进行字符的分割定位步骤，误差来源更少，识别精度更高。

具体的网络模型如图5所示，在步骤S12获取的合并后单层车牌图像的基础上，首先经过一个卷积核尺寸是3x3，跨度stride是2的卷积层recog_conv0，一个核尺寸为3x3，跨度stride是2的最大值池化层maxpoo2，然后依次经过两个卷积核尺寸是3x3，跨度stride是2的卷积层recog_conv1、recog_conv2，最后经过一个特征形状调整层recog_shape，把调整后的特征向量送入LSTM(Long Short-Term Memory)循环神经网络结构体，输出最终的识别结果。

需要说明的是，本发明中，每一个卷积层后面均带有批量归一化BN层和非线性激活relu层，每一个全连接层后面带有非线性激活relu层。另外，在本发明的所有结构示意图中，每一个神经网络结构层图形左侧的标识，表示该网络结构的输出特征层尺寸：特征层宽度×特征层高度×特征层通道数。

S2、通过获取的双层车牌训练样本图像集合，训练深度神经网络模型。

训练深度神经网络模型，设计完成深度神经网络模型后，接下来就是收集各种情景下的双层车牌样本图像，进一步整理图像后，送入深度神经网络模型，学习相关的模型参数，以训练深度神经网络模型，具体步骤如下S21至S26：

S21：收集双层车牌样本图像；

主要是收集各种场景，各种光线、各种角度下的双层车牌图像。

S22：整理双层车牌图像；

主要是在整幅图像中，检测出双层车牌所在的位置，通过裁剪操作把局部双层车牌图像从整幅图中提取出来并保存，主要使用现有的成熟裁剪方法。

S23、标注双层车牌信息；

车牌信息标注的主要方法是使用现有的双层车牌字符分割和识别技术进行双层车牌字符的分割和识别，获取双层车牌的上、下层区域位置信息和车牌字符信息，然后人工进行审核，对于错误的标注信息进行校正；

S24、扩展双层车牌图像；

通过图像增强方法对双层车牌样本图像进行扩展，扩展后的双层车牌样本图像作为双层车牌图像样本库；前常用的图像增强方法，包括：各种平移变换、旋转变换、缩放变换、错切变换、透视变换、颜色变换。

S25、将双层车牌图像样本库中的图像进行尺寸归一化操作，得到归一化的双层车牌训练样本图像集合；

双层车牌图像归一化，主要是对双层车牌图像集合进行尺寸归一化操作，把所有的双层车牌图像缩放到固定的尺寸，主要采用了基于公式(4)的双线性插值算法

其中，(x,y)表示待求RGB值的像素坐标，(x₁,y₁)、(x₂,y₁)、(x₁,y₂)、(x₂,y₂)表示距离像素(x,y)最近的四个已知RBG值的像素坐标，g(x,y)表示像素(x，y)的RGB值，*表示乘号。

S26：将所述归一化的双层车牌训练样本图像集合送入所述深度神经网络模型中，以训练深度神经网络模型；

训练深度神经网络模型，把整理好的归一化双层车牌图像集合送入定义好的深度神经网络模型，学习相关的模型参数，以训练深度神经网络模型。其中，字符定位网络的目标损失函数采用的是均方差损失表达，字符识别网络的目标损失函数采用的是经典的CTC(connectionist temporal classification)损失表达。训练过程中，我们采用分阶段训练的策略，首先训练字符定位网络，然后固定字符定位网络不变，训练字符识别网络，最后同时进行训练字符定位网络和训练字符识别网络。采用分阶段训练的策略，不仅可以实现单个目标网络的针对性快速训练，而且基于多个已训练好的单个网络的基础上，便于多个网络联合训练的快速收敛。

S3、通过训练后的深度神经网络模型，对待识别的双层车牌图像进行识别；

训练完深度神经网络模型后，接下来就是在实际环境中进行使用深度神经网络模型，对于任意给出的一幅待识别的双层车牌图像，首先进行双层车牌位置检测，然后把尺寸归一化后的局部双层车牌图像送入训练好的深度神经网络模型，输出双层车牌字符识别结果，具体步骤如下：

S31、检测局部双层车牌图像，主要是在整幅图像中，检测出双层车牌所在的位置，通过裁剪操作把局部双层车牌图像从整幅图中提取出来，并进行图像尺寸归一化，主要方法是使用现有的成熟方法。

S32、识别双层车牌字符，主要方法是把归一化后的局部双层车牌图像，送入训练好的深度神经网络模型，最终的输出结果就是最优的双层车牌字符识别结果

通过步骤S1至S3可知，该深度神经网络模型的主要作用是构建一个一体化深度神经网络模型，直接完成双层车牌位置校正、车牌字符分割、车牌字符识别等工作，输出整体最优的字符识别结果。多个车牌字符识别步骤只需一个深度神经网络模型即可完成，识别速度更快，误差来源更少，识别结果更加准确。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的双层车牌字符识别方法，其特征在于，包括如下步骤：

构建深度神经网络模型，该深度神经网络模型包括字符定位网络、字符合成网络和字符识别网络，字符定位网络、字符合成网络和字符识别网络依次连接；

通过获取的双层车牌训练样本图像集合，训练深度神经网络模型；

通过训练后的深度神经网络模型，对待识别的双层车牌图像进行识别。

2.根据权利要求1所述的基于深度学习的双层车牌字符识别方法，其特征在于，所述字符定位网络包括：卷积层conv0、卷积层conv1、最大值池化层maxpool0、最大值池化层maxpool1、上层区域定位模块locUP和下层区域定位模块locBT；

所述卷积层conv0的输出接所述最大值池化层maxpool0，所述最大值池化层maxpool0的输出接所述卷积层conv1，所述卷积层conv1的输出接所述最大值池化层maxpool1，所述最大值池化层maxpool1的输出分别接所述上层区域定位模块locUP、所述下层区域定位模块locBT，所述上层区域定位模块locUP用于输出双层车牌上层区域图像，所述下层区域定位模块locBT用于输出双层车牌下层区域图像。

3.根据权利要求2所述的基于深度学习的双层车牌字符识别方法，其特征在于，所述上层区域定位模块locUP和所述下层区域定位模块locBT均是基于经典的空间变换网络STN结构，所述上层区域定位模块locUP包括如下步骤：

获取双层车牌上层区域位置的空间变换矩阵；

通过空间变换矩阵，获取双层车牌上层区域变换的网格生成器generator；

通过网格生成器generator，构建双层车牌上层区域图像的采样器sampler。

4.根据权利要求3所述的基于深度学习的双层车牌字符识别方法，其特征在于，所述空间变换矩阵的构建包括：卷积层loc_conv0、卷积层loc_conv1和全连接层loc_fc；

卷积层loc_conv0的输入接最大值池化层maxpool1的输出，卷积层loc_conv0的输出接卷积层loc_conv1，卷积层loc_conv1的输出接全连接层loc_fc，全连接层loc_fc输出9个特征参数，9个特征参数组合形成3×3的特征矩阵，该特征矩阵的逆矩阵作为空间变换矩阵。

5.根据权利要求2所述的基于深度学习的双层车牌字符识别方法，其特征在于，所述字符合成网络的构建包括如下步骤：

对所述双层车牌上层区域图像进行缩放操作，以调整双层车牌上层区域的字符尺寸；

将双层车牌下层区域图像和已调整完的双层车牌上层区域图像进行拼接，得到单层车牌图像；

对所述单层车牌图像进行尺寸归一化操作，得到归一化的车牌图像。

6.根据权利要求2所述的基于深度学习的双层车牌字符识别方法，其特征在于，所述字符识别网络包括卷积层recog_conv0、卷积层recog_conv1、卷积层recog_conv2、最大值池化层maxpool2、特征形状调整层recog_shape和LSTM循环神经网络结构体；

卷积层recog_conv0的输出接最大值池化层maxpool2，最大值池化层maxpool2的输出接卷积层recog_conv1，卷积层recog_conv1的输出接卷积层recog_conv2，卷积层recog_conv2的输出接特征形状调整层recog_shape，特征形状调整层recog_shape的输出接LSTM循环神经网络结构体。

7.根据权利要求1-6任一述的基于深度学习的双层车牌字符识别方法，其特征在于，所述训练深度神经网络模型，包括如下步骤：

收集并整理双层车牌样本图像；

标注双层车牌信息；

扩展双层车牌图像；

将扩展后的双层车牌图像进行尺寸归一化操作，得到归一化的双层车牌训练样本图像集合；

将所述归一化的双层车牌训练样本图像集合送入所述深度神经网络模型中，以训练深度神经网络模型。

8.根据权利要求1-6任一所述的基于深度学习的双层车牌字符识别方法，其特征在于，所述对待识别的双层车牌图像进行识别，包括如下步骤：

检测局部双层车牌图像：对待检测的双层车牌图像进行裁剪，得到局部双层车牌图像，将局部双层车牌图像进行尺寸归一化操作，得到尺寸归一化的局部双层车牌图像；

识别双层车牌字符：将尺寸归一化后的局部双层车牌图像送入深度神经网络模型中，得到双层车牌字符的识别结果。

9.根据权利要求8所述的基于深度学习的双层车牌字符识别方法，其特征在于，所述深度神经网络模型中每一个卷积层后面均带有批量归一化BN层和非线性激活relu层。

10.根据权利要求8所述的基于深度学习的双层车牌字符识别方法，其特征在于，所述深度神经网络模型中每一个全连接层后面带有非线性激活relu层。