CN106980854A - 车牌号码识别方法、装置、存储介质及处理器 - Google Patents

Abstract

本发明公开了一种车牌号码识别方法、装置、存储介质及处理器。其中，该方法包括：获取由摄像机采集到的历史车辆图像中的第一车牌区域图像的位置信息和号码信息；根据第一车牌区域图像和位置信息对第一预设卷积神经网络模型进行训练；对预设图像处理模型、第二预设卷积神经网络模型和达到收敛状态的第一预设卷积神经网络模型进行级联，从而得到第三预设卷积神经网络模型；根据第二车牌区域图像和号码信息对第三预设卷积神经网络模型进行训练；根据达到收敛状态的第三预设卷积神经网络模型对采集到的当前车辆图像进行识别，得到当前车辆图像中的车牌号码的识别结果。本发明解决了现有技术中车牌识别存在的识别准确度和效率较低的技术问题。

Description

车牌号码识别方法、装置、存储介质及处理器

技术领域

本发明涉及交通领域，具体而言，涉及一种车牌号码识别方法、装置、存储介质及处理器。

背景技术

随着电子信息产业的快速发展和广泛应用，智慧交通已经成为现代交通系统的标志。其中，车牌识别是智慧交通的重要组成部分，通过对交通摄像头、行车记录仪等设备采集到的图像信息或视频信息进行处理，可以自动、智能的识别出图像中车辆的车牌及号码信息。车牌识别可以有效应用于自动交通违法行为识别、可疑车辆目标跟踪、车辆检索、车辆收费管理、智慧停车场、小区车辆管理等场景。

目前，现有的车牌识别技术大致分为以下两种：基于传统图像处理的车牌识别方法和基于深度学习的车牌识别方法。

方法一、基于传统图像处理的车牌识别方法可以采用传统图像算法实现车牌定位、字符分割及字符识别。常用的传统车牌定位算法包括基于车牌纹理特征、颜色特征、边缘特征、遗传算法等；常用的传统字符分割算法包括基于投影的方法等；常用的传统字符识别算法包括基于字符笔画的方法等。由于车牌特征的单一性，传统的基于图像处理的车牌识别在限定条件下也能取得不错的效果，但是其参数多，手动调节优化十分复杂，且对图像质量要求很高，在不同的应用场景下(包括极端复杂场景或特殊场景)可靠性与适用性较差，识别准确度和识别效率较低。

方法二、基于深度学习的车牌识别方法可以通过构建深层的卷积神经网络，对输入的车牌图像进行特征提取和抽象分析，实现车牌号码的自动检测识别。例如，专利公开号为CN104298976A、专利名称为《基于卷积神经网络的车牌检测方法》的专利文献中采用基于Haar特征的Adaboost进行车牌区域粗检测，并结合卷积神经网络CNN进行精确检测，进而采用传统阈值分割法进行字符分割，最终将分割后的单个字符图像输入到后续卷积神经网络模型进行识别。但是，该种方法中的检测及分割性能受到传统方法的限制，引入了二次误差，从而降低了检测结果的准确性。

因此，以上两种车牌号码识别方法存在可靠性与适用性较差、易引入二次误差、识别准确度和识别效率较低的缺陷，综上，现有技术中的车牌识别方法存在识别准确度和识别效率较低的技术问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种车牌号码识别方法、装置、存储介质及处理器，以至少解决现有技术中车牌识别存在的识别准确度和效率较低的技术问题。

根据本发明实施例的一个方面，提供了一种车牌号码识别方法，该方法包括：获取由摄像机采集到的历史车辆图像中的第一车牌区域图像的位置信息和号码信息；根据上述第一车牌区域图像和上述位置信息对第一预设卷积神经网络模型进行训练，直至上述第一预设卷积神经网络模型达到收敛状态，其中，上述第一预设卷积神经网络模型用于对上述第一车牌区域图像中的车牌位置进行检测；对预设图像处理模型、第二预设卷积神经网络模型和达到上述收敛状态的上述第一预设卷积神经网络模型进行级联，从而得到第三预设卷积神经网络模型，其中，上述预设图像处理模型用于对上述第一车牌区域图像进行对齐处理从而得到第二车牌区域图像，上述第二预设卷积神经网络模型用于对上述第二车牌区域图像中的车牌号码进行深度识别；根据上述第二车牌区域图像和上述号码信息对上述第三预设卷积神经网络模型进行训练，直至上述第三预设卷积神经网络模型达到收敛状态；根据达到上述收敛状态的上述第三预设卷积神经网络模型对采集到的当前车辆图像进行识别，得到上述当前车辆图像中的上述车牌号码的识别结果。

进一步地，在根据上述第一车牌区域图像和上述位置信息对第一预设卷积神经网络模型进行训练之前，上述方法还包括：对上述第一预设卷积神经网络模型中的网络参数进行初始化处理。

进一步地，上述根据上述第一车牌区域图像和上述位置信息对第一预设卷积神经网络模型进行训练包括：对上述第一车牌区域图像中的上述车牌位置和上述车牌号码分别进行标记，得到车牌位置标签和车牌号码标签；根据上述车牌位置标签和上述车牌号码标签建立车牌信息数据库，其中，上述车牌信息数据库中包含多个数据样本；根据上述数据样本训练上述第一预设卷积神经网络模型。

进一步地，在根据上述第二车牌区域图像和上述号码信息对上述第三预设卷积神经网络模型进行训练之前，上述方法还包括：根据上述预设图像处理模型对上述第一预设卷积神经网络模型输出的上述第一车牌区域图像进行二维仿射变换处理，得到上述第二车牌区域图像。

根据本发明实施例的另一方面，还提供了一种车牌号码识别装置，该装置包括：获取单元，用于获取由摄像机采集到的历史车辆图像中的第一车牌区域图像的位置信息和号码信息；第一处理单元，用于根据上述第一车牌区域图像和上述位置信息对第一预设卷积神经网络模型进行训练，直至上述第一预设卷积神经网络模型达到收敛状态，其中，上述第一预设卷积神经网络模型用于对上述第一车牌区域图像中的车牌位置进行检测；第二处理单元，用于对预设图像处理模型、第二预设卷积神经网络模型和达到上述收敛状态的上述第一预设卷积神经网络模型进行级联，从而得到第三预设卷积神经网络模型，其中，上述预设图像处理模型用于对上述第一车牌区域图像进行对齐处理从而得到第二车牌区域图像，上述第二预设卷积神经网络模型用于对上述第二车牌区域图像中的车牌号码进行深度识别；第三处理单元，用于根据上述第二车牌区域图像和上述号码信息对上述第三预设卷积神经网络模型进行训练，直至上述第三预设卷积神经网络模型达到收敛状态；识别单元，用于根据达到上述收敛状态的上述第三预设卷积神经网络模型对采集到的当前车辆图像进行识别，得到上述当前车辆图像中的上述车牌号码的识别结果。

进一步地，上述装置还包括：第四处理单元，用于对上述第一预设卷积神经网络模型中的网络参数进行初始化处理。

进一步地，上述第一处理单元包括：标记子单元，用于对上述第一车牌区域图像中的上述车牌位置和上述车牌号码分别进行标记，得到车牌位置标签和车牌号码标签；创建子单元，用于根据上述车牌位置标签和上述车牌号码标签建立车牌信息数据库，其中，上述车牌信息数据库中包含多个数据样本；第一处理子单元，用于根据上述数据样本训练上述第一预设卷积神经网络模型。

进一步地，上述装置还包括：第五处理单元，用于根据上述预设图像处理模型对上述第一预设卷积神经网络模型输出的上述第一车牌区域图像进行二维仿射变换处理，得到上述第二车牌区域图像。

根据本发明实施例的又一方面，还提供了一种存储介质，其特征在于，上述存储介质包括存储的程序，其中，在上述程序运行时控制上述存储介质所在设备执行上述的车牌号码识别方法。

根据本发明实施例的又一方面，还提供了处理器，其特征在于，上述处理器用于运行程序，其中，上述程序运行时执行上述的车牌号码识别方法。

在本发明实施例中，采用获取由摄像机采集到的历史车辆图像中的第一车牌区域图像的位置信息和号码信息的方式，进而根据第一车牌区域图像和位置信息对第一预设卷积神经网络模型进行训练，直至第一预设卷积神经网络模型达到收敛状态，进而通过对预设图像处理模型、第二预设卷积神经网络模型和达到收敛状态的第一预设卷积神经网络模型进行级联从而得到第三预设卷积神经网络模型，进而根据第二车牌区域图像和号码信息对第三预设卷积神经网络模型进行训练直至第三预设卷积神经网络模型达到收敛状态，达到了根据达到收敛状态的第三预设卷积神经网络模型对采集到的当前车辆图像进行识别从而得到当前车辆图像中的车牌号码的识别结果的目的，从而实现了提升车牌号码识别的准确度和识别效率、避免环境、光照、模糊等外界不利因素的干扰的技术效果，进而解决了现有技术中车牌识别存在的识别准确度和效率较低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的车牌号码识别方法的流程示意图；

图2是根据本发明实施例的另一种可选的车牌号码识别方法的流程示意图；

图3是根据本发明实施例的又一种可选的车牌号码识别方法的流程示意图；

图4是根据本发明实施例的一种可选的第一预设卷积神经网络模型的结构示意图；

图5是根据本发明实施例的一种可选的车牌号码识别装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种车牌号码识别方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种可选的车牌号码识别方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤S102，获取由摄像机采集到的历史车辆图像中的第一车牌区域图像的位置信息和号码信息；

步骤S104，根据第一车牌区域图像和位置信息对第一预设卷积神经网络模型进行训练，直至第一预设卷积神经网络模型达到收敛状态，其中，第一预设卷积神经网络模型用于对第一车牌区域图像中的车牌位置进行检测；

步骤S106，对预设图像处理模型、第二预设卷积神经网络模型和达到收敛状态的第一预设卷积神经网络模型进行级联，从而得到第三预设卷积神经网络模型，其中，预设图像处理模型用于对第一车牌区域图像进行对齐处理从而得到第二车牌区域图像，第二预设卷积神经网络模型用于对第二车牌区域图像中的车牌号码进行深度识别；

步骤S108，根据第二车牌区域图像和号码信息对第三预设卷积神经网络模型进行训练，直至第三预设卷积神经网络模型达到收敛状态；

步骤S110，根据达到收敛状态的第三预设卷积神经网络模型对采集到的当前车辆图像进行识别，得到当前车辆图像中的车牌号码的识别结果。

在本发明实施例中，采用获取由摄像机采集到的历史车辆图像中的第一车牌区域图像的位置信息和号码信息的方式，进而根据第一车牌区域图像和位置信息对第一预设卷积神经网络模型进行训练，直至第一预设卷积神经网络模型达到收敛状态，进而通过对预设图像处理模型、第二预设卷积神经网络模型和达到收敛状态的第一预设卷积神经网络模型进行级联从而得到第三预设卷积神经网络模型，进而根据第二车牌区域图像和号码信息对第三预设卷积神经网络模型进行训练直至第三预设卷积神经网络模型达到收敛状态，达到了根据达到收敛状态的第三预设卷积神经网络模型对采集到的当前车辆图像进行识别从而得到当前车辆图像中的车牌号码的识别结果的目的，从而实现了提升车牌号码识别的准确度和识别效率、避免环境、光照、模糊等外界不利因素的干扰的技术效果，进而解决了现有技术中车牌识别存在的识别准确度和效率较低的技术问题。

可选地，基于现有技术的缺点不足，本申请提出了一种基于深度学习的端对端车牌号码识别方法，通过构建车牌检测及号码识别的卷积神经网络模型，有效避免环境、光照、模糊等带来的干扰，保证识别的精度。同时，本申请无需进行字符分割，且在识别结果引入了问号字符，解决了部分车牌、遮挡等条件下的号码识别问题，在多种应用环境中具有鲁棒性。

可选地，在执行步骤S102的过程中，可以通过摄像头、网络资源获取包含车辆及车牌的第一车牌区域图像，该第一车牌区域图像又可以称之为图像样本数据。进而，对图像样本数据进行二次筛选，去除图像质量及画面内容不合要求的图像数据，可以得到M张合格的图像样本数据，最后，可以对筛选过的M张图像样本数据添加车牌位置及车牌号码标签。

可选地，车牌位置标签包含图像内所有车牌的位置，每个位置是由两个坐标构成的四个点，分别为车牌边缘框的左上角及右下角；车牌号码标签包含图像内所有车牌的号码，每个号码是由汉字、数字、字母及问号组成的7个字符，其中问号表示由于模糊、遮挡等问题无法辨认的字符。

可选地，汉字字符可以包含31个汉字：京、沪、津、渝、冀、晋、蒙、辽、吉、黑、苏、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、川、贵、云、藏、陕、甘、青、宁、新；数字字符可以包含10个数字：0、1、2、3、4、5、6、7、8、9；字母字符可以包含24个英文字母：A、B、C、D、E、F、G、H、J、K、L、M、N、P、Q、R、S、T、U、V、W、X、Y、Z。

可选地，该第一预设卷积神经网络模型可以预先建立。具体地，可以采用深度学习技术搭建多层卷积神经网络，包括一个输入数据层、Nc个卷积层、Np个池化层、Nf个全连接层。其中，每层卷积层包含若干卷积核，第i个卷积层包含Ki个卷积核，卷积核的大小为Ks_i*Ks_i，步长为Kb_i。每层池化层采用最大池化法，池化核的大小为Kps_i*Kps_i，步长为Kpb_i。输入层的神经元个数为图像3个通道的像素点数。

可选地，在执行步骤S104的过程中，可以使用随机梯度下降法进行第一预设卷积神经网络模型训练，其学习速率设置为Lr，动量项设置为Mo，学习速率的衰减系数设置为Dc；进而检测模型训练步骤，用上述训练参数，采用车牌信息数据库的图像样本数据及车辆位置标签对第一预设卷积神经网络模型进行训练，直至收敛。

可选地，在执行步骤S106的过程中，可以采用深度学习技术对预设图像处理模型、第二预设卷积神经网络模型和达到收敛状态的第一预设卷积神经网络模型进行级联，得到第三预设卷积神经网络模型。第二预设卷积神经网络模型可以包括3个子网络分支。具体如下所示：

第一网络分支为汉字识别子网络，包含1个输入层，nc_1个卷积层、np_1个池化层、nf_1个全连接层。其中，上述输入层神经元个数为对齐的车牌区域图像的像素点个数。每层卷积层包含若干卷积核，第j个卷积层包含k1_j个卷积核，卷积核的大小为s1_j*s1_j，步长为b1_j。每层池化层采用最大池化法，池化核的大小为p1_j*p1_j，步长为pb1_j。上述全连接层的最后一层输出的神经元数量为32，对应上述的31个汉字字符及1个问号字符。

第二子网络分支为字母识别子网络，包含1个输入层，nc_2个卷积层、np_2个池化层、nf_2个全连接层。其中，上述输入层神经元个数为对齐的车牌区域图像的像素点个数。每层卷积层包含若干卷积核，第j个卷积层包含k2_j个卷积核，卷积核的大小为s2_j*s2_j，步长为b2_j。每层池化层采用最大池化法，池化核的大小为p2_j*p2_j，步长为pb2_j。上述全连接层的最后一层输出的神经元数量为25，对应上述的24个英文字母字符及1个问号字符。

第三子网络分支为数字、字母识别子网络，包含1个输入层，nc_3个卷积层、np_3个池化层、nf_3个全连接层及5个子网络分支。其中，上述输入层神经元个数为对齐的车牌区域图像的像素点个数。每层卷积层包含若干卷积核，第j个卷积层包含k3_j个卷积核，卷积核的大小为s3_j*s3_j，步长为b3_j。每层池化层采用最大池化法，池化核的大小为p3_j*p3_j，步长为pb3_j。上述5个子网络分支结构相同，包括z_c个卷积层、z_c个池化层、z_c个全连接层。其中，每个子网络分支的全连接层的最后一层输出的神经元数量为35，对应上述的24个英文字母字符、10个数字字符、1个问号字符。

可选地，将训练后的第一预设卷积神经网络模型、预设图像处理模型和初始化的第二预设卷积神经网络模型按顺序进行级联，可以得到第三预设卷积神经网络模型。其中，由输入图像数据及第一预设卷积神经网络模型的输出结果得到初步车牌检测区域图像，作为预设图像处理模型的输入，预设图像处理模型输出矫正对齐后的车牌区域图像，作为第二预设卷积神经网络模型的输入数据。其中，第一预设卷积神经网络模型又可以称为车牌检测卷积神经网络模型，预设图像处理模型又可以称为车牌对齐模型，第二预设卷积神经网络模型又可以称为车牌号码识别卷积神经网络模型。

可选地，在执行步骤S108的过程中，可以使用随机梯度下降法对第三预设卷积神经网络模型进行训练，其中，第一预设卷积神经网络模型的参数保持冻结，只训练第二预设卷积神经网络模型的参数，其学习速率设置为lr，动量项设置为mo，学习速率的衰减系数设置为dc。进而，用上述的训练参数，采用车牌信息数据库的图像样本数据及车辆号码标签对第三预设卷积神经网络模型进行训练，其中在反向传播时，仅更新第三预设卷积神经网络模型中第二预设卷积神经网络模型的参数，直至收敛。

可选地，在执行步骤S108的过程中，可以将新的车辆图像数据输入至第三预设卷积神经网络模型，新图像格式可以是JPEG，RMP等，进而，可以得到车牌号码的识别结果。

可选地，在执行步骤S104之前，即在根据第一车牌区域图像和位置信息对第一预设卷积神经网络模型进行训练之前，该方法还可以包括：对第一预设卷积神经网络模型中的网络参数进行初始化处理。

可选地，图2是根据本发明实施例的另一种可选的车牌号码识别方法的流程示意图，如图2所示，步骤S104，根据第一车牌区域图像和位置信息对第一预设卷积神经网络模型进行训练包括：

步骤S202，对第一车牌区域图像中的车牌位置和车牌号码分别进行标记，得到车牌位置标签和车牌号码标签；

步骤S204，根据车牌位置标签和车牌号码标签建立车牌信息数据库，其中，车牌信息数据库中包含多个数据样本；

步骤S206，根据数据样本训练第一预设卷积神经网络模型。

可选地，可以对第一车牌区域图像进行二次筛选，去除图像质量及画面内容不合要求的图像数据，从而得到M张合格的第一车牌区域图像，进而，可以对筛选过的M张第一车牌区域图像添加车牌位置及车牌号码标签，最终根据全部车牌位置标签和车牌号码标签建立车牌信息数据库，车牌信息数据库可以向上述各个模型的训练提供数据支撑。

可选地，在执行步骤S108之前，即在根据第二车牌区域图像和号码信息对第三预设卷积神经网络模型进行训练之前，该方法还可以包括：根据预设图像处理模型对第一预设卷积神经网络模型输出的第一车牌区域图像进行二维仿射变换处理，得到第二车牌区域图像。

可选地，将第一车牌区域图像输入至第一预设卷积神经网络模型得到车牌位置检测结果，对车牌检测位置框进行非最大化抑制，可以得到初步处理的第一车牌区域图像，进而，对上述初步处理的第一车牌区域图像进行二维仿射变换，可以得到第二车牌区域图像。

可选地，图3是根据本发明实施例的又一种可选的车牌号码识别方法的流程示意图，如图3所示，该方法可以包括：

步骤S302：采集包含车辆及车牌的图像样本数据，对图像进行车牌位置、车牌号码标签标记，得到车牌信息数据库；

步骤S303：构建车牌检测卷积神经网络模型D_CNN(即上述第一预设卷积神经网络模型)，并进行网络参数的初始化；

步骤S306：采用车牌信息数据库中的图像样本及车牌位置标签，训练车牌检测卷积神经网络模型D_CNN，直至收敛；

步骤S308：搭建车牌对齐模型(即上述预设图像处理模型)，对车牌检测卷积神经网络模型得到的车牌区域进行二维仿射变换，得到对齐后的车牌区域；

步骤S310：构建车牌号码识别卷积神经网络模型R_CNN(即上述第二预设卷积神经网络模型)，并进行网络参数的初始化；

步骤S312：将训练好的车牌检测卷积神经网络模型D_CNN、车牌对齐模型、初始化的车牌号码识别卷积神经网络模型R_CNN进行级联，得到车牌识别总体深层网络模型T_CNN(即上述第三预设卷积神经网络模型)；

步骤S313：采用车牌信息数据库中的图像样本及车牌号码标签，训练车牌识别总体深层网络模型T_CNN，直至收敛；

步骤S316：输入新的图像数据至训练好的车牌识别总体深层网络模型T_CNN，得到车牌号码的识别结果。

可选地，执行步骤S302的过程可以包括：

步骤S11，利用摄像头、网络资源获取包含车辆及车牌的图像样本数据；

步骤S12，对所述的图像样本数据进行二次筛选，去除图像质量及画面内容不合要求的图像数据，得到M张合格的图像样本数据。所述M≥5000。优选地，M≥20000；

步骤S13，对所述筛选过的M张图像样本数据添加车牌位置及车牌号码标签，其中每张图像包含至少一个车牌。

可选地，所述车牌位置标签包含图像内所有车牌的位置，每个位置是由两个坐标构成的四个点，分别为车牌边缘框的左上角及右下角；所述车牌号码标签包含图像内所有车牌的号码，每个号码是由汉字、数字、字母及问号组成的7个字符，其中问号表示由于模糊、遮挡等问题无法辨认的字符。

可选地，所述汉字字符包含31个汉字：京、沪、津、渝、冀、晋、蒙、辽、吉、黑、苏、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、川、贵、云、藏、陕、甘、青、宁、新；所述数字字符包含10个数字：0、1、2、3、4、5、6、7、8、9；所述字母字符包含24个英文字母：A、B、C、D、E、F、G、H、J、K、L、M、N、P、Q、R、S、T、U、V、W、X、Y、Z。

可选地，执行步骤S304的过程可以包括：

步骤S21，采用深度学习技术搭建多层卷积神经网络，包括一个输入数据层、Nc个卷积层、Np个池化层、Nf个全连接层。其中，每层卷积层包含若干卷积核，第i个卷积层包含Ki个卷积核，卷积核的大小为Ks_i*Ks_i，步长为Kb_i。每层池化层采用最大池化法，池化核的大小为Kps_i*Kps_i，步长为Kpb_i。所述输入层的神经元个数为图像3个通道的像素点数。其中，所述Nc∈[5,20],Np∈[2,20],Nf∈[1,5]，Ki∈[16,512]，Ks_i∈[1,9]且为奇数，Kb_i∈[1,5]且Kb_i≦Ks_i，Kps_i∈[1,5]，Kpb_i∈[1,5]且Kpb_i≦Kps_i。

步骤S22，对网络参数进行随机初始化。

图4是根据本发明实施例的一种可选的第一预设卷积神经网络模型的结构示意图，如图4所示，该第一预设卷积神经网络模型D_CNN包括：

输入数据层，输入RGB三通道彩色图像，图像尺寸为Width*Height；

第一卷积层C1，包含16个卷积核，卷积核的大小为3*3，步长为1，零填充参数设为1，采用ReLU激活函数；

第一池化层P1，采用最大池化法，池化核的大小为2*2，步长为2；

第二卷积层C2，包含32个卷积核，卷积核的大小为3*3，步长为1，零填充参数设为1，采用ReLU激活函数；

第二池化层P2，采用最大池化法，池化核的大小为2*2，步长为2；

第三卷积层C3，包含64个卷积核，卷积核的大小为3*3，步长为1，零填充参数设为1，采用ReLU激活函数；；

第三池化层P3，采用最大池化法，池化核的大小为2*2，步长为2；

第四卷积层C4，包含128个卷积核，卷积核的大小为3*3，步长为1，零填充参数设为1，采用ReLU激活函数；

第四池化层P4，采用最大池化法，池化核的大小为2*2，步长为2；

第五卷积层C5，包含256个卷积核，卷积核的大小为3*3，步长为1，零填充参数设为1，采用ReLU激活函数；

第五池化层P5，采用最大池化法，池化核的大小为2*2，步长为2；

第六卷积层C6，包含512个卷积核，卷积核的大小为3*3，步长为1，零填充参数设为1，采用ReLU激活函数；

第七卷积层C7，包含256个卷积核，卷积核的大小为3*3，步长为1，零填充参数设为1，采用ReLU激活函数；

全连接层FC，包含490个神经元。

其中，Width和Height分别为输入图像的宽度和高度，Width∈[50,1680]，Height∈[50,1050]，优选地，Width设为448，Height设为448。

可选地，执行步骤S306的过程可以包括：

步骤S31，使用随机梯度下降法进行车牌检测卷积神经网络模型D_CNN训练，其学习速率设置为Lr，动量项设置为Mo，学习速率的衰减系数设置为Dc。其中，Lr设为0.01，Mo设为0.9，Dc设为10；

步骤S32，用所述的训练参数，采用车牌信息数据库的图像样本数据及车辆位置标签对车牌检测卷积神经网络模型D_CNN进行训练，直至收敛。

可选地，执行步骤S308的过程可以包括：

步骤S41，将车牌信息数据库中的图像样本数据输入至车牌检测卷积神经网络模型D_CNN得到车牌位置检测结果，对车牌检测位置框进行非最大化抑制，结合输入图像样本数据得到初步的车牌区域图像；

步骤S42，对上述初步的车牌区域图像进行二维仿射变换，得到对齐后的车牌区域图像。

可选地，执行步骤S310的过程可以包括：

步骤S51，采用深度学习技术搭建多层卷积神经网络，包括3个子网络分支；

步骤S52，对网络参数进行随机初始化。

可选地，第二预设卷积神经网络模型R_CNN可以包括3个子网络分支。其中，第一子网络分支包括：

第一卷积层AC1，包含16个卷积核，卷积核的大小为5*5，步长为1，零填充参数设为1，采用ReLU激活函数；

第一池化层AP1，采用最大池化法，池化核的大小为2*2，步长为1；

第二卷积层AC2，包含32个卷积核，卷积核的大小为5*5，步长为1，零填充参数设为1，采用ReLU激活函数；

第二池化层AP2，采用最大池化法，池化核的大小为2*2，步长为1；

第三卷积层AC3，包含64个卷积核，卷积核的大小为5*5，步长为1，零填充参数设为1，采用ReLU激活函数；

第三池化层AP3，采用最大池化法，池化核的大小为2*2，步长为1；

第四卷积层AC4，包含128个卷积核，卷积核的大小为3*3，步长为1，零填充参数设为1，采用ReLU激活函数；

第四池化层AP4，采用最大池化法，池化核的大小为2*2，步长为1；

第五卷积层AC5，包含128个卷积核，卷积核的大小为3*3，步长为1，零填充参数设为1，采用ReLU激活函数；

第一全连接层AF1，包含512个神经元；

第二全连接层AF2，包含32个神经元，采用softmax函数，对应所述的31个汉字字符及1个问号字符。

可选地，第二子网络分支为字母识别子网络，包含1个输入层，nc_2个卷积层、np_2个池化层、nf_2个全连接层。如图3所示，所述第二子网络分支包括：

第一卷积层BC1，包含16个卷积核，卷积核的大小为5*5，步长为1，零填充参数设为1，采用ReLU激活函数；

第一池化层BP1，采用最大池化法，池化核的大小为2*2，步长为1；

第二卷积层BC2，包含32个卷积核，卷积核的大小为5*5，步长为1，零填充参数设为1，采用ReLU激活函数；

第二池化层BP2，采用最大池化法，池化核的大小为2*2，步长为1；

第三卷积层BC3，包含64个卷积核，卷积核的大小为5*5，步长为1，零填充参数设为1，采用ReLU激活函数；

第一全连接层BF1，包含256个神经元；

第二全连接层BF2，包含25个神经元，采用softmax函数，对应所述的24个英文字母字符及1个问号字符。

可选地，第三子网络分支为数字、字母识别子网络，包含1个输入层，nc_3个卷积层、np_3个池化层、nf_3个全连接层及5个子网络分支。如图3所示，所述第三子网络分支包括：

第一卷积层CC1，包含16个卷积核，卷积核的大小为5*5，步长为1，零填充参数设为1，采用ReLU激活函数；

第一池化层CP1，采用最大池化法，池化核的大小为2*2，步长为1；

第二卷积层CC2，包含32个卷积核，卷积核的大小为5*5，步长为1，零填充参数设为1，采用ReLU激活函数；

第一全连接层CF1，包含256个神经元，其结果输出至5个子网络分支，每个子网络分支结构相同，包括：

第一卷积层ZC1，包含32个卷积核，卷积核的大小为3*3，步长为1，零填充参数设为1，采用ReLU激活函数；

第一池化层ZP1，采用最大池化法，池化核的大小为2*2，步长为1；

第二卷积层ZC2，包含32个卷积核，卷积核的大小为3*3，步长为1，零填充参数设为1，采用ReLU激活函数；

第二池化层ZP2，采用最大池化法，池化核的大小为2*2，步长为1；

第一全连接层ZF1，包含256个神经元；

第二全连接层ZF2，包含35个神经元，采用softmax函数，对应所述的24个英文字母字符、10个数字字符、1个问号字符。

可选地，在执行步骤S312的过程中，可以将所述预训练的车牌检测卷积神经网络模型D_CNN、车牌对齐模型、初始化的车牌号码识别卷积神经网络模型R_CNN按顺序进行级联，得到车牌识别总体深层网络模型T_CNN。其中，由输入图像数据及车牌检测卷积神经网络模型D_CNN的输出结果得到初步车牌检测区域图像，作为车牌对齐模型的输入，车牌对齐模型输出矫正对齐后的车牌区域图像，作为车牌号码识别深层网络模型R_CNN的输入数据。

可选地，在执行步骤S314的过程中，可以使用随机梯度下降法对车牌识别总体深层网络模型(即上述第三预设卷积神经网络模型)进行训练，其中，车牌检测卷积神经网络模型的参数保持冻结，只训练车牌识别卷积神经网络模型的参数，其学习速率设置为lr，动量项设置为mo，学习速率的衰减系数设置为dc。其中，lr设为0.02，mo设为0.9，dc设为10。进而，可以采用车牌信息数据库的图像样本数据及车辆号码标签对车牌识别总体深层网络模型进行训练，其中在反向传播时，仅更新车牌识别总体深层网络模型中车牌识别卷积神经网络模型的参数，直至收敛。

可选地，在执行步骤S316的过程中，可以将新的车辆图像数据输入至车牌识别总体深层网络模型，新图像格式可以是JPEG，RMP等。进而，将车牌检测卷积神经网络模型及车牌识别卷积神经网络模型的结果进行整合，可以得到车牌号码识别的总结果。

在本发明实施例中，采用获取由摄像机采集到的历史车辆图像中的第一车牌区域图像的位置信息和号码信息的方式，进而根据第一车牌区域图像和位置信息对第一预设卷积神经网络模型进行训练，直至第一预设卷积神经网络模型达到收敛状态，进而通过对预设图像处理模型、第二预设卷积神经网络模型和达到收敛状态的第一预设卷积神经网络模型进行级联从而得到第三预设卷积神经网络模型，进而根据第二车牌区域图像和号码信息对第三预设卷积神经网络模型进行训练直至第三预设卷积神经网络模型达到收敛状态，达到了根据达到收敛状态的第三预设卷积神经网络模型对采集到的当前车辆图像进行识别从而得到当前车辆图像中的车牌号码的识别结果的目的，从而实现了提升车牌号码识别的准确度和识别效率、避免环境、光照、模糊等外界不利因素的干扰的技术效果，进而解决了现有技术中车牌识别存在的识别准确度和效率较低的技术问题。

实施例2

根据本发明实施例的另一个方面，还提供了一种车牌号码识别装置，如图5所示，该装置包括：获取单元501、第一处理单元503、第二处理单元505、第三处理单元507、识别单元509。

其中，获取单元501，用于获取由摄像机采集到的历史车辆图像中的第一车牌区域图像的位置信息和号码信息；第一处理单元503，用于根据第一车牌区域图像和位置信息对第一预设卷积神经网络模型进行训练，直至第一预设卷积神经网络模型达到收敛状态，其中，第一预设卷积神经网络模型用于对第一车牌区域图像中的车牌位置进行检测；第二处理单元505，用于对预设图像处理模型、第二预设卷积神经网络模型和达到收敛状态的第一预设卷积神经网络模型进行级联，从而得到第三预设卷积神经网络模型，其中，预设图像处理模型用于对第一车牌区域图像进行对齐处理从而得到第二车牌区域图像，第二预设卷积神经网络模型用于对第二车牌区域图像中的车牌号码进行深度识别；第三处理单元507，用于根据第二车牌区域图像和号码信息对第三预设卷积神经网络模型进行训练，直至第三预设卷积神经网络模型达到收敛状态；识别单元509，用于根据达到收敛状态的第三预设卷积神经网络模型对采集到的当前车辆图像进行识别，得到当前车辆图像中的车牌号码的识别结果。

可选地，该装置还可以包括：第四处理单元，用于对第一预设卷积神经网络模型中的网络参数进行初始化处理。

可选地，该第一处理单元503可以包括：标记子单元，用于对第一车牌区域图像中的车牌位置和车牌号码分别进行标记，得到车牌位置标签和车牌号码标签；创建子单元，用于根据车牌位置标签和车牌号码标签建立车牌信息数据库，其中，车牌信息数据库中包含多个数据样本；第一处理子单元，用于根据数据样本训练第一预设卷积神经网络模型。

可选地，该装置还可以包括：第五处理单元，用于根据预设图像处理模型对第一预设卷积神经网络模型输出的第一车牌区域图像进行二维仿射变换处理，得到第二车牌区域图像。

根据本发明实施例的又一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的车牌号码识别方法。

根据本发明实施例的又一个方面，还提供了一种处理器，其特征在于，处理器用于运行程序，其中，程序运行时执行上述的车牌号码识别方法。

在本发明实施例中，采用获取采集到的历史车辆图像中的车牌区域图像的位置信息和号码信息的方式，从而根据车牌区域图像和位置信息对第一预设卷积神经网络模型进行训练直至第一预设卷积神经网络模型收敛，进而根据车牌区域图像和号码信息对第二预设卷积神经网络模型进行训练直至第二预设卷积神经网络模型收敛，达到了根据第二预设卷积神经网络模型对采集到的当前车辆图像进行识别得到当前车辆图像中的车牌号码的识别结果的目的，从而实现了提升车牌号码识别的准确度和识别效率、避免环境、光照、模糊等外界不利因素的干扰的技术效果，进而解决了现有技术中车牌识别存在的识别准确度和效率较低的技术问题。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种车牌号码识别方法，其特征在于，包括：

获取由摄像机采集到的历史车辆图像中的第一车牌区域图像的位置信息和号码信息；

根据所述第一车牌区域图像和所述位置信息对第一预设卷积神经网络模型进行训练，直至所述第一预设卷积神经网络模型达到收敛状态，其中，所述第一预设卷积神经网络模型用于对所述第一车牌区域图像中的车牌位置进行检测；

对预设图像处理模型、第二预设卷积神经网络模型和达到所述收敛状态的所述第一预设卷积神经网络模型进行级联，从而得到第三预设卷积神经网络模型，其中，所述预设图像处理模型用于对所述第一车牌区域图像进行对齐处理从而得到第二车牌区域图像，所述第二预设卷积神经网络模型用于对所述第二车牌区域图像中的车牌号码进行深度识别；

根据所述第二车牌区域图像和所述号码信息对所述第三预设卷积神经网络模型进行训练，直至所述第三预设卷积神经网络模型达到收敛状态；

根据达到所述收敛状态的所述第三预设卷积神经网络模型对采集到的当前车辆图像进行识别，得到所述当前车辆图像中的所述车牌号码的识别结果。

2.根据权利要求1所述的方法，其特征在于，在根据所述第一车牌区域图像和所述位置信息对第一预设卷积神经网络模型进行训练之前，所述方法还包括：对所述第一预设卷积神经网络模型中的网络参数进行初始化处理。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一车牌区域图像和所述位置信息对第一预设卷积神经网络模型进行训练包括：

对所述第一车牌区域图像中的所述车牌位置和所述车牌号码分别进行标记，得到车牌位置标签和车牌号码标签；

根据所述车牌位置标签和所述车牌号码标签建立车牌信息数据库，其中，所述车牌信息数据库中包含多个数据样本；

根据所述数据样本训练所述第一预设卷积神经网络模型。

4.根据权利要求1所述的方法，其特征在于，在根据所述第二车牌区域图像和所述号码信息对所述第三预设卷积神经网络模型进行训练之前，所述方法还包括：

根据所述预设图像处理模型对所述第一预设卷积神经网络模型输出的所述第一车牌区域图像进行二维仿射变换处理，得到所述第二车牌区域图像。

5.一种车牌号码识别装置，其特征在于，包括：

获取单元，用于获取由摄像机采集到的历史车辆图像中的第一车牌区域图像的位置信息和号码信息；

第一处理单元，用于根据所述第一车牌区域图像和所述位置信息对第一预设卷积神经网络模型进行训练，直至所述第一预设卷积神经网络模型达到收敛状态，其中，所述第一预设卷积神经网络模型用于对所述第一车牌区域图像中的车牌位置进行检测；

第二处理单元，用于对预设图像处理模型、第二预设卷积神经网络模型和达到所述收敛状态的所述第一预设卷积神经网络模型进行级联，从而得到第三预设卷积神经网络模型，其中，所述预设图像处理模型用于对所述第一车牌区域图像进行对齐处理从而得到第二车牌区域图像，所述第二预设卷积神经网络模型用于对所述第二车牌区域图像中的车牌号码进行深度识别；

第三处理单元，用于根据所述第二车牌区域图像和所述号码信息对所述第三预设卷积神经网络模型进行训练，直至所述第三预设卷积神经网络模型达到收敛状态；

识别单元，用于根据达到所述收敛状态的所述第三预设卷积神经网络模型对采集到的当前车辆图像进行识别，得到所述当前车辆图像中的所述车牌号码的识别结果。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

第四处理单元，用于对所述第一预设卷积神经网络模型中的网络参数进行初始化处理。

7.根据权利要求5所述的装置，其特征在于，所述第一处理单元包括：

标记子单元，用于对所述第一车牌区域图像中的所述车牌位置和所述车牌号码分别进行标记，得到车牌位置标签和车牌号码标签；

创建子单元，用于根据所述车牌位置标签和所述车牌号码标签建立车牌信息数据库，其中，所述车牌信息数据库中包含多个数据样本；

第一处理子单元，用于根据所述数据样本训练所述第一预设卷积神经网络模型。

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

第五处理单元，用于根据所述预设图像处理模型对所述第一预设卷积神经网络模型输出的所述第一车牌区域图像进行二维仿射变换处理，得到所述第二车牌区域图像。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求4中任意一项所述的车牌号码识别方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求4中任意一项所述的车牌号码识别方法。