CN113128507B - 一种车牌识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种车牌识别方法、装置、电子设备及存储介质，提高了车牌识别的准确率和识别效率。所述车牌识别方法，包括：将待识别图像输入车牌提取网络模型，获取所述待识别图像包括的各个第一车牌区域的车牌底色预测信息和角点坐标的仿射矩阵参数信息；根据各个第一车牌区域的角点坐标的仿射矩阵参数信息对各自对应的预设虚拟矩形框的角点坐标进行仿射变换，获得各个第一车牌区域的角点坐标；对各个第一车牌区域的角点坐标进行透视变换，获得各个第一车牌区域的车牌图像；对各个第一车牌区域的车牌图像进行字符识别，获得各个第一车牌区域的字符识别结果；根据各个第一车牌区域的车牌底色预测信息和字符识别结果确定待识别图像的车牌识别结果。

Description

一种车牌识别方法、装置、电子设备及存储介质

技术领域

本发明涉及人工智能和计算机视觉领域，尤其涉及一种车牌识别方法、装置、电子设备及存储介质。

背景技术

车牌作为机动车辆的唯一标识，是机动车辆管理的一项重要依据，目前，车牌识别技术已被广泛应用于如公路治安卡口、开放式高速收费站、停车场出入口管理、园区门禁控制等多种场合。

虽然目前车牌识别技术已得到很大的发展，且多数厂商的车牌识别系统能达到较高的识别率，但这些车牌识别系统大多只适用于简单的特定场景，且对识别装置的安装位置有严格的限制，在实际的交通场合或复杂的外界背景环境下，这些车牌识别系统的识别率一般较低，远达不到实际使用要求。在实际的交通场合或复杂的外界背景环境下车牌识别的技术难点主要体现在以下几个方面：

(1)不同的气候条件、外部光照环境均会对采集的目标图像质量产生很大的影响，且复杂的背景噪声干扰会导致部分目标图像被背景因素所掩盖，造成车牌识别准确率的降低。

(2)我国车牌类型众多，包括民用车牌、警车车牌、军车车牌、外交车牌、特种车牌等，车牌颜色多样，如蓝底白字、黄底黑字、黑底白字等，此外，我国车牌的字符由中文、数字和英文字母构成，车牌字符个数不唯一，而中文字符的笔画比较复杂，在分辨率不足的情况下更容易导致误识别。

(3)现有车牌识别系统往往要求相对于车牌要有较小的拍摄角度，防止车牌在图像中发生严重变形，然而，在实际场景中受限于安装环境，图像采集设备的拍摄角度往往倾斜度较大，所采集的图像质量较低，从而影响车牌识别准确率。

车牌识别技术包括两部分：车牌定位和字符识别。车牌定位主要用于对车牌图像中的车牌区域进行定位，字符识别主要用于对车牌字符(即车牌号)进行识别。现有的车牌定位方法主要有：基于边缘检测的定位方法、基于颜色信息的定位方法、基于传统机器学习的定位方法。常用的字符识别算法主要有基于模板匹配的字符识别算法。

现有的车牌识别方法一般只在某些特定条件下能达到一定的效果，且普遍存在识别类型单一、使用场景受限、对环境因素要求较为严格的问题，导致识别准确率和识别效率不高。

发明内容

本发明实施例提供了一种车牌识别方法、装置、电子设备及存储介质，提高了车牌识别的准确率和识别效率。

第一方面，本发明实施例提供了一种车牌识别方法，包括：

将待识别图像输入车牌提取网络模型，获取所述待识别图像包括的各个第一车牌区域的车牌底色预测信息和角点坐标的仿射矩阵参数信息，所述车牌提取网络模型是对样本图像集合中的各个第二车牌区域的底色信息和角点坐标进行标注后，并基于各个第二车牌区域对应的预设虚拟矩形框的角点坐标按照构建的预设训练模型训练获得的，各个预设虚拟矩形框的中心为对应的第二车牌区域的中心点、长度为预设长度和宽度为预设宽度；

根据各个第一车牌区域的角点坐标的仿射矩阵参数信息对各自对应的预设虚拟矩形框的角点坐标进行仿射变换，获得各个第一车牌区域的角点坐标；

对各个第一车牌区域的角点坐标进行透视变换，获得各个第一车牌区域的车牌图像；

对各个第一车牌区域的车牌图像进行字符识别，获得各个第一车牌区域的字符识别结果；

根据各个第一车牌区域的车牌底色预测信息和字符识别结果确定所述待识别图像的车牌识别结果。

一种可能的实施方式中，对各个第一车牌区域的车牌图像进行字符识别，获得各个第一车牌区域的字符识别结果，具体包括：

针对每个第一车牌区域的车牌图像，执行如下步骤：

根据预设算法确定当前第一车牌区域的车牌图像包括的字符的行数；

若确定所述行数为1，则将所述当前第一车牌区域的车牌图像输入字符识别模型，获得字符识别结果；

若确定所述行数大于1，则按照所述行数分割所述当前第一车牌区域的车牌图像，将得到的所述当前第一车牌区域的各车牌子图像输入所述字符识别模型，获得所述当前第一车牌区域的各个车牌子图像对应的字符识别结果。

一种可能的实施方式中，根据预设算法确定所述当前第一车牌区域的车牌图像中字符的行数，具体包括：

将所述当前第一车牌区域的车牌图像进行二值化处理，得到二值化图像；

将所述二值化图像进行水平方向投影，获得对应的图像直方图；

将所述图像直方图中连续曲线的个数确定为所述当前第一车牌区域的车牌图像中字符的行数。

一种可能的实施方式中，所述方法，还包括：

获取待识别视频中的每一帧图像的车牌识别结果；

根据所述待识别视频中的每一帧图像的车牌识别结果，获得所述待识别视频的车牌统计信息。

一种可能的实施方式中，根据所述待识别视频中的每一帧图像的车牌识别结果，获得所述待识别视频的车牌统计信息，具体包括：

获取所述待识别视频的各个帧图像在所述待识别视频中的出现时间作为对应的帧图像的各个车牌识别结果的出现时间；

从所述待识别视频的每一帧图像之前的各个帧图像的车牌识别结果中获取所述待识别视频的对应帧图像的各个车牌识别结果各自对应的选定车牌识别结果；

根据所述待识别视频的每一帧图像中的各个车牌识别结果与对应的选定车牌识别结果的出现时间确定各个车牌识别结果的记录周期；

统计各个车牌识别结果的记录周期中相应的车牌识别结果与选定车牌识别结果的出现次数，记录各个记录周期内相应的车牌识别结果的首次出现时间和持续出现时长，得到所述待识别视频的车牌统计信息。

一种可能的实施方式中，根据所述待识别视频的每一帧图像中的各个车牌识别结果与对应的选定车牌识别结果的出现时间确定各个车牌识别结果的记录周期，具体包括：

针对所述待识别视频的每一帧图像的每个车牌识别结果，执行：

确定第一当前帧图像的第一当前车牌识别结果的出现时间与出现时间最接近的当前选定车牌识别结果的出现时间的差值是否小于或等于预设阈值；

若确定所述差值小于或等于所述预设阈值，则确定所述当前选定车牌识别结果属于所述当前第一车牌识别结果的当前记录周期；

若确定所述差值大于所述预设阈值，则将所述当前选定车牌识别结果的出现时间确定为所述当前记录周期的结束时间，将所述第一当前车牌识别结果的出现时间确定为第一当前车牌识别结果的下一记录周期的起始时间。

一种可能的实施方式中，从所述待识别视频的每一帧图像之前的各个帧图像的车牌识别结果中获取所述待识别视频的对应帧图像的各个车牌识别结果各自对应的选定车牌识别结果，具体包括：

针对所述待识别视频的每一帧图像的每一车牌识别结果，执行：

获取第二当前帧图像的第二当前车牌识别结果；

获取所述第二当前帧图像之前的各个帧图像的车牌识别结果，得到车牌识别结果集合；

将所述车牌识别结果集合中与所述第二当前车牌识别结果中底色预测信息相同且字符识别结果相同的车牌识别结果、以及底色预测信息相同且字符识别结果中除小于预设数量的相似字符外其它字符均对应相同的车牌识别结果确定为所述第二当前车牌识别结果的选定车牌识别结果。

一种可能的实施方式中，所述车牌提取网络模型包括基础网络、分类网络头和矫正网络头，所述基础网络与所述分类网络头、所述矫正网络头分别进行连接，所述基础网络由第一预设数量的卷积层、第二预设数量的最大池化层、第三预设数量的残差网络层按照预设顺序连接组成，所述分类网络头由卷积层和预设分类器组成，所述矫正网络头由卷积层和线性网络层组成；

将待识别图像输入车牌提取网络模型，获取所述待识别图像包括的各个第一车牌区域的车牌底色预测信息和角点坐标的仿射矩阵参数信息，具体包括：

将所述待识别图像输入所述基础网络，获得图像特征信息；

将所述图像特征信息输入所述分类网络头，获得各个第一车牌区域的车牌底色预测信息；以及

将所述图像特征信息输入所述矫正网络头，获得各个第一车牌区域的角点坐标的仿射矩阵参数信息。

第二方面，本发明实施例提供了一种车牌识别装置，包括：

获取单元，用于将待识别图像输入车牌提取网络模型，获取所述待识别图像包括的各个第一车牌区域的车牌底色预测信息和角点坐标的仿射矩阵参数信息，所述车牌提取网络模型是对样本图像集合中的各个第二车牌区域的底色信息和角点坐标进行标注后，并基于各个第二车牌区域对应的预设虚拟矩形框的角点坐标按照构建的预设训练模型训练获得的，各个预设虚拟矩形框的中心为对应的第二车牌区域的中心点、长度为预设长度和宽度为预设宽度；

获得单元，用于根据各个第一车牌区域的角点坐标的仿射矩阵参数信息对各自对应的预设虚拟矩形框的角点坐标进行仿射变换，获得各个第一车牌区域的角点坐标；

矫正单元，用于对各个第一车牌区域的角点坐标进行透视变换，获得各个第一车牌区域的车牌图像；

字符识别单元，用于对各个第一车牌区域的车牌图像进行字符识别，获得各个第一车牌区域的字符识别结果；

第一车牌识别单元，用于根据各个第一车牌区域的车牌底色预测信息和字符识别结果确定所述待识别图像的车牌识别结果。

一种可能的实施方式中，所述字符识别单元，具体用于针对每个第一车牌区域的车牌图像，执行如下步骤：根据预设算法确定当前第一车牌区域的车牌图像包括的字符的行数；若确定所述行数为1，则将所述当前第一车牌区域的车牌图像输入字符识别模型，获得字符识别结果；若确定所述行数大于1，则按照所述行数分割所述当前第一车牌区域的车牌图像，将得到的所述当前第一车牌区域的各车牌子图像输入所述字符识别模型，获得所述当前第一车牌区域的各个车牌子图像对应的字符识别结果。

一种可能的实施方式中，所述字符识别单元，具体用于将所述当前第一车牌区域的车牌图像进行二值化处理，得到二值化图像；将所述二值化图像进行水平方向投影，获得对应的图像直方图；将所述图像直方图中连续曲线的个数确定为所述当前第一车牌区域的车牌图像中字符的行数。

一种可能的实施方式中，所述装置，还包括：

第二车牌识别单元，用于获取待识别视频中的每一帧图像的车牌识别结果；

车牌统计单元，用于根据所述待识别视频中的每一帧图像的车牌识别结果，获得所述待识别视频的车牌统计信息。

一种可能的实施方式中，所述车牌统计单元，具体用于获取所述待识别视频的各个帧图像在所述待识别视频中的出现时间作为对应的帧图像的各个车牌识别结果的出现时间；从所述待识别视频的每一帧图像之前的各个帧图像的车牌识别结果中获取所述待识别视频的对应帧图像的各个车牌识别结果各自对应的选定车牌识别结果；根据所述待识别视频的每一帧图像中的各个车牌识别结果与对应的选定车牌识别结果的出现时间确定各个车牌识别结果的记录周期；统计各个车牌识别结果的记录周期中相应的车牌识别结果与选定车牌识别结果的出现次数，记录各个记录周期内相应的车牌识别结果的首次出现时间和持续出现时长，得到所述待识别视频的车牌统计信息。

一种可能的实施方式中，所述车牌统计单元，具体用于针对所述待识别视频的每一帧图像的每个车牌识别结果，执行：确定第一当前帧图像的第一当前车牌识别结果的出现时间与出现时间最接近的当前选定车牌识别结果的出现时间的差值是否小于或等于预设阈值；若确定所述差值小于或等于所述预设阈值，则确定所述当前选定车牌识别结果属于所述当前第一车牌识别结果的当前记录周期；若确定所述差值大于所述预设阈值，则将所述当前选定车牌识别结果的出现时间确定为所述当前记录周期的结束时间，将所述第一当前车牌识别结果的出现时间确定为第一当前车牌识别结果的下一记录周期的起始时间。

一种可能的实施方式中，所述车牌统计单元，具体用于针对所述待识别视频的每一帧图像的每一车牌识别结果，执行：获取第二当前帧图像的第二当前车牌识别结果；获取所述第二当前帧图像之前的各个帧图像的车牌识别结果，得到车牌识别结果集合；将所述车牌识别结果集合中与所述第二当前车牌识别结果中底色预测信息相同且字符识别结果相同的车牌识别结果、以及底色预测信息相同且字符识别结果中除小于预设数量的相似字符外其它字符均对应相同的车牌识别结果确定为所述第二当前车牌识别结果的选定车牌识别结果。

一种可能的实施方式中，所述车牌提取网络模型包括基础网络、分类网络头和矫正网络头，所述基础网络与所述分类网络头、所述矫正网络头分别进行连接，所述基础网络由第一预设数量的卷积层、第二预设数量的最大池化层、第三预设数量的残差网络层按照预设顺序连接组成，所述分类网络头由卷积层和预设分类器组成，所述矫正网络头由卷积层和线性网络层组成；

所述获取单元，具体用于将所述待识别图像输入所述基础网络，获得图像特征信息；将所述图像特征信息输入所述分类网络头，获得各个第一车牌区域的车牌底色预测信息；以及将所述图像特征信息输入所述矫正网络头，获得各个第一车牌区域的角点坐标的仿射矩阵参数信息。

第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明所述的车牌识别方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明所述的车牌识别方法中的步骤。

本发明实施例的有益效果如下：

本发明实施例中，车牌识别设备将通过图像采集设备采集的待识别图像输入车牌提取网络模型，获得待识别图像包括的各个第一车牌区域的车牌底色预测信息和角点坐标的仿射矩阵参数信息，其中，所述车牌提取网络模型是对样本图像集合中的各个第二车牌区域的底色信息和角点坐标进行标注后，基于各个第二车牌区域对应的预设虚拟矩形框的角点坐标按照构建的预设训练模型训练获得的，各个预设虚拟矩形框的中心为对应的第二车牌区域的中心点、长度为预设长度和宽度为预设宽度，进而，车牌识别设备根据各个第一车牌区域的角点坐标的仿射矩阵参数信息对各自对应的预设虚拟矩形框的角点坐标进行仿射变换，获得各个第一车牌区域的角点坐标，再对各个第一车牌区域的角点坐标进行透视变换，获得各个第一车牌区域的车牌图像，即矫正后的第一车牌区域的车牌图像，对获得的各个矫正后的第一车牌区域的车牌图像的进行字符识别，获得各个第一车牌区域的字符识别结果，根据各个第一车牌区域的车牌底色预测信息和字符识别结果确定待识别图像的车牌识别结果，相比于现有技术，本发明实施例中所采用的车牌提取网络模型可以同时预测待识别图像中包含的各车牌区域的底色以及车牌区域的角点坐标的矫正参数，以对车牌区域的角点坐标进行矫正，不受制于图像采集设备的拍摄环境及拍摄角度，不仅对车牌底色的预测更加准确，还可以对车牌区域的变形进行矫正，从而获得更加精确的车牌图像，进而，对识别的各个车牌区域的车牌图像进行字符识别，并根据预测的各车牌底色与字符识别结果获得待识别图像的车牌识别结果，提高了车牌识别的准确率和识别效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例提供的车牌识别方法的实施流程示意图；

图2为本发明实施例提供的车牌提取网络模型的整体架构示意图；

图3为本发明实施例中，残差网络层Resblock(N)的结构示意图；

图4为本发明实施例提供的车牌提取实施流程示意图；

图5为本发明实施例提供的字符识别实施流程示意图；

图6为本发明实施例提供的确定车牌图像中字符的行数的实施流程示意图；

图7(a)为本发明实施例提供的一个包含单行字符的车牌图像及其水平投影后的直方图；

图7(b)为本发明实施例提供的一个包含双行字符的车牌图像及其水平投影后的直方图，以及分割后的车牌子图；

图8为本发明实施例提供的对视频中车牌进行识别的实施流程示意图；

图9为本发明实施例提供的获得待识别视频的车牌统计信息的实施流程示意图；

图10为本发明实施例提供的获取车牌识别结果对应的选定车牌识别结果的实施流程示意图；

图11为本发明实施例提供的确定车牌识别结果的记录周期的实施流程示意图；

图12为本发明实施例提供的车牌识别装置的结构示意图；

图13为本发明实施例提供的电子设备的结构示意图。

具体实施方式

车牌识别是现代智能交通系统中的重要组成部分，对于维护城市治安和实现车辆自动化管理都具有重要意义。车牌识别技术包括两部分：车牌定位和字符识别，现有的车牌定位方法中，基于边缘检测的定位方法主要是利用车牌区域中字符和底色之间的灰度变化特征来搜索车牌区域，一般先对车牌图像进行增强处理，再进行边缘提取，利用水平扫描线等方法进行车牌区域的检测，该类方法对使用场景要求较为苛刻，在较复杂场景下往往效果较差，甚至可能定位失败。基于颜色信息的定位方法是利用车牌区域特定的底色信息来获取车牌的边界信息，该类方法易受光照条件和背景的干扰，不适合用户实时性要求高的环境中。基于传统机器学习的定位方法进行车牌检测时，需要设计合适的特征提取算子以获取车牌区域的纹理特征，然后训练相应的分类器对车牌区域与非车牌区域进行分类，常用的分类器如SVM(Support Vector Machines，支持向量机)分类器等，该类方法在训练样本较少的情况下能够达到较好的检测效果，但是由于传统机器学习算法存在计算量大、收敛速度慢、实时性差等问题，故对于大规模训练样本往往难以实施。基于神经网络的定位方法通过构建并训练神经网络模型来实现车牌定位，然而现有的该类方法运算量大、内存消耗大，且目前用于车牌定位的神经网络模型的功能都比较单一。目前，常用的字符识别算法主要有基于模板匹配的字符识别算法。基于模板匹配的字符识别算法分为不需要进行特征提取直接将字符点阵与模板匹配的方法，以及需要先进行特征提取再与模板匹配的方法两种。不需要进行特征提取直接将字符点阵与模板匹配的方法的基本过程如下：首先对待识别字符进行二值化，并将其尺寸大小缩放为字符数据库中模板的尺寸大小，然后与全部的模板进行匹配，最后选择最佳匹配结果，而需要先进行特征提取再与模板匹配的方法主要利用字符的轮廓、网格、投影等统计特征，该类方法实现简单，但存在对噪声干扰敏感，相似字符识别效果较差，以及由于特征数据维数过大而导致识别速度慢等问题。

上述目前常见的车牌识别方法一般只在某些特定条件下能达到一定的效果，且普遍存在识别类型单一、使用场景受限、对环境因素要求较为严格等问题。基于此，本发明实施例提供了一种车牌识别方法、装置、电子设备及存储介质，不受图像采集设备的安装环境和拍摄角度的约束，大大提高了场景兼容性，且能够在实际复杂场景下实现高鲁棒性、高识别准确率。

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

如图1所示，其为本发明实施例提供的车牌识别方法的实施流程示意图，该车牌识别方法可以应用于移动侦测系统中，移动侦测系统可以包括图像采集设备和车牌识别设备，所述车牌识别方法具体可以包括以下步骤：

S11、将待识别图像输入车牌提取网络模型，获取待识别图像包括的各个第一车牌区域的车牌底色预测信息和角点坐标的仿射矩阵参数信息。

具体实施时，车牌识别设备将待识别图像输入车牌提取网络模型，获得待识别图像包括的各个车牌区域(记为第一车牌区域)的车牌底色预测信息和角点坐标的仿射矩阵参数信息，其中，所述车牌提取网络模型是对样本图像集合中的各个第二车牌区域的底色信息和角点坐标进行标注后，并基于各个第二车牌区域对应的预设虚拟矩形框的角点坐标按照构建的预设训练模型训练获得的，各个预设虚拟矩形框的中心为对应的第二车牌区域的中心点、长度为预设长度和宽度为预设宽度。

具体地，车牌识别设备根据构建的预设训练模型预先训练车牌提取网络模型，预设训练模型由输入层、基础网络、分类网络头、矫正网络头和输出层组成，如图2所示，其为车牌提取网络模型的整体架构示意图，其中，输入层连接基础网络，在基础网络后分为两路，分别连接分类网络头和矫正网络头，基础网络用于获取图像特征信息，分类网络头用于对车牌底色进行分类预测，矫正网络头用于获取车牌区域的角点坐标的仿射矩阵参数，也就是矫正参数，以对车牌区域的角点坐标进行矫正，两个网络头部的结果合并后作为最终的输出结果通过输出层输出，其中，所述基础网络由第一预设数量的卷积层、第二预设数量的最大池化层以及第三预设数据量的残差网络层按照预设顺序连接组成，例如，基础网络层的结构可以但不限于为以下结构：Conv3-32→Maxpool→Conv3-64→Resblock(128)→Maxpool→Conv3-128→Resblock(128)→Resblock(128)→Maxpool→Resblock(256)→Resblock(256)→Maxpool→Conv3-256→Resblock(512)→Resblock(512)，Conv n-m表示一个由m个大小为n×n的卷积核构成的卷积层，即：Conv3-32表示一个由32个大小为3×3的卷积核构成的卷积层，Conv3-64表示一个由64个大小为3×3的卷积核构成的卷积层，Conv3-128表示一个由128个大小为3×3的卷积核构成的卷积层，Conv3-256表示一个由256个大小为3×3的卷积核构成的卷积层，每个卷积层后都需要经过ReLU(Rectified LinearUnits)激活函数进行激活，Maxpool表示窗口大小为2、步长为2的最大池化层，Resblock表示残差网络层，Resblock(N)的结构如图3所示，其中，Conv 3×3，N即：Conv3-N，以Resblock(128)为例，其中的两个卷积层为由128个大小为3×3的卷积核构成的卷积层。分类网络头可以由卷积层和预设分类器组成，例如，分类网络头的网络结构可以但不限于为以下结构：Conv3-5→Softmax，其中的卷积层可以为一个由5个大小为3×3的卷积核构成的卷积层，预设分类器可以为Softmax，这里用一个包含5个大小为3×3的卷积核的卷积层来学习不同车牌底色的分类(目前支持的车牌底色可以为：蓝色、黄色、绿色、白色、黑色)。矫正网络头可以由卷积层和线性网络层组成，矫正网络头的网络结构可以但不限于为以下结构：Conv3-6→Linear，用于学习将不同形状的车牌区域转换为矩形的仿射矩阵参数，即车牌区域的角点坐标的仿射矩阵参数信息，仿射矩阵参数用于获得待识别图像中的车牌区域的真实角点坐标信息，进而，对获得的车牌区域的真实角点坐标进行透视变换，得到矫正后的车牌区域的车牌图像。相比于现有技术中基于传统机器学习的车牌定位方法，本发明实施例构建的车牌提取网络模型计算量小、收敛速度快、内存消耗小，有效提高了车牌定位的效率。

车牌识别设备对构建的车牌提取网络模型(即：预设训练模型)进行预训练，调整车牌提取网络模型中的各个参数，获得训练后的车牌提取网络模型，训练方式具体如下：采集不同场景、不同光线、不同拍摄角度、不同尺寸、不同类型的包含车牌的图像作为样本图像，组成样本图像集合，并对样本图像集合的各样本图像中出现的所有车牌区域(记为第二车牌区域)进行标注，标注内容可包括车牌区域的底色信息、车牌区域的四个角点坐标信息，并为样本图像中的每一车牌区域设置对应的预设虚拟矩形框，可以按照如下方式设置预设虚拟矩形框：将虚拟矩形框的中心设置为对应的车牌区域的中心点，长度设置为预设长度，宽度设置为预设宽度，例如可以设置预设长度和预设宽度均为1，本发明实施例对此不作限定，进而可获得各个车牌区域(即第二车牌区域)对应的预设虚拟矩形框的角点坐标，进而，利用图像增强方法对标注后的样本图像集合进行扩充得到扩充样本图像集合，用于车牌提取网络模型的训练和测试，其中，图像增强方法可以包括但不限于以下几种方法：旋转、扭曲、色彩抖动等，本发明实施例对此不作限定。进而，利用上述得到的扩充样本图像集合训练构建的车牌提取网络模型，该车牌提取网络模型的损失函数由两部分组成，其中，车牌底色分类网络部分(即分类网络头)的损失函数可以但不限于采用多分类交叉熵损失函数，车牌区域矫正网络部分(即矫正网络头)的损失函数可以但不限于采用均方差损失函数，训练过程中可以但不限于采用Adma优化算法优化车牌提取网络模型的损失函数，调整车牌提取网络模型的各个参数，通过不断迭代优化直到预设次数或损失误差的平均值趋于稳定，得到训练后的车牌提取网络模型。其中，车牌区域矫正网络部分的训练过程中，车牌区域的仿射矩阵参数用于获取样本图像中的车牌区域的真实角点坐标，仿射矩阵参数的训练过程如下：利用预设虚拟矩形框的四个角点坐标与仿射矩阵参数相乘得到变换后的四边形的四个角点坐标，(即：网络预测的车牌区域的角点坐标)，记为A，计算A和预先标注的车牌区域的真实角点坐标之间的偏差，调整车牌提取网络模型的各个参数，通过不断优化该偏差(即：减小该偏差)，可训练得到车牌区域的角点坐标的仿射矩阵参数(也就是说，利用仿射矩阵参数进行仿射变换后的车牌区域的角点坐标值和标注的真实角点坐标值之间的误差越小，说明学习到的仿射矩阵参数越准确)，仿射矩阵可以但不限于为如下形式的矩阵：

本发明实施例中，仿射矩阵参数用于获得待识别图像的车牌区域的真实角点坐标信息，具体实现方法是：将车牌区域对应的预设虚拟矩形框与仿射矩阵参数相乘，即可得到该车牌区域的真实角点坐标，进而，再对获得的车牌区域的真实角点坐标进行透视变换，得到矫正后的车牌区域的车牌图像。

具体地，如图4所示，其为本发明实施例提供的车牌提取实施流程示意图，可根据以下步骤获得车牌区域的车牌底色预测信息和车牌区域的角点坐标的仿射矩阵参数信息：

S21、将待识别图像输入车牌提取网络模型的基础网络，获得图像特征信息。

具体实施时，车牌识别设备将由图像采集设备采集的待识别图像输入训练得到的车牌提取网络模型的基础网络，获得图像特征信息。

S22、将图像特征信息输入车牌提取网络模型的分类网络头，获得各个第一车牌区域的车牌底色预测信息，以及将图像特征信息输入车牌提取网络模型的矫正网络头，获得各个第一车牌区域的角点坐标的仿射矩阵参数信息。

具体实施时，车牌识别设备获得的图像特征信息分别输入上述训练得到的车牌提取网络模型的分类网络头和矫正网络头，分别获得待识别图像包括的各个第一车牌区域的车牌底色预测信息和各个第一车牌区域的角点坐标的仿射矩阵参数信息。

S12、根据各个第一车牌区域的角点坐标的仿射矩阵参数信息对各自对应的预设虚拟矩形框的角点坐标进行仿射变换，获得各个第一车牌区域的角点坐标。

具体实施时，车牌识别设备将各个第一车牌区域对应的预设虚拟矩形框与角点坐标的仿射矩阵参数相乘，得到各个第一车牌区域的真实角点坐标。

S13、对各个第一车牌区域的角点坐标进行透视变换，获得各个第一车牌区域的车牌图像。

具体实施时，车牌识别设备分别对各个第一车牌区域的角点坐标进行透视变换，获得各个第一车牌区域的车牌图像，也就是矫正后的各个第一车牌区域的车牌图像。

透视变换是将图像投影到一个新的视平面，也称作投影映射或透射变换，是从二维坐标(x,y)到三维坐标(X,Y,Z)，再到另一个二维坐标(x′,y′)空间的映射。相对于仿射变换，它提供了更大的灵活性，可以将一个四边形区域映射到另一个四边形区域，可通过矩阵乘法实现，具体实施过程中，可使用一个3×3的矩阵，矩阵的前两行元素与仿射矩阵相同，实现了线性变换和平移，第三行用于实现透视变换，具体实施时可使用opencv库里提供的warpPerspective函数实现。

S14、对各个第一车牌区域的车牌图像进行字符识别，获得各个第一车牌区域的字符识别结果。

具体实施时，车牌识别设备将矫正后的各个第一车牌图像调整为预设尺寸的图像后输入字符识别模型，获得各个第一车牌区域的字符识别结果，字符识别结果即为车牌字符(即车牌号)。

具体地，车牌识别设备可以预先利用LSTM(Long Short-Term Memory，长短时记忆)网络模型进行训练获得字符识别模型，训练过程具体如下：利用车牌生成器人工生成预设尺寸且符合车牌字符规范的各种底色的仿真车牌图像作为训练样本，组成样本集，对样本集中的所有车牌图像进行标注，标注车牌字符(即车牌号)，并利用该标注后的样本集训练LSTM网络模型，该网络模型的损失函数可以但不限于使用均方差损失函数，经过训练最终学习到满足要求的网络模型参数，得到字符识别模型，本发明实施例中，也可以采用其他神经网路模型进行训练获得字符识别模型，所述预设尺寸可以根据需要自行设定，例如可以设置成94×24，本发明实施例对此不做限定。

具体实施时，可以按照如图5所示的流程对每个第一车牌区域的车牌图像进行字符识别，针对每个第一车牌区域的车牌图像，执行步骤S31～S34：

S31、根据预设算法确定当前第一车牌区域的车牌图像包括的字符的行数。

具体实施时，按照如图6所示的流程确定所述当前第一车牌区域的车牌图像中字符的行数，可以包括以下步骤：

S311、将当前第一车牌区域的车牌图像进行二值化处理，得到二值化图像。

S312、将二值化图像进行水平方向投影，获得对应的图像直方图。

S313、将图像直方图中连续曲线的个数确定为当前第一车牌区域的车牌图像中字符的行数。

具体实施时，车牌识别设备将获得的图像直方图中连续曲线的个数确定为当前第一车牌区域的车牌图像中字符的行数，其中，每一个连续曲线对应一行字符。

由于有字符的地方投影到直方图上有值，一行字符投影后组成直方图中的一条连续的曲线，在文本行之间的空白区域没有字符，所以投影到直方图上没有值，即值为零，因此，可以根据直方图上连续曲线的个数识别车牌图像中字符的行数，每两个连续曲线之间为零的位置就是两行字符之间的间隙(即两行字符的交界位置)，也就是两行字符之间的分割点。例如，如图7(a)所示为一个包含单行字符的车牌图像及其水平投影后的直方图，左侧为包含单行字符的车牌图像，右侧为该车牌图像水平投影后的直方图，该直方图中仅包含一条连续曲线，进而，将该车牌图像调整为预设尺寸(如94×24)后输入字符识别模型，获得识别的车牌号。

如图7(b)所示为一个包含双行字符的车牌图像及其水平投影后的直方图，以及将该车牌图像进行分割后的车牌子图，该车牌图像中的两行字符分别为“京·A”和“F0236”，其水平投影后的直方图中包含两条连续曲线，上方的连续曲线对应第一行字符“京·A”，下方的连续曲线对应第二行字符“F0236”，这两条连续曲线中间为零的位置即为分割点，分割后得到两个车牌子图像，分别包含字符“京·A”和“F0236”，进而，将这两个车牌字符分别输入字符识别模型，获得各自识别的字符后，将识别的字符按行进行组合，即可得到识别的双行的车牌号。

S32、确定字符的行数是否大于1，若确定行数不大于1(即行数为1)，则执行步骤S33，若确定行数大于1，则执行步骤S34。

S33、将当前第一车牌区域的车牌图像输入字符识别模型，获得字符识别结果。

具体实施时，若确定字符的行数为1，则将当前第一车牌区域的车牌图像输入字符识别模型，获得字符识别结果。

S34、按照行数分割当前第一车牌区域的车牌图像，将得到的当前第一车牌区域的各车牌子图像输入字符识别模型，获得当前第一车牌区域的各个车牌子图像对应的字符识别结果。

具体实施时，若确定字符的行数大于1，则按照行数分割当前第一车牌区域的车牌图像，将得到的当前第一车牌区域的各车牌子图像输入字符识别模型，获得当前第一车牌区域的各个车牌子图像对应的字符识别结果。

本发明实施例中，在确定车牌图像中字符的行数时，将车牌图像进行二值化处理后，利用水平投影法获得图像直方图，由于有字符的地方投影到直方图上有值，一行字符投影后组成直方图中的一条连续的曲线，在文本行之间的空白区域没有字符，所以投影到直方图上没有值，即值为零，因此，可以根据直方图上连续曲线的个数识别车牌图像中字符的行数，每两个连续曲线之间为零的位置就是两行字符之间的间隙(即两行字符的交界位置)，也就是两行字符之间的分割点，现有技术中利用垂直投影法分割单个字符后再逐字符进行匹配识别的方式，没有考虑到多行字符的情况，而本发明上述利用水平投影法先确定车牌图像中字符的行数，再将按照行数对车牌图像进行分割后得到的各车牌子图输入字符识别模型中进行字符识别，避免了对其直接进行识别可能导致的误差，进一步提高了车牌字符识别的准确率。

S15、根据各个第一车牌区域的车牌底色预测信息和字符识别结果确定所述待识别图像的车牌识别结果。

具体实施时，车牌识别设备预先存储车牌底色加指定字符与车牌类型的对应关系，其中，指定字符可以为表示所归属的省份或城市的字符，也可以为特殊字符，例如“警”、“挂”、“学”等，例如，车牌底色为绿色、指定字符为“京”对应的车牌类型为：京牌电动汽车。当车牌识别设备将矫正后的第一车牌区域的车牌图像输入字符识别模型，获得识别的车牌字符后，还可以根据上述预测的车牌底色与识别的车牌字符中的指定字符从预设的车牌底色加指定字符与车牌类型的对应关系中获得匹配的车牌类型。

一种可选的实施方式中，还可以对视频进行车牌识别，进行车牌信息统计。

如图8所示，其为本发明实施例提供的对视频中车牌进行识别的实施流程示意图，可以包括以下步骤：

S41、获取待识别视频中的每一帧图像的车牌识别结果。

具体实施时，按照步骤S11～S15所述的车牌识别方法分别对待识别视频中的每一帧图像进行车牌识别，获取待识别视频中的每一帧图像的车牌识别结果，此处不作赘述，每一帧图像的车牌识别结果包括该帧图像中包含的车牌区域的底色预测信息和字符识别结果。

S42、根据待识别视频中的每一帧图像的车牌识别结果，获得待识别视频的车牌统计信息。

具体实施时，按照如图9所示的流程获得待识别视频的车牌统计信息，可以包括以下步骤：

S51、获取待识别视频的各个帧图像在待识别视频中的出现时间作为对应的帧图像的各个车牌识别结果的出现时间。

具体实施时，待识别视频中的帧图像在该待识别视频帧的出现时间即为帧图像的各个车牌识别结果的出现时间，获取待识别视频的各个帧图像在待识别视频中的出现时间作为对应的帧图像的各个车牌识别结果的出现时间。

S52、从待识别视频的每一帧图像之前的各个帧图像的车牌识别结果中获取待识别视频的对应帧图像的各个车牌识别结果各自对应的选定车牌识别结果。

具体实施时，针对待识别视频的每一帧图像，从该帧图像之前的各个帧图像的车牌识别结果中获取该帧图像的各个车牌识别结果各自对应的选定车牌识别结果，其中一个车牌识别结果对应的选定车牌识别结果具体为：与该车牌识别结果相同的车牌识别结果以及该车牌识别结果的相似车牌识别结果。

具体地，按照如图10所示的流程从待识别视频的每一帧图像之前的各个帧图像的车牌识别结果中获取待识别视频的对应帧图像的各个车牌识别结果各自对应的选定车牌识别结果，针对待识别视频的每一帧图像的每一车牌识别结果，执行以下步骤：

S521、获取第二当前帧图像的第二当前车牌识别结果。

具体实施时，车牌识别设备获取当前帧图像(可记为：第二当前帧图像)的当前车牌识别结果(可记为：第二当前车牌识别结果)。

S522、获取第二当前帧图像之前的各个帧图像的车牌识别结果，得到车牌识别结果集合。

具体实施时，车牌识别设备获取(第二)当前帧图像之前的各个帧图像的车牌识别结果，得到车牌识别结果集合。

S523、将车牌识别结果集合中与第二当前车牌识别结果中底色预测信息相同且字符识别结果相同的车牌识别结果、以及底色预测信息相同且字符识别结果中除小于预设数量的相似字符外其它字符均对应相同的车牌识别结果确定为第二当前车牌识别结果的选定车牌识别结果。

具体实施时，车牌识别结果集合中与(第二)当前车牌识别结果中底色预测信息相同且字符识别结果相同的车牌识别结果，也就是车牌识别结果集合中与(第二)当前车牌识别结果相同的车牌识别结果，车牌识别结果集合中与(第二)当前车牌识别结果中底色预测信息相同且字符识别结果中除小于预设数量的相似字符外其它字符均对应相同的车牌识别结果，也就是车牌识别结果集合中与(第二)当前车牌识别结果相似的车牌识别结果，与(第二)当前车牌识别结果相同以及相似的车牌识别结果即为(第二)当前车牌识别结果的选定车牌识别结果。

其中，相似字符是从预设相似字符字典中匹配获得的，预设数量可以但不限于设置为2或3。

具体实施时，车牌识别设备预先设置相似字符字典，例如，所述相似字符字典中可以但不限于包括以下相似字符的组合：{“A”，“4”}，{“B”，“8”}，{“C”,“G”,“6”}，{“D”，“0”，“Q”}，{“M”，“N”，“W”，“H”}，{“1”，“7”}，其中，每一组合中的各字符互为相似字符。对两个车牌识别结果中的字符识别结果逐字符进行比对，对于在相同位置只有个别字符不同，而不同的字符属于相似字符字典中任一组合中的相似字符，且底色预测信息相同的车牌识别结果为相似车牌识别结果。例如，两个底色均为蓝色的车牌，车牌号分别为：“京·AD1234”和“京·4D1234”，这两个车牌中仅有第二个字符不同，其余各字符均对应相同，且底色相同，并且，不同的两个字符“A”和“4”属于相似字符字典中的相似字符，则这两个车牌为相似车牌，由于移动侦测系统中的图像采集设备移动拍摄可能会导致车牌字符误识别，这两个相似车牌可能是同一车牌，进而，将车牌及其相似车牌进行统计，可以抑制由于移动拍摄所导致的车牌字符误识别，提高车牌字符识别的准确率。

S53、根据待识别视频的每一帧图像中的各个车牌识别结果与对应的选定车牌识别结果的出现时间确定各个车牌识别结果的记录周期。

具体实施时，按照如图11所示的流程确定车牌识别结果的记录周期，针对待识别视频的每一帧图像的每个车牌识别结果，执行以下步骤：

S531、确定第一当前帧图像的第一当前车牌识别结果的出现时间与出现时间最接近的当前选定车牌识别结果的出现时间的差值是否小于或等于预设阈值，若确定所述差值小于或等于所述预设阈值，则执行步骤S532，若确定所述差值大于所述预设阈值，执行步骤S533。

具体实施时，针对待识别视频的每一帧图像的每个车牌识别结果，确定当前帧图像(可记为第一当前帧图像)的当前车牌识别结果(即：当前帧图像的车牌识别结果中的一个车牌识别结果，可记为第一当前车牌结果)与出现时间最接近的该第一当前车牌识别结果对应的选定车牌识别结果(即从第一当前帧图像之前的帧图像中获取的最邻近的该第一当前车牌识别结果的相同或相似车牌识别结果)的出现时间的差值是否小于或等于预设阈值，其中，预设阈值可以根据不同的应用场景自行进行设定，例如，可以但不限于设置为5分钟。上述按照时间跨度为各车牌识别结果设置记录周期的方式，避免由于时间跨度过大而导致的对车牌识别结果及其相似车牌车牌识别结果的识别准确率的误差，进一步提高了识别准确率。

S532、确定当前选定车牌识别结果属于当前第一车牌识别结果的当前记录周期。

具体实施时，若第一当前帧图像的第一当前车牌识别结果的出现时间与出现时间最接近的当前选定车牌识别结果的出现时间的差值小于或等于预设阈值，则确定当前选定车牌识别结果属于当前第一车牌识别结果的当前记录周期。

S533、将当前选定车牌识别结果的出现时间确定为当前记录周期的结束时间，将第一当前车牌识别结果的出现时间确定为第一当前车牌识别结果的下一记录周期的起始时间。

具体实施时，若确定第一当前帧图像的第一当前车牌识别结果的出现时间与出现时间最接近的当前选定车牌识别结果的出现时间的差值大于预设阈值，则将当前选定车牌识别结果的出现时间确定为当前记录周期的结束时间，将第一当前车牌识别结果的出现时间确定为第一当前车牌识别结果的下一记录周期的起始时间。

S54、统计各个车牌识别结果的记录周期中相应的车牌识别结果与选定车牌识别结果的出现次数，记录各个记录周期内相应的车牌识别结果的首次出现时间和持续出现时长，得到待识别视频的车牌统计信息。

具体实施时，车牌识别设备为各个记录周期中的车牌识别结果创建对应的跟踪计时器和计数器，(其中，一个车牌识别结果的跟踪计时器和计数器是车牌识别设备在每一个记录周期第一次获得该车牌识别结果时为该车牌识别结果创建的)。利用各自相应的计数器对各个车牌识别结果的记录周期中相应的车牌识别结果与选定车牌识别结果的出现次数进行计数，并利用各自相应的跟踪计时器记录各个车牌识别结果的记录周期中的相应的车牌识别结果在待识别视频中的首次出现时间以及持续出现时长，持续出现时长即该记录周期的时长，每一记录周期中相应的车牌识别结果第一次出现时，将计数器置1。

一种可能的实施方式中，车牌识别设备还可以逐次对待识别视频的帧图像进行车牌识别，在车牌识别的同时，对获取的各车牌识别结果进行跟踪计时和计数。

具体地，车牌识别设备从待识别视频的每一帧图像中获取到一个车牌识别结果时，判断是否已存在该车牌识别结果对应的跟踪计时器和计数器，如果存在该车牌识别结果对应的跟踪计时器和计数器，则利用该车牌识别结果的跟踪计时器记录该车牌识别结果在待识别视频中的出现时间，并将计数器加1。如果不存在该车牌识别结果的跟踪计时器和计数器，则判断是否存在该车牌识别结果的相似车牌识别结果的跟踪计时器和计数器，如果存在该车牌识别结果的相似车牌识别结果的跟踪计时器和计数器，则利用该车牌识别结果的相似车牌识别结果的跟踪计时器对识别到的该车牌识别结果在待识别视频中出现的时间进行记录，如果也不存在该车牌识别结果的相似车牌识别结果的跟踪计时器和计数器，则为该车牌识别结果创建跟踪计时器和计数器，利用创建的该车牌识别结果的跟踪计时器记录该车牌在待识别视频中出现的时间，并将计数器置1，计数器用于记录该车牌识别结果及其相似车牌识别结果在当前记录周期中出现的总次数。如果该车牌识别结果或其相似车牌识别结果在待识别视频中的出现时间与在当前记录周期中在待识别视频中出现时间最邻近一次的该车牌识别结果或其相似车牌识别结果在待识别视频中的出现时间的差值小于或等于预设阈值，则利用该车牌识别结果的计数器在当前记录周期中对该车牌与其相似车牌进行累计计数。如果所述差值大于预设阈值，则为该车牌识别结果创建新的记录周期，将当前该车牌识别结果在待识别视频中的出现时间确定为下一记录周期在待识别视频中首次获得该车牌识别结果的时间。存储当前记录周期创建的该车牌识别结果的跟踪计时器和计数器记录的车牌统计信息，将当前记录周期创建的该车牌识别结果的跟踪计时器和计数器删除，并在下一记录周期中为该车牌识别结果重新创建跟踪计时器和计数器，对该车牌识别结果与其相似车牌识别结果重新进行累计计数。

本发明实施例提供的车牌识别方法，车牌识别设备将通过图像采集设备采集的待识别图像输入车牌提取网络模型，获得待识别图像包括的各个第一车牌区域的车牌底色预测信息和角点坐标的仿射矩阵参数信息，其中，所述车牌提取网络模型是对样本图像集合中的各个第二车牌区域的底色信息和角点坐标进行标注后，基于各个第二车牌区域对应的预设虚拟矩形框的角点坐标按照构建的预设训练模型训练获得的，各个预设虚拟矩形框的中心为对应的第二车牌区域的中心点、长度为预设长度和宽度为预设宽度，进而，车牌识别设备根据各个第一车牌区域的角点坐标的仿射矩阵参数信息对各自对应的预设虚拟矩形框的角点坐标进行仿射变换，获得各个第一车牌区域的角点坐标，再对各个第一车牌区域的角点坐标进行透视变换，获得各个第一车牌区域的车牌图像，即矫正后的第一车牌区域的车牌图像，对获得的各个矫正后的第一车牌区域的车牌图像的进行字符识别，获得各个第一车牌区域的字符识别结果，根据各个第一车牌区域的车牌底色预测信息和字符识别结果确定待识别图像的车牌识别结果，相比于现有技术，本发明实施例中所采用的车牌提取网络模型可以同时预测待识别图像中包含的各车牌区域的底色以及车牌区域的角点坐标的矫正参数，以对车牌区域的角点坐标进行矫正，不受制于图像采集设备的拍摄环境及拍摄角度，不仅对车牌底色的预测更加准确，还可以对车牌区域的变形进行矫正，从而获得更加精确的车牌图像，进而，对识别的各个车牌区域的车牌图像进行字符识别，并根据预测的各车牌底色与字符识别结果获得待识别图像的车牌识别结果，提高了车牌识别的准确率和识别效率。

基于同一发明构思，本发明实施例还提供了一种车牌识别装置，由于上述车牌识别装置解决问题的原理与车牌识别方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。

如图12所示，其为本发明实施例提供的车牌识别装置的结构示意图，可以包括：

获取单元61，用于将待识别图像输入车牌提取网络模型，获取所述待识别图像包括的各个第一车牌区域的车牌底色预测信息和角点坐标的仿射矩阵参数信息，所述车牌提取网络模型是对样本图像集合中的各个第二车牌区域的底色信息和角点坐标进行标注后，并基于各个第二车牌区域对应的预设虚拟矩形框的角点坐标按照构建的预设训练模型训练获得的，各个预设虚拟矩形框的中心为对应的第二车牌区域的中心点、长度为预设长度和宽度为预设宽度；

获得单元62，用于根据各个第一车牌区域的角点坐标的仿射矩阵参数信息对各自对应的预设虚拟矩形框的角点坐标进行仿射变换，获得各个第一车牌区域的角点坐标；

矫正单元63，用于对各个第一车牌区域的角点坐标进行透视变换，获得各个第一车牌区域的车牌图像；

字符识别单元64，用于对各个第一车牌区域的车牌图像进行字符识别，获得各个第一车牌区域的字符识别结果；

第一车牌识别单元65，用于根据各个第一车牌区域的车牌底色预测信息和字符识别结果确定所述待识别图像的车牌识别结果。

一种可能的实施方式中，所述字符识别单元64，具体用于针对每个第一车牌区域的车牌图像，执行如下步骤：根据预设算法确定当前第一车牌区域的车牌图像包括的字符的行数；若确定所述行数为1，则将所述当前第一车牌区域的车牌图像输入字符识别模型，获得字符识别结果；若确定所述行数大于1，则按照所述行数分割所述当前第一车牌区域的车牌图像，将得到的所述当前第一车牌区域的各车牌子图像输入所述字符识别模型，获得所述当前第一车牌区域的各个车牌子图像对应的字符识别结果。

一种可能的实施方式中，所述字符识别单元64，具体用于将所述当前第一车牌区域的车牌图像进行二值化处理，得到二值化图像；将所述二值化图像进行水平方向投影，获得对应的图像直方图；将所述图像直方图中连续曲线的个数确定为所述当前第一车牌区域的车牌图像中字符的行数。

一种可能的实施方式中，所述装置，还包括：

第二车牌识别单元，用于获取待识别视频中的每一帧图像的车牌识别结果；

车牌统计单元，用于根据所述待识别视频中的每一帧图像的车牌识别结果，获得所述待识别视频的车牌统计信息。

一种可能的实施方式中，所述车牌统计单元，具体用于获取所述待识别视频的各个帧图像在所述待识别视频中的出现时间作为对应的帧图像的各个车牌识别结果的出现时间；从所述待识别视频的每一帧图像之前的各个帧图像的车牌识别结果中获取所述待识别视频的对应帧图像的各个车牌识别结果各自对应的选定车牌识别结果；根据所述待识别视频的每一帧图像中的各个车牌识别结果与对应的选定车牌识别结果的出现时间确定各个车牌识别结果的记录周期；统计各个车牌识别结果的记录周期中相应的车牌识别结果与选定车牌识别结果的出现次数，记录各个记录周期内相应的车牌识别结果的首次出现时间和持续出现时长，得到所述待识别视频的车牌统计信息。

一种可能的实施方式中，所述车牌统计单元，具体用于针对所述待识别视频的每一帧图像的每个车牌识别结果，执行：确定第一当前帧图像的第一当前车牌识别结果的出现时间与出现时间最接近的当前选定车牌识别结果的出现时间的差值是否小于或等于预设阈值；若确定所述差值小于或等于所述预设阈值，则确定所述当前选定车牌识别结果属于所述当前第一车牌识别结果的当前记录周期；若确定所述差值大于所述预设阈值，则将所述当前选定车牌识别结果的出现时间确定为所述当前记录周期的结束时间，将所述第一当前车牌识别结果的出现时间确定为第一当前车牌识别结果的下一记录周期的起始时间。

一种可能的实施方式中，所述车牌统计单元，具体用于针对所述待识别视频的每一帧图像的每一车牌识别结果，执行：获取第二当前帧图像的第二当前车牌识别结果；获取所述第二当前帧图像之前的各个帧图像的车牌识别结果，得到车牌识别结果集合；将所述车牌识别结果集合中与所述第二当前车牌识别结果中底色预测信息相同且字符识别结果相同的车牌识别结果、以及底色预测信息相同且字符识别结果中除小于预设数量的相似字符外其它字符均对应相同的车牌识别结果确定为所述第二当前车牌识别结果的选定车牌识别结果。

一种可能的实施方式中，所述车牌提取网络模型包括基础网络、分类网络头和矫正网络头，所述基础网络与所述分类网络头、所述矫正网络头分别进行连接，所述基础网络由第一预设数量的卷积层、第二预设数量的最大池化层、第三预设数量的残差网络层按照预设顺序连接组成，所述分类网络头由卷积层和预设分类器组成，所述矫正网络头由卷积层和线性网络层组成；

所述获取单元，具体用于将所述待识别图像输入所述基础网络，获得图像特征信息；将所述图像特征信息输入所述分类网络头，获得各个第一车牌区域的车牌底色预测信息；以及将所述图像特征信息输入所述矫正网络头，获得各个第一车牌区域的角点坐标的仿射矩阵参数信息。

基于同一技术构思，本发明实施例还提供了一种电子设备700，参照图13所示，电子设备700用于实施上述方法实施例记载的车牌识别方法，该实施例的电子设备700可以包括：存储器701、处理器702以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如车牌识别程序。所述处理器执行所述计算机程序时实现上述各个车牌识别方法实施例中的步骤，例如图1所示的步骤S11。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如61。

本发明实施例中不限定上述存储器701、处理器702之间的具体连接介质。本申请实施例在图13中以存储器701、处理器702之间通过总线703连接，总线703在图13中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线703可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器701可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器701也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器701是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器701可以是上述存储器的组合。

处理器702，用于实现如图1所示的一种车牌识别方法，包括：

所述处理器702，用于调用所述存储器701中存储的计算机程序执行如图1中所示的步骤S11、将待识别图像输入车牌提取网络模型，获取所述待识别图像包括的各个第一车牌区域的车牌底色预测信息和角点坐标的仿射矩阵参数信息，步骤S12、根据各个第一车牌区域的角点坐标的仿射矩阵参数信息对各自对应的预设虚拟矩形框的角点坐标进行仿射变换，获得各个第一车牌区域的角点坐标，步骤S13、对各个第一车牌区域的角点坐标进行透视变换，获得各个第一车牌区域的车牌图像，步骤S14、对各个第一车牌区域的车牌图像进行字符识别，获得各个第一车牌区域的字符识别结果，和步骤S15、根据各个第一车牌区域的车牌底色预测信息和字符识别结果确定所述待识别图像的车牌识别结果。

本申请实施例还提供了一种计算机可读存储介质，存储为执行上述处理器所需执行的计算机可执行指令，其包含用于执行上述处理器所需执行的程序。

在一些可能的实施方式中，本发明提供的车牌识别方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的车牌识别方法中的步骤，例如，所述电子设备可以执行如图1中所示的步骤S11、将待识别图像输入车牌提取网络模型，获取所述待识别图像包括的各个第一车牌区域的车牌底色预测信息和角点坐标的仿射矩阵参数信息，步骤S12、根据各个第一车牌区域的角点坐标的仿射矩阵参数信息对各自对应的预设虚拟矩形框的角点坐标进行仿射变换，获得各个第一车牌区域的角点坐标，步骤S13、对各个第一车牌区域的角点坐标进行透视变换，获得各个第一车牌区域的车牌图像，步骤S14、对各个第一车牌区域的车牌图像进行字符识别，获得各个第一车牌区域的字符识别结果，和步骤S15、根据各个第一车牌区域的车牌底色预测信息和字符识别结果确定所述待识别图像的车牌识别结果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (18)

1.一种车牌识别方法，其特征在于，包括：

将待识别图像输入车牌提取网络模型，获取所述待识别图像包括的各个第一车牌区域的车牌底色预测信息和角点坐标的仿射矩阵参数信息，所述车牌提取网络模型是对样本图像集合中的各个第二车牌区域的底色信息和角点坐标进行标注后，并基于各个第二车牌区域对应的预设虚拟矩形框的角点坐标按照构建的预设训练模型训练获得的，各个预设虚拟矩形框的中心为对应的第二车牌区域的中心点、长度为预设长度和宽度为预设宽度；

根据各个第一车牌区域的角点坐标的仿射矩阵参数信息对各自对应的预设虚拟矩形框的角点坐标进行仿射变换，获得各个第一车牌区域的角点坐标；

对各个第一车牌区域的角点坐标进行透视变换，获得各个第一车牌区域的车牌图像；

对各个第一车牌区域的车牌图像进行字符识别，获得各个第一车牌区域的字符识别结果；

根据各个第一车牌区域的车牌底色预测信息和字符识别结果确定所述待识别图像的车牌识别结果。

2.如权利要求1所述的方法，其特征在于，对各个第一车牌区域的车牌图像进行字符识别，获得各个第一车牌区域的字符识别结果，具体包括：

针对每个第一车牌区域的车牌图像，执行如下步骤：

根据预设算法确定当前第一车牌区域的车牌图像包括的字符的行数；

若确定所述行数为1，则将所述当前第一车牌区域的车牌图像输入字符识别模型，获得字符识别结果；

若确定所述行数大于1，则按照所述行数分割所述当前第一车牌区域的车牌图像，将得到的所述当前第一车牌区域的各车牌子图像输入所述字符识别模型，获得所述当前第一车牌区域的各个车牌子图像对应的字符识别结果。

3.如权利要求2所述的方法，其特征在于，根据预设算法确定所述当前第一车牌区域的车牌图像中字符的行数，具体包括：

将所述当前第一车牌区域的车牌图像进行二值化处理，得到二值化图像；

将所述二值化图像进行水平方向投影，获得对应的图像直方图；

将所述图像直方图中连续曲线的个数确定为所述当前第一车牌区域的车牌图像中字符的行数。

4.如权利要求1-3任一所述的方法，其特征在于，还包括：

获取待识别视频中的每一帧图像的车牌识别结果；

根据所述待识别视频中的每一帧图像的车牌识别结果，获得所述待识别视频的车牌统计信息。

5.如权利要求4所述的方法，其特征在于，根据所述待识别视频中的每一帧图像的车牌识别结果，获得所述待识别视频的车牌统计信息，具体包括：

获取所述待识别视频的各个帧图像在所述待识别视频中的出现时间作为对应的帧图像的各个车牌识别结果的出现时间；

从所述待识别视频的每一帧图像之前的各个帧图像的车牌识别结果中获取所述待识别视频的对应帧图像的各个车牌识别结果各自对应的选定车牌识别结果；

根据所述待识别视频的每一帧图像中的各个车牌识别结果与对应的选定车牌识别结果的出现时间确定各个车牌识别结果的记录周期；

统计各个车牌识别结果的记录周期中相应的车牌识别结果与选定车牌识别结果的出现次数，记录各个记录周期内相应的车牌识别结果的首次出现时间和持续出现时长，得到所述待识别视频的车牌统计信息。

6.如权利要求5所述的方法，其特征在于，根据所述待识别视频的每一帧图像中的各个车牌识别结果与对应的选定车牌识别结果的出现时间确定各个车牌识别结果的记录周期，具体包括：

针对所述待识别视频的每一帧图像的每个车牌识别结果，执行：

确定第一当前帧图像的第一当前车牌识别结果的出现时间与出现时间最接近的当前选定车牌识别结果的出现时间的差值是否小于或等于预设阈值；

若确定所述差值小于或等于所述预设阈值，则确定所述当前选定车牌识别结果属于所述当前第一车牌识别结果的当前记录周期；

若确定所述差值大于所述预设阈值，则将所述当前选定车牌识别结果的出现时间确定为所述当前记录周期的结束时间，将所述第一当前车牌识别结果的出现时间确定为第一当前车牌识别结果的下一记录周期的起始时间。

7.如权利要求5或6所述的方法，其特征在于，从所述待识别视频的每一帧图像之前的各个帧图像的车牌识别结果中获取所述待识别视频的对应帧图像的各个车牌识别结果各自对应的选定车牌识别结果，具体包括：

针对所述待识别视频的每一帧图像的每一车牌识别结果，执行：

获取第二当前帧图像的第二当前车牌识别结果；

获取所述第二当前帧图像之前的各个帧图像的车牌识别结果，得到车牌识别结果集合；

将所述车牌识别结果集合中与所述第二当前车牌识别结果中底色预测信息相同且字符识别结果相同的车牌识别结果、以及底色预测信息相同且字符识别结果中除小于预设数量的相似字符外其它字符均对应相同的车牌识别结果确定为所述第二当前车牌识别结果的选定车牌识别结果。

8.如权利要求1所述的方法，其特征在于，所述车牌提取网络模型包括基础网络、分类网络头和矫正网络头，所述基础网络与所述分类网络头、所述矫正网络头分别进行连接，所述基础网络由第一预设数量的卷积层、第二预设数量的最大池化层、第三预设数量的残差网络层按照预设顺序连接组成，所述分类网络头由卷积层和预设分类器组成，所述矫正网络头由卷积层和线性网络层组成；

将待识别图像输入车牌提取网络模型，获取所述待识别图像包括的各个第一车牌区域的车牌底色预测信息和角点坐标的仿射矩阵参数信息，具体包括：

将所述待识别图像输入所述基础网络，获得图像特征信息；

将所述图像特征信息输入所述分类网络头，获得各个第一车牌区域的车牌底色预测信息；以及

将所述图像特征信息输入所述矫正网络头，获得各个第一车牌区域的角点坐标的仿射矩阵参数信息。

9.一种车牌识别装置，其特征在于，包括：

获取单元，用于将待识别图像输入车牌提取网络模型，获取所述待识别图像包括的各个第一车牌区域的车牌底色预测信息和角点坐标的仿射矩阵参数信息，所述车牌提取网络模型是对样本图像集合中的各个第二车牌区域的底色信息和角点坐标进行标注后，并基于各个第二车牌区域对应的预设虚拟矩形框的角点坐标按照构建的预设训练模型训练获得的，各个预设虚拟矩形框的中心为对应的第二车牌区域的中心点、长度为预设长度和宽度为预设宽度；

获得单元，用于根据各个第一车牌区域的角点坐标的仿射矩阵参数信息对各自对应的预设虚拟矩形框的角点坐标进行仿射变换，获得各个第一车牌区域的角点坐标；

矫正单元，用于对各个第一车牌区域的角点坐标进行透视变换，获得各个第一车牌区域的车牌图像；

字符识别单元，用于对各个第一车牌区域的车牌图像进行字符识别，获得各个第一车牌区域的字符识别结果；

第一车牌识别单元，用于根据各个第一车牌区域的车牌底色预测信息和字符识别结果确定所述待识别图像的车牌识别结果。

10.如权利要求9所述的装置，其特征在于，

所述字符识别单元，具体用于针对每个第一车牌区域的车牌图像，执行如下步骤：根据预设算法确定当前第一车牌区域的车牌图像包括的字符的行数；若确定所述行数为1，则将所述当前第一车牌区域的车牌图像输入字符识别模型，获得字符识别结果；若确定所述行数大于1，则按照所述行数分割所述当前第一车牌区域的车牌图像，将得到的所述当前第一车牌区域的各车牌子图像输入所述字符识别模型，获得所述当前第一车牌区域的各个车牌子图像对应的字符识别结果。

11.如权利要求10所述的装置，其特征在于，

所述字符识别单元，具体用于将所述当前第一车牌区域的车牌图像进行二值化处理，得到二值化图像；将所述二值化图像进行水平方向投影，获得对应的图像直方图；将所述图像直方图中连续曲线的个数确定为所述当前第一车牌区域的车牌图像中字符的行数。

12.如权利要求9-11任一所述的装置，其特征在于，还包括：

第二车牌识别单元，用于获取待识别视频中的每一帧图像的车牌识别结果；

车牌统计单元，用于根据所述待识别视频中的每一帧图像的车牌识别结果，获得所述待识别视频的车牌统计信息。

13.如权利要求12所述的装置，其特征在于，

所述车牌统计单元，具体用于获取所述待识别视频的各个帧图像在所述待识别视频中的出现时间作为对应的帧图像的各个车牌识别结果的出现时间；从所述待识别视频的每一帧图像之前的各个帧图像的车牌识别结果中获取所述待识别视频的对应帧图像的各个车牌识别结果各自对应的选定车牌识别结果；根据所述待识别视频的每一帧图像中的各个车牌识别结果与对应的选定车牌识别结果的出现时间确定各个车牌识别结果的记录周期；统计各个车牌识别结果的记录周期中相应的车牌识别结果与选定车牌识别结果的出现次数，记录各个记录周期内相应的车牌识别结果的首次出现时间和持续出现时长，得到所述待识别视频的车牌统计信息。

14.如权利要求13所述的装置，其特征在于，

所述车牌统计单元，具体用于针对所述待识别视频的每一帧图像的每个车牌识别结果，执行：确定第一当前帧图像的第一当前车牌识别结果的出现时间与出现时间最接近的当前选定车牌识别结果的出现时间的差值是否小于或等于预设阈值；若确定所述差值小于或等于所述预设阈值，则确定所述当前选定车牌识别结果属于所述当前第一车牌识别结果的当前记录周期；若确定所述差值大于所述预设阈值，则将所述当前选定车牌识别结果的出现时间确定为所述当前记录周期的结束时间，将所述第一当前车牌识别结果的出现时间确定为第一当前车牌识别结果的下一记录周期的起始时间。

15.如权利要求13或14所述的装置，其特征在于，

所述车牌统计单元，具体用于针对所述待识别视频的每一帧图像的每一车牌识别结果，执行：获取第二当前帧图像的第二当前车牌识别结果；获取所述第二当前帧图像之前的各个帧图像的车牌识别结果，得到车牌识别结果集合；将所述车牌识别结果集合中与所述第二当前车牌识别结果中底色预测信息相同且字符识别结果相同的车牌识别结果、以及底色预测信息相同且字符识别结果中除小于预设数量的相似字符外其它字符均对应相同的车牌识别结果确定为所述第二当前车牌识别结果的选定车牌识别结果。

16.如权利要求9所述的装置，其特征在于，所述车牌提取网络模型包括基础网络、分类网络头和矫正网络头，所述基础网络与所述分类网络头、所述矫正网络头分别进行连接，所述基础网络由第一预设数量的卷积层、第二预设数量的最大池化层、第三预设数量的残差网络层按照预设顺序连接组成，所述分类网络头由卷积层和预设分类器组成，所述矫正网络头由卷积层和线性网络层组成；

所述获取单元，具体用于将所述待识别图像输入所述基础网络，获得图像特征信息；将所述图像特征信息输入所述分类网络头，获得各个第一车牌区域的车牌底色预测信息；以及将所述图像特征信息输入所述矫正网络头，获得各个第一车牌区域的角点坐标的仿射矩阵参数信息。

17.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8任一项所述的车牌识别方法。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～8任一项所述的车牌识别方法中的步骤。

Images