CN115578723A - 车牌识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开还提供了一种车牌识别方法、装置、电子设备以及可读存储介质。本公开实施例的车牌识别方法，包括：获取第一图像，第一图像中包含目标车牌；对第一图像进行车牌检测以获得目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息，车牌类别信息用于指示目标车牌为双层车牌还是单层车牌；根据车牌关键点数据对第一车牌图像执行透视变换，以获得第二车牌图像；在车牌类别信息指示目标车牌为双层车牌时，对第二车牌图像执行裁剪、拼接和缩放，以将第二车牌图像中的目标车牌转换为单层车牌；对第二车牌图像进行图像识别以获得目标车牌的车牌信息。本公开实施例能够有效提高单层车牌与双层车牌的检测识别精度，并且能检测识别形变较大的车牌图像。

Description

车牌识别方法、装置、电子设备及存储介质

技术领域

本公开涉及一种车牌识别方法、装置、电子设备及存储介质。

背景技术

现有的单层、双层车牌检测识别的方法，有双层车牌在不做处理的情况下与单层车牌共用一个识别模型的方法，这种方法的缺点是因为单层与双层车牌的形态差异很大，训练的模型的单层、双层车牌识别的精度都不高；也有单层、双层车牌各自训练一个识别模型的方法，这种方法的缺点是双层车牌的样本收集有一定难度，不能保证双层车牌的精度，并且在实际应用中要初始化两个识别模型会占用了更多的系统资源；也有通过传统的边缘检测算法获取车牌的上下边界，再根据经验值对双层车牌上下两行字符进行切分的方法，这种方法的缺点是，由于视角、光线等的原因，拍摄到的车牌图像可能有形变，比如旋转、扭曲，错切等，根据经验值直接做上下行切分的方法可能会得不到完整的字符图像，从而降低识别精度。

发明内容

为了解决上述技术问题中的至少一个，本公开提供了一种车牌识别方法、装置、电子设备及存储介质。

根据本公开的第一方面，提供了一种车牌识别方法，包括：

获取第一图像，第一图像中包含目标车牌；

对所述第一图像进行车牌检测以获得所述目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息，所述车牌类别信息用于指示所述目标车牌为双层车牌还是单层车牌；

根据所述车牌关键点数据对所述第一车牌图像执行透视变换，以获得第二车牌图像；

在所述车牌类别信息指示所述目标车牌为双层车牌时，对所述第二车牌图像执行裁剪、拼接和缩放，以将所述第二车牌图像中的目标车牌转换为单层车牌；

对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息。

本公开的第一方面的一些可能的实现方式中，对所述第一图像进行车牌检测以获得所述目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息，包括：利用预先训练的目标检测模型对所述第一图像进行目标检测以获得所述目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息；其中，所述目标检测模型根据预先构建的车牌检测训练集训练得到，所述车牌检测训练集包括含有双层车牌的图像样本和含有单层车牌的图像样本。

本公开的第一方面的一些可能的实现方式中，所述车牌检测训练集中部分图像样本的车牌具有形变。

本公开的第一方面的一些可能的实现方式中，车牌关键点数据包括预先选定的车牌关键点的位置信息和标注序号，所述标注序号用于唯一地标识所述车牌关键点。

本公开的第一方面的一些可能的实现方式中，所述根据所述车牌关键点数据对所述第一车牌图像执行透视变换，以获得第二车牌图像，包括：根据车牌关键点数据和根据车牌识别模型的输入分辨率确定的车牌关键点像素坐标，计算得到透视变换矩阵，通过所述透视变换矩阵对第一车牌图像做透视变换，得到大小与所述车牌识别模型的输入分辨率一致的第二车牌图像；其中，所述车牌识别模型用于对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息。

本公开的第一方面的一些可能的实现方式中，在所述车牌类别信息指示所述目标车牌为双层车牌时，对所述第二车牌图像执行裁剪、拼接和缩放，以使得所述第二车牌图像中的双层车牌转换为单层车牌，包括：提取所述第二车牌图像中的上层字符图像并去除所述上层字符图像中的空白区域；提取第二车牌图像中的下层字符图像；缩放所述上层字符图像以使得所述上层字符图像的高度与所述下层字符图像的高度一致，并将缩放后的上层字符图像与下层字符图像做横向拼接以获得拼接的第二车牌图像，所述拼接的第二车牌图像中目标车牌被转换为了单层车牌；缩放所述拼接的第二车牌图像以使得所述拼接的第二车牌图像的大小与车牌识别模型的输入分辨率一致。

本公开的第一方面的一些可能的实现方式中，对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息，包括：利用预先训练的车牌识别模型对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息；其中，所述车牌识别模型根据车牌识别样本集训练得到，所述车牌识别样本集中包含单层车牌图像样本和双层车牌图像样本，单层车牌图像样本包含单层车牌且根据含有单层车牌的第一图像得到，所述双层车牌图像样本包含单层车牌且根据含有双层车牌的第一图像得到。

根据本公开的第二方面，提供了一种车牌识别装置，包括：

获取单元，用于获取第一图像，第一图像中包含目标车牌；

目标检测单元，用于对所述第一图像进行车牌检测以获得所述目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息，所述车牌类别信息用于指示所述目标车牌为双层车牌还是单层车牌；

图像矫正单元，用于根据所述车牌关键点数据对所述第一车牌图像执行透视变换，以获得第二车牌图像；

车牌转换单元，用于在所述车牌类别信息指示所述目标车牌为双层车牌时，对所述第二车牌图像执行裁剪、拼接和缩放，以将所述第二车牌图像中的目标车牌转换为单层车牌；

图像识别单元，用于对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息。

根据本公开的第三方面，提供了一种电子设备，包括：

存储器，所述存储器存储执行指令；以及

处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行上述的车牌识别方法。

根据本公开的第四方面，提供了一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述的车牌识别方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述的车牌识别方法。

本公开实施例通过对含有目标车牌的第一图像进行目标检测来获得车牌关键点数据，并将目标车牌分类为单层车牌和双层车牌，再根据车牌关键点数据对车牌图像做透视变换，如果车牌图像有形变就能矫正到正常形态，再裁剪出车牌图像，如果是双层车牌，则对透视变换矫正后裁剪出来的双层车牌图像做上下层的裁剪，并将上下层图像拼接为含有单层车牌的车牌图像，单层车牌的车牌图像和已经转换为单层车牌的双层车牌图像可以通过同一个车牌别模型进行识别来获得车牌信息。从而，本公开实施例能够有效地提高单层车牌与双层车牌的检测识别精度，并且能检测识别形变较大的车牌图像，实现了单层车牌与双层车牌的高效准确识别。

附图说明

附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。

图1是本公开的一个实施方式的车牌识别方法的流程示意图；

图2a～图2b是本公开的一个实施方式的车牌关键点及其标注序号示例图。

图3a～图3d是本公开的一个实施方式的车牌检测样本集中含有单层车牌的图像样本示例图；

图4a～图4d是本公开的一个实施方式的车牌检测样本集中含有双层车牌的图像样本示例图；

图5a～图5e是本公开的一个实施方式的第一车牌图像的示例图；

图6a～图6e是本公开的一个实施方式的第二车牌图像的示例图；

图7是本公开的一个实施方式的第二车牌图像的上层字符图像、空白区域图像和下层字符图像的示例图；

图8是本公开的一个实施方式的上层字符图像缩放、上层字符图像与下层字符图像的拼接以及拼接的第二车牌图像缩放的示例图；

图9a～图9c是本公开的一个实施方式的双层车牌被转换为单层车牌后的第二车牌图像示例。

图10是本公开的一个实施方式的采用处理系统的硬件实现方式的车牌识别装置的结构示意框图。

具体实施方式

下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。

除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。

在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此，除非说明，否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外，在附图中，为了清楚和/或描述性的目的，可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时，可以以不同于所描述的顺序来执行具体的工艺顺序。例如，可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外，同样的附图标记表示同样的部件。

当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时，该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件，或者可以存在中间部件。然而，当部件被称作“直接在”另一部件“上”、“直接连接到”或“直接结合到”另一部件时，不存在中间部件。为此，术语“连接”可以指物理连接、电气连接等，并且具有或不具有中间部件。

本文使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。

图1示出了本公开的一些实施方式的车牌识别方法的流程示意图。

参见图1所示，本公开实施例的车牌识别方法可以包括：

步骤S12，获取第一图像，第一图像中包括目标车牌；

第一图像可以是但不限于：监控装置采集的图像、车辆的摄像头采集的图像或其他各种可能含有一个或多个车牌的图像。对于第一图像的具体类型及其采集设备等，本公开实施例均不作限制。

步骤S14，对第一图像进行车牌检测以获取目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息；

本公开实施例中，车牌类别信息可用于指示目标车牌是双层车牌还是单层车牌。示例性地，车牌类别信息可以是但不限于目标车牌属于双层车牌的概率(分值)和目标车牌属于单层车牌的概率。若目标车牌属于双层车牌的概率高于目标车牌属于单层车牌的概率，则该目标车牌为双层车牌；若目标车牌属于双层车牌的概率低于目标车牌属于单层车牌的概率，则该目标车牌为单层车牌。若目标车牌属于双层车牌的概率与目标车牌属于单层车牌的概率相同，可以通过多次反复检测来确定目标车牌的类别。

一些实施方式中，步骤S14可以包括：利用预先训练好的目标检测模型对第一图像进行目标检测以获得目标车牌的第一车牌图像、车牌关键点数据以及车牌类别信息。

第一车牌图像可以是第一图像中目标车牌所处区域的图像。

车牌关键点数据可以包括预先选定的车牌关键点的位置信息。车牌关键点可以根据需要自由选择。示例性地，车牌关键点可以包括车牌的所有角点。以矩形车牌为例，车牌关键点可以包括车牌的四个角点。此外，还可选择车牌中心点、车牌角点、车牌每条边上的一个或多个点等作为车牌关键点。对于车牌关键点的选择，本公开实施例不作限制。

一些实施方式中，车牌关键点数据中还可以包括每个车牌关键点的标注序号，该标注序号用于唯一地标识车牌关键点。示例性地，可以按照预定的标注顺序为各个车牌关键点生成标注序号。以车牌的四个角点作为车牌关键点为例，可以以车牌上文字(例如，汉字)的左上角为第1个关键点，顺时针方向的3个角分别设定为第2个关键点、第3个关键点和第4个关键点。通过为车牌关键点配置标注序号，可以提高图像的矫正效果。

图2a～图2b示出了车牌关键点及其标注序号示例图。如图2a所示，在第一图像中车牌无旋转的情况下，车牌的4个角点中，左上角关键点为第1个关键点、右上角关键点为第2个关键点、右下角关键点为第3个关键点、左下角关键点为第4个关键点。如图2b所示，若第一图像中车牌有旋转，则车牌关键点的标注序号及其顺序按照“以车牌上文字(例如，汉字或者其他字符等)的左上角为第1个关键点，顺时针方向的3个角分别设定为第2个关键点、第3个关键点和第4个关键点”来配置。

示例性地，目标检测模型可以是但不限于卷积神经网络(Convolutional NeuralNetwork，CNN)等机器学习模型。具体应用中，可以根据需要选择适用的目标检测模型。对于目标检测模型的具体类型，本公开实施例不作限制。

示例性地，目标检测模型可以根据预先构建的车牌检测样本集训练得到，该车牌检测样本集中包括含有单层车牌的图像样本和含有双层车牌的图像样本，且每个图像样本的标注数据包括图像样本中车牌的车牌关键点数据和车牌类型信息(即，单层车牌还是双层车牌)。

优选地，为提高目标检测模型的检测精度，车牌检测样本集中可以包含具有形变的图像样本。优选地，车牌检测样本集中可以包含具有较大形变的图像样本。也即，车牌检测训练集中部分图像样本的车牌可以具有形变或者具有较大形变。

优选地，车牌检测样本集中可以包括含有不同类型车辆的图像样本，以提高目标检测模型在不同场景中的车牌检测精度。

图3a～图3d示出了车牌检测样本集中含有单层车牌的图像样本示例图，图4a～图4d示出了车牌检测样本集中含有双层车牌的图像样本示例图。图3a～图3d和图4a～图4d的示例中，均以车牌的四个角点作为车牌关键点。

由上可见，通过预先训练的用于检测车牌的目标检测模型，不仅能够获得车牌关键点数据、车牌图像，而且能够分类出单层车牌和双层车牌。

步骤S16，根据目标车牌的车牌关键点数据对第一车牌图像执行透视变换，以获得目标车牌的第二车牌图像；

一些实施方式中，步骤S16可以包括：根据车牌关键点数据和基于车牌识别模型的输入分辨率确定的车牌关键点像素坐标，计算得到透视变换矩阵，通过该透视变换矩阵对第一车牌图像做透视变换，得到大小与所述车牌识别模型的输入分辨率一致的第二车牌图像，由此，不仅实现了图像矫正，同时还可将车牌图像缩放为车牌识别模型指定的分辨率。

以车牌四个角点作为车牌关键点为例，假设车牌识别模型的输入分辨率为256*48，则四个车牌关键点的像素坐标按照预定的标注顺序依次为(0，0)，(256，0)，(256，48)，(0，48)。假设步骤S12得到的车牌关键点的位置信息按照标注顺序依次为(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，那么根据每个车牌关键点的位置信息及其像素坐标即可计算得到透视变换矩阵，通过该透视变换矩阵对第一车牌图像做透视变换可以得到大小为256*48的第二车牌图像，如此，车牌图像不仅得到了有效矫正，同时还将车牌图像缩放为车牌识别模型的指定分辨率。

图5a～图5e示出了第一车牌图像的示例图，图6a～图6e示出了对图5a～图5e所示的第一车牌图像进行透视变换后得到的第二车牌图像示例图。通过5a～图5e和图6a～图6e的对比可见，步骤S16实现了车牌图像的有效矫正，由此，即使图像中车牌具有较大形变，也能够准确获得其中的车牌信息。

步骤S18，在车牌类别信息指示目标车牌为双层车牌时，对第二车牌图像执行裁剪、拼接和缩放，以使得第二车牌图像中的目标车牌转换为单层车牌；

一些实施方式中，步骤S18可以包括如下步骤：

步骤a1，提取第二车牌图像中的上层字符图像并去除上层字符图像中的空白区域；

具体地，可以利用预先配置的上层字符图像区域信息从第二车牌图像中提取得到上层字符图像并进行裁剪，以去除该上层字符图像中的空白区域。其中，上层字符图像区域信息可以包括上层字符图像的高度、上层字符图像的宽度以及上层字符图像的角点像素坐标。具体应用中，上层字符图像区域信息可以根据第二车牌图像的大小和经验确定。

双层车牌分为上下2层字符，上层字符比下层字符小。根据经验值，上层字符的高度是车牌高度的0.4倍，以宽度为256、高度为48的第二车牌图像为例，上层字符图像的高度可以设置为19。

根据经验，上层字符图像中靠近两个边缘的四分之一区域为空白区域，以宽度为256、高度为48的第二车牌图像为例，上层字符图像左上角像素点的横向坐标为“256*0.25＝64”，右下角像素点的横向坐标为“256*0.75＝192”，也即，上层字符图像的左上角像素点的坐标为(64,0)，上层字符图像的右下角像素点的坐标为(192，19)，也即，上层字符图像的宽度为“192-64＝128”、高度是19。

例如，可以直接从第二车牌图像中提取左上角像素点坐标为(64,0)、右下角像素点坐标为(192，19)、宽度为128、高度为19的图像，该图像即为上层字符图像。

再例如，可以先从第二图像的上边缘开始提取高度为19的部分图像，再根据左上角像素点坐标和右下角像素点坐标将该部分图像裁掉为宽度128，从而得到上层字符图像。

步骤a2，提取第二车牌图像中的下层字符图像；

具体地，可以利用预先配置的下层字符图像区域信息从第二车牌图像中提取得到下层字符图像。其中，下层字符图像区域信息可以包括下层字符图像的高度、下层字符图像的角点像素坐标和下层字符图像的宽度。具体应用中，下层字符图像区域信息可以根据第二车牌图像的大小和经验确定。

根据经验值，下层字符的高度是车牌高度的0.6倍，下层车牌图像高度取0.6倍的车牌高度，以宽度为256、高度为48的第二车牌图像为例，下层字符图像的高度可以设置为29，下层字符图像的区域设定为：左上角像素坐标为(0，19)、右下角像素坐标为(256，48)，宽度是256，高度是29。

图7示出了某个第二车牌图像的上层字符图像、空白区域图像和下层字符图像的示例图。

步骤a3，缩放上层字符图像以使得上层字符图像的高度与下层字符图像的高度一致，并将缩放后的上层字符图像与下层字符图像做横向拼接以获得拼接的第二车牌图像，该拼接的第二车牌图像中目标车牌被转换为了单层车牌。

由于上层字符图像与下层字符图像的高度不一致，若直接拼接，容易产生形变从而影响车牌识别模型识别结果的准确性。鉴于此，可以将上层字符图像按照下层字符图像的高度做等比例缩放使得上层字符图像的高度与下层字符图像的高度一致，然后将缩放后的上层字符图像与下层字符图像拼接。

步骤a4，缩放拼接的第二车牌图像以使得拼接的第二车牌图像的大小与车牌识别模型的输入分辨率一致。

由于拼接的第二车牌图像与车牌识别模型的分辨率不一致，因此，需要对拼接的第二车牌图像进行缩放，以使其满足车牌识别模型的分辨率要求。以宽度为256、高度为48的第二车牌图像为例，拼接得到的第二车牌图像的宽度为451、高度是29。假设车牌识别模型的输入分辨率为256*48，则可以对步骤a3得到的第二车牌图像进行缩放，使得第二车牌图像的宽度变为256、高度变为48。

如此，步骤S18不仅可以将双层车牌转换为单层车牌，同时可使得车牌图像满足车牌识别模型的分辨率要求。

图8示出了上层字符图像缩放、上层字符图像与下层字符图像的拼接以及拼接的第二车牌图像缩放的示例图。图9a、图9b和图9c分别示出了图6c、图6d和图6e中双层车牌被转换为单层车牌后的第二车牌图像示例。

由上可见，通过步骤S18的处理，第二车牌图像中的双层车牌可以被处理为单层车牌。

若车牌类别信息指示目标车牌为单层车牌，则无需执行步骤18的处理，可以直接进入步骤S110。

步骤S110，对第二车牌图像进行图像识别以获得目标车牌的车牌信息。

一些实施方式中，步骤S110可以包括：利用预先训练的车牌识别模型对第二车牌图像进行图像识别以获得目标车牌的车牌信息。

示例性地，车牌识别模型可以是但不限于卷积循环神经网络(ConvolutionalRecurrent Neural Network，CRNN)等机器学习模型。具体应用中，可以根据需要选择适用的车牌识别模型。对于车牌识别模型的具体类型，本公开实施例不作限制。

车牌识别模型可以根据车牌识别样本集训练得到，车牌识别样本集中可以包含单层车牌图像样本和双层车牌图像样本，单层车牌图像样本包含单层车牌且根据含有单层车牌的第一图像得到，双层车牌图像样本包含单层车牌且根据含有双层车牌的第一图像得到。也即，车牌识别样本集中包含步骤S16得到的含有单层车牌的第二车牌图像和步骤S18得到的第二车牌图像，该第二车牌图像中的单层车牌从双层车牌转换而来。如此，可使得训练出来的车牌识别模型同时适应单层车牌和双层车牌，并且具有较高的精度。

示例性地，车牌识别模型的输入分辨率可以是256*48。经过步骤S16透视变换矫正后的第二车牌图像和步骤S18处理后的第二车牌图像，大小也正好是256*48，如此，在识别过程中无需再对图像执行缩放处理，可以节省处理时间，提高识别效率。

若第一图像中包含有多个目标车牌，可以通过本公开的步骤S12～步骤S110同时获得这多个目标车牌的车牌信息。

本公开实施例通过双层车牌的图像进行矫正、裁剪、拼接和缩放等处理，对单层车牌的图像进行矫正处理，使用同一种车牌识别模型对双层车牌的车牌图像与单层车牌的车牌图像进行图像识别，实现了单层车牌与双层车牌的高效准确识别，有效地提高了双层车牌的识别准确性。

图10是本公开的一个实施方式的采用处理系统的硬件实现方式的车牌识别装置的结构示意框图。

该装置可以包括执行上述流程图中各个或几个步骤的相应模块。因此，可以由相应模块执行上述流程图中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。

该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其他电路1400连接。

总线1100可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本公开中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在存储器中。

应当理解，本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。

此外，在本公开各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。

图10是根据本公开的一个实施方式的车牌识别装置的一种结构示意图。如图10所示，本公开实施例的车牌识别装置可以包括：

获取单元1002，用于获取第一图像，第一图像中包含目标车牌；

目标检测单元1004，用于对第一图像进行车牌检测以获得目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息，车牌类别信息用于指示目标车牌为双层车牌还是单层车牌；

图像矫正单元1006，用于根据车牌关键点数据对第一车牌图像执行透视变换，以获得第二车牌图像；

车牌转换单元1008，用于在车牌类别信息指示目标车牌为双层车牌时，对第二车牌图像执行裁剪、拼接和缩放，以将第二车牌图像中的目标车牌转换为单层车牌；

图像识别单元1010，用于对第二车牌图像进行图像识别以获得目标车牌的车牌信息。

一些实施方式中，目标检测单元1004，具体用于：利用预先训练的目标检测模型对第一图像进行目标检测以获得目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息；其中，目标检测模型根据预先构建的车牌检测训练集训练得到，车牌检测训练集包括含有双层车牌的图像样本和含有单层车牌的图像样本。

一些实施方式中，图像矫正单元1006，具体用于：根据车牌关键点数据和根据车牌识别模型的输入分辨率确定的车牌关键点像素坐标，计算得到透视变换矩阵，通过透视变换矩阵对第一车牌图像做透视变换，得到大小与车牌识别模型的输入分辨率一致的第二车牌图像；其中，车牌识别模型用于对第二车牌图像进行图像识别以获得目标车牌的车牌信息。

一些实施方式中，车牌转换单元1008，具体用于：

提取第二车牌图像中的上层字符图像并去除上层字符图像中的空白区域；

提取第二车牌图像中的下层字符图像；

缩放上层字符图像以使得上层字符图像的高度与下层字符图像的高度一致，并将缩放后的上层字符图像与下层字符图像做横向拼接以获得拼接的第二车牌图像，拼接的第二车牌图像中目标车牌被转换为了单层车牌；以及，

缩放拼接的第二车牌图像以使得拼接的第二车牌图像的大小与车牌识别模型的输入分辨率一致。

一些实施方式中，图像识别单元1010，具体用于：利用预先训练的车牌识别模型对第二车牌图像进行图像识别以获得目标车牌的车牌信息；其中，车牌识别模型根据车牌识别样本集训练得到，车牌识别样本集中包含单层车牌图像样本和双层车牌图像样本，单层车牌图像样本包含单层车牌且根据含有单层车牌的第一图像得到，双层车牌图像样本包含单层车牌且根据含有双层车牌的第一图像得到。

本公开还提供了一种电子设备，包括：存储器，存储器存储执行指令；以及处理器或其他硬件模块，处理器或其他硬件模块执行存储器存储的执行指令，使得处理器或其他硬件模块执行上述的车牌识别方法。

本公开还提供了一种可读存储介质，可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述的车牌识别方法。

本公开还提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述的车牌识别方法。

在本说明书的描述中，参考术语“一个实施方式/方式”、“一些实施方式/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式/方式或示例中。在本说明书中，对上述术语的示意性表述不必须的是相同的实施方式/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式/方式或示例以及不同实施方式/方式或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

Claims (10)

1.一种车牌识别方法，其特征在于，包括：

获取第一图像，第一图像中包含目标车牌；

对所述第一图像进行车牌检测以获得所述目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息，所述车牌类别信息用于指示所述目标车牌为双层车牌还是单层车牌；

根据所述车牌关键点数据对所述第一车牌图像执行透视变换，以获得第二车牌图像；

在所述车牌类别信息指示所述目标车牌为双层车牌时，对所述第二车牌图像执行裁剪、拼接和缩放，以将所述第二车牌图像中的目标车牌转换为单层车牌；

对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息。

2.根据权利要求1所述的车牌识别方法，其特征在于，对所述第一图像进行车牌检测以获得所述目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息，包括：

利用预先训练的目标检测模型对所述第一图像进行目标检测以获得所述目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息；其中，所述目标检测模型根据预先构建的车牌检测训练集训练得到，所述车牌检测训练集包括含有双层车牌的图像样本和含有单层车牌的图像样本。

3.根据权利要求2所述的车牌识别方法，其特征在于，所述车牌检测训练集中部分图像样本的车牌具有形变。

4.根据权利要求1或2所述的车牌识别方法，其特征在于，车牌关键点数据包括预先选定的车牌关键点的位置信息和标注序号，所述标注序号用于唯一地标识所述车牌关键点。

5.根据权利要求1所述的车牌识别方法，其特征在于，所述根据所述车牌关键点数据对所述第一车牌图像执行透视变换，以获得第二车牌图像，包括：根据车牌关键点数据和根据车牌识别模型的输入分辨率确定的车牌关键点像素坐标，计算得到透视变换矩阵，通过所述透视变换矩阵对第一车牌图像做透视变换，得到大小与所述车牌识别模型的输入分辨率一致的第二车牌图像；

其中，所述车牌识别模型用于对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息。

6.根据权利要求1所述的车牌识别方法，其特征在于，在所述车牌类别信息指示所述目标车牌为双层车牌时，对所述第二车牌图像执行裁剪、拼接和缩放，以使得所述第二车牌图像中的双层车牌转换为单层车牌，包括：

提取所述第二车牌图像中的上层字符图像并去除所述上层字符图像中的空白区域；

提取第二车牌图像中的下层字符图像；

缩放所述上层字符图像以使得所述上层字符图像的高度与所述下层字符图像的高度一致，并将缩放后的上层字符图像与下层字符图像做横向拼接以获得拼接的第二车牌图像，所述拼接的第二车牌图像中目标车牌被转换为了单层车牌；

缩放所述拼接的第二车牌图像以使得所述拼接的第二车牌图像的大小与车牌识别模型的输入分辨率一致；

优选地，对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息，包括：

利用预先训练的车牌识别模型对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息；

其中，所述车牌识别模型根据车牌识别样本集训练得到，所述车牌识别样本集中包含单层车牌图像样本和双层车牌图像样本，单层车牌图像样本包含单层车牌且根据含有单层车牌的第一图像得到，所述双层车牌图像样本包含单层车牌且根据含有双层车牌的第一图像得到。

7.一种车牌识别装置，其特征在于，包括：

获取单元，用于获取第一图像，第一图像中包含目标车牌；

目标检测单元，用于对所述第一图像进行车牌检测以获得所述目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息，所述车牌类别信息用于指示所述目标车牌为双层车牌还是单层车牌；

图像矫正单元，用于根据所述车牌关键点数据对所述第一车牌图像执行透视变换，以获得第二车牌图像；

车牌转换单元，用于在所述车牌类别信息指示所述目标车牌为双层车牌时，对所述第二车牌图像执行裁剪、拼接和缩放，以将所述第二车牌图像中的目标车牌转换为单层车牌；

图像识别单元，用于对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息。

8.一种电子设备，其特征在于，包括：

存储器，所述存储器存储执行指令；以及

处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行权利要求1至6中任一项所述的车牌识别方法。

9.一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现权利要求1至6中任一项所述的车牌识别方法。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至6中任一项所述的车牌识别方法。

Images