CN111160353A - 车牌识别方法、装置及设备 - Google Patents

Abstract

本申请提供了一种车牌识别方法、装置及设备，在获得待识别车牌图片后，从图片中提取图片特征向量，然后，分析该待识别车牌图片的图片特征向量得到图片中车牌的四个顶点位置。再依据车牌的四个顶点位置从待识别车牌图片中裁剪得到只包含车牌且长边处于水平方向的水平车牌图片。最后，识别水平车牌图片所包含的车牌号码。由上述过程可知，该方案从待识别车牌图片中识别出车牌的四个顶点的位置坐标，然后只需要分析仅包含车牌的水平车牌图片，极大地减少了图片中的非车牌图片，换言之极大地降低了噪声，因此，提高了识别准确率。

Description

车牌识别方法、装置及设备

技术领域

本发明属于机器学习技术领域，尤其涉及车牌识别方法、装置及设备。

背景技术

车牌检测和识别在智能交通系统中发挥着重要作用，广泛应用于智能交通，交通控制，智慧城市等场景。

目前的车牌识别方案通常包括车牌位置检测和车牌号码识别，其中车牌位置检测部分能够检测到车牌在图片中的矩形框位置，如图1所示，检测到的车牌在图片中的位置是一个矩形框，包括矩形框的宽高。车牌号码识别部分从车牌矩形框图片中识别到车牌号码。但是车牌位置检测部分得到的车牌位置是一个矩形框，对于车牌有一定旋转角度的情景，检测得到的矩形框中会包含非车牌图片，这对下一步的车牌号码识别而言是极大的噪声，对识别结果产生不利影响。而且，若车牌旋转角度较大，非车牌图片将占到整个矩形框图的50％以上，严重掩盖了车牌本身的图片特征，使得识别难度更大。

发明内容

有鉴于此，本发明的目的在于提供一种车牌识别方法、装置及设备，以解决传统的车牌识别方案识别准确率低的问题，具体的技术方案如下：

第一方面，本发明公开了一种车牌识别方法，包括：

分析待识别车牌图片的图片特征向量得到所述待识别车牌图片包含的车牌的四个顶点位置；

依据所述车牌的四个顶点位置从所述待识别车牌图片中裁剪得到只包含车牌且长边处于水平方向的水平车牌图片；

从所述水平车牌图片中识别得到车牌号码。

可选地，分析待识别车牌图片的图片特征向量，得到所述待识别车牌图片包含的车牌的四个顶点位置，包括：

利用特征提取网络从所述待识别车牌图片中提取图片特征向量；

利用候选框生成网络分析所述图片特征向量得到所述待识别车牌图片中的各个候选框区域；

将各个候选框区域的图片特征池化到同一尺寸；

利用车牌四顶点位置回归网络分析池化后的各个候选框区域的图片特征，得到车牌的四个顶点在待识别车牌图片中的位置坐标。

可选地，依据所述车牌的四个顶点位置从所述待识别车牌图片中裁剪得到只包含车牌且长边处于水平方向的水平车牌图片，包括：

依据所述车牌的四个顶点在所述待识别车牌图片中的位置坐标，确定将车牌图片旋转至长边处于水平方向对应的待旋转角度；

将所述待识别车牌图片旋转所述待旋转角度，并计算车牌的四个顶点位置在旋转后的图片中的旋转后的位置坐标；

根据车牌的四个顶点位置对应的旋转后的位置坐标，从旋转后的图片中确定并裁剪得到水平车牌图片。

可选地，从所述水平车牌图片中识别得到车牌号码，包括：

从所述水平车牌图片中提取图片特征向量；

利用双向GRU网络分析所述水平车牌图片对应的图片特征向量，得到所述水平车牌图片包含的车牌号码。

可选地，训练车牌识别模型的过程，包括：

获取标记有车牌四顶点位置及车牌号码的样本图片集；

从所述样本图片集中提取每个样本图片对应的图片特征向量，并分析所述图片特征向量得到每个样本图片包含的各个候选框区域；

将每个样本图片包含的各个候选框区域池化到同一尺寸；

分析池化后的各个候选框区域的图片特征，得到所述样本图片中车牌的四个顶点的预测位置坐标，并利用车牌四顶点位置回归损失函数计算得到车牌四顶点位置回归损失值；

依据所述车牌的四个顶点的预测位置坐标，从每个样本图片中裁剪得到所述水平车牌图片；

从每个样本图片对应的水平车牌图片中提取图片特征向量；

利用双向GRU网络分析所述水平车牌图片对应的图片特征向量，得到该水平车牌图片包含的车牌号码，并计算同一样本图片中识别得到的车牌号码与该样本图片标记的车牌号码之间的交叉熵损失值；

分别计算同一样本图片对应的所述车牌四顶点位置回归损失值与所述交叉熵损失值的总和，并依据各个样本图片对应的损失值总和调整所述车牌识别模型中的各个参数，直到所述损失总和满足预设收敛条件，得到最终使用的车牌识别模型。

第二方面，本发明公开了一种车牌识别装置，包括：

车牌顶点位置检测模块，用于分析待识别车牌图片的图片特征向量得到所述待识别车牌图片包含的车牌的四个顶点位置；

图片裁剪旋转模块，用于依据所述车牌的四个顶点位置从所述待识别车牌图片中裁剪得到只包含车牌且长边处于水平方向的水平车牌图片；

车牌号码识别模块，用于从所述水平车牌图片中识别得到车牌号码。

可选地，所述车牌顶点位置检测模块，包括：

第一特征提取子模块，用于利用特征提取网络从所述待识别车牌图片中提取图片特征向量；

候选框区域生成子模块，用于利用候选框生成网络分析所述图片特征向量得到所述待识别车牌图片中的各个候选框区域；

池化子模块，用于将各个候选框区域的图片特征池化到同一尺寸；

车牌顶点位置分析子模块，用于利用车牌四顶点位置回归网络分析池化后的各个候选框区域的图片特征，得到车牌的四个顶点在待识别车牌图片中的位置坐标。

可选地，图片裁剪旋转模块具体用于：

依据所述车牌的四个顶点在所述待识别车牌图片中的位置坐标，确定将车牌图片旋转至长边处于水平方向对应的待旋转角度；

将所述待识别车牌图片旋转所述待旋转角度，并计算车牌的四个顶点位置在旋转后的图片中的旋转后的位置坐标；

根据车牌的四个顶点位置对应的旋转后的位置坐标，从旋转后的图片中确定并裁剪得到水平车牌图片。

可选地，还包括模型训练模块，具体用于：

获取标记有车牌四顶点位置及车牌号码的样本图片集；

从所述样本图片集中提取每个样本图片对应的图片特征向量，并分析所述图片特征向量得到每个样本图片包含的各个候选框区域；

将每个样本图片包含的各个候选框区域池化到同一尺寸；

分析池化后的各个候选框区域的图片特征，得到所述样本图片中车牌的四个顶点的预测位置坐标，并利用车牌四顶点位置回归损失函数计算得到车牌四顶点位置回归损失值；

依据所述车牌的四个顶点的预测位置坐标，从每个样本图片中裁剪得到所述水平车牌图片；

从每个样本图片对应的水平车牌图片中提取图片特征向量；

利用双向GRU网络分析所述水平车牌图片对应的图片特征向量，得到该水平车牌图片包含的车牌号码，并计算同一样本图片中识别得到的车牌号码与该样本图片标记的车牌号码之间的交叉熵损失值；

分别计算同一样本图片对应的所述车牌四顶点位置回归损失值与所述交叉熵损失值的总和，并依据各个样本图片对应的损失值总和调整所述车牌识别模型中的各个参数，直到所述损失总和满足预设收敛条件，得到最终使用的车牌识别模型。

第三方面，本发明公开了一种车牌识别设备，包括：存储器和处理器；

所述存储器内存储有程序指令；

所述处理器执行所述存储器内存储的程序指令时实现第一方面公开的任一项所述的车牌识别方法。

本申请提供的车牌识别方法，在获得待识别车牌图片后，从图片中提取图片特征向量，然后，分析该待识别车牌图片的图片特征向量得到图片中车牌的四个顶点位置。再依据车牌的四个顶点位置从待识别车牌图片中裁剪得到只包含车牌且长边处于水平方向的水平车牌图片。最后，识别水平车牌图片所包含的车牌号码。由上述过程可知，该方案从待识别车牌图片中识别出车牌的四个顶点的位置坐标，然后只需要分析仅包含车牌的水平车牌图片，极大地减少了图片中的非车牌图片，换言之极大地降低了噪声，因此，提高了识别准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是传统的车牌识别方案检测到的车牌所在区域的矩形框；

图2是本申请实施例提供的一种车牌识别方法的流程图；

图3是本申请实施例提供的一种车牌识别模型的结构示意图；

图4是本申请实施例提供的车牌识别方法检测到的车牌四顶点位置的示意图；

图5是图4所示的车牌四顶点示意图旋转至水平方向后的示意图；

图6是本申请实施例提供的训练车牌识别模型过程的流程图；

图7为本申请实施例提供的一种车牌识别装置的结构示意图；

图8为本申请实施例提供的另一种车牌识别装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图2，示出了本申请实施例提供的一种车牌识别方法的流程图，该方法应用于具备计算能力的设备中，如图2所示，该方法主要包括以下步骤：

S110，分析待识别车牌图片的图片特征向量得到所述待识别车牌图片包含的车牌的四个顶点位置。

先将待识别图片转换成相应的图片向量，再从图片向量中提取得到高级特征，即图片特征向量。利用预先训练好的车牌识别模型分析该图片特征向量得到待识别车牌图片包含的车牌的四个顶点在图片中的位置坐标。

S120，依据车牌的四个顶点位置从待识别车牌图片中裁剪得到只包含车牌且长边处于水平方向的水平车牌图片。

然后，利用车牌的四个顶点位置从待识别车牌图片中裁剪得到只包含车牌的车牌图片，如果该车牌图片的长边不是水平方向，则将该车牌图片旋转至长边处于水平方向的位置，得到水平车牌图片。

S130，从水平车牌图片中识别得到车牌号码。

最后，从仅包含车牌且长边处于水平方向的水平车牌图片中识别得到该车牌所包含的车牌号码。

本实施例提供的车牌识别方法，在获得待识别车牌图片后，从图片中提取图片特征向量，然后，分析该待识别车牌图片的图片特征向量得到图片中车牌的四个顶点位置。再依据车牌的四个顶点位置从待识别车牌图片中裁剪得到只包含车牌且长边处于水平方向的水平车牌图片。最后，识别水平车牌图片所包含的车牌号码。由上述过程可知，该方案从待识别车牌图片中识别出车牌的四个顶点的位置坐标，然后只需要分析仅包含车牌的水平车牌图片，极大地减少了图片中的非车牌图片，换言之极大地降低了噪声，因此，提高了识别准确率。

请参见图3，示出了本申请实施例提供的一种车牌识别模型的结构示意图。该车牌识别模型主要包括车牌位置检测网络100、图片旋转网络200和车牌号码识别网络300，这三个网络之间由Tensor操作连接，不需要跳出模型，在模型内就能实现，因此，车牌位置检测网络100和车牌号码识别网络300这两部分能够整合到一个模型中，能够整体放到GPU中计算。

车牌位置检测网络100主要用于分析待识别车牌图片特征向量得到图片中车牌的四个顶点位置。

在本申请的一个实施例中，车牌位置检测网络100包括特征提取网络110、候选框生成网络120、候选框特征池化网络130和车牌位置回归网络140。

利用特征提取网络110从输入至该车牌识别模型的包含车牌的图片(即待识别车牌图片)中提取出图片的高级特征，即图片特征向量。

在本申请的一个实施例中，特征提取网络110可以采用卷积神经网络实现，具体的可以采用ResNet网络(如ResNet101网络)和特征图金字塔网络(Feature PyramidNetworks，FPN)实现。

候选框生成网络120用于生成很多Anchor区域，及每个Anchor区域包含对象的概率，再根据非极大抑制算法，得到预设数量个候选框区域。

非极大抑制算法(Non-maximumsuppression,NMS)的本质是搜索局部极大值，抑制非极大值元素。物体检测中应用NMS算法的主要目的是消除多余的窗口，找到最佳物体检测位置。

候选框特征池化网络130主要用于提取各个候选框区域的图片特征向量，并将提取得到的特征向量池化到同一尺寸，以便能输入至下一级的车牌位置回归网络140中进行处理。

车牌位置回归网络140主要用于得到图片中车牌的四个顶点在图片中的位置。

如图4所示，通过车牌位置检测网络100检测到待识别车辆图片包含的车牌的四个顶点的位置，即图4中A、B、C、D四个点的坐标。

图片旋转网络200主要用于依据车牌位置检测网络100检测得到的图片中包含的车牌的四个顶点位置的坐标裁剪得到只包含车牌且长边处于水平方向的水平车牌图片。

在本申请的一个实施例中，图片旋转网络200主要用于实现以下步骤：

依据车牌的四个顶点在待识别车牌图片中的位置坐标，确定将车牌图片旋转至长边处于水平方向对应的待旋转角度；

将待识别车牌图片旋转待旋转角度，并计算车牌的四个顶点位置在旋转后的图片中的旋转后的位置坐标；

根据车牌的四个顶点位置对应的旋转后的位置坐标，从旋转后的图片中确定并裁剪得到水平车牌图片。

最终得到的水平车牌图片如图5所示，仅包含车牌的图片的长边位于水平方向。将图片旋转至水平方向能够减少非车牌部分的占比，从而提高识别准确率。

车牌号码识别网络300主要用于从图片旋转网络200得到的水平车牌图片中识别得到车牌号码。

车牌号码识别网络300从旋转至水平的图片中，识别到可能的车牌概率，再使用CTC算法解码得到最终的车牌号码。

在本申请的一个实施例中，车牌号码识别网络300主要包括：特征提取网络310和双向GRU网络320。

特征提取网络310包括3个卷积块和1个全连接块，每个卷积块为3*3卷积层+BN层+RELU+最大池化层；全连接块可以是32核的全连接层+BN层+RELU。

其中，BN层是批归一化(Batch Normalization)其字面含义是对每一批数据进行归一化。BN层不仅能够加快模型的收敛速度，而且更重要的是在一定程度上缓解了深层网络中“梯度弥散”的问题，从而使得训练深层网络模型更容易和稳定。

激活函数RELU的有效性体现在：克服梯度消失的问题，以及加快训练速度。

双向GRU网络320使用两层的前向和后向GRU和一个全连接层，第一GRU层将前向和反向GRU的输出进行叠加，作为第二GRU层的输入，第二GRU层将前向和反向的GRU进行连接，最后经过全连接层得到最终输出。

双向GRU网络320输出的结果经过解码得到该图片包含的车牌号码。

下面将结合图6介绍训练车牌识别模型的过程：

S210，获取标记有车牌四顶点位置及车牌号码的样本图片集。

样本图片包含车牌的图片，且标注有该车牌在图片中的四个顶点的位置，以及车牌号码。

可以从目前最大的公开的中文车牌数据集CCPD中获得样本图片集，并从图片中提取出标注的信息，以便输入到车牌识别模型中进行模型训练。

例如，可以将数据集分成训练集、验证集和测试集，使用训练集和验证集进行模型训练，使用测试集进行模型测试。测试过程与使用模型识别车牌的过程相同，此处不再赘述。

S220，从样本图片集中提取每个样本图片对应的图片特征向量，并分析图片特征向量得到每个样本图片包含的各个候选框区域。

S230，将每个样本图片包含的各个候选框区域池化到同一尺寸。

S240，分析池化后的各个候选框区域的图片特征，得到样本图片中车牌的四个顶点的预测位置坐标，并利用车牌四顶点位置回归损失函数计算得到车牌四顶点位置回归损失值。

在创建模型时，需要设置损失函数，该模型的损失函数包括两部分：一部分是车牌四顶点位置回归损失函数，另一部分是车牌号码交叉熵损失函数。

检测到车牌四个顶点位置后，利用车牌四顶点位置回归损失函数计算车牌四个顶点的位置与该样本图片标注的车牌的真实的四个顶点的位置之间的误差，即车牌四顶点位置回归损失值。

车牌号码交叉熵损失将在下文详细描述。

S250，依据车牌的四个顶点的预测位置坐标，从每个样本图片中裁剪得到所述水平车牌图片。

该步骤利用图3中的图片旋转网络200实现，此处不再赘述。

S260，从每个样本图片对应的水平车牌图片中提取图片特征向量。

S270，利用双向GRU网络分析所述水平车牌图片对应的图片特征向量，得到该水平车牌图片包含的车牌号码，并计算同一样本图片中识别得到的车牌号码与该样本图片标记的车牌号码之间的交叉熵损失值。

S260和S270通过图3中的车牌识别网络实现。

利用车牌号码交叉熵损失函数计算识别得到的车牌图片中的车牌号码，以及该车牌图片标注的真实的车牌号码之间的误差，即车牌号码交叉熵损失值。

交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。

S280，分别计算同一样本图片对应的车牌四顶点位置回归损失值与所述交叉熵损失值的总和，并依据各个样本图片对应的损失值总和调整车牌识别模型中的各个参数，直到损失总和满足预设收敛条件，得到最终使用的车牌识别模型。

将模型的损失函数设置为车牌四顶点位置回归损失函数与车牌号码交叉熵损失函数之和。

计算本次预测结果对应的损失值，然后，依据损失值调整车牌识别模型中的参数，重复执行上述过程直到损失值不再变小，得到该模型对应的最终的模型参数，即得到最终的车牌识别模型。

基于上述本申请实施例提供的一种车牌识别方法，本申请实施例还对应公开了一种车牌识别装置，如图7所示，该车牌识别装置可以包括：

车牌顶点位置检测模块410，用于分析待识别车牌图片的图片特征向量得到所述待识别车牌图片包含的车牌的四个顶点位置。

其中，先将待识别图片转换成相应的图片向量，再从图片向量中提取得到高级特征，即图片特征向量。利用预先训练好的车牌识别模型分析该图片特征向量得到待识别车牌图片包含的车牌的四个顶点在图片中的位置坐标。

进一步的，车牌顶点位置检测模块410，包括：

第一特征提取子模块，用于利用特征提取网络从所述待识别车牌图片中提取图片特征向量。

候选框区域生成子模块，用于利用候选框生成网络分析图片特征向量得到待识别车牌图片中的各个候选框区域。

池化子模块，用于将各个候选框区域的图片特征池化到同一尺寸。

车牌顶点位置分析子模块，用于利用车牌四顶点位置回归网络分析池化后的各个候选框区域的图片特征，得到车牌的四个顶点在待识别车牌图片中的位置坐标。

图片裁剪旋转模块420，用于依据所述车牌的四个顶点位置从所述待识别车牌图片中裁剪得到只包含车牌且长边处于水平方向的水平车牌图片。

其中，利用车牌的四个顶点位置从待识别车牌图片中裁剪得到只包含车牌的车牌图片，如果该车牌图片的长边不是水平方向，则将该车牌图片旋转至长边处于水平方向的位置，得到水平车牌图片。

进一步的，图片裁剪旋转模块420，具体用于：

依据车牌的四个顶点在所述待识别车牌图片中的位置坐标，确定将车牌图片旋转至长边处于水平方向对应的待旋转角度；将待识别车牌图片旋转所述待旋转角度，并计算车牌的四个顶点位置在旋转后的图片中的旋转后的位置坐标；根据车牌的四个顶点位置对应的旋转后的位置坐标，从旋转后的图片中确定并裁剪得到水平车牌图片。

车牌号码识别模块430，用于从水平车牌图片中识别得到车牌号码。

其中，从仅包含车牌且长边处于水平方向的水平车牌图片中识别得到该车牌所包含的车牌号码。

进一步的，车牌号码识别模块430，具体用于：

从水平车牌图片中提取图片特征向量；利用双向GRU网络分析水平车牌图片对应的图片特征向量，得到水平车牌图片包含的车牌号码。

本实施例提供的车牌识别装置，在获得待识别车牌图片后，从图片中提取图片特征向量，然后，分析该待识别车牌图片的图片特征向量得到图片中车牌的四个顶点位置。再依据车牌的四个顶点位置从待识别车牌图片中裁剪得到只包含车牌且长边处于水平方向的水平车牌图片。最后，识别水平车牌图片所包含的车牌号码。由上述过程可知，该方案从待识别车牌图片中识别出车牌的四个顶点的位置坐标，然后只需要分析仅包含车牌的水平车牌图片，极大地减少了图片中的非车牌图片，换言之极大地降低了噪声，因此，提高了识别准确率。

如图8所示，为本申请实施例提供的另一种车牌识别装置，该装置在图7的基础上还包括：模型训练模块510。

模型训练模块510，具体用于：

获取标记有车牌四顶点位置及车牌号码的样本图片集；

从样本图片集中提取每个样本图片对应的图片特征向量，并分析图片特征向量得到每个样本图片包含的各个候选框区域；

将每个样本图片包含的各个候选框区域池化到同一尺寸；

分析池化后的各个候选框区域的图片特征，得到样本图片中车牌的四个顶点的预测位置坐标，并利用车牌四顶点位置回归损失函数计算得到车牌四顶点位置回归损失值；

依据车牌的四个顶点的预测位置坐标，从每个样本图片中裁剪得到水平车牌图片；

从每个样本图片对应的水平车牌图片中提取图片特征向量；

利用双向GRU网络分析水平车牌图片对应的图片特征向量，得到该水平车牌图片包含的车牌号码，并计算同一样本图片中识别得到的车牌号码与该样本图片标记的车牌号码之间的交叉熵损失值；

分别计算同一样本图片对应的所述车牌四顶点位置回归损失值与交叉熵损失值的总和，并依据各个样本图片对应的损失值总和调整车牌识别模型中的各个参数，直到损失总和满足预设收敛条件，得到最终使用的车牌识别模型。

本实施例中，通过获取标记有车牌四顶点位置及车牌号码的样本图片集，从样本图片集中提取每个样本图片对应的图片特征向量，并分析图片特征向量得到每个样本图片包含的各个候选框区域，池化每个样本图片包含的各个候选框区域到同一尺寸，分析池化后的各个候选框区域的图片特征，得到样本图片中车牌的四个顶点的预测位置坐标，并利用车牌四顶点位置回归损失函数计算得到车牌四顶点位置回归损失值，依据损失值调整车牌识别模型中的参数，重复执行上述过程直到损失值不再变小，得到该模型对应的最终的模型参数，从而实现得到最终的车牌识别模型的目的。

上述实施例提供的车牌识别装置包括处理器和存储器，该装置所包含的上述功能模块均作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模块来实现相应的功能。

本文中的处理器可以是CPU，或者，是MCU，或者，还可以是CPU和MCU的结合。处理器中包含内核，由内核取存储器中调取相应的程序，内核可以设置一个或以上。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

另一方面，本申请提供了一种车牌识别设备，该设备包括处理器和存储器，该存储器内存储有可在处理器上运行的程序。该处理器运行存储器内存储的该程序时实现上述实施例提供的车牌识别方法。该设备可以是服务器、PC和手持智能终端(例如，手持车牌识别终端、智能手机、PDA)等。

又一方面，本申请还提供了一种计算设备可执行的存储介质，该存储介质中存储有程序，该程序由计算设备执行时实现上述的车牌识别方法。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请各实施例中的装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种车牌识别方法，其特征在于，包括：

分析待识别车牌图片的图片特征向量得到所述待识别车牌图片包含的车牌的四个顶点位置；

依据所述车牌的四个顶点位置从所述待识别车牌图片中裁剪得到只包含车牌且长边处于水平方向的水平车牌图片；

从所述水平车牌图片中识别得到车牌号码。

2.根据权利要求1所述的方法，其特征在于，分析待识别车牌图片的图片特征向量，得到所述待识别车牌图片包含的车牌的四个顶点位置，包括：

利用特征提取网络从所述待识别车牌图片中提取图片特征向量；

利用候选框生成网络分析所述图片特征向量得到所述待识别车牌图片中的各个候选框区域；

将各个候选框区域的图片特征池化到同一尺寸；

利用车牌四顶点位置回归网络分析池化后的各个候选框区域的图片特征，得到车牌的四个顶点在待识别车牌图片中的位置坐标。

3.根据权利要求1所述的方法，其特征在于，依据所述车牌的四个顶点位置从所述待识别车牌图片中裁剪得到只包含车牌且长边处于水平方向的水平车牌图片，包括：

依据所述车牌的四个顶点在所述待识别车牌图片中的位置坐标，确定将车牌图片旋转至长边处于水平方向对应的待旋转角度；

将所述待识别车牌图片旋转所述待旋转角度，并计算车牌的四个顶点位置在旋转后的图片中的旋转后的位置坐标；

根据车牌的四个顶点位置对应的旋转后的位置坐标，从旋转后的图片中确定并裁剪得到水平车牌图片。

4.根据权利要求1所述的方法，其特征在于，从所述水平车牌图片中识别得到车牌号码，包括：

从所述水平车牌图片中提取图片特征向量；

利用双向GRU网络分析所述水平车牌图片对应的图片特征向量，得到所述水平车牌图片包含的车牌号码。

5.根据权利要求1所述的方法，其特征在于，训练车牌识别模型的过程，包括：

获取标记有车牌四顶点位置及车牌号码的样本图片集；

从所述样本图片集中提取每个样本图片对应的图片特征向量，并分析所述图片特征向量得到每个样本图片包含的各个候选框区域；

将每个样本图片包含的各个候选框区域池化到同一尺寸；

分析池化后的各个候选框区域的图片特征，得到所述样本图片中车牌的四个顶点的预测位置坐标，并利用车牌四顶点位置回归损失函数计算得到车牌四顶点位置回归损失值；

依据所述车牌的四个顶点的预测位置坐标，从每个样本图片中裁剪得到所述水平车牌图片；

从每个样本图片对应的水平车牌图片中提取图片特征向量；

利用双向GRU网络分析所述水平车牌图片对应的图片特征向量，得到该水平车牌图片包含的车牌号码，并计算同一样本图片中识别得到的车牌号码与该样本图片标记的车牌号码之间的交叉熵损失值；

分别计算同一样本图片对应的所述车牌四顶点位置回归损失值与所述交叉熵损失值的总和，并依据各个样本图片对应的损失值总和调整所述车牌识别模型中的各个参数，直到所述损失总和满足预设收敛条件，得到最终使用的车牌识别模型。

6.一种车牌识别装置，其特征在于，包括：

车牌顶点位置检测模块，用于分析待识别车牌图片的图片特征向量得到所述待识别车牌图片包含的车牌的四个顶点位置；

图片裁剪旋转模块，用于依据所述车牌的四个顶点位置从所述待识别车牌图片中裁剪得到只包含车牌且长边处于水平方向的水平车牌图片；

车牌号码识别模块，用于从所述水平车牌图片中识别得到车牌号码。

7.根据权利要求6所述的装置，其特征在于，所述车牌顶点位置检测模块，包括：

第一特征提取子模块，用于利用特征提取网络从所述待识别车牌图片中提取图片特征向量；

候选框区域生成子模块，用于利用候选框生成网络分析所述图片特征向量得到所述待识别车牌图片中的各个候选框区域；

池化子模块，用于将各个候选框区域的图片特征池化到同一尺寸；

车牌顶点位置分析子模块，用于利用车牌四顶点位置回归网络分析池化后的各个候选框区域的图片特征，得到车牌的四个顶点在待识别车牌图片中的位置坐标。

8.根据权利要求6所述的装置，其特征在于，图片裁剪旋转模块具体用于：

依据所述车牌的四个顶点在所述待识别车牌图片中的位置坐标，确定将车牌图片旋转至长边处于水平方向对应的待旋转角度；

将所述待识别车牌图片旋转所述待旋转角度，并计算车牌的四个顶点位置在旋转后的图片中的旋转后的位置坐标；

根据车牌的四个顶点位置对应的旋转后的位置坐标，从旋转后的图片中确定并裁剪得到水平车牌图片。

9.根据权利要求6所述的装置，其特征在于，还包括模型训练模块，具体用于：

获取标记有车牌四顶点位置及车牌号码的样本图片集；

从所述样本图片集中提取每个样本图片对应的图片特征向量，并分析所述图片特征向量得到每个样本图片包含的各个候选框区域；

将每个样本图片包含的各个候选框区域池化到同一尺寸；

分析池化后的各个候选框区域的图片特征，得到所述样本图片中车牌的四个顶点的预测位置坐标，并利用车牌四顶点位置回归损失函数计算得到车牌四顶点位置回归损失值；

依据所述车牌的四个顶点的预测位置坐标，从每个样本图片中裁剪得到所述水平车牌图片；

从每个样本图片对应的水平车牌图片中提取图片特征向量；

利用双向GRU网络分析所述水平车牌图片对应的图片特征向量，得到该水平车牌图片包含的车牌号码，并计算同一样本图片中识别得到的车牌号码与该样本图片标记的车牌号码之间的交叉熵损失值；

分别计算同一样本图片对应的所述车牌四顶点位置回归损失值与所述交叉熵损失值的总和，并依据各个样本图片对应的损失值总和调整所述车牌识别模型中的各个参数，直到所述损失总和满足预设收敛条件，得到最终使用的车牌识别模型。

10.一种车牌识别设备，其特征在于，包括：存储器和处理器；

所述存储器内存储有程序指令；

所述处理器执行所述存储器内存储的程序指令时实现权利要求1-5任一项所述的车牌识别方法。

Images