CN116778466A - 一种大角度车牌识别方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种大角度车牌识别方法、装置、设备和存储介质，所述大角度车牌识别方法包括获取图像信息，基于深度学习模型在图像信息上获取车头标识框和车牌标识框；根据车头标识框和车牌标识框获取车头朝向和错切变换角度；根据车头朝向、错切变换角度获取错切变换矩阵；根据错切变换矩阵对图像信息进行错切变换，并获取变换图像信息；根据变换图像信息识别车牌号码。本发明解决了现有解决现有的车牌识别方式精度低、鲁棒性低的问题，提高了识别准确率。

Description

一种大角度车牌识别方法、装置、设备和存储介质

技术领域

本发明涉及图像识别技术领域，具体涉及一种大角度车牌识别方法、装置、设备和存储介质。

背景技术

车牌识别系统是计算机视觉图像识别技术在车辆拍照识别中的一种应用，车牌识别技术要求能够将运动中的汽车牌照从复杂背景中提取并识别出来，通过车牌提取、图像预处理、特征提取、车牌字符识别等技术，识别车辆牌号、颜色等信息。

现有方法对大角度车牌的识别主要通过对车牌进行四点检测加仿射变换的方式，该类方法依赖于对车牌的精准四点定位，对不同场景里占比不同大小的车牌不具有较强的鲁棒性，同时，由于车牌在大角度视角下形状不一，为不定夹角的平行四边形，四点定位的方式有较大精度上的局限。

基于此，需要一种新技术方案。

发明内容

有鉴于此，本发明实施例提供一种大角度车牌识别方法、装置、设备和存储介质，以至少解决现有的车牌识别方式精度低、鲁棒性低的问题。

本发明实施例提供以下技术方案：

本发明实施例的一种大角度车牌识别方法，包括：

获取图像信息，基于深度学习模型在所述图像信息上获取车头标识框和车牌标识框；

根据所述车头标识框和所述车牌标识框获取车头朝向和错切变换角度；

根据所述车头朝向、所述错切变换角度获取错切变换矩阵；

根据所述错切变换矩阵对所述图像信息进行错切变换，并获取变换图像信息；

根据所述变换图像信息识别车牌号码。

进一步地，所述基于车头标识框和所述车牌标识框获取车头朝向包括：

获取所述车头标识框的车头顶点坐标和所述车牌标识框的车牌顶点坐标；

基于所述车头顶点坐标和所述车牌顶点坐标获取所述车头朝向。

进一步地，在所述车头顶点坐标包括第一车头顶点坐标(x1，y1)、第二车头顶点坐标(x2，y2)，所述车牌顶点坐标包括第一车牌顶点坐标(x3，y3)、第二车牌顶点坐标(x4，y4)时，所述车头朝向的计算公式如下：

其中，From用于表示所述车头朝向，在From等于1的情况下，车头向左；在From等于-1的情况下，车头向右。

进一步地，所述获取错切变换角度包括：

获取车牌宽度，并基于所述车牌顶点坐标、所述车牌宽度获取所述错切变换角度。

进一步地，所述获取车牌宽度包括：

基于霍夫线变换算法获取所述车牌宽度。

进一步地，在所述车牌顶点坐标包括第三车牌顶点坐标(x3，y3)、第四车牌顶点坐标(x4，y4)时，获取所述错切变换角度的公式如下：

其中，α为错切变换角度，h为车牌宽度。

进一步地，在所述图像信息中一点的变换前坐标为(x，y)，变换后坐标为(x’，y’)时，所述变换前坐标和所述变换后坐标之间的关系为：

x’x’＝x；

y’＝y-From*x*tanα；

其中，From用于表示车头朝向，α为错切变换角度。

本发明实施例的一种大角度车牌识别装置，包括：

获取单元，所述获取单元用于获取图像信息、基于深度学习模型获取车头标识框和车牌标识框、根据所述车头标识框和所述车牌标识框获取车头朝向和错切变换角度、根据所述车头朝向、所述错切变换角度获取错切变换矩阵；

变换单元，所述变换单元用于根据所述错切变换矩阵对所述图像信息进行错切变换，并获取变换图像信息；

识别单元，所述识别单元用于根据所述变换图像信息识别车牌号码。

本发明实施例的一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一项所述的大角度车牌识别方法。

本发明实施例的一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上任一项所述的大角度车牌识别方法。

与现有技术相比，本发明实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：

本发明的一种大角度车牌识别方法，通过获取图像信息，并基于深度学习模型获取车头标识框和车牌标识框；根据车头标识框和车牌标识框获取车头朝向和错切变换角度；根据车头朝向、错切变换角度获取错切变换矩阵；根据错切变换矩阵对图像信息进行错切变换，并获取变换图像信息；根据变换图像信息识别车牌号码，解决了现有解决现有的车牌识别方式精度低、鲁棒性低的问题，提高了识别准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例的大角度车牌识别方法的流程图(一)；

图2为本发明实施例的大角度车牌识别方法的流程图(二)；

图3为本发明实施例的大角度车牌识别方法的具体实施结构示意图；

图4为本发明实施例的车头标识框和车牌标识框的结构示意图；

图5为本发明实施例的仿真图(一)；

图6为本发明实施例的仿真图(二)；

图7为本发明实施例的大角度车牌识别装置的结构框图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本发明，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践。

在某些作业场景中，拍摄车牌的相机并不能安装在合适的位置，以港口路测为例，“提放箱”是其重要的生产环节，各种类型的集装箱卡车行驶至作业地点，完成提箱和放箱操作，在进行作业前，当前集装箱卡车的车牌信息确认作业情况是必不可少的一项内容。路测的相机从集装箱卡车驶入作业区之后开始拍摄，每秒以固定频率发送给识别程序，受限于相机安装角度，路测拍摄出的车牌照片往往角度很大，且由于作业地点不固定，车牌占整张图片的比例和位置不固定，给大角度车牌的识别增添了难度。

有鉴于此，本发明使用人工智能和计算机视觉识别技术，通过车头定位-车牌定位-仿射变换-文字识别的方式，以解决大角度车牌(车牌倾斜角度大于45度)识别的问题，以提高车牌识别的准确性。

基于此，本发明实施例提出了一种处理方案：本发明通过识别车头，并获取车头的朝向，有助于获取车牌所在的平面以及车牌的扭曲方式，从而根据该平面和车牌扭曲方式对图像进行错切变换以矫正图像，以提高对车牌信息识别的准确性，同时在车牌检测和识别过程中，了解车头朝向也可以更精确地分析车牌区域和字符排列方向，有助于排除无关背景区域，降低误识别的风险，提高识别准确率。

以下结合附图，说明本发明各实施例提供的技术方案。

如图1～2所示，本发明实施例提供一种大角度车牌识别方法，包括：

步骤S102、获取图像信息，基于深度学习模型在图像信息上获取车头标识框和车牌标识框；

步骤S104、根据车头标识框和车牌标识框获取车头朝向和错切变换角度；

步骤S106、根据车头朝向、错切变换角度获取错切变换矩阵；

步骤S108、根据错切变换矩阵对图像信息进行错切变换，并获取变换图像信息；

步骤S110、根据变换图像信息识别车牌号码。

在步骤S102中，图像信息为通过摄像头获取的，图像信息中至少包括车头信息和车牌信息。

其中，深度学习模型为基于深度学习的模型，并且使用标注了车头或车牌的图像进行了深度学习训练。

具体地，基于深度学习的yolo-v5方法来进行车头的目标检测，基于已经标注了车头或车牌的图像来进行深度学习的训练。yolo-v5模型的骨干网络主要由Focus(焦点)、BottleneckCSP(瓶颈CSP，CSP为Cross Stage Partial跨阶段部分连接)网络构成。首先输入大小为1920*1440*3的图片，通过Focus模块进行切片，其次对整合后的图像通过大小为3，步长为2的Conv卷积模块进行特征提取，随后采用BottleneckCSP2模块减少模型参数量，通过上采样操作80*80*512大小的特征图，并通过卷积，最终得到三个大小分别为80*80*255、40*40*255、20*20*255的特征图。最后在三个不同尺度特征图上生成候选框，采用加权非极大值的方式对目标框进行筛选(本发明中分为“是车头”或者“非车头”)。

其中，车头标识框用于标识图像信息中的车头，车牌标识框用于标识图像信息中的车牌。

在步骤S104中，通过准确地确定车头朝向有助于了解车牌所在的平面，并根据该平面矫正图像，以矫正车牌，从而能够更准确地分析车牌区域和车牌字符，提高识别率。

其中，通过了解车头朝向，也有助于排除一些无关背景区域，降低误识别的风险，能够有助于处理复杂场景或多种车型，为不同类型的车辆提供更稳定的车牌检测，从而有助于改善车牌检测和识别的准确性和稳定性。

其中，获取车头朝向用于将帮助理解的车辆的位置和方向，从而提供有关车牌可能的透视角度信息，继而了解车辆相对于摄像头的位置和角度，以利用这些信息计算或预测车辆的变形程度和方向。

其中，获取车头朝向的方法包括基于特征识别车头朝向、基于深度学习识别车头朝向、基于光流法识别车头朝向、基于立体视觉识别车头朝向等方法。

在本发明的一些实施例中，如图2所示，基于车头标识框和车牌标识框获取车头抽象包括如下步骤：

步骤S104a、获取车头标识框的车头顶点坐标和车牌标识框的车牌顶点坐标；

步骤S104b、基于车头顶点坐标和车牌顶点坐标获取车头朝向。

在步骤S104a中，车头顶点坐标可以包括车头标识框左上角顶点坐标和车头标识框右下角顶点坐标，车牌顶点坐标包括车牌标识框左上角顶点坐标和车牌标识框右下角顶点坐标。

在一个优选实施例中，如图3～4所示，在车头顶点坐标包括第一车头顶点坐标(x1，y1)、第二车头顶点坐标(x2，y2)，车牌顶点坐标包括第一车牌顶点坐标(x3，y3)、第二车牌顶点坐标(x4，y4)时，车头朝向的计算公式如下：

其中，From用于表示车头朝向，在From等于1的情况下，车头向左；在From等于-1的情况下，车头向右。

其中，第一车头顶点坐标(x1，y1)可以为车头标识框的左上角顶点坐标，第二车头顶点坐标(x2，y2)可以为车头标识框的右下角顶点坐标；第一车牌顶点坐标(x3，y3)为车牌标识框的左上角顶点坐标、第二车牌顶点坐标(x4，y4)为车牌标识框的右下角顶点坐标。

在其中的一些实施例中，根据摄像头的位置变化，第一车头顶点坐标(x1，y1)可以为车头标识框的右上角顶点坐标，第二车头顶点坐标(x2，y2)可以为车头标识的左下角顶点坐标；第一车牌顶点坐标(x3，y3)为车牌标识框的右上角顶点坐标、第二车牌顶点坐标(x4，y4)为车牌标识框的左下角顶点坐标。

在本发明的一些实施例中，获取错切变换角度包括：

步骤S104c、获取车牌宽度，并基于车牌顶点坐标、车牌宽度获取错切变换角度。

其中，可以基于霍夫线变换算法获取车牌宽度。

具体地，如图5～6所示，在利用直线检测Hough_line算法求得车牌宽度h时，对于一个给定点(x₀，y₀)，可以在直角坐标系中，绘出所有通过它的直线(θ为x轴，r为y轴)。最终我们将得到一条正弦曲线。

如果两个不同点进行上述操作后得到的曲线在平面相交，就意味两个不同点之间有一个公共的(θ，rθ)，即过一条公共的直线。越多曲线交于一点，也就意味着这个交点表示的直线由更多的点组成，权重和越大。霍夫线变换算法追踪了图像中每个点对应曲线间的交点，如果交于一点的曲线的数量超过了阈值，那么就认为这个交点所代表的参数对在原图像中为一条直线。

更为具体地：创建一个二维数组用于保存两个参数的值，用r来表示行，用θ来表示列；数组的大小取决于所需的精度。在本方案中精度设为0.5°，即开辟了360列的数组用于记录。遍历r和θ，同时计算符合车牌斜率范围的线段，最终获得车牌宽度h。

在其中的一些实施例中，在获取车牌宽度之后，在车牌顶点坐标包括第三车牌顶点坐标(x3，y3)、第四车牌顶点坐标(x4，y4)时，获取错切变换角度的公式如下：

其中，α为错切变换角度，h为车牌宽度。

在步骤S106中，在获取车头朝向和错切变换角度之后，可以基于python的getPerspectiveTransform进行矩阵分解，以计算满足AX＝B的透视矩阵X，其中A为检测到的车牌四点坐标矩阵，B为要拉伸成矩形的具体位置。

在本发明的一些具体实施例中，在图像信息中一点的变换前坐标为(x，y)，变换后坐标为(x’，y’)时，变换前坐标和变换后坐标之间的关系为：

x’＝x；

y’＝y-From*x*tanα；

其中，From用于表示车头朝向，α为错切变换角度。

其中，通过变换前坐标获取变换后坐标，从而能够实现对图像的全部点进行错切变换以获取错切变换矩阵。

在步骤S108中，基于错切变换用于将图像信息拉伸为矩形，以便于后续识别车牌号码。

具体地，可以利用python的warpPerspective函数将提取出的车牌图片映射到矩形的对应位置，以便后续的文字识别检测。

在步骤S110中，在得到标准大小的矩形图像之后，将图片输入文字识别系统。

具体地，在步骤S110中使用的基础模型为ResNet(残差网络)，用以提取文字的基本特征。得到的输出大小为(8，512，8，32)的张量，其中8代表batch size(批次大小)，512代表特征图个数，8*32代表特征图大小。随后，在其中位置注意力机制，固定每个字母位置的信息，将Resnet提取出的特征图，加上Unet网络(U型网络)之后送入全连接层，得到字符的最后分类。

本发明在进行大角度车牌识别任务中，不需要考虑摄像头距离车辆的远近，鲁棒性高，大角度车牌的识别精度高，且本发明对不同场景的大角度车牌识别任务的推进有着有益效果。

如图7所示，本发明实施例还提供了一种大角度车牌识别装置，包括获取单元10、变换单元20和识别单元30。其中，获取单元10用于获取图像信息、基于深度学习模型获取车头标识框和车牌标识框、根据车头标识框和车牌标识框获取车头朝向和错切变换角度、根据车头朝向、错切变换角度获取错切变换矩阵；变换单元20用于根据错切变换矩阵对图像信息进行错切变换，并获取变换图像信息；识别单元30用于根据变换图像信息识别车牌号码。

在其中的一些实施例中，获取单元10还用于获取车头标识框的车头顶点坐标和车牌标识框的车牌顶点坐标；并基于车头顶点坐标和车牌顶点坐标获取车头朝向。

在其中的一些实施例中，获取单元10还用于获取车牌宽度，并基于车牌顶点坐标、车牌宽度获取错切变换角度。

在其中的一些实施例中，获取单元10还用于基于霍夫线变换算法获取车牌宽度。

本申请实施例还提供了一种计算机设备。该计算机设备可以包括一个或多个处理器和存储器。

处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制计算机设备中的其他组件以执行期望的功能。

存储器可以包括一个或多个计算机程序，所述计算机程序可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序，处理器可以运行所述程序指令，以实现上文所述的大角度车牌识别方法以及/或者其他期望的功能。

除此之外，根据具体应用情况，电子设备还可以包括诸如总线、输入/输出接口等等的任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上文的大角度车牌识别方法的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本发明公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得所述处理器执行本说明书上文的大角度车牌识别方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电、磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本说明书中，各个实施例之间相同相似的部分互相参见即可，每个实施例侧重说明的都是与其他实施例的不同之处。尤其，对于后面说明的产品实施例而言，由于其与方法是对应的，描述比较简单，相关之处参见系统实施例的部分说明即可。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种大角度车牌识别方法，其特征在于，包括：

获取图像信息，基于深度学习模型在所述图像信息上获取车头标识框和车牌标识框；

根据所述车头标识框和所述车牌标识框获取车头朝向和错切变换角度；

根据所述车头朝向、所述错切变换角度获取错切变换矩阵；

根据所述错切变换矩阵对所述图像信息进行错切变换，并获取变换图像信息；

根据所述变换图像信息识别车牌号码。

2.根据权利要求1所述的大角度车牌识别方法，其特征在于，所述基于车头标识框和所述车牌标识框获取车头朝向包括：

获取所述车头标识框的车头顶点坐标和所述车牌标识框的车牌顶点坐标；

基于所述车头顶点坐标和所述车牌顶点坐标获取所述车头朝向。

3.根据权利要求2所述的大角度车牌识别方法，其特征在于，在所述车头顶点坐标包括第一车头顶点坐标(x1，y1)、第二车头顶点坐标(x2，y2)，所述车牌顶点坐标包括第一车牌顶点坐标(x3，y3)、第二车牌顶点坐标(x4，y4)时，所述车头朝向的计算公式如下：

其中，From用于表示所述车头朝向，在From等于1的情况下，车头向左；在From等于-1的情况下，车头向右。

4.根据权利要求2所述的大角度车牌识别方法，其特征在于，所述获取错切变换角度包括：

获取车牌宽度，并基于所述车牌顶点坐标、所述车牌宽度获取所述错切变换角度。

5.根据权利要求4所述的大角度车牌识别方法，其特征在于，所述获取车牌宽度包括：

基于霍夫线变换算法获取所述车牌宽度。

6.根据权利要求4所述的大角度车牌识别方法，其特征在于，在所述车牌顶点坐标包括第三车牌顶点坐标(x3，y3)、第四车牌顶点坐标(x4，y4)时，获取所述错切变换角度的公式如下：

其中，α为错切变换角度，h为车牌宽度。

7.根据权利要求1所述的大角度车牌识别方法，其特征在于，在所述图像信息中一点的变换前坐标为(x，y)，变换后坐标为(x’，y’)时，所述变换前坐标和所述变换后坐标之间的关系为：

x’＝x；

y’＝y-From*x*tanα；

其中，From用于表示车头朝向，α为错切变换角度。

8.一种大角度车牌识别装置，其特征在于，包括：

获取单元，所述获取单元用于获取图像信息、基于深度学习模型获取车头标识框和车牌标识框、根据所述车头标识框和所述车牌标识框获取车头朝向和错切变换角度、根据所述车头朝向、所述错切变换角度获取错切变换矩阵；

变换单元，所述变换单元用于根据所述错切变换矩阵对所述图像信息进行错切变换，并获取变换图像信息；

识别单元，所述识别单元用于根据所述变换图像信息识别车牌号码。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的大角度车牌识别方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7中任一项所述的大角度车牌识别方法。