CN112200192B - 一种车牌识别方法及装置 - Google Patents

Abstract

本申请示出一种车牌识别方法及装置，采用加入可变形卷积的第一卷积特征提取网络提取车牌图像特征；所述第一卷积特征提取网络包括：提取任意四边形区域的头部模型网络以及预测四边形角度的分支结构，所述提取任意四边形的头部模型网络用于提取多个任意四边形并筛选出最优四边形；所述分支结构预测该最优四边形的中心轴与水平轴的偏移角度；将所述车牌图像特征进行变换处理，得到车牌区域；采用加入空洞卷积的第二卷积特征提取网络提取车牌区域的字符位置信息和类别信息，根据所述字符位置信息和类别信息生成车牌号。本申请能提高车牌识别速度，降低部署难度，可区分0度和180度时的车牌方向，可以适应多种复杂场景且具有非常高的识别准确率。

Description

一种车牌识别方法及装置

技术领域

本发明涉及安防监控技术领域，特别涉及一种车牌识别方法及装置。

背景技术

车牌识别在安防监控技术领域具有广泛的应用，可应用于公路收费、公路执法、公路稽查、车辆调度、车辆检测等多种场合中。

现有的车牌识别技术利用卷积神经网络对包含车牌的图像进行车牌位置信息的提取，得到车牌的外接矩形，通过外接矩形的坐标，裁剪出车牌区域，再利用卷积神经网络和循环神经网络对车牌区域进行字符的位置信息和类别信息进行提取，得到车牌号。

现有技术对车牌角度较大的情形识别效果较差，不能区分0度和180度，加入了循环神经网络导致速度变慢，不利于部署。基于现有技术的缺陷，提出了本申请。

发明内容

基于上述问题，本申请的目的在于提供一种车牌识别方法及装置，提高识别速度，降低部署难度，可区分0度和180度情况时的车牌方向，可以适应多种复杂场景且具有非常高的识别准确率，以解决现有技术存在的技术问题。

第一方面，本申请示出一种车牌识别方法，包括以下步骤：采用加入可变形卷积的第一卷积特征提取网络提取车牌图像特征；所述第一卷积特征提取网络包括：提取任意四边形区域的头部模型网络以及预测四边形角度的分支结构，所述提取任意四边形的头部模型网络用于提取多个任意四边形并筛选出最优四边形，所述分支结构预测该最优四边形的中心轴与水平轴的偏移角度，根据所述偏移角度获取该角度正弦值α以及余弦值β；

将所述车牌图像特征进行变换处理，得到车牌区域；

采用加入空洞卷积的第二卷积特征提取网络提取车牌区域的字符位置信息和类别信息，根据所述字符位置信息和类别信息生成车牌号。

优选的，所述第一卷积特征提取网络以及第二卷积特征提取网络均采用resnet18网络结构。

优选的，所述车牌图像特征包括：位置信息，所述位置信息包括：车牌区域像素点到车牌顶点的偏移量。

优选的，所述车牌图像特征还包括：角度信息，所述角度信息为所述偏移角度的正弦值α以及余弦值β。

优选的，所述变换处理步骤包括：旋转变换；

所述旋转变换步骤包括：

根据角度信息得到旋转矩阵；

根据旋转矩阵计算出车牌区域像素旋转后的位置，获得四边形的车牌区域。

优选的，所述旋转矩阵的计算公式为：

。

优选的，所述变换处理步骤还包括：仿射变换；

所述仿射变换将四边形的车牌区域转换为矩形车牌区域。

第二方面，本申请示出一种车牌识别装置，包括：

第一特征提取单元，用于采用加入可变形卷积的第一卷积特征提取网络提取车牌图像特征；所述第一卷积特征提取网络包括：提取任意四边形区域的头部模型网络以及预测四边形角度的分支结构，所述提取任意四边形的头部模型网络用于提取多个任意四边形并筛选出最优四边形，所述分支结构预测该最优四边形的中心轴与水平轴的偏移角度，根据所述偏移角度获取该角度正弦值α以及余弦值β；

特征变换单元，用于将所述车牌图像特征进行变换处理，得到车牌区域；

第二特征提取单元，用于采用加入空洞卷积的第二卷积特征提取网络提取车牌区域的字符位置信息和类别信息，根据所述字符位置信息和类别信息生成车牌号。

本发明的有益效果为：

采用可变形卷积的第一卷积特征提取网络对车牌图像特征提取能够提高车牌区域识别的准确度，且仅用较少的计算量就能得到很大程度性能上的提升，提高识别速度，由于所述第一卷积特征提取网络包括：提取任意四边形区域的头部模型网络以及预测四边形角度的分支结构，创造性的进行角度预测，提取多个任意四边形并筛选出最优四边形，能够可以处理当车停放角度不好时，记录的车牌区域为不规则四边形的情况；将车牌图像特征进行变换处理可以将提取的四边形变为矩形；采用加入空洞卷积的第二卷积特征提取网络提取车牌区域，提取出字符位置信息和类别信息；根据所述字符位置信息和类别信息得到车牌号，采用的加入空洞卷积的第二卷积特征提取网络能够提高感受野获得多尺度信息，可以区分车牌区域角度过大的情形，可以区分0°和180°的车牌区域。本申请示出的一种车牌识别方法及装置，提高识别速度，降低部署难度，可以适应多种复杂场景且具有非常高的识别准确率。

附图说明

为了更清楚的说明申请的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，显而易见地，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请示出的一种车牌识别方法具体步骤；

图2为本申请示出的加入可变形卷积的第一卷积特征提取网络提取车牌图像特征的算法示意图；

图3为本申请示出的车牌区域像素点到四个顶点坐标的偏移量形成的四边形示意图；

图4为本申请示出的加入空洞卷积的第二卷积特征提取网络提取车牌区域字符位置信息和类别信息的算法示意图；

图5为本申请示出的一种车牌识别装置结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请实施例中的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中的技术方案作进一步详细的说明。显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

为了解决现有技术中对车牌角度较大的情形识别效果较差，不能区分0度和180度，采用循环神经网络导致速度变慢，不利于部署的问题。本申请实施例示出的一种车牌识别方法及装置，能提高识别速度，降低部署难度，可以区分0度和180度的车牌方向，可以适应多种复杂场景且具有非常高的识别准确率。

以下对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

（1）可变形卷积

可变形卷积，可以提升在物体检测和分割上的性能。只要增加很少的计算量，就可以得到性能的提升。

传统卷积基于定义的滤波器大小，在输入图像或一组输入特征图的预定义矩形网格上操作。该网格的大小可以是3×3和5×5等。然而，我们想要检测和分类的对象可能会在图像中变形或被遮挡。

在可变形卷积中，网格是可变形的，因为每个网格点都可以通过一个可学习的偏移量移动。卷积作用于这些移动的网格点上，因此称为可变形卷积，类似于可变形RoI池化的情况。通过使用这两个新模块，可变形卷积提高了卷积神经网络识别的准确率。

（2）空洞卷积

空洞卷积是在卷积核中插入空洞，起到扩大感受野的作用。在深度网络中为了增加感受野且降低计算量，总要进行降采样池化等，这样虽然可以增加感受野，但空间分辨率降低了。为了能不丢失分辨率，且仍然扩大感受野，可以使用空洞卷积。这在检测时，一方面感受野大了可以检测分割大目标，另一方面分辨率高了可以精确定位目标。另外，还可以通过调整扩张率来获得多尺度信息。所以总的来说，空洞卷积可以在不丢失分辨率的情况下扩大感受野并调整扩张率获得多尺度信息。

下面结合附图对本申请实施例提供的车牌识别方法做进一步说明，参阅图1，图1为本申请示出的一种车牌识别方法，包括以下步骤：

S1：采用加入可变形卷积的第一卷积特征提取网络提取车牌图像特征；所述第一卷积特征提取网络包括：提取任意四边形区域的头部模型网络以及预测四边形角度的分支结构，所述提取任意四边形的头部模型网络用于提取多个任意四边形并筛选出最优四边形，所述分支结构预测该最优四边形的中心轴与水平轴的偏移角度，根据所述偏移角度获取该角度正弦值α以及余弦值β；

所述第一卷积特征提取网络采用resnet18网络结构，所述resnet18网络结构为18层残差连接网络。

所述采用加入可变形卷积的第一卷积特征提取网络对车牌图像特征进行提取的算法参阅图2；该算法基于现有技术anchor free的目标检测算法centernet，建立了新的模型头部网络，该网络对任意四边形区域进行提取，并在头部网络增加了一个分支结构来预测四边形的角度信息，保留了现有技术中的高斯热图预测分支。

根据该算法提取的车牌图像特征包括：位置信息，所述位置信息包括：车牌区域像素点到车牌顶点的偏移量。

所述车牌顶点包括：第一顶点、第二顶点、第三顶点以及第四顶点；所述第一顶点坐标为（x1，y1），所述第二顶点坐标为（x2，y2），所述第三顶点坐标为（x3，y3），所述第四顶点坐标为（x4，y4）。

车牌区域包含多个像素点，所述像素点的坐标为（x，y），所述像素点到四个顶点坐标的偏移量分别为：

像素点到第一顶点坐标偏移量为（delta x1，delta y1）；像素点到第二顶点坐标偏移量为（delta x2，delta y2）；像素点到第三顶点坐标偏移量为（delta x3，delta y3）；像素点到第四顶点坐标偏移量为（delta x4，delta y4）。

参阅图3，由车牌区域像素点到四个顶点坐标的偏移量可得到多个四边形，根据上述算法筛选出最优四边形，根据该算法中头部网络中的分支预测该最优四边形的中心轴与水平轴的偏移角度，根据所述偏移角度获取该角度正弦值α以及余弦值β；

根据该算法提取的车牌图像特征还包括：角度信息，所述角度信息为偏移角度的正弦值α以及余弦值β；

其中：

在一可行性实施例中，第一顶点坐标为（301，462），第二顶点坐标为（283，506），第三顶点坐标为（398，570），第四顶点坐标为（416，526）；

根据上述算法确定偏移量后，选择的最优四边形偏移角度为330.9°；

根据该偏移角度获取该角度正弦值α以及余弦值β；

所述车牌图像特征还包括：车牌中心点，所述车牌中心点通过计算所述车牌顶点均值可得到，该实施例中，所述中心点为（349.5，516.0）。

S2：将所述车牌图像特征进行变换处理，得到车牌区域；

所述变换处理步骤包括：旋转变换；

所述旋转变换步骤包括：

根据角度信息得到旋转矩阵；

根据旋转矩阵计算出车牌区域像素旋转后的位置，获得四边形的车牌区域；

所述旋转矩阵的计算公式为：

在一可行性实施例中，当scale=1，根据上述偏移角度及坐标值计算得到的旋转矩阵为：

由旋转矩阵以及车牌顶点坐标，计算旋转后的车牌顶点坐标；旋转后的第一顶点坐标为：（280.86121783，492.39983936）；旋转后的第二顶点坐标为：（286.52951198，539.60016183）；旋转后的第三顶点坐标为：（418.13878217，539.60016064）；旋转后的第四顶点坐标为：（412.47048802，492.39983817）；

所述变换处理步骤还包括：仿射变换；

所述仿射变换将四边形的车牌区域转换为矩形车牌区域。

在一可行性实施例中，根据上述车牌顶点坐标计算车牌区域四边形长宽分别为131和47。

则仿射变换顶点分别为：第一仿射顶点（0，0），第二仿射顶点（0，47），第三仿射顶点（131，47）第四仿射顶点（131，0）；

得到仿射矩阵为：

通过仿射变换得到矩形车牌区域。

S3：采用加入空洞卷积的第二卷积特征提取网络提取车牌区域的字符位置信息和类别信息，根据所述字符位置信息和类别信息生成车牌号。

所述第二卷积特征提取网络也采用resnet18网络结构。

所述采用加入空洞卷积的第二卷积特征提取网络提取车牌区域的字符位置信息和类别信息的算法参阅图4，该算法采用了基于现有技术CRNN（Convolutional RecurrentNeural Network，端到端的网络结构）的文字检测算法，在现有技术的基础上，采用空洞卷积替换了原CRNN中的Istm（InterchangeofScientificandTechnicalInformationinMachineLanguage，用机器语言进行科技信息交换的系统）单元，提高了感受野，获得多尺度信息，可以区分车牌区域角度过大的情形，可以区分0°和180°的车牌区域。

根据所述提取字符位置信息算法，由矩形车牌区域得到车牌号。

参阅图5，图5为本申请示出的一种车牌识别装置，所述装置包括：

第一特征提取单元，用于采用加入可变形卷积的第一卷积特征提取网络提取车牌图像特征；所述第一卷积特征提取网络包括：提取任意四边形区域的头部模型网络以及预测四边形角度的分支结构，所述提取任意四边形的头部模型网络用于提取多个任意四边形并筛选出最优四边形，所述分支结构预测该最优四边形的中心轴与水平轴的偏移角度，根据所述偏移角度获取该角度正弦值α以及余弦值β；

特征变换单元，用于将所述车牌图像特征进行变换处理，得到车牌区域；

第二特征提取单元，用于采用加入空洞卷积的第二卷积特征提取网络提取车牌区域的字符位置信息和类别信息，根据所述字符位置信息和类别信息生成车牌号。

本申请示出的一种车牌识别方法及装置，包括以下步骤：采用加入可变形卷积的第一卷积特征提取网络提取车牌图像特征；将所述车牌图像特征进行变换处理，得到车牌区域；采用加入空洞卷积的第二卷积特征提取网络提取车牌区域的字符位置信息和类别信息，根据所述字符位置信息和类别信息生成车牌号。本申请示出的一种车牌识别装置，包括：第一特征提取单元、特征变换单元和第二特征提取单元。采用可变形卷积的第一卷积特征提取网络对车牌图像特征提取能够提高车牌区域识别的准确度，且仅用较少的计算量就能得到很大程度性能上的提升，提高识别速度，将车牌图像特征进行变换处理可以处理当车停放角度不好时，记录的车牌区域为不规则四边形的情况，采用加入空洞卷积的第二卷积特征提取网络提取车牌区域，提取出字符位置信息和类别信息；根据所述字符位置信息和类别信息得到车牌号，采用的加入空洞卷积的第二卷积特征提取网络能够提高感受野获得多尺度信息，可以区分车牌区域角度过大的情形，可以区分0°和180°的车牌区域。本申请示出的一种车牌识别方法及装置，提高识别速度，降低部署难度，可以适应多种复杂场景且具有非常高的识别准确率。

本申请实施例还提供一种芯片，与存储器相连或者包括存储器，用于读取并执行所述存储器中存储的软件程序，本申请实施例提供的方法。

本申请实施例还提供一种计算机程序产品，计算机程序产品包括一个或多个计算机程序指令。在计算机加载和执行计算机程序指令时，全部或部分地产生按照本申请上述各个实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。当其在计算机上运行时，使得计算机执行本申请实施例提供的方法。

本实施例还提供一种计算机可读存储介质，该计算机可读存储介质计算机存储介质可存储有计算机程序指令，当程序指令被执行时，可实现本申请上述各实施例的图像处理方法的全部步骤。计算机可读存储介质包括磁盘、光盘、只读存储记忆体ROM或随机存储记忆体RAM等。

在上述实施例中，可以全部或部分通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现，本实施例不予限制。

本领域技术任何还可以了解到本申请列出的各种说明性逻辑块（illustrativelogical block）和步骤（step）可以通过电子硬件、电脑软件，或两者的结合进行实现。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现的功能，但这种实现不应被理解为超出本申请保护的范围。

本申请中所描述的各种说明性的逻辑单元和电路可以通过通用处理器，数字信号处理器，专用集成电路（ASIC），现场可编程门阵列（FPGA）或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本申请中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于UE中。可选地，处理器和存储媒介也可以设置于UE中的不同的部件中。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施过程构成任何限定。

另外，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于网络设备/节点或装置设备而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

Claims (8)

1.一种车牌识别方法，其特征在于，包括以下步骤：

采用加入可变形卷积的第一卷积特征提取网络提取车牌图像特征；所述第一卷积特征提取网络为基于anchor free的目标检测算法centernet构建的能够提取任意四边形区域的头部模型网络，所述头部模型网络还包括：预测四边形角度的分支结构，所述预测的四边形角度为最优四边形中心轴与水平轴的偏移角度；所述头部模型网络用于提取多个任意四边形并筛选出最优四边形；所述提取多个任意四边形并筛选出最优四边形的方法为：获取车牌顶点，计算车牌区域像素点到所述车牌顶点的偏移量，根据所述车牌区域像素点到四个顶点的偏移量得到多个四边形，根据头部模型网络筛选出最优四边形；

根据所述偏移角度获取该角度正弦值α以及余弦值β；

将所述车牌图像特征进行变换处理，得到车牌区域；

采用加入空洞卷积的第二卷积特征提取网络提取车牌区域的字符位置信息和类别信息，根据所述字符位置信息和类别信息生成车牌号。

2.根据权利要求1所述的一种车牌识别方法，其特征在于，所述第一卷积特征提取网络以及第二卷积特征提取网络均采用resnet18网络结构。

3.根据权利要求1所述的一种车牌识别方法，其特征在于，所述车牌图像特征包括：位置信息，所述位置信息包括：车牌区域像素点到车牌顶点的偏移量。

4.根据权利要求1所述的一种车牌识别方法，其特征在于，所述车牌图像特征还包括：角度信息，所述角度信息为所述偏移角度的正弦值α以及余弦值β。

5.根据权利要求1所述的一种车牌识别方法，其特征在于，所述变换处理步骤包括：旋转变换；

所述旋转变换步骤包括：

根据角度信息得到旋转矩阵；

根据旋转矩阵计算出车牌区域像素旋转后的位置，获得四边形的车牌区域。

6.根据权利要求5所述的一种车牌识别方法，其特征在于，所述旋转矩阵的计算公式为：

7.根据权利要求5所述的一种车牌识别方法，其特征在于，所述变换处理步骤还包括：仿射变换；

所述仿射变换将四边形的车牌区域转换为矩形车牌区域。

8.一种车牌识别装置，其特征在于，所述装置包括：

第一特征提取单元，用于采用加入可变形卷积的第一卷积特征提取网络提取车牌图像特征；所述第一卷积特征提取网络为基于anchor free的目标检测算法centernet构建的能够提取任意四边形区域的头部模型网络，所述头部模型网络还包括：预测四边形角度的分支结构，所述预测的四边形角度为最优四边形中心轴与水平轴的偏移角度；所述头部模型网络用于提取多个任意四边形并筛选出最优四边形；所述提取多个任意四边形并筛选出最优四边形的方法为：获取车牌顶点，计算车牌区域像素点到所述车牌顶点的偏移量，根据所述车牌区域像素点到四个顶点的偏移量得到多个四边形，根据头部模型网络筛选出最优四边形；

特征变换单元，用于将所述车牌图像特征进行变换处理，得到车牌区域；

第二特征提取单元，用于采用加入空洞卷积的第二卷积特征提取网络提取车牌区域的字符位置信息和类别信息，根据所述字符位置信息和类别信息生成车牌。

Images