CN108229474B - 车牌识别方法、装置及电子设备 - Google Patents

Abstract

本发明提供一种车牌识别方法、装置及电子设备，涉及图像处理技术领域，其中，车牌识别方法包括：获取待识别的车牌图片；利用预先构建的卷积神经网络，提取车牌图片的初步特征；将初步特征输入空间变换网络中，得到变换后的特征；将变换后的特征输入循环神经网络中，生成输出向量序列；解析输出向量序列，得到车牌图片的识别结果。该方法在利用卷积神经网络提取特征的基础上，结合空间变换网络学习变换矩阵，进一步提取特征并通过循环神经网络对结果进行预测，大大提高了预测精确度，从而提高了对车牌的识别能力。

Description

车牌识别方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种车牌识别方法、装置及电子设备。

背景技术

车牌识别是现代智能交通系统中的重要组成部分之一，应用十分广泛。它以数字图像处理、计算机视觉、机器学习等技术为基础，对摄像机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成识别过程。通过一些后续处理手段可以实现停车场收费管理，交通流量控制指标测量，车辆定位，汽车防盗，高速公路超速自动化监管、闯红灯电子警察、公路收费站等等功能。对于维护交通安全和城市治安，防止交通堵塞，实现交通自动化管理有着现实的意义。

卷积神经网络(Convolutional Neural Network，CNN)作为深度神经网络的一种，已经成为当前语音分析和图像识别领域的研究热门。CNN可以直接从原始图像中识别视觉模式，提取并学习特征，并且能够识别有变化的模式，具有对简单几何变形的鲁棒性。

CNN较一般人工神经网络(Artificial Neural Networks，ANN)在图像处理方面有如下优点：(1)输入图像和网络的拓扑结构能很好的吻合；(2)特征提取和模式分类同时进行；(3)权值共享可以较少网络的训练参数，使神经网络结构更简单，适应性更强。

在车牌识别系统中，使用深度学习中的CNN模型取代传统的OCR(OpticalCharacter Recognition，光学字符识别)方法和ANN算法，可以极大提高识别准确率，降低识别时间，在中文车牌识别领域有极其光明的应用前景。

然而现有的基于卷积神经网络的车牌识别方法，往往通过卷积神经网络对视频中的车牌进行特征提取，并结合空间变换网络进行车牌结果预测，这种方法忽略了国内车牌单行和双行都存在的情况，在双行车牌的情况下准确度容易受到影响。

发明内容

有鉴于此，本发明的目的在于提供一种车牌识别方法、装置及电子设备，在利用卷积神经网络提取特征的基础上，结合空间变换网络学习变换矩阵，进一步提取特征并通过循环神经网络对结果进行预测，大大提高了预测精确度，从而提高了对车牌的识别能力。

第一方面，本发明实施例提供了一种车牌识别方法，其特征在于，包括：

获取待识别的车牌图片；

利用预先构建的卷积神经网络，提取车牌图片的初步特征；

将初步特征输入空间变换网络中，得到变换后的特征；

将变换后的特征输入循环神经网络中，生成输出向量序列；

解析输出向量序列，得到车牌图片的识别结果。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，将初步特征输入空间变换网络中，得到变换后的特征，具体包括：

将初步特征输入空间变换网络中，利用变换矩阵对初步特征进行变换处理，得到两个车牌区域所对应的两个区域特征；两个车牌区域包括：单行车牌中以点划分的左右两部分或者双行车牌中的上下两部分；变换矩阵包括：仿射变换矩阵和/或透视变换矩阵。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，将初步特征输入空间变换网络中，得到变换后的特征，还包括：

根据预先构建的卷积神经网络得到与初步特征对应的热力图；

将初步特征与热力图进行拼接；

将拼接的结果输入空间变换网络中，利用变换矩阵进行变换处理，得到两个车牌区域所对应的两个区域特征；两个车牌区域包括：单行车牌中以点划分的左右两部分或者双行车牌中的上下两部分；变换矩阵包括：仿射变换矩阵和/或透视变换矩阵。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，空间变换网络经训练得到，训练包括：

将空间变换网络与卷积神经网络一起训练，通过损失函数值的反向传播调整空间变换网络与构建的卷积神经网络的网络参数，直至损失函数值收敛。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，利用变换矩阵对初步特征进行变换处理，得到两个车牌区域所对应的两个区域特征，具体包括：

通过仿射变换矩阵对初步特征进行第一变换处理，得到两个车牌区域所对应的两个区域特征；第一变换处理包括：裁剪、平移、缩放、旋转中至少一项；

和/或，

通过透视变换矩阵对初步特征进行第二变换处理，得到两个车牌区域所对应的两个区域特征。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，将变换后的特征输入循环神经网络中，生成输出向量序列，具体包括：

将两个区域特征分别输入循环神经网络的输入层；

通过循环神经网络，生成两个区域特征所对应两个输出向量序列。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，在通过循环神经网络，生成两个区域特征所对应的两个输出向量之前，还包括：

将两个区域特征进行序列化，并将序列化后的特征输入循环神经网络中。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，循环神经网络经训练得到，训练包括：

使用联结时序分类模型CTC对循环神经网络进行训练。

结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中，解析输出向量序列，得到车牌图片的识别结果，具体包括：

将两个输出向量序列分别输入预测层得到预测向量，将预测向量最大元素对应的字符作为预测值；预测值包括：分别与两个区域特征对应的第一预测值、第二预测值；

将第一预测值与第二预测值进行拼接，得到车牌图片的识别结果。

结合第一方面，本发明实施例提供了第一方面的第九种可能的实施方式，其中，卷积神经网络包括：多个卷积层、多个池化层、多个全连接层及一个输出层；

每个卷积层由多个卷积单元组成，每个卷积单元的参数均通过反向传播算法优化得到。

第二方面，本发明实施例提供一种车牌识别装置，包括：

图片获取模块，用于获取待识别的车牌图片；

特征提取模块，用于利用预先构建的卷积神经网络，提取车牌图片的初步特征；

特征变换模块，用于将初步特征输入空间变换网络中，得到变换后的特征；

序列生成模块，用于将变换后的特征输入循环神经网络中，生成输出向量序列；

向量解析模块，用于解析输出向量序列，得到车牌图片的识别结果。

第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，存储器上存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面所述的方法的步骤。

第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行如第一方面所述的方法。

本发明实施例带来了以下有益效果：

在本发明实施例提供的车牌识别方法中，首先利用预先构建的卷积神经网络，提取待识别的车牌图片的初步特征，然后将初步特征输入空间变换网络中，经过空间变换网络的变换处理，得到变换后的特征，再将变换后的特征输入循环神经网络中，通过循环神经网络对上述特征的整体处理，生成输出向量序列，最后解析输出向量序列，得到车牌图片的最终识别结果。该方法在利用卷积神经网络提取特征的基础上，结合空间变换网络学习变换矩阵，进一步提取特征并通过循环神经网络对结果进行预测，大大提高了预测精确度，从而提高了对车牌的识别能力。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种车牌识别方法的流程图；

图2为本发明实施例一提供的另一种车牌识别方法的流程图；

图3为本发明实施例一提供的另一种车牌识别方法的流程图；

图4为本发明实施例一提供的另一种车牌识别方法的流程图；

图5为本发明实施例一提供的另一种车牌识别方法的流程图；

图6为本发明实施例一提供的另一种车牌识别方法的流程图；

图7为本发明实施例一提供的另一种车牌识别方法的流程图；

图8为本发明实施例二提供的一种车牌识别装置的结构示意图；

图9为本发明实施例三提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前现有的基于卷积神经网络的车牌识别方法，仅仅通过对车牌图片的简单的特征提取来进行结果预测，这种方法忽略了国内车牌单行和双行都存在的情况，在双行车牌的情况下准确度容易受到影响。

基于此，本发明实施例提供一种车牌识别方法、装置及电子设备，在利用卷积神经网络(CNN)提取特征的基础上，结合空间变换网络(spatial transform network，STN)学习变换矩阵，进一步提取特征并通过循环神经网络(Recurrent Neural Networks，RNN)对结果进行预测，大大提高了预测精确度，从而提高了对车牌的识别能力。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种车牌识别方法进行详细介绍。

实施例一：

本发明实施例提供了一种车牌识别方法，可以用于各种车辆车牌，如单行车牌和双行车牌的识别。参见图1所示，该车牌识别方法包括以下步骤：

S101：获取待识别的车牌图片。

通过各个路口的摄像头或者各个卡口采集过往车辆的图片，然后从上述图片中截取出车辆的车牌图片，作为待识别的车牌图片。该车牌图片可以是单行车牌图片，也可以是双行车牌图片。民用车牌和大部分特殊车牌都可以大致分为两个车牌区域，一个是车牌区域是缩写加一个或两个字母，另一个车牌区域是剩下的字母和数字混合的部分，即由车牌序列中的“点”所划分开的两个区域。在双行车牌中，第一行就是第一车牌区域，第二行就是第二车牌区域。在单行车牌中，就是由圆点分割的前后两个车牌区域。

S102：利用预先构建的卷积神经网络，提取车牌图片的初步特征。

对于输入的待检测的车牌图片，首先将该图片输入到卷积神经网络中，进行初步特征的提取。

其中，卷积神经网络包括：多个卷积层、多个池化层、多个全连接层及一个输出层；每个卷积层由多个卷积单元组成，每个卷积单元的参数均通过反向传播算法优化得到。卷积神经网络是一种前馈神经网络，由若干卷积单元组成。每个卷积单元可以响应一部分覆盖范围内的周围单元。卷积运算的目的是提取输入图片的不同特征。

例如，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。这些特征类似于热力图，对于一张图像或者视频中的一帧，经过卷积神经网络提取的特征，是一个三维张量X。该三维张量的三个维度分别代表横向，纵向和频道。不同于一些其他方法，人为定义图像的特征，该三维张量X，是由卷积神经网络自动提取的。对于该卷积网络的参数可以进行随机初始化，也可以利用之前已经训练好的网络进行初始化，如VGG、ResNet等。对于这些已有的网络，可以选取其中的某些部分作为该卷积神经网络的一部分，也可以固定一部分参数不参与训练。

通过上述卷积神经网络的卷积运算，可以提取出车牌图片对应的初步特征，即三维张量。

S103：将初步特征输入空间变换网络中，得到变换后的特征。在一种实施方式中，步骤S103包括以下步骤，参见图2所示：

S201：将初步特征输入空间变换网络中，利用变换矩阵对初步特征进行变换处理，得到两个车牌区域所对应的两个区域特征。

其中，两个车牌区域包括：单行车牌中以点划分的左右两部分或者双行车牌中的上下两部分。变换矩阵包括：仿射变换矩阵和/或透视变换矩阵。具体的，通过仿射变换矩阵对初步特征进行第一变换处理，得到两个车牌区域所对应的两个区域特征；第一变换处理包括：裁剪、平移、缩放、旋转中至少一项；和/或，通过透视变换矩阵对初步特征进行第二变换处理，得到两个车牌区域所对应的两个区域特征。

作为一种优选实施方式，仿射变换矩阵为2*3矩阵；透视变换矩阵为3*3矩阵。通过2*3仿射变换矩阵，可以对图像进行裁剪、平移、缩放、旋转处理。另外，还有一种情况，在非卡口监控下照到的车牌可能需要透视变换进行校正，例如在车辆转弯时照到的车牌，这时，可以将经典的STN2*3的变换矩阵进行扩展，扩展成一个3*3透视变换矩阵，该矩阵也使用STN进行学习训练，然后对待变换特征进行透视变换。

通过上述仿射变换矩阵和/或透视变换矩阵的特征变换处理后，得到两个车牌区域分别对应的两个区域特征，也就是两个车牌符号串的三维张量。上述过程可以进一步提取出更加精确的车牌特征，提高车牌的识别准确率。

在另一种实施方式中，步骤S103包括以下步骤，参见图3所示：

S301：根据预先构建的卷积神经网络得到与初步特征对应的热力图。

S302：将初步特征与热力图进行拼接。

S303：将拼接的结果输入空间变换网络中，利用变换矩阵进行变换处理，得到两个车牌区域所对应的两个区域特征。

其中，两个车牌区域包括：单行车牌中以点划分的左右两部分或者双行车牌中的上下两部分。热力图与初步特征，即三维张量的长度和宽度大小相同，用于表示图像中像素属于车牌号码的概率。

在利用空间变换网络对初步特征进行变换之前，先构建空间变换网络，该空间变换网络通过训练得到，具体的训练过程参见图4所示：

S401：将所述空间变换网络与所述卷积神经网络一起训练，通过损失函数值的反向传播调整所述空间变换网络与所述构建的卷积神经网络的网络参数，直至所述损失函数值收敛。

上述损失函数可以是经STN处理截取出来的车牌的包围框与标注的包围框(ground truth)之间的误差。空间变换网络能够在没有标注关键点的情况下，根据任务自己学习图片或特征的空间变换参数，将输入图片或者学习的特征在空间上进行对齐，从而减少物体由于空间中的旋转、平移、尺度、扭曲等几何变换对分类、定位等任务的影响。加入到已有的卷积神经网络中，能够提升网络的学习能力。

S104：将变换后的特征输入循环神经网络中，生成输出向量序列。

在一种实施方式中，上述循环神经网络具体包括：输入层、多个隐藏层及输出层；多个隐藏层之间的节点相互连接；每个隐藏层的输入包括输入层的输出及上一隐藏层的输出。需要说明的是，上述循环神经网络可以是RNN，也可以是双向RNN、LSTM、GRU等等。

该循环神经网络是一种对序列数据建模的神经网络，即一个序列当前的输出与前面的输出也有关，具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再是无连接，而是有连接的，并且隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。

此外，在循环神经网络中，所有层均共享同样的参数，因此，可以大大地降低网络中需要学习的参数，从而提高计算效率。

具体的，生成输出向量序列的过程包括以下步骤，参见图5所示：

S501：将两个区域特征分别输入循环神经网络的输入层。

S502：通过所述循环神经网络，生成所述两个区域特征所对应两个输出向量序列。

输入训练好的循环神经网络进行预测的特征，可以为上述车牌对应的两个区域特征，也可以是序列化后的特征。比如：将两个区域特征进行序列化，并将序列化后的特征输入循环神经网络中，也就是输入循环神经网络的输入层。

在一个实施例中，可以把经过卷积神经网络得到的特征图看成是一个序列，即将原宽度一维看成是序列长度，把剩下的维度都看成特征的维度，那么剩下的问题就是怎么输入一个序列得到一个序列。因此可以用CTC模型生成，在另一个实施例中也可以用seq2seq(Sequence to Sequence)模型生成。

在预测时，循环神经网络生成标签的概率分布序列后，每个分布取最大概率对应的标签构成了一个标签序列$l*$，再根据上面提到的一些规则生成最终的序列，比如去空格和重复字符，比如预测到$l*$为-A-B1-23，对应转化为AB123作为最终输出序列。

在利用循环神经网络对两个区域特征进行预测之前，先构建循环神经网络，该循环神经网络通过训练得到，具体的训练过程参见图6所示：

S601：使用联结时序分类模型CTC对所述循环神经网络进行训练。

联结时序分类模型(Connectionist Temporal Classification，CTC)接在循环神经网络的最后一层用于序列学习所用；对于一段长度为T的序列来说，每个样本点t在循环神经网络网络的最后一层都会输出一个softmax向量，表示预测概率；接上CTC之后，就可以进行一站式训练，直接从原始数据到目标标签序列的学习。

在本实施例中，将两个区域特征分别输入循环神经网络的输入层，通过隐藏层的训练学习，再将输出结果输出到与输出层连接的CTC中，进一步进行模型训练，最终得到两个特征对应的两个输出向量序列。

需要说明的是，CTC只是一种优选方式，本发明实施例中的车牌预测过程还可以采用序列到序列(Sequence to Sequence)的方法来实现，在此不再赘述。

在输入待训练的图片数据后，首先利用卷积神经网络来学习提取图像特征，即初步特征，然后将初步特征进行空间变换，进一步将变换后的初步特征转化为特征向量的序列，交由循环神经网络学习；循环神经网络会在为时间步生成标签的概率分布，所有标签分布会交由CTC获得生成目标序列的所有映射的概率求和，作为模型生成目标序列的预测概率(学习损失)。

卷积神经网络只能建模局部像素的信息，而循环神经网络则进一步建模特征序列中包含的全局信息。CTC将特征序列中帧与目标标签序列的对应关系建模成一系列的多分类问题，具体地，为每一帧通过多分类模型生成一个标签，如此输入的特征序列会对应预测成标签序列，这个过程中，对输入特征序列建模的就是循环神经网络。

循环神经网络的每个时间步可以作多分类输出一个标签的分布(每个标签对应一个预测概率，所有标签的概率构成一个分布，可以表示为一个0～1间的浮点数向量)，所有时间步会生成多个向量，也就是一个浮点数向量的序列。

S105：解析输出向量序列，得到车牌图片的识别结果。

具体的向量解析过程包括以下步骤，参见图7所示：

S701：将两个输出向量序列分别输入预测层得到预测向量，将预测向量最大元素对应的字符作为预测值；预测值包括：分别与两个区域特征对应的第一预测值、第二预测值。

S702：将第一预测值与第二预测值进行拼接，得到车牌图片的识别结果。

具体的，对循环神经网络每一个输出向量序列取softmax，并和真实值的one-hot编码求交叉熵，以此为损失函数训练网络。预测时只要取输出向量最大元素对应的字符作为预测值，并把循环神经网络输出的两个预测结果连接起来，得到最终的车牌图片识别结果。

本实施例中，使用空间变换网络将车牌变换成有固定形式的两部分，再通过循环神经网络进行整体处理(即每个部分的所有字符一起处理)，减少因每个字都进行变换造成的错误截取的情况，提高模型的精度。

在本发明实施例提供的车牌识别方法中，首先利用预先构建的卷积神经网络，提取待检测的车牌图片的初步特征，然后将初步特征输入空间变换网络中，经过空间变换网络的变换处理，得到变换后的特征，再将变换后的特征输入循环神经网络中，通过循环神经网络对上述特征的向量预测，生成输出向量序列，最后解析输出向量序列，得到车牌图片的最终识别结果。该方法在利用卷积神经网络提取特征的基础上，结合空间变换网络学习变换矩阵，进一步提取特征并通过循环神经网络对结果进行预测，大大提高了预测精确度，从而提高了对车牌的识别能力。

实施例二：

本发明实施例提供一种车牌识别装置，参见图8所示，该装置包括：图片获取模块81、特征提取模块82、特征变换模块83、序列生成模块84、向量解析模块85。

其中，图片获取模块81，用于获取待识别的车牌图片；特征提取模块82，用于利用预先构建的卷积神经网络，提取车牌图片的初步特征；特征变换模块83，用于将初步特征输入空间变换网络中，得到变换后的特征；序列生成模块84，用于将变换后的特征输入循环神经网络中，生成输出向量序列；向量解析模块85，用于解析输出向量序列，得到车牌图片的识别结果。

本发明实施例提供的车牌识别装置，与前述车牌识别方法具有相同的技术特征，因此，同样可以实现上述功能。该装置的具体工作过程参见上述方法实施例，在此不再赘述。

实施例三：

本发明实施例提供一种电子设备，参见图9所示，该电子设备包括：处理器90，存储器91，总线92和通信接口93，所述处理器90、通信接口93和存储器91通过总线92连接；处理器90用于执行存储器91中存储的可执行模块，例如计算机程序。处理器执行计算机程序时实现如方法实施例所述的方法的步骤。

其中，存储器91可能包含高速随机存取存储器(RAM，RandomAccessMemory)，也可能还包括非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口93(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线92可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器91用于存储程序，所述处理器90在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流程定义的装置所执行的方法可以应用于处理器90中，或者由处理器90实现。

处理器90可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器90中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器90可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器91，处理器90读取存储器91中的信息，结合其硬件完成上述方法的步骤。

本发明实施例所提供的车牌识别方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

附图中的流程图和框图显示了根据本发明的多个实施例方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种车牌识别方法，其特征在于，包括：

获取待识别的车牌图片；

利用预先构建的卷积神经网络，提取所述车牌图片的初步特征；所述初步特征为三维张量；

将所述初步特征输入空间变换网络中，得到变换后的特征；所述变换后的特征包括两个车牌区域所对应的两个区域特征；所述两个车牌区域包括：单行车牌中以点划分的左右两部分或者双行车牌中的上下两部分；

将所述变换后的特征输入循环神经网络中，生成输出向量序列；

解析所述输出向量序列，得到所述车牌图片的识别结果；

所述将所述初步特征输入空间变换网络中，得到变换后的特征，还包括：

根据所述预先构建的卷积神经网络得到与所述初步特征对应的热力图；

将所述初步特征与所述热力图进行拼接；

将所述拼接的结果输入所述空间变换网络中，利用变换矩阵进行变换处理，得到两个车牌区域所对应的两个区域特征；所述变换矩阵包括：仿射变换矩阵和/或透视变换矩阵。

2.根据权利要求1所述的方法，其特征在于，所述空间变换网络经训练得到，所述训练包括：

将所述空间变换网络与所述卷积神经网络一起训练，通过损失函数值的反向传播调整所述空间变换网络与所述构建的卷积神经网络的网络参数，直至所述损失函数值收敛。

3.根据权利要求1所述的方法，其特征在于，所述将所述变换后的特征输入循环神经网络中，生成输出向量序列，具体包括：

将所述两个区域特征分别输入所述循环神经网络的输入层；

通过所述循环神经网络，生成所述两个区域特征所对应两个输出向量序列。

4.根据权利要求3所述的方法，其特征在于，在所述通过所述循环神经网络，生成所述两个区域特征所对应的两个输出向量之前，还包括：

将所述两个区域特征进行序列化，并将所述序列化后的特征输入所述循环神经网络中。

5.根据权利要求1所述的方法，其特征在于，所述循环神经网络经训练得到，所述训练包括：

使用联结时序分类模型CTC对所述循环神经网络进行训练。

6.根据权利要求1所述的方法，其特征在于，所述解析所述输出向量序列，得到所述车牌图片的识别结果，具体包括：

将两个所述输出向量序列分别输入预测层得到预测向量，将所述预测向量最大元素对应的字符作为预测值；所述预测值包括：分别与所述两个区域特征对应的第一预测值、第二预测值；

将所述第一预测值与所述第二预测值进行拼接，得到所述车牌图片的识别结果。

7.根据权利要求1所述的方法，其特征在于，所述卷积神经网络包括：多个卷积层、多个池化层、多个全连接层及一个输出层；

每个所述卷积层由多个卷积单元组成，每个所述卷积单元的参数均通过反向传播算法优化得到。

8.一种车牌识别装置，其特征在于，包括：

图片获取模块，用于获取待识别的车牌图片；

特征提取模块，用于利用预先构建的卷积神经网络，提取所述车牌图片的初步特征；所述初步特征为三维张量；

特征变换模块，用于将所述初步特征输入空间变换网络中，得到变换后的特征；所述变换后的特征包括两个车牌区域所对应的两个区域特征；所述两个车牌区域包括：单行车牌中以点划分的左右两部分或者双行车牌中的上下两部分；

序列生成模块，用于将所述变换后的特征输入循环神经网络中，生成输出向量序列；

向量解析模块，用于解析所述输出向量序列，得到所述车牌图片的识别结果；

所述特征变换模块还用于：根据所述预先构建的卷积神经网络得到与所述初步特征对应的热力图；将所述初步特征与所述热力图进行拼接；将所述拼接的结果输入所述空间变换网络中，利用变换矩阵进行变换处理，得到两个车牌区域所对应的两个区域特征；所述变换矩阵包括：仿射变换矩阵和/或透视变换矩阵。

9.一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。

10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至7任一项所述的方法。