CN111598089B - 一种基于深度学习的车牌矫正与识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车牌矫正与识别方法，包括以下步骤：S1：利用基于深度学习的车牌检测方法定位车牌的大致区域；S2：构建车牌矫正网络ICSTN(Inverse Compositional Spatial Transformer Network，反向合成空间变换网络)；S3：构建不定长的车牌序列识别深度网络CRNN；S4：对S1中每个获取到的车牌序列图片标注一个车牌序列标签。本发明既结合了基于深度学习的车牌矫正网络，能够实时地对车牌实现矫正，又借助了无分割的深度车牌序列识别网络，避免了图像噪声对分割所造成的误差,对于车牌识别的应用有着极大的价值。

Description

一种基于深度学习的车牌矫正与识别方法

技术领域

本发明涉及智能交通技术领域领域，尤其涉及一种基于深度学习的车牌矫正与识别方法。

背景技术

近年来，深度学习在智能运输系统、自动驾驶技术、计算机视觉等领域已经得到了广泛的应用，研究学者们将深度学习技术运用到许多的交通场景中。深度学习技术已经在许多的任务上取得了很大的成功，针对车牌识别问题也有了许多的研究成果。

随着大量的汽车进入了人们的家庭，交通拥堵、违法违章行为逐渐增多，道路交通的管理就变得极其地重要。车牌号是智能交通管理很关键的一个信息。通过车牌可以获取车辆的所属地区，车辆的所有人等信息。将车牌的信息从海量的数据中提取出来对于社会的交通管理以及智能驾驶来说提供了巨大的帮助。如果可以通过计算机的技术自动的定位、识别出车牌的信息，这能在一定的程度上减少交通管理的成本。车牌识别技术为减轻交通管理负担，建立智慧城市提供了很大的帮助，其基于目标检测、模式识别、数字图像处理等技术，分析摄像头或者相机拍摄到的车辆视频或图片，获取每个车牌所在的位置并且识别车牌文本序列。车牌识别技术已广泛应用于高速公路车辆的管理,车辆识别,停车场管理,甚至交通场景理解,已经成为了近年来研究的热点对象。

自然场景中的车牌图像会由于地面倾斜或是车牌不规范等造成各种形变，这些形变包括透视变换、弯曲、倾斜、扭曲等等。车牌的倾斜和扭曲容易影响到后续识别的精确性。因此，对车牌进行准确的矫正具有重要的现实意义。

而传统的矫正方法如霍夫变换、Radon变换等通常只能解决车牌的倾斜问题，对于出现的其他的几何形变没有矫正的优势，在矫正车牌之后还需要进行一系列的车牌位置精确定位处理，需要进行大量的时间，不具备实时性。现有的深度学习车牌识别算法大多存在一个先验知识，即车牌序列总是水平排列的，如果无法完成扭正车牌，则无法较好地处理多方向的甚至几何扭曲的车牌识别问题。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于深度学习的车牌矫正与识别方法。

本发明提出的基于深度学习的车牌矫正与识别方法，包括以下步骤：

S1：利用基于深度学习的车牌检测方法精确定位车牌的大致区域，训练网络得到一个定位车牌的深度网络模型；

S2：构建车牌几何形变矫正网络ICSTN，包括神经网络的构成、框架、以及其网络参数的确定、参数的初始化；

S3：构建不定长的车牌序列识别深度网络CRNN；

S4：对S1中获取到的车牌序列区域样本图片，给每个车牌序列区域样本图片标注一个与之对应的车牌序列标签，根据车牌的字符集将每个车牌区域样本图片中的车牌序列映射到一个完整的车牌序列标签上,从而构建一个车牌图像序列的数据集；

S5：将S2中构建的车牌矫正网络ICSTN与S3构建的深度网络CRNN进行结合，调整网络的参数，从而得到一个端到端训练的具有灵活矫正功能的车牌识别网络；

S6：将经过了预处理的车牌区域样本图片以及S4获得的车牌区域样本图片对应的标签序列输入到S5所构建的车牌识别网络框架中进行网络的训练，从而确定矫正网络的超参数等因素对整个模型识别精度的影响，得到训练后的一个最优的网络模型；

S7：采用S1得到的深度目标检测模型定位自然场景中的车牌所在的位置，利用获得的车牌图像进行图像灰度化以及尺寸归一化处理，同时将车牌图像区域输入到S6得到的车牌识别模型中，首先是对车牌图片进行几何形变的矫正，最后输出待检测车牌图像的车牌号码，完成车牌识别任务。

优选的，所述S1中具体为图像的车牌所在位置的标注与车牌图像一起输入到车牌检测算法YOLOv2进行训练，得到车牌定位网络的模型。

优选的，所述S2中具体为：

(a)构建包括两层卷积层、两层池化层、两层全连接层、dropout层的定位网络，定位网络是一个自定义的神经网络，给定输入图像，可以定位K个基准点C,每个基准点由它的x、y坐标决定在图像中的位置。K个基准点被定义为：

其中c_k＝[x_k,y_k]^T；

(b)利用薄板样条插值模型构建网格生成器，求取薄板样条插值变换所需要的参数，利用K个基准点C在输入的车牌图像区域中生成一个对应于来自网络输出的所有像素的坐标网格P,在输出的车牌图像上定义了一组目标基准点

它们是一组常数；

(c)给定了采样网格以及输入图像，构建一个采样器，采样器利用存储在采样网格中的坐标点在输入图像中采样，然后输出经过矫正后的车牌图像；

(d)使用残差连接，将输入的图像绕道传到输出，添加图像的详细信息，加快网络训练的收敛速度；

(e)构建包括两层卷积层、两层池化层、两层全连接层、dropout层的几何预测器网络，预测K个基准点的更新；

(f)使用同一个几何预测器估计基准点的更新ΔC，然后将基准点的更新与初始基准点进行参数加性组合更新,车牌矫正网络通过多次循环展开传递和学习参数，得到最后的矫正图像。

优选的，所述S3中具体为：构建包括卷积层、最大池化层、双向LSTM层、转录层、Dropout层的车牌识别深度网络CRNN，卷积层用于提取车牌图像的特征，具有CTC损失的双向LSTM被应用来学习相关联的字符序列数据并预测序列数据，得到每帧特征的概率分布，网络的最后用一个loss函数(CTC LOSS)实现了端到端的训练，将每帧预测的概率转化为序列标签，得到车牌识别结果。

优选的，所述S4具体为：对车牌中出现的字符进行完整的序列标注，构建一个车牌图像序列的数据集，数据集包含车牌序列图像以及其对应的序列标注。

优选的，所述S5具体为：将车牌矫正网络与车牌识别网络结合成一个端到端训练的车牌识别网络框架，每张的输入图像需要归一化到一个统一的大小，然后再送入到矫正网络中，矫正网络允许数据在网络中进行空间变换，这个模块能学习到空间变换参数，从而对输入图像进行矫正，经过矫正的车牌图像在输入到CRNN之前也同样需要归一化到统一的大小，然后将矫正后的图像输入到CRNN中，通过定义ICSTN输出图像的大小来完成这一步骤，将卷积层提取到的特征映射转变为序列块，送入两层的双向LSTM中，在转录层将从双向LSTM中获得的每帧的预测转化为标签序列，CTC可以让网络端到端训练，输出一个不定长的预测序列。

优选的，所述S6具体为：将车牌区域样本图片划分为训练集以及验证集，将训练集的车牌样本图像输入到S5所构建的车牌识别网络框架中进行训练，训练过程中采用了两阶段的训练策略加速网络的收敛速度，提高网络的泛化能力。

优选的，所述S7具体为：采用YOLOv2的基于深度学习的目标检测模型定位自然场景中的车牌所在的位置，将获得的车牌图像进行图像灰度化以及尺寸归一化处理，然后使用ICSTN网络对车牌区域图片进行几何形变的矫正，将矫正后的特征图送入到CRNN网络中，使用CRNN网络得到车牌序列的标签预测概率矩阵，最后输出待检测车牌图像的车牌号码，完成车牌识别。

本发明的有益效果：为避免现有的一些深度学习车牌识别算法大多无法准确地识别旋转扭曲车牌的局限性以及字符分割所带来的误差。

本发明既结合了基于深度学习的车牌矫正网络，能够实时地对车牌实现矫正，又借助了无分割的深度车牌序列识别网络，避免了图像噪声对分割所造成的误差,对于车牌识别的应用有着极大的价值。

附图说明

图1为本发明的方法的流程图；

图2为车牌矫正网络ICSTN的结构图；

图3为自定义定位网络的结构图；

图4为几何预测器的结构图。

具体实施方式

下面结合具体实施例对本发明作进一步解说。

实施例

本实施例中提出了基于深度学习的车牌矫正与识别方法，包括以下步骤：

S1：利用基于深度学习的车牌检测方法精确定位车牌的大致区域，训练网络得到一个定位车牌的深度网络模型；

S2：构建车牌几何形变矫正网络ICSTN，包括神经网络的构成、框架、以及其网络参数的确定、参数的初始化；

S3：构建不定长的车牌序列识别深度网络CRNN；

S4：对S1中获取到的车牌序列区域样本图片，给每个车牌序列区域样本图片标注一个与之对应的车牌序列标签，根据车牌的字符集将每个车牌区域样本图片中的车牌序列映射到一个完整的车牌序列标签上,从而构建一个车牌图像序列的数据集；

S5：将S2中构建的车牌矫正网络ICSTN与S3构建的深度网络CRNN进行结合，调整网络的参数，从而得到一个端到端训练的具有灵活矫正功能的车牌识别网络；

S6：将经过了预处理的车牌区域样本图片以及S4获得的车牌区域样本图片对应的标签序列输入到S5所构建的车牌识别网络框架中进行网络的训练，从而确定矫正网络的超参数等因素对整个模型识别精度的影响，得到训练后的一个最优的网络模型；

S7：采用S1得到的深度目标检测模型定位自然场景中的车牌所在的位置，利用获得的车牌图像进行图像灰度化以及尺寸归一化处理，同时将车牌图像区域输入到S6得到的车牌识别模型中，首先是对车牌图片进行几何形变的矫正，最后输出待检测车牌图像的车牌号码，完成车牌识别任务。

所述S1中利用基于深度学习的车牌检测方法YOLOv2精确定位车牌的大致区域；为了训练检测网络，采取68％的包含车牌的图像数据集作为训练集，剩下的数据作为测试集；调整网络的参数，设定检测类别Class＝1，锚盒数量A＝5，filter的数量为30；调整网络的学习率，YOLOv2网络训练迭代了15k次，小批量数设置为256；图像的车牌所在位置的标注与车牌图像一起输入到车牌检测网络YOLOv2进行训练，从而训练车牌检测网络得到一个定位车牌的深度网络模型，使之能够精确定位车牌。

优选的，所述S2中车牌矫正网络ICSTN的结构图，包括定位网络、网格生成器、采样器、残差器、几何预测器等,具体为：

(a)构建包括两层卷积层、两层池化层、两层全连接层的、dropout层。所有的卷积滤波器大小都固定在5×5。卷积层之后都会对图像进行特征池化，池化层之后都会应用relu激活函数。池化层尺寸为2×2，移动单位为2。经过最后的全连接层回归出输入车牌图像区域的K个基准点C。本发明将最后一层全连接层的输出节点数设为2K，然后将输出的向量转化为C，将K的值设为最后的池化层得到的图像尺寸。例如，得到的特征图像尺寸为n×m,那么输出节点数则设置为2×n×m。在本发明中，将K的值设为220；

(b)利用薄板样条插值模型构建网格生成器，求取薄板样条插值变换所需要的参数，利用K个基准点C在输入的车牌图像区域中生成一个对应于来自网络输出的所有像素的坐标网格P。在输出的车牌图像上定义了一组目标基准点

它们是一组常数。

依据薄板样条插值原理，变换参数表示为矩阵

其中的

表示为：

这里的矩阵式R的元素是

d_i,j为c′_i与c′_j间的欧几里得度量。

目标矫正图像中的像素点被定义为P′＝{p′_i}_i＝1,…N；N的值为矫正图像中的像素数量。为了便于后续算法对车牌进行识别，将输出的矫正图像的大小定义为适用于后续算法输入的图像大小。

将形变应用到图像中所有其他的点{p′_i}_i＝1,…N上，需要形变的像素点与基准点C′一起构建计算矩阵：

这里的d_i,k为第i个像素点p′_i与第k个目标基准点c′_k之间的欧几里得距离。利用在每个像素点之间进行重复求解，最终N个像素点P′＝{p′_i}_i＝1,…N在形变之后得到新的采样网格P＝{p_i}_i＝1,…N；

(c)使用双线性插值的方式生成变形后的图像。给定了采样网格以及输入图像，采样器利用存储在采样网格中的坐标点在输入图像中采样，然后输出经过矫正后的车牌图像；

(d)使用残差连接，输入图像以及输出的矫正图像都需要经过一个卷积核大小为3×3的卷积层，然后在卷积层之后使用批量归一化处理，最后添加一层relu激活函数，将输入的图像绕道传到输出，使得输入的图像与输出的矫正图像进行逐元素的相加，添加图像的详细信息，借以加快网络训练的收敛速度；

(e)构建包括两层卷积层、两层池化层、两层全连接层的、dropout层的几何预测器网络，所有的卷积滤波器大小都固定在7×7。由于几何预测器是用于估计K个基准点的更新，因此在网络的最后一层使用tanh(·)激活函数，以保证参数的更新值在[-1,1]之间；

(f)使用同一个几何预测器估计基准点的更新ΔC，然后将基准点的更新与初始基准点进行参数加性组合更新：

C←C+ΔC

车牌矫正网络通过多次循环展开传递和学习参数，得到最后的矫正图像。

所述S3中具体为：构建不定长的车牌序列识别网络CRNN，包括卷积层、最大池化层、双向LSTM层、转录层、Dropout层。卷积层用于提取车牌图像的特征。具有CTC损失的双向LSTM被应用来学习相关联的字符序列数据并预测序列数据，得到每帧特征的概率分布。网络的最后用一个loss函数(CTC LOSS)实现了端到端的训练，将每帧预测的概率转化为序列标签，得到车牌识别结果。

所述S4具体为：对S1中获取到的车牌序列区域样本图片，给每个车牌序列区域样本图片标注一个车牌序列标签，根据车牌的字符集将每个车牌区域样本图片中的车牌序列映射到一个对应的完整的车牌序列标签上,从而构建一个车牌图像序列的数据集。字符集合中包含70个字符，分别由35个中文字符、10个数字、24个字母以及一个空字符‘-’构成。其中的数字‘1’以及字母‘I’、数字‘0’以及字母‘O’很容易混淆，因此不需要使用字母‘O’和‘I’。

所述S5具体为：将S2构建的车牌矫正网络ICSTN与S3构建的深度车牌序列识别网络CRNN进行融合，调整网络的参数，从而得到一个端到端训练的具有灵活矫正功能的车牌识别网络。每张的输入图像需要归一化到一个统一的大小，然后再送入到矫正网络中。矫正网络允许数据在网络中进行空间变换。这个模块能学习到空间变换参数，从而对输入图像进行矫正。经过矫正的车牌图像在输入到CRNN之前也同样需要归一化到统一的大小，然后将矫正后的图像输入到CRNN中。通过定义ICSTN输出图像的大小来完成这一步骤。考虑到车牌常见的长宽比例，设定ICSTN输出的矫正车牌图像中像素数量为100×32，其中宽为100，高为32。将卷积层提取到的特征映射转变为序列块，送入两层的双向LSTM中。在转录层将从双向LSTM中获得的每帧的预测转化为标签序列。CTC可以让网络端到端训练，输出一个不定长的预测序列。

所述S6具体为：将经过了预处理的车牌区域样本图片以及S4获得的车牌区域样本图片对应的标签序列输入到S5所构建的车牌网络框架中进行网络的训练，从而确定矫正网络的超参数等因素对整个模型识别精度的影响，得到训练后的一个最优的识别网络框架；将车牌区域样本图片随机地以8:2的比例分为训练集和验证集，将训练集的车牌样本图像输入到S5所构建的车牌识别网络框架中，采用AdaDelta的优化算法训练整个网络直到误差达到最小值以及在验证集上的识别准确度达到最高值。网络输入图片大小设置为100×32；初始学习率设置为0.01，小批量数设置为128。训练过程中采用了两阶段的训练策略；第一步，在[-60°,60°]的范围内随机旋转输入的训练图像；第一阶段对训练集进行随机旋转训练；每次迭代使用对训练数据集采用了随机旋转的图像，每经过一个epoch都会在验证集上测试识别的精度，从而衡量模型的泛化能力；第一阶段的网络训练进行了1k次的迭代直至网络收敛，保存其中识别精度最好的权重；第二阶段使用没有经过随机旋转的训练集进行网络训练；每次迭代使用从训练数据集中随机采样的图像；训练时将第一阶段得到的权重作为预训练的权重微调网络1k次迭代，直至网络快速收敛。

所述S7具体为：采用YOLOv2的基于深度学习的目标检测模型定位自然场景中的车牌所在的位置，将获得的车牌图像进行图像灰度化以及尺寸归一化处理，然后使用ICSTN网络对车牌区域图片进行几何形变的矫正，将矫正后的特征图送入到CRNN网络中，使用CRNN网络得到车牌序列的标签预测概率矩阵，最后输出待检测车牌图像的车牌号码，完成车牌识别。

本实施例采取了10000张的车牌专用数据集，此数据集中包含许多存在几何形变的车牌图像；从数据集中人工标定车牌检测数据集以及这些车牌图像所对应的车牌序列识别数据集；测试中，首先使用训练好的检测模型定位到车牌所在的位置；对获取到的车牌图像进行灰度化处理，将图像尺寸归一化到100×32的大小输入到识别网络框架中。识别网络框架中的车牌矫正网络模块ICSTN能够循环学习基准点参数以获得最佳的薄板样条插值变形参数矫正车牌图像，本发明分别循环1次、2次、3次进行实验，使用同一个几何预测器估计基准点的更新ΔC，获取最优的矫正图像以优化后续识别效果。

对于模型的评估标准，当车牌被检测到时，仅当检测到的边界框与真实标注的边界框重叠区域面积比例的值超过0.6时，才被认为结果为正确；本发明根据正确识别到的车牌数量百分比来评估模型的性能。

根据本实施例的实验结果，最终在网络循环学习了基准点参数2次时识别准确率达到了96.32％的识别精度。由此实施例识别结果可见，本发明方法对存在几何形变的车牌图片的矫正与识别具有极高的识别精度，提升了对存在几何形变的车牌的识别能力。

本发明采用开源的深度学习库PyTorch 0.4.1版本以及图像处理库OpenCV,车牌识别网络框架采用编程语言Python 2.7编写，而YOLOv2框架是采用Darknet框架实现的,本发明的研究设备以Ubuntu 16.04LTS为平台，在一台GPU型号为NVIDIA Tesla P100-PCIE，显存为12GB的，CPU采用Intel(R)Xeon(R)CPU E5-2609 v4@1.70GHz的服务器上完成实验,软件平台采用cudnn 7.1.2，CUDA 9.0。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，用于帮助理解本发明的方法及其核心思想，而并非是对本发明的实施方式的限定。对于所属领域的技术人员来说，在不脱离本发明原理的前提下，在上述实例说明的基础上还可以做出若干形式上的改进和修饰。凡是属于本发明的技术方案所引伸出的显而易见的改变和修饰仍处于本发明的保护范围之列。

Claims (6)

1.基于深度学习的车牌矫正与识别方法，其特征在于，包括以下步骤：

S1：利用基于深度学习的车牌检测方法精确定位车牌的大致区域，训练网络得到一个定位车牌的深度网络模型；

S2：构建车牌几何形变矫正网络ICSTN，包括神经网络的构成、框架、以及其网络参数的确定、参数的初始化，具体为：构建包括两层卷积层、两层池化层、两层全连接层、dropout层的定位网络，定位网络的卷积层之后都会对图像进行特征池化，池化层之后都会应用relu激活函数，经过最后的全连接层回归出输入车牌图像区域的K个基准点C；利用薄板样条插值模型构建网格生成器，求取薄板样条插值变换所需要的参数，利用K个基准点C在输入的车牌图像区域中生成一个对应于来自网络输出的所有像素的坐标网格P；给定了采样网格以及输入图像，构建一个采样器，采样器利用存储在采样网格中的坐标点在输入图像中采样，然后输出经过矫正后的车牌图像；使用残差连接，将输入的图像绕道传到输出，添加图像的详细信息，加快网络训练的收敛速度；

构建包括两层卷积层、两层池化层、两层全连接层、dropout层的几何预测器网络，预测K个基准点的更新；使用同一个几何预测器估计基准点的更新，然后将基准点的更新与初始基准点进行参数加性组合更新，车牌矫正网络通过多次循环展开传递和学习参数，得到最后的矫正图像；

S3：构建不定长的车牌序列识别深度网络CRNN，具体为：构建包括卷积层、最大池化层、双向LSTM层、转录层、Dropout层的车牌序列识别深度网络CRNN，卷积层用于提取车牌图像的特征，具有CTC损失的双向LSTM被应用来学习相关联的字符序列数据并预测序列数据，得到每帧特征的概率分布，网络的最后用一个loss函数实现了端到端的训练，将每帧预测的概率转化为序列标签，得到车牌识别结果；

S4：对S1中获取到的车牌序列区域样本图片，给每个车牌序列区域样本图片标注一个与之对应的车牌序列标签，根据车牌的字符集将每个车牌区域样本图片中的车牌序列映射到一个完整的车牌序列标签上,从而构建一个车牌图像序列的数据集；

S5：将S2中构建的车牌矫正网络ICSTN与S3中构建的深度网络CRNN进行结合，调整网络的参数，从而得到一个端到端训练的具有灵活矫正功能的车牌识别网络；

S6：将经过了预处理的车牌区域样本图片以及S4获得的车牌区域样本图片对应的标签序列输入到S5所构建的车牌识别网络框架中进行网络的训练，从而确定矫正网络的超参数等因素对整个模型识别精度的影响，得到训练后的一个最优的网络模型；

S7：采用S1得到的深度目标检测模型定位自然场景中的车牌所在的位置，利用获得的车牌图像进行图像灰度化以及尺寸归一化处理，同时将车牌图像区域输入到S6得到的车牌识别模型中，首先是对车牌图片进行几何形变的矫正，最后输出待检测车牌图像的车牌号码，完成车牌识别任务。

2.根据权利要求1所述的基于深度学习的车牌矫正与识别方法，其特征在于，所述S1中具体为图像的车牌所在位置的标注与车牌图像一起输入到车牌检测算法YOLOv2进行训练，得到车牌定位网络的模型。

3.根据权利要求1所述的基于深度学习的车牌矫正与识别方法，其特征在于，所述S4具体为：对车牌中出现的字符进行完整的序列标注，构建一个车牌图像序列的数据集，数据集包含车牌序列图像以及其对应的序列标注。

4.根据权利要求1所述的基于深度学习的车牌矫正与识别方法，其特征在于，所述S5具体为：将车牌矫正网络与车牌识别网络结合成一个端到端训练的车牌识别网络框架，每张的输入图像需要归一化到一个统一的大小，然后再送入到矫正网络中，矫正网络允许数据在网络中进行空间变换，这个模块能学习到空间变换参数，从而对输入图像进行矫正，经过矫正的车牌图像在输入到CRNN之前也同样需要归一化到统一的大小，然后将矫正后的图像输入到CRNN中，通过定义ICSTN输出图像的大小来完成这一步骤，将卷积层提取到的特征映射转变为序列块，送入两层的双向LSTM中，在转录层将从双向LSTM中获得的每帧的预测转化为标签序列，CTC可以让网络端到端训练，输出一个不定长的预测序列。

5.根据权利要求1所述的基于深度学习的车牌矫正与识别方法，其特征在于，所述S6具体为：将车牌区域样本图片划分为训练集以及验证集，将训练集的车牌样本图像输入到S5所构建的车牌识别网络框架中进行训练，训练过程中采用了两阶段的训练策略加速网络的收敛速度，提高网络的泛化能力。

6.根据权利要求1所述的基于深度学习的车牌矫正与识别方法，其特征在于，所述S7具体为：采用YOLOv2的基于深度学习的目标检测模型定位自然场景中的车牌所在的位置，将获得的车牌图像进行图像灰度化以及尺寸归一化处理，然后使用ICSTN网络对车牌区域图片进行几何形变的矫正，将矫正后的特征图送入到CRNN网络中，使用CRNN网络得到车牌序列的标签预测概率矩阵，最后输出待检测车牌图像的车牌号码，完成车牌识别。

Images