CN112232351B - 一种基于深度神经网络的车牌识别系统 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的车牌识别系统，包括车牌提取，车牌识别和数据集实验结果步骤；S1：车牌提取，车牌提取是车牌识别系统中的最关键的一部分，它直接影响到后续的车牌识别结果的质量，它包括三部分：车牌定位、车牌分割和车牌矫正。a.车牌定位，车牌定位的方法有很多种。该基于深度神经网络的车牌识别系统，提出了一种基于深度卷积神经网络的车牌分割网络，能够直接分割车牌像素区域，支持对各个国家车牌端到端的训练，提出了一种基于深度卷积神经网络的支持可变长度的车牌识别网络，无需对字符进行预分割，只需要对网络输出进行解码就可以直接输出车牌序列，支持对各个国家车牌的端到端的训练。

Description

一种基于深度神经网络的车牌识别系统

技术领域

本发明涉及车牌识别技术领域，具体为一种基于深度神经网络的车牌识别系统。

背景技术

随着经济的高速发展，日益增加的车辆使得车牌识别技术在我们的社会生活中越来越重要。交通管理、数字监控、车辆识别以及停车管理等各个方面都对车牌识别技术有着极高的需求。作为一个复杂的问题，车牌识别面临着许多挑战：模糊图像、低光照图像、车牌的多样性(不同国家的车牌)、物理因素和天气干扰等，这些因素都会导致车牌分割和识别的误差。所以，一个鲁棒的车牌识别系统需要能够应对现实中的各种挑战，即使是自然条件下，也能够维持高精度识别。

通用的车牌识别流程包括两个部分：车牌提取和车牌识别，其中车牌提取包括车牌检测、车牌分割、车牌矫正。车牌提取的结果直接影响了后续车牌识别的结果。

目前车牌提取的通用方法是先通过传统算法或者常用的目标检测算法获得车牌边界框，然后再人工设计算法对车牌区域进行分割和矫正。但是，人工设计算法容易受噪声、输入图像质量、模糊等因素的影响，使得我们很难控制对于不同情况下的矫正效果。

传统车牌识别的算法分为两个阶段：字符分割和字符识别。字符分割一般是使用人工设计算法，结合投影、连接和基于轮廓的图像组件。由于采用二值图或者中间表示作为输入，因此字符分割质量受输入噪声、低分辨率、模糊或者变形的因素影响较大；字符识别通常使用一种光学字符识别方法(OCR)来进行识别，识别的质量严重的依赖于字符分割的结果。

发明内容

本发明的目的在于提供一种基于深度神经网络的车牌识别系统，以解决上述背景技术中提出的由于采用二值图或者中间表示作为输入，因此字符分割质量受输入噪声、低分辨率、模糊或者变形的因素影响较大；字符识别通常使用一种光学字符识别方法(OCR)来进行识别，识别的质量严重的依赖于字符分割的结果的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度神经网络的车牌识别系统，包括车牌提取，车牌识别和数据集实验结果步骤；

S1：车牌提取

车牌提取是车牌识别系统中的最关键的一部分，它直接影响到后续的车牌识别结果的质量，它包括三部分：车牌定位、车牌分割和车牌矫正；

a.车牌定位

车牌定位的方法有很多种，使用通用的目标检测算法(yolo，ssd)来获取车牌在图像中的位置，也可以通过传统的算法对车牌进行粗略的定位；

b.车牌分割

车牌分割算法是基于语义分割技术来获得车牌区域，它能实现端到端的训练，对于不同的现实环境具有较好的鲁棒性，根据实际情况设计新的主干网络并调整网络结构，ALPS的主干网络是受ResNet_v2的启发设计而成，通过控制残差单元个数以及其内部卷积核个数来满足构建轻量级网络的需求；

c.网络输入

根据车牌定位的输出来确定车牌分割网络的输入，考虑到车牌定位是粗略定位，其定位的区域无法完全包含车牌区域，因此根据车牌定位输出的坐标来对定位的区域进行扩张，扩张的规则是：保持中心点不变，按照比例扩张区域的宽和高；

d.残差块

牌分割网络中，残差块(ResidualBlock)是组成部分，它由若干个残差单元(ResidualUnit)串联组成，在本申请中选取ResNet_v2的三层残差单元作为分割网络的残差单元；

e.实现细节

该网络的输入大小为80×96×3，它包含1个单独的卷积层，5个残差块、3个最大池化层和3个上采样层，每个残差块均由2个残差单元串联而成，在残差单元中设置λ＝2，k＝12，上采样层是根据最大池化层的索引来进行特征图的上采样，SoftMax层预测图像中每个像素属于车牌或者背景的概率，根据SoftMax的预测结果就可以得到分割的二值图，进而获得车牌的分割轮廓；

f.车牌矫正

由于车牌分割网络提供了像素级的分割，获得了车牌分割后的二值图，因此只需要进行简单的后处理就可以得到矫正后的车牌图片，首先根据获得的车牌轮廓图获得其最优的拟合四边形，然后通过透视变换将车牌区域四边形映射为大小为32×128的车牌图片，作为车牌识别的输入，用到的算法均来自OpenCV；

S2：车牌识别

a.车牌识别网络

车牌识别网络是由密集块(DenseBlock)和转换层(TransitionLayer)组成，其中密集块是密集单元(DenseCell)串联而成，转换层是用来连接网络中的密集块；

b.密集单元

密集单元中包含两个卷积层，卷积层不改变输入特征图的大小，其卷积核大小和数目分别为[1×1，λk]，[3×3，k]，这里λ>1，1×1的卷积层作为瓶颈层，用来减少输入特征图维度，降低计算量，密集单元中的批量梯度归一化和Dropout层的作用是提高训练速度，有效降低过拟合；

转换层由一个1×1卷积层、Dropout层和平均池化层组成；

卷积层的作用是将密集块中输出的特征进行融合，同时也增加了网络的深度，如果输入密集块包含m个特征图，那么卷积层的输出维度为θm(0<θ<1)，是为了进一步提高模型的紧凑型，Dropout层同样是到降低过拟合的作用；

平均池化层的作用是在降采样的同时保持信息的完整传递；

c.实现细节

网络的输入大小为32×128×3，它包含3个密集块和转换层，每个密集块中密集单元的个数分别是{2，4，4}，设置密集单元中k＝12，λk＝40，第二和第三个转化层只在垂直方向上进行降采样，这样做是为了保存更多在水平方向的信息，生成特征序列；

d.解码

定义一个序列到序列的映射函数B，它满足以下规则：

(1)去除连续相同的字符；

(2)去除空格字符；

针对车牌网络的输出，只需要先获得每个时刻对应最大概率的标签，得到含有空格字符的输出序列，然后通过映射函数B，即可获得最终的车牌序列；

e.实验结果

对车牌分割数据集和车牌识别数据集进行描述，并介绍两个网络训练的细节，然后展示车牌分割模型和车牌识别模型的评估结果，并在不同硬件设备上验证了两个模型的实时性，最后对车牌识别任务中RNN网络的必要性进行研究和讨论；

(1)数据集

数据集是一个私人数据集，该数据集包括从不同地区的停车场和卡口采集到的车牌图像；

车牌分割数据集通过对源数据集进行处理得到：源数据集中的数据首先经过车牌定位和裁剪得到训练图像，然后手动标注所有训练图像中的车牌边界，目前数据集包含16436张图片；

车牌识别数据集中的图像是通过车牌矫正得到的，对部分图像进行人工标注，后续的标注是用车牌识别模型进行标注再进行人工矫正，目前车牌识别数据集共有50w+张图片，包含各种种类的车牌图片；

车牌分割数据集和车牌识别数据集均按照9:1的比例划分为训练集和测试集；

(2)训练细节

对于车牌分割网络，采用SoftMax损失函数、随机梯度下降法(SGD)来优化模型，设置批量训练大小(Batch_Size)为32，共训练100个epoch，设置初始的学习率为0.01，它每30个epoch乘以0.1，梯度权重(momentum)被设为0.9，权重衰减项为5×〖10〗^(-4)；

对于车牌识别网络，为了解决网络输出与标签长度不统一的问题，应用了CTC损失方法，可以进行无需分割的端到端的训练，在本申请中，使用Adam优化器来优化模型，设置批量训练大小为(Batch_size)为128，共训练112个epoch，设置初始学习率为0.01，它分别在40、80、100个epoch后乘以0.1，梯度权重(momentum)被设为0.9，权重衰减项为5×〖10〗^(-4)；

(3)性能分析

对于车牌分割模型，其中的”Accuracy”表示的是”

MeanPixelAccuracy”，”mIoU”表示数据集中标注车牌区域的多边形与预测车牌的多边形的平均重叠度，mIoU越大，车牌矫正的效果越好；对于车牌识别模型，”Accuracy”表示的是”RecognitionAccuracy”；

车牌分割模型对车牌实现精度分割，其中mIoU为94％，完全能够满足车牌识别的需求；车牌识别模型对于矫正后的车牌实现了精度高达99.9％的识别，表现了车牌识别模型的强大的识别能力；

在不同硬件平台测试了车牌分割模型和车牌识别模型的运行速度，作为轻量级的神经网络，车牌分割和车牌识别模型在不同硬件平台都具有实时性；

(4)RNN的必要性

车牌识别网络只包含CNN结构，用CNN提取的特征去预测车牌字符，这样做的原因是：车牌序列中的字符是相互独立的，前后没有关联关系，因此不需要用RNN来学习车牌序列字符之间的关系；

S3：结论

提出了一种新型的车牌识别系统，在车牌分割阶段和车牌识别阶段使用深度学习技术实现了端到端的分割和识别，使用卷积神经网络和独特的卷积神经网络架构构造了轻量级的车牌分割和车牌识别网络，对于具有挑战的中国车牌数据集，实现了高达99.9％的准确率；同时展示了车牌识别系统在不同平台的推理性能，这说明设计的车牌识别系统可以适用于不同的硬件设备，能够应用于现实环境进行车牌识别任务；

在未来的研究中，考虑将车牌分割和车牌识别过程进行融合，直接对输入图像进行处理输出车牌序列，进一步提高车牌识别系统的智能化特性；本申请的车牌识别系统目前没有考虑双层车牌的情况，后续也会加入对双层车牌的处理和识别。

优选的，车牌分割的质量直接决定了车牌提取输出结果。

优选的，矫正后的车牌图片只包含车牌区域，没有其他任何的背景信息，这对于车牌识别来说，避免了背景信息的干扰，提高了车牌识别的质量。

优选的，车牌识别网络只采用CNN来提取特征，抛弃了常用的RNN结构。

与现有技术相比，本发明的有益效果是：该基于深度神经网络的车牌识别系统；

1.提出了一种基于深度卷积神经网络的车牌分割网络，能够直接分割车牌像素区域，支持对各个国家车牌端到端的训练；

2.提出了一种基于深度卷积神经网络的支持可变长度的车牌识别网络，无需对字符进行预分割，只需要对网络输出进行解码就可以直接输出车牌序列，支持对各个国家车牌的端到端的训练；

3.我们的车牌识别系统是一个能够实现高质量识别的实时性框架，可以在不同设备上部署，即使是嵌入式设备；

4.车牌识别系统在实际交通场景中的应用表明了我们的方法对于不同的复杂情况都有着极强的鲁棒性；

5.在车牌分割阶段和车牌识别阶段使用深度学习技术实现了端到端的分割和识别。使用较小的卷积神经网络和独特的卷积神经网络架构构造了轻量级的车牌分割和车牌识别网络，对于具有挑战的中国车牌数据集，实现了高达99.9％的准确率；同时展示了车牌识别系统在不同平台的推理性能，这说明我们设计的车牌识别系统可以适用于不同的硬件设备，能够应用于现实环境进行车牌识别任务。

附图说明

图1为本发明车牌识别系统示意图；

图2为本发明扩张区域中心点坐标示意图；

图3为本发明残差单元和残差块结构示意图；

图4为本发明密集单元、密集块和转换层示意图；

图5为本发明车牌分割和识别结果示意图；

图6为本发明数据集上的表现结果示意图；

图7为本发明模型的运行速度示意图；

图8为本发明RNN必要性分析示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-8，本发明提供一种技术方案：一种基于深度神经网络的车牌识别系统，包括车牌提取，车牌识别和数据集实验结果步骤；(如图1所示)

S1：车牌提取

车牌提取是车牌识别系统中的最关键的一部分，它直接影响到后续的车牌识别结果的质量，它包括三部分：车牌定位、车牌分割和车牌矫正；

a.车牌定位

车牌定位的方法有很多种，使用通用的目标检测算法(yolo，ssd)来获取车牌在图像中的位置，也可以通过传统的算法对车牌进行粗略的定位；

b.车牌分割

车牌分割算法是基于语义分割技术来获得车牌区域，它能实现端到端的训练，对于不同的现实环境具有较好的鲁棒性，根据实际情况设计新的主干网络并调整网络结构，ALPS的主干网络是受ResNet_v2的启发设计而成，通过控制残差单元个数以及其内部卷积核个数来满足构建轻量级网络的需求；

c.网络输入

根据车牌定位的输出来确定车牌分割网络的输入，考虑到车牌定位是粗略定位，其定位的区域无法完全包含车牌区域，因此根据车牌定位输出的坐标来对定位的区域进行扩张，扩张的规则是：保持中心点不变，按照比例扩张区域的宽和高；(如图2所示)

d.残差块

牌分割网络中，残差块(ResidualBlock)是组成部分，它由若干个残差单元(ResidualUnit)串联组成，在本申请中选取ResNet_v2的三层残差单元作为分割网络的残差单元；(如图3所示)

e.实现细节

该网络的输入大小为80×96×3，它包含1个单独的卷积层，5个残差块、3个最大池化层和3个上采样层，每个残差块均由2个残差单元串联而成，在残差单元中设置λ＝2，k＝12，上采样层是根据最大池化层的索引来进行特征图的上采样，SoftMax层预测图像中每个像素属于车牌或者背景的概率，根据SoftMax的预测结果就可以得到分割的二值图，进而获得车牌的分割轮廓；

f.车牌矫正

由于车牌分割网络提供了像素级的分割，获得了车牌分割后的二值图，因此只需要进行简单的后处理就可以得到矫正后的车牌图片，首先根据获得的车牌轮廓图获得其最优的拟合四边形，然后通过透视变换将车牌区域四边形映射为大小为32×128的车牌图片，作为车牌识别的输入，用到的算法均来自OpenCV；(如图4所示)

S2：车牌识别

a.车牌识别网络

车牌识别网络是由密集块(DenseBlock)和转换层(TransitionLayer)组成，其中密集块是密集单元(DenseCell)串联而成，转换层是用来连接网络中的密集块；(如图5所示)

b.密集单元

密集单元中包含两个卷积层，卷积层不改变输入特征图的大小，其卷积核大小和数目分别为[1×1，λk]，[3×3，k]，这里λ>1，1×1的卷积层作为瓶颈层，用来减少输入特征图维度，降低计算量，密集单元中的批量梯度归一化和Dropout层的作用是提高训练速度，有效降低过拟合；

转换层由一个1×1卷积层、Dropout层和平均池化层组成；

卷积层的作用是将密集块中输出的特征进行融合，同时也增加了网络的深度，如果输入密集块包含m个特征图，那么卷积层的输出维度为θm(0<θ<1)，是为了进一步提高模型的紧凑型，Dropout层同样是到降低过拟合的作用；

平均池化层的作用是在降采样的同时保持信息的完整传递；(如图5所示)

c.实现细节

网络的输入大小为32×128×3，它包含3个密集块和转换层，每个密集块中密集单元的个数分别是{2，4，4}，设置密集单元中k＝12，λk＝40，第二和第三个转化层只在垂直方向上进行降采样，这样做是为了保存更多在水平方向的信息，生成特征序列；

d.解码

定义一个序列到序列的映射函数B，它满足以下规则：

(1)去除连续相同的字符；

(2)去除空格字符；

针对车牌网络的输出，只需要先获得每个时刻对应最大概率的标签，得到含有空格字符的输出序列，然后通过映射函数B，即可获得最终的车牌序列；

e.实验结果

对车牌分割数据集和车牌识别数据集进行描述，并介绍两个网络训练的细节，然后展示车牌分割模型和车牌识别模型的评估结果，并在不同硬件设备上验证了两个模型的实时性，最后对车牌识别任务中RNN网络的必要性进行研究和讨论；(如图6所示)

(1)数据集

数据集是一个私人数据集，该数据集包括从不同地区的停车场和卡口采集到的车牌图像；

车牌分割数据集通过对源数据集进行处理得到：源数据集中的数据首先经过车牌定位和裁剪得到训练图像，然后手动标注所有训练图像中的车牌边界，目前数据集包含16436张图片；

车牌识别数据集中的图像是通过车牌矫正得到的，对部分图像进行人工标注，后续的标注是用车牌识别模型进行标注再进行人工矫正，目前车牌识别数据集共有50w+张图片，包含各种种类的车牌图片；

车牌分割数据集和车牌识别数据集均按照9:1的比例划分为训练集和测试集；

(2)训练细节

对于车牌分割网络，采用SoftMax损失函数、随机梯度下降法(SGD)来优化模型，设置批量训练大小(Batch_Size)为32，共训练100个epoch，设置初始的学习率为0.01，它每30个epoch乘以0.1，梯度权重(momentum)被设为0.9，权重衰减项为5×〖10〗^(-4)；

对于车牌识别网络，为了解决网络输出与标签长度不统一的问题，应用了CTC损失方法，可以进行无需分割的端到端的训练，在本申请中，使用Adam优化器来优化模型，设置批量训练大小为(Batch_size)为128，共训练112个epoch，设置初始学习率为0.01，它分别在40、80、100个epoch后乘以0.1，梯度权重(momentum)被设为0.9，权重衰减项为5×〖10〗^(-4)；

(3)性能分析

对于车牌分割模型，其中的”Accuracy”表示的是”

MeanPixelAccuracy”，”mIoU”表示数据集中标注车牌区域的多边形与预测车牌的多边形的平均重叠度，mIoU越大，车牌矫正的效果越好；对于车牌识别模型，”Accuracy”表示的是”RecognitionAccuracy”；

车牌分割模型对车牌实现精度分割，其中mIoU为94％，完全能够满足车牌识别的需求；车牌识别模型对于矫正后的车牌实现了精度高达99.9％的识别，表现了车牌识别模型的强大的识别能力；(如图6所示)

在不同硬件平台测试了车牌分割模型和车牌识别模型的运行速度，作为轻量级的神经网络，车牌分割和车牌识别模型在不同硬件平台都具有实时性；

(如图7所示)

(4)RNN的必要性

车牌识别网络只包含CNN结构，用CNN提取的特征去预测车牌字符，这样做的原因是：车牌序列中的字符是相互独立的，前后没有关联关系，因此不需要用RNN来学习车牌序列字符之间的关系；(如图8所示)

S3：结论

提出了一种新型的车牌识别系统，在车牌分割阶段和车牌识别阶段使用深度学习技术实现了端到端的分割和识别，使用卷积神经网络和独特的卷积神经网络架构构造了轻量级的车牌分割和车牌识别网络，对于具有挑战的中国车牌数据集，实现了高达99.9％的准确率；同时展示了车牌识别系统在不同平台的推理性能，这说明设计的车牌识别系统可以适用于不同的硬件设备，能够应用于现实环境进行车牌识别任务；

在未来的研究中，考虑将车牌分割和车牌识别过程进行融合，直接对输入图像进行处理输出车牌序列，进一步提高车牌识别系统的智能化特性；本申请的车牌识别系统目前没有考虑双层车牌的情况，后续也会加入对双层车牌的处理和识别。

车牌分割的质量直接决定了车牌提取输出结果。

矫正后的车牌图片只包含车牌区域，没有其他任何的背景信息，这对于车牌识别来说，避免了背景信息的干扰，提高了车牌识别的质量。

车牌识别网络只采用CNN来提取特征，抛弃了常用的RNN结构。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (1)

1.一种基于深度神经网络的车牌识别系统，其特征在于，包括：

车牌提取模块，基于车牌定位、车牌分割和车牌矫正提取车牌信息，其中：

车牌识别模块中的车牌定位采用的是SSD目标检测模型；

车牌分割采用的是先构建由依次连接的卷积层、五个残差块、三个最大池化层、三个上采样层和SoftMax分类器构成的车牌分割模型，再基于获取的车牌数据裁剪成80×96×3大小作为输入得到训练后的车牌分割模型，后基于得到的车牌分割模型对车牌数据进行分割，得到车牌的分割二值图即分割轮廓的方法，其中，车牌分割模型的残差块由两个残差单元串联而成；

车牌分割模型的训练采用的是SoftMax损失函数和随机梯度下降法优化，其中，批量训练大小设置为32，共训练100个epoch，初始学习率设置为0.01，每30个epoch乘以0.1，梯度权重设置为0.9，权重衰减项为5×〖10〗^(-4)；

车牌矫正采用的是获得车牌分割后轮廓图的最优拟合四边形，再通过透视变换将车牌区域四边形映射为大小为32×128的车牌图片，此时车牌图片只包含车牌区域，以作为车牌识别的输入；

车牌识别模型构建模块，构建由三个密集块和转换层构成的车牌识别模型，其中：

第一密集块由2个密集细胞串联而成，第二密集块由2个密集细胞串联而成，第三密集块由4个密集细胞串联而成，其中，密集细胞由两个连接的卷积层构成，两个卷积层的卷积核大小和数目分别为[1×1，40]和[3×3，12]，同时密集细胞的卷积层由批量梯度归一化和Droput层构成；

第一转换层、第二转换层和第三转换层由一个1×1卷积层、Dropout层和平均池化层构成；

解码器具体解码方法是：先获得每个时刻对应最大概率的标签，得到含有空格字符的输出序列，再通过映射函数B，即可获得最终的车牌序列；

车牌识别模型训练模块，基于获取的车牌数据裁剪成32×128×3大小作为输入训练得到车牌识别模型，其中：

训练采用的是Adam优化器优化，设置批量训练大小为128，共训练112个epoch，设置初始学习率为0.01，分别在40、80、100个epoch后乘以0.1，梯度权重设置为0.9，权重衰减项设置为5×〖10〗^(-4)；

基于车牌识别模型的车牌识别模块，基于车牌识别模型对输入的车牌信息进行识别，输出车牌识别结果。