CN111382743A - 基于数据增强和数据生成的车牌字符识别方法 - Google Patents

Abstract

一种基于数据增强和数据生成的车牌字符识别方法，能根据随机生成模拟车牌图片，以循环对抗网络的图像生成器得到仿真车牌图片后与模拟车牌图片以及增强数据图片混合生成训练数据对车牌识别网络进行优化训练，最后将训练后的识别网络进行快速车牌识别。本发明够在低光，低分辨率，运动模糊和其他恶劣条件的影响下正确且快速的识别车牌。同时神经网络训练需要的大量数据采用数据增强和数据生成的方式获得，不需要大量人工标注的数据。

Description

基于数据增强和数据生成的车牌字符识别方法

技术领域

本发明涉及的是一种交通信息控制领域的技术，具体是一种基于数据增强和数据生成的车牌字符识别方法。

背景技术

车牌字符识别系统需要应对诸如低光，低分辨率，运动模糊和其他恶劣条件的挑战。虽然现有深度神经网络方法用于此类车牌字符识别的准确率比传统方法提高很多，但是面临着训练数据收集难，标注难等问题。实际数据不容易获得，采集过程缓慢，并且在将数据用于训练之前需要对数据进行处理和注释。为了获得更高的注释精度，还需要人工检查。

现有技术有通过图像内容分割后进行分别识别以减少运算量的方法，也有通过深度学习进行车牌识别的方法。但前者计算复杂度较高且识别率不够理想，后者虽然不需要额外分割图像但其神经网络需要通过大量样本训练才能达到一定的识别率，训练过程也相当耗费资源。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于数据增强和数据生成的车牌字符识别方法，能够在低光，低分辨率，运动模糊和其他恶劣条件的影响下正确且快速的识别车牌。同时神经网络训练需要的大量数据采用数据增强和数据生成的方式获得，不需要大量人工标注的数据。

本发明是通过以下技术方案实现的：

本发明涉及一种基于数据增强和数据生成的车牌字符识别方法，根据随机生成模拟车牌图片，以循环对抗网络的图像生成器得到仿真车牌图片后与模拟车牌图片以及增强数据图片混合生成训练数据对车牌识别网络进行优化训练，最后将训练后的识别网络进行快速车牌识别。

所述的模拟车牌图片是指：根据符合车牌规则随机生成字符，与蓝底背景图像组合得到的车牌图片。

所述的增强数据图片是指：具有标签且经过数据增强处理的真实车牌图片。

所述的循环对抗网络，包括循环对抗生成网络和带梯度惩罚的对抗生成网络，其通过模拟车牌图片和真实车牌图片训练。

所述的混合生成是指：以模拟车牌图片、仿真图片和真实车牌图片按1：2：2比例生成。

所述的训练数据，优选进一步经过灰度处理以消除不同背景车牌的颜色因素。

所述的车牌识别网络采用改进型DenseNet，包括：输入层、卷积层、第一密集连接块、第一过渡层、第二密集连接块、第二过渡层和第三密集连接块。

本发明涉及一种实现上述方法的系统，包括：模拟车牌生成模块、图像处理模块、仿真图片生成模块以及车牌识别模块，其中：模拟车牌生成模块与仿真图片生成模块相连并传输模拟车牌信息，模拟车牌生成模块与车牌识别模块相连并传输模拟车牌信息，图像处理模块与车牌识别模块相连并传输真实车牌信息，仿真图片生成模块与车牌识别模块相连并传输仿真车牌信息。

技术效果

与现有技术相比，本发明密集连接神经网络的参数量更少，储存在硬盘中或者读取到内存中占用的资源非常的少；识别精度更高，减少误识别的情况，减少损失；速度更快，能做到在CPU或者GPU上都可以实时识别车牌。应对车牌图片质量低下、形变较大等问题也有更好的识别效果。端到端训练和识别相对于字符分割更容易调试，后续扩展更容易。

本发明只需要少量真实带标注的车牌图片就能够得到大量带准确标注的训练数据。需要进行人工检查标注是否准确的只有一小部分，能节省大量人力物力。如果需要适应更多条件下的车牌识别要求，只需要增加适量真实标注车牌，在对抗生成网络的训练数据中加入更多的真实数据。经过数据生成和数据增强的训练数据就更有代表性，能更好的应对有挑战的复杂场景。

附图说明

图1为本发明车牌识别结构图；

图2为本发明中密集连接块Dense Block结构示意图；

图3为实施例中数据增强后图片示意图；

图中：a为放射变换，b为运动模糊，c为不均匀光照，d为伸缩变换，e为过度曝光和腐蚀，f为下采样和高斯噪声；

图4为实施例中数据生成图片示意图；

图中：a为openCV脚本，b为循环对抗生成网络，c为带梯度惩罚的循环对抗生成网络，d为真实车牌；

图5为实施例中循环对抗生成网络原理图；

图6为实施例中数据增强和数据生成帮助识别网络训练的总流程示意图。

图7为蓝色车牌灰度图像素反转示意图

图中：a为蓝色车牌灰度图，b为黄色和绿色车牌灰度图，c为蓝色车牌灰度图像素反转图

具体实施方式

如图1和图6所示，为本实施例涉及的一种基于数据增强和数据生成的神经网络识别车牌字符的方法，其应用场景为车牌质量低包括截取的车牌像素较少，带有运动模糊、高斯模糊，光线造成的阴影，光线昏暗，过曝，雨天和沙土等影响因素。拍摄角度影响了车牌的形变，从侧面拍摄或者俯视拍摄都会造成字符比较大程度的形变。要求实时性即要求对车牌的识别速度要求很高，需要在匝道口等位置快速的识别车牌字符，不造成道路堵塞。

本实施例提出的数据增强和数据生成方法只需要很少量的人工标注真实车牌。循环对抗生成网络需要一千幅或者更多的真实数据，但是这些真实数据不需要人工标注，因为对抗生成网络的训练是无监督的。

本实施例具体包括以下步骤：

步骤1)通过数据增强处理和仿真数据生成处理产生仿真数据后混合生成训练样本，具体步骤包括：

步骤1.1、利用OpenCV脚本生成120000幅符合中国车牌规则的随机蓝底车牌，其中40000幅直接作为识别网络的一部分训练数据。

步骤1.2、采用步骤1.1相同的方法再生成1000幅脚本车牌，收集1000幅无需标注字符的真实车牌图片，利用这两部分车牌同时训练循环对抗生成网络和带梯度惩罚的对抗生成网络。

本实施例优选进一步增加了梯度惩罚机制，相比原来的生成网络有更好的稳定性和生成效果，如图4(c)所示。

步骤1.3、分别利用上述两个训练后的对抗生成网络的图像生成器将步骤1.1中另外80000幅脚本车牌图片转换为仿真车牌图片，其中两个生成器各转换40000幅，得到的80000幅作为识别网络的一部分训练数据。

图5(a)中X中对应脚本生成车牌，Y对应真实车牌，G代表脚本图片到仿真图片的图片生成器，F反之；Dx和Dy分别判别生成的X和Y图片是否真实。图5(b)表示循环对抗生成网络训练过程中的重建损失和判别损失，通过训练后的图片生成器G将图4(a)中的脚本图片域转换到图4(d)的真实图片域中，最后得到图4(b)中的仿真图片效果。

步骤1.4、收集少量真实车牌图片集(如300幅)，对车牌进行人工字符标注后利用数据增强处理方法得到多幅增强数据图片(如80000幅)，即300幅真实车牌扩充到80000幅。

所述的数据增强处理由OpenCV脚本代码实现，包括：图3(a)中车牌的仿射变换由OpenCV函数getPerspectiveTransform计算输入输出四边形坐标计算透射变换矩阵，再用函数warpPerspective获得增强后的图像；其中目标四边形坐标由随机函数random获得；图3(b)中的运动模糊由OpenCV函数filter2D产生，并随机生成任意角度的运动模糊kernal矩阵；图3(c)不均匀光照的生成，首先将车牌图片从RGB颜色模型转为HSV颜色模型，再随机调整V(明度)分量，再转回RGB模型；图3(d)伸缩变换由随机裁剪图片再还原大小和在边缘加黑边框产生；图3(e)腐蚀和过曝效果分别由函数erode和dilate产生；图3(f)图像分别由下采样和blur函数产生。

图4(a)中车牌的生成过程为OpenCV按照中国车牌规则随机生成字符，然后产生基础蓝底车牌图片，再随机经过图3中各类增强方法得到脚本图片。

步骤1.5、将步骤1.1、步骤1.3、步骤1.4中的三部分车牌图片整合在一起后得到200000幅车牌图片的训练数据，其中每幅车牌图片都有对应的字符标注，将所有200000幅车牌图片进行灰度图像像素反转，模拟黄色和绿色车牌的灰度图。将灰度图像像素反转前后两部分共400000幅带标签训练数据，送给车牌识别网络进行训练。

所述的蓝色车牌灰度图像素反转，本实施例中考虑到还有黄色和绿色车牌，图7(a)图像是蓝色车牌灰度化图像，图7(b)是黄色和绿色车牌灰度化图像，图7(c)由蓝色车牌灰度图进行每个像素的灰度值反转，如某一点像素大小为100，则反转后为155，即可得到类似黄色车牌灰度化后的灰度图，对步骤1.5中200000图片做像素反转可得到另外200000幅图片。

步骤2)将经过检测后的图片裁剪出车牌图片，通过训练后的车牌识别网络就能够获得车牌的字符，无需对车牌进行字符分割和单一字符识别。

本实施例中车牌识别网络基于密集连接网络DenseNet，其结构如表1所示。

表1识别网络的结构

一幅车牌图片的输入大小为136×36×1，即长136像素，宽36像素的灰度车牌图片。

当图像进入上述识别网络，首先通过一层卷积核大小为5×5，步长为2的卷积层，得到68×18×64的特征图；然后依次通过若干密集连接块和过渡层，其中：密集连接块由多个BRC，即BN-ReLU-Conv()组成，BN表示batch normalization，作用是让深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的，ReLU表示激活层，Conv表示卷积层，每两层BRC之间均为直接连接，结构如图2所示，连接方式为在通道维度上进行拼接；过渡层由1×1卷积层和2×2平均池化层组成，1×1卷积层实现了跨通道的交互和信息整合，平均池化层减小了特征图维度，减少计算量。

由DenseNet改变过来的密集连接识别网络能提取到车牌图片深层的特征，网络的复用程度很高，所以训练得到的网络模型非常小，Keras训练得到的模型大小为1.6MB，同时在型号为GTX745的GPU上的测试时间为11.3ms每幅。所以密集连接神经网络的帧数能达到实时性的要求。

同时密集连接识别网络能提取到的特征较深，所以能很好地适应车牌图片质量较差，车牌形变比较大的情况。经过数据生成和增强的训练数据中也包括了大量生成的低质量图片和形变图片，作为训练集也能很好的识别实际的真实车牌。

经过表1所示的识别网络结构后得到的特征图为三维特征图，而实际上车牌的标签为二维字符，如沪FH0943。所以把最后输出维度17×4×192的特征图转换为17×768的二维横向特征图，保留图片的横向信息，然后通过softmax层对17个长度的特征图进行分类，得到17×1的序列分类结果。但是和车牌标签的7×1长度不同，所以不能直接计算损失，需要利用CTC(Connectionist temporal classification)作为损失函数，进行完全端到端的模型训练，不需要预先对数据做对齐，只需要一个输入序列和一个输出序列即可以训练。例如神经网络的输出结果为长度17的序列，但是标签为长度为7的序列，CTC的方法只会计算预测输出的序列是否和真实的序列是否接近(相同)，而不会判断输出序列中每个结果是否和输入的序列正好对齐。

如图1所示，一幅车牌图片经过密集连接网络得到三维特征图，转换成二维特征，再进行分类后，对分类结果通过CTC预测车牌字符。即为整个车牌字符识别的流程。

整个流程需要标注的部分只有数据增强的原始车牌图片，而且这一部分需要的数量非常的少。真实标注车牌数量对识别结果的影响如表2所示。

表2真实标注车牌数量对识别结果的影响

本发明的方法识别车牌只需要300幅带标注的真实车牌就能够非常接近200000幅真实图片达到的识别精度。当真实带标注车牌数量达到4750幅时，就能达到最高的识别精度。分析造成这种实验结果的原因是，200000幅真实训练数据中带有很多标注错误噪声和图片本身不准确等问题，修改标注过程复杂。而少量标注的好处是可以很快的对每一幅车牌图片标注进行人工检查，不会出现错误的情况。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (7)

1.一种基于数据增强和数据生成的车牌字符识别方法，其特征在于，根据随机生成模拟车牌图片，以循环对抗网络的图像生成器得到仿真车牌图片后与模拟车牌图片以及增强数据图片混合生成训练数据对车牌识别网络进行优化训练，最后将训练后的识别网络进行快速车牌识别；

所述的模拟车牌图片是指：根据符合车牌规则随机生成字符，与蓝底背景图像组合得到的车牌图片；

所述的增强数据图片是指：具有标签且经过数据增强处理的真实车牌图片；

所述的循环对抗网络，包括循环对抗生成网络和带梯度惩罚的对抗生成网络，其通过模拟车牌图片和真实车牌图片训练。

2.根据权利要求1所述的方法，其特征是，所述的混合生成是指：以模拟车牌图片、仿真图片和真实车牌图片按1：2：2比例生成。

3.根据权利要求1所述的方法，其特征是，所述的训练数据，进一步经过灰度处理以消除不同背景车牌的颜色因素。

4.根据权利要求1所述的方法，其特征是，所述的车牌识别网络采用改进型DenseNet，包括：输入层、卷积层、第一密集连接块、第一过渡层、第二密集连接块、第二过渡层和第三密集连接块。

5.根据权利要求1所述的方法，其特征是，所述的数据增强处理由OpenCV脚本代码实现，包括：仿射变换、运动模糊、不均匀光照、伸缩变换、腐蚀过曝效果和下采样模糊。

6.根据权利要求1或4所述的方法，其特征是，所述的车牌识别网络具体包括：一层卷积核大小为5×5，步长为2的卷积层、若干密集连接块和过渡层，其中：密集连接块由多个BRC，即BN-ReLU-Conv()组成，BN表示batch normalization，ReLU表示激活层，Conv表示卷积层，每两层BRC之间均为直接在通道维度上进行拼接；过渡层由1×1卷积层和2×2平均池化层组成；该车牌识别网络以CTC作为损失函数。

7.一种实现上述任一权利要求所述方法的系统，其特征在于，包括：模拟车牌生成模块、图像处理模块、仿真图片生成模块以及车牌识别模块，其中：模拟车牌生成模块与仿真图片生成模块相连并传输模拟车牌信息，模拟车牌生成模块与车牌识别模块相连并传输模拟车牌信息，图像处理模块与车牌识别模块相连并传输真实车牌信息，仿真图片生成模块与车牌识别模块相连并传输仿真车牌信息。

Images