CN110689000A - 一种基于生成复杂环境下车牌样本的车辆车牌识别方法 - Google Patents

Abstract

本发明提出了一种基于生成复杂环境下车牌样本的车辆车牌识别方法,包括模拟生成复杂环境的车牌样本和训练端对端的车牌识别模型两个步骤。本发明可有效避免因车牌采集造成的人力、物力、时间等成本，人力物力成本几乎为零，且产生的样本包含更多的复杂环境因素信息；训练出来的深度学习模型能够适应更加复杂的环境，具有原有模型无法比拟的泛化性和适应性，尤其是在复杂环境下低质量的车牌图片识别中具有压倒性优势；图片中字符模糊甚至字符粘连无法分割的车牌都能正确识别，并且对于前期车牌定位错误的情况该方案也能有补救，进而识别出正确的车牌号。

Description

一种基于生成复杂环境下车牌样本的车辆车牌识别方法

技术领域

本发明涉及深度学习的车辆车牌识别技术领域，具体涉及一种基于生成复杂环境下车牌样本的车辆车牌识别方法。

背景技术

目前的车牌识别技术的总体解决方案基本上都是通过车牌图片样本训练车牌识别模型，然后在后续的应用中利用训练好的车牌模型进行识别。因此，获取车牌图片样本及车牌模型是最重要的两大部分。

获取车牌样本会采集真实的车牌图片样本。一般来说，原始车牌图片样本数量越大，训练出来的模型精度越高，泛化能力越好。但是，采集大量车牌往往需要花费大量的人力，财力等。所以为了增加车牌图片的样本数量，需要利用已有的真实车牌图片产生更多的模拟车牌。目前产生模拟车牌最常用的方式大致上分为两种：数据增强(例如，在原有车牌上加入小的噪声或者舍去图片中的一小部分等方式)和gan(生成对抗神经网络)。

车牌模型一般是先把车牌图片进行字符分割，然后选择对分割出来的字符图片进行特征提取(例如hog特征)，然后训练svm，浅层神经网络等模型用来识别每个字符图片中的字符。近来随着深度学习的发展，产生了端对端的车牌识别模型，即直接利用车牌样本，不需要字符分割的步骤，直接训练模型，利用车牌的整幅图片，自动提取特征，直接预测车牌图片中的所有车牌字符。

虽然现有车牌识别技术在小区卡口，道路卡口等应用场景中已经得到了很好的应用。但是仍然具有一些其他方面的缺点，具体如下：

1)、现有图片获取的方式：现有图片获取的方式主要依靠从道路，街道等现场的视频、图片中采集。即便是通过图片数据增强或者gan来生成更多的图片样本，也是要基于现场采集大量的真实车牌图片的基础上才可以完成。这样的方式不仅在现场采集中需要花费大量的时间，人力，物力成本，而且在车牌标注时，也需要大量的人力。此外，若是视频或图片的质量不好以至于人眼都无法识别车牌中的具体号码，难免会造成了车牌无法标准或标准错误。

2)、获取的图片的样本质量：①由于地理区域和车牌多样性的影响，很容易造成所获取的车牌样本集合出现样本不均衡问题，也就是有些区域的车牌数量特别多，有些区域的车牌数量特别少甚至是没有；②由于车辆所处的环境异常复杂，例如不同的光照条件、车速、拍摄距离和角度、摄像装备质量等原因会造成同一个车牌可能具有不同的图片效果，而现有技术采集的车牌图片样本的取自很少的环境且不同环境下的车牌样本数量也不均衡(有的环境采集的车牌数量多，有的少)；③正如上述缺点1)中所述，由于车牌的图片质量不好导致了的人眼无法辨认图片中的具体字符进而造成了车牌无法标准或标准错误，使得图片质量不好的车牌样本数量较少；④车牌周边的环境(例如车牌所在的车身环境，车牌定位的误差)往往在现有技术下的车牌样本中是固定的，这使得后续的车牌识别模型对于因车牌周边环境变化或者定位不够准确的情况训练不足，导致模型的泛化能力弱。

3)、车牌识别模型技术：①对于基于先进行字符分割步骤的车牌识别模型：尽管把车牌图片分割成多个字符图片能够一定程度上缓解由于地理区域及车牌的多样性造成的样本不均衡问题，但是模型本身的识别准确性过于依赖车牌的字符分割准确度，当分割准确度不够高或者分割错误时(例如，由于车牌图片模糊造成的车牌字符粘连就容易造成分割错误)，后续模型的识别准确性必然大打折扣。②对于不需要字符分割步骤的车牌识别模型：虽然不必担心分割错误问题，但是这些模型一般属于深度学习模型，它们的训练往往需要能够反映出各种真实环境变化的海量车牌图片样本进行训练。但是正如上述缺点1)和2)中所描述目前的车牌样本无论在数量上，还是样本集合的质量上都不能较好的反映真实环境的车牌及分布，这必然导致训练出来的模型在泛化上不够强，尤其对于更加复杂环境(光照、拍摄距离与角度等)下导致的模糊车牌识别准确度不高。

总而言之，现有的车牌图片样本采集的缺点及样本集合不能较好的反映真实复杂环境下的车牌图像的分布，降低了现有的车牌识别模型在复杂环境下的车别识别正确率。尽管目前的技术在小区卡口、道路等高质量图像环境下有成熟的运用，但是却存在着对于更加复杂环境因素导致的质量不高的车牌识别正确率存在着严重偏低或完全失效的问题。本发明将利用复杂环境下车牌生成技术与深度学习模型相结合的方案解决该问题。

发明内容

为了解决上述问题，本发明提出一种基于生成复杂环境下车牌样本的车辆车牌识别方法。

为实现以上目的，本发明采用的技术方案是：

一种基于生成复杂环境下车牌样本的车辆车牌识别方法,包括以下步骤：

I、模拟生成复杂环境的车牌样本；

II、训练端对端的车牌识别模型。

优选的，所述步骤I中模拟生成复杂环境的车牌样本包括以下步骤：

步骤一：生成标准车牌图片，这里的标准车牌包括国标中规定的车牌类型，以及现在新实行的新能源号牌，其中车牌号码为等概率随机产生；

步骤二：颜色扰动，对步骤一生成的车牌图片分别随机产生车牌本身的背景颜色值，车牌边框和字符颜色值；

步骤三：添加噪声，通过矩阵加法运算，对步骤二生成的图片添加小噪声，模拟每个像素点的细微差别；

步骤四：模拟车牌定位效果，通过随机增加图片边框或者随机裁剪图片的一小部分来模拟该效果，使生成的车牌图片贴近实际；

步骤五：模拟拍摄距离和角度的变化效果，通过随机产生仿射变换操作，产生不同视角、不同距离下的车牌图片；

步骤六：模拟车牌周围环境效果：对步骤四种增加的图片边框进行与步骤三相同的操作，并对添加的边框进行与步骤二相同的操作，使其与步骤二操作后的颜色一致，使增加的图片边框接近现实车牌周边的图像；

步骤七：生成运动模糊效果，即增加模拟及字符串的粘连效果，通过随机产生适当的卷积核，并利用卷积核与步骤六产生的图片做卷积操作，模拟车辆运动时的场景；

步骤八：输出最终生成的车牌图片样本。

进一步的，所述步骤四增加图片边框通过以下步骤来实现，

a、生成一个空白的底图作为背景图，背景图的宽与高分别为原始图片宽度加上一个字符的宽度、高度加上一个字符高度；

b、随机生成一个坐标，把步骤三生成的图片叠加到背景图上。

进一步的，所述步骤五仿射变换具体算法如下：

a、设定车牌图片左上角点坐标，记为A(x0,y0)；右上角点坐标，记为B(x1,y1)；左下角点坐标，记为C(x2,y2)；

b、对车牌图片进行一个随机变换的角度；

c、以左上角为原点根据角度使用三角函数计算变换后B′(x1′，y1′)、C′(x2′，y2′)两个点坐标；计算公式如下：

x1′＝width*cos(α)，y1′＝width*sin(α)；

x2′＝height*sin(θ)，y2′＝height*cos(θ)；

其中，α，θ分别为图像与x轴，y轴的夹角，width为A、B两点之间的距离，AB＝AB′,height为A、C两点之间的距离，AC＝AC′。

进一步的，所述步骤II训练端对端的车牌识别模型包括以下步骤：

a、输入车牌图片样本；

b、经过特征自动提取层，提取学习到的车牌图片特征；

c、利用步骤b中产生的特征通过神经网络层生成字符的得分矩阵；

d、根据步骤c得到的得分矩阵元素的大小，得到相应所有得分最高的字符组成字符串作为最终识别出的车牌号码输出。

本发明可有效避免因车牌采集造成的人力、物力、时间等成本，人力物力成本几乎为零，且产生的样本包含更多的复杂环境因素信息；训练出来的深度学习模型能够适应更加复杂的环境，具有原有模型无法比拟的泛化性和适应性，尤其是在复杂环境下低质量的车牌图片识别中具有压倒性优势；图片中字符模糊甚至字符粘连无法分割的车牌都能正确识别，并且对于前期车牌定位错误的情况该方案也能有补救，进而识别出正确的车牌号。

附图说明

构成本发明的一部分附图用来提供对本发明的进一步理解。

在附图中：

图1为本发明一种基于生成复杂环境下车牌样本的车辆车牌识别方法的工作流程框图。

图2为本发明模拟生成复杂环境的车牌样本的工作流程框图。

图3为本发明端对端车牌识别模型工作流程图。

图4为本发明步骤I中步骤五仿射变换效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明中缩略语和关键术语定义：

标准车牌：本文中的标准车牌是指基于《中华人民共和国公共安全行业标准GA36-2014中华人民共和国机动车号牌》生成的车牌。

深度学习：深度学习是机器学习中一种基于对数据进行表征学习的方法，它是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。本申请中的深度学习特指利用卷积或循环神经网络单元经过多层神经网络提取特征后，直接预测车牌号码的深度学习网络。是省略了车牌字符分割后的端对端神经网络模型。

复杂环境：这里所说的复杂环境，是指车牌拍摄时的所有因素的影响，包括光照、拍摄背景、拍摄角度和距离、拍摄设备质量及车牌本身随机变化等。由于这些随机变化因素的相互叠加导致相应的车牌图片质量的巨大差异性。

卷积核：卷积核就是图像处理时，给定输入图像，在输出图像中每一个像素是输入图像中一个小区域中像素的加权平均，其中权值由一个函数定义，这个函数称为卷积核。

如图1-3所示，一种基于生成复杂环境下车牌样本的车辆车牌识别方法，总体描述为端对端的模型训练的每一轮之前要产生一定数量的模拟复杂环境背景下的车牌图片，然后把这些车牌样本喂入模型计算相应参数的梯度，更新一次模型的参数，直到模型训练完成。具体包括以下步骤：

I、模拟生成复杂环境的车牌样本；

II、训练端对端的车牌识别模型。

所述步骤I中模拟生成复杂环境的车牌样本包括以下步骤(如图2所示)：

步骤一：生成标准车牌图片，这里的标准车牌包括国标中规定的车牌类型，以及现在新实行的新能源号牌，其中车牌号码为等概率随机产生，消除了因为地理区域及车牌的多样性导致的样本不均衡；

步骤二：颜色扰动，对步骤一生成的车牌图片分别随机产生车牌本身的背景颜色值(不同的黄色、蓝色值)，车牌边框和字符颜色值(蓝底背景对应的不同的白色值，黄底背景对应不同的黑色值)；

步骤三：添加噪声，通过矩阵加法运算，对步骤二生成的图片添加小噪声，模拟每个像素点的细微差别；

步骤四：模拟车牌定位效果，在真实环境下去提取车牌时，提取到的车牌不一定是100％的车牌轮廓，可能会有多出的部分，也可能出现缺少的部分，通过随机增加图片边框或者随机裁剪图片的一小部分来模拟该效果，使生成的车牌图片贴近实际；增加图片边框包括如下步骤：

a、生成一个空白的底图作为背景图，背景图的宽与高分别为原始图片宽度加上一个字符的宽度、高度加上一个字符高度；

b、随机生成一个坐标，把步骤三生成的图片叠加到背景图上。

步骤五：模拟拍摄距离和角度的变化效果，通过随机产生仿射变换操作，产生不同视角、不同距离下的车牌图片；如图4所示，具体算法如下：

a、设定车牌图片左上角点坐标，记为A(x0,y0)；右上角点坐标，记为B(x1,y1)；左下角点坐标，记为C(x2,y2)；

b、对车牌图片进行一个随机变换的角度；

c、以左上角为原点根据角度使用三角函数计算变换后B′(x1′，y1′)、C′(x2′，y2′)两个点坐标；计算公式如下：

x1′＝width*cos(α)，y1′＝width*sin(α)；

x2′＝height*sin(θ)，y2′＝height*cos(θ)；

其中，α，θ分别为图像与x轴，y轴的夹角，width为A、B两点之间的距离，AB＝AB′,height为A、C两点之间的距离，AC＝AC′。车牌图片默认为矩形，仿射变换后的车牌图片为平行四边形或矩形，平行四边形的长和宽与仿射变换前的车牌图片的长和宽一致，随机变换的角度可以为负角。

步骤六：模拟车牌周围环境效果：对步骤四种增加的图片边框进行与步骤三相同的操作，并对添加的边框进行与步骤二相同的操作，使其与步骤二操作后的颜色一致，使增加的图片边框接近现实车牌周边的图像；

步骤七：生成运动模糊效果，即增加模拟及字符串的粘连效果；对步骤六生成的车牌图片进行卷积操作，模拟车辆运动时的场景。这种模糊是由于视频中不同帧之间的像素叠加造成的，如果想要模拟出运动时车牌模糊的状态，关键在于卷积操作的卷积核，卷积核大小以及内容都是随机产生的，大多数情况下摄像机拍摄的是车辆向着摄像头方向行驶，或者车辆背着摄像头方向行驶。根据行驶的方向不同，那么不同帧之间像素叠加造成的模糊情况也略有差别，总体分为车牌由上到下模糊与由下到上模糊两种情况，所以选择以下两种卷积核进行卷积操作:①卷积核矩阵中心元素下部元素为0，中心元素上面的元素随着与中心元素距离增大不断减小；②卷积核矩阵中心元素上部分元素为0，中心元素下面的元素随着与中心元素距离增大不断减小。

步骤八：输出最终生成的车牌图片样本。

所述步骤II训练端对端的车牌识别模型包括以下步骤(如图3所示)：

a、输入车牌图片样本；

b、经过特征自动提取层，提取学习到的车牌图片特征；

c、利用步骤b中产生的特征通过神经网络层(如全连接层或者卷积层)生成字符的得分矩阵；得分矩阵的每个元素衡量相应的字符图片部分是某个特定字符的可能性大小，代表其值越大，代表可能性越大，该矩阵的输出维度为Nsample×Npnum×Ncnum，其中Nsample表示车牌图片的数量，Npnum表示车牌中含有的字符串个数，Ncnum表示字符串的种类个数(例如，中国车牌情况下该值等于10(阿拉伯数字个数)+26(大写英文字母个数)+车牌中汉字的个数))。例如该某个元素的记为ω1，2，3表示第一个车牌号的第二个字符属于是第三种字符的得分值。

d、根据步骤c得到的得分矩阵元素的大小，得到相应所有得分最高的字符组成字符串作为最终识别出的车牌号码输出。

所述一种基于生成复杂环境下车牌样本的车辆车牌识别方法是基于计算机装置来实现的，所述计算机装置包括处理器和存储器，所述处理器读取并执行存储器中实现基于生成复杂环境下车牌样本的车辆车牌识别方法的计算机程序。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于生成复杂环境下车牌样本的车辆车牌识别方法,包括以下步骤：

Ⅰ、模拟生成复杂环境的车牌样本；

II、训练端对端的车牌识别模型。

2.根据权利要求1所述的一种基于生成复杂环境下车牌样本的车辆车牌识别方法，其特征在于：所述步骤Ⅰ中模拟生成复杂环境的车牌样本包括以下步骤：

步骤一：生成标准车牌图片，这里的标准车牌包括国标中规定的车牌类型，以及现在新实行的新能源号牌，其中车牌号码为等概率随机产生；

步骤二：颜色扰动，对步骤一生成的车牌图片分别随机产生车牌本身的背景颜色值，车牌边框和字符颜色值；

步骤三：添加噪声，通过矩阵加法运算，对步骤二生成的图片添加小噪声，模拟每个像素点的细微差别；

步骤四：模拟车牌定位效果，通过随机增加图片边框或者随机裁剪图片的一小部分来模拟该效果，使生成的车牌图片贴近实际；

步骤五：模拟拍摄距离和角度的变化效果，通过随机产生仿射变换操作，产生不同视角、不同距离下的车牌图片；

步骤六：模拟车牌周围环境效果：对步骤四种增加的图片边框进行与步骤三相同的操作，并对添加的边框进行与步骤二相同的操作，使其与步骤二操作后的颜色一致，使增加的图片边框接近现实车牌周边的图像；

步骤七：生成运动模糊效果，即增加模拟及字符串的粘连效果，通过随机产生适当的卷积核，并利用卷积核与步骤六产生的图片做卷积操作，模拟车辆运动时的场景；

步骤八：输出最终生成的车牌图片样本。

3.根据权利要求2所述的一种基于生成复杂环境下车牌样本的车辆车牌识别方法，其特征在于：所述步骤四增加图片边框通过以下步骤来实现，

a、生成一个空白的底图作为背景图，背景图的宽与高分别为原始图片宽度加上一个字符的宽度、高度加上一个字符高度；

b、随机生成一个坐标，把步骤三生成的图片叠加到背景图上。

4.根据权利要求3所述的一种基于生成复杂环境下车牌样本的车辆车牌识别方法，其特征在于：所述步骤五仿射变换具体算法如下：

a、设定车牌图片左上角点坐标，记为A(x0,y0)；右上角点坐标，记为B(x1,y1)；左下角点坐标，记为C(x2,y2)；

b、对车牌图片进行一个随机变换的角度；

c、以左上角为原点根据角度使用三角函数计算变换后B′(x1′，y1′)、C′(x2′，y2′)两个点坐标；计算公式如下：

x1′＝width*cos(α)，y1′＝width*sin(α)；

x2′＝height*sin(θ)，y2′＝height*cos(θ)；

其中，α，θ分别为图像与x轴，y轴的夹角，width为A、B两点之间的距离，AB＝AB′,height为A、C两点之间的距离，AC＝AC′。

5.根据权利要求4所述的一种基于生成复杂环境下车牌样本的车辆车牌识别方法，其特征在于：所述步骤II训练端对端的车牌识别模型包括以下步骤：

a、输入车牌图片样本；

b、经过特征自动提取层，提取学习到的车牌图片特征；

c、利用步骤b中产生的特征通过神经网络层生成字符的得分矩阵；

d、根据步骤c得到的得分矩阵元素的大小，得到相应所有得分最高的字符组成字符串作为最终识别出的车牌号码输出。

Images