CN110689001A - 一种生成复杂环境下车牌训练样本的方法 - Google Patents

Abstract

本发明提出了一种生成复杂环境下车牌训练样本的方法，包括以下步骤：步骤一：生成标准车牌图片；步骤二：颜色扰动；步骤三：添加噪声；步骤四：添加边框；步骤五：仿射变换；步骤六：添加边框噪声及颜色扰动；步骤七：生成运动模糊效果。本发明可有效避免因车牌采集造成的人力、时间等成本，解决采集车牌数量、种类有限的情况，能够加快深度学习模型的训练速度。

Description

一种生成复杂环境下车牌训练样本的方法

技术领域

本发明涉及生成车牌训练样本技术领域，具体涉及一种生成复杂环境下车牌训练样本的方法。

背景技术

在目前车牌识别技术中，需要大量的车牌样本来对模型进行训练。目前现有的车牌样本获取方式主要通过人工采集、人工标注或者结合GAN网络来生成用于车牌识别神经网络训练所需要的样本。传统的方式通过人工收集含有车牌的图片、视频等数据并进行标注，使用标注好的车牌数据训练GAN网络，再使用训练好的GAN网络批量生成车牌样本，在成本、样本数量等方面都有着很大的缺陷，虽然可以使用GAN网络来生成车牌，但是GAN生成的车牌是依赖于训练GAN网络模型采集的车牌的，所以也存在很大的局限性。传统方式需要大量的人力、时间成本，采集到的车牌样本数量也有限而且无法满足复杂环境下识别模型训练所需要的样本类型。因实际场景中车牌比较复杂，通过普通的方法是无法使用电脑直接生成训练模型所需要的样本。

本申请使用了电脑生成的方式来产生训练车牌识别模型所需要的样本，首先生成标准车牌，在标准车牌的基础上，通过一定的步骤以及算法，使标准车牌转换为无限接近真实采集的车牌，另外通过设置不同的参数，还可以生成不同环境下的车牌样本，生成的样本可以使用的范围更广。可以用于卡口摄像机车牌识别模型训练、其他复杂环境下的车牌识别模型训练。从根源上解决了现有技术成本高、样本数量有限的问题。

发明内容

为了解决上述问题，本发明提出一种生成复杂环境下车牌训练样本的方法，解决了传统采集方式高成本、样本数量、类型有限等缺点。

为实现以上目的，本发明采用的技术方案是：

一种生成复杂环境下车牌训练样本的方法，包括以下步骤：

步骤一：生成标准车牌图片，这里的标准车牌包括国标中规定的车牌类型，以及现在新实行的新能源号牌，其中车牌号码为等概率随机产生；

步骤二：颜色扰动，对步骤一生成的标准车牌图片中的前景色、背景色在HSV颜色空间中进行特定的随机变化，随机变换的范围限制在蓝白、灰白、蓝灰范围内；通过该步骤可以把步骤一生成的标准车牌图片转化为在真实场景下受到光照强度因素影响下看到的车牌；

步骤三：添加噪声，通过矩阵加法运算，对步骤二生成的图片添加小噪声，模拟每个像素点的细微差别；

步骤四：添加边框，使生成的车牌图片贴近实际；

步骤五：仿射变换，使用随机的仿射变换操作，产生不同视角、不同距离下的车牌图片；

步骤六：添加边框噪声及颜色扰动：对添加的边框进行与步骤三相同的操作，并对添加的边框进行与步骤二相同的操作，使其与步骤二操作后的颜色一致，使增加的图片边框接近现实车牌周边的图像；

步骤七：生成运动模糊效果：对步骤六生成的车牌图片进行卷积操作，模拟车辆运动时的场景；卷积操作使用的卷积核大小以及内容都是随机产生的，选择以下两种卷积核进行卷积操作:①卷积核矩阵中心元素下部元素为0，中心元素上面的元素随着与中心元素距离增大不断减小；②卷积核矩阵中心元素上部分元素为0，中心元素下面的元素随着与中心元素距离增大不断减小。

优选的，所述步骤四添加边框通过以下步骤来实现，

a、生成一个空白的底图作为背景图，背景图的宽与高分别为原始图片宽度加上一个字符的宽度、高度加上一个字符高度；

b、随机生成一个坐标，把步骤三生成的图片叠加到背景图上。

优选的，所述步骤五仿射变换具体算法如下：

a、设定车牌图片左上角点坐标，记为A(x0,y0)；右上角点坐标，记为B(x1,y1)；左下角点坐标，记为C(x2,y2)；

b、对车牌图片进行一个随机变换的角度；

c、以左上角为原点根据角度使用三角函数计算变换后B′(x1′，y1′)、C′(x2′，y2′)两个点坐标；计算公式如下：

x1′＝width*cos(α)，y1′＝width*sin(α)；

x2′＝height*sin(θ)，y2′＝height*cos(θ)；

其中，α，θ分别为图像与x轴，y轴的夹角，width为A、B两点之间的距离，AB＝AB′,height为A、C两点之间的距离，AC＝AC′。

本发明可有效避免因车牌采集造成的人力、时间等成本，解决采集车牌数量、种类有限的情况，能够加快深度学习模型的训练速度。

附图说明

构成本发明的一部分附图用来提供对本发明的进一步理解。

在附图中：

图1为本发明一种生成复杂环境下车牌训练样本的方法的工作流程框图。

图2为本发明步骤五仿射变换效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明中缩略语和关键术语定义：

标准车牌：本文中的标准车牌是指基于《中华人民共和国公共安全行业标准GA36-2014中华人民共和国机动车号牌》生成的车牌。

深度学习：深度学习是机器学习中一种基于对数据进行表征学习的方法，它是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

GAN：生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。

HSV：HSV(Hue,Saturation,Value)是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间,也称六角锥体模型(Hexcone Model)。模型中颜色的参数分别是：色调(H)，饱和度(S)，明度(V)。

卷积核：卷积核就是图像处理时，给定输入图像，在输出图像中每一个像素是输入图像中一个小区域中像素的加权平均，其中权值由一个函数定义，这个函数称为卷积核。

如图1所示，一种生成复杂环境下车牌训练样本的方法，包括以下步骤：

步骤一：生成标准车牌图片，这里的标准车牌包括国标中规定的车牌类型，以及现在新实行的新能源号牌，其中车牌号码为等概率随机产生，消除了因为地理区域及车牌的多样性导致的样本不均衡；

步骤二：颜色扰动，对步骤一生成的标准车牌图片中的前景色、背景色在HSV颜色空间中进行特定的随机变化，随机变换的范围限制在蓝白、灰白、蓝灰范围内；通过该步骤可以把步骤一生成的标准车牌图片转化为在真实场景下受到光照强度因素影响下看到的车牌；

步骤三：添加噪声，通过矩阵加法运算，对步骤二生成的图片添加小噪声，模拟每个像素点的细微差别；

步骤四：添加边框，在真实环境下去提取车牌时，提取到的车牌不一定是100％的车牌轮廓，可能会有多出的部分，也可能出现缺少的部分，通过该步骤使生成的车牌图片贴近实际；包括如下步骤：

a、生成一个空白的底图作为背景图，背景图的宽与高分别为原始图片宽度加上一个字符的宽度、高度加上一个字符高度；

b、随机生成一个坐标，把步骤三生成的图片叠加到背景图上。

步骤五：仿射变换，使用随机的仿射变换操作，产生不同视角、不同距离下的车牌图片；如图2所示，具体算法如下：

a、设定车牌图片左上角点坐标，记为A(x0,y0)；右上角点坐标，记为B(x1,y1)；左下角点坐标，记为C(x2,y2)；

b、对车牌图片进行一个随机变换的角度；

c、以左上角为原点根据角度使用三角函数计算变换后B′(x1′，y1′)、C′(x2′，y2′)两个点坐标；计算公式如下：

x1′＝width*cos(α)，y1′＝width*sin(α)；

x2′＝height*sin(θ)，y2′＝height*cos(θ)；

其中，α，θ分别为图像与x轴，y轴的夹角，width为A、B两点之间的距离，AB＝AB′,height为A、C两点之间的距离，AC＝AC′。车牌图片默认为矩形，仿射变换后的车牌图片为平行四边形或矩形，平行四边形的长和宽与仿射变换前的车牌图片的长和宽一致，随机变换的角度可以为负角。

步骤六：添加边框噪声及颜色扰动：对添加的边框进行与步骤三相同的操作，并对添加的边框进行与步骤二相同的操作，使其与步骤二操作后的颜色一致，使增加的图片边框接近现实车牌周边的图像；

步骤七：生成运动模糊效果：对步骤六生成的车牌图片进行卷积操作，模拟车辆运动时的场景。这种模糊是由于视频中不同帧之间的像素叠加造成的，如果想要模拟出运动时车牌模糊的状态，关键在于卷积操作的卷积核，卷积核大小以及内容都是随机产生的，大多数情况下摄像机拍摄的是车辆向着摄像头方向行驶，或者车辆背着摄像头方向行驶。根据行驶的方向不同，那么不同帧之间像素叠加造成的模糊情况也略有差别，总体分为车牌由上到下模糊与由下到上模糊两种情况，所以选择以下两种卷积核进行卷积操作:①卷积核矩阵中心元素下部元素为0，中心元素上面的元素随着与中心元素距离增大不断减小(如示例一所示)；②卷积核矩阵中心元素上部分元素为0，中心元素下面的元素随着与中心元素距离增大不断减小(如示例二所示)。

所述生成复杂环境下车牌训练样本的方法是基于计算机装置来实现的，所述计算机装置包括处理器和存储器，所述处理器读取并执行存储器中实现生成复杂环境下车牌训练样本方法的计算机程序。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种生成复杂环境下车牌训练样本的方法，包括以下步骤：

步骤一：生成标准车牌图片，这里的标准车牌包括国标中规定的车牌类型，以及现在新实行的新能源号牌，其中车牌号码为等概率随机产生；

步骤二：颜色扰动，对步骤一生成的标准车牌图片中的前景色、背景色在HSV颜色空间中进行特定的随机变化，随机变换的范围限制在蓝白、灰白、蓝灰范围内；通过该步骤可以把步骤一生成的标准车牌图片转化为在真实场景下受到光照强度因素影响下看到的车牌；

步骤三：添加噪声，通过矩阵加法运算，对步骤二生成的图片添加小噪声，模拟每个像素点的细微差别；

步骤四：添加边框，使生成的车牌图片贴近实际；

步骤五：仿射变换，使用随机的仿射变换操作，产生不同视角、不同距离下的车牌图片；

步骤六：添加边框噪声及颜色扰动：对添加的边框进行与步骤三相同的操作，并对添加的边框进行与步骤二相同的操作，使其与步骤二操作后的颜色一致，使增加的图片边框接近现实车牌周边的图像；

步骤七：生成运动模糊效果：对步骤六生成的车牌图片进行卷积操作，模拟车辆运动时的场景；卷积操作使用的卷积核大小以及内容都是随机产生的，选择以下两种卷积核进行卷积操作:①卷积核矩阵中心元素下部元素为0，中心元素上面的元素随着与中心元素距离增大不断减小；②卷积核矩阵中心元素上部分元素为0，中心元素下面的元素随着与中心元素距离增大不断减小。

2.根据权利要求1所述的一种生成复杂环境下车牌训练样本的方法，其特征在于：所述步骤四添加边框通过以下步骤来实现，

a、生成一个空白的底图作为背景图，背景图的宽与高分别为原始图片宽度加上一个字符的宽度、高度加上一个字符高度；

b、随机生成一个坐标，把步骤三生成的图片叠加到背景图上。

3.根据权利要求1所述的一种生成复杂环境下车牌训练样本的方法，其特征在于：所述步骤五仿射变换具体算法如下：

a、设定车牌图片左上角点坐标，记为A(x0,y0)；右上角点坐标，记为B(x1,y1)；左下角点坐标，记为C(x2,y2)；

b、对车牌图片进行一个随机变换的角度；

c、以左上角为原点根据角度使用三角函数计算变换后B′(x1′，y1′)、C′(x2′，y2′)两个点坐标；计算公式如下：

x1′＝width*cos(α)，y1′＝width*sin(α)；

x2′＝height*sin(θ)，y2′＝height*cos(θ)；

其中，α，θ分别为图像与x轴，y轴的夹角，width为A、B两点之间的距离，AB＝AB′,height为A、C两点之间的距离，AC＝AC′。