CN106709486A - 基于深度卷积神经网络的自动车牌识别方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络的自动车牌识别方法。该方法首先设计神经网络的网络结构及其输入格式；然后采用随机仿射变换合成训练样本，合成真实场景图片和灰度图车牌，添加噪声模拟生成大量真实场景下的车牌图像；反向传播训练神经网络，采用监督式反向传播算法训练神经网络；滑窗搜索，通过滑动窗口定位车牌，切割图片并转换为灰度图，规范化至标准输入格式。本发明不仅能够有效处理图像平移及旋转对识别带来的影响，同时能避免识别过程中对特定环境、字体的依赖性，算法实现简单鲁棒性高，且易于移植。

Description

基于深度卷积神经网络的自动车牌识别方法

技术领域

本发明属于基于人工智能的图像处理技术领域，特别是一种基于深度卷积神经网络的自动车牌识别方法。

背景技术

自动车牌识别广义是指使用计算机图像处理技术，从图像中自动识别车辆登记拍照的技术。它可以利用现有的监控摄像头作为输入。随着智能交通系统的发展，自动车牌识别技术被广泛应用在各个领域。传统的自动车牌识别装置使用光学字符识别技术从图像中提取字符，从获得一副车牌图片开始，基本步骤包括，车牌定位、车牌字符分割、车牌字符识别。传统方法采用特定的算法处理图像，对图像规格要求苛刻。比如在图像分辨率低，或者因为高速运动造成的模糊，车牌字符变化或场景变化等情况下，识别率较低。因此传统方法复杂且容错性差，不易移植到各种平台，不能适应复杂变化的场景。

目前自动车牌识别的方法主要有两种：基于SVM的方法和基于模板匹配的方法。基于SVM的方法，根据车牌字符特征，建立子分类器，对子分类器建立个字符的样本库，通过SVM方法训练得到各字符的判别函数。然后根据字符相应位置，归一化送到对应分类器组，通过识别函数得到分类结果。但是由于现场环境的复杂，车牌字符也很难准确分割，字符差异性大(Liu Yongchun,Yu Xiaohong,Yang Jing.Study oflicense plate locationsystem based on SVM.Proceedings-2nd IEEE InternationalConference on AdvancedComputer Control，ICACC2010，v5，pl95_198)。基于模板匹配的方法，是利用车牌字符轮廓、骨干、网络或者峰谷投影灯特征，特征点识别字符是先对待识别字符进行关键点提取，即对字符进行拓扑分析以得到字符边缘的关键点，再确定字符的分类提取车牌字符特征，与标准车牌字符进行匹配。但是，由于实际测试环境中车牌图像存在的干扰和变形，车牌字符正确识别率不高(Jin Quanj Quan Shuhaij Shi Yingj Xue Zhihua.A fast licenseplate segmentationand recognition method based on the modified templatematching.Proceedings ofthe20092nd International Congress on Image and SignalProcessing,CISPi 09,2009)。

发明内容

本发明的目的在于提供一种适应各种复杂环境的基于深度卷积神经网络的自动车牌识别方法。

实现本发明的目的的技术解决方案为：一种基于深度卷积神经网络的自动车牌识别方法，步骤如下：

步骤1、构造一个具有多字符识别的深度卷积神经网络；

步骤2、随机仿射变换合成训练样本，将训练样本转换为灰度图并把尺寸归一化；

步骤3、输入合成训练样本，采用反向传播算法训练神经网络；

步骤4、滑窗搜索定位车牌，使用固定宽度与高度的矩形窗口滑动扫描待识别的整副图片，计算每次滑动扫描得到的区域中车牌存在概率，选取最大概率区域转换为灰度图并归一化，作为神经网络的输入；

步骤5，解析神经网络的输出向量，在图片中标记车牌识别结果。

进一步地，步骤1所述神经网络的结构包括三个卷积层、三个池化层、两个完全连接层、一个输出层；所述每个卷积层均由5×5的卷积单元组成，每个卷积单元的参数均通过反向传播算法优化得到；所述输出层包括多个节点，其中一个节点作为车牌存在概率指示器，其余节点用于编码车牌字符的存在概率。

进一步地，步骤1所述神经网络的输入格式为128×64灰度图；对于更大尺寸的图片，采用滑窗搜索的方法定位切割图像。

进一步地，步骤2所述随机仿射变换合成训练样本，具体步骤如下：

步骤2-1、随机生成数字车牌图像，使用PIL图像处理库模拟画出车牌和车牌号，车牌底色与车牌字符随机选取，模拟真实世界中的光影变化，得到一副128×64灰度图；

步骤2-2、随机仿射变换，即对生成的数字车牌图像进行基于随机翻转、倾斜、偏移、移位、拉伸的仿射变换；

步骤2-3、获取真实场景图片，即从公开场景分类数据库获取各类真实场景图片，作为识别背景；

步骤2-4、采用基于泊松方程的图像融合算法，融合步骤2-3所得真实场景图片与步骤2-2所得随机仿射变换后的数字车牌图像；

步骤2-5、添加随机噪声，即对步骤2-4融合所得结果图像添加随机噪声，生成真实场景下的车牌识别图像作为训练样本。

进一步地，步骤3所述采用反向传播算法训练神经网络，步骤如下：

步骤3-1、激励传播，前向传播阶段将步骤2得到的训练样本输入神经网络以获得激励响应，将激励响应和训练样本的期望输出求差，从而获得隐层和输出层的响应误差；

步骤3-2、反向更新，对于每个突触上的权重，将输入激励和响应误差相乘，从而获得权重的梯度，将这个梯度乘上比例常数并取反后加到权重上。

本发明与现有技术相比，其显著优点为：(1)不仅能够有效处理图像平移及旋转对识别带来的影响，同时能避免识别过程中对特定环境、字体的依赖性；(2)简单可靠，训练越充分，识别率越高，且训练后的神经网络易于移植；(3)能够适应各种复杂环境适应各种复杂场景，鲁棒性强。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明基于深度卷积神经网络自动车牌识别方法的流程图。

图2是本发明中神经网络结构示意图。

图3是本发明中随机仿射变换合成训练样本示意图。

图4是本发明中滑窗搜索定位车牌示意图。

图5是本发明中神经网络自动识别结果示意图。

具体实施方式

结合图1，本发明基于深度卷积神经网络的自动车牌识别方法，步骤如下：

步骤1、构造一个具有多字符识别的深度卷积神经网络；

所述神经网络的结构包括三个卷积层、三个池化层、两个完全连接层、一个输出层；所述每个卷积层均由5×5的卷积单元组成，每个卷积单元的参数均通过反向传播算法优化得到；所述输出层包括多个节点，其中一个节点作为车牌存在概率指示器，其余节点用于编码车牌字符的存在概率。

所述神经网络的输入格式为128×64灰度图；对于更大尺寸的图片，采用滑窗搜索的方法定位切割图像。

步骤2、随机仿射变换合成训练样本，将训练样本转换为灰度图并把尺寸归一化；

所述随机仿射变换合成训练样本，具体步骤如下：

步骤2-1、随机生成数字车牌图像，使用PIL图像处理库模拟画出车牌和车牌号，车牌底色与车牌字符随机选取，模拟真实世界中的光影变化，得到一副128×64灰度图；

步骤2-2、随机仿射变换，即对生成的数字车牌图像进行基于随机翻转、倾斜、偏移、移位、拉伸的仿射变换；

步骤2-3、获取真实场景图片，即从公开场景分类数据库获取各类真实场景图片，作为识别背景；

步骤2-4、采用基于泊松方程的图像融合算法，融合步骤2-3所得真实场景图片与步骤2-2所得随机仿射变换后的数字车牌图像；

步骤2-5、添加随机噪声(例如高斯白噪声)，即对步骤2-4融合所得结果图像添加随机噪声，生成真实场景下的车牌识别图像作为训练样本。

步骤3、输入合成训练样本，采用反向传播算法训练神经网络，步骤如下：

步骤3-1、激励传播，前向传播阶段将步骤2得到的训练样本输入神经网络以获得激励响应，将激励响应和训练样本的期望输出求差，从而获得隐层和输出层的响应误差；

步骤3-2、反向更新，对于每个突触上的权重，将输入激励和响应误差相乘，从而获得权重的梯度，将这个梯度乘上比例常数并取反后加到权重上。

步骤4、滑窗搜索定位车牌，使用固定宽度与高度的矩形窗口滑动扫描待识别的整副图片，计算每次滑动扫描得到的区域中车牌存在概率，选取最大概率区域转换为灰度图并归一化，作为神经网络的输入；

步骤5，解析神经网络的输出向量，在图片中标记车牌识别结果。

实施例1

结合图1，本发明基于深度卷积神经网络的自动车牌识别方法，步骤如下：

第一步，如图2所示，本发明的神经网络结构包括三个卷积层、三个池化层、两个完全连接层、一个输出层。

卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到。卷积运算的目的是提取输入的不同团证，第一层卷积层只能提取一些低级的特征如边缘、线条和角等层级，更多的层的网络能从低级特征中迭代提取更复杂的特征。通常在卷积层之后得到的维度很大的特征，此时如果直接在此高纬度计算，计算量大，需要耗费很长时间才能得出结果。因此接池化层，将特征切成几个区域，取其最大值或平均值，得到新的、维度较小的特征。经过三次卷积和最大池化层后，最后通过完全连接层完成高层次推理。输出层包括一个节点用于车牌存在度指示器，其余节点编码特定字符的概率，每一行对应车牌中的其中一个字符，同时每个节点给出相应字符出现的概率。为了简化神经网络结构和减少计算量，神经网络的输入限制为128×64灰度图。对于更大尺寸的图片，采用滑窗搜索的方法定位切割图像。

第二步，如图3所示，本发明采用随机仿射变换合成训练数据，神经网络正常工作需要大量训练数据，训练越充分，得到的神经网络精确度越高。真实车牌图像不易获取，且质量参差不齐。即使得到大量高质量图像，也无法方便地标示期望输出。所以采用合成图像的方法提供训练数据，训练数据分两部分，第一部分是期望输出，指神经网络应该输出的数据，第二部分是图像存在值。本发明采用随机仿射变换和泊松融合的方法合成训练图像，即由程序生成数字车牌，然后进行随机仿射变换，包括翻转、倾斜、拉伸。同时从公开场景分类数据库抓取真实场景图片作为识别背景，最后使用基于泊松方程的图像融合算法融合真实场景图片与数字车牌，并添加随机噪声(包括脉冲噪声、高斯白噪声等图像中常见噪声)，生成大量真实场景下的车牌识别图像作为训练数据，噪声加在最后不仅考虑到实际的传感器噪声，也能避免图像依赖图像的清晰轮廓，而训练成输出焦点网络。噪声加在最后不仅考虑到实际的传感器噪声，也能避免图像依赖图像的清晰轮廓，而训练成输出焦点网络。字符和底板的颜色可以随意选取，但是必须保证文本比底板黑。这是为了模拟真实世界中的光线变化。

第三步，反向传播训练神经网络，本即使用第二步的到的训练数据采用反向传播的方法训练第一步设计的神经网络，主要由两个阶段:

第一阶段：激励传播

每次迭代中的传播环境包含两步：

1.(前向传播阶段)讲训练输入输入网络以获得激励响应；

2.(反向传播阶段)将激励响应同训练输入对应的目标输出求差，从而获得隐层和输出层的响应误差。

第二阶段：权重更新

对于每个突触上的权重，按照以下步骤进行更新：

1.将输入激励和响应误差相乘，从而获得权重的梯度；

2.将这个梯度乘上一个比例并取反后加到权重上。

梯度的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误差。第1和第2阶段可以反复循环迭代，直到网络的对输入的响应达到满意的预定的目标范围为止。

第四步，如图4所示，本发明采用滑窗搜索定位车牌，使用固定宽度与高度的矩形窗口滑动扫描整副图片，计算每次滑动扫描得到的区域中车牌存在度概率。选取最大概率区域作为神经网络输入。每个窗口的网络输出期望为：

1.输入图像中存在车牌的概率

2.每个位置数字的概率，对于7个可能位置网络返回36个可能字符的概率分布。

车牌存在的判决条件是：

1.车牌完全落在图像边界内

2.车牌的宽度小于图像宽度的80％，并且车牌的高度小于图像高度的87.5％。

3.车牌的宽度大于图像宽度的60％以上，或车牌高度大于图像高度的60％以上。

第五步，解析神经网络的输出向量，如图5所示，在图片中标记车牌识别结果。

综上所示，本发明不仅能够有效处理图像平移及旋转对识别带来的影响，同时能避免识别过程中对特定环境、字体的依赖性，算法实现简单鲁棒性高，且易于移植。

Claims (5)

1.一种基于深度卷积神经网络的自动车牌识别方法，其特征在于，步骤如下：

步骤1、构造一个具有多字符识别的深度卷积神经网络；

步骤2、随机仿射变换合成训练样本，将训练样本转换为灰度图并把尺寸归一化；

步骤3、输入合成训练样本，采用反向传播算法训练神经网络；

步骤4、滑窗搜索定位车牌，使用固定宽度与高度的矩形窗口滑动扫描待识别的整副图片，计算每次滑动扫描得到的区域中车牌存在概率，选取最大概率区域转换为灰度图并归一化，作为神经网络的输入；

步骤5，解析神经网络的输出向量，在图片中标记车牌识别结果。

2.根据权利要求1所述的基于深度卷积神经网络的自动车牌识别方法，其特征在于，步骤1所述神经网络的结构包括三个卷积层、三个池化层、两个完全连接层、一个输出层；所述每个卷积层均由5×5的卷积单元组成，每个卷积单元的参数均通过反向传播算法优化得到；所述输出层包括多个节点，其中一个节点作为车牌存在概率指示器，其余节点用于编码车牌字符的存在概率。

3.根据权利要求1所述的基于深度卷积神经网络的自动车牌识别方法，其特征在于，步骤1所述神经网络的输入格式为128×64灰度图；对于更大尺寸的图片，采用滑窗搜索的方法定位切割图像。

4.根据权利要求1所述的基于深度卷积神经网络的自动车牌识别方法，其特征在于，步骤2所述随机仿射变换合成训练样本，具体步骤如下：

步骤2-1、随机生成数字车牌图像，使用PIL图像处理库模拟画出车牌和车牌号，车牌底色与车牌字符随机选取，模拟真实世界中的光影变化，得到一副128×64灰度图；

步骤2-2、随机仿射变换，即对生成的数字车牌图像进行基于随机翻转、倾斜、偏移、移位、拉伸的仿射变换；

步骤2-3、获取真实场景图片，即从公开场景分类数据库获取各类真实场景图片，作为识别背景；

步骤2-4、采用基于泊松方程的图像融合算法，融合步骤2-3所得真实场景图片与步骤2-2所得随机仿射变换后的数字车牌图像；

步骤2-5、添加随机噪声，即对步骤2-4融合所得结果图像添加随机噪声，生成真实场景下的车牌识别图像作为训练样本。

5.根据权利要求3所述的基于深度卷积神经网络的自动车牌识别方法，其特征在于，步骤3所述采用反向传播算法训练神经网络，步骤如下：

步骤3-1、激励传播，前向传播阶段将步骤2得到的训练样本输入神经网络以获得激励响应，将激励响应和训练样本的期望输出求差，从而获得隐层和输出层的响应误差；

步骤3-2、反向更新，对于每个突触上的权重，将输入激励和响应误差相乘，从而获得权重的梯度，将这个梯度乘上比例常数并取反后加到权重上。