CN104299006A

CN104299006A - 一种基于深度神经网络的车牌识别方法

Info

Publication number: CN104299006A
Application number: CN201410357166.9A
Authority: CN
Inventors: 巩微
Original assignee: Communication University of China
Current assignee: Communication University of China
Priority date: 2014-07-23
Filing date: 2014-07-23
Publication date: 2015-01-21
Anticipated expiration: 2034-07-23
Also published as: CN104299006B

Abstract

车牌识别技术是文字模式识别技术在交通领域的一种具体应用。目前国内已有的车牌识别系统还存在全天候识别率不稳定的问题。在采集车辆图像的时候，会受到环境光线变化的影响，车牌本身也会出现污点、褪色、倾斜以及运动产生的图像模糊失真，所以这些情况下的车牌定位算法和识别算法实现起来困难。深度神经网络应用于图像识别，提升了准确性，而且避免了人工抽取特征。卷积神经网络模型是深度神经网络的一种体系结构，其与图像处理有着密切的关系，本发明将卷积神经网络应用于车牌识别中，使其对断裂、倾斜等非正常字符具有较高的识别率。实验表明该算法对相似字符的区分能力较强，并具有较高的鲁棒性。

Description

一种基于深度神经网络的车牌识别方法

技术领域

本发明涉及基于深度神经网络的车牌识别技术。

背景技术

车牌识别技术是文字模式识别技术在交通领域的一种具体应用，它主要包括图像抓拍、图像处理、车牌定位、字符分割、字符识别等一系列步骤。目前国内已有的车牌识别系统普遍存在全天候识别率不稳定等问题，在采集车辆图像的时候，会受到环境光线变化的影响，车牌本身也会出现污点、褪色、倾斜以及运动产生的图像模糊失真，所以这些情况下的车牌定位算法和识别算法实现起来困难，目前使用最多的识别方法为改进的BP神经网络方法。BP算法是一种局部搜索的优化算法，但它要求解复杂的非线性函数的全局极值，因此算法可能陷入局部极值；网络的逼近、推广能力与学习样本的代表性密切相关，而从问题中选取典型样本实例组成训练集是一个很困难的问题；网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定；网络的泛化能力与训练能力的矛盾，一般情况下，训练能力差时，预测能力也差，并且在一定程度上，随着训练能力地提高，预测能力也提高，但当达到一定极限时，随着训练能力的提高，预测能力反而下降，即出现所谓“过拟合”现象，这是由于网络学习了过多的样本细节，而不能反映样本内含的规律。

发明内容

本发明要解决的技术问题是提供一种新的基于深度神经网络的车牌识别技术，避免了特征提取，利用这种方法，大大提高了系统的识别速度，提高了识别准确度。

字符识别是车牌识别系统中的最后一步，也是最重要的一步。通常，人们是利用传统的BP神经网络算法对字符进行训练然后识别，相比于其他一些经典的识别算法，其识别准确率更高，性能更稳定。但它也有自身的一些缺点，比如训练时间长、效率低下、容易陷入局部极小值、出现过分拟合等等。传统的BP神经网络一般都采用三层网络模型，这是非常浅的一种模型，而这种模型是靠人工经验来抽取样本的特征，并且不能表示复杂的特征，这就导致了它的计算能力有限，从而不能识别复杂的物体。车牌是一种背景复杂的图像，如何从中识别出有效的字符非常考验一个算法的适应性。理论结果表明，为了学习能代表高度抽象的复杂类型的图像，人们需要学习深度体系结构，它是由多个等级的非线性操作组合成的，例如带多个隐藏层的神经网络、含有多个子公式的复杂命题公式。

本发明计划将原始的图像输入逐渐转为更高层次的表示，它表示了原始输入的越来越抽象的函数、物体边缘、局部形状、部分对象等等。当人们试着去解决一个特殊的人工智能的任务时(例如机器视觉或者语言处理)，他们常常会有一个本能，如何将问题分解为多个子问题和多个表示层。例如，以机器视觉的目前发展水平来说，它涉及一系列从像素开始的模块，以线性或者核函数分类器结束，并伴随着中间模块的变化和学习，首先提取几何变化很小的低层特征(例如Gabor filters边缘检测)，逐渐的变换它们(为了使对比度改变量和对比度翻转量不变，有时需要用卷积和池化)，然后测出最频繁的模式。从一幅自然图像中提取有用信息的常用方式是将原始像素逐渐的转化为更抽象的表示，从边缘检测开始，接着检测局部形状，直到识别与图像的部分物体和子物体有关联的类，最后将捕获到的所有信息聚集起来理解这幅图像的场景。

深度体系结构有几大网络模型，其中的卷积神经网络是专门为解决图像问题而设计的模型，它的权值共享网络结构使之更类似于生物神经网络，这样的结构不但降低了网络模型的复杂度，而且减少了权值的数量，这种网络结构对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性。卷积神经网络可以将图像直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。基于这些优点，使它在图像识别中有着得天独厚的优势。

在获取车牌图像的过程中，由于存在光照不均匀、车牌倾斜、车牌污染、运动模糊等等不利因素导致预处理的效果不明显，影响识别准确率。由于卷积神经网络对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性，所以本发明中采用卷积神经网络作为深度体系结构的模型，利用它对车牌图像进行识别将大大提高识别的准确率。

附图说明

图1车牌的深度体系表示图。

图2字符的卷积神经网络结构图。

图3卷积和池化图。

图4字符的卷积特征图。

图5字符的池化示意图。

图6卷积神经网络训练流程图

具体实施方式

结合附图及实施例，进一步对本发明提出的基于深度神经网络的车牌识别技术方案进行描述，更加清楚地说明其特征和优势。

一、字符识别网络结构

本发明中采用的深度神经网络具有7层，每层具有多个特征映射图，每个特征映射图具有多个神经元，并且每个特征映射图通过一种卷积滤波器提取输入的一种特征。

输入的图像(大小为32*16)通过卷积运算得到一个卷积层C1，它由6个(这里的6是个经验值)特征映射图组成。滤波器的大小为5*5，特征图中每个神经元与输入中5*5的邻域相连。这样C1层中特征图的大小就为28*12。C1有156个可训练参数(每个滤波器5*5＝25个单元参数和一个偏置参数，一共6个滤波器，共(5*5+1)*6＝156个参数)，共156*(28*12)＝52416个连接。接着对C1进行池化处理(对图像进行池化，可以减少数据处理量，同时保留有用信息)，得到S2层。S2层由6个14*6大小的特征图构成，S2的特征图中的每个单元与C1中相对应特征图的2*2邻域相连接。每个单元的2*2感受野并不重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4(行和列各1/2)。S2层有30个可训练参数和2520个连接。C3层也是一个卷积层，它同样通过5x5的卷积核去卷积层S2，然后得到只有10*2个神经元的特征映射图，但是它有16(这里的16是个经验值)种不同的卷积核，所以就存在16个特征映射图。需要注意的一点是：C3中的每个特征映射图与S2中的所有6个或者其中几个特征映射图连接，表示本层的特征map是上一层提取到的特征map的不同组合。S4层也是个子采样层，由16个5*1大小的特征图构成。征图中的每个单元与C3中相应特征图的2*2邻域相连接，跟C1和S2之间的连接一样。S4层有80个可训练参数和400个连接。将S4的输出组织成一维向量(80个输入神经元)作为一个输入层F5与F6层进行全连接，F6层是一个隐含层，选取了200个神经元，即共有16200条连接。最后F7为输出层，由34个神经元构成，对应34个输出(24个英文字母和10个数字)。F5、F6、F7三层构成了传统的BP神经网络，之前的4层相当于对图像进行了卷积特征提取。

二、卷积

在卷积网络中最常用的操作有两种，一种是卷积，另一种是池化。在泛函分析中，卷积是通过两个函数f和g生成第三个函数的一种数学算子，表征函数f与经过翻转和平移的g的重叠部分的累积。如果将参加卷积的一个函数看作区间的指示函数，卷积还可以被看作是“移动平均”的推广。当f[n]为有限长度N，g[n]为有限长度M的信号，计算卷积f[n]*g[n]主要的方法有直接计算法，它的做法是利用卷积的定义若f[n]和g[n]皆为实数信号，则需要MN个乘法。因此，使用定义直接计算卷积的复杂度为O(MN)。

在图像中，自然图像有其固有特性，即图像的一部分的统计特性与其他部分是一样的。这也意味着我们在这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征。当从一个大尺寸图像中随机选取一小块，比如说5*5作为样本，并且从这个小块样本中学习到了一些特征，这时我们可以把从这个5*5样本中学习到的特征作为探测器，应用到这个图像的任意地方中去。特别是，我们可以用从5*5样本中所学习到的特征跟原本的大尺寸图像作卷积，从而对这个大尺寸图像上的任一位置获得一个不同特征的激活值。使用卷积做图像特征提取的一个主要原因是通过卷积运算可以原图像的特征，并且降低了噪声。

图像的卷积过程包括：用一个可训练的滤波器f_x去卷积一个输入的图像(第一阶段卷积输入的图像，后面的阶段卷积特征映射图)，然后加一个偏置b_x，得到卷积特征层C_x，即F(f_xW_ij+b_x)，F为sigmode型函数。举例说明，有一个5*5大小的图像1，一个3*3大小的滤波器f₁，得到一个3*3的特征矩阵。

三、池化

图像经过一次卷积后，提取了其基本的特征，理论上讲，可以利用这些特征进行分类，但这些特征不一定是最能代表抽象概念的特征，并且计算量很大。例如：对于一个96*96像素的图像，假设已经学习得到了400个定义在8*8输入上的特征，每一个特征和图像卷积都会得到一个(96-8+1)*(96-8+1)＝7921维的卷积特征，由于有400个特征，所以每个样例都会得到一个89²*400＝3,168,400维的卷积特征向量。学习一个拥有超过3百万特征输入的分类器十分不便，并且容易出现过拟合，这时需要在更高层对它进行抽象，也就是池化(子采样)，即二次特征提取，这么做的好处可以检测更多的特征信息，并且能减少计算复杂度。

如果人们选择图像中的连续范围作为池化区域，并且只是池化相同(重复)的隐藏单元产生的特征，那么，这些池化单元就具有平移不变性，这就意味着即使图像经历了一个小的平移之后，依然会产生相同的(池化的)特征。在车牌识别中，把字符向左侧或右侧平移，那么不论最终的位置在哪里，都会期望分类器仍然能够精确地将其分类为相同的字符。

四、训练过程

第一阶段，向前传播阶段：

(1)从样本集中取一个样本(X，Y_p)，将X输入网络；

(2)计算相应的O_p。

在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算(实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果)：

O_p＝F_n(…(F₂(F₁(X_pW⁽¹⁾)W⁽²⁾)…)W⁽ⁿ⁾)

第二阶段，向后传播阶段

(1)算实际输出O_p与相应的理想输出Y_p的差；

(2)按极小化误差的方法反向传播调整权矩阵。

上述对实施例的描述较为具体，并不可以理解为本发明仅限于以上实施例，本专利的保护范围应以权利要求书为准。

Claims

1.一种新的基于深度神经网络的车牌识别方法，其特征在于，将车牌图像输入卷积网络中，从而避免了人工特征提取。

利用深度神经网络进行车牌识别，大大增强了系统的适应度，提高了识别准确度。

2.如权利要求1所述的方法中，本发明提出的新的基于深度神经网络的车牌识别方法描述如下：

步骤1：输入的图像(大小为32*16)通过卷积运算得到一个卷积层C1，它由6个(这里的6是个经验值)特征映射图组成。滤波器的大小为5*5，特征图中每个神经元与输入中5*5的邻域相连。这样C1层中特征图的大小就为28*12。C1有156个可训练参数(每个滤波器5*5＝25个单元参数和一个偏置参数，一共6个滤波器，共(5*5+1)*6＝156个参数)，共156*(28*12)＝52416个连接。

步骤2：对C1进行池化处理(对图像进行池化，可以减少数据处理量，同时保留有用信息)，将卷积技术应用在车牌图像识别中，用一个可训练的滤波器f_x去卷积输入的车牌图像(第一阶段卷积输入的图像，后面的阶段卷积特征映射图)，然后加一个偏置b_x，得到卷积特征层C_x，即F(f_xw_ij+b_x)，F为sigmode型函数。举例说明，有一个5*5大小的图像1，一个3*3大小的滤波器f₁，得到一个3*3的特征矩阵。

步骤3：得到S2层。S2层由6个14*6大小的特征图构成，S2的特征图中的每个单元与C1中相对应特征图的2*2邻域相连接。每个单元的2*2感受野并不重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4(行和列各1/2)。S2层有30个可训练参数和2520个连接。C3层也是一个卷积层，它同样通过5x5的卷积核去卷积层S2，然后得到只有10*2个神经元的特征映射图，但是它有16(这里的16是个经验值)种不同的卷积核，所以就存在16个特征映射图。需要注意的一点是：C3中的每个特征映射图与S2中的所有6个或者其中几个特征映射图连接，表示本层的特征图是上一层提取到的特征图的不同组合。S4层也是个子采样层，由16个5*1大小的特征图构成。征图中的每个单元与C3中相应特征图的2*2邻域相连接，跟C1和S2之间的连接一样。S4层有80个可训练参数和400个连接。将S4的输出组织成一维向量(80个输入神经元)作为一个输入层F5与F6层进行全连接，F6层是一个隐含层，选取了200个神经元，即共有16200条连接。最后F7为输出层，由34个神经元构成，对应34个输出(24个英文字母和10个数字)。F5、F6、F7三层构成了传统的BP神经网络，之前的4层相当于对图像进行了卷积特征提取。