CN107506765A

CN107506765A - 一种基于神经网络的车牌倾斜校正的方法

Info

Publication number: CN107506765A
Application number: CN201710953642.7A
Authority: CN
Inventors: 周剑扬; 陈琼
Original assignee: Xiamen University
Current assignee: Xiamen University
Priority date: 2017-10-13
Filing date: 2017-10-13
Publication date: 2017-12-22
Anticipated expiration: 2037-10-13
Also published as: CN107506765B

Abstract

本发明公开了一种基于神经网络的车牌倾斜校正的方法，包括以下步骤：一、数据制作；二、倾斜校正网络设计；三、训练网络；四、使用训练好的网络；本发明首先在含有车牌的图片中利用图像处理知识定位并提取车牌，然后再利用通过训练得到的网络对其进行前向传播识别并校正，最后切割成一个一个字符，再利用另一个神经网络进行字符识别，与传统的基于Hough线性变换找到边缘在进行仿射变换的方式不同，在复杂、边缘不清晰噪声多的情况下仍然具有较高的校正率，并且运用训练好的网络进行校正时运算量小，速度快。

Description

一种基于神经网络的车牌倾斜校正的方法

技术领域

本发明涉及图像处理与深度神经网络领域，具体是一种基于神经网络的车牌倾斜校正的方法。

背景技术

随着汽车的使用越来越广泛与频繁，交通问题也越来越严重，怎样高效快速的管理车辆也就越来越成为了大家研究的一个重点课题，车牌作为车辆唯一的标示也就成为了研究中的重中之重。在智能交通系统中，车牌的识别是智能交通系统的一个重要组成部分，其涉及到车牌的定位、切割、字符识别等技术。在现实中由于各种原因我们抓拍提取到的车牌往往存在着各种不同程度的倾斜，所以这不仅对字符分割带来麻烦，最终也会影响车牌字符识别的准确率，因此在切割之前的车牌倾斜校正是之后切割识别工作的基础非常重要。

申请号为CN200810045686.0的发明专利“一种融合色彩、尺寸和纹理特征的车牌定位方法”公开了“本发明属于图像处理技术领域，特别涉及车牌识别技术中的复杂背景中的车牌定位方法。首先把RBG格式的车牌源图像转换到HSI格式，实现颜色信息与亮度信息的分离；接着把得到的饱和度分量图和亮度分量图进行二值化；然后，基于车牌色彩信息对源图像的像素进行分类，依据分类结果获得车牌定位模板二值图，并采用数学形态学运算对车牌定位模板二值图去除噪声；随后，用区域生长法提取车牌定位模板二值图中的每个连通区域并进行车牌尺寸检查，通过尺寸检查的连通区域成为候选车牌区域；在采用Hough变换对倾斜车牌进行矫正之后，进一步利用车牌竖直纹理特征检查每个候选车牌区域，去除伪候选区。采用本发明可以有效地提高系统的通用性和定位精度”。

类似上述专利的传统的车牌倾斜校正是基于Hough线性变换找到边缘在进行仿射变换，这种方式在车牌区域清晰，边缘清晰的情况下可以能比较好的找到边缘。但是在复杂、边缘不清晰噪声多的时候则很难准确检测边缘，此外此方法也存在计算量大的问题。

发明内容

本发明的目的在于提供一种基于深度学习的车牌倾斜校正方法，以避免了Hough线性变换，以优化车牌倾斜校正效果的车牌倾斜校正的方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于神经网络的车牌倾斜校正的方法，包括以下步骤：

一、数据制作

将已有的车牌进行不同角度不同程度的倾斜变化和大小归一化而得到训练数据集，并根据其倾斜程度将训练数据集划分为25类，每张图片的大小为[72*32]，而且各自有一个特定的标签，随机抽取部分数据作为测试集；

二、倾斜校正网络设计

倾斜校正网络具体分为以下七层：

第一层为输入层，首先将大小为[72*32]的原始图片归一化，原始图片的每个像素点像素大小为1-255，对所有像素进行除以255的运算，得到一组大小为0-1维度为[72,32]浮点型数组，这就是第一层输入X；

第二层为卷积层C1，有32个卷积核W_conv1，其中每个卷积核的大小是[3*5]，每一个卷积核对输入层X进行卷积滤波操作，其中卷积步长为1，卷积得到的输出就是一组含有32个特征的向量集合输出:

H_conv1＝Relu(conv2d(X,W_conv1)+b_conv1) (1)

其中应用Relu激励函数和conv2d函数，b_conv1为偏置项；

第三层为池化层P1，选择最大池化操作：

H_pool1＝max_pool_2×2(H_conv1) (2)

池化层大小2*2，池化后每个特征图像大小变为[36*16]；

第四层为卷积层C2,设计有64个卷积核W_conv2，其中每个卷积核大小是3*5，每个卷积核对H_conv1进行卷积操作：

H_conv2＝Relu(conv2d(H_pool1,W_conv2)+b_conv2) (3)

其中应用Relu激励函数和conv2d函数，b_conv2为偏置项；

第五层为池化层P2，选择最大池化操作：

H_pool2＝max_pool_2×2(H_conv2) (4)

池化后每个特征大小就为[18*8]；

第六层为全连接层S1，其中神经元个数为500，将第五层池化后的向量一维化后与其相连接，这样权值向量为[18*8*64:500]：

H_fc1＝Relu(H_pool1×W_fc1+b_fc1) (5)

其中应用Relu激励函数，b_fc1为偏置项；

第七层为全连接层S2，其中神经元个数为25，将第六层全连接层和其连接，权值向量为[500：25]：

H_fc2＝H_pool1×W_fc2+b_fc2 (6)

其中b_fc2为偏置项；

第八层为输出层，利用Softmax函数选择概率最大的那个分类得到输出Y

Y＝Softmax(H_fc1) (7)

三、训练网络

训练过程包括前向传播过程和后向传播过程；

四、使用训练好的网络

参数保存好后就可以永久的使用整个网络。

作为本发明进一步的方案：所述步骤一中测试集的数据与训练数据集的比例为1:10。

作为本发明进一步的方案：所述步骤三中前向传播过程包括以下步骤：

(1)从数据集中随机抽取部分数据，(X,Y_p)其中X为灰度化后的图像，Y_p为标签，(2)将X作为输入并通过公式(1)-(7)计算得到相应的Z、H、Y；

其中X为一张图片中的像素矩阵，每一个元素是其对应的像素值；

对像素参数进行归一化处理：

根据公式(1)-(6)得到网络中其他参数的值，其中Relu激励函数为：

作为本发明进一步的方案：所述步骤三中后向传播过程包括以下步骤：

记住实际输出Y和理想输出的差：

按极小化整体均值误差的BP算法更新所有的权值也就是W_conv1、b_conv1、W_conv2、b_conv2、W_fc1、b_fc1、W_fc2、b_fc2；

在完成1000次训练后在测试集上准确率达到90％，至此结束整个训练过程，并本地持久化保存网络所有的参数。

与现有技术相比，本发明的有益效果是：本发明首先在含有车牌的图片中利用图像处理知识定位并提取车牌，然后再通过训练好的网络对其进行前向传播识别并校正，最后切割成一个一个字符，再利用神经网络进行字符识别，复杂、边缘不清晰噪声多的情况下仍然具有较高的校正率，并且运用训练好的网络进行校正时运算量小，速度快。

本发明使用的时候只是正向传播而没有反向转播，速度快，占用内存小。

附图说明

图1为基于神经网络的车牌倾斜校正的方法的流程图；

图2为基于神经网络的车牌倾斜校正的方法的倾斜校正流程图；

图3为基于神经网络的车牌倾斜校正的方法中倾斜校正网络的结构示意图；

图4为基于神经网络的车牌倾斜校正的方法中训练网络的流程图；

图5为基于神经网络的车牌倾斜校正的方法的应用效果图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

请参阅图1-5，一种基于神经网络的车牌倾斜校正的方法，包括以下步骤：

一、数据制作

将已有的车牌进行不同角度不同程度的倾斜变化和大小归一化而得到训练数据集，并根据其倾斜程度将训练数据集划分为25类，这样每张图片的大小为[72*32]，而且各自有一个特定的标签，另外按照10:1的比例随机抽取了部分数据作为测试集。

二、倾斜校正网络设计

倾斜校正网络采用采用的是三层，输入层、隐藏层和输出层参见图3；

倾斜校正网络具体分为以下七层：

第一层为输入层，首先将大小为[72*32]的原始图片归一化(原始图片的每个像素点像素大小为1-255)也就是对所有像素进行除以255的运算，得到一组大小为0-1维度为[72,32]浮点型数组，这就是第一层输入X；

第二层为卷积层C₁，有32个卷积核W_conv1，其中每个卷积核的大小是[3*5]，每一个卷积核(也称为滤波器)对输入层X进行卷积滤波操作，其中卷积步长为1，再加上偏置b_conv1和激励函数，这样卷积得到的输出就是一组含有32个特征的向量集合输出，公式为:

H_conv1＝Relu(conv2d(X,W_conv1)+b_conv1) (1)

其中应用Relu激励函数和conv2d函数，b_conv1为偏置项。

第三层为池化层P₁，(池化层分为最大池化和均值池化，作用是通过减少相邻像素操作而达到缩小数据大小同时保留数据有用信息的作用)选择最大池化操作：

H_pool1＝max_pool_2×2(H_conv1) (2)

池化层大小[2*2]，这样池化后每个特征图像大小变为[36*16]。

第四层为卷积层C₂,设计有64个卷积核W_conv2，其中每个卷积核大小是3*5，每个卷积核对H_conv1进行卷积操作同第二层相似这里也有偏置和激励函数

H_conv2＝Relu(conv2d(H_pool1,W_conv2)+b_conv2) (3)

其中应用Relu激励函数和conv2d函数，b_conv2为偏置项。

第五层同第三层一样是一个池化层P₂，选择最大池化操作：

H_pool2＝max_pool_2×2(H_conv2) (4)

这样池化后每个特征大小就为18*8。

第六层为全连接层S₁，其中神经元个数为500，将第五层池化后的向量一维化后与其相连接，这样权值向量为[18*8*64:500]，这里同样有偏置和激励函数：

H_fc1＝Relu(H_pool1×W_fc1+b_fc1) (5)

其中应用Relu激励函数，b_fc1为偏置项。

第七层同样为全连接层S₂，其中神经元个数为25，将第六层全连接层和其连接，权值向量为[500：25]，这里只有偏置不设置激励函数：

H_fc2＝H_pool1×W_fc2+b_fc2 (6)

其中b_fc2为偏置项。

第八层为输出层，最后利用Softmax函数即选择概率最大的那个分类得到输出Y

Y＝Softmax(H_fc2) (7)

三、训练网络

为了获得一个好的网络，要训练它，而其目的就是得到一个好的权值W和偏置B，这样就可以利用此网络对每一张图片都能判断其类别从而对其针对性校正。其中训练过程分为前向传播过程和后向传播过程(后向过程也即BP算法)。

前向传播过程：(1)从数据集中随机抽取部分数据，(X,Y_p)其中X为灰度化后的图像，Y_p为标签，(2)将X作为输入并通过上述公式计算得到相应的Z、H、Y。

其中X为一张图片中的像素矩阵，每一个元素是其对应的像素值。

对像素参数进行归一化处理：

后向传播过程：(1)记住实际输出Y和理想输出也即标签Y_p的差：

(2)按极小化整体均值误差的BP算法更新所有的权值也就是W_conv1、b_conv1、W_conv2、b_conv2、W_fc1、b_fc1、W_fc2、b_fc2；

在完成1000次训练后在测试集上准确率达到90％，至此结束整个训练过程，并本地持久化保存该网络所有的参数。

四、使用训练好的网络

参数保存好后就可以永久的使用整个网络，编写正向传播网络，并进行实例调整，结果如图5。

以下对于本发明的方法步骤作补充说明：

如图1所示，本发明首先在一种含有车牌的图片中利用图像处理知识定位并提取车牌，然后再利用通过训练得到的网络对其进行前向传播识别并校正，最后切割成一个一个字符，再利用另一个神经网络(正常的字符识别为现有技术)进行字符识别。步骤如下：

一、数据制作，利用提取的车牌进行仿射变换，制作数量足够多、倾斜度足够多样的训练集，以达到数据完整性。

二、网络设计，在深度神经网络中，将图像逐渐转为更高层次的标示，每一层的网络都是越来越抽象的函数、局部特征、边缘特征等。当前的人工智能在机器视觉发展水平会利用大量数据和大量运算逐渐的将原始像素点以一个更多维的角度去处理，将某些重要的部分联系在一起，从而获得图像的关键信息，

根据硬件条件和车牌尺寸以及考虑的倾斜状况设计网络，包括输入层、卷积层、池化层、全连接层等，另外卷积层(可选)有着权值共享、局部感知的特点，所以是在处理图像时被大量运用，这里我们设计的是八层的网络结构，其中一个输入层、两层卷积层，两层池化层，两层全连接层，一个输出层。如图2所示为倾斜校正的流程图。

三、训练网络，网络确定好后，如图4所示，将制作的训练集放入网络中进行训练并在一定的迭代次数后结束，此时网络已经具备了识别车牌倾斜角度和程度的能力。

四、使用训练好的网络，如图5所示，将训练好的模型保存好，并进行正向传播加以利用，输入一张图片，经过定位后输入该神经网络，计算出输出也就是类别，之后进行校正。

因为神经网络的花费包括时间和内存只有在训练过程中才比较大，但一经训练完毕，生成的只是一些权值，而使用的时候也只是正向传播而没有反向转播，所以本发明不但提供了一种新的车牌倾斜校正的方法，并且此方法有速度快，占用内存小的特点。

上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。

Claims

1.一种基于神经网络的车牌倾斜校正的方法，其特征在于，包括以下步骤：

一、数据制作

二、倾斜校正网络设计

倾斜校正网络具体分为以下七层：

第一层为输入层，首先将大小为72*32的原始图片归一化，原始图片的每个像素点像素大小为1-255，对所有像素进行除以255的运算，得到一组大小为0-1维度为[72,32]浮点型数组，这就是第一层输入X；

H_conv1＝Relu(conv2d(X,W_conv1)+b_conv1) (1)

其中应用Relu激励函数和conv2d函数，b_conv1为偏置项；

第三层为池化层P1，选择最大池化操作：

H_pool1＝max_pool_2×2(H_conv1) (2)

池化层大小2*2，池化后每个特征图像大小变为[36*16]；

H_conv2＝Relu(conv2d(H_pool1,W_conv2)+b_conv2) (3)

其中应用Relu激励函数和conv2d函数，b_conv2为偏置项；

第五层为池化层P2，选择最大池化操作：

H_pool2＝max_pool_2×2(H_conv2) (4)

池化后每个特征大小就为[18*8]；

H_fc1＝Relu(H_pool1×W_fc1+b_fc1) (5)

其中应用Relu激励函数，b_fc1为偏置项；

H_fc2＝H_pool1×W_fc2+b_fc2 (6)

其中b_fc2为偏置项；

Y＝Softmax(H_fc1) (7)

三、训练网络

训练过程包括前向传播过程和后向传播过程；

四、使用训练好的网络

参数保存好后就可以永久的使用整个网络。

2.根据权利要求1所述的基于神经网络的车牌倾斜校正的方法，其特征在于，所述步骤一中测试集的数据与训练数据集的比例为1:10。

3.根据权利要求1所述的基于神经网络的车牌倾斜校正的方法，其特征在于，所述步骤三中前向传播过程包括以下步骤：

(1)从数据集中随机抽取部分数据，(X,Y_p)其中X为灰度化后的图像，Y_p为标签，

(2)将X作为输入并通过公式(1)-(7)计算得到相应的Z、H、Y；

对像素参数进行归一化处理：

4.根据权利要求1所述的基于神经网络的车牌倾斜校正的方法，其特征在于，所述步骤三中后向传播过程包括以下步骤：

记住实际输出Y和理想输出的差：