CN104134079A - 一种基于极值区域和极限学习机的车牌识别方法 - Google Patents

Abstract

本发明公开了一种基于极值区域和极限学习机的车牌识别方法，该方法包括步骤：对彩色待处理图像进行预处理，对其中的车牌区域进行粗定位，得到多个车牌候选区域；基于车牌候选区域，在彩色待处理图像中提取RGB三个颜色通道的极值区域，通过分类器从中选择符合车牌字符区域几何属性的极值区域，获得车牌字符区域；通过监督学习建立基于极限学习机的单隐层前馈神经网络，提取字符区域的特征向量作为输入，利用神经网络对车牌字符进行自动识别。本发明方法具有速度快、精度高等优点，特别是在复杂交通环境中，能够很好地应对复杂背景、天气变化、光照影响等不利因素。本发明克服了传统车牌识别方法在实时性和鲁棒性方面的不足，具有显著的应用价值。

Description

一种基于极值区域和极限学习机的车牌识别方法

技术领域

本发明涉及智能视频监控和智能交通技术领域，尤其是一种基于极值区域和极限学习机的车牌识别方法，可应用于复杂交通环境中的车牌识别。

背景技术

随着视频监控技术的发展，交通场景的智能监控已经成为实现交通智能化的重要组成部分。目前，在对交通场景的智能监控方面，车牌号码作为机动车辆特有的身份表征，是一种极其重要的交通信息，车牌自动识别是智能交通系统中不可缺少的一项功能。车牌自动识别具有对车辆监视、记录、验证和报警的功能，可以应用于停车场收费、小区车辆管理、治安卡口、交通违章管理等领域。

目前的车牌识别方法主要包括三个步骤，即车牌定位、字符分割和字符识别。对于车牌定位，主要是利用车牌的颜色、纹理、边缘信息来提取车牌区域。例如，C.N.E.Anagnostopoulos等人于2006年在IEEETransactions on Intelligent Transportation Systems上发表的论文“A licenseplate recognition algorithm for intelligent transportation system applications”，使用滑动窗口计算局部图像纹理中的突变区域来定位车牌，但这种方法应用在天气多变、背景复杂的交通场景下，会大量误检车牌；Runmin Wang等人于2014年在Optik-International Journal for Light and Electron Optics上发表的论文“License plate detection using gradient information and cascadedetectors”，将图像进行多尺度分解，提取梯度信息，利用多个级联分类器来完成车牌区域提取，这种方法准确率高，但是计算复杂并且耗时。

对于字符分割和字符识别，是指从提取的车牌区域中准确地分割字符区域，然后利用模式识别方法来识别每个字符，从而实现车牌自动识别。例如，李泊等人于2013年在IEEE Transactions on Intelligent TransportationSystems上发表的论文“Component-based license plate detection usingconditional random field model”，在灰度域提取合适的最大稳定极值区域，利用条件随机场方法来建模分割提取字符区域，这种方法只在灰度域进行处理，对交通场景中的光照变化敏感，容易误检或漏检车牌字符；Ying Wen等人于2011年在IEEE Transactions on Intelligent Transportation Systems上发表的论文“An algorithm for license plate recognition applied to intelligenttransportation system”，计算局部区域水平、垂直方向的投影来分割字符，然后利用支持向量机来识别字符，这种方法容易受阴影的影响，鲁棒性差，另外训练支持向量机非常耗时。

从现有技术的发展现状可知，复杂交通场景中的车牌自动识别仍然是一个尚未有效解决的问题，导致这种局面的原因是实际交通场景中背景复杂、天气和光照条件多种多样等因素。面向实际应用，本发明提出一种基于极值区域和极限学习机的车牌识别方法，该方法实时鲁棒，能够实现复杂交通环境中的车牌自动识别。

发明内容

本发明的目的是克服现有技术的不足，利用图像处理和模式识别理论，提供一种基于极值区域和极限学习机的车牌识别方法。本发明首先对监控视频图像进行一系列预处理，利用车牌纹理信息，完成车牌粗定位；然后分别提取各个颜色通道的极值区域，利用训练好的分类器选择合适的极值区域作为车牌字符候选区域，并利用车牌字符的几何属性和组合特征，完成车牌的准确定位和字符分割；最后利用基于极限学习机的神经网络模型来识别各个车牌字符。

本发明提出的一种基于极值区域和极限学习机的车牌识别方法包括以下步骤：

步骤S1，对彩色待处理图像进行预处理，并对预处理后得到的图像中的车牌区域进行粗定位，得到一系列车牌候选区域；

步骤S2，基于所述车牌候选区域，在所述彩色待处理图像中提取得到RGB三个颜色通道的极值区域，并通过分类器从中选择符合车牌字符区域几何属性的极值区域，完成车牌字符分割并实现车牌区域的准确定位；

步骤S3，通过监督学习建立基于极限学习机的单隐层前馈神经网络，提取所述车牌区域中字符区域的特征向量作为神经网络的输入，基于极限学习机的单隐层前馈神经网络对车牌字符进行自动识别。

本发明的有益效果是：(1)提出一种由粗到细的车牌定位方法，受复杂交通环境的影响较小；(2)利用多颜色通道分别提取极值区域并选择组合得到字符候选区域，在复杂天气和光照条件下有较强的鲁棒性；(3)利用极限学习机方法来快速训练分类器，实时识别车牌字符。本发明的车牌识别方法具有较高的实时性和鲁棒性，能够广泛应用于停车场收费、小区车辆管理、治安卡口、交通违章管理等领域，具有显著的工程应用价值，能够促进智能视频监控和智能交通系统领域的发展。

附图说明

图1是本发明车牌识别方法的流程图。

图2是根据本发明一实施例的车牌粗定位的结果示意图。

图3是根据本发明一实施例得到的RGB三个颜色通道的极值区域，其中，图3a为待处理的车牌候选区域，图3b为颜色通道B的极值区域，图3c为颜色通道G的极值区域，图3c为颜色通道R的极值区域。

图4是根据本发明一实施例得到的最终车牌定位和字符分割结果示意图，其中，左图为对待处理图像进行车牌区域粗定位的结果图，右图分别为左图中出现的车辆的车牌字符区域定位结果图。

图5是根据本发明一实施例的部分车牌字符训练样本示意图。

图6是本发明一实施例涉及的基于极限学习机的神经网络模型结构示意图。

图7是根据本发明一实施例的车牌定位和识别结果示意图，其中，左图为待处理图像，右图分别为左图中出现的车辆的车牌识别结果。

图8是根据本发明另一实施例的车牌定位和识别结果示意图，其中，左图为待处理图像，右图分别为左图中出现的车辆的车牌识别结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步详细说明。

为了更好地理解本发明提出的方法，在下面的介绍中，选取两幅实际交通监控视频中不同场景的图像作为示例，这两幅图像的分辨率分别为1280×736和1936×2592，每幅图像中均有三个车牌。同时，利用从600幅图像中截取的1435个车牌字符样本来训练基于极限学习机的神经网络，作为本发明的分类模型。

本发明提出一种基于极值区域(Extremal Region，ER)和极限学习机(Extreme Learning Machine，ELM)的车牌识别方法，如图1所示，所述车牌识别方法包括以下步骤：

步骤S1，对彩色待处理图像进行预处理，并对预处理后得到的图像中的车牌区域进行粗定位，得到一系列车牌候选区域；

所述步骤S1进一步包括以下步骤：

步骤S11，将彩色待处理图像转换为灰度图像，如图2a所示，并提取所述灰度图像的边缘信息，得到边缘图像，如图2b所示；

在本发明一实施例中，利用Sobel滤波器来提取所述灰度图像的边缘信息。

所述步骤S11在提取所述灰度图像的边缘信息之前还包括对所述灰度图像进行噪声滤除的步骤。

在本发明一实施例中，利用5×5的高斯滤波算子来对所述灰度图像进行噪声滤除。

步骤S12，对所述边缘图像进行二值化，得到二值化图像，如图2c所示；

在本发明一实施例中，使用Otsu阈值法对所述灰度图像进行二值化。

步骤S13，对所述二值化图像进行形态学闭运算，得到如图2d所示的一系列闭合区域，闭合区域的外轮廓如图2e所示，进而得到一系列闭合区域的外接矩形框；

步骤S14，滤除不符合车牌区域要求的外接矩形框，得到一系列车牌候选区域，如图2f所示。

在本发明一实施例中，通过设置滤波器来滤除不符合车牌区域要求的外接矩形框，本发明通过设定外接矩形框的宽高比(Width/Height)和面积(Area)的阈值范围来建立所述车牌区域要求，比如，所述阈值范围可以是：2≤Width/Height≤8、1000≤Area≤12000。

步骤S2，基于所述车牌候选区域，如图3a所示，在所述彩色待处理图像中提取得到RGB三个颜色通道的极值区域，并通过分类器从中选择符合车牌字符区域几何属性的极值区域，完成车牌字符分割并实现车牌区域的准确定位；

其中，所述分类器为预先训练得到的AdaBoost分类器。

所述步骤S2进一步包括以下步骤：

步骤S21，通过监督学习方法建立车牌字符的极值区域分类器；

步骤S22，基于所述车牌候选区域，利用所述极值区域分类器得到字符候选区域；

所述步骤S22进一步包括以下步骤：

步骤S221，将所述车牌候选区域对应的RGB三个颜色通道值范围映射到区间[0,255]；

步骤S222，对于每个颜色通道，从0递增到255，利用Logistic回归方法计算所述极值区域分类器输出为字符的条件概率，找到条件概率最大并且大于一预定阈值，比如可取为0.75，所对应的极值区域，如图3b、图3c、图3d所示；

步骤S223，将三个颜色通道的极值区域进行合并得到字符候选区域。

步骤S23，基于所述字符候选区域，得到每个字符候选区域的外接矩形框，滤除不符合车牌字符区域要求的外接矩形框，得到一系列车牌字符候选区域；

在本发明一实施例中，通过设置滤波器来滤除不符合车牌字符区域要求的外接矩形框，本发明通过设定外接矩形框的高(height)、宽(width)、高宽比(height/width)、面积(area)的阈值范围来建立所述车牌字符区域要求，比如，所述阈值范围可以是：20≤height≤40、4≤width≤25、1≤height/width≤10、80≤area≤800。

步骤S24，利用在一个车牌候选区域中检测到的车牌字符候选区域的数量，判断该车牌候选区域是否为准确的车牌区域；

在本发明一实施例中，对于一个车牌候选区域，如果检测到的车牌字符候选区域数量为5～10个，则认为该车牌候选区域为准确的车牌区域。

步骤S25，通过车牌的几何分布推理得到没有检测到的字符并删除检测到的非字符区域，从而实现字符分割，同时也实现了车牌区域由粗到细的准确定位，如图4所示，图4中，左图为对待处理图像进行车牌区域粗定位的结果图，右图分别为左图中出现的车辆的车牌字符区域定位结果图。

步骤S3，通过监督学习建立基于极限学习机的单隐层前馈神经网络，提取所述车牌区域中字符区域的特征向量作为神经网络的输入，基于极限学习机的单隐层前馈神经网络对车牌字符进行自动识别。

所述步骤S3进一步包括以下步骤：

步骤S31，人工获取并标记字符训练样本，部分训练样本如图5所示；

在本发明一实施例中，所述训练样本分为65类，其中首字符表示省份汉字31类，数字从0到9共10类，字母24类(除去字母I和O，因为字母I与数字1外形相似，字母O与数字0外形相似，因此字母I和O未被中国车牌采用)；

步骤S32，提取所述字符训练样本的方向梯度直方图(Histogram ofOriented Gradients，HOG)特征向量，作为所述字符训练样本的字符特征描述子；

在本发明一实施例中，所述方向梯度直方图特征向量的维数为180。

步骤S33，利用所述字符训练样本及其字符特征描述子，离线训练得到基于极限学习机的神经网络；

在本发明一实施例中，为了得到更好的泛化性能和更高的准确率，将所述神经网络的隐藏层节点数设为1100。

所述步骤S33中，对于任意N个不同的字符训练样本x_j,j＝1,2,...,N，具有个隐藏节点的神经网络模型的结构如图6所示，所述神经网络模型的输出可用下式表示：

$f_{\tilde{N}}\left(x_j\right)=\underset{i=1}{\overset{\tilde{N}}{\mathrm{\Σ}}}{\mathrm{\β}}_{i}g(w_i\·x_j+b_i)=t_j,j=\mathrm{1,2},...,N,$

其中，g(x)是激活函数，w_i是输入权重，b_i是隐藏节点偏置量，β_i是输出权重。

极限学习机的参数设置方法是随机产生所有的输入权重和隐藏节点偏置，然后学习得到输出权重。该方法速度快且泛化性能好，能够很好地满足车牌识别实时性的要求。经实验证明，与传统的支持向量机相比，极限学习机的训练时间减少近650倍，测试时间减少近3倍。

步骤S34，提取所述车牌区域中字符区域的特征向量，作为所述基于极限学习机的神经网络的输入，识别所述字符区域中的各个字符类型，从而实现车牌字符识别。

在本发明一实施例中，所述车牌区域中字符区域的特征向量为方向梯度直方图。

根据本发明一实施例得到的车牌字符识别结果如图7所示，图7中，左图为待处理图像，右图分别为左图中出现的车辆的车牌识别结果，其中，实际为京KS5828的车牌的识别结果为京KS5828，实际为京BN3546的车牌的识别结果为京BN3546，实际为京BN5425的车牌的识别结果为冀BW6425。根据本发明另一实施例得到的车牌字符识别结果如图8所示，图8中，左图为待处理图像，右图分别为左图中出现的车辆的车牌识别结果，其中，实际为鄂AJK781的车牌的识别结果为鄂AJK781，实际为鄂AN8B13的车牌的识别结果为鄂AN8B13，实际为鄂A1G022的车牌的识别结果为鄂A1G022。由上述实验结果可看到，本发明的车牌识别方法的识别正确率较高。本发明提出的一种基于极值区域和极限学习机的车牌识别方法，可以处理50万～800万像素分辨率的图像，可以广泛应用于停车场收费、小区车辆管理、治安卡口、交通违章管理等领域。

综上，本发明方法具有速度快、精度高、泛化性能好等优点，特别是在复杂交通环境中，能够很好地应对复杂背景、天气变化、光照影响等不利因素。本发明克服了传统车牌识别方法在实时性和鲁棒性方面的不足，具有显著的工程应用价值。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于极值区域和极限学习机的车牌识别方法，其特征在于，该方法包括以下步骤：

步骤S1，对彩色待处理图像进行预处理，并对预处理后得到的图像中的车牌区域进行粗定位，得到一系列车牌候选区域；

步骤S2，基于所述车牌候选区域，在所述彩色待处理图像中提取得到RGB三个颜色通道的极值区域，并通过分类器从中选择符合车牌字符区域几何属性的极值区域，完成车牌字符分割并实现车牌区域的准确定位；

步骤S3，通过监督学习建立基于极限学习机的单隐层前馈神经网络，提取所述车牌区域中字符区域的特征向量作为神经网络的输入，基于极限学习机的单隐层前馈神经网络对车牌字符进行自动识别。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括以下步骤：

步骤S11，将彩色待处理图像转换为灰度图像，并提取所述灰度图像的边缘信息，得到边缘图像；

步骤S12，对所述边缘图像进行二值化，得到二值化图像；

步骤S13，对所述二值化图像进行形态学闭运算，得到一系列闭合区域的外接矩形框；

步骤S14，滤除不符合车牌区域要求的外接矩形框，得到一系列车牌候选区域。

3.根据权利要求2所述的方法，其特征在于，所述步骤S11在提取所述灰度图像的边缘信息之前还包括对所述灰度图像进行噪声滤除的步骤。

4.根据权利要求1所述的方法，其特征在于，所述步骤S2进一步包括以下步骤：

步骤S21，通过监督学习方法建立车牌字符的极值区域分类器；

步骤S22，基于所述车牌候选区域，利用所述极值区域分类器得到字符候选区域；

步骤S23，基于所述字符候选区域，得到每个字符候选区域的外接矩形框，滤除不符合车牌字符区域要求的外接矩形框，得到一系列车牌字符候选区域；

步骤S24，利用在一个车牌候选区域中检测到的车牌字符候选区域的数量，判断该车牌候选区域是否为准确的车牌区域；

步骤S25，通过车牌的几何分布推理得到没有检测到的字符并删除检测到的非字符区域，从而实现字符分割，同时也实现了车牌区域由粗到细的准确定位。

5.根据权利要求4所述的方法，其特征在于，所述步骤S22进一步包括以下步骤：

步骤S221，将所述车牌候选区域对应的RGB三个颜色通道值范围映射到区间[0,255]；

步骤S222，对于每个颜色通道，从0递增到255，利用Logistic回归方法计算所述极值区域分类器输出为字符的条件概率，找到条件概率最大并且大于一预定阈值所对应的极值区域；

步骤S223，将三个颜色通道的极值区域进行合并得到字符候选区域。

6.根据权利要求2或4所述的方法，其特征在于，所述车牌区域要求是：

2≤Width/Height≤8、1000≤Area≤12000，

其中，Width/Height为外接矩形框的宽高比，Area表示外接矩形框的面积；

所述车牌字符区域要求是：

20≤height≤40、4≤width≤25、1≤height/width≤10、80≤area≤800，

其中，height为外接矩形框的高，width为外接矩形框的宽，height/width为外接矩形框的高宽比，area为外接矩形框的面积。

7.根据权利要求2或4所述的方法，其特征在于，所述步骤S14或步骤S23中，通过设置滤波器来滤除不符合车牌区域要求或车牌字符区域要求的外接矩形框。

8.根据权利要求4所述的方法，其特征在于，所述步骤S24中，对于一个车牌候选区域，若检测到的车牌字符候选区域数量为5～10个，则认为该车牌候选区域为准确的车牌区域。

9.根据权利要求1所述的方法，其特征在于，所述步骤S3进一步包括以下步骤：

步骤S31，人工获取并标记字符训练样本；

步骤S32，提取所述字符训练样本的特征向量，作为所述字符训练样本的字符特征描述子；

步骤S33，利用所述字符训练样本及其字符特征描述子，离线训练得到基于极限学习机的神经网络；

步骤S34，提取所述车牌区域中字符区域的特征向量，作为所述基于极限学习机的神经网络的输入，识别所述字符区域中的各个字符类型，从而实现车牌字符识别。

10.根据权利要求9所述的方法，其特征在于，所述字符训练样本的特征向量与所述车牌区域中字符区域的特征向量均为方向梯度直方图。