CN102968646A - 一种基于机器学习的车牌检测方法 - Google Patents

Abstract

本发明公开了一种基于机器学习的车牌检测方法，首先将原始彩色图像转换为梯度图像；然后结合Adaboost快速检测且虚警率低的特点，采用多尺度遍历搜索方式对车牌目标进行检测；最后将检测结果二值化和形态学处理，根据国内车牌字符特点对检测结果进行评判，标记车牌区域与准伪车牌区域。进一步，还提取准伪车牌区域特征，采用SVM对准伪车牌区域进行多尺度遍历识别，最后对识别结果评判输出。本发明采用梯度图像表示方法，从而将车辆牌照外观表现形式实现统一，利用Adaboost多尺度遍历搜索方式，能快速、有效地从复杂场景中提取出不同车牌；最后结合SVM对准伪车牌区域进行识别，进一步降低了虚警提高了检测率；其在道路交通监控、停车场管理等方面有广泛的应用前景。

Description

一种基于机器学习的车牌检测方法

技术领域

本发明属于模式识别技术领域，具体涉及一种基于机器学习的车牌检测方法。

背景技术

汽车牌照识别LPR(License Plate Recognition)系统是计算机视觉与模式识别技术在智能交通领域应用的重要研究课题之一。它在道路交通监控、被盗车辆跟踪、停车场管理等方面有广泛的应用前景。

作为智能交通系统的重要组成部分，车辆牌照识别系统可以大大提高车辆管理工作的效率，加快交通管理自动化、智能化的步伐。而车牌检测是车辆牌照识别系统完成车辆图像采集后对图像处理的第一步，它的好坏直接关系到整个系统识别率的高低，因此，如何快速、准确地检测出车牌是汽车牌照自动识别技术中非常关键的一步。

目前国内外许多学者对汽车牌照自动识别技术进行了大量的研究，并取得了一些成果。检索该领域目前已有的文献，我们发现现有车牌检测算法沿用两条技术路线，一条技术路线是对车牌灰度图像进行处理，另一条技术路线则针对车牌彩色图像进行处理。

在现实中，由于车牌图像背景复杂，车辆种类和颜色变化繁多，拍摄视角的变化，以及由于不同天气变化而导致的不同光照条件等诸多因素，使得车牌快速、准确检测难度较大。此外，大型民用车辆、小型民用车辆、外交使馆车辆以及军警特殊车辆，其车牌颜色与制式均有所不同，对不同类型车辆的车牌图像进行灰度化处理后其外观对比形式也有所差别，例如：小型民用车辆的“蓝底白字”牌照灰度化后变成“深色底浅色字”牌照，大型民用车辆的“黄底黑字”牌照灰度化后变成“浅色底深色字”牌照。因此，如何快速、准确地在复杂场景中提取出车牌目标是现有车牌识别技术中有待进一步解决的问题。

发明内容

为了解决快速、准确地从复杂场景中检测车牌的技术问题，本发明提供了一种基于机器学习的车牌检测方法。

一种基于机器学习的车牌检测方法，包括以下步骤：

（1）对原始彩色图像进行灰度化处理，然后对处理后所得到的灰度图像进行中值滤波；

（2）计算中值滤波后所得到的灰度图像中除上、下、左、右边缘像素外的每一个像素的梯度幅值，从而得到灰度图像所对应的梯度图像；

（3）在梯度图像中进行多尺度的候选区域提取，利用预先训练好的级联Adaboost分类器对梯度图像的各候选区域进行车牌检测，若该候选区域能检测出车牌，则保留该候选区域；反之，则剔除该候选区域；

（4）对保留的各车牌候选区域进行二值化处理，并对所得到的各二值化图像进行形态学处理以标记保留的各车牌候选区域的连通域；

（5）对于保留的每一车牌候选区域，若其连通域个数大于最小连通域个数阈值MinNumber_T且小于最大连通域个数阈值MaxNumber_T，则标记该车牌候选区域为真实车牌区域；反之，则标记为准伪车牌区域。

进一步地，所述步骤（3）中的级联Adaboost分类器通过将依据多个训练样本集训练得到的强分类器级联得到，其中依据训练样本集进行强分类器的训练按照如下方式实现：

定义训练样本集(x₁,y₁)(x₂,y₂)......(x_n,y_n),y_i∈0,1i＝1,2...n，初始化样本权重w_1，i，x_i是第i个输入训练样本，y_i是第i个样本类别标志；当y_i＝0,表示该样本是负样本即非车牌图像，当y_i＝1时，表示该样本是正样本即车牌图像，n是训练样本总数；

（21）令迭代次数t＝1

（22）归一化权重 $w_{t,i}=\frac{w_{t,i}}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_{t,k}};$

（23）针对每个类Haar特征j，利用训练样本集训练弱分类器h_j(x)；

f_i(x)为样本x的类Haar特征j的特征值，p_j指示不等号方向，θ_j为阈值；

（24）计算各弱分类器的加权错误率

从中选出最小加权错误率ε_t对应的弱分类器为最佳弱分类器h_t(x)变量x表示图像；

（25）调整权重

e_i＝0表示样本x_i被正确地分类，e_i＝1表示样本x_i被错误地分类；

（26）若t＜T，则t＝t+1，返回步骤（22），否则进入步骤（27）；

（27）确定强分类器

其中 ${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t}.$

进一步地，还包括步骤（6）：在准伪车牌区域内进行多尺度的子区域提取，利用预先样本训练好的支持向量机SVM对准伪车牌区域内的各子区域进行车牌检测，若同时被检测为包含车牌的相邻子区域数目大于预定值，则将这些检测为包含车牌的相邻子区域进行合并，从而得到真实车牌区域。

进一步地，所述步骤（6）所述的SVM选用HOG特征训练得到。本发明所产生的技术效果是：由于国内不同类型车牌图像经灰度化处理后将导致不同的外观表现形式差异，而梯度图像的引入实现了不同类型车牌外观对比形式的统一。采用Adaboost算法进行多尺度遍历搜索，提高了检测速度和去除误检能力。结合国内车牌中字符大小与字符个数先验知识，采用形态学处理方法对检测结果进行评判，进一步提高了去除误检能力。采用支持向量机（SVM）对前述步骤处理后所得到的准伪车牌区域进行多尺度遍历搜索，分别提取各个子区域的特征值并进行识别，若相邻子区域同时识别为车牌的数目大于一定的阈值，则将这些识别为车牌的相邻子区域进行合并，并将之判别为车牌，进而减少了车牌漏检率。

本发明所采用的方法可以为车牌识别技术提供良好的车牌检测结果，对提高车牌识别系统识别性能，加快交通管理自动化、智能化具有很高的实用价值。

附图说明

图1为本发明方法流程示意图；

图2为本发明所用到的类Haar特征模板示意图；

图3为本发明所用到的Adaboost算法训练与判别方法流程图；

图4为本发明Adaboost算法各级所用到的类Haar特征数目示意图；

图5为本发明实施例所用到的待检测图像样例对应的灰度图像；

图6为本发明实施例所用到的待检测图像样例对应的梯度图像；

图7为本发明实施例所用到的待检测图像样例对应的Adaboost检测结果示意图（检测结果为图中矩形框所框区域）；

图8为本发明实施例所用到的待检测图像样例对应的最终检测结果示意图（检测结果为图中矩形框所框区域）。

具体实施方式

下面结合附图和具体实施例对本发明做详细的描述。

图1为本发明方法流程图，本发明操作步骤包括图像灰度化处理、中值滤波、计算梯度图像、Adaboost检测、二值化处理、形态学处理、计算连通域个数、车牌候选区域真伪性判断，SVM多尺度遍历搜索判断九部分内容。

下面给出一个实施例：

第一步：将输入彩色图像I转换为灰度图像Gray（参见图5），彩色图像I中像素点(i,j)的红色分量值为R(i,j)，绿色分量值为G(i,j)，蓝色分量值为B(i,j)，转换后像素点(i,j)所对应的灰度值为Gray(i,j)，转换公式为：

第二步：为了减少经过第一步处理后所得到的灰度图像中的噪声，本实施例采用3×3邻域模板中值滤波方法，中值滤波法是一种非线性平滑技术，它将图像中每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。

第三步：基于目前国内不同类型车辆采用了不同制式的牌照，比如小型民用车辆为蓝底白字牌照，大型民用车辆为黄底黑字牌照，外交使馆车辆为黑底白字牌照，军警车辆为白底红/黑字牌照。据此，即便经过第一步灰度化处理后，所得到的灰度图像类型分为“深色底浅色字”类型和“浅色底深色字”类型。

为了将大型民用车辆、小型民用车辆、外交使馆车辆以及军警特殊车辆的车牌图像经过灰度化处理后所得到的外观表现形式实现统一。本实施例将经过上述两步预处理后得到的灰度图像转换为梯度图像（参见图6），所采用的梯度算子水平方向为[-101]，垂直方向为[-101]^T。据此，输入灰度图像Gr中像素点(i,j)的水平方向上梯度值为Gradient_x(i,j)＝Gray(i+1,j)-Gray(i-1,j),垂直方向上梯度值为Gradient_y(i,j)＝Gray(i,j+1)-Gray(i,j-1)，则该像素点的梯度幅值为 $\mathrm{Gradient}(i,j)=\sqrt{{\mathrm{Gradient}}_x{(i,j)}^2+{\mathrm{Gradient}}_y{(i,j)}^2},$ 从而得到梯度图像，进而实现了不同类型车辆牌照外观表现形式的统一。

第四步：经过上述三步预处理后，引入训练好的级联Adaboost分类器对梯度图像进行多尺度遍历搜索。

Adaboost算法的核心思想是针对同一个训练集训练出不同的分类器（弱分类器），然后把这些弱分类器集合起来构成性能更加强大的分类器（强分类器）。

如图3所示，Adaboost分类器去除非车牌目标的算法分为训练部分和判别部分，具体的训练和判别步骤描述如下：

训练部分步骤如下：

（1）分别对车牌图像和非车牌图像进行梯度化处理，得到相应的梯度图像，将车牌梯度图像和非车牌梯度图像分别作为训练用的正样本集、负样本集。

（2）通过类Haar特征来描述车牌图像与非车牌图像，采用Adaboost算法基于正样本集与负样本集进行训练；本发明在使用Adaboost算法中优选类Haar特征来描述车牌图像和非车牌图像，选择合适的类Haar特征获得具有区分车牌与非车牌能力的Adaboost分类器。图2为本发明所用到的类Haar特征模板示意图，图中共包含了14种类Haar特征模板，如图2中所示每一种类Haar特征模板由若干个大小相等的小矩形组成。不同尺度的类Haar特征模板表示不同的类Haar特征，每一种类Haar特征值定义为该类Haar特征中非填充矩形区域像素值与填充矩形区域像素值之差。

所述Adaboost算法步骤是：

1.给定一个训练样本集(x₁,y₁)(x₂,y₂)......(x_n,y_n),y_i∈0,1i＝1,2...n。x_i是第i个输入训练样本，y_i是第i个样本类别标志；当y_i＝0,表示该样本是负样本，当y_i＝1时，表示该样本是正样本，n是训练样本总数。

2.初始化每个样本权重：w_1，i  i＝1,2...n。初始化权重可以这样设置，对于负样本：

对于正样本：

其中m,l分别是负样本和正样本的数量，m+l＝n。

3．对于T轮训练，t＝1,2,...T：

（21）令迭代次数t＝1

（22）归一化权重 $w_{t,i}=\frac{w_{t,i}}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_{t,k}};$

（23）针对每个类Haar特征j，利用训练样本集训练弱分类器h_j(x)；

f_i(x)为样本x的类Haar特征j的特征值，p_j指示不等号方向，θ_j为阈值；

（24）计算各弱分类器的加权错误率

从中选出最小加权错误率ε_t对应的弱分类器为最佳弱分类器h_t；

（25）调整权重

e_i＝0表示样本x_i被正确地分类，e_i＝1表示样本x_i被错误地分类；

（26）若t＜T，则t＝t+1，返回步骤（22），否则进入步骤（27）；

（27）确定强分类器

其中 ${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t}.$

按照上述方式训练多个强分类器，并将这些强分类器级联构成级联Adaboost分类器。在本实施例，图4为各级所用到的类Haar特征数目示意图。

判别部分步骤如下：

利用训练好的级联Adaboost分类器多尺度遍历待检测图像的每一个候选区域。若该区域能检测出车牌，则保留该候选区域；反之，则剔除该候选区域，检测结果参见图7。

第五步：利用大津分割（Otsu）方法对经过第四步处理后得到的车牌候选区域进行二值化处理。

第六步：利用形态学方法对经过第五步处理后所得到的二值化图像进行形态学处理，本实施例中包括形态学闭操作和形态学滤波处理。

具体实施步骤如下：

（1）形态学闭操作

形态学闭操作目的是弥合二值化图像中较窄的间断和细长的沟壑，消除小的孔洞，填补轮廓线中的断裂。形态学闭操作定义是：

用结构元B对集合A的闭操作，表示为：A·B则： $A\·B=(A\⊕B)\mathrm{\ΘB}$

上式说明，B对集合A的闭操作就是简单地用B对A膨胀，紧接着用B对结果进行腐蚀。

（2）形态学滤波处理

首先对形态学闭操作后的二值化图像进行连通域标记处理，并计算每一个连通域的面积。设定连通域面积最小阈值MinArea_T和最大阈值MaxArea_T，最小阈值MinArea_T与最大阈值MaxArea_T可以参考待检测图像分辨率进行经验选取，本实施例中连通域面积最小阈值选取为：MinArea_T＝50，最大阈值选取为：MaxArea_T＝1500，若连通域面积大于最小阈值MinArea_T且小于最大阈值MaxArea_T则保留；反之，则剔除该连通域。

第七步：计算经过第六步处理后所保留的连通域数目，设置最小连通域个数阈值MinNumber_T和最大连通域个数阈值MaxNumber_T，两阈值需要结合国内车牌中所含字符个数以及字符大小先验知识确定。本实施例中最小连通域个数阈值选取为：MinNumber_T＝4和最大连通域个数阈值选取为：MaxNumber_T＝11。若连通域数目大于MinNumber_T且小于MaxNumber_T则标记该候选区域为真实车牌区域；反之，则标记为准伪车牌区域。

第八步：为了尽可能减少漏检率，对第七步所得到的准伪车牌区域做进一步判断。采用训练好的支持向量机（SVM）对准伪车牌区域进行多尺度遍历搜索，提取各个子区域特征并对其进行识别。本发明优选HOG特征来描述车牌图像和非车牌图像。

由于车牌的大小是未知的，因此在利用SVM在对准伪车牌区域进行识别过程中，采用了多尺度遍历搜索的方式提取准伪车牌区域中的各个子区域分别进行识别。由于经过步骤（4）的处理，剔除了大量的非车牌区域，因此在本步中采用多尺度遍历搜索方式对车牌检测算法的执行效率影响不大。

为便于描述参数的选取，设定经过第七步处理后所得到的准伪车牌区域的高度为：image_H，宽度为：image_W。在本实施例中从准伪车牌区域中所提取的子区域图像的宽高比选取为：W_H_Ratio＝3.2，子区域图像最小高度选取为：ROI_MinHeight＝floor(0.5×image_H)，子区域图像最大高度选取为：ROI_MaxHeight＝image_H，子区域图像缩放尺度选取为：ROI_ScaleStep＝floor(0.035×image_H+0.5)，子区域图像在水平方向移动步长选取为：Step_w＝floor(0.02×image_W+0.5)，子区域图像在垂直方向移动步长选取为：Step_h＝floor(0.035×image_H+0.5)，相邻子区域图像同时识别为车牌的数目选取为：Region_num＝3，识别为车牌的相邻子区域图像定义为：各个子区域的左上顶点横坐标与它们横坐标均值的差值绝对值小于4，左上顶点纵坐标与它们纵坐标均值的差值绝对值小于4。

采用多尺度遍历搜索后的识别结果，如果满足同时识别为车牌的相邻子区域图像数目不小于预定值，预定值可依据经验选取，选取范围一般为：2≤Region_num≤5，那么将识别为车牌的相邻子区域图像进行合并，判别其为车牌并输出结果（参见图8）。对识别为车牌的相邻子区域图像进行合并时，在本实施例中所采取的策略是：分别计算识别为车牌的相邻子区域图像的左顶点横、纵坐标、子区域图像的高度、宽度的平均值。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于机器学习的车牌检测方法，包括以下步骤：

（1）对原始彩色图像进行灰度化处理，然后对处理后所得到的灰度图像进行中值滤波；

（2）计算中值滤波后所得到的灰度图像中除上、下、左、右边缘像素外的每一个像素的梯度幅值，从而得到灰度图像所对应的梯度图像；

（3）在梯度图像中进行多尺度的候选区域提取，利用预先训练好的级联Adaboost分类器对梯度图像的各候选区域进行车牌检测，若该候选区域能检测出车牌，则保留该候选区域；反之，则剔除该候选区域；

（4）对保留的各车牌候选区域进行二值化处理，并对所得到的各二值化图像进行形态学处理以标记保留的各车牌候选区域的连通域；

（5）对于保留的每一车牌候选区域，若其连通域个数大于最小连通域个数阈值MinNumber_T且小于最大连通域个数阈值MaxNumber_T，则标记该车牌候选区域为真实车牌区域；反之，则标记为准伪车牌区域。

2.根据权利要求1所述基于机器学习的车牌检测方法，其特征在于，所述步骤（3）中的级联Adaboost分类器通过将依据多个训练样本集训练得到的强分类器级联得到，其中依据训练样本集进行强分类器的训练按照如下方式实现：

定义训练样本集(x₁,y₁)(x₂,y₂)......(x_n,y_n),y_i∈0,1i＝1,2...n，初始化样本权重w_1，i，x_i是第i个输入训练样本，y_i是第i个样本类别标志；当y_i＝0,表示该样本是负样本即非车牌图像，当y_i＝1时，表示该样本是正样本即车牌图像，n是训练样本总数；

（21）令迭代次数t＝1

（22）归一化权重 $w_{t,i}=\frac{w_{t,i}}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_{t,k}};$

（23）针对每个类Haar特征j，利用训练样本集训练弱分类器h_j(x)；

f_j(x)为图像x的类Haar特征j的特征值，p_j指示不等号方向，θ_j为阈值；

（24）计算各弱分类器的加权错误率

从中选出最小加权错误率ε_t对应的弱分类器为最佳弱分类器h_t(x)；

（25）调整权重

e_i＝0表示样本x_i被正确地分类，e_i＝1表示样本x_i被错误地分类；

（26）若t＜T，则t＝t+1，返回步骤（22），否则进入步骤（27）；

（27）确定强分类器

其中 ${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t}.$

3.根据权利要求1或2所述的基于机器学习的车牌检测方法，其特征在于，还包括步骤（6）：在准伪车牌区域内进行多尺度的子区域提取，利用预先样本训练好的支持向量机SVM对准伪车牌区域内的各子区域进行车牌检测，若同时被检测为包含车牌的相邻子区域数目大于预定值，则将这些检测为包含车牌的相邻子区域进行合并，从而得到真实车牌区域。

4.根据权利要求3所述的一种基于机器学习的车牌检测方法，所述步骤（6）所述的SVM选用HOG特征训练得到。

Images