CN105184291A - 一种多类型车牌检测方法及系统 - Google Patents

Abstract

本发明公开了一种多类型车牌检测方法，包括：获取车牌图像；分别利用预定短车牌参数和预定长车牌参数对所述车牌图像进行车牌粗检，得到粗检区域；利用车牌过滤器对所述粗检区域进行筛选，得到车牌粗检区域；利用车牌分类器对所述车牌粗检区域进行检测，确定车牌类别；该方法能够对多种车牌进行准确的识别；本发明还提供了一种多类型车牌检测系统。

Description

一种多类型车牌检测方法及系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种多类型车牌检测方法及系统。

背景技术

目前，国内市场上的车牌识别设备更多的是使用嵌入式设备。嵌入式设备比较稳定，但是最大的问题的是运算能力较弱，一般有单帧识别与视频流识别两种模式。单帧识别一般对一帧图像进行识别，对实时性要求比较低。视频流模式对实时性要求很高，如果要达到实时性的要求，必须精简算法。

目前，车牌识别设备已经被广泛应用于停车场、城市道路、高速公路等区域进行车辆号牌的自动抓拍和识别。传统的车牌识别设备仅针对常见的民用车牌，例如蓝牌，黄牌和黑牌(民用)进行识别。这些车牌的宽高比比较近似，号牌上的字符的个数以及分布比较接近。因此可以使用相似的方法来解决不同车牌种类的识别问题。

然而目前市面还存在其他类别的车牌，例如警牌，武警车牌，军牌，使馆牌等。另外武警牌和军牌还分单双层牌。这些车牌的宽高比与普通车牌比，有较大差异。例如单层军牌的宽高比比普通蓝牌要多30％，单层武警牌的宽高比甚至多50％。而双层军牌和双层武警牌照比较窄，但是比较高。如果用常规的方法检测双层军牌和双层武警牌，容易出现漏掉上层字符的情况。

因此，如何对多种车牌进行准确的识别，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种多类型车牌检测方法，该方法能够对多种车牌进行准确的识别；本发明的另一目的是提供一种多类型车牌检测系统。

为解决上述技术问题，本发明提供一种多类型车牌检测方法，包括：

获取车牌图像；

分别利用预定短车牌参数和预定长车牌参数对所述车牌图像进行车牌粗检，得到粗检区域；

利用车牌过滤器对所述粗检区域进行筛选，得到车牌粗检区域；

利用车牌分类器对所述车牌粗检区域进行检测，确定车牌类别。

其中，对分别利用预定短车牌参数和预定长车牌参数对所述车牌图像进行车牌粗检，得到粗检区域包括：

将所述车辆图像转化为灰度图像，并计算所述灰度图像的边缘密度积分图；

通过所述灰度图像的边缘密度积分图，计算粗检窗口区域的平均边缘密度，保留平均边缘密度大于预定密度的窗口区域；

对所述窗口区域利用面积重合度进行聚类操作，并选取同一类中边缘密度最大的窗口区域；

将每类中边缘密度最大的窗口区域的窗口的长和宽均扩大预定数值，形成扩大后窗口区域；

根据每个所述扩大后窗口区域进行水平投影，得到统计曲线，并根据所述统计曲线确定字符区域；

将所述字符区域的高作为划窗的高，将所述字符区域的高分别乘以预定短宽高比和预定长宽高比得到划窗的两个宽，确定短划窗的高和宽，以及长划窗的高和宽；

分别利用所述短划窗和所述长划窗对所述字符区域进行划窗运动，并记录计算得到的边缘密度值，保留边缘密度值最大的区域为粗检区域。

其中，所述通过所述灰度图像的边缘密度积分图，计算粗检窗口区域的平均边缘密度还包括将所述粗检窗口区域按照预定比例进行扩大。

其中，所述车牌过滤器的训练方法包括：

分别获取每类车牌的视频图像，并保存对所述视频图像进行粗检后的图像；

将每类所述图像中包含车牌图像的图像作为正样本，将每类所述图像中不包含车牌图像的图像作为负样本；

利用局部二值模式LBP特征提取方法提取所述正样本和所述负样本的LBP特征；

使用支持向量机SVM算法对所述正样本和所述负样本的LBP特征进行训练，获得车牌过滤器。

其中，所述车牌分类器的训练方法包括：

获取车牌正样本和车牌负样本；

利用局部二值模式LBP特征提取方法提取所述车牌正样本和所述车牌负样本的LBP特征；

使用方向梯度直方图HOG特征对所述车牌正样本和所述车牌负样本进行表征，形成方向梯度直方图HOG特征；

提取所述车牌正样本和所述车牌负样本的颜色特征；

使用支持向量机SVM算法对所述车牌正样本和所述车牌负样本的LBP特征、HOG特征及颜色特征进行训练，获得车牌分类器。

其中，所述的多类型车牌检测方法还包括：

利用车牌分类器对所述车牌粗检区域进行检测，确定车牌的位置信息。

本发明提供一种多类型车牌检测系统，包括：

获取模块，用于获取车牌图像；

粗检模块，用于分别利用预定短车牌参数和预定长车牌参数对所述车牌图像进行车牌粗检，得到粗检区域；

筛选模块，用于利用车牌过滤器对所述粗检区域进行筛选，得到车牌粗检区域；

分类模块，用于利用车牌分类器对所述车牌粗检区域进行检测，确定车牌类别。

其中，包括车牌过滤器训练模块，用于分别获取每类车牌的视频图像，并保存对所述视频图像进行粗检后的图像；将每类所述图像中包含车牌图像的图像作为正样本，将每类所述图像中不包含车牌图像的图像作为负样本；利用局部二值模式LBP特征提取方法提取所述正样本和所述负样本的LBP特征；使用支持向量机SVM算法对所述正样本和所述负样本的LBP特征进行训练，获得车牌过滤器。

其中，包括车牌分类器训练模块，用于获取车牌正样本和车牌负样本；利用局部二值模式LBP特征提取方法提取所述车牌正样本和所述车牌负样本的LBP特征；使用方向梯度直方图HOG特征对所述车牌正样本和所述车牌负样本进行表征，形成方向梯度直方图HOG特征；提取所述车牌正样本和所述车牌负样本的颜色特征；使用支持向量机SVM算法对所述车牌正样本和所述车牌负样本的LBP特征、HOG特征及颜色特征进行训练，获得车牌分类器。

其中，所述的多类型车牌检测系统还包括：

位置模块，用于利用车牌分类器对所述车牌粗检区域进行检测，确定车牌的位置信息。

本发明所提供的多类型车牌检测方法，包括：获取车牌图像；分别利用预定短车牌参数和预定长车牌参数对所述车牌图像进行车牌粗检，得到粗检区域；利用车牌过滤器对所述粗检区域进行筛选，得到车牌粗检区域；利用车牌分类器对所述车牌粗检区域进行检测，确定车牌类别。

该方法通过对获取的车牌图像利用两种不同的窗口参数即预定短车牌参数和预定长车牌参数对车牌图像进行车牌粗检；能够得到较为准确的粗检区域。再通过对多种车牌图像进行训练的车牌过滤器对粗检区域进行筛选，确定具有车牌的车牌粗检区域，在利用通过对多种车牌图像进行训练得到的车牌分类器，可以精确的确定车牌粗检区域中的车牌是什么类型；该方法能够对多种车牌进行准确的识别，具有速度快、准确率高的特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种多类型车牌检测方法的流程图；

图2为本发明实施例提供的一种车牌粗检过程的流程图；

图3为本发明实施例提供的一种车牌过滤器的训练方法的流程图；

图4为本发明实施例提供的一种车牌分类器的训练方法的流程图；

图5为本发明实施例提供的另一多类型车牌检测方法的流程图；

图6为本发明实施例提供的一种多类型车牌检测系统的结构框图。

具体实施方式

本发明的核心是提供一种多类型车牌检测方法，该方法能够对多种车牌进行准确的识别；本发明的另一核心是提供一种多类型车牌检测系统。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，对于单帧识别模式，由于对实时性要求相对较低，可以通过先粗检找到车牌的大约位置，然后使用多个不同的车牌分类器去精确检测车牌。然而对于视频流模式，这种方法无法满足实时性的需求。

现有设备的使用的方法是先通过粗检的方式搜索到包含车牌的区域，然后再使用车牌分类器(例如基于Haar特征，使用Adaboost算法训练得到)进行精检测来判定车牌的真实位置。由于这些车牌的宽高比比较近似，号牌上的字符的个数以及分布比较接近。这种方法具有实时性好，检测率高的好处。但是不能实现对多种车牌进行识别。

本发明可以是使用视频流模式，对采集到得每帧图像进行车牌检测，视频流模式的好处是当前帧如果检测失败可以在下一帧对车牌继续进行检测。请参考图1，图1为本发明实施例提供的一种多类型车牌检测方法的流程图；该方法还可以包括：

步骤s100、获取车牌图像；

其中，这里获取车辆图像，可以是由普通摄像头采集的，也可以是高清、超高清等其他摄像头采集；也可以是其他能够进行图像采集的设备进行采集所获得的图像。

步骤s110、分别利用预定短车牌参数和预定长车牌参数对所述车牌图像进行车牌粗检，得到粗检区域；

其中，利用预定短车牌参数和预定长车牌参数可以是短宽高比和长宽高比，例如在较远的位置，使用大的宽高比能更完整包含车牌，使用小的宽高比可能只能包含大部分车牌。而较近的位置，使用小的宽高比更合适，使用大的宽高比会包含部分背景。

其中，优选的，请参考图2，图2为本发明实施例提供的一种车牌粗检过程的流程图；该方法可以包括：

步骤s200、将所述车辆图像转化为灰度图像，并计算所述灰度图像的边缘密度积分图；

其中，可以是将输入的RGB车辆图像转换为灰度图，使用一维离散微分模版[-101]在水平方向上对样本图像进行处理，得到水平梯度图像；使用一维离散微分模版[-101]^T在垂直方向上对样本图像进行处理，得到垂直梯度图像。

计算所述灰度图像的边缘密度积分图，使用积分图可以加快边缘密度的计算。为了避免一个区域的所有像素点的边缘值相加的重复计算，在算法中使用了积分图。积分图上的每个像素点(x,y)包含了从点(0,0)到点(x,y)所有的像素的边缘值，那么积分图

其中，用I(x,y)表示边缘计算后的灰度图，II(x,y)表示计算出来的积分图，

例如，任意的一个矩形可以使用以下的方式计算积分图，即如果矩形的左上角为(x_lt,y_lt)，右下角的坐标为(x_rb,y_rb)，那么该矩形的积分图可以利用下面的公式进行计算：

SUM_D＝II(x_rb,y_rb)-II(x_lt,y_rb)-II(x_rb,y_lt)+II(x_lt,y_lt)

其中，根据上面公式的描述可知，II(x_rb,y_rb)为(0,0)到(x_rb,y_rb)得所有像素的边缘值的和，II(x_lt,y_rb)为(0,0)到(x_lt,y_rb)得所有像素的边缘值的和，II(x_rb,y_lt)为(0,0)到(x_rb,y_lt)得所有像素的边缘值的和，II(x_lt,y_lt)为(0,0)到(x_lt,y_lt)得所有像素的边缘值的和。

步骤s210、通过所述灰度图像的边缘密度积分图，计算粗检窗口区域的平均边缘密度，保留平均边缘密度大于预定密度的窗口区域；

其中，通过所述灰度图像的边缘密度积分图，在该图上找到粗检窗口区域的位置，通过上述算法可以立即计算出粗检窗口区域的平均边缘密度，保留平均边缘密度大于预定密度(经过大量试验确定的)的窗口区域。

通过上述计算，可以使用积分图可以加快边缘密度的计算。为了避免一个区域的所有像素点的边缘值相加的重复计算，进一步加快了车牌检测的速度。

其中，优选的，所述通过所述灰度图像的边缘密度积分图，计算粗检窗口区域的平均边缘密度还包括将所述粗检窗口区域按照预定比例进行扩大。

其中，传统的Haar一般使用多尺度，多尺寸扫描，速度比较慢。这里为了加快车牌区域的检测速度，本发明使用一种对全图预先设置扫描尺寸以及尺度，然后再进行划窗扫描的方法。第一，由于含车牌区域的边缘密度是比较大的，因此可以通过仅扫描边缘密度大的区域来快速确认车牌的位置。第二，本发明为了加快检测速度在前期通过对大量视频中车牌区域的位置，估算了在一定的安装规则下，视频中不同位置的车牌区域的大小，制定了一套渐进车牌尺寸变化规则，以此来达到快速确认出牌区域。制定规则：车的行驶方向一般是从左上角往右下角或者从右上角往左下角。车牌出现在左上角或者右上角时，如果摄像机的安装满足安装规范，车牌的尺寸会在一定的范围内。经过统计可以得到车牌在监控范围内不同位置的最小尺寸和最大尺寸。把车牌的最小尺寸缩小20％作为第一搜索尺寸，把车牌的最大尺寸扩大20％作为第三搜索尺寸，取第一搜索尺寸和第三搜索尺寸的平均值作为第二搜索尺寸。把这三个尺寸作为图像第1行的搜索尺寸。在满足安装规范下，搜索窗口的大小会呈线性变化。本实施例中，最后一行的尺寸的大小为第一行的1.5倍。中间行的尺寸按1.5的倍数线性增加。即每行仅用三个区域进行滑块搜索，并且三个区域的尺寸是预先规定的。通过这个做法可以解决传统Haar检测多尺度，多尺寸扫描速度慢的问题。本实施例中的具体数字只是列举一个具体实施例，这些数字还可以是根据实际情况进行确定的其他数字。

且还可以使用3个不同尺度的方形区域对车头区域或者全图进行逐行扫描。在每一行中，每移动一个像素，计算该方形区域中所有像素点的灰度值，每行扫描结束后取一个极大值，仅保留灰度值大于阈值的框。这里是扫描时检测的一个具体实施方式，利用扫描的方法进行检测。

步骤s220、对所述窗口区域利用面积重合度进行聚类操作，并选取同一类中边缘密度最大的窗口区域；

步骤s230、将每类中边缘密度最大的窗口区域的窗口的长和宽均扩大预定数值，形成扩大后窗口区域；

其中，对于上述灰度值大于阈值的区域，利用上述区域的面积重合度进行聚类操作。只要两两区域之间的重合达到阈值就认为这两个区域属于一类。对于同一类的区域，仅需要保留边缘密度最大的那一个窗口区域。

根据上述的扫描方法可以知道，对于一个车牌区域，会有多个尺寸的框多该区域进行扫描，通常来说，仅包含车牌上的字符的扫描框的边缘密度就会比包含整个车牌的扫描框的边缘密度大。因此经过聚类后，同一类里面的最后保留的框都会比较小。最后得到的若干个区域，因为包含有车牌的区域可能并不能完全包含整个车牌，因此可以对这些区域进行上下左右各30％外扩。这里的30％数值也是举例说明，并不对本发明构成限定。

步骤s240、根据每个所述扩大后窗口区域进行水平投影，得到统计曲线，并根据所述统计曲线确定字符区域；

其中，外扩后，可以对每个区域进行水平投影，即统计每一行的非0的像素的个数。然后能得到一条统计曲线。对于车牌字符区域，在曲线上会有很高的值。首先在曲线上找到峰值，然后从峰值出发，分别往上下两个方向寻找大于等于阈值的点，从而确定疑似字符区域的上下边缘。阈值可以是通过大量车牌实际测试得到。对于背景，例如路面，一般不会有明显的峰值，因此投影得到的高度很会大。另外，如果水平投影得到的高度比较小，有可能车牌在较远的位置，字符较小，或者场景中存在一些较小的，但是边缘密度较大的物体。如果车牌较小，识别字符容易出错。因此对于水平投影结果较大或较小的区域，都进行删除处理，从而确定字符区域。

步骤s250、将所述字符区域的高作为划窗的高，将所述字符区域的高分别乘以预定短宽高比和预定长宽高比得到划窗的两个宽，确定短划窗的高和宽，以及长划窗的高和宽；

步骤s260、分别利用所述短划窗和所述长划窗对所述字符区域进行划窗运动，并记录计算得到的边缘密度值，保留边缘密度值最大的区域为粗检区域。

其中，确定疑似字符区域的上下边缘之后即字符区域后，本发明实施例可以再使用两个不同的宽高比，以水平投影得到的高度为高，乘以宽高比得到两个宽，从而确定划窗的宽度。即获得短划窗和长划窗；使用两个不同宽高比的划窗的原因是因为车牌在不同的位置，宽高比会不一样。例如在较远的位置，使用大的宽高比能更完整包含车牌，使用小的宽高比可能只能包含大部分车牌。而较近的位置，使用小的宽高比更合适，使用大的宽高比会包含部分背景。然后在每个候选区域进行划窗运动，同时记录划窗过程得到的方框的边缘密度值，最后仅保留边缘密度最大的区域。

经过上述过程，可以较为精确的得到含有车牌的粗检区域。

步骤s120、利用车牌过滤器对所述粗检区域进行筛选，得到车牌粗检区域；

其中，粗检得到的粗检区域量较多，如果对每个框都进行精确检测，需要的时间较多。因此本发明提出了精确检测方法。首先使用一个车牌过滤器，该过滤器仅对粗检区域进行是车牌还是非车牌的判断，过滤非车牌的粗检区域。

其中，这里的车牌过滤器可以是通过LBP得到的，其中，LBP(LocalBinaryPattern，局部二值模式)是一种用来描述图像局部纹理特征的算子。它具有旋转不变性和灰度不变性等显著的优点。原始的LBP算子定义为在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数(通常转换为十进制数即LBP码，共256种)，即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。

显而易见的是，上述提取的LBP算子在每个像素点都可以得到一个LBP“编码”，那么，对一幅图像(记录的是每个像素点的灰度值)提取其原始的LBP算子之后，得到的原始LBP特征依然是“一幅图片”(记录的是每个像素点的LBP值)。从上面的分析我们可以看出，这个“特征”跟位置信息是紧密相关的。直接对两幅图片提取这种“特征”，并进行判别分析的话，会因为“位置没有对准”而产生很大的误差。后来，研究人员发现，可以将一幅图片划分为若干的子区域，对每个子区域内的每个像素点都提取LBP特征，然后，在每个子区域内建立LBP特征的统计直方图。如此一来，每个子区域，就可以用一个统计直方图来进行描述；整个图片就由若干个统计直方图组成。

其中，优选的，请参考图3，图3为本发明实施例提供的一种车牌过滤器的训练方法的流程图；该方法可以包括：

步骤s300、分别获取每类车牌的视频图像，并保存对所述视频图像进行粗检后的图像；

其中，例如目前车牌共有9类，分别是民用蓝牌，民用黄牌，民用黑牌，警牌，单层军牌，双层军牌，单层武警，双层武警牌以及使馆牌照。

步骤s310、将每类所述图像中包含车牌图像的图像作为正样本，将每类所述图像中不包含车牌图像的图像作为负样本；

步骤s320、利用局部二值模式LBP特征提取方法提取所述正样本和所述负样本的LBP特征；

其中，对LBP特征向量进行提取的步骤具体可以为：

(1)首先将检测窗口划分为8×8的小区域(cell)。

(2)对于每个cell中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3x3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值。

(3)然后计算每个cell的直方图，即每个数字(假定是十进制数LBP值)出现的频率；然后对该直方图进行归一化处理。

(4)最后将得到的每个cell的统计直方图进行连接成为一个特征向量，也就是整幅图的LBP纹理特征向量。

其中，本发明的具体过程可以是：

将上述得到的正样本和负样本的尺寸改变尺寸为48x16。

使用LBP特征表征所有正样本与负样本，得到所有正样本和负样本的LBP特征。选择cell的尺寸为8x8，每个cell可以有58维的特征，对于48x16的块，可以得到12个cell，每个cell有58维特征，就可以得到696维特征。

步骤s330、使用支持向量机SVM算法对所述正样本和所述负样本的LBP特征进行训练，获得车牌过滤器。

其中，支持向量机(SupportVectorMachine，简称SVM)是一种快速的模式识别方法。SVM训练的样本集可以表示为：(x₁,y₁)，(x₂,y₂)，…，(x_n,y_n)。

其中：x_i∈R^d，R^d是训练样本集。y_i∈{-1,1}，y_i＝1表示x_i∈ω₁，y_i＝-1表示x_i∈ω₂，ω₁和ω₂是两种不同的分类。

对于线性分类，决策函数为g(x)＝ω^Tx+b，其中ω是分类面的梯度，而b是偏置。ω^Tx+b＝1和ω^Tx+b＝-1的分类间隔为SVM为了最大化分类间隔，需要求解经过推导g(x)表示为：其中α_i是训练得到的支持向量系数。

通过上述方法可以获得准确的车牌过滤器。通过该方法获取的车牌过滤器可以快速、准确的区分各类车牌的车牌区域和非车牌区域。

步骤s130、利用车牌分类器对所述车牌粗检区域进行检测，确定车牌类别。

其中，车牌过滤器仅需要判断图像是否包含车牌，因此使用的特征较少，速度较快。车牌分类器需要把当前认为是车牌的粗检结果再次进行精确分类，因此需要使用的特征更多。车牌分类器可以使用LBP特征，HOG特征以及颜色特征。最后把上述的LBP特征，HOG特征以及颜色特征串在一起，可以得到一个总的的特征例如为一个1138维的特征，然后使用支持向量机进行训练，得到车牌过滤器。

其中，优选的，请参考图4，图4为本发明实施例提供的一种车牌分类器的训练方法的流程图；该车牌分类器的训练方法可以包括：

步骤s400、获取车牌正样本和车牌负样本；

其中，获取车牌正样本与车牌负样本的过程可以是：

首先，获取摄像机在预定各个时段和预定天气条件下拍摄并储存大量停车场出入口的视频。在这些视频中，可以通过人工挑选出包含车辆的图像，需包含每类不同的车牌。

然后，对于每张包含车牌的图像，人工精确标注车牌所在的位置，作为车牌的正样本。运行程序，使用能够通过车牌过滤器的不包含车牌的粗检区域作为负样本。

步骤s410、利用局部二值模式LBP特征提取方法提取所述车牌正样本和所述车牌负样本的LBP特征；

其中，把车牌正样本和车牌负样本的图像的尺寸改变尺寸为48x16。

使用LBP特征表征所有正样本与负样本，得到所有正样本和负样本的LBP特征。选择cell的尺寸为8x8，每个cell可以有58维的特征，对于48x16的块，可以得到12个cell，每个cell有58维特征，就可以得到696维特征。

步骤s420、使用方向梯度直方图HOG特征对所述车牌正样本和所述车牌负样本进行表征，形成方向梯度直方图HOG特征；

其中，HOG(Histogramoforientedgradients)刻画图像的局部梯度幅值和方向特征。HOG允许块之间相互重叠，因此对光照变化和小量的偏移并不敏感，能有效地刻画出边缘特征。对于角度大的车标检测效果好。之后通过形成的HOG特征向量建立HOG模型，通过HOG模型进行多尺度检测，对图像中每个能通过HOG验证的区域，都用一个方框区域显示，提取通过HOG模型检测的方框区域。

HOG特征是灰度图的梯度统计信息，梯度主要存在于边缘的地方。可以根据如下公式计算梯度，获得HOG特征，其中I(x,y)表示在图像I上的一个点。

图像的一阶梯度的大小为：

$R\left(x,y\right)=\sqrt{{\left(I\left(x+1,y\right)-I\left(x-1,y\right)\right)}^2+{\left(I\left(x,y-1\right)-I\left(x,y+1\right)\right)}^2},$

梯度方向为：

Ang(x,y)＝arccos(I(x+1,y)-I(x-1,y)/R)。

直方图方向为9个，将每个分块中所有像素的一维梯度直方图累加到其中，就形成了最终的HOG特征。

其中，获取HOG特征的过程具体为：

首先，把车牌正样本和车牌负样本的图像的尺寸改变尺寸为48x16。

然后，使用HOG特征表征所有正样本与负样本，得到所有正样本和负样本的HOG特征。选择cell的尺寸为8x8，每个cell可以有31维的特征，对于48x16的块，可以得到12个cell，每个cell有31维特征，就可以得到372维特征。

步骤s430、提取所述车牌正样本和所述车牌负样本的颜色特征；

其中，对于每个车牌正样本和车牌负样本，颜色特征可以按以下方式提取：

步骤1、选取了每个样本的R通道，G通道和B通道的像素值。

步骤2、把每个样本从RGB颜色系统转换成YCrCb颜色系统，选取Cr和Cb两个通道。

步骤3、计算2xB-G-R和G+R-2*B。

步骤4、对于步骤1-3所提取的7个特征，把0-255像素值平均分成10个bin，统计48x16的块内所有像素的值的个数，然后填充到对应的bin中。例如，第一个bin的像素值的范围是0-25，那么分别统计48x16大小的块内，像素值为0,1,2，…，25的像素的个数，然后把这些像素的个数求和。

步骤5、对于每一个特征的10个bin，选取最大的那个bin的个数，然后使用每个bin的像素的个数去除以最大的那个bin，即对10个bin的值进行归一化。归一化后的值会介于0-1之间。最后再按顺序把7个特征的10个bin的归一化后的值连在一起，就能得到一个70维的特征。

其中，步骤s410到步骤s430并没有顺序过程，只要获取这三种特征信息就可以，并没有对获取的顺序进行限定。

步骤s440、使用支持向量机SVM算法对所述车牌正样本和所述车牌负样本的LBP特征、HOG特征及颜色特征进行训练，获得车牌分类器。

其中，根据上面的描述可以知道，由于使用了两个宽高比，因此经过了车牌分类器后，会有0个(不包含任何能满足的区域)到多个能满足的区域(有可能包含误检)。仅输出经过了车牌分类器后，置信度最高的那个区域。

另外，由于车牌过滤器与车牌分类器会存在一定的误检，例如把背景中的某些物体误认为车牌。需要在后续的车牌字符识别把这些误检去除。

基于上述技术方案，本发明实施例提供的多类型车牌检测方法，该方法通过对获取的车牌图像利用两种不同的窗口参数即预定短车牌参数和预定长车牌参数对车牌图像进行车牌粗检；能够得到较为准确的粗检区域。再通过对多种车牌图像进行训练的车牌过滤器对粗检区域进行筛选，确定具有车牌的车牌粗检区域，再利用通过对多种车牌图像进行训练得到的车牌分类器，可以精确的确定车牌粗检区域中的车牌是什么类型；该方法能够对多种车牌进行准确的识别，具有速度快、准确率高的特点。

请参考图5，图5为本发明实施例提供的另一多类型车牌检测方法的流程图；该方法还可以包括：

步骤s140、利用车牌分类器对所述车牌粗检区域进行检测，确定车牌的位置信息。

该方法不仅可以识别多类型车牌还可以得到每个车牌的精确位置信息。

本发明实施例提供了多类型车牌检测方法，可以通过上述方法能够实现对多种类型的车牌进行识别。

下面对本发明实施例提供的多类型车牌检测系统进行介绍，下文描述的多类型车牌检测系统与上文描述的多类型车牌检测方法可相互对应参照。

请参考图6，图6为本发明实施例提供的一种多类型车牌检测系统的结构框图；该系统可以包括：

获取模块100，用于获取车牌图像；

粗检模块200，用于分别利用预定短车牌参数和预定长车牌参数对所述车牌图像进行车牌粗检，得到粗检区域；

筛选模块300，用于利用车牌过滤器对所述粗检区域进行筛选，得到车牌粗检区域；

分类模块400，用于利用车牌分类器对所述车牌粗检区域进行检测，确定车牌类别。

其中，上述实施例中包括车牌过滤器训练模块，用于分别获取每类车牌的视频图像，并保存对所述视频图像进行粗检后的图像；将每类所述图像中包含车牌图像的图像作为正样本，将每类所述图像中不包含车牌图像的图像作为负样本；利用局部二值模式LBP特征提取方法提取所述正样本和所述负样本的LBP特征；使用支持向量机SVM算法对所述正样本和所述负样本的LBP特征进行训练，获得车牌过滤器。

其中，上述实施例中包括车牌分类器训练模块，用于获取车牌正样本和车牌负样本；利用局部二值模式LBP特征提取方法提取所述车牌正样本和所述车牌负样本的LBP特征；使用方向梯度直方图HOG特征对所述车牌正样本和所述车牌负样本进行表征，形成方向梯度直方图HOG特征；提取所述车牌正样本和所述车牌负样本的颜色特征；使用支持向量机SVM算法对所述车牌正样本和所述车牌负样本的LBP特征、HOG特征及颜色特征进行训练，获得车牌分类器。

其中，优选的，上述系统还可以包括：

位置模块，用于利用车牌分类器对所述车牌粗检区域进行检测，确定车牌的位置信息。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的多类型车牌检测方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种多类型车牌检测方法，其特征在于，包括：

获取车牌图像；

分别利用预定短车牌参数和预定长车牌参数对所述车牌图像进行车牌粗检，得到粗检区域；

利用车牌过滤器对所述粗检区域进行筛选，得到车牌粗检区域；

利用车牌分类器对所述车牌粗检区域进行检测，确定车牌类别。

2.如权利要求1所述的多类型车牌检测方法，其特征在于，对分别利用预定短车牌参数和预定长车牌参数对所述车牌图像进行车牌粗检，得到粗检区域包括：

将所述车辆图像转化为灰度图像，并计算所述灰度图像的边缘密度积分图；

通过所述灰度图像的边缘密度积分图，计算粗检窗口区域的平均边缘密度，保留平均边缘密度大于预定密度的窗口区域；

对所述窗口区域利用面积重合度进行聚类操作，并选取同一类中边缘密度最大的窗口区域；

将每类中边缘密度最大的窗口区域的窗口的长和宽均扩大预定数值，形成扩大后窗口区域；

根据每个所述扩大后窗口区域进行水平投影，得到统计曲线，并根据所述统计曲线确定字符区域；

将所述字符区域的高作为划窗的高，将所述字符区域的高分别乘以预定短宽高比和预定长宽高比得到划窗的两个宽，确定短划窗的高和宽，以及长划窗的高和宽；

分别利用所述短划窗和所述长划窗对所述字符区域进行划窗运动，并记录计算得到的边缘密度值，保留边缘密度值最大的区域为粗检区域。

3.如权利要求2所述的多类型车牌检测方法，其特征在于，所述通过所述灰度图像的边缘密度积分图，计算粗检窗口区域的平均边缘密度还包括将所述粗检窗口区域按照预定比例进行扩大。

4.如权利要求3所述的多类型车牌检测方法，其特征在于，所述车牌过滤器的训练方法包括：

分别获取每类车牌的视频图像，并保存对所述视频图像进行粗检后的图像；

将每类所述图像中包含车牌图像的图像作为正样本，将每类所述图像中不包含车牌图像的图像作为负样本；

利用局部二值模式LBP特征提取方法提取所述正样本和所述负样本的LBP特征；

使用支持向量机SVM算法对所述正样本和所述负样本的LBP特征进行训练，获得车牌过滤器。

5.如权利要求3所述的多类型车牌检测方法，其特征在于，所述车牌分类器的训练方法包括：

获取车牌正样本和车牌负样本；

利用局部二值模式LBP特征提取方法提取所述车牌正样本和所述车牌负样本的LBP特征；

使用方向梯度直方图HOG特征对所述车牌正样本和所述车牌负样本进行表征，形成方向梯度直方图HOG特征；

提取所述车牌正样本和所述车牌负样本的颜色特征；

使用支持向量机SVM算法对所述车牌正样本和所述车牌负样本的LBP特征、HOG特征及颜色特征进行训练，获得车牌分类器。

6.如权利要求1至5任一项所述的多类型车牌检测方法，其特征在于，还包括：

利用车牌分类器对所述车牌粗检区域进行检测，确定车牌的位置信息。

7.一种多类型车牌检测系统，其特征在于，包括：

获取模块，用于获取车牌图像；

粗检模块，用于分别利用预定短车牌参数和预定长车牌参数对所述车牌图像进行车牌粗检，得到粗检区域；

筛选模块，用于利用车牌过滤器对所述粗检区域进行筛选，得到车牌粗检区域；

分类模块，用于利用车牌分类器对所述车牌粗检区域进行检测，确定车牌类别。

8.如权利要求7所述的多类型车牌检测系统，其特征在于，包括车牌过滤器训练模块，用于分别获取每类车牌的视频图像，并保存对所述视频图像进行粗检后的图像；将每类所述图像中包含车牌图像的图像作为正样本，将每类所述图像中不包含车牌图像的图像作为负样本；利用局部二值模式LBP特征提取方法提取所述正样本和所述负样本的LBP特征；使用支持向量机SVM算法对所述正样本和所述负样本的LBP特征进行训练，获得车牌过滤器。

9.如权利要求7所述的多类型车牌检测系统，其特征在于，包括车牌分类器训练模块，用于获取车牌正样本和车牌负样本；利用局部二值模式LBP特征提取方法提取所述车牌正样本和所述车牌负样本的LBP特征；使用方向梯度直方图HOG特征对所述车牌正样本和所述车牌负样本进行表征，形成方向梯度直方图HOG特征；提取所述车牌正样本和所述车牌负样本的颜色特征；使用支持向量机SVM算法对所述车牌正样本和所述车牌负样本的LBP特征、HOG特征及颜色特征进行训练，获得车牌分类器。

10.如权利要求7所述的多类型车牌检测系统，其特征在于，还包括：

位置模块，用于利用车牌分类器对所述车牌粗检区域进行检测，确定车牌的位置信息。