CN103324958B - 一种复杂背景下基于投影法和svm的车牌定位方法 - Google Patents

Abstract

本发明公开了一种复杂背景下基于投影法和SVM的车牌定位方法，包括以下步骤：（1）收集若干车牌样本，提取得到SVM特征向量；（2）将采集到的车牌照片转换到HSV颜色空间，并提取亮度分量图；（3）对所提取的亮度分量图进行垂直边缘检测以及二值化，获得二值图像；（4）对二值图像进行水平投影分析，确定车牌所在区域的水平条带；（5）在采集到的车牌照片中，选取车牌所在的水平条带区域；（6）利用检测窗口遍历水平条带区域，提取检测窗口中水平条带区域的SVM特征值，确定车牌候选区域，将车牌候选区域进行合并，得到车牌区域。本发明适用于在高分辨率以及背景复杂的车辆抓拍照片中进行车牌定位，定位效率高，定位结果准确。

Description

一种复杂背景下基于投影法和SVM的车牌定位方法

技术领域

本发明涉及数字图像处理领域，具体涉及一种复杂背景下基于投影法和SVM的车牌定位方法。

背景技术

随着经济不断地高速发展，汽车已经越来越多的走进人们的生活中。车辆数目的迅猛增长给交通管理带来了不可小觑的压力与考验，智能交通系统(ITS)在这种情况下应运而生。车牌是一辆车的重要身份标志，因此车牌识别是一项具有重要意义的技术。

授权公告号为CN102262726B的发明公开了一种基于FPGA多核的车牌识别系统，包括至少五个软核，所有软核挂载在FPGA共享缓冲上，并通过共享缓冲实现数据交互，相邻软核之间通过快速点对点连接总线实现命令交互；依据所实现的功能不同，所有软核被划分归类为四个模块，分别为:对输入的图像进行增强、二值化及灰度化处理的图像预处理模块；定位车牌在图像中的所在区域的车牌定位模块；对车牌所在区域进行分割的车牌分割模块；对分割所得每个子区域上的字符进行识别的字符识别模块；将识别的字符排列成串，得到车牌号的同步合成模块。

车牌识别过程中，通常首先对车牌区域进行定位，然后进一步对定位出的车牌区域进行字符分割以及字符的识别。授权公告号为CN102054169B的发明公开了一种车牌定位方法，包括以下步骤：(1)粗略扫描车牌：对车牌灰度图垂直边缘提取形成垂直边缘二值图，扫描垂直边缘二值图查找疑是车牌行，得到一个或者多个疑是车牌扫描区域；(2)粗略定位车牌：在车牌灰度图中将步骤(1)得到的所有疑是车牌扫描区域进行单独处理，分别对所述各疑是车牌扫描区域进行垂直边缘提取和水平边缘提取，得到至少一个车牌粗略定位区域；(3)精确定位车牌：对所述的车牌粗略定位区域一一进行二值化处理，得到最终车牌。本发明的车牌定位方法避免使用地感线圈，可以对多车道车牌进行定位，且有效的减小了计算量，定位效果较好。

公路上或收费站卡口的抓拍机所拍摄的图片一般具备高分辨率、背景复杂等特征，针对这种类型的图片，一些传统的车牌定位方法要么在准确率上，要么在实时性上都无法取得令人满意的效果。因此，专门针对具有高分辨率、背景复杂的图片的车牌定位技术成为研究的热点之一。

发明内容

本发明提供了一种复杂背景下基于投影法和SVM的车牌定位方法，适用于在高分辨率以及背景复杂的车辆抓拍照片中进行车牌定位，定位效率高，定位结果准确。

一种复杂背景下基于投影法和SVM的车牌定位方法，包括以下步骤：

(1)收集若干车牌样本，对所有车牌样本进行离线训练，提取得到SVM特征向量。

车牌样本的SVM特征向量包括：HSV颜色空间的颜色特征向量和车牌样本经Gabor变化后图像幅值的均值和标准差所反映的纹理特征向量。

具体操作时，提取HSV颜色空间的颜色直方图作为颜色特征向量，提取Gabor变化后图像幅值的均值和标准差作为纹理特征向量，将颜色特征向量和纹理特征向量一起送入SVM训练机中，输出SVM特征向量。

(2)将采集到的车牌照片转换到HSV颜色空间，并提取亮度分量图。

采集到的车牌照片通常为RGB颜色空间，将车牌照片由RGB颜色空间转换到HSV颜色空间。

(3)对所提取的亮度分量图进行垂直边缘检测以及二值化，获得二值图像。

HSV颜色空间中提取出亮度分量图后，与垂直边缘算子模板卷积，得到边缘垂直图像。

进行垂直边缘检测以及二值化后，为了减小二值图像中的干扰点和无用点，通过进一步滤波获得二值图像。

滤波时，结合车牌图像的特点分三步进行：

首先，依据车牌区域面积滤除小的孤立噪声点；

其次，进行垂直滤波，滤除狭长的噪声区域；

最后，进行水平滤波，滤除一些类边框区域。

(4)对二值图像进行水平投影分析，确定车牌所在区域的水平条带。

进行水平投影分析时，对获得的水平投影图像首先进行均值滤波，以便消除毛刺，然后进行平滑处理，然后根据水平投影图像的投影分布找出满足带宽的水平条带。

(5)在采集到的车牌照片中，选取与步骤(4)中的水平条带相对应的区域作为车牌所在的水平条带区域。

步骤(2)～步骤(4)的目的在于从采集到的车牌照片中找到车牌所在的水平条带区域，因此，经过一系列处理后，获得了车牌所在区域的水平条带，在采集到的车牌照片中找到该水平条带的位置，即为车牌所在的水平条带区域。

(6)利用检测窗口遍历步骤(5)中的水平条带区域，同时利用步骤(1)中的SVM特征向量提取检测窗口中水平条带区域的SVM特征值，若SVM特征值大于第一阈值，则检测窗口中的水平条带区域即为车牌候选区域，将任意两个重叠面积超过第二阈值的车牌候选区域进行合并，得到车牌区域。

第一阈值的范围依据步骤(1)中所有车牌样本的SVM特征参数进行确定，通常情况下，第一阈值为0。

利用检测窗口遍历步骤(5)中的水平条带区域时，固定检测窗口的大小，若水平条带区域的尺寸小于检测窗口的尺寸，将水平条带区域放大，直至大于或等于检测窗口的尺寸。

作为优选，检测窗口的高度为15～20像素，检测窗口的宽度为45～50像素。通常下，选取检测窗口的高度为15像素，检测窗口的宽度为45像素。

将任意两个重叠面积超过第二阈值的车牌候选区域进行合并之前，将车牌候选区域缩放回原始大小。

第二阈值为检测窗口面积的40％～60％。第二阈值越大，则参与合并的车牌候选区域越少，不易形成连续的车牌区域，第二阈值越小，则参与合并的车牌候选区域越多，最终形成的车牌区域范围过大，不能很好的实现车牌的定位。通常情况下，第二阈值为检测窗口面积的50％。

本发明复杂背景下基于投影法和SVM的车牌定位方法，在前期进行了垂直边缘检测和水平投影分析，保证了车牌定位的准确率，通过SVM进一步降低了整个方法的误识率，与单一的SVM方法相比，提高了方法的实时性，可对复杂背景、倾斜、形变、污浊、部分遮挡、光线变化的车牌图片进行有效定位，极大地提高了公路和收费站卡口抓拍照片中车牌的定位率。

附图说明

图1为本发明复杂背景下基于投影法和SVM的车牌定位方法的流程图；

图2为采集到的车牌照片的亮度分量图像；

图3为图2未滤波的二值图像；

图4为图2滤波后的二值图像；

图5为平滑前的水平投影图像；

图6为平滑后的水平投影图像；

图7为车牌定位结果。

具体实施方式

下面结合附图，对本发明复杂背景下基于投影法和SVM的车牌定位方法做详细描述。

如图1所示，一种复杂背景下基于投影法和SVM的车牌定位方法，包括以下步骤：

(1)收集若干车牌样本，对所有车牌样本进行离线训练，提取得到SVM特征向量。

将车牌样本转换到HSV颜色空间，将HSV颜色空间量化到72维，提取颜色直方图作为颜色特征向量。

选取方向和尺度各不相同的24个(尺度数为6，方向数为4)Gabor滤波器对车牌样本进行滤波，给定一个大小为X×Y的图像，图像经每个滤波器变换之后表示为T_ij(x，y)，取滤波器变换后图像幅值的均值和标准差作为纹理特征向量，计算公式如下：

${\mathrm{\μ}}_{ij}=\frac{1}{XY}\underset{x=1}{\overset{X}{\Σ}}\underset{y=1}{\overset{Y}{\Σ}}\left|T_{ij}(x,y)\right|$

${\mathrm{\σ}}_{ij}=\frac{1}{XY}\underset{x=1}{\overset{X}{\Σ}}\underset{y=1}{\overset{Y}{\Σ}}\sqrt{{\left(\right|T_{ij}(x,y)|-{\mathrm{\μ}}_{ij})}^2}$

其中，μ_ij是经滤波器变换后的图像幅值的均值，σ_ij是经滤波器变换后图像幅值的标准差。

将颜色特征向量和纹理特征向量组合，得到120维的特征向量如下：

$\stackrel{\→}{f}=\[H_0,...,H_{71},{\mathrm{\μ}}_{11},{\mathrm{\σ}}_{11},...{\mathrm{\μ}}_{64},{\mathrm{\σ}}_{64}\]$

其中，前72维H₀～H₇₁是HSV直方图颜色特征向量，后48维是Gabor纹理特征向量；μ₁₁下标中的第一个数字代表行数，第二个数字代表列数；

由于颜色特征向量和纹理特征向量的物理意义不同，不具备可比性，因此，需要对颜色特征向量和纹理特征向量进行外部归一化，归一化公式如下：

${f_i}^{\′}=\frac{f_i-f_{min}}{f_{\max }-f_{min}},i=1,2...,120$

其中，f_i'是归一化后的特征向量，取值范围为[0,1]，f_i是特征向量的第i维特征值，f_max和f_min分别是特征向量中的最大值和最小值。

(2)将采集到的车牌照片转换到HSV颜色空间，并提取亮度分量图(如图2所示)。

将采集到的车牌照片由RGB颜色空间转换到HSV颜色空间，然后，提取亮度分量图。

(3)对所提取的亮度分量图进行垂直边缘检测以及二值化(如图3所示)，进一步滤波，获得二值图像(如图4所示)。

HSV颜色空间中提取出亮度分量图后，与垂直边缘算子模板卷积，得到边缘垂直图像。

进行垂直边缘检测以及二值化后，为了减小二值图像中的干扰点和无用点，通过进一步滤波获得二值图像。

滤波时具体操作如下：

A、将面积小于阈值K1的连通域置为背景色；

B、将高度大于阈值K2或高度小于阈值K3的连通域置为背景色；

C、二值化后的图像进行逐行扫描，在宽度为阈值K4的范围内，若连续有效的像素点的个数大于阈值K5，则将这些像素点置为背景色。

K1为滤除孤立噪点阈值，通常设为5个像素(即连通域所包围面积中像素的个数小于5个的设为背景色)，K2为车牌字符高度上限，通常设为80个像素，K3为车牌字符高度下限，通常设为20个像素，K4、K5为去除水平框阈值，通常情况下K4设为60个像素，K5设为30个像素。

(4)对二值图像进行水平投影分析，确定车牌所在区域的水平条带。

依据下式对二值图像进行水平投影：

$I\left(k\right)=\underset{i=1}{\overset{N}{\Σ}}f(k,i),k=1,2,...M$

其中，I为水平投影图像，k为二值图像中的像素所在行数，i为二值图像中的像素所在列数，f为二值图像；M为二值图像的高度，N为二值图像的宽度。

对水平投影图像进行平滑滤波，消除毛刺，平滑滤波采用均值滤波，公式如下：

$g(x,y)=\frac{\underset{s=-a}{\overset{a}{\Σ}}\underset{t=-b}{\overset{b}{\Σ}}w(s,t)f(x+s,y+t)}{\underset{s=-a}{\overset{a}{\Σ}}\underset{t=-b}{\overset{b}{\Σ}}w(s,t)}$

其中，g(x，y)为滤波后水平投影图像(如图6所示)，f(x，y)为原水平投影图像(如图5所示)，w(s，t)为掩膜图像；a为掩膜图像的宽度，b为掩膜图像的高度。其中，图5、图6中横坐标为图像高度，纵坐标为白色像素的个数，即投影值。

选取0.2倍投影峰值作为阈值T1，将经过平滑滤波的水平投影图像中小于阈值T1的点置为0，将峰的宽度大于阈值T2且小于阈值T3的条带确定为车牌所在区域的水平条带。T2、T3分别为车牌高度的上限和下限，考虑噪声的影响需要有容错，通常T2选为100个像素，T3选为20个像素。

(5)在采集到的车牌照片中，选取与步骤(4)中的水平条带相对应的区域作为车牌所在的水平条带区域。

(6)利用检测窗口遍历步骤(5)中的水平条带区域，同时利用步骤(1)中的SVM特征向量提取检测窗口中水平条带区域的SVM特征值。

检测窗口的大小固定，通常为Height*Width＝15*45，其中Height是检测窗口的高度，Width是检测窗口的宽度，单位均为像素。，若水平条带区域的尺寸小于检测窗口的尺寸，将水平条带区域放大，直至大于或等于检测窗口的尺寸。

若SVM特征值大于第一阈值(第一阈值为0)，则检测窗口中的水平条带区域即为车牌候选区域，将车牌候选区域缩放回原始大小。

将任意两个重叠面积超过检测窗口面积50％的车牌候选区域进行合并，得到车牌区域，如图7所示。

Claims (8)

1.一种复杂背景下基于投影法和SVM的车牌定位方法，其特征在于，包括以下步骤：

(1)收集若干车牌样本，对所有车牌样本进行离线训练，提取得到SVM特征向量；

(2)将采集到的车牌照片转换到HSV颜色空间，并提取亮度分量图；

(3)对所提取的亮度分量图进行垂直边缘检测以及二值化，获得二值图像；

(4)对二值图像进行水平投影分析，确定车牌所在区域的水平条带；

(5)在采集到的车牌照片中，选取与步骤(4)中的水平条带相对应的区域作为车牌所在的水平条带区域；

(6)利用检测窗口遍历步骤(5)中的水平条带区域，同时利用步骤(1)中的SVM特征向量提取检测窗口中水平条带区域的SVM特征值，若SVM特征值大于第一阈值，则检测窗口中的水平条带区域即为车牌候选区域，将任意两个重叠面积超过第二阈值的车牌候选区域进行合并，得到车牌区域。

2.如权利要求1所述的复杂背景下基于投影法和SVM的车牌定位方法，其特征在于，所述步骤(1)中，车牌样本的SVM特征向量包括：HSV颜色空间的颜色特征向量和车牌样本经Gabor变化后图像幅值的均值和标准差所反映的纹理特征向量。

3.如权利要求1所述的复杂背景下基于投影法和SVM的车牌定位方法，其特征在于，所述步骤(3)中，进行垂直边缘检测以及二值化后，进一步滤波获得二值图像。

4.如权利要求1所述的复杂背景下基于投影法和SVM的车牌定位方法，其特征在于，所述步骤(6)中，第一阈值为0。

5.如权利要求1所述的复杂背景下基于投影法和SVM的车牌定位方法，其特征在于，所述步骤(6)中，第二阈值为检测窗口面积的40％～60％。

6.如权利要求1所述的复杂背景下基于投影法和SVM的车牌定位方法，其特征在于，所述步骤(6)中，检测窗口的高度为15～20像素，检测窗口的宽度为45～50像素。

7.如权利要求6所述的复杂背景下基于投影法和SVM的车牌定位方法，其特征在于，所述步骤(6)中，利用检测窗口遍历步骤(5)中的水平条带区域时，固定检测窗口的大小，若水平条带区域的尺寸小于检测窗口的尺寸，将水平条带区域放大，直至大于或等于检测窗口的尺寸。

8.如权利要求7所述的复杂背景下基于投影法和SVM的车牌定位方法，其特征在于，所述步骤(6)中，将任意两个重叠面积超过第二阈值的车牌候选区域进行合并之前，将车牌候选区域缩放回原始大小。