CN102799882A - 基于视觉显著性的车牌定位方法 - Google Patents

Abstract

本发明提供了基于视觉显著性的车牌定位方法，涉及智能交通技术领域，具体包括提取车辆图像的显著图；提取候选车牌区域；通过候选车牌区域的几何特征、纹理特征去除不符合车牌区域条件的候选区域，得到车牌区域，完成车牌的定位。本发明所要解决的技术问题是提供一种基于视觉显著性的车牌定位方法，有效克服传统车牌定位方法对于车牌尺寸、光照、背景等因素的依赖，鲁棒性好，识别准确率高，并且能够直观，简单，因此能够满足车牌定位系统实时性的要求。

Description

基于视觉显著性的车牌定位方法

技术领域

本发明涉及智能交通技术领域，尤其涉及一种基于视觉显著性的车牌定位方法。

背景技术

车牌识别技术作为智能化交通的重要手段，能经过图像采集、车牌定位、字符分割、字符识别等一系列算法运算，识别出图像中的车辆牌照号码；它运用数字图像处理、模式识别对采集到的汽车图像进行处理，能够实时准确地自动识别出车牌的数字、字母及汉字字符，并以计算机可直接运行的数据形式给出识别结果，使得车辆的电脑化监控和管理成为现实。车牌识别技术的关键在于车牌定位、字符分割和字符识别三部分，其中车牌定位的准确与否直接决定后面的字符分割和识别效果，是影响整个车牌识别系统识别率的主要因素，是车牌识别技术中最为关键的一步。

常见的车牌定位方法主要有基于纹理特征分析的方法、基于边缘检测的方法、基于彩色图像定位的方法，这些方法各有所长，也有不足之处：

1.基于纹理特征分析的车牌定位方法

基于纹理特征分析的车牌定位方法，利用了车牌区域的字符由大量水平线段和垂直线段组成的特点，通过对检测图像进行行扫描和列扫描的方式找出这些水平线段和垂直线段，并记录这些线段端点相应的位置信息。分别统计图像在水平方向和垂直方向上的线段的个数，通过设置阈值的方式确定车牌区域，并通过线段端点的位置信息确定车牌区域的高度和宽度。

该方法对于牌照倾斜或变形以及光照不均、偏弱或偏强有很好的效果,但对噪声敏感,对于引入文字背景的图像会出现很多错误，往往得到多个候选区域。

2.基于边缘检测的车牌定位方法

基于边缘检测的车牌定位方法，利用了车牌区域的字符存在大量的边缘信息，分别向水平和垂直方向投影，在投影灰度分布图上满足该边缘特征的区域将有一平坦变化的曲线，由此可粗略地确定满足上述边缘特征的车牌候选区域在汽车图像的上下左右边界。

该方法的定位准确率较高、反应时间短、能有效去掉噪声,适合于包含多个车牌的图像,在多车牌图像的情况下定位速度也很快。但是对车牌严重褪色的情况,由于检测不到字符笔画的边缘会导致定位失败，在有外界干扰时，定位后的区域比车牌稍大。

3.基于彩色分割的车牌定位方法

基于彩色分割的车牌定位方法，利用了车牌区域背景和字符显著的颜色信息。在国内，车牌底色和字符颜色有着明确的规定，有白底黑字、黑底白字、蓝底白字、黄底黑字四种。将待检测图像从RGB彩色空间转换到HSV彩色空间，根据每种颜色在H、S、V分量上的取值范围，提取车牌的特殊颜色特征来区别车牌区域和背景区域，从而提取出候选区域，再结合长宽比等先验知识从候选区域中筛选出车牌区域。

该方法直观，简单且实现快速。但由于该方法的关键在于颜色的正确分割，因此在光照不均匀的环境下，很难获得较高的定位准确率。对于模糊图像以及背景中包含丰富颜色信息的图像，也很难获得好的定位效果。

除了上述方法之外，车牌定位方法还有基于小波变换的方法、基于遗传算法的方法以及基于数学形态学的方法等。这些方法的共同缺点是：一方面，建立过程复杂，计算量大，难以满足实时性的要求；另一方面，容易受天气、背景、光照等因素的限制，鲁棒性不好。

因此，当下需要迫切解决的一个技术问题就是：如何能够提出一种有效的措施，以解决现有技术中存在的问题。

发明内容

本发明所要解决的技术问题是提供一种基于视觉显著性的车牌定位方法，有效克服传统车牌定位方法对于车牌尺寸、光照、背景等因素的依赖，鲁棒性好，识别准确率高，并且能够直观，简单，因此能够满足车牌定位系统实时性的要求。

为了解决上述技术问题，本发明提供一种基于视觉显著性的车牌定位方法，包括：

提取车辆图像的显著图；

提取候选车牌区域；

通过候选车牌区域的几何特征、纹理特征去除不符合车牌区域条件的候选区域，得到车牌区域，完成车牌的定位。

进一步地，所述第提取车辆图像的显著图具体包括：

设置视觉显著性算法的参数，包括颜色、颜色权重、亮度、亮度权重、对比、对比权重、方向、方向权重和高斯金字塔塔层；

通过视觉显著性算法对原始车辆图像进行处理，获取原始车辆图像的显著图。

进一步地，所述提取候选车牌区域具体包括：

通过设置阈值th_bs对车辆图像的显著图进行二值化，在二值图中的白点表示显著点，黑点表示背景点；

对二值图进行水平投影，统计二值图中每一行白点的个数，将个数大于阈值门限th_h的行记录下来，并将满足阈值条件的连续行合并成行候选区域；

对行候选区域进行垂直投影，统计二值图中每一列白点的个数，将个数大于阈值门限th_v的列记录下来，并将满足阈值条件的连续列合并成候选区域。

进一步地，通过候选车牌区域的几何特征去除不符合车牌区域条件的候选区域，得到车牌区域具体包括以下步骤：

计算候选车牌区域的宽高比ratio_k：

若候选车牌区域的ratio_k取值范围为[2,4]，则保留此候选车牌区域；

否则从候选车牌区域中删除此区域；

按照计算结果更新候选车牌区域。

进一步地，通过候选车牌区域的纹理特征去除不符合车牌区域条件的候选区域，得到车牌区域具体包括以下步骤：

对候选车牌区域对应的原始车辆图像区域进行灰度化处理；

对候选车牌区域对应的灰度图进行二值化处理，得到候选车牌区域对应的二值图：

对于候选车牌区域对应的二值图，按列进行垂直投影：统计每一列标志符为1的像素点个数，并将其记入一维数组；

合并一维数组中相等的相邻元素，直到中两相邻元素互不相等，并将一维数组更新；

对更新后的一维数组进行高斯滤波，以消除干扰的波峰波谷，并再次更新一维数组；

统计一维数组中的波峰数目和波谷数目，并对车牌候选区域进行筛选，从而获取最后的车牌区域集合。

进一步地，所述高斯滤波的模板大小r取5，参数σ取0.05。

进一步地，所述并对车牌候选区域进行筛选具体为：

如果波峰数目不小于6，且波谷数目不小于5，则确定为车牌候选区域；

否则，则确定为非车牌候选区域。

综上，本发明提供的基于视觉显著性的车牌定位方法，根据人眼的视觉机理，在车辆图像中，车牌背景区域特殊的颜色特征以及字符与背景之间强烈的颜色对比是人眼最为关注的对象，因此通过模拟人眼的显著性视觉，不仅可以突出车牌区域抑制背景区域，而且对于车牌的形状畸变、色彩褪变和噪声干扰都有很强的鲁棒性。与传统车牌定位方法相比，具有更好的通用性，而且分割结果更符合人眼观测的结果，适合于复杂背景条件下的多车牌定位。

此外，与基于小波变换的方法、基于遗传算法的方法以及基于数学形态学的方法相比，本发明直观，简单，速度快，具有更好的实时性。

附图说明

图1是本发明基于视觉显著性的车牌定位方法的流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见图1，给出一种基于视觉显著性的车牌定位方法的流程示意图，具体的包括：

步骤一、生成车辆图像的显著图

设置视觉显著性算法GBVS（Graph-based visual saliency）的参数：C（颜色）、CW（颜色权重）、I（亮度）、IW（亮度权重）、R（对比）、RW（对比权重）、O（方向）、OW（方向权重）、Levels（高斯金字塔塔层）。本实施例中，C、I、R、O分别取为1、0、1、0，表示显著图仅包含颜色分量和对比度分量；CW、IW、RW、OW分别取为2、0、1、0，表示显著图中颜色分量占显著度的三分之二，而对比度分量则占显著度的三分之一；Levels取{2,3,4}，表示取高斯金字塔的第2、3、4层。

然后，通过视觉显著性算法GBVS对原始车辆图像f(x,y)进行处理，得到原始车辆图像的显著图s(x,y)，该显著图反映了原始车辆图像中每个像素点的视觉显著程度。

步骤二、提取候选车牌区域

首先，通过设置阈值th_bs对车辆图像的显著图进行二值化：

$\mathrm{bs}(x,y)=\left\{\begin{array}{c}0,s(x,y)<{\mathrm{th}}_{\mathrm{bs}}\\ 255,s(x,y)\&GreaterEqual;{\mathrm{th}}_{\mathrm{bs}}\end{array}\right.---\left(1\right)$

其中bs(x,y)是显著图s(x,y)的二值图；本实施例中，th_bs取为显著图中最大灰度值的0.6。二值图中的白点表示显著点，黑点表示背景点。

其次，对二值图进行水平投影，统计二值图中每一行白点的个数，将个数大于阈值门限th_h的行记录下来，若满足阈值条件的连续行的个数大于th_r，则将其合并成行候选区域Ac[i](i＝1,2,…k_c)。其中，Ac[i](i＝1,2,…k_c)记录了k_c个行候选区域的起始行和结束行的位置信息。实施例中th_h优选取70，th_r优先取30（该门限阈值的值不限定在此，本领域技术人员可以根据实际需要进行具体设定）。

然后，对行候选区域进行垂直投影，统计二值图中每列白点的个数，将个数大于阈值门限th_v的列记录下来，若满足阈值条件的连续列的个数大于th_c，则将其合并成行候选区域A[i](i＝1,2,…k)。其中，A[i](i＝1,2,…k)记录了k个候选区域的位置信息。实施例中th_v优选取20，th_c优先取50（该门限阈值的值不限定在此，本领域技术人员可以根据实际需要进行具体设定）。

步骤三、筛选车牌候选区域

通过候选区域的几何特征和纹理特征去除不满足车牌区域条件的候选区域，得到车牌区域，依次按照下面的步骤进行：

1.通过几何特征筛选车牌候选区域，具体步骤如下：

计算候选车牌区域A[i](i＝1,2,…k)的宽高比ratio_k：

${\mathrm{ratio}}_k=\frac{w}{h}(w>h)---\left(2\right)$

其中，w为候选车牌区域的宽度，h为候选车牌区域的高度。若候选车牌区域的ratio_k取值范围为[2,4]，则保留此候选车牌区域，否则从A[i](i＝1,2,…k)中删除此区域。遍历整个A[i](i＝1,2,…k)，并将候选车牌区域更新为A[i](i＝1,2,…n_c)。

2.通过纹理特征再次筛选车牌候选区域，具体步骤如下：

（1）对候选车牌区域A[i]对应的原始车辆图像区域进行灰度化处理。在我国，蓝底白字的车牌、黄底黑字的车牌最为常见，且在绿色分量上的反差值最大。因此，为了减少不必要的彩色-灰度转化的运算，只通过候选车牌区域提取绿色分量得到选车牌区域A[i]对应的灰度图g_ai(x,y)，转化关系为：

g_ai(x,y)＝f_aig(x,y)    （3）

其中(x,y)代表图像中像素点的位置，f_aig(x,y)代表候选车牌区域A[i]中(x,y)处的绿色分量。

（2）对候选车牌区域A[i]对应的灰度图通过OTSU算法进行二值化处理，得到候选车牌区域A[i]对应的二值图：

$b_{\mathrm{ai}}(x,y)=\left\{\begin{array}{c}0,g_{\mathrm{ai}}(x,y)<{\mathrm{th}}_{\mathrm{ai}}\\ 255,g_{\mathrm{ai}}(x,y)\&GreaterEqual;{\mathrm{th}}_{\mathrm{ai}}\end{array}\right.---\left(4\right)$

其中th_ai是根据OTSU算法得出的二值化阈值。

（3）对于候选车牌区域A[i]对应的二值图，并按列进行垂直投影：统计每一列标志符为1的像素点个数num_j(j＝0,1,…m-1)，并将其记入一维数组b_i[p]：b_i[j]=num_j。

（4）合并一维数组b_i[p]中相等的相邻元素，直到b_i[p]中两相邻元素互不相等，并将一维数组更新为b_i[q]，其中q为新的一维数组元素的个数。

（5）用大小为r，参数为σ的模板对一维数组b_i[q]进行高斯滤波，以消除干扰的波峰波谷，并更新一维数组b_i[q]。本实施例中，高斯滤波模板大小r取5，参数σ取0.05。

（6）分别统计一维数组b_i[q]中的波峰数目num_p和波谷数目num_b，并通过如下方式对车牌候选区域A[i]进行筛选：

如果num_p≥6且num_b≥5，则A[i]为车牌候选区域；

否则，则A[i]为非车牌候选区域。

（7）遍历A[i](i＝1,2,…n_c)中的每个候选车牌区域，将步骤（6）中的非车牌候选区域从A[i](i＝1,2,…n_c)中删除，保留车牌候选区域，得到最后的车牌区域集合A[i](i＝1,2,…n)。

本发明平均车牌定位准确率为97.3%，平均车牌定位时间为486ms。具体如下表给出的本发明与当前四种车牌定位方法的实验结果对比表。

本发明所述的基于视觉显著性的车牌定位方法可用于城市道路智能交通系统中车牌识别的应用。

以上对本发明所提供的一种基于视觉显著性的车牌定位方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于视觉显著性的车牌定位方法，其特征在于，包括：。

提取车辆图像的显著图；

提取候选车牌区域；

通过候选车牌区域的几何特征、纹理特征去除不符合车牌区域条件的候选区域，得到车牌区域，完成车牌的定位。

2.根据权利要求1所述的基于视觉显著性的车牌定位方法，其特征在于，所述第提取车辆图像的显著图具体包括：

设置视觉显著性算法的参数，包括颜色、颜色权重、亮度、亮度权重、对比、对比权重、方向、方向权重和高斯金字塔塔层；

通过视觉显著性算法对原始车辆图像进行处理，获取原始车辆图像的显著图。

3.根据权利要求1所述的基于视觉显著性的车牌定位方法，其特征在于，所述提取候选车牌区域具体包括：

通过设置阈值th_bs对车辆图像的显著图进行二值化，在二值图中的白点表示显著点，黑点表示背景点；

对二值图进行水平投影，统计二值图中每一行白点的个数，将个数大于阈值门限th_h的行记录下来，并将满足阈值条件的连续行合并成行候选区域；

对行候选区域进行垂直投影，统计二值图中每一列白点的个数，将个数大于阈值门限th_v的列记录下来，并将满足阈值条件的连续列合并成候选区域。

4.根据权利要求1所述的基于视觉显著性的车牌定位方法，其特征在于，通过候选车牌区域的几何特征去除不符合车牌区域条件的候选区域，得到车牌区域具体包括以下步骤：

计算候选车牌区域的宽高比ratio_k：

若候选车牌区域的ratio_k取值范围为[2,4]，则保留此候选车牌区域；

否则从候选车牌区域中删除此区域；

按照计算结果更新候选车牌区域。

5.根据权利要求1所述的基于视觉显著性的车牌定位方法，其特征在于，通过候选车牌区域的纹理特征去除不符合车牌区域条件的候选区域，得到车牌区域具体包括以下步骤：

对候选车牌区域对应的原始车辆图像区域进行灰度化处理；

对候选车牌区域对应的灰度图进行二值化处理，得到候选车牌区域对应的二值图：

对于候选车牌区域对应的二值图，按列进行垂直投影：统计每一列标志符为1的像素点个数，并将其记入一维数组；

合并一维数组中相等的相邻元素，直到中两相邻元素互不相等，并将一维数组更新；

对更新后的一维数组进行高斯滤波，以消除干扰的波峰波谷，并再次更新一维数组；

统计一维数组中的波峰数目和波谷数目，并对车牌候选区域进行筛选，从而获取最后的车牌区域集合。

6.根据权利要求5所述的基于视觉显著性的车牌定位方法，其特征在于，所述高斯滤波的模板大小r取5，参数σ取0.05。

7.根据权利要求5所述的基于视觉显著性的车牌定位方法，其特征在于，所述并对车牌候选区域进行筛选具体为：

如果波峰数目不小于6，且波谷数目不小于5，则确定为车牌候选区域；

否则，则确定为非车牌候选区域。

Images