CN109460722A - 一种车牌智能识别方法 - Google Patents

Abstract

本发明公开了一种车牌智能识别方法，包括如下步骤：S1获取包含车牌的车辆图像，对图像进行预处理；S2对预处理后的图像进行车牌区域粗定位；S3对车牌区域粗定位后的图像进行车牌精定位；S4对精定位所得车牌图像进行字符裁剪处理；S5对裁剪所得字符图像归一化和特征提取处理；S6采用模板匹配算法进行车牌字符自动识别。本发明解决了倾斜车牌定位不准确的问题，具有识别准确度高、对倾斜车牌识别效果好的优点。

Description

一种车牌智能识别方法

技术领域

本发明涉及车牌的智能识别领域，具体涉及一种车牌智能识别方法。

背景技术

随着科学技术的发展，数字图像处理的应用愈加广泛，除了对视觉效果的增强之外，图像识别的应用场景也越来越多，随着科技数字化、智能化，图像识别技术越来越多地应用于军事、智能交通领域中。随着智能交通系统(Intelligent Transport System,ITS)的迅速发展，车牌自动识别技术早已成为图像处理与模式识别技术在智能交通领域重要的研究课题之一，是实现交通管理智能化的重要环节。车牌识别技术可运用于道路交通监控、交通事故现场勘查、交通违章自动记录、停车场自动安全管理、高速公路自动收费系统等方面。

目前车牌自动识别方式包括以下步骤：1)车牌获取；2)车牌字符分割；3)字符识别。调研发现，目前车牌自动识别方式存在以下弊端：1、对系统安装要求较高，车牌识别系统不具有普适性；2、车牌识别准确率易受环境影响，如车牌污损、光照不足等；3、传统方法对于倾斜车牌的定位不准确，容易导致倾斜车牌的识别准确率低。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种车牌智能识别方法。本发明解决了倾斜车牌的定位不准确的问题，本算法具有识别准确率高、对倾斜车牌识别效果好等优点。

本发明采用如下技术方案：

一种车牌智能识别方法，包括如下步骤：

S1获取包含车牌的车辆图像，对图像进行预处理；

S2对预处理后的图像进行车牌区域粗定位；

S3对车牌区域粗定位后的图像进行车牌精定位；

S4对精定位所得车牌图像进行字符裁剪处理；

S5对裁剪所得字符图像归一化和特征提取处理；

S6采用模板匹配算法进行车牌字符自动识别。

所述对预处理后的图像进行车牌区域粗定位，具体如下：

S2.1采用基于Haar特征的Adaboost分类器算法进行车牌定位；

S2.2在分类器算法定位的基础上进行区域扩展完成车牌区域粗定位。

所述在分类器算法定位的基础上进行区域扩展完成车牌区域粗定位，具体为：

设区域扩展后粗定位图像的高H和宽W分别为：

H＝H₁+2*offset_H

W＝W₁+2*offset_W

其中，H₁、W₁为分类器算法定位图像的高和宽，offset_H和offset_W为区域扩展偏置量；

其中，

所述对车牌区域粗定位后的图像进行车牌精定位，具体为：

S3.1采用随机抽样一致性算法对粗定位后的车牌进行上下边界拟合；

S3.2基于纹理方向场对车牌字符矫正；

S3.3采用垂直Sobel算子进行边缘检测；

S3.4采用垂直投影法进行左右边界定位。

所述S3.1采用随机抽样一致性算法对粗定位后的车牌进行上下边界拟合，具体为：

S3.1.1将粗定位后的车牌图像进行多阈值的自适应二值化；

S3.1.2对每个二值图像进行连通域分析以寻找满足宽高比的轮廓，轮廓的判定条件为：

其中W_k、H_k为第k个连通域的宽和高；μ、η为连通域判定阈值。

寻找出所有满足条件的矩形轮廓，记录矩形的上下边界点的位置，记所有上边界点的集合为Ω^up，所有边界点的集合为Ω^down；

S3.1.3采用随机抽样一致性算法分别对上下边界点Ω^up和Ω^down进行直线拟合。

所述S4对精定位所得车牌图像进行字符裁剪处理，具体为：

S4.1采用最大类间方差法分离出车牌的字符与背景；

S4.2确定垂直方向上图像开始裁剪位置SI_i和图像结束裁剪位置EI_i；

S4.3根据SI_i和EI_i对图像进行裁剪。

所述S5对裁剪所得字符图像归一化和特征提取处理，具体为：

S5.1对车牌字符图像进行归一化处理；

S5.2对车牌字符图像进行特征提取。

所述S5.2对车牌字符图像进行特征提取，其特征为：

将车牌字符图像在宽度方向均分为两部分，在高度方向上均分为三部分，分别计算每部分像素之和，并以此作为车牌字符图像的特征向量；

所述S5对裁剪所得字符图像归一化和特征提取处理，具体为：

首先对模板图像进行特征提取，获得模板图像的特征向量，然后求得模板图像特征向量与车牌字符图像特征向量的欧拉距离，取最小距离的模板字符作为待识别的车牌字符；

欧拉公式表示方式为：

本发明的有益效果：

1、本发明具有识别准确度高、算法简单等优点。

2、本发明显著提高了车牌智能识别的能力，提供了一种解决倾斜车牌识别的方法，有效的减少了拍摄仪器角度带来的车牌倾斜，避免了倾斜车牌的识别不准确问题。

附图说明

图1是本发明的框图；

图2(a)为非倾斜车牌粗定位效果图；

图2(b)为倾斜车牌粗定位图；

图3(a)为本实施例自适应阈值二值化图像；

图3(b)为本实施例连通域分析示意图；

图3(c)为本实施例随机抽样一致性算法上下边界拟合效果图；

图4(a)为本实施例矫正前图像；

图4(b)为本实施例矫正后图像；

图5(a)为车牌图像灰度分布值方图；

图5(b)为垂直sobel算子边缘检测效果图；

图5(c)为左右边界定位后效果图；

图6是本发明的车牌字符裁剪流程图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，一种车牌智能识别方法，包括如下步骤：

S1获取包含车牌的车辆图像，对图像进行预处理，具体为：

S1.1将获取的包含车牌的车辆图像转换为灰度图像；本实施例可以通过监控摄像头或者智能手机摄像头获取，获取图像后转为RGB图像，将RGB图像转换为灰度图的转换公式为：

Gray＝R*0.299+G*0.587+B*0.114 (1)

S1.2对灰度图像进行滤波处理，具体采用高斯滤波器进行滤波，一个二维高斯函数表示为：

其中，(x,y)为点坐标，σ为标准差；

高斯滤波器窗口模板一般为奇数大小，对于窗口大小为(2k+1)×(2k+1)的模板，模板中各元素值的计算公式为：

其中，k∈N，(i,j)表示点在图像中的位置，i表示第i行，j表示第j列；

S1.3对滤波后所得包含车牌的车辆图像进行直方图均衡化处理；

设变量r为包含车牌的图像中像素灰度级，对灰度级进行归一化处理，则0≤r≤1，其中r＝0表示黑，r＝1表示白。对于包含车牌的车辆图像，每个像素值在[0,1]的灰度级是随机的，则图像灰度级分布的概率密度函数p_r(r)为：

其中，0≤r^k≤1，k＝0,1,2,...,n-1；n^k为图像中出现r^k灰度的像素数量；n为图像中的像素总数。

图像直方图均衡化的函数表达式为：

其中k为灰度级数。

如图2(a)及图2(b)所示，S2对预处理后的图像进行车牌区域粗定位，具体为：

S2.1采用基于Haar特征的Adaboost分类器算法进行车牌定位；

S2.2在分类器算法定位的基础上进行区域扩展完整车牌区域粗定位；

具体地，所述S2.1中，采用基于Haar特征的Adaboost分类器算法进行车牌定位，需要从车牌图像中抽取大量的以为简单特征，对每个特征f_i训练一个弱分类器h_i(x)，弱分类器的数学结构公式为：

其中x表示图像子窗口，f_j是特征参数，θ_j为阈值，p_j为偏置位；

为提高式(6)中被误判的样本权重，将新的样本和上次错分的样本放在一起进行新一轮训练，经过T轮训练之后得到T个最优弱分类器，弱分类器的组合公式为：

其中h_t(x)为弱分类器，α_t为各分类器权重；

S2.1在分类器算法定位的基础上进行区域扩展完成车牌区域粗定位，区域扩展后粗定位图像的高H和宽W分别为：

H＝H₁+2*offset_H (8)

W＝W₁+2*offset_W (9)

其中H₁、W₁为分类器算法定位图像的高和宽，offset_H和offset_W为区域扩展偏置量。作为优选，offset_H和offset_W分别可取：

如图3(a)、图3(b)及图3(c)所示，S3对车牌区域粗定位后的图像进行车牌精定位，具体包括：

S3.1采用随机抽样一致性算法对粗定位后的车牌进行上下边界拟合；

所述上下边界拟合方法为：

S3.1.1将经过步骤(2)的车牌区域粗定位图像进行多阈值的自适应二值化。对一幅车牌区域粗定位图像I(i,j)，分别设置阈值T对图像进行自适应二值化处理，自适应二值化公式如式(12)所示，

其中T^k(i,j)为第k轮二值化图像(i,j)位置的像素值，i表示第i行，j表示第j列；T^k为第k轮二值化的阈值。

S3-1-2对每个二值图像进行连通域分析以寻找满足宽高比的轮廓。轮廓判定条件为：

其中W_k、H_k为第k个连通域的宽和高；μ、η为连通域判定阈值；作为优选，μ、η分别可取μ＝0.7、η＝1。

寻找出所有满足条件的矩形轮廓，记录矩形的上下边界点的位置，记所有上边界点的集合为Ω^up，所有边界点的集合为Ω^down。

S3-1-3采用随机抽样一致性算法分别对上下边界点Ω^up和Ω^down进行直线拟合。

S3.2基于纹理方向场对车牌字符矫正，如图4(a)及图4(b)所示；

首先将S3.1所得到的图像划分为w×w不重叠的子块；每个子块的像素点梯度值利用Sobel算子计算得到；计算中心像素点(i,j)的方向O(i,j)公式为：

其中，G_x和G_y分别为水平和垂直方向梯度。

S3.3采用垂直Sobel算子进行边缘检测；

一个3x3的Sobel算子在垂直方向上的边缘检测算子公式为：

S3.4采用垂直投影法进行左右边界定位，具体是：经过垂直Sobel算子进行边缘检测后的图像通过垂直方向投影，得到图像各列的像素之和，表示为：

其中，W表示图像宽度，H表示图像高度，I(i,j)表示位置(i,j)的像素；

记SI_i为图像开始裁剪位置，EI_i为图像结束裁剪位置，T为判定背景与目标的阈值，对各列像素之和N_i进行依次扫描：

若N_i≤T且N_i+1＞T，则表示图像开始由背景进入目标区域，SI_i＝i；若N_i＞T且N_i+1≤T，则表示图像开始由目标区域进行背景，EI_i＝i；根据第一个SI_i与最后一个EI_i定位车牌左右边界，如图5(a)、图5(b)及图5(c)所示。

如图6所示，S4对精定位所得车牌图像进行字符裁剪处理，具体为：

S4.1采用最大类间方差法分离出车牌的字符与背景，具体为：

对于图像I(x,y)，T表示前景和背景的分割阈值，ω₀表示属于前景的像素点数目占整幅图像的比例，μ₀表示其平均灰度；ω₁表示属于背景的像素点数目占整幅图像的比例，μ₁表示其平均灰度；μ表示图像的总平均灰度，g表示类间方差；

假设图像大小为M×N，图像中像素的灰度值小于阈值T的像素个数为N₀，像素灰度大于阈值T的像素个数为N₁，则最大类间方差g的计算方法如下：

N₀+N₁＝M×N (21)

ω₀+ω₁＝1 (22)

μ＝ω₀ ^*μ₀+ω₁ ^*μ₁ (23)

g＝ω₀(μ₀-μ)²+ω₁(μ₁-μ)² (24)

g＝ω₀ω₁(μ₀-μ₁)² (25)

S4.2确定垂直方向上图像开始裁剪位置SI_i和图像结束裁剪位置EI_i；

将S4.1中处理后的图像通过垂直方向投影，得到图像各列的像素之和，表示为：

其中，W表示图像宽度，H表示图像高度，I(i,j)表示位置(i,j)的像素；

记SI_i为图像开始裁剪位置，EI_i为图像结束裁剪位置，T为判定背景与目标的阈值，对各列像素之和N_i进行依次扫描：

若N_i≤T且N_i+1＞T，则表示图像开始由背景进入目标区域，SI_i＝i；若N_i＞T且N_i+1≤T，则表示图像开始由目标区域进行背景，EI_i＝i；

S4.3根据SI_i和EI_i对图像进行裁剪，根据SI_i和EI_i对车牌图像进行裁剪，得到车牌中的字符图像。

S5对裁剪所得字符图像归一化和特征提取处理，具体为：

S5.1对车牌字符图像进行归一化处理，具体为：

将S4裁剪得到的图像大小归一化为H_norm×W_norm，其中H_norm表示归一化的图像高度，W_norm表示归一化的图像宽度；作为优选，H_norm和W_norm分别可取H_norm＝90、W_norm＝50。

S5.2对车牌字符图像进行特征提取，具体为：

将车牌字符图像在宽度方向均分为两部分，在高度方向上均分为三部分，分别计算每部分像素之和，并以此作为车牌字符图像的特征向量；

S6采用模板匹配算法进行车牌字符自动识别，具体为：

首先对模板图像进行特征提取，获得模板图像的特征向量，然后求得模板图像特征向量与车牌字符图像特征向量的欧拉距离，取最小距离的模板字符作为待识别的车牌字符；

欧拉公式表示方式为：

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种车牌智能识别方法，其特征在于，包括如下步骤：

S1获取包含车牌的车辆图像，对图像进行预处理；

S2对预处理后的图像进行车牌区域粗定位；

S3对车牌区域粗定位后的图像进行车牌精定位；

S4对精定位所得车牌图像进行字符裁剪处理；

S5对裁剪所得字符图像归一化和特征提取处理；

S6采用模板匹配算法进行车牌字符自动识别。

2.根据权利要求1所述的一种车牌智能识别方法，其特征在于，所述对预处理后的图像进行车牌区域粗定位，具体如下：

S2.1采用基于Haar特征的Adaboost分类器算法进行车牌定位；

S2.2在分类器算法定位的基础上进行区域扩展完成车牌区域粗定位。

3.根据权利要求2所述的一种车牌智能识别方法，其特征在于，所述在分类器算法定位的基础上进行区域扩展完成车牌区域粗定位，具体为：

设区域扩展后粗定位图像的高H和宽W分别为：

H＝H₁+2*offset_H

W＝W₁+2*offset_W

其中，H₁、W₁为分类器算法定位图像的高和宽，offset_H和offset_W为区域扩展偏置量；

其中，

4.根据权利要求1所述的一种车牌智能识别方法，其特征在于，所述对车牌区域粗定位后的图像进行车牌精定位，具体为：

S3.1采用随机抽样一致性算法对粗定位后的车牌进行上下边界拟合；

S3.2基于纹理方向场对车牌字符矫正；

S3.3采用垂直Sobel算子进行边缘检测；

S3.4采用垂直投影法进行左右边界定位。

5.根据权利要求2所述的一种车牌智能识别方法，其特征在于，所述S3.1采用随机抽样一致性算法对粗定位后的车牌进行上下边界拟合，具体为：

S3.1.1将粗定位后的车牌图像进行多阈值的自适应二值化；

S3.1.2对每个二值图像进行连通域分析以寻找满足宽高比的轮廓，轮廓的判定条件为：

其中W_k、H_k为第k个连通域的宽和高；μ、η为连通域判定阈值；

寻找出所有满足条件的矩形轮廓，记录矩形的上下边界点的位置，记所有上边界点的集合为Ω^up，所有边界点的集合为Ω^down；

S3.1.3采用随机抽样一致性算法分别对上下边界点Ω^up和Ω^down进行直线拟合。

6.根据权利要求1所述的一种车牌智能识别方法，其特征在于，所述S4对精定位所得车牌图像进行字符裁剪处理，具体为：

S4.1采用最大类间方差法分离出车牌的字符与背景；

S4.2确定垂直方向上图像开始裁剪位置SI_i和图像结束裁剪位置EI_i；

S4.3根据SI_i和EI_i对图像进行裁剪。

7.根据权利要求1所述的一种车牌智能识别方法，其特征在于，所述S5对裁剪所得字符图像归一化和特征提取处理，具体为：

S5.1对车牌字符图像进行归一化处理；

S5.2对车牌字符图像进行特征提取。

8.根据权利要求7所述的一种车牌智能识别方法，其特征在于，所述S5.2对车牌字符图像进行特征提取，其特征为：

将车牌字符图像在宽度方向均分为两部分，在高度方向上均分为三部分，分别计算每部分像素之和，并以此作为车牌字符图像的特征向量。

9.根据权利要求1所述的一种车牌智能识别方法，其特征在于，所述S5对裁剪所得字符图像归一化和特征提取处理，具体为：

首先对模板图像进行特征提取，获得模板图像的特征向量，然后求得模板图像特征向量与车牌字符图像特征向量的欧拉距离，取最小距离的模板字符作为待识别的车牌字符；

欧拉公式表示方式为：