CN101937508B - 一种基于高清图像的车牌定位与识别方法 - Google Patents

Abstract

本发明公开了一种基于高清图像的车牌定位与识别方法，包括如下步骤：（1）对原始彩色图像进行一次下采样，对下采样后的图像灰度化并进行垂直边缘检测和二值化，利用垂直边缘信息进行车牌粗定位，得到所有的候选车牌区域；（2）将所有的候选车牌区域映射回原图像并送入训练好的级联Adaboost分类器，去除非车牌区域；（3）将经过步骤（2）得到的车牌区域进行倾斜矫正；（4）将经过步骤（3）得到的车牌区域进行字符分割；（5）对分割出的字符进行识别。本发明能快速有效的从复杂场景中提取出多个大小不同的车牌并能有效的提高字符识别的准确率，其在智能交通、停车场管理和小区管理等方面有广泛的应用前景。

Description

一种基于高清图像的车牌定位与识别方法

技术领域

本发明涉及一种车牌定位与识别方法，具体涉及一种基于高清图像的车牌定位与识别方法。

背景技术

随着经济的发展，汽车保有量急剧增长，对交通、治安的管理要求也日益提高，采用高清摄像机成像技术，不仅可以清晰抓拍车牌，还可以提供高质量的前排司乘人员的面貌图像，并且可以记录车辆全貌及车载情况等信息，从而满足了刑侦、治安、交警等多个业务部门的需求。此外，采用200万或者更高像素的摄像机，一个摄像机可以抓拍2-3车道，系统建设效率也明显提高。因此，高清晰的车牌识别系统，包括治安卡口系统、电子警察系统等，已成为当前发展的一个热点。

而现有的基于标清图像的车牌识别技术很难直接用于高清图像，原因在于高清图像取景范围大，需要处理的数据量很大，背景也更复杂，而且一般监控几个车道，需要同时识别几个车牌，不同车道的车牌大小也不一样，现有的基于标清图像的车牌识别系统一般背景简单且只识别单一车道的单一车牌，另外相似字符和退化字符的识别一直是影响车牌字符识别准确率的重要因素，因此如何快速有效的从复杂场景中提取出多个大小不同的车牌以及提高对相似字符和退化字符的识别率是现有车牌识别技术待解决的一个重要问题。

发明内容

为了解决现有车牌定位与识别存在的上述技术问题，本发明提供一种基于高清图像的车牌定位与识别方法。本发明利用基于边缘的车牌定位方法速度快、准确率高的特点和级联Adaboost分类器虚警率低的特点，对车牌区域进行快速准确定位，采用模板匹配和SVM融合的字符识别方法，综合两类方法各自的优点，打破单一字符识别方法识别率难以提高的局限，提高了对相似字符和退化字符的识别准确率。

本发明解决上述技术问题的技术方案包括以下步骤：

(1)对原始彩色图像进行一次下采样，对下采样后的图像灰度化并进行垂直边缘检测和二值化，利用垂直边缘信息进行车牌粗定位，得到所有的候选车牌区域；

(2)将所有的候选车牌区域映射回原图像并送入训练好的级联Adaboost分类器，去除非车牌区域；

(3)将经过步骤(2)得到的车牌区域进行倾斜矫正；

(4)将经过步骤(3)得到的车牌区域进行字符分割；

(5)对分割出的字符进行识别，采用支持向量机和模板匹配的融合方法对字符进行识别，其步骤为：

第一步：制作字符二值化模板；

第二步：模板匹配算法所用模板库的制作，把第一步得到字符二值化模板归一化到宽度为18个像素，高度为36个像素，作为模板匹配算法的模板库；

第三步：支持向量机分类器的训练，对第一步得到字符模板归一化为宽度为18个像素，高度为36个像素，作为支持向量机分类器的训练集，把二值化的字符按列展开就得到一个648维的行向量，分别训练汉字分类器、字母分类器、数字分类器和字母数字分类器四个多分类的支持向量机；

第四步：把分割得到字符归一化为宽度为18个像素，高度为36个像素，用模板匹配方法进行识别，如果识别的可信度大于0.6就直接输出结果，如果可信度低于0.6且识别结果不是0，Q，8，B这些相似字符时，转到第六步；

第五步：根据相似字符的特点，提取字符的一部分归一化为宽度为18个像素，高度为36个像素，以8和B为例，提取字符的左半部分并归一化，利用SVM精分类器对相似字符进行识别，输出结果；

第六步：根据字符在车牌中的位置选择四个支持向量机分类器中的一个对字符进行分类，并输出相应的置信度，然后对SVM的识别结果和模板匹配的结果进行比较，如果两种分类方法得到的结果一样则直接输出结果，否则转到第七步；

第七步：利用证据理论融合支持向量机和模板匹配的结果，判断是输出模板匹配的结果还是SVM的识别结果，识别结果按照下式融合：

$m\left(A\right)=m_1\⊕m_2\⊕\·\·\·\⊕m_n=\left\{\begin{array}{cc}0& A=\mathrm{\φ}\\ \frac{\underset{\∩A_i=A}{\mathrm{\Σ}}\underset{1\≤i\≤n}{\mathrm{\Π}}{w}_i{m}_i\left(A_i\right)}{\underset{\∩A_i\≠\mathrm{\φ}}{\mathrm{\Σ}}\underset{1\≤i\≤n}{\mathrm{\Π}}{w}_i{m}_i\left(A_i\right)}& A\≠\mathrm{\φ}\end{array}\right.m\left(A\right)$ 代表属于A的可信度，m_i代表证据i的信度分配函数，w_i代表该证据的权重。

由于采用上述技术方案，本发明的技术效果是：本发明对图像进行一次下采样后再进行垂直边缘检测，利用基于边缘的定位方法准确率高、速度快的特点进行快速粗定位，然后利用级联Adaboost分类器对非车牌区域进行去除，解决了基于边缘的检测方法虚警率高的缺点，由于对图像进行了下采样，因此能大大提高处理速度，Adaboost算法的引入也提高了方法的鲁棒性和去除误检的能力。最后利用融合支持向量机分类器和模板匹配的方法对提取出来的车牌字符进行识别，通过综合两类识别方法各自的优点，打破单一字符识别方法识别率难以提高的局限，提高了对相似字符和退化字符的识别准确率。

下面结合附图和具体实施方式对本发明作进一步详细的说明：

附图说明

图1为本发明实施例的流程示意图；

图2为本发明实施例所用到的Haar特征类型；

图3为本发明实施例所用到的一些Adaboost训练用的车牌图片；

图4为本发明实施例字符识别部分的流程示意图；

图5为本发明实施例所用到的一些字符模板和SVM训练字符。

具体实施方式

如图1-5所示，其具体实施步骤如下：

1、候选车牌区域的提取

在实际车牌识别系统中，车牌在图像中的大小受摄像头的安装位置、采集的场景大小和车速等的影响，为了快速有效的提取大小不同的车牌候选车牌区域，实施例中采用基于边缘的方法进行车牌候选区域的提取。本发明中只有两个阈值输入，最小车牌高度和最大车牌高度，其它阈值都通过这两个阈值来确定，高度范围一般取15-45个像素就能解决大部分的场景应用问题，如果有更小的车牌或者更大的车牌需要检测，只需要修改这两个高度阈值即可，方法本身无须任何修改，使得本发明具有很强的鲁棒性和通用性。

提取候选车牌区域的步骤如下：

第一步：对输入图像进行一次下采样，对下采样之后的图像进行灰度化。

第二步：对第一步得到的灰度图像进行Sobel垂直边缘检测，并利用0tsu算法对边缘图像进行二值化，得到二值化后的垂直边缘图像。

第三步：假定车牌高度在原图中的范围为15-45个像素，则由于下采样之后图像大小变为原来的1/4，则下采样之后图像中车牌高度范围为8-23个像素，根据车牌的高度范围确定车牌的最大车牌高度、最小车牌高度、最大车牌长度、最小车牌长度、最小车牌面积和最大车牌字符间距这几个阈值。利用车牌区域垂直边缘比较密集的特点，对二值垂直边缘图像进行连线，找出所有的车牌候选区域。

第四步：把所有的车牌候选区域映射回原图。

2、级联Adaboost去除非车牌区域

上述基于灰度边缘图像的车牌候选区域提取算法的检测率很高且速度很快，但虚警率也相对较高，我们引入Adaboost对候选车牌区域进行筛选，去除非车牌区域。Adaboost去除非车牌区域算法主要分为训练部分和判别部分。具体训练和判别步骤描述如下：

训练部分的步骤如下：

第一步：对训练用的车牌图片和非车牌图片进行归一化，包括灰度归一化和尺度归一化。

第二步：通过Haar特征来描述车牌，采用Adaboost算法，选择Haar特征生成具有区分车牌与非车牌的Adaboost级联分类器。所述Adaboost算法步骤是：

1)给定n个训练样本(x₁，y₁)，...(x_n，y_n)，y_i＝0，1分别表示x_i为负样本或正样本。

2)初始化权重

其中正样本个数为l，负样本个数为m。

3)t从1到T，T为特征个数，循环执行以下步骤：

a)归一化权重 ${\mathrm{\ω}}_{t,i}={\mathrm{\ω}}_{t,i}/{\mathrm{\Σ}}_{j=1}^n{\mathrm{\ω}}_{t,j};$

b)对每一个特征f_j，训练一个弱分类器h_j，记此分类器错误率为ε_j＝∑_iω_t，j|h_j(x_i-y_i)|；

c)从上一步训练出的所有弱分类器中，找出具有最低错误率ω_t的分类器h_t；

d)更新权重ω_t+1，j＝ω_t，iβ_t，其中β_t＝ε_t/(1-ε_t)，ε_t为第t次循环时分类器的错误率，如果x_i被分类正确，e_i＝0，否则e_i＝1。

4)最后得到强分类器

其中

α_t代表第t个弱分类器的权重。

判别部分的步骤如下：

利用训练好的级联Adaboost遍历每一个车牌候选区域，若该候选区域里能检测出车牌，则保留该候选区域，否则删除该候选区域。

3、倾斜矫正

对车牌区域进行差分垂直边缘检测，得到车牌区域的的垂直边缘图，并利用Otsu算法对垂直边缘图进行二值化，对图像进行旋转，旋转角度从-30°到+30°之间变化，每次角度增加0.1°，找到一个角度使得垂直边缘二值化图的水平投影宽度最小，此角度即为图像的倾斜角度；然后利用双线性插值法对车牌图像进行校正。

4、字符分割

采用模板法进行字符分割，首先利用边缘和颜色信息对倾斜矫正后的图像进行一次精定位，包括上下精定位和左右精定位，再对倾斜矫正后的图像利用Bernsen局部二值化方法进行二值化，解决光照不均所造成的影响；根据先验知识制作车牌分割模板，按照倾斜校正后的车牌区域高度缩放模板；利用此模板在车牌区域上从左至右滑动并计算中间12个分割处的二值化垂直投影值之和，选取投影和最小的分割位置即字符左右边界得到字符。这用方法能有效的解决相连字符和破损字符的分割问题。

5、字符识别

模板匹配是将分割好的字符图像与字符库中的字符模板进行匹配，优点是简单易行，粗分类效果好，如果特别加入一些经常可能出现的退化字符模板，会提高对退化字符的识别准确率，但对相似字符的识别效果差。支持向量机(SVM)方法是建立在统计学习理论及结构风险最小原来基础上的，该算法具有良好的推广能力，从理论上讲，该算法得到的将是全局最优解，而且对相似字符识别准确率较高。但由于该算法最终的分类只依赖于支持向量，所以对退化字符的识别准确率不是很高。

为了提高字符识别的准确率，本发明采用融合模板匹配和SVM分类的方法进行字符识别，综合两类方法各自的优点，打破单一字符识别方法识别率难以提高的局限，提高了对相似字符和退化字符的识别准确率。

字符识别算法分为分类器构造和识别两个过程，具体描述如下：

分类器构造的步骤如下：

第一步：制作字符二值化模板，字符二值化模板包括标准字符字符二值化模板和实际车牌字符二值化模板，标准字符模板从《中华人民共和国公关安全行业标准：中华人民共和国机动车号牌》(GA36-2007)附录B的字样图像获得，经过二值化和归一化后直接作为标准字符模板。实际车牌字符二值化模板通过对实际车牌图片进行前面步骤所述的定位、分割和二值化处理得到。再经过归一化处理即可以作为车牌字符模板。最后可以得到73个字符二值化模板库，包括37个汉字库、26个英文大写字母库和10个数字库。

第二步：模板匹配算法所用模板库的制作，把第一步得到字符二值化模板库归一化到宽度为18个像素，高度为36个像素，作为模板匹配算法的模板库，为了增加模板匹配对退化字符的识别率，经过对现实车牌图片分割结果的大量统计，我们特别的加入一些常见的退化字符模板。

第三步：SVM分类器的训练，对第一步得到字符模板库归一化为宽度为18个像素，高度为36个像素，作为SVM分类器的训练集，把二值化的字符按列展开就得到一个648维的行向量，分别训练汉字分类器、字母分类器、数字分类器和字母数字分类器四个多分类的支持向量机(SVM)，针对8和B、4和A和0和Q等相似字符特别训练精分类的分类器，以8和B为例，取8字符和B字符的左半部分另外训练一个用于精分类的支持向量机，以提高对相似字符的识别准确率，其它相似字符类似。

识别过程步骤如下：

第一步：把分割得到字符归一化为宽度为18个像素，高度为36个像素，用模板匹配方法进行识别，如果识别的可信度大于0.6就直接输出结果，如果可信度低于0.6且识别结果不是0，Q，8，B等相似字符时，转到第三步。

第二步：根据相似字符的特点，提取字符的一部分归一化为宽度为18个像素，高度为36个像素，以8和B为例，提取字符的左半部分并归一化，利用SVM精分类器对相似字符进行识别，输出结果

第三步：根据字符在车牌中的位置选择四个SVM分类器中的一个对字符进行分类，并输出相应的置信度，然后对SVM的识别结果和模板匹配的结果进行比较，如果两种分类方法得到的结果一样则直接输出结果，否则转到第四步。

第四步：利用证据理论融合SVM和模板匹配的结果，大量的实验表明模板匹配和SVM同时分类错误的概率是极低的，所以我们只需判断是输出模板匹配的结果还是SVM的识别结果，识别结果按照下式融合：

$m\left(A\right)=m_1\⊕m_2\⊕\·\·\·\⊕m_n=\left\{\begin{array}{cc}0& A=\mathrm{\φ}\\ \frac{\underset{\∩A_i=A}{\mathrm{\Σ}}\underset{1\≤i\≤n}{\mathrm{\Π}}{w}_i{m}_i\left(A_i\right)}{\underset{\∩A_i\≠\mathrm{\φ}}{\mathrm{\Σ}}\underset{1\≤i\≤n}{\mathrm{\Π}}{w}_i{m}_i\left(A_i\right)}& A\≠\mathrm{\φ}\end{array}\right.m\left(A\right)$ 代表属于A的可信度，m_i代表证据i的信度分配函数，w_i代表该证据的权重，在这里我们有模板匹配的结果和SVM的预测结果两个证据，其各自的信度分配函数取各自输出的置信度，权重分别取0.6和0.4，由此我们可以分别计算融合后的模板匹配结果的可信度m(A₁)和SVM结果的可信度m(A₂)，如果m(A₁)＞m(A₂)就输出模板匹配的结果，否则输出SVM的识别结果。

Claims (1)

1.一种基于高清图像的车牌定位与识别方法，包括如下步骤：

(1)对原始彩色图像进行一次下采样，对下采样后的图像灰度化并进行垂直边缘检测和二值化，利用垂直边缘信息进行车牌粗定位，得到所有的候选车牌区域；

(2)将所有的候选车牌区域映射回原图像并送入训练好的级联Adaboost分类器，去除非车牌区域；

(3)将经过步骤(2)得到的车牌区域进行倾斜矫正；

(4)将经过步骤(3)得到的车牌区域进行字符分割；

(5)对分割出的字符进行识别，采用支持向量机和模板匹配的融合方法对字符进行识别，其步骤为：

第一步：制作字符二值化模板；

第二步：模板匹配算法所用模板库的制作，把第一步得到字符二值化模板归一化到宽度为18个像素，高度为36个像素，作为模板匹配算法的模板库；

第三步：支持向量机分类器的训练，对第一步得到字符模板归一化为宽度为18个像素，高度为36个像素，作为支持向量机分类器的训练集，把二值化的字符按列展开就得到一个648维的行向量，分别训练汉字分类器、字母分类器、数字分类器和字母数字分类器四个多分类的支持向量机；

第四步：把分割得到字符归一化为宽度为18个像素，高度为36个像素，用模板匹配方法进行识别，如果识别的可信度大于0.6就直接输出结果，如果可信度低于0.6且识别结果不是0，Q，8，B这些相似字符时，转到第六步；

第五步：根据相似字符的特点，提取字符的一部分归一化为宽度为18个像 素，高度为36个像素，以8和B为例，提取字符的左半部分并归一化，利用SVM精分类器对相似字符进行识别，输出结果；

第六步：根据字符在车牌中的位置选择四个支持向量机分类器中的一个对字符进行分类，并输出相应的置信度，然后对SVM的识别结果和模板匹配的结果进行比较，如果两种分类方法得到的结果一样则直接输出结果，否则转到第七步；

第七步：利用证据理论融合支持向量机和模板匹配的结果，判断是输出模板匹配的结果还是SVM的识别结果，识别结果按照下式融合：

代表属于

A的可信度，m_i代表证据i的信度分配函数，w_i代表该证据的权重。 

Images