CN103020657A - 一种车牌汉字识别方法 - Google Patents

Abstract

本发明涉及一种车牌汉字识别方法，包括以下步骤：人工构造标准训练样本灰度图像；对训练样本灰度图像进行预处理，生成预处理后的灰度图像；对上述预处理后的灰度图像通过P个通带相互连接的高斯带通滤波器进行带通滤波，得到P幅滤波后的灰度图像；将上述P幅滤波后的灰度图像采用线性或非线性方法进行降维处理，形成具有M维训练样本特征矢量的图像；对降维处理后具有M维训练样本特征矢量的图像进行RBF神经网络进行车牌汉字识别，输出车牌汉字。本发明采用RBF神经网络，通过非监督聚类和最小二乘解线性方程组的方法来求解，避免了求解过程中的反复迭代，时间效率比较高，且算法收敛性比较好，具有良好的泛化能力。

Description

一种车牌汉字识别方法

技术领域

本发明涉及一种智能交通领域的车牌识别技术，具体的说是一种车牌汉字识别方法。

背景技术

智能交通系统(Intelligent Transportation System,ITS)起步于20世纪60～70年代的交通管理计算机化，是一项以信息、通信等技术将人、车、路三者紧密协调而形成的一种大范围、全方位发挥作用的综合运输管理系统。

车牌识别(License Plate Recognition,LPR)是智能交通系统重要组成部分，它是模式识别技术在交通领域的一种具体应用。其任务是分析、处理汽车图像，自动识别汽车牌号。LPR系统可以广泛用于电子收费、出入控制、公路流量监控、失窃车辆查询和停车场车辆管理等需要车牌认证的重要场合。尤其在高速公路收费系统中，能够实现不停车收费，从而提高公路系统的运行效率。

车牌识别技术是一门综合技术，包括图像处理、模式识别、人工智能等领域。车牌识别识别系统的基本工作流程为：图像获取、车牌定位、倾斜校正、字符分割以及分类识别等。因此车牌字符识别是在车牌字符有效分割的基础上，对车牌汉字、字母、数字进行有效识别的过程。其中汉字识别，由于其笔划的复杂性，一直是车牌识别的一个难点。

车牌汉字识别本质上是印刷体汉字识别，很多汉字识别的理论与方法已被引入其中，目前主要的方法有：

（1）模板匹配法，即先定义一个相似度函数，然后将现场采集的汉字图像与存储的模板图像相比较，选择与之最相似的模板作为识别结果。其中包括基于二值图像的匹配，基于灰度图像的匹配和基于特征的匹配等。此法的优点是算法实现简单，缺点是当基准模板规模比较大时，内存空间占用比较大，时间效率比较低。

（2）统计分类法。经典的统计分类法是基于最小风险的贝叶斯决策，较新的统计分类法有支持矢量机。贝叶斯决策的分类性能对训练样本概率分布的依赖性比较大，当训练样本与实测样本分布接近时，具有比较好的分类效果。支持矢量机的优点是对特征维数不敏感，且具有比较好的泛化能力，其缺点是由二类到多类分类算法构建比较复杂，对于复杂的分类问题支持矢量数比较多，对于DSP实现来说，其空间与时间效率均不占优势

（3）神经网络法。神经网络是并行算法，输入层可以是图像像素，也可以是图像特征，分类知识存储于网络结构的连接权值中，具有较强的自适应学习能力，特别适用于非性问题的回归与分类。此法的优点是，运算速度快，对训练样本具有较好学习能力，缺点是网络结构与测试样本的泛化性能直接相关，且训练算法不易收敛。

目前，能够同时满足运算量小、效率高、算法收敛性好且具有较好泛化能力的车牌汉字识别方法尚未见报道。

发明内容

针对现有技术中的车牌汉字识别方法实用性差、汉字识别率低等不足之处，本发明要求解决的技术问题是提供一种实用性强、能有效提高识别率的车牌汉字识别方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种车牌汉字识别方法包括以下步骤：

构造训练样本：人工构造标准训练样本灰度图像；

图像预处理：对训练样本灰度图像进行预处理，即将彩色车牌汉字图像转化为灰度图像，并将图像尺寸进行调整，再做直方图均衡，生成预处理后的灰度图像；

频域带通滤波：对上述预处理后的灰度图像通过P个通带相互连接的高斯带通滤波器进行带通滤波，得到P幅滤波后的灰度图像；

降维处理：将上述P幅滤波后的灰度图像采用线性或非线性方法进行降维处理，形成具有M维训练样本特征矢量的图像；

RBF神经网络识别：对降维处理后具有M维训练样本特征矢量的图像进行RBF神经网络进行车牌汉字识别，输出车牌汉字。

将图像高、宽像素比值缩放到1~2之间。

所述频域带通滤波为：对预处理后的灰度图像进行二维傅立叶变换；设置P个频域滤波器，将二维傅立叶变换的输出图像直接与P个滤波器相乘完成频域滤波，再作反傅立叶变换，得到带通滤波后的灰度图像。

降维处理采用PCA降维方法，具体为：

1）对P幅滤波输出图像，采用m×n的均值模板，在灰度图像宽和高两个方向以t个像素的步长进行滑动，模板值与对应相素值相乘，再除以模板相素个数，得到的数值做为高维特征矢量中的一维，总计得到Q维特征矢量；

2）对所有训练样本的Q维特征矢量求取均值矢量μ和协方差矩阵∑

$\mathrm{\μ}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i---\left(2\right)$

$\mathrm{\Σ}=\frac{1}{N}\underset{i=1}{\overset{N-1}{\mathrm{\Σ}}}(X_i-\mathrm{\μ}){(X_i-\mathrm{\μ})}^T---\left(3\right)$

其中X_i为第i个训练样本的特征矢量，N为训练样本总数；

3）对协方差矩阵∑进行奇异值分解，并将其特征值λ_i由大到小排列λ₁≥λ₂≥,…,≥λ_Q，对应的特征矢量为α₁,α₁,…,α_Q，取前M维特征矢量构成PCA转换矩阵V

V=[α₁,α₁,…,α_M]      （4）

4）对未知类别实测样本的Q维矢量X_j按下式进行PCA降维

Y_j=V^T(X_j-μ)     （5）

其中Y_j为降维后的M维特征矢量，j为特征序号。

所述t取值为1~Max(m，n)/2。

所述RBF神经网络识别为：采用基于K-means聚类和最小二乘的RBF神经网络进行车牌汉字识别，包括以下步骤：

对M维训练样本特征矢量进行K-means聚类，得到C个聚类中心，即RBF神经网络的隐层节点数为C，隐层半径为C个聚类中心之间距离的平均值；

采用最小二乘算法求解RBF神经网络隐层到输出层的权值，完成RBF识别网络的参数求解；

在线状态下，将待识别的实测车牌汉字图像经预处理、带通滤波、降维形成M维特征矢量，输入以上离线学习好的RBF识别网络，即可得到识别结果。

所述C取值为100~400

构造训练样本为：

实拍中国各省标准车牌汉字，并转成高、宽像素数比值为1~2的灰度图像；

对上述灰度图像进行多个不同半径的频域低通，模拟实拍样本的模糊衰减；

对灰度图像进行上下左右四个方向的部分裁剪，模拟实拍样本的部分缺失；

对灰度图像进行多个不同角度的旋转和倾斜变形，模拟实拍样本的旋转和倾斜变形；

对上述步骤中各种情况进行排列组合，最终每个省标准车牌汉字形成多个训练样本。

所述多个训练样本为6200~24800个。

P为3~6。

本发明具有以下有益效果及优点：

1．本发明的突出优点是：

（1）利用快速傅立叶变换与反变换，设计高斯频域带通滤波器，实现对车牌汉字图像的带通滤波器，提取车牌汉字图像的低频稳定特征和高频细节特征；

（2）利用PCA算法对高维特征进行降维处理，其线性变换的本质可实现DSP的快速移植；

（3）采用“离线学习”与“在线识别”的基于K-means聚类和最小二乘的RBF神经网络，对实测样本进行分类识别，对31个省车牌汉字总识别率为97.7%，各省的最低识别率不小于94%；

（4）通过人工构造标准的训练样本，及其对模糊衰减、部分缺失、旋转和变形，再加上它们排列组合，来避免人工采集样本所带来的样本个数与样本特征概率分布的不均衡。

2．本发明采用RBF神经网络，网络参数通过非监督聚类和最小二乘解线性方程组的方法来求解，避免了求解过程中的反复迭代，时间效率比较高，且算法收敛性比较好，具有良好的泛化能力。

附图说明

图1A~1D为本发明方法采用的实测样本预处理结果图（一）~（四）；

图2A~2D为频域带通滤波器的幅频响应图像（一）~（四）；

图3A~3D为发明方法采用的实测样本的带通滤波输出图像（一）~（四）；

图4为RBF神经网络结构图；

图5A~5D为人工构造训练样本的模糊衰减图像（一）~（四）；

图6A~6D为人工构造训练样本的部分缺失图像（一）~（四）；

图7A~7H为人工构造训练样本的旋转和变形图像（一）~（八）。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

本发明车牌汉字识别方法包括以下步骤：

构造训练样本：人工构造标准训练样本灰度图像；

图像预处理：训练样本灰度图像进行预处理，即将彩色车牌汉字图像转化为灰度图像，并将图像尺寸进行调整，再做直方图均衡，生成预处理后的灰度图像；

频域带通滤波：对上述预处理后的灰度图像通过P个通带相互连接的高斯带通滤波器进行带通滤波，得到P幅滤波后的灰度图像；P=3~6，本实施例中P=4。

降维处理：将上述P幅滤波后的灰度图像采用线性或非线性方法进行降维处理，形成具有M维训练样本特征矢量的图像；

RBF神经网络识别：对降维处理后具有M维训练样本特征矢量的图像进行RBF神经网络进行车牌汉字识别，输出车牌汉字。

1.构造训练样本

RBF神经网络包括“离线训练”和“在线识别”两部分。其中离线训练需要大量的典型的样本。一般情况下把实测样本中的一部分作为训练样本，另外一部分作为测试样本，先用训练样本训练RBF神经网络，再以测试样本的分类正确率作为分类器的性能指标。但实测样本存在以下问题：

1）中国各省汉字出现的概率严重不均衡，测量点所在省份的车牌汉字出现的概率在90%以上；

2）由于天气、光照、亏损等原因引起车牌图像存在不同程度的模糊衰减、部分缺失；

3）由于拍摄角度的原因，车牌在图像中的位置存在不同程序的旋转和变形，在前端校正失败的情况下，这部分样本往往得不到正确识别。

因此，本发明通过人工构造标准的训练样本，及其对模糊衰减、部分缺失、旋转和变形模拟，再加上它们排列组合，来避免人工采集样本所带来的样本个数与样本特征概率分布的不均衡，本实施例仅以64×32像素“辽”的灰度图像为例说明人工训练样本的构造方法。

构造训练样本步骤为：

实拍中国各省标准车牌汉字，并转成高、宽像素数比值为1~2的灰度图像；

对上述灰度图像进行多个不同半径的频域低通，模拟实拍样本的模糊衰减；多个不同半径为2的指数倍，本实施例取2、4、8、16四个不同半径；

对灰度图像进行上下左右四个方向的部分裁剪，模拟实拍样本的部分缺失；

对灰度图像进行多个不同角度的旋转和倾斜变形，模拟实拍样本的旋转和倾斜变形；

对上述步骤中各种情况进行排列组合，最终每个省标准车牌汉字形成多个训练样本。

如图5A~5D所示，分别为对灰度图像进行半径为2、4、8、16的频域低通，模拟实拍样本的模糊衰减图像（一）~（四），低通半径r从左至右依次为2，4，8，16。

如图6A~6D所示，分别为人工构造训练样本的部分缺失图像（一）~（四）；缺失方向从左至右依次为左、右、上、下。

如图7A~7H所示，分别为人工构造训练样本的旋转和变形图像（一）~（八）；旋转和变形角度d从左至右依次为16，8，-8，-16度。

最后再对图5A~5D、6A~6D、7A~7H中的各种情况进行排列组合，最终每个省标准车牌汉字形成200~800（本实施例为500）个训练样本，由于涉及的情况太多，这里不再一一展示。

2．图像预处理

由于本发明直接对车牌汉字的灰度图像进行特征提取，因此需要将实测的24位RGB彩色图像转成8位灰度图像，采用以下公式转换

Y=0.299×R+0.587×G+0.114×B     （1）

如图1A~1D所示，图1A为彩色图像，图1B为转换后的灰度图像。

然后对灰度图像进行“双线性”插值，其原理是输出像素的值为输入图像中距离它最近的2×2领域内采样点像素灰度值的加权平均。“双线性”插值将灰度图像尺寸缩放到高高、宽像素比值范围为1~2，本实施例中，高64像素、宽32像素，如图1C的gray:64×32。

最后对插值后的灰度图像做直方图均衡得到图1D的gray-hist:64×32。

图1A~1D从左至右的过程显示了完整的预处理过程，可以看到，即使对于分辨率很低的实测样本，通过预处理都可以恢复到相对清晰的状态。

3.频域带通滤波

视觉上人们对一种模式的识别，信息量绝大部分来自于低频信息，高频信息主要是用于相似模式的精确区分。因此为了对特征进行有效的描述，有必要设计一组带通滤波器将图片的低频与高频信息区分开来。滤波的实现方式有两种，一是图像域的模板卷积，二是在频域中设计滤波器的幅频响应，再利用快速傅立叶和I傅立叶变换来实现。相比较而言，频域滤波速度更快，而且滤波器的幅频响应更好控制。

本发明首先对预处理图像进行二维傅立叶变换，频率中心位于图片左上角。然后设计P个频域滤波器（P为3~6，本实施例中P=4），本实施例如图2A~2D所示，采用4个频域滤波器，从左至右频域带通滤波器的通带半径依次为0-4，4-8，8-12，12-16。将二维傅立叶变换（FFT）的输出直接与上述4个滤波器相乘完成频域滤波，最后再作反傅立叶变换（IFFT），即可得到如图3A~3D所示的带通滤波输出图像。可以看到，左边的低频图像反映了图像稳定不变的部分，右边的高频图像反映了图像的细节和突变信息。

4.降维处理

如图3A~3D所示，由于4幅高64像素、宽32像素的灰度图含有较多的信息冗余，因此要对数据进行降维处理。本发明采用线性或非线性降维，线性降维降维包括PCA、LPP或LDA。本实施例中具体采用PCA(PrincipalComponents Analysis)降维方法，其过程如下：

1）对4幅滤波输出图像，采用4×4的均值模板，在灰度图像宽和高两个方向以t个（t=1~Max(m,n)/2，本实施例为2个）像素的步长进行滑动，模板值与对应相素值相乘，再除以模板相素个数，得到的数值做为高维特征矢量中的一维，总计得到Q维（本实施中Q=1860）维特征矢量。

2）对所有训练样本的Q维（本实施中Q=1860）特征矢量求取均值矢量μ和协方差矩阵∑

$\mathrm{\μ}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i---\left(2\right)$

$\mathrm{\Σ}=\frac{1}{N}\underset{i=1}{\overset{N-1}{\mathrm{\Σ}}}(X_i-\mathrm{\μ}){(X_i-\mathrm{\μ})}^T---\left(3\right)$

其中X_i为第i个训练样本的特征矢量，N为训练样本总数，N=6200~24800，本实施例中，N=15500；

3）对协方差矩阵∑进行奇异值分解(Singular Value Decomposition,SVD)，并将其特征值λ_i由大到小排列λ₁≥λ₂≥,…,≥λ_Q，对应的特征矢量为α₁,α₁,…,α_Q，取前30维特征矢量构成PCA转换矩阵V

V=[α₁,α₁,…,α₃₀]     （4）

4）对未知类别实测样本的1860维矢量X_j按下式进行PCA降维

Y_j=V^T(X_j-μ)    （5）

其中Y_j为降维后的M维特征矢量（本实施例中M＝30），j为特征序号。

5．RBF神经网络识别

RBF网络结构如图4所示，在离线训练过程上需要确定三个变量，分别为：隐层中心，RBF函数半径以及隐层到输出层的权值。

RBF神经网络识别为：采用基于K-means聚类和最小二乘的RBF神经网络进行车牌汉字识别，包括以下步骤：

对M维训练样本特征矢量进行K-means聚类，得到C个聚类中心，即RBF神经网络的隐层节点数为C，隐层半径为C个聚类中心之间距离的平均值；

采用最小二乘算法求解RBF神经网络隐层到输出层的权值，完成RBF识别网络的参数求解；

在线状态下，将待识别的实测车牌汉字图像经预处理、带通滤波、降维形成M维特征矢量，输入以上离线学习好的RBF识别网络，即可得到识别结果。

本发明隐层中心采用K-means聚类方法求得，即先对训练样本灰度图像进行预处理，傅立叶带通滤波，PCA降维，形成30维训练样本特征矢量，再对训练样本特征矢量进行K-means聚类，聚类中心个数C为100~400，本实施例确定为150。

K-means聚类基于误差平方和最小准则。若N_i是第i类聚类C_i中的样本数，m_i是这些样本的均值，即

$m_i=\frac{1}{N_i}\underset{Y\∈C_i}{\mathrm{\Σ}}Y---\left(6\right)$

把C_i中的各样本Y与均值m_i间的误差平方和对所有类相加后为

$J=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{Y\∈C_i}{\mathrm{\Σ}}{\left|\right|Y-m_i\left|\right|}^2---\left(7\right)$

J为误差准则函数。

首先随机选择聚类中心，根据距离最近原则将未知类别的样本聚类，再将聚类结果的中心视为新的聚类中心，如此反复，直到公式（7）中的J值不再下降为止。

RBF函数采用如下形式，

$K\left(\right||Y-m_i|\left|\right)=\exp \{-\frac{{\left|\right|Y-m_i\left|\right|}^2}{{2\mathrm{\σ}}^2}\}---\left(8\right)$

其中RBF函数半径σ设为聚类中心之间距离的平均值。

隐层到输出层是线性映射，这里直接采用最小二乘法解得。

通过以上离线过程，RBF网络的三个变量：隐层中心，RBF函数半径，以及隐层到输出层的权值都得到确定。

在线识别的流程为：将待识别车牌汉字图像经：预处理、带通滤波、PCA降维形成30维特征矢量，输入以上离线学习好的RBF识别网络，即可得到识别结果。

本发明对全国31个省车牌汉字总识别率为97.7%，各省的最低识别率不小于94%。

Claims (10)

1.一种车牌汉字识别方法，其特征在于包括以下步骤： 

构造训练样本：人工构造标准训练样本灰度图像； 

图像预处理：对训练样本灰度图像进行预处理，即将彩色车牌汉字图像转化为灰度图像，并将图像尺寸进行调整，再做直方图均衡，生成预处理后的灰度图像； 

频域带通滤波：对上述预处理后的灰度图像通过P个通带相互连接的高斯带通滤波器进行带通滤波，得到P幅滤波后的灰度图像； 

降维处理：将上述P幅滤波后的灰度图像采用线性或非线性方法进行降维处理，形成具有M维训练样本特征矢量的图像； 

RBF神经网络识别：对降维处理后具有M维训练样本特征矢量的图像进行RBF神经网络进行车牌汉字识别，输出车牌汉字。 

2.按权利要求1所述的车牌汉字识别方法，其特征在于：将图像高、宽像素比值缩放到1~2之间。 

3.按权利要求1所述的车牌汉字识别方法，其特征在于：所述频域带通滤波为：对预处理后的灰度图像进行二维傅立叶变换；设置P个频域滤波器，将二维傅立叶变换的输出图像直接与P个滤波器相乘完成频域滤波，再作反傅立叶变换，得到带通滤波后的灰度图像。 

4.按权利要求1所述的车牌汉字识别方法，其特征在于：降维处理采用PCA降维方法，具体为： 

1）对P幅滤波输出图像，采用m×n的均值模板，在灰度图像宽和高两个方向以t个像素的步长进行滑动，模板值与对应相素值相乘，再除以模板相素个数，得到的数值做为高维特征矢量中的一维，总计得到Q维特征矢量； 

2）对所有训练样本的Q维特征矢量求取均值矢量μ和协方差矩阵∑ 

其中X_i为第i个训练样本的特征矢量，N为训练样本总数； 

3）对协方差矩阵∑进行奇异值分解，并将其特征值λ_i由大到小排列λ₁≥λ₂≥,…,≥λ_Q，对应的特征矢量为α1,α₁,…,α_Q，取前M维特征矢量构成PCA转换矩阵V 

V=[α₁,α₁,…,α_M]     （4） 

4）对未知类别实测样本的Q维矢量X_j按下式进行PCA降维 

Y_j=V^T(X_j-μ)     （5） 

其中Y_j为降维后的M维特征矢量，j为特征序号。 

5.按权利要求4所述的车牌汉字识别方法，其特征在于：所述t取值为1~Max(m,n)/2。 

6.按权利要求1所述的车牌汉字识别方法，其特征在于：所述RBF神经网络识别为：采用基于K-means聚类和最小二乘的RBF神经网络进行车牌汉字识别，包括以下步骤： 

对M维训练样本特征矢量进行K-means聚类，得到C个聚类中心，即RBF神经网络的隐层节点数为C，隐层半径为C个聚类中心之间距离的平均值； 

采用最小二乘算法求解RBF神经网络隐层到输出层的权值，完成RBF识别网络的参数求解； 

在线状态下，将待识别的实测车牌汉字图像经预处理、带通滤波、降维形成M维特征矢量，输入以上离线学习好的RBF识别网络，即可得到识别结果。 

7.按权利要求6所述的车牌汉字识别方法，其特征在于：所述C取值为100~400。 

8.按权利要求1所述的车牌汉字识别方法，其特征在于：构造训练样本为： 

实拍中国各省标准车牌汉字，并转成高、宽像素数比值为1~2的灰度图像； 

对上述灰度图像进行多个不同半径的频域低通，模拟实拍样本的模糊衰减； 

对灰度图像进行上下左右四个方向的部分裁剪，模拟实拍样本的部分缺失； 

对灰度图像进行多个不同角度的旋转和倾斜变形，模拟实拍样本的旋转和倾斜变形； 

对上述步骤中各种情况进行排列组合，最终每个省标准车牌汉字形成多个训练样本。 

9.按权利要求8所述的车牌汉字识别方法，其特征在于：所述多个训练样本为6200~24800个。 

10.按权利要求1所述的车牌汉字识别方法，其特征在于：P为3~6。 

Images