CN104573707A - 一种基于多特征融合的车牌汉字识别方法 - Google Patents

Abstract

本发明提供一种基于多特征融合的车牌汉字识别方法，包括以下步骤：待测图像归一化；改进HOG特征，获取待测图像的汉字边缘特征；获取待测图像的汉字灰度特征；基于LBP特征理论，获取待测图像的汉字纹理特征；融合待测图像的汉字边缘特征、灰度特征、纹理特征，获取待测图像的融合特征向量；基于SVM分类器，预测分类结果。本发明综合利用了汉字的全局特征和局部特征，识别更加准确，对于低质量图像和强干扰图像，具有较强的鲁棒性。

Description

一种基于多特征融合的车牌汉字识别方法

技术领域

本发明涉及图像处理技术领域，具体是一种基于多特征融合的车牌汉字识别方法。

背景技术

车牌字符识别是车牌识别系统的最后一步，也是至关重要的一步，它直接影响着整个系统的识别准确率和效率。对于车牌字母数字部分的识别，国内外已有很多成熟的方法，可以达到很高的准确率。而对于车牌的汉字部分，由于实际环境中采集的车牌图像，汉字部分往往具有结构复杂、笔划繁多、分辨率较低、笔划断裂、部分变浅或缺失、边缘模糊、字符倾斜等特点，使得汉字识别变得很困难，基于现有的字母数字识别方法，无法达到满意的准确率。因此，准确识别车牌汉字字符，成为国内车牌识别系统的难点。

车牌汉字识别通常采用三种识别方法，分别是基于模板匹配的方法、基于神经网络的方法、基于支持向量机(SVM)的方法。依据模式识别理论可知，影响识别准确率的最大因素，不是选择的哪种分类方法，而是选择的目标特征，只要汉字字符特征选择的合适，上述三种方法均能达到不错的分类效果。因此，如何选择汉字字符特征，成为决定车牌汉字识别成败的关键。

目前，常用的车牌汉字特征主要有以下几类：

(1)全局特征，该类特征采用全局变换来获取字符的整体特征，使用有序的整体特征或者子集特征来构成特征向量，常见的特征有GABOR变换特征、矩特征、投影特征、笔划密度特征、HARR特征、HOG特征等。这些特征的优点是对局部变化不敏感，抗干扰能力强；其缺点是容易忽略某些重要的局部特征，无法区分相似的字符。

(2)局部特征，该类特征采用在字符的多个局部区域内，计算相应的特征，使用串联的有序局部特征构成最终的特征向量，主要包括局部灰度特征、LBP特征、穿线特征、SIFT特征等。该类特征的优点是区分字符的能力强；其缺点是抗干扰能力弱，运算相对较慢。

发明内容

本发明的目的在于针对使用全局特征或局部特征识别汉字的缺点，提供一种基于多特征融合的车牌汉字识别方法，通过融合多种特征，可以更加精确地识别汉字，同时对于字符的图像质量要求更低。

本发明的技术方案为：

一种基于多特征融合的车牌汉字识别方法，包括以下步骤：

(1)对收集的若干训练图像进行预处理，得到若干训练样本；

(2)分别获取训练样本的汉字边缘特征向量、汉字灰度特征向量、汉字纹理特征向量；

(3)串联训练样本的汉字边缘特征向量、汉字灰度特征向量、汉字纹理特征向量，形成训练样本的汉字融合特征向量；

(4)将所有训练样本的汉字融合特征向量输入SVM分类器，完成对SVM分类器的训练；

(5)对待测车牌汉字图像进行预处理，得到测试样本；

(6)分别获取测试样本的汉字边缘特征向量、汉字灰度特征向量、汉字纹理特征向量；

(7)串联测试样本的汉字边缘特征向量、汉字灰度特征向量、汉字纹理特征向量，形成测试样本的汉字融合特征向量；

(8)将测试样本的汉字融合特征向量输入训练完成的SVM分类器，识别得到待测车牌汉字图像中的汉字。

所述的基于多特征融合的车牌汉字识别方法，步骤(2)中，获取训练样本的汉字边缘特征向量，具体包括以下步骤：

(21)利用以下公式，计算训练样本全图每一个像素的梯度幅值和方向角度：

$\left\{\begin{array}{c}M(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}\\ \mathrm{\α}(x,y)=\arctan \left(\frac{G_y(x,y)}{G_x(x,y)}\right)\end{array}\right.$

$\left\{\begin{array}{c}{G}_x(x,y)=g(x+1,y)-g(x-1,y)\\ G_y(x,y)=g(x,y+1)-g(x,y-1)\end{array}\right.$

其中，M(x，y)表示像素(x，y)的梯度幅值，α(x，y)万表示像素(x，y)的方向角度，g(x，y)表示像素(x，y)的灰度值；

(22)利用以下公式，对步骤(21)计算出的方向角度进行校正：

${\mathrm{\&alpha;}}^{\&prime;}(x,y)=\left\{\begin{array}{cc}\mathrm{\&alpha;}(x,y)+\mathrm{\&pi;}& \mathrm{\&alpha;}(x,y)<0\\ \mathrm{\&alpha;}(x,y)& \mathrm{\&alpha;}(x,y)\&GreaterEqual;0\end{array}\right.$

其中，α′(x，y)表示校正后的方向角度；

(23)基于像素的方向角度，统计每个晶胞的4维梯度方向直方图，每个晶胞由若干像素构成；

(24)将4个晶胞的梯度方向直方图串联起来，构成一个区块的梯度方向直方图；

(25)将所有区块的梯度方向直方图归一化后串联起来，形成训练样本的汉字边缘特征向量。

所述的基于多特征融合的车牌汉字识别方法，步骤(2)中，获取训练样本的汉字灰度特征向量，具体包括以下步骤：

(31)借助HARR特征模板，分别将训练样本按照五种方式进行划分，即分别将训练样本划分为左右两个局部区域、上下两个局部区域、左中右三个局部区域、上中下三个局部区域、左上、左下、右上、右下四个局部区域，得到14个局部区域子图；

(32)利用最大类间距算法，获取训练样本的二值图像；

(33)基于训练样本的二值图像，统计得到全图前景目标点所占的比例；

(34)基于训练样本的二值图像，分别统计得到14个局部区域子图前景目标点所占的比例；

(35)将得到的各个比例值串联起来，形成训练样本的汉字灰度特征向量。

所述的基于多特征融合的车牌汉字识别方法，步骤(2)中，获取训练样本的汉字纹理特征向量，具体包括以下步骤：

(41)借助HARR特征模板，分别将训练样本按照五种方式进行划分，即分别将训练样本划分为左右两个局部区域、上下两个局部区域、左中右三个局部区域、上中下三个局部区域、左上、左下、右上、右下四个局部区域，得到14个局部区域子图；

(42)利用以下公式，对训练样本进行LBP特征变换，得到训练样本的LBP特征图：

${\mathrm{LBP}}_{p,r}(x_c,y_c)=\underset{n=0}{\overset{p-1}{\mathrm{\&Sigma;}}}s(g(x_n,y_n)-g(x_c,y_c))*2^n$

$s(g(x_n,y_n)-g(x_c,y_c))=\left\{\begin{array}{cc}1& g(x_n,y_n)\&GreaterEqual;g(x_c,y_c)\\ 0& g(x_n,y_n)<g(x_c,y_c)\end{array}\right.$

其中，LBP_p，r(x_c，y_c)表示当前像素(x_c，y_c)的LBP变换特征，g(x_c，y_c)表示当前像素(x_c，y_c)的灰度值，g(x_n，y_n)表示邻域像素(x_n，y_n)的灰度值，p表示邻域像素的数目，r表示领域半径；

(43)基于训练样本的LBP特征图，统计得到全图的9维灰度直方图；

(44)基于训练样本的LBP特征图，分别统计得到14个局部区域子图的9维灰度直方图；

(45)将得到的各个9维灰度直方图串联起来，形成训练样本的汉字纹理特征向量。

本发明的有益效果在于：

(1)融合了汉字的全局特征和局部特征，克服了二者的固有缺点，对于含强干扰的汉字和低图像质量的汉字，均具有很好的鲁棒性；

(2)所选特征包含了汉字的边缘梯度特征、灰度特征、纹理特征，特征更加合理、全面，可以获取更加准确的识别结果。

附图说明

图1是本发明的方法流程图；

图2是本发明的汉字边缘特征求取过程图；

图3是本发明的局部区域子图划分模板；

图4是本发明的LBP特征变换过程图。

具体实施方式

下面，结合附图和具体实施例进一步说明本发明。

如图1所示，一种基于多特征融合的车牌汉字识别方法，包括以下步骤：

步骤101：获取SVM分类器的训练样本，按照以下步骤102至步骤107，收集所有训练样本的汉字融合特征向量，送入SVM分类器进行训练，得到训练结果文件。

步骤102、将待测图像进行归一化，消除不同尺寸带来的影响。

步骤103、如图2所示，基于HOG特征理论，获取待测图像的汉字边缘特征向量，具体步骤如下：

(1)按照公式[1]和式[2]，计算全图每一个像素的梯度幅值M(x，y)和方向角度α(x，y)，由于将梯度方向的范围限定在[0，π]，所以再按照公式[3]，对计算出的方向角度α(x，y)进行校正：

公式[1]

$\left\{\begin{array}{c}M(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}\\ \mathrm{\&alpha;}(x,y)=\arctan \left(\frac{G_y(x,y)}{G_x(x,y)}\right)\end{array}\right.$

公式[2]

$\left\{\begin{array}{c}{G}_x(x,y)=g(x+1,y)-g(x-1,y)\\ G_y(x,y)=g(x,y+1)-g(x,y-1)\end{array}\right.$

其中，g(x，y)是像素(x，y)的灰度值；

公式[3]

${\mathrm{\&alpha;}}^{\&prime;}(x,y)=\left\{\begin{array}{cc}\mathrm{\&alpha;}(x,y)+\mathrm{\&pi;}& \mathrm{\&alpha;}(x,y)<0\\ \mathrm{\&alpha;}(x,y)& \mathrm{\&alpha;}(x,y)\&GreaterEqual;0\end{array}\right.$

其中，α′(x，y)是校正后的方向角度；

(2)基于像素的方向角度，统计每个cell的梯度方向直方图，由于汉字的笔划主要由横竖撇捺组成，因此选择4维梯度方向直方图来表达特征；

(3)将4个cell的梯度方向直方图串联起来，形成一个block区域梯度方向直方图，并进行归一化；

(4)串联所有的block梯度方向直方图，形成待测图像的汉字边缘特征向量。

步骤104、如图3所示，借助HARR特征模板，将待测图像划分为14个局部区域子图，例如，图3(a)将原图划分为左右两个局部区域，图3(b)将原图划分为上下两个局部区域，图3(c)将原图划分为左中右三个局部区域，图3(d)将原图划分为上中下三个局部区域，图3(e)将原图划分为左上、左下、右上、右下四个局部区域。

步骤105、获取待测图像的汉字灰度特征向量，具体步骤如下：

(1)依据最大类间距理论，获取待测图像的二值图像；

(2)基于二值图像，统计全图前景目标点所占的比例；

(3)基于二值图像，统计各个局部区域子图前景目标点所占的比例；

(4)串联各个比例值，形成待测图像的汉字灰度特征向量。

步骤106、如图4所示，获取待测图像的汉字纹理特征向量，具体步骤如下：

(1)按照公式[4]和公式[5]，求取待测图像的LBP变换特征LBP_p，r(x_c，y_c)：

公式[4]

${\mathrm{LBP}}_{p,r}(x_c,y_c)=\underset{n=0}{\overset{p-1}{\mathrm{\&Sigma;}}}s(g(x_n,y_n)-g(x_c,y_c))*2^n$

公式[5]

$s(g(x_n,y_n)-g(x_c,y_c))=\left\{\begin{array}{cc}1& g(x_n,y_n)\&GreaterEqual;g(x_c,y_c)\\ 0& g(x_n,y_n)<g(x_c,y_c)\end{array}\right.$

其中，LBP_p，r(x_c，y_c)是当前像素的LBP变换特征，g(x_c，y_c)是当前像素的灰度值，g(x_n，y_n)是邻域像素的灰度值，p是邻域像素的数目，r是邻域半径；

(2)在LBP特征图上，基于全图范围，统计灰度直方图，由于汉字的笔划主要由横竖撇捺组成，对应边缘的LBP特征主要有8类，加上无边缘时的特征，因此选择9维灰度直方图来表达特征；

(3)在LBP特征图上，分别获取各个局部区域子图的9维灰度直方图；

(4)串联各个9维灰度直方图，形成待测图像的汉字纹理特征向量。

步骤107、串联待测图像的汉字边缘特征向量、汉字灰度特征向量、汉字纹理特征向量，形成待测图像的汉字融合特征向量。

步骤108、将待测图像的汉字融合特征向量输入SVM分类器，预测分类结果。

以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (4)

1.一种基于多特征融合的车牌汉字识别方法，其特征在于，包括以下步骤：

(1)对收集的若干训练图像进行预处理，得到若干训练样本；

(2)分别获取训练样本的汉字边缘特征向量、汉字灰度特征向量、汉字纹理特征向量；

(3)串联训练样本的汉字边缘特征向量、汉字灰度特征向量、汉字纹理特征向量，形成训练样本的汉字融合特征向量；

(4)将所有训练样本的汉字融合特征向量输入SVM分类器，完成对SVM分类器的训练；

(5)对待测车牌汉字图像进行预处理，得到测试样本；

(6)分别获取测试样本的汉字边缘特征向量、汉字灰度特征向量、汉字纹理特征向量；

(7)串联测试样本的汉字边缘特征向量、汉字灰度特征向量、汉字纹理特征向量，形成测试样本的汉字融合特征向量；

(8)将测试样本的汉字融合特征向量输入训练完成的SVM分类器，识别得到待测车牌汉字图像中的汉字。

2.根据权利要求1所述的基于多特征融合的车牌汉字识别方法，其特征在于，步骤(2)中，获取训练样本的汉字边缘特征向量，具体包括以下步骤：

(21)利用以下公式，计算训练样本全图每一个像素的梯度幅值和方向角度：

$\left\{\begin{array}{c}M(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}\\ \mathrm{\&alpha;}(x,y)=\arctan \left(\frac{G_y(x,y)}{G_x(x,y)}\right)\end{array}\right.$

$\left\{\begin{array}{c}{G}_x(x,y)=g(x+1,y)-g(x-1,y)\\ G_y(x,y)=g(x,y+1)-g(x,y-1)\end{array}\right.$

其中，M(x，y)表示像素(x，y)的梯度幅值，α(x，y)表示像素(x，y)的方向角度，g(x，y)表示像素(x，y)的灰度值；

(22)利用以下公式，对步骤(21)计算出的方向角度进行校正：

${\mathrm{\&alpha;}}^{\&prime;}(x,y)=\left\{\begin{array}{cc}\mathrm{\&alpha;}(x,y)+\mathrm{\&pi;}& \mathrm{\&alpha;}(x,y)<0\\ \mathrm{\&alpha;}(x,y)& \mathrm{\&alpha;}(x,y)\&GreaterEqual;0\end{array}\right.$

其中，α′(x，y)表示校正后的方向角度；

(23)基于像素的方向角度，统计每个晶胞的4维梯度方向直方图，每个晶胞由若干像素构成；

(24)将4个晶胞的梯度方向直方图串联起来，构成一个区块的梯度方向直方图；

(25)将所有区块的梯度方向直方图归一化后串联起来，形成训练样本的汉字边缘特征向量。

3.根据权利要求1所述的基于多特征融合的车牌汉字识别方法，其特征在于，步骤(2)中，获取训练样本的汉字灰度特征向量，具体包括以下步骤：

(31)借助HARR特征模板，分别将训练样本按照五种方式进行划分，即分别将训练样本划分为左右两个局部区域、上下两个局部区域、左中右三个局部区域、上中下三个局部区域、左上、左下、右上、右下四个局部区域，得到14个局部区域子图；

(32)利用最大类间距算法，获取训练样本的二值图像；

(33)基于训练样本的二值图像，统计得到全图前景目标点所占的比例；

(34)基于训练样本的二值图像，分别统计得到14个局部区域子图前景目标点所占的比例；

(35)将得到的各个比例值串联起来，形成训练样本的汉字灰度特征向量。

4.根据权利要求1所述的基于多特征融合的车牌汉字识别方法，其特征在于，步骤(2)中，获取训练样本的汉字纹理特征向量，具体包括以下步骤：

(41)借助HARR特征模板，分别将训练样本按照五种方式进行划分，即分别将训练样本划分为左右两个局部区域、上下两个局部区域、左中右三个局部区域、上中下三个局部区域、左上、左下、右上、右下四个局部区域，得到14个局部区域子图；

(42)利用以下公式，对训练样本进行LBP特征变换，得到训练样本的LBP特征图：

${\mathrm{LBP}}_{p,r}(x_c,y_c)=\underset{n=0}{\overset{p-1}{\mathrm{\&Sigma;}}}s(g(x_n,y_n)-g(x_c,y_c))*2^n$

$s(g(x_n,y_n)-g(x_c,y_c))=\left\{\begin{array}{cc}1& g(x_n,y_n)\&GreaterEqual;g(x_c,y_c)\\ 0& g(x_n,y_n)<g(x_c,y_c)\end{array}\right.$

其中，LBP_p，r(x_c，y_c)表示当前像素(x_c，y_c)的LBP变换特征，g(x_c，y_c)表示当前像素(x_c，y_c)的灰度值，g(x_n，y_n)表示邻域像素(x_n，y_n)的灰度值，p表示邻域像素的数目，r表示邻域半径；

(43)基于训练样本的LBP特征图，统计得到全图的9维灰度直方图；

(44)基于训练样本的LBP特征图，分别统计得到14个局部区域子图的9维灰度直方图；

(45)将得到的各个9维灰度直方图串联起来，形成训练样本的汉字纹理特征向量。