CN102375991A - 分类器训练方法和装置以及字符识别方法和装置 - Google Patents

Abstract

本发明公开了一种分类器训练方法和装置以及字符识别方法和装置。本发明利用基于宏块的分块LBP特征来实现字符识别，其中，分块LBP特征针对的不是像素点、而是位置区域，且每个位置区域的分块LBP特征中不但包括该位置区域的纹理特征，还进一步包括以该位置区域若干方向上的多个邻域的纹理特征，因而每个位置区域的分块LBP特征能够反映出包含具有一定宽度、以及较长延伸距离的字符笔画的较大范围内的特征，相比于利用仅针对像素点的LBP特征的方案，能够提高字符识别的准确性。

Description

分类器训练方法和装置以及字符识别方法和装置

技术领域

本发明涉及模式识别技术，特别涉及用于字符识别的一种分类器训练方法和一种分类器训练装置、以及一种字符识别方法、一种字符识别装置。

背景技术

车牌识别技术是一种字符识别技术，其属于智能交通领域的一项重要技术，其在路口收费、小区进出控制、以及自动违章车辆检测等领域具有重要的实用价值。

车牌识别主要是对车牌图像中例如汉字、数字、以及字母等车牌字符的识别，而由于车牌字符均是由在不同方向延伸的笔画所构成，因而在对车牌图像的各位置处进行识别时，除了要考虑当前位置处的特征之外，还需要考虑当前位置处的邻域特征。

具体说，现有技术中常采用局部二值模式(Local Binary Pattern，LBP)特征作为车牌图像各位置处的特征，LBP特征通过对当前位置处的像素点与邻域像素的取值关系进行编码，从而获得当前位置处的像素点与其邻域像素点所构成的位置区域的纹理特征，进而基于各位置区域的纹理特征来识别车牌图像中是否包含应有的车牌字符。

假定图像中像素坐标为(i，j)的像素点对应的像素值为l_i，j，以该像素点为中心取3×3邻域，则各像素点的像素值如下：

则，定义像素坐标为(i，j)的像素点的LBP特征可以表示为：

即，可以表示为二进制序列[B(i+1，j+1)，B(i，j+1)，B(i-1，j+1)，B(i+1，j)，B(i，j)，B(i-1，j)，B(i+1，j-1)，B(i，j-1)，B(i-1，j-1)]；

其中， $B(i+m,j+n)=\left\{\begin{array}{cc}1& \mathrm{ifl}(i+m,j+n)\≥l(i,j)\\ 0& \mathrm{else}\end{array}\right.;$

即，如果l(i+m，j+n)≥l(i，j)，则B(i+m，j+n)取1，否则，B(i+m，j+n)取0。

然而，虽然LBP特征能够一定程度上反映每个像素点的邻域特征，但由于车牌图像中的车牌字符笔画都具有一定的宽度、以及较长的延伸距离，因而仅考虑3×3邻域的LBP特征无法反映出包含有字符笔画的较大范围内的特征，从而导致例如车牌识别等字符识别技术的准确性不高。

发明内容

有鉴于此，本发明提供了用于字符识别的一种分类器训练方法和一种分类器训练装置、以及一种字符识别方法、一种字符识别装置，能够提高字符识别的准确度。

本发明提供的一种用于字符识别的分类器训练方法，该方法分别针对每一车牌字符执行如下步骤：

a、对包含有当前车牌字符的各正样本图像、以及未包含当前车牌字符的反样本图像进行尺度归一化；

b、从尺度归一化后的各正、反样本图像中提取各位置区域的分块区域二值化模式LBP特征，得到各正、反样本图像的分块LBP特征向量；

c、利用各正、反样本图像的分块LBP特征向量训练当前车牌字符的分类器，以使该分类器可依据输入图像的分块LBP特征向量得到该输入图像中包含有当前车牌字符的置信度；

其中，每个位置区域的分块LBP特征中包括该位置区域的纹理特征、以及该位置区域若干方向上的邻域的纹理特征。

每个位置区域r(0)_i，j为矩形区域，每个位置区域r(0)_i，j的邻域为该位置区域四边相邻的位置区域r(1)_i，j～r(4)_i，j，i表示位置区域所在行、j表示位置区域所在列，i、j均大于1；

且，每个位置区域r(0)_i，j的分块LBP特征

如果r(n)_i，j中的像素值之和大于预定阈值则MB_B(n)_i，j取1，否则MB_B(n)_i，j取0。

针对每一车牌字符的所述步骤c具体包括如下步骤：

c0、给定样本集L_B＝{(x_p，y_p)}，其中，x_p为第p个样本图像中提取出的分块LBP特征向量；y_p为表示第p个样本图像为正样本图像还是反样本图像的样本标识，y_p∈{+1，-1}；p大于等于1且小于等于正、反样本图像总数M；

c1、设置每个分块LBP样本特征向量x_p的初始权重

c2、对每个分块LBP样本特征向量x_p进行T轮迭代，其中，在第t轮迭代过程中，先依据以分块LBP样本特征向量x_p所有可能的取值为横坐标、以分块LBP样本特征向量x_p的权重累积值为纵坐标的第t轮离散分布D_t，为每个分块LBP样本特征向量x_p构造一弱分类器h_t(x_p)，然后从设定的所有弱分类器中选择可使正反样本分类误差最小的一个作为第t次迭代的最优弱分类器h_t(X_p)，再利用每个分块LBP样本特征向量x_p的最优弱分类器h_t(X_p)更新该分块LBP样本特征向量x_p下一次迭代的权重，T为预先设定的迭代次数；

c3、利用T次迭代得到的所有最优弱分类器h_t(X_p)计算得到表示识别结果的强分类器

所述步骤c2在第t次迭代过程中包括如下步骤：

c20、将D_t(p)累积分布的分块LBP样本特征向量x_p取值空间划分为Q个互不相交的区间；

c21、统计每一区间X_q内出现正样本的概率

以及每

一区间X_q内出现反样本特征的概率

c22、每一分块LBP样本特征向量x_p的弱分类器h_t(x_p)设定为：

ε为避免

为0时引起数字溢出的预定系数；

c23、从设定的所有弱分类器h_t(x_p)中选择可使正反样本特征向量的分类误差最小的一个，作为第t次迭代的最优弱分类器h_t(X_p)，其中，弱分类器h_t(x_p)的分类误差上界

c24、通过计算来更新分块LBP样本特征向量x_p下一次迭代的权重D_t+1(p)。

本发明提供的一种用于字符识别的分类器训练装置，该装置分别针对每一车牌字符包括：

对齐归一化单元，用于对包含有当前车牌字符的各正样本图像、以及未包含当前车牌字符的反样本图像进行尺度归一化；

块特征提取单元，用于从尺度归一化后的各正、反样本图像中提取各位置区域的分块区域二值化模式LBP特征，得到各正、反样本图像的分块LBP特征向量；其中，每个位置区域的分块LBP特征中包括该位置区域的纹理特征、以及该位置区域若干方向上的邻域的纹理特征；

置信度训练单元，用于利用各正、反样本图像的分块LBP特征向量训练当前车牌字符的分类器，以使该分类器可依据输入图像的分块LBP特征向量得到该输入图像中包含有当前车牌字符的置信度。

每个位置区域r(0)_i，j为矩形区域，每个位置区域r(0)_i，j的邻域为该位置区域四边相邻的位置区域r(1)_i，j～r(4)_i，j，i表示位置区域所在行、j表示位置区域所在列，i、j均大于1；

且，每个位置区域r(0)_i，j的分块LBP特征

如果r(n)_i，j中的像素值之和大于预定阈值则MB_B(n)_i，j取1，否则MB_B(n)_i，j取0。

针对每一车牌字符的置信度训练单元包括：

样本配置模块，用于配置给定样本集L_B＝{(x_p，y_p)}，其中，x_p为第p个样本图像中提取出的分块LBP特征向量；y_p为表示第p个样本图像为正样本图像还是反样本图像的样本标识，y_p∈{+1，-1}；p大于等于1且小于等于正、反样本图像总数M；

权重配置模块，用于设置每个分块LBP样本特征向量x_p的初始权重 $D_1\left(p\right)=\frac{1}{M};$

迭代处理模块，用于对每个分块LBP样本特征向量x_p进行T轮迭代，其中，在第t轮迭代过程中，先依据以分块LBP样本特征向量x_p所有可能的取值为横坐标、以分块LBP样本特征向量x_p的权重累积值为纵坐标的第t轮离散分布D_t，为每个分块LBP样本特征向量x_p构造一弱分类器h_t(x_p)，然后从设定的所有弱分类器中选择可使正反样本分类误差最小的一个作为第t次迭代的最优弱分类器h_t(X_p)，再利用每个分块LBP样本特征向量x_p的最优弱分类器h_t(X_p)更新该分块LBP样本特征向量x_p下一次迭代的权重，T为预先设定的迭代次数；

结果输出模块，用于利用T次迭代得到的所有最优弱分类器h_t(X_p)计算得到表示识别结果的强分类器

迭代处理模块包括：

区间划分子模块，用于将D_t(p)累积分布的分块LBP样本特征向量x_p取值空间划分为Q个互不相交的区间；

概率统计子模块，用于统计每一区间X_q内出现正样本的概率

以及每一区间X_q内出现反样本特征的概率 $W_{-1}^q=\underset{i:x_p\∈X_q\∩y_p=-1}{\mathrm{\Σ}}{D}_t\left(p\right);$

分类器设定子模块，用于将每一分块LBP样本特征向量x_p的弱分类器h_t(x_p)设定为：ε为避免

为0时引起数字溢出的预定系数；

分类器选择子模块，用于从设定的所有弱分类器h_t(x_p)中选择可使正反样本特征向量的分类误差最小的一个，作为第t次迭代的最优弱分类器h_t(X_p)，其中，弱分类器h_t(x_p)的分类误差上界

权重更新子模块，通过计算

来更新分块LBP样本特征向量x_p下一次迭代的权重D_t+1(p)。

本发明提供的一种字符识别方法，包括：

从输入图像各字符搜索区域中的各位置区域提取分块区域二值化模式LBP特征，得到各字符搜索区域的分块LBP特征向量；其中，每个位置区域的分块LBP特征中包括该位置区域的纹理特征、以及该位置区域若干方向上的邻域的纹理特征；

利用前述的训练方法得到的分别针对各车牌字符的分类器，得到输入图像中各字符搜索区域分别针对各车牌字符的置信度；

依据各字符搜索区域所分别对应的针对各车牌字符的置信度，得到该输入图像中各字符搜索区域所包含的车牌字符。

所述字符为车牌字符并包括汉字、字母、以及数字，字符搜索区域包括汉字搜索区域、字母搜索区域、以及数字搜索区域；

该方法先从汉字搜索区域提取得到分块LBP特征向量、利用前述的训练方法得到的分别针对各汉字的分类器得到汉字搜索区域针对各汉字的置信度、以及依据汉字搜索区域的置信度得到汉字搜索区域所包含的汉字；然后，再利用汉字搜索区域定位得到字母搜索区域和数字搜索区域，并分别从字母搜索区域和数字搜索搜索区域提取得到分块LBP特征向量、前述的训练方法得到的分别针对各字母和数字的分类器分别得到字母搜索区域针对各字母的置信度和各数字搜索区域针对各数字的置信度、以及依据字母搜索区域和数字搜索区域的置信度得到字母搜索区域包含的字母和数字搜索区域包含的数字。

该方法针对汉字搜索区域、字母搜索区域、数字搜索区域，分别选取大于预定阈值的最大置信度所对应的汉字、字母、数字作为汉字搜索区域、字母搜索区域、数字搜索区域分别包含的汉字、字母、数字。

该方法针对汉字搜索区域，选取大于预定阈值的最大置信度所对应的汉字作为汉字搜索区域包含的汉字；针对字母搜索区域、数字搜索区域，分别选取同时满足置信度、以及与汉字之间距离最优的字母、数字作为字母搜索区域、数字搜索区域分别包含的字母、数字。

同时满足置信度、以及与汉字之间距离最优为

最大，其中：

表示字母搜索区域或数字搜索区域在车牌中的位置排列序号，η(L|μ，σ)为第m个字母搜索区域中的字母、或第m个数字搜索区域中的数字与汉字之间归一化距离L符合高斯分布模型η(μ，σ)的概率值，高斯分布模型η(μ，σ)预先统计得到，

为第m个字母搜索区域针对任意字母的置信度、或第m个数字搜索区域针对任意数字的置信度。

本发明提供的一种字符识别装置，包括：

特征提取单元，用于从输入图像各字符搜索区域中的各位置区域提取分块区域二值化模式LBP特征，得到各字符搜索区域的分块LBP特征向量；其中，每个位置区域的分块LBP特征中包括该位置区域的纹理特征、以及该位置区域若干方向上的邻域的纹理特征；

由前述的训练装置训练得到的分别针对各车牌字符的若干分类器，每一分类器用于产生输入图像中各字符搜索区域针对该分类器所对应车牌字符的置信度；

结果判定单元，用于依据各字符搜索区域所分别对应的针对各车牌字符的置信度，得到该输入图像中各字符搜索区域所包含的车牌字符。

所述字符为车牌字符并包括汉字、字母、以及数字，字符搜索区域包括汉字搜索区域、字母搜索区域、以及数字搜索区域；

特征提取单元包括针对汉字搜索区域的第一特征提取子单元、以及针对字母搜索区域和数字搜索区域的第二特征提取子单元；

结果判定单元包括分别针对汉字搜索区域的第一结果判定子单元、以及针对字母搜索区域和数字搜索区域的第二结果判定子单元；

且，针对汉字搜索区域的第一结果判定子单元在得到汉字搜索区域包含有对应汉字的分类结果后，进一步利用汉字搜索区域定位得到字母搜索区域和数字搜索区域，并触发针对字母搜索区域和数字搜索区域的第二特征提取子单元和第二结果判定子单元。

针对汉字搜索区域的第一结果判定子单元，选取大于预定阈值的最大置信度所对应的汉字作为汉字搜索区域包含的汉字；

针对字母搜索区域和数字搜索区域的第二结果判定子单元，分别选取大于预定阈值的最大置信度所对应的字母、数字作为字母搜索区域、数字搜索区域分别包含的字母、数字。

针对汉字搜索区域的第一结果判定子单元，选取大于预定阈值的最大置信度所对应的汉字作为汉字搜索区域包含的汉字；

针对字母搜索区域和数字搜索区域的第二结果判定子单元，分别选取同时满足置信度、以及与汉字之间距离最优的字母、数字作为字母搜索区域、数字搜索区域分别包含的字母、数字。

同时满足置信度、以及与汉字之间距离最优为

最大，其中：

表示字母搜索区域或数字搜索区域在车牌中的位置序号，η(L|μ，σ)为第m个字母搜索区域中的字母、或第m个数字搜索区域中的数字与汉字之间归一化距离L符合高斯分布模型η(μ，σ)的概率值，高斯分布模型η(μ，σ)预先统计得到，

为第m个字母搜索区域针对任意字母的置信度、或第m个数字搜索区域针对任意数字的置信度。

由上述技术方案可见，本发明利用基于宏块的分块LBP特征来实现字符识别，其中，分块LBP特征针对的不是像素点、而是位置区域，且每个位置区域的分块LBP特征中不但包括该位置区域的纹理特征，还进一步包括以该位置区域若干方向上的多个邻域的纹理特征，因而每个位置区域的分块LBP特征能够反映出包含具有一定宽度、以及较长延伸距离的字符笔画的较大范围内的特征，相比于现有技术中利用仅针对像素点的LBP特征的方案，能够提高字符识别的准确性。

此外，本发明还可以先识别车牌字符中的汉字，只有在识别出汉字之后，再依据识别出的汉字位置定位其他字符的搜索位置、并进行识别，从而能够利用汉字的定位提高识别速度、并避免不必要的处理过程。

附图说明

图1为本发明实施例中基于宏块的分块LBP特征所对应的位置区域及邻域的一种实例示意图；

图2为本发明实施例中基于宏块的分块LBP特征所对应的位置区域及邻域的另一种实例示意图；

图3为本发明实施例中用于字符识别的分类器训练方法的流程示意图；

图4为本发明实施例中字符识别方法的流程示意图；

图5为本发明实施例中用于字符识别的分类器训练装置的结构示意图；

图6为本发明实施例中字符识别装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

在本实施例中，为了更好地鉴别车牌图像中的车牌字符的笔画走向，提出了一种改进的基于宏块的分块LBP特征，该分块LBP特征针对的不是像素点、而是位置区域，每个位置区域的分块LBP特征中不但包括该位置区域的纹理特征，还进一步包括以该位置区域为中心、并在该位置区域若干方向上的多个邻域的纹理特征，从而，每个位置区域的分块LBP特征能够反映出包含具有一定宽度、以及较长延伸距离的字符笔画的较大范围内的特征。

参见图1，假设每个位置区域r(0)_i，j为W_b×H_b的矩形区域，W_b、H_b均为大于等于2的正整数，且W_b与H_b可以相同也可以不同，每个位置区域r(0)_i，j的邻域为该位置区域r(0)_i，j四边相邻的位置区域r(1)_i，j～r(4)_i，j，i表示位置区域所在行、j表示位置区域所在列，i大于1且小于行总数，j大于1且小于列总数；

那么，每个位置区域r(0)_i，j的分块LBP特征MB_LBP_i，j可表示为：

即，MB_LBP_i，j可以表示为二进制序列[MB_B(0)_i，j，MB_B(1)_i，j，MB_B(2)_i，j，MB_B(3)_i，j，MB_B(4)_i，j]，MB_B(0)_i，j表示位置区域r(0)_i，j的纹理特征，MB_B(1)_i，j～MB_B(4)_i，j则表示位置区域r(0)_i，j的四个方向上的多个邻域r(1)_i，j～r(4)_i，j的纹理特征；当然，上述二进制序列中各元素也可以采用其他顺序排列。

其中，在车牌识别等字符识别的实际应用中，由于例如车牌图像等包含有字符的图像的背景部分通常为暗色的像素值较低的像素点、字符部分通常为两色的像素值较高的像素点，因而，纹理特征

即，如果r(n)_i，j中的像素值之和大于预定阈值T(车牌图像中经常为暗底色、亮字符)，则MB_B(n)_i，j取1，表示位置区域r(n)内包含车牌字符的笔画像素；否则MB_B(n)_i，j取0，表示位置区域r(n)内没有车牌字符的笔画像素。即，MB_LBP_i，j的最大取值为31、最小取值为0。

假设车牌字符的笔画覆盖了r(0)_i，j、以及r(1)_i，j和r(3)_i，j，则MB_B(0)_i，j、MB_B(1)_i，j、MB_B(3)_i，j取值为1，MB_B(2)_i，j、MB_B(4)_i，j取值为0，即MB_LBP_i，j＝11010＝26。

实际应用中，还可以按照如图2所示的方式，选择位置区域r(0)_i，j四角相邻的位置区域r(1)_i，j～r(4)_i，j；或者，只要能够体现车牌字符笔画走向的其他方式选择邻域。

需要说明的是，本实施例中所使用的n、i、j等标记，与背景技术部分出现的标记无关。

下面，先对本实施例中用于字符识别的分类器训练方法、以及字符识别方法进行详细说明。

图3为本发明实施例中用于字符识别的分类器训练方法的流程示意图。如图3所示，为了将一个车牌字符与多个车牌字符之间的多类分类问题，转换为每个车牌字符是否为真的两类分类问题，本发明实施例中用于字符识别的分类器训练方法分别针对每一车牌字符执行如下步骤：

步骤301，对包含有当前车牌字符的各正样本图像、以及未包含当前车牌字符的反样本图像进行尺度归一化。

步骤302，从尺度归一化后的各正、反样本图像中提取各位置区域的分块LBP特征，得到各正、反样本图像的分块LBP特征向量，分块LBP特征向量为一个二进制特征向量，分块LBP特征向量也可以称之为分块LBP特征图像。

本步骤中，各位置区域可以紧密相邻、也可以部分重叠、还可以间隔预定的间隙，实际应用中可依据需要确定各位置区域之间的位置关系。

步骤303，利用各正、反样本图像的分块LBP特征向量训练当前车牌字符的分类器，以使该分类器可依据输入图像的分块LBP特征向量得到该输入图像中包含有当前车牌字符的置信度。

具体说，本步骤中的处理过程可以包括：

1)给定样本集L_B＝{(x_p，y_p)}，x_p为第p个样本图像中提取出的分块LBP特征向量，x_p的维数、即分块LBP特征向量的维数，取决于第p个样本图像中所提取出的分块LBP特征总数；y_p为表示第p个样本图像为正样本图像还是反样本图像的样本标识，y_p∈{+1，-1}、第p个样本图像为正样本图像、即x_p为正样本特征向量时，y_p取+1，第p个样本图像为反样本图像、即x_p为反样本特征向量时，y_p取-1；p大于等于1且小于等于正、反样本图像总数M，M为大于1的正整数；

2)设置每个分块LBP样本特征向量x_p的初始权重

这里设置的权重可以看作是分块LBP样本特征向量x_p出现的概率值；

3)对每个分块LBP样本特征向量x_p进行T轮迭代、T为预先设定的迭代次数，在第t轮迭代过程中：

3.1)依据以分块LBP样本特征向量x_p所有可能的取值为横坐标、以分块LBP样本特征向量x_p的权重累积值为纵坐标的第t轮离散分布D_t，为每个分块LBP样本特征向量x_p构造一弱分类器h_t(x_p)，h_t(x_p)表示基于对应的分块LBP样本特征向量x_p取值可确定为真的概率、即对应的分块LBP样本特征向量x_p属于当前车牌字符对应位置的置信度；分块LBP特征向量x_p为一个二进制特征向量，本文所述的分块LBP样本特征向量的取值，可以表示为二进制取值、或者也可以表示为由二进制转换得到的十进制取值。

例如：可以先将D_t(p)累积分布的分块LBP样本特征向量x_p取值空间划分为Q个互不相交的区间；

然后，统计每一区间X_q内出现正样本的概率：

$W_{+1}^q=P(x_p\∈X_q,y_p=+1)=\underset{i:x_p\∈X_q\∩y_p=+1}{\mathrm{\Σ}}{D}_t\left(p\right),$

以及，每一区间X_q内出现反样本特征的概率：

$W_{-1}^q=P(x_p\∈X_q,y_p=-1)=\underset{i:x_p\∈X_q\∩y_p=-1}{\mathrm{\Σ}}{D}_t\left(p\right);$

然后，即可将每一区间X_q内的每一分块LBP样本特征向量x_p的弱分类器h_t(x_p)设定为：

ε为避免

为0时引起数字溢出的预定系数。

3.2)从设定的所有弱分类器h_t(x_p)中选择可使正反样本特征向量的分类误差最小的一个，作为第t次迭代的最优弱分类器h_t(X_p)。

例如，对于弱分类器h_t(x_p)，其分类误差上界

3.3)分别利用每个分块LBP样本特征向量x_p的最优弱分类器h_t(X_p)，更新该分块LBP样本特征向量x_p下一次迭代的权重，以使得正样本特征向量的权重越来越小、反样本特征向量的权重随着迭代过程的继续而越来越大，从而使最优弱分类器h_t(X_p)的精度随着迭代过程的继续而越来越高，t大于等于1且小于等于T。

实际应用中，可以计算

来更新该分块LBP样本特征向量x_p下一次迭代的权重D_t+1(p)。

4)利用T次迭代得到的所有最优弱分类器h_t(X_p)计算得到表示识别结果的强分类器

为表示输入图像中包含有当前车牌字符的置信度。

至此，本流程结束。

基于上述流程训练得到的分类器，即可得到待认证的任意输入图像中各字符位置包含有每一字符的置信度，并依据各字符位置所对应的最大置信度，识别出该输入图像中各字符位置是否包含有对应车牌字符的分类结果

b为预定的置信度阈值，sign()为表示

是否大于b的符号函数，其输出正表示真、输出负表示假，从而实现字符识别。

而且，由于分块LBP特征针对的不是像素点、而是位置区域，且每个位置区域的分块LBP特征中不但包括该位置区域的纹理特征，还进一步包括以该位置区域若干方向上的多个邻域的纹理特征，因而每个位置区域的分块LBP特征能够反映出包含具有一定宽度、以及较长延伸距离的字符笔画的较大范围内的特征，从而相比于现有技术中利用仅针对像素点的LBP特征的方案，利用由分块LBP特征训练得到的分类器进行字符识别能够提高字符识别的准确性。

图4为本发明实施例中字符识别方法的流程示意图。如图4所示，基于上述训练方法得到的分类器，以车牌识别为例，本实施例中的字符识别方法包括如下步骤：

步骤401，对待识别图像进行定位，确定车牌区域。

步骤402，按照现有的统计方法确定车牌区域中的汉字搜索区域。

由于车牌图像中通常只包含例如“京”、或“沪”、或“苏”等一个汉字，因而本步骤中所确定的汉字搜索区域通常为一个。

步骤403，从所确定的汉字搜索区域内提取各位置区域的分块LBP特征，得到汉字搜索区域所对应的分块LBP特征向量、或称之为分块LBP特征图像。

步骤404，将汉字搜索区域所对应的分块LBP特征图像，同时输入至由如图3所示训练方法得到的针对每一汉字的分类器，得到与每一汉字对应的置信度。

步骤405，从所有置信度中选择最大的一个，并将最大的一个置信度与预定的阈值进行比较，如果大于等于该阈值，则认为汉字搜索区域内包含该最大的置信度所对应的汉字、并执行步骤406，否则，认为汉字搜索区域内未包含车牌字符中应有的汉字、并结束本流程。

本步骤中，即等同于得到了针对汉字的分类结果

步骤406，依据确定包含有汉字的汉字搜索区域的位置、并按照现有的统计方法，确定车牌区域中的字母搜索区域和数字搜索区域。

步骤407，分别从所确定的字母搜索区域和数字搜索区域内提取各位置区域的分块LBP特征，得到字母搜索区域和数字搜索区域所分别对应的分块LBP特征向量、或称之为分块LBP特征图像。

步骤408，将各字母搜索区域所分别对应的分块LBP特征图像分别同时输入至由如图3所示训练方法得到的针对每一字母的分类器、将各数字搜索区域所分别对应的分块LBP特征图像分别同时输入至由如图3所示训练方法得到的针对每一数字的分类器，得到与每一字母和数字所分别对应的置信度。

步骤409，分别从每个字母搜索区域和数字搜索区域得到的所有置信度中选择最大的一个，并将所有字母搜索区域和数字搜索区域最大的一个置信度分别与对应的阈值进行比较，如果所有字母搜索区域和数字搜索区域最大的一个置信度均大于对应的阈值，则认为待识别图像中包含所有应有的字母和数字、并结束本流程，否则认为待识别图像中未包含所有应有的字母和数字、并结束本流程。

当然，针对字母搜索区域、数字搜索区域，也可以不按照如步骤409所述的方式仅考虑置信度最大的字母、数字，而是可以分别选取同时满足置信度、以及与汉字之间距离最优的字母、数字作为字母搜索区域、数字搜索区域分别包含的字母、数字，即同时兼顾置信度、以及字母和数字与汉字之间的距离，以避免由于搜索区域位置偏离而导致的误识别。

例如，“1”和“3”之间应当存在一定的距离，但如果不考虑距离而仅考虑字符本身的置信度，则容易将“1”和“3”识别为“8”或“B”。

在本实施例中，为了同时满足置信度、以及与汉字之间距离最优，可以定义：

此处的m表示字母搜索区域或数字搜索区域在车牌中的位置排列序号，η(L|μ，σ)为第m个字母搜索区域中的字母、或第m个数字搜索区域中的数字与汉字之间归一化距离L符合高斯分布模型η(μ，σ)的概率值，高斯分布模型η(μ，σ)预先统计得到，

为第m个字母搜索区域针对任意字母的置信度、或第m个数字搜索区域针对任意数字的置信度，m大于等于1、且小于等于车牌中除汉字之外的字母与数字的总位数。

那么，

最大即表示同时满足置信度、以及与汉字之间距离最优。

至此，本流程结束。

如上述流程可见，本实施例优选地先识别车牌字符中的汉字，只有在识别出汉字之后，再依据识别出的汉字位置定位其他字符的搜索位置、并进行识别，从而能够利用汉字的定位提高识别速度、并避免不必要的处理过程。

以上是对本实施例中用于字符识别的分类器训练方法、以及字符识别方法的说明。下面，再对本实施例中用于字符识别的分类器训练装置、以及字符识别装置进行详细说明。

图5为本发明实施例中用于字符识别的分类器训练装置的结构示意图。如图5所示，本实施例中用于字符识别的分类器训练装置分别针对每一车牌字符包括(图5中仅示出了针对一个车牌字符的结构，针对其他字符的结构与图5中的相同、故采用省略号予以表示)：

对齐归一化单元，用于对包含有当前车牌字符的各正样本图像、以及未包含当前车牌字符的反样本图像进行尺度归一化；

块特征提取单元，用于从尺度归一化后的各正、反样本图像中提取各位置区域的分块LBP特征，得到各正、反样本图像的分块LBP特征向量；

置信度训练单元，用于利用各正、反样本图像的分块LBP特征向量训练当前车牌字符的分类器，以使该分类器可依据输入图像的分块LBP特征向量得到该输入图像中包含有当前车牌字符的置信度。

具体说，针对每一车牌字符的置信度训练单元包括(图5中未示出)：

样本配置模块，用于配置给定样本集L_B＝{(x_p，y_p)}，其中，x_p为第p个样本图像中提取出的分块LBP特征向量；y_p为表示第p个样本图像为正样本图像还是反样本图像的样本标识，y_p∈{+1，-1}；p大于等于1且小于等于正、反样本图像总数M；

权重配置模块，用于设置每个分块LBP样本特征向量x_p的初始权重 $D_1\left(p\right)=\frac{1}{M};$

迭代处理模块，用于对每个分块LBP样本特征向量x_p进行T轮迭代，其中，在第t轮迭代过程中，先依据以分块LBP样本特征向量x_p所有可能的取值为横坐标、以分块LBP样本特征向量x_p的权重累积值为纵坐标的第t轮离散分布D_t，为每个分块LBP样本特征向量x_p构造一弱分类器h_t(x_p)，然后从设定的所有弱分类器中选择可使正反样本分类误差最小的一个作为第t次迭代的最优弱分类器h_t(X_p)，再利用每个分块LBP样本特征向量x_p的最优弱分类器h_t(X_p)更新该分块LBP样本特征向量x_p下一次迭代的权重，T为预先设定的迭代次数；

结果输出模块，用于利用T次迭代得到的所有最优弱分类器h_t(X_p)计算得到表示识别结果的强分类器

进一步地，迭代处理模块又可以包括(图5中未示出)：

区间划分子模块，用于将D_t(p)累积分布的分块LBP样本特征向量x_p取值空间划分为Q个互不相交的区间；

概率统计子模块，用于统计每一区间X_q内出现正样本的概率

以及每一区间X_q内出现反样本特征的概率 $W_{-1}^q=\underset{i:x_p\∈X_q\∩y_p=-1}{\mathrm{\Σ}}{D}_t\left(p\right);$

分类器设定子模块，用于将每一分块LBP样本特征向量x_p的弱分类器h_t(x_p)设定为：

ε为避免

为0时引起数字溢出的预定系数；

分类器选择子模块，用于从设定的所有弱分类器h_t(x_p)中选择可使正反样本特征向量的分类误差最小的一个，作为第t次迭代的最优弱分类器h_t(X_p)，其中，弱分类器h_t(x_p)的分类误差上界

权重更新子模块，通过计算

来更新分块LBP样本特征向量x_p下一次迭代的权重D_t+1(p)。

图6为本发明实施例中字符识别装置的结构示意图。如图6所示，本实施例中的字符识别装置包括：

特征提取单元，用于从输入图像各字符搜索区域中的各位置区域提取分块区域二值化模式LBP特征，得到各字符搜索区域的分块LBP特征向量；其中，每个位置区域的分块LBP特征中包括该位置区域的纹理特征、以及该位置区域若干方向上的邻域的纹理特征；

由如图5所示的训练装置训练得到的分别针对各车牌字符的若干分类器，每一分类器用于产生输入图像中各字符搜索区域针对该分类器所对应车牌字符的置信度；

结果判定单元，用于依据各字符搜索区域所分别对应的针对各车牌字符的置信度，得到该输入图像中各字符搜索区域所包含的车牌字符。

如上可见，由于分块LBP特征针对的不是像素点、而是位置区域，且每个位置区域的分块LBP特征中不但包括该位置区域的纹理特征，还进一步包括以该位置区域若干方向上的多个邻域的纹理特征，因而每个位置区域的分块LBP特征能够反映出包含具有一定宽度、以及较长延伸距离的字符笔画的较大范围内的特征，从而相比于现有技术中利用仅针对像素点的LBP特征的方案，利用由分块LBP特征训练得到的分类器进行字符识别能够提高字符识别的准确性。

可选地，对于车牌识别这一具体应用，特征提取单元可以包括针对汉字搜索区域的第一特征提取子单元、以及针对字母搜索区域和数字搜索区域的第二特征提取子单元(图6中未示出)；结果判定单元可以包括分别针对汉字搜索区域的第一结果判定子单元、以及针对字母搜索区域和数字搜索区域的第二结果判定子单元(图6中未示出)；

此时，针对汉字搜索区域的第一结果判定子单元在得到汉字搜索区域包含有对应汉字的分类结果后，进一步利用汉字搜索区域定位得到字母搜索区域和数字搜索区域，然后再触发针对字母搜索区域和数字搜索区域的第二特征提取子单元和第二结果判定子单元。

也就是说，先识别车牌字符中的汉字，只有在识别出汉字之后，再依据识别出的汉字位置定位其他字符的搜索位置、并进行识别，从而能够利用汉字的定位提高识别速度、并避免不必要的处理过程。

而且，针对汉字搜索区域的第一结果判定子单元，可以选取大于预定阈值的最大置信度所对应的汉字作为汉字搜索区域包含的汉字；针对字母搜索区域和数字搜索区域的第二结果判定子单元，分别选取大于预定阈值的最大置信度所对应的字母、数字作为字母搜索区域、数字搜索区域分别包含的字母、数字。

或者，针对汉字搜索区域的第一结果判定子单元，选取大于预定阈值的最大置信度所对应的汉字作为汉字搜索区域包含的汉字；但针对字母搜索区域和数字搜索区域的第二结果判定子单元，分别选取同时满足置信度、以及与汉字之间距离最优的字母、数字作为字母搜索区域、数字搜索区域分别包含的字母、数字，即同时兼顾置信度、以及字母和数字与汉字之间的距离，以避免由于搜索区域位置偏离而导致的误识别。

例如，为了同时满足置信度、以及与汉字之间距离最优，可以定义：

此处的m表示字母搜索区域或数字搜索区域在车牌中的位置排列序号，η(L|μ，σ)为第m个字母搜索区域中的字母、或第m个数字搜索区域中的数字与汉字之间归一化距离L符合高斯分布模型η(μ，σ)的概率值，高斯分布模型η(μ，σ)预先统计得到，

为第m个字母搜索区域针对任意字母的置信度、或第m个数字搜索区域针对任意数字的置信度，m大于等于1、且小于等于车牌中除汉字之外的字母与数字的总位数。

那么，最大即表示同时满足置信度、以及与汉字之间距离最优。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种用于字符识别的分类器训练方法，其特征在于，该方法分别针对每一车牌字符执行如下步骤：

a、对包含有当前车牌字符的各正样本图像、以及未包含当前车牌字符的反样本图像进行尺度归一化；

b、从尺度归一化后的各正、反样本图像中提取各位置区域的分块区域二值化模式LBP特征，得到各正、反样本图像的分块LBP特征向量；

c、利用各正、反样本图像的分块LBP特征向量训练当前车牌字符的分类器，以使该分类器可依据输入图像的分块LBP特征向量得到该输入图像中包含有当前车牌字符的置信度；

其中，每个位置区域的分块LBP特征中包括该位置区域的纹理特征、以及该位置区域若干方向上的邻域的纹理特征。

2.如权利要求1所述的分类器训练方法，其特征在于，每个位置区域r(0)_i，j为矩形区域，每个位置区域r(0)_i，j的邻域为该位置区域四边相邻的位置区域r(1)_i，j～r(4)_i，j，i表示位置区域所在行、j表示位置区域所在列，i、j均大于1；

且，每个位置区域r(0)_i，j的分块LBP特征

如果r(n)_i，j中的像素值之和大于预定阈值则MB_B(n)_i，j取1，否则MB_B(n)_i，j取0。

3.如权利要求1所述的分类器训练方法，其特征在于，针对每一车牌字符的所述步骤c具体包括如下步骤：

c0、给定样本集L_B＝{(x_p，y_p)}，其中，x_p为第p个样本图像中提取出的分块LBP特征向量；y_p为表示第p个样本图像为正样本图像还是反样本图像的样本标识，y_p∈{+1，-1}；p大于等于1且小于等于正、反样本图像总数M；

c1、设置每个分块LBP样本特征向量x_p的初始权重

c2、对每个分块LBP样本特征向量x_p进行T轮迭代，其中，在第t轮迭代过程中，先依据以分块LBP样本特征向量x_p所有可能的取值为横坐标、以分块LBP样本特征向量x_p的权重累积值为纵坐标的第t轮离散分布D_t，为每个分块LBP样本特征向量x_p构造一弱分类器h_t(x_p)，然后从设定的所有弱分类器中选择可使正反样本分类误差最小的一个作为第t次迭代的最优弱分类器h_t(X_p)，再利用每个分块LBP样本特征向量x_p的最优弱分类器h_t(X_p)更新该分块LBP样本特征向量x_p下一次迭代的权重，T为预先设定的迭代次数；

c3、利用T次迭代得到的所有最优弱分类器h_t(X_p)计算得到表示识别结果的强分类器

4.如权利要求3所述的分类器训练方法，其特征在于，所述步骤c2在第t次迭代过程中包括如下步骤：

c20、将D_t(p)累积分布的分块LBP样本特征向量x_p取值空间划分为Q个互不相交的区间；

c21、统计每一区间X_q内出现正样本的概率

以及每一区间X_q内出现反样本特征的概率

c22、每一分块LBP样本特征向量x_p的弱分类器h_t(x_p)设定为：

ε为避免

为0时引起数字溢出的预定系数；

c23、从设定的所有弱分类器h_t(x_p)中选择可使正反样本特征向量的分类误差最小的一个，作为第t次迭代的最优弱分类器h_t(X_p)，其中，弱分类器h_t(x_p)的分类误差上界

c24、通过计算

来更新分块LBP样本特征向量x_p下一次迭代的权重D_t+1(p)。

5.一种用于字符识别的分类器训练装置，其特征在于，该装置分别针对每一车牌字符包括：

对齐归一化单元，用于对包含有当前车牌字符的各正样本图像、以及未包含当前车牌字符的反样本图像进行尺度归一化；

块特征提取单元，用于从尺度归一化后的各正、反样本图像中提取各位置区域的分块区域二值化模式LBP特征，得到各正、反样本图像的分块LBP特征向量；其中，每个位置区域的分块LBP特征中包括该位置区域的纹理特征、以及该位置区域若干方向上的邻域的纹理特征；

置信度训练单元，用于利用各正、反样本图像的分块LBP特征向量训练当前车牌字符的分类器，以使该分类器可依据输入图像的分块LBP特征向量得到该输入图像中包含有当前车牌字符的置信度。

6.如权利要求5所述的分类器训练装置，其特征在于，每个位置区域r(0)_i，j为矩形区域，每个位置区域r(0)_i，j的邻域为该位置区域四边相邻的位置区域r(1)_i，j～r(4)_i，j，i表示位置区域所在行、j表示位置区域所在列，i、j均大于1；

且，每个位置区域r(0)_i，j的分块LBP特征

如果r(n)_i，j中的像素值之和大于预定阈值则MB_B(n)_i，j取1，否则MB_B(n)_i，j取0。

7.如权利要求5所述的分类器训练装置，其特征在于，针对每一车牌字符的置信度训练单元包括：

样本配置模块，用于配置给定样本集L_B＝{(x_p，y_p)}，其中，x_p为第p个样本图像中提取出的分块LBP特征向量；y_p为表示第p个样本图像为正样本图像还是反样本图像的样本标识，y_p∈{+1，-1}；p大于等于1且小于等于正、反样本图像总数M；

权重配置模块，用于设置每个分块LBP样本特征向量x_p的初始权重 $D_1\left(p\right)=\frac{1}{M};$

迭代处理模块，用于对每个分块LBP样本特征向量x_p进行T轮迭代，其中，在第t轮迭代过程中，先依据以分块LBP样本特征向量x_p所有可能的取值为横坐标、以分块LBP样本特征向量x_p的权重累积值为纵坐标的第t轮离散分布D_t，为每个分块LBP样本特征向量x_p构造一弱分类器h_t(x_p)，然后从设定的所有弱分类器中选择可使正反样本分类误差最小的一个作为第t次迭代的最优弱分类器h_t(X_p)，再利用每个分块LBP样本特征向量x_p的最优弱分类器h_t(X_p)更新该分块LBP样本特征向量x_p下一次迭代的权重，T为预先设定的迭代次数；

结果输出模块，用于利用T次迭代得到的所有最优弱分类器h_t(X_p)计算得到表示识别结果的强分类器

8.如权利要求7所述的分类器训练装置，其特征在于，迭代处理模块包括：

区间划分子模块，用于将D_t(p)累积分布的分块LBP样本特征向量x_p取值空间划分为Q个互不相交的区间；

概率统计子模块，用于统计每一区间X_q内出现正样本的概率

以及每一区间X_q内出现反样本特征的概率 $W_{-1}^q=\underset{i:x_p\∈X_q\∩y_p=-1}{\mathrm{\Σ}}{D}_t\left(p\right);$

分类器设定子模块，用于将每一分块LBP样本特征向量x_p的弱分类器h_t(x_p)设定为：

ε为避免

为0时引起数字溢出的预定系数；

分类器选择子模块，用于从设定的所有弱分类器h_t(x_p)中选择可使正反样本特征向量的分类误差最小的一个，作为第t次迭代的最优弱分类器h_t(X_p)，其中，弱分类器h₁(x_p)的分类误差上界

权重更新子模块，通过计算

来更新分块LBP样本特征向量x_p下一次迭代的权重D_t+1(p)。

9.一种字符识别方法，其特征在于，包括如下步骤：

从输入图像各字符搜索区域中的各位置区域提取分块区域二值化模式LBP特征，得到各字符搜索区域的分块LBP特征向量；其中，每个位置区域的分块LBP特征中包括该位置区域的纹理特征、以及该位置区域若干方向上的邻域的纹理特征；

利用如权利要求1至4中任一项所述的训练方法得到的分别针对各车牌字符的分类器，得到输入图像中各字符搜索区域分别针对各车牌字符的置信度；

依据各字符搜索区域所分别对应的针对各车牌字符的置信度，得到该输入图像中各字符搜索区域所包含的车牌字符。

10.如权利要求9所述的字符识别方法，其特征在于，所述字符为车牌字符并包括汉字、字母、以及数字，字符搜索区域包括汉字搜索区域、字母搜索区域、以及数字搜索区域；

该方法先从汉字搜索区域提取得到分块LBP特征向量、利用如权利要求1至4中任一项所述的训练方法得到的分别针对各汉字的分类器得到汉字搜索区域针对各汉字的置信度、以及依据汉字搜索区域的置信度得到汉字搜索区域所包含的汉字；然后，再利用汉字搜索区域定位得到字母搜索区域和数字搜索区域，并分别从字母搜索区域和数字搜索搜索区域提取得到分块LBP特征向量、利用如权利要求1至4中任一项所述的训练方法得到的分别针对各字母和数字的分类器分别得到字母搜索区域针对各字母的置信度和各数字搜索区域针对各数字的置信度、以及依据字母搜索区域和数字搜索区域的置信度得到字母搜索区域包含的字母和数字搜索区域包含的数字。

11.如权利要求10所述的字符识别方法，其特征在于，该方法针对汉字搜索区域、字母搜索区域、数字搜索区域，分别选取大于预定阈值的最大置信度所对应的汉字、字母、数字作为汉字搜索区域、字母搜索区域、数字搜索区域分别包含的汉字、字母、数字。

12.如权利要求10所述的字符识别方法，其特征在于，该方法针对汉字搜索区域，选取大于预定阈值的最大置信度所对应的汉字作为汉字搜索区域包含的汉字；针对字母搜索区域、数字搜索区域，分别选取同时满足置信度、以及与汉字之间距离最优的字母、数字作为字母搜索区域、数字搜索区域分别包含的字母、数字。

13.如权利要求12所述的字符识别方法，其特征在于，同时满足置信度、以及与汉字之间距离最优为最大，其中：

表示字母搜索区域或数字搜索区域在车牌中的位置排列序号，η(L|μ，σ)为第m个字母搜索区域中的字母、或第m个数字搜索区域中的数字与汉字之间归一化距离L符合高斯分布模型η(μ，σ)的概率值，高斯分布模型η(μ，σ)预先统计得到，

为第m个字母搜索区域针对任意字母的置信度、或第m个数字搜索区域针对任意数字的置信度。

14.一种字符识别装置，其特征在于，包括：

特征提取单元，用于从输入图像各字符搜索区域中的各位置区域提取分块区域二值化模式LBP特征，得到各字符搜索区域的分块LBP特征向量；其中，每个位置区域的分块LBP特征中包括该位置区域的纹理特征、以及该位置区域若干方向上的邻域的纹理特征；

由权利要求5至8中任一项所述的训练装置训练得到的分别针对各车牌字符的若干分类器，每一分类器用于产生输入图像中各字符搜索区域针对该分类器所对应车牌字符的置信度；

结果判定单元，用于依据各字符搜索区域所分别对应的针对各车牌字符的置信度，得到该输入图像中各字符搜索区域所包含的车牌字符。

15.如权利要求14所述的字符识别装置，其特征在于，所述字符为车牌字符并包括汉字、字母、以及数字，字符搜索区域包括汉字搜索区域、字母搜索区域、以及数字搜索区域；

特征提取单元包括针对汉字搜索区域的第一特征提取子单元、以及针对字母搜索区域和数字搜索区域的第二特征提取子单元；

结果判定单元包括分别针对汉字搜索区域的第一结果判定子单元、以及针对字母搜索区域和数字搜索区域的第二结果判定子单元；

且，针对汉字搜索区域的第一结果判定子单元在得到汉字搜索区域包含有对应汉字的分类结果后，进一步利用汉字搜索区域定位得到字母搜索区域和数字搜索区域，并触发针对字母搜索区域和数字搜索区域的第二特征提取子单元和第二结果判定子单元。

16.如权利要求15所述的字符识别装置，其特征在于，

针对汉字搜索区域的第一结果判定子单元，选取大于预定阈值的最大置信度所对应的汉字作为汉字搜索区域包含的汉字；

针对字母搜索区域和数字搜索区域的第二结果判定子单元，分别选取大于预定阈值的最大置信度所对应的字母、数字作为字母搜索区域、数字搜索区域分别包含的字母、数字。

17.如权利要求15所述的字符识别装置，其特征在于，

针对汉字搜索区域的第一结果判定子单元，选取大于预定阈值的最大置信度所对应的汉字作为汉字搜索区域包含的汉字；

针对字母搜索区域和数字搜索区域的第二结果判定子单元，分别选取同时满足置信度、以及与汉字之间距离最优的字母、数字作为字母搜索区域、数字搜索区域分别包含的字母、数字。

18.如权利要求17所述的字符识别装置，其特征在于，同时满足置信度、以及与汉字之间距离最优为最大，其中：

表示字母搜索区域或数字搜索区域在车牌中的位置序号，η(L|μ，σ)为第m个字母搜索区域中的字母、或第m个数字搜索区域中的数字与汉字之间归一化距离L符合高斯分布模型η(μ，σ)的概率值，高斯分布模型η(μ，σ)预先统计得到，

为第m个字母搜索区域针对任意字母的置信度、或第m个数字搜索区域针对任意数字的置信度。

Images