CN101373519B - 字符识别装置和方法 - Google Patents

Abstract

本发明提供了一种字符识别装置和方法。本发明的字符识别装置具有：特征向量提取单元，其从训练字符图像或待识别字符图像中提取该字符图像的特征向量；训练单元，其根据由所述特征向量提取单元输出的所述训练字符图像的特征向量构成的训练样本集进行学习，得到多个稀疏支持向量机分类器；存储单元，用于存储所述训练单元的训练结果；以及识别单元，其计算各个所述稀疏支持向量机分类器对于所述特征向量提取单元输出的所述待识别字符图像的特征向量的输出，从而确定与所述待识别字符图像对应的字符，其中，所述训练单元通过在所述稀疏支持向量机分类器的目标函数中引入0范数正则项，减少所述稀疏支持向量机分类器的决策函数中的支持向量的数量。

Description

字符识别装置和方法

技术领域

本发明涉及光学字符识别(Optical Character Recognition，OCR)技术，特别地，涉及快速、高精度地针对小类别的字符集(如“手写体数字识别”，仅含10个数字‘0’，‘1’，...，‘9’；或“印刷体英文字符识别”，仅含52个字母‘a’，...，‘z’，‘A’，...，‘Z’)进行识别的装置和方法。

背景技术

在各种领域中广泛地运用到光学字符识别。所谓光学字符识别，是指通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息，再利用字符识别技术将图像信息转化为计算机可以使用的数据信息。

在字符识别中，需要预先准备识别用的字典，然后通过模式识别确定图像与字典中的哪个模式最为匹配，从而识别为相应的字符。

以往，在字符识别领域中已经提出了多种模式识别方法，如模板匹配法、弹性模板匹配法、k-近邻法、混合高斯模型法、神经元网络法和支持向量机等。其中，支持向量机(Support Vector Machine，SVM)是一种基于统计学习的方法(参见文献1)，被认为是目前用来识别字符的最好方法之一(参见文献2)。

支持向量机有三个主要的特点。第一，它能够处理非线性分类问题。支持向量机可以采用不同的核函数，如采用线性核时，得到线性分类器；采用二次多项式核时，得到二次分类器；采用高斯核时，得到径向基分类器。第二，它能够处理小样本下的高维数据。在字符识别中，可以用归一化的灰度或二值图像作为输入向量。第三，它具有很好的推广性能。支持向量机同时最小化训练误差并最大化分类间隔，使得分类器在保持分类错误较小的前提下，分界面的复杂度尽可能小，泛化能力更强。

然而，与传统的方法相比，如k-近邻法和神经元网络法，支持向量机分类器的识别速度要慢得多。支持向量机分类器的处理时间与支持向量的数目成正比，而支持向量的数目通常都很大，尤其是当字符的训练样本数目很大，而有些字符类别的分布之间存在一些重叠的时候。

对于实时性要求很强的应用，如文档扫描识别，光学字符识别不仅要求很高的识别精度，同时也要求很高的识别速度。为了提高应用了支持向量机分类器的光学字符识别装置的识别速度，提出了通过简化集(训练样本集的一个子集)上的核函数项的线形组合式，来近似支持向量机决策函数的方法(参照文献3和文献4)。然而，该方法是对支持向量机训练结果的后处理，是对决策函数的一种近似，其代价是牺牲了支持向量机分类器的部分分类性能。

文献1：V.Vapnik，The Nature of Statistical Learning Theory，SpringerVerlag，1995；

文献2：C.Cortes，V.Vapnik.Support vector networks.MachineLearning，20(1995)273-297；

文献3：C.J.C.Burges，Simplified Support Vector Decision Rules.International Conference on Machine Learning，ICML，Bari，Italy，1996，71-77；

文献4：B.S.Mika，et al.，Input Space Versus Feature Spacein Kernel Based Methods.IEEE Trans.on Neural Networks，10(1999)1000-1017。

发明内容

本发明是针对上述现有技术的缺陷而提出的，其目的在于提供一种快速、高精度的光学字符识别装置和方法。

根据本发明，提供了以下的技术方案。

发明1.一种模式识别方法，包括以下步骤：

特征向量提取步骤，从训练样本或待识别样本中提取该样本的特征向量；

训练步骤，根据由所述特征向量提取步骤中得到的所述训练样本的特征向量构成的训练样本集进行学习，得到多个稀疏支持向量机分类器；

识别步骤，计算各个所述稀疏支持向量机分类器对于所述特征向量提取步骤中得到的所述待识别样本的特征向量的输出，从而确定与所述待识别样本对应的模式，

其中，在所述训练步骤中，通过在所述稀疏支持向量机分类器的目标函数中引入0范数正则项，减少所述稀疏支持向量机分类器的支持向量的数量。

发明2.发明1的模式识别方法，其中

所述的稀疏支持向量机分类器是两类的稀疏支持向量机分类器，

所述训练步骤进一步包括由多类的训练样本集构造两类的训练样本集。

发明3.发明1的模式识别方法，其中

所述训练步骤进一步包括对于每个所述稀疏支持向量机分类器拟合Sigmoid函数；

所述识别步骤进一步包括通过所述Sigmoid函数，根据所述稀疏支持向量机分类器的输出计算两类的识别后验概率；

所述识别步骤进一步包括根据所述两类的识别后验概率计算多类的识别后验概率；

所述识别步骤根据所述多类的识别后验概率，确定与所述待识别样本对应的模式。

发明4.发明2的模式识别方法，其中

在所述训练步骤中，把所述稀疏支持向量机分类器的决策函数设定为训练样本的核项和偏差项的线性组合式，把展开系数设定为实数。

发明5.发明4的模式识别方法，其中

在所述训练步骤中，通过迭代地执行以下处理来进行所述两类稀疏支持向量机分类器的优化：

初始化迭代步数，系数向量和解向量；

搜索系数向量中的所有非零元素，计算对角矩阵；

重新计算正则化后的核矩阵；

求解与所述稀疏支持向量机对应的二次规划问题，由解向量计算系数向量；

判断是否满足终止状态，若不满足，则返回所述搜索非零元素的处理，若满足，则计算决策函数中的偏差项，输出决策函数。

发明6.一种字符识别装置，其包括：

特征向量提取单元，其从训练字符图像或待识别字符图像中提取该字符图像的特征向量；

训练单元，其根据由所述特征向量提取单元输出的所述训练字符图像的特征向量构成的训练样本集进行学习，得到多个稀疏支持向量机分类器；

存储单元，用于存储所述训练单元的训练结果；以及

识别单元，其计算各个所述稀疏支持向量机分类器对于所述特征向量提取单元输出的所述待识别字符图像的特征向量的输出，从而确定与所述待识别字符图像对应的字符，

其中，所述训练单元通过在所述稀疏支持向量机分类器的目标函数中引入0范数正则项，减少所述稀疏支持向量机分类器的决策函数中的支持向量的数量。

发明7.发明6的字符识别装置，其中

所述的稀疏支持向量机分类器是两类的稀疏支持向量机分类器，

所述训练单元进一步包括样本集生成单元，该样本集生成单元用于由多类的训练样本集构造两类的训练样本集。

发明8.发明6的字符识别装置，其中

所述训练单元进一步对于每个所述稀疏支持向量机分类器拟合Sigmoid函数；

所述识别单元进一步通过所述Sigmoid函数，根据所述稀疏支持向量机分类器的输出计算两类的识别后验概率；

所述识别单元进一步包括置信度单元，该置信度单元根据所述两类的识别后验概率计算多类的识别后验概率；

所述识别单元根据所述多类的识别后验概率，确定与所述待识别字符图像对应的字符。

发明9.发明7的字符识别装置，其中

所述训练单元把所述稀疏支持向量机分类器的决策函数设定为训练样本的核项和偏差项的线性组合式，把展开系数设定为实数。

发明10.发明9的字符识别装置，其中

所述训练单元通过迭代地执行以下处理来进行所述稀疏支持向量机分类器的优化：

初始化迭代步数，系数向量和解向量；

搜索系数向量中的所有非零元素，计算对角矩阵；

重新计算正则化后的核矩阵；

求解与所述稀疏支持向量机对应的二次规划问题，由解向量计算系数向量；

判断是否满足终止状态，若不满足，则返回所述搜索非零元素的处理，若满足，则计算决策函数中的偏差项，输出决策函数。

发明11.一种字符识别方法，该方法包括以下步骤：

特征向量提取步骤，从训练字符图像或待识别字符图像中提取该字符图像的特征向量；

训练步骤，根据由所述特征向量提取步骤中得到的所述训练字符图像的特征向量构成的训练样本集进行学习，得到多个稀疏支持向量机分类器；

识别步骤，计算各个所述稀疏支持向量机分类器对于所述特征向量提取步骤中得到的所述待识别字符图像的特征向量的输出，从而确定与所述待识别字符图像对应的字符，

其中，在所述训练步骤中，通过在所述稀疏支持向量机分类器的目标函数中引入0范数正则项，减少所述稀疏支持向量机分类器的支持向量的数量。

发明12.发明11的字符识别方法，其中

所述的稀疏支持向量机分类器是两类的稀疏支持向量机分类器，

所述训练步骤进一步包括由多类的训练样本集构造两类的训练样本集。

发明13.发明11的字符识别方法，其中

所述训练步骤进一步包括对于每个所述稀疏支持向量机分类器拟合Sigmoid函数；

所述识别步骤进一步包括通过所述Sigmoid函数，根据所述稀疏支持向量机分类器的输出计算两类的识别后验概率；

所述识别步骤进一步包括根据所述两类的识别后验概率计算多类的识别后验概率；

所述识别步骤根据所述多类的识别后验概率，确定与所述待识别字符图像对应的字符。

发明14.发明12的字符识别方法，其中

在所述训练步骤中，把所述稀疏支持向量机分类器的决策函数设定为训练样本的核项和偏差项的线性组合式，把展开系数设定为实数。

发明15.发明14的字符识别方法，其中

在所述训练步骤中，通过迭代地执行以下处理来进行所述两类稀疏支持向量机分类器的优化：

初始化迭代步数，系数向量和解向量；

搜索系数向量中的所有非零元素，计算对角矩阵；

重新计算正则化后的核矩阵；

求解与所述稀疏支持向量机对应的二次规划问题，由解向量计算系数向量；

判断是否满足终止状态，若不满足，则返回所述搜索非零元素的处理，若满足，则计算决策函数中的偏差项，输出决策函数。

发明16.一种存储了使计算机执行以下字符识别方法的程序的存储介质，该字符识别方法包括以下步骤：

特征向量提取步骤，从训练字符图像或待识别字符图像中提取该字符图像的特征向量；

训练步骤，根据由所述特征向量提取步骤中得到的所述训练字符图像的特征向量构成的训练样本集进行学习，得到多个稀疏支持向量机分类器；

识别步骤，计算各个所述稀疏支持向量机分类器对于所述特征向量提取步骤中得到的所述待识别字符图像的特征向量的输出，从而确定与所述待识别字符图像对应的字符，

其中，在所述训练步骤中，通过在所述稀疏支持向量机分类器的目标函数中引入0范数正则项，减少所述稀疏支持向量机分类器的支持向量的数量。

发明17.发明16的存储介质，其中

所述的稀疏支持向量机分类器是两类的稀疏支持向量机分类器，

所述训练步骤进一步包括由多类的训练样本集构造两类的训练样本集。

发明18.发明17的存储介质，其中

所述训练步骤进一步包括对于每个所述稀疏支持向量机分类器拟合Sigmoid函数；

所述识别步骤进一步包括通过所述Sigmoid函数，根据所述稀疏支持向量机分类器的输出计算两类的识别后验概率；

所述识别步骤进一步包括根据所述两类的识别后验概率计算多类的识别后验概率；

所述识别步骤根据所述多类的识别后验概率，确定与所述待识别字符图像对应的字符。

发明19.发明17的存储介质，其中

在所述训练步骤中，把所述稀疏支持向量机分类器的决策函数设定为训练样本的核项和偏差项的线性组合式，把展开系数设定为实数。

发明20.发明19的存储介质，其中

在所述训练步骤中，通过迭代地执行以下处理来进行所述两类稀疏支持向量机分类器的优化：

初始化迭代步数，系数向量和解向量；

搜索系数向量中的所有非零元素，计算对角矩阵；

重新计算正则化后的核矩阵；

求解与所述稀疏支持向量机对应的二次规划问题，由解向量计算系数向量；

判断是否满足终止状态，若不满足，则返回所述搜索非零元素的处理，若满足，则计算决策函数中的偏差项，输出决策函数。

根据本发明，提出了在识别中应用稀疏支持向量机，通过在支持向量机的目标函数中引入0范数正则项，减少判决函数中的支持向量的数量。

稀疏支持向量机是支持向量机方法的改进。稀疏支持向量机仍然采用最大间隔分类，因此分界面函数的复杂度较低，分类器具有良好的推广性能；稀疏支持向量机的支持向量是从整个训练集中通过学习自动选取，且支持向量没有冗余性，故其数目非常的稀少；由于支持向量数目稀少，稀疏支持向量机的决策函数计算复杂度很低，故其识别速度大大快于传统的支持向量机的识别速度。

另外，在本发明中可以通过Sigmoid函数将稀疏支持向量机的输出转化为两类的类别后验概率，进而通过多个两类的类别后验概率，求取多类的类别后验概率并输出。这不仅能够很好地融合多个两类分类器的输出，提高识别的精度，而且能够提供各类别的置信度，为进一步的处理措施提供依据。

通过以下结合附图进行的详细说明，可以更好地理解本发明的特征和优点。

附图说明

通过以下的详细说明，结合附图，可以更清楚地理解本发明的特征和优点。其中，在一个图中示出的要素和特征可以与其他图中示出的要素和特征进行组合。另外，在所有的图中，相同或相似的标号指示相同或相似的要素。

图1为本发明第一实施例的字符识别装置的示意框图；

图2示出了第一实施例的字符识别装置所执行的处理的概要流程；

图3示出了第一实施例的字符识别装置中的训练单元所执行的处理的概要流程；

图4为本发明的字符识别装置所执行的稀疏支持向量机EM学习方法的示意流程图；

图5为M步骤采用的MSMO优化方法的流程图；

图6示出了本发明的字符识别装置的识别示例；

图7为本发明第二实施例的字符识别装置的示意框图；

图8示出了第二实施例的字符识别装置所执行的处理的概要流程。

具体实施方式

以下参考附图对本发明的具体实施例进行说明。

【第一实施例】

图1为本发明的第一实施例的字符识别装置10的示意性结构框图。如图1所示，本发明第一实施例的字符识别装置10与输入装置20和输出装置30连接。输入装置20向字符识别装置10输入作为训练样本的字符图像或待识别的字符图像，可以是扫描仪等的图像读取装置、手写板等的手写输入装置、或者磁盘等图像记录介质的驱动器接口。字符识别装置10基于通过输入装置20输入的训练样本字符图像进行学习，得到多个稀疏支持向量机分类器，并且基于这多个稀疏支持向量机分类器，对通过输入装置20输入的待识别字符图像进行识别，确定与待识别字符图像对应的字符。字符识别装置10的识别结果通过输出装置30输出给用户，例如，输出装置30可以是显示器、存储介质的驱动器接口，也可以构成为手写输入装置的接口等。

字符识别装置10包括：特征向量提取单元11、训练单元12、存储单元13和识别单元14。其中，特征向量提取单元11对所输入的字符图像进行归一化处理并对归一化后的字符图像进行特征提取。训练单元12根据训练样本集学习出多个稀疏支持向量机(sparse support vectormachine，SSVM)分类器。存储单元13用于存储每个SSVM的决策函数 $f\left(x\right)={\mathrm{\Σ}}_{{\mathrm{\α}}_i\≠0}{\mathrm{\α}}_{i}k(x,x_i)+b,$ 即核函数k(x，x′)、支持向量x_i、对应系数α_i和偏差项b。识别单元14用于根据存储单元13中存储的训练结果，给出待识别字符图像在每个SSVM决策函数上的输出值，根据该输出值确定待识别字符图像的字符。

下面以0～9的10个数字的识别为例，结合图2对字符识别装置10的各个单元所进行的处理进行详细的说明。

图2示出了第一实施例的字符识别装置10所进行的处理的概要流程图。在图2中，左半边示出的是训练过程，右半边示出的是识别过程。其中，对于训练过程和识别过程，字符图像归一化和特征提取的处理是一样的。

首先对训练过程进行说明。

首先，如图2所示，在步骤201中，特征向量提取单元11对字符图像进行归一化。具体地，特征向量提取单元11搜索包含字符图像的最小矩形边框，在保持长宽比例的条件下，通过双线性插值，将边框内的字符图像归一化到固定的尺寸，如n×n，然后把归一化后的字符图像放置到(n+2)×(n+2)的空白图像的中心。

接着，在步骤202中，特征向量提取单元11对归一化后的字符图像提取字符特征，具体包括以下步骤：将图像笔画像素在竖直方向上投影，得到水平直方图；把水平直方图等分成m个列；将图像笔画像素在水平方向上投影，得到竖直直方图；把竖直直方图等分成m个行，这样得到m×m个不同大小的格子；获取整个字符笔画的链码，求各链码点处的方向，为所有8种可能方向之一；在每一格子内，统计8种方向上的链码点数；最后得到了一个8×m×m维的字符特征向量。

对于每个训练字符图像，预先设定一个类别标签(0，1，...，9中之一)，设提取的特征向量为x，设定的标签为y，则该字符图像对应了一个输入输出对“(x，y)”。通过多个训练字符图像的输入输出对，组成了一个训练集合{(x1，y1)，(x2，y2)，...，(xl，yl)}，即多类样本训练集{(x_k，y_k)_k＝1 ^l，其中x_k∈R^d为特征向量，y_k∈{0，1，...，9}为类别标号，l为总的训练样本数。

在步骤203中，训练单元12由多类样本训练集构造出两类样本训练集。在采用“一对一”规则的情况下，步骤203中要分别考虑 $C_{10}^2=45$ 种可能情形((‘0’，‘1’)，...，(‘0’，‘9’)，(‘1’，‘2’)，...，(‘8’，‘9’))的两类样本训练集，先提取子集{(x_k，y_k)|y_k＝i或j，i＜j}，其中i＝0，...，8，j＝1，...，9，共45个子集，然后将所有子集中的类别标号y_k＝i都改为y_k＝+1，类别标号y_k＝j都改为y_k＝-1。在采用“一对多”规则的情况下，在步骤203中要分别考虑10种可能情形((‘0’，非‘0’)，(‘1’，非‘1’)，...，(‘9’，非‘9’))的两类样本训练集，即将{(x_k，y_k)_k＝1 ^l中类别标号为i的改为+1，其它的改为-1，其中i＝0，...，9。

接着在步骤204中，训练单元12对于每一种情形，由两类样本训练集学习出一个稀疏支持向量机(SSVM)分类器。在步骤205中，判断是否所有情形都已考虑，若是，则训练完成，在步骤206中将训练结果输出至存储单元13进行保存，若否，则转回步骤203，考虑下一种情形。

接下来概要地说明字符识别的过程。

在步骤207和208中，通过特征向量提取单元11对待识别字符图像进行归一化后提取特征向量。步骤207和208的处理与步骤201和202完全相同，因此不再详细说明。在步骤209中，识别单元14计算该特征向量在所有SSVM分类器上的输出值，据此确定与待识别字符图像最匹配的字符。

具体而言，在采用“一对一”规则的情况下，采用“投票法”。此时SSVM分类器的数目较多，根据每个两类分类器的输出，为对应的字符投上一票，统计每个字符的得票数，把得票数最多的字符确定为该待识别字符图像的字符。

在采用“一对多”规则的情况下，采用“最大输出法”。此时SSVM分类器的数目等于字符集中的字符数。识别单元14判断哪一个SSVM分类器的输出是最大的，把与输出值最大的SSVM分类器对应的字符确定与该待识别字符图像的字符。

在本发明的字符识别中，采用稀疏支持向量机SSVM分类器，使决策函数采用极少的支持向量，从而缩短决策函数的计算时间，实现了快速高精度的字符识别。下面详细介绍稀疏支持向量机SSVM以及训练单元12所采用的相应EM学习算法。

我们知道，给定两类样本训练集{(x_i，y_i)_i＝1 ^l，传统的支持向量机SVM的决策函数形式为 $f\left(x\right)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{y}_i{\mathrm{\α}}_{i}k(x,x_i)+b,$ 其中核函数项k(x，x_i)前的系数α_i≥0，偏差项b∈R。由于系数α_i都是拉格朗日乘子，因此最终解向量α中的元素大部分为零。所有非零系数α_i＞0对应的训练样本x_i都被称为支持向量，决策函数可仅由支持向量的核函数项展开式表示，即 $f\left(x\right)={\mathrm{\Σ}}_{{i\∈l}_{\mathrm{SV}}}{y}_i{\mathrm{\α}}_{i}k(x,x_i)+b,$ 其-中I_SV＝{i|α_i＞0}表示支持向量的下标记索引集。由此可见，决策函数的计算时间与支持向量的数目成正比。为了使决策函数采用极少的支持向量，本发明的SSVM的决策函数具有如下形式：

$f\left(x\right)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_{i}k(x,x_i)+b$

其中核函数项k(x，x_i)前的系数α_i∈R，偏差项b∈R。由于系数α_i不再是拉格朗日乘子，因此最终解向量α中的元素都不为零。为了迫使最终解向量α中绝大部分的系数精确地等于零，即使得解向量α非常稀疏，在本发明中，在SSVM的目标优化问题中引入了解向量α的零范数正则化项。SSVM优化如下的原始问题

$\min \frac{1}{2}{\left|\right|w\left|\right|}_2^2+C_{\mathrm{\α}}{\left|\right|\mathrm{\α}\left|\right|}_0^0+C_{\mathrm{\ξ}}{1}^T\mathrm{\ξ}$

$s.t.y_{i}f\left(x_i\right)-1+{\mathrm{\ξ}}_i\≥0,{\mathrm{\ξ}}_i\≥0,\∀i$

其中，最小化二范数项 $\frac{1}{2}{\left|\right|w\left|\right|}_2^2=\frac{1}{2}\underset{i,j=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\α}}_{j}k(x_i,x_j)$ 可以获得最大间隔的分类器(两类类间的间隔大小为

)；最小化零范数项 ${\left|\right|\mathrm{\α}\left|\right|}_0^0=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{I}_{\{{\mathrm{\α}}_i\≠0\}}$

等价于最小化非零系数的总数目，即支持向量的总数目；最小化松弛因子项 $1^T\mathrm{\ξ}=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i$ 可以使训练错误尽可能的小。两个常数C_ξ和C_α分别是训练误差项和支持向量数目项前的惩罚因子。

SSVM的原始优化问题含有示性函数，使得目标函数不连续，无法通过通常的优化算法求解。然而，它可以通过期望最大化EM(ExpectationMaximization)算法以渐进的方式实现。在EM算法的第t次迭代时，SSVM优化如下的原始问题

$\min \frac{1}{2}{\left|\right|w\left|\right|}_2^2+C_{\mathrm{\α}}\frac{1}{2}{\mathrm{\α}}^T{\mathrm{\Λ}}_{\left(t\right)}\mathrm{\α}+C_{\mathrm{\ξ}}{1}^T\mathrm{\ξ}$

$s.t.y_{i}f\left(x_i\right)-1+{\mathrm{\ξ}}_i\≥0,{\mathrm{\ξ}}_i\≥0,\∀i$

其中对角矩阵 ${\mathrm{\Λ}}_{\left(t\right)}=\mathrm{diag}(\frac{1}{{\mathrm{\α}}_{l,\left(t\right)}^2},\·\·\·,\frac{1}{{\mathrm{\α}}_{l,\left(t\right)}^2}).$ 通过推导，得到此优化问题的对偶问题

$\min \frac{1}{2}{\mathrm{\β}}^T{H}_{\left(t\right)}\mathrm{\β}-1^T\mathrm{\β}$

$s.t.y^T\mathrm{\β}=\mathrm{0,0}\≤{\mathrm{\β}}_i\≤C_{\mathrm{\ξ}},\∀i$

其中矩阵 $H_{\left(t\right)}={\left[y_i{y}_j{\hat{k}}_{\mathrm{ij},\left(t\right)}\right]}_{i,j=1}^l,$

为正则化后的核矩阵 ${\hat{K}}_{\left(t\right)}=K{(K+C_{\mathrm{\α}}\mathrm{\Λ})}^{-1}K$ 的元素，变量β_i为拉格朗日乘子。

图3示出了第一实施例的字符识别装置10中的训练单元12所执行的处理的概要流程。如图3所示，训练单元12反复地执行：样本集生成(步骤121)、参数设置(步骤122)、EM学习(步骤123)和结果输出(步骤1234)。其中，步骤121中生成两类的训练样本集；步骤122中选择核函数、设置核函数的参数，例如选择高斯核 $k(x,x^{\′})=\exp (-\frac{{\left|\right|x-x^{\′}\left|\right|}^2}{{2\mathrm{\σ}}^2})$ 并设置参数σ，以及设置SSVM的两个训练常数C_ξ和C_α，其中常数C_ξ越大，训练误差越小，常数C_α越大，决策函数越稀疏，即支持向量数目越少；步骤123中训练稀疏支持向量机SSVM；步骤124中输出该两类训练样本集下的学习结果，即SSVM决策函数。

在EM学习步骤123中，反复地进行E步骤和M步骤。其中，E步骤用于更新SSVM对应的二次规划问题，即重新计算正则化后的核矩阵

M步骤用于采用改进的顺序最小最优化MSMO算法，求解更新后的二次规划问题，即求解SSVM的上述对偶问题。

图5示出了本发明的稀疏支持向量机EM学习方法的流程图。

如图5所示，在步骤121和122中设定的两类训练样本集、核函数、训练常数C_ξ和C_α的基础上，在步骤1231中，初始化迭代步数t＝0，系数向量α₍₀₎＝(1，...，l)^T∈R¹和解向量；在步骤1232中，搜索系数向量中的所有非零元素，由它们的下标组成集合I_(t)＝{i||α_i，(t)|＞ε}，其中ε为小的正常数，例如可取值0.0001；在步骤1233中，由当前系数向量α_(t)，计算对角矩阵D_(t)＝diag({|α_i，(t)||i∈I_(t)})；步骤1234为E步骤，由对角矩阵D_(t)，重新计算正则化后的核矩阵该计算公式与 ${\hat{K}}_{\left(t\right)}=K{(K+C_{\mathrm{\α}}\mathrm{\Λ})}^{-1}K$ 等价，但是避免了数值计算上的问题(求零元素的倒数)，而且减小了求逆矩阵的计算规模(从l×l的降为m_(t)×m_(t)，m_(t)为当前系数向量α_(t)中非零元素的数目，即当前支持向量的数目)；步骤1235为M步骤，由改进的顺序最小最优化MSMO算法求解SSVM对应的二次规划问题；在步骤1236中，采用如下更新公式α_(t+1)＝D_(t)(D_(t)K_(t)D_(t)+C_αI)^-1D_(t)Kβ_(t+1)，由新的解向量β_(t+1)计算新的系数向量α_(t+1)；在步骤1237中，判断当前状态是否满足终止条件，此处终止条件是指迭代次数达到预设最大值t＜T，或者系数向量不再变化max|α_i，(t+1)-α_i，(t)|≤ε，当满足终止条件时，结束EM迭代循环步骤1232至步骤2137，进入步骤1238，否则转回步骤1232，开始新一轮迭代；在步骤1238中，采用计算公式 $b=\frac{1}{\left|I_{\mathrm{\β}}\right|}{\mathrm{\Σ}}_{i\∈I_{\mathrm{\β}}}(y_i-k_i^T\mathrm{\α})$ 计算决策函数中的偏差项，其中下标记集I_β＝{i|0＜β_i＜C_ξ}，k_i为核矩阵 ${K=\left[k(x_i,x_j)\right]}_{i,j=1}^l$ 的第i个列向量；最后，输出为SSVM的决策面函数

$f\left(x\right)=\underset{{i\∈I}_{\mathrm{SV}}}{\mathrm{\Σ}}{\mathrm{\α}}_{i}k(x,x_i)+b,$ 其中I_SV＝{i||α_i|＞ε}

由于决策函数中的支持向量数目(即下标记集I_SV中的元素数目)非常稀少，决策函数计算简单，因而分类器的识别速度很快。

图6详细地示出了M步骤中采用的MSMO优化算法的流程图。如图6所示，对于在步骤1234中确定的待优化二次规划问题

$\min \frac{1}{2}{\mathrm{\β}}^T\mathrm{H\β}-1^T\mathrm{\β}$

$s.t.y^T\mathrm{\β}=\mathrm{0,0}\≤{\mathrm{\β}}_i\≤C_{\mathrm{\ξ}},\∀i,$

在步骤12351中，初始化迭代步数t＝0，解向量β₍₀₎，梯度向量g₍₀₎＝Hβ₍₀₎-1，其中解向量β₍₀₎可用上一次M步骤1235得到的解向量初始化；在步骤12352中，搜索两个待优化的拉格朗日乘子

和

，使得目标函数在可行解方向上下降梯度最快，它们的下标记通过如下方法得到

$i_1=\arg \underset{i}{\min }\left\{y_i{g}_i\right|y_i=1,{\mathrm{\&alpha;}}_i<C_{\mathrm{\&xi;}}\mathrm{or}{y}_i=-1,{\mathrm{\&alpha;}}_i>0\},$

$i_2=\arg \underset{i}{\max }\left\{y_i{g}_i\right|y_i=1,{\mathrm{\&alpha;}}_i>0\mathrm{or}{y}_i=-1,{\mathrm{\&alpha;}}_i<C_{\mathrm{\&xi;}}\}.$

如果下标记搜索失败了，或者目标函数对变量

和

的梯度向量足够小，即 $y_{i_1}{g}_{i_1}-y_{i_2}{g}_{i_2}<-\mathrm{\&epsiv;},$ 其中ε可取0.0001，则目标函数已达到最小值稳定点，当前解β已为最优解。在步骤12353中，当搜索成功时，进入步骤12354优化选定的两个变量和

，否则，跳出循环，输出最优解β。在步骤12354中，优化两个选定的变量

和，而其它变量不变，得到新的解向量β_(t+1)，具体优化方法是公知的，例如可以采用SMO算法“J.C.Platt.Sequential Minimal Optimization：A Fast Algorithm for TrainingSupport Vector Machines，Microsoft Research，Technical ReportMSR-TR-98-14，1998”。在步骤12355中，由变量的变化量 $\mathrm{\&Delta;}={\mathrm{\&beta;}}_{i_1,(t+1)}-{\mathrm{\&beta;}}_{i_1,\left(t\right)},$ 更新梯度向量，具体如下计算 $g_{(t+1)}=g_{\left(t\right)}+(h_{i_1}-y_{i_1}{y}_{i_2}{h}_{i_2})\mathrm{\&Delta;},$ 其中

和

分别是矩阵H的第i₁列和第i₂列。在步骤12356中，判断迭代步数是否小于预设最大值t＜T，若是，则转回步骤12352，开始新一轮迭代，否则，循环结束，直接输出当前的解向量。

根据上述本发明第一实施例的字符识别装置10，由于采用稀疏支持向量机分类器，大大地提高了识别速度。

图6(a)和图6(b)分别示出了传统的基于支持向量机(SVM)的字符识别装置以及本发明的基于稀疏支持向量机(SSVM)的字符识别装置对于可分的字符样本的识别分类结果示例。

如图6(a)和图6(b)所示，2D两类数据的训练样本点分别用“+”标记和“△”标记表示，可以看出两类分布是可分的。在图6(a)的SVM和SSVM都采用了高斯核，设定了相同的参数C_ξ，在本发明中，SSVM还有一个SVM没有的参数C_α。图上有三条线，中间的那条代表它们的分界决策面f(x)＝0，而两边的两条线分别代表支撑平面f(x)＝±1。“○”标记表示支持向量，图6(a)中SVM需要7个支持向量，图6(b)中SSVM需要4个支持向量。SVM的支持向量位于支撑平面之上，而SSVM的支持向量位置不受限制。

图6(c)和图6(d)分别示出了传统的基于支持向量机(SVM)的字符识别装置以及本发明的基于稀疏支持向量机(SSVM)的字符识别装置对于不可分的字符样本的识别分类结果示例。

如图6(c)和图6(d)所示，两类数据分布是不可分，它们具有较多的重叠区域。SVM和SSVM取高斯核，参数C_ξ相同。图中给出了它们的分界面、支撑面和支持向量。SVM需要108个支持向量，而SSVM仅需要4个支持向量，它们的分界面位置却几乎相同。SVM的支持向量必定是位于两支撑平面以内(包括两支撑平面)和两支撑面以外且被错分的样本，而SSVM的支持向量位置不受限制。这个例子说明了，当两类不可分时，SVM的支持向量中存在大量的冗余性，而这种冗余性正是SSVM需要克服的。SSVM仅从训练样本集中选择了4个样本作为支持向量来构造分界面，去除了冗余性。

在第一实施例中，通过应用稀疏支持向量机，具有与以往的基于支持向量机的字符识别基本等同的分类性能，但由于利用极少的支持向量，使得决策函数简单，大大提高了识别速度。

【第二实施例】

下面对本发明的另一个实施例进行说明。

在第二实施例中，进一步对各个稀疏支持向量机的分类结果求出类别后验概率，根据类别后验概率来确定最终的识别结果。在下面的说明中，重点对第二实施例与第一实施例之间的不同之处进行说明，对于相同或相应的部分，在附图中赋予相同或相应的标号，并省略重复的说明。

图7示出了第二实施例的字符识别装置10′的示意框图。与第一实施例一样，第二实施例的字符识别装置10′与输入装置20和输出装置30连接。输入装置20向字符识别装置10输入作为训练样本的字符图像或待识别的字符图像，字符识别装置10′基于通过输入装置20输入的训练样本字符图像进行学习，得到与目标字符相应的多个稀疏支持向量机分类器，并且基于这多个稀疏支持向量机分类器，对通过输入装置20输入的待识别字符图像进行识别，确定与待识别字符图像对应的字符。字符识别装置10′的识别结果通过输出装置30输出给用户。

字符识别装置10′包括：特征向量提取单元11′、训练单元12′、存储单元13′、识别单元14′和置信度单元15′。其中，特征向量提取单元11′与第一实施例的特征向量提取单元11完全相同，在此不再进行说明。训练单元12′根据训练样本集学习出多个两类的稀疏支持向量机分类器，然后通过最大似然法，为每个SSVM的决策函数拟合出一个Sigmoid函数。存储单元13′存储每个SSVM的决策函数 $f\left(x\right)=\mathrm{\&Sigma;}{\mathrm{\&alpha;}}_i\&NotEqual;0{\mathrm{\&alpha;}}_{i}k(x,x_i)+b,$ 即核函数k(x，x′)、支持向量x_i、对应系数α_i和偏差项b，并存储Sigmoid函数 $p(y=1|f\left(x\right))=\frac{1}{1+\exp (\mathrm{Af}\left(x\right)+B)},$ 即常数A和B。识别单元14′根据存储单元13′中存储的训练结果，给出待识别字符图像在每个SSVM决策函数上的输出值和对应Sigmoid函数上的输出值。置信度单元15′由多个两类的类别后验概率值计算多类的类别后验概率值，确定最终识别结果，即待识别字符图像的字符类别及其后验概率值。

下面同样以0～9的10个数字的识别为例，结合图8对字符识别装置10′的各个单元所进行的处理进行详细的说明。

图8示出了第二实施例的字符识别装置10′所进行的处理的概要流程图。

第二实施例的字符识别装置10′所进行的处理与第一实施例基本上相同，不同之处在于，训练单元12′在步骤204之后，根据SSVM决策函数在两类样本训练集上的输出，通过最大似然法估计Sigmoid函数，用来给出两类的后验概率(步骤210)；识别单元14′在步骤209之后计算所有情形下Sigmoid函数的输出值(步骤211)；置信度单元15′在步骤211之后，由多个两类的后验概率，计算多类的后验概率，输出与最大的后验概率对应的字符(步骤212)。下面，仅对步骤210、步骤211和步骤212进行详细的说明。步骤201～209与第一实施例完全相同。

首先说明步骤210。设两类样本训练集为{(x_i，y_i)_i＝1 ^l，定义新的训练集{(f(x_i)，t_i)}，其中 $t_i=\frac{y_i+1}{2},$ 通过最大似然估计得到参数A和B

$\min -\underset{i}{\mathrm{\&Sigma;}}{t}_i\log \left(p_i\right)+(1-t_i)\log (1-p_i)$

其中 $p_i=\frac{1}{1+\exp (\mathrm{Af}\left(x_i\right)+B)}.$

Sigmoid函数的拟合方法是公知的，例如可以采用“H.T.Lin，C.J.Lin，R.C.Weng.A Note on Platt’s Probabilistic Outputs for Support VectorMachines.National Taiwan University，2003，http://www.csie.ntu.edu.tw/～cjlin/libsvmtools”中叙述的方法。

在步骤211中，根据稀疏支持向量机的输出，通过Sigmoid函数计算两类的类别后验概率。在步骤212中，由多个两类的类别后验概率计算多类的类别后验概率，具体说明如下。

设共有k个字符类别，p_i表示类别i的后验概率。

当采用“一对一”规则时，需要 $C_k^2=\frac{k(k-1)}{2}$ 个两类分类器，记Sigmoid函数的输出为r_ij＝p(y＝1|f_ij(x))，其中SSVM分类器f_ij(x)用于把字符类别i和字符类别j分开。上述两类的类别后验概率r_ij同多类的类别后验概率，存在如下近似关系 $\frac{p_i}{p_i+p_j}\&ap;r_{\mathrm{ij}},$ 从而r_jip_i≈r_ijp_j，其中r_ji＝1-r_ij。为求得满足上述若干关系的一组最佳解，优化如下问题

$\underset{p}{\min }\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j:j\&NotEqual;i}{\mathrm{\&Sigma;}}{(r_{\mathrm{ji}}{p}_i-r_{\mathrm{ij}}{p}_j)}^2$ $s.t.\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{p}_i=1,p_i\&GreaterEqual;0,\&ForAll;i.$

可以证明该问题等价于 $\underset{p}{\min }\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j:j\&NotEqual;i}{\mathrm{\&Sigma;}}{(r_{\mathrm{ji}}{p}_i-r_{\mathrm{ij}}{p}_j)}^2,$ $s.t.\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{p}_i=1,$ 从而可进一步化简为求解简单的线性系统。该处理是公知的，例如可以采用“T.F.Wu，C.J.Lin，R.C.Weng.Probability Estimates for Multi-classClassification by Pairwise Coupling.Journal of Machine Learning Research 5(2004)975-1005”中叙述的方法。

当采用“一对多”规则时，需要 $C_k^1=k$ 个两类分类器，两类的类别后验概率r_i＝p(y＝1|f_i(x))同多类的类别后验概率p_i，存在如下近似关系p_i≈r_i。为求得满足上述若干关系的一组最佳解，优化如下问题

$\underset{p}{\min }\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{(p_i-r_i)}^2$ $s.t.\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{p}_i-1,p_i\&GreaterEqual;0,\&ForAll;i.$

这是一个简单的二次规划问题，可以通过公知的方法容易地求解。

根据本发明的第二实施例，通过Sigmoid函数将稀疏支持向量机的输出转化为两类的类别后验概率，进而通过多个两类的类别后验概率，求取多类的类别后验概率并输出。这不仅能够很好地融合多个两类分类器的输出(比投票法效果要好)，而且能够提供各类别的置信度，为进一步的拒识或后处理措施提供了依据。

以上对本发明的一个具体实施例进行了详细说明，但是应该理解，上述的细节不构成对本发明的限制。在权利要求所限定的范围内，可以对上述实施例进行各种变更、改进，或者对上述的各个要素进行组合。

在上述的说明中，基于字符识别装置对本发明进行了说明，但是，本发明不仅可以实施为字符识别装置，还可以实施为字符识别装置所执行的上述的字符识别方法。另外，还可以实施为实现上述字符识别方法的计算机程序，以及存储了上述计算机程序的存储介质。

另外，上面针对字符识别对本发明进行了说明，但是本发明的原理还可以广泛地应用于模式识别、样本分类等的领域。

Claims (10)

1.一种字符识别装置，其包括：

特征向量提取单元，其从训练字符图像或待识别字符图像中提取该字符图像的特征向量；

训练单元，其根据由所述特征向量提取单元输出的所述训练字符图像的特征向量构成的训练样本集进行学习，得到多个两类的稀疏支持向量机分类器；

存储单元，用于存储所述训练单元的训练结果；以及

识别单元，其计算各个所述稀疏支持向量机分类器对于所述特征向量提取单元输出的所述待识别字符图像的特征向量的输出，从而确定与所述待识别字符图像对应的字符，

其中，所述训练单元通过在所述稀疏支持向量机分类器的目标函数中引入0范数正则项，减少所述稀疏支持向量机分类器的决策函数中的支持向量的数量。

2.根据权利要求1所述的字符识别装置，其中

所述训练单元进一步包括样本集生成单元，该样本集生成单元用于由多类的训练样本集构造两类的训练样本集。

3.根据权利要求1所述的字符识别装置，其中

所述训练单元进一步对于每个所述稀疏支持向量机分类器拟合Sigmoid函数；

所述识别单元进一步通过所述Sigmoid函数，根据所述稀疏支持向量机分类器的输出计算两类的识别后验概率；

所述识别单元进一步包括置信度单元，该置信度单元根据所述两类的识别后验概率计算多类的识别后验概率；

所述识别单元根据所述多类的识别后验概率，确定与所述待识别字符图像对应的字符。

4.根据权利要求2所述的字符识别装置，其中

所述训练单元把所述稀疏支持向量机分类器的决策函数设定为训练样本的核函数项和偏差项的线性组合式，把核函数项的系数设定为实数。

5.根据权利要求4所述的字符识别装置，其中

所述训练单元通过迭代地执行以下处理来进行所述稀疏支持向量机分类器的优化：

初始化迭代步数、系数向量和解向量；

搜索系数向量中的所有非零元素，计算对角矩阵；

重新计算正则化后的核矩阵；

求解与所述稀疏支持向量机对应的二次规划问题，由解向量计算系数向量；

判断是否满足终止状态，若不满足，则返回所述搜索非零元素的处理，若满足，则计算决策函数中的偏差项，输出决策函数。

6.一种字符识别方法，该方法包括以下步骤：

特征向量提取步骤，从训练字符图像或待识别字符图像中提取该字符图像的特征向量；

训练步骤，根据由所述特征向量提取步骤中得到的所述训练字符图像的特征向量构成的训练样本集进行学习，得到多个两类的稀疏支持向量机分类器；

识别步骤，计算各个所述稀疏支持向量机分类器对于所述特征向量提取步骤中得到的所述待识别字符图像的特征向量的输出，从而确定与所述待识别字符图像对应的字符，

其中，在所述训练步骤中，通过在所述稀疏支持向量机分类器的目标函数中引入0范数正则项，减少所述稀疏支持向量机分类器的支持向量的数量。

7.根据权利要求6所述的字符识别方法，其中

所述训练步骤进一步包括由多类的训练样本集构造两类的训练样本集。

8.根据权利要求6所述的字符识别方法，其中

所述训练步骤进一步包括对于每个所述稀疏支持向量机分类器拟合Sigmoid函数；

所述识别步骤进一步包括通过所述Sigmoid函数，根据所述稀疏支持向量机分类器的输出计算两类的识别后验概率；

所述识别步骤进一步包括根据所述两类的识别后验概率计算多类的识别后验概率；

所述识别步骤根据所述多类的识别后验概率，确定与所述待识别字符图像对应的字符。

9.根据权利要求7所述的字符识别方法，其中

在所述训练步骤中，把所述稀疏支持向量机分类器的决策函数设定为训练样本的核函数项和偏差项的线性组合式，把核函数项的系数设定为实数。

10.根据权利要求9所述的字符识别方法，其中

在所述训练步骤中，通过迭代地执行以下处理来进行所述两类稀疏支持向量机分类器的优化：

初始化迭代步数、系数向量和解向量；

搜索系数向量中的所有非零元素，计算对角矩阵；

重新计算正则化后的核矩阵；

求解与所述稀疏支持向量机对应的二次规划问题，由解向量计算系数向量；

判断是否满足终止状态，若不满足，则返回所述搜索非零元素的处理，若满足，则计算决策函数中的偏差项，输出决策函数。

Images