CN102982343A - 手写数字识别的增量式模糊支持向量机方法 - Google Patents

Abstract

本发明涉及手写数字识别的增量式模糊支持向量机方法，可有效解决手写数字准确识别的问题，其解决的技术方案是，包括手写数字的图像的采集和二值化处理；对采集的图像进行分割，构造由手写数字的图像为输入和0-9数字为输出的训练集；构造增量函数，并将该增量函数映射到区间[0,1]；设置以λ表示增量参数和模糊支持向量机的计算复杂性参数；确定手写数字的类别，根据任何两个手写数字之间的分类超平面，确定手写数字的类别，在已知类别的手写数字上检验识别精度，确定手写数字类别的方法；满足用户识别精度，识别未知的手写数字，本发明方法识别精度高，适合支持向量机的训练和识别，简单，易操作，是手写数字识别的增量式模糊支持向量机方法上的创新。

Description

手写数字识别的增量式模糊支持向量机方法

技术领域

本发明涉及图像处理与模式识别，特别是一种手写数字识别的增量式模糊支持向量机方法，可有效用于邮政编码、统计报表、财务报表、银行票据等手写数字识别领域。

背景技术

支持向量机（SVMs,Support Vector Machines）是在两类问题分类的基础上提出的一种分类方法，其基本的思想是最大限度地分开两类训练样本，即对于一个两类问题的训练样本，构造一个分类超平面，使得分类间隔达到最大。

支持向量机是建立在两类问题分类基础之上的分类器，如何将其推广到多类问题是支持向量机研究领域的一个重要方面。目前较多使用的方法有：1-a-a(one-against-all)方法。该方法将训练集中的某一类样本提取出来作为一类，剩余的所有训练样本作为一类，构造多个两类支持向量机。在决策时，将未知的样本分到决策值最大的那一类。手写数字有0-9共10个类别，必须构造10个支持向量机，有10个判别函数。1-a-1(one-against-one)方法。该方法提取训练集中的任何两类训练样本，构造一个支持向量机。在决策时，对未知数据用每个支持向量机去判别，对其所属的类别“投上一票”，最后按照其得票最多的为其所属的类别。手写数字识别问题，必须构造10(10-1)/2=45个支持向量机，有45个决策函数。这两种方法都存在不可分区域，T.Inoue和S.Abe在1-a-a机制和1-a-1机制的基础上引进一种模糊化的决策机制，将SVMs推广到多类问题,构造模糊支持向量机，其定义了一个与分类超平面垂直的隶属度函数，将多个隶属度函数组合在一起可减少不可分区域，提高了识别问题的预测精度。

对于训练集S={(x_i,y_i)|(x_i,y_i)∈R^d×R,i＝1,2,...,l}，其中l是训练样本的个数，d是输入的维数，R是实数，x_i是支持向量机的输入，对于手写数字识别而言，就是已知类别的手写数字，y_i是支持向量机的输出，对于手写数字识别而言，就是0-9之间的数字。构造S最优分类超平面w^Tx+b=1（其中x是与x_i具有相同维数的向量，w是与x_i具有相同维数的权向量，b是偏置）可以转化为下面的优化问题

$\min Q\left(\mathrm{\α}\right)=\frac{1}{2}\mathrm{\αH}{\mathrm{\α}}^T-\mathrm{\αI}$

s.t.αy=0

0≤α^T≤CI

其中H称为Hessian矩阵，α=(a₁,a₂,...,a_l)，I是分量全为1的长度为l的向量，y=(y₁,y₂,...,y_l)，C为支持向量机的复杂性参数。

支持向量优化问题只能在当训练数据的数目很小或者支持向量已知的情况，才能分析优化问题。对于一般的分析情况，最糟糕的情况计算复杂度是

其中N_svs是支持向量个数。

训练过程和识别过程核函数K(x_i,x_j)的计算仅仅与数据本身，与数据映射到高维空间的维数无关。尽管高维空间可能是无限维的，但是计算K的复杂度却可以小很多。例如，对于形如K=(x_i·x_j)^p的阶为p多项式核函数，K(x_i·x_j)的计算只需要O(d)次操作（d为数据的维数），但是其计算的仅仅是H矩阵中的一个元素。对于整个训练集，H矩阵的计算复杂性为O(dl²)。正是这一特征，SVMs在原空间可以处理高维特征空间的分类超平面的构造难题，从而有效地避免了维数灾难。

1)多数支持向量不处于上界，即多数支持向量不满足y(w^Tx+b)=1，且N_svs/l□1，训练过程的复杂性为 $O(N_{\mathrm{svs}}^3+\left(N_{\mathrm{svs}}^2\right)l+N_{\mathrm{svs}}\mathrm{dl}).$

2)多数支持向量不处于上界，如果N_svs/l≈1，训练过程的复杂性为O(l³)。

3)多数支持向量处在上界且N_svs/l□1，训练过程的复杂性为

4)在多数支持向量处在上界且N_svs/l≈1，训练过程的复杂性为O(l²)。

支持向量机的计算复杂性在O(l²)和O(l³)之间。对于n类问题，如果采用1-a-1决策机制，则训练复杂性为O(n²l²)□O(n²l³)，采用1-a-a决策机制，则训练复杂性为O(nl²)□O(nl³)，该复杂性仅仅是解决优化问题的复杂性，由于优化问题中包括的Hessian矩阵是l×d和d×l两个矩阵的乘积，所以构造优化问题的计算复杂性为O(dl²)。所以1）构造支持向量机的复杂性与样本的规模有很大的关系，少训练样本集的选取是至关重要的，而构造分类超平面仅仅需要支持向量，支持向量在整个训练集中仅仅占有少数比例，因此训练集中存在冗余样本。2）训练集中的样本对于构造分类超平面的贡献度不同，支持向量对于分类超平面的贡献较大，相反不可能成为支持向量的样本对于构造分类超平面的贡献较小，甚至是负面影响。那么如何解决这些技术问题，至今尚未见公开报导。

发明内容

针对上述情况，本发明之目的就是提供一种手写数字识别的增量式模糊支持向量机方法，可有效解决手写数字准确识别的问题。

本发明解决的技术方案是，包括手写数字的图像的采集和二值化处理；对采集的图像进行分割，构造由手写数字的图像为输入和0-9数字为输出的训练集；构造增量函数，并将该增量函数映射到区间[0,1]；设置以λ表示增量参数和模糊支持向量机的计算复杂性参数；确定手写数字的类别，根据任何两个手写数字之间的分类超平面，确定手写数字的类别，在已知类别的手写数字（训练集）上检验识别精度，确定手写数字类别的方法；满足用户识别精度，识别未知的手写数字。

本发明方法识别精度高，适合支持向量机的训练和识别，简单，易操作，是手写数字识别的增量式模糊支持向量机方法上的创新。

附图说明

图1为本发明的步骤流程图。

图2为本发明的手写数字识别的原始图像。

图3为本发明规范在30×30的图像。

图4为本发明数据对构造分类超平面的贡献情况图。

图5为本发明68个手写数字增量参数为0.16时的识别结果图。

具体实施方式

以下结合附图对本发明的具体实施方式作详细说明。

由图1给出，本发明在实施中，包括以下步骤：

1、手写数字的图像采集和二值化；2、构造训练集；3、构造增量函数；4、设置增量参数训练增量式模糊支持向量机；5、识别类别已知手写数字并检验精度：当检验精度达到要求，用于识别类别未知手写数字；当检验精度达不到要求，返回步骤4，重新进行设置增量参数训练增量式模糊支持向量机；6、识别类别未知手写数字；

在上述步骤中，其中构建增量函数设置增量参数、构造增量式模糊支持向量机和获取手写数字识别的相关参数、手写数字识别过程是技术核心，具体实现情况如下：

第一步、手写数字的图像的采集和二值化处理：选取若干个手写者，用一般的中性笔在日常的A470g打印纸上随意手写若干个数字，并用扫描成分辨率为600dpi格式为jpg的图像，每行之间有间隔，而且手写数字之间没有连笔和断笔，将手写数字的图像转化为灰度图像，该图像在计算机中以矩阵的形式存储，矩阵的元素对应于图像的灰度值，其取值在0-255之间，所有的灰度值除以255，将灰度值映射到0-1之间，取二值化阈值为0.7，灰度值大于等于0.7取1，否则取0，得到手写数字的二值图像；

第二步、构造训练集：对采集的图像进行分割，构造由手写数字的图像为输入和0-9数字为输出的训练集，手写数字的图像分割步骤为：（a）提取二值图像中不全为1的连续行，该连续行组成的矩阵就是手写数字的二值图像；（b）对于（a）中得到的二值图像，提取其不全为1的连续列，该连续列组成的矩阵就是单个的手写数字，将所有单个的手写数字，用最近邻插值方法规范为30×30矩阵，并将该矩阵转化为长度为900(=30×30)的向量，成为样本的输入部分；

手写者用市场上购买的中性笔书写224个0-9之间手写数字的图像（见图2），扫描成为600dpi图像，二值化处理，根据数字图像中不全为1的连续行，判断手写数字并按照矩阵分块的形式对其进行分割成30×30的归一化后的图像（如图3）；

第三步、构造增量函数：在构造模糊支持向量机时，训练集中的有些训练样本是非常重要的而且对训练过程的贡献度较大，对于SVMs是不可或缺的，如支持向量；有些训练样本对训练过程没有任何贡献，甚至可能产生负面影响，要快速地得到支持向量，加速优化时间，必须对支持向量的分布特征进行研究，支持向量都集中在同类数据集的外部，对于两类问题，标记为+的数据为正样本，标记为□样本为负样本，标记为

或□的样本为解决优化问题后得到的支持向量，其对于分类超平面的构造是至关重要的，

或□附近的样本对于训练过程的贡献度要大于其他样本，而且他们位于同类样本的外围（见图4），因此可以用样本距其中心的距离构造增量函数，并将该增量函数映射到区间[0,1]，增量函数构造如下：

首先，计算同类数据的中心数

$x^{*}=\frac{1}{l_i}\underset{i=1}{\overset{l_i}{\mathrm{\Σ}}}{x}_i$

其中x_i是训练集中所有同类别手写数字的图像转化后的向量，l_i表示具有同类别手写数字的数量，x^*是同类数据的中心数；

其次，增量函数u(x_i)定义为

$u\left(x_i\right)=\frac{\left|\right|x_i-x^{*}\left|\right|-\underset{1\≤i\≤l_i}{\min }\left|\right|x_i-x^{*}\left|\right|}{\underset{1\≤i\≤l_i}{\max }\left|\right|x_i-x^{*}\left|\right|-\underset{1\≤i\≤l_i}{\min }\left|\right|x_i-x^{*}\left|\right|}$

x^*和l_i都随着类别的变化而变化，构造10个增量函数，每个x_i只能根据其对应的类别，确定唯一的增量值，min表示最小值，max表示最大值（公知技术）；

第四、设置以λ表示的增量参数和模糊支持向量机的计算复杂性参数为5000，该函数为次数为d多项式核（以polyd表示），构造增量函数后，训练集为

S={(x_i,y_i,u(x_i))|i＝1,2,...,l}

y_i是支持向量机的输出，对于手写数字识别而言，就是0-9之间的数字；利用增量参数λ选取样本集为

S_λ={(x_i,y_i,u(x_i))|u(x_i)≥λ，i=1,2,...,l}

在S_λ样本集上利用SVM-KM构造支持向量机，针对第i类和第j类手写数字，构造如下模糊判别函数m_ij(x)：

其中D_i  j(x)是第i类和第j类手写数字之间的分类超平面；

第五步、确定手写数字类别，并对精度进行检验：根据任何两个手写数字之间的分类超平面，确定手写数字的类别，在已知类别的手写数字的训练集上检验识别精度，识别精度是指训练集上正确识别的手写数字的数量和训练集上手写数字识别总量之比，确定手写数字类别的方法如下：

对于输入的手写数字，利用第一步中的二值化将其转化为向量x，利用矩阵m_ij(x)(i,j=1,2,...,10,j≠i)，计算其对第i类数据的隶属度函数

$m_i\left(x\right)=\underset{1\≤j\≤10}{\min }{m}_{\mathrm{ij}}\left(x\right)$

该手写数字的图像对应的类别是

其中表示m_i(x)取得最小值对应的i值，当

时，表示相应手写数字的类别为0；

第六步、识别类别未知的手写数字：满足用户识别精度，则识别方法可以用来识别类别未知的手写数字，否则，调整增量函数，重新构造增量式模糊支持向量机，直到用户满意为止，在该过程中，需要将类别未知的手写数字的图像规范为与训练集中的手写数字的图像有相同的大小。

本发明经实验验证，效果很好，有关情况如下：

验证一、选取20个大学生随意在A470g复印纸上4256个手写数字，按照30×30规范图像，构造训练集，另选5个大学生随意在A470g复印纸手写68个数字，图5是设置增量参数λ=0.16时IFSVMs在68个手写数字上的识别结果，识别精度和FSVMs相同，均为92.6471，但是IFSVMs仅仅需要3159个训练样本，而FSVMs需要所有4256个训练样本。

验证二、选取国际通用的机器学习与智能系统中心中名为semeion的手写数字识别问题(http://archive.ics.uci.edu/ml/datasets/Semeion+Handwritten+Digit)。该数据集随机选取了80个人在16×16区域的1593幅手写数字的图像，提取了这些图像的256个特征。将该数据集分为1080个训练样本组成的训练集和513个测试样本组成的测试集，分别用于训练过程和识别过程。比较IFSVMs和FSVMs的性能以体现IFSVMs的优越性（如表1所示），Poly1表示阶为1的多项式核函数。从该表中可以看出IFSVMs减少了训练样本的数量，增加识别精度，训练复杂性（体现为训练时间）也降低了。

表1IFSVMs和FSVMs的手写数字识别性能对比

本发明与现有技术相比，具有以下有益的技术效果：

1）提出了手写数字识别的增量式模糊支持向量机方法，根据两类问题推广至多类问题产生的不可分区域，构造模糊判别函数，有效提高手写数字识别的精度；

2）利用手写数字二值图像对图像进行分割，先将手写数字分割成若干行，然后将每行数字分割成单个手写数字，并规范在相同的区域，适合支持向量机的训练和识别；

3）根据训练样本在训练中的不同作用和贡献，建立增量函数，是训练集的规模由小到大，寻求模糊支持向量机的性能最优；

4）本发明方法易操作，用途广，有效用于邮政编码、统计报表、财务报表、银行票据等手写数字识别领域，防止差错，易于管理，提高工作效率和服务质量。

Claims (1)

1.一种手写数字识别的增量式模糊支持向量机方法，其特征在于，包括以下步骤：

第一步、手写数字的图像的采集和二值化处理：选取若干个手写者，用一般的中性笔在日常的A470g打印纸上随意手写若干个数字，并用扫描成分辨率为600dpi格式为jpg的图像，每行之间有间隔，而且手写数字之间没有连笔和断笔，将手写数字的图像转化为灰度图像，该图像在计算机中以矩阵的形式存储，矩阵的元素对应于图像的灰度值，其取值在0-255之间，所有的灰度值除以255，将灰度值映射到0-1之间，取二值化阈值为0.7，灰度值大于等于0.7取1，否则取0，得到手写数字的二值图像；

第二步、构造训练集：对采集的图像进行分割，构造由手写数字的图像为输入和0-9数字为输出的训练集，手写数字的图像分割步骤为：（a）提取二值图像中不全为1的连续行，该连续行组成的矩阵就是手写数字的二值图像；（b）对于（a）中得到的二值图像，提取其不全为1的连续列，该连续列组成的矩阵就是单个的手写数字，将所有单个的手写数字，用最近邻插值方法规范为30×30矩阵，并将该矩阵转化为长度为900(=30×30)的向量，成为样本的输入部分；

手写者用市场上购买的中性笔书写224个0-9之间手写数字的图像，扫描成为600dpi图像，二值化处理，根据数字图像中不全为1的连续行，判断手写数字并按照矩阵分块的形式对其进行分割成30×30的归一化后的图像；

第三步、构造增量函数：在构造模糊支持向量机时，训练集中的有些训练样本是非常重要的而且对训练过程的贡献度较大，对于SVMs是不可或缺的，如支持向量；有些训练样本对训练过程没有任何贡献，甚至可能产生负面影响，要快速地得到支持向量，加速优化时间，必须对支持向量的分布特征进行研究，支持向量都集中在同类数据集的外部，对于两类问题，标记为+的数据为正样本，标记为□样本为负样本，标记为

或□的样本为解决优化问题后得到的支持向量，其对于分类超平面的构造是至关重要的，

或□附近的样本对于训练过程的贡献度要大于其他样本，而且他们位于同类样本的外围，因此可以用样本距其中心的距离构造增量函数，并将该增量函数映射到区间[0,1]，增量函数构造如下：

首先，计算同类数据的中心数

$x^{*}=\frac{1}{l_i}\underset{i=1}{\overset{l_i}{\mathrm{\Σ}}}{x}_i$

其中x_i是训练集中所有同类别手写数字的图像转化后的向量，l_i表示具有同类别手写数字的数量，x^*是同类数据的中心数；

其次，增量函数u(x_i)定义为

$u\left(x_i\right)=\frac{\left|\right|x_i-x^{*}\left|\right|-\underset{1\≤i\≤l_i}{\min }\left|\right|x_i-x^{*}\left|\right|}{\underset{1\≤i\≤l_i}{\max }\left|\right|x_i-x^{*}\left|\right|-\underset{1\≤i\≤l_i}{\min }\left|\right|x_i-x^{*}\left|\right|}$

x^*和l_i都随着类别的变化而变化，构造10个增量函数，每个x_i只能根据其对应的类别，确定唯一的增量值，min表示最小值，max表示最大值；

第四、设置以λ表示的增量参数和模糊支持向量机的计算复杂性参数为5000，该函数为次数为d多项式核，以polyd表示，构造增量函数后，训练集为

S={(x_i,y_i,u(x_i))|i＝1,2,...,l}

y_i是支持向量机的输出，对于手写数字识别而言，就是0-9之间的数字；

利用增量参数λ选取样本集为

S_λ={(x_i,y_i,u(x_i))|u(x_i)≥λ，i=1,2,...,l}

在S_λ样本集上利用SVM-KM构造支持向量机，针对第i类和第j类手写数字，构造如下模糊判别函数m_ij(x)：

其中D_i   j(x)是第i类和第j类手写数字之间的分类超平面；

第五步、确定手写数字类别，并对精度进行检验：根据任何两个手写数字之间的分类超平面，确定手写数字的类别，在已知类别的手写数字的训练集上检验识别精度，识别精度是指训练集上正确识别的手写数字的数量和训练集上手写数字识别总量之比，确定手写数字类别的方法如下：

对于输入的手写数字，利用第一步中的二值化将其转化为向量x，利用矩阵m_ij(x)(i,j=1,2,...,10,j≠i)，计算其对第i类数据的隶属度函数

$m_i\left(x\right)=\underset{1\≤j\≤10}{\min }{m}_{\mathrm{ij}}\left(x\right)$

该手写数字的图像对应的类别是

其中

表示m_i(x)取得最小值对应的i值，当

时，表示相应手写数字的类别为0；

第六步、识别类别未知的手写数字：满足用户识别精度，则识别方法可以用来识别类别未知的手写数字，否则，调整增量函数，重新构造增量式模糊支持向量机，直到用户满意为止，在该过程中，需要将类别未知的手写数字的图像规范为与训练集中的手写数字的图像有相同的大小。

Images