CN103310205A - 一种手写体数字识别方法及装置 - Google Patents

Abstract

本申请公开了一种手写体数字识别方法及装置，所述方法包括分别将第一空间中的训练样本集合和手写体数字的待测样本映射至第二空间中；其中，所述训练样本集合包括至少两个训练样本，每个所述训练样本分别具有一个数字类别标识，所述训练样本集合中的训练样本包含至少两种数字类别；依据所述第二空间中的训练样本集合，确定测度变换矩阵；利用所述测度变换矩阵，分别获取所述待测样本与每个所述训练样本之间的距离值；依据每个所述距离值及其各自对应的数字类别标识，确定所述待测样本的数字类别。

Description

一种手写体数字识别方法及装置

技术领域

本申请涉及计算机应用技术领域，特别涉及一种手写体数字识别方法及装置。

背景技术

目前，手写体数字识别的应用较为广泛，如邮件分拣中的邮政编码识别、财税识别、金融数字识别等应用领域，人们对手写体数字识别的精度与准确度的要求日渐增高。K近邻分类器是一种经典的分类器，由于其计算方便得到广泛应用。

但在K近邻分类器中的方案中涉及到的样本点之间的距离测度是预先制定的，因此，这种方案会使得进行手写体数字识别的准确率明显降低。

发明内容

本申请所要解决的技术问题是提供一种手写体数字识别方法及装置，用以解决现有技术中K近邻分类器中的距离测度预先制定，使得进行手写体数字识别的准确率降低的技术问题，进一步解决了现有近邻成分分析方案对小样本无法处理的技术问题。

本申请提供了一种手写体数字识别方法，包括：

分别将第一空间中的训练样本集合和手写体数字的待测样本映射至第二空间中；

其中，所述训练样本集合包括至少两个训练样本，每个所述训练样本分别具有一个数字类别标识，所述训练样本集合中的训练样本包含至少两种数字类别；

依据所述第二空间中的训练样本集合，确定测度变换矩阵；

利用所述测度变换矩阵，分别获取所述待测样本与每个所述训练样本之间的距离值；

依据每个所述距离值及其各自对应的数字类别标识，确定所述待测样本的数字类别。

上述方法，优选的，所述分别将第一空间中的训练样本集合和测试样本集合映射至第二空间中，包括：

利用z_i=Φ(x_i)=[k(x_i,x₁) k(x_i,x₂) … k(x_i,x_N)]^T，将第一空间中的训练样本集合映射至第二空间中；

其中，

为所述第一空间中的训练样本集合，x_i∈R^D为所述第一空间中训练样本集合中的训练样本，D为所述第一空间中训练样本集合中训练样本的维数，y_i={1,2,...,c}为其对应的训练样本x_i的数字类别标识，c为所述训练样本集合中训练样本的数字类别的种类数，Φ(x_i)为预设的映射函数，k(x_i,x_j)为核函数，N为所述训练样本集合中训练样本的总个数，

为被映射至所述第二空间中的训练样本集合，z_i∈R^N为所述第二空间中训练样本集合内的训练样本；

利用z=Φ(x)=[k(x,x₁) k(x,x₂) … k(x,x_N)]^T，将所述第一空间中的测试样本映射至所述第二空间中；

其中，x为所述第一空间中的待测样本，k(x,x_j)为核函数，z为被映射至所述第二空间中的待测样本。

上述方法，优选的，所述依据所述第二空间中的训练样本集合，确定测度变换矩阵，包括：

利用 $p_{\mathrm{ij}}=\left\{\begin{array}{cc}\frac{\exp \left({-\left|\right|{\mathrm{Az}}_i-{\mathrm{Az}}_j\left|\right|}^2\right)}{{\mathrm{\Σ}}_{k\≠i}\exp \left({-\left|\right|{\mathrm{Az}}_i-{\mathrm{Az}}_k\left|\right|}^2\right)},& i\≠j\\ 0,& i=j\end{array}\right.,$ 获取每个所述训练样本分别与区别于其自身的训练样本之间的近邻概率值；

其中，p_ij为所述第二空间的训练样本集合中训练样本z_i与训练样本z_j作为近邻样本的概率值；

依据每个所述训练样本的近邻概率值，确定每个所述训练样本属于每种所述数字类别的类别概率值；

利用d(z_i,z_j)=(z_i-z_j)^TQ(z_i-z_j)=(Az_i-Az_j)^T(Az_i-Az_j)及每个所述训练样本的类别概率值，确定测度变换矩阵；

其中，d(z_i,z_j)为所述第二空间的训练样本集合中训练样本z_i与训练样本z_j的距离，Q=A^TA，A为所述第二空间中的测度变换矩阵。

上述方法，优选的，所述利用测度变换矩阵，分别获取所述待测样本与每个所述训练样本之间的距离值，包括：

利用d(z,z_i)=(Az-Az_i)^T(Az-Az_i),i=1,…,N，获取所述待测样本与每个所述训练样本之间的距离值；

其中，d(z,z_i)为所述待测样本z与所述训练样本z_i之间的距离值，A为所述测度变换矩阵，N为所述训练样本集合中训练样本的总个数。

上述方法，优选的，所述依据每个所述距离值及其各自对应的数字类别标识，确定所述待测样本的数字类别，包括：

选取所述距离值小于或等于预设限值的训练样本；

依据选取的训练样本的数字类别标识，确定所述待测样本的数字类别。

本申请还提供了一种手写体数字识别装置，包括：

样本映射单元，用于分别将第一空间中的训练样本集合和待测样本映射至第二空间中；

其中，所述训练样本集合包括至少两个训练样本，每个所述训练样本分别具有一个数字类别标识，所述训练样本集合包含至少两种数字类别的训练样本；

测度矩阵确定单元，用于依据所述第二空间中的训练样本集合，确定测度变换矩阵；

距离值获取单元，用于利用所述测度变换矩阵，分别获取所述待测样本与每个所述训练样本之间的距离值；

类别确定单元，用于依据所述每个所述距离值及其各自对应的数字类别标识，确定所述待测样本的数字类别。

上述装置，优选的，所述样本映射单元包括：

第一映射子单元，用于利用z_i=Φ(x_i)=[k(x_i,x₁) k(x_i,x₂) … k(x_i,x_N)]^T，将第一空间中的训练样本集合映射至第二空间中；

其中，

为所述第一空间中的训练样本集合，x_i∈R^D为所述第一空间中训练样本集合中的训练样本，D为所述第一空间中训练样本集合中训练样本的维数，y_i={1,2,...,c}为其对应的训练样本x_i的数字类别标识，c为所述训练样本集合中训练样本的数字类别的种类数，Φ(x_i)为预设的映射函数，k(x_i,x_j)为核函数，N为所述训练样本集合中训练样本的总个数，

为被映射至所述第二空间中的训练样本集合，z_i∈R^N为所述第二空间中训练样本集合内的训练样本；

第二映射子单元，用于利用z=Φ(x)=[k(x,x₁) k(x,x₂)…k(x,x_N)]^T，将所述第一空间中的测试样本映射至所述第二空间中；

其中，x为所述第一空间中的待测样本，k(x,x_j)为核函数，z为被映射至所述第二空间中的待测样本。

上述装置，优选的，所述测度矩阵确定单元包括：

近邻概率值获取子单元，用于利用 $p_{\mathrm{ij}}=\left\{\begin{array}{cc}\frac{\exp \left({-\left|\right|{\mathrm{Az}}_i-{\mathrm{Az}}_j\left|\right|}^2\right)}{{\mathrm{\Σ}}_{k\≠i}\exp \left({-\left|\right|{\mathrm{Az}}_i-{\mathrm{Az}}_k\left|\right|}^2\right)},& i\≠j\\ 0,& i=j\end{array}\right.,$ 获取每个所述训练样本分别与区别于其自身的训练样本之间的近邻概率值；

其中，p_ij为所述第二空间的训练样本集合中训练样本z_i与训练样本z_j作为近邻样本的概率值；

类别概率值获取子单元，用于依据每个所述训练样本的近邻概率值，确定每个所述训练样本属于每种所述数字类别的类别概率值；

测度矩阵确定子单元，用于利用d(z_i,z_j)=(z_i-z_j)^TQ(z_i-z_j)=(Az_i-Az_j)^T(Az_i-Az_j)及每个所述训练样本的类别概率值，确定测度变换矩阵；

其中，d(z_i,z_j)为所述第二空间的训练样本集合中训练样本z_i与训练样本z_j的距离，Q=A^TA，A为所述第二空间中的测度变换矩阵。

上述装置，优选的，所述距离值获取单元具体用于利用d(z,z_i)=(Az-Az_i)^T(Az-Az_i),i=1,…,N，获取所述待测样本与每个所述训练样本之间的距离值；

其中，d(z,z_i)为所述待测样本z与所述训练样本z_i之间的距离值，A为所述测度变换矩阵，N为所述训练样本集合中训练样本的总个数。

上述装置，优选的，所述类别确定单元包括：

样本选取子单元，用于选取所述距离值小于或等于预设限值的训练样本；

类别确定子单元，用于依据选取的训练样本的数字类别标识，确定所述待测样本的数字类别。

由上述方案可知，本申请提供的一种手写体数字识别方法及装置，首先分别将第一空间中的训练样本集合和手写体数字的待测样本映射至第二空间中，再依据所述第二空间中的训练样本集合，确定测度变换矩阵，之后利用所述测度变换矩阵，分别获取所述待测样本与每个所述训练样本之间的距离值，进而依据每个所述距离值及其各自对应的数字类别标识，确定所述待测样本的数字类别。本申请实施例通过将第一空间的训练样本及待测样本映射至第二空间中，再在第二空间中学习一个测度变换矩阵，由此计算待测样本与训练样本之间的距离，进而确定待测样本的数字类别，相对于现有技术中预先制定距离测度的情况，在实现识别手写体数字的前提下，提高了手写体数字识别的准确率。

进一步的，现有技术中通过留一法误差分析来学习马氏距离测度实现手写体数字识别的方案中（即近邻成分分析算法），在对小样本问题的实际应用时，会产生过拟合问题，而且在优化的时候容易陷入局部极小点，杀跌当样本不是线性可分时，分类效果较差，识别效率较低。本申请实施例针对上述近邻成分分析算法，能够有效处理小样本问题，同时识别率较高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种手写体数字识别方法实施例一的流程图；

图2为本申请实施例一的部分流程图；

图3为本申请提供的一种手写体数字识别方法实施例二的部分流程图；

图4为本申请提供的一种手写体数字识别方法实施例三的部分流程图；

图5为本申请提供的一种手写体数字识别装置实施例四的结构示意图；

图6为本申请实施例四中的部分结构示意图；

图7为本申请提供的一种手写体数字识别装置实施例五的部分结构示意图；

图8为本申请提供的一种手写体数字识别方法实施例六的部分结构示意图；

图9为本申请提供的一种手写体数字识别系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图1，为本申请提供的一种手写体数字识别方法实施例一的流程图，所述方法适用于手写体邮政编码的识别、金融数字化识别及财税手写体识别等应用中，所述方法可以包括以下步骤：

步骤101：分别将第一空间中的训练样本集合和手写体数字的待测样本映射至第二空间中。

其中，所述训练样本集合包括至少两个训练样本，每个所述训练样本分别具有一个数字类别标识，所述训练样本集合中的训练样本包含至少两种数字类别。

需要说明的是，所述第一空间可以为当前原空间，所述第二空间可以为预设隐空间。而所述训练样本集合包括至少两个训练样本，每个所述训练样本分别具有一个数字类别标识，如1、2、5、7等标识，所述训练样本集合中的训练样本包含至少两种数字类别，例如，所述训练样本集合中包括1、3、7、8、9五种数字类别的训练样本，即为所述训练样本集合中每个训练样本的数字类别标识为所述1、3、7、8、9五种数字类别中的一种。

由上述说明可知，所述步骤101可以理解为，分别将原空间中的训练样本集合和待测样本映射至隐空间中。

步骤102：依据所述第二空间中的训练样本集合，确定测度变换矩阵。

其中，所述步骤102可以理解为：依据所述训练样本集合，在隐空间中学习获取一个测度变换矩阵。在所述步骤102中，可以用马氏距离实现。

步骤103：利用所述测度变换矩阵，分别获取所述待测样本与每个所述训练样本之间的距离值。

其中，所述步骤103可以理解为：在所述隐空间中，计算所述待测样本与每个所述训练样本之间的距离值。

步骤104：依据所述每个所述距离值及其各自对应的数字类别标识，确定所述待测样本的数字类别。

其中，在N个训练样本所各自对应的距离值中，距离值越小，表明待测样本与训练样本越为接近，由此，可以根据K个与待测样本的距离值最小的训练样本的数字类别标识确定待测样本的数字类别。

参考图2，为本申请实施例中所述步骤104的流程图，所述步骤104可以包括以下步骤：

步骤201：选取所述距离值小于或等于预设限值的训练样本。

其中，所述预设限值可以由用户设置，也可以对所述训练样本依据其各自对应距离值的小大顺序进行排序后，依据排序后的训练样本的距离值进行设置，由此，所述步骤201可以通过以下方式实现：

依据其距离值的小大顺序对所述训练样本进行排序，选取排序在前K个的训练样本，此时，所述预设限值为排序在第K个训练样本的距离值，也可以为排序在第K个和第K+1个两个训练样本的距离值之间的任意数值。

步骤202：依据选取的训练样本的数字类别标识，确定所述待测样本的数字类别。

其中，所述步骤202可以通过以下方式实现：

在所述选取的训练样本中，将其数字类别标识所占比例最多的训练样本的数字类别作为所述待测样本的数字类别。

例如，选取的训练样本中各自的数字类别标识分别为3、5、3、6、6、4、6、8、6、6、6、9、5、4，由此可知，其数字类别标识所占比例最多的训练样本的数字类别为6，因此，6即为所述待测样本的数字类别。

由上述方案可知，本申请提供的一种手写体数字识别方法实施例一，首先分别将第一空间中的训练样本集合和手写体数字的待测样本映射至第二空间中，再依据所述第二空间中的训练样本集合，确定测度变换矩阵，之后利用所述测度变换矩阵，分别获取所述待测样本与每个所述训练样本之间的距离值，进而依据每个所述距离值及其各自对应的数字类别标识，确定所述待测样本的数字类别。本申请实施例通过将第一空间的训练样本及待测样本映射至第二空间中，再在第二空间中学习一个测度变换矩阵，由此计算待测样本与训练样本之间的距离，进而确定待测样本的数字类别，相对于现有技术中预先制定距离测度的情况，在实现识别手写体数字的前提下，提高了手写体数字识别的准确率。

进一步的，现有技术中通过留一法误差分析来学习马氏距离测度实现手写体数字识别的方案中（即近邻成分分析算法），在对小样本问题的实际应用时，会产生过拟合问题，而且在优化的时候容易陷入局部极小点，杀跌当样本不是线性可分时，分类效果较差，识别效率较低。本申请实施例针对上述近邻成分分析算法，能够有效处理小样本问题，同时识别率较高。

参考图3，为本申请提供的一种手写体数字识别方法实施例二中所述步骤101的流程图，其中，所述步骤101可与包括以下步骤：

步骤301：利用z_i=Φ(x_i)=[k(x_i,x₁) k(x_i,x₂) … k(x_i,x_N)]^T，将第一空间中的训练样本集合映射至第二空间中；

其中，

为所述第一空间中的训练样本集合，x_i∈R^D为所述第一空间中训练样本集合中的训练样本，D为所述第一空间中训练样本集合中训练样本的维数，y_i={1,2,...,c}为其对应的训练样本x_i的数字类别标识，c为所述训练样本集合中训练样本的数字类别的种类数，Φ(x_i)为预设的映射函数，k(x_i,x_j)为核函数，N为所述训练样本集合中训练样本的总个数，

为被映射至所述第二空间中的训练样本集合，z_i∈R^N为所述第二空间中训练样本集合内的训练样本。

其中，所述映射函数可以通过解析历史数据获取。

步骤302：利用z=Φ(x)=[k(x,x₁) k(x,x₂) … k(x,x_N)]^T，将所述第一空间中的测试样本映射至所述第二空间中；

其中，x为所述第一空间中的待测样本，k(x,x_j)为核函数，z为被映射至所述第二空间中的待测样本。

需要说明的是，所述步骤301和所述步骤302之间可以并行执行，也可以有一定的先后顺序。

参考图4，为本申请提供的一种手写体数字识别方法实施例三中所述步骤102的流程图，所述步骤102可以包括以下步骤：

步骤401：利用 $p_{\mathrm{ij}}=\left\{\begin{array}{cc}\frac{\exp \left({-\left|\right|{\mathrm{Az}}_i-{\mathrm{Az}}_j\left|\right|}^2\right)}{{\mathrm{\Σ}}_{k\≠i}\exp \left({-\left|\right|{\mathrm{Az}}_i-{\mathrm{Az}}_k\left|\right|}^2\right)},& i\≠j\\ 0,& i=j\end{array}\right.,$ 获取每个所述训练样本分别与区别于其自身的训练样本之间的近邻概率值；

其中，p_ij为所述第二空间的训练样本集合中训练样本z_i与训练样本z_j作为近邻样本的概率值。

步骤402：依据每个所述训练样本的近邻概率值，确定每个所述训练样本属于每种所述数字类别的类别概率值。

其中，所述步骤402可以通过以下方式实现：

利用

确定每个所述训练样本属于每种数字类别的类别概率值，其中，p_ij为所述第二空间的训练样本集合中训练样本z_i与训练样本z_j作为近邻样本的概率值，ω为数字类别的标签，p_ω为每个所述训练样本属于数字类别ω的概率值。

步骤403：利用d(z_i,z_j)=(z_i-z_j)^TQ(z_i-z_j)=(Az_i-Az_j)^T(Az_i-Az_j)及每个所述训练样本的类别概率值，确定测度变换矩阵；

其中，d(z_i,z_j)为所述第二空间的训练样本集合中训练样本z_iz_i与训练样本z_j的距离，Q=A^TA，A为所述第二空间中的测度变换矩阵。

需要说明的是，两个所述训练样本之间的距离越近，那么这两个训练样本对应的p_ω越大，因此，所述步骤403可以通过以下方式实现：

对每个所述类别概率值p_ω最大化，利用上述d(z_i,z_j)，确定测度变换矩阵。

其中，在本申请实施例中，所述步骤103在利用所述测度变换矩阵，分别获取所述待测样本与每个所述训练样本之间的距离值时，可以通过以下方式实现：

利用d(z,z_i)=(Az-Az_i)^T(Az-Az_i),i=1,…,N，获取所述待测样本与每个所述训练样本之间的距离值；

其中，d(z_i,z_j)为所述待测样本z与所述训练样本z_i之间的距离值，A为所述测度变换矩阵，N为所述训练样本集合中训练样本的总个数。

参考图5，为本申请提供的一种手写体数字识别装置实施例四的结构示意图，所述装置可以包括：

样本映射单元501，用于分别将第一空间中的训练样本集合和待测样本映射至第二空间中；

其中，所述训练样本集合包括至少两个训练样本，每个所述训练样本分别具有一个数字类别标识，所述训练样本集合包含至少两种数字类别的训练样本。

其中，所述第一空间可以为当前原空间，所述第二空间可以为预设隐空间。而所述训练样本集合包括至少两个训练样本，每个所述训练样本分别具有一个数字类别标识，如1、2、5、7等标识，所述训练样本集合中的训练样本包含至少两种数字类别，例如，所述训练样本集合中包括1、3、7、8、9五种数字类别的训练样本，即为所述训练样本集合中每个训练样本的数字类别标识为所述1、3、7、8、9五种数字类别中的一种。

由上述说明可知，所述样本映射单元501可以理解为，分别将原空间中的训练样本集合和待测样本映射至隐空间中。

测度矩阵确定单元502，用于依据所述第二空间中的训练样本集合，确定测度变换矩阵。

其中，所述测度矩阵确定单元502可以理解为：依据所述训练样本集合，在隐空间中学习获取一个测度变换矩阵。在所述测度矩阵确定单元502中，可以用马氏距离实现。

距离值获取单元503，用于利用所述测度变换矩阵，分别获取所述待测样本与每个所述训练样本之间的距离值。

其中，所述距离值获取单元503可以理解为：在所述隐空间中，计算所述待测样本与每个所述训练样本之间的距离值。

类别确定单元504，用于依据所述每个所述距离值及其各自对应的数字类别标识，确定所述待测样本的数字类别。

其中，在N个训练样本所各自对应的距离值中，距离值越小，表明待测样本与训练样本越为接近，由此，可以根据K个与待测样本的距离值最小的训练样本的数字类别标识确定待测样本的数字类别。

参考图6，为本申请实施例中所述类别确定单元504的结构示意图，其中，所述类别确定单元504可以包括：

样本选取子单元541，用于选取所述距离值小于或等于预设限值的训练样本。

其中，所述预设限值可以由用户设置，也可以对所述训练样本依据其各自对应距离值的小大顺序进行排序后，依据排序后的训练样本的距离值进行设置，由此，所述样本选取子单元541可以通过以下方式实现：

依据其距离值的小大顺序对所述训练样本进行排序，选取排序在前K个的训练样本，此时，所述预设限值为排序在第K个训练样本的距离值，也可以为排序在第K个和第K+1个两个训练样本的距离值之间的任意数值。

类别确定子单元542，用于依据选取的训练样本的数字类别标识，确定所述待测样本的数字类别。

其中，所述类别确定子单元542可以通过以下方式实现：

在所述选取的训练样本中，将其数字类别标识所占比例最多的训练样本的数字类别作为所述待测样本的数字类别。

例如，选取的训练样本中各自的数字类别标识分别为3、5、3、6、6、4、6、8、6、6、6、9、5、4，由此可知，其数字类别标识所占比例最多的训练样本的数字类别为6，因此，6即为所述待测样本的数字类别。

由上述方案可知，本申请提供的一种手写体数字识别装置实施例四，首先分别将第一空间中的训练样本集合和手写体数字的待测样本映射至第二空间中，再依据所述第二空间中的训练样本集合，确定测度变换矩阵，之后利用所述测度变换矩阵，分别获取所述待测样本与每个所述训练样本之间的距离值，进而依据每个所述距离值及其各自对应的数字类别标识，确定所述待测样本的数字类别。本申请实施例通过将第一空间的训练样本及待测样本映射至第二空间中，再在第二空间中学习一个测度变换矩阵，由此计算待测样本与训练样本之间的距离，进而确定待测样本的数字类别，相对于现有技术中预先制定距离测度的情况，在实现识别手写体数字的前提下，提高了手写体数字识别的准确率。

参考图7，为本申请提供的一种手写体数字识别装置实施例五中所述样本映射单元501的结构示意图，所述样本映射单元501可以包括：

第一映射子单元511，用于利用z_i=Φ(x_i)=[k(x_i,x₁) k(x_i,x₂) … k(x_i,x_N)]^T，将第一空间中的训练样本集合映射至第二空间中；

其中，

为所述第一空间中的训练样本集合，x_i∈R^D为所述第一空间中训练样本集合中的训练样本，D为所述第一空间中训练样本集合中训练样本的维数，y_i={1,2,...,c}为其对应的训练样本xi的数字类别标识，c为所述训练样本集合中训练样本的数字类别的种类数，Φ(x_i)为预设的映射函数，k(x_i,x_j)为核函数，N为所述训练样本集合中训练样本的总个数，

为被映射至所述第二空间中的训练样本集合，z_i∈R^N为所述第二空间中训练样本集合内的训练样本。

其中，在本申请实施例中，所述第一映射子单元可以通过解析历史数据获取所述映射函数。

第二映射子单元512，用于利用z=Φ(x)=[k(x,x₁) k(x,x₂) … k(x,x_N)]^T，将所述第一空间中的测试样本映射至所述第二空间中；

其中，x为所述第一空间中的待测样本，k(x,x_j)为核函数，z为被映射至所述第二空间中的待测样本。

需要说明的是，所述第一映射子单元511和所述第二映射子单元512之间具有独立性，各自的运行不受对方制约或控制。

参考图8，为本申请提供的一种手写体数字识别方法实施例六中所述测度矩阵确定单元502的结构示意图，所述测度矩阵确定单元502可以包括：

近邻概率值获取子单元521，用于利用 $p_{\mathrm{ij}}=\left\{\begin{array}{cc}\frac{\exp \left({-\left|\right|{\mathrm{Az}}_i-{\mathrm{Az}}_j\left|\right|}^2\right)}{{\mathrm{\Σ}}_{k\≠i}\exp \left({-\left|\right|{\mathrm{Az}}_i-{\mathrm{Az}}_k\left|\right|}^2\right)},& i\≠j\\ 0,& i=j\end{array}\right.,$ 获取每个所述训练样本分别与区别于其自身的训练样本之间的近邻概率值；

其中，p_ij为所述第二空间的训练样本集合中训练样本z_i与训练样本z_j作为近邻样本的概率值。

类别概率值获取子单元522，用于依据每个所述训练样本的近邻概率值，确定每个所述训练样本属于每种所述数字类别的类别概率值。

其中，所述类别概率值获取子单元522可以通过以下方式实现：

利用

确定每个所述训练样本属于每种数字类别的类别概率值，其中，p_ij为所述第二空间的训练样本集合中训练样本z_i与训练样本z_j作为近邻样本的概率值，ω为数字类别的标签，p_ω为每个所述训练样本属于数字类别ω的概率值。

测度矩阵确定子单元523，用于利用d(z_i,z_j)=(z_i-z_j)^TQ(z_i-z_j)=(Az_i-Az_j)^T(Az_i-Az_j)及每个所述训练样本的类别概率值，确定测度变换矩阵；

其中，d(z_i,z_j)为所述第二空间的训练样本集合中训练样本z_i与训练样本z_j的距离，Q=A^TA，A为所述第二空间中的测度变换矩阵。

需要说明的是，两个所述训练样本之间的距离越近，那么这两个训练样本对应的p_ω越大，因此，所述测度矩阵确定子单元523可以通过以下方式实现：

对每个所述类别概率值p_ω最大化，利用上述d(z_i,z_j)，确定测度变换矩阵。

其中，在本申请实施例中，所述距离值获取单元503可以通过以下方式实现：

利用d(z,z_i)=(Az-Az_i)^T(Az-Az_i),i=1,…,N，获取所述待测样本与每个所述训练样本之间的距离值；

其中，d(z_i,z_j)为所述待测样本z与所述训练样本z_i之间的距离值，A为所述测度变换矩阵，N为所述训练样本集合中训练样本的总个数。

参考图9，为本申请提供的一种手写体数字识别系统的结构示意图，所述系统包括训练模块901和分类模块902。

在所述训练模块901中，包括两个子模块：第一预处理子模块和学习测度变换矩阵A子模块，其中：

所述第一预处理子模块，用于原空间的训练样本进行处理，构造隐空间中的训练样本。所述原空间即为上文中提及的第一空间，所述隐空间即为所述第二空间。

在所述第一预处理子模块中，设已有原空间的训练样本集为

y_i是x_i的类别标签，c表示类别数，N表示训练样本的总个数，D表示训练样本的维数。利用如下经验映射函数Φ(x_i)：

z_i=Φ(x_i)=[k(x_i,x₁) k(x_i,x₂) … k(x_i,x_N)]^T

把原空间的训练样本x_i映射成隐空间中的训练样本z_i，其中k(x_i,x_j)是一个核函数。经过映射后，得到隐空间的训练样本集

z_i∈R^N。

在所述学习测度变换矩阵A子模块中，对隐空间的训练样本，用马氏距离来作为测度，即d(z_i,z_j)=(z_i-z_j)^TQ(z_i-z_j)=(Az_i-Az_j)^T(Az_i-Az_j)。

其中，Q=A^TA，A是测度变换矩阵。在隐空间中，对每个样本z_i选择另一个样本z_j以概率p_ij作为它的近邻，概率概率p_ij的计算公式如下：

$p_{\mathrm{ij}}=\left\{\begin{array}{cc}\frac{\exp \left({-\left|\right|{\mathrm{Az}}_i-{\mathrm{Az}}_j\left|\right|}^2\right)}{{\mathrm{\Σ}}_{k\≠i}\exp \left({-\left|\right|{\mathrm{Az}}_i-{\mathrm{Az}}_k\left|\right|}^2\right)},& i\≠j\\ 0,& i=j\end{array}\right.$

若两个样本离得越近，则其p_ij值应该越大。z_i被正确分类为第ω类的概率为

之后，通过最大化p_ω，求出测度变换矩阵A。

所述分类模块902包括两个子模块：第二预处理子模块和分类子模块。

所述第二预处理子模块用于对原空间的待测样本进行处理，构造隐空间中的待测样本。

设原空间的待测样本x，利用经验映射函数Φ(x)：

z=Φ(x)=[k(x,x₁) k(x,x₂) … k(x,x_N)]^T

把原空间的待测样本x映射成隐空间中的待测样本z。

所述分类子模块对隐空间的待测样本z，计算其与隐空间的训练样本的距离，计算公式为：

d(z,z_i)=(Az-Az_i)^T(Az-Az_i),i=1,…,N

在N个距离d(z,z_i)中，寻找距离z最小的K个隐空间训练样本。最后利用K个隐空间训练样本对应的类别标签来对待测样本x进行分类：哪个类别标签占多数，就把哪个类别赋予x。

以下利用本申请实施例进行手写体数字识别的应用示例说明：

本申请在MNIST手写体数字数据集中进行了测试，MNIST是美国著名数据集NIST的子集，是模式识别常用的实验数据集之一。MNIST手写体数据库共有10类，共有60000个训练样本和10000个测试样本。在本示例中，可以选择其中五类进行测试，每类分别从训练集和测试集上随机选取50个。这里的实验取了数字1，3，7，8和9，共5类。在该数据集上的训练样本和测试样本中，每类各取50个。

待测样本有250个，重复分类模块250次。表1给出在测试集上的估计性能。实验对比方法有K近邻算法和近邻成分分析。通过实验结果我们可以看出本发明的手写体识别效果明显优于K近邻算法和近邻成分分析方法，并表现出了较强的稳定性，具有一定的优势。

表1三种方法对5类手写体数字的分类性能(识别率%)对比

数字类别	K近邻	近邻成分分析	本发明
				1	100.00±0.00	99.25±1.03	97.25±1.48
3	83.75±3.92	82.00±4.40	90.50±4.75
				7	76.50±5.83	81.25±5.84	89.00±5.55
8	81.50±8.40	83.75±5.39	85.25±3.53
				9	88.75±3.99	83.25±4.77	91.25±3.19
平均值	86.10±3.00	85.90±2.82	90.65±1.51

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种手写体数字识别方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种手写体数字识别方法，其特征在于，包括：

分别将第一空间中的训练样本集合和手写体数字的待测样本映射至第二空间中；

其中，所述训练样本集合包括至少两个训练样本，每个所述训练样本分别具有一个数字类别标识，所述训练样本集合中的训练样本包含至少两种数字类别；

依据所述第二空间中的训练样本集合，确定测度变换矩阵；

利用所述测度变换矩阵，分别获取所述待测样本与每个所述训练样本之间的距离值；

依据每个所述距离值及其各自对应的数字类别标识，确定所述待测样本的数字类别。

2.根据权利要求1所述的方法，其特征在于，所述分别将第一空间中的训练样本集合和测试样本集合映射至第二空间中，包括：

利用z_i=Φ(x_i)=[k(x_i,x₁) k(x_i,x₂) … k(x_i,x_N)]^T，将第一空间中的训练样本集合映射至第二空间中；

其中，为所述第一空间中的训练样本集合，x_i∈R^D为所述第一空间中训练样本集合中的训练样本，D为所述第一空间中训练样本集合中训练样本的维数，y_i={1,2,...,c}为其对应的训练样本x_i的数字类别标识，c为所述训练样本集合中训练样本的数字类别的种类数，Φ(x_i)为预设的映射函数，k(x_i,x_j)为核函数，N为所述训练样本集合中训练样本的总个数，

为被映射至所述第二空间中的训练样本集合，z_i∈R^N为所述第二空间中训练样本集合内的训练样本；

利用z=Φ(x)=[k(x,x₁) k(x,x₂) … k(x,x_N)]^T，将所述第一空间中的测试样本映射至所述第二空间中；

其中，x为所述第一空间中的待测样本，k(x,x_j)为核函数，z为被映射至所述第二空间中的待测样本。

3.根据权利要求1所述的方法，其特征在于，所述依据所述第二空间中的训练样本集合，确定测度变换矩阵，包括：

利用 $p_{\mathrm{ij}}=\left\{\begin{array}{cc}\frac{\exp \left({-\left|\right|{\mathrm{Az}}_i-{\mathrm{Az}}_j\left|\right|}^2\right)}{{\mathrm{\Σ}}_{k\≠i}\exp \left({-\left|\right|{\mathrm{Az}}_i-{\mathrm{Az}}_k\left|\right|}^2\right)},& i\≠j\\ 0,& i=j\end{array}\right.,$ 获取每个所述训练样本分别与区别于其自身的训练样本之间的近邻概率值；

其中，p_ij为所述第二空间的训练样本集合中训练样本z_i与训练样本z_j作为近邻样本的概率值；

依据每个所述训练样本的近邻概率值，确定每个所述训练样本属于每种所述数字类别的类别概率值；

利用d(z_i,z_j)=(z_i-z_j)^TQ(z_i-z_j)=(Az_i-Az_j)^T(Az_i-Az_j)及每个所述训练样本的类别概率值，确定测度变换矩阵；

其中，d(z_i,z_j)为所述第二空间的训练样本集合中训练样本z_i与训练样本z_j的距离，Q=A^TA，A为所述第二空间中的测度变换矩阵。

4.根据权利要求3所述的方法，其特征在于，所述利用测度变换矩阵，分别获取所述待测样本与每个所述训练样本之间的距离值，包括：

利用d(z,z_i)=(Az-Az_i)^T(Az-Az_i),i=1,…,N，获取所述待测样本与每个所述训练样本之间的距离值；

其中，d(z,z_i)为所述待测样本z与所述训练样本z_i之间的距离值，A为所述测度变换矩阵，N为所述训练样本集合中训练样本的总个数。

5.根据权利要求1、2、3或4所述的方法，其特征在于，所述依据每个所述距离值及其各自对应的数字类别标识，确定所述待测样本的数字类别，包括：

选取所述距离值小于或等于预设限值的训练样本；

依据选取的训练样本的数字类别标识，确定所述待测样本的数字类别。

6.一种手写体数字识别装置，其特征在于，包括：

样本映射单元，用于分别将第一空间中的训练样本集合和待测样本映射至第二空间中；

其中，所述训练样本集合包括至少两个训练样本，每个所述训练样本分别具有一个数字类别标识，所述训练样本集合包含至少两种数字类别的训练样本；

测度矩阵确定单元，用于依据所述第二空间中的训练样本集合，确定测度变换矩阵；

距离值获取单元，用于利用所述测度变换矩阵，分别获取所述待测样本与每个所述训练样本之间的距离值；

类别确定单元，用于依据所述每个所述距离值及其各自对应的数字类别标识，确定所述待测样本的数字类别。

7.根据权利要求6所述的装置，其特征在于，所述样本映射单元包括：

第一映射子单元，用于利用z_i=Φ(x_i)=[k(x_i,x₁) k(x_i,x₂) … k(x_i,x_N)]^T，将第一空间中的训练样本集合映射至第二空间中；

其中，

为所述第一空间中的训练样本集合，x_i∈R^D为所述第一空间中训练样本集合中的训练样本，D为所述第一空间中训练样本集合中训练样本的维数，y_i={1,2,...,c}为其对应的训练样本xi的数字类别标识，c为所述训练样本集合中训练样本的数字类别的种类数，Φ(x_i)为预设的映射函数，k(x_i,x_j)为核函数，N为所述训练样本集合中训练样本的总个数，

为被映射至所述第二空间中的训练样本集合，z_i∈R^N为所述第二空间中训练样本集合内的训练样本；

第二映射子单元，用于利用z=Φ(x)=[k(x,x₁) k(x,x₂) … k(x,x_N)]^T，将所述第一空间中的测试样本映射至所述第二空间中；

其中，x为所述第一空间中的待测样本，k(x,x_j)为核函数，z为被映射至所述第二空间中的待测样本。

8.根据权利要求6所述的装置，其特征在于，所述测度矩阵确定单元包括：

近邻概率值获取子单元，用于利用 $p_{\mathrm{ij}}=\left\{\begin{array}{cc}\frac{\exp \left({-\left|\right|{\mathrm{Az}}_i-{\mathrm{Az}}_j\left|\right|}^2\right)}{{\mathrm{\Σ}}_{k\≠i}\exp \left({-\left|\right|{\mathrm{Az}}_i-{\mathrm{Az}}_k\left|\right|}^2\right)},& i\≠j\\ 0,& i=j\end{array}\right.,$ 获取每个所述训练样本分别与区别于其自身的训练样本之间的近邻概率值；

其中，p_ij为所述第二空间的训练样本集合中训练样本z_i与训练样本z_j作为近邻样本的概率值；

类别概率值获取子单元，用于依据每个所述训练样本的近邻概率值，确定每个所述训练样本属于每种所述数字类别的类别概率值；

测度矩阵确定子单元，用于利用d(z_i,z_j)=(z_i-z_j)^TQ(z_i-z_j)=(Az_i-Az_j)^T(Az_i-Az_j)及每个所述训练样本的类别概率值，确定测度变换矩阵；

其中，d(z_i,z_j)为所述第二空间的训练样本集合中训练样本z_i与训练样本z_j的距离，Q=A^TA，A为所述第二空间中的测度变换矩阵。

9.根据权利要求8所述的装置，其特征在于，所述距离值获取单元具体用于利用d(z,z_i)=(Az-Az_i)^T(Az-Az_i),i=1,…,N，获取所述待测样本与每个所述训练样本之间的距离值；

其中，d(z,z_i)为所述待测样本z与所述训练样本z_i之间的距离值，A为所述测度变换矩阵，N为所述训练样本集合中训练样本的总个数。

10.根据权利要求6、7、8或9所述的装置，其特征在于，所述类别确定单元包括：

样本选取子单元，用于选取所述距离值小于或等于预设限值的训练样本；

类别确定子单元，用于依据选取的训练样本的数字类别标识，确定所述待测样本的数字类别。

Images