CN103927550A - 一种手写体数字识别方法及系统 - Google Patents

Abstract

本申请提供一种手写体数字识别方法及系统，该方法通过接收用户输入的待测手写体数字样本；通过训练得到的第一分类器、第二分类器、第三分类器分别对待测手写体数字样本进行预测，并输出第一分类器、第二分类器、第三分类器对待测手写体数字样本的预测结果；比较第一分类器、第二分类器、第三分类器对待测手写体数字样本的预测结果，若至少2个分类器得出的是相同的预测结果，则判定待测手写体数字样本属于该预测结果的类别，否则，判定待测手写体数字样本属于第二分类器输出的预测结果的类别。该方法通过使用3个分类器对待测样本进行预测，在保证预测速度的基础上，很大程度上提高了手写体数字识别的识别率。

Description

一种手写体数字识别方法及系统

技术领域

本申请涉及模式识别技术领域，特别是涉及一种手写体数字识别方法及系统。

背景技术

近年来随着计算机技术和数字图像处理技术的飞速发展，手写体数字识别技术在大规模数据统计，邮件分拣，财务，税务和金融等领域中都有着较为深远的应用需求，所以它一直都是模式识别领域的研究热点。手写体数字识别技术作为模式识别领域的一个重要问题，也有着重要的理论价值，由于数字在各个领域中往往代表精确的数值，微小的错误很可能带来不可预知的后果，因此对手写体数字识别技术的正确率有着极高的要求。

现有技术中，有很多用于实现手写体数字识别的方法，如基于笔画特征的算法、基于K近邻的算法和基于支持向量机的算法。但是，由于手写数字因人而异且变化很多，导致各类算法的识别效果仍然不够理想，手写体数字识别的识别率较低。

基于上述现有技术存在的缺点，如何提供一种手写体数字识别方法及系统，能够提高手写体数字识别的识别率，是本领域人员急需解决的问题。

发明内容

有鉴于此，本申请提供一种手写体数字识别方法及系统，以解决现有技术在进行手写体数字识别的过程中，由于手写数字因人而异且变化很多，导致各类算法的识别效果仍然不够理想，手写体数字识别的识别率较低的问题。

为了实现上述目的，本申请实施例提供的技术方案如下：

一种手写体数字识别方法，包括：

接收用户输入的待测手写体数字样本；

通过训练得到的第一分类器、第二分类器、第三分类器分别对所述待测手写体数字样本进行预测，并输出第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果；

比较所述第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果，若至少2个分类器得出的是相同的预测结果，则判定所述待测手写体数字样本属于该预测结果的类别，否则，判定所述待测手写体数字样本属于第二分类器输出的预测结果的类别。

优选地，所述第一分类器、第二分类器、第三分类器的训练，包括：

对神经网络的两个隐藏层进行逐层预训练，分别得到原始输入层和第一隐藏层之间的权重参数和偏置参数第一隐藏层与第二隐藏层之间的权重参数和偏置参数

根据所述和得到第一隐藏层的输出特征表示，根据所述和以及第一隐藏层的输出特征表示得到第二隐藏层的输出特征表示；

利用优化算法分别对所述第一隐藏层的输出特征表示、第二隐藏层的输出特征表示进行优化得到第一隐藏层与分类器层之间的权重参数和偏置参数第二隐藏层与分类器层之间的权重参数和偏置参数

分别将作为所述神经网络原始输入层和第一隐藏层之间、第一隐藏层和分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第一分类器；

分别将作为所述神经网络原始输入层与第一隐藏层、第一隐藏层与第二隐藏层、第二隐藏层与分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第二分类器；

将所述第一隐藏层的输出特征表示与所述第二隐藏层的输出特征表示按列链接在一起得到融合特征，根据所述融合特征训练出第三分类器。

优选地，所述对神经网络的两个隐藏层进行逐层预训练包括：

将无标签的训练样本集作为输入，得到第一代价函数：

其中，m表示训练样本的个数，d表示训练样本的维数，h_W,b(x⁽ⁱ⁾)表示第i个训练样本在输出层的激活值，λ表示权重衰减系数，n_l表示网络的层数，s_l表示第l层网络神经元的个数，表示第l层网络第i个神经元和第l+1层网络第j个神经元之间的权重，β表示控制稀疏性惩罚因子的权重，ρ表示稀疏性参数，表示第i层第j个神经元的输出；

通过优化算法最小化所述第一代价函数，完成第一隐藏层的训练，得到原始输入层和第一隐藏层之间的权重参数和偏置参数

对所述无标签的训练样本集执行公式得到集合并将其作为输入，得到第二代价函数：

通过优化算法最小化所述第二代价函数，完成第二隐藏层的训练，得到第一隐藏层与第二隐藏层之间的权重参数和偏置参数

优选地，所述权重衰减系数λ具体为3e-3，所述控制稀疏性惩罚因子的权重β具体为3，所述稀疏性参数ρ具体为0.1。

优选地，所述第一隐藏层的输出特征表示具体为：其中，第二隐藏层的输出特征具体为： ${\left\{F_2^{\left(i\right)}\right\}}_{i=1}^n={\left\{h_{w_1^2,b_1^2}\left(F_1^{\left(i\right)}\right)\right\}}_{i=1}^n,$ 其中， $h_{w_1^2,b_1^2}\left(F_1^{\left(i\right)}\right)=1/(1+e^{(-w_1^2{F}_1^{\left(i\right)}-b_1^2)});$

其中，n表示训练样本的个数。

优选地，所述分类器为Softmax分类器。

优选地，所述优化算法为L-BFGS算法。

一种手写体数字识别系统，包括：待测样本接收单元、分类器训练单元、待测样本预测单元以及样本识别单元，其中：

所述待测样本接收单元，用于接收用户输入的待测手写体数字样本；

分别与所述待测样本接收单元、分类器训练单元连接的待测样本预测单元，用于通过所述分类器训练单元训练得到的第一分类器、第二分类器、第三分类器分别对所述待测手写体数字样本进行预测，并输出第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果；

所述样本识别单元与所述待测样本预测单元相连，用于比较所述待测样本预测单元输出的第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果，若至少2个分类器得出的是相同的预测结果，则判定所述待测手写体数字样本属于该预测结果的类别，否则，判定所述待测手写体数字样本属于第二分类器输出的预测结果的类别。

优选地，所述分类器训练单元具体包括：预训练单元、输出特征表示单元、输出特征表示优化单元以及分类器单元，其中：

所述预训练单元，用于对神经网络的两个隐藏层进行逐层预训练，分别得到原始输入层和第一隐藏层之间的权重参数和偏置参数第一隐藏层与第二隐藏层之间的权重参数和偏置参数

与所述预训练单元相连的输出特征表示单元，用于根据所述预训练单元得到的和得到第一隐藏层的输出特征表示，根据所述和以及第一隐藏层的输出特征表示得到第二隐藏层的输出特征表示；

与所述输出特征表示单元相连的输出特征表示优化单元，用于利用优化算法分别将所述第一隐藏层的输出特征表示、第二隐藏层的输出特征表示进行优化得到第一隐藏层与分类器层之间的权重参数和偏置参数第二隐藏层与分类器层之间的权重参数和偏置参数

分别与所述预训练单元、输出特征表示单元以及输出特征表示优化单元相连的分类器单元，用于分别将所述作为所述神经网络原始输入层和第一隐藏层之间、第一隐藏层和分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第一分类器；分别将 作为所述神经网络原始输入层与第一隐藏层、第一隐藏层与第二隐藏层、第二隐藏层与分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第二分类器；将所述第一隐藏层的输出特征表示与所述第二隐藏层的输出特征表示按列链接在一起得到融合特征，根据所述融合特征训练出第三分类器。

优选地，所述预训练单元具体包括：第一代价函数计算单元、第一代价函数优化单元、第二代价函数计算单元和第二代价函数优化单元，其中：

所述第一代价函数计算单元，用于将无标签的训练样本集作为输入，得到第一代价函数：

其中，m表示训练样本的个数，d是表示训练样本的维数，h_W,b(x⁽ⁱ⁾)表示第i个训练样本在输出层的激活值，λ表示权重衰减系数，n_l表示网络的层数，s_l表示第l层网络神经元的个数，表示第l层网络第i个神经元和第l+1层网络第j个神经元之间的权重，β表示控制稀疏性惩罚因子的权重，ρ表示稀疏性参数，表示第i层第j个神经元的输出；

与所述第一代价函数计算单元相连的第一代价函数优化单元，用于通过优化算法最小化所述第一代价函数，完成第一隐藏层的训练，得到原始输入层和第一隐藏层之间的权重参数和偏置参数

所述第二代价函数计算单元，用于对所述无标签的训练样本集执行公式 $h_{w_1^1,b_1^1}\left(x^{\left(i\right)}\right)=1/(1+e^{(-w_1^1{x}^{\left(i\right)}-b_1^1)})$ 得到集合 $S={\left\{h_{w_1^1,b_1^1}\left(x^{\left(i\right)}\right)\right\}}_{i=1}^m$ 并将其作为输入，得到第二代价函数：

与所述第二代价函数计算单元相连的第二代价函数优化单元，用于通过优化算法最小化所述第二代价函数，完成第二隐藏层的训练，得到第一隐藏层与第二隐藏层之间的权重参数和偏置参数

由此可见，本申请提供了一种手写体数字识别方法及系统，该方法通过接收用户输入的待预测手写体数字样本，并通过预训练得到的3个分类器分别对该待测样本进行预测，并分别输出结果，比较3个分类器输出的结果，如果有至少2个分类器输出的预测结果相同，则判定所述待测手写体数字样本属于该预测结果的类别，否则，判定待测手写体数字样本属于第二分类器输出的预测结果的类别。所述手写体数字识别方法，通过使用3个分类器对待测样本进行预测，在保证预测速度的基础上，很大程度上提高了手写体数字识别的识别率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种手写体数字识别方法流程图；

图2为本申请实施例一提供的手写体数字识别中分类器的训练方法流程图；

图3为本申请实施例一提供的一种深度网络示意图；

图4为本发明实施例二公开的一种手写体数字识别系统示意图；

图5为本申请实施例二公开的一种分类器训练单元的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

实施例一：

图1为本申请实施例一提供的一种手写体数字识别方法流程图。

如图1所示，该方法包括：

S101、接收用户输入的手写体数字样本。

在本申请实施例中，用户可以在平板、手机触摸屏上通过手写的方式输入手写体数字，该方法首先接收用户在手机触摸屏或者平板等工具上输入的手写体数字样本。

S102、通过训练得到的3个分类器对手写体数字样本进行预测，并分别输出预测结果。

在本步骤中，通过训练得到的第一分类器、第二分类器、第三分类器分别对待测手写体数字样本进行预测，并输出第一分类器、第二分类器、第三分类器对待测手写体数字样本的预测结果。

具体的，对于一个新的待预测的样本，我们分别使用训练得到的三个分类器C1，C2和C3进行预测，并得到三个相应的预测结果R1，R2和R3。对于一个新样本，分类器会输出10个值，分别表示该样本属于数字0到数字9的概率值，并选取概率值最大的类别为预测的结果。

图2为本申请实施例一提供的手写体数字识别中分类器的训练方法流程图。

如图2所示，本申请实施例中对第一分类器、第二分类器、第三分类器的训练，包括：

S201、对神经网络的两个隐藏层进行逐层预训练，得到原始输入层和第一隐藏层之间、第一隐藏层与第二隐藏层之间的权重参数和偏置参数。

其中，原始输入层和第一隐藏层之间的权重参数为偏置参数为第一隐藏层与第二隐藏层之间的权重参数为偏置参数为

需要说明的是，对神经网络的两个隐藏层进行逐层预训练包括：

将无标签的训练样本集作为输入，得到第一代价函数：

其中，m表示训练样本的个数，d表示训练样本的维数，h_W,b(x⁽ⁱ⁾)表示第i个训练样本在输出层的激活值，λ表示权重衰减系数，n_l表示网络的层数，s_l表示第l层网络神经元的个数，表示第l层网络第i个神经元和第l+1层网络第j个神经元之间的权重，β表示控制稀疏性惩罚因子的权重，ρ表示稀疏性参数，表示第i层第j个神经元的输出；

通过优化算法最小化第一代价函数，完成第一隐藏层的训练，得到原始输入层和第一隐藏层之间的权重参数和偏置参数

对无标签的训练样本集执行公式得到集合并将其作为输入，得到第二代价函数：

通过优化算法最小化第二代价函数，完成第二隐藏层的训练，得到第一隐藏层与第二隐藏层之间的权重参数和偏置参数

具体的，权重衰减系数λ具体为3e-3，控制稀疏性惩罚因子的权重β具体为3，稀疏性参数ρ具体为0.1。

S202、分别根据得到的原始输入层和第一隐藏层之间、第一隐藏层与第二隐藏层之间的权重参数和偏置参数得到第一隐藏层的输出特征表示以及第二隐藏层的输出特征表示。

根据和得到第一隐藏层的输出特征表示，根据和得到第二隐藏层的输出特征表示。

本步骤中，需要说明的是，第一隐藏层的输出特征表示具体为： ${\left\{F_1^{\left(i\right)}\right\}}_{i=1}^n={\left\{h_{w_1^1,b_1^1}\left(x^{\left(i\right)}\right)\right\}}_{i=1}^n,$ 其中， $h_{w_1^1,b_1^1}\left(x^{\left(i\right)}\right)=1/(1+e^{(-w_1^1{x}^{\left(i\right)}-b_1^1)});$ 第二隐藏层的输出特征具体为： ${\left\{F_2^{\left(i\right)}\right\}}_{i=1}^n={\left\{h_{w_1^2,b_1^2}\left(F_1^{\left(i\right)}\right)\right\}}_{i=1}^n,$ 其中， $h_{w_1^2,b_1^2}\left(F_1^{\left(i\right)}\right)=1/(1+e^{(-w_1^2{F}_1^{\left(i\right)}-b_1^2)});$

其中，n表示训练样本的个数。

S203、分别对第一隐藏层的输出特征表示、第二隐藏层的输出特征表示进行优化得到第一隐藏层与分类器层之间、第二隐藏层与分类器层之间的权重参数和偏置参数。

利用优化算法分别对第一隐藏层的输出特征表示、第二隐藏层的输出特征表示进行优化得到第一隐藏层与分类器层之间的权重参数和偏置参数第二隐藏层与分类器层之间的权重参数和偏置参数

步骤S201、S202、S203即为训练3个分类器的前期准备。具体的，在上述过程中，可以使用两个稀疏自编码器（即在自编码器的基础之上加上稀疏性限制）分别对两个隐藏层进行逐层的预训练。稀疏自编码器是一个包含输入层，隐藏层，输出层三层神经网络且输入层和输出层神经元的个数相等的无监督的学习模型，它的训练过程无需标签信息。该网络尝试逼近一个恒等函数，从而使输出值接近于输入值。训练稀疏自编码器的目的是为了得到样本的另一种特征表达，从而利用该特征来训练分类器。

假设无标签的训练样本集其中m是样本的个数，d是样本的维数。对于第一个稀疏自编码器，其输入层IL¹和隐藏层HL¹的神经元个数分别为IS¹和HS¹（输出层和输入层神经元的个数相等），隐藏层和输出层的激活函数h_W,b(x)为sigmoid函数，其中W和b分别表示网络的权重和偏置。将作为第一稀疏自编码器的输入，在随机初始化W和b之后，使用优化函数对如下稀疏自编码器的代价函数进行最小化：

其中，第一项为均方差项，第二项为权重衰减项（为了减小权重的幅度，防止过度拟合），第三项为稀疏惩罚项。h_W,b(x⁽ⁱ⁾)表示第i个样本在输出层的激活值，λ为权重衰减系数，n_l表示网络的层数，s_l表示第l层神经元的个数，表示第l层第i个神经元和第l+1层第j个神经元之间的权重，β为控制稀疏性惩罚因子的权重，ρ是稀疏性参数（通常是一个接近于0的较小值），（表示第i层第j个神经元的输出），是一种运算符，其运算规则为：

在最小化J(W,b)之后，便完成了第一隐藏层的预训练，得到输入层和隐藏层之间的参数和

设有标签的训练样本集为其中n是样本的个数，k是类别的个数。对其中的每个样本使用如下公式求得其隐藏层的激活值：

$h_{w_1^1,b_1^1}\left(x^{\left(i\right)}\right)=1/(1+e^{(-w_1^1{x}^{\left(i\right)}-b_1^1)}),---\left(2\right)$

那么便得到了训练样本的第一个特征表示，记为

接着，将作为分类器的训练样本，通过优化函数最小化其代价函数之后，得到分类器的参数和

对于第二个稀疏自编码器，它的输入层IL²神经元的个数为HS¹，隐藏层HL²神经元的个数为HS²。对无标签的训练样本集执行公式（2），得到集合将S作为第二个稀疏自编码器的输入，接下来同预训练第一个稀疏自编码器类似，便可得到第二个稀疏自编码器输入层和隐藏层之间的参数和

对训练样本的第一个特征表示利用如下公式求得其在第二个稀疏自编码器中隐藏层的激活值：

$h_{w_1^2,b_1^2}\left(F_1^{\left(i\right)}\right)=1/(1+e^{(-w_1^2{F}_1^{\left(i\right)}-b_1^2)}),---\left(3\right)$

那么便得到了训练样本的第二个特征表示，记为

最后，将作为Softmax分类器的训练样本，通过优化函数最小化其代价函数之后，得到分类器的参数和

S204、根据得到的各个参数和各输出特征表示训练出3个分类器。

在本步骤中，分别将作为神经网络原始输入层和第一隐藏层之间、第一隐藏层和分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第一分类器；

分别将作为神经网络原始输入层与第一隐藏层、第一隐藏层与第二隐藏层、第二隐藏层与分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第二分类器；

将第一隐藏层的输出特征表示与第二隐藏层的输出特征表示按列链接在一起得到融合特征，根据融合特征训练出第三分类器。

具体的，将输入层、多个隐藏层、分类器层连接在一起，形成一个深度网络。把预训练得到的最优参数，其中，第一分类器的最优参数为和第二分类器的最优参数为和作为该网络的初始值，对整个网络使用反向传播算法，结合优化算法进行微调，从而得到最终的最优参数。

反向传播算法是用来求解神经网络中代价函数对其参数的偏导数，进而为代价函数的优化提供前提。

优化算法是指最大化或最小化代价函数的方法，本申请中所用的优化算法为L-BFGS(Limited-memory Broyden-Fletcher-Goldfarb-Shanno)算法。

首先，微调第一个网络（浅层网络），该网络包含原始输入层IL¹，第一隐藏层HL¹和分类器层，对有标签训练样本微调的结果便是得到了第一分类器C1。具体做法是，将分别作为该网络IL¹层和HL¹层之间、HL¹层和分类器层之间的初始化参数，之后对该网络使用反向传播算法（需要注意的是，此时HL¹层的激活函数和分类器层的激活函数是不一样的），并用优化算法得到最终的第一分类器C1。

其次，微调第二个网络（深度网络），如图3所示，图3为本申请实施例一提供的一种深度网络示意图，该网络包含原始输入层IL¹，第一隐藏层HL¹，第二隐藏层HL²和分类器层，对有标签训练样本微调的结果便是得到了第二分类器C2。具体做法和微调第一个网络类似，先将 分别作为该深度网络IL¹层与HL¹层、HL¹层与HL²层、HL²层与分类器层之间的初始化参数，之后使用同微调第一层网络相同的方法得到最终的第二分类器C2。

将逐层训练中得到的n个有标签训练样本的两种特征表示（第一隐藏层的输出）和（第二隐藏层的输出），按列链接在一起得到融合特征 ${\left\{F^{\left(i\right)}\right\}}_{i=1}^n,$ 即 ${\left\{F^{\left(i\right)}\right\}}_{i=1}^n={[{\left\{F_1^{\left(i\right)}\right\}}_{i=1}^n,{\left\{F_2^{\left(i\right)}\right\}}_{i=1}^n]}^T,$ 将作为输入，直接用于训练一个分类器，从而得到第三分类器C3。

需要说明的是，训练得到的3个分类器中，第一分类器和第三分类器对应的均是浅层网络，只有第二分类器对应的是深度网络。

S103、根据3个分类器输出的预测结果进行判断，得出待测手写体数字样本的类别。

在本步骤中，比较第一分类器、第二分类器、第三分类器对待测手写体数字样本的预测结果，若至少2个分类器得出的是相同的预测结果，则判定待测手写体数字样本属于该预测结果的类别，否则，判定待测手写体数字样本属于第二分类器输出的预测结果的类别。

在本申请实施例中，对待测手写体数字样本识别的最终结果取决于多个预测结果的投票情况，在综合考虑三个分类器的预测结果后对最终结果做出投票，即，如果预测结果R1、R3相同，那么该样本就属于R1类或R3类，如果3个分类器得到的结果均不相同，即R1、R2、R3三者均不相同，则以R2作为最终预测结果。

由此可见，本申请实施例一提供的该种手写体数字识别方法，通过接收用户输入的待预测手写体数字样本，并通过预训练得到的3个分类器分别对该待测样本进行预测，并分别输出结果，比较3个分类器输出的结果，如果有至少2个分类器输出的预测结果相同，则判定待测手写体数字样本属于该预测结果的类别，否则，判定待测手写体数字样本属于第二分类器输出的预测结果的类别，从而完成对待测手写体数字样本的识别。手写体数字识别方法及系统，通过使用3个分类器对待测样本进行预测，在保证预测速度的基础上，很大程度上提高了手写体数字识别的识别率。

实施例二：

为了在保证预测速度的基础上，很大程度上提高了手写体数字识别的识别率，并能实现本发明实施例一所公开的手写体数字识别方法，本实施例公开如下手写体数字识别系统，图4为本发明实施例二公开的一种手写体数字识别系统示意图，参照图4所示，该系统包括：待测样本接收单元1、分类器训练单元2、待测样本预测单元3以及样本识别单元4，其中：

待测样本接收单元1，用于接收用户输入的待测手写体数字样本。

分别与待测样本接收单元1、分类器训练单元2连接的待测样本预测单元3，用于通过分类器训练单元2训练得到的第一分类器、第二分类器、第三分类器分别对待测手写体数字样本进行预测，并输出第一分类器、第二分类器、第三分类器对待测手写体数字样本的预测结果。

图5为本申请实施例二公开的一种分类器训练单元的结构示意图，如图5所示，分类器训练单元2具体包括：预训练单元201、输出特征表示单元202、输出特征表示优化单元203以及分类器单元204，其中：

预训练单元201，用于对神经网络的两个隐藏层进行逐层预训练，分别得到原始输入层和第一隐藏层之间的权重参数和偏置参数第一隐藏层与第二隐藏层之间的权重参数和偏置参数

具体的，预训练单元201具体包括：第一代价函数计算单元、第一代价函数优化单元、第二代价函数计算单元和第二代价函数优化单元，其中：

第一代价函数计算单元，用于将无标签的训练样本集作为输入，得到第一代价函数：

其中，m表示训练样本的个数，d表示训练样本的维数，h_W,b(x⁽ⁱ⁾)表示第i个训练样本在输出层的激活值，λ表示权重衰减系数，n_l表示网络的层数，s_l表示第l层网络神经元的个数，表示第l层网络第i个神经元和第l+1层网络第j个神经元之间的权重，β表示控制稀疏性惩罚因子的权重，ρ表示稀疏性参数，表示第i层第j个神经元的输出；

与第一代价函数计算单元相连的第一代价函数优化单元，用于通过优化算法最小化第一代价函数，完成第一隐藏层的训练，得到原始输入层和第一隐藏层之间的权重参数和偏置参数

第二代价函数计算单元，用于对无标签的训练样本集执行公式 $h_{w_1^1,b_1^1}\left(x^{\left(i\right)}\right)=1/(1+e^{(-w_1^1{x}^{\left(i\right)}-b_1^1)})$ 得到集合 $S={\left\{h_{w_1^1,b_1^1}\left(x^{\left(i\right)}\right)\right\}}_{i=1}^m$ 并将其作为输入，得到第二代价函数：

与第二代价函数计算单元相连的第二代价函数优化单元，用于通过优化算法最小化第二代价函数，完成第二隐藏层的训练，得到第一隐藏层与第二隐藏层之间的权重参数和偏置参数

与预训练单元201相连的输出特征表示单元202，用于根据预训练单元201得到的和得到第一隐藏层的输出特征表示，根据和以及第一隐藏层的输出特征表示得到第二隐藏层的输出特征表示；

与输出特征表示单元202相连的输出特征表示优化单元203，用于利用优化算法分别将第一隐藏层的输出特征表示、第二隐藏层的输出特征表示进行优化得到第一隐藏层与分类器层之间的权重参数和偏置参数第二隐藏层与分类器层之间的权重参数和偏置参数

分别与预训练单元201、输出特征表示单元202以及输出特征表示优化单元203相连的分类器单元204，用于分别将作为神经网络原始输入层和第一隐藏层之间、第一隐藏层和分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第一分类器；分别将 作为神经网络原始输入层与第一隐藏层、第一隐藏层与第二隐藏层、第二隐藏层与分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第二分类器；将第一隐藏层的输出特征表示与第二隐藏层的输出特征表示按列链接在一起得到融合特征，根据融合特征训练出第三分类器。

样本识别单元4与待测样本预测单元3相连，用于比较待测样本预测单元3输出的第一分类器、第二分类器、第三分类器对待测手写体数字样本的预测结果，若至少2个分类器得出的是相同的预测结果，则判定待测手写体数字样本属于该预测结果的类别，否则，判定待测手写体数字样本属于第二分类器输出的预测结果的类别。

由此可见，本申请实施例二提供该手写体数字识别系统，该系统包括：预训练单元、输出特征表示单元、输出特征表示优化单元以及分类器单元，通过接收用户输入的待预测手写体数字样本，并通过预训练得到的3个分类器分别对该待测样本进行预测，并分别输出结果，比较3个分类器输出的结果，如果有至少2个分类器输出的预测结果相同，则判定待测手写体数字样本属于该预测结果的类别，否则，判定待测手写体数字样本属于第二分类器输出的预测结果的类别，从而完成对待测手写体数字样本的识别。该手写体数字识别系统，待测样本预测单元通过使用分类器训练单元训练出的3个分类器对待测样本进行预测，在保证预测速度的基础上，很大程度上提高了手写体数字识别的识别率。

实施例三：

下面结合具体案例对本申请实施例提供的一种手写体数字识别方法及系统进行详细说明：

本申请实施例是在MNIST手写体数字数据集中进行的测试，MNIST是美国著名数据集NIST的子集，模式识别常用实验数据集，该数据集中有60000个训练样本和10000个测试样本，测试样本即为本申请实施例中所提到的用户输入的待测手写体数字样本。

对60000个训练样本，选取最开始的23000个样本对第一隐藏层和第二隐藏层进行无监督的特征学习，即m=23000；选取最后20000个样本对3个分类器进行训练，即n=20000。

网络的原始输入层大小IS¹=d=28*28，第一隐藏层和第二隐藏层的大小HS¹=HS²=100，对10类手写数字进行分类。稀疏自编码器网络的权重衰减稀疏λ=3e-3，控制稀疏性惩罚因子权重的β=3，稀疏性参数ρ=0.1。对分类器的训练迭代100次，对自编码器和微调网络的训练迭代400次。

具体实施步骤如下：

1）逐层预训练两个隐藏层，得到各层之间的参数。

在该步骤中，共有两个隐藏层，先使用23000个无标签训练样本预训练第一隐藏层HL¹，得到输入层IL¹和第一隐藏层HL¹之间的参数权重参数和偏置参数接着将这23000个无标签训练样本在第一隐藏层的输出作为第二隐藏层预训练的输入，从而得到第一隐藏层HL¹和第二隐藏层HL²之间的权重参数和偏置参数

2）根据预训练得到的参数，得到两个隐藏层的输出特征表示。

在本步骤中，使用和得到20000个有标签训练样本的第一个特征表示同样，使用和得到第一个特征表示的第二个特征表示

3）根据输出特征表示，得到分类器的参数。

在本步骤中，分类器的参数即为第一隐藏层与分类器层之间的权重参数和偏置参数第二隐藏层与分类器层之间的权重参数和偏置参数

具体的，将作为输入去预训练一个Softmax分类器，得到分类器的参数和再将作为输入去预训练一个Softmax分类器，得到分类器的参数和

4）根据得到的参数以及输出特征表示训练出三个分类器。

具体的，通过进行网络微调得出三个分类器。

首先，微调第一个网络，即浅层网络，该网络包含原始输入层IL¹、第一隐藏层HL¹和分类器层，对20000有标签训练样本微调的结果便是得到了第一分类器C1。具体做法是，将和分别作为该网络原始输入层IL¹和第一隐藏层HL¹之间，第一隐藏层HL¹和分类器层之间的初始化参数，然后对该网络使用反向传播算法，需要注意的是，此时第一隐藏层的激活函数和分类器层的激活函数是不一样的，最后使用优化算法得到第一分类器C1。

其次，微调第二个网络，即深度网络，如图3所示，该网络包含原始输入层IL¹，第一隐藏层HL¹，第二隐藏层HL²和分类器层，对20000个训练样本微调的结果便是得到了第二分类器C2。具体做法和微调第一个网络类似，先将和分别作为该深度网络IL¹层与HL¹层，HL¹层与HL²层，HL²层与分类器层之间的初始化参数，然后使用同微调第一层网络相同的方法得到第二分类器C2。

将逐层训练中得到的20000个有标签训练样本的两种特征表示即第一隐藏层的输出和即第二隐藏层的输出，按列链接在一起得到融合特征将作为输入，直接用于训练一个Softmax分类器，从而得到第三分类器C3。

5）将预训练得到的三个分类器分别对用户输入的待测样本进行预测，并分别输出预测结果，并判断得出最终的识别结果。

在本步骤中，对于10000个待预测的样本，分别使用训练得到的三个分类器C1、C2和C3进行预测，并得到三个相应的预测结果R1、R2和R3。如果预测结果R1、R2和R3中至少有两个结果相同，那么该待测样本属于该预测结果的类别，否则，判定待测手写体数字样本属于第二分类器C2输出的预测结果的类别。例如，R1和R3相同，那么该样本就属于R1类或R3类，如果R1、R2、R3均不相同，则判定该样本属于R2类。

本申请实施例结合具体案例对本申请实施例提供的一种手写体数字识别方法及系统进行的详细说明仅仅是一种优选方式，发明人可以根据自己的需求调整该详细说明中的执行步骤。

本发明的效果通过实验验证，对比K近邻算法，使用相同的20000个训练样本和10000个测试样本进行测试，得到的对手写体数字的识别率如下面表1所示：

K近邻算法	本发明
		95.92	96.56

表1对手写体数字的分类性能（识别率%）的比较

本发明得到的识别率明显高于K近邻算法得到的识别率，而且充分利用训练2个隐藏层深度网络得到的特征，大大提高了对手写体数字分类性能。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

以上仅是本申请的优选实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种手写体数字识别方法，其特征在于，包括：

接收用户输入的待测手写体数字样本；

通过训练得到的第一分类器、第二分类器、第三分类器分别对所述待测手写体数字样本进行预测，并输出第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果；

比较所述第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果，若至少2个分类器得出的是相同的预测结果，则判定所述待测手写体数字样本属于该预测结果的类别，否则，判定所述待测手写体数字样本属于第二分类器输出的预测结果的类别。

2.根据权利要求1所述的方法，其特征在于，所述第一分类器、第二分类器和第三分类器的训练，包括：

对神经网络的两个隐藏层进行逐层预训练，分别得到原始输入层和第一隐藏层之间的权重参数和偏置参数第一隐藏层与第二隐藏层之间的权重参数和偏置参数

根据所述和得到第一隐藏层的输出特征表示，根据所述和以及第一隐藏层的输出特征表示得到第二隐藏层的输出特征表示；

利用优化算法分别对所述第一隐藏层的输出特征表示、第二隐藏层的输出特征表示进行优化得到第一隐藏层与分类器层之间的权重参数和偏置参数第二隐藏层与分类器层之间的权重参数和偏置参数

分别将作为所述神经网络原始输入层和第一隐藏层之间、第一隐藏层和分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第一分类器；

分别将作为所述神经网络原始输入层与第一隐藏层、第一隐藏层与第二隐藏层、第二隐藏层与分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第二分类器；

将所述第一隐藏层的输出特征表示与所述第二隐藏层的输出特征表示按列链接在一起得到融合特征，根据所述融合特征训练出第三分类器。

3.根据权利要求2所述的方法，其特征在于，所述对神经网络的两个隐藏层进行逐层预训练包括：

将无标签的训练样本集作为输入，得到第一代价函数：

其中，m表示训练样本的个数，d表示训练样本的维数，h_W,b(x⁽ⁱ⁾)表示第i个训练样本在输出层的激活值，λ表示权重衰减系数，n_l表示网络的层数，s_l表示第l层网络神经元的个数，表示第l层网络第i个神经元和第l+1层网络第j个神经元之间的权重，β表示控制稀疏性惩罚因子的权重，ρ表示稀疏性参数，表示第i层第j个神经元的输出；

通过优化算法最小化所述第一代价函数，完成第一隐藏层的训练，得到原始输入层和第一隐藏层之间的权重参数和偏置参数

对所述无标签的训练样本集执行公式得到集合并将其作为输入，得到第二代价函数：

通过优化算法最小化所述第二代价函数，完成第二隐藏层的训练，得到第一隐藏层与第二隐藏层之间的权重参数和偏置参数

4.根据权利要求3所述的方法，其特征在于，所述权重衰减系数λ具体为3e-3，所述控制稀疏性惩罚因子的权重β具体为3，所述稀疏性参数ρ具体为0.1。

5.根据权利要求2所述的方法，其特征在于，所述第一隐藏层的输出特征表示具体为： ${\left\{F_1^{\left(i\right)}\right\}}_{i=1}^n={\left\{h_{w_1^1,b_1^1}\left(x^{\left(i\right)}\right)\right\}}_{i=1}^n,$ 其中， $h_{w_1^1,b_1^1}\left(x^{\left(i\right)}\right)=1/(1+e^{(-w_1^1{x}^{\left(i\right)}-b_1^1)});$ 第二隐藏层的输出特征具体为： ${\left\{F_2^{\left(i\right)}\right\}}_{i=1}^n={\left\{h_{w_1^2,b_1^2}\left(F_1^{\left(i\right)}\right)\right\}}_{i=1}^n,$ 其中， $h_{w_1^2,b_1^2}\left(F_1^{\left(i\right)}\right)=1/(1+e^{(-w_1^2{F}_1^{\left(i\right)}-b_1^2)});$

其中，n表示训练样本的个数。

6.根据权利要求1或2所述的方法，其特征在于，所述分类器为Softmax分类器。

7.根据权利要求2或3所述的方法，其特征在于，所述优化算法为L-BFGS算法。

8.一种手写体数字识别系统，其特征在于，包括：待测样本接收单元、分类器训练单元、待测样本预测单元以及样本识别单元，其中：

所述待测样本接收单元，用于接收用户输入的待测手写体数字样本；

分别与所述待测样本接收单元、分类器训练单元连接的待测样本预测单元，用于通过所述分类器训练单元训练得到的第一分类器、第二分类器、第三分类器分别对所述待测手写体数字样本进行预测，并输出第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果；

所述样本识别单元与所述待测样本预测单元相连，用于比较所述待测样本预测单元输出的第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果，若至少2个分类器得出的是相同的预测结果，则判定所述待测手写体数字样本属于该预测结果的类别，否则，判定所述待测手写体数字样本属于第二分类器输出的预测结果的类别。

9.根据权利要求8所述的系统，其特征在于，所述分类器训练单元具体包括：预训练单元、输出特征表示单元、输出特征表示优化单元以及分类器单元，其中：

所述预训练单元，用于对神经网络的两个隐藏层进行逐层预训练，分别得到原始输入层和第一隐藏层之间的权重参数和偏置参数第一隐藏层与第二隐藏层之间的权重参数和偏置参数

与所述预训练单元相连的输出特征表示单元，用于根据所述预训练单元得到的和得到第一隐藏层的输出特征表示，根据所述和以及第一隐藏层的输出特征表示得到第二隐藏层的输出特征表示；

与所述输出特征表示单元相连的输出特征表示优化单元，用于利用优化算法分别将所述第一隐藏层的输出特征表示、第二隐藏层的输出特征表示进行优化得到第一隐藏层与分类器层之间的权重参数和偏置参数第二隐藏层与分类器层之间的权重参数和偏置参数

分别与所述预训练单元、输出特征表示单元以及输出特征表示优化单元相连的分类器单元，用于分别将所述作为所述神经网络原始输入层和第一隐藏层之间、第一隐藏层和分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第一分类器；分别将 作为所述神经网络原始输入层与第一隐藏层、第一隐藏层与第二隐藏层、第二隐藏层与分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第二分类器；将所述第一隐藏层的输出特征表示与所述第二隐藏层的输出特征表示按列链接在一起得到融合特征，根据所述融合特征训练出第三分类器。

10.根据权利要求9所述的系统，其特征在于，所述预训练单元具体包括：第一代价函数计算单元、第一代价函数优化单元、第二代价函数计算单元和第二代价函数优化单元，其中：

所述第一代价函数计算单元，用于将无标签的训练样本集作为输入，得到第一代价函数：

其中，m表示训练样本的个数，d表示训练样本的维数，h_W,b(x⁽ⁱ⁾)表示第i个训练样本在输出层的激活值，λ表示权重衰减系数，n_l表示网络的层数，s_l表示第l层网络神经元的个数，表示第l层网络第i个神经元和第l+1层网络第j个神经元之间的权重，β表示控制稀疏性惩罚因子的权重，ρ表示稀疏性参数，表示第i层第j个神经元的输出；

与所述第一代价函数计算单元相连的第一代价函数优化单元，用于通过优化算法最小化所述第一代价函数，完成第一隐藏层的训练，得到原始输入层和第一隐藏层之间的权重参数和偏置参数

所述第二代价函数计算单元，用于对所述无标签的训练样本集执行公式 $h_{w_1^1,b_1^1}\left(x^{\left(i\right)}\right)=1/(1+e^{(-w_1^1{x}^{\left(i\right)}-b_1^1)})$ 得到集合 $S={\left\{h_{w_1^1,b_1^1}\left(x^{\left(i\right)}\right)\right\}}_{i=1}^m$ 并将其作为输入，得到第二代价函数：

与所述第二代价函数计算单元相连的第二代价函数优化单元，用于通过优化算法最小化所述第二代价函数，完成第二隐藏层的训练，得到第一隐藏层与第二隐藏层之间的权重参数和偏置参数