CN108805221A - 手写数字识别方法及装置 - Google Patents

Abstract

本申请提出手写数字识别方法。包括：A、确定神经网络的拓扑结构；获取神经网络的手写数字训练样本；根据设定的GWO算法的狼群规模N，随机产生N匹狼，每匹狼的位置对应神经网络模型的一组权值和阈值；B、对于每匹狼，从手写数字训练样本中依次选择训练样本，对该匹狼当前对应的神经网络模型进行训练；当每匹狼对应的本轮神经网络训练结束时，计算每匹狼对应的适应度；根据适应度最高的三匹狼的位置信息采用GWO算法更新其它狼的位置信息；C、判断是否满足GWO算法的结束条件，若是，将当前适应度最高的狼对应的BP神经网络模型作为最优神经网络起始模型继续进行训练；否则，返回步骤B。本申请提高了手写数字识别的准确度。

Description

手写数字识别方法及装置

技术领域

本发明涉及数字识别技术领域，尤其涉及手写数字识别方法及装置。

背景技术

手写数字识别技术是一种可以让计算机自动辨识出手写的阿拉伯数字的技术。手写数字识别作为图像识别应用中的重要分支，在生产生活中发挥着越来越重要的作用，手写数字识别可以读取邮政编码信息、银行支票信息、账单、发票等各种单据信息。同时这种技术也可以轻而易举地应用到车牌识别、身份证号码识别等应用领域。

手写识别技术的主要难点在于：第一，某些数字型差不大，让机器区分这些数字存在难度；第二，手写数字虽然只有10种，但同一数字不同人写出来的却千差万别，由于书写者的因素，字符图像的随意性很大，如手写体的倾斜度、笔画的粗细、局部扭曲变形等。

目前手写字体识别的方法有很多，如神经网络、支持向量机、逻辑特征法等，其中应用最多的是神经网络。对手写数字进行图像处理后，将图像像素点经处理后作为神经网络的输入。

采用神经网络识别手写数字时，神经网络的权值和阈值不易训练，网络易陷入局部极值，导致手写数字识别模型训练时间长、识别精度低。

发明内容

本发明提供手写数字识别方法及装置，以提高手写数字识别的准确度。

本发明的技术方案是这样实现的：

一种手写数字识别方法，该方法包括：

A、确定神经网络的拓扑结构；获取神经网络的手写数字训练样本；设定灰狼优化GWO算法的狼群规模N；根据设定的GWO算法的狼群规模N，随机产生N匹狼，其中，每匹狼的位置对应神经网络模型的一组权值和阈值；

B、对于每匹狼，从所述手写数字训练样本中依次选择训练样本，对该匹狼当前对应的神经网络模型采用选择的训练样本进行训练；当每匹狼对应的本轮神经网络训练结束时，计算本轮神经网络训练每匹狼对应的适应度；当计算得到所有狼的适应度后，选择适应度最高的三匹狼，根据该三匹狼的位置信息采用GWO算法更新其它狼的位置信息；

C、判断是否满足GWO算法的结束条件，若是，将当前适应度最高的狼对应的神经网络模型作为最优神经网络起始模型，在该最优神经网络起始模型的基础上采用手写数字训练样本进行训练，将训练得到的神经网络模型作为最终使用的用于识别手写数字的神经网络模型；否则，返回步骤B。

所述计算本轮神经网络训练每匹狼对应的适应度为：

对于每匹狼，将验证样本集中的验证样本依次输入对该匹狼当前神经网络训练结束得到的神经网络模型中，根据神经网络的输出采用下述公式得到本轮神经网络训练该匹狼对应的模型损失值loos(t):

其中，y为神经网络神经元的期望输出值，z为神经网络神经元的实际输出值，K是验证样本集的大小，X_k表示第k个验证样本，t表示GWO算法的迭代次数，t为大于0的整数；

且，一匹狼对应的模型损失值越小，表示该匹狼对应的适应度越高。

所述根据该三匹狼的位置信息采用GWO算法更新其它狼的位置信息包括：

计算：

其中，α、β、δ代表适应度最高的三匹狼，是α狼的当前位置信息，是β狼的当前位置信息，是δ狼的当前位置信息，是其它狼中的任一匹狼ω的当前位置信息，t为GWO算法的迭代次数，t为大于0的整数；

计算：

其中，为优化后的ω狼的位置信息， 是系数向量，m＝1、2、3的表达式如下所示：

其中，系数随着GWO算法迭代次数t的增加从2到0线性递减，和是[0，1]内的随机向量。

所述GWO算法的结束条件为：

GWO算法的迭代次数达到设定的最大迭代次数，或/和适应度最高的α狼的适应度达到预设适应度阈值。

所述每匹狼的位置信息的维度Dim为：

其中，l_th是神经网络第th层内的神经元个数，Th为神经网络的总层数。

所述将当前适应度最高的狼对应的神经网络模型作为最优神经网络起始模型进一步包括：

根据如下公式确定当前适应度最高的α狼的位置信息与最优神经网络起始模型中的权值和阈值的对应关系：

其中：

W_i是神经网络的第i层与第i+1层之间的权值，B_i是神经网络的第i层与第i+1层之间的阈值，是α狼的位置信息，l_i是神经网络的第i层神经元的个数。

所述神经网络为BP神经网络。

本申请通过GWO算法优化神经网络模型，避免了神经网络陷入局部最优，缩短了手写数字识别模型的训练时间，提高了手写数字识别的准确度。

附图说明

图1为本申请一实施例提供的手写数字识别方法流程图；

图2为本申请另一实施例提供的手写数字识别方法流程图；

图3为GWO算法中2维空间下狼的位置向量和下一步可能移到的位置示意图；

图4为GWO算法中狼群位置更新示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本申请一实施例提供的手写数字识别方法流程图，其具体步骤如下：

步骤101：确定神经网络的拓扑结构；获取神经网络的手写数字训练样本；设定灰狼优化(GWO，Grey Wolf Optimizer)算法的狼群规模N。

N为大于3的整数。

步骤102：根据设定的GWO算法的狼群规模N，随机产生N匹狼，其中，每匹狼的位置对应神经网络模型的一组权值和阈值。步骤103：对于每匹狼，从手写数字训练样本中依次选择训练样本，对该匹狼当前对应的神经网络模型采用选择的训练样本进行训练。

步骤104：当每匹狼对应的本轮神经网络训练结束时，计算本轮神经网络训练每匹狼对应的适应度。

步骤105：当计算得到所有狼的适应度后，选择适应度最高的三匹狼，根据该三匹狼的位置信息采用GWO算法更新其它狼的位置信息。

步骤106：判断是否满足GWO算法的结束条件，若是，执行步骤107；否则，返回步骤103。

步骤107：将当前适应度最高的狼对应的神经网络模型作为最优神经网络起始模型，在该最优神经网络起始模型的基础上采用手写数字训练样本对该模型进行训练，将训练得到的神经网络模型作为最终使用的用于识别手写数字的神经网络模型。

在实际应用中，本申请中的神经网络可以为BP神经网络。

图2为本申请另一实施例提供的手写数字识别方法流程图，其具体步骤如下：

步骤201：确定BP神经网络的拓扑结构；获取BP神经网络的手写数字训练样本；设定GWO算法的狼群规模N以及GWO算法的最大迭代次数T。

N为大于3的整数。

手写数字训练样本共10种，0～9中的每个数字对应一种训练样本。

步骤202：随机产生N匹狼，每匹狼的位置对应BP神经网络模型的一组权值和阈值。

即每匹狼的初始位置信息为由一个随机生成的BP神经网络模型的所有权值和所有阈值组成的向量。

例如：BP神经网络共包含p个权值和q个阈值，则每匹狼的位置信息就是一个由该狼对应的BP神经网络模型的p个权值和q个阈值依次排列组成的向量，p、q为大于1的整数。

具体地，每匹狼的位置维度大小Dim，即上述向量中包含的元素个数p+q＝Dim可表示为：

其中，l_th是BP神经网络第th层内的神经元个数，Th为BP神经网络的总层数(包括输入层、隐藏层和输出层)。

步骤203：对于每匹狼，从BP神经网络的手写数字训练样本中依次选择一个训练样本，对该匹狼当前对应的BP神经网络模型采用选择的训练样本进行训练。

需要说明的是，每匹狼对应一个BP神经网络模型，需要采用相同的训练样本顺序对每匹狼当前对应的BP神经网络模型进行训练。

步骤204：对于每匹狼对应的训练过程，当一次训练完毕时，判断是否满足BP神经网络训练的结束条件，若满足，执行步骤205；否则，返回步骤203。

BP神经网络训练的结束条件的设定可以与现有技术相同，例如：BP神经网络训练的迭代次数到达预设次数，或/和，BP神经网络训练结果的模型损失loos(t)(计算公式见下述公式(2))小于或等于预设loos(t)阈值，等等。

步骤205：根据该匹狼对应的训练结果，计算该匹狼对应的预测精度，即适应度。

该匹狼对应的预测精度(即适应度)可以该匹狼对应的当前BP神经网络训练结果的模型损失loos(t)来衡量，具体地：

将验证样本集中的验证样本依次输入对该匹狼当前BP神经网络训练结束得到的BP神经网络模型中，根据BP神经网络的输出采用下述公式(2)得到loos(t)。

其中，验证样本集为预先设定好的。

其中，y为BP神经网络神经元的期望输出值，z为BP神经网络神经元的实际输出值，K是验证样本集的大小，K为大于0的整数，X_k表示第k个验证样本，k为整数且0<k≤K，t表示GWO算法的迭代次数，t为大于0的整数。

loos(t)的值越小，表明该匹狼的预测精度(即适应度)越高。

步骤206：当计算得到所有狼的适应度后，选择适应度最高的三匹狼，设该三匹狼依次为α、β和δ，保留该三匹狼训练后得到的新位置信息(即训练后得到的新BP神经网络模型的所有权值和所有阈值组成的向量)以及适应度。

步骤207：根据如下公式(3)-(9)更新其它狼(即ω类狼)的位置信息，即更新其它狼训练后得到的新BP神经网络模型的所有权值和所有阈值组成的向量。

本步骤的具体实现如下：

首先计算：

其中，是α狼的当前位置信息，是β狼的当前位置信息，是δ狼的当前位置信息，是ω类狼中的任一匹狼的当前位置信息。t为GWO算法的迭代次数，t为大于0的整数。

可见，公式(3)、(4)和(5)分别计算的是ω狼和α、β和δ狼之间的距离和

计算出ω狼和α、β和δ狼之间的距离后，通过如下公式(6)～(9)优化ω狼的当前位置信息：

其中，为优化后的ω狼的位置信息， 是系数向量，和(m＝1、2、3)的表达式如下所示：

其中，系数随着GWO算法迭代次数t的增加从2到0线性递减，和是[0，1]内的随机向量。

步骤208：判断是否满足GWO算法的结束条件，若是，执行步骤209，否则，返回步骤203。

GWO算法的结束条件可以是GWO算法的迭代次数t＝设定的最大迭代次数T，或/和α狼的适应度达到预设适应度阈值如：α狼对应的模型损失值loos(t)小于或等于预设模型损失阈值。

步骤209：将当前α狼的位置信息作为最优BP神经网络起始模型。

α狼的位置信息与最优BP神经网络起始模型中的权值和阈值的对应关系如下：

其中：

W_i是BP神经网络的第i层与第i+1层之间的权值，B_i是BP神经网络的第i层与第i+1层之间的阈值，是α狼的位置信息，l_i是BP神经网络的第i层神经元的个数。

上述公式(12)、(13)的含义分别是，中的第J+1到第J+l_i×l_i+1个元素为BP神经网络的第i层与第i+1层之间的权值W_i，中的第J+l_i×l_i+1+1到第J+l_i×l_i+1+l_i+1个元素为BP神经网络的第i层与第i+1层之间的阈值B_i。

步骤210：在该最优BP神经网络起始模型的基础上，采用手写数字训练样本对该模型进行训练，将训练得到的BP神经网络模型作为最终使用的BP神经网络模型，采用该BP神经网络模型对手写数字进行识别。

为方便理解本发明，以下对GWO算法进行简要说明：

GWO算法是根据自然界中大灰狼的领导等级制和捕猎机理提出的。为了模拟狼群内部的领导等级制将整个狼群划分为四种类型的狼:α、β、δ和ω。根据狼群的捕猎机理将捕猎过程划分为三个阶段：搜索猎物，包围猎物，进攻猎物。在四组狼中α、β、δ被看作狼群中表现最好的前三只狼，他们引导其它的狼(ω狼)趋向于搜索空间中最好的区域。在整个迭代搜索过程中用α、β、δ三种狼来优化ω狼的位置，狼群按照如下公式更新它们的位置：

其中，和是系数向量，是猎物的位置向量，为狼的位置向量。

和的表达式如下所示：

其中，系数随着算法迭代次数的增加从2到0线性递减。和是[0，1]内的随机向量。

位置更新公式(14)和(15)的含义如图3所示。从图3可以看出位于(X,Y)位置处的狼可以根据公式(14)和(15)在猎物周围重新安置自己的位置。虽然图3只展示了狼可能移动到的7个位置，通过调整随机参数和可以允许狼移动到猎物周围连续空间里的任何一个位置。

在GWO算法中，总是假设α、β和δ狼所处的位置很可能是猎物(最优解)的位置。在寻优过程中，目前所获得的最好的前三个解分别假设为α、β和δ狼的位置，然后其他的狼被视为ω狼，ω狼根据α、β和δ三只首领狼的位置重新定位自己的位置。采用以下公式来调整ω狼的位置，狼的位置更新示意图如图4所示。

其中，是α狼的位置向量，是β狼的位置向量，是δ狼的位置向量，表示当前解的位置。公式(18)、(19)和(20)是由公式(14)而来的，分别计算的是当前解位置和α、β和δ之间的距离，。计算出它们之间的距离后，当前解的最后位置按如下公式(21)～(24)计算。

其中，公式(21)～(23)是由公式(15)而来的。

可以看出，公式(18)、(19)和(20)分别定义了ω狼趋向于α、β、δ狼的距离，公式(21)～(24)定义了ω狼的最终位置。

本申请的有益技术效果如下：

本申请通过GWO算法优化神经网络模型，避免了神经网络陷入局部最优，缩短了手写数字识别模型的训练时间，提高了手写数字识别的准确度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (7)

1.一种手写数字识别方法，其特征在于，该方法包括：

A、确定神经网络的拓扑结构；获取神经网络的手写数字训练样本；设定灰狼优化GWO算法的狼群规模N；根据设定的GWO算法的狼群规模N，随机产生N匹狼，其中，每匹狼的位置对应神经网络模型的一组权值和阈值；

B、对于每匹狼，从所述手写数字训练样本中依次选择训练样本，对该匹狼当前对应的神经网络模型采用选择的训练样本进行训练；当每匹狼对应的本轮神经网络训练结束时，计算本轮神经网络训练每匹狼对应的适应度；当计算得到所有狼的适应度后，选择适应度最高的三匹狼，根据该三匹狼的位置信息采用GWO算法更新其它狼的位置信息；

C、判断是否满足GWO算法的结束条件，若是，将当前适应度最高的狼对应的神经网络模型作为最优神经网络起始模型，在该最优神经网络起始模型的基础上采用手写数字训练样本进行训练，将训练得到的神经网络模型作为最终使用的用于识别手写数字的神经网络模型；否则，返回步骤B。

2.根据权利要求1所述的方法，其特征在于，所述计算本轮神经网络训练每匹狼对应的适应度为：

对于每匹狼，将验证样本集中的验证样本依次输入对该匹狼当前神经网络训练结束得到的神经网络模型中，根据神经网络的输出采用下述公式得到本轮神经网络训练该匹狼对应的模型损失值loos(t):

其中，y为神经网络神经元的期望输出值，z为神经网络神经元的实际输出值，K是验证样本集的大小，X_k表示第k个验证样本，t表示GWO算法的迭代次数，t为大于0的整数；

且，一匹狼对应的模型损失值越小，表示该匹狼对应的适应度越高。

3.根据权利要求1所述的方法，其特征在于，所述根据该三匹狼的位置信息采用GWO算法更新其它狼的位置信息包括：

计算：

其中，α、β、δ代表适应度最高的三匹狼，是α狼的当前位置信息，是β狼的当前位置信息，是δ狼的当前位置信息，是其它狼中的任一匹狼ω的当前位置信息，t为GWO算法的迭代次数，t为大于0的整数；

计算：

其中，为优化后的ω狼的位置信息， 是系数向量，和m＝1、2、3的表达式如下所示：

其中，系数随着GWO算法迭代次数t的增加从2到0线性递减，和是[0，1]内的随机向量。

4.根据权利要求1所述的方法，其特征在于，所述GWO算法的结束条件为：

GWO算法的迭代次数达到设定的最大迭代次数，或/和适应度最高的α狼的适应度达到预设适应度阈值。

5.根据权利要求1所述的方法，其特征在于，所述每匹狼的位置信息的维度Dim为：

其中，l_th是神经网络第th层内的神经元个数，Th为神经网络的总层数。

6.根据权利要求1所述的方法，其特征在于，所述将当前适应度最高的狼对应的神经网络模型作为最优神经网络起始模型进一步包括：

根据如下公式确定当前适应度最高的α狼的位置信息与最优神经网络起始模型中的权值和阈值的对应关系：

其中：

W_i是神经网络的第i层与第i+1层之间的权值，B_i是神经网络的第i层与第i+1层之间的阈值，是α狼的位置信息，l_i是神经网络的第i层神经元的个数。

7.根据权利要求1至6任一所述的方法，其特征在于，所述神经网络为BP神经网络。