CN109165610B - 一种基于单形进化的手写体数字识别检测方法 - Google Patents

Abstract

本发明公开了一种基于单形进化的手写体数字识别检测方法，本发明使用基于单形邻域的全随机搜索方法减少算法控制参数，通过群体的多角色态保持粒子的多样性，避免算法陷入局部极值点。将该算法应用于径向基神经网络训练算法中，仿真实验结果表明，该算法训练的径向基神经网络相比于其他的算法不仅有效的提高了识别率，还减少了控制参数对学习性能的影响，算法的单控制参数特点提高了算法可靠性与普适性；算法的多角色态特点平衡了群体搜索的针对性与多样性，提高了训练算法的搜索效率与收敛性能，保证了算法在应用中的有效性。

Description

一种基于单形进化的手写体数字识别检测方法

技术领域

本发明涉及一种基于单形进化的手写体数字识别检测方法，属于模式识别和人工智能的范畴。

背景技术

手写数字识别有着极为广泛的应用前景。财务、税务、金融是手写数字识别大有可为的一领域。随着我国经济的迅速发展，每天等待处理的财务、税务报表、支票、付款单等越来越多。如果能把它们用计算机自动处理，无疑可以节约大量的时间、金钱和劳力。与大规模数据统计处理相比，在这个领域的应用难度更大，原因有：1、对识别的精度要求更高；2、处理的表格通常不止一种基于单形进化的手写体数字识别检测方法，所以一个系统应具有智能地同时处理若干种表格的能力；3、由于处理贯穿于整个日常工作之中，书写应尽量按一般习惯(如：不对书写者的写法做限定，书写时允许写连续的字串，而不是在固定的方格内书写)，这样对识别及预处理的核心算法要求也提高了。

发明内容

本发明提供了一种基于单形进化的手写体数字识别检测方法，以用于实现对手写体数字的识别。

本发明的技术方案是：一种基于单形进化的手写体数字识别检测方法，所述方法步骤如下：

Step1、读取MNIST数据库中手写体数字样本图片；

Step2、对手写体数字样本图片依次进行预处理；其中预处理包括：灰度化、二值化、去噪、归一化处理、图片细化；

Step3、对预处理后的手写体数字样本图片依次进行特征提取：将图片分别进行结构特征提取和统计特征提取，得到特征值；

Step4、对所有手写体数字样本图片相应的特征值分别进行归一化处理，将归一化处理后的手写体数字样本图片划分训练集和测试集；

Setp5、将m个粒子以均匀分布随机初始化神经网络权值、偏置和径向基函数中心；其中m个粒子指代训练集中m个训练样本；

Step6、输入训练集并根据Step5初始化的值，采用基于单形邻域与多角色进化策略的智能优化算法，搜索到全局最优位置，将搜索到的全局最优位置作为RBF神经网络权值、偏置和径向基函数中心，然后进行RBF神经网络的训练学习，得到训练好的基于单形进化的RBF神经网络；

Step7、将测试集送入已经训练好的基于单形进化的RBF神经网络，得到识别结果。

所述二值化采用整体阈值法，去噪采用滤波去噪，归一化处理具体为：先对图片进行压缩，然后采用最邻近插值法处理；图片细化采用像素领域分析法。

所述结构特征提取采用穿越密度特征，穿越密度特征采用整体贯穿法；统计特征提取采用粗网格特征。

本发明的有益效果是：本发明使用基于单形邻域的全随机搜索方法减少算法控制参数，通过群体的多角色态保持粒子的多样性，避免算法陷入局部极值点。单形进化优化算法中，通过单形随机搜索，在保证算法收敛的同时实现算法单控制参数，单算法参数提高了算法可靠性与普适性，利用群体的多角色态保持群体的多样性，平衡算法搜索精度和广度，使算法的收敛性能的方差、均值指标较好，体现了算法的稳定性和可靠性。将该算法应用于径向基神经网络训练算法中，仿真实验结果表明，该算法训练的径向基神经网络相比于其他的算法不仅有效的提高了识别率，还减少了控制参数对学习性能的影响，算法的单控制参数特点提高了算法可靠性与普适性；算法的多角色态特点平衡了群体搜索的针对性与多样性，提高了训练算法的搜索效率与收敛性能，保证了算法在应用中的有效性。

附图说明

图1是本发明总流程图；

图2是本发明步骤Step3详细流程图；

图3是本发明单形进化优化算法流程图；

图4是本发明基于单形进化的RBF神经网络应用于图像的流程图。

具体实施方式

下面结合附图和实施例，对本发明作进一步说明，但本发明的内容并不限于所述范围。

实施例1：如图1-图4所示，一种基于单形进化的手写体数字识别检测方法，所述方法的具体步骤如下：

Step1、读取MNIST数据库中手写体数字样本图片；

Step2、对手写体数字样本图片依次进行预处理；其中预处理包括：灰度化、二值化、去噪、归一化处理、图片细化；具体的：

(1)进行灰度化：对读取到的图片进行灰度处理，为下一步二值化做好准备工作。图像灰度化有各种不同的算法，本算法使用的是比较直接的一种就是给像素的rgb值各自一个加权系数，然后求和。

(2)图像的二值化可以根据下面的阈值来处理：假设一幅原始图像的像素值p(i，j)的取值范围为[0，t]，那么设有其阈值为T，0＜T＜t，则映射成新的二值图像的像素值P′(i，j)为：

典型的阈值选取算法有直方图法，熵阈值法等等，本发明采用整体阈值法：仅由像素点(i，j)的灰度值p(i，j)确定阈值的方法称为整体阈值选择法。一般地，如果图像灰度直方图呈现双峰，或者图像中背景灰度与目标灰度呈明显分离状，整体阈值法分割图像效果良好且速度快。

(3)去噪。具体算法描述如下：

(a)扫描整个图像的每个像素并取得此像素9邻域的像素值(9邻域表，如表1)；

(b)分别计算0和1的总数S0，S1；

(c)if S0≥5

x＝0；

if S1≥5

x＝1；

(d)重复步骤(a)直至不再改变。

表1 9邻域表

0	1	1
			0	x	0
0	1	0

(4)图片归一化：本发明主要是对图像进行大小的归一化，将字符图像归一化为标准尺度，便于处理与识别。具体算法如下：先得到原来字符的高度，跟系统要求的高度做比较，得出要变换的系数，然后根据得到的系数求得变换后应有得宽度。再得到宽度高度之后，把新图像里面的点按照插值的方法映射到原图像中。比例缩放所产生的图像中的像素可能在原图像中找不到相应的像素点，这样必须进行插值处理。在本发明中，主要是对数字图像进行压缩，直接采用了最邻近插值法。

(5)细化

本发明采用了像素领域分析法的细化算法，其算法如下：

1)对图像以每3×3大小划分子网格，对每个子网格进行两次操作，其中每个3×3子网格满足如下矩阵形式：

2)在第一次操作时，当且仅当条件G₁，G₂和G₃被全部满足时，则删除中心像素p(即让p＝0)。

3)在第二次操作时，当且仅当条件G₁，G₂和G₄被全部满足时，则删除中心像素p(即让p＝0)。

条件G₁为：X_h(p)＝1，其中，

其中，X_h(p)为围绕p点的8领域的映射值。

条件G₂为：2≤min{n₁(p)，n₂(p)}≤3，其中，

条件G₃为：

条件G₄为

对图像每个像素都进一次上述运算，视为完成一次细化运算，然后重复迭代这个细化运算，直到图像不再变化为止，这时得到的图像中字符笔画均为单像素点，并良好保留了字符的结构信息。

Step3、对预处理后的手写体数字样本图片依次进行特征提取：将图片分别进行结构特征提取和统计特征提取，得到特征值；其中结构特征提取，会提取8个特征值，统计特征提取，会提取16个特征值。

结构特征提取方法：穿越密度(次数)特征是取得笔划密度的一个通用算法，其基本思想是用一组或几组与水平成0度、30度、45度或者60度等的平行线，贯穿字符，提取字符与平行线的交点信息作为识别的依据。该算法由于涉及字符拓扑结构方面的信息，所以对字符旋转缩放和变形有较强的容忍度。以字符重心为坐标原点，分别从坐标原点以0、45、90、135、180、-135、-90、-45度方向引出8条线穿越字符，以各个方向穿越字符的次数组成向量作为该字符的径向笔划密度特征。本发明采用的是整体贯穿法，该方法就是间隔一定距离从垂直和水平方向上进行整体穿越，由于本发明通过归一化处理后的图像的大小是16×16的，因此本发明采用方法是间隔4个像素进行从水平和垂直方向进行穿越，从而得到3行、3列上(共6个)的穿越次数统计。与水平成45、135度角的两条穿越线，将这八个数据作为特征向量。

统计特征提取采用粗网格特征。粗网格特征是一组注重字符图像的整体的分布特征，此种特征对噪声具有极强的抑制能力。一般来说，虽然手写体数字的书写风格千变万化，但是数字笔划的分布是有一定的规律的。由于字符的笔划具有比较固定的总体分布状况，从特征选择的质量来讲，不同数字的特征向量在特征空间中的分布是比较分散的，即特征空间中不同类的类间距离是比较大的。

本发明采用的粗网格特征提取的方法是：把数字点阵分成几个局部小区域，并把每个小区域上的点阵密度作为描述特征，即统计每个小区域中图像的像素的个数作为特征数据。本发明对原始图像进行归一化处理后的图像是16×16的点阵，将之划分为大小4×4的小区域，共计16个。

Step4、对所有手写体数字样本图片相应的特征值分别进行归一化处理(即24组特征值分别进行归一化处理，每组的个数为手写体数字样本图片的个数)，将归一化处理后的手写体数字样本图片划分训练集和测试集(即以图片携带的特征值作为划分对象，如有10张图片，若将8张作为训练集，指的是将8张图片对应归一化的特征值作为训练集)；

Setp5、将m个粒子以均匀分布随机初始化神经网络权值、偏置和径向基函数中心；其中m个粒子指代训练集中m个训练样本；

Step6、输入训练集并根据Step5初始化的值，采用基于单形邻域与多角色进化策略的智能优化算法，搜索到全局最优位置，将搜索到的全局最优位置作为RBF神经网络权值、偏置和径向基函数中心，然后进行RBF神经网络的训练学习，得到训练好的基于单形进化的RBF神经网络；

基于单形邻域与多角色进化策略的智能优化算法(单形进化优化算法，SSSE,surface-simplex swarm evolution)。这一新型的智能优化算法实现的基本原理是：基于随机选取二维子空间，利用定义的粒子单形邻域，实现单形凸集逼近搜索，提高粒子勘探局部区域与算法收敛的性能。同时，在搜索策略中引入粒子多角色态，实现粒子多样化，提高搜索的全局性。

在单形进化智能优化算法中对搜索空间粒子进行初始化随机定位后，群体中粒子收敛到最优位置的具体步骤如下：

(1)对于群体中的每个粒子i，在搜索空间Rⁿ中，以均匀分布方式随机选取两个维度p，q，构建搜索子空间R²。在此搜索子空间，群体中每个粒子利用单形邻域搜索算子，定义如下：

其中，

是粒子i在第n+1次迭代中，在搜索子空间R²上搜索到的四个新位置；

是粒子i在第n次迭代中，在搜索子空间R²上搜索到的原位置；

是粒子j在第n次迭代中，在搜索子空间R²上搜索到的原位置；

是群中最优粒子o在第n次迭代中，在搜索子空间R²上搜索到的最优位置；

是以位置

为中心，位置

的对称位置；

是以位置

为中心，位置

的对称位置。r₁₁，r₁₂，r₂₁，r₂₂，r₃₁，r₃₂，r₄₁和r₄₂是8个在区间[0,1]上以均匀分布方式产生的随机数.然后每个粒子利用单形邻域搜索算子在搜索子空间R²上搜索到的四个新位置。根据在搜索子空间R²上搜索到的这4个新中心角色位置，在保持它们在其它维度上位置不变的情况下，更新每个粒子在Rⁿ上的4个新中心角色位置。

(2)根据适应度函数f(x)评价每个粒子的优劣，确定每个粒子的三个角色态：中心角色态，开采角色态，勘探角色态，定义分别如下：

中心角色态——以贪婪性为原则，定义为每个粒子搜索到的最优位置：X_ic(n+1)。

开采角色态——以最近性为原则，定义为每个粒子搜索到的最新位置，即：

X_il(n+1)＝{X_ic1(n+1)，X_ic2(n+1)，X_ic3(n+1)，X_ic4(n+1)}

勘探角色态——以均匀分布的随机性为原则，定义为每个粒子以均匀分布在搜索空间随机定位的位置：X_ig(n+1)。

(3)根据误差函数评价粒子新位置的优劣，确定每个粒子的三个角色位置；最后记录本迭代周期中最优粒子及其最优位置，结束本迭代搜索周期，启动下一个迭代搜索周期，直至粒子收敛到全局最优点位置。

由于本发明所提出的基于单形邻域与多角色进化策略的算法(SSSE)是一种全新的智能优化算法，为了检验本算法精度，选择了一些传统智能优化算法做出了对比，如表2所示。

表2算法性能比较

结合表2可得：

1、在算法控制参数方面，该算法只有一个控制参数——群体数量。相较其它经典与改进的智能优化算法有较多控制参数，而且其性能与其控制参数相关，本算法体现了较强优势。

2、在算法可靠性方面，在多次不同随机初始化下，本算法均未出现偏离全局最优点的例外。如表2所示，相较其它经典的改进智能优化算法在不同随机初始化下会出现例外性收敛，表明该算法收敛性能的指标较好，收敛性较稳定，有较高的可靠性。

实验结果

对提出的一种基于单形进化的手写体数字识别检测方法的仿真实验经过多次重复实验，根据识别结果，统计输出类别平均识别率。实验结果识别率为多次实验所得的平均值。

表3显示了一些算法的识别率。

表3各算法识别率的比较

经过以上的数据对比，得出如下分析：

本文提出的该学习算法选取群体数量为控制参数，而其他的识别方法都依赖多个参数的选择，如基于多小波神经网络簇的数字识别的识别方法，其建议使用低于中间级的壳系数，但是其多小波壳系数也与尺度和原始数始点的参数有关，其控制参数为多个；而量子卷积神经网络的控制参数也为多个；经对比实验可知，本发明提出的识别方法在选用更少的控制参数的情况下，其识别率还要高于另外两种方法。

本发明的工作原理是：

基于单形进化优化算法的良好性能，及RBF算法能够以任意精度逼近任意的连续函数。将此算法引入到RBF神经网络的学习中，对RBF神经网络进行训练。

在本发明中，采用的RBF网络依然是个典型的有导师的学习网络，其学习过程包括两个部分：(1)确定隐含层每一个RBF函数的中心C_i；(2)确定神经网络权值和偏置。

本发明中RBF神经网络中神经元是一个以gaussian函数为径向基函数的神经元，即高斯函数：

为高斯的带宽(width)

其宽度为：

式中，d_max表示为选择中心两两之间的距离最大值，σ_i(i＝1，2，…，I)表示1个的方差，I的取值决定于的特征向量数据的个数。

基于单形进化智能优化算法的RBF神经网络训练算法的步骤如下：

(1)对数据进行预处理。

(2)在训练之前，需设M个特征向量，N个输出神经元个数，训练集样本输入矩阵A，输出矩阵T。

其中，a_ij表示第j个训练样本的第i个输入变量，t_ij表示第j个训练样本的第i个输处变量；Q为训练集样本数。

(3)设置神经网络权值、偏置、径向基函数中心的搜索边界。其中隐含层与输出层间的连接权值为：

其中，w_ij表示第j个训练样本隐含层神经元与第i个输出层神经元间的连接权值。

(4)定义本发明中RBF神经网络误差函数为：

式中，p代表训练集输入样本个数(p＝1，2，...，m)，r代表输出神经元个数(r＝1，2，...，n)；

表示第p个样本的第r个神经元的期望输出，y_p，r代表第p个样本的第r个神经元的实际输出。当|ε(n+1)-ε(n)|＜δ，其中ε(n)表示第n个误差值；δ表示期望的最小误差，在本发明中定义其为0.01。

(5)将m个粒子基于均匀分布对神经网络权值、偏置和径向基函数中心进行初始化随机定位；

其中，W_i，l(0)是第i个粒子在Rⁿ搜索子空间第l维度上神经网络权值的位置，

和W分别是搜索子空间在第l个维度上神经网络权值的上界和下界；B_i，l(0)是第i个粒子在Rⁿ搜索子空间第l维度上偏置的位置，

和B分别是搜索子空间在第l个维度上偏置的上界和下界；C_i，l(0)是第i个粒子在Rⁿ搜索子空间第l维度上径向基函数中心的位置，

和C分别是搜索子空间在第l个维度上径向基函数中心的上界和下界；rand(0，1)是在区间[0，1]上均匀分布的随机数；

(6)输入训练样本；

(7)对于群体中的每个粒子i，利用单形领域搜索算子搜索新的位置，搜索到的4个新中心角色位置，神经网络权值：

偏置

径向基函数中心

并保持其在其它维度上的位置不变，更新每个粒子在Rⁿ上的4个新中心角色位置；

(8)根据所定义的误差函数J评价每个粒子的优劣，确定每个粒子的三个角色态；

(9)记录群体中最优粒子的位置：W_oc(n+1)、B_oc(n+1)、C_oc(n+1)，然后判断误差函数是否还继续收敛，如果不收敛则返回第(6)步，直至群体中粒子收敛到最优位置，即群体中最优粒子的位置稳定不变到给定精度；否则结束搜索周期；

(10)将粒子搜索到的全局最优位置作为RBF神经网络权值、偏置和径向基函数中心的训练结果；

(11)将测试样本送入已经训练好的神经网络；并得到测试样本的分类结果。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (3)

1.一种基于单形进化的手写体数字识别检测方法，其特征在于：所述方法步骤如下：

Step1、读取MNIST数据库中手写体数字样本图片；

Step2、对手写体数字样本图片依次进行预处理；其中预处理包括：灰度化、二值化、去噪、归一化处理、图片细化；

Step3、对预处理后的手写体数字样本图片依次进行特征提取：将图片分别进行结构特征提取和统计特征提取，得到特征值；

Step4、对所有手写体数字样本图片相应的特征值分别进行归一化处理，将归一化处理后的手写体数字样本图片划分训练集和测试集；

Setp5、将m个粒子以均匀分布随机初始化神经网络权值、偏置和径向基函数中心；其中m个粒子指代训练集中m个训练样本；

Step6、输入训练集并根据Step5初始化的值，采用基于单形邻域与多角色进化策略的智能优化算法，搜索到全局最优位置，将搜索到的全局最优位置作为RBF神经网络权值、偏置和径向基函数中心，然后进行RBF神经网络的训练学习，得到训练好的基于单形进化的RBF神经网络；

Step7、将测试集送入已经训练好的基于单形进化的RBF神经网络，得到识别结果。

2.根据权利要求1所述的基于单形进化的手写体数字识别检测方法，其特征在于：所述二值化采用整体阈值法，去噪采用滤波去噪，归一化处理具体为：先对图片进行压缩，然后采用最邻近插值法处理；图片细化采用像素领域分析法。

3.根据权利要求1所述的基于单形进化的手写体数字识别检测方法，其特征在于：所述结构特征提取采用穿越密度特征，穿越密度特征采用整体贯穿法；统计特征提取采用粗网格特征。

Images