CN105320961A - 基于卷积神经网络和支持向量机的手写数字识别方法 - Google Patents

Abstract

本发明请求保护一种基于卷积神经网络和支持向量机的手写数字识别方法，该方法将卷积神经网络模型和支持向量机模型进行有机结合。结合卷积神经网络和支持向量机的手写数字识别模型能深度地描述样本数据和期望数据的相关性，能从原始的数据中自动地学习图像特征，具有很好的决策平面，对数字模式分类的区分能力很强。本发明简单且易于实现，手写数字识别效果很好。

Description

基于卷积神经网络和支持向量机的手写数字识别方法

技术领域

本发明涉及一种结合CNN和SVM的手写数字识别方法，尤其涉及一种结合卷积神经网络和支持向量机的手写数字识别方法。

背景技术

手写数字识别作为图像识别应用中的重要分支，其在生产生活中的重要性也逐渐体现出来。手写数字识别可以用于读取银行支票信息、信封邮政编码信息、海关等需要处理大量字符信息录入的场合。因此人们对计算机所建立的手写数字识别系统的要求也不断提高，手写数字识别系统要完成识别阿拉伯数字的任务，先决条件是构建手写数字识别模型，所以手写数字识别方法研究中最基础的问题是手写数字的特征提取及分类。

目前解决手写数字识别的方法有很多，比较常用的是卷积神经网络方法和支持向量机方法等。卷积神经网络方法由于输入图像和网络的拓扑结构相容性很好，是端到端的学习，相对其他神经网络在手写数字识别任务上训练的参数少，但是其网络中滤波器大小，网络层次的深度和在不同问题集上的识别效果不同。支持向量机方法具有坚实的理论基础，鲁棒性强，泛化能力强，但是其是一种小样本学习方法，对大量的样本无法充分的学习其模型，所以结合卷积神经网络和支持向量机进行手写数字识别具有重要意义。

公开号为CN104298987A的专利：一种基于点密度加权在线FCM聚类的手写数字识别方法，用于处理大规模的脱机手写数字识别问题，包括步骤：1)预处理所有手写数字图像集合；2)初始化聚类中心，令数据点顺序进入处理流程；3)计算当前数据点与各聚类中心隶属度；4)若隶属度达到阈值更新最近聚类中心位置；5)若未达到阈值则不处理该点并暂时放入待处理区；6)待处理区达到一定标准则用点密度加权FCM算发聚类待处理区中数据，更新聚类中心；7)继续循环直至数据点全部处理完毕；8)用获得的聚类中心分块计算全部数据点的隶属度，并划分类别，通过一次扫描完成数据归类。本发明在处理大规模手写数字识别问题方面能够降低空间复杂度以及时间复杂度。但是该方法在形变非常大且数字相似时数字识别的效果不是太好。

公开号为CN102982343A的专利：包括手写数字的图像的采集和二值化处理；对采集的图像进行分割，构造由手写数字的图像为输入和0-9数字为输出的训练集；构造增量函数，并将该增量函数映射到区间[0,1]；设置以λ表示增量参数和模糊支持向量机的计算复杂性参数；确定手写数字的类别，根据任何两个手写数字之间的分类超平面，确定手写数字的类别，在已知类别的手写数字上检验识别精度，确定手写数字类别的方法。但是该方法在手写数字数据量增大时，不能提取出表达能力很好的特征。

本发明提出了一种结合CNN和SVM的手写数字识别方法，该方法将卷积神经网络模型和支持向量机模型进行有机结合。结合卷积神经网络和支持向量机的手写数字识别模型很深度的描述样本数据和期望数据的相关性，对数字模式分类的区分能力很强。而且卷积神经网络模型和支持向量机模型它们的目标是区分性的，使生成的手写数字识别系统的输出更易优化。本发明简单且易于实现，手写数字识别效果很好。

发明内容

针对现有技术的不足，提出了一种提高识别效果的基于卷积神经网络和支持向量机的手写数字识别方法。本发明的技术方案如下：一种基于卷积神经网络和支持向量机的手写数字识别方法，其包括以下步骤：

步骤1：采集手写数字图像作为样本，生成训练数据和测试数据，初始化卷积神经网络；

步骤2：将训练数据均匀分批输入卷积神经网络中，训练数据分别经过卷积层、降采样层、卷积层、降采样层、多层感知器，完成前向传播；

步骤3：对步骤2中多层感知器进行误差计算和梯度计算，并判断误差是否收敛；若是，则跳转至步骤5，否则跳转至步骤4；

步骤4：将步骤3中得到的误差和梯度用反向传播算法，经过降采样层、卷积层、降采样层、卷积层、输入层逐层传播，并且逐层更新网络的权重，判断是否为输入层，若是则跳转至步骤2，否则重复步骤4；提取出特征数据；

步骤5：将通过步骤4的卷积神经网络模型训练提取的特征数据传到支持向量机中进行训练，建立手写字符识别训练模型；

步骤6：将卷积神经网络提取的测试特征数据输入支持向量机，最终，得到准确的识别结果。

进一步的，所述步骤1中初始化卷积神经网络为：设置卷积神经网络中的参数，其中包括：卷积核的数量、降采样层的数量、卷积核的大小、降采样层的降幅，初始化卷积核的权重和偏置。

进一步的，所述步骤1具体为：首先从样本集中取一批样本(X，Y_P)，其中X是样本数字的向量，Y是X对应的期望值，P是0到9的数字，将X输入卷积神经网络，计算出相应的实际输出O_P，O_P＝F_n(...F₂(F₁(X_P*W⁽¹⁾)W⁽²⁾)W⁽ⁿ⁾)，n是卷积神经网络的第n层，Fn表示第n层的激活函数，W⁽ⁿ⁾表示第n层的权值，*是卷积运算符号，其中卷积运算是用卷积滤波器在上层网络结构中做卷积运算，然后进行非线性变换，而降采样运算只采用最大池化操作，即最大池采样是通过一个滤波器提取上层网络结构的特征数据，不经过非线性运算，每次滤波后的最大值是数据降采样后的一个特征。

进一步的，所述步骤2具体为：完成前向传播后，训练数据传到多层感知器中并计算输出值和期望值之间的差，按极小化误差的方法使之收敛，并将误差向量保存起来。

进一步的，所述步骤4反向传播算法具体为：按极小化误差的方法反向传播并且调整卷积神经网络中的权矩阵，首先对样本批量前向传播，计算出卷积神经网络中所有的激活值；然后，针对每层节点，计算其残差，残差是从后向前的求导过程；接着，计算权值的偏导数，并更新权值参数；最后，重复以上方法迭代卷积神经网络参数使代价函数收敛到一个极小值，最终求解得到卷积神经网络模型。

进一步的，所述步骤5具体为：把经过卷积神经网络的训练特征数据输入支持向量机，同时，用网格搜索的优化方法来优化支持向量机的参数C和δ，C表示支持向量机里的惩罚参数，δ表示支持向量机中径向基核函数的高斯核参数，确定最优的支持向量机模型。

进一步的，所述步骤6具体为：将卷积神经网络提取的测试特征数据输入训练好的支持向量机模型中得到手写字符识别结果。

本发明的优点及有益效果如下：

本发明将混合模型有机地结合了卷积神经网络能够提取到表达能力强的特征和支持向量机在输入特征表达能力强时能够产生很好的决策平面的优点，卷积神经网络采用权重共享方法和局部感受野方法来保证手写数字图像特征的平移和缩放不变性，采用降采样的方法消除手写数字图像的冗余特征。因此，训练数据传到卷积神经网络全连接层的输出时不仅保留手写数字图像的拓扑结构，还提取到更多表达能力强的特征。最后，将全连接层的输出接口和支持向量机的输入接口相连接，所以识别精度较好。

附图说明

图1是本发明提供优选实施例基于卷积神经网络法和支持向量机法的手写数字识别方法。

具体实施方式

以下结合附图，对本发明作进一步说明：

如图1所示，本发明结合卷积神经网络和支持向量机的手写数字识别方法的具体步骤是：

步骤1：初始化卷积神经网络中所有参数，包括：所有卷积核和降采样层的数量，卷积核的大小、降采样的降幅，初始化卷积核和偏置等等。

步骤2：前向传播阶段：首先从样本集中取一批样本(X，Y_P)，其中X是样本数字的向量，Y是X对应的期望值，P是0到9的数字。将X输入网络，计算出相应的实际输出O_P，O_P＝F_n(...F₂(F₁(X_P*W⁽¹⁾)W⁽²⁾)W⁽ⁿ⁾)，n是卷积神经网络的第n层。其中卷积运算是用卷积滤波器在上层网络结构中做卷积运算，然后进行非线性变换，而降采样运算只采用最大池化操作，即最大池采样是通过一个滤波器提取上层网络结构的特征数据，不经过非线性运算，每次滤波后的最大值是数据降采样后的一个特征。

卷积层：样本输入的尺寸统一为(A,B)；卷积核的尺寸为(C,D)；卷积核的步长为(E,F)；经过卷积层得到的输出图像尺寸为(G,H)。则输出尺寸公式为

降采样层：样本输入的尺寸统一为(I,J)；滤波器窗口大小为(K,L)；降采样步长要保证滤波器能划过个整个数据矩阵且每个滤波器窗口矩阵的数据不重叠；经过降采样层得到的输出图像尺寸为(M,N)。则出尺寸公式为

全连接层：输入层神经元的个数为最后一个降采样层长和宽的乘积，输出层神经元的个数为识别的种类数。

步骤3：完成多层感知器的误差计算和梯度计算，并计算误差是否收敛。数据分批传到多层感知器中并计算输出值和标签值之间的差，按极小化误差的方法使之收敛，并将误差向量和梯度向量保存起来。

步骤4：将步骤3中得到的误差和梯度用反向传播算法，经过降采样层、卷积层、降采样层、卷积层、输入层逐层传播，并逐层更新网络的权值。

按极小化误差的方法反向传播并且调整卷积神经网络中的权矩阵，然后将单层感知机的输入层特征向量的误差矩阵，恢复成与前向传播时第二个降采样层地图大小相同的二维矩阵，再把误差矩阵传到降采样层。如果本层是卷积层，它的误差是从后一层(降采样层)传过来，误差传播实际上是用降采样的反向过程，也就是降采样层的误差复制为降采样滤波器长和宽乘积的倍数。卷积层的输入是经过sigmoid函数处理的，所以，从降采样层扩充来的误差要经过sigmoid函数求导处理。如果本层是降采样层，其误差是从后一层(卷积层)传过来，误差传播实际是卷积的反向过程，也就是知道上一层的卷积图误差敏感值，通过离散卷积函数实现相关操作即将卷积核旋转180度后对卷积层的误差进行卷积。

批量反向传播算法流程：首先，进行前向传播运算，逐层计算卷积神经网络每层节点的输出值。然后，针对每层节点，计算其残差，残差是从后向前的求导过程。接着，计算权值的偏导数，并更新权值参数。最后，重复以上方法迭代卷积神经网络参数使代价函数收敛到一个极小值，最终求解得到卷积神经网络模型。

步骤5：若卷积神经网络的误差收敛，则卷积神经网络训练停止，将提取的特征向量传到支持向量机中，建立训练模型。

当误差反向传播到输入层时，若极小化误差函数收敛，则反向传播算法停止，然后把提取到的特征向量传到支持向量机模型中，通过交叉验证选择RBF核函数其中x是经过卷积神经网络模型训练得到的特征向量，x_i是支持向量机模型中的支持向量，δ是RBF中的宽度系数，并用网格搜索的优化方法寻找最佳参数C和δ，C为惩罚参数。

基于网格搜索法的优化：网格搜索法是将C和δ在一定范围内分别取m个值和n个值，其中m和n是的正整数。首先对m*n个(C，δ)的组合逐一训练，并计算出它的识别率，然后在这m*n个(C，δ)的组合中选取识别率最高的那一组参数，作为最佳参数。

步骤6：将卷积神经网络提取的测试特征数据输入支持向量机，最终，得到准确的识别结果。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种基于卷积神经网络和支持向量机的手写数字识别方法，其特征在于，包括以下步骤：

步骤1：采集手写数字图像作为样本，生成训练数据和测试数据，初始化卷积神经网络；

步骤2：将训练数据均匀分批输入卷积神经网络中，训练数据分别经过卷积层、降采样层、卷积层、降采样层、多层感知器，完成前向传播；

步骤3：对步骤2中多层感知器进行误差计算和梯度计算，并判断误差是否收敛；若是，则跳转至步骤5，否则跳转至步骤4；

步骤4：将步骤3中得到的误差和梯度用反向传播算法，经过降采样层、卷积层、降采样层、卷积层、输入层逐层传播，并且逐层更新网络的权重，判断是否为输入层，若是则跳转至步骤2，否则重复步骤4；提取出特征数据；

步骤5：将通过步骤4的卷积神经网络模型训练提取的特征数据传到支持向量机中进行训练，建立手写字符识别训练模型；

步骤6：将卷积神经网络提取的测试特征数据输入支持向量机，最终，得到准确的识别结果。

2.根据权利要求1所述的基于卷积神经网络和支持向量机的手写数字识别方法，其特征在于，所述步骤1中初始化卷积神经网络为：设置卷积神经网络中的参数，其中包括：卷积核的数量、降采样层的数量、卷积核的大小、降采样层的降幅，初始化卷积核的权重和偏置。

3.根据权利要求1所述的基于卷积神经网络和支持向量机的手写数字识别方法，其特征在于，所述步骤1具体为：首先从样本集中取一批样本(X，Y_P)，其中X是样本数字的向量，Y是X对应的期望值，P是0到9的数字，将X输入卷积神经网络，计算出相应的实际输出O_P，O_P＝F_n(...F₂(F₁(X_P*W⁽¹⁾)W⁽²⁾)W⁽ⁿ⁾)，n是卷积神经网络的第n层，F_n表示第n层的激活函数，W⁽ⁿ⁾表示第n层的权值，*是卷积运算符号，其中卷积运算是用卷积滤波器在上层网络结构中做卷积运算，然后进行非线性变换，而降采样运算只采用最大池化操作，即最大池采样是通过一个滤波器提取上层网络结构的特征数据，不经过非线性运算，每次滤波后的最大值是数据降采样后的一个特征。

4.根据权利要求1所述的基于卷积神经网络和支持向量机的手写数字识别方法，其特征在于，所述步骤2具体为：完成前向传播后，训练数据传到多层感知器中并计算输出值和期望值之间的差，按极小化误差的方法使之收敛，并将误差向量保存起来。

5.根据权利要求1所述的基于卷积神经网络和支持向量机的手写数字识别方法，其特征在于，/所述步骤4反向传播算法具体为：按极小化误差的方法反向传播并且调整卷积神经网络中的权矩阵，首先对样本批量前向传播，计算出卷积神经网络中所有的激活值；然后，针对每层节点，计算其残差，残差是从后向前的求导过程；接着，计算权值的偏导数，并更新权值参数；最后，重复以上方法迭代卷积神经网络参数使代价函数收敛到一个极小值，最终求解得到卷积神经网络模型。

6.根据权利要求1所述的基于卷积神经网络和支持向量机的手写数字识别方法，其特征在于，所述步骤5具体为：把经过卷积神经网络的训练特征数据输入支持向量机，同时，用网格搜索的优化方法来优化支持向量机的参数C和δ，C表示支持向量机里的惩罚参数，δ表示支持向量机中径向基核函数的高斯核参数，确定最优的支持向量机模型。

7.根据权利要求1所述的基于卷积神经网络和支持向量机的手写数字识别方法，其特征在于，所述步骤6具体为：将卷积神经网络提取的测试特征数据输入训练好的支持向量机模型中得到手写字符识别结果。