CN110929713A - 一种基于bp神经网络的钢印字符识别方法 - Google Patents

Abstract

本发明公开了一种基于BP神经网络的钢印字符识别方法，属于图像识别技术领域，通过布置在工业现场的工业相机对工件钢印进行拍照，采集图像；通过机器学习聚类算法对图像进行阈值分割，实现了良好的分割效果，解决了针对钢印图片传统单一阈值分割无法准确分割特征与字符背景的问题，同时将聚类算法应用字符分割当中，实现了图像中字符的自动分割，而图像的归一化处理则解决了工件在移动过程中可能存在位置的偏移，从而导致图像大小的变化问题，提高了钢印识别的准确率；同时利用神经网络实现了对钢印识别模型的训练，且其模型在测试集中取得良好的效果。

Description

一种基于BP神经网络的钢印字符识别方法

技术领域

本发明属于图像识别技术领域，具体涉及一种基于BP神经网络的钢印字符识别方法。

背景技术

近年来，由于计算机技术以及传感技术的快速发展，传统工厂逐渐向智能化、无人化的方向发展，但是在大型铸件、铝件的加工过程中，其在锻压车间加工时，其工件表面温度可达上百摄氏度，从而无法通过传统的RFID(如二维码、传感器等等)识别技术自动识别，因此其产品物料钢印批号的录入则一般是通过人工手动录入，但是人工录入在批量多的情况下会存在录入速度慢、录入结果出错等问题，因此为实现工厂智能化升级、解决工厂物料自动识别存在的问题，亟需一种图像识别技术来实现对钢印字符的自动识别。

目前，人们对钢印字符识别技术的研究还处于起步阶段，已有图像识别技术主要应用在车牌识别、OCR文字识别等领域较多，但是其无法有效解决在钢印字符背景与字符特征相似，光线分布不均匀等情况下，字符区域与背景区域的准确分割。中国专利CN102426649B公开了一种简单的高准确率的钢印字符自动识别方法，其主要通过双阈值分割与神经网络算法实现对字符的识别，但是双阈值方法其阈值设置自适应性能差，在光照不均匀的情况下无法准确将字符与背景分割，同时无法解决图像分割后噪声的干扰；在学术界，也有很多学者针对图像分割做出一系列的研究，乔晓艳等人提出了基于模糊C均值聚类算法的心脏扭转运动中心室壁轮廓的自动提取方法，其使用模糊均值聚类算法与预设阈值相结合，从而完成图像阈值分割；赵红丹等人提出一种基于K-means算法分割遥感图像阈值确定方法，应用聚类算法的聚类中心平均值作为图像分割阈值，实现对图像的分割；但上述方法只是对传统阈值分割算法的改进，本质上还是传统的单阈值分割，依然无法解决在光照分布不均匀情况下字符区域和背景区域的准确分割难题。

发明内容

针对现有技术中图像特征提取中图像阈值分割效果不佳，图像分割后存在噪点等问题，本发明的目的在于提供一种基于BP神经网络的钢印字符识别方法，本发明方法在图像分割处理部分从样本容量出发，利用聚类算法将样本分成若干族(数量应根据实际情况而定)，利用族内样本数占总体样本数的比例从而将其划分为字符区域、背景区域，实现对图像的分割，实现了钢印识别在的光照不均匀、字符与背景相似等条件下图像的准确分割，以及对图像分割后可能存在的图像噪点应用连通域大小判别实现字符区域和噪声区域的识别，进而实现噪声的去除，再利用聚类算法将图片分割成单个字符，进行归一化处理后，作为神经网络的输入得到相应的神经网络识别模型，与传统的字符识别技术相比，本方法中的图像分割算法通过样本容量占比而不是传统单阈值或多阈值方法实现图像字符与背景区域的分割，克服了传统单阈值或多阈值方法无法在光照不均匀、字符区域与背景区域特征相似条件下准确分割的问题，同时增加了对图像分割后噪声点的去除步骤，增强了算法识别的鲁棒性，其实际识别效果好、识别速度快，具备在工业现场环境下应用的条件。

为了达到上述目的，本发明提供以下技术方案：一种基于BP神经网络的钢印字符识别方法，包括以下步骤：

S1.通过CCD相机采集钢印表面图片，并将其放入训练集中；

S2.对训练集中的图片，通过灰度转换将RGB图像转换为灰度图；

S3.对灰度变化后图像，进行图像预处理；

S4.对预处理后的图像进行图像阈值分割，将字符区域与背景区域分离；

S5.对阈值分割后的图像进行连通域标记，通过判定连通域的大小来删除图像中存在的噪点；

S6.对删除噪声后的图像进行图像字符分割操作，将图像中的字符区域分割成单个字符图像；

S7.对图像字符分割后的图像进行归一化处理，并将分割处理后的字符图像分别放入相应的0～9的字符文件夹中，将训练集中的图片重复上述步骤，并判断是否全部执行，若未执行完，则继续上述步骤；

S8.若执行完毕，则将步骤S7中得到字符归一化处理后的字符图像以文件夹的名称作为训练标签放入BP神经网络中训练，得到BP神经网络训练的模型；

S9.对实际测试图片，重复图片测试集中图片处理流程S1～S8，实现字符图片的分割与归一化处理，将处理后的图片放入BP神经网络训练的模型中进行钢印字符识别，得到相应的结果。

在一个具体实施例中，所述步骤S2中灰度转换的具体操作为：

通过读取图片像素点的R、G、B值，则其灰度值

通过上述操作，将彩色图像转换为灰度图像。

在一个具体实施例中，所述步骤S3中图像预处理的具体操作为：

利用高斯滤波对图像进行平滑去噪，平滑的程度取决于标准差；其输出是领域像素的加权平均，离中心越近的像素权重越高。

通过图像预处理后，灰度图像的平滑效果更柔和，而且边缘保留的也更好，从而为下一步的图像处理做好准备。

在一个具体实施例中，所述步骤S4中图像阈值分割，通过机器学习聚类算法，将背景与钢印字符的灰度值分为两类，并分别将两个族内的灰度值分别重置为0与255，从而实现图像的阈值分割，其流程具体如下：

步骤1：首先随机选取两个像素点的像数值作为初始均值向量{u₁，u₂}，然后计算各像素点到各均值量的曼哈顿距离

其中x_i为初始均值，而x_j则为图像中各像素点的像素值；

步骤2：遍历图像像素点，比较像素点与初始均值的曼哈顿距离，若与初始均值_u1接近，即曼哈顿距离值小，则划入C₁族内，反之则划入c₂族内；

步骤3：计算两个族内的灰度值均值，并于初始向量{u₁，u₂，u₃}相比，若其向量之差小于允许的误差值，则停止划分，等待下一步处理；反之则重复上述步骤，直至向量之差小于允许误差值；

步骤4：分别计算u₁，u₂，u₃点在整个图像内的占比，假设u₁＜u₂＜_u3，根据图像预设背景区域大于70％，若u₃占比大于70％，则认为u₃为背景区域，将其族内点集灰度值置为0，其他两族置为1，反之，则认为u₁，u₃为背景区域，将其族内点集灰度值置为0，u₂族点集置为1，完成图像阈值分割。

在一个具体实施例中，所述步骤S5中删除图像中存在的噪点，具体操作为：

噪点是表面坑洼造成的，通过连通域标记，确定阈值分割后的连通域个数，通过判定连通域面积大小从而可以判定哪些连通域是属于字符，哪些属于背景中，进而将属于背景的连通域删除，从而实现图像噪点的去除。

在一个具体实施例中，所述步骤S6中图像字符分割操作，具体为：

步骤1：计算0和255灰度值的占比，占比小的为字符区域，为减少字符识别特征向量的提取，将字符区域重置为255，背景区域重置为0，即若占比小的字符区域灰度值为0，则将该族内所有灰度值重置为255，则另外一族内重置为0；

步骤2：根据字符个数k，随机选取k个图片中灰度值为255的坐标作为初始向量{u₁，u₂，…，u_k}，其中u_i＝(x_i，y_i)即为随机选取点的像素坐标；

步骤3：遍历图中灰度值为255的坐标点，分别计算各点与初始均值的欧式距离，即

其中x_i，x_j分别对应遍历的坐标点和初始均值；

步骤4：计算出每点与初始向量中所有的均值向量的欧式距离，选取其中欧式距离最小的点，并将其划入相应的族C_i中；

步骤5：遍历灰度值为255的点后，分别计算新的均值向量

即取C_i族内点的平均坐标；

步骤6：计算新的均值向量u′与u的误差大小，若小于设定的误差值，则划分完毕，进入下一步骤，若大于误差值，则将均值向量更新，重新进行上述循环；

步骤7：对划分的族内坐标进行排序，选出其点x轴最大、最小值，y轴最大、最小值，并两两组合，形成矩形区域，其即为单个字符区域，字符划分结束。

在一个具体实施例中，所述步骤S7中归一化处理的具体操作为：

步骤1：首先计算图像的X，Y方向的质心，其计算公式如下：

式中c(i，j)为255时表示其为黑色即为字符区域颜色，为0时则表示为背景区域颜色；

步骤2：然后再计算水平和垂直方向的散度σ_I和σ_J，其计算公式如下：

步骤3：最后按比例将图像线性放大或缩小成30×30像素大小的规定散度的图像点阵。

在一个具体实施例中，所述步骤S8中BP神经网络训练的模型，通过以下方式构建：

步骤1：构建神经网络，其包扣输入层、隐藏层以及输出层，确定输入层神经元、隐藏层神经元以及输出层神经元个数，初始化权值w_hj，v_ih和阈值θ_j，γ_h；

步骤2：其中输出层个数为0～9的10个神经元，输入层神经元个数为归一化图像后像素点的个数，隐藏层神经元个数根据Kolmogorov定理，隐藏层神经元节点与输入层结点的关系如下：

s＝2n+1

其中s为隐藏层神经元个数，n为输入层神经元个数；

步骤3：根据下述公式确定隐藏层、输出层的输入与输出：

β_j＝∑_hw_hjb_h

α_h＝∑_iv_ihx_i

其中，y_j，β_j分别表示输出层的输入与输出，α_h，b_h分别表示隐藏层的输入与输出，x_i表示为输入层输入；

其中，w_hj表示隐藏层第h个神经元与输出层第j个神经元的连接权重，θ_j为输出层第j个神经元激活阈值权重，v_ih表示隐藏层第h个神经元与输入层第i个神经元的连接权重，γ_h为隐藏层第h个神经元激活阈值权重；

步骤4：反向传播误差计算，记输出为

则其均方误差为：

其中，

为神经网络输出，y^k为训练样本实际值；

步骤5：更新权值和阈值，根据广义感知机原则以及BP算法的基于梯度下降原则，可以权值增量以及阈值增量：

Δw_hj＝ηg_jb_h

Δθ_j＝-ηg_j

Δv_ih＝ηe_hx_i

Δwh_j＝-ηe_h

其中，η为学习率；

步骤6：重复上述步骤，直到训练集上累计误差E小于允许阈值，累计误差其计算公式如下：

本发明的有益效果：

本发明通过布置在工业现场的工业相机对工件钢印进行拍照，采集图像；通过机器学习聚类算法对图像进行阈值分割，实现了良好的分割效果，解决了针对钢印图片传统单一阈值分割无法准确分割特征与字符背景的问题，同时将聚类算法应用字符分割当中，实现了图像中字符的自动分割，而图像的归一化处理则解决了工件在移动过程中可能存在位置的偏移，从而导致图像大小的变化问题，提高了钢印识别的准确率；同时利用神经网络实现了对钢印识别模型的训练，且其模型在测试集中取得良好的效果。

本发明所述图像分割是采用机器学习中的聚类算法，通过预设图像中字符个数，算法自动实现对图像字符的快速、准确分割。

本发明可以准确定位工件钢印表面字符区域并能进行有效分割与识别，减少图像噪声因素的干扰；能减少人为字符输入错误和资源的浪费，而且本发明基于机器学习中聚类算法和人工神经网络方法，能有效提高算法的识别进度与适应性，解决了现有识别方法的识别率较低的问题，在一定程度上有利于工厂的智能化发展。

附图说明

图1为本发明实施例一种基于BP神经网络的钢印字符识别方法的流程图。

图2为本发明实施例中钢印表面实物图。

图3为本发明实施例中提取数字区域的阈值分割图像。

图4为本发明实施例中删除噪点后的图像。

图5为本发明实施例中从数字区域分割出的单个数字图像。

图6为本发明实施例中归一化后的字符图像。

图7为本发明实施例中基于BP神经网络训练的模型中进行钢印字符识别的结果。

具体实施方式

下面结合具体实施例和附图对本发明进行进一步说明：

本发明实施例一种基于BP神经网络的钢印字符识别方法，如图1所示，包括以下步骤：

(1)、图像获取：图像获取是通过固定在工业现场的CCD工业相机拍摄的，如图2所示，其与工件表面距离基本固定，也可能随着工件的摆放位置差异距离会有小范围的波动；

(2)、图像灰度转换：通过读取图片像素点的R、G、B值，则其灰度值

通过上述操作，将彩色图像转换为灰度图像；

(3)、利用高斯滤波对图像进行平滑去噪，其平滑的程度取决于标准差，它的输出是领域像素的加权平均，同时离中心越近的像素权重越高，因此，相对于均值滤波它的平滑效果更柔和，而且边缘保留的也更好，从而为下一步的图像处理做好准备；

(4)、图像阈值分割：通过机器学习聚类算法，将背景与钢印字符的灰度值分为两类，并分别将两个族内的灰度值分别重置为0与255，从而实现图像的阈值分割，其流程具体如下：

步骤4.1：首先随机选取两个像素点的像数值作为初始均值向量{u₁，u₂}，然后计算各像素点到各均值量的曼哈顿距离

其中x_i为初始均值，而x_j则为图像中各像素点的像素值；

步骤4.2：遍历图像像素点，比较像素点与初始均值的曼哈顿距离，若与初始均值u₁接近，即曼哈顿距离值小，则划入C₁族内，反之则划入C₂族内；

步骤4.3：计算两个族内的灰度值均值，并于初始向量{u₁，u₂，u₃}相比，若其向量之差小于允许的误差值，则停止划分，等待下一步处理；反之则重复上述步骤，直至向量之差小于允许误差值；

步骤4.4：分别计算u₁，u₂，u₃点在整个图像内的占比，假设u₁＜u₂＜u₃，根据图像预设背景区域大于70％，若u₃占比大于70％，则认为u₃为背景区域，将其族内点集灰度值置为0，其他两族置为1，反之，则认为u₁，u₃为背景区域，将其族内点集灰度值置为0，u₂族点集置为1，完成图像阈值分割，如图3所示；

(5)、图像噪点去除：通过连通域标记，确定阈值分割后的连通域个数，通过判定连通域面积大小从而可以判定哪些连通域是属于字符，哪些属于背景中，进而将属于背景的连通域删除，从而实现图像噪点的去除，去噪后的图像如图4；

(6)、图像分割：

步骤6.1：计算0和255灰度值的占比，占比小的为字符区域，为减少字符识别特征向量的提取，将字符区域重置为255，背景区域重置为0，即若占比小的字符区域灰度值为0，则将该族内所有灰度值重置为255，则另外一族内重置为0；

步骤6.2：根据字符个数k，随机选取k个图片中灰度值为255的坐标作为初始向量{u₁，u₂，…，u_k}，其中u_i＝(x_i，y_i)即为随机选取点的像素坐标；

步骤6.3：遍历图中灰度值为255的坐标点，分别计算各点与初始均值的欧式距离，即

其中x_i，x_j分别对应遍历的坐标点和初始均值；

步骤6.4：计算出每点与初始向量中所有的均值向量的欧式距离，选取其中欧式距离最小的点，并将其划入相应的族C_i中；

步骤6.5：遍历灰度值为255的点后，分别计算新的均值向量

即取C_i族内点的平均坐标；

步骤6.6：计算新的均值向量u′与u的误差大小，若小于设定的误差值，则划分完毕，进入下一步骤，若大于误差值，则将均值向量更新，重新进行上述循环；

步骤6.7：对划分的族内坐标进行排序，选出其点x轴最大、最小值，_v轴最大、最小值，并两两组合，形成矩形区域，其即为单个字符区域，字符划分结束，图5为聚类算法分割后的图片；

(7)、归一化处理：对图像字符分割后的图像进行归一化处理，并将分割处理后的字符图像分别放入相应的0～9的字符文件夹中，将训练集中的图片重复上述步骤，并判断是否全部执行，若未执行完，则继续上述步骤；

归一化处理的具体操作为：

步骤7.1：首先计算图像的X，Y方向的质心，其计算公式如下：

式中c(i，j)为255时表示其为黑色即为字符区域颜色，为0时则表示为背景区域颜色；

步骤7.2：然后再计算水平和垂直方向的散度σ_I和σ_J，其计算公式如下：

步骤7.3：最后按比例将图像线性放大或缩小成30×30像素大小的规定散度的图像点阵，图6为归一化处理后的图像；

(8)、BP神经网络训练：若执行完毕，则将步骤(7)中得到字符归一化处理后的字符图像以文件夹的名称作为训练标签放入BP神经网络中训练，得到BP神经网络训练的模型；

BP神经网络训练的模型，通过以下方式得到：

步骤8.1：构建神经网络，其包扣输入层、隐藏层以及输出层，确定输入层神经元、隐藏层神经元以及输出层神经元个数，初始化权值w_hj，v_ih和阈值θ_i，γ_h；

步骤8.2：其中输出层个数为0～9的10个神经元，输入层神经元个数为归一化图像后像素点的个数，隐藏层神经元个数根据Kolmogorov定理，隐藏层神经元节点与输入层结点的关系如下：

s＝2n+1

其中s为隐藏层神经元个数，n为输入层神经元个数；

步骤8.3：根据下述公式确定隐藏层、输出层的输入与输出：

β_j＝∑_hw_hjb_h

α_h＝∑_iv_ihx_i

其中，y_j，β_j分别表示输出层的输入与输出，α_h，b_h分别表示隐藏层的输入与输出，x_i表示为输入层输入；

其中，w_hj表示隐藏层第h个神经元与输出层第j个神经元的连接权重，θ_j为输出层第j个神经元激活阈值权重，v_ih表示隐藏层第h个神经元与输入层第i个神经元的连接权重，γ_h为隐藏层第h个神经元激活阈值权重；

步骤8.4：反向传播误差计算，记输出为

则其均方误差为：

其中，

为神经网络输出，y^k为训练样本实际值；

步骤8.5：更新权值和阈值，根据广义感知机原则以及BP算法的基于梯度下降原则，可以权值增量以及阈值增量：

Δw_hj＝ηg_jb_h

Δθ_j＝-ηg_j

Δv_ih＝ηe_hx_i

Δw_hj＝-ηe_h

其中，η为学习率；

步骤8.6：重复上述步骤，直到训练集上累计误差E小于允许阈值，累计误差其计算公式如下：

(9)、图像识别：

将待识别图片按上述步骤(1)～(7)处理后，通过已训练好的模型进行识别，即可得到图像字符结果，具体如图7所示。

以上列举的应用实例只对本发明做具体说明，通过实施例对本发明进行具体描述，实施例只用于对本发明进行进一步说明，而不是对本发明保护范围的限定，该领域的技术人员可以根据本发明做出一些非本质的改进和调整。

Claims (8)

1.一种基于BP神经网络的钢印字符识别方法，其特征在于，包括以下步骤：

S1.通过CCD相机采集钢印表面图片，并将其放入训练集中；

S2.对训练集中的图片，通过灰度转换将RGB图像转换为灰度图；

S3.对灰度变化后图像，进行图像预处理；

S4.对预处理后的图像进行图像阈值分割，将字符区域与背景区域分离；

S5.对阈值分割后的图像进行连通域标记，通过判定连通域的大小来删除图像中存在的噪点；

S6.对删除噪声后的图像进行图像字符分割操作，将图像中的字符区域分割成单个字符图像；

S7.对图像字符分割后的图像进行归一化处理，并将分割处理后的字符图像分别放入相应的0～9的字符文件夹中，将训练集中的图片重复上述步骤，并判断是否全部执行，若未执行完，则继续上述步骤；

S8.若执行完毕，则将步骤S7中得到字符归一化处理后的字符图像以文件夹的名称作为训练标签放入BP神经网络中训练，得到BP神经网络训练的模型；

S9.对实际测试图片，重复图片测试集中图片处理流程S1～S8，实现字符图片的分割与归一化处理，将处理后的图片放入BP神经网络训练的模型中进行钢印字符识别，得到相应的结果。

2.根据权利要求1所述的基于BP神经网络的钢印字符识别方法，其特征在于，所述步骤S2中灰度转换的具体操作为：

通过读取图片像素点的R、G、B值，则其灰度值

通过上述操作，将彩色图像转换为灰度图像。

3.根据权利要求1所述的基于BP神经网络的钢印字符识别方法，其特征在于，所述步骤S3中图像预处理的具体操作为：

利用高斯滤波对图像进行平滑去噪，平滑的程度取决于标准差；其输出是领域像素的加权平均，离中心越近的像素权重越高。

4.根据权利要求1所述的基于BP神经网络的钢印字符识别方法，其特征在于，所述步骤S4中图像阈值分割，通过机器学习聚类算法，将背景与钢印字符的灰度值分为两类，并分别将两个族内的灰度值分别重置为0与255，从而实现图像的阈值分割，其流程具体如下：

步骤1：首先随机选取两个像素点的像数值作为初始均值向量{u₁，u₂}，然后计算各像素点到各均值量的曼哈顿距离

其中x_i为初始均值，而x_j则为图像中各像素点的像素值；

步骤2：遍历图像像素点，比较像素点与初始均值的曼哈顿距离，若与初始均值u₁接近，即曼哈顿距离值小，则划入C₁族内，反之则划入C₂族内；

步骤3：计算两个族内的灰度值均值，并于初始向量{u₁，u₂，u₃}相比，若其向量之差小于允许的误差值，则停止划分，等待下一步处理；反之则重复上述步骤，直至向量之差小于允许误差值；

步骤4：分别计算u₁，u₂，u₃点在整个图像内的占比，假设u₁＜u₂＜u₃，根据图像预设背景区域大于70％，若u₃占比大于70％，则认为u₃为背景区域，将其族内点集灰度值置为0，其他两族置为1，反之，则认为u₁，u₃为背景区域，将其族内点集灰度值置为0，u₂族点集置为1，完成图像阈值分割。

5.根据权利要求1所述的基于BP神经网络的钢印字符识别方法，其特征在于，所述步骤S5中删除图像中存在的噪点，具体操作为：

噪点是表面坑洼造成的，通过连通域标记，确定阈值分割后的连通域个数，通过判定连通域面积大小从而可以判定哪些连通域是属于字符，哪些属于背景中，进而将属于背景的连通域删除，从而实现图像噪点的去除。

6.根据权利要求1所述的基于BP神经网络的钢印字符识别方法，其特征在于，所述步骤S6中图像字符分割操作，具体为：

步骤1：计算0和255灰度值的占比，占比小的为字符区域，为减少字符识别特征向量的提取，将字符区域重置为255，背景区域重置为0，即若占比小的字符区域灰度值为0，则将该族内所有灰度值重置为255，则另外一族内重置为0；

步骤2：根据字符个数k，随机选取k个图片中灰度值为255的坐标作为初始向量{u_1，u₂，…，u_k}，其中u_i＝(x_i，y_i)即为随机选取点的像素坐标；

步骤3：遍历图中灰度值为255的坐标点，分别计算各点与初始均值的欧式距离，即

其中x_i，x_j分别对应遍历的坐标点和初始均值；

步骤4：计算出每点与初始向量中所有的均值向量的欧式距离，选取其中欧式距离最小的点，并将其划入相应的族C_i中；

步骤5：遍历灰度值为255的点后，分别计算新的均值向量

即取C_i族内点的平均坐标；

步骤6：计算新的均值向量u′与u的误差大小，若小于设定的误差值，则划分完毕，进入下一步骤，若大于误差值，则将均值向量更新，重新进行上述循环；

步骤7：对划分的族内坐标进行排序，选出其点x轴最大、最小值，y轴最大、最小值，并两两组合，形成矩形区域，其即为单个字符区域，字符划分结束。

7.根据权利要求1所述的基于BP神经网络的钢印字符识别方法，其特征在于，所述步骤S7中归一化处理的具体操作为：

步骤1：首先计算图像的X，Y方向的质心，其计算公式如下：

式中c(i，j)为255时表示其为黑色即为字符区域颜色，为0时则表示为背景区域颜色；

步骤2：然后再计算水平和垂直方向的散度σ_I和σ_J，其计算公式如下：

步骤3：最后按比例将图像线性放大或缩小成30×30像素大小的规定散度的图像点阵。

8.根据权利要求1所述的基于BP神经网络的钢印字符识别方法，其特征在于，所述步骤S8中BP神经网络训练的模型，通过以下方式构建：

步骤1：构建神经网络，其包扣输入层、隐藏层以及输出层，确定输入层神经元、隐藏层神经元以及输出层神经元个数，初始化权值w_hj，v_ih和阈值θ_j，γ_h；

步骤2：其中输出层个数为0～9的10个神经元，输入层神经元个数为归一化图像后像素点的个数，隐藏层神经元个数根据Kolmogorov定理，隐藏层神经元节点与输入层结点的关系如下：

s＝2n+1

其中s为隐藏层神经元个数，n为输入层神经元个数；

步骤3：根据下述公式确定隐藏层、输出层的输入与输出：

β_j＝∑_hW_hjb_h

α_h＝∑_iv_ihx_i

其中，y_j，β_j分别表示输出层的输入与输出，α_h，b_h分别表示隐藏层的输入与输出，x_i表示为输入层输入；

其中，w_hj表示隐藏层第h个神经元与输出层第j个神经元的连接权重，θ_j为输出层第j个神经元激活阈值权重，v_ih表示隐藏层第h个神经元与输入层第i个神经元的连接权重，γ_h为隐藏层第h个神经元激活阈值权重；

步骤4：反向传播误差计算，记输出为

则其均方误差为：

其中，

为神经网络输出，y^k为训练样本实际值；

步骤5：更新权值和阈值，根据广义感知机原则以及BP算法的基于梯度下降原则，可以权值增量以及阈值增量：

Δw_hj＝ηg_jb_h

Δθ_j＝-ηg_j

Δv_ih＝ηe_hx_i

Δw_hj＝-ηe_h

其中，η为学习率；

步骤6：重复上述步骤，直到训练集上累计误差E小于允许阈值，累计误差其计算公式如下：

Images