CN105117611B - 基于卷积神经元网络的中医舌诊模型的确定方法及系统 - Google Patents

Abstract

本发明提供一种基于卷积神经元网络的中医舌诊模型的确定方法及系统，能够提高中医舌诊模型诊断结果的准确率和可靠性。所述方法包括：获取患者舌部图像信息作为训练集及交叉验证集；调整卷积神经元网络每层神经元的个数，利用所述训练集对调整后的多个不同卷积神经元网络分别进行训练，确定多个不同结构的卷积神经元网络的参数；将所述交叉验证集分别作为所述多个不同结构卷积神经元网络的输入，将舌诊结果准确率最高的卷积神经元网络作为最优舌诊模型，最后，获取患者舌部图像信息作为测试集，将所述测试集作为最优舌诊模型的输入，得到测试集中各测试样本的舌诊结果，统计舌诊结果的准确性。本发明适用于中医智能诊断技术领域。

Description

基于卷积神经元网络的中医舌诊模型的确定方法及系统

技术领域

本发明涉及中医智能诊断技术领域，具体涉及大数据、人工智能、中医舌诊、机器学习、深度学习领域，特别是指一种基于卷积神经元网络的中医舌诊模型的确定方法及系统。

背景技术

中医在我国拥有几千年的历史和临床实践，在治病、防病和养生领域有着非常显著的成效。但由于我国人口数众多，并且老龄化问题严重，导致每天看中医的患者数量庞大且与日俱增，致使中医师供不应求。

基于以上问题，近几年中医智能诊断系统问世，目的是辅助中医师诊断患者病情，提升诊断效率。该类中医智能诊断系统大多数是基于专家系统的原理实现的。但是由于专家系统是基于知识规则构建出来的，而实际患者病情千变万化，这种以推理机制实现的系统常常会出现误诊的情况。

目前，深度学习技术近两三年来在学术界、工业界都取得了巨大的成就，各大互联网巨头谷歌(Google)、微软(Microsoft)、脸谱(Facebook)、阿里巴巴、百度等相继成立深度学习研究机构，以解决在图像、语音、文字等领域的各类问题。然而，深度学习技术在中医诊断方面的研究尚未有成果。

发明内容

本发明要解决的技术问题是提供一种基于卷积神经元网络的中医舌诊模型的确定方法及系统，以解决现有技术所存在的基于知识规则构建的中医智能专家诊断系统误诊率高的问题。

为解决上述技术问题，本发明实施例提供一种基于卷积神经元网络的中医舌诊模型的确定方法，包括：

获取患者舌部图像信息作为训练集及交叉验证集；

调整卷积神经元网络每层神经元的个数，利用所述训练集对调整后的多个不同卷积神经元网络分别进行训练，确定多个不同结构的卷积神经元网络的参数；

将所述交叉验证集分别作为所述多个不同结构卷积神经元网络的输入，将舌诊结果准确率最高的卷积神经元网络作为最优舌诊模型。

可选地，所述方法还包括：

获取患者舌部图像信息作为测试集；

将所述测试集作为最优舌诊模型的输入，得到测试集中各测试样本的舌诊结果，统计舌诊结果的准确性。

可选地，所述方法还包括：

对所述训练集、交叉验证集及测试集中的舌部图像进行预处理，并转化为一定的数据格式，其中，所述预处理包括：对所述训练集、交叉验证集及测试集中的舌部图像的大小进行归一化处理、作主成分分析和白化处理。

可选地，所述调整卷积神经元网络每层神经元的个数包括：

在一配置文件中配置卷积神经元网络的结构信息，所述卷积神经元网络的结构包括：输入层、第一卷积层、第一池化层、第二卷积层、第二池化层及全连接输出层；

在一配置文件中配置所述输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、全连接输出层的神经元构成以及输入参数和输出参数；

在一配置文件中配置神经元激活函数，避免训练过程陷入极小值导致训练停滞。

可选地，所述输入层，用于输入患者舌部图像信息；

所述第一卷积层，用于将预先训练好的第一探测器与输入层输入的患者舌部图像信息进行卷积运算得到第一卷积特征图；

所述第一池化层，用于对第一卷积层输出的第一卷积特征图进行采样，得到采样区域的第一特征平均值；

所述第二卷积层，用于将预先训练好的第二探测器与第一池化层输出的第一特征平均值进行卷积元素得到第二卷积特征图；

所述第二池化层，用于对第二卷积层输出的第二卷积特征图进行采样，得到采样区域的第二特征平均值；

所述全连接输出层，用于对第二池化层输出的第二特征平均值进行训练，分类输出舌诊结果，所述舌诊结果包括：正常、肝硬化、肝癌、乙肝。

可选地，所述利用所述训练集对调整后的卷积神经元网络进行训练，确定不同结构的卷积神经元网络的参数包括：

S1，初始化卷积神经元网络中的所有权重；

S2，根据训练集中给定的训练样本，进行前向传导运算，即由输入层与第一卷积层权重作矩阵运算得到第一池化层所有神经元的激活值，将此与第一池化层权重作矩阵运算得到第二卷积层所有神经元的激活值，以此类推，最终得到全连接输出层的激活值；

S3，利用全连接输出层产生的激活值与实际值之间的误差和全连接输出层的权重，确定第二池化层的误差，以此类推，算出每一层相应的误差；

S4，利用每一层的误差算出响应的偏导数，利用偏导数来更新所有权重；

S5，重复S2～S4，直至完预设的迭代次数后，完成卷积神经元网络的训练过程，保存训练结果。

可选地，所述利用所述训练集对调整后的卷积神经元网络进行训练包括：

将所述训练集拆成多个子训练集，每个子训练集对调整后的各个卷积神经元网络的训练过程由各子训练集对应的图形处理器进行并行处理；

将各图形处理器的并行处理结果进行累加，完成所述训练集对调整后的卷积神经元网络的训练过程。

本发明实施例还提供一种基于卷积神经元网络的中医舌诊模型的确定系统，包括：

第一获取单元：用于获取患者舌部图像信息作为训练集及交叉验证集；

卷积神经元网络确定单元：用于调整卷积神经元网络每层神经元的个数，利用所述训练集对调整后的多个不同卷积神经元网络分别进行训练，确定多个不同结构的卷积神经元网络的参数；

最优舌诊模型确定单元：用于将所述交叉验证集分别作为所述多个不同结构卷积神经元网络的输入，将舌诊结果准确率最高的卷积神经元网络作为最优舌诊模型。

可选地，所述卷积神经元网络的结构包括：输入层、第一卷积层、第一池化层、第二卷积层、第二池化层及全连接输出层；

所述输入层，用于输入患者舌部图像信息；

所述第一卷积层，用于将预先训练好的第一探测器与输入层输入的患者舌部图像信息进行卷积运算得到第一卷积特征图；

所述第一池化层，用于对第一卷积层输出的第一卷积特征图进行采样，得到采样区域的第一特征平均值；

所述第二卷积层，用于将预先训练好的第二探测器与第一池化层输出的第一特征平均值进行卷积元素得到第二卷积特征图；

所述第二池化层，用于对第二卷积层输出的第二卷积特征图进行采样，得到采样区域的第二特征平均值；

所述全连接输出层，用于对第二池化层输出的第二特征平均值进行训练，分类输出舌诊结果，所述舌诊结果包括：正常、肝硬化、肝癌、乙肝。

可选地，所述系统还包括：

第二获取单元，用于获取患者舌部图像信息作为测试集；

测试单元，用于将所述测试集作为最优舌诊模型的输入，得到测试集中各测试样本的舌诊结果，统计舌诊结果的准确性；

所述卷积神经元网络确定单元包括：

初始化模块，用于初始化卷积神经元网络中的所有权重；

激活值生成模块，用于根据训练集中给定的训练样本，进行前向传导运算，即由输入层与第一卷积层权重作矩阵运算得到第一池化层所有神经元的激活值，将此与第一池化层权重作矩阵运算得到第二卷积层所有神经元的激活值，以此类推，最终得到全连接输出层的激活值；

误差确定模块，用于利用全连接输出层产生的激活值与实际值之间的误差和全连接输出层的权重，确定第二池化层的误差，以此类推，算出每一层相应的误差；

权重更新模块，用于利用每一层的误差算出响应的偏导数，利用偏导数来更新所有权重；

训练结果保存模块，用于重复S2～S4，直至完预设的迭代次数后，完成卷积神经元网络的训练过程，保存训练结果。

本发明的上述技术方案的有益效果如下：

上述方案中，通过获取患者舌部图像信息作为训练集及交叉验证集，并调整卷积神经元网络每层神经元的个数，利用所述训练集对调整后的多个不同卷积神经元网络分别进行训练，确定多个不同结构的卷积神经元网络的参数，最后将所述交叉验证集分别作为所述多个不同结构卷积神经元网络的输入，将舌诊结果准确率最高的卷积神经元网络作为最优舌诊模型。这样，通过训练集对多个不同结构的卷积神经元网络分别进行训练，再通过交叉验证集确定舌诊结果准确率最高的卷积神经元网络，并舌诊结果准确率最高的卷积神经元网络将作为最优舌诊模型，利用该最优舌诊模型对获取到的患者舌部图像进行诊断，能够增加诊断结果的准确率和可靠性。

附图说明

图1为本发明实施例提供的基于卷积神经元网络的中医舌诊模型的确定方法的方法流程图一；

图2为本发明实施例提供的基于卷积神经元网络的中医舌诊模型的确定方法的方法流程图二；

图3为本发明实施例提供的卷积神经元网络的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的基于知识规则构建的中医智能专家诊断系统误诊率高的问题，提供一种基于卷积神经元网络的中医舌诊模型的确定方法及系统。

实施例一

参看图1所示，本发明实施例提供的一种基于卷积神经元网络的中医舌诊模型的确定方法，包括：

S101：获取患者舌部图像信息作为训练集及交叉验证集；

S102：调整卷积神经元网络每层神经元的个数，利用所述训练集对调整后的多个不同卷积神经元网络分别进行训练，确定多个不同结构的卷积神经元网络的参数；

S103：将所述交叉验证集分别作为所述多个不同结构卷积神经元网络的输入，将舌诊结果准确率最高的卷积神经元网络作为最优舌诊模型。

本发明实施例所述的基于卷积神经元网络的中医舌诊模型的确定方法，通过获取患者舌部图像信息作为训练集及交叉验证集，并调整卷积神经元网络每层神经元的个数，利用所述训练集对调整后的多个不同卷积神经元网络分别进行训练，确定多个不同结构的卷积神经元网络的参数，最后将所述交叉验证集分别作为所述多个不同结构卷积神经元网络的输入，将舌诊结果准确率最高的卷积神经元网络作为最优舌诊模型。这样，通过训练集对多个不同结构的卷积神经元网络分别进行训练，再通过交叉验证集确定舌诊结果准确率最高的卷积神经元网络，并舌诊结果准确率最高的卷积神经元网络将作为最优舌诊模型，利用该最优舌诊模型对获取到的患者舌部图像进行诊断，能够增加诊断结果的准确率和可靠性。

本发明实施例中，例如，可以调整10个卷积神经元网络每层神经元的个数，通过所述训练集分别对调整后的10个不同结构卷积神经元网络分别进行训练，确定10个不同结构的卷积神经元网络的参数信息，也就是说这10个不同结构卷积神经元网络的输入相同，最后将交叉验证集作为这10个卷积神经元网络的输入，得到各卷积神经元网络的诊断结果及准确率，并将诊断结果准确率最高的卷积神经元网络作为最优舌诊模型。

本发明实施例中，基于卷积神经元网络的中医舌诊模型的确定方法是一种基于机器学习的中医诊断，其诊断结果更为精准，因为机器学习是基于统计学的原理，通过超大规模数据量的训练构建出最优的权重得到最优舌诊模型。

在前述基于卷积神经元网络的中医舌诊模型的确定方法的具体实施方式中，可选地，所述方法还包括：

S104：获取患者舌部图像信息作为测试集；

S105：将所述测试集作为最优舌诊模型的输入，得到测试集中各测试样本的舌诊结果，统计舌诊结果的准确性。

本发明实施例中，参看图2所示，不仅需获取患者舌部图像信息作为训练集及交叉验证集，还需获取患者舌部图像信息作为测试集，再将所述测试集作为最优舌诊模型的输入，得到测试集中各测试样本的舌诊结果，通过统计得到该最优舌诊模型的诊断准确率为99.5％，因为测试集中的各测试样本代表患者实际病情，从而能够证明最优舌诊模型的诊断结果具备较高的准确率和可靠性。

本发明实施例中，优选的，获取到的训练集、交叉验证集、测试集中的各舌诊样本图像(舌部图像)的比例为6：2：2。

本发明实施例中，首先对训练集、交叉验证集及测试集中的舌部图像进行预处理：统一训练集、交叉验证集及测试集中的舌部图像的大小、作主成分分析和白化处理。

本发明实施例中，例如，可以利用Caffe工具构建卷积神经元网络，具体的，从Caffe的github上下载全部Caffe代码构建卷积神经元网络，其中，Caffe是一个深度学习开源工具，github是一个分布式版本控制系统，这样，在对训练集、交叉验证集及测试集中的舌部图像进行预处理后，还需将预处理后的舌部图像转换为Caffe能处理的lmdb格式，lmdb是一种数据格式。

在前述基于卷积神经元网络的中医舌诊模型的确定方法的具体实施方式中，可选地，所述调整卷积神经元网络每层神经元的个数包括：

在一配置文件中配置卷积神经元网络的结构信息，所述卷积神经元网络的结构包括：输入层、第一卷积层、第一池化层、第二卷积层、第二池化层及全连接输出层；

在一配置文件中配置所述输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、全连接输出层的神经元构成以及输入参数和输出参数；

在一配置文件中配置神经元激活函数，避免训练过程陷入极小值导致训练停滞。

本发明实施例中，例如，可以在配置文件.prototxt文件中，配置6层的卷积神经元网络，所述卷积神经元网络的结构包括：输入层、第一卷积层、第一池化层、第二卷积层、第二池化层及全连接输出层，所述输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、全连接输出层的神经元构成(包括：神经元个数)以及输入参数和输出参数，还能配置神经元激活函数为ReLu函数，所述ReLu函数能够避免训练过程陷入极小值而导致训练停滞的情况，使得之后的训练起不到任何作用，还会导致训练完后的卷积神经元网络的诊断结果的准确率降低。

本发明实施例中，还需在解决器的配置文件中指定learning rate(学习速率)为0.01，stepsize(步长大小)为100000，迭代次数为450000次，momentum(动量)为0.9，weightdecay(权重衰退)为0.0005，指定模式为图形处理器(Graphic Processing Unit，GPU)。

本发明实施例中，参看图3所示，所述输入层由原始图像像素排列构成，用于输入患者舌部图像信息；

所述第一卷积层，用于将预先训练好的第一探测器与输入层输入的患者舌部图像信息进行卷积运算得到第一卷积特征图，卷积特征图相比于原始图像特征(像素)而言更抽象、概括，更能表征原始图像；

所述第一池化层，用于对第一卷积层输出的第一卷积特征图进行采样，得到采样区域的第一特征平均值(也称为第一池化特征图)，以解决过拟合的情况，并降低计算量，提升计算效率；

所述第二卷积层，用于将预先训练好的第二探测器与第一池化层输出的第一特征平均值进行卷积元素得到第二卷积特征图；

所述第二池化层，用于对第二卷积层输出的第二卷积特征图进行采样，得到采样区域的第二特征平均值(也称为第二池化特征图)；

所述全连接输出层采用Softmax算法能够得到多分类输出，用于对第二池化层输出的第二特征平均值进行训练，分类输出舌诊结果，所述舌诊结果包括：正常、肝硬化、肝癌、乙肝。

本发明实施例中，运用反向传播算法，利用所述训练集对调整后的卷积神经元网络进行训练，确定不同结构的卷积神经元网络的参数具体步骤可以如下：

S1，通过随机函数初始化卷积神经元网络中的所有权重，使它们近似等于0；

S2，根据训练集中给定的训练样本，首先进行前向传导运算，即由输入层与第一卷积层权重作矩阵运算得到第一池化层所有神经元的激活值，将此与第一池化层权重作矩阵运算得到第二卷积层所有神经元的激活值，以此类推，最终得到全连接输出层的激活值；

S3，利用全连接输出层产生的激活值与实际值之间的误差和全连接输出层的权重，确定第二池化层的误差，以此类推，算出每一层相应的误差，所述误差称为残差，表明了该层对最终输出值的残差产生了多少影响；以此类推，可以算出每一层相应的残差；

S4，利用每一层的残差算出响应的偏导数，利用偏导数来更新所有权重；

S5，重复S2～S4，直至完预设的迭代次数后，完成卷积神经元网络的训练过程，保存训练结果。

本发明实施例中，需确定的卷积神经元网络的参数包括：卷积神经元网络中的所有权重。

在前述基于卷积神经元网络的中医舌诊模型的确定方法的具体实施方式中，可选地，所述利用所述训练集对调整后的卷积神经元网络进行训练包括：

将所述训练集拆成多个子训练集，每个子训练集对调整后的各个卷积神经元网络的训练过程由各子训练集对应的图形处理器进行并行处理；

将各图形处理器的并行处理结果进行累加，完成所述训练集对调整后的卷积神经元网络的训练过程。

本发明实施例中，原始Caffe只实现了单GPU计算，当计算量更大时，效率就会出现停滞，由于卷积神经元网络的的训练过程可以通过并行计算再累加的方式实现，因此，本发明实施例可以通过优化Caffe代码，将多GPU的并行计算结果进行累加，使之可以实现多GPU计算，具体的，通过将所述训练集拆成多个子训练集，每个子训练集对调整后的各个卷积神经元网络的训练过程由各子训练集对应的GPU进行并行处理，每个子训练集交由一个GPU进行计算，最后再将并行处理结果进行累加从而实现了多GPU计算并完成所述训练集对调整后的卷积神经元网络的训练过程，使计算效率大大提升。与单GPU相比，GPU的并行运算能力能提升多倍的计算效率。

实施例二

本发明还提供一种基于卷积神经元网络的中医舌诊模型的确定系统的具体实施方式，由于本发明提供的基于卷积神经元网络的中医舌诊模型的确定系统与前述基于卷积神经元网络的中医舌诊模型的确定方法的具体实施方式相对应，该基于卷积神经元网络的中医舌诊模型的确定系统可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述基于卷积神经元网络的中医舌诊模型的确定方法具体实施方式中的解释说明，也适用于本发明提供的基于卷积神经元网络的中医舌诊模型的确定系统的具体实施方式，在本发明以下的具体实施方式中将不再赘述。

本发明实施例还提供一种基于卷积神经元网络的中医舌诊模型的确定系统，包括：

第一获取单元：用于获取患者舌部图像信息作为训练集及交叉验证集；

卷积神经元网络确定单元：用于调整卷积神经元网络每层神经元的个数，利用所述训练集对调整后的多个不同卷积神经元网络分别进行训练，确定多个不同结构的卷积神经元网络的参数；

最优舌诊模型确定单元：用于将所述交叉验证集分别作为所述多个不同结构卷积神经元网络的输入，将舌诊结果准确率最高的卷积神经元网络作为最优舌诊模型。

本发明实施例所述的基于卷积神经元网络的中医舌诊模型的确定系统，通过获取患者舌部图像信息作为训练集及交叉验证集，并调整卷积神经元网络每层神经元的个数，利用所述训练集对调整后的多个不同卷积神经元网络分别进行训练，确定多个不同结构的卷积神经元网络的参数，最后将所述交叉验证集分别作为所述多个不同结构卷积神经元网络的输入，将舌诊结果准确率最高的卷积神经元网络作为最优舌诊模型。这样，通过训练集对多个不同结构的卷积神经元网络分别进行训练，再通过交叉验证集确定舌诊结果准确率最高的卷积神经元网络，并舌诊结果准确率最高的卷积神经元网络将作为最优舌诊模型，利用该最优舌诊模型对获取到的患者舌部图像进行诊断，能够增加诊断结果的准确率和可靠性。

在前述基于卷积神经元网络的中医舌诊模型的确定系统的具体实施方式中，可选地，所述卷积神经元网络的结构包括：输入层、第一卷积层、第一池化层、第二卷积层、第二池化层及全连接输出层；

所述输入层，用于输入患者舌部图像信息；

所述第一卷积层，用于将预先训练好的第一探测器与输入层输入的患者舌部图像信息进行卷积运算得到第一卷积特征图；

所述第一池化层，用于对第一卷积层输出的第一卷积特征图进行采样，得到采样区域的第一特征平均值；

所述第二卷积层，用于将预先训练好的第二探测器与第一池化层输出的第一特征平均值进行卷积元素得到第二卷积特征图；

所述第二池化层，用于对第二卷积层输出的第二卷积特征图进行采样，得到采样区域的第二特征平均值；

所述全连接输出层，用于对第二池化层输出的第二特征平均值进行训练，分类输出舌诊结果，所述舌诊结果包括：正常、肝硬化、肝癌、乙肝。

在前述基于卷积神经元网络的中医舌诊模型的确定系统的具体实施方式中，可选地，所述系统还包括：

第二获取单元，用于获取患者舌部图像信息作为测试集；

测试单元，用于将所述测试集作为最优舌诊模型的输入，得到测试集中各测试样本的舌诊结果，统计舌诊结果的准确性；

所述卷积神经元网络确定单元包括：

初始化模块，用于初始化卷积神经元网络中的所有权重；

激活值生成模块，用于根据训练集中给定的训练样本，进行前向传导运算，即由输入层与第一卷积层权重作矩阵运算得到第一池化层所有神经元的激活值，将此与第一池化层权重作矩阵运算得到第二卷积层所有神经元的激活值，以此类推，最终得到全连接输出层的激活值；

误差确定模块，用于利用全连接输出层产生的激活值与实际值之间的误差和全连接输出层的权重，确定第二池化层的误差，以此类推，算出每一层相应的误差；

权重更新模块，用于利用每一层的误差算出响应的偏导数，利用偏导数来更新所有权重；

训练结果保存模块，用于重复S2～S4，直至完预设的迭代次数后，完成卷积神经元网络的训练过程，保存训练结果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种基于卷积神经元网络的中医舌诊模型的确定方法，其特征在于，包括：

获取患者舌部图像信息作为训练集及交叉验证集，对所述训练集、交叉验证集中的舌部图像进行预处理，其中，所述预处理包括：统一训练集、交叉验证集中的舌部图像的大小、作主成分分析和白化处理；

调整卷积神经元网络每层神经元的个数，利用所述训练集对调整后的多个不同卷积神经元网络分别进行训练，确定多个不同结构的卷积神经元网络的参数；

将所述交叉验证集分别作为所述多个不同结构卷积神经元网络的输入，将舌诊结果准确率最高的卷积神经元网络作为最优舌诊模型；其中，

所述利用所述训练集对调整后的卷积神经元网络进行训练包括：

将所述训练集拆成多个子训练集，每个子训练集对调整后的各个卷积神经元网络的训练过程由各子训练集对应的图形处理器进行并行处理；

将各图形处理器的并行处理结果进行累加，完成所述训练集对调整后的卷积神经元网络的训练过程；

其中，所述调整卷积神经元网络每层神经元的个数包括：

在一配置文件中配置卷积神经元网络的结构信息，所述卷积神经元网络的结构包括：输入层、第一卷积层、第一池化层、第二卷积层、第二池化层及全连接输出层；

在一配置文件中配置所述输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、全连接输出层的神经元构成以及输入参数和输出参数；

在一配置文件中配置神经元激活函数，避免训练过程陷入极小值导致训练停滞，其中，所述神经元激活函数为ReLu函数；

在解决器中配置的参数包括：学习速率为0.01、动量为0.9、权重衰退0.0005、步长大小为100000；

其中，所述利用所述训练集对调整后的卷积神经元网络进行训练，确定不同结构的卷积神经元网络的参数包括：

S1，初始化卷积神经元网络中的所有权重；

S2，根据训练集中给定的训练样本，进行前向传导运算，即由输入层与第一卷积层权重作矩阵运算得到第一池化层所有神经元的激活值，将此与第一池化层权重作矩阵运算得到第二卷积层所有神经元的激活值，以此类推，最终得到全连接输出层的激活值；

S3，利用全连接输出层产生的激活值与实际值之间的误差和全连接输出层的权重，确定第二池化层的误差，以此类推，算出每一层相应的误差；

S4，利用每一层的误差算出响应的偏导数，利用偏导数来更新所有权重；

S5，重复S2～S4，直至完预设的迭代次数后，完成卷积神经元网络的训练过程，保存训练结果。