CN109242089A

CN109242089A - 递进监督深度学习神经网络训练方法、系统、介质和设备

Info

Publication number: CN109242089A
Application number: CN201810838688.9A
Authority: CN
Inventors: 朱定局
Original assignee: Daguo Innovation Intelligent Technology Dongguan Co ltd
Current assignee: Daguo Innovation Intelligent Technology Dongguan Co ltd
Priority date: 2018-07-27
Filing date: 2018-07-27
Publication date: 2019-01-18
Anticipated expiration: 2038-07-27
Also published as: CN109242089B

Abstract

本发明公开了一种递进监督深度学习神经网络训练方法、系统、介质和设备，所述方法包括：建立初始深度学习神经网络；将初始深度学习神经网络的分类器层作为当前待监督训练层；将带标签训练输入数据作为初始深度学习神经网络的输入数据，对当前待监督训练层进行自顶向下的监督训练；当监督训练失败后，将当前待监督训练层及其前一个隐层作为当前待监督训练层，对当前待监督训练层进行自顶向下的监督训练；当监督训练成功后，输出当前深度学习神经网络。本发明通过监督训练修正无监督训练时未排除掉的非必要特性细节，达到充分拟合而不过分拟合的效果，从而提高样本数据和测试数据的训练成功率。

Description

递进监督深度学习神经网络训练方法、系统、介质和设备

技术领域

本发明涉及一种深度学习神经网络训练方法，尤其是一种递进监督深度学习神经网络训练方法、系统、介质和设备，属于神经网络训练领域。

背景技术

现有深度学习技术能通过输入数据得到输出标签(例如通过头像得到该人身份证号，又如通过语音得到该人身份证号)，在自顶向下的监督训练阶段必须要通过带标签数据的监督训练(例如带有身份证号标签的头像，又如带有身份证号标签的语音)。

但是，现有深度学习技术自顶向下监督训练，要么只是调节输出层与隐层之间的网络权值，要么调节所有层的网络权值。当顶层概念的类别比标签类别要多时，如果只调节输出层与隐层之间的分类器网络权值，如果分类器的网络结构比较简单，反复调节分类器的网络参数的结果往往是符合了这个输出标签又无法符合那个输出标签，也就是说无法实现充分的拟合。如果把分类器的网络结构设计得非常复杂，例如以层次复杂的BP神经网络作为分类器，那么又会出现过拟合的情况，使得某些关键特征在拟合中被舍弃，从而使得对样本而言分类结果完全正确，但到应用时就会发现不对。

可见，仅仅对输出层与隐层之间层次进行监督训练要么会无法充分拟合，要么会过拟合，都会导致深度学习在应用时失败。如果调节所有层的网络权值，那么又会破坏隐层中的认知权重和生成权重，使得调节之后得到的概念和景象不再完全是源于输入数据的特征和景象，而是为了输出标签的需要而被扭曲的特征和景象，同样会出现过拟合的现象，从而使得对样本而言分类结果完全正确，但到应用时就会发现不对。

发明内容

本发明的第一个目的是为了解决上述现有技术的缺陷，提供了一种递进监督深度学习神经网络训练方法，该方法通过监督训练修正无监督训练时未排除掉的非必要特性细节，达到充分拟合而不过分拟合的效果，从而提高样本数据和测试数据的训练成功率。

本发明的第二个目的在于提供一种递进监督深度学习神经网络训练系统。

本发明的第三个目的在于提供一种存储介质。

本发明的第四个目的在于提供一种计算设备。

本发明的第一个目的可以通过采取如下技术方案达到：

递进监督深度学习神经网络训练方法，所述方法包括：

建立初始深度学习神经网络；其中，所述初始深度学习神经网络包括输入层、隐层、分类器和输出层；

将初始深度学习神经网络的分类器层作为当前待监督训练层；

将带标签训练输入数据作为初始深度学习神经网络的输入数据，对当前待监督训练层进行自顶向下的监督训练；

当监督训练失败后，将当前待监督训练层及其前一个隐层作为当前待监督训练层，对当前待监督训练层进行自顶向下的监督训练；

当监督训练成功后，输出当前深度学习神经网络。

进一步的，对当前待监督训练层进行自顶向下的监督训练，具体包括：

将带标签训练输入数据作为初始深度学习神经网络的输入数据，通过初始深度学习神经网络的计算得到输出结果数据；

当输出结果数据不符合预设条件时，根据不符合预设条件的情况，决定是对分类器的网络权值进行调整，还是输出监督训练失败；

当输出结果数据符合预设条件时，输出监督训练成功。

进一步的，所述输出结果数据包括顶层概念和实际输出标签；

所述预设条件包括：所有实际输出标签与带标签训练输入数据对应的预期输出标签的残差小于或等于残差阈值，且训练总次数小于或等于次数阈值；

所述根据不符合预设条件的情况，决定对分类器的网络权值进行调整，还是输出监督训练失败，具体包括：

当实际输出标签与带标签训练输入数据对应的预期输出标签的残差大于残差阈值，且训练总次数小于或等于次数阈值时，根据残差对分类器的网络权值进行调整，并将顶层概念作为分类器的输入，通过分类器计算得到新的实际输出标签；

当实际输出标签与带标签训练输入数据对应的预期输出标签的残差大于残差阈值，且训练总次数大于次数阈值时，输出监督训练失败。

进一步的，所述建立初始深度学习神经网络，具体包括：

获取无标签训练输入数据；

将无标签训练输入数据作为深度神经网络的输入数据，进行自下而上的无监督训练，得到初始深度学习神经网络。

本发明的第二个目的可以通过采取如下技术方案达到：

递进监督深度学习神经网络训练系统，所述系统包括：

建立模块，用于建立初始深度学习神经网络；其中，所述初始深度学习神经网络包括输入层、隐层、分类器和输出层；

获取模块，用于将初始深度学习神经网络的分类器层作为当前待监督训练层；

第一监督训练模块，用于将带标签训练输入数据作为初始深度学习神经网络的输入数据，对当前待监督训练层进行自顶向下的监督训练；

第二监督训练模块，用于当监督训练失败后，将当前待监督训练层及其前一个隐层作为当前待监督训练层，对当前待监督训练层进行自顶向下的监督训练；

输出模块，用于当监督训练成功后，输出当前深度学习神经网络。

当输出结果数据符合预设条件时，输出监督训练成功。

进一步的，所述建立模块，具体包括：

获取单元，用于获取无标签训练输入数据；

无监督训练单元，用于将无标签训练输入数据作为深度神经网络的输入数据，进行自下而上的无监督训练，得到初始深度学习神经网络。

本发明的第三个目的可以通过采取如下技术方案达到：

存储介质，存储有程序，所述程序被处理器执行时，实现上述的递进监督深度学习神经网络训练方法。

本发明的第四个目的可以通过采取如下技术方案达到：

计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的递进监督深度学习神经网络训练方法。

本发明相对于现有技术具有如下的有益效果：

1、本发明先建立一个初始深度学习神经网络，再将初始深度学习神经网络的分类器层作为当前待监督训练层，然后将带标签训练输入数据输入初始深度学习神经网络，对当前待监督训练层进行自顶向下的监督训练，若成功拟合，则完成监督训练，若拟合失败，则自顶向下对已监督训练过的层及其前一个隐层进行监督训练，重复执行，直到达到充分拟合，即实现了拟合的促进，从而提高样本数据和测试数据的训练成功率。

2、本发明的监督训练与现有深度学习技术中的监督训练相比，只是在分类器中进行，计算量更小，加快了监督训练的速度，同时由于没有影响到隐层，不会影响到无监督训练过程中得到的各级概念。

附图说明

图1为本发明实施例1的递进监督深度学习神经网络训练方法的流程图。

图2为本发明实施例1的递进监督深度学习神经网络训练方法中建立初始深度学习神经网络的流程图。

图3为本发明实施例1的递进监督深度学习神经网络训练方法中深度学习神经网络的模型图。

图4为本发明实施例1的递进监督深度学习神经网络训练方法中当前待监督训练层的示意图。

图5为本发明实施例1的递进监督深度学习神经网络训练方法中对当前待监督训练层进行自顶向下的监督训练的流程图。

图6为本发明实施例1的递进监督深度学习神经网络训练方法中第一次监督训练失败后当前待监督训练层的示意图。

图7为本发明实施例1的递进监督深度学习神经网络训练方法中第二次监督训练失败后当前待监督训练层的示意图。

图8为本发明实施例1的递进监督深度学习神经网络训练方法中第三次监督训练失败后当前待监督训练层的示意图。

图9为本发明实施例2的递进监督深度学习神经网络训练系统的结构框图。

图10为本发明实施例2的递进监督深度学习神经网络训练系统中建立模块的结构框图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1：

深度学习的说明和建立过程如下：

从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示：流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算以及一个计算的值，计算的结果被应用到这个节点的子节点的值。考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函数族。输入节点没有父节点，输出节点没有子节点。

这种流向图的一个特别属性是深度(depth)：从一个输入到一个输出的最长路径的长度。

把学习结构看作一个网络，则深度学习的核心思路如下：

第一步：采用自下而上的无监督训练

1)逐层构建单层神经元。

2)每层采用wake-sleep算法进行调优。每次仅调整一层，逐层调整。

这个过程可以看作是一个feature learning的过程，是和传统神经网络区别最大的部分。wake-sleep算法:1)wake阶段：认知过程，通过下层的输入特征(Input)和向上的认知(Encoder)权重产生每一层的抽象表示(Code)，再通过当前的生成(Decoder)权重产生一个重建信息(Reconstruction)，计算输入特征和重建信息残差，使用梯度下降修改层间的下行生成(Decoder)权重。也就是“如果现实跟我想象的不一样，改变我的生成权重使得我想象的东西变得与现实一样”。

2)sleep阶段：

生成过程，通过上层概念(Code)和向下的生成(Decoder)权重，生成下层的状态，再利用认知(Encoder)权重产生一个抽象景象。利用初始上层概念和新建抽象景象的残差，利用梯度下降修改层间向上的认知(Encoder)权重。也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念”。

第二步：自顶向下的监督训练

这一步是在第一步学习获得各层参数进的基础上，在最顶的编码层添加一个分类器(例如罗杰斯特回归、SVM等)，而后通过带标签数据的监督训练，利用梯度下降法去微调整个网络参数。

深度学习的第一步实质上是一个网络参数初始化过程。区别于传统神经网络初值随机初始化，深度学习神经网络是通过无监督训练输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。

在监督训练的过程中，如果未充分拟合，那会导致样本数据输入后很多得不到正确的输出标签，更谈不上测试数据了，从而导致了深度监督训练的失败；在监督训练的过程中，如果过分拟合，那会导致样本数据输入后都得到正确的输出标签，但测试数据输入后很多得不到正确的输出标签，从而导致了深度监督训练的失败。

因此，本实施例提供了一种递进监督深度学习神经网络训练方法，如图1所示，该方法包括以下步骤：

S101、建立初始深度学习神经网络。

建立初始深度学习神经网络的步骤如图2所示，具体包括：

S1011、获取无标签训练输入数据。

训练输入数据是用于深度学习神经网络进行训练的样本数据。例如：训练输入数据可以是人脸图像；具体地，训练输入数据可以是通过采集获取，例如：通过摄像头采集获取人脸图像；训练输入数据也可以是从数据库查找获取，例如：预先在数据库内存储人脸图像，从数据库中搜索人脸图像即可得到训练输入数据。

而无标签输入数据是没有携带标签的数据，以人脸图像为例，无标签输入数据为单一的人脸图像。

S1012、将无标签训练输入数据作为深度神经网络的输入，进行自下而上的无监督训练，得到初始深度学习神经网络。

具体地，无标签训练输入数据的数量可以有多个，依次将各无标签训练输入数据输入深度学习神经网络，对应完成一轮无监督学习，则一轮无监督学习对应的无监督学习的次数等于无标签训练输入数据的数量。

例如：将单一的人脸图像输入深度神经网络，进行自下而上的无监督训练，得到初始深度学习神经网络；如图3所示，初始深度学习神经网络包括输入层、隐层、分类器和输出层，其中隐层与输出层之间是分类器，该隐层是分类器的输入，输出层是分类器的输出，分类器包括罗杰斯特回归分类器、SVM(Support Vector Machine支持向量机)分类器中的任一种。

S102、将初始深度学习神经网络的分类器层作为当前待监督训练层。

初始深度学习神经网络的分类器层，即输出层+倒数第一个隐层(最后一个隐层)，其中输出层与倒数第一个隐层之间为分类器，将输出层+倒数第一个隐层作为当前待监督训练层，如图4中示出的圆圈标记。

S103、将带标签训练输入数据作为初始深度学习神经网络的输入数据，对当前待监督训练层进行自顶向下的监督训练。

带标签输入数据是携带有标签的数据，每一个带标签输入数据对应一个预期输出标签，带标签输入数据和预期输出标签可预先对应存储，其中，标签和预期输出标签是一种标识信息，以无标签训练输入数据是单一的人脸图像为例，带标签输入数据可以为携带有身份证号码的人脸图像，预期输出标签为携带有身份证号码的人脸图像所对应的用户的真实身份证号码。

如图5将带标签训练输入数据作为初始深度学习神经网络的输入数据，对当前待监督训练层进行自顶向下的监督训练，具体包括：

S1031、将带标签训练输入数据作为初始深度学习神经网络的输入数据，通过初始深度学习神经网络的计算得到输出结果数据。

具体地，每一个输出结果数据包括顶层概念和实际输出标签，将当前输出结果数据的顶层概念和实际输出标签分别作为当前顶层概念和当前输出标签。

若当前输出标签与带标签训练输入数据对应的预期输出标签的残差大于残差阈值，且训练总次数小于或等于次数阈值，这属于不符合预设条件的其中一种情况，在这种情况下，进入步骤S1032；其中，训练总次数为监督训练的次数，顶层概念为最后一个隐层的输出，本实施例的监督训练与现有深度学习技术中的监督训练不同，只是在分类器中进行，计算量更小，加快了监督训练的速度，同时由于没有影响到隐层，不会影响到无监督训练过程中得到的各级概念。

若当前输出标签与带标签训练输入数据对应的预期输出标签的残差大于残差阈值，且训练总次数大于次数阈值，这属于不符合预设条件的另一种情况，在这种情况下，结束训练，进入步骤1033。

若当前输出标签与带标签训练输入数据对应的预期输出标签的残差小于或等于残差阈值，则当前输出标签对应的带标签训练输入数据可以使用在初始深度学习神经网络中，得到新的深度学习神经网络，继续对其他带标签训练输入数据进行训练，当所有实际输出标签与带标签训练输入数据对应的预期输出标签的残差小于或等于残差阈值，且训练总次数小于或等于次数阈值时，符合预设条件，也就是说所有带标签训练输入数据都被训练使用后，进入步骤S1034。

S1032、根据残差对分类器的网络权值进行调整，并将当前顶层概念作为分类器的输入，通过分类器计算得到新的实际输出标签。

得到新的实际输出标签后，将这个新的实际输出标签作为当前输出标签，再判断该当前输出标签与带标签训练输入数据对应的预期输出标签的残差是否大于残差阈值，判断方式同上述步骤S1031。

S1033、输出监督训练失败，进入步骤S104。

S1034、输出监督训练成功，进入步骤S105。

S104、将当前待监督训练层及其前一个隐层作为当前待监督训练层。

在监督训练过程中，如果不能充分拟合，说明样本数据的特征可能在认知过程中收到不必要的特性细节的干扰，因此就需要向下递进一个层，来通过监督训练修正非监督训练时未排除掉的非必要特性细节，直到达到充分拟合。

如果第一次监督训练失败，那么当前待监督训练层变为输出层+倒数第一个隐层+倒数第二个隐层，如图6中示出的圆圈标记，返回步骤S103，第二次对当前待监督训练层进行自顶向下的监督训练。

如果第二次监督训练失败，那么当前待监督训练层变为输出层+倒数第一个隐层+倒数第二个隐层+倒数第三个隐层，如图7中示出的圆圈标记，返回步骤S103，第三次对当前待监督训练层进行自顶向下的监督训练。

如果第三次监督训练失败，那么当前监督训练层变为输出层+倒数第一个隐层+倒数第二个隐层+倒数第三个隐层+倒数第四个隐层，如图8中示出的圆圈标记，返回步骤S103，第四次对当前待监督训练层进行自顶向下的监督训练。

依次类推，如果第N次监督训练失败，那么当前监督训练层变为输出层+倒数第一个隐层+倒数第二个隐层+倒数第三个隐层……+倒数第N+1个隐层，返回步骤S103，第N+1次对当前待监督训练层进行自顶向下的监督训练。

S105、输出当前深度学习神经网络。

监督训练成功后，结束监督训练，输出当前深度学习神经网络，作为刚好能够充分拟合的深度学习神经网络，能够充分拟合的深度学习神经网络指的是既不会不充分拟合，又不会过分拟合，而是恰到好处的拟合。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

实施例2：

如图9所示，本实施例提供了一种递进监督深度学习神经网络训练系统，该系统包括建立模块901、获取模块902、第一监督训练模块903、第二监督训练模块904和输出模块905，各个模块的具体功能如下：

所述建立模块901，用于建立初始深度学习神经网络；其中，所述初始深度学习神经网络包括输入层、隐层、分类器和输出层，该模块如图10所示，具体包括：

获取单元9011，用于获取无标签训练输入数据；

无监督训练单元9012，用于将无标签训练输入数据作为深度神经网络的输入数据，进行自下而上的无监督训练，得到初始深度学习神经网络。

所述获取模块902，用于将初始深度学习神经网络的分类器层作为当前待监督训练层；

所述第一监督训练模块903，用于将带标签训练输入数据作为初始深度学习神经网络的输入数据，对当前待监督训练层进行自顶向下的监督训练；

所述第二监督训练模块904，用于当监督训练失败后，将当前待监督训练层及其前一个隐层作为当前待监督训练层，对当前待监督训练层进行自顶向下的监督训练；

其中，当前待监督训练层进行自顶向下的监督训练，具体包括：

将带标签训练输入数据作为初始深度学习神经网络的输入数据，通过初始深度学习神经网络的计算得到输出结果数据；其中，所述输出结果数据包括顶层概念和实际输出标签；

当输出结果数据不符合预设条件时，根据不符合预设条件的情况，决定是对分类器的网络权值进行调整，还是输出监督训练失败；其中，所述预设条件包括：所有实际输出标签与带标签训练输入数据对应的预期输出标签的残差小于或等于残差阈值，且训练总次数小于或等于次数阈值，所述根据不符合预设条件的情况，决定是对分类器的网络权值进行调整，还是输出监督训练失败，具体包括：

当输出结果数据符合预设条件时，输出监督训练成功。

所述输出模块905，用于当监督训练成功后，输出当前深度学习神经网络。

在此需要说明的是，上述实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

可以理解，上述实施例的系统所使用的术语“第一”、“第二”等可用于描述各种单元，但这些单元不受这些术语限制。这些术语仅用于将第一个模块与另一个模块区分。举例来说，在不脱离本发明的范围的情况下，可以将第一监督训练模块称为第二监督训练模块，且类似地，可将第二监督训练模块称为第一监督训练模块，第一监督训练模块和第二监督训练模块两者都是监督训练模块，但其不是同一监督训练模块。

实施例3：

本实施例提供了一种存储介质，该存储介质存储有一个或多个程序，所述程序被处理器执行时，实现上述实施例1的递进监督深度学习神经网络训练方法，如下：

当监督训练成功后，输出当前深度学习神经网络。

本实施例中所述的存储介质可以是ROM、RAM、磁盘、光盘等介质。

实施例4：

本实施例提供了一种计算设备，该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现上述实施例1的递进监督深度学习神经网络训练方法，如下：

当监督训练成功后，输出当前深度学习神经网络。

本实施例中所述的计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备。

综上所述，本发明先建立一个初始深度学习神经网络，再将初始深度学习神经网络的分类器层作为当前待监督训练层，然后将带标签训练输入数据输入初始深度学习神经网络，对当前待监督训练层进行自顶向下的监督训练，若成功拟合，则完成监督训练，若拟合失败，则自顶向下对已监督训练过的层及其前一个隐层进行监督训练，重复执行，直到达到充分拟合，即实现了拟合的促进，从而提高样本数据和测试数据的训练成功率。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims

1.递进监督深度学习神经网络训练方法，其特征在于：所述方法包括：

当监督训练成功后，输出当前深度学习神经网络。

2.根据权利要求1所述的递进监督深度学习神经网络训练方法，其特征在于：所述对当前待监督训练层进行自顶向下的监督训练，具体包括：

当输出结果数据符合预设条件时，输出监督训练成功。

3.根据权利要求2所述的递进监督深度学习神经网络训练方法，其特征在于：所述输出结果数据包括顶层概念和实际输出标签；

4.根据权利要求1-3任一项所述的递进监督深度学习神经网络训练方法，其特征在于：所述建立初始深度学习神经网络，具体包括：

获取无标签训练输入数据；

5.递进监督深度学习神经网络训练系统，其特征在于：所述系统包括：

6.根据权利要求5所述的递进监督深度学习神经网络训练系统，其特征在于：所述对当前待监督训练层进行自顶向下的监督训练，具体包括：

当输出结果数据符合预设条件时，输出监督训练成功。

7.根据权利要求6所述的递进监督深度学习神经网络训练系统，其特征在于：所述输出结果数据包括顶层概念和实际输出标签；

8.根据权利要求5-7任一项所述的递进监督深度学习神经网络训练系统，其特征在于：所述建立模块，具体包括：

获取单元，用于获取无标签训练输入数据；

9.存储介质，存储有程序，其特征在于：所述程序被处理器执行时，实现权利要求1-4任一项所述的递进监督深度学习神经网络训练方法。

10.计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于：所述处理器执行存储器存储的程序时，实现权利要求1-4任一项所述的递进监督深度学习神经网络训练方法。