CN106033555A - 基于满足k度稀疏约束的深度学习模型的大数据处理方法 - Google Patents

Abstract

本发明提出了基于满足K度稀疏约束的深度学习模型的大数据处理方法，所述方法包括：步骤1)通过渐变剪枝法用无标注训练样本构建满足K度稀疏约束的深度学习模型；所述K度稀疏约束包括节点K度稀疏约束和层次K度稀疏约束；步骤2)将更新后的训练样本输入所述满足K度稀疏约束的深度学习模型，优化模型的各层的权重参数；进而得到优化的满足K度稀疏约束的深度学习模型；步骤3)将待处理的大数据输入所述优化的满足K度稀疏约束的深度学习模型进行处理，最后输出处理结果。本发明的方法能够降低大数据处理的难度，提高大数据处理的速度。

Description

基于满足K度稀疏约束的深度学习模型的大数据处理方法

技术领域

本发明涉及人工智能和大数据领域，特别涉及基于满足K度约束的深度学习模型的大数据处理方法。

背景技术

随着网络技术的快速发展，数据的容量和多样性快速增加，而处理数据的算法复杂度却难以改善，如何高效处理大数据已经成为一个紧迫的难题。在现有的依赖个人经验和手工操作来描述数据、标注数据、选择特征、提取特征、处理数据的方法，已经很难满足大数据快速增长的需求。随着人工智能技术的快速发展，特别是深度学习算法的研究突破，为解决大数据处理问题指明了一个值得探索的方向。

Hinton等人在2006年提出了用于深度置信网的逐层初始化训练方法，这是深度学习方法的研究起点，该方法打破了持续了几十年的深度神经网络训练困难且效果不好的局面。此后，深度学习算法替代了传统算法，在图像识别、语音识别、自然语言理解等领域得到广泛的应用。深度学习是通过模拟人脑分层次的抽象，将底层数据逐层映射而获得更抽象的特征，由于它可以从大数据中自动提取特征，并通过海量的样本训练获得很好的处理效果，从而得到了广泛的关注。实际上，大数据的快速增长和深度学习的研究突破是相辅相成的，一方面大数据的快速增长需要一种高效处理海量数据的方法，另一方面深度学习模型的训练需要海量的样本数据。总之，大数据可以使深度学习的性能达到极致。

但是，现有的深度学习模型仍然存在很多严重的问题，例如：模型难以扩展、参数优化困难、训练时间过长、推理效率低下等。在2013年Bengio的一篇综述论文中，总结了目前深度学习所面临的挑战和难点，包括如何扩展现有的深度学习模型的规模，并应用到更大的数据集；如何减小参数优化困难，如何避免昂贵的推理和采样，以及如何解开变化因素等。

发明内容

本发明的目的在于，克服在大数据应用中现有神经网络深度学习模型存在的上述问题，提出了基于满足K度稀疏约束的深度学习模型，该模型通过对各层神经元节点的正向出度进行约束，简化了模型的结构，提高了模型的训练速度和泛化能力，改善模型参数优化困难问题，将该模型应用于大数据处理，能够降低大数据处理的难度，提高大数据处理的速度。

为了实现上述目的，本发明提出了基于满足K度稀疏约束的深度学习模型的大数据处理方法，所述方法包括：

步骤1)通过渐变剪枝法用无标注训练样本构建满足K度稀疏约束的深度学习模型；所述K度稀疏约束包括节点K度稀疏约束和层次K度稀疏约束；所述节点K度稀疏约束是指模型中所有节点的正向出度不超过K；所述的K的取值范围为(1,N/H]，其中，N为所述深度学习模型中所有节点的个数；H为模型隐层的层数；所述层次K度稀疏约束是指第h层所有节点的正向出度的和小于第h-1层所有节点的正向出度的和；

步骤2)将更新后的训练样本输入所述满足K度稀疏约束的深度学习模型，优化模型的各层的权重参数；进而得到优化的满足K度稀疏约束的深度学习模型；

步骤3)将待处理的大数据输入所述优化的满足K度稀疏约束的深度学习模型进行处理，最后输出处理结果。

上述技术方案中，所述K的取值为：

$K=\left[\frac{\sqrt{d_{\mathrm{in}}{d}_{\mathrm{out}}}}{H}\right]$

其中，d_in为模型输入的维度，d_out为模型输出的维度，H为模型隐层的层数，[]为取整符号。

上述技术方案中，所述方法中的步骤1)进一步包括：

步骤101)按照输入层至输出层的顺序对深度学习模型的各层进行编号，令h＝-1；

设深度学习模型包括输入层、H个隐层和输出层，从输入层至输出层总共包括H+2层；设输入层的编号为0，第一个隐层的编号为1，依次类推，输出层的编号为H+1；

步骤102)令h＝h+1，初始化第h层和第h+1层的参数；

步骤103)将无标注训练样本集输入第h层，在第h层和第h+1层的代价函数最小化的过程中，调整第h层和第h+1层之间连接权重和第h+1层节点的偏置权重；

步骤104)当有连接权重小于第一阈值时，通过重构误差变化的概率函数来判断是否删除该连接；

如果有连接的权重衰减到小于第一阈值时，则根据有当前连接和无当前连接的两种情况下重构样本,得到重构误差变化ΔE_r，并以该误差变化的概率函数min[1，exp(-ΔE_r/E_r)]来决定是否删除当前连接；

步骤105)判断第h层所有节点的正向出度是否都小于K，如果判断结果是肯定的，当时，转入步骤106)；否则，转入步骤103)；

步骤106)若h>0，则判断第h层所有节点的正向出度的和是否小于第h-1层所有节点的正向出度的和，如果判断结果是肯定的，转入步骤107)，否则，转入步骤103)；

步骤107)判断代价函数变化是否小于第二阈值，如果判断结果是肯定的，转入步骤108)，否则，转入步骤103)；

步骤108)判断h＞H是否成立，如果判断结果是肯定的，步骤1)的流程结束；否则，转入步骤102)

上述技术方案中，所述方法中步骤2)的具体过程为：

将更新后的训练样本输入所述满足K度稀疏约束的深度学习模型，当输入的训练样本为无标注样本集时，将输入样本得到输出再逆转为输入，在k度约束下自输出层向输入层进行反向重构，计算重构误差E_r，以梯度下降或共轭梯度下降的方式调整各层权重；直至误差小于临界值；当输入的训练样本为有标注的样本集则将输出与相比较，计算出训练误差E_t，以梯度下降或共轭梯度下降的方式调整正向权重；直至误差小于临界值。

本发明的方法可以克服现有神经网络模型的训练速度过长、参数优化困难等缺点，提高深度前馈神经网络、深度置信网等现有神经网络模型的扩展能力、泛化能力和执行速度，改善无监督学习难度和参数优化难度，从而降低深度学习算法进行大数据处理的难度。

附图说明

图1为无层次K度稀疏网络及其节点度稀疏约束的示意图；

图2为有层次K度稀疏网络及其层次度稀疏约束的示意图；

图3为本发明的基于满足度稀疏约束的深度学习模型的大数据处理方法的流程图。

具体实施方式

首先对本发明涉及的概念进行解释。

如图1所示，无层次K度稀疏网络是指所有节点满足节点K度稀疏约束，节点K度稀疏约束是指：删除节点之间的不必要连接，直到所有节点的正向出度K_i都不超过K为止，其中K为一个设定的参数；正向是指从输入到输出的方向，如果有隐层，那么它是从输入到隐层再到输出的方向。

如图2所示，训练后的有层次K度稀疏网络是指所有层满足层次K度稀疏约束，层次K度稀疏约束是指：隐层的层次正向出度，即单一隐层节点的正向出度之和从输入到输出单调递减。作为层次K度稀疏约束的一种特殊情况，假如每一层中的节点的正向出度相等，那么每一层中的节点数和正向出度的乘积从输入到输出单调递减。

此外，作为上述k度稀疏网络的一些简单变化，节点k度稀疏网络是指满足k_i≤k的神经网络模型，层次K度稀疏网络是指满足的神经网络模型，节点上限K度稀疏网络是指满足k_i＝k的神经网络模型，层次上限K度稀疏网络是指满足的神经网络模型，理想上限K度稀疏网络是指同时满足k_i＝k和的神经网络模型，它们都可以直接应用本发明所涉及的方法。

下面用数学语言来描述满足K度稀疏约束的神经网络模型。

假设神经网络模型共有N个节点，先以全连接的方式形成网络,将不连接的权重取值为零，如图1所示，那么任何一个节点的输出x_j和该节点的输入集合X＝{x_i,i＝1…N}之间都满足以下运算规则：

x_j＝f(Σ_iw_ijx_i+b_j)，其中，x_i∈x，x_j∈X

这里的x_j是任意节点的输出，f是该节点的激活函数，b_j是该节点的偏置权重，w_ij是连接到该节点的输入权重，并允许存在取值为零的权重。

现定义整个神经网络模型的正向为从外部输入到输出的方向，如图1所示，对于K度稀疏网络来说，任取一个节点的输出都会正向输入到K_i个节点上：

K_i≤K

这里的K是一个超参数，通常要比全连接时的N小一些，甚至要小很多，以达到稀疏的效果；K的取值范围为(1,N/H]，其中，N为深度学习模型中所有节点的个数；H为模型隐层的层数；优选的，K的取值为：

$K=\left[\frac{\sqrt{d_{\mathrm{in}}{d}_{\mathrm{out}}}}{H}\right]$

其中，d_in为模型输入的维度，d_outt为模型输出的维度，H为模型隐层的层数，[]为取整符号。

K_i是第i个节点的正向出度，其中i＝1…N。如果是有层次K度稀疏网络，如图2所示，还必须满足所述的层次K度稀疏约束：

$\underset{i}{\mathrm{\Σ}}{K}_i^{\left(j\right)}\≥\underset{i}{\mathrm{\Σ}}{K}_i^{(j+1)}$

这里的是第j个隐层中任意节点的正向出度，是第j+1个隐层中任意节点的正向出度。

对于第h个隐层来说，任取一个节点的输出都会正向输入到个节点上，有：

$K_i^{\left(h\right)}\≤K^{\left(h\right)}\≤K$

其中，K^(h)是第h个隐层的各节点的正向出度的最大值，根据隐层的不同，K^(h)可以不同，但K值保持不变。

如图3所示，本发明提供了基于满足K度稀疏约束的深度学习模型的大数据处理方法，所述方法包括：

步骤1)通过渐变剪枝法用无标注训练样本构建满足K度稀疏约束的深度学习模型；

所述步骤1)进一步包括：

步骤101)按照输入层至输出层的顺序对深度学习模型的各层进行编号，令h＝-1；

设深度学习模型包括输入层、H个隐层和输出层，从输入层至输出层总共包括H+2层；设输入层的编号为0，第一个隐层的编号为1，依次类推，输出层的编号为H+1；

步骤102)令h＝h+1，初始化第h层和第h+1层的参数；

步骤103)将无标注训练样本集输入第h层，在第h层和第h+1层的代价函数最小化的过程中，调整第h层和第h+1层之间连接权重和第h+1层节点的偏置权重；

步骤104)当有连接权重小于第一阈值时，通过重构误差变化的概率函数来判断是否删除该连接；

如果有连接的权重衰减到小于第一阈值时，则根据有当前连接和无当前连接的两种情况下重构样本,得到重构误差变化ΔE_r，并以该误差变化的概率函数min[1，exp(-ΔE_r/E_r)]来决定是否删除当前连接；

步骤105)判断第h层所有节点的正向出度是否都小于K，如果判断结果是肯定的，当时，转入步骤106)；否则，转入步骤103)；

步骤106)若h>0，则判断第h层所有节点的正向出度的和是否小于第h-1层所有节点的正向出度的和，如果判断结果是肯定的，转入步骤107)，否则，转入步骤103)；

步骤107)判断代价函数变化是否小于第二阈值，如果判断结果是肯定的，转入步骤108)，否则，转入步骤103)；

步骤108)判断h＞H是否成立，如果判断结果是肯定的，步骤1)的流程结束；否则，转入步骤102)。

步骤2)将更新后的训练样本输入所述满足K度稀疏约束的深度学习模型，优化模型的各层的权重参数；进而得到优化的满足K度稀疏约束的深度学习模型；

将更新训练样本输入所述满足K度稀疏约束的深度学习模型，当输入的训练样本为无标注样本集时，将输入样本得到输出再逆转为输入，在k度约束下自输出层向输入层进行反向重构，计算重构误差E_r，以梯度下降或共轭梯度下降的方式调整各层权重；直至误差小于临界值；当输入的训练样本为有标注的样本集则将输出与相比较，计算出训练误差E_t，以梯度下降或共轭梯度下降的方式调整正向权重；直至误差小于临界值。

步骤2)将更新后的训练样本输入所述满足K度稀疏约束的深度学习模型，优化模型的各层的权重参数；进而得到优化的满足K度稀疏约束的深度学习模型；

步骤3)将待处理的大数据输入所述优化的满足K度稀疏约束的深度学习模型进行处理，最后输出处理结果。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.基于满足K度稀疏约束的深度学习模型的大数据处理方法，所述方法包括：

步骤1)通过渐变剪枝法用无标注训练样本构建满足K度稀疏约束的深度学习模型；所述K度稀疏约束包括节点K度稀疏约束和层次K度稀疏约束；所述节点K度稀疏约束是指模型中所有节点的正向出度不超过K；所述的K的取值范围为(1,N/H]，其中，N为所述深度学习模型中所有节点的个数；H为模型隐层的层数；所述层次K度稀疏约束是指第h层所有节点的正向出度的和小于第h-1层所有节点的正向出度的和；

步骤2)将更新后的训练样本输入所述满足K度稀疏约束的深度学习模型，优化模型的各层的权重参数；进而得到优化的满足K度稀疏约束的深度学习模型；

步骤3)将待处理的大数据输入所述优化的满足K度稀疏约束的深度学习模型进行处理，最后输出处理结果。

2.根据权利要求1所述的基于满足K度稀疏约束的深度学习模型的大数据处理方法，其特征在于，所述K的取值为：

$K=\left[\frac{\sqrt{d_{\mathrm{in}}{d}_{\mathrm{out}}}}{H}\right]$

其中，d_in为模型输入的维度，d_out为模型输出的维度，H为模型隐层的层数，[]为取整符号。

3.根据权利要求1所述的基于满足K度稀疏约束的深度学习模型的大数据处理方法，所述方法中的步骤1)进一步包括：

步骤101)按照输入层至输出层的顺序对深度学习模型的各层进行编号，令h＝-1；

设深度学习模型包括输入层、H个隐层和输出层，从输入层至输出层总共包括H+2层；设输入层的编号为0，第一个隐层的编号为1，依次类推，输出层的编号为H+1；

步骤102)令h＝h+1，初始化第h层和第h+1层的参数；

步骤103)将无标注训练样本集输入第h层，在第h层和第h+1层的代价函数最小化的过程中，调整第h层和第h+1层之间连接权重和第h+1层节点的偏置权重；

步骤104)当有连接权重小于第一阈值时，通过重构误差变化的概率函数来判断是否删除该连接；

如果有连接的权重衰减到小于第一阈值时，则根据有当前连接和无当前连接的两种情况下重构样本,得到重构误差变化ΔE_r，并以该误差变化的概率函数min[1，exp(-ΔE_r/E_r)来决定是否删除当前连接；

步骤105)判断第h层所有节点的正向出度是否都小于K，如果判断结果是肯定的，当时，转入步骤106)；否则，转入步骤103)；

步骤106)若h>0，则判断第h层所有节点的正向出度的和是否小于第h-1层所有节点的正向出度的和，如果判断结果是肯定的，转入步骤107)，否则，转入步骤103)；

步骤107)判断代价函数变化是否小于第二阈值，如果判断结果是肯定的，转入步骤108)，否则，转入步骤103)；

步骤108)判断h＞H是否成立，如果判断结果是肯定的，步骤1)的流程结束；否则，转入步骤102)。

4.根据权利要求3所述的基于满足K度稀疏约束的深度学习模型的大数据处理方法，所述方法中步骤2)的具体过程为：

将更新后的训练样本输入所述满足K度稀疏约束的深度学习模型，当输入的训练样本为无标注样本集时，将输入样本得到输出再逆转为输入，在k度约束下自输出层向输入层进行反向重构，计算重构误差E_r，以梯度下降或共轭梯度下降的方式调整各层权重；直至误差小于临界值；当输入的训练样本为有标注的样本集则将输出与相比较，计算出训练误差E_t，以梯度下降或共轭梯度下降的方式调整正向权重；直至误差小于临界值。