CN104598552A - 一种支持增量式更新的大数据特征学习的方法 - Google Patents

Abstract

本发明公开了一种支持增量式更新的大数据特征学习的方法，包括如下步骤：基于一阶近似的参数更新算法来获取神经网络模型中更新的神经网络模型的参数；采用L-范数计算神经网络模型更新前后的误差值；判断所述误差值是否大于神经网络模型误差上线阈值；如果所述误差值小于神经网络模型误差上线阈值，则将计算出的更新的神经网络模型的参数作为更新的神经网络模型的参数；如果所述误差值大于等于神经网络模型误差上线阈值，则基于增加隐藏层神经元的结构更新算法获取更新的神经网络模型的参数。本发明实施例的方法通过参数和网络结构的更新实现对前馈神经网络的更新，使得更新的神经网络模型能够有效学习动态变化的大数据特征。

Description

一种支持增量式更新的大数据特征学习的方法

技术领域

本发明涉及计算机技术领域，具体涉及一种支持增量式更新的大数据特征学习的方法。

背景技术

近年来，随着电子商务、科学研究等领域的迅速发展，数据量正以惊人的速度增长。比如淘宝网每日新增的交易数据达10TB；eBay分析平台日处理数据量高达100PB，据美国国家安全局估算，互联网每天产生的数据高达1826PB。这些数据的类型多样，高度异构，包括网络日志、音频、视频、图片、地理位置信息等。数据的内容与分布特征均处于高速动态变化之中，并要求被实时分析和处理，这与传统数据挖掘有着本质不同，尤其是在欺诈检测，大规模在线监测与检测等；需要做到数据的实时分析和处理。大数据的爆炸式产生为诸多行业带来了前所未有的发展机遇与变革潜力，如商业金融、医疗保健行业的制造以及教育服务领域，同时大数据的复杂性与高速变化特性为其特征学习来了巨大的挑战。

现有的特征学习方法无法有效的从快速变化的大数据中学习到有用的特征。深度学习的出现为大数据特征学习提供了新的解决思路。如今，深度学习在图像分析、语音识别及自然语言处理方面取得了巨大的进展。大数据具有高速变化特性，数据以极快的速度产生，其内容和分布特征均处于高速动态变化之中。同时，大数据要求得到及时分析与处理。典型的深度学习采用前馈神经网络堆叠而成，前馈神经网络是一种静态学习模型，导致深度学习难以学习处于高速动态变化中的大数据特征。

一个神经网络的知识由其参数和结构(隐藏层神经元数目与神经元间的连接方式)表示，为了能够学习动态数据的特征，研究人员提出了增量式学习模型。增量式学习模型是指建立在已有模型的基础上，即不需要历史数据重新训练，根据当前的新数据实例更新模型的参数与结构，使之能够学习变化数据的特征；同时需要尽力保持模型的原始参数，使得更新模型仍能有效学习历史数据特征。典型的增量式学习模型采用在线学习的方式，每次学习一个数据实例并更新网络模型的参数。这种方法不但能够使网络模型快速学习新数据的特征，而且不需要将整个数据集加载到内存中。然而在线学习方式对参数的更新速度过快，尤其在大数据时代，数据内容与特征处于高速变化之中，每次根据新的数据实例对网络模型参数进行更新，会使得整个模型对原始参数的遗忘速率过快，导致更新后的模型无法再学习历史数据的特征。另一种典型的增量式学习模型采用增加网络隐藏层神经元的方式对模型进行更新，当新的数据实例到来后，增加网络隐藏层的神经元，重新计算网络模型的参数，使网络模型能够学习新数据的特征。这种方式能够尽可能的保持模型的原始知识，同时能够学习动态变化数据的特征。然而这种更新方法会不断的增加网络隐藏层神经元数目，使得网络规模迅速增大。随着网络规模的增大，冗余连接数目随之增多，面对规模巨大的动态变化的大数据而言，这会使得更新模型的训练速度、学习能力和泛化能力急剧降低。

发明内容

针对大数据具有高速变化特征，其内容与分布特征均处于动态变化中，现有技术无法很好的支持大数据增量式更新的学习特征，本发明实施例提供了一种支持增量式更新的大数据特征学习的方法，通过设计一个优化目标函数对参数进行快速增量式更新，为了在更新过程中保持网络的原始知识，利用L-范数计算参数更新前后的误差，当误差超过一定阈值时，通过增加隐藏层神经元数目网络对结构进行更新，使得更新后的网络能够实时学习动态变化大数据的特征。

本发明提供了一种支持增量式更新的大数据特征学习的方法，其特征在于，包括如下步骤：

基于一阶近似的参数更新算法来获取神经网络模型中更新的神经网络模型的参数；

采用L-范数计算神经网络模型更新前后的误差值；

判断所述误差值是否大于神经网络模型误差上线阈值；

如果所述误差值小于神经网络模型误差上线阈值，则将计算出的更新的神经网络模型的参数作为更新的神经网络模型的参数；如果所述误差值大于等于神经网络模型误差上线阈值，则基于增加隐藏层神经元的结构更新算法获取更新的神经网络模型的参数。

所述基于增加隐藏层神经元的结构更新算法获取更新的神经网络模型的参数步骤之后还包括：

对更新后的神经网络结构中的权重矩阵进行奇异值分解SVD，删除冗余的网络连接。

所述基于一阶近似的参数更新算法来获取神经网络模型中更新的网络模型的参数包括：

通过前向传播计算隐藏层神经元及神经网络模型的输出值；

计算神经网络模型的输出值与理想输出值的差值；

通过反向传播算法计算神经网络模型输出值对原始参数的偏导数；

计算偏导数矩阵的逆矩阵；

根据神经网络模型的输出值与理想输出值的差值和偏导数矩阵的逆矩阵计算出更新神经网络模型的参数增量；所述更新的神经网络模型的参数为原始参数和参数增量之和。

所述基于增加隐藏层神经元的结构更新算法获取更新的神经网络模型的参数包括：

在神经网络模型中引入新的参数与原始参数结合作为网络参数的初始值；

采用反向传播算法求解网络误差函数的偏导数；

利用梯度下降法更新网络参数。

针对以上问题，本文针对大数据的内容与特征处于不断变化特性，提出一种支持增量式更新的神经网络模型，该神经网络模型能够实时的学习处于高速变化的大数据特征。本文提出的方法通过参数和网络结构的更新实现对前馈神经网络的更新，使得更新的神经网络模型能够有效学习动态变化的大数据特征。在神经网络模型的更新过程中，每次根据一条新的数据实例进行更新，不需要将大规模数据加载到内存当中，因此能够有效学习大规模数据的特征。另外，在参数更新过程中，在原始参数基础上引入一阶近似思想，避免通过迭代的方式求参数增量，提高参数更新效率，使得更新的模型能够实时的学习动态变化大数据的特征，满足大数据特征学习的实时性要求。本发明实施例子提供的方法能够有效学习动态变化且规模巨大的大数据特征，同时最大程度保持模型原始知识，满足大数据特征学习的实时性要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的支持增量式更新的大数据特征学习的方法流程图；

图2是本发明实施例中的双层前馈神经网络结构示意图；

图3是本发明实施例中的更新的双层前馈神经网络结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

奇异值分解(Singular value decomposition，SVD)奇异值分解是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。

作为深度学习典型的模块，双层前馈神经网络包括输入层数据，隐藏层特征和网络的实际输出值。双层前馈神经网络的第一层通过编码函数f将输入层数据x映射到隐藏层特征h，如公式(1)所示。

h＝f(x)＝s_f(w⁽¹⁾x+b⁽¹⁾)  (1)

其中，sf为一个非线性激活函数，常用的激活函数为sigmoid函数，即f(z)＝1/(1+e-z)。

第二层通过解码函数将隐藏层特征h映射到网络的实际输出y’，如公式(2)所示。

y'＝g(h)＝s_g(w⁽²⁾x+b⁽²⁾)  (2)

其中，θ＝{w⁽¹⁾,b⁽¹⁾,w⁽²⁾,b⁽²⁾}为网络参数，w⁽¹⁾和w⁽²⁾分别代表网络的权重矩阵，b⁽¹⁾和b⁽²⁾是偏置向量。

前馈神经网络通过最小化网络实际输出值y’和理想输出y训练模型参数，目标函数定义如公式(3)所示。

$J_{\mathrm{AE}}\left(\mathrm{\θ}\right)=\underset{x\∈D}{\mathrm{\Σ}}L(y,g\left(f\left(x\right)\right))---\left(3\right)$

其中，L为损失函数，最常用的损失函数为平方差函数，即L(y,y')＝||y-y'||²。

在求解参数过程中，通常先采用反向传播算法(BP)求解目标函数对权重矩阵与偏置向量的梯度，然后利用各种优化方法对参数进行更新。

最典型的参数更新优化方法为梯度下降法，该方法每次沿着梯度下降最快的方向对参数进行更新，使得参数以最快的速度下降到极值点。梯度下降法很容易收敛到局部极小值点，且收敛速度越慢。

本发明实施例提供的支持增量式更新的大数据特征学习方法通过参数更新、结构更新和结构优化。一个自动编码神经网络的知识通过参数和结构体现，其中网络拓扑结构所隐藏的知识比参数知识更为丰富。因此本发明实施例提出的方法优先更新参数，只有参数更新超过一定阈值后，才通过结构的更新来学习快速变化的数据特征，这样确保在最大的程度上保持网络的原始知识。

相应的，图1示出了本发明实施例中的支持增量式更新的大数据特征学习的方法流程图，包括如下步骤：

S101、基于一阶近似的参数更新算法来获取神经网络模型中更新的神经网络模型的参数；

本发明实施例参考如图2所示的双层前馈神经网络为例进行说明，其中x＝{x1，x2，…，xn}代表数据实例的输入，y＝{y1，y2，…，ym}代表数据实例的真实输出，f(x，θ)表示当参数为θ时，x经过非线性映射f得到的实际输出。

对于新的数据实例{x，y}，为了使得模型能够学习新数据的特征，即网络模型的适应性，定义平均平方误差函数：

$J(x,\mathrm{\θ}+\mathrm{\Δ\θ})=\frac{1}{2}{\mathrm{\Δy}}_{\mathrm{new}}^T\·{\mathrm{\Δy}}_{\mathrm{new}}---\left(4\right)$

其中Δy_new表示实际值y和预测值之间的误差：

Δy_new＝f(x,θ+Δθ)-y  (5)

其中θ代表模型原始参数(模型原始知识)，Δθ代表参数增量(更新的知识)。网络的激活函数采用sigmoid函数，即f(z)＝1/(1+e-z)，其对自变量的导数为f’(z)＝f(z)(1-f(z))。则Δθ的求解过程如下：根据误差函数(4)可以定义代价函数如(6)所示：

$J(x,\mathrm{\θ}+\mathrm{\Δ\θ})=\frac{1}{2}{\mathrm{\Δy}}_{\mathrm{new}}^2=\frac{1}{2}{(f(x,\mathrm{\θ}+\mathrm{\Δ\θ})-y)}^2---\left(6\right)$

代价函数(6)的一阶近似如(7)所示：

$\begin{array}{c}J(x,\mathrm{\θ}+\mathrm{\Δ\θ})=\frac{1}{2}{(f(x,\mathrm{\θ}+\mathrm{\Δ\θ})-f(x,\mathrm{\θ})+f(x,\mathrm{\θ})-y)}^2\\ \≈\frac{1}{2}{(\frac{\∂f(x,\mathrm{\θ})}{\∂\mathrm{\θ}}\mathrm{\Δ\θ}+\mathrm{\Δy})}^2\end{array}---\left(7\right)$

代价函数(7)对Δθ求导，令导数等于0，求得Δθ的计算公式如(8)所示：

$\frac{\∂f(x,\mathrm{\θ})}{\∂\mathrm{\θ}}\mathrm{\Δ\θ}=-\mathrm{\Δy}$

$\mathrm{\Δ\θ}=-u\·{\left(\frac{\∂f(x,\mathrm{\θ})}{\∂\mathrm{\θ}}\right)}^{-1}\mathrm{\Δy}---\left(8\right)$

其中u为学习效率。

为了使得模型尽力保持原始知识，即对原始知识的保持性，定义模型更新前后的误差函数：

$E=\frac{1}{2}{m}_{L^2}^2(f(x,\mathrm{\θ}+\mathrm{\Δ\θ}),f(x,\mathrm{\θ}))---\left(9\right)$

其中表示两个函数之间的L²-范数，定义如(10)。

$m_{L^2}^2(f(x,\mathrm{\θ}+\mathrm{\Δ\θ}),f(x,\mathrm{\θ}))={\left(\underset{x\∈D}{\∫}{\left|\right|f(x,\mathrm{\θ}+\mathrm{\Δ\θ})-f(x,\mathrm{\θ})\left|\right|}^2\mathrm{dx}\right)}^2---\left(10\right)$

其中是积分区域，n是输入单元个数。

对于参数更新而言，给定一个新的数据样本{x，y}，寻找参数增量Δθ来更新原始参数θ，使得代价函数J(x,θ+Δθ)最小，误差满足E＜ε，使误差函数E所求误差小于学习预先设定的误差上线阈值ε，不至于在增量更新的道路上越走越偏，失去了初始所学的知识。

因此给予上述原理中的基于一阶近似的参数更新算法描述如下。

1)通过前向传播计算隐藏层神经元及神经网络模型的输出值f(x,θ)；

2)计算网络模型的输出值与理想输出值y的差值Δy；

3)通过反向传播算法计算网络模型输出值f(x,θ)对原始参数θ的偏导数

4)计算偏导数矩阵的逆矩阵

5)根据公式(8)计算网络模型的参数增量Δθ，将网络模型的参数更新为θ+Δθ。

S102、采用L-范数计算神经网络模型更新前后的误差值；

根据公式(10)计算网络模型更新前后参数的误差值E。

S103、判断所述误差值是否大于神经网络模型误差上线阈值，如果小于则进入到S104，若大于则进入到S105中；

ε为网络模型误差上线阈值，这里通过误差值E与ε比较，得出相应的下一步处理机制。

S104、如果所述误差值小于神经网络模型误差上线阈值，则将计算出的更新的神经网络模型的参数作为更新的神经网络模型的参数；

若E＜ε，则将θ+Δθ作为更新的网络模型的参数；否则转至网络模型的结构更新算法。

通过上述可知，基于一阶近似的参数更新算法不需要进行迭代，主要运算是计算偏导数矩阵的逆矩阵，因此基于一阶近似的参数更新算法的时间复杂度为O(m)，m表示网络模型的参数数目。

值得注意的是，基于一阶近似的参数更新算法在更新模型的过程中，只需要将当前新的数据实例加载到内存之中，这点有利于学习规模巨大的大数据特征，除此之外，基于一阶近似的参数更新算法避免通过迭代更新参数，因此参数更新速度能够在最大程度上满足大数据特征学习的实时性要求。

S105、如果所述误差值大于等于神经网络模型误差上线阈值，则基于增加隐藏层神经元的结构更新算法获取更新的神经网络模型的参数；

当基于一阶近似的参数更新算法无法满足网络结构的增量更新时，本发明实施例通过增加隐藏层神经元数目来更新网络模型，使得更新的模型能够学习动态变化的大数据特征，同时尽可能的保持模型原始知识。对于图2所显示的自动编码网络，当增加一个隐藏层神经元后，其结构变成如图3所示。

每当增加一个隐藏层神经元，需要调整权重矩阵和偏置向量的形式，权重矩阵w⁽¹⁾和w⁽²⁾需要分别增加一行和一列；同时，两个偏置向量b⁽¹⁾和b⁽²⁾分写需要增加一个分量。同理，如果增加m个隐藏层神经元，则每个权重矩阵需要增加m行m列，偏置向量需要增加m个分量，以适应网络连接。

对于增加隐藏层神经元之后的网络参数，本文将增加的分量其初始值设为0。设原始网络结构的当前参数为θ＝{w⁽¹⁾,b⁽¹⁾；w⁽²⁾,b⁽²⁾}，更新后的网络结构参数形式如公式(11)所示：

其中i＝1，2；m为新增加的隐藏层神经元的数目。

更新结构后，以θ'＝{w^(i)',b^(i)'}为初始参数，利用BP算法和梯度下降法求得最终参数。给定一个新的数据样本{x，y}，基于增加隐藏层神经元的结构更新算法描述如下。

本发明实施例中的基于增加隐藏层神经元的结构更新算法如下：

1)根据公式(11)对网络参数θ'进行初始化；

2)利用前向传播计算隐藏层输出值与网络模型输出值f(x,θ')；

3)计算网络模型输出值f(x,θ')与理想输出值y的差值Δy及误差函数 $J(x,{\mathrm{\θ}}^{\′})=\frac{1}{2}{\mathrm{\Δy}}^T\·\mathrm{\Δy};$

4)利用反响传播计算误差函数J(x,θ')对网络参数θ'的偏导数；

5)利用梯度下降法更新网络参数；

6)重复步骤2)到步骤5)直至收敛。

基于增加隐藏层神经元的结构更新算法将新引入的参数与原始参数结合作为网络参数的初始值，充分利用原始参数提供的知识，加快参数求解的收敛速度，使得模型快速收敛，实时的学习大数据特征；从基于增加隐藏层神经元的结构更新算法的步骤中可知，基于增加隐藏层神经元的结构更新算法主要采用反向传播算法求解网络误差函数对网络参数的偏导数，因此算法的时间复杂度与方向传播算法时间复杂度相同，每次迭代的运算量为O(m)，m为网络中的参数数目。

S106、对更新后的神经网络结构中的权重矩阵进行奇异值分解SVD，删除冗余的网络连接。

在更新结构过程中，随着隐藏层神经元数目的增加，连接数目会随之增加，会产生大量的冗余连接。这些冗余连接会降低网络的泛化能力，容易使得模型发生过度拟合。因此在自动编码网络更新之后，需要对网络连接结构进行优化。

网络连接的重要性可以通过权重矩阵中元素的取值反映，权重矩阵中元素值大的元素对应的连接相对更为重要。因此本文通过权重矩阵的SVD分解寻找网络中的冗余连接并删除冗余连接，通过SVD分解优化权重矩阵和网络结构。

假设权重矩阵为w，对w进行SVD分解得到：

w＝UΣV^T  (12)

根据SVD分解的定义，对角矩阵Σ中，那些等于0或者接近于0的权重表示该连接在整个网络中是冗余的，或者所起的作用是微乎其微的，因此可以删除这些连接，达到连接的优化。当某个隐藏层神经元的连接都被删除后，则删除该隐藏层神经元，对整个自动编码网络进行优化。

综上，本文针对大数据的内容与特征处于不断变化特性，提出一种支持增量式更新的神经网络模型，该神经网络模型能够实时的学习处于高速变化的大数据特征。本文提出的方法通过参数和网络结构的更新实现对前馈神经网络的更新，使得更新的神经网络模型能够有效学习动态变化的大数据特征。在神经网络模型的更新过程中，每次根据一条新的数据实例进行更新，不需要将大规模数据加载到内存当中，因此能够有效学习大规模数据的特征。另外，在参数更新过程中，在原始参数基础上引入一阶近似思想，避免通过迭代的方式求参数增量，提高参数更新效率，使得更新的模型能够实时的学习动态变化大数据的特征，满足大数据特征学习的实时性要求。本发明实施例子提供的方法能够有效学习动态变化且规模巨大的大数据特征，同时最大程度保持模型原始知识，满足大数据特征学习的实时性要求。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上对本发明实施例所提供的支持增量式更新的大数据特征学习的方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种支持增量式更新的大数据特征学习的方法，其特征在于，包括如下步骤：

基于一阶近似的参数更新算法来获取神经网络模型中更新的神经网络模型的参数；

采用L-范数计算神经网络模型更新前后的误差值；

判断所述误差值是否大于神经网络模型误差上线阈值；

如果所述误差值小于神经网络模型误差上线阈值，则将计算出的更新的神经网络模型的参数作为更新的神经网络模型的参数；如果所述误差值大于等于神经网络模型误差上线阈值，则基于增加隐藏层神经元的结构更新算法获取更新的神经网络模型的参数。

2.如权利要求1所述的支持增量式更新的大数据特征学习的方法，其特征在于，所述基于增加隐藏层神经元的结构更新算法获取更新的神经网络模型的参数步骤之后还包括：

对更新后的神经网络结构中的权重矩阵进行奇异值分解SVD，删除冗余的网络连接。

3.如权利要求2所述的支持增量式更新的大数据特征学习的方法，其特征在于，所述基于一阶近似的参数更新算法来获取神经网络模型中更新的网络模型的参数包括：

通过前向传播计算隐藏层神经元及神经网络模型的输出值；

计算神经网络模型的输出值与理想输出值的差值；

通过反向传播算法计算神经网络模型输出值对原始参数的偏导数；

计算偏导数矩阵的逆矩阵；

根据神经网络模型的输出值与理想输出值的差值和偏导数矩阵的逆矩阵计算出更新神经网络模型的参数增量；所述更新的神经网络模型的参数为原始参数和参数增量之和。

4.如权利要求3所述的支持增量式更新的大数据特征学习的方法，其特征在于，所述基于增加隐藏层神经元的结构更新算法获取更新的神经网络模型的参数包括：

在神经网络模型中引入新的参数与原始参数结合作为网络参数的初始值；

采用反向传播算法求解网络误差函数的偏导数；

利用梯度下降法更新网络参数。