CN108446766A - 一种快速训练堆栈自编码深度神经网络的方法 - Google Patents

Abstract

本发明公开了一种快速训练堆栈自编码深度网络的方法，属于计算机人工智能技术领域。本方法以单隐层前馈神经网络作为基本模型构建多个自编码器，采用伪逆学习算法训练每一个自编码器，得到第i层自编码器的连接权重；将训练完成的前一层自编码器的隐层输出作为后一层自编码器的输入，重复步骤一，训练新的自编码器；训练完成后，所有自编码器去掉解码器后堆叠为一个深度神经网络结构，直至深度网络的层数达到预先设计的层数为止。与现有技术相比，本发明与现有技术相比，计算速度较快，训练方法易用性强，不需要通过人工设计及反复试错进行选择和调试，且便于硬件实现，可以固化为专用的深度网络芯片。

Description

一种快速训练堆栈自编码深度神经网络的方法

技术领域

本发明涉及一种深度神经网络训练方法，尤其涉及一种快速训练堆栈自编码深度神经网络的方法，属于计算机人工智能技术领域。

背景技术

深度学习的成功引发了近年来人工智能的研究热潮。深度学习旨在建立一种类似于人脑信息处理机制的多层神经网络，通过逐层组合低层特征来获得更抽象的高层特征表达，以发现复杂数据内在的、本质的特征表示，目前已在图像视频识别、语音识别、自然语言处理、信息检索等领域取得了极大的成功。与传统的浅层模型相比，深度模型具有更加强大的学习能力。

目前，以深度学习为代表的人工智能技术中，往往需要大量的标注数据来训练深度模型，然而，实际应用中获取的数据绝大部分属于无标注数据，如果对大量无标注数据进行人工标注需要较高的人力和时间成本。因此，有必要发展无监督学习的技术和方法，直接在无标注数据上进行学习，充分利用大量的无标注数据。

自编码器是一种常用的深度学习基本模型，在训练过程中不需要标注数据，可以以无监督的方式直接从原始数据中进行特征学习。自编码器由编码器(encoder)和解码器(decdoer)构成。编码器将输入向量x编码为隐层特征向量y，通过线性映射和非线性激活函数实现：

Θ＝{W_e,θ}为编码器的参数集，包括连接权重、矩阵和偏置，f(·)为隐层神经元的激活函数，通常为线性或非线性的分段连续函数。解码器将隐层特征向量y重构为输入空间的向量z：

z＝φ(y,Θ′)＝f′(W_dy+θ′)

Θ′＝{W_d,θ′}为解码器的参数集，包括连接权重、矩阵和偏置，f′(·)为输出层神经元的激活函数。

训练自编码器的过程就是优化输入信号重构误差(损失)函数的过程，可以形式化为如下损失函数：

E＝-logp(x|y)

如果误差服从高斯分布，则可简化为如下平方误差和作为损失函数：

自编码器可以被用作构建深度神经网络的基本单元。在这种深度神经网络中，为了克服模型层数加深导致的训练困难，采用逐层贪婪训练的策略，逐层训练过的自编码器(去掉解码器)再堆叠为多层深度模型，构成堆栈自编码器。在堆栈自编码器中，前一层自编码器的输出作为后一层自编码器的输入。网络最后一层的输出可作为原始数据的特征。在特定的学习任务中(例如分类问题)，可以再将输出的特征作为分类器的输入，再对分类器以有监督的方式进行训练。从训练效果来看，与传统的随机初始化加有监督训练策略相比，这种逐层贪婪的训练策略能够从无标注数据中直接学习特征，并在一定程度上缓解梯度消减和梯度爆炸的问题，收敛到更好的局部最优解上，在许多具体的学习任务上取得了更好的泛化能力。

在目前的实际应用中，自编码器一般使用梯度下降算法的变种进行训练。由于这些算法根据每个单独的训练样本(或一小部分样本)来迭代更新模型参数，往往要经过多次迭代才有可能得到优化问题的解，当数据量很大时，训练过程极其耗时。其次，训练算法涉及众多控制参数，如最大重复迭代次数(maximum epoch)，学习步长(step length)，权重衰减因子(weight decay)，动量因子(momentum)，这些参数直接影响最终的训练结果，但如何设置这些控制参数却缺少理论依据。另外，对于一个具体的问题，网络的网络结构如何设计，例如每个隐层需要多少个神经元，也基本要依靠经验进行反复调整和尝试才能得到较好的结果。当数据量较大时，反复进行多次训练无疑是一个非常耗时的过程，影响算法的可用性和易用性。

发明内容

本发明的目的在于克服现有的堆栈自编码器深度神经网络训练算法的不足，提出一种新的快速训练方法。

一种快速训练堆栈自编码深度网络的方法，包括如下基本设计思想：

1、以单隐层前馈神经网络作为基本模型构建多个自编码器，采用伪逆学习算法训练每一个自编码器。

单隐层前馈神经网络引入输入等于输出的限制，就可以作为自编码器的一种具体实现模型。伪逆学习算法(Pseudoinverse Learning Algorithm，PIL)是一种用于训练前馈神经网络的快速算法，伪逆，或Moore-Penrose pseudoinverse，又称广义逆，是对逆矩阵的推广。伪逆学习算法的基本思想是权重矩阵采用相应输入的伪逆矩阵，并使用非线性激活函数提升隐层神经元输出矩阵的秩，然后通过计算伪逆解近似求解网络的输出权重。伪逆学习算法仅使用基本的矩阵运算，如矩阵内积和伪逆运算，能够直接计算优化目标的解析解，无需迭代优化的过程，因此效率较之于误差反向传播等其它基于梯度下降的算法更高。具体地，在输出层采用线性激活函数时，伪逆算法的优化目标可定义为：

其中，矩阵H为隐层神经元输出，每一列对应一个输入样本；W为网络输出权重，O为期望的输出或数据的标签。由于WH＝O存在最优近似的伪逆解W＝OH⁺(这里H⁺代表矩阵H的伪逆)，因此伪逆学习算法的优化目标等价于：

为了求解该优化问题，需要将伪逆矩阵作为输出权重，将矩阵H前馈传播，并利用激活函数的非线性提升矩阵H的秩，使得H⁺H逐渐接近单位矩阵。一旦条件H⁺H-I＜ε满足，则达到最小值，网络输出权重可直接计算为W＝OH⁺。

原始伪逆学习算法的具体流程如下：

由于自编码器本质上可以视为输入等于输出的单隐层神经网络，因此，如果将数据本身作为其标签，即O＝X，那么伪逆学习的思想也可以被用于训练自编码器。由于自编码器的目标是从原始数据中学习特征，因此使用伪逆学习算法训练自编码器时不必对数据进行精确重构，仅需要两次伪逆计算就可以得到编码器和解码器的连接权重。

2、为了避免恒等映射，自编码器的隐层神经元个数一般应小于原始数据的维度；为了避免造成输入数据在映射到隐层特征空间的过程中信息损失过大从而导致重构误差过大，隐层神经元个数又不宜过小。

因此，本发明中，将隐层神经元的个数设置为小于原始输入数据的维度，而大于或等于输入数据矩阵的秩。本发明中在训练自编码器时，使用奇异值分解计算输入矩阵的伪逆，这个过程中可以通过统计非零奇异值的个数得到输入矩阵的秩，进而为设置隐层单元的神经元个数提供指导。同时，输入矩阵的低维近似矩阵的伪逆解又可以作为编码器的初始化连接权重。在不增加计算量的前提下，同时实现双重目标。

3、使用伪逆学习算法训练完成的前一层自编码器的隐层输出作为后一层自编码器的输入，训练新的自编码器。训练完成的所有自编码器去掉解码器后堆叠为一个深度神经网络结构。对于比较复杂的模型，可以选择利用权重捆绑减少权重参数，降低模型的自由度，将解码器连接权重矩阵的转置作为编码器的权重矩阵。

有益效果

与现有技术相比，本发明具有如下有益效果：

第一，与传统的基于梯度下降的训练算法相比，使用伪逆算法训练自编码器不需要迭代优化，可以直接计算优化目标函数的解析解，因此计算速度较快。

第二，伪逆学习算法不需要设置包括如最大重复迭代次数(maximum epoch)，学习步长(step length)，权重衰减因子(weight decay)，动量因子(momentum)在内的一系列控制参数，仅需要人工指定深度神经网络的层数，因此本发明中的训练方法易用性强。

第三，构建深度神经网络的所有自编码器的隐层神经元的个数都可以根据自编码器训练数据的秩进行设定，不需要通过人工设计及反复试错进行选择和调试，具有较高的实用价值。

第四，本发明中的训练方法在计算过程中无迭代，主要使用矩阵内积等基本运算，因此便于硬件实现，可以固化为专用的深度网络芯片。

附图说明

图1为基于堆栈自编码器的深度神经网络的快速训练方法的基本流程图；

图2为以自编码器为基本构建单元的深度神经网络结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和实施例验证对该方法作进一步详细描述。应当理解，此处度具体实施例的描述仅用以解释本发明，并不用于限定本发明。

一种快速训练堆栈自编码深度网络的方法，其实现流程如图1所示，包括以下步骤：

设对于N个M维的样本组成训练样本集X₀∈》^M×N，表示为矩阵X₀＝[x₁,x₂,...,x_N]，其中代表第i个训练样本。

步骤一、采用伪逆学习算法训练自编码器，得到第i层自编码器的连接权重为表述方便，这里不再区分权重与偏置。

具体实现过程如下：

步骤a.通过对第i层自编码器的输入矩阵X_i奇异值分解得到：

X_i＝U_iΣ_iV_i ^T

其中，U_i表示矩阵X_i的左奇异向量矩阵，Σ_i表示由矩阵X_i的奇异值组成的对角矩阵，V_i ^T表示矩阵X_i的右奇异向量矩阵的转置，T为矩阵转置运算符；

步骤b.计算X_i的伪逆矩阵由得到

其中，∑'_i为∑_i中非零元素的倒数组成的对角矩阵。通过统计∑'_i中非零奇异值的个数，得到矩阵的秩r_i。矩阵的秩与矩阵X_i的秩相同，根据矩阵X_i的秩设置自编码器的隐层单元个数p_i。为了避免恒等映射，自编码器的隐层神经元个数应小于X_i的维度M_i；为了避免造成输入矩阵X_i信息损失过大进而导致重构误差过大，隐层神经元个数不宜过小，具体可设置为r_i＜p_i＜M_i。为此，定义一个矩形单位阵矩阵其对角线上的元素为1，非对角线上的元素为0。选取矩阵的前p_i个奇异值对应的奇异向量近似表示为：

其中，为U_i的前p_i列，为由∑'_i的前p_i个奇异值组成的对角阵。

然后，使用将X_i映射到p_i维的隐层特征空间：

其中，H_i代表第i层自编码器的隐层神经元输出矩阵，作为自编码器的编码器连接权值的初始值，实现将输入矩阵X_i映射到低维的隐层特征空间。f(·)为激活函数。不失一般性，本具体实施方式中使用Sigmoid函数：

步骤c.通过伪逆学习算法求解自编码器的解码器权重根据伪逆学习算法的基本思想，由于存在最优近似的伪逆解因此需要计算H_i的伪逆这里的伪逆矩阵通过正交投影法计算得到，即为了避免过拟合，引入正则化项提高模型的泛化能力，伪逆矩阵的计算公式为其中，k＞0是正则化项系数。因此，自编码器的解码器权重为

得到解码器的权重后，可选择将自编码器的输入权重和输出权重进行捆绑，将解码器连接权重的转置作为编码器的连接权重，即目的是为了减少权重参数，降低模型的自由度，规避过拟合的风险。

步骤二、将第i层自编码器隐层神经元的输出作为第i+1层自编码器的输入，即令第i+1层自编码器的输入矩阵重复步骤一，训练新的自编码器。训练完成后，所有自编码器去掉解码器后堆叠为一个深度神经网络结构，直至深度网络的层数达到预先设计的层数为止。

在这个深度网络中，每个层次的自编码器分别抽取原始数据不同抽象级别的特征，最后一个自编码器隐层的输出就是原始数据的一种抽象的、本质的特征表示。深度网络的结构如图2所示。在具体的学习任务，如分类或预测中，可以再增加一层感知器用于最终的分类或预测，同样使用伪逆学习算法训练最后一层的输出权重。

通过步骤一和二得到的深度神经网络还可以结合具体的学习任务，选择与其它模型组合使用。例如，在分类或预测问题中，可选择深度神经网络输出的特征作为分类器或预测模型的输入，使用带有类别标签的训练样本，对分类器或预测模型进行微调，最终得到用于具体学习任务的深度神经网络。

实施例验证

为了证明本发明方法切实可行，现使用机器学习领域常见的图像识别任务进行对比实验。

实验中，使用MNIST数据集。MNIST是一个手写数字识别的数据集，在机器学习和模式识别研究社区十分常用。MNIST数据集包括60000张0-9的手写体数字图像。60000张图像分为50000个训练样本和10000个测试样本。每张图像都经过标准化，并被对齐到28×28＝784个像素的图像块上。MNIST是评估深度学习模型性能的一个常用数据集。对比实验中，我们分别使用本发明所述的训练方法与梯度下降的BP算法训练结构与设置相同的堆栈自编码深度网络，在输出端加上一层感知器作为分类器。对识别精度及训练耗时进行对比，结果如表1所示。

表1MNIST数据集上的对比实验结果

训练方法	训练耗时(秒)	训练精度	测试精度
				本发明方法	97.8643	0.9527	0.9433
BP算法	2397.3412	0.9746	0.9656

从对比实验结果可以看出，本发明方法在识别精度上略低于BP算法，但是在计算速度上提升了约24.5倍，在计算效率上具有明显的优势。另外，还可以选择使用Softmax作为分类器，并对分类器进行微调，则可以将测试精度提高到0.9665。实验结果表明，本发明方法能够取得和传统方法相接近的识别性能，同时能够大幅提高神经网路的训练速度，适用于大规模数据集的处理以及计算资源有限的特定应用场景中。

对所公开的实施例的上述说明，使熟悉本领域的专业技术人员能够实现或使用本发明。对实施例的修改对本领域的专业技术人员来说将是显而易见的。本专利中所定义的一般原理可以在不脱离本发明的基本思想或适用范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的实施例，凡是利用本发明的设计思路，做一些简单变化的方案，都应计入本发明的保护范围之内。

Claims (3)

1.一种快速训练堆栈自编码深度网络的方法，其特征在于，包括以下步骤：

步骤一、以单隐层前馈神经网络作为基本模型构建多个自编码器，采用伪逆学习算法训练每一个自编码器，得到第i层自编码器的连接权重；

步骤二、将训练完成的前一层自编码器的隐层输出作为后一层自编码器的输入，重复步骤一，训练新的自编码器；

训练完成后，所有自编码器去掉解码器后堆叠为一个深度神经网络结构，直至深度网络的层数达到预先设计的层数为止。

2.如权利要求1所述的一种快速训练堆栈自编码深度网络的方法，其特征在于，所述步骤一的具体实现方法包括以下步骤：

步骤a.对第i层自编码器的输入矩阵X_i奇异值分解，得到：

X_i＝U_iΣ_iV_i ^T

其中，U_i表示矩阵X_i的左奇异向量矩阵，Σ_i表示由矩阵X_i的奇异值组成的对角矩阵，V_i ^T表示矩阵X_i的右奇异向量矩阵的转置，T为矩阵转置运算符；

步骤b.计算X_i的伪逆矩阵由X_i＝U_i∑_iV_i ^T得到

其中，∑'_i为∑_i中非零元素的倒数组成的对角矩阵；通过统计∑'_i中非零奇异值的个数，得到矩阵的秩r_i；矩阵的秩与矩阵X_i的秩相同，根据矩阵X_i的秩设置自编码器的隐层单元个数p_i；

定义矩形单位阵矩阵其对角线上的元素为1，非对角线上的元素为0，选取矩阵的前p_i个奇异值对应的奇异向量近似表示为：

其中，为U_i的前p_i列，为由∑'_i的前p_i个奇异值组成的对角阵；

然后，使用将X_i映射到p_i维的隐层特征空间：

其中，H_i代表第i层自编码器的隐层神经元输出矩阵，作为自编码器的编码器连接权值的初始值，实现将输入矩阵X_i映射到低维的隐层特征空间；f(·)为激活函数；

步骤c.通过伪逆学习算法求解自编码器的解码器权重将自编码器的输入权重和输出权重进行捆绑，将解码器连接权重的转置作为编码器的连接权重。

3.如权利要求2所述的一种快速训练堆栈自编码深度网络的方法，其特征在于，所述自编码器的隐层神经元个数设置为小于原始输入数据的维度，而大于或等于输入数据矩阵的秩。