CN107480777A

CN107480777A - 基于伪逆学习的稀疏自编码器快速训练方法

Info

Publication number: CN107480777A
Application number: CN201710748527.6A
Authority: CN
Inventors: 郭平
Original assignee: Beijing Normal University
Current assignee: Beijing Normal University
Priority date: 2017-08-28
Filing date: 2017-08-28
Publication date: 2017-12-15

Abstract

本发明涉及一种构建深度神经网络的基本模块稀疏自编码器训练方法，目的是为了克服现有深度神经网络训练算法的不足，提供一种快速训练稀疏自编码神经网络的方法。所述快速训练稀疏自编码器的方法是采用伪逆学习算法以及有偏ReLU激活函数。以自编码器的输入数据向量的维度指导隐层神经元个数的设置，并对自编码器的输入数据的伪逆矩阵进行截断，以伪逆截断矩阵作为编码器连接权重，将输入数据经过有偏ReLU激活函数映射到隐层空间，再通过伪逆学习算法求解伪逆解进而得到解码器连接权重。所述快速训练稀疏自编码神经网络的方法不需要基于梯度下降的迭代优化过程，不需要设置控制参数，计算速度快，可以保证学习到样本的稀疏性。重构误差容易控制，易用性强，有利于硬件实现。

Description

基于伪逆学习的稀疏自编码器快速训练方法

技术领域

本发明涉及一种人工智能领域里稀疏自编码器的快速训练方法，特别涉及一种基于伪逆学习算法的稀疏自编码器快速训练方法。

背景技术

目前，以深度学习为代表的人工智能技术中，通常采用的是有监督学习方式，往往需要大量的标注好的数据来训练深度网络模型，然而在实际应用中获取的数据绝大部分属于无标注数据，如果对大量无标注数据进行人工标注则需要很高的人力和时间成本。因此，采用无监督学习的技术和方法，直接在无标注数据上进行表示学习，充分利用大量的无标注数据是人工智能技术发展的趋势。自编码器是一种常用的深度学习基本模型，其基本思想是网络的输出与输入相等，训练过程中不需要标记数据，可以以无监督的方式直接从原始数据中进行特征学习。自编码器是一种单隐层的前馈神经网络模型，由编码器(encoder)和解码器(decdoer)构成，编码器将输入向量x编码为隐层特征向量y，通过线性映射和非线性激活函数实现：

y＝f(W_ex+θ).

{W_e,θ}为编码器的参数集，包括连接权重和矩阵和偏置，f(·)表示隐层神经元的激活函数，通常为非线性或线性分段连续函数。解码器将隐层特征y重构为输入空间的向量z：

z＝f_d(W_dy+θ′),

{W_d,θ′}为解码器的参数集，包括连接权重和矩阵和偏置，f_d(·)为输出层神经元的激活函数，本发明采用线性函数，同时将偏置参数并入权重矩阵构成增广矩阵。

训练自编码器的过程就是优化输入信号重构误差(损失)函数的过程，使得zⁱ＝W(f(W^Txⁱ))≈xⁱ。可以形式化为如下损失函数：

E＝-logp(z|x).

如果x服从高斯分布，则以如下平方误差和作为损失函数：

上式中N为样本数。对稀疏自编码器，通常加上对隐层神经元的约束。在隐单元输出范围为[0，1]时，稀疏性可以被简单地解释为：如果当神经元的输出接近于1的时候认为它被激活，而输出接近于0的时候认为它被抑制，使得神经元大部分的时间都是被抑制的限制则被称作稀疏性限制。我们使用y_j(xⁱ)来表示在给定输入为xⁱ情况下，自编码神经网络隐神经元j的激活度。并将隐神经元j的平均活跃度(在训练集上取平均)记为：

稀疏性限制可以理解为使隐神经元的平均激活度特别小，用ρ表示稀疏性参数，通常设ρ为接近于0的较小的值(例如0.05)。为了实现这一限制，需要在原始的神经网络优化目标函数中加入稀疏性限制这一项，作为一项额外的惩罚因子，通常可以选择具有如下形式的惩罚因子：

上式中j为隐层中隐单元的个数。对稀疏自编码神经网络，总的损失函数可表示为下面的形式：

其中β是控制稀疏性惩罚因子的权重。如果令ρ＝0，则有：

在很小时，稀疏惩罚项中的log函数可以近似为

如果限定隐单元输出是非负的，令hⁱ＝yⁱ＝f(W_exⁱ)，则上式与稀疏编码的形式类似：

因此在采用sigmoid或输出在[0,1]范围内的激活函数时，总的损失函数里的稀疏惩罚项可以使得学习到数据里的稀疏表示，这等价于要求隐层输出h是稀疏的。

自编码器可以被用作构建深度网络的基本单元。在堆栈自编码器中，前一层自编码器的输出作为后一层自编码器的输入。网络最后一层的输出可作为原始数据的特征。在特定的学习任务中(例如分类问题)，可以再将输出的特征作为分类器的输入，再对分类器以有监督的方式进行训练。

在实际应用中，自编码器一般使用梯度下降算法的或其变种进行训练。由于这些算法根据每个单独的训练样本(或一小部分样本)来迭代更新模型参数，往往要经过多次迭代才有可能得到优化问题的解，当数据量很大时，训练过程极其耗时。其次，训练算法涉及众多控制参数，如最大重复迭代次数(maximum epoch)，学习步长(step length)，权重衰减因子(weight decay)，动量因子(momentum)，这些参数直接影响最终的训练结果，但如何设置这些控制参数却缺少理论依据。这些参数选择的不恰当时，则无法学习到有用的特征，不能保证隐层输出h的稀疏性。

发明内容

本发明的目的在于克服现有的稀疏自编码器训练算法的不足。本发明为解决其技术问题采用的技术方案如下：

一种快速训练稀疏自编码器的方法，包括如下基本设计思想：

1)采用伪逆学习算法训练自编码器。伪逆学习算法(Pseudoinverse LearningAlgorithm，PIL)是郭平在1995年提出的一种用于训练单隐层前馈神经网络(Guo et al,“An Exact Supervised Learning for a Three-Layer Supervised Neural Network”,ICONIP'95,pp.1041-1044,1995.)，在2001年扩展到多层神经网络的快速算法(Guo et al,“Pseudoinverse Learning Algorithm for Feedforward Neural Networks”,inMastorakis Eds.,Advances in Neural Networks and Applications,WSES Press(Athens)pp.321-326,2001.)。伪逆，或Moore-Penrose pseudoinverse，又称广义逆，是对逆矩阵的推广。伪逆学习算法的基本思想是权重矩阵采用相应输入的伪逆矩阵，替代传统的梯度下降优化算法，然后通过计算伪逆解近似求解网络的输出权重。伪逆学习算法仅使用基本的矩阵运算，如矩阵内积和伪逆运算，能够直接计算优化目标的解析解，无需迭代优化的过程，而且无需繁琐的调节超参数过程，因此学习效率较之于误差反向传播等其它基于梯度下降算法的效率更高。具体地，在输出层采用线性激活函数时，对自编码器网络的优化目标可定义为：

其中，矩阵H为隐层神经元输出，每一列对应一个输入样本，具体地，矩阵H中的第i列向量hⁱ＝f(W_exⁱ)；W为网络输出权重，Z为期望的输出或数据的标签。由于上式存在最优近似的伪逆解W＝ZH⁺(这里H⁺代表矩阵H的伪逆)，因此伪逆学习算法的优化目标等价于：

从上可以看出，如果H⁺H接近单位矩阵，即给定误差ε，在条件满足时，则达到最小值，网络输出权重可直接计算为W＝ZH⁺。而H⁺H可以看做是投影算子，网络的优化目标可以转换为找到这样的投影算子，使得输出误差最小。

由于自编码器本质上可以视为输入等于输出的单隐层神经网络，因此，如果将数据本身作为其输出或标签，即Z＝X，那么伪逆学习的计算框架也可以被用于训练自编码器。由于自编码器的目标是从原始数据中学习特征，因此使用伪逆学习算法训练自编码器时不必对数据进行精确重构，仅需要两次伪逆计算就可以得到编码器和解码器的连接权重。

2)稀疏约束可以避免恒等映射而实现特征学习，自编码器的隐层神经元个数可以大于或等于原始数据输入向量x的维度；因此，不失一般性，本发明中将隐层神经元的个数p设置为大于原始输入数据中向量x的维度d。本发明在训练自编码器时，使用奇异值分解(SVD)计算输入矩阵的伪逆，这个过程中可以通过统计非零奇异值的个数得到输入矩阵X的秩。同时，输入矩阵的伪逆矩阵又可以作为编码器的初始化连接权重。在不增加计算量的前提下，同时实现双重目标。

3)对于比较复杂的模型，可以选择利用权重捆绑减少权重参数，降低模型的自由度，将解码器连接权重矩阵的转置作为编码器的权重矩阵。

与现有技术相比，本发明具有如下有益效果：首先，与传统的基于梯度下降的训练算法相比，使用伪逆学习算法训练自编码器不需要迭代优化，可以直接计算优化目标函数的解析解，因此计算速度较快。其次，伪逆学习算法不需要设置包括如最大重复迭代次数(maximum epoch)，学习步长(step length)，，动量因子(momentum)在内的一系列控制参数，因此本发明中的训练方法易用性强。另外，对稀疏自编码器的隐层神经元的个数我们还可以设定为输入矩阵的维度，不需要通过人工设计及反复试错进行选择和调试，具有较高的实用价值。另外，本发明中的训练方法在计算过程中无迭代，主要使用矩阵内积等基本运算，因此便于硬件实现，可以固化为专用的稀疏自编码网络芯片。

附图说明

附图1是基于伪逆学习的稀疏自编码器快速训练方法的基本流程图；

附图2是有偏ReLU激活函数示意图。

具体实施方式

本发明为克服现有对稀疏自编码神经网络训练算法的不足，提供一种快速训练稀疏自编码网络的方法。为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例及附图1对该方法作进一步详细描述。应当理解，此处的具体实施例的描述仅用以解释本发明，并不用于限定本发明。

具体地，请参阅图1，是本发明实施例的一种快速训练稀疏自编码网络的方法流程图。对于由N个d维的样本组成训练样本集表示为矩阵X＝[x¹,x²,...,x^N],其中代表第i个训练样本。本发明实施例的基于伪逆学习的稀疏自编码器的快速训练方法包括以下基本步骤：

步骤1)采用伪逆学习算法计算编码器连接权重W_e。

步骤2)计算隐层输出H＝f(W_eX)。

步骤3)计算解码器权重矩阵W_d＝XH⁺

步骤4)自编码器对训练数据的输出

在步骤1)中，采用伪逆学习算法训练自编码器的编码器权重的具体步骤包括：

步骤1a.对自编码器的输入数据矩阵X进行奇异值分解(SVD)得到

X＝UΣV^T

设置自编码器的隐层单元个数p>d。通常输入矩阵的秩r≤d,训练样本数N>d。因此为提高计算速度，这里采用紧凑SVD分解，分解后得到的矩阵分别为U∈R^d×r,Σ∈R^r×r,V∈R^N ^×r.

步骤1b.计算X的伪逆矩阵X⁺。容易由X＝UΣV^T得到

X⁺＝VΣ'U^T，

对矩阵V进行截断，只保留V矩阵的前p行，则截断的矩阵近似后的伪逆矩阵表示为

其中为V的前p行，Σ是r个奇异值组成的对角阵，Σ'为Σ中奇异值的倒数组成的对角矩阵。令然后将X映射到p维的隐层特征空间：

其中，H∈R^p×N代表自编码器的隐层神经元输出矩阵，作为自编码器的编码器连接权值W_e的初始值，实现将输入矩阵X映射到隐层特征空间。f(·)为激活函数。如果采用Sigmoid函数，则要求变量趋于负无穷时神经元输出才趋于0，本实施例中采用类似于带偏移的ReLU激活函数，定义为：

其中δ_max是一个较小的正数。所定义的有偏ReLU激活函数如图2所示，也是一个非线性函数。

可以证明，采用伪逆学习后隐层输出矩阵H的元素其中依据SVD分解的基本原理，V矩阵是正交的，如果i＝j有如果i≠j则有

在矩阵H的对角线上的元素里没有作用激活函数时，由于其元素非负性，显然大于零。而非对角线上则有由于正交性的约束，该等式对任意d≥r≥1均成立意味着两边等于0或是趋于零的非常小的数值。记for all i≠j,则依据定义的有偏ReLU激活函数，隐层输出矩阵H中的非对角元素将为零。

在步骤3)中，通过伪逆学习算法求解自编码器的解码器权重W_d包括：

步骤3a.根据伪逆学习算法的基本思想，由于W_dH＝X存在最优近似的伪逆解W_d＝XH⁺，因此需要计算H的伪逆H⁺。这里的伪逆矩阵可用H⁺＝H^T(HH^T)^-1。为了避免过拟合，在引入权重衰减(weight decay)正则化后，伪逆矩阵的计算公式为H⁺＝H^T(HH^T+λI)^-1，其中，λ>0是正则化项系数。因此，自编码器的解码器权重为W_d＝XH^T(HH^T+kI)^-1。

依据定义，容易计算对所有隐层神经元的平均激活度为：

对一个数万以上样本的数据集，例如MNIST数据，通常用50000个样本来进行训练，这时的隐层神经元的平均激活度

由于隐层神经元的平均激活度与训练样本数N成反比，对N不是非常大时，若有必要可采用数据增强(Data Augmentation)技术进一步降低隐层神经元的平均激活度。

如果在隐层采用阶跃激活函数，即如果x>δ_max,f(x)＝1,如果x≤δ_max,f(x)＝0,容易分析重构误差为：

显然重构误差与正则化参数，以及样本的性质有关。通常训练神经网络时要对输入数据进行归一化处理，我们只需要调节正则化参数就可控制重构误差的大小。

在得到解码器的权重后，可以选择将自编码器的输入权重和输出权重进行捆绑，将解码器连接权重的转置作为编码器的连接权重，即目的是为了减少权重参数，降低模型的自由度，规避过拟合的风险。

在具体的学习任务，如分类或预测中，可以在堆叠稀疏自编码器的网络输出再增加一层感知器用于最终的分类或预测，同样可以使用伪逆学习算法训练最后一层的输出权重。

通过步骤1)和2)计算，通过堆叠得到的深度神经网络也可以结合具体的学习任务，选择与其它模型组合使用。例如在分类或预测问题中，可选择深度神经网络输出的特征作为分类器或预测模型的输入，使用带有类别标签的训练样本，对分类器或预测模型进行微调，最终得到用于具体学习任务的深度神经网络。

在本发明实施例的基于伪逆学习的稀疏自编码器快速训练方法中，自编码器的训练过程不需要进行基于梯度下降算法的迭代优化过程，直接通过基本的线性代数运算求解连接权重，因此计算速度较快。其次，隐层神经元的平均激活度仅与样本数相关，因此我们只需设定p≥d,例如设置p＝d,即可保证学习到稀疏性，不需要反复试错来选择隐单元个数保障学习到稀疏性，易用性更强。

为了证明本发明切实可行，我们使用机器学习领域常见的图像识别任务进行对比实验。实验中使用MNIST数据集。MNIST是一个手写数字识别的数据集，在人工智能研究领域被作为一种基准数据验证算法的性能。MNIST数据集包括60000张0-9的手写体数字图像。60000张图像通常分为50000个训练样本和10000个测试样本。每张图像都经过标准化，并被对齐到28×28＝784个像素大小的图像块上。MNIST是评估深度学习模型性能的一个常用数据集，对该数据集分析结果表明，用编码器权重将输入数据投影变换到隐层输入空间后，对矩阵对角线上的元素的平均值是0.3125，方差为0.03473。而非对角线上元素的平均值为0.00039，方差为0.000144。在该实例中，取δ_max＝0.03，经过有偏ReLU激活函数后，即可保证非对角线上99.99％的元素被抑制为零。所估计的平均激活度达到非常低的水平。

训练网络的目的是为了推理，为了说明本发明的有效性，我们利用MINIST数据进行了对比实验，实验中分别使用本发明所述的训练方法与梯度下降的BP算法训练结构与设置相同的自编码深度网络，在输出端加上一层线性分类器进行识别。对用BP算法训练的稀疏自编码网络，设置的平均激活度为0.1。对识别精度及训练耗时进行对比，结果如表1所示。

表1MNIST数据集上的对比实验结果

训练方法	训练耗时(秒)	训练精度	测试精度
				本发明方法	96.6832	0.9771	0.9623
BP算法	5906.25	0.9805	0.9719

从对比实验结果可以看出，本发明的方法在识别精度上略低于BP算法，但是在计算速度上提升了约61倍，如果对稀疏约束的平均激活度设置的更小，则用BP算法训练的时间更长，这说明本发明不但在稀疏性上，而且在计算效率上具有非常明显的优势。实验结果表明，本发明的方法能够对隐层神经元激活度进行有效抑制，并能取得和传统稀疏约束方法相接近的识别性能，同时能够大幅提高神经网路的训练速度，适用于大规模数据集的处理以及移动端计算的应用场景中。

对所公开的实施例的上述说明，使熟悉本领域的专业技术人员能够实现或使用本发明。对实施例的修改对本领域的专业技术人员来说将是显而易见的。本专利中所定义的一般原理可以在不脱离本发明的基本思想或适用范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的实施例，凡是利用本发明的设计思路，做一些简单变化的方案，都应计入本发明的保护范围之内。

Claims

1.一种快速训练稀疏自编码神经网络的方法，其特征在于：采用伪逆学习算法训练稀疏自编码器。

2.根据权利要求1所述的一种快速训练稀疏自编码器神经网络的方法，其特征在于，所采用的伪逆学习算法的基本思想是找到一种近似正交投影算子，并利用非线性激活函数使得隐层神经元输出趋向稀疏，然后通过计算伪逆解近似求网络的输出权重。

3.根据权利要求1或2所述的一种快速训练稀疏自编码器神经网络的方法，其特征在于，训练自编码器的过程中通过奇异值分解对输入矩阵进行低秩表示，采用紧凑奇异值分解算法提高计算速度，通过截断奇异值分解计算编码器权重。本发明中将自编码器的隐层神经元个数设置为大于或等于原始输入数据的维度，小于输入数据的样本个数。自编码器使用输入矩阵的截断伪逆矩阵作为编码器的初始连接权重矩阵，将原始数据经过有偏ReLU激活函数抑制隐层神经元的激活度，提高了映射到高维的隐层特征空间数据的稀疏性。

4.根据权利要求1或2所述的一种快速训练稀疏自编码器神经网络的方法，其特征在于，使用伪逆学习算法训练自编码器的解码器，具体过程为：以输入数据作为网络的期望输出，通过伪逆学习算法直接计算网络的输出连接权重，并将该权重作为自编码器的解码器连接权重；其中，通过正交投影法计算隐层神经元输出矩阵的伪逆，并通过引入正则化项防止病态问题解的不稳定性。

5.根据权利要求1或4所述的一种快速训练稀疏自编码器神经网络的方法，其特征在于，可通过调节正则化参数控制重构误差的大小。

6.根据权利要求1或2所述的一种稀疏自编码器神经网络的方法，其特征在于，可通过数据增强技术进一步降低隐层神经元的平均激活度。