CN108875933A - 一种无监督稀疏参数学习的超限学习机分类方法及系统 - Google Patents

Abstract

本发明提供了一种无监督稀疏参数学习的超限学习机分类方法及系统，所述方法包含：首先利用超限学习机稀疏自编码机来学习自编码机网络输出权值，获得稀疏网络输出参数，再将所述参数进行转置输入到超限学习机进行训练，得到超限学习机模型，获得数据的类标信息。通过实验对比，使用分类精度作为指标进行评价，本发明方法分类精度高，分类效果越好。本发明方法为超限学习机的无监督参数学习进行了补充，且能够广泛应用于不同的分类识别应用领域中，显著提高了超限学习机的分类效果，市场前景广大。

Description

一种无监督稀疏参数学习的超限学习机分类方法及系统

技术领域

本发明涉及超限学习机方法，尤其涉及到一种无监督稀疏参数学习的超限学习机分类方法及系统。

背景技术

一般来说，传统的神经网络通常需要反复迭代地学习和调整其所有的网络参数。不同于传统的神经网络学习算法，超限学习机是一种用于训练泛化单隐层前馈式神经网络的新型学习模型，且无需进行迭代的参数学习。由于其快速的学习速度和较好的泛化能力，超限学习机在许多实际应用中引起了广大研究者的兴趣。实际上，由于其随机分配的网络参数(输入权值参数)，超限学习机的性能将会受到一定的负面影响。因此，超限学习机有效的网络参数学习方法引起了研究人员的广泛关注。

在相关研究人员的努力研究下，超限学习机的参数学习方法取得了较快的进展。目前，演化算法是一类用于解决该问题的常见方法，能够通过其演化进化过程来寻找合适的网络参数，以提高超限学习机的算法性能。其开创性工作是Zhu等人在文献1(Q.Y.Zhu,A.K.Qin,P.N.Suganthan,G.B.Huang,Evolutionary extreme learning machine,PatternRecognition 38(10)(2005)1759–1763)提出的一种基于差分演化算法的超限学习机方法。随后，Cao等人在文献2(J.Cao,Z.Lin,G.B.Huang,Self-adaptive evolutionary extremelearning machine,Neural Processing Letters 36(3)(2012)285–305.)提出一种基于自适应的差分演化算法的超限学习机方法。这些方法通过使用不同的差分演化算法对超限学习机的网络参数进行优化学习，从而获得较好的网络参数以提高超限学习机的学习性能。然而，由于差分演化算法的特性，这些方法容易陷入局部最优解，从而使得超限学习机无法进一步获得更好的分类效果。

在此基础上，Zhang等人在文献3(Y.Zhang,J.Wu,Z.Cai,P.Zhang,L.Chen,Memeticextreme learning machine,Pattern Recognition 58(2016)135–148)提出一种基于文化基因算法的超限学习机方法。该方法结合全局优化算法和局部搜索策略的优点，具有解决局部最优问题的能力，使得超限学习机的分类性能进一步提高。以上研究方法均为监督学习算法。然而，当数据样本无相关类标时，上述方法将无法有效使用。因此，在缺乏数据类标的情况下，超限学习机的无监督网络参数学习方法的需求变得急迫起来。而且目前，绝大多数关于超限学习机参数学习方法均为有监督学习方法，而超限学习机无监督参数学习方法的研究极为罕见。

发明内容

本发明解决了当数据样本无相关类标时进行超限学习分类方法的问题，提出了一种无监督稀疏参数学习的超限学习机分类方法，包含如下步骤：

S1：随机生成初始超限学习机稀疏自编码机网络输入参数，获取训练样本数据，对超限学习机稀疏自编码机的网络输出参数进行无监督参数学习，获得学习后的稀疏自编码机网络输出参数ω；

S2：利用步骤S1中所述稀疏自编码机网络输出参数ω进行转置得到ω^T作为超限学习机的网络输入参数，计算所述训练样本数据在超限学习机隐含层神经元中的特征映射，通过正则化最小二乘目标函数获得网络输出参数通过参数ω^T，和构建无监督稀疏参数学习的超限学习机模型，模型表达式为其中，g(·)为激活函数，为超限学习机模型隐含层的输出矩阵，为隐含层阈值，为超限学习机网络输出参数，Y为输出的训练样本数据的类标信息。

在本发明的一种无监督稀疏参数学习的超限学习机分类方法中，还包括获取测试样本数据X^test，利用步骤S2中所述的无监督稀疏参数学习的超限学习机模型网络参数ω^T，和对测试样本数据进行计算，获得输出的测试样本数据预测的类标信息f(X^test)，其中根据分类精度对输出的测试样本数据预测的类标信息进行评价。

在本发明的一种无监督稀疏参数学习的超限学习机分类方法中，步骤S1包含以下步骤：

S11：随机生成初始超限学习机稀疏自编码机网络输入参数，获取输入训练样本数据X，计算获取超限学习机稀疏自编码机模型的隐含层输出矩阵超限学习机稀疏自编码机的网络输出参数的学习问题表示为：O_ω＝p(ω)+q(ω)；其中，为损失函数，为L₁范数约束，隐含层输出为网络输出参数为ω；

S12：计算损失函数p(w)的梯度的利普希茨常数γ：j从1开始执行下述步骤S121至S123，直至j达到预设的阈值：

S121、初始化z₁＝ω₀，t₁＝1，计算系数计算参数

S122、获取网络输出参数ω_j＝s_γ(z_j)，其中

S123、将j更新为j+1。

在本发明的一种无监督稀疏参数学习的超限学习机分类方法中，步骤S2包含以下步骤：

S21：利用步骤S1中所述稀疏网络输出参数ω进行转置得到ω^T，作为超限学习机的网络输入参数，并计算得到隐含层阈值其中，L为所述超限学习机网络模型的隐含层神经元个数；

S22：采用输入参数ω^T和隐含层阈值构建超限学习机模型：其中 g(·)为激活函数，为隐含层输出矩阵，Y为输出的训练样本数据的类标信息；

S23：建立正则化最小二乘估计函数求解可得其中，为损失函数，为惩罚项，C为损失函数和惩罚项的平衡系数，根据训练样本个数N与超限学习机隐含层神经元个数L的关系，得到从而得到可以用参数ω^T，和表达无监督稀疏参数学习的超限学习机模型。

优选的，本发明还提供了一种无监督稀疏参数学习的超限学习机分类系统，包含以下模块：

超限学习机的稀疏自编码机输出参数学习模块，用于获取训练样本数据，对超限学习机稀疏自编码机的网络输出参数进行无监督参数学习，获得学习后的稀疏自编码机网络输出参数的ω；

构建超限学习机模型模块，用于将稀疏自编码机网络输出参数ω进行转置得到ω^T作为超限学习机的网络输入参数，计算所述训练样本数据在超限学习机隐含层神经元中的特征映射，通过正则化最小二乘目标函数获得网络输出参数通过参数ω^T，和构建无监督稀疏参数学习的超限学习机模型，模型表达式为其中，g(·)为激活函数，为超限学习机模型隐含层的输出矩阵，为隐含层阈值，为超限学习机网络输出参数，Y为输出的训练样本数据的类标信息。

在本发明的一种无监督稀疏参数学习的超限学习机分类系统中，还包括数据分类评价模块，用来获取测试样本数据X^test，利用无监督稀疏参数学习的超限学习机模型网络参数ω^T，和对测试样本数据进行计算，获得输出的测试样本数据预测的类标信息f(X^test)，其中根据分类精度对输出的测试样本数据预测的类标信息进行评价。

在本发明的一种无监督稀疏参数学习的超限学习机分类系统中，超限学习机的稀疏自编码机参数学习模块包含以下子模块：

超限学习机稀疏自编码机的网络输出参数学习模块，用于随机生成初始超限学习机稀疏自编码机网络输入参数，获取输入训练样本数据X，计算获取超限学习机稀疏自编码机模型的隐含层输出矩阵超限学习机稀疏自编码机的网络输出参数的学习问题表示为：O_ω＝p(ω)+q(ω)；其中，为损失函数，为L₁范数约束，隐含层输出为网络输出参数为ω；

网络输出参数ω计算模块，用于计算损失函数p(w)的梯度的利普希茨常数γ：j从1开始执行下述操作，直至j达到预设的阈值：

初始化z₁＝ω₀，t₁＝1，计算系数计算参数

网络输出参数ω_j＝s_γ(z_j)，其中

将j更新为j+1。

在本发明的一种无监督稀疏参数学习的超限学习机分类系统中，构建超限学习机模型模块包含以下子模块：

超限学习机网络输入参数及隐含层阈值确定模块：用于利用所述稀疏网络输出参数ω进行转置得到ω^T，作为超限学习机的网络输入参数，并计算得到隐含层阈值 其中，L为所述超限学习机网络模型的隐含层神经元个数；

建立超限学习机模型模块：用于采用输入参数ω^T和隐含层阈值构建超限学习机模型：其中g(·)为激活函数，为隐含层输出矩阵，Y为输出的训练样本数据的类标信息；

求解模型参数模块：用于建立正则化最小二乘估计函数求解可得

其中，为损失函数，为惩罚项，C为损失函数和惩罚项的平衡系数，根据训练样本个数N与超限学习机隐含层神经元个数L的关系，得到从而得到可以用参数ω^T，和表达无监督稀疏参数学习的超限学习机模型。

本发明公开了一种基于无监督稀疏参数学习的超限学习机分类方法及系统，通过无监督学习技术能够使超限学习机在不同的应用中自适应地学习合适的稀疏网络参数。其技术特点是在无需使用样本数据的类标信息的情况下，仍然能够为样本数据寻找优秀的网络参数。目前，绝大多数关于超限学习机的参数学习方法均为有监督学习。因此，该方法为超限学习机的无监督参数学习进行了补充，且能够广泛应用于不同的分类识别应用领域中，市场前景广大。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例方法流程图；

图2是本发明实施例方法示意图。

具体实施方式

为了对发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

参考图1及图2，本发明的一种无监督稀疏参数学习的超限学习机分类方法，包含如下步骤：

S1：随机生成初始超限学习机稀疏自编码机网络输入参数，获取训练样本数据，对超限学习机稀疏自编码机的网络输出参数进行无监督参数学习，获得学习后的稀疏自编码机网络输出参数ω；

S2：利用步骤S1中所述稀疏自编码机网络输出参数ω进行转置得到ω^T作为超限学习机的网络输入参数，计算所述训练样本数据在超限学习机隐含层神经元中的特征映射，通过正则化最小二乘目标函数获得网络输出参数通过参数ω^T，和构建无监督稀疏参数学习的超限学习机模型，模型表达式为其中，g(·)为激活函数，为超限学习机模型隐含层的输出矩阵，为隐含层阈值，为超限学习机网络输出参数，Y为输出的训练样本数据的类标信息。

在本发明的一种无监督稀疏参数学习的超限学习机分类方法中，还包括获取测试样本数据X^test，利用步骤S2中所述的无监督稀疏参数学习的超限学习机模型网络参数ω^T，和对测试样本数据进行计算，获得输出的测试样本数据预测的类标信息f(X^test)，其中根据分类精度对输出的测试样本数据预测的类标信息进行评价。

在本发明的一种无监督稀疏参数学习的超限学习机分类方法中，步骤S1包含以下具体步骤：

S11：随机生成初始超限学习机稀疏自编码机网络输入参数，获取输入训练样本数据X，计算获取超限学习机稀疏自编码机模型的隐含层输出矩阵超限学习机稀疏自编码机的网络输出参数的学习问题表示为：O_ω＝p(ω)+q(ω)；其中，为损失函数，为L₁范数约束，隐含层输出为网络输出参数为ω；

S12：计算损失函数p(w)的梯度的利普希茨常数γ：j从1开始执行下述步骤S121至S123，直至j达到50：

S121、初始化z₁＝ω₀，t₁＝1，计算系数计算参数

S122、获取网络输出参数ω_j＝s_γ(z_j)，其中

S123、将j更新为j+1。

在本发明的一种无监督稀疏参数学习的超限学习机分类方法中，步骤S2包含以下具体步骤：

S21：利用步骤S1中所述稀疏网络输出参数ω进行转置得到ω^T，作为超限学习机的网络输入参数，并计算得到隐含层阈值其中，L为所述超限学习机网络模型的隐含层神经元个数；

S22：采用输入参数ω^T和隐含层阈值构建超限学习机模型：其中 g(·)为激活函数，为隐含层输出矩阵，Y为输出的训练样本数据的类标信息；

S23：建立正则化最小二乘估计函数求解可得其中，为损失函数，为惩罚项，C为损失函数和惩罚项的平衡系数，根据训练样本个数N与超限学习机隐含层神经元个数L的关系，得到从而得到可以用参数ω^T，和表达无监督稀疏参数学习的超限学习机模型。

为说明本发明的效果，提供以下实施例以进行实验对比。

实验采用生物信息数据库(Carcinom和Lung)、手写数字数据库(BA和Gisette)以及目标识别数据库(COIL100和Caltech101)进行验证。为了公平起见，所有对比方法中的参数为一样的设置。其中隐含层神经元个数为100，平衡系数C从{2^-6,2^-4,2^-2,2⁰,2²,2⁴,2⁶,2⁸,2¹⁰}中选择最优的。

分类精度是最普遍，使用最广泛的分类方法的客观量测指标，其值越接近于1，说明分类效果越好。分类精度的计算公式为其中，N^test为测试样本数据的数目，和,分别为第i个测试样本数据的预测类标信息和真实类标信息。本方法与文献4(G.-B.Huang,H.Zhou,X.Ding,R.Zhang,Extreme learningmachine for regression and multiclass classification,IEEE Transactions onSystems,Man,and Cybernetics,Part B 42(2)(2012)513–529)、文献1和文献3进行实验对比验证。实验所得的分类精度对比如表1所示。对于六个来自不同领域的数据集，本方法均优于文献4、文献1和文献3中的方法。

表1本发明与现有技术方法在不同数据库中的分类精度对比结果

方法	Carcinom	Lung	BA	Gisette	COIL100	Caltech101
							文献4	0.629	0.885	0.522	0.830	0.641	0.371
文献1	0.771	0.945	0.584	0.881	0.689	0.402
							文献3	0.765	0.948	0.594	0.882	0.697	0.406
本方法	0.806	0.950	0.676	0.959	0.762	0.492

与现有的技术比较，本发明的优点是：

1、提供一种基于无监督稀疏参数学习的超限学习机分类方法，补充现有超限学习机在无监督参数学习算法领域中的缺失。

2、克服类标信息获取的问题，减小昂贵类标信息获取的的代价。

3、稀疏网络参数的使用有利于减少冗余的网络连接，提高超限学习机网络的鲁棒性。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.一种无监督稀疏参数学习的超限学习机分类方法，其特征在于，包含以下步骤：

S1：随机生成初始超限学习机稀疏自编码机网络输入参数，获取训练样本数据，对超限学习机稀疏自编码机的网络输出参数进行无监督参数学习，获得学习后的稀疏自编码机网络输出参数ω；

S2：利用步骤S1中所述稀疏自编码机网络输出参数ω进行转置得到ω^T作为超限学习机的网络输入参数，计算所述训练样本数据在超限学习机隐含层神经元中的特征映射，通过正则化最小二乘目标函数获得网络输出参数通过参数ω^T，和构建无监督稀疏参数学习的超限学习机模型，模型表达式为其中，g(·)为激活函数，为超限学习机模型隐含层的输出矩阵，为隐含层阈值，为超限学习机网络输出参数，Y为输出的训练样本数据的类标信息。

2.根据权利要求1所述一种无监督稀疏参数学习的超限学习机分类方法，其特征在于，还包括获取测试样本数据X^test，利用步骤S2中所述的无监督稀疏参数学习的超限学习机模型网络参数ω^T，和对测试样本数据进行计算，获得输出的测试样本数据预测的类标信息f(X^test)，其中根据分类精度对输出的测试样本数据预测的类标信息进行评价。

3.根据权利要求1所述一种无监督稀疏参数学习的超限学习机分类方法，其特征在于，步骤S1包含以下步骤：

S11：随机生成初始超限学习机稀疏自编码机网络输入参数，获取输入训练样本数据X，计算获取超限学习机稀疏自编码机模型的隐含层输出矩阵超限学习机稀疏自编码机的网络输出参数的学习问题表示为：O_ω＝p(ω)+q(ω)；其中，为损失函数，为L₁范数约束，隐含层输出为网络输出参数为ω；

S12：计算损失函数p(w)的梯度的利普希茨常数γ：j从1开始执行下述步骤S121至S123，直至j达到预设的阈值：

S121、初始化z₁＝ω₀，t₁＝1，计算系数计算参数

S122、获取网络输出参数ω_j＝s_γ(z_j)，其中

S123、将j更新为j+1。

4.根据权利要求1所述一种无监督稀疏参数学习的超限学习机分类方法，其特征在于，步骤S2包含以下步骤：

S21：利用步骤S1中所述稀疏网络输出参数ω进行转置得到ω^T，作为超限学习机的网络输入参数，并计算得到隐含层阈值i＝1，2，...，L，其中，L为所述超限学习机网络模型的隐含层神经元个数；

S22：采用输入参数ω^T和隐含层阈值构建超限学习机模型：其中 g(·)为激活函数，为隐含层输出矩阵，Y为输出的训练样本数据的类标信息；

S23：建立正则化最小二乘估计函数求解可得

其中，为损失函数，为惩罚项，C为损失函数和惩罚项的平衡系数，根据训练样本个数N与超限学习机隐含层神经元个数L的关系，得到从而得到可以用参数ω^T，和定达无监督稀疏参数学习的超限学习机模型。

5.一种无监督稀疏参数学习的超限学习机分类系统，其特征在于，包含以下模块：

超限学习机的稀疏自编码机输出参数学习模块，用于获取训练样本数据，对超限学习机稀疏自编码机的网络输出参数进行无监督参数学习，获得学习后的稀疏自编码机网络输出参数的ω；

构建超限学习机模型模块，用于将稀疏自编码机网络输出参数ω进行转置得到ω^T作为超限学习机的网络输入参数，计算所述训练样本数据在超限学习机隐含层神经元中的特征映射，通过正则化最小二乘目标函数获得网络输出参数通过参数ω^T，和构建无监督稀疏参数学习的超限学习机模型，模型表达式为其中，g(·)为激活函数，为超限学习机模型隐含层的输出矩阵，为隐含层阈值，为超限学习机网络输出参数，Y为输出的训练样本数据的类标信息。

6.根据权利要求5所述一种无监督稀疏参数学习的超限学习机分类系统，其特征在于，还包括数据分类评价模块，用来获取测试样本数据X^test，利用无监督稀疏参数学习的超限学习机模型网络参数ω^T，和对测试样本数据进行计算，获得输出的测试样本数据预测的类标信息f(X^test)，其中根据分类精度对输出的测试样本数据预测的类标信息进行评价。

7.根据权利要求5所述一种无监督稀疏参数学习的超限学习机分类系统，其特征在于，超限学习机的稀疏自编码机参数学习模块包含以下子模块：

超限学习机稀疏自编码机的网络输出参数学习模块，用于随机生成初始超限学习机稀疏自编码机网络输入参数，获取输入训练样本数据X，计算获取超限学习机稀疏自编码机模型的隐含层输出矩阵超限学习机稀疏自编码机的网络输出参数的学习问题表示为：O_ω＝p(ω)+q(ω)；其中，为损失函数，为L₁范数约束，隐含层输出为网络输出参数为ω；

网络输出参数ω计算模块，用于计算损失函数p(w)的梯度的利普希茨常数γ：j从1开始执行下述操作，直至j达到预设的阈值：

初始化z₁＝ω₀，t₁＝1，计算系数汁算参数

网络输出参数ω_j＝s_γ(z_j)，其中

将j更新为j+1。

8.根据权利要求5所述一种无监督稀疏参数学习的超限学习机分类方法，其特征在于，构建超限学习机模型模块包含以下子模块：

超限学习机网络输入参数及隐含层阈值确定模块：用于利用所述稀疏网络输出参数ω进行转置得到ω^T，作为超限学习机的网络输入参数，并计算得到隐含层阈值 i＝1，2，...，L，其中，L为所述超限学习机网络模型的隐含层神经元个数；

建立超限学习机模型模块：用于采用输入参数ω^T和隐含层阈值构建超限学习机模型：其中g(·)为激活函数，为隐含层输出矩阵，Y为输出的训练样本数据的类标信息；

求解模型参数模块：用于建立正则化最小二乘估计函数求解可得

其中，为损失函数，为惩罚项，C为损失函数和惩罚项的平衡系数，根据训练样本个数N与超限学习机隐含层神经元个数L的关系，得到从而得到可以用参数ω^T，和表达无监督稀疏参数学习的超限学习机模型。