CN103400190A - 一种使用遗传算法优化极限学习机的集成框架方法 - Google Patents

Abstract

本发明公开了一种使用遗传算法优化极限学习机的集成框架方法，在确定遗传算法框架中每个个体适应度时，使用的是从训练集中随机抽取的样例作为验证测试集，可以有效提高训练的网络的泛化性；完成迭代后，遗传算法中保留了一个训练误差较小的极限学习机种群，然后依据极限学习机的特点，选择出其中训练误差小并且输出权值范数小的优秀个体用于集成。该方法充分利用了极限学习训练速度快的特点，通过使用遗传算法的框架并使用较少的迭代次数优化极限学习机个体，并根据极限学习机理论制定了相应的选择机制，将训练误差小同时输出权值的范数小的极限学习机选择出来用于集成网络，在可接受的训练时间内，泛化能力和网络稳定性得到了显著提高。

Description

一种使用遗传算法优化极限学习机的集成框架方法

技术领域

本发明属于计算智能、神经网络技术领域，涉及一种使用遗传算法优化极限学习机的集成框架方法。

背景技术

极限学习机是一种简单而又有效的训练单隐层前馈神经网络的方法，与传统神经网络学习算法使用类似梯度下降之类的方法调整网络中参数不同的是，极限学习机随机产生输入参数及隐含层的阈值，然后输出权值通过Moore-Penrose广义逆矩阵计算出来。通过以上过程得到的极限学习机，不仅拥有很小的训练误差，同时也拥有很小的输出权值范数。根据Barlett的理论，在前馈神经网络中，当训练误差很小的时候，输出权值的范数越小，泛化能力越好。因此，极限学习机拥有良好的泛化能力。因为不需要调整参数，所以极限学习机的学习速度非常快。但是由于一些参数是随机产生的，不可避免的一些较为差的参数被随机出来从而影响整个极限学习的稳定性及泛化能力，而且使用整个训练集进行训练，有可能出现过适应问题。

神经网络的集成是通过使用多个神经网络共同对同一问题进行预测，它们通过不同的神经网络预测的结果通过一定方式组合起来作为最后的结果。实验及理论表明，通过集成许多神经网络共同作出预测，可以有效的避免单个神经网络的错误。现在应用较为广泛的集成方法如Bagging、Boost，都没有充分利用极限学习机的特点，而且实验结果表明通用的集成方法对极限学习机泛化能力的提升并不是那么明显。

发明内容

为解决上述极限学习机易随机出较差的随机参数及可能的过适应问题，本发明的目的在于提供一种使用遗传算法优化极限学习机的集成框架方法，利用遗传算法训练优化极限学习机并将其集成的计算框架，充分利用的极限学习机的特点，在可接受的训练时间内，泛化能力和网络稳定性得到了显著提高。

为实现上述目的，本发明的技术方案为：

一种使用遗传算法优化极限学习机的集成框架方法，包括如下步骤：

S10：将极限学习机随机产生的输入权值及隐含层节点阈值编码成遗传算法个体，使用遗传算法随机出初始种群；

S11：从整个训练集随机抽取出的一部分训练样本组成验证测试集，并使用验证测试集计算出每个个体的适应度；

S12：使用交叉变异等遗传操作，产生与父代种群数相同的新种群；

S13：从现有的两个种群中选择适应值优秀个体，进入下一代；

S14：判断是否达到迭代次数，如果未达到迭代次数，则跳转到步骤S11；

S15：将遗传算法留下种群中的个体按照适应值排序，保留集成数2倍的适应值优秀个体；

S16：将保留个体按照输出权值的范数进行排序，保留其中输出权值范数小的一半；

S17：将最终选择的极限学习机集成。

进一步地，步骤S10中，每个个体的格式为：

θ=[w₁₁,w₁₂,...,w_1L,w₂₁,...w_n1,...,w_nL,...,b₁,b₂,...,b_L]

L为输入层节点数,

为极限学习机中第i个输入层节点与第j个隐含层节点的连接权值，b_i为第i个隐含层节点的阈值。

进一步地，步骤S11中，适应度公式为：

$\mathrm{fitness}=\sqrt{\frac{{{\mathrm{\Σ}}_{j=1}^N\left|\right|{\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_{i}g(w_i\·x_j+b_i)-t_j\left|\right|}_2^2}{N}}$

N为随机抽取的验证测试集中的样本个数，L为隐含层节点数，x_j=[x_j1,x_j2,...,x_jn]^T为验证测试集中第j个样本的输入，n为样本的输入维度即输入层节点数，t_j=[t_j1,t_j2,...,t_jm]^T为验证测试集中第j个样本的输出，m为样本输出的维度即输出层节点数，w_i=[w_i1,w_i2,...,w_in]^T为输入层节点与第i个隐含层节点的连接权值，b_i=[b_i1,b_i2,...,b_iL]^T为第i个隐含层节点的阈值，β_i=[β_i1,β_i2,...,β_im]^T为输出层节点与第i个隐含层节点的连接权值；g(w_i·x_j+b_i)为隐含层激活函数。

进一步地，步骤S17中，整个集成网络的最终输出结果是将每个极限学习得到的结果平均，分类问题通过投票机制，将每个极限学习机的分类结果相加，其中和最大的一维即为分类结果。

相较于现有技术，本发明一种使用遗传算法优化极限学习机的集成框架方法充分利用了极限学习训练速度快的特点，通过使用遗传算法使用较少的迭代次数优化极限学习机个体。并根据极限学习机理论制定了相应的选择机制，将训练误差小同时输出权值的范数小的极限学习机选择出来用于集成网络，在可接受的训练时间内，泛化能力和网络稳定性得到了显著提高。

附图说明

图1是本发明方法的流程图示。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明一种使用遗传算法优化极限学习机的集成框架方法包括如下步骤：

S10：将极限学习机随机产生的输入权值及隐含层节点阈值编码成遗传算法个体，使用遗传算法随机出初始种群。

其中，每个个体的格式为：

θ=[w₁₁,w₁₂,...,w_1L,w₂₁,...w_2L,w_n1,...,w_nL,...,b₁,b₂,...,b_L]

L为输入层节点数,

为极限学习机中第i个输入层节点与第j个隐含层节点的连接权值，b_i为第i个隐含层节点的阈值。

S11：从整个训练集随机抽取出的一部分训练样本组成验证测试集，并使用验证测试集计算出每个个体的适应度。

其中，适应度公式为：

$\mathrm{fitness}=\sqrt{\frac{{{\mathrm{\Σ}}_{j=1}^N\left|\right|{\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_{i}g(w_i\·x_j+b_i)-t_j\left|\right|}_2^2}{N}}$

N为随机抽取的验证测试集中的样本个数，L为隐含层节点数，x_j=[x_j1,x_j2,...,x_jn]^T为验证测试集中第j个样本的输入，n为样本的输入维度即输入层节点数，t_j=[t_j1,t_j2,...,t_jm]^T为验证测试集中第j个样本的输出，m为样本输出的维度即输出层节点数，w_i=[w_i1,w_i2,...,w_in]^T为输入层节点与第i个隐含层节点的连接权值，bi为第i个隐含层节点的阈值，β_i=[β_i1,β_i2,...,β_im]^T为输出层节点与第i个隐含层节点的连接权值;g(w_i·x_j+b_i)为隐含层激活函数，适应值公式机为求得每个验证测试集个体的均方根误差。

S12：使用交叉变异等遗传操作，产生与父代种群数相同的新种群。

S13：从现有的两个种群中选择适应值优秀个体，进入下一代。

S14：判断是否达到迭代次数，如果未达到迭代次数，则跳转到步骤S11。

S15：将遗传算法留下种群中的个体按照适应值排序，保留集成数2倍的适

应值优秀的个体。

S16：将保留个体按照输出权值的范数(即||β||，输出权值向量中每个元素的平方和然后再开根号)进行排序，保留其中输出权值范数小的一半。

S17：将最终选择的极限学习机集成。

整个集成网络的最终输出结果是将每个极限学习得到的结果平均，其中针对分类问题使用投票机制，即在每个极限学习机产生的结果中预测的结果记为1，其他的记为0;最终投票结果是将他们相加，数字最大的即为分类结果。

本发明一种使用遗传算法优化极限学习机的集成框架方法充分利用了极限学习训练速度快的特点，通过使用遗传算法的框架并使用较少的迭代次数优化极限学习机个体。并根据极限学习机理论制定了相应的选择机制，将训练误差小同时输出权值的范数小的极限学习机选择出来用于集成网络。

在确定遗传算法框架中每个个体适应度的时候，使用的是从训练集中随机抽取的样例作为验证测试集，这种方法与交叉验证类似，可以有效提高训练的网络的泛化性。完成迭代后，遗传算法中保留了一个训练误差较小的极限学习机种群。然后依据极限学习机的特点，选择出其中训练误差小并且输出权值范数小的优秀个体用于集成。

作为本发明一实施例，选取通用的回归和分类测试集各一个，机器学习中普遍使用通用测试集检验算法的有效性，选取的两个通用测试集都来自UCI机器学习数据库，回归测试集为Boston Housing测试集；分类测试集为Vehicle测试集。Boston Housing回归测试集中由506个样例组成，每个样例的输入维度为13维，输出维度1维；Vehicle分类测试集中由846个样例组成，每个样例的输入维度为18维，分为4类，即输出维度为4维。

针对以上不同的测试集，种群数为100，这里种群即优化的极限学习机数目，采用实数编码；交叉率为0.95，变异率为0.05；最终集成极限学习的数目为10；迭代次数为20。在Boston Housing回归测试集中，训练集数目为356个样例，其中有100个样例会在每一次迭代中被随机抽取出来作为测试验证集，测试集为150个样例；在Vehicle分类测试集中，训练集数目为546个样例，其中有100个样例会在每一次迭代中被随机抽取出来作为测试验证集，测试集为300个样例。

具体地，采用本发明方法如下：

（1）随机出100个极限学习的输入权值和隐含层节点阈值（即种群中的个体），使用极限学习理论将输出权值计算出来，从而随机出100个完整的极限学习机。

（2）使用从训练集中随机出的验证测试集计算每个种群个体的适应值。

（3）通过交叉、变异生成一个含有100个新个体的新种群。

（4）从100个父代种群和100个新种群个体中选择100个优秀个体作为下一代进化的种群。

（5）迭代次数是否到达20代，如果未到达20代，则跳转到步骤（2）；否则继续执行后续步骤（6）。

（6）将由遗传算法优化过的100个优秀个体按照适应值排序，选出前20个优秀个体。

（7）将由步骤（6）选出的20个优秀个体按照其输出权值的范数（即将输出权值向量中的每个元素取平方和后再开根号）从小到大排序，选其中输出权值范数较小的前10个。

（8）将这10个极限学习机集成。针对Boston Housing回归通用测试集，将集成中的每个极限学习预测的回归值求和取平均值作为整个集成神经网络的最终预测值；针对Vehicle分类通用测试集，使用集成中的每个极限学习分别对Vehicle分类测试集中的样例进行预测分类，对于每一个样例，将10个极限学习分别预测的值相加，其中拥有最大预测值的分类项作为整个集成神经网络的预测分类结果。

使用上述方法结合上述两个通用测试集对本发明进行性能测试，分别独立测试50次，并与传统的极限学习机进行性能对比，求得的结果统计如表1、表2所示：

测试集	测试算法	平均测试误差	测试标准差
				Boston Housing	本创作方法	0.0743	0.00405
Boston Housing	极限学习机	0.1038	0.0168

表1：与极限学习机使用回归标准测试集实验结果

测试集	测试算法	平均测试精度	测试标准差
				Vehicle	本创作方法	85.262%	0.00917
Vehicle	极限学习机	78.942%	0.01545

表2：与极限学习机使用分类标准测试集实验结果

由上表1、表2可见，采用本创作方法测试产生的误差小，测试精度高。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种使用遗传算法优化极限学习机的集成框架方法，其特征在于，包括如下步骤；

S10：将极限学习机随机产生的输入权值及隐含层节点阈值编码成遗传算法个体，使用遗传算法随机出初始种群；

S11：从整个训练集随机抽取出的一部分训练样本组成验证测试集，并使用验证测试集计算出每个个体的适应度；

S12：使用交叉变异等遗传操作，产生与父代种群数相同的新种群；

S13：从现有的两个种群中选择适应值优秀个体，进入下一代；

S14：判断是否达到迭代次数，如果未达到迭代次数，则跳转到步骤S11；

S15：将遗传算法留下种群中的个体按照适应值排序，保留集成数2倍的适应值优秀个体；

S16：将保留个体按照输出权值的范数进行排序，保留其中输出权值范数小的一半；

S17：将最终选择的极限学习机集成。

2.如权利要求1所述使用遗传算法优化极限学习机的集成框架方法，其特征在于：步骤S10中，每个个体的格式为：

θ=[w₁₁,w₁₂,...,w_1L,w₂₁,...w_2L,w_n1,...,w_nL,...,b₁,b₂,...,b_L]

L为隐含层节点数,n为样本输入的维度即输入层节点数，w_ij为极限学习机中第i个输入层节点与第j个隐含层节点的连接权值，b_i为第i个隐含层节点的阈值。

3.如权利要求2所述使用遗传算法优化极限学习机的集成框架方法，其特征在于：步骤S11中，适应度公式为：

$\mathrm{fitness}=\sqrt{\frac{{{\mathrm{\Σ}}_{j=1}^N\left|\right|{\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_{i}g(w_i\·x_j+b_i)-t_j\left|\right|}_2^2}{N}}$

N为随机抽取的验证测试集中的样本个数，L为隐含层节点数，x_j=[x_j1,x_j2,...,x_jn]^T为验证测试集中第j个样本的输入，n为样本的输入维度即输入层节点数，t_j=[t_j1,t_j2,...,t_jm]^T为验证测试集中第j个样本的输出，m为样本输出的维度即输出层节点数，w_i=[w_i1,w_i2,...,w_in]^T为输入层节点与第i个隐含层节点的连接权值，bi为第i个隐含层节点的阈值，β_i=[β_i1,β_i2,...,β_im]^T为输出层节点与第i个隐含层节点的连接权值;g(w_i·x_j+b_i)为隐含层激活函数，适应值公式机为求得每个验证测试集个体的均方根误差。

4.如权利要求3所述使用遗传算法优化极限学习机的集成框架方法，其特征在于：步骤S17中，整个集成网络的最终输出结果是将每个极限学习得到的结果平均。

Images