CN103473598A - 基于变长度粒子群优化算法的极限学习机 - Google Patents

Abstract

一种基于变长度粒子群优化算法的极限学习机，包括步骤：(1)随机初始化粒子群位置和速度，粒子群中的每一个粒子表示一个ELM分类器；(2)计算每个粒子对于评价函数的适应值f(p_i)；(3)比较各个粒子的行数与全局最优解的行数的大小关系，选择不同的更新公式对各个粒子的速度和位置进行更新，生成下一代粒子群；(4)最优隐元个数及相应的输入权重和隐元偏置；(5)计算输出权重，得到使得交叉验证精度最高的ELM分类器。利用变长度粒子群优化算法自动地选择隐元个数，同时选择相应的输入权重和隐元偏置，使ELM分类器的泛化性能最大化，能够以较少隐元个数的ELM分类器获得最大的泛化性能，测试所需时间短，效率高。

Description

基于变长度粒子群优化算法的极限学习机

技术领域

本发明涉及一种利用变长度粒子群的优化算法进行优化改进的极限学习机，属于极限学习机技术领域。

背景技术

单隐层前馈神经网络(SLFN：Single-hidden Layer Feedforward Neural Network)可以任意精度逼近任意复杂的函数，1998年在《IEEE Transactions on Neural Networks》(IEEE神经网络学报)第9卷224-229页发表的《具有任意有界非线性激活函数的前馈神经网络的隐层神经元个数的上界》的研究表明，具有任意非线性激活函数的单隐层前馈神经网络至多需要N个隐层神经元就可以以零误差学习N个不同的样本，具有强大的非线性辨识能力，SLFNs己被广泛应用于模式识别、函数逼近、系统建模和控制等领域。

SLFNs大多采用梯度下降法进行参数学习，收敛速度慢，且容易陷入局部极小值。针对这一问题，2004年南洋理工大学Huang Guangbin等在《Proceedings ofIEEE International JointConference on Neural Networks》(IEEE神经网络国际会议论文集)第2卷985—990页发表的《Extreme learning machine：a new learning scheme of feedforward neural networks》(极限学习机：一种新的前馈神经网络学习方法)提出了一种简单易用、有效的单隐层前馈神经网络学习算法一极限学习机(ELM：Extreme Learning Machine)，只需要设置隐层节点个数，输入权值和隐元偏置随机初始化给定，输出权值利用广义逆解析计算得到，与传统的BP算法相比，ELM算法不需迭代、学习效率高、精度高、参数调整简单，受到了广泛关注。

传统的ELM基于训练误差最小化原理，输出权重直接由最小二乘估计方法得出，在训练样本少或者训练样本不均衡的情况下，会出现过拟合问题，导致泛化性能降低；初始定义的参数(隐层神经元个数、随机生成的输入权值和隐元偏置)对神经网络的泛化性能影响很大，特别是在训练样本不均衡或者训练样本少的情况；在实际应用过程中，为了达到理想精度，需要设置大量的隐层神经元个数，也会导致泛化性能的降低。所以，近年来研究者们提出了许多改进的ELM方法以提高ELM分类器的泛化性能。

2013年《Neurocomputing》(神经计算)在101卷229-242页发表的《Weighted extremelearning machine for imbalance learning》(解决不平衡学习的加权极限学习机)针对不均衡样本问题，通过为每一样本分配权重，强化样本少的类别对分类器的影响，同时弱化样本多的类别对分类器的影响。2012年《Soft Computing》(软计算)在16卷1493—1502页发表的《Dynamicensemble extreme learning machine based on sample entropy》(基于样本熵的动态合成极限学习机)应用AdaBoost将训练集分类，为每一训练子集训练一个ELM分类器，然后，基于样本熵动态合成策略将测试样本进行分类，会减轻过度学习训练样本带来的过拟合问题。2012年《Information Sciences》(信息科学)在185卷66-77页发表的《Voting based extreme learningmachine》(基于投票机制的极限学习机)提出单独训练多个具有相同网络结构的ELM分类器，再基于多数投票方式确定最终的分类结果，提高分类精度。上述改进算法通过对训练样本加权、或者应用多分类器提高分类精度，而没有涉及ELM的输入权重、隐元偏置和隐元个数的最优选择问题。

CNl0306519lA公开的《一种快速的神经网络学习方法》和CNl02708381A公开的《融合最小二乘向量机回归学习思想的改进极限学习机》通过在代价函数中综合考虑训练误差所代表的经验风险和输出权重范数所代表的结构风险，修正计算输出权重，优化泛化性能，也没有涉及ELM的输入权重、隐元偏置和隐元个数的最优选择问题。

2006年《IEEE Transactions on Neural Networks》(IEEE神经网络学报)在17卷1411-1423页发表的《A fast and accurate online sequential learning algorithm for feedforward networks》(一种快速精确的前馈网络在线序列学习算法)提出了在线序列极限学习机(OS-ELM：OnlineSequential Extreme Learning Machine)，根据新得到的训练样本不断修正输出权重。2010年《Computers&Mathematics with Applications》(计算机、数学及其应用)在60卷377-389页发表的《A new online learning algorithm for structure-adiustable extreme learning machine》(一种新型的结构可调在线极限学习机)提出了一种结构可调的在线极限学习机(SAO-ELM)，在线学习过程中，可以添加隐层神经元个数，再根据迭代公式计算修正输出权重。这些在线ELM分类器也没有涉及ELM的输入权重、隐元偏置和隐元个数的最优选择问题。

由于ELM算法随机选择输入权重和隐元偏置，利用随机选择的输入权重和隐元偏置计算使得训练误差最小的输出权重，而输入权重和隐元偏置的选择很有可能并不是最优的，研究者们已经开展了优化ELM输入权重和隐元偏置选择这方面的工作。2005年《Pattern recognition》(模式识别)在38卷1759—1763页发表的《Evolutionary extreme learning machine》(进化极限学习机)，在给定隐层神经元个数前提下，应用差分进化算法选择能够使得性能指标(综合考虑误差和输出权重的范数)最优的输入权重和隐元偏置。2006年《Advances in NeuralNetworks-ISNN2006，Lecture Notes in Computer Science》(先进神经网络，计算机科学讲义)3971卷644-652页发表的《Evolutionary extreme learning machine--based on particle swarmoptimization》(基于粒子群优化算法的进化极限学习机)应用粒子群优化算法在给定隐元个数的基础上迭代优化输入权重和隐元偏置。2011年《Neurocomputing》(神经计算)在74卷2483-2490页发表的《A study on effectiveness of extreme learning machine》(对极限学习机有效性的研究)提出选择使得输出矩阵列满秩的输入权重和隐元偏置，提高ELM分类器的测试精度。2012年《Neurocomputing》(神经计算)发表的《An improved evolutionary extreme learningmachine based on particle swarm optimization》(基于粒子群优化算法的进化极限学习机)在综合考虑验证集的误差和输出权重范数的性能指标前提下，利用粒子群优化算法优化输入权重和隐元偏置。上述研究在对输入权重和隐元偏置的优化过程中需要提前设定隐元个数，并没有考虑隐元个数的优化。

针对ELM模型中隐元个数的优化选取问题，近年研究者们也提出了优化策略。2009年《IEEE Transactions on Neural Networks》(IEEE神经网络学报)在20卷1352-1357页发表的《Error Minimized Extreme Learning Machine With Growth of Hidden Nodes and IncrementalLearning》(最小误差递增隐元个数的渐进式极限学习机)提出在学习过程中，通过随机地在网络中增加隐元个数，并更新输出权重，达到自动获取能够使得误差最优的网络结构的目的。2010年《IEEE Transactions on Neural Networks》(IEEE神经网络期刊)在21卷158—162页发表的《OP-ELM：Optimally Pruned Extreme Learning Machine》(最佳精简极限学习机)利用多响应稀疏回归方法剔除掉不重要的隐元，获得较紧凑的网络结构。以上策略对ELM隐元个数进行优化，但是对输入权重和隐元偏置并没有同时进行优化。

2009年《Applied Soft Computing》(应用软计算)在9卷541—552页发表的《No-referenceimage quality assessment using modified extreme learning machine classifier》提出应用实数编码的遗传算法同时优化隐元个数及相应输入权重和隐元偏置，但需要人工调节算法中定义的新的遗传算子的多个参数。

本发明所提出的基于变长度粒子群优化算法的极限学习机，利用简单的变长度粒子群优化算法，同时优化ELM的隐元个数及相应输入权重和隐元偏置，不仅大大提高了ELM分类器的泛化性能，而且能够以较少隐元个数的ELM分类器获得最大的泛化性能，测试所需时间短，效率高。

发明内容

本发明针对现有极限学习机及其各优化算法存在的不足，特别是，如何优化ELM网络结构提高ELM分类器的泛化性能，提出一种基于变长度粒子群优化算法的极限学习机。该极限学习机利用变长度粒子群优化算法(VPSO：Variable-length Particle Swarm Optimization)自动地选择隐元个数，同时选择相应的输入权重和隐元偏置，使ELM分类器的泛化性能最大化，能够以较少隐元个数的ELM分类器获得最大的泛化性能，测试所需时间短，效率高。

本发明提出的基于变长度粒子群优化算法的极限学习机，具体包括以下步骤：

(1)粒子群中的每一个粒子表示一个ELM分类器，粒子群中的第i个粒子表示为L×(n+1)的二维实数矩阵：

$p_i=\left[\begin{array}{ccccc}{w}_{11}& w_{12}& ...& w_{1n}& b_1\\ w_{21}& w_{22}& ...& w_{2n}& b_2\\ \·& \·& & \·& \·\\ \·& \·& ...& \·& \·\\ \·& \·& & \·& \·\\ w_{L1}& w_{L2}& ...& w_{\mathrm{Ln}}& b_L\end{array}\right],$

其中，p_i的行数L表示为该ELM分类器的隐元个数，(w_j1  w_j2  …  w_jn  b_j)表示第j个隐元的输入权重和偏置，j=1，…L，n为输入层神经元个数，即数据集特征维数；

(2)计算每个粒子对于评价函数的适应值f(p_i)，评价函数f(x)定义为分类器的交叉验证精度；

(3)对各个粒子的速度和位置进行更新，生成下一代粒子群；

v_i(t)，p_i(t)分别表示第t代粒子群中第i个粒子的速度和位置，

表示第i个粒子在t代进化中产生的局部最优解，

表示在t代进化中产生的全局最优解，按照p_i(t)的行数与

的行数是否相等，采用不同的更新公式；

①如果p_i(t)的行数与

的行数相同，即第i个粒子p_i(t)所代表的ELM分类器与全局最优解

所代表的ELM分类器具有同样的隐元个数，那么，

$v_i(t+1)=\mathrm{\ω}{v}_i\left(t\right)+c_1{r}_1(p_i^{*}\left(t\right)-p_i\left(t\right))+c_2{r}_2(p_g^{*}\left(t\right)-p_i\left(t\right)),$

p_i(t+1)=p_i(t)+v_i(t+1)。

其中ω为惯性因子，r₁，r₂是[0，1]均匀取值的随机数，用来保持粒子的多样性，c₁，c₂是学习因子，为正常数，c₁，c₂=1.5，惯性因子ω的计算如下：

$\mathrm{\ω}={\mathrm{\ω}}_{\max }-\frac{{\mathrm{\ω}}_{\max }-{\mathrm{\ω}}_{\min }}{{\mathrm{iter}}_{\max }}\×t,$

其中，ω_max，ω_min分别为ω的上、下界，ω_max=1.2，ω_min=0.73，iter_max=200为最大的迭代代数，t为当前的迭代代数；

②如果p_i(t)的行数与

的行数不同，即第i个粒子p_i(t)所代表的ELM分类器与全局最优解

所代表的ELM分类器的隐元个数不相同，又分为两种情况：

a.如果p_i(t)的行数nr_i大于

的行数nr_g，那么从p_i(t)中随机选取nr_g行构成p′_i(t)，从v_i(t)中选择相应的nr_g行构成v′_i(t)，从局部最优解

中选择相应的nr_g行构成

分别表示为：

$p_i^{\′}\left(t\right)=p_i\left(t\right)\left(\frac{{\mathrm{nr}}_g}{{\mathrm{nr}}_i}\right),$

$v_i^{\′}\left(t\right)=v_i\left(t\right)\left(\frac{{\mathrm{nr}}_g}{{\mathrm{nr}}_i}\right),$

$p_i^{*\′}\left(t\right)=p_i^{*}\left(t\right)\left(\frac{{\mathrm{nr}}_g}{{\mathrm{nr}}_i}\right).$

划掉这nr_g行后，p_i(t)，v_i(t)，剩余的部分分别用

表示；

从而，第i个粒子p_i(t)的更新分为两部分：分别是对p′_i(t)和

的更新；

对于p′_i(t)，

$v_i^{\′}(t+1)=\mathrm{\ω}{v}_i^{\′}\left(t\right)+c_1{r}_1(p_i^{*\′}\left(t\right)-p_i^{\′}\left(t\right))+c_2{r}_2(p_g^{*}\left(t\right)-p_i^{\′}\left(t\right)),$

p′_i(t+1)=p′_i(t)+v′_i(t+1)。

对于

${\stackrel{\‾}{v}}_i^{\′}(t+1)=\mathrm{\ω}{\stackrel{\‾}{v}}_i^{\′}\left(t\right)+c_1{r}_1({\stackrel{\text{-}}{p}}_i^{*\′}\left(t\right)-{\stackrel{\‾}{p}}_i^{\′}\left(t\right)),$

${\stackrel{\‾}{p}}_i^{\′}(t+1)={\stackrel{\‾}{p}}_i^{\′}\left(t\right)+{\stackrel{\‾}{v}}_i^{\′}(t+1),$

更新之后，p′_i(t+1)和

按照原先在p_i(t)中的行位置进行组合，构成p_i(t+1)；同样的，v′_i(t+1)和组合成v_i(t+1)；

b.如果p_i(t)的行数nr_j小于

的行数nr_g，那么从中随机选取nr_i行构成

用下式表示：

$p_{\mathrm{gi}}^{*}\left(t\right)=p_g^{*}\left(t\right)\left(\frac{{\mathrm{nr}}_i}{{\mathrm{nr}}_g}\right),$

则更新公式定义如下：

$v_i(t+1)=\mathrm{\ω}{v}_i\left(t\right)+c_1{r}_1(p_i^{*}\left(t\right)-p_i\left(t\right))+c_2{r}_2(p_{\mathrm{gi}}^{*}\left(t\right)-p_i\left(t\right)),$

p_i(t+1)＝p_i(t)+v_i(t+1)，

第t+1代第i个粒子的局部最优解

根据下式进行更新：

$p_i^{*}(t+1)=\left\{\begin{array}{ccc}{p}_i^{*}\left(t\right),& \mathrm{if}& f\left(p_i(t+1)\right)\≤f\left(p_i^{*}\left(t\right)\right)\\ p_i(t+1),& \mathrm{if}& f\left(p_i(t+1)\right)>f\left(p_i^{*}\left(t\right)\right)\end{array}\right.,$

其中f(x)表示为粒子群优化算法中的评价函数；

粒子群中所有粒子更新后，根据下式更新第t+1代粒子群的全局最优解

$p_g^{*}(t+1)={\max }_{p_i^{*}}(f\left(p_1^{*}(t+1)\right),f\left(p_2^{*}(t+1)\right),...,f\left(p_m^{*}(t+1)\right));$

尽管粒子群中不同粒子的行数是不相同的，但是，第i个粒子在整个进化中的行数是保持不变的；

(4)如果达到最大迭代次数，则停止迭代，输出最优解，其最优解对应于能够使得交叉验证精度最高的ELM分类器，即最优隐元个数及相应的输入权重和隐元偏置；否则，转到步骤(2)：

(5)根据最优隐元个数及相应的输入权重和隐元偏置计算输出权重，从而得到使得交叉验证精度最高的ELM分类器。

本发明提出的极限学习机不同于PSO-ELM、RCGA-ELM。在PSO-ELM中，PSO算法只是在给定隐元个数的情况下来优化其输入权重和隐元偏置。在RCGA-ELM中，遗传算法可以找到最优的隐层神经元个数及其相应的输入权重和隐元偏置，但是算法中定义了新的遗传算子，需要手动调节多个参数。本发明所提出的基于变长度粒子群优化算法的ELM分类器，同时自动搜索使得交叉验证精度最高的ELM隐元个数和相应的输入权重和隐元偏置，使优化后的ELM分类器泛化性能最大，优化步骤和进化过程简单且高效，能够以较少隐元个数的ELM分类器获得最大的泛化性能，测试所需时间短，效率高。

附图说明

图1本发明所提出的基于变长度粒子群优化算法的极限学习机的流程图。

图2随机选择的输入权重和隐元偏置对训练精度和测试精度的影响(隐元个数为20)示意图。

(a)训练精度；(b)测试精度。

图3随机设定的隐元个数对训练精度和测试精度的影响示意图。

(a)训练精度；(b)测试精度；(c)平均训练精度；(d)平均测试精度。

具体实施方式

本发明提出一种全新的ELM优化分类器，基于变长度粒子群优化算法的极限学习机(VPSO-ELM)，变长度粒子群优化算法可以同时自动地选择适合的隐元个数及其相应的输入权重和隐元偏置使得ELM分类器的泛化性能最大化，能够以较少隐元个数的ELM分类器获得最大的泛化性能，测试所需时间短，效率高。

(1)极限学习机

极限学习机ELM是一种简单有效的单隐层前馈神经网络(SLFN)学习算法，在ELM中，输入权重和隐元偏置被随机初始化设定，利用广义逆矩阵计算得到输出权重。隐层神经元的激励函数g(x)可以选择sigmoidal、sine、Gaussian。针对多类分类问题，对于任意N个各不相同的样本(x_j，t_j),j=1，…N，其中

是第j个样本，每个样本包含n维特征，

是其所属的类的标签。如果样本x_j属于第k类，那么t_j的第k个元素为1(t_jk=1)，其余元素为-1。假定所有样本属于m个不同类别，则一个拥有L个隐层神经元、激励函数为g(x)的ELM分类器可以表示为：

${\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_{i}g(w_i\·x_j+b_i)=t_j,j=1,...N,$

其中w_i，b_i，β_i分别为第i个隐层神经元相对应的输入权重、隐元偏置和输出权重。

ELM分类器的矩阵表示形式为：

Hβ=T，

β为输出权重矩阵，T为输出矩阵，H为隐层输出矩阵，

$H={\left[\begin{array}{ccc}g(w_1{x}_1+b_1)& ...& g(w_L{x}_1+b_L)\\ .& & .\\ .& ...& .\\ .& & .\\ g(w_1{x}_N+b_1)& ...& g(w_L{x}_N+b_L)\end{array}\right]}_{N\×L}$

H矩阵的第i列代表了第i个隐层神经元节点在输入x₁，…，x_N下的隐层输出值。

在拥有L个隐元节点的ELM分类器中，输入权重w_i和隐元偏置b_i(i=1，…，L)是随机设定的，求解输入权值的最小二乘解即可得到输出权值矩阵β，使训练误差的二范数||Hβ-T||最小，即

其中是H的广义逆矩阵。

(2)随机设定参数对ELM分类器泛化性能的影响

使用UCI数据库中糖尿病(Diabetes)数据集进行实验，用以说明随机设定的隐元个数、输入权重和隐元偏置等参数对ELM分类器泛化性能的影响。

首先，ELM分类器选用20个隐元节点，激励函数选用sigmoidal，在相同的训练测试数据集下，随机选取输入权重和隐元偏置(在[-1，+1]之间随机取值)200次，从而获得200个ELM分类器，图2(a)、(b)给出了200个ELM分类器的训练精度和测试精度，可以看到输入权重和隐元偏置对ELM分类器的泛化性能影响很大。

接着，隐元个数从5变化到100，间隔为5，对每种网络结构，随机选取输入权重和隐元偏置(在[-1，+1]之间随机取值)200次，从而获得隐元个数一定的200个ELM分类器，图3(a)、(b)分别给出了训练精度和测试精度的变化情况，图3(c)、(d)给出了隐元个数一定的平均训练精度和平均测试精度。可以看出训练精度随着隐元个数增加而提高，但是测试精度在隐元个数在15-25之间时达到最大值，随后，测试精度随着隐元个数增加反而降低，说明ELM分类器的泛化性能并不是随着隐元个数的增加而提高的。

从而，隐元个数、输入权重、隐元偏置的选取对ELM分类器的泛化性能有很大影响。如何找到使得ELM分类器泛化性能最优的隐元个数、输入权重和隐元偏置是一个复杂的优化问题。

本发明提出应用变长度粒子群优化算法同时寻找最优的隐元个数和相应的输入权重和隐元偏置，使得ELM分类器泛化性能达到最大，能够以较少隐元个数的ELM分类器获得最大的泛化性能，测试所需时间短，效率高。

(3)粒子群优化算法

基于鸟类寻找谷堆这一简单的社会行为分析，1995年《Proceedings of IEEE InternationalConference on Neural Networks》(IEEE神经网络国际研讨会论文集)在4卷1942-1948页发表的《Particle swarm optimization》(粒子群优化)提出了粒子群优化算法，PSO算法的优点表现为实现简单、收敛快速。

PSO算法首先初始化随机生成的一个粒子种群，初始粒子种群的位置在解空间中均匀分布，每个粒子还对应有一个速度决定它们的飞行方向和距离，所有粒子对应于评价函数有相应的适应值，优化的目标就是在解空间中搜索使得对应于评价函数的适应值最大(或最小)的粒子。假设粒子群中有m个粒子，第i个粒子在d维解空间的位置和速度可分别表示为p_i=(p_i1,...，p_id)，v_i=(v_i1，...，v_id)，i=1，…m，每个粒子都保留进化到第t代的局部最优解

和整个粒子群的全局最优解

第t+1代第i个粒子的速度v_i(t+1)和位置p_i(t+1)的更新公式为：

$v_i(t+1)=\mathrm{\ω}{v}_i\left(t\right)+c_1{r}_1(p_i^{*}\left(t\right)-p_i\left(t\right))+c_2{r}_2(p_g^{*}\left(t\right)-p_i\left(t\right)),$

p_i(t+1)=p_i(t)+v_i(t+1)，

其中ω为惯性因子，r₁、r₂是[0，1]之间均匀取值的随机数，用来保持粒子的多样性，c₁、c₂是学习因子，为正常数。

在每一次迭代中，粒子通过跟踪两个极值更新其速度和位置，一个极值是粒子本身进化到当前代所找到的最优解，即局部最优解，另一个极值是整个种群进化到当前代所找到的最优解，即全局最优解。

计算第t+1代第i个粒子对应于评价函数的适应度值f(x)，如果该适应值优于该粒子当前的局部最优解，则更新该粒子的局部最优解，更新公式如下：

$p_i^{*}(t+1)=\left\{\begin{array}{ccc}{p}_i^{*}\left(t\right),& \mathrm{if}& f\left(p_i(t+1)\right)\≤f\left(p_i^{*}\left(t\right)\right))\\ p_i(t+1),& \mathrm{if}& f\left(p_i(t+1)\right)>f\left(p_i^{*}\left(t\right)\right)\end{array}\right..$

根据第t+1代粒子群中所有粒子的局部最优解，更新全局最优解

$p_g^{*}={\max }_{p_i^{*}}(f\left(p_1^{*}\right),f\left(p_2^{*}\right),...,f\left(p_m^{*}\right)).$

(4)基于粒子群优化算法的极限学习机(PSO-ELM)

2006年《Advances in Neural Networks-ISNN2006，Lecture Notes in Computer Science》(先进神经网络，计算机科学讲义)3971卷644-652页发表的《Evolutionary extreme learningmachine--based on particle swarm optimization》(基于粒子群优化算法的进化极限学习机)应用粒子群优化算法在给定隐元个数的基础上迭代优化输入权重和隐元偏置。

在粒子群中，每个粒子代表一个ELM分类器。假定ELM分类器的输入维数为n，那么每个粒子所代表的ELM分类器可以用二维实数矩阵表示：

$p_i=\left[\begin{array}{ccccc}{w}_{11}& w_{12}& ...& w_{1n}& b_1\\ w_{21}& w_{22}& ...& w_{2n}& b_2\\ .& .& & .& .\\ .& .& ...& .& .\\ .& .& & .& .\\ w_{L1}& w_{L2}& ...& w_{\mathrm{Ln}}& b_L\end{array}\right].$

其中L是p_i的行数，表示隐元个数，

表示第j个隐元的输入权重和隐元偏置，j=1，…L，i=1，…m。对于PSO-ELM算法，ELM分类器的隐元个数是给定的，所有粒子大小都是相同的，可以直接应用PSO的更新公式进化。

在PSO-ELM算法中，PSO算法只是在给定隐元个数的情况下优化输入权重和隐元偏置，使泛化性能最大化，而隐元个数的选择使用穷举法或根据先验知识得到。

本发明同时优化ELM分类器的隐元个数与输入权重、隐元偏置，使泛化性能达到最大。

(5)基于变长度粒子群优化算法的极限学习机(VPSO-ELM)

优化ELM的目标是搜索最大化ELM分类器泛化性能的隐元个数、及相应的输入权重和隐元偏置。本发明提出的变长度粒子群优化算法可以同时搜索ELM分类器的隐元个数和其相应的输入权重和隐元偏置，使得ELM分类器的泛化性能最大化。

为了搜索使得ELM分类器泛化性能最优的隐元个数及其相应的输入权重和隐元偏置，本发明定义了变长度粒子群。粒子形式体现了ELM分类器的网络结构，它由一个二维的实数字符串编码表示，各粒子p_i的行数可能不同，传统的PSO算法的位置和速度更新公式不适用于变长度粒子群算法。本发明定义了新的更新公式，适用于长度不同的粒子。

v_i(t)，p_i(t)分别表示第t代粒子群中第i个粒子的速度和位置，表示第i个粒子在t代进化中产生的局部最优解，

表示在t代进化中产生的全局最优解。按照p_i(t)的行数与的行数是否相等，采用不同的更新公式。

①如果p_i(t)的行数与

的行数相同，即第i个粒子p_i(t)所代表的ELM分类器与全局最优解

所代表的ELM分类器具有同样的隐元个数，那么

$v_i(t+1)=\mathrm{\ω}{v}_i\left(t\right)+c_1{r}_1(p_i^{*}\left(t\right)-p_i\left(t\right))+c_2{r}_2(p_g^{*}\left(t\right)-p_i\left(t\right)),$

p_i(t+1)=p_i(t)+v_i(t+1)。

其中ω为惯性因子，r₁，r₂是[0，1]均匀取值的随机数，用来保持粒子的多样性，c₁，c₂是学习因子，为正常数，c₁，c₂=1.5，惯性因子ω的计算如下：

$\mathrm{\ω}={\mathrm{\ω}}_{\max }-\frac{{\mathrm{\ω}}_{\max }-{\mathrm{\ω}}_{\min }}{{\mathrm{iter}}_{\max }}\×t$

其中，ω_max，ω_min分别为ω的上、下界，ω_max=1.2，ω_min=0.73，iter_max=200为最大的迭代代数，t为当前的迭代代数。

②如果p_i(t)的行数与

的行数不同，即第i个粒子p_i(t)所代表的ELM分类器与全局最优解

所代表的ELM分类器的隐元个数不相同，又分为两种情况：

a.如果p_i(t)的行数nr_i大于

的行数nr_g，那么从p_i(t)中随机选取nr_g行构成p′_i(t)，从v_i(t)中选择相应的nr_g行构成v′_i(t)，从局部最优解

中选择相应的nr_g行构成

分别表示为：

$p_i^{\text{'}}\left(t\right){=p}_i\left(t\right)\left(\frac{{\mathrm{nr}}_g}{{\mathrm{nr}}_i}\right),$

$v_i^{\text{'}}\left(t\right)=v_i\left(t\right)\left(\frac{{\mathrm{nr}}_g}{{\mathrm{nr}}_i}\right),$

$p_i^{*\text{'}}\left(t\right)=p_i^{*}\left(t\right)\left(\frac{{\mathrm{nr}}_g}{{\mathrm{nr}}_i}\right).$

划掉这nr_g行后，p_i(t)，v_i(t)，

剩余的部分分别用表示。

从而，第i个粒子p_i(t)的更新分为两部分：分别是对

和

的更新。

对于p′_i(t)，

$v_i^{\′}(t+)=\mathrm{\ω}{v}_i^{\′}\left(t\right)+c_1{r}_1(p_i^{*\′}\left(t\right)-p_i^{\′}\left(t\right))+c_2{r}_2(p_g^{*}\left(t\right)-p_i^{*}\left(t\right))$

p′_i(t+1)=p′_i(t)+v′_i(t+1)

对于

${\stackrel{-}{v}}_i^{\text{'}}(t+1)=\mathrm{\ω}{\stackrel{-}{v}}_i^{\text{'}}\left(t\right)+c_1{r}_1({\stackrel{-}{p}}_i^{*\text{'}}\left(t\right)-{\stackrel{-}{p}}_i^{\text{'}}\left(t\right))$

${\stackrel{-}{p}}_i^{\text{'}}(t+1)={\stackrel{-}{p}}_i^{\text{'}}\left(t\right)+{\stackrel{-}{v}}_i^{\text{'}}(t+1)$

更新之后，p′_i(t+1)和

按照原先在p_i(t)中的行位置进行组合，构成p_i(t+1)。同样的，v′i(t+1)和

组合成v_i(t+1)。

b.如果p_i(t)的行数nr_i小于

的行数nr_g，那么从

中随机选取nr_i行构成

用下式表示：

$p_{\mathrm{gi}}^{*}\left(t\right)=p_g^{*}\left(t\right)\left(\frac{{\mathrm{nr}}_i}{{\mathrm{nr}}_g}\right).$

则更新公式定义如下：

$v_i(t+1)=\mathrm{\ω}{v}_i\left(t\right)+c_1{r}_1(p_i^{*}\left(t\right)-p_i\left(t\right))+c_2{r}_2(p_{\mathrm{gi}}^{*}\left(t\right)-p_i\left(t\right))$

p_i(t+1)=p_i(t)+v_i(t+1)

在变长度粒子群优化算法中，进化过程直到达到最大迭代次数停止。

本发明称基于变长度粒子群优化算法的极限学习机ELM为“VPSO-ELM”。

这种方法不同于PSO-ELM、E-ELM、RCGA-ELM。在PSO-ELM中，PSO算法是在给定隐元个数的情况下搜索使得泛化性能最大的输入权重和隐元偏置；在E-ELM中，遗传算法也是在给定隐元个数的情况下搜索使得泛化性能最大的输入权重和隐元偏置，最优的隐元个数是通过穷举方法得到。在RCGA-ELM中，应用遗传算法同时搜索使得泛化性能最优的隐元个数和相应的输入权重和隐元偏置，定义了新的遗传算子，需要手动调节多个参数。本发明所提出的变长度粒子群优化算法同时搜索隐元个数和相应的输入权重和隐元偏置，使ELM泛化性能最大化，优化步骤和进化过程非常简单并且高效，能够以较少隐元个数的ELM分类器获得最大的泛化性能，测试所需时间短，效率高。

基于变长度粒子群优化算法的极限学习机具体算法步骤总结如下：

1)随机初始化粒子群位置和速度，粒子群中的每一个粒子表示一个ELM分类器；

2)计算每个粒子对于评价函数的适应值f(p_i)，评价函数f(x)定义为ELM分类器的交叉验证精度；

3)对各个粒子的速度和位置进行更新，生成下一代粒子群；

4)如果达到最大迭代次数，则停止迭代，输出最优解，其最优解对应于能够使得交叉验证精度最高的ELM分类器，即最优隐元个数及相应的输入权重和隐元偏置；否则，转到步骤(2)；

5)根据最优隐元个数及相应的输入权重和隐元偏置计算输出权重，从而得到使得交叉验证精度最高的ELM分类器。

本发明已经成功地应用MATLAB做了大量的ELM、PSO-ELM和VPSO-ELM算法实验。参数设置如下：粒子群大小m=200，最大迭代次数iter_max=50，学习因子c₁=1.5，c₂=1.5。在ELM、PSO-ELM与VPSO-ELM算法中，输入权重和隐元偏置设置范围[-1，+1]，隐元个数选择范围根据数据集不同而定。

所有实验均是在MATLAB7.10(R2010a)实验平台上运行，采用W7操作系统，因特尔酷睿双核处理器(TM)i3-2120CPU3.30Hz2.00GB RAM。实验中用到的常用数据集均是从UCI数据库下载，各数据集及其参数特性如表1所示。

表1数据集特征详述

数据集	属性数	类别数	训练集数量	验证集数量	测试集数量
						Diabetes	8	2	576	96	96
Iris	4	3	100	25	25
						Glass	9	6	132	41	41
Segmentation	19	7	1500	405	405
						Ecoli	7	8	225	55	56
Wine	13	3	118	30	30
						Liver	6	2	230	57	58
Satellite	36	7	4435	1000	1000

为了检验ELM、PSO-ELM、VPSO-ELM分类器的分类性能，本发明将三个分类器应用在常用的数据集上，对应多个数据集，比较了三个分类器所需的训练时间、训练精度、测试精度，实验结果如表2所示。

表2ELM，PSO-ELM，VPSO-ELM分类器对各数据集的性能比较

从表2可以看出，本发明所提出的基于变长度粒子群优化算法的极限学习机对各数据集均体现出了良好的泛化性能，通过同时优化隐元个数及其相应的输入权重和隐元偏置，VPSO-ELM所得到的测试精度优于PSO-ELM算法和传统的ELM算法，泛化性能得到了很大提高。但是，VPSO-ELM要花费大量的训练时间，其主要原因是在变长度粒子群优化算法中，粒子更新之前需要花费时间比较粒子与全局最优解的行数是否相同，进而选择不同的更新公式，如行数不同时，需要将粒子分解不同部分分别进行更新，然后再进行组合，从而训练时间较长。然而，一旦训练结束，所求得的最优隐元个数与ELM和PSO-ELM相比较少，这样，就使得测试时间花费较少，提高了应用效率。

比较了本发明提出的VPSO-ELM算法分类精度与近几年文献中提出的其他极限学习机优化算法，比较结果如表3所示。

表3VPSO-ELM与近年文献中所提出的其他极限学习机优化算法的测试集精确度比较

从表3可以看出，相比于近几年文献中提出的其他ELM优化算法，本发明提出的VPSO-ELM分类器所得到的测试分类精度较高。

实验验证了本发明提出的VPSO-ELM算法以较长的训练时间为代价，同时优化隐元个数，及相应的输入权重和隐元偏置，使ELM分类器的泛化性能最大化，优化步骤和进化过程简单、高效，能够以较少隐元个数的ELM分类器获得最大的泛化性能，测试所需时间短，效率高。

Claims (1)

1.一种基于变长度粒子群优化算法的极限学习机，其特征是，包括以下步骤：

(1)粒子群中的每一个粒子表示一个ELM分类器，粒子群中的第i个粒子表示为L×(n+1)的二维实数矩阵：

$p_i=\left[\begin{array}{ccccc}{w}_{11}& w_{12}& ...& w_{1n}& b_1\\ w_{21}& w_{22}& ...& w_{2n}& b_2\\ .& .& ...& .& .\\ .& .& & .& .\\ .& .& & .& .\\ w_{L1}& w_{L2}& ...& w_{\mathrm{Ln}}& b_L\end{array}\right],$

其中，p_i的行数L表示为该ELM分类器的隐元个数，(w_j1 w_j2 … w_jn b_j)表示第j个隐元的输入权重和偏置，j=1，…L，n为输入层神经元个数，即数据集特征维数；

(2)计算每个粒子对于评价函数的适应值f(p_i)，评价函数f(x)定义为分类器的交叉验证精度；

(3)对各个粒子的速度和位置进行更新，生成下一代粒子群；

v_i(t)，p_i(t)分别表示第t代粒子群中第i个粒子的速度和位置，

表示第i个粒子在t代进化中产生的局部最优解，

表示在t代进化中产生的全局最优解，按照p_i(t)的行数与

的行数是否相等，采用不同的更新公式；

①如果p_i(t)的行数与

的行数相同，即第i个粒子p_i(t)所代表的ELM分类器与全局最优解

所代表的ELM分类器具有同样的隐元个数，那么，

$v_i(t+1)=\mathrm{\ω}{v}_i\left(t\right)+c_1{r}_1(p_i^{*}\left(t\right)-p_i\left(t\right))+c_2{r}_2(p_g^{*}\left(t\right)-p_i\left(t\right)),$

p_i(t+1)=p_i(t)+v_i(t+1)。

其中ω为惯性因子，r₁，r₂是[0，1]均匀取值的随机数，用来保持粒子的多样性，c₁，c₂是学习因子，为正常数，c₁，c₂=1.5，惯性因子ω的计算如下：

$\mathrm{\ω}={\mathrm{\ω}}_{\max }-\frac{{\mathrm{\ω}}_{\max }-{\mathrm{\ω}}_{\min }}{{\mathrm{iter}}_{\max }}\×t,$

其中，ω_max，ω_min分别为ω的上、下界，ω_max=1.2，ω_min=0.73，iter_max=200为最大的迭代代数，t为当前的迭代代数；

②如果p_i(t)的行数与

(t)的行数不同，即第i个粒子p_i(t)所代表的ELM分类器与全局最优解

(t)所代表的ELM分类器的隐元个数不相同，又分为两种情况：

a.如果p_i(t)的行数nr_i大于

(t)的行数nr_g，那么从p_i(t)中随机选取nr_g行构成

(t)，从v_i(t)中选择相应的nr_g行构成

，从局部最优解

(t)中选择相应的nr_g行构成

(t)，分别表示为：

$p_i^{\′}\left(t\right)=p_i\left(t\right)\left(\frac{{\mathrm{nr}}_g}{{\mathrm{nr}}_i}\right),$

$v_i^{\′}\left(t\right)=v_i\left(t\right)\left(\frac{{\mathrm{nr}}_g}{{\mathrm{nr}}_i}\right),$

$p_i^{*\′}\left(t\right)=p_i^{*}\left(t\right)\left(\frac{{\mathrm{nr}}_g}{{\mathrm{nr}}_i}\right).$

划掉这nr_g行后，p_i(t)，v_i(t)，

(t)剩余的部分分别用

(t)，

(t)，

(t)表示；

从而，第i个粒子p_i(t)的更新分为两部分：分别是对

(t)和

(t)的更新；

对于

(t)，

$v_i^{\′}(t+1)=\mathrm{\ω}{v}_i^{\′}\left(t\right)+c_1{r}_1(p_i^{*\′}\left(t\right)-p_i^{\′}\left(t\right))+c_2{r}_2(p_g^{*}\left(t\right)-p_i^{\′}\left(t\right)),$

$p_i^{\′}(t+1)=p_i^{\′}\left(t\right)+v_i^{\′}(t+1),$

对于

(t)，

${\stackrel{\‾}{v}}_i^{\′}(t+1)=\mathrm{\ω}{\stackrel{\‾}{v}}_i^{\′}\left(t\right)+c_1{r}_1({\stackrel{\‾}{p}}_i^{*\′}\left(t\right)-{\stackrel{\‾}{p}}_i^{\′}\left(t\right)),$

${\stackrel{\‾}{p}}_i^{\′}(t+1)={\stackrel{\‾}{p}}_i^{\′}\left(t\right)+{\stackrel{\‾}{v}}_i^{\′}(t+1),$

更新之后，

(t+1)和

(t+1)按照原先在p_i(t)中的行位置进行组合，构成p_i(t+1)；

同样的，

(t+1)和(t+1)组合成v_i(t+1)；

b.如果p_i(t)的行数nr_i小于

(t)的行数nr_g，那么从

(t)中随机选取nr_i行构成

(t)，用下式表示：

$p_{\mathrm{gi}}^{*}\left(t\right)=p_g^{*}\left(t\right)\left(\frac{{\mathrm{nr}}_i}{{\mathrm{nr}}_g}\right),$

则更新公式定义如下：

$v_i(t+1)=\mathrm{\ω}{v}_i\left(t\right)+c_1{r}_1(p_i^{*}\left(t\right)-p_i\left(t\right))+c_2{r}_2(p_{\mathrm{gi}}^{*}\left(t\right)-p_i\left(t\right)),$

p_i(t+1)=p_i(t)+v_i(t+1)，

第t+1代第i个粒子的局部最优解

(t+1)根据下式进行更新：

$p_i^{*}(t+1)=\left\{\begin{array}{ccc}{p}_i^{*}\left(t\right),& \mathrm{if}& f\left(p_i(t+1)\right)\≤f\left(p_i^{*}\left(t\right)\right)\\ p_i(t+1),& \mathrm{if}& f\left(p_i(t+1)\right)>f\left(p_i^{*}\left(t\right)\right)\end{array}\right.,$

其中f(x)表示为粒子群优化算法中的评价函数；

粒子群中所有粒子更新后，根据下式更新第t+1代粒子群的全局最优解

，

$p_g^{*}(t+1)={\max }_{p_i^{*}}(f\left(p_1^{*}(t+1)\right),f\left(p_2^{*}(t+1)\right),\·\·\·,f\left(p_m^{*}(t+1)\right));$

尽管粒子群中不同粒子的行数是不相同的，但是，第i个粒子在整个进化中的行数是保持不变的；

(4)如果达到最大迭代次数，则停止迭代，输出最优解，其最优解对应于能够使得交叉验证精度最高的ELM分类器，即最优隐元个数及相应的输入权重和隐元偏置；否则，转到步骤(2)；

(5)根据最优隐元个数及相应的输入权重和隐元偏置计算输出权重，从而得到使得交叉验证精度最高的ELM分类器。

Images