CN110147890A - 一种基于狮群算法优化极限学习机集成学习的方法及系统 - Google Patents
一种基于狮群算法优化极限学习机集成学习的方法及系统 Download PDFInfo
- Publication number
- CN110147890A CN110147890A CN201910395898.XA CN201910395898A CN110147890A CN 110147890 A CN110147890 A CN 110147890A CN 201910395898 A CN201910395898 A CN 201910395898A CN 110147890 A CN110147890 A CN 110147890A
- Authority
- CN
- China
- Prior art keywords
- lion
- individual
- learning machine
- extreme learning
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于狮群算法优化极限学习机集成学习的方法及系统,将改进后的狮群算法应用于极限学习机的集成学习中,充分利用狮群算法精度高、收敛快以及极限学习训练速度快的特点,通过使用狮群算法追随当前搜索到的最优值来寻找全局最优解以减少迭代次数来优化极限学习机个体,并根据极限学习机相关理论制定了相应的选择机制,将输出权值的模小并且训练误差小的极限学习机选择出来以供集成网络,在可接受的训练时间内,网络稳定性和泛化能力得到了显著提升,是一种有实际应用价值的新方法。
Description
技术领域
本发明涉及人工智能技术领域,具体涉及一种基于狮群算法优化极限学习机集成学习的方法及系统。
背景技术
极限学习机(Extreme Learning Machine,ELM)是一类基于前馈神经网络(feedforward neuron network)的机器学习算法,其主要特点是隐含层节点参数可以是随机或人为给定的且不需要调整,学习过程仅需计算输出权重。ELM具有学习效率高和泛化能力强的优点,被广泛应用于分类、回归、聚类、特征学习等问题中。但是由于一些参数是随机产生的,不可避免地一些较为差的参数被随机出来从而影响整个极限学习的稳定性及泛化能力,而且使用整个训练集进行训练有可能出现过适应问题。
现有技术中,一般是通过集成学习的方式来改善上述问题,集成学习是通过使用一系列学习器进行学习,并使用某种规则把各学习结果进行整合,从而获得比单个学习器更好的学习效果的一种机器学习方法。例如采用Bagging、Boosting、随机森林的方式进行集成。
本申请发明人在实施本发明的过程中,发现现有技术的方法,至少存在如下技术问题:
现有的集成方法没有充分利用极限学习机的特点,因而集成的效果不理想。
由此可知,现有技术中的方法存在集成效果不佳的技术问题。
发明内容
有鉴于此,本发明提供了一种基于狮群算法优化极限学习机集成学习的方法及系统,用以解决或者至少部分解决现有技术中的方法存在的集成效果不佳的技术问题。
为了解决上述技术问题,本发明第一方面提供了一种基于狮群算法优化极限学习机集成学习的方法,包括:
步骤S1:将极限学习机随机产生的输入权值及隐含层节点阈值编码成狮群算法个体,形成初始种群;
步骤S2:将形成的初始种群作为训练集,并从训练集中抽取出预设比例的训练样本作为验证测试集,基于验证测试集计算出每个个体的适应度以及各类狮子的数量,将适应度最佳的位置设置为狮王位置;
步骤S3:分别根据每个个体的位置更新函数更新狮王、母狮和幼狮的位置,其中,个体包括狮王、母狮和幼狮,狮王的位置更新函数为:
母狮的位置更新函数为:
幼狮的位置更新函数为:
其中,γ为依照正太分布N(0,1)产生的随机数;为第i个狮子第k代的历史最优位置;gk表示第k代群体最优位置;为从第k代母狮群中随机挑选的一个捕猎协作伙伴的历史最佳位置;为第i个幼狮在捕猎范围内被驱赶的位置,和分别为狮王活动空间范围内各维度的最小值均值和最大值均值;为幼狮跟随母狮的第k代历史最佳位置,αc表示幼狮移动范围扰动因子,概率因子q为依照均匀分布U[0,1]产生的均匀随机值;
步骤S4:根据步骤S3中更新后的位置计算每个个体的适应度值,并根据计算出的适应度更新自身历史最优位置及狮群历史最优位置;
步骤S5:根据更新后的个体的最优位置和狮群历史最优位置判断是否满足结束条件,如果满足,则执行步骤S7,否则跳转到步骤S6;
步骤S6:每隔预设迭代次数,重新排序,确定狮王、母狮及幼狮的位置,跳转S3;
步骤S7:将狮群算法留下种群中的个体按照适应度值进行排序,根据预设集成数量确定保留的个体,其中,保留的个体对应一个极限学习机;
步骤S8:将保留的个体对应的极限学习机进行集成,输出集成结果。
在一种实施方式中,步骤S1中初始种群中每个个体的初始位置为:
xi=[w11,w12,…,w1L,w21,…,wn1,…,wnL,…,b1,b2,…,bL]
其中,wji为极限学习机中第i个输入层节点与第j个隐含层节点的连接权值,L为输入层节点数,bi为第i个隐含层节点的阈值。
在一种实施方式中,步骤S2中适应度的计算公式为:
其中,L为隐含层节点数,N为随机抽取的验证测试集中的样本个数,yj=[yj1,yj2,…,yjn]T为验证测试集中第j个样本的输入,n为样本的输入维度即输入层节点数,tj=[tj1,tj2,…,tjm]T为验证测试集中第j个样本的输出,m为样本输出的维度即输出层节点数,wi=[wi1,wi2,…,win]T为输入层节点与第i个隐含层节点的连接权值,bi=[bi1,bi2,…,biL]T为第i个隐含层节点的阈值,βi=[βi1,βi2,…,βim]T为输出层节点与第i个隐含层节点的连接权值;g(wi·yj+bi)为隐含层激活函数。
在一种实施方式中,根据预设集成数量确定保留的个体具体包括:
筛选出数量为预设集成数量两倍的个体;
根据筛选出的个体的输出权值,将输出权值的模中较小的一半作为保留的个体。
在一种实施方式中,步骤S8具体包括:
将每个个体对应的极限学习机所得结果进行平均计算,获得计算结果,将其作为输出的集成结果。
基于同样的发明构思,本发明第二方面提供了一种基于狮群算法优化极限学习机集成学习的系统,包括:
编码模块,用于将极限学习机随机产生的输入权值及隐含层节点阈值编码成狮群算法个体,形成初始种群;
初始位置计算模块,用于将形成的初始种群作为训练集,并从训练集中抽取出预设比例的训练样本作为验证测试集,基于验证测试集计算出每个个体的适应度以及各类狮子的数量,将适应度最佳的位置设置为狮王位置;
位置更新模块,用于分别根据每个个体的位置更新函数更新狮王、母狮和幼狮的位置,其中,个体包括狮王、母狮和幼狮,狮王的位置更新函数为:
母狮的位置更新函数为:
幼狮的位置更新函数为:
其中,γ为依照正太分布N(0,1)产生的随机数;为第i个狮子第k代的历史最优位置;gk表示第k代群体最优位置;为从第k代母狮群中随机挑选的一个捕猎协作伙伴的历史最佳位置;为第i个幼狮在捕猎范围内被驱赶的位置,和分别为狮王活动空间范围内各维度的最小值均值和最大值均值;为幼狮跟随母狮的第k代历史最佳位置,αc表示幼狮移动范围扰动因子,概率因子q为依照均匀分布U[0,1]产生的均匀随机值;
最优位置更新模块,用于根据位置更新模块中更新后的位置计算每个个体的适应度值,并根据计算出的适应度更新自身历史最优位置及狮群历史最优位置;
结束判断模块,用于根据更新后的个体的最优位置和狮群历史最优位置判断是否满足结束条件,如果满足,则执行保留个体确定模块中的步骤,否则执行位置重新确定模块中的步骤;
位置重新确定模块,用于每隔预设迭代次数,重新排序,确定狮王、母狮及幼狮的位置,则跳转执行位置更新模块中的步骤;
保留个体确定模块,用于将狮群算法留下种群中的个体按照适应度值进行排序,根据预设集成数量确定保留的个体,其中,保留的个体对应一个极限学习机;
集成模块,用于将保留的个体对应的极限学习机进行集成,输出集成结果。
在一种实施方式中,编码模块中,初始种群中每个个体的初始位置为:
xi=[w11,w12,…,w1L,w21,…,wn1,…,wnL,…,b1,b2,…,bL]
其中,wji为极限学习机中第i个输入层节点与第j个隐含层节点的连接权值,L为输入层节点数,bi为第i个隐含层节点的阈值。
在一种实施方式中,初始位置计算模块中适应度的计算公式为:
其中,L为隐含层节点数,N为随机抽取的验证测试集中的样本个数,yj=[yj1,yj2,…,yjn]T为验证测试集中第j个样本的输入,n为样本的输入维度即输入层节点数,tj=[tj1,tj2,…,tjm]T为验证测试集中第j个样本的输出,m为样本输出的维度即输出层节点数,wi=[wi1,wi2,…,win]T为输入层节点与第i个隐含层节点的连接权值,bi=[bi1,bi2,…,biL]T为第i个隐含层节点的阈值,βi=[βi1,βi2,…,βim]T为输出层节点与第i个隐含层节点的连接权值;g(wi·yj+bi)为隐含层激活函数。
在一种实施方式中,保留个体确定模块具体用于:
筛选出数量为预设集成数量两倍的个体;
根据筛选出的个体的输出权值,将输出权值的模中较小的一半作为保留的个体。
在一种实施方式中,集成模块具体用于:
将每个个体对应的极限学习机所得结果进行平均计算,获得计算结果,将其作为输出的集成结果。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
本发明提供的一种基于狮群算法优化极限学习机集成学习的方法及系统,将狮群算法应用于极限学习机的集成学习中;通过迭代,不断更新狮群的位置,完成迭代后,狮群算法中保留了一个训练误差较小的极限学习机种群,然后依据极限学习机的特性,选择出其中输出权值模小并且训练误差小的优秀个体用于集成。
相对于传统的算法(如遗传算法)的随机性较强,本发明采用的改进后的狮群算法,根据不同个体的位置更新函数进行位置更新,相较于传统算法,能更快、更稳定地收敛。本发明的方法充分利用狮群算法精度高、收敛快以及极限学习训练速度快的特点,通过使用狮群算法追随当前搜索到的最优值来寻找全局最优解以减少迭代次数来优化极限学习机个体,并根据极限学习机相关理论制定了相应的选择机制,将输出权值的模小并且训练误差小的极限学习机选择出来以供集成网络,在可接受的训练时间内,网络稳定性和泛化能力得到了显著提升,可以有效提高集成的效果。
并且,在在狮王、母狮位置更新函数中都分别加入了第k代群体最优位置并取均值,使得子代的位置能够通过位置更新函数得以更加精确且快速地得到更新。改进后的更新函数能够帮助算法更快收敛,同时可以增强狮群算法的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于狮群算法优化极限学习机集成学习的方法的流程图;
图2为本发明实施例中一种基于狮群算法优化极限学习机集成学习的系统的结构框图。
具体实施方式
本发明的目的在于针对现有的集成方法中没有充分利用极限学习机的特点,采用的算法随机性强,导致的算法性能不好、集成的效果不佳的问题,提供的一种基于狮群算法优化极限学习机集成学习的方法,从而达到提高算法的性能,改善集成效果的目的。
为了实现上述技术效果,本发明的主要构思如下:
将改进后的狮群算法应用于极限学习机的集成学习中,在狮王、母狮位置更新函数中都分别加入了第k代群体最优位置并取均值,使得子代的位置能够通过位置更新函数得以更加精确且快速地得到更新。改进后的函数能够帮助算法更快收敛,同时增强算法的鲁棒性。通过使用狮群算法追随当前搜索到的最优值来寻找全局最优解以减少迭代次数来优化极限学习机个体,从而使得确定出的保留个体的适应性更强,最后将保留个体对应的极限学习机进行集成,提高了稳定性和泛化能力,改善了集成效果。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本实施例提供了一种基于狮群算法优化极限学习机集成学习的方法,请参见图1,该方法包括:
步骤S1:将极限学习机随机产生的输入权值及隐含层节点阈值,编码成狮群算法个体,形成初始种群。
具体来说,极限学习机作为前馈神经网络的改进算法,通过3层神经元系统之间的规律性消息传递可以对统一问题进行预测。
狮群优化算法作为一种新颖的群智能优化算法,以其较好的全局收敛性,收敛速度快,精度高,能较好地获取全局最优解的优势逐渐被接受。在狮群算法中,狮子按照一定的比例被分为3部分:狮王、母狮和幼狮。狮王地位最高,母狮次之,幼狮最低,因此在算法迭代中按照狮群比例,将适应度最好的一部分定义为狮王,最差的定义为幼狮,剩下的部分定义为母狮。在用LSA算法求解优化问题时,每个食物源的位置代表待优化问题的一个可行解,适应值的大小代表解的质量。通过模仿狮群协作捕猎行为的特点,在算法上实现优化问题的求解。
在一种实施方式中,步骤S1中初始种群中每个个体的初始位置为:
xi=[w11,w12,…,w1L,w21,…,wn1,…,wnL,…,b1,b2,…,bL]
其中,wji为极限学习机中第i个输入层节点与第j个隐含层节点的连接权值,L为输入层节点数,bi为第i个隐含层节点的阈值。
步骤S2:将形成的初始种群作为训练集,并从训练集中抽取出预设比例的训练样本作为验证测试集,基于验证测试集计算出每个个体的适应度以及各类狮子的数量,将适应度最佳的位置设置为狮王位置。
具体来说,预设比例可以根据情况进行选取。
在一种实施方式中,步骤S2中适应度的计算公式为:
其中,L为隐含层节点数,N为随机抽取的验证测试集中的样本个数,yj=[yj1,yj2,…,yjn]T为验证测试集中第j个样本的输入,n为样本的输入维度即输入层节点数,tj=[tj1,tj2,…,tjm]T为验证测试集中第j个样本的输出,m为样本输出的维度即输出层节点数,wi=[wi1,wi2,…,win]T为输入层节点与第i个隐含层节点的连接权值,bi=[bi1,bi2,…,biL]T为第i个隐含层节点的阈值,βi=[βi1,βi2,…,βim]T为输出层节点与第i个隐含层节点的连接权值;g(wi·yj+bi)为隐含层激活函数。其中,wij和bi为表示个体位置的参数。
步骤S3:分别根据每个个体的位置更新函数更新狮王、母狮和幼狮的位置,其中,个体包括狮王、母狮和幼狮,狮王的位置更新函数为:
母狮的位置更新函数为:
幼狮的位置更新函数为:
其中,γ为依照正太分布N(0,1)产生的随机数;为第i个狮子第k代的历史最优位置;gk表示第k代群体最优位置;为从第k代母狮群中随机挑选的一个捕猎协作伙伴的历史最佳位置;为第i个幼狮在捕猎范围内被驱赶的位置,和分别为狮王活动空间范围内各维度的最小值均值和最大值均值;为幼狮跟随母狮的第k代历史最佳位置,αc表示幼狮移动范围扰动因子,概率因子q为依照均匀分布U[0,1]产生的均匀随机值。
具体来说,幼狮向狮王靠近进食或幼狮跟随母狮学习捕猎过程中均会在指定范围内搜索,而扰动因子αc起到拉长或压缩范围的作用,让幼狮在此范围内先大步勘探食物,发现食物后再小步精细查找,呈线性下降趋势。
为了解决遗传算法的随机性较强的问题,本发明采用了狮群算法,并改进了狮群算法中的位置更新函数,在狮王、母狮位置更新函数中都分别加入了第k代群体最优位置并取均值,使得子代的位置能够通过位置更新函数得以更加精确且快速地得到更新。改进后的式子能够帮助算法更快收敛,同时增强算法的鲁棒性。
步骤S4:根据步骤S3中更新后的位置计算每个个体的适应度值,并根据计算出的适应度更新自身历史最优位置及狮群历史最优位置。
具体来说,本步骤中采用适应度fitness的计算公式计算适应度,其中的位置参数采用的是步骤S3中更新后的位置。根据计算出的适应度更新自身历史最优位置及狮群历史最优位置,是为了下一次迭代做准备。每个个体更新自身位置后,会直接影响下一次迭代的结果。
步骤S5:根据更新后的个体的最优位置和狮群历史最优位置判断是否满足结束条件,如果满足,则执行步骤S7,否则跳转到步骤S6。
具体来说,满足结束条件即达到预置迭代次数。如果满足,则转至S7,否则继续迭代,执行步骤S6。
步骤S6:每隔预设迭代次数,重新排序,确定狮王、母狮及幼狮的位置,跳转S3。
具体来说,预设迭代次数可以根据情况设置,例如8次、9次、10次等等。
步骤S7:将狮群算法留下种群中的个体按照适应度值进行排序,根据预设集成数量确定保留的个体,其中,保留的个体对应一个极限学习机。
其中,步骤S7中,根据预设集成数量确定保留的个体具体包括:
筛选出数量为预设集成数量两倍的个体;
根据筛选出的个体的输出权值,将输出权值的模中较小的一半作为保留的个体。
具体来说,预设集成数量可以预先设置好,然后根据个体的适应度,筛选出数量为集成数量两倍的个体,再根据输出权值将其中的一半,即数量与预设集成数量相等的个体。个体输出权值的模即||β||,输出权值向量中每个元素的平方和再开方。
步骤S8:将保留的个体对应的极限学习机进行集成,输出集成结果。
在一种实施方式中,步骤S8具体包括:
将每个个体对应的极限学习机所得结果进行平均计算,获得计算结果,将其作为输出的集成结果。
具体来说,本发明最终输出结果是每个极限学习机所得结果的平均,对于分类问题,可以采用投票机制,即在每个极限学习机产生的结果中预测的结果记为1,其它的记为0;最终将它们相加求和,数字最大的即为分类结果。
本发明的有益效果是:将改进后的狮群算法应用于极限学习机的集成学习中,在狮王、母狮位置更新函数中都分别加入了第k代群体最优位置并取均值,使得子代的位置能够通过位置更新函数得以更加精确且快速地得到更新。改进后的函数能够帮助算法更快收敛,同时增强算法的鲁棒性。通过使用狮群算法追随当前搜索到的最优值来寻找全局最优解,以减少迭代次数来优化极限学习机个体,从而使得确定出的保留个体的适应性更强,最后将保留个体对应的极限学习机进行集成,提高了稳定性和泛化能力,改善了集成效果。
基于同一发明构思,本申请还提供了一种与实施例一中一种基于狮群算法优化极限学习机集成学习的方法对应的系统,详见实施例二。
实施例二
本实施例提供了一种基于狮群算法优化极限学习机集成学习的系统,包括:
编码模块201,用于将极限学习机随机产生的输入权值及隐含层节点阈值编码成狮群算法个体,形成初始种群;
初始位置计算模块202,用于将形成的初始种群作为训练集,并从训练集中抽取出预设比例的训练样本作为验证测试集,基于验证测试集计算出每个个体的适应度以及各类狮子的数量,将适应度最佳的位置设置为狮王位置;
位置更新模块203,用于分别根据每个个体的位置更新函数更新狮王、母狮和幼狮的位置,其中,个体包括狮王、母狮和幼狮,狮王的位置更新函数为:
母狮的位置更新函数为:
幼狮的位置更新函数为:
其中,γ为依照正太分布N(0,1)产生的随机数;为第i个狮子第k代的历史最优位置;gk表示第k代群体最优位置;为从第k代母狮群中随机挑选的一个捕猎协作伙伴的历史最佳位置;为第i个幼狮在捕猎范围内被驱赶的位置,和分别为狮王活动空间范围内各维度的最小值均值和最大值均值;为幼狮跟随母狮的第k代历史最佳位置,αc表示幼狮移动范围扰动因子,概率因子q为依照均匀分布U[0,1]产生的均匀随机值;
最优位置更新模块204,用于根据位置更新模块中更新后的位置计算每个个体的适应度值,并根据计算出的适应度更新自身历史最优位置及狮群历史最优位置;
结束判断模块205,用于根据更新后的个体的最优位置和狮群历史最优位置判断是否满足结束条件,如果满足,则执行保留个体确定模块中的步骤,否则执行位置重新确定模块中的步骤;
位置重新确定模块206,用于每隔预设迭代次数,重新排序,确定狮王、母狮及幼狮的位置,则跳转执行位置更新模块中的步骤;
保留个体确定模块207,用于将狮群算法留下种群中的个体按照适应度值进行排序,根据预设集成数量确定保留的个体,其中,保留的个体对应一个极限学习机;
集成模块208,用于将保留的个体对应的极限学习机进行集成,输出集成结果。
在一种实施方式中,编码模块中初始种群中每个个体的初始位置为:
xi=[w11,w12,…,w1L,w21,…,wn1,…,wnL,…,b1,b2,…,bL]
其中,wji为极限学习机中第i个输入层节点与第j个隐含层节点的连接权值,L为输入层节点数,bi为第i个隐含层节点的阈值。
在一种实施方式中,初始位置计算模块中适应度的计算公式为:
其中,L为隐含层节点数,N为随机抽取的验证测试集中的样本个数,yj=[yj1,yj2,…,yjn]T为验证测试集中第j个样本的输入,n为样本的输入维度即输入层节点数,tj=[tj1,tj2,…,tjm]T为验证测试集中第j个样本的输出,m为样本输出的维度即输出层节点数,wi=[wi1,wi2,…,win]T为输入层节点与第i个隐含层节点的连接权值,bi=[bi1,bi2,…,biL]T为第i个隐含层节点的阈值,βi=[βi1,βi2,…,βim]T为输出层节点与第i个隐含层节点的连接权值;g(wi·yj+bi)为隐含层激活函数。
在一种实施方式中,保留个体确定模块具体用于:
筛选出数量为预设集成数量两倍的个体;
根据筛选出的个体的输出权值,将输出权值的模中较小的一半作为保留的个体。
在一种实施方式中,集成模块具体用于:
将每个个体对应的极限学习机所得结果进行平均计算,获得计算结果,将其作为输出的集成结果。
由于本发明实施例二所介绍的系统,为实施本发明实施例一中基于狮群算法优化极限学习机集成学习的方法所采用的系统,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该系统的具体结构及变形,故而在此不再赘述。凡是本发明实施例一的方法所采用的系统都属于本发明所欲保护的范围。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于狮群算法优化极限学习机集成学习的方法,其特征在于,包括:
步骤S1:将极限学习机随机产生的输入权值及隐含层节点阈值编码成狮群算法个体,形成初始种群;
步骤S2:将形成的初始种群作为训练集,并从训练集中抽取出预设比例的训练样本作为验证测试集,基于验证测试集计算出每个个体的适应度以及各类狮子的数量,将适应度最佳的位置设置为狮王位置;
步骤S3:分别根据每个个体的位置更新函数更新狮王、母狮和幼狮的位置,其中,个体包括狮王、母狮和幼狮,狮王的位置更新函数为:
母狮的位置更新函数为:
幼狮的位置更新函数为:
其中,γ为依照正太分布N(0,1)产生的随机数;为第i个狮子第k代的历史最优位置;gk表示第k代群体最优位置;为从第k代母狮群中随机挑选的一个捕猎协作伙伴的历史最佳位置;为第i个幼狮在捕猎范围内被驱赶的位置,和分别为狮王活动空间范围内各维度的最小值均值和最大值均值;为幼狮跟随母狮的第k代历史最佳位置,αc表示幼狮移动范围扰动因子,概率因子q为依照均匀分布U[0,1]产生的均匀随机值;
步骤S4:根据步骤S3中更新后的位置计算每个个体的适应度值,并根据计算出的适应度更新自身历史最优位置及狮群历史最优位置;
步骤S5:根据更新后的个体的最优位置和狮群历史最优位置判断是否满足结束条件,如果满足,则执行步骤S7,否则跳转到步骤S6;
步骤S6:每隔预设迭代次数,重新排序,确定狮王、母狮及幼狮的位置,跳转S3;
步骤S7:将狮群算法留下种群中的个体按照适应度值进行排序,根据预设集成数量确定保留的个体,其中,保留的个体对应一个极限学习机;
步骤S8:将保留的个体对应的极限学习机进行集成,输出集成结果。
2.如权利要求1所述的方法,其特征在于,步骤S1中初始种群中每个个体的初始位置为:
xi=[w11,w12,...,w1L,w21,...,wn1,...,wnL,...,b1,b2,...,bL]
其中,wji为极限学习机中第i个输入层节点与第j个隐含层节点的连接权值,L为输入层节点数,bi为第i个隐含层节点的阈值。
3.如权利要求1所述的方法,其特征在于,步骤S2中适应度的计算公式为:
其中,L为隐含层节点数,N为随机抽取的验证测试集中的样本个数,yj=[yj1,yj2,...,yjn]T为验证测试集中第j个样本的输入,n为样本的输入维度即输入层节点数,tj=[tj1,tj2,...,tjm]T为验证测试集中第j个样本的输出,m为样本输出的维度即输出层节点数,wi=[wi1,wi2,...,win]T为输入层节点与第i个隐含层节点的连接权值,bi=[bi1,bi2,...,biL]T为第i个隐含层节点的阈值,βi=[βi1,βi2,...,βim]T为输出层节点与第i个隐含层节点的连接权值;g(wi·yj+bi)为隐含层激活函数。
4.如权利要求1所述的方法,其特征在于,步骤S7中,根据预设集成数量确定保留的个体具体包括:
筛选出数量为预设集成数量两倍的个体;
根据筛选出的个体的输出权值,将输出权值的模中较小的一半作为保留的个体。
5.如权利要求1所述的方法,其特征在于,步骤S8具体包括:
将每个个体对应的极限学习机所得结果进行平均计算,获得计算结果,将其作为输出的集成结果。
6.一种基于狮群算法优化极限学习机集成学习的系统,其特征在于,包括:
编码模块,用于将极限学习机随机产生的输入权值及隐含层节点阈值编码成狮群算法个体,形成初始种群;
初始位置计算模块,用于将形成的初始种群作为训练集,并从训练集中抽取出预设比例的训练样本作为验证测试集,基于验证测试集计算出每个个体的适应度以及各类狮子的数量,将适应度最佳的位置设置为狮王位置;
位置更新模块,用于分别根据每个个体的位置更新函数更新狮王、母狮和幼狮的位置,其中,个体包括狮王、母狮和幼狮,狮王的位置更新函数为:
母狮的位置更新函数为:
幼狮的位置更新函数为:
其中,γ为依照正太分布N(0,1)产生的随机数;为第i个狮子第k代的历史最优位置;gk表示第k代群体最优位置;为从第k代母狮群中随机挑选的一个捕猎协作伙伴的历史最佳位置;为第i个幼狮在捕猎范围内被驱赶的位置,和分别为狮王活动空间范围内各维度的最小值均值和最大值均值;为幼狮跟随母狮的第k代历史最佳位置,αc表示幼狮移动范围扰动因子,概率因子q为依照均匀分布U[0,1]产生的均匀随机值;
最优位置更新模块,用于根据位置更新模块中更新后的位置计算每个个体的适应度值,并根据计算出的适应度更新自身历史最优位置及狮群历史最优位置;
结束判断模块,用于根据更新后的个体的最优位置和狮群历史最优位置判断是否满足结束条件,如果满足,则执行保留个体确定模块中的步骤,否则执行位置重新确定模块中的步骤;
位置重新确定模块,用于每隔预设迭代次数,重新排序,确定狮王、母狮及幼狮的位置,则跳转执行位置更新模块中的步骤;
保留个体确定模块,用于将狮群算法留下种群中的个体按照适应度值进行排序,根据预设集成数量确定保留的个体,其中,保留的个体对应一个极限学习机;
集成模块,用于将保留的个体对应的极限学习机进行集成,输出集成结果。
7.如权利要求6所述的系统,其特征在于,编码模块中,初始种群中每个个体的初始位置为:
xi=[w11,w12,...,w1L,w21,...,wn1,...,wnL,...,b1,b2,...,bL]
其中,wji为极限学习机中第i个输入层节点与第j个隐含层节点的连接权值,L为输入层节点数,bi为第i个隐含层节点的阈值。
8.如权利要求6所述的系统,其特征在于,初始位置计算模块中适应度的计算公式为:
其中,L为隐含层节点数,N为随机抽取的验证测试集中的样本个数,yj=[yj1,yj2,...,yjn]T为验证测试集中第j个样本的输入,n为样本的输入维度即输入层节点数,tj=[tj1,tj2,...,tjm]T为验证测试集中第j个样本的输出,m为样本输出的维度即输出层节点数,wi=[wi1,wi2,...,win]T为输入层节点与第i个隐含层节点的连接权值,bi=[bi1,bi2,...,biL]T为第i个隐含层节点的阈值,βi=[βi1,βi2,...,βim]T为输出层节点与第i个隐含层节点的连接权值;g(wi·yj+bi)为隐含层激活函数。
9.如权利要求6所述的系统,其特征在于,保留个体确定模块具体用于:
筛选出数量为预设集成数量两倍的个体;
根据筛选出的个体的输出权值,将输出权值的模中较小的一半作为保留的个体。
10.如权利要求6所述的系统,其特征在于,集成模块具体用于:
将每个个体对应的极限学习机所得结果进行平均计算,获得计算结果,将其作为输出的集成结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910395898.XA CN110147890A (zh) | 2019-05-13 | 2019-05-13 | 一种基于狮群算法优化极限学习机集成学习的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910395898.XA CN110147890A (zh) | 2019-05-13 | 2019-05-13 | 一种基于狮群算法优化极限学习机集成学习的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110147890A true CN110147890A (zh) | 2019-08-20 |
Family
ID=67594184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910395898.XA Pending CN110147890A (zh) | 2019-05-13 | 2019-05-13 | 一种基于狮群算法优化极限学习机集成学习的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110147890A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931899A (zh) * | 2020-07-31 | 2020-11-13 | 武汉烽火技术服务有限公司 | 改进布谷鸟搜索算法优化极限学习机的网络流量预测方法 |
CN111967672A (zh) * | 2020-08-18 | 2020-11-20 | 合肥工业大学 | 一种基于狮群进化算法的面向空间众包平台的路径规划方法 |
CN112433507A (zh) * | 2019-08-26 | 2021-03-02 | 电子科技大学 | 基于lso-lssvm的五轴数控机床热误差综合建模方法 |
CN113077463A (zh) * | 2021-04-29 | 2021-07-06 | 西安建筑科技大学 | Chirplet能量引导狮群扰动优化的古代铜镜X光融合探伤检测方法 |
CN114638555A (zh) * | 2022-05-18 | 2022-06-17 | 国网江西综合能源服务有限公司 | 基于多层正则化极限学习机的用电行为检测方法及系统 |
-
2019
- 2019-05-13 CN CN201910395898.XA patent/CN110147890A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112433507A (zh) * | 2019-08-26 | 2021-03-02 | 电子科技大学 | 基于lso-lssvm的五轴数控机床热误差综合建模方法 |
CN111931899A (zh) * | 2020-07-31 | 2020-11-13 | 武汉烽火技术服务有限公司 | 改进布谷鸟搜索算法优化极限学习机的网络流量预测方法 |
CN111967672A (zh) * | 2020-08-18 | 2020-11-20 | 合肥工业大学 | 一种基于狮群进化算法的面向空间众包平台的路径规划方法 |
CN113077463A (zh) * | 2021-04-29 | 2021-07-06 | 西安建筑科技大学 | Chirplet能量引导狮群扰动优化的古代铜镜X光融合探伤检测方法 |
CN113077463B (zh) * | 2021-04-29 | 2023-06-06 | 西安建筑科技大学 | Chirplet能量引导狮群扰动优化的古代铜镜X光融合探伤检测方法 |
CN114638555A (zh) * | 2022-05-18 | 2022-06-17 | 国网江西综合能源服务有限公司 | 基于多层正则化极限学习机的用电行为检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110147890A (zh) | 一种基于狮群算法优化极限学习机集成学习的方法及系统 | |
Gras et al. | An individual-based evolving predator-prey ecosystem simulation using a fuzzy cognitive map as the behavior model | |
Cintra et al. | Genetic generation of fuzzy systems with rule extraction using formal concept analysis | |
CN109325580A (zh) | 一种用于服务组合全局优化的自适应布谷鸟搜索方法 | |
CN106529818A (zh) | 基于模糊小波神经网络的水质评价预测方法 | |
CN114357852A (zh) | 一种基于长短期记忆神经网络和粒子群优化算法的分层注水优化方法 | |
CN109472397B (zh) | 基于粘度变化的聚合工艺参数调节方法 | |
Alcalá et al. | Techniques for learning and tuning fuzzy rule-based systems for linguistic modeling and their application | |
CN111008685A (zh) | 基于生产者依概率反向再生机制的改进人工生态系统优化算法 | |
CN116468181A (zh) | 一种基于改进鲸鱼优化方法 | |
CN107392315B (zh) | 一种优化大脑情感学习模型的乳腺癌数据分类方法 | |
CN111832817A (zh) | 基于mcp罚函数的小世界回声状态网络时间序列预测方法 | |
Yasear et al. | Fine-Tuning the Ant Colony System Algorithm Through Harris’s Hawk Optimizer for Travelling Salesman Problem. | |
Zhao et al. | Multi-objective reinforcement learning algorithm for MOSDMP in unknown environment | |
CN114662638A (zh) | 基于改进人工蜂群算法的移动机器人路径规划方法 | |
CN115049292A (zh) | 一种基于dqn深度强化学习算法的单一水库智能防洪调度方法 | |
Mafarja et al. | Fuzzy population-based meta-heuristic approaches for attribute reduction in rough set theory | |
CN115222006A (zh) | 一种基于改进粒子群优化算法的数值函数优化方法 | |
CN116050514A (zh) | 一种基于深度q网络改进的多目标进化算法 | |
CN115511052A (zh) | 一种神经网络搜索方法、装置、设备及存储介质 | |
CN107330302A (zh) | 联合Memetic算法和S系统的生物模体重构方法 | |
de Oliveira et al. | An evolutionary extreme learning machine based on fuzzy fish swarms | |
Indira et al. | Population based search methods in mining association rules | |
Houssein et al. | Salp swarm algorithm: modification and application | |
Hou et al. | Deep Learning-Based Comparative Modeling of Carbon Emissions Projections |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190820 |
|
RJ01 | Rejection of invention patent application after publication |