CN111723945A - 一种基于改进灰狼算法的bp神经网络优化方法 - Google Patents
一种基于改进灰狼算法的bp神经网络优化方法 Download PDFInfo
- Publication number
- CN111723945A CN111723945A CN202010496667.0A CN202010496667A CN111723945A CN 111723945 A CN111723945 A CN 111723945A CN 202010496667 A CN202010496667 A CN 202010496667A CN 111723945 A CN111723945 A CN 111723945A
- Authority
- CN
- China
- Prior art keywords
- wolf
- algorithm
- neural network
- gray
- alpha
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000282461 Canis lupus Species 0.000 title claims abstract description 136
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 108
- 238000005457 optimization Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 238000002474 experimental method Methods 0.000 claims abstract description 5
- 230000005284 excitation Effects 0.000 claims abstract description 4
- 108090000623 proteins and genes Proteins 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 7
- 238000005312 nonlinear dynamic Methods 0.000 claims description 6
- 241000717544 Aconitum lycoctonum subsp. vulparia Species 0.000 claims description 2
- 230000006870 function Effects 0.000 description 10
- 241000282421 Canidae Species 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241000160777 Hipparchia semele Species 0.000 description 2
- 230000000739 chaotic effect Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000023886 lateral inhibition Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 244000062804 prey Species 0.000 description 2
- 241000219000 Populus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- PNEYBMLMFCGWSK-UHFFFAOYSA-N aluminium oxide Inorganic materials [O-2].[O-2].[O-2].[Al+3].[Al+3] PNEYBMLMFCGWSK-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000036578 sleeping time Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于改进灰狼算法的BP神经网络优化方法，其包括如下步骤：(Ⅰ)选择BP神经网络本身的结构；(Ⅱ)利用复数值编码方式初始化灰狼种群、初始化参数A，α和C，确定最大迭代次数；(Ⅲ)确定神经网络适应度函数、输出节点的激励函数；(Ⅳ)计算灰狼个体适应度值，找出适应度值的最优解，次优解以及第三优解，更新剰余灰狼ω的位置信息、参数A，α和C的值；(Ⅴ)选取训练样本和测试样本进行实验，并记录误差及其对应的最优解；(Ⅵ)判断是否满足达到最大迭代次数或者达到设定的误差值；以及(Ⅶ)最后返回结果为灰狼α的位置，以及训练过程每一次迭代灰狼α的位置，灰狼α所在位置的最小误差，训练样本和测试样本的误差。
Description
技术领域
本发明涉及算法优化技术领域，特别涉及一基于改进灰狼算法的BP神经网络优化方法。
背景技术
近年来，群体智能优化算法因具有结构简单、易于实现等特点，被广泛应用于复杂问题的求解中。受灰狼群体捕食行为的启发，澳大利亚学者Seyedali Mirjalili等于2014年提出了一种新型群体智能优化算法：灰狼优化算法即GWO算法，通过模拟灰狼群体捕食行为，基于狼群群体协作的机制来达到优化的目的，该算法具有结构简单、需要调节的参数少、容易实现等特点，其中存在能够自适应调整的收敛因子以及信息反馈机制，能够在局部寻优与全局搜索之间实现平衡，因此在对问题的求解精度和收敛速度方面都有良好的性能。灰狼优化算法自提出以来，就因具有良好的性能而引起了众多学者的广泛关注。并且，灰狼优化算法是一种随机全局优化算法，为很多复杂的工程问题的解决提供了新的思路，现已成功应用于车间调度、数据挖掘、图像分割等领域。
2015年，龙文等针对基本灰狼优化算法(GWO)存在求解精度低、收敛速度慢、局部搜索能力差等问题，引入佳点集理论生成初始种群，为算法全局搜索奠定基础；杨红光等首次将灰狼优化算法扩展到聚类分析领域，提出混合灰狼优化算法和K-均值的新型聚类算法(GWO-KM)。而徐辰华等提出一种基于混沌局部搜索的混沌灰狼优化算法(CGWO)并利用该算法实现焙烧过程氧化铝质量预测建模。罗佳和唐斌提出一种改进的灰狼优化算法，在函数优化中，数值实验结果表明，相较于其他群智能算法，改进算法在求解精度和收敛速度均具有较强的竞争力。魏政磊等主要对灰狼算法的控制参数进行了研究，应用正弦函数、对数函数等对其进行了非线性调整。2017年，郭振洲等提出了的一种非线性收敛因子公式，以便能动态的调整算法的搜索能力，而为加快算法的收敛速度，引入了动态权重策略，对原算法进行了改进。
Xianhai Song等将灰狼优化算法应用于参数估计上，获得的结果表明，应用于表面波分析的灰狼优化算法可以能够很好地平衡算法的勘探能力和开采能力。Aijun Zhu等将差分进化(DE)算法整合到灰狼优化算法(GWO)中，用来更新灰狼的位置，从而提出了改进算法(HGWO)可以加快灰狼优化算法(GWO)的收敛速度，提高其性能。G.M.Komaki等将灰狼优化算法应用于两阶段装配流程车间调度问题上，获得的结果表明，基于灰狼优化算法的算法比其他启发式算法能产生更好的结果。T.Jayabarathi等为获得更好的性能，将交叉算子，突变算子引入灰狼优化算法中，并将其成功应用于经济调度问题中，所得结果优于与之比较的算法。Pradhan M等将反向学习的概念引入到标准的灰狼优化算法中，提出了反向灰狼优化算法(OGWO)，提高了算法的收敛速度，并将其应用到经济负荷调度问题中，与其他智能算法相比，改进的(OGWO)算法具有较好的性能。Sen Zhang等提出了灰狼优化算法(GWO)和横向抑制(LI)算法的混合方法来解决复杂的模板匹配问题，并提高了算法性能。
由上可知，作为一种新生的算法，灰狼优化算法的理论还未完全成熟，目前对灰狼优化算法的改进和应用研究还处于初期阶段，其在图像处理领域的应用研究才刚开始。因此，对灰狼优化算法理论本身及图像处理领域方面的研究是非常必要的。
发明内容
本发明的一个优势在于提供一基于改进灰狼算法的BP神经网络优化方法，其中所述基于改进灰狼算法的BP神经网络优化方法实现了更快的处理速度和最优的结果。
本发明的第二个优势在于提供一基于改进灰狼算法的BP神经网络优化方法，其中所述基于改进灰狼算法的BP神经网络优化方法利用复数值编码方式初始化种群，极大地扩展了单个基因中包含的信息量，并增强了个体群体的多样性，提供了一种有效的全局优化策略。
本发明的第三个优势在于提供一基于改进灰狼算法的BP神经网络优化方法，其中基于狼群的等级次序提出一种可变比例权重的狼群最佳位置搜索机制，可以根据不同的实验环境动态改变比例权重，寻优性能和泛化性都得到了提高。
本发明的另一个优势在于提供一基于改进灰狼算法的BP神经网络优化方法，其中优化控制因子随迭代次数的增加非线性动态变化，有利于提高收敛速度，保证局部最优和全局最优，为有效地平衡算法的全局探索和局部开发能力提供保证。
依据本发明的一个方面，本发明进一步提供一基于改进灰狼算法的BP神经网络优化方法，其特征在于，包括如下步骤：
(Ⅰ)选择BP神经网络本身的结构，确定网络隐藏层的节点数；
(Ⅱ)初始化基本参数：利用复数值编码方式初始化灰狼种群，产生n个灰狼的位置，根据网络结构计算灰狼的种群大小、初始化参数A，a和C，确定最大迭代次数；
(Ⅲ)确定神经网络适应度函数、输出节点的激励函数；
(Ⅳ)计算灰狼个体适应度值，找出适应度值的最优解(α狼的位置Xα)，次优解(β狼的位置Xβ)以及第三优解(δ狼的位置Xδ)，更新剰余灰狼ω的位置信息，并更新参数A，a和C的值；
(Ⅴ)选取训练样本和测试样本进行实验，并记录误差及其对应的最优解(α狼的位置Xα)；
(Ⅵ)判断是否满足达到最大迭代次数或者达到设定的误差值，如满足条件终止循环，否则重复步骤(Ⅳ)至步骤(Ⅵ)；以及
(Ⅶ)最后返回结果为灰狼α的位置也就是最优解位置，以及训练过程每一次迭代灰狼a的位置，灰狼α所在位置的最小误差，训练样本和测试样本的误差。
根据本发明的一个实施例，在所述步骤(Ⅱ)中，根据如下公式(8)初始化灰狼种群：
xp＝Rp+iIp，p＝1，2，...，M (8)
其中灰狼的基因可以表示为二倍体，记为(Rp，iIp)，其中Rp表示变量的实部，Ip表示变量的虚部。
根据本发明的一个实施例，在所述步骤(Ⅳ)中，定义一种可变比例权重，利用最佳位置的加权总和来进行位置更新，即遵循公式(9)至公式(12)：
其中比例权重ω1、ω2、ω3，在算法每次迭代流程中是动态可变的。
根据本发明的一个实施例，控制因子
满足公式(13)：
其中参数tmax是最大迭代次数，控制因子
随迭代次数的增加非线性动态变化。
根据本发明的一个实施例，在所述步骤(Ⅳ)中，根据如下公式(1)至公式(13)更新剰余灰狼ω的位置信息：
式(1)表示个体与猎物间的距离；
式(2)是灰狼的位置更新公式；
其中，
是收敛因子，随着迭代次数从2线性减小到0，
和
的模取[0，1]之间的随机数；
其中，
和
分别表示α、β和δ与其他个体间的距离；
和
分别代表α、β和δ的当前位置；
是随机向量，
是当前灰狼的位置；
式(6)分别定义了狼群中ω个体朝向α、β和δ前进的步长和方向；
式(7)定义了ω的最终位置；
xp＝Rp+iIp，p＝1，2，...，M (8)
式(8)中，灰狼的基因可以表示为二倍体，记为(Rp，iIp)，其中Rp表示变量的实部，Ip表示变量的虚部；
式(9)至式(12)中，比例权重ω1、ω2、ω3，在算法每次迭代流程中是动态可变的；
式(13)中，参数tmax是最大迭代次数，控制因子
随迭代次数的增加非线性动态变化。
附图说明
图1是根据本发明的一较佳实施例的一基于改进灰狼算法BP神经网络优化方法中灰狼的社会等级制度的示意图。
图2是根据本发明的上述较佳实施例的所述基于改进灰狼算法BP神经网络优化方法中灰狼算法的流程图示意图。
图3是根据本发明的上述较佳实施例的所述基于改进灰狼算法BP神经网络优化流程图示意图。
图4是根据本发明的上述较佳实施例的所述基于改进灰狼算法BP神经网络优化方法中选择的一BP神经网络模型的示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
参照图1至图4，根据本发明的一较佳实施例的一基于改进灰狼算法的BP神经网络优化方法将在接下来的描述中被阐述，所述基于改进灰狼算法的BP神经网络优化方法实现了更快的处理速度和最优的结果。
参照图1，灰狼优化算法是一种随机全局优化算法，为很多复杂的工程问题的解决提供了新的思路，现已成功应用于车间调度、数据挖掘、图像分割等领域。下面将介绍改进的灰狼优化算法，并将其用在BP神经网络参数优化上。
在灰狼算法中，灰狼有非常严格的社会等级层次制度，类似于金字塔型。金字塔第一层是种群中的领导者，称为α，α是狼群中具有管理能力的个体，主要负责狩猎、睡觉的时间和地方、食物分配等群体中各项决策的事务。
金字塔第二层是α的智囊团队，称为β，主要协助α进行决策，在狼群中的支配权仅次于α，当整个狼群的α出现空缺时，β将接替α的位置。
金字塔第三层是δ，δ听从α和β的决策命令，主要负责侦查、放哨、看护等事务。适应度不好的α和β也会降为δ。金字塔最底层是ω，主要负责种群内部关系的平衡。
灰狼的社会等级在群体狩猎过程中发挥着重要的作用，捕食的过程在α的带领下完成。灰狼的狩猎包括以下3个主要部分：(1)跟踪、追逐和接近猎物；(2)追捕、包围和骚扰猎物，直到它停止移动；(3)攻击猎物。
在灰狼算法的数学模型中，为了对灰狼算法中灰狼的社会等级进行数学建模，将前3匹最好的狼(最优解)分别定义为α、β和δ，它们指导其他灰狼向着目标搜索。其余的狼(候选解)被定义为ω，它们围绕α、β和δ来更新位置。
灰狼围捕猎物的行为定义如下：
式(1)表示个体与猎物间的距离，式(2)是灰狼的位置更新公式。其中，t是目前的迭代代数，
和
是系数向量，
和
分别是猎物的位置向量和灰狼的位置向量。
和
的计算公式如下:
其中，
是收敛因子，随着迭代次数从2线性减小到0，
和
的模取[0，1]之间的随机数。
灰狼能够识别猎物的位置并包围它们。当灰狼识别出猎物的位置后，β和δ在α的带领下指导狼群包围猎物。在优化问题的决策空间中，我们对最佳解决方案(猎物的位置)并不了解。因此，为了模拟灰狼的狩猎行为，我们假设α、β和δ更了解猎物的潜在位置。我们保存迄今为止取得的3个最优解决方案，并利用这三者的位置来判断猎物所在的位置，同时强迫其他灰狼个体(包括ω)依据最优灰狼个体的位置来更新其位置，逐渐逼近猎物。灰狼个体跟踪猎物位置的数学模型描述如下:
其中，
和
分别表示α、β和δ与其他个体间的距离；
和
分别代表α、β和δ的当前位置；
是随机向量，
是当前灰狼的位置。
式(6)分别定义了狼群中ω个体朝向α、β和δ前进的步长和方向，式(7)定义了ω的最终位置。
在本发明所述的基于改进灰狼算法的BP神经网络优化方法的这个具体的实施例中，改进的灰狼算法包括步骤(A):改进种群初始化，利用复数值编码方式初始化灰狼种群，增强了个体群体的多样性。具体来说，初始种群的好坏对群体智能优化算法的全局收敛速度和解的质量有很大的影响，多样性好的初始种群能够提高算法的寻优能力。在现有的灰狼算法中，初始种群是基于随机初始化产生的，无法保证较好的种群多样性。对此我们用一种复数值编码方式初始化种群：
xp＝Rp+iIp，p＝1，2，...，M (8)
灰狼的基因可以表示为二倍体，记为(Rp，iIp)，其中Rp表示变量的实部，Ip表示变量的虚部。由于复数具有二维属性，实部和虚部会独立更新，该策略极大地扩展了单个基因中包含的信息量，并增强了个体群体的多样性。并且，复值编码提供了一种有效的全局优化策略。
可选地，在本发明的另一个具体实施例中，种群初始化可以用最佳点集理论代替。
改进的灰狼算法进一步包括步骤(B):改进搜索机制，定义一种可变比例权重，利用最佳位置的加权总和来进行位置更新。尽管灰狼算法有一种非常有效的机制来平衡勘探和开发能力，即a和A的适应值，但在现有的灰狼算法中，前三类狼其起着同样的指导、带领作用，不分等级次序，这降低了算法的收敛速度，进而形成陷入局部最优。从灰狼算法的本身原理来看，它们是有严格的等级次序，所以为了解决这个问题，我们定义一种可变比例权重进行改进，利用最佳位置的加权总和来进行位置更新，即：
由于上述的比例权重ω1、ω2、ω3，在算法每次迭代流程中是动态可变的，所以，改进后的灰狼算法可以根据不同的实验环境动态改变比例权重，寻优性能和泛化性都得到了提高。
改进的灰狼算法包括进一步包括步骤(B):优化控制因子，控制因子非线性动态变化。具体地，灰狼算法中的控制因子
对于协调全局搜索和局部搜索性能是非常重要的因素，一般的灰狼算法中的控制因子
初始化是呈线性递减分布的，但是这只是理想情况，在实际情况中灰狼算法的收敛过程并不是线性分布的。因此，在本发明所述的基于改进灰狼算法的BP神经网络优化方法提出一种基于对数的非线性控制因子算法。具体公式如下：
其中，参数tmax是最大迭代次数，控制因子
随迭代次数的增加非线性动态变化，为有效地平衡算法的全局探索和局部开发能力提供保证。
可选地，在本发明的另一个具体实施例中，控制因子
可以用指数函数代替。
在改进后的灰狼算法中，利用复数值编码方式创建一个灰狼种群(候选方案)开始。在迭代过程中，α、β和δ狼估计猎物的可能的位置(最优解)，灰狼根据它们与猎物的距离更新其位置。为了搜索过程中的勘探和开发，参数
非线性递减。进一步判断
如果
候选解远离猎物，如果
候选解逼近猎物。为了体现灰狼的等级次序，设置动态的比例权重确定灰狼的位置信息。
具体来说，参照图2，利用复数值编码方式创建一个灰狼种群(候选方案)即开始，初始化灰狼种群，以及a、A和C。进一步地，计算灰狼个体的适应度，保存适应度最好的三匹狼α、β和δ。下一步骤，灰狼根据它们与猎物的距离更新当前灰狼的位置，更新a、A和C。下一步骤，计算全部灰狼的适应度，更新α、β和δ的适应度和位置。下一步骤，判断是否达到最大迭代次数，若达到最大迭代次数，则结束；若未达到最大迭代次数，则更新当前灰狼的位置，继续下一个步骤至达到最大迭代次数。
进一步地，本领域技术人员应该知晓，BP神经网络可以不断趋近任意连续函数，其自身的非线性映射能力很强，可以自主的将训练中学习到的内容记忆到权值中，自适应和自学习能力比较强。而且网络的隐含层数、各层的处理单元数及网络的学习系数这些参数可以根据实际需要进行灵活改变，适应性较强。因此，较多的应用于各领域。但是BP神经网络最大的缺陷主要就是容易陷入局部最小化和收敛速度慢，BP神经网络的权值是沿着正向方向不断进行调整，是一种局部搜索算法，容易陷入局部最值，这样权值就极易收敛到最小值点，所以多次训练可能会出现不同结果。
参照图3，其示出了本发明所述的基于改进灰狼算法的BP神经网络优化方法的具体流程，以解决现有的BP神经网络存在的上述问题，基于改进灰狼算法的BP神经网络优化方法包括如下步骤：
(Ⅰ)选择BP神经网络本身的结构，确定网络隐藏层的节点数；
(Ⅱ)初始化基本参数：对灰狼种群进行初始化，产生n个灰狼的位置，根据网络结构计算灰狼的种群大小、初始化参数A，α和C，确定最大迭代次数；
(Ⅲ)确定神经网络适应度函数、输出节点的激励函数；
(Ⅳ)计算灰狼个体适应度值，找出适应度值的最优解(α狼的位置Xα)，次优解(β狼的位置Xβ)以及第三优解(δ狼的位置Xδ)，根据式(1)至式(13)更新剰余灰狼ω的位置信息，并更新参数A，a和C的值；
(Ⅴ)选取训练样本和测试样本进行实验，并记录误差及其对应的最优解(α狼的位置Xα)；
(Ⅵ)判断是否满足达到最大迭代次数或者达到设定的误差值，如满足条件终止循环，否则重复步骤(Ⅳ)至步骤(Ⅵ)；
(Ⅶ)最后返回结果为灰狼α的位置也就是最优解位置，以及训练过程每一次迭代灰狼α的位置，灰狼α所在位置的最小误差，训练样本和测试样本的误差。
具体地，在所述步骤(Ⅱ)中，利用复数值编码方式初始化灰狼种群，产生n个灰狼的位置。更具体地，在所述步骤(Ⅱ)中，根据如下公式初始化灰狼种群：
xp＝Rp+iIp，p＝1，2，...，M (8)
其中灰狼的基因可以表示为二倍体，记为(Rp，iIp)，其中Rp表示变量的实部，Ip表示变量的虚部。
根据本发明的一个实施例，在所述步骤(Ⅳ)中，定义一种可变比例权重，利用最佳位置的加权总和来进行位置更新，即：
其中比例权重ω1、ω2、ω3，在算法每次迭代流程中是动态可变的。
根据本发明的一个实施例，在上述方法中，控制因子
满足公式：
其中参数tmax是最大迭代次数，控制因子
随迭代次数的增加非线性动态变化。
参照图4，其示出了所述基于改进灰狼算法BP神经网络优化方法中的BP神经网络的一种模型，但本领域技术人员应该理解的是，附图中示出的BP神经网络的具体模型仅仅作为示意，不能成为对本发明所述的基于改进灰狼算法的BP神经网络优化方法的内容和范围的限制。
本领域的技术人员可以理解的是，以上实施例仅为举例，其中不同实施例的特征可以相互组合，以得到根据本发明揭露的内容很容易想到但是在附图中没有明确指出的实施方式。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
Claims (5)
1.一种基于改进灰狼算法的BP神经网络优化方法，其特征在于，包括如下步骤：
(Ⅰ)选择BP神经网络本身的结构，确定网络隐藏层的节点数；
(Ⅱ)初始化基本参数：利用复数值编码方式初始化灰狼种群，产生n个灰狼的位置，根据网络结构计算灰狼的种群大小、初始化参数A，a和C，确定最大迭代次数；
(Ⅲ)确定神经网络适应度函数、输出节点的激励函数；
(Ⅳ)计算灰狼个体适应度值，找出适应度值的最优解(α狼的位置Xα)，次优解(β狼的位置Xβ)以及第三优解(δ狼的位置Xδ)，更新剰余灰狼ω的位置信息，并更新参数A，a和C的值；
(Ⅴ)选取训练样本和测试样本进行实验，并记录误差及其对应的最优解(α狼的位置Xα)；
(Ⅵ)判断是否满足达到最大迭代次数或者达到设定的误差值，如满足条件终止循环，否则重复步骤(Ⅳ)至步骤(Ⅵ)；以及
(Ⅶ)最后返回结果为灰狼α的位置，以及训练过程每一次迭代灰狼α的位置，灰狼α所在位置的最小误差，训练样本和测试样本的误差。
2.根据权利要求1所述的基于改进灰狼算法的BP神经网络优化方法，其特征在于，其中在所述步骤(Ⅱ)中，根据如下公式(8)初始化灰狼种群：
xp＝Rp+iIp，p＝1，2，...，M (8)
其中灰狼的基因可以表示为二倍体，记为(Rp，iIp)，其中Rp表示变量的实部，Ip表示变量的虚部。
3.根据权利要求2所述的基于改进灰狼算法的BP神经网络优化方法，其特征在于，其中在所述步骤(Ⅳ)中，定义一种可变比例权重，利用最佳位置的加权总和来进行位置更新，即遵循公式(9)至公式(12)：
其中比例权重ω1、ω2、ω3，在算法每次迭代流程中是动态可变的。
4.根据权利要求3所述的基于改进灰狼算法的BP神经网络优化方法，其特征在于，其中控制因子
满足公式(13)：
其中参数tmax是最大迭代次数，控制因子
随迭代次数的增加非线性动态变化。
5.根据权利要求1所述的基于改进灰狼算法的BP神经网络优化方法，其特征在于，其中在所述步骤(Ⅳ)中，根据如下公式(1)至公式(13)更新剰余灰狼ω的位置信息：
式(1)表示个体与猎物间的距离；
式(2)是灰狼的位置更新公式；
其中，
是收敛因子，随着迭代次数从2线性减小到0，
和
的模取[0，1]之间的随机数；
其中，
和
分别表示α、β和δ与其他个体间的距离；
和
分别代表α、β和δ的当前位置；
是随机向量，
是当前灰狼的位置；
式(6)分别定义了狼群中ω个体朝向α、β和δ前进的步长和方向；
式(7)定义了ω的最终位置；
xp＝Rp+iIp，p＝1，2，...，M (8)
式(8)中，灰狼的基因可以表示为二倍体，记为(Rp，iIp)，其中Rp表示变量的实部，Ip表示变量的虚部；
式(9)至式(12)中，比例权重ω1、ω2、ω3，在算法每次迭代流程中是动态可变的；
式(13)中，参数tmax是最大迭代次数，控制因子
随迭代次数的增加非线性动态变化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010496667.0A CN111723945A (zh) | 2020-06-03 | 2020-06-03 | 一种基于改进灰狼算法的bp神经网络优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010496667.0A CN111723945A (zh) | 2020-06-03 | 2020-06-03 | 一种基于改进灰狼算法的bp神经网络优化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111723945A true CN111723945A (zh) | 2020-09-29 |
Family
ID=72565950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010496667.0A Pending CN111723945A (zh) | 2020-06-03 | 2020-06-03 | 一种基于改进灰狼算法的bp神经网络优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111723945A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365065A (zh) * | 2020-11-16 | 2021-02-12 | 大唐环境产业集团股份有限公司 | 一种wfgd自适应在线优化调度方法 |
| CN112416913A (zh) * | 2020-10-15 | 2021-02-26 | 中国人民解放军空军工程大学 | 一种基于gwo-bp算法的飞机燃油系统状态缺失值补充方法 |
| CN112461919A (zh) * | 2020-11-10 | 2021-03-09 | 云南电网有限责任公司保山供电局 | 应用多频超声技术检测变压器油理化性能的系统及方法 |
| CN112598106A (zh) * | 2020-12-17 | 2021-04-02 | 苏州大学 | 基于复数值前向神经网络的复信道均衡器设计方法 |
| CN112766533A (zh) * | 2020-11-26 | 2021-05-07 | 浙江理工大学 | 一种基于多策略改进gwo_bp神经网络的共享单车需求预测方法 |
| CN112818793A (zh) * | 2021-01-25 | 2021-05-18 | 常州大学 | 基于局部线性嵌入法的微铣削刀具磨损状态监测方法 |
| CN113205698A (zh) * | 2021-03-24 | 2021-08-03 | 上海吞山智能科技有限公司 | 一种基于igwo-lstm的短时交通流预测的导航提醒方法 |
| CN113296520A (zh) * | 2021-05-26 | 2021-08-24 | 河北工业大学 | 融合a*与改进灰狼算法的巡检机器人路径规划方法 |
| CN113344168A (zh) * | 2021-05-08 | 2021-09-03 | 淮阴工学院 | 短期泊位预测方法及系统 |
| CN113449474A (zh) * | 2021-07-05 | 2021-09-28 | 南京工业大学 | 一种基于改进灰狼算法优化bp神经网络的管材成形质量预测方法 |
| CN114021474A (zh) * | 2021-11-17 | 2022-02-08 | 江苏科技大学 | 基于改进灰狼算法优化的继电器寿命预测方法 |
| CN114357867A (zh) * | 2021-12-20 | 2022-04-15 | 中国长江三峡集团有限公司 | 基于水轮机仿真智能求解的一次调频控制方法及装置 |
| CN115828437A (zh) * | 2023-02-17 | 2023-03-21 | 中汽研汽车检验中心（天津）有限公司 | 汽车性能指标综合优化方法、计算设备 |
| CN117251851A (zh) * | 2023-11-03 | 2023-12-19 | 广东齐思达信息科技有限公司 | 一种上网行为管理审计方法 |
-
2020
- 2020-06-03 CN CN202010496667.0A patent/CN111723945A/zh active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112416913A (zh) * | 2020-10-15 | 2021-02-26 | 中国人民解放军空军工程大学 | 一种基于gwo-bp算法的飞机燃油系统状态缺失值补充方法 |
| CN112461919A (zh) * | 2020-11-10 | 2021-03-09 | 云南电网有限责任公司保山供电局 | 应用多频超声技术检测变压器油理化性能的系统及方法 |
| CN112365065A (zh) * | 2020-11-16 | 2021-02-12 | 大唐环境产业集团股份有限公司 | 一种wfgd自适应在线优化调度方法 |
| CN112766533A (zh) * | 2020-11-26 | 2021-05-07 | 浙江理工大学 | 一种基于多策略改进gwo_bp神经网络的共享单车需求预测方法 |
| CN112598106A (zh) * | 2020-12-17 | 2021-04-02 | 苏州大学 | 基于复数值前向神经网络的复信道均衡器设计方法 |
| CN112598106B (zh) * | 2020-12-17 | 2024-03-15 | 苏州大学 | 基于复数值前向神经网络的复信道均衡器设计方法 |
| CN112818793A (zh) * | 2021-01-25 | 2021-05-18 | 常州大学 | 基于局部线性嵌入法的微铣削刀具磨损状态监测方法 |
| CN113205698A (zh) * | 2021-03-24 | 2021-08-03 | 上海吞山智能科技有限公司 | 一种基于igwo-lstm的短时交通流预测的导航提醒方法 |
| CN113344168A (zh) * | 2021-05-08 | 2021-09-03 | 淮阴工学院 | 短期泊位预测方法及系统 |
| CN113296520B (zh) * | 2021-05-26 | 2023-07-14 | 河北工业大学 | 融合a*与改进灰狼算法的巡检机器人路径规划方法 |
| CN113296520A (zh) * | 2021-05-26 | 2021-08-24 | 河北工业大学 | 融合a*与改进灰狼算法的巡检机器人路径规划方法 |
| CN113449474A (zh) * | 2021-07-05 | 2021-09-28 | 南京工业大学 | 一种基于改进灰狼算法优化bp神经网络的管材成形质量预测方法 |
| CN113449474B (zh) * | 2021-07-05 | 2023-10-13 | 南京工业大学 | 改进灰狼算法优化bp神经网络管材成形质量预测方法 |
| CN114021474A (zh) * | 2021-11-17 | 2022-02-08 | 江苏科技大学 | 基于改进灰狼算法优化的继电器寿命预测方法 |
| CN114357867A (zh) * | 2021-12-20 | 2022-04-15 | 中国长江三峡集团有限公司 | 基于水轮机仿真智能求解的一次调频控制方法及装置 |
| CN115828437A (zh) * | 2023-02-17 | 2023-03-21 | 中汽研汽车检验中心（天津）有限公司 | 汽车性能指标综合优化方法、计算设备 |
| CN115828437B (zh) * | 2023-02-17 | 2023-05-12 | 中汽研汽车检验中心（天津）有限公司 | 汽车性能指标综合优化方法、计算设备 |
| CN117251851A (zh) * | 2023-11-03 | 2023-12-19 | 广东齐思达信息科技有限公司 | 一种上网行为管理审计方法 |
| CN117251851B (zh) * | 2023-11-03 | 2024-05-14 | 广东齐思达信息科技有限公司 | 一种上网行为管理审计方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111723945A (zh) | 一种基于改进灰狼算法的bp神经网络优化方法 | |
| Teng et al. | An improved hybrid grey wolf optimization algorithm | |
| Abd Elaziz et al. | A Grunwald–Letnikov based Manta ray foraging optimizer for global optimization and image segmentation | |
| CN111371607B (zh) | 一种基于决策灰狼算法优化lstm的网络流量预测方法 | |
| CN110472730A (zh) | 一种卷积神经网络的自蒸馏训练方法和可伸缩动态预测方法 | |
| CN107330902B (zh) | 基于Arnold变换的混沌遗传BP神经网络图像分割方法 | |
| CN111709524A (zh) | 一种基于改进gwo算法的rbf神经网络优化方法 | |
| Kumar et al. | Artificial lizard search optimization (ALSO): a novel nature-inspired meta-heuristic algorithm | |
| CN112488283A (zh) | 一种改进的多目标灰狼优化算法 | |
| CN113240068A (zh) | 一种基于改进蚁狮算法的rbf神经网络优化方法 | |
| CN103824291A (zh) | 连续量子雁群算法演化脉冲耦合神经网络系统参数的自动图像分割方法 | |
| CN111832135A (zh) | 基于改进哈里斯鹰优化算法的压力容器结构优化方法 | |
| CN111709511A (zh) | 一种基于随机无迹Sigma点变异的哈里斯鹰优化算法 | |
| CN108921281A (zh) | 一种基于深度网络和对抗技术的领域适配方法 | |
| Bacanin et al. | Improved harris hawks optimization adapted for artificial neural network training | |
| CN116341605A (zh) | 一种基于反向学习策略的灰狼算法混合优化方法 | |
| CN110766125A (zh) | 一种基于人工鱼群算法的多目标武器——目标分配方法 | |
| CN116108383A (zh) | 一种基于改进樽海鞘多输出支持向量的船舶航迹预测方法 | |
| Zhou et al. | A hybrid butterfly optimization algorithm for numerical optimization problems | |
| CN116017476A (zh) | 无线传感器网络覆盖设计方法、装置 | |
| Pan et al. | The Phasmatodea population evolution algorithm and its application in 5G heterogeneous network downlink power allocation problem | |
| CN108537663A (zh) | 一种股票趋势预测方法 | |
| CN116931103A (zh) | 一种基于布谷鸟算法的电磁数据反演方法及系统 | |
| CN116841707A (zh) | 基于hdabc算法的传感器资源调度方法 | |
| CN116543877A (zh) | 一种高值医用耗材备件需求预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200929 |
|
| RJ01 | Rejection of invention patent application after publication |