CN112132280A - 基于改进细菌觅食算法优化bp神经网络的方法 - Google Patents

Abstract

本发明公开基于改进细菌觅食算法优化BP神经网络的方法，包括：确定神经网络结构，对其相关参数进行设定；初始化细菌的位置；将细菌分量转化为神经网络的权值和阈值；对细菌进行翻转操作，获取翻转一次后的适应度值，若适应度值变好，细菌则按照翻转方向移动相应的步长；获取细菌能量，淘汰细菌能量较差的一半，繁殖较好的另一半，子细菌具有和母细菌相同的位置和步长；获取当前细菌的信息素浓度，计算转移概率，更新细菌位置，得到更新后的适应度值；得出群体最优解，将所述最优解转化为神经网络的权值和阈值。本方法优化了神经网络的权值、阈值，提高了神经网络的性能，使预测结果更准确。

Description

基于改进细菌觅食算法优化BP神经网络的方法

技术领域

本发明涉及数据挖掘领域，具体涉及基于改进细菌觅食算法优化BP神经网络的方法。

背景技术

近年来，群智能优化算法应用广泛，大多都是基于高等生物作为启发对象，而Passino在2002年提出了细菌觅食算法(BacterialForagingOptimization，BFO),从微生物的行为机制出发，模拟细菌对环境感知的变化，通过细菌群体的竞争与协作来实现优化。为研究仿生计算提供了新的思路。BFO算法作为连续域的优化算法，具有可并行搜索、易于跳出局部极小值的优点，被广泛应用于图像分析处理、控制器优化设计和神经网络训练等多方面。

为了提高BFO算法的性能，相关学者从趋化步长的角度出发，赋予细菌自适应调节趋化步长的能力。Datta等人根据自适应增量调制原理提出了具有自适应趋化步长的BFO算法；Majhi等人设计了自动趋化步长调节的数学模型，并将其应用于神经网络的训练；Chen等人根据生物自适应搜索策略，提出了自适应的协同型菌群觅食优化算法；这些算法在不增加复杂性的前提下，提高了细菌寻优的效率，但是只能确保细菌的局部搜索能力。不少学者还从算法融合方面进行了研究，Kim等人在BFO算法中引入了遗传算法的交叉、变异算子，提出了GABFO算法；Luh等人从细菌进化的角度，提出了细菌进化算法(BEA)；Dasgupta等人将BFO算法与粒子群算法相结合，在细菌的趋化算子内嵌入粒子群方法，但此时算法中的趋化算子并没有起到作用。徐玉韬等人将差分进化算法中的交叉和变异操作引入BFO算法，增加了种群的多样性，但同时也容易导致群体中优秀个体的缺失。从现有的细菌觅食算法相关文献可以看出，大多数改进都是针对趋化算子和繁殖算子，对迁移算子的改进较少，现有算法没有利用搜索的任何信息，迁移后的解对于提高算法全局寻优能力的帮助有限。

神经网络具有模式识别、函数逼近、优化和联想记忆等性能，因此广泛流行于研究领域和应用领域。在众多的神经网络模型中，应用最多的是BP神经网络。BP神经网络具有较好的非线性和自学习能力，但由于其依赖于梯度下降法，常岀现易振荡、收敛速度慢，易陷入局部极小值、泛化能力不强等缺点。针对BP算法不具备全局寻优的缺点，不少学者将PSO粒子群算法应用到神经网络权值修改中，也有部分学者将细菌觅食算法应用到神经网络权值修改中，均取得了较好的结果。还有部分学者提出混合PSO的细菌觅食算法，如ABiswas所提出的BSO算法，在趋化操作后对细菌执行了一个仅使用社会信息(全局最优)的粒子移动操作；WKorani提出BF-PSO混合算法，用粒子的速度代替细菌翻转方向，并且在翻转和前进时不再要求是单位方向，但保留了步长限制；而刘小龙所提出的混合算法PSO-BFO与BF-PSO类似，也是用粒子速度代替翻转方法，但要求其翻转方向是单位方向。上述方法在测试函数或实际问题上取得了比标准细菌觅食算法更好的性能，但是还沿用了细菌的觅食过程，特别是在趋化过程中，都是先进行个任意单位方向的翻转，然后再进行多步的前进操作，其算法的复杂性没有改进，收敛速度也不够快。

发明内容

针对细菌觅食算法中迁移算子给定每个细菌相同的迁移概率，造成具有较好位置和能量细菌解的退化问题，本申请提出基于信息素的细菌觅食改进算法(BacterialForagingOptimizationbasedPheromone,BFOP)，该算法引入蚁群算法信息素思想，通过信息素浓度标识细菌经过的环境信息，指引细菌向信息素浓度高的位置进行迁移，从而提高全局寻优能力，并将改进后的算法应用于BP神经网络，优化了神经网络的权值、阈值，提高了神经网络的性能，使预测结果更准确。

为实现上述目的，本申请的技术方案为：基于改进细菌觅食算法优化BP神经网络的方法，包括：

确定神经网络结构，对其相关参数进行设定；

初始化细菌的位置，根据训练样本集和测试样本集设定神经网络的目标输入和目标输出；

将细菌分量转化为神经网络的权值和阈值，初始化神经网络并输入训练样本集数据，获取适应度值；

对细菌进行翻转操作，获取翻转一次后的适应度值，若适应度值变好，细菌则按照翻转方向移动相应的步长，直到适应值不再改善或达到游动次数Ns为止，一次趋化操作完成，重复该步骤，直至达到趋化次数Nc后，趋化操作结束；

获取细菌能量，淘汰细菌能量较差的一半，繁殖较好的另一半，子细菌具有和母细菌相同的位置和步长，一次繁殖操作完成；再返回进行趋化操作，达到Nre后，繁殖操作结束；

获取当前细菌的信息素浓度，计算转移概率P_i，更新细菌位置，得到更新后的适应度值，再返回进行趋化操作，达到迁移次数Ned后，迁移操作结束；

得出群体最优解，将所述最优解转化为神经网络的权值和阈值。

进一步的，确定神经网络结构，对其相关参数进行设定，具体包括：根据神经网络结构，设定输入层、隐含层和输出层神经元个数，确定传递函数、输出函数、训练精度；对细菌规模数S，迁移次数Ned、繁殖次数Nre、趋化次数Nc，游动次数Ns，迁移概率Ped参数进行设定。

进一步的，初始化细菌的位置的方式为，

X＝X_min+rand*(X_max-X_min)

其中，X_max、X_min是在目标函数中X取值范围的上限和下限；rand是均匀分布在0-1之间的随机数。

进一步的，获取适应度值的方式为，

其中：d_k是神经网络的实际输出，t_k是目标输出，m是输出节点数，n是训练集样本数，a、b均为计数变量。

进一步的，对细菌进行翻转操作的方式为，

其中，P(i,j,k,l)表示第i个细菌的空间位置向量，j表示第j代趋化循环，k表示第k代繁殖循环，l表示第l代迁移循环；C(i)表示按选定的方向游动的步长，Δ(i)为随意翻转生成的随机向量，

表示进行方向调整后选定的方向。

更进一步的，获取翻转一次后的适应度值的方式为，

J(i,j+1,k,l)＝J(i,j,k,l)+J_cc(θⁱ,(j+1,k,l),P(i,j,k,l))

其中，J_cc是细菌感知适应度值，引入细菌感知机制后，计算细菌适应度需叠加J_cc值。

更进一步的，获取细菌能量的方式为，

更进一步的，获取当前细菌的信息素浓度的方式为，

τ_i(l+1)＝(1-ρ)τ_i(l)+Q×F(P(i,j+1,k,l))

其中，l是迁移次数，ρ是信息素全局挥发因子，ρ∈(0,1)；τ_i(l)表示信息素浓度；Q为常数，表示当前环境的信息素总量；F(P(i,j+1,k,l))表示细菌完成趋化操作后位置更新的信息素浓度；

给定信息素浓度一个初始值，τ_i(0)为初始信息素，

τ_i(0)＝F(X)

其中，X是细菌的初始位置，F(X)是待寻优的目标函数。

作为更进一步的，计算转移概率P_i的方式为，

其中，maxτ_m(l)代表信息素浓度最高的细菌，τ_i(l)代表当前细菌i的信息素浓度，设定一个固定迁移概率Ped，如果P_i大于或等于固定迁移概率，则当前细菌距离信息素浓度最高的细菌较远，需要对当前细菌位置进行大范围的调整。如果P_i小于固定迁移概率，则当前细菌距离信息素浓度最高的细菌较近，只需要进行小范围的位置移动，就能到达信息素浓度高的位置；

更新细菌位置的方式为，

其中，P(i,j,k,l)表示第i个细菌完成趋化操作后更新的空间位置向量；rand是0-1之间的随机数，

λ随着迁移次数的增加而减小，属于局部搜索；X_max、X_min是在目标函数中X取值范围的上限和下限，X∈(X_min,X_max)属于全局搜索。

作为更进一步的，更新后的适应度值的方式与获取翻转一次后的适应度值的方式相同。

本发明由于采用以上技术方案，能够取得如下的技术效果：本申请对细菌觅食算法进行了改进，使其全局寻优能力和寻优精度都得到了提高，并将改进后的BFOP算法应用于BP神经网络中，优化了网络的权值、阈值，提高了BP神经网络的性能，使预测结果更准确。

附图说明

图1为基于改进细菌觅食算法优化BP神经网络的方法流程图。

图2为实施例f1函数目标收敛曲线图；

图3为实施例f2函数目标收敛曲线图；

图4为实施例f3函数目标收敛曲线图；

图5为实施例f4函数目标收敛曲线图；

图6为神经网络收敛曲线对比图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细的描述：以此为例对本申请做进一步的描述说明。

实施例1

本实施例提供基于改进细菌觅食算法优化BP神经网络的方法，包括：

S1.确定神经网络结构，对其相关参数进行设定；

确定神经网络结构，对其相关参数进行设定，具体包括：根据神经网络结构，设定输入层、隐含层和输出层神经元个数，确定传递函数、输出函数、训练精度；对细菌规模数S，迁移次数Ned、繁殖次数Nre、趋化次数Nc，游动次数Ns，迁移概率Ped参数进行设定。

S2.初始化细菌的位置，根据训练样本集和测试样本集设定神经网络的目标输入和目标输出；

初始化细菌的位置的方式为，

X＝X_min+rand*(X_max-X_min)

其中，X_max、X_min是在目标函数中X取值范围的上限和下限；rand是均匀分布在0-1之间的随机数。

S3.将细菌分量转化为神经网络的权值和阈值，初始化神经网络并输入训练样本集数据，获取适应度值；

本实施例应用与对UCI数据库中提供的鸢尾花数据(Iris集)进行BP神经网络的预测分析；

每一个细菌就是一个神经网络，细菌的分量包括神经网络所有节点之间的连接权值和阈值。输入层节点数为m，隐含层节点数为n，输出层节点数为k，则优化维度D＝n×m+k×n+n+k；

定义输入层到隐含层的权值矩阵为IW，隐含层和输出层的权值矩阵为LW，则

此外，定义输入层到隐含层的阈值向量B₁；隐含层到输出层的阈值向量B₂，则

B₁＝[b₁₁,b₁₂,…,b_1n]^TB₂＝[b₂₁,b₂₂,…,b_2k]^T

由上式得出，单个细菌在维度上的顺序编码为：

x＝[IW₁₁…IW_nmLW₁₁…LW_knb₁₁…b_1nb₂₁…b_2k]

细菌的适应度函数设为神经网络实际输出与目标输出间的均方误差MSE：

获取适应度值的方式为，

其中：d_k是神经网络的实际输出，t_k是目标输出，m是输出节点数，n是训练集样本数，a、b均为计数变量。

S4.对细菌进行翻转操作，获取翻转一次后的适应度值，若适应度值变好，细菌则按照翻转方向移动相应的步长，直到适应值不再改善或达到游动次数Ns为止，一次趋化操作完成，重复该步骤，直至达到趋化次数Nc后，趋化操作结束；

趋化算子是模拟细菌实现最优觅食的一种行为，包含翻转和游动。细菌向任意方向移动的单位步长定义为翻转，对细菌进行翻转操作的方式为，

其中，P(i,j,k,l)表示第i个细菌的空间位置向量，j表示第j代趋化循环，k表示第k代繁殖循环，l表示第l代迁移循环；C(i)表示按选定的方向游动的步长，Δ(i)为随意翻转生成的随机向量，

表示进行方向调整后选定的方向。

如果细菌完成一次翻转后的适应值得到改善，则沿同一方向继续向前移动若干步，直至适应值不再改善，或达到设定的游动次数Ns为止。如果细菌翻转一次后，适应值没得到改善，则按照上式继续随即翻转，翻转后的适应度值的方式为，

J(i,j+1,k,l)＝J(i,j,k,l)+J_cc(θⁱ,(j+1,k,l),P(i,j,k,l))

其中，J_cc是细菌感知适应度值，引入细菌感知机制后，计算细菌适应度需叠加J_cc值。

S5.获取细菌能量，淘汰细菌能量较差的一半，繁殖较好的另一半，子细菌具有和母细菌相同的位置和步长，一次繁殖操作完成；再返回S4进行趋化操作，达到Nre后，繁殖操作结束；

趋化周期为细菌的一个完整生命周期，一旦生命周期结束，细菌将遵循自然界“优胜劣汰，适者生存”的原则进行繁殖。获取细菌能量的方式为，

S6.获取当前细菌的信息素浓度，计算转移概率P_i，更新细菌位置，得到更新后的适应度值，再返回S4进行趋化操作，达到迁移次数Ned后，迁移操作结束；

信息素的浓度由目标函数确定，目标函数的适应值越好，表明此位置的信息素浓度越高；获取当前细菌的信息素浓度的方式为，

τ_i(l+1)＝(1-ρ)τ_i(l)+Q×F(P(i,j+1,k,l))

其中，l是迁移次数，ρ是信息素全局挥发因子，ρ∈(0,1)；τ_i(l)表示信息素浓度；Q为常数，表示当前环境的信息素总量；F(P(i,j+1,k,l))表示细菌完成趋化操作后位置更新的信息素浓度；

给定信息素浓度一个初始值，τ_i(0)为初始信息素，

τ_i(0)＝F(X)

其中，X是细菌的初始位置，F(X)是待寻优的目标函数。

计算转移概率P_i的方式为，

其中，maxτ_m(l)代表信息素浓度最高的细菌，τ_i(l)代表当前细菌i的信息素浓度，设定一个固定迁移概率Ped，如果P_i大于或等于固定迁移概率，则当前细菌距离信息素浓度最高的细菌较远，需要对当前细菌位置进行大范围的调整。如果P_i小于固定迁移概率，则当前细菌距离信息素浓度最高的细菌较近，只需要进行小范围的位置移动，就能到达信息素浓度高的位置；

迁移过后更新细菌位置的方式为，

其中，P(i,j,k,l)表示第i个细菌完成趋化操作后更新的空间位置向量；rand是0-1之间的随机数，

λ随着迁移次数的增加而减小，属于局部搜索；X_max、X_min是在目标函数中X取值范围的上限和下限，X∈(X_min,X_max)属于全局搜索；

更新后的适应度值的方式与获取翻转一次后的适应度值的方式相同。

仿真实验采用Rosenbrock(f₁)、Rastrigin(f₂)、Griewank(f₃)和Ackley(f₄)4个测试函数进行分析。这几个典型的标准函数都是NP难问题，全局极小值均为0。其中，f₁和f₃是单峰函数，f₂和f₄是多峰函数。单峰测试函数主要用来测试算法的寻优速度，多峰函数则用来测试算法的全局寻优能力和精度。

表1标准测试函数及其搜索范围

仿真参数设置如下，细菌数量S＝30，迁移次数Ned＝8，繁殖次数Nre＝4，趋化次数Nc＝20，游动次数Ns＝4，迁移次数Ped＝0.25，游动步长C＝0.01，迭代次数约为600次。

将实施例提出的基于信息素的改进细菌觅食算法BFOP与BFO算法、改进细菌觅食算法PSOBFO进行仿真对比，实验结果如图2-图5所示。

由图2可知,PSOBFO和BFOP的寻优精度相同，PSOBFO约在500次收敛，而BFOP在100次收敛，明显BFOP的收敛速度大于PSOBFO。由图4可知，BFO算法约在130次收敛，而BFOP约在180次收敛，虽然BFO的收敛速度大于BFOP，但是BFOP的寻优精度更好。由图5可知，BFO和BFOP均在300次左右收敛，收敛速度相同，BFO的适应值趋于1，而BFOP的适应值趋于0，BFOP的寻优精度优于BFO。由图3得出，f₂函数中BFOP的收敛速度和寻优精度均优于其他两种算法。

同时将实施例提出的基于信息素的改进细菌觅食算法BFOP与BFO算法以及改进细菌觅食算法PSOBFO在f₁、f₂、f₃、f₄函数中分别测试30次，测试指标包括平均值，标准差，最优值。其中，平均值是所有搜索结果中的最优平均值，用来评估算法的全局寻优能力；标准差是算法搜索30次最优值的标准差，用来评估算法的鲁棒性；最优值是30次测试的最好结果，用来评估算法的寻优精度。算法的性能测试结果如表2所示。

表2基于30维的算法测试结果

由表2可知，本实施例提出的改进细菌觅食算法BFOP在f₂和f₄即多峰函数中，标准差均小于其他两种算法，说明改进后的算法相对稳定，鲁棒性好。同时BFOP的平均值在f₁、f₂、f₃、f₄函数中较其他两种算法均有提升，且最优值均小于其他两种算法，这是因为本实施例改进的细菌觅食算法BFOP通过信息素浓度标识细菌经过的环境信息，指引细菌向信息素浓度高的位置进行迁移，避免陷入局部最优，从而该算法在全局寻优能力和寻优能力上都有一定优势。

S7.得出群体最优解，将所述最优解转化为神经网络的权值和阈值。

为验证模型的有效性,将改进后的BP神经网络与传统的BP神经网络进行对比。本实施例采用UCI数据集中的Iris数据集来测试神经网络的性能，神经网络的参数设置为：输入层个数为4，隐含层个数设置为6，输出层个数为3，则每个细菌优化维度D为51；训练方法分别取logsig、purelin和traingdx；迭代次数设为500，当误差达到设定值(此处设为0.01)或达到最大训练次数时，训练停止。

由图6可知，原始BP神经网络的均方误差为0.013，迭代次数在370次收敛，而本实施例所提出的改进细菌觅食算法优化过后的BP神经网络约在200次的时候，均方误差收敛到0.01。迭代次数由370次降低到200次，收敛性能变好。均方误差由0.013减低到0.01，较原来降低了23.07％，BP神经网络由于融合了改进后的细菌觅食算法BFOP，每个细菌相当于一个神经网络，改进后的细菌觅食算法全局寻优能力和寻优精度都有所提高，因此最优解对应的神经网络性能也就更好，预测结果更准确。

以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。

Claims (10)

1.基于改进细菌觅食算法优化BP神经网络的方法，其特征在于，包括：

确定神经网络结构，对其相关参数进行设定；

初始化细菌的位置，根据训练样本集和测试样本集设定神经网络的目标输入和目标输出；

将细菌分量转化为神经网络的权值和阈值，初始化神经网络并输入训练样本集数据，获取适应度值；

对细菌进行翻转操作，获取翻转一次后的适应度值，若适应度值变好，细菌则按照翻转方向移动相应的步长，直到适应值不再改善或达到游动次数Ns为止，一次趋化操作完成，重复该步骤，直至达到趋化次数Nc后，趋化操作结束；

获取细菌能量，淘汰细菌能量较差的一半，繁殖较好的另一半，子细菌具有和母细菌相同的位置和步长，一次繁殖操作完成；再返回进行趋化操作，达到Nre后，繁殖操作结束；

获取当前细菌的信息素浓度，计算转移概率P_i，更新细菌位置，得到更新后的适应度值，再返回进行趋化操作，达到迁移次数Ned后，迁移操作结束；

得出群体最优解，将所述最优解转化为神经网络的权值和阈值。

2.根据权利要求1所述基于改进细菌觅食算法优化BP神经网络的方法，其特征在于，确定神经网络结构，对其相关参数进行设定，具体包括：根据神经网络结构，设定输入层、隐含层和输出层神经元个数，确定传递函数、输出函数、训练精度；对细菌规模数S，迁移次数Ned、繁殖次数Nre、趋化次数Nc，游动次数Ns，迁移概率Ped参数进行设定。

3.根据权利要求1所述基于改进细菌觅食算法优化BP神经网络的方法，其特征在于，初始化细菌的位置的方式为，

X＝X_min+rand*(X_max-X_min)

其中，X_max、X_min是在目标函数中X取值范围的上限和下限；rand是均匀分布在0-1之间的随机数。

4.根据权利要求1所述基于改进细菌觅食算法优化BP神经网络的方法，其特征在于，获取适应度值的方式为，

其中：d_k是神经网络的实际输出，t_k是目标输出，m是输出节点数，n是训练集样本数，a、b均为计数变量。

5.根据权利要求1所述基于改进细菌觅食算法优化BP神经网络的方法，其特征在于，对细菌进行翻转操作的方式为，

其中，P(i,j,k,l)表示第i个细菌的空间位置向量，j表示第j代趋化循环，k表示第k代繁殖循环，l表示第l代迁移循环；C(i)表示按选定的方向游动的步长，Δ(i)为随意翻转生成的随机向量，

表示进行方向调整后选定的方向。

6.根据权利要求5所述基于改进细菌觅食算法优化BP神经网络的方法，其特征在于，获取翻转一次后的适应度值的方式为，

J(i,j+1,k,l)＝J(i,j,k,l)+J_cc(θⁱ,(j+1,k,l),P(i,j,k,l))

其中，J_cc是细菌感知适应度值，引入细菌感知机制后，计算细菌适应度需叠加J_cc值。

7.根据权利要求5所述基于改进细菌觅食算法优化BP神经网络的方法，其特征在于，获取细菌能量的方式为，

8.根据权利要求1所述基于改进细菌觅食算法优化BP神经网络的方法，其特征在于，获取当前细菌的信息素浓度的方式为，

τ_i(l+1)＝(1-ρ)τ_i(l)+Q×F(P(i,j+1,k,l))

其中，l是迁移次数，ρ是信息素全局挥发因子，ρ∈(0,1)；τ_i(l)表示信息素浓度；Q为常数，表示当前环境的信息素总量；F(P(i,j+1,k,l))表示细菌完成趋化操作后位置更新的信息素浓度；

给定信息素浓度一个初始值，τ_i(0)为初始信息素，

τ_i(0)＝F(X)

其中，X是细菌的初始位置，F(X)是待寻优的目标函数。

9.根据权利要求8所述基于改进细菌觅食算法优化BP神经网络的方法，其特征在于，计算转移概率P_i的方式为，

其中，max τ_m(l)代表信息素浓度最高的细菌，τ_i(l)代表当前细菌i的信息素浓度，设定一个固定迁移概率Ped，如果P_i大于或等于固定迁移概率，则当前细菌距离信息素浓度最高的细菌较远；如果P_i小于固定迁移概率，则当前细菌距离信息素浓度最高的细菌较近；

更新细菌位置的方式为，

其中，P(i,j,k,l)表示第i个细菌完成趋化操作后更新的空间位置向量；rand是0-1之间的随机数，

λ随着迁移次数的增加而减小，属于局部搜索；X_max、X_min是在目标函数中X取值范围的上限和下限，X∈(X_min,X_max)属于全局搜索。

10.根据权利要求6所述基于改进细菌觅食算法优化BP神经网络的方法，其特征在于，更新后的适应度值的方式与获取翻转一次后的适应度值的方式相同。

Images