CN115081595A - 基于改进天牛须算法和蝙蝠算法融合的神经网络优化方法 - Google Patents

Abstract

本发明公开了基于改进天牛须算法和蝙蝠算法融合的神经网络优化方法，采用了改进的天牛须‑蝙蝠算法优化BP神经网络参数，在局部精细寻优单元中受到天牛须算法的启发，对后期寻优机制进行改进，使个体朝着最优解方向偏移，提高了算法的收敛速度，进而提高算法的局部寻优能力和预测准确率，本发明的IBASBA‑BP神经网络模型是建立在已知的BP神经网络基础上，使用IBASBA对初始化的权重和阈值进行寻优，进而使BP神经网络在开始就拥有较优的权值以及阈值，从而降低了网络的训练时间，大幅度提升算法收敛速度。

Description

基于改进天牛须算法和蝙蝠算法融合的神经网络优化方法

技术领域

本发明涉及人工智能、智能算法及轴承故障诊断技术领域，具体为基于改进天牛须算法和蝙蝠算法融合的神经网络优化方法。

背景技术

在过去的几十年中，启发式优化算法已经在科学界获得了广泛的关注与发展，尤其是解决许多复杂优化问题。在启发式算法之前，爬坡算法、随机搜索算法和模拟退火算法是解决优化问题的传统算法。传统的算法从一个点开始搜索，需要大量的梯度信息来达到全局最优。但由于它的局限性和约束的复杂性，这些算法在解决定位问题，经济优化问题和工程设计等实际应用问题中并不十分有效。启发式算法是模拟生物或物理现象来处理复杂的优化问题的一种智能算法。与经典算法不同的是，这些启发式算法大多没有派生。由于启发式算法的随机性，它在避免局部最优方面具有优越的性能。同时由于算法简单、灵活、鲁棒性好、效率高等特点，可将其应用于各个领域。迄今为止，最著名的受自然启发的元启发式算法是粒子群算法，人工蜂群算法，萤火虫算法，基于生物地理的优化算法，蝙蝠算法，蚁群算法，蝴蝶优化算法和最近的天牛须搜索优化算法。天牛须搜索算法机制主要模拟天牛觅食过程，算法中的天牛根据触须感知到的气味强度大小，确定自身飞行的方向并更新位置，飞向食物位置。该算法在应用中，天牛个数为一只，因此具有参数少、算法简单易实现、收敛速度快等优点。

近年来，遗传算法、粒子群算法、蚁群算法、蜂群算法等智能优化算法得到了广泛关注，并在预测、分类、图像处理等问题中取得了良好的成果。BP神经网络在收敛速度和效率上存在不足，训练时容易陷入局部最小值，导致预测误差较大。为了实现轴承故障的精准诊断，许多专家学者采用智能算法(包括：遗传算法GA、粒子群算法PSO、布谷鸟算法CS和天牛须算法BAS)优化BP神经网络来对轴承故障进行诊断，通过智能算法优化BP神经网络的初始权值和阈值，建立收敛速度更快，预测误差更小的轴承故障诊断模型。

智能算法，是将自然界中的生物规律、物理现象、生物进化、群体觅食等抽象问题处理成简单的能在计算机中实现的数学模型，使其能解决各种数据优化、分类、图像处理和预测等方面的复杂问题。几十年的发展进步，许多专家提出了各种各样的算法，根据人体大脑的神经提出的神经网络；根据物理学中电磁充放电现象提出的充电系统搜索算法；通过化学反应中的酸碱中和反应提出了化学反应优化算法；根据蝙蝠超声波回声定位提出的蝙蝠使算法；根据鸟类、昆虫觅食提出的粒子群算法和天牛须算法等；根据人类的行为也提出了大量算法。这些算法源于生活、生物进化、觅食和物理化学现象，不同的智能算法有其各自的特点，各种算法之间也能吸收其优点弥补自身缺点，使智能算法更加完善。在众多智能算法中，遗传算法是应用是最广泛的，其次是群体算法中的粒子群搜索算法和布谷鸟搜索算法，天牛须算法是最新的优化算法。现有技术方案中仍然存在容易陷入局部最优解，收敛时间长的问题。

发明内容

本发明提供基于改进天牛须算法和蝙蝠算法融合的神经网络优化方法，解决现有算法在轴承故障诊断中准确率低的问题，通过群智能优化算法对BP神经网络的初始权值和阈值进行优化，并运用于轴承故障诊断中。

为实现上述目的，本发明提供如下技术方案：基于改进天牛须算法和蝙蝠算法融合的神经网络优化方法，包括以下步骤：

步骤1：数据预处理，使数据格式符合模型要求，同时对数据进行归一化处理；

步骤2：确定网络模型的隐含层神经元数目；

步骤3：根据公式得到神经网络隐藏层的输出值；

步骤4：初始化需要优化的权重矩阵、天牛步长和须长；

步骤5：设置目标函数，天牛的初始位置；

步骤6：生成天牛的搜索方向；

步骤7：计算天牛两个触角的位置，假设在N维空间中，天牛第t次迭代的位置为矢量X^t，其中t＝{1,2,3,…M}，M为迭代次数；

其中，

和

分别表示第i只天牛在第t次迭代时天牛须的左右须位置，l表示天牛质心与触须之间的距离，

表示随机单位向量，其中

归一化公式：

其中rand()表示[-1,1]间的随机函数，||·||₂表示二范数，根据两须嗅到的目标气味的浓度的不同，来判断天牛下一步前进位置：

其中，

表示第i只天牛经过第t次迭代之后的位置，f(x)为适应度函数，sign(x)为符号函数，x_ri表示第i只天牛右须位置，step^t表示第t次迭代时天牛的移动步长，移动步长越大，全局搜索能力越强，局部搜索能力越弱，并将对步长因子改进为：

step^t+1＝step^t×δ+0.001

δ＝exp(-100×(t/T)⁵)

其中，t表示当前迭代次数，T表示迭代总次数；

步骤8：引入一种自适应速度权重因子w，根据公式更新蝙蝠的速度和位置：

w＝μ_min+(μ_max-μ_min)*rand(0,1)+σ*N(0,1)

f_i＝f_min+(f_max-f_min)*rand(0,1)

其中，

表示第i只天牛经过第t+1次迭代之后的位置，w表示速度权重因子，μ_min表示随机惯性权重的最小值，μ_max表示随机惯性权重的最大值，σ表示标准差，通常取0.2～0.5之间的一个数，N(0,1)表示标准正态分布的随机数，f_i表示当前脉冲频率，f_max表示最大脉冲频率，f_min表示最小脉冲频率，

表示第i只天牛经过第t+1次迭代之后的速度，

表示改进后第i只天牛经过第t+1次迭代后的位置；

步骤9：根据BA算法中的局部搜索步骤，对全局最优位置处的蝙蝠个体，进行局部最优搜索；

步骤10：判断是否达到最大迭代次数；如果是，则直接进入下一步骤；反之，则根据公式更新天牛搜索步长，然后返回到步骤6；

步骤11：输出全局最优位置，得到训练好后的模型。

优选的，所述步骤7中，所述步长因子原定义为：

step^t+1＝step^t×δ

其中，δ代表步长因子，取值范围为0＜δ＜1，且初始步长因子越小，越容易陷入局部最优，难以跳出。

优选的，所述步骤9中，比较蝙蝠个体位置优劣和响度大小以更新位置和新解，将该结果和算法步骤8中的新位置和最优值进行比较，并使用BAS算法进行全局最优搜索，使天牛个体向最佳位置移动。

优选的，所述步骤9中，生成随机数R₁，脉冲频率r_i,若R₁＜r_i，选择接受新解，否则蝙蝠随机飞行产生新的解，产生新解公式如下：

x^new＝x*+ωA^t

其中x^new表示新解，ω∈[-1,1]，服从均匀分布，A^t是t时刻所有蝙蝠的平均响度；

生成随机数R₂，响度R₂，若R₂＜A_i且新解更优，则选择接受新解，调整r_i、A_i大小，否则转向步骤4中，更新种群最优速度和位置，A_i、r_i调整公式如下：

其中，ε,γ为常数，0＜ε＜1,γ＞0。

与现有技术相比，本发明的有益效果：

1、本发明中，只需要一只单独的天牛就可以进行优化计算，对于一些稍微简单的优化问题，极大减少了计算的工作量，缩短优化计算的时间。

2、本发明使天牛的搜索步长随着算法迭代次数的增加而自适应变化，与原迭代规则相比，在前期天牛搜索步长维持在大步长，步长下降更慢，后期天牛搜索步长减小，最后保持在一个最小值，提高了算法收敛速度。

3、本发明中加快了计算速度，提高了故障诊断准确率。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1是本发明IBASBA-BP神经网络算法流程图；

图2是本发明天牛搜索步长和迭代次数的关系图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例：如图1所示，基于改进天牛须算法和蝙蝠算法融合的神经网络优化方法，提出的算法实现主要分为两个部分：首先利用改进的天牛须算法和蝙蝠算法寻找全局最优解，将得到的最优解作为BP神经网络的初始权值和阈值，其中，天牛须和蝙蝠融合算法基于天牛须算法思想的改进蝙蝠算法能够帮助群体中的每一个蝙蝠增加搜寻过程中的搜索次数或搜索方向，显著提高全局搜索功能，从而使整体优化算法的精确度得到了极大的提高，有更多机会求解全局最优解，且不容易陷入局部最优，算法步骤如下：

第一步：初始化参数，种群大小，种群搜索范围，蝙蝠的响度、脉冲频率和初始步长，初始化种群的位置和速度。

第二步：记录随机初始化后种群中的最优位置。

第三步：对最优位置的蝙蝠进行局部搜索，根据天牛须更新公式更新蝙蝠种群的全局最优位置。

第四步：根据BA算法中的第三步，对全局最优位置处的蝙蝠个体，进行局部最优搜索，比较蝙蝠个体位置优劣和响度大小以更新位置和新解，将该结果和算法第三步中的新位置和最优值进行比较，并使用BAS算法进行全局最优搜索，使天牛个体向最佳位置移动。

第五步：判断是否满足终止条件，如果满足则输出最优个体和最优解，否则，继续迭代，更新速度和位置，直至满足终止条件，

对BP神经网络进行训练，IBASBA-BP设计思路和伪代码，包括以下步骤：

步骤1：数据预处理，使数据格式符合模型要求，同时对数据进行归一化处理；

步骤2：确定网络模型的隐含层神经元数目；

步骤3：根据公式得到神经网络隐藏层的输出值；

步骤4：初始化需要优化的权重矩阵、天牛步长和须长；

步骤5：设置目标函数，天牛的初始位置；

步骤6：生成天牛的搜索方向；

步骤7：计算天牛两个触角的位置，假设在N维空间中，天牛第t次迭代的位置为矢量X^t，其中t＝{1,2,3,…M}，M为迭代次数；

其中，

和

分别表示第i只天牛在第t次迭代时天牛须的左右须位置，l表示天牛质心与触须之间的距离，

表示随机单位向量，其中

归一化公式：

其中rand()表示[-1,1]间的随机函数，||·||₂表示二范数，根据两须嗅到的目标气味的浓度的不同，来判断天牛下一步前进位置：

其中，

表示第i只天牛经过第t次迭代之后的位置，f(x)为适应度函数，sign(x)为符号函数，x_ri表示第i只天牛右须位置，step^t表示第t次迭代时天牛的移动步长，移动步长越大，全局搜索能力越强，局部搜索能力越弱，各个变量的具体定义为：

step^t+1＝step^t×δ

其中，δ代表步长因子，取值范围为0＜δ＜1，初始步长因子越小，越容易陷入局部最优，难以跳出，一般情况下δ接近1，常取0.95。

将步长因子改进为：

step^t+1＝step^t×δ+0.001

δ＝exp(-100×(t/T)⁵)

其中，t表示当前迭代次数，T表示迭代总次数；在搜索的前期，倘若天牛搜索步长太小，则容易导致算法陷入局部最优解，无法跳出，因此在前期需要较大的搜索步长，提升天牛全局寻优能力；但当天牛靠近最优值附近，搜索步长取值依旧较大时，则有可能使天牛跳离最优值，导致算法收敛速度慢，因此在后期需要减小天牛的搜索步长，提升天牛局部搜索能力。因此本发明采用式step^t+1＝step^t×δ+0.001和式δ＝exp(-100×(t/T)⁵)使天牛的搜索步长随着算法迭代次数的增加而自适应变化，与原迭代规则，即公式step^t+1＝step^t×δ相比，在前期天牛搜索步长维持在大步长，步长下降更慢，后期搜索步长。假设初始步长为30，迭代总次数为100，则改进前后搜索步长与迭代次数的关系如图2所示；

步骤8：引入一种自适应速度权重因子w，根据公式更新蝙蝠的速度和位置：

w＝μ_min+(μ_max-μ_min)*rand(0,1)+σ*N(0,1)

f_i＝f_min+(f_max-f_min)*rand(0,1)

其中，

表示第i只天牛经过第t+1次迭代之后的位置，w表示速度权重因子，μ_min表示随机惯性权重的最小值，μ_max表示随机惯性权重的最大值，σ表示标准差，N(0,1)表示标准正态分布的随机数，f_i表示当前脉冲频率，f_max表示最大脉冲频率，f_min表示最小脉冲频率，

表示第i只天牛经过第t+1次迭代之后的速度，

表示改进后第i只天牛经过第t+1次迭代后的位置；

步骤9：根据BA算法中的局部搜索步骤，对全局最优位置处的蝙蝠个体，进行局部最优搜索，比较蝙蝠个体位置优劣和响度大小以更新位置和新解，将该结果和算法步骤8中的新位置和最优值进行比较，并使用BAS算法进行全局最优搜索，使天牛个体向最佳位置移动；

生成随机数R₁，脉冲频率r_i,若R₁＜r_i，选择接受新解，否则蝙蝠随机飞行产生新的解，产生新解公式如下：

x^new＝x*+ωA^t

其中x^new表示新解，ω∈[-1,1]，服从均匀分布，A^t是t时刻所有蝙蝠的平均响度；

生成随机数R₂，响度R₂，若R₂＜A_i且新解更优，则选择接受新解，调整r_i、A_i大小，否则转向步骤4中，更新种群最优速度和位置，A_i、r_i调整公式如下：

r_i ^t+1＝r_i ⁰[1-exp(-γt)]

其中，ε,γ为常数，0＜ε＜1,γ＞0；

步骤10：判断是否达到最大迭代次数；如果是，则直接进入下一步骤；反之，则根据公式更新天牛搜索步长，然后返回到步骤6；

步骤11：输出全局最优位置，得到训练好后的模型。

第一阶段：通过IBASBA算法执行BP神经网络参数优化任务。初始化种群的规模、范围、蝙蝠的响度、脉冲频率、天牛种群的初始步长、初始化种群的位置、速度。初始化种群最优位置，在全局最优个体处进行局部寻优。判断是否达到最大迭代次数、精度要求，输出最优参数组合。

第二阶段，利用前一阶段获得的BP神经网络优化模型执行轴承故障诊断任务。首先由IBASBA算法输出最优参数组合，然后将此组合设置为BP神经网络算法的参数，对处理后的轴承故障数据进行训练和分类。

算法整体描述：使用改进后的天牛须算法和蝙蝠算法(IBASBA)进行融合，进而优化BP神经网络的权值和阈值。基于前人研究将天牛须算法和蝙蝠算法进行结合，以弥补单个方法应用时存在的不足。此外，天牛的搜索步长极大地影响了优化效率和优化结果，在寻优初期，需要较大的搜索步长，保证天牛的全局搜索能力，在最优值附近，如果步长依旧较大，可能会跳离最优解，因此需要减小搜索步长，并且在高维寻优问题中易陷入局部最优，基于天牛须算法思想的改进蝙蝠算法能够帮助群体中的每一个天牛增加搜寻过程中的搜索次数或搜索方向，极大提高全局搜索能力，进而提高整个算法的精度，能有更多机会求解全局最优解且不容易陷入局部最优，以便得到最佳的优化结果。最后，引入一种自适应速度权重因子，改进蝙蝠算法中的速度更新规则。

最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于改进天牛须算法和蝙蝠算法融合的神经网络优化方法，其特征在于，包括以下步骤：

步骤1：数据预处理，使数据格式符合模型要求，同时对数据进行归一化处理；

步骤2：确定网络模型的隐含层神经元数目；

步骤3：根据公式得到神经网络隐藏层的输出值；

步骤4：初始化需要优化的权重矩阵、天牛步长和须长；

步骤5：设置目标函数，天牛的初始位置；

步骤6：生成天牛的搜索方向；

步骤7：计算天牛两个触角的位置，假设在N维空间中，天牛第t次迭代的位置为矢量X^t，其中t＝{1,2,3,…M}，M为迭代次数；

其中，

和

分别表示第i只天牛在第t次迭代时天牛须的左右须位置，l表示天牛质心与触须之间的距离，

表示随机单位向量，其中

归一化公式：

其中rand()表示[-1,1]间的随机函数，||·||₂表示二范数，根据两须嗅到的目标气味的浓度的不同，来判断天牛下一步前进位置：

其中，

表示第i只天牛经过第t次迭代之后的位置，f(x)为适应度函数，sign(x)为符号函数，x_ri表示第i只天牛右须位置，step^t表示第t次迭代时天牛的移动步长，移动步长越大，全局搜索能力越强，局部搜索能力越弱，并将对步长因子改进为：

step^t+1＝step^t×δ+0.001

δ＝exp(-100×(t/T)⁵)

其中，t表示当前迭代次数，T表示迭代总次数；

步骤8：引入一种自适应速度权重因子w，根据公式更新蝙蝠的速度和位置：

w＝μ_min+(μ_max-μ_min)*rand(0,1)+σ*N(0,1)

f_i＝f_min+(f_max-f_min)*rand(0,1)

其中，

表示第i只天牛经过第t+1次迭代之后的位置，w表示速度权重因子，μ_min表示随机惯性权重的最小值，μ_max表示随机惯性权重的最大值，σ表示标准差，N(0,1)表示标准正态分布的随机数，f_i表示当前脉冲频率，f_max表示最大脉冲频率，f_min表示最小脉冲频率，

表示第i只天牛经过第t+1次迭代之后的速度，

表示改进后第i只天牛经过第t+1次迭代后的位置；

步骤9：根据BA算法中的局部搜索步骤，对全局最优位置处的蝙蝠个体，进行局部最优搜索；

步骤10：判断是否达到最大迭代次数；如果是，则直接进入下一步骤；反之，则根据公式更新天牛搜索步长，然后返回到步骤6；

步骤11：输出全局最优位置，得到训练好后的模型。

2.根据权利要求1所述的基于改进天牛须算法和蝙蝠算法融合的神经网络优化方法，其特征在于：所述步骤7中，所述步长因子原定义为：

step^t+1＝step^t×δ

其中，δ代表步长因子，取值范围为0＜δ＜1。

3.根据权利要求1所述的基于改进天牛须算法和蝙蝠算法融合的神经网络优化方法，其特征在于：所述步骤9中，比较蝙蝠个体位置优劣和响度大小以更新位置和新解，将该结果和算法步骤8中的新位置和最优值进行比较，并使用BAS算法进行全局最优搜索，使天牛个体向最佳位置移动。

4.根据权利要求1所述的基于改进天牛须算法和蝙蝠算法融合的神经网络优化方法，其特征在于：所述步骤9中，生成随机数R₁，脉冲频率r_i,若R₁＜r_i，选择接受新解，否则蝙蝠随机飞行产生新的解，产生新解公式如下：

x^new＝x*+ωA^t

其中x^new表示新解，ω∈[-1,1]，服从均匀分布，A^t是t时刻所有蝙蝠的平均响度；

生成随机数R₂，响度R₂，若R₂＜A_i且新解更优，则选择接受新解，调整r_i、A_i大小，否则转向步骤4中，更新种群最优速度和位置，A_i、r_i调整公式如下：

r_i ^t+1＝r_i ⁰[1-exp(-γt)]

其中，ε,γ为常数，0＜ε＜1,γ＞0。

Images