CN112329934A - 一种基于改进麻雀搜索算法的rbf神经网络优化算法 - Google Patents

Abstract

本发明提出一种基于改进麻雀搜索算法的RBF神经网络优化方法,通过改进的麻雀搜索算法来优化RBF初始参数，以此来进一步提高海杂波预测精度，进而达到抑制的目的。本发明引入精英反向学习策略，选取当前最优解作为精英个体并生成其反向解，来增强算法的全局搜索能力。采用自适应高斯变异对最优解进行变异并进行贪婪选择，另外，针对麻雀侦查预警的位置更新方式也进行了改进。促使种群向最优解方向进化，在一定程度上避免了麻雀搜索算法中麻雀在向适应度小的趋同过程中，容易陷入局部最优问题。改进的麻雀搜索算法跳出局部最优的能力得到加强，用其进行优化的RBF网络收敛速度和精度也进一步提高。

Description

一种基于改进麻雀搜索算法的RBF神经网络优化算法

技术领域

本发明属于神经网络优化技术领域，具体地说，是一种基于改进麻雀搜索算法的RBF神经网络优化方法。

背景技术

高频地波雷达(HF Surface Wave Radar)作为一种新兴的海面探测雷达，因具有探测距离远、全天候、实时准确探测等优点被广泛应用于海面移动目标探测与跟踪。但在高频地波雷达对海面目标进行探测时，海杂波掺杂在雷达回波中，构成对目标检测的主要干扰。因此降低海杂波对检测目标的干扰，对海面雷达目标检测来说是重要的前提。

最初的研究中，海杂波被假设为平稳的随机过程，建立成如对数正态分布、韦伯分布、复合K分布等统计分布的随机过程模型。但是这些线性建模难以契合的描述海杂波的内在特性，不具有普适性。随着海杂波研究的进一步深入，发现海杂波并不完全是随机信号，其具有许多混沌的典型特征。因此，学者自然地将研究目标从海杂波统计特性研究转向海杂波混沌特性研究。通过学习海杂波混沌动力学特性，建立混沌动力学模型，就可能实现海杂波的准确预测。由于神经网络具有较强的学习和非线性逼近能力，利用神经网络学习和建立海杂波的混沌模型来进行海杂波的预测是可行并且有实际意义的。又因RBF可以逼近任意非线性函数，选用其来学习海杂波内在特性并建立海杂波预测模型。网络初始参数的选取极大影响网络收敛速度和精度，因此引入麻雀搜索算法来对RBF初始参数优化，来寻找到最优的参数进行初始化，提高海杂波预测模型的精度和收敛速度。

麻雀搜索算法(sparrow search optimization,SSA)是从麻雀觅食和逃避捕食的自然活动衍生出的智能优化算法。麻雀按比例将种群分成发现者和跟随者来进行觅食，同时还叠加了危险预警机制进行反捕食。麻雀中发现者负责种群发现食物的职责并为跟随者提供觅食的方向，选取一定比例麻雀作为侦查者发现危险后则放弃食物。每只麻雀通过位置和适应度值来表示自身属性，计算每个个体的适应度值并排序，随着迭代次数的增加，不断更新发现者、加入者、侦查者的位置，整个种群不断靠近最优解，即最佳的食物的位置。SSA因寻优能力强，收敛速度快，稳定性好已被应用于许多实际工程领域，利用其优化RBF神经网络可以改善网络收敛速度和精度不高的问题。

SSA算法虽然在一定程度上可以优化RBF神经网络，但是它与其他的智能优化算法存在共同的问题，即当麻雀都在向全局最优的位置靠近的过程中，所有麻雀个体最后在较小的范围内太过于聚集，种群的多样性降低，易于陷入局部最优，出现“早熟”的现象。其次，麻雀搜索算法侦查预警位置更新，是通过判别麻雀是否处在最优位置来决定麻雀移动的新位置。如果麻雀处于当前的最优位置上，麻雀逃离到自身当前位置附近。而如果位于种群的边缘位置的麻雀意识到危险，它将直接逃到当前最优位置附近。这种向最优位置跳跃的更新方式，会使麻雀在向当前最优值移动的过程中不能充分搜索其他可能的最优解，最后聚集性太强跳不出局部最优。

发明内容

针对SSA易陷入局部最优的缺陷，本发明提出一种基于自适应高斯变异的精英反向学习麻雀搜索优化方法，并针对麻雀侦查预警的位置更新方式进行改进。充分平衡全局搜索和局部搜索的能力，丰富了种群的多样性，同时也减少因陷入局部最优而导致的搜索停滞无法收敛到最优解的可能性。因此，将改进的SSA应用于RBF神经网络的优化是可行且必要的。

本发明为实现上述目的，采用以下技术方案：

一种基于改进麻雀搜索算法的RBF神经网络优化方法，包括以下步骤：

步骤1：搭建RBF神经网络，确定输入n、输出m和隐含层节点数h，得到RBF神经网络结构为n-h-m；

步骤2：将RBF网络中数据中心σ_h和数据宽度c_h隐含层到输出层的连接权重ω这三个参数编码得到麻雀的位置矢量；

步骤3：种群初始化；

步骤4：RBF神经网络训练，选取N组训练数据的训练误差作为麻雀搜索算法的适应度函数来计算每个麻雀个体的适应度值；

步骤5：精英反向学习策略，生成精英粒子的反向解，将生成反向种群与当前种群合并，从合并的种群中根据适应度值选出较好的k个个体作为下一代种群；

步骤6：更新发现者、加入者、侦查者的位置；

步骤7：对当前最优解以一定概率P_m进行自适应高斯变异并进行贪婪选择，若变异后个体的适应度值小于变异前，则接受变异。

步骤8：判断是否达到最大迭代次数，如果已经达到则将当前最佳位置还原成RBF神经网络的对应初始参数，否则返回步骤4。

具体地，步骤4中每个麻雀的适应度值用以下函数计算：

其中，训练样本数为N，y_pred表示网络的预测值，y表示数据的观测样本值。

具体地，步骤5中精英个体为：

精英反向解为：

计算公式如下：

其中

lb_j＝min(X_i,j),ub_j＝max(X_i,j)，[lb_j,ub_j]为j维搜索空间上的动态边界，k∈U(0,1)。若反向解超出边界成为不可行解，则采用随机生成的方式重置，公式如下所示：

具体地，步骤6对侦察者位置更新公式做出改进：

其中

和

分别是目前的最佳和最差位置，λ是正态分布的随机变量，控制麻雀进化的步长，同时也表示麻雀移动的方向。当麻雀发现危险时，位于种群边缘的麻雀就会逃到自身当前位置和最优位置中间的随机位置上；而如果位于最优位置的麻雀发出预警，它就会逃到最优和最差位置之间的随机位置上。

具体地，步骤7自适应变异概率P_m动态变化用如下公式描述：

其中t_s是最优位置没有变化的迭代次数，P_m∈[0,0.9]，当3＜t_s＜t_maxiter时，自适应概率迅速增长，当下一代最优值出现变化即t_s＝0时，将自适应概率重新设置为当前迭代的变异概率P。变异概率P为：

其中D表示麻雀个体的维数。计算前后两代最优解之间的差值以判断最优解随着迭代次数增加有无变化。通过如下公式进行判断：

其中，Xbest_t和Xbest_t-1分别是表示前后两代的最优值，一旦差值为零，t_s就增加1，否则t_s等于零。当t_s逐渐增加也就是说最优位置连续多代没有变化，说明算法已跳不出局部最优，可以通过自适应高斯变异增加种群的多样性，让种群向全局最优方向进化。

具体地，步骤7中高斯变异公式如下所示：

X_mutate(t+1)＝X_best(t)(1+Gauss(σ))，

X_mutate(t+1)表示高斯变异后的个体，Gauss(σ)为高斯随机变量。对变异个体进行贪婪选择

其中X_best(t+1)为全局最优解，X_mutate(t+1)为变异的个体，rand为[0,1]之间的随机数，当rand＜p_m且变异后的适应度值小于当前的最优值时，将高斯变异后个体作为全局最优解，否则保持当前最优解不变。

本发明采用以上技术方案，与现有技术相比的有益效果是：

1、取代传统的聚类算法采用麻雀搜索算法初始化RBF的初始参数，在对高维的训练数据处理上有较好的效果，提高了RBF神经网络的精度和收敛速度。

2、针对麻雀搜索算法易陷入局部最优问题，引入了精英反向学习并提出自适应高斯变异并进行贪婪选择，丰富了种群多样性，使种群向最优解方向进化，有效降低陷入局部最优的可能性，提高算法寻优效果。

3、麻雀搜索算法发生侦查预警行为时，麻雀直接通过向最优位置跳跃来进行位置更新，这种更新方式限制了算法的寻优能力，因此本发明对侦查预警位置更新公式进行了改进，加强了全局搜索能力，提高了算法求解精度。

附图说明

图1为本发明的流程图。

具体实施方式

为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。

实施例公开了一种基于改进麻雀搜索算法的RBF神经网络优化方法，以RBF训练海杂波预测模型进行示例性说明，图1给出了该实施例的具体步骤：

步骤1：搭建RBF神经网络，确定RBF神经网络结构为n-h-m。RBF的输入和输出由重构的海杂波数据来决定，隐含层数通常用聚类算法得到的簇的个数来确定，但要处理的重构海杂波数据是高维数据，若聚类算法无法进行合理聚类，也可依据经验人为设定RBF隐含层节点数。

步骤2：将RBF网络中数据中心σ_h和数据宽度c_h隐含层到输出层的连接权重ω这三个参数编码得到麻雀的位置矢量；本质上麻雀搜索算法对RBF进行优化，其实就是对初始参数进行优化，而麻雀的位置参数是初始参数编码得到的，因此麻雀的维数就是要优化的初始参数的总和。RBF神经网络将高斯核函数作为激活函数，高斯核函数表达式如下：

其中隐层的维度就是输入数据的个数，则隐层空间数是中心的维度乘上中心的数目。隐层宽度参数数目和隐层中心个数相同。连接权重数则是隐层中心个数乘上输出层节点数。以海杂波预测模型为示例，从网络结构可以看出，输出节点数为1，设置了隐层数为h，那么σ_h和w_h便都是h维，而数据中心就有h*n维，因此麻雀种群中每个麻雀个体都要携带h*2+h*n个维度。

步骤3：种群初始化，首先初始化预警值和安全阈值及发现者、加入者、侦察者在种群中所占比例。针对RBF初始参数所对应的位置参数要分情况初始化，数据中心和数据宽度所映射的位置参数在(0,1)随机初始化，而隐含层和输出层之间的连接权重映射的位置参数为(-1,1)之间。

步骤4：RBF神经网络训练，选取N组训练数据的训练误差作为麻雀搜索算法的适应度函数来计算每个麻雀个体的适应度值，适应度函数如下：

其中，训练样本数为N，y_pred表示网络的预测值，y表示数据的观测样本值。

步骤5：精英反向学习是因精英粒子比普通粒子的的反向解具有更大的概率接近全局最优解而被提出，已经被运用到其他优化算法的改进中均取得不错的寻优效果，故将精英反向学习策略引入到麻雀搜索算法来对其进行改进。该策略生成精英粒子的反向解，将生成反向种群与当前种群合并，从合并的种群中根据适应度值选出较好的k个个体作为下一代种群，丰富了种群的多样性，对全局搜索能力的提高也大有裨益。

精英个体为

精英反向解为

其计算公式如下：

其中

lb_j＝min(X_i,j),ub_j＝max(X_i,j)，[lb_j,ub_j]为j维搜索空间上的动态边界，k∈U(0,1)。若反向解超出边界成为不可行解，则采用随机生成的方式重置，公式如下所示：

步骤6：更新发现者、加入者、侦查者的位置，位置更新的公式如下式：

发现者位置：

其中，

为发现者的位置，α为(0,1]之间的随机数，Q是服从标准正态分布的随机数。L表示大小为1*d，内部元素均为1的矩阵，R₂和ST分别代表麻雀的预警值和安全阈值。

加入者位置：

其中，

表示加入者的位置矢量，其中

表示t+1次迭代的最优位置。

表示当前最差位置。A代表一个1×d的矩阵，矩阵中的每个元素随机分配1或1。

侦察者位置：

其中

和

分别是目前的最佳和最差位置，λ是正态分布的随机变量，控制麻雀进化的步长，同时也表示麻雀移动的方向。当麻雀发现危险时，位于种群边缘的麻雀就会逃到自身当前位置和最优位置中间的随机位置上；而如果位于最优位置的麻雀发出预警，它就会逃到最优和最差位置之间的随机位置上。

步骤7：对当前最优解以一定概率P_m进行自适应高斯变异并进行贪婪选择，若变异后个体的适应度值小于变异前，则接受变异。自适应变异概率P_m动态变化过程用如下公式描述：

其中t_s是最优位置没有变化的迭代次数，P_m∈[0,0.9]，当3＜t_s＜t_maxiter时，自适应概率迅速增长，当下一代最优值出现变化即t_s＝0时，将自适应概率重新设置为当前迭代的变异概率P。变异概率P为：

其中D表示麻雀个体的维数。计算前后两代最优解之间的差值以判断最优解随着迭代次数增加有无变化。通过如下公式进行判断：

其中，Xbest_t和Xbest_t-1分别是表示前后两代的最优值，一旦差值为零，t_s就增加1，否则t_s等于零。当t_s逐渐增加也就是说最优位置连续多代没有变化，说明算法已跳不出局部最优，可以通过自适应高斯变异增加种群的多样性，让种群向全局最优方向进化。

高斯变异公式如下所示：X_mutate(t+1)＝X_best(t)(1+Gauss(σ))，X_mutate(t+1)表示高斯变异后的个体，Gauss(σ)为高斯随机变量。对变异个体进行贪婪选择：

其中X_best(t+1)为全局最优解，X_mutate(t+1)为变异的个体，rand为[0,1]之间的随机数，当rand＜p_m且变异后的适应度值小于当前的最优值时，将高斯变异后个体作为全局最优解，否则保持当前最优解不变。自适应变异使种群向最优解方向进化，扩大搜索范围，也减少因陷入局部最优而导致的搜索停滞无法收敛到最优解的可能性。

步骤8：判断是否达到最大迭代次数，若没有达到，则继续迭代更新，否则将当前最佳位置还原成RBF神经网络的对应初始参数，完成RBF初始参数的优化。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于改进麻雀搜索算法的RBF神经网络优化方法，其特征在于，包括以下步骤：

步骤1：搭建RBF神经网络，确定输入n、输出m和隐含层节点数h，得到RBF神经网络结构为n-h-m；

步骤2：将RBF网络中数据中心σ_h和数据宽度c_h隐含层到输出层的连接权重ω这三个参数编码得到麻雀的位置矢量；

步骤3：种群初始化；

步骤4：RBF神经网络训练，选取N组训练数据的训练误差作为麻雀搜索算法的适应度函数来计算每个麻雀个体的适应度值；

步骤5：精英反向学习策略，生成精英粒子的反向解，将生成反向种群与当前种群合并，从合并的种群中根据适应度值选出较好的k个个体作为下一代种群；

步骤6：更新发现者、加入者、侦查者的位置；

步骤7：对当前最优解以一定概率P_m进行自适应高斯变异并进行贪婪选择，若变异后个体的适应度值小于变异前，则接受变异。

步骤8：判断是否达到最大迭代次数，如果已经达到则将当前最佳位置还原成RBF神经网络的对应初始参数，否则返回步骤4。

2.根据权利要求1所述的改进麻雀搜索算法的RBF神经网络优化方法，其特征在于，所述步骤4中每个麻雀的适应度值用以下函数计算：

其中，训练样本数为N，表示网络的预测值，y表示数据的观测样本值。

3.根据权利要求1所述的改进麻雀搜索算法的RBF神经网络优化方法，其特征在于，所述步骤5精英反向解的更新公式由下式给出：

其中

lb_j＝min(X_i,j),ub_j＝max(X_i,j)，[lb_j,ub_j]为j维搜索空间上的动态边界，k∈U(0,1)；若反向解超出边界成为不可行解，则采用随机生成的方式重置，公式如下所示：

4.根据权利要求1所述的改进麻雀搜索算法的RBF神经网络优化方法，其特征在于，所述步骤6对侦察者位置更新公式做出改进：

其中

和

分别是目前的最佳和最差位置，λ是正态分布的随机变量，控制麻雀进化的步长，同时也表示麻雀移动的方向。

5.根据权利要求1所述的改进麻雀搜索算法的RBF神经网络优化方法，其特征在于，所述步骤7中自适应变异概率P_m动态变化用如下公式描述：

其中t_s是最优位置没有变化的迭代次数，P_m∈[0,0.9]，当3＜t_s＜t_maxiter时，自适应概率迅速增长，当下一代最优值出现变化即t_s＝0时，将自适应概率重新设置为当前迭代的变异概率P，变异概率P为：

其中D表示麻雀个体的维数，计算前后两代最优解之间的差值以判断最优解随着迭代次数增加有无变化，通过如下公式进行判断：

其中，Xbest_t和Xbest_t-1分别是表示前后两代的最优值，一旦差值为零，t_s就增加1，否则t_s等于零。

6.根据权利要求1所述的改进麻雀搜索算法的RBF神经网络优化方法，其特征在于，所述步骤7中的高斯变异公式如下所示：

X_mutate(t+1)＝X_best(t)(1+Gauss(σ)) (8)

式中X_mutate(t+1)表示高斯变异后的个体，Gauss(σ)为高斯随机变量。

7.根据权利要求6所述的改进麻雀搜索算法的RBF神经网络优化方法，其特征在于，所述步骤7中对变异个体进行贪婪选择:

其中X_best(t+1)为全局最优解，X_mutate(t+1)为变异的个体，rand为[0,1]之间的随机数，当rand＜p_m且变异后的适应度值小于当前的最优值时，将高斯变异后个体作为全局最优解，否则保持当前最优解不变。

Images