CN116128071A - 一种基于改进非洲秃鹫算法的svr模型超参数优选方法 - Google Patents

Abstract

本发明属于机器学习模型优化技术领域，具体地说，是一种基于改进非洲秃鹫算法的SVR模型超参数优选方法，引入Circle混沌映射融合反向学习策略初始化种群，增加了种群多样性；依据余弦函数的数学特点并融入到秃鹫个体饥饿速率更新公式中，改善了算法的全局搜索能力和局部开发能力之间的平衡程度；在非洲秃鹫个体执行全局搜索过程中融入具有强大全局搜索能力的改进正弦余弦算法，使得算法的全局搜索能力大幅度提升，避免了算法陷入局部最优，提升了算法的求解精度。与原始算法相比，改进算法具有更高的求解精度与收敛速度、更强的鲁棒性。利用改进算法得到的SVR模型超参数取值更为精确，显著改善了SVR模型的预测精度与时间损耗。

Description

一种基于改进非洲秃鹫算法的SVR模型超参数优选方法

技术领域

本发明属于机器学习模型优化技术领域，具体地说，是一种基于改进非洲秃鹫算法的SVR模型超参数优选方法。

背景技术

高频地波雷达(High Frequency Surface Wave Radar,HFSWR)利用高频段(3-30MHz)垂直极化电磁波能够突破地球曲率的限制，进而可沿海面绕射传播且传播损耗小的特点，实现对海面上的舰船目标及低空飞行目标进行超视距实时探测。在高频地波雷达系统中，待接收的目标信号主要受到射频干扰、海杂波、电离层杂波等的影响。其中，相比于其他干扰和杂波，电离层杂波的覆盖范围更广、特性也更加复杂，严重时可将高频地波雷达探测距离限制在90km以内。同时，鉴于我国独特复杂的电离层结构分布及物理特性，使得电离层杂波对高频地波雷达性能的影响尤为严重。因此，如何有效的减缓电离层杂波对HFSWR的影响，是HFSWR对海探测的重要研究内容。随着对电离层杂波研究的深入，Lyu等人首次证明了高频地波雷达接收到的电离层杂波具有混沌特性，为此可将混沌时间序列预测模型引入电离层杂波的抑制中，通过构建电离层杂波预测模型，将预测输出的电离层杂波序列与实际接收到的电离层杂波数据执行相消处理，可达到减缓电离层杂波对HFSWR探测性能影响的目的。

支持向量回归(Support Vector Regression,SVR)，作为一种基于统计学习理论的典型机器学习方法，其学习过程遵从结构风险最小化准则，相比于基于经验风险最小化准则的人工神经网络，具有较高的预测精度，已广泛用于金融序列、电力负荷预测等多个领域。鉴于SVR模型强大的预测性能，将其用于学习电离层杂波内在的动力学特性，搭建电离层杂波的预测模型，从而提升HFSWR的探测性能。SVR模型的预测性能主要依赖不敏感系数、惩罚因子、核函数参数三个超参数的取值，如若选取不当，则会严重制约其预测性能。为此，引入一种元启发式优化算法-非洲秃鹫优化算法，用于对SVR模型中的超参数选取最优值，进而提升SVR模型的预测精度、缩短时间损耗。

非洲秃鹫优化算法(African Vulture Optimization Algorithm,AVOA)，是由Abdollahzadeh等人于2021年提出的一种基于群体行为的元启发式优化算法。此算法通过模仿生活在非洲的秃鹫其觅食及互相抢夺食物的行为，从而应用到优化问题的求解中。生活在非洲的秃鹫，可依据身体特征，大致划分为三类：最优秃鹫种群α、次优秃鹫种群β和较弱秃鹫种群λ。在秃鹫的觅食过程中，秃鹫α、β获得食物的机会要强于第三类秃鹫λ。秃鹫种群的觅食策略是朝向已经发现食物的秃鹫飞行，以此来获取食物。鉴于此，开发出的AVOA寻优过程可划分为四个阶段：选择最优秃鹫和次优秃鹫阶段、秃鹫个体饥饿速率计算阶段、全局搜索阶段和局部开发阶段。在AVOA寻优过程中，将种群中秃鹫个体的饥饿速率取值作为调节因子，来控制算法在全局搜索和局部开发间转换。此外，开发者在全局搜索和局部开发阶段，分别提出了多样简单的解更新策略，经工程优化问题验证，证实了策略的可行性，进而得出了AVOA具有寻优能力强、可调参数少、原理通俗易懂等特点。采用AVOA来优化SVR模型中的超参数，可大幅度提升SVR模型的预测性能。

AVOA，虽然具有较强的寻优能力，但与其他元启发式算法类似，算法本身仍存在一定的缺陷。首先，关于AVOA的初始化策略，对于任何一种元启发式算法而言，寻优过程都是从初始化种群开始执行最优解的求取，而由于没有足够的先验知识，需要初始的种群个体尽可能的均匀分布在搜索空间中，以此提升算法的寻优精度和收敛速度。在AVOA中，采用随机生成一组初始种群的策略作为整个算法的开端，而随机生成的解在搜索空间中难以实现均匀分布，使得初始种群的多样性较低，从而影响算法的寻优精度与收敛速度；其次，参数F作为调节因子，具有平衡算法的全局搜索和局部开发的能力，其值随着迭代次数的增加逐渐减小。在迭代前期，为保证算法尽可能的大范围搜索，应缓慢减小，而在迭代后期，为提升算法的收敛速度，应快速减小，而在AVOA中，参数F的取值近似呈线性减少，与实际算法寻优过程不符，从而导致算法的全局搜索与局部开发失衡；最后，在AVOA的全局搜索阶段，仅利用当前迭代中最优秃鹫个体或次优秃鹫个体与当前秃鹫个体的位置信息来执行最优解的搜寻，容易造成种群的搜索范围受限于小范围内，而若最优解不包含在此区域，从而造成算法出现停滞现象，进而影响解的质量。

发明内容

针对AVOA不能较好的维持全局搜索和局部开发间的平衡、易陷入局部最优等缺陷，本发明提出一种基于改进非洲秃鹫算法的SVR模型超参数优选方法，提升算法全局搜索和局部开发协调的同时，也进一步的提升了算法的全局搜索能力，避免算法陷入局部最优。

本发明为实现上述目的，采用以下技术方案：

一种基于改进非洲秃鹫算法的SVR模型超参数优选方法，包括以下步骤：

步骤1：确定SVR模型的输入、输出节点个数，并根据任务需求选择合适的核函数，构建SVR模型；

步骤2：将SVR中的不敏感系数、惩罚因子、核函数参数三个超参数，编码映射成非洲秃鹫个体的位置；

步骤3：设置种群规模，利用Circle混沌映射融合反向学习策略初始化种群位置；

步骤4：通过训练样本集来训练SVR，将SVR模型的输出值与真实值间的均方误差作为非洲秃鹫算法的适应度函数；

步骤5：计算每个非洲秃鹫个体的适应度值，并按升序排序选出最优秃鹫和次优秃鹫；

步骤6：计算非洲秃鹫个体的饥饿速率F；

步骤7：将计算得到的非洲秃鹫个体的饥饿速率F取绝对值，根据|F|是否大于1，控制算法执行全局搜索或者局部开发，同时更新非洲秃鹫个体在搜索空间中的位置；

步骤8：判断是否达到预设的最大迭代次数，若达到，则终止算法寻优过程，返回最优秃鹫个体的位置，并还原成SVR中对应的三个超参数，反之，重复执行步骤4-步骤7。

本发明的进一步改进，步骤3中对种群初始化策略进行改进，提出Circle混沌映射融合反向学习策略，用以下函数来描述：

X_i,j＝lb_i,j+(ub_i,j-lb_i,j)x_i,j

OX_i,j＝ub_i,j+lb_i,j-X_i,j

其中，

X_i,j为第i个非洲秃鹫个体的第j维编码值，ub_i,j和lb_i,j分别为X_i,j的搜索上界和下界，OX_i,j为X_i,j反向个体，将OX与X种群合并，并计算每个个体的适应度值，按升序排序，选取其中适应度值较好的前N个个体作为非洲秃鹫种群的初始位置。

本发明的进一步改进，步骤4中每个非洲秃鹫个体的适应度值用以下函数得到：

式中，L为训练样本数，y^act和y^pre分别为采集到的真实值和SVR模型输出的预测值。

本发明的进一步改进，步骤6中非洲秃鹫个体的饥饿速率F，起着协调算法全局搜索和局部开发的作用，提出了利用余弦函数的数学特性对F更新公式进行改进，使得F在迭代前期下降缓慢而在迭代后期急剧下降，F随迭代次数变化过程，用以下函数描述：

F＝(2×rand+1)×z×cos(π/2×(t/T)³)+u

u＝h×(sin^2.5(πt/2T)+cos(πt/2T)-1)

其中，z∈(-1,1)，h∈(-2,2)，t为当前迭代次数，T为预设的最大迭代次数。

本发明的进一步改进，步骤6中非洲秃鹫个体的饥饿速率F，起着算法中全局搜索阶段与局部开发阶段的协调作用，当|F|≥1时，算法进入全局搜索阶段，反之，算法进入局部开发阶段。基于余弦函数的特性对F更新公式进行改进，可促使|F|在迭代前期，其值缓慢减小且大于1，改善算法的全局搜索能力，而在迭代后期，其值急剧较小，改善算法的局部开发能力，从而加快算法的收敛速度。综上所述，改进后的更新策略，可以较好的维持算法全局搜索与局部开发间的均衡，同时，也提升了算法的鲁棒性。

本发明的进一步改进，步骤7中算法执行全局搜索策略，融入改进的正弦余弦算法(Improved Sine CosineAlgorithm,ISCA)，利用ISCA具有较强的全局搜索能力，改善了原始非洲秃鹫算法的全局搜索能力。融入ISCA策略，秃鹫位置更新公式如下所示：

其中，

r₂∈[0,2π]，r₃＝2cos(π/2×(t/T)²)，P₁为一固定常数，用来控制算法进入全局搜索阶段非洲秃鹫个体的位置更新策略，X_{best_i}为当前种群中的最优秃鹫个体或者次优秃鹫个体，d(i)＝|2×rand×X_{best_i}-X_i|为当前秃鹫个体与最优或次优秃鹫个体间的距离。

本发明的有益效果：本发明采用改进后的非洲秃鹫算法对SVR模型中的超参数进行优选，相比于使用原始非洲秃鹫算法，利用构建的SVR模型对电离层杂波序列进行预测，不论是预测精度还是时间损耗，都得到了大幅度的改善。本发明采用的改进的非洲秃鹫算法，相比于改进前，其求解精度与收敛速度得到了显著改善，产生这一效果的原因得益于：其一、在原始非洲秃鹫优化算法的种群初始化阶段，提出采用Circle混沌映射融合反向学习策略，使得初始种群在整个搜索空间内均匀分布，增强了种群的多样性，为后续算法执行全局搜索奠定基础；其二、在调节因子F的更新公式中融入了余弦函数，进而利用余弦函数的数学特点，增强了AVOA的在全局搜索与局部开发间的协调能力，改善了求解精度；其三、在算法的全局搜索阶段，将正弦余弦算法融入到秃鹫个体的寻优策略中并对其参数进行了改进，利用改进的正弦余弦算法具有较强的全局搜索能力，改善了AVOA的全局搜索能力，增强了算法跳出局部最优的能力。

附图说明

图1为本发明的整体流程图。

具体实施方式

为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。

本发明公开了一种基于改进非洲秃鹫算法的SVR模型超参数优选方法，以SVR模型对电离层杂波序列进行训练和预测进行示例性说明，图1给出了实施该示例的具体步骤：

步骤1：构建SVR模型。SVR模型由输入层、核函数、输出层构成。关于SVR模型的输入层及输出层的节点个数的确定，可利用相空间重构技术对电离层杂波序列进行相空间重构，根据相空间重构结果从而确定出输入、输出节点个数；关于核函数的选取，鉴于径向基函数(Radial Basis Function,RBF)强大的非线性映射能力，本示例中选用RBF作为核函数，其公式如下：

k(x_i,x_j)＝exp(-γ||x_i-x_j||²)

其中，γ为核函数参数。

步骤2：将SVR中的不敏感系数、惩罚因子、核函数参数三个超参数，编码映射成非洲秃鹫个体的位置。本示例中包括不敏感系数、惩罚因子、核函数参数三个决策变量，对应的，每个非洲秃鹫个体的维度为3，也即每个个体的位置与上述提及的决策变量取值一一对应。

步骤3：设置种群规模，利用Circle混沌映射融合反向学习策略初始化种群位置。本示例中，关于不敏系数的取值设置在[0.00001,0.05]内；关于惩罚因子的取值设置在[1,50]内；关于核函数参数的取值设置在[0.01,0.25]内。本发明对原始非洲秃鹫种群初始化策略进行了改进，提出的Circle混沌映射融合反向学习策略，用函数描述如下：

X_i,j＝lb_i,j+(ub_i,j-lb_i,j)x_i,j

OX_i,j＝ub_i,j+lb_i,j-X_i,j

其中，

X_i,j为第i个非洲秃鹫个体的第j维编码值，ub_i,j和lb_i,j分别为X_i,j的搜索上界和下界，也即对应着决策变量取值范围的上下限，OX_i,j为X_i,j反向个体，将OX与X种群合并，并计算每个个体的适应度值，按升序排序，选取其中适应度值较好的前N个个体作为非洲秃鹫种群的初始位置。

步骤4：通过训练样本集来训练SVR，将SVR模型的输出值与真实值间的均方误差作为非洲秃鹫算法的适应度函数，其每个非洲秃鹫个体的适应度值用以下函数得到：

式中，L为训练样本数，y^act和y^pre分别为采集到的真实值和SVR模型输出的预测值。

步骤5：依据非洲秃鹫个体的适应度值，选出最优秃鹫个体和次优个体。

步骤6：非洲秃鹫个体的饥饿速率F起着协调算法全局搜索和局部开发的作用。当|F|≥1时，算法进入全局搜索阶段，反之，算法进入局部开发阶段。在算法迭代前期，应尽可能使得|F|缓慢较小，使得算法在搜索空间内执行充分搜索，避免算法获得局部最优值，而在迭代后期，应快速减小，使得算法快速收敛到全局最优值。本发明提出了利用余弦函数的数学特性对F更新公式进行改进，用下面的函数描述：

F＝(2×rand+1)×z×cos(π/2×(t/T)³)+u

u＝h×(sin^2.5(πt/2T)+cos(πt/2T)-1)

其中，z∈(-1,1)，h∈(-2,2)，t为当前迭代次数，T为预设的最大迭代次数。

步骤7：通过|F|是否大于1来控制算法执行全局搜索或是局部开发，同时更新各个非洲秃鹫个体在搜索空间中的位置。

本发明的全局搜索阶段：

本发明中融入了正弦余弦算法并对其进行了改进，利用其较强的全局搜索能力，改善了原始非洲秃鹫算法的全局搜索能力，更新公式如下：

其中，

r₂∈[0,2π]，r₃＝2cos(π/2×(t/T)²)，P₁为一固定常数0.6，用来控制算法进入全局搜索阶段非洲秃鹫个体的位置更新策略，X_{best_i}为当前种群中的最优秃鹫个体或者次优秃鹫个体，d(i)＝|2×rand×X_{best_i}-X_i|为当前秃鹫个体与最优或次优秃鹫个体间的距离。

本发明局部开发阶段：

当0.5≤|F|＜1且rand_p2≤P₂时，算法执行包围策略：

当0.5≤|F|＜1且rand_p2＞P₂时，算法执行旋转飞行策略：

当0≤|F|＜0.5且rand_p3≤P₃时，算法执行集中策略：

当0≤|F|＜0.5且rand_p3＞P₃时，算法执行激烈争夺策略：

其中，P₂和P₃分别为取0.4、0.6，

代表当前迭代中种群中的最优秃鹫个体，

代表次优秃鹫个体，levy即莱维飞行，一种随机步长调节因子。

步骤8：判断是否达到预设的最大迭代次数T，若达到，则终止算法寻优过程，返回最优秃鹫个体的位置，并将其依次还原成SVR模型的三个超参数值，实现SVR模型超参数的优选，反之，跳转到步骤4，重复上述步骤，直至达到终止迭代条件。

以上所述为本发明的示例性实施例，并非因此限制本发明专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于改进非洲秃鹫算法的SVR模型超参数优选方法，其特征在于，包括以下步骤：

步骤1：确定SVR模型的输入、输出节点个数，并根据任务需求选择合适的核函数，构建SVR模型；

步骤2：将SVR中的不敏感系数、惩罚因子、核函数参数三个超参数，编码映射成非洲秃鹫个体的位置；

步骤3：设置种群规模，利用Circle混沌映射融合反向学习策略初始化种群位置；

步骤4：通过训练样本集来训练SVR，将SVR模型的输出值与真实值间的均方误差作为非洲秃鹫算法的适应度函数；

步骤5：计算每个非洲秃鹫个体的适应度值，并按升序排序选出最优秃鹫和次优秃鹫；

步骤6：计算非洲秃鹫个体的饥饿速率F；

步骤7：将计算得到的非洲秃鹫个体的饥饿速率F取绝对值，根据|F|是否大于1，控制算法执行全局搜索或者局部开发，同时更新非洲秃鹫个体在搜索空间中的位置；

步骤8：判断是否达到预设的最大迭代次数，若达到，则终止算法寻优过程，返回最优秃鹫个体的位置，并还原成SVR中对应的三个超参数，反之，重复执行步骤4-步骤7。

2.根据权利要求1所述的基于改进非洲秃鹫算法的SVR模型超参数优选方法，其特征在于，所述步骤3中对种群初始化策略进行改进，提出Circle混沌映射融合反向学习策略。

3.根据权利要求2所述的基于改进非洲秃鹫算法的SVR模型超参数优选方法，其特征在于，Circle混沌映射融合反向学习策略，用以下函数来描述：

X_i,j＝lb_i,j+(ub_i,j-lb_i,j)x_i,j (2)

OX_i,j＝ub_i,j+lb_i,j-X_i,j (3)

其中，

X_i,j为第i个非洲秃鹫个体的第j维编码值，ub_i,j和lb_i,j分别为X_i,j的搜索上界和下界，OX_i,j为X_i,j反向个体，将OX与X种群合并，并计算每个个体的适应度值，按升序排序，选取其中适应度值较好的前N个个体作为非洲秃鹫种群的初始位置。

4.根据权利要求1所述的基于改进非洲秃鹫算法的SVR模型超参数优选方法，其特征在于，所述步骤4中每个非洲秃鹫个体的适应度值用以下函数得到：

式中，L为训练样本数，y^act和y^pre分别为采集到的真实值和SVR模型输出的预测值。

5.根据权利要求1所述的基于改进非洲秃鹫算法的SVR模型超参数优选方法，其特征在于，所述步骤6中非洲秃鹫个体的饥饿速率F，起着协调算法全局搜索和局部开发的作用，利用余弦函数的数学特性对F更新公式进行改进，使得F在迭代前期下降缓慢而在迭代后期急剧下降。

6.根据权利要求5所述的基于改进非洲秃鹫算法的SVR模型超参数优选方法，其特征在于，所述步骤6中F随迭代次数变化过程，用以下函数描述：

F＝(2×rand+1)×z×cos(π/2×(t/T)³)+u (5)

u＝h×(sin^2.5(πt/2T)+cos(πt/2T)-1) (6)

其中，z∈(-1,1)，h∈(-2,2)，t为当前迭代次数，T为预设的最大迭代次数。

7.根据权利要求1所述的改进非洲秃鹫算法的SVR模型超参数优选方法，其特征在于，所述步骤7中算法执行全局搜索策略，融入正弦余弦算法并对其相关参数进行了改进，利用改进SCA具有较强的全局搜索能力，改善了原始非洲秃鹫算法的全局搜索能力，融入改进的SCA策略。

8.根据权利要求7所述的改进非洲秃鹫算法的SVR模型超参数优选方法，其特征在于，所述步骤7中秃鹫位置更新公式如下所示：

其中，

r₂∈[0,2π]，r₃＝2cos(π/2×(t/T)²)，P₁为一固定常数，用来控制算法进入全局搜索阶段非洲秃鹫个体的位置更新策略，式(7)、式(8)分别为非洲秃鹫算法全局阶段的两种更新策略，X_{best_i}为当前种群中的最优秃鹫个体或者次优秃鹫个体，d(i)＝|2×rand×X_{best_i}-X_i|为当前秃鹫个体与最优或次优秃鹫个体间的距离。

Images