CN110991494A - 一种基于改进的飞蛾优化算法构建预测模型的方法 - Google Patents

Abstract

本发明提供一种基于改进的飞蛾优化算法构建预测模型的方法，包括获取样本数据并对所获取到的样本数据进行归一化处理；利用基于改进的飞蛾优化算法优化支持向量机的惩罚因子C和核宽γ；基于所获得的惩罚因子C和核宽γ，利用所归一化处理后的数据来构建预测模型，并基于所构建的预测模型对待分类样本进行分类和预测。实施本发明，通过基于改进的飞蛾优化算法来优化SVM的惩罚因子和核宽，可有效提升算法的收敛速度和收敛精度，提升算法逃脱局部最优解的能力，找到更优的全局近似最优解以获得分类精度更高的SVM模型。

Description

一种基于改进的飞蛾优化算法构建预测模型的方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于改进的飞蛾优化算法构 建预测模型的方法。

背景技术

众所周知，科学技术日益表现出交叉和渗透的特征，特别是计算机科学 技术改变了人类生产与生活方式。大数据应用的领域也越来越广，因此对大 数据的分类及预测等处理提出了新的挑战，尤其是元启发式优化算法用于大 数据的分类及预测中。

支持向量机(SVM)常用于构建预测模型来对数据进行分析，该支持向 量机(SVM)最常用的两种参数优化方法包括网格搜索和梯度下降。在第一 种参数优化方法中，网格搜索是一种穷举搜索方法，它一般是通过设置合理 的区间上下限和间隔步长对指定参数空间进行划分，然后对每个网格节点代 表的参数组合进行训练和预测，将这些预测结果中取值最高的一组参数作为 最终SVM模型的最佳参数。该方法虽然在一定程度上能保证得到给定参数 空间内最优的参数组合，然而随着参数空间增大，其搜索效率会大大降低， 特别是设置合理的区间和间隔步长值往往非常困难，从而大大降低了其可行 性，而且模型也非常容易陷入局部最优值；在第二种参数优化方法中，梯度 下降方法虽然能克服网格搜索方法的缺陷，但是它对初始值非常敏感，特别 是初始参数设置离最优解非常远的时候，模型很容易收敛到局部最优解。

近年来，由于元启发式的搜索算法凭借其独特的全局寻优能力而受到了 学术和工业界的广泛关注，它们被普遍认为比传统寻优方法具有更大的机会 找到全局最优解，因此提出多种基于元启发式算法的SVM训练算法来处理 参数优化问题。

SVM在具体应用时，其性能主要受包括线性核函数、多项式核函数、径 向基(RBF)核函数和sigmoid核函数等核函数影响，一般情况下选择基于 RBF核函数的SVM。RBF核SVM主要涉及两个重要的参数C和γ。C是惩 罚因子，它用于控制对错分样本惩罚的程度，起到控制训练误差和模型复杂 度之间平衡的作用；C值越小，则对数据中误判样本的惩罚也越小，使得训 练误差变大，因此结构风险也变大。相反，C值越大，对错分样本的约束程 度就越大，这样会导致模型虽然对训练数据的误判率很低，但整体的泛化能 力却很差，容易出现“过拟合”现象。参数γ代表RBF核函数中的核宽，它 决定了核函数的宽度，直接影响SVM的性能。如果γ取得不恰当，SVM很 难获得预期的学习效果。γ值太小会导致过拟合，γ值太大会使SVM的判 别函数过于平缓。所以惩罚因子C和核宽γ从不同的角度影响着SVM的分类超平面。在实际应用中，它们取值过大或过小都会使SVM的泛化性能变 差。

但是，采用现有的元启发式的搜索算法来处理SVM参数优化问题，还 有待进一步提升算法的收敛速度和收敛精度，提升算法逃脱局部最优解的能 力，从而找到更优的全局近似最优解。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于改进的飞蛾优化 算法构建预测模型的方法，来优化SVM的惩罚因子和核宽，有效提升算法 的收敛速度和收敛精度，提升算法逃脱局部最优解的能力，找到更优的全局 近似最优解以获得分类精度更高的SVM。

为了达到上述目的，本发明提供了一种基于改进的飞蛾优化算法构建预 测模型的方法，包括以下步骤：

步骤S1、取样本数据并对所获取到的样本数据进行归一化处理；

步骤S2、利用基于改进的飞蛾优化算法优化支持向量机的惩罚因子C和 核宽γ，具体为：

步骤S2.1、参数初始化；其中，初始化的参数至少包括：最大迭代次数 T、当前迭代次数l、飞蛾个数N、搜索空间上边界ub、搜索空间下边界lb、 最优火焰Fbest、C的搜索空间[Cmin，Cmax]和γ的搜索空间[γmin，γmax]；

步骤S2.2、根据公式(1)计算最优火焰个数FlameNo；

其中，N为最大飞蛾数量，l表示当前迭代次数，T则为最大迭代次数；

步骤S2.3、随机初始化N只飞蛾的位置，其中第i只飞蛾的位置为 M_i＝(M_i1，M_i2)，i＝1，2，...，N；M_i1表示飞蛾在当前位置时的惩罚因子C 值，M_i2表示飞蛾在当前位置时的核宽γ值；

步骤S2.4、判断是否为第一次迭代，若是则直接对每只飞蛾M_i均计算其 适应度f_i，否则先将最新的飞蛾位置M与历史最优飞蛾位置F合并,再计算其 适应度f_i，并将每只飞蛾i的适应度f_i由大到小排序，选取其中前N只飞蛾位 置作为历史最优位置F；

步骤S2.5、筛选出N只飞蛾中适应度大于最优火焰的适应度、且适应度 为最大的飞蛾，将最优火焰Fbest替换成当前所筛选出适应度最大的飞蛾， 且进一步将当前飞蛾位置赋值给最佳火焰位置Best_pos；

其中，每只飞蛾i的适应度f_i是基于飞蛾i当前位置的C和γ值，其根据 公式(2)以内部K折交叉验证策略计算出支持向量机的准确度ACC；

其中，acc_k表示每一折数据上计算获得的准确度；

步骤S2.6、根据公式(3)计算飞蛾到对应火焰的距离，根据公式(4)，重 新计算出每个飞蛾的新位置；

D_i＝|F_j-M_i| (3)

S(M_i，F_j)＝D_i·e^bt·cos(2πt)+F_j (4)

其中，D_i是第M_i只飞蛾到对应的火焰F_j的距离，b是定义对数螺线形状 的常数，t为[-1,1]范围内的随机数；

步骤S2.7、判断是否超过最大迭代次数T；若否，则跳转至步骤S2.4； 若是，则执行下一步骤S2.8；

步骤S2.8、输出最优火焰Fbest的位置Best_pos及其对应的适应度，即 最优的惩罚因子C和核宽γ值；

步骤S3、基于所获得的惩罚因子C和核宽γ值，利用所归一化处理后的 数据来构建下述公式(5)所示的预测模型，并基于所构建的预测模型对待分类 样本进行分类和预测；其中，K(x_i，x_j)采用公式(6)所示，x_j表示第j个归一 化处理后的样本数据；x_i(i＝1...l)表示训练样本；y_i(i＝1...l)表示训练样本对应 的标签，y_i＝1代表正类样本，y_i＝-1代表负类样本；b为阈值；α_i是拉格朗日 系数；

K(x_i,x_j)＝exp(-r||x_i-x_j||²) (6)。

进一步设置是所述的步骤S2.6进一步包括以下步骤：

引入正余弦机制，提高飞蛾搜索深度，扩大飞蛾位置更新范围，该步骤 具体包括：

步骤S2.6.1、计算正余弦机制中四个主要的调节参数r₁、r₂、r₃、r₄；根 据公式(7)计算调节参数r₁，r₂、r₃、r₄均是服从均匀分布的随机数， r₂∈[0，2π]，r₃∈[-2，2]，r₄∈[0，1]；

其中，a是一个常数，通常设置为2；l是当前迭代次数；T为最大迭代 次数；

步骤S2.6.2、根据公式(8)进一步更新飞蛾位置；

其中，l是当前迭代次数，

则是当前迭代次数下第i只飞蛾的最佳火焰 位置。

本发明的有益效果在于：

本发明在飞蛾优化算法(MFO)优化过程中的合适位置加入正余弦机制 来实现SVM的惩罚因子C和核宽γ编码为个体位置优化，并在优化过程中 采用K折交叉验证，防止飞蛾优化算法陷入局部极值，能够获取更高效精准 的智能模型，不仅增加种群多样性，增强算法的搜索能力，还能防止算法陷 入局部最优，快速找到全局最优解，从而能得到更准确的预测效果并更有效 地辅助决策者进行科学合理的决策。

附图说明

图1为本发明实施例提供的基于改进的飞蛾优化算法构建预测模型的方 法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发 明作进一步地详细描述。

如图1所示，一种基于改进的飞蛾优化算法构建预测模型的方法，包括 以下步骤：

步骤S1、取样本数据并对所获取到的样本数据进行归一化处理；

具体过程为，样本数据来源于多种不同领域，可根据实际需要进行设计， 如医疗领域、金融领域等，数据属性类别分为数据属性和类别属性。如针对 乳腺癌疾病的数据单个样本属性，该数据属性值分为两大类即数据属性 X₁-X₉表示了针对乳腺癌疾病的相关医学病理方面的属性，X₁₀表示了该数据 样本的类别：即是否患乳腺癌疾病，若样本患病：值为1；若样本健康：值 为-1；又如，针对企业破产风险预测数据单个样本属性分布，会有X₁-X_n个这样的相关金融指标如负债率、资产总额等属性指标，则X_n+1也是类别标签： 即该企业在两年内是否有破产风险的存在，若有破产风险标签为1，没有破 产风险标签为-1。

为了便于数据处理，会对所获取到的样本数据进行归一化处理。

步骤S2、利用基于改进的飞蛾优化算法优化支持向量机的惩罚因子C和 核宽γ，具体为：

步骤S2.1、参数初始化；其中，初始化的参数至少包括：最大迭代次数 T、当前迭代次数l、飞蛾个数N、搜索空间上边界ub、搜索空间下边界lb、 最优火焰Fbest、C的搜索空间[Cmin，Cmax]和γ的搜索空间[γmin，γmax]；

步骤S2.2、根据公式(1)计算最优火焰个数FlameNo；

其中，N为最大飞蛾数量，l表示当前迭代次数，T则为最大迭代次数；

步骤S2.3、随机初始化N只飞蛾的位置，其中第i只飞蛾的位置为 M_i＝(M_i1，M_i2)，i＝1，2，...，N；M_i1表示飞蛾在当前位置时的惩罚因子C 值，M_i2表示飞蛾在当前位置时的核宽γ值；

步骤S2.4、判断是否为第一次迭代，若是则直接对每只飞蛾M_i均计算其 适应度f_i，否则先将最新的飞蛾位置M与历史最优飞蛾位置F合并,再计算其 适应度f_i，并将每只飞蛾i的适应度f_i由大到小排序，选取其中前N只飞蛾位 置作为历史最优位置F；

步骤S2.5、筛选出N只飞蛾中适应度大于最优火焰的适应度、且适应度 为最大的飞蛾，将最优火焰Fbest替换成当前所筛选出适应度最大的飞蛾， 且进一步将当前飞蛾位置赋值给最佳火焰位置Best_pos；

其中，每只飞蛾i的适应度f_i是基于飞蛾i当前位置的C和γ值，其根据 公式(2)以内部K折交叉验证策略计算出支持向量机的准确度ACC；

其中，acc_k表示每一折数据上计算获得的准确度；

步骤S2.6、根据公式(3)计算飞蛾到对应火焰的距离，根据公式(4)，重 新计算出每个飞蛾的新位置；

D_i＝|F_j-M_i| (3)

S(M_i，F_j)＝D_i·e^bt·cos(2πt)+F_j (4)

其中，D_i是第M_i只飞蛾到对应的火焰F_j的距离，b是定义对数螺线形状 的常数，t为[-1,1]范围内的随机数；

步骤S2.7、判断是否超过最大迭代次数T；若否，则跳转至步骤S2.4； 若是，则执行下一步骤S2.8；

步骤S2.8、输出最优火焰Fbest的位置Best_pos及其对应的适应度，即 最优的惩罚因子C和核宽γ值；

步骤S3、基于所获得的惩罚因子C和核宽γ值，利用所归一化处理后的 数据来构建下述公式(5)所示的预测模型，并基于所构建的预测模型对待分类 样本进行分类和预测；其中，K(x_i，x_j)采用公式(6)所示，x_j表示第j个归一 化处理后的样本数据；x_i(i＝1...l)表示训练样本；y_i(i＝1...l)表示训练样本对应 的标签，y_i＝1代表正类样本，y_i＝-1代表负类样本；b为阈值；α_i是拉格朗日 系数；

K(x_i,x_j)＝exp(-r||x_i-x_j||²) (6)。

进一步设置是，所述的步骤S2.6进一步包括以下步骤：

引入正余弦机制，提高飞蛾搜索深度，扩大飞蛾位置更新范围，该步骤 具体包括：

步骤S2.6.1、计算正余弦机制中四个主要的调节参数r₁、r₂、r₃、r₄；根 据公式(7)计算调节参数r₁，r₂、r₃、r₄均是服从均匀分布的随机数， r₂∈[0，2π]，r₃∈[-2，2]，r₄∈[0，1]；

其中，a是一个常数，通常设置为2；l是当前迭代次数；T为最大迭代 次数；

步骤S2.6.2、根据公式(8)进一步更新飞蛾位置；

其中，l是当前迭代次数，

则是当前迭代次数下第i只飞蛾的最佳火焰 位置。

应用实施例

在本发明实施例中，对基于改进的飞蛾优化算法构建预测模型的方法的 应用场景做进一步说明：

采用乳腺癌数据作为样本数据，样本集合这样表示：(x_i，y_i)，i＝1......699, 其中‘x_i’表示9维的特征向量，y是值为1或-1的样本标签，‘1’代表该 样本是患乳腺癌，‘-1’代表该患者是健康的。

首先，将待实验样本数据各个特征属性值进行标准化，利用公式

对样本数据进行标准化，其中S_i代表样本中的属性的特征原始 值，S′_i是S_i由公式所得到的标准化后的值，S_min表示对应的样本数据中的最小 值，S_max表示对应的样本数据中的最大值；

随后，利用基于改进的飞蛾优化算法优化支持向量机的惩罚系数C和核 宽γ，且在内部采用K折交叉策略进行优化(即将导入模型的样本进行K折 切割，每一次都以其中的K-1折作为训练数据，且在训练的同时采用改进的 飞蛾优化算法对于其中两个关键性的参数进行优化，期望获得最佳的智能分 类模型，模型构建好后，再用剩余的数据作为测试数据，对于构建的智能决 策模型的性能进行评估)。简而言之，就是针对不同的智能分类决策问题，我 们需要采用具有全局搜索能力的改进的飞蛾优化算法去实现构造出针对此类 问题最佳的分类决策模型，当然如之前论述：惩罚系数C和核宽γ是对该模 型的性能具有重要的影响，也就是说，这两个参数的好坏将直接影响决策模 型的性能的好坏，所以在此我们提出改进的飞蛾优化算法去完成对这两个参 数的选择，不仅改善了传统算法，跳出了局部极值点，也在一定程度上提高 了算法的收敛速度和精度。

输入训练样本(x_i，y_i)，且依据Largrange对偶问题优化的问题变为：

然后对于以上的优化问题采用改进的飞蛾优化算法对C和γ(是径向基 核函数参数核宽K(x_i,x_j)＝exp(-γ||x_i-x_j||²))进行优化，并求解出最优解的值为：

a^*＝(a₁ ^*,a₂ ^*,...,a^* ₆₉₉)^T

则有如下解：

那么最终的最优分类超平面函数为：

实施本发明实施例，具有如下有益效果：

本发明在飞蛾优化算法(MFO)优化过程中的合适位置加入正余弦机制 来实现SVM的惩罚因子C和核宽γ编码为个体位置优化，并在优化过程中 采用K折交叉验证，防止飞蛾优化算法陷入局部极值，能够获取更高效精准 的智能模型，不仅增加种群多样性，增强算法的搜索能力，还能防止算法陷 入局部最优，快速找到全局最优解，从而能得到更准确的预测效果并更有效 地辅助决策者进行科学合理的决策。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤 是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机 可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本 发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵 盖的范围。

Claims (2)

1.一种基于改进的飞蛾优化算法构建预测模型的方法，其特征在于，包括以下步骤：

步骤S1、取样本数据并对所获取到的样本数据进行归一化处理；

步骤S2、利用基于改进的飞蛾优化算法优化支持向量机的惩罚因子C和核宽γ，具体为：

步骤S2.1、参数初始化；其中，初始化的参数至少包括：最大迭代次数T、当前迭代次数l、飞蛾个数N、搜索空间上边界ub、搜索空间下边界lb、最优火焰Fbest、C的搜索空间[Cmin，Cmax]和γ的搜索空间[γmin，γmax]；

步骤S2.2、根据公式(1)计算最优火焰个数FlameNo；

其中，N为最大飞蛾数量，l表示当前迭代次数，T则为最大迭代次数；

步骤S2.3、随机初始化N只飞蛾的位置，其中第i只飞蛾的位置为M_i＝(M_i1，M_i2)，i＝1，2，...，N；M_i1表示飞蛾在当前位置时的惩罚因子C值，M_i2表示飞蛾在当前位置时的核宽γ值；

步骤S2.4、判断是否为第一次迭代，若是则直接对每只飞蛾M_i均计算其适应度f_i，否则先将最新的飞蛾位置M与历史最优飞蛾位置F合并,再计算其适应度f_i，并将每只飞蛾i的适应度f_i由大到小排序，选取其中前N只飞蛾位置作为历史最优位置F；

步骤S2.5、筛选出N只飞蛾中适应度大于最优火焰的适应度、且适应度为最大的飞蛾，将最优火焰Fbest替换成当前所筛选出适应度最大的飞蛾，且进一步将当前飞蛾位置赋值给最佳火焰位置Best_pos；

其中，每只飞蛾i的适应度f_i是基于飞蛾i当前位置的C和γ值，其根据公式(2)以内部K折交叉验证策略计算出支持向量机的准确度ACC；

其中，acc_k表示每一折数据上计算获得的准确度；

步骤S2.6、根据公式(3)计算飞蛾到对应火焰的距离，根据公式(4)，重新计算出每个飞蛾的新位置；

D_i＝|F_j-M_i| (3)

S(M_i，F_j)＝D_i·e^bt·cos(2πt)+F_j (4)

其中，D_i是第M_i只飞蛾到对应的火焰F_j的距离，b是定义对数螺线形状的常数，t为[-1,1]范围内的随机数；

步骤S2.7、判断是否超过最大迭代次数T；若否，则跳转至步骤S2.4；若是，则执行下一步骤S2.8；

步骤S2.8、输出最优火焰Fbest的位置Best_pos及其对应的适应度，即最优的惩罚因子C和核宽γ值；

步骤S3、基于所获得的惩罚因子C和核宽γ值，利用所归一化处理后的数据来构建下述公式(5)所示的预测模型，并基于所构建的预测模型对待分类样本进行分类和预测；其中，K(x_i，x_j)采用公式(6)所示，x_j表示第j个归一化处理后的样本数据；x_i(i＝1...l)表示训练样本；y_i(i＝1...l)表示训练样本对应的标签，y_i＝1代表正类样本，y_i＝-1代表负类样本；b为阈值；α_i是拉格朗日系数；

K(x_i,x_j)＝exp(-r||x_i-x_j||²) (6)。

2.根据权利要求1所述的一种基于改进的飞蛾优化算法构建预测模型的方法，其特征在于，所述的步骤S2.6进一步包括以下步骤：

引入正余弦机制，提高飞蛾搜索深度，扩大飞蛾位置更新范围，该步骤具体包括：

步骤S2.6.1、计算正余弦机制中四个主要的调节参数r₁、r₂、r₃、r₄；根据公式(7)计算调节参数r₁，r₂、r₃、r₄均是服从均匀分布的随机数，r₂∈[0，2π],r₃∈[-2，2],r₄∈[0，1]；

其中，a是一个常数，通常设置为2；l是当前迭代次数；T为最大迭代次数；

步骤S2.6.2、根据公式(8)进一步更新飞蛾位置；

其中，l是当前迭代次数，

则是当前迭代次数下第i只飞蛾的最佳火焰位置。

Images