CN109948675A - 基于前哨多种群机制果蝇优化算法来构建预测模型的方法 - Google Patents

Abstract

本发明提供一种基于前哨多种群机制果蝇优化算法来构建预测模型的方法，包括获取样本数据并对所获取到的样本数据进行归一化处理；利用基于前哨机制和多种群增强机制的果蝇优化支持向量机的惩罚因子C和核宽γ；基于所获得的惩罚因子C和核宽γ，利用所归一化处理后的数据来构建预测模型，并基于所构建的预测模型对待分类样本进行分类和预测。实施本发明，通过基于前哨机制和多种群增强机制的果蝇优化算法来优化SVM的惩罚因子和核宽，可有效提升算法的收敛速度和收敛精度，提升算法逃脱局部最优解的能力，找到更优的全局近似最优解。

Description

基于前哨多种群机制果蝇优化算法来构建预测模型的方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于前哨多种群机制果蝇优化算法来构建预测模型的方法。

背景技术

支持向量机(SVM)常用于构建预测模型来对数据进行分析，该支持向量机(SVM)最常用的两种参数优化方法包括网格搜索和梯度下降。在第一种参数优化方法中，网格搜索是一种穷举搜索方法，它一般是通过设置合理的区间上下限和间隔步长对指定参数空间进行划分，然后对每个网格节点代表的参数组合进行训练和预测，将这些预测结果中取值最高的一组参数作为最终SVM模型的最佳参数。该方法虽然在一定程度上能保证得到给定参数空间内最优的参数组合，然而随着参数空间增大，其搜索效率会大大降低，特别是设置合理的区间和间隔步长值往往非常困难，从而大大降低了其可行性，而且模型也非常容易陷入局部最优值；在第二种参数优化方法中，梯度下降方法虽然能克服网格搜索方法的缺陷，但是它对初始值非常敏感，特别是初始参数设置离最优解非常远的时候，模型很容易收敛到局部最优解。

近年来，由于元启发式的搜索算法凭借其独特的全局寻优能力而受到了学术和工业界的广泛关注，它们被普遍认为比传统寻优方法具有更大的机会找到全局最优解，因此提出多种基于元启发式算法的SVM训练算法来处理参数优化问题。

SVM在具体应用时，其性能主要受包括线性核函数、多项式核函数、径向基(RBF)核函数和sigmoid核函数等核函数影响，一般情况下选择基于RBF 核函数的SVM。RBF核SVM主要涉及两个重要的参数C和γ。C是惩罚因子，它用于控制对错分样本惩罚的程度，起到控制训练误差和模型复杂度之间平衡的作用；C值越小，则对数据中误判样本的惩罚也越小，使得训练误差变大，因此结构风险也变大。相反，C值越大，对错分样本的约束程度就越大，这样会导致模型虽然对训练数据的误判率很低，但整体的泛化能力却很差，容易出现“过拟合”现象。参数γ代表RBF核函数中的核宽，它决定了核函数的宽度，直接影响SVM的性能。如果γ取得不恰当，SVM很难获得预期的学习效果。γ值太小会导致过拟合，γ值太大会使SVM的判别函数过于平缓。所以惩罚因子C 和核宽γ从不同的角度影响着SVM的分类超平面。在实际应用中，它们取值过大或过小都会使SVM的泛化性能变差。

但是，采用现有的元启发式的搜索算法来处理SVM参数优化问题，还有待进一步提升算法的收敛速度和收敛精度，提升算法逃脱局部最优解的能力，从而找到更优的全局近似最优解。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于前哨多种群机制果蝇优化算法来构建预测模型的方法，通过基于前哨机制和多种群增强机制的果蝇优化算法(MOFOA)来优化SVM的惩罚因子和核宽，可有效提升算法的收敛速度和收敛精度，提升算法逃脱局部最优解的能力，找到更优的全局近似最优解。

为了解决上述技术问题，本发明实施例提供了一种基于前哨多种群机制果蝇优化算法来构建预测模型的方法，所述方法包括以下步骤：

步骤S1：获取样本数据并对所获取到的样本数据进行归一化处理；

步骤S2、利用基于前哨机制和多种群增强机制的果蝇优化支持向量机的惩罚因子C和核宽γ，具体为：

步骤S2.1、定义最大评估数MaxFE，子群数M，种群数popsize和种群位置范围LR；其中，果蝇种群的初始位置(X_axis,Y_axis)在给定范围内随机定义；

X_axis＝rand(LR)，Y_axis＝rand(LR) (I)

步骤S2.2、执行公式(2)，使果蝇个体i通过嗅觉随机搜寻食物，得到果蝇个体i的位置(X_i，Y_i)；

X_i＝X_axis+rand(LR)，Y_i＝Y_axis+rand(LR) (2)

步骤S2.3、利用公式(3)，将果蝇群体分为M个子群；

步骤S2.4、首先，使用公式(4)评估从群体中的果蝇个体i到初始位置的距离；

其次，利用公式(5)，使用距离的倒数作为气味浓度测定值，其中，S_i，1表示果蝇在当前位置时的C值，S_i，2表示果蝇在当前位置时的γ值；

步骤S2.5、执行前哨机制，通过公式(6)和(7)来对比预飞行果蝇个体和历史果蝇个体的适应度值，选出适应度值更优的果蝇作为当前进行搜索的果蝇；其中，λ表示果蝇的位置坐标；

[λ]＝min(function(S_temp)，function(S_i)) (6)

S_i＝S_λ (7)

步骤S2.6、利用公式(8)，将果蝇群体位置映射至正态分布中，其中，G(θ) 用以产生高斯梯度的正态分布向量，Mut_i表示映射至正态分布后的果蝇位置，之后再执行一次公式(6)，选出更优的果蝇个体；

步骤S2.7、利用公式(9)-(13)，将气味浓度S_i代入气味浓度测定功能，以找到果蝇位置的气味浓度Smell_i，并将该值作为果蝇气味浓度Smell_i，j的值；其中，果蝇位置的气味浓度Smell_i基于果蝇个体i当前位置的C和γ值，以内部K折交叉验证策略计算支持向量机的准确度ACC获取的；bestSmell表示果蝇中气味浓度最佳的浓度值，bestindex表示浓度最佳的果蝇的坐标，bestPosition表示当前最佳气味浓度值的果蝇的位置；

Smell_i，j＝Fitness function(S_i，j) (9)

[bestSmell，bestindex]＝min(Smell_i，j) (10)

X_axis＝X_bestindex，Y_axis＝Y_bestindex (11)

bestPosition＝S_bestindex (12)

bestCV＝bestSmell (13)

若bestSmell优于bestCV，则更新X_axis，Y_axis，bestPosition和bestCV；其中ACC是基于K折交叉验证获取的平均准确度，并根据公式(14)计算获得；acc_k表示每一折数据上计算获得的准确度；

步骤S2.8、判断是否达到了最大评估数MaxFE；若否，则重复步骤S2.2-S2.7，进行下一次评估操作；若是，则跳转到步骤S2.9；

步骤S2.9、输出果蝇的位置bestPosition，即最优的惩罚因子C和核宽γ值；

步骤S3、基于所获得的惩罚因子C和核宽γ，利用所归一化处理后的数据来构建下述公式(15)所示的预测模型，并基于所构建的预测模型对待分类样本进行分类和预测；其中，K(·)采用公式(16)所示；x_j表示第j个归一化处理后的样本数据；x_i(i＝1...l)表示训练样本；y_i(i＝1...l)表示训练样本对应的标签， y_i＝1代表正类样本，y_i＝-1代表负类样本；b为阈值；α_i是拉格朗日系数；

K(x_i，x_j)＝exp(-r||x_i-x_j||²) (16)。

实施本发明实施例，具有如下有益效果：

本发明通过基于前哨机制和多种群增强机制的果蝇优化算法(MOFOA)将优化SVM的惩罚因子C和核宽γ编码为果蝇食物的位置进行优化，并在优化过程中采用K折交叉验证，不仅使算法能快速收敛从而有效地找到最优值，还能防止算法陷入局部最优解。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明实施例提供的基于前哨多种群机制果蝇优化算法来构建预测模型的方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，为本发明实施例中，提出的一种基于前哨多种群机制果蝇优化算法来构建预测模型的方法，所述方法包括以下步骤：

步骤S1：获取样本数据并对所获取到的样本数据进行归一化处理；

具体过程为，样本数据来源于多种不同领域，可根据实际需要进行设计，如医疗领域、金融领域等，数据属性类别分为数据属性和类别属性。如针对乳腺癌疾病的数据单个样本属性，该数据属性值分为两大类即数据属性X₁-X₉表示了针对乳腺癌疾病的相关医学病理方面的属性，X₁₀表示了该数据样本的类别：即是否患乳腺癌疾病，若样本患病：值为1，若样本健康：值为-1；又如，针对企业破产风险预测数据单个样本属性分布，会有X₁-X_n个这样的相关金融指标如负债率、资产总额等属性指标，则X_n+1也是类别标签：即该企业在两年内是否有破产风险的存在，若有破产风险标签为1，没有破产风险标签为-1。

为了便于数据处理，会对所获取到的样本数据进行归一化处理。

步骤S2、利用基于前哨机制和多种群增强机制的果蝇优化支持向量机的惩罚因子C和核宽γ，具体为：

步骤S2.1、定义最大评估数MaxFE，子群数M，种群数popsize和种群位置范围LR；其中，果蝇种群的初始位置(X_axis，Y_axis)在给定范围内随机定义；

X_axis＝rand(LR)，Y_axis＝rand(LR) (1)

步骤S2.2、执行公式(2)，使果蝇个体i通过嗅觉随机搜寻食物，得到果蝇个体i的位置(X_i，Y_i)；

X_i＝X_axis+rand(LR)，Y_i＝Y_axis+rand(LR) (2)

步骤S2.3、利用公式(3)，将果蝇群体分为M个子群；

步骤S2.4、首先，使用公式(4)评估从群体中的果蝇个体i到初始位置的距离；

其次，利用公式(5)，使用距离的倒数作为气味浓度测定值，其中，S_i，1表示果蝇在当前位置时的C值，S_i，2表示果蝇在当前位置时的γ值；

步骤S2.5、执行前哨机制，通过公式(6)和(7)来对比预飞行果蝇个体和历史果蝇个体的适应度值，选出适应度值更优的果蝇作为当前进行搜索的果蝇；其中，λ表示果蝇的位置坐标；

[λ]＝min(function(S_temp)，function(S_i)) (6)

S_i＝S_λ (7)

步骤S2.6、利用公式(8)，将果蝇群体位置映射至正态分布中，其中，G(θ) 用以产生高斯梯度的正态分布向量，Mut_i表示映射至正态分布后的果蝇位置，之后再执行一次公式(6)，选出更优的果蝇个体；

步骤S2.7、利用公式(9)-(13)，将气味浓度S_i代入气味浓度测定功能，以找到果蝇位置的气味浓度Smell_i，并将该值作为果蝇气味浓度Smell_i，j的值；其中，果蝇位置的气味浓度Smell_i基于果蝇个体i当前位置的C和γ值，以内部K折交叉验证策略计算支持向量机的准确度ACC获取的；bestSmell表示果蝇中气味浓度最佳的浓度值，bestindex表示浓度最佳的果蝇的坐标，bestPosition表示当前最佳气味浓度值的果蝇的位置；

Smell_i，j＝Fitness function(S_i，j) (9)

[bestSmell，bestindex]＝min(Smell_i，j) (10)

X_axis＝X_bestindex，Y_axis＝Y_bestindex (11)

bestPosition＝S_bestindex (12)

bestCV＝bestSmell (13)

若bestSmell优于bestCV，则更新X_axis，Y_axis，bestPosition和bestCV；其中 ACC是基于K折交叉验证获取的平均准确度，并根据公式(14)计算获得；acc_k表示每一折数据上计算获得的准确度；

步骤S2.8、判断是否达到了最大评估数MaxFE；若否，则重复步骤S2.2-S2.7，进行下一次评估操作；若是，则跳转到步骤S2.9；

步骤S2.9、输出果蝇的位置bestPosition，即最优的惩罚因子C和核宽γ值；

步骤S3、基于所获得的惩罚因子C和核宽γ，利用所归一化处理后的数据来构建下述公式(15)所示的预测模型，并基于所构建的预测模型对待分类样本进行分类和预测；其中，K(·)采用公式(16)所示；x_j表示第j个归一化处理后的样本数据；x_i(i＝1...l)表示训练样本；y_i(i＝1...l)表示训练样本对应的标签， y_i＝1代表正类样本，y_i＝-1代表负类样本；b为阈值；α_i是拉格朗日系数；

K(x_i，x_j)＝exp(-r||x_i-x_j||²) (16)。

在本发明实施例中，对基于前哨多种群机制果蝇优化算法来构建预测模型的方法的应用场景做进一步说明：

采用乳腺癌数据作为样本数据，样本集合这样表示：(x_i，y_i)，i＝1......699, 其中‘x_i’表示9维的特征向量，y是值为1或-1的样本标签，‘1’代表该样本是患乳腺癌，‘-1’代表该患者是健康的。

首先，将待实验样本数据各个特征属性值进行标准化，利用公式对样本数据进行标准化，其中S_i代表样本中的属性的特征原始值， S′_i是S_i由公式所得到的标准化后的值，S_min表示对应的样本数据中的最小值，S_max表示对应的样本数据中的最大值；

随后，利用基于前哨机制和多种群机制的FOA优化支持向量机的惩罚系数 C和核宽γ，且在内部采用K折交叉策略进行优化(即将导入模型的样本进行K 折切割，每一次都以其中的K-1折作为训练数据，且在训练的同时采用FOA算法对于其中两个关键性的参数进行优化，期望获得最佳的智能分类模型，模型构建好后，在用剩余的数据作为测试数据，对于构建的智能决策模型的性能进行评估)。简而言之，就是针对不同的智能分类决策问题，我们需要采用具有全局搜索能力的前哨多种群FOA去实现构造出针对此类问题最佳的分类决策模型，当然如之前论述：惩罚系数C和核宽γ是对该模型的性能具有重要的影响，也就是说，这两个参数的好坏将直接影响决策模型的性能的好坏，所以在此我们提出前哨多种群FOA去完成对这两个参数的选择，当前主要的方法有：枚举法、网格法、遗传算法等，而在此处我们提出将前哨、多种群的思想引入灰狼算法，不仅改善了灰狼优化算法跳出局部极值点，也在一定程度上提高了算法的收敛速度和精度。

输入训练样本(xi，yi)，且依据Largrange对偶问题优化的问题变为：

然后对于以上的优化问题采用前哨多种群FOA对C和γ(是径向基核函数参数核宽K(x_i,x_j)＝exp(-γ||x_i-x_j||²))进行优化，并求解出最优解的值为：

a^*＝(a₁ ^*,a₂ ^*,...,a^* ₆₉₉)^T

则有如下解：那么最终的最优分类超平面函数为：

实施本发明实施例，具有如下有益效果：

本发明通过基于前哨机制和多种群增强机制的果蝇优化算法(MOFOA)将优化SVM的惩罚因子C和核宽γ编码为果蝇食物的位置进行优化，并在优化过程中采用K折交叉验证，不仅使算法能快速收敛从而有效地找到最优值，还能防止算法陷入局部最优解。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (1)

1.一种基于前哨多种群机制果蝇优化算法来构建预测模型的方法，其特征在于，所述方法包括以下步骤：

步骤S1：获取样本数据并对所获取到的样本数据进行归一化处理；

步骤S2、利用基于前哨机制和多种群增强机制的果蝇优化支持向量机的惩罚因子C和核宽γ，具体为：

步骤S2.1、定义最大评估数MaxFE，子群数M，种群数popsize和种群位置范围LR；其中，果蝇种群的初始位置(X_axis,Y_axis)在给定范围内随机定义；

X_axis＝rand(LR)，Y_axis＝rand(LR) (1)

步骤S2.2、执行公式(2)，使果蝇个体i通过嗅觉随机搜寻食物，得到果蝇个体i的位置(X_i,Y_i)；

X_i＝X_axis+rand(LR)，Y_i＝Y_axis+rand(LR) (2)

步骤S2.3、利用公式(3)，将果蝇群体分为M个子群；

步骤S2.4、首先，使用公式(4)评估从群体中的果蝇个体i到初始位置的距离；

其次，利用公式(5)，使用距离的倒数作为气味浓度测定值，其中，S_i，1表示果蝇在当前位置时的C值，S_i，2表示果蝇在当前位置时的γ值；

步骤S2.5、执行前哨机制，通过公式(6)和(7)来对比预飞行果蝇个体和历史果蝇个体的适应度值，选出适应度值更优的果蝇作为当前进行搜索的果蝇；其中，λ表示果蝇的位置坐标；

[λ]＝min(function(S_temp)，function(S_i)) (6)

S_i＝S_λ (7)

步骤S2.6、利用公式(8)，将果蝇群体位置映射至正态分布中，其中，G(θ)用以产生高斯梯度的正态分布向量，Mut_i表示映射至正态分布后的果蝇位置，之后再执行一次公式(6)，选出更优的果蝇个体；

步骤S2.7、利用公式(9)-(13)，将气味浓度S_i代入气味浓度测定功能，以找到果蝇位置的气味浓度Smell_i，并将该值作为果蝇气味浓度Smell_i，j的值；其中，果蝇位置的气味浓度Smell_i基于果蝇个体i当前位置的C和γ值，以内部K折交叉验证策略计算支持向量机的准确度ACC获取的；bestSmell表示果蝇中气味浓度最佳的浓度值，bestindex表示浓度最佳的果蝇的坐标，bestPosition表示当前最佳气味浓度值的果蝇的位置；

Smell_i，j＝Fitnessfunction(S_i，j) (9)

[bestSmell，bestindex]＝min(Smell_i，j) (10)

X_axis＝X_bestindex，Y_axis＝Y_bestindex (11)

bestPosition＝S_bestindex (12)

bestCV＝bestSmell (13)

若bestSmell优于bestCV，则更新X_axis，Y_axis，bestPosition和bestCV；其中ACC是基于K折交叉验证获取的平均准确度，并根据公式(14)计算获得；acc_k表示每一折数据上计算获得的准确度；

步骤S2.8、判断是否达到了最大评估数MaxFE；若否，则重复步骤S2.2-S2.7，进行下一次评估操作；若是，则跳转到步骤S2.9；

步骤S2.9、输出果蝇的位置bestPosition，即最优的惩罚因子C和核宽γ值；

步骤S3、基于所获得的惩罚因子C和核宽γ，利用所归一化处理后的数据来构建下述公式(15)所示的预测模型，并基于所构建的预测模型对待分类样本进行分类和预测；其中，K(·)采用公式(16)所示；x_j表示第j个归一化处理后的样本数据；x_i(i＝1...l)表示训练样本；y_i(i＝1...l)表示训练样本对应的标签，y_i＝1代表正类样本，y_i＝-1代表负类样本；b为阈值；α_i是拉格朗日系数；

K(x_i,x_j)＝exp(-r||x_i-x_j||²) (16)。