CN110222751A - 一种基于正交多种群正余弦算法来构建预测模型的方法 - Google Patents

Abstract

本发明提供一种基于正交多种群正余弦算法来构建预测模型的方法，包括获取样本数据并对所获取到的样本数据进行归一化处理；利用改进的正余弦算法来优化支持向量机的惩罚因子C和核宽γ；基于所获得的惩罚因子C和核宽γ，利用所归一化处理后的数据来构建预测模型，并基于所构建的预测模型对待分类样本进行分类和预测。实施本发明，将一种新的多种群结构机制引入正余弦优化算法优化SVM的惩罚因子和核宽，改善了传统正余弦优化算法搜索能力，提升算法的收敛速度、收敛精度以及逃脱局部最优解的能力，找到更优的全局近似最优解。

Description

一种基于正交多种群正余弦算法来构建预测模型的方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于正交多种群正余弦算法来构建预测模型的方法。

背景技术

支持向量机(SVM)常用于构建预测模型来对数据进行分析，该支持向量机(SVM)最常用的两种参数优化方法包括网格搜索和梯度下降。在第一种参数优化方法中，网格搜索是一种穷举搜索方法，它一般是通过设置合理的区间上下限和间隔步长对指定参数空间进行划分，然后对每个网格节点代表的参数组合进行训练和预测，将这些预测结果中取值最高的一组参数作为最终SVM模型的最佳参数。该方法虽然在一定程度上能保证得到给定参数空间内最优的参数组合，然而随着参数空间增大，其搜索效率会大大降低，特别是设置合理的区间和间隔步长值往往非常困难，从而大大降低了其可行性，而且模型也非常容易陷入局部最优值；在第二种参数优化方法中，梯度下降方法虽然能克服网格搜索方法的缺陷，但是它对初始值非常敏感，特别是初始参数设置离最优解非常远的时候，模型很容易收敛到局部最优解。

近年来，由于元启发式的搜索算法凭借其独特的全局寻优能力而受到了学术和工业界的广泛关注，它们被普遍认为比传统寻优方法具有更大的机会找到全局最优解，因此提出多种基于元启发式算法的SVM训练算法来处理参数优化问题。

SVM在具体应用时，其性能主要受包括线性核函数、多项式核函数、径向基(RBF)核函数和sigmoid核函数等核函数影响，一般情况下选择基于RBF核函数的SVM。RBF核SVM主要涉及两个重要的参数C和γ。C是惩罚因子，它用于控制对错分样本惩罚的程度，起到控制训练误差和模型复杂度之间平衡的作用；C值越小，则对数据中误判样本的惩罚也越小，使得训练误差变大，因此结构风险也变大。相反，C值越大，对错分样本的约束程度就越大，这样会导致模型虽然对训练数据的误判率很低，但整体的泛化能力却很差，容易出现“过拟合”现象。参数γ代表RBF核函数中的核宽，它决定了核函数的宽度，直接影响SVM的性能。如果γ取得不恰当，SVM很难获得预期的学习效果。γ值太小会导致过拟合，γ值太大会使SVM的判别函数过于平缓。所以惩罚因子C和核宽γ从不同的角度影响着SVM的分类超平面。在实际应用中，它们取值过大或过小都会使SVM的泛化性能变差。

但是，采用现有的元启发式的搜索算法来处理SVM参数优化问题，还有待进一步提升算法的收敛速度和收敛精度，提升算法逃脱局部最优解的能力，从而找到更优的全局近似最优解。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于正交多种群正余弦算法来构建预测模型的方法，将一种新的多种群结构机制引入正余弦优化算法优化SVM的惩罚因子和核宽，改善了传统正余弦优化算法搜索能力，提升算法的收敛速度、收敛精度以及逃脱局部最优解的能力，找到更优的全局近似最优解。

为了解决上述技术问题，本发明实施例提供了一种基于正交多种群正余弦算法来构建预测模型的方法，所述方法包括以下步骤：

步骤S1、获取样本数据并对所获取到的样本数据利用公式(1)进行归一化处理；

其中，S_i代表原始值，S_i′代表标准化后的值，S_min代表极小值，S_max代表极大值；

步骤S2、利用改进的正余弦算法来优化支持向量机的惩罚因子C和核宽γ，具体为：

步骤S2.1、参数初始化：包括最大迭代次数T、正余弦算法种群个数n、多种群策略中分段直接校正PDS策略的维度分段个数Rn、惩罚因子C的搜索空间[C_min，C_max]和核宽γ的搜索空间[γ_min，γ_max]；

步骤S2.2、初始化n个搜索个体位置：采用公式(2)-(3)，将每一个个体的位置映射到设定的搜索范围内，得到n个个体的位置X_i＝(x_i，1，x_i，2)(i＝1...n)；

X_i，1＝(C_max-C_min)*r+C_min，(i＝1，2，...，n) (2)

X_i，2＝(γ_max-γ_min)*r+γ_min，(i＝1，2，...，n) (3)；

其中，c_i表示个体i在当前位置时的C值；γ_i表示个体i在当前位置时的γ值；r为[0，1]之间的随机小数；

步骤S2.3、计算每个个体i的适应度f_i，并将计算出的适应度f_i由大到小排序，若所有个体中最大的适应度值大于最佳个体的适应度，则将最佳个体替换成当前适应度最高的个体；其中，所计算出的适应度f_i基于个体i当前位置的C和γ值，以内部K折交叉验证策略计算支持向量机的准确度ACC来获取的；

步骤S2.4、围绕最佳个体生成整个种群：根据公式(4)生成n个个体，并计算出根据公式(4)生成的n个个体的适应度，且进一步对比出根据公式(4)生成的n个个体之中最大的适应度大于最佳个体的适应度，则用对比的n个个体之中最大的适应度的个体来替换最佳个体；

其中，x_best为种群中适应度最高的个体；rand为[0，1]之间的随机小数；

步骤S2.5、执行贪婪选择策略：根据公式(5)，针对每个维度变化后产生的更新个体，仅保留适应度比上一代个体有所提高的更新个体；

步骤S2.6、执行正交学习策略：针对种群中每个更新后的个体，对其执行正交学习策略，从而得到变异后的新个体；

步骤S2.7、判断是否达到DNS策略阈值C_gen，若已达到则执行DNS策略，重新规划种群，否则继续；

步骤S2.8、判断是否达到SRS策略阈值Stag_best，若已达到则执行SRS策略，随机重组种群，否则继续；

步骤S2.9、执行PDS策略，采用禁忌搜索的思想对最佳个体进行优化；

步骤S2.10、判断是否达到最大迭代次数T，若已达到则转到步骤S2.11，否则转到步骤S2.3；

步骤S2.11、输出最佳个体的位置，即最优的惩罚因子C和核宽γ值；

步骤S3、基于所获得的惩罚因子C和核宽γ，利用所归一化处理后的数据来构建下述公式(6)所示的预测模型，并基于所构建的预测模型对待分类样本进行分类和预测；

K(x_i,x_j)＝exp(-r||x_i-x_j||²) (7)

其中，x_j表示第j个归一化处理后的样本数据；x_i(i＝1...l)表示训练样本；y_i(i＝1...l)表示训练样本对应的标签，y_i＝1代表正类样本，y_i＝-1代表负类样本；b为阈值；α_i是拉格朗日系数。

实施本发明实施例，具有如下有益效果：

本发明将一种新的多种群结构引入正交多种群正余弦算法，进而将该算法用于机器学习模型的参数优化，可获取最佳的模型参数值，进而构建最优的机器学习智能决策模型，改善了传统正余弦优化算法搜索能力，提升算法的收敛速度、收敛精度以及逃脱局部最优解的能力，找到更优的全局近似最优解，从而使得本发明可以获得更准确的智能决策效果，有效地辅助决策者进行科学合理的决策，具有重要的应用价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明实施例提供的基于正交多种群正余弦算法来构建预测模型的方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，为本发明实施例中，提出的一种基于正交多种群正余弦算法来构建预测模型的方法，所述方法包括以下步骤：

步骤S1、获取样本数据并对所获取到的样本数据利用公式(1)进行归一化处理；

其中，S_i代表原始值，S_i′代表标准化后的值，S_min代表极小值，S_max代表极大值；

具体过程为，样本数据来源于多种不同领域，可根据实际需要进行设计，如医疗领域、金融领域等，数据属性类别分为数据属性和类别属性。如针对乳腺癌疾病的数据单个样本属性，该数据属性值分为两大类即数据属性X₁-X₉表示了针对乳腺癌疾病的相关医学病理方面的属性，X₁₀表示了该数据样本的类别：即是否患乳腺癌疾病，若样本患病：值为1，若样本健康：值为-1；又如，针对企业破产风险预测数据单个样本属性分布，会有X₁-X_n个这样的相关金融指标如负债率、资产总额等属性指标，则X_n+1也是类别标签：即该企业在两年内是否有破产风险的存在，若有破产风险标签为1，没有破产风险标签为-1。

为了便于数据处理，会对所获取到的样本数据进行归一化处理。

步骤S2、利用改进的正余弦算法来优化支持向量机的惩罚因子C和核宽γ，具体为：

步骤S2.1、参数初始化：包括最大迭代次数T、正余弦算法种群个数n、多种群策略中分段直接校正PDS策略的维度分段个数Rn、惩罚因子C的搜索空间[C_min,C_max]和核宽γ的搜索空间[γ_min,γ_max]；

步骤S2.2、初始化n个搜索个体位置：采用公式(2)-(3)，将每一个个体的位置映射到设定的搜索范围内，得到n个个体的位置X_i＝(x_i，1，x_i，2)(i＝1...n)；

X_i，1＝(C_max-C_min)*r+C_min，(i＝1，2，...，n) (2)

X_i，2＝(γ_max-γ_min)*r+γ_min，(i＝1，2，...，n) (3)；

其中，c_i表示个体i在当前位置时的C值；γ_i表示个体i在当前位置时的γ值；r为[0，1]之间的随机小数；

步骤S2.3、计算每个个体i的适应度f_i，并将计算出的适应度f_i由大到小排序，若所有个体中最大的适应度值大于最佳个体的适应度，则将最佳个体替换成当前适应度最高的个体；其中，所计算出的适应度f_i基于个体i当前位置的C和γ值，以内部K折交叉验证策略计算支持向量机的准确度ACC来获取的；

步骤S2.4、围绕最佳个体生成整个种群：根据公式(4)生成n个个体，并计算出根据公式(4)生成的n个个体的适应度，且进一步对比出根据公式(4)生成的n个个体之中最大的适应度大于最佳个体的适应度，则用对比的n个个体之中最大的适应度的个体来替换最佳个体；

其中，x_best为种群中适应度最高的个体；rand为[0，1]之间的随机小数；

步骤S2.5、执行贪婪选择策略：根据公式(5)，针对每个维度变化后产生的更新个体，仅保留适应度比上一代个体有所提高的更新个体；

步骤S2.6、执行正交学习策略：针对种群中每个更新后的个体，对其执行正交学习策略，从而得到变异后的新个体；

步骤S2.7、判断是否达到DNS策略阈值C_gen，若已达到则执行DNS策略，重新规划种群，否则继续；

步骤S2.8、判断是否达到SRS策略阈值Stag_best，若已达到则执行SRS策略，随机重组种群，否则继续；

步骤S2.9、执行PDS策略，采用禁忌搜索的思想对最佳个体进行优化；

步骤S2.10、判断是否达到最大迭代次数T，若已达到则转到步骤S2.11，否则转到步骤S2.3；

步骤S2.11、输出最佳个体的位置，即最优的惩罚因子C和核宽γ值；

步骤S3、基于所获得的惩罚因子C和核宽γ，利用所归一化处理后的数据来构建下述公式(6)所示的预测模型，并基于所构建的预测模型对待分类样本进行分类和预测；

K(x_i,x_j)＝exp(-r||x_i-x_j||²) (7)

其中，x_j表示第j个归一化处理后的样本数据；x_i(i＝1...l)表示训练样本；y_i(i＝1...l)表示训练样本对应的标签，y_i＝1代表正类样本，y_i＝-1代表负类样本；b为阈值；α_i是拉格朗日系数。

在本发明实施例中，对基于正交多种群正余弦算法来构建预测模型的方法的应用场景做进一步说明：

采用乳腺癌数据作为样本数据，样本集合这样表示：(x_i，y_i)，i＝1......699,其中‘x_i’表示9维的特征向量，y是值为1或-1的样本标签，‘1’代表该样本是患乳腺癌，‘-1’代表该患者是健康的。

首先，将待实验样本数据各个特征属性值进行标准化，利用公式(1)，对样本数据进行标准化；

随后，利用正交多种群正余弦算法来优化支持向量机的惩罚系数C和核宽γ。简而言之，就是针对不同的智能分类决策问题，我们需要采用具有全局搜索能力的灰鲸优化算法去实现构造出针对此类问题最佳的分类决策模型，当然如之前论述：惩罚系数C和核宽γ是对该模型的性能具有重要的影响，也就是说，这两个参数的好坏将直接影响决策模型的性能的好坏，所以在此我们提出基于正交多种群正余弦算法完成对这两个参数的选择，当前主要的方法有：枚举法、网格法、遗传算法等，而在此处我们提出的正交多种群正余弦算法，不仅改善正余弦优化算法的搜索能力，避免陷入局部最优解，也在一定程度上提高了算法的收敛速度和精度。

输入训练样本(x_i，y_i)，且依据Largrange对偶问题优化的问题变为：

然后对于以上的优化问题采用正交多种群正余弦算法对C和γ(是径向基核函数参数核宽K(x_i,x_j)＝exp(-γ||x_i-x_j||²))进行优化，并求解出最优解的值为：

a^*＝(a₁ ^*,a₂ ^*,...,a^* ₆₉₉)^T

则有如下解：那么最终的最优分类超平面函数为：

实施本发明实施例，具有如下有益效果：

本发明将一种新的多种群结构引入正交多种群正余弦算法，进而将该算法用于机器学习模型的参数优化，可获取最佳的模型参数值，进而构建最优的机器学习智能决策模型，改善了传统正余弦优化算法搜索能力，提升算法的收敛速度、收敛精度以及逃脱局部最优解的能力，找到更优的全局近似最优解，从而使得本发明可以获得更准确的智能决策效果，有效地辅助决策者进行科学合理的决策，具有重要的应用价值。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (1)

1.一种基于正交多种群正余弦算法来构建预测模型的方法，其特征在于，所述方法包括以下步骤：

步骤S1、获取样本数据并对所获取到的样本数据利用公式(1)进行归一化处理；

其中，S_i代表原始值，S_i′代表标准化后的值，S_min代表极小值，S_max代表极大值；

步骤S2、利用改进的正余弦算法来优化支持向量机的惩罚因子C和核宽γ，具体为：

步骤S2.1、参数初始化：包括最大迭代次数T、正余弦算法种群个数n、多种群策略中分段直接校正PDS策略的维度分段个数Rn、惩罚因子C的搜索空间[C_min，C_max]和核宽γ的搜索空间[γ_min，γ_max]；

步骤S2.2、初始化n个搜索个体位置：采用公式(2)-(3)，将每一个个体的位置映射到设定的搜索范围内，得到n个个体的位置X_i＝(x_i，l，x_i，2)(i＝1...n)；

X_i，1＝(C_max-C_min)*r+C_min，(i＝1，2，...，n) (2)

X_i，2＝(γ_max-γ_min)*r+γ_min，(i＝1，2，...，n) (3)；

其中，c_i表示个体i在当前位置时的C值；γ_i表示个体i在当前位置时的γ值；r为[0，1]之间的随机小数；

步骤S2.3、计算每个个体i的适应度f_i，并将计算出的适应度f_i由大到小排序，若所有个体中最大的适应度值大于最佳个体的适应度，则将最佳个体替换成当前适应度最高的个体；其中，所计算出的适应度f_i基于个体i当前位置的C和γ值，以内部K折交叉验证策略计算支持向量机的准确度ACC来获取的；

步骤S2.4、围绕最佳个体生成整个种群：根据公式(4)生成n个个体，并计算出根据公式(4)生成的n个个体的适应度，且进一步对比出根据公式(4)生成的n个个体之中最大的适应度大于最佳个体的适应度，则用对比的n个个体之中最大的适应度的个体来替换最佳个体；

其中，x_best为种群中适应度最高的个体；rand为[0，1]之间的随机小数；

步骤S2.5、执行贪婪选择策略：根据公式(5)，针对每个维度变化后产生的更新个体，仅保留适应度比上一代个体有所提高的更新个体；

步骤S2.6、执行正交学习策略：针对种群中每个更新后的个体，对其执行正交学习策略，从而得到变异后的新个体；

步骤S2.7、判断是否达到DNS策略阈值C_gen，若已达到则执行DNS策略，重新规划种群，否则继续；

步骤S2.8、判断是否达到SRS策略阈值Stag_best，若已达到则执行SRS策略，随机重组种群，否则继续；

步骤S2.9、执行PDS策略，采用禁忌搜索的思想对最佳个体进行优化；

步骤S2.10、判断是否达到最大迭代次数T，若已达到则转到步骤S2.11，否则转到步骤S2.3；

步骤S2.11、输出最佳个体的位置，即最优的惩罚因子C和核宽γ值；

步骤S3、基于所获得的惩罚因子C和核宽γ，利用所归一化处理后的数据来构建下述公式(6)所示的预测模型，并基于所构建的预测模型对待分类样本进行分类和预测；

K(x_i，x_j)＝exp(-r||x_i-x_j||²) (7)

其中，x_j表示第j个归一化处理后的样本数据；x_i(i＝1...l)表示训练样本；y_i(i＝1...l)表示训练样本对应的标签，y_i＝1代表正类样本，y_i＝-1代表负类样本；b为阈值；α_i是拉格朗日系数。