CN106650930A - 模型参数优化的方法及装置 - Google Patents

Abstract

本发明适用于信息技术领域，提供了一种模型参数优化的方法及装置，所述方法包括：获取样本数据，并对所述样本数据进行标准化处理；采用标准化后的样本数据，通过结合混沌理论的飞蛾优化算法获取核极限学习机的最优惩罚系数C和最优核宽γ；根据所述标准化后的样本数据、最优惩罚系数C和最优核宽γ，构建目标分类预测模型。本发明实现解决了现有技术利用网格搜索方法无法得到最优的惩罚系数C与核宽γ的问题，有利于提高所构建模型对指定问题进行分类及预测的效果。

Description

模型参数优化的方法及装置

技术领域

本发明属于信息技术领域，尤其涉及一种模型参数优化的方法及装置。

背景技术

传统的神经网络方法会因为采用梯度下降法进行训练学习而存在易陷入局部最小值的不足，同时，网络构建过程因为需要对大量的参数进行调整，因此难以建立起最优的模型。为了克服神经网络的上述缺点，南洋理工大学黄广斌教授等人提出了一种新的神经网络学习方法，即极限学习机。然而，由于极限学习机的输入参数是随机产生的，会导致模型的性能不稳定；对此，黄广斌教授等人继续提出了核极限学习机。核极限学习机不需要随机设置输入层和隐藏层的权值，能够获得更高的训练速度，因此得到广泛应用。

然而，现有的核极限学习机的性能极其容易受到惩罚系数C与核宽γ两个参数的影响。其中，惩罚系数C用于控制训练误差和模型复杂度之间的平衡，核宽γ则定义了从输入空间到高维特征空间的非线性映射关系。在构造模型时，需要预先确定所述惩罚系数C与核宽γ。现有技术主要利用网格搜索方法确定所述惩罚系数C与核宽γ，然而网格搜索方法容易陷入局部最优的问题，无法得到最优的惩罚系数C与核宽γ，进而影响了模型的分类、预测效果。

发明内容

鉴于此，本发明实施例提供了一种模型参数优化的方法及装置，以获取最优的惩罚系数C与核宽γ，提高所构建模型的分类及预测效果。

第一方面，提供了一种模型参数优化的方法，所述方法包括：

获取样本数据，并对所述样本数据进行标准化处理；

采用标准化后的样本数据，通过结合混沌理论的飞蛾优化算法获取核极限学习机的最优惩罚系数C和最优核宽γ；

根据所述标准化后的样本数据、最优惩罚系数C和最优核宽γ，构建目标分类预测模型；

其中，所述目标分类预测模型为：

在上式中，s表示待测数据，s₁'，…，s_N'表示标准化后的样本数据，N表示样本数，Ω_ELM为预置的符合Mercer定理构造的核矩阵，O表示目标向量，O＝[o₁,…,o_N]，公式K(s,s_n')＝exp(-γ||s-s_n'||²)，n∈[1,N]。

进一步地，所述采用标准化后的样本数据，通过结合混沌理论的飞蛾优化算法获取核极限学习机的最优惩罚系数C和最优核宽γ包括：

A：初始化最大迭代次数T、飞蛾数量L以及搜索空间，其中所述搜索空间为由惩罚系数C的搜索范围[C_min,C_max]和核宽γ的搜索范围[γ_min,γ_max]组成的二维空间；

B：采用混沌映射函数，初始化L只飞蛾中每一只飞蛾在所述搜索空间中的飞蛾位置M'_l，其中M'_l＝(m'_l1,m'_l2)，l∈[1,L]；

C：针对每一个飞蛾位置M'_l计算其对应的飞蛾的适应度f_l；

D：对所有L个飞蛾的适应度f_l进行排序以及按照适应度f_l的顺序对所有的飞蛾位置M'_l进行排序，参照排序后的所述适应度f_l和飞蛾位置M'_l对光源的位置进行更新；

E：根据更新后的光源的位置对所述搜索空间中的每一个飞蛾位置M'_l进行更新；

F：采用混沌映射函数对每一个更新后的飞蛾位置M'_l进行混沌化处理；

G：判断当前迭代次数是否达到最大迭代次数T；若是时，从混沌化处理后的飞蛾位置M'_l中输出最优的飞蛾位置M'_{l_max}＝(m'_{l1_max},m'_{l2_max})，以得到最优惩罚系数C和核宽γ；否则，返回步骤C，以计算混沌处理后的飞蛾位置M'_l对应的飞蛾的适应度f_l，进行下一次迭代运算。

进一步地，所述采用混沌映射函数，初始化L只飞蛾中每一只飞蛾在所述搜索空间中的飞蛾位置M'_l包括:

随机生成第一只飞蛾的位置M₁＝(m₁₁,m₁₂)；

根据所述第一只飞蛾的位置M₁＝(m₁₁,m₁₂)，按照预设的混沌映射函数获取L-1只飞蛾的位置M_l，其中M_l＝(m_l1,m_l2)，l∈(1,L]；

按照预设的映射函数将每一只飞蛾的位置M_l映射到所述搜索空间中，得到L个飞蛾位置M'_l，其中M'_l＝(m'_l1,m'_l2)，l∈[1,L]；

所述映射函数为M'_l＝a₁+(b₁-a₁)M_l，其中，所述a₁表示搜索范围[C_min,C_max]中的值，b₁表示搜索范围[γ_min,γ_max]中的值，且a₁大于b₁。

进一步地，所述针对每一个飞蛾位置M'_l计算其对应的飞蛾的适应度f_l包括：

遍历每一个飞蛾位置M'_l＝(m'_l1,m'_l2)，以所述m'_l1作为第l只飞蛾在当前位置时的惩罚系数C，以所述m'_l2作为第l只飞蛾在当前位置时的核宽γ，模拟对应的分类预测模型；

将所述标准化后的样本数据划分为K折，并将每一折样本数据输入至所述分类预测模型中，计算每一折样本数据对应的学习准确度acc_k；

计算K折交叉验证中所获取的学习准确度acc_k的平均值，以所述平均值作为所述飞蛾的适应度f_l。

进一步地，所述采用混沌映射函数对每一个更新后的飞蛾位置M'_l进行混沌化处理包括：

遍历每一个更新后的飞蛾位置M'_l，采用预设的混沌映射函数对更新后的飞蛾位置M'_l进行混沌序列化；

通过预设的映射函数将混沌序列化后的飞蛾位置M'_l再次映射到所述搜索空间中。

第二方面，提供了一种模型参数优化的装置，所述装置包括：

获取模块，用于获取样本数据，并对所述样本数据进行标准化处理；

优化模块，用于采用标准化后的样本数据，通过结合混沌理论的飞蛾优化算法获取核极限学习机的最优惩罚系数C和最优核宽γ；

构建模块，用于根据所述标准化后的样本数据、最优惩罚系数C和最优核宽γ，构建目标分类预测模型；

其中，所述目标分类预测模型为：

在上式中，s表示待测数据，s₁'，…，s_N'表示标准化后的样本数据，N表示样本数，Ω_ELM为预置的符合Mercer定理构造的核矩阵，O表示目标向量，O＝[o₁,…,o_N]，公式K(s,s_n')＝exp(-γ||s-s_n'||²)，n∈[1,N]。

进一步地，所述优化模块包括：

参数初始化单元，用于初始化最大迭代次数T、飞蛾数量L以及搜索空间，其中所述搜索空间为由惩罚系数C的搜索范围[C_min,C_max]和核宽γ的搜索范围[γ_min,γ_max]组成的二维空间；

第一混沌处理单元，用于采用混沌映射函数，初始化L只飞蛾中每一只飞蛾在所述搜索空间中的飞蛾位置M'_l，其中M'_l＝(m'_l1,m'_l2)，l∈[1,L]；

适应度计算单元，用于针对每一个飞蛾位置M'_l计算其对应的飞蛾的适应度f_l；

光源更新单元，用于对所有L个飞蛾的适应度f_l进行排序以及按照适应度f_l的顺序对所有的飞蛾位置M'_l进行排序，参照排序后的所述适应度f_l和飞蛾位置M'_l对光源的位置进行更新；

飞蛾位置更新单元，用于根据更新后的光源的位置对所述搜索空间中的每一个飞蛾位置M'_l进行更新；

第二混沌处理单元，用于采用混沌映射函数对每一个更新后的飞蛾位置M'_l进行混沌化处理；

判断单元，用于判断当前迭代次数是否达到最大迭代次数T；若是时，从混沌化处理后的飞蛾位置M'_l中输出最优的飞蛾位置M'_{l_max}＝(m'_{l1_max},m'_{l2_max})，以得到最优惩罚系数C和核宽γ；否则，返回适应度计算单元对混沌处理后的飞蛾位置M'_l计算其对应的飞蛾的适应度f_l，进行下一次迭代运算。

进一步地，所述第一混沌处理单元包括:

混沌初始化子单元，用于随机生成第一只飞蛾的位置M₁＝(m₁₁,m₁₂)；根据所述第一只飞蛾的位置M₁＝(m₁₁,m₁₂)，按照预设的混沌映射函数获取L-1只飞蛾的位置M_l，其中M_l＝(m_l1,m_l2)，l∈(1,L]；

第一映射子单元，用于按照预设的映射函数将每一只飞蛾的位置M_l映射到所述搜索空间中，得到L个飞蛾位置M'_l，其中M'_l＝(m'_l1,m'_l2)，l∈[1,L]；

所述映射函数为M'_l＝a₁+(b₁-a₁)M_l，其中，所述a₁表示搜索范围[C_min,C_max]中的值，b₁表示搜索范围[γ_min,γ_max]中的值，且a₁大于b₁。

进一步地，所述适应度计算单元包括：

模拟子单元，用于遍历每一个飞蛾位置M'_l＝(m'_l1,m'_l2)，以所述m'_l1作为第l只飞蛾在当前位置时的惩罚系数C，以所述m'_l2作为第l只飞蛾在当前位置时的核宽γ，模拟对应的分类预测模型；

学习准确度计算子单元，用于将所述标准化后的样本数据划分为K折，并将每一折样本数据输入至所述分类预测模型中，计算每一折样本数据对应的学习准确度acc_k；

适应度计算子单元，用于计算K折交叉验证中所获取的学习准确度acc_k的平均值，以所述平均值作为所述飞蛾的适应度f_l。

进一步地，所述第二混沌处理单元包括：

混沌序列化子单元，用于遍历每一个更新后的飞蛾位置M'_l，采用预设的混沌映射函数对更新后的飞蛾位置M'_l进行混沌序列化；

第二映射子单元，用于通过预设的映射函数将混沌序列化后的飞蛾位置M'_l再次映射到所述搜索空间中。

与现有技术相比，本发明实施例将混沌理论的飞蛾优化算法与核极限学习机进行融合；通过对所获取样本数据进行标准化处理；然后采用标准化后的样本数据，通过结合混沌理论的飞蛾优化算法获取核极限学习机的最优惩罚系数C和最优核宽γ；最后根据所述标准化后的样本数据、最优惩罚系数C和最优核宽γ，构建目标分类预测模型；从而解决了现有技术利用网格搜索方法无法得到最优的惩罚系数C与核宽γ的问题，有利于提高所构建模型对指定问题进行分类及预测的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例提供的模型参数优化的方法的实现流程图；

图2是本发明实施例提供的模型参数优化的方法中步骤S102的具体实现流程；

图3是本发明实施例提供的模型参数优化的装置的组成结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例将混沌理论的飞蛾优化算法与核极限学习机进行融合；通过对所获取样本数据进行标准化处理；然后采用标准化后的样本数据，通过结合混沌理论的飞蛾优化算法获取核极限学习机的最优惩罚系数C和最优核宽γ；最后根据所述标准化后的样本数据、最优惩罚系数C和最优核宽γ，构建目标分类预测模型；从而解决了现有技术利用网格搜索方法无法得到最优的惩罚系数C与核宽γ的问题，有利于提高所构建模型对指定问题进行分类及预测的效果。本发明实施例还提供了相应的装置，以下分别进行详细的说明。

图1示出了本发明实施例提供的模型参数优化的方法的实现流程。

在本发明实施例中，所述模型参数优化的方法应用于计算机、服务器等设备。

参阅图1，所述模型参数优化的方法包括：

在步骤S101中，获取样本数据，并对所述样本数据进行标准化处理。

在这里，所述样本数据为与所要构建的目标分类预测模型的应用领域对应的数据集。示例性地，若目标分类预测模型用于乳腺癌疾病智能诊断，则选用乳腺癌数据样本；若目标分类预测模型用于甲状腺结节智能诊断，则选用甲状腺结节数据样本；此处不做限定。所述样本数据中包括多个特征属性值。在获取到样本数据之后，对所述样本数据的各个特征属性值进行标准化。其中，标准化的公式可以为：

在上式中，s_i表示样本数据中的一个特征的属性值，s_i'表示属性值s_i经标准化处理后的值，s_max表示特征的属性值s_i对应的样本数据中的最大值，s_min表示特征的属性值s_i对应的样本数据中的最小值。在本发明实施例中，标准化的作用是将所有特征的属性值都转换到指定大小范围内，以避免较大特征值对较小特征值产生的影响，降低分类模型中的计算量。

在步骤S102中，采用标准化后的样本数据，通过结合混沌理论的飞蛾优化算法获取核极限学习机的最优惩罚系数C和最优核宽γ。

在这里，飞蛾优化算法相对于网格搜索方法具有更好的搜索能力，其通过模拟飞蛾围绕着光源螺旋式飞行的行为方式来获取问题的最优/次优解，然而在面对复杂问题时，飞蛾优化算法容易陷入局部极值不足的问题。而结合混沌理论之后的飞蛾优化算法，则具有了优秀的全局寻代能力，能够获得最优的惩罚系数C和最优核宽γ。

可选地，图2示出了本发明实施例提供的模型参数优化的方法中步骤S102的具体实现流程。

参阅图2，所述步骤S102包括：

在步骤S201中，初始化最大迭代次数T、飞蛾数量L以及搜索空间，其中所述搜索空间为由惩罚系数C的搜索范围[C_min,C_max]和核宽γ的搜索范围[γ_min,γ_max]组成的二维空间。

在步骤S202中，采用混沌映射函数，初始化L只飞蛾中每一只飞蛾在所述搜索空间中的飞蛾位置M'_l，其中M'_l＝(m'_l1,m'_l2)，l∈[1,L]。

本发明实施例将混沌理论引入到飞蛾位置的初始化过程中，首先随机生成第一只飞蛾的位置M₁＝(m₁₁,m₁₂)；然后根据所述第一只飞蛾的位置M₁＝(m₁₁,m₁₂)，按照预设的混沌映射函数获取L-1只飞蛾的位置M_l，其中M_l＝(m_l1,m_l2)，l∈(1,L]。在这里，所述预设的混沌映射函数包括但不限于Chebyshec map(4)、Logisitc map(5)。在得到每一只飞蛾的位置M_l之后，则按照预设的映射函数将每一只飞蛾的位置M_l映射到所述搜索空间中，得到L个飞蛾位置M'_l，其中M'_l＝(m'_l1,m'_l2)，l∈[1,L]。在这里，所述映射函数为M'_l＝a₁+(b₁-a₁)M_l，所述a₁表示搜索范围[C_min,C_max]中的值，b₁表示搜索范围[γ_min,γ_max]中的值，且a₁大于b₁。a₁和b₁共同限定了惩罚系数C和核宽γ的搜索范围。所述飞蛾位置M'_l中的m'_l1表示第l只飞蛾在当前位置时的惩罚系数C，所述m'_l2表示第l只飞蛾在当前位置时的核宽γ。

现有技术在随机生成飞蛾位置时是在一个假设的前提下进行的：即代码中的随机函数在理论上服从均匀分布。相比于通过现有技术随机生成的飞蛾位置，本发明实施例通过采用混沌映射函数初始化所获得的飞蛾位置，其在数值分布是真正意义上的均匀分布，且分布只是针对初始值敏感性，在初始化开始飞蛾算法的个体就具有了更优的适应度值，基于此能够有效提高算法的收敛速度。

在步骤S203中，针对每一个飞蛾位置M'_l计算其对应的飞蛾的适应度f_l。

示例性地，以下以飞蛾位置M'_l来说明适应度f_l的计算过程，上述步骤S203具体包括：

a、针对飞蛾位置M'_l＝(m'_l1,m'_l2)，以所述m'_l1作为第l只飞蛾在当前位置时的惩罚系数C，以所述m'_l2作为第l只飞蛾在当前位置时的核宽γ，模拟对应的分类预测模型；

b、将所述标准化后的样本数据划分为K折，并将每一折样本数据输入至所述分类预测模型中，计算每一折样本数据对应的学习准确度acc_k；

c、计算K折交叉验证中所获取的学习准确度acc_k的平均值，以所述平均值作为所述飞蛾的适应度f_l。

在这里，本发明实施例通过根据第l个飞蛾位置M'_l＝(m'_l1,m'_l2)模拟出所述飞蛾位置M'_l对应的分类预测模型，在所述分类预测模型中，所述m'_l1作为惩罚系数C，所述m'_l2作为核宽γ。然后将标准化后的样本数据划分为K折，以每一折样本数据作为训练数据输入至所述分类预测模型中，计算该折样本数据对应的学习准确度acc_k，1≤k≤K。所述学习准确度acc_k反映了以所述飞蛾位置M'_l中的所述m'_l1作为惩罚系数C和以所述m'_l2作为核宽γ所构建的分类预测模型对第k折样本数据的学习精度。在获取到K折样本数据对应的K个学习准确度acc_k之后，则求取所述K个学习准确度acc_k的平均值ACC，即该平均值反映了根据所述飞蛾位置M'_l＝(m'_l1,m'_l2)构建的所述分类预测模型的分类精度，即第l只飞蛾的飞蛾的适应度f_l。

遍历L个飞蛾位置，对每一个飞蛾位置执行上述步骤a、b、c，得到L个飞蛾的适应度。

在步骤S204中，对所有L个飞蛾的适应度f_l进行排序以及按照适应度f_l的顺序对所有的飞蛾位置M'_l进行排序，参照排序后的所述适应度f_l和飞蛾位置M'_l对光源的位置进行更新。

在获取到L个飞蛾的适应度f_l之后，则按照由大到小对所述适应度f_l进行降序排列，以及按照适应度f_l的顺序对所有的飞蛾位置M'_l进行排序。然后参照排序后的所述适应度f_l和飞蛾位置M'_l对光源的位置进行更新，即两代内获得的飞蛾的适应度f_l降序排序后取前n个值作为光源的适应度值，同时将前n个值对应的飞蛾位置作为光源的位置。

在步骤S205中，根据更新后的光源的位置对所述搜索空间中的每一个飞蛾位置M'_l进行更新。

在这里，本发明实施例根据公式D_l,j＝|F_j-M_l'|计算第l个飞蛾位置到第j个光源之间的距离，其中，F_j表示第j个光源，M'_l表示第l个飞蛾位置，D_l,j表示第l个飞蛾位置到第j个光源之间的距离。然后通过公式S(M_l',F_j)＝D_l,j·e^bt·cos(2·πt)+F_j来更新飞蛾位置M'_l，其中，b表示对数螺旋曲线的一个常系数，t表示飞蛾的下一个位置离对应光源的远近，当t＝-1时，表示飞蛾的下一个位置离光源是最近的，当t＝1时，表示飞蛾的下一个位置离光源是最远的。可选地，t的值可以通过公式t＝(a-1)*rand+1得到，其中的变量a＝-1+I*((-1)/T)，I表示当前的迭代次数。

在步骤S206中，采用混沌映射函数对每一个更新后的飞蛾位置M'_l进行混沌化处理。

在这里，所述对更新后的飞蛾位置M'_l进行混沌化处理具体包括：

遍历每一个更新后的飞蛾位置M'_l，采用预设的混沌映射函数对更新后的飞蛾位置M'_l进行混沌序列化；

通过预设的映射函数将混沌序列化后的飞蛾位置M'_l再次映射到所述搜索空间中。

其中，所述预设的混沌映射函数包括但不限于Chebyshec map(4)、Logisitc map(5)。所述映射函数为M'_l＝a₁+(b₁-a₁)M_l，所述a₁表示搜索范围[C_min,C_max]中的值，b₁表示搜索范围[γ_min,γ_max]中的值，且a₁大于b₁，a₁和b₁共同限定了惩罚系数C和核宽γ的搜索范围。

在本发明实施例中，对更新后的飞蛾位置进行混沌化处理，其意义在于：在进行搜索的同时，保证在择优过程中依然保持飞蛾位置的多样性，以在全局和局部寻优中，保持一个最佳的平衡，也就是：既要在局部中搜索，也要在全局中搜索，且两者的度要恰当，以尽可能地获得最优的惩罚系数C与核宽γ。

在步骤S207中，判断当前迭代次数是否达到最大迭代次数T。

若是时，执行步骤S208，否则，返回步骤S203，对混沌处理后的飞蛾位置M'_l计算其对应的飞蛾的适应度f_l，以进行下一次迭代运算。

在步骤S208中，从混沌化处理后的飞蛾位置M'_l中输出最优的飞蛾位置M'_{l_max}＝(m'_{l1_max},m'_{l2_max})，以得到最优惩罚系数C和核宽γ。

本发明实施实施例通过将混沌理论引用到飞蛾优化算法中，使得飞蛾优化算法具有了优秀的全局寻代能力；然后基于结合混沌理论的飞蛾优化算法来优化核极限学习机的两个关键参数，即惩罚系数C和核宽γ，从而得到最优的核极限学习机参数值。

在步骤S103中，根据所述标准化后的样本数据、最优惩罚系数C和最优核宽γ，构建目标分类预测模型。

在本发明实施例中，所述目标分类预测模型为：

在上式中，s表示待测数据，s₁'、…、s_N'表示标准化后的样本数据，N表示样本数，Ω_ELM为预置的符合Mercer定理构造的核矩阵，O表示目标向量，O＝[o₁,…,o_N]，公式K(s,s_n')＝exp(-γ||s-s_n'||²)，n∈[1,N]。

借助所述目标分类预测模型，用户可以对应用领域范围内的指定问题进行更准确的分类和预测，能够有效地辅助相关机构进行科学合理的智能决策。

综上所述，本发明实施例将混沌理论的飞蛾优化算法与核极限学习机进行融合；通过对所获取样本数据进行标准化处理；然后采用标准化后的样本数据，通过结合混沌理论的飞蛾优化算法获取核极限学习机的最优惩罚系数C和最优核宽γ；最后根据所述标准化后的样本数据、最优惩罚系数C和最优核宽γ，构建目标分类预测模型；从而解决了现有技术利用网格搜索方法无法得到最优的惩罚系数C与核宽γ的问题，有利于提高所构建模型对指定问题进行分类及预测的效果。

图3示出了本发明实施例提供的模型参数优化的装置的组成结构，为了便于说明，仅示出了与本发明实施例相关的部分。

在本发明实施例中，所述装置用于实现上述图1至图2实施例中所述的模型参数优化的方法，可以是内置与计算机、服务器内的软件单元、硬件单元或者软硬件结合的单元。

参阅图3，所述装置包括：

获取模块31，用于获取样本数据，并对所述样本数据进行标准化处理；

优化模块32，用于采用标准化后的样本数据，通过结合混沌理论的飞蛾优化算法获取核极限学习机的最优惩罚系数C和最优核宽γ；

构建模块33，用于根据所述标准化后的样本数据、最优惩罚系数C和最优核宽γ，构建目标分类预测模型；

其中，所述目标分类预测模型为：

在上式中，s表示待测数据，s₁'、…、s_N'表示标准化后的样本数据，N表示样本数，Ω_ELM为预置的符合Mercer定理构造的核矩阵，O表示目标向量，O＝[o₁,…,o_N]，公式K(s,s_n')＝exp(-γ||s-s_n'||²)，n∈[1,N]。

在本发明实施例中，所述样本数据为与所要构建的目标分类预测模型的应用领域对应的数据集。示例性地，若目标分类预测模型用于乳腺癌疾病智能诊断，则选用乳腺癌数据样本；若目标分类预测模型用于甲状腺结节智能诊断，则选用甲状腺结节数据样本；此处不做限定。所述样本数据中包括多个特征属性值。在获取到样本数据之后，对所述样本数据的各个特征属性值进行标准化。其中，标准化的公式可以为：

在上式中，s_i表示样本数据中的一个特征的属性值，s_i'表示属性值s_i经标准化处理后的值，s_max表示特征的属性值s_i对应的样本数据中的最大值，s_min表示特征的属性值s_i对应的样本数据中的最小值。在本发明实施例中，标准化的作用是将所有特征的属性值都转换到指定大小范围内，以避免较大特征值对较小特征值产生的影响，降低分类模型中的计算量。

可选地，所述优化模块32包括：

参数初始化单元321，用于初始化最大迭代次数T、飞蛾数量L以及搜索空间，其中所述搜索空间为由惩罚系数C的搜索范围[C_min,C_max]和核宽γ的搜索范围[γ_min,γ_max]组成的二维空间。

第一混沌处理单元322，用于采用混沌映射函数，初始化L只飞蛾中每一只飞蛾在所述搜索空间中的飞蛾位置M'_l，其中M'_l＝(m'_l1,m'_l2)，l∈[1,L]。

适应度计算单元323，用于针对每一个飞蛾位置M'_l计算其对应的飞蛾的适应度f_l。

光源更新单元324，用于对所有L个飞蛾的适应度f_l进行排序以及按照适应度f_l的顺序对所有的飞蛾位置M'_l进行排序，参照排序后的所述适应度f_l和飞蛾位置M'_l对光源的位置进行更新。

飞蛾位置更新单元325，用于根据更新后的光源的位置对所述搜索空间中的每一个飞蛾位置M'_l进行更新。

第二混沌处理单元326，用于采用混沌映射函数对每一个更新后的飞蛾位置M'_l进行混沌化处理。

判断单元327，用于判断当前迭代次数是否达到最大迭代次数T；若是时，从混沌化处理后的飞蛾位置M'_l中输出最优的飞蛾位置M'_{l_max}＝(m'_{l1_max},m'_{l2_max})，以得到最优惩罚系数C和核宽γ；否则，返回适应度计算单元323对混沌处理后的飞蛾位置M'_l计算其对应的飞蛾的适应度f_l，进行下一次迭代运算。

可选地，所述第一混沌处理单元322还包括:

混沌初始化子单元3221，用于随机生成第一只飞蛾的位置M₁＝(m₁₁,m₁₂)；根据所述第一只飞蛾的位置M₁＝(m₁₁,m₁₂)，按照预设的混沌映射函数获取L-1只飞蛾的位置M_l，其中M_l＝(m_l1,m_l2)，l∈(1,L]；

第一映射子单元3222，用于按照预设的映射函数将每一只飞蛾的位置M_l映射到所述搜索空间中，得到L个飞蛾位置M'_l，其中M'_l＝(m'_l1,m'_l2)，l∈[1,L]；

其中，所述预设的混沌映射函数包括但不限于Chebyshec map(4)、Logisitc map(5)。所述映射函数为M'_l＝a₁+(b₁-a₁)M_l，所述a₁表示搜索范围[C_min,C_max]中的值，b₁表示搜索范围[γ_min,γ_max]中的值，且a₁大于b₁。a₁和b₁共同限定了惩罚系数C和核宽γ的搜索范围。

可选地，所述适应度计算单元323还包括：

模拟子单元3231，用于遍历每一个飞蛾位置M'_l＝(m'_l1,m'_l2)，以所述m'_l1作为第l只飞蛾在当前位置时的惩罚系数C，以所述m'_l2作为第l只飞蛾在当前位置时的核宽γ，模拟对应的分类预测模型；

学习准确度计算子单元3232，用于将所述标准化后的样本数据划分为K折，并将每一折样本数据输入至所述分类预测模型中，计算每一折样本数据对应的学习准确度acc_k；

适应度计算子单元3233，用于计算K折交叉验证中所获取的学习准确度acc_k的平均值，以所述平均值作为所述飞蛾的适应度f_l。

在这里，所述学习准确度acc_k反映了以所述飞蛾位置M'_l中的所述m'_l1作为惩罚系数C和以所述m'_l2作为核宽γ所构建的分类预测模型对第k折样本数据的学习精度。在获取到K折样本数据对应的K个学习准确度acc_k之后，则求取所述K个学习准确度acc_k的平均值ACC，即该平均值反映了根据所述飞蛾位置M'_l＝(m'_l1,m'_l2)构建的所述分类预测模型的分类精度，即第l只飞蛾的飞蛾的适应度f_l。

可选地，所述光源更新单元324可以按照由大到小对所述适应度f_l进行降序排列，以及按照适应度f_l的顺序对所有的飞蛾位置M'_l进行排序。然后参照排序后的所述适应度f_l和飞蛾位置M'_l对光源的位置和适应度进行更新，即两代内获得的飞蛾的适应度f_l降序排序后取前n个值作为光源的适应度值，同时将对应的位置作为光源的位置。

可选地，所述飞蛾位置更新单元325可以根据公式D_l,j＝|F_j-M_l'|计算第l个飞蛾位置到第j个光源之间的距离，其中，F_j表示第j个光源，M'_l表示第l个飞蛾位置，D_l,j表示第l个飞蛾位置到第j个光源之间的距离。然后通过公式S(M_l',F_j)＝D_l,j·e^bt·cos(2·πt)+F_j来更新飞蛾位置M'_l，其中，b表示对数螺旋曲线的一个常系数，t表示飞蛾的下一个位置离对应光源的远近，当t＝-1时，表示飞蛾的下一个位置离光源是最近的，当t＝1时，表示飞蛾的下一个位置离光源是最远的。在这里，t的值可以通过公式t＝(a-1)*rand+1得到，其中的变量a＝-1+I*((-1)/T)，I表示当前的迭代次数。

可选地，所述第二混沌处理单元326还包括：

混沌序列化子单元3261，用于遍历每一个更新后的飞蛾位置M'_l，采用预设的混沌映射函数对更新后的飞蛾位置M'_l进行混沌序列化；

第二映射子单元3262，用于通过预设的映射函数将混沌序列化后的飞蛾位置M'_l再次映射到所述搜索空间中。

同样地，所述预设的混沌映射函数包括但不限于Chebyshec map(4)、Logisitcmap(5)。所述映射函数为M'_l＝a₁+(b₁-a₁)M_l，所述a₁表示搜索范围[C_min,C_max]中的值，b₁表示搜索范围[γ_min,γ_max]中的值，且a₁大于b₁，a₁和b₁共同限定了惩罚系数C和核宽γ的搜索范围。

需要说明的是，本发明实施例中的装置可以用于实现上述方法实施例中的全部技术方案，其各个功能模块的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可参照上述实例中的相关描述，此处不再赘述。

综上所述，本发明实施例将混沌理论的飞蛾优化算法与核极限学习机进行融合；通过对所获取样本数据进行标准化处理；然后采用标准化后的样本数据，通过结合混沌理论的飞蛾优化算法获取核极限学习机的最优惩罚系数C和最优核宽γ；最后根据所述标准化后的样本数据、最优惩罚系数C和最优核宽γ，构建目标分类预测模型；从而解决了现有技术利用网格搜索方法无法得到最优的惩罚系数C与核宽γ的问题，有利于提高所构建模型对指定问题进行分类及预测的效果。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法及装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块、单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元、模块单独物理存在，也可以两个或两个以上单元、模块集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种模型参数优化的方法，其特征在于，所述方法包括：

获取样本数据，并对所述样本数据进行标准化处理；

采用标准化后的样本数据，通过结合混沌理论的飞蛾优化算法获取核极限学习机的最优惩罚系数C和最优核宽γ；

根据所述标准化后的样本数据、最优惩罚系数C和最优核宽γ，构建目标分类预测模型；

其中，所述目标分类预测模型为：

$f\left(s\right)={\left[\begin{array}{c}K(s,{s_1}^{\′})\\ .\\ .\\ .\\ K(s,{s_N}^{\′})\end{array}\right]}^T{(\frac{1}{C}+{\mathrm{\Ω}}_{ELM})}^{-1}O;$

在上式中，s表示待测数据，s₁'，…，s_N'表示标准化后的样本数据，N表示样本数，Ω_ELM为预置的符合Mercer定理构造的核矩阵，O表示目标向量，O＝[o₁,…,o_N]，公式K(s,s_n')＝exp(-γ||s-s_n'||²)，n∈[1,N]。

2.如权利要求1所述的模型参数优化的方法，其特征在于，所述采用标准化后的样本数据，通过结合混沌理论的飞蛾优化算法获取核极限学习机的最优惩罚系数C和最优核宽γ包括：

A：初始化最大迭代次数T、飞蛾数量L以及搜索空间，其中所述搜索空间为由惩罚系数C的搜索范围[C_min,C_max]和核宽γ的搜索范围[γ_min,γ_max]组成的二维空间；

B：采用混沌映射函数，初始化L只飞蛾中每一只飞蛾在所述搜索空间中的飞蛾位置M'_l，其中M'_l＝(m'_l1,m'_l2)，l∈[1,L]；

C：针对每一个飞蛾位置M'_l计算其对应的飞蛾的适应度f_l；

D：对所有L个飞蛾的适应度f_l进行排序以及按照适应度f_l的顺序对所有的飞蛾位置M'_l进行排序，参照排序后的所述适应度f_l和飞蛾位置M'_l对光源的位置进行更新；

E：根据更新后的光源的位置对所述搜索空间中的每一个飞蛾位置M'_l进行更新；

F：采用混沌映射函数对每一个更新后的飞蛾位置M'_l进行混沌化处理；

G：判断当前迭代次数是否达到最大迭代次数T；若是时，从混沌化处理后的飞蛾位置M'_l中输出最优的飞蛾位置M'_{l_max}＝(m'_{l1_max},m'_{l2_max})，以得到最优惩罚系数C和核宽γ；否则，返回步骤C，以计算混沌处理后的飞蛾位置M'_l对应的飞蛾的适应度f_l，进行下一次迭代运算。

3.如权利要求2所述的模型参数优化的方法，其特征在于，所述采用混沌映射函数，初始化L只飞蛾中每一只飞蛾在所述搜索空间中的飞蛾位置M'_l包括:

随机生成第一只飞蛾的位置M₁＝(m₁₁,m₁₂)；

根据所述第一只飞蛾的位置M₁＝(m₁₁,m₁₂)，按照预设的混沌映射函数获取L-1只飞蛾的位置M_l，其中M_l＝(m_l1,m_l2)，l∈(1,L]；

按照预设的映射函数将每一只飞蛾的位置M_l映射到所述搜索空间中，得到L个飞蛾位置M'_l，其中M'_l＝(m'_l1,m'_l2)，l∈[1,L]；

所述映射函数为M'_l＝a₁+(b₁-a₁)M_l，其中，所述a₁表示搜索范围[C_min,C_max]中的值，b₁表示搜索范围[γ_min,γ_max]中的值，且a₁大于b₁。

4.如权利要求2或3所述的模型参数优化的方法，其特征在于，所述针对每一个飞蛾位置M'_l计算其对应的飞蛾的适应度f_l包括：

遍历每一个飞蛾位置M'_l＝(m'_l1,m'_l2)，以所述m'_l1作为第l只飞蛾在当前位置时的惩罚系数C，以所述m'_l2作为第l只飞蛾在当前位置时的核宽γ，模拟对应的分类预测模型；

将所述标准化后的样本数据划分为K折，并将每一折样本数据输入至所述分类预测模型中，计算每一折样本数据对应的学习准确度acc_k；

计算K折交叉验证中所获取的学习准确度acc_k的平均值，以所述平均值作为所述飞蛾的适应度f_l。

5.如权利要求2或3所述的模型参数优化的方法，其特征在于，所述采用混沌映射函数对每一个更新后的飞蛾位置M'_l进行混沌化处理包括：

遍历每一个更新后的飞蛾位置M'_l，采用预设的混沌映射函数对更新后的飞蛾位置M'_l进行混沌序列化；

通过预设的映射函数将混沌序列化后的飞蛾位置M'_l再次映射到所述搜索空间中。

6.一种模型参数优化的装置，其特征在于，所述装置包括：

获取模块，用于获取样本数据，并对所述样本数据进行标准化处理；

优化模块，用于采用标准化后的样本数据，通过结合混沌理论的飞蛾优化算法获取核极限学习机的最优惩罚系数C和最优核宽γ；

构建模块，用于根据所述标准化后的样本数据、最优惩罚系数C和最优核宽γ，构建目标分类预测模型；

其中，所述目标分类预测模型为：

$f\left(s\right)={\left[\begin{array}{c}K(s,{s_1}^{\′})\\ .\\ .\\ .\\ K(s,{s_N}^{\′})\end{array}\right]}^T{(\frac{1}{C}+{\mathrm{\Ω}}_{ELM})}^{-1}O;$

在上式中，s表示待测数据，s₁'，…，s_N'表示标准化后的样本数据，N表示样本数，Ω_ELM为预置的符合Mercer定理构造的核矩阵，O表示目标向量，O＝[o₁,…,o_N]，公式K(s,s_n')＝exp(-γ||s-s_n'||²)，n∈[1,N]。

7.如权利要求6所述的模型参数优化的装置，其特征在于，所述优化模块包括：

参数初始化单元，用于初始化最大迭代次数T、飞蛾数量L以及搜索空间，其中所述搜索空间为由惩罚系数C的搜索范围[C_min,C_max]和核宽γ的搜索范围[γ_min,γ_max]组成的二维空间；

第一混沌处理单元，用于采用混沌映射函数，初始化L只飞蛾中每一只飞蛾在所述搜索空间中的飞蛾位置M'_l，其中M'_l＝(m'_l1,m'_l2)，l∈[1,L]；

适应度计算单元，用于针对每一个飞蛾位置M'_l计算其对应的飞蛾的适应度f_l；

光源更新单元，用于对所有L个飞蛾的适应度f_l进行排序以及按照适应度f_l的顺序对所有的飞蛾位置M'_l进行排序，参照排序后的所述适应度f_l和飞蛾位置M'_l对光源的位置进行更新；

飞蛾位置更新单元，用于根据更新后的光源的位置对所述搜索空间中的每一个飞蛾位置M'_l进行更新；

第二混沌处理单元，用于采用混沌映射函数对每一个更新后的飞蛾位置M'_l进行混沌化处理；

判断单元，用于判断当前迭代次数是否达到最大迭代次数T；若是时，从混沌化处理后的飞蛾位置M'_l中输出最优的飞蛾位置M'_{l_max}＝(m'_{l1_max},m'_{l2_max})，以得到最优惩罚系数C和核宽γ；否则，返回适应度计算单元对混沌处理后的飞蛾位置M'_l计算其对应的飞蛾的适应度f_l，进行下一次迭代运算。

8.如权利要求7所述的模型参数优化的装置，其特征在于，所述第一混沌处理单元包括:

混沌初始化子单元，用于随机生成第一只飞蛾的位置M₁＝(m₁₁,m₁₂)；根据所述第一只飞蛾的位置M₁＝(m₁₁,m₁₂)，按照预设的混沌映射函数获取L-1只飞蛾的位置M_l，其中M_l＝(m_l1,m_l2)，l∈(1,L]；

第一映射子单元，用于按照预设的映射函数将每一只飞蛾的位置M_l映射到所述搜索空间中，得到L个飞蛾位置M'_l，其中M'_l＝(m'_l1,m'_l2)，l∈[1,L]；

所述映射函数为M'_l＝a₁+(b₁-a₁)M_l，其中，所述a₁表示搜索范围[C_min,C_max]中的值，b₁表示搜索范围[γ_min,γ_max]中的值，且a₁大于b₁。

9.如权利要求7或8所述的模型参数优化的装置，其特征在于，所述适应度计算单元包括：

模拟子单元，用于遍历每一个飞蛾位置M'_l＝(m'_l1,m'_l2)，以所述m'_l1作为第l只飞蛾在当前位置时的惩罚系数C，以所述m'_l2作为第l只飞蛾在当前位置时的核宽γ，模拟对应的分类预测模型；

学习准确度计算子单元，用于将所述标准化后的样本数据划分为K折，并将每一折样本数据输入至所述分类预测模型中，计算每一折样本数据对应的学习准确度acc_k；

适应度计算子单元，用于计算K折交叉验证中所获取的学习准确度acc_k的平均值，以所述平均值作为所述飞蛾的适应度f_l。

10.如权利要求7或8所述的模型参数优化的装置，其特征在于，所述第二混沌处理单元包括：

混沌序列化子单元，用于遍历每一个更新后的飞蛾位置M'_l，采用预设的混沌映射函数对更新后的飞蛾位置M'_l进行混沌序列化；

第二映射子单元，用于通过预设的映射函数将混沌序列化后的飞蛾位置M'_l再次映射到所述搜索空间中。