CN110288075A - 一种基于改进混合蛙跳算法的特征选择方法 - Google Patents

Abstract

本发明公开了一种基于改进混合蛙跳算法的特征选择方法，包括以下步骤：S1、初始化混合蛙跳算法的相关参数；S2、关联性矩阵初始化；S3、种群初始化，随机生成F只青蛙；S4、找出全局适应度最高的青蛙个体，其适应度记为X_best；S5、将种群划分为M个族群；S6、在每个族群内进行更新操作；S7、将所有的族群重新合并成种群，重新按适应度排序，并找出全局适应度最高的青蛙个体，更新X_best；S8、判断当前是否达到全局最大迭代次数，若是则输出结果X_best；否则返回步骤S5。本发明在局部迭代次数达到已定义的局部搜索迭代次数之后，族群重新混合成种群，族群之间的思想在混合过程中进行了交换，换使算法具有更好的全局搜索能力，避免搜索陷入局部最优。

Description

一种基于改进混合蛙跳算法的特征选择方法

技术领域

本发明属于机器学习领域，特别涉及一种基于改进混合蛙跳算法的特征选择方法。

背景技术

随着人工智能和机器学习的发展和普及，机器学习方法被应用到各个领域。特征选择是机器学习中的重要环节，也是机器学习领域中的重要研究内容。

特征选择通过对数据集中的特征进行筛选，删除无关和冗余特征，从而提高训练模型的准确性，并且提高模型的训练速度。在机器学习的实际应用场景中通常会提取大量的特征来更好地刻画数据。然而，并不是所有的特性都是重要的，因为其中可能会存在一些冗余的、与分类任务无关的，甚至是存在干扰作用的特征。这些特征可能会降低分类器的性能，增加计算量，从而导致机器学习模型训练时间过长。而特征选择是对这些特征进行筛选，删除无关特征，从而将高维的特征空间转换到低维空间，同时不能显著降低分类的精度。

许多研究者将群体智能算法应用在特征选择问题上，并取得了比较好的效果。其中比较典型的有遗传算法、粒子群算法、蚁群算法等，但是遗传算法操作较为繁琐，变异机制导致算法的稳定性变差，训练量增大，训练时间较长。粒子群算法虽然没有遗传算法中复杂的交叉、变异等操作，仅利用个体经验和种群特征进行自适应调整，规则较为简单，收敛速度较快，但是容易陷入局部最优解，导致收敛精度低、收敛速度慢的缺点。而蚁群算法同样也是存在参数较多、实现复杂的缺点。因此，提出一种更加简单、高效、准确的特征选择方法，对于降低机器学习的计算复杂度，提高分类精度具有重要意义。

发明内容

本发明的目的在于克服现有技术的不足，提供一种保证每次跳跃是朝族群最优个体所在方向跳跃，族群之间的思想在混合过程中进行了交换，使算法具有更好的全局搜索能力，能够避免搜索陷入局部最优的基于改进混合蛙跳算法的特征选择方法。

本发明的目的是通过以下技术方案来实现的：一种基于改进混合蛙跳算法的特征选择方法，包括以下步骤：

S1、初始化混合蛙跳算法的相关参数，包括青蛙种群总数F，族群数M，每个族群中青蛙数目n，局部最大迭代次数J，全局最大迭代次数T，数据集中特征数目s；

S2、关联性矩阵初始化；

S3、种群初始化，随机生成F只青蛙，记为种群P＝{X₁,X₂,X₃,…,X_F}；

S4、根据适应度函数和关联矩阵计算当前种群每只青蛙的适应度值，找出全局适应度最高的青蛙个体，其适应度记为X_best；

S5、将种群P划分为M个族群：Y₁,Y₂,Y₃,…,Y_M，每个族群中有n只青蛙；

S6、在每个族群内进行更新操作；

S7、将所有的族群重新合并成种群，重新按适应度排序，并找出全局适应度最高的青蛙个体，更新X_best；

S8、判断当前是否达到全局最大迭代次数，若是则输出结果X_best；否则返回步骤S5，直至达到全局最大迭代次数。

进一步地，所述步骤S2中关联特征矩阵根据对称不确定度SU来计算：

其中H(X)表示香农熵，H(X,Y)表示香农联合熵；X、Y为随机事件，p(x_i)表示随机事件X为x_i的概率；p(x,y)为随机事件X为x且随机事件Y为y的的联合概率；

根据公式(1)，计算特征子集中特征与特征之间，以及特征与类别之间的关联性，得到关联性矩阵如下：

其中F_i表示数据集中所有样本的第i个特征的值组成的向量，C表示数据集中所有类别组成的向量。

进一步地，所述步骤S3中，P＝{X₁,X₂,X₃,…,X_F}，X_i＝{x_i,1,x_i,2，...,x_i,s}表示第i只青蛙的位置，该位置为s维空间中的二进制字符串，表示候选特征集合的一个子集；其中x_i,j为1表示当前特征子集选中了特征集合中第j个特征，为0表示当前特征子集未选中特征集合中第j个特征；1≤i≤F，1≤j≤s，x_i,j∈{0,1}。

进一步地，所述步骤S4中，适应度函数用为公式(2)来计算：

k表示特征子集中包含的特征个数；表示特征和类别之间的平均相关度，表示特征之间的平均相关度；相关度用公式(1)中SU计算，和均根据公式(1)和cor矩阵进行计算，如公式(3)和公式(4)所示：

k表示特征子集中包含的特征个数；表示特征和类别之间的平均相关度，表示特征之间的平均相关度；相关度用公式(1)中SU计算，和均根据公式(1)和cor矩阵进行计算，如公式(3)和公式(4)所示：

公式(3)和(4)中k表示特征子集中的特征数，x_i,j,x_i,l分别表示X_i中第j位和第l位。

公式(2)的核心思想是，一个好的特征子集，特征与类之间具有高度相关性，而特征之间彼此不相关，所以公式(2)中，当类与特征之间的相关性越高即越大时，或特征之间相关度越低即越小时，f(X_i)越大。

进一步地，所述步骤S5中，种群P划分规则为：Y_j＝{X_i,j|X_i,j＝X_i+n(j-1)}，X_i,j表示第j个族群中第i只青蛙，X_i+n(j-1)表示种群P中第i+n(j-1)只青蛙；即第1只青蛙被分配到第1个族群，第二只青蛙被分配到第2个族群，以此类推，第M只青蛙被分配到第M个族群，第一轮分配结束后，将第M+1～M+M只青蛙依次分配到第1～M个族群中群；以此类推，直至所有青蛙分配完毕。

进一步地，所述步骤S6中族群内更新策略是模仿青蛙跳跃的过程，每个族群中，适应度最低的青蛙，朝着适应度最高的青蛙所在的位置进行跳跃，而步长就表示跳跃的距离；

步骤S6具体包括以下子步骤：

S61、寻找当前族群内适应度最高的青蛙，其适应度用X_b表示，寻找当前族群中适应度最差的个体，其适应度用X_w表示；

S62、确定青蛙跳跃步长D，如公式(5)、(6)所示：

其中sgn()表示符号函数，rand(0,1)表示0-1之间的均与分布的随机数；

其中运算符表示向量按位相乘，X_b表示族群中适应度最高的个体，X_w表示族群中适应度最低的个体；

S63、按照公式(7)更新X_w到X′_w：

X'_w＝X_w+D (7)；

S64、判断f(X′_w)＞f(X_w)是否成立，若是则利用X′_w代替X_w，执行步骤S66；否则执行步骤S65；

S65、利用X_best代替公式(6)中的X_b，重复执行S62和S63；判断新产生的X′_w是否满足f(X′_w)＞f(X_w)，若是则利用X′_w代替X_w，执行步骤S66；否则随机机生成一只新的青蛙，代替X_w，执行步骤S66；

S66、局部迭代次数j＝j+1，判断j>J是否成立，若是则本次族群内更新结束，否则返回步骤S61。

本发明的有益效果是：本发明提出一种改进二进制混合蛙跳算法，并结合基于关联性的特征选择(CFS)，将改进后的混合蛙跳算法用于特征选择，以使混合蛙跳算法适用于特征选择的搜索过程，加快搜索速度。并结合改进混合蛙跳算法和CFS提出CFS-BSFLA算法，具体为使用CFS中的特征关联性作为混合蛙跳算法中的青蛙的适应度的衡量指标，利用改进二进制混合蛙跳算法进行搜索，从而找到适应度最优的青蛙个体。在保证每次跳跃是朝族群最优个体所在方向跳跃的同时，也保证了每次跳跃到的新位置对于本问题具有意义，即产生给的新解仍然处于二进制解空间之中。同时，跳跃步长仍然具有随机性，保证了个体的多样性，在局部迭代次数达到已定义的局部搜索迭代次数之后，族群重新混合成种群，族群之间的思想在混合过程中进行了交换，即种群中的青蛙个体会重新按照适应度降序排序，然后按一定规则重新划分族群。各个族群间的思想交换使算法具有更好的全局搜索能力，避免搜索陷入局部最优。

附图说明

图1为本发明的跳跃过程示意图；

图2为本发明的基于改进混合蛙跳算法的特征选择方法的流程图。

具体实施方式

本发明提出一种改进二进制混合蛙跳算法，并结合基于关联性的特征选择(CFS)，将改进后的混合蛙跳算法用于特征选择，以使混合蛙跳算法适用于特征选择的搜索过程，加快搜索速度。并结合改进混合蛙跳算法和CFS提出CFS-BSFLA算法。具体为使用CFS中的特征关联性作为混合蛙跳算法中的青蛙的适应度的衡量指标，利用改进二进制混合蛙跳算法进行搜索，从而找到适应度最优的青蛙个体。

CFS-BSFLA算法思想为：借鉴青蛙觅食过程中的种群、族群、跳跃、信息交流等生物现象进行种群优化，寻找适应度最高的个体，是一种基于群体的协同搜索算法。算法将特征子集映射为青蛙种群中的青蛙个体的位置坐标X_i＝{x_i,1,x_i,2，...,x_i,s},(x_i,j∈{0,1})，其中x_i,j为1表示当前特征子集选中了特征集合中第j个特征，为0表示当前特征子集未选中特征集合中第j个特征。采用个体对应的特征子集的特征关联性(CFS)作为青蛙个体的适应度函数评价个体的适应度的高低。种群(解集)由一群具有相同结构的青蛙(解)组成。整个种群被分为多个族群，不同的族群被认为是具有不同思想的青蛙的集合。族群中青蛙按照族群中适应度最低的个体向着族群中适应度最高的个体所在的位置跳跃，即局部最差的解向局部最优的解靠近，以此执行解空间中的局部深度搜索。区别于传统的混合蛙跳算法的跳跃只适用于连续空间的优化问题，CFS-BSFLA针对特征选择问题的解空间为二进制空间的情况，对跳跃过程进行了改进，具体改进如公式(5)、公式(6)和公式(7)所示，跳跃示例可参见附图1。保证每次跳跃是朝族群最优个体所在方向跳跃的同时，也保证了每次跳跃到的新位置对于本问题具有意义，即产生给的新解仍然处于二进制解空间之中。同时，跳跃步长仍然具有随机性，保证了个体的多样性，在局部迭代次数达到已定义的局部搜索迭代次数之后，族群重新混合成种群，族群之间的思想在混合过程中进行了交换，即种群中的青蛙个体会重新按照适应度降序排序，然后按一定规则重新划分族群。各个族群间的思想交换使算法具有更好的全局搜索能力，避免搜索陷入局部最优。局部搜索和混合过程一直持续到定义的收敛条件结束为止。

下面结合附图进一步说明本发明的技术方案。如图2所示，一种基于改进混合蛙跳算法的特征选择方法，包括以下步骤：

S1、初始化混合蛙跳算法的相关参数，包括青蛙种群总数F，族群数M，每个族群中青蛙数目n，局部最大迭代次数J，全局最大迭代次数T，数据集中特征数目s；

S2、关联性矩阵初始化；关联特征矩阵根据对称不确定度SU来计算：

其中H(X)表示香农熵，H(X,Y)表示香农联合熵；X、Y为随机事件，p(x_i)表示随机事件X为x_i的概率；p(x,y)为随机事件X为x且随机事件Y为y的的联合概率；

根据公式(1)，计算特征子集中特征与特征之间，以及特征与类别之间的关联性，得到关联性矩阵如下：

其中F_i表示数据集中所有样本的第i个特征的值组成的向量，C表示数据集中所有类别组成的向量。

S3、种群初始化，随机生成F只青蛙，记为种群P＝{X₁,X₂,X₃,…,X_F}，X_i＝{x_i,1,x_i,2，...,x_i,s}表示第i只青蛙的位置，该位置为s维空间中的二进制字符串，表示候选特征集合的一个子集；其中x_i,j为1表示当前特征子集选中了特征集合中第j个特征，为0表示当前特征子集未选中特征集合中第j个特征；1≤i≤F，1≤j≤s，x_i,j∈{0,1}。

S4、根据适应度函数和关联矩阵计算当前种群每只青蛙的适应度值，找出全局适应度最高的青蛙个体，其适应度记为X_best；适应度函数用为公式(2)来计算：

k表示特征子集中包含的特征个数；表示特征和类别之间的平均相关度，表示特征之间的平均相关度；相关度用公式(1)中SU计算，和均根据公式(1)和cor矩阵进行计算，如公式(3)和公式(4)所示：

公式(3)和(4)中k表示特征子集中的特征数，x_i,j,x_i,l分别表示X_i中第j位和第l位。

S5、将种群P划分为M个族群：Y₁,Y₂,Y₃,…,Y_M，每个族群中有n只青蛙；种群P划分规则为：Y_j＝{X_i,j|X_i,j＝X_i+n(j-1)}，X_i,j表示第j个族群中第i只青蛙，X_i+n(j-1)表示种群P中第i+n(j-1)只青蛙；即第1只青蛙被分配到第1个族群，第二只青蛙被分配到第2个族群，以此类推，第M只青蛙被分配到第M个族群，第一轮分配结束后，将第M+1～M+M只青蛙依次分配到第1～M个族群中群；以此类推，直至所有青蛙分配完毕。

S6、在每个族群内进行更新操作；族群内更新策略是模仿青蛙跳跃的过程，每个族群中，适应度最低的青蛙，朝着适应度最高的青蛙所在的位置进行跳跃，而步长就表示跳跃的距离；

步骤S6具体包括以下子步骤：

S61、寻找当前族群内适应度最高的青蛙，其适应度用X_b表示，寻找当前族群中适应度最差的个体，其适应度用X_w表示；

S62、确定青蛙跳跃步长D，如公式(5)、(6)所示：

其中sgn()表示符号函数，rand(0,1)表示0-1之间的均与分布的随机数；

其中运算符表示向量按位相乘，X_b表示族群中适应度最高的个体，X_w表示族群中适应度最低的个体；

S63、按照公式(7)更新X_w到X′_w：

X'_w＝X_w+D (7)；

S64、判断f(X′_w)＞f(X_w)是否成立，若是则利用X′_w代替X_w，执行步骤S66；否则执行步骤S65；

S65、利用X_best代替公式(6)中的X_b，重复执行S62和S63；判断新产生的X′_w是否满足f(X′_w)＞f(X_w)，若是则利用X′_w代替X_w，执行步骤S66；否则随机机生成一只新的青蛙，代替X_w，执行步骤S66；

S66、局部迭代次数j＝j+1，判断j>J是否成立，若是则本次族群内更新结束，否则返回步骤S61。

S7、将所有的族群重新合并成种群，重新按适应度排序，并找出全局适应度最高的青蛙个体，更新X_best；

S8、判断当前是否达到全局最大迭代次数，若是则输出结果X_best；否则返回步骤S5，直至达到全局最大迭代次数。

通过计算机进行计算，CFS-BSFLA算法为：

输入：训练数据集和测试数据集；

种群中青蛙总数F；

青蛙族群数M；

每个族群中青蛙总数N；

局部最大迭代次数J；

全局最大迭代次数T；

数据集中特征总数s；

输出：选择的特征子集X_best

描述：(1)初始化青蛙种群P，随机生成F只青蛙P＝{X₁,X₂,X₃,…,X_F}

(2)for i＝1→F do

根据公式(2)(3)(4)计算个体的适应度f(X_i)

end for

(3)for t＝1→T do

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于改进混合蛙跳算法的特征选择方法，其特征在于，包括以下步骤：

S1、初始化混合蛙跳算法的相关参数，包括青蛙种群总数F，族群数M，每个族群中青蛙数目n，局部最大迭代次数J，全局最大迭代次数T，数据集中特征数目s；

S2、关联性矩阵初始化；

S3、种群初始化，随机生成F只青蛙，记为种群P＝{X₁,X₂,X₃,…,X_F}；

S4、根据适应度函数和关联矩阵计算当前种群每只青蛙的适应度值，找出全局适应度最高的青蛙个体，其适应度记为X_best；

S5、将种群P划分为M个族群：Y₁,Y₂,Y₃,…,Y_M，每个族群中有n只青蛙；

S6、在每个族群内进行更新操作；

S7、将所有的族群重新合并成种群，重新按适应度排序，并找出全局适应度最高的青蛙个体，更新X_best；

S8、判断当前是否达到全局最大迭代次数，若是则输出结果X_best；否则返回步骤S5，直至达到全局最大迭代次数。

2.根据权利要求1所述的一种基于改进混合蛙跳算法的特征选择方法，其特征在于，所述步骤S2中关联特征矩阵根据对称不确定度SU来计算：

其中H(X)表示香农熵，H(X,Y)表示香农联合熵；X、Y为随机事件，p(x_i)表示随机事件X为x_i的概率；p(x,y)为随机事件X为x且随机事件Y为y的的联合概率；

根据公式(1)，计算特征子集中特征与特征之间，以及特征与类别之间的关联性，得到关联性矩阵如下：

其中F_i表示数据集中所有样本的第i个特征的值组成的向量，C表示数据集中所有类别组成的向量。

3.根据权利要求1所述的一种基于改进混合蛙跳算法的特征选择方法，其特征在于，所述步骤S3中，P＝{X₁,X₂,X₃,…,X_F}，X_i＝{x_i,1,x_i,2，...,x_i,s}表示第i只青蛙的位置，该位置为s维空间中的二进制字符串，表示候选特征集合的一个子集；其中x_i,j为1表示当前特征子集选中了特征集合中第j个特征，为0表示当前特征子集未选中特征集合中第j个特征；1≤i≤F，1≤j≤s，x_i,j∈{0,1}。

4.根据权利要求1所述的一种基于改进混合蛙跳算法的特征选择方法，其特征在于，所述步骤S4中，适应度函数用为公式(2)来计算：

k表示特征子集中包含的特征个数；表示特征和类别之间的平均相关度，表示特征之间的平均相关度；相关度用公式(1)中SU计算，和均根据公式(1)和cor矩阵进行计算，如公式(3)和公式(4)所示：

公式(3)和(4)中k表示特征子集中的特征数，x_i,j,x_i,l分别表示X_i中第j位和第l位。

5.根据权利要求1所述的一种基于改进混合蛙跳算法的特征选择方法，其特征在于，所述步骤S5中，种群P划分规则为：Y_j＝{X_i,j|X_i,j＝X_i+n(j-1)}，X_i,j表示第j个族群中第i只青蛙，X_i+n(j-1)表示种群P中第i+n(j-1)只青蛙；即第1只青蛙被分配到第1个族群，第二只青蛙被分配到第2个族群，以此类推，第M只青蛙被分配到第M个族群，第一轮分配结束后，将第M+1～M+M只青蛙依次分配到第1～M个族群中群；以此类推，直至所有青蛙分配完毕。

6.根据权利要求1所述的一种基于改进混合蛙跳算法的特征选择方法，其特征在于，所述步骤S6中族群内更新策略是模仿青蛙跳跃的过程，每个族群中，适应度最低的青蛙，朝着适应度最高的青蛙所在的位置进行跳跃，而步长就表示跳跃的距离；

步骤S6具体包括以下子步骤：

S61、令局部迭代次数j＝1，并寻找当前族群内适应度最高的青蛙，其适应度用X_b表示，寻找当前族群中适应度最差的个体，其适应度用X_w表示；

S62、确定青蛙跳跃步长D，如公式(5)、(6)所示：

其中sgn()表示符号函数，rand(0,1)表示0-1之间的均与分布的随机数；

其中运算符表示向量按位相乘，X_b表示族群中适应度最高的个体，X_w表示族群中适应度最低的个体；

S63、按照公式(7)更新X_w到X′_w：

X'_w＝X_w+D (7)；

S64、判断f(X′_w)＞f(X_w)是否成立，若是则利用X′_w代替X_w，执行步骤S66；否则执行步骤S65；

S65、利用X_best代替公式(6)中的X_b，重复执行S62和S63；判断新产生的X′_w是否满足f(X′_w)＞f(X_w)，若是则利用X′_w代替X_w，执行步骤S66；否则随机机生成一只新的青蛙，代替X_w，执行步骤S66；

S66、局部迭代次数j＝j+1，判断j>J是否成立，若是则本次族群内更新结束，否则返回步骤S61。