CN109598296A - 一种基于改进飞蛾扑火k均值聚类方法 - Google Patents

Abstract

本发明公开了一种基于改进飞蛾扑火K均值聚类方法，首先输入标准数据集即飞蛾群，根据数据集类别的个数来确定该数据集中类的个数；其次，使用最大最小距离积法来确定初始飞蛾，计算除去初始飞蛾的其他飞蛾到初始飞蛾的距离，根据最小距离来进行聚类的划分；接着，使用飞蛾扑火算法对每一个类都得到新的聚类中心，最后，使用飞蛾扑火算法和K均值方法不断交替更新聚类中心点，直到达到规定的迭代次数为止，最终所得到的聚类中心点就是最终聚类中心点。

Description

一种基于改进飞蛾扑火K均值聚类方法

技术领域

本发明属于群智能方法领域，具体涉及一种基于改进飞蛾扑火K均值聚类方法。

背景技术

随着人们对生命本质的不断了解，生命科学正以前所未有的速度发展，使人工智能的研究开始摆脱经典逻辑计算的束缚，大胆探索起新的非经典计算途径。在这种背景下，社会性动物(如蚁群、蜂群、鸟群等)的自组织行为引起了人们的广泛关注。社会性动物的妙处在于：个体的行为都很简单，但当一起协同工作时，却能够凸现出智能的行为特证。对这种行为进行数学建模并用计算机对其进行仿真，这就是群智能方法。

群智能方法成为越来越多研究者的关注焦点，与人工生命与遗传方法有着极为特殊的联系。群智能方法研究领域已经有多种方法，如最早的蚁群方法和粒子群方法，新兴的人工蜂群方法、狼群方法、鱼群方法等多种方法。群智能方法可以求解整数规划问题、连续优化问题以及聚类问题等多种问题。所以能够分析出更多有生物学原理的方法，并对其进行建立数学模型有着重要的意义。

聚类分析是数据挖掘领域中的一个重要分支,是人们认识和探索事物之间内在联系的有效手段,它既可以用作独立的数据挖掘工具,来发现数据库中数据分布的一些深入信息,也可以作为其他数据挖掘方法的预处理步骤。所谓聚类(clus-tering)就是将数据对象分组成为多个类或簇(cluster),在同一个簇中的对象之间具有较高的相似度,而不同簇中的对象差别较大。K均值聚类(K-Means Clustering，KMC)方法是一种基于划分思想的聚类方法，它具有思路简单、聚类快速、局部搜索能力强的优点，但也存在对初始聚类中心选择敏感、全局搜索能力较差、聚类效率和精度低的局限性问题。

发明内容

本发明的目的在于一种基于改进飞蛾扑火K均值聚类方法，以克服上述现有技术存在的缺陷，本发明不仅克服了原始方法易陷入局部最优解的的缺点，而且使得方法收敛速度加快很多。

为达到上述目的，本发明采用如下技术方案：

一种基于改进飞蛾扑火K均值聚类方法，包括以下步骤：

步骤1：输入标准数据集即飞蛾群，根据数据集类别的个数确定该数据集中类的个数class_number；

步骤2：根据最大最小距离积法确定每个类的初始聚类中心点；

步骤3：计算飞蛾群中的某个点到每个初始聚类中心的距离，当该点与某一初始聚类中心的距离最小时，则把该点与这个初始聚类归并为一类，依此将所有的点归并到相应的初始聚类中；

步骤4：使用飞蛾扑火算法确定步骤3中归并之后的每个类的新聚类中心；

步骤5：利用步骤4得到的新的聚类中心对飞蛾群进行K均值迭代聚类，根据聚类划分，用每一类的新的聚类中心再次更新当前的飞蛾群，当迭代次数没有达到设定的迭代次数时，转向步骤3，直到达到设定的迭代次数，结束。

进一步地，步骤1中标准数据集为UCI标准数据集中的Iris数据集、Balance-scale数据集或Glass数据集。

进一步地，当数据集为Iris时，class_number＝3，当数据集为Balance-scale时，class_number＝3，当数据集为Glass时，class_number＝6。

进一步地，步骤2具体包括以下步骤：

步骤2.1：从集合D中随机选取点Z1作为第一个初始点，将其加入集合Z并从集合D中删除；

步骤2.2：计算更新后D中所有元素到Z1的距离，选取距离Z1最大的点为Z2；

步骤2.3：将点Z2加入集合Z并从集合D中删除；

步骤2.4：分别计算更新后D中元素到Z中各个元素的距离并存入Temp中；

步骤2.5：计算D中每个元素对应的Temp的最大值与最小值的乘积，取该值最大对应的点存入集合Z中并从集合D中删除；若Z中元素个数小于k，则转到步骤2.3，若Z中元素个数大于k，则聚类初始点选取结束，输出包含k个初始点的集合Z，即为得到的初始聚类中心点；

其中:D是包含所有标准数据集的集合；N是初始飞蛾群的个数；k是要选取的初始点个数；Z是存储待加入的k个初始点的集合，Z初始为空集；Temp是存储Z中各个元素到D中各个元素乘积结果的数组。

进一步地，步骤3中距离计算公式如式(1)所示：

式中，变量i取值为从1到(N-k),变量j取值为从1到k，Distance矩阵的大小为(N-k)*k，代表的是除去初始飞蛾的其他飞蛾到初始飞蛾所组成的矩阵，D_i代表的是标准数据集D去掉初始飞蛾的数据集中的第i个飞蛾，取值从1到(N-k),C_j代表的是第j聚类中心点，取值为从1到k。

进一步地，步骤4具体过程如下：计算某一初始类中每个飞蛾的适应度，并按照飞蛾适应度大小排序，然后利用飞蛾扑火算法的位置更新机制来更新飞蛾的位置，再次计算飞蛾的适应度，并按飞蛾适应度大小排序，每次适应度的第一个值为最佳飞蛾，依次迭代到规定的迭代次数后停止，最终取第一个位置对应的飞蛾作为新的聚类中心，新的聚类中心即为飞蛾扑火中的火焰，火焰是飞蛾到目前为止获取的最佳位置。

进一步地，计算适应度时所采用的适应度函数如式(2)所示：

fitness_i＝CN_i/J_i；i＝1,2，…，N (2)

其中，CN_i表示属于第i类的点的个数；由得出J_i表示的是第i类的类内对象x_i到中心点C_i的距离之和；

采用式(3)更新每一只飞蛾相对于火焰的位置：

M_i＝S(M_i，F_j) (3)

式中，M_i表示第i只飞蛾，F_j表示第j个火焰，S为螺旋形函数；飞蛾的主要更新机制选取了对数螺旋线，并定义对数螺旋线如式(4)：

S(M_i，F_j)＝P_i·e^bt·cos(2πt)+F_j (4)

式中，P_i表示第i个飞蛾与第j个飞蛾之间的距离，b为定义对螺旋形状的常数，t为[-1,1]之间的一个随机数，P由式(5)计算求得：

P_i＝|F_j-M_i| (5)

式中，M_i表示第i飞蛾，F_j表示第j个火焰，P_i表示第i个飞蛾与第j个火焰之间的距离；

采用式(6)使火焰的数量在迭代过程中自适应减少：

式中，l为当前迭代次数，M为火焰数量的最大值，T为最大迭代次数。

与现有技术相比，本发明具有以下有益的技术效果：

本发明结合K均值方法的思路简单、聚类快速、局部搜索能力强的优点和飞蛾扑火算法的能够利用每个火焰位置来更新飞蛾位置的特点避免了陷入局部最优解的优点，将飞蛾扑火算法与K均值方法结合起来。但由于结合之后的方法关于初始点的选取还是随机化的，本发明提出了一种改进飞蛾扑火K均值聚类方法，该方法利用最大最小距离积方法初始化飞蛾群，构造出适应K均值方法的适应度函数以及一种基于全局引导的位置更新公式以提高迭代寻优过程的效率。最终本发明方法收敛速度快且全局搜索性能好，有效的解决了原始K均值方法和原始飞蛾扑火算法的不足之处。

附图说明

图1是本发明的流程示意图；

图2是最大最小距离积法方法流程图；

图3是本发明与飞蛾扑火算法的对比，其中，(a)使用Glass数据的飞蛾扑火算法的迭代图，(b)使用Glass数据的本发明方法的迭代图，(c)使用Iris数据的飞蛾扑火算法的迭代图，(d)使用Iris数据的本发明方法的迭代图。

具体实施方式

下面结合附图对本发明作进一步详细描述：

现有的K均值方法的聚类中心初始值是随机选取的，其结果与初始聚类中心有关，所以极易陷入局部最优解，影响最终结果的准确率，同时，现阶段的飞蛾扑火算法收敛速度比较慢，求解精度不足的缺点。针对以上问题，本发明提供一种基于改进飞蛾扑火K均值聚类方法，参见图1，既利用了K均值方法的思路简单、聚类快速、局部搜索能力强的优点，又利用了飞蛾扑火算法的能够利用每个火焰位置来更新飞蛾位置的特点避免了陷入局部最优解的优点来达到良好的聚类效果。具体思路是，针对传统的解聚类中心方法中的初始聚类中心点选取的随机性导致极易陷入局部最优解的问题，首先提出使用最大最小距离积法来确定初始聚类中心点即初始化飞蛾群。该方法不仅克服了飞蛾群初始化的随机性，也为后面的K均值聚类降低了对初始点的敏感性。接着使用飞蛾扑火算法和K均值方法不断交替更新聚类中心点，直到达到规定的迭代次数为止。此时的聚类中心点就是我们最终所求的聚类中心。

本发明从飞蛾群的初始化以及适应度函数方面对飞蛾扑火算法进行了改进，从而克服了原始方法初始化随机性和易陷入局部最优解等问题。将改进的飞蛾扑火群方法与K均值方法结合解决了K均值方法全局搜索能力差的问题。本发明方法的有效性相比于传统方法有了很大的改善，而且在优化效率、优化性能上都有较大改善。

具体步骤如下：

步骤1：输入标准数据集即飞蛾群，根据数据集类别的个数来确定该数据集中类的个数class_number。这里的数据集使用的是UCI标准数据集中的Iris、Balance-scale和Glass数据集，这三种数据集的特征如表1所示。

表1数据集

步骤2：根据最大最小距离积法来确定初始聚类中心点即初始化飞蛾群。

最大最小距离积法流程如图2所示，具体包括

步骤2.1：从集合D中随机选取点Z1作为第一个初始点，将其加入集合Z并从集合D中删除；

步骤2.2：计算更新后D中所有元素到Z1的距离，选取距离Z1最大的点为Z2；

步骤2.3：将点Z2加入集合Z并从集合D中删除；

步骤2.4：分别计算更新后D中元素到Z中各个元素的距离并存入Temp中；

步骤2.5：计算D中每个元素对应的Temp的最大值与最小值的乘积，取该值最大对应的点存入集合Z中并从集合D中删除，若Z中元素个数小于k，则转到步骤2.3，若Z中元素个数大于k，则聚类初始点选取结束，输出包含k个初始点的集合Z，即为得到的初始聚类中心点；

其中:D是包含所有标准数据集的集合；N是初始飞蛾群的个数；k是要选取的初始点个数；Z是存储待加入的k个初始点的集合，Z初始为空集；Temp是存储Z中各个元素到D中各个元素乘积结果的数组。方法流程如图2所示。

通过该方法的思想和步骤可以看出，该方法所需参数少，使用(max(Temp)*min(Temp))的乘积能选取到点密度较大的点，稀疏了初始点的分布；而且通过这样的处理，不仅可以大概率地避免出现两个距离积相等而它们所在区域的点密度又相差很大的情况，同时也能用乘积放大点与点之间的差异，使得选取过程更具区分度。

步骤3：计算某个点到每个初始聚类中心的距离，选择对应该点到每个初始聚类中心的最小距离，若是最小距离，则把该点与这个初始聚类归并为一类。同样用此方法，把所有的点归并到相应的类中。距离计算公式如公式(1)。

式中，变量i取值为从1到(N-k),变量j取值为从1到k，Distance矩阵的大小为(N-k)*k，代表的是除去初始飞蛾的其他飞蛾到初始飞蛾所组成的矩阵，D_i代表的是标准数据集D去掉初始飞蛾的数据集中的第i个飞蛾，取值从1到(N-k),C_j代表的是第j聚类中心点，取值为从1到k。

步骤4：使用飞蛾扑火算法确定步骤3中归并之后的每个类的新聚类中心；具体的飞蛾扑火算法为先计算某一类中每个飞蛾的适应度，并按照飞蛾适应度大小排序，然后利用飞蛾扑火算法的位置更新机制来更新飞蛾的位置，再次计算飞蛾的适应度，并按飞蛾适应度大小排序，所以每次下来适应度的第一个值总是最佳飞蛾，依次迭代到规定的迭代次数I1停止。最终取第一个位置对应的飞蛾作为新的聚类中心，新的聚类中心即为飞蛾扑火中的火焰，火焰是飞蛾到目前为止获取的最佳位置。适应度函数将引导群体进化的方向，直接决定了群体的进化行为、迭代的次数和解的质量，不同的适应度函数会得出不同优劣程度的解。所以，结合飞蛾群迭代搜索过程以及K均值方法思想提出一种新的适应度函数，如式(2)所示。

fitness_i＝CN_i/J_i；i＝1,2，…，N (2)

其中，CN_i表示属于第i类的点的个数；由得出J_i表示的是第i类的类内对象x_i到中心点C_i的距离之和；

为了精确的模拟飞蛾的行为，可以使用式(3)更新每一只飞蛾相对于火焰的位置。

M_i＝S(M_i，F_j) (3)

此处M_i表示第i只飞蛾，F_j表示第j个火焰，S为螺旋形函数。飞蛾的主要更新机制选取了对数螺旋线，并定义对数螺旋线如式(4)

S(M_i，F_j)＝P_i·e^bt·cos(2πt)+F_j (4)

此处P_i表示第i个飞蛾与第j个飞蛾之间的距离，b为定义对螺旋形状的常数，t为[-1,1]之间的一个小数点后保留四位数字的随机数。P由式(5)计算求得：

P_i＝|F_j-M_i| (5)

此处M_i表示第i飞蛾，F_j表示第j个火焰，P_i表示第i个飞蛾与第j个火焰之间的距离。

式(4)模拟了飞蛾的移动路径，并确定了飞蛾相对于火焰的下一个位置。在这个等式中，参数t定义为飞蛾在下一个位置应当接近火焰的程度(t＝-1是最接近火焰的位置，而t＝1说明距离火焰最远的位置)。在式(4)中仅仅需要飞蛾朝向火焰移动，但是它却导致了MFO方法很快陷入局部最优。为了避免这种情况，每个飞蛾不得不仅使用式(4)中的一个火焰来更新它们的位置。它每一次迭代更新火焰列表后，火焰根据它们的适应度值来排序，然后飞蛾更新它们相对于相应火焰的位置。第一只飞蛾总是更新相对于最优火焰的位置，而最后那个飞蛾更新列表中相对于最差火焰位置。

使用式(6)可以使用火焰的数量在迭代过程中自适应减少：

此处l为当前迭代次数，M为火焰数量的最大值，T为最大迭代次数。

式(6)表明在迭代初始步骤中存在数量为M的火焰。而在迭代的最后，飞蛾仅使用最好的火焰更新它们的位置。飞蛾数量上的逐渐减少平衡了在搜索空间里的探测与开采。

步骤5:将上一步得到聚类中心，对飞蛾群进行一次K均值迭代聚类，根据聚类划分，用每一类的新的聚类中心再次更新飞蛾群，当迭代次数没有达到规定的迭代次数时，转向步骤3。直到达到规定的迭代次数，方法结束。

图3横坐标为迭代次数，纵坐标为飞蛾的适应度值，从图3的(a)、(b)图中可以看出本发明方法迭代速度比飞蛾扑火算法速度快，同时本发明的飞蛾适应度值比飞蛾扑火算法的适应度值低，则证明本发明所求聚类中心更精准。同时图3的(c)、(d)图中也可以看出本发明方法迭代速度比飞蛾扑火算法速度快，并且本发明的飞蛾适应度值比飞蛾扑火算法的适应度值低，则证明本发明所求聚类中心更精准。具体数值由表2、表3组成。

表2使用Glass数据集三种方法结果对比表

表3使用Iris数据集三种方法结果对比表

由表2和表3可知，无论是在聚类中心更合理方面，还是在收敛速度方面，本发明方法皆优于单独的飞蛾扑火算法和K均值方法。

Claims (7)

1.一种基于改进飞蛾扑火K均值聚类方法，其特征在于，包括以下步骤：

步骤1：输入标准数据集即飞蛾群，根据数据集类别的个数确定该数据集中类的个数class_number；

步骤2：根据最大最小距离积法确定每个类的初始聚类中心点；

步骤3：计算飞蛾群中的某个点到每个初始聚类中心的距离，当该点与某一初始聚类中心的距离最小时，则把该点与这个初始聚类归并为一类，依此将所有的点归并到相应的初始聚类中；

步骤4：使用飞蛾扑火算法确定步骤3中归并之后的每个类的新聚类中心；

步骤5：利用步骤4得到的新的聚类中心对飞蛾群进行K均值迭代聚类，根据聚类划分，用每一类的新的聚类中心再次更新当前的飞蛾群，当迭代次数没有达到设定的迭代次数时，转向步骤3，直到达到设定的迭代次数，结束。

2.根据权利要求1所述的一种基于改进飞蛾扑火K均值聚类方法，其特征在于，步骤1中标准数据集为UCI标准数据集中的Iris数据集、Balance-scale数据集或Glass数据集。

3.根据权利要求2所述的一种基于改进飞蛾扑火K均值聚类方法，其特征在于，当数据集为Iris时，class_number＝3，当数据集为Balance-scale时，class_number＝3，当数据集为Glass时，class_number＝6。

4.根据权利要求1所述的一种基于改进飞蛾扑火K均值聚类方法，其特征在于，步骤2具体包括以下步骤：

步骤2.1：从集合D中随机选取点Z1作为第一个初始点，将其加入集合Z并从集合D中删除；

步骤2.2：计算更新后D中所有元素到Z1的距离，选取距离Z1最大的点为Z2；

步骤2.3：将点Z2加入集合Z并从集合D中删除；

步骤2.4：分别计算更新后D中元素到Z中各个元素的距离并存入Temp中；

步骤2.5：计算D中每个元素对应的Temp的最大值与最小值的乘积，取该值最大对应的点存入集合Z中并从集合D中删除；若Z中元素个数小于k，则转到步骤2.3，若Z中元素个数大于k，则聚类初始点选取结束，输出包含k个初始点的集合Z，即为得到的初始聚类中心点；

其中:D是包含所有标准数据集的集合；N是初始飞蛾群的个数；k是要选取的初始点个数；Z是存储待加入的k个初始点的集合，Z初始为空集；Temp是存储Z中各个元素到D中各个元素乘积结果的数组。

5.根据权利要求4所述的一种基于改进飞蛾扑火K均值聚类方法，其特征在于，步骤3中距离计算公式如式(1)所示：

式中，变量i取值为从1到(N-k),变量j取值为从1到k，Distance矩阵的大小为(N-k)*k，代表的是除去初始飞蛾的其他飞蛾到初始飞蛾所组成的矩阵，D_i代表的是标准数据集D去掉初始飞蛾的数据集中的第i个飞蛾，取值从1到(N-k),C_j代表的是第j聚类中心点，取值为从1到k。

6.根据权利要求5所述的一种基于改进飞蛾扑火K均值聚类方法，其特征在于，步骤4具体过程如下：计算某一初始类中每个飞蛾的适应度，并按照飞蛾适应度大小排序，然后利用飞蛾扑火算法的位置更新机制来更新飞蛾的位置，再次计算飞蛾的适应度，并按飞蛾适应度大小排序，每次适应度的第一个值为最佳飞蛾，依次迭代到规定的迭代次数后停止，最终取第一个位置对应的飞蛾作为新的聚类中心，新的聚类中心即为飞蛾扑火中的火焰，火焰是飞蛾到目前为止获取的最佳位置。

7.根据权利要求6所述的一种基于改进飞蛾扑火K均值聚类方法，其特征在于，计算适应度时所采用的适应度函数如式(2)所示：

fitness_i＝CN_i/J_i；i＝1,2，…，N (2)

其中，CN_i表示属于第i类的点的个数；由得出J_i表示的是第i类的类内对象x_i到中心点C_i的距离之和；

采用式(3)更新每一只飞蛾相对于火焰的位置：

M_i＝S(M_i，F_j) (3)

式中，M_i表示第i只飞蛾，F_j表示第j个火焰，S为螺旋形函数；飞蛾的主要更新机制选取了对数螺旋线，并定义对数螺旋线如式(4)：

S(M_i，F_j)＝P_i·e^bt·cos(2πt)+F_j (4)

式中，P_i表示第i个飞蛾与第j个飞蛾之间的距离，b为定义对螺旋形状的常数，t为[-1,1]之间的一个随机数，P由式(5)计算求得：

P_i＝|F_j-M_i| (5)

式中，M_i表示第i飞蛾，F_j表示第j个火焰，P_i表示第i个飞蛾与第j个火焰之间的距离；

采用式(6)使火焰的数量在迭代过程中自适应减少：

式中，l为当前迭代次数，M为火焰数量的最大值，T为最大迭代次数。