CN107203785A

CN107203785A - 多路径高斯核模糊c均值聚类算法

Info

Publication number: CN107203785A
Application number: CN201710408630.6A
Authority: CN
Inventors: 文传军; 陈荣军; 刘福燕
Original assignee: Changzhou Institute of Technology
Current assignee: Changzhou Institute of Technology
Priority date: 2017-06-02
Filing date: 2017-06-02
Publication date: 2017-09-26

Abstract

本发明公开了一种多路径高斯核模糊c均值聚类算法，包括如下步骤：1.对样本集合依MGKFCM目标函数最小化原则进行最优化划分；2.初始化聚类中心并利用梯度迭代公式计算模糊隶属度和目标函数值1；3.利用粒子群算法估计聚类中心并计算模糊隶属度和目标函数值2；4.根据目标函数值1和目标函数值2，选择目标函数值小的聚类中心作为迭代路径；5.计算得到MGKFCM目标函数。本发明综合了梯度法和粒子群算法两种高斯核聚类算法迭代路径，选择聚类目标函数值小的路径作为参数迭代路径，有效利用了两种算法的优化性能，达到了提升了聚类算法的聚类性能的目的。

Description

多路径高斯核模糊c均值聚类算法

技术领域

本发明属于数据挖掘领域进行无监督数据分类的算法，具体的说是一种多路径高斯核模糊c均值聚类算法。

背景技术

基于目标函数的模糊聚类方法具有类别模糊关系刻画、聚类问题数学形式表达、非线性规划优化理论等优点，因此成为聚类分析领域的研究主流。此类算法的典型算法包括模糊c均值聚类(FCM)、可能性c均值聚类算法(PCM)及推广算法，被广泛应用于图像处理、模式识别、计算机视觉等领域。

核方法利用核函数表示高维特征空间中内积运算，能够将低维输入空间的非线性关系投影为高维特征空间的线性关系，提升了模式间的区分性能，且无需明确知道具体的非线性映射形式，克服了机器学习的维数灾难，所以也被研究者引入模糊聚类领域并取得成功的应用。

核方法首先被Girolami和张莉、焦李成引入硬核聚类算法，在此基础上核方法被进一步的应用于模糊聚类算法，应用的关键和难点在于聚类中心的表示上。伍忠东等人将核方法引入模糊c均值聚类算法得到核模糊c均值聚类算法(kernel fuzzy c-meansclustering algorithm,KFCM)，该KFCM算法利用梯度法和核聚类目标函数，在特征空间中得到聚类中心Φ(v_i)的迭代公式，但由于非线性映射函数Φ(·)的不可知性，所以将其分别与非线性映射样本Φ(x_j)和特征空间聚类中心Φ(v_i)作内积运算并利用核函数表示，从而将Φ(v_i)以隐式方式蕴藏在核聚类算法中，因此称此类核聚类算法为隐核模糊c均值聚类算法(hidden kernel fuzzy c-means clustering algorithm:HKFCM)，HKFCM算法容易受到模糊指标的影响而导致聚类效果较差。

Zhang D Q等人提出了另外一种形式的核模糊c均值聚类算法，它将核聚类目标函数中的核函数取为Gauss核函数，由于Gauss核函数的特殊性，因此可以在输入空间结合梯度法和核聚类目标函数，得到由聚类中心v_i和模糊隶属度u_ij所构成的聚类中心v_i迭代计算公式，核聚类算法为Gauss核模糊c均值聚类算法(Guass kernel fuzzy c-meansclustering algorithm:GKFCM)，GKFCM算法在迭代计算时需要首先对聚类中心v_i作初始化，由于其较好的聚类性能而应用广泛。

于德亮等人运用粒子群生物进化算法(Particle Swarm Optimization:PSO)在聚类中心v_i解空间中全局搜索优解，并基于核聚类目标函数构造适应度函数，称该核聚类算法为PSO核模糊c均值聚类算法(PSO kernel fuzzy c-means clustering algorithm:PSO-KFCM)，PSO-KFCM和GKFCM一样是基于输入空间的，且都需要对聚类中心v_i作初始化。

这些核模糊聚类算法都有着不同的聚类中心推导原理和参数迭代估计路径，不同的参数迭代路径即意味着不同的优解产生，一个自然的想法即是将这些参数迭代路径结合起来，从而搜索出更加优良的参数估计解，以提高核聚类算法的聚类性能。

发明内容

本发明为了进一步提升聚类算法的分类性能，充分利用各种核模糊聚类算法的非线性聚类能力，提出一种多路径高斯核模糊c均值聚类算法，目的在于充分利用不同核模糊聚类算法的分类信息，在参数估计迭代路径上进行优化信息结合，以提升聚类算法的聚类优化性能。

为了实现上述发明目的，本发明采用如下技术方案：

本发明多路径高斯核模糊c均值聚类算法，包括如下步骤：

步骤1：令X＝{x₁,x₂,L,x_j,L,x_n}表示给定的样本集合，x_j表示第j个样本；1≤j≤n，n是样本的个数；对样本集合X进行最优化划分，使得目标函数值J_KFCM最小，其中J_KFCM由式(1)所确定。

在式(1)中，c表示划分的类别数，1≤i≤c，u_ij表示第j个样本x_j隶属于第i类的模糊隶属度，0≤u_ij≤1，且有表示第j个样本x_j归属于各类的模糊隶属度的和为1；U＝{u_ij,i＝1,L,c；j＝1,L,n}表示隶属度矩阵，m(m＞1)为模糊指标，为u_ij的m次；d_Kij表示基于核函数K(·,·)空间下第j个样本x_j与第i类聚类中心的距离v_i，并且有：

d_Kij ²＝||Φ(x_j)-Φ(v_i)||²＝<Φ(x_j)-Φ(v_i),Φ(x_j)-Φ(v_i)>＝K(x_j,x_j)+K(v_i,v_i)-2K(x_j,v_i) (2)

式(2)中，Φ(x_j)表示第j个样本非线性映射到高维特征空间中的映射函数；并且有：

<Φ(x_j),Φ(v_i)>＝K(x_j,v_i) (3)

式(4)为高斯核函数，σ∈R为尺度因子。

当核函数K(·,·)取值高斯核函数式(4)时，有：

K_G(x,x)＝1 (5)

则式(2)在高斯核函数下则转换为：

步骤2：初始化输入空间聚类中心v_i ⁽⁰⁾，i＝1,...,c；定义迭代次数为λ，最大迭代次数为λ_max；初始化λ＝1，则第λ次迭代的隶属矩阵为U^(λ)＝{u_ij ^(λ),i＝1,...,c,j＝1,...,n}，第λ次迭代的聚类中心为v_i ^(λ)，聚类中心矩阵为V^(λ)＝{v_i ^(λ),i＝1,...,c}。

步骤3：依聚类中心v_i ^(λ-1)结合式(7)计算得到样本模糊隶属度u_ij ^(λ)。

式(7)中，K_G表示高斯核函数，表示第λ次迭代时第j个样本x_j隶属于第i类的模糊隶属度，v_i ^(λ-1)表示第λ-1次迭代时第i类的聚类中心，i＝1,...,c，j＝1,...,n。

根据模糊隶属度u_ij ^(λ)及聚类中心v_i ^(λ-1)，结合式(8)，得到更新的梯度聚类中心v_i ^(λ)(1)。

步骤5：再利用模糊隶属度u_ij ^(λ)和更新的梯度聚类中心v_i ^(λ)(1)，以及目标函数式(1)，得到第一个目标函数值J₁ ^(λ)。

步骤6：将聚类中心v_i ^(λ)(1)作为PSO算法的一个初始解，结合u_ij ^(λ)及式(1)、(9)及PSO算法得到更新的PSO聚类中心v_i ^(λ)(2)。

步骤7：再利用模糊隶属度u_ij ^(λ)和更新的PSO聚类中心v_i ^(λ)(2)，以及目标函数式(1)，得到第二个目标函数值J₂ ^(λ)。

步骤8：比较两个目标函数值J₁ ^(λ)和J₂ ^(λ)的大小，若J₁ ^(λ)小于J₂ ^(λ)，记目标函数值J^(λ)＝J₁ ^(λ)，v_i ^(λ)＝v_i ^(λ)(1)，若J₁ ^(λ)大于J₂ ^(λ)，记目标函数值J^(λ)＝J₂ ^(λ)，v_i ^(λ)＝v_i ^(λ)(2)。

步骤9：判断||v_i ^(λ)-v_i ^(λ-1)||＜ε或λ＞λ_max，若成立，则u_ij ^(λ)为迭代算法参数估计出的最优模糊隶属度，并令u_ij ^(λ)＝u_ij，v_i ^(λ)＝v_i代入式(1)中，进而实现对样本集合X的最优划分，ε，λ_max是事先给定的阈值。若不成立，则令λ＝λ+1，重复步骤3顺序执行，直到条件满足为止。

与已有技术相比，本发明的有益效果体现在：

1.多路径高斯核模糊c均值聚类算法(MGKFCM)在每次迭代时，会并行产生两种聚类中心，梯度法聚类中心v_i ⁽¹⁾(t+1)和PSO聚类中心v_i ⁽²⁾(t+1)，对应生成两种目标函数值J_MGKFCM ⁽¹⁾(t+1)及J_MGKFCM ⁽²⁾(t+1)，当J_MGKFCM ⁽¹⁾(t+1)小于J_MGKFCM ⁽²⁾(t+1)时，则MGKFCM算法聚类中心第t+1迭代v_i(t+1)选择为v_i ⁽¹⁾(t+1)，反之则选择为v_i ⁽²⁾(t+1)，因此MGKFCM算法的迭代路径有多种可能并且有多条路径选择，而不是仅仅依赖于梯度法迭代路径或PSO搜索迭代路径。MGKFCMs算法的多种路径选择特性说明了MGKFCM算法兼有梯度法和PSO算法优解搜索的长处，从而能够更加快速有效的确定对参数的估计。

2.MGKFCM算法不仅能够利用GKFCM算法的梯度信息，还能够结合PSO—KFCM算法的生物全局优解搜索性能，从而实现多种优解的充分借鉴，更好的从数据集中挖掘类别区分性能，达到提升聚类算法分类性能的目的。

具体实施方式

在本实施例中，构造三类二维高斯数据集作算法比对测试，三类二维高斯数据集的中心分别为(5，5)、(10、5)、(7.59.5826)，这三个中心构成一个等边三角形，即三类数据集的中心是等距的，且三类高斯数据集的协方差矩阵都为[20,02]，协方差矩阵用以反应数据集的离散程度，三类数据集的样本数都取为50。因为多路径高斯核模糊c均值聚类算法(以下简称MGKFCM算法)结合了GKFCM算法和PSO-KFCM算法的优势，所以为了验证MGKFCM算法的有效性，将MGKFCM算法与GKFCM算法和PSO-KFCM算法的作比较测试。

多路径高斯核模糊c均值聚类算法是按如下步骤进行：

步骤1：令X＝{x₁,x₂,L,x_j,L,x_n}表示给定的样本集合，x_j表示第j个样本；1≤j≤n，n是样本的个数；对样本集合X进行最优化划分，使得目标函数值J_KFCM最小，其中J_KFCM由式(1)所确定。MGKFCM算法、GKFCM算法、PSO-KFCM算法的测试结果分别如表1、表2、表3所示。

在测试时，三种核聚类算法都选用Gauss核函数，Gauss核函数需要对Gauss核参数σ赋值，取核参数σ取值范围为[2¹,2²,2³,2⁴]，聚类算法模糊指标m取值为[2,3,4]。

每种聚类算法根据参数和数据集进行10次测试，计算各类聚类平均精度。MGKFCM、GKFCM、PSO-KFCM算法均选择对聚类中心做初始化。在MGKFCM及PSO-KFCM算法的有关PSO算法的初始化设置中，每个粒子的维数为c×d维，c＝3为类别数，d＝2对应了样本的维数，每个粒子的位置为6维，每2维分量对应了某一类的聚类中心，并取粒子位置的每维分量取值范围为[0，10]，PSO算法适应度函数定义为式(9)，粒子数取为20，迭代次数50次。直接利用PSO算法搜索解的测试结果并不理想，这是因为在高维输入空间中，存在多个局部极值点，有的极值点的聚类效果并不好，当PSO算法在搜索时落入了这些局部极值点，则导致聚类算法失效，因此利用FCM算法首先作聚类分析，然后将所得三类聚类中心串联作为一个初始粒子值代入PSO算法中。

表1 MGKFCM算法基于高斯数据集的测试结果

表2 GKFCM算法基于高斯数据集的测试结果

表3 PSO-KFCM算法基于高斯数据集的测试结果

MGKFCM算法基于高斯数据集的最高平均分类精度为95.00，最低平均分类精度为94.33，在聚类平均精度的基础上，再取聚类平均精度的平均为94.70。GKFCMs算法基于高斯数据集的最高平均分类精度为94.00，最低平均分类精度为93.33，聚类平均精度再平均为93.56。PSO-KFCMs算法基于高斯数据集的最高平均分类精度为94.00，在参数σ＝4m＝4时取得，最低平均分类精度为92.67，聚类平均精度的再平均为93.47。基于高斯数据集的对比测试表明，从最高平均分类精度、最低平均分类精度、聚类平均精度的再平均三个指标而言，MGKFCM算法能够表现出相对于GKFCM、PSO-KFCM算法更好的聚类性能，同时也说明MGKFCM算法对GKFCM、PSO-KFCM两算法各自优势的有效利用。

d_Kij ²＝||Φ(x_j)-Φ(v_i)||²＝<Φ(x_j)-Φ(v_i),Φ(x_j)-Φ(v_i)〉＝K(x_j,x_j)+K(v_i,v_i)-2K(x_j,v_i) (2)

<Φ(x_j),Φ(v_i)>＝K(x_j,v_i) (3)

式(4)为高斯核函数，σ∈R为尺度因子。

当核函数K(·,·)取值高斯核函数式(4)时，有：

K_G(x,x)＝1 (5)

则式(2)在高斯核函数下则转换为：

由表1、2、3的对比实验可以说明，多路径高斯核模糊c均值聚类算法综合有效的利用GKFCM算法中梯度信息和PSO算法在生物进化参数寻优的优势，通过在迭代路径中的结合，将二者的不同原理的数据挖掘能力进行了互补和提升，从而获得了更加有有效的聚类表现，因此能够在数据挖掘、模式分类等领域有着较强的实际应用价值。

综上所述，本发明的多路径高斯核模糊c均值聚类算法(MGKFCM)包括如下步骤：1.对样本集合依MGKFCM目标函数最小化原则进行最优化划分；2.初始化聚类中心并利用梯度迭代公式计算模糊隶属度和目标函数值1；3.利用粒子群算法估计聚类中心并计算模糊隶属度和目标函数值2；4.根据目标函数值1和目标函数值2，选择目标函数值小的聚类中心作为迭代路径；5.计算得到MGKFCM目标函数。本发明综合了梯度法和粒子群算法两种高斯核聚类算法迭代路径，选择聚类目标函数值小的路径作为参数迭代路径，有效利用了两种算法的优化性能，达到了提升聚类算法的聚类性能的目的。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.多路径高斯核模糊c均值聚类算法，包括如下步骤：

步骤1：对样本集合依MGKFCM目标函数最小化原则进行最优化划分；

步骤2：初始化聚类中心并利用梯度迭代公式计算模糊隶属度和第一目标函数值；

步骤3：利用粒子群算法估计聚类中心并计算模糊隶属度和第二目标函数值；

步骤4：根据第一目标函数值和第二目标函数值，选择目标函数值小的聚类中心作为迭代路径；

步骤5：计算得到MGKFCM目标函数。

2.根据权利要求1所述的多路径高斯核模糊c均值聚类算法，其特征在于：所述步骤1具体包括：令X＝{x₁,x₂,L,x_j,L,x_n}表示给定的样本集合，x_j表示第j个样本；1≤j≤n，n是样本的个数；对样本集合X进行最优化划分，使得目标函数值J_KFCM最小。

3.根据权利要求1所述的多路径高斯核模糊c均值聚类算法，其特征在于：所述步骤2具体包括：

步骤2-1：初始化输入空间聚类中心v_i ⁽⁰⁾，i＝1,…,c；定义迭代次数为λ，最大迭代次数为λ_max；初始化λ＝1，则第λ次迭代的隶属矩阵为U^(λ)＝{u_ij ^(λ),i＝1,...,c,j＝1,...,n}，第λ次迭代的聚类中心为v_i ^(λ)，聚类中心矩阵为V^(λ)＝{v_i ^(λ),i＝1,...,c}；

步骤2-2：依聚类中心v_i ^(λ-1)结合式(7)计算得到样本模糊隶属度u_ij ^(λ)：

式(7)中，K_G表示高斯核函数，表示第λ次迭代时第j个样本x_j隶属于第i类的模糊隶属度，v_i ^(λ-1)表示第λ-1次迭代时第i类的聚类中心，i＝1,...,c，j＝1,...,n；

步骤2-3：根据模糊隶属度u_ij ^(λ)及聚类中心v_i ^(λ-1)，结合式(8)，得到更新的梯度聚类中心v_i ^(λ)(1)：

步骤2-4：再利用模糊隶属度u_ij ^(λ)和更新的梯度聚类中心v_i ^(λ)(1)，以及目标函数式(1)，得到第一个目标函数值J₁ ^(λ)。

4.根据权利要求1所述的多路径高斯核模糊c均值聚类算法，其特征在于：所述步骤3具体包括：

步骤3-1：将聚类中心v_i ^(λ)(1)作为PSO算法的一个初始解，结合u_ij ^(λ)及式(1)、(9)及PSO算法得到更新的PSO聚类中心v_i ^(λ)(2)：

步骤3-2：再利用模糊隶属度u_ij ^(λ)和更新的PSO聚类中心v_i ^(λ)(2)，以及目标函数式(1)，得到第二个目标函数值J₂ ^(λ)。

5.根据权利要求1所述的多路径高斯核模糊c均值聚类算法，其特征在于：所述步骤4具体包括：比较两个目标函数值J₁ ^(λ)和J₂ ^(λ)的大小，若J₁ ^(λ)小于J₂ ^(λ)，记目标函数值J^(λ)＝J₁ ^(λ)，v_i ^(λ)＝v_i ^(λ)(1)，若J₁ ^(λ)大于J₂ ^(λ)，记目标函数值J^(λ)＝J₂ ^(λ)，v_i ^(λ)＝v_i ^(λ)(2)。

6.根据权利要求1所述的多路径高斯核模糊c均值聚类算法，其特征在于：所述步骤5具体包括：判断||v_i ^(λ)-v_i ^(λ-1)||＜ε或λ＞λ_max，若成立，则u_ij ^(λ)为迭代算法参数估计出的最优模糊隶属度，并令u_ij ^(λ)＝u_ij，v_i ^(λ)＝v_i代入式(1)中，进而实现对样本集合X的最优划分，ε，λ_max是事先给定的阈值；若不成立，则令λ＝λ+1，重复步骤2-2顺序执行，直到条件满足为止。

7.根据权利要求1所述的多路径高斯核模糊c均值聚类算法，其特征在于：所述步骤1中，J_KFCM由式(1)所确定：

在式(1)中，c表示划分的类别数，1≤i≤c，u_ij表示第j个样本x_j隶属于第i类的模糊隶属度，0≤u_ij≤1，且有表示第j个样本x_j归属于各类的模糊隶属度的和为1； U＝{u_ij,i＝1,L,c；j＝1,L,n}表示隶属度矩阵，m(m＞1)为模糊指标，为u_ij的m次；d_Kij表示基于核函数K(·,·)空间下第j个样本x_j与第i类聚类中心的距离v_i，并且有：

<Φ(x_j),Φ(v_i)>＝K(x_j,v_i) (3)。

8.根据权利要求1所述的多路径高斯核模糊c均值聚类算法，其特征在于：所述步骤1中，式(4)为高斯核函数，σ∈R为尺度因子：

当核函数K(·,·)取值高斯核函数式(4)时，有：

K_G(x,x)＝1 (5)

则式(2)在高斯核函数下则转换为：