CN109543741A - 一种基于改进人工蜂群的fcm算法优化方法 - Google Patents

Abstract

本发明请求保护一种基于改进人工蜂群的FCM算法优化方法，涉及工业数据挖掘领域。本发明针对FCM算法存在容易陷入局部极小值，对初始值和噪声数据敏感的缺点，提出了一种基于改进人工蜂群的FCM算法。该算法引入了全局寻优能力强的改进人工蜂群算法来求得最优解作为FCM算法的初始聚类中心，然后利用FCM算法优化初始聚类中心，最后求得全局最优解，从而有效克服了FCM算法的缺点，不仅分类准确率提高了，而且迭代次数更少，收敛速度加快，聚类效果更好，提高了效率，达到了对FCM算法优化的要求。

Description

一种基于改进人工蜂群的FCM算法优化方法

技术领域

本发明属于数据挖掘领域，尤其涉及一种基于改进人工蜂群的FCM算法优 化方法。

背景技术

随着社会经济的进步，工业生产过程的自动化和智能化程度越来越高。自 动化程度的不断加深使企业积累和存储了越来越多的过程历史数据。一方面， 随着企业对自身要求的不断提高，这些丰富的数据资源成为可以利用的资源； 另一方面，工业过程的生产实践和科学研究又以大量的数据为基础，需要通过 一定的方法和手段进行分析、处理，已完成工业过程的在线监控、过程辨识、 故障诊断和控制策略的设计等工作。因此，数据挖掘作为一种从大量工业数据 中提取有用信息的技术手段，受到越来越多的关注。

聚类(Clustering)分析是数据挖掘技术中最常用的方法之一，它能从海量数据中发现新的、潜在的、有意义的数据分布模式。目前，受到普遍欢迎的是基于 目标函数的聚类方法，该方法是将数据点到原型的某种距离作为优化的目标函 数，利用求极值的方法得到迭代运算的调整规则。因此这种方法把聚类分析归 结成一个带有约束的非线性规划问题，通过优化求解获得数据集的最优模糊划 分和聚类。其中模糊C-均值聚类(FCM)算法虽然已被应用于模式识别、图像 处理以及计算机视觉等众多领域中，但仍然存在一些缺陷。人工蜂群算法是一 种模拟蜜蜂群智能搜索行为的群智能优化算法。由于其控制参数少、易于实现、 计算简洁等优点，已被越来越多的学者所关注。本发明针对FCM算法存在容易 陷入局部极小值，对初始值和噪声数据敏感的缺点，提出了一种基于改进的人 工蜂群的FCM算法。该算法引入了全局寻优能力强的改进人工蜂群算法来求得 最优解作为FCM算法的初始聚类中心，在原有的人工蜂群算法基础上引入高斯 变异侦查策略对侦查蜂侦查策略进行改进，加快收敛速度，提高解的精度。然 后利用FCM算法优化初始聚类中心，最后求得全局最优解，从而有效克服了FCM算法的缺点，不仅分类准确率提高了，而且迭代次数更少，收敛速度加快， 聚类效果更好，提高了效率，达到了对FCM算法优化的效果。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种提高了分类准确率，而且 迭代次数更少，收敛速度加快，聚类效果更好，提高了效率的基于改进人工蜂 群的FCM算法优化方法。本发明的技术方案如下：

一种基于改进人工蜂群的FCM算法优化方法，其包括以下步骤：

1)获取聚类数目c、模糊指数m和数据集，并获得模糊C均值聚类FCM算法 目标函数；

2)定义一个用于人工蜂群算法的个体适应度函数，即个体适应度函数对于 人工蜂群中每个解的评价；给出聚类问题与蜂群算法采蜜行为的对应关系；

3)对人工蜂群算法进行改进，在侦查蜂阶段引入高斯变异侦查策略，求得 最优解；

4)将该最优解作为模糊C均值聚类FCM算法的初始聚类中心，再利用模糊C 均值聚类FCM算法优化初始聚类中心，最后求得最优解。

进一步的，所述步骤1)中获得模糊C均值聚类FCM算法目标函数，具体包 括：

设集合X＝{x₁,x₂,…x_n}是特征空间Rⁿ上的一个限数据集合， x_n表示X的第n个子集合n表示特征空间R的维度再把X划分为c 类,2<＝c<＝n，设有个数为c的聚类中心V＝{v₁,v₂,…v_c}， v_c表示第c个子聚类中心，n×c维矩阵U＝(u_ij)，u_ij∈【0,1】表示每个样 本的隶属度矩阵，其中，i＝1,2,…,n；j＝1,2,…,c；i、j分别表示是集合{1,2,…,n} 和{1,2,…,c}中的一个值u_ij表示样本x₁对应于第j个聚类的隶属度值

FCM算法的目标函数如下：

v_j表示第j个子聚类中心，x_i表示第i个子集合，

m表示影响隶属度矩阵模糊化程度的指数权重，J_FCM(U,V)表示FCM算法的目 标函数；

进一步的，所述步骤2)定义一个用于人工蜂群算法的个体适应度函数，即个体 适应度函数对于人工蜂群中每个解的评价，具体包括：设样本空间 X＝{x₁,x₂,…x_n}，其中x_i为d维向量，以人工蜂群中的一个蜂代表一个聚类中心 集合V＝{v₁,v₂,…v_c}，其v_j是与x_i同维的向量，对于人工蜂群中每一个解的评价， 定义一个个体适应度函数：

其中J_FCM(U,V)为(1)中定义的目标函数，聚类效果越好，J_FCM(U,V)越小， fit_i就越高。

进一步的，所述聚类问题与蜂群算法采蜜行为的对应关系为：在人工蜂群 算法中，食物源的位置对应问题的一个可行解即聚类中心，食物源的收益度 对应问题的适应度，寻找及采蜜的速度对应问题的求解速度，最大收益度对 应问题的最佳效果。

进一步的，所述步骤3)对人工蜂群算法进行改进，在侦查蜂阶段引入高斯 变异侦查策略，求得最优解，具体包括：

高斯变异是在原有个体的基础上添加一个服从高斯分布的随机扰动项，借助 高斯随机扰动项，增强个体跳出局部最优解的能力，提高求解精度，其按如下 定义：

X_i＝X_i+X_i·N(0,1) (6)

其中，X_i表示第i号个体，N(0,1)表示服从均值为0且方差为1的高斯分布；

在原始的人工蜂群算法中，提出了一种更加有效的侦查策略，其方式如下：

其中，表示侦查蜂生成的新的食物源位置，x_bj表示当前最优食 物源的位置；式(7)利用高斯随机干扰项，让算法跳出当前最优值，变异生 成一个新的食物源位置，使得侦查蜂在当前最优解附近进行局部搜索。

进一步的，所述步骤4)以人工蜂群算法求得最优解即聚类中心作为 FCM算法的初始聚类中心，然后利用FCM算法优化初始聚类中心，最后求 得最优解，具体步骤描述为：

Step1：设定类别数c，终止误差ε，食物源个数＝引领蜂的个数＝跟随 蜂的个数，Limit，最大循环次数MCN，并设当前迭代次数为cycle＝0；

Step2:根据式

随机初始化隶属度矩阵U⁰，作为初始的聚 类划分；根据式

计算初始聚类中心， 表示u_ij表示样本x₁对应于第j个聚类的隶属度值，

m表示影响隶属度矩阵模糊化程度的指数权重，即产生初始解集c_ij，然后根据 计算各个解c_ij的适应度；

Step3：引领峰根据公式做领域搜索产生新解v_ij， 并计算其适应度，若v_ij的适应度大于c_ij的适应度，则c_ij＝v_ij；否则，c_ij不 变；式中v_ij是候选食物源，x_k是随机选取的已知解，且k≠i，为【-1,1】 之间的随机数；

Step4：计算c_ij的适应度，并根据公式计算概率值P_ij；

Step5:跟随蜂根据P_ij选择食物源(解)，并进行领域搜索产生新解v_ij， 计算其适应度，若v_ij的适应度大于c_ij的适应度；否则，c_ij不变；

Step6：经过Limit次循环后，判断是否有要丢掉的解，若存在，则侦 查蜂根据公式x_ij＝x_minj+rand(0,1)(x_maxj-x_minj)产生一个新解代替c_ij；

其中x_ij表示新的食物源i在第j维的分量，x_minj表示第j维分量的最小值， x_maxj表示第j维分量的最大值；

Step7：若当前迭代次数达到预先设定的最大次数MCN，则停止迭代， 在最后一代找到最优解，输出聚类中心集合c_ij，否则转到Step3，cycle＝ cycle+1；

Step8:更新隶属度矩阵U；

Tep9:更新聚类中心，计算相邻两代隶属度矩阵之差E，若E<ε， 停止；否则转到Step8。

本发明的优点及有益效果如下：

本发明针对FCM算法存在容易陷入局部极小值，对初始值和噪声数据敏感 的缺点，提出了一种基于改进的人工蜂群的FCM算法。该算法引入了全局寻优 能力强的改进人工蜂群算法来求得最优解作为FCM算法的初始聚类中心，在原 有的人工蜂群算法基础上引入高斯变异侦查策略对侦查蜂侦查策略进行改进， 加快收敛速度，提高解的精度。然后利用FCM算法优化初始聚类中心，最后求 得全局最优解，从而有效克服了FCM算法的缺点，不仅分类准确率提高了，而 且迭代次数更少，收敛速度加快，聚类效果更好，提高了效率，达到了对FCM 算法优化的效果。

附图说明

图1是本发明提供优选实施例基于改进人工蜂群的FCM算法优化方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明提出了一种基于改进人工蜂群的FCM算法优化方法，针对FCM算法 存在容易陷入局部极小值，对初始值和噪声数据敏感的缺点，提出了一种基 于人工蜂群(ABC)的模糊聚类算法。该算法引入了全局寻优能力强的人工 蜂群算法来求得最优解作为FCM算法的初始聚类中心，然后利用FCM算法 优化初始聚类中心，最后求得全局最优解，从而有效克服了FCM算法的缺 点，不仅分类准确率提高了，而且迭代次数更少，收敛速度加快，聚类效果 更好，提高了效率。以下将参照附图并结合实例对本发明作进一步详细说明。

如图1所示，本发明的改进FCM算法流程图完成了从传统FCM算法到基于 人工蜂群算法的改进算法的过程，该改进算法不仅分类准确率提高了，而且迭 代次数更少，收敛速度加快，聚类效果更好，提高了效率，主要包括以下步骤：

1、一种基于改进人工蜂群的FCM算法优化方法，首先获得FCM算法目标函 数，然后在其基础上定义一个用于人工蜂群算法的个体适应度函数即对于人 工蜂群中每个解(聚类中心)的评价。对人工蜂群算法进行改进，在侦查蜂 阶段引入高斯变异侦查策略然后再以改进的人工蜂群算法求得最优解(聚类 中心)作为FCM算法的初始聚类中心，再利用FCM算法优化初始聚类中心， 最后求得最优解。主要包括以下步骤：

a.FCM算法对数据进行处理；

b.获得FCM算法的目标函数然后定义人工蜂群算法的个体适应度函数；

c.给出聚类问题与蜂群算法采蜜行为的对应关系；

d.对人工蜂群算法进行改进；

e.引入改进的人工蜂群算法，改进传统的FCM算法；

f.改进的FCM算法对数据进行处理并比较效果。

2步骤a中用FCM算法对数据进行处理，先设集合X＝{x₁,x₂,…x_n}是特征 空间Rⁿ上的一个限数据集合，再把X划分为c类(2<＝c<＝n),设有个数为c 的聚类中心V＝{v₁,v₂,…v_c }。n×c维矩阵U＝(u_ij)，u_ij∈【0,1】表示每个样本的隶属度矩阵。其中，i＝1,2,…,n；j＝1,2,…,c。

FCM算法的目标函数如下：

在下式的约束下取得极小值：

应用拉格朗日乘法，结合(2)的约束条件对(1)求导，得：

其中，m为模糊加权指数，合适的m值具有抑制噪音，平滑隶属函数等功效。 FCM算法的具体步骤为：

输入：聚类数目c、模糊指数m和数据集

输出：聚类中心集合v_j使J_FCM(U,V)最小

Step 1:根据聚类数目c,随机给定聚类中心V⁰＝{v₁,v₂,…v_c}和终止误差ε，并 设当前迭代次数为t＝0；

Step2:根据式(3)求隶属度矩阵U^t；

Step3:根据式(4)求下一迭代的聚类中心V^t+1；

Step4:若||U^t+1-U^t||<ε则结束迭代，否则t＝t+1，返回Step2。

FCM算法通过对目标函数的迭代优化来取得对数据集的模糊聚类，目标 函数在迭代过程中是递减的。这种方法在很大程度上依赖于初始聚类中心的 选择，如果初始聚类中心矩阵选择不合理，会造成错误聚类，还会增加系统 复杂度，降低算法的效率。

3、步骤b中适应度函数用于度量各个体对聚类问题的适应程度。对于模 糊聚类模型而言，其最优聚类结果对应目标函数的极小值，即聚类效果越好， 目标函数的值越低，而此时聚类结果对应的个体适应度应越大。

设样本空间X＝{x₁,x₂,…x_n}，其中x_i为d维向量。以人工蜂群中的一个蜂 代表一个聚类中心集合V＝{v₁,v₂,…v_c}，其v_j是与x_i同维的向量。对于人工蜂 群中每一个解(聚类中心)的评价，定义一个个体适应度函数：

其中J_FCM(U,V)为(1)中定义的目标函数，聚类效果越好，J_FCM(U,V)越小， fit_i就越高。

4步骤c中聚类问题与蜂群算法采蜜行为的对应关系如下表：

聚类问题与蜂群采蜜行为对应关系表

在人工蜂群算法中，食物源的位置对应问题的一个可行解(聚类中心)， 食物源的收益度对应问题的适应度，寻找及采蜜的速度对应问题的求解速度， 最大收益度对应问题的最佳效果。

5步骤d中对人工蜂群算法进行改进的思想就是加入高斯变异侦查策 略，高斯分布也称正态分布，是一个在数学、物理及工程等领域都非常重要 的概率分布，在统计学的许多方面都有着十分重要的影响力。高斯变异是在 原有个体的基础上添加一个服从高斯分布的随机扰动项，借助高斯随机扰动 项，可以增强个体跳出局部最优解的能力，提高求解精度，其按如下定义：

X_i＝X_i+X_i·N(0,1) (6)

其中，X_i表示第i号个体，N(0,1)表示服从均值为0且方差为1 的高斯分布。

在原始的人工蜂群算法中，侦查蜂采用随机侦查的策略，随机生成一 个新的食物源来代替原始食物源，这样生成的食物源位置的随机性太强，导 致收敛速度减慢，且容易在搜索的过程中陷入局部最优。因此，提出了一种 更加有效的侦查策略，其方式如下：

其中，表示侦查蜂生成的新的食物源位置，x_bj表示当前最优食 物源的位置。

式(7)利用高斯随机干扰项，让算法跳出当前最优值，变异生成一 个新的食物源位置，使得侦查蜂在当前最优解附近进行局部搜索，基于当前 最优解的高斯变异侦查策略可以有效的避免解的随机性，加快收敛速度，提 高解的精度。

6步骤e中先引进改进的人工蜂群算法，以人工蜂群算法求得最优解 (聚类中心)作为FCM算法的初始聚类中心，然后利用FCM算法优化初始 聚类中心，最后求得最优解。此算法是一种快速聚类算法，因此该算法具有 很好的时间性能，缩短了FCM算法的收敛时间。具体步骤描述为：

Step1：设定类别数c，终止误差ε，食物源个数＝引领蜂的个数＝跟随 蜂的个数(SN)，Limit，最大循环次数MCN，并设当前迭代次数为cycle＝0；

Step2:根据式(4)随机初始化隶属度矩阵U⁰，作为初始的聚类划分； 根据式3计算初始聚类中心，即产生初始解集c_ij，然后根据式(5)计算各个 解c_ij的适应度；

Step3：引领峰根据公式做领域搜索产生新解v_ij， 并计算其适应度，若v_ij的适应度大于c_ij的适应度，则c_ij＝v_ij；否则，c_ij不 变；式中v_ij是候选食物源，x_k是随机选取的已知解，且k≠i。为【-1,1】 之间的随机数。

Step4：计算c_ij的适应度，并根据公式计算概率值P_ij；

Step5:跟随蜂根据P_ij选择食物源(解)，并进行领域搜索产生新解v_ij， 计算其适应度，若v_ij的适应度大于c_ij的适应度；否则，c_ij不变；

Step6：经过Limit次循环后，判断是否有要丢掉的解，若存在，则侦 查蜂根据公式x_ij＝x_minj+rand(0,1)(x_maxj-x_minj)产生一个新解代替c_ij； 其中x_ij表示新的食物源i在第j维的分量，x_minj表示第j维分量的最小值， x_maxj表示第j维分量的最大值。

Step7：若当前迭代次数达到预先设定的最大次数MCN，则停止迭代。 在最后一代找到最优解，输出聚类中心集合c_ij，否则转到Step3，cycle＝ cycle+1；

Step8:根据式4更新隶属度矩阵U；

Tep9:根据式3更新聚类中心。计算相邻两代隶属度矩阵之差E，若 E<ε，停止；否则转到Step8。

7步骤f中以人工蜂群算法求得最优解(聚类中心)作为FCM算法 的初始聚类中心，然后利用FCM算法优化初始聚类中心，最后求得最优解。 此算法是一种快速聚类算法，因此该算法具有很好的时间性能，缩短了FCM 算法的收敛时间

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范 围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或 修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种基于改进人工蜂群的FCM算法优化方法，其特征在于，包括以下步骤：

1)获取聚类数目c、模糊指数m和数据集，并获得模糊C均值聚类FCM算法目标函数；

2)定义一个用于人工蜂群算法的个体适应度函数，即个体适应度函数对于人工蜂群中每个解的评价；给出聚类问题与蜂群算法采蜜行为的对应关系；

3)对人工蜂群算法进行改进，在侦查蜂阶段引入高斯变异侦查策略，求得最优解；

4)将该最优解作为模糊C均值聚类FCM算法的初始聚类中心，再利用模糊C均值聚类FCM算法优化初始聚类中心，最后求得最优解。

2.根据权利要求1所述的一种基于改进人工蜂群的FCM算法优化方法，其特征在于，所述步骤1)中获得模糊C均值聚类FCM算法目标函数，具体包括：

设集合X＝{x₁,x₂,…x_n}是特征空间Rⁿ上的一个限数据集合，x_n表示X的第n个子集合n表示特征空间R的维度再把X划分为c类,2<＝c<＝n，设有个数为c的聚类中心V＝{v₁,v₂,…v_c}，v_c表示第c个子聚类中心n×c维矩阵U＝(u_ij)，u_ij∈【0,1】表示每个样本的隶属度矩阵，其中，i＝1,2,…,n；j＝1,2,…,c；i、j分别表示是集合{1,2,…,n}和{1,2,…,c}中的一个值u_ij表示样本x₁对应于第j个聚类的隶属度值；

FCM算法的目标函数如下：

v_j表示第j个子聚类中心，x_i表示第i个子集合，

m表示影响隶属度矩阵模糊化程度的指数权重，J_FCM(U,V)表示FCM算法的目标函数。

3.根据权利要求2所述的一种基于改进人工蜂群的FCM算法优化方法，其特征在于，所述步骤2)定义一个用于人工蜂群算法的个体适应度函数，即个体适应度函数对于人工蜂群中每个解的评价，具体包括：设样本空间X＝{x₁,x₂,…x_n}，其中x_i为d维向量，以人工蜂群中的一个蜂代表一个聚类中心集合V＝{v₁,v₂,…v_c}，其v_j是与x_i同维的向量，对于人工蜂群中每一个解的评价，定义一个个体适应度函数：

其中J_FCM(U,V)为(1)中定义的目标函数，聚类效果越好，J_FCM(U,V)越小，fit_i就越高。

4.根据权利要求2所述的一种基于改进人工蜂群的FCM算法优化方法，其特征在于，所述聚类问题与蜂群算法采蜜行为的对应关系为：在人工蜂群算法中，食物源的位置对应问题的一个可行解即聚类中心，食物源的收益度对应问题的适应度，寻找及采蜜的速度对应问题的求解速度，最大收益度对应问题的最佳效果。

5.根据权利要求4所述的一种基于改进人工蜂群的FCM算法优化方法，其特征在于，所述步骤3)对人工蜂群算法进行改进，在侦查蜂阶段引入高斯变异侦查策略，求得最优解，具体包括：

高斯变异是在原有个体的基础上添加一个服从高斯分布的随机扰动项，借助高斯随机扰动项，增强个体跳出局部最优解的能力，提高求解精度，其按如下定义：

X_i＝X_i+X_i·N(0,1) (6)

其中，X_i表示第i号个体，N(0,1)表示服从均值为0且方差为1的高斯分布；

在原始的人工蜂群算法中，提出了一种更加有效的侦查策略，其方式如下：

其中，表示侦查蜂生成的新的食物源位置，x_bj表示当前最优食物源的位置；式(7)利用高斯随机干扰项，让算法跳出当前最优值，变异生成一个新的食物源位置，使得侦查蜂在当前最优解附近进行局部搜索。

6.根据权利要求5所述的一种基于改进人工蜂群的FCM算法优化方法，其特征在于，所述步骤4)以人工蜂群算法求得最优解即聚类中心作为FCM算法的初始聚类中心，然后利用FCM算法优化初始聚类中心，最后求得最优解，具体步骤描述为：

Step1：设定类别数c，终止误差ε，食物源个数＝引领蜂的个数＝跟随蜂的个数，Limit，最大循环次数MCN，并设当前迭代次数为cycle＝0；

Step2:根据式

随机初始化隶属度矩阵U⁰，作为初始的聚类划分；根据式

计算初始聚类中心，表示表示u_ij表示样本x₁对应于第j个聚类的隶属度值，

m表示影响隶属度矩阵模糊化程度的指数权重，即产生初始解集c_ij，然后根据计算各个解c_ij的适应度；

Step3：引领峰根据公式做领域搜索产生新解v_ij，并计算其适应度，若v_ij的适应度大于c_ij的适应度，则c_ij＝v_ij；否则，c_ij不变；式中v_ij是候选食物源，x_k是随机选取的已知解，且k≠i，为【-1,1】之间的随机数；

Step4：计算c_ij的适应度，并根据公式计算概率值P_ij；

Step5:跟随蜂根据P_ij选择食物源(解)，并进行领域搜索产生新解v_ij，计算其适应度，若v_ij的适应度大于c_ij的适应度；否则，c_ij不变；

Step6：经过Limit次循环后，判断是否有要丢掉的解，若存在，则侦查蜂根据公式x_ij＝x_minj+rand(0,1)(x_maxj-x_minj)产生一个新解代替c_ij；其中x_ij表示新的食物源i在第j维的分量，x_minj表示第j维分量的最小值，x_maxj表示第j维分量的最大值；

Step7：若当前迭代次数达到预先设定的最大次数MCN，则停止迭代，在最后一代找到最优解，输出聚类中心集合c_ij，否则转到Step3，cycle＝cycle+1；

Step8:更新隶属度矩阵U；

Tep9:更新聚类中心，计算相邻两代隶属度矩阵之差E，若E<ε，停止；否则转到Step8。