CN110298382B - 一种基于ifcm、knn和数据字典的集成tsk模糊分类器 - Google Patents

Abstract

本发明公开了一种基于IFCM、KNN和数据字典的集成TSK模糊分类器，依次包括以下步骤：为每个子分类器从D_tr中随机抽样训练数据子集；并行训练L个零阶TSK模糊子分类器；对于验证数据集的每个样本，计算对应的每个输出函数的值并将其作为增强特征，将原始特征和增强特征合并，从而形成增强验证数据集；在增强验证数据集上调用IFCM算法后，生成代表性的中心点及其对应的标签，去掉增强特征，即得到数据字典；对于任何测试样本，利用KNN方法在数据字典上找到最近的k个点，基于投票策略，确定其类标。该分类方法具有较高的分类性能、强鲁棒性和高可解释性。

Description

一种基于IFCM、KNN和数据字典的集成TSK模糊分类器

【技术领域】

本发明涉及模糊识别及机器学习的技术领域，特别是一种基于IFCM、KNN和数据字典的集成TSK快速分类的技术领域。

【背景技术】

由于Takagi-Sugeno-Kang(TSK)模糊分类器强大的逼近能力和高可解释性，在很多领域，如模式识别、智能数据处理和自适应模糊控制等已经得到成功的应用。但是，在一些场景中，比如众包问题,网络图像标识等，我们通常拥有宝贵但少量的真实数据及其标签(在本文中称为验证数据)，并且很容易地收集大量原始甚至多源训练数据，通常这些训练数据不可避免的含有噪音数据。但如果在这些训练数据上构建分类模型，其性能将会严重降低。换句话说，用原始训练数据直接训练TSK模糊分类器或集成TSK模糊分类器(即，多个原始训练数据子集)将明显不适合以上考虑的场景，由于以下原因：(1)由于含有噪音的原始训练数据，所训练得到的分类器可能不可靠；(2)现有的TSK模糊分类器的训练算法大多采用对验证数据进行交叉验证策略来确定相关参数，宝贵的验证数据没有得到直接和充分地利用；(3)当采用传统的集成TSK模糊分类器对原始数据进行分类时，由于中间变量的存在，其中的中间子分类器没有可解释性。因此，对于这样的应用场景，希望在充分利用宝贵验证数据的基础上构建一个高性能的集成模糊分类器。

【发明内容】

本发明的目的就是解决现有技术中的问题，提出一种基于IFCM、KNN和数据字典的集成TSK模糊分类器，即IK-D-TSK，具有较高的分类性能、强鲁棒性和高可解释性。

为实现上述目的，本发明提出了一种基于IFCM、KNN和数据字典的集成TSK模糊分类器，依次包括以下步骤：

a)为每个子分类器从D_tr中随机抽样训练数据子集D₁,D₂,…,D_L，并且D₁∪D₂∪……∪D_L＝D_tr；

b)并行训练L个零阶TSK模糊子分类器；

c)对于验证数据集的每个样本，计算对应的每个输出函数F₁(x),F₂(x),…,F_L(x)的值并将其作为增强特征，将原始特征和增强特征合并，从而形成增强验证数据集

其中

表示验证数据的增强特征集，从而生成增强验证数据集；

d)在增强验证数据集

上调用IFCM算法后，生成代表性的中心点及其对应的标签，去掉增强特征，即得到数据字典；

e)对于任何测试样本，利用KNN方法在数据字典上找到最近的k个点，基于投票策略，确定其类标。

作为优选，所述步骤b)采用并行学习的思想同时训练L个零阶TSK模糊子分类器，具体包括以下步骤：

b1.为每个子分类器分配模糊规则数；

b2.构造5个高斯型隶属度函数，其隶属度中心点集合为{0,0.25,0.5,0.75,1}，在每一维上从中心点集合中随机指定一个值并构造规则组合矩阵

通过给每个元素分配一个随机正数来构造核宽度矩阵

利用高斯隶属度函数计算模糊隶属度，正则化并构造矩阵

通过LLM计算后件参数a_g，即

其中I是K×K单位矩阵，C是给定的正则化参数；

b3.通过公式

生成L个子分类器的输出函数F₁(x),F₂(x),…,F_L(x)。

作为优选，所述步骤d)IFCM算法，其目标函数为：

其中

是第q类的第i个样本点,

是第q类的第j个中心点，N_q是第q类的样本数，c是每一类的中心点数，

表示第q类中第i个样本点

属于第j个中心点

的隶属度，

表示q类外第i个中心点属于q类的第j个中心点的隶属度，λ是平衡因子，用于控制q类内的中心点和q类外中心点的疏离程度；当固定q类中心点时，使其与其他类的中心点尽量远离，因此，λ的值应该大于0；在后续的实验中，为了方便，将λ的值设为0.3；

表示在q类中，第i个样本和第j个中心点之间的欧氏距离；

表示q类外的第i个中心点和q类内的第j个中心点之间的距离，其中

表示不属于q类的中心点；当i∈{1,2,…,N_q}，公式(2)通过加强该约束中的第二项来迫使所有的样本更多地落在q类内部，当i∈{N_q+1,…,N_q+(Q-1)*c}时，公式(3)通过加强该约束中的第一项来迫使所有样本更多地落入第q类之外；

具体包括以下步骤：

d1.输入数据集X＝{x₁,x₂,…,x_N}∈R^N×D，及其标签Y＝{y₁,y₂,…,y_N}，真实类别数Q，每一类的聚类中心点数c，每一类的样本数N₁,N₂,…,N_Q，平衡因子λ，最大误差阀值τ；

d2.通过FCM初始化每类中的中心点，然后形成中心点矩阵V，初始化q＝1，其中1≤q≤Q；

d3.当i∈{1,…,N_q}时，计算隶属度

当i∈{N_q+1,…,N_q+(Q-1)*c}时，计算隶属度

d4.计算中心点

d5.中心点矩阵保持几乎不变或达到内部迭代的最大次数，是则转为步骤d6，否则转为步骤d3；

d6.利用

更新中心点矩阵V，并且q＝(q+1)mod Q；

d8.

或达到外部最大迭代次数，是则转为步骤d9，否则转为步骤d3；

d9.根据中心点矩阵V输出所有的中心点及其标签。

本发明的有益效果：本发明提出了一种基于IFCM、KNN和数据字典的集成TSK模糊分类器，其所有零阶TSK模糊子分类器都是以并行学习的方式训练的，意味着其没有不可解释的中间变量，并且易于增加或删除TSK模糊子分类器。通过本文提出的迭代模糊聚类算法IFCM，以找出增强输入空间中的代表点；然后根据训练样本与k个最近代表点的距离，采用目前流行的KNN方法识别训练样本或隐含样本的类标签；该集成框架中的每条模糊规则始终保持高度可解释性。

本发明的特征及优点将通过实施例结合附图进行详细说明。

【附图说明】

图1是IK-D-TSK算法框架图。

【具体实施方式】

参阅图1，本发明一种基于IFCM、KNN和数据字典的集成TSK模糊分类器，其特征在于：依次包括以下步骤：

a)为每个子分类器从D_tr中随机抽样训练数据子集D₁,D₂,…,D_L，并且D₁∪D₂∪……∪D_L＝D_tr；

b)并行训练L个零阶TSK模糊子分类器；采用并行学习的思想同时训练L个零阶TSK模糊子分类器，具体包括以下步骤：

b1.为每个子分类器分配模糊规则数；

b2.构造5个高斯型隶属度函数，其隶属度中心点集合为{0,0.25,0.5,0.75,1}，在每一维上从中心点集合中随机指定一个值并构造规则组合矩阵

通过给每个元素分配一个随机正数来构造核宽度矩阵

利用高斯隶属度函数计算模糊隶属度，正则化并构造矩阵

通过LLM计算后件参数a_g，即

其中I是K×K单位矩阵，C是给定的正则化参数；

b3.通过公式

生成L个子分类器的输出函数F₁(x),F₂(x),…,F_L(x)。

c)对于验证数据集的每个样本，计算对应的每个输出函数F₁(x),F₂(x),…,F_L(x)的值并将其作为增强特征，将原始特征和增强特征合并，从而形成增强验证数据集

其中

表示验证数据的增强特征集，从而生成增强验证数据集；

d)在增强验证数据集

上调用IFCM算法后，生成代表性的中心点及其对应的标签，去掉增强特征，即得到数据字典；

e)对于任何测试样本，利用KNN方法在数据字典上找到最近的k个点，基于投票策略，确定其类标。

更进一步地，所述步骤d)IFCM算法，其目标函数为：

其中

是第q类的第i个样本点,

是第q类的第j个中心点，N_q是第q类的样本数，c是每一类的中心点数，

表示第q类中第i个样本点

属于第j个中心点

的隶属度，

表示q类外第i个中心点属于q类的第j个中心点的隶属度，λ是平衡因子，用于控制q类内的中心点和q类外中心点的疏离程度；当固定q类中心点时，使其与其他类的中心点尽量远离，因此，λ的值应该大于0；在后续的实验中，为了方便，将λ的值设为0.3；

表示在q类中，第i个样本和第j个中心点之间的欧氏距离；

表示q类外的第i个中心点和q类内的第j个中心点之间的距离，其中

表示不属于q类的中心点；如公式(1-3)所示，当i∈{1,2,…,N_q}，公式(2)通过加强该约束中的第二项来迫使所有的样本更多地落在q类内部，当i∈{N_q+1,…,N_q+(Q-1)*c}时，公式(3)通过加强该约束中的第一项来迫使所有样本更多地落入第q类之外；为了简单起见，在每个类中设置相同数量的中心点。

根据拉格朗日优化方法，对于公式(1-3)，可以得到如下拉格朗日函数

其中β_i是拉格朗日乘子。可以很容易地导出关于q类模糊隶属度和中心点的更新方程如下：

当i∈{1,2,…,N_q}时,将公式(5)和(6)带入公式(2)后，可以得到：

因此，可以得到：

当i∈{N_q+1,…,N_q+(Q-1)*c}时，将公式(7)和(8)带入公式(3)后，可以得到：

其中，当λ＝0时，IFCM退化为经典FCM算法。

上述更新方程为迭代模糊聚类算法IFCM提供了核心参数优化公式。通过在数据集中的每个类上运行FCM，IFCM从每个类的初始中心点开始。然后，从q＝1到Q，依次执行迭代公式(10-11)、(13-14)和式(16)，直到所有中心点保持几乎不变或达到最大迭代次数为止。

将IFCM总结为算法1，具体包括以下步骤：

d1.输入数据集X＝{x₁,x₂,…,x_N}∈R^N×D，及其标签Y＝{y₁,y₂,…,y_N}，真实类别数Q，每一类的聚类中心点数c，每一类的样本数N₁,N₂,…,N_Q，平衡因子λ，最大误差阀值τ；

d2.通过FCM初始化每类中的中心点，然后形成中心点矩阵V，初始化q＝1，其中1≤q≤Q；

d3.当i∈{1,…,N_q}时，通过公式(10)和(11)计算隶属度

当i∈{N_q+1,…,N_q+(Q-1)*c}时，通过公式(13)和(14)计算隶属度

d4.通过公式(16)计算中心点

d5.中心点矩阵保持几乎不变或达到内部迭代的最大次数，是则转为步骤d6，否则转为步骤d3；

d6.利用

更新中心点矩阵V，并且q＝(q+1)mod Q；

d8.

或达到外部最大迭代次数，是则转为步骤d9，否则转为步骤d3；

d9.根据中心点矩阵V输出所有的中心点及其标签。

实验与分析

1)实验安排

本实验运行的硬件环境为：i7-8700K 3.70GHz CPU and 64 GB RAM,MicrosoftWindows 10,Matlab 2016a。在实验中，所有7个数据集都来自于UCI或KEEL，详细信息如表1所示。

表1数据集

数据集	类别数	特征数	样本数
				satimage(SAT)	6	36	6435
mushroom(MUS)	2	22	8124
				waveform3(WAV)	3	21	5000
penbased(PENB)	10	16	10992
				wdbc(WDB)	2	14	569
landsat(LAN)	6	36	2000
				adult(ADU)	2	14	48841

表2 IK-D-TSK参数设置

当IK-D-TSK的学习算法在表1的数据集上运行时，实验设置应该考虑其中的所有子分类器之间的多样性，及与数据集的大小、维度和类别数之间的关系。为了做到这一点，如表2所示，为每个子分类器设置不同的模糊规则数。根据数据集的规模，为4个数据集安排3个子分类器，其余数据集安排5个子分类器。为了从多样性的角度观察IK-D-TSK在每个数据集上运行20次所得平均实验结果，对于所有数据集，给每个子分类器分配一个不同的模糊规则数区间，然后从预先指定的规则区间内随机抽取规则数训练每个子分类器。以数据集“waveform3”为例，随机抽取出3个子分类器的规则数，第1个子分类器从10到120随机抽取，第2个子分类器从15到140随机抽取，第3个子分类器从18到160随机抽取。为了方便展示IK-D-TSK的工作原理及可解释性，对于小样本数据集wdbc，其上的每个分类器，模糊规则区间都设置为2到15，并搜索最优的规则数组合。对于采用的IFCM每类聚类中心点数，表2给出了搜索范围，即数据字典的大小范围。对于KNN中的最近邻k搜索区间范围设置为{3,5,7}。

在本实验中，当算法被执行时，每个数据集被随机抽取70％作为训练数据集，20％作为验证数据集，10％作为测试数据集。为了模拟本文中研究的真实场景，在训练数据集中分别加入5％和10％的高斯噪声。对于数据集“wdbc”“landsat”和“waveform3”，每个子分类器从相应的训练数据集中随机抽取80％的样本进行训练；对于“mushroom”,“satimage”,“penbased”和“adult”，每个子分类器对从相应的训练数据集中随机抽取60％的样本进行训练。

在实验中，组织3个比较分类器进行性能比较。包括经典的零阶(zero-order-TSK-FC)和一阶TSK模糊分类器(first-order-TSK-FC)。为了突出展示IK-D-TSK在增强验证集上的分类性能，本文设计了分类器IFCM-KNN-C，即直接在验证集上使用IFCM&KNN和IK-D-TSK进行性能比较。由于一阶TSK模糊分类器通常比零阶TSK模糊分类器需要较少的模糊规则数来分类相同的数据集，因此从IK-D-TSK中所有子分类器规则区间最大值的100％和80％分别搜索零阶TSK和一阶TSK的模糊规则数。

2)实验结果与分析

表3-5给出了IK-D-TSK和3个比较分类器在7个数据集上的实验结果，实验比较了平均训练和测试精度及其标准方差，平均模糊规则数，其中最好的结果用粗体表示。

a)就分类精度而言，与其他分类器相比，IK-D-TSK在平均训练和测试精度方面表现出色。具体而言，IK-D-TSK在7个数据集中分别有6个(5％高斯噪声，表3)和5个(10％高斯噪声，表4)数据集上具有最高的平均训练精度或平均测试精度。此外，在所有的数据集上，IK-D-TSK的分类性能比zero-order-TSK-FC和IFCM-KNN-C具有绝对优势，不管是5％的高斯噪声还是10％的高斯噪声数据。只有在wdbc和adult数据集上，IK-D-TSK稍逊于first-order-TSK-FC，并且在5％高斯噪声时，在adult数据集上IK-D-TSK和first-order-TSK-FC测试精度相当。IK-D-TSK之所以如此，主要原因在于，根据堆栈泛化原理，IK-D-TSK中IFCM所获得的增强特征能够帮助我们打开增强验证数据集中的流形结构，使得分类变得相对容易。同时，观察表3和表4，可以看出：当高斯噪声从5％增加到10％时，landsat、satimage、mushroom、waveform3在分类器zero-order-TSK-FC和first-order-TSK-FC上的平均训练精度和测试精度迅速下降。然而，作为建立在增强验证数据集上的可解释TSK模糊分类器，IK-D-TSK仍然保持高可靠性；并且，从表3和表4中，可以发现一个看似奇怪却有益的现象，对于所有数据集，IFCM-KNN-C和IK-D-TSK的训练精度总是低于相应的测试精度。这是因为IFCM-KNN-C和IK-D-TSK这两个分类器的性能主要依赖于与增强验证数据相关的代表性中心点即数据字典，而不是含有噪音的训练数据本身。综上，IK-D-TSK在具有高分类精度的同时，还具有很强的鲁棒性。

b)从可解释性方面来观察，虽然在wdbc(5％高斯噪音)和adult(10％高斯噪音)数据集上，IK-D-TSK的分类精度稍逊于first-order-TSK-FC，但是IK-D-TSK所需要的规则数比zero-order-TSK-FC和first-order-TSK-FC都要少。

表3含有5％高斯噪音的数据集在各对比算法上的分类性能及平均规则数比较结果

表4含有10％高斯噪音的数据集在各对比算法上的分类性能及平均规则数比较结果

表5IK-D-TSK和Zero-order-TSK-FC、First-order-TSK-FC以及IFCM-KNN-C在运行时间上的比较结果

通常，规则数越少，往往意味着较高的可解释性。并且，IFCM-KNN-C不具有可解释性。在5％高斯噪声时，IK-D-TSK在7个数据集中有4个数据集的平均规则数达到最少；当高斯噪声达到10％时，IK-D-TSK具有最少平均规则数的数据集达到了5个。IK-D-TSK需要较少的规则数，原因在于每个子分类器的输出仅用作鉴别信息以形成一个增强特征，而不用作最终分类结果，从而可以不断地打开原始验证数据的流形结构，提高数据可分离性。

c)在平均训练时间方面，IK-D-TSK仅比IFCM-KNN-C稍慢，比zero-order-TSK-FC和first-order-TSK-FC都要快。这是因为zero-order-TSK-FC和first-order-TSK-FC的训练需要网格搜索寻找最优的模糊规则数，而IK-D-TSK中的每个子分类器规则数都是随机的，每次随机选择相应范围内的模糊规则数，以保证所有子分类器之间具有不同的模糊规则数即可。此外，所有的子分类器都是并行运行的，因此，IFCM-KNN-C的训练时间很大程度上由具有最大模糊规则数的子分类器决定。

将以wdbc数据集为例，阐述IK-D-TSK的工作原理。wdbc在IK-D-TSK中具有3个分类器，经过第一阶段和第二阶段，所形成的数据字典如表6所示共有两类，每一类3个代表性中心点，分别带有标签。以数据集wdbc中一个随机的样本点为例：

x₁＝[0.4972,0.7808,0.3479,0.2901,0.6077,0.5781,0.4806,0.4234,0.4610,0.3860,0.3928,0.2244,0.6969,0.2889]它的真实标签是-1。通过KNN找到离这个样本点最近的3个代表性中心点υ_1,1,υ_1,2,υ_2,1，其标签分别为-1，-1，+1，根据投票原则，样本点的预测标签是-1，和这个样本点的真实标签一致。

为了更好地阐述IK-D-TSK的可解释性，以数据集wdbc为例，记录了当IK-D-TSK在一次运行中取得最高精度时所对应的结构。即当数据集wdbc在IK-D-TSK上取得最优分类性能时，它的最优规则组合形式是：3-4-6，即第一个分类器，第二个分类器，第三个分类器模糊规则数分别是3,4,6。以第一个分类器为例。

表6 WDBC数据集在IK-D-TSK上生成的数据字典

现展示其中的一条模糊规则。由下式可知，IK-D-TSK中五个高斯隶属度函数的中心都取自集合{0,0.25,0.5,0.75,1}，虽然核宽不同，但它们仍然具有各自的语义解释，例如：非常小、小、中、大、非常大，虽然不同的专家根据自己的经验和知识不同可能会给出不同的解释。很明显，IK-D-TSK的规则形式简洁且具有高可解释性。

IK-D-TSK中的模糊规则形式如下：

Then f(x)＝-0.6877

针对传统集成模糊分类器可解释性低，鲁棒性差等缺点，本发明提出了一种新型基于IFCM&KNN和数据字典的集成TSK模糊分类器IK-D-TSK，首先通过并行学习的方式组织所有零阶TSK模糊子分类器，然后每个子分类器的输出被扩充到原始(验证)输入空间，以便以并行方式打开原始(验证)输入空间中存在的流形结构，最后通过本文提出的模糊聚类算法IFCM生成数据字典，从而可以利用KNN对测试数据进行快速预测，理论和实验验证了本方法的高效性和高可解释性。

上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。

Claims (3)

1.一种基于IFCM、KNN和数据字典的集成TSK模糊分类器，其特征在于：依次包括以下步骤：

a)为每个子分类器从D_tr中随机抽样训练数据子集D₁,D₂,…,D_L，并且D₁∪D₂∪……∪D_L＝D_tr；

b)并行训练L个零阶TSK模糊子分类器；

c)对于验证数据集的每个样本，计算对应的每个输出函数F₁(x),F₂(x),…,F_L(x)的值并将其作为增强特征，将原始特征和增强特征合并，从而形成增强验证数据集

其中

表示验证数据的增强特征集，从而生成增强验证数据集；

d)在增强验证数据集

上调用IFCM算法后，生成代表性的中心点及其对应的标签，去掉增强特征，即得到数据字典；

e)对于任何测试样本，利用KNN方法在数据字典上找到最近的k个点，基于投票策略，确定其类标。

2.如权利要求1所述的一种基于IFCM、KNN和数据字典的集成TSK模糊分类器，其特征在于：所述步骤b)采用并行学习的思想同时训练L个零阶TSK模糊子分类器，具体包括以下步骤：

b1.为每个子分类器分配模糊规则数；

b2.构造5个高斯型隶属度函数，其隶属度中心点集合为{0,0.25,0.5,0.75,1}，在每一维上从中心点集合中随机指定一个值并构造规则组合矩阵

通过给每个元素分配一个随机正数来构造核宽度矩阵

利用高斯隶属度函数计算模糊隶属度，正则化并构造矩阵：

通过LLM计算后件参数a_g，即

其中I是K×K单位矩阵，C是给定的正则化参数；

b3.通过公式F₁(x),F₂(x),…,F_L(x)生成L个子分类器的输出函数F₁(x),F₂(x),…,F_L(x)。

3.权利要求1所述的一种基于IFCM、KNN和数据字典的集成TSK模糊分类器，其特征在于：所述步骤d)IFCM算法，其目标函数为：

其中

是第q类的第i个样本点,

是第q类的第j个中心点，N_q是第q类的样本数，c是每一类的中心点数，

表示第q类中第i个样本点

属于第j个中心点

的隶属度，

表示q类外第i个中心点属于q类的第j个中心点的隶属度，λ是平衡因子，用于控制q类内的中心点和q类外中心点的疏离程度；

表示在q类中，第i个样本和第j个中心点之间的欧氏距离；

表示q类外的第i个中心点和q类内的第j个中心点之间的距离，其中

表示不属于q类的中心点；当i∈{1,2,…,N_q}，公式(2)通过加强该约束中的第二项来迫使所有的样本更多地落在q类内部，当i∈{N_q+1,…,N_q+(Q-1)*c}时，公式(3)通过加强该约束中的第一项来迫使所有样本更多地落入第q类之外；

具体包括以下步骤：

d1.输入数据集X＝{x₁,x₂,…,x_N}∈R^N×D，及其标签Y＝{y₁,y₂,…,y_N}，真实类别数Q，每一类的聚类中心点数c，每一类的样本数N₁,N₂,…,N_Q，平衡因子λ，最大误差阀值τ；

d2.通过FCM初始化每类中的中心点，然后形成中心点矩阵V，初始化q＝1，其中1≤q≤Q；

d3.当i∈{1,…,N_q}时，计算隶属度

当i∈{N_q+1,…,N_q+(Q-1)*c}时，计算隶属度

d4.计算中心点

d5.中心点矩阵保持几乎不变或达到内部迭代的最大次数，是则转为步骤d6，否则转为步骤d3；

d6.利用

更新中心点矩阵V，并且q＝(q+1)mod Q；

d8.

或达到外部最大迭代次数，是则转为步骤d9，否则转为步骤d3；

d9.根据中心点矩阵V输出所有的中心点及其标签。

Images