CN110533111A - 一种基于局部密度与球哈希的自适应k均值聚类方法 - Google Patents

Abstract

本发明公开了一种基于局部密度与球哈希的自适应K均值聚类方法，首先对目标数据集归一化，计算数据集中样本的局部密度和中位数确定聚类类别数k，然后根据邻近样本的局部密度下四分位数和球哈希值，得到k个优化的初始聚类中心，最后用K均值聚类算法完成数据集的聚类。本发明自动确定数据集的类别数k和初始聚类中心，避免了传统K均值聚类算法需要事先设定类别数和随意设置初始聚类中心的不足，能够自适应地进行数据集的K均值聚类。

Description

一种基于局部密度与球哈希的自适应K均值聚类方法

技术领域

本发明涉及数据挖掘领域，具体涉及一种基于局部密度与球哈希的自适应K均值聚类方法。

背景技术

在数据挖掘领域的定义中，数据集是一种由数据所组成的集合，聚是一个将数据集内在某些方面相似的数据成员进行分类组织的过程，而聚类即是一种发现这种内在结构的技术，聚类技术通常被称为无监督学习。

聚类分析是一种有效的数据挖掘方法，能够表达数据内部结构特征，其聚类结果生成的散点图也是一种有效的数据可视化手段。K均值聚类算法(K-means clusteringalgorithm)是一种迭代求解的聚类分析算法，其步骤是，随机选取k个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类、没有(或最小数目)聚类中心再发生变化或误差平方和局部最小。

在K均值聚类时，参数k值必须预先给定，不同k值的设定对同一数据集的聚类效果相差甚远，而一般情况下对于未知数据集的k值很难预先判定。另一方面，由于算法是通过迭代完成，故其对初始选取的聚类中心相当敏感，但该算法的初始聚类中心点通常是随机选取的，因此在迭代过程中易陷入局部最优而造成聚类结果不确定。如果随机选择的初始聚类中心位置与实际的聚类中心位置距离相差比较大，将增加聚类中心的迭代次数，所耗时间也会更长。虽然目前人们提出了多种改进的K均值聚类方法，包括从确定最佳聚类数目k的角度提出的基于迭代自组织的数据分析算法ISODATA，以及从选择最优初始聚类中心和类别数的角度提出的基于决策图的K均值聚类方法，但不仅方法复杂、约束过多，聚类效果也并不理想。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于局部密度与球哈希的自适应K均值聚类方法解决了K均值聚类过程中存在的类别数k和初始聚类中心的优化选取问题，该方法能够对不同的数据集，自适应地选取类别数k和初始聚类中心，提高K均值聚类的适应性和聚类效果。

为了达到上述发明目的，本发明采用的技术方案为：

一种基于局部密度与球哈希的自适应K均值聚类方法，包括以下步骤：

S1、对需聚类的数据集D′进行归一化处理，得到归一化数据集D＝{x₁，x₂，...，x_N}，其中x_i为数据集中第i个M维数据样本，i为闭区间[1，N]中的整数，N为样本总数；

S2、通过局部密度法根据归一化数据集D计算得到聚类类别数k；

S3、遍历选取局部密度样本和对应的邻近样本，并用球哈希算法处理得到归一化数据集D的k个初始聚类中心；

S4、通过K均值聚类算法，根据聚类类别数k和归一化数据集D的k个初始聚类中心，处理归一化数据集D，得到聚类结果。

进一步地：步骤S1中对需聚类的数据集进行归一化处理遵循下式：

其中，x_i[q]为归一化数据集D中第i个M维数据样本的第q维特征，q为闭区间[1，M]中的整数，x′_i[q]为需聚类的数据集D′中第i个M维数据样本的第q维特征，max(x′[q])和min(x′[q])分别为需聚类的数据集D′中全体样本第q维特征的最大值和最小值。

进一步地：步骤S2包括以下步骤：

S21、初始化聚类类别数k的初值为1；

S22、根据局部密度计算公式，计算归一化数据集D中各数据样本x_i的局部密度p_i，得到局部密度集合P＝{p₁，p₂，...，p_N}；

S23、遍历局部密度集合P全体元素，寻找密度集合P的中值，得到局部密度中位数Q_ρ；并寻找密度集合P的最大值，将其所对应的归一化数据集D中的数据样本添加到Cluster矩阵中；

S24、在归一化数据集D中依次取出对应的局部密度大于Q_ρ的数据样本，计算该样本与Cluster矩阵中的各样本的欧式距离，判断该距离是否大于Cluster矩阵中所有样本欧氏距离的中位数Q_e，若是，则将该样本添加到Cluster矩阵中，并将聚类类别数k的数值加1，若否，则跳转至步骤S24；

S25、重复步骤S23～S24直到局部密度大于Q_ρ的样本遍历完毕，得到归一化数据集D的聚类类别数k。

进一步地：步骤S22中的局部密度计算公式为：

其中NQ(x_i)表示与样本x_i的欧式距离小于所有样本欧氏距离下四分位数的样本个数；DQ(x_i)表示与x_i的欧式距离小于所有样本欧氏距离下四分位数的样本的欧氏距离之和。

进一步地：步骤S3包括以下步骤：

S31、记归一化数据集D当前最大局部密度的数据样本为x_j，选取与x_j欧氏距离小于所有样本欧氏距离下四分位数的样本，作为x_j的邻近样本集；

S32、用球哈希算法根据x_j及其邻近样本集分别计算得到x_j与各邻近样本的球哈希输出值，并在各球哈希输出值中选取汉明重量最大的值所对应的样本作为第k个初始聚类中心；

S33：将x_j和邻近样本的局部密度值都置零，并将聚类类别数k的数值减1；

S34：判断是否满足k＞0，若是，则重复执行步骤S31至步骤S33；若否，则得到k个初始聚类中心。

本发明的有益效果为：采用特定的局部密度计算公式，有效排除了数据离群点对聚类类别数的影响；用欧式距离中位数作为自适应判决阈值，有效地排除了同一簇类中其他较高局部密度对象的干扰，增强了聚类类别数的稳定性；用球哈希算法搜索邻近样本中拥有最多相似属性的样本对象作为初始聚类中心，得到的初始聚类中心更接近最终的聚类中心，减少了聚类迭代次数，提高了收敛速度；并在计算初始聚类中心时采用四分位数阈值，使得邻近样本包含了与某一样本对象间欧式距离小于所有样本距离的下四分位数的样本对象，有效增加了邻近样本数目，提高了对稀疏数据集的聚类效果。最终实现了不同数据集的自适应选取类别数k和初始聚类中心，提高了K均值聚类的适应性和聚类效果。

附图说明

图1为一种基于局部密度与球哈希的自适应K均值聚类方法流程示意图；

图2为本发明实验结果对比图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，在本发明的一个实施例中，一种基于局部密度与球哈希的自适应K均值聚类方法，包括以下步骤：

S1、对需聚类的数据集D′进行归一化处理，得到归一化数据集D＝{x₁，x₂，...，x_N}，其中x_i为数据集中第i个M维数据样本，i为闭区间[1，N]中的整数，N为样本总数；

步骤S1中对需聚类的数据集进行归一化处理遵循下式：

其中，x_i[q]为归一化数据集D中第i个M维数据样本的第q维特征，q为闭区间[1，M]中的整数，x′_i[q]为需聚类的数据集D′中第i个M维数据样本的第q维特征，max(x′[q])和min(x′[q])分别为需聚类的数据集D′中全体样本第q维特征的最大值和最小值。

S2、通过局部密度法根据归一化数据集D计算得到聚类类别数k；

步骤S2包括以下步骤：

S21、初始化聚类类别数k的初值为1；

S22、根据局部密度计算公式，计算归一化数据集D中各数据样本x_i的局部密度p_i，得到局部密度集合P＝{p₁，p₂，...，p_N}；

步骤S22中的局部密度计算公式为：

其中NQ(x_i)表示与样本x_i的欧式距离小于所有样本欧氏距离下四分位数的样本个数；DQ(x_i)表示与x_i的欧式距离小于所有样本欧氏距离下四分位数的样本的欧氏距离之和。

S23、遍历局部密度集合P全体元素，寻找密度集合P的中值，得到局部密度中位数Q_ρ；并寻找密度集合P的最大值，将其所对应的归一化数据集D中的数据样本添加到Cluster矩阵中；

S24、在归一化数据集D中依次取出对应的局部密度大于Q_ρ的数据样本，计算该样本与Cluster矩阵中的各样本的欧式距离，判断该距离是否大于Cluster矩阵中所有样本欧氏距离的中位数Q_e，若是，则将该样本添加到Cluster矩阵中，并将聚类类别数k的数值加1，若否，则跳转至步骤S24；

S25、重复步骤S23～S24直到局部密度大于Q_ρ的样本遍历完毕，得到归一化数据集D的聚类类别数k。

S3、遍历选取局部密度样本和对应的邻近样本，并用球哈希算法处理得到归一化数据集D的k个初始聚类中心；

步骤S3包括以下步骤：

S31、记归一化数据集D当前最大局部密度的数据样本为x_j，选取与x_j欧氏距离小于所有样本欧氏距离下四分位数的样本，作为x_j的邻近样本集；

S32、用球哈希算法根据x_j及其邻近样本集分别计算得到x_j与各邻近样本的球哈希输出值，并在各球哈希输出值中选取汉明重量最大的值所对应的样本作为第k个初始聚类中心；

S33：将x_j和邻近样本的局部密度值都置零，并将聚类类别数k的数值减1；

S34：判断是否满足k＞0，若是，则重复执行步骤S31至步骤S33；若否，则得到k个初始聚类中心。

S4、通过K均值聚类算法，根据聚类类别数k和归一化数据集D的k个初始聚类中心，处理归一化数据集D，得到聚类结果。

本发明采用特定的局部密度计算公式，有效排除了数据离群点对聚类类别数的影响；用欧式距离中位数作为自适应判决阈值，有效地排除了同一簇类中其他较高局部密度对象的干扰，增强了聚类类别数的稳定性；用球哈希算法搜索邻近样本中拥有最多相似属性的样本对象作为初始聚类中心，得到的初始聚类中心更接近最终的聚类中心，减少了聚类迭代次数，提高了收敛速度；并在计算初始聚类中心时采用四分位数阈值，使得邻近样本包含了与某一样本对象间欧式距离小于所有样本距离的下四分位数的样本对象，有效增加了邻近样本数目，提高了对稀疏数据集的聚类效果。最终实现了不同数据集的自适应选取类别数k和初始聚类中心，提高了K均值聚类的适应性和聚类效果。

为了验证本发明方法在计算类别数和初始聚类中心的效果，表1、表2和图2展示出了在UCI公开数据集上的测试结果，表明了本发明方法的优势。

表1本发明与ISODATA算法的实验结果数据对比表

在类别数k测试上，与ISODATA算法进行比较。ISODATA算法需要输入包括预计的聚类类别数k₀、每一聚类最少样本数n、聚类中样本距离分布标准差δ和两聚类中心之间的最小距离d等参数，本发明不需输入任何附加参数。表1为本发明与ISODATA算法的实验结果数据，其中ISODATA的实验结果是在该算法输入适当参数的前提下获得的。表1示出，ISODATA算法非常依赖预计的聚类类别数k₀，对于Heart、Iris、Wine、Vehicle数据集的类别数K的判断存在较大偏差，对于Zoo数据集类别数偏更大。本发明的类别数测试比ISODATA算法好。

在初始聚类中心选择上，以UCI的iris数据集测试为例。通过比较传统K-means的随机初始化、K-means++的最远距离初始化和本发明基于球哈希的初始化方法，观察它们在iris数据集上生成的初始聚类中心与最终聚类中心位置关系，测试结果如图2所示，其中上三角符号表示初始聚类中心，菱形符号表示最终聚类中心。图2(a)示出，随机初始化将两个初始聚类中心定位到同一簇类别，导致原本属于一个类别的数据点被生硬地分割两个，而原属于两个类别的数据点没有被区分开来，这就是典型的“局部最优”。图2(b)图示出，最远距离初始化首先随机选择第一个初始聚类中心，从第二个开始采用最远距离，与实际聚类中心往往有较大差异，最终导致类别数初始设置时为3而最后得到的聚类结果却为2类。图2(c)示出，本发明初始化方法确定的初始聚类中心基本上都分布在了不同的簇类别上，而且某些初始聚类中心与实际聚类中心靠得很近，这有助于一定程度上减少聚类算法的迭代次数；图2(a)、图2(b)和图2(c)中，class-1为类别1、class-2为类别2、class-3为类别3、FirstCentroid为初始聚类中心、Centroid为实际聚类中心。

表2本发明在Iris和wine数据集上的测试结果

表2示出在Iris和wine数据集上的测试结果。从迭代次数来看，随机初始化最不稳定，均值达到8.4次。最远距离初始化相对稳定，且均值最小为5.9次。本发明初始化相对稳定，均值为6.3次。从聚类正确率来看，随机初始化均值为91.4％；最远距离初始化的准确率最低，其均值为65.73％；本发明初始化准确率最高且相对稳定，均值为94.5％。表明了本发明方法有更好的聚类效果。

Claims (5)

1.一种基于局部密度与球哈希的自适应K均值聚类方法，其特征在于，包括以下步骤：

S1、对需聚类的数据集D′进行归一化处理，得到归一化数据集D＝{x₁，x₂，...，x_N}，其中x_i为数据集中第i个M维数据样本，i为闭区间[1，N]中的整数，N为样本总数；

S2、通过局部密度法根据归一化数据集D计算得到聚类类别数k；

S3、遍历选取局部密度样本和对应的邻近样本，并用球哈希算法处理得到归一化数据集D的k个初始聚类中心；

S4、通过K均值聚类算法，根据聚类类别数k和归一化数据集D的k个初始聚类中心，处理归一化数据集D，得到聚类结果。

2.根据权利要求1所述的基于局部密度与球哈希的自适应K均值聚类方法，其特征在于，所述步骤S1中对需聚类的数据集进行归一化处理遵循下式：

其中，x_i[q]为归一化数据集D中第i个M维数据样本的第q维特征，q为闭区间[1，M]中的整数，x′_i[q]为需聚类的数据集D′中第i个M维数据样本的第q维特征，max(x′[q])和min(x′[q])分别为需聚类的数据集D′中全体样本第q维特征的最大值和最小值。

3.根据权利要求1所述的基于局部密度与球哈希的自适应K均值聚类方法，其特征在于，所述步骤S2包括以下步骤：

S21、初始化聚类类别数k的初值为1；

S22、根据局部密度计算公式，计算归一化数据集D中各数据样本x_i的局部密度p_i，得到局部密度集合P＝{p₁，p₂，...，p_N}；

S23、遍历局部密度集合P全体元素，寻找密度集合P的中值，得到局部密度中位数Q_ρ；并寻找密度集合P的最大值，将其所对应的归一化数据集D中的数据样本添加到Cluster矩阵中；

S24、在归一化数据集D中依次取出对应的局部密度大于Q_ρ的数据样本，计算该样本与Cluster矩阵中的各样本的欧式距离，判断该距离是否大于Cluster矩阵中所有样本欧氏距离的中位数Q_e，若是，则将该样本添加到Cluster矩阵中，并将聚类类别数k的数值加1，若否，则跳转至步骤S24；

S25、重复步骤S23～S24直到局部密度大于Q_ρ的样本遍历完毕，得到归一化数据集D的聚类类别数k。

4.根据权利要求3所述的基于局部密度与球哈希的自适应K均值聚类方法，其特征在于，所述步骤S22中的局部密度计算公式为：

其中NQ(x_i)表示与样本x_i的欧式距离小于所有样本欧氏距离下四分位数的样本个数；DQ(x_i)表示与x_i的欧式距离小于所有样本欧氏距离下四分位数的样本的欧氏距离之和。

5.根据权利要求1所述的基于局部密度与球哈希的自适应K均值聚类方法，其特征在于，所述步骤S3包括以下步骤：

S31、记归一化数据集D当前最大局部密度的数据样本为x_j，选取与x_j欧氏距离小于所有样本欧氏距离下四分位数的样本，作为x_j的邻近样本集；

S32、用球哈希算法根据x_j及其邻近样本集分别计算得到x_j与各邻近样本的球哈希输出值，并在各球哈希输出值中选取汉明重量最大的值所对应的样本作为第k个初始聚类中心；

S33：将x_j和邻近样本的局部密度值都置零，并将聚类类别数k的数值减1；

S34：判断是否满足k＞O，若是，则重复执行步骤S31至步骤S33；若否，则得到k个初始聚类中心。