CN109993179A - 一种对数据进行聚类的方法和装置 - Google Patents

Abstract

本发明公开了一种对数据进行聚类的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：基于相似性划分，将待聚类的特征数据划分为多个特征子集，每一个特征子集中包括多个特征数据；将每一个特征子集划分为多个聚类簇；输出各个聚类簇内的特征数据。该实施方式能够解决对大量数据进行聚类时，所需计算资源非常多的问题。

Description

一种对数据进行聚类的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种对数据进行聚类的方法和装置。

背景技术

随着互联网技术和数据存储技术的快速发展，各个机构组织积累了大量的数据。从海量的数据中提取潜在的、有价值的数据信息成为一项巨大的挑战。聚类分析是数据挖掘中的一种重要的方法。聚类分析能够将海量的杂乱无章的数据根据相似性归类至不同的聚类簇。

在实现本发明构思的过程中，发明人发现现有技术中至少存在如下问题：当数据量越来越大时(比如超过10亿)，所需计算资源非常多。

发明内容

有鉴于此，本发明实施例提供一种对数据进行聚类的方法和装置，能够解决对大量数据进行聚类时，所需计算资源非常多的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种对数据进行聚类的方法，包括：

基于相似性划分，将待聚类的特征数据划分为多个特征子集，每一个特征子集中包括多个特征数据；

将每一个特征子集划分为多个聚类簇；

输出各个聚类簇内的特征数据。

可选地，将待聚类的特征数据划分为多个特征子集，包括：

确定待聚类的特征数据的数量量级；

根据所述数量量级，确定相似性划分的次数；

通过至少一次的相似性划分，将待聚类的特征数据划分为多个特征子集。

可选地，将待聚类的特征数据划分为多个特征子集，包括：

随机抽取一定比例的特征数据作为样本，采用K-均值算法训练聚类模型，并确定聚类模型的多个虚拟中心点；

计算所述各个虚拟中心点到某一特征数据的距离，与该特征数据距离最近的虚拟中心点的所属子集即为该特征的所属子集；

逐个预测所有待聚类的特征数据的所属子集，从而将待聚类的特征数据划分为多个特征子集。

可选地，将每一个特征子集划分为多个聚类簇，包括：

采用自适应阈值的密度聚类算法，将每一个特征子集划分为多个聚类簇。

可选地，采用自适应阈值的密度聚类算法，包括：

在采用密度聚类算法进行聚类时，为每一个特征子集预先设定自适应系数a，0<a≤1，使得算法在为每一个特征子集执行聚类前，确定算法的两个条件：

1)半径r＝DIS_MIN+a×(DIS_MAX-DIS_MIN)；

2)半径范围内最少成员个数；

其中，DIS_MIN是该特征子集内特征数据间的最小距离；DIS_MAX是该特征子集内特征数据间的最大距离。

另外，根据本发明实施例的另一个方面，提供了一种对数据进行聚类的装置，包括：

划分模块，用于基于相似性划分，将待聚类的特征数据划分为多个特征子集，每一个特征子集中包括多个特征数据；

聚类簇模块，用于将每一个特征子集划分为多个聚类簇；

输出模块，用于输出各个聚类簇内的特征数据。

可选地，将待聚类的特征数据划分为多个特征子集，包括：

确定待聚类的特征数据的数量量级；

根据所述数量量级，确定相似性划分的次数；

通过至少一次的相似性划分，将待聚类的特征数据划分为多个特征子集。

可选地，所述将待聚类的特征数据划分为多个特征子集，包括：

随机抽取一定比例的特征数据作为样本，采用K-均值算法训练聚类模型，并确定聚类模型的多个虚拟中心点；

计算所述各个虚拟中心点到某一特征数据的距离，与该特征数据距离最近的虚拟中心点的所属子集即为该特征的所属子集；

逐个预测所有待聚类的特征数据的所属子集，从而将待聚类的特征数据划分为多个特征子集。

可选地，所述聚类簇模块，用于：

采用自适应阈值的密度聚类算法，将每一个特征子集划分为多个聚类簇。

可选地，采用自适应阈值的密度聚类算法，包括：

在采用密度聚类算法进行聚类时，为每一个特征子集预先设定自适应系数a，0<a≤1，使得算法在为每一个特征子集执行聚类前，确定算法的两个条件：

1)半径r＝DIS_MIN+a×(DIS_MAX-DIS_MIN)；

2)半径范围内最少成员个数；

其中，DIS_MIN是该特征子集内特征数据间的最小距离；DIS_MAX是该特征子集内特征数据间的最大距离。

根据本发明实施例的另一个方面，还提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的方法。

根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用将待聚类的特征数据划分为多个特征子集，再将每一个特征子集划分为多个聚类簇的技术手段，所以克服了对大量数据进行聚类时，所需计算资源非常多的技术问题，本发明通过将待聚类的特征数据划分为多个特征子集，再将每一个特征子集划分为多个聚类簇，能够在计算资源固定的情况下高效处理不同规模的特征数据。而且，本发明实施例提供的方法采用自适应阈值的聚类算法进行聚类，能够自适应特征数据的多样性，动态决定各个特征子集的聚类阈值，以确保较高的聚类精度。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的对数据进行聚类的方法的主要流程的示意图；

图2是根据本发明一个可参考实施例的对数据进行聚类的方法的主要流程的示意图；

图3是根据本发明实施例的对数据进行聚类的装置的主要模块的示意图；

图4是本发明实施例可以应用于其中的示例性系统架构图；

图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

以K-均值算法为例，当K增大时，算法执行时间随之增加，因此K不能无限制增加，否则所需计算资源会非常多。

举例：当待聚类数据的总量超过10亿时，预估每5个数据为一聚类簇，则需要指定K＝2亿，指定算法最多迭代10次(即i＝10)，则根据Lloyd算法复杂度分析，时间复杂度O(nkdi)＝10²³，可见，所需计算资源非常多。

为了降低计算资源，本发明提出了一种对数据进行聚类的方法，包括：将待聚类的特征数据划分为多个特征子集，每一个特征子集中包括多个特征数据；将每一个特征子集划分为多个聚类簇；和，输出各个聚类簇内的特征数据。

图1是根据本发明实施例的对数据进行聚类的方法的主要流程的示意图。如图1所示，作为本发明的一个实施例，所述对数据进行聚类的方法可以包括：

步骤101，基于相似性划分，将待聚类的特征数据划分为多个特征子集，每一个特征子集中包括多个特征数据。

在本发明的实施例中，每一个特征数据对应于一个数据对象，通过聚类算法，将所有待聚类的数据对象的特征数据划分为多个特征子集。可以采用K-means(K-均值)、Brich、Optics等聚类算法。

根据本发明的实施例，该数据对象包括以下中任意一项：数据文件、文档、图像、音频、或视频。

当该数据对象为数据文件时，该数据对象的特征数据可以是该数据文件的格式信息、语言类型、或者算法等。

当该数据对象为文档时，该数据对象的特征数据可以是文档的格式、文档的结构信息、文档内的词、词频信息、或者文档的语言类型等数据。

当该数据对象为图像时，该数据对象的特征数据可以是图像的编码格式、图像中的色彩分布、或者其中的图形轮廓等数据。

当该数据对象为音频时，该数据对象的特征数据可以是音频格式、其中的声音流分布、或者声音的频率范围等数据。

当该数据对象为视频时，该数据对象的特征数据可以是视频的编码格式、视频流数据分布、或者视频画面的色彩分布等。

根据本发明的实施例，每一个特征数据对应于一个数据对象。具体地，一个特征数据可以是从对应的数据对象中提取相应的数据信息而获得的。一个数据特征可以是一个一维的特征值，例如是对应的数据对象的某一个维度的数据信息。或者，一个特征数据也可以是一个多维的数据向量，例如从对应的数据对象中提取多个维度的数据信息，并将这些数据信息组合获得对应的特征数据。

作为本发明的又一个实施例，可以采用K-均值算法对待聚类的特征数据进行相似性划分，得到多个特征子集。例如，划分为K个特征子集(各个特征子集的序号依次为：1,2,…,K)，每一个特征子集中包括多个特征数据。其中，所述相似性划分的次数为至少一次，即可以是进行一次相似性划分，两次相似性划分，三次相似性划分等。所述相似性划分的次数可以根据待聚类的特征数据的数量量级而确定。

作为本发明的另一个实施例，所述将待聚类的特征数据划分为多个特征子集，包括：确定待聚类的特征数据的数量量级；根据所述数量量级，确定相似性划分的次数；通过至少一次的相似性划分，将待聚类的特征数据划分为多个特征子集。

在该实施例中，根据待聚类的特征数据的总数，确定待聚类的特征数据的数量量级，继而确定相似性划分的次数(比如一次，两次，三次，四次等)，然后基于确定的相似划分次数，将待聚类的特征数据划分为多个特征子集。可选地，根据待聚类的特征数据总量的不同，所述特征子集中特征数据的数量级可以为亿量级、千万量级、百万量级，十万量级，万量级，千量级等等。

作为本发明的另一个实施例，所述步骤101包括：

随机抽取一定比例的特征数据作为样本，采用K-均值算法训练聚类模型，并确定聚类模型的多个虚拟中心点；

计算所述各个虚拟中心点到某一特征数据的距离，与该特征数据距离最近的虚拟中心点的所属子集即为该特征的所属子集；

逐个预测所有待聚类的特征数据的所属子集，从而将所有的待聚类的特征数据划分为多个特征子集。

其中，所述虚拟中心点可以根据K和迭代次数而得到，在上述实施例中，由于划分为K个特征子集，因此需要确定K个虚拟中心点，每一个虚拟中心点对应于一个特征子集。可选地，采用Spark来训练聚类模型。

在本发明实施例中，所述一定比例是指：在一定的计算时间内(一台或多台执行K均值算法)所能处理的特征量(随机抽取的特征数据的数量)/待聚类的特征数据总量。

需要指出的是，所述一定比例是评估出来的，不是固定值。一般来说，依据不同的硬件、集群的计算能力，确定所述比例。通常地，有这样的趋势：抽取的样本比例越大，虚拟中心点的确定会越准确，但并不是两者并不是成线性关系。

虚拟中心点是指：执行K-均值算法后所得到中心点，该中心点与其它所有特征点的距离平方和是最小的。通常来说，所述虚拟中心点不是来自已有的特征数据，但是也有可能是来自已有的特征数据。

步骤102，将每一个特征子集划分为多个聚类簇。

在该步骤中，通过基于密度的聚类算法，将每一个特征子集划分为多个聚类簇。例如，采用DBSCAN(Density-Based Spatial Clustering of Application with Noise)算法进行聚类，将每一个特征子集划分为多个聚类簇，每个聚类簇内的特征数据高度相似。

由于每一个特征子集内各个特征数据间的距离分布不尽相同，例如子集内最大距离，最小距离，平均距离，距离直方图等都不尽相同，因此本发明实施例采用自适应阈值的密度聚类算法，将每一个特征子集划分为多个聚类簇。

具体地，在采用密度聚类算法进行聚类时，为每一个特征子集预先设定自适应系数a(0<a≤1)，使得算法在为每一个特征子集执行聚类前，确定算法的两个条件：

1)半径r，r＝DIS_MIN+a×(DIS_MAX-DIS_MIN)；

2)半径范围内最少成员个数(MinPts)，使得最终聚类条件是自适应每一个特征子集。

其中，DIS_MIN是具体到一个特征子集内的统计值：该特征子集内特征数据间的最小距离；DIS_MAX是具体到一个特征子集内的统计值：该特征子集内特征数据间的最大距离。

需要指出的是，半径范围内最少成员个数是固定的，可以根据数据的特点设定不同的半径范围内最少成员个数。在本发明的一个实施例中，半径范围内最少成员个数为2，即最少2个成一个聚类簇。在本发明的一个实施例中，半径范围内最少成员个数为4，即最少4个成一个聚类簇。

可选地，还可以为每一个特征子集设定不同的半径范围内最少成员个数，进一步使得最终聚类条件是自适应每一个特征子集。

以图像为例，服装和配饰通过K-均值相似性划分，会被划分到不同的特征子集(服装类、配饰类)。相对配饰图像，服装图像的细节更多，同一特征子集内两两数据特征之间的特征距离分布范围将更广泛，服装类对应的特征子集的最大距离大于配饰类对应的特征子集的最大距离。因此，相对配饰类对应的特征子集，服装类对应的特征子集的聚类阈值系数更大。也就是说，判断为相同配饰的图像之间的特征距离远小于判断为相同的服装之间的特征距离。但是通过自适应阈值，本发明的发明人通过设置同样的自适应系数a、不同的最大距离，能达到不同的特征子集(衣服和配饰)在运行时使用不同的r的技术效果。

可见，本发明实施例提供的方法能够自适应特征数据的多样性，动态决定各个特征子集的聚类阈值，以确保较高的聚类精度。以图像为例，多样性指图像的特征的多样性。

步骤103，输出各个聚类簇内的特征数据。

在该步骤中，输出各个聚类簇内的特征数据，每个类聚类簇内的特征数据认为是高度相似，甚至是重复的。

以图像为例，每张图像的特征数据对应的簇编号为其聚类分组编号，对于输出的结果，同一聚类簇内的图片认为是高度相似，甚至是重复的。

可选地，本发明实施例提供的方法支持分布式的高效聚类算法库，可以部署在Spark集群上。

根据上面所述的各种实施例，可以看出本发明通过采用将待聚类的特征数据划分为多个特征子集，再将每一个特征子集划分为多个聚类簇，从而解决了对大量数据进行聚类时，所需计算资源非常多的问题。也就是说，在现有技术中，当数据量越来越大时，所需计算资源非常多。而本发明是通过将待聚类的特征数据划分为多个特征子集，再将每一个特征子集划分为多个聚类簇，能够在计算资源固定的情况下高效处理不同规模的特征数据。例如，在实际应用中，特征数据规模为1.1亿时，相应总的处理时间仅为49分钟，相较于现有技术，显著缩短了处理时间。

而且，本发明实施例提供的方法采用自适应阈值的聚类算法进行聚类，能够自适应特征数据的多样性，动态决定各个特征子集的聚类阈值，以确保较高的聚类精度。

图2是根据本发明一个可参考实施例的对数据进行聚类的方法的主要流程的示意图。作为本发明的再一个实施例，以是2层聚类结构(即相似性划分的次数为两次)，所述对数据进行聚类的方法可以包括：

步骤201，基于相似性划分，将待聚类的特征数据划分为多个一级特征子集，每一个一级特征子集中包括多个特征数据；

步骤202，基于相似性划分，将每一个一级特征子集划分为多个二级特征子集，每一个二级特征子集中包括多个特征数据；

步骤203，将每一个二级特征子集划分为多个聚类簇；

步骤204，输出各个聚类簇内的特征数据。

作为本发明的又一个实施例，在步骤201和步骤202中，可以采用K-均值算法对待聚类的特征数据进行粗粒度相似性划分，得到多个一级特征子集；然后，采用K-均值算法对每一个一级特征子集内的特征数据进行细粒度相似性划分，得到多个特征子集。例如，将待聚类的特征数据划分为K1个一级特征子集(各个一级特征子集的序号依次为：1,2,…,K1)，然后将每一个一级特征子集划分为K2个二级特征子集(各个二级特征子集的序号依次为：1,2,…,K1×K2)，在将每一个二级特征子集划分为多个聚类簇(1,2,…,K1×K2×K3，各个聚类簇的编号全局唯一)。

作为本发明的再一个实施例，在步骤201中，所述一级特征子集中特征数据的数量级为千万量级。具体地，用待聚类的特征数据总量M除以一千万(也可以是两千万、三千万、四万千等)，计算出特征子集的个数K1，即总的类别数量。其中，K1为正整数，如果用待聚类的特征数据总量M除以一千万，得到的值不是整数，可以通过四舍五入或者其他方法，使得最终的K1为正整数。需要指出的是，本发明实施例仅仅是示例性的采用了千万作为特征子集中特征数据的数量级，根据待聚类的特征数据总量的不同，所述特征子集中特征数据的数量级也可以是亿量级，百万量级，十万量级，万量级，千量级等等。

具体地，在步骤202中，用一级特征子集内的特征数据总量N除以万(也可以是两万、三万、四千等)，计算出二级特征子集的个数K2，即每一个一级特征子集中的总的类别数量。其中，K2为正整数，如果用一级特征子集内的特征数据总量N除以一万，得到的值不是整数，可以通过四舍五入或者其他方法，使得最终的K2为正整数。

由于二级特征子集是从一级特征子集中划分出来的，因此二级特征子集的数量级低于一级特征子集的数量级。举例来说，所述一级特征子集中特征数据的数量级为千万量级或者百万量级，所述二级特征子集的数量级为十万量级或者量万级。或者，所述一级特征子集中特征数据的数量级为亿千万量级，所述二级特征子集的数量级为十万量级。

作为本发明的再一个实施例，步骤203中，也可以通过基于密度的聚类算法，将每一个特征子集划分为多个聚类簇。例如，采用DBSCAN算法进行聚类，将每一个第二特征子集划分为多个聚类簇，每个聚类簇内的特征数据高度相似。

由于每一个二级特征子集内各个特征数据间的距离分布不尽相同，例如子集内最大距离，最小距离，平均距离，距离直方图等都不尽相同，因此本发明实施例采用自适应阈值的密度聚类算法，将每一个特征子集划分为多个聚类簇。具体实施方式与步骤102相似，不再赘述。

需要指出的是，在本发明一个可参考实施例中所述对数据进行聚类的方法的具体实施内容，在上面所述对数据进行聚类的方法中已经详细说明了，故在此重复内容不再说明。

需要说明的是，本发明实施例提供的方法可以是2层聚类结构，也可以是3层聚类结构，还可以是4层、5层聚类结构等。可以根据所处理的特征数据的数量决定采用几层聚类结构。

以2层聚类结构为例，所述对数据进行聚类的方法可以包括：

1)输入待聚类的特征数据；

2)将待聚类的特征数据划分为多个特征子集，每一个特征子集中包括多个特征数据；

3)将每一个特征子集划分为多个聚类簇；

4)输出各个聚类簇内的特征数据。

以3层聚类结构为例，所述对数据进行聚类的方法可以包括：

1)输入待聚类的特征数据；

2)将待聚类的特征数据划分为多个一级特征子集，每一个一级特征子集中包括多个特征数据；

3)将每一个第一特征子集划分为多个二级特征子集，每一个二级特征子集中包括多个特征数据；

4)将每一个二级特征子集划分为多个聚类簇；

5)输出各个聚类簇内的特征数据。

以4层聚类结构为例，所述对数据进行聚类的方法可以包括：

1)输入待聚类的特征数据；

2)将待聚类的特征数据划分为多个一级特征子集，每一个一级特征子集中包括多个特征数据；

3)将每一个第一特征子集划分为多个二级特征子集，每一个二级特征子集中包括多个特征数据；

4)将每一个第二特征子集划分为多个三级特征子集，每一个三级特征子集中包括多个特征数据；

5)将每一个三级特征子集划分为多个聚类簇；

6)输出各个聚类簇内的特征数据。

基于其他聚类结构的聚类方法与上述方法类似，不再赘述。

以图像为例，输入图像的特征数据，每条数据格式为图像名称+空格+特征值，其中特征值为高维向量，各维之间空格分开；输出各个聚类簇内的特征数据，每条数据格式为图像名称+空格+分组编号(即簇编码，全局唯一)。

需要指出的是，在本发明一个可参考实施例中所述对数据进行聚类的方法的具体实施内容，在上面所述对数据进行聚类的方法中已经详细说明了，故在此重复内容不再说明。

图3是根据本发明实施例的对数据进行聚类的装置，如图3所示，所述对数据进行聚类的装置300包括划分模块301、聚类簇模块302以及输出模块303。其中，所述划分模块301基于相似性划分，将待聚类的特征数据划分为多个特征子集，每一个特征子集中包括多个特征数据；所述聚类簇模块302将每一个特征子集划分为多个聚类簇；所述输出模块303输出各个聚类簇内的特征数据。

作为本发明的又一个实施例，可以采用K-均值算法对待聚类的特征数据进行相似性划分，得到多个特征子集。例如，划分为K个特征子集(各个特征子集的序号依次为：1,2,…,K)，每一个特征子集中包括多个特征数据。其中，所述相似性划分的次数为至少一次，即可以是进行一次相似性划分，两次相似性划分，三次相似性划分等。所述相似性划分的次数可以根据待聚类的特征数据的数量量级而确定。

作为本发明的另一个实施例，所述将待聚类的特征数据划分为多个特征子集，包括：确定待聚类的特征数据的数量量级；根据所述数量量级，确定相似性划分的次数；通过至少一次的相似性划分，将待聚类的特征数据划分为多个特征子集。

在该实施例中，根据待聚类的特征数据的总数，确定待聚类的特征数据的数量量级，继而确定相似性划分的次数(比如一次，两次，三次，四次等)，然后基于确定的相似划分次数，将待聚类的特征数据划分为多个特征子集。可选地，根据待聚类的特征数据总量的不同，所述特征子集中特征数据的数量级可以为亿量级、千万量级、百万量级，十万量级，万量级，千量级等等。

可选地，所述将待聚类的特征数据划分为多个特征子集，包括：

随机抽取一定比例的特征数据作为样本，采用K-均值算法训练聚类模型，并确定聚类模型的多个虚拟中心点；

计算所述各个虚拟中心点到某一特征数据的距离，与该特征数据距离最近的虚拟中心点的所属子集即为该特征的所属子集；

逐个预测所有待聚类的特征数据的所属子集，从而将待聚类的特征数据划分为多个特征子集。

其中，所述虚拟中心点可以根据K1和迭代次数而得到，在上述实施例中，由于划分为K1个特征子集，因此需要确定K1个虚拟中心点，每一个虚拟中心点对应于一个特征子集。可选地，采用Spark来训练聚类模型。

作为本发明的又一个实施例，可以采用K-均值算法对待聚类的特征数据进行粗粒度相似性划分，得到多个一级特征子集；然后，采用K-均值算法对每一个一级特征子集内的特征数据进行细粒度相似性划分，得到多个特征子集。例如，将待聚类的特征数据划分为K1个一级特征子集(各个一级特征子集的序号依次为：1,2,…,K1)，然后将每一个一级特征子集划分为K2个二级特征子集(各个二级特征子集的序号依次为：1,2,…,K1×K2)，在将每一个二级特征子集划分为多个聚类簇(1,2,…,K1×K2×K3，各个聚类簇的编号全局唯一)。

作为本发明的再一个实施例，所述一级特征子集中特征数据的数量级为千万量级。具体地，用待聚类的特征数据总量M除以一千万(也可以是两千万、三千万、四万千等)，计算出特征子集的个数K1，即总的类别数量。其中，K1为正整数，如果用待聚类的特征数据总量M除以一千万，得到的值不是整数，可以通过四舍五入或者其他方法，使得最终的K1为正整数。需要指出的是，本发明实施例仅仅是示例性的采用了千万作为特征子集中特征数据的数量级，根据待聚类的特征数据总量的不同，所述特征子集中特征数据的数量级也可以是亿量级，百万量级，十万量级，万量级，千量级等等。

具体地，在步骤202中，用一级特征子集内的特征数据总量N除以万(也可以是两万、三万、四千等)，计算出二级特征子集的个数K2，即每一个一级特征子集中的总的类别数量。其中，K2为正整数，如果用一级特征子集内的特征数据总量N除以一万，得到的值不是整数，可以通过四舍五入或者其他方法，使得最终的K2为正整数。

所述聚类簇模块302通过基于密度的聚类算法，将每一个特征子集划分为多个聚类簇。例如，采用DBSCAN算法进行聚类，将每一个特征子集划分为多个聚类簇，每个聚类簇内的特征数据高度相似。可选地，所述聚类簇模块302采用自适应阈值的密度聚类算法，将每一个特征子集划分为多个聚类簇。

由于每一个特征子集内各个特征数据间的距离分布不尽相同，例如子集内最大距离，最小距离，平均距离，距离直方图等都不尽相同，因此本发明实施例采用自适应阈值的密度聚类算法，将每一个特征子集划分为多个聚类簇。

具体地，在采用密度聚类算法进行聚类时，为每一个特征子集预先设定自适应系数a(0<a≤1)，使得算法在为每一个特征子集执行聚类前，确定算法的两个条件：1)半径r，r＝DIS_MIN+a×(DIS_MAX-DIS_MIN)；2)半径范围内最少成员个数(MinPts)，使得最终聚类条件是自适应每一个特征子集。其中，DIS_MIN是具体到一个特征子集内的统计值：该特征子集内特征数据间的最小距离；DIS_MAX是具体到一个特征子集内的统计值：该特征子集内特征数据间的最大距离。

所述输出模块303输出各个聚类簇内的特征数据，每个类聚类簇内的特征数据认为是高度相似，甚至是重复的。以图像为例，每张图像的特征数据对应的簇编号为其聚类分组编号，对于输出的结果，同一聚类簇内的图片认为是高度相似，甚至是重复的。

根据上面所述的各种实施例，可以看出本发明通过采用将待聚类的特征数据划分为多个特征子集，再将每一个特征子集划分为多个聚类簇，从而解决了对大量数据进行聚类时，所需计算资源非常多的问题。也就是说，在现有技术中，当数据量越来越大时，所需计算资源非常多。而本发明是通过将待聚类的特征数据划分为多个特征子集，再将每一个特征子集划分为多个聚类簇，能够在计算资源固定的情况下高效处理不同规模的特征数据。而且，本发明实施例提供的方法采用自适应阈值的聚类算法进行聚类，能够自适应特征数据的多样性，动态决定各个特征子集的聚类阈值，以确保较高的聚类精度。

需要说明的是，在本发明所述对数据进行聚类的装置的具体实施内容，在上面所述对数据进行聚类的方法中已经详细说明了，故在此重复内容不再说明。

图4示出了可以应用本发明实施例对数据进行聚类的方法或对数据进行聚类的装置的示例性系统架构400。

如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息——仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的对数据进行聚类的方法一般由服务器405执行，相应地，所述对数据进行聚类的装置一般设置在服务器405中。

应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括划分模块、聚类簇模块和输出模块，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：基于相似性划分，将待聚类的特征数据划分为多个特征子集，每一个特征子集中包括多个特征数据；将每一个特征子集划分为多个聚类簇；输出各个聚类簇内的特征数据。

根据本发明实施例的技术方案，因为采用将待聚类的特征数据划分为多个特征子集，再将每一个特征子集划分为多个聚类簇的技术手段，所以克服了对大量数据进行聚类时，所需计算资源非常多的技术问题，本发明通过将待聚类的特征数据划分为多个特征子集，再将每一个特征子集划分为多个聚类簇，能够在计算资源固定的情况下高效处理不同规模的特征数据。而且，本发明实施例提供的方法采用自适应阈值的聚类算法进行聚类，能够自适应特征数据的多样性，动态决定各个特征子集的聚类阈值，以确保较高的聚类精度。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种对数据进行聚类的方法，其特征在于，包括：

基于相似性划分，将待聚类的特征数据划分为多个特征子集，每一个特征子集中包括多个特征数据；

将每一个特征子集划分为多个聚类簇；

输出各个聚类簇内的特征数据。

2.根据权利要求1所述的方法，其特征在于，将待聚类的特征数据划分为多个特征子集，包括：

确定待聚类的特征数据的数量量级；

根据所述数量量级，确定相似性划分的次数；

通过至少一次的相似性划分，将待聚类的特征数据划分为多个特征子集。

3.根据权利要求1所述的方法，其特征在于，将待聚类的特征数据划分为多个特征子集，包括：

随机抽取一定比例的特征数据作为样本，采用K-均值算法训练聚类模型，并确定聚类模型的多个虚拟中心点；

计算所述各个虚拟中心点到某一特征数据的距离，与该特征数据距离最近的虚拟中心点的所属子集即为该特征的所属子集；

逐个预测所有待聚类的特征数据的所属子集，从而将待聚类的特征数据划分为多个特征子集。

4.根据权利要求1所述的方法，其特征在于，将每一个特征子集划分为多个聚类簇，包括：

采用自适应阈值的密度聚类算法，将每一个特征子集划分为多个聚类簇。

5.根据权利要求4所述的方法，其特征在于，采用自适应阈值的密度聚类算法，包括：

在采用密度聚类算法进行聚类时，为每一个特征子集预先设定自适应系数a，0<a≤1，使得算法在为每一个特征子集执行聚类前，确定算法的两个条件：

1)半径r＝DIS_MIN+a×(DIS_MAX-DIS_MIN)；

2)半径范围内最少成员个数；

其中，DIS_MIN是该特征子集内特征数据间的最小距离；DIS_MAX是该特征子集内特征数据间的最大距离。

6.一种对数据进行聚类的装置，其特征在于，包括：

划分模块，用于基于相似性划分，将待聚类的特征数据划分为多个特征子集，每一个特征子集中包括多个特征数据；

聚类簇模块，用于将每一个特征子集划分为多个聚类簇；

输出模块，用于输出各个聚类簇内的特征数据。

7.根据权利要求6所述的装置，其特征在于，将待聚类的特征数据划分为多个特征子集，包括：

确定待聚类的特征数据的数量量级；

根据所述数量量级，确定相似性划分的次数；

通过至少一次的相似性划分，将待聚类的特征数据划分为多个特征子集。

8.根据权利要求6所述的装置，其特征在于，将待聚类的特征数据划分为多个特征子集，包括：

随机抽取一定比例的特征数据作为样本，采用K-均值算法训练聚类模型，并确定聚类模型的多个虚拟中心点；

计算所述各个虚拟中心点到某一特征数据的距离，与该特征数据距离最近的虚拟中心点的所属子集即为该特征的所属子集；

逐个预测所有待聚类的特征数据的所属子集，从而将待聚类的特征数据划分为多个特征子集。

9.根据权利要求6所述的装置，其特征在于，所述聚类簇模块，用于：

采用自适应阈值的密度聚类算法，将每一个特征子集划分为多个聚类簇。

10.根据权利要求9所述的装置，其特征在于，采用自适应阈值的密度聚类算法，包括：

在采用密度聚类算法进行聚类时，为每一个特征子集预先设定自适应系数a，0<a≤1，使得算法在为每一个特征子集执行聚类前，确定算法的两个条件：

1)半径r＝DIS_MIN+a×(DIS_MAX-DIS_MIN)；

2)半径范围内最少成员个数；

其中，DIS_MIN是该特征子集内特征数据间的最小距离；DIS_MAX是该特征子集内特征数据间的最大距离。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。