CN106778812A - 聚类实现方法和装置 - Google Patents

聚类实现方法和装置 Download PDF

Info

Publication number
CN106778812A
CN106778812A CN201611040671.6A CN201611040671A CN106778812A CN 106778812 A CN106778812 A CN 106778812A CN 201611040671 A CN201611040671 A CN 201611040671A CN 106778812 A CN106778812 A CN 106778812A
Authority
CN
China
Prior art keywords
data
clustered
cluster centre
data set
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611040671.6A
Other languages
English (en)
Other versions
CN106778812B (zh
Inventor
王龙
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201611040671.6A priority Critical patent/CN106778812B/zh
Publication of CN106778812A publication Critical patent/CN106778812A/zh
Application granted granted Critical
Publication of CN106778812B publication Critical patent/CN106778812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种聚类实现方法和装置，涉及数据处理技术领域。所述方法包括：对待聚类数据集的聚类中心进行初始化；根据聚类中心，计算与待聚类数据集中的各数据点分别对应的最近聚类中心，其中，在计算所述最近聚类中心过程中消除了数据点自身平方计算带来的冗余；根据待聚类数据集中的各数据点的所述聚类中心的计算结果，更新聚类中心；返回执行根据聚类中心，计算与待聚类数据集中的各数据点分别对应的最近聚类中心的操作，直至满足聚类迭代结束条件。本发明实施例的技术方案，优化了现有的K‑means聚类算法，降低了K‑means聚类算法的计算复杂度。

Description

聚类实现方法和装置
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种聚类实现方法和装置。
背景技术
所谓聚类，是指将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。聚类分析又称群分析，它是研究(样品或指标)分类问题的一种统计分析方法，同时也是数据挖掘的一个重要算法。
其中，K-means(也称为K均值)是一类非常经典的基于划分的聚类分析方法，是十大经典数据挖掘算法之一，其算法简单、收敛速度快且易于实现，应用领域非常广泛。K-means算法的基本思想是：以空间中k个点为中心进行聚类，对最靠近它们的对象归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。
在超大规模图片(典型的，百亿级)聚类中一般需要使用K-means算法，但是在对图片的聚类过程中对算法的时间消耗和空间消耗都非常大。因此，如何降低K-means算法的计算复杂度，以及减少空间消耗，是当前人们广泛研究的重点问题。
发明内容
有鉴于此，本发明实施例提供一种聚类实现方法和装置，以优化现有的K-means聚类算法，降低K-means聚类算法的计算复杂度。
第一方面，本发明实施例提供了一种聚类实现方法，包括：
对待聚类数据集的聚类中心进行初始化，其中，初始化聚类中心的数量与预设的聚类数目相匹配；
根据所述聚类中心，计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心，其中，在计算所述最近聚类中心过程中消除了数据点自身平方计算带来的冗余；
根据所述待聚类数据集中的各数据点的所述最近聚类中心的计算结果，更新所述聚类中心；
返回执行根据所述聚类中心，计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心的操作，直至满足聚类迭代结束条件。
第二方面，本发明实施例还提供了一种聚类实现装置，包括：
聚类中心初始化模块，用于对待聚类数据集的聚类中心进行初始化，其中，初始化聚类中心的数量与预设的聚类数目相匹配；
最近聚类中心计算模块，用于根据所述聚类中心，计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心，其中，在计算所述最近聚类中心过程中消除了数据点自身平方计算带来的冗余；
聚类中心更新模块，用于根据所述待聚类数据集中的各数据点的所述最近聚类中心的计算结果，更新所述聚类中心；
重复迭代模块，用于返回执行根据所述聚类中心，计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心的操作，直至满足聚类迭代结束条件。
本发明实施例提供的聚类实现方法及装置，在使用K-means聚类算法的过程中，通过分析确定K-means聚类算法自身算法的执行步骤中存在的冗余，使用巧妙的变换消除了在计算各个数据点的最小聚类中心时，数据点自身平方计算带来的冗余，优化了现有的K-means聚类算法，降低了K-means聚类算法的计算复杂度。
附图说明
图1是现有技术中的K-means聚类算法的实现流程图；
图2是本发明实施例一提供的一种聚类实现方法的流程图；
图3a是本发明实施例二提供的一种聚类实现方法的流程图；
图3b是本发明实施例二提供的聚类实现方法与现有的聚类实现方法之间的计算量对比图；
图4a是本发明实施例三提供的一种聚类实现方法的流程图；
图4b是本发明实施例三提供的一种聚类实现方法的具体应用示意图；
图4c是本发明实施例三提供的一种聚类实现方法的数据流式处理示意图；
图5是本发明实施例提供的一种具体应用场景的示意图；
图6是本发明实施例四提供的一种聚类实现装置的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
首先，为了便于理解，首先将现有的K-means聚类算法的实现原理进行简单介绍。
在图1中示出了现有的K-means聚类算法的实现流程图。其中，根据算法流程，给定的输入数据集如下：
输入数据集x(n*m)：给定数据集x，包含n个数据点x[0]…x[n-1]，其中，每个数据点是一个m维向量；另外，给定聚类的数目为k。
现有的K-means聚类算法的实现流程如下：
1、首先，对数据集x初始化，例如：归一化；
2、之后，选择k个初始聚类中心，例如：c[0]＝data[0]，…，c[k-1]＝data[k-1]；
3、对于数据集x[0]…x[n-1]，分别计算其与聚类中心c[0]，…，c[k-1]之间的欧式距离，得到d[i][j](表示数据集x中的第i个数据点x[i]与聚类中心c的第j个中心点c[j]的欧式距离)；
4、对于x的每一个数据点x[i]，取最近的聚类中心c[j]＝argminj(d[i]j)(其中，j＝0，1，…，k-1)，作为该点所属的新类别。
5、对于每个聚类中心c[j]，根据新的划分重新计算新的聚类中心；
6、重复执行3、4、5，直到所有的c[j]值的变化小于给定阈值或达到最大迭代次数。
通过对现有的K-means聚类算法的实现流程进行复杂度分析，可以看出该算法的主要计算量在第3和第4两个步骤上，时间复杂度达到O(n*k*m)，空间复杂度达到O(n*k*m)。
针对K-means聚类算法，目前主要的算法加速方式包括：通过对数据集进行划分，然后通过MPI(Message Passing Interface，信息传递接口)、OpenMP(Open Multi-Processing，共享存储并行编程)或MapReduce(一种大规模数据集的并行运算)的方式进行多线程、多进程、或多机的方式加速。
而现有的针对K-means聚类算法的实现流程的主要缺陷在于：单机数据聚类的上限比较低，主要受限于时间和空间复杂度；已有的算法加速方案没有考虑到K-means算法的多个计算步骤中的一些冗余性；已有方案没有考虑到当今主流的硬件体系结构和指令集，无法充分发挥硬件的计算效能。
实施例一
图1为本发明实施例一提供的一种聚类实现方法的流程图，该方法可以由聚类实现装置执行，该装置可由软件和/或硬件实现，并一般可集成于用于完成聚类功能的服务器或者终端设备中，并一般可以由所述服务器或者终端设备的CPU(Central ProcessingUnit，中央处理器)或者GPU(Graphics Processing Unit，图形处理器)来执行。如图1所示，本实施例的方法具体包括：
110、对待聚类数据集的聚类中心进行初始化。
其中，初始化聚类中心的数量与预设的聚类数目相匹配。所述聚类数目具体是指最终需要聚类出的聚类类别的数量值。
在本实施例中，所述待聚类数据集中包括多个需要进行聚类的数据点，可以结合所述数据点以及所述聚类数目，对所述待聚类数据集的聚类中心进行初始化。例如，从M个所述数据点中选择k数据点作为所述k个聚类中心的初始化值。
其中，M为所述待聚类数据集中包括的数据点总数，k为所述聚类数目。
120、根据所述聚类中心，计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心。
通过对现有的K-means聚类算法的实现流程进行分析可知：K-means聚类算法中主要的计算量集中在算法迭代过程，主要为：1、计算待聚类数据集中各数据点与各聚类中心的欧式距离；2、利用上一步得出的欧式距离计算待聚类数据集中每个数据点的标签(即，与所有聚类中心最小欧式距离对应的聚类中心)；3、利用新的数据点标签更新聚类中心。在上述迭代过程中，主要计算量集中在计算欧式距离，此处我们将其展开：
其中，如前所述，待聚类数据集x(n*m)，包含n个数据点，其中，每个数据点是一个m维向量；另外，给定聚类的数目为k。
由上式可知，在常规的K-means计算中，对于待聚类数据集中的每一个数据点xi，都需计算k次对于聚类中心中的每一个中心点cj都需计算n次
由于最终计算的是xi与每一个cj的欧式距离的最小值，对所有的cj，是等价的，故计算可以省略，也即：在本实施例中，在计算所述最近聚类中心过程中消除了数据点自身平方计算带来的冗余。
相应的，在计算di,j时，不再计算的平方，仅通过计算可以大大化简计算量。
130、根据所述待聚类数据集中的各数据点的所述最近聚类中心的计算结果，更新所述聚类中心。
在本实施例中，在确定与各数据点分别对应的最近聚类中心后，可以将各数据点分别归集于对应的最近聚类中心所属的类别中，以实现对各个数据点进行一次聚类。
在一次聚类完成后，可以进而选取各个类别中包括的各数据点的均值作为该类别的新的聚类中心，以实现对所述聚类中心的更新。
140、判断是否满足聚类迭代结束条件：若是，结束流程；否则，返回执行120。
在本实施例中，所述聚类迭代结束条件可以根据实际情况进行预设，例如：聚类中心的一次更新值小于设定阈值，或者迭代次数超过设定迭代门限值等，本实施例对此并不进行限制。
本发明实施例提供的聚类实现方法，在使用K-means聚类算法的过程中，通过分析确定K-means聚类算法自身算法的执行步骤中存在的冗余，使用巧妙的变换消除了在计算各个数据点的最小聚类中心时，数据点自身平方计算带来的冗余，优化了现有的K-means聚类算法，降低了K-means聚类算法的计算复杂度。
实施例二
图3a为本发明实施例二提供的一种聚类实现方法的流程示意图。本实施例以上述实施例为基础进行具体化，在本实施例中，将根据所述聚类中心，计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心具体为：根据公式：计算所述待聚类数据集中第i个数据点xi的最近聚类中心Ci；其中，cj为第j个聚类中心，N为所述聚类数目，i∈[1,M]，M为所述待聚类数据集中包括的数据点总数。相应的，本实施例的方法具体包括：
210、对待聚类数据集的聚类中心进行初始化，其中，初始化聚类中心的数量与预设的聚类数目相匹配。
220、获取所述待聚类数据集中的一个数据点xi，执行230。
如前所述，需要计算待聚类数据集中的每个数据点的最小聚类中心，因此，需要分别获取所述待聚类数据集中的各数据点，相应的，i∈[1,M]，M为所述待聚类数据集中包括的数据点总数。
230、根据公式：计算所述待聚类数据集中第i个数据点xi的最近聚类中心Ci。
如实施例一所述，在计算最小聚类中心时通过对欧式距离的计算公式进行展开，可以约去数据点自身平方项。
相应的，可以通过公式：来计算每个数据点xi的最小聚类中心Ci‘。
其中，argminjf(x)代表当f(x)取得最小值是x的取值。
通过对公式：进行进一步分析可知，在计算最小聚类中心过程中，针对每个数据点，需要计算n*k次的乘2计算，以及k次
因此，可以将计算最小距离di,j等价于计算：
通过将等价于可以将n*k次乘2的乘法运算变为k次乘1/2的乘法运算，进一步减少计算量。
其中，在图3b示出了本发明实施例二提供的聚类实现方法与现有的聚类实现方法之间的计算量对比图。
具体的，优化前后运算量对比分析如表1所示。
表1
如表1所示，通过上述优化方法对K-means聚类算法进行优化后的计算量减少n*k*(m-1)–2*k*m次操作。另外，优化后算法更适合当今主流计算体系架构。因为在算法优化过程中，将平方操作(xi-cj)2优化出一个乘加操作(xi*cj)在当前流行的计算体系架构里，单指令可以直接支持乘加操作，比如ARM(Advanced RISC Machines，精简指令集计算机微处理器)架构里的MLA(Multiply Accumulate，乘加)指令可以实现乘加操作。
因此，最终优化后的实现方式，执行指令数将减少n*k*m+n*k*(m-1)–2*k*m＝2*n*k*m+n*k–2*k*m。
240、判断是否完成对所述待聚类数据集中全部数据点的最近聚类中心的计算：若是，执行250；否则，返回执行220。
250、根据所述待聚类数据集中的各数据点的所述最近聚类中心的计算结果，更新所述聚类中心。
260、判断是否满足聚类迭代结束条件：若是，结束流程；否则，返回执行220。
在确定不满足聚类迭代结束条件，需要返回220，重新开始依次获取待聚类数据集中的一个数据点，并分别计算与各数据点分别对应的最近聚类中心。
本发明实施例的技术方案通过公式： 计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心，充分利用到了K-means聚类算法执行步骤中存在的冗余，并通过巧妙的方式将计算任务转换成硬件擅长计算的指令，进一步优化了现有的K-means聚类算法，降低了K-means聚类算法的计算复杂度。
实施例三
图4a为本发明实施例三提供的一种聚类实现方法的流程示意图。本实施例以上述实施例为基础进行具体化，在本实施例中，将根据所述聚类中心，计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心进一步具体为：将所述待聚类数据集切分为至少两个数据子集；获取一个数据子集作为当前操作数据子集；将所述当前操作数据子集拷贝至显存中，并通过访问所述显存计算与所述当前操作数据子集中的各数据点分别对应的最近聚类中心；返回执行获取一个数据子集作为当前操作数据子集的操作，直至完成对所述待聚类数据集中全部数据子集的处理。相应的，本实施例的方法具体包括：
310、对待聚类数据集的聚类中心进行初始化，其中，初始化聚类中心的数量与预设的聚类数目相匹配。
320、将所述待聚类数据集切分为至少两个数据子集。
除了计算复杂度，K-means聚类算法中另一核心问题是空间复杂度，优化计算复杂度使算法收敛更快，优化空间复杂度使算法规模更大，适用于更广泛的领域。
一般来说，通过CPU执行对所述待聚类数据的K-means聚类算法，无需考虑内存容量问题，但是如果通过GPU实现上述K-means聚类算法，考虑到显存的大小限制，往往无法实现大规模数据的聚类，此时常见的方案是通过多机的方式突破单机的存储限制。针对这一问题，发明人创造性的提出了：对待聚类数据集分批处理的方式以在单机模式下支持更大的数据规模。
在GPU模式下，由于GPU显存限制，无法将整个数据集放在显存中。假设当前显存可支撑处理数据集x(大小为n*m)的任务，而现有数据集的大小为p*n*m，无法全部放到显存中。考虑到矩阵乘法(算法优化后的K-means聚类算法中主要的计算过程为矩阵乘法)的可分离性，可以将数据集x(p*n*m)切分为p个(n*m)的子数据集，在单次迭代中，依次将一个数据子集从内存中拷贝到GPU显存中完成计算。其中，在图4b中示出了本发明实施例三提供的一种聚类实现方法的具体应用示意图。
在本实施例中，为了实现在单机模式下支持更大的数据规模，需要对待聚类数据集进行分批处理。即：将所述待聚类数据集切分为至少两个数据子集，其中，切分的数据子集中包括的数据点可以相同也可以不同，但是，为了保证每次迭代的运算速度，可选的，各所述数据子集中包括的数据点均相同。
其中，为了保证切分的每个数据子集中包括的数据点均相同，所述将所述待聚类数据集切分为至少两个数据子集可以包括：
预先设定切分数量Q；根据公式B＝M％Q，计算待滤除数据点数量B，其中，M为所述待聚类数据集中包括的数据点总数，％为求余运算；从所述待聚类数据集中滤除B个数据点后，生成齐整待聚类数据集；将所述齐整待聚类数据集切分为Q个包含相同数量数据点的数据子集。
在一个具体例子中，待聚类数据集中包括的数据点总数为300，预先设定的切分数量为7，显然，无法保证每个数据子集中包括的数据点均相同。因此，可以首先计算300％7＝6，因此，可以首先在待聚类数据集中去除6个数据点，进而可以保证剩下的294个数据点可以均匀的分配在7个数据子集中。
330、获取一个数据子集作为当前操作数据子集。
340、将所述当前操作数据子集拷贝至显存中，并通过访问所述显存计算与所述当前操作数据子集中的各数据点分别对应的最近聚类中心。
在本实施例中，将所述当前操作数据子集拷贝至显存中可以包括：通过统一计算设备架构流将所述当前操作数据子集拷贝至显存中。
在本实施例的一个可选的实施方式中，为了进一步加快K-means聚类算法的收敛速度，可以使用CUDA(Compute Unified Device Architecture，统一计算设备架构流)将数据拷贝过程进行隐藏，其中，在图4c示出了本发明实施例三提供的一种聚类实现方法的数据流式处理示意图。
如图4c所示，当计算完当前显存中数据子集与各聚类中心的欧式距离之后，对该数据子集所占用的空间即可释放，此时即可开始下一批数据的传输，而无需等待所有的计算完成，以此可实现数据拷贝的隐藏。
350、判断是否完成对所述待聚类数据集中全部数据子集的处理：若是，执行360；否则，返回执行330。
360、根据所述待聚类数据集中的各数据点的所述最近聚类中心的计算结果，更新所述聚类中心。
370、判断是否满足聚类迭代结束条件：若是，结束流程；否则，返回执行320。
本实施例的技术方案通过对待聚类数据集进行数据切分，实现对待聚类数据集的分批处理，通过显存复用，可在同样计算资源下完成更大规模的数据聚类。另外，利用CUDA的流式操作将数据拷贝进行隐藏，可进一步加快K-means聚类算法的收敛速度。
进一步的，在图5中示出了本发明实施例的一种具体的应用场景的示意图，在本具体应用场景中，所述待聚类数据集中包括的数据点为图片数据点，其中，所述图片数据点中包括至少两个维度的图片特征。
另外，需要说明的是，在发明人实现本发明的过程中使用的图片特征一般是远大于2维的，通常会达到上千维，实验时采用的是1024维；通过对图5所示的应用场景进行反复试验发现，本发明实施例的技术方案可以极大加速超大规模图片聚类流程，其中的K-means聚类算法执行时间速度提升至少在10倍以上。而最好的GPU版本比最差的CPU版本快300倍以上。
实施例四
图6为本发明实施例四提供的一种聚类实现装置的结构图。如图6所示，所述装置包括：聚类中心初始化模块41、最近聚类中心计算模块42、聚类中心更新模块43以及重复迭代模块44。
聚类中心初始化模块41，用于对待聚类数据集的聚类中心进行初始化，其中，初始化聚类中心的数量与预设的聚类数目相匹配。
最近聚类中心计算模块42，用于根据所述聚类中心，计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心，其中，在计算所述最近聚类中心过程中消除了数据点自身平方计算带来的冗余。
聚类中心更新模块43，用于根据所述待聚类数据集中的各数据点的所述最近聚类中心的计算结果，更新所述聚类中心。
重复迭代模块44，用于返回执行根据所述聚类中心，计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心的操作，直至满足聚类迭代结束条件。
本发明实施例提供的聚类实现装置，在使用K-means聚类算法的过程中，通过分析确定K-means聚类算法自身算法的执行步骤中存在的冗余，使用巧妙的变换消除了在计算各个数据点的最小聚类中心时，数据点自身平方计算带来的冗余，优化了现有的K-means聚类算法，降低了K-means聚类算法的计算复杂度。
在上述各实施例的基础上，所述最近聚类中心计算模块，具体可以用于：
根据公式：计算所述待聚类数据集中第i个数据点xi的最近聚类中心Ci；
其中，cj为第j个聚类中心，N为所述聚类数目，i∈[1,M]，M为所述待聚类数据集中包括的数据点总数。
在上述各实施例的基础上，所述最近聚类中心计算模块进一步可以包括：
待聚类数据集切分单元，用于将所述待聚类数据集切分为至少两个数据子集；
当前操作数据子集获取单元，用于获取一个数据子集作为当前操作数据子集；
最近聚类中心显存计算单元，用于将所述当前操作数据子集拷贝至显存中，并通过访问所述显存计算与所述当前操作数据子集中的各数据点分别对应的最近聚类中心；
重复处理单元，用于返回执行获取一个数据子集作为当前操作数据子集的操作，直至完成对所述待聚类数据集中全部数据子集的处理。
在上述各实施例的基础上，所述待聚类数据集切分单元具体可以用于：
预先设定切分数量Q；
根据公式：B＝M％Q，计算待滤除数据点数量B，其中，M为所述待聚类数据集中包括的数据点总数，％为求余运算；
从所述待聚类数据集中滤除B个数据点后，生成齐整待聚类数据集；
将所述齐整待聚类数据集切分为Q个包含相同数量数据点的数据子集。
在上述各实施例的基础上，所述最近聚类中心显存计算单元具体可以用于：
通过统一计算设备架构流将所述当前操作数据子集拷贝至显存中。
在上述各实施例的基础上，所述待聚类数据集中包括的数据点可以为图片数据点，其中，所述图片数据点中可以包括至少两个维度的图片特征。
本发明实施例所提供的聚类实现装置可用于执行本发明任意实施例提供的聚类实现方法，具备相应的功能模块，实现相同的有益效果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种聚类实现方法，其特征在于，包括：
对待聚类数据集的聚类中心进行初始化，其中，初始化聚类中心的数量与预设的聚类数目相匹配；
根据所述聚类中心，计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心，其中，在计算所述最近聚类中心过程中消除了数据点自身平方计算带来的冗余；
根据所述待聚类数据集中的各数据点的所述最近聚类中心的计算结果，更新所述聚类中心；
返回执行根据所述聚类中心，计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心的操作，直至满足聚类迭代结束条件。
2.根据权利要求1所述的方法，其特征在于，根据所述聚类中心，计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心包括：
根据公式：j＝1,…,N，计算所述待聚类数据集中第i个数据点xi的最近聚类中心Ci；
其中，cj为第j个聚类中心，N为所述聚类数目，i∈[1,M]，M为所述待聚类数据集中包括的数据点总数。
3.根据权利要求1或2所述的方法，其特征在于，根据所述聚类中心，计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心进一步包括：
将所述待聚类数据集切分为至少两个数据子集；
获取一个数据子集作为当前操作数据子集；
将所述当前操作数据子集拷贝至显存中，并通过访问所述显存计算与所述当前操作数据子集中的各数据点分别对应的最近聚类中心；
返回执行获取一个数据子集作为当前操作数据子集的操作，直至完成对所述待聚类数据集中全部数据子集的处理。
4.根据权利要求3所述的方法，其特征在于，将所述待聚类数据集切分为至少两个数据子集包括：
预先设定切分数量Q；
根据公式B＝M％Q，计算待滤除数据点数量B，其中，M为所述待聚类数据集中包括的数据点总数，％为求余运算；
从所述待聚类数据集中滤除B个数据点后，生成齐整待聚类数据集；
将所述齐整待聚类数据集切分为Q个包含相同数量数据点的数据子集。
5.根据权利要求3所述的方法，其特征在于，将所述当前操作数据子集拷贝至显存中包括：
通过统一计算设备架构流将所述当前操作数据子集拷贝至显存中。
6.根据权利要求1所述的方法，其特征在于，所述待聚类数据集中包括的数据点为图片数据点，其中，所述图片数据点中包括至少两个维度的图片特征。
7.一种聚类实现装置，其特征在于，包括：
聚类中心初始化模块，用于对待聚类数据集的聚类中心进行初始化，其中，初始化聚类中心的数量与预设的聚类数目相匹配；
最近聚类中心计算模块，用于根据所述聚类中心，计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心，其中，在计算所述最近聚类中心过程中消除了数据点自身平方计算带来的冗余；
聚类中心更新模块，用于根据所述待聚类数据集中的各数据点的所述最近聚类中心的计算结果，更新所述聚类中心；
重复迭代模块，用于返回执行根据所述聚类中心，计算与所述待聚类数据集中的各数据点分别对应的最近聚类中心的操作，直至满足聚类迭代结束条件。
8.根据权利要求7所述的装置，其特征在于，所述最近聚类中心计算模块，具体用于：
根据公式：j＝1,…,N，计算所述待聚类数据集中第i个数据点xi的最近聚类中心Ci；
其中，cj为第j个聚类中心，N为所述聚类数目，i∈[1,M]，M为所述待聚类数据集中包括的数据点总数。
9.根据权利要求7或8所述的装置，其特征在于，所述最近聚类中心计算模块进一步包括：
待聚类数据集切分单元，用于将所述待聚类数据集切分为至少两个数据子集；
当前操作数据子集获取单元，用于获取一个数据子集作为当前操作数据子集；
最近聚类中心显存计算单元，用于将所述当前操作数据子集拷贝至显存中，并通过访问所述显存计算与所述当前操作数据子集中的各数据点分别对应的最近聚类中心；
重复处理单元，用于返回执行获取一个数据子集作为当前操作数据子集的操作，直至完成对所述待聚类数据集中全部数据子集的处理。
10.根据权利要求9所述的装置，其特征在于，所述待聚类数据集切分单元具体用于：
预先设定切分数量Q；
根据公式：B＝M％Q，计算待滤除数据点数量B，其中，M为所述待聚类数据集中包括的数据点总数，％为求余运算；
从所述待聚类数据集中滤除B个数据点后，生成齐整待聚类数据集；
将所述齐整待聚类数据集切分为Q个包含相同数量数据点的数据子集。
11.根据权利要求9所述的装置，其特征在于，所述最近聚类中心显存计算单元具体用于：
通过统一计算设备架构流将所述当前操作数据子集拷贝至显存中。
12.根据权利要求7所述的装置，其特征在于，所述待聚类数据集中包括的数据点为图片数据点，其中，所述图片数据点中包括至少两个维度的图片特征。
CN201611040671.6A 2016-11-10 2016-11-10 聚类实现方法和装置 Active CN106778812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611040671.6A CN106778812B (zh) 2016-11-10 2016-11-10 聚类实现方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611040671.6A CN106778812B (zh) 2016-11-10 2016-11-10 聚类实现方法和装置

Publications (2)

Publication Number Publication Date
CN106778812A true CN106778812A (zh) 2017-05-31
CN106778812B CN106778812B (zh) 2020-06-19

Family

ID=58974029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611040671.6A Active CN106778812B (zh) 2016-11-10 2016-11-10 聚类实现方法和装置

Country Status (1)

Country Link
CN (1) CN106778812B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647515A (zh) * 2018-04-23 2018-10-12 浙江工业大学 一种基于cuda的网络入侵检测并行化加速方法
CN110414569A (zh) * 2019-07-03 2019-11-05 北京小米智能科技有限公司 聚类实现方法及装置
TWI820660B (zh) * 2019-08-27 2023-11-01 南韓商韓領有限公司 電腦實行的系統以及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495865A (zh) * 2011-11-28 2012-06-13 南京大学 结合图像内部空间关系及视觉共生关系的图像标注方法
CN102915451A (zh) * 2012-10-18 2013-02-06 上海交通大学 基于混沌不变量的动态纹理识别方法
CN105913077A (zh) * 2016-04-07 2016-08-31 华北电力大学（保定） 一种基于降维和抽样的数据聚类方法
CN106022385A (zh) * 2016-05-26 2016-10-12 华南理工大学 基于动态规划和K-means聚类的特征选择算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495865A (zh) * 2011-11-28 2012-06-13 南京大学 结合图像内部空间关系及视觉共生关系的图像标注方法
CN102915451A (zh) * 2012-10-18 2013-02-06 上海交通大学 基于混沌不变量的动态纹理识别方法
CN105913077A (zh) * 2016-04-07 2016-08-31 华北电力大学（保定） 一种基于降维和抽样的数据聚类方法
CN106022385A (zh) * 2016-05-26 2016-10-12 华南理工大学 基于动态规划和K-means聚类的特征选择算法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647515A (zh) * 2018-04-23 2018-10-12 浙江工业大学 一种基于cuda的网络入侵检测并行化加速方法
CN108647515B (zh) * 2018-04-23 2020-07-28 浙江工业大学 一种基于cuda的网络入侵检测并行化加速方法
CN110414569A (zh) * 2019-07-03 2019-11-05 北京小米智能科技有限公司 聚类实现方法及装置
US11501099B2 (en) 2019-07-03 2022-11-15 Beijing Xiaomi Intelligent Technology Co., Ltd. Clustering method and device
TWI820660B (zh) * 2019-08-27 2023-11-01 南韓商韓領有限公司 電腦實行的系統以及方法

Also Published As

Publication number Publication date
CN106778812B (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
Kim et al. Performance analysis of CNN frameworks for GPUs
Liu et al. An efficient algorithm for a class of fused lasso problems
Ait Ali et al. GPU fuzzy c-means algorithm implementations: performance analysis on medical image segmentation
CN106294288B (zh) 一种分布式非负矩阵分解方法
US20210089358A1 (en) Techniques for improving processing of bioinformatics information to decrease processing time
Matta et al. Comparing the speed and accuracy of approaches to betweenness centrality approximation
CN106778812A (zh) 聚类实现方法和装置
US11295236B2 (en) Machine learning in heterogeneous processing systems
Saavedra et al. Mining discriminative k-mers in DNA sequences using sketches and hardware acceleration
Ko et al. High-performance statistical computing in the computing environments of the 2020s
Soto et al. JACC-FPGA: A hardware accelerator for Jaccard similarity estimation using FPGAs in the cloud
Morales et al. New TNT routines for parallel computing with MPI
Gonzalez-Dominguez et al. MPIGeneNet: parallel calculation of gene co-expression networks on multicore clusters
CN117235582A (zh) 基于电子病历的多粒度信息处理方法及装置
Wang et al. On the flexibility of block coordinate descent for large-scale optimization
Meselhi et al. Parallel evolutionary algorithm for eeg optimization problems
CN106934837A (zh) 图像重构方法及装置
CN115270464A (zh) 一种大规模数据模型优化方法
Call et al. Disaggregating non-volatile memory for throughput-oriented genomics workloads
Bichat et al. Hierarchical correction of p-values via an ultrametric tree running Ornstein-Uhlenbeck process
CN113485845A (zh) 一种多线程人工智能资源分配方法及装置
Gao et al. Multi-view Clustering for the Integration Analysis of Gene Expression and Methylation Data
Cao et al. Reducing Data Motion and Energy Consumption of Geospatial Modeling Applications Using Automated Precision Conversion
Wang et al. The graph-guided group lasso for genome-wide association studies
Tarapore et al. Implementation of parallel algorithm for support vector machine applied to intrusion detection systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant