CN110443264A

CN110443264A - 一种聚类的方法和装置

Info

Publication number: CN110443264A
Application number: CN201810413728.5A
Authority: CN
Inventors: 樊宇
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2018-05-03
Filing date: 2018-05-03
Publication date: 2019-11-12

Abstract

本发明公开了一种聚类的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：将每一个待聚类元素的原始数据信息转化为与之对应的多维数据；根据所述多维数据，采用余弦相似度算法确定每两个待聚类元素之间的相似度；根据所述每两个待聚类元素之间的相似度进行聚类。该实施方式能够对复杂数据采用余弦相似度算法进行高效准确的聚类，同时能够充分利用本地内存中的数据结构、多线程计算以及中间过程保存文件，大幅度提高聚类运算的运行效率和准确性；此外，在一些计算环节计算之前还支持数据校验，提高了运算效率和聚类的准确性；并且本方案易于实现，聚类方式灵活，方便与既有框架相结合。

Description

一种聚类的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种聚类的方法和装置。

背景技术

在大数据算法应用中经常会对数据进行聚类操作，例如根据用户购买行为对用户进行聚类，对聚类后的用户进行广告、推荐等个性化的消息推送，达到提高用户点击率和订单转化率的目的。目前对于用户聚类的方法主要有K-means算法、在K-means算法的基础上做适当的变形与扩展算法。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1)在传统聚类算法中，对于复杂的多维数据聚类效果较差，不能很好的支持对多维数据的聚类，聚类结果通常不准确。

2)现有聚类算法一般不支持多线程的并发计算，也不适用于数据定期更新的情形，如果发生数据更新，会全量计算所有的待聚类数据，导致效率低下。

发明内容

有鉴于此，本发明实施例提供一种聚类的方法，能够对复杂数据采用余弦相似度算法进行高效准确的聚类，同时能够充分利用本地内存中的数据结构、多线程计算以及中间过程保存文件，大幅度提高聚类运算的运行效率和准确性；此外，在一些计算环节计算之前还支持数据校验，提高了运算效率和聚类的准确性；并且本方案易于实现，聚类方式灵活，方便与既有框架相结合。

为实现上述目的，根据本发明实施例的一个方面，提供了一种聚类的方法，包括：

将每一个待聚类元素的原始数据信息转化为与之对应的多维数据；

根据所述多维数据，采用余弦相似度算法确定每两个待聚类元素之间的相似度；

根据所述每两个待聚类元素之间的相似度进行聚类。

可选地，所述原始数据信息包括：待聚类元素的唯一标识，待聚类元素的原始维度属性以及每个原始维度属性的属性值；

将每一个待聚类元素的原始数据信息转化为与之对应的多维数据，包括：

以所述待聚类元素的唯一标识作为所述多维数据的唯一标识；

以所有待聚类元素的原始维度属性作为所述多维数据的维度属性；

以所述待聚类元素的原始维度属性的属性值作为所述多维数据中对应的维度属性的属性值。

可选地，采用余弦相似度算法确定每两个待聚类元素之间的相似度之前，还包括：

判断所述多维数据的数据生成时间距离当前时间是否已超过第一阈值；若是，则确定该多维数据对应的待聚类元素为无效元素；删除所述无效元素。

确认参与相似度运算的两个多维数据对应的待聚类元素的原始维度属性中有共同属性；

若没有共同属性，则以0值作为所述参与相似度运算的两个多维数据对应的待聚类元素之间的相似度。

确认参与相似度运算的两个多维数据的数据生成时间中至少有一个不小于当前时间；以及，确定每两个待聚类元素之间的相似度之后，将所述相似度结果以及与所述相似度结果对应的两个多维数据的唯一标识作为一组数据保存至可查询记录；

若否，则不进行相似度运算，在所述可查询记录中查找所述参与相似度运算的两个多维数据的已保存的相似度；以所述已保存的相似度作为所述参与相似度运算的两个多维数据对应的待聚类元素之间的相似度。

可选地，在根据所述每两个待聚类元素之间的相似度进行聚类之前，还包括：

判断一个多维数据与所有多维数据两两之间的相似度结果中为值的个数是否大于第二阈值；若是，则确定该多维数据对应的待聚类元素为异常元素。

可选地，根据所述每两个待聚类元素之间的相似度进行聚类，包括：

根据所述每两个待聚类元素之间的相似度确定目标元素；

根据所述目标元素与每一个待聚类元素之间的相似度确定目标数据集；

根据所述目标数据集按预设规则对待聚类元素进行聚类。

可选地，根据所述每两个待聚类元素之间的相似度确定目标元素，包括：

根据所述每两个待聚类元素之间的相似度，确定每一个待聚类元素与所有待聚类元素两两之间的相似度中的最大值和最小值，以所述最大值和最小值的差值作为该待聚类元素的相似度差别值；

以所述相似度差别值最大的待聚类元素作为所述目标元素。

可选地，根据所述目标元素与每一个待聚类元素之间的相似度确定目标数据集，包括：

以所述目标元素与每一个待聚类元素之间的相似度作为目标相似度集合中的一个元素；

基于所述目标相似度集合中的每个目标相似度，按目标相似度的大小顺序排列与之对应的每一个待聚类元素，得到有序的待聚类元素序列；

以所述有序的待聚类元素序列中的待聚类元素的唯一标识以及与之对应的目标相似度值所组成的数据对作为所述目标数据集中的元素；所述目标数据集中的元素为有序排列的。

可选地，根据所述目标数据集按预设规则对待聚类元素进行聚类，包括：

根据预设间隔值对所述目标数据集中的元素的唯一标识所对应的待聚类元素进行聚类；或者，

根据预设类中元素的个数对所述目标数据集中的元素的唯一标识所对应的待聚类元素进行聚类；或者，

确定所述目标数据集中元素的目标相似度值的中位数，将所述目标数据集中目标相似度值小于等于所述中位数的元素的唯一标识所对应的待聚类元素划为一类，将所述目标数据集中目标相似度值大于所述中位数的元素的唯一标识所对应的待聚类元素划为一类。

根据本发明实施例的再一个方面，提供了一种聚类的装置，包括：

信息转化模块，用于将每一个待聚类元素的原始数据信息转化为与之对应的多维数据；

数据确定模块，用于根据所述多维数据，采用余弦相似度算法确定每两个待聚类元素之间的相似度；

聚类模块，用于根据所述每两个待聚类元素之间的相似度进行聚类。

所述信息转化模块将每一个待聚类元素的原始数据信息转化为与之对应的多维数据，包括：

可选地，所述数据确定模块采用余弦相似度算法确定每两个待聚类元素之间的相似度之前，还包括：

可选地，在所述聚类模块根据所述每两个待聚类元素之间的相似度进行聚类之前，还包括：

可选地，所述聚类模块根据所述每两个待聚类元素之间的相似度进行聚类，包括：

根据所述每两个待聚类元素之间的相似度确定目标元素；

根据所述目标数据集按预设规则对待聚类元素进行聚类。

可选地，所述聚类模块根据所述每两个待聚类元素之间的相似度确定目标元素，包括：

以所述相似度差别值最大的待聚类元素作为所述目标元素。

可选地，所述聚类模块根据所述目标元素与每一个待聚类元素之间的相似度确定目标数据集，包括：

可选地，所述聚类模块根据所述目标数据集按预设规则对待聚类元素进行聚类，包括：

根据本发明实施例的另一个方面，提供了一种聚类的电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明提供的聚类的方法。

根据本发明实施例的还一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的聚类的方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用将待聚类元素的原始数据信息转化为多维数据、根据所述多维数据基于余弦相似度算法进行相似度计算、再根据所述相似度计算得到的结果进行聚类的技术手段，所以克服了以往聚类方式中效率低下、对于复杂数据聚类效果较差、不能很好的支持对多维数据的聚类的技术问题，进而实现了对复杂数据或多维数据的聚类支持，达到了大幅度提高聚类运算的效率和准确性的技术效果。并且本方案易于实现，聚类方式灵活，方便与既有框架相结合。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的一种聚类方法的主要流程的示意图；

图2是根据本发明实施例的一种聚类方法的具体实施例中的目标数据集示意图；

图3是根据本发明实施例的一种聚类装置的主要模块的示意图；

图4是本发明实施例可以应用于其中的示例性系统架构图；

图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的一种聚类方法的主要流程的示意图，如图1所示，包括：

步骤S101、将每一个待聚类元素的原始数据信息转化为与之对应的多维数据；

步骤S102、根据所述多维数据，采用余弦相似度算法确定每两个待聚类元素之间的相似度；

步骤S103、根据所述每两个待聚类元素之间的相似度进行聚类。

所述待聚类元素可以是抽象对象或物理对象，比如文档、基因、具有一定购买行为的用户。

所述待聚类元素的原始数据信息可以是描述待聚类元素的多种属性信息，比如对于人的生肖星座的枚举属性值、用户购买的多种商品以及每种商品的购买数量值。

本发明采用将待聚类元素的原始数据信息转化为多维数据、根据所述多维数据基于余弦相似度算法进行相似度计算、再根据所述相似度计算得到的结果进行聚类的技术手段，所以克服了以往聚类方式中效率低下、对于复杂数据聚类效果较差、不能很好的支持对多维数据的聚类的技术问题，进而实现了对复杂数据或多维数据的聚类支持，达到了大幅度提高聚类运算的效率和准确性的技术效果，并且本方案易于实现，聚类方式灵活，方便与既有框架相结合。

在一些实施例中，所述原始数据信息包括：待聚类元素的唯一标识，待聚类元素的原始维度属性以及每个原始维度属性的属性值；

将待聚类元素的原始数据信息转化为与之对应的多维数据，转化后得到的多维数据的形式更容易应用于余弦相似度算法的计算中。

待聚类元素的唯一标识用于将后续计算中的结果定位到该待聚类元素上。

待聚类元素的原始维度属性可以是枚举属性，比如生肖星座；每个用户都属于一个生肖也拥有一个星座，复合起来共12*12＝144种情况，可以转化为一个12+12＝24位的多维数据，该多维数据中每个生肖会占前12位中的固定一位，每个星座会占后12位中的固定一位，用于表示144种情况；传统聚类方式不能很好的处理这种枚举属性的组合情况，本发明中的方案可以很好地通过转化为高维数据进而解决这个问题。

待聚类元素的原始维度属性也可以是用户购买的多种商品，如下表所示：

表1用户购买的商品种类以及对应的商品数量

用户	商品1	商品2	商品3	商品4
					A	10件	1件	0	0
B	2件	0	0	0
					C	0	0	4件	8件
D	0	6件	2件	0

其中有购买行为的用户是待聚类元素，用户购买过的商品类别是待聚类元素的原始维度属性，用户购买每一类商品的数量值是每个原始维度属性的属性值；

以所有待聚类元素的原始维度属性作为所述多维数据的维度属性；如表1所示，用户A的原始维度属性为商品1、商品2，用户B的原始维度属性为商品1，用户C的原始维度属性为商品3、商品4，用户D的原始维度属性为商品2、商品3，那么将待聚类元素用户A、B、C、D的原始数据信息转化为与之对应的多维数据时，以用户A、B、C、D的原始维度属性作为多维数据中的维度属性，即多维数据的维度属性为商品1、商品2、商品3、商品4；

以所述待聚类元素的原始维度属性的属性值作为所述多维数据中对应的维度属性的属性值，对于一个待聚类元素，转化后的多维数据中缺失的属性值可以用0值补位；如表1所示，用户A的原始维度属性商品1的属性值为10、原始维度属性商品2的属性值为1，那么与用户A对应的多维数据的维度属性以及每个维度属性的属性值为：商品1的属性值为10、商品2的属性值为1、商品3的属性值为0、商品4的属性值为0。

在一些实施例中，采用余弦相似度算法确定每两个待聚类元素之间的相似度之前，还包括：

所述数据生成时间可以是将待聚类元素的原始数据信息转化为与之对应的多维数据时的时间点；例如转化发生在2015年12月20日，则可以将数据生成时间记录为20151220，假如当前时间点是2018年3月20日，则可以将当前时间记录为20180320，那么可以根据这两个时间点的记录值和预设的第一阈值判断该数据生成时间距离当前时间是否已超过该预设的第一阈值。

所述第一阈值为可调整的，例如可以将第一阈值设置为1年。

记录每个待聚类元素所对应的多维数据的数据生成时间，对于数据生成时间距离当前时间已超过第一阈值的多维数据所对应的待聚类元素，可以将其确定为无效元素，直接删除，从而减少了后续计算的时间，提高了聚类过程的整体效率。

对于原始维度属性中没有共同属性的两个待聚类元素计算相似度，得到的值为0，由于对集合的运算效率高于采用余弦相似度算法的计算效率，故而直接将这两个待聚类元素的相似度确定为0，可以提高聚类过程的整体运算效率。

数据生成时间小于当前时间可以是指数据生成的时间发生在当前时间之前。

在确认参与相似度运算的两个多维数据的数据生成时间中至少有一个不小于当前时间后，采用余弦相似度算法对这两个多维数据计算其相似度，并将该相似度结果以及参与此次计算的两个多维数据所对应的唯一标识作为一组数据保存至可查询记录中；

若判断出参与相似度运算的两个多维数据的数据生成时间都小于当前时间，可以认为这两个多维数据都是旧数据，是曾经计算过其相似度的，则可以跳过此次相似度计算，直接在所述可查询记录中查找其相似度，大大提高了确定相似度的速度，从而提高聚类过程的整体运算效率。

在一些实施例中，在根据所述每两个待聚类元素之间的相似度进行聚类之前，还包括：

所述第二阈值是可调整的，例如可以将第二阈值设置为所有待聚类元素总数量的50％。

当一个多维数据与所有多维数据两两之间的相似度值中为0值的个数过多时，可以认为该多维数据所对应的待聚类元素为异常元素，可能是噪点数据或赃数据，可以进一步对该异常元素进行筛查，以确定是否留用。

在一些实施例中，根据所述每两个待聚类元素之间的相似度进行聚类，包括：

根据所述每两个待聚类元素之间的相似度确定目标元素；

根据所述目标数据集按预设规则对待聚类元素进行聚类。

所述目标元素的个数是1；所述目标元素可以是不唯一的；

根据本发明中的方法，在一些实施例中可以确定不唯一的目标元素，对于不同的目标元素所确定出的聚类结果可以是不同的，但都是有意义的，即本发明的聚类方法可以得到不唯一的有效的聚类结果；根据本发明的聚类方法所确定出的所有聚类结果可以用于后续的分析和研究。

在一些实施例中，根据所述每两个待聚类元素之间的相似度确定目标元素，包括：

以所述相似度差别值最大的待聚类元素作为所述目标元素。

以所述相似度差别值最大的待聚类元素作为目标元素，其意义在于所述目标元素与每一个待聚类元素的相似度值所形成的区间范围最大，从而根据所述目标元素与每一个待聚类元素的相似度值进行聚类的准确性更高。

在一些实施例中，根据所述目标元素与每一个待聚类元素之间的相似度确定目标数据集，包括：

在确定所述有序的待聚类元素序列时，可以按目标相似度由大到小的顺序排列，也可以按目标相似度由小到大的顺序排列；不同的顺序确定出的聚类结果不同，但都是有效的聚类结果，对于后续的分析和研究都有意义。

为方便理解本发明实施例中的聚类方法，如图2是根据本发明实施例的一种聚类方法的具体实施例中的目标数据集示意图。其中横轴表示待聚类元素，目标元素为用户1，如图2所示，本具体实施例中的待聚类元素为用户1、用户2、……、用户10；纵轴表示每个待聚类元素与目标元素之间的目标相似度值；本具体实施例中按目标相似度由大到小的顺序排列了每一个与之对应的待聚类元素，如图2所示，目标数据集中的元素按顺序为：1-1，2-0.98，3-0.95，4-0.92，5-0.8，6-0.77，7-0.6，8-0.45，9-0.38，10-0.28。

在一些实施例中，根据所述目标数据集按预设规则对待聚类元素进行聚类，包括：

根据所述目标数据集对待聚类元素进行聚类的方式不唯一，可以灵活设置预设规则，也可以与现有方法和流程相结合使用；本发明的聚类方法运算速度快，也可以经过多次计算确定合适的聚类结果，以满足不同的实际应用场景的需求。

根据预设间隔值对目标数据集中的元素的唯一标识所对应的待聚类元素进行聚类，预设不同的间隔值会影响聚类后簇的大小以及簇中元素的数量；如图2所示，可以预设间隔值为0.2，遍历目标数据集中所有元素；将目标数据集中的元素1-1对应的待聚类元素用户1作为聚类结果中簇标识为1中的第一个元素，如果相似度值大于等于簇中第一元素的目标相似度值与预设间隔值的差，则把该元素对应的待聚类元素划入当前簇中；如果相似度值小于簇中第一元素的目标相似度值与预设间隔值的差，则把该元素对应的待聚类元素划入下一个簇中，簇标识加1，并以该元素对应的待聚类元素作为这一簇中的第一个元素，以这一簇作为当前簇；

按上述方法遍历图2所示的目标数据集中的元素，可以将用户1、用户2、……、用户10分为：用户1、用户2、用户3、用户4、用户5为第1簇，用户6、用户7为第2簇，用户8、用户9、用户10为第3簇。

根据预设间隔值对目标数据集中的元素的唯一标识所对应的待聚类元素进行聚类，还可以是以预设间隔值将[0，1]区间划分为若干区间，落在同一区间中的目标相似度值所对应的待聚类元素即成一簇；如图2所示，可以预设间隔值为0.2，那么可以将用户1、用户2、……、用户10分为：用户1、用户2、用户3、用户4为第1簇，用户5、用户6为第2簇，用户7、用户8为第3簇，用户9、用户10为第4簇。

根据预设类中元素的个数对所述目标数据集中的元素的唯一标识所对应的待聚类元素进行聚类，即预设簇的大小对所有待聚类元素进行聚类，如预设将目标数据集中的每5个相邻元素所对应的待聚类元素划为一簇；如图2所示，可以将用户1、用户2、……、用户10分为：用户1、用户2、用户3、用户4、用户5为第1簇，用户6、用户7、用户8、用户9、用户10为第2簇；

上述方法适用于等数量聚类划分的场景。

若需要将所有待聚类元素划分为两个簇，还可以取所有目标相似度值的中位数，以所述中位数将目标数据集划分为两部分，各自为一簇；如图2所示，图2中的所有目标相似度值的中位数值为0.713，那么可以将用户1、用户2、……、用户10分为：用户1、用户2、用户3、用户4、用户5、用户6为第1簇，用户7、用户8、用户9、用户10为第2簇。

所述簇是聚类所生成的一组数据对象的集合，即聚类过程将所有待聚类元素组成的集合划分为若干个不相交的子集，每个子集称为一个“簇”。

下面以根据用户购买行为进行分析并聚类的过程作为一具体实施例，详细说明本发明中的聚类方法：

获取待聚类用户的唯一标识，获取所述待聚类用户这一周共同购买的前N个商品以及每种商品的数量；获取所述待聚类用户这一周高频进行下单的前M个收货地址标识以及每个收货地址标识对应的收货地址的经纬度坐标；其中兴趣相似的用户会购买近似的商品，家人，同事，邻居等关系的用户间会形成相似度较高的坐标；

将获取到的待聚类用户的原始信息转化为与之对应的多维数据：

以待聚类用户的唯一标识为首位，以根据多维数据的数据生成时间确定的时间戳作为多维数据的第二位，以所述前N个商品以及前M个收货地址标识作为所述多维数据的后(N+M)位；将所有多维数据以二维表格形式存储的数据加载至内存中，同时将该二维数据保存至外存文件中，方便其后的相似度计算；

可以用Vector<vector<int>>类型的变量保存所述二维表格形式的所有多维数据；其中Vector<vector<intA>>类型为向量变量集合类型；vector<int>是所述向量变量集合中的一个元素，表示一个多维数据；intA表示一个多维数据中的一个维度属性的属性值；

所述二维表格形式如表2所示：

表2所有多维数据构成的二维表格形式

如表2所示，待聚类元素为用户1、用户2、用户3、用户4。

利用多线程计算所述向量变量集合中的每两个元素的相似度，即计算每两个多维数据的余弦相似度的值，每个线程负责计算当前元素与其它元素的相似度值，因此该算法可以实现并行计算，还可以对相似度结果存放的变量加互斥锁，从而在计算相似度过程时实现多线程计算，提高运算效率；存储所有相似度的值；

可以将各个多维数据与所有多维数据两两之间的相似度保存在一个集合中，记为Map集合。以map作为Map集合中的一个元素，代表一个多维数据与该多维数据和另一个多维数据之间的相似度形成的键值对。对于任意两个多维数据intA和intB，其相似度可以采用键值对的形式表示为map<intA,multimap<float,intB>>。

multimap是一种特殊的数据结构，允许键值(key)重复，并可以根据key的大小进行自动排序；

相似度的计算过程也可以利用其它并行计算技术取代多线程计算的效果，以获得同等或更快的并行计算效果；

具体相似度计算过程为：用户1与用户2、3、4计算，用户2与用户1、3、4计算，用户3与用户1、2、4计算，用户4与用户1、2、3计算；计算前还需要检查参与运算的多维数据是否都是旧数据或有无维度属性交集，若都是旧数据或者无维度属性交集则跳过两用户间的相似度计算；

相似度值的具体计算方法如下：

其中相似度表示用户x与用户y的相似度；n表示多维数据的参与运算的维度属性数量，n＝M+N；x₁，x₂，...，x_n表示用户x对应的多维数据(x₁，x₂，...，x_n)，y₁，y₂，...，y_n表示用户y对应的多维数据(y₁，y₂，...，y_n)；

相似度值的具体计算方法实现的伪代码如下：

begin

//根据外层循环的长度和CPU线程数，对进行多线程分割，因为循环中不受执行顺序的影响，也无循环执行前后的依赖，满足多线程自动分割条件。

for(次序变量i＝0to输入数据input的长度；次序变量+1)

begin

初始化mmap_sortcosvalue变量；

for(次序变量j＝0to输入数据input的长度；次序变量+1)

{

初始化当前待比较数据x变量<-input变量第i个次序中的值

初始化当前待比较数据y变量<-input变量第j个次序中的值

初始化数据x的数据生成时间xtime

初始化数据y的数据生成时间ytime

If xtime与ytime均小于数据生成时间then

//旧数据不参与相似度计算

退出当前循环

End if

初始化分子up变量

初始化分母down变量

初始化相似度结果cosdiv变量

初始化集合变量setx

Setx<-存放x变量中不为0的次序号

初始化集合变量sety

Sety<-存放y变量中不为0的次序号

If setx与sety的交集为空then

Cosdiv<-0

mmap_sortcosvalue.插入cosdiv与次序变量j组成的键值对退出当前循环

End if

for(次序变量len＝0to x变量的长度；次序变量+1)

begin

计算x与y在相同次序中的值的乘积

将乘积结果累加到up变量中

end

初始化分母downx变量

初始化分母downy变量；

For次序变量len＝0to x变量的长度

begin

计算x变量次序中的值的平方

将平方结果累加到downx变量中

end

For次序变量len＝0to x变量的长度

begin

计算y变量次序中的值的平方

将平方结果累加到downy变量中

end

Down<-downx的平方根*downy的平方根

Down<-计算down的绝对值

Cosdiv<-up变量/down变量；

mmap_sortcosvalue.插入cosdiv与次序变量j组成的键值对

end

}

加线程锁

Sortcosvalue插入次序变量i与变量mmap_sortcosvalue组成的键值对

释放线程锁

end

end；

通过对所有多维数据两两之间采用余弦相似度算法确定出相似度值后，本实施例中假设相似度计算结果的数据如下：

{用户1＝{用户1＝1,用户2＝0.8,用户3＝0.4，用户4＝0.33}，

用户2＝{用户1＝0.8,用户2＝1,用户3＝0.8，用户4＝0.52}，

用户3＝{用户1＝0.4,用户2＝0.8,用户3＝1，用户4＝0.4}，

用户4＝{用户1＝0.33,用户2＝0.52,用户3＝0.4，用户4＝1}}

其中由于采用了multimap数据结构，根据其自动排序的功能，上述数据在保存时能够自动排序，相似度计算结果的数据保存形式如下：

{用户1＝{用户4＝0.33，用户3＝0.4，用户2＝0.8,用户1＝1}，

用户2＝{用户4＝0.52,用户1＝0.8，用户3＝0.8，用户2＝1}，

用户3＝{用户1＝0.4,用户4＝0.4，用户2＝0.9,用户3＝1}，

用户4＝{用户1＝0.33,用户3＝0.4,用户2＝0.52,用户4＝1}}

其中是按从小到大的顺序排列的；

遍历每个用户下的第一个相似度的值，取最小的；本实施例中，用户1的数据符合上述条件，即确定用户1为目标元素，进而确定目标数据集为{用户4＝0.33，用户3＝0.4，用户2＝0.8,用户1＝1}；该计算结果同样会保存在外存文件中，方便后续进行多次的聚类计算；

根据目标数据集{用户4＝0.33，用户3＝0.4，用户2＝0.8,用户1＝1}对用户1、2、3、4进行聚类：

预设间隔值为0.2，遍历目标数据集中的元素，将目标数据集中的元素用户4＝0.33对应的用户4作为聚类结果中簇标识为1中的第一个元素，如果相似度值小于等于簇中第一元素的目标相似度值与预设间隔值的和，则把该元素对应的待聚类元素划入当前簇中；如果相似度值大于簇中第一元素的目标相似度值与预设间隔值的和，则把该元素对应的待聚类元素划入下一个簇中，簇标识加1，并以该元素对应的待聚类元素作为这一簇中的第一个元素，以这一簇作为当前簇；得到聚类结果：用户3、用户4在第一簇中，用户1、用户2在第二簇中；

聚类完毕。

图3是根据本发明实施例的一种聚类的装置的主要模块的示意图，如图3所示，聚类的装置300包括：

信息转化模块301，用于将每一个待聚类元素的原始数据信息转化为与之对应的多维数据；

数据确定模块302，用于根据所述多维数据，采用余弦相似度算法确定每两个待聚类元素之间的相似度；

聚类模块303，用于根据所述每两个待聚类元素之间的相似度进行聚类。

所述信息转化模块301将每一个待聚类元素的原始数据信息转化为与之对应的多维数据，包括：

待聚类元素的原始维度属性也可以是用户购买的多种商品，其中有购买行为的用户是待聚类元素，用户购买过的商品类别是待聚类元素的原始维度属性，用户购买每一类商品的数量值是每个原始维度属性的属性值；

以所有待聚类元素的原始维度属性作为所述多维数据的维度属性；例如，用户A的原始维度属性为商品1、商品2，用户B的原始维度属性为商品1，用户C的原始维度属性为商品3、商品4，用户D的原始维度属性为商品2、商品3，那么将待聚类元素用户A、B、C、D的原始数据信息转化为与之对应的多维数据时，以用户A、B、C、D的原始维度属性作为多维数据中的维度属性，即多维数据的维度属性为商品1、商品2、商品3、商品4；

以所述待聚类元素的原始维度属性的属性值作为所述多维数据中对应的维度属性的属性值，对于一个待聚类元素，转化后的多维数据中缺失的属性值可以用0值补位；例如，用户A的原始维度属性商品1的属性值为10、原始维度属性商品2的属性值为1，那么与用户A对应的多维数据的维度属性以及每个维度属性的属性值为：商品1的属性值为10、商品2的属性值为1、商品3的属性值为0、商品4的属性值为0。

在一些实施例中，所述数据确定模块302采用余弦相似度算法确定每两个待聚类元素之间的相似度之前，还包括：

所述第一阈值为可调整的，例如可以将第一阈值设置为1年。

在一些实施例中，在所述聚类模块303根据所述每两个待聚类元素之间的相似度进行聚类之前，还包括：

在一些实施例中，所述聚类模块303根据所述每两个待聚类元素之间的相似度进行聚类，包括：

根据所述每两个待聚类元素之间的相似度确定目标元素；

根据所述目标数据集按预设规则对待聚类元素进行聚类。

所述目标元素的个数是1；所述目标元素可以是不唯一的；

在一些实施例中，所述聚类模块303根据所述每两个待聚类元素之间的相似度确定目标元素，包括：

以所述相似度差别值最大的待聚类元素作为所述目标元素。

在一些实施例中，所述聚类模块303根据所述目标元素与每一个待聚类元素之间的相似度确定目标数据集，包括：

在一些实施例中，所述聚类模块303根据所述目标数据集按预设规则对待聚类元素进行聚类，包括：

图4示出了可以应用本发明实施例的聚类方法或聚类装置的示例性系统架构400。

如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的聚类方法一般由服务器405执行，相应地，聚类装置一般设置于服务器405中。

应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取单元、确定单元和第一处理单元。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：步骤S101、将每一个待聚类元素的原始数据信息转化为与之对应的多维数据；步骤S102、根据所述多维数据，采用余弦相似度算法确定每两个待聚类元素之间的相似度；步骤S103、根据所述每两个待聚类元素之间的相似度进行聚类。

根据本发明实施例的技术方案，因为采用将待聚类元素的原始数据信息转化为多维数据、根据所述多维数据基于余弦相似度算法进行相似度计算、再根据所述相似度计算得到的结果进行聚类的技术手段，所以克服了以往聚类方式中效率低下、对于复杂数据聚类效果较差、不能很好的支持对多维数据的聚类的技术问题，进而实现了对复杂数据或多维数据的聚类支持，达到了大幅度提高聚类运算的效率和准确性的技术效果。并且本方案易于实现，聚类方式灵活，方便与既有框架相结合。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种聚类方法，其特征在于，包括：

根据所述每两个待聚类元素之间的相似度进行聚类。

2.根据权利要求1所述的方法，其特征在于，所述原始数据信息包括：待聚类元素的唯一标识，待聚类元素的原始维度属性以及每个原始维度属性的属性值；

3.根据权利要求2所述的方法，其特征在于，采用余弦相似度算法确定每两个待聚类元素之间的相似度之前，还包括：

4.根据权利要求2所述的方法，其特征在于，采用余弦相似度算法确定每两个待聚类元素之间的相似度之前，还包括：

5.根据权利要求2所述的方法，其特征在于，采用余弦相似度算法确定每两个待聚类元素之间的相似度之前，还包括：

6.根据权利要求2所述的方法，其特征在于，在根据所述每两个待聚类元素之间的相似度进行聚类之前，还包括：

判断一个多维数据与所有多维数据两两之间的相似度结果中为0值的个数是否大于第二阈值；若是，则确定该多维数据对应的待聚类元素为异常元素。

7.根据权利要求2所述的方法，其特征在于，根据所述每两个待聚类元素之间的相似度进行聚类，包括：

根据所述每两个待聚类元素之间的相似度确定目标元素；

根据所述目标数据集按预设规则对待聚类元素进行聚类。

8.根据权利要求7所述的方法，其特征在于，根据所述每两个待聚类元素之间的相似度确定目标元素，包括：

以所述相似度差别值最大的待聚类元素作为所述目标元素。

9.根据权利要求7所述的方法，其特征在于，根据所述目标元素与每一个待聚类元素之间的相似度确定目标数据集，包括：

10.根据权利要求7所述的方法，其特征在于，根据所述目标数据集按预设规则对待聚类元素进行聚类，包括：

11.一种聚类装置，其特征在于，包括：

12.根据权利要求11所述的装置，其特征在于，所述原始数据信息包括：待聚类元素的唯一标识，待聚类元素的原始维度属性以及每个原始维度属性的属性值；

13.根据权利要求12所述的装置，其特征在于，所述数据确定模块采用余弦相似度算法确定每两个待聚类元素之间的相似度之前，还包括：

14.根据权利要求12所述的装置，其特征在于，所述数据确定模块采用余弦相似度算法确定每两个待聚类元素之间的相似度之前，还包括：

15.根据权利要求12所述的装置，其特征在于，所述数据确定模块采用余弦相似度算法确定每两个待聚类元素之间的相似度之前，还包括：

16.根据权利要求12所述的装置，其特征在于，在所述聚类模块根据所述每两个待聚类元素之间的相似度进行聚类之前，还包括：

17.根据权利要求12所述的装置，其特征在于，所述聚类模块根据所述每两个待聚类元素之间的相似度进行聚类，包括：

根据所述每两个待聚类元素之间的相似度确定目标元素；

根据所述目标数据集按预设规则对待聚类元素进行聚类。

18.根据权利要求17所述的装置，其特征在于，所述聚类模块根据所述每两个待聚类元素之间的相似度确定目标元素，包括：

以所述相似度差别值最大的待聚类元素作为所述目标元素。

19.根据权利要求17所述的装置，其特征在于，所述聚类模块根据所述目标元素与每一个待聚类元素之间的相似度确定目标数据集，包括：

20.根据权利要求17所述的装置，其特征在于，所述聚类模块根据所述目标数据集按预设规则对待聚类元素进行聚类，包括：

21.一种聚类的电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。

22.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。