CN103838804A

CN103838804A - 一种基于社团划分的社交网络用户兴趣关联规则挖掘方法

Info

Publication number: CN103838804A
Application number: CN201310169347.4A
Authority: CN
Inventors: 张小松; 牛伟纳; 罗强; 蒲福连; 张凡; 张蕾; 陈瑞东; 王东; 李宏鸢
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2013-05-09
Filing date: 2013-05-09
Publication date: 2014-06-04

Abstract

本发明提供一种社团划分的社交网络用户兴趣关联规则挖掘方法，首先对数据进行基于相似度的分类预处理，使得同一分类中的记录间具有高相似度；其次对每个分类中的数据进行相关联挖掘，得到各分类的频繁项集；最后合并所有分类的频繁项集，选择置信度大于置信度阀值的候选关联规则生成最终的关联规则集合。本发明能够减少产生不必要的关联性小的候选项集，从而提高整体数据的关联规则挖掘效率，具有更好的扩展性。

Description

一种基于社团划分的社交网络用户兴趣关联规则挖掘方法

技术领域

本发明的设计目标是能够挖掘社交网络用户兴趣之间的关联规则。社交网络中存在数量众多的用户，而且各个用户的兴趣不同，关注的事物也不同，目的就是要挖掘不同用户的兴趣之间的关联规则,本方法是数据挖掘的一种简单但且实用的规则，关联规则挖掘属于数据挖掘的一个重要研究课题。

背景技术

在数据挖掘的知识模式中，关联规则是比较重要的一种。关联规则是数据中一种简单但很适用的规则，关联规则模式属于描述性模式，发现关联规则的算法属于无监督学习的方法。传统的关联规则挖掘算法一般用来发现数据库中大多数数据所遵循的规律，但同时在数据库中还存在另一些规律，这些规律由少数数据维持，而这些规则常被人们忽视又出乎人们的意料，具有相当的价值；面对海量数据，使用传统的关联规则算法挖掘出来的规则数据量将会很大，这对用户的理解、解释以及使用规则将带来不便，而且其中大多数规则对用户来讲是不感兴趣的，所以我们通过社团划分对网络用户经行初步划分，再运用用户兴趣之间的关联规则数据挖掘。

社团结构：研究网络性质的物理意义和数学特性发现许多实际网络都具有一个共同性质，即社团结构。整个网络是由若干个“群”或“团”构成，每个群内部的节点之间的连接相对紧密，而各个群之间的连接相对来说比较稀疏。

社团划分：社团发现就是指将网络划分为若干个联系紧密的群，每个群对应于一个网络中的社团结构。

关联规则：关联规则可以表示为X→Y，称X为规则头，Y为规则尾。关联规则的意义是，如果项集X出现在某个购物篮中，则项集Y也有可能出现在这个购物篮中。

支持度：关联规则X→Y的支持度s(Support)指包含项集X和Y的购物篮占所有购物篮的比例，即

置信度：关联规则X→Y的置信度c(Confidence)指包含项集X和Y的购物篮数目与包含X的购物篮数目的比值，即

发明内容

本发明针对传统关联规则挖掘算法面对大量数据，缺乏控制、时间消耗大以及无关兴趣多的缺陷提供了一种社团划分的社交网络用户兴趣关联规则挖掘方法。该方法将社交网络映射到网络之中然后进行社团划分，然后对各个社团挖掘用户兴趣之间的关联规则。能够高效、快速的挖掘到社交网络中用户兴趣之间的关联规则；基于社团划分进行关联规则挖掘，经过社团划分之后，使得每次挖掘关联规则时处理的规模都较小，这样可以有效的减小关联规则挖掘算法的数据处理规模，以及减小关联规则挖掘的时间消耗，从而使得算法速度较快，效率较高。为实现上述发明目的，本发明采用的技术方案如下：

一种社团划分的社交网络用户兴趣关联规则挖掘方法,包括以下步骤:

步骤一：对社交网络数据进行预处理，其中包括:将社交网络中的用户抽象成网络中的节点,获取包括所有节点构成的集合,两节点之间边构成的集合；

步骤二：根据步骤一预处理的结果通过Jaccard相似度的计算方法计算出所述社交网络中的每两个节点的Jaccard相似度；

所述两节点的Jaccard相似度计算方法如下:

2-1具体地,计算社交网络数据中任意节点i和节点j的Jaccard相似度：

首先分别获取与节点i或节点j相互连接的各个节点以及包含节点i或j本身的节点的集合，既集合Vi或集合Vj；

2-2计算节点i和节点j的Jaccard相似度：集合Vi和Vj的交集与并集的比值，即SIM(Vi,Vj)=(Vi∩Vj)/(Vi∪Vj)；

步骤三：根据步骤一所得的所有节点和步骤二所得每对节点的相似度，组成一个节点相似度矩阵；

步骤四：选择步骤三所述节点相似度矩阵中相似度最大的进行聚合，由此获得新的社团；

步骤五：计算所述社交网络数据中两个社团之间的Jaccard相似度；

所述两个社团之间的Jaccard相似度计算方法如下：

5-1具体地，计算社交网络数据中任意社团k和社团l的Jaccard相似度：

首先获取来自社团k的任意节点m和来自社团l的任意节点n；

5-2如所述步骤二的方法计算节点m和节点n的Jaccard相似度；

5-3重复5.1步骤至5.2步骤计算出分别来自社团k和社团l组成的所有节点对的相似度；

5-4根据步骤5.3得出的社团k和社团l的每对节点相似度并根据结果求出平均值，既两个社团之间的Jaccard相似度；

步骤六：根据所述步骤五的方法计算社交网络数据中所有社团间的Jaccard相似度；

步骤七：根据所述社交网络数据中社团和所述步骤六计算的结果，构成网络中各个社团的社团相似度矩阵；

步骤八：根据步骤七所述社团相似度矩阵中相似度最大的社团进行聚合，构成新的社团；

步骤九：重复步骤五至步骤八，直到整个网络聚合成一个社团为止；

步骤十：设定关联规则的支持度阀值和置信度阀值，关联规则X→Y的支持度定义为

(X∪Y).count表示包含X和Y的项集的数目，n表示所有项集的数目。关联规则X→Y的置信度定义为

(X∪Y).count表示包含X和Y的项集的数目，X.count表示包含X的项集的数目。

步骤十一：根据步骤十所得数据获取用户兴趣集合；

步骤十二：计算用户兴趣集合中的兴趣的支持度，选择支持度大于所述支持度阀值的兴趣构成1阶频繁项集；

步骤十三：由k-1阶频繁项集生成k阶候选频繁项集，具体方式是在k-1阶频繁项集中选择任意两个项集，选择两个项集中只有一项不同，则合并这两个k-1阶频繁项集构成一个k阶候选频繁项集，统计k阶候选频繁项集在数据集中出现的次数，进而计算所有k阶候选频繁项集的支持度，选择支持度大于支持度阀值的候选频繁项构成k阶频繁项集；

步骤十四：重复步骤十三直至没有更高阶的频繁项集为止；

步骤十五：对于任意频繁项集f，计算所有候选关联规则(f-α)→α的置信度，选择置信度大于置信度阀值的候选关联规则生成最终的关联规则集合。

社团划分的社交网络用户兴趣关联规则挖掘方法中步骤三得到所诉节点相似度矩阵后，将社团网络数据中每一个节点初始化为一个社团。计算两个社团之间的Jaccard相似度时，所述步骤五中5-1或5-3需获取的节点对必须分别来自所求的两个社团。所述对社交网络数据进行预处理，可获得一个邻接矩阵，所述邻接矩阵中的元素只有1和0，1表示行和列代表的节点相连，0表示行和列代表的节点不相连。

本发明通过社团划分将数据集划分为较小的社团，再对各个社团进行关联规则挖掘，可以有效的减小算法处理的数据规模，进而减少关联规则挖掘的时间消耗;基于社团划分结果进行关联规则挖掘，可以挖掘到能够反映社团内部成员之间关联性的关联规则，而这些关联规则没有整体数据集的关联性。

附图说明

图1是本发明的社团划分方法在一个实例中的网络结构示意图;

图2是实例中网络的邻接矩阵;

图3是实例中网络中所有节点之间的Jaccard相似度矩阵;

图4是实例中第一次聚合后的社团划分结果;

图5是实例中第一次聚合之后的社团相似度矩阵;

图6是实例中第二次聚合后的社团划分结果;

图7是网络社团划分过程中的树状图。

具体实施方式

下面给出本发明提出的社团发现算法的一个具体实施例，该实例是基于一个假想的社交网络的。假设存在这样一个社交网络:有8个用户，分别为A、B、C、D、E、F、G和H，其中A和B、C、D有朋友关系，B和A、C、D有朋友关系，C和A、B、D有朋友关系，D和A、B、C、E有朋友关系，E和D、F、G、H有朋友关系，F和E、G、H有朋友关系，G和E、F、H有朋友关系，H和E、F、G有朋友关系。

阶段1：将社交网络中用户对应为网络中的节点，将A、B、C、D、E、F、G和H分别对应为1、2、3、4、5、6、7和8，得到节点集合V＝{1，2，3，4，5，6，7，8}。根据节点之间的朋友关系生成网络中的边，对该社交网络通过本算法的阶段1进行处理后可以得到对应的网络，如图1所示。

由图1所示网络可以得到如图2所示的邻接矩阵。

依据邻接矩阵，计算网络中所有节点对的相似度。采用Jaccard相似度衡量节点i和j的相似性时，将v_i记为一个集合，集合包含了和节点i相互连接的各个节点以及节点i自身，如v₁＝{1，2，3，4}。此时，计算集合v_i和v_j之间的Jaccard相似度即可计算得到节点i和节点j之间的Jaccard相似度。可得如图3所示的相似度矩阵。

将图1中的8个节点初始化为8个不同的社团，每个社团包含一个节点，社团编号为c1，c2，…，c8，图3所示的矩阵也是这8个社团的相似度矩阵。由图3可以看出，社团c1、c2和c3之间的相似度为1，社团c6、c7和c8之间的相似度为1，均为最大值，因此，将社团c1、c2和c3聚合成一个新社团c9，将社团c6、c7和c8 聚合成一个新类c10。第一次聚合结果如图4所示。

此时将网络聚成了4个社团，计算这四个社团之间的Jaccard相似度，可得如图5的相似度矩阵。

分析图5中的社团相似度矩阵，可以看出社团c4和c9之间相似性为0.8，社团c5和c10的相似性为0.8，他们的相似性是最大的，因此，将社团c4和c9聚合为社团c11，将社团c5和c10聚合为社团c12，聚合后的结果如图6所示。

经过第二次聚合后整个网络中只有两个相互连接的社团了，因此最后将两个社团c11和c12聚合为一个社团c13，算法聚合过程中生成的树状图如图7所示。

从图中的虚线位置处切割树状图，此时就对应两个社团结构，即c11＝｛１2，3，4｝和c12＝｛5，6，7，8｝。

阶段2:以得到的社团c11为例对本算法进行说明，假设用户A、B、C、D的兴趣关注如表

	a	b	c	d	e
						A	1	1	1		1
B	1		1	1	1
						C	1		1	1
D	1	1		1	1

用户A对a、b、c、e感兴趣，用户B对a、c、d、e感兴趣，用户C对a、c、d感兴趣，用户D对a、b、d、e感兴趣。并设置支持度阀值为75%，置信度阀值为50%。

计算1阶候选频繁项集的支持度:

a	ABCD
		b	AD
c	ABC
		d	BCD
e	ABD

选择支持度大于支持度阀值的候选频繁项集生成1阶频繁项集，1阶频繁项集为{a、c、d、e}。

根据1阶频繁项集生成2阶候选频繁项集，计算2阶候选频繁项集的支持度，选择支持度大于支持度阀值的2阶候选频繁项集构成2阶频繁项集，2阶频繁项集为{{a，c}，{a，d}}。

根据2阶频繁项集生成3阶候选频繁项集，计算3阶候选频繁项集的支持度，发现所有的候选频繁项集支持度均小于支持度阀值，则停止挖掘频繁项集。

对于任意频繁项集f，计算所有候选关联规则(f-a)→a的置信度，选择置信度大于置信度阀值的候选关联规则生成最终的关联规则集合。则最终的关联规则集合为{a→c，c→a，a→d，d→a}。

Claims

1.一种社团划分的社交网络用户兴趣关联规则挖掘方法,包括以下步骤:

所述两节点的Jaccard相似度计算方法如下:

2-1具体地,计算社交网络数据中任意节点i和节点j的Jaccard相似度：首先分别获取与节点i或节点j相互连接的各个节点以及包含节点i或j本身的节点的集合，既集合Vi或集合Vj；

所述两个社团之间的Jaccard相似度计算方法如下：

5-1具体地，计算社交网络数据中任意社团k和社团l的Jaccard相似度：首先获取来自社团k的任意节点m和来自社团l的任意节点n；

5-2如所述步骤二的方法计算节点m和节点n的Jaccard相似度；

步骤八：根据步骤七所述社团相似度矩阵中相似度最大的社团进行聚合，构成新的社团;

步骤九:重复步骤五至步骤八，直到整个网络聚合成一个社团为止;

步骤十:设定关联规则的支持度阀值和置信度阀值，关联规则X→Y的支持度定义为

(XUY）.count表示包含X和Y的项集的数目，n表示所有项集的数目。关联规则X→Y的置信度定义为(XUY).count表示包含X和Y的项集的数目，X.count表示包含X的项集的数目；

步骤十一:根据步骤十所得数据获取用户兴趣集合;

步骤十二:计算用户兴趣集合中的兴趣的支持度，选择支持度大于所述支持度阀值的兴趣构成1阶频繁项集;

步骤十三:由k-1阶频繁项集生成k阶候选频繁项集，具体方式是在k-1阶频繁项集中选择任意两个项集，选择两个项集中只有一项不同，则合并这两个k-1阶频繁项集构成一个k阶候选频繁项集，统计k阶候选频繁项集在数据集中出现的次数，进而计算所有k阶候选频繁项集的支持度，选择支持度大于支持度阀值的候选频繁项构成k阶频繁项集;

步骤十四:重复步骤十三直至没有更高阶的频繁项集为止;

步骤十五:对于任意频繁项集f，计算所有候选关联规则（f-a)→a的置信度，选择置信度大于置信度阀值的候选关联规则生成最终的关联规则集合。

2.根据权利要求1所述的一种社团划分的社交网络用户兴趣关联规则挖掘方法，其特征包含:所述步骤三得到所诉节点相似度矩阵后，将社团网络数据中每一个节点初始化为一个社团。

3.根据权利要求1所述的一种社团划分的社交网络用户兴趣关联规则挖掘方法，其特征包含:两个社团之间的Jaccard相似度，所述步骤五中5-1或5-3需获取的节点对必须分别来自所求的两个社团。

4.根据权利要求1所述的一种社团划分的社交网络用户兴趣关联规则挖掘方法，其特征包含:所述对社交网络数据迸行预处理，可获得一个邻接矩阵，所述邻接矩阵中的元素只有1和0，1表示行和列代表的节点相连，0表示行和列代表的节点不相连。