CN104035978B - 社团发现方法及系统 - Google Patents

Abstract

本发明涉及一种社团发现方法及系统，所述方法包括：根据一有向加权图中多个节点之间的关系建立一邻接矩阵；对所述邻接矩阵进行预处理，得到一输入矩阵；对所述输入矩阵进行非负矩阵分解；获取所述多个节点与至少一社团之间的关系；根据所述多个节点与所述至少一社团之间的关系确定所述至少一社团中的每个社团包含的所有节点。本发明通过对有向加权图进行邻接矩阵转换和非负矩阵分解等处理，得到所述有向加权图中各节点与至少一社团之间的关系，进而方便、准确地确定所述至少一社团的结构。

Description

社团发现方法及系统

技术领域

本发明涉及数据处理技术，尤其涉及一种社团发现方法及系统。

背景技术

随着互联网规模的不断扩大和应用领域的日益扩张，社交网络的应用越来越广泛，在社交网络中，节点之间的相互连接、影响，形成许多社团结构。社团内的节点相互联系密切，相互共享信息或者进行合作，如微博、Facebook(脸谱)、Twitter(推特)等网络应用中，有共同兴趣的节点相互分享视频、评论等信息，形成一种社团结构。近年来不断复杂的网络结构，使得网络中隐含大量社团信息，通过挖掘社团结构，可以对网络属性和行为进行研究，有效控制网络的发展。因此如何从复杂网络中准确的发现社团成为亟待解决的问题。

发明内容

有鉴于此，本发明的一个目的是提供一种社团发现方法及系统，以准确的从复杂的网络中发现社团信息，为网络属性和行为的进一步研究做好准备。

为解决上述技术问题，一方面，本发明提供了一种社团发现方法，包括：

根据一有向加权图中多个节点之间的关系建立一邻接矩阵；

对所述邻接矩阵进行预处理，得到一输入矩阵；

对所述输入矩阵进行非负矩阵分解，并计算得到所述多个节点与至少一社团之间的关系；

根据所述多个节点与所述至少一社团之间的关系确定所述至少一社团中的每个社团包含的所有节点。

另一方面，本发明还提供了一种社团发现系统，包括：

邻接矩阵建立模块，用于根据一有向加权图中多个节点之间的关系建立一邻接矩阵；

预处理模块，用于对所述邻接矩阵进行预处理，得到一输入矩阵；

非负矩阵分解模块，用于对所述输入矩阵进行非负矩阵分解，并计算得到所述多个节点与至少一社团之间的关系；

社团确定模块，用于根据所述多个节点与所述至少一社团之间的关系确定所述至少一社团中的每个社团包含的所有节点。

根据本发明的上述技术方案中至少一个技术方案通过对有向加权图进行转换和处理，得到所述有向加权图中各节点与至少一社团之间的关系，进而方便、准确地确定所述至少一社团的结构。

附图说明

图1a和图1b分别为本发明实施例的一种社团发现方法的流程图；

图2为本发明实施例的一种有向加权图的结构示意图；

图3为与图2所示的有向加权图对应的邻接矩阵的示意图；

图4为本发明实施例的另一种社团发现方法的流程图；

图5为本发明实施例的又一种社团发现方法的流程图；

图6为本发明实施例的一种社团发现系统的结构示意框图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1a和1b所示，本申请实施例提供了一种社团发现方法，包括：

S110根据一有向加权图中多个节点之间的关系建立一邻接矩阵；

S120对所述邻接矩阵进行预处理，得到一输入矩阵；

S130对所述输入矩阵进行非负矩阵分解，并计算得到所述多个节点与至少一社团之间的关系；

S140根据所述多个节点与所述至少一社团之间的关系确定所述至少一社团中的每个社团包含的所有节点。

本申请实施例通过对有向加权图进行邻接矩阵转换和非负矩阵分解等处理，得到所述有向加权图中各节点与至少一社团之间的关系，进而方便、准确地确定所述至少一社团的结构。

通过下面的实施方式进一步说明本申请实施例方法中的各步骤：

S110根据一有向加权图中多个节点之间的关系建立一邻接矩阵。

以一有向加权图中有n个节点为例，所述邻接矩阵G则为一个n行n列的矩阵，其元素g_ij表示第i个节点与第j个节点之间关系的权重大小，其中i和j不大于n，并且i＝j时，g_ij＝0。例如，所述第i个节点与所述第j个节点之间有且仅有从所述第i个节点到所述第j个节点的链接关系，并且权重为1，则所述元素g_ij为1，元素g_ji为0。

由有向加权图建立所述邻接矩阵具体可以参见图2和实施例，这里不再赘述。

S120对所述邻接矩阵进行预处理，得到一输入矩阵。

由于对矩阵进行转置变换，并不改变节点属于哪个社团的特性，只是将社团之间的关系结构进行了转置变换，因此在本申请实施例一种可能的实施方式中，所述步骤S120包括：

将所述邻接矩阵与所述邻接矩阵的转置相加，得到所述输入矩阵。可以通过下面的公式表示：

A＝G+G^T

其中，A为所述输入矩阵。

S130对所述输入矩阵进行非负矩阵分解，并计算得到所述多个节点与至少一社团之间的关系。

在本申请实施例的一种可能的实施方式中，所述非负矩阵分解为三项非负矩阵分解。

所述对所述输入矩阵进行非负矩阵分解包括：

对所述邻接矩阵进行三项非负矩阵分解，得到G≈XSX^T；

根据所述邻接矩阵的三项非负矩阵分解得到所述输入矩阵的三项非负矩阵分解：

A＝XSX^T+XS^TX^T＝X(S+S^T)X^T

其中：

X为用于指示所述多个节点与所述至少一社团之间的关系的社团指示矩阵，其元素x_ij表示第i个节点属于第j个社团的数值大小；

S为用于指示所述至少一社团之间的社团关系的社团关系矩阵，其元素s_ij表示第i个社团与第j个社团的密切程度。

由于社团指示矩阵X包含有更丰富的节点之间的连接关系权重，因此，输入矩阵A中的元素a_ij更能准确反映节点之间的链接关系大小。

其中，对于a_ij∈A：

当i＝j时，∵g_ij＝0，∴a_ij＝0，

当i≠j时，a_ij＝g_ij+g_ji，

若g_ij＝g_ji＝0，则a_ij＝0，说明i节点和j节点没有链接关系；

若g_ij＝0，g_ji≠0，则a_ij＝g_ji，说明j节点到i节点有链接关系，关系的强弱由g_ji值决定；

若g_ji＝0，g_ij≠0，则a_ij＝g_ij，说明j节点到i节点有链接关系，关系的强弱由g_ij值决定；

若g_ij≠0，g_ji≠0，则a_ij＝g_ij+g_ji，说明j节点与i节点有双向链接关系，强弱由g_ij+g_ji值决定；

a_ij＝x_ij(s_ij+s_ji)x_ji，此时，节点属于哪个社团仍由x_ij决定，社团之间的结构由s_ij+s_ji共同决定。

得到上面的输入矩阵A的三项分解表示后，所述步骤S130中所述计算得到所述多个节点与至少一社团之间的关系包括：

通过一目标函数对非负矩阵分解后的所述输入矩阵进行计算，得到所述多个节点与至少一社团之间的关系。

在本申请实施例一种可能的实施方式中，所述目标函数为：

满足：

0≤X≤I；W≥0；(WK)οI≥0；(KW)οI≥0；ο为向量形式的数据的内积运算符号；

其中||||_F为F范数，||||₁为l₁范数，λ为用来平衡所述社团指示矩阵X和近似精度的平衡值，I为单位矩阵，B是A的近似矩阵，表示对A的近似，可以表示为B＝XWX^T，K是社团数量，对称矩阵W＝S+S^T。

通过上述的目标函数，可以得到所述社团指示矩阵X各元素的值。

由于所述社团指示矩阵X中的元素x_ij表示第i个节点属于第j个社团的大小，对于一个社团指示矩阵X_n×k，其中n表示所述有向加权图中有n个节点，k表示所述有向加权图中包含k个社团，则对于一个节点i，其属于所述k个社团的大小分别为x_i1、x_i2…x_ik。其中，取与节点i相关的多个元素中，上述值最大的元素对应的社团即为所述节点所属的社团。具体参见下面所述的实施例：

以图2所示的网络中经常使用的Zachary karate有向加权图的数据集为例，该数据集反映了美国一个karate俱乐部内34个成员(即n为34)之间的关系连接，这34个成员可以分为两个社团(即k为2)。

根据图2所示的有向加权图，可以得到如图3所示的邻接矩阵G，其中最上面一行和最左边一行为节点号，其它数值为所述邻接矩阵G的元素。

将所述邻接矩阵G转换成上面所述的输入矩阵A，并通过上面所述的对所述输入矩阵A进行非负矩阵分解，随机初始化社团指示矩阵X_n×k和所述对称矩阵W_k×k，并代入所述目标函数中，得到所述社团指示矩阵X_n×k如下：

其中，上述每一行元素，对应一个节点，34行表示所述34个节点；每一列元素对应一个社团，2列表示2个社团；第1列元素表示各节点属于第1个社团的大小；第2列元素表示各节点属于第2个社团的大小。

对于第1个节点有0.9994>0.0451，说明节点1属于第1个社团；对于第1个节点有0.7346>0.0245，说明节点2也属于第1个社团，以此类推。

最后得到节点1-8、11-14、17、18、20、22这16个节点属于第1个社团，其它节点属于第2个社团。

在社交网络中，既存在正常用户节点，也存在大量垃圾用户节点。每一个节点在网络中的重要程度不尽相同。少数节点作为核心决定着整个网络，而大部分节点对网络影响很少。对于社交网络，度值(即邻接矩阵G中的元素g_ij)显然能够反映节点的重要性，但它不能反映节点在全局网络链接中位置的差异性。事实上，节点的重要性不仅取决于自身的链接情况，而且还与邻近节点的重要性有关。通过本申请实施例的方法可以发现网络中节点的一些性质。

在本申请实施例中，所述多个节点与所述至少一社团之间的关系包括：

所述多个节点对所述至少一社团中的每个社团形成的贡献值。

在本申请实施例一种可能的实施方式中，所述多个节点与所述至少一社团之间的关系用所述社团指示矩阵X表示，所述多个节点对所述至少一社团中的每个社团形成的贡献值可以用所述社团指示矩阵X中的元素的值来表示。例如：元素x_ij还可以用于表示第i个节点对第j个社团形成的贡献值。

如图4所示，在本申请实施例一种可能的实施方式中，所述方法还包括：

根据所述至少一社团中的一社团包含的所有节点对所述社团形成的贡献值对所述社团中的所有节点进行排序，确定所述社团中的各节点对所述社团的重要性。

其中，对于社团C_j中的所有节点，按照其对该社团C_j形成的贡献值的大小进行降序排序(下面称为社团中节点的重要性排序)，可以确定该社团C_j中所有节点对所述社团C_j的重要性。

在所述社团中节点的重要性排序中，排在前面的节点对社团形成的贡献较大，而排在后面的节点对社团形成的贡献较小。其中对社团形成的贡献最大的节点可以称之为社团的中心节点，对社团形成的贡献最小的节点可以称之为社团的最小节点。所述中心节点是社团中最重要的节点，而最小节点对社团的贡献最小，离中心节点也最远。

当非负矩阵分解设定只有一个社团，即K＝1时，社团的节点重要性排序就是整个网络的节点重要性排序，而社团的中心节点就是网络相对中心节点，社团的最小节点就是网络的最小节点。

本申请实施利用改进NMF对有向加权网络中节点对各个社团的相对贡献度排序来获得有向加权网络的社团结构的挖掘。

以图2所示的实施例为例进一步说明本申请实施例：

由图2所示实施例中的社团指示矩阵X_n×k可以得到，图2所示有向加权图中的第一个社团C1可以采用如下矩阵描述：第一列表示节点在社团中的权重，第二列表示节点的序号。

按照节点权重的大小降序排列可得：

可以看出：节点1是该社团C1中最重要的节点，即中心节点，节点17是社团中最不重要的节点。节点的重要性从节点1到节点17以1、2、4、3、8、14、18……17依次排列。

上面提到，在网络中，除了正常用户节点，还存在大量垃圾用户节点，垃圾用户节点会影响网络的正常秩序，因此需要找到这些垃圾用户节点。

在网络中，垃圾用户节点一般有三个特性：

首先垃圾用户节点会大量连接正常用户节点，但正常用户节点不会连接垃圾用户节点，即垃圾用户节点的出度(即节点主动连接其他节点的个数)远大于入度(即节点被动连接其他节点的个数)；

其次垃圾用户节点和正常用户节点连接的权值较小；

最后正常用户节点往往只和社团内部节点有连接关系，但垃圾用户和整个网络中的节点都有连接关系。

根据上面垃圾用户节点的特性，在本申请实施例中，所述方法还包括：

根据所述多个节点中一节点的权值的入度和与权值的出度和的比率、以及所述节点对包含所述节点的社团的贡献值与所述节点对所述至少一社团中的每个社团的贡献值之和的比率确定所述节点是否为垃圾用户节点。

如图5所示，在本申请实施例的一种可能的实施方式中，定义度比率DR和社团贡献比率CCR如下：

(公式1)

(公式2)

其中，是权值的入度和，是权值的出度和。

根据所述邻接矩阵G的各元素，可以得到各节点的所述度比率DR；

根据所述社团指示矩阵X的各元素，可以得到各节点的所述社团贡献比率CCR。

定义阈值λ_C，λ_dr和λ_ccr；

如果DR<λ_dr且CCR<λ_ccr且max(x_ij)<λ_C

则节点为垃圾用户节点，否则节点为正常用户节点。

可以看出，通过本申请实施例的方法可以准确、快速地识别网络中的垃圾用户节点，进而减少垃圾用户节点对网络的影响。

如图6所示，本申请提供了一种社团发现系统400，包括：

邻接矩阵建立模块410，用于根据一有向加权图中多个节点之间的关系建立一邻接矩阵；

预处理模块420，用于对所述邻接矩阵进行预处理，得到一输入矩阵；

非负矩阵分解模块430，用于对所述输入矩阵进行非负矩阵分解，并计算得到所述多个节点与至少一社团之间的关系；

社团确定模块440，用于根据所述多个节点与所述至少一社团之间的关系确定所述至少一社团中的每个社团包含的所有节点。

本申请实施例通过对有向加权图进行邻接矩阵转换和非负矩阵分解等处理，得到所述有向加权图中各节点与至少一社团之间的关系，进而方便、准确地确定所述至少一社团的结构。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (8)

1.一种社团发现方法，其特征在于，包括：

根据一有向加权图中多个节点之间的关系建立一邻接矩阵；

对所述邻接矩阵进行预处理，得到一输入矩阵；

对所述输入矩阵进行非负矩阵分解，并计算得到所述多个节点与至少一社团之间的关系；

根据所述多个节点与所述至少一社团之间的关系确定所述至少一社团中的每个社团包含的所有节点；

所述非负矩阵分解为三项非负矩阵分解；

所述对所述输入矩阵进行非负矩阵分解包括：

对所述邻接矩阵进行三项非负矩阵分解，得到G≈XSX^T；

根据所述邻接矩阵的三项非负矩阵分解得到所述输入矩阵的三项非负矩阵分解：

A＝XSX^T+XS^TX^T＝X(S+S^T)X^T

其中，G为所述邻接矩阵，X为用于指示所述多个节点与所述至少一社团之间的关系的社团指示矩阵，S为用于指示所述至少一社团之间的社团关系的社团关系矩阵，A为所述输入矩阵。

2.如权利要求1所述的方法，其特征在于，所述对所述邻接矩阵进行预处理，得到一输入矩阵包括：

将所述邻接矩阵与所述邻接矩阵的转置相加，得到所述输入矩阵。

3.如权利要求1所述的方法，其特征在于，所述计算得到所述多个节点与至少一社团之间的关系包括：

通过一目标函数对非负矩阵分解后的所述输入矩阵进行计算，得到所述多个节点与至少一社团之间的关系。

4.如权利要求3所述的方法，其特征在于，所述目标函数为：

$\begin{array}{c}\min L(X,S)=\left|\right|A-B|{|}_F^2+\mathrm{\&lambda;}\underset{j=1}{\overset{n}{\&Sigma;}}|\left|X(j,:)\right|{|}_1^2\\ =\left|\right|\frac{G-{\mathrm{XSX}}^T+G^T-{\mathrm{XS}}^T{X}^T}{2}|{|}_F^2+\mathrm{\&lambda;}\underset{j=1}{\overset{n}{\&Sigma;}}|\left|X(j,:)\right|{|}_1^2\\ =\left|\right|A-{\mathrm{XWX}}^T|{|}_F^2+\mathrm{\&lambda;}\underset{j=1}{\overset{n}{\&Sigma;}}|\left|X(j,:)\right|{|}_1^2\end{array}$

满足：

0≤X≤I；W≥0； 为向量形式的数据的内积运算符号；

其中||||_F为F范数，||||₁为l₁范数，λ为用来平衡所述社团指示矩阵X和近似精度的平衡值，I为单位矩阵，B是A的近似矩阵，表示对A的近似，K是社团数量，对称矩阵W＝S+S^T；

其中，n为有向加权图的节点数量。

5.如权利要求1所述的方法，其特征在于，所述多个节点与所述至少一社团之间的关系包括：

所述多个节点对所述至少一社团中的每个社团形成的贡献值；所述贡献值用于确定节点对社团的重要性。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述至少一社团中的一社团包含的所有节点对所述社团形成的贡献值对所述社团中的所有节点进行排序，确定所述社团中的各节点对所述社团的重要性。

7.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述多个节点中一节点的权值的入度和与权值的出度和的比率、以及所述节点对包含所述节点的社团的贡献值与所述节点对所述至少一社团中的每个社团的贡献值之和的比率确定所述节点是否为垃圾用户节点。

8.一种社团发现系统，其特征在于，包括：

邻接矩阵建立模块，用于根据一有向加权图中多个节点之间的关系建立一邻接矩阵；

预处理模块，用于对所述邻接矩阵进行预处理，得到一输入矩阵；

非负矩阵分解模块，用于对所述输入矩阵进行非负矩阵分解，并计算得到所述多个节点与至少一社团之间的关系；

社团确定模块，用于根据所述多个节点与所述至少一社团之间的关系确定所述至少一社团中的每个社团包含的所有节点；

其中，所述非负矩阵分解为三项非负矩阵分解；

所述对所述输入矩阵进行非负矩阵分解包括：

对所述邻接矩阵进行三项非负矩阵分解，得到G≈XSX^T；

根据所述邻接矩阵的三项非负矩阵分解得到所述输入矩阵的三项非负矩阵分解：

A＝XSX^T+XS^TX^T＝X(S+S^T)X^T

其中，G为所述邻接矩阵，X为用于指示所述多个节点与所述至少一社团之间的关系的社团指示矩阵，S为用于指示所述至少一社团之间的社团关系的社团关系矩阵，A为所述输入矩阵。