CN108400889A - 一种基于局部最优化的社区发现方法 - Google Patents

Abstract

本发明涉及复杂网络中的社区发现领域，具体公开了一种基于局部最优化的社区发现方法，其是在LFM(Local Fitness Maximum)算法的基础上，一方面提出一种融合网络中节点间连边社会属性和共同邻居节点度的加权方法，利用所形成的连边权重来更新LFM算法中的适应度函数。另一方面在LFM算法局部最优化的过程中引入局部社区稳定度的概念，计算节点加入局部社区前后社区稳定度的变化来判定该节点对社区稳定度的贡献程度，以此作为节点是否被加入社区的准则。本发明的方法避免了超大社区的出现，容易发现网络中更有意义的小团体结构，适用于真实的社会网络。

Description

一种基于局部最优化的社区发现方法

技术领域

本发明涉及一种基于局部最优化的社区发现方法，属于复杂网络、社区挖掘领域。

背景技术

社会网络是由许多节点按某种关系构成的一种社会结构，节点通常是指个人或组织，这里的某种关系可以是多种多样的，如合作关系，社交关系、通讯关系等。伴随着社交网络、通信网络的飞速发展，网络中节点规模越来越大，节点间关系越来越复杂。据FaceBookCEO马克·扎克伯格称，截止2017年第二季度，FaceBook的月度活跃用户数首次超过20亿人，与去年同期相比增长17％，从6月9日开始，Facebook上有1700万人参与某话题的讨论，相关发帖、点赞、评论的数量总和超过了4100万。面对如此大规模的网络个体总数与复杂的链接关系，对单个节点及其相关连接的研究显然意义不大，因此研究者们转而去寻找网络中具有共同性质的一类群体。

社会网络中存在的社团结构，指的是网络中存在若干个群(Group)或团(Cluster)，每个群内节点联系相对紧密，而群与群之间的联系却相对稀疏。揭示大规模社会网络中的社团结构，对于发现网络的拓扑结构以及从社会学角度分析网络的特性具有重要意义。例如人们可以通过社交网络来扩展朋友圈，寻求工作机会，构建商务合作；运营商利用电信网络了解客户的关系圈，从而提供更加优质的服务等。

目前，针对社团结构检测的研究已经取得了较为丰富的成果，产生了基于多种思想的社区发现算法。LFM算法就是基于局部最优化的一类社区发现算法。该算法定义了局部社区的适应度函数并基于网络实际是由局部结构所组成的这样一种假设，从局部社区开始，通过不断选取使得社区适应度函数最大的节点加入社区，来扩大局部社区的规模，直至所有节点都被划分到相应的社区中。但该算法忽略了节点间链接的权重信息，特别是在社会网络中，人与人之间的联系是很紧密的，单单依靠节点度信息计算出的适应度不能充分反应社会网络的特点。另一方面，LFM算法每次选择对局部社区适应度值贡献最大的节点加入社区中，这一节点准入条件可能过于简单，会造成超大社区的出现，从而影响社区发现的效果。

发明内容

为解决现有技术的不足，本发明的目的在于提出一种基于局部最优化的社区发现方法，该方法在LFM算法的基础上做了两点改进，一是拟提出一种基于连边社会属性和共同邻居节点度的加权方法，将形成的新的权重融入LFM算法的适应度函数中。二是拟提出局部社区稳定度的概念，在算法局部最优化的过程中，进一步约束节点加入社区的条件。通过以上两点改进，该方法发现的社区粒度更小，能有效避免超大社区的出现，可以发现网络中更有意义的小团体。因此，该方法适用于社会网络中的社区发现问题。

为了实现上述目标，本发明实施例采用如下的技术方案：

根据本发明实施例的一种基于局部最优化的社区发现方法，其特征在于，借鉴了LFM算法的基本思想。LFM算法首先定义了社区的适应度函数，公式如下：

和分别代表局部社区G内部节点度总和以及内部节点在社区外的度的总和，α是一个正实数值参数，控制社团数目的大小，经过Lancichinetti等人的实验发现，当α取值在0～0.5时，网络中几乎只有一个社区，即网络本身。当α＞2时，会形成许多小的社区结构。实验表明，当α＝0.9时，社区划分效果最好。

某个节点A对于局部社区G的适应度贡献值定义为子图G包含节点A 和不包含节点A的适应度值的变化量，公式如下：

其中f_G+{A}和f_G-{A}分别代表子图G包含节点A和不包含节点A的适应度值。Lancichinetti等人认为，若表示节点A加入社区G中增大了社区适应度值，对社区做出正贡献，应当被社区G包含。当表示节点A加入社区G中减小了社区适应度值，对社区做出负贡献，应当被G移除。

所述一种基于局部最优化的社区发现方法，其所依据的LFM算法的局部最优化过程包含以下步骤：

(1)获取子图G内所有节点的相邻节点，利用节点对局部社区的适应度公式计算每个相邻接点对子图G的适应度值；

(2)选出适应度值最大的节点加入社区G中，更新原社区内的值及值，形成新的局部社区G’；

(3)重新计算G’中每个节点的适应度，即当前社区G’的适应度值与移除该节点后社区适应度的差值；

(4)如果在(3)中存在某个节点对社区G’的适应度值为负，将其从G’中移除，形成新的局部社区G”；

(5)如果步骤(4)发生，重复步骤(3)；否则从步骤(1)开始对子图G”进行操作，直到(1)中所有相邻接点对局部社区的适应度为负数时停止。此时局部社区的适应度达到最大值。

依据所述LFM算法的局部最优化步骤，LFM算法执行的整体流程如下：

(1)初始化未被分配至任意社区的节点集合，并在此集合内随机选出一个节点i；

(2)利用上述局部最优化过程求得包含节点i的局部社区G_{i}，并从(1) 中的集合中移除G_{i}中的节点；

(3)在未被分配到任意社区的集合中随机选出节点j，形成包含节点j的局部社区G_{j}，无论其邻居节点是否属于其他社区；

(4)重复步骤(3)，直至网络中所有节点都被划分到至少一个社区为止。

所述一种基于局部最优化的社区发现方法，该方法在LFM算法的基础上做了两点改进，首先是拟提出一种基于连边社会属性和共同邻居节点度的加权方法，该方法拟从两个角度考虑权重的计算，分别是直接联系强度和间接联系强度。直接联系强度DC(DirectCloseness)的计算公式如下：

其中，i和j代表节点编号，G表示当前网络经过抽象所形成的图结构，ω_ij表示节点i与节点j之间本身存在的连边权重，当然某些社会网络本身不存在权重信息，此类网络默认其ω_ij为1。p，q分别表示节点i和节点j邻居节点的编号。ω_ip代表节点i和p之间连边权重，ω_jq代表节点j和q之间连边权重。该公式利用比值的形式可以降低节点之间本身社会属性大小对直接联系强度的影响程度。

所述间接联系强度拟从节点间的共同邻居节点的度信息来考虑，间接联系强度IC(Indirect Closeness)的公式拟引入AA(Adamic-Adar)指标，其计算公式如下：

其中，i和j仍代表节点编号，G仍表示当前网络经过抽象所形成的图结构，其中Γ(i)和Γ(j)代表节点i和j的邻居节点集合，Γ(i)∩Γ(j)表示i和j各自邻居节点集合的交集，即它们的共同邻居，k_r代表节点r的度。该指标的含义是如果两个节点都和一个度数较小的节点有连接，那么这两个节点有联系的可能性就越大。例如在社交网络中，两个人共同关注一个比较冷门的话题或者受关注度不那么高的人，那么这两个人有很大可能具有相同的兴趣爱好。

所述加权方法融合了节点间直接联系强度和间接联系强度，其计算公式如下：

其中，i和j代表节点编号，G表示图结构，β称为平衡因子，取值范围为 [0,1]，针对不同类型的网络，用于平衡直接联系强度与间接联系强度对连边权值的影响。

所述一种基于局部最优化的社区发现方法，该方法在LFM算法基础上得到改进后的适应度函数，计算公式如下：

其中，表示局部社区G内包含的所有节点间连边利用加权公式计算出的权重之和，表示局部社区G内所有节点与其社区外的邻接节点连边利用加权方法计算出的权重之和，α仍是一个正实数值参数，控制社团数目的大小。

所述一种基于局部最优化的社区发现方法，该方法在LFM算法的基础上做的第二点改进是拟提出局部社区稳定度的概念，用于限制局部社区的扩张速度，防止产生节点总数较多的大社区。在实际的社会网络中存在相当大比例的三角形结构，而局部社区可以抽象为整个网络的子图，因此其也具有这种特征。借助于整个网络中某个节点的聚类系数公式，拟提出局部社区G内某个节点的聚类系数公式如下：

其中，G表示当前局部社区，i代表局部社区G内的某个节点，表示局部社区G内与节点i相连的三角形数量，k_i仍然表示节点i的度。该公式的实际含义表示与节点i相连的三角形在局部社区G内的数量和与节点i相连的三元组数量的比值。

所述局部社区稳定度的计算公式如下：

其中，G表示当前局部社区，n表示局部社区内部节点总数，表示局部社区G内某个节点i的聚类系数。某个节点A相对于局部社区G的稳定度拟定义为局部社区G内包含节点A和不包含A的社区稳定度的变化，其计算公式如下：

其中，S_G+{A}和S_G-{A}分别表示局部社区G包含节点A和不包含A的稳定度值。用于衡量节点A对局部社区稳定度的贡献程度。在多数社会网络中，本发明拟选取作为局部社区稳定度的临界值。即如果那么节点A对社区的稳定度做出正贡献，在局部最优化过程中应当被加入社区；否则应当舍去。

本发明具有以下有益效果：

1.提出了一种为节点间连边加权的方法，该方法一方面利用节点之间原本存在的社会属性作为直接联系强度，另一方面利用节点间的共同邻居节点度信息作为间接联系强度。融合这两个方面的信息得到节点间连边权重，全面而合理。

2.提出局部社区稳定度的概念，利用局部社区稳定度的计算公式，得到节点对局部社区稳定度的贡献程度，有利于降低局部社区的扩张速度，同时使得社区结构更加稳定，合理。

3.本发明提出的一种基于局部最优化的社区发现方法，在其局部最优化的过程中利用稳定度公式进一步对节点划分至社区的规则进行限制，避免了超大社区的出现，容易发现网络中有意义的小团体结构，适用于真实的社会网络。

附图说明

图1是本发明的社区发现过程示意图。

图2是本发明的加权方法示意图。

图3是本发明的局部最优化过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一种基于局部最优化的社区发现方法，如图1所示，其主要包括以下步骤：

(1)数据获取阶段：首先从抽象的社会网络结构中提取出顶点集和边集，构建该网络对应的图结构。

(2)生成权重阶段：节点间连边权重主要由两部分构成，一是基于连边社会属性的直接联系强度，二是基于共同邻居节点度的间接联系强度。融合这两部分的结果得到新的连边权重，用于更新适应度函数。

(3)社区发现阶段：在未被分配至任何社区的节点集合中随机选取一个节点作为局部社区G的初始成员，在该社区局部最优化的过程中加入邻居节点对局部社区稳定度的计算，进一步限制节点加入社区的条件。待局部社区G内所有节点的邻居节点对社区的适应度为负值时，该社区的发现过程结束。随后继续随机选择其他孤立节点，直至网络中所有节点都被至少划分至一个社区为止。

(4)社区发现结果输出：将上一步所形成的社区结构保存在列表中，每个社区保存其长度，内部按节点编号从小到大排序。

首先在数据获取阶段，从抽象的社会网络中提取出每个节点的编号形成顶点集合，从顶点与顶点的链接关系形成边的集合。依据顶点集合和边集构成网络的图结构。

接着在生成权重阶段，提出一种基于连边社会属性和共同邻居节点度的加权方法，该方法从两个角度考虑权重的计算，如图2所示，分别是直接联系强度和间接联系强度。直接联系强度DC(Direct Closeness)的计算公式如下：

其中，i和j代表节点编号，G表示当前网络经过抽象所形成的图结构，ω_ij表示节点i与节点j之间本身存在的连边权重，当然某些社会网络本身不存在权重信息，此类网络默认其ω_ij为1。p，q分别表示节点i和节点j邻居节点的编号。ω_ip代表节点i和p之间连边权重，ω_jq代表节点j和q之间连边权重。该公式利用比值的形式可以降低节点之间本身社会属性大小对直接联系强度的影响程度。

间接联系强度考虑节点间的共同邻居节点的度信息，因此间接联系强度(Indirect Closeness)的公式引入AA(Adamic-Adar)指标，其计算公式如下：

其中，i和j仍代表节点编号，G仍表示当前网络经过抽象所形成的图结构，Γ(i)和Γ(j)代表节点i和j的邻居节点集合，Γ(i)∩Γ(j)表示i和j各自邻居节点集合的交集，即它们的共同邻居，k_r代表节点r的度。该指标的含义是如果两个节点都和一个度数较小的节点有连接，那么这两个节点有联系的可能性就越大。例如在社交网络中，两个人共同关注一个比较冷门的话题或者受关注度不那么高的人，那么这两个人有很大可能具有相同的兴趣爱好。

新的权重融合了节点间直接联系强度和间接联系强度，其计算公式如下：

其中，i和j代表节点编号，G表示图结构，β称为平衡因子，取值范围为 [0,1]，针对不同类型的网络，用于平衡直接联系强度与间接联系强度对连边权值的影响。

根据权重计算公式，得到新的适应度函数计算公式，如下所示：

其中，表示局部社区G内包含的所有节点间连边利用加权公式计算出的权重之和，表示局部社区G内所有节点与其社区外的邻接节点连边利用加权方法计算出的权重之和，α是一个正实数值参数，控制社团数目的大小。

随后进入社区发现阶段。为了限制局部社区的扩张速度，防止产生节点总数较多的大社区，本发明借助于整个网络中某个节点的聚类系数公式，提出局部社区G内某个节点的聚类系数公式如下所示：

其中，G表示当前局部社区，i代表局部社区G内的某个节点，表示局部社区G内与节点i相连的三角形数量，k_i仍然表示节点i的度。该公式的实际含义表示与节点i相连的三角形在局部社区G内的数量和与节点i相连的三元组数量的比值。基于此，局部社区稳定度的计算公式定义如下：

其中，G表示当前局部社区，n表示局部社区内部节点总数，表示局部社区G内某个节点i的聚类系数。因此某个节点A相对于局部社区G的稳定度计算公式如下：

其中，S_G+{A}和S_G-{A}分别表示局部社区G包含节点A和不包含A的稳定度值。用于衡量节点A对局部社区稳定度的贡献程度。在多数社会网络中，本发明选取作为局部社区稳定度的临界值。即如果那么节点A对社区的稳定度做出正贡献，应当被加入社区；否则应当舍去。

基于此，社区发现的局部最优化过程如图3所示，包含以下步骤：

(1)在未被分配至任何社区的节点集合中随机选取一个节点作为局部社区 G的初始成员，令

(2)利用新的适应度函数计算局部社区G内所有节点邻居节点的适应度值；

(3)选出适应度值最大的节点A，若适应度为负，返回步骤(1)；若适应度值非负，则使用稳定度公式计算该节点对局部社区G的稳定度值贡献，若则加入社区G中，更新原社区内的值和值，形成新的局部社区G’；否则返回步骤(1)；

(4)重新计算G’中每个节点新的适应度值和稳定度值；

(5)选出适应度值为负同时稳定度值不满足条件的节点，将其从G’中移除，更新社区内的值和值，形成局部社区G”；

(6)如果步骤(5)发生，重复步骤(4)；如果所有节点对社区适应度值非负或者稳定度值满足条件，则返回步骤(2)。

上述过程不断迭代，直到局部社区G内所有节点的邻居节点对社区的适应度为负值时停止。此时一个社区发现完成。随后继续随机选择其他孤立节点重复上述过程，直至网络中所有节点都被至少划分至一个社区为止。

最后将所形成的社区结构保存在列表中，每个社区保存其长度，内部按节点编号从小到大排序。整个社区发现过程结束。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点看，均应将实例看做是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种基于局部最优化的社区发现方法，其特征在于，主要包括以下步骤：

(1)数据获取阶段：首先从抽象的社会网络结构中提取出顶点集和边集，构建该网络对应的图结构。

(2)生成权重阶段：节点间连边权重主要由两部分构成，一是基于连边社会属性的直接联系强度，二是基于共同邻居节点度的间接联系强度。融合这两部分的结果得到新的连边权重，来更新适应度函数。

(3)社区发现阶段：在未被分配至任何社区的节点集合中随机选取一个节点作为局部社区G的初始成员，在该社区局部最优化的过程中加入邻居节点对局部社区稳定度的计算，进一步限制节点加入社区的条件。待局部社区G内所有节点的邻居节点对社区的适应度为负值时，该社区的发现过程结束。随后继续随机选择其他孤立节点，直至网络中所有节点都被至少划分至一个社区为止。

(4)社区发现结果输出：将上一步所形成的社区结构保存在列表中，每个社区保存其长度，内部节点按编号从小到大排序。

2.根据权利要求1所述的一种基于局部最优化的社区发现方法，其特征在于，所述方法在LFM算法基础上提出了两点改进意见。一方面提出了一种给节点间连边赋权的方法，以新的链接权重更新适应度函数。另一方面在LFM算法局部最优化的过程中，引入局部社区稳定度的概念，对节点加入局部社区的条件实施进一步的限制。

3.根据权利要求1所述的一种基于局部最优化的社区发现方法，其特征在于，所述节点间连边的赋权方法，拟从两个角度考虑权重的计算。首先基于节点间连边社会属性定义节点与节点之间的直接联系强度DC(Direct Closeness)，直接联系强度的计算公式如下：

其中，i和j代表节点编号，G表示当前网络经过抽象所形成的图结构，ω_ij表示节点i与节点j之间本身存在的连边权重，当然某些社会网络本身不存在权重信息，此类网络默认其ω_ij为1。p，q分别表示节点i和节点j邻居节点的编号。ω_ip代表节点i和p之间连边权重，ω_jq代表节点j和q之间连边权重。该公式利用比值的形式可以降低节点之间本身社会属性大小对直接联系强度的影响程度。

4.根据权利要求1所述的一种基于局部最优化的社区发现方法，其特征在于，所述节点间连边的赋权方法，从节点间的共同邻居节点度信息定义了间接联系强度IC(IndirectCloseness)，间接联系强度的公式拟引入AA(Adamic-Adar)指标，其计算公式如下：

其中，i和j仍代表节点编号，G仍表示当前网络经过抽象所形成的图结构，其中Γ(i)和Γ(j)代表节点i和j的邻居节点集合，Γ(i)∩Γ(j)表示i和j各自邻居节点集合的交集，即它们的共同邻居，k_r代表节点r的度。该指标的含义是如果两个节点都和一个度数较小的节点有连接，那么这两个节点有联系的可能性就越大。例如在社交网络中，两个人共同关注一个比较冷门的话题或者受关注度不那么高的人，那么这两个人有很大可能具有相同的兴趣爱好。

5.根据权利要求1所述的一种基于局部最优化的社区发现方法，其特征在于，所述节点间连边的赋权方法，融合了节点间直接联系强度和间接联系强度，重新定义了节点i、j之间连边权重的计算公式为：

其中，i和j代表节点编号，G表示图结构，β称为平衡因子，取值范围为[0,1]，针对不同类型的网络，用于平衡直接联系强度与间接联系强度对连边权重的影响。

6.根据权利要求1所述的一种基于局部最优化的社区发现方法，其特征在于，所提出的局部社区稳定度的概念，是为了限制局部社区的扩张速度，防止产生节点总数较多的大社区。在实际的社会网络中存在相当大比例的三角形结构，而局部社区可以抽象为整个网络的子图，其也应该具有这种特征。因此借助于整个网络中某个节点的聚类系数公式，拟提出局部社区G内某个节点的聚类系数公式如下：

其中，G表示当前局部社区，i代表局部社区G内的某个节点，表示局部社区G内与节点i相连的三角形数量，k_i表示节点i的度。该公式的实际含义表示与节点i相连的三角形在局部社区G内的数量和与节点i相连的三元组数量的比值。

7.根据权利要求6所述的一种基于局部最优化的社区发现方法，其特征在于，所述局部社区的稳定度，拟定义为：

其中，G表示当前局部社区，n表示局部社区内部节点总数，表示局部社区G内某个节点i的聚类系数。某个节点A相对于局部社区G的稳定度拟定义为局部社区G内包含节点A和不包含A的社区稳定度的变化，其计算公式如下：

其中，S_G+{A}和S_G-{A}分别表示局部社区G包含节点A和不包含A的稳定度值。用于衡量节点A对局部社区稳定度的贡献程度。在多数社会网络中，本发明拟选取作为局部社区稳定度的临界值。即如果那么节点A对社区的稳定度做出正贡献，应当被加入社区；否则应当舍去。

8.根据权利要求1所述的一种基于局部最优化的社区发现方法，利用加权公式计算节点间连边权重，并将此权重融入该方法的适应度函数中。随后在该方法社区发现阶段的局部最优化过程中，加入节点对社区稳定度的计算，进一步约束节点加入社区的条件，有效避免超大社区的出现，从而发现网络中更有意义的小团体。