CN107784327A - 一种基于gn的个性化社区发现方法 - Google Patents

Abstract

一种基于GN的个性化社区发现方法。传统GN算法是基于节点之间的连接关系进行边删除来划分网络，本方法量化用户之间的联系程度划分微博社区。首先，在计算用户互动程度值过程中，从用户微博被转发和评论两方面计算互动程度值。然后通过用户共有邻居及共同参与的社区两个角度计算用户相似度。最后量化联系度，联系度值即为互动程度值与相似程度值之和。基于此，改进传统GN社区发现算法，计算每个节点与中心节点边介数，定义每条边的权值就是该边的边介数除以联系程度值。这样处理之后联系程度值越大该边权值越小，被删除概率越小，最终删除权值最大的边。本方法经实验证明，最终得到的社区划分结果更加精确，运行时间更少，降低了时间复杂度。

Description

一种基于GN的个性化社区发现方法

技术领域

本发明涉及复杂网络及社区发现，具体提供基于GN的个性化社区发现方法。

背景技术

近年来，复杂网络理论已经成为科学研究中比较活跃的领域，涉及到计算机科学、信息学、数学、物理学、社会学等研究领域。2002年复杂网络的概念正式由M Girvan和M ENewman提出。现实世界中许多问题都基于复杂网络模型进行分析，其中节点代表真实世界中的实体，而边则代表实体之间存在的关系。社区结构是复杂网络的重要特征，社区是由具有联系的个体组成的集合，而网络又是由若干个社区组成，但社区内部节点的紧密程度要远大于社区间的紧密程度。

随着网络不断发展，社区发现也显得尤为重要。社区发现是指将依照集合间元素的关系，将集合划分为若干个子集的过程。具体来说，根据现实中个体存在的真实关系进行划分，将关系紧密的个体划分到同一社区。社区的概念最早来源于对复杂网络的研究，其中小世界理论和150度法则使得复杂网络的研究进入到一个新的阶段。社区发现技术最早源于对社会学的研究，社区发现技术是通过有效的算法利用尽可能少的信息对网络结构进行更准确的划分。经典的社区识别算法主要有基于图论的算法、层次聚类算法。其中基于图论的算法最经典的代表是Kernighan-Lin算法和谱二分算法。层次聚类算法又分为凝聚方法和分裂方法。最经典的GN(Givern-Newman)算法是分裂算法的代表；凝聚方法具有代表性的则是Newman提出的快速聚类算法和Clauset等人提出的CNM算法。

上述大部分算法都是适应于对称网络、局部网络等，然而现实中大部分网络都是非对称网络(如微博社区)、动态网络。因此，如何更好地对非对称动态网络进行分析仍是需要进一步解决的问题。

发明内容

本发明的目的是解决传统GN社区发现算法划分结果不精确的问题，对经典的GN社区发现算法进行优化改进，设计了一种基于GN的个性化社区发现方法。该方法通过考虑用户联系程度值的计算，然后利用边介数除以联系程度值得到边权重，最后删除边权重最大的边得到社区划分结果。这极大地改善了社区划分结果，提高了精确性，降低了时间复杂度。

本发明提供的基于GN的个性化社区发现方法主要包括如下关键步骤：

第1、微博网络中边介数的分析及计算：

第1.1、对微博网络进行分析，寻找网络中心节点；

第1.2、计算每个节点与网络中心节点的最短路径；

第1.3、计算每条边的边介数；

第2、用户互动程度模型及相似度模型：

第2.1、计算用户所发微博被转发和评论数量；

第2.2、分以下两种情况计算用户互动程度值；

(1)F_ij>0且F_ji>0

W_ij＝F_ij+F_ji (1)

(2)F_ij>0或F_ji>0；

W_ij＝(F_ij+F_ji)*α (2)

W_ij表示网络中用户i和用户j连接边的权值，用户i转发评论j的微博次数之和记为F_ij，相应地j转发评论i的微博次数之和记为F_ji.用参数α来削弱边联系度，还需要对W_ij归一化处理，先从W_ij的运算结果中找出一个最大值，定义为：

W_max＝max_{i＝1→n,j＝1→n}{W_ij} (3)

下一步使用W_max对W_ij的结果进行归一化处理，最终的互动程度值如下表示：

第2.3、利用如下扩展的相似度计算公式得到用户相似度量值：

其中，N(i)和N(j)分别是i和j的邻居节点，T(i)和T(j)分别是i和j的参与话题，S_ij是i和j的相似度，参数α经过试验确定最优解；

第3、用户联系度模型分析：

第3.1、获取上述中获得的用户互动程度值以及相似程度值；

第3.2、利用如下公式计算用户联系度值：

R_ij＝W_ij'+S_ij (6)

同样对R_ij的结果归一化处理，先从R_ij的结果选出一个最大值R_max：

R_max＝max_{i＝1→n,j＝1→n}{R_ij} (7)

第3.3、归一化用户联系程度值用R_ij’表示：

使用上述的用户联系程度值，不仅考虑了用户互动程度值，还考虑了用户之间的相似度，更加全面地衡量了用户联系程度；

第4、边权重分析及划分结果：

第4.1、每条边的边介数除以联系度值作为每条边的权重；

第4.2、删除权重最大的边，判断社区是否分裂，计算网络中社区模块度Q值并记下社区划分结构，得出模块增量△Q，通过△Q得出最终社区划分结果。

本发明的优点和积极效果：

本发明主要设计了一种基于GN的个性化社区发现方法，该方法是对经典的GN社区划分算法的改进。在对微博网络分析阶段，寻找中心节点并计算每个节点与中心节点的最短路径，从而计算每条边的边介数。通过分析用户微博被转发评论及参与社区情况来计算用户互动程度值和相似度值，之后用户互动程度值与相似度值之和即为用户联系度值。进一步地，用每条边的边介数除以联系程度值作为每条边的权重。最后删除权重最大的边得到社区划分结构。通过改进的GN社区发现算法得到的社区划分结果更加精确，降低了时间复杂度。

附图说明

图1是微博网络示意图；

图2是Zachary网络原始拓扑图；

图3是传统GN算法在Zachary数据集中的划分结果；

图4是改进的GN算法在Zachary数据集中的划分结果；

图5是传统GN算法在Dolphin数据集中的划分结果图；

图6是改进的GN算法在Dolphin数据集中的划分结果图；

图7是LCR模拟网络图；

图8是本发明基于GN的个性化社区发现算法的结构示意图。

具体实施方式

本发明设计的方法基于经典的GN社区发现方法，其思想是不断删除网络中具有相对于所有源节点的最大的边介数，之后重新计算剩余边相对于所有节点的边介数，重复上述过程直到网络中所有边被删除。之后利用改进的GN算法计算网络中边权重大小。首先分析微博社区的网络结构特性。微博作为非对称型网络，存在单向关注和双向关注。如图1，用户A关注C，而用户C并没有关注A，这属于单向关注关系；用户A关注B，同时B也关注A，这属于双向关注关系，即互粉关系。微博网络可以用网络结构图的形式来表示，图中节点代表微博用户，边代表关注关系。除了关注关系之外，微博用户会发微博、参与社区或话题的讨论，还会转发评论他人的微博，以上这些行为都可以从某一定程度上反映用户之间联系程度。因此，网络图中的边具有相应的权值，权值越大，则代表两节点联系程度越大。

基于上述得到微博网络结构图，将获取到的微博转发评论数量、所参与社区、所讨论话题等进行分析。

结合附图8，本发明方法主要包括如下关键步骤：

第1、微博网络中边介数的分析及计算：

第1.1、对微博网络进行分析，寻找网络中心节点；

第1.2、计算每个节点与网络中心节点的最短路径；

第1.3、计算每条边的边介数。

第2、用户互动程度模型及相似度模型：

第2.1、计算用户所发微博被转发和评论数量；

第2.2、分以下两种情况计算用户互动程度值：

(1)F_ij>0且F_ji>0

W_ij＝F_ij+F_ji (1)

(2)F_ij>0或F_ji>0；

W_ij＝(F_ij+F_ji)*α (2)

W_ij表示网络中用户i和用户j连接边的权值，用户i转发评论j的微博次数之和记为F_ij，相应地j转发评论i的微博次数之和记为F_ji.用参数α来削弱边联系度。还需要对W_ij归一化处理，先从W_ij的运算结果中找出一个最大值，定义为：

W_max＝max_{i＝1→n,j＝1→n}{W_ij} (3)

下一步使用W_max对W_ij的结果进行归一化处理，最终的互动程度值如下表示：

第2.3、利用如下扩展的相似度计算公式得到用户相似度量值：

其中，N(i)和N(j)分别是i和j的邻居节点，T(i)和T(j)分别是i和j的参与话题。S_ij是i和j的相似度。参数α经过试验确定最优解。

第3、用户联系度模型分析：

第3.1、获取上述中获得的用户互动程度值以及相似程度值；

第3.2、利用如下公式计算用户联系度值：

R_ij＝W_ij'+S_ij (6)

同样对R_ij的结果归一化处理，先从R_ij的结果选出一个最大值R_max：

R_max＝max_{i＝1→n,j＝1→n}{R_ij} (7)

第3.3、归一化用户联系程度值用R_ij’表示：

使用上述的用户联系程度值，不仅考虑了用户互动程度值，还考虑了用户之间的相似度，更加全面地衡量了用户联系程度。

第4、边权重分析及划分结果：

第4.1、每条边的边介数除以联系度值作为每条边的权重；

第4.2、删除权重最大的边，判断社区是否分裂。计算网络中社区模块度Q值并记下社区划分结构，得出模块增量△Q，通过△Q得出最终社区划分结果。

实例1：

我们通过实验来验证基于GN的个性化社区发现方法的正确性以及有效性，并且通过与相关算法进行比较来验证方法的性能。我们首先验证方法在数据集Zachary网络上的有效性。将基于用户联系程度的GN算法与传统的GN算法、CIG_ESC算法的实验结果进行对比。同时对实验结果进行分析，使用XnView作为可视化工具展示划分效果。

图2为Zachary网络原始拓扑图，其中每个节点代表一个空手道俱乐部成员，每条边代表成员之间的社会关系。从图3可以看出，这些节点被分成2个社区，分别为{1，2，3，4，5，6，7，8，10，11，12，13，14，17，18，20，22，29}和{9，15，16，19，21，23，24，25，26，27，28，30，31，32，33，34}。使用传统的GN算法、CIG_ESC算法、改进的GN算法对此数据集进行实验，社区划分可视化结果如图3和图4所示。

从图3可以看出原始网络图被划分为二个社区，分别为{1，2，3，4，5，6，7，8，11，12，13，14，17，18，20，22}、{9，10，15，16，19，21，23，24，25，26，27，28，29，30，31，32，33，34}。相应地，从图4可以看出原始网络被划分成三个社区，分别为{1，2，3，4，5，6，7，8，11，12，13，14，17，18，20，22}、{9，10，15，16，19，21，23，24，27，30，31，33，34}和{25，26，28，29，32}。

从图3、图4可以看出，对于小型网络，传统GN算法准确率非常高，仅仅错划分了一个点。改进的GN算法将原始社区划分为三个社区，也即将社区划分地更为细致、精确。

实例2：

同样地，图5、图6是Dolphin数据集下算法划分的网络结果图。

从图5、图6可以看出，传统的GN算法将网络结构图划分成两个社区：{13}和{1，2，3，4，5，6，7，8，9，10，11，12，14，15，16，17，18，19，20，21，22，23，24，25，26，27，28，29，30，31，32，33，34，35，36，37，38，39，40，41，42，43，44，45，46，47，48，49，50，51，52，53，54，55，56，57，58，59，60，61，62}。改进的GN算法将网络划分成三个社区：{13}、{2，6，7，8，10，14，18，20，23，26，27，28，32，33，42，49，55，57，58，61}和{1，3，4，5，9，11，12，15，16，17，19，21，22，24，25，29，30，31，34，35，36，37，38，39，40，41，43，44，45，46，47，48，50，51，52，53，54，56，59，60，62}。

结合上述两个数据网络图划分结果可以看出，改进的GN算法都将网络图做了进一步划分。原因主要是在传统GN算法计算边介数的基础上，改进的GN算法考虑了用户联系程度值，尽可能使得相似的用户被划分为在同一社区。

如表1列出了三种算法在两个数据集下的模块度值及运行时间情况。

表1经典数据集上的实验结果比较

从实验结果可知，改进的GN算法得到的社区划分结构模块度值优于传统的GN算法。该算法可以将Karate网络的社区结构正确地划分，能够验证改算法的有效性和正确性。改进的GN算法在运行时间上提高了近10倍，原因是算法最初选取网络中心节点，然后只计算其他源节点与中心节点的最短路径，从而计算边介数。这一过程大大降低了运行时间。与CIS_ESC算法相比，改进的GN算法在模块度值和运行时间上也有所提高。改进的GN算法考虑的是真实的非对称网络，从而可以使划分结构更加符合现实情况。

为了进一步验证改进的算法适用于微博网络社区，本文用LCR人工生成一个微博模拟网络。具体参数设置为：节点数N＝50，平均度数k＝10,最大度数maxk＝25,混合参数mu＝0.1,网络是否具有社区性主要与混合参数有关，社区最小规模minc＝2,社区最大规模maxc＝4。人工生成的网络之间的关系如图7所示。

该情况下的节点所属社区关系如表2所示。

表2LCR人工网络社区结构划分

使用改进的GN算法对LCR生成的网络进行划分，结果与原社区结构一致，因此改进的方法适用于微博网络的划分。

Claims (1)

1.基于GN的个性化社区发现方法，其特征在于该方法主要包括如下关键步骤：

第1、微博网络中边介数的分析及计算：

第1.1、对微博网络进行分析，寻找网络中心节点；

第1.2、计算每个节点与网络中心节点的最短路径；

第1.3、计算每条边的边介数；

第2、用户互动程度模型及相似度模型：

第2.1、计算用户所发微博被转发和评论数量；

第2.2、分以下两种情况计算用户互动程度值；

(1)F_ij>0且F_ji>0

W_ij＝F_ij+F_ji (1)

(2)F_ij>0或F_ji>0；

W_ij＝(F_ij+F_ji)*α (2)

W_ij表示网络中用户i和用户j连接边的权值，用户i转发评论j的微博次数之和记为F_ij，相应地j转发评论i的微博次数之和记为F_ji.用参数α来削弱边联系度，还需要对W_ij归一化处理，先从W_ij的运算结果中找出一个最大值，定义为：

W_max＝max_{i＝1→n,j＝1→n}{W_ij} (3)

下一步使用W_max对W_ij的结果进行归一化处理，最终的互动程度值如下表示：

<mrow> <msubsup> <mi>W</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>=</mo> <mfrac> <msub> <mi>W</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <msub> <mi>W</mi> <mi>max</mi> </msub> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

第2.3、利用如下扩展的相似度计算公式得到用户相似度量值：

<mrow> <msub> <mi>S</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mi>&amp;alpha;</mi> <mfrac> <mrow> <mi>N</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>&amp;cap;</mo> <mi>N</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>N</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>&amp;cup;</mo> <mi>N</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <mfrac> <mrow> <mi>T</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>&amp;cap;</mo> <mi>T</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>T</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>&amp;cup;</mo> <mi>T</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

其中，N(i)和N(j)分别是i和j的邻居节点，T(i)和T(j)分别是i和j的参与话题，S_ij是i和j的相似度，参数α经过试验确定最优解；

第3、用户联系度模型分析：

第3.1、获取上述中获得的用户互动程度值以及相似程度值；

第3.2、利用如下公式计算用户联系度值：

R_ij＝W'_ij+S_ij (6)

同样对R_ij的结果归一化处理，先从R_ij的结果选出一个最大值R_max：

R_max＝max_{i＝1→n,j＝1→n}{R_ij} (7)

第3.3、归一化用户联系程度值用R_ij’表示：

<mrow> <msubsup> <mi>R</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>=</mo> <mfrac> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <msub> <mi>R</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>

使用上述的用户联系程度值，不仅考虑了用户互动程度值，还考虑了用户之间的相似度，更加全面地衡量了用户联系程度；

第4、边权重分析及划分结果：

第4.1、每条边的边介数除以联系度值作为每条边的权重；

第4.2、删除权重最大的边，判断社区是否分裂，计算网络中社区模块度Q值并记下社区划分结构，得出模块增量△Q，通过△Q得出最终社区划分结果。