CN105653667A - 一种基于节点相似度的有向网络化简系统 - Google Patents

Abstract

本发明涉及一种基于节点相似度的有向网络化简系统，包括相似度计算模块，入边筛选模块、出边筛选模块及输出模块；所述相似度计算模块用于对原始网络G中每一节点i的入边相似度及出边相似度进行计算；所述入边筛选模块用于对每一节点i的所有入边相似度进行从高到低排序，保留相似度大于阈值的入边；所述出边筛选模块用于对每一节点i的所有出边相似度进行从高到低排序，保留相似度大于阈值的出边；所述输出模块用于输出化简后的网络。该系统用以解决大规模有向网络的网络化简，不损失节点信息，且不会因删除连边产生离散节点。

Description

一种基于节点相似度的有向网络化简系统

技术领域

本发明涉及复杂网络计算技术领域，尤其涉及一种基于节点相似度的有向网络的网络化简系统。

背景技术

在现实生活中，包括生物、基因、社交、通信等个体和个体之间通常会以有向的方式建立联系，形成复杂的有向网络。社团发现是复杂网络研究的一个分支，通过分析网络特征，发现网络中的社团结构及其相互作用的关联性，从而打开了理解群体性复杂行为的新视角。其成果可用于用户群体行为分析、推荐系统和基因功能关联性挖掘等相关领域。

然而，随着科技的发展，大数据时代的到来，数据规模呈现出爆炸性增长趋势，网络规模越来越大，而通常社团发现算法的时间和空间复杂度较高，很难直接应用于大规模复杂网络的社团发现。

针对大规模网络的社团发现问题，目前有两个解决思路：

(1)利用主流的并行计算技术和大数据分析平台，将算法进行并行化，利用多部计算机的计算资源执行计算任务。

(2)大型网络中的节点和连边重要性不同，可以通过不同的策略算法将大型网络进行化简，来避免针对整个数据集进行采集和测量，只保留网络主干，从而提高下一步社团发现的效率；

利用并行计算提高算法效率的方法需要有并行计算环境的支撑，并且算法必须是可被并行化的，这两个缺点使得该方法门槛和成本较高，且适用性不高；

目前主流的网络化简方法以采样算法为主，如基于图遍历的采样算法和基于随机游走的采样算法。采样算法主要考虑保证整个网络宏观层面在采样前后不丢失属性信息，但是会造成网络局部节点的丢失，即产生离群节点。有研究人员提出了一个根据节点相似度排序的网络化简方法，将网络中的非重要连边剔除，已到达减少网络规模的目的，但是只能用于无向网络的化简。

发明内容

鉴于上述的分析，本发明旨在提供一种有向网络化简系统，用以解决大规模有向网络的网络化简；不损失节点信息，且不会因删除连边产生离散节点。

本发明的目的主要是通过以下技术方案实现的：

一种基于节点相似度的有向网络化简系统，包括相似度计算模块，入边筛选模块、出边筛选模块及输出模块；

所述相似度计算模块用于对原始网络G中每一节点i的入边相似度及出边相似度进行计算；

所述入边筛选模块用于对每一节点i的所有入边的相似度进行从高到低排序，保留相似度大于阈值的连边；

所述出边筛选模块用于对每一节点i的所有出边的相似度进行从高到低排序，保留相似度大于阈值的连边；

所述输出模块用于输出化简后的网络。

进一步，所述相似度计算模块包括入边相似度计算子模块及出边相似度计算子模块；所述入边相似度计算子模块用于计算原始网络G中的任一节点i和原始网络G中指向节点i的集合Adj⁺(i)中的任一节点j的相似度。

进一步，所述入边筛选模块中应用的阈值与控制网络化简程度的调节参数e₁有关，保留相似度大于阈值的连边，具体为对节点i的所有入边的相似度进行从高到低排序，保留前条边，为节点i的入度。

进一步，所述出边相似度计算子模块用于计算原始网络G中的任一节点i和原始网络G中节点i所指向的其他节点的集合Adj^-(i)中的任一节点j的相似度。

进一步，所述出边筛选模块中应用的阈值与控制网络化简程度的调节参数e₂有关，保留相似度大于阈值的连边，具体为对节点i的所有出边的相似度进行从高到低排序，保留前条边，为节点i的出度。

进一步，所述相似度计算模块所采用的计算方式为

$Sim(i,j)=\frac{1}{3}\left({\mathrm{Sim}}_{cc}\right(i,j)+{\mathrm{Sim}}_{tr}(i,j)+{\mathrm{Sim}}_{br}(i,j\left)\right),$

其中，Sim_cc(i,j)为共引关系节点的相似度、Sim_tr(i,j)为具有耦合关系节点的相似度、Sim_br(i,j)为具有传递关系节点的相似度。

进一步，所述共引关系节点的相似度计算公式为：

${\mathrm{Sim}}_{cc}(i,j)=\frac{|{\mathrm{Adj}}^{+}\left(i\right)\∩{\mathrm{Adj}}^{+}\left(j\right)|}{|{\mathrm{Adj}}^{+}\left(i\right)\∪{\mathrm{Adj}}^{+}\left(j\right)|}$

耦合关系节点的相似度计算公式为：

${\mathrm{Sim}}_{tr}(i,j)=\frac{1}{2}(\frac{|{\mathrm{Adj}}^{+}\left(i\right)\∩{\mathrm{Adj}}^{-}\left(j\right)|}{|{\mathrm{Adj}}^{+}\left(i\right)\∪{\mathrm{Adj}}^{-}\left(j\right)|}+\frac{|{\mathrm{Adj}}^{-}\left(i\right)\∩{\mathrm{Adj}}^{+}\left(j\right)|}{|{\mathrm{Adj}}^{-}\left(i\right)\∪{\mathrm{Adj}}^{+}\left(j\right)|})$

传递关系节点的相似度计算公式为：

${\mathrm{Sim}}_{br}(i,j)=\frac{|{\mathrm{Adj}}^{-}\left(i\right)\∩{\mathrm{Adj}}^{-}\left(j\right)|}{|{\mathrm{Adj}}^{-}\left(i\right)\∪{\mathrm{Adj}}^{-}\left(j\right)|}$

式中，Adj⁺(i)表示原始网络G中指向节点i的集合，Adj^-(i)表示原始网络G中节点i所指向的其他节点的集合；Adj⁺(j)表示原始网络G中与节点j相连，且指向节点j的所有节点的集合，Adj^-(j)表示原始网络G中与节点j相连，且被节点j指向的所有节点的集合。

进一步，控制网络化简程度的调节参数e₁、e₂的取值范围为(0,1)。。

本发明有益效果如下：

(1)该系统适用于大规模有向网络的网络化简；

(2)采用该系统进行网络化简不损失节点信息，且不会因删除连边产生离散节点；

(3)经该系统化简的网络，在进行社团发现时，其结果与不经处理就进行社团发现的网络精度偏差不大；

(4)通过该系统处理后的网络，在进行社团发现时能极大的提高计算效率

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明结构框图

图2为采用本发明所进行的社团发现过程图；

图3(a)为共引关系节点示意图；

图3(b)为耦合关系节点示意图；

图3(c)为传递关系节点示意图；

图4为采用本发明所进行网络化简前后对比示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。

本发明的目的是提供一种基于节点相似性计算的网络化简系统，作为复杂网络社团发现的预处理阶段，使用该系统可以在对有向网络进行化简的同时，保证社团发现精确度，从而提升网络社团发现的效率。

如图1所述，该系统包括相似度计算模块，入边筛选模块、出边筛选模块及输出模块；相似度计算模块包括入边相似度计算子模块及出边相似度计算子模块；入边相似度计算子模块用于计算原始网络G中的任一节点i和原始网络G中指向节点i的集合Adj⁺(i)中的任一节点j的相似度。出边相似度计算子模块用于计算原始网络G中的任一节点i和原始网络G中节点i所指向的其他节点的集合Adj^-(i)中的任一节点j的相似度。入边筛选模块用于对每一节点i的所有入边的相似度进行从高到低排序，保留相似度大于阈值的连边；入边筛选模块中应用的阈值与控制网络化简程度的调节参数e₁有关，保留相似度大于阈值的连边，具体为对节点i的所有入边的相似度进行从高到低排序，保留前条边，为节点i的入度。出边筛选模块用于对每一节点i的所有出边的相似度进行从高到低排序，保留相似度大于阈值的连边；输出模块用于输出化简后的网络；出边筛选模块中应用的阈值与控制网络化简程度的调节参数e₂有关，保留相似度大于阈值的连边，具体为对节点i的所有出边的相似度进行从高到低排序，保留前条边，为节点i的出度。

该系统具有良好的扩展性，可以和主流的社团发现相结合使用，从而提高社团发现过程的整体效率。其整个过程如图2所示。本发明的系统主要内容涵盖流程1至5，为社团发现的预处理部分，6至8部分为目前现有的成果，主要为表明整个流程的完整性和化简方法的通用扩展性。

通过一系列的计算，得出网络中连边关系的重要性，然后根据网络结构的特性将部分非重要连边删除，从而达到网络化简的效果。

本系统所化简的输入网络为一张有向网络，例如现实中的微博网络，存在关注、非关注和双向关注，通话网络中，也存在通话发起方和接听方。以此形成的关系网络被称为有向网络。而例如同事同学关系，不存在单向关系，故属于无向网络。

本系统基于对输入的网络中的节点对进行相似性计算。以节点对相似性来度量节点间连边的重要性。例如网络中有相连的节点i和节点j，则根据相似性计算得出的数值较高，表明节点i和节点j有着较强的联系，即他们之间的边很重要，那么在后续的化简中，将不会剔除两节点间的连边。

在无向网络中，节点间的连接没有方向性。而在有向网络中，两个节点间的关系传统上归纳为共引、耦合和传递.如图3(a)-(c)所示。

Adj⁺(i)表示有向网络G中指向节点i的节点的集合，该集合中元素个数等于节点i的入度设i和j分别表示网络中节点对中的节点，Adj⁺(i)表示网络中指向节点i的集合，Adj⁺(j)表示原始网络G中与节点j相连，且指向节点j的所有节点的集合，Adj^-(j)表示原始网络G中与节点j相连，且被节点j指向的所有节点的集合。

cc表示共引，tr表示耦合，br表示传递，共引、耦合和传递三种节点的相似度计算公式如下所示：

${\mathrm{Sim}}_{cc}(i,j)=\frac{|{\mathrm{Adj}}^{+}\left(i\right)\∩{\mathrm{Adj}}^{+}\left(j\right)|}{|{\mathrm{Adj}}^{+}\left(i\right)\∪{\mathrm{Adj}}^{+}\left(j\right)|}---(1-1)$

${\mathrm{Sim}}_{tr}(i,j)=\frac{1}{2}(\frac{|{\mathrm{Adj}}^{+}\left(i\right)\∩{\mathrm{Adj}}^{-}\left(j\right)|}{|{\mathrm{Adj}}^{+}\left(i\right)\∪{\mathrm{Adj}}^{-}\left(j\right)|}+\frac{|{\mathrm{Adj}}^{-}\left(i\right)\∩{\mathrm{Adj}}^{+}\left(j\right)|}{|{\mathrm{Adj}}^{-}\left(i\right)\∪{\mathrm{Adj}}^{+}\left(j\right)|})---(1-2)$

${\mathrm{Sim}}_{br}(i,j)=\frac{|{\mathrm{Adj}}^{-}\left(i\right)\∩{\mathrm{Adj}}^{-}\left(j\right)|}{|{\mathrm{Adj}}^{-}\left(i\right)\∪{\mathrm{Adj}}^{-}\left(j\right)|}---(1-3)$

分别计算节点对(i,j)的三种相似度关系后，按照下式1-4所示计算节点间绝对相似度，得到Sim(i,j)；

$Sim(i,j)=\frac{1}{3}\left({\mathrm{Sim}}_{cc}\right(i,j)+{\mathrm{Sim}}_{tr}(i,j)+{\mathrm{Sim}}_{br}(i,j\left)\right)---(1-4)$

设G为原始网络，e1和e2为控制网络化简程度的调节参数，取值范围为(0,1)，和分别表示节点i的入度和出度，通过网络化简，将网络中的非重要连边删除。化简流程步骤如下所示：

(1)输入原始网络G；

(2)循环遍历网络G，从中依次选取节点i；

(3)计算节点i的入度和出度和

(4)计算节点i保留的入边和出边数量和

(5)循环指向节点i的集合Adj⁺(i)，从中依次选取节点j；

(6)按照公式1-4计算节点j和i的相似度；

(7)对每一个节点i的所有入边的相似度进行从高到低排序，对每一节点i均保留前条边；

(8)循环节点i所指向的其他节点的集合Adj^-(i)，从中依次选取节点j；

(9)按照公式1-4计算节点j和i的相似度；

(10)对每一个节点i的所有出边的相似度进行从高到低排序，对每一节点i均保留前条边；

(11)结束后生成化简后的网络。

伪代码流程如下，用for循环表示嵌套关系。

以图4为例，左边为原始图，右边为采用本发明系统化简后的图。可以看出明显的社团结构。

通常网络社团发现算法的时间空间复杂度都与网络的节点数和连边数相关，网络进行化简后，总结点数不变，而连边减少，且较好的保留了网络的局部特性，因此可以在不损失较多精度的情况下，大大提高后续社团发现算法的效率。

本发明技术方案带来的有益效果为：

1、传统化简系统通常以采样的方式，会造成节点丢失，网络信息不全。本系统保留节点，只删除网络中的非重要连边，可最大限度保留网络特性；

2、全网化简虽然会保留所有节点，但是将所有节点都统一对待，不考虑节点的局部特性，会导致化简后的网络产生离群节点，影响后期社团发现的准确度。本系统在化简时考虑节点的局部特性→出度和入度。不会导致离群节点出现，对后期社团发现的准确度影响较小。

3、本系统为社团发现前的预处理系统，可以处理有向和无向网络，并且可与其他图变换算法和社团发现算法结合，具有较高的扩展性；并且化简本身复杂度不高，具有较高的效率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于节点相似度的有向网络化简系统，其特征在于，包括相似度计算模块，入边筛选模块、出边筛选模块及输出模块；

所述相似度计算模块用于对原始网络G中每一节点i的入边相似度及出边相似度进行计算；

所述入边筛选模块用于对每一节点i的所有入边相似度进行从高到低排序，保留相似度大于阈值的连边；

所述出边筛选模块用于对每一节点i的所有出边相似度进行从高到低排序，保留相似度大于阈值的连边；

所述输出模块用于输出化简后的网络。

2.根据权利要求1所述的有向网络化简系统，其特征在于：所述相似度计算模块包括入边相似度计算子模块及出边相似度计算子模块；所述入边相似度计算子模块用于计算原始网络G中的任一节点i和原始网络G中指向节点i的集合Adj⁺(i)中的任一节点j的相似度。

3.根据权利要求2所述的有向网络化简系统，其特征在于：所述入边筛选模块中应用的阈值与控制网络化简程度的调节参数e₁有关，保留相似度大于阈值的连边，具体为对节点i的所有入边的相似度进行从高到低排序，保留前条边，为节点i的入度。

4.根据权利要求2所述的有向网络化简系统，其特征在于：所述出边相似度计算子模块用于计算原始网络G中的任一节点i和原始网络G中节点i所指向的其他节点的集合Adj^-(i)中的任一节点j的相似度。

5.根据权利要求4所述的有向网络化简系统，其特征在于：所述出边筛选模块中应用的阈值与控制网络化简程度的调节参数e₂有关，保留相似度大于阈值的连边，具体为对节点i的所有出边的相似度进行从高到低排序，保留前条边，为节点i的出度。

6.根据权利要求1所述的有向网络化简系统，其特征在于：所述相似度计算模块所采用的计算方式为

$Sim\left(i,j\right)=\frac{1}{3}\left({\mathrm{Sim}}_{cc}\left(i,j\right)+{\mathrm{Sim}}_{tr}\left(i,j\right)+{\mathrm{Sim}}_{br}\left(i,j\right)\right),$

其中，Sim_cc(i,j)为共引关系节点的相似度、Sim_tr(i,j)为具有耦合关系节点的相似度、Sim_br(i,j)为具有传递关系节点的相似度。

7.根据权利要求6所述的有向网络化简系统，其特征在于：所述共引关系节点的相似度计算公式为：

${\mathrm{Sim}}_{cc}(i,j)=\frac{|{\mathrm{Adj}}^{+}\left(i\right)\∩{\mathrm{Adj}}^{+}\left(j\right)|}{|{\mathrm{Adj}}^{+}\left(i\right)\∪{\mathrm{Adj}}^{+}\left(j\right)|}$

式中，Adj⁺(i)表示原始网络G中指向节点i的集合；Adj⁺(j)表示原始网络G中与节点j相连，且指向节点j的所有节点的集合。

8.根据权利要求6所述的有向网络化简系统，其特征在于：所述耦合关系节点的相似度计算公式为：

${\mathrm{Sim}}_{tr}(i,j)=\frac{1}{2}(\frac{|{\mathrm{Adj}}^{+}\left(i\right)\∩{\mathrm{Adj}}^{-}\left(j\right)|}{|{\mathrm{Adj}}^{+}\left(i\right)\∪{\mathrm{Adj}}^{-}\left(j\right)|}+\frac{|{\mathrm{Adj}}^{-}\left(i\right)\∩{\mathrm{Adj}}^{+}\left(j\right)|}{|{\mathrm{Adj}}^{-}\left(i\right)\∪{\mathrm{Adj}}^{+}\left(j\right)|})$

式中，Adj⁺(i)表示原始网络G中指向节点i的集合，Adj^-(i)表示原始网络G中节点i所指向的其他节点的集合；Adj⁺(j)表示原始网络G中与节点j相连，且指向节点j的所有节点的集合，Adj^-(j)表示原始网络G中与节点j相连，且被节点j指向的所有节点的集合。

9.根据权利要求6所述的有向网络化简系统，其特征在于：所述传递关系节点的相似度计算公式为：

${\mathrm{Sim}}_{br}\left(i,j\right)=\frac{|{\mathrm{Adj}}^{-}\left(i\right)\∩{\mathrm{Adj}}^{-}\left(j\right)|}{|{\mathrm{Adj}}^{-}\left(i\right)\∪{\mathrm{Adj}}^{-}\left(j\right)|}$

式中，Adj^-(i)表示原始网络G中节点i所指向的其他节点的集合；Adj^-(j)表示原始网络G中与节点j相连，且被节点j指向的所有节点的集合。

10.根据权利要求3或5所述的有向网络化简系统，其特征在于：控制网络化简程度的调节参数e₁、e₂的取值范围为(0,1)。