CN117056763A - 基于变分图嵌入的社区发现方法 - Google Patents

Abstract

本发明公开一种基于变分图嵌入的社区发现方法。首先，将网络转化为图结构并处理，得到邻接矩阵A；根据邻接矩阵计算模块度矩阵B；通过计算t阶邻居节点的邻近矩阵M；构建基于变分自编码器的推理模型，利用邻接矩阵A和模块度信息B对社区成员度Z编码；然后，构建基于变分自编码器的生成模型，利用内积解码器重构邻接矩阵A，并计算重构损失和编码器的损失；最后，利用社区成员度矩阵Z，使用聚类算法得到最终的社区检测结果。本发明考虑了社区发现中的模块度以及图中节点的高阶邻居两个方面，通过高阶邻居改进GAT编码器，并结合所得模块度矩阵，最终得到整个图的低维嵌入表示，所求得的图嵌入表示比现有方法更精准，以此提高社区发现的精确度。

Description

基于变分图嵌入的社区发现方法

技术领域

本发明属于数据挖掘技术领域，涉及一种基于变分图嵌入的社区发现方法。

背景技术

社区的定义是一类具有相同特征的节点集合，不同的社区代表网络中不同群体的簇。目前形成相应复杂网络的群落结构类型很多，其起源可以是化学、生物学和社会学。随着复杂网络的广泛应用，往往会出现多种复杂连接，形成相应的网络，如蛋白质信息网络和社交网络。社区在探索整个网络的结构和功能方面表现出一定的运营优势，这可以帮助我们分析或预测网络中实体之间的相互作用。因此，用于揭示真实网络中社区结构的社区检测技术应运而生。社区发现揭示了相互作用的社区结构的拓扑和网络特征，帮助我们更好地理解和分析真实的网络。

在过去的几十年里，许多社区发现方法被提出并展示了不同程度的性能。基于深度神经网络的社区发现方法是从网络拓扑中学习一种新的网络表示。将关系数据从原始空间映射到低维特征空间，达到在保留原始网络结构信息的同时降低噪声的效果。最近，社区检测算法也与深度学习模型相结合，如基于卷积神经网络(CNN)的算法，基于生成对抗网络(GAN)的算法，基于图卷积网络的算法，基于图卷积网络(GCN)的算法，基于图注意网络(GAT)的算法和基于自动编码器(AE)的算法等，其中神经网络能够解决一些过于复杂或没有人类专家和规则的问题。相较于传统方法，GNN在节点分类，节点聚类，图分类等任务中表现出良好的性能，但大多只关注保持网络结构A以及不同正则化方法或模型设计对网络嵌入带来的聚类增益，并且只考虑了一阶邻居；为了解决这一局限性，本发明考虑了社区发现的模块度以及高阶邻居对社区发现结果的影响，提出了一种基于模块化和网络结构B+A的无监督联合优化方法，它可以从邻接矩阵中学习有用的结构特征以形成更好的节点表征。该方法具有严格的模块化理论基础，更适合于社区检测。

发明内容

发明目的：为弥补现有方法中存在的不足，本发明的目的在于提供一种基于变分图嵌入的社区发现方法，考虑了社区发现中的模块度以及图中节点的高阶邻居两个方面，通过高居邻居改进GAT编码器，并结合所得模块度矩阵，最终得到整个图的低维嵌入表示，所求得的图嵌入表示比现有方法更精准，以此提高社区发现的精确度。

技术方案：

一种基于变分图嵌入的社区发现方法，包括如下步骤：

步骤1：首先确定需要进行社区发现的网络(引文网络，社交网络等)，将网络转化为图结构，对图结构进行处理，将拓扑结构转换为邻接矩阵A；

步骤2：根据网络的邻接矩阵信息计算模块度矩阵B；

步骤3：根据图中的t阶邻居节点，通过计算得到t阶邻居的邻近矩阵M；

步骤4：构建基于变分自编码器的推理模型，利用邻接矩阵A和模块度信息B，对社区成员度Z的均值向量μ和标准差向量σ使用基于邻近矩阵改进的GAT模型进行编码；

步骤5：构建基于变分自编码器生成模型，利用内积解码器对邻接矩阵A进行重构，使用交叉熵损失函数计算真实的邻接矩阵与重构的邻接矩阵之间的损失，通过计算编码器将输入图映射到潜在空间的分布与标准正态分布的KL散度来度量它们之间的损失值，将计算得到的损失值通过反向传播算法对模型参数进行优化；

步骤6：利用编码得到的社区成员度矩阵Z，使用k-means聚类算法得到最终的社区检测结果；

优选的：所述步骤1的具体步骤如下：

网络(引文网络，社交网络等)的拓扑结构用图G＝(V，E)表示，V＝{v₁，v₂，...，v_n}表示顶点集合，E＝{e₁，e₂，...，e_m}表示边的集合。图G的拓扑结构可以用邻接矩阵A表示，若节点i和节点j有连边，则A_i，j＝1，否则A_i，j＝0。

优选的：所述步骤2的具体步骤如下：

步骤2-1：根据网络的邻接矩阵信息计算模块度矩阵B，其中模块度的计算方法为：

其中，M是网络中边的总数，a_ij为邻接矩阵元素，取值为1或0表示是否存在连通边，k_i为节点i的度，C为节点i的关联隶属度函数，当i和j属于同一个社区时，C＝1，否则C＝0。

步骤2-2：通过定义模块度矩阵B和引入节点社区成员向量来简化式(1)。定义模块度矩阵B＝[b_ij]为：

步骤2-3：引入矩阵Z＝[z_ij]∈R^N×K，其中每一行z_i为节点社区成员向量，K为节点社区成员向量的维数。因此公式(1)可以简化为：

优选的：所述步骤3的具体步骤如下：

由于图具有复杂的结构关系，本发明编码器中利用高阶邻居。通过考虑图中的t阶邻居节点，得到一个邻近矩阵：

M＝(O+O²+…+O^t)/t#(4)

其中O是转移矩阵，当e_ij∈E时N_ij＝1/d_i，否则O_ij＝0。d_i为节点i的度，M_ij表示节点j到节点i的t阶的拓扑相关性。在这种情况下，N_i表示M中i的相邻节点，如果M_ij＞0，j是i的一个邻居。

优选的：所述步骤4的具体步骤如下：

步骤4-1：构建变分自编码器的推理模型：

式中q(z_i|(B，A))是节点i的基于高斯族的变分近似的真实后验分布，基于高斯族的变分近似为：

步骤4-2：使用两个图神经网络μ＝GAT_μ(B，A)和logσ＝GAT_σ(B，A)作为编码器，拟合节点i的平均向量μ和标准差向量σ：

其中，表示节点i的输出表示，N_i表示节点i的邻居。α_ij是表示邻居节点j对节点i的重要性的注意系数，δ为非线性激活函数，W是可训练的权重矩阵。

注意系数通常在所有邻域j∈N_i之间用softmax函数进行归一化，使其易于在节点之间进行比较：

加上拓扑权值M和激活函数δ，系数可以表示为：

其中，

优选的：所述步骤5的具体步骤如下：

步骤5-1：构建变分自编码器的生成模型，生成模型由潜在变量之间的内积给出：

其中A_ij是邻接矩阵A中的元素，δ是激活函数。

步骤5-2：将变分下界最大化，变分下界包含两项，第一项为邻接矩阵重构损失，后一项为KL散度，度量两个分布的相似性：

L＝E_q(Z|B，A)[logp(A|Z)]-KL[q(Z|B，A)||p(z)]#(12)

其中E_q(Z|B，A)[logp(A|Z)]是交叉熵损失函数：

KL[q(·)||p(·)]是q(·)与p(·)之间的Kullback-Leibler散度：

p(Z)＝Π_i N(z_i|0，I)。

优选的：所述步骤6的具体步骤如下：

步骤6-1：从数据中选择k个对象作为初始的聚类中心；

步骤6-2：分别计算每个聚类对象到每个聚类中心的距离，将聚类对象划分到距离最近的聚类中心的类中，分成k个簇；

步骤6-3：计算K个簇样本的平均值作新的质心；

步骤6-4：循环执行步骤6-2和6-3，直到质心位置不变，则算法停止。

有益效果：本发明从模块度和高阶邻居两个方面入手，学习更好的节点表征，从而提高社区检测的准确性；首先，利用邻接矩阵计算出模块度矩阵和高阶邻居的邻近矩阵。然后，将模块度矩阵和邻接矩阵作为GAT的输入，使用多个基于邻近度矩阵改进GAT编码器求得均值向量μ和标准差向量σ，将均值向量与标准差向量相加得到最终的图嵌入Z。接着，使用K-Means算法对节点进行聚类，得到最终的社区发现结果。在网络结构方面，本发明考虑了社区发现的模块度以及高阶邻居对社区发现结果的影响，从邻接矩阵中学习有用的结构特征以形成更好的节点表征。

附图说明

图1是本发明的步骤示意图。

图2是本发明的总体模型框架图。

具体实施方式

下面结合附图对本发明做进一步的说明。基于变分图嵌入的社区发现方法，包括如下步骤：

步骤1：首先确定需要进行社区发现的网络(引文网络，社交网络等)，将网络转化为图结构，对图结构进行处理，将拓扑结构转换为邻接矩阵A，具体步骤如下：

网络(引文网络，社交网络等)的拓扑结构用图G＝(V，E)表示，V＝{v₁，v₂，...，v_n}表示顶点集合，E＝{e₁，e₂，...，e_m}表示边的集合。图G的拓扑结构可以用邻接矩阵A表示，若节点i和节点j有连边，则A_i，j＝1，否则A_i，j＝0.

步骤2：根据网络的邻接矩阵信息计算模块度矩阵B，具体步骤如下：

步骤2-1：根据网络的邻接矩阵信息计算模块度矩阵B，其中模块度的计算方法为：

其中，M是网络中边的总数，a_ij为邻接矩阵元素，取值为1或0表示是否存在连通边，k_i为节点i的度，C为节点i的关联隶属度函数，当i和j属于同一个社区时，C＝1，否则C＝0。

步骤2-2：通过定义模块度矩阵B和引入节点社区成员向量来简化式(1)。定义模块度矩阵B＝[b_ij]为：

步骤2-3：引入矩阵Z＝[z_ij]∈R^N×K，其中每一行z_i为节点社区成员向量，K为节点社区成员向量的维数。因此公式(1)可以简化为：

步骤3：根据图中的t阶邻居节点，通过计算得到t阶邻居的邻近矩阵M，具体方法如下：

由于图具有复杂的结构关系，本发明在编码器中利用高阶邻居。通过考虑图中的t阶邻居节点，得到一个邻近矩阵：

M＝(O+O²+…+O^t)/t#(4)

其中O是转移矩阵，当e_ij∈E时N_ij＝1/d_i，否则O_ij＝0。d_i为节点i的度，M_ij表示节点j到节点i的t阶的拓扑相关性。在这种情况下，N_i表示M中i的相邻节点，如果M_ij＞0，j是i的一个邻居。

步骤4：构建基于变分自编码器的推理模型，利用邻接矩阵A和模块度信息B，对社区成员度Z的均值向量μ和标准差向量σ使用基于邻近矩阵改进的GAT模型进行编码，具体步骤如下：

步骤4-1：构建变分自编码器的推理模型：

式中q(z_i|(B，A))是节点i的基于高斯族的变分近似的真实后验分布，基于高斯族的变分近似为：

步骤4-2：使用两个图神经网络μ＝GAT_μ(B，A)和logσ＝GAT_σ(B，A)作为编码器，拟合节点i的平均向量μ和标准差向量σ：

其中，表示节点i的输出表示，N_i表示节点i的邻居。α_ij是表示邻居节点j对节点i的重要性的注意系数，δ为非线性激活函数，W是可训练的权重矩阵。

注意系数通常在所有邻域j∈N_i之间用softmax函数进行归一化，使其易于在节点之间进行比较：

加上拓扑权值M和激活函数δ，系数可以表示为：

其中，

步骤5：构建基于变分自编码器生成模型，利用内积解码器对邻接矩阵A进行重构，使用交叉熵损失函数计算真实的邻接矩阵与重构的邻接矩阵之间的损失，通过计算编码器将输入图映射到潜在空间的分布与标准正态分布的KL散度来度量它们之间的损失值，将计算得到的损失值通过反向传播算法对模型参数进行优化，具体步骤如下：

步骤5-1：构建变分自编码器的生成模型，生成模型由潜在变量之间的内积给出：

其中A_ij是邻接矩阵A中的元素，δ是激活函数；

步骤5-2：将变分下界最大化，变分下界包含两项，第一项为邻接矩阵重构损失，后一项为KL散度，度量两个分布的相似性：

L＝E_q(Z|B，A)[logp(A|Z)]-KL[q(Z|B，A)||p(Z)]#(12)

其中E_q(Z|B，A)[logp(A|Z)]是交叉熵损失函数：

KL[q(·)||p(·)]是q(·)与p(·)之间的Kullback-Leibler散度：

p(Z)＝Π_i N(z_i|0，I)。

步骤6：利用编码得到的社区成员度矩阵Z，使用k-means聚类算法得到最终的社区检测结果；

步骤6-1：从数据中选择k个对象作为初始的聚类中心；

步骤6-2：分别计算每个聚类对象到每个聚类中心的距离，将聚类对象划分到距离最近的聚类中心的类中，分成k个簇；

步骤6-3：计算K个簇样本的平均值作新的质心；

步骤6-4：循环执行步骤6-2和6-3，直到质心位置不变，则算法停止。

Claims (7)

1.一种基于变分图嵌入的社区发现方法，其特征在于，所述方法包括如下步骤：

步骤1：首先确定需要进行社区发现的网络，将网络转化为图结构，对图结构进行处理，将拓扑结构转换为邻接矩阵A；

步骤2：根据网络的邻接矩阵信息计算模块度矩阵B；

步骤3：根据图中的t阶邻居节点，通过计算得到t阶邻居的邻近矩阵M；

步骤4：构建基于变分自编码器的推理模型，利用邻接矩阵A和模块度信息B，对社区成员度Z的均值向量μ和标准差向量σ使用基于邻近矩阵改进的GAT模型进行编码；

步骤5：构建基于变分自编码器生成模型，利用内积解码器对邻接矩阵A进行重构，使用交叉熵损失函数计算真实的邻接矩阵与重构的邻接矩阵之间的损失，通过计算编码器将输入图映射到潜在空间的分布与标准正态分布的KL散度来度量它们之间的损失值，将计算得到的损失值通过反向传播算法对模型参数进行优化；

步骤6：利用编码得到的社区成员度矩阵Z，使用k-means聚类算法得到最终的社区检测结果。

2.根据权利要求1所述的基于节点结构特征的图卷积神经网络的社区发现方法，其特征在于：所述步骤1的具体步骤如下：

网络的拓扑结构用图G＝(V,E)表示，V＝{v₁,v₂,…,v_n}表示顶点集合，E＝{e₁,e₂,…,e_m}表示边的集合；图G的拓扑结构用邻接矩阵A表示，若节点i和节点j有连边，则A_i,j＝1，否则A_i,j＝0。

3.根据权利要求2所述的基于变分图嵌入的社区发现方法，其特征在于：所述步骤2的具体步骤如下：

步骤2-1：根据网络的邻接矩阵信息计算模块度矩阵B，其中模块度的计算方法为：

其中，M是网络中边的总数，a_ij为邻接矩阵元素，取值为1或0表示是否存在连通边，k_i为节点i的度，C为节点i的关联隶属度函数，当i和j属于同一个社区时，C＝1，否则C＝0；

步骤2-2：通过定义模块度矩阵B和引入节点社区成员向量来简化式(1)，定义模块度矩阵B＝[b_ij]为：

步骤2-3：引入矩阵Z＝[z_ij]∈R^N×K，其中每一行z_i为节点社区成员向量，K为节点社区成员向量的维数，将公式(1)简化为:

4.根据权利要求3所述的基于变分图嵌入的社区发现方法，其特征在于：所述步骤3的具体步骤如下：

根据图中的t阶邻居节点，得到邻近矩阵：

M＝(O+O²+…+O^t)/t#(4)

其中O是转移矩阵，当e_ij∈E时N_ij＝1/d_i，否则O_uj＝0；d_u为节点i的度，M_uj表示节点j到节点i的t阶的拓扑相关性；N_u表示M中i的相邻节点，如果M_uj>0，j是i的一个邻居。

5.根据权利要求4所述的基于变分图嵌入的社区发现方法，其特征在于：所述步骤4的具体步骤如下：

步骤4-1：构建变分自编码器的推理模型：

式中q(z_i|(B,A))是节点i的基于高斯族的变分近似的真实后验分布，基于高斯族的变分近似为：

步骤4-2：使用两个图神经网络μ＝GAT_μ(B,A)和logσ＝GAT_σ(B,A)作为编码器，拟合节点i的平均向量μ和标准差向量σ：

其中，表示节点i的输出表示，N_i表示节点i的邻居，α_ij是表示邻居节点j对节点i的重要性的注意系数，δ为非线性激活函数，W是可训练的权重矩阵；

注意系数表示为：

其中，

6.根据权利要求5所述的基于变分图嵌入的社区发现方法，其特征在于：所述步骤5的具体步骤如下：

步骤5-1：构建变分自编码器的生成模型，生成模型由潜在变量之间的内积给出：

其中A_ij是邻接矩阵A中的元素，δ是激活函数；

步骤5-2：将变分下界最大化，变分下界包含两项，第一项为邻接矩阵重构损失，后一项为KL散度，度量两个分布的相似性：

L＝E_q(Z|B,A)[logp(A|Z)]-KL[q(Z|B,A)||p(Z)]#(11)

其中E_q(Z|B,A)[logp(A|Z)]是交叉熵损失函数：

KL[q(·)||p(·)]是q(·)与p(·)之间的Kullback-Leibler散度：

p(Z)＝∏_iΝ(z_i|0,I)。

7.根据权利要求1所述的基于变分图嵌入的社区发现方法，其特征在于：所述步骤6的具体步骤如下：

步骤6-1：从数据中选择k个对象作为初始的聚类中心；

步骤6-2：分别计算每个聚类对象到每个聚类中心的距离，将聚类对象划分到距离最近的聚类中心的类中，分成k个簇；

步骤6-3：计算K个簇样本的平均值作新的质心；

步骤6-4：循环执行步骤6-2和6-3，直到质心位置不变，则算法停止。