CN113744072A - 一种基于深度神经网络融合拓扑和内容社团检测方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络融合拓扑和内容社团检测方法，属于复杂网络分析技术领域，该方法挖掘带有内容信息的网络数据集中社团结构，运用模块度最大化和标准化切割分别建模拓扑和内容，基于谱矩阵特征值分解、矩阵低秩拟合和自动编码器重构在理论上的相似，无缝融合拓扑和内容，以构建基于自动编码器框架深度神经网络的社团检测模型；最后使用评价算法归一化互信息熵、杰卡德系数评估模型有效性。本发明的有益效果为：利用自动编码器框架无缝融合拓扑和内容，另一方面基于深度神经网络获取的网络表征具有良好的社团检测能力。

Description

一种基于深度神经网络融合拓扑和内容社团检测方法

技术领域

本发明涉及复杂网络分析技术领域，涉及一种基于深度神经网络融合拓扑和内容社团检测方法。

背景技术

真实世界存在着大量的社交网络、通信网络等网络化数据，这些数据往往可形式化为复杂网络。检测网络中链接稠密的顶点组成的社团是复杂网络的分析领域中非常重要的任务之一。社团检测有助于发现社交网络中具有相近习惯和兴趣的用户簇，亦可预测通讯网络中用户簇的群体联系行为。一般地，复杂网络蕴含着网络拓扑和丰富的内容信息，同时内容信息也具有社团信息，可用于提高社团检测的精度。然而，现有方法大多基于人工调节拓扑与内容信息之间比重进行融合，效率不高。同时，深度神经网络已经用于诸多领域并取得不错的效果，但鲜有涉及融合拓扑与内容社团检测领域。综上所述，如何提高融合拓扑与内容信息社团检测的效率，以及拓展该类社团检测在深度神经网络研究理论，亟需一种同时改善拓扑和内容信息融合效率、借助深度神经网络的社团检测新方法。

发明内容

本发明提供了一种基于深度神经网络融合拓扑和内容社团检测方法，主要是针对社团检测中网络拓扑和顶点内容融合效率问题以及拓展深度神经网络社团检测的技术问题而提出的，本发明基于自动编码器框架的深度神经网络与矩阵低秩拟合的理论相似性，运用自动编码器对模块度最大化模型、标准化切割模型的联合优化，以实现无缝融合拓扑和内容；依靠神经网络对权重自学习，以实现拓扑与内容的比重自调节；进一步基于神经网络的深度结构，以获取具有良好表征能力的社团隶属度；对融合拓扑和顶点内容社团检测理论进行拓展。

本发明的思想为：首先，形式化描述网络拓扑的顶点之间链接、描述顶点内容信息的特征向量等数据；然后，对拓扑、内容相应转化并构建模块度最大化模型、标准化切割模型；接着，我们基于自动编码器和矩阵低秩拟合的理论相似性，运用基于自动编码器框架的深度神经网络对模块度最大化模型、标准化切割模型联合优化，构建基于深度神经网络融合网络拓扑和顶点内容的社团检测模型；最后，通过模型优化推导出模型参数，获取自动编码器的隐层表征，进行聚类，运用评价算法计算真实的社团结构和模型获取的社团结构之间近似程度，以评估模型的性能。

本发明所采用的技术方案是：一种基于深度神经网络融合拓扑和内容社团检测方法，所述方法包括以下步骤：

S1、具有顶点内容的属性网络表示为G＝(V，E，U)，其中V＝{v₁，v₂，…，v_n}表示顶点的集合，E＝{e₁，e₂，…，e_m}表示拓扑的集合，U＝{u₁，u₂，…，u_n}表示所有顶点的内容向量集合；

S2、对属性网络G的拓扑和顶点内容进行形式化；

S3、运用拓扑指示矩阵和内容指示矩阵分别建模属性网络的网络拓扑和顶点内容，分别对应该方法的模型中两个子模型实现，以及两个子模型基于等价优化转化。

S4、使用自动编码器框架将步骤S3所述的两个子模型结合为统一模型，并在真实网络数据集上验证模型有效性，使用归一化互信息熵、杰卡德系数对统一模型进行评价。

本发明提供的一种基于深度神经网络融合拓扑和内容社团检测方法进一步优化方案，所述步骤S2具体包括：

S2.1、对网络拓扑进行形式化，具体过程如下：将属性网络G形式化为邻接矩阵

其分量a_ij＝1表示顶点v_i和v_j之间存在链接，a_ij＝0表示两顶点之间无链接，接下来，邻接矩阵A形式转化为模块矩阵

其分量b_ij表示顶点v_i和v_j之间的链接强度，k_i表示顶点v_i的度，m表示G所含边的总条数，k_ik_j/2m表示两顶点之间期望边的条数。

S2.2、对顶点内容进行形式化，具体过程如下：G所有顶点内容向量集合U的特征矩阵

其中，r维向量u_i表示一个顶点v_i上的内容，然后，特征矩阵U转化为顶点之间内容的相似度矩阵

其分量q_ij表示顶点v_i和v_j的特征向量的余弦相似度。

本发明提供的一种基于深度神经网络融合拓扑和内容社团检测方法进一步优化方案，所述步骤S3具体包括：

S3.1、构建第一子模型：使用表示拓扑信息的模块度矩阵B，根据具有社团结构的属性网络G和没有社团结构的随机网络之间差异所枚举出顶点划分，以及结合Newman松弛该划分为划分到κ个社团的策略，以实现成为模块度最大化模型(Modularitymaximization)，基于拓扑信息的指示矩阵

表示顶点划分情况，tr(*)表示矩阵的迹运算，第一子模型的目标函数如下：

s.t.tr(X^TX)＝n

S3.2、构建第二子模型：使用表示内容信息的相似矩阵Q，根据属于同一社团的顶点之间相似性较高属于不同社团的顶点之间相似性较低，顶点划分过程中，基于

计算属性网络G中某社团g中所有顶点的度，以及结合松弛上述划分划分到κ个社团的策略，以实现为标准化切割模型(Normalized-cut，N-cut)，基于拓扑信息的指示矩阵

表示顶点划分情况，D＝diag(d₁，d₂，…，d_n)是对角矩阵，d_i是相似度矩阵Q 第i行元素之和，拉普拉斯矩阵L＝D–Q，I＝diag(n)为单位方阵，tr(*)表示矩阵的迹运算，第二子模型的目标函数如下：

s.t.Y^TDY＝I

S3.3、模块度最大化模型的优化是通过获取模块度矩阵B的最大的κ个特征向量以实现，可以转化为基于谱方法的模块度矩阵B特征值分解，同理，标准化切割模型的优化可以转化为拉普拉斯矩阵变形D^-1L特征值分解，其中，D^-1L＝D^-1(D–Q)＝I–D^-1Q，令P＝ D^-1Q，亦可以转化为马尔科夫矩阵P特征值分解。

本发明提供的一种基于深度神经网络融合拓扑和内容社团检测方法进一步优化方案，所述步骤S4具体包括：

根据模块度矩阵B和马尔科夫矩阵P均属于谱特征矩阵、谱矩阵的特征值分解等价与矩阵的低秩拟合、自动编码器(Autoencoder)和非负矩阵分解(一种矩阵低秩拟合)理论相似性，可以运用自动编码器框架分别实现模块度最大化模型、标准化切割模型，具体的基于的拓扑信息、内容信息的目标函数为：

其中，B’和P’分别表示B和P的重构矩阵，b_i和p_i分别表示矩阵B和P第i列向量，非线性映射函数

或

表示自动编码器中的参数，W和 W’表示权重矩阵，ε和ε′表示偏移向量。

接下来，采用正交分解B′＝XΣ_BX^T和P′＝YΣ_PY^T转化上述目标函数为：

设计一个联合矩阵Z＝[B,P]^T，将步骤S3中基于拓扑信息的第一子模型O₁(X)、基于内容信息的第二子模型O₂(Y)进行无缝融合，拟合联合矩阵Z的目标函数为：

基于非负矩阵分解角度，令Z’＝LH，拟合联合矩阵Z的目标函数亦可：

使用自动编码器框架实现上述基于非负矩阵分解拟合联合矩阵Z，该模型框架无缝融合拓扑和内容信息，最终统一模型的目标函数为：

其中，Z’分别表示Z的重构矩阵，z_i表示矩阵Z第i列向量，基于目标函数最小化，基于自动编码器的模型参数δ更新，直至目标函数的值达到收敛，基于自动编码器的模型的隐层表征，即表征矩阵H，即顶点的社团隶属度矩阵，基于社团隶属度矩阵H聚类以进行社团检测。

与现有技术相比，本发明的有益效果为：本发明一方面利用自动编码器与矩阵低秩拟合的理论相似性，无缝融合网络拓扑和顶点内容；另一方面运用自动编码器框架的深度神经网络的权重自学习能力自动调节这两种信息的比重；同时基于自动编码器框架的神经网络结构增强了社团隶属度的表征社团的能力，提高了融合拓扑与内容社团检测的质量。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明基于深度神经网络融合拓扑和内容社团检测方法的整体流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

参见图1、表1和表2，本发明提供其技术方案为，一种基于深度神经网络融合拓扑和内容社团检测方法，

(1)、获取数据集社团信息。使用公共数据集获取社团信息，社团信息G＝(V，E，U)：V＝{v₁，v₂，…，v_n}是顶点集合，E＝{e₁，e₂，…，e_m}是链接集合，U＝{u₁，u₂，…，u_n}是所有顶点的内容向量集合，κ是社团个数，本发明基于深度神经网络融合拓扑和内容社团检测方法的实验数据集如表1所示。

其中，Citeseer是一个引文网络，由6个子领域的3312篇科学出版物组成，涉及4732 条引文关系，WebKB网络由4个子网络组成，这些子网络数据分别是从Texas、Washington、 Wisconsin四所大学收集而来的网页网路，带有1703维的单词属性，均包含5个社团。

表1实验数据信息

(2)、根据(1)中获取拓扑信息、顶点的内容步骤如下：

根据表1中数据，将属性网络G形式化为邻接矩阵

其分量a_ij＝1表示顶点v_i和v_j之间存在链接，否则亦然，接下来，邻接矩阵A形式转化为模块矩阵

G所有顶点内容向量集合U的特征矩阵

其中，r维向量u_i表示一个顶点v_i上的内容，然后，特征矩阵U转化为顶点之间内容的相似度矩阵

进一步构建马尔科夫矩阵P＝D^-1Q。

(3)、运用网络拓扑和顶点内容分别构建第一子模型和第二子模型，根据模块度矩阵B 和马尔科夫矩阵P均属于谱特征矩阵、谱矩阵的特征值分解等价与矩阵的低秩拟合、自动编码器(Autoencoder)和非负矩阵分解(一种矩阵低秩拟合)理论相似性，使用自动编码器框架的深度神经网络将两个子模型统一为最终的模型，得到目标函数为：

最终模型的目标函中联合矩阵Z包含模块度矩阵B和马尔科夫矩阵P。

(4)、基于自动编码器框架的梯度下降法，对模型参数δ不断更新，直至其达到收敛后得到表征矩阵H，最终获知所有顶点的社团归属。

(5)、使用归一化互信息熵(NMI)、杰卡德系数(Jaccard)作为模型的评估指标，它们取值范围[0，1]，值越大表示模型检测的社团越准确，基于真实社团划分C^*和检测所得社团划分

矩阵C中分量c_ij表示同时属于划分C^*中第i组和属于划分

中第j组的顶点个数，划分C^*(或

)包含c_C*(或

)个社团，NMI具体表达式如下：

杰卡德系数(Jaccard score)具体表达式如下：

公式中，π₁、π₂、…、π₁描述的是从由划分C^*和

共同定义的最小独立置换族随机衍生出的τ置换，IdenF(*)表示识别函数。

(6)、本实验将所提出的模型在五个公共数据集上进行测试，本发明基于深度神经网络融合拓扑和内容社团检测方法的实验结果如表2所示：

表2基于公共数据集的测试结果

从表2分析可以看出，本发明提出的方法在4个具有内容信息和拓扑信息的公共数据 集上进行模型有效性验证，同时计算了该方法在不同数据集上基于标准互信息熵(NMI)、 杰卡德系数(Jaccard score)的平均值。在数据集Citeseer、Texas上，基于NMI计算，该 方法获得的社团划分和数据集的真实社团划分相似度分别为36.42、37.20，均超过了平均水 平34.84。在数据集Texas、Washington上，基于Jaccard计算，该方法获得的社团划分和数 据集的真实社团划分相似度分别为33.88、39.89，均超过了平均水平32.42。虽然该方法在 数据集Washington上基于NMI表现为31.50，在数据集Citeseer上基于Jaccard表现仅为 24.89。本发明提出的方法基于深度神经网络融合网络拓扑和内容信息检测真实数据集中社 团结构具有良好的竞争力。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于深度神经网络融合拓扑和内容的社团检测方法，其特征在于，所述社团检测方法包括以下步骤：

S1、具有顶点内容的属性网络表示为G＝(V，E，U)，其中V＝{v₁，v₂，…，v_n}表示顶点的集合，E＝{e₁，e₂，…，e_m}表示拓扑的集合，U＝{u₁，u₂，…，u_n}表示所有顶点的内容向量集合；

S2、对属性网络G的拓扑和顶点内容进行形式化；

S3、运用拓扑指示矩阵和内容指示矩阵分别建模属性网络的网络拓扑和顶点内容，分别对应该方法的模型中两个子模型实现，以及两个子模型基于等价优化转化；

S4、使用自动编码器框架将步骤S3所述的两个子模型结合为统一模型，并在真实网络数据集上验证模型有效性，使用归一化互信息熵、杰卡德系数对统一模型进行评价。

2.根据权利要求1所述的基于深度神经网络融合拓扑和内容社团检测方法，其特征在于，所述步骤S2具体包括以下步骤：

S2.1、对网络拓扑进行形式化，具体过程如下：将属性网络G形式化为邻接矩阵

其分量a_ij＝1表示顶点v_i和v_j之间存在链接，a_ij＝0表示两顶点之间无链接，接下来，邻接矩阵A形式转化为模块矩阵

其分量b_ij表示顶点v_i和v_j之间的链接强度，k_i表示顶点v_i的度，m表示G所含边的总条数，k_ik_j/2m表示两顶点之间期望边的条数；

S2.2、对顶点内容进行形式化，具体过程如下：G所有顶点内容向量集合U的特征矩阵

其中，r维向量u_i表示一个顶点v_i上的内容，然后，特征矩阵U转化为顶点之间内容的相似度矩阵

其分量q_ij表示顶点v_i和v_j的特征向量的余弦相似度。

3.根据权利要求1所述的基于深度神经网络融合拓扑和内容社团检测方法，其特征在于，所述步骤S3具体包括以下步骤：

S3.1、构建第一子模型：使用表示拓扑信息的模块度矩阵B，根据具有社团结构的属性网络G和没有社团结构的随机网络之间差异所枚举出顶点划分，以及结合Newman松弛该划分为划分到κ个社团的策略，以实现成为模块度最大化模型，基于拓扑信息的指示矩阵

表示顶点划分情况，tr(*)表示矩阵的迹运算，第一子模型的目标函数如下：

s.t.tr(X^TX)＝n

S3.2、构建第二子模型：使用表示内容信息的相似矩阵Q，根据属于同一社团的顶点之间相似性较高属于不同社团的顶点之间相似性较低，顶点划分过程中，基于vol(g)＝Σ_vi∈κq_ij计算属性网络G中某社团g中所有顶点的度，以及结合松弛上述划分划分到κ个社团的策略，以实现为标准化切割模型，基于拓扑信息的指示矩阵

表示顶点划分情况，D＝diag(d₁，d₂，…，d_n)是对角矩阵，d_i是相似度矩阵Q第i行元素之和，拉普拉斯矩阵L＝D–Q，I＝diag(n)为单位方阵，tr(*)表示矩阵的迹运算，第二子模型的目标函数如下：

s.t.Y^TDY＝I

S3.3、模块度最大化模型的优化是通过获取模块度矩阵B的最大的κ个特征向量以实现，可以转化为基于谱方法的模块度矩阵B特征值分解，同理，标准化切割模型的优化可以转化为拉普拉斯矩阵变形D^-1L特征值分解，其中，D^-1L＝D^-1(D–Q)＝I–D^-1Q，令P＝D^-1Q，亦可以转化为马尔科夫矩阵P特征值分解。

4.根据权利要求1所述的基于深度神经网络融合拓扑和内容社团检测方法，其特征在于，所述步骤S4具体包括以下步骤：

根据模块度矩阵B和马尔科夫矩阵P均属于谱特征矩阵、谱矩阵的特征值分解等价与矩阵的低秩拟合、自动编码器和非负矩阵分解理论相似性，可以运用自动编码器框架分别实现模块度最大化模型、标准化切割模型，具体的基于的拓扑信息、内容信息的目标函数为：

其中，B’和P’分别表示B和P的重构矩阵，b_i和p_i分别表示矩阵B和P第i列向量，非线性映射函数

或

表示自动编码器中的参数，W和W’表示权重矩阵，ε和ε′表示偏移向量；

采用正交分解B′＝XΣ_BX^T和P′＝YΣ_PY^T转化上述目标函数为：

设计一个联合矩阵Z＝[B,P]^T，将步骤S3中基于拓扑信息的第一子模型O₁(X)、基于内容信息的第二子模型O₂(Y)进行无缝融合，拟合联合矩阵Z的目标函数为：

基于非负矩阵分解角度，令Z’＝LH，拟合联合矩阵Z的目标函数亦可：

使用自动编码器框架实现上述基于非负矩阵分解拟合联合矩阵Z，该模型框架无缝融合拓扑和内容信息，最终统一模型的目标函数为：

其中，Z’分别表示Z的重构矩阵，z_i表示矩阵Z第i列向量，基于目标函数最小化，基于自动编码器的模型参数δ更新，直至目标函数的值达到收敛，基于自动编码器的模型的隐层表征，即表征矩阵H，即顶点的社团隶属度矩阵，基于社团隶属度矩阵H聚类以进行社团检测。

Images