CN111985086B - 一种融合先验信息和稀疏约束的社团检测方法 - Google Patents

一种融合先验信息和稀疏约束的社团检测方法 Download PDF

Info

Publication number
CN111985086B
CN111985086B CN202010721930.1A CN202010721930A CN111985086B CN 111985086 B CN111985086 B CN 111985086B CN 202010721930 A CN202010721930 A CN 202010721930A CN 111985086 B CN111985086 B CN 111985086B
Authority
CN
China
Prior art keywords
matrix
node
network
community
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010721930.1A
Other languages
English (en)
Other versions
CN111985086A (zh
Inventor
王彬
丁翠
刘光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010721930.1A priority Critical patent/CN111985086B/zh
Publication of CN111985086A publication Critical patent/CN111985086A/zh
Application granted granted Critical
Publication of CN111985086B publication Critical patent/CN111985086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/04Constraint-based CAD

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开的一种融合先验信息和稀疏约束的社团检测方法,步骤包括:1)获取相关的人工网络和实际网络数据集,求解网络相应的邻接矩阵Vij;2)获取网络中相关节点的Must‑link先验信息,构建矩阵Mij作为节点间的Must‑link关系矩阵;3)将Must‑link先验信息融合到非负矩阵分解(NMF)模型中,构建新的社团检测模型;4)对迭代求解后的节点划分矩阵进行组稀疏约束;5)最后根据类重表示矩阵进行网络社团结构检测,得到最终的社团划分结果。本发明提出的社团检测方法,不仅考虑到Must‑link这一先验信息,而且也考虑了节点划分矩阵的稀疏性,在人工网络和真实网络数据集上都取得了良好的表现效果。

Description

一种融合先验信息和稀疏约束的社团检测方法
技术领域
本发明属于复杂网络社团检测技术领域,具体涉及一种融合先验信息和稀疏约束的社团检测方法。
背景技术
随着信息技术的日新月异,越来越多的网络出现在我们的日常生活中,如社交网络、因特网、电信网、文献引用网、疾病关系网和蛋白质相互作用网,从而吸引了越来越多的研究者对网络的运行机理进行研究。研究发现,网络中存在一些链接比较紧密的社团结构(也称为模块)而社团结构之间的链接关系却相对比较稀疏,网络的这种性质被称为模块性。社团检测的研究有助于帮助我们更好的去理解网络的全局运作机制。
目前大多数研究只是根据网络的拓扑结构去检测社团,由于现实生活中的网络的连边数量是相对比较少的并且其中还存在一些错误的连边,因此只是根据连边信息进行社团结构检测往往不能得到准确的社团划分结果。研究表明将一些先验信息同网络的拓扑结构相结合可以更加准确的去发掘网络中隐含的社区结构。
发明内容
本发明的目的在于提供一种融合先验信息和稀疏约束的社团检测方法,解决了现有大多数社团检测方法检测精度较低的问题。
本发明所采用的技术方案是:一种融合先验信息和稀疏约束的社团检测方法,包括以下步骤:
步骤1、获取相关的人工网络和实际网络数据集,求解网络相应的邻接矩阵Vij
步骤2、获取网络中相关节点的Must-link先验信息,构建矩阵Mij作为节点间的Must-link关系矩阵;
步骤3、将Must-link先验信息融合到非负矩阵分解模型中,构建新的社团检测模型;
步骤4、对迭代求解后的节点划分矩阵进行组稀疏约束;
步骤5、根据类重表示矩阵进行网络社团结构检测,得到最终的社团划分结果。
本发明的特点还在于,
步骤1中求解网络相应的邻接矩阵Vij的具体步骤为:
步骤1.1、求出网络数据集的最大值n,构建一个n×n的初始矩阵V;
步骤1.2、根据以下公式(1)对初始矩阵V进行赋值,得到网络的邻接矩阵Vij
式(1)中,E表示网络中的边,vi,vj表示节点i和j。
步骤2中Must-link关系矩阵Mij的具体构建过程为:
如果网络中节点i和节点j具有Must-link这一关系,也表示节点i和节点j必须属于同一个社团,因此节点间的Must-link关系矩阵Mij可通过以下公式(2)进行定义:
步骤3具体为:
步骤3.1、使用欧氏距离来衡量节点i和节点j之间的相似程度,表示如以下公式(3)所示:
式(3)中hi,hj分别代表节点i和节点j的相似向量,sim(hi,hj)代表节点i和节点j的欧氏距离;
步骤3.2、使用NMF模型对邻接矩阵Vij进行分解,得到基矩阵W和划分矩阵H;
步骤3.3、根据步骤2求得的Must-link关系矩阵Mij和步骤3.2求得的划分矩阵H得到先验信息的计算公式,如以下公式(4)所示:
式(4)中,Tr代表矩阵的迹,矩阵D代表Must-link关系矩阵Mij的对角矩阵,其定义如下公式(5):
矩阵L=D-M,是矩阵M的拉普拉斯矩阵;
步骤3.4、将步骤3.3得到的先验信息融合到NMF模型中,形成新的社团检测模型,如以下公式(6)所示:
式(6)中,λ是用来平衡先验信息和网络拓扑结构的参数,代表求解矩阵的F2范数,Tr代表求解矩阵的迹;
步骤3.5、对公式(6)所示的模型进行求解,得到W和H的迭代公式,W的迭代公式如公式(7)所示,H的迭代公式如公式(8)所示;
步骤3.6、按照公式(7)和公式(8)对模型进行迭代求解,直到达到迭代终止条件,求出最终的节点划分矩阵H”。
步骤4具体为:
采用L1/L2范数对节点划分矩阵H”进行稀疏化处理,其L1/L2范数定义如下公式(9)所示:
式(9)中,l为向量a的长度,若s(a)的值设置为0,则向量a没有进行稀疏化处理;若s(a)的值设置为1,则向量a进行了完全稀疏化处理,即向量a中只保留了一个非零元素,其它元素全部为零。
步骤5中进行网络社团结构检测的具体过程为:节点划分矩阵H”是节点的新表示矩阵,同时该矩阵也为节点的社团隶属矩阵,即社团中的某一列代表一个节点,那么该列中最大值所在的行即为该节点的类标,然后将这个类标指派给该节点,从而完成社团划分。
本发明的有益效果是:本发明一种融合先验信息和稀疏约束的社团检测方法,在考虑到Must-link这一先验信息的同时还考虑了节点划分矩阵的稀疏性,在人工数据网络和实际网络的实验中,都取得了良好的表现效果,显著提高了检测精度。
附图说明
图1是本发明一种融合先验信息和稀疏约束的社团检测方法的流程图;
图2是本发明一种融合先验信息和稀疏约束的社团检测方法中将先验信息融合到NMF的总模型图;
图3是本发明一种融合先验信息和稀疏约束的社团检测方法在LFR网络上和其他现有方法的NMI指标对比图;
图4是本发明一种融合先验信息和稀疏约束的社团检测方法在GN8网络上和其他现有方法的NMI指标对比图。
具体实施方式
下面结合附图以及具体实施方式对本发明进行详细说明。
本发明提供了一种融合先验信息和稀疏约束的社团检测方法,如图1所示,首先得到网络的邻接矩阵Vij和节点间的Must-link关系矩阵Mij,然后将Must-link先验信息融合到NMF模型中,具体融合过程如图2所示;之后对迭代求解后的节点划分矩阵进行组稀疏约束,得到节点的类重表示矩阵,最后根据类重表示矩阵进行网络社团结构检测,得到最终的社团划分结果,具体按照以下步骤实施:
步骤1、获取相关的人工网络和实际网络数据集,求解网络相应的邻接矩阵Vij;求解网络相应的邻接矩阵Vij的具体步骤为:
步骤1.1、求出网络数据集的最大值n,构建一个n×n的初始矩阵V;
步骤1.2、根据以下公式(1)对初始矩阵V进行赋值,得到网络的邻接矩阵Vij
其中,E表示网络中的边,vi,vj表示节点i和j。
步骤2、获取网络中相关节点的Must-link先验信息,构建矩阵Mij作为节点间的Must-link关系矩阵;节点间的Must-link关系矩阵Mij的具体构建过程为:如果网络中节点i和节点j具有Must-link这一关系,也表示节点i和节点j必须属于同一个社团,因此节点间的Must-link关系矩阵Mij可通过以下公式(2)进行定义:
步骤3、将Must-link先验信息融合到非负矩阵分解(NMF)模型中,构建新的社团检测模型,具体为:
步骤3.1、使用欧氏距离来衡量节点i和节点j之间的相似程度,表示如以下公式(3)所示;
式(3)中hi,hj分别代表节点i和节点j的相似向量,sim(hi,hj)代表节点i和节点j的欧氏距离;
步骤3.2、使用NMF模型对邻接矩阵Vij进行分解,得到基矩阵W和划分矩阵H;
步骤3.3、根据步骤2求得的Must-link关系矩阵Mij和步骤3.2求得的划分矩阵H得到先验信息的计算公式,如以下公式(4)所示;
其中,Tr代表矩阵的迹,矩阵D代表Must-link关系矩阵Mij的对角矩阵,其定义如下公式(5):
矩阵L=D-M,是矩阵M的拉普拉斯矩阵;
步骤3.4、将步骤3.3得到的先验信息融合到NMF模型中,形成新的社团检测模型,如以下公式(6)所示;
其中,λ是用来平衡先验信息和网络拓扑结构的参数,代表求解矩阵的F2范数,Tr代表求解矩阵的迹;
步骤3.5、对公式(6)所示的模型进行求解,得到W和H的迭代公式;W的迭代公式如公式(7)所示;H的迭代公式如公式(8)所示:
步骤3.6、按照公式(7)和(8)对模型进行迭代求解,直到达到迭代终止条件,求出最终的节点划分矩阵H”。
步骤4、对迭代求解后的节点划分矩阵进行组稀疏约束;本发明采用L1/L2范数对节点划分矩阵H”进行稀疏化处理,其L1/L2范数定义如下公式(9)所示:
其中l为向量a的长度;若s(a)的值设置为0,则向量a没有进行稀疏化处理;然而若s(a)的值设置为1,则向量a进行了完全稀疏化处理,即向量a中只保留了一个非零元素,其它元素全部为零。
步骤5、最后根据类重表示矩阵进行网络社团结构检测,得到最终的社团划分结果;进行网络社团结构检测的具体过程为:节点划分矩阵H”是节点的新表示矩阵,同时该矩阵也可以描述为节点的社团隶属矩阵,即社团中的某一列代表一个节点,那么该列中最大值所在的行即为该节点的类标,然后将这个类标指派给该节点,从而完成社团划分。
通过上述方式,本发明一种融合先验信息和稀疏约束的社团检测方法,在考虑到Must-link这一先验信息的同时还考虑了节点划分矩阵的稀疏性,在人工数据网络和实际网络的实验中,都取得了良好的表现效果,显著提高了检测精度。
实施例
第一、实验准备
我们在两种人工网络上对本发明所提出的社团检测方法进行测试。第一种是LFR网络,网络节点个数1000,社团个数20,网络混合参数0.2,社团规模最大是50最小是10,该网络社团结构比较明显。第二种是GN网络,该网络具有128个节点,4个社区,每个节点平均有16条边即Zin+Zout=16,其中Zin代表该节点与社团内部节点的连边,Zout代表与不属于该社团的节点的连边;研究表明当Zout>6时,网络中的社团结构已经模糊了,只是根据拓扑结构很难精确检测到社团信息,本发明选择Zout=8的模糊网络GN8作为测试网络。
第二、验证对比
1)不同方法在LFR网络上社团检测结果的准确度;
表1 LFR网络中不同社团检测方法在不同比率先验信息下社团划分结果
表1列出了在LFR网络中几种社团检测方法在不同比率先验信息下社团划分结果的准确性,图3展示了几种社团检测方法在不同比率先验信息下的NMI值,横坐标为先验信息比率,纵坐标为NMI。结果表明,本发明提出的社团检测模型(NMFMSC模型)在社团结构明显的LFR网络上在没有先验信息的情况下无论是准确率还是NMI都取得了最好的结果。
2)不同方法在GN8网络上社团检测结果的准确度;
表2 GN8网络中不同社团检测方法在不同比率先验信息下社团划分结果
表2列出了在GN8网络中几种对比方法在不同比率先验信息下社团划分结果的准确性,图4是几种对比方法的NMI结果图。结果表明,本发明提出的社团检测模型(NMFMSC模型)在社团结构不明显的GN8网络上,随着先验信息的不断增加,准确率和NMI的值都随之增长,并且在少量的先验信息情况下就达到了最优的划分结果。

Claims (3)

1.一种融合先验信息和稀疏约束的社团检测方法,其特征在于,包括以下步骤:
步骤1、获取相关的人工网络和实际网络数据集,求解网络相应的邻接矩阵Vij;具体步骤为:
步骤1.1、求出网络数据集的最大值n,构建一个n×n的初始矩阵V;
步骤1.2、根据以下公式(1)对初始矩阵V进行赋值,得到网络的邻接矩阵Vij
式(1)中,E表示网络中的边,vi,vj表示节点i和j;
步骤2、获取网络中相关节点的Must-link先验信息,构建矩阵Mij作为节点间的Must-link关系矩阵;具体构建过程为:
如果网络中节点i和节点j具有Must-link这一关系,也表示节点i和节点j必须属于同一个社团,因此节点间的Must-link关系矩阵Mij可通过以下公式(2)进行定义:
步骤3、将Must-link先验信息融合到非负矩阵分解模型中,构建新的社团检测模型;具体为:
步骤3.1、使用欧氏距离来衡量节点i和节点j之间的相似程度,表示如以下公式(3)所示:
式(3)中hi,hj分别代表节点i和节点j的相似向量,sim(hi,hj)代表节点i和节点j的欧氏距离;
步骤3.2、使用NMF模型对邻接矩阵Vij进行分解,得到基矩阵W和划分矩阵H;
步骤3.3、根据步骤2求得的Must-link关系矩阵Mij和步骤3.2求得的划分矩阵H得到先验信息的计算公式,如以下公式(4)所示:
式(4)中,Tr代表矩阵的迹,矩阵D代表Must-link关系矩阵Mij的对角矩阵,其定义如下公式(5):
矩阵L=D-M,是矩阵M的拉普拉斯矩阵;
步骤3.4、将步骤3.3得到的先验信息融合到NMF模型中,形成新的社团检测模型,如以下公式(6)所示:
式(6)中,λ是用来平衡先验信息和网络拓扑结构的参数,代表求解矩阵的F2范数,Tr代表求解矩阵的迹;
步骤3.5、对公式(6)所示的模型进行求解,得到W和H的迭代公式,W的迭代公式如公式(7)所示,H的迭代公式如公式(8)所示;
步骤3.6、按照公式(7)和公式(8)对模型进行迭代求解,直到达到迭代终止条件,求出最终的节点划分矩阵H”;
步骤4、对迭代求解后的节点划分矩阵进行组稀疏约束;
步骤5、根据类重表示矩阵进行网络社团结构检测,得到最终的社团划分结果。
2.如权利要求1所述的一种融合先验信息和稀疏约束的社团检测方法,其特征在于,所述步骤4具体为:
采用L1/L2范数对节点划分矩阵H”进行稀疏化处理,其L1/L2范数定义如下公式(9)所示:
式(9)中,l为向量a的长度,若s(a)的值设置为0,则向量a没有进行稀疏化处理;若s(a)的值设置为1,则向量a进行了完全稀疏化处理,即向量a中只保留了一个非零元素,其它元素全部为零。
3.如权利要求1所述的一种融合先验信息和稀疏约束的社团检测方法,其特征在于,所述步骤5中进行网络社团结构检测的具体过程为:节点划分矩阵H”是节点的新表示矩阵,同时该矩阵也为节点的社团隶属矩阵,即社团中的某一列代表一个节点,那么该列中最大值所在的行即为该节点的类标,然后将这个类标指派给该节点,从而完成社团划分。
CN202010721930.1A 2020-07-24 2020-07-24 一种融合先验信息和稀疏约束的社团检测方法 Active CN111985086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010721930.1A CN111985086B (zh) 2020-07-24 2020-07-24 一种融合先验信息和稀疏约束的社团检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010721930.1A CN111985086B (zh) 2020-07-24 2020-07-24 一种融合先验信息和稀疏约束的社团检测方法

Publications (2)

Publication Number Publication Date
CN111985086A CN111985086A (zh) 2020-11-24
CN111985086B true CN111985086B (zh) 2024-04-09

Family

ID=73438833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010721930.1A Active CN111985086B (zh) 2020-07-24 2020-07-24 一种融合先验信息和稀疏约束的社团检测方法

Country Status (1)

Country Link
CN (1) CN111985086B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434815A (zh) * 2021-07-02 2021-09-24 中国计量大学 基于相似与相异约束半监督非负矩阵分解的社区检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544278A (zh) * 2013-10-22 2014-01-29 北京奇虎科技有限公司 确定网站抓取流量配额的方法及设备
CN106415552A (zh) * 2014-06-17 2017-02-15 云发明M·L·有限公司 用于确定具有一实体集合并满足一组约束集合的模型的配置的方法和系统
CN108133272A (zh) * 2018-01-15 2018-06-08 大连民族大学 一种复杂网络社区检测的方法
CN109086312A (zh) * 2018-06-26 2018-12-25 湘潭大学 一种区域综合能源系统多能流网络的数据表示方法及系统
CN109102477A (zh) * 2018-08-31 2018-12-28 哈尔滨工业大学 一种基于非凸低秩稀疏约束的高光谱遥感图像恢复方法
CN109740039A (zh) * 2019-01-11 2019-05-10 西南大学 基于栈式自编码器的动态网络社团结构识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544278A (zh) * 2013-10-22 2014-01-29 北京奇虎科技有限公司 确定网站抓取流量配额的方法及设备
CN106415552A (zh) * 2014-06-17 2017-02-15 云发明M·L·有限公司 用于确定具有一实体集合并满足一组约束集合的模型的配置的方法和系统
CN108133272A (zh) * 2018-01-15 2018-06-08 大连民族大学 一种复杂网络社区检测的方法
CN109086312A (zh) * 2018-06-26 2018-12-25 湘潭大学 一种区域综合能源系统多能流网络的数据表示方法及系统
CN109102477A (zh) * 2018-08-31 2018-12-28 哈尔滨工业大学 一种基于非凸低秩稀疏约束的高光谱遥感图像恢复方法
CN109740039A (zh) * 2019-01-11 2019-05-10 西南大学 基于栈式自编码器的动态网络社团结构识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于网络结构极值优化的半监督社团检测方法;杜梅;胡学钢;李磊;何伟;;模式识别与人工智能;20150215(第02期);全文 *
重加权稀疏和全变差约束下的深度非负矩阵分解高光谱解混;祝伟;王雪;黄岩;杜培军;谭琨;;遥感学报;20200425(第04期);全文 *

Also Published As

Publication number Publication date
CN111985086A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN110532436B (zh) 基于社区结构的跨社交网络用户身份识别方法
Chandrasekhar et al. Tractable and consistent random graph models
Hoff et al. Latent space approaches to social network analysis
Zhang et al. Uncovering fuzzy community structure in complex networks
CN104102745B (zh) 基于局部最小边的复杂网络社团挖掘方法
US7644146B2 (en) System and method for discovering communities in networks
US11288805B2 (en) Verifying and/or improving the consistency of labels within the scope of medical image processing
CN113505239B (zh) 一种结合图注意力和属性聚类的实体对齐方法
CN109039721B (zh) 基于误差重构的节点重要性评估方法
CN111985086B (zh) 一种融合先验信息和稀疏约束的社团检测方法
CN111723257A (zh) 基于用水规律的用户画像方法与系统
CN112182306B (zh) 一种基于不确定图的社区发现方法
CN111488498A (zh) 基于图神经网络的“节点-图”跨层图匹配方法及系统
Cheng et al. Neighbor similarity based agglomerative method for community detection in networks
CN115456093A (zh) 一种基于注意力图神经网络的高性能图聚类方法
CN110830291B (zh) 一种基于元路径的异质信息网络的节点分类方法
CN115169501A (zh) 基于公共邻居节点聚类熵紧密相似性的社区检测方法
Chen et al. LSGNN: towards general graph neural network in node classification by local similarity
Ronald Distance functions for order-based encodings
CN109885797B (zh) 一种基于多身份空间映射的关系网络构建方法
Domingues et al. City motifs as revealed by similarity between hierarchical features
CN108765472B (zh) 基于稀疏有向图的图像集配准方法
CN109299291A (zh) 一种基于卷积神经网络的问答社区标签推荐方法
Lai et al. Learning overlapping communities in complex networks via non-negative matrix factorization
CN114529096A (zh) 基于三元闭包图嵌入的社交网络链路预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant