CN109859065A - 基于谱聚类的多目标复杂网络社区发现方法 - Google Patents
基于谱聚类的多目标复杂网络社区发现方法 Download PDFInfo
- Publication number
- CN109859065A CN109859065A CN201910148450.8A CN201910148450A CN109859065A CN 109859065 A CN109859065 A CN 109859065A CN 201910148450 A CN201910148450 A CN 201910148450A CN 109859065 A CN109859065 A CN 109859065A
- Authority
- CN
- China
- Prior art keywords
- community
- node
- complex network
- population
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种基于谱聚类的多目标复杂网络社区发现方法,该方法将社区划分问题转化为多目标问题,首先构造社团内部联系比例(KKM)和社团外部联系比例(RC)两个目标函数,KKM关于社团个数的减函数,RC是关于社团数目的增函数。两个函数可以起到相互制约的作用,可以更好的让多目标优化算法搜索到更好的解。而采用能在任意形状的样本空间上聚类等优点的谱聚类对种群中的个体进行划分,决定其是否属于候选重叠节点集,使得在一些结构未知且边信息缺失的复杂网络数据集中也能较为准确的找到候选重叠节点,在离散编码中用‑1,0和0向量将重叠节点和非重叠节点进行混合编码,为多目标优化算法提供较好的初始种群,从而更准确的发现重叠社区结构。
Description
技术领域
本发明属于复杂网络社区发现方法的技术领域,具体是引入谱聚类改进多目标复杂网络社区发现算法中种群划分的一种新方法,是一个使用计算机技术,多目标复杂网络社区算法,谱聚类等方法实现的关于复杂网络社区结构发现的方法。
背景技术
复杂网络随着社会进步和科技发展,其复杂程度以及规模都日渐庞大,这就需要更好的方法去处理这些数据,以便为生活提供方便,例如:在社会网络中同一个圈子中的朋友们有着类似的经历或者爱好,因此对于朋友很少的人来说,推荐相同爱好的朋友,可以更方便的交友和更好的处理人际关系。而数据的庞大促使人们使用更优秀的算法去解决,研究人员将多目标优化算法应用到复杂网络中,但数据越加庞大复杂,也让解决多个优化目标下的社区发现问题也越来越重要。优化目标的增加也会降低算法的效率,现有的算法在真实划分社区数未知的复杂网络问题也略显不足。
发明内容
针对现有多目标复杂网络社区发现方法在种群划分中,将真实划分社区数不明,边的信息运用不足的问题,提出了一种基于谱聚类的多目标复杂网络社区发现方法。
本发明的技术方案:
针对上述问题,提出了可以在任意形状的样本空间上聚类的谱聚类算法对种群进行划分,从而保证在利用多目标优化算法去处理大规模的复杂网络数据时,种群划分能够更为准确,为后续的多目标优化算法提供较好的初始种群,保证种群在进化中不会受到较多非重叠节点的干扰,保持种群的进化方向。多目标优化算法得到的结果越好,解码后得到的社区发现的精度就越高。
基于谱聚类的多目标复杂网络社区发现方法,其特征包括以下步骤:
步骤1,找到复杂网络中的重叠节点并进行种群划分,通过谱聚类算法将复杂网络问题转化为图问题,针对重叠节点属于多个连接稀疏的社团这个特性,通过下面计算就可找到候选重叠节点。1)通过计算节点两两之间的相似度,将和较多节点相似的节点找出来,2)将其划分到一个社区中,并确定其为候选重叠节点。
谱聚类算法的基本思想是谱图理论,可将聚类问题看成一个图分割问题,其本质是利用拉普拉斯矩阵的特征向量进行聚类。
1)通过数据样本集构建无向加权图G,用种群中的个体表示网络中的节点,个体间的相似度为网络中的边权,设种群规模为m
2)计算m*m的相似度矩阵S
3)计算度矩阵D
取矩阵S中每一列元素之和为矩阵D对角线上的元素,其他位置为0得到D
4)计算拉普拉斯矩阵L=D-1L=D-1(D-W)
5)计算L的特征值,将特征值从小到大排序,取前k个特征值,并计算前k个特征值的特征向量,将k个列向量组成矩阵U={u1,u2,...,uk}
6)令yi∈Rk是U的第i行的向量,其中i=1,2,...,n;使用k-means算法将新样本点Y={y1,y2,...,yn}聚类,聚类结果中每一行所属的类别即为种群中相应个体所属的类别。
步骤2,粒子群初始化:找到的候选重叠节点的复杂网络数据集进行混合编码,候选重叠节点采用-1和0的离散编码,非重叠节点采用0向量的向量编码。
步骤3,历史最优粒子群初始化:初始时历史只有当前一代,因此,历史最优粒子群Pbest等于初始化得到的粒子群P。
步骤4,参考点初始化:计算粒子群P中所有粒子的两个目标函数KKM和RC,取pop个RC和KKM最小的值m、n。因此参考点为Z=(m,n)。
步骤5,粒子群粒子子代的产生:首先定义粒子位置和粒子的速度,其次确定粒子的速度更新策略,粒子的位置更新策略取决于速度更新策略。
步骤6,计算目标函数值,
本文的将改进的社区内部联系比例(KKM)和社区外部联系比例(RC)作为目标函数,公式如下
其中,k为划分社区的数目,n为网络的点数n,i∈{1,2,...m},Vi是社区i内部所有节点集合,是社区i外部连接节点集合,|Vi|是社区i内部节点的个数,L(Vi,Vi)为社区i内的边数,为社区i与外部连接节点的边数。
步骤7,适应度函数的选取:
Newman网络模块度函数的提出,将复杂网络挖掘问题转化为一种优化问题,优化的目标就是模块度函数Q,模块度Q值仅仅只能评价非重叠社区结构的好坏,无法准确地评价重叠社区划分的好坏,而Qov作为扩展的模块度函数可以衡量重叠社区划分好坏。
扩展的模块度函数Qov的表达式如下:
其中,Aw为邻接矩阵中的元素,Ci代表网络划分中某社区的点集合,m是整个网络的边数,Ov指节点V所属社区的个数,kv表示得到是节点v的度数。若Aw等于1,则表示节点v和节点w相连,当其值为0时,表示节点之间无边相连。
步骤8,解码最优解集。
附图说明
图1是本发明实施例的具体步骤流程图;
图2是本发明采用的谱聚类划分种群操作流程图;
具体实施方式:
下面结合附图对本发明的具体实施方式进行详细的说明。
图1为基于谱聚类的多目标复杂网络社区发现方法流程图,该方法包括以下步骤:
步骤一,利用谱聚类算法找到网络中的候选重叠节点划分种群。
步骤二,初始化粒子群。
步骤三,初始化历史最优粒子群、参考点。
步骤四,产生子代,计算目标函数,
步骤五,通过与历史最优比对,进行粒子速度、位置更新。
步骤六,达到最大迭代次数。得到最优解集
步骤七,解码。
本发明实验采用的数据集是由http://networkrepository.com/index.php上公布的dolphin、football、jazz、PPI复杂网络数据集。各个网络的信息描述如表1所示。
表1真实网络的信息
节点数 | 边数 | 节点度方差 | 真实划分社区数 | |
football | 115 | 613 | 10.66 | 12 |
jazz | 198 | 2742 | 27.70 | 未知 |
PPI | 2456 | 6265 | 5.26 | 未知 |
以表1中的网络作为实验数据,Qov函数为社区评价指标,分别在潘的MR-MOEA算法,复杂网络经典算法LMD,与本文SCMOEA上进行了实验,表2给出了三个算法运行10次,取平均后的Qov函数。
从表2可以看出:对于football、jazz、PPI三个网络数据集中,SCMOEA均要优于MRMOEA和LMD。实验结果表明,本发明方法SCMOEA在性能上确实有所提高,具有比较好的效果。
表2真实世界网络的扩展的模块度(Qov函数值)
网络 | MRMOEA | LMD | SCMOEA |
football | 0.304 | 0.265 | 0.310 |
jazz | 0.222 | 0.144 | 0.297 |
PPI | 0.312 | 0.279 | 0.317 |
Claims (1)
1.基于谱聚类的多目标复杂网络社区发现方法,其特征在于:该方法包括以下步骤:
步骤1,找到复杂网络中的重叠节点并进行种群划分,通过谱聚类算法将复杂网络问题转化为图问题,针对重叠节点属于多个连接稀疏的社团这个特性,通过下面计算就可找到候选重叠节点:1)通过计算节点两两之间的相似度,将和较多节点相似的节点找出来,2)将其划分到一个社区中,并确定其为候选重叠节点。
步骤2,粒子群初始化:找到的候选重叠节点的复杂网络数据集进行混合编码,候选重叠节点采用-1和0的离散编码,非重叠节点采用0向量的向量编码;
步骤3,历史最优粒子群初始化:初始时历史只有当前一代,因此,历史最优粒子群Pbest等于初始化得到的粒子群P;
步骤4,参考点初始化:计算粒子群P中所有粒子的两个目标函数KKM和RC,取pop个RC和KKM最小的值m、n。因此参考点为Z=(m,n);
步骤5,粒子群粒子子代的产生:首先定义粒子位置和粒子的速度,其次确定粒子的速度更新策略,粒子的位置更新策略取决于速度更新策略;
步骤6,计算目标函数值,
本文的将改进的社区内部联系比例(KKM)和社区外部联系比例(RC)作为目标函数,公式如下
其中,k为划分社区的数目,n为网络的点数n,i∈{1,2,...m},Vi是社区i内部所有节点集合,是社区i外部连接节点集合,|Vi|是社区i内部节点的个数,L(Vi,Vi)为社区i内的边数,为社区i与外部连接节点的边数;
步骤7,适应度函数的选取:
Newman网络模块度函数的提出,将复杂网络挖掘问题转化为一种优化问题,优化的目标就是模块度函数Q,模块度Q值仅仅只能评价非重叠社区结构的好坏,无法准确地评价重叠社区划分的好坏,而Qov作为扩展的模块度函数可以衡量重叠社区划分好坏;
扩展的模块度函数Qov的表达式如下:
其中,Aw为邻接矩阵中的元素,Ci代表网络划分中某社区的点集合,m是整个网络的边数,Ov指节点V所属社区的个数,kv表示得到是节点v的度数,若Aw等于1,则表示节点v和节点w相连,当其值为0时,表示节点之间无边相连。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910148450.8A CN109859065A (zh) | 2019-02-28 | 2019-02-28 | 基于谱聚类的多目标复杂网络社区发现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910148450.8A CN109859065A (zh) | 2019-02-28 | 2019-02-28 | 基于谱聚类的多目标复杂网络社区发现方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109859065A true CN109859065A (zh) | 2019-06-07 |
Family
ID=66899229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910148450.8A Pending CN109859065A (zh) | 2019-02-28 | 2019-02-28 | 基于谱聚类的多目标复杂网络社区发现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109859065A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287237A (zh) * | 2019-06-25 | 2019-09-27 | 上海诚数信息科技有限公司 | 一种基于社会网络结构分析高效社团数据挖掘方法 |
CN111274498A (zh) * | 2020-01-22 | 2020-06-12 | 哈尔滨工业大学 | 一种网络特征社区查找方法 |
CN111401775A (zh) * | 2020-03-27 | 2020-07-10 | 深圳壹账通智能科技有限公司 | 复杂关系网络的信息分析方法、装置、设备及存储介质 |
CN111507506A (zh) * | 2020-03-20 | 2020-08-07 | 厦门大学 | 一种基于共识嵌入的复杂网络社区发现方法 |
CN111738516A (zh) * | 2020-06-23 | 2020-10-02 | 重庆理工大学 | 通过局部距离和节点秩优化函数的社交网络社区发现系统 |
CN112116331A (zh) * | 2020-09-28 | 2020-12-22 | 中国建设银行股份有限公司 | 一种人才推荐方法及装置 |
CN112994933A (zh) * | 2021-02-07 | 2021-06-18 | 河北师范大学 | 一种复杂网络的广义社区发现方法 |
CN114339832A (zh) * | 2021-12-23 | 2022-04-12 | 深圳大学 | 一种无线传感器网络的确定方法及装置 |
-
2019
- 2019-02-28 CN CN201910148450.8A patent/CN109859065A/zh active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287237A (zh) * | 2019-06-25 | 2019-09-27 | 上海诚数信息科技有限公司 | 一种基于社会网络结构分析高效社团数据挖掘方法 |
CN110287237B (zh) * | 2019-06-25 | 2021-07-09 | 上海诚数信息科技有限公司 | 一种基于社会网络结构分析社团数据挖掘方法 |
CN111274498A (zh) * | 2020-01-22 | 2020-06-12 | 哈尔滨工业大学 | 一种网络特征社区查找方法 |
CN111507506A (zh) * | 2020-03-20 | 2020-08-07 | 厦门大学 | 一种基于共识嵌入的复杂网络社区发现方法 |
CN111401775A (zh) * | 2020-03-27 | 2020-07-10 | 深圳壹账通智能科技有限公司 | 复杂关系网络的信息分析方法、装置、设备及存储介质 |
CN111738516A (zh) * | 2020-06-23 | 2020-10-02 | 重庆理工大学 | 通过局部距离和节点秩优化函数的社交网络社区发现系统 |
CN111738516B (zh) * | 2020-06-23 | 2021-08-10 | 重庆理工大学 | 通过局部距离和节点秩优化函数的社交网络社区发现系统 |
CN112116331A (zh) * | 2020-09-28 | 2020-12-22 | 中国建设银行股份有限公司 | 一种人才推荐方法及装置 |
CN112994933A (zh) * | 2021-02-07 | 2021-06-18 | 河北师范大学 | 一种复杂网络的广义社区发现方法 |
CN112994933B (zh) * | 2021-02-07 | 2022-09-06 | 河北师范大学 | 一种复杂网络的广义社区发现方法 |
CN114339832A (zh) * | 2021-12-23 | 2022-04-12 | 深圳大学 | 一种无线传感器网络的确定方法及装置 |
CN114339832B (zh) * | 2021-12-23 | 2023-12-22 | 深圳大学 | 一种无线传感器网络的确定方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109859065A (zh) | 基于谱聚类的多目标复杂网络社区发现方法 | |
Rozemberczki et al. | Gemsec: Graph embedding with self clustering | |
Bello-Orgaz et al. | A multi-objective genetic algorithm for overlapping community detection based on edge encoding | |
Du et al. | Geometric hypergraph learning for visual tracking | |
CN105760888B (zh) | 一种基于属性聚类的邻域粗糙集集成学习方法 | |
CN103559504B (zh) | 图像目标类别识别方法及装置 | |
Jia et al. | Community detection in social and biological networks using differential evolution | |
CN105740651B (zh) | 一种特定癌症差异表达基因调控网络的构建方法 | |
CN113850281B (zh) | 一种基于meanshift优化的数据处理方法和装置 | |
CN103838803A (zh) | 一种基于节点Jaccard相似度的社交网络社团发现方法 | |
CN108734223A (zh) | 基于社区划分的社交网络好友推荐方法 | |
CN104038792B (zh) | 用于iptv监管的视频内容分析方法及设备 | |
WO2023087953A1 (zh) | 搜索神经网络集成模型的方法、装置和电子设备 | |
CN113254802A (zh) | 基于微博大数据的复杂网络舆情节点重要度排序方法 | |
CN109740722A (zh) | 一种基于Memetic算法的网络表示学习方法 | |
CN111581532A (zh) | 一种基于随机块的社交网络交友推荐方法和系统 | |
Liu | Detecting the fuzzy clusters of complex networks | |
Cai et al. | The mining of urban hotspots based on multi-source location data fusion | |
CN113723584A (zh) | 一种通过离散时间量子游走的多域网络社区检测方法 | |
CN113850811A (zh) | 基于多尺度聚类和掩码打分的三维点云实例分割方法 | |
CN113033709A (zh) | 链路预测方法和装置 | |
CN111126467B (zh) | 一种基于多目标正余弦算法的遥感影像空谱聚类方法 | |
CN105162648B (zh) | 基于骨干网络扩展的社团检测方法 | |
WO2023056802A1 (zh) | 一种最大化互信息的图像分类方法、设备、介质及系统 | |
CN113591930B (zh) | 一种基于网络融合与图嵌入的病毒-宿主关联预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190607 |