CN112700056A - 复杂网络链路预测方法、装置、电子设备及介质 - Google Patents
复杂网络链路预测方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN112700056A CN112700056A CN202110011912.9A CN202110011912A CN112700056A CN 112700056 A CN112700056 A CN 112700056A CN 202110011912 A CN202110011912 A CN 202110011912A CN 112700056 A CN112700056 A CN 112700056A
- Authority
- CN
- China
- Prior art keywords
- complex network
- node
- link prediction
- subgraph
- network link
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000003062 neural network model Methods 0.000 claims abstract description 34
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 238000004140 cleaning Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000013468 resource allocation Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 12
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供复杂网络链路预测方法、复杂网络链路预测装置、电子设备及存储介质。该方法包括以下步骤：采集复杂网络拓扑数据，并清洗异常数据；从复杂网络拓扑图中提取所有连通子图，并按设定比例划分为训练集和测试集；在训练集的各连通子图中，针对所有无直接关联链路的节点对获取局部结构子图，以训练神经网络模型；将待预测节点对的数据输入到训练所得的模型，评估待预测节点对的两节点之间存在关联链路的可能性。根据本发明提供的复杂网络链路预测方法，实现了基于神经网络模型对复杂网络拓扑图中缺失链路及未来可能存在链路的情况的预测分析，解决了基于网络拓扑结构相似性的链路预测算法精确度较低且适应性不强的问题。
Description
技术领域
本发明涉及图计算技术领域，尤其涉及复杂网络链路预测方法、复杂网络链路预测装置、电子设备及介质。
背景技术
复杂网络是指具有自组织、自相似、吸引子、小世界、无标度中部分或全部性质的网络。在现实生活中，许多复杂系统都可以建模成复杂网络(Complex Network)进行分析，比如常见的电力网络、航空网络、交通网络、计算机网络、社交网络等等。
复杂网络的链路预测问题是图数据分析和挖掘的关键。链路预测，也即边预测，是指通过网络中已知的节点以及结构信息，预测网络中尚未连接的两个节点之间产生连接的可能性。这种预测包括对网络中已存在但尚未被观测到的连接的预测，以及网络中未来产生连接的预测。链路预测的概念一经提出，就获得了众多领域的广泛关注，在很多领域得到了实际应用，如指导生物蛋白质网络构建、分析社会网络结构、解决推荐系统中数据稀疏问题等。与此同时，链路预测还具有重要的理论研究意义，如网络结构与演化的研究等。
经过多年的研究和探索，链路预测的算法逐步形成了基于相似性的方法和基于似然估计的方法。在链路预测的研究过程中，所研究的图神经网络模型，也从最初的无权无向网络，扩展到了加权网络、有向网络、异质网络，从静态模型发展到了时序模型。但不论模型如何复杂，是静态还是时序，都是以无权无向网络为出发点的，其算法也是在无权无向网络算法思想的基础上不断改进。在无权无向网络的算法中，也存在一系列矛盾，主要体现在：1)基于似然估计的方法最大的问题是计算复杂度高，不适合在规模较大的网络中应用；2)基于相似性的方法运算复杂度低，但其运算效果会受到网络结构的影响，在不同结构特点的网络中，运算效果不够稳定，缺乏顽健性。
发明内容
为了至少解决现有技术中的部分技术问题，本发明提供一种复杂网络链路预测方法、复杂网络链路预测装置以及相应的电子设备和非暂态计算机可读存储介质，以实现基于网络拓扑结构相似性对复杂网络中链路存在情况的预测分析，精确度较高，且适应性较强。
第一方面，本发明提供一种复杂网络链路预测方法，包括以下步骤：
采集复杂网络拓扑数据，并清洗异常数据；
从复杂网络拓扑图中提取所有连通子图，并按设定比例划分为训练集和测试集；
在训练集的各连通子图中，针对所有无直接关联链路的节点对(u，v)获取局部结构子图，以训练神经网络模型；
将待预测节点对的数据输入到训练所得的模型，评估待预测节点对的两节点之间存在关联链路的可能性。
根据本发明提供的复杂网络链路预测方法，优选地，针对所有无直接关联链路的节点对(u，v)获取局部结构子图，包括：
对所有无直接关联链路的节点对(u，v)分别提取节点u、v的k-hop子图获取局部结构子图，对其中各节点根据其到节点u、v的距离标记点结构标签。
根据本发明提供的复杂网络链路预测方法，优选地，在针对所有无直接关联链路的节点对(u，v)获取局部结构子图之后，还包括：
计算局部结构子图之中两两节点之间的多维相似性指标，融合相似性指标得到相似性得分，以输入到神经网络模型。
根据本发明提供的复杂网络链路预测方法，优选地，相似性指标包括：共同邻居算法指标SCN、优先连接算法指标SPA、资源分配算法指标SRA、Adamic-Adar算法指标SAA。
根据本发明提供的复杂网络链路预测方法，优选地，融合相似性指标按下列公式进行计算：
其中，α、β、γ、δ为指标系数。
根据本发明提供的复杂网络链路预测方法，优选地，训练神经网络模型包括：
通过训练学习各节点嵌入表示和参数矩阵，并利用梯度下降方法优化模型，得到用于刻画所述节点对(u，v)的特征的子图嵌入表示。
根据本发明提供的复杂网络链路预测方法，优选地，将待预测节点对的数据输入到训练所得的模型，评估待预测节点对的两节点之间存在关联链路的可能性，包括：
将待预测节点对的k-hop子图及点结构标签输入到训练所得的模型，计算待预测节点对的相似性得分，以评估存在关联链路的可能性。
第二方面，本发明还提供一种复杂网络链路预测装置，包括：
采集模块，用于采集复杂网络拓扑数据，并清洗异常数据；
提取模块，用于从复杂网络拓扑图中提取所有连通子图，并按设定比例划分为训练集和测试集；
训练模块，用于在训练集的各连通子图中，针对所有无直接关联链路的节点对(u，v)获取局部结构子图，以训练神经网络模型；
评估模块，用于将待预测节点对的数据输入到训练所得的模型，评估待预测节点对的两节点之间存在关联链路的可能性。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行计算机程序时实现如上述任一种的复杂网络链路预测方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种的复杂网络链路预测方法的步骤。
由上述技术方案可知，本发明提供的复杂网络链路预测方法、复杂网络链路预测装置、电子设备及存储介质，通过提取复杂网络拓扑图中的所有连通子图，继而获取训练集的各连通子图中所有无直接关联链路的节点对的局部结构子图，训练神经网络模型，然后利用训练所得的模型评估待预测节点对存在链路的可能性，从而实现了基于神经网络模型对复杂网络拓扑图中缺失链路及未来可能存在链路的情况的预测分析，解决了当前基于网络拓扑结构相似性的链路预测算法普遍存在精确度较低且适应性不强的问题。
根据本发明的复杂网络链路预测方法，使用不同的链路预测相似性指标，通过训练图神经网络，实现对不同相似性指标的非线性计算，进而得到融合指标，用于加深对复杂网络数据特征的表达，从而克服各个单一指标只适用于与其结构特性接近网络的问题，有效提高链路预测的准确性和稳健性；通过提取局部封闭子图来挖掘足够的图结构信息进行边预测，在k-hop子图上计算低阶启发式信息，有效地以较小误差近似学习到高阶信息，增强图节点信息表达能力，简化计算大量图数据嵌入表示的复杂度；通过自监督式学习方式，根据k-hop局部子图中各节点与目标节点之间的距离特征对各节点标记结构性标签，将无监督的学习转换为监督学习，提高模型训练效率，提升预测效果的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍。显而易见地，下面描述中的附图是本发明的一部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的复杂网络链路预测方法的流程图；
图2是根据本发明实施例的复杂网络链路预测的具体流程的示意图；
图3是根据本发明实施例的复杂网络链路预测装置的示意图；
图4是根据本发明实施例的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于相似性的研究框架仍然是链路预测的研究重点。目前的网络中数据刻画非常丰富，海量的网络属性信息和拓扑物理意义为相似性研究提供了广泛的对象。以社交网络为例，用节点表示的用户具有诸如兴趣、偏好、地域、行为等等多样化的个性化属性信息，用边即链路不仅可以表示用户间的好友或关注等静态关系，还可以表示交互、互动、时空关联等动态关系。因而本发明仍然采用基于相似性分析的链路预测技术。
据此，本发明提供了一种复杂网络链路预测方法，如图1所述，该方法包括以下步骤：
步骤101，采集复杂网络拓扑数据，并清洗异常数据；
需要说明的是，在本步骤之前，通常会先搭建服务器集群，包括例如一台主服务器和若干子服务器。然后采集包括多个节点和链路的复杂网络中的关联数据，并从中清洗过滤掉异常数据，将异质网络图转换为同质网络关系图。
步骤102，从复杂网络拓扑图中提取所有连通子图，并按设定比例划分为训练集和测试集；
具体而言，提取出庞大的复杂网络拓扑图中的所有连通子图，将同质网络关系图根据连通性进行划分，按一定比例划分为训练集和测试集的数据，例如，优选地可以按照9∶1的比例将连通子图划分为训练集和测试集。
步骤103，在训练集的各连通子图中，针对所有无直接关联链路的节点对(u，v)获取局部结构子图，以训练神经网络模型；
具体而言，利用训练集中的各连通子图，以连通子图为单位，对其中所有无直接关联边的节点对(u，v)提取局部k阶子图，即通过提取两个目标节点u、v各自的k-hop子图构成神经网络模型的输入信息。
优选地，神经网络模型例如为图神经网络(Graph Neural Networks，GNN)模型，图神经网络GNN是一种直接在图结构上运行的神经网络。进一步优选地，GNN例如为图卷积神经网络(GCN，Graph Convolutional Networks)，图卷积神经网络GCN能够通过图数据学习图中节点信息和节点之间的关联边信息，为每个节点生成嵌入表示。
步骤104，将待预测节点对的数据输入到训练所得的模型，评估待预测节点对的两节点之间存在关联链路的可能性。
需要说明的是，在本步骤中，通过训练所得的例如图神经网络模型计算待预测节点对的相似性得分，以评估两节点之间存在关联链路的可能性。
根据本发明的复杂网络链路预测方法，基于神经网络模型对复杂网络拓扑图中缺失链路及未来可能存在链路的情况进行预测分析，通过提取每个目标链路周围的局部子图，学习一个函数从子图模式映射到链路的存在性，通过这种启发式学习模式的链路预测算法挖掘局部子图中与链路存在相关性的丰富信息，解决当前基于网络拓扑结构相似性的链路预测算法普遍存在精确度较低且适应性不强的问题。
下面通过结合图2所示的整体流程，用更多实施例来进一步阐述本发明的重要技术细节。
基于上述实施例的内容，在本实施例的复杂网络链路预测方法中，优选地，针对所有无直接关联链路的节点对(u，v)获取局部结构子图，包括：
对所有无直接关联链路的节点对(u，v)分别提取节点u、v的k_hop子图获取局部结构子图，对其中各节点根据其到节点u、v的距离标记点结构标签。
在本实施例中，在连通子图中两两节点对的局部子图中进行点结构标签的标记操作，通过这种从未标记数据集中创建替代标签的方式将无监督学习问题转换为有监督学习问题，从而提高神经网络模型的训练效率。
基于上述实施例的内容，在本实施例的复杂网络链路预测方法中，优选地，在针对所有无直接关联链路的节点对(u，v)获取局部结构子图之后，还包括：
计算局部结构子图之中两两节点之间的多维相似性指标，融合相似性指标得到相似性得分，以输入到神经网络模型。
具体地，在训练集各连通子图中，对所有节点对(u，v)分别提取两节点的k-hop子图获取其局部结构子图，然后对该子图中各节点根据其到节点u和v的距离进行点结构标签标记，同时分别计算各节点对之间的多维相似性指标，将各个相似性指标进行融合计算处理得到两节点之间的相似性得分，将这种相似性得分作为邻接矩阵链路权重输入到图神经网络。
下面举例说明标记点结构标签和融合计算相似性得分的步骤。
根据结构性特征，对节点对(u，v)的局部k阶子图中的所有节点进行标签标记，标记方法如下：
1)u和v的标签label设为1；
2)对于其他节点，例如任意两点i、j，如果d(x，i)＝d(x，j)且d(y，i)＝d(y，j)，那么i、j的label相同。d为两点之间的路径长度。
对于节点i，其标签计算方法如下：
其中，dx：＝d(i，x)，dy：＝d(i，y)，d：＝dx+dy。
针对任意节点对计算其各个相似性指标，进行加权求和并通过Softmax函数归一化，得到的值作为该节点对的两个节点之间链路相似性得分更新到子图邻接矩阵中，将子图节点特征矩阵和邻接矩阵及点结构标签信息输入到要训练的网络模型，例如图卷积神经网络模型。
本实施例提供的复杂网络链路预测方法通过启发式学习模式挖掘局部子图中与链路存在相关性的丰富信息，同时对不同链路预测相似性指标进行融合并对其数值特征进行学习，能够进一步解决基于相似性的链路预测算法精确度较低且适应性不强的问题。
本实施例提供的复杂网络链路预测方法还通过在局部封闭子图中挖掘足够的图结构信息来进行链路预测，在k-hop子图上计算一阶二阶启发式信息，可以有效地以较小指数级误差近似学习到高阶信息，增强图节点信息表达能力，同时简化了计算大量图数据嵌入表示的复杂度。
基于上述实施例的内容，在本实施例的复杂网络链路预测方法中，优选地，相似性指标可以包括：共同邻居(Common Neighbors)算法CN指标SCN、优先连接(PreferentialAttachment)算法PA指标SPA、资源分配(Resource Allocation)算法RA指标SRA、Adamic-Adar算法AA指标SAA。
具体而言，各相似性指标分别按如下公式进行计算：
SCN(u，v)＝|N(u)∩N(v)|
SPA(u，v)＝k(u)×k(v)
其中，N(u)表示节点u的邻居节点集，N(v)表示节点v的邻居节点集；k(u)＝|N(u)|，表示节点u的度，k(v)＝|N(v)|，表示节点v的度。
需要说明的是，上述例举的相似性指标仅为优选示例，本发明不限于此，而是可以采用任何适于表达拓扑图中节点之间的相似性的算法指标。
采用上述相似性指标计算局部子图中两两节点之间的多维度相似性指标，对指标进行加权平均融合处理得到两节点之间存在一条链路的可能性得分作为链路权重，同时对子图中各节点进行标签标记，以将链路预测的问题转换为图分类问题，学习到从子图到标签的映射关系，通过学习目标节点间的相似性得分来评估两节点之间存在链路关联的可能性。
基于上述实施例的内容，在本实施例的复杂网络链路预测方法中，仍以相似性指标包括共同邻居算法指标SCN、优先连接算法指标SPA、资源分配算法指标SRA、Adamic-Adar算法指标SAA为例，优选地，融合所述相似性指标按下列公式进行计算：
其中，α、β、γ、δ为指标系数。通过启发式赋值对各个指标系数进行初始化，然后通过神经网络模型的学习不断调整优化。
本实施例提供的复杂网络链路预测方法，基于相似性指标融合分析实现复杂网络中的链路预测，如后文所述，可以据此设计基于相似性指标融合分析执行复杂网络链接预测方法的有效的系统装置，当输入任意复杂网络的拓扑数据时，通过图神经网络端到端训练得到连通子图中各节点的嵌入表示及各两两节点之间未来存在链路的可能性。此类装置中涉及到的所有算法优选对用户均为黑盒模式，用户只需输入原始网络拓扑图即可得到期望的图嵌入表示及链路预测结果；此外，用户还可自行设置启发式阈值，将链路预测得分高于阈值的节点对判定为极有可能存在关联关系的节点。
基于上述实施例的内容，在本实施例的复杂网络链路预测方法中，优选地，训练神经网络模型包括：
通过训练学习各节点嵌入表示和参数矩阵，并利用梯度下降方法优化模型，得到用于刻画所述节点对(u，v)的特征的子图嵌入表示。
具体而言，在根据节点对(u，v)的不同进一步切割多个局部结构子图，并将其作为图神经网络的输入信息之后，链路预测问题被转换为图分类问题，通过训练学习各节点嵌入表示和参数矩阵，同时利用梯度下降方法优化模型，得到刻画(u，v)节点对的特征的子图嵌入表示及模型参数矩阵。
通过训练学习获得的神经网络模型，用于在后续步骤中计算目标节点对的相似性得分，如下所述。
基于上述实施例的内容，在本实施例的复杂网络链路预测方法中，优选地，将待预测节点对的数据输入到训练所得的模型，评估待预测节点对的两节点之间存在关联链路的可能性，包括：
将待预测节点对的k-hop子图及点结构标签输入到训练所得的模型，计算待预测节点对的相似性得分，以评估存在关联链路的可能性。
在本实施例中，链路预测的执行可以先从前述步骤划分出的测试集中提取待预测链路两端的节点对的k-hop子图，将其输入训练所得的图卷积神经网络模型，得到预测图标签(目标节点链路得分，例如0.85)，从而获得两节点间存在关联的可能性。对测试集数据的计算可以检验评测训练所得的网络模型的泛化能力。
对于训练所得并经过测试集检验的网络模型，也即深度学习训练完成之后的图卷积神经网络模型，可以针对实际案例数据进行链路预测分析：提取待预测节点对的k-hop子图，标记点结构性标签，输入到完成深度学习训练的图卷积神经网络模型，得到目标节点对的相似性得分，以评估两节点之间存在关联链路的可能性。
针对链路预测的相似性得分，可以预先设置判定阈值，将相似性得分高于阈值的节点对判定为极有可能存在关联关系的节点。
由上述各技术方案可知，本发明所提供的基于相似性指标融合分析的复杂网络链路预测方法，提取复杂网络中节点对之间存在的k_hop子图将两节点对之间的关联关系映射到多维度相似性指标上，利用自监督方式根据子图结构性距离特征标记节点标签，将无监督问题转换为监督学习问题，并通过对指标进行加权融合处理，作为图神经网络模型的输入信息，利用梯度下降算法优化子图嵌入表示及参数矩阵信息，得到图神经网络模型，并利用该模型针对目标节点对计算相似性得分，以此评估和预测其存在关联链路的可能性。
下面对本发明提供的复杂网络链路预测装置进行描述，下文描述的复杂网络链路预测装置与上文描述的复杂网络链路预测方法可相互对应参照。参见图3，本实施例提供的复杂网络链路预测装置具体包括：
采集模块21，用于采集复杂网络拓扑数据，并清洗异常数据；
提取模块23，用于从复杂网络拓扑图中提取所有连通子图，并按设定比例划分为训练集和测试集；
训练模块25，用于在训练集的各连通子图中，针对所有无直接关联链路的节点对获取局部结构子图，以训练神经网络模型；
评估模块27，用于将待预测节点对的数据输入到训练所得的模型，评估待预测节点对的两节点之间存在关联链路的可能性。
根据本发明的复杂网络链路预测装置，基于神经网络模型对复杂网络拓扑图中缺失链路及未来可能存在链路的情况进行预测分析，通过提取每个目标链路周围的局部子图，学习一个函数从子图模式映射到链路的存在性，通过这种启发式学习模式的链路预测算法挖掘局部子图中与链路存在相关性的丰富信息，解决当前基于网络拓扑结构相似性的链路预测算法普遍存在精确度较低且适应性不强的问题。
本发明实施例提供的复杂网络链路预测装置可以用于执行上述实施例所述的复杂网络链路预测方法，或者说，可以根据上述实施例所述的复杂网络链路预测方法设计有效的复杂网络链路预测装置，用以实现基于相似性指标融合分析的复杂网络链接预测。可以将此类装置中涉及的所有算法均设置成对于用户的黑盒模式，因而用户只需输入原始网络拓扑图即可得到期望的图嵌入表示及链路预测结果，操作简单直观。用户还可以通过输入模块设定关于相似性得分的启发式阈值，从而自行决定将具有多高链路预测得分的节点对判定为极有可能存在关联关系的节点。
根据本发明的复杂网络链路预测装置的工作原理和有益效果均与前述复杂网络链路预测方法类似，故此处不再赘述，具体内容可参见上述实施例的介绍。
在本实施例中，需要说明的是，本发明实施例的装置可以由软件和/或硬件的方式实现，并可以集成在诸如手机、平板电脑等用户终端设备中。该装置中的单元只是按照功能逻辑进行划分的，并且不局限于上述的划分，只要能够实现相应的功能即可。各个单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图4，所述电子设备可以包括：处理器810、通信接口820、存储器830和通信总线840，其中，处理器810、通信接口820、存储器830通过通信总线840完成相互间的通信。
处理器810可以调用存储器830中的计算机程序，以执行一种复杂网络链路预测方法，该方法例如包括以下步骤：采集复杂网络拓扑数据，并清洗异常数据；从复杂网络拓扑图中提取所有连通子图，并按设定比例划分为训练集和测试集；在训练集的各连通子图中，针对所有无直接关联链路的节点对获取局部结构子图，以训练神经网络模型；将待预测节点对的数据输入到训练所得的模型，评估待预测节点对的两节点之间存在关联链路的可能性。
本领域技术人员可以理解，处理器810还可以实现本发明任意实施例所提供的复杂网络链路预测方法，并且图4所示的电子设备仅仅是一种示例，其也可以通过能够调用指令实现前述复杂网络链路预测方法的任意设备来实现。
上述的存储器830中的逻辑指令也可以通过软件功能单元的形式实现并作为独立的产品销售或使用，这时将其存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
基于相同的发明构思，本发明又一实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述复杂网络链路预测方法的步骤。例如，处理器执行该计算机程序时实现下述过程采集复杂网络拓扑数据，并清洗异常数据；从复杂网络拓扑图中提取所有连通子图，并按设定比例划分为训练集和测试集；在训练集的各连通子图中，针对所有无直接关联链路的节点对获取局部结构子图，以训练神经网络模型；将待预测节点对的数据输入到训练所得的模型，评估待预测节点对的两节点之间存在关联链路的可能性。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述复杂网络链路预测方法的步骤。例如，处理器执行该计算机程序时实现下述过程：采集复杂网络拓扑数据，并清洗异常数据；从复杂网络拓扑图中提取所有连通子图，并按设定比例划分为训练集和测试集；在训练集的各连通子图中，针对所有无直接关联链路的节点对获取局部结构子图，以训练神经网络模型；将待预测节点对的数据输入到训练所得的模型，评估待预测节点对的两节点之间存在关联链路的可能性。
通常，前述存储介质可包括诸如U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
可以理解的是，前述计算机程序可以执行的细化功能和扩展功能可参照上述实施例的描述。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元示出的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种复杂网络链路预测方法，其特征在于，包括以下步骤：
采集复杂网络拓扑数据，并清洗异常数据；
从复杂网络拓扑图中提取所有连通子图，并按设定比例划分为训练集和测试集；
在所述训练集的各连通子图中，针对所有无直接关联链路的节点对(u,v)获取局部结构子图，以训练神经网络模型；
将待预测节点对的数据输入到训练所得的模型，评估所述待预测节点对的两节点之间存在关联链路的可能性。
2.根据权利要求1所述的复杂网络链路预测方法，其特征在于，所述针对所有无直接关联链路的节点对(u,v)获取局部结构子图，包括：
对所有无直接关联链路的节点对(u,v)分别提取节点u、v的k-hop子图获取局部结构子图，对其中各节点根据其到节点u、v的距离标记点结构标签。
3.根据权利要求2所述的复杂网络链路预测方法，其特征在于，在所述针对所有无直接关联链路的节点对(u,v)获取局部结构子图之后，还包括：
计算所述局部结构子图之中两两节点之间的多维相似性指标，融合所述相似性指标得到相似性得分，以输入到所述神经网络模型。
4.根据权利要求3所述的复杂网络链路预测方法，其特征在于，
所述相似性指标包括：共同邻居算法指标SCN、优先连接算法指标SPA、资源分配算法指标SRA、Adamic-Adar算法指标SAA。
5.根据权利要求4所述的复杂网络链路预测方法，其特征在于，所述融合所述相似性指标按下列公式进行计算：
其中，α、β、γ、δ为指标系数。
6.根据权利要求1-5中任一项所述的复杂网络链路预测方法，其特征在于，所述训练神经网络模型包括：
通过训练学习各节点嵌入表示和参数矩阵，并利用梯度下降方法优化模型，得到用于刻画所述节点对(u,v)的特征的子图嵌入表示。
7.根据权利要求1-5中任一项所述的复杂网络链路预测方法，其特征在于，所述将待预测节点对的数据输入到训练所得的模型，评估所述待预测节点对的两节点之间存在关联链路的可能性，包括：
将所述待预测节点对的k-hop子图及点结构标签输入到训练所得的模型，计算所述待预测节点对的相似性得分，以评估所述存在关联链路的可能性。
8.一种复杂网络链路预测装置，其特征在于，包括：
采集模块，用于采集复杂网络拓扑数据，并清洗异常数据；
提取模块，用于从复杂网络拓扑图中提取所有连通子图，并按设定比例划分为训练集和测试集；
训练模块，用于在所述训练集的各连通子图中，针对所有无直接关联链路的节点对(u,v)获取局部结构子图，以训练神经网络模型；
评估模块，用于将待预测节点对的数据输入到训练所得的模型，评估所述待预测节点对的两节点之间存在关联链路的可能性。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的复杂网络链路预测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的复杂网络链路预测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110011912.9A CN112700056B (zh) | 2021-01-06 | 2021-01-06 | 复杂网络链路预测方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110011912.9A CN112700056B (zh) | 2021-01-06 | 2021-01-06 | 复杂网络链路预测方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112700056A true CN112700056A (zh) | 2021-04-23 |
| CN112700056B CN112700056B (zh) | 2023-09-15 |
Family
ID=75514851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110011912.9A Active CN112700056B (zh) | 2021-01-06 | 2021-01-06 | 复杂网络链路预测方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112700056B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113612690A (zh) * | 2021-08-04 | 2021-11-05 | 河南工业职业技术学院 | 一种有向网络链路预测方法 |
| CN113821550A (zh) * | 2021-11-22 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 路网拓扑图的划分方法、装置、设备及计算机程序产品 |
| CN114422438A (zh) * | 2021-12-29 | 2022-04-29 | 广东电网有限责任公司 | 电力通信网络的链路调节方法及装置 |
| CN115422694A (zh) * | 2022-11-03 | 2022-12-02 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种路段缺失流量推算方法、电子设备及存储介质 |
| CN115935027A (zh) * | 2023-01-19 | 2023-04-07 | 北京百度网讯科技有限公司 | 目标对象拓扑图的数据处理方法及图分类模型的训练方法 |
| CN115984633A (zh) * | 2023-03-20 | 2023-04-18 | 南昌大学 | 门级电路组件识别方法、系统、存储介质及设备 |
| CN116192650A (zh) * | 2023-02-21 | 2023-05-30 | 湖南大学 | 一种基于子图特征的链路预测方法 |
| CN116992943A (zh) * | 2023-09-27 | 2023-11-03 | 浪潮(北京)电子信息产业有限公司 | 深度神经网络模型的链路剪枝方法、装置、设备和介质 |
| CN117151279A (zh) * | 2023-08-15 | 2023-12-01 | 哈尔滨工业大学 | 一种基于线图神经网络的同构网络链路预测方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019014894A1 (zh) * | 2017-07-20 | 2019-01-24 | 深圳大学 | 网络链路预测方法及装置 |
| CN109635989A (zh) * | 2018-08-30 | 2019-04-16 | 电子科技大学 | 一种基于多源异构数据融合的社交网络链路预测方法 |
| US20200134428A1 (en) * | 2018-10-29 | 2020-04-30 | Nec Laboratories America, Inc. | Self-attentive attributed network embedding |
| CN111310937A (zh) * | 2020-02-27 | 2020-06-19 | 兰州大学 | 基于有监督学习的多层网络链接预测方法 |
| US20200210858A1 (en) * | 2018-12-28 | 2020-07-02 | Universiteit Gent | Network embedding method |
| CN111461440A (zh) * | 2020-04-02 | 2020-07-28 | 河北工程大学 | 链路预测方法、系统及终端设备 |
| CN111669288A (zh) * | 2020-05-25 | 2020-09-15 | 中国人民解放军战略支援部队信息工程大学 | 基于有向异构邻居的有向网络链路预测方法及装置 |
| CN112184468A (zh) * | 2020-09-29 | 2021-01-05 | 中国电子科技集团公司电子科学研究院 | 基于时空关系的动态社会关系网络链路的预测方法及装置 |
-
2021
- 2021-01-06 CN CN202110011912.9A patent/CN112700056B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019014894A1 (zh) * | 2017-07-20 | 2019-01-24 | 深圳大学 | 网络链路预测方法及装置 |
| CN109635989A (zh) * | 2018-08-30 | 2019-04-16 | 电子科技大学 | 一种基于多源异构数据融合的社交网络链路预测方法 |
| US20200134428A1 (en) * | 2018-10-29 | 2020-04-30 | Nec Laboratories America, Inc. | Self-attentive attributed network embedding |
| US20200210858A1 (en) * | 2018-12-28 | 2020-07-02 | Universiteit Gent | Network embedding method |
| CN111310937A (zh) * | 2020-02-27 | 2020-06-19 | 兰州大学 | 基于有监督学习的多层网络链接预测方法 |
| CN111461440A (zh) * | 2020-04-02 | 2020-07-28 | 河北工程大学 | 链路预测方法、系统及终端设备 |
| CN111669288A (zh) * | 2020-05-25 | 2020-09-15 | 中国人民解放军战略支援部队信息工程大学 | 基于有向异构邻居的有向网络链路预测方法及装置 |
| CN112184468A (zh) * | 2020-09-29 | 2021-01-05 | 中国电子科技集团公司电子科学研究院 | 基于时空关系的动态社会关系网络链路的预测方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 刘大伟;吕元娜;余智华;: "一种改进的复杂网络链路预测算法", 小型微型计算机系统, no. 05, pages 193 - 196 * |
| 杨晓翠;宋甲秀;张曦煌;: "基于集体影响和边聚类信息的链路预测算法", 计算机科学与探索, no. 12, pages 48 - 59 * |
| 王文涛;吴淋涛;黄烨;朱容波;: "基于密集连接卷积神经网络的链路预测模型", 计算机应用, no. 06, pages 82 - 88 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113612690A (zh) * | 2021-08-04 | 2021-11-05 | 河南工业职业技术学院 | 一种有向网络链路预测方法 |
| CN113821550A (zh) * | 2021-11-22 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 路网拓扑图的划分方法、装置、设备及计算机程序产品 |
| CN113821550B (zh) * | 2021-11-22 | 2022-02-08 | 腾讯科技（深圳）有限公司 | 路网拓扑图的划分方法、装置、设备及计算机程序产品 |
| CN114422438B (zh) * | 2021-12-29 | 2023-05-09 | 广东电网有限责任公司 | 电力通信网络的链路调节方法及装置 |
| CN114422438A (zh) * | 2021-12-29 | 2022-04-29 | 广东电网有限责任公司 | 电力通信网络的链路调节方法及装置 |
| CN115422694A (zh) * | 2022-11-03 | 2022-12-02 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种路段缺失流量推算方法、电子设备及存储介质 |
| CN115422694B (zh) * | 2022-11-03 | 2023-04-07 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种路段缺失流量推算方法、电子设备及存储介质 |
| CN115935027A (zh) * | 2023-01-19 | 2023-04-07 | 北京百度网讯科技有限公司 | 目标对象拓扑图的数据处理方法及图分类模型的训练方法 |
| CN116192650A (zh) * | 2023-02-21 | 2023-05-30 | 湖南大学 | 一种基于子图特征的链路预测方法 |
| CN116192650B (zh) * | 2023-02-21 | 2024-04-30 | 湖南大学 | 一种基于子图特征的链路预测方法 |
| CN115984633A (zh) * | 2023-03-20 | 2023-04-18 | 南昌大学 | 门级电路组件识别方法、系统、存储介质及设备 |
| CN115984633B (zh) * | 2023-03-20 | 2023-06-06 | 南昌大学 | 门级电路组件识别方法、系统、存储介质及设备 |
| CN117151279A (zh) * | 2023-08-15 | 2023-12-01 | 哈尔滨工业大学 | 一种基于线图神经网络的同构网络链路预测方法及系统 |
| CN116992943A (zh) * | 2023-09-27 | 2023-11-03 | 浪潮(北京)电子信息产业有限公司 | 深度神经网络模型的链路剪枝方法、装置、设备和介质 |
| CN116992943B (zh) * | 2023-09-27 | 2024-02-09 | 浪潮(北京)电子信息产业有限公司 | 深度神经网络模型的链路剪枝方法、装置、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112700056B (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112700056B (zh) | 复杂网络链路预测方法、装置、电子设备及介质 | |
| Zhang et al. | Adaptive structural fingerprints for graph attention networks | |
| CN108763319B (zh) | 融合用户行为和文本信息的社交机器人检测方法和系统 | |
| CN110837602B (zh) | 基于表示学习和多模态卷积神经网络的用户推荐方法 | |
| CN110263280B (zh) | 一种基于多视图的动态链路预测深度模型及应用 | |
| CN107895038B (zh) | 一种链路预测关系推荐方法及装置 | |
| CN111008337B (zh) | 一种基于三元特征的深度注意力谣言鉴别方法及装置 | |
| CN112231562A (zh) | 一种网络谣言识别方法及系统 | |
| CN112308115B (zh) | 一种多标签图像深度学习分类方法及设备 | |
| CN112217674B (zh) | 基于因果网络挖掘和图注意力网络的告警根因识别方法 | |
| CN115208680B (zh) | 一种基于图神经网络的动态网络风险预测方法 | |
| CN102855478A (zh) | 图像中文本区域定位方法和装置 | |
| CN117061322A (zh) | 物联网流量池管理方法及系统 | |
| CN116756327B (zh) | 基于知识推断的威胁情报关系抽取方法、装置和电子设备 | |
| CN110704694A (zh) | 一种基于网络表示学习的组织层级划分方法及其应用 | |
| CN114639483A (zh) | 一种基于图神经网络的电子病历检索方法及装置 | |
| CN112182306B (zh) | 一种基于不确定图的社区发现方法 | |
| CN117156442A (zh) | 基于5g网络的云数据安全保护方法及系统 | |
| Liu et al. | Adaptive multi-channel Bayesian graph attention network for IoT transaction security | |
| CN115456093A (zh) | 一种基于注意力图神经网络的高性能图聚类方法 | |
| CN116502381A (zh) | 一种电网关键节点识别方法 | |
| CN113254649B (zh) | 敏感内容识别模型的训练方法、文本识别方法及相关装置 | |
| CN114897085A (zh) | 一种基于封闭子图链路预测的聚类方法及计算机设备 | |
| CN113989544A (zh) | 一种基于深度图卷积网络的群体发现方法 | |
| CN115225373B (zh) | 一种信息不完备条件下的网络空间安全态势表达方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |