CN113095489A - 一种归纳多层次图网络表示学习方法 - Google Patents

一种归纳多层次图网络表示学习方法 Download PDF

Info

Publication number
CN113095489A
CN113095489A CN202110506974.7A CN202110506974A CN113095489A CN 113095489 A CN113095489 A CN 113095489A CN 202110506974 A CN202110506974 A CN 202110506974A CN 113095489 A CN113095489 A CN 113095489A
Authority
CN
China
Prior art keywords
node
representation
graph
nodes
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110506974.7A
Other languages
English (en)
Inventor
王勇
王范川
王晓虎
姜铼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110506974.7A priority Critical patent/CN113095489A/zh
Publication of CN113095489A publication Critical patent/CN113095489A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种归纳多层次图网络表示学习方法，方法包括：通过在多层图神经网络中引入注意力机制来控制节点邻域的聚合，再通过多层次门控机制控制图神经网络每一层生成的节点表示来学习图网络节点的最终表示，以提高图神经网络节点的表示能力；多层图神经网络将目标接节点邻域的表示聚合得到目标节点新的表示；注意力机制通过学习图网络中节点间的注意力分数来权衡邻域中各个节点对目标节点表示的贡献；多层次门控机制通过控制多层图神经网络每层学习到的节点表示对目标节点最终表示的影响来生成图网络中节点的最终表示。本发明能适应图网络表示学习任务，下游任务可以对接节点分类和用户身份推断，有效提升图网络节点的学习和表示能力。

Description

一种归纳多层次图网络表示学习方法
技术领域
本发明涉及图网络表示学习技术领域，尤其涉及一种归纳多层次图网络表示学习方法。
背景技术
图嵌入的目标是学习给定图网络中节点的低维潜在向量表示，这种表示可以保存图网络的固有属性和结构属性。然后，这些学习好的图网络的表示可以被提供给机器学习算法中，用于执行在图网络上的常见任务，比如分类、聚类、连接预测和可视化。近年来，人们提出了许多学习图网络表示的方法，其中图神经网络根据图网络中的节点的相邻节点的特征和边缘信息来学习图网络中节点的表示，并且这种表示在很多任务上取得了很好的效果。根据传播机制的不同，图神经网络可以分为以下四类：
(1)基于谱的图卷积神经网络(GCN)
基于谱的图卷积神经网络通过捕捉图网络的全局特征来学习节点表示。然而，它需要训练所有的节点来学习节点表示，这导致它的灵活性和可扩展性较差。
(2)基于空间的图卷积网络(GraphSage)
基于空间的图卷积网络采用归纳学习方法，该方法利用节点特征信息(例如，文本属性)来有效地为图网络中以前看不到的节点学习节点表示。它通过学习一个聚合器来增强模型的灵活性和通用性。然而，图卷积网络在聚合邻居特征的过程中，它的聚合函数没有区分不同邻居的贡献，这限制了模型更好地提取不同邻居特征的能力。
(3)基于注意的图神经网络(GAT)
在基于注意力的图神经网络中，每一层学习每个邻居对目标节点新特征的贡献，然后根据它们的贡献为目标节点生成新的特征。但是节点的最终表示是由每一层的节点表示简单连接或是求平均值，这样不能使每一层的节点表示得到最好的表达，从而限制了最终图网络表示的效果。
(4)基于门的图神经网络(GRU)
在基于门的图神经网络中，通过门控机制控制每一层节点表示的表达，从而弥补了基于注意力的图神经网络的缺点。
发明内容
本发明的目的在于克服现有技术的不足，提供一种归纳多层次图网络表示学习方法，下游任务可以对接节点分类、用户身份推断等，有效提升图网络节点的学习和表示能力。
本发明的目的是通过以下技术方案来实现的：
一种归纳多层次图网络表示学习方法，方法包括：通过在多层图神经网络中引入注意力机制来控制节点邻域的聚合，再通过多层次门控机制控制图神经网络每一层生成的节点表示来学习图网络节点的最终表示，以提高图神经网络节点的表示能力；
所述多层图神经网络，使用特定的聚合方式聚合目标节点邻域的信息，首先以整个图网络节点的特征矩阵作为节点的初始表示进行聚合得到节点新的表示，再将节点新的表示进行聚合，如此反复使得目标节点聚合到更远的邻域的信息；
所述注意力机制，在图神经网络为目标节点聚合邻域中节点的信息时，通过学习图网络中节点间的注意力分数来权衡邻域中各个节点对目标节点表示的重要程度，使用注意力分数使邻域中对目标节点表示的更重要的节点得到更好的表达；
所述多层次门控机制，通过门控机制控制多层图神经网络每层学习到的节点表示对目标节点最终表示的影响来生成图网络中节点的最终表示。
所述多层神经网络，包括以下步骤：
Step1.以整个图网络作为输入，对于图网络中的每一个节点，随机均匀地采样其S个邻居节点来构建邻域，根据输入的图网络中边的方向性有以下两种情况：(1)若输入图网络的边是无向的，则采样目标节点的邻居节点(2)若输入图网络的边是有向的，则采样目标节点的边指向的邻居节点；根据S的取值有以下两种情况：(1)当S大于该节点的邻居节点数时，随机重复采样该节点的邻居节点直到采样到S个节点(2)当S小于该节点的邻居节点数时，随机均匀地采样S个该节点的邻居节点；
Step2.对于图神经网络的第k层(k>0)，以采样到的邻域和上一层图神经网络生成的节点表示hk-1作为输入，对于图网络中的每个节点，对其邻域中节点的表示进行聚合，对聚合生成的向量乘上权重矩阵，并施加非线性激活函数，如图4所示，对于特定节点v，其第k层表示的计算方法如下：
Figure BDA0003058816340000021
其中σ是非线性激活函数，比如LeakyReLU，N(v)是节点v的邻域节点集，
Figure BDA0003058816340000022
是节点v第k层的节点表示，当k＝0时
Figure BDA0003058816340000023
表示节点v最开始输入的初始特征，Wk是第k层图神经网络的权重矩阵，Aggregate{}是节点表示的聚合，如图4所示，当k＝1时Aggregate{}应该取Mean{}，表示使用均值聚合，其计算方法是对节点的表示求平均值，当k>1时Aggregate{}应该取Attention{}，表示使用注意力机制进行聚合，其计算方法如下：
Figure BDA0003058816340000024
其中
Figure BDA0003058816340000031
是节点v的邻域的聚合，
Figure BDA0003058816340000032
是节点v与节点u在图神经网络第k层的注意力分数；
Step3.重复Step1和Step2来计算图神经网络下一层的节点表示，直到完成预先设置的最大层数的图神经网络；
所述注意力机制，包括以下步骤：
Step1.计算节点间的原始注意力分数，对于相邻节点i和j，它们在图神经网络第l层的原始注意力分数计算方法如下：
Figure BDA0003058816340000033
其中σ是非线性激活函数，比如LeakyReLU，
Figure BDA0003058816340000034
是节点i和节点j在图神经网络第l层的原始注意力分数，
Figure BDA0003058816340000035
是图神经网络第l层中的一个可学习的权重向量，
Figure BDA0003058816340000036
和
Figure BDA0003058816340000037
分别是图神经网络第l层针对节点i和其邻域内节点j的线性变换矩阵，||是连接操作；
Step2.计算节点间的注意力分数，对于相邻节点i和j，它们在图神经网络第l层的注意力分数计算方法如下：
Figure BDA0003058816340000038
其中
Figure BDA0003058816340000039
是节点i和节点j在图神经网络第l层的注意力分数，N(i)是节点i的邻域内节点的集合；
Step3.在图神经网络中利用目标节点与其邻域内节点的注意力分数来聚合目标节点的邻域节点在上一层图神经网络中生成的节点表示，进而生成本层图神经网络中目标节点的表示；
所述多层次门控机制，包括以下步骤：
Step1.计算不同层节点表示的门，其计算方法如下：
Figure BDA00030588163400000310
其中Μ是权重矩阵，b是方差向量，σ是激活函数，比如LeakyReLU，
Figure BDA00030588163400000311
是节点v在图神经网络第l层生成的节点表示，
Figure BDA00030588163400000312
则是节点v在图神经网络第l层生成的节点表示的门；
Step2.如图3所示，通过门控制节点在图神经网络不同层生成的节点表示的结合，来计算出图网络中每个节点的最终表示，以两层图神经网络为例，节点v的最终表示计算方法如下：
Figure BDA00030588163400000313
其中Zv是节点v的最终向量表示。
本发明的有益效果：本发明针对图网络中的节点及其邻域的特征，提出了一种图网络节点表示学习的方法，该方法通过图神经网络来聚合节点邻域的特征，并利用门控机制控制不同距离邻域对于目标节点的表示的贡献来生成目标节点的最终表示。此方式能够生成图网络节点的表示，下游任务可以对接节点分类、用户身份推断等，有效提升图网络节点的学习和表示能力。
附图说明
图1为本发明的流程图；
图2为本发明的概览图；
图3为本发明的模型框架图；
图4为本发明的算法图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
本实施例中，如图1、图2、图3和图4所示，一种归纳多层次图网络表示学习方法，方法包括：通过在多层图神经网络中引入注意力机制来控制节点邻域的聚合，再通过多层次门控机制控制图神经网络每一层生成的节点表示来学习图网络节点的最终表示，以提高图神经网络节点的表示能力；
所述多层图神经网络，使用特定的聚合方式聚合目标节点邻域的信息，首先以整个图网络节点的特征矩阵作为节点的初始表示进行聚合得到节点新的表示，再将节点新的表示进行聚合，如此反复使得目标节点聚合到更远的邻域的信息；
所述注意力机制，在图神经网络为目标节点聚合邻域中节点的信息时，通过学习图网络中节点间的注意力分数来权衡邻域中各个节点对目标节点表示的重要程度，使用注意力分数使邻域中对目标节点表示的更重要的节点得到更好的表达；
所述多层次门控机制，通过门控机制控制多层图神经网络每层学习到的节点表示对目标节点最终表示的影响来生成图网络中节点的最终表示；
所述多层神经网络，包括以下步骤：
Step1.以整个图网络作为输入，对于图网络中的每一个节点，随机均匀地采样其S个邻居节点来构建邻域，根据输入的图网络中边的方向性有以下两种情况：(1)若输入图网络的边是无向的，则采样目标节点的邻居节点(2)若输入图网络的边是有向的，则采样目标节点的边指向的邻居节点；根据S的取值有以下两种情况：(1)当S大于该节点的邻居节点数时，随机重复采样该节点的邻居节点直到采样到S个节点(2)当S小于该节点的邻居节点数时，随机均匀地采样S个该节点的邻居节点；
Step2.如图3所示，对于图神经网络的第k层(k>0)，以采样到的邻域和上一层图神经网络生成的节点表示hk-1作为输入，对于图网络中的每个节点，对其邻域中节点的表示进行聚合，对聚合生成的向量乘上权重矩阵，并施加非线性激活函数，如图4所示，对于特定节点v，其第k层表示的计算方法如下：
Figure BDA0003058816340000051
其中σ是非线性激活函数，比如LeakyReLU，N(v)是节点v的邻域节点集，
Figure BDA0003058816340000052
是节点v第k层的节点表示，如图4所示，当k＝0时
Figure BDA0003058816340000053
表示节点v最开始输入的初始特征，Wk是第k层图神经网络的权重矩阵，Aggregate{}是节点表示的聚合，如图4所示，当k＝1时Aggregate{}应该取Mean{}，表示使用均值聚合，其计算方法是对节点的表示求平均值，当k>1时Aggregate{}应该取Attention{}，表示使用注意力机制进行聚合，其计算方法如下：
Figure BDA0003058816340000054
其中
Figure BDA0003058816340000055
是节点v的邻域的聚合，
Figure BDA0003058816340000056
是节点v与节点u在图神经网络第k层的注意力分数；
Step3.如图1所示，重复Step1和Step2来计算图神经网络下一层的节点表示，直到完成预先设置的最大层数的图神经网络；
所述注意力机制，包括以下步骤：
Step1.计算节点间的原始注意力分数，对于相邻节点i和j，它们在图神经网络第l层的原始注意力分数计算方法如下：
Figure BDA0003058816340000057
其中σ是非线性激活函数，比如LeakyReLU，
Figure BDA0003058816340000058
是节点i和节点j在图神经网络第l层的原始注意力分数，
Figure BDA0003058816340000059
是图神经网络第l层中的一个可学习的权重向量，
Figure BDA00030588163400000510
和
Figure BDA00030588163400000511
分别是图神经网络第l层针对节点i和其邻域内节点j的线性变换矩阵，||是连接操作；
Step2.计算节点间的注意力分数，对于相邻节点i和j，它们在图神经网络第l层的注意力分数计算方法如下：
Figure BDA0003058816340000061
其中
Figure BDA0003058816340000062
是节点i和节点j在图神经网络第l层的注意力分数，N(i)是节点i的邻域内节点的集合；
Step3.如图4所示，在图神经网络中利用目标节点与其邻域内节点的注意力分数来聚合目标节点的邻域节点在上一层图神经网络中生成的节点表示，进而生成本层图神经网络中目标节点的表示；
所述多层次门控机制，包括以下步骤：
Step1.计算不同层节点表示的门，其计算方法如下：
Figure BDA0003058816340000063
其中Μ是权重矩阵，b是方差向量，σ是激活函数，比如LeakyReLU，
Figure BDA0003058816340000064
是节点v在图神经网络第l层生成的节点表示，
Figure BDA0003058816340000065
则是节点v在图神经网络第l层生成的节点表示的门；
Step2.如图3所示，通过门控制节点在图神经网络不同层生成的节点表示的结合，来计算出图网络中每个节点的最终表示，以两层图神经网络为例，节点v的最终表示计算方法如下：
Figure BDA0003058816340000066
其中Zv是节点v的最终向量表示。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种归纳多层次图网络表示学习方法，其特征在于，包括以下步骤：首先通过在多层图神经网络中引入注意力机制来控制节点邻域的聚合，再通过多层次门控机制控制图神经网络每一层生成的节点表示来学习图网络节点的最终表示；
所述多层图神经网络用于将目标接节点邻域的表示聚合得到目标节点新的表示；
所述注意力机制用于通过学习图网络中节点间的注意力分数来权衡节点间的相关性；
所述多层次门控机制用于通过控制多层图神经网络根据每层学习到的节点表示对目标节点最终表示的影响来生成图网络中节点的最终表示。
2.根据权利要求1所述的一种归纳多层次图网络表示学习方法，其特征在于，所述多层图神经网络还使用特定的聚合方式聚合目标节点邻域的信息，首先以整个图网络节点的特征矩阵作为节点的初始表示进行聚合得到节点新的表示，再将节点新的表示进行聚合，如此反复使得目标节点聚合到更远的邻域的信息。
3.根据权利要求1所述的一种归纳多层次图网络表示学习方法，其特征在于，所述注意力机制，在图神经网络为目标节点聚合邻域中节点的信息时，通过学习图网络中节点间的注意力分数来权衡邻域中各个节点对目标节点表示的重要程度，使用注意力分数使邻域中对目标节点表示的更重要的节点得到更好的表达。
4.根据权利要求1所述的一种归纳多层次图网络表示学习方法，其特征在于，所述多层次门控机制，通过多层次门控机制控制多层图神经网络每层学习到的节点表示对目标节点最终表示的影响来生成图网络中节点的最终表示，即不同跳邻域对目标节点最终表示的影响。
5.根据权利要求2所述的一种归纳多层次图网络表示学习方法，其特征在于，所述聚合方式包括均值聚合和注意力聚合。
CN202110506974.7A 2021-05-10 2021-05-10 一种归纳多层次图网络表示学习方法 Pending CN113095489A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110506974.7A CN113095489A (zh) 2021-05-10 2021-05-10 一种归纳多层次图网络表示学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110506974.7A CN113095489A (zh) 2021-05-10 2021-05-10 一种归纳多层次图网络表示学习方法

Publications (1)

Publication Number Publication Date
CN113095489A true CN113095489A (zh) 2021-07-09

Family

ID=76665182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110506974.7A Pending CN113095489A (zh) 2021-05-10 2021-05-10 一种归纳多层次图网络表示学习方法

Country Status (1)

Country Link
CN (1) CN113095489A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117454986A (zh) * 2023-12-19 2024-01-26 中国电子科技集团公司第十研究所 一种可交互学习的业务专家思维数字化及动态演进系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117454986A (zh) * 2023-12-19 2024-01-26 中国电子科技集团公司第十研究所 一种可交互学习的业务专家思维数字化及动态演进系统
CN117454986B (zh) * 2023-12-19 2024-03-19 中国电子科技集团公司第十研究所 一种可交互学习的业务专家思维数字化及动态演进系统

Similar Documents

Publication Publication Date Title
Ren et al. A modified Elman neural network with a new learning rate scheme
CN108764540B (zh) 基于并行lstm串联dnn的供水管网压力预测方法
CN109995851A (zh) 基于深度学习的内容流行度预测及边缘缓存方法
CN110245390B (zh) 一种基于rs-bp神经网络的汽车发动机油耗预测方法
CN110929958A (zh) 基于深度学习参数优化的短时交通流量预测方法
CN108564166A (zh) 基于带对称跨层连接的卷积神经网络半监督特征学习方法
Zhang et al. Evolving neural network classifiers and feature subset using artificial fish swarm
CN111353534B (zh) 一种基于自适应分数阶梯度的图数据类别预测方法
CN107273922A (zh) 一种面向多源实例迁移学习的样本筛选和权重计算方法
CN114266351A (zh) 基于无监督学习时间编码的脉冲神经网络训练方法及系统
CN110399917B (zh) 一种基于超参数优化cnn的图像分类方法
CN114708479B (zh) 一种基于图结构和特征的自适应防御方法
CN103824285B (zh) 一种基于蝙蝠优化模糊聚类的图像分割方法
CN113095489A (zh) 一种归纳多层次图网络表示学习方法
CN109800517A (zh) 一种改进的磁流变阻尼器逆向建模方法
Zhang et al. The WuC-Adam algorithm based on joint improvement of Warmup and cosine annealing algorithms
Li Research on Bank Credit Risk Assessment Based on BP Neural Network
CN111414927A (zh) 一种海水水质评价的方法
CN115619563A (zh) 一种基于神经网络的股票价格分析方法
TW202232431A (zh) 神經網路之自適應調節批量大小的訓練方法
CN107274356A (zh) 一种自适应的灰度图像增强系统
Fan et al. Convergence analysis for sparse Pi-sigma neural network model with entropy error function
Wang et al. Short term load forecasting: A dynamic neural network based genetic algorithm optimization
CN112990285A (zh) 一种面向大规模图结构的简化攻击方法
Sarkar et al. An incremental pruning strategy for fast training of CNN models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210709