CN114723037A - 一种聚合高阶邻居节点的异构图神经网络计算方法 - Google Patents

一种聚合高阶邻居节点的异构图神经网络计算方法 Download PDF

Info

Publication number
CN114723037A
CN114723037A CN202210177176.9A CN202210177176A CN114723037A CN 114723037 A CN114723037 A CN 114723037A CN 202210177176 A CN202210177176 A CN 202210177176A CN 114723037 A CN114723037 A CN 114723037A
Authority
CN
China
Prior art keywords
node
nodes
meta
graph
subgraph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210177176.9A
Other languages
English (en)
Inventor
裴颂文
谭鑫媛
覃伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloud Network Suzhou Intelligent Technology Co ltd
University of Shanghai for Science and Technology
Original Assignee
Cloud Network Suzhou Intelligent Technology Co ltd
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloud Network Suzhou Intelligent Technology Co ltd, University of Shanghai for Science and Technology filed Critical Cloud Network Suzhou Intelligent Technology Co ltd
Priority to CN202210177176.9A priority Critical patent/CN114723037A/zh
Publication of CN114723037A publication Critical patent/CN114723037A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种聚合高阶邻居节点的异构图神经网络计算方法，包括：S1、引入目标节点基于元路径的k阶邻居子图；S2、根据邻居节点在k阶邻居子图中出现的频率计算其重要性，与池化层中的节点代表性形成组合分数；S3、通过该组合分数对k阶邻居子图进行下采样，并结合GCN学习目标节点的复杂结构特征；S4、使用注意力机制与HAN学习到的低阶语义信息进行融合，得到节点的最终表示。根据本发明，结合GCN生成了异构图高阶邻居节点中的复杂结构信息，实现了异构图节点在低维空间中的表示。

Description

一种聚合高阶邻居节点的异构图神经网络计算方法
技术领域
本发明涉及神经网络计算的技术领域，特别涉及一种聚合高阶邻居节点的异构图神经网络计算方法。
背景技术
图(Graph)作为计算机数据结构中的一种基础结构，相对其他数据结构更加灵活，因此常被用来描述和建模较为复杂的系统。对图进行多角度、多层次的分析能够帮助用户更深入地了解数据背后所隐含的内容，从而使其可以作用于各业务场景的后续任务中，如节点分类、链接预测、节点相似度分析、节点推荐等。图嵌入(Graph Embedding)将图数据转换到一个低维空间，在这个空间中图的结构信息和属性被最大限度地保留，能够解决图数据难以高效输入机器学习算法的问题。
目前存在的图嵌入方法可分为两类，即浅层嵌入学习和图神经网络。node2vec是较为典型浅层嵌入学习方法。图神经网络的概念是由M Gori等人首次提出的，该研究扩展了递归神经网络，使其应用于不规则的图数据，并做了进一步的阐述。随后，有大量关于图神经网络的研究出现。Wu等人将现有的图神经网络分为四类，即递归图神经网络、卷积图神经网络、图自动编码器、时空图神经网络。但是，大多数图神经网络模型都是针对同构图的神经网络。
近年来，越来越多的研究开始专注于挖掘异构图中的丰富信息。异构图中不同类型的边隐含着不同的语义，而聚合语义信息对异构图嵌入来说至关重要。常见的探索不同语义的方法有元路径、元关系、元图等。HGT通过基于元关系三元组分解每条边，使模型在捕获不同关系之间的模式时所用的参数更少或相等。Meta-GNN提出元图的概念，并以此定义目标节点在进行卷积时周围的感受野。由于在探索语义时受到元路径、元关系、元图等的限制，使得模型至多只能聚合目标节点一阶同类型邻居内所蕴含的信息。
池化操作在图像处理中展现出优越的能力，图池也随之发展起来。由于池化和上采样操作无法自然地使用到图数据上，Gao等人提出gPool和gUnpool，使编码器-解码器架构U-Nets应用于图嵌入。RepPool通过节点重要性和节点代表性这两个维度对图进行粗化，使得神经网络可以学习图的层次表示，并用于图分类任务上。KGCN-PL引入池化层得到邻居的差异化权值，实现知识图推荐。然而这些模型都是针对同构图的池化操作，很少有针对异构图的池化操作。
发明内容
针对现有技术中存在的不足之处，本发明的目的是提供一种聚合高阶邻居节点的异构图神经网络计算方法，结合GCN生成了异构图高阶邻居节点中的复杂结构信息，实现了异构图节点在低维空间中的表示。为了实现根据本发明的上述目的和其他优点，提供了一种聚合高阶邻居节点的异构图神经网络计算方法，包括：
S1、引入目标节点基于元路径的k阶邻居子图；
S2、根据邻居节点在k阶邻居子图中出现的频率计算其重要性，与池化层中的节点代表性形成组合分数；
S3、通过该组合分数对k阶邻居子图进行下采样，并结合GCN学习目标节点的复杂结构特征；
S4、使用注意力机制与HAN学习到的低阶语义信息进行融合，得到节点的最终表示。
优选的，包括语义学习阶段、结构学习阶段及信息融合阶段，所述语义学习阶段通过元路径聚合目标节点直接邻居的HAN模型，HAN将注意力机制用在了节点级和语义级两方面，分别学习节点和元路径的重要性。
优选的，所述结构学习阶段包括：
S11、通过构造目标节点的子图，使GCN通过卷积子图来实现节点嵌入；
S12、池化层通过重要性分数与代表性分数形成的组合分数选择节点；
S13、完成节点选择后，将根据所选节点生成一个池化后的粗子图，对粗子图进行卷积操作学习到图中更高阶的信息；
S14、使用GCN对原始子图和粗化后的子图进行学习，进而使用Max Pool对卷积后的结果进行降维。
优选的，信息融合阶段包括将得到目标节点的语义和拓扑结构，使用注意力机制将两者进行融合。
优选的，通过给定异构图一条具体的元路径，构造出一个基于该元路径的子图的集合，所述集合中的一个子图被定义为通过元路径与目标节点相连的k阶邻居所组成的图。
优选的，不同的元路径构造出不同的集合，即所有节点分别基于所有元路径的子图的集合，且子图仅包括与目标节点类型相同的邻居节点。
本发明与现有技术相比，其有益效果是：
(1)提出了一种基于元路径的构造节点高阶邻居子图的方法，及面向异构图的池化层，结合GCN生成了异构图高阶邻居节点中的复杂结构信息。
(2)一种能够聚合高阶邻居节点中复杂结构信息的异构图嵌入计算的方法，实现了异构图节点在低维空间中的表示。
(3)提出了基于元路径的高阶邻居子图和面向异构图的池化层池化层，采用GCN学习复杂的结构信息；其次采用HAN学习基于元路径的语义信息；最后通过注意力机制得到节点的嵌入表示，实现了异构图嵌入目的。
附图说明
图1为根据本发明的聚合高阶邻居节点的异构图神经网络计算方法的整体框架图；
图2为根据本发明的聚合高阶邻居节点的异构图神经网络计算方法的生成子图的过程图；
图3为根据本发明的聚合高阶邻居节点的异构图神经网络计算方法的结构学习阶段框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-3，一种聚合高阶邻居节点的异构图神经网络计算方法，包括：S1、引入目标节点基于元路径的k阶邻居子图；
S2、根据邻居节点在k阶邻居子图中出现的频率计算其重要性，与池化层中的节点代表性形成组合分数；
S3、通过该组合分数对k阶邻居子图进行下采样，并结合GCN学习目标节点的复杂结构特征；
S4、使用注意力机制与HAN学习到的低阶语义信息进行融合，得到节点的最终表示。
进一步的，包括语义学习阶段、结构学习阶段及信息融合阶段，所述语义学习阶段通过元路径聚合目标节点直接邻居的HAN模型，HAN将注意力机制用在了节点级和语义级两方面，分别学习节点和元路径的重要性。
进一步的，所述结构学习阶段包括：
S11、通过构造目标节点的子图，使GCN通过卷积子图来实现节点嵌入，元路径能够很好地描述图的异构性，基于不同元路径的子图将具有不同的语义。不同语义对目标节点的影响可能不同，在考虑结构性的同时也要考虑到异构性。所以在预处理过程中首先根据元路径p生成节点vi的k阶邻居的子图
Figure BDA0003520756790000051
该子图的节点集合为
Figure BDA0003520756790000052
边集合为
Figure BDA0003520756790000053
通过不同的元路径可以生成不同的子图
Figure BDA0003520756790000054
其中l是元路径的个数。通过以下公式将这些子图合并成gi-k，即目标节点vi基于不同元路径的k阶邻居子图，
Figure BDA0003520756790000055
Figure BDA0003520756790000056
其中，vi-k是gi-k中节点的集合，Ei-k是gi-k中边的集合。由于gi-k是根据元路径所生成的子图，所以gi-k中的每一个节点类型与目标节点类型相同。根据子图gi-k可以轻易得到邻接矩阵Ai-k，xi-k则在矩阵x中选取与vi-k对应的特征向量并组成新的矩阵；
S12、池化层通过重要性分数与代表性分数形成的组合分数选择节点，节点重要性：对目标节点而言，需要引入一个全局分数来评估它的重要性。一般来说，如果某邻居节点在目标节点的各个语义情况下都有出现，那么这个节点所包含的信息对目标节点而言更重要。因此，在生成目标节点子图的同时，需要计算子图中各节点的重要性，一个节点在同一目标节点基于不同元路径所捕获到的邻居集合中出现过几次，就给该节点赋值几分。若vj仅在
Figure BDA0003520756790000057
中出现过一次，则vj得1分；若vj在
Figure BDA0003520756790000058
都出现过，则vj得l分。用sem(vi)来表示节点vj的语义代表性，则：
Figure BDA0003520756790000059
如果一个节点的语义代表性得分较高，且其邻居的语义代表性得分也很高，则意味着该节点包含更丰富的信息，更为重要。具体地说，公式(6)与公式(7)描述了k阶邻居子图中节点重要性的计算。节点vj的重要性得分sj为：
Figure BDA0003520756790000061
其中，N(vj)是节点vj的直接邻居，m(vt)的定义如下：
Figure BDA0003520756790000062
其中，xt是节点vt的输入特征，即特征矩阵xi-k的第t行。m∈Rd是一个可学习的向量，将xt投影到m(vt)。
B.节点代表性：由于仅根据重要性选择节点可能会使所选节点局限于子图中的某些子结构，而忽略其他子结构，但这些具有偏向性的信息聚合已经在语义学习部分完成了。因此除节点重要性分数外，为了学习到更高阶的结构特征，还需要代表性分数使选取的节点覆盖更多子结构，即选取那些远离已选节点的节点，以此保证能学习到子图中更丰富结构信息。
在选择节点时需要对节点逐一进行选择。具体地说，假如已经选择了一组节点，其索引集表示为idx，则候选节点vj的代表性得分δj为：
Figure BDA0003520756790000063
其中，h(.)是测量vi于vj之间距离的函数，f(.)是定义vj与已选择的所有节点之间的距离函数。根据经验，将h(.)定义为vi于vj之间的最短路径，f(.)定义为vj与idx各节点的最小成对路径较为有效。因此，公式(9)可写作：
Figure BDA0003520756790000064
这使得越靠近已选节点的候选节点获得的代表性分数越低，而距离已选节点越远的候选节点获得的代表性分数越高。
C.节点选择算法：通过结合节点重要性分数与代表性分数，可以得到节点选择的分数γj：
γj＝g(sj,δj) (10)
其中，g(.)是组合重要性分数与代表性分数的函数，可以选择设置为线性组合、神经网络等。本专利设置γj＝sj*δj。
在进行节点选择时，首先计算重要性分数sj，并选取重要性分数最高的节点作为初始选择节点，其索引存入idx集合。其次，计算其余节点对已选节点vi(i∈idx)而言的代表性分数δj。接下来，将重要性分数与代表性分数合并得到γj，选择γj最大的节点vj,并将其索引存入idx中。将上述过程重复(α-1)次，节点将以贪婪算法的思想逐一进行选择，最终会得到包括初始选择节点在内共α个节点；
S13、完成节点选择后，将根据所选节点生成一个池化后的粗子图，对粗子图进行卷积操作学习到图中更高阶的信息；
S14、使用GCN对原始子图和粗化后的子图进行学习，进而使用Max Pool对卷积后的结果进行降维。
进一步的，信息融合阶段包括将得到目标节点的语义和拓扑结构，使用注意力机制将两者进行融合。
将最终的嵌入向量用于节点分类任务，并根据分类的结果对节点的嵌入向量表示进行训练，通过反向传播与早停法优化模型。
进一步的，通过给定异构图一条具体的元路径，构造出一个基于该元路径的子图的集合，所述集合中的一个子图被定义为通过元路径与目标节点相连的k阶邻居所组成的图，不同的元路径构造出不同的集合，即所有节点分别基于所有元路径的子图的集合，且子图仅包括与目标节点类型相同的邻居节点，为了保证图的连通性，基于元路径的子图中包括目标节点vi自己，下文将k阶同类型邻居子图简称为k阶邻居子图。
图2是生成目标节点vi的二阶邻居子图的过程，其中矩形表示类型为论文的节点，圆形表示类型为作者的节点；空心表示已被选择的节点，实心表示未被选择的节点。首先，目标节点vi基于元路径PAP得到一阶邻居子图
Figure BDA0003520756790000071
如图2(b)所示。令
Figure BDA0003520756790000072
并通过元路径PAP得到g'中各节点的一阶邻居子图
Figure BDA0003520756790000081
那么，目标节点vi基于元路径的PAP的二阶邻居子图，其实就是由vi,
Figure BDA0003520756790000082
与
Figure BDA0003520756790000083
共同组成的集合
Figure BDA0003520756790000084
即
Figure BDA0003520756790000085
如图2(c)所示。仅保留与目标节点同类型的邻居节点，最终得到基于元路径PAP的二阶同类型邻居子图如图2(e)所示。
根据以上定义，本专利所研究的问题是：给定一个异构图G＝(V,E)，其网络模式为TG(Q,R)，且存在Φ:V→Q,Ψ:E→R。P是在模式TG＝(Q,R)上定义的所有元路径的集合，p是P中某一条具体的元路径。通过不同元路径得到各个节点的k阶子图
Figure BDA0003520756790000086
的集合为Gsub.k。A表示图G的邻接矩阵，可通过V,E得到，X∈Rn*h表示图G的特征矩阵，其中n＝|V|，并假设每个节点都有h个特征。Asub.k表示节点基于元路径的k阶子图的邻接矩阵。那么，通过基于元路径的池化操作改进后的异构图嵌入可以表示为：
Z∈F(V,E,Q,R,P,Gsub.k,Asub.k,X) (2)
其中，模型所得到的嵌入向量z∈Rn*d，d是嵌入维度。
这里说明的设备数量和处理规模是用来简化本发明的说明的，对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上，但其并不仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.一种聚合高阶邻居节点的异构图神经网络计算方法，其特征在于，包括以下步骤：
S1、引入目标节点基于元路径的k阶邻居子图；
S2、根据邻居节点在k阶邻居子图中出现的频率计算其重要性，与池化层中的节点代表性形成组合分数；
S3、通过该组合分数对k阶邻居子图进行下采样，并结合GCN学习目标节点的复杂结构特征；
S4、使用注意力机制与HAN学习到的低阶语义信息进行融合，得到节点的最终表示。
2.如权利要求1所述的一种聚合高阶邻居节点的异构图神经网络计算方法，其特征在于，包括语义学习阶段、结构学习阶段及信息融合阶段，所述语义学习阶段通过元路径聚合目标节点直接邻居的HAN模型，HAN将注意力机制用在了节点级和语义级两方面，分别学习节点和元路径的重要性。
3.如权利要求2所述的一种聚合高阶邻居节点的异构图神经网络计算方法，其特征在于，所述结构学习阶段包括：
S11、通过构造目标节点的子图，使GCN通过卷积子图来实现节点嵌入；
S12、池化层通过重要性分数与代表性分数形成的组合分数选择节点；
S13、完成节点选择后，将根据所选节点生成一个池化后的粗子图，对粗子图进行卷积操作学习到图中更高阶的信息；
S14、使用GCN对原始子图和粗化后的子图进行学习，进而使用Max Pool对卷积后的结果进行降维。
4.如权利要求2所述的一种聚合高阶邻居节点的异构图神经网络计算方法，其特征在于，信息融合阶段包括将得到目标节点的语义和拓扑结构，使用注意力机制将两者进行融合。
5.如权利要求3所述的一种聚合高阶邻居节点的异构图神经网络计算方法，其特征在于，通过给定异构图一条具体的元路径，构造出一个基于该元路径的子图的集合，所述集合中的一个子图被定义为通过元路径与目标节点相连的k阶邻居所组成的图。
6.如权利要求5所述的一种聚合高阶邻居节点的异构图神经网络计算方法，其特征在于，不同的元路径构造出不同的集合，即所有节点分别基于所有元路径的子图的集合，且子图仅包括与目标节点类型相同的邻居节点。
CN202210177176.9A 2022-02-25 2022-02-25 一种聚合高阶邻居节点的异构图神经网络计算方法 Pending CN114723037A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210177176.9A CN114723037A (zh) 2022-02-25 2022-02-25 一种聚合高阶邻居节点的异构图神经网络计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210177176.9A CN114723037A (zh) 2022-02-25 2022-02-25 一种聚合高阶邻居节点的异构图神经网络计算方法

Publications (1)

Publication Number Publication Date
CN114723037A true CN114723037A (zh) 2022-07-08

Family

ID=82236317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210177176.9A Pending CN114723037A (zh) 2022-02-25 2022-02-25 一种聚合高阶邻居节点的异构图神经网络计算方法

Country Status (1)

Country Link
CN (1) CN114723037A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115130663A (zh) * 2022-08-30 2022-09-30 中国海洋大学 基于图神经网络和注意力机制的异质网络属性补全方法
CN117437234A (zh) * 2023-12-21 2024-01-23 四川云实信息技术有限公司 基于图神经网络的航片地物分类与变化检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115130663A (zh) * 2022-08-30 2022-09-30 中国海洋大学 基于图神经网络和注意力机制的异质网络属性补全方法
CN115130663B (zh) * 2022-08-30 2023-10-13 中国海洋大学 基于图神经网络和注意力机制的异质网络属性补全方法
CN117437234A (zh) * 2023-12-21 2024-01-23 四川云实信息技术有限公司 基于图神经网络的航片地物分类与变化检测方法
CN117437234B (zh) * 2023-12-21 2024-02-23 四川云实信息技术有限公司 基于图神经网络的航片地物分类与变化检测方法

Similar Documents

Publication Publication Date Title
CN111159425B (zh) 基于历史关系和双图卷积网络的时态知识图谱表示方法
CN111950594B (zh) 基于子图采样的大规模属性图上的无监督图表示学习方法和装置
CN107391512B (zh) 知识图谱预测的方法和装置
Ma et al. Image as set of points
CN114723037A (zh) 一种聚合高阶邻居节点的异构图神经网络计算方法
CN113255895B (zh) 基于图神经网络表示学习的结构图对齐方法和多图联合数据挖掘方法
CN108985298B (zh) 一种基于语义一致性的人体衣物分割方法
Zhou et al. FSAD-Net: Feedback spatial attention dehazing network
CN113486190A (zh) 一种融合实体图像信息和实体类别信息的多模态知识表示方法
CN113065974A (zh) 一种基于动态网络表示学习的链路预测方法
CN115688913A (zh) 一种云边端协同个性化联邦学习方法、系统、设备及介质
CN111967271A (zh) 分析结果的生成方法、装置、设备及可读存储介质
CN112508181A (zh) 一种基于多通道机制的图池化方法
CN112784118A (zh) 一种对三角形结构敏感的图中的社区发现方法和装置
CN115114421A (zh) 一种问答模型训练方法
CN114723583A (zh) 基于深度学习的非结构化电力大数据分析方法
CN116129286A (zh) 基于知识图谱的图神经网络遥感图像分类方法
CN115546589A (zh) 一种基于图神经网络的图像生成方法
CN114969234A (zh) 一种面向全量城市路网的向量表征方法
Yuan et al. Research on simulation of 3D human animation vision technology based on an enhanced machine learning algorithm
CN113554653A (zh) 基于互信息校准点云数据长尾分布的语义分割方法
CN113469270B (zh) 基于分解多目标差分进化超像素的半监督直觉聚类方法
CN115019342A (zh) 一种基于类关系推理的濒危动物目标检测方法
CN114792384A (zh) 融合高阶结构嵌入与复合池化的图分类方法及系统
CN114693873A (zh) 一种基于动态图卷积和注意力机制的点云补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination