CN113692591A - 节点消歧 - Google Patents

节点消歧 Download PDF

Info

Publication number
CN113692591A
CN113692591A CN201980095062.6A CN201980095062A CN113692591A CN 113692591 A CN113692591 A CN 113692591A CN 201980095062 A CN201980095062 A CN 201980095062A CN 113692591 A CN113692591 A CN 113692591A
Authority
CN
China
Prior art keywords
nodes
node
graph
input
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980095062.6A
Other languages
English (en)
Inventor
乔治·达苏拉斯
卢多维奇·多斯桑托斯
凯文·斯卡曼
阿拉丁·维尔莫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN113692591A publication Critical patent/CN113692591A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

一种用于根据图神经网络实现机器学习过程的数据处理系统，所述系统用于接收多个输入图，每个输入图具有多个节点，所述节点中的至少一些节点具有属性，所述系统用于：对于所述输入图中的至少一个图，确定所述多个节点中的一个或多个节点集合，每个集合中的节点具有相同的属性；对于每个集合，为所述集合的每个节点分配标签，使得集合中的每个节点具有与所述集合的其它节点不同的标签；对所述集合进行处理形成聚合值；以及使用以下内容作为输入实现所述机器学习过程：(i)除了所述集合之外的输入图和(ii)所述聚合值。所述系统提供了一种在通用图表示中的结构化数据的上下文中区分具有相同属性的对象的方法。

Description

节点消歧
技术领域
本发明涉及图神经网络，尤其涉及在这种网络中消除具有相同属性的节点的歧义。
背景技术
许多机器学习研究者认为学习正确表示的能力是近年来该领域取得巨大成功背后的主要原因。在诸如图像分析，自然语言处理和强化学习的领域中，开拓性的结果依赖于高效和灵活的深度学习架构，其能够将复杂的输入转换为简单的向量，同时保留其大部分有价值的特征。
图表示解决了通过局部聚合步骤将高维对象映射到简单向量的问题，以便执行机器学习任务，例如回归或分类。
研究图神经网络的使用的一些著作使用递归神经网络来表示无回路有向图，例如，在以下文献中所描述的那样：Alessandro Sperduti和Antonina Starita。“结构分类的监督神经网络(Supervised neural networks for the classification ofstructures)”，IEEE神经网络汇刊(IEEE Transactions on Neural Networks)，8(3):714-735，1997；以及Paolo Frasconi，Marco Gori和Alessandro Sperduti，“数据结构自适应处理的总体框架(A general framework for adaptive processing of datastructures)”，IEEE神经网络汇刊，9(5):768-786，1998。
更一般的图神经网络在如下文献中描述：Marco Gori，Gabriele Monfardini和Franco Scarselli，“图域学习的新模型(A new model for learning in graphdomains)”，国际神经网络联合大会(Proceedings of the IEEE InternationalJointConference on Neural Networks)，2005，卷2，第729–734页。IEEE，2005和FrancoScarselli，Marco Gori，Ah Chung Tsoi，Markus Hagenbuchner和Gabriele Monfardini，“图神经网络模型(The graph neural network model)”，IEEE神经网络汇刊，20(1):61-80，2009。
这种通用方法通常可分为两类。首先，光谱方法，在如下文献中所描述：JoanBruna，Wojciech Zaremba，Arthur Szlam和Yann Lecun，“图上的频谱网络和本地连接网络(Spectral networks and locally connected networks on graphs)”，ICLR，2014；以及Mikael Henaff，Joan Bruna和Yann LeCun，“(图结构数据上的深度卷积网络)Deepconvolutional networks on graph-structured data”，arXiv preprint arXiv:1506.05163，2015。这些方法通过图拉普拉斯矩阵的谱分解在图的傅立叶域上执行卷积。然而，这些方法缺乏空间定位和高计算复杂度。第二类别包括基于通过局部迭代过程的邻居信息的聚合的方法。例如，消息传递神经网络(message passing neural network，简称MPNN)，在如下文献中所描述：Justin Gilmer，Samuel S Schoenholz，Patrick F Riley，Oriol Vinyals和George E Dahl，“量子化学神经消息传递(Neural message passing forquantum chemistry)”，ICML，2017；或者邻居聚合方案，在如下文献中所描述：Keyulu Xu，Weihua Hu，Jure Leskovec和Stefanie Jegelka，“图神经网络有多强大？(How powerfulare graph neural networks？)”，ICLR，2019。
该第二类包含大多数现有技术的图表示方法，包括DeepWalk(在如下文献中所描述：Bryan Perozzi，Rami Al-Rfou和Steven Skiena，“Deepwalk：社交表示的在线学习(Deepwalk:Online learning of social representations)”，国际数据挖掘与知识发现大会(Proceedings of the 20th ACM SIGKDD international conference on knowledgediscovery and data mining)，第701-710页，ACM，2014)，图注意力网络(graph attentionnetwork，GAT)(在如下文献中所描述：Petar Velickovic，Guillem Cucurull，ArantxaCasanova，Adriana Romero，Pietro Lio和Yoshua Bengio，“图注意力网络(Graphattention networks)”，ICLR，2018)；或者graphSAGE(在如下文献中所描述：WillHamilton，Zhitao Ying和Jure Leskovec，“大图上的归纳表示学习(Inductiverepresentation learning on large graphs)”，神经信息处理系统进展大会(Advancesin Neural Information Processing Systems)，第1024-1034页，2017)。
然而，由于节点属性的相似性使得它们难以被神经网络区分，因此这些过程可能遭受性能损失(例如，分类精度，回归损失或更一般地，机器学习任务的任何质量度量)。
因此，尽管它们的实际效率以及在图同构方面与Weisfeiler-Lehman测试强相关，但是诸如消息传递神经网络的技术可能不能够区分简单的图结构，因此可能不能充分地表达以在任何图机器学习任务上提供良好的性能。
希望能够对图神经网络中的节点进行歧义消除，以允许将它们准确地应用于任何机器学习任务。
发明内容
根据第一方面，提供了一种用于根据图神经网络实现机器学习过程的数据处理系统，所述系统用于接收多个输入图，每个输入图具有多个节点，所述节点中的至少一些节点具有属性，所述系统用于：对于所述输入图中的至少一个图，确定所述多个节点中的一个或多个节点集合，每个集合中的节点具有相同的属性；对于每个集合，为所述集合的每个节点分配标签，使得集合中的每个节点具有与所述集合的其它节点不同的标签；对所述集合进行处理形成聚合值和/或每个集合的聚合值；以及使用以下内容作为输入实现所述机器学习过程：(i)除了所述集合之外的输入图和(ii)所述聚合值和/或每个集合的所述聚合值。
所述系统提供了一种在通用图表示中的结构化数据的上下文中区分具有相同属性的对象的方法。使用标签在图神经网络中有效地分离具有相同属性的节点。使用所述方案对节点进行消歧允许非同构图的分离，并允许神经网络更好地识别每个节点并执行目标计算。
所述系统可以用于处理每个集合以通过使用置换不变函数处理所述集合中的每个节点的相邻节点，从而来形成聚合值。这可以允许来自节点本身及其邻居的信息的聚合。
所述置换不变函数可以是和、均值或最大值中的一个。可以使用其它方便的函数。
所述系统可以用于通过向所述节点分配权重来处理所述集合，其中，所述权重是神经网络的参数。这可以允许所述网络学习一组最佳权重。
所述系统还可以用于迭代更新所述权重。这可以提高准确度。
每个属性和/或标签可以是向量。每个标签可以是附加属性。每个标签可以是颜色。颜色可以表示为一个独热编码矢量，或者更一般地表示为任何有限的一组k元素。使用颜色作为标签可以在图神经网络中有效地分离具有相同属性的节点。
可以随机地将所述标签分配给所确定的节点。这可能是将标签分配给节点的有效方式。
根据第二方面，提供了一种用于在数据处理系统中根据图神经网络实现机器学习过程的方法，所述系统用于接收多个输入图，每个输入图具有多个节点，所述节点中的至少一些节点具有属性，所述方法包括：对于所述输入图中的至少一个图，确定所述多个节点中的一个或多个节点集合，每个集合中的节点具有相同的属性；对于每个集合，为所述集合的每个节点分配标签，使得集合中的每个节点具有与所述集合的其它节点不同的标签；对所述集合进行处理形成聚合值和/或每个集合的聚合值；以及使用以下内容作为输入实现所述机器学习过程：(i)除了所述集合之外的输入图和(ii)所述聚合值和/或每个集合的所述聚合值。
所述方法提供了一种在通用图表示中的结构化数据的上下文中区分具有相同属性的对象的方法。使用标签在图神经网络中有效地分离具有相同属性的节点。使用所述方案对节点进行消歧允许非同构图的分离，并允许神经网络更好地识别每个节点并执行目标计算。
可以处理每个集合以通过使用置换不变函数处理所述集合中的每个节点的相邻节点，从而来形成聚合值。这可以允许来自节点本身及其邻居的信息的聚合。
所述置换不变函数可以是和、均值或最大值中的一个。可以使用其它方便的函数。
所述方法还可以包括通过向所述节点分配权重来处理所述集合，其中，所述权重是神经网络的参数。这可以允许所述网络学习一组最佳权重。
所述方法还可以包括迭代更新所述权重。这可以提高准确度。
每个标签可以是颜色。颜色可以表示为一个独热编码矢量，或者更一般地表示为任何有限的一组k元素。使用颜色作为标签可以在图神经网络中有效地分离具有相同属性的节点。
可以随机地将所述标签分配给所确定的节点。这可能是将标签分配给节点的有效方式。
根据第三方面，提供了一种计算机程序，其在由计算机执行时使所述计算机执行上述方法。所述计算机程序可以被提供在非瞬时性计算机可读存储介质上。
附图说明
现将参考附图通过示例的方式对本发明进行描述。在附图中：
图1示出了数据处理系统的概览图，该系统将标签分配给相同的节点属性以消除它们的歧义。
图2示出了使用颜色来区分相同节点的迭代方法的示例。
图3示出了节点属性与分配的颜色的级联。
图4和5示出了将该技术应用于恶意软件分类任务。
图6示出了一种根据数据处理系统中的图神经网络实现机器学习过程的方法。
图7示出了数据处理系统的示例。
图8示出了在三个合成数据集上使用该方法来区分结构图特性的结果。
图9示出了在从标准社交网络(IMDBb和IMDBm)和生物信息学数据库(MUTAG、PROTEINS和PTC)中提取的五个现实世界图分类数据集上使用该方法的结果。
具体实施方式
本发明提出了一种解决图神经网络中节点歧义问题的技术方案。在此描述的系统可以学习结构化数据的表示，以便使用该数据执行机器学习(machine learning，简称ML)任务。系统计算消歧方案，以便在应用任何机器学习算法之前有效地分离相同的节点属性。
现在将描述具有节点属性的图的定义。考虑n个交互对象(例如，社交网络的用户)的数据集，其中每个对象
Figure BDA0003288269930000031
具有向量属性
Figure BDA0003288269930000032
并且是具有邻接矩阵
Figure BDA0003288269930000033
的无向图G中的节点。
具有m维节点属性的尺寸为n的图的空间由商空间定义：
Figure BDA0003288269930000034
其中，A是图的邻接矩阵，v包含图中每个节点的m维表示，置换矩阵集合
Figure BDA0003288269930000041
通过以下等式作用于(v,A)：
Figure BDA0003288269930000042
在图具有最大尺寸nmax的情况下，其中nmax是一个大的整数，这允许考虑不同尺寸的图上的函数，而不用获得无限维空间和无限复杂的函数，这些函数将不可能通过有限数量的样本来学习。因此Graphm定义如下：
Figure BDA0003288269930000043
本文所述的系统利用通用机器学习流水线来处理图中的结构化数据，使用标记方案来分离具有相同属性的节点，以及组合来自所有标记图的输出并返回单个输出的方法。该过程能够捕获比传统MPNN更复杂的结构图特征。
如图1的概述中所示，系统将标签分配给相同的节点属性以消除它们的歧义。属性可以是节点的任何质量、特征或特性。如101所示，首先识别相同的节点属性。在102处，将不同的标签(优选地表示为向量)附加到相同节点集合中的每个节点，使得所有(属性，标签)对不同。然后，如103所示，使用聚合方案来收集所有标记的图并返回可用于在104处所考虑的ML任务的单个输出值。
在一个实施例中，利用使用颜色作为标签来区分相同的节点属性以便区分非同构图的过程。在图2中更详细地示出了该优选实施方式的步骤。
该迭代方法包括以下步骤。在201处提供具有节点属性的图。在步骤202，系统首先将图的节点聚类成具有相同节点属性的节点集合。然后，对于每个集合，系统生成固定数量的颜色，每个颜色是随机颜色对集合中的每个节点的归属。在203处示出了随机数发生器，用于向每个节点随机分配颜色。对于每个颜色，每个节点将其属性与它所分配的颜色级联起来。优选地，将颜色随机地分配给节点。图3中示出了颜色级联。具有使用颜色302增强的节点属性301的图在这里被称为着色图。然后，使用相同的神经网络处理每个着色图，如204所示，包括邻居着色属性的几次迭代聚合。在205和206处，通过使用置换不变函数(诸如最大值或和)对所有着色图的神经网络的所有输出进行聚合来获得最终输出。通过基于梯度下降的优化算法训练模型，并对该方法的输出执行反向传播，以学习所考虑的ML任务的神经网络权重和最佳图表示，如207所示。
更确切地说，考虑n个节点的集合V，并对每个节点，考虑图G＝(V,E)连同特征向量
Figure BDA0003288269930000044
令d>。本方法计算图
Figure BDA0003288269930000045
上的投影，使得保持了与ML任务有关的重要关系。
全局工作流可以由以下内容表示：
Figure BDA0003288269930000046
该方法旨在学习神经网络权重，以便计算图的向量表示。标记方法不依赖于神经网络的权重或结构，而是通过将标记与节点的特征级联来消除节点表示的歧义。可以使用任何基于梯度下降的优化算法来学习权重，直到对于特定分配的ML任务达到足够精确的模型。
现在将针对标签是颜色的情况来描述该方法的每个步骤的数学公式。
在颜色生成/特征增强阶段中，对于任意
Figure BDA0003288269930000047
令Ck是k种颜色的集合。这k种不同颜色的集合优选随机均匀地选择。这些颜色可以表示为一个独热编码矢量(Ck是
Figure BDA0003288269930000048
的自然基础)或更一般地作为任何k个元素的有限集合。
将具有相同属性的节点分组到分区
Figure BDA0003288269930000049
中。然后，对于大小|Vk|的集合Vk，该集合的每个节点被赋予C|Vk|中的不同的颜色。更准确地说，图G＝(v,A)的颜色
Figure BDA0003288269930000051
的集合定义如下：
Figure BDA0003288269930000052
因此，对于每种颜色c∈Ck，节点表示用其与颜色级联的节点属性初始化：
Figure BDA0003288269930000053
在聚合和组合方案中，每个局部聚合步骤将一对
Figure BDA0003288269930000054
为输入，其中
Figure BDA0003288269930000055
是节点i的表示，
Figure BDA0003288269930000056
是节点i的邻居的向量表示的集合。
m维节点属性的节点邻居集合定义如下：
Figure BDA0003288269930000057
其中置换矩阵
Figure BDA0003288269930000058
的集合通过P·v＝Pv对
Figure BDA0003288269930000059
施加作用。
设计通用邻居表示的主要困难在于，如等式(6)中所定义的节点邻居相对于相邻节点属性是置换不变的，因此需要置换不变表示。本文所述的神经网络是具有多层感知器(multilayer perceptron，简称MLP)的可分离置换不变网络，该多层感知器聚合来自节点本身及其邻居的信息。该网络定义如下：
Figure BDA00032882699300000510
其中，ψ和
Figure BDA00032882699300000511
是具有连续的非多项式激活函数的MLP。
在颜色聚合阶段中，对于在前一步骤中所有生成的颜色
Figure BDA00032882699300000512
使用神经网络聚合增强的特征向量(即，节点的属性与其相应颜色的级联)：
Figure BDA00032882699300000513
这个函数是一个通用的邻居表示。
在颜色读出阶段，从聚合中，使用系数方式置换不变函数(例如最大值)来选择变换的增强矢量。例如：
Figure BDA00032882699300000514
其中，ψ是具有连续非多项式激活函数的MLP。
因此，该步骤在所有可能的颜色上执行最大值(或其它函数)，以便获得最终的与颜色无关的图表示。为了通过级联保持稳定性，采用系数形式的最大值。
向量xG然后通过任何ML算法进行处理，并且使用反向传播来更新神经网络的权重。
当在每个节点上执行局部迭代步骤T次时，聚合的复杂度取决于所考虑的节点的邻居的数目，复杂度与图的边的数目E以及步骤的数目T成比例。此外，对每种颜色执行这种迭代聚合，并且算法的复杂度也与选择的颜色的数目k＝|Ck|成比例。因此，算法的复杂度在于O(kET)。
上述方法可以由诸如服务器或服务器的组合之类的数据处理系统或诸如蜂窝通信设备之类的便携式设备来执行。该系统可以根据图神经网络实现机器学习过程。该系统可以具有输入(例如，内部输入或网络输入)，由此它可以接收多个输入图。每个图可以具有多个节点，这些节点中至少一些节点可以具有属性。在接收到图之后，该系统可针对至少一个输入图来确定该图的节点的一个或多个集合。可以确定该集合，使得该集合的部分或全部节点具有相同的属性。然后，对于这些集合中的每一个，系统可以向它们的节点中的每一个分配标签。可以选择节点，使得集合的每个节点具有与该集合的其它节点不同的标签。然后，系统可以处理这些集合以形成用于所有集合的聚合值，或者一系列聚合值，每个集合的聚合值。然后，系统可以使用以下内容作为输入来实现机器学习过程：(i)除了所述集合之外的输入图和(ii)其已经形成的所述聚合值或每一个所述聚合值。这种方法可以简化图的处理。
本文所述的系统和方法可应用于需要使用数据处理的许多技术领域。例如，在电信领域中，要处理的许多数据集被构造为图。一些示例包括用于恶意软件识别的过程执行图，用于无线应用的切换图，诸如在单个基站上的业务预测，或无线基站的参数调谐。可以使用图的其它领域包括蛋白质相互作用，社交网络中的自我中心网络以及推荐系统的用户物品对。图特征的回归可用于例如学习社交网络或通信网络的缺失信息，或用于诸如天气预报的区域中的时间数据的回归。
图4和5示出了将该技术应用于恶意软件分类任务。事件序列由软件程序执行(例如，应用编程接口(application programming interface，简称API)调用)生成，并且需要决定该软件是否是恶意软件。
这种事件序列可以被格式化为执行图，其中API(对于该特定示例)是节点属性，如图4和5所示。在这些图中，执行轨迹被格式化为执行图。在这种情况下，有六个节点401-406。将节点划分为四组节点，V0,V1,V2,V3，分别在图5中的501、502、503和504处示出。
因为除V3外所有组具有等于一的基数，在这种情况下，仅在组V3中的节点404、405和406上使用前述的颜色产生程序采样颜色。该过程允许V3中的所有节点进行区分。然后遵循先前描述的一般数学方法。模型的输入是API的表示，其可以是独热编码的，或者来自另一算法(例如，Word2vec表示)。然后，该方法输出用于学习分类器的向量，以预测软件是否是恶意软件。
图6概括了一种用于在数据处理系统中根据图神经网络实现机器学习过程的方法，该系统用于接收多个输入图，每个输入图具有多个节点，这些节点中的至少一些节点具有属性。对于输入图的至少一个图，该方法包括：步骤601，确定多个节点中的一个或多个节点集合，每个集合的节点具有相同的属性。步骤602，该方法包括，对于每个集合，为该集合的每个节点分配标签，使得集合的每个节点具有与该集合的其它节点不同的标签。步骤603，该方法包括处理这些集合以形成聚合值。步骤604，该方法包括使用以下内容作为输入来实现机器学习过程：(i)除了所述集合之外的输入图和(ii)所述聚合值。
图7示出了用于实现上述网络及其相关组件的数据处理系统700的示意图。该系统可以包括处理器701和非易失性存储器702。该系统可以包括一个以上的处理器和一个以上的存储器。存储器可以存储可由处理器执行的数据。处理器可用于根据以非瞬时性形式存储在机器可读存储媒体上的计算机程序来运行。计算机程序可以存储用于使处理器以此处描述的方式执行其方法的指令。组件可以在物理硬件中实现，或者可以部署在各种边缘或云设备上。
在图8和9中示出了两组实验的结果，这两组实验用于将这里描述的方法与监督学习设置中的现有技术方法进行比较。两组实验遵循与如下文献所述的同样的协议：KeyuluXu，Weihua Hu，Jure Leskovec和Stefanie Jegelka，“图神经网络有多强大？(Howpowerful are graph neural networks？)”，ICLR，2019(具有网格搜索超参数优化的10倍交叉验证(10-fold cross validation with grid search hyper-parameteroptimization))。
图8中示出了通过在三个合成数据集上使用本方法(CLIP)来区分结构图性质的结果。图性质是在图同构下闭合的一组图。对照图同构网络(Graph Isomorphism Network，简称GIN)评估该方法(如Keyulu Xu，Weihua Hu，Jure Leskovec和Stefanie Jegelka，“图神经网络有多强大？(How powerful are graph neural networks？)”，ICLR，2019)用于三种不同结构性质的二元分类的性能，即，连通性，二分性和三角形无关性。
图8中的表格示出了合成数据集的分类精度。对于k-CLIP，随机选择k>0的颜色用于CLIP模型的计算。这些结果表明，这里描述的方法在一些实现中能够捕获连通性、二分性和三角形无关性的结构信息。独热编码(相当于1-CLIP)可以提高精确度。此外，使用更多的颜色可以获得更好的精确度。在该实现中，对于少至k＝16种颜色，获得了高精度。
图9示出了在从标准社交网络(IMDBb和IMDBm)和生物信息学数据库(MUTAG、PROTEINS和PTC)中提取的五个现实世界图分类数据集上使用该方法的结果。根据这些数据集上的图分类的标准实践，作为节点属性的节点度的独热编码被用于IMDBb和IMDBm，并且对所有数据集执行单标签多类分类。
本方法(CLIP)与六种现有技术的基线算法进行了比较：Weisfeiler-Lehman(WL)子树内核(如Nino Shervashidze，Pascal Schweitzer，Erik Jan van Leeuwen，KurtMehlhorn和Karsten M Borgwardt，“Weisfeiler-lehman图内核(Weisfeiler-lehmangraph kernels)”，机器学习研究杂志(Journal of Machine Learning Research)，2011)；匿名步行嵌入(Anonymous Walk Embeddings，简称AWL)(如Sergey Ivanov和EvgenyBurnaev，“匿名步行嵌入(Anonymous walk embeddings)”，ICML，2018)；扩散-卷积神经网络(Diffusion-convolutional neural network，简称DCNN)(如James Atwood和DonTowsley，“扩散-卷积神经网络(Diffusion-convolutional neural networks)”，神经信息处理系统进展大会，2016)；Patchy-SAN(简称PS)(如Mathias Niepert，Mohamed Ahmed和Konstantin Kutzkov，“学习图的卷积神经网络(Learning convolutional neuralnetworks for graphs)”，国际机器学习学会(International conference on machinelearning)，2016)；深度图CNN(简称DGCNN)(如Muhan Zhang，Zhicheng Cui，MarionNeumann和Yixin Chen，“一种用于图分类的端到端深度学习架构(An end-to-end deeplearning architecture for graph classification)”，美国人工智能年会论文集(Proceedings of AAAI Conference on Artificial Intelligence)，2018)；以及GIN。WL和AWL是与SVM分类器耦合的无监督方法的代表，而DCNN、PS、DGCNN和GIN是四种深度学习架构。
图9示出了所比较的方法在基准数据集上的分类精度表。平均值的最佳性能获得者用星号突出显示。一种未配对t检验，相对于最佳性能获得者的渐近显著性为0.1，并以粗体突出显示差异，其不具有统计学显著性。
在该实现中，本方法(CLIP)在五个基准数据集中的三个获得最佳性能，并且在其它数据集中与竞争对手的性能相当。对于PTC数据集，本方法显著优于它的竞争者，这可能表明这种分类任务需要更多关于图的结构信息。在MUTAG和PTC上的大多数方法的高变化可能是由于图数量较少。
因此，本发明提供了一种在通用图表示中的结构化数据的上下文中区分具有相同属性的对象的方法。使用标签在图神经网络中有效地分离具有相同属性的节点。在实践中，该方法包括将不同的向量级联到类似的节点属性。使用该方案的节点消歧允许分离非同构图。
这里描述的方法允许神经网络更好地识别每个节点并执行目标计算。如实验结果所示，在一些实现中，该方法可以在经典数据集上实现现有技术的结果，并且可以分离任何非同构图对，从结构化数据中提取任何有价值的模式，并且在给定足够量的数据的情况下成功地学习任何机器学习任务。该方法可以计算图的复杂结构特征，例如三角形或其它小尺度模式的数量，这对于所考虑的机器学习任务可能是重要的。
该方法可应用于数据结构，例如具有节点属性的有向图或加权图，具有节点标签的图，具有边缘属性的图或在图级具有附加属性的图。
申请方在此单独公开本文描述的每一个体特征及两个或两个以上此类特征的任意组合。以本领域技术人员的普通知识，能够基于本说明书将此类特征或组合作为整体实现，而不考虑此类特征或特征的组合是否能解决本文所公开的任何问题；且不对权利要求书的范围造成限制。本申请表明本发明的各方面可由任何这类单独特征或特征的组合构成。鉴于前文描述可在本发明的范围内进行各种修改对本领域技术人员来说是显而易见的。

Claims (16)

1.一种用于根据图神经网络实现机器学习过程的数据处理系统，其特征在于，所述系统用于接收多个输入图，每个输入图具有多个节点，所述节点中的至少一些节点具有属性，所述系统用于：
对于所述输入图中的至少一个图：
确定所述多个节点中的一个或多个节点集合，每个集合中的节点具有相同的属性；
对于每个集合，为所述集合的每个节点分配标签，使得集合中的每个节点具有与所述集合的其它节点不同的标签；
对所述集合进行处理形成聚合值；以及
使用以下内容作为输入实现所述机器学习过程：(i)除了所述集合之外的输入图和(ii)所述聚合值。
2.如权利要求1所述的系统，其特征在于，所述系统用于处理每个集合以通过使用置换不变函数处理所述集合中的每个节点的相邻节点，从而来形成聚合值。
3.如权利要求2所述的系统，其特征在于，所述置换不变函数是和、均值或最大值中的一个。
4.如任一前述权利要求所述的系统，其特征在于，所述系统用于通过向所述节点分配权重来处理所述集合，其中，所述权重是神经网络的参数。
5.如权利要求4所述的系统，其特征在于，所述系统还用于迭代更新所述权重。
6.如任一前述权利要求所述的系统，其特征在于，每个属性和/或标签是向量。
7.如任一前述权利要求所述的系统，其特征在于，每个标签是颜色。
8.如任一前述权利要求所述的系统，其特征在于，所述标签随机分配给所确定的节点。
9.一种用于在数据处理系统中根据图神经网络实现机器学习过程的方法，其特征在于，所述系统用于接收多个输入图，每个输入图具有多个节点，所述节点中的至少一些节点具有属性，所述方法包括：
对于所述输入图中的至少一个图：
确定所述多个节点中的一个或多个节点集合，每个集合中的节点具有相同的属性；
对于每个集合，为所述集合的每个节点分配标签，使得集合中的每个节点具有与所述集合的其它节点不同的标签；
对所述集合进行处理形成聚合值；以及
使用以下内容作为输入实现所述机器学习过程：(i)除了所述集合之外的输入图和(ii)所述聚合值。
10.如权利要求9所述的方法，其特征在于，处理每个集合以通过使用置换不变函数处理所述集合的每个节点的相邻节点，从而来形成聚合值。
11.如权利要求10所述的方法，其特征在于，所述置换不变函数是和、均值或最大值中的一个。
12.如权利要求9至11中任一项所述的方法，其特征在于，所述系统用于通过向所述节点分配权重来处理所述集合，其中，所述权重是神经网络的参数。
13.如权利要求12所述的方法，其特征在于，所述方法还包括迭代更新所述权重。
14.如权利要求9至13中任一项所述的方法，其特征在于，每个标签是颜色。
15.如权利要求9至14中任一项所述的方法，其特征在于，所述标签随机分配给所确定的节点。
16.一种计算机程序，当由计算机执行时，所述计算机程序使得所述计算机执行权利要求9至15中任一项所述的方法。
CN201980095062.6A 2019-09-25 2019-09-25 节点消歧 Pending CN113692591A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/075796 WO2021058096A1 (en) 2019-09-25 2019-09-25 Node disambiguation

Publications (1)

Publication Number Publication Date
CN113692591A true CN113692591A (zh) 2021-11-23

Family

ID=68084809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980095062.6A Pending CN113692591A (zh) 2019-09-25 2019-09-25 节点消歧

Country Status (4)

Country Link
US (1) US20220215260A1 (zh)
EP (1) EP4028952A1 (zh)
CN (1) CN113692591A (zh)
WO (1) WO2021058096A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230341999A1 (en) * 2022-04-26 2023-10-26 Truist Bank Automated processing and dynamic filtering of content for display

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210287137A1 (en) * 2020-03-13 2021-09-16 Korea University Research And Business Foundation System for predicting optical properties of molecules based on machine learning and method thereof
US11551039B2 (en) * 2020-04-28 2023-01-10 Microsoft Technology Licensing, Llc Neural network categorization accuracy with categorical graph neural networks

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230341999A1 (en) * 2022-04-26 2023-10-26 Truist Bank Automated processing and dynamic filtering of content for display
US11907500B2 (en) 2022-04-26 2024-02-20 Truist Bank Automated processing and dynamic filtering of content for display
US11914844B2 (en) * 2022-04-26 2024-02-27 Truist Bank Automated processing and dynamic filtering of content for display
US11966570B2 (en) 2022-04-26 2024-04-23 Truist Bank Automated processing and dynamic filtering of content for display

Also Published As

Publication number Publication date
EP4028952A1 (en) 2022-07-20
WO2021058096A1 (en) 2021-04-01
US20220215260A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
Zhang et al. Weisfeiler-lehman neural machine for link prediction
Prajwala A comparative study on decision tree and random forest using R tool
Rossi et al. Deep inductive network representation learning
US20220215260A1 (en) Node disambiguation
Li et al. Modular community detection in networks
Liu et al. Deep neural network fusion via graph matching with applications to model ensemble and federated learning
Wasa Enumeration of enumeration algorithms
CN111737535A (zh) 一种基于元结构和图神经网络的网络表征学习方法
US9639598B2 (en) Large-scale data clustering with dynamic social context
McAuley et al. Faster Algorithms for Max-Product Message-Passing.
CN111080551B (zh) 基于深度卷积特征和语义近邻的多标签图像补全方法
CN115357904B (zh) 一种基于程序切片和图神经网络的多类漏洞检测方法
Kumar et al. A unified framework for optimization-based graph coarsening
CN108491505B (zh) 一种基于拓扑势值排序的dsatur图顶点着色方法
Fountoulakis et al. Exploiting optimization for local graph clustering
Van Lierde et al. Spectral clustering algorithms for the detection of clusters in block-cyclic and block-acyclic graphs
Van et al. The conjunctive disjunctive graph node kernel for disease gene prioritization
Xu et al. Randomized sampling-based fly local sensitive hashing
Saha et al. An approach to enhance the design of protein sequence classifier using data mining
Vasundara et al. Implementation of hybrid RS-ANN for spatial image classification
Ko et al. Deep model compression and inference speedup of sum–product networks on tensor trains
Carbone et al. Random projections for improved adversarial robustness
Arasteh et al. Community detection in complex networks using a new agglomerative approach
Nodehi et al. Estimation of multivariate wrapped models for data in torus
Feng et al. Energy-efficient and robust cumulative training with net2net transformation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination