CN115605876A - 边消息传递神经网络 - Google Patents

边消息传递神经网络 Download PDF

Info

Publication number
CN115605876A
CN115605876A CN202180019223.0A CN202180019223A CN115605876A CN 115605876 A CN115605876 A CN 115605876A CN 202180019223 A CN202180019223 A CN 202180019223A CN 115605876 A CN115605876 A CN 115605876A
Authority
CN
China
Prior art keywords
graph
data
edge
node
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180019223.0A
Other languages
English (en)
Inventor
A·扎沃若克夫
E·O·普丁
D·里欧诺夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insilicon Intelligent Technology Co ltd
Original Assignee
Insilicon Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insilicon Intelligent Technology Co ltd filed Critical Insilicon Intelligent Technology Co ltd
Publication of CN115605876A publication Critical patent/CN115605876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供了一种生成对象的图数据的方法，所述对象是物理对象、音频对象、文本对象或颜色对象。所述方法可以包括：处理具有边消息传递神经网络的图卷积层的至少一个对象的输入图数据，以获得所述图数据的节点数据和边数据的向量表示；用所述边消息传递神经网络的图池化层处理所述节点数据和边数据的向量表示，所述图池化层聚合所述节点数据的向量表示和所述边数据的向量表示，以产生所述输入图数据的向量表示；用所述边消息传递神经网络的多层感知机层处理所述输入图数据的向量表示，以生成预测对象的预测图数据；以及在报告中报告所述预测图数据。

Description

边消息传递神经网络
相关申请的交叉引用
本专利申请要求2020年3月11日提交的美国临时申请62/988,182的优先权，该临时申请通过具体引用整体并入本文。
背景技术
技术领域：
本公开涉及边消息传递神经网络。更具体地，本公开涉及使用边消息传递神经网络来生成图数据，例如由图数据表示的物理对象(例如，分子)、视觉对象(例如，颜色、图像、视频)或音频对象(例如，声音)等。
相关技术描述：
人工神经网络(ANN)是受生物神经网络启发的机器学习模型的一个子类。ANN包括人工神经元，可以将其配置为能够接收、处理和传输信号的简单连接单元或节点。通常，ANN的人工神经元接收表示为N维实值向量的输入信号，将其乘以在训练过程中调整的神经元权重，并使用应用的非线性函数(例如,双曲正切函数或修正线性单元(ReLU；例如定义为参数的正部分的函数))输出乘法结果的和。尽管简单，但当这些单元被组合到大型网络中时，可以用于解决复杂的人工智能任务，例如回归、分类和生成任务。每个ANN都具有输入层、隐藏层和输出层。具有一个或多个隐藏层的ANN称为深度神经网络(DNN)。简单的前馈DNN通常被定义为多层感知机(MLP)或全连接神经网络(FCNN)。
ANN需要机器学习才能在特定任务上获得良好的性能。这意味着网络应该归纳从独立测试子集的样本观察中获得的知识。这可以通过最小化聚合在损失函数中的观测误差来实现，用户手动选择损失函数，例如用于回归任务的均方误差或者用于分类任务的二元交叉熵。通常，基于随机梯度下降(SGD)的方法可用于最小化损失函数。在这种情况下，反向传播算法用于计算损失函数相对于训练样本的梯度。然后，ANN权重与梯度的负值成比例更新，其中手动选择的比例系数称为学习率。重复这个过程，直到模型收敛为止。验证步骤通常用于在不可见数据上评估模型性能或提前停止训练。在测试阶段，经训练的模型预测测试集中不可见样本的标签。
在全连接的ANN中，每个神经元连接到上一层的每个神经元。但是，将此架构应用于输入规模可能较大的任务(例如在图像处理中)是不合理的。与全连接的ANN相反，卷积神经网络(CNN)将卷积运算应用于输入数据。更准确地说，CNN具有固定大小的权重矩阵(例如，卷积核)，其在整个输入上移动一小步，并计算核权重与相应的输入信号的哈达玛积(Hadamard product)的和，并在每一步上应用非线性。
通常，应用池化来减小输入维度并加快训练过程。局部池化将从一层神经元网格(例如，通常为2x2)获得的输出组合成单个神经元到下一个层。全局池化结合了来自一个卷积层的所有神经元。通常，两种池化方法都将简单的置换不变函数应用于其输入，例如最大值，求和或平均值。
循环神经网络(RNN)使用其内部状态来处理输入序列。门控循环单元(GRU)通过利用传递到输出的信息的门控机制扩展RNN。GRU的主要属性是它们能够保留过去几个步骤的信息。
图可以指抽象的数学结构，它表示为一组顶点(节点)以及这些顶点之间的一组连接(边)。图神经网络(GNN)是对图结构化数据进行操作的ANN。
受CNN成功的启发，图卷积运算(GC)是图上卷积运算的扩展。例如，图像可以表示为图，其中像素是节点，并且每个像素通过边连接到其相邻像素。与CNN中的卷积类似，图卷积聚合了节点邻域信号，这些邻域信号是特定节点的相邻信号。应用图卷积运算的ANN称为卷积图神经网络(ConvGNN)。ConvGNN分为两大类：(1)基于谱的；和(2)基于空间的。
基于谱的ConvGNN起源于图信号处理。假设图是无向的，基于谱的ConvGNN引入图傅立叶变换和图傅立叶逆变换来定义图卷积。图傅立叶变换将图输入信号映射到具有从对称归一化图拉普拉斯矩阵的特征向量获得的基的正交空间。
基于空间的ConvGNN将特定节点的图卷积运算定义为其自身信号和相邻节点信号的聚合。尽管基于谱的ConvGNN具有强大的理论基础，但是基于空间的ConvGNN由于其效率、通用性和可扩展性而被优选。与基于谱的模型不同，基于空间的ConvGNN不需要计算图拉普拉斯矩阵及其分解，这通常是高代价的。而且，基于空间的ConvGNN不限于无向图，并且可以扩展以处理附加信息，例如边属性。
消息传递神经网络(MPNN)通过将图卷积视为两步操作以为ConvGNN引入一个通用结构。首先，将消息函数应用于特定节点及其k-跳邻域节点，然后更新函数(通常是置换不变函数)将来自这些邻域节点的聚合信息传送回所选节点。对于图级任务，例如图分类或图回归任务，通常应用读出函数(readout function)从节点表示中获取图表示。与CNN中的全局池化类似，此函数必须是置换不变的，因此通常称为全局图池化。通常，读出函数是节点信号的和、最大值或平均值。
发明内容
在一些实施例中，一种生成图数据的计算机实现的方法可以包括：用边消息传递神经网络的图卷积层处理输入图数据，以获得所述图数据的节点数据和边数据的向量表示；用所述边消息传递神经网络的图池化层处理所述节点数据和边数据的向量表示，所述图池化层聚合所述节点数据的向量表示和所述边数据的向量表示，以产生所述输入图数据的向量表示；用所述边消息传递神经网络的多层感知机层处理所述输入图数据的向量表示，以产生预测图数据；以及在报告中输出所述预测图数据。
在一些实施例中，提供了一种生成对象的图数据的计算机实现的方法，其中所述对象是物理对象、音频对象、文本对象或颜色对象。所述方法可以包括：用边消息传递神经网络的图卷积层处理至少一个对象的输入图数据，以获得所述图数据的所述节点数据和边数据的向量表示；用所述边消息传递神经网络的图池化层处理所述节点数据和边数据的向量表示，所述图池化层聚合所述节点数据的向量表示和所述边数据的向量表示，以产生所述输入图数据的向量表示；用所述边消息传递神经网络的多层感知机层处理所述输入图数据的向量表示，以生成预测对象的预测图数据；并在报告中输出所述预测图数据。
在一些实施例中，所述图卷积层的图神经网络编码器产生所述输入图的每个节点的向量表示和每个边的向量表示。
在一些实施例中，所述方法可以包括：处理所述输入图数据以产生所述图的每个节点的向量表示和每个边的向量表示。
在一些实施例中，所述方法可以包括：处理所述输入图数据以产生所述图的向量表示。
在一些实施例中，所述方法可以包括：处理所述输入图数据以产生所述图的每对节点的向量表示。
在一些实施例中，所述方法可以包括：处理所述输入图数据以产生所述图的每对边的向量表示。
在一些实施例中，所述方法可以包括：用所述图神经网络编码器根据以下各项中的至少一项处理所述输入图数据：节点消息神经网络基于相邻节点对的每个节点的向量表示和连接该相邻节点对的每个边的向量表示，产生每个相邻节点对的向量表示；节点更新神经网络基于节点表示和由所述节点及其相邻节点形成的节点对的消息向量来产生所述节点的向量表示；边消息神经网络基于每对相邻边的每个边的向量表示和所述每对相邻边的公共节点的向量表示来产生所述每对相邻边的向量表示；或者，边更新神经网络基于节点表示和由边及其相邻边形成的边对的消息向量来产生所述边的向量表示。
在一些实施例中，图池化层聚合所述节点的向量表示和所述边的向量表示以产生所述输入图的向量表示。
在一些实施例中，所述节点更新神经网络被配置为用于求和、最大值或平均值中的一者。
在一些实施例中，所述节点更新神经网络被配置为用于加权和，包括基于注意力的加权和。
在一些实施例中，所述节点更新神经网络是循环神经网络。
在一些实施例中，所述边更新神经网络被配置为用于求和、求最大值或求平均值中的一个。
在一些实施例中，所述边更新神经网络被配置为用于加权和，包括基于注意力的加权和。
在一些实施例中，所述边更新神经网络是循环神经网络。
在一些实施例中，EMPNN包括从随机噪声产生图的发生器。
在一些实施例中，所述至少一个对象是图片(例如，颜色对象)、文本(例如，文本对象)、分子(例如，物理对象)、声音(例如，音频对象)、视频(例如，系列颜色对象和可选地声音对象)，或其他对象。
在一些实施例中，图卷积层模块可以执行：用转换操作处理所述输入图数据；将所述输入图边转换为新的节点；构造新的边以获得结果图数据；以及对所述结果图数据应用消息传递协议。
在一些实施例中，所述图池化层模块执行：接收边特征和节点特征作为向量；以及执行所述向量的图嵌入以产生新的图数据的向量表示。
在一些实施例中，提供了一种准备提供对象的方法。在一些方面，对象是物理对象、音频对象、文本对象或颜色对象。所述方法可以包括：获取预测图数据；将所述预测图数据准备成预测对象，其中所述预测对象是物理对象、音频对象、文本对象或颜色对象。
在一些实施例中，计算机系统可以包括：一个或多个处理器；以及存储指令的一个或多个非暂时性计算机可读介质，所述指令响应于由所述一个或多个处理器执行，使得所述计算机系统执行操作。在一些方面，所述操作可以包括：用边消息传递神经网络的图卷积层处理输入图数据以获得所述图数据的节点数据和边数据的向量表示；用所述边消息传递神经网络的图池化层处理所述节点数据和边数据的向量表示，所述图池化层聚合所述节点数据的向量表示和所述边数据的向量表示以产生所述输入图数据的向量表示；用所述边消息传递神经网络的多层感知机层处理所述输入图数据的向量表示，以产生预测图数据；以及在报告中输出所述预测图数据。
在一些实施例中，提供了存储指令的一个或多个非暂时性计算机可读介质，所述指令响应于由所述一个或多个处理器执行，使得所述计算机系统执行操作。所述操作可以包括：用边消息传递神经网络的图卷积层处理输入图数据，以获得所述图数据的节点数据和边数据的向量表示；用所述边消息传递神经网络的图池化层处理所述节点数据和边数据的向量表示，所述图池化层聚合所述节点数据的向量表示和所述边数据的向量表示，以产生所述输入图数据的向量表示；用所述边消息传递神经网络的多层感知机层处理所述输入图数据的向量表示，以产生预测图数据；以及在报告中输出所述预测图数据。
前述发明内容仅是说明性的，并且不旨在以任何方式进行限制。除了前述说明性的方面、实施例和特征之外，通过参考附图和以下详细描述，其他方面、实施例和特征将变得显而易见。
附图说明
结合附图，从下面描述和所附权利要求中，本公开的前述和以下信息以及其他特征将变得完全显而易见。应当理解，这些附图仅描绘了根据本公开的几个实施例，并且因此不被认为是对其范围的限制，将通过使用附图以额外的特征和细节来描述本公开。
图1A包括提出的边消息传递神经网络的模型架构的示意图。所有模块都按顺序应用于输入图。
图1B包括示出由图卷积层模块执行的方法的流程图。首先，所述图卷积层模块从每个输入图构造线图(line graph)。然后，所述图卷积层模块在输入图和相应的线图上应用消息传递过程。
图1C包括示出由图池化层模块执行的方法的流程图。所述图池化层模块接收节点表示和边表示，将它们聚合成两个向量并连接这些向量。
图1D包括边消息传递神经网络的实施例的示意图。
图2包括边消息传递神经网络的模型训练过程的流程图。
图3包括使用边消息传递神经网络准备预测标签的过程的流程图。
图4包括图卷积层的消息传递层的流程图。
图5包括图池化层的流程图。
图6包括可执行本文所述的计算机实现方法的计算系统的示意图。
附图中的元件和组件可以根据本文描述的实施例中的至少一个来布置，并且该布置可以由本领域普通技术人员根据本文提供的公开内容进行修改。
具体实施方式
在下面的详细描述中，参考构成本发明一部分的附图。在附图中，除非上下文另有指示，否则相似的符号通常标识相似的组件。在具体实施方式、附图和权利要求中描述的说明性实施例并不意味着是限制性的。在不脱离本文所呈现的主题的精神或范围的情况下，可以利用其他实施例，并且可以进行其他改变。容易理解的是，如本文一般描述的和在附图中示出的本公开的方面可以以各种不同的配置来布置、替换、组合、分离和设计，所有这些在本文中都被明确考虑。
一般地，本公开涉及一种边消息传递神经网络(EMPNN)，其被配置为接收至少一个图的图数据并且基于所接收的图数据生成预测图数据，并且所述预测图数据与所接收的图数据不同。例如，所述图数据可以包括一个或多个分子，并且所述预测图数据可以基于输入分子提供与所述输入分子不同的一个或多个分子。由此，预测图数据(有时称为预测标签)可以类似于输入图数据，但是在某些方面与所述输入图数据不同。也就是说，与所述输入图数据相比，预测图数据可以是新的图数据。
图1A示出了实施例的边消息传递神经网络(EMPNN)100的架构。EMPNN 100示出为具有适用于对图数据执行操作的图输入模块102。图数据是一种抽象的数学结构，表示为一组顶点(节点)以及这些节点之间的一组连接(边)。因此，EMPNN 100可以被认为是GNN。图输入模块102可以对输入图数据执行例如存储、访问以及将图数据传递到图卷积层模块104的操作。
图卷积层模块104被配置为用作图卷积层以对所述图数据执行图卷积(GC)运算。GC运算可以包括对图数据的卷积运算的扩展。例如，图像可以表示为图，其中像素是节点，每个像素是连接到其相邻像素的边。GC运算聚合节点的邻域信号。所有模块都按顺序应用于所述输入图数据。
图卷积层模块104被配置为参与边消息传递120，如图1B所示。所述边消息传递可以包括处理输入图数据，使得进行以下转换操作(框122)：将输入图的边转换为节点(框124)；根据所述输入图中的边邻接矩阵构造新的边(框126)，以获得结果图；并将消息传递应用于所述结果图(框128)。因此，可以将与边对相关的信息传递给模型。
在一些方面，可以在图卷积层模块104中使用注意力机制来使其学习原子对之间的重要相互关系。可以制定节点和边更新来更新图数据。注意力机制允许ANN关注它认为更相关的输入信号的不同部分。在自然语言处理任务中取得成功后，该技术被广泛用于现代ANN。首先，图卷积层模块从每个输入图(框122、框124和框126)构造线图。然后，图卷积层模块将消息传递过程应用于输入图和对应的线图两者(框128)。
图池化层模块106可以被配置为执行边特征的处理，例如用于图1C的协议130。该处理可以包括图池化层模块106接收产生更准确的图嵌入的边特征和节点特征(框132)。通过执行图池化来构造图嵌入(框134)。然后，将所述图嵌入提供给MLP模块108。图池化层模块接收节点和边表示(框132)，将它们聚合成两组向量并连接这些向量(框134)。
如图1A所示，MLP模块可以被配置为前馈ANN，并且它可以具有多层感知机。每个感知机都是用于二元分类器的监督学习算法。二元分类器是可以决定由数字向量表示的输入是否属于某个特定类的函数。MLP可以包括至少三层节点：输入层、隐藏层和输出层。由于MLP是全连接的，因此一层中的每个节点都以一定的权重连接到下一层中的每个节点。除输入节点外，每个节点都是使用非线性激活函数的神经元。MLP使用称为反向传播的监督学习技术进行训练。它的多层和非线性激活将MLP与线性感知机区分开来，并且可以区分非线性可分的数据。
如果多层感知机在所有神经元中都具有线性激活函数，即将加权后的输入映射到每个神经元输出的线性函数，则线性代数表明,任意数量层都可以简化为两层输入-输出模型。在MLP中，一些神经元使用非线性激活函数，该函数被开发用于模拟生物神经元的动作电位或放电的频率。通过在处理每条数据后根据输出中与预期结果相比的误差量来更改连接权重，从而在感知机中进行学习。这是监督学习的一个示例，并且是通过反向传播(线性感知机中的最小均方算法的推广)进行的。
MLP模块108的输出可以是新的图数据(例如，预测标签)的预测。输出的预测可以被提供给预测模块110。预测模块110可以利用预测的新的图数据来控制各种数据处理动作的执行，例如在显示器上显示、保存到数据库、编译到报告、提供报告、传输到另一模块或任何其他动作。预测模块110可以提供所述新的图数据，例如分子，使得分子的化学结构已知。然后，可以确定并执行分子的合成以产生真实的示例分子。
图1D示出了图1A的边消息传递神经网络(EMPNN)100的实施例。如图所示，图卷积层模块104可以包括图神经网络编码器104a、节点消息神经网络(NN)104b、节点更新函数神经网络104c、边消息神经网络104d和边更新神经网络104e。
图2示出了可以用于训练模型的训练方法200。如图所示，在框202处提供图数据，并将其处理成节点数据(框204)、边数据(框206)和真实标签(框208)。可以在框210处通过节点消息传递处理节点数据204，可以迭代执行L次，其中L是合理的数量。可以在框212处通过边消息传递处理边数据206，可以迭代执行L次，其中L是合理的数量并且可以与节点消息传递210的L次迭代不同。在一些实例中，可以对所述图数据执行转换。节点数据204可以转换成边数据并用边消息传递212进行处理。边数据206可以转换成节点数据并用节点消息传递210进行处理。消息传递可以执行L次迭代。
然后可以用边注意力机制214处理边数据206和来自边消息传递212的数据。可以在图卷积层中使用边注意机制214以使其学习原子对之间的重要相互关系。边注意力机制214的结果被提供给节点消息传递210，这可以是每一次迭代的一部分。
然后可以处理来自节点消息传递210和边消息传递212的输出以用于全局图池化216。可以通过全局图池化216获得图嵌入，并且被提供给MLP 218(例如，DNN)。然后，MLP218可以提供预测标签220的特定输出。然后可以将预测标签220与真实标签218进行比较以计算损失222。
在一些实施例中，使用Adam优化器利用SGD算法执行训练。对于SGD的每一次迭代，执行以下步骤(步骤1)：(a)将数据集分成训练集、验证集和测试集；(b)对表示为图的小批量分子进行采样；(c)必要时对采样的图进行一些转换；(d)对节点和边执行消息传递步骤；(e)重复步骤(d)L次；(f)通过提出的全局图池化获得图嵌入；(g)添加图级特征(如果存在)；(h)应用DNN以获得特定输出；(i)在步骤(f)或步骤(g)或步骤(h)中计算真实标签和预测标签之间的损失；(j)使用来自(i)的损失执行梯度下降步骤。步骤(1d)-步骤(1i)如图2所示。然后，协议可以在验证集上评估模型(步骤2)。然后，可以根据选择的策略调整学习率(步骤3)。如果目标指标(target metric)在n个训练周期(epoch)之后没有改善，则协议可以停止训练过程(步骤4)。可以通过重复步骤(1)-步骤(4)来重复该协议，直到收敛。然后可以在测试集上对模型进行评估以获得最终指标。然后，可以提供具有最终指标和/或经训练的模型的报告。报告可以是任何类型的报告。
在一些实施例中，所述嵌入是离散变量的连续向量表示。
图3示出了获得预测标签(例如，对象)的方法300，该预测标签是来自输入图数据的预测图数据。方法300可以包括以下内容。如图所示，在框202处提供图数据并将其处理成节点数据(框204)和边数据(框206)。可以在框210处通过节点消息传递来处理节点数据204，可以迭代执行L次，其中L是合理的数量。可以在框212处通过边消息传递来处理边数据206，可以迭代执行L次，其中L是合理的数量并且可以与节点消息传递210的L次迭代不同。在一些实例中，可以对所述图数据执行转换。节点数据204可以被转换成边数据并利用边消息传递212进行处理。边数据206可以被转换成节点数据并利用节点消息传递210进行处理。消息传递可以执行L次迭代。
然后可以用边注意力机制214处理边数据206和来自边消息传递212的数据。可以在图卷积层中使用边注意机制214以使其学习原子对之间的重要相互关系。边注意力机制214的结果被提供给节点消息传递210，其可以是每一次迭代的一部分。
来自节点消息传递210和边消息传递212的输出随后可被处理以用于全局图池化216。可以通过全局图池化216获得所述图嵌入，并且被提供给MLP 218(例如，DNN)。然后，MLP218可以提供预测标签220的特定输出。
在一些实施例中，预测标签的确定(其是预测标签的预测图数据)可以利用经训练的模型来执行，例如根据图2。可以通过以下步骤(步骤1)执行图数据的预测标签的生成：(a)对表示为图的小批分子进行采样；(b)在必要时对采样的图进行一些转换；(c)对节点和边执行消息传递步骤；(d)重复步骤(d)L次；(e)通过提出的全局图池获得图嵌入；(f)添加图级特征(如果存在)；(g)应用DNN以获得特定的输出。步骤(1a)-步骤(1g)如图3所示。使用图3所示的过程执行表示为图的分子的分子特性的预测。
图4示出了图卷积层模块104(诸如消息传递层)的操作400。如箭头所示，节点特征402被转换为边特征并应用边消息传递(框412)。在框404处应用节点邻接矩阵并且从其中获得信息，并且在框414处应用节点消息传递。此外，如箭头所示，边特征408被转换为节点特征并应用节点消息传递(框414)。在框406处应用边邻接矩阵并且从其中获得信息，并且在框412处应用边消息。此外，获得边对特征(框410)，然后通过边消息传递412进行处理。使用注意力机制处理边特征408，以对原子对之间的相互关系进行学习。在框414处，利用节点消息传递处理来自注意力机制的信息。
然后，在框418处，由边消息传递处理来自边消息412的结果。然后，在框419处，执行边更新。然后，在框420处，应用非线性。然后，在框422处，获得边隐藏表示。
然后，在框424处，由节点消息传播(node message propagation)处理来自节点消息414的结果。然后，在框426处，执行节点更新。然后，在框428处，应用非线性化。然后，在框430处，获得节点隐藏表示。
图5示出了使用图池化层获得图向量表示的方法500。方法500示出了获得图数据502，然后获得节点特征504和边特征506。然后用以下步骤处理节点特征504和边特征506：在框508处线性化；在框510处非线性化；在框512处计算和；在框514处线性化；以及在框516处计算和。然后在框518处通过级联(concatenation)处理所述节点特征协议和所述边特征协议的和。在框520处，执行批归一化。批归一化(BN)是一种提高稳定性并加快训练过程的技术。它对一小部分(批量)数据应用归一化步骤，以固定层输入的均值和方差。然后获得图向量表示522。
图级回归和分类(例如，图级任务)是图结构化数据深度学习最常见的任务。GNN应用于分子特性预测和图像分类。更准确地说，可以使用像素聚类算法或仅通过连接相邻像素并馈送到GNN来将图像表示为图。例如，图分类任务是预测化合物是否有活性，图回归任务是预测化合物的对数溶解度(log-solubility)。所提出的模型可以应用于上述任务，并且可以扩展为合并图级特征(例如，连接到从GNN获得的图表示以进行进一步处理的各种分子描述符)。
边分类、边回归和链路预测(如边级任务)是在图表示学习中常见的边级任务。链路预测(Link prediction)是估计一对节点之间存在边的概率的任务。边分类是预测引用图中边的分类标签的任务。(例如，社交网络中两个用户之间的关系类型)。边回归是估计参考图中边的连续值的任务(例如在交通网络的情况下，两个路口之间的道路部分上的交通量)。链路预测是估计一对节点之间存在边的概率的任务。(例如，社交网络中两个用户之间存在关系)。与链接分类不同，在链路预测中真实结构是未知的。这些任务发生在社交网络分析、流量预测和推荐系统中。边级EMPNN能够通过利用相邻边和成对边信息来构造信息丰富的边表示。
所提出的模型可用于解决节点分类和节点回归任务。节点级任务包括在分类的情况下预测分类标签，或者在回归的情况下预测连续值。因此，EMPNN可用于分析社交图和引文图。例如，社交网络由节点-用户组成，各节点-用户之间的关系(例如朋友、同事等)可以表示为边。在这种情况下，节点回归任务可能是预测每个用户的页面流量，而边回归任务可能是预测用户的性别。可以通过EMPNN节点消息传递和边消息步骤获得高级节点表示。使用以下基于SGD的算法训练节点级EMPNN：
1.对于SGD的每次迭代，执行以下步骤：
a.将数据集分为训练集、验证集和测试集；
b.对表示为图的小批量分子进行采样；
c.如有必要，对采样的图应用一些转换；
d.对节点和边执行消息传递步骤；
e.重复步骤(d)L次；
f.通过提出的全局图池化获得图嵌入；
g.如果存在，则添加图级特征；
h.应用DNN获得特定输出；
i.计算真实标签与步骤(f)或步骤(g)或步骤(h)中标签之间的损失；
j.使用来自(i)的损失执行梯度下降步骤
2.在验证集上评估模型
3.根据选择的策略调整学习率
4.如果目标指标在n个训练周期后没有改善，则停止训练过程；
5.重复(1)-(4)，直到收敛
6.在测试集上评估模型以获得最终指标
在一些实施例中，计算机实现的神经网络系统可以包括一个或多个图卷积神经网络(例如图卷积层模块)，其被配置为：处理表示为一个或多个图的输入数据以产生所述图的每个节点的向量表示和每个边的向量表示；处理表示为一个或多个图的输入数据以产生所述图的向量表示；处理表示为一个或多个图的输入数据以产生所述图的每对节点的向量表示；以及处理表示为一个或多个图的输入数据以产生所述图的每对边的向量表示。在一些方面中，一个或多个图卷积神经网络可以包括图神经网络编码器(例如，图卷积层模块104的一部分或单独模块-图神经网络编码器104a-图1D)，其处理输入图以产生所述输入图的每个节点的向量表示和每个边的向量表示。在一些方面，所述一个或多个神经网络可以包括图池化(例如，图池化层模块106-图1D)，其聚合节点的向量表示和边的向量表示以产生所述输入图的向量表示。应当认识到，所述训练过程可以用于生成预测标签，并且对象的生成可以是从步骤b)到步骤h)。
在一些实施例中，所述一个或多个神经网络的图神经网络编码器可以包括：节点消息神经网络(图1D-104b)，其基于此节点的向量表示和连接此节点的边的向量表示来产生每对相邻节点的向量表示；具有神经网络的节点更新函数(图1D-104c)，该神经网络基于特定节点表示和由此节点及其相邻节点形成的节点对的消息向量来产生此节点的向量表示；边消息神经网络(图1D-104d)，其基于边的向量表示和它们的公共节点的向量表示来产生每对相邻边的向量表示；以及包含神经网络的边更新函数(图1D-104e)，该神经网络基于特定节点表示和由边及其相邻边形成的边对的消息向量来产生此边的向量表示。
在一些实施例中，图神经网络编码器包括多个隐藏层和激活函数。在一些方面，所述多个隐藏层中的一个或多个隐藏层表示跳跃连接。在一些方面，节点更新函数是求和、最大值或平均值。在一些方面中，节点更新函数是加权和(包括基于注意力的加权和)。在一些方面，节点更新函数是循环神经网络。在一些方面，边更新函数是求和、最大值或平均值。
在一些实施例中，边更新函数是加权和(包括基于注意力的加权和)。在一些方面，边更新函数是循环神经网络。
在一些实施例中，图池化包括多个隐藏层和激活函数。
在一些实施例中，神经网络可以包括解码器，所述解码器被配置为从图向量表示重构表示为一个或多个图的输入数据。
在一些实施例中，神经网络可以包括从随机噪声产生图的生成器。
在一些实施例中，一种利用边消息传递神经网络生成对象的方法，可以包括：提供具有边消息传递神经网络的计算系统，所述边消息传递神经网络包括图卷积层、全局图池化层和多层感知机层；将图数据输入图卷积层，得到输入图数据的新的节点数据和新的边数据；将所述新的边数据和/或所述新的节点数据输入到所述图池化层，以得到图嵌入数据；将所述图嵌入数据输入到所述多层感知机层，以生成预测图数据；以及在报告中输出所述预测图数据。
在一些实施例中，所述图数据是分子数据，并且所述预测图数据是预测的分子化学结构。
在一些实施例中，所述图卷积层可以在所述计算系统中处理所述输入数据，其中所述输入数据被表示为一个或多个图以产生所述图的每个节点的向量表示和每个边的向量表示。在一些方面中，所述图卷积层可以处理所述输入数据(输入数据被表示为一个或多个图)以产生所述图的向量表示。在一些方面中，所述图卷积层可以在所述计算系统中处理所述输入数据，该输入数据被表示为一个或多个图以产生所述图的每对节点的向量表示。在一些方面，所述图卷积层可以处理表示为一个或多个图的输入数据，以产生所述图的每对边的向量表示。
在一些实施例中，所述图卷积层被配置为图神经网络编码器，其处理所述输入图以产生所述输入图的每个节点的向量表示和所述输入图的每个边的向量表示。
在一些实施例中，所述图池化层被配置为聚合节点的向量表示和边的向量表示，以产生所述输入图的向量表示。
在一些实施例中，所述图卷积层模块可以具有不同的神经网络。在一些方面中，节点消息神经网络可以被配置为基于这些节点的向量表示和连接这些节点的边的向量表示来产生每对相邻节点的向量表示。在一些方面，边消息神经网络可以被配置为基于这些边的向量表示和它们的公共节点的向量表示来产生每对相邻边的向量表示。
在一些方面中，节点更新函数可以包括节点更新神经网络，该节点更新神经网络基于特定节点表示和由该节点及其相邻节点形成的节点对的消息向量来产生该节点的向量表示。在一些方面，所述节点更新函数是求和、最大值或平均值。在一些方面中，所述节点更新函数是加权和(包括基于注意力的加权和)。在一些方面，所述节点更新函数是循环神经网络。
在一些实施例中，边更新函数可以包括边更新神经网络，其基于特定节点表示和由该边及其相邻边形成的边对的消息向量来产生该边的向量表示。在一些方面，所述边更新函数是求和、最大值或平均值。在一些方面中，所述边更新函数是加权和(包括基于注意力的加权和)。在一些方面，边更新函数是循环神经网络。
在一些方面，MLP可以包括解码器，其从图向量表示重构表示为一个或多个图的输入数据。
在一些实施例中，方法可以包括将所生成的预测图数据(例如预测标签)准备为真实的物理对象。该对象可以是图片、文本、分子、声音、视频或其他对象。
在一些实施例中，可以基于通过计算机方法提供的预测标签来执行生成对象(例如真实物理对象，而不是虚拟对象)的方法。然后，该方法可以包括不在计算机上实现的物理步骤，包括：选择预测对象；以及获得所选择的预测对象的物理形式。在一些方面，所述对象是分子。在一些方面，所述方法包括验证所述分子具有所述分子的至少一种特性。例如，可以测试分子的物理特性或生物活性。
该方法还可以包括生成识别解码对象的报告，该报告可以存储在存储器设备中或提供用于各种用途。该报告可用于准备对象的物理真实版本。例如，所述物理对象可以通过合成、购买(如果可以)、从植物或其他组合物中提取、将组合物或化合物精炼成对象获得，或者将所选对象导出为真实物理对象来获得。
在一些实施例中，计算机系统可以包括：一个或多个处理器；以及存储指令的一个或多个非暂时性计算机可读介质，所述指令响应于由所述一个或多个处理器执行，使得所述计算机系统执行包括本文所述的计算机实现的方法的操作。
示例
我们将提出的架构应用于QM9,FreeSolv分子数据集。QM9是量子力学数据集，其中包含大约134k个小分子，具有多达9个具有计算位置的重原子。该数据集提供了12种量子化学性质，包括偶极矩(mu)、各向同性极化率(alpha)、最高占据分子轨道能量(HOMO)、最低未占据分子轨道能量(LUMO)、HOMO和LUMO之间的间隙(gap)、电子空间范围(R2)、零点振动能(ZPVE)、0K(U0)处的内能、298.15K(U)处的内能、298.15K(H)处的焓变、298.15K(G)处的自由能、298.15K(Cv)处的热容。FreeSolv是由免费溶剂数据库(Free Solvation Database)提供的精选数据集，其中包含针对643个中性小分子计算的水合自由能。对于每个分子图结构，提取了14-19个原子特征(原子序数、独热编码原子类型、供体或受体性质、独热编码杂 化、芳香性和氢数)和5个键特征(独热编码的键类型和键长)被提取。针对未提供原子位置的数据集计算原子位置。预先计算边邻接矩阵以加快训练过程并使用更少的内存。所有特征提取和数据预处理均使用RDKit开源软件完成。
报告每个数据集上提出的模型的最佳配置的最佳结果。通过对超参数网格的随机搜索获得最佳超参数，包括隐藏大小、图卷积层数、MLP中的层数、学习率、批量大小、丢弃概率(dropout probability)，是否使用隐藏输出的GRU聚合、是否在提前停止之前向输入图和训练周期数添加2-跳连接。
对于QM9数据集，模型在80％的数据上进行训练，并在10％的数据上进行验证。剩余10％的数据提供结果。所有12个目标都进行了归一化，并在多任务设置中训练了最佳模型。
对于FreeSolv数据集，保留20％的数据用于测试，并且对剩余80％的数据使用10倍交叉验证来训练模型。然后根据最佳配置计算模型预测的平均指标。
结果如表1和表2所示。表1提供了FreeSolv上的指标和QM9上的均值指标。表2提供了QM9中每个目标的指标。
表1
MAE MSE RMSE R2
QM9 0.980985 29.806711 5.459552 0.986841
FreeSolv 0.521794 0.661364 0.809306 0.925616
表2
Figure BDA0003833219580000141
Figure BDA0003833219580000151
边消息传递神经网络(EMPNN)模型
EMPNN模型可以包括至少三个基础层：图卷积层、全局图池化层和多层感知机(MLP)。这些层可以配置为计算模块。图卷积层可以用MPNN来描述。EMPNN架构可以被配置为用于边消息传递。图卷积层可以通过将输入图边转换为节点，根据输入图中的边邻接矩阵构造新的边并将消息传递到结果图来处理图数据。因此，可以将与边对相关的信息传递给模型。在图卷积层中使用注意力机制来使其学习原子对之间的重要相互关系。步骤l上的节点和边更新公式如下：
Figure BDA0003833219580000152
Figure BDA0003833219580000153
Figure BDA0003833219580000154
在这些公式中，h是节点特征；e是边特征；p是边对特征；Η是注意力权重；T、U、V和W是模型权重。需要注意，单值索引用于边索引，而不是用于相邻边的简单表示法的常用对索引。
常用的全局图池化方法无法处理边特征，但是，它可能在几个消息传递步骤之后与节点特征融合。相反，提出的全局图池化接收边和/或节点特征，从而产生更准确的图嵌入。图嵌入是通过提出的全局图池化构造的，如下所示:
Figure BDA0003833219580000155
Figure BDA0003833219580000156
Figure BDA0003833219580000161
g＝σ(BN(concat(u3,v3)))
在这些公式中，Vp和Wp是池化层权重；u，v分别是节点和边的嵌入；concat是连接嵌入向量的运算；σ是非线性函数。
然后，将图嵌入简单地馈入MLP层。MLP层可以被配置和操作为已知的MLP层。MLP层输出预测标签，该标签可以是更新的图数据。
本领域技术人员将理解，对于本文所公开的过程和方法，在过程和方法中执行的功能可以以不同的顺序实现。此外，所概述的步骤和操作仅作为示例提供，并且这些步骤和操作中的一些可以是可选的，组合成更少的步骤和操作，或者扩展成额外的步骤和操作，而不会减损所公开的实施例的本质。
在一个实施例中，本方法可以包括在计算系统上执行的方面。因此，所述计算系统可以包括具有用于执行所述方法的计算机可执行指令的存储器设备。所述计算机可执行指令可以是计算机程序产品的一部分，所述计算机程序产品包括用于执行权利要求中的任一项所述的方法中的一个或多个算法。
在一个实施例中，可以响应于存储在计算机可读介质上并且可以由一个或多个处理器执行的计算机可读指令的执行来执行或使得执行本文描述的操作、过程或方法中的任一个。计算机可读指令可以由来自桌面计算系统、便携式计算系统、平板计算系统、手持计算系统以及网络元件和/或任何其他计算设备的各种计算系统的处理器执行。该计算机可读介质不是暂时性的。该计算机可读介质是其中存储有计算机可读指令以便可被计算机/处理器从物理介质中物理地读取的物理介质。
各种载体可以实现本文所述的过程和/或系统和/或其他技术(例如，硬件、软件和/或固件)，并且优选的载体可以随着部署过程和/或系统和/或其他技术的环境而变化。例如，如果实现者确定速度和准确性是最重要的，则实现者可以选择主要的硬件和/或固件载体。如果灵活性是最重要的，则实现者可以选择主要的软件实现；或者，又可选地，实现者可以选择硬件、软件和/或固件的某些组合。
本文描述的各种操作可以单独地和/或共同地通过广泛范围的硬件、软件、固件或对于它们的任意组合来实现。在一个实施例中，本文描述的主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成形式来实现。然而，本文所公开的实施例的全部或部分的一些方面可以等同地在集成电路中实现，作为在一个或多个计算机上运行的一个或多个计算机程序(例如，作为运行在一个或多个计算机系统上的一个或多个程序)，作为运行在一个或多个处理器上的一个或多个程序(例如，作为运行在一个或多个微处理器上的一个或多个程序)，作为固件，或作为其实际上的任何组合，根据本公开内容，设计电路和/或编写用于软件和/或固件的代码是可能的。此外，本文描述的主题的机制能够以各种形式作为程序产品分配，并且无论用于实际执行分配的信号承载介质的特定类型如何，本文描述的主题的说明性实施例都适用。物理信号承载介质的示例包括但不限于以下内容：可记录型介质，例如软盘、硬盘驱动器(HDD)、光盘(CD)、数字通用光盘(DVD)、数字磁带、计算机存储器，或任何其他非暂时性或传输的物理介质。具有计算机可读指令的物理介质的示例省略了诸如数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路等)的暂时性或传输类型的介质。
通常以本文阐述的方式描述设备和/或过程，然后使用工程实践将这样描述的设备和/或过程集成到数据处理系统中。也就是说，本文所述的装置和/或过程的至少一部分可以通过合理数量的实验被集成到数据处理系统中。典型的数据处理系统通常包括：系统单元外壳、视频显示设备、诸如易失性和非易失性存储器的存储器、诸如微处理器和数字信号处理器的处理器、诸如操作系统的计算实体、驱动器、图形用户界面、应用程序、一个或多个交互设备(例如触摸板或屏幕)和/或包括反馈回路和控制电机的控制系统(例如，用于感测位置和/或速度的反馈；用于移动和/或调节部件和/或数量的控制电机)。典型的数据处理系统可以利用任何合适的市售组件来实现，例如通常在数据计算/通信和/或网络计算/通信系统中找到的组件。
本文描述的主题有时示出了包含在不同其他组件内或与不同其他组件连接的不同组件。这样描述的架构仅仅是示例性的，并且事实上实现相同功能的许多其它架构可以实现。在概念意义上，实现相同功能的组件的任何布置被有效地“关联”，从而实现期望的功能。因此，本文中组合以实现特定功能的任何两个组件可被视为彼此“相关联”，从而实现期望的功能，而与架构或中间组件无关。同样地，如此关联的任何两个部件也可以被视为彼此“可操作地连接”或“可操作地耦合”以实现期望的功能，并且能够如此关联的任何两个部件也可以被视为“可操作地耦合”，以实现期望的功能。可操作地耦合的具体示例包括但不限于：物理上可匹配和/或物理上相互作用的组件和/或无线可交互和/或无线地相互作用的组件和/或逻辑上相互作用和/或逻辑上可交互的组件。
图6示出了示例计算设备600(例如，计算机)，其可以被布置在一些实施例中以执行本文描述的方法(或其部分)。在非常基本的配置602中，计算设备600通常包括一个或多个处理器604和系统存储器606。存储器总线608可用于在处理器604和系统存储器606之间通信。
根据期望的配置，处理器604可以是任何类型，包括但不限于：微处理器(μp)、微控制器(μc)、数字信号处理器(DSP)或它们的任意组合。处理器604可以包括：一种或多种级别的高速缓存(一级高速缓存610和二级高速缓存612)、处理器核614和寄存器616。示例处理器核614可以包括算术逻辑单元(ALU)、浮点单元(FPU)、数字信号处理核(DSP核)或它们的任意组合。示例存储器控制器618还可以与处理器604一起使用，或者在一些实现中，存储器控制器618可以是处理器604的内部部分。
根据期望的配置，系统存储器606可以是任何类型，包括但不限于：易失性存储器(例如RAM)、非易失性存储器(例如ROM、闪存等)或它们的任意组合。系统存储器606可以包括操作系统620、一个或多个应用程序622和程序数据624。应用程序622可以包括确定应用程序626，其被布置成执行如本文所述的操作，包括关于本文所述的方法所描述的那些操作。确定应用程序626可以获得诸如压力、流速和/或温度的数据，并确定系统的改变以改变压力、流速和/或温度。
计算设备600可以具有额外的特征或功能以及额外的接口，以方便基本配置602与任何所需的设备和接口之间的通信。例如，总线/接口控制器630可用于方便基本配置602与一个或多个数据存储设备632之间经由存储接口总线634的通信。数据存储设备632可以是可移动存储设备636、不可移动存储设备638或其组合。可移动存储设备和不可移动存储设备的示例包括：磁盘设备(例如柔性磁盘驱动器和硬盘驱动器(HDD))、光盘驱动器(例如光盘(CD)驱动器或数字多功能磁盘(DVD)驱动器)、固态驱动器(SSD)和磁带机。示例计算机存储介质可以包括：在用于存储信息(例如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实现的易失性和非易失性、可移动和不可移动介质。
系统存储器606、可移动存储设备636和非可移动存储设备638是计算机存储介质的示例。计算机存储介质包括但不限于：RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多功能磁盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或可用于存储期望信息并且可由计算设备600访问的任何其他介质。任何这样的计算机存储介质可以是计算设备600的一部分。
计算设备600还可以包括接口总线640，用于方便经由总线/接口控制器630从各种接口设备(例如，输出设备642、外围接口644和通信设备646)到基本配置602的通信。示例输出设备642包括图形处理单元648和音频处理单元650，其可以被配置为经由一个或多个A/V端口652与例如显示器或扬声器的各种外部设备通信。示例外围接口644包括串行接口控制器654或并行接口控制器656，其可以被配置为经由一个或多个I/O端口658与诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备等)的外部设备或其他外围设备(例如，打印机、扫描仪等)通信。示例通信设备646包括网络控制器660，其可以被布置为方便经由一个或多个通信端口664通过网络通信链路与一个或多个其他计算设备662通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以由计算机可读指令、数据结构、程序模块或调制数据信号中的其他数据(例如载波或其他传输机制)来体现，并且可以包括任何信息传递介质。“调制数据信号”可以是以在信号中编码信息的方式设置或改变其一个或多个特性的信号。作为示例而非限制，通信介质可以包括例如有线网络或直接有线连接的有线介质，以及例如声学、射频(RF)、微波、红外(IR)和其他无线介质的无线介质。本文使用的术语计算机可读介质可以包括存储介质和通信介质两者。
计算设备600可以被实现为小型便携式(或移动式)电子设备的一部分，例如蜂窝电话、个人数据助理(PDA)、个人媒体播放器设备、无线网络手表设备、个人耳机设备、应用专用设备或包括上述任意功能的混合装置。计算设备600还可以被实现为包括笔记本电脑和非笔记本电脑配置两者的个人计算机。计算设备600还可以是任何类型的网络计算设备。计算设备600还可以是如本文所述的自动化系统。
本文描述的实施例可以包括使用包括各种计算机硬件或软件模块的专用或通用计算机。
在本发明范围内的实施例还包括用于承载或具有存储在其上的计算机可执行指令或数据结构的计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机访问的任何可用介质。作为示例而非限制，这种计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备，或可用于携带或存储以计算机可执行指令或数据结构的形式表示的期望程序代码并且可由通用或专用计算机访问的任何其他介质。当信息通过网络或其他通信连接(硬连线、无线或硬连线或无线的组合)传输或提供给计算机时，计算机将该连接正确地视为计算机可读介质。因此，任何这样的连接被适当地称为计算机可读介质。上述各项的组合也应包括在计算机可读介质的范围内。
计算机可执行指令包括例如使通用计算机、专用计算机或专用处理设备执行特定功能或功能组的指令和数据。尽管已经以特定于结构特征和/或方法行为的语言描述了主题，但是应当理解，在所附权利要求中定义的主题不一定限于上述特定特征或行为。相反，上述特定特征和行为被公开为实施权利要求的示例形式。
在一些实施例中，计算机程序产品可以包括具有计算机可执行指令的非暂时性有形存储器设备，当所述计算机可执行指令在由处理器执行时，使得执行的方法可以包括：提供具有对象的对象数据和条件的条件数据的数据集；通过对象编码器处理数据集的对象数据以获得潜在对象数据和潜在对象-条件数据；通过条件编码器处理数据集的条件数据，得到潜在条件数据和潜在条件-对象数据；通过对象解码器处理潜在对象数据和潜在对象-条件数据，得到生成的对象数据；通过条件解码器处理潜在条件数据和潜在条件-对象数据以获得生成的条件数据；将潜在对象条件数据与潜在条件数据进行比较以确定差异；通过鉴别器处理潜在对象数据和潜在条件数据以及潜在对象-条件数据或潜在条件-对象数据之一，以获得鉴别器值；根据生成的对象数据、生成的条件数据、以及潜在对象条件数据和潜在条件对象数据之间的差异从省城的对象数据中选择对象；并在报告中向所选择的对象提供验证对象的物理形式的建议。非暂时性的、有形存储器设备还可以具有用于本文所述的方法或方法步骤中的任一个的其他可执行指令。此外，所述指令可以是执行非计算任务的指令，例如分子的合成和/或用于验证所述分子的实验方案。也可以提供其他可执行指令。
注意力机制允许ANN关注它认为更相关的输入信号的不同部分。在自然语言处理任务中取得成功后，该技术被广泛用于现代ANN。
dropout是一个函数，它以给定的概率丢弃神经元，以减少对训练数据的适应效果。
批归一化(BN)是一种提高稳定性并加快训练过程的技术。它对一小部分(批量)数据采用归一化步骤，以固定层输入的均值和方差。
嵌入是离散变量的连续向量表示。
自动编码器(AE)是一种ANN，可用于在无监督设置中构造输入数据的隐藏表示。AE包括两部分：(1)一个对输入信号进行编码的ANN(编码器)；和(2)另一个从编码向量重构输入的ANN(解码器)。AE经常学习恒等函数，因此，应用了不同的正则化技术来防止它。
生成对抗网络(GAN)是一个由两个ANN组成的系统，其中一个ANN生成样本(生成器)，而另一个ANN预测它们是真实的还是生成的(鉴别器)。
本发明不限于本申请中描述的具体实施例，这些实施例旨在作为各个方面的说明。可以在不脱离其精神和范围的情况下进行许多修改和变化，这对于本领域技术人员来说是显而易见的。在本公开的范围内的功能上等同的方法和装置，除了本文列举的那些之外，对于本领域技术人员从前述描述中显而易见。这样的修改和变化旨在落入所附权利要求的范围内。本公开将仅由所附权利要求的条款以及这些权利要求所享有的等同物的全部范围来限制。应当理解，本公开内容不限于特定的方法、试剂、化合物组合物或生物系统，其当然可以变化。还应理解的是，本文使用的术语仅用于描述特定实施例的目的，而并非旨在限制。
关于本文中的基本上任何复数和/或单数术语的使用，本领域技术人员可以根据上下文和/或应用的情况从复数转换为单数和/或从单数转换为复数。为了清楚起见，本文可以明确地阐述各种单数/复数排列。
本领域技术人员将理解的是，一般而言，本文中使用的术语，尤其是在所附权利要求中使用的术语(例如，所附权利要求的主体)通常旨在作为“开放”术语(例如，术语“包括”应被解释为“包括但不限于”，术语“具有”应被解释为“至少具有”，术语“包括”应被解释为“包括但不限于”等)。本领域技术人员将进一步理解的是，如果引入的权利要求叙述的意图是特定数量，则在权利要求中将明确地叙述这样的意图，并且在没有这样的叙述的情况下不存在这样的意图。例如，作为帮助理解，所附权利要求可以包含介绍性短语“至少一个”和“一个或多个”来介绍权利要求叙述。然而，此类短语的使用不应被解释为暗示由不定冠词“一”或“一个”引入权利要求叙述将包含此类引入的权利要求叙述的任何特定权利要求限制为仅包含一个此类叙述的实施例，即使当同一权利要求包括介绍性短语“一个或多个”或“至少一个”和不定冠词，例如“一”或“一个”(例如，“一”和/或“一个”应解释为“至少一个”或“一个或多个”)；用于引入权利要求叙述的定冠词的使用也是如此。此外，即使明确列举了特定数量的引入的权利要求叙述，本领域技术人员也将认识到，这种叙述应被解释为至少表示所列举的数量(例如，“两个列举”的裸列举，而没有其他修饰词，表示至少两个例句，或两个或更多个列举)。此外，在使用类似于“A、B和C等中的至少一个”的约定的那些情况下，一般而言，这种构造是在本领域技术人员将理解该约定的意义上的(例如，“具有A、B和C中的至少一个的系统”将包括但不限于单独具有A、单独具有B、单独具有C、一起具有A和B、一起具有A和C、一起具有B和C、和/或一起具有A、B和C的系统等)。在使用类似于“A、B或C等中的至少一个”的约定的那些情况下，一般而言，这种构造是在本领域技术人员将理解该约定的意义上的(例如，“具有A、B或C中的至少一个的系统”将包括但不限于单独具有A、单独具有B、单独具有C、一起具有A和B、一起具有A和C、一起具有B和C、和/或一起具有A、B和C的系统等)。本领域技术人员将进一步理解的是，无论是在说明书、权利要求或附图中，实际上任何表示两个或更多个替代术语的析取词和/或短语都应被理解为考虑包括术语中的一个、术语中的任一个或两个术语的可能性。例如，短语“A或B”将被理解为包括“A或B”或“A和B”的可能性。
此外，在根据Markush组描述本公开的特征或方面的情况下，本领域技术人员将认识到，本公开也因此根据Markush组的任何单独成员或成员的子组来描述。
如本领域技术人员将理解的，出于任何和所有目的，例如就提供书面描述而言，本文公开的所有范围还包括任何和所有可能的子范围及其子范围的组合。任何列出的范围都可以很容易地识别为充分描述和允许将相同的范围分解为至少相等的一半、三分之二、四分之一、五分之一、十分之一等。作为非限制性示例，本文所讨论的每个范围可以容易地分解为下三分之一、中间三分之一和上三分之一等。如本领域技术人员还将理解的，例如“直到”、“至少”等的所有语言都包括所列举的数字，并且指代随后可以分解为如上所述的子范围的范围。最后，如本领域技术人员将理解的，范围包括每个单独的成员。因此，例如，具有1-3个细胞的组是指具有1、2或3个细胞的组。类似地，具有1-5个细胞的组是指具有1、2、3、4或5个细胞的组，等等。
根据前述内容，应当理解，为了说明的目的，本文已经描述了本公开的各种实施例，并且在不脱离本公开的范围和精神的情况下可以进行各种修改。因此，本文公开的各种实施例不旨在是限制性的，其真实范围和精神由以下权利要求指示。
本文叙述的所有参考文献全部通过具体引用并入本文。

Claims (22)

1.一种生成图数据的计算机实现的方法，所述方法包括：
用边消息传递神经网络的图卷积层处理输入图数据，以得到所述图数据的节点数据和边数据的向量表示；
用所述边消息传递神经网络的图池化层处理所述节点数据和边数据的向量表示，所述图池化层聚合所述节点数据的向量表示和所述边数据的向量表示，以产生所述输入图数据的向量表示；
用所述边消息传递神经网络的多层感知机层处理所述输入图数据的向量表示，以生成预测图数据；以及
在报告中输出所述预测图数据。
2.如权利要求1所述的计算机实现的方法，其特征在于，还包括：所述图卷积层的图神经网络编码器产生所述输入图的每个节点的向量表示和所述输入图的每个边的向量表示。
3.如权利要求1所述的计算机实现的方法，其特征在于，还包括：处理所述输入图数据以产生所述图的每个节点的向量表示和每个边的向量表示。
4.如权利要求1所述的计算机实现的方法，其特征在于，还包括：处理所述输入图数据以产生所述图的向量表示。
5.如权利要求1所述的计算机实现的方法，其特征在于，还包括：处理所述输入图数据以产生所述图的每个节点对的向量表示。
6.如权利要求1所述的计算机实现的方法，其特征在于，还包括：处理所述输入图数据以产生所述图的每个边对的向量表示。
7.如权利要求2所述的计算机实现的方法，其特征在于，还包括利用所述图神经网络编码器根据以下各项中的至少一项处理所述输入图数据：
节点消息神经网络基于相邻节点对的每个节点的向量表示和连接所述相邻节点对的每个边的向量表示，产生每个所述相邻节点对的向量表示；
节点更新神经网络基于节点表示和由该节点及其相邻节点形成的节点对的消息向量来产生该节点的向量表示；
边消息神经网络基于相邻边对的每个边的向量表示和所述相邻边对的公共节点的向量表示，产生每个所述相邻边对的向量表示；或者
边更新神经网络基于节点表示和由边及其相邻边形成的边对的消息向量来产生所述边的向量表示。
8.如权利要求1所述的计算机实现的方法，其特征在于，还包括：所述图池化层聚合所述节点的向量表示和所述边的向量表示，以产生所述输入图的向量表示。
9.如权利要求7所述的计算机实现的方法，其特征在于，所述节点更新神经网络被配置为用于求和、最大值或平均值中的一者。
10.如权利要求7所述的计算机实现的方法，其特征在于，所述节点更新神经网络被配置为用于加权和，包括基于注意力的加权和。
11.如权利要求7所述的计算机实现的方法，其特征在于，所述节点更新神经网络是循环神经网络。
12.如权利要求7所述的计算机实现的方法，其特征在于，所述边更新神经网络被配置为用于求和、最大值或平均值中的一者。
13.如权利要求7所述的计算机实现的方法，其特征在于，所述边更新神经网络被配置为用于加权和，包括基于注意力的加权和。
14.如权利要求7所述的计算机实现的方法，其特征在于，所述边更新神经网络是循环神经网络。
15.如权利要求1所述的计算机实现的方法，还包括：所述多层感知机层的解码器从所述图向量表示重构表示为一个或多个图的所述输入图数据。
16.如权利要求1所述的计算机实现的方法，其特征在于，还包括：从随机噪声产生图的生成器。
17.如权利要求1所述的计算机实现的方法，其特征在于，所述至少一个对象是图片、文本、分子、声音、视频或其他对象。
18.如权利要求1所述的计算机实现的方法，其特征在于，还包括所述图卷积层模块执行：
使用转换操作处理所述输入图数据；
将输入图的边转换为新的节点；
构造新的边以获得生成的图数据；以及
对所述生成的图数据应用消息传递协议。
19.如权利要求1所述的计算机实现的方法，其特征在于，还包括所述图池化层模块执行：
接收边特征和节点特征作为向量；以及
执行所述向量的图嵌入以产生新的图数据的向量表示。
20.一种准备提供对象的方法，其特征在于，所述对象是物理对象、音频对象、文本对象或颜色对象，所述方法包括：
获取权利要求1所述的计算机实现的方法中所述对象的所述预测图数据；
将所述预测图数据准备成预测对象，其中所述预测对象是物理对象、音频对象、文本对象或颜色对象。
21.一种计算机系统，包括：
一个或多个处理器；以及
存储指令的一个或多个非暂时性计算机可读介质，所述指令响应于由所述一个或多个处理器执行，使得所述计算机系统执行操作，所述操作包括：
用边消息传递神经网络的图卷积层处理输入图数据，以得到所述图数据的节点数据和边数据的向量表示；
用所述边消息传递神经网络的图池化层处理所述节点数据和边数据的向量表示，所述图池化层聚合所述节点数据的向量表示和所述边数据的向量表示，以产生所述输入图数据的向量表示；
用所述边消息传递神经网络的多层感知机层处理所述输入图数据的向量表示，以生成预测图数据；以及
在报告中输出所述预测图数据。
22.存储指令的一个或多个非暂时性计算机可读介质，所述指令响应于由所述一个或多个处理器执行，使得所述计算机系统执行操作，所述操作包括：
用边消息传递神经网络的图卷积层处理输入图数据，以得到所述图数据的节点数据和边数据的向量表示；
用所述边消息传递神经网络的图池化层处理所述节点数据和边数据的向量表示，所述图池化层聚合所述节点数据的向量表示和所述边数据的向量表示，以产生所述输入图数据的向量表示；
用所述边消息传递神经网络的多层感知机层处理所述输入图数据的向量表示，以生成预测图数据；以及
在报告中输出所述预测图数据。
CN202180019223.0A 2020-03-11 2021-03-11 边消息传递神经网络 Pending CN115605876A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062988182P 2020-03-11 2020-03-11
US62/988,182 2020-03-11
PCT/IB2021/052010 WO2021181313A1 (en) 2020-03-11 2021-03-11 Edge message passing neural network

Publications (1)

Publication Number Publication Date
CN115605876A true CN115605876A (zh) 2023-01-13

Family

ID=74874918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180019223.0A Pending CN115605876A (zh) 2020-03-11 2021-03-11 边消息传递神经网络

Country Status (4)

Country Link
US (1) US20210287067A1 (zh)
EP (1) EP4118583A1 (zh)
CN (1) CN115605876A (zh)
WO (1) WO2021181313A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361449B2 (en) * 2020-05-06 2022-06-14 Luminar, Llc Neural network for object detection and tracking
CN112035683A (zh) * 2020-09-30 2020-12-04 北京百度网讯科技有限公司 用户交互信息处理模型生成方法和用户交互信息处理方法
US20220317985A1 (en) * 2021-04-02 2022-10-06 Fujitsu Limited Machine learning model for recommending software
US20230253076A1 (en) 2022-02-07 2023-08-10 Insilico Medicine Ip Limited Local steps in latent space and descriptors-based molecules filtering for conditional molecular generation
CN115146538A (zh) * 2022-07-11 2022-10-04 河海大学 基于消息传递图神经网络的电力系统状态估计方法

Also Published As

Publication number Publication date
WO2021181313A1 (en) 2021-09-16
US20210287067A1 (en) 2021-09-16
EP4118583A1 (en) 2023-01-18

Similar Documents

Publication Publication Date Title
Bielak et al. Graph barlow twins: A self-supervised representation learning framework for graphs
White et al. Bananas: Bayesian optimization with neural architectures for neural architecture search
Ruehle Data science applications to string theory
Ma et al. DeePr-ESN: A deep projection-encoding echo-state network
CN115605876A (zh) 边消息传递神经网络
Zhang et al. Efficient evolutionary search of attention convolutional networks via sampled training and node inheritance
Jiang et al. Co-embedding of nodes and edges with graph neural networks
Essien et al. A deep learning framework for univariate time series prediction using convolutional LSTM stacked autoencoders
Abuqaddom et al. Oriented stochastic loss descent algorithm to train very deep multi-layer neural networks without vanishing gradients
US20230075100A1 (en) Adversarial autoencoder architecture for methods of graph to sequence models
Shrivastava et al. GLAD: Learning sparse graph recovery
Kampffmeyer et al. Deep kernelized autoencoders
CN104699660A (zh) 概述非线性回归问题中的结构化矩阵
Teji et al. Predicting missing links in gene regulatory networks using network embeddings: A qualitative assessment of selective embedding techniques
Xu et al. Random mask-based estimation of the distribution algorithm for stacked auto-encoder one-step pre-training
Dash DECPNN: A hybrid stock predictor model using Differential Evolution and Chebyshev Polynomial neural network
CN115862751A (zh) 基于边特征更新聚合注意力机制的量子化学性质计算方法
Liu et al. Semi‐supervised breast histopathological image classification with self‐training based on non‐linear distance metric
Elinas et al. Addressing over-smoothing in graph neural networks via deep supervision
CN114595641A (zh) 组合优化问题的求解方法和系统
Xia et al. VI-DGP: A variational inference method with deep generative prior for solving high-dimensional inverse problems
Tosun et al. Training restricted Boltzmann machines with overlapping partitions
Sheth et al. Feature gradients: Scalable feature selection via discrete relaxation
US20230267337A1 (en) Conditional noise layers for generating adversarial examples
US20230259786A1 (en) Obfuscation of encoded data with limited supervision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination