CN110348573A - 训练图神经网络的方法、图神经网络设备、装置、介质 - Google Patents

训练图神经网络的方法、图神经网络设备、装置、介质 Download PDF

Info

Publication number
CN110348573A
CN110348573A CN201910640693.3A CN201910640693A CN110348573A CN 110348573 A CN110348573 A CN 110348573A CN 201910640693 A CN201910640693 A CN 201910640693A CN 110348573 A CN110348573 A CN 110348573A
Authority
CN
China
Prior art keywords
neural network
characterization vector
node
transfer matrix
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910640693.3A
Other languages
English (en)
Inventor
陈鹏飞
刘卫文
谢昌谕
陈广勇
张胜誉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910640693.3A priority Critical patent/CN110348573A/zh
Publication of CN110348573A publication Critical patent/CN110348573A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供了一种训练图神经网络的方法、图神经网络设备、装置、介质，所述方法包括：获取所述图神经网络的图结构数据，其中，所述图结构数据包括结点的表征向量和边的表征向量，所述边表示相连的结点之间的关联关系；利用所述图神经网络基于所述边的表征向量生成传递矩阵，其中，所述传递矩阵表示相连结点之间的信息传递方式；确定所述边的表征向量与所述传递矩阵之间的互信息；以及利用所述互信息训练所述图神经网络。

Description

训练图神经网络的方法、图神经网络设备、装置、介质
技术领域
本公开涉及图神经网络领域，具体的涉及一种训练图神经网络的方法、图神经网络设备、装置、介质。
背景技术
图神经网络是一种新型的人工智能神经网络，其输入为图结构数据，输出为表征向量，用于表示对性质特征的高度概括，其中，所述图结构数据包括结点的表征向量和边的表征向量，所述边表示相连的结点之间的关联关系。通过训练可以使得图神经网络在性质预测、分类、回归等任务上取得远超传统方法的效果。然而，传统的神经网络训练方法中并未考虑边的表征向量对于训练结果的影响，忽略了边的表征向量在训练过程中的重要作用。
发明内容
本公开提供一种训练图神经网络的方法、图神经网络设备、装置、介质，用于基于边的表征向量来训练所述图神经网络，以在训练过程中有效的利用边的表征向量。
根据本公开的一方面，提供了一种训练图神经网络的方法，包括：获取所述图神经网络的图结构数据，其中，所述图结构数据包括结点的表征向量和边的表征向量，所述边表示相连的结点之间的关联关系；利用所述图神经网络基于所述边的表征向量生成传递矩阵，其中，所述传递矩阵表示相连结点之间的信息传递方式；确定所述边的表征向量与所述传递矩阵之间的互信息；以及利用所述互信息训练所述图神经网络。
根据本公开的一些实施例，所述图神经网络包括边神经网络，所述利用所述图神经网络基于所述边的表征向量生成传递矩阵包括：利用所述边神经网络基于所述边的表征向量生成传递矩阵。
根据本公开的一些实施例，确定所述边的表征向量与所述传递矩阵之间的互信息包括：确定对应于所述边的表征向量的边缘熵；确定所述传递矩阵与所述边的表征向量之间的相关信息熵；基于所述边缘熵和所述相关信息熵确定所述互信息。
根据本公开的一些实施例，确定所述传递矩阵与所述边的表征向量之间的相关信息熵包括：确定后验分布函数，其中，所述后验分布函数表征在发生传递矩阵的条件下发生所述边的表征向量的概率分布；基于所述后验分布函数确定所述相关信息熵。
根据本公开的一些实施例，确定后验分布函数包括：利用所述边神经网络的逆网络对所述传递矩阵进行处理，生成逆矩阵；基于所述边的表征向量和所述逆矩阵来确定所述后验分布函数。
根据本公开的一些实施例，利用所述互信息训练所述图神经网络包括：通过最大化所述互信息来训练所述图神经网络，由以下公式表示所述互信息：其中，I(e；W)表示所述边的表征向量e与所述传递矩阵W之间的互信息，H(e)表示对应于所述边的表征向量的边缘熵，Ee～p(e)表示对边的概率分布p(e)求数学期望，α为系数，f表示边神经网络，g表示逆网络，表示L2范数的平方。
根据本公开的一些实施例，所述图结构数据包括多个结点，所述方法还包括：对于每个结点，确定与所述结点相连的其他结点；利用所述图神经网络基于所述结点和与所述其他结点之间的边的表征向量生成第一传递矩阵，以及利用所述第一传递矩阵和所述其他结点的表征向量来更新所述结点的表征向量。
根据本公开的一些实施例，所述图神经网络是信息传递神经网络。
根据本公开的另一方面，还提供了一种图神经网络设备，包括：图神经网络单元，配置成获取包括结点的表征向量和边的表征向量的图结构数据，以及基于所述边的表征向量生成传递矩阵，其中，所述边表示相连的结点之间的关联关系，所述传递矩阵表示相连结点之间的信息传递方式；训练单元，配置成确定所述边的表征向量与所述传递矩阵之间的互信息，以及利用所述互信息训练所述图神经网络单元。
根据本公开的一些实施例，所述图神经网络单元包括边神经网络，利用所述边神经网络基于所述边的表征向量生成传递矩阵。
根据本公开的一些实施例，所述训练单元还配置成：利用所述边神经网络的逆网络对所述传递矩阵进行处理以生成逆矩阵；基于所述边的表征向量和所述逆矩阵来确定后验分布函数，其中，所述后验分布函数表征在发生传递矩阵的条件下发生所述边的表征向量的概率分布；基于所述后验分布函数确定所述传递矩阵与所述边的表征向量之间的相关信息熵，基于对应于所述边的表征向量的边缘熵和所述相关信息熵确定所述互信息。
根据本公开的一些实施例，所述训练单元通过最大化所述互信息来训练所述图神经网络单元，其中，所述图结构数据包括多个结点，所述图神经网络单元还配置成：对于每个结点，确定与所述结点相连的其他结点；基于所述结点和与所述其他结点之间的边的表征向量生成第一传递矩阵，所述设备还包括更新单元，配置成利用所述第一传递矩阵和所述其他结点的表征向量来更新所述结点的表征向量。
根据本公开的一些实施例，所述图结构数据还包括拓扑结构，用于表示所述结点和边之间的图结构信息，所述图神经网络单元还配置成对包括结点的表征向量、边的表征向量和拓扑结构的图结构数据进行处理，并输出预测表征向量，其中，所述预测表征向量包括以下中的至少一种：用于预测所述结点的性质的结点预测表征向量；和用于预测所述图结构数据的性质的图预测表征向量。
根据本公开的一些实施例，所述图神经网络单元包括信息传递神经网络。
根据本公开的又一方面，一种图神经网络装置，包括：处理器；和存储器，其中，所述存储器中存储有计算机可读代码，所述计算机可读代码当由所述处理器运行时，执行如上所述的训练图神经网络的方法。
根据本公开的又一方面，还提供了一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如上所述的训练图神经网络的方法。
本公开提供的训练图神经网络的方法、图神经网络设备、装置、介质，通过基于边的表征向量与由边的表征向量生成的传递矩阵之间的互信息来训练图神经网络，能实现充分利用边的表征向量来训练图神经网络，提高图神经网络的训练效果。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本公开实施例的训练图神经网络的方法的流程图；
图2示出了图神经网络的处理流程示意图；
图3A示出了更新结点的表征向量的流程示意图；
图3B示出了根据本公开实施例的更新结点的表征向量的流程示意图；
图4示出了根据本公开实施例的图神经网络设备的示意性框图；
图5示出了根据本公开实施例的图神经网络装置的示意图；
图6示出了根据本公开实施例的示例性计算设备的架构的示意图；
图7示出了根据本公开实施例的计算机可读存储介质的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步。
本公开提供了一种训练图神经网络的方法，图1示出了根据本公开实施例的训练图神经网络的方法的流程图。如图1所示，首先，在步骤S101，获取所述图神经网络的图结构数据。如上所述地，图神经网络是一种新型的人工智能神经网络，相比于传统的神经网络，图神经网络的输入为图结构数据(Graph)，或者称为图，其由结点和边组成，可以表示为G＝(V,E)，其中，V表示结点(Vertices)，E表示边(Edges)，每个结点可以用于表示一个对象，边表示结点之间的关联关系。在实际应用场景中，很多数据都可以表示成图的形式，例如，在化学领域中，每个原子可以表示为一个结点，原子之间的化学键则可以表示为边。又例如，在社交网络领域，每个用户可以表示为一个结点，用户之间的关系可以表示为边。又例如，在地图领域中，每个地点可以表示为一个结点，地点之间的路径、距离等关系可以表示为边。类似地，其他应用场景中的数据也可以如上所述的表示为图结构数据，并由图神经网络进行处理，以进行性质预测、分类等处理。特别地，将图神经网络应用于化学领域中，可以有助于加快药物研制、材料科学等多领域的研究发展以及落地应用。例如，通过利用图神经网络对输入的对应于化学分子的图结构数据进行处理可以实现快速地预测该化学分子的化学性质。
根据本公开实施例，所述图结构数据包括结点的表征向量和边的表征向量，以用于表示所述结点V和边E的性质，所述表征向量例如可以具有矩阵的数据形式。图神经网络的输出可以是每个结点的表征向量，表示对每个结点的性质特征的概括。此外，通过在图神经网络的输出层增加读取函数，也可以输出对应于整个图结构数据的表征向量，表示对整个图结构数据的性质特征的概括。图神经网络在结点分类、回归以及图结构数据分类、回归等任务上，可以取得较好的结果。具体的，所述图神经网络可以基于python语言和pytorch库，部署在搭载Linux操作系统和GPU计算资源的服务器上。
根据本公开实施例，所述图神经网络可以是信息传递神经网络(Message PassingNeural Network,MPNN)，作为一个应用实例，MPNN可以应用于预测化学分子的性质。首先，可以基于给定的数据集(诸如，标准数据集QM9)对MPNN进行训练，然后，利用经过训练的MPNN对输入的对应于化学分子的图结构数据进行处理，以快速地输出对于该化学分子的性质预测结果，所述性质预测结果以表征向量的形式输出。
图2示出了图神经网络的处理流程示意图，其输入为包括结点的表征向量和边的表征向量的图结构数据，其中，输入的结点的表征向量可以对应于结点的初始性质特征。如图2所示，图神经网络中可以包括多个由激活函数连接的隐藏层。在图神经网络的每个隐藏层中，结点的表征向量将被更新一次。具体地，对于每个结点，可以利用传递矩阵和与该结点相连的结点的表征向量来更新该结点的表征向量。在这里，相连的结点可以是指有边相连的一对结点。例如，对于图2中的结点a，可以通过与该结点a相连的三个结点的表征向量来更新该结点a的表征向量，类似地，可以对图结构数据中的其他结点(诸如，结点b、c)依次更新其表征向量。所述更新结点的表征向量的过程将在下文详细描述。
在图神经网络中，可以根据实际的应用需求来设置隐藏层的个数。所述激活函数可以是非线性函数，用于对数据进行归一化处理，以使得将数据范围限制在一定数值范围之内，诸如0至1之间，还用于打破神经网络中的线性映射关系。例如，所述激活函数可以是修正线性单元(Rectified Linear Unit，ReLU)。
在图神经网络中，输入图结构数据在经过n个隐藏层处理之后，其中结点的表征向量被更新了n次，得到的输出结果是基于所述n次更新得到的结点的表征向量，可以称为结点预测表征向量。此外，还可以利用读取函数来获得对应于图结构数据的表征向量，例如，所述读取函数可以将所有结点的表征向量取平均，以输出对应于图结构数据的表征向量，可以称为图预测表征向量。
如图1所示，接着，在步骤S102，利用所述图神经网络基于所述边的表征向量生成传递矩阵，其中，所述传递矩阵表示相连结点之间的信息传递方式。根据本公开实施例，所述图神经网络可以包括边神经网络(或者，可以称为边网络)，利用所述边网络基于所述边的表征向量可以生成传递矩阵。举例来说，所述边网络可以是由多个全连接层(Fullyconnected layers,FC)组成的全连接神经网络。
具体的，所述边网络的输入是边的表征向量，其输出是传递矩阵，所述传递矩阵表示相连结点之间的信息传递方式，即，所述传递矩阵可以用于与所述相连结点的表征向量一起来更新结点的表征向量。在根据本公开的实施例中，所述训练图神经网络的方法还可以包括以下步骤：对于每个结点，确定与所述结点相连的其他结点，利用所述图神经网络基于所述结点和与所述其他结点之间的边的表征向量生成第一传递矩阵，以及利用所述第一传递矩阵和所述其他结点的表征向量来更新所述结点的表征向量。
图3A示出了更新结点的表征向量的流程示意图，首先，可以对诸如MPNN的图神经网络输入图结构数据，其可以包括结点的表征向量和边的表征向量，此外，所述图结构数据还可以包括拓扑结构，用于表示所述结点和边之间的图结构信息，以将所述结点和边关联起来。以下，将结合图3A具体描述更新结点的表征向量的过程。
对于图结构数据中的任意结点v，可以首先基于所述拓扑结构确定与该结点v相连的其他结点，可以由Nv表示所述其他结点的集合。例如，结点ω可以是属于集合Nv的一个结点，即，结点v与结点ω相连，并且可以由evw表示所述结点v与结点ω之间的边的表征向量。从图神经网络的第l层到第l+1层，结点v的表征向量可以按照如下公式进行更新：
其中，σ表示激活函数，例如可以是如上所述的ReLU，f表示边网络，用于基于边的表征向量来生成传递矩阵，即∶e→W，f(evw)表示由边网络对边的表征向量evw进行处理，可以得到传递矩阵W，作为所述第一传递矩阵，是结点ω在图神经网络的第l层输出的表征向量，表示由第一传递矩阵来与所述结点ω在第l层的表征向量进行相乘，这可以等效于利用所述第一传递矩阵变换所述其他结点的表征向量，需要注意的是，所述变换所述其他结点的表征向量并不意味着改变所述其他结点在第l层的表征向量，经过所述第一传递矩阵变换后的其他结点的表征向量只用于更新当前结点v的表征向量。结点的表征向量的改变是通过以下更新的步骤来进行的。
类似地，可以利用传递矩阵来变换与结点v相连的所有结点(即，属于集合Nv的结点)的表征向量，并进行求和处理。W0 (l)可以是一个参数化的传递矩阵，其用于变换结点v在图神经网络的第l层输出的表征向量基于以上步骤，最终得到可以称为中间表征向量的
接着，可以利用上述变换后的所述其他结点的表征向量来更新所述结点的表征向量。GRU可以是带门的循环神经单元(Gate Recurrent Unit)，其可以是用于更新每一隐藏层的输出的非线性函数，接着，可以利用GRU函数来基于结点v在图神经网络的第l层输出的表征向量以及所述中间表征向量来更新所述结点v的表征向量，即，得到结点v在图神经网络的第l+1层输出的表征向量
如图3A中所示出的，上述更新结点的表征向量的过程可以按照上述方式循环地进行多次，更新的次数可以由图神经网络中包括的隐藏层的个数决定。经过最后一层隐藏层输出的结点的表征向量可以作为所述结点预测表征向量，此外，还可以利用读取函数来获得对应于整个图结构数据的图预测表征向量。需要注意的是，上述更新结点的表征向量的过程中，边的表征向量与拓扑结构是保持不变的。
在训练图神经网络的过程中，以上更新结点的表征向量的步骤可以通过训练(例如，利用诸如误差函数的训练函数)实现输出符合预期结果的预测表征向量，即使得图神经网络学习到输出预测结果的能力。此外，经过训练的图神经网络也通过以上更新结点的表征向量的方式来对输入的图结构数据进行处理，以输出预测的预测表征向量。所述预测表征向量可以应用于快速地预测结点或者图结构数据的性质，关于应用图神经网络进行性质预测的具体介绍将在下文进行。
如图1所示，接着，在步骤S103，确定所述边的表征向量与所述传递矩阵之间的互信息。在信息论中，互信息是两个随机变量间相互依赖性的度量。互信息越大，表示变量之间的相互依赖性越大。在根据本公开的实施例中，通过计算所述边的表征向量与所述传递矩阵之间的互信息来训练所述图神经网络，以保证在训练图神经网络过程中能充分地利用边的性质特征。
根据本公开实施例，确定所述边的表征向量与所述传递矩阵之间的互信息可以包括：确定对应于所述边的表征向量的边缘熵，确定所述传递矩阵与所述边的表征向量之间的相关信息熵，基于所述边缘熵和所述相关信息熵确定所述互信息，可以由以下公式表示由所述边缘熵和相关信息熵确定的互信息：
I(e；W)＝H(e)-H(e|W)
其中，I(e；W)表示边的表征向量e与传递矩阵W之间的互信息，H(e)表示边的边缘熵，H(e|W)为所述传递矩阵W与所述边的表征向量e之间的相关信息熵。具体的，H(e)可以看作是随机变量e的不确定度的量，H(e|W)可以看作是在已知传递矩阵W的情况下随机变量e的剩余不确定度的量，则H(e)-H(e|W)可以表示随机变量e的不确定度的量减去在已知传递矩阵W的情况下随机变量e的剩余不确定度的量，由此，所述互信息可以直观地理解为已知一个随机变量提供的另一个随机变量的信息量，即不确定度的减少量。
为了确定所述互信息，需要确定所述边缘熵H(e)和相关信息熵H(e|W)，其中，对于给定的图结构数据，所述边的表征向量是不变的，即，边的概率分布是确定的，因此H(e)可以是常数。
进一步地，根据本公开实施例，确定所述传递矩阵与所述边的表征向量之间的相关信息熵H(e|W)可以包括：确定后验分布函数p(e|W)，其中，所述后验分布函数p(e|W)可以表征在发生传递矩阵W的条件下发生所述边的表征向量e的概率分布，基于所述后验分布函数p(e|W)可以确定所述相关信息熵H(e|W)。
在实际应用中往往没办法直接地得到所述后验分布函数p(e|W)，在根据本公开的方法中，利用变分法来确定所述后验分布函数p(e|W)。所述变分法可以是指在原分布难以直接求解时，通过定义一个变分分布来作为所述原分布的近似。其中，所述后验分布函数p(e|W)可以是上述难以直接求解的原分布，本公开通过定义变分分布函数q(e|W)来近似地求解所述后验分布函数p(e|W)。下面，将介绍获得上述变分分布函数q(e|W)的具体过程。
首先，可以利用所述边神经网络f的逆网络g对所述传递矩阵W进行处理，生成逆矩阵。所述逆矩阵可以表示为g(f(e))，接着，基于所述边的表征向量e和所述逆矩阵g(f(e))来确定所述变分分布函数。
具体的，对于一个实现e→W的全连接神经网络f，即，f(e)＝W，可以定义一个与f具有相同层数的全连接层、结构对称的逆网络g∶W→e，即，g(W)＝e。由此，利用所述逆网络g可以计算出变分分布函数q(e|W)，其近似于所述后验分布函数p(e|W)。
基于以上后验分布函数p(e|W)可以计算得到所述互信息的可求导的目标函数，以用于训练所述图神经网络。对于神经网络的训练过程，可求导的目标函数是训练神经网络的必要条件，对于可求导的目标函数，例如，通过反向传播算法可以自动计算目标函数的导数，从而训练神经网络。具体的推导过程如下所示：
其中，E表示数学期望，EW～p(W)表示对边网络输出的传递矩阵W服从的概率分布p(W)求数学期望。Ee～p(e|W)表示对已知W的情况下边的表征向量e服从的条件分布p(e|W)求数学期望。边的表征向量e服从的概率分布p(e)，以及已知e的情况下传递矩阵W服从条件分布p(W|e)，Ee～p(e),W～p(W|e)表示对这两个分布p(e)和p(W|e)的联合求数学期望。Ee～p(e)表示对边的表征向量e服从的概率分布p(e)求数学期望。其中DKL(·||·)表示散度，又可以称为相对熵。
基于以上公式解释，所述推导过程可以分解为以下步骤：
首先，基于相关信息熵定义可以将-H(e|W)展开为：
EW～p(W)[Ee～p(e|W)[logp(e|W)]]
接着，可以将其进一步展开为：
EW～p(W)[Ee～p(e|W)[logp(e|W)-logq(e|W)+logq(e|W)]]
其中，p(e|W)为要求解的后验分布函数，q(e|W)为用于近似求解所述后验分布函数的变分分布函数。
接着，可以将得到的Ee～p(e|W)[logp(e|W)-logq(e|W)+logq(e|W)]拆分成两部分，即：
DKL(p(e|W)||p(e|W))+Ee～p(e|W)[logq(e|W)]
其中，p(e|W)和p(e|W)之间的散度表示这两者之间的相似程度，在这两者完全相同的情况下，散度值为0，在其余情况下，散度值大于0。
接着，可以将所述互信息近似为：
I(e；W)≥H(e)+EW～p(W)[Ee～p(e|W)[logq(e|W)]]
然后，可以将其中的EW～p(W)[Ee～p(e|W)[logq(e|W)]]整理为：
Ee～p(e),W～p(W|e)[logq(e|W)]
其中，对于条件分布p(W|e)，可以称为先验分布函数，其表示在已知e的情况下W服从的分布，在根据本公开的实施例中，所述先验分布函数p(W|e)是一个确定的分布，其完全由f给定：
p(W|e)＝δ(W-f(e))
其中，δ表示狄拉克函数，在零点为无穷大，其他点为零。
由此，可以将Ee～p(e),W～p(W|e)[logq(e|W)]直接简化为：
Ee～p(e)[logq(e|W)]
最终，可以推导得到由变分分布函数表示的互信息的可求导的目标函数：
I(e；W)＝H(e)+Ee～p(e)[logq(e|W)]
如图1所示，接着，在步骤S104，利用所述互信息训练所述图神经网络，根据本公开实施例，可以通过最大化所述互信息来训练所述图神经网络。具体的，基于以上公式推导的互信息的目标函数可以以求导的方式来最大化所述互信息，即最大化所述边的表征向量与传递矩阵之间的相互依赖性，利用通过所述最大化处理约束的传递矩阵可以按照以上结合图3A所示的方式来更新所述图神经网络中的结点的表征向量，从而能实现基于所述边的表征向量与传递矩阵之间的互信息来训练图神经网络，保证充分利用边的性质，以提高边的性质对于训练结果的影响。
具体的，对于给定的先验分布p(W|e)，log q(e|W)可以由前述神经网络f和g求解出。例如，对于高斯先验分布，变分分布q(e|W)服从一个以g(f(e))为均值的高斯分布，此时，logq(e|f(e))可以表示为：
基于此，可以由以下公式表示所述互信息：
其中，I(e；W)表示所述边的表征向量e与所述传递矩阵W之间的互信息，H(e)表示对应于所述边的表征向量的边缘熵，其为常数，Ee～p(e)表示对e的概率分布p(e)求数学期望，α为系数，可以根据实际应用场景的需求来设置α的值，一般地，可以将α设置为1，f表示边神经网络，g表示所述边神经网络的逆网络，表示L2范数的平方，其可以被求导，以通过诸如反向传播算法的方式来实现基于互信息来训练图神经网络。
图3B示出了根据本公开实施例的更新结点的表征向量的流程示意图，其中，所述更新结点的表征向量的过程可以是在训练所述图神经网络的过程中进行。与图3A示出的更新流程相比，在图3B中，所述边的表征向量e首先输入至边网络f，并生成传递矩阵W，边网络f的逆网络g对所述传递矩阵W进行处理，以生成逆矩阵，表示为g(f(e))，按照以上互信息的公式，可以基于所述边的表征向量e和逆矩阵g(f(e))来确定所述互信息，并通过最大化所述互信息的方式来训练所述图神经网络。换句话说，在训练图神经网络的过程中，生成的传递矩阵是受到所述互信息的目标函数约束的，以使得增加用于更新结点的表征向量的传递矩阵与边的表征向量之间的相互依赖关系，保证边的性质被有效地编码到所述传递矩阵。
以下，将以利用经过根据本公开的训练方法进行训练后的图神经网络预测分子的化学性质为例进行详细介绍。
物质在发生化学变化时才表现出来的性质称为化学性质。物质在化学反应中表现出的氧化性、还原性、各类物质的通性等，都属于化学性质。例如，所述化学性质可以是可燃性、稳定性、不稳定性、热稳定性、酸性、碱性、氧化性、助燃性、还原性、络合性、毒性、腐蚀性、金属性、非金属性、与其他物质起反应呈现的现象等。常规的获取物质的化学性质的方法需要通过使得该物质发生化学反应来获得该物质的化学性质。例如，碳在空气中燃烧生成二氧化碳；盐酸与氢氧化钠反应生成氯化钠和水；加热KClO3到熔化，可以使带火星的木条复燃，表明KClO3受热达到较高的温度时，能够放出氧气。因此，KClO3具有受热分解产生O2的化学性质。通过以上化学反应的方法获得化学性质的特点是在测得物质的化学性质之后，原物质也消失了，即被反应掉了。例如，人们可以利用燃烧的方法获得物质是否有可燃性时，可以利用加热看其是否分解的方法，测得物质的稳定性。化学分子的性质预测可以在化学、材料、医药等应用中发挥重要作用。而以上这种通过化学反应来获得化学性质的方式具有步骤复杂、耗时且消耗原物质等的缺陷，这限制了诸如人工制药中性质预测的进程。
如上所述的，可以将化学分子建模成图结构数据，并由图神经网络来进行化学性质预测的处理。具体的，化学分子中的每个原子可以是一个结点，原子之间的相互作用关系(化学键、距离等)可以建模成边。化学分子建模成的图结构数据中，输入的结点的性质和边的性质分别用对应的表征向量表示，即结点的表征向量和边的表征向量。表1列出了化学领域中常用的结点的性质和边的性质。
表1.结点的性质和边的性质
建模成图结构数据的化学分子可以作为图神经网络的输入，其输出是预测的该化学分子的化学性质，例如分子偶极矩、自由能、热容量、焓、极化性等。图神经网络需要在给定的化学分子数据上做训练，训练好的模型在应用中，可以实时地对输入的化学分子快速地预测性质，例如，以输出图预测表征向量的方式。化学分子中边的性质(例如，化学键的性质)对化学性质的影响很大，而根据本公开的训练方法充分利用了边的性质，有利于减小分子性质预测的误差。
相比于现有的其他图神经网络，根据本公开的训练方法得到的信息传递神经网络MPNN可以实现有效降低预测误差，即提高了化学性质预测的准确性。具体的，可以在化学分子性质预测标准数据集QM9上预测分子的12个化学性质，预测结果对比如表2所示：
表2.化学性质预测误差对比
方法/化学性质 GCN GAT GGNN MPNN MPNN-new
mu 0.5695 0.5582 0.5261 0.1076 0.0999
alpha 0.9216 0.8482 0.6192 0.3336 0.2896
HOMO(10<sup>-3</sup>) 5.4527 5.1977 4.5269 2.4983 2.1932
LUMO(10<sup>-3</sup>) 6.4143 5.9956 5.2528 2.8437 2.5304
gap(10<sup>-3</sup>) 8.1872 7.7851 6.6978 3.6178 3.2005
R2 54.793 52.257 40.354 6.2450 5.3776
ZPVE(10<sup>-3</sup>) 2.6059 2.0900 1.3166 0.6778 0.6199
U0 2.4986 2.0100 0.6517 0.4408 0.3514
U 2.4986 2.0100 0.6502 0.4407 0.3514
H 2.4986 2.0100 0.6535 0.4407 0.3514
G 2.4986 2.0101 0.6497 0.4407 0.3514
Cv 0.4970 0.4558 0.3220 0.1356 0.1183
其中，GCN表示图卷积网络的半监督分类(Semi-supervised classificationwith graph convolutional networks)，GAT表示图注意力网络(Graph attentionnetworks)、GGNN表示用于药物发现的大型生物活性数据库(A large-scale bioactivitydatabase for drug discovery)中使用的神经网络，MPNN表示未经过根据本公开的方法训练的信息传递神经网络，MPNN-new表示经过根据本公开的方法训练的信息传递神经网络。根据以上表2中示出的结果可以，利用根据本公开的训练方法训练的图神经网络可以有效地减小分子化学性质预测的误差，提高性质预测的准确性。
此外，图神经网络还可以用于药物分子筛选，从而加速新药研发流程，降低新药研发成本。在传统药厂新药研发过程中，需要人工地从大量的分子库中筛选出可能有效的药物分子，往往耗费大量时间、金钱成本。图神经网络可以应用于药物分子的早期筛选，训练好的信息传神经网络可以从大量的分子中快速地筛选出目标药物分子。例如，在肺癌等疾病的靶向药物研发过程中，关心分子对靶点的活性数据这一化学性质。图神经网络可以按照上述方法对对应于化学分子的图结构数据进行处理，以预测分子对靶点的活性。根据本公开的基于互信息训练的图神经网络，可以在药物分子筛选中达到更高的准确率。
例如，可以利用表2中的列出的网络分别对上述用于药物发现的大型生物活性数据库(A large-scale bioactivity database for drug discovery)中的7698个分子做训练和测试，预测分子对肺癌靶点的活性这一化学性质。表3示出了预测误差：
表3.药物活性预测误差
方法 GCN GAT GGNN MPNN 本方案
预测误差 0.7053 0.6465 0.6727 0.6435 0.6174
如表3所示，经过根据本公开的方法训练的信息传递神经网络MPNN-new同样具有最小的预测误差。
作为另一示例，经过训练的图神经网络还可以用于预测社交网络中用户的性质。如上所述的，社交网络可以建模成图结构数据，其中，用户是结点，用户之间的关系是边。作为输入数据，结点的性质例如可以是年龄、性别、所在城市、消费兴趣等，边的性质可以是好友联系、加好友方式、消费兴趣是否重叠等等，以上结点的性质和边的性质可以描述为结点的表征向量和边的表征向量并输入至图神经网络以进行性质预测。真实的社交网络中获取的上述输入数据往往带有噪声，即结点或边的性质会存在错误或者不完整。利用经过根据本公开的训练方法的图神经网络可以对对应于社交网络的图结构数据进行处理，由于考虑了边的性质，可以对上述错误或者不完整的输入数据进行补偿，从而最终输出准确的结点预测表征向量。
根据本公开的训练图神经网络的方法，能实现基于边的表征向量和传递矩阵之间的互信息来训练图神经网络，即，在通过更新结点的表征向量来训练图神经网络的同时最大化所述互信息，以使得充分利用边的性质来实现更新操作，保证边的性质被有效地利用，从而提高图神经网络的训练效果，增加图神经网络的预测准确性。
根据本公开的另一方面，还提供了一种图神经网络设备。图4示出了根据本公开实施例的图神经网络设备的示意性框图。
如图4所示，所述图神经网络设备1000可以包括图神经网络单元1010和训练单元1020。所述图神经网络单元1010可以配置成获取包括结点的表征向量和边的表征向量的输入图结构数据，以及基于所述边的表征向量生成传递矩阵，其中，所述边表示相连的结点之间的关联关系，所述传递矩阵表示相连结点之间的信息传递方式。根据本公开的一些实施例，所述图神经网络单元1010可以包括信息传递神经网络MPNN，经过训练的MPNN可以用于预测化学分子性质。
所述训练单元1020可以配置成确定所述边的表征向量与所述传递矩阵之间的互信息，以及利用所述互信息训练所述图神经网络单元。
根据本公开的一些实施例，所述图神经网络单元1010可以包括边神经网络，并利用所述边神经网络基于所述边的表征向量生成传递矩阵。例如，所述边神经网络可以是如上所述的全连接神经网络f，其可以作为信息传递神经网络MPNN的子网络。
根据本公开的一些实施例，所述训练单元1020还可以配置成利用所述边神经网络的逆网络对所述传递矩阵进行处理以生成逆矩阵，基于所述边的表征向量和所述逆矩阵来确定后验分布函数，其中，所述后验分布函数表征在发生传递矩阵的条件下发生所述边的表征向量的概率分布，基于所述后验分布函数确定所述传递矩阵与所述边的表征向量之间的相关信息熵，基于对应于所述边的表征向量的边缘熵和所述相关信息熵确定所述互信息。所述训练单元1020确定互信息的步骤可以如上所述的进行，在此不再赘述。
根据本公开的一些实施例，所述训练单元1020可以通过最大化所述互信息来训练所述图神经网络单元。例如，可以利用反向传播算法对所述互信息的函数进行求导，其获得互信息最大化后的传递矩阵，并用于训练诸如信息传递神经网络MPNN的图神经网络。
所述输入图结构数据包括多个结点，所述图神经网络单元1010还可以配置成：对于每个结点，确定与所述结点相连的其他结点，基于所述结点和与所述其他结点之间的边的表征向量生成第一传递矩阵。所述设备1000还可以包括更新单元1030。所述更新单元1030可以配置成利用所述第一传递矩阵和所述其他结点的表征向量来更新所述结点的表征向量。以上图神经网络单元1010更新结点的表征向量的过程与结合图3B描述的过程类似，在此不再赘述。
根据本公开的一些实施例，所述输入图结构数据还可以包括拓扑结构，用于表示所述结点和边之间的图结构信息，所述图神经网络单元1010还可以配置成对包括结点的表征向量、边的表征向量和拓扑结构的输入图结构数据进行处理，并输出预测表征向量。所述预测表征向量包括以下中的至少一种：用于预测所述结点的性质的结点预测表征向量；和用于预测所述图结构数据的性质的图预测表征向量。例如，可以在信息传递神经网络的输出层增加读取函数来基于结点预测表征向量生成图预测表征向量。
利用如上所述的训练过程可以使得图神经网络对输入的图结构数据进行性质预测。所述预测性质的功能可以广泛于实际应用中，例如，如上所述的化学、社交网络、地图等领域中。
根据本公开的又一方面，还提供了一种图神经网络装置。图5示出了根据本公开实施例的图神经网络装置2000的示意图。
如图5所示，所述装置2000可以包括一个或多个处理器2010，和一个或多个存储器2020。其中，所述存储器2020中存储有计算机可读代码，所述计算机可读代码当由所述一个或多个处理器2010运行时，可以执行如上所述的训练图神经网络的方法。
根据本公开实施例的方法或装置也可以借助于图6所示的计算设备3000的架构来实现。如图6所示，计算设备3000可以包括总线3010、一个或多个CPU3020、只读存储器(ROM)3030、随机存取存储器(RAM)3040、连接到网络的通信端口3050、输入/输出组件3060、硬盘3070等。计算设备3000中的存储设备，例如ROM 3030或硬盘3070可以存储本公开提供的训练图神经网络的方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备3000还可以包括用户界面3080。当然，图6所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图6示出的计算设备中的一个或多个组件。
根据本公开的又一方面，还提供了一种计算机可读存储介质。图7示出了根据本公开的存储介质的示意图4000。
如图7所示，所述计算机存储介质4020上存储有计算机可读指令4010。当所述计算机可读指令4010由处理器运行时，可以执行参照以上附图描述的根据本公开实施例的训练图神经网络的方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
此外，虽然本公开对根据本公开的实施例的系统中的某些单元做出了各种引用，然而，任何数量的不同单元可以被使用并运行在客户端和/或服务器上。所述单元仅是说明性的，并且所述系统和方法的不同方面可以使用不同单元。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。

Claims (15)

1.一种训练图神经网络的方法，包括：
获取所述图神经网络的图结构数据，其中，所述图结构数据包括结点的表征向量和边的表征向量，所述边表示相连的结点之间的关联关系；
利用所述图神经网络基于所述边的表征向量生成传递矩阵，其中，所述传递矩阵表示相连结点之间的信息传递方式；
确定所述边的表征向量与所述传递矩阵之间的互信息；以及
利用所述互信息训练所述图神经网络。
2.根据权利要求1所述的方法，其中，所述图神经网络包括边神经网络，所述利用所述图神经网络基于所述边的表征向量生成传递矩阵包括：
利用所述边神经网络基于所述边的表征向量生成传递矩阵。
3.根据权利要求2所述的方法，其中，确定所述边的表征向量与所述传递矩阵之间的互信息包括：
确定对应于所述边的表征向量的边缘熵；
确定所述传递矩阵与所述边的表征向量之间的相关信息熵；
基于所述边缘熵和所述相关信息熵确定所述互信息。
4.根据权利要求3所述的方法，其中，确定所述传递矩阵与所述边的表征向量之间的相关信息熵包括：
确定后验分布函数，其中，所述后验分布函数表征在发生传递矩阵的条件下发生所述边的表征向量的概率分布；
基于所述后验分布函数确定所述相关信息熵。
5.根据权利要求4所述的方法，其中，确定后验分布函数包括：
利用所述边神经网络的逆网络对所述传递矩阵进行处理，生成逆矩阵；
基于所述边的表征向量和所述逆矩阵来确定所述后验分布函数。
6.根据权利要求1所述的方法，其中，利用所述互信息训练所述图神经网络包括：
通过最大化所述互信息来训练所述图神经网络，其中，
由以下公式表示所述互信息：
其中，I(e；W)表示所述边的表征向量e与所述传递矩阵W之间的互信息，H(e)表示对应于所述边的表征向量的边缘熵，Ee～p(e)表示对边的概率分布p(e)求数学期望，α为系数，f表示边神经网络，g表示逆网络，表示L2范数的平方。
7.根据权利要求1所述的方法，其中，所述图结构数据包括多个结点，所述方法还包括：
对于每个结点，确定与所述结点相连的其他结点；
利用所述图神经网络基于所述结点和与所述其他结点之间的边的表征向量生成第一传递矩阵；以及
利用所述第一传递矩阵和所述其他结点的表征向量来更新所述结点的表征向量。
8.根据权利要求1所述的方法，其中，所述图神经网络是信息传递神经网络。
9.一种图神经网络设备，包括：
图神经网络单元，配置成获取包括结点的表征向量和边的表征向量的图结构数据，以及基于所述边的表征向量生成传递矩阵，其中，所述边表示相连的结点之间的关联关系，所述传递矩阵表示相连结点之间的信息传递方式；
训练单元，配置成确定所述边的表征向量与所述传递矩阵之间的互信息，以及利用所述互信息训练所述图神经网络单元。
10.根据权利要求9所述的设备，其中，所述图神经网络单元包括边神经网络，利用所述边神经网络基于所述边的表征向量生成传递矩阵。
11.根据权利要求10所述的设备，其中，所述训练单元还配置成：
利用所述边神经网络的逆网络对所述传递矩阵进行处理以生成逆矩阵；
基于所述边的表征向量和所述逆矩阵来确定后验分布函数，其中，所述后验分布函数表征在发生传递矩阵的条件下发生所述边的表征向量的概率分布；
基于所述后验分布函数确定所述传递矩阵与所述边的表征向量之间的相关信息熵，
基于对应于所述边的表征向量的边缘熵和所述相关信息熵确定所述互信息。
12.根据权利要求11所述的设备，其中，所述训练单元通过最大化所述互信息来训练所述图神经网络单元，其中，所述图结构数据包括多个结点，所述图神经网络单元还配置成：对于每个结点，确定与所述结点相连的其他结点；基于所述结点和与所述其他结点之间的边的表征向量生成第一传递矩阵，所述设备还包括更新单元，配置成利用所述第一传递矩阵和所述其他结点的表征向量来更新所述结点的表征向量。
13.根据权利要求9所述的设备，其中，所述图结构数据还包括拓扑结构，用于表示所述结点和边之间的图结构信息，
所述图神经网络单元还配置成对包括结点的表征向量、边的表征向量和拓扑结构的图结构数据进行处理，并输出预测表征向量，其中，所述预测表征向量包括以下中的至少一种：
用于预测所述结点的性质的结点预测表征向量；和
用于预测所述图结构数据的性质的图预测表征向量。
14.一种图神经网络装置，包括：
处理器；和
存储器，其中，所述存储器中存储有计算机可读代码，所述计算机可读代码当由所述处理器运行时，执行如权利要求1-8中任一项所述的训练图神经网络的方法。
15.一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如权利要求1-8中任一项所述的训练图神经网络的方法。
CN201910640693.3A 2019-07-16 2019-07-16 训练图神经网络的方法、图神经网络设备、装置、介质 Pending CN110348573A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910640693.3A CN110348573A (zh) 2019-07-16 2019-07-16 训练图神经网络的方法、图神经网络设备、装置、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910640693.3A CN110348573A (zh) 2019-07-16 2019-07-16 训练图神经网络的方法、图神经网络设备、装置、介质

Publications (1)

Publication Number Publication Date
CN110348573A true CN110348573A (zh) 2019-10-18

Family

ID=68175450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910640693.3A Pending CN110348573A (zh) 2019-07-16 2019-07-16 训练图神经网络的方法、图神经网络设备、装置、介质

Country Status (1)

Country Link
CN (1) CN110348573A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110970099A (zh) * 2019-12-10 2020-04-07 北京大学 一种基于正则化变分自动编码器的药物分子生成方法
CN111223532A (zh) * 2019-11-14 2020-06-02 腾讯科技（深圳）有限公司 确定目标化合物的反应物的方法、设备、装置、介质
CN111309923A (zh) * 2020-01-22 2020-06-19 腾讯科技（深圳）有限公司 对象向量确定、模型训练方法、装置、设备和存储介质
CN111325340A (zh) * 2020-02-17 2020-06-23 南方科技大学 信息网络关系预测方法及系统
CN111369258A (zh) * 2020-03-10 2020-07-03 支付宝(杭州)信息技术有限公司 实体对象类型的预测方法、装置及设备
CN111681204A (zh) * 2020-04-30 2020-09-18 北京深睿博联科技有限责任公司 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置
CN111798934A (zh) * 2020-06-23 2020-10-20 苏州浦意智能医疗科技有限公司 一种基于图神经网络的分子性质预测方法
CN111860768A (zh) * 2020-06-16 2020-10-30 中山大学 一种增强图神经网络点边交互的方法
CN112101852A (zh) * 2020-08-11 2020-12-18 大亚湾核电运营管理有限责任公司 核电站物料的发料批次推荐方法、装置、设备及介质
WO2021082681A1 (zh) * 2019-10-29 2021-05-06 支付宝(杭州)信息技术有限公司 多方联合训练图神经网络的方法及装置
CN113066528A (zh) * 2021-04-12 2021-07-02 山西大学 基于主动半监督图神经网络的蛋白质分类方法
CN113140260A (zh) * 2020-01-20 2021-07-20 腾讯科技（深圳）有限公司 合成物的反应物分子组成数据预测方法和装置
CN113409893A (zh) * 2021-06-25 2021-09-17 成都职业技术学院 一种基于图像卷积的分子特征提取及性能预测方法
CN113837382A (zh) * 2021-09-26 2021-12-24 杭州网易云音乐科技有限公司 图神经网络的训练方法和系统
CN113870041A (zh) * 2021-09-07 2021-12-31 天津大学 一种基于消息传递和图先验分布的微博话题检测方法
CN113948157A (zh) * 2020-07-16 2022-01-18 腾讯科技（深圳）有限公司 化学反应分类方法、装置、电子设备及存储介质
WO2022133725A1 (en) * 2020-12-22 2022-06-30 Orange Improved distributed training of graph-embedding neural networks
CN115274008A (zh) * 2022-08-08 2022-11-01 苏州创腾软件有限公司 基于图神经网络的分子性质预测方法和系统
CN116189847A (zh) * 2023-05-05 2023-05-30 武汉纺织大学 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190139622A1 (en) * 2017-08-03 2019-05-09 Zymergen, Inc. Graph neural networks for representing microorganisms
CN109923560A (zh) * 2016-11-04 2019-06-21 谷歌有限责任公司 使用变分信息瓶颈来训练神经网络
CN109948797A (zh) * 2019-03-29 2019-06-28 中国石油大学(华东) 一种基于l2范数的图神经网络中的邻接矩阵优化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109923560A (zh) * 2016-11-04 2019-06-21 谷歌有限责任公司 使用变分信息瓶颈来训练神经网络
US20190139622A1 (en) * 2017-08-03 2019-05-09 Zymergen, Inc. Graph neural networks for representing microorganisms
CN109948797A (zh) * 2019-03-29 2019-06-28 中国石油大学(华东) 一种基于l2范数的图神经网络中的邻接矩阵优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUSTIN GILMER ETC.: "Neural Message Passing for Quantum Chemistry", 《HTTPS://ARXIV.ORG/PDF/1704.01212.PDF》 *
PETAR VELICKOVIC ETC.: "Deep Graph Infomax", 《HTTPS://ARXIV.ORG/PDF/ 1809.10341.PDF》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021082681A1 (zh) * 2019-10-29 2021-05-06 支付宝(杭州)信息技术有限公司 多方联合训练图神经网络的方法及装置
CN111223532A (zh) * 2019-11-14 2020-06-02 腾讯科技（深圳）有限公司 确定目标化合物的反应物的方法、设备、装置、介质
CN111223532B (zh) * 2019-11-14 2023-06-20 腾讯科技（深圳）有限公司 确定目标化合物的反应物的方法、设备、装置、介质
CN110970099A (zh) * 2019-12-10 2020-04-07 北京大学 一种基于正则化变分自动编码器的药物分子生成方法
CN110970099B (zh) * 2019-12-10 2023-04-28 北京大学 一种基于正则化变分自动编码器的药物分子生成方法
CN113140260B (zh) * 2020-01-20 2023-09-08 腾讯科技（深圳）有限公司 合成物的反应物分子组成数据预测方法和装置
CN113140260A (zh) * 2020-01-20 2021-07-20 腾讯科技（深圳）有限公司 合成物的反应物分子组成数据预测方法和装置
CN111309923A (zh) * 2020-01-22 2020-06-19 腾讯科技（深圳）有限公司 对象向量确定、模型训练方法、装置、设备和存储介质
CN111309923B (zh) * 2020-01-22 2023-01-03 腾讯科技（深圳）有限公司 对象向量确定、模型训练方法、装置、设备和存储介质
CN111325340B (zh) * 2020-02-17 2023-06-02 南方科技大学 信息网络关系预测方法及系统
CN111325340A (zh) * 2020-02-17 2020-06-23 南方科技大学 信息网络关系预测方法及系统
CN111369258A (zh) * 2020-03-10 2020-07-03 支付宝(杭州)信息技术有限公司 实体对象类型的预测方法、装置及设备
CN111681204B (zh) * 2020-04-30 2023-09-26 北京深睿博联科技有限责任公司 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置
CN111681204A (zh) * 2020-04-30 2020-09-18 北京深睿博联科技有限责任公司 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置
CN111860768B (zh) * 2020-06-16 2023-06-09 中山大学 一种增强图神经网络点边交互的方法
CN111860768A (zh) * 2020-06-16 2020-10-30 中山大学 一种增强图神经网络点边交互的方法
CN111798934A (zh) * 2020-06-23 2020-10-20 苏州浦意智能医疗科技有限公司 一种基于图神经网络的分子性质预测方法
CN111798934B (zh) * 2020-06-23 2023-11-14 苏州浦意智能医疗科技有限公司 一种基于图神经网络的分子性质预测方法
CN113948157A (zh) * 2020-07-16 2022-01-18 腾讯科技（深圳）有限公司 化学反应分类方法、装置、电子设备及存储介质
CN113948157B (zh) * 2020-07-16 2023-09-15 腾讯科技（深圳）有限公司 化学反应分类方法、装置、电子设备及存储介质
CN112101852A (zh) * 2020-08-11 2020-12-18 大亚湾核电运营管理有限责任公司 核电站物料的发料批次推荐方法、装置、设备及介质
WO2022133725A1 (en) * 2020-12-22 2022-06-30 Orange Improved distributed training of graph-embedding neural networks
CN113066528A (zh) * 2021-04-12 2021-07-02 山西大学 基于主动半监督图神经网络的蛋白质分类方法
CN113409893B (zh) * 2021-06-25 2022-05-31 成都职业技术学院 一种基于图像卷积的分子特征提取及性能预测方法
CN113409893A (zh) * 2021-06-25 2021-09-17 成都职业技术学院 一种基于图像卷积的分子特征提取及性能预测方法
CN113870041A (zh) * 2021-09-07 2021-12-31 天津大学 一种基于消息传递和图先验分布的微博话题检测方法
CN113870041B (zh) * 2021-09-07 2024-05-24 天津大学 一种基于消息传递和图先验分布的微博话题检测方法
CN113837382A (zh) * 2021-09-26 2021-12-24 杭州网易云音乐科技有限公司 图神经网络的训练方法和系统
CN113837382B (zh) * 2021-09-26 2024-05-07 杭州网易云音乐科技有限公司 图神经网络的训练方法和系统
CN115274008A (zh) * 2022-08-08 2022-11-01 苏州创腾软件有限公司 基于图神经网络的分子性质预测方法和系统
CN116189847A (zh) * 2023-05-05 2023-05-30 武汉纺织大学 一种基于注意力机制的lstm-cnn策略的安全药物推荐方法

Similar Documents

Publication Publication Date Title
CN110348573A (zh) 训练图神经网络的方法、图神经网络设备、装置、介质
Subbaswamy et al. Preventing failures due to dataset shift: Learning predictive models that transport
Huang et al. Keeping dataset biases out of the simulation: A debiased simulator for reinforcement learning based recommender systems
CN111428147B (zh) 结合社交和兴趣信息的异源图卷积网络的社交推荐方法
Jeub et al. Think locally, act locally: Detection of small, medium-sized, and large communities in large networks
Kim Quantile regression with varying coefficients
CN110347932B (zh) 一种基于深度学习的跨网络用户对齐方法
CN114048331A (zh) 一种基于改进型kgat模型的知识图谱推荐方法及系统
Häggström Data‐driven confounder selection via Markov and Bayesian networks
CN109472596A (zh) 基于交易评估的联盟链共识方法及系统
Steingrimsson et al. Deep learning for survival outcomes
Seo et al. Stateconet: Statistical ecology neural networks for species distribution modeling
Wikle et al. An illustration of model agnostic explainability methods applied to environmental data
Liu et al. Mul-gad: a semi-supervised graph anomaly detection framework via aggregating multi-view information
CN110717116A (zh) 关系网络的链接预测方法及系统、设备、存储介质
US20230402125A1 (en) Drug screening model construction method, a drug screening model construction device, a drug screening method, apparatus and a medium
CN110717037B (zh) 对用户分类的方法和装置
WO2023240720A1 (zh) 药物筛选模型构建方法及装置、筛选方法、设备和介质
Teramoto et al. Estimating causal effects with a non-paranormal method for the design of efficient intervention experiments
CN115545085A (zh) 微弱故障电流的故障类型识别方法、装置、设备和介质
Dolgobrodov et al. Artificial neural network: predicted vs. observed survival in patients with colonic cancer
Fu et al. Network reconstruction in terms of the priori structure information
CN114420221A (zh) 一种基于知识图谱辅助的多任务药物筛选方法和系统
Gonzalez-Calvo et al. Multivariate influence through neural networks ensemble: Study of Saharan dust intrusion in the Canary Islands
CN113158088A (zh) 一种基于图神经网络的位置推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018