CN111860768A - 一种增强图神经网络点边交互的方法 - Google Patents

一种增强图神经网络点边交互的方法 Download PDF

Info

Publication number
CN111860768A
CN111860768A CN202010547673.4A CN202010547673A CN111860768A CN 111860768 A CN111860768 A CN 111860768A CN 202010547673 A CN202010547673 A CN 202010547673A CN 111860768 A CN111860768 A CN 111860768A
Authority
CN
China
Prior art keywords
node
layer
graph
edge
application object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010547673.4A
Other languages
English (en)
Other versions
CN111860768B (zh
Inventor
杨跃东
邓幽扬
宋颖
郑双佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010547673.4A priority Critical patent/CN111860768B/zh
Publication of CN111860768A publication Critical patent/CN111860768A/zh
Application granted granted Critical
Publication of CN111860768B publication Critical patent/CN111860768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种增强图神经网络点边交互的方法，步骤包括：获取有向分子图G及其图结构数据，根据图结构数据获取
Figure DDA0002541321860000011
和
Figure DDA0002541321860000012
根据所有
Figure DDA0002541321860000013
创建所有
Figure DDA0002541321860000014
根据所有所述
Figure DDA0002541321860000015
与所有
Figure DDA0002541321860000016
更新得到所有
Figure DDA0002541321860000017
根据所有
Figure DDA0002541321860000018
与所有所述
Figure DDA0002541321860000019
创建所有
Figure DDA00025413218600000110
根据所有所述
Figure DDA00025413218600000111
和所有所述
Figure DDA00025413218600000112
得到所有
Figure DDA00025413218600000113
利用所有
Figure DDA00025413218600000114
所有
Figure DDA00025413218600000115
和所述图结构数据中的节点原始特征Xv，将所述图神经网络迭代至第K层，得到所述有向分子图的最终节点表示形式h(v)，所述k≥1，K＞k；利用每个任意节点v的相邻节点w到任意节点v的边的隐藏表示，即
Figure DDA00025413218600000116
创建任意节点v在第k层的消息向量
Figure DDA00025413218600000117
使边的信息与节点信息进行关联和传递，在神经网络训练过程中更新了节点和边的嵌入，关注了节点与边之间信息的可传递性。

Description

一种增强图神经网络点边交互的方法
技术领域
本发明涉及新型图神经网络领域，更具体地，涉及一种增强图神经网络点边交互的方法。
背景技术
准确预测分子的性质一直是制药界持续关注的话题，分子性质预测的主要目标是去除下游开发过程中更容易产生性质负担的化合物，从而达到节约大量资源和时间的目的。
预测分子的性质的相关研究方法经历了传统方法和机器学习方法两个阶段。传统方法主要是基于特征工程进行的定量结构-性质关系(QSPR)，但传统方法限制了模型在现有化学知识边缘之外学习的能力。机器学习特别是深度学习方法显示出了与传统方法竞争甚至超越传统方法的巨大潜力。与以往基于描述符的方法相比，基于深度学习的模型可以将相对无损的原始分子格式(SMILES字符串和拓扑图)作为输入，然后以端到端的方式训练模型来预测目标端点。这些模型能够为分子描绘出更加全面的信息。
近年来，基于图卷积神经网络来学习分子的化学结构方法被提出。2015年，Duvenaud提出一种神经指纹方法作为分子指纹的替代方法，也是最早将图卷积方法用于化学表征的研究之一。2017年，Gilmer总结了一种被称为消息传递神经网络(MPNNs)的通用架构，该架构在量子化学性质预测方面表现出了优越的性能。然而，MPNN及其变体主要关注保留有效顶点(原子)嵌入，而忽略了边缘(键)所携带的信息，这些信息对许多下游任务(如节点或边缘嵌入和图表示)是有利的。而后Yang在2019年提出的DMPNN通过使用与有向边(键)相关的消息而不是与顶点相关的消息来缓解这个问题。其主要贡献在于，它既能利用键属性，又能避免消息传递轨迹中不必要的循环，从而获得无冗余的信息。与以往的MPNNs相比，这种基于键的消息传递过程表现出了优异的性能。但DMPNN忽略了从化学键传递回原子的信息，使得DMPNN仅仅能捕捉原子和化学键的互补信息。
因此要准确预测分子的性质难点在于不仅要学习分子结构中节点的特征，边的特征，还要学习节点与边之间的信息。而现有的预测方法存在难以捕捉边的信息，忽略化学键与原子的信息可传递性特点等问题。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷，提供一种增强图神经网络点边交互的方法，用于解决现有的预测方法中忽略有向图中边与点之间可传递的缺陷。
本发明提供的技术方案为：
一种增强图神经网络点边交互的方法，步骤包括：
获取应用对象的有向图G，提取所述有向图G的图结构数据，所述有向图包括若干个节点v和若干条边e，所述节点v为所述应用对象中的任意一个元素，所述边e为所述应用对象中任意相连的两个元素之间的关联关系；
根据所述图结构数据获取所有
Figure BDA0002541321840000021
和所有
Figure BDA0002541321840000022
所述v表示所述所有节点中的任意一个节点，所述w表示所述节点v任意相邻节点，所述相邻节点为所述应用对象中与任意元素相连的任意元素，所述
Figure BDA0002541321840000023
为任意一条所述节点v到其任意相邻节点w的边ev,w在第0层的隐藏表示，所述
Figure BDA0002541321840000024
为任意所述节点v在第0层的隐藏表示，任何所述边e隐藏表示为所述应用对象中任意相连的两个元素之间的关联关系在某一层的抽象化表示，任何所述节点v的隐藏表示为所述应用对象中任意元素在某一层的抽象化表示；
第一步首先获取节点和边在的第0层的隐藏表示，作为迭代计算的初始量。
根据所有
Figure BDA0002541321840000025
创建所有
Figure BDA0002541321840000026
所述
Figure BDA0002541321840000027
为任意一条所述节点v的任意相邻节点w到节点v的边ew,v在第k-1层的隐藏表示，所述
Figure BDA0002541321840000028
为所述节点v在第k层的消息向量，任何所述节点v的消息向量为所述应用对象中任意元素在某一层所接收到的信息；
根据所有所述
Figure BDA0002541321840000029
与所有
Figure BDA00025413218400000210
更新得到所有
Figure BDA00025413218400000211
所述
Figure BDA00025413218400000212
为所述节点v在第k-1层的隐藏表示，所述
Figure BDA00025413218400000213
为所述节点v在第k层的隐藏表示；
应用对象的有向图G包括若干个节点和若干条边，应用对象可为分子结构、社交网络、论文引用网络等等非结构化的数据和关系，其中，利用每个任意节点v与其相邻节点w的传入边的隐藏表示，即
Figure BDA00025413218400000214
创建任意节点v在第k层的消息向量
Figure BDA00025413218400000215
使边的信息与节点信息进行关联和传递，根据节点v在第k层的消息向量与任意节点v在第k-1层的隐藏表示进行连接，通过通信函数将连接后的特征向量反馈给任意节点v，将任意节点v的隐藏表示更新为
Figure BDA00025413218400000216
此时隐藏表示
Figure BDA00025413218400000217
可以被认为是一个接收传入消息并向下一站发送综合消息的消息中转站。
根据所有所述
Figure BDA00025413218400000218
与所有所述
Figure BDA00025413218400000219
创建所有
Figure BDA00025413218400000220
根据所有所述
Figure BDA00025413218400000221
和所有所述
Figure BDA00025413218400000222
得到所有
Figure BDA0002541321840000031
所述
Figure BDA0002541321840000032
为任意一条所述节点v到其任意相邻节点w的边ev,w在第k层的消息向量，所述
Figure BDA0002541321840000033
为任意一条所述节点v到其任意相邻节点w的边ev,w在第k层的隐藏表示；任何所述边e的消息向量为所述应用对象中任意相连的两个元素之间的关联关系在某一层所接收到的信息；
在本发明提供的训练方法中，由于
Figure BDA0002541321840000034
主要由逆键的隐藏表示
Figure BDA0002541321840000035
组成，
Figure BDA0002541321840000036
获得了高水平的邻边信息，因此，可通过利用
Figure BDA0002541321840000037
和
Figure BDA0002541321840000038
得到边的消息向量。
利用所有所述
Figure BDA0002541321840000039
所有所述
Figure BDA00025413218400000310
和所述图结构数据中的节点原始特征Xv，将所述图神经网络迭代至第K层，得到所述有向图G的最终节点表示形式h(v)，所述节点原始特征Xv为所提取的所述应用对象的任意元素的原始特征，所述最终节点表示形式为所述元素的核心特征；
所述k≥1，K≥k。
进一步，根据所有所述
Figure BDA00025413218400000311
创建所有
Figure BDA00025413218400000312
具体为：
根据关系式
Figure BDA00025413218400000313
创建所有节点的中间消息变量，所述A为聚合函数，所述
Figure BDA00025413218400000314
为所述节点v在第k层的中间消息向量，所述N(v)为所述节点v的相邻节点的集合；
在得到节点中间消息向量
Figure BDA00025413218400000315
后，在本发明提供的方法中增加了消息增强的一个步骤即根据关系式
Figure BDA00025413218400000316
以及关系式
Figure BDA00025413218400000317
创建中间消息向量，其中，所述
Figure BDA00025413218400000318
为所述节点消息向量，所述pooling()为最大池函数，所述⊙为元素相乘运算符。不同的边缘消息具有不同的强度，节点的隐藏状态在很大程度上取决于传入边缘中最强的消息，因此有必要增加消息增强的步骤，丰富消息生成的过程。
进一步，根据所有所述
Figure BDA00025413218400000319
与所有所述
Figure BDA00025413218400000320
创建所有
Figure BDA00025413218400000321
具体为：根据关系式
Figure BDA00025413218400000322
创建所有
Figure BDA00025413218400000323
如上述所示，由于
Figure BDA00025413218400000324
主要由逆边的隐藏表示
Figure BDA00025413218400000325
组成，
Figure BDA00025413218400000326
获得了高水平的邻边信息，因此可以通过利用
Figure BDA00025413218400000327
减去逆边的隐藏表示
Figure BDA00025413218400000328
得到边的消息向量，此步骤允许消息从源节点传递到定向边缘。
进一步，根据所有所述
Figure BDA00025413218400000329
与所有所述
Figure BDA00025413218400000330
更新得到所有
Figure BDA00025413218400000331
具体为：
根据关系式
Figure BDA0002541321840000041
更新得到所有
Figure BDA0002541321840000042
所述σ为激活函数，所述W为权重矩阵，所述CONCAT()为连接函数。
该更新的过程为多层感知的更新方式，将节点和边缘特征合并到一个多层感知中，从而使不同维特征向量中的信息可以相互作用。
进一步，根据所有
Figure BDA0002541321840000043
和所有所述
Figure BDA0002541321840000044
得到所有
Figure BDA0002541321840000045
具体为：
根据关系式
Figure BDA0002541321840000046
所述σ为激活函数，所述W为权重矩阵。
对于边缘隐藏状态的更新，
Figure BDA0002541321840000047
首先被送入一个完全连接的层，并在之后添加初始作
Figure BDA0002541321840000048
为跳过连接，再将一个经过修正的线性单元(即激活函数)附加到变换上，以便在下一次迭代中使用。
其中，第0层边ev,w的隐藏表示
Figure BDA0002541321840000049
可根据关系式
Figure BDA00025413218400000410
获得，其中，所述σ为激活函数，所述W为权重矩阵，所述CONCAT()为连接函数。
进一步，所述
Figure BDA00025413218400000411
根据所述图结构数据中的Xv获得，所述
Figure BDA00025413218400000412
根据关系式
Figure BDA00025413218400000413
Figure BDA00025413218400000414
获得，其中，所述σ为激活函数，所述W为权重矩阵，所述CONCAT()为连接函数，所述
Figure BDA00025413218400000415
为所提取的所述应用对象中任意相连的两个元素之间的关联关系的原始特征。
进一步，在得到所述有向图G的最终节点表示形式h(v)后，利用读出操作得到所述有向图G的固定特征向量，该读出操作为：利用关系式z＝∑GRU(h(v))得到所述有向图G的固定特征向量，所述z为所述固定特征向量，所述GRU为门控式递归单元，所述固定特征向量为所述应用对象的所有特征的集合。
进一步，在得到所述有向图G的最终节点表示形式h(v)后，建立所述有向图G的特性预测函数
Figure BDA00025413218400000416
所述f()为全连接层，所述特性为对所述应用对象的所有特征的预测结果。
与现有技术相比，本发明的有益效果为：
(1)本发明在神经网络训练过程中均更新了节点和边的嵌入，增强了节点和边缘之间的交互，关注了节点与边缘之间信息的可传递性，使预测结果更加准确；
(2)在中间消息向量生成期间，本发明引入了一个新的消息增强步骤来放大传入的信息，来丰富消息生成过程。
附图说明
图1为本发明实施例1中图神经网络的网络结构说明图。
图2为本发明实施例1中三种图神经网络在化学数据集上的基准结果对比图。
图3为本发明实施例1中三种图神经网络的原子特征可视图。
具体实施方式
本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
实施例1
本实施例提供一种增强图神经网络点边交互的方法，如图1所示，所述图神经网络包括输入层、特征提取层、信息交互层以及输出层，其中，本实施例所提供的方法应用于整个所述神经网络，具体步骤如下：
S1：所述输入层获取应用对象的有向图G(V,E)，所述特征提取层提取所述图G的图结构数据，其中，所述V为所述有向图G的所有节点，在所有节点中，任意节点表示为v，任意节点v的任意相邻节点表示为w；所述E为所述有向图G的所有边，在所有边中，任意边表示为e，所述节点v为所述应用对象中的任意一个元素，所述边e为所述应用对象中任意相连的两个元素之间的关联关系；所述应用对象可包括任何非结构化的数据和关系如分子结构、社交网络、论文引用网络等等；
其中，图结构数据包括了所有任意节点的原始特性Xv，以及所有任意边的原始特征
Figure BDA0002541321840000051
其中ev,w指从节点v到其任意的相邻节点的边。
S2：所述信息交互层根据图结构数据的原始特征Xv获取所有
Figure BDA0002541321840000052
根据图结构数据的原始特征
Figure BDA0002541321840000053
以及所述原始特征Xv获取所有
Figure BDA0002541321840000054
所述
Figure BDA0002541321840000055
为任意一条所述节点v到其任意相邻节点的边ev,w在第0层的隐藏表示，所述
Figure BDA0002541321840000056
为任意一个所述节点v在第0层的隐藏表示；任何所述边e隐藏表示为所述应用对象中任意相连的两个元素之间的关联关系在某一层的抽象化表示，任何所述节点v的隐藏表示为所述应用对象中任意元素在某一层的抽象化表示；
S3：所述信息交互层根据所有
Figure BDA0002541321840000061
创建所有
Figure BDA0002541321840000062
所述k≥1，所述
Figure BDA0002541321840000063
为任意一条所述节点v的任意相邻节点w到节点v的边ew,v在第k-1层的隐藏表示，所述
Figure BDA0002541321840000064
为所述节点v在第k层的消息向量，任何所述节点v的消息向量为所述应用对象中任意元素在某一层所接收到的信息
S4：所述信息交互层根据步骤S3创建的所有
Figure BDA0002541321840000065
与所有
Figure BDA0002541321840000066
更新得到所有
Figure BDA0002541321840000067
所述
Figure BDA0002541321840000068
为任意节点v在第k-1层的隐藏表示，所述
Figure BDA0002541321840000069
为任意节点v在第k层的隐藏表示；
S5：所述信息交互层根据步骤S4更新得到的
Figure BDA00025413218400000610
与所有
Figure BDA00025413218400000611
创建所有
Figure BDA00025413218400000612
所述
Figure BDA00025413218400000613
为任意一条所述节点v到其任意相邻节点的边ev,w在第k层的消息向量；任何所述边e的消息向量为所述应用对象中任意相连的两个元素之间的关联关系在某一层所接收到的信息；
S6：所述信息交互层根据步骤S2得到的所有
Figure BDA00025413218400000614
和步骤S5得到的所有
Figure BDA00025413218400000615
得到所有
Figure BDA00025413218400000616
所述
Figure BDA00025413218400000617
为任意一条所述节点v到其任意相邻节点的边ev,w在第k层的隐藏表示；
S7：所述信息交互层利用步骤S6得到的所有
Figure BDA00025413218400000618
步骤S4更新得到的所有
Figure BDA00025413218400000619
和步骤S1得到的原始特征Xv，将所述图神经网络迭代至第K层，得到有向图G的最终节点表示形式h(v)，K≥k；，所述节点原始特征Xv为所提取的所述应用对象的任意元素的原始特征，所述最终节点表示形式为所述元素的核心特征。
作为优选方案，如图1所示，步骤S3的具体执行过程为：
S31：所述信息交互层根据关系式
Figure BDA00025413218400000620
创建节点中间消息向量，所述A为聚合函数，所述
Figure BDA00025413218400000621
为所述节点v在第k层的中间消息向量，所述N(v)为所述节点v的相邻节点的集合；
S32：所述信息交互层根据关系式
Figure BDA00025413218400000622
以及关系式
Figure BDA00025413218400000623
Figure BDA00025413218400000624
创建中间消息向量，所述pooling()为最大池函数，所述⊙为元素相乘运算符；任何所述节点v的中间消息向量为所述应用对象中任意元素在某一层所接收到的所有信息；任何所述节点v的消息向量为所述应用对象中任意元素在某一层所接收到的核心信息；
所述信息交互层在步骤S4的具体执行过程为：
所述信息交互层根据关系式
Figure BDA00025413218400000625
更新得到所有
Figure BDA00025413218400000626
其中，所述σ为激活函数，所述W为权重矩阵，所述CONCAT()为连接函数，所述
Figure BDA00025413218400000627
为步骤S3所创建的所述节点v在第k层的消息向量。
本实施例提供的方法在此优选方案中提出对S3的改进，目的是对消息向量进行增强，首先在步骤S31中通过ev,e的逆边隐藏表示的聚合得到中间消息向量
Figure BDA0002541321840000071
在步骤S32中对中间消息向量
Figure BDA0002541321840000072
进行最大池化，并将最大池化后的
Figure BDA0002541321840000073
与原
Figure BDA0002541321840000074
进行相乘后得到节点的消息向量
Figure BDA0002541321840000075
不同的边缘消息具有不同的强度，节点的隐藏状态在很大程度上取决于传入边缘中最强的消息，因此有必要增加消息增强的步骤，丰富消息生成的过程。
所述信息交互层在步骤S4利用消息增强后的节点消息向量
Figure BDA0002541321840000076
与
Figure BDA0002541321840000077
更新得到
Figure BDA0002541321840000078
其中，更新的方式为多层感知。
作为优选方案，所述信息交互层在步骤S5的具体执行过程为：
所述信息交互层根据关系式
Figure BDA0002541321840000079
创建所有
Figure BDA00025413218400000710
所述
Figure BDA00025413218400000711
为步骤S4所更新得到的任意节点v在第k层的隐藏表示，所述
Figure BDA00025413218400000712
为任意一条所述节点v的任意相邻节点w到节点v的边ew,v在第k-1层的隐藏表示。
由于
Figure BDA00025413218400000713
主要由逆键的隐藏表示
Figure BDA00025413218400000714
组成，
Figure BDA00025413218400000715
获得了高水平的邻边信息，因此可以通过利用
Figure BDA00025413218400000716
减去逆键的隐藏表示
Figure BDA00025413218400000717
得到边消息向量，此步骤允许消息从源节点传递到定向边缘。
作为优选方案，所述信息交互层在步骤S6的具体执行过程为：
所述信息交互层根据关系式
Figure BDA00025413218400000718
所述σ为激活函数，所述W为权重矩阵，所述
Figure BDA00025413218400000719
为步骤S5所创建的任意一条所述节点v到其任意相邻节点的边ev,w在第k层的消息向量，所述
Figure BDA00025413218400000720
为步骤S2所得到的任意一条所述节点v到其任意相邻节点的边ev,w在第0层的隐藏表示；
作为优选方案，所述信息交互层在步骤S2中提及的“根据图结构数据的原始特征
Figure BDA00025413218400000721
以及原始特征Xv获取所有
Figure BDA00025413218400000722
”的具体执行过程为：
所述信息交互层根据关系式
Figure BDA00025413218400000723
获取所有
Figure BDA00025413218400000724
其中，所述σ为激活函数，所述W为权重矩阵，所述CONCAT()为连接函数，所述Xv为图结构数据中任意节点的原始特征，为所提取的所述应用对象的任意元素的原始特征，所述最终节点表示形式为所述元素的核心特征；所述
Figure BDA00025413218400000725
为图结构数据中任意边的原始特征，为所提取的所述应用对象中任意相连的两个元素之间的关联关系的原始特征。
作为优选方案，所述输出层的步骤包括：
S8：所述输出层在得到所述有向图G的最终节点表示形式h(v)后，利用关系式z＝∑GRU(h(v))得到所述有向图G的固定特征向量，所述z为所述固定特征向量，所述GRU为门控式递归单元，所述固定特征向量为所述应用对象的所有特征的集合。
S9：所述输出层在得到所述有向图G的最终节点表示形式h(v)后，建立所述有向图G的特性预测函数
Figure BDA0002541321840000081
所述f()为全连接层，所述特性为对所述应用对象的所有特征的预测结果。
为了验证本实施例所训练的图神经网络的预测准确性，本实施例将6个公共基准数据集上评估本实施所训练的图神经网络，分别实现了分类和回归实施例。
本实施例中的数据集基准数据集包括BBBP、Tox21、ClinTox和sider(用于分类任务)，以及ESOL和Freesolv(用于回归任务)。数据集详情见表1：
实验将本实施例所训练的图神经网络与7种基础训练方法进行比较，所比较的方法的预测准确性已经在分子学和DMPNN中得到了证明。其中，随机森林(RF)是最常用的机器学习方法之一。
实验的输入是二值摩根指纹。FNN是一个前馈网络，它也使用分子指纹特征作为输入。此外，还将本实施例所训练的图神经网络与两个图模型GCN和Weave进行了比较，这两个图模型都增加了边缘属性作为节点的特征。MPNN和DMPNN是最近出现的两种分别在无向图和有向图G上操作的消息传递方法。
该实验对每个任务进行了5次5倍的交叉验证和重复实验，并报告了AUC或RMSE值的平均值和标准差。交叉验证是一个更具挑战性和真实性的评估设置。本实施例所训练的图神经网络使用的节点和边缘特征以补充信息的形式列出，并使用开源包RDKit进行计算。为了提高模型的性能，本实施例所训练的图神经网络采用贝叶斯优化来获得模型的最佳超参数，模型由Pytorch实现，运行在Ubuntu Linux 16和NVIDIA Tesla V100GPU上。
四个分类数据集上七个不同基线模型的AUC结果如表2所示。
由于Tox21、SIDER和ClinTox是多任务学习，所以总共有42个分类任务。为了便于标记，使用CMPP-IP表示内积核，CMPNN-GG表示门控图核，CMPNN-MLP表示多层感知核。相比传统的基线和几个原始图神经网络，MPNN几乎在所有的数据集实现了AUC的大幅增加，只在Sider数据集上略逊于FNN。而在四个数据集中，通过直接消息传递，DMPNN的性能比MPNN提高了0.8％到2.7％。
而通过使用增强的节点边缘信息交互和消息增强模块，本实施例所训练的图神经网络CMPNN-mlp相对于DMPNN有了进一步的改进，在BBBP、ClinTox和SIDER数据集上分别提升了为4.6％、3.6％和2.5％。在Tox21数据集上，CMPNN只比在Tox21上的DMPNN稍好一点。这可能是因为Tox21是一个极度不平衡的数据集，其只有7％的数据点被标记为有毒化合物。根据Mayr报告称，这种数据在独立测试数据集中可能会表现得更差。为此，本实施例引入了支架分裂技术来进一步评估不同MPNN变体的泛化能力。
如图2所示，使用支架分裂策略进行预测，CMPNN比MPNN和DMPNN有了数量级的改进。在Tox21任务中，在测试集上，本实施例所训练的图神经网络CMPNN模型比GCN高出1.1％。这一结果表明，当训练数据来源与测试集没有相似之处时，本实施例所训练的图神经网络CMPNN方法比之前的方法有更好的通用性。
针对图回归，表2展示了在两个溶解度数据集上，CMPNN与其他目前最优的模型的预测结果。针对ESOL和FreeSolv两个回归实例数据集，CMPNN最好实例的RMSE为0.233±0.015log M和0.819±0.147kcal/mol。本实施例使用相同的折叠分配应用在DMPNN上，结果在两个数据集上分别提高了0.354logM和0.190kcal/mol。结果与本实施例的期望相符，因为本实施例所训练的图神经网络CMPNN在训练过程中更新了顶点和边的信息，从而更好地表示了分子图。
本实施例对两个基准进行了消融研究，来探讨影响本实施例所训练的图神经网络CMPNN性能的因素。如表3所示，带有最大池化助推器和通信模块的CMPNN在所有架构中表现最好。无任何变体的框架类似于DMPNN，但具有不同的读出功能。排除消息增强器或节点边缘消息通信功能的影响，本发明在分类和回归任务上取得了基本相同的结果。使用带注意力机制的池化作为助推器是有帮助的，但不如最大池化的效果明显。
本实施例对原子表示可视化进行了探究。在化学中，分子特性通常与其特定的亚结构有关。因此，识别与目标属性相关的子结构对于实现高性能非常重要。在这方面，本实施例尝试在原子水平上比较MPNN和DMPNN的学习能力。本实施例选择Tox21中的一个子任务SR-MMP作为示例。
如图3所示，为原子特征向量的t分布(t-SNE)随机近邻嵌入所生成的高维潜在空间的二维映射图。深色的点代表亚结构中的有毒原子，这些原子同时出现在PAINS数据库[Baell和Holloway2010](一个包含400多个有毒亚结构的数据库)和具有SR-MMP毒性的化合物中。无毒原子用浅色表示。认为具有相似功能的原子之间距离较近。最后，100个有毒分子和100个非有毒分子与2000个原子混合。总的来说，所有的方法都提供了令人满意的结果。然而，以MPNN和DMPNN为代表的一些有毒原子与无毒原子混合，而CMPNN则允许更精细的分类。这一结果证明了CMPNN能够更好地捕捉分子的表征。
表1
Figure BDA0002541321840000101
表2
Figure BDA0002541321840000102
表3
Figure BDA0002541321840000103
Figure BDA0002541321840000111
实施例2
本实施例提供一种增强图神经网络点边交互的方法，用于预测分子结构的有向图的核心特征，所述图神经网络包括输入层、特征提取层、信息交互层以及输出层，其中，本实施例所提供的方法应用于整个所述神经网络，具体步骤如下：
S1：所述输入层获取有向分子图G(V,E)，所述特征提取层提取所述分子图G的图结构数据，其中，所述V为所述有向分子图G的所有原子，在所有原子中，任意原子表示为v，任意原子v的任意相邻节点表示为w；所述E为所述有向分子图G的所有键，在所有键中，任意键表示为e，所述键表示相连的所述原子之间的关联关系；
其中，图结构数据包括了所有任意原子的原始特性Xv，以及所有任意键的原始特征
Figure BDA0002541321840000112
其中ev,w指从原子v到其任意的相邻原子的键。
S2：所述信息交互层根据图结构数据的原始特征Xv获取所有
Figure BDA0002541321840000113
根据图结构数据的原始特征
Figure BDA0002541321840000114
以及所述原始特征Xv获取所有
Figure BDA0002541321840000115
所述
Figure BDA0002541321840000116
为任意一条所述原子v到其任意一个相邻原子的键在第0层的隐藏表示，所述
Figure BDA0002541321840000117
为任意一个所述原子v在第0层的隐藏表示，任何键e的隐藏表示为任意键在某一层的抽象化表示，任何所述原子v的隐藏表示为任意原子在某一层的抽象化表示；
S3：所述信息交互层根据所有
Figure BDA0002541321840000118
创建所有
Figure BDA0002541321840000119
所述k≥1，所述
Figure BDA00025413218400001110
为任意一个所述原子v的任意相邻原子w到该原子v的键ew,v在第k-1层的隐藏表示，所述
Figure BDA00025413218400001111
为所述原子v在第k层的消息向量；任何所述原子v的消息向量为任意原子在某一层所接收到的信息；
S4：所述信息交互层根据步骤S3创建的所有
Figure BDA00025413218400001112
与所有
Figure BDA00025413218400001113
更新得到所有
Figure BDA00025413218400001114
所述
Figure BDA00025413218400001115
为任意原子v在第k-1层的隐藏表示，所述
Figure BDA00025413218400001116
为任意原子v在第k层的隐藏表示；
S5：所述信息交互层根据步骤S4更新得到的
Figure BDA00025413218400001117
与所有
Figure BDA00025413218400001118
创建所有
Figure BDA00025413218400001119
所述
Figure BDA00025413218400001120
为任意一条所述原子v到其任意相邻原子的键ev,w在第k层的消息向量；任何键e的消息向量为任意键在某一层所接收到的信息；
S6：所述信息交互层根据步骤S2得到的所有
Figure BDA0002541321840000121
和步骤S5得到的所有
Figure BDA0002541321840000122
得到所有
Figure BDA0002541321840000123
所述
Figure BDA0002541321840000124
为任意一条所述原子v到其任意相邻原子的键ev,w在第k层的隐藏表示；
S7：所述信息交互层利用步骤S6得到的所有
Figure BDA0002541321840000125
步骤S4更新得到的所有
Figure BDA0002541321840000126
和步骤S1得到的原始特征Xv，将所述图神经网络迭代至第K层，得到有向图G的最终原子表示形式h(v)，K≥k；，所述原始特征Xv为所提取的任意原子的原始特征，所述最终原子表示形式为所述原子的核心特征。
作为优选方案，步骤S3的具体执行过程为：
S31：所述信息交互层根据关系式
Figure BDA0002541321840000127
创建原子中间消息向量，所述A为聚合函数，所述
Figure BDA0002541321840000128
为所述原子v在第k层的中间消息向量，所述N(v)为所述原子v的相邻原子的集合；
S32：所述信息交互层根据关系式
Figure BDA0002541321840000129
以及关系式
Figure BDA00025413218400001210
Figure BDA00025413218400001211
创建中间消息向量，所述pooling()为最大池函数，所述⊙为元素相乘运算符，任何原子v的中间消息向量为任何原子在某一层所接收到的所有信息，任何原子v的消息向量为任何原子在某一层所接收到的核心信息；
所述信息交互层在步骤S4的具体执行过程为：
所述信息交互层根据关系式
Figure BDA00025413218400001212
更新得到所有
Figure BDA00025413218400001213
其中，所述σ为激活函数，所述W为权重矩阵，所述CONCAT()为连接函数，所述
Figure BDA00025413218400001214
为步骤S3所创建的所述原子v在第k层的消息向量。
本实施例提供的方法在此优选方案中提出对S3的改进，目的是对消息向量进行增强，首先在步骤S31中通过ev,w的逆键隐藏表示的聚合得到中间消息向量
Figure BDA00025413218400001215
在步骤S32中对中间消息向量
Figure BDA00025413218400001216
进行最大池化，并将最大池化后的
Figure BDA00025413218400001217
与原
Figure BDA00025413218400001218
进行相乘后得到原子的消息向量
Figure BDA00025413218400001219
不同的边缘消息具有不同的强度，原子的隐藏状态在很大程度上取决于传入边缘中最强的消息，因此有必要增加消息增强的步骤，丰富消息生成的过程。
所述信息交互层在步骤S4利用消息增强后的原子消息向量
Figure BDA00025413218400001220
与
Figure BDA00025413218400001221
更新得到
Figure BDA00025413218400001222
其中，更新的方式为多层感知。
作为优选方案，所述信息交互层在步骤S5的具体执行过程为：
所述信息交互层根据关系式
Figure BDA0002541321840000131
创建所有
Figure BDA0002541321840000132
所述
Figure BDA0002541321840000133
为步骤S4所更新得到的任意原子v在第k层的隐藏表示，所述
Figure BDA0002541321840000134
为任意原子v的任意相邻原子w到该原子v的键ew,v在第k-1层的隐藏表示。
由于
Figure BDA0002541321840000135
主要由逆键的隐藏表示
Figure BDA0002541321840000136
组成，
Figure BDA0002541321840000137
获得了高水平的邻键信息，因此可以通过利用
Figure BDA0002541321840000138
减去逆键的隐藏表示
Figure BDA0002541321840000139
得到键消息向量，此步骤允许消息从源原子传递到定向键。
作为优选方案，所述信息交互层在步骤S6的具体执行过程为：
所述信息交互层根据关系式
Figure BDA00025413218400001310
所述σ为激活函数，所述W为权重矩阵，所述
Figure BDA00025413218400001311
为步骤S5所创建的任意一条所述原子v到其任意一个相邻原子的键ev,w在第k层的消息向量，所述
Figure BDA00025413218400001312
为步骤S2所得到的任意一条所述原子v到其任意一个相邻原子的键ev,w在第0层的隐藏表示；
作为优选方案，所述信息交互层在步骤S2中提及的“根据图结构数据的原始特征
Figure BDA00025413218400001313
以及原始特征Xv获取所有
Figure BDA00025413218400001314
”的具体执行过程为：
所述信息交互层根据关系式
Figure BDA00025413218400001315
获取所有
Figure BDA00025413218400001316
其中，所述σ为激活函数，所述W为权重矩阵，所述CONCAT()为连接函数，所述Xv为图结构数据中任意原子的原始特征，为所提取的所有原子的原始特征，所述
Figure BDA00025413218400001317
为图结构数据中任意键的原始特征，为所提取的所有键的原始特征。
作为优选方案，所述输出层的步骤包括：
S8：所述输出层在得到所述有向图G的最终原子表示形式h(v)后，利用关系式z＝∑GRU(h(v))得到所述有向图G的固定特征向量，所述z为所述固定特征向量，所述GRU为门控式递归单元，所述固定特征向量为该分子结构的所有特征的集合。
S9：所述输出层在得到所述有向图G的最终原子表示形式h(v)后，建立所述有向图G的特性预测函数
Figure BDA00025413218400001318
所述f()为全连接层，所述特性为对分子结构的所有特征的预测结果。
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种增强图神经网络点边交互的方法，其特征在于，步骤包括：
获取应用对象的有向图G，提取所述有向图G的图结构数据，所述有向图G包括若干个节点v和若干条边e，所述节点v为所述应用对象中的任意元素，所述边e为所述应用对象中任意相连的两个元素之间的关联关系；
根据所述图结构数据获取所有
Figure FDA0002541321830000011
和所有
Figure FDA0002541321830000012
所述v表示所述所有节点中的任意一个节点，所述w表示所述节点v任意相邻节点，所述相邻节点为所述应用对象中与任意元素相连的任意元素，所述
Figure FDA0002541321830000013
为任意一条所述节点v到其任意相邻节点w的边ev，w在第0层的隐藏表示，所述
Figure FDA0002541321830000014
为任意一个所述节点v在第0层的隐藏表示，任何所述边e隐藏表示为所述应用对象中任意相连的两个元素之间的关联关系在某一层的抽象化表示，任何所述节点v的隐藏表示为所述应用对象中任意元素在某一层的抽象化表示；
根据所有
Figure FDA0002541321830000015
创建所有
Figure FDA0002541321830000016
所述
Figure FDA0002541321830000017
为任意一条所述节点v的任意相邻节点w到节点v的边ew，v在第k-1层的隐藏表示，所述
Figure FDA0002541321830000018
为所述节点v在第k层的消息向量，任何所述节点v的消息向量为所述应用对象中任意元素在某一层所接收到的信息；
根据所有所述
Figure FDA0002541321830000019
与所有
Figure FDA00025413218300000110
更新得到所有
Figure FDA00025413218300000111
所述
Figure FDA00025413218300000112
为所述节点v在第k-1层的隐藏表示，所述
Figure FDA00025413218300000113
为所述节点v在第k层的隐藏表示；
根据所有所述
Figure FDA00025413218300000114
与所有所述
Figure FDA00025413218300000115
创建所有
Figure FDA00025413218300000116
根据所有所述
Figure FDA00025413218300000117
和所有所述
Figure FDA00025413218300000118
得到所有
Figure FDA00025413218300000119
所述
Figure FDA00025413218300000120
为任意一条所述节点v到其任意相邻节点w的边ev，w在第k层的消息向量，所述
Figure FDA00025413218300000121
为任意一条所述节点v到其任意相邻节点w的边ev，w在第k层的隐藏表示；任何所述边e的消息向量为所述应用对象中任意相连的两个元素之间的关联关系在某一层所接收到的信息；
利用所有所述
Figure FDA00025413218300000122
所有所述
Figure FDA00025413218300000123
和所述图结构数据中的节点原始特征Xv，将所述图神经网络迭代至第K层，得到所述有向图G的最终节点表示形式h(v)，所述节点原始特征Xv为所提取的所述应用对象的任意元素的原始特征，所述最终节点表示形式为所述元素的核心特征；
所述k≥1，K＞k。
2.根据权利要求1所述的增强图神经网络点边交互的方法，其特征在于，
根据所有所述
Figure FDA0002541321830000021
创建所有
Figure FDA0002541321830000022
具体为：
根据关系式
Figure FDA0002541321830000023
创建所有节点的中间消息变量，所述A为聚合函数，所述
Figure FDA0002541321830000024
为所述节点v在第k层的中间消息向量，所述N(v)为所述节点v的相邻节点的集合；
根据关系式
Figure FDA0002541321830000025
以及关系式
Figure FDA0002541321830000026
创建所有
Figure FDA0002541321830000027
其中，所述
Figure FDA0002541321830000028
为消息增强函数，所述pooling()为最大池函数，所述⊙为元素相乘运算符；
任何所述节点v的中间消息向量为所述应用对象中任意元素在某一层所接收到的所有信息；任何所述节点v的消息向量为所述应用对象中任意元素在某一层所接收到的核心信息。
3.根据权利要求2所述的增强图神经网络点边交互的方法，其特征在于，
根据所有所述
Figure FDA0002541321830000029
与所有所述
Figure FDA00025413218300000210
创建所有
Figure FDA00025413218300000211
具体为：根据关系式
Figure FDA00025413218300000212
Figure FDA00025413218300000213
创建所有
Figure FDA00025413218300000214
4.根据权利要求2所述的增强图神经网络点边交互的方法，其特征在于，
根据所有所述
Figure FDA00025413218300000215
与所有所述
Figure FDA00025413218300000216
更新得到所有
Figure FDA00025413218300000217
具体为：
根据关系式
Figure FDA00025413218300000218
更新得到所有
Figure FDA00025413218300000219
其中，所述σ为激活函数，所述W为权重矩阵，所述CONCAT()为连接函数。
5.根据权利要求2所述的增强图神经网络点边交互的方法，其特征在于，
根据所有
Figure FDA00025413218300000220
和所有所述
Figure FDA00025413218300000221
得到所有
Figure FDA00025413218300000222
具体为：
根据关系式
Figure FDA00025413218300000223
得到所有
Figure FDA00025413218300000224
其中，所述σ为激活函数，所述W为权重矩阵。
6.根据权利要求1～5任一项所述的增强图神经网络点边交互的方法，其特征在于，所述
Figure FDA00025413218300000225
根据所述图结构数据中的Xv获得，所述
Figure FDA00025413218300000226
根据关系式
Figure FDA00025413218300000227
获得，其中，所述σ为激活函数，所述W为权重矩阵，所述CONCAT()为连接函数，所述
Figure FDA00025413218300000228
为所提取的所述应用对象中任意相连的两个元素之间的关联关系的原始特征。
7.根据权利要求1～5任一项所述的增强图神经网络点边交互的方法，其特征在于，在得到所述有向图G的最终节点表示形式后，利用读出操作得到所述有向图G的固定特征向量，所述固定特征向量为所述应用对象的所有特征的集合。
8.根据权利要求7所述的增强图神经网络点边交互的方法，其特征在于，所述读出操作的具体执行过程为：利用关系式z＝∑GRU(h(v))得到所述有向图G的固定特征向量，所述z为所述固定特征向量，所述GRU为门控式递归单元。
9.根据权利要求1～5任一项所述的增强图神经网络点边交互的方法，其特征在于，在得到所述有向图G的最终节点表示形式后，通过关系式
Figure FDA0002541321830000031
预测所述有向图G的特性，所述
Figure FDA0002541321830000032
为所述有向图G的特性，所述f()为全连接层，所述特性为对所述应用对象的所有特征的预测结果。
CN202010547673.4A 2020-06-16 2020-06-16 一种增强图神经网络点边交互的方法 Active CN111860768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010547673.4A CN111860768B (zh) 2020-06-16 2020-06-16 一种增强图神经网络点边交互的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010547673.4A CN111860768B (zh) 2020-06-16 2020-06-16 一种增强图神经网络点边交互的方法

Publications (2)

Publication Number Publication Date
CN111860768A true CN111860768A (zh) 2020-10-30
CN111860768B CN111860768B (zh) 2023-06-09

Family

ID=72986566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010547673.4A Active CN111860768B (zh) 2020-06-16 2020-06-16 一种增强图神经网络点边交互的方法

Country Status (1)

Country Link
CN (1) CN111860768B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113140267A (zh) * 2021-03-25 2021-07-20 北京化工大学 一种基于图神经网络的定向分子生成方法
CN113299354A (zh) * 2021-05-14 2021-08-24 中山大学 基于Transformer和增强交互型MPNN神经网络的小分子表示学习方法
WO2022226940A1 (en) * 2021-04-29 2022-11-03 Huawei Cloud Computing Technologies Co., Ltd. Method and system for generating task-relevant structural embeddings from molecular graphs
TWI799171B (zh) * 2021-11-24 2023-04-11 旺宏電子股份有限公司 採用三態內容尋址記憶體之圖神經網路的訓練方法及應用其之記憶體裝置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171010A (zh) * 2017-12-01 2018-06-15 华南师范大学 基于半监督网络嵌入模型的蛋白质复合体检测方法与装置
CN108319957A (zh) * 2018-02-09 2018-07-24 深圳市唯特视科技有限公司 一种基于超点图的大规模点云语义分割方法
CN109299373A (zh) * 2018-10-20 2019-02-01 上海交通大学 基于图卷积技术的推荐系统
CN109977232A (zh) * 2019-03-06 2019-07-05 中南大学 一种基于力导图的图神经网络可视分析方法
CN110348573A (zh) * 2019-07-16 2019-10-18 腾讯科技（深圳）有限公司 训练图神经网络的方法、图神经网络设备、装置、介质
CN110825948A (zh) * 2019-11-05 2020-02-21 重庆邮电大学 基于促谣-辟谣消息和表示学习的谣言传播控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171010A (zh) * 2017-12-01 2018-06-15 华南师范大学 基于半监督网络嵌入模型的蛋白质复合体检测方法与装置
CN108319957A (zh) * 2018-02-09 2018-07-24 深圳市唯特视科技有限公司 一种基于超点图的大规模点云语义分割方法
CN109299373A (zh) * 2018-10-20 2019-02-01 上海交通大学 基于图卷积技术的推荐系统
CN109977232A (zh) * 2019-03-06 2019-07-05 中南大学 一种基于力导图的图神经网络可视分析方法
CN110348573A (zh) * 2019-07-16 2019-10-18 腾讯科技（深圳）有限公司 训练图神经网络的方法、图神经网络设备、装置、介质
CN110825948A (zh) * 2019-11-05 2020-02-21 重庆邮电大学 基于促谣-辟谣消息和表示学习的谣言传播控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张志扬;张凤荔;陈学勤;王瑞锦;: "基于分层注意力的信息级联预测模型", 计算机科学 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113140267A (zh) * 2021-03-25 2021-07-20 北京化工大学 一种基于图神经网络的定向分子生成方法
CN113140267B (zh) * 2021-03-25 2024-03-29 北京化工大学 一种基于图神经网络的定向分子生成方法
WO2022226940A1 (en) * 2021-04-29 2022-11-03 Huawei Cloud Computing Technologies Co., Ltd. Method and system for generating task-relevant structural embeddings from molecular graphs
CN113299354A (zh) * 2021-05-14 2021-08-24 中山大学 基于Transformer和增强交互型MPNN神经网络的小分子表示学习方法
CN113299354B (zh) * 2021-05-14 2023-06-30 中山大学 基于Transformer和增强交互型MPNN神经网络的小分子表示学习方法
TWI799171B (zh) * 2021-11-24 2023-04-11 旺宏電子股份有限公司 採用三態內容尋址記憶體之圖神經網路的訓練方法及應用其之記憶體裝置

Also Published As

Publication number Publication date
CN111860768B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN111860768A (zh) 一种增强图神经网络点边交互的方法
He et al. Semi-supervised defect classification of steel surface based on multi-training and generative adversarial network
Sun et al. Learning structured weight uncertainty in bayesian neural networks
Xia et al. Efficient non-local contrastive attention for image super-resolution
Grcić et al. Densely connected normalizing flows
Tang et al. Few-shot font generation by learning fine-grained local styles
CN114821238B (zh) 基于全局细节补充的卷积神经网络的图像识别方法及系统
Haonan et al. Graph star net for generalized multi-task learning
CN114610900A (zh) 知识图谱补全方法及系统
Doveh et al. MetAdapt: meta-learned task-adaptive architecture for few-shot classification
Thapa et al. Hdxplore: Automated blackbox testing of brain-inspired hyperdimensional computing
Wei et al. Non-homogeneous haze removal via artificial scene prior and bidimensional graph reasoning
US20210286544A1 (en) Economic long short-term memory for recurrent neural networks
CN116415990B (zh) 一种基于云计算的自助数据分析方法、系统及存储介质
Riba et al. Graph-based deep learning for graphics classification
Zhou et al. Improving embedding generalization in few-shot learning with instance neighbor constraints
Zhang et al. A broad generative network for two-stage image outpainting
Ren et al. SAFont: Automatic Font Synthesis using Self-Attention Mechanisms.
Li et al. Towards real-time segmentation on the edge
Cai et al. Hierarchical damage correlations for old photo restoration
Ma et al. Collaborative Completion and Segmentation for Partial Point Clouds with Outliers
Santos et al. Data Augmentation in 3D Object Detection for self-driving vehicles: the role of original and augmented training samples
Khoroshiltseva et al. Relaxation labeling meets gans: solving jigsaw puzzles with missing borders
Feng et al. Energy-efficient and robust cumulative training with net2net transformation
Zhang et al. CAE-GReaT: Convolutional-Auxiliary Efficient Graph Reasoning Transformer for Dense Image Predictions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant