CN111465944B - 用于生成对象的结构化表示的图形神经网络系统 - Google Patents

用于生成对象的结构化表示的图形神经网络系统 Download PDF

Info

Publication number
CN111465944B
CN111465944B CN201880070076.8A CN201880070076A CN111465944B CN 111465944 B CN111465944 B CN 111465944B CN 201880070076 A CN201880070076 A CN 201880070076A CN 111465944 B CN111465944 B CN 111465944B
Authority
CN
China
Prior art keywords
node
graph
neural network
network system
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880070076.8A
Other languages
English (en)
Other versions
CN111465944A (zh
Inventor
李宇佳
C.J.戴尔
O.温亚尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DeepMind Technologies Ltd
Original Assignee
DeepMind Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DeepMind Technologies Ltd filed Critical DeepMind Technologies Ltd
Publication of CN111465944A publication Critical patent/CN111465944A/zh
Application granted granted Critical
Publication of CN111465944B publication Critical patent/CN111465944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/50—Molecular design, e.g. of drugs
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/70—Machine learning, data mining or chemometrics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/80—Data visualisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Medicinal Chemistry (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

描述了一种用于生成图形的神经网络系统，该图形包括一组节点和边。该系统包括一个或多个神经网络，其被配置为表示节点生成决策和/或边生成决策的序列上的概率分布，以及一个或多个计算机，其被配置为对由一个或多个神经网络表示的概率分布进行采样以生成图形。

Description

用于生成对象的结构化表示的图形神经网络系统
相关申请的交叉引用
本申请要求于2017年10月27日提交的第62/578,301号美国临时申请的优先权，该申请的全部内容通过引用整体结合于本文。
技术领域
本说明书涉及用于生成图形的神经网络系统。
背景技术
本说明书涉及使用对象和实体(尤其是物理实体)的图形神经网络结构化表示的生成神经网络(generative neural network)系统。
神经网络是机器学习模型，其采用一个或多个层的线性单元来预测接收到的输入的输出。一些神经网络除了输出层之外，还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层的输入，即下一个隐藏层或输出层。网络的每个层根据相应的一组参数的当前值从接收的输入生成输出。
一些神经网络是递归神经网络。递归神经网络是接收输入序列并从输入序列生成输出序列的神经网络。特别地，递归神经网络可以使用来自先前时间步长的网络的一些或全部内部状态来计算当前时间步长的输出。递归神经网络的示例是包括一个或多个LSTM(long short term，长短期)记忆块的长短期(LSTM)神经网络。每个LSTM记忆块可以包括一个或多个单元，每个单元包括的输入门、遗忘门和输出门，其允许该单元存储该单元的先前状态，例如，用于生成当前激活或提供给LSTM神经网络的其他组件。
一些神经网络表示包括由边连接的节点的图形结构；这些图形可以是多重图形(multigraphs)，其中节点可以由多个双向边连接。节点和边可以具有相关联的节点特征和边特征；这些可以使用节点函数和边函数来更新，其可以通过神经网络来实现。
发明内容
本说明书描述了在一个或多个位置的一个或多个计算机上实现为计算机程序的神经网络系统，该神经网络系统实现可以用于生成新图形的图形生成模型。图形结构可以用来表示许多不同类型的物理系统和实体。能够生成具有指定属性的任意图形的系统提供了能够解决涉及真实世界物理实体的许多技术问题的通用系统。例如，图形可以表示药物分子，并且该系统可以用于生成新的潜在可行的药物；图形可以表示计算机网络，并且该系统可以用于生成具有一定延迟、带宽和服务质量要求的计算机网络设计；图形可以表示运输网络，并且该系统可以用于生成高效的运输网络；图形可以表示计算机芯片(其中节点表示芯片组件或结构，并且边表示这些组件或结构之间的连接)，并且该系统可以用于生成具有较低延迟或较低功耗的芯片设计。在其他示例中，图形可以表示仓库布局，并且可以用于控制仓库中的机器人系统；图形可以表示制造的物品，并且可以用于控制机器人系统以组装、拆卸或修理该物品；图形可以表示物理位置，并且可以由诸如自主驾驶车辆的自动代理使用来导航。应当理解，对于生成的图形结构，存在许多其他技术应用。
通常，图形包括一组节点和连接两个节点的一组边。然而，对于图形来说，仅有没有边的未连接的节点是可能的，或者在特殊情况下，对于图形来说，可能没有节点也没有边。
图形的节点可以用于表示物理系统中的特定实体，并且可以具有基于实体类型的类型。例如，节点可以表示分子的特定原子，该原子是特定类型的化学元素。特征向量可以与节点相关联。特征向量可以表示节点的类型和由节点表示的实体的其他属性。
图形的边可以用来表示由边连接的两个节点之间的关系。例如，边可以表示两个原子之间的化学键，或者可以表示网络的两个节点之间的通信链路。边也可以具有关联的类型，例如，如果通信链路是有线或无线链路。特征向量可以与边相关联。特征向量可以表示边的类型和与边相关联的其他属性。边可以是有向的或无向的。可以使用一对具有相反方向的有向边来表示无向边。
根据一方面，描述了一种用于生成图形的神经网络系统，该图形包括一组节点和边，该系统包括：一个或多个神经网络，被配置为表示节点生成决策和/或边生成决策的序列上的概率分布；以及一个或多个计算机，被配置为对由一个或多个神经网络表示的概率分布进行采样以生成图形。
以这种方式，可以由一个或多个神经网络将图形建模为节点和/或边生成决策的序列。该系统能够对具有任何数量属性的任意图形结构进行建模。可以通过从由一个或多个神经网络表示的概率分布中进行采样来生成具有与建模的属性类似的属性的新图形。
方面可以包括以下特征中的一个或多个。
一个或多个神经网络可以包括：节点创建神经网络，被配置为接收图形作为输入，并输出向该图形添加新节点的一个或多个概率；边添加神经网络，被配置为接收图形和候选节点的指示作为输入，并输出将连接到该候选节点的边添加到该图形的一个或多个概率；节点选择神经网络，被配置为接收图形和候选节点的指示作为输入，并输出在该候选节点和该图形的每一个节点之间向图形添加边的一个或多个概率；并且其中对概率分布进行采样以生成图形还可以包括：基于节点创建神经网络的输出生成图形的节点；以及基于边添加神经网络和节点选择神经网络的输出生成图形的边。
以这种方式，该模型包括单独的神经网络或神经网络子系统，用于对图形生成序列的每个部分进行建模。具体地，节点创建神经网络对用于确定是否对向图形添加新节点的决策过程进行建模。边添加神经网络对确定是否对向图形的节点添加边的决策过程进行建模，并且节点选择神经网络对确定额外的边应该连接到哪个节点的决策过程进行建模。每一个神经网络接收图形作为输入，也就是说，神经网络可以接收当前正在构建的图形。这样，关于是否添加节点、边和节点的选择的决策基于正在构建的图形的最新状态和在生成当前图形时做出的决策的历史。这样，一个决策可以馈入(feed into)下一个决策。
一个或多个计算机还可以被配置为基于生成节点和生成边的迭代过程来生成图形，其中生成边发生在生成节点之后。也就是说，生成图形可以包括生成节点之后生成边的重复步骤。
每个节点和每个边可以一次一个地顺序地生成。以这种方式，与同时生成所有节点和/或边的情况相比，可以更容易地处理多模态情况。
生成图形的节点还可以包括接收初始图形；向节点创建神经网络提供初始图形；接收来自节点创建神经网络的输出，并基于节点创建神经网络的输出确定是否要生成图形的新节点。响应于确定要生成图形的新节点：生成新节点；以及通过更新初始图形以包括新节点来生成更新的图形。响应于确定不生成图形的新节点：不更新初始图形。如果没有生成节点，则可以认为图形生成过程已经完成，并且系统可以输出未改变的初始图形。
生成图形的边还可以包括：向边添加神经网络提供更新的图形和新节点的指示；接收来自边添加神经网络的输出；基于边添加神经网络的输出，确定是否要生成连接到新节点的边；响应于确定将生成边：向节点选择神经网络提供更新的图形和新节点的指示；接收来自节点选择神经网络的输出；基于节点选择神经网络的输出选择图形的节点；以及更新图形以包括新节点和所选节点之间的边。也就是说，提供由节点创建神经网络处理产生的更新的图形，作为用于确定是否随后向新生成的节点添加边的输入。
生成图形的边还可以包括向边添加神经网络模块提供更新的图形和新节点的指示；接收来自边添加神经网络模块的输出；基于边添加神经网络模块的输出，确定是否要生成连接到新节点的边；响应于确定将生成边：向节点选择神经网络模块提供更新的图形和新节点的指示；从节点选择神经网络模块接收输出；基于节点选择神经网络的输出选择图形的节点；以及更新图形以包括新节点和所选节点之间的边。所选节点可以是与新节点不同的图形的节点，或者所选节点可以是与新节点相同的节点。如果所选节点与新节点是同一节点，则该边可能是自环。在边的生成之后，可以使用包括新边的更新的图形作为输入来确定是否要以如上所述的类似方式生成更多的边。
生成图形的边还可以包括确定是否生成连接到新节点的更多的边。一个或多个计算机还可以被配置为将更新的图形作为输入提供给节点创建神经网络，用于在生成边之后生成更多的节点。如上所述，生成图形可以是迭代过程，并且可以使用更新的图形作为输入，以如上所述的类似方式生成更多的节点。
图形的每个节点可以与信息相关联，并且一个或多个计算机可以被配置为在相邻节点之间传播信息，以向节点提供来自该节点的本地邻域(neighborhood)的信息。以这种方式，图形的结构或图形的其他属性的改变可以被传达给节点。此外，或可替代地，信息的这种传播可以由一个或多个神经网络中的任何一个来执行。节点的本地邻域可以是直接连接到该节点的一组节点。
一个或多个计算机可以被配置为执行多轮信息传播。以这种方式，对于每一轮，来自节点的本地邻域之外的更远节点的信息可以向该节点传播，如果执行了足够的轮次，则最终到达该节点。
与节点相关联的信息可以被编码为状态向量。在相邻节点之间传播信息可以包括基于与相邻节点相关联的状态向量生成与连接相邻节点的边相关联的消息向量。消息向量还可以基于与边相关联的特征向量。特征向量可以基于边类型。可以使用神经网络生成消息向量。
传播信息到节点还包括基于与连接到节点的一个或多个边相关联的一个或多个消息向量的聚合来更新节点的状态向量。聚合可以是总和。
一个或多个消息向量的聚合可以是与连接到节点的传入边相关联的消息向量的聚合。也就是说，信息可以沿着所有传入方向被拉向节点。
一个或多个消息向量的聚合可以是与连接到节点的每一个边相关联的消息向量的聚合。也就是说，聚合可以是与连接到节点的传入和传出边相关联的消息向量的聚合。对于无向图形，这包括与连接到节点的每个边相关联的消息向量。
更新节点的状态向量可以基于神经网络的输出，该神经网络被配置为接收消息向量的聚合和节点的当前状态向量作为输入。神经网络可以是递归神经网络，例如LSTM或门控递归单元(Gated Recurrent Unit，GRU)。
图形可以与图形状态向量相关联，其中图形状态向量基于一组节点状态向量的聚合。该组节点状态向量可以包括图形的所有节点的所有节点状态向量。聚合一组节点状态向量可以包括：对于该组的每个节点状态向量，通过被配置为接收节点状态向量作为输入的神经网络生成修改的节点状态向量；以及聚合该组修改的节点状态向量。
修改的节点状态向量可以具有比未修改的节点状态向量更高的维数。以这种方式，由图形状态表示包含的信息可以包括比节点状态表示更多的信息。
聚合该组修改的节点状态向量可以基于门控总和。此外，门控总和可以基于门控神经网络来确定，该门控神经网络被配置为接收节点状态向量作为输入，该节点状态向量是修改的或未修改的。可替代地，聚合可以基于其他归约运算符，诸如均值或最大值运算。
节点创建神经网络还可以被配置为：在相邻节点之间执行至少一轮传播信息；确定与图形相关联的图形状态向量；通过神经网络处理图形状态向量，以确定向图形添加新节点的一个或多个概率。
一个或多个概率可以包括多个节点类型中的每一个的概率。这样，系统可以支持不同类型的节点，并且确定是否生成节点可以包括确定生成哪种类型的节点。
边添加神经网络还可以被配置为：在相邻节点之间执行至少一轮传播信息；确定与图形相关联的图形状态向量；通过神经网络处理图形状态向量和与候选节点相关联的状态向量，以确定将连接到候选节点的边添加到图形的一个或多个概率。
一个或多个概率可以包括多个边类型中的每一个的概率。这样，系统可以支持不同类型的边，并且确定是否添加边可以包括确定添加哪种类型的边。
节点选择神经网络还可以被配置为：在相邻节点之间执行至少一轮传播信息；基于由神经网络对与候选节点对的每个相应节点相关联的状态向量的处理，确定用于在多个候选节点对之间添加边的多个概率分数，每个候选节点对包括候选节点和图形的节点。多个概率分数还可以包括用于连接候选节点和图形的节点的每个可用边类型的分数。这样，节点选择神经网络也可以确定用于连接候选节点和图形的节点的边的类型。
神经网络系统还可以包括节点初始化神经网络，其被配置为初始化新生成的节点的状态向量，其中初始化新生成的节点的状态向量包括：由神经网络处理图形状态向量和与新生成的节点相关联的特征向量，以确定初始状态向量。与节点相关联的特征向量可以基于与节点相关联的节点类型。
由一个或多个神经网络表示的概率分布可以基于条件概率分布来确定。条件概率分布可以以从存储器检索的数据为条件，该数据检索基于使用图形的至少一部分的表示的存储器查找。也就是说，该图形的至少一部分可以用于计算查询向量以查询存储器。图形状态向量可以用于查询存储器。调节(conditioning)可以基于注意机制。
一个或多个神经网络可以基于最大化图形的训练数据集的预期对数似然来训练。以这种方式，可以以高效的方式训练一个或多个神经网络。
一个或多个神经网络可以基于图形的数据集来训练，其中数据集中的每个图形与图形的节点和边的排序相关联。例如，排序可以是与图形相关联的规范排序。附加地或可替代地，排序可以是规范排序的排列、随机排序或学习的排序。排序可以基于分子的SMILES表示。
一个或多个计算机还可以被配置为基于由一个或多个神经网络表示的概率分布来评估图形。以这样的方式，可以评估生成的图形的属性。生成的图形的属性可以与数据集中的图形的属性进行比较，以确保生成的图形的有效性。
在一些应用中，图形可以表示分子的结构。因此，图形中的每个相应节点可以表示分子的原子或蛋白质的二级结构元素，例如alpha螺旋或beta片，即分子的部分。图形的每个相应边可以表示节点之间的相互作用，诸如分子的原子之间的化学键或者二级结构元素之间的一个或多个氢键，即部分之间的化学键。因此，例如，可以在表示分子和可选地它们的已知属性的数据上训练系统。训练数据可以定义或可以用于确定用于训练的分子的图形表示，其中节点和边都是类型化的，例如，根据原子和其键类型。然后，训练的系统可以被用来生成表示其他物理上真实的分子的图形，可选地具有与训练数据中的那些相同或相似的属性。因此，系统可以应用于药物发现。一个或多个神经网络可以基于包括化学属性的度量来训练。一个或多个计算机还可以被配置为基于包括化学属性的度量来评估图形，即，一个或多个化学度量可以被用于评估来自模型的样本的质量。可选地，生成的分子可以通过在计算机中(in silico)评估该分子或者通过在体外(in vitro)或体内(in vivo)合成和测试该分子来评估。
一个或多个神经网络还可以包括可调节以改变与在一个或多个神经网络的训练的完成之后生成的图形相关联的属性的偏差。例如，调整偏差可以改变图形尺寸和/或边密度。例如，通过改变添加节点神经网络函数中的偏差参数，可以改变节点的数量；通过改变添加边神经网络函数中的偏差参数，可以改变边的密度。
根据另一方面，描述了一种生成图形的方法，该图形包括一组节点和边，该方法包括：对节点和边生成决策的序列上的概率分布进行采样以生成图形，该概率分布由一个或多个神经网络参数化。
根据另一方面，描述了一种药物发现的方法，包括：使用如上所述的神经网络系统生成表示药物分子的图形。以这种方式，可以以比现有技术方法更高效的方式发现具有特定期望属性的候选药物。
根据另一方面，描述了一种药物发现的方法，包括：使用如上所述的神经网络系统生成多个图形，每个图形示药物分子；选择表示药物分子的图形中的一个；以及制造由所选图形表示的药物分子。以这种方式，由于神经网络系统能够高效地生成可行的候选药物，因此可以更高效地制造具有期望属性的药物。
根据另一方面，描述了一种流量路由的方法，包括：使用任何所附权利要求的系统，生成表示路由路径的图形；以及基于表示路由路径的生成的图形来确定路由。该方法还可以包括控制对象沿着确定的路线行进。以这种方式，可以生成有效的路线。流量可以是车辆流量。这样，可以高效地导航车辆。
流量可以是网络流量，并且图形可以表示网络中的路由路径。以这样的方式，可以基于表示路由路径的生成的图形来创建更高效的路由路径。
上述神经网络系统还可以用于生成解析树和其他图形(例如，用于自然语言处理和翻译，或者用于自动场景生成的语言结构)。例如，上述神经网络系统可以用于依据解析树生成视觉场景的表示—视觉场景可以定义树结构，其中树中的较高节点表示场景中逐渐增大的元素。因此，场景中的对象和对象部分可以由节点表示，并且边可以定义它们属于哪个其他对象/部分。因此，通常，系统可以用于生成图形编辑和计算机游戏中使用的类型的场景图形。如稍后所述，表示视觉场景的图形可以以输入数据为条件，例如以输入为条件来生成场景的表示。以类似的方式，以自然语言表示单词或单词片段的解析树也可以以输入数据为条件。
另一示例性应用包括生成表示计算机芯片设计的图形，并根据该设计制造计算机芯片。以这样的方式，可以制造具有更高能效互连和/或更低功耗的计算机芯片。另一示例性应用包括生成表示设备的网络的图形，并基于生成的表示设备的网络的图形构建设备的网络(和/或连接设备的现有网络)。以这种方式，可以设计和构建具有诸如低延迟、高带宽和/或服务质量的特定期望属性的网络。
本说明书中描述的主题可以在特定实施例中实现，以便实现一个或多个以下优点。
系统可以用于捕获具有特定属性的特定图形族的分布，无论该族图形涉及例如药物分子、流量、计算机芯片设计或任何其他领域。然后，系统可以生成具有类似于图形族的属性的新图形。例如，在图形对药物分子进行建模的情况下，通过使用药物的数据集训练系统并使用该系统生成潜在的新药物状分子，该系统因此可以用于药物发现的任务。
例如，当用于生成表示物理上可实现的分子的图形时，系统可以学习以生成新分子的示例，而不需要显式地计算静电荷和分子的原子或其他部分之间的其他相互作用。这些静电荷和相互作用难以准确地计算，因此系统的一些实现方式能够比其他技术更快地生成分子结构，并且使用更少的计算能力和更少的存储器要求。系统也可以学习表示那些不能由显式计算很好地表示的特征，因此，在一些实现方式中，可以产生比其他技术在物理上更有用的分子结构。
在一些其他实现方式中，例如当生成视觉场景的表示时，该表示可以捕获对象/对象的部分之间的语义关系。这可以是比其他技术更有用的表示场景的方法，因为它有助于场景的处理。例如，通过将一组对象/对象的部分分组到较大的对象中，该较大的对象可以作为整体被操纵，例如移动该对象、对该对象进行操作等。这反过来又可以减少另外操纵或编辑对象所需的处理和存储器的量。在计算机游戏中，当对象/对象的部分之间的逻辑关系一起表示时，例如为了一起移动对象，3D场景可以被更容易地处理。因此，系统的一些实现方式可以以有助于它们的后续处理和操纵的方式自动地生成场景，从而潜在显著地节省了这种处理/操纵所需的存储器和计算能力。当生成表示自然语言的解析树时，类似的优点也适用；再次，与一些其他方法相比，这种表示可以显著地降低存储器和计算要求。
更一般地，系统能够建模和生成任意图形，并且不限于对图形的少量属性(诸如度分布或直径)进行建模。此外，模型不局限于任何图形的子类，诸如树。模型不受任何强独立假设的限制，并且能够对结构丰富的图形进行建模，其中小的结构差异在功能上可能是显著的，诸如分子的结构。系统还能够生成具有特定结构约束的图形，诸如禁止自环或限制节点对之间的边的数量。
给定一个或多个神经网络的参数化可以独立于图形的尺寸，系统是可缩放的。
本说明书中描述的主题的一个或多个实施例的细节在附图和以下描述中阐述。本主题的其他特征、方面和优点将从说明书、附图和权利要求中变得显而易见。
附图说明
图1示出了用于生成图形的示例神经网络系统。
图2示出了用于生成图形的示例性处理。
图3示出了用于生成图形的节点的示例性处理。
图4示出了用于生成图形的边的示例性处理。
图5示出了用于更新与图形的节点相关联的状态向量的示例性处理。
图6是示出图1的系统的操作的示意图。
具体实施方式
图1示出了用于生成图形的示例神经网络系统100。神经网络系统100是在一个或多个位置中的一个或多个计算机上实现为计算机程序的系统的示例，其中可以实现下面描述的系统、组件和技术。
系统100包括一个或多个神经网络，其被配置为表示节点生成和边生成决策的序列上的概率分布。在图1的示例系统100中，一个或多个神经网络包括节点创建神经网络101、边添加神经网络102和节点选择神经网络103。系统100还包括图形引擎104，其被配置为对由一个或多个神经网络表示的概率分布进行采样以生成图形。
节点创建神经网络101被配置为接收图形105作为输入，并处理输入图形105以输出向输入图形105添加新节点的一个或多个概率106。也就是说，节点创建神经网络101被配置为表示用于确定是否向特定图形添加新节点的概率分布。输入图形105从图形引擎104接收，并且可以是图形引擎104正在构建的图形。向输入图形105添加新节点的一个或多个概率106由图形引擎104接收，并且图形引擎104被配置为基于添加新节点的一个或多个概率106来确定是否向图形105添加新节点。当节点是类型化的时，一个或多个概率106可以包括添加每个特定类型的节点的新节点的概率。节点创建神经网络101可以包括最终softmax层，以便提供作为概率的输出。
输入图形105可以具有相关联的图形状态向量，并且节点创建神经网络101可以被配置为处理图形状态向量以确定添加新节点的一个或多个概率106。下面将更详细地描述这种处理。
边添加神经网络102被配置为接收输入图形105和输入图形105的候选节点107的指示。边添加神经网络还被配置为处理输入图形105和候选节点107的指示，以输出添加连接到候选节点107的边的一个或多个概率108。也就是说，边添加神经网络102被配置为表示用于确定是否向特定图形的节点添加边的概率分布。向连接到候选节点107的输入图形105添加边的一个或多个概率108由图形引擎104接收。图形引擎104被配置为基于添加连接到候选节点107的边的一个或多个概率108来确定是否将连接到候选节点107的边添加到图形105。当边是类型化的时，一个或多个概率108可以包括添加每种特定类型的边的新边的概率。边添加神经网络102可以包括最终softmax层，以便提供作为概率的输出，或者如果仅需要单个概率，则可以包括具有sigmoid激活函数的最终层。
边添加神经网络102可以被配置为处理与输入图形105相关联的图形状态表示和与候选节点107相关联的节点状态向量，以输出添加连接到候选节点107的边的一个或多个概率108。下面将更详细地描述这种处理。
节点选择神经网络103被配置为接收输入图形105和候选节点107的指示。节点选择神经网络103还被配置为处理输入图形105和候选节点107的指示，以输出在候选节点107和图形105的每一个节点之间向图形添加边的一个或多个概率109。也就是说，节点选择神经网络103被配置为表示概率分布，用于确定来自候选节点的新边将被连接到特定图形的哪个节点。在候选节点107和图形105的每个节点之间向图形105添加边的一个或多个概率109由图形引擎104接收。图形引擎104被配置为基于在候选节点107和图形105的每个节点之间添加边的一个或多个概率109，来确定在图形105中将连接到候选节点107的新边添加到图形105的哪个节点。
节点选择神经网络103可以被配置为处理与候选节点107相关联的节点状态向量和与输入图形105的每个节点相关联的节点状态向量，以生成与候选节点107和输入图形105的相应节点的每个配对相关联的分数。节点选择神经网络103可以包括最终softmax层，以基于生成的分数输出在候选节点107和图形105的每个节点之间添加边的一个或多个概率109。下面将进一步详细描述分数的生成。
节点创建神经网络101、边添加神经网络102和节点选择神经网络103每个可以是多层感知机(multi-layer perceptron，MLP)。可替代地，神经网络101、102、103可以是本领域技术人员认为合适的具有适当类型的激活函数的任何其他类型的神经网络。
图形引擎104被配置为通过对由节点创建神经网络101、边添加神经网络102和节点选择神经网络103表示的概率分布进行采样来生成并输出图形110。处理以生成输出图形110可以是迭代过程。迭代过程可以在节点生成和边生成的步骤之间交替进行。图2示出了高级迭代过程的示例。
在图2的步骤S201，初始化不包括节点或边的图形。在步骤S202，确定是否向图形添加新节点。如果不添加节点，则输出没有节点或边的初始图形，并且过程完成。否则，处理继续到步骤203，在步骤203向图形添加新节点。
在步骤S204，确定是否添加连接到新节点的边。如果不需要边，则处理返回到步骤S202，以确定是否要向图形添加更多的节点。否则，处理在步骤S205继续，以选择图形的节点以连接新边。应当理解，这可以包括新节点本身，使得该图形可以包含自环。在步骤S206，向图形添加连接新节点和所选节点的边。
然后，处理在步骤S207继续，在步骤S207，确定是否要生成连接到新节点的任何更多的边。如果需要更多的边，则处理返回到步骤S205以选择节点以连接更多的边。如果不需要更多的边，则处理返回到步骤S202，以确定是否要生成任何更多的节点。因此，重复生成节点和边的处理，直到确定不再生成节点，并且在步骤S208输出图形。
参考图3，现在将更详细地描述用于生成图形的节点的示例性处理。这种处理可以对应于图2的步骤S202、S203和S208。
在步骤S301，接收初始或输入图形105。在步骤S302，输入图形105被提供给节点创建神经网络101。在步骤S303，节点创建神经网络101处理输入图形105，以输出向输入图形105添加新节点的一个或多个概率106。输入图形105的处理可以包括与输入图形105的每个节点相关联的状态向量的处理。节点状态向量的处理可以基于用于更新节点状态向量的信息传播方法。下面参考图5更详细地描述示例性信息传播方法。
图形状态向量可以基于更新的节点状态向量来确定。可以基于图形状态向量来确定向输入图形105添加新节点的一个或多个概率106。例如，图形状态向量可以由节点创建神经网络101处理，以获得向输入图形105添加新节点的一个或多个概率。下面更详细地描述确定图形状态向量的示例性方法。
在步骤S304，基于从步骤S303获得的一个或多个概率106，确定是否要生成新节点。也就是说，图形引擎104对由一个或多个概率106表示的概率分布进行采样，以确定是否向输入图形105添加新节点。如果节点是类型化的，则采样结果可以是添加特定类型的新节点的决策。
如果确定不添加新节点，则在步骤S308输出未改变的输入图形105。否则，处理在步骤S305继续，以生成新节点。生成新节点可以包括初始化与新节点相关联的节点状态向量。可以通过使用神经网络处理图形状态向量和与新节点相关联的特征向量来初始化节点状态向量。节点初始化神经网络可以是MLP或任何其他类型的合适的神经网络。与新节点相关联的特征向量可以基于新节点的类型。通过在初始化过程中使用节点特征向量和图形状态向量，可以确保取决于图形的当前状态，具有相同特征向量/类型的不同节点将具有不同的初始化。
在步骤S306，向图形105添加新节点。然后在步骤S307输出更新的图形105。然后，处理可以继续，以便添加将新节点连接到图形中其他节点的边，如步骤S204至S207所示，并在下面参考图4所示的示例性处理进行更详细的描述。
在图4的步骤S401，将图形(诸如输入图形105或步骤S307的更新的图形)提供给边添加神经网络102。此外，提供候选节点107的指示(诸如在步骤S305新生成的节点的指示)给边添加神经网络102。在步骤S402，边添加神经网络102处理图形和候选节点107的指示，以输出向图形105添加连接到候选节点107的边的一个或多个概率108。
候选节点107的指示可以是与候选节点107相关联的状态向量。图形105中每个节点的节点状态向量可以基于上面提到的信息传播方法来更新，并在下面参考图5更详细地描述。这确保了信息可以通过图形沿着来自先前边添加迭代的新添加的边传播。特别地，在候选节点是新生成的节点的情况下，新节点能够从其本地邻域获得信息。
图形状态向量可以基于更新的节点状态向量来确定。将向图形添加连接到候选节点107的边的一个或多个概率108可以基于由边添加神经网络102对与候选节点107相关联的更新的节点状态向量和图形状态向量的处理来确定。
在步骤S403，基于在步骤S402获得的一个或多个概率108，确定是否要添加连接到候选节点107的边。也就是说，图形引擎104对由一个或多个概率108表示的概率分布进行采样，以确定是否添加连接到候选节点107的边。
如果没有要添加的边，则在步骤S408提供图形作为输出。然后，处理可以返回到步骤S202，以确定是否要向图形105添加更多的节点。
如果要添加边，则处理在步骤S404继续，在步骤S404中，将图形105和候选节点107的指示提供给节点选择神经网络103。节点选择神经网络103处理图形105和候选节点107的指示，以输出在候选节点107和图形105的每个节点之间添加边的一个或多个概率109。类似于上述，候选节点107的指示可以是与候选节点107相关联的状态向量，并且图形中每个节点的节点状态向量可以基于信息传播方法来更新。节点选择神经网络103可以处理候选节点107和图形105的相应节点的每个配对，以生成用于添加连接候选节点107和图形105的相应节点的边的分数。在边具有相关联的类型的情况下，可以为每种类型的边生成分数。然后，节点选择神经网络103可以通过softmax层处理生成的分数，以生成在候选节点107和图形的每个节点之间添加边的一个或多个概率109。
在步骤S405，基于在步骤S404获得的一个或多个概率来选择节点。也就是说，图形引擎104对由一个或多个概率109表示的概率分布进行采样，以确定将候选节点107连接到图形105的哪个节点。如果边是类型化的，则选择还可以包括将用于连接候选节点107和所选节点的边的类型。
然后，更新图形以包括在候选节点107和在步骤S406选择的节点之间的边。然后，处理可以返回到步骤S403，以确定是否需要连接候选节点107的任何更多的边。
现在参考图5，现在将描述用于基于信息传播来更新节点状态向量的示例性处理。信息传播过程的示意图如图6所示。信息传播向节点提供关于其本地邻域的信息。图形的结构或图形的属性的改变可以通过信息传播传递给节点。
在步骤S501，为图形的每个边生成消息向量。可以基于与由相应边连接的两个节点相关联的节点状态向量来生成消息向量。此外，如果例如，边是类型化的，则还可以基于与相应边相关联的特征向量来生成消息向量。节点状态向量和边特征向量可以由边神经网络处理以生成消息向量。
在步骤S502，对于每个节点，聚合与传入边相关联的消息向量。应当理解，与传出边相关联的消息向量的聚合也是可能的，并且聚合消息向量可以是与传入边、传出边或连接到节点的每个边相关联的消息向量的聚合。聚合可以是消息向量的总和或本领域技术人员认为合适的任何其他聚合的方法。
在步骤S503，基于在步骤S502确定的相应聚合消息向量，更新与每个节点相关联的节点状态向量。可以基于由节点神经网络对相应的聚合消息向量和当前节点状态向量的处理来生成相应节点的更新的节点状态向量，以生成更新的节点状态向量。
步骤S502的消息生成神经网络和用于更新节点状态向量的神经网络可以是前向前馈神经网络(诸如MLP)或递归神经网络(诸如LSTM或GRU)。
在步骤S504，确定是否需要更多轮信息传播。单轮信息传播将使节点能够获得关于其本地邻域的信息，而更多轮信息传播将使节点能够从图形中更远的地方获得信息。
如果还需要更多轮信息传播，处理返回到步骤S501。可替代地，如果不需要更多轮信息传播，则在步骤S505可以输出更新的节点状态向量。
通过使用信息传播，节点状态向量可以包括与图形的结构相关的信息。在顺序图形生成过程中节点状态向量的使用使得能够基于图形的结构和决策的序列做出决策。相比之下，将图形建模为节点/边生成决策的序列的传统递归神经网络仅依赖于决策的序列，并且缺乏将图形的结构信息合并或在其决策做出过程中引用特定节点的能力。
现在将更详细地描述上述信息传播过程的示例性实现方式。步骤S501的消息向量可以根据以下内容生成：
mu→v＝fe(hu，hv，xu，v)＝MLP(concat([hu，hv，xu，v]))
其中，mu→v是与连接节点u和节点v的边相关联的消息向量，fe是使用全连接神经网络MLP实现的消息生成函数，hu是与节点u相关联的节点状态向量，hv是与节点v相关联的节点状态向量，xu,v是与边相关联的特征向量，concat是将其操作数连结(concatenate)为单个向量的运算。
如果要在反向(传出)方向上生成消息向量，则具有与上述相同形式的额外的MLP可以用于在反向方向上生成消息向量：
m′v→u＝f′e(hu，hv，xu，v)＝MLP′(concat([hu，hv，xu，v]))。
反向方向的额外的神经网络MLP’也可以共享传入方向的MLP的一些或全部参数。两个MLP可以具有线性激活函数。
对于特定节点v，对应于步骤S502的聚合消息向量可以被如下执行：
或者如果要使用传入和传出消息向量两者，则被如下执行：
其中，av是节点v的聚合消息向量，并且E是图形的一组边。如可以看出地，上述聚合是与连接到节点v的传入和/或传出边相关联的消息向量的总和。
如上所述，在步骤S503，可以基于使用节点神经网络处理聚合消息向量来更新相应节点的节点状态向量。例如，节点神经网络可以实现为递归神经网络，如下：
h′v＝RNNCell(hv，av)。
RNNCell可以是标准递归神经网络类型，在这种情况下，对节点状态向量的更新可以被如下执行：
h′v＝σ(Whv+Uav)
其中，σ是一个sigmoid激活函数，并且W和U是相应的权重矩阵。
可替代地，递归神经网络可以是GRU类型，在这种情况下，对节点状态向量的更新可以被如下执行：
zv＝σ(Wzhv+Uzav)，
rv＝σ(Wrhv+Uzav)，
其中，⊙是门控总和。
可替代地，递归神经网络可以是LSTM类型，在这种情况下，对节点状态向量的更新可以被如下执行：
iv＝σ(Wihv+Uiav+Vicv)，
fv＝σ(Wfhv+Ufav+Vvcv)，
o′v＝σ(Wohv+Uoav+Voc′v)，
h′v＝o′v⊙tanh(c′v).
其中，每个V是相应的权重矩阵。
如上所述，图形状态向量可以基于节点状态向量(无论是否被更新)来确定。假设图形一般包含比单个节点更多的信息，则图形状态向量的维数可能比节点状态向量的维数高。基于使用神经网络处理节点状态向量，可以将节点状态向量映射到更高维数的向量。然后，可以通过聚合更高维节点状态向量来获得图形状态向量。可替代地，如果不执行到更高维向量的映射，则图形状态向量可以是节点状态向量的聚合。
生成图形状态向量的聚合可以基于门控总和。例如，包括最终sigmoid激活函数层和一个或多个较低层的门控神经网络可以用于处理节点状态向量(与维数无关)，以获得与节点状态向量相关联的一组门控权重。该组门控权重可以包括节点状态向量的每个元素的权重。聚合可以基于应用了它们对应的门控权重的节点状态向量的总和。
例如，将节点状态向量映射到更高维节点状态向量可以被如下实现：
其中，fm是映射到被实现为MLP的更高维空间的函数。MLP可能具有线性激活函数。例如，的维数可以是hv的维数的两倍。
图形状态向量可以被计算为更高维节点状态向量的门控总和，如下所示：
其中，V是图形的一组节点，gm是具有线性激活函数的MLP，该函数馈入具有sigmoid激活函数的输出层，以产生节点v的一组权重
现在将更详细地描述节点创建神经网络101的示例性实现方式。如上所述，节点创建神经网络101输出向图形中添加新节点的一个或多个概率，并且可以被如下实现：
p(add one more node|G)＝σ(fan(hG))
其中，fan是具有线性激活函数的MLP，其输出被馈送到具有由σ表示的sigmoid激活函数的层中，并且hG是图形状态向量。在节点可以是K种类型之一的情况下，fan的输出可以是K+1维向量，其表示添加每种类型的节点的分数以及不添加节点的分数。上面的sigmoid层可以用softmax层替换，以将分数转换为概率，如下所示：
其中，是节点类型k的分数，并且pk是添加类型k的节点的概率。
现在将更详细地描述边添加神经网络102的示例性实现方式。一种可能的实现方式具有与节点创建神经网络101的示例性实现方式相似的形式，并且被如下实现：
其中，fae具有线性激活函数的MLP，其输出被馈送到具有由σ表示的sigmoid激活函数的层中，hG是图形状态向量，并且是T轮信息传播后候选节点v 107的更新的节点状态向量。在该实现方式中，边添加神经网络102的输出是添加连接到候选节点107的边的概率，其中边类型化(edge typing)由节点选择神经网络103处理。然而，应当理解，边类型化可以由边添加神经网络102以类似于上述关于节点类型的方式来处理。
现在将更详细地描述节点选择神经网络103的示例性实现方式。节点选择神经网络103可以首先为连接候选节点107的图形的每个节点生成分数，如下：
其中，su是用于选择节点u的分数，fs是由MLP实现的分数函数，是在执行T轮信息传播之后图形的每个节点的更新的节点状态向量，并且是在执行T轮信息传播之后候选节点v 107的更新的节点状态向量。在此实现方式中，T＝1或2轮信息传播。然而，应当理解，如果本领域技术人员认为合适，可以执行更多轮信息传播。
然后，可以将分数转换为使用softmax层的概率：
其中，pu是选择图形的节点u连接到候选节点v 107的概率。
在边是类型化的情况下，对于每个节点，可以计算包括J个边类型中的每一个的分数的分数向量。然后，可以在跨节点和边类型的所有分数上计算softmax层：
其中，su,j是使用边类型j将候选节点v 107连接到图形的节点u的分数，并且pu,j是对应的概率。
上述概率分布中的任意可以基于条件概率分布。也就是说，图形生成过程可以以一些额外的输入为条件。例如，条件概率分布可以以从存储器中检索的数据为条件。图形(例如图形状态向量)可以用于查询存储器以从存储器中检索数据。此外，调节可以基于注意机制。
生成图形模型以及特别是由一个或多个神经网络表示的概率分布，定义图形G以及节点和边排序π上的联合分布p(G,π)。从上面可以理解，使用系统100生成图形基于图形构造序列生成图形以及节点和边的特定排序两者。对于一个或多个神经网络的训练，可以使用优化边际似然 的对数。然而，logp(G)的优化对于大图形来说可能是难以处理的。因此，一个或多个神经网络可以基于优化从图形的训练数据集采样的预期联合对数似然来训练，如下所示：
其中，pdata(G)可以通过从训练数据集中采样来计算，而pdata(π|G)可以从训练数据集中采样或者可以预先适当地选择。例如，在存在与训练数据集的图形相关联的规范排序的情况下，分布pdata(π|G)可以基于将所有概率置于规范排序上的delta函数。
上述训练过程使得系统比传统的递归神经网络系统训练得更快，并且提供了系统的更好的优化。
训练数据集可以包括结构相同但具有其节点和边排序的不同排列的图形。排列可以是规范排序的随机排列或从均匀分布生成的随机排序，或者排序可以是学习的排序。
在药物发现的示例性应用中，由欧洲分子生物学实验室的欧洲生物信息学研究所(the European Bioinformatics Institute of the European Molecular BiologyLaboratory，EMBL-EBI)提供的“ChEMBL”数据库可以用于获得用于训练数据集的生成的示例性药物分子。规范排序可以基于与分子相关联的简化分子线性输入系统(simplifiedmolecular-input line-entry system，SMILES)表示，以及基于使用工具(诸如在http://www.rdkit.org可用的“RDKit:Open-source cheminformatics software”)从SMILES表示生成的图形。
可以通过计算边际似然来执行对学习的图形生成模型的评估。这可以使用采样方法(诸如重要性采样)来执行。例如，基于重要性采样的一个蒙特卡罗(Monte-Carlo)估计如下所示：
其中，q(π|G)是排序排列上的任何建议的分布，并且可以通过从q(π|G)生成几个样本，然后取这些样本的平均来获得估计。在存在与图形相关联的规范排序的情况下，q(π|G)可以基于将所有概率置于规范排序上的delta函数。
图6示意性地示出了图1所示类型的示例系统的操作。因此，在左边，图6示出了用于更新与图形的节点相关联的状态向量的过程的示意图。在中间，图6示出了用于基于图形生成一个或多个概率的过程的示意图，特别是添加节点和添加边函数的图形级预测。在右边，图6示出了用于选择节点的过程的示意图。
本说明书结合系统和计算机程序组件使用术语“配置”。对于将被配置为执行特定操作或动作的一个或多个计算机的系统，意味着该系统已在其上安装了软件，固件，硬件或它们的组合，这些软件、固件、硬件或它们的组合在操作中使得该系统执行这些操作或动作。对于将配置为执行特定操作或动作的一个或多个计算机程序，意味着该一个或多个程序包括当由数据处理装置执行时，使该装置执行操作或动作的指令。
本说明书中描述的主题和功能操作的实施例可以在数字电子电路中、在有形体现的计算机软件或固件中、在包括本说明书中公开的结构及其结构等同物的计算机硬件中、或者在它们中的一个或多个的组合中实现。本说明书中描述的主题的实施例可以被实现为一个或多个计算机程序，即编码在有形非暂时性存储介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机存储介质可以是机器可读存储设备、机器可读存储基底、随机或串行存取存储器设备或者它们中的一个或多个的组合。可替代地或附加地，程序指令可以编码在人工生成的传播信号上，例如，机器生成的电、光或电磁信号，其被生成以对信息进行编码，用于到合适的接收器装置的传输，以由数据处理装置执行。
术语“数据处理装置”指的是数据处理硬件，并且包含用于处理数据的所有种类的装置、设备和机器，例如包括可编程处理器、计算机或多个处理器或计算机。装置还可以是或还包括专用逻辑电路，例如FPGA(field programmable gate array，现场可编程门阵列)或ASIC(application specific integrated circuit，专用集成电路)。除了硬件之外，装置可以可选地包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
计算机程序，也可以被称为或描述为程序、软件、软件应用、应用、模块、软件模块、脚本或代码，可以以任何形式的编程语言编写，包括编译或解释语言，或者声明性或过程性语言；并且计算机程序可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或其他适合在计算环境中使用的单元。程序可以，但不一定，对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的部分中，例如存储在标记语言文档中的一个或多个脚本，存储在专用于所讨论的程序的单个文件中，或者存储在多个协调文件中，例如存储一个或多个模块、子程序或部分代码的文件。计算机程序可以被部署为在一个计算机或位于一个站点或分布在多个站点并通过数据通信网络互连的多个计算机上执行。
在本说明书中，术语“数据库”被广泛用于指代任何数据的集合：数据不需要以任何特定方式结构化，或者根本不需要结构化，并且数据可以存储在一个或多个位置的存储设备上。因此，例如，索引数据库可以包括多个数据的集合，每个数据的集合可以被不同地组织和访问。
类似地，在本说明书中，术语“引擎”被广泛用于指代基于软件的系统、子系统或过程，其被编程以执行一个或多个特定功能。通常，引擎将被实现为安装在一个或多个位置的一个或多个计算机上的一个或多个软件模块或组件。在一些情况下，一个或多个计算机将专用于特定的引擎；在其他情况下，可以在同一个或多个计算机上安装和运行多个引擎。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机来执行，以通过操作输入数据并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路，例如，FPGA或ASIC，或者由专用逻辑电路和一个或多个编程计算机的组合来执行。
适于计算机程序的执行的计算机可以基于通用或专用微处理器或两者，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或者两者接收指令和数据。计算机的基本元件是用于执行或运行指令的中央处理单元和用于存储指令和数据的一个或多个存储器设备。中央处理单元和存储器可以由专用逻辑电路补充或并入专用逻辑电路。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备(例如磁盘、磁光盘或光盘)，或者可操作地耦合到一个或多个大容量存储设备，以从一个或多个大容量存储设备接收数据或向一个或多个大容量存储设备传送数据，或者两者都包括。然而，计算机不需要这样的设备。此外，计算机可以嵌入到另一设备中，例如移动电话、个人数字助理(personal digital assistant，PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(Global Positioning System，GPS)接收器或便携式存储设备，例如通用串行总线(universal serial bus，USB)闪存驱动器，仅举几个示例。
适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如：半导体存储器设备，例如，EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM盘。
为了提供与用户的交互，本说明书中描述的主题的实施例可以在计算机上实现，该计算机具有用于向用户显示信息的显示器设备，例如CRT(cathode ray tube，阴极射线管)或LCD(liquid crystal display，液晶显示器)监视器，以及用户可以通过其向计算机提供输入的键盘和指示设备，例如鼠标或轨迹球。也可以使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可以以任何形式接收，包括声音、语音或触觉输入。此外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户交互；例如通过响应于从网络浏览器接收的请求，将网页发送到用户的设备上的网络浏览器。此外，计算机可以通过向个人设备(例如，运行消息传递应用的智能手机)发送文本消息或其他形式的消息，并接收来自用户的响应消息来与用户交互。
用于实现机器学习模型的数据处理装置还可以包括，例如，用于处理机器学习训练或产生的公共和计算密集部分(即推理、工作负荷)的专用硬件加速器单元。
机器学习模型可以使用机器学习框架来实现和部署，例如TensorFlow框架、Microsoft Cognitive Toolkit框架、Apache Singa框架或Apache MXNet框架。
本说明书中描述的主题的实施例可以在计算系统中实现，该计算系统包括后端组件(例如作为数据服务器)，或者包括中间件组件(例如应用服务器)，或者包括前端组件(例如具有图形用户界面、网络浏览器或应用的客户端计算机，用户可以通过其与本说明书中描述的主题的实现进行交互)，或者一个或多个这样的后端、中间件或前端组件的任意组合。系统的组件可以通过任何形式或介质的数字数据通信(例如通信网络)来互连。通信网络的示例包括局域网(local area network，LAN)和广域网(wide area network，WAN)，例如互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系是由运行在相应的计算机上的计算机程序产生的，并且相互之间具有客户端-服务器关系。在一些实施例中，服务器将数据(例如，HTML页面)传输到用户设备，例如，出于向作为客户端的与设备交互的用户显示数据和从用户接收用户输入的目的。在用户设备处生成的数据，例如用户交互的结果，可以在服务器处从设备接收。
虽然本说明书包含许多具体的实现方式细节，但这些不应被解释为对任何发明的范围或可能要求保护的范围的限制，而是对特定发明的特定实施例的特有的特征的描述。本说明书中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独地或以任何合适的子组合来实现。此外，尽管特征可以在上面被描述为在某些组合中起作用，并且甚至最初是这样要求保护的，但是在一些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中被删除，并且所要求保护的组合可以针对子组合或子组合的变化。
类似地，虽然操作在附图中以特定的顺序被描绘并且以特定的顺序在权利要求中被陈述，但是这不应该被理解为要求这样的操作以所示的特定顺序或顺序地被执行，或者所有示出的操作都被执行，以实现期望的结果。在某些情况下，多任务和并行处理可以是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中都需要这样的分离，并且应当理解，所描述的程序组件和系统一般可以一起集成在单个软件产品中或者封装到多个软件产品中。
已经描述了主题的特定实施例。其他实施例在所附权利要求的范围内。例如，权利要求中陈述的动作可以以不同的顺序执行，并且仍然实现期望的结果。作为一个示例，附图中描绘的过程不一定需要所示的特定顺序或顺序来实现期望的结果。在一些情况下，多任务和并行处理可以是有利的。

Claims (37)

1.一种用于生成图形的神经网络系统，所述图形包括一组节点和边，
其中，所述图形表示药物分子的结构，所述图形的每个相应节点表示所述分子的原子，并且所述图形的每个相应边表示所述分子的原子之间的化学键；或
其中，所述图形表示计算机芯片设计；或
其中，所述图形表示网络中用于车辆流量或网络流量的路由路径；或
其中，所述图形对应于解析树；或
其中，所述图形表示用于自然语言处理的语言结构；或
其中，所述图形表示视觉场景的表示；
所述系统包括：
一个或多个神经网络，被配置为表示节点生成决策和/或边生成决策的序列上的概率分布，其中，所述一个或多个神经网络包括：
节点创建神经网络，被配置为接收图形作为输入，并输出向所述图形添加新节点的一个或多个概率；
边添加神经网络，被配置为接收图形和候选节点的指示作为输入，并且输出向所述图形添加连接到所述候选节点的边的一个或多个概率；
节点选择神经网络，被配置为接收图形和候选节点的指示作为输入，并输出在所述候选节点和所述图形的每一个节点之间向所述图形添加边的一个或多个概率；以及
一个或多个计算机，被配置为对由所述一个或多个神经网络表示的概率分布进行采样以生成图形，其中，对所述概率分布进行采样以生成图形包括：
基于所述节点创建神经网络的输出生成所述图形的节点；以及
基于所述边添加神经网络和所述节点选择神经网络的输出生成所述图形的边。
2.根据权利要求1所述的神经网络系统，其中，所述一个或多个计算机被配置为基于生成节点和生成边的迭代过程来生成图形，并且其中生成边发生在生成节点之后。
3.根据权利要求1所述的神经网络系统，其中，每个节点和每个边一次一个地顺序地生成。
4.根据权利要求1所述的神经网络系统，其中生成所述图形的节点还包括：
接收初始图形；
向所述节点创建神经网络提供所述初始图形；
接收来自所述节点创建神经网络的输出；
基于所述节点创建神经网络的输出，确定是否要生成所述图形的新节点；
响应于确定要生成所述图形的新节点：
生成所述新节点；以及
通过更新所述初始图形以包括所述新节点来生成更新的图形；
响应于确定不生成所述图形的新节点：
不更新所述初始图形。
5.根据权利要求4所述的神经网络系统，其中生成所述图形的边还包括：
向所述边添加神经网络提供所述更新的图形和所述新节点的指示；
接收来自所述边添加神经网络的输出；
基于所述边添加神经网络的输出，确定是否要生成连接到所述新节点的边；
响应于确定要生成所述边：
向所述节点选择神经网络提供所述更新的图形和所述新节点的指示；
接收来自所述节点选择神经网络的输出；
基于所述节点选择神经网络的输出选择图形的节点；以及
更新所述图形以包括所述新节点和所选节点之间的边。
6.根据权利要求5所述的神经网络系统，其中，生成所述图形的边还包括：
确定是否生成连接到所述新节点的更多的边。
7.根据权利要求5所述的神经网络系统，其中，所述一个或多个计算机还被配置为将所述更新的图形作为输入提供给所述节点创建神经网络，以用于在生成边之后生成更多的节点。
8.根据权利要求1所述的神经网络系统，其中所述图形的每个节点与信息相关联，并且其中所述一个或多个计算机被配置为在相邻节点之间传播信息，以向节点提供来自所述节点的本地邻域的信息。
9.根据权利要求8所述的神经网络系统，其中，所述一个或多个计算机被配置为执行多轮信息传播。
10.根据权利要求8所述的神经网络系统，其中，与节点相关联的信息被编码为状态向量。
11.根据权利要求10所述的神经网络系统，其中，在相邻节点之间传播信息包括基于与所述相邻节点相关联的状态向量生成与连接所述相邻节点的边相关联的消息向量。
12.根据权利要求11所述的神经网络系统，其中，所述消息向量还基于与所述边相关联的特征向量。
13.根据权利要求12所述的神经网络系统，其中，所述特征向量基于边类型。
14.根据权利要求11所述的神经网络系统，其中，所述消息向量是使用神经网络生成的。
15.根据权利要求11所述的神经网络系统，其中，向节点传播信息还包括基于与连接到所述节点的一个或多个边相关联的一个或多个消息向量的聚合来更新所述节点的状态向量。
16.根据权利要求15所述的神经网络系统，其中，所述一个或多个消息向量的聚合是与连接到所述节点的传入边相关联的消息向量的聚合。
17.根据权利要求15所述的神经网络系统，其中，所述一个或多个消息向量的聚合是与连接到所述节点的边中的每个边相关联的消息向量的聚合。
18.根据权利要求15所述的神经网络系统，其中，更新节点的状态向量基于神经网络的输出，所述神经网络被配置为接收所述消息向量的聚合和所述节点的当前状态向量作为输入。
19.根据权利要求10所述的神经网络系统，其中，所述图形与图形状态向量相关联，其中所述图形状态向量基于一组节点状态向量的聚合。
20.根据权利要求19所述的神经网络系统，其中，聚合一组节点状态向量包括：
对于所述组中的每个节点状态向量，通过被配置为接收节点状态向量作为输入的神经网络生成修改的节点状态向量；以及
聚合一组修改的节点状态向量。
21.根据权利要求20所述的神经网络系统，其中，所述修改的节点状态向量具有比未修改的节点状态向量更高的维数。
22.根据权利要求11所述的神经网络系统，其中，聚合所述一组修改的节点状态向量基于门控总和。
23.根据权利要求9所述的神经网络系统，其中，所述一个或多个计算机还被配置为：
在相邻节点之间执行至少一轮信息传播；
确定与所述图形相关联的图形状态向量；
并且其中，所述节点创建神经网络还被配置为：
处理所述图形状态向量以确定向所述图形添加新节点的一个或多个概率。
24.根据权利要求23所述的神经网络系统，其中，所述一个或多个概率包括多个节点类型中的每一个的概率。
25.根据权利要求19所述的神经网络系统，其中，所述一个或多个计算机还被配置为：
在相邻节点之间执行至少一轮信息传播；
确定与所述图形相关联的图形状态向量；
并且其中，所述边添加神经网络还被配置为：
处理所述图形状态向量和与候选节点相关联的状态向量，以确定向所述图形添加连接到所述候选节点的边的一个或多个概率。
26.根据权利要求22所述的神经网络系统，其中，所述一个或多个计算机被配置为：
在相邻节点之间执行至少一轮信息传播；
并且其中，节点选择神经网络还被配置为：
基于由神经网络处理与候选节点对的每个相应节点相关联的状态向量，确定用于在多个候选节点对之间添加边的多个概率分数，每一个候选节点对包括所述候选节点和所述图形的节点。
27.根据权利要求26所述的神经网络系统，其中，所述多个概率分数包括用于连接候选节点和所述图形的节点的多个边类型中的每一个的相应分数。
28.根据权利要求10所述的神经网络系统，还包括：
节点初始化神经网络，被配置为初始化新生成的节点的状态向量，其中初始化新生成的节点的状态向量包括：
由神经网络处理图形状态向量和与所述新生成的节点相关联的特征向量，以确定初始状态向量。
29.根据权利要求28所述的神经网络系统，其中，与节点相关联的特征向量基于与所述节点相关联的节点类型。
30.根据权利要求1所述的神经网络系统，其中，由所述一个或多个神经网络表示的概率分布基于条件概率分布来确定。
31.根据权利要求30所述的神经网络系统，其中，所述条件概率分布以从存储器检索的数据为条件，数据检索基于使用所述图形的至少部分的表示的存储器查找。
32.根据权利要求1所述的神经网络系统，其中，所述一个或多个神经网络基于最大化图形的训练数据集的预期对数似然来训练。
33.根据权利要求1所述的神经网络系统，其中，所述一个或多个神经网络基于图形的数据集来训练，其中，所述数据集中的每个图形与所述图形的节点和边的排序相关联。
34.根据权利要求1所述的神经网络系统，其中，所述一个或多个计算机还被配置为基于由所述一个或多个神经网络表示的概率分布来评估图形。
35.根据权利要求1所述的神经网络系统，其中，所述图形包括环。
36.根据权利要求1所述的神经网络系统，其中，所述一个或多个神经网络还包括可调节以改变与在所述一个或多个神经网络的训练的完成之后生成的图形相关联的属性的偏差。
37.一种生成图形的计算机实现的方法，所述图形包括一组节点和边，所述方法包括：
对节点和边生成决策的序列上的概率分布进行采样以生成图形，所述概率分布由任一前述权利要求所述的系统的一个或多个神经网络参数化。
CN201880070076.8A 2017-10-27 2018-10-29 用于生成对象的结构化表示的图形神经网络系统 Active CN111465944B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762578301P 2017-10-27 2017-10-27
US62/578,301 2017-10-27
PCT/EP2018/079556 WO2019081781A1 (en) 2017-10-27 2018-10-29 NEURAL GRAPH NETWORK SYSTEMS FOR GENERATING STRUCTURED REPRESENTATIONS OF OBJECTS

Publications (2)

Publication Number Publication Date
CN111465944A CN111465944A (zh) 2020-07-28
CN111465944B true CN111465944B (zh) 2024-04-05

Family

ID=64049242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880070076.8A Active CN111465944B (zh) 2017-10-27 2018-10-29 用于生成对象的结构化表示的图形神经网络系统

Country Status (4)

Country Link
US (2) US11704541B2 (zh)
EP (1) EP3698288A1 (zh)
CN (1) CN111465944B (zh)
WO (1) WO2019081781A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3772708A1 (en) * 2019-08-09 2021-02-10 RoboticsX GmbH Factory device integration
EP3792831A1 (en) * 2019-09-11 2021-03-17 Siemens Aktiengesellschaft Method for generating an adapted task graph
KR102068279B1 (ko) * 2019-10-04 2020-01-20 주식회사 루닛 이미지 분석 방법 및 시스템
KR102601738B1 (ko) * 2019-10-04 2023-11-13 주식회사 루닛 이미지 분석 방법 및 시스템
KR102068277B1 (ko) * 2019-10-04 2020-02-11 주식회사 루닛 이미지 분석 방법 및 시스템
CN110751269B (zh) * 2019-10-18 2022-08-05 网易（杭州）网络有限公司 图神经网络训练方法、客户端设备及系统
US11315421B2 (en) 2019-11-20 2022-04-26 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for providing driving recommendations
US11599749B1 (en) * 2019-12-23 2023-03-07 Thales Sa Method of and system for explainable knowledge-based visual question answering
US20210248460A1 (en) * 2020-02-07 2021-08-12 Uatc, Llc Systems and Methods for Optimized Multi-Agent Routing Between Nodes
JP7359394B2 (ja) * 2020-03-06 2023-10-11 オムロン株式会社 情報処理装置および機械学習方法
CN111382843B (zh) * 2020-03-06 2023-10-20 浙江网商银行股份有限公司 企业上下游关系识别模型建立、关系挖掘的方法及装置
US11442451B2 (en) 2020-03-30 2022-09-13 Toyota Research Institute, Inc. Systems and methods for generating driving recommendations
US11174289B1 (en) 2020-05-21 2021-11-16 International Business Machines Corporation Artificial intelligence designed antimicrobial peptides
US12079730B2 (en) 2020-05-28 2024-09-03 International Business Machines Corporation Transfer learning for molecular structure generation
WO2021243585A1 (en) * 2020-06-03 2021-12-09 Huawei Technologies Co., Ltd. Method and system for generating network configurations using graph neural network
CN111816252B (zh) * 2020-07-21 2021-08-31 腾讯科技（深圳）有限公司 一种药物筛选方法、装置及电子设备
EP3945708A1 (de) * 2020-07-29 2022-02-02 Siemens Aktiengesellschaft Dynamisches vorhalten von kontextabhängigen rechnergestützten funktionalitäten in mobilen, verteilten edge clouds
KR102297290B1 (ko) * 2020-10-19 2021-09-03 (주)휴네시온 네트워크 트래픽의 양자화 분석 장치 및 방법
US20220129733A1 (en) * 2020-10-28 2022-04-28 Siemens Aktiengesellschaft Determining at least one node
US11593180B2 (en) * 2020-12-15 2023-02-28 Kyndryl, Inc. Cluster selection for workload deployment
CN112508121B (zh) * 2020-12-22 2024-03-22 南京大学 一种工业机器人感知外界的方法和系统
US11715469B2 (en) * 2021-02-26 2023-08-01 Walmart Apollo, Llc Methods and apparatus for improving search retrieval using inter-utterance context
CN113140267B (zh) * 2021-03-25 2024-03-29 北京化工大学 一种基于图神经网络的定向分子生成方法
CN114004347A (zh) 2021-08-30 2022-02-01 平头哥(上海)半导体技术有限公司 用于加速图神经网络属性访问的硬件加速器、系统和方法
US11836538B2 (en) * 2021-10-11 2023-12-05 International Business Machines Corporation Heterogeneous graph generation for application microservices
CN114070751B (zh) * 2021-10-25 2023-06-30 汕头大学 基于双子图的服务质量预测方法、系统、设备及介质
CN116151337A (zh) 2021-11-15 2023-05-23 平头哥(上海)半导体技术有限公司 用于加速图神经网络属性访问的方法、系统和存储介质
WO2023215043A1 (en) * 2022-05-04 2023-11-09 Visa International Service Association System, method, and computer program product for active learning in graph neural networks through hybrid uncertainty reduction
CN114666263A (zh) * 2022-05-20 2022-06-24 中国科学技术大学 高动态的智能路由确定方法、装置、电子设备及存储介质
WO2024065476A1 (zh) * 2022-09-29 2024-04-04 华为技术有限公司 一种无线策略的优化方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106471525A (zh) * 2014-12-24 2017-03-01 谷歌公司 增强神经网络以生成附加输出
CN106471526A (zh) * 2014-08-29 2017-03-01 谷歌公司 使用深度神经网络来处理图像
CN106503055A (zh) * 2016-09-27 2017-03-15 天津大学 一种从结构化文本到图像描述的生成方法
CN106777125A (zh) * 2016-12-16 2017-05-31 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于神经网络及图像关注点的图像描述生成方法
CN106874688A (zh) * 2017-03-01 2017-06-20 中国药科大学 基于卷积神经网络的智能化先导化合物发现方法
CN106960415A (zh) * 2017-03-17 2017-07-18 深圳市唯特视科技有限公司 一种基于像素递归超分辨率模型恢复图像的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6853952B2 (en) * 2003-05-13 2005-02-08 Pa Knowledge Limited Method and systems of enhancing the effectiveness and success of research and development
AU2015271975A1 (en) * 2015-12-21 2017-07-06 Canon Kabushiki Kaisha An imaging system and method for classifying a concept type in video
US20180025291A1 (en) * 2016-07-20 2018-01-25 Carnegie Mellon University Data Processing System for Generating Data Structures
US10445582B2 (en) * 2016-12-20 2019-10-15 Canon Kabushiki Kaisha Tree structured CRF with unary potential function using action unit features of other segments as context feature
WO2018184224A1 (en) * 2017-04-07 2018-10-11 Intel Corporation Methods and systems for boosting deep neural networks for deep learning
US11023817B2 (en) * 2017-04-20 2021-06-01 International Business Machines Corporation Probabilistic estimation of node values

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106471526A (zh) * 2014-08-29 2017-03-01 谷歌公司 使用深度神经网络来处理图像
CN106471525A (zh) * 2014-12-24 2017-03-01 谷歌公司 增强神经网络以生成附加输出
CN106503055A (zh) * 2016-09-27 2017-03-15 天津大学 一种从结构化文本到图像描述的生成方法
CN106777125A (zh) * 2016-12-16 2017-05-31 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于神经网络及图像关注点的图像描述生成方法
CN106874688A (zh) * 2017-03-01 2017-06-20 中国药科大学 基于卷积神经网络的智能化先导化合物发现方法
CN106960415A (zh) * 2017-03-17 2017-07-18 深圳市唯特视科技有限公司 一种基于像素递归超分辨率模型恢复图像的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Learning Graphical State Transitions;Daniel D. Johnson;《OpenReview》;20170330;全文 *

Also Published As

Publication number Publication date
US20200279151A1 (en) 2020-09-03
CN111465944A (zh) 2020-07-28
EP3698288A1 (en) 2020-08-26
US20240054328A1 (en) 2024-02-15
US11704541B2 (en) 2023-07-18
WO2019081781A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
CN111465944B (zh) 用于生成对象的结构化表示的图形神经网络系统
CN111406267B (zh) 使用性能预测神经网络的神经架构搜索
US20200364389A1 (en) Generating integrated circuit floorplans using neural networks
KR102302609B1 (ko) 신경망 아키텍처 최적화
CN110268422B (zh) 利用强化学习的设备布局优化
Acı et al. A modified dragonfly optimization algorithm for single‐and multiobjective problems using Brownian motion
Chitty-Venkata et al. Neural architecture search survey: A hardware perspective
US8965834B2 (en) Particle methods for nonlinear control
Akinola et al. A hybrid binary dwarf mongoose optimization algorithm with simulated annealing for feature selection on high dimensional multi-class datasets
Tawhid et al. A hybrid social spider optimization and genetic algorithm for minimizing molecular potential energy function
CN112905801A (zh) 基于事件图谱的行程预测方法、系统、设备及存储介质
Kim Quaternion Julia set shape optimization
Seo Solving real-world optimization tasks using physics-informed neural computing
Singh et al. Edge proposal sets for link prediction
Dao et al. Optimal path planning for motion robots based on bees pollen optimization algorithm
KR20220134627A (ko) 하드웨어-최적화된 신경 아키텍처 검색
EP4205014A1 (en) Simulating physical environments using mesh representations and graph neural networks
WO2020159692A1 (en) Estimating latent reward functions from experiences
US12093832B2 (en) Method for distributing work points to a plurality of task-performing robots
US11947503B2 (en) Autoregressive graph generation machine learning models
Feng et al. A dynamic opposite learning assisted grasshopper optimization algorithm for the flexible jobscheduling problem
CN113490955B (zh) 用于产生金字塔层的架构的系统和方法
WO2023143121A1 (zh) 一种数据处理方法及其相关装置
Huang et al. A kriging-assisted bi-objective constrained global optimization algorithm for expensive constrained optimization problems
Hao et al. An enhanced two phase estimation of distribution algorithm for solving scheduling problem

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant