CN107969156A - 用于处理图形数据的神经网络 - Google Patents

Abstract

方法、系统和设备，包括在计算机存储介质上编码的计算机程序，用于：接收表示输入图形的图形数据，所述输入图形包括通过边连接的多个顶点；从所述图形数据生成表示所述输入图形中的每个顶点的特性的顶点输入数据和表示所述输入图形中的顶点对的特性的配对输入数据；以及使用神经网络来生成所述输入图形的次序不变特征，其中所述神经网络包括：第一子网络，所述第一子网络被配置成从所述顶点输入数据和所述配对输入数据生成所述顶点输入数据的第一替选表示和所述配对输入数据的第一替选表示；以及组合层，所述组合层被配置成接收输入替选表示并且处理所述输入替选表示以生成所述次序不变特征。

Description

用于处理图形数据的神经网络

技术领域

本说明书涉及用于处理图形数据的神经网络。

背景技术

神经网络是机器学习模型，所述机器学习模型采用模型的一个或多个层来为接收到的输入生成输出(例如，分类)。一些神经网络除了包括输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层(即，网络的下一个隐藏层或输出层)的输入。网络的每个层依照一组相应的参数的当前值从接收到的输入生成输出。

发明内容

一般而言，本说明书描述了用于处理图形数据的神经网络。

一般而言，本说明书中所描述的主题的一个创新方面可用包括以下动作的方法加以具体实现：接收表示输入图形的图形数据，所述输入图形包括通过边连接的多个顶点；从所述图形数据生成表示所述输入图形中的每个顶点的特性的顶点输入数据和表示所述输入图形中的顶点的配对的特性的配对输入数据；以及使用神经网络来生成所述输入图形的次序不变特征，其中所述神经网络包括：第一子网络，所述第一子网络被配置成从所述顶点输入数据和所述配对输入数据生成所述顶点输入数据的第一替选表示和所述配对输入数据的第一替选表示；以及组合层，所述组合层被配置成接收输入替选表示并且处理所述输入替选表示以生成所述次序不变特征。

实施方式可包括以下特征中的一个或多个。通过一个或多个神经网络层来处理所述次序不变特征以生成所述图形数据的分类。所述图形数据表示分子，以及其中所述图形中的每个顶点是所述分子中的原子元素并且每条边是所述分子中的两个原子元素之间的键的类型。处理所述次序不变特征以确定通过所述图形数据所表示的所述分子与特定靶分子结合的可能性。每个顶点的特性包括下列中的至少一种或多种：通过所述顶点所表示的原子元素、通过所述顶点所表示的所述原子元素是氢键供体还是受体、所述原子元素的手性、所述原子元素的形式电荷、所述原子元素的杂化状态、或者此原子元素为其一部分的环的大小的集合。顶点的每个配对的特性包括下列中的至少一种或多种：通过所述顶点所表示的所述原子元素之间的键的类型或者通过所述顶点所表示的所述原子元素之间的路径的长度。所述多个层还包括：一个或多个其它子网络，所述一个或多个其它子网络共同地处理所述第一替选表示以生成所述配对输入数据的第二替选表示和所述顶点数据的第二替选表示并且将所述第二替选表示作为输入提供给所述组合层。所述第一子网络被配置成针对所述输入图形中的每个顶点：对所述顶点的所述顶点输入数据应用第一顶点函数以生成第一顶点输出；对包括所述顶点的每个配对的所述配对输入数据应用第二顶点函数以生成所述每个配对的相应输出；将所述每个配对的相应输出与交换函数组合以生成第二顶点输出；以及从所述第一顶点输出和所述第二顶点输出生成所述顶点输入数据的所述第一替选表示。所述第一子网络被配置成针对所述输入图形中的顶点的每个配对：对所述配对的所述配对输入数据应用第一配对函数以生成第一配对输出；从所述配对中的顶点的所述顶点输入数据生成第二配对输出；以及从所述第一配对输出和所述第二配对输出生成所述配对的所述配对输入数据的所述第一替选表示。生成所述第二配对输出包括：将非交换函数应用于作为所述非交换函数的第一输入的所述配对中的第一顶点的顶点输入数据和作为所述非交换函数的第二输入的所述配对中的第二顶点的顶点输入数据以生成第一非交换输出；将所述非交换函数应用于作为所述非交换函数的第一输入的所述第二顶点的顶点输入数据和作为所述非交换函数的第二输入的所述第一顶点的顶点输入数据以生成第二非交换输出；以及对所述第一非交换输出和所述第二非交换输出应用交换函数以生成所述第二配对输出。从所述图形数据生成表示所述图形中的顶点的三元组的特性的三元组输入数据；其中多个层的所述第一子网络被配置成生成所述三元组输入数据的第一替选表示；以及其中所述第一子网络还被配置成针对顶点的每个配对：对所述配对为三元组的第一元素和第三元素的每个三元组的所述三元组输入数据应用第二配对函数以生成所述每个三元组的相应输出；将所述每个三元组的相应输出与交换函数组合以生成第三配对输出；以及其中生成所述配对输入数据的所述第一替选表示包括从所述第一配对输出、所述第二配对输出和所述第三配对输出生成所述配对输入数据的所述第一替选表示。从所述图形数据生成表示所述图形中的顶点的三元组的特性的三元组输入数据；其中所述第一子网络还被配置成，针对所述输入图形中的顶点的每个三元组：对所述三元组的所述三元组输入数据应用第一三元组函数以生成第一三元组输出；从所述三元组中的顶点对的所述配对输入数据生成第二三元组输出；以及从所述第一三元组输出和所述第二三元组输出生成所述三元组输入数据的第一替选表示。生成所述第二三元组输出包括：识别包括所述三元组中的第一顶点和第二顶点的第一对顶点；识别包括所述三元组中的所述第一顶点和第三顶点的第二对顶点；识别包括所述第二顶点和所述第三顶点的第三对顶点；将非交换函数应用于作为所述非交换函数的第一输入的所述第一对顶点的配对输入数据、作为所述非交换函数的第二输入的所述第二对顶点的配对输入数据和作为所述非交换函数的第三输入的所述第三对顶点的配对输入数据以生成第一非交换输出；将所述非交换函数应用于作为所述非交换函数的第一输入的所述第三对顶点的配对输入数据、作为所述非交换函数的第二输入的所述第二对顶点的配对输入数据和作为所述非交换函数的第三输入的所述第一对顶点的配对输入数据以生成第二非交换输出；以及对所述第一非交换输出和所述第二非交换输出应用交换函数以生成所述第二三元组输出。

可实现本说明书中所描述的主题的特定实施例以实现以下优点中的一个或多个。神经网络可从表示通过边连接的顶点的无向图的输入数据生成分类。通常，将图形转换为要由神经网络处理的数据需要以特定次序对所述图形进行排序。即使图形的元素保持相同，一些神经网络也可为图形的不同序列输出不同的分类。本说明书中所描述的神经网络允许以任何次序对顶点的图形进行排序，同时仍然具有相同的神经网络输出分类。例如，神经网络可接收表示分子的图形并且有效地处理该图形以生成输出，例如，定义该分子将与特定靶分子结合的可能性的分类。作为使网络的输出图形的元素在被表示为输入时的排序无关的结果，神经网络必须学习更少的参数，这导致表现更好且使用更简单的模型。

应当了解，可以任何方便的形式实现各方面。例如，各方面和实施方式可以通过可以被承载在适当的载体介质上的适当的计算机程序来实现，所述适当的载体介质可以是有形载体介质(例如磁盘)或无形载体介质(例如通信信号)。各方面也可使用适合的设备来实现，所述设备可以采取运行计算机程序的可编程计算机的形式。在以下附图和描述中阐述了本说明书的主题的一个或多个实施例的细节。主题的其它特征、方面和优点将根据说明书、附图和权利要求书变得显而易见。

附图说明

图1图示用于处理图形数据的示例系统。

图2是用于使用神经网络来处理图形数据的示例方法的流程图。

图3是用于生成顶点输入数据的替选表示的示例方法的流程图。

图4是用于生成配对输入数据的替选表示的示例方法的流程图。

图5是用于生成配对输出的示例方法的流程图。

图6是用于生成另一配对输出的示例方法的流程图。

图7是用于生成三元组输入数据的替选表示的示例方法的流程图。

图8是用于生成三元组输出的示例方法的流程图。

在各个附图中相同的附图标记和名称指示相同的元素。

具体实施方式

图1图示用于处理图形数据的示例系统100。系统100是作为计算机程序实现在一个或多个位置中的一个或多个计算机上的系统的示例，其中可实现在下面所描述的系统、组件和技术。

系统100包括神经网络101和图形数据解析器104。图形数据解析器104可接收图形数据102，所述图形数据102表示具有通过边连接的顶点的无向图。图形数据解析器104从图形数据生成神经网络101的输入数据，并且神经网络101处理该输入数据以为图形生成分类112。

在一些实施方式中，图形表示分子——图形的顶点表示分子中的原子元素并且边表示将原子元素连接在一起的键。例如，水分子(H2O)可用图形数据表示为具有三个顶点和连接这些顶点的两条边：H-O-H，并且神经网络101可处理表示水分子的图形以生成表示水分子与靶蛋白结合的可能性的分数。

图形数据也可包括关于顶点和边的附加数据。例如，附加数据可为连接一对顶点的每条边指定通过该边所表示的键的类型，例如单键、双键或三键。附加数据可指定通过顶点所表示的原子元素的属性，将在下面参考图2进一步对此进行描述。

图形数据解析器104从图形数据102生成顶点输入数据114、配对输入数据116和可选地三元组输入数据118，将参考图2对所有这些进行描述。

神经网络101中的子网络106处理顶点输入数据114、配对输入数据116和三元组输入数据118以生成顶点输入数据的替选表示124、配对输入数据的替选表示122和三元组输入数据的替选表示120。子网络106对输入数据102-124应用多个函数以生成替选表示，使得次序不变性被维持。将在下面参考图3至图8进一步对使用子网络106来生成替选表示进行描述。

在一些实施方式中，不是仅具有一个子网络106，而是神经网络101也包括一个或多个其它子网络。在这些实施方式中，子网络按照序列布置。子网络可共同地处理替选表示以生成顶点、配对和三元组输入数据的附加替选表示。也就是说，在序列中在子网络106之后的每个子网络处理由该序列中的前一个子网络所生成的替选表示以生成另一组替选表示。序列中的最后一个子网络可提供由该子网络所生成的替选表示作为给组合层108的输入。

组合层108可处理替选表示，例如，替选表示120-124或来自最后一个子网络的输出替选表示，以生成图形数据102的次序不变特征。在一些实施方式中，如果存在多个子网络，则组合层108处理来自每个子网络的替选表示输出。

组合层108可根据从输入替选表示得到的动差(moments)生成输出。动差可以是替选表示的形状的量度。例如，特定替选表示的第一动差可以是平均值，第二动差可以是方差，并且第三动差可以是偏斜度。组合层108可从每个输入替选表示得到动差。然后，组合层108可对每个动差应用一组参数，例如，计算该组参数和每个动差的点积，以生成组合层108的输出，即图形数据的次序不变特征。可在训练期间对该组参数进行调整，将在下面对此进行描述。在一些实施方式中，组合层108可通过计算替选表示120-124中的每个维度的值的直方图来生成次序不变特征。

次序不变特征是不管图形被排序并输入到神经网络101的次序如何都相同的特征。对图形的次序不变特征进行分类可减少分类期间的误差。作为示意，分子可具有占据多维空间的三个原子元素：X、Y和Z。可在第一定向上对分子的图形数据进行排序为XYZ，并且也可在第二定向上对分子的图形数据进行排序为ZYX。由于对图形进行排序的次序，一些神经网络可以针对不同地排序的分子生成不同的特征。然而，神经网络101将针对在第一定向上排序的分子和在第二定向上排序的分子生成相同的次序不变特征。通过如本说明书中所描述的神经网络101的层来处理图形数据(不管它如何被排序)使得能够生成图形数据的次序不变特征，并且因此，使得能实现对以任何方式排序的图形数据的一致分类。

分类层110然后可处理组合层108的输出以为图形数据102生成分类112。例如，分类层110可对该层的输入应用一组相应的参数来生成分类112。在一些实施方式中，不是在一个层(即，分类层110)处生成分类112，而是神经网络101可使用布置在序列中的多个层来从次序不变特征生成分类112。在一些实施方式中，如果图形数据102表示分子，则分类112可以是表示通过输入图形所表示的分子与特定靶分子结合的可能性的分数。

为了进行分类，系统100可使用常规的神经网络训练技术来对神经网络101进行训练。例如，可在指定分子并针对每个分子指定该分子是否与特定靶分子(例如，靶蛋白)结合的训练数据上对神经网络101进行训练。系统100可通过反向传播误差来调整在神经网络101的每个层和子网络中使用的参数。在训练之后，神经网络101可对输入的图形数据输入进行分类以生成分类。

图2是用于在神经网络处处理图形数据的示例方法的流程图。为了方便，将相对于具有执行软件以实现方法200的一个或多个计算设备的系统(例如，图1的系统100)来描述方法200。

系统接收表示输入图形的图形数据(步骤202)。图形包括通过边连接的多个顶点。图形也与描述顶点和边的属性的附加数据对应。例如，如果图形是分子的，则所对应的附加数据可指定通过每个顶点所表示的原子元素的性质、原子元素之间的键的性质或其它分子性质。

系统从图形数据生成顶点输入数据和配对输入数据(步骤204)。可将顶点输入数据和配对输入数据提供给子网络。为了生成顶点输入数据，系统可识别图形中的顶点。顶点输入数据也可包括关于顶点的附加数据。例如，在分子上下文中，附加数据可包括通过顶点所表示的原子元素是氢键供体还是受体、原子元素的手性、原子元素的形式电荷、原子元素的杂化状态、此原子元素为其一部分的环的大小的集合或其它原子元素特性。

为了生成配对输入数据，系统可识别图形中的成对顶点。每个顶点可与图形中的任何其它顶点配对以形成一对。配对输入数据也可包括关于成对顶点的附加数据。例如，附加数据可包括通过顶点所表示的原子元素之间的键的类型或通过顶点所表示的原子元素之间的路径的长度。配对输入是无序的。如果X和Y是顶点，则XY的配对输入与YX相同。

在一些实施方式中，系统从图形数据生成三元组输入数据。与生成顶点输入数据和配对输入数据类似，系统可识别图形中的顶点的三元组。三元组输入数据也可包括顶点的三元组的附加数据。例如，在分子上下文中，附加数据可包括在三元组中从第一顶点到第二顶点的路径的长度、在三元组中从第二顶点到第三顶点的路径的长度或者其它分子特性。三元组输入是仅部分无序的。XYZ的输入必须与ZYX相同，但是可以与YXZ不同。

顶点输入数据、配对输入数据和三元组输入数据各自可以是表示输入图形的数字的向量。例如，如果输入图形表示分子，则顶点输入数据可通过原子数来表示分子的类型。配对输入数据可通过映射到输入图形中的该对顶点的位置以及该对顶点之间的键的类型的一个或多个数字来表示一对特定顶点。在一些实施方式中，配对输入数据是向量，并且该向量中的位置像邻接矩阵一样对应于输入图形中的位置。类似地，三元组输入数据可通过映射到输入图形中的顶点三元组的位置的一个或多个数字来表示特定顶点三元组。可按照类似的方式将输入图形的其它特性映射到数值。在一些实施方式中，顶点、顶点的配对或顶点的三元组的特性被表示为独热(one-hot)向量。作为示意，单键、双键或三键的键类型分别可被表示为100、010或001。

系统通过使用一个或多个子网络来处理顶点输入数据、配对输入数据和可选地三元组输入数据而从这些数据生成替选表示(步骤206)。系统对顶点、配对和三元组输入数据应用多个函数来生成替选表示。在所有替选表示中，配对数据是无序的并且三元组数据是部分无序的。如果X、Y和Z是顶点，则XY和YX的替选配对表示必须是相同的并且三元组XYZ和ZYX的替选表示必须是相同的。将在下面参考图3至图8进一步描述多个函数并且它们均维护无序配对数据和部分无序三元组数据。

系统使用组合层来处理替选表示以生成次序不变特征(步骤208)。如上面参考图1所描述的，组合层可对替选表示应用一组训练的参数以生成次序不变特征。

系统通过使用一个或多个分类层来处理次序不变特征而从次序不变特征生成输入图形的分类(步骤210)。如上面参考图1所描述的，一个或多个分类层可对次序不变特征应用一组经训练的参数以生成分类。

图3是用于使用子网络来生成顶点输入数据的替选表示的示例方法300的流程图。为了方便，将相对于具有执行软件以实现方法300的一个或多个计算设备的系统(例如，图1的系统100)来描述方法300。

系统可对于系统的输入图形的每个顶点执行以下操作302-308来生成顶点输入数据的替选表示。

对于每个顶点，系统对顶点的顶点输入数据应用第一顶点函数(步骤302)以生成第一顶点输出。第一顶点函数可以是线性或非线性函数。例如，第一顶点函数可以是反正切函数。第一顶点函数也可以是Relu(WX+b)，其中X是作为长度为n的向量的顶点输入数据，W是大小为m x n的权重矩阵，b是长度为m的偏差向量，并且Relu是逐元素非线性函数，例如矫正器。可在训练期间调整第一顶点函数的参数。

系统对包括顶点的每个配对的配对输入数据应用第二顶点函数(304)以生成该对顶点的相应输出。特别地，对于给定顶点X，系统在包括顶点X的输入图形中识别顶点的每个配对。对于每个配对，系统将第二顶点函数应用于配对输入数据以生成该配对的输出。作为示意，第二顶点函数可在特定参数矩阵与包括顶点的每个配对的配对输入数据之间执行矩阵乘。第二顶点函数也可对矩阵乘的输出应用逐元素非线性函数。可在系统的训练期间调整第二顶点函数的参数(例如，参数矩阵的条目)。

系统将每个配对的输出与交换函数组合以生成第二顶点输出(步骤306)。交换函数是不管该函数的输入的次序如何都返回相同输出的函数。例如，系统可通过计算输出的和或平均值来组合输出以生成第二顶点输出。

系统例如使用交换或非交换函数来从第一顶点输出和第二顶点输出生成顶点的顶点输入数据的替选表示(步骤308)。例如，系统可计算第一顶点输出和第二顶点输出的和或者可将第一和第二顶点输出乘以可在训练期间学习到的权重参数。

图4是用于使用子网络来生成配对输入数据的替选表示的示例方法的流程图。为了方便，将相对于具有执行软件以实现方法400的一个或多个计算设备的系统(例如，图1的系统100)来描述方法400。

系统可对于给系统的输入图形中的顶点的每个配对执行以下操作402-406来生成配对输入数据的替选表示。

对于每个配对，系统对该配对的配对输入数据应用第一配对函数(步骤402)以生成第一配对输出。第一配对函数可以是线性或非线性函数。例如，第一配对函数可以是反正切函数。第一配对函数也可以是Relu(WX+b)，其中X是作为长度为n的向量的配对输入数据，W是大小为m x n的权重矩阵，b是长度为m的偏差向量，并且Relu是逐元素非线性函数，例如矫正器。可在训练期间调整第一配对函数的参数。

系统从该配对中的顶点的顶点输入数据生成第二配对输出(步骤404)。对于一对给定顶点(X,Y)，系统可识别顶点X的顶点输入数据和顶点Y的顶点输入数据。所识别的顶点输入数据可用于像在下面参考图5进一步描述的那样生成第二配对输出。

系统例如使用交换或非交换函数来从第一配对输出和第二配对输出生成该配对的配对输入数据的替选表示(步骤406)。例如，系统可计算第一配对输出和第二配对输出的和或者可生成加权和，其中权重是可在训练期间调整的参数。可选地，系统也使用第三配对输出来生成替选表示，将在下面参考图6进一步对此进行描述。

图5是用于使用子网络来生成第二配对输出的示例方法的流程图。为了方便，将相对于具有执行软件以实现方法500的一个或多个计算设备的系统(例如，图1的系统100)来描述方法500。

对于一对特定顶点，系统对该对顶点中的一个顶点的顶点输入数据以及作为第二输入的该对顶点中的第二顶点的顶点输入数据应用非交换函数(步骤502)。例如，对于非交换函数f，系统计算f(X,Y)，其中X是顶点X的顶点输入数据并且Y是顶点Y的顶点输入。结果，非交换函数生成第一非交换输出。非交换函数的示例是y＝Relu(W(X，Y)+b)，其中Relu是非线性函数，W是权重矩阵，b是偏差向量，并且(X,Y)是输入向量X和Y的级联。因为y(a,b)不等于y(b,a)，所以y是非交换的。

系统然后将相同的非交换函数(步骤504)应用于作为第一输入的第二顶点的顶点输入数据和作为第二输入的第一顶点的顶点输入数据以生成第二非交换函数输出。也就是说，在上述示例中，系统计算f(Y,X)。

系统对第一非交换输出和第二非交换输出应用交换函数(步骤506)以生成图4的第二配对输出。交换函数可以是求和函数。可在训练期间调整非交换和交换函数的参数。

图6是用于使用子网络来生成第三配对输出的示例方法的流程图。为了方便，将相对于具有执行软件以实现方法600的一个或多个计算设备的系统(例如，图1的系统100)来描述方法600。

对于每对顶点，系统对包括该对顶点作为其端点的每个三元组的三元组输入数据应用第二配对函数(步骤602)以生成顶点的三元组的相应输出。也就是说，给定一对顶点(X,Y)，系统可识别在输入图形中的顶点的具有端点X和Y的每个三元组(例如，(X,A,Y)、(X,B,Y)、(X,C,Y)等)的三元组输入数据。所识别的三元组输入数据可被用作第二配对函数的输入。作为示意，第二配对函数可在特定参数矩阵与包括该对顶点的每个三元组的三元组输入数据之间执行矩阵乘。可在系统的训练期间调整第二配对函数的参数。

系统将每个三元组的相应输出与交换函数组合以生成第三配对输出(步骤604)。例如，系统可通过执行输出的求和或平均来组合输出以生成第二顶点输出。

系统例如使用交换或非交换函数来从图4的第一配对输出、图5的第二配对输出和第三配对输出生成该对顶点的配对输入数据的替选表示(步骤606)。例如，系统可计算第一顶点输出和第二顶点输出的和或者可生成加权和，其中权重是可在训练期间调整的参数。

图7是用于使用子网络来生成三元组输入数据的替选表示的示例方法的流程图。为了方便，将相对于具有执行软件以实现方法700的一个或多个计算设备的系统(例如，图1的系统100)来描述方法700。

系统可对于系统的输入图形中的顶点的每个三元组执行以下操作702-706来生成三元组输入数据的替选表示。

对于每个三元组，系统对三元组的三元组输入数据应用第一三元组函数(步骤702)以生成第一三元组输出。第一三元组函数可以是线性函数或非线性函数。例如，第一三元组函数可以是反正切函数。第一三元组函数也可以是Relu(WX+b)，其中X是作为长度为n的向量的配对输入数据，W是大小为m x n的权重矩阵，b是长度为m的偏差向量，并且Relu是逐元素非线性函数，例如矫正器。类似于上面参考图3所描述的第一顶点函数，可在训练期间调整第一三元组函数的参数。

系统从三元组中的顶点对的配对输入数据生成第二三元组输出(步骤704)。对于顶点给定的三元组(X,Y,Z)，系统可识别顶点对(X,Y)、(X,Z)和(Y,Z)的配对输入数据。所识别的配对输入数据可用于生成第二三元组输出，将在下面参考图8进一步对比进行描述。

系统例如使用交换或非交换函数来从第一三元组输出和第二三元组输出生成三元组的三元组输入数据的替选表示(步骤706)。例如，系统可计算第一三元组输出和第二三元组输出的和或者可生成加权和，其中权重是可在训练期间调整的参数。

图8是用于使用子网络来生成第二三元组输出的示例方法的流程图。为了方便，将相对于具有执行软件以实现方法800的一个或多个计算设备的系统(例如，图1的系统100)来描述方法800。

对于顶点的特定三元组，系统可识别包括三元组中的第一顶点和第二顶点的第一对顶点(步骤802)，识别包括三元组中的第一顶点和第三顶点的第二对顶点(步骤804)，并且识别包括三元组中的第二顶点和第三顶点的第三对顶点(步骤806)。

系统对如下三个输入应用非交换函数(步骤808)：作为第一输入的第一对顶点的配对输入数据；作为第二输入的第二对顶点的配对输入数据；以及作为第三输入的第三对顶点的配对输入数据。例如，对于非交换函数f和三元组XYZ，系统计算f([X,Y],[X,Z],[Y,Z])，其中[X,Y]是顶点X和Y的配对输入数据，[Y,Z]是顶点Y和Z的配对输入数据，并且[X,Z]是顶点X和Z的配对输入数据。结果，非交换函数生成第一非交换输出。非交换函数的示例是Relu(W(X，Y)+b)，其中Relu是非线性函数，W是权重矩阵，b是偏差向量，并且(X,Y)是输入向量X和Y的级联(concatenation)。

系统然后对作为第一输入的第三对顶点的配对输入数据、作为第二输入的第二对顶点的配对输入数据以及作为第三输入的第一对顶点的配对输入数据应用相同的非交换函数(步骤810)。也就是说，系统计算f([Y,Z],[X,Z],[X,Y])。这使非交换函数生成第二非交换输出。

系统对第一非交换输出和第二非交换输出应用交换函数(步骤812)以生成图7的第二三元组输出。例如，交换函数可以是求和函数。可在训练期间调整非交换和交换函数的参数。

本说明书中所描述的主题和功能操作的实施例可用数字电子电路、用有形地具体实现的计算机软件或固件、用计算机硬件(包括本说明书中所公开的结构及其结构等同物)或者用它们中一个或多个的组合加以实现。本说明书中所描述的主题的实施例可作为一个或多个计算机程序(即，在有形非暂时性程序载体上编码以供由数据处理设备执行或者控制数据处理设备的操作的计算机程序指令的一个或多个模块)被实现。可替选地或此外，可将程序指令编码在人工生成的传播信号上，所述传播信号例如为机器生成的电、光学或电磁信号，该信号被生成来对信息进行编码以便传输到适合的接收器设备以供由数据处理设备执行。计算机存储介质可以是机器可读存储装置、机器可读存储基板、随机或串行存取存储器装置或者它们中的一个或多个的组合。然而，计算机存储介质不是传播信号。

术语“数据处理装置”包含用于对数据进行处理的所有种类的设备、装置和机器，作为示例包括可编程处理器、计算机或多个处理器或计算机。该设备可包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。该设备除了包括硬件之外还可包括为所述计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。

计算机程序(其也可以被称为或者描述为程序、软件、软件应用、模块、软件模块、脚本或代码)可用任何形式的编程语言来编写，所述编程语言包括编译或解释语言或声明性或过程语言，并且它可被以任何形式部署，包括作为独立程序或者作为适合于在计算环境中使用的模块、组件、子例行程序或其它单元。计算机程序可以但未必对应于文件系统中的文件。可在保持其它程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中、在专用于所述程序的单个文件中或者在多个协调文件(例如，存储一个或多个模块、子程序或代码的部分的文件)中存储程序。可将计算机程序部署成在一个计算机上或在位于一个站点处或者跨多个站点分布并通过通信网络互连的多个计算机上执行。

如本说明书中所使用的，“引擎”或“软件引擎”指代提供与输入不同的软件实现的输入/输出系统。引擎可以是功能性的编码块，诸如库、平台、软件开发套件(“SDK”)或对象。可将每个引擎实现在包括一个或多个处理器和计算机可读介质的任何适当类型的计算装置上，所述计算装置例如服务器、移动电话、平板计算机、笔记本计算机、音乐播放器、电子书阅读器、膝上型或台式计算机、PDA、智能电话或其它固定或便携式装置。附加地，可以将两个或更多个引擎实现在相同的计算装置上或者在不同的计算装置上。

本说明书中所描述的过程和逻辑流程可通过一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行动作而被执行。过程和逻辑流程也可由专用逻辑电路来执行，并且设备也可作为专用逻辑电路被实现，所述专用逻辑电路例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

作为示例，适合于执行计算机程序的处理器可基于通用微处理器或专用微处理器或两者，或任何其它种类的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的必要元件是用于执行或者实行指令的中央处理单元以及用于存储指令和数据的一个或多个存储装置。通常，计算机也将包括或者在操作上耦合以从用于存储数据的一个或多个海量存储装置(例如，磁盘、磁光盘或光盘)接收数据或者将数据转移到所述海量存储装置，或者兼而有之。然而，计算机未必具有此类装置。此外，可将计算机嵌入在另一装置中，所述另一装置例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储装置(例如，通用串行总线(USB)闪存驱动器)等。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储装置，作为示例包括半导体存储装置，例如EPROM、EEPROM和闪速存储器装置；磁盘，例如内部硬盘或可移动盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路来补充，或者并入专用逻辑电路。

为了提供与用户的交互，可将本说明书中所描述的主题的实施例实现在计算机上，所述计算机具有用于向用户显示信息的显示装置(例如，CRT(阴极射线管)监视器、LCD(液晶显示)监视器或OLED显示器)以及用于向该计算机提供输入的输入装置，例如，键盘、鼠标或存在敏感显示器或其它表面。其它种类的装置也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声、语音或触觉输入。此外，计算机可通过向由用户使用的装置发送文档并且从由用户使用的装置接收文档来与用户交互；例如，通过响应于从web浏览器接收到的请求而向用户的客户端装置上的web浏览器发送web页面。

可将本说明书中所描述的主题的实施例实现在计算系统中，所述计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有用户可用来与本说明书中所描述的主题的实施方式交互的图形用户界面或Web浏览器的客户端计算机)，或者包括一个或多个此类后端、中间件或前端组件的任何组合。本系统的组件可通过任何形式或介质的数字数据通信(例如，通信网络)来互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如因特网。

计算系统可包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络来交互。客户端和服务器的关系借助于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。

虽然本说明书包含许多特定实施方式细节，但是这些不应该被解释为对任何发明的或可以要求保护的范围构成限制，而是相反被解释为可能特定于特定发明的特定实施例的特征的描述。也可在单个实施例中相结合地实现在本说明书中在单独的实施例的上下文中描述的某些特征。相反，也可在多个实施例中单独地或者按照任何适合的子组合实现在单个实施例的上下文中描述的各种特征。此外，尽管特征可以在上面被描述为按照某些组合起作用并因此甚至最初要求保护，然而来自要求保护的组合的一个或多个特征可在一些情况下被从该组合中删去，并且所要求保护的组合可以针对子组合或子组合的变化。

类似地，虽然在附图中按照特定次序描绘了操作，但是这不应该被理解为要求按照所示特定次序或者按照顺序次序执行此类操作，或者要求执行所有图示的操以实现所希望的结果。在某些情况下，多任务处理和并行处理可以是有利的。此外，上面所描述的实施例中的各种系统模块和组件的分离不应该被理解为在所有实施例中要求这种分离，并且应该理解，所描述的程序组件和系统通常可被一起集成在单个软件产品中或者封装到多个软件产品中。

已经对主题的特定实施例进行了描述。其它实施例在以下权利要求书的范围内。例如，权利要求书中所记载的动作可被按照不同的次序执行并仍然实现所希望的结果。作为一个示例，附图中所描绘的过程不一定要求所示特定次序或顺序次序以实现所希望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。

Claims (15)

1.一种方法，包括：

接收表示输入图形的图形数据，所述输入图形包括通过边连接的多个顶点；

从所述图形数据生成表示所述输入图形中的每个顶点的特性的顶点输入数据和表示所述输入图形中的顶点的配对的特性的配对输入数据；以及

使用神经网络来生成所述输入图形的次序不变特征，其中所述神经网络包括：

第一子网络，所述第一子网络被配置成从所述顶点输入数据和所述配对输入数据生成所述顶点输入数据的第一替选表示和所述配对输入数据的第一替选表示；以及

组合层，所述组合层被配置成接收输入替选表示并且处理所述输入替选表示以生成所述次序不变特征。

2.根据权利要求1所述的方法，还包括：

通过一个或多个神经网络层来处理所述次序不变特征以生成所述图形数据的分类。

3.根据权利要求1或2所述的方法，其中所述图形数据表示分子，以及其中所述图形中的每个顶点是所述分子中的原子元素并且每条边是所述分子中的两个原子元素之间的键的类型。

4.根据权利要求3所述的方法，还包括：

处理所述次序不变特征以确定通过所述图形数据所表示的所述分子与特定靶分子结合的可能性。

5.根据权利要求3或4所述的方法，其中，每个顶点的特性包括下列中的至少一个或多个：通过所述顶点所表示的原子元素、通过所述顶点所表示的所述原子元素是氢键供体还是受体、所述原子元素的手性、所述原子元素的形式电荷、所述原子元素的杂化状态或者此原子元素为其一部分的环的大小的集合。

6.根据权利要求3、4或5所述的方法，其中，顶点的每个配对的特性包括下列中的至少一个或多个：通过所述顶点所表示的所述原子元素之间的键的类型或者通过所述顶点所表示的所述原子元素之间的路径的长度。

7.根据任一前述权利要求所述的方法，其中，所述神经网络还包括：

一个或多个其它子网络，所述一个或多个其它子网络共同地处理所述第一替选表示以生成所述配对输入数据的第二替选表示和所述顶点数据的第二替选表示并且将所述第二替选表示作为输入提供给所述组合层。

8.根据任一前述权利要求所述的方法，其中，所述第一子网络被配置成针对所述输入图形中的每个顶点：

对所述顶点的所述顶点输入数据应用第一顶点函数以生成第一顶点输出；

对包括所述顶点的每个配对的所述配对输入数据应用第二顶点函数以生成每个配对的相应输出；

将每个配对的相应输出与交换函数组合以生成第二顶点输出；以及

从所述第一顶点输出和所述第二顶点输出生成所述顶点输入数据的所述第一替选表示。

9.根据任一前述权利要求所述的方法，其中，所述第一子网络被配置成针对所述输入图形中的顶点的每个配对：

对所述配对的所述配对输入数据应用第一配对函数以生成第一配对输出；

从所述配对中的顶点的所述顶点输入数据生成第二配对输出；以及

从所述第一配对输出和所述第二配对输出生成所述配对的所述配对输入数据的所述第一替选表示。

10.根据权利要求9所述的方法，其中，生成所述第二配对输出包括：

将非交换函数应用于作为所述非交换函数的第一输入的、所述配对中的第一顶点的顶点输入数据和作为所述非交换函数的第二输入的、所述配对中的第二顶点的顶点输入数据以生成第一非交换输出；

将所述非交换函数应用于作为所述非交换函数的第一输入的、所述第二顶点的顶点输入数据和作为所述非交换函数的第二输入的、所述第一顶点的顶点输入数据以生成第二非交换输出；以及

对所述第一非交换输出和所述第二非交换输出应用交换函数以生成所述第二配对输出。

11.根据权利要求9或10所述的方法，还包括：

从所述图形数据生成三元组输入数据，所述三元组输入数据表示所述图形中的顶点的三元组的特性；

其中多个层中的所述第一子网络被配置成生成所述三元组输入数据的第一替选表示；以及

其中所述第一子网络还被配置成针对顶点的每个配对：

对所述配对为三元组的第一元素和第三元素的每个三元组的所述三元组输入数据应用第二配对函数以生成每个三元组的相应输出；

将每个三元组的相应输出与交换函数组合以生成第三配对输出；以及

其中生成所述配对输入数据的所述第一替选表示包括从所述第一配对输出、所述第二配对输出和所述第三配对输出生成所述配对输入数据的所述第一替选表示。

12.根据任一前述权利要求所述的方法，还包括：

从所述图形数据生成三元组输入数据，所述三元组输入数据表示所述图形中的顶点的三元组的特性；

其中所述第一子网络还被配置成针对所述输入图形中的顶点的每个三元组：

对所述三元组的所述三元组输入数据应用第一三元组函数以生成第一三元组输出；

从所述三元组中的顶点的配对的所述配对输入数据生成第二三元组输出；以及

从所述第一三元组输出和所述第二三元组输出生成所述三元组输入数据的第一替选表示。

13.根据权利要求12所述的方法，其中，生成所述第二三元组输出包括：

识别包括所述三元组中的第一顶点和第二顶点的第一对顶点；

识别包括所述三元组中的所述第一顶点和第三顶点的第二对顶点；

识别包括所述第二顶点和所述第三顶点的第三对顶点；

将非交换函数应用于作为所述非交换函数的第一输入的所述第一对顶点的配对输入数据、作为所述非交换函数的第二输入的所述第二对顶点的配对输入数据和作为所述非交换函数的第三输入的所述第三对顶点的配对输入数据以生成第一非交换输出；

将所述非交换函数应用于作为所述非交换函数的第一输入的所述第三对顶点的配对输入数据、作为所述非交换函数的第二输入的所述第二对顶点的配对输入数据和作为所述非交换函数的第三输入的所述第一对顶点的配对输入数据以生成第二非交换输出；以及

对所述第一非交换输出和所述第二非交换输出应用交换函数以生成所述第二三元组输出。

14.一种系统，包括：

一个或多个计算机；以及

计算机可读介质，所述计算机可读介质耦合到所述一个或多个计算机并且具有存储在其上的指令，所述指令在由所述一个或多个计算机执行时使所述一个或多个计算机针对神经网络层中的每一个执行包括根据任一前述权利要求所述的方法的操作。

15.一种其上存储有指令的计算机可读介质，所述指令在由一个或多个计算机执行时使所述一个或多个计算机执行包括根据权利要求1至13中的任一项所述的方法的操作。