CN111444309A - 用于对图进行学习的系统 - Google Patents

Abstract

本发明公开了用于对图进行学习的系统，该系统包括：计算节点和存储节点；存储节点，用于存储子图并向计算节点提供查询服务，所述子图是预先对一张图进行切分得到的，一张图进行切分得到的子图的个数大于等于2；计算节点，用于按照预设的图学习任务，向存储节点发送查询请求，将查询请求得到的图相关数据作为预设的图学习任务的输入之一，执行图学习任务；其中，存储节点的个数可配置为两个及以上，所述计算节点的个数可配置为一个及以上。该系统与现有技术相比，提升了图学习的效率。

Description

用于对图进行学习的系统

技术领域

本发明涉及计算机技术领域，特别涉及用于对图进行学习的系统。

背景技术

随着移动终端及应用软件的普及，在社交、电商、物流、出行、外卖、营销等领域的服务提供商沉淀了海量业务数据，基于海量业务数据，挖掘不同业务实体(实体)之间的关系成为数据挖掘领域一个重要的技术研究方向。而随着机器处理能力的提升，越来越多技术人员开始研究如何通过机器学习技术进行挖掘。

本发明的发明人发现：

目前，通过机器学习技术，对海量业务数据进行学习，得到用于表达实体及实体之间关系的图(Graph)，即，对海量业务数据进行图学习，成为一个优选的技术方向。简单理解，图由节点和边构成，如图1所示，每个序号代表一个节点，一个节点用于表示一个实体，节点与节点之间的边用于表示节点之间的关系。一张图一般会包括两个以上的节点和一条以上的边，因此，图也可以理解为由节点的集合和边的集合组成，通常表示为：G(V，E)，其中，G表示图，V表示图G中节点的集合，E是图G中边的集合。图可以分为同构图和异构图，其中，异构图指的是一张图中的节点的类型不同(边的类型可以相同或者不同)，或者一张图中边的类型不同(节点的类型可以相同或者不同)，图1所示则为一张异构图，同样类型的边用同样的线形表示，同样类型的点用同样的几何图形表示。

现有技术是用单台机器进行图学习，单台机器既要存储图还要基于训练数据对图进行学习，当图中的节点和边的数量很大和/或训练数据很大时，单台机器会出现存储压力大和/或图学习时间过长的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的用于对图进行学习的系统。

本发明实施例提供的用于对图进行学习的系统，至少包括：计算节点和存储节点；

存储节点，用于存储子图并向计算节点提供查询服务，所述子图是预先对一张图进行切分得到的，一张图进行切分得到的子图的个数大于等于2；

计算节点，用于按照预设的图学习任务，向存储节点发送查询请求，将查询请求得到的图相关数据作为预设的图学习任务的输入之一，执行图学习任务；

其中，存储节点的个数可配置为两个及以上，所述计算节点的个数可配置为一个及以上。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明提供的系统，与现有技术用单台机器进行图存储和图学习相比，本发明通过设置计算节点和存储节点，实现了图学习任务执行和图查询存储服务的分离，同时，该系统支持存储节点的个数配置，实现了对一张图的分布式存储，解决了单台机器存储一张很大的图所面临的存储压力大的技术问题，另外，本系统支持配置计算节点的个数，计算节点的个数配置一般与图学习总时长相关，图学习总时长越大配置的计算节点的个数可以越多，因此，与单台机器执行图学习任务相比，通过配置计算节点的个数可以提高图学习效率，节省图学习时间，解决了现有技术图学习效率低和学习时间长的问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为图的示意图；

图2为本发明实施例一提供的用于对图进行学习的系统组成示意图；

图3为本发明实施例二提供的用于对图进行学习的系统组成示意图；

图4为本发明实施例三提供的用于对图进行学习的系统组成示意图；

图5为本发明实施例四提供的用于对图进行学习的系统组成示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

关于图需要说明的是，图是一种数据结构，在应用时，需要将现实场景中的实体(如广告、商品等)抽象为图的节点，将实体之间的关系(如商品和广告营销效果关系等)视为图的边，通过点边拼接得到网状(图)结构。比如，在电商领域，图的节点可以是Query(查询)，Item(商品类目)和Ad(广告)等，节点之间的边可以是查询行为关系，商品内容关系等，在出行领域，图的节点可以是查询、地点、路线等，节点之间的边可以是地点与路线之间的关联关系等。因此，本发明中的图的节点及边可以根据图所应用的业务场景确定，本发明不做任何限制。

图学习面向业务场景才是有意义的，所以，当基于业务场景确定了图中的节点对应的实体和边对应的实体间关系后，图则被赋予了业务含义和技术含义，按照该业务场景要解决的技术问题和业务问题执行相应的图学习任务，则可得到解决相应问题的结果。比如，图表示学习可将复杂的图表示成低维、实值、稠密的向量形式，使其具有表示及推理能力，可以方便执行其他机器学习任务。

以上是关于图的简要说明，本发明是针对现有技术通过单台机器进行图学习存在存储压力大和/或学习时间长的技术问题，提供了新的用于对图进行学习的系统架构，亦可称为面向图学习的系统框架(框架)，该系统能够有效地解决现有技术存储压力大和/或图学习总时间过长的问题。

如图2所示，本发明实施例一提供的用于对图进行学习的系统，该系统包括：计算节点(亦可称为学习节点)和存储节点；

存储节点，用于存储子图并向计算节点提供查询服务，所述子图是预先对一张图进行切分得到的，一张图进行切分得到的子图的个数大于等于2；

计算节点，用于按照预设的图学习任务，向存储节点发送查询请求，将查询请求得到的图相关数据作为预设的图学习任务的输入之一，执行图学习任务；

其中，存储节点的个数可配置为两个及以上，所述计算节点的个数可配置为一个及以上。

以上是本发明实施例一提供的系统，由于一张图会被至少分为两份子图，所以，图2所示的系统中至少有两个存储节点，该系统，与现有技术用单台机器进行图存储和图学习相比，通过设置计算节点和存储节点，实现了图学习任务执行和图查询存储服务的分离，同时，该系统支持存储节点的个数配置，实现了对一张图的分布式存储，解决了单台机器存储一张很大的图所面临的存储压力大的技术问题，另外，本系统支持配置计算节点的个数，计算节点的个数配置一般与图学习总时长相关，图学习总时长越大配置的计算节点的个数可以越多，因此，与单台机器执行图学习任务相比，通过配置计算节点的个数可以提高图学习效率，节省图学习时间，解决了现有技术图学习效率低和学习时间长的问题。

对于本发明提供的系统在执行图学习任务时，启动的存储节点的个数，可以按照如下方式进行配置，如下配置方式适用于本发明提供的任何一个实施例，具体地，当一个图被预先切分成n(≥2)份子图时，

配置启用n*k个存储节点，k(≥1)是每份子图的备份个数，一个存储节点用于存储一份子图或者一份子图的备份，与第一种方式相比，该方式保证了在多个存储节点请求的图相关数据存储在同一份子图中，系统能够快速响应，或者某个子图的存储节点出问题时，不影响图学习任务的正常进行，保证了系统的可靠性。

当图被分布式存储时，对于图2所示的系统，在存储节点和计算节点的个数不是很多时，计算节点向存储节点请求图相关数据时，可以通过广播的方式向存储节点发送查询请求，即，计算节点的查询请求会被发送给所有的存储节点，在存储节点的个数或者计算节点的个数较多时，广播发送查询请求的方式，则不是优选方式，在这种情况下，为了提高计算节点向存储节点请求图相关数据的效率，可以采用在计算节点本地存储子图和存储节点的对应关系的方式，使计算节点在发送请求之前能够通过本地存储的对应关系知道应该向哪些存储节点发送查询请求。

对于计算节点如何获得所述对应关系，可以采用如下方式：

1、计算节点向存储节点主动询问，并将通过询问得到子图与存储节点的对应关系存储在本地；

2、存储节点存储子图之后主动向计算节点同步对应关系，计算节点将存储节点同步来的对应关系存储在本地。

以上是本发明实施例一提供的系统，该系统在存储节点和计算节点个数较多时，由于每个存储节点都要存储前述对应关系，这会造成存储节点的资源浪费，为了提升存储节点的资源利用率，本发明实施例二提供另一种用于对图进行学习的系统，如图3所示，该系统包括：存储节点，计算节点和注册节点，与图2所示系统的区别在于，

注册节点，用于存储子图与存储节点的对应关系；

计算节点，按照预设的学习任务先向注册节点询问存储节点，再向询问到的存储节点发送查询请求。

对于注册节点，也可以按照前述计算节点获得子图与存储节点的对应关系的方式，得到子图与存储节点的对应关系并存储在本地，此处不再赘述。

注册节点的个数可以是一个，也可以是多个，可以视图学习任务配置。

需要注意的是，当计算节点向注册节点询问到存储节点之后，如果计算节点可以始终成功从相应存储节点获得图相关数据，则计算节点可以不再向注册节点询问存储节点。

无论子图与存储节点的对应关系是存储在注册节点还是存储在计算节点，当子图与存储节点的对应关系发生变化时，需要保证注册节点或者计算节点能够及时更新其上存储的子图与存储节点的对应关系。

以上是本发明实施例二提供的系统，前文已述，计算节点的个数配置一般与图学习总时长相关，至少要配置一个，而系统启动后，系统中所有的计算节点的是为同一个工作目标服务，所以计算节点上设置的机器学习模型基本是相同的，为了保证学习效果，计算节点之间需要进行参数交换，当然一个计算节点不涉及参数交换，并且，在计算节点的个数不多时，可以选择一个计算节点承担参数交换的任务，或计算节点之间按一定的规则进行参数交换，而当计算节点个数非常多时，为了降低系统复杂度，本发明基于前述实施例提供的系统，提供了另外两种用于对图进行学习的系统，这两种系统均包括：参数交换节点，参数交换节点的个数亦可配置。具体地：

一种实施例包括：存储节点、计算节点和参数交换节点。

如图4所示，另一种实施例包括：存储节点、计算节点、注册节点和参数节点。

在系统包括参数交换节点的情况下，计算节点，需要进一步将其上执行图学习任务的图学习模型(机器学习模型)的参数同步给参数交换节点，参数交换节点，则会基于计算节点同步来的参数和本地存储的参数进行最优参数运算，并将运算得到的参数发送给计算节点，即，参数交换节点，用于进行最优参数运算，并将得到的最优参数返回给计算节点。

本领域技术人员可以理解，前述流程亦可称为计算节点和参数交换节点的参数交换(交互)。参数交换节点和计算节点之间可以采用同步或者异步两种方式进行参数交换。

以上对本发明提供的系统组成及工作原理进行了介绍，以下结合不同的场景对上述系统部分技术特征进行说明。

第一种场景，图是表达图结构的数据，对该图进行切分得到的子图则是将图结构数据切分之后得到的子图结构数据，这样的图一般还需要用训练数据进行训练，才能得到用于解决相应技术问题和业务问题的结果。在这种场景下，计算节点不仅要将从存储节点请求得到的图相关数据作为图学习任务的输入之一，也要将训练数据作为图学习任务输入。

第二种场景，图是基于训练数据构建的图，这种图不仅有图结构数据还带有训练数据，为便于区分本发明称该图为训练图，对该图进行切分得到的是训练子图，这种情况下，上述计算节点可以通过全局采样查询请求、邻居采样查询请求和特征采样查询请求，从存储节点请求图相关数据，这样请求来的图相关数据就是图学习任务的输入。

基于上述两种场景，本发明计算节点通过向存储节点发送查询请求得到的图相关数据，具体是哪种数据则与场景相关，本发明不做任何限定。

针对前述第一种场景，当基于图学习任务总时长确定需要m个计算节点时，可以将一个批次的训练数据平均分为m份子训练数据，每个计算节点基于一份子训练数据执行相应的图学习任务，当m个计算节点学习完同一个批次的训练数据之后，如果还有其他批次的训练数据，则再对该批次训练数据进行学习，直到学习完所有批次的训练数据后得到最终结果。

当训练数据被分为m份子训练数据后，可以将每一份子训练数据手动上传至计算节点，另外，本发明实施例还提供了调度节点；

调度节点，用于将每个批次的训练数据按照配置计算节点的个数，划分为子训练数据，并将子训练数据同步计算节点，每个计算节点同步一份子训练数据。

本发明实施例提供的任何一个系统均可包括调度节点，图5所示仅为包含调度节点的系统示例。

以上对本发明提供的系统组成及系统工作原理进行了介绍，在实际应用中，本发明一个节点可以用一台机器实现，也可以用一台机器实现系统中的部分节点，当然也可以是用服务器集群实现该系统，只要保证系统中各节点具备相应的能力即可。

以下将针对该存储节点和计算节点之间如何实现图相关数据的查询进行详细说明，与现有技术相比，由于本发明将图进行了分布式存储，同时，计算节点和存储节点分离，所以，本发明计算节点需要通过存储节点提供的查询服务得到图相关数据，具体地，为了得到适用于不同场景的图相关数据，本发明存储节点提供查询服务具体包括：

第一、全局采样查询服务。计算节点向存储节点发送全局采样查询请求，存储节点在收到该请求后进行全局采样查询。

具体的，由于图被分布式存储，客户端(计算节点)会从注册节点获取到存储节点的类型元素的权重总和，然后，客户端(计算节点)根据元素在存储节点的分布权重确定存储节点需要采样的元素的个数，然后向所有的存储节点发送全局采样请求，告知每个存储节点要采样的元素类型和要采样的元素个数。计算节点在收到所有存储节点返回的查询结果后需要先对查询结果进行合并。比如，将每个存储节点采样得到的元素id按照不同元素类型分别合并起来。所述元素是节点和边的统称。

第二、邻居采样查询服务。计算节点向存储节点发送邻居采样查询请求，存储节点收到该请求后进行邻居采样查询。邻居采样与全局采样的区别在于，邻居采样计算节点需要通过邻居采样查询请求告诉存储节点需要查询邻居节点的节点(根节点)。邻居采样中的根节点可以是预设的，也可以是全局采样服务提供的。

具体的，由于图是分布式存储的，客户端(计算节点)会先按照根节点id将邻居节点查询请求拆分成多个子邻居采样查询请求，并将查询请求发送给拥有该子请求请求的所有根节点的存储节点；客户端(计算节点)收到不同存储节点采样得到查询结果后也需要进行合并。比如，根据邻居节点id按照不同邻居边类型分别合并起来。

第三、特征查询服务。计算节点向存储节点发送特征查询请求，存储节点收到该请求后进行特征查询。

具体的，由于图是分布式存储的，客户端(计算节点)会先按照预先指定的节点/边id将特征查询请求拆分成多个子特征查询请求，并将子特征查询请求发送给拥有该子请求请求的所有节点/边的特征的存储节点。客户端(计算节点)需要进一步将不同存储节点返回的拥有特征信息的节点/边列表合并起来。

上述三种查询服务返回的结果并不必然都是能直接作为图学习任务输入的图相关数据，具体返回的结果情况视具体业务场景，本发明不做具体说明和限制。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种用于对图进行学习的系统，其特征在于，包括：

计算节点和存储节点；

存储节点，用于存储子图并向计算节点提供查询服务，所述子图是预先对一张图进行切分得到的，一张图进行切分得到的子图的个数大于等于2；

计算节点，用于按照预设的图学习任务，向存储节点发送查询请求，将查询请求得到的图相关数据作为预设的图学习任务的输入之一，执行图学习任务；

其中，存储节点的个数可配置为两个及以上，所述计算节点的个数可配置为一个及以上。

2.如权利要求1所述的系统，当图被预先切分为n份子图时，所述计算节点的个数配置具体包括：

配置启用n*k个存储节点，k是每份子图的备份个数，存储节点用于存储一份子图或者一份子图的备份，k大于等于1。

3.如权利要求1所述的系统，其特征在于，

计算节点，进一步用于向存储节点主动询问子图与存储节点的对应关系，并将询问得到的子图与存储节点的对应关系存储在本地；

或者，

存储节点，进一步用于主动向计算节点同步子图与存储节点的对应关系，

计算节点，进一步用于将存储节点主动同步来的所述对应关系存储在本地；

所述计算节点，按照预设的图学习任务，向存储节点发送查询请求具体包括：

按照预设的图学习任务，从本地存储的子图与存储节点的对应关系中，获取可发送查询请求的存储节点，并向获取到的存储节点发送查询请求。

4.如权利要求1所述的系统，其特征在于，所述系统进一步包括：

注册节点，用于存储子图与存储节点的对应关系；

计算节点，按照预设的图学习任务，向存储节点发送查询请求，具体包括：

按照预设的学习任务，向注册节点询问可发送查询请求的存储节点，再向询问获得的存储节点发送查询请求；

其中，注册节点的个数可配置。

5.如权利要求1或4所述的系统，其特征在于，所述系统进一步包括：参数交换节点；

计算节点，执行图学习任务后，将执行图学习任务的图学习模型的参数进一步同步给参数交换节点；

参数交换节点，基于计算节点同步来的参数和本地存储的参数进行最优参数运算，并将运算得到的参数发送给计算节点；

其中，参数交换节点的个数可配置。

6.权利要求5所述的系统，其特征在于，

参数交换节点和计算节点之间可以采用同步或者异步方式进行参数交换。

7.如权利要求5所述的系统，当所述图学习任务需要训练数据作为输入时，所述系统进一步包括：调度节点；

调度节点，用于将每个批次的训练数据按照计算节点的个数，划分为子训练数据，并将子训练数据同步给计算节点，一个计算节点分配一份子训练数据。

8.如权利要求5所述的系统，其特征在于，若计算节点同时向两个以上的存储节点发送查询请求，则

计算节点，进一步用于对所有存储节点返回的图相关数据进行合并，基于合并得到的图相关数据执行图学习任务。

9.如权利要求5所述的系统，其特征在于，存储节点的查询服务包括：全局采样查询服务，邻居采样查询服务和特征采样查询服务中的一种或者多种。

Images