CN114139022A

CN114139022A - 子图抽取方法和装置

Info

Publication number: CN114139022A
Application number: CN202210114037.1A
Authority: CN
Inventors: 周强; 潘臻轩
Original assignee: Alipay Hangzhou Information Technology Co Ltd
Current assignee: Alipay Hangzhou Information Technology Co Ltd
Priority date: 2022-01-30
Filing date: 2022-01-30
Publication date: 2022-03-04
Anticipated expiration: 2042-01-30
Also published as: CN114139022B

Abstract

本说明书实施例提供一种子图抽取方法和装置，方法包括：从指定数据源，获取当前时间周期相对于上一时间周期的增量数据；根据所述增量数据，得到关系网络图的增量图数据，其中包括若干新增节点；以各新增节点为根节点，对所述关系网络图执行子图抽取任务；在所述子图抽取任务执行过程中，一旦检测到子节点数目达到预设阈值的目标节点，根据该目标节点的子节点数目分配目标计算资源，利用所述目标计算资源执行以该目标节点为起点的子抽取任务。能够满足对计算规模和实时性两方面的需求。

Description

子图抽取方法和装置

技术领域

本说明书一个或多个实施例涉及计算机领域，尤其涉及子图抽取方法和装置。

背景技术

图是一种由点和边构成的，包含多种属性的复杂数据结构。子图是图论的基本概念之一，其具体是指节点集和边集分别是某一图的节点集的子集和边集的子集的图。子图抽取，指从某一图中通过图计算找到业务感兴趣的子图。图计算将现实中的数据抽象为图数据结构并进行复杂计算。

现有技术中，在进行子图抽取时，因参与计算的图规模或子图的规模可能很大，会对图计算的实时性产生很大的挑战，无法满足对计算规模和实时性两方面的需求。

发明内容

本说明书一个或多个实施例描述了一种子图抽取方法和装置，能够满足对计算规模和实时性两方面的需求。

第一方面，提供了一种子图抽取方法，方法包括：

从指定数据源，获取当前时间周期相对于上一时间周期的增量数据；

根据所述增量数据，得到关系网络图的增量图数据，其中包括若干新增节点；

以各新增节点为根节点，对所述关系网络图执行子图抽取任务；在所述子图抽取任务执行过程中，一旦检测到子节点数目达到预设阈值的目标节点，根据该目标节点的子节点数目分配目标计算资源，利用所述目标计算资源执行以该目标节点为起点的子抽取任务。

在一种可能的实施方式中，所述关系网络图包括节点和连接边，所述增量图数据还包括新增连接边、新增节点属性信息、新增边属性信息中的一项或多项。

在一种可能的实施方式中，所述以各新增节点为根节点，对所述关系网络图执行子图抽取任务，包括：

从所述各新增节点中选择满足预设条件的第一新增节点作为根节点；

根据该根节点的子节点数目分配初始计算资源，利用所述初始计算资源对所述关系网络图执行以该根节点为起点的子图抽取任务。

进一步地，所述子图抽取任务用于从所述关系网络图中的根节点出发逐层抽取子节点构建子图；所述初始计算资源为与所述根节点的直接相连的子节点数目相关数目的并发资源。

进一步地，所述目标计算资源为与该目标节点的直接相连的子节点数目相关数目的并发资源。

在一种可能的实施方式中，所述方法还包括：

调用actor方法远程提交异步请求，所述异步请求用于请求执行所述子图抽取任务或所述子抽取任务；

接收返回的Object，根据Object获取所述子图抽取任务或所述子抽取任务的执行结果。

在一种可能的实施方式中，所述子图抽取任务抽取的子图的度至少为2。

在一种可能的实施方式中，所述子图抽取任务基于所述增量图数据和历史图数据而执行；

所述方法还包括：

根据所述增量图数据，更新所述历史图数据。

在一种可能的实施方式中，所述关系网络图为有向无环图。

在一种可能的实施方式中，所述子图抽取任务包括多轮迭代运算，所述子抽取任务在多轮迭代运算的任一轮迭代运算中触发。

第二方面，提供了一种子图抽取装置，装置包括：

获取单元，用于从指定数据源，获取当前时间周期相对于上一时间周期的增量数据；

时序计算单元，用于根据所述获取单元获取的增量数据，得到关系网络图的增量图数据，其中包括若干新增节点；

子图抽取单元，用于以所述时序计算单元得到的各新增节点为根节点，对所述关系网络图执行子图抽取任务；在所述子图抽取任务执行过程中，一旦检测到子节点数目达到预设阈值的目标节点，根据该目标节点的子节点数目分配目标计算资源，利用所述目标计算资源执行以该目标节点为起点的子抽取任务。

第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。

第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。

通过本说明书实施例提供的方法和装置，首先从指定数据源，获取当前时间周期相对于上一时间周期的增量数据；然后根据所述增量数据，得到关系网络图的增量图数据，其中包括若干新增节点；再以各新增节点为根节点，对所述关系网络图执行子图抽取任务；在所述子图抽取任务执行过程中，一旦检测到子节点数目达到预设阈值的目标节点，根据该目标节点的子节点数目分配目标计算资源，利用所述目标计算资源执行以该目标节点为起点的子抽取任务。由上可见，本说明书实施例，基于动态的子图抽取方法，在子图抽取任务执行过程中，遇到子节点数目达到预设阈值的目标节点时，可以动态的构建资源进行子图抽取，从而有效减少以目标节点为起点抽取子图的耗时，能够满足对计算规模和实时性两方面的需求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本说明书披露的一个实施例的实施场景示意图；

图2示出根据一个实施例的子图抽取方法流程图；

图3示出根据一个实施例的流式处理示意图；

图4示出根据一个实施例的动态分配资源示意图；

图5示出根据一个实施例的子图抽取装置的示意性框图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

图1为本说明书披露的一个实施例的实施场景示意图。该实施场景涉及子图抽取，也就是说，从关系网络图中抽取子图。参照图1，关系网络图A为有向无环图（directedacyclic graph，DAG），即一个无回路的有向图，如果一个有向图无法从某个顶点出发经过若干条边回到该点，则这个图是一个有向无环图。以节点1为根节点，对关系网络图A进行子图抽取为例，与节点1直接相连的子节点分别为节点2、节点3、节点4和节点5，在图计算过程中，可以首先确定将节点3和节点4纳入子图范围，然后再分别从节点3和节点4出发进一步提取子图，例如，将与节点3直接相连的节点8纳入子图范围，将与节点4直接相连的节点10纳入子图范围，以及将与节点10直接相连的节点13和节点14纳入子图范围，从而得到子图B。由图1可见，在关系网络图A中，节点3的子节点只有节点8和节点9，数量为2个，而节点4的子节点包括节点10、节点12、节点13、节点14、节点15、节点16、节点17、节点18、节点19、节点20、节点21，数量为11个，因此在子图抽取过程中，以节点3为起点的子图抽取对应第一耗时，与以节点4为起点的子图抽取对应第二耗时，通常第二耗时明显长于第一耗时，最终的子图抽取耗时取决于第二耗时，本说明书实施例，通过动态分配图计算中的处理资源，达到缩短第二耗时的目的，从而缩短子图抽取的总耗时，以期能够满足对计算规模和实时性两方面的需求。

需要说明的是，本说明书实施例，关系网络图可以是基于实时图计算的方式构建的，也就是说，采用了流计算和图计算相融合的计算方式，从数据源中一批接一批流式的读取数据，作为增量输入，用于进行时序计算，构建关系网络图，进而基于该关系网络图进行子图抽取。

本说明书实施例，关系网络图可以代表各种各样的关系网络，例如人际关系网、资金网、交易网等，对这些网络进行子图抽取，挖掘出用户感兴趣的社区具有极大的意义。举例来说，在人际关系网中进行子图抽取，可以发现出具有不同兴趣、背景的社会团体，从而方便实施不同的宣传策略；在资金网中，子图社区有可能是潜在的洗钱团伙，从而方便安全部门进行及时处理；在交易网中，不同的子图社区代表不同购买力的客户群体，从而方便运营为客户推荐合适的商品。

图2示出根据一个实施例的子图抽取方法流程图，该方法可以基于图1所示的实施场景。如图2所示，该实施例中子图抽取方法包括以下步骤：步骤21，从指定数据源，获取当前时间周期相对于上一时间周期的增量数据；步骤22，根据所述增量数据，得到关系网络图的增量图数据，其中包括若干新增节点；步骤23，以各新增节点为根节点，对所述关系网络图执行子图抽取任务；在所述子图抽取任务执行过程中，一旦检测到子节点数目达到预设阈值的目标节点，根据该目标节点的子节点数目分配目标计算资源，利用所述目标计算资源执行以该目标节点为起点的子抽取任务。下面描述以上各个步骤的具体执行方式。

首先在步骤21，从指定数据源，获取当前时间周期相对于上一时间周期的增量数据。可以理解的是，可以从指定数据源一批接一批流式的读取数据，每一批读取的数据对应于相应的时间周期，该批数据相对于之前读取的数据为增量数据。

例如，在时间周期1读取了数据集1，在时间周期2读取了数据集2，当前时间属于时间周期2，那么数据集1和数据集2共同构成当前时间的完整数据集；在时间周期1读取了数据集1，在时间周期2读取了数据集2，在时间周期3读取了数据集3，当前时间属于时间周期3，那么数据集1、数据集2和数据集3共同构成当前时间的完整数据集。

然后在步骤22，根据所述增量数据，得到关系网络图的增量图数据，其中包括若干新增节点。可以理解的是，所述增量数据与增量图数据二者的数据组织方式不同，通过对所述增量数据进行分析，可以得到点和边形式的增量图数据。

在一个示例中，所述关系网络图包括节点和连接边，所述增量图数据还包括新增连接边、新增节点属性信息、新增边属性信息中的一项或多项。

在一个示例中，所述关系网络图为有向无环图。

可以理解的是，连接边的方向可以用于确定节点之间的关系，例如，节点A与节点B之间的连接边的方向为从节点A指向节点B，则可以认为节点B是节点A的子节点。

最后在步骤23，以各新增节点为根节点，对所述关系网络图执行子图抽取任务；在所述子图抽取任务执行过程中，一旦检测到子节点数目达到预设阈值的目标节点，根据该目标节点的子节点数目分配目标计算资源，利用所述目标计算资源执行以该目标节点为起点的子抽取任务。可以理解的是，可以将任一新增节点作为根节点，对所述关系网络图执行子图抽取任务；或者，对各新增节点进行筛选，将筛选出的新增节点作为根节点，对所述关系网络图执行子图抽取任务。

在一个示例中，所述以各新增节点为根节点，对所述关系网络图执行子图抽取任务，包括：

可以理解的是，上述预设条件可以是对第一新增节点的子节点数目的限定，例如，选择子节点数目达到预设阈值的第一新增节点。本说明书实施例，可以将子节点数目较多的节点称为热点（hot vertex）。

可以理解的是，子节点的层级可以根据从根节点出发到达该子节点所经过的连接边的数量而确定，以图1中的关系网络图A为例，节点2、节点3、节点4和节点5属于节点1的第一层级的子节点。

可以理解的是，动态增加并发资源的数目可以提高图计算的处理速度，缩短子图抽取的耗时。

在一个示例中，所述方法还包括：

在一个示例中，所述子图抽取任务抽取的子图的度至少为2。

可以理解的是，对于计算规模较大时，本说明书实施例的方案效果明显，可以有效缩短耗时。

在一个示例中，所述子图抽取任务基于所述增量图数据和历史图数据而执行；

所述方法还包括：

根据所述增量图数据，更新所述历史图数据。

可以理解的是，所述增量图数据一般会在计算过程中或计算结束后更新到历史图数据中，以便下一个图计算任务可以直接使用历史图数据。

在一个示例中，所述子图抽取任务包括多轮迭代运算，所述子抽取任务在多轮迭代运算的任一轮迭代运算中触发。

图3示出根据一个实施例的流式处理示意图。参照图3，预先指定数据源，从指定数据源中一批接一批流式的读取数据，作为增量输入，用于进行时序计算；时序计算过程中可能会根据业务逻辑情况动态决策是否要拉起一个新的图计算任务，该图计算任务可以包括多轮迭代，简称为迭代图计算，这里的动态决策依赖actor机制。调用actor方法可以远程提交一个异步请求，并返回一个object, 根据这个object可以获取请求执行结果。依赖这种特性，使得可以在计算过程中随时触发新的图计算，因此计算可以不断下钻发起子任务。当动态拉起的图计算任务结束之后，可以将结果返回输出。

本说明书实施例，可以不断重复迭代计算和动态钻取的过程，直至子图抽取的结果满足业务逻辑需求。

图4示出根据一个实施例的动态分配资源示意图。参照图4，子图抽取包括多轮迭代计算，对于每一轮迭代计算，也就是针对当前层的子节点，可以按照各个子节点的分区数去构建资源进行其相应子节点的子图抽取，每一轮迭代计算会产出多个分区，例如，第一轮迭代中产出分区1、分区2…分区m、分区n，在每一轮迭代后会触发相应的子节点为起点的子图抽取，以触发下一轮的迭代计算，对于某层节点存在热点的情况，可以在迭代遍历过程中触发新的子图计算，使得图计算可以继续下钻，从而缩短了耗时，例如，节点10为热点，可以按照节点10的子节点数产出分区21、分区22…分区2x、分区2y，并根据分区数去构建资源进行其相应子节点的子图抽取。可以理解的是，分区直观上可以理解成并发资源数，每一轮迭代运算中，可能会动态的拉起一个新的图计算子任务，即针对热点可能会有一个子任务去进一步抽取它的子图，子任务和每一轮迭代运算做的事情是一致的，只不过子任务只做最外层迭代运算的一部分工作，比如要抽取5度子图，在第三度遇到一个热点，那拉起的子任务只计算针对热点做2度子图抽取就可以了。

通过本说明书实施例提供的方法，首先从指定数据源，获取当前时间周期相对于上一时间周期的增量数据；然后根据所述增量数据，得到关系网络图的增量图数据，其中包括若干新增节点；再以各新增节点为根节点，对所述关系网络图执行子图抽取任务；在所述子图抽取任务执行过程中，一旦检测到子节点数目达到预设阈值的目标节点，根据该目标节点的子节点数目分配目标计算资源，利用所述目标计算资源执行以该目标节点为起点的子抽取任务。由上可见，本说明书实施例，基于动态的子图抽取方法，在子图抽取任务执行过程中，遇到子节点数目达到预设阈值的目标节点时，可以动态的构建资源进行子图抽取，从而有效减少以目标节点为起点抽取子图的耗时，能够满足对计算规模和实时性两方面的需求。

根据另一方面的实施例，还提供一种子图抽取装置，该装置用于执行本说明书实施例提供的方法。图5示出根据一个实施例的子图抽取装置的示意性框图。如图5所示，该装置500包括：

获取单元51，用于从指定数据源，获取当前时间周期相对于上一时间周期的增量数据；

时序计算单元52，用于根据所述获取单元51获取的增量数据，得到关系网络图的增量图数据，其中包括若干新增节点；

子图抽取单元53，用于以所述时序计算单元52得到的各新增节点为根节点，对所述关系网络图执行子图抽取任务；在所述子图抽取任务执行过程中，一旦检测到子节点数目达到预设阈值的目标节点，根据该目标节点的子节点数目分配目标计算资源，利用所述目标计算资源执行以该目标节点为起点的子抽取任务。

可选地，作为一个实施例，所述关系网络图包括节点和连接边，所述增量图数据还包括新增连接边、新增节点属性信息、新增边属性信息中的一项或多项。

可选地，作为一个实施例，所述子图抽取单元53包括：

选择子单元，用于从所述各新增节点中选择满足预设条件的第一新增节点作为根节点；

资源分配子单元，用于根据该选择子单元选择的根节点的子节点数目分配初始计算资源，利用所述初始计算资源对所述关系网络图执行以该根节点为起点的子图抽取任务。

可选地，作为一个实施例，所述装置还包括：

调用单元，用于调用actor方法远程提交异步请求，所述异步请求用于请求执行所述子图抽取任务或所述子抽取任务；

接收单元，用于接收返回的Object，根据Object获取所述子图抽取任务或所述子抽取任务的执行结果。

可选地，作为一个实施例，所述子图抽取任务抽取的子图的度至少为2。

可选地，作为一个实施例，所述子图抽取任务基于所述增量图数据和历史图数据而执行；

所述装置还包括：

更新单元，用于根据所述增量图数据，更新所述历史图数据。

可选地，作为一个实施例，所述关系网络图为有向无环图。

可选地，作为一个实施例，所述子图抽取任务包括多轮迭代运算，所述子抽取任务在多轮迭代运算的任一轮迭代运算中触发。

通过本说明书实施例提供的装置，首先获取单元51从指定数据源，获取当前时间周期相对于上一时间周期的增量数据；然后时序计算单元52根据所述增量数据，得到关系网络图的增量图数据，其中包括若干新增节点；再由子图抽取单元53以各新增节点为根节点，对所述关系网络图执行子图抽取任务；在所述子图抽取任务执行过程中，一旦检测到子节点数目达到预设阈值的目标节点，根据该目标节点的子节点数目分配目标计算资源，利用所述目标计算资源执行以该目标节点为起点的子抽取任务。由上可见，本说明书实施例，基于动态的子图抽取方法，在子图抽取任务执行过程中，遇到子节点数目达到预设阈值的目标节点时，可以动态的构建资源进行子图抽取，从而有效减少以目标节点为起点抽取子图的耗时，能够满足对计算规模和实时性两方面的需求。

根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所描述的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims

1.一种子图抽取方法，所述方法包括：

2.如权利要求1所述的方法，其中，所述关系网络图包括节点和连接边，所述增量图数据还包括新增连接边、新增节点属性信息、新增边属性信息中的一项或多项。

3.如权利要求1所述的方法，其中，所述以各新增节点为根节点，对所述关系网络图执行子图抽取任务，包括：

4.如权利要求3所述的方法，其中，所述子图抽取任务用于从所述关系网络图中的根节点出发逐层抽取子节点构建子图；所述初始计算资源为与所述根节点的直接相连的子节点数目相关数目的并发资源。

5.如权利要求4所述的方法，其中，所述目标计算资源为与该目标节点的直接相连的子节点数目相关数目的并发资源。

6.如权利要求1所述的方法，其中，所述方法还包括：

7.如权利要求1所述的方法，其中，所述子图抽取任务抽取的子图的度至少为2。

8.如权利要求1所述的方法，其中，所述子图抽取任务基于所述增量图数据和历史图数据而执行；

所述方法还包括：

根据所述增量图数据，更新所述历史图数据。

9.如权利要求1所述的方法，其中，所述关系网络图为有向无环图。

10.如权利要求1所述的方法，其中，所述子图抽取任务包括多轮迭代运算，所述子抽取任务在多轮迭代运算的任一轮迭代运算中触发。

11.一种子图抽取装置，所述装置包括：

12.如权利要求11所述的装置，其中，所述关系网络图包括节点和连接边，所述增量图数据还包括新增连接边、新增节点属性信息、新增边属性信息中的一项或多项。

13.如权利要求11所述的装置，其中，所述子图抽取单元包括：

14.如权利要求13所述的装置，其中，所述子图抽取任务用于从所述关系网络图中的根节点出发逐层抽取子节点构建子图；所述初始计算资源为与所述根节点的直接相连的子节点数目相关数目的并发资源。

15.如权利要求14所述的装置，其中，所述目标计算资源为与该目标节点的直接相连的子节点数目相关数目的并发资源。

16.如权利要求11所述的装置，其中，所述装置还包括：

17.如权利要求11所述的装置，其中，所述子图抽取任务抽取的子图的度至少为2。

18.如权利要求11所述的装置，其中，所述子图抽取任务基于所述增量图数据和历史图数据而执行；

所述装置还包括：

19.如权利要求11所述的装置，其中，所述关系网络图为有向无环图。

20.如权利要求11所述的装置，其中，所述子图抽取任务包括多轮迭代运算，所述子抽取任务在多轮迭代运算的任一轮迭代运算中触发。

21.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-10中任一项的所述的方法。

22.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-10中任一项的所述的方法。