CN113064895B - 一种图谱的增量更新方法、装置及系统 - Google Patents

Abstract

本发明公开一种图谱的增量更新方法、装置及系统，属于数据处理技术领域。其中方法包括：根据全量数据构建第一图谱；识别第一图谱中带有增量标记的节点，获取增量数据；根据增量数据进行节点的增量计算；若增量计算执行不成功，则记录相应节点的增量标记生成增量计算配置文件，以便下次增量计算时读取增量计算配置文件，根据其中的增量标记重新执行相应节点的增量计算，若增量计算执行成功，则生成与节点对应的增量计算结果，并将增量计算结果更新到图谱平台根据全量数据构建的第二图谱中。本发明能够弥补现有技术中的图谱平台不具备进行大规模计算功能导致的无法进行及时增量更新图谱的缺陷，使得图谱平台可以根据增量技术结果及时更新图谱。

Description

一种图谱的增量更新方法、装置及系统

技术领域

本发明涉及数据处理技术领域，特别涉及一种图谱的增量更新方法、装置及系统。

背景技术

图谱是以图的结构存储和管理数据的数据库，其将数据通过节点、边和属性进行表示和存储。目前图谱存储数据的方式主要分为两种：一种是将原生的图结构优化后直接存储，即原生图存储，另一种是将图数据进行序列化后存储到关系型数据库中。其中原生图存储是图谱主要存储数据的形式，现有技术中对于原生图存储方式的图谱的更新可以通过全量更新和增量更新完成，然而全量更新占用系统的运行能力较大，增量更新仅支持增删改查，无法做到大规模的增量计算。此外，现有技术中的图谱管理平台无法对图谱的实时更新和计算，只能定期通过离线计算在输入至管理平台，使得图谱具有一定的信息滞后性。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种图谱的增量更新方法、装置及系统。所述技术方案如下：

第一方面，提供了一种图谱的增量更新方法，所述方法包括：

根据全量数据构建第一图谱；

识别所述第一图谱中带有增量标记的节点，获取增量数据；

根据所述增量数据进行节点的增量计算；

若增量计算执行不成功，则记录相应节点的所述增量标记生成增量计算配置文件，以便下次增量计算时读取所述增量计算配置文件，根据其中的所述增量标记重新执行相应节点的增量计算，

若增量计算执行成功，则生成与节点对应的增量计算结果，并将所述增量计算结果更新到图谱平台根据所述全量数据构建的第二图谱中。

进一步地，所述增量标记为表示所述增量数据获取时间的时间戳。

进一步地，所述方法还包括：

若下次增量计算时根据所述增量计算配置文件重新执行的增量计算成功，则清空所述增量计算配置文件中的所述增量标记。

进一步地，所述根据全量数据构建第一图谱，包括：

从数据源获取所述全量数据，所述全量数据中包含带有所述增量标记的所述增量数据；

根据所述全量数据生成包含节点和节点间关系的数据文件；

根据所述数据文件构建所述第一图谱，并根据所述增量数据对所述第一图谱中节点设置增量标记。

进一步地，所述将所述增量结果写入图谱平台根据所述全量数据构建的第二图谱中，包括：

对比所述第一图谱和所述第二图谱中节点对应的数据源地址，根据对比结果确定所述第二图谱中与所述第一图谱相对应的节点，将所述增量计算结果更新到所述第二图谱的相对应的节点中。

第二方面，提供了一种图谱的增量更新装置，所述装置包括：

图谱构建模块，用于根据全量数据构建第一图谱；

增量识别模块，用于识别所述第一图谱中带有增量标记的节点，获取增量数据；

计算模块，用于根据所述增量数据进行节点的增量计算，当增量计算执行不成功时，记录相应节点的所述增量标记生成增量计算配置文件，当增量计算执行成功时，生成与节点对应的增量计算结果，以及

下次增量计算时读取所述增量计算配置文件，根据其中的所述增量标记重新对相应节点执行增量计算；

更新模块，用于将所述增量计算结果更新到图谱平台根据所述全量数据构建的第二图谱中。

进一步地，所述增量标记为表示所述增量数据获取时间的时间戳。

进一步地，所述计算模块，还用于若下次根据增量计算配置文件重新进行的增量计算执行成功，则清空增量计算配置文件中的增量标记。

进一步地，图谱构建模块，包括：

数据获取模块，用于从数据源获取全量数据，全量数据中包含带有增量标记的增量数据；

数据文件生成模块，用于根据全量数据生成包含节点和节点间关系的数据文件；

图谱生成模块，用于根据数据文件构建第一图谱，并接收根据增量数据对第一图谱中节点设置的增量标记。

进一步地，所述更新模块，包括：

节点确定模块，用于对比所述第一图谱和所述第二图谱中节点对应的数据源地址，根据对比结果确定所述第二图谱中与所述第一图谱相对应的节点；

传输模块，用于将所述增量计算结果传输至所述第二图谱的相对应的节点中，进行所述第二图谱的更新。

第三方面，提供了一种计算机系统，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令，所述程序指令在被所述一个或多个处理器读取执行时，执行上述第一方面任一项所述的方法。

本发明实施例提供的技术方案带来的有益效果是：

1、本发明公开的技术方案能够弥补现有技术中的图谱平台不具备进行大规模计算功能导致的无法进行及时增量更新图谱的缺陷，使得图谱平台可以根据增量技术结果及时更新图谱；

2、本发明公开的技术方案在增量计算的同时生成增量计算配置文件，下次进行增量计算时通过读取增量计算配置文件即可对执行不成功的节点重新计算，实现了增量计算的可检测性；

3、本发明公开的技术方案通过设置增量标记标明对应有增量数据的节点，在进行更新图谱时无需全量计算，仅需要对相应的节点进行增量计算即可，节省了运算能力，提高了计算效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的图谱的增量更新方法流程图；

图2是本发明实施例提供的图谱的增量更新装置结构示意图；

图3是本发明实施例提供的计算机系统结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Neo4j是目前最流行的才用原生图存储的高性能NSQL图数据库，它将结构化数据存储在以节点和节点间关系形成的网络中。现有的Neo4j在对图谱管理的过程中不能支持实时的更新和计算，并且对于增量更新仅支持增删改查无法支持大规模的增量计算。

为了解决上述技术问题，本发明实施例提供一种图谱的增量更新方法、装置及系统，具体技术方案如下：

如图1所示，一种图谱的增量更新方法，包括：

S1、根据全量数据构建第一图谱。

上述，全量数据从外部数据源中获取，获取后将全量数据存储在Hive表中，通过加工抽取和转换导出结构化的数据文件，具体可以是csv文件。将数据文件存储至图谱平台(具体可以是Neo4j图数据库平台)以及离线计算平台，本发明实施例公开的技术方案即为针对离线计算平台而言。离线计算平台和图谱生成平台根据数据文件分别生成第一图谱和第二图谱。

因此在一个实施例中，上述步骤S1包括：

S11、从数据源中获取全量数据；

S12、根据全量数据生成包含节点和节点关系的数据文件；

S13、根据数据文件构建第一图谱，并根据增量数据对第一图谱中节点设置增量标记。

上述，全量数据中包含增量数据，增量数据带有增量标记，具体可以是在从数据源中获取数据时人为标记的，或者可以是通过识别数据采集时间自动标记的。步骤S12中生成的数据文件即为前述的结构化数据文件，数据文件可以与节点对应，因此当数据文件中包含增量数据时，数据文件也标记有增量标记。在步骤S13构建的第一图谱中的节点可以设置相应的增量标记，具体地可通过节点属性人为设置，或者根据数据文件自动设置节点属性。

S2、识别第一图谱中带有增量标记的节点，获取增量数据。

上述，由于第一图谱是由节点和节点间关系构成的，因此无法直接获得增量数据，先要通过增量标记识别可以进行增量计算的节点获取增量数据。

在一个实施例中，增量标记设置在节点的属性中，具体可以是时间戳，该时间戳可以表示增量数据获取的时间，或者表示带有增量数据的数据文件生成的时间。

S3、根据增量数据进行节点的增量计算。

上述，本发明实施例所述的增量计算主要是指对节点的分析，例如在企业风险预警用的图谱中，节点为企业，节点之间的关系为企业的资金往来，那么增量计算可以是计算企业疑似实际控制人、疑似实际受益人、集团客户分析等等，本发明实施例对增量计算的具体计算方法不作限制。

S4、若增量计算执行不成功，则记录相应节点的增量标记生成增量计算配置文件，以便下次增量计算时读取增量计算配置文件，根据其中的增量标记重新执行相应节点的增量计算。

上述，增量计算配置文件可以是当增量计算执行不成功后生成，也可以只要进行增量计算或者全量计算均生成增量计算配置文件，以便下次增量计算时查看。增量计算配置文件中存储有增量计算不成功的节点的增量标记。下次增量计算时可以通过查看增量计算配置文件中的增量标记确定相应的节点以及执行不成功的增量数据，重新执行增量计算。

在一个实施例中，若下次根据增量计算配置文件重新进行的增量计算执行成功，则清空增量计算配置文件中的增量标记。

上述，重新执行增量计算成功后清空增量标记的主要目的在于：确保增量计算配置文件中存储的增量标记仅为上一次增量计算中执行不成功的节点的增量标记，避免和其它次增量计算保存的增量标记混淆。

S5、若增量计算执行成功，则生成与节点对应的增量计算结果，并将增量计算结果更新到图谱平台根据全量数据构建的第二图谱中。

上述，图谱平台具有对图谱增删改查的功能，不具有大规模计算的功能，但用户需要通过图谱平台查看图谱，因此本发明实施例需要将增量计算结果在图谱平台中的第二图谱中展示出来，因此需要将增量计算结果同步至图谱平台中与第一图谱相应的第二图谱中。

由于现有的图谱平台在构建图谱时都是随机生成的节点的ID和表示节点关系的数据文件的ID，但本发明公开的技术方案中包含的离线计算平台生成的第一图谱和图谱平台构建的第二图谱，因此为了确保第一图谱和第二图谱中的数据的一致性，本发明实施例中为第一图谱和第二图谱的节点和表示节点关系的数据文件均增设一个数据源地址的属性，当二者的数据源地址相同时可确定二者是同一个节点。

因此在一个实施例中，步骤S5中将增量结果写入图谱平台根据全量数据构建的第二图谱中，包括：

S51、对比第一图谱和第二图谱中节点对应的数据源地址，根据对比结果确定第二图谱中与第一图谱相对应的节点，将增量计算结果更新到第二图谱与第一图谱对应的节点中。

上述，第二图谱是图谱平台根据全量数据生成节点和表示节点间关系的数据文件构建的。本发明公开的增量更新方法能够实现对图谱平台构建的第二图谱的及时更新，并且无需图谱平台进行大规模计算，弥补了现有技术中图谱平台不能进行大规模计算的缺陷。

综合上述本发明公开的技术方案，下面以计算企业的实际控制人为例具体说明利用本发明公开的增量更新方法的从第一次构建图谱到增量更新的全过程。

设T0为首次获取全量数据构建图谱的流程，图谱平台导入的图谱为第二图谱，实验计算平台为离线计算平台，其导入的图谱为第一图谱。从Hive表中通过ETL全量抽取外部数据，获得全量数据。全量数据被分别发送至图谱平台和离线计算平台，二者分别根据全量数据获得包含节点和节点间关系的csv文件，然后分别构建出第二图谱和第一图谱。离线计算平台基于第一图谱进行全量计算，将计算结果迁移至图谱平台的第二图谱中。全量计算后判断是否存在执行不成功的节点，若不存在则将计算结果写入第一图谱中，若存在则生成增量计算配置文件，其中记录执行不成功的节点的增量标记。

设T1为第一次增量计算的流程，由于现有技术中的数据源端大多不支持增量标记，因此在增量计算的流程中从数据源端也要进行全量抽取数据，根据抽取到的全量数据在图谱平台和离线平台分别构建第二图谱和第一图谱。图谱平台中的第二图谱导入全量计算产生的计算结果。离线计算平台基于本次构建的第一图谱进行增量计算，增量计算的同时读取全量计算时生成的增量计算配置文件，若其中为空则直接进行增量计算，若其中不为空则根据其中的增量标记确定上次计算没有执行成功的节点，对其重新进行全量计算，重新计算执行成功删除增量计算配置文件中相应的增量标记。然后再进行本次的增量计算。增量计算后，判断是否存在执行不成功的节点，若不存在则将计算结果写入第一图谱中，若存在则记录识别时间并生成增量计算配置文件，其中记录执行不成功的节点的增量标记。

以后数次的增量计算流程依次类推。

通过上述图谱更新方法可以实现图谱的及时的增量更新，无需每次更新均进行全量计算，节省了算力。

如图2所示，基于上述公开的一种图谱更新方法，本发明实施例还提供一种图谱更新装置，包括：

图谱构建模块201，用于根据全量数据构建第一图谱。

在一个实施例中，图谱构建模块201包括：

数据获取模块，用于从数据源获取全量数据，全量数据中包含带有增量标记的增量数据；

数据文件生成模块，用于根据全量数据生成包含节点和节点间关系的数据文件；

图谱生成模块，用于根据数据文件构建第一图谱，并接收根据增量数据对第一图谱中节点设置的增量标记。

上述，全量数据从外部数据源获取，由于大多外部数据源端不支持增量标记，因此全量数据中的增量数据可以通过人为分析标记。节点的增量标记可以通过人为根据增量数据标记，也可以通过识别增量数据的增量标记为相应的节点自动添加。数据文件根据全量数据生成，具体可以是csv文件。

增量识别模块202，用于识别第一图谱中带有增量标记的节点，获取增量数据。

在一个实施例中，增量标记设置在节点的属性中，具体可以是时间戳，该时间戳可以表示增量数据获取的时间，或者表示带有增量数据的数据文件生成的时间。

计算模块203，用于根据增量数据进行节点的增量计算，当增量计算执行不成功时，记录相应就节点的增量标记生成增量计算配置文件，当增量计算执行成功时，生成与节点对应的增量计算结果，以及下次增量计算时读取增量计算配置文件，根据增量计算配置文件中的增量标记重新对节点执行增量计算。

上述，本发明实施例所述的增量计算主要是指对节点的分析，例如在企业风险预警用的图谱中，节点为企业，节点之间的关系为企业的资金往来，那么增量计算可以是计算企业疑似实际控制人、疑似实际受益人、集团客户分析等等，本发明实施例对增量计算的具体计算方法不作限制。

在一个实施例中，计算模块203，还用于若下次根据增量计算配置文件重新进行的增量计算执行成功，则清空增量计算配置文件中的增量标记。

更新模块204，用于将增量计算结果更新到图谱平台根据全量数据构建的第二图谱中。

在一个实施例中，更新模块204包括：

节点确定模块，用于对比第一图谱和第二图谱中节点对应的数据源地址，根据对比结果确定第二图谱中与第一图谱相对应的节点；

传输模块，用于将增量计算结果写入第二图谱中与第一图谱相对应的节点中，进行第二图谱的更新。

基于上述图谱的增量更新方法，本发明还提供一种计算机系统，包括：

一个或多个处理器；以及

与一个或多个处理器关联的存储器，存储器用于存储程序指令,程序指令在被一个或多个处理器读取执行时，执行上述图谱的增量更新方法。

其中，图3示例性的展示出了计算机系统的架构，具体可以包括处理器310，视频显示适配器311，磁盘驱动器312，输入/输出接口313，网络接口314，以及存储器320。上述处理器310、视频显示适配器311、磁盘驱动器312、输入/输出接口313、网络接口314，与存储器320之间可以通过通信总线330进行通信连接。

其中，处理器310可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。

存储器320可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器320可以存储用于控制电子设备300运行的操作系统321，用于控制电子设备300的低级别操作的基本输入输出系统322(BIOS)。另外，还可以存储网页浏览器323，数据存储管理系统324，以及设备标识信息处理系统325等等。上述设备标识信息处理系统325就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器320中，并由处理器310来调用执行。

输入/输出接口313用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

网络接口314用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线330包括一通路，在设备的各个组件(例如处理器310、视频显示适配器311、磁盘驱动器312、输入/输出接口313、网络接口314，与存储器320)之间传输信息。

另外，该电子设备300还可以从虚拟资源对象领取条件信息数据库中获得具体领取条件的信息，以用于进行条件判断，等等。

需要说明的是，尽管上述设备仅示出了处理器310、视频显示适配器311、磁盘驱动器312、输入/输出接口313、网络接口314，存储器320，总线330等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例提供的技术方案带来的有益效果是：

1、本发明公开的技术方案能够弥补现有技术中的图谱平台不具备进行大规模计算功能导致的无法进行及时增量更新图谱的缺陷，使得图谱平台可以根据增量技术结果及时更新图谱；

2、本发明公开的技术方案在增量计算的同时生成增量计算配置文件，下次进行增量计算时通过读取增量计算配置文件即可对执行不成功的节点重新计算，实现了增量计算的可检测性；

3、本发明公开的技术方案通过设置增量标记标明对应有增量数据的节点，在进行更新图谱时无需全量计算，仅需要对相应的节点进行增量计算即可，节省了运算能力，提高了计算效果。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图谱的增量更新方法，其特征在于，包括：

根据全量数据构建第一图谱；

识别所述第一图谱中带有增量标记的节点，获取增量数据；

根据所述增量数据进行节点的增量计算；

若增量计算执行不成功，则记录相应节点的所述增量标记生成增量计算配置文件，以便下次增量计算时读取所述增量计算配置文件，根据其中的所述增量标记重新执行相应节点的增量计算，

若增量计算执行成功，则生成与节点对应的增量计算结果，并将所述增量计算结果更新到图谱平台根据所述全量数据构建的第二图谱中。

2.如权利要求1所述的方法，其特征在于，所述增量标记为表示所述增量数据获取时间的时间戳。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

若下次增量计算时根据所述增量计算配置文件重新执行的增量计算成功，则清空所述增量计算配置文件中的所述增量标记。

4.如权利要求1～3中任一项所述的方法，其特征在于，所述根据全量数据构建第一图谱，包括：

从数据源获取所述全量数据，所述全量数据中包含带有所述增量标记的所述增量数据；

根据所述全量数据生成包含节点和节点间关系的数据文件；

根据所述数据文件构建所述第一图谱，并根据所述增量数据对所述第一图谱中节点设置增量标记。

5.如权利要求4所述的方法，其特征在于，将增量结果写入图谱平台根据所述全量数据构建的第二图谱中，包括：

对比所述第一图谱和所述第二图谱中节点对应的数据源地址，根据对比结果确定所述第二图谱中与所述第一图谱相对应的节点，将所述增量计算结果更新到所述第二图谱的相对应的节点中。

6.一种图谱的增量更新装置，其特征在于，包括：

图谱构建模块，用于根据全量数据构建第一图谱；

增量识别模块，用于识别所述第一图谱中带有增量标记的节点，获取增量数据；

计算模块，用于根据所述增量数据进行节点的增量计算，当增量计算执行不成功时，记录相应节点的所述增量标记生成增量计算配置文件，当增量计算执行成功时，生成与节点对应的增量计算结果，以及

下次增量计算时读取所述增量计算配置文件，根据其中的所述增量标记重新对相应节点执行增量计算；

更新模块，用于将所述增量计算结果更新到图谱平台根据所述全量数据构建的第二图谱中。

7.如权利要求6所述的装置，其特征在于，所述增量标记为表示所述增量数据获取时间的时间戳。

8.如权利要求6或7所述的装置，其特征在于，所述图谱构建模块，包括：

数据获取模块，用于从数据源获取所述全量数据，所述全量数据中包含带有所述增量标记的所述增量数据；

数据文件生成模块，用于根据所述全量数据生成包含节点和节点间关系的数据文件；

图谱生成模块，用于根据所述数据文件构建所述第一图谱，并接收根据所述增量数据对所述第一图谱中节点设置的增量标记。

9.如权利要求8所述的装置，其特征在于，所述更新模块，包括：

节点确定模块，用于对比所述第一图谱和所述第二图谱中节点对应的数据源地址，根据对比结果确定所述第二图谱中与所述第一图谱相对应的节点；

传输模块，用于将所述增量计算结果传输至所述第二图谱的相对应的节点中，进行所述第二图谱的更新。

10.一种计算机系统，其特征在于，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令，所述程序指令在被所述一个或多个处理器读取执行时，执行上述权利要求1～5任一项所述的方法。

Images