CN111339373B - 一种图谱特征的提取方法、系统、计算机设备和存储介质 - Google Patents

Abstract

本发明公开了一种图谱特征的提取方法、系统、计算机设备和存储介质，该系统包括业务系统、图谱处理模块、数据计算模块、图数据库和实时数据库；业务系统用于发送参数查询请求至图谱处理模块，图谱处理模块负责从关系网络中计算实体并列关系相似度以及上下位关系的抽取，将相关信息存储在关系型数据库中，同时负责解析图数据库输出的关系和节点，汇总图谱查询结果和明细数据；数据计算模块用于准实时信息、实时信息和最终结果的计算；图数据库，用于存储图谱数据，并提供图谱数据检索功能；实时数据库用于存储实时信息计算所需的信息。本发明通过对全量关系图谱的划分，逐步缩小查询范围，并通过对准实时和实时进行合并，减少计算时间和资源浪费。

Description

一种图谱特征的提取方法、系统、计算机设备和存储介质

技术领域

本发明属于关系图谱领域，具体涉及一种图谱特征的提取方法、系统、计算机设备和存储介质。

背景技术

现有基于关系数据库的查询方法仅提供对目标客户采用非实时在系统中直接搜索其全量的关系和节点等相关信息，占用大量的资源。

不仅如此，随着客户量的增加，关联关系与节点越来越多，全量搜索所花费的时间将会成倍增加，导致计算效率较低。

发明内容

本发明的目的在于提供一种图谱特征的提取方法、系统、计算机设备和存储介质，在全量关系网络的图数据库中基于参数定义提取各中心节点的子网络，缩小搜索范围，然后同时运用准实时信息和实时信息，提升图谱计算结果的效率。

实现本发明目的的技术方案为：一种图谱特征的提取方法，包括：

步骤1、参数初始化，计算各个参数的各个节点到中心节点的最短路径，取其最大值作为该组参数的最大深度；

步骤2、基于目标客户信息，从存储全量关系网络的图数据库分别提取各中心节点的子网络；

步骤3、定期计算准实时信息；所述准实时信息包含各个参数的过程结果、最终结果以及开始更新信息的时间戳；

步骤4、确定参数定义中可变成分，用于实时解析计算的节点和关系；

步骤5、接收业务系统的参数查询请求，所述查询请求包括目标客户身份标识和目标参数标识；根据目标客户身份标识和目标参数标识提取步骤3计算的准实时信息；

步骤6、基于准实时信息上的时间戳，实时计算最新时间戳到查询时间点的所有实时新增信息；

步骤7、合并准实时信息和实时新增信息。

进一步的，步骤1中，参数定义包含节点、关系或属性，以及基于节点、关系或属性计算参数结果的方法。

进一步的，步骤2中，所述子网络的深度等于步骤1获得的最大深度。

进一步的，步骤3中，所述过程结果包含多个对象和对应的值，最终结果是基于提取出过程结果里面对象的值，按照参数定义内的计算方式计算过后获得的。

进一步的，步骤4中，可变成分包含节点和关系的更改或者新增以及计算参数结果的方法。

进一步的，步骤4中，如果目标客户从未存在系统的数据库中，没有时间戳的限制，则该用户的实时计算的新增信息为全时间范围内的全量信息。

进一步的，步骤7具体方法为：根据不同参数的定义，提取出准实时信息中的过程结果与实时新增信息中对应的对象，合并后计算得到新的过程结果，然后按照参数定义内的计算方式对新的过程结果进行计算，获得综合两者的最终结果。

本发明还提供一种图谱特征的提取系统，包括业务系统、系统处理模块、图数据库和实时数据库；

业务系统，用于发送参数查询请求去图谱处理模块，所述查询请求包括目标客户身份标识和目标参数标识；

系统处理模块包括图谱处理模块和数据计算模块；所述的图谱处理模块负责从关系网络中计算实体并列关系相似度以及上下位关系的抽取，将相关信息存储在关系型数据库中，同时负责解析图数据库输出的关系和节点，汇总图谱查询结果；数据计算模块用于准实时信息、实时信息和最终结果的计算；

图数据库，用于存储图谱数据，并提供图谱数据检索功能；

实时数据库为关系型数据库或者非结构型数据库，用于计算实时信息。

本发明还一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述提取方法的步骤。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述提取方法的步骤。

本发明与现有技术相比，其显著优点为：通过对全量关系图谱的划分，逐步缩小查询范围，并通过对准实时和实时进行合并，减少计算时间和资源浪费。

附图说明

图1为一个图谱示例图。

图2为图谱参数示例图。

图3为本发明图谱特征的提取方法流程图。

图4为本发明图谱特征的提取系统模块图。

图5为实施例中提取子网络示意图。

图6为实施例中定期计算准实时信息的示意图。

图7为实施例中设备B新增节点示意图。

图8为是实施例中新增设备节点的示意图。

图9为实施例中设备A、设备B新增节点示意图。

具体实施方式

关系图谱产品依托于图数据库的天然优势，直接将反欺诈、个贷申请、催收等场景可能涉及的所有有用的数据字段：如申请号、账户、身份证、银行卡、手机、地址、公司、联系人、设备指纹等设计成图谱的节点，定义好图谱所需的所有节点和节点属性后，定义两两节点间的关系。图谱在关联查询的效率上会比传统的存储方式有显著的提高，当涉及到2度以上的关联查询，基于关系图谱的查询效率会高出很多倍。另外，基于图的存储在设计上会非常灵活，一般只需要局部的改动。如一个新的数据源的增加，只需要在已有的图谱上插入即可。

本发明提供一种图谱特征的提取方法、系统、计算机设备和存储介质，在说明本发明技术方案前，先对图谱、图数据库、图谱参数进行说明。

图谱是描述个体及个体之间关系的图。一个图谱主要有3个要素组成：

节点：节点是指图谱中定义的实体，一个图谱可以包含多种类型的节点。比如自然人可以作为一种节点，手机号可以作为一种节点。

关系：描述节点之间相互联系的状态，两个节点之间可以存在一种或多种关系。比如两个自然人之间可以存在同事关系，也可以同时存在亲友关系。

属性：属性用于描述节点或关系的性质，比如自然人节点可以有性别属性，转账关系可以有金额属性等。

图1是一个图谱示例，不同形状表示不同类型的节点，直线表示关系，括号中描述节点或关系的属性。

图数据库也称为面向/基于图的数据库。图数据库的基本含义是以“图”这种数据结构存储和查询数据，而不是存储图片的数据库。它的数据模型主要是以节点和关系(边)来体现，也可处理键值对。它的优点是快速解决复杂的关系问题。

图谱参数指的是模型内部的配置变量，可以用数据估计它的值，可以有一个值范围。比如在反欺诈环节，需要多个参数才能对申请贷款的人进行预测，如设备登陆最大账户数。

图2是一个图谱参数示例，账户X在设备A和B上面都登陆过，设备A上还登陆过除了账户X以外的其他三个账户，设备B除了账户X以外的一个账户。账户X的设备登陆最大账户数为4。在反欺诈场景，一般设备登陆账户数越大一定程度上表面该账户X的欺诈程度也较高。

目前仅提供对目标客户采用非实时在系统中直接搜索其全量的关系和节点等相关信息。即目前的搜索方法的更新频率都是非实时更新。需要在全量数据上搜索，占用大量的资源。不仅如此，随着客户量的增加，关联关系与节点越来越多，全量搜索所花费的时间将会成倍增加，这样导致图谱计算效率较低。

下面对本发明技术方案进行详细说明。

本发明提供一种图谱特征的提取系统，如图4所示，所述系统包括：

业务系统：主要可以发送参数查询请求去图谱处模块，所述查询请求包括目标客户身份标识，目标参数标识。

系统处理模块：分为图谱处理和数据计算两个子模块。图谱处理模块负责从关系网络中计算实体并列关系相似度以及上下位关系的抽取。最后将相关信息存储在关系型数据库中。同时负责解析图数据库输出的关系和节点。最后汇总所述图谱查询结果和所述明细数据。数据计算模块负责准实时信息、实时信息和最终结果的计算。

图数据库：用于存储图谱数据，并提供图谱数据检索功能。

实时数据库：可以是关系型数据库或者非结构型数据库，实时计算信息基于该数据库内的信息进行计算。

基于上述系统，本发明提供一种图谱特征的提取方法，如图3所示，包括以下步骤：

步骤一：获取多个参数定义，运用最短路径算法计算各个参数的各个节点到中心节点的最短路径，取其最大值即为该组参数的最大深度。参数的定义需要包含节点、关系或属性，以及基于节点、关系或属性计算参数结果的方法如加总、取最大值等等。

步骤二：基于目标客户信息，图谱处理子模块从存储了全量关系网络的图数据库分别提取各中心节点的子网络，所述子网络的深度等于步骤一获得的最大深度。

步骤三：系统处理模块会定期计算准实时信息。准实时信息包含各个参数的过程结果1、最终结果1以及开始更新信息的时间戳。其中过程结果1会包含多个对象和对应的值。对象通常是一个节点如设备A，其对应的值可以为与其相关联的关系如登陆过的账户。最终结果1是基于提取出过程结果里面对象的值，按照参数定义内的计算方式计算过后获得的。

比如参数(设备登陆最大账户数)，一个账户关联了两个设备，设备A的最大账户数为4，设备B为2，这个结果为过程结果1，设备A的最大账户数为4为参数的最终结果1。在针对不同的场景，更新其参数的准实时信息的时间也可以单独控制，这样可以避免频繁更新造成资源浪费。

步骤四：图谱处理子模块会确定参数定义中可变成分，可以用于需要实时解析计算的节点和关系。可变成分包含节点和关系的更改或者新增以及计算参数结果的方法。虽然部分信息如身份证，银行卡卡号，亲属关系等等是基本不变的，但是其他对应的关系和节点往往都是动态变化的。比如当目标客户近期与某个新账户有频繁的转账，这个关系就会被新增。例如步骤三提到的设备登陆最大账户数，如果在下次更新准实时信息之前，信息有所改变如设备A增加1，那么基于过程结果计算最终结果为5；如果目标客户从未存在系统的数据库中，没有时间戳的限制，该用户的实时计算的新增信息为全时间范围内的全量信息。

步骤五：系统处理模块接收业务系统的参数查询请求，所述查询请求包括目标客户身份标识，目标参数标识。根据目标客户身份标识和目标参数标识提取步骤三计算的准实时信息。准实时信息是通过调取图数据库里的信息返回至系统处理模块，由其图谱处理子模块进行加工并获得。

步骤六：数据计算子模块基于准实时信息上的时间戳，从该时间戳到查询时间点范围内的节点和关系进行实时计算后得到过程结果2。过程结果2和准实时信息内的过程结果2一样，也会包含多个对象和对应的值。实时信息是通过调取实时数据库里的信息返回至系统处理模块，由数据计算子模块进行加工并获得。

如参数(设备登陆最大账户数)，在最新的时间内，由于新的节点的增加如设备A增加1(设备A为1)即为实时计算的过程结果2。

步骤七：数据计算子模块综合准实时信息和实时计算的信息后的返回的最终结果。根据不同参数的定义，提取出准实时信息中的过程结果1与实时计算信息中的过程结果2对应的对象，合并后计算得到过程结果3。然后按照参数定义内的计算方式对过程结果3进行计算，获得最终结果2，即为综合两者的最终结果。

比如参数(设备登陆最大账户数)，其过程结果1(设备A的最大账户数为4，设备B为2)，过程结果2(设备A为1，设备B为1)，将两者进行相加，生成一个新的过程结果3(设备A为5，设备B为3)。因为这个参数是取最大值，参数定义的计算方式是可以用简单的判断方式或者排序算法挑出哪个对象的值最大，最大值即为最终结果2(设备登陆最大账户数为5)。

下面结合实施例和附图对本发明作进一步说明。

实施例

步骤1、图谱处理子模块会获取多个参数定义，运用最短路径算法计算各个参数的各个节点到中心节点的最短路径，取其最大值即为该组参数的最大深度。

当我们确定多个参数定义以后，运用Dijkstra等最短路径算法计算各个节点到中心节点的最短路径，取其最大值即为该多个参数的最大深度。简单来说，如果是用2个参数来计算，以客户为圆心关联出的全部关系和节点的深度等于这2个参数的最大深度。

参数举例如下所示：

(1)设备登陆最大账户数

(2)被其他账户绑定其相同信用卡的账户数

步骤2、基于目标客户信息，图谱处理子模块从存储了全量关系网络的图数据库中按照步骤一所述确定多个参数的最大深度的方式提取其所在的子网络。

如图5所示，为了简化说明，就用步骤一提到的两个参数，以账户X为圆心提取出来的子网络。信用卡后面的字母和账户后面的字母如果相同，代表是同一人实名认证的账户和实名办理的信用卡。如果信用卡后面没有标明字母，代表他人的信用卡。账户X只在设备A和设备B上面登陆过，但是这两个设备还登陆过其他账户。

步骤3、数据计算子模块会定期计算准实时信息，其包含各个参数的过程结果1、最终结果1以及开始更新信息的时间戳。

如图6所示，以参数(设备登陆最大账户数)为例，账户X关联了两个设备，设备A的最大账户数为4，设备B为2，这个结果为过程结果1。因为这个参数是取最大值，参数定义的计算方式是可以用简单的判断方式或者排序算法。挑出设备A的关联的4个账户数为最大值，即为参数的最终结果1。

步骤4、图谱处理子模块会确定参数定义中可变成分，可以用于需要实时解析计算的节点和关系。

参数定义中的可变成分包含关节、节点的增加或者更改。图7增加设备B有新增节点，图9中，设备A和B都有新增节点，会对实时信息计算的过程结果2内的对象的值进行更改。图8中新增设备C这个节点，会在过程结果2内新增一个对象。

步骤5、当系统处理模块接收业务系统的参数查询请求，所述查询请求包括目标客户身份标识，目标参数标识。根据目标客户身份标识和目标参数标识提取步骤3计算的准实时信息。

步骤6、数据计算子模块基于准实时信息上的时间戳，从该时间戳到查询时间点期间的信息进行实时计算。

如果一个机构每周定期计算准实时信息，其最新存储的时间为2019/07/01 14：00。当2019/07/02 09：05收到目标客户的查询请求时，其实时需要计算的时间范围就为从2019/07/01 14：00至2019/07/02 09：05。可以大大减少实时计算量，提高效率。如果目标客户从未存在系统的数据库中，没有时间戳的限制，该用户的实时计算的新增信息为全时间范围内的全量信息。

步骤4中，图7的实时信息为{设备B:1}；图8的实时信息为{设备B:1，设备C：1}；图9的实时信息为{设备A:1,设备B:1}，这些即为过程结果2。

步骤7、数据计算子模块返回合并后的准实时信息和实时计算的最终信息。

基于步骤3我们可以总结准实时信息如下：

因为过程结果会包含多个信息，所以可以用json的方式进行存储。

到了步骤4发生三次情况，在此对图9进行进一步解释去展示如果综合准实时信息和实时计算的信息。

如下为实时信息：

create table info_a as

select identity

,get_json_object(过程结果1,‘$设备A’)device_a_1

,get_json_object(过程结果1,‘$设备B’)device_b_1

from table(准实时信息表)；

create table info_b as

select identity

,get_json_object(过程结果2,‘$设备A’)device_a_2

,get_json_object(过程结果2,‘$设备B’)device_b_2

from table(实时信息表)；

分别把过程结果的值从对应的表取出来，

select a.identity

，sum(device_a_1+device_a_2)device_a_final

，sum(device_b_1+device_b_2)device_b_final

from info_a join info_b on a.identity＝b.identity

进行判断对象的大小，如果只有两个对象，可以简单地用if去判断

if(device_a_final>＝device_b_final,device_a_final,device_b_final)final_result

如果有多个对象，可以使用一些简单地排序算法如冒泡排序算法，得到最终结果2，如下表所示：

这样可以有效地避免实时计算全量信息，只需要在过程结果上进行计算即可。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种图谱特征的提取方法，其特征在于，包括：

步骤1、参数初始化，计算各个参数的各个节点到中心节点的最短路径，取其最大值作为当前组参数的最大深度；

步骤2、基于目标客户信息，从存储全量关系网络的图数据库分别提取各中心节点的子网络；

步骤3、定期计算准实时信息；所述准实时信息包含各个参数的过程结果、最终结果以及开始更新信息的时间戳；所述过程结果包含多个对象和对应的值，最终结果是基于提取出过程结果里面对象的值，按照参数定义内的计算方式计算过后获得的；

步骤4、确定参数定义中可变成分，用于实时解析计算的节点和关系；可变成分包含节点和关系的更改或者新增以及计算参数结果的方法；

步骤5、接收业务系统的参数查询请求，所述查询请求包括目标客户身份标识和目标参数标识；根据目标客户身份标识和目标参数标识提取步骤3计算的准实时信息；

步骤6、基于准实时信息上的时间戳，实时计算最新时间戳到查询时间点的所有实时新增信息；

步骤7、合并准实时信息和实时新增信息。

2.根据权利要求1所述的图谱特征的提取方法，其特征在于，步骤1中，参数定义包含节点、关系或属性，以及基于节点、关系或属性计算参数结果的方法。

3.根据权利要求1所述的图谱特征的提取方法，其特征在于，步骤2中，所述子网络的深度等于步骤1获得的最大深度。

4.根据权利要求1所述的图谱特征的提取方法，其特征在于，步骤4中，如果目标客户从未存在系统的数据库中，没有时间戳的限制，则目标客户的实时计算的新增信息为全时间范围内的全量信息。

5.根据权利要求1所述的图谱特征的提取方法，其特征在于，步骤7具体方法为：根据不同参数的定义，提取出准实时信息中的过程结果与实时新增信息中过程结果对应的对象，合并后计算得到新的过程结果，然后按照参数定义内的计算方式对新的过程结果进行计算，获得综合两者的最终结果。

6.一种图谱特征的提取系统，其特征在于，包括业务系统、系统处理模块、图数据库和实时数据库；

业务系统，用于发送参数查询请求去图谱处理模块，所述查询请求包括目标客户身份标识和目标参数标识；

系统处理模块包括图谱处理模块和数据计算模块；所述的图谱处理模块负责从关系网络中计算实体并列关系相似度以及上下位关系的抽取，将相关信息存储在关系型数据库中，同时负责解析图数据库输出的关系和节点，汇总图谱查询结果；数据计算模块用于准实时信息、实时信息和最终结果的计算；所述准实时信息包含各个参数的过程结果、最终结果以及开始更新信息的时间戳；所述过程结果包含多个对象和对应的值，最终结果是基于提取出过程结果里面对象的值，按照参数定义内的计算方式计算过后获得的；确定参数定义中可变成分，用于实时解析计算的节点和关系，可变成分包含节点和关系的更改或者新增以及计算参数结果的方法；

图数据库，用于存储图谱数据，并提供图谱数据检索功能；

实时数据库为关系型数据库或者非结构型数据库，用于计算实时信息。

7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

Images