CN116128525A

CN116128525A - 一种基于模式前缀共享的多模式图匹配查询方法及装置

Info

Publication number: CN116128525A
Application number: CN202211348187.5A
Authority: CN
Inventors: 王新宇; 王新根; 陈伟; 鲍迪恩; 彭聪
Original assignee: Zhejiang Bangsheng Technology Co ltd
Current assignee: Zhejiang Bangsheng Technology Co ltd
Priority date: 2022-10-31
Filing date: 2022-10-31
Publication date: 2023-05-16

Abstract

本发明公开了一种基于模式前缀共享的多模式图匹配查询方法及装置，实现了在给定大量图模式的情况下，进行高效的图模式匹配。本发明在系统的编译态和运行态都进行了一定的优化。获取规则后，将规则解析为模式图集合，并且通过一种类Java Lambda的DSL语言表示，该DSL语言包括了多种算子，拥有良好的可扩展性。从全局出发，提出了一种新的数据结构，将数千个模式图之间的相同前缀进行合并，因此可以大大加快多模式图匹配的速度，提高多模式图匹配算法的可伸缩性，并且降低计算时带来的各方面开销。本发明适用于使用大量数据的实时反欺诈领域，能够显著提升进行多模式图匹配计算时的速度和效率。

Description

一种基于模式前缀共享的多模式图匹配查询方法及装置

技术领域

本发明是图匹配查询领域，尤其提供一种基于模式前缀共享的多模式图匹配查询方法及装置，利用不同图查询模式之间的相同前缀来统一对输入模式的处理，并且提供了一种通用的模式定义语言。主要适用于拥有大量数据的反欺诈信息安全领域。

背景技术

在实时反欺诈领域中，在办理某个在线业务时，可能存在如下场景：

(1)申请人需要填写例如姓名、身份证号、邮箱、家庭住址等信息；

(2)反欺诈系统中已经存在很多个欺诈规则，例如检测到的申请人IP在一天中变动多次、并且这些IP为多个申请人所共用等。

(3)在申请人进行申请的过程中需要进行实时检测，如果申请行为能够和欺诈规则中的一个或多个匹配，则证明申请人存在欺诈行为，需要及时阻止并且作出应对措施。

在上述场景下，通过将申请行为以及欺诈规则抽象为属性图，以借助多模式图匹配的方法来进行欺诈行为的识别。

图的模式匹配是指给定数据图集合以及特定的模式图，在数据图集合中匹配到与给定模式图同构的图。图的多模式匹配是其单模式匹配的一个扩展，主要的问题是降低在多个模式图之间并发匹配的效率和开销。

现有的图模式匹配算法，如TurboISO、VF2等大部分都属于单模式图匹配，多模式图匹配方向的算法较为缺乏，因为在存在多个模式的情况下，顺序处理或是简单的并行匹配并不是最有效的。现有的多模式图匹配优化方法包括模式重写、共享公共子图等，减少多个模式图匹配时的大量重复计算。这类优化的可伸缩性较低，并且也受到很高计算开销的限制，并且在计算速度方面也都有所欠缺，不能够很好地满足反欺诈领域高实时性的技术要求。

现有的多模式图匹配查询装置，对于每一组申请行为，都会需要从规则管理平台中重新读取规则并抽象，并没有使用简明的方式定义解析和定义这些规则；除此之外，对同组申请行为的判定结果也没有进行记录。这些操作都会大大增加耗费的时间，并不符合实时反欺诈场景中实时性较高的需求。

发明内容

本发明的目的在于针对现有技术的不足，设计了一种基于模式前缀共享的多模式图匹配查询方法及装置。在一些申请行为中，由于团伙欺诈的存在，由欺诈规则抽象得到的图模式常常存在大量相同前缀，通过合并这些前缀可以显著地提高反欺诈系统的运行效率。该方法可以很好地应用到实时反欺诈领域中，并且为非技术人员提供了一种简明易懂的模式定义方式。

本发明的目的是通过以下技术方案来实现的：一种基于模式前缀共享的多模式图匹配查询方法，该方法包括以下步骤：

(1)在一次申请行为到来时，系统会将其解析为查询图。所有的规则都注册在规则管理平台中，系统在运行态读取规则，并解析为相应的模式图结构，将获取的第i条反欺诈规则表示为图模式结构Pattern_i＝(V,E)。是节点的集合，其中第j个顶点又表示为v_j＝(tagV,pkey,prop)，tagV表示节点的标签，pkey表示节点的关键字，prop表示节点的属性，用键值对存储；E是边的集合，其中第k条边表示为e_k＝(tagE,startv,endv)，tagE表示边的标签，startv表示起点的标签和关键字，endv表示终点的属性和关键字。

(2)在反欺诈信息安全领域中，规则通常会存在相似的部分，因此由规则解析来的模式图常常会存在共同的子图，称作前缀。对模式图结构的共同前缀进行合并；从全局出发，在运行态将所有模式图结构中重复的前缀进行合并，并且根据图中每条边的权重和标签来重新赋值，得到合并后的查询树。最终根据以上两种数据结构，将当前查询图从中间结果的根节点开始遍历，判断当前图是否能够和查询树上的模式图结构匹配。

(3)返回匹配后的结果，如果成功匹配到结果则确认此申请行为存在欺诈，反之没有。

进一步地，步骤(2)中，将各个模式中重复的前缀进行合并，之后得到去重且合并后的模式图Pattern_a，并且在Pattern_a的基础上，将其转换成查询树Tree_a，具体步骤如下：

(2.1)Pattern_a中的每条边均对应到Tree_a中的每一条树边，并且在Tree_a中存在重复的顶点；

(2.2)根据Pattern_a中每条边的出度和入度来计算顶点的维度δ，并且选择δ最小的顶点作为Tree_a的根；

(2.3)将所有边从上一级指向下一级，生成Tree_a。

第二方面，本发明还提供了一种基于模式前缀共享的多模式图匹配查询装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现所述的基于模式前缀共享的多模式图匹配查询方法的步骤。

第三方面，本发明还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现所述的基于模式前缀共享的多模式图匹配查询方法的步骤。

本发明的优点及有益效果是：

(1)优化多模式图匹配方法：

本发明通过将多模式匹配定义为一个全局优化问题，通过共享模式的共同前缀，在满足场景约束的前提下，构建了一个最优且高效的解决方案。本发明中使用的算法高度精确，并且和其他的一些多模式图匹配的算法相比，在时间上有极大的优势。除此之外，在本发明适用场景下，其可扩展性和优于现有的最先进的方法。

(2)提供一种通用的规则表达和抽象方式：

定义了多种模式定义算子，使用了类似Java Lambda语言的表达方法，逻辑清晰，并且具有较好的可扩展性。在后续增加规则时，只需要在提供的算子中进行选择和组合，就可以定义一种新的模式，方便非技术人员学习和使用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1为本发明的多模式图匹配查询系统的整体架构图；

图2为本发明的优化过程图；

图3为本方法和传统方法性能对比图；

图4为本发明提供的一种基于模式前缀共享的多模式图匹配查询装置的结构图。

具体实施方式

下面结合附图对本发明作进一步描述。

本发明提供的一种基于模式前缀共享的多模式图匹配查询方法如图1所示。对于一系列的申请行为以及一组反欺诈规则，解析器先将申请行为抽象成查询图Datagraph，再将规则用一种清晰明了的类Java Lambda语言定义。之后在运行时，对于解析得到的模式集合Pattern＝{Pattern₁,Pattern₂,…,Pattern_n}，对相同前缀进行合并后得到总模式图Pattern_a。

假设定义了n条规则，从规则管理平台读取到规则后，每条规则可以抽象为Pattern_i＝(V,E)，其中V是顶点的集合，每个顶点又可以表示为v_i＝(tagV,pkey,prop)，tag表示节点的标签，pkey表示节点的关键字，prop表示节点的属性，用键值对存储。其中E是边的集合，每条边又可以表示为e_i＝(tagE,startv,endv)，tag表示边的标签，startv表示起点的标签和关键字，endv表示重点的属性和关键字。在反团伙申请欺诈中，模式图顶点V为申请表单中的字段：申请件号、申请人、IP地址、电话等作为tagV；字段的关键字为pkey；申请字段的属性为prop，例如证件号顶点的属性包括客户年龄、性别、是否在黑名单等。模式图边E为申请行为中两项字段的关联：关联的类型作为tagE，例如申请人关联申请电话、申请件号关联IP地址等；发起关联关系的字段作为startv；关联关系另一方的字段作为endv。

在获取规则，解析到规则中的字段及关系后，将规则解析成Pattern，用一种类Java Lambda的语言表示成算子的集合，并合并得到总模式图Pattern_a，具体步骤如下：

(1)设置单个模式的起始顶点，通过Lambda表达式过滤tagV等得到相应谓词的节点：

starter(vertex_tag,vertex_lambda)，其中vertex_lambda是一个Lambda表达式，用于过滤得到相应谓词的节点。

(2)设置下一步匹配过程，即模式图中其他边的定义，最终的模式图被wander算子隔离成多层：

wander(edge_tag,edge_lambda)，edge_lambda是一个Lambda表达式，用于过滤得到相应谓词的边；

(3)过滤顶点，对顶点进行聚合，并按照不同的聚合程度为单位进行过滤，具体算子如下：

vertexFilter(vertex_lambda)：以模式的顶点为单位进行过滤；

vertexSetFIlteR(VeRTEx_set_lambda)：以顶点的集合VeRtexSet为单位进行过滤；

vertexClusterFilter(vertex_cluster_lambda)：以顶点的聚合VertexCluster为单位进行过滤。

(4)根据顶点的prop进行聚合、去重和降级操作，具体算子如下：

groupBy(vertex_characteristic_lambda)：对VertexSet根据某一特征进行聚合操作，返回VertexCluster。vertex_characteristic_lambda是一个Lambda表达式，返回VertexSet中所有节点的特征；

uniqueBy(vertex_characteristic_lambda)：对当前状态进行去重操作，参数可以是VertexSet和VertexCluster，返回值也为相应状态；

shrink()：将VertexCluster降级为VertexSet，VertexCluster中的每个集合保留第一个元素；

flattern()：将VertexCluster降级为VertexSet，VertexCluster中的每个集合保留所有元素。

在匹配中定义到的模式例子如表1所示：

表1构建图匹配模式示例

在初次进行匹配之前，会编译所有的模式图，并且在运行状态将各个模式中重复的前缀进行合并，之后得到去重且合并后的模式图Pattern_a，并且在Pattern_a的基础上，将其转换成查询树Tree_a，具体步骤如下：

(1)pattern_a中的每条边都对应到Tree_a中的每一条树边，并且在Tree_a中存在重复的顶点。

(2)根据Pattern_a中每条边的出度和入度来计算顶点的维度δ，并且选择δ最小的顶点作为Tree_a的根。

(3)将所有边从上一级指向下一级，生成Tree_a。

完成Tree_a的构建后，将Datagraph从其根节点开始遍历，判断当前图是否能够和Tree_a上的模式匹配。一个初始情况和优化后情况的例子如图2所示。

实施例1

本节将以一个样例方式，对上述一种基于模式前缀共享的多模式图匹配方法进行进一步的说明。

参与到本次匹配中的部分规则以如表2形式表示：

表2图匹配模式示例

假设目前存在上述几条欺诈规则，在反团伙信用欺诈领域中，当一个新的申请行为到来时，对一组申请单和欺诈规则都进行解析和编译。编译完成后，在后续运行时对规则中相同的算子进行合并。例如，上表中的模式之间都存在相同的部分，即对申请手机号进行关联成团。在实际场景中，会存在大量有相同部分的规则。因此可以进行合并，并且最终使用一个树状结构来存储这个中间结果。匹配结束后，及时将结果(是否成功匹配)返回，以便于进行相关的操作。

分别使用当前常见的多模式图匹配的算法TurboISO和本发明中基于模式前缀共享的多模式图匹配查询方法进行测试。由于本发明适用于存在大量重复前缀的场景，而在反团伙欺诈场景中存在大量这样的数据。因此，在构建了不同数量的规则后，使用实际场景仿真数据进行测试，两种算法的性能对比如图3所示，其中横坐标为测试时使用的数据量，纵坐标为每条数据每个模式的平均匹配时间。测试时使用的图中点的数量为亿级，边的数量为十亿级，原始流水即参与匹配的模式数量为千万级。

与前述基于模式前缀共享的多模式图匹配查询方法的实施例相对应，本发明还提供了基于模式前缀共享的多模式图匹配查询装置的实施例。

参见图4，本发明实施例提供的一种基于模式前缀共享的多模式图匹配查询装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的基于模式前缀共享的多模式图匹配查询方法。

本发明基于模式前缀共享的多模式图匹配查询装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明基于模式前缀共享的多模式图匹配查询装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于模式前缀共享的多模式图匹配查询方法。

所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims

1.一种基于模式前缀共享的多模式图匹配查询方法，其特征在于，该方法包括以下步骤：

(1)在一次申请行为到来时，系统会将其解析为查询图。所有的规则都注册在规则管理平台中，系统在运行态读取规则，并解析为相应的模式图结构，将获取的第i条反欺诈规则表示为图模式结构Pattern_i＝(V，E)。V是节点的集合，其中第j个顶点又表示为v_j＝(tagV，pkey，prop)，tagV表示节点的标签，pkey表示节点的关键字，prop表示节点的属性，用键值对存储；E是边的集合，其中第k条边表示为e_k＝(tagE，startv，endv)，tagE表示边的标签，startv表示起点的标签和关键字，endv表示终点的属性和关键字。

2.根据权利要求1所述的一种基于模式前缀共享的多模式图匹配查询方法，其特征在于，步骤(2)中，将各个模式中重复的前缀进行合并，之后得到去重且合并后的模式图Pattern_a，并且在Pattern_a的基础上，将其转换成查询树Tree_a，具体步骤如下：

(2.3)将所有边从上一级指向下一级，生成Tree_a。

3.一种基于模式前缀共享的多模式图匹配查询装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，用于实现如权利要求1-2中任一项所述的基于模式前缀共享的多模式图匹配查询方法的步骤。

4.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时，实现如权利要求1-2中任一项所述的基于模式前缀共享的多模式图匹配查询方法的步骤。