CN116595038A - 一种数据血缘追溯方法、装置、设备及介质 - Google Patents

Abstract

本申请涉及数据识别领域，具体涉及一种数据血缘追溯方法、装置、设备及介质，方法包括：获取数据库操作语句，并对数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示；对数据库操作语句进行划分，以确定数据库操作语句对应的处理逻辑部分；将处理逻辑部分转化为抽象语法树，并基于抽象语法树，将数据库操作语句中的源字段与目标字段建立映射关系；根据映射关系，生成字段级血缘管理链路以及血缘图谱，并将血缘图谱通过前端页面进行展示。通过血缘工具分析并形成的数据血缘图谱，在开展监管报送工作时，可迅速定位不满足报送要求数据的上游来源，协助进一步提升数据报送质量。

Description

一种数据血缘追溯方法、装置、设备及介质

技术领域

本申请涉及数据识别领域，具体涉及一种数据血缘追溯方法、装置、设备及介质。

背景技术

当前用于数据血缘分析的技术主要为Apache Atlas，但是数据血缘追溯只是Atlas的功能之一，Atlas还有元数据管理、数据治理、数据资产目录分类及管理等大量功能，容易与现有数据资产管理平台功能重叠，而且Atlas的功能丰富即意味着定制开发的难度较大，难以快速迭代实现数据血缘追溯的核心功能，另外Atlas需要与Hbase、Solr配合使用，软件体量较大，与目前市面上产品设计快速灵活、敏捷迭代的思路不符。

发明内容

为了解决上述问题，本申请提出了一种数据血缘追溯方法、装置、设备及介质，其中方法包括：

获取数据库操作语句，并对所述数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示；对所述数据库操作语句进行划分，以确定所述数据库操作语句对应的处理逻辑部分；将所述处理逻辑部分转化为抽象语法树，并基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系；根据所述映射关系，生成字段级血缘管理链路以及血缘图谱，并将所述血缘图谱通过前端页面进行展示。

在一个示例中，所述基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系，具体包括：对所述抽象语法树进行语法解析，以得到所述数据库操作语句中的创建声明字段、插入声明字段以及查询声明字段；对所述创建声明字段、插入声明字段中的源字段以及所述查询声明字段中的目标字段进行映射关系分析，以确定所述映射关系。

在一个示例中，所述获取数据库操作语句之前，所述方法还包括：接收来自于前端页面的多个脚本文件；生成所述多个脚本文件对应的解析任务，并将所述解析任务的执行进度展示于所述前端页面上；解析所述多个脚本文件，以在所述多个脚本文件中选取可用的数据库操作语句；所述基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系之后，根据所述映射关系，更新所述执行进度。

在一个示例中，所述基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系之后，所述方法还包括：通过前端页面获取查询条件，并根据所述查询条件，确定查询字段；根据所述查询字段对应的映射关系，生成所述查询条件对应的查询表格；将所述查询表格通过所述前端页面进行展示；所述查询条件中的关键词长度低于预设阈值。

在一个示例中，所述将所述血缘图谱通过前端页面进行展示，具体包括：后端将所述查询表格发送至前端页面；通过所述前端对所述查询表格进行图形化处理，以得到血缘图谱；通过所述前端页面展示所述血缘图谱。

在一个示例中，所述方法还包括：通过前端页面上传以及系统间服务调用的方式，获取待处理源数据库表字段以及目标数据库表字段的元数据信息；通过所述元数据信息，填充所述血缘图谱对应的节点及关系信息。

在一个示例中，所述生成所述查询条件对应的查询表格之后，所述方法还包括：将所述查询条件以及所述查询表格保存至数据库；根据用户在所述前端页面输入的部分查询条件，确定所述数据库中，与所述部分查询条件语义向量相似度较高的历史查询条件；将所述历史查询条件，作为推荐查询条件，展示给所述用户。

本申请还提供了一种数据血缘追溯装置，包括：获取模块，获取数据库操作语句，并对所述数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示；划分模块，对所述数据库操作语句进行划分，以确定所述数据库操作语句对应的处理逻辑部分；映射模块，将所述处理逻辑部分转化为抽象语法树，并基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系；展示模块，根据所述映射关系，生成字段级血缘管理链路以及血缘图谱，并将所述血缘图谱通过前端页面进行展示。

本申请还提供了一种数据血缘追溯设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：获取数据库操作语句，并对所述数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示；对所述数据库操作语句进行划分，以确定所述数据库操作语句对应的处理逻辑部分；将所述处理逻辑部分转化为抽象语法树，并基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系；根据所述映射关系，生成字段级血缘管理链路以及血缘图谱，并将所述血缘图谱通过前端页面进行展示。

本申请还提供了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：获取数据库操作语句，并对所述数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示；对所述数据库操作语句进行划分，以确定所述数据库操作语句对应的处理逻辑部分；将所述处理逻辑部分转化为抽象语法树，并基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系；根据所述映射关系，生成字段级血缘管理链路以及血缘图谱，并将所述血缘图谱通过前端页面进行展示。

通过本申请提出的方法能够带来如下有益效果：通过数据映射关系的形成及血缘图谱的完善，可以作为数据治理工作范围的依据之一，为制定数据治理策略及机制提供数据关联内容分析，将数据治理工作内容按阶段、按领域及相关性进行切分，便于相关工作的开展。另外，通过血缘工具分析并形成的数据血缘图谱，在开展监管报送工作时，可迅速定位不满足报送要求数据的上游来源，协助进一步提升数据报送质量。随着数据血缘分析工作的深入使用，可以协助数据运维工作的准确性，避免很多不必要的非关联数据提取，减少数据运维工作的整体工作量，提升运维工作效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种数据血缘追溯方法的流程示意图；

图2为本申请实施例中一种数据血缘追溯方法的全过程示意图；

图3为本申请实施例中一种数据血缘追溯装置的模块示意图；

图4为本申请实施例中一种数据血缘追溯设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本说明书一个或多个实施例提供的一种数据血缘追溯方法的流程示意图。该流程可以由相应领域的计算设备（比如，支付业务对应的风控服务器或者智能移动终端等）执行，流程中的某些输入参数或者中间结果允许人工干预调节，以帮助提高准确性。

本申请实施例涉及的分析方法的实现可以为终端设备，也可以为服务器，本申请对此不作特殊限制。为了方便理解和描述，以下实施例均以服务器为例进行详细描述。

需要说明的是，该服务器可以是单独的一台设备，可以是有多台设备组成的系统，即，分布式服务器，本申请对此不做具体限定。

实现数据血缘解析需求的技术方案主要包括脚本实时解析、脚本文件批量解析、数据血缘关系查询、数据血缘图谱展示、元数据维护等功能，整体技术架构采用前后端分离的设计理念，由后端进行文件上传解析、元数据管理、映射关系解析、数据血缘图谱加工及对前端发布查询接口等应用处理，由前端进行文件上传、查询展示、图谱加工等应用功能处理；其中前端采用React、Next.js框架及D3.js控件库进行处理，后台采用SpringBoot工程进行应用处理，数据库采用图形数据库Neo4j。

如图1及图2所示，本申请实施例提供一种数据血缘追溯方法，包括：

S101：获取数据库操作语句，并对所述数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示。

首先，解析通过前端接口获取上传的数据库操作语句，即SQL语句。并对数据库操作语句进行初步加工，对不符合规范的语句返回处理错误提示。

S102：对所述数据库操作语句进行划分，以确定所述数据库操作语句对应的处理逻辑部分。

对数据库操作语句进行划分，以得到语句中的处理逻辑部分，这里的处理逻辑部分指的是语句中关于创建数据库表、插入数据库表等处理逻辑部分。

S103：将所述处理逻辑部分转化为抽象语法树，并基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系。

使用sql parse将上述处理逻辑部分对应的数据库操作语句转为为抽象语法树，基于抽象语法树进行语法分析处理，对解析出来的声明中的字段进行分析，形成表、字段级的单层上下游数据映射关系。

具体地，首先要对抽象语法树进行语法解析，以得到数据库操作语句中的创建声明字段、插入声明字段以及查询声明字段；然后对创建声明字段、插入声明字段中的源字段以及查询声明字段中的目标字段进行映射关系分析，以确定映射关系。

S104：根据所述映射关系，生成字段级血缘管理链路以及血缘图谱，并将所述血缘图谱通过前端页面进行展示。

得到数据映射关系之后，根据映射关系生成字段级别的血缘管理链路以及血缘图谱，从而得到关于数据库操作语句的数据血缘关系，可以通过前端页面展示字段级映射关系级血缘图谱。

在一个实施例中，可以进行脚本文件批量解析功能，在前端页面中批量上传数据处理脚本后，异步对脚本中包含的所有加工逻辑进行处理后展现该段语句中代表的表、字段级映射关系及图谱。具体地，获取数据库操作语句之前，若接收来自于前端页面的多个脚本文件或目录，这里的目录中包含多个脚本文件。则生成多个脚本文件对应的解析任务，并将解析任务的执行进度展示于前端页面上。同时解析多个脚本文件，以在多个脚本文件中选取可用的数据库操作语句。建立映射关系之后，还要根据映射关系，更新前端页面上的执行进度。

在一个实施例中，还支持数据血缘关系查询功能，能够将解析成功的数据血缘关系根据查询条件将查询结果通过表格的方式进行展现；前台应用根据查询条件确定查询字，调用后台接口进行处理，为避免大数据量的查询，分别在前台页面进行关键字长度控制并由后台应用实现大数据量的翻页控制。

进一步地，还支持数据血缘图谱展示功能，能够为解析成功的数据血缘关系根据查询条件将查询结果通过图谱的方式进行展现；前台应用根据查询条件调用后台接口进行处理，后台返回查询结果后，由前台使用d3.js库对数据进行图形化处理。

在一个实施例中，还支持元数据维护功能，通过前台页面上传或者系统间服务调用的方式获取待处理源数据库表字段、目标数据库表字段的元数据信息，以建立完整的数据血缘图谱详细节点及关系信息。

在一个实施例中，为方便用户进行查询，可以在用户输入查询条件时，推荐历史查询条件，以节省用户时间。具体地，生成查询条件对应的查询表格之后，将查询条件以及查询表格保存至数据库，作为用户后续查询时的历史查询条件。然后根据用户在前端页面输入的部分查询条件，确定数据库中，与部分查询条件语义向量相似度较高的历史查询条件。最后将历史查询条件，作为推荐查询条件，展示给用户。

如图3所示，本申请实施例还提供了一种数据血缘追溯装置，包括：

获取模块301，获取数据库操作语句，并对所述数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示。

划分模块302，对所述数据库操作语句进行划分，以确定所述数据库操作语句对应的处理逻辑部分。

映射模块303，将所述处理逻辑部分转化为抽象语法树，并基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系。

展示模块304，根据所述映射关系，生成字段级血缘管理链路以及血缘图谱，并将所述血缘图谱通过前端页面进行展示。

如图4所示，本申请实施例还提供了一种数据血缘追溯设备，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取数据库操作语句，并对所述数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示；对所述数据库操作语句进行划分，以确定所述数据库操作语句对应的处理逻辑部分；将所述处理逻辑部分转化为抽象语法树，并基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系；根据所述映射关系，生成字段级血缘管理链路以及血缘图谱，并将所述血缘图谱通过前端页面进行展示。

本申请实施例还提供了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

获取数据库操作语句，并对所述数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示；对所述数据库操作语句进行划分，以确定所述数据库操作语句对应的处理逻辑部分；将所述处理逻辑部分转化为抽象语法树，并基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系；根据所述映射关系，生成字段级血缘管理链路以及血缘图谱，并将所述血缘图谱通过前端页面进行展示。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据血缘追溯方法，其特征在于，包括：

获取数据库操作语句，并对所述数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示；

对所述数据库操作语句进行划分，以确定所述数据库操作语句对应的处理逻辑部分；

将所述处理逻辑部分转化为抽象语法树，并基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系；

根据所述映射关系，生成字段级血缘管理链路以及血缘图谱，并将所述血缘图谱通过前端页面进行展示。

2.根据权利要求1所述的方法，其特征在于，所述基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系，具体包括：

对所述抽象语法树进行语法解析，以得到所述数据库操作语句中的创建声明字段、插入声明字段以及查询声明字段；

对所述创建声明字段、插入声明字段中的源字段以及所述查询声明字段中的目标字段进行映射关系分析，以确定所述映射关系。

3.根据权利要求1所述的方法，其特征在于，所述获取数据库操作语句之前，所述方法还包括：

接收来自于前端页面的多个脚本文件；

生成所述多个脚本文件对应的解析任务，并将所述解析任务的执行进度展示于所述前端页面上；

解析所述多个脚本文件，以在所述多个脚本文件中选取可用的数据库操作语句；

所述基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系之后，根据所述映射关系，更新所述执行进度。

4.根据权利要求1所述的方法，其特征在于，所述基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系之后，所述方法还包括：

通过前端页面获取查询条件，并根据所述查询条件，确定查询字段；

根据所述查询字段对应的映射关系，生成所述查询条件对应的查询表格；

将所述查询表格通过所述前端页面进行展示；

所述查询条件中的关键词长度低于预设阈值。

5.根据权利要求4所述的方法，其特征在于，所述将所述血缘图谱通过前端页面进行展示，具体包括：

后端将所述查询表格发送至前端页面；

通过所述前端对所述查询表格进行图形化处理，以得到血缘图谱；

通过所述前端页面展示所述血缘图谱。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过前端页面上传以及系统间服务调用的方式，获取待处理源数据库表字段以及目标数据库表字段的元数据信息；

通过所述元数据信息，填充所述血缘图谱对应的节点及关系信息。

7.根据权利要求4所述的方法，其特征在于，所述生成所述查询条件对应的查询表格之后，所述方法还包括：

将所述查询条件以及所述查询表格保存至数据库；

根据用户在所述前端页面输入的部分查询条件，确定所述数据库中，与所述部分查询条件语义向量相似度较高的历史查询条件；

将所述历史查询条件，作为推荐查询条件，展示给所述用户。

8.一种数据血缘追溯装置，其特征在于，包括：

获取模块，获取数据库操作语句，并对所述数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示；

划分模块，对所述数据库操作语句进行划分，以确定所述数据库操作语句对应的处理逻辑部分；

映射模块，将所述处理逻辑部分转化为抽象语法树，并基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系；

展示模块，根据所述映射关系，生成字段级血缘管理链路以及血缘图谱，并将所述血缘图谱通过前端页面进行展示。

9.一种数据血缘追溯设备，其特征在于，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：

获取数据库操作语句，并对所述数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示；

对所述数据库操作语句进行划分，以确定所述数据库操作语句对应的处理逻辑部分；

将所述处理逻辑部分转化为抽象语法树，并基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系；

根据所述映射关系，生成字段级血缘管理链路以及血缘图谱，并将所述血缘图谱通过前端页面进行展示。

10.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：

获取数据库操作语句，并对所述数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示；

对所述数据库操作语句进行划分，以确定所述数据库操作语句对应的处理逻辑部分；

将所述处理逻辑部分转化为抽象语法树，并基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系；

根据所述映射关系，生成字段级血缘管理链路以及血缘图谱，并将所述血缘图谱通过前端页面进行展示。