CN111538743A

CN111538743A - 基于sql的数据血缘关系分析方法以及系统

Info

Publication number: CN111538743A
Application number: CN202010319878.7A
Authority: CN
Inventors: 吴晓华; 庞红; 樊友平; 李瑞恒; 罗瑜
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2020-04-22
Filing date: 2020-04-22
Publication date: 2020-08-14
Anticipated expiration: 2040-04-22
Also published as: CN111538743B

Abstract

本发明公开了一种基于SQL的数据血缘关系分析方法以及系统，所述方法首先从含有SQL代码的脚本文件中提取得到规则化的SQL语句，完成对SQL语句的清洗；再对规则化的SQL语句进行词法分析，生成抽象语法树，并遍历抽象语法树对SQL语句进行句法解析；然后根据抽象语法树对SQL语句进行血缘关系分析，得到血缘关系分析结果；最后根据血缘关系分析结果绘制SQL语句的数据血缘关系图，并进行可视化显示。本发明用图形化的方式展现了数据库各个表之间的血缘关系，可以梳理出表间、字段间的依赖关系，方便后续业务的查询和开发管理。

Description

基于SQL的数据血缘关系分析方法以及系统

技术领域

本发明属于计算机技术领域，具体涉及一种基于SQL的数据血缘关系分析方法以及系统的设计。

背景技术

随着大数据技术的发展与应用，在大数据治理领域出现了数据血缘分析的需求，通过对数据库进行操作的结构化查询语句的分析与处理，可以梳理出数据库之间表、字段的映射关系，形成数据地图，以便在海量、巨大的数据中追踪数据的流向，查看大数据系统中上游数据的来源与下游数据的去向，方便大数据开发人员以及业务分析人员掌握数据的消费与来源，从而更好地管理大数据系统，挖掘出数据血缘关系的价值。但是，现有的数据库血缘关系分析方法通常基于数据库存储血缘关系，不利于大数据各个部门之间的安装、配置以及维护，这导致数据血缘分析效率不高。

发明内容

本发明的目的是为了解决现有的数据库血缘关系分析方法分析效率不高的问题，提出了一种基于SQL的数据血缘关系分析方法以及系统。

本发明的技术方案为：基于SQL的数据血缘关系分析方法，包括以下步骤：

S1、从含有SQL代码的脚本文件中提取得到规则化的SQL语句，完成对SQL语句的清洗。

S2、对规则化的SQL语句进行词法分析，生成抽象语法树，并遍历抽象语法树对SQL语句进行句法解析。

S3、根据抽象语法树对SQL语句进行血缘关系分析，得到血缘关系分析结果。

S4、根据血缘关系分析结果绘制SQL语句的数据血缘关系图，并进行可视化显示。

进一步地，步骤S1包括以下分步骤：

S11、获取含有SQL代码的脚本文件，并寻找SQL代码的标志位。

S12、利用标志位过滤脚本文件中的无关内容，保留得到规则化的SQL代码语句。

进一步地，步骤S2包括以下分步骤：

S21、对规则化的SQL语句进行词法分析，根据语法规则对规则化的SQL语句进行关键词划分，并对每个关键词进行标签标识。

S22、将每个标识后的SQL语句作为一个节点，生成为一棵抽象语法树。

S23、遍历抽象语法树，为每个标签对应的SQL语句赋予句法意义，实现对SQL语句的句法解析。

进一步地，步骤S3包括以下分步骤：

S31、处理抽象语法树中标识出的节点数据，将源数据表和源数据字段作为节点数据的输入集合，将目标数据表和目标数据字段作为节点数据的输出集合。

S32、对节点数据的来源和去向分别进行映射，得到血缘关系分析结果。

进一步地，步骤S4包括以下分步骤：

S41、根据输入集合和输出集合中的节点数据，绘制数据血缘关系图中数据表和字段节点。

S42、根据血缘关系分析结果，关联数据血缘关系图中的节点并绘制箭头指向连线，完成SQL语句的数据血缘关系图的绘制。

S43、将绘制好的数据血缘关系图发送至用户终端进行可视化显示。

本发明还提供了一种基于SQL的数据血缘关系分析系统，包括依次连接的数据清洗模块、数据解析模块、血缘分析模块以及可视化模块；数据清洗模块用于从含有SQL代码的脚本文件中提取得到规则化的SQL语句，完成对SQL语句的清洗；数据解析模块用于对规则化的SQL语句进行词法分析，生成抽象语法树，并遍历抽象语法树对SQL语句进行句法解析；血缘分析模块用于根据抽象语法树对SQL语句进行血缘关系分析，得到血缘关系分析结果；可视化模块用于根据血缘关系分析结果绘制SQL语句的数据血缘关系图，并进行可视化显示。

进一步地，数据清洗模块包括相互连接的标记单元和过滤单元；标记单元用于获取含有SQL代码的脚本文件，并寻找SQL代码的标志位；过滤单元用于利用标志位过滤脚本文件中的无关内容，保留得到规则化的SQL代码语句。

进一步地，数据解析模块包括相互连接的词法解析单元和句法解析单元；词法解析单元用于对规则化的SQL语句进行词法分析，根据语法规则对规则化的SQL语句进行关键词划分，并对每个关键词进行标签标识，并将每个标识后的SQL语句作为一个节点，生成为一棵抽象语法树；句法解析单元用于遍历抽象语法树，为每个标签对应的SQL语句赋予句法意义，实现对SQL语句的句法解析。

进一步地，血缘分析模块包括依次连接的节点识别单元和血缘关联单元；节点识别单元用于处理抽象语法树中标识出的节点数据，将源数据表和源数据字段作为节点数据的输入集合，将目标数据表和目标数据字段作为节点数据的输出集合；血缘关联单元用于对节点数据的来源和去向分别进行映射，得到血缘关系分析结果。

进一步地，可视化模块包括相互连接的前端绘制单元和后端发送单元；前端绘制单元用于绘制数据血缘关系图中数据表和字段节点，并根据血缘关系分析结果，关联数据血缘关系图中的节点并绘制箭头指向连线；后端发送单元用于将绘制好的数据血缘关系图发送至用户终端进行可视化显示。

本发明的有益效果是：

(1)本发明可以避免使用数据库的方式分析SQL语句的血缘关系，同时能够以可视化的方式显示数据之间的依赖关系，方便后续业务的查询和开发管理。

(2)本发明通过数据血缘分析过程加强了对数据流动的监控，以可视化的方式理清了数据的源头与去向。

附图说明

图1所示为本发明实施例一提供的基于SQL的数据血缘关系分析方法流程图。

图2所示为本发明实施例一提供的用户终端可视化效果示意图。

图3所示为本发明实施例二提供的基于SQL的数据血缘关系分析系统框图。

具体实施方式

现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。

实施例一：

本发明实施例提供了一种基于SQL的数据血缘关系分析方法，如图1所示，包括以下步骤S1～S4：

步骤S1包括以下分步骤S11～S12：

S11、获取含有SQL代码的脚本文件，并寻找SQL代码的标志位。

本发明实施例中，脚本文件为perl等脚本。

根据本发明实施例，SQL语句清洗示例如下：

CREATE TABLE

${icl_db_name}.C_PT_CUSTODY_BAL_ACCUM_TMP_ACCT${TX_DATE}

(Party_Id VARCHAR(120),Acct_Bal DECIMAL(18,2))

CLUSTERED BY

(Party_Id)

INTO 3BUCKETS

STORED AS ORC.

其中，需要过滤到带有明显特征的${}变量参数的符号标志。例如，这里icl_db_name是数据库的名称，其后是数据库的表名以及日期。施行SQL语句清洗过滤后，可以获得如下结果：

CREATE TABLE icl_db_name.C_PT_CUSTODY_BAL_ACCUM_TMP_ACCTTX_DATE(Party_Id VARCHAR(120),Acct_Bal DECIMAL(18,2))BY(Party_Id)INTO 3BUCKETSSTORED AS ORC.

步骤S2包括以下分步骤S21～S23：

根据本发明实施例，SQL语句解析示例如下：

<DDL'CREATE'at 0x7FDCCC579828>,

<Whitespace”at 0x7FDCCC579888>,

<Keyword'TABLE'at 0x7FDCCC5799A8>,

<Whitespace”at 0x7FDCCC579948>,

<Identifier'icl_db...'at 0x7FDCCC642E58>,

<Whitespace”at 0x7FDCCC579AC8>,

<Parenthesis'(Party...'at 0x7FDCCC642C78>,

<Whitespace”at 0x7FDCCC56B228>,

<Keyword'BY'at 0x7FDCCC56B288>,

<Whitespace”at 0x7FDCCC56B2E8>,

<Parenthesis'(Party...'at 0x7FDCCC642CF0>,

<Whitespace”at 0x7FDCCC56B468>,

<Keyword'INTO'at 0x7FDCCC56B4C8>,

<Whitespace”at 0x7FDCCC56B528>,

<Identifier'3BUCK...'at 0x7FDCCC572318>,

<Whitespace”at 0x7FDCCC56B6A8>,

<Identifier'STORED...'at 0x7FDCCC572228>

其中词法分析为一条SQL语句划分出不同的关键词，比如'CREATE'、'TABLE'、'BY'、'INTO'等。这些关键词被赋予了不同的标识，这些标识标明了关键词在SQL语句中的词法意义，比如DDL、Keyword、Parenthesis、Identifier等。

步骤S3包括以下分步骤S31～S32：

本发明实施例中，识别节点数据来源标签的关键词包括'FROM','JOIN','INNERJOIN','LEFT JOIN','RIGHT JOIN','LEFT OUTER JOIN','RIGHT OUTER JOIN','FULLOUTER JOIN','CROSS JOIN'等，目标标签的关键词包括'INTO','OVERWRITE','TABLE'，通过关键词分别识别出数据来源和目标的集合。对不同的SQL操作包括CREATE、INSERT、SELECT等进行血缘关系分析，并将节点数据的来源和去向的映射作为血缘分析结果输出。

步骤S4包括以下分步骤S41～S43：

本发明实施例中，血缘关系处理功能以flask框架作为后端服务，当用户终端需要可视化血缘关系时，后端服务将相应的血缘关系节点和关联结果返回给用户终端，通过pinker.js框架来绘制数据血缘关系图，在用户终端展现的效果如图2所示。

实施例二：

本发明实施例提供了一种基于SQL的数据血缘关系分析系统，如图3所示，包括依次连接的数据清洗模块、数据解析模块、血缘分析模块以及可视化模块。

其中，数据清洗模块用于从含有SQL代码的脚本文件中提取得到规则化的SQL语句，完成对SQL语句的清洗；数据解析模块用于对规则化的SQL语句进行词法分析，生成抽象语法树，并遍历抽象语法树对SQL语句进行句法解析；血缘分析模块用于根据抽象语法树对SQL语句进行血缘关系分析，得到血缘关系分析结果；可视化模块用于根据血缘关系分析结果绘制SQL语句的数据血缘关系图，并进行可视化显示。

如图3所示，数据清洗模块包括相互连接的标记单元和过滤单元。

其中，标记单元用于获取含有SQL代码的脚本文件，并寻找SQL代码的标志位；过滤单元用于利用标志位过滤脚本文件中的无关内容，保留得到规则化的SQL代码语句。

如图3所示，数据解析模块包括相互连接的词法解析单元和句法解析单元。

其中，词法解析单元用于对规则化的SQL语句进行词法分析，根据语法规则对规则化的SQL语句进行关键词划分，并对每个关键词进行标签标识，并将每个标识后的SQL语句作为一个节点，生成为一棵抽象语法树；句法解析单元用于遍历抽象语法树，为每个标签对应的SQL语句赋予句法意义，实现对SQL语句的句法解析。

如图3所示，血缘分析模块包括依次连接的节点识别单元和血缘关联单元。

其中，节点识别单元用于处理抽象语法树中标识出的节点数据，将源数据表和源数据字段作为节点数据的输入集合，将目标数据表和目标数据字段作为节点数据的输出集合；血缘关联单元用于对节点数据的来源和去向分别进行映射，得到血缘关系分析结果。

如图3所示，可视化模块包括相互连接的前端绘制单元和后端发送单元。

其中，前端绘制单元用于绘制数据血缘关系图中数据表和字段节点，并根据血缘关系分析结果，关联数据血缘关系图中的节点并绘制箭头指向连线；后端发送单元用于将绘制好的数据血缘关系图发送至用户终端进行可视化显示。

本发明实施例中，数据血缘关系分析系统基于flask、sqlparse、sqllineage以及pinker.js等开发，实现了基于SQL语句的数据血缘关系分析系统，完成了血缘分析结果的可视化展示。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims

1.基于SQL的数据血缘关系分析方法，其特征在于，包括以下步骤：

S1、从含有SQL代码的脚本文件中提取得到规则化的SQL语句，完成对SQL语句的清洗；

S2、对规则化的SQL语句进行词法分析，生成抽象语法树，并遍历抽象语法树对SQL语句进行句法解析；

S3、根据抽象语法树对SQL语句进行血缘关系分析，得到血缘关系分析结果；

2.根据权利要求1所述的数据血缘关系分析方法，其特征在于，所述步骤S1包括以下分步骤：

S11、获取含有SQL代码的脚本文件，并寻找SQL代码的标志位；

3.根据权利要求1所述的数据血缘关系分析方法，其特征在于，所述步骤S2包括以下分步骤：

S21、对规则化的SQL语句进行词法分析，根据语法规则对规则化的SQL语句进行关键词划分，并对每个关键词进行标签标识；

S22、将每个标识后的SQL语句作为一个节点，生成为一棵抽象语法树；

4.根据权利要求3所述的数据血缘关系分析方法，其特征在于，所述步骤S3包括以下分步骤：

S31、处理抽象语法树中标识出的节点数据，将源数据表和源数据字段作为节点数据的输入集合，将目标数据表和目标数据字段作为节点数据的输出集合；

5.根据权利要求4所述的数据血缘关系分析方法，其特征在于，所述步骤S4包括以下分步骤：

S41、根据输入集合和输出集合中的节点数据，绘制数据血缘关系图中数据表和字段节点；

S42、根据血缘关系分析结果，关联数据血缘关系图中的节点并绘制箭头指向连线，完成SQL语句的数据血缘关系图的绘制；

6.基于SQL的数据血缘关系分析系统，其特征在于，包括依次连接的数据清洗模块、数据解析模块、血缘分析模块以及可视化模块；

所述数据清洗模块用于从含有SQL代码的脚本文件中提取得到规则化的SQL语句，完成对SQL语句的清洗；

所述数据解析模块用于对规则化的SQL语句进行词法分析，生成抽象语法树，并遍历抽象语法树对SQL语句进行句法解析；

所述血缘分析模块用于根据抽象语法树对SQL语句进行血缘关系分析，得到血缘关系分析结果；

所述可视化模块用于根据血缘关系分析结果绘制SQL语句的数据血缘关系图，并进行可视化显示。

7.根据权利要求6所述的数据血缘关系分析系统，其特征在于，所述数据清洗模块包括相互连接的标记单元和过滤单元；

所述标记单元用于获取含有SQL代码的脚本文件，并寻找SQL代码的标志位；

所述过滤单元用于利用标志位过滤脚本文件中的无关内容，保留得到规则化的SQL代码语句。

8.根据权利要求6所述的数据血缘关系分析系统，其特征在于，所述数据解析模块包括相互连接的词法解析单元和句法解析单元；

所述词法解析单元用于对规则化的SQL语句进行词法分析，根据语法规则对规则化的SQL语句进行关键词划分，并对每个关键词进行标签标识，并将每个标识后的SQL语句作为一个节点，生成为一棵抽象语法树；

所述句法解析单元用于遍历抽象语法树，为每个标签对应的SQL语句赋予句法意义，实现对SQL语句的句法解析。

9.根据权利要求8所述的数据血缘关系分析系统，其特征在于，所述血缘分析模块包括依次连接的节点识别单元和血缘关联单元；

所述节点识别单元用于处理抽象语法树中标识出的节点数据，将源数据表和源数据字段作为节点数据的输入集合，将目标数据表和目标数据字段作为节点数据的输出集合；

所述血缘关联单元用于对节点数据的来源和去向分别进行映射，得到血缘关系分析结果。

10.根据权利要求9所述的数据血缘关系分析系统，其特征在于，所述可视化模块包括相互连接的前端绘制单元和后端发送单元；

所述前端绘制单元用于绘制数据血缘关系图中数据表和字段节点，并根据血缘关系分析结果，关联数据血缘关系图中的节点并绘制箭头指向连线；

所述后端发送单元用于将绘制好的数据血缘关系图发送至用户终端进行可视化显示。