CN110674229A - 一种基于ast的关系型数据库sql表关系分析及展现方法 - Google Patents

Abstract

本发明提供一种基于AST的关系型数据库SQL表关系分析及展现方法，属于web，java以及数据库技术领域，本发明通过对sql的语法、词法分析生成sql的抽象语法树AST，再对生成的抽象语法树AST进行访问遍历抽取表与字段，实现了关系型数据库sql语句的表关系的分析以及下属字段关系的分析；再通过Mxgraph将表关系、字段关系以绘图的形式直观展现出来。进一步降低了关联分析的复杂度且提高了系统的兼容性。

Description

一种基于AST的关系型数据库SQL表关系分析及展现方法

技术领域

本发明涉及web，java以及数据库技术，尤其涉及一种基于AST的关系型数据库SQL表关系分析及展现方法。

背景技术

随着互联网技术的发展壮大，业务需求瞬息万变，产品复杂度也在迅速提升，导致开发、测试、运维人员在梳理底层业务逻辑时经常遇到许多困难。

发明内容

为了解决以上技术问题，本发明提出了一种基于AST的关系型数据库SQL表关系分析及展现方法，通过它分析出表关系和字段关系，使得开发、测试、运维人员在梳理底层业务逻辑时，对底层业务逻辑关系能够有非常清晰直观的理解。

本发明的技术方案是：

一种基于AST的关系型数据库SQL表关系分析及展现方法，

包括：web后台解析sql和web前台生成表、字段关系绘图。

进一步的，

1)通过输入的sql，进行词法、语法分析，生成该sql的抽象语法树AST，再对该语法树进行访问、遍历，抽取出表以及字段之间的关联关系；

2)通过Mxgraph将表关系、字段关系以绘图的形式直观展现出来。

再进一步的，

负责根据后段解析出来的表、字段关系通过Mxgraph绘图工具生成具有前后血缘关系的图形和连线。

再进一步的，

后台解析流程包括以下步骤：

1)生成语法树AST：

词法分析Lexer：用于分析sql语句中的每一个单词，并记录单词所在的位置；

语法分析Parser：用于分析第一步词法分析出的单词的含义，归类为sql中的哪一部分；

2)遍历AST抽取表、字段关系：

对生成的语法树进行深度优先遍历并对遍历的结果进行校验解析，得到SQL语句中表、字段之间的血缘关系。

再进一步的，

前台绘图包括以下步骤：

1)计算语法树涉及表的位置坐标：

设定根节点的默认初始坐标，遍历语法树，计算各叶子结点表的坐标；

2)关联表字段并连线：

根据后台解析出的表、字段关系，确定字段之间的连线与箭头指向。

再进一步的，

所述遍历AST抽取表、字段关，包括如下步骤：

1)生成查询块；

2)对查询块中的表、字段信息进行抽取和入库。

3)附前端展现的效果图。

其中，

所述生成查询块，即对抽象语法树中的节点进行遍历，生成查询块，包括

1)、创建母查询块并将母查询块作为当前查询块；

2)、判断抽象语法树中的节点是否为TOK_FROM，若是，则将该节点表名的语法部分保存至当前查询块的aliasToTabs属性中；反之，则执行步骤3)；

3)、判断抽象语法树中的节点是否为TOK_DESTINATION，若是，则将该节点输出目标的语法部分保存至当前查询块的nameToDest属性中；反之，则执行步骤4)；

4)、判断抽象语法树中的节点是否为TOK_SELECT，若是，则将该节点查询表达式的语法部分保存至当前查询块的destToSelExpr、destToAggregationExprs以及destToDistinctFuncExprs属性中；反之，则执行步骤5)；

5)、判断抽象语法树中的节点是否为TOK_WHERE，若是，则将该节点指定条件的语法部分保存至当前查询块的destToWhereExpr属性中；反之，则执行步骤6)；

6)、判断抽象语法树中的节点是否为TOK_INSERT，若是，则创建子查询块并将子查询块作为当前查询块并返回步骤2；反之，则执行步骤7)；

7)、对母查询块和子查询块进行先序遍历；

对先序遍历的结果进行前序遍历，生成中间表；

判断生成的中间表是否满足设定条件，若是，则对中间表中的字段进行解析并执

行下一步骤；反之，则直接执行下一步骤；

8)、对母查询块和子查询块进行抽取操作。

所述对查询块中的表、字段信息进行抽取和入库，包括

1)、对语法树进行遍历，将表的元数据信息和字段的元数据信息存入内存；

2)、对语法树进行遍历，获取Union子查询、Join子查询和SubSelect子查询，并将

获取的Union子查询、Join子查询和SubSelect子查询按照相应的执行顺序依次解析；

3)将子查询进行血缘关系分析，并将血缘关系的分析结果存入数据库。

本发明的有益效果是

1)、直接对SQL语句进行解析处理，不依赖于现有的元数据系统，进一步降低了关联分析的复杂度且提高了系统的兼容性。

2)本发明支持sql92、mysql、oracle等关系型数据库标准。

3)有前端展现，使得开发、测试、运维人员在梳理底层业务逻辑时，对底层业务逻辑关系能够有非常清晰直观的理解。

附图说明

图1是本发明的词法语法解析示意图；

图2是本发明的遍历抽象语法树的过程示意图；

图3是前端展现的效果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的一种基于AST的关系型数据库SQL表关系分析及展现方法，

①主要包括以下两个方面：

web后台解析sql：通过输入的sql，进行词法、语法分析，生成该sql的抽象语法树AST，再对该语法树进行访问、遍历，抽取出表以及字段之间的关联关系。

web前台生成表、字段关系绘图：负责根据后段解析出来的表、字段关系通过Mxgraph绘图工具生成具有前后血缘关系的图形和连线。

②后台解析流程主要有以下步骤：

1、生成语法树AST：

词法分析Lexer：用于分析sql语句中的每一个单词，并记录单词所在的位置。

语法分析Parser：用于分析第一步词法分析出的单词的含义，归类为sql中的哪一部分，例如sql关键字、表字段或者是函数名。

2、遍历AST抽取表、字段关系：

对生成的语法树进行深度优先遍历并对遍历的结果进行校验解析，得到SQL语句中表、字段之间的血缘关系。

③前台绘图主要有以下步骤：

1、计算语法树涉及表的位置坐标：

设定根节点的默认初始坐标，遍历语法树，计算各叶子结点表的坐标。

2、关联表字段并连线：

根据后台解析出的表、字段关系，确定字段之间的连线与箭头指向。

对于②中第2步遍历语法树，抽取表、字段关系，展开有如下步骤：

一、生成查询块

对抽象语法树中的节点进行遍历，生成查询块。

1、创建母查询块并将母查询块作为当前查询块；

2、判断抽象语法树中的节点是否为TOK_FROM，若是，则将该节点表名的语法部分保存至当前查询块的aliasToTabs属性中；反之，则执行步骤3；

3、判断抽象语法树中的节点是否为TOK_DESTINATION，若是，则将该节点输出目标的语法部分保存至当前查询块的nameToDest属性中；反之，则执行步骤4；

4、判断抽象语法树中的节点是否为TOK_SELECT，若是，则将该节点查询表达式的语法部分保存至当前查询块的destToSelExpr、destToAggregationExprs以及destToDistinctFuncExprs属性中；反之，则执行步骤5；

5、判断抽象语法树中的节点是否为TOK_WHERE，若是，则将该节点指定条件的语法部分保存至当前查询块的destToWhereExpr属性中；反之，则执行步骤6；

6、判断抽象语法树中的节点是否为TOK_INSERT，若是，则创建子查询块并将子查询块作为当前查询块并返回步骤2；反之，则执行步骤7；

7、对母查询块和子查询块进行先序遍历；

对先序遍历的结果进行前序遍历，生成中间表；

判断生成的中间表是否满足设定条件，若是，则对中间表中的字段进行解析并执

行下一步骤；反之，则直接执行下一步骤；

8、对母查询块和子查询块进行抽取操作(步骤二)。

二、对查询块中的表、字段信息进行抽取和入库：

1、对语法树进行遍历，将表的元数据信息和字段的元数据信息存入内存；

2、对语法树进行遍历，获取Union子查询、Join子查询和SubSelect子查询，并将

获取的Union子查询、Join子查询和SubSelect子查询按照相应的执行顺序依次解析；

3、将子查询进行血缘关系分析，并将血缘关系的分析结果存入数据库。

4、附前端展现的效果图：

如图3所示，对应sql语句为：

insert into temp

SELECT

t2.typename,t2.typecode,t4.cityname,t4.citycode,t1.bank,t1.bankcode,

t1.product,t1.productcode,t1.ishot,t1.isnew,t1.productsign,

t1.moneydesc,t1.termdesc,t1.ratedesc,t1.logourl,t1.redirecturl

FROM

ydt_product_manage t1

LEFT JOIN ydt_pro_search_relationship t2ON t1.productcode＝t2.productcode

LEFT JOIN ydt_pro_role_relationship t3ON t1.productcode＝t3.productcode

LEFT JOIN ydt_pro_city_relationship t4ON t1.productcode＝t4.productcode

本发明基于SpringMVC+MyBatis+Durid+Mxgraph开发，实现了两大块功能：

1、通过对sql的语法、词法分析生成sql的抽象语法树AST，再对生成的抽象语法树AST进行访问遍历抽取表与字段，实现了关系型数据库sql语句的表关系的分析以及下属字段关系的分析。

2、通过Mxgraph将表关系、字段关系以绘图的形式直观展现出来。

以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种基于AST的关系型数据库SQL表关系分析及展现方法，其特征在于，

包括：web后台解析sql和web前台生成表、字段关系绘图。

2.根据权利要求1所述的方法，其特征在于，

1)通过输入的sql，进行词法、语法分析，生成该sql的抽象语法树AST，再对该语法树进行访问、遍历，抽取出表以及字段之间的关联关系；

2)通过Mxgraph将表关系、字段关系以绘图的形式直观展现出来。

3.根据权利要求2所述的方法，其特征在于，

负责根据后段解析出来的表、字段关系通过Mxgraph绘图工具生成具有前后血缘关系的图形和连线。

4.根据权利要求2所述的方法，其特征在于，

后台解析流程包括以下步骤：

1)生成语法树AST：

词法分析Lexer：用于分析sql语句中的每一个单词，并记录单词所在的位置；

语法分析Parser：用于分析第一步词法分析出的单词的含义，归类为sql中的哪一部分；

2)遍历AST抽取表、字段关系：

对生成的语法树进行深度优先遍历并对遍历的结果进行校验解析，得到SQL语句中表、字段之间的血缘关系。

5.根据权利要求3所述的方法，其特征在于，

前台绘图包括以下步骤：

1)计算语法树涉及表的位置坐标：

设定根节点的默认初始坐标，遍历语法树，计算各叶子结点表的坐标；

2)关联表字段并连线：

根据后台解析出的表、字段关系，确定字段之间的连线与箭头指向。

6.根据权利要求4所述的方法，其特征在于，

所述遍历AST抽取表、字段关，包括如下步骤：

1)生成查询块；

2)对查询块中的表、字段信息进行抽取和入库。

3)附前端展现的效果图。

7.根据权利要求6所述的方法，其特征在于，

所述生成查询块，即对抽象语法树中的节点进行遍历，生成查询块，包括

1)、创建母查询块并将母查询块作为当前查询块；

2)、判断抽象语法树中的节点是否为TOK_FROM，若是，则将该节点表名的语法部分保存至当前查询块的aliasToTabs属性中；反之，则执行步骤3)；

3)、判断抽象语法树中的节点是否为TOK_DESTINATION，若是，则将该节点输出目标的语法部分保存至当前查询块的nameToDest属性中；反之，则执行步骤4)；

4)、判断抽象语法树中的节点是否为TOK_SELECT，若是，则将该节点查询表达式的语法部分保存至当前查询块的destToSelExpr、destToAggregationExprs以及destToDistinctFuncExprs属性中；反之，则执行步骤5)；

5)、判断抽象语法树中的节点是否为TOK_WHERE，若是，则将该节点指定条件的语法部分保存至当前查询块的destToWhereExpr属性中；反之，则执行步骤6)；

6)、判断抽象语法树中的节点是否为TOK_INSERT，若是，则创建子查询块并将子查询块作为当前查询块并返回步骤2；反之，则执行步骤7)；

7)、对母查询块和子查询块进行先序遍历；

对先序遍历的结果进行前序遍历，生成中间表；

判断生成的中间表是否满足设定条件，若是，则对中间表中的字段进行解析并执

行下一步骤；反之，则直接执行下一步骤；

8)、对母查询块和子查询块进行抽取操作。

8.根据权利要求5所述的方法，其特征在于，

对查询块中的表、字段信息进行抽取和入库，包括

1)、对语法树进行遍历，将表的元数据信息和字段的元数据信息存入内存；

2)、对语法树进行遍历，获取Union子查询、Join子查询和SubSelect子查询，并将

获取的Union子查询、Join子查询和SubSelect子查询按照相应的执行顺序依次解析；

3)将子查询进行血缘关系分析，并将血缘关系的分析结果存入数据库。

Images