CN113704575A

CN113704575A - 解析XML与Java文件的SQL方法、装置、设备及存储介质

Info

Publication number: CN113704575A
Application number: CN202111006386.3A
Authority: CN
Inventors: 陈武; 艾杰; 贾亚武
Original assignee: Shanghai Yitan Network Technology Co ltd
Current assignee: Shanghai Yitan Network Technology Co ltd
Priority date: 2021-08-30
Filing date: 2021-08-30
Publication date: 2021-11-26
Anticipated expiration: 2041-08-30
Also published as: CN113704575B

Abstract

本发明公开了一种本发明一实施例中的解析XML与Java文件的SQL方法、装置、设备及存储介质，针对传统的SQL解析方法耗时比较长，效率比较低，且准确率低的问题，通过字符串匹配，获取XML文件中的数据库配置信息，从中提取数据库配置映射的唯一标识；采用正则表达式匹配算法，结合sqlparse数据库，获取数据库映射中的XML树的父节点及子节点；读取各节点的标签属性及相应的节点值，将其转化为对应的SQL；获取包含XMLSQL关键字的Java注解文件，提取包含SQL关键字的行，采用正则表达式查询替换算法，将包含SQL关键字的行转化为对应的SQL语句。本发明使用正则表达式和XML树进行查询解析匹配，替代传统的SQL关键字匹配，极大地提高了解析过程的稳定性和匹配准确率。

Description

解析XML与Java文件的SQL方法、装置、设备及存储介质

技术领域

本发明属于Java项目开发的技术领域，尤其涉及一种解析XML与Java文件的SQL方法、装置、设备及存储介质。

背景技术

Java后端开发项目中，存在大量的XML配置文件和Java注解代码，这是Java项目的持久层框架所决定的，对Java项目进行SQL审计的时候，必须提取解析项目代码中的sql。

通常会采用以下方法提取解析项目代码中的sql：

步骤1：扫描整个Java项目目录，获取所有代码文件。具体开发代码请参看图1；

步骤2：读取Java文件，通过关键字匹配找出包含sql关键字的行。具体开发代码请参看图2。

对于大型Java后端项目来说，由于代码繁多，该方法耗时比较长，效率比较低，且准确率低，只能匹配原生sql，稳定性比较差。

发明内容

本发明的目的是提供一种解析XML与Java文件的SQL方法、装置、设备及存储介质，通过正则表达式和xml树解析匹配，时效高，并且支持匹配XML文件和Java注解文件的sql，具有解析快、准确率高的优点。

为解决上述问题，本发明的技术方案为：

一种解析XML与Java文件的SQL方法，包括：

通过文件名匹配，获取开发项目中的XML文件；

通过字符串匹配，获取XML文件中的数据库配置信息，从中提取数据库配置映射的唯一标识；

根据数据库配置映射的唯一标识，采用正则表达式匹配算法，结合sqlparse数据库，获取数据库映射中的XML树的父节点及子节点；读取各XML节点的标签属性及相应的节点值，将XML节点转化为对应的SQL语句；

获取包含XML SQL关键字的Java注解文件，提取Java注解文件中包含SQL关键字的行，采用正则表达式查询替换算法，将包含SQL关键字的行转化为对应的SQL语句。

根据本发明一实施例，所述通过字符串匹配，获取XML文件中的数据库配置信息进一步包括：

通过cat及grep命令，获取XML文件的数据库连接信息及Mapper映射关系。

根据本发明一实施例，所述获取包含XML SQL关键字的Java注解文件，提取Java注解文件中包含SQL关键字的行，采用正则表达式查询替换算法，将包含SQL关键字的行转化为对应的SQL语句进一步包括：

从开发项目中查找包含@select、@insert、@update、@delete的XML SQL关键字的所有Java注解文件，逐行读取Java注解文件中包含select、insert、update、alter、truncate、create、drop的SQL关键字的行，并跳过包含SQL注释的行；

采用正则表达式匹配算法，获取foreach、if、choose、otherwise、when标签中的SQL，并对SQL进行格式化，从而将Java注解文件转化为对应的SQL文件。

一种解析XML与Java文件的SQL装置，包括：

第一解析模块，用于通过文件名匹配，获取开发项目中的XML文件；通过字符串匹配，获取XML文件中的数据库配置信息，从中提取数据库配置映射的唯一标识；根据数据库配置映射的唯一标识，采用正则表达式匹配算法，结合sqlparse数据库，获取数据库映射中的XML树的父节点及子节点；读取各XML节点的标签属性及相应的节点值，将XML节点转化为对应的SQL语句；

第二解析模块，用于获取包含XML SQL关键字的Java注解文件，提取Java注解文件中包含SQL关键字的行，采用正则表达式查询替换算法，将包含SQL关键字的行转化为对应的SQL语句。

根据本发明一实施例，所述第一解析模块通过cat及grep命令，获取XML文件的数据库连接信息及Mapper映射关系，从中提取数据库配置映射的唯一标识mapperID。

根据本发明一实施例，所述第二解析模块从开发项目中查找包含@select、@insert、@update、@delete的XML SQL关键字的所有Java注解文件，逐行读取Java注解文件中包含select、insert、update、alter、truncate、create、drop的SQL关键字的行，并跳过包含SQL注释的行；采用正则表达式匹配算法，获取foreach、if、choose、otherwise、when标签中的SQL，并对SQL进行格式化，从而将Java注解文件转化为对应的SQL文件。

一种解析XML与Java文件的SQL设备，包括：

存储器和处理器，所述存储器中存储有指令，所述存储器和所述处理器通过线路互连；

所述处理器调用所述存储器中的所述指令，实现本发明一实施例中的解析XML与Java文件的SQL方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明一实施例中的解析XML与Java文件的SQL方法。

本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：

1)本发明一实施例中的解析XML与Java文件的SQL方法，针对传统的SQL解析方法耗时比较长，效率比较低，且准确率低，只能匹配原生sql，稳定性比较差的问题，通过字符串匹配，获取XML文件中的数据库配置信息，从中提取数据库配置映射的唯一标识；根据数据库配置映射的唯一标识，采用正则表达式匹配算法，结合sqlparse数据库，获取数据库映射中的XML树的父节点及子节点；读取各XML节点的标签属性及相应的节点值，将XML节点转化为对应的SQL语句；获取包含XML SQL关键字的Java注解文件，提取Java注解文件中包含SQL关键字的行，采用正则表达式查询替换算法，将包含SQL关键字的行转化为对应的SQL语句。使用正则表达式和XML树进行查询解析匹配，替代传统的SQL关键字匹配，极大地提高了解析过程的稳定性和匹配准确率。

2)本发明一实施例中的解析XML与Java文件的SQL方法，对Java项目进行SQL文件解析时，基于linux find和grep、egrep命令，提取出XML配置文件和Java注解文件，减少无效文件读取匹配，从而尽可能提高SQL解析效率。

附图说明

图1为本发明背景技术中获取文件的代码图；

图2为本发明背景技术中sql关键字匹配的代码图；

图3为本发明一实施例中的解析XML与Java文件的SQL方法流图；

图4为本发明一实施例中的解析XML与Java文件的SQL装置框图；

图5为本发明一实施例中的解析XML与Java文件的SQL设备的示意图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种解析XML与Java文件的SQL方法、装置、设备及存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。

实施例一

Java后端开发项目中，存在大量的XML配置文件和Java注解代码，这是Java项目的持久层框架所决定的，对Java项目进行SQL审计的时候，必须提取解析项目代码中的sql。在对项目代码中的sql进行解析时，通常通过扫描整个项目全部文件，当项目代码量和文件数非常多时，一方面，由于需要读取大量文件，逐行扫描Java代码文件进行字符串匹配，因此匹配效率比较低；另一方面，由于通过扫描sql关键字对比，而项目代码里面可能出现包含sql关键字而并不是sql的类名、接口名和变量名等java语法关键字，因此该匹配模式准确率非常低。

针对以上解析耗时过长、准确率低、内存占用高等缺点，本实施例提供了一种解析XML与Java文件的SQL方法，可实现正则表达式和xml树解析匹配，时效高，并且支持匹配xml文件和java注解文件sql，具有解析快，准确率高等优点。

具体的，请参看图3，该解析XML与Java文件的SQL方法包括以下步骤：

S1：通过文件名匹配，获取开发项目中的XML文件；

S2：通过字符串匹配，获取XML文件中的数据库配置信息，从中提取数据库配置映射的唯一标识；

S3：根据数据库配置映射的唯一标识，采用正则表达式匹配算法，结合sqlparse数据库，获取数据库映射中的XML树的父节点及子节点；读取各XML节点的标签属性及相应的节点值，将XML节点转化为对应的SQL语句；

S4：获取包含XML SQL关键字的Java注解文件，提取Java注解文件中包含SQL关键字的行，采用正则表达式查询替换算法，将包含SQL关键字的行转化为对应的SQL语句。

在步骤S1中，通过文件名匹配，获取开发项目中的XML文件。在实际应用中，首先需要根据项目分支，从gitlab拉取项目代码到本地服务器；然后从项目代码里面，通过文件名匹配，找到所有的XML文件。

在查找XML文件时，可通过以下指令进行：

find./-name*.xml

这里的*.xml代表匹配所有字符开头的xml文件。

在步骤S2中，通过字符串匹配，获取XML文件中的数据库配置信息进一步包括：

S200：通过cat及grep命令，获取XML文件的数据库连接信息及Mapper映射关系。

在实际应用中，通过字符串匹配，获取XML文件中的数据库配置信息可采用以下指令进行：

通过cat、grep等linux命令进行字符串匹配。其中，namespace是要匹配的关键字：

cat./main/resources/generatorConfig.xml

|grep namespace|egrep'com.yupaopao|com.ypp'|awk-F'\\\"”{print$2}'

com.yupaopao.operation.data.mapper.data.SolicitArticleThemeMapper

其中，generatorConfig.xml为数据库配置文件，通过上述指令可得到该数据库配置文件的数据库连接信息及映射关系Mapper.xml。然后，就可通过字符串匹配，找到数据库配置映射唯一标识的mapperID。

在步骤S3中，根据数据库配置映射的唯一标识，采用正则表达式匹配算法，结合sqlparse数据库，获取数据库映射中的XML树的父节点及子节点；读取各XML节点的标签属性及相应的节点值，将XML节点转化为对应的SQL语句。

其中，正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。

XML树具体应用到本实施例，其内容如下：

其中，select就是父节点，where是select的子节点，if是where的子节点。

正则表达式的匹配可按如下方式进行：

例如有个include节点为：<include refid＝"setField"/>，则正则表达式为：

<include refid＝"(\w+)"/>。通过如下的正则表达式匹配：

res＝re.match(re.compile(r'<include refid＝"(\w+)"/>'),s)

就可以匹配到include节点的refid，值为setField。其中，test是标签属性，andhonor_id＝#{honorId}是节点值。

又如，有个xml节点为：<if test＝"startTime！＝null">

and create_time&gt；＝#{startTime}

</if>

则，该节点的标签属性为test，节点的值为and create_time&gt；＝#{startTime}。

在步骤S4中，获取包含XML SQL关键字的Java注解文件，提取Java注解文件中包含SQL关键字的行，采用正则表达式查询替换算法，将包含SQL关键字的行转化为对应的SQL语句进一步包括：

从开发项目中查找包含@select、@insert、@update、@delete的XML SQL关键字的所有Java注解文件，逐行读取Java注解文件中包含select、insert、update、alter、truncate、create、drop的SQL关键字的行，并跳过包含SQL注释的行；采用正则表达式匹配算法，获取foreach、if、choose、otherwise、when标签中的SQL，并对SQL进行格式化，从而将Java注解文件转化为对应的SQL文件。

其中，对SQL进行格式化可按以下方式进行：

原SQL为：

select id,name,user_token,create_time from user_info where id<10 and

create_time>'2021-08-01'

order by id desc limit 10

格式化以后的SQL为：

综上，本实施例中的解析XML与Java文件的SQL方法，对Java项目进行SQL文件解析时，基于linux find和grep、egrep命令，提取出XML配置文件和Java注解文件，减少无效文件读取匹配，从而尽可能提高SQL的解析效率。并且，在解析SQL时，使用正则表达式和XMLtree进行查询解析匹配，替代传统的SQL关键字匹配，极大地提高了解析过程的稳定性和匹配准确率。

实施例二

本实施例提供了一种解析XML与Java文件的SQL装置，请参看图4，该装置包括：

第一解析模块1，用于通过文件名匹配，获取开发项目中的XML文件；通过字符串匹配，获取XML文件中的数据库配置信息，从中提取数据库配置映射的唯一标识；根据数据库配置映射的唯一标识，采用正则表达式匹配算法，结合sqlparse数据库，获取数据库映射中的XML树的父节点及子节点；读取各XML节点的标签属性及相应的节点值，将XML节点转化为对应的SQL语句；

第二解析模块2，用于获取包含XML SQL关键字的Java注解文件，提取Java注解文件中包含SQL关键字的行，采用正则表达式查询替换算法，将包含SQL关键字的行转化为对应的SQL语句。

具体的，第一解析模块1通过cat及grep命令，获取XML文件的数据库连接信息及Mapper映射关系，从中提取数据库配置映射的唯一标识mapperID。根据数据库配置映射的唯一标识，采用正则表达式匹配算法，结合sqlparse数据库，获取数据库映射中的XML树的父节点及子节点；读取各XML节点的标签属性及相应的节点值，将XML节点转化为对应的SQL语句。实现XML文件的SQL解析。

第二解析模块2从开发项目中查找包含@select、@insert、@update、@delete的XMLSQL关键字的所有Java注解文件，逐行读取Java注解文件中包含select、insert、update、alter、truncate、create、drop的SQL关键字的行，并跳过包含SQL注释的行；采用正则表达式匹配算法，获取foreach、if、choose、otherwise、when标签中的SQL，并对SQL进行格式化，从而将Java注解文件转化为对应的SQL文件。实现Java注解文件的SQL解析。

实施例三

本实施例提供了一种解析XML与Java文件的SQL设备。请参看图5，该解析XML与Java文件的SQL设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对解析XML与Java文件的SQL设备500中的一系列指令操作。

进一步地，处理器510可以设置为与存储介质530通信，在解析XML与Java文件的SQL设备500上执行存储介质530中的一系列指令操作。

解析XML与Java文件的SQL设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve、Vista等等。

本领域技术人员可以理解，图5示出的解析XML与Java文件的SQL设备结构并不构成对解析XML与Java文件的SQL设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中的解析XML与Java文件的SQL方法的步骤。

实施例二中的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-only memory，ROM)、随机存取存储器(Random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims

1.一种解析XML与Java文件的SQL方法，其特征在于，包括：

通过文件名匹配，获取开发项目中的XML文件；

2.如权利要求1所述的解析XML与Java文件的SQL方法，其特征在于，所述通过字符串匹配，获取XML文件中的数据库配置信息进一步包括：

3.如权利要求1所述的解析XML与Java文件的SQL方法，其特征在于，所述获取包含XMLSQL关键字的Java注解文件，提取Java注解文件中包含SQL关键字的行，采用正则表达式查询替换算法，将包含SQL关键字的行转化为对应的SQL语句进一步包括：

4.一种解析XML与Java文件的SQL装置，其特征在于，包括：

5.如权利要求4所述的解析XML与Java文件的SQL装置，其特征在于，所述第一解析模块通过cat及grep命令，获取XML文件的数据库连接信息及Mapper映射关系，从中提取数据库配置映射的唯一标识mapperID。

6.如权利要求4所述的解析XML与Java文件的SQL装置，其特征在于，所述第二解析模块从开发项目中查找包含@select、@insert、@update、@delete的XML SQL关键字的所有Java注解文件，逐行读取Java注解文件中包含select、insert、update、alter、truncate、create、drop的SQL关键字的行，并跳过包含SQL注释的行；采用正则表达式匹配算法，获取foreach、if、choose、otherwise、when标签中的SQL，并对SQL进行格式化，从而将Java注解文件转化为对应的SQL文件。

7.一种解析XML与Java文件的SQL设备，其特征在于，包括：

所述处理器调用所述存储器中的所述指令，实现如权利要求1-3中任意一项所述的解析XML与Java文件的SQL方法。

8.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3中任意一项所述的解析XML与Java文件的SQL方法。