CN105912594B

CN105912594B - Sql语句处理方法和系统

Info

Publication number: CN105912594B
Application number: CN201610205606.8A
Authority: CN
Inventors: 朱隽
Original assignee: Sangfor Technologies Co Ltd
Current assignee: Sangfor Technologies Co Ltd
Priority date: 2016-04-05
Filing date: 2016-04-05
Publication date: 2020-01-07
Anticipated expiration: 2036-04-05
Also published as: CN105912594A

Abstract

本发明涉及一种SQL语句处理方法和系统，该SQL语句处理方法，包括以下步骤：获取原始SQL语句；滤除原始SQL语句中的冗余字段，以获取滤除冗余字段的第一SQL语句；替换第一SQL语句中的变量值，以获取第二SQL语句；对第二SQL语句进行结构化处理，获取结构化SQL语句；对结构化SQL语句进行操作关联处理，获取所述原始SQL语句对应的SQL语句原型。上述的SQL语句处理方法和系统，不仅方便用户查阅，而且减少了审计的数据量。

Description

SQL语句处理方法和系统

技术领域

本发明涉及数据库技术领域，特别是涉及一种SQL语句处理方法和系统。

背景技术

目前当前常见的数据库系统主要是关系型数据库，数据库审计产品在对数据库系统进行审计时，通常使用SQL语句与数据库系统进行交互，因此审计的数据一般来自这些关系数据库的SQL语句。

但是直接审计SQL语句时，各种复杂的SQL命令交织在数据库系统的各个部分，不利于审计查看。另外，每个SQL语句都存在一些例如空格、注释等的冗余字段。而且每个SQL语句的常数参数、条件语句的值、表名等信息均不相同，因此导致审计数据量巨大，处理海量数据对硬件要求较高。

发明内容

基于此，有必要针对上述技术问题，提供一种SQL语句处理方法和系统，不仅方便用户查阅，而且减少了审计的数据量。

一种SQL语句处理方法，包括以下步骤：

获取原始SQL语句；

滤除所述原始SQL语句中的冗余字段，以获取滤除冗余字段的第一SQL语句；

替换所述第一SQL语句中的变量值，以获取第二SQL语句；

对所述第二SQL语句进行结构化处理，获取结构化SQL语句；

对所述结构化SQL语句进行操作关联处理，获取所述原始SQL语句对应的SQL语句原型。

在其中一个实施例中，在所述获取原始SQL语句的步骤之后，还包括：

对所述原始SQL语句进行词法语法分析，得到基于SQL语法元素和SQL语法字段的SQL特征库，其中，所述SQL语法元素包括所述冗余字段和所述变量值。

在其中一个实施例中，所述对所述第二SQL语句进行结构化处理，获取结构化SQL语句的步骤包括：

提取所述第二SQL语句中的SQL语法字段作为结构框架，获取相同结构框架下的所述结构化SQL语句，其中，所述SQL语法字段包括命令、表名、条件。

在其中一个实施例中，所述对所述结构化SQL语句进行操作关联处理的步骤包括：将所述结构化SQL语句中的相似的SQL语法元素进行归类合并。

在其中一个实施例中，还包括：建立所述冗余字段、所述变量值以及所述SQL语句原型的对应关系；

将不同的原始SQL语句对应的SQL语句原型统一存储，根据所述对应关系将所述同一SQL语句原型对应的不同的变化部分分别存储，其中，所述变化部分包括变量值和冗余字段。

一种SQL语句处理系统，包括：

原始SQL语句获取模块，用于获取原始SQL语句；

第一SQL语句获取模块，用于滤除所述原始SQL语句中的冗余字段，以获取滤除冗余字段的第一SQL语句；

第二SQL语句获取模块，用于替换所述第一SQL语句中的变量值，以获取第二SQL语句；

结构化SQL语句获取模块，用于对所述第二SQL语句进行结构化处理，获取结构化SQL语句；

SQL语句原型获取模块，用于对所述结构化SQL语句进行操作关联处理，获取所述原始SQL语句对应的SQL语句原型。

在其中一个实施例中，还包括：SQL语句词法语法分析模块，用于对所述原始SQL语句进行词法语法分析，得到基于SQL语法元素和SQL语法字段的SQL特征库，其中，所述SQL语法元素包括所述冗余字段和所述变量值。

在其中一个实施例中，结构化SQL语句获取模块还用于：提取所述第二SQL语句中的SQL语法字段作为结构框架，获取相同结构框架下的所述结构化SQL语句，其中，所述SQL语法字段包括命令、表名、条件。

在其中一个实施例中，SQL语句原型获取模块还用于：将所述结构化SQL语句中的相似SQL语法元素进行归类合并。

在其中一个实施例中，还包括：存储模块，用于建立所述冗余字段、所述变量值以及所述SQL语句原型的对应关系；将不同的原始SQL语句对应的SQL语句原型统一存储，根据所述对应关系将所述同一SQL语句原型对应的不同的变化部分分别存储，其中，所述变化部分包括变量值和冗余字段。

上述实施例的SQL语句处理方法和系统，通过对原始SQL语句进行滤除冗余字段、替换变量值、结构化以及操作关联处理后，回溯出原始SQL语句对应的SQL语句原型，审计时用户只需直接查看SQL语句原型即可，因此不仅方便用户查阅，而且减少了审计的数据量。

附图说明

图1为一个实施例的数据库系统运行框架示意图；

图2为一个实施例的SQL语句处理方法的流程图；

图3为另一个实施例的SQL语句处理方法的流程图；

图4为一个实施例的SQL语句处理系统的结构框图；

图5为另一个实施例的SQL语句处理系统的结构框图。

具体实施方式

通常数据库系统的运行框架，如图1所示，Web服务器通过一个核心交换机(或多个交换机)访问数据库(Database，DB)。Web服务器对DB进行访问和操作完成对各种信息的增、删、改、查等的基础功能。管理员通过运维区域的运维服务器对数据库的访问和维护操作，例如数据库的例行巡检、必要的管理运维等。数据库审计装置对用户访问数据库的海量SQL语句进行记录、分析和汇报。

一般情况下，Web服务器对数据库的访问和/或操作请求是由程序产生的，这些访问和/或操作请求通过各种中间件等来访问数据库。例如一个网站，要判断一个用户登陆是否成功，那么可能会设计一个用户的表，存放在数据库中。如果需要查询的时候，会将用户名、密码的hash值组装成一条select查询语句，到数据库中去查询(实现方法很多，这里只是对某个系统举个例)。所有对用户登陆是否成功的判断，都可以归纳为一个SQL语句原型，例如：select*from user where user_name＝”user”and user_passwd＝”5f7d4c3a”。其中user_name字段和user_passwd的值会随着不同用户而变化。

类似的，其他的功能模块也会有这样的特性，例如某个报表翻页的查询语句可以为：select top m*from aclog.A20151211where user_id not in(select top n*fromaclog.U20151211 order by traffic_down_flow desc)order by user_total desc，其中一些具体表示用户页数或者每页数量的数值会有所不同，但程序设计一般是根据这个SQL语句原型来构建的。

在一个实施例中，如图2所示，提出了一种SQL语句处理方法，该方法包括以下步骤：

步骤102，获取原始SQL语句。

在本实施例中，数据库审计装置从数据库服务器中获取流量数据，并从这些流量数据中提取用于处理的原始SQL语句。

步骤104，滤除原始SQL语句中的冗余字段，以获取第一SQL语句。

在本实施例中，冗余字段是指原始SQL语句中的无用成分，这些冗余字段包括无用的空格、Tab、注释等。滤除原始SQL语句中的无用成分(冗余字段)后，将得到第一SQL语句。

例如，可以使用REPLACE函数批量替换原始SQL语句中的冗余字段。

步骤106，替换第一SQL语句中的变量值，获取第二SQL语句。

变量值包括第一SQL语句中会随不同的操作或访问而发生变化的变量。例如，判断条件、参数等。这些变量值可以为字符串、数值、时间日期中的至少一种。

在一个实施例中，可以采用占位符替换第一SQL语句中的变量值，以得到不包含变量值的第二SQL语句。在本实施例中，占位符可以为表格抽象的任意值，也可以是固定值。

例如，查询语句：SELECT TOP 100 desc，sum(val)from aclog.U20151112 wheregroup_id＝”5c2b97c6”and user_id！＝“35cc2f9b”order by total_flow desc。其中，数值“100”，group_id字段和user_id字段的值会发生变化。采用占位符(例如#)替换数值“100”，group_id字段和user_id字段后，得到的第二SQL语句为：SELECT TOP#desc,sum(val)from aclog.U20151112where group_id＝”#”and user_id！＝“#”order by total_flow desc。

步骤108，对第二SQL语句进行结构化处理，获取结构化SQL语句。

将相同结构框架下的第二SQL语句中的确定性字段提取出来，然后将这些确定性字段作为支撑性的结构化框架。

在一个实施例中，可以根据数据操作类型划分第二SQL语句的结构框架。通常情况下，数据操作类型包括：查询语句：select，DML(数据操作语句)：insert，update，delete，merge等；DDL(数据定义语句)：create，alter，drop，truncate等；DCL(数据控制语句)：revoke，grant等；事务控制语句：commit，roolback，savepoint等。相同结构框架是指同一数据操作类型的SQL语句。

在本实施例中，确定性字段包括命令、表名、条件等的确定的SQL语法元素。

步骤110，对结构化SQL语句进行操作关联处理，获取原始SQL语句对应的SQL语句原型。

在一个实施例中，操作关联处理包括将具有相同逻辑的运算，如函数等或者内嵌代码等进行归类合并处理。

根据预先建立的规则对上述实施例获取的结构化SQL语句进行操作关联处理后，便可得到原始SQL语句对应的SQL语句原型。

上述实施例的SQL语句处理方法，通过对原始SQL语句进行滤除冗余字段，替换变量值、结构化以及操作关联处理后，回溯出原始SQL语句对应的SQL语句原型，用户查看SQL语句原型便可显示对应的原始SQL语句，不仅方便用户查阅，而且减少了审计的数据量。

进一步地，对于从数据库获取的每一条SQL语句都经过上述步骤102至步骤110的操作来简化，从而了解某个用户常见的SQL操作，如果发现了异常的访问，便可及时采取相应的措施处理。

在一个实施例中，如图3所示，在获取原始SQL语句的步骤之后，该方法还包括：

步骤112，对原始SQL语句进行词法语法分析，得到基于SQL语法元素和SQL语法字段的SQL特征库，其中，SQL语法元素包括冗余字段和变量值。

基于SQL词法语法分析，建立基于SQL语法元素和SQL语法字段的SQL特征库，该SQL特征库用于(1)词法分析，经过词法分析，可得到如下的SQL语法元素：

冗余字段：包括空格、Tab、注释等。注释为插入到SQL语句或脚本中起解释语句作用的文本。

标识符：诸如表、视图、列、数据库和服务器等对象的名称。

数据类型：定义数据对象(如列、变量和参数)所包含的数据类型。

函数：它可以有零个、一个或多个输入值，并返回一个标量值或者表格形式的值的集合。函数示例包括将多个值相加的SUM函数、确定两个日期之间相差多少个时间单位的DATEDIFF函数等。

表达式：表达式的示例包括常量、返回单值的函数、列或变量的引用。

运算符：与一个或多个简单表达式一起使用构造一个更为复杂的表达式。例如，将“-”(负号)运算符和常量12组合在一起得到常量-12。

保留关键字：保留下来由SQL Serve使用的词。数据库中的对象名不应使用这些字词。(2)语法分析，经过语法分析，可得到的SQL语法字段包括SQL语句的语句结构，例如是单语句还是多语句，语句之间的结构等。

基于上述实施例的SQL语句的词法语法分析，得到基于SQL语法元素和SQL语句字段的SQL特征库，该SQL语句的处理方法基于得到的SQL特征库对原始SQL语句进行一系列处理，提高了SQL语句处理的效率和准确率。

在一个实施例中，对第二SQL语句进行结构化处理，获取结构化SQL语句的步骤包括：

提取第二SQL语句中的SQL语法字段作为结构框架，并获取相同结构框架下的结构化SQL语句，其中，SQL语法字段包括命令、表名或者视图名、条件。

经过上述实施例的SQL语法分析获取SQL语法字段后，提取出第二SQL语句中的语法字段作为结构框架，对相同结构框架下的SQL语句进行抽象识别，得到结构化的SQL语句。

例如，第二SQL语句为查询语句：SELECT TOP#desc，sum(val)fromaclog.U20151112 where group_id＝”#”and user_id！＝“#”order by total_flow desc，其中，表名U20151112是随时间变化的，由于很多数据库会按天周月小时等方式切割来优化表的大小，因此，可以通过内置库以及学习算法用来识别这种表的优化。识别出这种20151112后，对这部分进行结构化处理，即采用占位符替换变化的部分。例如，上述示例的第二SQL语句结构化得到的结构化SQL为：SELECT TOP#desc，sum(val)from aclog.U*wheregroup_id＝”#”and user_id！＝“#”order by total_flow desc。

在一个实施例中，对结构化SQL语句进行操作关联处理的步骤包括：将结构化SQL语句中的相似的SQL语法元素进行归类合并。

在本实施例中，相似的SQL语法元素包括函数或者内嵌代码等。

例如，将结构化SQL语句中的相似的SQL语法元素进行归类合并包括将相同字段的多个函数运算进行归类合并。或者将相同字段的多个内嵌代码段进行归类合并。例如，将SELECT TOP#desc，sum(val)from aclog.U*where group_id＝”#”and user_id！＝“#”order by total_flow desc中的函数运算进行合并后得到的SQL语句原型为：SELECT TOP#desc,func<sum>(val)from aclog.U*where group_id＝”#”and user_id！＝“#”order bytotal_flow func<desc,asc>。其中，func表示将sum(val)操作以及条件中的desc操作表示为函数(操作)，尖括号里面的内容表示函数的无序集合。

通过上述的关联处理，将相同或相似的操作归类合并，获取一个结构化的模式串，便于后续阅读查看。

在一个实施例中，所述方法还包括：建立冗余字段、变量值以及SQL语句原型的对应关系，

并将不同的原始SQL语句对应的SQL语句原型统一存储，将同一SQL语句原型对应的不同的变化部分分别存储，其中，变化部分包括变量值和冗余字段。

在本实施例中，在上述实施例中的步骤102～步骤110的对SQL语句的处理过程中，依次建立每个原始SQL语句的冗余字段、变量值、以及SQL语句原型之间的对应关系(例如可以是建立索引的方式)，并将相同的模式串即SQL语句原型统一存储，变化部分(包括变量值和冗余字段)分开存储。

通过将相同的模式串部分统一存储，变化部分分别存储的方式，不仅减少了存储空间，而且方便对SQL语句进行记录、还原，提高了数据库审计效率。

在一个实施例中，如图4所示，在一个实施例中，还提出一种SQL语句处理系统400，系统400包括：原始SQL语句获取模块402，第一SQL语句获取模块404，第二SQL语句获取模块406，结构化SQL语句获取模块408和SQL语句原型获取模块410。

原始SQL语句获取模块402，用于获取原始SQL语句。第一SQL语句获取模块404，用于滤除原始SQL语句中的冗余字段，以获取滤除冗余字段的第一SQL语句。第二SQL语句获取模块406，用于替换第一SQL语句中的变量值，以获取第二SQL语句。结构化SQL语句获取模块408，用于对第二SQL语句进行结构化处理，获取结构化SQL语句。SQL语句原型获取模块410，用于对结构化SQL语句进行操作关联处理，获取原始SQL语句对应的SQL语句原型。

在一个实施例中，如图5所示，系统400还包括：SQL语句词法语法分析模块412。SQL语句词法语法分析模块412，用于对原始SQL语句进行词法语法分析，得到基于SQL语法元素和SQL语法字段的SQL特征库，其中，SQL语法元素包括冗余字段和变量值。

基于上述实施例的SQL语句的词法语法分析，得到基于SQL语法元素和SQL语句字段的SQL特征库，该SQL语句的处理方法基于得到的SQL特征库对原始SQL语句进行一系列处理，提高了SQL语句处理的效率和准确率。在一个实施例中，结构化SQL语句获取模块408还用于：提取第二SQL语句中的SQL语法字段作为结构框架，获取相同结构框架下的结构化SQL语句，其中，SQL语法字段包括命令、表名、条件。

在本实施例中，提取出第二SQL语句中的语法字段作为结构框架，对相同结构框架下的SQL语句进行抽象识别，得到结构化的SQL语句。

在一个实施例中，SQL语句原型获取模块410还用于：将结构化SQL语句中的相似SQL语法元素进行归类合并。

在本实施例中，通过关联处理，将相同或相似的操作归类合并，获取一个结构化的模式串，便于后续阅读查看。

在一个实施例中，如图5所示，该系统400还包括：存储模块414。存储模块414，用于建立冗余字段、变量值以及SQL语句原型的对应关系；将不同的原始SQL语句对应的SQL语句原型统一存储，根据对应关系将同一SQL语句原型对应的不同的变化部分分别存储，其中，变化部分包括变量值和冗余字段。

在本实施例中，通过将相同的模式串部分统一存储，变化部分分别存储的方式，不仅减少了存储空间，而且方便对SQL语句进行记录、还原，提高了数据库审计效率。以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种SQL语句处理方法，其特征在于，包括以下步骤：

获取原始SQL语句；

对所述原始SQL语句进行词法语法分析，得到基于SQL语法元素和SQL语法字段的SQL特征库，其中，所述SQL语法元素包括冗余字段和变量值；

替换所述第一SQL语句中的变量值，以获取不包括变量值的第二SQL语句；

对所述第二SQL语句进行结构化处理，获取结构化SQL语句；

对所述结构化SQL语句进行操作关联处理，获取所述原始SQL语句对应的SQL语句原型，所述操作关联处理包括将具有相同逻辑的运算进行归类合并处理；

所述对所述第二SQL语句进行结构化处理，获取结构化SQL语句的步骤包括：

提取所述第二SQL语句中的SQL语法字段作为结构框架，获取相同结构框架下的所述结构化SQL语句，对相同结构框架下的SQL语句进行抽象识别，得到结构化SQL语句；其中，所述SQL语法字段包括命令、表名、条件。

2.根据权利要求1所述的方法，其特征在于，所述对所述结构化SQL语句进行操作关联处理的步骤包括：将所述结构化SQL语句中的相似的SQL语法元素进行归类合并。

3.根据权利要求1至2中任一项所述的方法，其特征在于，还包括：建立所述冗余字段、所述变量值以及所述SQL语句原型的对应关系；

将不同的原始SQL语句对应的SQL语句原型统一存储，根据所述对应关系将同一SQL语句原型对应的不同的变化部分分别存储，其中，所述变化部分包括变量值和冗余字段。

4.一种SQL语句处理系统，其特征在于，包括：

原始SQL语句获取模块，用于获取原始SQL语句；

SQL语句词法语法分析模块，用于对所述原始SQL语句进行词法语法分析，得到基于SQL语法元素和SQL语法字段的SQL特征库，其中，所述SQL语法元素包括冗余字段和变量值；

第二SQL语句获取模块，用于替换所述第一SQL语句中的变量值，以获取不包括变量值的第二SQL语句；

SQL语句原型获取模块，用于对所述结构化SQL语句进行操作关联处理，获取所述原始SQL语句对应的SQL语句原型，所述操作关联处理包括将具有相同逻辑的运算进行归类合并处理；

结构化SQL语句获取模块还用于：提取所述第二SQL语句中的SQL语法字段作为结构框架，获取相同结构框架下的所述结构化SQL语句，对相同结构框架下的SQL语句进行抽象识别，得到结构化SQL语句；其中，所述SQL语法字段包括命令、表名、条件。

5.根据权利要求4所述的系统，其特征在于，SQL语句原型获取模块还用于：将所述结构化SQL语句中的相似SQL语法元素进行归类合并。

6.根据权利要求4至5任一项所述的系统，其特征在于，还包括：

存储模块，用于建立所述冗余字段、所述变量值以及所述SQL语句原型的对应关系；将不同的原始SQL语句对应的SQL语句原型统一存储，根据所述对应关系将同一SQL语句原型对应的不同的变化部分分别存储，其中，所述变化部分包括变量值和冗余字段。