CN102915344A - 一种sql语句处理方法及装置 - Google Patents
一种sql语句处理方法及装置 Download PDFInfo
- Publication number
- CN102915344A CN102915344A CN201210361178XA CN201210361178A CN102915344A CN 102915344 A CN102915344 A CN 102915344A CN 201210361178X A CN201210361178X A CN 201210361178XA CN 201210361178 A CN201210361178 A CN 201210361178A CN 102915344 A CN102915344 A CN 102915344A
- Authority
- CN
- China
- Prior art keywords
- substatement
- piece
- sql statement
- line number
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开了一种SQL语句处理方法及装置,包括:获取请求进行数据库处理操作的SQL语句;并对该SQL语句进行结构分析,得到分析结果;并根据分析结果,确定按照该SQL语句进行数据库处理操作时所表征的基准行数,基准行数为进行数据库处理操作时需要查询的数据行数;以及当确定的基准行数小于行数阈值时,确定按照该SQL语句进行数据库处理操作,否则,确定取消按照该SQL语句进行数据库处理操作。采用本发明实施例提供的方案,提高了数据库运行性能。
Description
技术领域
本发明涉及数据库技术领域,尤其涉及一种SQL语句处理方法及装置。
背景技术
MySQL是一种关联数据库管理系统,其使用的SQL(Structured QueryLanguage,结构化查询语言)是用于访问数据库的最常用标准化语言。
在现有的MySQL技术中,MySQL Proxy是一个处于客户端和MySQL服务器端之间的一个应用程序,作为中间层代理,负责将前台应用客户端的连接请求转发给后台的数据库,并且通过使用lua脚本,可以实现复杂的连接控制和过滤,从而实现读写分离和负载平衡。对于应用客户端来说,MySQL Proxy是完全透明的,应用客户端则只需要连接到MySQL Proxy的监听端口即可。
随着对于海量数据存储和查询的需要,现有技术中出现了公有云计算的分布式数据库集群技术,在实际应用中,经常会有大量应用客户端向数据库集群请求进行一些数据库处理操作,而且,其中还可能包括一些不良的,甚至是恶意的请求操作,导致数据库集群的整体负载较高,降低了进行数据库处理操作的效率,并影响了对其他客户端的正常请求的处理。
然而,将MySQL Proxy引入到数据库集群技术中,也仅是能实现连接控制、读写分离和负载平衡等,而无法对请求进行数据库处理操作的SQL语句的安全性进行判定,以提高数据库的运行性能。
发明内容
本发明实施例提供一种SQL语句处理方法及装置,用以解决现有技术中存在的数据库运行性能较低问题。
本发明实施例提供一种SQL语句处理方法,包括:
获取请求进行数据库处理操作的SQL语句;
对所述SQL语句进行结构分析,得到分析结果;
根据所述分析结果,确定按照所述SQL语句进行数据库处理操作时所表征的基准行数,所述基准行数为进行数据库处理操作时需要查询的数据行数;
当确定的所述基准行数小于行数阈值时,确定按照所述SQL语句进行数据库处理操作,否则,确定取消按照所述SQL语句进行数据库处理操作。
本发明实施例还提供一种结构化查询语言SQL语句处理装置,包括:
获取单元,用于获取请求进行数据库处理操作的SQL语句;
分析单元,用于对所述SQL语句进行结构分析,得到分析结果;
第一确定单元,用于根据所述分析结果,确定按照所述SQL语句进行数据库处理操作时所表征的基准行数,所述基准行数为进行数据库处理操作时需要查询的数据行数;
第二确定单元,用于当确定的所述基准行数小于行数阈值时,确定按照所述SQL语句进行数据库处理操作,否则,确定取消按照所述SQL语句进行数据库处理操作。
本发明有益效果包括:
本发明实施例提供的方法中,对于请求进行数据库处理操作的SQL语句,根据对该SQL语句进行结构分析的分析结果,确定按照该SQL语句进行数据库处理操作时所表征的基准行数,并当确定的基准行数小于行数阈值时,确定按照该SQL语句进行数据库处理操作,否则,确定取消按照所述SQL语句进行数据库处理操作。由于该基准行数为进行数据库处理操作时需要查询的数据行数,即能够表征按照该SQL语句进行数据库处理操作时对数据库负载的影响,所以当该基准行数小于行数阈值时,表示该SQL语句不会引起数据库系统负载的较大增长,确定按照该SQL语句进行数据库处理操作,否则,即当该基准行数不小于行数阈值时,表示该SQL语句会引起数据库系统负载的较大增长,确定取消按照该SQL语句进行数据库处理操作,因此能够有效过滤掉导致数据库负载较大的SQL语句,从而提高了数据库运行性能。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例提供的SQL语句处理方法的流程图;
图2为本发明实施例1提供的SQL语句处理方法的流程图;
图3为本发明实施例2提供的SQL语句处理方法的流程图;
图4为本发明实施例3提供的SQL语句处理装置的结构示意图。
具体实施方式
为了给出提高数据库运行性能的实现方案,本发明实施例提供了一种SQL语句处理方法及装置,以下结合说明书附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明实施例提供一种SQL语句处理方法,如图1所示,包括:
步骤101、获取请求进行数据库处理操作的SQL语句。
步骤102、对该SQL语句进行结构分析,得到分析结果。
步骤103、根据分析结果,确定按照该SQL语句进行数据库处理操作时所表征的基准行数,基准行数为进行数据库处理操作时需要查询的数据行数。
步骤104、当确定的基准行数小于行数阈值时,确定按照该SQL语句进行数据库处理操作,否则,确定取消按照该SQL语句进行数据库处理操作。
进一步的,在执行步骤102之前,可以判断该SQL语句的类型,并针对指定类型的SQL语句进入后续的分析处理,指定类型可以根据实际需要进行设置,例如,将可能导致数据库负载较大增长的SQL语句的类型设置为指定类型,具体可以包括选择类型(select)、更新类型(update)、删除类型(delete)、创建索引类型(create index)和修改表结构类型(alter table)。
进一步的,在上述步骤102中对该SQL语句进行结构分析时,具体可以根据该SQL语句的类型,按照与其类型对应的分析方式,对该SQL语句进行结构分析;也可以当该SQL语句为选择类型语句时,按照与选择类型语句对应的分析方式,对该SQL语句进行结构分析,当该SQL语句非选择类型语句时,将该SQL语句转换为选择类型语句,按照与选择类型语句对应的分析方式,对转换后的SQL语句进行结构分析。其中,由于在实现时,相比对各种类型的SQL语句的分析,对SQL语句的类型转换更容易,所以,采用第二种方式将SQL语句转换为统一的选择类型语句,再进行结构分析,能够提高本方案的处理效率。
进一步的,本发明实施例中针对上述步骤103和步骤104的处理,也提出了更详细的处理流程,下面结合附图,用具体实施例对本发明提供的方法及装置进行详细描述。
实施例1:
图2所示为本发明实施例1提供的SQL语句处理方法的流程图,具体包括如下处理步骤:
步骤201、获取请求进行数据库处理操作的SQL语句。
该SQL语句可以为应用客户端向数据库系统发送的用于请求进行数据库处理操作的SQL语句,本发明实施例1中,在该SQL语句到达数据库系统,并按照该SQL语句进行相应处理操作之前,可以先获取该SQL语句,并按照后续的处理流程对其进行处理,以判定该SQL语句是否会引起数据库系统负载的较大增长,从而确定是否按照该SQL语句进行数据库处理操作。
其中,该数据库系统可以为公有云计算的分布式数据库集群,可以为其它类型的数据库系统。
步骤202、确定该SQL语句是否为指定类型的SQL语句,如果不是,进入步骤203,如果是,进入步骤204。
其中,指定类型可以根据实际需要进行设置,例如,将可能导致数据库负载较大的SQL语句的类型设置为指定类型,具体可以包括选择类型(select)、更新类型(update)、删除类型(delete)、创建索引类型(create index)和修改表结构类型(alter table)。
步骤203、当该SQL语句不是指定类型的SQL语句时,或者,从后续的步骤212进入本步骤,即当该SQL语句进行数据库处理操作时所表征的基准行数小于行数阈值时,表示该SQL语句不会引起数据库系统负载的较大增长,所以确定按照该SQL语句进行数据库处理操作,具体可以将该SQL语句转发至数据库系统,由数据库系统按照该SQL语句进行相应的处理操作。
步骤204、当该SQL语句是指定类型的SQL语句时,表示该SQL语句可能会引起数据库系统负载的较大增长,所以需要通过对其进行结构分析,以便作进一步的判定。
本步骤中,首先确定该SQL语句是否为选择类型语句,如果不是,进入步骤205,如果是,进入步骤206。
步骤205、将该SQL语句转换为选择类型语句。
具体可以基于该非选择类型的SQL语句中用于表征类型的类型标记,确定该SQL语句的类型,并根据该SQL语句的类型,从该SQL语句中提取对应的内容信息,并基于所提取的内容信息生成该SQL语句对应的转换后的选择类型的SQL语句。
例如,针对更新类型的SQL语句在进行转换时,提取的内容信息可以包括:别名、表名和条件(where)语句;针对删除类型的SQL语句在进行转换时,提取的内容信息可以包括:标识、表名和条件语句;针对创建索引类型的SQL语句在进行转换时,提取的内容信息可以包括:表名;针对修改表结构类型的SQL语句在进行转换时,提取的内容信息可以包括表名。
步骤206、针对由上述步骤204中确定的为选择类型的SQL语句,以及上述步骤205中经过转换后的为选择类型的SQL语句,本步骤中,按照与选择类型语句对应的分析方式,对该SQL语句进行结构分析,并得到分析结果。
具体的,可以通过对该SQL语句进行结构分析,确定该SQL语句包括的各子语句块的类型,以及包括的各子语句块表征的基准行数,以及该SQL语句中是否包括限制(limit)参数,即该SQL语句最外层是否附带了限制参数,以及该SQL语句中是否包括外排序参数,即该SQL语句最外层是否附带了外排序参数,以及该SQL语句中是否包括索引参数。
下面对分析结果中SQL语句包括的各子语句块的类型和表征的基准行数举例描述如下:
表1所示为该SQL语句包括的各子语句块的第一种情况。
表1
子语句块序号 | 子语句块类型 | 子语句块的基准行数 |
1 | 原始类型 | 20 |
2 | 简单类型 | 30 |
3 | 联合类型 | 5 |
表2所示为该SQL语句包括的各子语句块的第二种情况。
表2
子语句块序号 | 子语句块类型 | 子语句块的基准行数 |
1 | 简单类型 | 20 |
2 | 子查询类型 | 10 |
3 | 原始类型 | 70 |
4 | 联合类型 | 7 |
5 | 联合类型 | 8 |
表3所示为该SQL语句包括的各子语句块的第三种情况。
表3
子语句块序号 | 子语句块类型 | 子语句块的基准行数 |
1 | 简单类型 | 10 |
2 | 联合类型 | 10 |
3 | 原始类型 | 3 |
4 | 子查询类型 | 100 |
5 | 派生类型 | 2 |
在得到上述分析结果后,即可以根据得到的分析结果,确定按照该SQL语句进行数据库处理操作时所表征的基准行数,基准行数为进行数据库处理操作时需要查询的数据行数,具体可以包括如下步骤207-步骤211:
步骤207、按照该SQL语句所包括的各子语句块从前到后的顺序,对该各子语句块进行分组,其中,每个分组中的第一个子语句块的类型为简单类型(SIMPLE)或者原始类型(PRIMARY),且每个分组中除第一个子语句块外不包括简单类型和原始类型的子语句块,且每个分组包括的各子语句块的先后顺序,与其在该SQL语句所包括的各子语句块中的先后顺序相同。
下面基于上述三种情况,分别对该SQL语句包括的各子语句块的分组结果举例描述如下:
表4所示为针对上述第一种情况对该SQL语句包括的各子语句块进行分组的结果。
表4
表5所示为针对上述第二种情况对该SQL语句包括的各子语句块进行分组的结果。
表5
表6所示为针对上述第三种情况对该SQL语句包括的各子语句块进行分组的结果。
表6
步骤208、针对每个分组包括的各子语句块的类型和表征的基准行数,采用如下步骤确定该分组表征的基准行数:
按照该分组包括的各子语句块的先后顺序,从该分组中第二个子语句块开始,依次确定每个子语句块对应的中间基准行数,并将该分组中最后一个子语句块对应的中间基准行数作为该分组表征的基准行数;
其中,针对待确定中间基准行数的当前子语句块,当该子语句块的类型为联合类型(UNION)或依赖联合类型(DEPENDENT UNION)时,该子语句块对应的中间基准行数为前一个子语句块对应的中间基准行数和该子语句块表征的基准行数的乘积;
当该子语句块的类型为子查询类型(SUBQUERY)、依赖子查询类型(DEPENDENT SUBQUERY)或派生类型(DERIVED)时,该子语句块对应的中间基准行数为前一个子语句块对应的中间基准行数和该子语句块表征的基准行数中的最小值;
并且,该分组中的第一个子语句块对应的中间基准行数为第一个子语句块表征的基准行数。
下面基于上述三种情况,分别对该SQL语句的每组表征的基准行数的计算举例描述如下:
表7所示为针对上述第一种情况该SQL语句的每组表征的基准行数。
表7
表8所示为针对上述第二种情况该SQL语句的每组表征的基准行数。
表8
表9所示为针对上述第三种情况该SQL语句的每组表征的基准行数。
表9
步骤209、确定该SQL语句包括的各子语句块的各分组表征的基准行数的和值。
针对上述第一种情况,两个分组表征的基准行数的和值为:20+150=170。
针对上述第二种情况,两个分组表征的基准行数的和值为:10+3920=3930。
针对上述第三种情况,两个分组表征的基准行数的和值为:100+2=102。
步骤210、根据该SQL语句中是否包括限制参数,以及是否包括外排序参数,对得到的该和值进行加减修正,得到第一修正值。
其中,基于SQL语句中限制参数和外排序参数各自对应的数据库处理操作对数据库系统的负载的影响,可以确定当包括限制参数时,可以进行对应的减少修正,当不包括限制参数时,进行对应的增加修正,当包括外排序参数时,可以进行对应的增加修正,当不包括外排序参数时,进行对应的减少修正,进行加减修正所增加或减少的数值可以根据实际需要进行设置,例如,针对限制参数进行加减修正时增加或减少第一修正阈值,针对外排序参数进行加减修正时增加或减少第二修正阈值。
步骤211、根据该SQL语句中是否包括索引参数,对得到的第一修正值进行倍数修正,并将修正后得到的结果,作为该SQL语句进行数据库处理操作时所表征的基准行数。
其中,基于SQL语句中索引参数对应的数据库处理操作对数据库系统的负载的影响,可以确定当包括索引参数时,对得到的第一修正值进行倍数修正,且该倍数大于0且小于1,即确定该倍数与第一修正值的乘积,该倍数也可以称作第三修正阈值,第三修正阈值可以根据实际需要进行设置。
步骤212、确定得到的该SQL语句进行数据库处理操作时所表征的基准行数是否小于行数阈值,如果小于,进入步骤203,如果大于,进入步骤213。
其中,行数阈值可以根据数据库系统的特性和实际需要进行灵活设置。
步骤213、如果该基准行数不小于行数阈值,表示该SQL语句会引起数据库系统负载的较大增长,从而导致数据库系统的运行性能明显降低,所以确定取消按照该SQL语句进行数据库处理操作,具体可以取消将该SQL语句转发至数据库系统,并可以向请求的应用客户端返回错误响应。
采用本发明实施例1提供的上述方案,由于确定的SQL语句表征的基准行数为进行数据库处理操作时需要查询的数据行数,即能够表征按照该SQL语句进行数据库处理操作时对数据库负载的影响,所以根据该基准行数与行数阈值的大小关系,确定是否按照该SQL语句进行数据库处理操作,能够有效过滤掉导致数据库负载较大的SQL语句,从而提高了数据库运行性能。
实施例2:
图3所示为本发明实施例2提供的SQL语句处理方法的流程图,具体包括如下处理步骤:
步骤301-步骤306、分别与上述图2所示流程中的步骤201-步骤206相同,在此不再进行详细描述。
步骤307、确定该SQL语句中是否包括限制参数,以及该SQL语句中是否包括外排序参数,如果该SQL语句中包括限制参数,且不包括外排序参数,进入步骤303,否则,即该SQL语句中不包括限制参数时,或者包括外排序参数时,或者不包括限制参数且包括外排序参数时,进入步骤308。
步骤308、与上述图2所示流程中的步骤207相同。
步骤309、与上述图2所示流程中的步骤208相同。
步骤310、与上述图2所示流程中的步骤209相同。
步骤311、根据该SQL语句中是否包括索引参数,对得到的和值进行倍数修正,并将修正后得到的结果,作为该SQL语句进行数据库处理操作时所表征的基准行数。
其中,基于SQL语句中索引参数对应的数据库处理操作对数据库系统的负载的影响,可以确定当包括索引参数时,对得到的和值进行倍数修正,且该倍数大于0且小于1,即确定该倍数与该和值的乘积,该倍数也可以称作第三修正阈值,第三修正阈值可以根据实际需要进行设置。
步骤312、确定得到的该SQL语句进行数据库处理操作时所表征的基准行数是否小于行数阈值,如果小于,进入步骤303,如果大于,进入步骤313。
其中,行数阈值可以根据数据库系统的特性和实际需要进行灵活设置。
步骤313、如果该基准行数不小于行数阈值,表示该SQL语句会引起数据库系统负载的较大增长,从而导致数据库系统的运行性能明显降低,所以确定取消按照该SQL语句进行数据库处理操作,具体可以取消将该SQL语句转发至数据库系统,并可以向请求的应用客户端返回错误响应。
采用本发明实施例2提供的上述方案,同样能够有效过滤掉导致数据库负载较大的SQL语句,从而提高了数据库运行性能。
实施例3:
基于同一发明构思,根据本发明上述实施例提供的SQL语句处理方法,相应地,本发明实施例3还提供了一种SQL语句处理装置,其结构示意图如图4所示,具体包括:
获取单元401,用于获取请求进行数据库处理操作的SQL语句;
分析单元402,用于对所述SQL语句进行结构分析,得到分析结果;
第一确定单元403,用于根据所述分析结果,确定按照所述SQL语句进行数据库处理操作时所表征的基准行数,所述基准行数为进行数据库处理操作时需要查询的数据行数;
第二确定单元404,用于当确定的所述基准行数小于行数阈值时,确定按照所述SQL语句进行数据库处理操作,否则,确定取消按照所述SQL语句进行数据库处理操作。
进一步的,分析单元402,还用于在对所述SQL语句进行分析之前,确定所述SQL语句为指定类型的SQL语句。
进一步的,分析单元402,具体用于当所述SQL语句为选择类型语句时,按照与选择类型语句对应的分析方式,对所述SQL语句进行结构分析;以及当所述SQL语句为非选择类型语句时,将所述SQL语句转换为选择类型语句,按照与选择类型语句对应的分析方式,对转换后的SQL语句进行结构分析。
进一步的,分析单元402,具体用于对所述SQL语句进行结构分析,确定所述SQL语句包括的各子语句块的类型,以及所述各子语句块表征的基准行数,以及所述SQL语句中是否包括限制参数,以及所述SQL语句中是否包括外排序参数,以及所述SQL语句中是否包括索引参数。
进一步的,第一确定单元403,具体用于按照所述SQL语句所包括的各子语句块从前到后的顺序,对所述各子语句块进行分组,其中,每个分组中的第一个子语句块的类型为简单类型或者原始类型,且每个分组中除第一个子语句块外不包括简单类型和原始类型的子语句块;并针对每个分组包括的各子语句块的类型和表征的基准行数,采用如下步骤确定该分组表征的基准行数:
按照该分组包括的各子语句块的先后顺序,从该分组中第二个子语句块开始,依次确定每个子语句块对应的中间基准行数,并将该分组中最后一个子语句块对应的中间基准行数作为该分组表征的基准行数,其中,当子语句块的类型为联合类型或依赖联合类型时,该子语句块对应的中间基准行数为前一个子语句块对应的中间基准行数和该子语句块表征的基准行数的乘积,当子语句块的类型为子查询类型、依赖子查询类型或派生类型时,该子语句块对应的中间基准行数为前一个子语句块对应的中间基准行数和该子语句块表征的基准行数中的最小值,该分组中的第一个子语句块对应的中间基准行数为第一个子语句块表征的基准行数;
确定各分组表征的基准行数的和值;并根据所述SQL语句中是否包括限制参数,以及是否包括外排序参数,对所述和值进行加减修正,得到第一修正值;以及根据所述SQL语句中是否包括索引参数,对所述第一修正值进行倍数修正,得到所述SQL语句进行数据库处理操作时所表征的基准行数。
进一步的,第一确定单元403,还用于在确定按照所述SQL语句进行数据库处理操作时所表征的基准行数之前,确定所述SQL语句中不包括限制参数,以及所述SQL语句中包括外排序参数。
进一步的,第一确定单元403,具体用于按照所述SQL语句所包括的各子语句块从前到后的顺序,对所述各子语句块进行分组,其中,每个分组中的第一个子语句块的类型为简单类型或者原始类型,且每个分组中除第一个子语句块外不包括简单类型和原始类型的子语句块;并针对每个分组包括的各子语句块的类型和表征的基准行数,采用如下步骤确定该分组表征的基准行数:
按照该分组包括的各子语句块的先后顺序,从该分组中第二个子语句块开始,依次确定每个子语句块对应的中间基准行数,并将该分组中最后一个子语句块对应的中间基准行数作为该分组表征的基准行数,其中,当子语句块的类型为联合类型或依赖联合类型时,该子语句块对应的中间基准行数为前一个子语句块对应的中间基准行数和该子语句块表征的基准行数的乘积,当子语句块的类型为子查询类型、依赖子查询类型或派生类型时,该子语句块对应的中间基准行数为前一个子语句块对应的中间基准行数和该子语句块表征的基准行数中的最小值,该分组中的第一个子语句块对应的中间基准行数为第一个子语句块表征的基准行数;
确定各分组表征的基准行数的和值;并根据所述SQL语句中是否包括索引参数,对所述和值进行倍数修正,得到所述SQL语句进行数据库处理操作时所表征的基准行数。
上述各模块的功能可对应于图1至图3所示流程中的相应处理步骤,在此不再赘述。
综上所述,本发明实施例提供的方案,包括:获取请求进行数据库处理操作的SQL语句;并对该SQL语句进行结构分析,得到分析结果;并根据分析结果,确定按照该SQL语句进行数据库处理操作时所表征的基准行数,基准行数为进行数据库处理操作时需要查询的数据行数;以及当确定的基准行数小于行数阈值时,确定按照该SQL语句进行数据库处理操作,否则,确定取消按照该SQL语句进行数据库处理操作。采用本发明实施例提供的方案,提高了数据库运行性能。
本申请的实施例所提供的装置可通过计算机程序实现。本领域技术人员应该能够理解,上述的模块划分方式仅是众多模块划分方式中的一种,如果划分为其他模块或不划分模块,只要装置具有上述功能,都应该在本申请的保护范围之内。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (14)
1.一种结构化查询语言SQL语句处理方法,其特征在于,包括:
获取请求进行数据库处理操作的SQL语句;
对所述SQL语句进行结构分析,得到分析结果;
根据所述分析结果,确定按照所述SQL语句进行数据库处理操作时所表征的基准行数,所述基准行数为进行数据库处理操作时需要查询的数据行数;
当确定的所述基准行数小于行数阈值时,确定按照所述SQL语句进行数据库处理操作,否则,确定取消按照所述SQL语句进行数据库处理操作。
2.如权利要求1所述的方法,其特征在于,在对所述SQL语句进行结构分析之前,还包括:
确定所述SQL语句为指定类型的SQL语句。
3.如权利要求1所述的方法,其特征在于,对所述SQL语句进行结构分析,具体包括:
当所述SQL语句为选择类型语句时,按照与选择类型语句对应的分析方式,对所述SQL语句进行结构分析;
当所述SQL语句为非选择类型语句时,将所述SQL语句转换为选择类型语句,按照与选择类型语句对应的分析方式,对转换后的SQL语句进行结构分析。
4.如权利要求1所述的方法,其特征在于,对所述SQL语句进行结构分析,得到分析结果,具体包括:
对所述SQL语句进行结构分析,确定所述SQL语句包括的各子语句块的类型,以及所述各子语句块表征的基准行数,以及所述SQL语句中是否包括限制参数,以及所述SQL语句中是否包括外排序参数,以及所述SQL语句中是否包括索引参数。
5.如权利要求4所述的方法,其特征在于,根据所述分析结果,确定按照所述SQL语句进行数据库处理操作时所表征的基准行数,具体包括:
按照所述SQL语句所包括的各子语句块从前到后的顺序,对所述各子语句块进行分组,其中,每个分组中的第一个子语句块的类型为简单类型或者原始类型,且每个分组中除第一个子语句块外不包括简单类型和原始类型的子语句块;
针对每个分组包括的各子语句块的类型和表征的基准行数,采用如下步骤确定该分组表征的基准行数:
按照该分组包括的各子语句块的先后顺序,从该分组中第二个子语句块开始,依次确定每个子语句块对应的中间基准行数,并将该分组中最后一个子语句块对应的中间基准行数作为该分组表征的基准行数,其中,当子语句块的类型为联合类型或依赖联合类型时,该子语句块对应的中间基准行数为前一个子语句块对应的中间基准行数和该子语句块表征的基准行数的乘积,当子语句块的类型为子查询类型、依赖子查询类型或派生类型时,该子语句块对应的中间基准行数为前一个子语句块对应的中间基准行数和该子语句块表征的基准行数中的最小值,该分组中的第一个子语句块对应的中间基准行数为第一个子语句块表征的基准行数;
确定各分组表征的基准行数的和值;
根据所述SQL语句中是否包括限制参数,以及是否包括外排序参数,对所述和值进行加减修正,得到第一修正值;
根据所述SQL语句中是否包括索引参数,对所述第一修正值进行倍数修正,得到所述SQL语句进行数据库处理操作时所表征的基准行数。
6.如权利要求4所述的方法,其特征在于,在确定按照所述SQL语句进行数据库处理操作时所表征的基准行数之前,还包括:
确定所述SQL语句中不包括限制参数,以及所述SQL语句中包括外排序参数。
7.如权利要求6所述的方法,其特征在于,根据所述分析结果,确定按照所述SQL语句进行数据库处理操作时所表征的基准行数,具体包括:
按照所述SQL语句所包括的各子语句块从前到后的顺序,对所述各子语句块进行分组,其中,每个分组中的第一个子语句块的类型为简单类型或者原始类型,且每个分组中除第一个子语句块外不包括简单类型和原始类型的子语句块;
针对每个分组包括的各子语句块的类型和表征的基准行数,采用如下步骤确定该分组表征的基准行数:
按照该分组包括的各子语句块的先后顺序,从该分组中第二个子语句块开始,依次确定每个子语句块对应的中间基准行数,并将该分组中最后一个子语句块对应的中间基准行数作为该分组表征的基准行数,其中,当子语句块的类型为联合类型或依赖联合类型时,该子语句块对应的中间基准行数为前一个子语句块对应的中间基准行数和该子语句块表征的基准行数的乘积,当子语句块的类型为子查询类型、依赖子查询类型或派生类型时,该子语句块对应的中间基准行数为前一个子语句块对应的中间基准行数和该子语句块表征的基准行数中的最小值,该分组中的第一个子语句块对应的中间基准行数为第一个子语句块表征的基准行数;
确定各分组表征的基准行数的和值;
根据所述SQL语句中是否包括索引参数,对所述和值进行倍数修正,得到所述SQL语句进行数据库处理操作时所表征的基准行数。
8.一种结构化查询语言SQL语句处理装置,其特征在于,包括:
获取单元,用于获取请求进行数据库处理操作的SQL语句;
分析单元,用于对所述SQL语句进行结构分析,得到分析结果;
第一确定单元,用于根据所述分析结果,确定按照所述SQL语句进行数据库处理操作时所表征的基准行数,所述基准行数为进行数据库处理操作时需要查询的数据行数;
第二确定单元,用于当确定的所述基准行数小于行数阈值时,确定按照所述SQL语句进行数据库处理操作,否则,确定取消按照所述SQL语句进行数据库处理操作。
9.如权利要求8所述的装置,其特征在于,所述分析单元,还用于在对所述SQL语句进行分析之前,确定所述SQL语句为指定类型的SQL语句。
10.如权利要求8所述的装置,其特征在于,所述分析单元,具体用于当所述SQL语句为选择类型语句时,按照与选择类型语句对应的分析方式,对所述SQL语句进行结构分析;以及当所述SQL语句为非选择类型语句时,将所述SQL语句转换为选择类型语句,按照与选择类型语句对应的分析方式,对转换后的SQL语句进行结构分析。
11.如权利要求8所述的装置,其特征在于,所述分析单元,具体用于对所述SQL语句进行结构分析,确定所述SQL语句包括的各子语句块的类型,以及所述各子语句块表征的基准行数,以及所述SQL语句中是否包括限制参数,以及所述SQL语句中是否包括外排序参数,以及所述SQL语句中是否包括索引参数。
12.如权利要求11所述的装置,其特征在于,所述第一确定单元,具体用于按照所述SQL语句所包括的各子语句块从前到后的顺序,对所述各子语句块进行分组,其中,每个分组中的第一个子语句块的类型为简单类型或者原始类型,且每个分组中除第一个子语句块外不包括简单类型和原始类型的子语句块;并针对每个分组包括的各子语句块的类型和表征的基准行数,采用如下步骤确定该分组表征的基准行数:
按照该分组包括的各子语句块的先后顺序,从该分组中第二个子语句块开始,依次确定每个子语句块对应的中间基准行数,并将该分组中最后一个子语句块对应的中间基准行数作为该分组表征的基准行数,其中,当子语句块的类型为联合类型或依赖联合类型时,该子语句块对应的中间基准行数为前一个子语句块对应的中间基准行数和该子语句块表征的基准行数的乘积,当子语句块的类型为子查询类型、依赖子查询类型或派生类型时,该子语句块对应的中间基准行数为前一个子语句块对应的中间基准行数和该子语句块表征的基准行数中的最小值,该分组中的第一个子语句块对应的中间基准行数为第一个子语句块表征的基准行数;
确定各分组表征的基准行数的和值;并根据所述SQL语句中是否包括限制参数,以及是否包括外排序参数,对所述和值进行加减修正,得到第一修正值;以及根据所述SQL语句中是否包括索引参数,对所述第一修正值进行倍数修正,得到所述SQL语句进行数据库处理操作时所表征的基准行数。
13.如权利要求11所述的装置,其特征在于,所述第一确定单元,还用于在确定按照所述SQL语句进行数据库处理操作时所表征的基准行数之前,确定所述SQL语句中不包括限制参数,以及所述SQL语句中包括外排序参数。
14.如权利要求13所述的装置,其特征在于,所述第一确定单元,具体用于按照所述SQL语句所包括的各子语句块从前到后的顺序,对所述各子语句块进行分组,其中,每个分组中的第一个子语句块的类型为简单类型或者原始类型,且每个分组中除第一个子语句块外不包括简单类型和原始类型的子语句块;并针对每个分组包括的各子语句块的类型和表征的基准行数,采用如下步骤确定该分组表征的基准行数:
按照该分组包括的各子语句块的先后顺序,从该分组中第二个子语句块开始,依次确定每个子语句块对应的中间基准行数,并将该分组中最后一个子语句块对应的中间基准行数作为该分组表征的基准行数,其中,当子语句块的类型为联合类型或依赖联合类型时,该子语句块对应的中间基准行数为前一个子语句块对应的中间基准行数和该子语句块表征的基准行数的乘积,当子语句块的类型为子查询类型、依赖子查询类型或派生类型时,该子语句块对应的中间基准行数为前一个子语句块对应的中间基准行数和该子语句块表征的基准行数中的最小值,该分组中的第一个子语句块对应的中间基准行数为第一个子语句块表征的基准行数;
确定各分组表征的基准行数的和值;并根据所述SQL语句中是否包括索引参数,对所述和值进行倍数修正,得到所述SQL语句进行数据库处理操作时所表征的基准行数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210361178.XA CN102915344B (zh) | 2012-09-25 | 2012-09-25 | 一种sql语句处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210361178.XA CN102915344B (zh) | 2012-09-25 | 2012-09-25 | 一种sql语句处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102915344A true CN102915344A (zh) | 2013-02-06 |
CN102915344B CN102915344B (zh) | 2014-06-18 |
Family
ID=47613711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210361178.XA Active CN102915344B (zh) | 2012-09-25 | 2012-09-25 | 一种sql语句处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102915344B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104424447A (zh) * | 2013-09-02 | 2015-03-18 | 中国移动通信集团四川有限公司 | 一种构建数据库防火墙的方法和装置 |
CN104809146A (zh) * | 2014-01-28 | 2015-07-29 | 远升科技股份有限公司 | 用于确定对象在对象序列中的索引的系统和方法 |
CN104820663A (zh) * | 2014-01-30 | 2015-08-05 | 西门子公司 | 发现低性能的sql语句以及预测sql语句性能的方法和装置 |
CN105447408A (zh) * | 2015-12-03 | 2016-03-30 | 曙光信息产业(北京)有限公司 | 一种数据保护方法及装置 |
CN106845263A (zh) * | 2015-12-04 | 2017-06-13 | 阿里巴巴集团控股有限公司 | 一种访问数据库的方法、装置及电子设备 |
CN106919612A (zh) * | 2015-12-25 | 2017-07-04 | 中国移动通信集团浙江有限公司 | 一种上线结构化查询语言脚本的处理方法及装置 |
CN109947791A (zh) * | 2019-03-27 | 2019-06-28 | 上海达梦数据库有限公司 | 一种数据库语句优化方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7406463B2 (en) * | 2004-11-04 | 2008-07-29 | International Business Machines Corporation | Advanced scrolling for relational database applications |
CN102053961A (zh) * | 2009-10-27 | 2011-05-11 | 中兴通讯股份有限公司 | Sql语句的检验方法、装置及提高数据库可靠性的系统 |
CN102567546A (zh) * | 2012-01-18 | 2012-07-11 | 北京神州绿盟信息安全科技股份有限公司 | 一种sql注入检测方法及装置 |
-
2012
- 2012-09-25 CN CN201210361178.XA patent/CN102915344B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7406463B2 (en) * | 2004-11-04 | 2008-07-29 | International Business Machines Corporation | Advanced scrolling for relational database applications |
CN102053961A (zh) * | 2009-10-27 | 2011-05-11 | 中兴通讯股份有限公司 | Sql语句的检验方法、装置及提高数据库可靠性的系统 |
CN102567546A (zh) * | 2012-01-18 | 2012-07-11 | 北京神州绿盟信息安全科技股份有限公司 | 一种sql注入检测方法及装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104424447A (zh) * | 2013-09-02 | 2015-03-18 | 中国移动通信集团四川有限公司 | 一种构建数据库防火墙的方法和装置 |
CN104809146A (zh) * | 2014-01-28 | 2015-07-29 | 远升科技股份有限公司 | 用于确定对象在对象序列中的索引的系统和方法 |
CN104809146B (zh) * | 2014-01-28 | 2018-07-17 | 远升科技股份有限公司 | 用于确定对象在对象序列中的索引的系统和方法 |
CN104820663A (zh) * | 2014-01-30 | 2015-08-05 | 西门子公司 | 发现低性能的sql语句以及预测sql语句性能的方法和装置 |
CN105447408A (zh) * | 2015-12-03 | 2016-03-30 | 曙光信息产业(北京)有限公司 | 一种数据保护方法及装置 |
CN106845263A (zh) * | 2015-12-04 | 2017-06-13 | 阿里巴巴集团控股有限公司 | 一种访问数据库的方法、装置及电子设备 |
CN106845263B (zh) * | 2015-12-04 | 2020-06-26 | 阿里巴巴集团控股有限公司 | 一种访问数据库的方法、装置及电子设备 |
CN106919612A (zh) * | 2015-12-25 | 2017-07-04 | 中国移动通信集团浙江有限公司 | 一种上线结构化查询语言脚本的处理方法及装置 |
CN106919612B (zh) * | 2015-12-25 | 2020-10-16 | 中国移动通信集团浙江有限公司 | 一种上线结构化查询语言脚本的处理方法及装置 |
CN109947791A (zh) * | 2019-03-27 | 2019-06-28 | 上海达梦数据库有限公司 | 一种数据库语句优化方法、装置、设备及存储介质 |
CN109947791B (zh) * | 2019-03-27 | 2021-01-26 | 上海达梦数据库有限公司 | 一种数据库语句优化方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102915344B (zh) | 2014-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102915344B (zh) | 一种sql语句处理方法及装置 | |
CN110908997B (zh) | 数据血缘构建方法、装置、服务器及可读存储介质 | |
CN106168965B (zh) | 知识图谱构建系统 | |
CN107515878B (zh) | 一种数据索引的管理方法及装置 | |
CN105824957A (zh) | 分布式内存列式数据库的查询引擎系统及查询方法 | |
CN106611037A (zh) | 用于分布式图计算的方法与设备 | |
CN105989076A (zh) | 一种数据统计方法以及装置 | |
CN102314336B (zh) | 一种数据处理方法和系统 | |
CN111008020B (zh) | 将逻辑表达式解析为通用查询语句的方法 | |
CN107301214A (zh) | 在hive中数据迁移方法、装置及终端设备 | |
CN108829884A (zh) | 数据映射方法及装置 | |
CN108536745A (zh) | 基于Shell的数据表提取方法、终端、设备及存储介质 | |
CN107391622B (zh) | 一种数据访问方法及设备 | |
CN111309753A (zh) | 结构化查询语句的优化方法、装置、设备及存储介质 | |
CN103902565A (zh) | 一种数据访问关系的确定方法及装置 | |
CN108959571B (zh) | Sql语句的运算方法、装置、终端设备及存储介质 | |
CN108549688B (zh) | 一种数据操作的优化方法、装置、设备和存储介质 | |
CN105701128A (zh) | 一种查询语句的优化方法和装置 | |
CN109040089B (zh) | 网络策略审计方法、设备及计算机可读存储介质 | |
CN115934760A (zh) | 数据库查询语句的优化方法、存储介质与计算机设备 | |
CN103207907B (zh) | 一种索引文件合并方法及装置 | |
CN106970837B (zh) | 一种信息处理方法及电子设备 | |
CN109918277A (zh) | 电子装置、系统日志聚类分析结果的评价方法及存储介质 | |
CN103838574A (zh) | 一种对数据表进行分组汇总的通用方法 | |
CN107729579A (zh) | 数据库分离设计方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230406 Address after: Room 501-502, 5/F, Sina Headquarters Scientific Research Building, Block N-1 and N-2, Zhongguancun Software Park, Dongbei Wangxi Road, Haidian District, Beijing, 100193 Patentee after: Sina Technology (China) Co.,Ltd. Address before: 100080, International Building, No. 58 West Fourth Ring Road, Haidian District, Beijing, 20 floor Patentee before: Sina.com Technology (China) Co.,Ltd. |