CN107025263A

CN107025263A - 用于数据库语句的语句解析方法

Info

Publication number: CN107025263A
Application number: CN201710029732.7A
Authority: CN
Inventors: 周家晶; 裴晨光; 苗浩; 冀乃庚
Original assignee: China Unionpay Co Ltd
Current assignee: China Unionpay Co Ltd
Priority date: 2017-01-16
Filing date: 2017-01-16
Publication date: 2017-08-08
Also published as: EP3570190A4; EP3570190A1; WO2018130142A1; US20190361899A1; US10896180B2

Abstract

一种用于数据库语句的语句解析方法，包括如下步骤：对输入数据库的数据库语句进行词法分析，以获得输入单词序列；依据输入单词序列来查找语句相似性表，以确定语句相似性表中是否存在与输入单词序列相似的现有单词序列；若语句相似性表中存在与输入单词序列相似的现有单词序列，则从语句相似性表中获得相似的现有单词序列对应的解析数据；否则，对输入单词序列进行解析，以获得输入单词序列对应的解析数据，并且将输入单词序列以及对应的解析数据存入语句相似性表中；以及基于对应于相似的现有单词序列或对应于输入单词序列的解析数据，来执行输入数据库的数据库语句。该方法可以快速解析数据库语句，有利于提升数据库的响应速度、工作效率。

Description

用于数据库语句的语句解析方法

技术领域

本发明涉及数据库技术领域，更具体地说，本发明涉及一种用于数据库语句的语句解析方法。

背景技术

语句解析广泛应用于计算机领域，是人类与计算机交互的基础技术之一，实现了类自然语言向机器语言的翻译，例如XML、SQL、C和JAVA语言等，都是语句解析的重要应用。

一般地，语句解析分为2个阶段：词法分析和语法解析，词法分析用于将语句分割为一组单词序列，而语法解析用于根据单词序列构建语法树或其他内部数据结构，语法解析获得的解析结果会用于后续数据计算。

在数据库领域，一种普遍接受的语言是SQL语言，其语言有一套SQL92语法，而各种数据库产品在该语法标准上由有一些各自特殊的的语法。数据库处理的基本逻辑如下：客户端向数据发送一条SQL语句，服务端对SQL语句进行词法分析，然后进行语法解析转换为计算机内部可执行的数据结构。

由于SQL语句是数据库用户和数据库操作之间的桥梁，其语句复杂度较高，差异较大，所以数据库处理中会有大量数据资源用于SQL语句的解析。而为了降低SQL语句解析的性能开销，数据库领域有2种常用解决方法：1)对相同语句复用SQL解析的结果(一般为执行计划)；2)提供prepare语句，由用户将可变数据用“？”代替，以降低语句的差异数量。通过上述2个方案，可以较好的避免对所有语句进行语法解析，提升了数据库服务器的处理性能。

但是，上述现有方案有如下不足：一、解析的复用度过细，只能对完全相同的语句复用解析结果，导致缓存数据量较大；二、使用”？”替换语句中可变内容的方法，对使用者并不是十分友好。此外，上述现有方案主要针对SQL语言特点来设计，在其他语言解析中难以应用，例如，我们很难要求编程人员使用“？”代替其代码中的可变内容，而这只是为了提高编译器的解析速度。

发明内容

本发明的目的在于提供一种用于数据库语句的语句解析方法，其能够独立于数据库语言种类来应用，可以快速解析数据库语句，进一步提升数据库的响应速度、工作效率。

为实现上述目的，本发明提供一种技术方案如下：

一种用于数据库语句的语句解析方法，包括如下步骤：对输入数据库的数据库语句进行词法分析，以获得输入单词序列；依据输入单词序列来查找语句相似性表，以确定语句相似性表中是否存在与输入单词序列相似的现有单词序列；其中，语句相似性表记录各种彼此不同现有单词序列与解析数据之间的对应关系，现有单词序列通过对数据库语句进行词法分析而得到，解析数据由数据库用来执行数据库语句；若语句相似性表中存在与输入单词序列相似的现有单词序列，则从语句相似性表中获得相似的现有单词序列对应的解析数据；否则，对输入单词序列进行解析，以获得输入单词序列对应的解析数据，并且将输入单词序列以及对应的解析数据存入语句相似性表中；以及基于对应于相似的现有单词序列或对应于输入单词序列的解析数据，来执行输入数据库的数据库语句。

优选地，语句相似性表还包括一hash子表，hash子表记录各种彼此不同现有单词序列的hash值与解析数据之间的对应关系；其中，从语句相似性表中获得相似的现有单词序列对应的解析数据具体包括：依据相似的现有单词序列对应的hash值来确定对应于相似的现有单词序列的解析数据。

优选地，确定语句相似性表中是否存在与输入单词序列相似的现有单词序列包括：针对语句相似性表中的每一现有单词序列，比较该现有单词序列与输入单词序列各自的经词法分析所得的单词个数以及单词位置，若单词个数以及单词位置均相同，则判定语句相似性表中存在与输入单词序列相似的现有单词序列。

优选地，现有单词序列的hash值基于如下方式来计算：基于对现有单词序列进行词法分析所得的各单词的位置以及hash值，计算现有单词序列的hash值。

本发明还公开一种数据库，包括一语句解析单元以及一语句相似性表，其中，语句解析单元利用上述方法、以及语句相似性表对输入数据库的数据库语句进行解析。

本发明的另一目的在于提供一种用于数据库语句的语句解析方法，其将语句相似性比较工作部分地交予客户端来完成，以降低数据库的工作负载。

为实现上述目的，本发明提供另一技术方案如下：

一种用于数据库语句的语句解析方法，包括如下步骤：对输入客户端的数据库语句进行词法分析，以获得输入单词序列；依据输入单词序列来查找客户端语句相似性表，以确定客户端语句相似性表中是否存在与输入单词序列相似的现有单词序列；其中，客户端语句相似性表记录各种彼此不同现有单词序列，现有单词序列通过对数据库语句进行词法分析而得到；若客户端语句相似性表中存在与输入单词序列相似的现有单词序列，则客户端向数据库发送相似性语句解析请求；数据库基于相似性语句解析请求来查找数据库端语句相似性表，以确定与相似性语句解析请求对应的解析数据；其中，数据库端语句相似性表记录相似性语句解析请求与解析数据之间的对应关系，解析数据由数据库用来执行数据库语句；数据库基于与相似性语句解析请求对应的解析数据，来执行输入客户段的数据库语句；以及数据库将执行结果返回至客户端；其中，客户端语句相似性表与数据库端语句相似性表一一对应并同步更新。

此外，本发明还公开一种数据库应用系统，包括：数据库服务器，维护一数据库端语句相似性表；以及多个客户端，分别维护一客户端语句相似性表；其中，数据库应用系统利用上述方法来对输入客户端的数据库语句进行解析并执行。

本发明所提供的用于数据库语句的语句解析方法，可以快速解析数据库语句，有利于提升数据库的响应速度、工作效率。其应用场合广、应用成本低，也便于开发人员更高效地进行数据库开发工作。

附图说明

图1示出本发明第一实施例提供的用于数据库语句的语句解析方法的流程示意图。

图2示出本发明第三实施例提供的用于数据库语句的语句解析方法的流程示意图。

具体实施方式

如图1所示，本发明第一实施例提供一种用于数据库语句的语句解析方法，其包括如下各步骤：

步骤S10、对输入数据库的数据库语句进行词法分析，以获得输入单词序列。

步骤S11、依据输入单词序列来查找语句相似性表，以确定语句相似性表中是否存在与输入单词序列相似的现有单词序列。

其中，语句相似性表记录各种彼此不同现有单词序列与解析数据之间的对应关系，现有单词序列通过对数据库语句进行词法分析而得到，解析数据由数据库用来执行数据库语句。

具体地，例如，以如下3条SQL语句为例：

1:select*from tbl1 where a＝123；

2:select*from tbl1 where a＝1；

3:SELECT*FROM tbl1 WHERE A＝3；

进行词法分析以生成单词序列时，单词一般分为：关键字、变量名和值等部分，且不区分大小写，例如语句1会被解析为类似如下的单词序列[select,*,from,tbl1,where,a,＝,123]，其中[select,*,from,where,＝]是关键字，[tbl1,a]是变量名，[123]为值。可以发现语句1-3，具有相似的词法序列。

作为优选的实施方式，语句相似性表还包括一hash子表，hash子表记录各种彼此不同现有单词序列的hash值与解析数据之间的对应关系。

其中，现有单词序列的hash值可基于如下方式来计算：基于对现有单词序列进行词法分析所得的各单词的位置以及hash值，计算现有单词序列的hash值；即，现有单词序列的hash值可以是一种加权组合计算得到的值。

具体地，继续以上述3条SQL语句为例，单词序列的hash值的计算方法例如：

1)对数据库语句进行词法分析，得到单词序列；

2)若单词类型为值，则该单词的hash值为固定值(例如1)；如果该单词的类型为其他值，则该单词的hash值为对应单词转换为小写字符串的hash值；

3)初始化sql_hash的值(例如sql_hash＝7)；

4)从头开始顺序遍历各单词，执行如下伪代码，对各单词的hash值进行位移求和：

sql_hash＝sql_hash<<3+hash(当前单词)

5)最终sql_hash就是单词序列的hash值。

通过本方法，可以发现上述3条SQL语句1、语句2和语句3的单词序列hash值是一样的。

在该步骤S11中，具体地，确定语句相似性表中是否存在与输入单词序列相似的现有单词序列可按照如下方式来实现：针对语句相似性表中的每一现有单词序列，比较该现有单词序列与输入单词序列各自的经词法分析所得的单词个数以及单词位置，若单词个数以及单词位置均相同，则判定语句相似性表中存在与输入单词序列相似的现有单词序列。若单词个数不相似或单词位置不相似，则判定不存在与输入单词序列相似的现有单词序列。

为了提供数据库的响应速度，优选地为语句相似性表在数据库的缓存中设置一副本，通过查找缓存中的副本，可以更快速地确定语句相似性表中是否存在与输入单词序列相似的现有单词序列。

步骤S120、若语句相似性表中存在与输入单词序列相似的现有单词序列，则从语句相似性表中获得相似的现有单词序列对应的解析数据。

在语句相似性表还包括hash子表的情况下，相应地，在该步骤中，依据相似的现有单词序列对应的hash值来确定对应于相似的现有单词序列的解析数据。本领域技术人员可以理解，依据hash值，能够促进确定解析数据的效率、以及提升确定解析数据的准确率。

步骤S121，若语句相似性表中不存在与输入单词序列相似的现有单词序列，则对输入单词序列进行解析，以获得输入单词序列对应的解析数据，并且将输入单词序列以及对应的解析数据存入语句相似性表中。

步骤S13、基于对应于相似的现有单词序列或对应于输入单词序列的解析数据，来执行输入数据库的数据库语句。

可以理解，根据本发明上述第一实施例，通过确定语句相似性表中有无与输入单词序列相似的现有单词序列，并在存在相似现有单词序列的情况下，可以快速获得解析数据而直接应用，这种语句解析方法可以快速解析数据库语句，有利于提升数据库的响应速度、工作效率。

此外，该第一实施例能够与数据库语言无关地执行，从而可以适应于各种数据库语言，适用场景更广；其也为数据库开发人员提供了更加便利的开发模式。

作为对上述第一实施例的进一步改进，数据库也可以为数据库语句分配相似性标志，相似语句之间有相同的标志，不相似语句的相似性标志则不同。优选地，相似标志在服务器向语句相似性表中插入新记录时产生，其唯一标识产生规则可以例如采用如下方法：1)依次累加，2)使用相似性hash中缓存值对应的内存地址等。数据库可以维护相似性标志与解析数据之间的对应关系，例如使用数组或内存地址查找等，即通过相识性标志可以唯一地找到对应相似语句的解析数据。

本发明第二实施例提供一种数据库(附图未示出)，该数据库包括一语句解析单元以及一语句相似性表，其中，语句解析单元利用上述第一实施例中提供的方法、以及语句相似性表对输入数据库的数据库语句进行解析。

本发明第三实施例提供另一种用于数据库语句的语句解析方法，其包括如下步骤：

步骤S30、对输入客户端的数据库语句进行词法分析，以获得输入单词序列。

步骤S31、依据输入单词序列来查找客户端语句相似性表，以确定客户端语句相似性表中是否存在与输入单词序列相似的现有单词序。

其中，客户端语句相似性表记录各种彼此不同现有单词序列，现有单词序列通过对数据库语句进行词法分析而得到。

步骤S32、若客户端语句相似性表中存在与输入单词序列相似的现有单词序列，则客户端向数据库发送相似性语句解析请求。

步骤S33、数据库基于相似性语句解析请求来查找数据库端语句相似性表，以确定与相似性语句解析请求对应的解析数据。

其中，数据库端语句相似性表记录相似性语句解析请求与解析数据之间的对应关系，解析数据由数据库用来执行数据库语句。

步骤S34、数据库基于与相似性语句解析请求对应的解析数据，来执行输入客户段的数据库语句。

步骤S35、数据库将执行结果返回至客户端。

根据该第三实施例，客户端语句相似性表与数据库端语句相似性表一一对应并同步更新。

作为对上述第三实施例的一种改进方式，客户端可以向服务器(数据库)发送数据库语句执行请求，服务器则向客户端应答执行结果。数据库为数据库语句分配相似性标志，并将相似性标志告知客户端；相似语句之间有相同的标志，不相似语句的相似性标志则不同。

具体地，客户端对数据库语句进行词法分析，随后，本地查找语句相似性标志，若存在与其对应的语句相似性标志，则发送语句相似性标志到服务器，服务器(数据库)根据相似性标志查找对应的可复用解析数据并直接应用；若客户端未查找到语句相似性标志，则直接发送经词法分析所得的单词序列给服务器，收到应答后，服务器进行解析，并生成新的语句相似性标志。

上述第三实施例针对客户端/服务器的应用场景，将词法分析和语句相似性表的查找过程分散到客户端来执行，这显著降低了服务器(数据库)的工作负载，从而提高了服务器端处理数据的能力。

本发明第四实施例提供一种数据库应用系统，包括：数据库服务器，其维护一数据库端语句相似性表；以及多个客户端，各自分别维护一客户端语句相似性表。其中，数据库应用系统利用上述第三实施例中提供的方法来对输入客户端的数据库语句进行解析并执行。

上述说明仅针对于本发明的优选实施例，并不在于限制本发明的保护范围。本领域技术人员可作出各种变形设计，而不脱离本发明的思想及附随的权利要求。

Claims

1.一种用于数据库语句的语句解析方法，包括如下步骤：

对输入数据库的所述数据库语句进行词法分析，以获得输入单词序列；

依据所述输入单词序列来查找语句相似性表，以确定所述语句相似性表中是否存在与所述输入单词序列相似的现有单词序列；其中，所述语句相似性表记录各种彼此不同所述现有单词序列与解析数据之间的对应关系，所述现有单词序列通过对所述数据库语句进行词法分析而得到，所述解析数据由所述数据库用来执行所述数据库语句；

若所述语句相似性表中存在与所述输入单词序列相似的所述现有单词序列，则从所述语句相似性表中获得所述相似的现有单词序列对应的所述解析数据；否则，对所述输入单词序列进行解析，以获得所述输入单词序列对应的所述解析数据，并且将所述输入单词序列以及对应的所述解析数据存入所述语句相似性表中；以及

基于对应于所述相似的现有单词序列或对应于所述输入单词序列的所述解析数据，来执行所述输入数据库的所述数据库语句。

2.根据权利要求1所述的方法，其特征在于，所述语句相似性表还包括一hash子表，所述hash子表记录各种彼此不同所述现有单词序列的hash值与所述解析数据之间的对应关系；

其中，从所述语句相似性表中获得所述相似的现有单词序列对应的所述解析数据具体包括：依据所述相似的现有单词序列对应的hash值来确定对应于所述相似的现有单词序列的所述解析数据。

3.根据权利要求1所述的方法，其特征在于，确定所述语句相似性表中是否存在与所述输入单词序列相似的现有单词序列包括：

针对所述语句相似性表中的每一所述现有单词序列，比较该现有单词序列与所述输入单词序列各自的经词法分析所得的单词个数以及单词位置，若所述单词个数以及单词位置均相同，则判定所述所述语句相似性表中存在与所述输入单词序列相似的所述现有单词序列。

4.根据权利要求2所述的方法，其特征在于，所述现有单词序列的hash值基于如下方式来计算：

基于对所述现有单词序列进行词法分析所得的各单词的位置以及hash值，计算所述现有单词序列的hash值。

5.根据权利要求1所述的方法，其特征在于，所述语句相似性表在所述数据库的缓存中设置一副本。

6.一种数据库，包括一语句解析单元以及一语句相似性表，其特征在于，所述语句解析单元利用如权利要求1-5中任一项所述的方法、以及所述语句相似性表对输入所述数据库的数据库语句进行解析。

7.一种用于数据库语句的语句解析方法，包括如下步骤：

对输入客户端的所述数据库语句进行词法分析，以获得输入单词序列；

依据所述输入单词序列来查找客户端语句相似性表，以确定所述客户端语句相似性表中是否存在与所述输入单词序列相似的现有单词序列；其中，所述客户端语句相似性表记录各种彼此不同所述现有单词序列，所述现有单词序列通过对所述数据库语句进行词法分析而得到；

若所述客户端语句相似性表中存在与所述输入单词序列相似的所述现有单词序列，则所述客户端向数据库发送相似性语句解析请求；

所述数据库基于所述相似性语句解析请求来查找数据库端语句相似性表，以确定与所述相似性语句解析请求对应的解析数据；其中，所述数据库端语句相似性表记录所述相似性语句解析请求与所述解析数据之间的对应关系，所述解析数据由所述数据库用来执行所述数据库语句；

所述数据库基于与所述相似性语句解析请求对应的所述解析数据，来执行所述输入客户段的所述数据库语句；以及

所述数据库将执行结果返回至所述客户端；

其中，所述客户端语句相似性表与所述数据库端语句相似性表一一对应并同步更新。

8.一种数据库应用系统，包括：

数据库服务器，维护一数据库端语句相似性表；以及

多个客户端，分别维护一客户端语句相似性表；

其中，所述数据库应用系统利用如权利要求7所述的方法来对输入所述客户端的数据库语句进行解析并执行。