CN113377808A - Sql优化方法和装置 - Google Patents

Abstract

本发明公开了一种SQL优化方法和装置，涉及计算机技术领域。其中，该方法包括：对源数据集对应的SQL进行解析，根据解析结果和预先配置的SQL结构数据模型构建SQL结构数据对象；响应于查询请求，根据所述查询请求构建查询参数对象；根据所述查询参数对象对所述SQL结构数据对象进行优化调整，以得到优化调整后的SQL结构数据对象；根据所述优化调整后的SQL结构数据对象生成对应于所述查询请求的查询SQL。通过以上步骤，能够提高SQL优化的处理效率，降低SQL优化的处理难度，改善SQL优化的处理效果。

Description

SQL优化方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种SQL优化方法和装置。

背景技术

当前数据可视化平台在进行可视化分析时，通常采用构建查询SQL(结构化查询语言)的方式实现数据分析。在现有技术中，在生成查询SQL后，在提交给查询引擎执行前，通过引入第三方工具进行查询SQL优化以提升查询性能。

在实现本发明的过程中，本发明的发明人发现现有的SQL优化方案存在以下问题：在生成SQL后再对SQL进行优化存在重复解析SQL结构等重复性处理问题，以及原始SQL结构复杂度高无法有效解析出原始SQL的结构再进行优化的问题；第三方工具语法校验严格，一些语法不支持使用，且整体上对SQL的优化程度差。

发明内容

有鉴于此，本发明提供了一种SQL优化方法和装置，能够提高SQL优化的处理效率，降低SQL优化的处理难度，改善SQL优化的处理效果。

为实现上述目的，根据本发明的第一个方面，提供了一种SQL优化方法。

本发明的SQL优化方法包括：对源数据集对应的SQL进行解析，根据解析结果和预先配置的SQL结构数据模型构建SQL结构数据对象；响应于查询请求，根据所述查询请求构建查询参数对象；根据所述查询参数对象对所述SQL结构数据对象进行优化调整，以得到优化调整后的SQL结构数据对象；根据所述优化调整后的SQL结构数据对象生成对应于所述查询请求的查询SQL。

可选地，所述SQL结构数据模型包括：查询子句对应的模型部分、来源表子句对应的模型部分、过滤条件子句对应的模型部分、聚合子句对应的模型部分、排序子句对应的模型部分、以及结果筛选子句对应的模型部分。

可选地，所述对源数据集对应的SQL进行解析，根据解析结果和预先配置的SQL结构数据模型构建SQL结构数据对象包括以下至少一项：对源数据集对应的SQL中的查询子句进行解析，以根据解析结果填充所述查询子句对应的模型部分；对源数据集对应的SQL中的来源表子句和过滤条件子句进行解析，以根据解析结果填充来源表子句对应的模型部分和过滤条件子句对应的模型部分；对源数据集对应的SQL中的聚合子句进行解析，以根据解析结果填充聚合子句对应的模型部分；对源数据集对应的SQL中的排序子句进行解析，以根据解析结果填充排序子句对应的模型部分；对源数据集对应的结果筛选子句进行解析，以根据解析结果填充结果筛选子句对应的模型部分。

可选地，所述方法还包括：在所述根据所述查询参数对象对所述SQL结构数据对象进行优化调整之前，根据所述查询参数对象和所述SQL结构数据对象确定待生成的查询SQL的类型；所述查询SQL的类型包括：使用from子查询的SQL、不使用from子查询的SQL。

可选地，所述根据所述查询参数对象和所述SQL结构数据对象确定待生成的查询SQL的类型包括：判断所述查询参数对象是否没有维度字段且各指标字段均无聚合；若是，确定待生成的查询SQL的类型为不使用from子查询的SQL；若否，在所述查询参数对象和所述SQL结构数据对象满足以下任一条件时，确定待生成的查询SQL的类型为使用from子查询的SQL：所述SQL结构数据对象表明源数据集对应的SQL为聚合单条SQL；或者，所述SQL结构数据对象表明源数据集对应的SQL为非单纯聚合的SQL；或者，所述SQL结构数据对象表明源数据集对应的SQL为联合查询且存在多个所有列查询项；或者，所述查询参数对象中的维度项不是所述源数据集对应的SQL中的聚合项的子集。

可选地，在所述查询SQL的类型为使用from子查询的SQL时，所述按照所述待生成的查询SQL的类型对所述SQL结构数据对象进行优化调整包括以下至少一项：根据查询参数对象中的过滤条件字段查询SQL结构数据对象中查询子句对应的模型部分，以找到与所述过滤条件字段匹配的原始字段，根据所述原始字段和所述过滤条件字段的字段取值生成过滤项，并将所述过滤项添加至所述SQL结构数据对象中过滤条件子句对应的模型部分；根据查询参数对象中的维度字段和指标字段查询SQL结构数据对象中查询子句对应的模型部分，以找到与之匹配的原始字段，将所述查询子句对应的模型部分中与之不匹配的原始字段删除。

可选地，在所述查询SQL的类型为不使用from子查询的SQL时，所述按照所述待生成的查询SQL的类型对所述SQL结构数据对象进行优化调整包括以下至少一项：根据查询参数对象中的过滤条件字段查询SQL结构数据对象中查询子句对应的模型部分以找到与所述过滤条件字段匹配的原始字段，根据所述原始字段和所述过滤条件字段的字段取值生成过滤项，并将所述过滤项添加至所述SQL结构数据对象中过滤条件子句对应的模型部分；根据查询参数对象中的维度字段查询所述SQL结构数据对象中查询子句对应的模型部分以找到与所述维度字段匹配的原始字段，根据与所述维度字段匹配的原始字段替换聚合子句对应的模型部分中的原始字段；根据查询参数对象中的维度字段和指标字段查询SQL结构数据对象中查询子句对应的模型部分以找到与之匹配的原始字段，根据所述与之匹配的原始字段以及所述查询参数对象中的维度字段别名和指标字段别名生成查询项，将所述查询项添加至所述SQL结构数据对象中查询子句对应的模型部分；根据查询参数对象中的排序字段查询所述SQL结构数据对象中查询子句对应的模型部分以找到与之匹配的原始字段，将所述与之匹配的原始字段添加至所述SQL结构数据对象中排序子句对应的模型部分；根据查询参数对象中的结果筛选字段查询所述SQL结构数据对象中查询子句对应的模型部分以找到与之匹配的原始字段，将所述与之匹配的原始字段添加至所述SQL结构数据对象中结果筛选子句对应的模型部分。

为实现上述目的，根据本发明的第二个方面，提供了一种SQL优化装置。

本发明的SQL优化装置包括：第一构建模块，用于对源数据集对应的SQL进行解析，根据解析结果和预先配置的SQL结构数据模型构建SQL结构数据对象；第二构建模块，用于响应于查询请求，根据所述查询请求构建查询参数对象；优化调整模块，用于根据所述查询参数对象对所述SQL结构数据对象进行优化调整，以得到优化调整后的SQL结构数据对象；生成模块，用于根据所述优化调整后的SQL结构数据对象生成对应于所述查询请求的查询SQL。

为实现上述目的，根据本发明的第三个方面，提供了一种电子设备。

本发明的电子设备，包括：一个或多个处理器；以及，存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明的SQL优化方法。

为实现上述目的，根据本发明的第四个方面，提供了一种计算机可读介质。

本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明的出库处理方法。

上述发明中的一个实施例具有如下优点或有益效果：在本发明中，通过在查询处理之前预解析源数据集对应的SQL，在查询处理时根据查询参数对象对SQL结构数据对象进行优化调整，并根据优化调整后的SQL结构数据对象和查询参数对象生成查询SQL，实现了在SQL生成阶段进行SQL优化，提高了SQL优化的处理效率，降低了SQL优化的处理难度，改善了SQL优化的处理效果。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是本发明实施例可以应用于其中的示例性系统架构图；

图2是根据本发明第一实施例的SQL优化方法的主要流程示意图；

图3是根据本发明第二实施例的源数据集SQL解析步骤的示例性流程示意图；

图4是根据本发明第二实施例的参数模型的示例性示意图；

图5是根据本发明第二实施例的SQL生成处理步骤的示例性流程示意图；

图6是根据本发明第三实施例的SQL优化装置的主要模块示意图；

图7是适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要指出的是，在不影响本发明实施的情况下，本发明中的各个实施例以及实施例中的技术特征可以相互组合。

图1示出了可以应用本发明实施例的SQL优化方法或SQL优化装置的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如数据可视化分析类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的数据可视化分析类应用提供支持的后台管理服务器。例如，后台管理服务器可以对终端设备通过网络发送的数据查询请求等进行处理，并将处理结果(比如数据查询结果)反馈给终端设备。

需要说明的是，本发明实施例所提供的SQL优化方法一般由服务器105执行，相应地，SQL优化装置一般设置于服务器105中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

第一实施例

图2是根据本发明第一实施例的SQL优化方法的主要流程示意图。如图2所示，本发明实施例的SQL优化方法包括：

步骤S201：对源数据集对应的SQL进行解析，根据解析结果和预先配置的SQL结构数据模型构建SQL结构数据对象。

其中，所述SQL结构数据模型包括多个SQL子句对应的模型部分。示例性地，所述SQL结构数据模型包括：查询子句对应的模型部分、来源表子句对应的模型部分、过滤条件子句对应的模型部分、聚合子句对应的模型部分、排序子句对应的模型部分、以及结果筛选子句对应的模型部分。进一步，所述SQL结构数据模型可设计如下：

其中，“private JdpSqlSelect selectExpr”为查询子句对应的模型部分的定义；“private String fromExp”为来源表子句对应的模型部分的定义；“private StringwhereExpr”为过滤条件子句对应的模型部分的定义、“private JdpSqlGroupBygroupByExpr”为聚合子句对应的模型部分的定义、“private String orderExpr”为排序子句对应的模型部分的定义；“private JdpSqlLimit limit”为结果筛选子句对应的模型部分的定义。

在步骤S201中，对源数据集对应的SQL的各部分结构进行解析，根据各部分结构的解析结果对SQL结构数据模型进行填充，以得到SQL结构数据对象。

步骤S202：响应于查询请求，根据所述查询请求构建查询参数对象。

示例性地，所述查询请求中携带查询参数。在接收到查询请求后，对所述查询请求进行解析，根据解析出的查询参数构建查询参数对象。其中，所述查询参数对象可包括维度字段、指标字段、过滤条件字段、排序字段、以及结果筛选字段等信息中的至少一项。

步骤S203：根据所述查询参数对象对所述SQL结构数据对象进行优化调整，以得到优化调整后的SQL结构数据对象。

在该步骤中，根据查询参数对象对SQL结构数据对象中的SQL子句对应的模型部分进行相应的优化调整，包括但不限于谓词下推、消除冗余聚合等优化调整。

可选地，在步骤S203之前，本发明实施例的方法还包括以下步骤：根据所述查询参数对象和所述SQL结构数据对象确定待生成的查询SQL的类型，以便根据所述待生成的查询SQL的类型采取相应的优化调整方式。其中，所述查询SQL的类型包括：使用from子查询的SQL、不使用from子查询的SQL。

步骤S204：根据所述优化调整后的SQL结构数据对象生成对应于所述查询请求的查询SQL。

在本发发明实施例中，通过在查询处理之前预解析源数据集对应的SQL，在查询处理时根据查询参数对象对SQL结构数据对象进行优化调整，并根据优化调整后的SQL结构数据对象生成查询SQL，实现了在SQL生成阶段进行SQL优化，提高了SQL优化的处理效率，降低了SQL优化的处理难度，改善了SQL优化的处理效果。

第二实施例

本发明实施例提供了一种SQL优化方法，该方法在第一实施例所示处理流程的基础上做出了进一步改进，改进之处主要体现在源数据集解析步骤以及SQL生成步骤。以下结合图3至图5进行详细说明。

图3是根据本发明第二实施例的源数据集SQL解析步骤的示例性流程示意图。如图3所示，本发明实施例的源数据集SQL解析步骤包括：

步骤S301：对源数据集对应的SQL中的查询子句进行解析，以根据解析结果填充所述查询子句对应的模型部分。

示例性地，在步骤S301中，解析出源数据集中每一个查询子句(比如select子句)的原始字段、来源表、别名、以及字段类型等信息。其中，原始字段、来源表用于在后续进行SQL结构数据对象优化调整时通过该信息找出真正的查询条件、以便将真正的查询条件添加至最终生成的SQL过滤条件子句中；别名以及原始字段用于在后续进行SQL结构数据对象优化调整时查找出真正的对应字段；字段类型用于后续判断源数据集对应的SQL的类型。其中，字段类型包括：存在聚合字段、不存在聚合字段、非聚合查询、所有列查询(*查询)等类型。在解析出查询子句中的信息后，根据解析结果填充SQL结构数据对象中查询子句对应的模型部分。具体实施时，针对于不同的数据源比如mysql、presto等，采用不同的解析包进行SQL的AST(抽象语法树)解析。

示例性地，SQL结构数据模型中查询子句对应的模型部分的结构可定义如下：

其中，“private List<JdpSqlSelectItem>orinalSelectItems”为各查询项字段的定义；“private List<String>selectExprList；”为各查询项原始片段的定义。

进一步，各查询项字段的结构可定义如下：

其中，“private String sqlColumSchema”为查询的字段schema(函数表达式时为空)的定义；“private String sqlColum”为查询的字段(不带schema)或函数表达式的定义；“private String sqlColumAlias”为查询的别名的定义；“private StringsqlItemtype”为字段类型的定义。

步骤S302：对源数据集对应的SQL中的来源表子句和过滤条件子句进行解析，以根据解析结果填充来源表子句对应的模型部分和过滤条件子句对应的模型部分。

示例性地，对源数据集对应的SQL中的来源表子句(比如from子句)和过滤条件子句(比如where子句)进行解析，解析出源数据集中每一个来源表子句和过滤条件子句中的原始字段等信息。在解析出来源表子句和过滤条件子句中的信息后，根据解析结果填充SQL结构数据对象中来源表子句和过滤条件子句对应的模型部分。

步骤S303：对源数据集对应的SQL中的聚合子句进行解析，以根据解析结果填充聚合子句对应的模型部分。

示例性地，解析出源数据集中每一个聚合子句(比如group by子句)的原始字段、来源表以及字段类型等信息。其中，原始字段、来源表用于在后续进行SQL结构数据对象优化调整时通过该信息找出真正的聚合字段；字段类型用于在后续进行SQL结构数据对象优化调整时据此判断源数据集对应的SQL的类型。其中，字段类型包括是否简单聚合等类型。在解析出聚合子句中的信息后，根据解析结果填充SQL结构数据对象中聚合子句对应的模型部分。

步骤S304：对源数据集对应的SQL中的排序子句进行解析，以根据解析结果填充排序子句对应的模型部分。

示例性地，对源数据集对应的SQL中的排序子句(比如order by子句)进行解析，解析出源数据集中每一个排序子句中的原始字段等信息。在解析出排序子句中的信息后，根据解析结果填充SQL结构数据对象中排序子句对应的模型部分。

步骤S305：对源数据集对应的结果筛选子句进行解析，以根据解析结果填充结果筛选子句对应的模型部分。

示例性地，对源数据集对应的SQL中的结果筛选子句(比如limit子句)进行解析，解析出源数据集中每一个结果筛选子句中的原始字段等信息。在解析出结果筛选子句中的信息后，根据解析结果填充SQL结构数据对象中结果筛选子句对应的模型部分。

在具体实施时，根据源数据集对应的SQL的不同，可相应地执行步骤S301至步骤S305中的一个或多个步骤。

在本发明实施例中，通过以上步骤实现了在查询处理之前对源数据集对应的SQL的预解析以及根据预解析结果生成了SQL结构数据对象。这样一来，在查询处理时可直接基于预先生成的SQL结构数据对象进行优化调整等后续操作，极大提高了SQL优化的处理效率。

图4是根据本发明第二实施例的参数模型的示例性示意图。如图4所示，参数模型包括数据模型、组件数据相关配置。其中，数据模型相关配置包括：源SQL(即源数据集对应的SQL)以及数据源类型；组件数据相关配置包括：维度字段、指标字段、过滤描述器、排序描述器、结果筛选描述器。其中，维度字段涉及的参数包括：字段名称、字段别名、数据库表名；指标字段涉及的参数包括：字段名称、字段别名、聚合类型；过滤描述器涉及的参数包括：过滤信息；排序描述器涉及的参数包括：排序类型；结果筛选描述器涉及的参数包括：展示条数和偏移量。在本发明实施例中，可基于图4所示参数模型进行数据查询。

图5是根据本发明第二实施例的SQL生成处理步骤的示例性流程示意图。如图5所示，本发明实施例的SQL生成处理步骤包括：

步骤S401：根据所述查询参数对象和所述SQL结构数据对象确定待生成的查询SQL的类型。

其中，所述待生成的查询SQL的类型包括：使用from子查询的SQL、不使用from子查询的SQL。

示例性地，所述根据所述查询参数对象和所述SQL结构数据对象确定待生成的查询SQL的类型包括：

步骤a1：判断所述查询参数对象是否没有维度字段且各指标字段均无聚合。

若步骤a1的判断结果为是，确定待生成的查询SQL的类型为不使用from子查询的SQL，也就是说，明细查询均采用非from子查询的方式；若步骤a1的判断结果为否，执行步骤a2。

步骤a2：判断所述查询参数对象和所述SQL结构数据对象是否满足以下任一条件：

条件1：所述SQL结构数据对象表明源数据集对应的SQL为聚合单条SQL；

具体来说，当源数据集的SQL中的select子句中存在聚合字段，且无group子句、以及无from部分或from dual部分时，源数据集对应的SQL为聚合单条SQL。

条件2：所述SQL结构数据对象表明源数据集对应的SQL为非单纯聚合的SQL。

比如，源数据集对应的SQL中含有grouping set、或者group by having，均表明其为非单纯聚合的SQL。

条件3：所述SQL结构数据对象表明源数据集对应的SQL为联合查询且存在多个所有列查询项。

比如，源数据集对应的SQL为join查询且存在多个*查询项。

条件4：所述查询参数对象中的维度项不是所述源数据集对应的SQL中的聚合项的子集。

其中，在判断查询参数对象中的维度项是否为源数据集对应的SQL中聚合项的子集之前，需要先将查询参数对象中的维度项转换为源数据集对应的SQL中的原始字段。

在所述查询参数对象和所述SQL结构数据对象满足条件1至条件4中的任一条件时，确定待生成的查询SQL的类型为使用from子查询的SQL；否则，确定待生成的查询SQL的类型为不使用from子查询的SQL。

例如，假设源数据集对应的SQL为：

SELECT city AS"城市",province AS"省份",SUM(amount)AS"订单金额"

FROM order_info GROUP BY city

查询参数对象为：

{"data":{"dimensions":[{"caption":"省份","field":"省份"}],"measures":[{"aggregationType":"SUM","calcField":false,"caption":"订单金额","field":"订单金额"}]}}}

其中，源数据集对应的SQL中的聚合项为city,查询参数对象中的维度项为province，两者不满足“所述查询参数对象没有维度字段且各指标字段均无聚合”的条件，而是满足上述条件4，因此确定待生成的查询SQL的类型为使用from子查询的SQL。

例如，假设源数据集对应的SQL为：

SELECT province AS"省份",city AS"城市",SUM(amount)AS"订单金额"

FROM order_info GROUP BY province,city

查询参数对象为：

{"data":{"dimensions":[{"caption":"省份","field":"省份"}],"measures":[{"aggregationType":"SUM","calcField":false,"caption":"订单金额","field":"订单金额"}]}}}

由于源数据集对应的SQL中的聚合项为province、city，查询参数对象中的维度项province，两者不满足“所述查询参数对象没有维度字段且各指标字段均无聚合”的条件，也不满足条件1至条件4，因此确定待生成的查询SQL为使用非FROM子查询的SQL。

例如，假设源数据集对应的SQL为：

SELECT province AS"省份",city AS"城市",SUM(amount)AS"订单金额"

FROM order_info GROUP BY province,city HAVING`订单金额`>1000

查询参数对象为：

{"data":{"dimensions":[{"caption":"省份","field":"省份"}],"measures":[{"aggregationType":"SUM","calcField":false,"caption":"订单金额","field":"订单金额"}]}}}

由于但源数据集为非简单聚合的SQL(其含有HAVING)，因此确定待生成的查询SQL为使用FROM子查询的SQL。

例如，假设源数据集对应的SQL为：

SELECT province AS"省份",city AS"城市",SUM(amount)AS"订单金额"

FROM order_info GROUP BY province,city HAVING`订单金额`>1000

查询参数对象为：

{"data":{"dimensions":[],"measures":[{"caption":"省份","field":"省份"},{"caption":"订单金额","field":"订单金额"}]}}}

由于查询参数对象满足“所述查询参数对象没有维度字段且各指标字段均无聚合”的条件，因此确定待生成的查询SQL为使用非FROM子查询的SQL。

在确定所述待生成的查询SQL的类型后，按照相应的优化调整方式对SQL结构数据对象进行优化调整，具体包括：在确定所述待生成的查询SQL的类型为使用from子查询的SQL时，执行步骤S402至步骤S404；在确定所述待生成的查询SQL的类型为不使用from子查询的SQL时，执行步骤S405至步骤S410。

步骤S402：对过滤条件子句对应的模型部分进行优化调整。

具体来说，在步骤S402中，根据查询参数对象中的过滤条件字段查询SQL结构数据对象中查询子句对应的模型部分，以找到与所述过滤条件字段匹配的原始字段，根据所述原始字段和所述过滤条件字段的字段取值生成过滤项，并将所述过滤项添加至所述SQL结构数据对象中过滤条件子句对应的模型部分。在本发明实施例中，通过步骤S402，能够实现对查询参数中的过滤条件进行谓词下推优化。

步骤S403：对查询子句对应的模型部分进行优化调整。

具体来说，在步骤S403中，根据查询参数对象中的维度字段和指标字段查询SQL结构数据对象中查询子句对应的模型部分，以找到与之匹配的原始字段，将所述查询子句对应的模型部分中与之不匹配的原始字段删除。

在本发明实施例中，在确定待生成的查询SQL为使用from子查询的SQL时，可通过步骤S402和步骤S403实现对SQL结构数据对象的优化调整。

步骤S404：根据优化调整后的SQL结构数据对象生成对应于所述查询请求的查询SQL。

具体来说，在得到优化调整后的SQL结构数据对象后，可根据优化调整后的SQL结构数据对象得到的SQL作为from子查询，并根据查询参数对象中的维度、指标、以及排序等生成查询所需的其他SQL子句，将所述其他SQL子句与from子查询进行拼接以得到查询SQL。在得到查询SQL后，通过查询引擎执行所述查询SQL以得到所需的查询结果。

例如，假设源数据集对应的SQL为：

SELECT province AS"省份",city AS"城市",SUM(amount)AS"订单金额"

FROM order_info GROUP BY province,city HAVING SUM(amount)>100

假设查询参数对象为：

{"data":{"dimensions":[{"caption":"省份1","field":"省份}],"measures":[{"caption":"订单金额1","field":"订单金额"}],"filterDescs":[{"caption":"省份","field":"省份","filters":[{"logicSymbol":"AND","operator":"IN","value":["北京"],"valueType":"VALUE"}]}],"sortDescs":[{"caption":"省份1","field":"省份","sortType":"desc"}],"topNDesc":{"limit":100,"offset":0}}}

由于源数据集对应的SQL含有HAVING为非单纯聚合的SQL，因此采用from子查询方式处理，即按照待生成的SQL为使用from子查询的SQL对SQL结构数据对象进行优化处理，具体包括：根据查询参数对象中的filterDescs添加`省份`字段，通过在SQL结构数据对象中的selectExpr查找`省份`字段对应的原始字段为province,添加`province`＝'北京'至SQL结构数据对象中的条件筛选子句对应的模型部分中；根据查询参数对象中的维度(dimensions)和指标(measures)信息,，通过在SQL结构数据对象中的selectExpr查找`省份`和`订单金额`字段对应的原始字段为province、SUM(amount)，由于city未匹配到，删除SQL结构数据对象中查询子句对应的模型部分中的city部分。

进而，根据优化调整后的SQL结构数据对象生成SQL为：

SELECT province AS"省份",SUM(amount)AS"订单金额"FROM order_info WHERE`province`＝'北京GROUP BY province,city HAVING SUM(amount)>100

再根据查询参数对象将生成的上述SQL与其他SQL子句进行拼接，生成最终的查询SQL为：

SELECT`省份`AS"省份1",SUM(`订单金额`)AS"订单金额1"FROM(SELECTprovince AS"省份",SUM(amount)AS"订单金额"FROM order_info WHERE`province`＝'北京GROUP BY province,city HAVING SUM(amount)>100)jdp GROUP BY`省份`ORDER BY`省份`LIMIT 0,100

步骤S405：对过滤条件子句对应的模型部分进行优化调整。

具体来说，在步骤S405中，根据查询参数对象中的过滤条件字段查询SQL结构数据对象中查询子句对应的模型部分以找到与所述过滤条件字段匹配的原始字段，根据所述原始字段和所述过滤条件字段的字段取值生成过滤项，并将所述过滤项添加至所述SQL结构数据对象中过滤条件子句对应的模型部分。在本发明实施例中，通过步骤S405，能够实现对查询参数中的过滤条件进行谓词下推优化。

步骤406：对聚合子句对应的模型部分进行优化调整。

具体来说，在步骤S406中，根据查询参数对象中的维度字段查询所述SQL结构数据对象中查询子句对应的模型部分以找到与所述维度字段匹配的原始字段，根据与所述维度字段匹配的原始字段替换聚合子句对应的模型部分中的原始字段。步骤S407：对查询子句对应的模型部分进行优化调整。

具体来说，在步骤S407中，根据查询参数对象中的维度字段和指标字段查询SQL结构数据对象中查询子句对应的模型部分以找到与之匹配的原始字段，根据所述与之匹配的原始字段以及所述查询参数对象中的维度字段别名和指标字段别名生成查询项，将所述查询项添加至所述SQL结构数据对象中查询子句对应的模型部分。

步骤S408：对排序子句对应的模型部分进行优化调整。

具体来说，在步骤S408中，根据查询参数对象中的排序字段查询所述SQL结构数据对象中查询子句对应的模型部分以找到与之匹配的原始字段，将所述与之匹配的原始字段添加至所述SQL结构数据对象中排序子句对应的模型部分。

步骤S409：对结果筛选子句对应的模型部分进行优化调整。

具体来说，在步骤S409中，根据查询参数对象中的结果筛选字段查询所述SQL结构数据对象中查询子句对应的模型部分以找到与之匹配的原始字段，将所述与之匹配的原始字段添加至所述SQL结构数据对象中结果筛选子句对应的模型部分。

在本发明实施例中，在确定待生成的查询SQL为不使用from子查询的SQL时，可通过步骤S405和步骤S409实现对SQL结构数据对象的优化调整。具体实施时，根据查询参数对象的不同，相应地执行步骤S405至步骤S409中的一个或多个步骤，以实现对SQL结构数据对象的优化调整。

步骤S410：根据优化调整后的SQL结构数据对象生成对应于所述查询请求的查询SQL。

具体来说，在得到优化调整后的SQL结构数据对象后，可根据优化调整后的SQL结构数据对象中的SQL子句拼接得到查询SQL。

例如，假设源数据集对应的SQL为：

SELECT province AS"省份",city AS"城市",SUM(amount)AS"订单金额"

FROM order_info GROUP BY province,city

假设查询参数对象为：

{"data":{"dimensions":[{"caption":"省份1","field":"省份"}],"measures":[{"caption":"订单金额1","field":"订单金额"}],"filterDescs":[{"caption":"省份","field":"省份","filters":[{"logicSymbol":"AND","operator":"IN","value":["北京"],"valueType":"VALUE"}]}],"sortDescs":[{"caption":"省份1","field":"省份","sortType":"desc"}],"topNDesc":{"limit":100,"offset":0}}}

根据查询参数对象和SQL结构数据对象确定采用非FROM子查询方式进行优化处理，具体包括：根据查询参数中的filterDescs添加`省份`字段,通过在SQL结构数据对象中查询子句对应的模型部分查找`省份`字段对应的原始字段为province,添加`province`＝'北京'至SQL结构数据对象中的whereExpr中；从查询参数对象中的维度(dimensions)获取`省份`，用“省份”对应的原始字段替换掉源数据集对应的SQL中的聚合部分；根据查询参数对象中的维度(dimensions)和指标(measures)信息，在SQL结构数据对象中查询子句对应的模型部分查找`省份`和`订单金额`字段对应的原始字段为province、SUM(amount),结合维度(dimensions)和指标(measures)中的别名(caption)生成新的查询项“provinceas'省份1'和SUM(SUM(amount))as'订单金额1'”添加至SQL结构数据对象中的selectExpr中；从查询参数对象中的排序(sortDescs)信息中获取`省份`，将SQL结构数据对象中省份对应的原始字段“province”添加至SQL结构数据对象中的排序子句对应的模型部分中；根据查询参数对象中的结果筛选信息在SQL结构数据对象中添加结果筛选信息。

最终生成的查询SQL为：

SELECT`province`AS"省份1",SUM(SUM(amount))AS"订单金额1"FROM order_info WHERE`province`＝'北京'GROUP BY`province`ORDER BY`province`LIMIT 0,100

在本发明实施例中，通过以上步骤能够在SQL前置生成阶段实现SQL优化，尽量去除FROM子查询；实现谓词下推，去除无用查询列冗余；消除冗余聚合，精简查询语句。与现有技术相比，本发明实施例的SQL优化方法，提高了SQL优化的处理效率，降低了SQL优化的处理难度，改善了SQL优化的处理效果。

图6是根据本发明第二实施例的SQL优化装置的主要模块示意图。如图6所示，本发明实施例的SQL优化装置500包括：第一构建模块501、第二构建模块502、优化调整模块503、生成模块504。

第一构建模块501，用于对源数据集对应的SQL进行解析，根据解析结果和预先配置的SQL结构数据模型构建SQL结构数据对象。

其中，所述SQL结构数据模型包括多个SQL子句对应的模型部分。示例性地，所述SQL结构数据模型包括：查询子句对应的模型部分、来源表子句对应的模型部分、过滤条件子句对应的模型部分、聚合子句对应的模型部分、排序子句对应的模型部分、以及结果筛选子句对应的模型部分。进一步，所述SQL结构数据模型可设计如下：

其中，“private JdpSqlSelect selectExpr”为查询子句对应的模型部分的定义；“private String fromExp”为来源表子句对应的模型部分的定义；“private StringwhereExpr”为过滤条件子句对应的模型部分的定义、“private JdpSqlGroupBygroupByExpr”为聚合子句对应的模型部分的定义、“private String orderExpr”为排序子句对应的模型部分的定义；“private JdpSqlLimit limit”为结果筛选子句对应的模型部分的定义。

具体来说，第一构建模块501对源数据集对应的SQL的各部分结构进行解析，根据各部分结构的解析结果对SQL结构数据模型进行填充，以得到SQL结构数据对象。

第二构建模块502，用于响应于查询请求，根据所述查询请求构建查询参数对象。

示例性地，所述查询请求中携带查询参数。在接收到查询请求后，第二构建模块502对所述查询请求进行解析，根据解析出的查询参数构建查询参数对象。其中，所述查询参数对象可包括维度字段、指标字段、过滤条件字段、排序字段、以及结果筛选字段等信息中的至少一项。

优化调整模块503，用于根据所述查询参数对象对所述SQL结构数据对象进行优化调整，以得到优化调整后的SQL结构数据对象。

具体来说，优化调整模块503根据查询参数对象对SQL结构数据对象中的SQL子句对应的模型部分进行相应的优化调整，包括但不限于谓词下推、消除冗余聚合等优化调整。

可选地，优化调整模块503还用于根据所述查询参数对象和所述SQL结构数据对象确定待生成的查询SQL的类型，以便根据所述待生成的查询SQL的类型采取相应的优化调整方式。其中，所述查询SQL的类型包括：使用from子查询的SQL、不使用from子查询的SQL。

生成模块504，用于根据所述优化调整后的SQL结构数据对象生成对应于所述查询请求的查询SQL。

在本发发明实施例的装置中，通过第一构建模块在查询处理之前预解析源数据集对应的SQL，通过优化调整模块在查询处理时根据查询参数对象对SQL结构数据对象进行优化调整，通过生成模块根据优化调整后的SQL结构数据对象生成查询SQL，实现了在SQL生成阶段进行SQL优化，提高了SQL优化的处理效率，降低了SQL优化的处理难度，改善了SQL优化的处理效果。

下面参考图6，其示出了适于用来实现本发明实施例的电子设备的计算机系统600的结构示意图。图6示出的计算机系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括第一构建模块、第二构建模块、优化调整模块、生成模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，第一构建模块还可以被描述为“构建SQL结构数据对象的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行以下流程：对源数据集对应的SQL进行解析，根据解析结果和预先配置的SQL结构数据模型构建SQL结构数据对象；响应于查询请求，根据所述查询请求构建查询参数对象；根据所述查询参数对象对所述SQL结构数据对象进行优化调整，以得到优化调整后的SQL结构数据对象；根据所述优化调整后的SQL结构数据对象生成对应于所述查询请求的查询SQL。

根据本发明实施例的技术方案，实现了在SQL生成阶段进行SQL优化，能够提高SQL优化的处理效率，降低SQL优化的处理难度，改善SQL优化的处理效果。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种SQL优化方法，其特征在于，所述方法包括：

对源数据集对应的SQL进行解析，根据解析结果和预先配置的SQL结构数据模型构建SQL结构数据对象；

响应于查询请求，根据所述查询请求构建查询参数对象；

根据所述查询参数对象对所述SQL结构数据对象进行优化调整，以得到优化调整后的SQL结构数据对象；

根据所述优化调整后的SQL结构数据对象生成对应于所述查询请求的查询SQL。

2.根据权利要求1所述的方法，其特征在于，所述SQL结构数据模型包括：查询子句对应的模型部分、来源表子句对应的模型部分、过滤条件子句对应的模型部分、聚合子句对应的模型部分、排序子句对应的模型部分、以及结果筛选子句对应的模型部分。

3.根据权利要求2所述的方法，其特征在于，所述对源数据集对应的SQL进行解析，根据解析结果和预先配置的SQL结构数据模型构建SQL结构数据对象包括以下至少一项：

对源数据集对应的SQL中的查询子句进行解析，以根据解析结果填充所述查询子句对应的模型部分；对源数据集对应的SQL中的来源表子句和过滤条件子句进行解析，以根据解析结果填充来源表子句对应的模型部分和过滤条件子句对应的模型部分；对源数据集对应的SQL中的聚合子句进行解析，以根据解析结果填充聚合子句对应的模型部分；对源数据集对应的SQL中的排序子句进行解析，以根据解析结果填充排序子句对应的模型部分；对源数据集对应的结果筛选子句进行解析，以根据解析结果填充结果筛选子句对应的模型部分。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述根据所述查询参数对象对所述SQL结构数据对象进行优化调整之前，根据所述查询参数对象和所述SQL结构数据对象确定待生成的查询SQL的类型；所述查询SQL的类型包括：使用from子查询的SQL、不使用from子查询的SQL。

5.根据权利要求4所述的方法，其特征在于，所述根据所述查询参数对象和所述SQL结构数据对象确定待生成的查询SQL的类型包括：

判断所述查询参数对象是否没有维度字段且各指标字段均无聚合；若是，确定待生成的查询SQL的类型为不使用from子查询的SQL；若否，在所述查询参数对象和所述SQL结构数据对象满足以下任一条件时，确定待生成的查询SQL的类型为使用from子查询的SQL：

所述SQL结构数据对象表明源数据集对应的SQL为聚合单条SQL；或者，所述SQL结构数据对象表明源数据集对应的SQL为非单纯聚合的SQL；或者，所述SQL结构数据对象表明源数据集对应的SQL为联合查询且存在多个所有列查询项；或者，所述查询参数对象中的维度项不是所述源数据集对应的SQL中的聚合项的子集。

6.根据权利要求4所述的方法，其特征在于，在所述查询SQL的类型为使用from子查询的SQL时，所述按照所述待生成的查询SQL的类型对所述SQL结构数据对象进行优化调整包括以下至少一项：

根据查询参数对象中的过滤条件字段查询SQL结构数据对象中查询子句对应的模型部分，以找到与所述过滤条件字段匹配的原始字段，根据所述原始字段和所述过滤条件字段的字段取值生成过滤项，并将所述过滤项添加至所述SQL结构数据对象中过滤条件子句对应的模型部分；

根据查询参数对象中的维度字段和指标字段查询SQL结构数据对象中查询子句对应的模型部分，以找到与之匹配的原始字段，将所述查询子句对应的模型部分中与之不匹配的原始字段删除。

7.根据权利要求6所述的方法，其特征在于，在所述查询SQL的类型为不使用from子查询的SQL时，所述按照所述待生成的查询SQL的类型对所述SQL结构数据对象进行优化调整包括以下至少一项：

根据查询参数对象中的过滤条件字段查询SQL结构数据对象中查询子句对应的模型部分以找到与所述过滤条件字段匹配的原始字段，根据所述原始字段和所述过滤条件字段的字段取值生成过滤项，并将所述过滤项添加至所述SQL结构数据对象中过滤条件子句对应的模型部分；

根据查询参数对象中的维度字段查询所述SQL结构数据对象中查询子句对应的模型部分以找到与所述维度字段匹配的原始字段，根据与所述维度字段匹配的原始字段替换聚合子句对应的模型部分中的原始字段；

根据查询参数对象中的维度字段和指标字段查询SQL结构数据对象中查询子句对应的模型部分以找到与之匹配的原始字段，根据所述与之匹配的原始字段以及所述查询参数对象中的维度字段别名和指标字段别名生成查询项，将所述查询项添加至所述SQL结构数据对象中查询子句对应的模型部分；

根据查询参数对象中的排序字段查询所述SQL结构数据对象中查询子句对应的模型部分以找到与之匹配的原始字段，将所述与之匹配的原始字段添加至所述SQL结构数据对象中排序子句对应的模型部分；

根据查询参数对象中的结果筛选字段查询所述SQL结构数据对象中查询子句对应的模型部分以找到与之匹配的原始字段，将所述与之匹配的原始字段添加至所述SQL结构数据对象中结果筛选子句对应的模型部分。

8.一种SQL优化装置，其特征在于，所述装置包括：

第一构建模块，用于对源数据集对应的SQL进行解析，根据解析结果和预先配置的SQL结构数据模型构建SQL结构数据对象；

第二构建模块，用于响应于查询请求，根据所述查询请求构建查询参数对象；

优化调整模块，用于根据所述查询参数对象对所述SQL结构数据对象进行优化调整，以得到优化调整后的SQL结构数据对象；

生成模块，用于根据所述优化调整后的SQL结构数据对象生成对应于所述查询请求的查询SQL。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images