CN116701429B

CN116701429B - 一种基于批量历史任务模糊化的公共查询方法

Info

Publication number: CN116701429B
Application number: CN202310575155.7A
Authority: CN
Inventors: 吕可凡; 吴金鹏; 欧阳哲; 官建军
Original assignee: Hangzhou Yunzhi Heavy Equipment Technology Co ltd
Current assignee: Hangzhou Yunzhi Heavy Equipment Technology Co ltd
Priority date: 2023-05-19
Filing date: 2023-05-19
Publication date: 2023-12-29
Anticipated expiration: 2043-05-19
Also published as: CN116701429A

Abstract

本发明公开了一种基于批量历史任务模糊化的公共查询方法，包括收集查询计划的历史信息，并提取历史信息中每个查询计划中的特征信息和对应的资源消耗信息，利用特征信息和资源消耗信息，建立预测模型，并进行训练，输入的查询语句，通过等价变化得到不同的具体执行计划，并分析具体执行计划的特征，利用预测模型对具体执行计划进行预测，并选择出资源消耗最少的具体执行计划；本发明能够将语义相近且结构相同的子查分为公共查询部分和区别查询部分，这样避免传统方法所存在的误报和漏报的情况，再将公共查询部分和区别查询部分分别通过预测模型进行预测，通过预测模型自动地选择最佳的优化执行策略和物化视图，从而提高了查询的性能和效率。

Description

一种基于批量历史任务模糊化的公共查询方法

技术领域

本发明涉及数据库查询技术领域，具体为一种基于批量历史任务模糊化的公共查询方法。

背景技术

在关系型数据库中，识别查询中的公共子查询的现有技术主要包括手动分析和自动分析两种方法，手动分析方法需要人工分析查询语句，识别公共子查询并进行优化，需要较高的技术水平和耗费时间，自动分析方法利用数据库管理系统提供的性能分析工具或第三方性能监控工具来识别公共子查询。

但是由于查询语句的复杂性和多样性，传统言法通常只能处理结构及语义完全相同的子查询，对于语义相近且结构相同的子查询难以处理，这样会使得自动分析工具误报或漏报公共子查询，导致优化效果不佳，自动分析还需要消耗额外的系统资源，可能会对系统性能造成一定的影响，自动分析工具也难以处理动态查询语句，这些语句需要在运行时才能确定是否存在公共子查询，为此我们提出一种基于批量历史任务模糊化的公共查询方法用于解决上述问题。

发明内容

本发明的目的在于提供一种基于批量历史任务模糊化的公共查询方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于批量历史任务模糊化的公共查询方法，包括以下步骤：

S1：收集查询计划的历史信息，并提取历史信息中每个查询计划中的特征信息和每个查询计划对应的资源消耗信息；

S2：利用步骤S1中提取到的特征信息和资源消耗信息，建立模型，并进行训练后得到预测模型；

S3：输入一组新的查询语句，通过判断模型确认是否为具有公共的子查询，再通过等价变化得到不同运行状态下的具体执行计划，并分析具体执行计划的特征；

S4：利用所述预测模型对步骤S3中每一次具体执行计划进行预测，并选择出资源消耗最少的物化视图生成方案和具体执行计划；

S5：生成选出的公共子查询对应的物化视图，并导入S4的具体执行计划执行；

构成规则集用于步骤S3判断输入的新语句是否具有模糊公共子查询。

优选的，所述判断模型是将输入语句与历史信息中的SQL语句、共享的公共子查询进行匹配，遇到不完全相同的语句，将输入语句则依次尝试应用规则集内的规则进行变化；

通过规则变化后的查询语句与共享的公共子查询进行匹配成功，表示该语句具有公共子查询部分，并标记为模糊公共子查询，并依次记录下匹配成功的规则顺序，将这些步骤记为变化步骤A，并将该查询语句标记为“模糊公共子查询”输出；

规则集内的规则全部应用之后仍然不能得到完全相同的语句，则表示这次匹配失败，表明该语句不具备公共子查询部分。

优选的，所述规则集包括选择运算和聚合运算的交换律、选择运算或、聚合运算并和投影运算并规则方式。

优选的，步骤S3中输入若干具有共性的查询语句，所述判断模型将该查询语句标记为“模糊公共子查询”，查询语句进行变化步骤A中记载的规程依次变化，将查询语句分为公共查询部分和若干区别查询部分，所述公共查询部分和所述若干区别查询部分分别通过所述预测模型，选择资源消耗最少的所述具体执行计划。

优选的，步骤S2先将步骤S1提取到的特征信息进行降维处理，降维处理后的特征信息与资源消耗信息构成特征矩阵。

优选的，所述预测模型包含两个卷积层和一个池化层，输入为特征矩阵，输出为查询语句的资源消耗的预测值。

优选的，所述预测模型通过误差反向传播算法，逐渐优化模型性能指标。

优选的，步骤S1提取的特征信息包括查询计划的关键字、表和索引。

优选的，步骤S1提取的资源消耗信息包括CPU运算时间、读写开销和内存开销。

与现有技术相比，本发明的有益效果是：

利用选择运算和聚合运算的交换律、选择运算或、聚合运算并和投影运算并等变换方式，将语义相近且结构相同的子查分为公共查询部分和区别查询部分，这样避免传统方法所存在的误报和漏报的情况，再将公共查询部分和区别查询部分分别通过预测模型进行预测，通过预测模型自动地选择最佳的优化执行策略和物化视图，从而进一步提高了查询的性能和效率。

附图说明

图1为本发明原理流程示意图；

图2为现有技术数据库查询公共子查询的原理流程图；

图3为本发明预测模型的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图2，为现有技术据库查询公共子查询的原理，使用数据库管理系统的性能分析工具或第三言性能监控工具来识别查询中的公共子查询，对于每个公共子查询，评估其执行成本和查询频率，对于适合使用物化视图的公共子查询，创建物化视图并将其用作公共子查询的替代品，为了确保物化视图的准确性，需要定期更新物化视图，通过使用定期刷新或使用触发器等方式进行更新，一旦创建并更新物化视图，可以在查询中使用它，以提高查询性能，但是该处理方式只能处理能处理结构及语义完全相同的子查询，很难处理语义相近且结构相同的子查询。

实施例1

参照图1，一种基于批量历史任务模糊化的公共查询方法，包括以下步骤：

S5：生成选出的公共子查询对应的物化视图，并导入S4的具体执行计划执行。

具体的，步骤S1提取的特征信息包括查询计划的关键字、表和索引，步骤S1提取的资源消耗信息包括CPU运算时间、读写开销和内存开销，建立预测模型，并利用预测模型进行查询语句资源消耗预测，预测模型包含神经网络模型的多种预测方法。

实施例2

所述判断模型是将输入语句与历史信息中的SQL语句、共享的公共子查询进行匹配，遇到不完全相同的语句，将输入语句则依次尝试应用规则集内的规则进行变化；

所述规则集包括选择运算和聚合运算的交换律、选择运算或、聚合运算并和投影运算并规则方式。

每当输入一条新的查询语句，该查询语句与历史信息中的SQL语句、共享的公共子查询不匹配，该语句通过规则集变化后的语句会被加入到共享的公共子查询中，这样共享的公共子查询就会逐渐变得丰富。

实施例3

当步骤S3中输入若干具有共性的查询语句，所述判断模型将该查询语句标记为“模糊公共子查询”，查询语句进行变化步骤A中记载的规程依次变化，将查询语句分为公共查询部分和若干区别查询部分，所述公共查询部分和所述若干区别查询部分分别通过所述预测模型，选择资源消耗最少的所述具体执行计划。

等价变换：在关系代数中，对关系表达式进行一系列代数变换，得到等价的表达式。

具体的，假设，在一所学校内有几位老师想要在期末考试之后统计同学们的成绩，他们分别是三年级3班的语文老师，三年级的数学组和和三年级2班的班主任。

以表格下是他们查询使用的三个SQL语句：

SQL1三年级3班的语文平均分

Select average(report.chinese_score)

from report,student

where student.student_id＝report.student_id

and student.grade＝3

and student.class_id＝3

SQL2三年级的数学平均分

Select average(report.math_score)

from report,student

where student.student_id＝report.student_id

and student.grade＝3

SQL3三年级2班的总平均分

Select average(total_score)

from student,

(select report.math_score+report.chinese_score as total_score,student_id from report)

where student.student_id＝report.student_id

and student.grade＝3

and student.class_id＝2；

以上三条查询语句是语句不完全一致，但是具有共性的子查询，三条查询语句的关系代数表述如下：

SQL1:

SQL2:

SQL3:

AVG(math_score)、AVG(Chinese_score)、AVG(total_score)分别表示为数学平均分、语文平均分、总平均分，grade＝3表示三年级，class_id＝3表示3班，class_id＝2表示2班，student.student_id＝report.student_id表示学生数据库中的学生id与分数数据库中的学生id相等。∏_{math_score+chinese_scoreastotal_score,student_id}(report)表示在分数数据库中计算学生语文和数学两者总分。

通过对SQL3运用投影运算相关的交换律得到SQL3.1：

SQL3.1:

观察SQL1,SQL2,SQL3.1可以发现它们的自然连接运算部分现在完全一致，将它们相同的自然连接运算部分记作∝，在对SQL1,SQL2,SQL3.1三者运用选择运算并，得到：

σ_{grade＝3∧class_id＝3}(∝)∪σ_grade＝3(∝)∪σ_{grade＝3∧class_id＝2}(∝)＝σ_grade＝3(∝)

在对三者的投影运算应用投影运算并，对三者的聚合运算应用聚合运算并得到：

这样就可以将语句拆分分为公共查询部分语句和区别查询部分语句。

公共查询部分语句：

create materialized view mv_case as

select sum(math_score)as total_math_score,

sum(chinese_score)as total_chinese_score,

student.class_id as class_id,

count(*)as number

from report,student

where student.grad＝3

group by student.class_id；

区别查询部分语句：

三年级3班的语文平均分

Select total_chinese_score/number as avg_chinese_score

from mv_case

where mv_case.class_id＝3；

三年级的数学平均分

Select sum(total_math_score)/sum(number)as avg_math_score

from mv_case；

三年级2班的总平均分

Select(total_chinese_score+total_math_score)/number as avg_total_score

from mv_case

where mv_case.class_id＝2；

将语句拆分分为公共查询部分语句和区别查询部分语句，公共查询部分语句和区别查询部分语句再通过预测模型进行资源消耗预测，选择出资源消耗最少的执行计划，公共查询部分语句会生成虚拟视图，各自的区别查询部分语句会与虚拟视图组成想要的结果，并生成物化视图。

实施例3

参照图3，步骤S2先将步骤S1提取到的特征信息进行降维处理，降维处理后的特征信息与资源消耗信息构成特征矩阵，所述预测模型包含两个卷积层和一个池化层。

具体的，该公式模型如下：

Y＝W2*(Pool(W1*X+B))

X是输入的查询语句的特征矩阵，W1、W2分别是第一层、第二层的权重矩阵，B是偏置项，Pool是池化层，Y是查询语句的资源消耗的预测值，池化层可以降低特征的维度，使模型更容易训练和推广，在训练时，模型通过误差反向传播算法来调整权重和偏置项的值，以逐渐优化模型的性能指标。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种基于批量历史任务模糊化的公共查询方法，其特征在于：包括以下步骤：

构成规则集用于步骤S3判断输入的新语句是否具有模糊公共子查询；

所述判断模型是将输入语句与历史信息中的SQL语句、共享的公共子查询进行匹配，遇到不完全相同的语句，将输入语句则依次按照应用所述规则集内的规则进行变化；

所述规则集内的规则全部应用之后仍然不能得到完全相同的语句，则表示这次匹配失败，表明该语句不具备公共子查询部分；

步骤S3中输入若干具有共性的查询语句，所述判断模型将该查询语句标记为“模糊公共子查询”，查询语句进行变化步骤A中记载的规程依次变化，将查询语句分为公共查询部分和若干区别查询部分，所述公共查询部分和所述若干区别查询部分分别通过所述预测模型，选择资源消耗最少的所述具体执行计划。

2.根据权利要求1所述的一种基于批量历史任务模糊化的公共查询方法，其特征在于：所述规则集包括选择运算和聚合运算的交换律、选择运算或、聚合运算并和投影运算并规则方式。

3.根据权利要求1所述的一种基于批量历史任务模糊化的公共查询方法，其特征在于：步骤S2先将步骤S1提取到的特征信息进行降维处理，降维处理后的特征信息与资源消耗信息构成特征矩阵。

4.根据权利要求3所述的一种基于批量历史任务模糊化的公共查询方法，其特征在于：所述预测模型包含两个卷积层和一个池化层，输入为特征矩阵，输出为查询语句的资源消耗的预测值。

5.根据权利要求4所述的一种基于批量历史任务模糊化的公共查询方法，其特征在于：所述预测模型通过误差反向传播算法，逐渐优化模型性能指标。

6.根据权利要求1所述的一种基于批量历史任务模糊化的公共查询方法，其特征在于：步骤S1提取的特征信息包括查询计划的关键字、表和索引。

7.根据权利要求1所述的一种基于批量历史任务模糊化的公共查询方法，其特征在于：步骤S1提取的资源消耗信息包括CPU运算时间、读写开销和内存开销。