CN112346950B - 基于查询日志分析的数据库索引性能估计系统与方法 - Google Patents

Abstract

本发明提供一种基于查询日志分析的数据库索引性能估计系统与方法，涉及数据库技术领域。本系统包括日志收集模块，日志分析模块，数据库信息采集模块，索引性能计算模型，数据库定期监控模块；通过一个索引性能估计方法来监控数据库生成的查询日志，然后对查询日志进行解析，然后用其中的查询日志分析处理模块对其进行分析，同时和数据库管理系统进行整合，持续监控数据库，实现对索引的性能持续估计。

Description

基于查询日志分析的数据库索引性能估计系统与方法

技术领域

本发明涉及数据库技术领域，尤其涉及一种基于查询日志分析的数据库索引性能估计系统与方法。

背景技术

数据库系统在计算机领域属于基础架构之一，在实际应用中发挥的作用越来越大。随着业务的发展和数据库的广泛应用，数据库需要能够提供更快的速度来支撑应用的运行，索引作为数据库系统中十分重要的一环对数据库性能提升发挥了举足轻重的作用。

数据库索引是存储在磁盘上的物理结构，建立在数据库表的原始数据之上，通过建立合适的索引可以显著的提高服务器的性能。

数据库承载的业务具有多样性，导致索引也会有多样性，在数据库性能调优中选择合适的索引的复杂度越来越高，如何衡量索引的代价从而在不同的索引中选择合适的索引是数据库管理员的一份十分重要的任务，合适的索引代价估计方法会极大的辅助数据库管理员的工作。

对索引构建目前的研究提出了一些方案，这些方案可以在一定帮助提供提高数据库的运行性能，同时能够给数据库管理员提供必要的指导，但是这些方案并不具有灵活性以及通用性，同时不能够准确反映其代价变化，尤其是当数据库承载的业务环境发生变化的情况下。同时索引的性能估计分为两个部分：1)索引带来性能的优化提升，2)不恰当的索引也会带来给系统带来额外的性能负担。当前的代价估计不能很好的考虑这两方面，一般只注重其带来的优化部分，而不考虑其可能额外负担，因此在应用中很可能出现性能负担超过优化提升，从而产生负优化效果。

发明内容

针对现有技术的不足，本发明提供一种基于查询日志分析的数据库索引性能估计系统与方法，通过一个索引性能估计方法来监控数据库生成的查询日志，然后对查询日志进行解析，然后用其中的查询日志分析处理模块对其进行分析，同时和数据库管理系统进行整合，持续监控数据库，实现对索引的性能持续估计。

为解决上述技术问题，本发明所采取的技术方案是：

一方面，一种基于查询日志分析的数据库索引性能估计系统，包括日志收集模块，日志分析模块，数据库信息采集模块，索引性能计算模型，数据库定期监控模块；

所述日志收集模块负责开启数据库的日志生成功能，在用户的要求下收集数据库生成的日志，同时将生成的日志分发给日志分析模块进行处理；

所述日志分析模块将数据库生成的日志进行查询模板化处理，然后按照不同查询模板对数据库生成的日志进行分类，同时记录每个查询模板类别的频率信息，频率信息定义为能够分类为此类别的语句在收集到的查询日志中的数量；分类方法以查询模板为基准，日志分析模块针对每个类别按照用户指定的比例随机抽取语句，并计算每个语句的行数信息，然后按类别分别求和，将求和结果除以抽取语句的行数信息获得平均值，将平均值和类别进行绑定，针对每一个类别，保证采样条数除以类别频率为同一定值，日志分析模块将产生的平均值和类别分析数据分发给索引性能计算模块；

所述数据库信息采集模块通过和数据库进行交互，获取数据库信息，所述数据库信息包括数据库的表名信息，列名信息，表格大小信息，然后根据表格大小信息分别赋予每个表格权重信息，表格大小按照从小到大的顺序进行排列，将最小的表格权重设置为1，其他表格权重的设置方法为分别用当前表格大小除以最小表格大小；

所述索引性能计算模块根据日志分析模块发送的分析数据和数据库信息采集模块的表名信息、列名信息、表格大小信息以及上文所述权重信息计算索引的性能信息；

所述数据库定期监控模块对数据库进行定期监控从而更新索引性能估计，监控模块调用日志收集模块，日志分析模块，数据库信息采集模块和数据性性能分析模块进行索引性能估计结果更新，同时数据库定期监控模块监控计算机服务器CPU和磁盘性能波动，将结果反馈给用户，用户设置间隔时间，设定监控模块进行重写索引性能分析，当数据库监控到CPU和磁盘性能发生了性能波动则主动进行性能分析；

另一方面，一种基于查询日志分析的数据库索引性能估计方法，基于前述一种基于查询日志分析的数据库索引性能估计系统实现，包括以下步骤：

步骤1：将索引性能估计系统部署至计算机业务数据库服务器环境，并开启服务器的数据库日志生成功能；

步骤2：启动索引性能计算模型系统进入初始运行状态；

步骤3：日志收集模块收集数据库系统生成的日志数据，并将日志数据保存到由用户指定的磁盘位置；

步骤4：日志分析模块对收集到日志进行分析，包括频率统计，语句采样，条数统计，语句分类；

步骤5：数据库信息采集模块进行信息采集，包括表名，列名,大小信息，然后根据大小分别计算权重信息；

步骤6：索引性能计算模块进行信息计算性能估计计算；

步骤7：将计算结果反馈给用户；

步骤8：系统中的监控模块根据用户设定定期进行分析，或者根据CPU和磁盘性能波动主动进行分析，并将信息返回给用户。

采用上述技术方案所产生的有益效果在于：

本发明提出了一种基于查询日志分析的数据库索引性能估计方法。索引在数据库性能优化中起到关键作用，其在应用的过程中会对系统性能产生增益或者损耗效果，通过此估计方法能够评估索引可以给数据库带来的性能影响，辅助用户进行数据库索引的配置，从而帮助提高数据库的处理性能。

附图说明

图1为本发明实施例数据库索引性能估计系统架构图；

图2为本发明实施例数据库索引性能估计方法流程图；

图3为本发明实施例MySQL数据库具体实施流程图；

图4为本发明实施例测试性能结果图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

一方面，一种基于查询日志分析的数据库索引性能估计系统，如图1所示，包括日志收集模块，日志分析模块，数据库信息采集模块，索引性能计算模型，数据库定期监控模块；

所述日志收集模块负责开启数据库的日志生成功能，在用户的要求下收集数据库生成的日志，同时将生成的日志分发给日志分析模块进行处理；

所述日志分析模块将数据库生成的日志进行查询模板化处理，然后按照不同查询模板对数据库生成的日志进行分类，同时记录每个查询模板类别的频率信息，频率信息定义为能够分类为此类别的语句在收集到的查询日志中的数量；分类方法以查询模板为基准，日志分析模块针对每个类别按照用户指定的比例随机抽取语句，并计算每个语句的行数信息，然后按类别分别求和，将求和结果除以抽取语句的行数信息获得平均值，将平均值和类别进行绑定，针对每一个类别，保证采样条数除以类别频率为同一定值，日志分析模块将产生的平均值和类别分析数据分发给索引性能计算模块；

所述数据库信息采集模块通过和数据库进行交互，获取数据库信息，所述数据库信息包括数据库的表名信息，列名信息，表格大小信息，然后根据表格大小信息分别赋予每个表格权重信息，表格大小按照从小到大的顺序进行排列，将最小的表格权重设置为1，其他表格权重的设置方法为分别用当前表格大小除以最小表格大小；

所述索引性能计算模块根据日志分析模块发送的分析数据和数据库信息采集模块的表名信息、列名信息、表格大小信息以及上文所述权重信息计算索引的性能信息；性能的计算方式如下：

针对要估计性能的索引取出其中一个索引I，从日志分析模块找到每一个和此条索引相关的类别i以及其对应的频率Pi，行数求和平均结果Si,查找方式按列名查找，如果索引和类别具有部分或者全部列名匹配，则代表查找成功。如果类别为对应的插入语句，将Pi设置为其相反数，即Pi＝-Pi，然后针对每个类别i分别计算Pi*Si，然后将所有涉及的类别结果进行相加求和记为C；

针对索引I，从数据库信息采集模块中获取当前索引涉及到的表以及其对应的权重W，查找方式按列名查找，如果索引和类别具有部分或者全部列名匹配，则代表查找成功。然后和上面获得的C进行乘积运算获得B，即B＝W*C；B即为对当前INDEX估计的性能。

如果B为负值，则代表产生了负优化，正值代表有性能提升帮助，0代表无作用。

所述数据库定期监控模块对数据库进行定期监控从而更新索引性能估计，因为数据库业务可能不断变化，因此索引性能估计结果需要不断的进行调整，数据库定期监控模块会根据用户指定的间隔定期的对数据库进行分析，监控模块调用日志收集模块，日志分析模块，数据库信息采集模块和数据性性能分析模块进行索引性能估计结果更新，同时数据库定期监控模块监控计算机服务器CPU和磁盘性能波动，将结果反馈给用户，用户设置间隔时间，设定监控模块进行重写索引性能分析，当数据库监控到CPU和磁盘性能发生了性能波动则主动进行性能分析；

另一方面，一种基于查询日志分析的数据库索引性能估计方法，基于前述一种基于查询日志分析的数据库索引性能估计系统实现，如图2所示，包括以下步骤：

步骤1：将索引性能估计系统部署至计算机业务数据库服务器环境，并开启服务器的数据库日志生成功能；

步骤2：启动索引性能计算模型系统进入初始运行状态；

步骤3：日志收集模块收集数据库系统生成的日志数据，并将日志数据保存到由用户指定的磁盘位置；

步骤4：日志分析模块对收集到日志进行分析，包括频率统计，语句采样，条数统计，语句分类；

步骤5：数据库信息采集模块进行信息采集，包括表名，列名,大小信息，然后根据大小分别计算权重信息；

步骤6：索引性能计算模块进行信息计算性能估计计算；

步骤7：将计算结果反馈给用户；

步骤8：系统中的监控模块根据用户设定定期进行分析，或者根据CPU和磁盘性能波动主动进行分析，并将信息返回给用户

将当前方法运用于在云数据库服务器上面的业务，为了提高数据库的性能，加速业务的响应速度，需要给数据库创建一定的索引，此时通过开启数据库日志生成功能，然后采用上面的方法来对索引性能进行估计，从而获得相关索引效益，避免恶化性能的负效益索引的创建的同时指导数据库创建带来性能提升的正效应索引，从而提高了云数据库服务器的性能。

本实施例中使用平台为MySQL数据库，是当前常用的数据库，在服务器上使用MySQL数据库，并开启MySQL数据库的general log功能，然后应用上述方法来进行索引分析，然后通过JDBC方式来将索引传递给MySQL数据库，帮助提高其性能，MySQL数据库具体实施流程图如图3所示；

通过设置测试数据在云服务上面进行上述方法在数据库上的效果测试。分别用数据库生成不同增删改查比例的查询日志，然后针对不同比例下的查询日志分别应用上述方法对数据库进行索引配置，查看应用配置前后的数据库性能变化，如图4所示为相应的结果：

从图4可以看出，通过采用上述方法所产生的结果(调优后)与基准数据进行对比明显提高了数据库性能，同时在不同的查询(select)占日志比例下都取得了较好的结果。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (2)

1.一种基于查询日志分析的数据库索引性能估计系统，其特征在于：包括日志收集模块，日志分析模块，数据库信息采集模块，索引性能计算模型，数据库定期监控模块；

所述日志收集模块负责开启数据库的日志生成功能，在用户的要求下收集数据库生成的日志，同时将生成的日志分发给日志分析模块进行处理；

所述日志分析模块将数据库生成的日志进行查询模板化处理，然后按照不同查询模板对数据库生成的日志进行分类，同时记录每个查询模板类别的频率信息，频率信息定义为能够分类为此类别的语句在收集到的查询日志中的数量；分类方法以查询模板为基准，日志分析模块针对每个类别按照用户指定的比例随机抽取语句，并计算每个语句的行数信息，然后按类别分别求和，将求和结果除以抽取语句的行数信息获得平均值，将平均值和类别进行绑定，针对每一个类别，保证采样条数除以类别频率为同一定值，日志分析模块将产生的平均值和类别分析数据分发给索引性能计算模块；

所述数据库信息采集模块通过和数据库进行交互，获取数据库信息；

所述数据库信息包括数据库的表名信息，列名信息，表格大小信息，然后根据表格大小信息分别赋予每个表格权重信息，表格大小按照从小到大的顺序进行排列，将最小的表格权重设置为1，其他表格权重的设置方法为分别用当前表格大小除以最小表格大小；

所述索引性能计算模块根据日志分析模块发送的分析数据和数据库信息采集模块的表名信息、列名信息、表格大小信息以及上文所述权重信息计算索引的性能信息；

所述数据库定期监控模块对数据库进行定期监控从而更新索引性能估计，监控模块调用日志收集模块，日志分析模块，数据库信息采集模块和数据性性能分析模块进行索引性能估计结果更新，同时数据库定期监控模块监控计算机服务器CPU和磁盘性能波动，将结果反馈给用户，用户设置间隔时间，设定监控模块进行重写索引性能分析，当数据库监控到CPU和磁盘性能发生了性能波动则主动进行性能分析。

2.一种基于查询日志分析的数据库索引性能估计方法，根据权利要求1所述的一种基于查询日志分析的数据库索引性能估计系统实现，其特征在于，包括以下步骤：

步骤1：将索引性能估计系统部署至计算机业务数据库服务器环境，并开启服务器的数据库日志生成功能；

步骤2：启动索引性能计算模型系统进入初始运行状态；

步骤3：日志收集模块收集数据库系统生成的日志数据，并将日志数据保存到由用户指定的磁盘位置；

步骤4：日志分析模块对收集到日志进行分析，包括频率统计，语句采样，条数统计，语句分类；

步骤5：数据库信息采集模块进行信息采集，包括表名，列名，大小信息，然后根据大小分别计算权重信息；

步骤6：索引性能计算模块进行信息计算性能估计计算；

步骤7：将计算结果反馈给用户；

步骤8：系统中的监控模块根据用户设定定期进行分析，或者根据CPU和磁盘性能波动主动进行分析，并将信息返回给用户。

Images