CN112131206B - 一种多模型数据库OrientDB参数配置自动调优方法 - Google Patents

Abstract

本发明涉及一种多模型数据库OrientDB参数配置自动调优方法，包括：在默认参数配置下使用MMBench对OrientDB进行基准测试，使用OSMonitor得到OrientDB的初始运行状态s，使用OPIndicator得到OrientDB的性能p；在状态s，调优模型输出参数配置a；将OrientDB参数配置调整为a后，使用MMBench对OrientDB进行基准测试，OSMonitor对OrientDB的运行状态进行实时监控和处理得到状态指标s′，OPIndicator统计OrientDB的性能变化，根据奖励函数计算得到奖励r；将训练数据四元组(s,a,r,s′)存入调优经验池；从调优经验池中随机采样数量为m的小批量样本用以训练调优模型；如果调优模型收敛或达到人为设置的终止条件则结束训练得到预训练调优模型；在实际工作负载下使用预训练调优模型输出推荐的参数配置。

Description

一种多模型数据库OrientDB参数配置自动调优方法

技术领域

本发明属于数据库技术领域，更具体地，涉及一种基于深度强化学习的多模型数据库OrientDB参数配置自动调优方法。

背景技术

多模型数据库是近年来数据库领域里一个新的研究方向。OrientDB作为一种新兴的多模型数据库，存在参数配置优化的问题，一方面，默认的参数配置并不能使其达到最佳性能，需要针对实际应用负载对其参数配置进行调优；另一方面，现有的单模型数据库上的参数配置调优经验无法直接迁移到OrientDB上。为了降低参数配置调优难度，提高OrientDB性能，充分发挥其潜能，亟需研究OrientDB参数配置自动调优技术。

文献“Automatic Database Management System Tuning Through Large-scaleMachine Learning(SIGMOD2017)”提出了OtterTune，将机器学习技术运用到数据库参数配置自动调优中。OtterTune将工作负载特征化，利用历史调优经验数据训练机器学习模型，它首先使用Lasso算法选择出对系统性能影响最大的参数配置，然后将待处理的工作负载与已有的进行匹配，最后使用高斯过程回归算法对选择出来参数配置进行调优。

然而，上述数据库参数配置调优方法存在着不可忽略的问题：OtterTune在训练调优模型时，需要大量高质量的数据库管理员(Database Administrator，DBA)调优历史经验数据作为训练样本，但这些高质量的训练样本通常是很难获得的。

发明内容

本发明的目的在于提供一种多模型数据库OrientDB参数配置自动调优方法，用于解决现有基于机器学习的数据库参数配置调优方法无法在缺乏DBA调优历史经验数据的情况下正常工作的问题。

本发明一种多模型数据库OrientDB参数配置自动调优方法，其中，包括：在默认参数配置下使用MMBench对OrientDB进行基准测试，使用OSMonitor得到OrientDB的初始运行状态s，使用OPIndicator得到OrientDB的性能p；在状态s，调优模型输出参数配置a；将OrientDB参数配置调整为a后，使用MMBench对OrientDB进行基准测试，OSMonitor对OrientDB的运行状态进行实时监控和处理得到状态指标s′，OPIndicator统计OrientDB的性能变化，根据奖励函数计算得到奖励r；将训练数据四元组(s,a,r,s′)存入调优经验池；从调优经验池中随机采样数量为m的小批量样本用以训练调优模型；如果调优模型收敛或达到人为设置的终止条件则结束训练得到预训练调优模型，否则，令s←s′，反回在状态s，调优模型输出参数配置a的步骤；在实际工作负载下使用预训练调优模型输出推荐的参数配置，调优系统与用户的OrientDB交互k次，在这k次交互的过程中调优系统对预训练调优模型的网络参数进行微调，以适应实际工作负载，取这k次中OrientDB性能最优时对应的参数配置

作为调优模型推荐的参数配置。根据本发明所述的多模型数据库OrientDB参数配置自动调优方法的一实施例，其中，基于DDPG算法构建调优模型，DDPG算法包含行动者和评论家两个部分，行动者部分采用当前行动者网络和目标行动者网络，评论家部分采用当前评论家网络和目标评论家网络，在调优模型中，随机初始化当前行动者网络的参数θ^μ和当前评论家网络的参数θ^Q，初始化目标行动者网络的参数θ^μ′和目标评论家网络的参数θ^Q′，其中θ^μ′＝θ^μ，θ^Q′＝θ^Q，初始化调优经验池，容量为M。

根据本发明所述的多模型数据库OrientDB参数配置自动调优方法的一实施例，基于DDPG算法构建调优模型，DDPG算法包含行动者和评论家两个部分，行动者部分采用当前行动者网络和目标行动者网络，评论家部分采用当前评论家网络和目标评论家网络，在调优模型中，随机初始化当前行动者网络的参数θ^μ和当前评论家网络的参数θ^Q，初始化目标行动者网络的参数θ^μ′和目标评论家网络的参数θ^Q′，其中θ^μ′＝θ^μ，θ^Q′＝θ^Q，初始化调优经验池，容量为M。

根据本发明所述的多模型数据库OrientDB参数配置自动调优方法的一实施例，其中，用(s_i,a_i,r_i,s'_i)表示单个样本，计算当前评论家网络的梯度；采用评论家网络优化器更新当前评论家网络的参数；计算当前行动者网络的策略梯度；采用行动者网络优化器更新当前行动者网络的参数；更新目标行动者网络和目标评论家网络的参数。

根据本发明所述的多模型数据库OrientDB参数配置自动调优方法的一实施例，其中，根据奖励函数计算得到奖励r：

其中，ΔP_t→0表示相对于默认参数配置下OrientDB性能的提升率，

表示相对于OrientDB历史最优性能的提升率；ΔP_t→0＞0表示当前性能相对于默认参数配置下OrientDB性能有所提升，ΔP_t→0＜0表示当前性能相对于默认参数配置下OrientDB性能有所下降，

表示当前性能相对于OrientDB历史最优性能有所提升，

表示当前性能相对于OrientDB历史最优性能有所下降。根据本发明所述的多模型数据库OrientDB参数配置自动调优方法的一实施例，其中，a＝μ(s|θ^μ)。

根据本发明所述的多模型数据库OrientDB参数配置自动调优方法的一实施例，其中，a＝μ(s|θ^μ)，μ是利用当前行动者网络逼近的策略函数。

根据本发明所述的多模型数据库OrientDB参数配置自动调优方法的一实施例，计算当前评论家网络的梯度：

其中y_i为目标Q值，由目标评论家网络计算得到：

y_i＝r_i+γQ′(s_i′，μ′(s_i′|θ^μ′)|θ^Q′)；

采用评论家网络优化器更新当前评论家网络的参数θ^Q；

计算行动者网络的策略梯度：

采用行动者网络优化器更新当前行动者网络的参数θ^μ；

更新目标行动者网络和目标评论家网络的参数：

其中，τ为软更新系数。

根据本发明所述的多模型数据库OrientDB参数配置自动调优方法的一实施例，其中，在实际工作负载下使用预训练调优模型输出推荐的参数配置，包括：

S21、使用基准测试工具MMBench重放当前实际工作负载，对OrientDB进行性能测试；在MMBench对OrientDB进行性能测试期间，使用OSMonitor得到OrientDB的初始运行状态，使用OPIndicator得到OrientDB在默认参数配置下的性能；S22、使用预训练调优模型为OrientDB输出推荐的参数配置，在在与用户的OrientDB进行交互的过程中对预训练调优模型的网络参数进行微调，以适应实际工作负载；S23、重复n次步骤S22，取这n次中OrientDB性能最优时对应的参数配置

作为调优模型推荐的最终参数配置，将OrientDB参数配置调整为

本发明的一种基于深度强化学习的多模型数据库OrientDB参数配置自动调优方法，基于深度强化学习算法构建OrientDB参数配置调优模型，设计了一个有效的奖励函数用以指导调优模型的训练。调优模型的训练包括预训练过程和在线训练过程。本发明利用基准测试工具MMBench、状态监控工具OSMonitor以及性能统计工具OPIndicator完成训练数据的收集，在没有人类调优历史经验数据的情况下也能完成调优模型的训练。本发明能有效调优多模型数据库OrientDB参数配置，提高OrientDB性能。

附图说明

图1为本发明的调优系统结构图；

图2为本发明调优模型预训练流程图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

图1是本发明的调优系统结构图，图2所示为调优模型预训练流程图，如图1以及图2所示，本发明提供了一种基于深度强化学习的多模型数据库OrientDB参数配置自动调优方法，包括：

在模拟工作负载下得到预训练调优模型，包括以下步骤：

S11、调优模型是基于DDPG算法构建的，DDPG算法包含行动者和评论家两个部分，其中行动者部分采用了两个结构相同的深度神经网络来表示，分别是当前行动者网络和目标行动者网络，当前行动者网络的参数由行动者网络优化器更新，目标行动者网络的参数采用软更新的方式(见步骤6)，同样，评论家部分也采用了两个结构相同的深度神经网络来表示，分别是当前评论家网络和目标评论家网络，因此，在调优模型中一共用到了四个深度神经网络。随机初始化当前行动者网络的参数θ^μ和当前评论家网络的参数θ^Q，初始化目标行动者网络的参数θ^μ′和目标评论家网络的参数θ^Q′，其中θ^μ′＝θ^μ，θ^Q′＝θ^Q，初始化调优经验池，容量为M；

S12、在默认参数配置下使用基准测试工具MMBench生成工作负载，对OrientDB进行基准测试。在MMBench对OrientDB进行基准测试期间，使用OSMonitor得到OrientDB的初始运行状态s，使用OPIndicator得到OrientDB在默认参数配置下的性能p。

S13、在状态s，根据当前行动者网络选择一组参数配置a：

a＝μ(s|θ^μ)；

将OrientDB参数配置调整为a后，使用MMBench对OrientDB进行基准测试，OSMonitor监测到OrientDB的运行状态变为s'，OPIndicator统计OrientDB的性能变化，根据奖励函数计算得到奖励r：

其中，ΔP_t→0表示相对于默认参数配置下OrientDB性能的提升率，

表示相对于OrientDB历史最优性能的提升率。ΔP_t→0＞0表示当前性能相对于默认参数配置下OrientDB性能有所提升，ΔP_t→0＜0表示当前性能相对于默认参数配置下OrientDB性能有所下降，同理，

表示当前性能相对于OrientDB历史最优性能有所提升，

表示当前性能相对于OrientDB历史最优性能有所下降。

将得到的训练数据四元组(s,a,r,s')存入调优经验池。从调优经验池中随机采样数量为m的小批量样本对调优模型进行训练，用(s_i,a_i,r_i,s'_i)表示单个样本，计算当前评论家网络的梯度：

γ是折扣率，强化学习中的概念，γ∈[0,1]，当γ接近于0时，表示智能体更关心短期回报，反之，当γ接近于1时，表示智能体更在意长期回报，μ′为目标行动者网络逼近的策略函数，y_i为目标Q值，由目标评论家网络计算得到：

y_i＝r_i+γQ′(s'_i,μ′(s'_i|θ^μ′)|θ^Q′)

采用评论家网络优化器更新当前评论家网络的参数θ^Q。

计算行动者网络的策略梯度：

采用行动者网络优化器更新当前行动者网络的参数θ^μ。

更新目标行动者网络和目标评论家网络的参数：

其中，τ为软更新系数。

S14、令s＝s'，若没有达到终止条件，则重复步骤S13，否则进入步骤S15，表示此次回合的训练结束。终止条件是：迭代到设置的最大回合数(具体实验中设置为500)就终止。参数θ^μ和θ^Q收敛对应的是调优模型收敛，通过损失函数的变化来确定收敛与否，如果损失函数的变化稳定在一定的阈值内，则说明已收敛。

训练终止(即得到预训练调优模型)与单个回合终止，整个训练过程包含多个回合，单个回合终止条件是：迭代到人为设置的最大步数(具体实验中设置为200)或者单个回合累积奖励达到阈值(具体实验中设置为20)或者单步奖励超过阈值(具体实验中设置为2)。

S15、若参数θ^μ和θ^Q收敛，则得到预训练调优模型，该过程结束，否则重复步骤S12-S14开始新一回合的训练。

在实际工作负载下使用预训练调优模型输出推荐的参数配置，包括以下步骤：

S21、使用基准测试工具MMBench重放当前实际工作负载，对OrientDB进行性能测试。在MMBench对OrientDB进行性能测试期间，使用OSMonitor得到OrientDB的初始运行状态s，使用OPIndicator得到OrientDB在默认参数配置下的性能p。

S22、使用预训练调优模型为OrientDB输出推荐的参数配置a，在此过程中，调优系统会在与用户的OrientDB进行交互的过程中对预训练调优模型的网络参数进行微调，以适应实际工作负载，具体的方法同步骤S13。

S23、重复k次步骤S22，取这k次中OrientDB性能最优时对应的参数配置

作为调优模型推荐的最终参数配置，将OrientDB参数配置调整为

如图1所示，本发明的调优系统由基准测试工具MMBench、状态监控工具OSMonitor、性能统计工具OPIndicator、调优模型和调优经验池这五大模块组成。其中，MMBench支持生成跨数据模型查询的工作负载，用于对OrientDB进行基准测试；OSMonitor在基准测试期间对OrientDB的运行状态进行实时监控和处理；OPIndicator用于对OrientDB的性能进行统计和评估；调优模型用于为当前工作负载输出推荐的参数配置；调优经验池用于存储历史调优经验数据，即训练样本。调优系统在与OrientDB进行交互的过程中收集训练数据，完成调优模型的训练。

本发明提供了一种基于深度强化学习的多模型数据库OrientDB参数配置自动调优方法，其目的在于，基于深度强化学习对OrientDB参数配置自动调优过程进行建模，将OrientDB参数配置调优涉及的各个部分与深度强化学习中的关键要素一一映射，利用深度确定性策略梯度(Deep Deterministic Policy Gradient，DDPG)算法构建调优模型，同时针对OrientDB的应用场景为调优模型设计了一个有效的奖励函数，从而实现了对多模型数据库OrientDB参数配置的自动调优，不仅提高了OrientDB性能，而且减少了调优过程中的人工干预；此外，本发明利用基准测试工具MMBench、状态监控工具OSMonitor以及性能统计工具OPIndicator获得训练数据，在没有DBA调优历史经验数据的情况下也能训练得到调优模型。

本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明利用基准测试工具MMBench、状态监控工具OSMonitor和性能统计工具OPIndicator获得训练数据，在没有DBA调优历史经验数据的情况下完成了调优模型的预训练，解决了现有的基于机器学习的数据库参数配置调优方法无法在缺乏DBA调优历史经验数据的情况下正常工作的问题。

(2)本发明实现了多模型数据库OrientDB参数配置的自动调优过程，提高了OrientDB的性能，同时大大降低了OrientDB参数配置调优难度，减少了调优过程中的人工干预。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种多模型数据库OrientDB参数配置自动调优方法，其特征在于，包括：

在默认参数配置下使用MMBench对OrientDB进行基准测试，使用OSMonitor得到OrientDB的初始运行状态s，使用OPIndicator得到OrientDB的性能p；在状态s，调优模型输出参数配置a；

将OrientDB参数配置调整为a后，使用MMBench对OrientDB进行基准测试，OSMonitor对OrientDB的运行状态进行实时监控和处理得到状态指标s′，OPIndicator统计OrientDB的性能变化，根据奖励函数计算得到奖励r；

将训练数据四元组(s,a,r,s′)存入调优经验池；

从调优经验池中随机采样数量为m的小批量样本用以训练调优模型；

如果调优模型收敛或达到人为设置的终止条件则结束训练得到预训练调优模型，否则，令s←s′，反回在状态s，调优模型输出参数配置a的步骤；

在实际工作负载下使用预训练调优模型输出推荐的参数配置，调优系统与用户的OrientDB交互k次，在这k次交互的过程中调优系统对预训练调优模型的网络参数进行微调，以适应实际工作负载，取这k次中OrientDB性能最优时对应的参数配置

作为调优模型推荐的参数配置；

其中，根据奖励函数计算得到奖励r：

其中，ΔP_t→0表示相对于默认参数配置下OrientDB性能的提升率，

表示相对于OrientDB历史最优性能的提升率；ΔP_t→0＞0表示当前性能相对于默认参数配置下OrientDB性能有所提升，ΔP_t→0＜0表示当前性能相对于默认参数配置下OrientDB性能有所下降，

表示当前性能相对于OrientDB历史最优性能有所提升，

表示当前性能相对于OrientDB历史最优性能有所下降。

2.如权利要求1所述的多模型数据库OrientDB参数配置自动调优方法，其特征在于，

基于DDPG算法构建调优模型，DDPG算法包含行动者和评论家两个部分，行动者部分采用当前行动者网络和目标行动者网络，评论家部分采用当前评论家网络和目标评论家网络，在调优模型中，随机初始化当前行动者网络的参数θ^μ和当前评论家网络的参数θ^Q，初始化目标行动者网络的参数θ^μ′和目标评论家网络的参数θ^Q′，其中θ^μ′＝θ^μ，θ^Q′＝θ^Q，初始化调优经验池，容量为M。

3.如权利要求1所述的多模型数据库OrientDB参数配置自动调优方法，其特征在于，用(s_i,a_i,r_i,s′_i)表示单个样本的初始运行状态、参数配置、奖励和状态指标，计算当前评论家网络的梯度；采用评论家网络优化器更新当前评论家网络的参数；计算当前行动者网络的策略梯度；采用行动者网络优化器更新当前行动者网络的参数；更新目标行动者网络和目标评论家网络的参数。

4.如权利要求1所述的多模型数据库OrientDB参数配置自动调优方法，其特征在于，a＝μ(s|θ^μ)，μ是利用当前行动者网络逼近的策略函数，θ^μ为当前行动者网络的参数。

5.如权利要求1所述的多模型数据库OrientDB参数配置自动调优方法，其特征在于，在实际工作负载下使用预训练调优模型输出推荐的参数配置，包括：

S21、使用基准测试工具MMBench重放当前实际工作负载，对OrientDB进行性能测试；在MMBench对OrientDB进行性能测试期间，使用OSMonitor得到OrientDB的初始运行状态，使用OPIndicator得到OrientDB在默认参数配置下的性能；

S22、使用预训练调优模型为OrientDB输出推荐的参数配置，在与用户的OrientDB进行交互的过程中对预训练调优模型的网络参数进行微调，以适应实际工作负载；

S23、重复n次步骤S22，取这n次中OrientDB性能最优时对应的参数配置

作为调优模型推荐的最终参数配置，将OrientDB参数配置调整为

Images