CN117454133B - 一种数据库参数配置方法及相关设备 - Google Patents

一种数据库参数配置方法及相关设备 Download PDF

Info

Publication number
CN117454133B
CN117454133B CN202311777546.3A CN202311777546A CN117454133B CN 117454133 B CN117454133 B CN 117454133B CN 202311777546 A CN202311777546 A CN 202311777546A CN 117454133 B CN117454133 B CN 117454133B
Authority
CN
China
Prior art keywords
database
parameter
model
parameters
decision tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311777546.3A
Other languages
English (en)
Other versions
CN117454133A (zh
Inventor
张加佳
漆舒汉
王轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202311777546.3A priority Critical patent/CN117454133B/zh
Publication of CN117454133A publication Critical patent/CN117454133A/zh
Application granted granted Critical
Publication of CN117454133B publication Critical patent/CN117454133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据库参数配置方法及相关设备，所述方法包括：构建参数生成模型和模型参数更新模型并对其进行训练，从参数生成模型中得到数据库参数；根据数据库参数对数据库进行参数配置，参数配置完成后进行性能测试，生成奖励函数，根据奖励函数训练模型参数更新模型的参数，根据参数更新参数生成模型的参数，直至模型达到收敛条件生成最终决策树，将内部性能指标输入到最终决策树得到数据库目标参数，根据数据库目标参数对数据库进行配置，并通过最终决策树中的路径生成数据库目标参数的解释；本发明在能得到最优的参数配置，提高了数据库性能的同时，还能帮助分析当前性能不好的原因，及时发现参数配置过程中出现的问题。

Description

一种数据库参数配置方法及相关设备
技术领域
本发明涉及数据库参数调节技术领域，尤其涉及一种数据库参数配置方法及相关设备。
背景技术
以数据库为代表的基础软件的自主可控，对信息和数据的安全性具有重要影响，建设具有自主产权的数据库管理系统对实现信息化带动工业化具有重要意义。
近年来，在大数据环境下，传统数据库技术很难适应这些新的场景和变化。首先，数据量持续增大，对单个查询任务的处理速度有了更高的要求；其次，查询负载的快速变化及其多样性使得基于数据库管理员经验的数据库配置和查询优化不能实时地调整为最佳运行时状态，这主要是因为数据库系统具有成百个可调参数，面对工作负载频繁变化，大量繁琐的参数配置已经超出数据库管理员的能力，使得数据库系统面对快速而又多样性的变化缺乏实时响应能力。
深度强化学习融合了深度学习的感知能力和强化学习的决策能力，在数据库自动参数配置场景下是可行性较高的解决方案。然而，现有调参模型都是只给出一组或几组配置参数，但是整个决策过程是黑盒的，无法结合业务场景对所制定参数进行解释。这样，当模型表现较差时，DBA（Database Administrator，数据库管理员）难以结合以往经验分析原因，而当模型表现比较优秀时，也无法从中总结发现新的调参知识从而进一步完善 DBA 的调参经验。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种数据库参数配置方法、系统、终端及计算机可读存储介质，旨在解决现有技术中利用调参模型对数据库进行参数配置时，无法及时发现参数配置过程中出现的问题，从而无法得到最优的参数配置以提高数据库的性能的问题。
为实现上述目的，本发明提供一种数据库参数配置方法，所述一种数据库参数配置方法包括如下步骤：
构建基于可微分决策树的参数生成模型和基于神经网络的模型参数更新模型；
获取数据库的内部性能指标，根据所述内部性能指标对所述参数生成模型进行训练，从所述参数生成模型中得到数据库参数；
根据所述数据库参数对所述数据库进行参数配置，当参数配置完成后对所述数据库进行性能测试，根据性能测试的结果生成奖励函数，将所述奖励函数发送给所述模型参数更新模型；
根据所述奖励函数训练所述模型参数更新模型的参数，根据所述模型参数更新模型的参数更新所述参数生成模型的参数，直至所述参数生成模型的参数达到收敛条件；
对达到收敛条件的所述参数生成模型进行量化，生成最终决策树，将所述内部性能指标输入到所述最终决策树中，计算得到数据库目标参数，根据所述数据库目标参数对所述数据库进行配置，并通过所述最终决策树中的路径生成所述数据库目标参数的解释。
可选地，所述的数据库参数配置方法，其中，所述参数生成模型由多层随机初始化的可微分决策树构建得到，所述可微分决策树将传统决策树中节点决策的布尔表达式替换为特征的线性组合。
可选地，所述的数据库参数配置方法，其中，所述根据所述内部性能指标对所述参数生成模型进行训练，从所述参数生成模型中得到数据库参数，具体包括：
将所述内部性能指标输入到可微分决策树中的叶节点中作为数据库内部性能指标向量；
设置所述可微分决策树的高度、所述叶节点的权重向量和偏置参数；
根据所述数据库内部性能指标向量、可微分决策树的高度、所述叶节点的权重参数、所述叶节点的权重向量和偏置参数，进行自下向上的计算，得到所述可微分决策树中每个内部节点的输出概率分布，并逐层汇总每个内部节点的输出概率分布，在根节点形成的概率分布为所述数据库参数。
可选地，所述的数据库参数配置方法，其中，所述当参数配置完成后对所述数据库进行性能测试，根据性能测试的结果生成奖励函数，具体包括：
当参数配置完成后，对所述数据库进行吞吐量性能测试和延迟性能测试；
根据所述吞吐量性能测试的结果和所述延迟性能测试的结果，通过预设的奖励函数生成奖励函数。
可选地，所述的数据库参数配置方法，其中，所述根据所述吞吐量性能测试的结果和所述延迟性能测试的结果，通过预设的奖励函数生成奖励函数，具体包括：
计算所述吞吐量性能测试的结果和所述延迟性能测试的结果/>：
；
；
其中，所述吞吐量性能测试的结果包括：在/>时刻相比初始配置的吞吐量性能变化/>和在/>时刻相比/>时刻的吞吐量性能变化/>；
所述延迟性能测试的结果包括：在/>时刻相比初始配置的延迟性能变化和在/>时刻相比/>时刻的延迟性能变化/>；
其中，表示在/>时刻的吞吐量性能，/>表示初始配置时的吞吐量性能，/>表示在/>时刻的吞吐量性能，/>表示在/>时刻的延迟性能，/>表示初始配置时的延迟性能，/>表示在/>时刻的延迟性能；
根据所述吞吐量性能测试的结果和所述延迟性能测试的结果/>，计算出吞吐量奖励/>和/>延迟奖励：
；
；
计算出奖励函数：
；
其中，和/>分别为所述吞吐量奖励和所述延迟奖励对应的权重。
可选地，所述的数据库参数配置方法，其中，所述根据所述奖励函数训练所述模型参数更新模型的参数，根据所述模型参数更新模型的参数更新所述参数生成模型的参数，直至所述参数生成模型的参数达到收敛条件，具体包括：
从经验回放池采样到时刻的奖励函数/>、/>时刻的内部性能指标/>、/>时刻的内部性能指标/>和/>时刻的参数生成模型输出的数据库参数；
根据时刻的奖励函数/>、/>时刻的内部性能指标/>、/>时刻的内部性能指标/>和/>时刻的参数生成模型输出的数据库参数，使用时间差误差对所述模型参数更新模型进行训练，得到训练后的模型参数更新模型的参数；
根据训练后的模型参数更新模型的参数进行反向传播以反复更新所述参数生成模型的参数，直至所述参数生成模型的参数满足所述收敛条件。
可选地，所述的数据库参数配置方法，其中，所述通过所述最终决策树中的路径生成所述数据库目标参数的解释，具体包括：
保留所述最终决策树中的每个节点最大的权值，其余全部权值置0，将所述最终决策树中每个节点向量内的最大的权值对应的特征作为关键特征，得到每个结点只有一个判断条件的目标决策树；
通过所述目标决策树，获取从根节点到叶节点的路径，根据所述路径生成所述数据库目标参数的解释。
此外，为实现上述目的，本发明还提供一种数据库参数配置系统，其中，所述数据库参数配置系统包括：
模型构建模块，用于构建基于可微分决策树的参数生成模型和基于神经网络的模型参数更新模型；
数据库参数生成模块，用于获取数据库的内部性能指标，根据所述内部性能指标对所述参数生成模型进行训练，从所述参数生成模型中得到数据库参数；
性能测试模块，用于根据所述数据库参数对所述数据库进行参数配置，当参数配置完成后对所述数据库进行性能测试，根据性能测试的结果生成奖励函数，将所述奖励函数发送给所述模型参数更新模型；
模型训练模块，用于根据所述奖励函数训练所述模型参数更新模型的参数，根据所述模型参数更新模型的参数更新所述参数生成模型的参数，直至所述参数生成模型的参数达到收敛条件；
参数获取和配置模块，用于将所述内部性能指标输入到达到收敛条件的所述参数生成模型中，计算得到数据库目标参数，并对达到收敛条件的所述参数生成模型进行量化，生成最终决策树，通过所述最终决策树中的路径生成所述数据库目标参数的解释。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据库参数配置程序，所述数据库参数配置程序被所述处理器执行时实现如上所述的数据库参数配置方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有数据库参数配置程序，所述数据库参数配置程序被处理器执行时实现如上所述的数据库参数配置方法的步骤。
本发明中，构建参数生成模型和模型参数更新模型并对其进行训练，从参数生成模型中得到数据库参数；根据数据库参数对数据库进行参数配置，参数配置完成后进行性能测试，生成奖励函数，根据奖励函数训练模型参数更新模型的参数，根据参数更新参数生成模型的参数，直至参数生成模型的参数达到收敛条件；根据达到收敛条件参数生成模型生成最终决策树，将内部性能指标输入到最终决策树得到数据库目标参数，根据数据库目标参数对数据库进行配置，并通过最终决策树中的路径生成数据库目标参数的解释；本发明对数据库参数进行配置的同时还能对调参策略作出合理的解释，对调参工作具有指导意义。
附图说明
图1是本发明数据库参数配置方法的较佳实施例的流程图；
图2是本发明数据库参数配置方法的较佳实施例的原理图；
图3是本发明数据库参数配置方法中的参数生成模型的示意图；
图4是对本发明数据库参数配置方法进行实验验证时在MySQL上的调参结果对比；
图5是本发明数据库参数配置系统的较佳实施例的原理图；
图6为本发明终端的较佳实施例的运行环境图。
具体实施方式
本申请提供一种数据库参数配置方法及相关设备，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语），具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明较佳实施例所述的数据库参数配置方法，如图1和图2所示，所述数据库参数配置方法包括以下步骤：
步骤S100、构建基于可微分决策树的参数生成模型和基于神经网络的模型参数更新模型。
具体地，构建基于可微分决策树的参数生成模型和基于神经网络的模型参数更新模型，采用actor-critic（行动者-评论家）架构建立如图2所示的调参模型，其中，参数生成模型（行动者模型）由多层随机初始化的可微分决策树构建得到，所述可微分决策树将传统决策树中节点决策的布尔表达式替换为特征的线性组合，模型参数更新模型（评论家模型）利用常规神经网络构建基于神经网络的评论家模型。
也就是说，参数生成模型产生一组策略，即配置参数，配置到数据库中引起指标的变化，参数生成模型也会根据指标的变化给出相应的分数，模型计算新的奖励，以此训练这两个模块。
步骤S200、获取数据库的内部性能指标，根据所述内部性能指标对所述参数生成模型进行训练，从所述参数生成模型中得到数据库参数。
具体地，获取数据库的内部性能指标，所述内部性能指标即数据库的配置和负载信息，所述内部性能指标包括：数据库系统的CPU、内存和硬盘大小等硬件信息以及数据库会话个数、并发数和读写流量等状态信息。
所述根据所述内部性能指标对所述参数生成模型进行训练，从所述参数生成模型中得到数据库参数，具体包括：
将所述内部性能指标输入到可微分决策树中的叶节点中作为数据库内部性能指标向量。
设置所述可微分决策树的高度、所述叶节点的权重向量和偏置参数。
根据所述数据库内部性能指标向量、可微分决策树的高度、所述叶节点的权重参数、所述叶节点的权重向量和偏置参数，进行自下向上的计算，得到所述可微分决策树中每个内部节点的输出概率分布，并逐层汇总每个内部节点的输出概率分布，在根节点形成的概率分布为所述数据库参数。
如图3所示，可以理解的是，所述参数生成模型的输入为观测到的数据库内部性能指标向量，输出为数据库的配置参数，树中叶节点是输入，内节点是输入特征的线性组合，根节点是输出，输入数据会从叶节点自下向上传播，树的计算过程是连续的，因此可以在强化学习训练中通过反向传播更新节点的参数。
在图3中，S表示所述数据库内部性能指标向量，C 1 、C 2 和C 3 分别表示第一、第二和第三个节点的偏置参数（待学习的参数），W 1 T 、W 2 T 和W 3 T 分别表示第一、第二和第三个节点的权重向量（待学习的参数），T代表转置操作，metric 表示各个内部指标构成的特征向量，n表示metric的序数，knob表示要调整的所述数据库参数，m表示knob的序数，L 1 、L 2 、L 3 和L 4 表示不同的叶子结点，每个L是一个与配置参数动作{knob1....knobn}同维度的向量，α表示叶节点的权重参数，σ的代表的是每个节点选择左分支的概率，1-σ代表选择右分支的概率。
进一步地，根据可解释数据库配置参数生成算法来生成所述数据库参数。
所述可解释数据库配置参数生成算法的输入为：所述数据库内部性能指标向量（状态）S、可微分决策树的高度h、所述叶节点的权重参数α、所述叶节点的权重向量和偏置参数C，输出为：数据库参数向量iter。
可以理解的是，如图3所示，所述可解释数据库配置参数生成算法每次迭代iter的维度都会减半，直至根节点，每次迭代由行动者模型产生一个具体的数据库参数配置。σ的代表的是每个节点选择左分支的概率，1-σ代表选择右分支的概率。整个算法的就是在计算配置参数向量iter（通常是个概率分布，相当于强化学习五元组中的动作选择概率分布）时，需要自底向上，从h-1层开始，逐层汇总每个内部节点的输出概率分布，汇总到根节点形成的概率分布就是最后的输出的概率，以此可以选择动作。
步骤S300、根据所述数据库参数对所述数据库进行参数配置，当参数配置完成后对所述数据库进行性能测试，根据性能测试的结果生成奖励函数，将所述奖励函数发送给所述模型参数更新模型。
具体地，得到所述数据库参数后，所述数据库参数对所述数据库进行参数配置，数据库配置参数指定要分配给某个数据库的资源量以及其他事项，可以更改许多参数的值以提高性能或增大容量。
以SQL数据库作为举例，以管理员身份运行cmd并启动监听，以dba（数据库管理员）身份登录，查看数据库，输入要进行配置的数据库，按照所述数据库参数对数据库进行配置，比如修改sga（System Global Area，系统全局区，是一组共享内存结构）和pga（ProcessGlobal Area，为每个连接到数据库的用户进程保存的内存区）的最大值为1344M，修改pga的总计值为128M，修改sga的最大值为816M，修改数据库缓存区高速缓存为96M，修改大型共享池为48M，修改共享服务器进程数为4等，在修改完成后重启所述数据库。
进一步地，当参数配置完成后对所述数据库进行性能测试，根据性能测试的结果生成奖励函数，将所述奖励函数发送给所述模型参数更新模型。
所述当参数配置完成后对所述数据库进行性能测试，根据性能测试的结果生成奖励函数，具体包括：
当参数配置完成后，对所述数据库进行吞吐量性能测试和延迟性能测试。
根据所述吞吐量性能测试的结果和所述延迟性能测试的结果，通过预设的奖励函数生成奖励函数。
可以理解的是，评价一个数据库的性能，一般是从响应时间（延迟）、并发量、吞吐量、处理能力、可扩展性等方面来评估的；本发明中，对所述数据库进行性能测试主要分为吞吐量（吞吐量是指在通信网络中通过通信信道传递消息的速率）性能测试和延迟性能测试。
所述根据所述吞吐量性能测试的结果和所述延迟性能测试的结果，通过预设的奖励函数生成奖励函数，具体包括：
计算所述吞吐量性能测试的结果和所述延迟性能测试的结果/>：
；
；
其中，所述吞吐量性能测试的结果包括：在/>时刻相比初始配置的吞吐量性能变化/>和在/>时刻相比/>时刻的吞吐量性能变化/>；
所述延迟性能测试的结果包括：在/>时刻相比初始配置的延迟性能变化和在/>时刻相比/>时刻的延迟性能变化/>；
其中，表示在/>时刻的吞吐量性能，/>表示初始配置时的吞吐量性能，/>表示在/>时刻的吞吐量性能，/>表示在/>时刻的延迟性能，/>表示初始配置时的延迟性能，/>表示在/>时刻的延迟性能；
根据所述吞吐量性能测试的结果和所述延迟性能测试的结果/>，计算出吞吐量奖励/>和/>延迟奖励：
；
。
可以理解的是，无论是吞吐量还是时延，相比于初始时刻的性能变化率大于0表示调参的趋势是正确的，故奖励应为正，若小于0则奖励应为负，因此可以计算出吞吐量奖励和/>延迟奖励。
进一步地，计算出奖励函数：
；
其中，和/>分别为所述吞吐量奖励和所述延迟奖励对应的权重。
可以理解的是，本发明计算了在时刻、/>时刻和初始配置时三个时刻的吞吐量性能和延迟性能，其目的是设计奖励函数时，既要考虑数据库性能相比于上一次调参的变化，又要考虑相比初始配置性能的变化，使得奖励函数的设计更加合理。
步骤S400、根据所述奖励函数训练所述模型参数更新模型的参数，根据所述模型参数更新模型的参数更新所述参数生成模型的参数，直至所述参数生成模型的参数达到收敛条件。
所述根据所述奖励函数训练所述模型参数更新模型的参数，根据所述模型参数更新模型的参数更新所述参数生成模型的参数，直至所述参数生成模型的参数达到收敛条件，具体包括：
从经验回放池采样到时刻的奖励函数/>、/>时刻的内部性能指标/>、/>时刻的内部性能指标/>和/>时刻的参数生成模型输出的数据库参数。
可以理解的是，经验回放池(Experience Replay Buffer)是一个数据结构，用于存储模型在训练过程中产生的经验。从经验回放池采样到时刻的奖励函数/>、/>时刻的内部性能指标/>、/>时刻的内部性能指标/>和/>时刻的参数生成模型输出的数据库参数对所述模型参数更新模型进行训练。
根据时刻的奖励函数/>、/>时刻的内部性能指标/>、/>时刻的内部性能指标/>和/>时刻的参数生成模型输出的数据库参数，使用时间差误差对所述模型参数更新模型进行训练，得到训练后的模型参数更新模型的参数。
根据训练后的模型参数更新模型的参数进行反向传播以反复更新所述参数生成模型的参数，直至所述参数生成模型的参数满足所述收敛条件。
可以理解的是，所述调参模型的训练方式与深度确定性策略梯度（DDPG）网络类似，先使用时间差误差（TD-error）训练所述模型参数更新模型，再根据所述模型参数更新模型反向传播（策略梯度）训练行动者模块。
所述根据训练后的模型参数更新模型的参数进行反向传播以反复更新所述参数生成模型的参数，具体包括：
计算所述参数生成模型的参数θ μ ：
；
其中，θ Q 代表训练后的模型参数更新模型的参数，θ μ 代表行动者模块要更新的参数，表示梯度，E表示期望，a表示动作，s表示状态信息， Q 表示叶子结点采取动作a的概率， μ 表示到叶子节点上的概率，J表示整体的梯度，/>是一个向量，其中每一个分量表示/>状态下到每个叶子结点的概率。
进一步地，当所述参数生成模型的参数的变化满足所述收敛条件时，根据所述参数生成模型的参数优化所述参数生成模型，最终得到达到收敛条件的所述参数生成模型。其中，所述收敛条件可以为达到最大迭代次数时收敛，也可以是预设一个预设值，当所述参数生成模型的参数的变化小于预设值时收敛。
步骤S500、对达到收敛条件的所述参数生成模型进行量化，生成最终决策树，将所述内部性能指标输入到所述最终决策树中，计算得到数据库目标参数，根据所述数据库目标参数对所述数据库进行配置，并通过所述最终决策树中的路径生成所述数据库目标参数的解释。
离散化，把无限空间中有限的个体映射到有限的空间中去，以此提高算法的时空效率，即：在不改变数据相对大小的条件下，对数据进行相应的缩小。离散化本质上可以看成是一种哈希，其保证数据在哈希以后仍然保持原来的全序或者偏序关系。
具体地，对达到收敛条件的参数生成模型进行离散化处理，得到最终决策树，以便从中获取蕴含的有用信息，以此对参数配置作出解释。
将所述内部性能指标输入到所述最终决策树中，计算得到数据库目标参数，根据所述数据库目标参数对所述数据库进行配置，可以得到最优的参数配置，进而提高数据库的性能。
进一步地，如图4所示，本发明还可以通过所述最终决策树中的根节点到叶节点的路径生成所述数据库目标参数的解释。
所述通过所述最终决策树中的路径生成所述数据库目标参数的解释，具体包括：
保留所述最终决策树中的每个节点最大的权值，其余全部权值置0，将所述最终决策树中每个节点向量内的最大的权值对应的特征作为关键特征，得到每个结点只有一个判断条件的目标决策树。
通过所述目标决策树，获取从根节点到叶节点的路径，根据所述路径生成所述数据库目标参数的解释。
可以理解的是，生成的最终决策树中，内节点的每个特征的权值和阈值已经确定，通过每个节点向量内的最大权值分量就能获取该节点中最关键的特征，也就说每个结点仅保留最大的权值，其他权值都置0，这样整个树就变成了每个结点只有一个判断条件的决策树模型。此时可以将内部节点中的阈值除以选中特征的权重进行归一化，可以将其视为将单个特征与阈值进行比较，决定该节点下一条要走的分支。由于模型能够生成完整的决策过程，从而具有了更好的透明度和可解释性。
进一步地，通过每个节点向量内的最大权值分量就能获取该节点中最关键的特征的同时，本发明引入gumbel-softmax（重参数化技巧）以对原始随机变量加入Gumbel (耿贝尔分布) 噪声，避免各metric （内部指标构成的特征向量）的权值分布过于均匀，有利于模型的训练以及所述目标决策树的生成。
在引入gumbel-softmax后，内节点中每个运行时状态metric的权值分布不再过于均匀，可以轻易地在离散化阶段选出较为重要的 metric作为节点。进行决策时在所述目标决策树中，从根节点到叶节点的路径就解释了行动者的决策过程。
也就是说，本发明可以通过所述目标决策树，获取从根节点到叶节点的路径，每个所述叶节点的参数代表了数据库配置的一个参数，并且可以根据所述目标决策树的判断走向来得到每个数据库参数的生成过程，即根据所述路径生成所述数据库目标参数的解释，在能够得到最优的参数配置，提高了数据库性能的同时，实现了整个决策过程的透明化，能够帮助数据库管理员分析当前性能不好的原因，及时发现参数配置过程中出现的问题，对数据库管理员的调参工作有很好的指导意义。
更进一步地，对本申请提出的数据库参数配置方法进行实验验证：
本发明在主流数据库MySQL上进行了模型评测，实验环境基于Ubuntu18.04系统，CPU型号为Inter(R) Core(TM) i9-9900X，20核3.5GHz频率，GPU型号为NVIDIA GeForceRTX 2080Ti，内存128G。
衡量数据库性能的指标选取了最常用的吞吐量和时延两种，吞吐量为数据库单位时间内成功处理的事务数，对于MySQL，本发明使用sysbench压测工具测试数据库的性能，其包括的OLTP基准测试支持只读场景（RO，每个事务包含14个SQL指令）、只写场景（WO，每个事务包含4个SQL指令）与读写混合场景（RW，每个事务包含18个SQL指令）。
本发明选取了以下方法进行消融实验：
Default（方法1）：默认配置下的系统性能。
MySQLTuner（方法2）：用perl语言（一种计算机编程语言）编写的MySQL配置参数推荐工具。
DBA（方法3）：数据库管理员根据经验调参。
OtterTune（方法4）：一种基于大规模机器学习的自动调参方法，训练一个性能预测模型并挑选最好配置。
CDBTune（方法5）：一种基于强化学习的端到端自动调参方法，离线训练并在线推荐参数。
KnobTree（方法6，即本发明提出的方法）：使用了参数重要性分析的可解释调参方法，动作输入是筛选出来的参数。
将上述全部方法分别应用在MySQL的只读、只写、读写场景上。
从图4中的（a）和（d）可以看出在只读场景RO下，本发明方法与OtterTune相比在吞吐量和延迟上取得了明显的优势，与目前最先进的方法CDBTune相比也具有进步，这是因为OtterTune基于大规模机器学习，需要大量优质的训练数据，而本发明方法基于强化学习，可以在环境中不断探索试错，更容易进行训练。
从图4中的（b）和（e）可以看出在只写场景WO下，本发明方法也取得了与目前最先进的方法CDBTune相当的调参效果。
从图4中的（c）和（f）可以看出在读写混合场景RW下，本发明方法同样取得了与目前最先进的方法CDBTune相当的调参效果。
同时，本发明所提出的参数重要性分析结合可解释调参模型（KnobTree）可以取得与目前最先进的方法CDBTune相当甚至更好的调参效果，而且相比之下，本发明方法的优势在于其能够对调参策略做出合理的解释。
可见，本发明在训练过程中采用了强化学习算法能够自动决策要调整的参数和调整幅度。通过构建决策过程透明的可微分决策树模型，使模型在制定参数配置时，可以完整展现其决策过程，在能够得到最优的参数配置，提高了数据库性能的同时，实现了整个决策过程的透明化，能够帮助数据库管理员分析当前性能不好的原因，及时发现参数配置过程中出现的问题，对数据库管理员的调参工作有很好的指导意义。
进一步地，如图5所示，基于上述数据库参数配置方法，本发明还相应提供了一种数据库参数配置系统，其中，所述数据库参数配置系统包括：
模型构建模块51，用于构建基于可微分决策树的参数生成模型和基于神经网络的模型参数更新模型；
数据库参数生成模块52，用于获取数据库的内部性能指标，根据所述内部性能指标对所述参数生成模型进行训练，从所述参数生成模型中得到数据库参数；
性能测试模块53，用于根据所述数据库参数对所述数据库进行参数配置，当参数配置完成后对所述数据库进行性能测试，根据性能测试的结果生成奖励函数，将所述奖励函数发送给所述模型参数更新模型；
模型训练模块54，用于根据所述奖励函数训练所述模型参数更新模型的参数，根据所述模型参数更新模型的参数更新所述参数生成模型的参数，直至所述参数生成模型的参数达到收敛条件；
参数获取和配置模块55，用于将所述内部性能指标输入到达到收敛条件的所述参数生成模型中，计算得到数据库目标参数，并对达到收敛条件的所述参数生成模型进行量化，生成最终决策树，通过所述最终决策树中的路径生成所述数据库目标参数的解释。
进一步地，如图6所示，基于上述数据库参数配置方法和系统，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30。图6仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（SecureDigital， SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有数据库参数配置程序40，该数据库参数配置程序40可被处理器10所执行，从而实现本申请中数据库参数配置方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit，CPU），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述数据库参数配置方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中数据库参数配置程序40时实现以下步骤：
构建基于可微分决策树的参数生成模型和基于神经网络的模型参数更新模型；
获取数据库的内部性能指标，根据所述内部性能指标对所述参数生成模型进行训练，从所述参数生成模型中得到数据库参数；
根据所述数据库参数对所述数据库进行参数配置，当参数配置完成后对所述数据库进行性能测试，根据性能测试的结果生成奖励函数，将所述奖励函数发送给所述模型参数更新模型；
根据所述奖励函数训练所述模型参数更新模型的参数，根据所述模型参数更新模型的参数更新所述参数生成模型的参数，直至所述参数生成模型的参数达到收敛条件；
对达到收敛条件的所述参数生成模型进行量化，生成最终决策树，将所述内部性能指标输入到所述最终决策树中，计算得到数据库目标参数，根据所述数据库目标参数对所述数据库进行配置，并通过所述最终决策树中的路径生成所述数据库目标参数的解释。
其中，所述参数生成模型由多层随机初始化的可微分决策树构建得到，所述可微分决策树将传统决策树中节点决策的布尔表达式替换为特征的线性组合。
其中，所述根据所述内部性能指标对所述参数生成模型进行训练，从所述参数生成模型中得到数据库参数，具体包括：
将所述内部性能指标输入到可微分决策树中的叶节点中作为数据库内部性能指标向量；
设置所述可微分决策树的高度、所述叶节点的权重向量和偏置参数；
根据所述数据库内部性能指标向量、可微分决策树的高度、所述叶节点的权重参数、所述叶节点的权重向量和偏置参数，进行自下向上的计算，得到所述可微分决策树中每个内部节点的输出概率分布，并逐层汇总每个内部节点的输出概率分布，在根节点形成的概率分布为所述数据库参数。
其中，所述当参数配置完成后对所述数据库进行性能测试，根据性能测试的结果生成奖励函数，具体包括：
当参数配置完成后，对所述数据库进行吞吐量性能测试和延迟性能测试；
根据所述吞吐量性能测试的结果和所述延迟性能测试的结果，通过预设的奖励函数生成奖励函数。
其中，所述根据所述吞吐量性能测试的结果和所述延迟性能测试的结果，通过预设的奖励函数生成奖励函数，具体包括：
计算所述吞吐量性能测试的结果和所述延迟性能测试的结果/>：
；
；
其中，所述吞吐量性能测试的结果包括：在/>时刻相比初始配置的吞吐量性能变化/>和在/>时刻相比/>时刻的吞吐量性能变化/>；
所述延迟性能测试的结果包括：在/>时刻相比初始配置的延迟性能变化和在/>时刻相比/>时刻的延迟性能变化/>；
其中，表示在/>时刻的吞吐量性能，/>表示初始配置时的吞吐量性能，/>表示在/>时刻的吞吐量性能，/>表示在/>时刻的延迟性能，/>表示初始配置时的延迟性能，/>表示在/>时刻的延迟性能；
根据所述吞吐量性能测试的结果和所述延迟性能测试的结果/>，计算出吞吐量奖励/>和/>延迟奖励：/>
；
；
计算出奖励函数：
；
其中，和/>分别为所述吞吐量奖励和所述延迟奖励对应的权重。
其中，所述根据所述奖励函数训练所述模型参数更新模型的参数，根据所述模型参数更新模型的参数更新所述参数生成模型的参数，直至所述参数生成模型的参数达到收敛条件，具体包括：
从经验回放池采样到时刻的奖励函数/>、/>时刻的内部性能指标/>、/>时刻的内部性能指标/>和/>时刻的参数生成模型输出的数据库参数；
根据时刻的奖励函数/>、/>时刻的内部性能指标/>、/>时刻的内部性能指标/>和/>时刻的参数生成模型输出的数据库参数，使用时间差误差对所述模型参数更新模型进行训练，得到训练后的模型参数更新模型的参数；
根据训练后的模型参数更新模型的参数进行反向传播以反复更新所述参数生成模型的参数，直至所述参数生成模型的参数满足所述收敛条件。
其中，所述通过所述最终决策树中的路径生成所述数据库目标参数的解释，具体包括：
保留所述最终决策树中的每个节点最大的权值，其余全部权值置0，将所述最终决策树中每个节点向量内的最大的权值对应的特征作为关键特征，得到每个结点只有一个判断条件的目标决策树；
通过所述目标决策树，获取从根节点到叶节点的路径，根据所述路径生成所述数据库目标参数的解释。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有数据库参数配置程序，所述数据库参数配置程序被处理器执行时实现如上所述的数据库参数配置方法的步骤。
综上所述，本发明公开了一种数据库参数配置方法及相关设备，所述方法包括：构建参数生成模型和模型参数更新模型并对其进行训练，从参数生成模型中得到数据库参数；根据数据库参数对数据库进行参数配置，参数配置完成后进行性能测试，生成奖励函数，根据奖励函数训练模型参数更新模型的参数，根据参数更新参数生成模型的参数，直至参数生成模型的参数达到收敛条件；根据达到收敛条件参数生成模型生成最终决策树，将内部性能指标输入到最终决策树得到数据库目标参数，根据数据库目标参数对数据库进行配置，并通过最终决策树中的路径生成数据库目标参数的解释；本发明对数据库参数进行配置的同时还能对调参策略作出合理的解释，对调参工作具有指导意义。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种数据库参数配置方法，其特征在于，所述的数据库参数配置方法包括：
构建基于可微分决策树的参数生成模型和基于神经网络的模型参数更新模型；
所述参数生成模型由多层随机初始化的可微分决策树构建得到，所述可微分决策树将传统决策树中节点决策的布尔表达式替换为特征的线性组合；
获取数据库的内部性能指标，根据所述内部性能指标对所述参数生成模型进行训练，从所述参数生成模型中得到数据库参数；
所述根据所述内部性能指标对所述参数生成模型进行训练，从所述参数生成模型中得到数据库参数，具体包括：
将所述内部性能指标输入到可微分决策树中的叶节点中作为数据库内部性能指标向量；
设置所述可微分决策树的高度、所述叶节点的权重向量和偏置参数；
根据所述数据库内部性能指标向量、可微分决策树的高度、所述叶节点的权重参数、所述叶节点的权重向量和偏置参数，进行自下向上的计算，得到所述可微分决策树中每个内部节点的输出概率分布，并逐层汇总每个内部节点的输出概率分布，在根节点形成的概率分布为所述数据库参数；
根据所述数据库参数对所述数据库进行参数配置，当参数配置完成后对所述数据库进行性能测试，根据性能测试的结果生成奖励函数，将所述奖励函数发送给所述模型参数更新模型；
根据所述奖励函数训练所述模型参数更新模型的参数，根据所述模型参数更新模型的参数更新所述参数生成模型的参数，直至所述参数生成模型的参数达到收敛条件；
对达到收敛条件的所述参数生成模型进行量化，生成最终决策树，将所述内部性能指标输入到所述最终决策树中，计算得到数据库目标参数，根据所述数据库目标参数对所述数据库进行配置，并通过所述最终决策树中的路径生成所述数据库目标参数的解释；
所述通过所述最终决策树中的路径生成所述数据库目标参数的解释，具体包括：
保留所述最终决策树中的每个节点最大的权值，其余全部权值置0，将所述最终决策树中每个节点向量内的最大的权值对应的特征作为关键特征，得到每个结点只有一个判断条件的目标决策树；
通过所述目标决策树，获取从根节点到叶节点的路径，根据所述路径生成所述数据库目标参数的解释；得到最优的参数配置、提高了数据库性能的同时，实现了整个决策过程的透明化。
2.根据权利要求1所述的数据库参数配置方法，其特征在于，所述当参数配置完成后对所述数据库进行性能测试，根据性能测试的结果生成奖励函数，具体包括：
当参数配置完成后，对所述数据库进行吞吐量性能测试和延迟性能测试；
根据所述吞吐量性能测试的结果和所述延迟性能测试的结果，通过预设的奖励函数生成奖励函数。
3.根据权利要求2所述的数据库参数配置方法，其特征在于，所述根据所述吞吐量性能测试的结果和所述延迟性能测试的结果，通过预设的奖励函数生成奖励函数，具体包括：
计算所述吞吐量性能测试的结果和所述延迟性能测试的结果/>：
；
；
其中，所述吞吐量性能测试的结果包括：在/>时刻相比初始配置的吞吐量性能变化和在/>时刻相比/>时刻的吞吐量性能变化/>；
所述延迟性能测试的结果包括：在/>时刻相比初始配置的延迟性能变化/>和在/>时刻相比/>时刻的延迟性能变化/>；
其中，表示在/>时刻的吞吐量性能，/>表示初始配置时的吞吐量性能，/>表示在/>时刻的吞吐量性能，/>表示在/>时刻的延迟性能，/>表示初始配置时的延迟性能，/>表示在/>时刻的延迟性能；
根据所述吞吐量性能测试的结果和所述延迟性能测试的结果/>，计算出吞吐量奖励/>和/>延迟奖励：
；
；
计算出奖励函数：
；
其中，和/>分别为所述吞吐量奖励和所述延迟奖励对应的权重。
4.据权利要求3所述的数据库参数配置方法，其特征在于，所述根据所述奖励函数训练所述模型参数更新模型的参数，根据所述模型参数更新模型的参数更新所述参数生成模型的参数，直至所述参数生成模型的参数达到收敛条件，具体包括：
从经验回放池采样到时刻的奖励函数/>、/>时刻的内部性能指标/>、/>时刻的内部性能指标/>和/>时刻的参数生成模型输出的数据库参数；
根据时刻的奖励函数/>、/>时刻的内部性能指标/>、/>时刻的内部性能指标和/>时刻的参数生成模型输出的数据库参数，使用时间差误差对所述模型参数更新模型进行训练，得到训练后的模型参数更新模型的参数；
根据训练后的模型参数更新模型的参数进行反向传播以反复更新所述参数生成模型的参数，直至所述参数生成模型的参数满足所述收敛条件。
5.一种数据库参数配置系统，其特征在于，所述数据库参数配置系统包括：
模型构建模块，用于构建基于可微分决策树的参数生成模型和基于神经网络的模型参数更新模型；所述参数生成模型由多层随机初始化的可微分决策树构建得到，所述可微分决策树将传统决策树中节点决策的布尔表达式替换为特征的线性组合；
数据库参数生成模块，用于获取数据库的内部性能指标，根据所述内部性能指标对所述参数生成模型进行训练，从所述参数生成模型中得到数据库参数；
所述根据所述内部性能指标对所述参数生成模型进行训练，从所述参数生成模型中得到数据库参数，具体包括：
将所述内部性能指标输入到可微分决策树中的叶节点中作为数据库内部性能指标向量；
设置所述可微分决策树的高度、所述叶节点的权重向量和偏置参数；
根据所述数据库内部性能指标向量、可微分决策树的高度、所述叶节点的权重参数、所述叶节点的权重向量和偏置参数，进行自下向上的计算，得到所述可微分决策树中每个内部节点的输出概率分布，并逐层汇总每个内部节点的输出概率分布，在根节点形成的概率分布为所述数据库参数；
性能测试模块，用于根据所述数据库参数对所述数据库进行参数配置，当参数配置完成后对所述数据库进行性能测试，根据性能测试的结果生成奖励函数，将所述奖励函数发送给所述模型参数更新模型；
模型训练模块，用于根据所述奖励函数训练所述模型参数更新模型的参数，根据所述模型参数更新模型的参数更新所述参数生成模型的参数，直至所述参数生成模型的参数达到收敛条件；
参数获取和配置模块，用于将所述内部性能指标输入到达到收敛条件的所述参数生成模型中，计算得到数据库目标参数，并对达到收敛条件的所述参数生成模型进行量化，生成最终决策树，通过所述最终决策树中的路径生成所述数据库目标参数的解释；
所述通过所述最终决策树中的路径生成所述数据库目标参数的解释，具体包括：
保留所述最终决策树中的每个节点最大的权值，其余全部权值置0，将所述最终决策树中每个节点向量内的最大的权值对应的特征作为关键特征，得到每个结点只有一个判断条件的目标决策树；
通过所述目标决策树，获取从根节点到叶节点的路径，根据所述路径生成所述数据库目标参数的解释；得到最优的参数配置、提高了数据库性能的同时，实现了整个决策过程的透明化。
6.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据库参数配置程序，所述数据库参数配置程序被所述处理器执行时实现如权利要求1-4任一项所述的数据库参数配置方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有数据库参数配置程序，所述数据库参数配置程序被处理器执行时实现如权利要求1-4任一项所述的数据库参数配置方法的步骤。
CN202311777546.3A 2023-12-22 2023-12-22 一种数据库参数配置方法及相关设备 Active CN117454133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311777546.3A CN117454133B (zh) 2023-12-22 2023-12-22 一种数据库参数配置方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311777546.3A CN117454133B (zh) 2023-12-22 2023-12-22 一种数据库参数配置方法及相关设备

Publications (2)

Publication Number Publication Date
CN117454133A CN117454133A (zh) 2024-01-26
CN117454133B true CN117454133B (zh) 2024-03-26

Family

ID=89591397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311777546.3A Active CN117454133B (zh) 2023-12-22 2023-12-22 一种数据库参数配置方法及相关设备

Country Status (1)

Country Link
CN (1) CN117454133B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207268A1 (zh) * 2019-04-11 2020-10-15 腾讯科技（深圳）有限公司 数据库性能调整方法、装置、设备、系统及存储介质
CN112131206A (zh) * 2020-09-24 2020-12-25 北京计算机技术及应用研究所 一种多模型数据库OrientDB参数配置自动调优方法
CN112437020A (zh) * 2020-10-30 2021-03-02 天津大学 一种基于深度强化学习的数据中心网络负载均衡方法
CN113064879A (zh) * 2021-03-12 2021-07-02 腾讯科技（深圳）有限公司 数据库参数调整方法、装置及计算机可读存储介质
CN114611661A (zh) * 2022-02-07 2022-06-10 中国人民解放军军事科学院国防科技创新研究院 一种基于人类知识优化强化学习的方法及系统
CN114756607A (zh) * 2020-12-25 2022-07-15 华为云计算技术有限公司 参数配置方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207268A1 (zh) * 2019-04-11 2020-10-15 腾讯科技（深圳）有限公司 数据库性能调整方法、装置、设备、系统及存储介质
CN112131206A (zh) * 2020-09-24 2020-12-25 北京计算机技术及应用研究所 一种多模型数据库OrientDB参数配置自动调优方法
CN112437020A (zh) * 2020-10-30 2021-03-02 天津大学 一种基于深度强化学习的数据中心网络负载均衡方法
CN114756607A (zh) * 2020-12-25 2022-07-15 华为云计算技术有限公司 参数配置方法及装置
CN113064879A (zh) * 2021-03-12 2021-07-02 腾讯科技（深圳）有限公司 数据库参数调整方法、装置及计算机可读存储介质
CN114611661A (zh) * 2022-02-07 2022-06-10 中国人民解放军军事科学院国防科技创新研究院 一种基于人类知识优化强化学习的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于机器学习的数据库系统参数优化方法综述;石磊 等;《郑州大学学报（工学版）》（https://doi.org/10.13705/j.issn.1671-6833.2024.01.008）;20231017;第1-12页 *
智能蓝军作战行为决策模型优化技术研究;章乐贵 等;《火力与指挥控制》;20231130;第48卷(第11期);第17-24页 *

Also Published As

Publication number Publication date
CN117454133A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
JP7413580B2 (ja) ニューラルネットワークを使用した集積回路フロアプランの生成
CN113064879B (zh) 数据库参数调整方法、装置及计算机可读存储介质
US20180240041A1 (en) Distributed hyperparameter tuning system for machine learning
US20190236479A1 (en) Method and apparatus for providing efficient testing of systems by using artificial intelligence tools
US20210286786A1 (en) Database performance tuning method, apparatus, and system, device, and storage medium
CN108763398B (zh) 数据库配置参数处理方法、装置、计算机设备和存储介质
US10013656B1 (en) Methods and apparatus for analytical processing of provenance data for HPC workflow optimization
CN111079899A (zh) 神经网络模型压缩方法、系统、设备及介质
US10963802B1 (en) Distributed decision variable tuning system for machine learning
JP2023523029A (ja) 画像認識モデル生成方法、装置、コンピュータ機器及び記憶媒体
CN114415965B (zh) 一种数据迁移方法、装置、设备及存储介质
CN110880014B (zh) 数据处理方法、装置、计算机设备及存储介质
CN108363643A (zh) 一种基于文件访问热度的hdfs副本管理方法
US10896270B2 (en) Method for solving multi-fidelity optimization problems
CN115755954B (zh) 巡检路径规划方法、系统、计算机设备及存储介质
CN115705322A (zh) 一种数据库管理系统、数据处理方法及设备
CN103365923A (zh) 用于评估数据库的分区方案的方法和装置
CN113705276A (zh) 模型构建方法、模型构建装置、计算机设备及介质
CN113342418B (zh) 基于区块链的分布式机器学习任务卸载方法
CN117454133B (zh) 一种数据库参数配置方法及相关设备
CN115186936B (zh) 基于gnn模型的油田最优井网构建方法
CN115529315B (zh) 一种云边协同系统
CN111737319B (zh) 用户集群的预测方法、装置、计算机设备和存储介质
KR20200048796A (ko) 다층 회귀분석을 이용한 자가 진화 에이전트 기반 시뮬레이션 방법 및 장치
CN115687304A (zh) 一种Flink状态存储优化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant