CN116028468A - 数据库调优方法、装置、设备、存储介质和程序产品 - Google Patents
数据库调优方法、装置、设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN116028468A CN116028468A CN202211722583.XA CN202211722583A CN116028468A CN 116028468 A CN116028468 A CN 116028468A CN 202211722583 A CN202211722583 A CN 202211722583A CN 116028468 A CN116028468 A CN 116028468A
- Authority
- CN
- China
- Prior art keywords
- tuning
- node
- parameters
- model
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stored Programmes (AREA)
Abstract
本申请涉及一种数据库调优方法、装置、设备、存储介质和程序产品。方法包括:首先,接收节点端的包括节点端的缓冲池的参数信息的待调优参数,然后,将待调优参数输入预设调优模型,得到目标调优结果,最后,将目标调优结果发送至节点端,目标调优结果用于对节点端的缓冲池的参数进行调整。其中,预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据。采用本方法对节点端缓冲池的参数的目标调优结果更准确。
Description
技术领域
本申请涉及数据库技术领域,特别是涉及一种数据库调优方法、装置、设备、存储介质和程序产品。
背景技术
目前,应用数据库服务随着业务使用需求发展为计算存储分离架构,也即分为计算节点和存储节点。在应用数据库服务中,通过缓存技术来平衡节点的CPU与输入输出之间的处理速度的差异,由于不同的节点对缓存的需求不同,为了合理利用节点资源同时提升计算存储分离数据库各节点提供服务的能力,需要对计算存储分离数据库中各节点的缓存进行优化。
现有的对数据库缓存的调优,许多策略是通过设定值来对缓存大小进行预测和优化,对节点的缓存优化不够准确。
发明内容
基于此,有必要针对上述技术问题,提供一种对缓存参数调优更准确的数据库调优方法、装置、设备、存储介质和程序产品。
第一方面,本申请提供了一种数据库调优方法。该方法包括:接收节点端的待调优参数,待调优参数包括节点端的缓冲池的参数信息;将待调优参数输入预设调优模型,得到目标调优结果;预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据;将目标调优结果发送至节点端,目标调优结果用于对节点端的缓冲池的参数进行调整。
在其中一个实施例中,经验池的构建过程,包括:根据节点端的样本调优参数和初始调优模型,对节点端的缓冲池的参数进行至少一次调整,并在每次调整后获取节点端的交互数据;根据节点端的交互数据构建经验池。
上述实施例中,通过构建经验池,预设调优模型根据经验池中的数据进行训练,使预设调优模型能够根据节点端的动态变化获得较好的调优参数推荐值。
在其中一个实施例中,根据节点端的样本调优参数和初始调优模型,对节点端的缓冲池的参数进行至少一次调整,并在每次调整后获取节点端的交互数据,包括:将样本调优参数输入初始调优模型,得到初始调优结果;根据初始调优结果对节点端的缓冲池的参数进行调整,并获取节点端调整后的交互数据。
上述实施例中,通过初始调优结果对节点端的缓冲池的参数进行调整,获得能够反映节点端调整前后状态的更加准确的交互数据。
在其中一个实施例中,根据节点端的交互数据构建经验池,包括:将交互数据存入经验池中,更新样本调优参数,并返回执行将更新后的样本调优参数输入初始调优模型,得到初始调优结果的步骤,直至经验池中的数据达到预设数量。
上述实施例中,通过节点端与调优端的交互并获取节点端的反馈数据构建经验池,预设调优模型根据经验池中的数据进行训练,使预设调优模型能够根据节点端的动态变化获得较好的调优参数推荐值。
在其中一个实施例中,方法还包括:获取节点端的类型;若节点端为存储节点,则创建存储节点环境,并基于存储节点环境初始化初始调优模型和经验池;若节点端为计算节点,则创建计算节点环境,并基于计算节点环境初始化初始调优模型和经验池。
上述实施例中,根据不同类型的节点端初始化对应的节点环境,适配不同类型的节点端,数据库调优方法更灵活。
在其中一个实施例中,方法还包括:对样本调优参数进行归一化处理,得到归一化后的样本调优参数;将样本调优参数输入初始调优模型,得到初始调优结果,包括:将归一化后的样本调优参数输入初始调优模型,得到初始调优结果。
上述实施例中,通过对样本调优参数进行归一化处理,然后输入初始调优模型,能够使后续数据处理更方便以及加快初始调优模型的收敛速度。
第二方面,本申请还提供了一种数据库调优方法,该方法包括:发送待调优参数至调优端,待调优参数包括节点端的缓冲池的参数信息;接收调优端返回的目标调优结果;目标调优结果为调优端将待调优参数输入预设调优模型得到的,预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据;根据目标调优结果对待调优参数进行更新。
上述实施例中,节点端将待调优参数发送至调优端然后接受目标调优结果对待调优参数更新,保证了节点端在动态变化的情况下能够获取较好的推荐的目标调优结果。
第三方面,本申请还提供了一种数据库调优装置,该装置包括:
第一接收模块,用于接收节点端的待调优参数,待调优参数包括节点端的缓冲池的参数信息;
第一输入模块,用于将待调优参数输入预设调优模型,得到目标调优结果;预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据;
第一发送模块,用于将目标调优结果发送至节点端,目标调优结果用于对节点端的缓冲池的参数进行调整。
在其中一个实施例中,还包括构建模块,用于根据节点端的样本调优参数和初始调优模型,对节点端的缓冲池的参数进行至少一次调整,并在每次调整后获取节点端的交互数据;根据节点端的交互数据构建经验池。
在其中一个实施例中,构建模块,具体用于将样本调优参数输入初始调优模型,得到初始调优结果;根据初始调优结果对节点端的缓冲池的参数进行调整,并获取节点端调整后的交互数据。
在其中一个实施例中,构建模块,具体用于将交互数据存入经验池中,更新样本调优参数,并返回执行将更新后的样本调优参数输入初始调优模型,得到初始调优结果的步骤,直至经验池中的数据达到预设数量。
在其中一个实施例中,还包括创建模块,用于获取节点端的类型;若节点端为存储节点,则创建存储节点环境,并基于存储节点环境初始化初始调优模型和经验池;若节点端为计算节点,则创建计算节点环境,并基于计算节点环境初始化初始调优模型和经验池。
在其中一个实施例中,还包括处理模块,用于对样本调优参数进行归一化处理,得到归一化后的样本调优参数;将样本调优参数输入初始调优模型,得到初始调优结果,包括:将归一化后的样本调优参数输入初始调优模型,得到初始调优结果。
第四方面,本申请还提供了一种数据库调优装置,该装置包括:
第二发送模块,用于发送待调优参数至调优端,待调优参数包括节点端的缓冲池的参数信息;
第二接收模块,用于接收调优端返回的目标调优结果;目标调优结果为调优端将待调优参数输入预设调优模型得到的,预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据;
更新模块,用于根据目标调优结果对待调优参数进行更新。
第五方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行计算机程序时实现上述第一方面或第二方面任一所述的数据库调优方法。
第六方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面或第二方面任一所述的数据库调优方法。
第七方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面或第二方面任一所述的数据库调优方法。
上述数据库调优方法、装置、设备、存储介质和程序产品,首先,接收节点端的包括节点端的缓冲池的参数信息的待调优参数,然后,将待调优参数输入预设调优模型,得到目标调优结果,最后,将目标调优结果发送至节点端,目标调优结果用于对节点端的缓冲池的参数进行调整。其中,预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据。通过这种方式,将节点端的缓冲池的参数信息作为一个整体输入预设调优模型,得到目标调优结果,预设调优模型是根据经验池的数据进行训练得到的,这种方式得到的对节点端缓冲池的参数的目标调优结果更准确。
附图说明
图1为一个实施例中数据库调优方法的应用环境图;
图2为一个实施例中数据库调优方法的流程示意图;
图3为另一个实施例中数据库调优方法的流程示意图;
图4为另一个实施例中数据库调优方法的流程示意图;
图5为另一个实施例中数据库调优方法的流程示意图;
图6为另一个实施例中数据库调优方法的流程示意图;
图7为另一个实施例中数据库调优方法的流程示意图;
图8为另一个实施例中数据库调优方法的流程图;
图9为一个实施例中数据库调优装置的结构框图;
图10为一个实施例中数据库调优装置的结构框图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的数据库调优方法,可以应用于如图1所示的应用环境中。其中,节点端101通过网络与调优端102进行通信。节点端101可以是计算存储分离数据库终端计算节点或者存储节点。其中,节点端101和调优端102可以是终端也可以是服务器,其中终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种数据库调优方法,以该方法应用于图1中的调优端为例进行说明,包括以下步骤:
步骤201,接收节点端的待调优参数。
其中,待调优参数包括节点端的缓冲池的参数信息。节点端的缓冲池的参数信息包括缓冲池的活动统计信息和状态信息,可以包括缓冲池物理状态、IO状态、LRU链表状态以及活动状态四个方面的节点缓存环境状态变量。通过调整节点端的缓冲池的参数信息,能够提高节点端的资源利用率和服务性能。
步骤202,将待调优参数输入预设调优模型,得到目标调优结果。
其中,预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据。
目标调优结果为待调优参数输入预设调优模型后得到的推荐的优化后的参数值。预设调优模型根据经验池中的数据对初始调优模型进行训练得到,训练轮次可以根据经验确定。初始调优模型可以是LSTM深度学习算法,可选的,为了使预设调优模型具有探索性,在训练过程中对待调优参数添加噪声。在初始调优模型训练达到指定轮次后,将模型参数和经验池中的数据可以持久化保存到本地文件中,此时得到预设调优模型,可以根据节点端的待调优参数得到推荐的目标调优结果。为了保证对动态变化的节点端有较好的推荐结果,预设调优模型可以迭代进行训练,即重复更新经验池中的节点端与调优端的交互数据以及模型训练过程。
步骤203,将目标调优结果发送至节点端,目标调优结果用于对节点端的缓冲池的参数进行调整。
在确定目标调优结果后,将目标调优结果发送至节点端,节点端根据目标调优结果更改缓冲池的参数信息。
上述实施例中,首先,接收节点端的包括节点端的缓冲池的参数信息的待调优参数,然后,将待调优参数输入预设调优模型,得到目标调优结果,最后,将目标调优结果发送至节点端,目标调优结果用于对节点端的缓冲池的参数进行调整。其中,预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据。通过这种方式,将节点端的缓冲池的参数信息作为一个整体输入预设调优模型,得到目标调优结果,预设调优模型是根据经验池的数据进行训练得到的,这种方式得到的对节点端缓冲池的参数的目标调优结果更准确。
在本申请的一个实施例中,由于预设调优模型是根据经验池中的数据进行训练得到的,因此需要先构建经验池,如图3所示,经验池的构建步骤包括:
步骤301,根据节点端的样本调优参数和初始调优模型,对节点端的缓冲池的参数进行至少一次调整,并在每次调整后获取节点端的交互数据。
其中,样本调优参数为用于构建经验池的样本数据,初始调优模型可以为LSMT深度学习算法,根据样本调优参数和初始调优模型,可以得到对节点端的缓冲池的参数调整的初始调优结果,也即一次参数调整过程,在每次调整后获取节点端的交互数据。可选的,交互数据的获取步骤如图4所示,包括:
步骤401,将样本调优参数输入初始调优模型,得到初始调优结果。
将节点端的样本调优参数输入初始调优模型中,可选的,可以对样本调优参数进行预处理,如归一化处理等,得到初始调优结果。
步骤402,根据初始调优结果对节点端的缓冲池的参数进行调整,并获取节点端调整后的交互数据。
将初始调优结果发送至节点端,节点端根据初始调优结果对缓冲池的参数进行调整更新。待参数更新后,等待节点端数据库缓冲池状态稳定之后,节点端将交互数据发送给调优端。
交互数据包括样本调优参数、初始调优结果、节点端根据初始调优结果调整后的缓冲池的参数信息。
待节点端数据库缓冲池状态稳定后,获取节点端缓冲池的参数信息,可选的,可以同时获取节点端缓冲池在根据初始调优结果进行参数调整前以及参数调整后的性能情况,计算此次参数调整过程的奖励值。此时,样本调优参数、初始调优结果、节点端根据初始调优结果调整后的缓冲池的参数信息以及参数调整过程的奖励值组成了一条交互数据。
步骤302,根据节点端的交互数据构建经验池。
在获取节点端和调优端多次的交互数据后,根据交互数据构建经验池。
将交互数据存入经验池中,更新样本调优参数,并返回执行将更新后的样本调优参数输入初始调优模型,得到初始调优结果的步骤,直至经验池中的数据达到预设数量。
其中,初始时经验池为空,在获取到交互数据后,将交互数据存入经验池中,若经验池中的数据未达到预设数量,需要节点端和调优端继续进行交互来填充经验池。节点端更新样本调优参数,然后重复执行将样本调优参数发送至调优端,然后调优端将样本调优参数输入初始调优模型,获得初始调优结果然后发送至节点端,节点端根据初始调优结果进行参数调整的步骤,直至经验池中的数据符合预设数量。
上述实施例中,通过节点端与调优端的交互并获取节点端的反馈数据构建经验池,预设调优模型根据经验池中的数据进行训练,使预设调优模型能够根据节点端的动态变化获得较好的调优参数推荐值。
在一个实施例中,节点端有计算节点和存储节点,不同类型的节点端需要调优的参数以及节点端本身的配置不同,因此还需要根据不同类型的节点端初始化不同的节点环境,如图5所示,方法还包括:
步骤501,获取节点端的类型。
由于不同类型的节点端需要调优的参数不同,例如针对计算节点,从缓存容量、缓存管理策略和页面淘汰机制三个方面选择待调优的参数。针对存储节点,从缓存容量、缓存管理策略、页面淘汰机制和页面刷脏机制四个方面选择待调优的参数。同时,不同的节点端自身的配置也不同,例如读取参数文件的位置不同等。因此需要根据不同的节点端创建不同的节点端环境。
步骤502,若节点端为存储节点,则创建存储节点环境,并基于存储节点环境初始化初始调优模型和经验池。
如果接收到的待调优参数的节点端为存储节点,则创建存储节点环境,例如根据存储节点的实际情况进行节点环境的初始化配置,并基于存储节点环境初始化初始调优模型和经验池。
步骤503,若节点端为计算节点,则创建计算节点环境,并基于计算节点环境初始化初始调优模型和经验池。
如果接收到的待调优参数的节点端为计算节点,则创建计算节点环境,根据计算节点的实际情况进行节点环境的初始化配置,根据并基于计算节点环境初始化初始调优模型和经验池。
上述实施例中,根据不同类型的节点端初始化对应的节点环境,适配不同类型的节点端,数据库调优方法更灵活。
可选的,调优端在将样本调优参数输入初始调优模型前还需要进行预处理,方法还包括:对样本调优参数进行归一化处理,得到归一化后的样本调优参数。
在接收到节点端发送的样本调优参数后,进行解码和归一化处理,得到归一化后的样本调优参数。
对应的,将样本调优参数输入初始调优模型,得到初始调优结果,包括:将归一化后的样本调优参数输入初始调优模型,得到初始调优结果。
上述实施例中,通过对样本调优参数进行归一化处理,然后输入初始调优模型,能够使后续数据处理更方便以及加快初始调优模型的收敛速度。
在一个实施例中,本申请还提供了一种数据库调优方法,以该方法应用于图1中的节点端为例,如图6所示,该方法包括:
步骤601,发送待调优参数至调优端,待调优参数包括节点端的缓冲池的参数信息。
其中,节点端对缓冲池的参数信息进行监控,当需要进行缓存调优时,节点端根据预设的数据传输格式通过网络发送一段时间内的待调优参数至调优端。预设的数据传输格式可以是字典格式的数据,例如参数为键,参数的值为键对应的值。
步骤602,接收调优端返回的目标调优结果。
目标调优结果为调优端将待调优参数输入预设调优模型得到的,预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据。
调优端根据预设调优模型得到目标调优结果后,根据预设的数据传输格式将目标调优结果发送至节点端,节点端接收调优端返回的目标调优结果。
步骤603,根据目标调优结果对待调优参数进行更新。
节点端根据调优端推荐的目标调优结果对节点端的待调优参数通过在线调整的方式进行更新,不需要重启节点端。
上述实施例中,节点端将待调优参数发送至调优端然后接受目标调优结果对待调优参数更新,保证了节点端在动态变化的情况下能够获取较好的推荐的目标调优结果。
在本申请的实施例中,如图7所示,其示出了本申请实施例提供的数据库调优方法,包括:
步骤701,节点端发送待调优参数至调优端,待调优参数包括节点端的缓冲池的参数信息。
步骤702,调优端接收节点端的待调优参数,待调优参数包括节点端的缓冲池的参数信息。
步骤703,调优端将待调优参数输入预设调优模型,得到目标调优结果。预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的。
步骤704,调优端将目标调优结果发送至节点端,目标调优结果用于对节点端的缓冲池的参数进行调整。
步骤705,节点端接收调优端返回的目标调优结果。
步骤706,节点端根据目标调优结果对待调优参数进行更新。
为了便于读者理解,本申请实施例提供的技术方案,下面对本申请的数据库调优方法应用于调优端的流程进行介绍。请参考图8。
(1)调优端首先判断待调优节点端的节点类型,然后根据节点类型创建存储节点环境或者计算节点环境,环境创建成功后初始化初始调优模型和创建经验池。
(2)调优端向节点端发送调优请求,接收节点端发送的待调优参数,对接收到的待调优参数解码并做归一化处理。然后将待调优参数输入初始调优模型获取初始调优结果,然后将初始调优结果转换为适合节点端的初始调优参数,将初始调优参数发送至节点端。节点端根据初始调优参数对待调优参数进行更新,然后等待数据库缓冲池状态稳定。待节点端数据库缓冲池状态稳定后,将节点端当前缓冲池的参数信息以及性能信息发送至调优端,调优端根据节点端待调优参数更新前和更新后的性能信息计算此次参数调整的奖励值。然后将待调优参数、初始调优结果、节点端根据初始调优结果调整后的缓冲池的参数信息以及参数调整过程的奖励值组成的一条交互数据存入经验池。
(3)判断经验池中的数据是否达到指定最小数量,例如100条,则经验池中最少需要100条交互数据。如果满足要求,则从经验池中取指定数量的数据对初始调优模型进行训练,例如指定数量可以是20条。如果否则继续执行步骤(2)更新经验池。经验池中数据的数量以及用于训练选取的数量可以根据需求进行设定。
(4)判断对初始调优模型的训练是否达到指定轮次,如果否,则继续执行步骤(2)更新经验池。其中,指定轮次可以根据需求设定以达到更好的训练结果,可以为10次。如果达到预设的训练轮次,记录此时的模型参数,得到预设调优模型,预设调优模型可以根据节点端的待调优参数输出较好的推荐目标调优结果。
应该理解的是,如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的数据库调优方法的数据库调优装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个数据库调优装置实施例中的具体限定可以参见上文中对于数据库调优方法的限定,在此不再赘述。
在一个实施例中,如图9所示,提供了一种数据库调优装置900,该装置应用于调优端,包括:第一接收模块901、第一输入模块902和第一发送模块903,其中:
该第一接收模块901,用于接收节点端的待调优参数,待调优参数包括节点端的缓冲池的参数信息;
该第一输入模块902,用于将待调优参数输入预设调优模型,得到目标调优结果;预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据;
该第一发送模块903,用于将目标调优结果发送至节点端,目标调优结果用于对节点端的缓冲池的参数进行调整。
在一个实施例中,还包括构建模块,用于根据节点端的样本调优参数和初始调优模型,对节点端的缓冲池的参数进行至少一次调整,并在每次调整后获取节点端的交互数据;根据节点端的交互数据构建经验池。
在一个实施例中,该构建模块,具体用于将样本调优参数输入初始调优模型,得到初始调优结果;根据初始调优结果对节点端的缓冲池的参数进行调整,并获取节点端调整后的交互数据。
在一个实施例中,该构建模块,具体用于将交互数据存入经验池中,更新样本调优参数,并返回执行将更新后的样本调优参数输入初始调优模型,得到初始调优结果的步骤,直至经验池中的数据达到预设数量。
在一个实施例中,还包括创建模块,用于获取节点端的类型;若节点端为存储节点,则创建存储节点环境,并基于存储节点环境初始化初始调优模型和经验池;若节点端为计算节点,则创建计算节点环境,并基于计算节点环境初始化初始调优模型和经验池。
在一个实施例中,还包括处理模块,用于对样本调优参数进行归一化处理,得到归一化后的样本调优参数;将样本调优参数输入初始调优模型,得到初始调优结果,包括:将归一化后的样本调优参数输入初始调优模型,得到初始调优结果。
如图10所示,本申请实施例还提供了一种用于实现上述所涉及的数据库调优方法的数据库调优装置1000,该装置应用于节点端,该装置包括:
该第二发送模块1001,用于发送待调优参数至调优端,待调优参数包括节点端的缓冲池的参数信息;
该第二接收模块1002,用于接收调优端返回的目标调优结果;目标调优结果为调优端将待调优参数输入预设调优模型得到的,预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据;
该更新模块1003,用于根据目标调优结果对待调优参数进行更新。
上述数据库调优装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据库调优方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:接收节点端的待调优参数,待调优参数包括节点端的缓冲池的参数信息;将待调优参数输入预设调优模型,得到目标调优结果;预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据;将目标调优结果发送至节点端,目标调优结果用于对节点端的缓冲池的参数进行调整。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据节点端的样本调优参数和初始调优模型,对节点端的缓冲池的参数进行至少一次调整,并在每次调整后获取节点端的交互数据;根据节点端的交互数据构建经验池。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将样本调优参数输入初始调优模型,得到初始调优结果;根据初始调优结果对节点端的缓冲池的参数进行调整,并获取节点端调整后的交互数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将交互数据存入经验池中,更新样本调优参数,并返回执行将更新后的样本调优参数输入初始调优模型,得到初始调优结果的步骤,直至经验池中的数据达到预设数量。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取节点端的类型;若节点端为存储节点,则创建存储节点环境,并基于存储节点环境初始化初始调优模型和经验池;若节点端为计算节点,则创建计算节点环境,并基于计算节点环境初始化初始调优模型和经验池。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对样本调优参数进行归一化处理,得到归一化后的样本调优参数;将样本调优参数输入初始调优模型,得到初始调优结果,包括:将归一化后的样本调优参数输入初始调优模型,得到初始调优结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:发送待调优参数至调优端,待调优参数包括节点端的缓冲池的参数信息;接收调优端返回的目标调优结果;目标调优结果为调优端将待调优参数输入预设调优模型得到的,预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据;根据目标调优结果对待调优参数进行更新。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:接收节点端的待调优参数,待调优参数包括节点端的缓冲池的参数信息;将待调优参数输入预设调优模型,得到目标调优结果;预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据;将目标调优结果发送至节点端,目标调优结果用于对节点端的缓冲池的参数进行调整。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据节点端的样本调优参数和初始调优模型,对节点端的缓冲池的参数进行至少一次调整,并在每次调整后获取节点端的交互数据;根据节点端的交互数据构建经验池。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将样本调优参数输入初始调优模型,得到初始调优结果;根据初始调优结果对节点端的缓冲池的参数进行调整,并获取节点端调整后的交互数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将交互数据存入经验池中,更新样本调优参数,并返回执行将更新后的样本调优参数输入初始调优模型,得到初始调优结果的步骤,直至经验池中的数据达到预设数量。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取节点端的类型;若节点端为存储节点,则创建存储节点环境,并基于存储节点环境初始化初始调优模型和经验池;若节点端为计算节点,则创建计算节点环境,并基于计算节点环境初始化初始调优模型和经验池。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对样本调优参数进行归一化处理,得到归一化后的样本调优参数;将样本调优参数输入初始调优模型,得到初始调优结果,包括:将归一化后的样本调优参数输入初始调优模型,得到初始调优结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:发送待调优参数至调优端,待调优参数包括节点端的缓冲池的参数信息;接收调优端返回的目标调优结果;目标调优结果为调优端将待调优参数输入预设调优模型得到的,预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据;根据目标调优结果对待调优参数进行更新。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:接收节点端的待调优参数,待调优参数包括节点端的缓冲池的参数信息;将待调优参数输入预设调优模型,得到目标调优结果;预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据;将目标调优结果发送至节点端,目标调优结果用于对节点端的缓冲池的参数进行调整。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据节点端的样本调优参数和初始调优模型,对节点端的缓冲池的参数进行至少一次调整,并在每次调整后获取节点端的交互数据;根据节点端的交互数据构建经验池。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将样本调优参数输入初始调优模型,得到初始调优结果;根据初始调优结果对节点端的缓冲池的参数进行调整,并获取节点端调整后的交互数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将交互数据存入经验池中,更新样本调优参数,并返回执行将更新后的样本调优参数输入初始调优模型,得到初始调优结果的步骤,直至经验池中的数据达到预设数量。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取节点端的类型;若节点端为存储节点,则创建存储节点环境,并基于存储节点环境初始化初始调优模型和经验池;若节点端为计算节点,则创建计算节点环境,并基于计算节点环境初始化初始调优模型和经验池。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对样本调优参数进行归一化处理,得到归一化后的样本调优参数;将样本调优参数输入初始调优模型,得到初始调优结果,包括:将归一化后的样本调优参数输入初始调优模型,得到初始调优结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:发送待调优参数至调优端,待调优参数包括节点端的缓冲池的参数信息;接收调优端返回的目标调优结果;目标调优结果为调优端将待调优参数输入预设调优模型得到的,预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;经验池中包括在训练阶段对节点端的参数进行至少一次调整后,得到的节点端的交互数据;根据目标调优结果对待调优参数进行更新。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据库调优方法,其特征在于,所述方法包括:
接收节点端的待调优参数,所述待调优参数包括所述节点端的缓冲池的参数信息;
将所述待调优参数输入预设调优模型,得到目标调优结果;所述预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;所述经验池中包括在训练阶段对所述节点端的参数进行至少一次调整后,得到的所述节点端的交互数据;
将所述目标调优结果发送至所述节点端,所述目标调优结果用于对所述节点端的缓冲池的参数进行调整。
2.根据权利要求1所述的方法,其特征在于,所述经验池的构建过程,包括:
根据所述节点端的样本调优参数和所述初始调优模型,对所述节点端的缓冲池的参数进行至少一次调整,并在每次调整后获取所述节点端的交互数据;
根据所述节点端的交互数据构建所述经验池。
3.根据权利要求2所述的方法,其特征在于,所述根据所述节点端的样本调优参数和所述初始调优模型,对所述节点端的缓冲池的参数进行至少一次调整,并在每次调整后获取所述节点端的交互数据,包括:
将所述样本调优参数输入所述初始调优模型,得到初始调优结果;
根据所述初始调优结果对所述节点端的缓冲池的参数进行调整,并获取所述节点端调整后的交互数据。
4.根据权利要求3所述的方法,其特征在于,所述根据所述节点端的交互数据构建所述经验池,包括:
将所述交互数据存入所述经验池中,更新所述样本调优参数,并返回执行所述将更新后的样本调优参数输入所述初始调优模型,得到初始调优结果的步骤,直至所述经验池中的数据达到预设数量。
5.根据权利要求1至4任一所述的方法,其特征在于,所述方法还包括:
获取所述节点端的类型;
若所述节点端为存储节点,则创建存储节点环境,并基于所述存储节点环境初始化所述初始调优模型和所述经验池;
若所述节点端为计算节点,则创建计算节点环境,并基于所述计算节点环境初始化所述初始调优模型和所述经验池。
6.一种数据库调优方法,其特征在于,所述方法包括:
发送待调优参数至调优端,所述待调优参数包括节点端的缓冲池的参数信息;
接收所述调优端返回的目标调优结果;所述目标调优结果为所述调优端将所述待调优参数输入预设调优模型得到的,所述预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;所述经验池中包括在训练阶段对所述节点端的参数进行至少一次调整后,得到的所述节点端的交互数据;
根据所述目标调优结果对所述待调优参数进行更新。
7.一种数据库调优装置,其特征在于,所述装置包括:
第一接收模块,用于接收节点端的待调优参数,所述待调优参数包括所述节点端的缓冲池的参数信息;
第一输入模块,用于将所述待调优参数输入预设调优模型,得到目标调优结果;所述预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;所述经验池中包括在训练阶段对所述节点端的参数进行至少一次调整后,得到的所述节点端的交互数据;
第一发送模块,用于将所述目标调优结果发送至所述节点端,所述目标调优结果用于对所述节点端的缓冲池的参数进行调整。
8.一种数据库调优装置,其特征在于,所述装置包括:
第二发送模块,用于发送待调优参数至调优端,所述待调优参数包括节点端的缓冲池的参数信息;
第二接收模块,用于接收所述调优端返回的目标调优结果;所述目标调优结果为所述调优端将所述待调优参数输入预设调优模型得到的,所述预设调优模型为根据经验池中的数据对初始调优模型进行训练得到的;所述经验池中包括在训练阶段对所述节点端的参数进行至少一次调整后,得到的所述节点端的交互数据;
更新模块,用于根据所述目标调优结果对所述待调优参数进行更新。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5或6中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5或6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211722583.XA CN116028468A (zh) | 2022-12-30 | 2022-12-30 | 数据库调优方法、装置、设备、存储介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211722583.XA CN116028468A (zh) | 2022-12-30 | 2022-12-30 | 数据库调优方法、装置、设备、存储介质和程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116028468A true CN116028468A (zh) | 2023-04-28 |
Family
ID=86080722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211722583.XA Pending CN116028468A (zh) | 2022-12-30 | 2022-12-30 | 数据库调优方法、装置、设备、存储介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116028468A (zh) |
-
2022
- 2022-12-30 CN CN202211722583.XA patent/CN116028468A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210256403A1 (en) | Recommendation method and apparatus | |
CN110612538A (zh) | 生成输入数据项的离散潜在表示 | |
CN112035743A (zh) | 数据推荐方法、装置、计算机设备以及存储介质 | |
CN111340221A (zh) | 神经网络结构的采样方法和装置 | |
CN112070542A (zh) | 信息转化率预测方法、装置、设备及可读存储介质 | |
CN111680799A (zh) | 用于处理模型参数的方法和装置 | |
WO2024094094A1 (zh) | 一种模型训练方法及装置 | |
CN111767953B (zh) | 用于训练物品编码模型的方法和装置 | |
CN114119123A (zh) | 信息推送的方法和装置 | |
CN108289115B (zh) | 一种信息处理方法及系统 | |
CN117370488A (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
CN116028468A (zh) | 数据库调优方法、装置、设备、存储介质和程序产品 | |
CN113630476B (zh) | 应用于计算机集群的通信方法及通信装置 | |
US20220230092A1 (en) | Fast converging gradient compressor for federated learning | |
CN110688508B (zh) | 图文数据扩充方法、装置及电子设备 | |
CN114692808A (zh) | 图神经网络传播模型确定方法和系统 | |
CN111582456A (zh) | 用于生成网络模型信息的方法、装置、设备和介质 | |
US20230027145A1 (en) | K-quant gradient compressor for federated learning | |
CN114398490B (zh) | 一种基于分层注意力机制的知识图谱补全方法及装置 | |
CN116561735B (zh) | 一种基于多认证源的互信认证方法、系统及电子设备 | |
CN113283115B (zh) | 图像模型生成方法、装置和电子设备 | |
CN116450808B (zh) | 一种数据的处理方法、装置以及存储介质 | |
CN111582482B (zh) | 用于生成网络模型信息的方法、装置、设备和介质 | |
CN111950016B (zh) | 一种数据开放输出模型的生成方法、装置和计算设备 | |
CN116976464A (zh) | 去偏置联邦学习训练方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |