CN115658663A - 分布式数据库的参数调整方法、装置及电子设备 - Google Patents
分布式数据库的参数调整方法、装置及电子设备 Download PDFInfo
- Publication number
- CN115658663A CN115658663A CN202211682038.2A CN202211682038A CN115658663A CN 115658663 A CN115658663 A CN 115658663A CN 202211682038 A CN202211682038 A CN 202211682038A CN 115658663 A CN115658663 A CN 115658663A
- Authority
- CN
- China
- Prior art keywords
- adjustment
- index data
- component
- determining
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000002159 abnormal effect Effects 0.000 claims abstract description 82
- 230000008859 change Effects 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 19
- 230000005856 abnormality Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 30
- 238000007726 management method Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Abstract
本发明涉及一种分布式数据库的参数调整方法、装置及电子设备,所述方法包括:获取分布式数据库中多个组件所对应的性能指标的指标数据;若任一所述指标数据为异常指标数据,获取与所述异常指标数据对应的组件参数的当前参数值及与所述组件参数对应的第一调整策略;按照所述第一调整策略调整所述当前参数值,得到目标参数值;向与所述异常指标数据对应的组件发送所述目标参数值,以用于进行组件的参数更新。本申请实施例能够在性能指标为异常性能指标时,自动调整当前组件参数,得到目标组件参数,并发送给各组件,实现组件参数的自动调节,以便于实现将各性能指标保持在安全的范围内,避免严重的性能问题发生,提高运维效率,节约运维成本。
Description
技术领域
本申请涉及数据库技术领域,尤其涉及一种分布式数据库的参数调整方法、装置及电子设备。
背景技术
在业务系统中,数据库做为基础设施软件提供了最基本的数据服务能力,但随着业务的迭代更新以及数据量的持续增长,数据库本身的资源使用情况也是呈线性增加的。这就导致分布式数据库中的初始部署的配置不再适用于新的业务的要求,并且在数据量大量增加的场景下,往往会有sql语句执行速度变慢导致大量业务执行超时的情况发生。
现有的运维平台提供的能力往往只有告警以及监控,即超过了人为设置的警戒线则通过告警的方式反馈给运维人员来手动处理在面对复杂的生产系统的时候,运维人员往往无从下手,并且不知道一些性能参数的调整能不能缓解当前的性能问题,有可能错误的判断会导致问题的恶化,就会使分布式数据库的运维处于一个更被动的局面。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种分布式数据库的参数调整方法、装置及电子设备。
第一方面,本申请提供了一种分布式数据库的参数调整方法,所述方法包括:
获取分布式数据库中多个组件所对应的性能指标的指标数据;
若任一所述指标数据为异常指标数据,获取与所述异常指标数据对应的组件参数的当前参数值及与所述组件参数对应的第一调整策略;
按照所述第一调整策略调整所述当前参数值,得到目标参数值;
向与所述异常指标数据对应的组件发送所述目标参数值,以用于进行组件的参数更新。
可选地,按照所述第一调整策略调整所述当前参数值,得到目标参数值,包括:
根据所述第一调整策略确定第一调整步长及第一调整方向;
按照所述第一调整步长及所述第一调整方向对所述当前参数值进行调整,得到所述目标参数值。
可选地,所述方法还包括:
在向与所述异常指标数据对应的组件发送所述目标参数值后,确定所述异常指标数据的变化情况;
若所述异常指标数据的变化情况为正向变化,基于所述第一调整步长及所述第一调整方向确定第二调整策略,并利用所述第二调整策略更新与所述组件参数对应的第一调整策略;
或者,
若所述异常指标数据的变化情况为负向变化,根据所述第一调整策略中的第一调整方向确定与之相反的第二调整方向,基于所述第一调整步长和所述第二调整方向生成第三调整策略,并利用所述第三调整策略更新与所述组件参数对应的第一调整策略。
可选地,基于所述第一调整步长及所述第一调整方向确定第二调整策略,包括:
确定所述异常指标数据的变化量;
根据所述变化量确定第一权重值;
基于所述第一权重值、所述第一调整步长及所述第一调整方向确定所述第二调整策略。
可选地,基于所述第一调整步长和所述第二调整方向生成第三调整策略,包括:
确定所述异常指标数据的变化量;
根据所述变化量确定第二权重值;
基于所述第二权重值、所述第一调整步长及所述第二调整方向确定所述第三调整策略。
可选地,根据所述第一调整策略确定第一调整步长,包括:
在所述第一调整策略中提取权重值;
在所述第一调整策略中提取原始调整步长;
基于所述权重值及所述原始调整步长确定第一调整步长。
可选地,所述方法还包括:
若任一所述指标数据为异常指标数据,确定所述异常指标数据是否位于预设白名单内;
若所述异常指标数据位于预设白名单内,忽略所述异常指标数据;
若所述异常指标数据位于预设白名单外,执行获取与所述异常指标数据对应的组件的当前参数值及与所述当前参数值对应的调整策略的步骤。
第二方面,本申请提供了一种分布式数据库的参数调整装置,所述装置包括:
第一获取模块,用于获取分布式数据库中多个组件所对应的性能指标的指标数据;
第二获取模块,用于若任一所述指标数据为异常指标数据,获取与所述异常指标数据对应的组件参数的当前参数值及与所述组件参数对应的第一调整策略;
调整模块,用于按照所述第一调整策略调整所述当前参数值,得到目标参数值;
发送模块,用于向与所述异常指标数据对应的组件发送所述目标参数值,以用于进行组件的参数更新。
可选地,所述调整模块包括:
第一确定单元,用于根据所述第一调整策略确定第一调整步长及第一调整方向;
第一调整单元,用于按照所述第一调整步长及所述第一调整方向对所述当前参数值进行调整,得到所述目标参数值。
可选地,所述装置还包括:
第一确定模块,用于在向与所述异常指标数据对应的组件发送所述目标参数值后,确定所述异常指标数据的变化情况;
第二确定模块,用于若所述异常指标数据的变化情况为正向变化,基于所述第一调整步长及所述第一调整方向确定第二调整策略,并利用所述第二调整策略更新与所述组件参数对应的第一调整策略;或者,若所述异常指标数据的变化情况为负向变化,根据所述第一调整策略中的第一调整方向确定与之相反的第二调整方向,基于所述第一调整步长和所述第二调整方向生成第三调整策略,并利用所述第三调整策略更新与所述组件参数对应的第一调整策略。
可选地,所述第二确定模块还用于:
确定所述异常指标数据的变化量;
根据所述变化量确定第一权重值;
基于所述第一权重值、所述第一调整步长及所述第一调整方向确定所述第二调整策略。
可选地,所述第二确定模块还用于:
确定所述异常指标数据的变化量;
根据所述变化量确定第二权重值;
基于所述第二权重值、所述第一调整步长及所述第二调整方向确定所述第三调整策略。
可选地,所述第一确定单元包括:
第一提取子单元,用于在所述第一调整策略中提取权重值;
第二提取子单元,用于在所述第一调整策略中提取原始调整步长;
第一确定子单元,用于基于所述权重值及所述原始调整步长确定第一调整步长。
可选地,所述装置还包括:
第三确定模块,用于若任一所述指标数据为异常指标数据,确定所述异常指标数据是否位于预设白名单内;
第一执行模块,用于若所述异常指标数据位于预设白名单内,忽略所述异常指标数据;
第二执行模块,用于若所述异常指标数据位于预设白名单外,执行获取与所述异常指标数据对应的组件的当前参数值及与所述当前参数值对应的调整策略的步骤。
第三方面,本申请提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面任一所述的分布式数据库的参数调整方法。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有分布式数据库的参数调整方法的程序,所述分布式数据库的参数调整方法的程序被处理器执行时实现第一方面任一所述的分布式数据库的参数调整方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本申请实施例能够在性能指标为异常性能指标时,自动调整当前组件参数,得到目标组件参数,并发送给各组件,实现组件参数的自动调节,以便于实现将各性能指标保持在安全的范围内,避免严重的性能问题发生,提高运维效率,节约运维成本。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种分布式数据库的参数调整方法的流程图;
图2为本申请实施例提供的一种分布式数据库的结构图;
图3为本申请实施例提供的另一种分布式数据库的参数调整方法的流程图;
图4为本申请实施例提供的一种分布式数据库的参数调整装置的结构图;
图5为本申请实施例提供的一种电子设备的结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
由于现有的运维平台提供的能力往往只有告警以及监控,即超过了人为设置的警戒线则通过告警的方式反馈给运维人员来手动处理在面对复杂的生产系统的时候,运维人员往往无从下手,并且不知道一些性能参数的调整能不能缓解当前的性能问题,有可能错误的判断会导致问题的恶化,就会使分布式数据库的运维处于一个更被动的局面。为此,本申请实施例提供一种分布式数据库的参数调整方法、装置及电子设备。
图1为本申请实施例提供的一种分布式数据库的架构图,分布式数据库包括:运维管理平台、管理节点、计算节点、全局事务节点及存储节点等,其中,运维管理平台:该模块是一个web端的工具管理台,负责分布式数据库的资源的图形化展示,对组件参数动态调整的策略以及白名单的配置,对单个性能指标涉及到的组件配置调整的影响程度进行统计并赋予影响因子,以及对性能指标调整的请求下发;
管理节点:负责对分布式数据库的组件进行管理和调度,接受运维管理平台的调整组件配置的请求并实时去调整所管理的各个组件配置信息;
计算节点:分布式数据库的组成模块之一,负责对接业务流并返回给应用SQL语句的执行结果。计算节点上同时会有采集模块来发送性能数据至管理节点;
全局事务节点:提供分布式数据库的全局事务标识符的处理能力,同样有采集模块来发送性能数据至管理节点;
存储节点:存放分布式数据库的数据,通过横向及纵向扩展来提供高可用及高可扩展的分布式数据库数据存储能力。同样每一个存储节点都会有采集模块。
本申请提供的分布式数据库的参数调整方法可以应用于运维管理平台,如图2所示,所述分布式数据库的参数调整方法包括:
步骤S101,获取分布式数据库中多个组件所对应的性能指标的指标数据;
本申请实施例中,运维管理平台可以接收运维人员配置的需要关注的性能指标、性能指标的采集周期、每个性能指标对应的组件及与组件的组件参数对应的调整策略等,采集周期即每隔多久采集一次性能指标,调整策略包括:对组件参数的调整方向(即正向调整或者负向调整)及调整步长,由于每个性能指标可能是由至少一个组件影响的,所以还可以根据各性能指标受相应组件的影响情况,配置每个性能指标与组件的对应关系。
性能指标示例性的可以为计算节点的连接数、慢日志数量、消息积压数量、锁冲突数量,全局事务管理节点中的活跃GTID数量,存储节点中的缓存池大小等指标。
同时,还可以通过配置用于存储无需关注的性能指标的白名单,以将不必要关注的性能指标进行忽略。通过设置白名单,实现只有在白名单外的性能指标才会动态根据业务情况进行调整。这样可以方便某些只需要关注特定性能指标的业务来进行动态的性能运维。
分布式数据库中多个组件内分别设置有采集模块,采集模块可以根据运维管理平台配置的采集周期定时采集其所属组件的性能指标,在采集到性能指标后发送至运维管理平台,运维管理平台则可以获取到来自于各组件的性能指标,如果采集失败则发出报警提示。
步骤S102,若任一所述指标数据为异常指标数据,获取与所述异常指标数据对应的组件参数的当前参数值及与所述组件参数对应的第一调整策略;
本申请实施例中,可以预先设置各性能指标对应的正常指标范围,若任一性能指标的指标数据位于该性能指标对应的正常指标范围外,则可以确定该指标数据为异常指标数据,例如:存储节点的数据缓存池使用率超过了80%(正常指标范围为小于80%),则数据缓存池使用率为异常指标数据。
异常指标数据对应的组件可以根据异常指标数据与性能指标的对应关系,以及,性能指标与组件的对应关系确定,每个异常指标数据可以对应至少一个组件,由于每个组件具有相应的组件参数,所以异常指标数据可以由至少一个组件参数决定,每个组件参数对应异常指标数据的一个影响因素,而组件参数可能会动态更改,所以,可以获取各组件的当前参数值,并针对各组件参数,获取预先人工配置的或者经过自动调整的第一调整策略。
示例性的,若存储节点的数据缓存池如果使用率超过了80%,可以通过动态增加缓存池的配置大小来改善存储节点的性能,如增加预设大小的缓存空间;再例如:计算节点在发生消息积压的性能异常的场景的时候,可以通过增加预设数量个执行线程来改善消息积压的情况。
在本申请的一种实施方式中,所述方法还包括:
若任一所述指标数据为异常指标数据,确定所述异常指标数据是否位于预设白名单内;若所述异常指标数据位于预设白名单内,忽略所述异常指标数据;若所述异常指标数据位于预设白名单外,执行获取与所述异常指标数据对应的组件的当前参数值及与所述当前参数值对应的调整策略的步骤。
步骤S103,按照所述第一调整策略调整所述当前参数值,得到目标参数值;
在该步骤中,可以针对每个组件参数,按照组件参数对应的第一调整策略对当前参数值进行调整,得到各组件参数对应的目标参数值。
在本申请的一种实施方式中,可以根据所述第一调整策略确定第一调整步长及第一调整方向;按照所述第一调整步长及所述第一调整方向对所述当前参数值进行调整,得到所述目标参数值。
其中,可以直接从第一调整策略中提取第一调整步长及第一调整方向。
或者,由于每个组件参数(每个组件参数即为相应性能指标的一个影响要素)对相应性能指标的影响程度不同,所以,对于同一个性能指标的不同影响要素,可以根据各自的影响比例来赋予权重值,进而根据权重调整原始调整步长,进而得到第一调整步长,也即:在所述第一调整策略中提取权重值;在所述第一调整策略中提取原始调整步长;基于所述权重值及所述原始调整步长确定第一调整步长。
步骤S104,向与所述异常指标数据对应的组件发送所述目标参数值,以用于进行组件的参数更新。
在调整完毕后,可以通过管理节点向其管理的各组件发送目标参数值,以便于各组件自行将当前参数值调整为目标参数值。如果发送成功之后会返回成功的响应,并通知采集模块等待一个采集周期之后再去上报对应的性能数据,如果下发失败了则会进行告警。
本申请实施例能够在性能指标为异常性能指标时,自动调整当前组件参数,得到目标组件参数,并发送给各组件,实现组件参数的自动调节,以便于实现将各性能指标保持在安全的范围内,避免严重的性能问题发生,提高运维效率,节约运维成本。
在本申请的又一实施例中,所述方法还包括:
在向与所述异常指标数据对应的组件发送所述目标参数值后,确定所述异常指标数据的变化情况;
若所述异常指标数据的变化情况为正向变化,基于所述第一调整步长及所述第一调整方向确定第二调整策略,并利用所述第二调整策略更新与所述组件参数对应的第一调整策略;
其中,基于所述第一调整步长及所述第一调整方向确定第二调整策略,包括:确定所述异常指标数据的变化量;根据所述变化量确定第一权重值;基于所述第一权重值、所述第一调整步长及所述第一调整方向确定所述第二调整策略。也就是,基于上一次进行参数调整后对性能指标的影响比例来赋予权重值,进而综合判断后续参数配置的调整策略。
或者,在本申请的又一实施例中,若所述异常指标数据的变化情况为负向变化,根据所述第一调整策略中的第一调整方向确定与之相反的第二调整方向,基于所述第一调整步长和所述第二调整方向生成第三调整策略,并利用所述第三调整策略更新与所述组件参数对应的第一调整策略。
其中,基于所述第一调整步长和所述第二调整方向生成第三调整策略,包括:确定所述异常指标数据的变化量;根据所述变化量确定第二权重值;基于所述第二权重值、所述第一调整步长及所述第二调整方向确定所述第三调整策略。也就是,基于上一次进行参数调整后对性能指标的影响比例来赋予权重值,进而综合判断后续参数配置的调整策略。
在本申请的又一实施方式中,本发明还可以在每次更新调整策略时,逐渐减小第一调整步长,如每次缩小10%,通过减少每一次参数调整的步长,可以将调整组件配置的速率来进行放缓,从而减少对业务造成较大的性能波动的影响。
本申请实施例中,如果调整后的性能指标还是没有满足安全区间的要求。对于刚刚调整的组件参数如果对性能指标有正向的反馈则会进一步沿着刚刚调整的组件配置步长和方向来调整配置,如果恶化了对应的性能指标,则下一次组件参数的调整会按照两倍的步长朝相反的方向来进行配置的调整。
为了便于理解,本申请还提供一种实际应用中的实施例,如图3所示。
1)首先在分布式数据库的运维管理平台上配置性能采集周期和调整策略。这里主要是配置哪些需要关注的性能指标及与之对应的组件参数需要进行调整,可以通过白名单的配置来将不必要关注的性能指标进行忽略。同时在这里可以配置动态调整参数的步长,通过减少每一次参数调整的步长,可以将调整组件配置的速率来进行放缓,从而减少对业务波动的影响。
2)配置完成参数调整的策略之后,分布式数据库中各组件的采集模块会根据配置的采集周期来对各组件的关键性能指标来定时采集,此步骤中如果采集失败了则会进行告警。
3)运维管理平台在接收到各组件的性能指标的情况后会根据不同组件需要调整的配置信息以及单次调整的步长来进行组件配置的调整。例如计算节点在发生消息积压的性能异常的场景的时候,可以通过增加执行线程数量的配置来改善消息积压的情况,再比如存储节点的数据缓存池如果使用率超过了80%,可以通过动态增加缓存池的配置大小来改善存储节点的性能。在配置调整的过程中,需要依照之前在运维管理平台上配置的调整步长来进行配置,可以根据业务需求调整来修改业务性能变化曲线。
4)每一次组件参数的配置都是通过管理节点来下发到所管理的各个组件上,下发成功之后会返回成功的相应并会让采集模块等待一个采集周期之后再去上报对应的性能数据,如果下发失败了则会进行告警。
5)管理节点在采集了参数修改后的性能数据后会去判断上次的参数调整是正向的还是负向的,并且会记录上一次参数调整的影响比例。对于同一个性能指标的不同影响要素会根据各自的影响比例来赋予权重值,进而综合判断后续参数配置的调整策略。
6)单次调整性能数据后会进入下一轮次的采集,如果调整后的性能指标还是没有满足安全区间的要求。对于刚刚调整的组件参数如果对性能指标有正向的反馈则会进一步沿着刚刚调整的组件配置步长和方向来调整配置,如果恶化了对应的性能指标,则下一次组件参数的调整会按照两倍的步长朝相反的方向来进行配置的调整。
7)重复上述第五步的动作,直到各项性能指标在安全的区间范围之内。
在本申请的又一实施例中,还提供一种分布式数据库的参数调整装置,如图4所示,所述装置包括:
第一获取模块11,用于获取分布式数据库中多个组件所对应的性能指标的指标数据;
第二获取模块12,用于若任一所述指标数据为异常指标数据,获取与所述异常指标数据对应的组件参数的当前参数值及与所述组件参数对应的第一调整策略;
调整模块13,用于按照所述第一调整策略调整所述当前参数值,得到目标参数值;
发送模块14,用于向与所述异常指标数据对应的组件发送所述目标参数值,以用于进行组件的参数更新。
可选地,所述调整模块包括:
第一确定单元,用于根据所述第一调整策略确定第一调整步长及第一调整方向;
第一调整单元,用于按照所述第一调整步长及所述第一调整方向对所述当前参数值进行调整,得到所述目标参数值。
可选地,所述装置还包括:
第一确定模块,用于在向与所述异常指标数据对应的组件发送所述目标参数值后,确定所述异常指标数据的变化情况;
第二确定模块,用于若所述异常指标数据的变化情况为正向变化,基于所述第一调整步长及所述第一调整方向确定第二调整策略,并利用所述第二调整策略更新与所述组件参数对应的第一调整策略;或者,若所述异常指标数据的变化情况为负向变化,根据所述第一调整策略中的第一调整方向确定与之相反的第二调整方向,基于所述第一调整步长和所述第二调整方向生成第三调整策略,并利用所述第三调整策略更新与所述组件参数对应的第一调整策略。
可选地,所述第二确定模块还用于:
确定所述异常指标数据的变化量;
根据所述变化量确定第一权重值;
基于所述第一权重值、所述第一调整步长及所述第一调整方向确定所述第二调整策略。
可选地,所述第二确定模块还用于:
确定所述异常指标数据的变化量;
根据所述变化量确定第二权重值;
基于所述第二权重值、所述第一调整步长及所述第二调整方向确定所述第三调整策略。
可选地,所述第一确定单元包括:
第一提取子单元,用于在所述第一调整策略中提取权重值;
第二提取子单元,用于在所述第一调整策略中提取原始调整步长;
第一确定子单元,用于基于所述权重值及所述原始调整步长确定第一调整步长。
可选地,所述装置还包括:
第三确定模块,用于若任一所述指标数据为异常指标数据,确定所述异常指标数据是否位于预设白名单内;
第一执行模块,用于若所述异常指标数据位于预设白名单内,忽略所述异常指标数据;
第二执行模块,用于若所述异常指标数据位于预设白名单外,执行获取与所述异常指标数据对应的组件的当前参数值及与所述当前参数值对应的调整策略的步骤。
在本申请的又一实施例中,还提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现前述任一方法实施例所述的分布式数据库的参数调整方法。
本发明实施例提供的电子设备,处理器通过执行存储器上所存放的程序实现了在性能指标为异常性能指标时,自动调整当前组件参数,得到目标组件参数,并发送给各组件,实现组件参数的自动调节,以便于实现将各性能指标保持在安全的范围内,避免严重的性能问题发生,提高运维效率,节约运维成本。
上述电子设备提到的通信总线1140可以是外设部件互连标准(PeripheralComponentInterconnect,简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture,简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口1120用于上述电子设备与其他设备之间的通信。
存储器1130可以包括随机存取存储器(RandomAccessMemory,简称RAM),也可以包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器1110可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DigitalSignalProcessing,简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请的又一实施例中,还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有分布式数据库的参数调整方法的程序,所述分布式数据库的参数调整方法的程序被处理器执行时实现前述任一方法实施例所述的分布式数据库的参数调整方法的步骤。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种分布式数据库的参数调整方法,其特征在于,所述方法包括:
获取分布式数据库中多个组件所对应的性能指标的指标数据;
若任一所述指标数据为异常指标数据,获取与所述异常指标数据对应的组件参数的当前参数值及与所述组件参数对应的第一调整策略;
按照所述第一调整策略调整所述当前参数值,得到目标参数值;
向与所述异常指标数据对应的组件发送所述目标参数值,以用于进行组件的参数更新。
2.根据权利要求1所述的方法,其特征在于,按照所述第一调整策略调整所述当前参数值,得到目标参数值,包括:
根据所述第一调整策略确定第一调整步长及第一调整方向;
按照所述第一调整步长及所述第一调整方向对所述当前参数值进行调整,得到所述目标参数值。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在向与所述异常指标数据对应的组件发送所述目标参数值后,确定所述异常指标数据的变化情况;
若所述异常指标数据的变化情况为正向变化,基于所述第一调整步长及所述第一调整方向确定第二调整策略,并利用所述第二调整策略更新与所述组件参数对应的第一调整策略;
或者,
若所述异常指标数据的变化情况为负向变化,根据所述第一调整策略中的第一调整方向确定与之相反的第二调整方向,基于所述第一调整步长和所述第二调整方向生成第三调整策略,并利用所述第三调整策略更新与所述组件参数对应的第一调整策略。
4.根据权利要求3所述的方法,其特征在于,基于所述第一调整步长及所述第一调整方向确定第二调整策略,包括:
确定所述异常指标数据的变化量;
根据所述变化量确定第一权重值;
基于所述第一权重值、所述第一调整步长及所述第一调整方向确定所述第二调整策略。
5.根据权利要求3所述的方法,其特征在于,基于所述第一调整步长和所述第二调整方向生成第三调整策略,包括:
确定所述异常指标数据的变化量;
根据所述变化量确定第二权重值;
基于所述第二权重值、所述第一调整步长及所述第二调整方向确定所述第三调整策略。
6.根据权利要求2所述的方法,其特征在于,根据所述第一调整策略确定第一调整步长,包括:
在所述第一调整策略中提取权重值;
在所述第一调整策略中提取原始调整步长;
基于所述权重值及所述原始调整步长确定第一调整步长。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若任一所述指标数据为异常指标数据,确定所述异常指标数据是否位于预设白名单内;
若所述异常指标数据位于预设白名单内,忽略所述异常指标数据;
若所述异常指标数据位于预设白名单外,执行获取与所述异常指标数据对应的组件的当前参数值及与所述当前参数值对应的调整策略的步骤。
8.一种分布式数据库的参数调整装置,其特征在于,所述装置包括:
第一获取模块,用于获取分布式数据库中多个组件所对应的性能指标的指标数据;
第二获取模块,用于若任一所述指标数据为异常指标数据,获取与所述异常指标数据对应的组件参数的当前参数值及与所述组件参数对应的第一调整策略;
调整模块,用于按照所述第一调整策略调整所述当前参数值,得到目标参数值;
发送模块,用于向与所述异常指标数据对应的组件发送所述目标参数值,以用于进行组件的参数更新。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1~7任一所述的分布式数据库的参数调整方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有分布式数据库的参数调整方法的程序,所述分布式数据库的参数调整方法的程序被处理器执行时实现权利要求1-7任一所述的分布式数据库的参数调整方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211682038.2A CN115658663A (zh) | 2022-12-27 | 2022-12-27 | 分布式数据库的参数调整方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211682038.2A CN115658663A (zh) | 2022-12-27 | 2022-12-27 | 分布式数据库的参数调整方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115658663A true CN115658663A (zh) | 2023-01-31 |
Family
ID=85022895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211682038.2A Pending CN115658663A (zh) | 2022-12-27 | 2022-12-27 | 分布式数据库的参数调整方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115658663A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401569A (zh) * | 2020-03-27 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 超参数优化方法、装置和电子设备 |
CN112799923A (zh) * | 2020-12-24 | 2021-05-14 | 深圳前海微众银行股份有限公司 | 系统异常原因确定方法、装置、设备及存储介质 |
CN113342889A (zh) * | 2021-06-03 | 2021-09-03 | 中国工商银行股份有限公司 | 分布式数据库的管理方法、装置、设备和介质 |
WO2022053880A1 (en) * | 2020-09-11 | 2022-03-17 | metacluster lt, UAB | Dynamic optimization of request parameters for proxy server |
CN115237885A (zh) * | 2022-07-29 | 2022-10-25 | 华东师范大学 | 数据存储系统的参数调整方法及装置 |
-
2022
- 2022-12-27 CN CN202211682038.2A patent/CN115658663A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401569A (zh) * | 2020-03-27 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 超参数优化方法、装置和电子设备 |
WO2022053880A1 (en) * | 2020-09-11 | 2022-03-17 | metacluster lt, UAB | Dynamic optimization of request parameters for proxy server |
CN112799923A (zh) * | 2020-12-24 | 2021-05-14 | 深圳前海微众银行股份有限公司 | 系统异常原因确定方法、装置、设备及存储介质 |
CN113342889A (zh) * | 2021-06-03 | 2021-09-03 | 中国工商银行股份有限公司 | 分布式数据库的管理方法、装置、设备和介质 |
CN115237885A (zh) * | 2022-07-29 | 2022-10-25 | 华东师范大学 | 数据存储系统的参数调整方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106548402B (zh) | 资源转移监控方法及装置 | |
CN110858843B (zh) | 业务请求处理方法、装置及计算机可读存储介质 | |
CN103383689A (zh) | 一种服务进程故障检测方法、装置及服务节点 | |
CN112749056A (zh) | 应用服务指标监控方法、装置、计算机设备和存储介质 | |
CN111092865B (zh) | 一种安全事件分析方法及系统 | |
CN113141410B (zh) | 动态调节的qps控制方法、系统、设备及存储介质 | |
CN111339466A (zh) | 接口管理方法、装置、电子设备及可读存储介质 | |
CN115658663A (zh) | 分布式数据库的参数调整方法、装置及电子设备 | |
CN109308219B (zh) | 任务处理方法、装置及分布式计算机系统 | |
CN111581483A (zh) | 一种计费方法、电子设备及存储介质 | |
CN111324477A (zh) | 一种分布式熔断的处理方法及装置 | |
CN108156086B (zh) | 一种策略规则下发方法及装置 | |
CN113568781B (zh) | 一种数据库错误处理方法、装置及数据库集群访问系统 | |
CN110932926B (zh) | 一种容器集群的监控方法、系统及装置 | |
CN111885159B (zh) | 数据采集方法、装置、电子设备及存储介质 | |
CN115495309A (zh) | 共用存储服务器的数据库服务器io处理方法及装置 | |
KR101725192B1 (ko) | 자원 템플릿 관리를 통한 자원 정보 관리 및 데이터 저장 시스템 | |
CN112966051A (zh) | 一种基于分布式的数据交换系统及方法 | |
CN114039878A (zh) | 一种网络请求的处理方法、装置、电子设备及存储介质 | |
CN107957942B (zh) | 一种sql脚本的故障修复方法及其终端 | |
CN111464357A (zh) | 资源配置方法及装置 | |
CN115333917A (zh) | 一种cdn异常检测方法及装置 | |
CN112256442A (zh) | 一种数据库死锁检测方法及装置 | |
CN116433197B (zh) | 一种信息上报方法、装置、上报端及存储介质 | |
CN114124758B (zh) | 一种流量监控的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230131 |