CN117539728B - 一种分布式数据库监控实现方法、系统、装置及介质 - Google Patents
一种分布式数据库监控实现方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN117539728B CN117539728B CN202410032928.1A CN202410032928A CN117539728B CN 117539728 B CN117539728 B CN 117539728B CN 202410032928 A CN202410032928 A CN 202410032928A CN 117539728 B CN117539728 B CN 117539728B
- Authority
- CN
- China
- Prior art keywords
- configuration
- scheme
- configuration scheme
- database
- future
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000010438 heat treatment Methods 0.000 claims description 44
- 238000010586 diagram Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 16
- 230000020169 heat generation Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书实施例提供一种分布式数据库监控实现方法、系统、装置及介质,属于数据库技术领域,该方法包括:基于计划配置方案,确定未来预设时段的供应配置方案;基于历史的实际配置方案,预测未来预设时段的需求配置方案;基于供应配置方案和需求配置方案,确定未来预设时段的配置差值;基于配置差值、数据库的运行要求以及数据库的标准运行参数,确定配置补偿方案。本说明书实施例提供一种分布式数据库监控实现方法、系统、装置及介质,通过预测在某一未来时段的分布式数据库可能出现的问题,及时的解决甚至避免可能发生的问题,提高对分布式数据库的监控能力,以确保数据库在未来预设时段内能够满足性能和需求的要求。
Description
技术领域
本说明书涉及数据库技术领域,特别涉及分布式数据库监控实现方法及系统。
背景技术
分布式数据库是将数据存储在多个物理或逻辑位置上的数据库系统。这种数据库设计允许将数据分布在不同的计算机或节点上,以提高性能、可伸缩性和容错性。分布式数据库通常用于处理大规模的数据集,同时允许多个用户或应用程序并发地访问数据。因此,分布式数据库需要监控,从而确保分布式数据库系统正常运行、性能稳定。常见的分布式数据库经常出现误报和漏报问题、性能问题、安全问题等。
因此,希望提供一种分布式数据库监控实现方法,通过预测在某一未来时段的分布式数据库可能出现的问题,及时的解决甚至避免可能发生的问题,提高对分布式数据库的监控能力,以确保数据库在未来预设时段内能够满足性能和需求的要求。
发明内容
在本说明书中,通过提供一种分布式数据库监控实现方法,通过预测在某一未来时段的分布式数据库可能出现的问题,及时的解决甚至避免可能发生的问题,提高对分布式数据库的监控能力,以确保数据库在未来预设时段内能够满足性能和需求的要求。
本说明书一个或多个实施例提供一种分布式数据库监控实现方法,方法包括:基于计划配置方案,确定未来预设时段的供应配置方案;基于历史的实际配置方案,预测未来预设时段的需求配置方案;基于供应配置方案和需求配置方案,确定未来预设时段的配置差值;基于配置差值、数据库的运行要求以及数据库的标准运行参数,确定配置补偿方案。
本说明书一个或多个实施例提供一种分布式数据库监控实现系统,系统包括:供应模块,用于基于计划配置方案,确定未来预设时段的供应配置方案;需求模块,用于基于历史的实际配置方案,预测未来预设时段的需求配置方案;差值模块,用于基于所述供应配置方案和需求配置方案,确定未来预设时段的配置差值;补偿模块,用于基于配置差值、数据库的运行要求以及数据库的标准运行参数,确定配置补偿方案。
本说明书一个或多个实施例提供一种分布式数据库监控实现装置,包括处理器,处理器用于执行上述任一项所述的分布式数据库监控实现方法。
本说明书一个或多个实施例提供一种计算机可读存储介质,存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行如上述任一项所述的分布式数据库监控实现方法。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的分布式数据库的监控实现系统应用场景的示例性结构示意图;
图2是根据本说明书一些实施例所示的分布式数据库的监控实现方法的示例性流程图;
图3是根据本说明书一些实施例所示的预测未来预设时段的供应配置方案的示例性流程图;
图4是根据本说明书一些实施例所示的预测未来预设时段的需求配置方案的示例性流程图;
图5是根据本说明书一些实施例所示的预测未来预设时段的需求配置方案的又一示例性流程图;
图6是根据本说明书一些实施例所示的确定配置补偿方案的示例性流程图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的分布式数据库的监控实现系统应用场景的示例性结构示意图。
在一些实施例中,分布式数据库的监控实现系统的应用场景100包括用户终端110、服务器120、分布式数据库130、网络140。
用户可以指与分布式数据库有关的工作人员,例如,分布式数据库的管理员。用户终端110可以是用户使用的终端设备或软件。在一些实施例中,用户终端110可以包括移动设备110-1、平板计算机110-2、膝上型计算机110-3等或其任意组合。用户终端110包含有显示屏,显示屏上可以显示用户终端设备或软件的用户界面。用户终端110可以显示与数据库有关的监控数据。
监控数据可以包括数据库的日常运行数据以及基于日常运行数据的处理结果,例如,数据库的状态以及性能指标。在一些实施例中,监控数据可以包括性能指标,例如,响应时间、吞吐量、发热温度、并发性、资源利用率、缓存命中率、数据一致性中的至少一种。在一些实施例中,可以从监控数据中获取实际的配置方案。关于配置方案的详细信息参见说明书图2的内容。在一些实施例中,可以通过数据库管理系统工具、性能监控工具获取。
用户终端110可以用于与应用场景100中其他组件进行交互。例如,用户终端110可以和服务器120进行交互。用户终端110可以接收用户的输入指令(例如,请求查询数据)。在一些实施例中,用户终端110可以与服务器120通信连接(即进行交互),将输入指令经由用户终端110发送至服务器120。
分布式数据库130可以指数据存储和处理被分布在至少一个物理或逻辑的位置上的数据库系统。分布式数据库130的结构可以包括至少一个主节点和至少一个子节点。如图1所示,分布式数据库130可以包括主节点131和四个子节点,分别为132、133、134、135。主节点可以负责协调整个分布式数据库系统至少一个物理或逻辑的位置。例如,主节点可以将监控数据和处理任务分散到多个子节点上。例如,主节点可以负责将查询分解成子查询,并将这些子查询分派给不同的子节点进行处理,子节点可以处理相关的子查询,执行计划并返回结果。在一些实施例中,可以在主节点或者子节点上运行采集监控数据的服务程序。例如,子节点上通过运行采集监控数据的服务程序采集与各个子结点相关的监控数据,在主节点上通过运行采集监控数据的服务程序,采集与主节点有关的监控数据。在一些实施例中,监控数据可以包括分布式数据库130(包括主节点和子节点)的监控数据。
在一些实施例中,主节点可以和各个子节点可以进行数据交互。例如,每个子节点可以把和当前子节点有关的监控数据发送给主节点。在一些实施例中,主节点可以和应用场景100中其他组件进行交互。例如,主节点可以将汇总得到的与子节点有关的监控数据发送给服务器120和/或分布式数据库130中储存起来。
服务器120可以处理从其他设备或系统组成部分中获得的数据和/或信息。在一些实施例中,服务器可以是WEB服务器。仅作为示例,处理器130可以包括中央处理器(CPU)、专用集成电路(ASIC)、专用指令处理器(ASIP)、图形处理器(GPU)、物理处理器(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编辑逻辑电路(PLD)、控制器、微控制器单元、精简指令集电脑(RISC)、微处理器等或以上任意组合。
服务器120可以基于所获取的数据、信息和/或处理结果执行程序指令,以执行一个或多个本申请中描述的功能。在一些实施例中,服务器120可以提供给用户终端110的访问数据接口。在一些实施例中,服务器120可以从分布式数据库130查询监控数据。在一些实施例中,服务器120可以接收主节点推送的实时的监控数据。
网络140可以包括提供能够促进分布式数据库的监控实现系统应用场景100的信息和/或数据交换的任何合适的网络。在一些实施例中,分布式数据库的监控实现系统应用场景100的一个或多个组件(例如,用户终端110、服务器120、分布式数据库130)之间可以通过网络140交换信息和/或数据。网络140可以包括局域网(LAN)、广域网(WAN)、有线网络、无线网络等或其任意组合。
本说明书一些实施例,基于分布式数据库的监控实现系统应用场景100,可以在服务器、数据库之间形成信息运行闭环,并在服务器的统一管理下协调、规律运行,实现分布式数据库的监控方式的信息化、智慧化。
图2是根据本说明书一些实施例所示的分布式数据库的监控实现方法的示例性流程图。在一些实施例中,流程200可以由服务器执行。如图2所示,流程200包括下述步骤。
步骤210,基于计划配置方案,确定未来预设时段的供应配置方案。
计划配置方案可以指用户预先计划的在各个未来预设时段对分布式数据库的配置方案。配置方案可以包括整个分布式数据库的配置方案,也可以包括分布式数据库中每一个子节点的配置方案。配置方案可以包括硬件配置、数据分片配置、引擎配置、日志和存储配置等。例如,配置方案可以为对分布式数据库整体和/或每一个子节点的硬件(包括CPU、内存、磁盘等)性能和检索任务的分配方案。在一些实施例中,检索任务可以通过所需使用的内存来表示。计划配置方案可以是初始设定的,也可以是用户设定的。在一些实施例中,配置方案可以和主节点或子节点的性能指标相对应。性能指标的详细内容可以参见本说明书图1中的相关描述。
未来预设时段是指未来的时间点或时段。用户可以根据实际对未来预设时段进行预设,如,未来预设时段可以包括一天中数据库使用的高峰时段(如,未来上班工作时间8点-18点等)。
在一些实施例中,可以将计划配置方案作为未来预设时段的供应配置方案。
在一些实施例中,基于计划配置方案,确定未来预设时段的供应配置方案的具体实现方式,还可以采用图3所示方法实现,具体参见图3的说明。
步骤220,基于历史的实际配置方案,预测未来预设时段的需求配置方案。
历史的实际配置方案可以指数据库中历史实际的配置方案。在一些实施例中,可以通过历史监控数据获取数据库内的历史的实际配置方案。
需求配置方案可以指在未来预设时段内,数据库完成分配的任务所需要的配置方案。在一些实施例中,可以将目标历史时段的历史的实际配置方案,直接作为未来预设时段的需求配置方案。其中,目标历史时段为与未来预设时段对应的历史时段。例如,当需要预测未来8点-18点的需求配置方案时,则可以将过去某一天8点-18点的历史用户的实际配置方案,作为未来8点-18点的需求配置方案。
在一些实施例中,可以基于历史的实际配置方案,确定未来预设时段的需求配置方案的具体实现方法,还可以采用图4所示方法实现,具体参见图4中的说明。
步骤230,基于供应配置方案和需求配置方案,确定未来预设时段的配置差值。
配置差值可以指数据库在未来预设时段的供应配置方案与需求配置方案之间的差异。在一些实施例中,可以采用第一算法确定未来预设时段的配置差值:未来预设时段的配置差值=未来预设时段的需求配置方案-未来预设时段的供应配置方案。例如,在一个月后的工作日09:00-18:00,分布式数据库的供应配置方案包括配置给分布式数据库的内存为128M,需求的内存为512M,配置差值可以为512M-128M=384M。
步骤240,基于配置差值、数据库的运行要求以及数据库的标准运行参数,确定配置补偿方案。
数据库的运行要求可以是对数据库正常运行时对性能指标的要求。例如,数据库的响应时间不能超过预设响应时间。再例如,某一个子节点的发热温度不能超过预设温度。预设响应时间可以是用户根据经验设定。
数据库的标准运行参数可以指数据库正常运行的标准参数。例如,数据库的标准运行参数可视包括数据库的标准性能指标,例如,响应时间、吞吐量、并发性、发热温度、资源利用率、缓存命中率等。数据库的运行要求和/或标准运行参数可以指主节点和/或子节点的运行要求和/或标准运行参数。
配置补偿方案是指针对配置差值确定的配置方案。
在一些实施例中,配置补偿方案可以包括横向扩充和/或纵向扩充。
横向扩充可以包括添加新的子节点。纵向扩充可以包括对现有子节点的硬件升级。例如,在现有子节点上增加内存。
在一些实施例中,可以基于配置差值、数据库的运行要求以及数据库的标准运行参数,通过第一预设对照表,确定配置补偿方案。在一些实施例中,第一预设对照表中包括参考配置差值、参考运行要求以及参考标准运行参数与参考配置补偿方案的对应关系。在一些实施例中,第一预设对照表可以根据先验知识或历史数据构建。
通过配置补偿方案,可以根据实时的数据库运行情况进行调整,保持数据库系统在不同时段内的高性能运行。
在本说明书的一些实施例中,通过基于预测的未来预设时段的供应配置方案和需求配置方案,确定未来预设时段的配置差值,然后再基于该配置差值、数据库的运行要求以及数据库的标准运行参数,确定配置补偿方案,以应对一天中数据库使用的高峰时段出现的部分热点的情况,保证用户需求和安全。
图3是根据本说明书一些实施例所示的预测未来预设时段的供应配置方案的示例性流程图。在一些实施例中,流程300可以由服务器执行。如图3所示,流程300包括下述步骤310-步骤330。
步骤310,基于计划配置方案,通过预设公式和预设系数表,确定未来预设时段的数据库各个节点的配置预估方案。
配置预估方案可以指预先估计的在未来预设时段数据库的供应配置方案。
在一些实施例中,预设公式可以通过公式(1)确定:
℃ (1)
其中,可以表示配置预估方案。为数据库调节系数,可以人工确定。℃可以表
示计划配置方案。
由于计划配置方案可能根据数据库整体来设置的,可以包括对每个主节点或者子节点平均分配的方案,对于硬件设备条件较好的节点,对应的数据库调节系数较高,相反较低。预设系数表可以包括每一个主节点或/子节点的对应系数。在一些实施例中,通过子节点配置预估方案通过加和确定与之相连的主节点配置预估方案。
根据本说明书的一些实施例,利用计划配置方案,数据库系统能够提前规划未来预设时段的供应配置,提高系统的计划性和可预测性。
步骤320,基于数据库结构图、未来预设时段的性能指标以及未来预设时段的需求配置方案,通过第一预测模型,预测供应偏差率。
数据库结构图是指分布式数据库中所包含所有子节点的图谱。
在一些实施例中,可以通过数据库获取当前分布式数据库的数据库结构图。未来预设时段的性能指标可以包括在未来预设时段内,响应时间、吞吐量、发热温度、并发性、资源利用率、缓存命中率、数据一致性中的至少一种等中的一种或多种。
在一些实施例中,第一预测模型可以为机器学习模型。在一些实施例中,第一预测模型的类型可以包括神经网络模型(Neural Networks,NN)和卷积神经网络(Convolutional Neural Networks,CNN)模型。
在一些实施例中,第一预测模型可以包括特征提取层和偏差率预测层。特征提取层可以为CNN卷积神经网络模型等。偏差率预测层可以为NN神经网络模型等。
在一些实施例中,特征提取层可以用于对数据库结构图进行处理,确定数据库特征图。
数据库特征图是指能够体现分布式数据库内部的结构图。在一些实施例中,数据库特征图是由节点和边组成的数据结构,边连接节点,节点和边可以具有属性。
在一些实施例中,数据库特征图的节点可以代表各个子节点/主节点。节点属性可以反映对应节点的相关特征。例如,节点属性包括:管道的硬件特征等。
在一些实施例中,数据库特征图的边可以与数据库中各个子节点/主节点之间存在的联通通路对应。边可以代表节点相邻且连通。边属性可以反应对应通路的相关特征。例如,边属性包括:线路的物理特性、有线或者无线的传输速度等。
边属性可以影响传输速度,进而影响性能指标的准确度,进而影响供应偏差率的预测。
在一些实施例中,偏差率预测层可以用于对数据库特征图、未来预设时段的性能指标以及未来预设时段的需求配置方案,确定供应偏差率。
在本说明书的一些实施例中,在预测供应偏差率的过程中,考虑了数据库结构图中设备硬件对性能指标的影响,提高了最终预测的供应偏差率的准确性。
在一些实施例中,第一预测模型可以基于大量带有标签的训练样本,由特征提取层和偏差率预测层,联合训练得到。
根据本说明书的一些实施例,可以结合数据库结构图和性能指标,综合考虑数据库的整体性能需求,确保配置方案满足性能期望。
根据本说明书的一些实施例,第一预测模型的使用可以提前预测供应偏差率,有助于准确预测未来时段内性能与配置计划之间的差异。
步骤330,基于配置预估方案和供应偏差率,确定未来预设时段的供应配置方案。
在一些实施例中,可以采用如下第三算法确定未来预设时段的供应配置方案:
未来预设时段的供应配置方案=未来预设时段的配置预估方案×(1+供应偏差率)。
根据本说明书的一些实施例,结合配置预估方案和供应偏差率,系统具备一定的灵活性,能够根据实际情况进行调整,以适应未来时段的需求变化。
另外,通过综合考虑配置预估和供应偏差率,最终确定供应配置方案,有助于实现全局性能的优化。
在本说明书的一些实施例中,在预测未来预设时段的供应配置方案的过程中,考虑了数据库结构图、以及未来预设时段的配置预估方案等多种因素对未来预设时段的供配置方案的影响,提高了最终预测的未来预设时段的供应配置方案的准确性。
图4是根据本说明书一些实施例所示的预测未来预设时段的需求配置方案的示例性流程图。在一些实施例中,流程400可以由服务器执行。如图4所示,流程400包括下述步骤410-步骤450。
步骤410,基于历史的实际配置方案,确定第一历史实际配置方案。
在一些实施例中,第一实际配置方案为在目标历史时段的实际配置方案。目标历史时段可以为与未来预设时段对应的历史时段。实际配置方案可以与当前节点的目标历史时段的历史实际温度对应。关于历史实际温度的相似内容可以参见图6的相关说明。
在一些实施例中,可以在历史实际配置方案中,筛选出在目标历史时段的实际配置方案,直接作为第一实际配置方案。例如,如果预测未来10点-12点的实际配置方案,则可以在历史实际配置方案中,筛选出历史一段时间(如,历史过去1个月或2个月等)中的每天10点-12点的实际配置方案,作为第一实际配置方案。第一实际配置方案可以通过嵌入层表示为第一实际配置向量,第一实际配制向量中元素还包括具体历史时段。
根据本说明书的一些实施例,利用历史的实际配置方案,能够基于系统过去的运行经验进行配置,考虑到实际环境和需求的变化,还能够更准确地反映系统的运行状况,提高配置方案的可信度。
步骤420,对第一实际配置方案进行聚类,得到多个第一聚类中心。
每一个第一聚类中心都和历史时段相对应。聚类中心可以体现各个聚类的特征。
步骤430,基于每一个聚类中心,确定第二历史实际配置方案。
第二历史配置方案可以为第一历史配置方案中,与第一聚类中心的距离满足第一预设距离条件的历史配置方案。第一实际配置方案与第一聚类中心的距离可以为第一实际配置向量与第一聚类中心向量的几何距离。
第一预设距离条件是指预先设置的距离需要满足的条件,如,距离小于预设距离阈值等。预设距离阈值可以为本领域技术人员根据经验预设。
在本说明书的一些实施例中,通过剔除一些波动大的历史实际配置方案,提高了最终预测的未来预设时段的需求配置方案的准确度。
在一些实施例中,可以在第一实际配置方案中,筛选出与第一聚类中心的距离满足第一预设距离条件(如,小于预设距离阈值)的历史配置方案直接作为第二历史配置方案。
步骤440,对第二历史实际配置方案进行聚类,得到第二聚类中心。
第二聚类中心的描述可以参见第一聚类中心描述。
通过本说明书的一些实施例,第二次聚类有助于进一步识别系统配置的演化趋势,了解系统配置随时间的变化,可以更准确地反映系统配置的变化,为未来的预测提供更可靠的依据。
步骤450,基于第二聚类中心,预测未来预设时段的需求配置方案。
在一些实施例中,可以将第二聚类中心对应的历史实际配置方案直接作为未来预设时段的需求配置方案,其中,目标历史时段为与未来预设时段对应的历史时段。
在本说明书的一些实施例中, 基于第二聚类中心,能够更准确地预测未来时段的需求配置方案,考虑到系统配置的演化趋势,并且通过考虑最新的聚类中心,预测的配置方案更能反映系统当前的性能和需求状态。
在本说明书的一些实施例中,通过二次聚类可以排除一些波动大的历史数据的干扰,然后确定未来预设时段的需求配置方案,提高了最终预测的准确度。
图5是根据本说明书一些实施例所示的预测未来预设时段的需求配置方案的又一示例性流程图。在一些实施例中,流程500可以由服务器执行。如图4所示,流程500包括下述步骤。
步骤510,基于历史的实际配置方案,确定第一性能指标图和标准性能指标图。
第一性能指标图可以为历史实际配置方案对应的性能指标的图示。例如,第一性能指标图可以包括历史实际配置方案对应的历史时段,还可以包括吞吐量柱形图。标准性能指标图可以为基于对应的历史时段的标准性能指标得到的图示。
根据本说明书的一些实施例,根据标准性能指标图,可以建立标准性能的参考模型,使得性能的评估更有标准和参照。
步骤520,基于标准性能指标图和第一性能指标图确定需求偏差率。
需求偏差率可以指第一性能指标图与标准性能指标图的不相似度。在一些实施例中,可以通过公式(2)确定第一性能指标图与标准性能指标图的不相似度。
(2)
其中,为需求偏差率,可以为第一性能指标图与标准性能指标图的相似度。
在一些实施例中,可以通过机器学习模型确定第一性能指标图与标准性能指标图的相似度。机器学习模型可以为卷积神经网络,输入可以包括第一性能指标图与标准性能指标图,输出可以为第一性能指标图与标准性能指标图的相似度。
步骤530,基于需求偏差率和实际配置方案确定未来时段内的需求配置方案。
在一些实施例中,可以预设需求偏差率、实际配置方案以及需求配置方案的需求配置对应关系,基于需求配置对应关系可以确定需求配置方案。
根据本说明书的一些实施例,历史的实际配置方案可能会与实际确定的未来预设时段的需求配置方案有一定的偏差,考虑到以上偏差,可以更准确的确定未来时段内的需求配置方案。
图6是根据本说明书一些实施例所示的确定配置补偿方案的示例性流程图。在一些实施例中,流程600可以由服务器执行。如图6所示,流程600包括下述。
步骤610,基于历史实际配置方案,确定未来预设时段的预设温度值。
在一些实施例中,历史实际配置方案可以包括目标历史时段的实际配置方案。在一些实施例中,可以将历史实际配置方案对应的历史实际温度作为未来预设时段的预设温度值。
通过本说明书的一些实施例,基于实际配置方案的历史数据,可以更好地考虑系统在过去的环境中的运行状况,使预设温度值更准确,更贴近实际情况。
步骤620,基于预设温度值、基准温度值以及最大温度值确定未来预设时段的数据库所处的发热阶段。
发热阶段可以指当前子节点或者主节点发热的程度。在一些实施例中,发热阶段可以包括轻度发热阶段、中度发热阶段、严重发热阶段。
发热阶段可以根据至少一个预设发热系数阈值与发热系数确定。
发热系数可以通过预设未来时段的预设温度值、基准温度值以及最大温度值确定。
发热系数可以通过公式(3)确定。
(3)
其中表示发热系数;表示预设温度值;表示基准温度值;表示
最大温度值。表示供应偏差率和需求偏差率的权重加成。例如,可以用公式(4)确定。
(4)
其中,为供应偏差率的权重,为供应偏差率,为需求偏差率的权重,为
需求偏差率。在一些实施例中,和可以相等。
基准温度值可以为标准性能指标图对应的节点的温度值。最大温度值可以指当前节点能承受的最大温度值。基准温度值和最大温度值可以根据节点处的硬件设备的性质确定。
在一些实施例中,可以通过将T与至少2个预设发热系数阈值比较确定发热阶段。预设发热系数阈值可以人工设定,第一预设发热系数阈值可以为0.8,第二预设发热系数阈值可以为0.5,当发热系数大于第一预设发热系数阈值,则当前节点处于严重发热阶段,当发热系数小于第二预设发热系数阈值,则当前节点处于轻度发热阶段,当发热系数小于第一预设发热系数阈值,但是大于第二预设发热系数阈值,则当前节点处于中度发热阶段。
通过本说明书的一些实施例,将数据库的温度分为不同的阶段,有助于更细致地了解数据库在未来时段内的发热情况。
步骤630,基于发热阶段、配置差值确定配置补偿方案。
配置补偿方案可以包括横向扩充和/或纵向扩充。横向扩展可以包括增加新节点,提高整个数据库系统的容量和性能。纵向扩展可以包括当前节点内存的增加,提高单个节点的性能。
在一些实施例中,当当前节点处于轻度发热阶段,可以采用横向扩充,通过添加新的节点来平衡负载,提高系统整体的容量和吞吐量。在一些实施例中,当当前节点处于中度发热阶段,可以采用横向扩充,通过增加节点可以来平衡负载,提高系统的可伸缩性。在一些实施例中,当当前节点处于严重发热阶段,可以采用纵向扩充,此时数据库系统负载非常高,硬件性能已经接近或达到瓶颈,可能导致数据库系统崩溃或性能急剧下降。通过增加单个节点的处理能力,提高系统在单个节点上的性能。
通过本说明书的一些实施例,可以根据发热阶段和配置差值,能够有针对性地调整数据库的配置,以适应不同的发热情况,提高配置调整的精准性。在发热阶段的基础上进行配置调整,有助于确保系统在未来时段内能够在安全温度范围内运行。
需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。
分布式数据库的监控实现系统可以包括一种分布式数据库监控实现系统,其特征在于,该系统包括:供应模块,用于基于计划配置方案,确定未来预设时段的供应配置方案;需求模块,用于基于历史的实际配置方案,预测未来预设时段的需求配置方案;差值模块,用于基于供应配置方案和需求配置方案,确定未来预设时段的配置差值;补偿模块,用于基于配置差值、数据库的运行要求以及数据库的标准运行参数,确定配置补偿方案。
在一些实施例中,供应模块进一步包括:预估模块,用于基于计划配置方案,通过预设公式和预设系数表,确定未来预设时段的所述数据库的各个节点的配置预估方案;供应偏差模块,用于基于数据库结构图、未来预设时段的性能指标以及所述未来预设时段的所述需求配置方案,通过第一预测模型,预测供应偏差率;供应子模块,用于基于配置预估方案和供应偏差率,确定未来预设时段的供应配置方案。
在一些实施例中,需求模块进一步包括:性能图模块,用于基于历史的实际配置方案,确定第一性能指标图和标准性能指标图;需求偏差模块,用于基于标准性能指标图和第一性能指标图确定需求偏差率;需求子模块,用于基于需求偏差率和实际配置方案确定未来时段内的需求配置方案。
在一些实施例中,补偿模块进一步包括:预设温度模块,用于基于历史的实际配置方案,确定未来预设时段的预设温度值;阶段确定模块,用于基于预设温度值、基准温度值以及最大温度值确定未来预设时段的数据库所处的发热阶段;补偿子模块基于发热阶段、配置差值确定配置补偿方案。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (8)
1.一种分布式数据库监控实现方法,其特征在于,所述方法包括:
基于计划配置方案,确定未来预设时段的供应配置方案,所述计划配置方案指用户预先计划的在所述未来预设时段对所述分布式数据库的配置方案,所述供应配置方案指在所述未来预设时段供应到所述分布式数据库的配置方案,所述配置方案为对分布式数据库整体和/或每一个子节点的硬件性能和检索任务的分配方案;
基于历史的实际配置方案,预测所述未来预设时段的需求配置方案,所述历史的实际配置方案指数据库中历史实际的配置方案,所述需求配置方案指在未来预设时段内数据库完成分配的任务所需要的配置方案;
基于所述供应配置方案和所述需求配置方案,确定所述未来预设时段的配置差值,所述配置差值指数据库在所述未来预设时段的所述供应配置方案与所述需求配置方案之间的差异;
基于所述配置差值、所述数据库的运行要求以及所述数据库的标准运行参数,确定配置补偿方案,所述配置补偿方案指针对所述配置差值确定的配置方案,所述配置补偿方案包括横向扩充和/或纵向扩充,所述确定配置补偿方案包括:
基于历史的所述实际配置方案,确定所述未来预设时段的预设温度值;
基于所述预设温度值、基准温度值以及最大温度值确定所述未来预设时段的所述数据库所处的发热阶段;
基于所述发热阶段、所述配置差值确定配置补偿方案,所述发热阶段指当前子节点或者主节点发热的程度,所述发热阶段根据至少一个预设发热系数阈值与发热系数确定,所述发热系数通过预设未来时段的预设温度值、基准温度值以及最大温度值确定。
2.根据权利要求1所述的方法,其特征在于,所述基于计划配置方案,确定未来预设时段的供应配置方案,包括:
基于所述计划配置方案,通过预设公式和预设系数表,确定所述未来预设时段的所述数据库的各个节点的配置预估方案;
基于数据库结构图、所述未来预设时段的性能指标以及所述未来预设时段的所述需求配置方案,通过第一预测模型,预测供应偏差率;
基于所述配置预估方案和所述供应偏差率,确定所述未来预设时段的所述供应配置方案。
3.根据权利要求1所述的方法,其特征在于,所述基于历史的实际配置方案,预测所述未来预设时段的需求配置方案,包括:
基于历史的所述实际配置方案,确定第一性能指标图和标准性能指标图;
基于标准性能指标图和第一性能指标图确定需求偏差率;
基于所述需求偏差率和所述实际配置方案确定所述未来时段内的所述需求配置方案。
4.一种分布式数据库监控实现系统,其特征在于,所述系统包括:
供应模块,用于基于计划配置方案,确定未来预设时段的供应配置方案,所述计划配置方案指用户预先计划的在所述未来预设时段对所述分布式数据库的配置方案,所述供应配置方案指在所述未来预设时段供应到所述分布式数据库的配置方案,所述配置方案指配置方案为对分布式数据库整体和/或每一个子节点的硬件性能和检索任务的分配方案;
需求模块,用于基于历史的实际配置方案,预测所述未来预设时段的需求配置方案,所述历史的实际配置方案指数据库中历史实际的配置方案,所述需求配置方案指在未来预设时段内数据库完成分配的任务所需要的配置方案;
差值模块,用于基于所述供应配置方案和所述需求配置方案,确定所述未来预设时段的配置差值,所述配置差值指数据库在所述未来预设时段的所述供应配置方案与所述需求配置方案之间的差异;
补偿模块,用于基于所述配置差值、所述数据库的运行要求以及所述数据库的标准运行参数,确定配置补偿方案,所述配置补偿方案指针对所述配置差值确定的配置方案,所述配置补偿方案包括横向扩充和/或纵向扩充,所述确定配置补偿方案包括:
基于历史的所述实际配置方案,确定所述未来预设时段的预设温度值;
基于所述预设温度值、基准温度值以及最大温度值确定所述未来预设时段的所述数据库所处的发热阶段;
基于所述发热阶段、所述配置差值确定配置补偿方案,所述发热阶段指当前子节点或者主节点发热的程度,所述发热阶段根据至少一个预设发热系数阈值与发热系数确定,所述发热系数通过预设未来时段的预设温度值、基准温度值以及最大温度值确定。
5.根据权利要求4所述的系统,其特征在于,所述供应模块进一步包括:
预估模块,用于基于所述计划配置方案,通过预设公式和预设系数表,确定所述未来预设时段的所述数据库的各个节点的配置预估方案;
供应偏差模块,用于基于数据库结构图、所述未来预设时段的性能指标以及所述未来预设时段的所述需求配置方案,通过第一预测模型,预测供应偏差率;
供应子模块,用于基于所述配置预估方案和所述供应偏差率,确定所述未来预设时段的所述供应配置方案。
6.根据权利要求4所述的系统,其特征在于,所述需求模块进一步包括:
性能图模块,用于基于历史的所述实际配置方案,确定第一性能指标图和标准性能指标图;
需求偏差模块,用于基于标准性能指标图和第一性能指标图确定需求偏差率;
需求子模块,用于基于所述需求偏差率和所述实际配置方案确定所述未来时段内的所述需求配置方案。
7.一种分布式数据库监控实现装置,其特征在于,包括处理器,所述处理器用于执行权利要求1-3中任一项所述的分布式数据库监控实现方法。
8.一种计算机可读存储介质,其特征在于,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行如权利要求1-3任一项所述的分布式数据库监控实现方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410032928.1A CN117539728B (zh) | 2024-01-10 | 2024-01-10 | 一种分布式数据库监控实现方法、系统、装置及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410032928.1A CN117539728B (zh) | 2024-01-10 | 2024-01-10 | 一种分布式数据库监控实现方法、系统、装置及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117539728A CN117539728A (zh) | 2024-02-09 |
CN117539728B true CN117539728B (zh) | 2024-04-12 |
Family
ID=89786597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410032928.1A Active CN117539728B (zh) | 2024-01-10 | 2024-01-10 | 一种分布式数据库监控实现方法、系统、装置及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117539728B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108388503A (zh) * | 2018-02-13 | 2018-08-10 | 中体彩科技发展有限公司 | 数据库性能监控方法、系统、设备及计算机可读存储介质 |
WO2020057369A1 (zh) * | 2018-09-17 | 2020-03-26 | 华为技术有限公司 | 一种查询计划的获取方法、数据查询方法及装置 |
CN114116782A (zh) * | 2021-11-15 | 2022-03-01 | 中国工商银行股份有限公司 | 分布式数据库资源管控方法、装置、电子设备和存储介质 |
CN114625597A (zh) * | 2020-12-21 | 2022-06-14 | 亚信科技(中国)有限公司 | 监控运维系统、方法、装置、电子设备及存储介质 |
CN116340393A (zh) * | 2023-03-30 | 2023-06-27 | 北京人大金仓信息技术股份有限公司 | 数据库饱和度的预测方法、存储介质及数据库系统 |
CN116340110A (zh) * | 2023-04-12 | 2023-06-27 | 浪潮云信息技术股份公司 | 云平台集群监控指标数据的自动化巡检方法及系统 |
CN116401236A (zh) * | 2023-06-07 | 2023-07-07 | 瀚高基础软件股份有限公司 | 一种数据库参数自适应优化的方法及设备 |
CN116450464A (zh) * | 2023-06-13 | 2023-07-18 | 浙江睿数云联科技有限公司 | 运维管理方法、系统及设备 |
CN117112701A (zh) * | 2023-10-20 | 2023-11-24 | 武汉吧哒科技股份有限公司 | 分布式数据库中的节点切换方法、计算机设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080033991A1 (en) * | 2006-08-03 | 2008-02-07 | Jayanta Basak | Prediction of future performance of a dbms |
US8326825B2 (en) * | 2010-11-05 | 2012-12-04 | Microsoft Corporation | Automated partitioning in parallel database systems |
CN112256526B (zh) * | 2020-10-14 | 2024-02-23 | 中国银联股份有限公司 | 基于机器学习的数据实时监控方法以及装置 |
-
2024
- 2024-01-10 CN CN202410032928.1A patent/CN117539728B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108388503A (zh) * | 2018-02-13 | 2018-08-10 | 中体彩科技发展有限公司 | 数据库性能监控方法、系统、设备及计算机可读存储介质 |
WO2020057369A1 (zh) * | 2018-09-17 | 2020-03-26 | 华为技术有限公司 | 一种查询计划的获取方法、数据查询方法及装置 |
CN114625597A (zh) * | 2020-12-21 | 2022-06-14 | 亚信科技(中国)有限公司 | 监控运维系统、方法、装置、电子设备及存储介质 |
CN114116782A (zh) * | 2021-11-15 | 2022-03-01 | 中国工商银行股份有限公司 | 分布式数据库资源管控方法、装置、电子设备和存储介质 |
CN116340393A (zh) * | 2023-03-30 | 2023-06-27 | 北京人大金仓信息技术股份有限公司 | 数据库饱和度的预测方法、存储介质及数据库系统 |
CN116340110A (zh) * | 2023-04-12 | 2023-06-27 | 浪潮云信息技术股份公司 | 云平台集群监控指标数据的自动化巡检方法及系统 |
CN116401236A (zh) * | 2023-06-07 | 2023-07-07 | 瀚高基础软件股份有限公司 | 一种数据库参数自适应优化的方法及设备 |
CN116450464A (zh) * | 2023-06-13 | 2023-07-18 | 浙江睿数云联科技有限公司 | 运维管理方法、系统及设备 |
CN117112701A (zh) * | 2023-10-20 | 2023-11-24 | 武汉吧哒科技股份有限公司 | 分布式数据库中的节点切换方法、计算机设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
"NINQ: Name-Integrated Query Framework for Named-Data Networking of Things";Rehman, MAU; Ullah, R and Kim, BS;《SENSORS》;20190831;第19卷(第13期);全文 * |
"数据库资源自适应调整优化研究";黄嘉东,佘俊;《信息通信》;20170731(第07期);全文 * |
"新型数据管理系统研究进展与趋势";崔斌; 高军; 童咏昕; 许建秋; 张东祥; 邹磊;《软件学报》;20190131;第30卷(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117539728A (zh) | 2024-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11755604B2 (en) | Building management system with declarative views of timeseries data | |
US10127234B1 (en) | Proactive optimizations at multi-tier file systems | |
US11726836B2 (en) | Predicting expansion failures and defragmenting cluster resources | |
CN102694868B (zh) | 一种集群系统实现及任务动态分配方法 | |
US11172035B2 (en) | Data management for edge computing environment | |
US11953865B2 (en) | HVAC controller with predictive cost optimization | |
CN106776288B (zh) | 一种基于Hadoop的分布式系统的健康度量方法 | |
US11409453B2 (en) | Storage capacity forecasting for storage systems in an active tier of a storage environment | |
US12025327B2 (en) | Energy efficiency and comfort optimization through extreme weather adaptivity and AI | |
KR20200029553A (ko) | 다중-에이전트 흐름 제어 시스템의 탈중앙집중적 계획, 스케줄링 및 제어 | |
CN115344207A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN117539728B (zh) | 一种分布式数据库监控实现方法、系统、装置及介质 | |
CA3131359A1 (en) | Dynamic resource allocation for computational simulation | |
CN117369941A (zh) | Pod调度方法和系统 | |
CN110971468A (zh) | 一种基于脏页预测的延迟拷贝增量式容器检查点处理方法 | |
Li et al. | Efficient multi-attribute precedence-based task scheduling for edge computing in geo-distributed cloud environment | |
CN117472873A (zh) | 数据迁移方法、装置、计算设备集群及存储介质 | |
WO2019186243A1 (en) | Global data center cost/performance validation based on machine intelligence | |
He et al. | Dynamic decision-making strategy of replica number based on data hot | |
CN112231294B (zh) | 一种智能存储管理数据块的异构存储策略选举方法、装置 | |
US20240126227A1 (en) | Building management system with containerized engines | |
CN107818093A (zh) | 一种sql脚本的定位方法、装置及系统 | |
WO2013168073A1 (en) | Lowering data centers operational costs | |
CN118245213A (zh) | 一种调度方法、装置和电子设备 | |
CN117972367A (zh) | 一种数据存储预测方法、数据存储子系统及智能计算平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |