CN113297169B - 数据库实例处理方法、系统、设备及存储介质 - Google Patents
数据库实例处理方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN113297169B CN113297169B CN202110219526.9A CN202110219526A CN113297169B CN 113297169 B CN113297169 B CN 113297169B CN 202110219526 A CN202110219526 A CN 202110219526A CN 113297169 B CN113297169 B CN 113297169B
- Authority
- CN
- China
- Prior art keywords
- optimization
- data
- database
- evaluation
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000005457 optimization Methods 0.000 claims abstract description 604
- 238000011156 evaluation Methods 0.000 claims abstract description 111
- 238000012545 processing Methods 0.000 claims abstract description 93
- 238000013210 evaluation model Methods 0.000 claims abstract description 91
- 230000000694 effects Effects 0.000 claims abstract description 61
- 238000004422 calculation algorithm Methods 0.000 claims description 66
- 238000000034 method Methods 0.000 claims description 62
- 238000012549 training Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000003066 decision tree Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims 1
- 230000003044 adaptive effect Effects 0.000 abstract description 18
- 230000006872 improvement Effects 0.000 abstract description 3
- 230000004069 differentiation Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008602 contraction Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供一种数据库实例处理方法、系统、设备及存储介质。在本申请实施例中,对数据库实例的优化进行场景区分,针对不同优化场景,采用适配该优化场景的优化评估模型对该优化场景下的优化效果进行评估,可提高优化评估的准确性,进而为是否对所执行的优化处理进行回滚提供准确的判断依据,可降低对数据库实例进行无效优化的概率,提升对数据库实例进行合理优化处理的概率,有利于真正提升数据库实例的执行性能。
Description
技术领域
本申请涉及数据库技术领域,尤其涉及一种数据库实例处理方法、系统、设备及存储介质。
背景技术
数据库实例是数据库的基本单位,是位于用户与操作系统之间的一层数据管理软件,用户对数据库中的数据做任何操作,例如数据定义、数据查询、数据库运行控制等,都是通过执行数据库实例实现的。
在实际应用中,为了提高数据库实例的执行性能,通常会对数据库实例进行优化操作。在大多数情况下,对数据库实例的优化操作是有助于提升数据库实例的执行性能的,但有些情况却可能导致数据库实例执行性能的下降。因此,有必要对数据库实例优化后的执行效果进行评估。
在现有技术中,通常是对数据库实例进行优化之后,根据实例优化后产生的整体性能统计信息不断评估实例优化效果,有需要时还会进行下一次的优化操作。这种评估方式具有普适性,但存在准确性不足的问题。
发明内容
本申请的多个方面提供一种数据库实例处理方法、系统、设备及存储介质,用以结合优化场景对数据库实例的优化效果进行评估,提升评估准确性。
本申请实施例提供一种数据库实例处理系统,包括:数据库引擎、数据库优化设备和优化评估设备;所述数据库优化设备,用于对所述数据库引擎可执行的数据库实例进行优化处理,所述处理属于多种优化场景中的目标优化场景;所述数据库引擎,用于执行优化后的数据库实例,以得到优化后的多个性能指标数据;所述优化评估设备,用于利用与所述目标优化场景适配的优化评估模型,对所述优化后的多个性能指标数据进行处理,以得到优化评估数据,并在所述优化评估数据不满足要求时,通知所述数据库引擎针对所述数据库实例的优化处理进行回滚操作。
本申请实施例还提供一种数据库实例处理方法,包括:对数据库实例进行优化处理,所述优化处理属于多种优化场景中的目标优化场景;执行优化处理后的数据库实例,以得到优化后的多个性能指标数据;利用与所述目标优化场景适配的优化评估模型,对所述优化后的多个性能指标数据进行处理,以得到优化评估数据;若所述优化评估数据不满足要求,则针对所述数据库实例的优化处理进行回滚操作。
本申请实施例还提供一种数据库优化设备,包括:处理器以及存储有计算机程序的存储器;所述处理器,用于执行所述计算机程序,以用于:对数据库实例进行优化处理,所述优化处理属于多种优化场景中的目标优化场景;执行优化处理后的数据库实例,以得到优化后的多个性能指标数据;利用与所述目标优化场景适配的优化评估模型,对所述优化后的多个性能指标数据进行处理,以得到优化评估数据;若所述优化评估数据不满足要求,则针对所述数据库实例的优化处理进行回滚操作。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,当所述计算机程序被处理器执行时,致使所述处理器实现本申请实施例提供的方法中的步骤。
本申请实施例还提供一种计算机程序产品,包括计算机程序/指令,当所述计算机程序/指令被处理器执行时,致使所述处理器实现本申请实施例提供的方法中的步骤。
在本申请实施例中,对数据库实例的优化进行场景区分,针对不同优化场景,采用适配该优化场景的优化评估模型对该优化场景下的优化效果进行评估,可提高优化评估的准确性,进而为是否对所执行的优化处理进行回滚提供准确的判断依据,可降低对数据库实例进行无效优化的概率,提升对数据库实例进行合理优化处理的概率,有利于真正提升数据库实例的执行性能。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1a为本申请实施例的数据实时处理系统的结构示意图;
图1b为本申请实施例的优化评估模型的训练及使用的工作原理示意图;
图2为本申请实施例的数据库实例优化方法的流程图;
图3为本申请实施例的数据库优化设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种数据库实例处理系统,如图1a所示,该系统包括数据库10、数据库引擎20以及数据库优化设备30。其中,数据库引擎20通过执行数据库实例对数据库10执行各种操作,例如:数据定义、数据插入、删除、修改、查询以及对数据库10运行的控制等。在实际应用中,数据库引擎20可执行的数据库实例可以是一个或多个。
在上述使用过程中,为了提高数据库10的执行性能,可以通过数据库优化设备30对数据库引擎20执行数据库实例的过程进行诊断并给出优化建议,在数据库实例采纳给出的优化建议的情况下,数据库优化设备30会按照优化建议对数据库实例进行优化处理。其中,对数据库实例的优化处理区分为以下几种优化场景:为数据库实例中的数据库语句添加索引、为数据库语句删除索引、限制数据库语句的执行并发度、为数据库实例增加内存,为数据库实例增加CPU核数等。根据数据库技术的不同,数据库语句会有所不同,例如可以是SQL语句、MySQL语句等。
在大多数情况下,数据库优化设备30给出的优化建议是有助于提升数据库实例的执行性能的,但在有些情况下却可能导致数据库实例执行性能的下降,因为针对每条数据库语句给出的优化建议,以SQL语句为例,还要考虑对相关SQL语句的影响。例如,考虑到索引的维护成本、存储成本,在为某条SQL语句添加索引之后,还需要对涉及到的相关索引进行去重和整合。又例如,考虑到数据量的变化、SQL语句查询参数的变化、数据库实例的负载变化等情况,优化后的SQL语句可能会出现效率变差的情况。因此,为了保证对数据库实例的优化确能提升数据库实例的执行性能,在对数据库实例进行优化处理之后,有必要对优化处理的效果进行评估,进而根据评估效果判断对数据库实例的优化处理是否有效,进一步,在判断出对数据库实例的优化处理无效的情况下,还可以对该优化处理进行回滚处理,避免出现“越优化性能越差”的情况。
鉴于此,如图1a所示,在本申请实施例提供的系统中引入了优化评估设备40,用于对数据库优化设备30对数据库实的优化效果进行评估。在本申请实施例中,为了提高对优化效果评估的准确性,对数据库实例的优化处理进行了场景区分,得到不同优化场景下的优化处理。在本实施例中,并不限定对优化处理进行场景区分的方式,可以从优化处理的对象、优化处理的功能或者优化处理针对的执行性能等维度对优化处理进行场景区分。可选地,可以将对数据库实例的优化处理区分为以下几种优化场景:数据库语句自动优化场景、实例负载优化场景、异常语句自动限流场景以及实例规格自动扩缩容场景等。
其中,数据库语句自动优化场景是指对数据库实例中的数据库语句执行效率进行优化的场景。例如,若数据库实例中某条SQL语句查询速度较慢,影响整体查询效率,则可为该SQL语句增加一个索引,以提升查询效率。其中,实例负载优化场景是指对数据库实例的执行负载进行优化的场景。以任一数据库实例为例,该数据库实例包含多条SQL,若在指定时间内该数据库实例的负载过高,影响该数据库实例的执行性能,可从整体上对该数据库实例中的全部SQL语句进行索引的增加、删除以及合并等处理来均衡该数据实例的负载。其中,异常语句自动限流场景是指对数据库实例中某条数据库语句在指定时间内被执行的次数进行优化的场景。例如,数据库实例中某条数据库语句(以SQL语句为例)在指定时间内被执行的次数过多,导致数据库实例超负载运行,为了使该数据库实例能够正常运行,则可减少该SQL语句在指定时间内最多可被执行次数,从而降低数据库实例的执行负载。其中,实例规格自动扩缩容场景是指对数据库实例的资源规格进行优化的场景,具体地,资源规格可以为据库实例的存储内存、计算内存以及计算节点等。例如,如果数据库实例的资源规格较小,可以为该数据库实例进行扩容,例如将数据库实例的内存从2k扩容为4K,如果数据库实例的资源规格较大,则可以为该数据库实例进行缩容,例如将数据库实例占用的CPU核数从4核变为2核。在此说明,针对数据库语句自动优化场景,可以针对功能相似的数据库语句生成数据库语句模板,采用对数据库语句模板优化的形式可以对多条功能相似的数据库语句进行统一优化。具体地,数据库实例可通过对数据库语句模板进行优化来实现对属于该数据库语句模板的所有数据库语句的优化。数据库语句模板是指对功能相似的数据库语句进行抽象,去掉具体的参数值之外的固定执行格式,由于同一个数据库语句模板的不同数据库语句的执行情况往往很类似,基于数据库语句模板同时对多个数据库语句进行优化,有利于减小对数据库语句统计的类别,提高统计效率,进而提高优化效率。以SQL数据库为例,可以生成SQL模板,基于SQL模板可以同时对多个SQL语句进行优化,有利于减小对SQL语句统计的类别,提高统计的效率,进而提高SQL语句的自动优化效率。
在本申请实施例中,无论采用何种方式对数据库实例进行优化处理,在对数据库实例进行优化处理的情况下,优化评估设备40可以针对不同优化场景下的数据库实例的优化效果进行有针对性的评估,以确定特定优化场景下的数据库实例优化效果是否有效。
进一步,为了确保对优化效果评估的准确性,可以预先训练优化评估模型,并采用训练好的优化评估模型对不同优化场景下的数据库实例的优化效果进行评估。图1b为训练优化评估模型以及利用优化评估模型对数据库实例的优化效果进行评估的工作原理示意图,其中,训练优化评估模型包括样本标注和模型训练两个阶段,样本标注阶段所使用的样本数据包括样本数据库实例在优化前后的性能指标数据。数据库实例的性能指标包括但不限于:数据库实例对数据库语句执行的时间、数据库语句的扫描行数、逻辑读等性能指标。
在本申请实施例中,训练优化评估模型所使用的样本数据为带标注的样本数据,故在模型训练之前,可首先对样本数据进行标注,得到标注后的样本数据。其中,对样本数据的标注过程主要是指根据样本数据库实例在优化前后的性能指标数据的比对结果,标注该样本数据对应的优化处理是有效优化还是无效优化的过程。在得到标注后的样本数据之后,可根据标注后的样本数据进行模型训练,以得到优化评估模型。可选地,可以训练一个通用优化评估模型,该通用优化评估模型与多种优化场景均适配,即针对各种优化场景下数据库实例的优化效果的评估,都可以采用该通用优化评估模型。或者,也可以针对不同优化场景分别训练一个优化评估模型,每个优化评估模型适配一种优化场景,可用于对该优化场景下数据库实例的优化效果进行评估。无论是哪种优化评估模型,其样本标注和模型训练过程都是一样的,具体可参见后续实施例,在此暂不详述。
在本申请实施例中,在数据库优化设备30对数据库实例进行优化处理的情况下,可确定该优化处理具体属于多种优化场景中的哪种优化场景,为便于描述,在本实施例中,将该优化处理所属的优化场景记为目标优化场景。进一步,在完成对数据库实例的优化处理之后,数据库引擎20可执行优化处理后的数据库实例,可得到优化后的数据库实例所产生的多个性能指标数据,简称为优化后的多个性能指标数据,这些优化后的性能指标数据可在一定程度上反映数据库优化设备30对数据库实例进行优化处理的效果。例如,这些优化后的性能指标数据包括但不限于:优化处理后的数据库查询效率、计算速度、数据库实例的负载以及存储空间等信息。
在得到优化后的多个性能指标数据的情况下,优化评估设备40可以利用预先训练的与目标优化场景适配的优化评估模型,对优化后的多个性能指标数据进行处理,以得到优化评估数据,该优化评估数据可以评估数据库优化设备30对数据库实例进行的优化处理是否有效。若优化评估数据不满足要求,说明对数据库实例进行的优化处理是无效的,无法达到提升数据库实例的执行性能的目的,则针对数据库实例的优化处理进行回滚操作,将被优化处理的数据库实例回滚到未优化处理之前的状态,以保证数据库实例的执行性能。进一步可选地,优化评估设备40还可将当前优化处理无效以及该优化处理已回滚的信息以文本或图表等形式反馈至用户端,以供用户了解此次优化评估的情况。例如,某SQL语句在优化后的执行效率由原来的0.1毫秒降低至0.8毫秒,则优化评估设备40可以文本或图表等方式体现该SQL语句执行效率降低且对应的优化处理已回滚等内容。
进一步可选地,若优化评估数据满足要求,说明对数据库实例进行的优化处理是有效的,可以提升数据库实例的执行性能,则优化评估设备40可根据优化评估数据生成数据库实例的性能评估报告,并输出该性能评估报告给用户。其中,优化评估报告的形式可以是图表、文本或者其他形式。例如,某SQL语句在优化后的执行效率由原来的0.8毫秒提升至0.4毫秒,则性能评估报告中可体现该SQL语句执行效率提升2倍的信息。
在一可选实施例中,在训练优化评估模型时,可根据不同优化场景下带标注的样本数据有针对性的训练每种优化场景下的优化评估模型。例如,以上述列举的几种优化场景为例,可以针对数据库语句自动优化场景训练对应的优化评估模型、针对实例负载优化场景训练对应的优化评估模型、针对异常语句自动限流场景训练对应的优化评估模型以及针对实例规格自动扩缩容场景训练对应的优化评估模型。进而,优化评估设备40在确定对数据库实例的此次优化处理属于目标优化场景的情况下,可以根据优化场景与优化评估模型的适配关系,从预先训练的多个优化评估模型中选择与目标优化场景适配的优化评估模型,进而利用该优化评估模型对优化后的多个性能指标数据进行处理,实现对数据库优化设备30对数据库实例的优化处理效果进行评估的目的。在另一可选实施例中,在训练优化评估模型时,可根据不同优化场景下带标注的样本数据训练出一种可适配不同优化场景的通用优化评估模型。进而,优化评估设备40在确定对数据库实例的此次优化处理属于目标优化场景的情况下,可以利用通用优化评估模型对优化后的多个性能指标数据进行处理,实现对数据库优化设备30对数据库实例的优化处理效果进行评估的目的,其中,多种优化场景包括目标优化场景。
在本申请实施例中,与不同优化场景适配的优化评估模型可针对不同优化场景从众多性能指标中选择与优化场景适配的性能指标数据,从而利用与各优化场景适配的性能指标数据评估该优化场景下的优化效果,可以排除其它性能指标数据的不利影响,使得评估更有针对性,有利于提高优化评估的准确性。鉴于此,优化评估设备40在利用与目标优化场景适配的优化评估模型,对优化后的多个性能指标数据进行处理时,可将执行优化后的数据库实例得到的优化后的多个性能指标数据作为输入参数送入与目标优化场景适配的优化评估模型,在该优化评估模型内,从优化后的多个性能指标数据中,选择出与目标优化场景适配的目标性能指标数据,其中,目标性能指标数据可以是一个或多个,并根据目标性能指标数据和模型学习到的评估参数对优化处理的结果进行评估,以得到优化评估数据。其中,评估参数是指优化评估模型在模型训练过程中根据带标注的样本数据与优化场景的对应关系,学习到的对优化效果进行评估所使用的基准性能指标数据。优化评估设备40在评估数据库优化设备30对数据库实例的优化效果时,可根据目标性能指标数据和模型学习到的目标优化场景下的基准性能指标数据,对优化处理的结果进行评估,以得到优化评估数据。
进一步可选地,前述基准性能指标数据可以是相应性能指标数据对应的门限阈值,则优化评估设备40可以将目标性能指标数据与相应阈值进行比较,若目标性能指标数据大于相应阈值,则认为目标场景下的优化处理有效,反之则无效;或者,也可能是在目标性能指标数据小于相应阈值时,则认为目标场景下的优化处理有效,反之则无效。例如,以SQL自动优化场景为例,假设优化评估模型训练得到的评估参数为SQL语句A的查询时间为0.1毫秒为较优效果,若为该SQL语句A增加索引后该SQL语句A的查询时间由0.5毫秒减小到0.08毫秒,0.08毫秒大于0.1毫秒这个阈值,则认为该优化处理有效;若为该SQL语句A增加索引后该SQL语句A的查询时间由0.5毫秒减小到0.3毫秒,虽然SQL语句A的查询效率提高了,但并没有达到目标优化场景对应的优化评估参数对应阈值,如0.1毫秒,因此认为该优化处理无效。
在上述实施例中,需要依据与目标优化场景适配的优化评估模型对目标场景下的优化效果进行评估。在使用优化评估模型之前,需要预先训练优化评估模型。结合图1b所示,下面详细说明优化评估模型的训练过程:
如图1b所示,模型训练包括样本标注阶段和模型训练阶段,其中,在样本标注阶段首先需要获取目标优化场景下的样本数据,该样本数据包括样本数据库实例优化前后的性能指标数据。在得到样本数据的情况下,打标用户可根据样本数据中包含的样本数据库实例在优化前后的性能指标数据,对相应样本数据进行优化效果的标注,得到标注后的样本数据。
具体地,在标注样本数据之前,可以将采集到的样本数据库实例在优化前后产生的多个性能指标数据作为样本数据添加到样本数据集中,进一步,根据优化场景的不同,可从样本数据集中选择与目标优化场景对应的样本数据,并分别以图表的形式对样本数据中包含的样本数据库实例在优化前后产生的性能指标数据进行显示,以供打标用户根据图表信息对样本数据进行标注,得到带标注的样本数据。如图1b所示,图表中可分别显示不同优化场景下的对应的样本数据中优化前后的性能指标数据的图表信息,在本实施例中,不限定图表信息的呈现形式,可以是曲线图、直方图、散点图或表格中的一种或多种,针对多种优化场景,也可以根据具体需求对不同优化场景下的样本数据以相同或不同的形式显示,在此不做限定。其中,指定时间段可以根据应用需求灵活选择,例如可以是一天,也可以是一天中的上午时段、下午时段或上午8点-上10点等,还可以是两天、三天或一星期等更长时段。以上午时段为例,则可以获取样本数据库实例在优化前在某个或若干个上午时段内产生的性能指标数据,在对样本数据库实例进行优化之后,可以获取样本数据库实例在优化后在某个或若干个上午时段内产生的性能指标数据,作为原始未标注的样本数据。
可选地,在图表中可展示样本数据中包含的样本数据库实例优化前后的性能指标数据的相对变化信息、数据值以及变化率中的至少一种,以供打标用户确定对样本数据库实例的优化效果。也就是说,打标用户可以根据图表中展示的样本数据库实例优化前后的性能指标数据的相关信息,判断对样本数据库实例的优化处理是否有效。例如,以SQL自动优化场景为例,若图表中显示样本数据库实例的在优化前后的查询时长分别是0.08毫秒和0.03毫秒,相比于优化前,优化后的查询时长降低了0.05毫秒,则可以认为此次优化处理是有效优化,可为该样本数据打上有效优化的标记信息。若图表中显示的数据库实例优化前后的SQL查询时长分别为0.08毫秒和0.1毫秒,相比于优化前,优化后的查询时长增加了0.02毫秒,则可以认为此次优化处理是无效优化,可为该样本数据打上无效优化的标记信息。相应地,可响应于打标用户的打标操作,对样本数据进行优化效果的标注,得到标注后的样本数据。
在实际应用中,由于图表中的与性能指标数据对应的点非常密集,在相应时段内的性能指标数据发生频繁突增、突降时会互相重叠和遮挡,容易对人眼造成干扰,影响打标用户对样本数据标注的准确性。因此,在本申请实施例中,打标用户在基于上述图表所展示的样本数据库实例优化前后的性能指标数据的相关信息对样本数据进行标注时,还可以分时间段对样本数据进行分批标注,这样每次标注时图表中仅需显示该批次对应时间段内的相关数据即可,所显示的数据量会减少,可以降低发生互相重叠和遮挡的概率,有利于提升标注的准确性。基于此,采用图表方式展示相关信息时,可响应打标用户选择时间段的操作,确定目标时间段,并采用图表方式展示样本数据库实例在目标时间段内产生的优化前后的性能指标数据的相对变化信息、数据值以及变化率中的至少一种,进而,打标用户可根据样本数据库实例在目标时间段内优化前后的性能指标数据的相对变化信息、数据值以及变化率中的至少一种,判断对样本数据库实例的优化处理是否有效,并根据该判断结果对对应的样本数据进行标注。
例如,以SQL自动优化场景为例,样本数据包括样本数据库实例在优化前N小时内产生的性能指标数据,以及样本数据库实例在优化后N小时内产生的性能指标数据,优化前后的N个小时为同期的N个小时,例如都是上午8点-上午10点的两个小时,或者均为一天内的24小时;在本实施例中,可以以分钟为单位来采集样本数据库实例在优化前后N个小时内产生的性能指标数据,这些性能指标数据包括但不限于:SQL语句的执行时间、扫描行数、逻辑读等指标数据。以对数据库实例优化性能的追踪时间N=24小时为例,为了更清晰地对比SQL语句在优化前后在每天同一时刻的性能指标数据的相对变化情况,在通过曲线图等图表方式展示性能指标数据的相对变化情况时,可以在分钟维度上将优化前后的性能指标数据在当天发生的时间对齐,即横坐标表示性能指标数据的显示时间x;其中,x=t%(86400/60)=t%1440,t指的是采集性能指标数据的时间,单位为分钟。
在实际应用中,判断优化效果的标准可能发生变化,则在打标用户对样本数据进行标注后,还可以对标注后的样本数据进行回顾和重新标注,以用于在判断优化效果的标准发生变化时对标注结果进行调整。例如,在SQL自动优化场景下,假设判断对SQL语句的优化是否有效的标准为:SQL语句执行效率提升0.05毫秒视为有优化效果,而在一周后,该判断标准变更为执行效率提升0.03毫秒即视为有优化效果,则打标用户可根据新的判断标准重新对样本数据进行标注,将样本数据中执行效率提升0.03毫秒的样本数据标注为有效样本数据,将其它样本数据标注为无效样本数据。可选地,针对SQL自动优化场景还可提供搜索功能,打标用户还可以针对特定样本数据进行搜索并重新进行优化效果的标注。
在本申请实施例中,打标用户是对各种优化场景下对数据库实例优化评估效果具有专业知识及丰富经验的专家,打标用户可以根据样本数据库实例在指定时间内优化前后的性能指标数据分析出对应的优化处理是否有效,并根据分析结果对有优化效果的样本数据和没有优化效果的样本数据分别进行标注,作为标注后的样本数据。
进一步,如图1b所示,在得到标注后的样本数据的情况下,可将带标注的样本数据存入样本数据集中,以供后续根据带标注的样本数据进行模型训练,在模型训练时,可从样本数据集中获取带标注的样本数,根据标注后的样本数据进行模型训练,以得到与目标优化场景适配的优化评估模型。
在模型训练过程中,首先,采用特征工程从标注后的样本数据中进行特征提取,以获取适合后续模型算法和优化算法的特征数据。在本实施例中,为了降低特征工程的计算量,可以为特征工程设定了一个有限的搜索空间,基于该搜索空间中包括进行特征发掘或构造所需的一些指导信息,根据这些指导信息从标注后的样本数据中发掘并构造相关的特征数据。进一步,还可以采用一些特定的特征增强方法,例如特征选择、特征降维、特征生成、以及特征编码等对所挖掘或构造出的特征数据做进一步处理,最终得到适合后续算法模型的特征数据。
接着,从模型算法搜索空间中选择合适的目标模型算法,该目标模型算法可以为机器学习算法、回归算法、聚类算法或决策树算法。在本实施例中,预先设置模型算法的搜索空间,该搜索空间同时包括机器学习算法、回归算法、聚类算法和决策树算法等多种模型算法,并设定选择模型算法所需的性能参数,例如运行速度、计算量、消耗的计算内存等,根据性能参数在这个搜索空间内不断地去学习和优化,最终得到表现符合要求的模型算法。例如,在选择模型算法时,可以选择计算量小、消耗计算内存最小的模型算法。
进一步,为了保证模型收敛,从优化算法搜索空间中选择目标优化算法,优化算法搜索空间同时包括随机梯度下降法(stochastic gradient descent,SGD)、有限内存中进行的BFGS算法(limited memory Broyden Fletcher Goldfarb Shanno,L-BFGSL)以及梯度下降法(gradient descent,GD)等多种优化算法。相应地,被选择的目标优化算法可以为但不限于:SGD、L-BFGSL或GD。
进一步,可根据从标注后的样本数据中提取出的特征数据,结合目标优化算法,对目标模型算法进行迭代训练,以得到与目标优化场景适配的优化评估模型的模型参数,得到模型参数即为得到优化评估模型。该优化评估模型用于对线上数据库实例的优化效果进行评估;其中,模型参数至少包括与目标优化场景适配的目标性能指标和评估参数。
在一种实施例中,可以针对每种优化场景,获取每种优化场景下的样本数据库实例在优化前后的性能指标数据作为样本数据,并对这些样本数据进行标注。基于每种优化场景下标注后的样本数据单独进行模型训练,得到每种优化场景对应的优化评估模型,以用于分别对每种优化场景下的优化效果进行评估。
在另一种实施例中,可以同时对多种优化场景下的样本数据库实例在优化前后的性能指标数据作为样本数据,并对这些样本数据进行标注。进而,基于多种优化场景下标注后的样本数据同时进行模型训练,得到一种可适配多种优化场景的通用优化评估模型,以用于对每种优化场景下的优化效果进行评估。
进一步,在得到优化评估模型的情况下,如图1b所示,可将训练得到的优化评估模型存储至模型数据库中,在需要对目标优化场景下数据库实例的优化效果进行评估的情况下,可从模型数据库中选择与目标优化场景对应的优化评估模型,或者选择可适配多用优化场景的通用优化评估模型,对目标优化场景下的数据库实例的优化效果进行优化评估。如图1b所示,在优化评估效果为无效的情况下可对无效的优化处理进行回滚操作,以降低无效优化对数据库实例的执行性能带来的负面效果影响,提升对数据库实例进行合理优化处理的概率及执行性能。
在本申请可选实施例中,如图1b所示,可以将数据库引擎20实际执行的数据库实例作为样本数据库实例,并采集这些数据库实例在优化前后的性能指标数据作为样本数据,对这些样本数据进行标注后添加到样本数据集中。除此之外,由于模型训练需要基于大量的样本数据,为了提升模型训练的准确度,如图1b所示,还可以采集其它数据库实例在优化前后的性能指标数据作为样本数据,经标注后添加到样本数据集中。其它数据库实例是指除数据库引擎20实际执行的数据库实例之外的其它数据库实例,例如,可以来源于与数据库引擎20实际执行的数据库实例具有相似功能、逻辑或具有上下游关系的数据库实例。
进一步,如图1b所示,在利用与目标优化场景适配的优化评估模型对目标优化场景下的数据库实例优化效果进行评估的情况下,在得到评估结果之后,还可以根据评估结果将目标优化场景下对数据库实例的优化前后的性能指标数据进行标注并添加到样本数据集中,以不断丰富样本数据集的数量,并根据丰富后的样本数据对优化评估模型进行更新,以形成一个闭环的优化评估系统,提高优化评估模型的评估准确性。
在本申请实施例中,将不同优化场景下的数据库实例优化前后的性能指标数据作为样本数据,并对样本数据进行对比标注,可将具有优化效果的性能指标数据作为标注样本。进而,基于带标注的样本数据进行模型训练可训练出与目标优化场景对应的优化评估模型,以及利用训练得到的优化评估模型对目标场景的优化效果进行评估,以得到目标场景下的优化效果,并在评估优化效果不满足要求的情况下对所执行的优化处理进行回滚操作,可降低对数据库实例进行无效优化的概率,提升对数据库实例进行合理优化处理的概率,有利于真正提升数据库实例的执行性能。
需要说明的是,在上述实施例中,数据库优化设备和优化评估设备可以部署在云端,也可以部署在数据库本地。其中,数据库优化设备和优化评估设备的功能可以独立实现,也可以整合在一起作为一个完整的数据库优化服务实现,在此不做限定。除此之外,优化评估设备也可以作为单独的产品被应用到其他需要对优化处理进行评估的具体应用中,如图1b中模型使用部分所示,当优化评估设备作为单独的产品应用时,可嵌入到具有流数据或定时任务的具体服务中,以用于对其进行优化效果评估。
除此之外,本申请实施例还提供一种数据库实例处理方法,该方法可以由数据库优化设备执行,图2为本申请实施例数据库实例处理方法的流程图,如图2所示,方法包括:
S1、对数据库实例进行优化处理,优化处理属于多种优化场景中的目标优化场景;
S2、执行优化处理后的数据库实例,以得到优化后的多个性能指标数据;
S3、利用与目标优化场景适配的优化评估模型,对优化后的多个性能指标数据进行处理,以得到优化评估数据;
S4、若优化评估数据不满足要求,则针对数据库实例的优化处理进行回滚操作。
在本申请实施例中,可以针对多种优化场景下的数据库实例进行优化处理,并得到优化后的多个性能指标数据,该多个性能指标数据可以为数据库实例对数据库语句执行的时间、数据库语句的扫描行数、逻辑读等指标数据。进而,利用与目标优化场景适配的优化评估模型,可对优化后的多个性能指标数据进行处理,以得到优化评估数据;其中,优化评估数据可以在一定程度上反映数据库实例优化的效果,若优化评估数据不满足要求,则针对数据库实例的优化处理进行回滚操作,以降低对数据库实例进行无效优化的概率,提升对数据库实例进行合理优化处理的概率,有利于真正提升数据库实例的执行性能。
在一可选实施例中,目标优化场景为SQL自动优化场景、实例负载优化场景、异常SQL自动限流场景或实例规格自动扩缩容场景。其中,SQL自动优化场景是指对数据库实例中的SQL语句执行效率进行优化的场景;异常SQL自动限流场景是指对数据库实例中某条数据库语句在指定时间内被执行的次数进行优化的场景;实例规格自动扩缩容场景是指对数据库实例的资源规格进行优化的场景。
在一可选实施例中,还可以根据优化场景与优化评估模型的适配关系,从预先训练的多个优化评估模型中选择与目标优化场景适配的优化评估模型;或者获取预先训练的可适配多种优化场景的优化评估模型,多种优化场景包括目标优化场景。
其中,利用与目标优化场景适配的优化评估模型,对优化后的多个性能指标数据进行处理,以得到优化评估数据时,可以在优化评估模型内,从优化后的多个性能指标数据中,选择出与目标优化场景适配的目标性能指标数据;并根据目标性能指标数据和模型学习到的评估参数对优化处理的结果进行评估,以得到优化评估数据。
进一步可选地,根据目标性能指标数据和模型学习到的评估参数对优化处理的结果进行评估,以得到优化评估数据时,可以根据目标性能指标数据和模型学习到的目标优化场景下的基准性能指标数据,对优化处理的结果进行评估,以得到优化评估数据。
在一可选实施例中,若优化评估数据满足要求,还可以根据优化评估数据生成数据库实例的性能评估报告,并输出性能评估报告给用户端,以供用户了解此次优化评估的情况。
在一可选实施例中,可以通过获取目标优化场景下的样本数据,样本数据包括样本数据库实例优化前后的性能指标数据,根据样本数据库实例优化前后的性能指标数据,对样本数据进行优化效果的标注,得到标注后的样本数据,以及根据标注后的样本数据进行模型训练,以得到与目标优化场景适配的优化评估模型。
在一可选实施例中,在根据样本数据库实例优化前后的性能指标数据,对样本数据进行优化效果的标注,得到标注后的样本数据时,可以采用图表方式展示样本数据库实例优化前后的性能指标数据的相对变化信息、数据值以及变化率中的至少一种,以供打标用户确定对样本数据库实例的优化效果;响应于打标用户的打标操作,对样本数据进行优化效果的标注,得到标注后的样本数据。
在一可选实施例中,采用图表方式展示样本数据库实例优化前后的性能指标数据的相对变化信息、数据值以及变化率中的至少一种,包括:响应打标用户选择时间段的操作,确定目标时间段;以及采用图表方式展示样本数据库实例在目标时间段内优化前后的性能指标数据的相对变化信息、数据值以及变化率中的至少一种。
在一可选实施例中,在得到带标注的样本数据的情况下,根据标注后的样本数据进行模型训练,以得到与目标优化场景适配的优化评估模型。可选地,可从模型算法搜索空间中,选择目标模型算法,目标模型算法为机器学习算法、回归算法、聚类算法或决策树算法;从优化算法搜索空间中,选择目标优化算法,目标优化算法为SGD、L-BFGS或GD算法;根据标注后的样本数据和目标优化算法,对目标模型算法进行迭代训练,以得到与目标优化场景适配的优化评估模型的模型参数,模型参数至少包括与目标优化场景适配的目标性能指标和评估参数。
在一可选实施例中,还可以获取多种优化场景下的样本数据,每种优化场景下的样本数据包括该优化场景下样本数据库实例优化前后的性能指标数据;根据每种优化场景下样本数据库实例优化前的性能指标数据,对每种优化场景下样本数据库实例优化后的性能指标数据进行优化效果的标注,得到多种优化场景下标注后的样本数据;根据多种优化场景下标注后的样本数据进行模型训练,以得到可适配多种优化场景适配的优化评估模型的模型参数,模型参数包括与每种优化场景适配的目标性能指标和评估参数。
关于数据库优化处理方法的具体试试细节可参见上述系统实施例,在此不做过多赘述。需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤S1至步骤S2的执行主体可以为数据库优化设备;又比如,步骤S1和S2的执行主体可以为数据库优化设备,步骤S3和S4的执行主体可以为优化评估设备;等等。
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如S1、S2等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
本申请实施例还提供了一种数据库优化设备,图3为本申请实施例的数据库优化设备的结构示意图,如图3所示,数据库优化设备包括:处理器31以及存储有计算机程序的存储器32。其中,处理器31和存储器32可以是一个或多个。
存储器32,主要用于存储计算机程序,这些计算机程序可被处理器执行,致使处理器控制数据库优化设备实现相应功能、完成相应动作或任务。除了存储计算机程序之外,存储器还可被配置为存储其它各种数据以支持在数据库优化设备上的操作,这些数据的示例包括用于在数据库优化设备上操作的任何应用程序或方法的指令。
存储器32,可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
在本申请实施例中,并不限定处理器31的实现形态,例如可以是但不限于CPU、GPU或MCU等。处理器31可以看作是数据库优化设备的控制系统,可用于执行存储器32中存储的计算机程序,以控制数据库优化设备实现相应功能、完成相应动作或任务。值得说明的是,根据数据库优化设备实现形态以及所处于场景的不同,其所需实现的功能、完成的动作或任务会有所不同;相应地,存储器32中存储的计算机程序也会有所不同,而处理器31执行不同计算机程序可控制数据库优化设备实现不同的功能、完成不同的动作或任务。
在一些可选实施例中,如图3所示,数据库优化设备还可包括:显示器33、电源组件34和通信组件35等其它组件。图3中仅示意性给出部分组件,并不意味着数据库优化设备只包括图3所示组件,针对不同的应用需求,数据库优化设备还可以包括其他组件,具体可视数据库优化设备的产品形态而定。
在本申请实施例中,当处理器31执行存储器32中的计算机程序时,以用于:对数据库实例进行优化处理,优化处理属于多种优化场景中的目标优化场景;执行优化处理后的数据库实例,以得到优化后的多个性能指标数据;利用与目标优化场景适配的优化评估模型,对优化后的多个性能指标数据进行处理,以得到优化评估数据;若优化评估数据不满足要求,则针对数据库实例的优化处理进行回滚操作。
在一可选实施例中,目标优化场景为SQL自动优化场景、实例负载优化场景、异常SQL自动限流场景或实例规格自动扩缩容场景。
在一可选实施例中,处理器31还用于:根据优化场景与优化评估模型的适配关系,从预先训练的多个优化评估模型中选择与目标优化场景适配的优化评估模型;或者获取预先训练的可适配多种优化场景的优化评估模型,多种优化场景包括目标优化场景。
在一可选实施例中,处理器31在利用与目标优化场景适配的优化评估模型,对优化后的多个性能指标数据进行处理,以得到优化评估数据时,用于:在优化评估模型内,从优化后的多个性能指标数据中,选择出与目标优化场景适配的目标性能指标数据;根据目标性能指标数据和模型学习到的评估参数对优化处理的结果进行评估,以得到优化评估数据。
在一可选实施例中,处理器31在根据目标性能指标数据和模型学习到的评估参数对优化处理的结果进行评估,以得到优化评估数据时,用于:根据目标性能指标数据和模型学习到的目标优化场景下的基准性能指标数据,对优化处理的结果进行评估,以得到优化评估数据。
在一可选实施例中,处理器31还用于:若优化评估数据满足要求,根据优化评估数据生成数据库实例的性能评估报告,并输出性能评估报告。
在一可选实施例中,处理器31还用于:获取目标优化场景下的样本数据,样本数据包括样本数据库实例优化前后的性能指标数据;根据样本数据库实例优化前后的性能指标数据,对样本数据进行优化效果的标注,得到标注后的样本数据;根据标注后的样本数据进行模型训练,以得到与目标优化场景适配的优化评估模型。
在一可选实施例中,处理器31在根据样本数据库实例优化前后的性能指标数据,对样本数据进行优化效果的标注,得到标注后的样本数据时,用于:采用图表方式展示样本数据库实例优化前后的性能指标数据的相对变化信息、数据值以及变化率中的至少一种,以供打标用户确定对样本数据库实例的优化效果;响应于打标用户的打标操作,对样本数据进行优化效果的标注,得到标注后的样本数据。
在一可选实施例中,处理器31在采用图表方式展示样本数据库实例优化前后的性能指标数据的相对变化信息、数据值以及变化率中的至少一种时,用于:响应打标用户选择时间段的操作,确定目标时间段;采用图表方式展示样本数据库实例在目标时间段内优化前后的性能指标数据的相对变化信息、数据值以及变化率中的至少一种。
在一可选实施例中,处理器31在根据标注后的样本数据进行模型训练,以得到与目标优化场景适配的优化评估模型时,用于:从模型算法搜索空间中,选择目标模型算法,目标模型算法为机器学习算法、回归算法、聚类算法或决策树算法;从优化算法搜索空间中,选择目标优化算法,目标优化算法为SGD、L-BFGS或GD算法;根据标注后的样本数据和目标优化算法,对目标模型算法进行迭代训练,以得到与目标优化场景适配的优化评估模型的模型参数,模型参数至少包括与目标优化场景适配的目标性能指标和评估参数。
在一可选实施例中,处理器31还用于:获取多种优化场景下的样本数据,每种优化场景下的样本数据包括该优化场景下样本数据库实例优化前后的性能指标数据;根据每种优化场景下样本数据库实例优化前的性能指标数据,对每种优化场景下样本数据库实例优化后的性能指标数据进行优化效果的标注,得到多种优化场景下标注后的样本数据;根据多种优化场景下标注后的样本数据进行模型训练,以得到可适配多种优化场景适配的优化评估模型的模型参数,模型参数包括与每种优化场景适配的目标性能指标和评估参数。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被处理器执行时,致使处理器实现上述方法实施例中的各步骤。
相应地,本申请实施例还提供一种计算机程序产品,包括计算机程序/指令,当计算机程序/指令被处理器执行时,致使处理器实现上述方法实施例中的各步骤。
上述图3中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如WiFi,2G、3G、4G/LTE、5G等移动通信网络,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
上述图3中的显示器包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
上述图3中的电源组件,为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (15)
1.一种数据库实例处理系统,其特征在于,包括:数据库引擎、数据库优化设备和优化评估设备;
所述数据库优化设备,用于对所述数据库引擎可执行的数据库实例进行优化处理,所述处理属于多种优化场景中的目标优化场景;所述多种优化场景是至少从优化处理的对象、优化处理的功能或者优化处理针对的执行性能维度进行区分的;
所述数据库引擎,用于执行优化后的数据库实例,以得到优化后的多个性能指标数据;
所述优化评估设备,用于利用与所述多种优化场景统一适配的优化评估模型,对所述优化后的多个性能指标数据进行处理,以得到优化评估数据,并在所述优化评估数据不满足要求时,通知所述数据库引擎针对所述数据库实例的优化处理进行回滚操作。
2.一种数据库实例处理方法,其特征在于,包括:
对数据库实例进行优化处理,所述优化处理属于多种优化场景中的目标优化场景;所述多种优化场景是至少从优化处理的对象、优化处理的功能或者优化处理针对的执行性能维度进行区分的;
执行优化处理后的数据库实例,以得到优化后的多个性能指标数据;
利用与所述多种优化场景统一适配的优化评估模型,对所述优化后的多个性能指标数据进行处理,以得到优化评估数据;
若所述优化评估数据不满足要求,则针对所述数据库实例的优化处理进行回滚操作。
3.根据权利要求2所述的方法,其特征在于,所述目标优化场景为SQL自动优化场景、实例负载优化场景、异常SQL自动限流场景或实例规格自动扩缩容场景。
4.根据权利要求2所述的方法,其特征在于,还包括:
获取预先训练的可适配多种优化场景的优化评估模型,所述多种优化场景包括所述目标优化场景。
5.根据权利要求2-4中任一项所述的方法,其特征在于,利用与所述多种优化场景统一适配的优化评估模型,对所述优化后的多个性能指标数据进行处理,以得到优化评估数据,包括:
在所述优化评估模型内,从所述优化后的多个性能指标数据中,选择出与所述多种优化场景统一适配的目标性能指标数据;
根据所述目标性能指标数据和模型学习到的评估参数对所述优化处理的结果进行评估,以得到优化评估数据。
6.根据权利要求5所述的方法,其特征在于,根据所述目标性能指标数据和模型学习到的评估参数对所述优化处理的结果进行评估,以得到优化评估数据,包括:
根据所述目标性能指标数据和模型学习到的所述多种优化场景下的基准性能指标数据,对所述优化处理的结果进行评估,以得到优化评估数据。
7.根据权利要求6所述的方法,其特征在于,还包括:
若所述优化评估数据满足要求,根据所述优化评估数据生成所述数据库实例的性能评估报告,并输出所述性能评估报告。
8.根据权利要求6所述的方法,其特征在于,还包括:
获取所述多种优化场景下的样本数据,所述样本数据包括样本数据库实例优化前后的性能指标数据;
根据样本数据库实例优化前后的性能指标数据,对所述样本数据进行优化效果的标注,得到标注后的样本数据;
根据标注后的样本数据进行模型训练,以得到与所述多种优化场景统一适配的优化评估模型。
9.根据权利要求8所述的方法,其特征在于,根据样本数据库实例优化前后的性能指标数据,对所述样本数据进行优化效果的标注,得到标注后的样本数据,包括:
采用图表方式展示样本数据库实例优化前后的性能指标数据的相对变化信息、数据值以及变化率中的至少一种,以供打标用户确定对样本数据库实例的优化效果;
响应于打标用户的打标操作,对所述样本数据进行优化效果的标注,得到标注后的样本数据。
10.根据权利要求9所述的方法,其特征在于,采用图表方式展示样本数据库实例优化前后的性能指标数据的相对变化信息、数据值以及变化率中的至少一种,包括:
响应打标用户选择时间段的操作,确定目标时间段;
采用图表方式展示样本数据库实例在所述目标时间段内优化前后的性能指标数据的相对变化信息、数据值以及变化率中的至少一种。
11.根据权利要求8所述的方法,其特征在于,根据标注后的样本数据进行模型训练,以得到与所述多种优化场景统一适配的优化评估模型,包括:
从模型算法搜索空间中,选择目标模型算法,所述目标模型算法为机器学习算法、回归算法、聚类算法或决策树算法;
从优化算法搜索空间中,选择目标优化算法,所述目标优化算法为SGD、L-BFGS或GD算法;
根据所述标注后的样本数据和所述目标优化算法,对所述目标模型算法进行迭代训练,以得到与所述多种优化场景统一适配的优化评估模型的模型参数,所述模型参数至少包括与所述多种优化场景统一适配的目标性能指标和评估参数。
12.根据权利要求6所述的方法,其特征在于,还包括:
获取多种优化场景下的样本数据,每种优化场景下的样本数据包括该优化场景下样本数据库实例优化前后的性能指标数据;
根据每种优化场景下样本数据库实例优化前的性能指标数据,对每种优化场景下样本数据库实例优化后的性能指标数据进行优化效果的标注,得到多种优化场景下标注后的样本数据;
根据多种优化场景下标注后的样本数据进行模型训练,以得到可适配多种优化场景适配的优化评估模型的模型参数,所述模型参数包括与每种优化场景适配的目标性能指标和评估参数。
13.一种数据库实例处理设备,其特征在于,包括:处理器以及存储有计算机程序的存储器;
所述处理器,用于执行所述计算机程序,以用于:
对数据库实例进行优化处理,所述优化处理属于多种优化场景中的目标优化场景;所述多种优化场景是至少从优化处理的对象、优化处理的功能或者优化处理针对的执行性能维度进行区分的;
执行优化处理后的数据库实例,以得到优化后的多个性能指标数据;
利用与所述多种优化场景统一适配的优化评估模型,对所述优化后的多个性能指标数据进行处理,以得到优化评估数据;
若所述优化评估数据不满足要求,则针对所述数据库实例的优化处理进行回滚操作。
14.一种存储有计算机程序的计算机可读存储介质,其特征在于,当所述计算机程序被处理器执行时,致使所述处理器实现权利要求2-12中任一项所述方法中的步骤。
15.一种计算机程序产品,包括计算机程序/指令,其特征在于,当所述计算机程序/指令被处理器执行时,致使所述处理器实现权利要求2-12中任一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110219526.9A CN113297169B (zh) | 2021-02-26 | 2021-02-26 | 数据库实例处理方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110219526.9A CN113297169B (zh) | 2021-02-26 | 2021-02-26 | 数据库实例处理方法、系统、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113297169A CN113297169A (zh) | 2021-08-24 |
CN113297169B true CN113297169B (zh) | 2022-05-31 |
Family
ID=77319082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110219526.9A Active CN113297169B (zh) | 2021-02-26 | 2021-02-26 | 数据库实例处理方法、系统、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113297169B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106021370A (zh) * | 2016-05-11 | 2016-10-12 | 智者四海(北京)技术有限公司 | 内存数据库实例的管理方法及装置 |
CN109697575A (zh) * | 2019-01-03 | 2019-04-30 | 陕西西部资信股份有限公司 | 基于评价结果的数据处理方法及系统 |
CN110750512A (zh) * | 2019-09-09 | 2020-02-04 | 北京新数科技有限公司 | 一种数据库性能评价管理方法及装置 |
CN111125085A (zh) * | 2018-10-30 | 2020-05-08 | 千寻位置网络有限公司 | 基于Python的数据库索引优化方法及装置、系统 |
US10757132B1 (en) * | 2017-09-08 | 2020-08-25 | Architecture Technology Corporation | System and method for evaluating and optimizing training effectiveness |
CN112215357A (zh) * | 2020-09-29 | 2021-01-12 | 三一专用汽车有限责任公司 | 模型优化方法、装置、设备和计算机可读存储介质 |
CN112288092A (zh) * | 2019-07-23 | 2021-01-29 | 百度时代网络技术(北京)有限公司 | 模型评估方法、装置、电子设备和存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10372706B2 (en) * | 2015-07-29 | 2019-08-06 | Oracle International Corporation | Tracking and maintaining expression statistics across database queries |
CN106205244A (zh) * | 2016-07-04 | 2016-12-07 | 杭州医学院 | 基于信息融合与机器学习的智能计算机辅助教学系统 |
MX2019011597A (es) * | 2017-04-03 | 2019-11-08 | American Chemical Soc | Sistemas y metodos para optimizacion de consulta e indice para recuperar datos en casos de una estructura de datos de formulacion desde una base de datos. |
CN109344201A (zh) * | 2018-10-17 | 2019-02-15 | 国网江苏省电力有限公司信息通信分公司 | 一种基于机器学习的数据库性能负载评估系统和方法 |
US11854433B2 (en) * | 2019-02-04 | 2023-12-26 | Pearson Education, Inc. | Systems and methods for item response modelling of digital assessments |
CN111797854B (zh) * | 2019-04-09 | 2023-12-15 | Oppo广东移动通信有限公司 | 场景模型建立方法、装置、存储介质及电子设备 |
US20200372307A1 (en) * | 2019-05-22 | 2020-11-26 | Adobe Inc. | Model insights framework for providing insight based on model evaluations to optimize machine learning models |
CN110619055B (zh) * | 2019-09-11 | 2022-06-24 | 简链科技(广东)有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN111950738B (zh) * | 2020-08-10 | 2023-09-15 | 中国平安人寿保险股份有限公司 | 机器学习模型优化效果评估方法、装置、终端及存储介质 |
-
2021
- 2021-02-26 CN CN202110219526.9A patent/CN113297169B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106021370A (zh) * | 2016-05-11 | 2016-10-12 | 智者四海(北京)技术有限公司 | 内存数据库实例的管理方法及装置 |
US10757132B1 (en) * | 2017-09-08 | 2020-08-25 | Architecture Technology Corporation | System and method for evaluating and optimizing training effectiveness |
CN111125085A (zh) * | 2018-10-30 | 2020-05-08 | 千寻位置网络有限公司 | 基于Python的数据库索引优化方法及装置、系统 |
CN109697575A (zh) * | 2019-01-03 | 2019-04-30 | 陕西西部资信股份有限公司 | 基于评价结果的数据处理方法及系统 |
CN112288092A (zh) * | 2019-07-23 | 2021-01-29 | 百度时代网络技术(北京)有限公司 | 模型评估方法、装置、电子设备和存储介质 |
CN110750512A (zh) * | 2019-09-09 | 2020-02-04 | 北京新数科技有限公司 | 一种数据库性能评价管理方法及装置 |
CN112215357A (zh) * | 2020-09-29 | 2021-01-12 | 三一专用汽车有限责任公司 | 模型优化方法、装置、设备和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113297169A (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112579728B (zh) | 基于海量数据全文检索的行为异常识别方法及装置 | |
US20130218626A1 (en) | Utilizing historic projects to estimate a new project schedule based on user provided high level parameters | |
US10796155B2 (en) | Irregular event detection in push notifications | |
US20150066813A1 (en) | Outage window scheduler tool | |
WO2021190379A1 (zh) | 实现自动机器学习的方法及装置 | |
CN111611478A (zh) | 信息推荐方法、装置和电子设备 | |
CN102226890A (zh) | 一种主机批量作业数据监控方法及装置 | |
US20190034228A1 (en) | Method and apparatus for task scheduling | |
US11675643B2 (en) | Method and device for determining a technical incident risk value in a computing infrastructure from performance indicator values | |
CN104778185A (zh) | 异常结构化查询语言sql语句确定方法及服务器 | |
RU2690206C2 (ru) | Интерактивное предсказание в реальном времени | |
CN113312244A (zh) | 一种故障监测方法、设备、程序产品及存储介质 | |
CN111222790A (zh) | 风险事件发生概率的预测方法、装置、设备及存储介质 | |
US11734063B2 (en) | Job management based on generated execution time prediction model and prediction accuracy | |
CN113297169B (zh) | 数据库实例处理方法、系统、设备及存储介质 | |
CN111553749A (zh) | 一种活动推送策略配置方法及装置 | |
CN115169658B (zh) | 基于npl和知识图谱的库存消耗预测方法、系统和存储介质 | |
CN115829736A (zh) | 模型参数的测试方法、装置、存储介质以及电子设备 | |
CN110275912B (zh) | 一种基于智能推送及界面动态关联的控制系统 | |
US20170337644A1 (en) | Data driven invocation of realtime wind market forecasting analytics | |
CN113934894A (zh) | 基于指标树的数据显示方法、终端设备 | |
JP2018156231A (ja) | エネルギー管理システムおよびエネルギー管理方法 | |
CN106934196A (zh) | 一种定量预测方法及装置 | |
CN112232960B (zh) | 交易应用系统监控方法及装置 | |
CN114358911B (zh) | 开票数据风险控制方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |