CN111198808B - 预测性能指标的方法、装置、存储介质及电子设备 - Google Patents
预测性能指标的方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN111198808B CN111198808B CN201911359324.3A CN201911359324A CN111198808B CN 111198808 B CN111198808 B CN 111198808B CN 201911359324 A CN201911359324 A CN 201911359324A CN 111198808 B CN111198808 B CN 111198808B
- Authority
- CN
- China
- Prior art keywords
- index
- model
- target
- performance index
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000006870 function Effects 0.000 claims description 71
- 230000008859 change Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 description 16
- 238000012423 maintenance Methods 0.000 description 15
- 238000012544 monitoring process Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 230000009977 dual effect Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 108090000672 Annexin A5 Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开涉及一种预测性能指标的方法、装置、存储介质及电子设备,获取目标节点对应的待预测指标类型;获取所述待预测指标类型对应的预设指标预测模型,以及所述预设指标预测模型的模型参数;若所述模型参数为默认模型参数,按照多个预设样本数量分别获取所述待预测指标类型对应的性能指标样本;根据所述性能指标样本调整所述模型参数,得到目标模型参数;根据所述目标模型参数从获取的性能指标样本中,确定目标性能指标样本;根据所述目标模型参数更新所述预设指标预测模型,得到目标指标预测模型;将所述目标性能指标样本作为所述目标指标预测模型的输入,预测所述待预测指标类型在当前预测周期内的性能指标区间。
Description
技术领域
本公开涉及对智能容器的性能预测领域,具体地,涉及一种预测性能指标的方法、装置、存储介质及电子设备。
背景技术
随着云计算技术的不断成熟,容器技术越来越多的应用到信息产业的各个领域中,容器集群服务系统的性能监控和管理的需求也越来越大,Kubernetes(简称K8s)作为容器应用的管理中心,对集群内部的所有的容器的生命周期进行管理,容器集群提供强大便利的同时,如何有效的对集群中成百上千甚至更多资源的大规模容器性能进行监控告警成为研究的热点。
现有的容器性能监控平台更多聚焦在操作系统的性能,以及服务器硬件性能的故障预测,对于类似于Kubernetes集群中存在着多节点的大规模容器性能需要预测的场景,现有的预测方法存在着预测效率低、预测精度差的问题。
发明内容
本公开提供一种预测性能指标的方法、装置、存储介质及电子设备。
第一方面,提供一种预测性能指标的方法,所述方法包括:获取目标节点对应的待预测指标类型;获取所述待预测指标类型对应的预设指标预测模型,以及所述预设指标预测模型的模型参数;若所述模型参数为默认模型参数,按照多个预设样本数量分别获取所述待预测指标类型对应的性能指标样本;根据所述性能指标样本调整所述模型参数,得到目标模型参数;根据所述目标模型参数从获取的性能指标样本中,确定目标性能指标样本;根据所述目标模型参数更新所述预设指标预测模型,得到目标指标预测模型;将所述目标性能指标样本作为所述目标指标预测模型的输入,预测所述待预测指标类型在当前预测周期内的性能指标区间。
可选地,所述模型参数包括指标输入数量;所述根据所述性能指标样本调整所述模型参数,得到目标模型参数包括:针对每个所述预设样本数量,获取该预设样本数量的性能指标样本对应的噪声;根据所述噪声从多个所述预设样本数量中确定所述指标输入数量。
可选地,所述根据所述噪声从多个所述预设样本数量中确定所述指标输入数量包括:获取预设时间段内,每个预设样本数量的性能指标样本对应的噪声的变化率;将多个所述预设样本数量中,所述变化率小于或者等于预设变化率阈值的目标噪声对应的预设样本数量作为所述指标输入数量。
可选地,所述模型参数还包括所述目标性能指标样本的第一指定参数,所述第一指定参数为嵌入维数和临近点个数中的任一个;所述根据所述性能指标样本调整所述模型参数,得到目标模型参数包括:从所述性能指标样本中,确定指标输入数量对应的第一性能指标;获取所述第一指定参数的多个备选参数;根据第二指定参数和所述第一性能指标计算得到每个备选参数对应的噪声方差,所述第二指定参数为所述嵌入维数和所述临近点个数中的另一个;将最小的所述噪声方差对应的备选参数作为所述目标模型参数。
可选地,所述预设指标预测模型为高斯核函数模型,在根据所述目标模型参数更新所述预设指标预测模型,得到目标指标预测模型之前,所述方法还包括:获取高斯核函数模型中的模型超参数;根据所述目标性能指标样本和所述噪声调整所述模型超参数,得到目标模型超参数;所述根据所述目标模型参数更新所述预设指标预测模型,得到目标指标预测模型包括:根据所述目标模型参数和所述目标模型超参数更新所述预设指标预测模型,得到目标指标预测模型。
可选地,所述模型超参数包括所述高斯核函数模型中的惩罚因子,以及所述高斯核函数模型中核函数的宽度;所述根据所述目标性能指标样本和所述噪声调整所述模型超参数,得到目标模型超参数包括:根据所述目标性能指标样本和所述噪声计算得到所述高斯核函数模型的误差函数;根据所述误差函数通过共轭梯度下降算法,计算所述目标模型超参数。
可选地,所述方法还包括:若所述模型参数为非默认模型参数,获取在上一预测周期内用于预测所述性能指标区间的历史指标预测模型;将所述目标性能指标样本作为所述历史指标预测模型的输入,预测所述待预测指标类型在所述当前预测周期内的性能指标区间。
第二方面,提供一种预测性能指标的装置,所述装置包括:第一获取模块,用于获取目标节点对应的待预测指标类型;第二获取模块,用于获取所述待预测指标类型对应的预设指标预测模型,以及所述预设指标预测模型的模型参数;第三获取模块,用于若所述模型参数为默认模型参数,按照多个预设样本数量分别获取所述待预测指标类型对应的性能指标样本;第一参数调整模块,用于根据所述性能指标样本调整所述模型参数,得到目标模型参数;确定模块,用于根据所述目标模型参数从获取的性能指标样本中,确定目标性能指标样本;模型更新模块,用于根据所述目标模型参数更新所述预设指标预测模型,得到目标指标预测模型;第一预测模块,用于将所述目标性能指标样本作为所述目标指标预测模型的输入,预测所述待预测指标类型在当前预测周期内的性能指标区间。
可选地,所述模型参数包括指标输入数量;所述第一参数调整模块,用于针对每个所述预设样本数量,获取该预设样本数量的性能指标样本对应的噪声;根据所述噪声从多个所述预设样本数量中确定所述指标输入数量。
可选地,所述第一参数调整模块,用于获取预设时间段内,每个预设样本数量的性能指标样本对应的噪声的变化率;将多个所述预设样本数量中,所述变化率小于或者等于预设变化率阈值的目标噪声对应的预设样本数量作为所述指标输入数量。
可选地,所述模型参数还包括所述目标性能指标样本的第一指定参数,所述第一指定参数为嵌入维数和临近点个数中的任一个;所述第一参数调整模块,用于从所述性能指标样本中,确定指标输入数量对应的第一性能指标;获取所述第一指定参数的多个备选参数;根据第二指定参数和所述第一性能指标计算得到每个备选参数对应的噪声方差,所述第二指定参数为所述嵌入维数和所述临近点个数中的另一个;将最小的所述噪声方差对应的备选参数作为所述目标模型参数。
可选地,所述预设指标预测模型为高斯核函数模型,所述装置还包括:第四获取模块,用于获取高斯核函数模型中的模型超参数;第二参数调整模块,用于根据所述目标性能指标样本和所述噪声调整所述模型超参数,得到目标模型超参数;所述模型更新模块,用于根据所述目标模型参数和所述目标模型超参数更新所述预设指标预测模型,得到目标指标预测模型。
可选地,所述模型超参数包括所述高斯核函数模型中的惩罚因子,以及所述高斯核函数模型中核函数的宽度;所述第二参数调整模块,用于根据所述目标性能指标样本和所述噪声计算得到所述高斯核函数模型的误差函数;根据所述误差函数通过共轭梯度下降算法,计算所述目标模型超参数。
可选地,所述装置还包括:第五获取模块,用于若所述模型参数为非默认模型参数,获取在上一预测周期内用于预测所述性能指标区间的历史指标预测模型;第二预测模块,用于将所述目标性能指标样本作为所述历史指标预测模型的输入,预测所述待预测指标类型在所述当前预测周期内的性能指标区间。
第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开第一方面所述方法的步骤。
第四方面,提供一种电子设备,包括:存储器,其上存储有计算机程序;处理器,用于执行所述存储器中的所述计算机程序,以实现本公开第一方面所述方法的步骤。
通过上述技术方案,可以获取目标节点对应的待预测指标类型,获取所述待预测指标类型对应的预设指标预测模型,以及所述预设指标预测模型的模型参数;若所述模型参数为默认模型参数,按照多个预设样本数量分别获取所述待预测指标类型对应的性能指标样本;根据所述性能指标样本调整所述模型参数,得到目标模型参数;根据所述目标模型参数从获取的性能指标样本中,确定目标性能指标样本;根据所述目标模型参数更新所述预设指标预测模型,得到目标指标预测模型;将所述目标性能指标样本作为所述目标指标预测模型的输入,预测所述待预测指标类型在当前预测周期内的性能指标区间,也就是说,本公开在确定预测模型的模型参数为默认模型参数时,可以基于当前要预测的性能指标类型对应的性能指标样本,实时调整预测模型中的模型参数,然后基于实时调整模型参数后的该目标指标预测模型进行容器性能指标的预测,相对于采用模型参数为固定值或者经验值的预测模型来预测性能指标来说,预测结果更准确,并且还可以将性能指标预测时的模型参数确定过程融合进预测算法,借助算法自行调整模型参数,无需运维人员在预测过程中反复调整模型参数,从而能够在保证预测精度的基础上大幅提高预测效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的第一种预测性能指标的方法的流程图;
图2是根据一示例性实施例示出的第二种预测性能指标的方法的流程图;
图3是根据一示例性实施例示出的第一种预测性能指标的装置的框图;
图4是根据一示例性实施例示出的第二种预测性能指标的装置的框图;
图5是根据一示例性实施例示出的第三种预测性能指标的装置的框图;
图6是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
首先,对本公开的应用场景进行介绍,本公开主要应用于对类似于Kubernetes(简称K8s)集群中存在着多节点的大规模容器性能(如CPU使用率、内存占用率等)需要预测的场景中,现有的容器性能监控平台更多聚焦在操作系统的性能,以及服务器硬件性能的故障预测,并且预测算法的参数选取大多采用固定值或经验值,对于不同类型的性能指标预测,需要运维人员手动反复进行调参,以适应不同集群环境或者不同类型的性能指标预测场景,使得预测效率较低,并且若采用模型参数为固定值或者经验值的预测模型来预测性能指标时还会存在预测精度差的问题,因此,在采用现有的性能预测方法对类似于K8s集群中成百上千甚至更多资源的大规模容器性能进行预测时,更是存在着预测效率低、预测精度差的问题。
进一步地,现有的性能预测方法更多聚焦在单值预测,而单值预测并不能很好的体现容器性能数据变化的动态特性,无法为运维人员提供更多的运维参考数据。
为解决上述存在的问题,本公开提供一种预测性能指标的方法、装置、存储介质和电子设备,可以先根据用户选择的待预测指标类型找到对应的预设指标预测模型,然后判断该预设指标预测模型的模型参数是否为默认模型参数(该默认模型参数可以理解为根据固定值或者经验值设置的模型初始参数),若确定该模型参数为该默认模型参数,可以基于当前要预测的性能指标类型对应的性能指标样本,实时调整预测模型中的模型参数,然后基于实时调整模型参数后的目标指标预测模型进行容器性能指标的预测,相对于采用模型参数为固定值或者经验值的预测模型来预测性能指标来说,预测结果更准确,并且还可以将性能指标预测时的模型参数确定过程融合进预测算法,借助算法自行调整模型参数,无需运维人员在预测过程中反复调整模型参数,从而能够在保证预测精度的基础上大幅提高预测效率,进一步地,本公开还可以预测该待预测指标类型在当前预测周期内的性能指标区间,相比于性能指标的单值预测,性能指标区间能够更好的反应预测结果可能的波动范围,也能更好的体现容器性能数据变化的动态特性,从而可以为运维人员提供更多的运维参考。
下面结合附图对本公开的具体实施方式进行详细说明。
图1是根据一示例性实施例示出的一种预测性能指标的方法的流程图,如图1所示,该方法包括以下步骤:
在步骤101中,获取目标节点对应的待预测指标类型。
在一种可能的应用场景中,运维人员可以通过容器性能监控平台对集群中每个节点的CPU使用率、内存占用率等容器性能进行监控,具体地,可以基于每个节点中各自对应的历史性能指标数据,通过性能指标预测模型对该节点在未来一段时间内的性能指标进行预测,而在进行性能指标的预测之前,运维人员可以在该容器性能监控平台的界面中选择需要进行性能指标预测的目标集群,或者也可以选择对任一集群中的一个或者多个节点的容器性能指标进行预测,因此,该目标节点即为运维人员设置的需要进行容器性能指标预测的任一节点,该待预测指标类型可以包括CPU使用率、内存占用率、节点负载等多种性能指标类型中的任一类型,并且,该待预测指标类型通常也由运维人员在该容器性能监控平台的界面中进行选择。
因此,在本步骤中,可以根据用户的选择获取到该目标节点,以及该目标节点对应的该待预测指标类型。
在步骤102中,获取该待预测指标类型对应的预设指标预测模型,以及该预设指标预测模型的模型参数。
其中,该预设指标预测模型可以包括基于高斯核函数构建的模型,例如,该预设指标预测模型可以为双高斯核函数模型,该模型参数可以包括与模型输入样本相关的模型样本参数,如指标输入数量(即输入样本个数)、输入样本的嵌入维数和邻近点个数等参数均为该模型样本参数,若该预设指标预测模型为高斯核函数模型,该模型参数还可以进一步包括该高斯核函数中的模型超参数,其中,该模型超参数可以包括该高斯核函数模型中的惩罚因子,以及该高斯核函数模型中核函数的宽度等参数。
在本公开中,可以预先为不同的待预测指标类型设置不同的预设指标预测模型,这里,不同的预设指标预测模型通常是指模型参数不相同的模型,模型的类型可以相同,例如模型类型都可以为双高斯核函数模型,因此,在本步骤中,在获取到用户选择的该待预测指标类型后,可以从多个预设指标预测模型中获取该待预测指标类型对应的预设指标预测模型,并进一步可以获取到该预设指标预测模型的模型参数。
在步骤103中,若该模型参数为默认模型参数,按照多个预设样本数量分别获取该待预测指标类型对应的性能指标样本。
其中,该默认模型参数可以理解为根据固定值或者经验值设置的模型初始参数,例如根据经验值或者固定值设置的模型的输入样本个数、输入样本的嵌入维数、邻近点个数、高斯核函数模型中的惩罚因子以及核函数的宽度等参数,该预设样本数量为预先设置的该输入样本个数的多个备选值(例如100、200、300等),该性能指标样本是指在历史时刻采集的该目标节点的,且容器性能指标类型为该待预测指标类型的容器性能指标的实际测量值,例如,若该待预测指标类型为CPU使用率,该性能指标样本即为在历史时刻采集的该目标节点的CPU使用率的实际测量值,另外,该性能指标样本还可以进一步包括在每个历史时刻通过预测模型预测得到的该目标节点CPU使用率的预测值。
另外,按照该多个预设样本数量分别获取该待预测指标类型对应的性能指标样本均为一组时间序列性能指标数据。
在本步骤一种可能的实现方式中,可以获取该模型参数的参数类型,然后根据该参数类型确定该模型参数是否为该默认模型参数,该参数类型可以包括默认模型参数以及非默认模型参数,该非默认模型参数可以理解为是根据与该待预测指标类型对应的历史性能指标数据,动态调整得到的模型参数,并且可以用不同的类型标识对不同的参数类型进行标记,例如,可以用0表示参数类型为默认模型参数,用1表示参数类型为非默认模型参数,这样,可以根据获取到的的模型参数类型标识信息确定该模型参数是否为该默认模型参数,此处也仅是举例说明,本公开对此不作限定。
另外,在按照该多个预设样本数量分别获取该待预测指标类型对应的性能指标样本时,可以分别获取在以当前时刻为结束时刻的历史时间段内最新的预设样本数量的采集时刻采集到的该目标节点的待预测指标类型对应的性能指标的实际测量值,以及每个采集时刻对应的该目标节点的待预测指标类型对应的性能指标的预测值。
在步骤104中,根据该性能指标样本调整该模型参数,得到目标模型参数。
在步骤105中,根据该目标模型参数从获取的性能指标样本中,确定目标性能指标样本。
在本步骤一种可能的实现方式中,可以先根据该调整模型参数后得到的最优样本输入个数从通过步骤103获取到的多组性能指标样本中选择预设样本数量为该最优样本输入个数的一组指定性能指标样本,然后进一根据调整模型参数后得到的最优嵌入维数和最优邻近的个数对该组指定性能指标样本进行调整,从而得到该目标性能指标样本。
在步骤106中,根据该目标模型参数更新该预设指标预测模型,得到目标指标预测模型。
在步骤107中,将该目标性能指标样本作为该目标指标预测模型的输入,预测该待预测指标类型在当前预测周期内的性能指标区间。
在实际的性能指标预测场景中,为减少不必要的系统资源浪费,用户可以根据实际的业务需求设置不同的预测执行频率,例如,执行频率可以包括每日定时执行、每日某几个时刻执行或者每周内某些天的某些时刻执行,这样,使得目标指标预测模型可以按照预设执行频率对该目标节点的待预测性能指标定时进行预测,可以理解的是,每次执行性能指标的预测均可视为一个预测周期,该当前预测周期即为当前时刻正在进行的预测任务所在的预测周期。
另外,该性能指标区间是指预测得到的,该目标节点在任一预设未来时刻采集到的实际性能指标值所在的数值范围,例如,预测在明天0点时采集到的目标节点的CPU使用率所在的数值范围为40%到50%,此处仅是举例说明,本公开对此不作限定。
采用上述方法,在确定预测模型的模型参数为默认模型参数时,可以基于当前要预测的性能指标类型对应的性能指标样本,实时调整预测模型中的模型参数,然后基于实时调整模型参数后的该目标指标预测模型进行容器性能指标的预测,相对于采用模型参数为固定值或者经验值的预测模型来预测性能指标来说,预测结果更准确,并且还可以将性能指标预测时的模型参数确定过程融合进预测算法,借助算法自行调整模型参数,无需运维人员在预测过程中反复调整模型参数,从而能够在保证预测精度的基础上大幅提高预测效率。
图2是根据图1所示实施例示出的一种预测性能指标的方法的流程图,如图2所示,该方法包括以下步骤:
在步骤201中,获取目标节点对应的待预测指标类型。
在一种可能的应用场景中,运维人员可以通过容器性能监控平台对集群中每个节点的CPU使用率、内存占用率等容器性能进行监控,具体地,可以基于每个节点中各自对应的历史性能指标数据,通过性能指标预测模型对该节点在未来一段时间内的性能指标进行预测,而在进行性能指标的预测之前,运维人员可以在该容器性能监控平台的界面中选择需要进行性能指标预测的目标集群,或者也可以选择对任一集群中的一个或者多个节点的容器性能指标进行预测,因此,该目标节点即为运维人员设置的需要进行容器性能指标预测的任一节点,该待预测指标类型可以包括CPU使用率、内存占用率、节点负载等多种性能指标类型中的任一类型,并且该待预测指标类型通常也由运维人员在该容器性能监控平台的界面中进行选择。
因此,在本步骤中,可以根据用户的选择获取到该目标节点,以及该目标节点对应的该待预测指标类型。
在步骤202中,获取该待预测指标类型对应的预设指标预测模型,以及该预设指标预测模型的模型参数。
其中,该预设指标预测模型可以包括基于高斯核函数构建的模型,例如,该预设指标预测模型可以为双高斯核函数模型,该模型参数可以包括与模型输入样本相关的模型样本参数,如指标输入数量(即输入样本个数)、输入样本的嵌入维数和邻近点个数等参数均为该模型样本参数,若该预设指标预测模型为高斯核函数模型,该模型参数还可以进一步包括该高斯核函数中的模型超参数,其中,该模型超参数可以包括该高斯核函数模型中的惩罚因子,以及该高斯核函数模型中核函数的宽度等参数。
在本公开中,可以预先为不同的待预测指标类型设置不同的预设指标预测模型,例如,若用户选择的该待预测指标类型为CPU使用率,与该CPU使用率对应的预设指标预测模型为模型1,若用户选择的该待预测指标类型为内存占用率,与该内存占用率对应的预设指标预测模型为模型2,这里,不同的预设指标预测模型通常是指模型参数不相同的模型,模型的类型可以相同,例如模型类型都可以为双高斯核函数模型,因此,在本步骤中,在获取到用户选择的该待预测指标类型后,可以从多个预设指标预测模型中获取该待预测指标类型对应的预设指标预测模型,并进一步可以获取到该预设指标预测模型的模型参数。
当然,用户也可以同时选择对该目标节点的CPU使用率和内存占用率同时进行预测,此时,可以分别获取到两个不同的该预设指标预测模型,并且对于两种待预测指标类型,分别选用各自对应的预设指标预测模型进行预测,每个待预测指标类型的预测任务均为一个独立的线程,两个进程可以并行执行,其它更多指标类型的预测也与之类似,每个线程的预测执行过程均相同,仅是采用的预测模型的模型参数和输入样本不同。
在步骤203中,确定该模型参数是否为默认模型参数。
其中,该默认模型参数可以理解为根据固定值或者经验值设置的模型初始参数,例如根据经验值或者固定值设置的模型的输入样本个数、输入样本的嵌入维数、邻近点个数、高斯核函数模型中的惩罚因子以及核函数的宽度等参数。
在本步骤一种可能的实现方式中,可以获取该模型参数的参数类型,然后根据该参数类型确定该模型参数是否为该默认模型参数,该参数类型可以包括默认模型参数以及非默认模型参数,该非默认模型参数可以理解为是根据与该待预测指标类型对应的历史性能指标数据,动态调整得到的模型参数,并且可以用不同的类型标识对不同的参数类型进行标记,例如,可以用0表示参数类型为默认模型参数,用1表示参数类型为非默认模型参数,这样,可以根据获取到的的模型参数类型标识信息确定该模型参数是否为该默认模型参数,此处也仅是举例说明,本公开对此不作限定。
需要说明的是,在本公开中若确定该模型参数为默认模型参数,可以确定当前预测周期内该预设指标预测模型中的模型参数为用户(即运维人员)预先设置的初始模型参数,考虑到初始的模型参数并不适用于当前的性能指标预测场景,因此,为提高模型预测的精度,同时减少运维人员的调参工作,本公开可以通过执行步骤204至213根据当前的待预测指标类型对应的性能指标样本自动调整模型参数,得到目标模型参数(可以理解为最优模型参数),然后通过执行步骤214基于调整后的模型参数更新该预设指标预测模型,得到目标指标预测模型,并通过执行步骤215根据该目标指标预测模型进行性能指标的区间预测;若确定该模型参数为非默认模型参数,则可以通过执行步骤216至步骤217获取在上一预测周期内用于预测该性能指标区间的历史指标预测模型(在上一预测周期内已经调整参数的模型),然后基于该历史指标预测模型进行性能指标的区间预测,从而提高性能指标预测的精度和效率。
因此,若确定该模型参数为默认模型参数,执行步骤204至215;若确定该模型参数为非默认模型参数,执行步骤216至217。
在步骤204中,按照多个预设样本数量分别获取该待预测指标类型对应的性能指标样本。
其中,该预设样本数量为预先设置的该输入样本个数的多个备选值(例如100、200、300等),该性能指标样本是指在历史时刻采集的该目标节点的,且容器性能指标类型为该待预测指标类型的容器性能指标的实际测量值,例如,若该待预测指标类型为CPU使用率,该性能指标样本即为在历史时刻采集的该目标节点的CPU使用率的实际测量值,另外,该性能指标样本还可以进一步包括在每个历史时刻通过预测模型预测得到的该目标节点CPU使用率的预测值,另外,按照该多个预设样本数量分别获取该待预测指标类型对应的性能指标样本均为一组时间序列性能指标数据。
在按照该多个预设样本数量分别获取该待预测指标类型对应的性能指标样本时,可以分别获取在以当前时刻为结束时刻的历史时间段内最新的预设样本数量的采集时刻采集到的该目标节点的待预测指标类型对应的性能指标的实际测量值,以及每个采集时刻对应的该目标节点的待预测指标类型对应的性能指标的预测值。
示例地,假设该多个预设样本数量包括100、200和300,该待预测指标类型为目标节点的CPU使用率,若实际监控场景中,每隔5分钟采集一次目标节点的CPU使用率,此时,可以分别获取在以当前时刻为结束时刻的历史时间段内最新的100个采集时刻、200个采集时刻以及300个采集时刻采集到的该目标节点的CPU使用率的实际测量值,以及每个采集时刻对应的该目标节点CPU使用率的预测值为该性能指标样本,上述示例也仅是举例说明,本公开对此不作限定。
在本实施例中,可以通过执行步骤205至步骤206,对性能指标预测模型的输入样本个数进行调整优化。
在步骤205中,针对每个该预设样本数量,获取该预设样本数量的性能指标样本对应的噪声。
其中,该噪声可以包括通过Gamma Test方法对不同的预设样本数量的性能指标样本进行噪声估计后得到的噪声。
在步骤206中,根据该噪声从多个该预设样本数量中确定指标输入数量。
其中,该指标输入数量为在对该待预测指标类型的性能指标进行预测时,每次输入模型的性能指标样本的最优数量。
考虑到在实际的样本输入个数的确定场景中,通常可以对不同输入样本个数的输入样本进行Gamma Test噪声估计(具体的噪声估计方法可以参考现有技术中的相关描述,在此不作赘述),然后取噪声相对稳定时的输入样本个数作为未来每次输入的样本个数,因此,在本步骤中,可以获取预设时间段内,每个预设样本数量的性能指标样本对应的噪声的变化率,将多个该预设样本数量中,该变化率小于或者等于预设变化率阈值的目标噪声对应的预设样本数量作为该指标输入数量。
在步骤207中,从该性能指标样本中,确定指标输入数量对应的第一性能指标。
示例地,假设用户选择的该待预测指标类型为目标节点的CPU使用率,在执行步骤204后,若三组该性能指标样本(每组均为一组时间序列数据),分别为在以当前时刻为结束时刻的历史时间段内最新的100个采集时刻采集的100个CPU使用率的实际测量值和预测值,在以当前时刻为结束时刻的历史时间段内最新的200个采集时刻采集的200个CPU使用率的实际测量值和预测值,以及在以当前时刻为结束时刻的历史时间段内最新的300个采集时刻采集的300个CPU使用率的实际测量值和预测值,若该指标输入数量为300,则该第一性能指标即为在以当前时刻为结束时刻的历史时间段内最新的300个采集时刻采集的300个CPU使用率的实际测量值和预测值,上述示例也仅是举例说明,本公开对此不作限定。
在步骤208中,获取第一指定参数的多个备选参数。
其中,该第一指定参数可以为输入样本的嵌入维数和临近点个数中的任一个,并且该第一指定参数也属于该模型参数中的一种参数,即该模型参数还包括目标性能指标样本的第一指定参数,该目标性能指标样本为根据该嵌入维数和临近点个数对该指标输入数量的第一性能指标进行样本重构后得到的性能指标样本,例如,可以根据嵌入维数的某个备选值,对于时间序列的第一性能指标进行相空间重构,得到相应的输入样本,该备选参数为该第一指定参数的多个预设备选值,例如,若该第一指定参数为该嵌入维数,可以根据经验预先设置多个备选嵌入维数,并且可以设置多个备选嵌入维数从小到大递增。
在步骤209中,根据第二指定参数和该第一性能指标计算得到每个备选参数对应的噪声方差。
其中,该第二指定参数为该嵌入维数和该临近点个数中的另一个,也就是说,若该第一指定参数为该嵌入维数,该第二指定参数即为该邻近个数,相反地,若该第一指定参数为该邻近个数,该第二指定参数即为该嵌入维数。
示例地,以该第一指定参数为该嵌入维数,该第二指定参数即为该邻近个数为例进行说明,首先根据经验选取h个嵌入维数的备选值,分别可以表示为b1,b2,......bh,其中bl(l=1,2,...h)表示第l个备选嵌入维数,此时,可以针对其中某一个嵌入维数的值,对于该指标输入数量的第一性能指标进行时间序列的相空间重构,得到相应的输入样本,然后按照公式(1)计算各输入样本xi(即为该第一性能指标中在第i个历史采集时刻采集到的性能指标的实际测量值)与其第k个临近点之间的平均距离:
其中,xN[i,k]是xi的第k个邻近点,M表示样本个数(即该指标输入数量),p表示该邻近点个数,并且1≤i≤M,1≤k≤p。
之后,可以按照公式(2)计算输入样本xi中各个输出yi(该输出即为该第一性能指标中在第i个历史采集时刻采集到的性能指标的预测值)之间距离的均值:
其中,yN[i,k]表示xN[i,k]的对应的输出,即在xi的第k个邻近点处采集的性能指标的预测值。
基于公式(1)和公式(2)进行最小二乘拟合得到回归方程,此时该回归方程与y轴的截距即为该噪声方差,上述示例也仅是举例说明,本公开对此不作限定。
这样,对于每个备选的嵌入维数,按照相同的方法,分别可以得到各自对应的该噪声方差,需要说明的是,在针对每个备选的嵌入维数计算噪声方差的过程中,该临近点个数p均可视为一个预设常量值,进一步地,在计算每个备选的临近点个数对应的该噪声方差的过程中,也可以按照上述类似的方法进行计算,相应地,在计算该临近点个数对应的该噪声方差的过程中,该嵌入维数也可视为一个预设常量值。
在步骤210中,将最小的该噪声方差对应的备选参数作为该目标模型参数。
在本步骤中,可以将噪声方差取最小值时所对应的备选嵌入维数确定为调整后的目标嵌入维数(即最优嵌入维数),同样地,将噪声方差取最小值时所对应的备选临近点个数确定为调整后的目标邻近点个数(即最优邻近点个数)。
还需说明的是,在调整该嵌入维数和该临近点个数的过程中,除了可以根据指标输入数量(即基于Gamma Test估计的噪声确定出的最优样本输入个数)的第一性能指标进行参数调整以外,也可以基于任一预设的输入样本个数(该任一预设的输入样本个数无需根据样本的噪声确定,仅需根据经验值预设即可)进行参数调整,本公开对此不作限定。
在步骤211中,根据该目标模型参数从获取的性能指标样本中,确定目标性能指标样本。
在本步骤中,该目标模型参数可以包括指标输入数量、该嵌入维数和该临近点个数,该目标性能指标样本为根据该嵌入维数和临近点个数对该指标输入数量的第一性能指标进行样本重构后得到的性能指标样本,例如,可以根据嵌入维数的某个备选值,对于时间序列的第一性能指标进行相空间重构,得到相应的输入性能指标样本。
在步骤212中,获取高斯核函数模型中的模型超参数。
其中,该模型超参数可以包括高斯核函数模型中的惩罚因子以及核函数的宽度。
为进一步提高对容器性能指标预测的效率,并适用于对类似于K8s集群中大量容器资源的性能指标的预测场景,在一种可能的实现方式中,该预设指标预测模型可以为该高斯核函数模型,优选地,该高斯核函数模型可以为双高斯核函数模型,这样,本公开在利用该双高斯核函数模型进行性能指标的区间预测时,可以通过两个核的相互调节很好的描述非线性系统的动态,同时还将传统预测区间构造过程中对雅克比矩阵的复杂计算转化为对核的计算,大大降低了计算成本,由于核函数的使用,使得输入样本从低维空间向高维空间映射时不需要知道其具体的变换形式,只需计算出相应核函数的值即可。
示例地,该高斯核函数模型可以表示为公式(3)
y(x)=k(x)T(K+λIN)-1t (3)
其中,k(x)是由N(N≥2)个核函数组成的向量,每个元素可以表示为:Kn(x)=k(xi,x)=exp(-||xi-x||2/2σn 2)(4);(K+λIN)-1t为最小化正则化项求得的系数矩阵。
若该高斯核函数模型为双高斯核函数模型,公式(4)中的n=1,2,即公式(3)中的k(x)=k(xi,xj)=βk1(xi,xj)+(1-β)k2(xi,xj)。
在步骤213中,根据该目标性能指标样本和该噪声调整该模型超参数,得到目标模型超参数。
在本实施例中,若该预设指标预测模型为该高斯核函数模型,在根据该高斯核函数模型进行性能指标预测之前,还需要对该高斯核函数的超参数进行优化调整,得到该目标模型超参数,如公式(3)和(4)中的所示,λ即为待调整优化的其中一个模型超参数惩罚因子,σ即为待调整优化的另一个模型超参数核函数宽度。
在本步骤中,可以根据该目标性能指标样本和该噪声计算得到该高斯核函数模型的误差函数,根据该误差函数通过共轭梯度下降算法,计算该目标模型超参数。
示例地,以该高斯核函数模型为双高斯核函数模型为例对模型超参数的优化过程进行说明,首先,可以初始化双高斯核函数中的权重β的值、惩罚因子λ的值以及核函数宽度的初始值σn,其中n=1,2,然后基于核函数的回归算法求解双高斯核函数的回归问题,得到误差函数,其中误差函数可以表示为公式(5):
e=var(train)=|var(pred)-var(noise)| (5)
其中,e表示误差函数,var(pred)表示预测误差的方差,var(noise)表示噪声的方差,对公式(5)进一步展开可以得到公式(6):
其中,tn表示该目标性能指标样本中第n个历史采集时刻采集的待预测的性能指标的实际测量值(或者理解为真实的观测值),xn表示在第n个历史采集时刻,表示估计参数,/>即为采用Gamma Test估计的噪声的方差。
之后,可以进一步计算误差函数e对各变量(如惩罚因子、核函数的宽度)的梯度,采用共轭梯度下降算法计算得到调整后的该模型超参数,上述示例也仅是举例说明,本公开对此不作限定。
在步骤214中,根据该目标模型参数和该目标模型超参数更新该预设指标预测模型,得到目标指标预测模型。
例如,可以将该预设指标预测模型中根据经验值预设的输入样本个数、嵌入维数、临近点个数、惩罚因子以及核函数的宽度,更新为调整后的各个对应参数的值,模型参数发生变化,模型即发生变化,从而得到该目标指标预测模型,此处仅是举例说明,本公开对此不作限定。
在步骤215中,将该目标性能指标样本作为该目标指标预测模型的输入,预测该待预测指标类型在当前预测周期内的性能指标区间。
在实际的性能指标预测场景中,为减少不必要的系统资源浪费,用户可以根据实际的业务需求设置不同的预测执行频率,例如,执行频率可以包括每日定时执行、每日某几个时刻执行或者每周内某些天的某些时刻执行,这样,使得目标指标预测模型可以按照预设执行频率对该目标节点的待预测性能指标定时进行预测,可以理解的是,每次执行性能指标的预测均可视为一个预测周期,该当前预测周期即为当前时刻正在进行的预测任务所在的预测周期,这里的该性能指标区间是指预测得到的,该目标节点在任一预设未来时刻采集到的实际性能指标值所在的数值范围,例如,预测在明天0点时采集到的目标节点的CPU使用率所在的数值范围为40%到50%,此处仅是举例说明,本公开对此不作限定。
需要说明的是,在执行本步骤之前,还可以根据该噪声计算得到性能指标的变化幅度值,然后根据该变化幅度值以及通过公式(3)计算得到的在某一个预设未来时刻目标节点的待预测的性能指标值,确定出该待预测指标类型在当前预测周期内的性能指标区间,例如,若通过公式(3)计算得到在明天0点时目标节点的CPU使用率的预测值为45%,根据该噪声计算得到的该变化幅度值为5%,那么该性能指标区间即为45%±5%,也就是[40%,50%],此处仅是举例说明,本公开对此不作限定。
具体地,由于实际系统都是伴随噪声和干扰的,因为该噪声导致的预测偏差可以表示为γn,并且预测模型的预测输出值和采集到的实际测量值之间也会存在偏差,可以表示为εn,因此,对于某个采集时刻采集到的目标节点的待预测指标类型的性能指标的实际测量值tn可以表示为公式(7):
其中,xn表示第n个采集时刻,为估计参数,/>表示预测得到的该目标节点对应第n个采集时刻的待预测指标类型的性能指标的预测值,具体计算过程中,可以将进行一阶泰勒展开,并基于核函数的性质及统计独立性,最终求得/>的具体数值。
基于上述计算过程,该性能指标区间可以表示为公式(8):
其中,(即为公式(3)中预测模型计算的模型输出值),公式(8)中的表示根据该噪声计算得到性能指标的变化幅度值,/>即为采用Gamma Test估计的噪声的方差,α为t分布的分为点,n-1为t分布的自由度,F为核矩阵,g为泰勒展开的余项。
还需说明的是,本公开预测该待预测指标类型在当前预测周期内的性能指标区间,相比于现有技术中性能指标的单值预测,性能指标区间能够更好的反应预测结果可能的波动范围,也能更好的体现容器性能数据变化的动态特性,从而可以为运维人员提供更多的运维参考。
另外,在执行本步骤之后,还可以基于预测得到的该待预测指标类型在当前预测周期内的性能指标区间,以及后续监控平台实际采集到在该对应时刻的待预测指标类型的实际测量值,计算模型评价指标参数(如预测区间覆盖率或者平均区间面积等评价指标),并进一步结合区间预测耗时对当前的该目标指标预测模型进行评价,示例地,假设基于预测区间覆盖率和区间预测耗时两个指标进行模型评价,考虑到若基于预测得到的该待预测指标类型在当前预测周期内的性能指标区间,以及后续监控平台实际采集到在该对应时刻的待预测指标类型的实际测量值,计算得到的该预测区间覆盖率的数值越大,表示该目标指标预测模型的预测精度越高,并且该区间预测耗时越少,表示该目标指标预测模型的预测效率越高,因此,在一种可能的实现方式中,可以预先为不同的评价指标设置对应指标阈值,若当前计算得到的该预测区间覆盖率的数值大于或者等于预设区间覆盖率阈值,并且该区间预测耗时小于或者等于预设耗时阈值,可以确定该目标指标预测模型满足预测要求,即表示在当前预测周期中调整的参数为最优参数,相反地,若上述两个评价指标中的存在至少一个指标不满足阈值条件,表示需要继续对该性能指标预测模型的参数进行优化调整,实际应用场景中,按照预设执行频率在下一个预测周期进行性能指标的预测之前,可以按照步骤204至213所述的方法,重新调整模型参数,从而保证后续预测周期中对待预测的性能指标的预测精度和预测效率。
其中,可以按照公式(9)所述的计算方法,根据预测得到的该待预测指标类型在当前预测周期内的性能指标区间,以及后续监控平台实际采集到在该对应时刻的待预测指标类型的实际测量值,计算得到该预测区间覆盖率:
其中,PICP表示该预测区间覆盖率,[Li,Ui]表示预测得到的目标节点在第i个预测时刻的待预测指标类型的该性能指标区间,Li表示该性能指标区间的下限值,Ui表示该性能指标区间的上限值,ntest表示模型输出的预测时刻的个数(该值可以根据实际预测业务需求预先设置)。
基于公式(9)给出的计算方法,若监控平台在第i个预测时刻采集到目标节点的性能指标的实际测量值位于预测模型输出的第i个预测时刻对应的该性能指标区间[Li,Ui]内,Ci值即等于1,相反地,若监控平台在第i个预测时刻采集到目标节点的性能指标的实际测量值位于预测模型输出的第i个预测时刻对应的该性能指标区间[Li,Ui]之外,Ci值即等于0,这样,可以得到每个预测时刻分别对应的Ci值,然后进行累加,即可计算得到在当前预测周期预测得到的全部预测时刻对应的该预测区间覆盖率。
在步骤216中,若该模型参数为非默认模型参数,获取在上一预测周期内用于预测该性能指标区间的历史指标预测模型。
其中,该非默认模型参数可以理解为是根据与该待预测指标类型对应的历史性能指标数据,动态调整得到的模型参数。
基于步骤203的判断,若确定该模型参数为该非默认模型参数,表示当前获取到的该预设指标预测模型即为在上一个预测周期进行参数调整后得到的该历史指标预测模型。
另外,在执行本步骤之后,可以进一步判断该历史指标预测模型是否为评价指标(即步骤216中基于预测区间覆盖率和区间预测耗时进行的模型评价)满足预设阈值要求的模型,若确定该历史指标预测模型的评价指标不满足该预设阈值要求,可以按照步骤204至213所述的方法重新进行模型参数的调整。
在步骤217中,将该目标性能指标样本作为该历史指标预测模型的输入,预测该待预测指标类型在该当前预测周期内的性能指标区间。
本步骤的具体实施方式可以参考步骤215中的相关描述,在此不再赘述。
需要说明的是,在预测得到该待预测指标类型在当前预测周期内的性能指标区间后,可以基于该性能指标区间进行告警提示,具体地,可以根据不同的业务需要预先设置不同的告警阈值,该阈值可以为一个数值或者一个区间,这样,若预测得到的该性能指标区间包含该告警阈值时,即触发告警通知任务,例如,可以通过自动触发邮件或者短信的形式将以当前时刻为起始时刻的预设未来时间段内的预测曲线,以及以当前时刻为结束时刻的预设历史时间段内的实测曲线发送给用户,以便提示该用户及时根据该预测曲线和该实时无线进行运维处理,提高用户的体验。
其中,该预测曲线包括两条曲线,一条为根据预测得到的性能指标区间的下限值拟合得到的曲线,另一条为根据预测得到的性能指标区间的上限值拟合得到的曲线,该实测曲线为根据在每个预设历史时刻分别采集得到的性能指标的实际测量值拟合得到的曲线。
采用上述方法,在对集群中的各个目标节点的容器性能机芯预测的过程中,若确定预设指标预测模型的模型参数为默认模型参数时,可以基于当前要预测的性能指标类型对应的性能指标样本,实时调整预测模型中的模型参数,然后基于实时调整模型参数后的目标指标预测模型进行容器性能指标的预测,相对于采用模型参数为固定值或者经验值的预测模型来预测性能指标来说,预测结果更准确,并且还可以将性能指标预测时的模型参数确定过程融合进预测算法,借助算法自行调整模型参数,无需运维人员在预测过程中反复调整模型参数,从而能够在保证预测精度的基础上大幅提高预测效率,进一步地,本公开还可以预测该待预测指标类型在当前预测周期内的性能指标区间,相比于性能指标的单值预测,性能指标区间能够更好的反应预测结果可能的波动范围,也能更好的体现容器性能数据变化的动态特性,从而可以为运维人员提供更多的运维参考。
图3是根据一示例性实施例示出的一种预测性能指标的装置的框图,如图3所示,该装置包括:
第一获取模块301,用于获取目标节点对应的待预测指标类型;
第二获取模块302,用于获取该待预测指标类型对应的预设指标预测模型,以及该预设指标预测模型的模型参数;
第三获取模块303,用于若该模型参数为默认模型参数,按照多个预设样本数量分别获取该待预测指标类型对应的性能指标样本;
第一参数调整模块304,用于根据该性能指标样本调整该模型参数,得到目标模型参数;
确定模块305,用于根据该目标模型参数从获取的性能指标样本中,确定目标性能指标样本;
模型更新模块306,用于根据该目标模型参数更新该预设指标预测模型,得到目标指标预测模型;
第一预测模块307,用于将该目标性能指标样本作为该目标指标预测模型的输入,预测该待预测指标类型在当前预测周期内的性能指标区间。
可选地,该模型参数包括指标输入数量;该第一参数调整模块304,用于针对每个该预设样本数量,获取该预设样本数量的性能指标样本对应的噪声;根据该噪声从多个该预设样本数量中确定该指标输入数量。
可选地,该第一参数调整模块304,用于获取预设时间段内,每个预设样本数量的性能指标样本对应的噪声的变化率;将多个该预设样本数量中,该变化率小于或者等于预设变化率阈值的目标噪声对应的预设样本数量作为该指标输入数量。
可选地,该模型参数还包括该目标性能指标样本的第一指定参数,该第一指定参数为嵌入维数和临近点个数中的任一个;该第一参数调整模块304,用于从该性能指标样本中,确定指标输入数量对应的第一性能指标;获取该第一指定参数的多个备选参数;根据第二指定参数和该第一性能指标计算得到每个备选参数对应的噪声方差,该第二指定参数为该嵌入维数和该临近点个数中的另一个;将最小的该噪声方差对应的备选参数作为该目标模型参数。
可选地,图4是根据图3所示实施例示出的一种预测性能指标的装置的框图,该预设指标预测模型为高斯核函数模型,如图4所示,该装置还包括:
第四获取模块308,用于获取高斯核函数模型中的模型超参数;
第二参数调整模块309,用于根据该目标性能指标样本和该噪声调整该模型超参数,得到目标模型超参数;
该模型更新模块306,用于根据该目标模型参数和该目标模型超参数更新该预设指标预测模型,得到目标指标预测模型。
可选地,该模型超参数包括该高斯核函数模型中的惩罚因子,以及该高斯核函数模型中核函数的宽度;该第二参数调整模块309,用于根据该目标性能指标样本和该噪声计算得到该高斯核函数模型的误差函数;根据该误差函数通过共轭梯度下降算法,计算该目标模型超参数。
可选地,图5是根据图3所示实施例示出的一种预测性能指标的装置的框图,如图5所示,该装置还包括:
第五获取模块310,用于若该模型参数为非默认模型参数,获取在上一预测周期内用于预测该性能指标区间的历史指标预测模型;
第二预测模块311,用于将该目标性能指标样本作为该历史指标预测模型的输入,预测该待预测指标类型在该当前预测周期内的性能指标区间。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
采用上述装置,在确定预测模型的模型参数为默认模型参数时,可以基于当前要预测的性能指标类型对应的性能指标样本实时调整预测模型中的模型参数,然后基于实时调整模型参数后的该目标指标预测模型进行容器性能指标的预测,相对于采用模型参数为固定值或者经验值的预测模型来预测性能指标来说,预测结果更准确,并且还可以将性能指标预测时的模型参数确定过程融合进预测算法,借助算法自行调整模型参数,无需运维人员在预测过程中反复调整模型参数,从而能够在保证预测精度的基础上大幅提高预测效率。
图6是根据一示例性实施例示出的一种电子设备600的框图。如图6所示,该电子设备600可以包括:处理器601,存储器602。该电子设备600还可以包括多媒体组件603,输入/输出(I/O)接口604,以及通信组件605中的一者或多者。
其中,处理器601用于控制该电子设备600的整体操作,以完成上述的预测性能指标的方法中的全部或部分步骤。存储器602用于存储各种类型的数据以支持在该电子设备600的操作,这些数据例如可以包括用于在该电子设备600上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件603可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器602或通过通信组件605发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口604为处理器601和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件605用于该电子设备600与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件605可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备600可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的预测性能指标的方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的预测性能指标的方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器602,上述程序指令可由电子设备600的处理器601执行以完成上述的预测性能指标的方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的预测性能指标的方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (9)
1.一种预测性能指标的方法,其特征在于,所述方法包括:
获取目标节点对应的待预测指标类型;所述目标节点包括容器集群中的任一节点;所述预测性能指标的方法用于对所述目标节点的容器性能进行预测;
获取所述待预测指标类型对应的预设指标预测模型,以及所述预设指标预测模型的模型参数;
若所述模型参数为默认模型参数,按照多个预设样本数量分别获取所述待预测指标类型对应的性能指标样本;
根据所述性能指标样本调整所述模型参数,得到目标模型参数;
根据所述目标模型参数从获取的性能指标样本中,确定目标性能指标样本;
根据所述目标模型参数更新所述预设指标预测模型,得到目标指标预测模型;
将所述目标性能指标样本作为所述目标指标预测模型的输入,预测所述待预测指标类型在当前预测周期内的性能指标区间;
所述模型参数还包括所述目标性能指标样本的第一指定参数,所述第一指定参数为嵌入维数和临近点个数中的任一个;所述根据所述性能指标样本调整所述模型参数,得到目标模型参数包括:
从所述性能指标样本中,确定指标输入数量对应的第一性能指标;
获取所述第一指定参数的多个备选参数;
根据第二指定参数和所述第一性能指标计算得到每个备选参数对应的噪声方差,所述第二指定参数为所述嵌入维数和所述临近点个数中的另一个;
将最小的所述噪声方差对应的备选参数作为所述目标模型参数。
2.根据权利要求1所述的方法,其特征在于,所述模型参数包括指标输入数量;
所述根据所述性能指标样本调整所述模型参数,得到目标模型参数包括:
针对每个所述预设样本数量,获取该预设样本数量的性能指标样本对应的噪声;
根据所述噪声从多个所述预设样本数量中确定所述指标输入数量。
3.根据权利要求2所述的方法,其特征在于,所述根据所述噪声从多个所述预设样本数量中确定所述指标输入数量包括:
获取预设时间段内,每个预设样本数量的性能指标样本对应的噪声的变化率;
将多个所述预设样本数量中,所述变化率小于或者等于预设变化率阈值的目标噪声对应的预设样本数量作为所述指标输入数量。
4.根据权利要求2所述的方法,其特征在于,所述预设指标预测模型为高斯核函数模型,在根据所述目标模型参数更新所述预设指标预测模型,得到目标指标预测模型之前,所述方法还包括:
获取高斯核函数模型中的模型超参数;
根据所述目标性能指标样本和所述噪声调整所述模型超参数,得到目标模型超参数;
所述根据所述目标模型参数更新所述预设指标预测模型,得到目标指标预测模型包括:
根据所述目标模型参数和所述目标模型超参数更新所述预设指标预测模型,得到目标指标预测模型。
5.根据权利要求4所述的方法,其特征在于,所述模型超参数包括所述高斯核函数模型中的惩罚因子,以及所述高斯核函数模型中核函数的宽度;所述根据所述目标性能指标样本和所述噪声调整所述模型超参数,得到目标模型超参数包括:
根据所述目标性能指标样本和所述噪声计算得到所述高斯核函数模型的误差函数;
根据所述误差函数通过共轭梯度下降算法,计算所述目标模型超参数。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
若所述模型参数为非默认模型参数,获取在上一预测周期内用于预测所述性能指标区间的历史指标预测模型;
将所述目标性能指标样本作为所述历史指标预测模型的输入,预测所述待预测指标类型在所述当前预测周期内的性能指标区间。
7.一种预测性能指标的装置,其特征在于,所述装置包括:
第一获取模块,用于获取目标节点对应的待预测指标类型;所述目标节点包括容器集群中的任一节点;所述预测性能指标的装置用于对所述目标节点的容器性能进行预测;
第二获取模块,用于获取所述待预测指标类型对应的预设指标预测模型,以及所述预设指标预测模型的模型参数;
第三获取模块,用于若所述模型参数为默认模型参数,按照多个预设样本数量分别获取所述待预测指标类型对应的性能指标样本;
第一参数调整模块,用于根据所述性能指标样本调整所述模型参数,得到目标模型参数;
确定模块,用于根据所述目标模型参数从获取的性能指标样本中,确定目标性能指标样本;
模型更新模块,用于根据所述目标模型参数更新所述预设指标预测模型,得到目标指标预测模型;
第一预测模块,用于将所述目标性能指标样本作为所述目标指标预测模型的输入,预测所述待预测指标类型在当前预测周期内的性能指标区间;
所述模型参数还包括所述目标性能指标样本的第一指定参数,所述第一指定参数为嵌入维数和临近点个数中的任一个;所述第一参数调整模块,用于从所述性能指标样本中,确定指标输入数量对应的第一性能指标;获取所述第一指定参数的多个备选参数;根据第二指定参数和所述第一性能指标计算得到每个备选参数对应的噪声方差,所述第二指定参数为所述嵌入维数和所述临近点个数中的另一个;将最小的所述噪声方差对应的备选参数作为所述目标模型参数。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
9.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-6中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911359324.3A CN111198808B (zh) | 2019-12-25 | 2019-12-25 | 预测性能指标的方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911359324.3A CN111198808B (zh) | 2019-12-25 | 2019-12-25 | 预测性能指标的方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111198808A CN111198808A (zh) | 2020-05-26 |
CN111198808B true CN111198808B (zh) | 2023-12-22 |
Family
ID=70746659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911359324.3A Active CN111198808B (zh) | 2019-12-25 | 2019-12-25 | 预测性能指标的方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111198808B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111934903B (zh) * | 2020-06-28 | 2023-12-12 | 上海伽易信息技术有限公司 | 一种基于时序演化基因的Docker容器故障智能预测方法 |
CN113518000B (zh) * | 2021-05-12 | 2023-04-07 | 北京奇艺世纪科技有限公司 | 在线服务的实例数量调整的方法、装置及电子设备 |
CN113657490B (zh) * | 2021-08-16 | 2022-05-31 | 沭阳县源美装饰材料有限公司 | 一种基于人工智能的门窗静音检测方法 |
CN113867972B (zh) * | 2021-12-06 | 2022-03-15 | 北京广通优云科技股份有限公司 | 一种基于内存资源和服务性能结合的容器内存负载预测方法 |
CN114489528B (zh) * | 2022-04-18 | 2022-07-08 | 中体彩印务技术有限公司 | 一种印刷设备故障监测方法及系统 |
CN117273182A (zh) * | 2022-06-08 | 2023-12-22 | 腾讯科技(深圳)有限公司 | 参数预测方法、预测服务器、预测系统及电子设备 |
CN116500426B (zh) * | 2023-06-28 | 2023-09-05 | 东莞市兆恒机械有限公司 | 一种半导体检测设备高温测试标定的方法 |
CN116627433B (zh) * | 2023-07-18 | 2024-01-09 | 鹏城实验室 | Ai处理器实时的参数预测方法、系统、设备及介质 |
CN118134061B (zh) * | 2024-05-08 | 2024-10-11 | 河北先河环保科技股份有限公司 | 水华预警方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012173283A1 (ja) * | 2011-06-16 | 2012-12-20 | 日本電気株式会社 | システム性能予測方法、情報処理装置およびその制御プログラム |
CN106909487A (zh) * | 2017-01-18 | 2017-06-30 | 北京盛世全景科技股份有限公司 | 应用于信息系统的预警方法及装置 |
CN109885452A (zh) * | 2019-01-23 | 2019-06-14 | 平安科技(深圳)有限公司 | 性能监控方法、装置及终端设备 |
CN109933852A (zh) * | 2019-02-14 | 2019-06-25 | 东软集团股份有限公司 | 预测车辆尺寸偏差的方法、装置、存储介质及电子设备 |
-
2019
- 2019-12-25 CN CN201911359324.3A patent/CN111198808B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012173283A1 (ja) * | 2011-06-16 | 2012-12-20 | 日本電気株式会社 | システム性能予測方法、情報処理装置およびその制御プログラム |
CN106909487A (zh) * | 2017-01-18 | 2017-06-30 | 北京盛世全景科技股份有限公司 | 应用于信息系统的预警方法及装置 |
CN109885452A (zh) * | 2019-01-23 | 2019-06-14 | 平安科技(深圳)有限公司 | 性能监控方法、装置及终端设备 |
CN109933852A (zh) * | 2019-02-14 | 2019-06-25 | 东软集团股份有限公司 | 预测车辆尺寸偏差的方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111198808A (zh) | 2020-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111198808B (zh) | 预测性能指标的方法、装置、存储介质及电子设备 | |
US11870700B2 (en) | Monitoring a communication network | |
CN102763048B (zh) | 在虚拟量测中使用适应性预测算法及决定何时使用适应性预测算法的方法及设备 | |
CN107480028B (zh) | 磁盘可使用的剩余时长的获取方法及装置 | |
CN106250306A (zh) | 一种适用于企业级运维自动化平台的性能预测方法 | |
CN106503841B (zh) | 指标阈值的确定方法和装置 | |
CN115391048A (zh) | 基于趋势预测的微服务实例动态水平扩展收缩方法及系统 | |
JP2017130041A (ja) | 情報処理装置、制御方法及び制御プログラム | |
CN114500339A (zh) | 一种节点带宽监测方法、装置、电子设备及存储介质 | |
TWI572179B (zh) | Mobile network base station communication prediction and resource scheduling automation analysis system and method | |
CN103646670A (zh) | 一种评估存储系统性能的方法和设备 | |
CN104254083A (zh) | 预测业务热点的方法及装置 | |
Bhorkar et al. | DeepAuto: A hierarchical deep learning framework for real-time prediction in cellular networks | |
CN116756522B (zh) | 概率预报方法、装置、存储介质及电子设备 | |
US20160191334A1 (en) | Monitoring Network Use of Resources | |
CN114866438A (zh) | 一种云架构下的异常隐患预测方法及系统 | |
CN114727309A (zh) | 网络优化方法及设备 | |
Miller et al. | Configurable integrated monitoring system for mobile devices | |
Miller et al. | Sensing-constrained power control in digital health | |
TWI850165B (zh) | 公雲帳戶的異常偵測系統和異常偵測方法 | |
CN118069460B (zh) | 一种应用性能自动监测与优化方法和系统 | |
CN111158862B (zh) | 一种虚拟机调度方法及装置 | |
CN118484359A (zh) | 分布式系统可用性评价方法、装置、计算机设备、可读存储介质和程序产品 | |
Qian et al. | Comparison of Machine Learning Algorithms on Smartphone Energy Consumption Modeling Issue Based on Real User Context Data | |
CN115190038A (zh) | 一种状态确定方法以及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |