CN117807411A - 一种服务器性能指标预测方法、装置、电子设备 - Google Patents

一种服务器性能指标预测方法、装置、电子设备 Download PDF

Info

Publication number
CN117807411A
CN117807411A CN202410227842.4A CN202410227842A CN117807411A CN 117807411 A CN117807411 A CN 117807411A CN 202410227842 A CN202410227842 A CN 202410227842A CN 117807411 A CN117807411 A CN 117807411A
Authority
CN
China
Prior art keywords
training data
server
performance index
mutation point
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410227842.4A
Other languages
English (en)
Other versions
CN117807411B (zh
Inventor
荆亚
段谊海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Jinan data Technology Co ltd
Original Assignee
Inspur Jinan data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Jinan data Technology Co ltd filed Critical Inspur Jinan data Technology Co ltd
Priority to CN202410227842.4A priority Critical patent/CN117807411B/zh
Publication of CN117807411A publication Critical patent/CN117807411A/zh
Application granted granted Critical
Publication of CN117807411B publication Critical patent/CN117807411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及计算机技术领域,公开了一种服务器性能指标预测方法、装置、电子设备,该方法包括:获取服务器的性能时序数据,并将性能时序数据作为训练数据;对训练数据进行划分,得到基础训练集和若干个验证集;对训练数据进行突变点分析,得到训练数据的突变点分析结果;根据基础训练集、若干个验证集及突变点分析结果,训练服务器的性能指标预测模型;基于性能指标预测模型,确定服务器在目标时刻的性能指标预测结果。上述方案提供的方法,通过分析训练数据的突变点,并结合突变点分析结果,训练性能指标预测模型,提高了模型训练结果的可靠性,从而提高了服务器性能指标预测结果的准确性。

Description

一种服务器性能指标预测方法、装置、电子设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种服务器性能指标预测方法、装置、电子设备。
背景技术
目前,服务器应用于各种大型运算场景,服务器的性能指标将直接影响服务器的可靠性,因此为避免服务器出现超负荷运行等情况,常常对服务器的性能指标进行预测,以根据预测结果进行服务器维护。
在相关技术中,通常是基于服务器的时序数据,采用三次指数平滑、自回归综合移动平均线算法或长短期记忆网络等主流算法,对时序数据进行拟合,以训练服务器的性能指标预测模型。
但是,服务器的时序数据一般存在突变点,突变点将直接影响算法的拟合结果,降低了模型训练结果的可靠性,不利于保证服务器性能指标预测结果的准确性。
发明内容
本申请提供一种服务器性能指标预测方法、装置、电子设备,以解决相关技术降低了模型训练结果的可靠性,不利于保证服务器性能指标预测结果的准确性等缺陷。
本申请第一个方面提供一种服务器性能指标预测方法,包括:
获取服务器的性能时序数据,并将所述性能时序数据作为训练数据;
对所述训练数据进行划分,得到基础训练集和若干个验证集;
对所述训练数据进行突变点分析,得到所述训练数据的突变点分析结果;
根据所述基础训练集、若干个验证集及突变点分析结果,训练所述服务器的性能指标预测模型;
基于所述性能指标预测模型,确定所述服务器在目标时刻的性能指标预测结果。
在一种可选的实施方式中,所述对所述训练数据进行划分,得到基础训练集和若干个验证集,包括:
根据所述训练数据的时序特征,确定训练数据划分策略;
按照所述训练数据划分策略,对所述训练数据进行划分,以使划分得到的基础训练集的发生时间早于所述验证集。
在一种可选的实施方式中,所述获取服务器的性能时序数据,包括:
获取服务器的历史性能数据;其中,所述历史性能数据包括历史CPU占用率或内存占用率;
根据所述历史性能数据的发生时间,确定服务器的性能时序数据。
在一种可选的实施方式中,所述根据所述训练数据表征的服务器性能指标变化情况,对所述训练数据进行突变点分析,得到所述训练数据的突变点分析结果,包括:
根据所述训练数据表征的服务器性能指标变化情况,构建所述训练数据对应的正秩序列和反秩序列;
根据所述正秩序列和反秩序列,确定所述训练数据的突变点分析指标;
根据所述训练数据的突变点分析指标,确定所述训练数据的突变点分析结果。
在一种可选的实施方式中,所述根据所述训练数据表征的服务器性能指标变化情况,构建所述训练数据对应的正秩序列,包括:
基于如下公式,构建所述训练数据对应的正秩序列:
其中,表示所述训练数据对应的正秩序列,/>表示所述训练数据中第/>个服务器性能指标,/>表示所述训练数据中第/>个服务器性能指标。
在一种可选的实施方式中,所述根据所述训练数据表征的服务器性能指标变化情况,构建所述训练数据对应的反秩序列,包括:
对所述训练数据进行倒序排序,得到倒序训练数据;
基于如下公式,根据所述倒序训练数据,构建所述训练数据对应的正秩序列:
其中,表示所述训练数据对应的反秩序列,/>表示所述倒序训练数据中第/>个服务器性能指标,/>表示所述倒序训练数据中第/>个服务器性能指标。
在一种可选的实施方式中,所述根据所述正秩序列和反秩序列,确定所述训练数据的突变点分析指标,包括:
根据所述正秩序列,确定所述训练数据的第一突变点统计量;
根据所述反秩序列,确定所述训练数据的第二突变点统计量;
其中,所述训练数据的突变点分析指标包括所述第一突变点统计量和第二突变点统计量。
在一种可选的实施方式中,所述根据所述正秩序列,确定所述训练数据的第一突变点统计量,包括:
基于如下公式,确定所述训练数据的第一突变点统计量:
其中,表示训练数据的第一突变点统计量,/>表示所述正秩序列,/>表示所述正秩序列的均值,/>表示所述正秩序列的方差,/>表示所述训练数据中的服务器性能指标总数。
在一种可选的实施方式中,所述根据所述反秩序列,确定所述训练数据的第二突变点统计量,包括:
基于如下公式,确定所述训练数据的第二突变点统计量:
其中,表示训练数据的第二突变点统计量,/>表示所述反秩序列,/>表示所述反秩序列的均值,/>表示所述反秩序列的方差,/>表示所述训练数据中的服务器性能指标总数。
在一种可选的实施方式中,所述根据所述训练数据的突变点分析指标,确定所述训练数据的突变点分析结果,包括:
根据所述训练数据的突变点分析指标,生成所述训练数据的突变点分析图像;
根据所述训练数据的突变点分析图像表征的突变性增减趋势,确定所述训练数据的突变点分析结果。
在一种可选的实施方式中,所述根据所述基础训练集、若干个验证集及突变点分析结果,训练所述服务器的性能指标预测模型,包括:
根据所述训练数据的突变点分析结果,构建模型目标函数;
基于所述模型目标函数,根据所述基础训练集和若干个验证集,训练所述服务器的性能指标预测模型。
在一种可选的实施方式中,所述根据所述训练数据的突变点分析结果,构建模型目标函数,包括:
根据所述训练数据的突变点分析结果,确定所述验证集的突变点分布情况;
根据所述验证集的突变点分布情况,确定各所述验证集对应的权重系数;
根据各所述验证集对应的权重系数,构建模型目标函数。
在一种可选的实施方式中,所述根据所述训练数据的突变点分析结果,确定所述验证集的突变点分布情况,包括:
根据所述训练数据的突变点分析结果,确定突变点发生时间;
根据所述突变点发生时间,判断各所述验证集是否包含突变点,以得到所述验证集的突变点分布情况。
在一种可选的实施方式中,所述根据各所述验证集对应的权重系数,构建模型目标函数,包括:
当所述验证集分为第一验证集、第二验证集和第三验证集时,根据各所述验证集对应的权重系数,构建如下模型目标函数:
其中,表示模型损失,/>表示针对第一验证集的均方根误差,/>表示针对第二验证集的均方根误差,/>表示针对第三验证集的均方根误差,/>表示第一验证集的权重系数,/>表示第二验证集的权重系数,/>表示第三验证集的权重系数。
在一种可选的实施方式中,所述基于所述模型目标函数,根据所述基础训练集和若干个验证集,训练所述服务器的性能指标预测模型,包括:
基于所述基础训练集,训练初始性能指标预测模型,得到性能指标预测模型;
基于所述模型目标函数,根据所述若干个验证集,确定所述性能指标预测模型的当前模型损失;
根据所述当前模型损失,优化所述性能指标预测模型的超参数。
在一种可选的实施方式中,所述根据所述当前模型损失,优化所述性能指标预测模型的超参数,包括:
基于预设贝叶斯优化算法,根据所述当前模型损失,确定所述当前模型损失达到最小值时所述性能指标预测模型的目标超参数。
在一种可选的实施方式中,所述方法还包括:
根据所述服务器在目标时刻的性能指标预测结果,判断所述服务器的性能指标在所述目标时刻是否达到对应的预设上限值;
在所述服务器的性能指标在所述目标时刻达到对应的预设上限值的情况下,确定所述服务器的维护策略,以使所述服务器在所述目标时刻的实际性能指标低于所述预设上限值。本申请第二个方面提供一种服务器性能指标预测装置,包括:
获取模块,用于获取服务器的性能时序数据,并将所述性能时序数据作为训练数据;
划分模块,用于对所述训练数据进行划分,得到基础训练集和若干个验证集;
分析模块,用于对所述训练数据进行突变点分析,得到所述训练数据的突变点分析结果;
训练模块,用于根据所述基础训练集、若干个验证集及突变点分析结果,训练所述服务器的性能指标预测模型;
预测模块,用于基于所述性能指标预测模型,确定所述服务器在目标时刻的性能指标预测结果。
本申请第三个方面提供一种电子设备,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请第四个方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请技术方案,具有如下优点:
本申请提供一种服务器性能指标预测方法、装置、电子设备,该方法包括:获取服务器的性能时序数据,并将性能时序数据作为训练数据;对训练数据进行划分,得到基础训练集和若干个验证集;对训练数据进行突变点分析,得到训练数据的突变点分析结果;根据基础训练集、若干个验证集及突变点分析结果,训练服务器的性能指标预测模型;基于性能指标预测模型,确定服务器在目标时刻的性能指标预测结果。上述方案提供的方法,通过分析训练数据的突变点,并结合突变点分析结果,训练性能指标预测模型,提高了模型训练结果的可靠性,从而提高了服务器性能指标预测结果的准确性。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本申请实施例基于的服务器性能指标预测系统的结构示意图;
图2为本申请实施例提供的服务器性能指标预测方法的流程示意图;
图3为本申请实施例提供的训练数据划分逻辑图;
图4为本申请实施例提供的示例性的突变点分析图像;
图5为本申请实施例提供的性能指标预测模型的训练流程示意图;
图6为本申请实施例提供的服务器性能指标预测装置的结构示意图;
图7为本申请实施例提供的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中,“多个”的含义是两个以上,除非另有明确具体的限定。
时序数据是指数据按固定周期时间记录并且存在趋势、季节等变化特征的数据列,可用于描述现象随时间变化的情况。一个基于Linux操作系统的服务器运行时,服务器会表现出各种的指标信息,这些服务器指标信息以时序数据的形式记录,通过对服务器指标时序数据的分析,能够获取一定时间服务器的工作与运行状态。例如cpu使用率反映了一段时间内系统任务繁重情况,在空闲状态下cpu使用率应该很低,在高负荷计算或处理数据时cpu使用率会变高。cpu过高的使用率可能会导致系统变慢、卡顿等情况的产生,反映了服务器资源配置的紧张,体现了系统对cpu资源提升的需求。因此,我们可以通过对服务器指标时序数据序列进行预测,以此来分析服务器未来工作趋势、资源状态,结合业务与实际应用需求,提前对系统进行评估,提出风险点,设定运维计划,以提升系统的稳定,抗风险能力。
因此,服务器时序指标预测效果的好坏,直接关系到服务器未来状态评估的准确与否。为了使模型表达效果更好,我们一般会对算法模型进行调优,以寻找适合当前时序数据的参数组。针对目前主流的时序预测算法,各算法模型有其独有或者共用的参数调优方式。时序数据预测目前主流模型以holt-winter(三次指数平滑)、arima(自回归综合移动平均线算法)、lstm(长短期记忆网络)等。其中,arima依据AIC、BIC、ADF等模型计算训练时序数据的稳定性,计算训练时序模型的最大似然值来求得最优参数。而对于holt-winters、lstm等主要依靠训练过程中依据均方根误差的极小值网格化搜索来对参数进行调优。虽然以上方法都能很好的获取训练数据的趋势、季节等特性,对训练数据进行拟合,但对于训练数据中存在的突变点的影响,因为均方根误差的局限性,则无法很好的进行规避,以至于存在训练数据拟合很好(实则是为了减少均方根误差的值,过度拟合以去适应突变点的场景,导致模型失去对整体数据趋势的把控),预测效果不理想的场景。
针对上述问题,本申请实施例提供一种服务器性能指标预测方法、装置、电子设备,该方法包括:获取服务器的性能时序数据,并将性能时序数据作为训练数据;对训练数据进行划分,得到基础训练集和若干个验证集;对训练数据进行突变点分析,得到训练数据的突变点分析结果;根据基础训练集、若干个验证集及突变点分析结果,训练服务器的性能指标预测模型;基于性能指标预测模型,确定服务器在目标时刻的性能指标预测结果。上述方案提供的方法,通过分析训练数据的突变点,并结合突变点分析结果,训练性能指标预测模型,提高了模型训练结果的可靠性,从而提高了服务器性能指标预测结果的准确性。
下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明实施例进行描述。
首先,对本申请所基于的服务器性能指标预测系统的结构进行说明:
本申请实施例提供的服务器性能指标预测方法、装置、电子设备,适用于预测服务器未来的性能指标。如图1所示,为本申请实施例基于的服务器性能指标预测系统的结构示意图,主要包括服务器、数据采集装置及服务器性能指标预测装置。具体地,可以基于数据采集装置采集服务器的性能时序数据,然后将得到的性能时序数据发送至服务器性能指标预测装置,该装置根据得到的性能时序数据进行相应的模型训练,最终可以基于该模型预测服务器未来的性能指标。
本申请实施例提供了一种服务器性能指标预测方法,用于预测服务器未来的性能指标。本申请实施例的执行主体为电子设备,比如服务器、台式电脑、笔记本电脑、平板电脑及其他可用于预测服务器未来的性能指标的电子设备。
如图2所示,为本申请实施例提供的服务器性能指标预测方法的流程示意图,该方法包括:
步骤201,获取服务器的性能时序数据,并将性能时序数据作为训练数据。
需要说明的是,性能时序数据具体可以包括服务器运行过程中的CPU使用率或硬盘占用率等性能指标。
具体地,在一实施例中,可以获取服务器的历史性能数据;其中,所述历史性能数据包括历史CPU占用率或内存占用率;根据所述历史性能数据的发生时间,确定服务器的性能时序数据。
具体地,可以采集服务器在过去一段时间内的历史性能数据,然后根据该历史性能数据发生时间的先后顺序对其进行数据排序,得到服务器的性能时序数据。
步骤202,对训练数据进行划分,得到基础训练集和若干个验证集。
具体地,通过将训练数据进行数据段划分,得到基础训练集和若干个验证集,使训练的模型能够学习到更多的时序特征。
具体地,在一实施例中,可以根据训练数据的时序特征,确定训练数据划分策略;按照训练数据划分策略,对训练数据进行划分,以使划分得到的基础训练集的发生时间早于验证集。
需要说明的是,在模型超参数优化过程中,对训练数据进行多段划分,以进行自校验(均方根误差),使得模型的能够学习到更多的时序特征,避免模型存在部分依赖过度的场景。时序模型训练数据划分指的是将训练数据进行顺序的分割,并分别除第一个分段区间(基础训练集)以外的其他各段(验证集)进行均方根误差评估,以所有误差值的总和作为当前超参数的均方根误差。
示例性的,如图3所示,为本申请实施例提供的训练数据划分逻辑图,假设训练数据包括…/>,基础训练集表示为Part1,验证集表示为Part2、Part3和Part4,其中part1数据量大于part2-part4数据量之和,part2=part3=part4数据量。对训练数据进行划分,主要是为了分割训练数据,使得在超参数调优的过程中能够兼顾邻近数据与长时间间隔数据的影响,以免模型在参数调优过程中过分偏重邻近数据的影响,忽略长周期数据的特征。
步骤203,对训练数据进行突变点分析,得到训练数据的突变点分析结果。
需要说明的是,突变点是指服务器性能指标发生骤减或骤增的时间点。
具体地,在一实施例中,可以根据训练数据表征的服务器性能指标变化情况,对训练数据进行突变点分析,得到训练数据的突变点分析结果。
具体地,可以根据训练数据表征的服务器性能指标在这段时间内的变化情况,确定训练数据的突变点分析结果。
步骤204,根据基础训练集、若干个验证集及突变点分析结果,训练服务器的性能指标预测模型。
具体地,可以采用预设的机器学习算法,根据基础训练集、若干个验证集及突变点分析结果,训练服务器的性能指标预测模型。
步骤205,基于性能指标预测模型,确定服务器在目标时刻的性能指标预测结果。
具体地,可以基于性能指标预测模型,根据服务器当前的性能指标,确定服务器在未来任一目标时刻的性能指标预测结果。
进一步地,在一实施例中,可以根据服务器在目标时刻的性能指标预测结果,判断服务器的性能指标在目标时刻是否达到对应的预设上限值;在服务器的性能指标在目标时刻达到对应的预设上限值的情况下,确定服务器的维护策略,以使服务器在目标时刻的实际性能指标低于预设上限值。
具体地,当服务器在目标时刻的性能指标预测结果表征该服务器的性能指标在目标时刻达到预设上限值时,表征该服务器目标时刻存在性能瓶颈,进而确定相应的服务器维护策略,如增加服务器运行内存等,以使在目标时刻的实际性能指标低于预设上限值。
本申请实施例提供的方法能够对时序预测中存在的超参数和模型不匹配问题进行妥善的优化,针对训练数据突变点对训练模型的影响进行抑制,显著提升了系统的适应能力,提升了系统的稳定可靠性。能够对服务器时序性能数据进行预测评估,直接的了解服务器未来的工作,负载等状态趋势,结合对趋势值的分析,能够协助运维人员更好的掌握服务器的运行情况。同时,该发明可以协助使用户更加直观的了解服务器的工作运行,增加客户对产品的了解,增强产品的竞争力。
在上述实施例的基础上,为了提高训练数据的突变点分析结果的准确性,作为一种可实施的方式,在一实施例中,根据训练数据表征的服务器性能指标变化情况,对训练数据进行突变点分析,得到训练数据的突变点分析结果,包括:
步骤2031,根据训练数据表征的服务器性能指标变化情况,构建训练数据对应的正秩序列和反秩序列;
步骤2032,根据正秩序列和反秩序列,确定训练数据的突变点分析指标;
步骤2033,根据训练数据的突变点分析指标,确定训练数据的突变点分析结果。
需要说明的是,正秩序列可以根据按照时间先后顺序排序的原始训练数据构建,反秩序列则可以根据按照时间先后倒序排序的训练数据构建。
具体地,在一实施例中,基于如下公式,构建训练数据对应的正秩序列:
其中,表示训练数据对应的正秩序列,/>表示训练数据中第/>个服务器性能指标,/>表示训练数据中第/>个服务器性能指标。
相应地,在一实施例中,在构建反秩序列时,首先对训练数据进行倒序排序,得到倒序训练数据;然后基于如下公式,根据倒序训练数据,构建训练数据对应的正秩序列:
其中,表示训练数据对应的反秩序列,/>表示倒序训练数据中第/>个服务器性能指标,/>表示倒序训练数据中第/>个服务器性能指标。
具体地,在一实施例中,可以根据正秩序列,确定训练数据的第一突变点统计量;根据反秩序列,确定训练数据的第二突变点统计量。
其中,训练数据的突变点分析指标包括第一突变点统计量和第二突变点统计量。
具体地,在一实施例中,可以基于如下公式,确定训练数据的第一突变点统计量:
其中,表示训练数据的第一突变点统计量,/>表示正秩序列,/>表示正秩序列的均值,/>表示正秩序列的方差,/>表示训练数据中的服务器性能指标总数。
相应地,在一实施例中,可以基于如下公式,确定训练数据的第二突变点统计量:
其中,表示训练数据的第二突变点统计量,/>表示反秩序列,/>表示反秩序列的均值,/>表示反秩序列的方差,/>表示训练数据中的服务器性能指标总数。
需要说明的是,本申请实施例通过采用上述非参数统计方法,确定训练数据的第一突变点统计量和第二突变点统计量,不需要训练数据遵从一定的分布,也不受少数异常值的干扰,更适用于类型变量和顺序变量,适用性强,计算也比较方便。该方法不但可以检验时间序列的变化趋势,还可以检验时间序列是否发生了突变。
具体地,在一实施例中,可以根据训练数据的突变点分析指标,生成训练数据的突变点分析图像;根据训练数据的突变点分析图像表征的突变性增减趋势,确定训练数据的突变点分析结果。
示例性的,如图4所示,为本申请实施例提供的示例性的突变点分析图像,该图像的横坐标为时间(秩序点),单位:秒(s),纵坐标为突变点统计量,单位为%,可以通过标注上下水平虚线划定检验范围,,即/>为第二突变点统计量的图像表示结果。若/><0,说明训练数据存在持续减少趋势,若值在0.05以内,则说明训练数据存在显著稳定性。/>和/>的曲线交点在水平区间[-1.96,1.96]内,则说明该训练数据存在突变性增减趋势,可依据曲线交点求得训练数据的突变点。如果交点不位于检验范围内[-1.96,1.96],说明交点没有通过0.05 的检验,所以曲线交点不具有突变性,通过对以上分析,可以确定服务器时序数据(训练数据)是否存在突变点,如果存在突变的话,则定位突变点位于如图3所示划分的4部分的哪一个part。定位规则遵循按顺序查询,先到先停规则,从最靠后的时间段进行确认。以图3举例,若part4存在突变点,则不再查询其他分段。
在上述实施例的基础上,作为一种可实施的方式,在一实施例中,根据基础训练集、若干个验证集及突变点分析结果,训练服务器的性能指标预测模型,包括:
步骤2041,根据训练数据的突变点分析结果,构建模型目标函数;
步骤2042,基于模型目标函数,根据基础训练集和若干个验证集,训练服务器的性能指标预测模型。
需要说明的是,模型目标函数具体指模型的误差计算函数,如计算模型均方根误差计算函数等,在模型训练中,可以基于该模型目标函数,以缩小模型误差为目标,根据基础训练集和若干个验证集,训练服务器的性能指标预测模型。
具体地,在一实施例中,可以根据训练数据的突变点分析结果,确定验证集的突变点分布情况;根据验证集的突变点分布情况,确定各验证集对应的权重系数;根据各验证集对应的权重系数,构建模型目标函数。
具体地,可以根据训练数据的突变点分析结果,确定是哪个验证集发生了突变点,即确定验证集的突变点分布情况,进而按照突变点分布情况,为各验证集分配权重系数,以构建符合当前突变点分布情况的模型目标函数。
具体地,在一实施例中,可以根据训练数据的突变点分析结果,确定突变点发生时间;根据突变点发生时间,判断各验证集是否包含突变点,以得到验证集的突变点分布情况。
具体地,可以根据突变点分析结果表征的突变点对应的秩序点,确定突变点发生时间,根据各验证集对应的时间区间,筛选时间区间包含突变点发生时间的验证集。
具体地,在一实施例中,当验证集分为第一验证集、第二验证集和第三验证集时,可以根据各验证集对应的权重系数,构建如下模型目标函数:
其中,表示模型损失,/>表示针对第一验证集的均方根误差,/>表示针对第二验证集的均方根误差,/>表示针对第三验证集的均方根误差,/>表示第一验证集的权重系数,/>表示第二验证集的权重系数,/>表示第三验证集的权重系数。
需要说明的是,对于以往均方根误差目标函数的定义,本申请实施例的不同点在于增加了各分段区间(验证集)的权重比,不取用以往那种对各段均方根误差求和的方式。这样能够调节各分段在当前超参数训练过程中均方根误差的权重,结合突变点的分析,有效的提升优秀验证数据段均方根误差的权重,降低突变点所在段均方根误差的权重。其中,各分割段权重的设定遵循就近原则,即验证数据越靠近当前时刻,则权重越大。例针对part1-part4部分数据,制定三组均方根误差计算组合,定义均方根误差计算规则如下表1所示:
表1 均方根误差计算规则表
具体地,分别以序列1-3构建训练集和验证集,part1+part2表示按时间顺序将part1和part2拼接。计算得出三组均方根误差值。
构建目标函数:
其中,突变点所在分割段判断依据从右往左的顺序判断,如part2和part4同时拥有突变点,依据就近影响权重较高的原则,判定突变点位于part4根据突变点所在分割段,/>满足规则如下表2所示:
表2满足规则表
具体地,在一实施例中,在模型训练过程中,可以基于基础训练集,训练初始性能指标预测模型,得到性能指标预测模型;基于模型目标函数,根据若干个验证集,确定性能指标预测模型的当前模型损失;根据当前模型损失,优化性能指标预测模型的超参数。
其中,如图5所示,为本申请实施例提供的性能指标预测模型的训练流程示意图,首先将服务器的性能时序数据作为训练数据,然后对训练数据进行数据段的划分及突变点分析,最后通过突变点定位,确定突变点分布情况,进而构建模型目标函数,最后通过进行hyperopt超参数优化,优化性能指标预测模型的超参数。
需要说明的是,超参数是指模型在训练过程中并不能直接从训练数据学到的参数。比如说随机梯度下降算法中的学习速率,出于计算复杂度和算法效率等,并不能从数据中直接学习一个比较不错的学习速度。但学习速率却又是十分重要的,较大的学习速率不易令模型收敛到较合适的较小值解,而较小的学习速率却又常常令模型的训练速度大大降低。对于像学习速率这样的超参数,通常需要在训练模型之前设定。因此,对于超参数众多的复杂模型,微调超参数就变得十分痛苦。
为了解决上述技术问题,具体地,在一实施例中,可以基于预设贝叶斯优化算法,根据当前模型损失,确定当前模型损失达到最小值时性能指标预测模型的目标超参数。
需要说明的是,贝叶斯优化算法的基本思想是给定优化的模型目标函数,通过不断地添加样本点来更新目标函数的后验分布,直到后验分布基本贴合于真实分布,以此来对模型参数进行优化,获取模型最优超参数。
具体地,可以根据采用贝叶斯优化(hyperopt)搜索模型的最佳超参数,通过上述实施例构建的模型目标函数,网格化搜索模型参数空间,寻找使模型目标函数达到最小值的超参数,依据最小化均方根误差值确定模型最优超参数,即确定当前模型损失达到最小值时性能指标预测模型的目标超参数。
本申请实施例提供的服务器性能指标预测方法,通过获取服务器的性能时序数据,并将性能时序数据作为训练数据;对训练数据进行划分,得到基础训练集和若干个验证集;对训练数据进行突变点分析,得到训练数据的突变点分析结果;根据基础训练集、若干个验证集及突变点分析结果,训练服务器的性能指标预测模型;基于性能指标预测模型,确定服务器在目标时刻的性能指标预测结果。上述方案提供的方法,通过分析训练数据的突变点,并结合突变点分析结果,训练性能指标预测模型,提高了模型训练结果的可靠性,从而提高了服务器性能指标预测结果的准确性。并且,通过对训练数据分段、分权重构建模型目标函数,分别对不同分段提供不同的权重系数,以调整各分段在整体误差中的影响度,进一步提高了模型训练结果的可靠性。
本申请实施例提供了一种服务器性能指标预测装置,用于执行上述实施例提供的服务器性能指标预测方法。
如图6所示,为本申请实施例提供的服务器性能指标预测装置的结构示意图。该服务器性能指标预测装置60包括:获取模块601、划分模块602、分析模块603、训练模块604及预测模块605。
其中,获取模块,用于获取服务器的性能时序数据,并将性能时序数据作为训练数据;划分模块,用于对训练数据进行划分,得到基础训练集和若干个验证集;分析模块,用于对训练数据进行突变点分析,得到训练数据的突变点分析结果;训练模块,用于根据基础训练集、若干个验证集及突变点分析结果,训练服务器的性能指标预测模型;预测模块,用于基于性能指标预测模型,确定服务器在目标时刻的性能指标预测结果。
关于本实施例中的服务器性能指标预测装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例提供的服务器性能指标预测装置,用于执行上述实施例提供的服务器性能指标预测方法,其实现方式与原理相同,不再赘述。
本申请实施例提供了一种电子设备,用于执行上述实施例提供的服务器性能指标预测方法。
如图7所示,为本申请实施例提供的电子设备的结构示意图。该电子设备70包括:至少一个处理器71和存储器72。
存储器存储计算机执行指令;至少一个处理器执行存储器存储的计算机执行指令,使得至少一个处理器执行如上实施例提供的服务器性能指标预测方法。
本申请实施例提供的电子设备,用于执行上述实施例提供的服务器性能指标预测方法,其实现方式与原理相同,不再赘述。
本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现如上任一实施例提供的服务器性能指标预测方法。
本申请实施例提供的包含计算机可执行指令的存储介质,可用于存储前述实施例中提供的服务器性能指标预测方法的计算机执行指令,其实现方式与原理相同,不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (20)

1.一种服务器性能指标预测方法,其特征在于,包括:
获取服务器的性能时序数据,并将所述性能时序数据作为训练数据;
对所述训练数据进行划分,得到基础训练集和若干个验证集;
对所述训练数据进行突变点分析,得到所述训练数据的突变点分析结果;
根据所述基础训练集、若干个验证集及突变点分析结果,训练所述服务器的性能指标预测模型;
基于所述性能指标预测模型,确定所述服务器在目标时刻的性能指标预测结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述训练数据进行划分,得到基础训练集和若干个验证集,包括:
根据所述训练数据的时序特征,确定训练数据划分策略;
按照所述训练数据划分策略,对所述训练数据进行划分,以使划分得到的基础训练集的发生时间早于所述验证集。
3.根据权利要求1所述的方法,其特征在于,所述获取服务器的性能时序数据,包括:
获取服务器的历史性能数据;其中,所述历史性能数据包括历史CPU占用率或内存占用率;
根据所述历史性能数据的发生时间,确定服务器的性能时序数据。
4.根据权利要求1所述的方法,其特征在于,所述根据所述训练数据表征的服务器性能指标变化情况,对所述训练数据进行突变点分析,得到所述训练数据的突变点分析结果,包括:
根据所述训练数据表征的服务器性能指标变化情况,构建所述训练数据对应的正秩序列和反秩序列;
根据所述正秩序列和反秩序列,确定所述训练数据的突变点分析指标;
根据所述训练数据的突变点分析指标,确定所述训练数据的突变点分析结果。
5.根据权利要求4所述的方法,其特征在于,所述根据所述训练数据表征的服务器性能指标变化情况,构建所述训练数据对应的正秩序列,包括:
基于如下公式,构建所述训练数据对应的正秩序列:
其中,表示所述训练数据对应的正秩序列,/>表示所述训练数据中第/>个服务器性能指标,/>表示所述训练数据中第/>个服务器性能指标。
6.根据权利要求4所述的方法,其特征在于,所述根据所述训练数据表征的服务器性能指标变化情况,构建所述训练数据对应的反秩序列,包括:
对所述训练数据进行倒序排序,得到倒序训练数据;
基于如下公式,根据所述倒序训练数据,构建所述训练数据对应的正秩序列:
其中,表示所述训练数据对应的反秩序列,/>表示所述倒序训练数据中第/>个服务器性能指标,/>表示所述倒序训练数据中第/>个服务器性能指标。
7.根据权利要求4所述的方法,其特征在于,所述根据所述正秩序列和反秩序列,确定所述训练数据的突变点分析指标,包括:
根据所述正秩序列,确定所述训练数据的第一突变点统计量;
根据所述反秩序列,确定所述训练数据的第二突变点统计量;
其中,所述训练数据的突变点分析指标包括所述第一突变点统计量和第二突变点统计量。
8.根据权利要求7所述的方法,其特征在于,所述根据所述正秩序列,确定所述训练数据的第一突变点统计量,包括:
基于如下公式,确定所述训练数据的第一突变点统计量:
其中,表示训练数据的第一突变点统计量,/>表示所述正秩序列,/>表示所述正秩序列的均值,/>表示所述正秩序列的方差,/>表示所述训练数据中的服务器性能指标总数。
9.根据权利要求7所述的方法,其特征在于,所述根据所述反秩序列,确定所述训练数据的第二突变点统计量,包括:
基于如下公式,确定所述训练数据的第二突变点统计量:
其中,表示训练数据的第二突变点统计量,/>表示所述反秩序列,/>表示所述反秩序列的均值,/>表示所述反秩序列的方差,/>表示所述训练数据中的服务器性能指标总数。
10.根据权利要求4所述的方法,其特征在于,所述根据所述训练数据的突变点分析指标,确定所述训练数据的突变点分析结果,包括:
根据所述训练数据的突变点分析指标,生成所述训练数据的突变点分析图像;
根据所述训练数据的突变点分析图像表征的突变性增减趋势,确定所述训练数据的突变点分析结果。
11.根据权利要求1所述的方法,其特征在于,所述根据所述基础训练集、若干个验证集及突变点分析结果,训练所述服务器的性能指标预测模型,包括:
根据所述训练数据的突变点分析结果,构建模型目标函数;
基于所述模型目标函数,根据所述基础训练集和若干个验证集,训练所述服务器的性能指标预测模型。
12.根据权利要求11所述的方法,其特征在于,所述根据所述训练数据的突变点分析结果,构建模型目标函数,包括:
根据所述训练数据的突变点分析结果,确定所述验证集的突变点分布情况;
根据所述验证集的突变点分布情况,确定各所述验证集对应的权重系数;
根据各所述验证集对应的权重系数,构建模型目标函数。
13.根据权利要求12所述的方法,其特征在于,所述根据所述训练数据的突变点分析结果,确定所述验证集的突变点分布情况,包括:
根据所述训练数据的突变点分析结果,确定突变点发生时间;
根据所述突变点发生时间,判断各所述验证集是否包含突变点,以得到所述验证集的突变点分布情况。
14.根据权利要求12所述的方法,其特征在于,所述根据各所述验证集对应的权重系数,构建模型目标函数,包括:
当所述验证集分为第一验证集、第二验证集和第三验证集时,根据各所述验证集对应的权重系数,构建如下模型目标函数:
其中,表示模型损失,/>表示针对第一验证集的均方根误差,/>表示针对第二验证集的均方根误差,/>表示针对第三验证集的均方根误差,/>表示第一验证集的权重系数,/>表示第二验证集的权重系数,/>表示第三验证集的权重系数。
15.根据权利要求11所述的方法,其特征在于,所述基于所述模型目标函数,根据所述基础训练集和若干个验证集,训练所述服务器的性能指标预测模型,包括:
基于所述基础训练集,训练初始性能指标预测模型,得到性能指标预测模型;
基于所述模型目标函数,根据所述若干个验证集,确定所述性能指标预测模型的当前模型损失;
根据所述当前模型损失,优化所述性能指标预测模型的超参数。
16.根据权利要求15所述的方法,其特征在于,所述根据所述当前模型损失,优化所述性能指标预测模型的超参数,包括:
基于预设贝叶斯优化算法,根据所述当前模型损失,确定所述当前模型损失达到最小值时所述性能指标预测模型的目标超参数。
17.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述服务器在目标时刻的性能指标预测结果,判断所述服务器的性能指标在所述目标时刻是否达到对应的预设上限值;
在所述服务器的性能指标在所述目标时刻达到对应的预设上限值的情况下,确定所述服务器的维护策略,以使所述服务器在所述目标时刻的实际性能指标低于所述预设上限值。
18.一种服务器性能指标预测装置,其特征在于,包括:
获取模块,用于获取服务器的性能时序数据,并将所述性能时序数据作为训练数据;
划分模块,用于对所述训练数据进行划分,得到基础训练集和若干个验证集;
分析模块,用于对所述训练数据进行突变点分析,得到所述训练数据的突变点分析结果;
训练模块,用于根据所述基础训练集、若干个验证集及突变点分析结果,训练所述服务器的性能指标预测模型;
预测模块,用于基于所述性能指标预测模型,确定所述服务器在目标时刻的性能指标预测结果。
19.一种电子设备,其特征在于,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如权利要求1至17任一项所述的方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1至17任一项所述的方法。
CN202410227842.4A 2024-02-29 2024-02-29 一种服务器性能指标预测方法、装置、电子设备 Active CN117807411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410227842.4A CN117807411B (zh) 2024-02-29 2024-02-29 一种服务器性能指标预测方法、装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410227842.4A CN117807411B (zh) 2024-02-29 2024-02-29 一种服务器性能指标预测方法、装置、电子设备

Publications (2)

Publication Number Publication Date
CN117807411A true CN117807411A (zh) 2024-04-02
CN117807411B CN117807411B (zh) 2024-06-07

Family

ID=90423874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410227842.4A Active CN117807411B (zh) 2024-02-29 2024-02-29 一种服务器性能指标预测方法、装置、电子设备

Country Status (1)

Country Link
CN (1) CN117807411B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104299A (zh) * 2019-11-29 2020-05-05 山东英信计算机技术有限公司 一种服务器性能预测方法、装置及电子设备和存储介质
CN114064366A (zh) * 2020-08-05 2022-02-18 中国移动通信有限公司研究院 故障预测方法、装置、设备及存储介质
CN115185804A (zh) * 2022-07-28 2022-10-14 苏州浪潮智能科技有限公司 服务器性能预测方法、系统、终端及存储介质
CN115934490A (zh) * 2022-12-30 2023-04-07 中电(海南)联合创新研究院有限公司 服务器性能预测模型训练方法、装置、设备及存储介质
CN116245015A (zh) * 2023-01-09 2023-06-09 四川通信科研规划设计有限责任公司 基于深度学习的数据变化趋势预测方法及系统
WO2023155426A1 (zh) * 2022-02-17 2023-08-24 北京京东振世信息技术有限公司 数据处理的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104299A (zh) * 2019-11-29 2020-05-05 山东英信计算机技术有限公司 一种服务器性能预测方法、装置及电子设备和存储介质
CN114064366A (zh) * 2020-08-05 2022-02-18 中国移动通信有限公司研究院 故障预测方法、装置、设备及存储介质
WO2023155426A1 (zh) * 2022-02-17 2023-08-24 北京京东振世信息技术有限公司 数据处理的方法和装置
CN115185804A (zh) * 2022-07-28 2022-10-14 苏州浪潮智能科技有限公司 服务器性能预测方法、系统、终端及存储介质
CN115934490A (zh) * 2022-12-30 2023-04-07 中电(海南)联合创新研究院有限公司 服务器性能预测模型训练方法、装置、设备及存储介质
CN116245015A (zh) * 2023-01-09 2023-06-09 四川通信科研规划设计有限责任公司 基于深度学习的数据变化趋势预测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
石瑾挺;孙洁香;邬惠峰;: "基于指数平滑的云服务器请求量集成预测模型", 计算机工程与设计, no. 02, 29 February 2020 (2020-02-29) *

Also Published As

Publication number Publication date
CN117807411B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
US20170372230A1 (en) Machine learning management method and machine learning management apparatus
CN112987666B (zh) 电厂机组运行优化调控方法及系统
CN108462605B (zh) 一种数据的预测方法和装置
WO2023103349A1 (zh) 负载调节方法、管理节点以及存储介质
JP2020504382A (ja) コンピュータリソースのための予測的資産最適化
CN105071983A (zh) 一种面向云计算在线业务的异常负载检测方法
CN110289994B (zh) 一种集群容量调整方法及装置
CN111291894B (zh) 超参数优化过程中的资源调度方法、装置、设备及介质
CN111327655A (zh) 多租户容器资源配额预测方法、装置及电子设备
CN114500578B (zh) 分布式存储系统负载均衡调度方法、装置及存储介质
Qazi et al. Workload prediction of virtual machines for harnessing data center resources
GB2608772A (en) Machine learning based data monitoring
CN112398700B (zh) 一种服务降级方法及装置、存储介质、计算机设备
CN112529053A (zh) 一种服务器中时序数据短期预测方法及系统
JP7481902B2 (ja) 管理計算機、管理プログラム、及び管理方法
US20180060205A1 (en) Forecasting Resource Utilization
CN116225696B (zh) 用于流处理系统的算子并发度调优方法及装置
CN115391048A (zh) 基于趋势预测的微服务实例动态水平扩展收缩方法及系统
CN110191015B (zh) 基于cpi指标的云服务性能智能预测方法和装置
CN117807411B (zh) 一种服务器性能指标预测方法、装置、电子设备
CN117010442A (zh) 设备剩余寿命预测模型训练方法、剩余寿命预测方法及系统
JP2021005387A5 (zh)
Ismaeel et al. Real-time energy-conserving vm-provisioning framework for cloud-data centers
CN108241533B (zh) 一种基于预测和分层抽样的资源池未来负载生成方法
CN116933121A (zh) 数据异常检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant