CN116028201A - 业务系统容量的预测方法和装置 - Google Patents

业务系统容量的预测方法和装置 Download PDF

Info

Publication number
CN116028201A
CN116028201A CN202111250539.9A CN202111250539A CN116028201A CN 116028201 A CN116028201 A CN 116028201A CN 202111250539 A CN202111250539 A CN 202111250539A CN 116028201 A CN116028201 A CN 116028201A
Authority
CN
China
Prior art keywords
capacity
time
time sequence
prediction
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111250539.9A
Other languages
English (en)
Inventor
董宇
邓娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Guizhou Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Guizhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Guizhou Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202111250539.9A priority Critical patent/CN116028201A/zh
Publication of CN116028201A publication Critical patent/CN116028201A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本说明书实施例公开了一种业务系统容量的预测方法和装置,以能够准确且高效地预测业务系统的容量。所述方法包括:获取业务系统的多个容量指标在历史时间段内的时间序列数据;基于所述多个容量指标在历史时间段内的第一子时间序列数据,分别对至少两个不同类型的时间序列预测模型进行训练;基于所述多个容量指标在历史时间段内的第二子时间序列数据,分别验证训练得到的各个时间序列预测模型,以得到各个时间序列预测模型的预测误差;基于各个时间序列预测模型的预测误差,确定各个时间序列预测模型对应的预测结果权重;基于各个时间序列预测模型及对应的预测结果权重,预测所述业务系统在未来时间点的容量。

Description

业务系统容量的预测方法和装置
技术领域
本文件涉及计算机技术领域,尤其涉及一种业务系统容量的预测方法和装置。
背景技术
为了确保业务系统能够跟上业务发展并做到适时扩容、降低业务系统运维成本以及在虚拟化及云计算等的浪潮中做到科学的分配虚拟资源,往往需要预测业务系统运行所需的资源容量。目前,对于业务系统容量的预测,更多的是依赖人为经验及业务系统运行所需的组件,并未考虑业务系统的实际运行情况,这就存在预测结果不准确、预测效率低的问题,进而后续在据此进行容量规划时可能导致业务系统的容量利用率低或者短时间内需扩容。
因此,当前亟需一种能够准确且高效地预测业务系统容量的方案。
发明内容
本说明书实施例目的是提供一种业务系统容量的预测方法和装置,以能够准确且高效地预测业务系统的容量。
为了实现上述目的,本说明书实施例采用下述技术方案:
第一方面,提供一种业务系统容量的预测方法,包括:
获取业务系统的多个容量指标在历史时间段内的时间序列数据;
基于所述多个容量指标在历史时间段内的第一子时间序列数据,分别对至少两个不同类型的时间序列预测模型进行训练;
基于所述多个容量指标在历史时间段内的第二子时间序列数据,分别验证训练得到的各个时间序列预测模型,以得到各个时间序列预测模型的预测误差,所述容量指标的所述第一子时间序列数据及所述第二子时间序列数据为对所述容量指标的所述时间序列数据进行划分得到;
基于各个时间序列预测模型的预测误差,确定各个时间序列预测模型对应的预测结果权重;
基于各个时间序列预测模型及对应的预测结果权重,预测所述业务系统在未来时间点的容量。
第二方面,提供一种业务系统容量的预测装置,包括:
第一获取单元,用于获取业务系统的多个容量指标在历史时间段内的时间序列数据;
模型训练单元,用于基于所述多个容量指标在历史时间段内的第一子时间序列数据,分别对至少两个不同类型的时间序列预测模型进行训练;
模型验证单元,用于基于所述多个容量指标在历史时间段内的第二子时间序列数据,分别验证训练得到的各个时间序列预测模型,以得到各个时间序列预测模型的预测误差,所述容量指标的所述第一子时间序列数据及所述第二子时间序列数据为对所述容量指标的所述时间序列数据进行划分得到;
权重确定单元,用于基于各个时间序列预测模型的预测误差,确定各个时间序列预测模型对应的预测结果权重;
容量预测单元,用于基于各个时间序列预测模型及对应的预测结果权重,预测所述业务系统在未来时间点的容量。
第三方面,提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如第一方面所述的方法。
第四方面,提供一种计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如第一方面所述的方法。
本说明书实施例的方案,通过获取业务系统的多个容量指标在历史时间段内的时间序列数据,并将各个容量指标的时间序列数据分别划分为第一子时间序列数据和第二子时间序列数据,利用各个容量指标的第一子时间序列数据训练至少两个不同类型的时间序列预测模型,这些容量指标的时间序列数据能够从不同维度反映出业务系统的实际运行过程中的资源使用情况的变化趋势,且不同容量指标对应的时间序列数据存在差异,通过训练至少两个不同类型的时间序列预测模型,使得训练得到的各个时间序列预测模型能够利用业务系统的实际运行过程中的资源使用情况呈现的各种不同变化趋势,预测不同容量指标在未来时间点的指标值,这些未来时间点的指标值从不同维度准确反映出业务系统在未来时间点的资源使用需求情况,进而能够用于预测业务系统在未来时间点的容量;利用各个容量指标的第二子时间序列数据验证训练得到的各个时间序列预测模型,以得到各个时间序列预测模型的预测误差,进一步基于各个时间序列预测模型的预测误差,确定各个时间序列预测模型对应的预测结果权重,最后基于各个时间序列预测模型及对应的预测结果权重,预测所述业务系统在未来时间点的容量,使得在对业务系统容量进行预测时,综合考虑了各个时间序列预测模型输出的结果对业务系统容量的预测结果的影响,从而可以提升对业务系统容量的预测准确率。并且,上述对业务系统容量的预测过程是自动进行的,无需人工参与,进而可以提供对业务系统容量的预测效率。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书的一个实施例提供的一种业务系统容量的预测方法的流程示意图;
图2为本说明书的另一个实施例提供的一种业务系统容量的预测方法的流程示意图;
图3为本说明书的一个实施例提供的一种业务系统容量的预测装置的结构示意图;
图4为本说明书的一个实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件保护的范围。
本说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应理解这样使用的数据在适当情况下可以互换,以便本说明书实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,本说明书以及权利要求书中“和/或”表示所连接对象的至少其中之一,字符“/”一般表示前后关联对象是一种“或”的关系。
为更准确且高效地预测业务系统容量,以为后续进行容量规划、资源分配以及业务系统运维提供有力的数据支撑,本说明书实施例提供一种业务系统容量的预测方案,通过获取业务系统的多个容量指标在历史时间段内的时间序列数据,并将各个容量指标的时间序列数据分别划分为第一子时间序列数据和第二子时间序列数据,利用各个容量指标的第一子时间序列数据训练至少两个不同类型的时间序列预测模型,这些容量指标的时间序列数据能够从不同维度反映出业务系统的实际运行过程中的资源使用情况的变化趋势,且不同容量指标对应的时间序列数据存在差异,通过训练至少两个不同类型的时间序列预测模型,使得训练得到的各个时间序列预测模型能够利用业务系统的实际运行过程中的资源使用情况呈现的各种不同变化趋势,预测不同容量指标在未来时间点的指标值,这些未来时间点的指标值从不同维度准确反映出业务系统在未来时间点的资源使用需求情况,进而能够用于预测业务系统在未来时间点的容量;利用各个容量指标的第二子时间序列数据验证训练得到的各个时间序列预测模型,以得到各个时间序列预测模型的预测误差,进一步基于各个时间序列预测模型的预测误差,确定各个时间序列预测模型对应的预测结果权重,最后基于各个时间序列预测模型及对应的预测结果权重,预测所述业务系统在未来时间点的容量,使得在对业务系统容量进行预测时,综合考虑了各个时间序列预测模型输出的结果对业务系统容量的预测结果的影响,从而可以提升对业务系统容量的预测准确率。并且,上述对业务系统容量的预测过程是自动进行的,无需人工参与,进而可以提供对业务系统容量的预测效率。
应理解,本说明书实施例提供的业务系统容量的预测方法可以由电子设备执行或安装在电子设备中的软件执行,具体可以由终端设备或服务端设备执行。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
请参考图1,为本说明书的一个实施例提供的一种业务系统容量的预测方法的示意图,该方法可以包括:
S102,获取业务系统的多个容量指标在历史时间段内的时间序列数据。
本说明书实施例中,业务系统的容量指标是指能够反映业务系统的资源使用情况的指标。可选地,上述多个容量指标可以例如包括但不限于:中央处理器(CentralComputer Unit,CPU)利用率、内存使用率、网络IO占用率和磁盘IO占用率等。
对于业务系统的各个容量指标而言,该容量指标在历史时间段内的时间序列数据包括该容量指标在历史时间段内多个历史时间点的指标值。由此,容量指标在历史时间段内的时间序列数据能够表征该容量指标在历史时间段内的指标值变化情况,也就能从相应的维度反映出业务系统在历史时间段的资源使用变化情况,从而可以为后续进行业务系统容量的预测提供有力的数据支撑。
业务系统的资源池中包括多个应用实例和主机资源,这些都看作是实例,通过对这些实例的运行日志进行监控和分析,可以获取业务系统的各个容量指标在多个历史时间点的指标值,按照时间先后顺序对这些指标值进行排序,可以得到各个容量指标在历史时间段内的时间序列数据。
为更准确地反映业务系统在历史时间段的资源使用变化情况,以进一步提升后续进行业务系统容量预测的准确率,在一种可选的实施方式中,对于业务系统的各个容量指标而言,该容量指标在历史时间段内的时间序列数据可以包括该容量指标在历史时间段内分别对应于多种不同时间粒度的时间序列数据。相应的,如图2所示,上述S102可以包括:
S121,对于业务系统的各个容量指标,获取该容量指标在多个采样时间点的采样指标值。
示例地,采样时间点之间可以间隔30秒。
S122,分别按照多种不同的时间粒度,对该容量指标在多个采样时间点的采样指标值进行聚合处理,得到该容量指标在多种不同时间粒度下分别的时间序列数据。
为了使得到的容量指标的时间序列数据能够客观且准确地反映出容量指标的指标值的变化趋势,本说明书实施例中,上述多种不同的时间粒度可以例如包括但不限于:小时(hour)、日期(date)、季度(quarter)、周(week)、月份(month)、一周的第几天(day_of_work)、一月中的第几天(day_of_month)以及一年中的第几天(day_of_year)等。
具体而言,为提升整个对获取的采样指标值进行聚合处理的效率,可使用spark大数据技术,分别按照多种不同的时间粒度,对业务系统的资源池中不同实例的容量指标在多个采样时间点的采样指标值进行聚合处理,得到该容量指标在多种不同时间粒度下分别的时间序列数据。其中,在进行聚合处理时,可以将各个实例在各个时间粒度对应的时间点的采样指标值的均值,作为该容量指标在各个时间粒度对应的时间点的指标值。
另外,实际应用中,业务系统的各个容量指标在多种不同时间粒度下分别的时间序列数据可以存储到关系型数据库中,以便后续使用。
S104,基于多个容量指标在历史时间段内的第一子时间序列数据,分别对至少两个不同类型的时间序列预测模型进行训练。
对于各个容量指标而言,其第一子时间序列数据和第二子时间序列数据可以根据该容量指标的时间序列数据的数据量来划分,例如将该时间序列数据中的80%的时间序列数据作为第一子时间序列并将后20%的时间序列数据作为第二子时间序列。
当然,实际应用中,还可采用本领域技术人员已知的其它划分方式对各个容量指标在历史时间段内的时间序列数据进行划分,以得到各个容量指标分别在历史时间段内的第一子时间序列数据和第二子时间序列数据。
考虑到不同容量指标对应的时间序列数据的分布特征存在差异,时间序列数据的分布特征通常包括长期趋势、季节变动、循环波动以及不规则波动等一种或几种变化特征,而不同的时间序列预测模型对于不同分布特征的时间序列数据有着不同的预测效果,比如,holt-winter模型通常能够以较低的相对误差率对一些周期性、季节性的时间序列数据的趋势进行预测,自回归综合移动平均(Auto-Regressive Integrated Moving Averages,ARIMA)模型适用于平稳非白噪声序列,xgboost(Extreme Gradient Boosting)回归模型适用于根据不同时间粒度自定义的时间序列数据等。基于此,可利用多个容量指标在历史时间段内的第一子时间序列数据,分别对至少两个不同类型的时间序列预测模型进行训练。
具体而言,在一种可选的实施方式中,如图2所示,上述S104可以包括:
S141,分别提取各个容量指标在历史时间段内的时间序列数据的分布特征。
需要说明的是,对时间序列数据的分布特征的提取,可采用本领域技术人员已知的各种技术手段实现,本说明书实施例对此不作具体限定。
S142,对于各个容量指标,基于该容量指标的所述分布特征,调用与该容量指标匹配的时间序列预测模型。
本说明书实施例中,考虑到业务系统的多个容量指标的时间序列数据通常具有季节性变化、平稳非白噪声序列以及不同时间粒度自定义的时间序列等一种或多种分布特征,因此上述多种不同的时间序列预测模型可以例如包括但不限于:xgboost回归模型、ARIMA模型和holt-winter模型等。
示例地,如果该容量指标的分布特征呈现周期性、季节性的变化,则可调用holt-winter模型;如果该容量指标的分布特征呈现为平稳白噪声序列,则可调用ARIMA模型等,在此不再详细展开。
为较为方便地对实现对时间序列预测模型的调用,以进一步提高对业务系统容量的预测效率,可预先在Rest API中嵌入与各类分布特征对应的时间序列预测模型,在进行模型调用时,基于容量指标在历史时间段内的时间序列数据的分布特征,调用预先配置的Rest API,即可快速获取与该容量指标的匹配的时间序列预测模型。
S143,基于该容量指标在历史时间段内的第一子时间序列数据,训练与该容量指标匹配的时间序列预测模型。
在本说明书实施例中,不同的时间序列预测模型可采用不同方式训练得到。下面分别以如上所述的ARIMA模型、holt-winter模型和xgboost回归模型为例,详细说明各个时间序列预测模型的训练过程。
(1)ARIMA模型的训练
首先,可基于容量指标的第一子时间序列数据,创建ACF图和PACF图,并将执行差分操作的次数确定为ARIMA算法模型中的参数d;接着,基于ACF图确定ARIMA模型中的参数q,并基于PACF图确定ARIMA模型中的参数p。由此,得到初始的ARIMA算法模型,即ARIMA(p,d,q)。
(2)holt-winter模型的训练
根据遍历的方法来寻找近似周期长度t,基于SBD距离算法对比每个分片序列的相似度,若SBD距离均小于预设距离阈值(比如0.2)则可以基本得到该容量指标的时间序列数据的周期长度t,作为holt-winter模型的核心参数,得到较优的holt-winter模型。
(3)xgboost回归模型
可将容量指标的第一子时间序列中的历史时间点作为输入、将该第一子时间序列中的历史时间点对应的指标值作为输出来进行模型训练,由此得到xgboost回归模型。
需要说明的是,利用时间序列数据训练xgboost回归模型的过程为本领域技术人员已知的,在此不再详细展开。
可以理解的是,通过上述实施方式训练得到的各个时间序列预测模型,能够充分考虑不同容量指标对应的时间序列数据的分布特征之间的差异性,预测不同容量指标在未来时间点的指标值。
S106,基于多个容量指标在历史时间段内的第二子时间序列数据,分别验证训练得到的各个时间序列预测模型,以得到各个时间序列预测模型的预测误差。
本说明书实施例中,时间序列预测模型的预测误差能够反映出时间序列预测模型的准确性。
具体而言,在一种可选的实施方式中,如图2所示,上述S106可以包括:
S161,对于业务系统的各个容量指标,基于训练得到的与该容量指标匹配的时间序列预测模型,评估该容量指标在其第二子时间序列数据中的历史时间点对应的指标值。
在训练得到各个时间序列预测模型后,可分别针对业务系统的各个容量指标,将该容量指标在历史时间段内的第二子时间序列数据包含的各个历史时间点作为输入数据,输入到与该容量指标匹配的时间序列预测模型中,由此预测出该容量指标分别在这些历史时间点的指标值(以下称为“预测值”)。
S162,基于预定的损失函数、该容量指标的第二子时间序列数据及评估得到的指标值,确定与该容量指标匹配的时间序列预测模型的预测误差。
其中,损失函数用于描述时间序列预测模型在不同输入数据下的损失值。
本说明书实施例中,损失函数可以根据实际需要进行设置。可选地,为准确评估时间序列预测模型在不同输入数据下的损失值,本说明书实施例中的损失函数可以采用对称平均绝对百分比误差(Symmetric Mean Absolute Percentage Error,SMAPE),即
Figure BDA0003322306860000101
其中,n表示输入数据的数量,Ft表示对输入数据进行预测所得的预测结果,At表示输入数据对应的真实结果。
当然,本领域技术人员应理解,在其他可选的方案中,损失函数也可以采用其他任意适当的形式,且不同时间序列预测模型的损失函数可以设置为不同,以更准确地反映时间序列预测模型在不同输入数据下的损失值。
在本说明书实施例中,为提高各个时间序列预测模型的准确性和可靠性,对于业务系统的各个容量指标而言,如果与该容量指标匹配的时间序列预测模型的预测误差超过预设误差阈值,则可对该时间序列预测模型中的参数进行调整,并重复执行上述各个步骤,直到所得的预测误差小于预设误差阈值。此时得到的时间序列预测模型即可用作预测该容量指标在未来时间点的指标值。
S108,基于各个时间序列预测模型的预测误差,确定各个时间序列预测模型对应的预测结果权重。
具体地,对于各个时间序列预测模型而言,该时间序列预测模型对应的预测结果权重=1-该时间序列预测模型的预测误差SMAPE。
S110,基于各个时间序列预测模型及对应的预测结果权重,预测业务系统在未来时间点的容量。
基于与各个容量指标匹配的时间序列预测模型可以准确预测各个容量指标在未来时间点的指标值,进一步综合各个容量指标在未来时间点的指标值及与各个容量指标匹配的时间序列预测模型对应的预测结果权重,即可预测业务系统在未来时间点的容量。具体而言,在一种可选的实施方式中,如图2所示,上述S110可以包括:
S1101,对于业务系统的各个容量指标,基于该容量指标的所述分布特征,调用训练得到的与该容量指标匹配的时间序列预测模型。
为较为方便地对实现对时间序列预测模型的调用,以进一步提高对业务系统容量的预测效率,在进行模型调用时,基于容量指标在历史时间段内的时间序列数据的分布特征,调用预先配置的Rest API,即可快速获取与该容量指标的匹配的时间序列预测模型。
S1102,基于与该容量指标匹配的时间序列预测模型,预测该容量指标在未来时间点的指标值。
在本说明书实施例中,将所要预测的未来时间点作为时间序列预测模型的输入,即可得到相应容量指标在该未来时间点的指标值。
S1103,基于与各个容量指标匹配的时间序列预测模型对应的预测结果权重,对预测得到的各个容量指标在未来时间点的指标值进行加权求和,以得到业务系统在未来时间点的容量。
具体地,业务系统在未来时间点的容量可通过如下公式(1)确定:
Figure BDA0003322306860000111
其中,pred_y表示业务系统在未来时间点的容量,pred_auto_arima、pred_holtwinter和pred_xgboost分别表示与各个容量指标匹配的时间序列预测模型输出的结果,sampe1、sampe2和sampe3分别表示与各个容量指标匹配的时间序列预测模型的预测误差。
为使及时对相关人员进行容量预警提醒,另一个实施例中,本说明书实施例提供的业务系统容量的预测方法还可以包括:如果业务系统在未来时间点的容量超过预设容量阈值或者任一容量指标在未来时间点的指标值超过该容量指标对应的预设指标阈值,则输出告警信息。其中,预设容量阈值和预设指标阈值均可根据实际需要进行设置,本说明书实施例对此不作具体限定。
通过本说明书的一个或多个实施例提供的业务系统容量的预测方法,通过获取业务系统的多个容量指标在历史时间段内的时间序列数据,并将各个容量指标的时间序列数据分别划分为第一子时间序列数据和第二子时间序列数据,利用各个容量指标的第一子时间序列数据训练至少两个不同类型的时间序列预测模型,这些容量指标的时间序列数据能够从不同维度反映出业务系统的实际运行过程中的资源使用情况的变化趋势,且不同容量指标对应的时间序列数据存在差异,通过训练至少两个不同类型的时间序列预测模型,使得训练得到的各个时间序列预测模型能够利用业务系统的实际运行过程中的资源使用情况呈现的各种不同变化趋势,预测不同容量指标在未来时间点的指标值,这些未来时间点的指标值从不同维度准确反映出业务系统在未来时间点的资源使用需求情况,进而能够用于预测业务系统在未来时间点的容量;利用各个容量指标的第二子时间序列数据验证训练得到的各个时间序列预测模型,以得到各个时间序列预测模型的预测误差,进一步基于各个时间序列预测模型的预测误差,确定各个时间序列预测模型对应的预测结果权重,最后基于各个时间序列预测模型及对应的预测结果权重,预测所述业务系统在未来时间点的容量,使得在对业务系统容量进行预测时,综合考虑了各个时间序列预测模型输出的结果对业务系统容量的预测结果的影响,从而可以提升对业务系统容量的预测准确率。并且,上述对业务系统容量的预测过程是自动进行的,无需人工参与,进而可以提供对业务系统容量的预测效率。
此外,与上述图1所示的业务系统容量的预测方法相对应地,本说明书实施例还提供一种业务系统容量的预测装置。图3是本说明书实施例提供的一种业务系统容量的预测装置300的结构示意图,包括:
第一获取单元310,用于获取业务系统的多个容量指标在历史时间段内的时间序列数据;
模型训练单元320,用于基于所述多个容量指标在历史时间段内的第一子时间序列数据,分别对至少两个不同类型的时间序列预测模型进行训练;
模型验证单元330,用于基于所述多个容量指标在历史时间段内的第二子时间序列数据,分别验证训练得到的各个时间序列预测模型,以得到各个时间序列预测模型的预测误差,所述容量指标的所述第一子时间序列数据及所述第二子时间序列数据为对所述容量指标的所述时间序列数据进行划分得到;
权重确定单元340,用于基于各个时间序列预测模型的预测误差,确定各个时间序列预测模型对应的预测结果权重;
容量预测单元350,用于基于各个时间序列预测模型及对应的预测结果权重,预测所述业务系统在未来时间点的容量。
本说明书实施例提供的业务系统容量的预测装置,通过获取业务系统的多个容量指标在历史时间段内的时间序列数据,并将各个容量指标的时间序列数据分别划分为第一子时间序列数据和第二子时间序列数据,利用各个容量指标的第一子时间序列数据训练至少两个不同类型的时间序列预测模型,这些容量指标的时间序列数据能够从不同维度反映出业务系统的实际运行过程中的资源使用情况的变化趋势,且不同容量指标对应的时间序列数据存在差异,通过训练至少两个不同类型的时间序列预测模型,使得训练得到的各个时间序列预测模型能够利用业务系统的实际运行过程中的资源使用情况呈现的各种不同变化趋势,预测不同容量指标在未来时间点的指标值,这些未来时间点的指标值从不同维度准确反映出业务系统在未来时间点的资源使用需求情况,进而能够用于预测业务系统在未来时间点的容量;利用各个容量指标的第二子时间序列数据验证训练得到的各个时间序列预测模型,以得到各个时间序列预测模型的预测误差,进一步基于各个时间序列预测模型的预测误差,确定各个时间序列预测模型对应的预测结果权重,最后基于各个时间序列预测模型及对应的预测结果权重,预测所述业务系统在未来时间点的容量,使得在对业务系统容量进行预测时,综合考虑了各个时间序列预测模型输出的结果对业务系统容量的预测结果的影响,从而可以提升对业务系统容量的预测准确率。并且,上述对业务系统容量的预测过程是自动进行的,无需人工参与,进而可以提供对业务系统容量的预测效率。
可选地,所述模型训练单元320包括:
特征提取子单元,用于分别提取各个所述容量指标在历史时间段内的时间序列数据的分布特征;
第一模型调用子单元,用于对于各个所述容量指标,基于所述容量指标的所述分布特征,调用与所述容量指标匹配的时间序列预测模型;
模型训练子单元,用于基于所述容量指标的所述第一子时间序列数据,训练与所述容量指标匹配的时间序列预测模型。
可选地,所述模型验证单元330包括:
评估子单元,用于对于所述业务系统的各个容量指标,基于训练得到的与所述容量指标匹配的时间序列预测模型,评估所述容量指标在所述第二子时间序列数据中的历史时间点对应的指标值;
误差确定子单元,用于基于预定的损失函数、所述容量指标的所述第二子时间序列数据及评估得到的指标值,确定与所述容量指标匹配的时间序列预测模型的预测误差。
可选地,所述容量预测单元350包括:
第二模型调用子单元,用于对于所述业务系统的各个容量指标,基于所述容量指标的所述分布特征,调用训练得到的与所述容量指标匹配的时间序列预测模型;
容量指标值预测子单元,用于基于与所述容量指标匹配的时间序列预测模型,预测所述容量指标在未来时间点的指标值;
容量预测子单元,用于基于与各个所述容量指标匹配的时间序列预测模型对应的预测结果权重,对预测得到的各个所述容量指标在未来时间点的指标值进行加权求和,以得到所述业务系统在未来时间点的容量。
可选地,所述第一模型调用子单元具体用于:
基于所述容量指标的所述分布特征,调用预先配置的Rest API,以获取与所述容量指标匹配的时间序列预测模型,所述Rest API中嵌入有与各类分布特征对应的时间序列预测模型。
可选地,所述容量指标在历史时间段内的时间序列数据包括所述容量指标在历史时间段内分别对应于多种不同时间粒度的时间序列数据;
所述第一获取单元310包括:
采样子单元,用于对于所述业务系统的各个容量指标,获取所述容量指标在多个采样时间点的采样指标值;
聚合处理单元,用于分别按照多种不同的时间粒度,对所述容量指标在多个采样时间点的采样指标值进行聚合处理,得到所述容量指标在多种不同时间粒度下分别的时间序列数据。
可选地,所述多个容量指标包括:中央处理器CPU利用率、内存使用率、网络IO占用率以及磁盘IP占用率。
可选地,所述至少两个不同类型的时间序列预测模型包括:xgboost回归模型、自回归综合移动平均ARIMA模型和holt-winter模型。
显然,本说明书实施例的业务系统容量的预测装置可以作为上述图1所示的业务系统容量的预测方法的执行主体,因此能够实现业务系统容量的预测方法在图1所实现的功能。由于原理相同,在此不再赘述。
图4是本说明书的一个实施例电子设备的结构示意图。请参考图4,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一个双向箭头表示,但并不表示仅有一根总线或一种种型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成业务系统容量的预测装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
获取业务系统的多个容量指标在历史时间段内的时间序列数据;
基于所述多个容量指标在历史时间段内的第一子时间序列数据,分别对至少两个不同类型的时间序列预测模型进行训练;
基于所述多个容量指标在历史时间段内的第二子时间序列数据,分别验证训练得到的各个时间序列预测模型,以得到各个时间序列预测模型的预测误差,所述容量指标的所述第一子时间序列数据及所述第二子时间序列数据为对所述容量指标的所述时间序列数据进行划分得到;
基于各个时间序列预测模型的预测误差,确定各个时间序列预测模型对应的预测结果权重;
基于各个时间序列预测模型及对应的预测结果权重,预测所述业务系统在未来时间点的容量。
上述如本说明书图1所示实施例揭示的业务系统容量的预测装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
应理解,本说明书实施例的电子设备可以实现业务系统容量的预测装置在图1所示实施例的功能。由于原理相同,本说明书实施例在此不再赘述。
当然,除了软件实现方式之外,本说明书的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
本说明书实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图1所示实施例的方法,并具体用于执行以下操作:
获取业务系统的多个容量指标在历史时间段内的时间序列数据;
基于所述多个容量指标在历史时间段内的第一子时间序列数据,分别对至少两个不同类型的时间序列预测模型进行训练;
基于所述多个容量指标在历史时间段内的第二子时间序列数据,分别验证训练得到的各个时间序列预测模型,以得到各个时间序列预测模型的预测误差,所述容量指标的所述第一子时间序列数据及所述第二子时间序列数据为对所述容量指标的所述时间序列数据进行划分得到;
基于各个时间序列预测模型的预测误差,确定各个时间序列预测模型对应的预测结果权重;
基于各个时间序列预测模型及对应的预测结果权重,预测所述业务系统在未来时间点的容量。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
总之,以上所述仅为本说明书的较佳实施例而已,并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本说明书的保护范围之内。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他种型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种业务系统容量的预测方法,其特征在于,包括:
获取业务系统的多个容量指标在历史时间段内的时间序列数据;
基于所述多个容量指标在历史时间段内的第一子时间序列数据,分别对至少两个不同类型的时间序列预测模型进行训练;
基于所述多个容量指标在历史时间段内的第二子时间序列数据,分别验证训练得到的各个时间序列预测模型,以得到各个时间序列预测模型的预测误差,所述容量指标的所述第一子时间序列数据及所述第二子时间序列数据为对所述容量指标的所述时间序列数据进行划分得到;
基于各个时间序列预测模型的预测误差,确定各个时间序列预测模型对应的预测结果权重;
基于各个时间序列预测模型及对应的预测结果权重,预测所述业务系统在未来时间点的容量。
2.根据权利要求1所述的方法,其特征在于,所述基于所述多个容量指标在历史时间段内的第一子时间序列数据,分别对至少两个不同类型的时间序列预测模型进行训练,包括:
分别提取各个所述容量指标在历史时间段内的时间序列数据的分布特征;
对于各个所述容量指标,基于所述容量指标的所述分布特征,调用与所述容量指标匹配的时间序列预测模型;
基于所述容量指标的所述第一子时间序列数据,训练与所述容量指标匹配的时间序列预测模型。
3.根据权利要求2所述的方法,其特征在于,所述基于所述多个容量指标在历史时间段内的第二子时间序列数据,分别验证训练得到的各个时间序列预测模型,以得到各个时间序列预测模型的预测误差,包括:
对于所述业务系统的各个容量指标,基于训练得到的与所述容量指标匹配的时间序列预测模型,评估所述容量指标在所述第二子时间序列数据中的历史时间点对应的指标值;
基于预定的损失函数、所述容量指标的所述第二子时间序列数据及评估得到的指标值,确定与所述容量指标匹配的时间序列预测模型的预测误差。
4.根据权利要求2所述的方法,其特征在于,所述基于所述容量指标的所述分布特征,调用与所述容量指标匹配的时间序列预测模型,包括:
对于所述业务系统的各个容量指标,基于所述容量指标的所述分布特征,调用训练得到的与所述容量指标匹配的时间序列预测模型;
基于与所述容量指标匹配的时间序列预测模型,预测所述容量指标在未来时间点的指标值;
基于与各个所述容量指标匹配的时间序列预测模型对应的预测结果权重,对预测得到的各个所述容量指标在未来时间点的指标值进行加权求和,以得到所述业务系统在未来时间点的容量。
5.根据权利要求2所述的方法,其特征在于,所述基于所述容量指标的所述分布特征,调用与所述容量指标匹配的时间序列预测模型,包括:
基于所述容量指标的所述分布特征,调用预先配置的Rest API,以获取与所述容量指标匹配的时间序列预测模型,所述Rest API中嵌入有与各类分布特征对应的时间序列预测模型。
6.根据权利要求1所述的方法,其特征在于,所述容量指标在历史时间段内的时间序列数据包括所述容量指标在历史时间段内分别对应于多种不同时间粒度的时间序列数据;
所述获取业务系统的多个容量指标在历史时间段内的时间序列数据,包括:
对于所述业务系统的各个容量指标,获取所述容量指标在多个采样时间点的采样指标值;
分别按照多种不同的时间粒度,对所述容量指标在多个采样时间点的采样指标值进行聚合处理,得到所述容量指标在多种不同时间粒度下分别的时间序列数据。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述多个容量指标包括:中央处理器CPU利用率、内存使用率、网络IO占用率以及磁盘IP占用率。
8.根据权利要求1至6中任一项所述的方法,其特征在于,所述至少两个不同类型的时间序列预测模型包括:xgboost回归模型、自回归综合移动平均ARIMA模型和holt-winter模型。
9.一种业务系统容量的预测装置,其特征在于,包括:
第一获取单元,用于获取业务系统的多个容量指标在历史时间段内的时间序列数据;
模型训练单元,用于基于所述多个容量指标在历史时间段内的第一子时间序列数据,分别对至少两个不同类型的时间序列预测模型进行训练;
模型验证单元,用于基于所述多个容量指标在历史时间段内的第二子时间序列数据,分别验证训练得到的各个时间序列预测模型,以得到各个时间序列预测模型的预测误差,所述容量指标的所述第一子时间序列数据及所述第二子时间序列数据为对所述容量指标的所述时间序列数据进行划分得到;
权重确定单元,用于基于各个时间序列预测模型的预测误差,确定各个时间序列预测模型对应的预测结果权重;
容量预测单元,用于基于各个时间序列预测模型及对应的预测结果权重,预测所述业务系统在未来时间点的容量。
10.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至8中任一项所述的方法。
CN202111250539.9A 2021-10-26 2021-10-26 业务系统容量的预测方法和装置 Pending CN116028201A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111250539.9A CN116028201A (zh) 2021-10-26 2021-10-26 业务系统容量的预测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111250539.9A CN116028201A (zh) 2021-10-26 2021-10-26 业务系统容量的预测方法和装置

Publications (1)

Publication Number Publication Date
CN116028201A true CN116028201A (zh) 2023-04-28

Family

ID=86071009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111250539.9A Pending CN116028201A (zh) 2021-10-26 2021-10-26 业务系统容量的预测方法和装置

Country Status (1)

Country Link
CN (1) CN116028201A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117236653A (zh) * 2023-11-13 2023-12-15 北京国电通网络技术有限公司 基于业务量预测的车辆调度方法、装置、电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117236653A (zh) * 2023-11-13 2023-12-15 北京国电通网络技术有限公司 基于业务量预测的车辆调度方法、装置、电子设备

Similar Documents

Publication Publication Date Title
CN110188862B (zh) 用于数据处理的模型超参数的搜索方法、装置、系统
CN113918884A (zh) 业务量预测模型构建方法和业务量预测方法
CN110968688A (zh) 司法数据的处理方法及系统
CN114444827A (zh) 一种集群性能的评估方法和装置
CN110490595B (zh) 一种风险控制方法和装置
CN116028201A (zh) 业务系统容量的预测方法和装置
CN109271453B (zh) 一种数据库容量的确定方法和装置
CN113064930B (zh) 数据仓库的冷热数据识别方法、装置及电子设备
CN111800807A (zh) 一种基站用户数量告警的方法及装置
CN110928636A (zh) 虚拟机热迁移方法、装置和设备
CN110163470B (zh) 事件评估方法及装置
CN110189178B (zh) 异常交易监测方法、装置及电子设备
CN113536519A (zh) 一种生物多样性评价方法及计算机设备
CN110263618A (zh) 一种核身模型的迭代方法和装置
CN115994029A (zh) 容器资源调度方法及装置
WO2022165152A1 (en) Constructing a statistical model and evaluating model performance
CN108227038B (zh) 一种台风强度诊断方法、装置、服务器及存储介质
CN112183952A (zh) 一种指标质量的监管处理方法、装置和电子设备
CN111489163A (zh) 一种业务处理方法、装置及电子设备
CN110020670B (zh) 一种模型迭代方法、装置及设备
CN111352825B (zh) 数据接口的测试方法、装置及服务器
US11461219B2 (en) Prioritizing software bug mitigation for software on multiple systems
CN112817948B (zh) 数据检测的方法、装置、可读存储介质以及电子设备
CN116304538B (zh) 一种利用大数据评定检测结果不确定度的方法
US20170255685A1 (en) Dynamic data ingestion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination