CN117768339A - 云平台资源容量管理方法及装置 - Google Patents
云平台资源容量管理方法及装置 Download PDFInfo
- Publication number
- CN117768339A CN117768339A CN202311796799.5A CN202311796799A CN117768339A CN 117768339 A CN117768339 A CN 117768339A CN 202311796799 A CN202311796799 A CN 202311796799A CN 117768339 A CN117768339 A CN 117768339A
- Authority
- CN
- China
- Prior art keywords
- resource
- resource utilization
- utilization device
- data
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 45
- 230000008569 process Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 8
- 230000005856 abnormality Effects 0.000 claims description 3
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 30
- 230000009471 action Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000003442 weekly effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种云平台资源容量管理方法及装置,该方法包括:获得云平台的历史云资源数据,历史云资源数据包含云平台中每个资源利用设备的历史利用率数据;设置资源预测模型中每个资源利用设备相关的模型参数;在对资源预测模型进行训练的过程中,调整每个资源利用设备相关的模型参数;在完成对资源预测模型的训练后,获取每个资源利用设备的当前的云资源数据;基于资源预测模型中已调整的每个资源利用设备相关的模型参数,预测每个资源利用设备在未来时间段内的资源需求量;基于每个资源利用设备的资源需求量,调整资源容量。本发明提供的方法中,可以应用资源预测模型自动对每个资源利用设备的资源需求进行预测,提高云平台资源管理的效率。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及一种云平台资源容量管理方法及装置。
背景技术
云平台的资源是一个共享的、可配置的资源池,其中包括CPU、存储、内存以及网络等对资源利用的设备。云平台的资源容量管理涉及到云平台资源的合理分配和利用。在云平台中,各个资源利用设备由于运行要求,每个时段对资源的需求量可能存在差异,因此需要合理分配每个资源利用设备的需求容量。
现有技术中分配资源容量的方式通常是需要技术人员根据设备性能进行分析,并依据分析结果进行资源容量的管理和分配,但是现有技术的资源容量管理方式需要消耗较长的时间进行计算和分析,导致对云平台资源管理的效率较低。
发明内容
有鉴于此,本发明提供一种云平台资源容量管理方法,通过该方法,可以应用资源预测模型自动对每个资源利用设备的资源需求进行预测,提高云平台资源管理的效率。
本发明还提供了一种云平台资源容量管理装置,用以保证上述方法在实际中的实现及应用。
一种云平台资源容量管理方法,包括:
获得云平台的历史云资源数据,所述历史云资源数据包含所述云平台中每个资源利用设备的历史利用率数据;
设置资源预测模型中每个所述资源利用设备相关的模型参数,所述模型参数至少包括自然回归项的阶数、差分的阶数、移动平均线的阶数以及后向算子;
在应用各个所述历史利用率数据对所述资源预测模型进行训练的过程中,调整每个所述资源利用设备相关的模型参数;
在完成对所述资源预测模型的训练后,获取每个所述资源利用设备的当前的云资源数据;
将各个所述当前利用率数据分别输入所述资源预测模型,以基于所述资源预测模型中已调整的每个所述资源利用设备相关的模型参数,预测每个所述资源利用设备在未来时间段内的资源需求量;
基于每个所述资源利用设备的资源需求量,调整每个所述资源利用设备的资源容量。
上述的方法,可选的,设置资源预测模型中每个所述资源利用设备相关的模型参数之前,还包括:
对各个所述历史利用率数据中的数据参数进行检测,并过滤异常的数据参数;
按照预设的数据标准对每个已过滤异常的数据参数的历史利用率数据中的数据参数进行标准化处理,获得完成处理的各个历史利用率数据。
上述的方法,可选的,所述设置资源预测模型中每个所述资源利用设备相关的模型参数,包括:
获得每个所述历史利用率数据对应的时间序列图,所述时间序列图用于显示其对应的历史利用率数据在历史时间段内的变化趋势;
基于各个所述时间序列图,确定每个所述历史利用率数据中各个数据参数对应的变化信息;
基于所述变化信息,设置每个所述资源利用设备相关的模型参数。
上述的方法,可选的,所述在应用各个所述历史利用率数据对所述资源预测模型进行训练的过程中,调整每个所述资源利用设备相关的模型参数,包括:
获得每个所述资源利用设备的历史利用率数据对应的容量调整策略;
执行每个所述资源利用设备对应的参数调整过程,以在结束对每个资源利用设备相关的模型参数的调整后,完成对所述资源预测模型的训练过程;
其中,所述参数调整过程,包括:
将所述资源利用设备的历史利用率输入所述资源预测模型后,获得所述资源预测模型输出的所述资源利用设备对应的预测需求量;
判断所述资源利用设备对应的预测需求量是否与该资源利用设备对应的容量调整策略相符;
当所述资源利用设备对应的预测需求量与该资源利用设备对应的容量调整策略不相符时,调整所述资源利用设备对应的模型参数,并重新将所述资源利用设备的历史利用率数据输入所述资源预测模型,直至所述资源利用设备对应的预测需求量与该资源利用设备对应的容量调整策略相符时,结束所述资源利用设备相关的模型参数的调整。
上述的方法,可选的,所述基于每个所述资源利用设备的资源需求量,调整所述云平台中每个所述资源利用设备的资源容量,包括:
当任一资源利用设备的容量不满足所述资源利用设备对应的资源需求量时,按照所述资源需求量对所述资源利用设备进行扩容处理;
当任一资源利用设备的容量超出所述资源利用设备对应的资源需求量时,按照所述资源需求量对所述资源利用设备进行缩容处理。
一种云平台资源容量管理装置,包括:
第一获取单元,用于获得云平台的历史云资源数据,所述历史云资源数据包含所述云平台中每个资源利用设备的历史利用率数据;
设置单元,用于设置资源预测模型中每个所述资源利用设备相关的模型参数,所述模型参数至少包括自然回归项的阶数、差分的阶数、移动平均线的阶数以及后向算子;
训练单元,用于在应用各个所述历史利用率数据对所述资源预测模型进行训练的过程中,调整每个所述资源利用设备相关的模型参数;
第二获取单元,用于在完成对所述资源预测模型的训练后,获取每个所述资源利用设备的当前的云资源数据;
预测单元,用于将各个所述当前利用率数据分别输入所述资源预测模型,以基于所述资源预测模型中已调整的每个所述资源利用设备相关的模型参数,预测每个所述资源利用设备在未来时间段内的资源需求量;
调整单元,用于基于每个所述资源利用设备的资源需求量,调整每个所述资源利用设备的资源容量。
上述的装置,可选的,还包括:
过滤单元,用于对各个所述历史利用率数据中的数据参数进行检测,并过滤异常的数据参数;
处理单元,用于按照预设的数据标准对每个已过滤异常的数据参数的历史利用率数据中的数据参数进行标准化处理,获得完成处理的各个历史利用率数据。
上述的装置,可选的,所述设置单元,包括:
第一获取子单元,用于获得每个所述历史利用率数据对应的时间序列图,所述时间序列图用于显示其对应的历史利用率数据在历史时间段内的变化趋势;
第一确定子单元,用于基于各个所述时间序列图,确定每个所述历史利用率数据中各个数据参数对应的变化信息;
设置子单元,用于基于所述变化信息,设置每个所述资源利用设备相关的模型参数。
上述的装置,可选的,所述训练单元,包括:
第二获取子单元,用于获得每个所述资源利用设备的历史利用率数据对应的容量调整策略;
第一调整子单元,用于执行每个所述资源利用设备对应的参数调整过程,以在结束对每个资源利用设备相关的模型参数的调整后,完成对所述资源预测模型的训练过程;
其中,所述调整子单元的参数调整过程,具体用于:
将所述资源利用设备的历史利用率输入所述资源预测模型后,获得所述资源预测模型输出的所述资源利用设备对应的预测需求量;
判断所述资源利用设备对应的预测需求量是否与该资源利用设备对应的容量调整策略相符;
当所述资源利用设备对应的预测需求量与该资源利用设备对应的容量调整策略不相符时,调整所述资源利用设备对应的模型参数,并重新将所述资源利用设备的历史利用率数据输入所述资源预测模型,直至所述资源利用设备对应的预测需求量与该资源利用设备对应的容量调整策略相符时,结束所述资源利用设备相关的模型参数的调整。
上述的装置,可选的,所述调整单元,包括:
第二调整子单元,用于当任一资源利用设备的容量不满足所述资源利用设备对应的资源需求量时,按照所述资源需求量对所述资源利用设备进行扩容处理;
第三调整子单元,用于当任一资源利用设备的容量超出所述资源利用设备对应的资源需求量时,按照所述资源需求量对所述资源利用设备进行缩容处理。
一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述的云平台资源容量管理方法。
一种电子设备,包括存储器,以及一个或者一个以上的指令,其中一个或者一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行上述的云平台资源容量管理方法。
与现有技术相比,本发明包括以下优点:
本发明提供了一种云平台资源容量管理方法,包括:获得云平台的历史云资源数据,所述历史云资源数据包含所述云平台中每个资源利用设备的历史利用率数据;设置资源预测模型中每个所述资源利用设备相关的模型参数,所述模型参数至少包括自然回归项的阶数、差分的阶数、移动平均线的阶数以及后向算子;在应用各个所述历史利用率数据对所述资源预测模型进行训练的过程中,调整每个所述资源利用设备相关的模型参数;在完成对所述资源预测模型的训练后,获取每个所述资源利用设备的当前的云资源数据;将各个所述当前利用率数据分别输入所述资源预测模型,以基于所述资源预测模型中已调整的每个所述资源利用设备相关的模型参数,预测每个所述资源利用设备在未来时间段内的资源需求量;基于每个所述资源利用设备的资源需求量,调整每个所述资源利用设备的资源容量。本发明提供的方法中,可以应用资源预测模型自动对每个资源利用设备的资源需求进行预测,提高云平台资源管理的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种云平台资源容量管理方法的方法流程图;
图2为本发明实施例提供的一种云平台资源容量管理方法的又一方法流程图;
图3为本发明实施例提供的一种云平台资源容量管理方法的再一方法流程图;
图4为本发明实施例提供的一种云平台资源容量管理装置的装置结构图;
图5为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明可用于众多通用或专用的计算装置环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本发明实施例提供了一种云平台资源容量管理方法,该方法可以应用在多种系统平台,其执行主体可以为计算机终端或各种移动设备的处理器,所述方法的方法流程图如图1所示,具体包括:
S101:获得云平台的历史云资源数据。
其中,历史云资源数据包含云平台中每个资源利用设备的历史利用率数据。云平台的各个资源利用设备包括CPU、内存以及其他存储设备等。每个资源利用设备对资源的需求不同,每个资源利用设备的历史利用率数据是在预设的历史时间段内的资源利用设备对资源的利用率。
历史利用率数据包含多个数据参数,每个数据参数为以时间为单位的利用率,例如,前一天利用率数据包含多个以分钟为时间单位的利用率或以小时为时间单位的利用率等。如果数据参数为每小时的利用率,获得的云平台在前一天内CPU利用率数据包含前一天CPU每小时的利用率。
具体的,在获得历史云资源数据后,对各个历史利用率数据进行数据清洗。数据清洗过程如下:
对各个所述历史利用率数据中的数据参数进行检测,并过滤异常的数据参数;
按照预设的数据标准对每个已过滤异常的数据参数的历史利用率数据中的数据参数进行标准化处理,获得完成处理的各个历史利用率数据。
可以理解的是,收集一段时间内的云资源利用率数据,包括CPU利用率、内存利用率等。这些数据通常以时间序列数据的形式存在,例如每小时、每天或每周的数据。
S102:设置资源预测模型中每个资源利用设备相关的模型参数。
其中,模型参数至少包括自然回归项的阶数p、差分的阶数d、移动平均线的阶数q以及后向算子B。
需要说明的是,资源预测模型具体为ARIMA模型,该模型的公式为ARIMA(p,d,q)=(1-B)d(1+B)p(1-B)q。
还需要说明的是,资源预测模型中的各个模型参数是根据历史利用率数据进行统计和计算后得出的数值。具体是从数据中提取有意义的特征,包括时间序列数据的基本统计量,如平均值、方差等,以及时间序列数据的周期性和趋势性特征。这些特征可以用于描述云平台资源的利用率的模式和变化规律。
S103:在应用各个历史利用率数据对资源预测模型进行训练的过程中,调整每个资源利用设备相关的模型参数。
可以理解的是,资源预测模型包含每个资源利用设备相关的模型参数,当向资源预测模型输入任意的资源利用设备的利用率数据时,资源预测模型基于该资源利用设备相关的模型参数对该利用率数据进行分析,预测资源利用设备在未来时间段内的资源需求量。
S104:在完成对资源预测模型的训练后,获取每个资源利用设备的当前的云资源数据。
需要说明的是,在完成对资源预测模型的训练后,该资源模型中每个资源利用设备相关的模型参数为最后一次调整的模型参数。
S105:将各个当前利用率数据分别输入资源预测模型,以基于资源预测模型中已调整的每个所述资源利用设备相关的模型参数,预测每个资源利用设备在未来时间段内的资源需求量。
需要说明的是,在进行预测的过程中,可以按照指定的预测顺序依次对每个资源利用设备进行预测。例如,获得cpu和内存的当前利用率数据,可以先应用资源预测模型预测cpu在未来时间段的资源需求量,后再ing用资源预测模型内存在未来时间段的资源需求量。
S106:基于每个资源利用设备的资源需求量,调整每个资源利用设备的资源容量。
具体的,基于每个所述资源利用设备的资源需求量,调整每个资源利用设备的资源容量,包括:
当任一资源利用设备的当前容量不满足所述资源利用设备对应的资源需求量时,按照所述资源需求量对所述资源利用设备进行扩容处理;
当任一资源利用设备的当前容量超出所述资源利用设备对应的资源需求量时,按照所述资源需求量对所述资源利用设备进行缩容处理。
其中,对资源利用设备进行扩容处理是在云平台中增加该资源利用设备的虚拟机数量;对资源利用设备进行缩容处理是在云平台中减少资源利用设备的虚拟机数量。
可选的,当资源利用设备的当前容量满足资源利用设备对应的资源需求,无需进行缩容。其中资源利用设备的当前容量与该资源利用设备当前部署的虚拟机的数量相关。
本发明实施例提供的方法中,获取云平台的历史云资源数据,根据历史云资源数据,设置每个资源利用设备相关初始的模型参数后,再利用历史云资源数据中的每个资源利用设备的历史利用率数据对模型进行训练,以改变每个资源利用设备相关的模型参数。对模型训练结束后,模型能够更好的对云平台的各个资源利用设备的资源需求进行预测,以根据预测结果确定容量管理方式。
应用本发明实施例提供的方法,可以应用资源预测模型自动对每个资源利用设备的资源需求进行预测,提高云平台资源管理的效率。
需要说明的是,对资源预测模型的训练实际是对ARIMA模型(AutoregressiveIntegrated Moving Average Model,自回归差分移动平均模型)的训练。ARIMA模型是一种基于时间序列数据分析的预测模型,可以用于预测时间序列数据的未来走势。并引用该模型的公式:ARIMA(p,d,q)=(1-B)d(1+B)p(1-B)q来进行容量管理,预测未来云资源的利用率、成本和需求。
本发明实施例提供的方法中,参考图2,设置每个所述资源利用设备相关的模型参数的具体过程如下:
S201:获得每个历史利用率数据对应的时间序列图。
其中,时间序列图用于显示其对应的历史利用率在历史时间段内的变化趋势。
S202:基于各个时间序列图,确定每个历史利用率数据中各个数据参数之间的变化信息。
可以理解的是,该变化信息可以提现出历史利用率数据的历史表现,以进一步确定数据在时间序列中过去的观测值和趋势。
S203:基于变化信息,设置每个资源利用设备相关的模型参数。
需要说明的是,在对模型进行训练之前,将要建模的时间序列数据(历史利用率数据)可视化,获得的时间序列图为自相关和偏相关图,了解其趋势或周期特征。如果存在时间特征,可对数据进行差分操作,转化为平稳时间序列。根据可视化数据图p、q的阶数拟合ARIMA模型。对模型进行诊断,检查残差序列是否是白噪声,是则选择。
其中残差序列:是由时间序列模型产生的预测误差。通过建立模型预测未来的观测值。模型给出的预测值与实际观测值之间的差异称为残差。如果模型能够很好地拟合数据,那么残差序列是一个随机序列,没有明显的模式和结构。如果有,则可能选择的模型存在缺陷,需要改进。白噪声是一种具有均匀频率分布和相等幅度的随机信号。特点就是在时域上具有随机性,每一个样本是完全独立和随机的。
本发明实施例提供的方法中,参考图3,基于各个所历史利用率数据对资源预测模型进行训练,以调整每个资源利用设备对应的初始模型参数,包括:
S301:获得每个资源利用设备的历史利用率数据对应的容量调整策略。
需要说明的是,容量调整策略可以是技术人员根据历史利用率数据预测的资源利用设备后续所需要的资源容量对应的调整策略,也可以是应用预先设置的应用程序基于该历史利用数据设置的资源利用设备后续所需要的资源容量对应的调整策略。
对于每个资源利用设备,执行如下S302至S305的过程。并在结束执行S305的过程后,执行S306。
S302:将资源利用设备的历史利用率输入资源预测模型后,获得资源预测模型输出的资源利用设备对应的预测需求量。
S303:判断资源利用设备对应的预测需求量是否与该资源利用设备对应的容量调整策略相符。
其中,当资源利用设备对应的预测需求量与该资源利用设备对应的容量调整策略不相符时,执行S304;当资源利用设备对应的预测需求量与该资源利用设备对应的容量调整策略相符时,
S304:调整资源利用设备对应的模型参数,并重新将所述资源利用设备的历史利用率数据输入资源预测模型。即,重新执行S302。
S305:结束资源利用设备相关的模型参数的调整。
S306:判断所有的资源利用设备相关的模型参数是否已调整。
其中,如果存在至少一资源利用设备相关的模型参数未调整,则返回执行S302~S305的过程,以完成下一个资源利用设备相关的模型参数的调整。如果所有的资源利用设备相关的模型参数已调整,执行S307。
S307:完成对资源预测模型的训练过程。
本发明实施例提供的方法中,对ARIMA模型进行训练的过程可以包括如下内容:
1、数据收集。首先,收集一段时间内的云资源利用率数据,包括CPU利用率、内存利用率等。这些数据通常以时间序列数据的形式存在,例如每小时、每天或每周的数据。
2、数据预处理。
对收集到的数据进行清洗、过滤和标准化处理,以提高模型的准确性和可靠性。例如,可以去除一些异常数据,将数据进行比例尺标准化,使得不同量级的数据具有相同的尺度。
3、特征工程。从数据中提取有意义的特征,包括时间序列数据的基本统计量,如平均值、方差等,以及时间序列数据的周期性和趋势性特征。这些特征可以用于描述云资源利用率的模式和变化规律。
4、模型训练。选择ARIMA模型进行训练。根据数据的特征和历史表现,选择合适的ARIMA模型参数,例如自回归项p、差分阶数d和移动平均项q。然后使用训练数据来训练模型,得到模型的参数估计值。
5、模型评估。使用交叉验证等技术对训练好的ARIMA模型进行评估,比较预测结果和实际数据的差异,计算预测误差和精度等指标,以评估模型的准确性和可靠性。
6、预测应用。使用训练好的ARIMA模型进行预测。将实时性能数据输入到模型中,得到未来一段时间内的云资源利用率预测值。根据预测值,可以制定相应的决策,例如调整虚拟机的配置、增加或减少云资源的数量等,以优化云资源的利用效率和成本。
其中,对p、d、q和B的取值可以有以下示例:
假设某系统收集了最近一年的云资源利用率数据,包括每小时的CPU利用率和内存利用率。这些数据可以作为时间序列数据进行ARIMA模型的训练和预测。
在训练数据的过程中,发现CPU利用率的自相关性较强,而内存利用率的随机性较强。因此,选择以下参数进行ARIMA模型的训练:
p=1:自回归项的阶数为1,表示CPU利用率过去一小时的数据对现在的影响较大。
d=1:差分的阶数为1,表示需要对内存利用率进行一次差分,以使其平稳。
q=0:移动平均项的阶数为0,表示内存利用率的随机性较小,不需要使用移动平均模型进行预测。
这个ARIMA模型的公式为ARIMA(1,1,0),即(1-B)(1)(1-B)%(1)(1-B)。
根据ARIMA模型公式的取值,可以初·步判断云资源的增加和减少。一般来说,当预测结果为正数时,可以认为云资源需求量会增加;当预测结果为负数时,可以认为云资源需求量会减少。
ARIMA模型的参数取值范围需要根据具体情况进行判断,一般来说,p、d、q的取值范围可以是0到任意正整数。
p:自回归项的阶数,表示时间序列数据的自相关性。如果p的取值接近0,则说明时间序列数据的自相关性较弱,可以认为时间序列数据是随机的;如果p的取值较大,则说明时间序列数据的自相关性较强,可以认为时间序列数据存在一定的趋势或周期性。
d:差分的阶数,表示时间序列数据的平稳性。如果d的取值接近0,则说明时间序列数据已经比较平稳;如果d的取值较大,则说明时间序列数据需要进行多次差分才能达到平稳状态。
q:移动平均项的阶数,表示时间序列数据的随机性。如果q的取值接近0,则说明时间序列数据的随机性较小,可以认为时间序列数据存在一定的趋势或周期性;如果q的取值较大,则说明时间序列数据的随机性较强,可以认为时间序列数据是随机的。
根据ARIMA模型的参数取值范围,可以初步判断云资源的增加和减少。一般来说,当p、d、q的取值较大时,可以认为云资源需求量会增加;当p、d、q的取值较小时,可以认为云资源需求量会减少。但是,具体的结论还需要结合实际情况进行综合判断,不能单纯地根据ARIMA模型的参数取值范围得出结论。同时需要注意的是,ARIMA模型只是预测云资源需求量的一个参考模型,实际情况下还需要结合其他因素进行综合判断。
在ARIMA模型中,B是一个后向算子,用于对时间序列数据进行移动,即将其向右移动一位。B的取值只有0和1两种情况。
当B=0时,表示不对时间序列数据进行移动,即不进行后向移动。这种情况下,ARIMA模型退化为ARIMA(p,d,q),即只有自回归项和移动平均项的模型。
当B=1时,表示对时间序列数据进行一次后向移动,即将时间序列数据向右移动一位。这种情况下,ARIMA模型退化为ARIMA(p-1,d+1,q)。
因此,B的取值需要根据具体的情况进行选择。通常情况下,在确定ARIMA模型的参数时,需要通过对时间序列数据进行自相关图和偏自相关图的分析,以及对数据的基本特征的了解,来确定B的取值。
例如,如果时间序列数据的自相关性较强,即存在明显的趋势或周期性,则可以选择较小的p值和较大的d值,以消除趋势或周期性,并使时间序列数据平稳。此时,B的取值可以取0或1,具体取决于模型的复杂度和预测精度要求。
另外,如果时间序列数据的随机性较强,即数据比较随机,没有明显的趋势或周期性,则可以选择较小的d值和较大的q值,以增加模型的灵活性。此时,B的取值也可以取0或1,具体取决于模型的复杂度和预测精度要求。
总之,B的取值需要根据具体情况进行选择,需要根据数据的特点和对模型的复杂度和预测精度的要求进行综合考虑。
具体来说,ARIMA模型可以根据历史云资源使用情况来预测未来云资源的需求,为云平台的资源分配和调度提供参考。例如,当预测到未来一段时间内云资源需求量会增加时,云平台可以提前增加相应的云资源,避免因资源不足而影响业务运行;当预测到未来一段时间内云资源需求量会减少时,云平台可以提前减少相应的云资源,避免因资源浪费而产生额外的成本。
同时,ARIMA模型还可以用于监控和调度云资源的使用情况。例如,当发现某个虚拟机的CPU使用率异常升高时,ARIMA模型可以及时发出报警提示,并自动调度其他虚拟机来分担负载,保证业务的正常运行;当发现某个存储设备的I/O使用率异常升高时,ARIMA模型可以及时发出报警提示,并自动调度其他存储设备来分担负载,避免因存储设备过载而影响业务运行。
上述各个实施例的具体实施过程及其衍生方式,均在本发明的保护范围之内。
与图1所述的方法相对应,本发明实施例还提供了一种云平台资源容量管理装置,用于对图1中方法的具体实现,本发明实施例提供的云平台资源容量管理装置可以应用计算机终端或各种移动设备中,其结构示意图如图4所示,具体包括:
第一获取单元401,用于获得云平台的历史云资源数据,所述历史云资源数据包含所述云平台中每个资源利用设备的历史利用率数据;
设置单元402,用于设置资源预测模型中每个所述资源利用设备相关的模型参数,所述模型参数至少包括自然回归项的阶数、差分的阶数、移动平均线的阶数以及后向算子;
训练单元403,用于在应用各个所述历史利用率数据对所述资源预测模型进行训练的过程中,调整每个所述资源利用设备相关的模型参数;
第二获取单元404,用于在完成对所述资源预测模型的训练后,获取每个所述资源利用设备的当前的云资源数据;
预测单元405,用于将各个所述当前利用率数据分别输入所述资源预测模型,以基于所述资源预测模型中已调整的每个所述资源利用设备相关的模型参数,预测每个所述资源利用设备在未来时间段内的资源需求量;
调整单元406,用于基于每个所述资源利用设备的资源需求量,调整每个所述资源利用设备的资源容量。
本发明实施例提供的装置中,还包括:
过滤单元,用于对各个所述历史利用率数据中的数据参数进行检测,并过滤异常的数据参数;
处理单元,用于按照预设的数据标准对每个已过滤异常的数据参数的历史利用率数据中的数据参数进行标准化处理,获得完成处理的各个历史利用率数据。
本发明实施例提供的装置中,所述设置单元402,包括:
第一获取子单元,用于获得每个所述历史利用率数据对应的时间序列图,所述时间序列图用于显示其对应的历史利用率数据在历史时间段内的变化趋势;
第一确定子单元,用于基于各个所述时间序列图,确定每个所述历史利用率数据中各个数据参数对应的变化信息;
设置子单元,用于基于所述变化信息,设置每个所述资源利用设备相关的模型参数。
本发明实施例提供的装置中,所述训练单元403,包括:
第二获取子单元,用于获得每个所述资源利用设备的历史利用率数据对应的容量调整策略;
第一调整子单元,用于执行每个所述资源利用设备对应的参数调整过程,以在结束对每个资源利用设备相关的模型参数的调整后,完成对所述资源预测模型的训练过程;
其中,所述调整子单元的参数调整过程,具体用于:
将所述资源利用设备的历史利用率输入所述资源预测模型后,获得所述资源预测模型输出的所述资源利用设备对应的预测需求量;
判断所述资源利用设备对应的预测需求量是否与该资源利用设备对应的容量调整策略相符;
当所述资源利用设备对应的预测需求量与该资源利用设备对应的容量调整策略不相符时,调整所述资源利用设备对应的模型参数,并重新将所述资源利用设备的历史利用率数据输入所述资源预测模型,直至所述资源利用设备对应的预测需求量与该资源利用设备对应的容量调整策略相符时,结束所述资源利用设备相关的模型参数的调整。
本发明实施例提供的装置中,所述调整单元406,包括:
第二调整子单元,用于当任一资源利用设备的容量不满足所述资源利用设备对应的资源需求量时,按照所述资源需求量对所述资源利用设备进行扩容处理;
第三调整子单元,用于当任一资源利用设备的容量超出所述资源利用设备对应的资源需求量时,按照所述资源需求量对所述资源利用设备进行缩容处理。
以上本发明实施例公开的云平台资源容量管理装置中各个单元及子单元的具体工作过程,可参见本发明上述实施例公开的云平台资源容量管理方法中的对应内容,这里不再进行赘述。
本发明实施例还提供了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述云平台资源容量管理方法。
本发明实施例还提供了一种电子设备,其结构示意图如图5所示,具体包括存储器501,以及一个或者一个以上的指令502,其中一个或者一个以上指令502存储于存储器501中,且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502进行以下操作:
获得云平台的历史云资源数据,所述历史云资源数据包含所述云平台中每个资源利用设备的历史利用率数据;
设置资源预测模型中每个所述资源利用设备相关的模型参数,所述模型参数至少包括自然回归项的阶数、差分的阶数、移动平均线的阶数以及后向算子;
在应用各个所述历史利用率数据对所述资源预测模型进行训练的过程中,调整每个所述资源利用设备相关的模型参数;
在完成对所述资源预测模型的训练后,获取每个所述资源利用设备的当前的云资源数据;
将各个所述当前利用率数据分别输入所述资源预测模型,以基于所述资源预测模型中已调整的每个所述资源利用设备相关的模型参数,预测每个所述资源利用设备在未来时间段内的资源需求量;
基于每个所述资源利用设备的资源需求量,调整每个所述资源利用设备的资源容量。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现。
为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种云平台资源容量管理方法,其特征在于,包括:
获得云平台的历史云资源数据,所述历史云资源数据包含所述云平台中每个资源利用设备的历史利用率数据;
设置资源预测模型中每个所述资源利用设备相关的模型参数,所述模型参数至少包括自然回归项的阶数、差分的阶数、移动平均线的阶数以及后向算子;
在应用各个所述历史利用率数据对所述资源预测模型进行训练的过程中,调整每个所述资源利用设备相关的模型参数;
在完成对所述资源预测模型的训练后,获取每个所述资源利用设备的当前的云资源数据;
将各个所述当前利用率数据分别输入所述资源预测模型,以基于所述资源预测模型中已调整的每个所述资源利用设备相关的模型参数,预测每个所述资源利用设备在未来时间段内的资源需求量;
基于每个所述资源利用设备的资源需求量,调整每个所述资源利用设备的资源容量。
2.根据权利要求1所述的方法,其特征在于,设置资源预测模型中每个所述资源利用设备相关的模型参数之前,还包括:
对各个所述历史利用率数据中的数据参数进行检测,并过滤异常的数据参数;
按照预设的数据标准对每个已过滤异常的数据参数的历史利用率数据中的数据参数进行标准化处理,获得完成处理的各个历史利用率数据。
3.根据权利要求1所述的方法,其特征在于,所述设置资源预测模型中每个所述资源利用设备相关的模型参数,包括:
获得每个所述历史利用率数据对应的时间序列图,所述时间序列图用于显示其对应的历史利用率数据在历史时间段内的变化趋势;
基于各个所述时间序列图,确定每个所述历史利用率数据中各个数据参数对应的变化信息;
基于所述变化信息,设置每个所述资源利用设备相关的模型参数。
4.根据权利要求1所述的方法,其特征在于,所述在应用各个所述历史利用率数据对所述资源预测模型进行训练的过程中,调整每个所述资源利用设备相关的模型参数,包括:
获得每个所述资源利用设备的历史利用率数据对应的容量调整策略;
执行每个所述资源利用设备对应的参数调整过程,以在结束对每个资源利用设备相关的模型参数的调整后,完成对所述资源预测模型的训练过程;
其中,所述参数调整过程,包括:
将所述资源利用设备的历史利用率输入所述资源预测模型后,获得所述资源预测模型输出的所述资源利用设备对应的预测需求量;
判断所述资源利用设备对应的预测需求量是否与该资源利用设备对应的容量调整策略相符;
当所述资源利用设备对应的预测需求量与该资源利用设备对应的容量调整策略不相符时,调整所述资源利用设备对应的模型参数,并重新将所述资源利用设备的历史利用率数据输入所述资源预测模型,直至所述资源利用设备对应的预测需求量与该资源利用设备对应的容量调整策略相符时,结束所述资源利用设备相关的模型参数的调整。
5.根据权利要求1所述的方法,其特征在于,所述基于每个所述资源利用设备的资源需求量,调整所述云平台中每个所述资源利用设备的资源容量,包括:
当任一资源利用设备的容量不满足所述资源利用设备对应的资源需求量时,按照所述资源需求量对所述资源利用设备进行扩容处理;
当任一资源利用设备的容量超出所述资源利用设备对应的资源需求量时,按照所述资源需求量对所述资源利用设备进行缩容处理。
6.一种云平台资源容量管理装置,其特征在于,包括:
第一获取单元,用于获得云平台的历史云资源数据,所述历史云资源数据包含所述云平台中每个资源利用设备的历史利用率数据;
设置单元,用于设置资源预测模型中每个所述资源利用设备相关的模型参数,所述模型参数至少包括自然回归项的阶数、差分的阶数、移动平均线的阶数以及后向算子;
训练单元,用于在应用各个所述历史利用率数据对所述资源预测模型进行训练的过程中,调整每个所述资源利用设备相关的模型参数;
第二获取单元,用于在完成对所述资源预测模型的训练后,获取每个所述资源利用设备的当前的云资源数据;
预测单元,用于将各个所述当前利用率数据分别输入所述资源预测模型,以基于所述资源预测模型中已调整的每个所述资源利用设备相关的模型参数,预测每个所述资源利用设备在未来时间段内的资源需求量;
调整单元,用于基于每个所述资源利用设备的资源需求量,调整每个所述资源利用设备的资源容量。
7.根据权利要求6所述的装置,其特征在于,还包括:
过滤单元,用于对各个所述历史利用率数据中的数据参数进行检测,并过滤异常的数据参数;
处理单元,用于按照预设的数据标准对每个已过滤异常的数据参数的历史利用率数据中的数据参数进行标准化处理,获得完成处理的各个历史利用率数据。
8.根据权利要求6所述的装置,其特征在于,所述设置单元,包括:
第一获取子单元,用于获得每个所述历史利用率数据对应的时间序列图,所述时间序列图用于显示其对应的历史利用率数据在历史时间段内的变化趋势;
第一确定子单元,用于基于各个所述时间序列图,确定每个所述历史利用率数据中各个数据参数对应的变化信息;
设置子单元,用于基于所述变化信息,设置每个所述资源利用设备相关的模型参数。
9.根据权利要求6所述的装置,其特征在于,所述训练单元,包括:
第二获取子单元,用于获得每个所述资源利用设备的历史利用率数据对应的容量调整策略;
第一调整子单元,用于执行每个所述资源利用设备对应的参数调整过程,以在结束对每个资源利用设备相关的模型参数的调整后,完成对所述资源预测模型的训练过程;
其中,所述调整子单元的参数调整过程,具体用于:
将所述资源利用设备的历史利用率输入所述资源预测模型后,获得所述资源预测模型输出的所述资源利用设备对应的预测需求量;
判断所述资源利用设备对应的预测需求量是否与该资源利用设备对应的容量调整策略相符;
当所述资源利用设备对应的预测需求量与该资源利用设备对应的容量调整策略不相符时,调整所述资源利用设备对应的模型参数,并重新将所述资源利用设备的历史利用率数据输入所述资源预测模型,直至所述资源利用设备对应的预测需求量与该资源利用设备对应的容量调整策略相符时,结束所述资源利用设备相关的模型参数的调整。
10.根据权利要求6所述的装置,其特征在于,所述调整单元,包括:
第二调整子单元,用于当任一资源利用设备的容量不满足所述资源利用设备对应的资源需求量时,按照所述资源需求量对所述资源利用设备进行扩容处理;
第三调整子单元,用于当任一资源利用设备的容量超出所述资源利用设备对应的资源需求量时,按照所述资源需求量对所述资源利用设备进行缩容处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311796799.5A CN117768339A (zh) | 2023-12-25 | 2023-12-25 | 云平台资源容量管理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311796799.5A CN117768339A (zh) | 2023-12-25 | 2023-12-25 | 云平台资源容量管理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117768339A true CN117768339A (zh) | 2024-03-26 |
Family
ID=90310062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311796799.5A Pending CN117768339A (zh) | 2023-12-25 | 2023-12-25 | 云平台资源容量管理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117768339A (zh) |
-
2023
- 2023-12-25 CN CN202311796799.5A patent/CN117768339A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9280436B2 (en) | Modeling a computing entity | |
CN111427753A (zh) | 基于arima模型的容量预测装置及其控制方法 | |
JP2012244897A (ja) | 短期電力負荷を予測する方法及び装置 | |
WO2009100528A1 (en) | System and method for estimating combined workloads of systems with uncorrelated and non-deterministic workload patterns | |
CN108282586B (zh) | 基于业务线的预测方法、装置、存储介质及终端 | |
CN115391048A (zh) | 基于趋势预测的微服务实例动态水平扩展收缩方法及系统 | |
CN115437793A (zh) | 系统资源配置预测方法、装置、设备及存储介质 | |
KR101960755B1 (ko) | 미취득 전력 데이터 생성 방법 및 장치 | |
Leung | Dynamic resource-allocation for software-module testing | |
CN109992408B (zh) | 一种资源分配方法、装置、电子设备和存储介质 | |
CN117768339A (zh) | 云平台资源容量管理方法及装置 | |
Borissova et al. | A concept of intelligent e-maintenance decision making system | |
CN116107854A (zh) | 一种计算机运行维护指标预测方法、系统、设备及介质 | |
CN109409700B (zh) | 一种配置数据确认方法、业务监测方法及装置 | |
CN113850428A (zh) | 作业调度的预测处理方法、装置和电子设备 | |
CN113703974A (zh) | 一种预测服务器容量的方法及装置 | |
KR20220096568A (ko) | 전력 사용량 예측 장치 및 방법 | |
RU162895U1 (ru) | Автоматизированное устройство оценивания рисков | |
CN111258866A (zh) | 计算机性能预测方法、装置、设备及可读存储介质 | |
Wemembu et al. | A framework for effective software monitoring in project management | |
CN117709690B (zh) | 一种司法案件任务调度方法及装置 | |
CN115081943B (zh) | 基于产品难度的员工劳动强度计算方法及相关装置 | |
GB2456894A (en) | Harmonic analysis of computer workload | |
CN117371662A (zh) | 一种虚拟电厂调节能力的评估系统及其方法 | |
CN117933534A (zh) | 一种建筑工程造价核算管理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |