CN111427753B - 基于arima模型的容量预测装置及其控制方法 - Google Patents
基于arima模型的容量预测装置及其控制方法 Download PDFInfo
- Publication number
- CN111427753B CN111427753B CN202010209101.5A CN202010209101A CN111427753B CN 111427753 B CN111427753 B CN 111427753B CN 202010209101 A CN202010209101 A CN 202010209101A CN 111427753 B CN111427753 B CN 111427753B
- Authority
- CN
- China
- Prior art keywords
- capacity
- data
- prediction
- model
- arima
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000003860 storage Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000004140 cleaning Methods 0.000 claims abstract description 9
- 230000009467 reduction Effects 0.000 claims abstract description 9
- 238000005311 autocorrelation function Methods 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 17
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 4
- 241001123248 Arma Species 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003648 Ljung–Box test Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000001744 unit root test Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于ARIMA模型的容量预测装置及其控制方法，所述容量预测装置包括调度策略模块：调用样本数据采集模块进行历史数据采集；样本数据采集模块：采集历史数据，并对采集的历史数据进行数据处理后作为训练样本时间序列发送到容量预测模块；容量预测模块：根据训练样本时间序列的特征建立并训练预测模型；导入预测样本数据到预测模型生成容量预测数据；扩容建议生成模块：将生成的容量预测数据与扩容策略进行匹配生成扩容建议数据。本发明对主机、集群、网络设备和存储设备的容量指标数据进行采集计算、异常数据处理、数据清洗、数据降噪，生成容量预测数据，及根据扩容策略生成扩容建议数据，整个过程完全自动化，预测准确。
Description
技术领域
本发明涉及一种容量预测装置及其控制方法，尤其涉及一种基于ARIMA模型的容量预测装置及其控制方法。
背景技术
随着企业的IT架构日益庞大，对IT环境中设备容量使用情况等信息的管理已日趋重要与细化，如业务系统的主机CPU使用率、内存使用率、网络设备接口流入/出带宽利用率、存储容量使用率等，现有监控技术已对这些设备的容量使用情况进行了有效的监控与告警。监控系统对被监控的设备进行设定监控指标与设定指标告警阀值，定期采集指标数据值并与告警阀值做简单比较，当采集数据值达到或超过了阀值则发出告警。
现有监控技术能有效监控当前设备容量使用量并发出告警，只能得知设备容量当前使用情况，但无法提前预知什么时候达到90％，什么时候达到100％，什么时候需要扩容，扩容多少。因此，发生告警时，第一时间进行扩容等处理。或者人工进行预测，根据运维人员的个人经验，主观判断容量是否需要扩容。
目前的方法存在如下问题：
1.通过监控告警的方式进行容量管理，风险较大，容易影响线上业务。
2.人工预测的主观性较强，较为考验运维人员的运维能力及经验，没有保障。
ARIMA模型全称为自回归积分滑动平均模型(Autoregressive IntegratedMoving Average Model,简记ARIMA)，是由博克思(Box)和詹金斯(Jenkins)于70年代初提出一著名时间序列(Time-series Approach)预测方法，所以又称为Box-Jenkins模型、博克思-詹金斯法。其中ARIMA(p，d，q)称为差分自回归移动平均模型，AR是自回归，p为自回归项；MA为移动平均，q为移动平均项数，d为时间序列成为平稳时所做的差分次数。所谓ARIMA模型，是指将非平稳时间序列转化为平稳时间序列，然后将因变量仅对它的滞后值以及随机误差项的现值和滞后值进行回归所建立的模型。ARIMA模型根据原序列是否平稳以及回归中所含部分的不同，包括移动平均过程(MA)、自回归过程(AR)、自回归移动平均过程(ARMA)以及ARIMA过程。
因此，提出一种基于ARIMA预测模型的容量预测装置及其控制方法进行容量预测是非常有必要的。
发明内容
本发明要解决的技术问题是提供一种基于ARIMA模型的容量预测装置及其控制方法，实现容量的自动预测并提供扩容建议。
本发明为解决上述技术问题而采用的技术方案是提供一种基于ARIMA模型的容量预测装置，包括调度策略模块：根据调度策略调用样本数据采集模块进行历史数据采集；样本数据采集模块：根据调度策略采集历史数据，并对采集的历史数据进行数据处理后作为训练样本时间序列发送到容量预测模块；容量预测模块：接收训练样本时间序列，根据训练样本时间序列的特征建立预测模型，并对预测模型进行训练；根据调度策略从样本数据采集模块导入预测样本数据到训练好的预测模型生成容量预测数据；扩容建议生成模块：将生成的容量预测数据与扩容策略进行匹配生成扩容建议数据。
进一步的，所述样本数据采集模块连接有数据处理模块，所述样本数据采集模块根据调度策略设定需要采集的容量指标，所述数据处理模块根据设定的容量指标获取相应的历史数据，对历史数据进行数据处理得到训练样本数据，并将训练样本数据对应于时间点形成训练样本时间序列。
进一步的，所述容量指标包括主机、存储、网络和集群的容量指标，主机的容量指标包括CPU使用率和内存使用率，存储的容量指标包括存储容量使用率，网络的容量指标包括接口流入带宽利用率和接口流出带宽利用率，集群的容量指标包括CPU使用率和内存使用率；所述主机、网络和集群的容量指标通过抽取相应监控指标的历史趋势数据获取；所述存储的容量指标存储容量使用率，通过在主机上抓取LUN信息，获取在该LUN上建立的文件系统存储空间的使用情况，得到各个存储设备的已知剩余空间和已知总空间，其中已知剩余空间通过累加各个文件系统剩余空间得到，已知总空间通过累加各个LUN的存储空间得到，存储设备的容量使用率通过公式容量使用率＝(已知总空间-已知剩余空间)/已知总空间*100计算得到。
进一步的，所述数据处理具体包括异常数据处理、数据清洗和数据降噪；异常数据处理是将主机和网络的容量指标在获取数据时统一转换成百分比数值；数据清洗是在设有主备集群的主机的集群容量指标获取时，主备集群各自获取数据，然后针对同一指标按照时间刻度对数据值进行比较，取较大值者作为该指标的数据；数据降噪是将经过异常数据处理、数据清洗的数据以自然周为单位划分，使用正态分布算法，过滤出概率大于99％的数据，取每个自然周中大小在前30％的数据进行求平均值，并对应于时间得到训练样本时间序列。
进一步的，所述容量预测模块连接有扩容策略模块，所述容量预测模块包括主机扩容策略、集群扩容策略、存储扩容策略和网络扩容策略；所述扩容建议生成模块生成的扩容建议数据包括计划扩容量和计划扩容时间。
本发明为解决上述技术问题而采用的另一技术方案是提供一种基于ARIMA模型的容量预测装置的控制方法，包括如下步骤：S1：调度策略模块调用样本数据采集模块进行历史数据采集；S2：样本数据采集模块采集历史数据，并对采集的历史数据进行数据处理后作为训练样本时间序列发送到容量预测模块；S3：容量预测模块接收训练样本时间序列，根据训练样本时间序列的特征建立预测模型，并对预测模型进行训练；S4：容量预测模块根据调度策略从样本数据采集模块导入预测样本数据到训练好的预测模型生成容量预测数据；S5：扩容建议生成模块将生成的容量预测数据与扩容策略进行匹配生成扩容建议数据。
进一步的，所述步骤S3中容量预测模块建立并训练的预测模型为ARIMA预测模型，建立并训练ARIMA预测模型具体包括：S31：通过LB检验识别训练样本时间序列的随机性，若LB检验的p值大于0.05则为纯随机序列，调用R工具的auto.arima函数作为ARIMA预测模型进行容量预测；S32：若LB检验的p值小于0.05则训练样本时间序列为非纯随机序列，则通过ADF检验来识别其平稳性，若ADF检验的p值小于0.05则认为该时间序列是平稳的，否则该时间序列不平稳；S33：建立ARIMA预测模型为ARIMA(p,d,q)；其中，AR是自回归，MA为移动平均，p是自回归项数，d为时间序列成为平稳时间序列时所做的差分次数，q为移动平均项数；S34：若训练样本时间序列不平稳，则对训练样本时间序列先进行d阶差分运算，化为平稳的时间序列；S35：基于平稳的时间序列，通过自相关函数和偏自相关函数的特性，确认预测模型和并预设参数值；S36：根据参数组合成的不同的ARIMA(p,d,q)模型，通过AIC准则比较各模型的AIC值，取AIC值最小的模型作为最终模型；S37：通过LB检验识别最终模型的的残差序列是否为纯随机序列，如果是，则最终模型为合格的ARIMA预测模型，如果不是，则调整自回归项数p和移动平均项数q，直到得到合格的ARIMA预测模型。
进一步的，所述步骤S35具体包括：若偏自相关函数是截尾的，而自相关函数是拖尾的，则预测模型为AR模型ARIMA(p,d,0)；若偏自相关函数是拖尾的，而自相关函数是截尾的，则预测模型为MA模型ARIMA(0,d,q)；若偏自相关函数和自相关函数均是拖尾的，则预测模型为ARMA模型ARIMA(p,d,q)。
本发明对比现有技术有如下的有益效果：本发明提供的基于ARIMA模型的容量预测装置，针对指定系统容量进行预测分析，提前规避系统容量问题带来的系统故障，对主机、集群、网络设备和存储设备的容量指标数据进行采集计算、异常数据处理、数据清洗、数据降噪，生成容量预测数据，及根据扩容策略生成扩容建议数据，整个过程完全自动化，预测准确；调度策略灵活而独立，执行日期可配置；样本数据采集方式灵活准确，主机、集群等样本数据指标的设定可灵活配置；存储的存储设备容量使用率，通过在所有已接入监控的主机上抓取LUN信息，获取与该LUN上建立的文件系统存储空间使用情况，进行全局统一计算得到，数据更准确。
附图说明
图1为本发明实施例中基于ARIMA模型的容量预测装置架构图；
图2为本发明实施例中ARIMA预测模型建立和训练的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
图1为本发明实施例中基于ARIMA模型的容量预测装置架构图。
请参见图1，本发明实施例的基于ARIMA模型的容量预测装置，包括
调度策略模块：根据调度策略调用样本数据采集模块进行历史数据采集；
样本数据采集模块：根据调度策略采集历史数据，并对采集的历史数据进行数据处理后作为训练样本时间序列发送到容量预测模块；
容量预测模块：接收训练样本时间序列，根据训练样本时间序列的特征建立预测模型，并对预测模型进行训练；根据调度策略从样本数据采集模块导入预测样本数据到训练好的预测模型生成容量预测数据；
扩容建议生成模块：将生成的容量预测数据与扩容策略进行匹配生成扩容建议数据，扩容建议数据包括计划扩容量和计划扩容时间。
各组件功能及原理说明如下：
1、调度策略模块：
执行调度策略，调用样本数据采集模块每个月1号00:00-08:00时间段进行一次分析数据计算，计算当月的容量分析数据，得到容量预测数据和扩容建议，完成后覆盖旧数据。调度策略灵活而独立，执行日期可配置。
2、样本数据采集模块：
样本数据采集模块根据调度策略设定需要采集的容量指标，所述数据处理模块根据设定的容量指标获取相应的历史数据，对历史数据进行数据处理得到训练样本数据，并将训练样本数据对应于时间点形成训练样本时间序列,数据处理具体包括异常数据处理、数据清洗和数据降噪。
1)预测的指标范围：
(1)主机：CPU使用率，内存使用率；
(2)存储：容量使用率
(3)网络：接口流入带宽利用率，接口流出带宽利用率
(4)集群：CPU使用率，内存使用率
2)数据获取：主机、网络、集群的指标，获取对应现有监控指标的12个月中每天8:00-22:00的历史趋势数据；存储的指标(容量使用率)通过采集并计算获取，公式：容量使用率＝已使用容量/存储总容量*100，已使用容量计算方法如下：
(1)通过在所有已接入主机上抓取LUN(Logical Unit Number)物理节点信息，获取在该LUN上建立的文件系统存储空间使用情况；
(2)对所有LUN的文件系统存储空间使用情况信息进行全局统一计算，得到各个存储设备的已知剩余空间和已知总空间。其中已知剩余空间通过累加各个文件系统剩余空间得到，已知总空间通过累加各个LUN的存储空间得到，但累加时需要进行重复识别处理，分以下7种情形识别计算：
情形1：相同主机，相同文件系统(包括VG(volume group)剩余空间)，不同存储盘情况。若各个存储盘属于同一个存储，只需累加剩余量一次；若不属于同一个存储，按存储盘数量比例均分剩余量。
情形2：相同主机，不同文件系统，相同存储盘情况。累加剩余量
情形3：不同主机的文件系统(包括VG剩余空间)，相同存储盘情况。这是多个主机共享一个存储盘，只需取其中一个主机剩余量最大的值，其余值忽略。一般情况下，所有主机的剩余量应该是相等的，但若某个主机并未挂载该存储盘时，剩余量为0。
情形4：不同主机的文件系统，不同存储盘情况。累加剩余量。
情形5：当VG列为GPFS:VG名称这种带GPFS:前缀的值时，标识该文件系统是一个GPFS文件系统。不同主机的GPFS文件系统，每个存储盘只累加剩余量一次。GPFS与常规的linux ext3、ext4等文件系统相比，它是一个共享文件系统，可以由多个物理节点组成，因此各个物理节点只需要累加一次即可。而ext3等文件系统，本身并无共享功能，但通过共享磁盘一样能实现文件的共享，这种情况相当于情形3。
情形6：某些VG，存在并未分配给文件系统的空间(VG不为空，文件系统为空)，这种剩余空间累加到对应的存储盘中。相同主机的同一个VG的情况，适用用第1条情形。
情形7：若文件系统为空(VG、文件系统都为空)，视该存储盘为裸设备，裸磁盘也存在共享情况，需要根据物理节点的ID来判断。裸设备的剩余量都视为0。
3)异常数据处理：针对主机和网络的预测指标，获取数据同时需要统一转换成百分比数值，即若数据自身单位是％时无需处理，否则需要乘以100。
4)数据清洗：针对主备集群的主机进行特殊处理，需要主备设备各自获取数据，然后针对同一指标按照时间刻度对数据值进行比较，取较大值者作为该指标的数据。此时，该指标的数据在容量报表功能中适用于所有主备设备。
5)数据降噪：把样本数据以自然周为单位划分，使用正态分布算法，过滤出概率大于99％的样本数据，取TOP30％数据进行求平均值得到训练样本时间序列。正态分布公式如下：
3、容量预测模块：
预测模型生成流程，如图2所示：
1)检验时间序列。
(1)根据LB检验(Ljung-Box test)识别时间序列是否为纯随机序列(又称白噪声序列)，如果为纯随机序列，可以调用R工具(R工具是一套完整的数据处理、计算和制图软件系统)的auto.arima函数进行预测分析。(LB检验的p值小于0.05就不是纯随机序列)。
(2)根据ADF检验(单位根检验，Augmented Dickey-Fuller Test)识别时间序列的平稳性。通过ADF检验的p值判断其平稳性，如果p值小于0.05则认为时间序列是平稳的。
2)对非平稳的时间序列数据通过d次差分进行平稳化处理。直到处理后的时间序列经过ADF检验得到的P值小于0.05。
3)平稳化处理后，通过自相关函数和偏自相关函数是截尾还是拖尾来判断预测模型并预估相关参数的值。如下表1模型与函数关系表所示。
表1模型与函数关系表
(1)若偏自相关函数是截尾的，而自相关函数是拖尾的，则建立AR模型(ARIMA(p,d,0))；
(2)若偏自相关函数是拖尾的，而自相关函数是截尾的，则建立MA模型(ARIMA(0,d,q))；
(3)若偏自相关函数和自相关函数均是拖尾的，则建立ARMA模型(ARIMA(p,d,q))。
4)确定模型和预估得到p,q参数之后，根据参数组合成不同的ARIMA(p,d,q)模型，根据AIC法则(赤池信息准则)比较它们的AIC值，取AIC值最小的模型作为最终模型。
5)检验最终模型的的残差序列是否为纯随机序列，如果是则模型是合格的。否则，调整自回归项数p和移动平均项数q，直到得到合格的ARIMA预测模型。
6)将样本数据采集模块采集的最近4周的数据作为预测样本数据，输入经过第5步检验的ARIMA(p,d,q)模型进行预测，生成未来4周的预测数据。
容量预测模块连接有扩容策略模块，所述容量预测模块进行主机扩容策略、集群扩容策略、存储扩容策略和网络扩容策略的设置。
综上所述，本发明实施例的基于ARIMA模型的容量预测装置及其控制方法，针对指定系统容量进行预测分析，提前规避系统容量问题带来的系统故障，对主机、集群、网络设备和存储设备的容量指标数据进行采集计算、异常数据处理、数据清洗、数据降噪，生成容量预测数据，及根据扩容策略生成扩容建议数据，整个过程完全自动化，预测准确；调度策略灵活而独立，执行日期可配置；样本数据采集方式灵活准确，主机、集群等样本数据指标的设定可灵活配置；存储的存储设备容量使用率，通过在所有已接入监控的主机上抓取LUN信息，获取与该LUN上建立的文件系统存储空间使用情况，进行全局统一计算得到，数据更准确。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。
Claims (5)
1.一种基于ARIMA模型的容量预测装置，其特征在于，包括调度策略模块：根据调度策略调用样本数据采集模块进行历史数据采集；样本数据采集模块：根据调度策略采集历史数据，并对采集的历史数据进行数据处理后作为训练样本时间序列发送到容量预测模块；容量预测模块：接收训练样本时间序列，根据训练样本时间序列的特征建立预测模型，并对预测模型进行训练；根据调度策略从样本数据采集模块导入预测样本数据到训练好的预测模型生成容量预测数据；扩容建议生成模块：将生成的容量预测数据与扩容策略进行匹配生成扩容建议数据；
所述样本数据采集模块连接有数据处理模块，所述样本数据采集模块根据调度策略设定需要采集的容量指标，所述数据处理模块根据设定的容量指标获取相应的历史数据，对历史数据进行数据处理得到训练样本数据，并将训练样本数据对应于时间点形成训练样本时间序列；
所述容量指标包括主机、存储、网络和集群的容量指标，主机的容量指标包括CPU使用率和内存使用率，存储的容量指标包括存储容量使用率，网络的容量指标包括接口流入带宽利用率和接口流出带宽利用率，集群的容量指标包括CPU使用率和内存使用率；所述主机、网络和集群的容量指标通过抽取相应监控指标的历史趋势数据获取；所述存储的容量指标存储容量使用率，通过在主机上抓取LUN信息，获取在该LUN上建立的文件系统存储空间的使用情况，得到各个存储设备的已知剩余空间和已知总空间，其中已知剩余空间通过累加各个文件系统剩余空间得到，已知总空间通过累加各个LUN的存储空间得到，存储设备的容量使用率通过公式容量使用率=（已知总空间-已知剩余空间）/已知总空间*100计算得到；
所述数据处理具体包括异常数据处理、数据清洗和数据降噪；异常数据处理是将主机和网络的容量指标在获取数据时统一转换成百分比数值；数据清洗是在设有主备集群的主机的集群容量指标获取时，通过主备集群各自获取数据，然后针对同一指标按照时间刻度对数据值进行比较，取较大值者作为该指标的数据；数据降噪是将经过异常数据处理、数据清洗的数据以自然周为单位划分，采用正态分布算法，过滤出概率大于99%的数据，取每个自然周中大小在前30%的数据求平均值，并将该平均值对应于周期时间得到训练样本时间序列。
2.如权利要求1所述的基于ARIMA模型的容量预测装置，其特征在于，所述容量预测模块连接有扩容策略模块，所述扩容策略模块包括主机扩容策略、集群扩容策略、存储扩容策略和网络扩容策略；所述扩容建议生成模块生成的扩容建议数据包括计划扩容量和计划扩容时间。
3.一种基于ARIMA模型的容量预测装置的控制方法，采用如权利要求1-2任一项所述的基于ARIMA模型的容量预测装置，其特征在于，包括如下步骤：
S1：调度策略模块调用样本数据采集模块进行历史数据采集；
S2：样本数据采集模块采集历史数据，并对采集的历史数据进行数据处理后作为训练样本时间序列发送到容量预测模块；
S3：容量预测模块接收训练样本时间序列，根据训练样本时间序列的特征建立预测模型，并对预测模型进行训练；
S4：容量预测模块根据调度策略从样本数据采集模块导入预测样本数据到训练好的预测模型生成容量预测数据；
S5：扩容建议生成模块将生成的容量预测数据与扩容策略进行匹配生成扩容建议数据。
4.如权利要求3所述的基于ARIMA模型的容量预测装置的控制方法，其特征在于，所述步骤S3中容量预测模块建立并训练的预测模型为ARIMA预测模型，建立并训练ARIMA预测模型具体包括：
S31：通过LB检验识别训练样本时间序列的随机性，若LB检验的p值大于0.05则为纯随机序列，调用R工具的auto.arima函数作为ARIMA预测模型进行容量预测；
S32：若LB检验的p值小于0.05则训练样本时间序列为非纯随机序列，则通过ADF检验来识别其平稳性，若ADF检验的p值小于0.05则认为该时间序列是平稳的，否则该时间序列不平稳；
S33：建立ARIMA预测模型为ARIMA(p,d,q)；其中，AR是自回归，MA为移动平均，p是自回归项数，d为时间序列成为平稳时间序列时所做的差分次数，q为移动平均项数；
S34：若训练样本时间序列不平稳，则对训练样本时间序列先进行d阶差分运算，化为平稳的时间序列；
S35：基于平稳的时间序列，通过自相关函数和偏自相关函数的特性，确认预测模型和并预设参数值；
S36：根据参数组合成的不同的ARIMA(p,d,q)模型，通过AIC准则比较各模型的AIC值，取AIC值最小的模型作为最终模型；
S37：通过LB检验识别最终模型的的残差序列是否为纯随机序列，如果是，则最终模型为合格的ARIMA预测模型，如果不是，则调整自回归项数p和移动平均项数q，直到得到合格的ARIMA预测模型。
5.如权利要求4所述的基于ARIMA模型的容量预测装置的控制方法，其特征在于，所述步骤S35具体包括：若偏自相关函数是截尾的，而自相关函数是拖尾的，则预测模型为AR模型ARIMA (p,d,0)；若偏自相关函数是拖尾的，而自相关函数是截尾的，则预测模型为MA模型ARIMA (0,d,q)；若偏自相关函数和自相关函数均是拖尾的，则预测模型为ARMA模型ARIMA (p,d,q)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010209101.5A CN111427753B (zh) | 2020-03-23 | 2020-03-23 | 基于arima模型的容量预测装置及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010209101.5A CN111427753B (zh) | 2020-03-23 | 2020-03-23 | 基于arima模型的容量预测装置及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111427753A CN111427753A (zh) | 2020-07-17 |
| CN111427753B true CN111427753B (zh) | 2024-04-23 |
Family
ID=71549389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010209101.5A Active CN111427753B (zh) | 2020-03-23 | 2020-03-23 | 基于arima模型的容量预测装置及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111427753B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111882135B (zh) * | 2020-08-05 | 2024-04-30 | 杭州安恒信息技术股份有限公司 | 一种物联网设备入侵检测方法及相关装置 |
| CN112000549B (zh) * | 2020-08-21 | 2022-06-17 | 北京浪潮数据技术有限公司 | 一种存储设备的容量分析方法及相关装置 |
| CN112217858A (zh) * | 2020-08-28 | 2021-01-12 | 北京思特奇信息技术股份有限公司 | 一种云计算资源弹性伸缩的方法和系统 |
| CN112115036A (zh) * | 2020-09-28 | 2020-12-22 | 中国银行股份有限公司 | 集群容量预测方法及装置 |
| CN112486760B (zh) * | 2020-11-13 | 2023-05-26 | 北京航空航天大学 | 基于arima的软件运行环境要素行为趋势分析方法 |
| CN113157204B (zh) * | 2021-01-29 | 2022-11-18 | 杭州优云软件有限公司 | 一种基于二阶差分法识别人工清理行为的磁盘容量预测方法 |
| CN113190503B (zh) * | 2021-05-08 | 2022-12-02 | 重庆紫光华山智安科技有限公司 | 文件系统扩容方法、装置、电子设备及存储介质 |
| CN113238714A (zh) * | 2021-05-28 | 2021-08-10 | 广东好太太智能家居有限公司 | 基于历史监测数据的磁盘容量预测方法及系统、存储介质 |
| CN114423020B (zh) * | 2022-01-21 | 2023-05-16 | 温州大学乐清工业研究院 | 一种LoRaWAN网络下行路由控制方法及系统 |
| CN116414662B (zh) * | 2023-04-24 | 2023-10-10 | 山东溯源安全科技有限公司 | 一种存储空间扩容提示方法、装置、电子设备及存储介质 |
| CN116414663A (zh) * | 2023-04-24 | 2023-07-11 | 山东溯源安全科技有限公司 | 一种基于容量使用预测的扩容提示方法、装置及存储介质 |
| CN117457096B (zh) * | 2023-12-26 | 2024-03-22 | 山东省海洋资源与环境研究院(山东省海洋环境监测中心、山东省水产品质量检验中心) | 模拟海洋酸化装置中二氧化碳溶解量动态监测与调整系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5884037A (en) * | 1996-10-21 | 1999-03-16 | International Business Machines Corporation | System for allocation of network resources using an autoregressive integrated moving average method |
| WO2017028632A1 (zh) * | 2015-08-19 | 2017-02-23 | 中国电力科学研究院 | 一种配电网运行可靠性的预测方法 |
| CN108920153A (zh) * | 2018-05-29 | 2018-11-30 | 华南理工大学 | 一种基于负载预测的Docker容器动态调度方法 |
| CN109766234A (zh) * | 2018-12-11 | 2019-05-17 | 国网甘肃省电力公司信息通信公司 | 基于时间序列模型的磁盘存储容量预测方法 |
| CN110865928A (zh) * | 2019-11-26 | 2020-03-06 | 上海新炬网络技术有限公司 | 基于arima预测模型和灰色预测模型实现容量预测的方法 |
-
2020
- 2020-03-23 CN CN202010209101.5A patent/CN111427753B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5884037A (en) * | 1996-10-21 | 1999-03-16 | International Business Machines Corporation | System for allocation of network resources using an autoregressive integrated moving average method |
| WO2017028632A1 (zh) * | 2015-08-19 | 2017-02-23 | 中国电力科学研究院 | 一种配电网运行可靠性的预测方法 |
| CN108920153A (zh) * | 2018-05-29 | 2018-11-30 | 华南理工大学 | 一种基于负载预测的Docker容器动态调度方法 |
| CN109766234A (zh) * | 2018-12-11 | 2019-05-17 | 国网甘肃省电力公司信息通信公司 | 基于时间序列模型的磁盘存储容量预测方法 |
| CN110865928A (zh) * | 2019-11-26 | 2020-03-06 | 上海新炬网络技术有限公司 | 基于arima预测模型和灰色预测模型实现容量预测的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 曾会锋 ; 刘一田 ; .几种准实时IT系统负荷预测方法比较研究――基于R语言.计算机工程与应用.2017,(第09期),全文. * |
| 李刚 ; 王文婧 ; .基于时间序列的存储负载预警研究.智能计算机与应用.2018,(第03期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111427753A (zh) | 2020-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111427753B (zh) | 基于arima模型的容量预测装置及其控制方法 | |
| EP2490126B1 (en) | System operation management device, system operation management method, and program storage medium | |
| CN110689141B (zh) | 风力发电机组的故障诊断方法及设备 | |
| JP2002532799A (ja) | 特にセメントキルンの技術プロセスにおけるセンサ予測のための事例ベース推論システムと方法および装置 | |
| CN111262750A (zh) | 一种用于评估基线模型的方法及系统 | |
| CN113448805A (zh) | 基于cpu动态阈值的监控方法、装置、设备及存储介质 | |
| CN114978956A (zh) | 智慧城市网络设备性能异常突变点检测方法及装置 | |
| CN109643087B (zh) | 用于选择用于设备操作安全的可控参数的系统和方法 | |
| KR101960755B1 (ko) | 미취득 전력 데이터 생성 방법 및 장치 | |
| CN113590429A (zh) | 一种服务器故障诊断方法、装置及电子设备 | |
| KR102073810B1 (ko) | 머신러닝을 이용하여 함정 추진 장비의 고장을 예측하는 방법 및 시스템 | |
| CN113992602B (zh) | 一种电缆监测数据上传方法、装置、设备以及存储介质 | |
| CN115701890B (zh) | 调整告警规则的方法及相关设备 | |
| CN115130936B (zh) | 基于关键状态量的变电设备运行可靠性评估方法 | |
| JP6625839B2 (ja) | 負荷実績データ判別装置、負荷予測装置、負荷実績データ判別方法及び負荷予測方法 | |
| CN112052147A (zh) | 监控方法、电子设备及存储介质 | |
| CN111628901A (zh) | 一种指标异常检测方法以及相关装置 | |
| JP7411724B2 (ja) | システム分析装置及びシステム分析方法 | |
| CN117761444B (zh) | 一种电涌保护器的寿命监测方法及系统 | |
| JP6852697B2 (ja) | マスタ装置、マスタ装置の制御方法、情報処理プログラム、および記録媒体 | |
| CN114116389A (zh) | 一种针对业务访问量的监控方法及相关设备 | |
| CN107728929A (zh) | 用于云端服务系统中数据保护的方法 | |
| CN114116286A (zh) | 物联网设备离线故障诊断方法、装置及电子设备 | |
| CN117768339A (zh) | 云平台资源容量管理方法及装置 | |
| CN117370469A (zh) | 用于在大数据环境中高效数据复制的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |