CN117827617A - 基于arima-lstm的容器云资源预测方法 - Google Patents
基于arima-lstm的容器云资源预测方法 Download PDFInfo
- Publication number
- CN117827617A CN117827617A CN202410040645.1A CN202410040645A CN117827617A CN 117827617 A CN117827617 A CN 117827617A CN 202410040645 A CN202410040645 A CN 202410040645A CN 117827617 A CN117827617 A CN 117827617A
- Authority
- CN
- China
- Prior art keywords
- model
- container
- arima
- prediction
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012544 monitoring process Methods 0.000 claims abstract description 6
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 claims abstract 9
- 238000012545 processing Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 9
- 230000036961 partial effect Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 abstract description 3
- 238000005311 autocorrelation function Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 7
- 238000010276 construction Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000013277 forecasting method Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 1
- 244000035744 Hura crepitans Species 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 1
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于ARIMA‑LSTM的容器云资源预测方法，使用自回归综合移动平均模型ARIMA预测资源需求量中的线性分量，并使用长短期记忆模型LSTM预测非线性分量，结合容器云平台监测数据，使用ARIMA‑LSTM模型对未来容器云资源需求量进行预测。本发明解决了单个预测算法不能同时求解容器云资源需求量数据中的线性分量和非线性分量问题。
Description
技术领域
本发明属于容器云资源预测方法技术领域，具体涉及一种基于ARIMA-LSTM的容器云资源预测方法。
背景技术
根据思科报告，预计到2020年将有500亿设备实现智能互联，全球数据总量将会达到40ZB，万物互联的时代己经到来[1]。大数据时代下智能设备正在从数据消费者的单一角色向生产者和消费者的双重角色转变，这些设备产生了海量的数据处理需求，对现有的集中式云计算架构提出了严峻的挑战。为了更好的满足边缘侧的“大连接、低时延、大带宽”需求，尤其在物联网、工业控制、车联网、无人驾驶等领域，边缘计算的概念应运而生。不同于云计算的集中式架构，边缘计算[2]是一种分布式的计算模型，通过利用边缘设备的计算和存储资源，实现对边缘数据的过滤、处理和决策，有效缓解云中心业务和网络带宽压力。同时，边缘服务器通过容器技术的虚拟化环境，为不同用户和边缘设备提供服务卸载能力，借助同期技术无需考虑程序的环境配置问题和资源隔离的安全问题，增加了物联网的灵活性。与传统主机级虚拟化技术不同[3]，容器技术采用沙箱机制实现进程级隔离，具有占用物理主机资源少，启动速度快，移植能力强的优点。容器虚拟化的优势，相比主机级虚拟化更适合作为边缘应用的载体，应对边缘场景下更加复杂的集群管理和应用部署问题[4]。容器技术的生态圈逐渐形成，基于容器技术的容器云也迅速发展。然而，容器云发展时间较短，成熟度低，并且面临着复杂的资源管理问题[5]。例如，企业通常在购置设备时不得不考虑经济成本和公司规模，因此不像云服务商那样拥有大量的备用设备。对于企业，资源的预留、分配和回收等成为一个非常重要的问题[6]，如果能较为准确的预知未来一段时间内自身应用对资源的需求量，就可以提前申请和购买相应设备，避免因无力资源不足导致业务停止运行，给企业造成负面影响；如果未来一段时间的资源需求量远低于现有设备数，就可以进行数据和业务迁移，停止某些设备的运行，降低能耗，提高企业的经济效益和资源利用率。
因此，容器云资源预测对推进容器云理论和技术更进一步发展、提高企业经济效益、避免资源浪费等具有重要意义，值得研究。
目前，边缘计算在很多方面都发挥着重要的作用。比如，在公安安全方面，边缘计算可用于视频监控以及消防系统。在城市建设中，大量的摄像头被使用，摄像头产生海量的数据，利用边缘计算技术在距离设备较近的地方处理这些数据，可以很好的降低网络传输带宽。在智能家居方面，由于智能设备越来越多，如何有效的管理这些设备是需要解决的一个问题。Yuan D等人设计了[7]一种基于边缘计算的智能家居安全检测系统，该系统将网络流量转换为图像，然后应用图像训练卷积神经网络对网络流量进行分类。在制造业方面，利用边缘计算技术可以实现更快的数据分析，简化运营，提高制造企业的生产效率和服务质量。边缘计算的商业价值方面Guo等人[8]针对边缘云的资源融合以及服务分发问题，开展了探索性研究工作，提出了“边际计算模型”。边缘计算与缓存方面，Zhu J等人[9]考虑到网页加载的时间主要发生在前端，通过在边缘服务器中对网页中js/css等资源进行优化并缓存，有效降低用户的访问时延。Chen M等人[10]提出一种基于任务流行度、任务大小以及缓存所需的计算能力的最优缓存策略，提供对计算任务的缓存，有效减低时延。
云计算资源预测是云计算平台实现资源高效管理和系统安全、稳定运行的重要前提和保障措施之一，长期以来一直受到研究者的关注且运用于资源预测中的预测方法也有很多。谢晓兰等人针对容器云存在过度供应和供应不足等资源问题，提出[11]一种基于三次指数平滑法和时间卷积网络的云资源预测模型,根据历史数据预测未来的资源需求，使用TPOT调参思想优化参数，提供更好的预测性能。针对云计算环境中的资源负载预测问题，国内外一些学者提出了多种解决方案和负载预测模型。这些预测模型[12]一般将云计算资源负载看作一种时间序列，然后通过一定的建模方法对其进行预估。文献[13]使用ARIMA负载预测模型对虚拟机集群的负载进行收集及预测。随着人工神经网络的发展，越来越多的人工神经网络方法被应用到时间序列预测当中。文献[14]对LSTM负载预测模型与ARIMA预测模型进行了比较分析，从结果可以看出，LSTM负载预测模型优于ARIMA负载预测模型。文献[15]通过优化支持向量机构建负载预测模型，对单步与多步云计算资源负载进行预测分析。文献[16]使用递归神经网络RNN来实现对云工作负荷的预测，通过Google CloudTrance数据集上的实验验证了该方法的准确性。文献[17]首先使用ARIMA模型进行预测，再使用ENN模型对AR-MA误差进行预测，最终得到修正后的预测值。该文献提出的组合预测模型有效地提升了云环境中工作负载预测的精度。采用多模型融合的方式进行了云计算资源负载预测，将负载数据集分为训练集与测试集，利用ARIMA、指数平滑法、神经网络等预测模型根据训练集的平均均方误差对测试集各预测结果进行权重划分，最后得到组合预测值。文献[18]采用了ARIMA-ANN的组合预测模型，分别对时间序列数据进行线性和非线性的预测，并将最终结果组合。实验结果表明，混合模型均具有更高的预测精度。文献[19]提出了Flink环境下基于负载预测的弹性资源调度(LPERS-Flink)策略，建立负载预测模型并在此基础上提出负载预测算法,预测集群负载的变化趋势，最后，通过在线负载迁移算法执行调度计划,实现高效的节点间负载迁移；
可见，对平台历史资源进行时效性，准确性的预测，是如何对平台历史资源数据进行时效性、准确性的预测，是研究容器云资源预测的重要问题之一。
发明内容
针对现有技术中存在的问题，本发明提供一种基于ARIMA-LSTM的容器云资源预测方法，解决了单个预测算法不能同时求解容器云资源需求量数据中的线性分量和非线性分量问题。
本发明是通过以下技术方案来实现：
一种基于ARIMA-LSTM的容器云资源预测方法包括，
S1，将容器云资源使用量时间序列输入到ARIMA模型中，得到将线性拟合预测值；
S2，通过比较原始数据和线性拟合预测值，得到拟合误差序列，再利用LSTM模型预测拟合误差序列得到非线性误差预测值，
S3，将线性拟合预测值与非线性误差预测值相加，得出ARIMA模型和LSTM模型两者的混合模型最终的预测结果，即为容器负载预测的结果；
S4，对容器负载预测的结果实行容器调度策略，以及对容器负载预测的结果的误差进行修正，实现对容器云资源的精准预测。
优选的，所述线性拟合预测值的表达式为：
式中，为ARIMA模型的线性拟合预测值，St表示差分平稳序列，Zt表示随机误差，表示回归参数，p表示自回归系数，q表示移动平均数，t表示时间，i,j均为系数，
优选的，所述非线性误差预测值的表达式为：
式中，y表示的是容器负载原始时间序列，f1表示LSTM模型代表的函数关系，n为窗口大小，为LSTM模型的非线性误差预测值；
优选的，所述混合模型最终的预测结果的表达式为：
式中，valuet表示最终的预测值，PARIMA表示求出的ARIMA模型的权重，PLSTM表示求出的LSTM模型的权重，表示ARIMA模型的线性拟合预测值，/>表示LSTM模型的非线性误差预测值，t表示时间。
优选的，所述ARIMA模型建立过程包括数据平稳性检测、数据差分处理、模型定阶、模型检验以及模型结果预测。
优选的，所述LSTM模型建立过程包括数据预处理、模型参数设置、模型训练和结果输出。
优选的，所述容器负载预测的结果采用CRITIC客观赋权法实现ARIMA模型和LSTM模型两种模型预测结果的融合。
优选的，所述容器调度策略具体过程为：
将容器负载预测值作为容器调度策略的输入，作为被调度容器的选择标准，对集群内容器云资源在运行状态时，对集群内各节点的负载值进行周期性监控，并基于阈值将节点分成三类，分别为低负载节点、临界负载节点以及高负载节点；
当节点负载高于高负载阈值时，触发容器调度机制，将该负载节点上的部分容器云资源调度到低负载节点上，实现集群负载均衡。
优选的，所述容器负载预测的结果的误差修正采用误差评价指标衡量容器负载预测的结果与容器负载真实值之间的差距，从而评价容器负载预测结果的精确度。
优选的，所述误差评价指标包括绝对平均误差，绝对平均百分比误差，均误差以及均方根误差。
所述数据平稳性检测的具体过程为：
通过观察容器负载时间序列变化趋势来判断是否数据平稳，若时间序列值仅在其中一个常数附近随机变化并且没有出现周期规律的趋势，则数据平稳；若时间序列值存在单增或单减趋势，则数据非平稳。
所述数据平稳性检测的具体过程为：
通过观察容器负载时间序列的ACF自相关图和偏自相关图所表现的特征来判定数据平稳性，
若ACF自相关图和偏自相关图中的自相关和偏自相关系数都迅速衰减并趋于零，且没有明显的周期性模式，则数据平稳。
若ACF自相关图和偏自相关图中存在明显的周期性模式，或者自相关和偏自相关系数在滞后0之后缓慢衰减，则数据非平稳。
与现有技术相比，本发明具有以下有益的技术效果：
本发明在边缘计算框架EdgeX Foundry，以及开源容器云平台Kubernetes基础之上，提出了一种基于ARIMA-LSTM混合模型的容器云资源预测方法，通过ARIMA模型的线性特点和LSTM的非线性特点优势预测容器云的资源需求量，有效提高了预测精度，从而为容器云资源的管理和利用提供更准确的数据基础。本申请介绍了基于容器负载预测的容器调度策略的实现，主要包括容器负载预测模型的构建以及基于预测值实现容器调度；然后通过实验分析证明了基于容器负载预测的容器调度策略比kube-scheduler策略能更有效的保证集群负载均衡，提升集群整体资源利用率。
本发明基于ARIMA-LSTM的容器云资源预测方法，充分使用了网络边缘的网络资源、存储资源和计算资源，使任务可以在网络边缘进行处理，充分保证了服务的实时性和高健壮性。本发明Autoregressive Integrated Moving Average model(ARIMA)-LongShort-Term Memory(LSTM)混合模型的容器云资源预测方法，解决了单个预测算法不能同时求解容器云资源需求量数据中的线性分量和非线性分量问题。该模型使用自回归综合移动平均模型(ARIMA)来预测资源需求量中的线性分量，并使用长短期记忆模型(LSTM)来预测非线性分量。结合容器云平台监测数据，使用ARIMA-LSTM模型对未来容器云资源需求量进行预测，并与ARIMA模型，LSTM模型进行比较。最后，实验结果表明该混合模型可以有效提高预测的准确性。
容器云资源需求量的时间序列中含有线性分量和非线性分量，仅采用单一模型难以充分学习资源使用量序列的特性。本申请采用线性和非线性模型组合的方法来预测容器云资源需求量，利用线性模型ARIMA拟合时间序列的资源需求量数据，最大程度地消除数据中的线性成分；然后利用非线性模型LSTM来预测线性模型无法拟合的误差序列，并以此来校正最终预测结果。
附图说明
图1是本发明基于ARIMA-LSTM的容器云资源预测方法中ARIMA模型的构建图；
图2是本发明基于ARIMA-LSTM的容器云资源预测方法中LSTM模型的构建图；
图3是本发明基于ARIMA-LSTM的容器云资源预测方法中ARIMA-LSTM预测模型；
图4是本发明基于ARIMA-LSTM的容器云资源预测方法中节点分类；
图5是本发明基于ARIMA-LSTM的容器云资源预测方法中容器负载时间序列；
图6是本发明基于ARIMA-LSTM的容器云资源预测方法中ACF自相关图；
图7是本发明基于ARIMA-LSTM的容器云资源预测方法中一阶差分序列；
图8是本发明基于ARIMA-LSTM的容器云资源预测方法中ACF自相关图；
图9(a)是本发明基于ARIMA-LSTM的容器云资源预测方法中ACF图；
图9(b)本发明基于ARIMA-LSTM的容器云资源预测方法中是PACF图；
图10是本发明基于ARIMA-LSTM的容器云资源预测方法中模型预测结果；
图11是本发明基于ARIMA-LSTM的容器云资源预测方法中集群资源利用率。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
ARIMA模型在时间序列分析中的能力和灵活性已得到广泛证明。ARIMA模型建立过程主要包括数据平稳性检测、数据差分处理、模型定阶、模型检验以及模型结果预测，ARIMA模型构建流程如图1所示。
1)数据平稳性检测：时间序列平稳性检测最常用的就是观察法。观察法通过观察容器负载时间序列变化趋势来判断是否平稳，判断依据是如果时间序列值只在某个常数附近随机变化并且没有出现周期规律的趋势，数据平稳；如果时间序列值存在单增或单减趋势，数据非平稳。除了观察时间序列自身变化趋势判定是否平稳外，还可以通过观察时间序列的观察ACF自相关图和偏自相关图所表现的特征来判定数据平稳性。通过计算自相关函数和偏自相关函数来画图，其中通过自相关函数如式(1)可以获取自相关数如式(2)：
其中，yt为容器负载值，表示是在n时间段内容器负载平均数，E表示期望。
偏自相关函数如下所示。
其中，k为滞后系数。
2)数据差分处理：因为模型只能处理平稳数据，所以面对非平稳数据时必须进行差分处理。差分处理的原则是能用低阶满足要求就不在用高阶进行处理，因为过度的差分会使原始数据信息丢失，差分处理数学表达式如下。
zt＝yt-yt-1,t＝1,2,3… (4)
其中，zt表示差分后的数据，yt为原始的容器负载值。
3)模式定阶：根据前面介绍可得，ARIMA(p,d,q)模型中包含了自回归系数、差分次数以及移动平均项阶数。在使用ARIMA模型进行预测之前需要确定这三个参数，针对差分阶数需要由所做差分处理的阶数决定；针对自回归系数和移动平均项阶数可利用AIC和BIC标准选择出最小参数。本发明使用AIC准则确定参数，AIC准则的数学表达式为：
AIC＝-2In(L)+2N (5)
L表示为模型的似然函数，N为模型中未知参数的个数。
4)有效性检验：有效性检验主要包括对模型的显著性检验和对参数的显著性检验。其中针对模型的显著性检验，主要是通过检验残差序列是否为白噪声序列，通常使用LB检验统计量作为残差序列有效性检验标准。针对ARIMA模型，先做出下面假设检验：
在以上假设基础上构建LB统计量。
其中，表示的是自相关系数，n是项数，m是总项数。当第一个假设成立时，说明模型是显著有效的；当第二个假设成立时，说明残差序列中还存在线性关系，模型不显著有效。
针对参数显著性检验主要是为了检验模型中所有参数是否是显著非零的，通过删除不显著的参数来精简模型。针对模型参数做出如下假设。
βj是参数。参数显著性检验的统计量如下所示。
是残差和方程，/>当第一个假设成立时，需要删除这个参数；当第二假设成立时，说明参数是显著的，不需要删除。
5)ARIMA模型预测：通过上述步骤确定模型，使用确定好的模型对容器负载时间序列数据进行预测，得到容器负载预测结果为
式中，St表示差分平稳序列，Zt表示随机误差，p表示自回归系数，q表示移动平均数。
LSTM预测模型构建过程如图2所示。从图2中可知LSTM预测模型构建分为数据预处理、模型参数设置、模型训练和结果输出。
1)数据预处理：原始的容器负载时间序列数据不适合直接被预测模型使用。因此，在使用数据之前需要对数据进行预处理，常用的预处理方法是将时间序列数值范围限定在[0,1]之间，即数据归一化处理。归一化数学表达式如下。
式中，t表示时间，yt表示t时刻的输入原始时间序列数据，yt(max)和yt(min)分别表示原始数据的上界和下界，zt(max)和zt(min)分别为1和-1。
2)模型参数设置：LSTM模型中有训练窗口数大小、隐藏层节点数以及训练迭代次数参数，并通过调整参数值训练模型。模型激活函数的选取至关重要，考虑到ReLu模型具有明显的优势，本发明选用ReLu激活函数。
3)模型训练和模型结果输出：将容器负载数据输入到模型中进行训练，当达到迭代次数时，训练结束。使用训练好的模型实现容器负载数据的预测，将预测出来的结果进行反归一化，得到最终的预测值如下。
y表示的是容器负载原始时间序列，f1表示LSTM模型代表的函数关系，n为窗口大小。
本发明构建的云资源预测模型如图3所示，
如图3所示，将容器云资源使用量时间序列输入到ARIMA模型中，得到线性资源预测值；比较原始数据和线性拟合数据，得到拟合误差序列；利用LSTM模型预测拟合误差序列；将线性拟合预测值与非线性误差预测值相加，得出混合模型最终的预测结果。使用CRITIC客观赋权法实现两种模型预测结果的融合，并使用误差修正提升预测精度。CRITIC是一种客观的权重赋权方法，通过各指标概率和各指标权重计算出各模型的权重，能更好的挖掘各单一模型中的有用信息。这里指标是指用于评价预测结果的误差评价指标，本发明选用4种误差评价指标。
首先，针对指标权重的计算，先计算各指标包含的信息量Cj如下。
σj表示第j项指标的标准差，本发明采用4种误差评价指标，因此k＝4；tij为评价指标i和j之间的相关系数，其中m表示模型的个数且m＝2。信息量Cj取值越大，说明该指标包含的信息量越大。
通过各指标包含的信息量Cj计算出各指标权重Wj如下。
然后，通过指标权重Wj和指标概率Pij求出各模型的权重Pi如下。
AIC＝-2In(L)+2N (15)
Pij表示各指标的概率，指标概率如下。
rij表示标准化后的误差评价指标值。
最后，利用各模型权重融合各模型的预测结果如下。
PARIMA表示求出的ARIMA模型的权重，PLSTM表示求出的LSTM模型的权重，表示ARIMA模型的预测值，/>表示LSTM模型的预测值。本发明计算得出的权重值分别为PARIMA＝0.42，PLSTM＝0.58。得到组合预测结果后，通过组合预测结果和真实值求出误差，并对误差进行修正，进一步提升预测结果精度。
边缘计算集群中的负载是动态随机变化的，集群中节点负载过高或过低都会影响部署的应用容器所使用的资源。因此，为了保证集群负载均衡从而提升集群资源利用率，对集群内容器资源进行合理调度是非常重要的。基于容器负载预测的结果，实行容器调度策略：
针对集群在运行状态时，对集群内各节点的负载值进行周期性监控，并基于阈值将节点分成三类，分别为低负载节点、临界负载节点以及高负载节点。当节点负载高于高负载阈值时，就触发容器调度机制，
其中，CVl表示低阈值界限，CVh表示高阈值界限，当节点负载值高于CVh时触发容器调度机制，将该负载节点上的部分容器调度到低负载节点上，实现集群负载均衡，提升集群资源利用率。低阈值界限CVl＝0.4，高阈值界限值CVh＝0.8；
待调度容器的选择：
容器调度机制进行容器调度时，选择高负载节点中的容器应用进行调度，可以有效降低节点负载，实现集群的负载均衡。在选择被调度容器的时候，借用上文提出的容器负载预测模型，使用模型对该节点上所有的容器进行预测，然后综合考虑容器现有负载值和预测值来算出容器负载综合值，将容器负载综合值最高的容器调度到低负载节点上。假设容器当前的负载值为x，使用预测模型预测出来的下一时刻的负载值为y，定义综合容器负载值为：
Z＝α1*x+α2*y (17)
α1和α2为权重系数，α1+α2＝1.0,0≤α1≤1,0≤α2≤1，其中α1＝0.3，α2＝0.7；
调度目标节点的选择
为待调度容器选择目标节点的时候，需要考虑目标节点的剩余资源量是否能满足容器应用的资源需要。本发明仅考虑CPU这一种负载值，所以仅考虑节点剩余CPU计算量是否满足容器应用即可。容器调度策略从高负载节点中选择待调度容器后，将其调度到低负载节点列表中任意一个节点即可。
评价指标
1)误差评价指标
为了衡量容器负载预测值与容器负载真实值之间的差距，需要选用合理的评价指标来评价容器负载预测结果的精确度，而精确度最直观的量化标准就是用误差。常见的误差指标如下所示。
绝对平均误差(MAE)，公式为。
绝对平均百分比误差(MAPE)，公式为。
均误差(MSE)，公式为。
均方根误差(RMSE)，公式为。
2)集群负载均衡度
使用集群负载均衡度来评价容器调度效果。假设集群中包括n个节点，即。集群内各资源节点的负载为，则集群负载均衡度记作
集群负载的方差为记作如下形式。
实施例1
实验与结果分析
实验环境
本实验的硬件环境为一台PC，其配备i5处理器，16G内存。软件环境为Windows10操作系统，编程语言是Python3.0。容器云平台集群环境为一个Kubernetes集群，集群内包含一个Master节点三个Node节点。开源边缘计算框架EdgeX Foundry以容器方式部署在Kubernetes集群上面。
实验数据获取
本次实验中，利用自定义监控方案对所搭建的边缘计算平台中的应用容器进行样本数据的采集，采集时间间隔为5s，利用半小时采集数据即360个数据作为样本，取前90％即324个样本数据作为预测模型的输入数据，后10％即36个样本数据作为真实值与预测值进行对比。因为实验条件的局限性，这里暂时主要利用容器云的CPU资源使用量作为预测分析。如图5所示是样本数据的折线图，从图中可以看出，样本数据在时间上具有一定的相关性，发现其都是动态变化的，在短时间内频繁波动，包含有线性关系和非线性关系，具备一定的规律性和周期性。
从图5可以看出，容器负载数据是动态随机变化的，并且在短时间内负载值波动频繁，由此可以得出负载数据中包含线性成分数据和非线性成分数据。图4-6中样本数据前期CPU利用率比后期高，是因为所采集的数据是在基于强化学习容器伸缩策略控制下环境中采集的，负载请求由新Pod分摊，所以容器CPU利用率会降低，因此样本数据才会存在这样的趋势。
结果与分析
负载预测实验
1)ARIMA模型参数确定
数据平稳性检测。容器负载原始时间序列如图5所示，时间序列的ACF自相关如图6所示。通过观察图5原始数据和图6的自相关图可以得出容器负载时间序列数据是不平稳。
数据平稳性处理：对容器负载原始时间序列数据做差分处理，得到的一阶差分序列如图7所示。
将容器负载时间序列数据经过一阶差分后，需要对一阶差分数据进行平稳性检测，其中一阶差分数据的自相关图如图8所示，图中出现截尾表明差分后的时间序列平稳。
模型定阶：对非平稳化数据进行差分处理，可以唯一确定序列差分阶数d。而针对p参数和q参数存在多种可能，这里将0-4之间的所有可能组合值进行计算其信息量，信息量最小所对应的那组参数就是模型最优参数。表1中可以看出(1,3)是最小的，因此确定ARIMA模型的三个参数，分别为1,1,3。
表1AIC信息量
| Lags | MA0 | MA1 | MA2 | MA3 | MA4 |
| AR0 | -2748.850080 | -2866.079341 | -2895.105837 | -2895.245884 | -2898.353067 |
| AR1 | -2905.795073 | -2903.958764 | -2917.989124 | -2923.503967 | -2922.298918 |
| AR2 | -2903.912504 | -2919.072048 | -2899.940115 | -2913.793084 | -2916.249377 |
| AR3 | -2904.800603 | -2899.953573 | -2897.998250 | -2896.006101 | -2909.380232 |
| AR4 | -2910.143014 | -2900.841792 | -2901.553587 | -2902.840389 | -2894.495934 |
模型检验：通过上文模型定阶确定了模型的参数，将所确定的参数代入模型检验，通过绘制容器负载时间序列的残差序列的ACF和PACF如图9(a)和图9(b)所示，可以看出该模型通过检验，最终确定该模型为ARIMA(1,1,3)。
2)负载预测
通过上文获取的实验数据对组合预测模型进行训练，使用训练好的模型对容器负载数据进行预测。ARIMA模型和LSTM模型的相关参数值如表2、3所示。
表2LSTM模型参数
| 参数 | 参数值 |
| train_test_split | 0.9 |
| epochs | 200 |
| batch_size | 50 |
表3ARIMA模型参数
| 参数 | 参数值 |
| p | 1 |
| d | 1 |
| q | 3 |
利用容器负载组合预测模型以及各单一模型分别对容器负载数据进行预测，模型预测效果如图10所示，各模型误差评价指标值如表4所示。
图10显示三种预测模型的预测结果，可以看出ARIMA-LSTM组合预测模型的预测值与真实值最为接近，可以得出组合预测模型预测效果最好。为准确评价各模型的预测效果，使用4种误差评价指标评价模型预测的精度，各模型的误差指标值如表4所示。
表4误差值
从表4中加粗字体数据可以看出，ARIMA-LSTM组合模型的预测误差最小，精度最高。结合模型预测结果图和模型误差值可以得出结论：ARIMA-LSTM组合预测模型的预测最佳，对实现容器资源调度提供有效的数据依据。
容器调度实验
将上文的容器负载预测值作为容器调度策略的输入，作为被调度容器的选择标准。实验结果以集群资源利用率和集群负载均衡度来衡量。表5是集群负载均衡度，图11所示是集群CPU资源利用率。
表5集群资源负载均衡度
| Kube-scheduler调度 | ALS调度 | |
| 负载均衡度 | 0.2 | 0.09 |
从表5也可以得出，ALS策略下的集群负载均衡度比Kube-scheduler策略低，说明ALS策略更能有效保证集群负载均衡。从图11也可以看出，ALS策略对比Kube-scheduler能更有效的提升集群资源利用率。因此，ALS策略比Kubernetes原生调度策略好，更能满足边缘计算场景中资源调度的需求。
本发明在边缘计算框架EdgeX Foundry，以及开源容器云平台Kubernetes基础之上，提出了一种基于ARIMA-LSTM混合模型的容器云资源预测方法，通过ARIMA模型的线性特点和LSTM的非线性特点优势预测容器云的资源需求量，有效提高了预测精度，从而为容器云资源的管理和利用提供更准确的数据基础。本申请介绍了基于容器负载预测的容器调度策略的实现，主要包括容器负载预测模型的构建以及基于预测值实现容器调度；然后通过实验分析证明了基于容器负载预测的容器调度策略比kube-scheduler策略能更有效的保证集群负载均衡，提升集群整体资源利用率。
参考文献
[1]Evans D.The Internet of Things how the next evolution of theInternet is chanting everythint(april 2011)[J].White Paper by Cisco InternetBusiness Solutions Group(IBSG),2012.
[2]Dustdar S,Avasalcai C,Murturi I.Invited Paper:Edge and FogComputing:Vision and Research Challenges[C]//2019IEEE InternationalConference on Service-Oriented System Engineering(SOSE).IEEE,2019.
[3]Wang H X.Docker-Compose Installation and Deployment and NginxApplication Construction in Cloud Computing Scenario.2019.
[4]Saha P,Beltre A,Uminski P,et al.Evaluation of Docker Containersfor Scientific Workloads in the Cloud[J].2019.
[5]Ma X.A Container Cloud Elastic Scaling Strategy Based on LoadCharacteristics Prediction[J].Journal of Information Security Research,2019.
[6]Zwolenski M,Weatherill L.The Digital Universe Rich Data and theIncreasing Value of the Internet of Things[J].Australian Journal ofTelecommunications&the Digital Economy,2014,2(3).
[7]Yuan D,Ota K,Dong M,et al.Intrusion Detection for Smart HomeSecurity Based on Data Augmentation with Edge Computing[C]//ICC 2020-2020IEEEInternational Conference on Communications(ICC).IEEE,2020.
[8]Cao X,Tang G,Guo D,et al.Edge Federation:Towards an IntegratedService Provisioning Model[J].IEEE/ACM Transactions on Networking,2020,PP(99):1-14.
[9]Zhu J,Chan D S,Prabhu M S,et al.Improving web sites performanceusing edge servers in fog computing architecture}C]//2013IEEE SeventhInternational Symposium on Service-Oriented System Engineering.IEEE,2013:320-323.
[10]Chen M,Hao Hu L,computation,caching,and et al.Edge-CoCaCo:Towardjoint communication on edge cloud[J].optimization of IEEE WirelessCommunications,2018.25(3):21-27.
[11]谢晓兰,张征征,王建伟,等.基于三次指数平滑法和时间卷积网络的云资源预测模型[J].通信学报,2019,40(8):8.
[12]Kim I K,Wang W,Qi Y,et al.CloudInsight:Utilizing a council ofexperts to predict future cloud application workloads[C]//Proc of 2018IEEE11th International Conference on Cloud Computing(CLOUD),2018:41-48.
[13]Calheriros R N,Masoumi E,Ranjan R,et al.Workload prediction usingARIMA model and ite impact on cloud applications’QoS[J].IEEE Tansactions onCloud Computing,2014,3(4):449-458.
[14]Sudhakar C,Kumar A R,Siddartha N,et al.Workload prediction usingARIMA statistical model and long short-term memory recurrent neural networks[C]//Proc of 2018International Conference on Computing,Power andCommunication Technologies(GUCON),2018:600-604.
[15]Zhao Li.Cloud computing resource load prediction model based onsupport vector machine[J].Journal of Nanjing University of Science andTechnology:Natural Science Edition,2018,42(6):687-692.(in Chinese)
[16]Zhang W,Li B,Zhao D,et al.Workload prediction for cloud clusterusing a recurrent neural network[C]//Proc of 2016International Conference onIdentification,Information and Knowledge in the Internet of Things(IIKI),2016:104-109.
[17]Jiang Wei,Chen Yu-zhong,Huang Qi-cheng,et al.A host loadprediction method under cloud environment[J].Computer Science,2018,45(S1):270-274.(in Chinese)
[18]Babu C N,Reddy B E.A moving-average filer based hybrid ARIMA-ANNmodel for forecasting time series data[J].Applied Soft Computing,2014,23:27-38.
[19]李梓杨,于炯,王跃飞,等.Flink环境下基于负载预测的弹性资源调度策略[J].通信学报,2020,41(10):17.
以上所述，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上所述而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。
Claims (10)
1.一种基于ARIMA-LSTM的容器云资源预测方法，其特征在于，包括，
S1，将容器云资源使用量时间序列输入到ARIMA模型中，得到将线性拟合预测值；
S2，通过比较原始数据和线性拟合预测值，得到拟合误差序列，再利用LSTM模型预测拟合误差序列得到非线性误差预测值；
S3，将线性拟合预测值与非线性误差预测值相加，得出ARIMA模型和LSTM模型两者的混合模型最终的预测结果，即为容器负载预测的结果；
S4，对容器负载预测的结果实行容器调度策略，以及对容器负载预测的结果的误差进行修正，实现对容器云资源的精准预测，提升集群整体资源利用率。
2.根据权利要求1所述的一种基于ARIMA-LSTM的容器云资源预测方法，其特征在于，所述线性拟合预测值的表达式为：
式中，为ARIMA模型的线性拟合预测值，/>表示回归参数，St表示差分平稳序列，Zt表示随机误差，p表示自回归系数，q表示移动平均数，t表示时间，i，j均为系数。
3.根据权利要求2所述的一种基于ARIMA-LSTM的容器云资源预测方法，其特征在于，所述非线性误差预测值的表达式为：
式中，y表示的是容器负载原始时间序列，f1表示LSTM模型代表的函数关系，n为窗口大小，为LSTM模型的非线性误差预测值。
4.根据权利要求3所述的一种基于ARIMA-LSTM的容器云资源预测方法，其特征在于，所述混合模型最终的预测结果的表达式为：
式中，valuet表示最终的预测值，PARIMA表示求出的ARIMA模型的权重，PLSTM表示求出的LSTM模型的权重，表示ARIMA模型的线性拟合预测值，/>表示LSTM模型的非线性误差预测值，t表示时间。
5.根据权利要求1所述的一种基于ARIMA-LSTM的容器云资源预测方法，其特征在于，所述ARIMA模型建立过程包括数据平稳性检测、数据差分处理、模型定阶、模型检验以及模型结果预测。
6.根据权利要求1所述的一种基于ARIMA-LSTM的容器云资源预测方法，其特征在于，所述LSTM模型建立过程包括数据预处理、模型参数设置、模型训练和结果输出。
7.根据权利要求1所述的一种基于ARIMA-LSTM的容器云资源预测方法，其特征在于，所述容器负载预测的结果采用CRITIC客观赋权法实现ARIMA模型和LSTM模型两种模型预测结果的融合。
8.根据权利要求1所述的一种基于ARIMA-LSTM的预测方法，其特征在于，所述容器调度策略具体过程为：
将容器负载预测值作为容器调度策略的输入，作为被调度容器的选择标准，对集群内容器云资源在运行状态时，对集群内各节点的负载值进行周期性监控，并基于阈值将节点分成三类，分别为低负载节点、临界负载节点以及高负载节点；
当节点负载高于高负载阈值时，触发容器调度机制，将该负载节点上的部分容器云资源调度到低负载节点上，实现集群负载均衡。
9.根据权利要求1所述的一种基于ARIMA-LSTM的预测方法，其特征在于，所述容器负载预测的结果的误差修正采用误差评价指标衡量容器负载预测的结果与容器负载真实值之间的差距，从而评价容器负载预测结果的精确度。
10.根据权利要求9所述的一种基于ARIMA-LSTM的预测方法，其特征在于，所述误差评价指标包括绝对平均误差，绝对平均百分比误差，均误差以及均方根误差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410040645.1A CN117827617A (zh) | 2024-01-10 | 2024-01-10 | 基于arima-lstm的容器云资源预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410040645.1A CN117827617A (zh) | 2024-01-10 | 2024-01-10 | 基于arima-lstm的容器云资源预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117827617A true CN117827617A (zh) | 2024-04-05 |
Family
ID=90519010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410040645.1A Pending CN117827617A (zh) | 2024-01-10 | 2024-01-10 | 基于arima-lstm的容器云资源预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117827617A (zh) |
-
2024
- 2024-01-10 CN CN202410040645.1A patent/CN117827617A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110400021B (zh) | 银行网点现金用量预测方法及装置 | |
| CN110533112A (zh) | 车联网大数据跨域分析融合方法 | |
| CN111028100A (zh) | 考虑气象因素的精细化短期负荷预测方法、装置及介质 | |
| Rabie et al. | A new outlier rejection methodology for supporting load forecasting in smart grids based on big data | |
| CN116307215A (zh) | 一种电力系统的负荷预测方法、装置、设备及存储介质 | |
| Sundararajan et al. | Regression and generalized additive model to enhance the performance of photovoltaic power ensemble predictors | |
| CN111752706A (zh) | 资源配置方法、装置及存储介质 | |
| CN113780684A (zh) | 一种基于lstm神经网络的智慧楼宇用户用能行为预测方法 | |
| CN114066073A (zh) | 电网负荷预测方法 | |
| CN105933138B (zh) | 一种时空维度相结合的云服务可信态势评估与预测方法 | |
| Mahan et al. | A novel resource productivity based on granular neural network in cloud computing | |
| Dogra et al. | Consumers profiling based federated learning approach for energy load forecasting | |
| Zhang et al. | A novel QoS prediction approach for cloud service based on bayesian networks model | |
| Wang et al. | A study of situation awareness-based resource management scheme in cloud environment | |
| Xu et al. | Federated learning for interpretable short-term residential load forecasting in edge computing network | |
| CN116578858A (zh) | 基于图神经网络的空压机故障预测与健康度评价方法及系统 | |
| CN117827617A (zh) | 基于arima-lstm的容器云资源预测方法 | |
| CN114880067A (zh) | 一种基于容器负载预测的容器调度策略 | |
| Bi et al. | Adaptive prediction of resources and workloads for cloud computing systems with attention-based and hybrid LSTM | |
| Preetham et al. | Resource provisioning in cloud using arima and lstm technique | |
| Rozehkhani et al. | Efficient cloud data center: An adaptive framework for dynamic Virtual Machine Consolidation | |
| Li | Energy consumption forecasting with deep learning | |
| Singh et al. | A feature extraction and time warping based neural expansion architecture for cloud resource usage forecasting | |
| CN109472398A (zh) | 基于相对鲁棒CVaR的电网投资项目组合优化方法 | |
| CN112801372B (zh) | 数据处理方法、装置、电子设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |