CN114077492A - 云计算基础设施资源的预测模型训练、预测方法和系统 - Google Patents
云计算基础设施资源的预测模型训练、预测方法和系统 Download PDFInfo
- Publication number
- CN114077492A CN114077492A CN202010831941.5A CN202010831941A CN114077492A CN 114077492 A CN114077492 A CN 114077492A CN 202010831941 A CN202010831941 A CN 202010831941A CN 114077492 A CN114077492 A CN 114077492A
- Authority
- CN
- China
- Prior art keywords
- data
- cloud computing
- prediction
- time sequence
- infrastructure resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003062 neural network model Methods 0.000 claims abstract description 35
- 230000008676 import Effects 0.000 claims abstract description 8
- 238000013500 data storage Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 12
- 230000010365 information processing Effects 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 7
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000013468 resource allocation Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000008602 contraction Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Computer And Data Communications (AREA)
Abstract
本公开涉及云计算基础设施资源的预测模型训练、预测方法和系统，所述系统包括：训练数据存储单元，从时序数据库中导入用于云计算基础设施资源预测的训练数据(X，z)；训练单元，得出训练好的ARIMA模型和神经网络模型，并导入预测单元；待预测数据接收单元，从时序数据库中导入待预测的时序数据Xt；以及预测单元，接收来自所述预测数据接收单元的待预测的时序数据Xt，利用所述ARIMA模型和所述神经网络模型，得出实际基础设施资源使用量数据zt的实际基础设施资源使用量预测值
Description
技术领域
本公开涉及计算机网络技术领域。更具体地，本公开涉及在云计算基础设施资源分配中基于人工智能的云计算基础设施资源的预测模型训练方法、预测方法和预测系统。
背景技术
随着计算机网络技术的发展，最初作为分布式计算的一种方式的云计算已经广为普及。现阶段的云计算已经不单是一种分布式计算，而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机和网络技术混合演进并跃升的结果。作为一种全新的网络应用概念，云计算的核心概念在于以互联网为中心，在网站上提供快速且安全的云计算服务与数据存储，让每一个使用互联网的人都可以使用网络上的庞大计算资源与数据中心。与传统的网络应用模式相比，云计算的优势在于高灵活性、可扩展性和高性比等。云计算可被视为一种提供资源的网络，使用者可以随时获取“云”上的资源，按需求量使用，并且可以看成是无限扩展的，只要按使用量付费就可以。
具体而言，基础设施即服务(IaaS，Infrastructure as a Service)作为云计算主要的服务类别之一，能够向个人或组织提供虚拟化计算资源，如虚拟机、处理器、存储器、网络和操作系统等资源。当用户租用云计算中的计算和存储等虚拟基础设施资源时，系统多采用动态自动分配、弹性扩缩容方式提供基础设施资源。因此，准确预测用户对基础设施资源的使用趋势对精准分配资源、合理弹性扩缩容起到决定性作用。
在云计算基础设施资源使用量的预测中，利用时序数据库来存储基础设施资源用以构建基础设施资源预测方法及系统是一种有效的方式。时序数据库即时间序列数据库，主要用于存放和处理带时间标签(即时间戳)的数据(即时间序列数据、时序数据)，不同于传统关系型数据库仅仅记录有数据的当前值，时序数据库中记录了所有的历史数据，对其中的时序数据的查询总会带上时间作为过滤条件。时序数据库可支持时序数据的快速写入、持久化、多维度的聚合查询等基本功能，是为了解决海量数据场景而设计的。时序数据是基于时间的一系列数据，通过对时序数据进行基于时间线的分析等，可揭示其中反映的趋势性、规律性、异常性。在面向未来的角度，通过对时序数据进行大数据分析、AI/ML(人工智能/机器学习)等，可以在云计算基础设施资源分配中实现预测和预警。现阶段业内已在重点开展面向人工智能的云计算资源调度和管理等解决方案的研发。
在基于时序数据库进行云计算基础设施资源预测的实际工作中，由于时序数据库相比于其它数据库的特殊性，例如具有时间特性的周期性、趋势性、抖动性等，以及由于用于云计算基础设施资源预测的资源数据库的多维特征等的影响，因此相应的预测往往十分复杂，业内尚无成熟的能够稳定提高云计算基础设施资源预测精确度和效率的有效方案。
发明内容
在现有技术中基于时序数据库进行云计算基础设施资源预测的复杂度高，缺乏有效提高预测精准度和效率的预测方案。有鉴于此，本公开的目的在于提供一种云计算基础设施资源的预测模型训练方法、预测方法和系统，在基于基础设施资源时序数据库进行云计算基础设施资源预测的过程中，通过将时序数据的时间特征和其它特征区分开来同步分析多维特征，基于对多种影响因素的准确分析来对云计算基础设施资源进行预测，从而提高云计算基础设施资源预测的准确度，提升云计算基础设施资源分配的效率。
在下文中给出了关于本公开的简要概述，以便提供关于本公开的一些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来限定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。
根据本公开的一个方面，提供了一种云计算基础设施资源的预测模型训练方法。该方法可以包括：训练数据输入步骤，从时序数据库导入用于云计算基础设施资源预测的训练数据(X，z)，其中用于训练的时序数据X是包括用于云计算基础设施资源预测的多维特征的多条现有基础数据，数据z是与时序数据X对应的实际基础设施资源使用量的现有数据；时序特征学习步骤，根据差分整合移动平均自回归ARIMA(Autoregressive IntegratedMoving Average Model)模型学习时序数据X的时序特征，获得时序数据X的时序特征解ARIMA(X)，并得到去时序基础设施资源拟合数据y作为时序残差数据，其中y＝z－ARIMA(X)；以及神经网络训练步骤，将数据(X，y)作为训练数据导入神经网络模型进行训练，训练目标为时序残差数据y的时序残差预测值
根据本公开的另一方面，提供了一种云计算基础设施资源的预测方法。该方法可以包括：待预测数据输入步骤，从时序数据库导入用于云计算基础设施资源预测的待预测的时序数据Xt，该时序数据Xt是包括用于云计算基础设施资源预测的多维特征的t时刻的基础数据；时序预测值计算步骤，根据训练好的用于云计算基础设施资源预测的差分整合移动平均自回归ARIMA模型，计算用于云计算基础设施资源预测的时序预测值ARIMA(Xt)；时序残差预测值计算步骤，将输入的待预测的时序数据Xt导入训练好的用于云计算基础设施资源预测的神经网络模型，得到用于云计算基础设施资源预测的去时序资源拟合数据yt的时序残差预测值
以及实际资源预测值计算步骤，基于时序残差预测值
和时序预测值ARIMA(Xt)得出实际基础设施资源使用量数据zt的实际基础设施资源使用量预测值
根据本公开的又一方面，提供了一种计算机可读存储介质。该计算机可读存储介质存储有可执行指令，当所述可执行指令由信息处理装置执行时，使所述信息处理装置执行上述方法。
根据本公开的再一方面，提供了一种云计算基础设施资源预测系统。该系统可以包括：训练数据存储单元，从时序数据库导入用于云计算基础设施资源预测的训练数据(X，z)，其中时序数据X是包括用于云计算基础设施资源预测的多维特征的多条现有基础数据，数据z是与时序数据X对应的实际基础设施资源使用量的现有数据；训练单元，根据差分整合移动平均自回归ARIMA模型学习时序数据X的时序特征，获得时序数据X的时序特征解ARIMA(X)，并通过y＝z－ARIMA(X)得到去时序基础设施资源拟合数据y作为时序残差数据，将数据(X，y)作为训练数据导入神经网络模型进行训练，训练目标为时序残差数据y的时序残差预测值
从而得出训练好的用于云计算基础设施资源预测的ARIMA模型和神经网络模型，并将所述ARIMA模型和神经网络模型导入预测单元；待预测数据接收单元，从时序数据库中导入待预测的时序数据Xt；以及预测单元，接收来自所述待预测数据接收单元的待预测的时序数据Xt，根据训练好的用于云计算基础设施资源预测的ARIMA模型，计算用于云计算基础设施资源预测的时序预测值ARIMA(Xt)，并将待预测的时序数据Xt导入训练好的用于云计算基础设施资源预测的神经网络模型，得到用于云计算基础设施资源预测的去时序资源拟合数据yt的时序残差预测值
基于时序残差预测值
和时序预测值ARIMA(Xt)得出实际基础设施资源使用量数据zt的实际基础设施资源使用量预测值
根据本公开的另一方面，提供了一种电子设备。该电子设备可以包括：存储器，以及处理电路，其中所述存储器存储从时序数据库导入的用于云计算基础设施资源预测的训练数据(X，z)以及待预测的时序数据Xt，其中时序数据X是包括用于云计算基础设施资源预测的多维特征的多条现有基础数据，数据z是与时序数据X对应的实际基础设施资源使用量的现有数据，所述处理电路被配置为：根据差分整合移动平均自回归ARIMA模型学习时序数据X的时序特征，获得时序数据X的时序特征解ARIMA(X)，并通过y＝z－ARIMA(X)得到去时序基础设施资源拟合数据y作为时序残差数据，将数据(X，y)作为训练数据导入神经网络模型进行训练，训练目标为时序残差数据y的时序残差预测值
从而得出训练好的用于云计算基础设施资源预测的ARIMA模型和神经网络模型，以及接收来自所述存储器的待预测的时序数据Xt，根据训练好的用于云计算基础设施资源预测的ARIMA模型，计算用于云计算基础设施资源预测的时序预测值ARIMA(Xt)，并将待预测的时序数据Xt导入训练好的用于云计算基础设施资源预测的神经网络模型，得到用于云计算基础设施资源预测的去时序资源拟合数据yt的时序残差预测值
基于时序残差预测值
和时序预测值ARIMA(Xt)得出实际基础设施资源使用量数据zt的实际基础设施资源使用量预测值
发明效果
根据本发明，在基于基础设施资源时序数据库进行云计算基础设施资源预测的过程中，通过将时序数据的时间特征和其它特征区分开来同步分析多维特征，基于对多种影响因素的准确分析来对云计算基础设施资源使用量进行预测，从而能够提高云计算基础设施资源预测的准确度，提升云计算基础设施资源分配的效率。
附图说明
图1是根据本公开实施例的基于时序数据库进行基础设施资源预测的总体概念性示意图；
图2是示出根据本公开实施例的云计算基础设施资源预测系统200的示例性示意图；
图3是示出根据本公开实施例的云计算基础设施资源的预测模型训练方法的总体处理的示例性流程图；
图4是示出根据本公开实施例的云计算基础设施资源的预测方法的总体处理的示例性流程图。
具体实施方式
以下将参照附图详细地描述本公开内容的优选实施例。应注意到，除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。同时，为了便于描述，附图中所示出的各个部分的尺寸并非按照实际的比例关系绘制的。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，并不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，而在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。本公开内容的技术能够应用于各种产品。
以下，对根据本公开实施例的基于时序数据库进行基础设施资源预测的整体构架进行说明。图1是根据本公开的实施例的基于时序数据库进行云计算基础设施资源预测的总体概念性示意图。在时序数据库100中存储有现有云计算基础设施资源数据，该现有基础设施资源数据包括时间戳以及其它涉及基础设施资源的连续或离散的特征数据，包括但不限于例如位置、带宽、机架数、虚拟机数量、处理器数量、存储器容量、网络和操作系统等。当在进行云计算基础设施资源分配和调度等时想基于现有基础设施资源数据来预测未来特定基础设施资源使用量数据的情况下，通过调用云计算基础设施资源预测系统200，即可直接获得所需要的基础设施资源使用量预测数据。
接下来，对本公开实施例的云计算基础设施资源预测系统的具体构造进行说明。图2是示出根据本公开实施例的云计算基础设施资源预测系统200的示例性示意图。本公开的云计算基础设施资源预测系统200可以包括：训练数据存储单元210，从时序数据库100中导入用于云计算基础设施资源预测的训练数据(X，z)，其中时序数据X是包括用于云计算基础设施资源预测的多维特征的多条现有基础数据，数据z是与时序数据X对应的实际基础设施资源使用量的现有数据；训练单元220，根据ARIMA模型学习时序数据X的时序特征，获得时序数据X的时序特征解ARIMA(X)，并通过y＝z－ARIMA(X)得到去时序基础设施资源拟合数据y作为时序残差数据，将数据(X，y)作为训练数据导入神经网络模型进行训练，训练目标为时序残差数据y的时序残差预测值
从而得出训练好的用于云计算基础设施资源预测的ARIMA模型和神经网络模型，并将所述ARIMA模型和神经网络模型导入预测单元240；待预测数据接收单元230，从时序数据库100导入待预测的时序数据Xt；以及预测单元240，接收来自所述预测数据接收单元230的待预测的时序数据Xt，根据训练好的用于云计算基础设施资源预测的ARIMA模型，计算用于云计算基础设施资源预测的时序预测值ARIMA(Xt)，并将待预测的时序数据Xt导入训练好的用于云计算基础设施资源预测的神经网络模型，得到用于云计算基础设施资源预测的去时序资源拟合数据yt的时序残差预测值
基于时序残差预测值
和时序预测值ARIMA(Xt)得出实际基础设施资源使用量数据zt的实际基础设施资源使用量预测值
其中，ARIMA模型作为对非平稳时间序列数据进行分析和预测比较完善和精确的算法，特点在于不直接考虑其它相关随机变量的变化。建立ARIMA模型的方法步骤可以包括：时间序列的获取、时间序列的预处理、模型识别、模型定阶、参数估计、模型的验证等步骤。利用从时序数据库100导入的用于云计算基础设施资源预测的训练数据(X，z)来训练ARIMA模型，可以提取时序数据X的时序特征，获得时序数据X的时序特征解ARIMA(X)，从而将时序数据X的时间特征与其它影响特征区分开，有利于获取更加精准的预测结果。
在得到时序数据X的时序特征解ARIMA(X)之后，为了提取时间特征以外的其它特征、即非时间因素的影响，训练单元220再根据计算式y＝z－ARIMA(X)得到去时序资源拟合数据y作为时序残差数据；进而，所述训练单元220将数据(X，y)作为训练数据导入神经网络模型进行训练，训练目标为时序残差数据y的时序残差预测值
在现有技术中，基于传统神经网络的预测不能独立预测时间规律性，且精确度低下。而通过上述云计算基础设施资源预测系统，能够将云计算基础设施资源预测过程中的时序特征影响与其它特征影响分开，但又能同步训练、预测，有效提高了云计算基础设施资源预测的精准性，并且十分高效。
在非限制性的应用实例中，经过测试，云计算基础设施资源预测的精准性平均能够提高5％；而针对某些特定的业务特征值，在仅利用现有传统神经网络的预测准确度在70％的情况下，通过本公开的上述云计算基础设施资源预测系统，能够将预测准确度提升至75％～80％。
优选地，本公开的云计算基础设施资源预测系统200还可以包括基础设施资源预测执行单元250，接收来自所述预测单元240的实际基础设施资源使用量预测值
作为云计算基础设施资源预测系统200的接口，供资源控制执行器300在进行云计算基础设施资源分配等任务时直接调用所述实际基础设施资源使用量预测值
优选地，所述基础设施资源包括物理基础设施资源和虚拟基础设施资源；时序数据库100中存储的用于云计算基础设施资源预测的时序数据X和Xt格式相同，且都包括时间戳以及与从如下项目中选出的多项相关的信息：位置、虚拟机数量、处理器数量、存储器容量、基站量、机架数、数据中心量、服务器量、带宽、流量，以及人口、用户数、GDP、代表性行业公司数量等等；数据z和zt格式相同，作为预测目标基础设施资源，也都包括时间戳以及根据实际业务需求从上述项目中包括的实际基础设施资源使用量数据中选出的特定基础设施资源数据。
例如，在云平台运营者试图利用例如资源控制执行器300等对云平台的存储空间进行弹性扩缩容处理以分配存储空间的情况下，可以选择关于存储器容量的数据作为预测目标基础设施资源、即上述数据z和zt。此外，作为上述代表性行业公司，可以列举例如世界500强企业、大型央企、互联网类公司、金融类公司等。
更优选地，所述神经网络模型为全连接神经网络模型，损失函数为
选择全连接神经网络的原因在于，全连接神经网络几乎对网络模型没有任何限制，特点是灵活、参数多。在实际应用中，可以对模型加上限制，使其适合数据的特点。由于模型的限制，其参数会大幅减少，这降低了模型的复杂度，模型的普适性进而会提高。
作为损失函数选择
来进行模型的参数估计，
作为一种L2损失函数，其中的平方计算放大了估计值和真实值的距离，因此对偏离观测值的输出给予较大的惩罚。此外，L2损失是平滑函数，在求解其优化问题时有利于误差梯度的计算。
优选地，所述训练单元220在训练时对ARIMA模型的超参数和神经网络的超参数进行联合调整。由于超参数定义关于模型的更高层次的概念，如复杂性或学习能力，是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。因此，通过在训练时对ARIMA模型的超参数和神经网络的超参数进行联合调整，能够在将基础设施资源预测过程中的时序特征影响与其它特征影响分开的情况下有效地进行同步训练和预测，由于对超参数进行优化后能够针对模型选择最优超参数，从而能够提高学习的性能和效果。
优选地，所述预测单元240通过
得到实际基础设施资源使用量预测值
并将实际基础设施资源使用量预测值
输入基础设施资源预测执行单元250。
优选地，本公开的云计算基础设施资源预测系统200还可以包括实际资源预分配单元，根据预测出的实际基础设施资源使用量预测值
预先分配相应的基础设施资源。由此，能够在云平台实现云计算基础设施资源的精准分配、合理弹性扩缩容等。
接下来，对根据本公开实施例的云计算基础设施资源的预测模型训练方法进行说明。图3是示出云计算基础设施资源的预测模型训练方法的总体处理的示例性流程图。优选地，本实施例可由例如本公开的云计算基础设施资源预测系统200中的训练数据存储单元210和训练单元220执行。该方法可以包括以下步骤：
训练数据输入步骤S310：在例如训练数据存储单元210中执行，从时序数据库100导入用于云计算基础设施资源预测的训练数据(X，z)，其中用于训练的时序数据X是包括用于云计算基础设施资源预测的多维特征的多条现有基础数据，数据z是与时序数据X对应的实际基础设施资源使用量的现有数据；
时序特征学习步骤S320：在例如训练单元220中执行，根据ARIMA模型学习时序数据X的时序特征，获得时序数据X的时序特征解ARIMA(X)，并得到去时序基础设施资源拟合数据y作为时序残差数据，其中y＝z－ARIMA(X)；以及
神经网络训练步骤S330：在例如训练单元220中执行，将数据(X，y)作为训练数据导入神经网络模型进行训练，训练目标为时序残差数据y的时序残差预测值
由此，能够将云计算基础设施资源预测过程中的时序特征影响与其它特征影响分开，但又能同步训练、预测，有效提高了云计算基础设施资源预测的精准性，并且十分高效。
优选地，所述基础设施资源包括物理基础设施资源和虚拟基础设施资源；时序数据X包括时间戳以及与从如下的项目组中选出的多项相关的信息：位置、虚拟机数量、处理器数量、存储器容量、基站量、机架数、数据中心量、服务器量、带宽、流量，以及人口、用户数、GDP、代表性行业公司数量；数据z包括时间戳以及根据实际业务需求从所述项目组中包括的实际基础设施资源使用量数据中选出的特定基础设施资源数据，作为预测目标基础设施资源。
优选地，在所述神经网络训练步骤S330中，所述神经网络为全连接神经网络，损失函数为
优选地，根据本公开实施例的云计算基础设施资源的预测模型训练方法，通过计算式
基于时序残差预测值
和时序数据X的时序特征解ARIMA(X)得出实际基础设施资源使用量预测值
优选地，在本公开实施例的云计算基础设施资源的预测模型训练方法中，在训练时对ARIMA模型的超参数和神经网络的超参数进行联合调整。
接下来，对根据本公开实施例的云计算基础设施资源的预测方法进行说明。图4是示出根据本公开实施例的云计算基础设施资源的预测方法的总体处理的示例性流程图。优选地，本实施例可由例如本公开的云计算基础设施资源预测系统200中的待预测数据接收单元230和预测单元240等执行。该方法可以包括以下步骤：
待预测数据输入步骤S410：在例如待预测数据接收单元230中执行，从时序数据库中导入用于云计算基础设施资源预测的待预测的时序数据Xt，该时序数据Xt是包括用于云计算基础设施资源预测的多维特征的t时刻的基础数据；
时序预测值计算步骤S420：在例如预测单元240中执行，根据训练好的用于云计算基础设施资源预测的ARIMA模型，计算用于云计算基础设施资源预测的时序预测值ARIMA(Xt)；
时序残差预测值计算步骤S430：在例如预测单元240中执行，将输入的待预测的时序数据Xt导入训练好的用于云计算基础设施资源预测的神经网络，得到用于云计算基础设施资源预测的去时序资源拟合数据yt的时序残差预测值
以及
实际资源预测值计算步骤S440：在例如预测单元240中执行，基于时序残差预测值
和时序预测值ARIMA(Xt)得出实际基础设施资源使用量数据zt的实际基础设施资源使用量预测值
由此，通过利用将云计算基础设施资源预测过程中的时序特征影响与其它特征影响分开而得到的不同模型，有效提高了云计算基础设施资源预测的精准性，并且十分高效。
优选地，所述基础设施资源包括物理基础设施资源和虚拟基础设施资源；时序数据Xt包括时间戳以及与从如下的项目组中选出的多项相关的信息：位置、虚拟机数量、处理器数量、存储器容量、基站量、机架数、数据中心量、服务器量、带宽、流量，以及人口、用户数、GDP、代表性行业公司数量；实际基础设施资源使用量数据zt包括时间戳以及根据实际业务需求从所述项目组中包括的实际基础设施资源使用量数据中选出的特定基础设施资源数据，作为预测目标基础设施资源。
优选地，在所述实际资源预测值计算步骤S440中，
优选地，本公开的实施例的云计算基础设施资源的预测方法还可以包括实际资源预分配步骤S450，根据预测出的实际基础设施资源使用量预测值
预先分配相应的基础设施资源。由此，能够在云平台实现云计算基础设施资源的精准分配、合理弹性扩缩容等。
在一些实施例中，提供一种计算机可读存储介质，存储有可执行指令，当所述可执行指令由信息处理装置执行时，使所述信息处理装置执行根据本公开实施例的云计算基础设施资源的预测模型训练方法。
在一些实施例中，提供一种计算机可读存储介质，存储有可执行指令，当所述可执行指令由信息处理装置执行时，使所述信息处理装置执行根据本公开实施例的云计算基础设施资源的预测方法。
在一些实施例中，云计算基础设施资源预测系统200可以包括存储器和处理电路(未图示)。云计算基础设施资源预测系统200的存储器和处理电路可以提供其具备的各种功能，例如云计算基础设施资源预测系统200的存储器可以被配置为用于存储例如训练数据输入步骤S310中的用于云计算基础设施资源预测的训练数据(X，z)、以及待预测数据输入步骤S410中的用于云计算基础设施资源预测的待预测的时序数据Xt。云计算基础设施资源预测系统200的处理电路可以被配置为用于执行上述时序特征学习步骤S320、神经网络训练步骤S330、时序预测值计算步骤S420、时序残差预测值计算步骤S430、实际资源预测值计算步骤S440和实际资源预分配步骤S450。
云计算基础设施资源预测系统200的处理电路可以指在计算系统中执行功能的数字电路系统、模拟电路系统或混合信号(模拟和数字的组合)电路系统的各种实现。处理电路可以包括例如诸如集成电路(IC)、专用集成电路(ASIC)这样的电路、单独处理器核心的部分或电路、整个处理器核心、单独的处理器、诸如现场可编程门阵列(FPGA)的可编程硬件设备、和/或包括多个处理器的系统。
云计算基础设施资源预测系统200的存储器可以存储由处理电路产生的信息以及用于云计算基础设施资源预测系统200的操作的程序和数据。存储器可以是易失性存储器和/或非易失性存储器。例如，存储器可以包括但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)以及闪存存储器。
应当理解，上述各个步骤、单元等仅是根据其所实现的具体功能所划分的逻辑模块，而不是用于限制具体的实现方式。在实际实现时，上述各个单元可被实现为独立的物理实体，或者也可由单个实体(例如处理器(CPU或DSP等)、集成电路等)来实现。
应当理解，本公开的实施例的云计算基础设施资源的预测模型训练方法、预测方法和系统不仅能够应用于当前的云计算领域，其发明主旨同样可以应用于与计算机网络相关的其它领域，并且可以应用于未来新兴的各类计算机网络相关技术。
应当理解，本说明书中“实施例”或类似表达方式的引用是指结合该实施例所述的特定特征、结构、或特性系包括在本公开的至少一具体实施例中。因此，在本说明书中，“在本公开的实施例中”及类似表达方式的用语的出现未必指相同的实施例。
本领域技术人员应当知道，本公开被实施为一系统、装置、方法或作为计算机程序产品的计算机可读媒体(例如非瞬态存储介质)。因此，本公开可以实施为各种形式，例如完全的硬件实施例、完全的软件实施例(包括固件、常驻软件、微程序代码等)，或者也可实施为软件与硬件的实施形式，在以下会被称为“电路”、“模块”或“系统”。此外，本公开也可以任何有形的媒体形式实施为计算机程序产品，其具有计算机可使用程序代码存储于其上。
本公开的相关叙述参照根据本公开具体实施例的系统、装置、方法及计算机程序产品的流程图和/或框图来进行说明。可以理解每一个流程图和/或框图中的每一个块，以及流程图和/或框图中的块的任何组合，可以使用计算机程序指令来实施。这些计算机程序指令可供通用型计算机或特殊计算机的处理器或其它可编程数据处理装置所组成的机器来执行，而指令经由计算机或其它可编程数据处理装置处理以便实施流程图和/或框图中所说明的功能或操作。
在附图中显示根据本公开各种实施例的系统、装置、方法及计算机程序产品可实施的架构、功能及操作的流程图及框图。因此，流程图或框图中的每个块可表示一模块、区段、或部分的程序代码，其包括一个或多个可执行指令，以实施指定的逻辑功能。另外应当注意，在某些其它的实施例中，块所述的功能可以不按图中所示的顺序进行。举例来说，两个图示相连接的块事实上也可以同时执行，或根据所涉及的功能在某些情况下也可以按图标相反的顺序执行。此外还需注意，每个框图和/或流程图的块，以及框图和/或流程图中块的组合，可藉由基于专用硬件的系统来实施，或者藉由专用硬件与计算机指令的组合，来执行特定的功能或操作。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (18)
1.一种云计算基础设施资源的预测模型训练方法，包括：
训练数据输入步骤，从时序数据库导入用于云计算基础设施资源预测的训练数据(X，z)，其中用于训练的时序数据X是包括用于云计算基础设施资源预测的多维特征的多条现有基础数据，数据z是与时序数据X对应的实际基础设施资源使用量的现有数据；
时序特征学习步骤，根据差分整合移动平均自回归ARIMA模型学习时序数据X的时序特征，获得时序数据X的时序特征解ARIMA(X)，并得到去时序基础设施资源拟合数据y作为时序残差数据，其中y＝z－ARIMA(X)；以及
神经网络训练步骤，将数据(X，y)作为训练数据导入神经网络模型进行训练，训练目标为时序残差数据y的时序残差预测值
2.根据权利要求1所述的云计算基础设施资源的预测模型训练方法，其中，
所述基础设施资源包括物理基础设施资源和虚拟基础设施资源；
时序数据X包括时间戳以及与从如下的项目组中选出的多项相关的信息：位置、虚拟机数量、处理器数量、存储器容量、基站量、机架数、数据中心量、服务器量、带宽、流量，以及人口、用户数、GDP、代表性行业公司数量；
数据z包括时间戳以及根据实际业务需求从所述项目组中包括的实际基础设施资源使用量数据中选出的特定基础设施资源数据，作为预测目标基础设施资源。
3.根据权利要求1所述的云计算基础设施资源的预测模型训练方法，其中，
在所述神经网络训练步骤中，所述神经网络模型为全连接神经网络模型，损失函数为
4.根据权利要求1所述的云计算基础设施资源的预测模型训练方法，其中，
通过下式基于时序残差预测值
和时序数据X的时序特征解ARIMA(X)得出实际基础设施资源使用量预测值
5.根据权利要求1所述的云计算基础设施资源的预测模型训练方法，其中，
在训练时对ARIMA模型的超参数和神经网络模型的超参数进行联合调整。
6.一种云计算基础设施资源的预测方法，包括：
待预测数据输入步骤，从时序数据库导入用于云计算基础设施资源预测的待预测的时序数据Xt，该时序数据Xt是包括用于云计算基础设施资源预测的多维特征的t时刻的基础数据；
时序预测值计算步骤，根据训练好的用于云计算基础设施资源预测的差分整合移动平均自回归ARIMA模型，计算用于云计算基础设施资源预测的时序预测值ARIMA(Xt)；
时序残差预测值计算步骤，将输入的待预测的时序数据Xt导入训练好的用于云计算基础设施资源预测的神经网络模型，得到用于云计算基础设施资源预测的去时序资源拟合数据yt的时序残差预测值
以及
实际资源预测值计算步骤，基于时序残差预测值
和时序预测值ARIMA(Xt)得出实际基础设施资源使用量数据zt的实际基础设施资源使用量预测值
7.根据权利要求6所述的云计算基础设施资源的预测方法，其中，
所述基础设施资源包括物理基础设施资源和虚拟基础设施资源；
时序数据Xt包括时间戳以及与从如下的项目组中选出的多项相关的信息：位置、虚拟机数量、处理器数量、存储器容量、基站量、机架数、数据中心量、服务器量、带宽、流量，以及人口、用户数、GDP、代表性行业公司数量；
实际基础设施资源使用量数据zt包括时间戳以及根据实际业务需求从所述项目组中包括的实际基础设施资源使用量数据中选出的特定基础设施资源数据，作为预测目标基础设施资源。
8.根据权利要求6所述的云计算基础设施资源的预测方法，其中，
在所述实际资源预测值计算步骤中，
9.根据权利要求6所述的云计算基础设施资源的预测方法，还包括：
实际资源预分配步骤，根据预测出的实际基础设施资源使用量预测值
预先分配相应的基础设施资源。
10.一种计算机可读存储介质，存储有可执行指令，当所述可执行指令由信息处理装置执行时，使所述信息处理装置执行根据权利要求1～9中任一项所述的方法。
11.一种云计算基础设施资源预测系统，包括：
训练数据存储单元，从时序数据库导入用于云计算基础设施资源预测的训练数据(X，z)，其中时序数据X是包括用于云计算基础设施资源预测的多维特征的多条现有基础数据，数据z是与时序数据X对应的实际基础设施资源使用量的现有数据；
训练单元，根据差分整合移动平均自回归ARIMA模型学习时序数据X的时序特征，获得时序数据X的时序特征解ARIMA(X)，并通过y＝z－ARIMA(X)得到去时序基础设施资源拟合数据y作为时序残差数据，将数据(X，y)作为训练数据导入神经网络模型进行训练，训练目标为时序残差数据y的时序残差预测值
从而得出训练好的用于云计算基础设施资源预测的ARIMA模型和神经网络模型，并将所述ARIMA模型和神经网络模型导入预测单元；
待预测数据接收单元，从时序数据库中导入待预测的时序数据Xt；以及
预测单元，接收来自所述待预测数据接收单元的待预测的时序数据Xt，根据训练好的用于云计算基础设施资源预测的ARIMA模型，计算用于云计算基础设施资源预测的时序预测值ARIMA(Xt)，并将待预测的时序数据Xt导入训练好的用于云计算基础设施资源预测的神经网络模型，得到用于云计算基础设施资源预测的去时序资源拟合数据yt的时序残差预测值
基于时序残差预测值
和时序预测值ARIMA(Xt)得出实际基础设施资源使用量数据zt的实际基础设施资源使用量预测值
12.根据权利要求11所述的云计算基础设施资源预测系统，其中，
所述基础设施资源包括物理基础设施资源和虚拟基础设施资源；
时序数据X和Xt格式相同且都包括时间戳以及与从如下的项目组中选出的多项相关的信息：位置、虚拟机数量、处理器数量、存储器容量、基站量、机架数、数据中心量、服务器量、CPU量、硬盘存储量、带宽、流量，以及人口、用户数、GDP、代表性行业公司数量，
数据z和zt格式相同且都包括时间戳以及根据实际业务需求从所述项目组中包括的实际基础设施资源使用量数据中选出的特定基础设施资源数据，作为预测目标基础设施资源。
13.根据权利要求11所述的云计算基础设施资源预测系统，其中，
所述神经网络模型为全连接神经网络模型，损失函数为
14.根据权利要求11所述的云计算基础设施资源预测系统，其中，
所述训练单元在训练时对ARIMA模型的超参数和神经网络的超参数进行联合调整。
15.根据权利要求11所述的云计算基础设施资源预测系统，其中，
所述预测单元通过
得到实际基础设施资源使用量预测值
并将实际基础设施资源使用量预测值
输入基础设施资源预测执行单元。
16.根据权利要求11所述的云计算基础设施资源预测系统，还包括：
基础设施资源预测执行单元，接收来自所述预测单元的实际基础设施资源使用量预测值
作为云计算基础设施资源预测系统的接口，供资源控制执行器直接调用所述实际基础设施资源使用量预测值
17.根据权利要求11所述的云计算基础设施资源预测系统，还包括：
实际资源预分配单元，根据预测出的实际基础设施资源使用量预测值
预先分配相应的基础设施资源。
18.一种电子设备，包括：
存储器，以及
处理电路，其中
所述存储器存储从时序数据库导入的用于云计算基础设施资源预测的训练数据(X，z)以及待预测的时序数据Xt，其中时序数据X是包括用于云计算基础设施资源预测的多维特征的多条现有基础数据，数据z是与时序数据X对应的实际基础设施资源使用量的现有数据，
所述处理电路被配置为：
根据差分整合移动平均自回归ARIMA模型学习时序数据X的时序特征，获得时序数据X的时序特征解ARIMA(X)，并通过y＝z－ARIMA(X)得到去时序基础设施资源拟合数据y作为时序残差数据，将数据(X，y)作为训练数据导入神经网络模型进行训练，训练目标为时序残差数据y的时序残差预测值
从而得出训练好的用于云计算基础设施资源预测的ARIMA模型和神经网络模型，以及
接收来自所述存储器的待预测的时序数据Xt，根据训练好的用于云计算基础设施资源预测的ARIMA模型，计算用于云计算基础设施资源预测的时序预测值ARIMA(Xt)，并将待预测的时序数据Xt导入训练好的用于云计算基础设施资源预测的神经网络模型，得到用于云计算基础设施资源预测的去时序资源拟合数据yt的时序残差预测值
基于时序残差预测值
和时序预测值ARIMA(Xt)得出实际基础设施资源使用量数据zt的实际基础设施资源使用量预测值
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010831941.5A CN114077492B (zh) | 2020-08-18 | 2020-08-18 | 云计算基础设施资源的预测模型训练、预测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010831941.5A CN114077492B (zh) | 2020-08-18 | 2020-08-18 | 云计算基础设施资源的预测模型训练、预测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114077492A true CN114077492A (zh) | 2022-02-22 |
| CN114077492B CN114077492B (zh) | 2024-09-27 |
Family
ID=80281506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010831941.5A Active CN114077492B (zh) | 2020-08-18 | 2020-08-18 | 云计算基础设施资源的预测模型训练、预测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114077492B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114793197A (zh) * | 2022-03-29 | 2022-07-26 | 广州杰赛科技股份有限公司 | 基于nfv的网络资源配置方法、装置、设备及存储介质 |
| CN115759885A (zh) * | 2023-01-09 | 2023-03-07 | 佰聆数据股份有限公司 | 一种基于分布式物资供应下的物资抽检方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013185175A1 (en) * | 2012-06-15 | 2013-12-19 | National Ict Australia Limited | Predictive analytics for resource provisioning in hybrid cloud |
| CN108304355A (zh) * | 2018-02-08 | 2018-07-20 | 北京工业大学 | 一种基于sarima-wnn模型预测弹性云计算资源的方法 |
| CN109787855A (zh) * | 2018-12-17 | 2019-05-21 | 深圳先进技术研究院 | 基于马尔可夫链和时间序列模型的服务器负载预测方法及系统 |
| CN110795246A (zh) * | 2019-10-25 | 2020-02-14 | 新华三大数据技术有限公司 | 资源利用率的预测方法及装置 |
| CN111258767A (zh) * | 2020-01-22 | 2020-06-09 | 中国人民解放军国防科技大学 | 复杂系统仿真应用的云计算资源智能分配方法与装置 |
| US20200242483A1 (en) * | 2019-01-30 | 2020-07-30 | Intuit Inc. | Method and system of dynamic model selection for time series forecasting |
-
2020
- 2020-08-18 CN CN202010831941.5A patent/CN114077492B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013185175A1 (en) * | 2012-06-15 | 2013-12-19 | National Ict Australia Limited | Predictive analytics for resource provisioning in hybrid cloud |
| CN108304355A (zh) * | 2018-02-08 | 2018-07-20 | 北京工业大学 | 一种基于sarima-wnn模型预测弹性云计算资源的方法 |
| CN109787855A (zh) * | 2018-12-17 | 2019-05-21 | 深圳先进技术研究院 | 基于马尔可夫链和时间序列模型的服务器负载预测方法及系统 |
| US20200242483A1 (en) * | 2019-01-30 | 2020-07-30 | Intuit Inc. | Method and system of dynamic model selection for time series forecasting |
| CN110795246A (zh) * | 2019-10-25 | 2020-02-14 | 新华三大数据技术有限公司 | 资源利用率的预测方法及装置 |
| CN111258767A (zh) * | 2020-01-22 | 2020-06-09 | 中国人民解放军国防科技大学 | 复杂系统仿真应用的云计算资源智能分配方法与装置 |
Non-Patent Citations (2)
| Title |
|---|
| C. SUDHAKAR, A. R. KUMAR, N. SIDDARTHA AND S. V. REDDY: "Workload Prediction using ARIMA Statistical Model and Long Short-Term Memory Recurrent Neural Networks", 2018 INTERNATIONAL CONFERENCE ON COMPUTING, POWER AND COMMUNICATION TECHNOLOGIES (GUCON), 28 March 2019 (2019-03-28) * |
| 王恒健: "云工作负载预测模型研究与实现", 中国优秀硕士学位论文全文数据库, 15 October 2019 (2019-10-15) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114793197A (zh) * | 2022-03-29 | 2022-07-26 | 广州杰赛科技股份有限公司 | 基于nfv的网络资源配置方法、装置、设备及存储介质 |
| CN114793197B (zh) * | 2022-03-29 | 2023-09-19 | 广州杰赛科技股份有限公司 | 基于nfv的网络资源配置方法、装置、设备及存储介质 |
| CN115759885A (zh) * | 2023-01-09 | 2023-03-07 | 佰聆数据股份有限公司 | 一种基于分布式物资供应下的物资抽检方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114077492B (zh) | 2024-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Eyada et al. | Performance evaluation of IoT data management using MongoDB versus MySQL databases in different cloud environments | |
| CN106126601A (zh) | 一种社保大数据分布式预处理方法及系统 | |
| KR20130113653A (ko) | 대용량 데이터의 클러스터 결과 분석 시스템 및 방법 | |
| Zhang et al. | Virtual machine placement strategy using cluster-based genetic algorithm | |
| CN103440288A (zh) | 一种大数据存储方法及装置 | |
| CN110134738B (zh) | 分布式存储系统资源预估方法、装置 | |
| CN114077492B (zh) | 云计算基础设施资源的预测模型训练、预测方法和系统 | |
| CN110377519B (zh) | 大数据系统的性能容量测试方法、装置、设备及存储介质 | |
| CN111984677B (zh) | 资源数据核对方法、装置、计算机设备和存储介质 | |
| CN111090401B (zh) | 存储设备性能预测方法及装置 | |
| CN112000657A (zh) | 数据管理方法、装置、服务器及存储介质 | |
| CN114691356A (zh) | 数据并行处理方法、装置、计算机设备及可读存储介质 | |
| CN103577583A (zh) | 从大数据中高效计算用户数的方法 | |
| CN116975052A (zh) | 数据处理方法及相关设备 | |
| CN116521372A (zh) | 一种服务器集群的管理方法及相关组件 | |
| CN103902374B (zh) | 基于元胞自动机和赋权有向超图的云计算任务调度方法 | |
| CN110765100A (zh) | 标签的生成方法、装置、计算机可读存储介质及服务器 | |
| CN113850346B (zh) | Mec环境下多维属性感知的边缘服务二次聚类方法及系统 | |
| US11960939B2 (en) | Management computer, management system, and recording medium | |
| CN115618825A (zh) | 财务报表合并方法、装置、计算机可读介质及终端设备 | |
| CN111522644B (zh) | 基于历史运行数据预测并行程序运行时间的方法 | |
| CN113656187A (zh) | 基于5g的公安大数据算力服务系统 | |
| CN112988904A (zh) | 一种分布式数据管理系统及数据存储方法 | |
| CN113407620A (zh) | 基于异构Hadoop集群环境的数据块放置方法及系统 | |
| CN114710481B (zh) | 基于大数据的流量话单分析方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |