CN113220466A - 一种基于长短期记忆模型的云服务负载通用预测方法 - Google Patents

一种基于长短期记忆模型的云服务负载通用预测方法 Download PDF

Info

Publication number
CN113220466A
CN113220466A CN202110611989.XA CN202110611989A CN113220466A CN 113220466 A CN113220466 A CN 113220466A CN 202110611989 A CN202110611989 A CN 202110611989A CN 113220466 A CN113220466 A CN 113220466A
Authority
CN
China
Prior art keywords
model
cloud service
term
training
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110611989.XA
Other languages
English (en)
Inventor
李扬
陈杉杉
张鼎
王晨程
秦和珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DIGITAL CHINA ADVANCED SYSTEMS SERVICES CO LTD
Original Assignee
DIGITAL CHINA ADVANCED SYSTEMS SERVICES CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DIGITAL CHINA ADVANCED SYSTEMS SERVICES CO LTD filed Critical DIGITAL CHINA ADVANCED SYSTEMS SERVICES CO LTD
Priority to CN202110611989.XA priority Critical patent/CN113220466A/zh
Publication of CN113220466A publication Critical patent/CN113220466A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

发明涉及一种基于长短期记忆模型的云服务负载通用预测方法。准确预测云服务负载对于云计算资源调度的有效性至关重要。然而，由于不同云服务负载模式的多样性和动态性，难以设计适合各种类型云服务的通用负载预测方法。本发明提出一种通用的云服务负载预测方法，基于长短期记忆模型以准确预测各种类型各种云服务的动态负载；采用贝叶斯优化方法以训练模型的超参数，以生成针对特定负载的准确预测模型；跟踪数据中相对长期的相关性，以准确预测长期负载中的各种模式。

Description

一种基于长短期记忆模型的云服务负载通用预测方法
技术领域
本发明涉及一种基于长短期记忆模型的云服务负载通用预测方法，属于软件技术领域。
背景技术
云服务负载预测用来预测在下个时间间隔内到达的作业或请求数量，是实现有效云服务自动扩展的主要需求。通过准确的负载预测，云服务用户或提供商可以设计更好的自动扩展策略或虚拟机调度机制。通过提前正确分配虚拟机或容器的物理资源，避免资源分配过度或不足，从而导致云资源使用成本过高或违反服务级别协议。
不同云服务的不同作业类型的负载模式具有巨大差异性，例如循环、渐变或突发，同时负载模式随着时间的推移而变化。负载模式的多样性需要针对每个负载类型调整和优化负载预测方法，从而能够准确识别和预测负载的各种模式。普通云服务用户通常不具备统计学、时间序列和机器学习方面的专业知识，难预测特定云服务的负载特征和数量。因此，需要提供通用的云服务负载预测方法，以准确预测各种动态负载。云服务提供商通过提供通用的负载预测方法，来帮助普通云服务用户根据预测的负载，为自动化伸缩操作提供决策依据。
已有负载预测方法通常面向特定应用类型，如云计算（Charles Reiss, AlexeyTumanov, Gregory Ganger, Randy Katz, and Michael Kozuch. Heterogeneity andDynamicity of Clouds at Scale: Google Trace Analysis. In ACM Symp. on CloudComputing, 2012.）、网格计算（Alexandru Iosup, Hui Li, Mathieu Jan, ShannyAnoep, Catalin Dumitrescu, Lex Wolters, and Dick H.J. Epema. The GridWorkloads Archive. Future Generation Computer Systems, 24(7), 2008.），应对不同负载类型，例如作业到达率、资源需求。这些方法将负载表示为时间序列数据，以应用不同的时间序列模型，如ES/WMA （Anshul Gandhi, Mor Harchol-Balter, Ram Raghunathan,and Michael A. Kozuch. AutoScale: Dynamic, Robust Capacity Management forMulti-Tier Data Centers. ACM Trans. on Computer Systems, 30(4), 2012.）、ARIMA（Hao Lin, Xin Qi, Shuo Yang, and Samuel P. Midkiff. Workload-Driven VMConsolidation in Cloud Data Center. In IEEE International Parallel andDistributed Processing Symposium (IPDPS), 2015.）。然而，这些方法仅针对特定类型的云服务类型和工作负载进行模型训练，不同的预测方法仅针对特定的负载能够产生准确的预测结果，难以应用于不同或未知的负载模式，因此缺乏通用性。
发明内容
本发明的目的：解决当前负载预测方法仅针对特定类型的云服务类型和工作负载进行模型训练，难以应用于不同或未知的负载模式，因而缺乏通用性的问题。
本发明的原理：提出一种通用的云服务负载预测方法，基于长短期记忆模型以准确预测各种类型各种云服务的动态负载。同时，采用了贝叶斯优化方法以训练模型的超参数，以生成针对特定负载的准确预测模型。可以跟踪数据中相对长期的相关性，从而能够预测负载中的各种模式。
本发明技术解决方案：一种基于长短期记忆模型的云服务负载通用预测方法，其特点在于实现步骤如下：
步骤1：模型训练。随机选择一组超参数，配置初始长短期记忆模型，然后使用训练数据集对其进行训练，经过训练得到新模型。
步骤2：模型验证。使用云服务负载数据集对模型进行交叉检验。将预测的作业到达率与实际的作业到达率进行比较，计算出模型的平均预测误差。具体步骤如下：
长短期记忆人工神经网络是循环神经网络的一种优化和延伸，通过上一个状态的 输出和当前的输入两个值决定的，从而能够将以前的信息连接到当前任务以利用历史信 息。然而，循环神经网络在当前任务和历史信息较远时无法有效的利用历史信息，为解决循 环神经网络在长依赖上的问题，长短期记忆模型具有两个传递状态
Figure 267163DEST_PATH_IMAGE002
与
Figure 873725DEST_PATH_IMAGE004
，采取与 循环神经网络相同的链状结构和与其不同的四层神经网络进行各类实际应用的处理。
（1）忘记阶段，作为门控状态，也就是所谓的“忘却门”， 用于控制上个状态值
Figure 54039DEST_PATH_IMAGE006
中那些信息删除。输出结果计算为
Figure 605106DEST_PATH_IMAGE008
。其中，
Figure 279801DEST_PATH_IMAGE010
为前一个任务的输出，
Figure 727488DEST_PATH_IMAGE012
为当前输出，将其这两个值拼接，乘以该层权重矩阵
Figure 95015DEST_PATH_IMAGE014
，
Figure 258012DEST_PATH_IMAGE016
则是该层偏置值，
Figure 205239DEST_PATH_IMAGE018
为作为sigmoid激活函数将
Figure 35661DEST_PATH_IMAGE020
转换 成0或1之间的数值
Figure 308510DEST_PATH_IMAGE022
，
（2）选择记忆阶段，决定对输入
Figure DEST_PATH_IMAGE023
进行选择性记忆，并通过与上一步“忘却门”类 似的方式，这个阶段主要使用与上一层不同的该层权重矩阵
Figure DEST_PATH_IMAGE025
与偏置值
Figure DEST_PATH_IMAGE027
求出“记忆 门”
Figure DEST_PATH_IMAGE029
进行门控。输出结果计算为：
Figure DEST_PATH_IMAGE031
以及
Figure DEST_PATH_IMAGE033
。 其中，tanh激活函数将乘以相应权重矩阵
Figure DEST_PATH_IMAGE035
并加上偏置 值
Figure DEST_PATH_IMAGE037
的输入
Figure 329775DEST_PATH_IMAGE038
和输出
Figure DEST_PATH_IMAGE039
转化为-1到1的值，作为输入下一阶段的输入数据
Figure DEST_PATH_IMAGE041
。
（3）输出阶段，对上一任务状态
Figure DEST_PATH_IMAGE042
进行删除，对上一阶段暂时的输入值
Figure DEST_PATH_IMAGE043
进 行放缩，两者相加最终得到当前状态
Figure DEST_PATH_IMAGE045
。对
Figure DEST_PATH_IMAGE047
再进行一次 sigmoid过滤和tanh函数激活也就得到了当前任务的输出
Figure DEST_PATH_IMAGE049
。
步骤3：参数调整。根据模型超参数及其误差，使用贝叶斯优化从可能的超参数的预定义搜索空间中选择新的和可能的超参数集。然后，执行在步骤1，使用新的超参数集来配置和训练新的模型。主要包括以下超参数：
（1）历史长度n：当n太小时，模型很难学习跨越长时间的依赖性；当n太大时，模型可能学习不相关的依赖关系，并遭受爆炸/消失梯度问题，导致预测精度差并产生高计算开销。（2）单元存储器的大小（单元数量）s：单元存储器由长度为s的向量表示，如果s太大就会增加模型的复杂性，增加过度拟合的风险。模型可能与训练数据过于接近，失去预测未来数据的能力，导致更高的计算成本。如果s太小，则可能无法捕捉数据中复杂的时间相关性，从而导致较差的预测精度。（3）模型层数也有类似的问题。（4）批处理训练数据的大小，影响训练过程的有效性，从而影响训练模型的准确性。
本发明使用贝叶斯优化技术（Jonas Mockus. On bayesian methods forseeking the extremum and their application. In 7th IFIP Congress onInformation Processing, 1977.）为每个负载和/或负载的每个部分搜索更好的超参数集。贝叶斯优化用高斯过程的非线性回归来搜索更好的超参数。搜索是迭代优化过程，在每次迭代中，贝叶斯优化使用已经探索过的超参数集及相应的模型精度。用高斯过程建立回归模型，然后使用该模型预测可能更好的超参数以训练模型，该模型的精度通过交叉验证数据集进行评估。在若干次数的迭代之后，从这些迭代中找到最佳模型。
步骤4：模型选择。训练和优化过程重复执行多次迭代过程。在这些迭代之后，比较所有验证的模型，并且选择具有最低误差的模型作为最终模型。
步骤5：负载预测。使用预测步骤4得到的模型，根据历史云服务负载数据预测未来的作业到达率。
本发明与现有技术相比具有如下优点：
1）基于长短期记忆模型以准确预测各种类型各种云服务的动态负载；
2）基于贝叶斯优化方法训练模型超参数，以生成针对特定负载的预测模型；
3）可以跟踪数据中相对长期的相关性，从而能够预测负载中的各种模式。
附图说明
图1为云服务负载预测方法步骤。
具体实施方式
以下结合具体实施例和附图对本发明进行详细说明，如图1所示，本发明实施例方法流程：
云服务负载数据搜集：搜集来自不同类别的云服务负载用于评估负载预测方法，例如，Web应用负载、高性能计算负载、公有云访问负载、数据中心工作负载等。为了评估负载预测方法在不同的负载模式下是否正常工作，这些负载以不同的间隔长度进行评估。
云服务负载预测模型构建：负载预测方法使用Tensorflow、Scikit-learn和GpyOpt实现。对于长短期记忆模型训练，使用“均方误差”作为损失函数，Adam优化算法作为优化器；对于贝叶斯优化，使用高斯过程作为概率模型以构建回归。基于以上方法。
云服务负载预测模型训练：训练集和交叉验证集的大小定义为：每个负载的前60%的作业到达率设置为训练集，20%用作交叉验证集，20%用于测试负载预测方法的准确性。
云服务负载预测模型参数优化：使用贝叶斯优化来搜索超参数需要定义搜索空间。搜索空间表示为超参数值的范围，包括历史长度的范围、长短期模型单元矢量大小、长短期模型层数和批量处理数据量、优化迭代的次数。迭代计数表示将使用贝叶斯优化生成的超参数集的数量，生成的集合越多，找到准确集合的机会就越大，但更多的迭代也需要更多的执行时间。
将当前云服务负载时间序列数据作为输入，基于以上构建的云服务负载预测模型进行预测，输出为下一个时间点的云服务负载量。

Claims (1)

1.方法特征在于实现步骤如下：
步骤1，模型训练：随机选择一组超参数，配置初始长短期记忆模型，然后使用训练数据集对其进行训练，经过训练更新原有模型；
步骤2，模型验证：使用云服务负载数据集对模型进行交叉检验，将预测的作业到达率与实际的作业到达率进行比较，计算出模型的平均预测误差；
步骤3，超参数调整：根据模型超参数及其误差，使用贝叶斯优化从可能的超参数的预定义搜索空间中选择新的和可能的超参数集；然后，重复执行步骤1，使用新的超参数集来配置和训练新的模型；
步骤4，模型优化：训练和优化过程重复执行多次迭代过程；在这些迭代之后，比较所有验证的模型，并且选择具有最低误差的模型作为最终模型；
步骤5，负载预测：使用预测步骤4得到的模型，根据历史云服务负载数据预测未来的作业到达率。
CN202110611989.XA 2021-06-02 2021-06-02 一种基于长短期记忆模型的云服务负载通用预测方法 Pending CN113220466A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110611989.XA CN113220466A (zh) 2021-06-02 2021-06-02 一种基于长短期记忆模型的云服务负载通用预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110611989.XA CN113220466A (zh) 2021-06-02 2021-06-02 一种基于长短期记忆模型的云服务负载通用预测方法

Publications (1)

Publication Number Publication Date
CN113220466A true CN113220466A (zh) 2021-08-06

Family

ID=77082288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110611989.XA Pending CN113220466A (zh) 2021-06-02 2021-06-02 一种基于长短期记忆模型的云服务负载通用预测方法

Country Status (1)

Country Link
CN (1) CN113220466A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672392A (zh) * 2021-08-25 2021-11-19 国家电网有限公司信息通信分公司 能耗优化的方法及装置、电子设备及计算机可读存储介质
CN116126534A (zh) * 2023-01-28 2023-05-16 哈尔滨工业大学（威海） 一种云资源动态伸缩方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502799A (zh) * 2016-12-30 2017-03-15 南京大学 一种基于长短时记忆网络的主机负载预测方法
CN108170529A (zh) * 2017-12-26 2018-06-15 北京工业大学 一种基于长短期记忆网络的云数据中心负载预测方法
CN109194423A (zh) * 2018-08-13 2019-01-11 中国人民解放军陆军工程大学 基于优化的长短期记忆模型的单频点频谱预测方法
CN110135637A (zh) * 2019-05-13 2019-08-16 武汉科技大学 基于长短期记忆与自适应提升的微电网短期负荷预测方法
CN111491006A (zh) * 2020-03-03 2020-08-04 天津大学 负载感知的云计算资源弹性分配系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502799A (zh) * 2016-12-30 2017-03-15 南京大学 一种基于长短时记忆网络的主机负载预测方法
CN108170529A (zh) * 2017-12-26 2018-06-15 北京工业大学 一种基于长短期记忆网络的云数据中心负载预测方法
CN109194423A (zh) * 2018-08-13 2019-01-11 中国人民解放军陆军工程大学 基于优化的长短期记忆模型的单频点频谱预测方法
CN110135637A (zh) * 2019-05-13 2019-08-16 武汉科技大学 基于长短期记忆与自适应提升的微电网短期负荷预测方法
CN111491006A (zh) * 2020-03-03 2020-08-04 天津大学 负载感知的云计算资源弹性分配系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672392A (zh) * 2021-08-25 2021-11-19 国家电网有限公司信息通信分公司 能耗优化的方法及装置、电子设备及计算机可读存储介质
CN116126534A (zh) * 2023-01-28 2023-05-16 哈尔滨工业大学（威海） 一种云资源动态伸缩方法及系统

Similar Documents

Publication Publication Date Title
US11782926B2 (en) Automated provisioning for database performance
Marathe et al. Performance modeling under resource constraints using deep transfer learning
CN110389820B (zh) 一种基于v-TGRU模型进行资源预测的私有云任务调度方法
CN111427750B (zh) 一种计算机平台的gpu功耗估计方法、系统及介质
CA3090095C (en) Methods and systems to determine and optimize reservoir simulator performance in a cloud computing environment
CN113220466A (zh) 一种基于长短期记忆模型的云服务负载通用预测方法
EP2671152A1 (en) Estimating a performance characteristic of a job using a performance model
Liu et al. CORP: Cooperative opportunistic resource provisioning for short-lived jobs in cloud systems
CN112052081A (zh) 一种任务调度方法、装置及电子设备
CN118069380A (zh) 一种算力资源处理方法
Fekry et al. Tuneful: An online significance-aware configuration tuner for big data analytics
CN113391907A (zh) 一种任务的放置方法、装置、设备和介质
Boulmier et al. An autonomic approach for the selection of robust dynamic loop scheduling techniques
CN113158435B (zh) 基于集成学习的复杂系统仿真运行时间预测方法与设备
CN110413406A (zh) 一种任务负载预测系统及方法
CN106874215B (zh) 一种基于Spark算子的序列化存储优化方法
Koch et al. SMiPE: estimating the progress of recurring iterative distributed dataflows
Glänzel et al. Parallel computing in automation of decoupled fluid-thermostructural simulation approach
Perez et al. Bottleneck-aware task scheduling based on per-stage and multi-ml profiling
Adve et al. Model-based control of adaptive applications: An overview
CN110796234B (zh) 一种用于预测计算机状态的方法和装置
Frasca et al. Can models of scientific software-hardware interactions be predictive?
TWI782845B (zh) 通用型圖形處理器核心函式之組態設定預測系統及方法
US20240160990A1 (en) Circuit cutting taking into account transpilation error
Omondi et al. A Variated Monte Carlo Tree Search Algorithm for Automatic Performance Tuning to Achieve Load Scalability in InnoDB Storage Engines‟

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210806