CN113076196A - 结合注意力机制和门控循环单元的云计算主机负载预测法 - Google Patents

结合注意力机制和门控循环单元的云计算主机负载预测法 Download PDF

Info

Publication number
CN113076196A
CN113076196A CN202110378860.9A CN202110378860A CN113076196A CN 113076196 A CN113076196 A CN 113076196A CN 202110378860 A CN202110378860 A CN 202110378860A CN 113076196 A CN113076196 A CN 113076196A
Authority
CN
China
Prior art keywords
data
attention mechanism
encoder
cloud computing
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110378860.9A
Other languages
English (en)
Inventor
李晋国
周绍景
温蜜
丁朋鹏
罗俊然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Electric Power
Original Assignee
Shanghai University of Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Electric Power filed Critical Shanghai University of Electric Power
Priority to CN202110378860.9A priority Critical patent/CN113076196A/zh
Publication of CN113076196A publication Critical patent/CN113076196A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种结合注意力机制和门控循环单元的云计算主机负载预测法，包括：步骤1，采集历史工作负载数据；步骤2，对历史工作负载数据进行处理，得到处理后的数据，而后构建多组训练数据；步骤3，采用训练数据训练深度自动编码器，并导出自动编码器的中间隐藏层信息作为压缩后的数据；步骤4，将压缩后的数据输入到结合注意力机制的门控循环单元编码器‑解码器网络中进行训练，得到训练完成的结合注意力机制的门控循环单元编码器‑解码器网络；步骤5，将需要预测的历史数据，经过步骤2处理后，输入到深度自动编码器，得到压缩数据；步骤6，将压缩数据输入训练完成的结合注意力机制的门控循环单元编码器‑解码器网络，得到预测结果。

Description

结合注意力机制和门控循环单元的云计算主机负载预测法
技术领域
本发明属于云计算技术领域，具体涉及一种结合注意力机制和门控循环单元的云计算主机负载预测法。
背景技术
云计算服务器中的工作负载是服务器维护和任务计划的关键指标。随着云计算的普及，云中工作负载的不断增加，在云计算数据中心不断进行资源的准确调度成为一个非常令人关注的问题。云计算系统的主要突出特性之一就是弹性，弹性意味着资源管理系统可以自动调配资源以适应各服务器工作负载的变化。高效的资源管理方案可以主动识别出可能的资源使用规律，以预测云中心未来的工作负载变化，并及时提供所需的资源或回收空闲的资源。
云服务提供商通常按照服务等级协议(SLA)按用户需求提供计算、存储和网络资源等。在进行云计算服务资源调度时有两种情况会导致损失：供应不足和过度供应。比如，某些热点事件可能会在短时间内吸引社交网络中的大量流量，如果云服务提供商无法及时提供足够的资源(即供应不足)，这会引起服务质量的降低、违反服务级别协议，最终导致客户的流失。而当调度系统在闲时提供过多的可用资源(即过度供应)，将会浪费大量能源，提高设备散热、维护等方面的额外成本。因此，准确的工作负载预测可以帮助制定高效的主动资源调度方案，并快速将资源提前分配给用户。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种结合注意力机制和门控循环单元的云计算主机负载预测法。
本发明提供了一种结合注意力机制和门控循环单元的云计算主机负载预测法，具有这样的特征，包括如下步骤：步骤1，采集历史工作负载数据；步骤2，对历史工作负载数据进行处理，得到处理后的数据，而后构建多组训练数据；步骤3，采用训练数据通过反向传播的方法训练深度自动编码器，并导出自动编码器的中间隐藏层信息作为压缩后的数据；步骤4，将压缩后的数据输入到结合注意力机制的门控循环单元编码器-解码器网络中进行训练，得到训练完成的结合注意力机制的门控循环单元编码器-解码器模型；步骤5，将需要预测的历史数据，经过步骤2处理后，输入到深度自动编码器，得到压缩数据；步骤6，将压缩数据输入训练完成的结合注意力机制的门控循环单元编码器-解码器模型，得到实际的预测结果。
在本发明提供的结合注意力机制和门控循环单元的云计算主机负载预测法中，还可以具有这样的特征：其中，步骤1中，通过云计算服务集群中心的资源监控系统获得历史工作负载数据。
在本发明提供的结合注意力机制和门控循环单元的云计算主机负载预测法中，还可以具有这样的特征：其中，步骤2中，对历史工作负载数据进行标准化处理或归一化处理。
在本发明提供的结合注意力机制和门控循环单元的云计算主机负载预测法中，还可以具有这样的特征：其中，步骤2中，采用滑动窗口方法对处理后的数据进行处理，来构建训练数据。
发明的作用与效果
根据本发明所涉及的结合注意力机制和门控循环单元的云计算主机负载预测法，获取云计算主机的历史负载数据；将取得的历史负载数据进行标准化处理；将处理后的数据输入预先训练的基于深度自动编码器的数据压缩模块，输出压缩后的历史数据；将压缩后的历史数据输入预先训练的基于注意力机制的门控循环单元编码解码模型，输出云计算主机的负载预测结果。
综上，本发明使用了深度自动编码器压缩原始数据，减少了原始工作负载中的噪声，而且压缩后的数据仍然保留了原始数据的重要特征，能够提高后续编码器解码器网络的计算效率；其次，将注意力机制应用到编码器-解码器网络结构中，保证了神经网络可以关注到多个历史时间点的信息，提高预测的准确度；最后，将门控循环单元GRU作为神经网络的计算单元，避免了训练过程中的梯度消失等问题，并且相比主流的长短期记忆网络LSTM有计算效率的提高。
进一步地，本发明的结合注意力机制和门控循环单元的云计算主机负载预测法可以输出任意未来时间长度的多个预测结果，提高预测效率，注意力机制的加入也保证了预测算法关注到多个历史时间点的信息，降低预测误差。
因此，本发明的结合注意力机制和门控循环单元的云计算主机负载预测法可以压缩原始数据，降低了预测的复杂度，提高预测准确度和效率。
附图说明
图1是本发明的实施例中结合注意力机制和门控循环单元的云计算主机负载预测法的流程图；
图2是本发明的实施例中自动编码器中的结构示意图；
图3是本发明的实施例中基于注意力机制的编码器-解码器网络的结构图；
图4是本发明的实施例中注意力机制的计算原理图；
图5是本发明的实施例与其它预测方法的预测结果对比曲线图。
具体实施方式
为了使本发明实现的技术手段与功效易于明白了解，以下结合实施例及附图对本发明作具体阐述。
实施例：
图1是本发明的实施例中结合注意力机制和门控循环单元的云计算主机负载预测法的流程图。
如图1所示，本实施例的一种结合注意力机制和门控循环单元的云计算主机负载预测法，包括如下步骤：
步骤1，采集历史工作负载数据。
本实施例中，通过云计算服务集群中心的资源监控系统获得历史工作负载数据。
步骤2，对历史工作负载数据进行标准化处理或归一化处理，得到处理后的数据，而后构建多组训练数据。
本实施例中，历史负载数据包括CPU负载序列、内存负载序列和磁盘I/O负载序列，并且这些数据的值在不同的时间会有很大差异，需要对原始数据进行标准化预处理，而且进行数据预处理后的数据可以加速深度学习算法训练过程中的收敛。在这一步中，使用Z-score标准化对原始序列进行处理，处理后的数据符合标准正态分布，即平均值为0，标准差为1。Z-score标准化计算公式如下：
Figure BDA0003012025420000053
其中，X表示x的集合，mean(X)表示X中元素的平均值，σ为X的标准差，如下所示：
Figure BDA0003012025420000051
本实施例中，采用滑动窗口方法对处理后的数据进行处理，来构建训练数据，基于历史序列
Figure BDA0003012025420000052
来预测未来一段时间的负载xt+h，其中，xt表示当前时间的数据，h为预测的时间步数。所以，使用滑动窗口方法处理后，基于(x1+n，x2+n，...，xt+n)，可以预测未来负载xt+n+h。
步骤3，采用训练数据通过反向传播的方法训练深度自动编码器，并导出自动编码器的中间隐藏层信息作为压缩后的数据。
原始负载数据通常含有比较大的噪声，这部分噪声大多可视为无用的信息，在进行预测建模的过程中会影响计算的准确性。而深度自动编码器经常被用于原始数据的无监督特征学习或数据压缩。
图2是本发明的实施例中自动编码器中的结构示意图。
此外，深度自动编码器是一种对称的多层前馈神经网络，如图2所示，由输入层、隐藏层和输出层神经元组成。与传统神经网络不同的是，自动编码器加入了编码和解码的概念，输入层和隐藏层构成编码部分，隐藏层和输出层构成解码部分。编码器用于将未标记的输入数据映射到隐藏层得到有意义的特征表示；解码器是编码器的逆过程，将特征表达重构近似原始数据的数据作为输出。通过对隐藏层的数据维度进行约简，然后由输出层重建原始数据输出。
进一步地，深度自动编码器通过最小化样本数据与其重建输出数据之间的误差来尝试学习一个让输入近似等于输出的映射函数，将误差反向传播回输入数据对网络参数进行调整。
编码过程的计算表达式如下公式所示：
h’＝RELU(W1x+b1)
其中，W1是输入层和第一个隐藏层之间的权重矩阵，b1是输入层的偏置量，使用RELU激活函数。经过若干隐藏层组成的编码器的计算后，得出h，其表示输入层数据经过编码器编码后的特征表示。
解码过程的计算表达式如下公式所示：
x’＝RELU(W2h+b2)
其中，W2是中间隐藏层和之后层之间的权重矩阵，b1是输入层的偏置量，同样使用RELU激活函数。经过若干隐藏层组成的解码器的计算后，得出
Figure BDA0003012025420000071
其表示从解码器解码后的重建原始数据的输出表示。
步骤4，将压缩后的数据输入到结合注意力机制的门控循环单元编码器-解码器网络中进行训练，得到训练完成的结合注意力机制的门控循环单元编码器-解码器模型。
本实施例中，利用标准化后的数据训练这个网络，等训练结束后，这个网络即学习出x→h→x的能力，此时的h将作为结合注意力机制的门控循环单元编码器-解码器网络的输入，它是在尽量不损失信息的情况下，对原始数据的另一种表达。
进一步地，结合了注意力机制的门控循环单元编码器-解码器网络同样是基于编码器-解码器结构，不同于深度自动编码器，它使用了门控循环单元Gate Recurrent Unit，GRU作为基本计算单元。GRU是循环神经网络的一种，是为了解决长期记忆和反向传播中的梯度等问题而提出来的。
图3是本发明的实施例中基于注意力机制的编码器-解码器网络的结构图，图4是本发明的实施例中注意力机制的计算原理图。
如图3和图4所示，图3展示了本发明基于注意力机制的编码器-解码器网络的结构，图4展示了本发明中注意力机制的计算原理。其中，编码器把深度自动编码器压缩后的序列编码成一个固定维度的中间向量
Figure BDA0003012025420000072
解码器的计算主要基于预测过程中上一步的输出yt-1与
Figure BDA0003012025420000073
计算注意力权重后解码得到的输出yt，直到达到设定的预测长度。通常，编码器的长度为历史数据的长度，解码器的长度为预测时间的长度。其中注意力机制的计算公式如下：
Figure BDA0003012025420000081
Figure BDA0003012025420000082
Figure BDA0003012025420000083
Figure BDA0003012025420000084
具体地，在每个预测的时间点t处，解码器基于当前目标计算的隐状态ht和编码器的输出向量
Figure BDA0003012025420000085
计算注意力权重向量at。其中，Wa为计算注意力得分的权重矩阵，ct为编码器的输出向量与注意力权重向量的加权和，也称为上下文向量，ct与当前隐状态ht通过tanh激活函数的连接后输出预测值
Figure BDA0003012025420000086
该值将与真实的未来负载计算误差，从而反向传播训练网络。
步骤5，将需要预测的历史数据，经过步骤2处理后，输入到深度自动编码器，得到压缩数据。
步骤6，将压缩数据输入训练完成的结合注意力机制的门控循环单元编码器-解码器模型，得到实际的预测结果。
图5是本发明的实施例与其它预测方法的预测结果曲线对比图，其中，图5(a)是本发明的预测结果曲线图，图5(b)是GRU-Encoder-Decoder模型的预测结果曲线图，图5(c)是GRU模型的预测结果曲线图，图5(d)是ARIMA模型的预测结果曲线图。
使用Google提供的集群数据进行预测验证，将得到的实际的预测结果分别与主流的预测方法GRU-ED、GRU以及ARIMA进行对比，预测误差如表1所示，预测结果曲线如图5所示。
表1
Figure BDA0003012025420000091
实施例的作用与效果
由表1可知，采用本实施例的方法进行预测后与其它方法进行对比，其均方误差MSE的数值最低，相对均方根误差RRSE的数值也最低，相关系数R2的数值最高。因此，采用本实施例的方法进行预测后，得到的准确度和效率均较高。
根据本实施例所涉及的结合注意力机制和门控循环单元的云计算主机负载预测法，首先，使用了深度自动编码器压缩原始数据，减少了原始工作负载中的噪声，而且压缩后的数据仍然保留了原始数据的重要特征，能够提高后续编码器解码器网络的计算效率；其次，将注意力机制应用到编码器-解码器网络结构中，保证了神经网络可以关注到多个历史时间点的信息，提高预测的准确度；最后，将门控循环单元GRU作为神经网络的计算单元，避免了训练过程中的梯度消失等问题，并且相比主流的长短期记忆网络LSTM有计算效率的提高。
进一步地，本实施例的结合注意力机制和门控循环单元的云计算主机负载预测法可以输出任意未来时间长度的多个预测结果，提高预测效率，注意力机制的加入也保证了预测算法关注到多个历史时间点的信息，降低预测误差。
因此，本实施例的结合注意力机制和门控循环单元的云计算主机负载预测法可以压缩原始数据，降低了预测的复杂度，提高预测准确度和效率。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (4)

1.一种结合注意力机制和门控循环单元的云计算主机负载预测法，其特征在于，包括如下步骤：
步骤1，采集历史工作负载数据；
步骤2，对所述历史工作负载数据进行处理，得到处理后的数据，而后构建多组训练数据；
步骤3，采用所述训练数据通过反向传播的方法训练深度自动编码器，并导出自动编码器的中间隐藏层信息作为压缩后的数据；
步骤4，将压缩后的所述数据输入到结合注意力机制的门控循环单元编码器-解码器网络中进行训练，得到训练完成的结合注意力机制的门控循环单元编码器-解码模型；
步骤5，将需要预测的历史数据，经过步骤2处理后，输入到所述深度自动编码器，得到压缩数据；
步骤6，将所述压缩数据输入训练完成的所述结合注意力机制的门控循环单元编码器-解码器模型，得到实际的预测结果。
2.根据权利要求1所述的结合注意力机制和门控循环单元的云计算主机负载预测法，其特征在于：
其中，所述步骤1中，通过云计算服务集群中心的资源监控系统获得所述历史工作负载数据。
3.根据权利要求1所述的结合注意力机制和门控循环单元的云计算主机负载预测法，其特征在于：
其中，所述步骤2中，对所述历史工作负载数据进行标准化处理或归一化处理。
4.根据权利要求1所述的结合注意力机制和门控循环单元的云计算主机负载预测法，其特征在于：
其中，所述步骤2中，采用滑动窗口方法对处理后的数据进行处理，来构建训练数据。
CN202110378860.9A 2021-04-08 2021-04-08 结合注意力机制和门控循环单元的云计算主机负载预测法 Pending CN113076196A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110378860.9A CN113076196A (zh) 2021-04-08 2021-04-08 结合注意力机制和门控循环单元的云计算主机负载预测法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110378860.9A CN113076196A (zh) 2021-04-08 2021-04-08 结合注意力机制和门控循环单元的云计算主机负载预测法

Publications (1)

Publication Number Publication Date
CN113076196A true CN113076196A (zh) 2021-07-06

Family

ID=76615564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110378860.9A Pending CN113076196A (zh) 2021-04-08 2021-04-08 结合注意力机制和门控循环单元的云计算主机负载预测法

Country Status (1)

Country Link
CN (1) CN113076196A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515382A (zh) * 2021-07-22 2021-10-19 中移（杭州）信息技术有限公司 云资源的分配方法、装置、电子设备及程序产品
CN113762356A (zh) * 2021-08-17 2021-12-07 中山大学 基于聚类和注意力机制的集群负载预测方法及系统
WO2023184940A1 (zh) * 2022-03-31 2023-10-05 福州大学 基于深度学习的面向高维高可变云工作负载的预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200074323A1 (en) * 2016-12-26 2020-03-05 Morgan Stanley Services Group Inc. Predictive asset optimization for computer resources
CN111638958A (zh) * 2020-06-02 2020-09-08 中国联合网络通信集团有限公司 云主机负载处理方法、装置、控制设备及存储介质
CN112136143A (zh) * 2018-05-17 2020-12-25 国际商业机器公司 使用神经网络的时间序列数据依赖的动态发现

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200074323A1 (en) * 2016-12-26 2020-03-05 Morgan Stanley Services Group Inc. Predictive asset optimization for computer resources
CN112136143A (zh) * 2018-05-17 2020-12-25 国际商业机器公司 使用神经网络的时间序列数据依赖的动态发现
CN111638958A (zh) * 2020-06-02 2020-09-08 中国联合网络通信集团有限公司 云主机负载处理方法、装置、控制设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHAOJING ZHOU ET AL.: "An Accurate Ensemble Forecasting Approach for Highly Dynamic Cloud Workload With VMD and R-Transformer", 《IEEE ACCESS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515382A (zh) * 2021-07-22 2021-10-19 中移（杭州）信息技术有限公司 云资源的分配方法、装置、电子设备及程序产品
CN113515382B (zh) * 2021-07-22 2024-04-09 中移（杭州）信息技术有限公司 云资源的分配方法、装置、电子设备及存储介质
CN113762356A (zh) * 2021-08-17 2021-12-07 中山大学 基于聚类和注意力机制的集群负载预测方法及系统
CN113762356B (zh) * 2021-08-17 2023-06-16 中山大学 基于聚类和注意力机制的集群负载预测方法及系统
WO2023184940A1 (zh) * 2022-03-31 2023-10-05 福州大学 基于深度学习的面向高维高可变云工作负载的预测方法

Similar Documents

Publication Publication Date Title
CN113076196A (zh) 结合注意力机制和门控循环单元的云计算主机负载预测法
Li et al. DCT-GAN: dilated convolutional transformer-based GAN for time series anomaly detection
CN111127142B (zh) 一种基于广义神经注意力的物品推荐方法
CN113568819B (zh) 异常数据检测方法、装置、计算机可读介质及电子设备
CN112990556A (zh) 一种基于Prophet-LSTM模型的用户用电能耗预测方法
CN113128113B (zh) 一种基于深度学习和迁移学习的贫乏信息建筑负荷预测方法
CN111352965B (zh) 序列挖掘模型的训练方法、序列数据的处理方法及设备
CN110910004A (zh) 一种多重不确定性的水库调度规则提取方法及系统
CN112910690A (zh) 基于神经网络模型的网络流量预测方法、装置及设备
CN114399021A (zh) 一种基于多尺度信息的概率风速预测方法和系统
CN114154716B (zh) 一种基于图神经网络的企业能耗预测方法及装置
CN110717281A (zh) 基于犹豫云语言术语集和群决策的仿真模型可信度评估方法
CN117408394A (zh) 电力系统的碳排放因子预测方法、装置及电子设备
CN116523148A (zh) 一种配电网配变重过载预警方法、装置和设备
CN116303386A (zh) 一种基于关系图谱的缺失数据智能插补方法和系统
CN116187506A (zh) 考虑气象分类的短期风电功率组合概率预测方法及系统
CN112667394B (zh) 一种计算机资源利用率优化方法
KR102365910B1 (ko) 속성 값 품질 지수를 이용한 데이터 프로파일링 방법 및 데이터 프로파일링 시스템
Suzuki et al. Power Prediction for Sustainable HPC
Liu Research on Short-term Load Forecasting of Power System Based on Wavelet Denoising and Artificial Neural Network
CN116227738B (zh) 一种电网客服话务量区间预测方法及系统
CN116933937B (zh) 一种基于模型迁移学习的电子产品零件备货量预测方法
CN118212114A (zh) 一种图形渲染程序帧率预测方法
Qin et al. A hybrid deep learning model for short‐term load forecasting of distribution networks integrating the channel attention mechanism
Li et al. A Contextual Bandit Approach for Network Service Selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210706