CN113051130A - 结合注意力机制的lstm网络的移动云负载预测方法及系统 - Google Patents
结合注意力机制的lstm网络的移动云负载预测方法及系统 Download PDFInfo
- Publication number
- CN113051130A CN113051130A CN202110293600.1A CN202110293600A CN113051130A CN 113051130 A CN113051130 A CN 113051130A CN 202110293600 A CN202110293600 A CN 202110293600A CN 113051130 A CN113051130 A CN 113051130A
- Authority
- CN
- China
- Prior art keywords
- load
- prediction
- sequence
- characteristic
- mobile cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000007246 mechanism Effects 0.000 title claims abstract description 45
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000005516 engineering process Methods 0.000 claims abstract description 14
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 238000010187 selection method Methods 0.000 claims abstract description 14
- 238000010606 normalization Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 26
- 238000000354 decomposition reaction Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 239000004576 sand Substances 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种结合注意力机制的LSTM网络的移动云负载预测方法及系统，属于移动云负载预测领域。可应用于云计算虚拟机、云计算主机、云数据中心的各种负载预测。方法具体包括：对云监控系统收集到的负载特征序列进行归一化处理；采用联合特征选择方法选取与目标负载特征最相关的特征；采用在线预测的无抽取的小波变换技术分解目标负载特征序列；构建结合注意力机制的LSTM网络的移动云负载预测模型MCLPM‑LSTMN‑AM；对MCLPM‑LSTMN‑AM模型进行训练；利用训练好的MCLPM‑LSTMN‑AM模型进行移动云目标负载序列的单步及多步预测。本发明的方法预测准确率高，可以有效应用于移动云计算负载的预测。
Description
技术领域
本发明属于移动云负载预测领域，特别涉及一种结合注意力机制的LSTM网络的移动云负载预测方法及系统。
背景技术
随着移动互联网的发展，云计算的关注热点开始向移动设备转移。移动支付、移动游戏以及虚拟现实这些日益复杂的移动设备的广泛应用给移动终端的计算和存储能力带来了极大的挑战，移动云计算技术应运而生。许多科技公司都为其移动云服务产品提供了弹性的自动伸缩功能，能够在系统运行时动态改变系统的资源分配量。在这一背景下，在云数据中心精确地进行资源管理非常重要。准确的资源管理可以通过减少开启的机器数量来促进数据中心绿色计算。现有的资源管理方案通常分为被动管理资源和主动管理资源两种。在被动管理方案下，当主机工作负载增加或减少到预设的特定阈值时，将进行资源管理或虚拟机迁移。但是，这种方案下，可能会导致因为虚拟机的供应和迁移耗时过长而无法应对工作负载突然变化所造成的违反服务水平协议(Service-Level Agreement，SLA)的问题。主动管理方案则通过识别可能的资源使用模式和所需的主要资源来预测未来时间的主机工作负载，可解决被动资源管理方案响应慢无法应对负载快速变化的问题。所以，主动方案下的负载预测可以大幅度提高云数据中心的运行效率、资源利用率，有助于实现智能资源拓展，对满足SLA具有重要意义。因此，云计算中的负载预测已成为研究的热点。
现有的负载预测算法主要分成三大类，传统的基于时间序列数据的负载统计预测模型、基于机器学习技术的负载预测模型和集成的负载预测模型。
传统的预测模型的数据规律通过对大量数据进行统计分析得到，统计预测模型有自回归模型(AR，Autoregressive model)、自回归移动平均模型(ARMA，Autoregressivemoving average model)以和差分自回归移动平均模型(ARIMA，AutoregressiveIntegrated Moving Average model)等。但不幸的是，这些模型高度依赖所收集数据的固定形式和工作人员有经验的参数调整，并且传统方法很难进行长时间预测。近年来，将机器学习技术用于解决这些问题正成为研究热点，机器学习方法作为新兴工具被用在了负载预测中，如贝叶斯方法、支持向量机算法(SVM，Support Vector Machine)、随机森林算法、神经网络等。然而由于移动云计算负载波动大，预测难度大，因此很多机器学习模型无法有效利用长期依赖关系，预测精度不高，难以针对移动云计算负载波动大、任务周期短的特点进行预测。因此，一些结合了多种预测算法的集成预测算法已经成为解决负荷预测问题的一个有效的技术途径。通过将多种预测模型相结合，往往可以得到更好的性能。
发明内容
本发明的目的在于针对上述现有技术存在的问题，提供一种结合注意力机制的LSTM网络的移动云负载预测方法，能够对移动云主机负载进行准确的单步和多步预测。
实现本发明目的的技术解决方案为：一种结合注意力机制的LSTM网络的移动云负载预测方法，所述方法包括以下步骤：
步骤1，对云监控系统收集到的负载特征序列进行归一化处理；
步骤2，采用联合特征选择方法选取与目标负载特征最相关的特征；
步骤3，采用在线预测的无抽取的小波变换技术分解目标负载特征序列；
步骤4，构建结合注意力机制的LSTM网络的移动云负载预测模型MCLPM-LSTMN-AM；
步骤5，对所述移动云负载预测模型MCLPM-LSTMN-AM进行训练；
步骤6，利用训练好的MCLPM-LSTMN-AM模型进行移动云目标负载序列的单步及多步预测。
进一步地，步骤2所述采用联合特征选择方法选取与目标负载特征最相关的特征，具体过程包括：
步骤2-1，计算目标负载特征Px和其他负载特征Py之间的Pearson相关系数
计算公式为：
式中，cov(Px，Py)为负载特征Px和Py的协方差，
和
分别表示负载特征Px和Py的平均值，
和
分别表示目标负载特征Px和其他负载特征Py的标准差，x表示目标负载特征的序号，y表示目标负载特征外的其他负载特征的序号，E[]为期望函数；每个负载特征Pj均具有T个观测值，即Pj＝{pj1，Pj2，..，Pjt，...，pjT}，pjt表示第j个特征在第t个时刻的观测值；
步骤2-2，计算目标负载特征Px和其他负载特征Py之间的Spearman相关系数
假设Px和Py为分别具有T个观测值的两个负载特征，Px＝{px1，px2，....，pxt，..，pxT}，Py＝{py1，py2，...，pyt，…，pyT}，将Px和Py中T个观测值中的最低值的等级设为1，次之的等级设为2，依此类推，获得Px和Py中每个值的等级；
的计算公式为：
式中，d′t为被观测的两个负载特征Px和Py在第t时刻的等级差值；τ为计算所需的参数；
的值介于[-1，1]之间，如果Px和Py两个特征变量彼此独立，则
的值为零，否则两个变量存在关联性；
步骤2-3，计算目标负载特征Px和其他负载特征Py之间的最大互信息系数
计算公式为：
其中，
为Px和Py间的互信息值，计算公式为：
式中，px为属于Px的任意实数，py为属于Py的任意实数，p(px，py)为Px和Py对于px和py的联合概率密度，p(px)和p(py)分别为Px和Py对于px、py的边缘概率密度；a和b分别表示将Px的值域分成a段，将Py的值域分成b段；B(T)是一个关于观测规模T的函数，表示网格划分a*b的上限；
步骤2-4，基于步骤2-1至步骤2-3计算得到的不同负载特征与目标负载特征在多种不同指标下的相关性，构建相关度矩阵CM，该矩阵中CMj，u表示在第u种指标下第j个负载特征Pj与目标负载特征Px的相关度值；所述指标包括Pearson相关系数
Spearman相关系数
最大互信息系数
计算多种相关性指标的信息熵，计算公式为：
式中，Eu为第u种指标对应的信息熵，pu，j表示在第u种指标下第j个负载特征与目标负载特征的相关度值CMu，j占该指标所有相关度值的比重，
m为采集到的负载特征数量；
步骤2-5，计算联合关联度，第j个负载特征的联合关联度CMj为：
其中，wu为第u种指标对应的权重，
步骤2-6，构建候选特征矩阵MZi，具体包括：
初始化候选特征矩阵MZi＝{}，除去目标负载特征外其他负载特征的数量为m-1；
在Mi＝{P1，P2，...，Pj，...Pm-1}中选取联合关联度值CM最大的s个负载特征向量，加入到候选特征矩阵MZi中，得到的MZi＝{P1，P2，...，Ps}为最终输出的候选特征。
进一步地，步骤3所述采用在线预测的无抽取的小波变换技术分解目标负载特征序列，具体为：
通过àtrous小波变换将步骤1获得的目标负载特征序列Px分解为如下形式：
集合{D1，D2，...，DJ，SJ}为原始的目标负载特征序列Px分解到分辨率为J的小波分解序列集合，其中SJ为近似信号序列，Dj为细节信号序列，SJ＝{sJ1，sJ2，...，sJT}，Dj＝{dj1，dj2，...，djT}，均具有T个观测值；sjt、djt分别表示分辨率为j的分解序列在时间t处的近似信号、细节信号，j＝1，2，...，J。
进一步地，步骤4中所述移动云负载预测模型MCLPM-LSTMN-AM包括线性组件和非线性组件，其构建过程包括：
步骤4-1，采用自回归模型即AR模型作为线性组件来捕捉目标负载特征序列的线性成分，该模型预测结果Yar的计算公式为：
式中，War和bar为线性组件AR模型的系数，ω表示输入序列的时间窗口的大小，即时间序列长度，xt表示负载特征序列在t时间步时的值；
步骤4-2，采用编码器-解码器的结构构建非线性组件，编码器和解码器各由一个LSTM网络构成，在编码器中使用注意力机制以赋予不同时刻输入不同的权重，ht表示编码层的LSTM网络的隐含层状态向量，ht＝LSTM(ht-1，xt)；
步骤4-3，计算注意力权重
式中，
表示t时间步LSTM网络输出的第i个隐藏状态向量hi对于预测输出的重要性，
表示时间步t处的输入ht与时间步i处的输出si之间的相关性评分；
步骤4-4，计算注意力上下文向量C＝{c1，...，ct，...cω}，其中时间步t时的注意力上下文向量ct的计算公式为：
步骤4-5，在解码器解码阶段，将编码层中注意力机制中得到的C＝{c1，...，ct，...cω}向量通过一层LSTM网络进行计算，得到t时间步隐藏状态向量st＝LSTM(st-1，ct)；
之后采用一个全连接层将隐藏状态向量st转为非线性组件部分的最终预测结果YED：
YED＝WEDst+bED (11)
式中，WED和bED为全连接层需要学习的参数，全连接层的输出即非线性组件部分的最终预测结果；
步骤4-6，计算最终预测结果Y：
Y＝YED+Yar (12)
式中，Y＝{yω+1，...，yt，...，yω+t′}，t′＝1时Y为主机未来一个时间步的负载，t′＞1时Y为未来t′个时间步的负载序列。
一种结合注意力机制的LSTM网络的移动云计算负载预测系统，所述系统包括：
数据处理模块，用于对云监控系统收集到的负载特征序列进行归一化处理；
特征选取模块，用于采用联合特征选择方法选取与目标负载特征最相关的特征；
分解模块，用于采用在线预测的无抽取的小波变换技术分解目标负载特征序列；
模型构建模块，用于构建结合注意力机制的LSTM网络的移动云负载预测模型MCLPM-LSTMN-AM；
模型训练模块，用于对所述移动云负载预测模型MCLPM-LSTMN-AM进行训练；
预测模块，用于利用训练好的MCLPM-LSTMN-AM模型进行移动云目标负载序列的单步及多步预测。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
步骤1，对云监控系统收集到的负载特征序列进行归一化处理；
步骤2，采用联合特征选择方法选取与目标负载特征最相关的特征；
步骤3，采用在线预测的无抽取的小波变换技术分解目标负载特征序列；
步骤4，构建结合注意力机制的LSTM网络的移动云负载预测模型MCLPM-LSTMN-AM；
步骤5，对所述移动云负载预测模型MCLPM-LSTMN-AM进行训练；
步骤6，利用训练好的MCLPM-LSTMN-AM模型进行移动云目标负载序列的单步及多步预测。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
步骤1，对云监控系统收集到的负载特征序列进行归一化处理；
步骤2，采用联合特征选择方法选取与目标负载特征最相关的特征；
步骤3，采用在线预测的无抽取的小波变换技术分解目标负载特征序列；
步骤4，构建结合注意力机制的LSTM网络的移动云负载预测模型MCLPM-LSTMN-AM；
步骤5，对所述移动云负载预测模型MCLPM-LSTMN-AM进行训练；
步骤6，利用训练好的MCLPM-LSTMN-AM模型进行移动云目标负载序列的单步及多步预测。
本发明与现有技术相比，其显著优点为：1)为多变量资源联合特征选择策略的设计与实现提供了有效的方法。联合特征选择策略具有可有效避免某一指标下关联度评判失效的情况，因此可提高鲁棒性。且联合特征选择策略比起单特征预测可以提供更多的信息，因此可提高预测效果，还可以在保证预测效果的情况下减少冗余特征变量，从而减少构建预测模型所需的时间。使用了基于无抽取小波变换的分解方法，可以将原始时间序列各个子成分分离，并对各个尺度上的子序列进行单独预测，以应对高采样频率带来的问题，从而提高了在线预测的准确性；2)针对很多方法在特征提取期间赋予历史序列相同权重的问题，提出了一种结合注意力机制的LSTM的编码器-解码器MCLPM-LSTMN-AM负载预测模型。在处理负载序列时，注意力机制会评估历史数据的相关性并给出相应的权重，可以识别不同历史时刻负载的重要性，提高了对相关性加权的准确性。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为一个实施例中结合注意力机制的LSTM网络的移动云负载预测方法的流程图。
图2为一个实施例中MCLPM-LSTMN-AM预测模型结构图。
图3为一个实施例中引入注意力机制的LSTM编-解码器结构图。
图4为一个实施例中单时间步长下CPU负载预测准确率比较图，Our method为本发明的方法，ARIMA、SVR、LSTM、LSTM-ED是其他传统方法和机器学习方法。
图5为一个实施例中分别在1、2、6、12时间步长下CPU负载预测准确率比较图，Ourmethod为本发明的方法，LSTM和LSTM-ED其他最新的神经网络方法。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本发明提出了一种联合特征选择下在无抽取的小波变换方法后结合注意力机制的LSTM网络的移动云负载预测模型MCLPM-LSTMN-AM。LSTM作为神经网络的一种特殊形式，解决了很多机器学习模型忽略长期依赖的问题，且将采用长短期记忆网络作为编码器-解码器网络的组成部分。同时引入时域注意力机制，赋予历史序列不同的权重，从而捕捉到负载中与预测序列最相关时刻的信息。进一步结合了自回归模型以处理负载中的线性数据。
在一个实施例中，结合图1，提供了一种结合注意力机制的LSTM网络的移动云负载预测方法，所述方法包括以下步骤：
步骤1，对云监控系统收集到的负载特征序列进行归一化处理；
这里，云监控系统采集到的第i个主机的特征向量集合Mi＝{P1，P2，...，Pj，...，Pm}，其中P1到Pm为定期从主机收集得到的m个特征，如CPU利用率、内存使用率、磁盘输入/输出时间、磁盘空间、正在运行的任务数等；每个特征Pj均具有T个观测值，即Pj＝{pj1，Pj2，..，Pjt，...，PjT}；为了消除各个特征之间的不同量纲，使其具有相同的尺度，对每个特征集合进行级差标准化处理，映射到(0，1)区间内；目标预测特征集合Px包含在Mi中；
步骤2，采用联合特征选择方法选取与目标负载特征最相关的特征；
步骤3，采用在线预测的无抽取的小波变换技术分解目标负载特征序列；
步骤4，构建结合注意力机制的LSTM网络的移动云负载预测模型MCLPM-LSTMN-AM；
步骤5，对所述移动云负载预测模型MCLPM-LSTMN-AM进行训练；
步骤6，利用训练好的MCLPM-LSTMN-AM模型进行移动云目标负载序列的单步及多步预测。
进一步地，在其中一个实施例中，步骤2所述采用联合特征选择方法选取与目标负载特征最相关的特征，具体过程包括：
步骤2-1，首先将Px移出Mi，Mi＝{P1，P2，...，Pj，...，Pm-1}，任意Py∈Mi，计算目标负载特征Px和其他负载特征Py之间的Pearson相关系数
计算公式为：
式中，cov(Px，Py)为负载特征Px和Py的协方差，
和
分别表示负载特征Px和Py的平均值，
和
分别表示目标负载特征Px和其他负载特征Py的标准差，x表示目标负载特征的序号，y表示目标负载特征外的其他负载特征的序号，E[]为期望函数；每个负载特征Pj均具有T个观测值，即Pj＝{Pj1，Pj2，...，Pjt，...，PjT}，pjt表示第j个特征在第t个时刻的观测值；
步骤2-2，计算目标负载特征Px和其他负载特征Py之间的Spearman相关系数
Spearman相关系数利用单调方程评价两个特征变换的强度和趋向，比如两个变量可能一起变化，但并不一定以相同的速率在一致的方向变化；设Px和Py为分别具有T个观测值的两个负载特征，Px＝{px1，px2，...，pxt，...，pxT}，Py＝{py1，py2，...，pyt，...，pyT}，将Px和Py中T个观测值中的最低值的等级设为1，次之的等级设为2，依此类推，获得Px和Py，中每个值的等级；
的计算公式为：
式中，d′t为被观测的两个负载特征Px和Py在第t时刻的等级差值；τ为计算所需的参数，一般情况下τ设为6；
的值介于[-1，1]之间，如果Px和Py两个特征变量彼此独立，则
的值为零，否则两个变量存在关联性；
步骤2-3，计算目标负载特征Px和其他负载特征Py之间的最大互信息系数
最大互信息系数算法本质上是计算两个特征间的互信息值，最大互信息系数主要利用互信息和网格划分方法进行计算；任意负载特征Px均具有T个观测值，Px＝{px1，px2，...，pxT}；在给定的网格分辨率下，对由负载特征Px和Py构成的二维散点图按照不同的划分方案进行划分，求出其中最大的互信息值，将该互信息值进行归一化；改变网格分辨率，不同尺度下互信息的最大值为负载特征Px和Py的最大互信息系数
值，计算公式为：
一般地，当B(T)＝T0.6时效果最好，Px和Py的相关性和MIC的绝对值正相关；
其中，
为Px和Py间的互信息值，计算公式为：
式中，px为属于Px的任意实数，py为属于Py的任意实数，p(px，py)为Px和Py对于px和py的联合概率密度，p(px)和p(py)分别为Px和Py对于px、Py的边缘概率密度；a和b分别表示将Px的值域分成a段，将Py的值域分成b段；B(T)是一个关于观测规模T的函数，表示网格划分a*b的上限；
这里示例性地，给出步骤2-1至步骤2-3的一个实施方案进行进一步说明：
假设目标预测负载Px为CPU利用率，Py为特征向量集合Mi中选出的特征——内存利用率；当观测值T为6时，Px＝{0.8，0.7，0.6，0.8，0.9，1.0}，Py＝{0.85，0.6，0.65，0.85，0.8，1.0}；两个负载资源特征Px和Py之间的Pearson相关系数
为：
两个负载资源特征Px和Py之间的Spearman相关系数
计算中将Px和Py中T个观测值中的最低值的等级设为1，下一个最低值的等级设为2，依此类推；所以Px中最低值为0.6，等级设为1；Py中最低值为0.6，等级设为1；Px的等级为[3，2，1，3，4，5]；Py的等级为[4，1，2，4，3，5]；被观测的第t时刻Px和Py等级的差值为d′t；
的值为
Px和Py间的互信息值
计算需要对Px＝{0.8，0.7，0.6，0.8，0.9，1.0}和Py＝{0.85，0.6，0.65，0.85，0.8，1.0}组成的散点图{(0.8，0.85)，(0.7，0.6)，(0.6，0.65)，(0.8，0.85)，(0.9，0.8)，(1.0，1.0)}进行网格化；网格分辨率a和b表示将变量Px的值域分成a段，将Py的值域分成b段；当a＝1时，b＝3；将变量Px的值域分成1段，将Py的值域分成3段，对每一个网格的散点求最大的互信息值；当a＝3时，b＝1；将变量Px的值域分成3段，将Py的值域分成1段，对每一个网格的散点求互信息值得到每个网格下的互信息值，将得到的最大互信息除以log(min(X，Y))，即为归一化；当分辨率a*b为5*4时，
当分辨率a*b为4*5时，
对满足a*b＜B(T)＝3的分辨率下的所有求出的互信息值中取最大值，即可得到最后的
步骤2-4，基于步骤2-1至步骤2-3计算得到的不同负载特征与目标负载特征在多种不同指标下的相关性，构建相关度矩阵CM，该矩阵中CMj，u表示在第u种指标下第j个负载特征Pj与目标负载特征Px的相关度值；所述指标包括Pearson相关系数
Spearman相关系数
最大互信息系数
当目标负载特征为CPU负载时，其他可能相关的负载特征一般包括内存、网络带宽等；由于采集到的负载特征数量为m，除去目标负载特征外其他需要计算相关度的负载特征的数量为m-1，所以j＝1，2，...，m-1；
计算多种相关性指标的信息熵，计算公式为：
式中，Eu为第u种指标对应的信息熵，pu，j表示在第u种指标下第j个负载特征与目标负载特征的相关度值CMu，j占该指标所有相关度值的比重，
m为采集到的负载特征数量；
步骤2-5，计算联合关联度，第j个负载特征的联合关联度CMj为：
其中，wu为第u种指标对应的权重，
步骤2-6，构建候选特征矩阵MZi，具体包括：
初始化候选特征矩阵MZi＝{}，除去目标负载特征外其他负载特征的数量为m-1；
在Mi＝{P1，P2，...，Pj，...，Pm-1}中选取联合关联度值CM最大的s个负载特征向量，加入到候选特征矩阵MZi中，得到的MZi＝{P1，P2，...，Ps}为最终输出的候选特征。
进一步地，在其中一个实施例中，步骤3所述采用在线预测的无抽取的小波变换技术分解目标负载特征序列，具体为：
通过àtrous小波变换将步骤1获得的目标负载特征序列Px分解为如下形式：
集合{D1，D2，...，DJ，SJ}为原始的目标负载特征序列Px分解到分辨率为J的小波分解序列集合，其中SJ为近似信号序列，Dj为细节信号序列，SJ＝{sJ1，sJ2，...，sJT}，Dj＝{dj1，dj2，...，djT}，均具有T个观测值；sjt、djt分别表示分辨率为j的分解序列在时间t处的近似信号、细节信号，j＝1，2，...，J。
将卷积核定义为k(h)，分辨率为j的分解序列在时间t处的近似信号sjt的计算公式为：
s0t＝pxt (20)
分辨率为j的分解序列在时间t处的细节信号djt为：
djt＝sjt-s(j-1)t。 (22)
为了适应移动云负载的预测，降低小波变换的计算量，本文采用简单的滤波器k(h)＝[1/2，1/2]作为低通滤波器，则近似信号sjt的计算公式为：
本发明将分辨率J设置为3，可以分解出较为平滑的近似信号，最终可以将目标负载序列Px分解成为三个不同分辨率下的细节信号序列D1，D2，D3和一个分辨率为3时的近似信号序列S3；由于变换的冗余性，它们的时间长度与原始的目标负载序列Px相等，所以每一个时间序列的同一个时间点可以建立直接联系，之间的规律可以被步骤4提出的模型获取到。
进一步地，在一个实施例中，步骤4构建了一个结合注意力机制的LSTM网络的移动云负载预测模型MCLPM-LSTMN-AM。主机负载时间序列分为固定窗口大小的连续历史序列和预测序列：历史和预测序列分别用作MCLPM-LSTMN-AM的输入和受监督的输出标签；输入向量为X，由步骤2中得到的{P1，P2，...，Ps}、步骤1中的目标负载序列Px和步骤3得到的序列{D1，D2，D3，S3}构成，即X＝{Px，P1，P2，...，Ps，D1，D2，D3，S3}；且X具有ω个时间步长，即X＝{x1，...xt，...，xω}，xt＝{pxt，p1t，p2t，...，，pst，，d1t，d2t，，d3t，s3t}，输入xt得到的输出预测序列Y＝{yω+1，...，yt，...，yω+t′|；t′＝1时Y是主机未来单个时间间隔的负载，t′＞1时是未来多个时间间隔的负载值；将X作为模型的输入，输入MCLPM-LSTMN-AM模型进行训练；
MCLPM-LSTMN-AM模型由两个主要组件组成，包括线性组件和非线性组件；采用经典的AR模型作为线性组件来捕捉目标预测负载序列的线性成分；结合图3，非线性组件采用编-解码器的结构，编码器和解码器各由一个LSTM网络构成，在编码器中使用注意力机制以赋予不同时刻输入不同的权重；MCLPM-LSTMN-AM预测模型结构如图2所示。步骤4构建模型的具体过程包括：
步骤4-1，采用自回归模型即AR模型作为线性组件来捕捉目标负载特征序列的线性成分，以增强MCLPM-LSTMN-AM模型整体的线性预测能力，该模型预测结果Yar的计算公式为：
式中，War和bar为线性组件AR模型的系数，ω表示输入序列的时间窗口的大小，即时间序列长度，xt表示负载特征序列在t时间步时的值；
步骤4-2，采用编码器-解码器的结构构建非线性组件，编码器和解码器各由一个LSTM网络构成，在编码器中使用注意力机制以赋予不同时刻输入不同的权重，ht表示编码层的LSTM网络的隐含层状态向量，ht＝LSTM(ht-1，xt)；
步骤4-3，计算注意力权重
式中，
表示t时间步LSTM网络输出的第i个隐藏状态向量hi对于预测输出的重要性，
表示时间步t处的输入ht与时间步i处的输出si之间的相关性评分；
这里，优选下面的评分函数：
式中，va为需要学习的向量，Wa为评分函数att的权重，[ht；si]表示将编-解码器中的隐藏状态ht和si进行连接，tanh为双曲正切函数；
步骤4-4，计算注意力上下文向量C＝{c1，...，ct，...cω}，其中时间步t时的注意力上下文向量ct的计算公式为：
从上面的计算可以看出，注意力机制作为一个自动选择过程，将编码器中的隐藏状态视为历史负载序列的组成，选择对未来负载值有影响的历史负载序列；注意力模块得到上下文向量C＝{c1，...，ct，...cω}后将其作为输入传给下一层解码器；
步骤4-5，在解码器解码阶段，将编码层中注意力机制中得到的C＝{c1，...，ct，...cω}向量通过一层LSTM网络进行计算，得到t时间步隐藏状态向量st＝LSTM(st-1，ct)；
之后采用一个全连接层将隐藏状态向量st转为非线性组件部分的最终预测结果YED：
YED＝WEDst+bED (29)
式中，WED和bED为全连接层需要学习的参数，全连接层的输出即非线性组件部分的最终预测结果；
步骤4-6，计算最终预测结果Y：
Y＝YED+Yar (30)
式中，Y＝{yω+1，...，yt，...，yω+t′}，t′＝1时Y为主机未来一个时间步的负载，t′＞1时Y为未来t′个时间步的负载序列。
示例性地，步骤5对所述移动云负载预测模型MCLPM-LSTMN-AM进行训练：利用步骤4中构建的MCLPM-LSTMN-AM模型对步骤1～3的过程处理后的监控数据集中的历史负载序列X进行训练；历史窗口长度ω为17，编码层有128个神经元，解码层有64个神经元，每次训练的轮次为500；批处理的大小为128，初始学习率为0.0001。
示例性地，步骤6利用训练好的MCLPM-LSTMN-AM模型进行移动云目标负载序列的单步及多步预测：利用步骤5中训练好的MCLPM-LSTMN-AM模型对通过步骤1～3的过程处理后得到的候选特征集合的监控数据集中的输入负载序列X进行预测，得到输出序列Y＝{yω+1，...，yt，...，yω+t′}。，其中t′＝1时，Y是预测主机未来一个时间步的负载值；t′＞1时，Y是预测未来t′个时间步的负载序列。
图4和图5给出了在Google云计算数据集上本发明方法与其他方法的对比结果。由图4和图5可知，本发明的方法无论是RMSE还是MAE的评估指标下的预测精准度都要高于其他模型。
在一个实施例中，提供了一种结合注意力机制的LSTM网络的移动云计算负载预测系统，所述系统包括：
数据处理模块，用于对云监控系统收集到的负载特征序列进行归一化处理；
特征选取模块，用于采用联合特征选择方法选取与目标负载特征最相关的特征；
分解模块，用于采用在线预测的无抽取的小波变换技术分解目标负载特征序列；
模型构建模块，用于构建结合注意力机制的LSTM网络的移动云负载预测模型MCLPM-LSTMN-AM；
模型训练模块，用于对所述移动云负载预测模型MCLPM-LSTMN-AM进行训练；
预测模块，用于利用训练好的MCLPM-LSTMN-AM模型进行移动云目标负载序列的单步及多步预测。
关于结合注意力机制的LSTM网络的移动云负载预测系统的具体限定可以参见上文中对于结合注意力机制的LSTM网络的移动云负载预测方法的限定，在此不再赘述。上述结合注意力机制的LSTM网络的移动云负载预测系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
步骤1，对云监控系统收集到的负载特征序列进行归一化处理；
步骤2，采用联合特征选择方法选取与目标负载特征最相关的特征；
步骤3，采用在线预测的无抽取的小波变换技术分解目标负载特征序列；
步骤4，构建结合注意力机制的LSTM网络的移动云负载预测模型MCLPM-LSTMN-AM；
步骤5，对所述移动云负载预测模型MCLPM-LSTMN-AM进行训练；
步骤6，利用训练好的MCLPM-LSTMN-AM模型进行移动云目标负载序列的单步及多步预测。
关于每一步的具体限定可以参见上文中对于结合注意力机制的LSTM网络的移动云负载预测方法的限定，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
步骤1，对云监控系统收集到的负载特征序列进行归一化处理；
步骤2，采用联合特征选择方法选取与目标负载特征最相关的特征；
步骤3，采用在线预测的无抽取的小波变换技术分解目标负载特征序列；
步骤4，构建结合注意力机制的LSTM网络的移动云负载预测模型MCLPM-LSTMN-AM；
步骤5，对所述移动云负载预测模型MCLPM-LSTMN-AM进行训练；
步骤6，利用训练好的MCLPM-LSTMN-AM模型进行移动云目标负载序列的单步及多步预测。
关于每一步的具体限定可以参见上文中对于结合注意力机制的LSTM网络的移动云负载预测方法的限定，在此不再赘述。
本发明的方法预测准确率高，可以有效应用于移动云计算负载的预测。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种结合注意力机制的LSTM网络的移动云负载预测方法，其特征在于，所述方法包括以下步骤：
步骤1，对云监控系统收集到的负载特征序列进行归一化处理；
步骤2，采用联合特征选择方法选取与目标负载特征最相关的特征；
步骤3，采用在线预测的无抽取的小波变换技术分解目标负载特征序列；
步骤4，构建结合注意力机制的LSTM网络的移动云负载预测模型MCLPM-LSTMN-AM；
步骤5，对所述移动云负载预测模型MCLPM-LSTMN-AM进行训练；
步骤6，利用训练好的MCLPM-LSTMN-AM模型进行移动云目标负载序列的单步及多步预测。
2.根据权利要求1所述的结合注意力机制的LSTM网络的移动云负载预测，其特征在于，步骤2所述采用联合特征选择方法选取与目标负载特征最相关的特征，具体过程包括：
步骤2-1，计算目标负载特征Px和其他负载特征Py之间的Pearson相关系数
计算公式为：
式中，cov(Px，Py)为负载特征Px和Py的协方差，
和
分别表示负载特征Px和Py的平均值，
和
分别表示目标负载特征Px和其他负载特征Py的标准差，x表示目标负载特征的序号，y表示目标负载特征外的其他负载特征的序号，E[]为期望函数；每个负载特征Pj均具有T个观测值，即Pj＝{Pj1，pj2，...，Pjt，...，PjT}，Pjt表示第j个特征在第t个时刻的观测值；
步骤2-2，计算目标负载特征Px和其他负载特征Py之间的Spearman相关系数
设Px和Py为分别具有T个观测值的两个负载特征，Px＝{px1，px2，...，pxt，...，pxT}，Py＝{py1，py2，...，pyt，...，pyT}，将Px和Py中T个观测值中的最低值的等级设为1，次之的等级设为2，依此类推，获得Px和Py中每个值的等级；
的计算公式为：
式中，d′t为被观测的两个负载特征Px和Py在第t时刻的等级差值；τ为计算所需的参数；
的值介于[-1，1]之间，如果Px和Py两个特征变量彼此独立，则
的值为零，否则两个变量存在关联性；
步骤2-3，计算目标负载特征Px和其他负载特征Py之间的最大互信息系数
计算公式为：
其中，
为Px和Py间的互信息值，计算公式为：
式中，px为属于Px的任意实数，py为属于Py的任意实数，p(px，py)为Px和Py对于px和py的联合概率密度，p(px)和p(py)分别为Px和Py对于px、py的边缘概率密度；a和b分别表示将Px的值域分成a段，将Py的值域分成b段；B(T)是一个关于观测规模T的函数，表示网格划分a*b的上限；
步骤2-4，基于步骤2-1至步骤2-3计算得到的不同负载特征与目标负载特征在多种不同指标下的相关性，构建相关度矩阵CM，该矩阵中CMj，u表示在第u种指标下第j个负载特征Pj与目标负载特征Px的相关度值；所述指标包括Pearson相关系数
Spearman相关系数
最大互信息系数
计算多种相关性指标的信息熵，计算公式为：
式中，Eu为第u种指标对应的信息熵，pu，j表示在第u种指标下第j个负载特征与目标负载特征的相关度值CMu，j占该指标所有相关度值的比重，
m为采集到的负载特征数量；
步骤2-5，计算联合关联度，第j个负载特征的联合关联度CMj为：
其中，wu为第u种指标对应的权重，
步骤2-6，构建候选特征矩阵MZi，具体包括：
初始化候选特征矩阵MZi＝{}，除去目标负载特征外其他负载特征的数量为m-1；
在Mi＝{P1，P2，...，Pj，...，Pm-1}中选取联合关联度值CM最大的s个负载特征向量，加入到候选特征矩阵MZi中，得到的MZi＝{P1，P2，...，Ps}为最终输出的候选特征。
3.根据权利要求2所述的结合注意力机制的LSTM网络的移动云负载预测方法，其特征在于，步骤3所述采用在线预测的无抽取的小波变换技术分解目标负载特征序列，具体为：
通过à trous小波变换将步骤1获得的目标负载特征序列Px分解为如下形式：
集合{D1，D2，...，DJ，SJ}为原始的目标负载特征序列Px分解到分辨率为J的小波分解序列集合，其中SJ为近似信号序列，Dj为细节信号序列，SJ＝{sJ1，sJ2，...，sJT}，Dj＝{dj1，dj2，...，djT}，均具有T个观测值；sjt、djt分别表示分辨率为j的分解序列在时间t处的近似信号、细节信号，j＝1，2，...，J。
4.根据权利要求3所述的结合注意力机制的LSTM网络的移动云负载预测方法，其特征在于，步骤3中分辨率为j的分解序列在时间t处的近似信号sjt的计算公式为：
s0t＝pxt (8)
式中，k(h)为卷积核；
分辨率为j的分解序列在时间t处的细节信号djt为：
djt＝sjt-s(j-1)t。 (10)
5.根据权利要求4所述的结合注意力机制的LSTM网络的移动云负载预测方法，其特征在于，所述k(h)＝[1/2，1/2]，则近似信号sjt的计算公式为：
6.根据权利要求4所述的结合注意力机制的LSTM网络的移动云负载预测方法，其特征在于，步骤4中所述移动云负载预测模型MCLPM-LSTMN-AM包括线性组件和非线性组件，其构建过程包括：
步骤4-1，采用自回归模型即AR模型作为线性组件来捕捉目标负载特征序列的线性成分，该模型预测结果Yar的计算公式为：
式中，War和bar为线性组件AR模型的系数，ω表示输入序列的时间窗口的大小，即时间序列长度，xt表示负载特征序列在t时间步时的值；
步骤4-2，采用编码器-解码器的结构构建非线性组件，编码器和解码器各由一个LSTM网络构成，在编码器中使用注意力机制以赋予不同时刻输入不同的权重，ht表示编码层的LSTM网络的隐含层状态向量，ht＝LSTM(ht-1，xt)；
步骤4-3，计算注意力权重
式中，
表示t时间步LSTM网络输出的第i个隐藏状态向量hi对于预测输出的重要性，
表示时间步t处的输入ht与时间步i处的输出si之间的相关性评分；
步骤4-4，计算注意力上下文向量C＝{c1，...，ct，...cω}，其中时间步t时的注意力上下文向量ct的计算公式为：
步骤4-5，在解码器解码阶段，将编码层中注意力机制中得到的C＝{c1，...，ct，...cω}向量通过一层LSTM网络进行计算，得到t时间步隐藏状态向量st＝LSTM(st-1，ct)；
之后采用一个全连接层将隐藏状态向量st转为非线性组件部分的最终预测结果YED：
YED＝WEDst+bED (15)
式中，WED和bED为全连接层需要学习的参数，全连接层的输出即非线性组件部分的最终预测结果；
步骤4-6，计算最终预测结果Y：
Y＝YED+Yar (16)
式中，Y＝{yω+1，...，yt，...，yω+t′}，t′＝1时Y为主机未来一个时间步的负载，t′＞1时Y为未来t′个时间步的负载序列。
7.基于权利要求1至6任意一项所述方法的结合注意力机制的LSTM网络的移动云负载预测系统，其特征在于，所述系统包括：
数据处理模块，用于对云监控系统收集到的负载特征序列进行归一化处理；
特征选取模块，用于采用联合特征选择方法选取与目标负载特征最相关的特征；
分解模块，用于采用在线预测的无抽取的小波变换技术分解目标负载特征序列；
模型构建模块，用于构建结合注意力机制的LSTM网络的移动云负载预测模型MCLPM-LSTMN-AM；
模型训练模块，用于对所述移动云负载预测模型MCLPM-LSTMN-AM进行训练；
预测模块，用于利用训练好的MCLPM-LSTMN-AM模型进行移动云目标负载序列的单步及多步预测。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110293600.1A CN113051130B (zh) | 2021-03-19 | 2021-03-19 | 结合注意力机制的lstm网络的移动云负载预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110293600.1A CN113051130B (zh) | 2021-03-19 | 2021-03-19 | 结合注意力机制的lstm网络的移动云负载预测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113051130A true CN113051130A (zh) | 2021-06-29 |
| CN113051130B CN113051130B (zh) | 2023-05-02 |
Family
ID=76513436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110293600.1A Active CN113051130B (zh) | 2021-03-19 | 2021-03-19 | 结合注意力机制的lstm网络的移动云负载预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113051130B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505826A (zh) * | 2021-07-08 | 2021-10-15 | 西安电子科技大学 | 基于联合特征选择的网络流量异常检测方法 |
| CN113537586A (zh) * | 2021-07-12 | 2021-10-22 | 浙江大学 | 集成小波分解与深度神经网络的水质指标多步预测方法 |
| CN113946438A (zh) * | 2021-09-03 | 2022-01-18 | 西安电子科技大学 | 基于容器整合的在线迁移调度方法、装置、设备和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103365727A (zh) * | 2013-07-09 | 2013-10-23 | 南京大学 | 一种云计算环境中的主机负载预测方法 |
| CN107590567A (zh) * | 2017-09-13 | 2018-01-16 | 南京航空航天大学 | 一种基于信息熵聚类和注意力机制的循环神经网络短期负荷预测方法 |
| CN108170529A (zh) * | 2017-12-26 | 2018-06-15 | 北京工业大学 | 一种基于长短期记忆网络的云数据中心负载预测方法 |
| CN110889545A (zh) * | 2019-11-20 | 2020-03-17 | 国网重庆市电力公司电力科学研究院 | 一种电力负荷预测方法、装置及可读存储介质 |
| CN111638958A (zh) * | 2020-06-02 | 2020-09-08 | 中国联合网络通信集团有限公司 | 云主机负载处理方法、装置、控制设备及存储介质 |
| CN112486687A (zh) * | 2020-12-03 | 2021-03-12 | 重庆邮电大学 | 一种基于多任务学习时间序列的云平台工作负载预测方法 |
-
2021
- 2021-03-19 CN CN202110293600.1A patent/CN113051130B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103365727A (zh) * | 2013-07-09 | 2013-10-23 | 南京大学 | 一种云计算环境中的主机负载预测方法 |
| CN107590567A (zh) * | 2017-09-13 | 2018-01-16 | 南京航空航天大学 | 一种基于信息熵聚类和注意力机制的循环神经网络短期负荷预测方法 |
| CN108170529A (zh) * | 2017-12-26 | 2018-06-15 | 北京工业大学 | 一种基于长短期记忆网络的云数据中心负载预测方法 |
| CN110889545A (zh) * | 2019-11-20 | 2020-03-17 | 国网重庆市电力公司电力科学研究院 | 一种电力负荷预测方法、装置及可读存储介质 |
| CN111638958A (zh) * | 2020-06-02 | 2020-09-08 | 中国联合网络通信集团有限公司 | 云主机负载处理方法、装置、控制设备及存储介质 |
| CN112486687A (zh) * | 2020-12-03 | 2021-03-12 | 重庆邮电大学 | 一种基于多任务学习时间序列的云平台工作负载预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杨云等: "基于卷积网络与支持向量机的云资源预测模型", 《陕西科技大学学报》 * |
| 韦传讲，庄毅: "面向移动云计算的自适应虚拟机调度算法", 《小型微型计算机系统》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505826A (zh) * | 2021-07-08 | 2021-10-15 | 西安电子科技大学 | 基于联合特征选择的网络流量异常检测方法 |
| CN113505826B (zh) * | 2021-07-08 | 2024-04-19 | 西安电子科技大学 | 基于联合特征选择的网络流量异常检测方法 |
| CN113537586A (zh) * | 2021-07-12 | 2021-10-22 | 浙江大学 | 集成小波分解与深度神经网络的水质指标多步预测方法 |
| CN113537586B (zh) * | 2021-07-12 | 2024-04-05 | 浙江大学 | 集成小波分解与深度神经网络的水质指标多步预测方法 |
| CN113946438A (zh) * | 2021-09-03 | 2022-01-18 | 西安电子科技大学 | 基于容器整合的在线迁移调度方法、装置、设备和系统 |
| CN113946438B (zh) * | 2021-09-03 | 2024-04-30 | 西安电子科技大学 | 基于容器整合的在线迁移调度方法、装置、设备和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113051130B (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tian et al. | Data driven parallel prediction of building energy consumption using generative adversarial nets | |
| Karim et al. | BHyPreC: a novel Bi-LSTM based hybrid recurrent neural network model to predict the CPU workload of cloud virtual machine | |
| CN113051130B (zh) | 结合注意力机制的lstm网络的移动云负载预测方法及系统 | |
| EP4080416A1 (en) | Adaptive search method and apparatus for neural network | |
| Gupta et al. | Resource usage prediction of cloud workloads using deep bidirectional long short term memory networks | |
| Li et al. | A ship motion forecasting approach based on empirical mode decomposition method hybrid deep learning network and quantum butterfly optimization algorithm | |
| CN106933649B (zh) | 基于移动平均和神经网络的虚拟机负载预测方法及系统 | |
| Wang et al. | A compound framework for wind speed forecasting based on comprehensive feature selection, quantile regression incorporated into convolutional simplified long short-term memory network and residual error correction | |
| CN113408743A (zh) | 联邦模型的生成方法、装置、电子设备和存储介质 | |
| WO2022068623A1 (zh) | 一种模型训练方法及相关设备 | |
| Dogani et al. | Host load prediction in cloud computing with discrete wavelet transformation (dwt) and bidirectional gated recurrent unit (bigru) network | |
| Dogani et al. | Multivariate workload and resource prediction in cloud computing using CNN and GRU by attention mechanism | |
| CN116684330A (zh) | 基于人工智能的流量预测方法、装置、设备及存储介质 | |
| CN115376518A (zh) | 一种实时噪声大数据的声纹识别方法、系统、设备和介质 | |
| Li et al. | Improved LSTM-based prediction method for highly variable workload and resources in clouds | |
| Bi et al. | Accurate prediction of workloads and resources with multi-head attention and hybrid LSTM for cloud data centers | |
| Bielecki et al. | Estimation of execution time for computing tasks | |
| CN116976461A (zh) | 联邦学习方法、装置、设备及介质 | |
| WO2020252925A1 (zh) | 用户特征群中用户特征寻优方法、装置、电子设备及计算机非易失性可读存储介质 | |
| Liang et al. | Data fusion combined with echo state network for multivariate time series prediction in complex electromechanical system | |
| CN116578858A (zh) | 基于图神经网络的空压机故障预测与健康度评价方法及系统 | |
| Hu et al. | A novel construction and inference methodology of belief rule base | |
| CN115081609A (zh) | 一种智能决策中的加速方法、终端设备及存储介质 | |
| Graves et al. | Proximity fuzzy clustering and its application to time series clustering and prediction | |
| CN114611673A (zh) | 神经网络压缩方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |