CN113886454A - 一种基于lstm-rbf的云资源预测方法 - Google Patents

一种基于lstm-rbf的云资源预测方法 Download PDF

Info

Publication number
CN113886454A
CN113886454A CN202110930841.2A CN202110930841A CN113886454A CN 113886454 A CN113886454 A CN 113886454A CN 202110930841 A CN202110930841 A CN 202110930841A CN 113886454 A CN113886454 A CN 113886454A
Authority
CN
China
Prior art keywords
lstm
neural network
rbf
representing
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110930841.2A
Other languages
English (en)
Inventor
包晓安
苏逸凡
张娜
吴彪
涂小妹
金瑜婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN202110930841.2A priority Critical patent/CN113886454A/zh
Publication of CN113886454A publication Critical patent/CN113886454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于LSTM‑RBF的云资源预测方法，属于云资源预测领域。S10，读入云计算平台资源负载情况数据，数据归一化处理，转化为有监督学习问题。S20，使用LSTM神经网络进行资源预测。S30，使用RBF神经网络进行资源预测。S40，使用BP神经网络对LSTM和RBF的预测值进行混合预测。S50，输出混合预测结果。本发明采用基于LSTM‑RBF混合模型进行云计算资源预测，弥补了RBF模型不够快速与精确的不足，避免了LSTM模型训练时间呈指数倍增的问题，在混合方法上采用了BP神经网络对预测结果进行训练，区别于传统的权重搜索方法，本发明所采用的方法有效提高了预测结果的精确性。

Description

一种基于LSTM-RBF的云资源预测方法
技术领域
本发明涉及云资源预测领域，具体涉及一种基于LSTM-RBF的云资源预测方法。
背景技术
云计算是一种计算方式，它是指基于互联网等网络，通过虚拟化方式共享IT资源的新型计算模式，用户完全不需要了解云资源的技术基础架构。云计算的核心思想是通过网络统一管理和调度计算、存储、网络等系统资源，实现资源配置的整合和优化，以服务的方式满足客户随时随地获取可扩展的资源、最大限度降低成本等各种需求。传统的云计算是以虚拟机作为基本单位来进行资源分配和调度的，存在资源利用率低、部署和重启软件应用时间长等问题。近年来，许多公有云服务商，如Amazon、阿里云等，利用容器技术解决资源利用率的问题，使得容器化云计算平台发展迅速。
与传统的云计算相比，虽然容器云有着额外资源开销少、启动时间短等优点，但是容器云的发展时间相对较短，在资源管理及调度等问题上还有待优化和完善。目前主要存在供应不足和过度供应等问题。若出现资源供应不足，则可能导致SLA违约、QoS降低等结果，最终甚至引起用户的强烈不满而使用户流失和经济损失。而出现资源供应过度时，虽然用户的使用不会受影响，但是会因为过量的资源而导致能源的浪费且会增加维护的成本。因此，资源的分配、回收等是非常重要的问题。
发明内容
为了使容器云平台能够有效地预测未来的资源使用情况，本发明提出了一种基于长短期记忆神经网络和径向基神经网络(LSTM-RBF,Long Short Term Memory-RadialBasis Function)的云资源预测方法，并使用反向传播(BP,back propagation)神经网络对参数进行训练，以找到最优的参数组合。通过预测模型对历史的资源使用情况数据进行处理，为容器云平台提供预测值，然后根据预测值动态、及时、准确地进行调度和分配资源。
本发明所采用的技术方案是：
A、读入云计算平台集群中每台主机的资源负载情况数据，对数据进行归一化处理，转化为有监督学习问题，得到时间序列样本训练集；
B、使用LSTM神经网络对每一个时间序列样本进行资源预测，对LSTM神经网络进行训练；
C、使用RBF神经网络对每一个时间序列样本进行资源预测，对RBF神经网络进行训练；
D、对LSTM神经网络和RBF神经网络最终输出向量按比例参数进行加权融合，利用BP神经网络对加权结果进行混合预测；
E、利用样本训练集中的标签对BP神经网络进行训练，得到BP神经网络参数和所述的加权融合比例；
F、获取待预测的主机历史时刻的资源使用率序列作为训练好的LSTM神经网络和RBF神经网络的输入，两个网络的隐藏层输出结果按照步骤E得到的加权融合比例进行融合，再作为训练好的BP神经网络的输入，预测得到当前时刻的资源使用率。
进一步的，步骤A中所述的转化为有监督学习问题，具体为对归一化后的时间序列样本标注标签，所述的时间序列为每台主机在每一时刻的资源使用率，将历史时刻的资源使用率作为输入，将后一时刻的资源使用率作为标签。
本发明的云资源预测方法产生以下几种良好的效果：
效果1：本发明采用基于LSTM-RBF混合模型进行云计算资源预测，能够很好的弥补RBF单一模型在处理线性关系时不够快速与精确、且难以挖掘出真是时间序列数据中存在的所有关系的不足，提高预测的准确性。
效果2：本发明采用基于LSTM-RBF混合模型进行云计算资源预测，能够有效的避免LSTM单一模型在随着数据集规模的增大时训练时间也呈指数倍增的问题，LSTM和RBF单一模型可以同时进行训练，训练后再进行混合预测，有效地节约了预测时间。
效果3：本发明采用基于LSTM-RBF混合模型进行云计算资源预测，在混合方法上采用了BP神经网络对LSTM和RBF单一模型的预测结果放入不同网络结构中进行训练以得到最终的BP神经网络结构和权重值，区别于过去传统的权重搜索方法，本发明所采用的方法有效提高了最终预测结果的精确性。
附图说明
图1是LSTM-RBF云资源预测方法的步骤图；
图2是LSTM-RBF混合预测模型预测结果折线图。
具体实施方式
以下结合附图和具体实施对本发明进行详细描述，但不作为对发明的限定。
如图1，本方法是实现步骤如下：
A读入云计算平台资源负载情况数据，数据归一化处理，转化为有监督学习问题。
本实施例中，从网上获取公开数据集，该数据集是对某一生产集群以10秒作为时间间隔采集得到的集群中每台主机的资源使用情况。对实验数据的预处理包括数据特征归一化和将数据集转化为有监督学习问题，使其能够实现通过前一时刻的资源使用率预测当前时刻的资源使用率。本发明采用Python中的scikit-learn库中的MinMaxScaler预处理类实现数据集的规范化，并定义相关函数采用单变量或多变量时间序列将数据集构建为有监督学习数据集。数据分为训练集和测试集，训练集与测试集的比例为3：1。
B使用LSTM神经网络进行资源预测。
将经过预处理的训练集作为LSTM神经网络的输入，经过隐含层的处理，得到最后的输出。
LSTM隐含层的每一个节点都需要通过输入门、遗忘门、输出门的处理，来形成一次完整的处理，本发明采用现有的LSTM网络结构实现资源预测。
具体的，通过由sigmod激活函数和按位乘操作构成的遗忘门来剔除不必要的信息，其计算公式如下：
ft＝σ(Wf·[ht-1,xt]+bf)
其中，xt表示t时刻的时间序列样本，ht-1表示t-1时刻LSTM的上一个输出信号，Wf表示遗忘门的权重矩阵，bf表示遗忘门的偏置项，σ表示sigmod激活函数，ft表示t时刻遗忘门的输出信号；
通过由tanh激活函数和按位乘操作构成的记忆门来保留必要的信息，其计算公式如下：
it＝σ(Wi·[ht-1,xt]+bi)
Figure BDA0003210657870000031
Figure BDA0003210657870000032
其中，it表示记忆门的输出，值范围在0到1之间，决定哪些信息需要被更新，tan h表示tanh激活函数，Wi表示记忆门的权重矩阵，Wc表示单元状态的权重矩阵，bi表示记忆门的偏置项，bc表示单元状态的偏置项，
Figure BDA0003210657870000041
表示值范围在-1到1之间的新的状态候选向量，ft表示遗忘门输出信号，Ct-1表示t-1时刻的细胞状态，Ct表示t时刻的细胞状态。
输出门与tanh激活函数以及按位乘操作共同作用将细胞状态(相当于信息传输的路径，让信息能在序列连中传递下去)和输入信号传递到输出端：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tan h(Ct)
其中，ot表示控制单元状态的过滤程度，值范围在0到1之间，Wo表示单元状态的权重矩阵，bo表示单元状态的偏置项，ht表示t时刻LSTM的输出信号，·是向量的点乘，*是数值的相乘。
C使用RBF神经网络进行资源预测
首先需要确定RBF的中心向量，进而确定输入矢量到隐空间的映射关系。然后通过隐含层把向量从低维度映射到高维度，这样低维度线性不可分的情况到高维度就可以变得线性可分。最终可得到RBF网络的输出：
Figure BDA0003210657870000042
其中，yj表示第j个输出，ωij表示第i个隐藏层节点针对第j个输出的权重，h表示隐含层节点数，σ表示sigmoid激活函数，xt表示t时刻的时间序列样本，ci表示第i个中心向量，n表示输出层的节点数，||.||2表示向量的距离平方。
D使用BP神经网络对LSTM和RBF的预测值进行混合预测
络隐藏层的节点数量确定在[2,5]的范围区间。将LSTM和RBF的单一预测结果作为BP神经网络的输入，进行混合预测；设置多组不同的BP神经网络中间层节点数；每组网络均对LSTM和RBF的单一预测结果的加权结果进行训练，得到两个权值以及最终的混合预测结果；对每组得到的混合预测结果进行分析，选取出预测效果最佳的一组，得到BP神经网络的中间层节点数作为最终BP神经网络的结构。如此可得到隐藏层节点数分别为2、3、4、5的混合预测模型预测值共4组数据。
将预测结果与真实值进行对比，计算其误差比值，最终得到该预测模型的平均误差比值，实验数据如表1所示。
表1不同隐藏层节点数的预测模型的平均误差比值
Figure BDA0003210657870000051
从表1可以看出，当混合预测模型的BP网络隐藏层节点数为3时，有最小的平均误差比值，此时预测模型拥有最好的预测性能，可使得预测值与真实值相差较小。因此，最终将LSTM－RBF混合预测模型的隐藏层节点数设置为3。
将确定好隐藏层节点数的混合预测模型与LSTM和RBF的单一预测模型进行实验对比。实验结果同样进行误差比值以及平均误差比值的换算，得到表2数据。从表2中可以看出，经由本发明提出的混合预测模型预测得到的预测值具有更低的误差，结果更为精确，由此可知本发明提出的LSTM-RBF混合预测模型的预测效果明显好于单一的预测模型。
表2单一预测模型与混合预测模型的平均误差比值
预测模型 平均误差比值
LSTM单一预测模型 16.38％
RBF单一预测模型 19.36％
LSTM-RBF混合预测模型 4.51％
E输出混合预测结果
将混合预测模型的预测结果绘制成折线图，如图2所示，其中横坐标为时间，纵坐标为CPU资源利用率，实线表示真实值，虚线表示BP网络隐藏层结点数为3的情况下的预测结果。从图中可见，混合预测模型的预测结果精确性很高。
以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (5)

1.一种基于LSTM-RBF的云资源预测方法，其特征在于，包括以下步骤：
A、读入云计算平台集群中每台主机的资源负载情况数据，对数据进行归一化处理，转化为有监督学习问题，得到时间序列样本训练集；
B、使用LSTM神经网络对每一个时间序列样本进行资源预测，对LSTM神经网络进行训练；
C、使用RBF神经网络对每一个时间序列样本进行资源预测，对RBF神经网络进行训练；
D、对LSTM神经网络和RBF神经网络最终输出向量按比例参数进行加权融合，利用BP神经网络对加权结果进行混合预测；
E、利用样本训练集中的标签对BP神经网络进行训练，得到BP神经网络参数和所述的加权融合比例；
F、获取待预测的主机历史时刻的资源使用率序列作为训练好的LSTM神经网络和RBF神经网络的输入，两个网络的隐藏层输出结果按照步骤E得到的加权融合比例进行融合，再作为训练好的BP神经网络的输入，预测得到当前时刻的资源使用率。
2.根据权利要求1所述的一种基于LSTM-RBF的云资源预测方法，其特征在于：步骤A中所述的转化为有监督学习问题，具体为对归一化后的时间序列样本标注标签，所述的时间序列为每台主机在每一时刻的资源使用率，将历史时刻的资源使用率作为输入，将后一时刻的资源使用率作为标签。
3.根据权利要求2所述的一种基于LSTM-RBF的云资源预测方法，其特征在于：所述的步骤B包括：
B1、通过由sigmod激活函数和按位乘操作构成的遗忘门来剔除时间序列中不必要的信息，其计算公式如下：
ft＝σ(Wf·[ht-1，xt]+bf)
其中，xt表示t时刻的时间序列样本，ht-1表示t-1时刻LSTM的上一个输出信号，Wf表示遗忘门的权重矩阵，bf表示遗忘门的偏置项，σ表示sigmod激活函数，ft表示t时刻遗忘门的输出信号；
B2、通过由tanh激活函数和按位乘操作构成的记忆门来保留时间序列中必要的信息，其计算公式如下：
it＝σ(Wi·[ht-1，xt]+bi)
Figure FDA0003210657860000021
Figure FDA0003210657860000022
其中，it表示记忆门的输出，值范围在0到1之间，决定哪些信息需要被更新，tan h表示tanh激活函数，Wi表示记忆门的权重矩阵，Wc表示单元状态的权重矩阵，bi表示记忆门的偏置项，bc表示单元状态的偏置项，
Figure FDA0003210657860000023
表示值范围在-1到1之间的新的状态候选向量，ft表示遗忘门输出信号，Ct-1表示t-1时刻的细胞状态，Ct表示t时刻的细胞状态；
B3、输出门计算最终的输出结果：
ot＝σ(Wo·[ht-1，xt]+bo)
ht＝ot*tan h(Ct)
其中，ot表示控制单元状态的过滤程度，值范围在0到1之间，Wo表示单元状态的权重矩阵，bo表示单元状态的偏置项，ht表示t时刻LSTM的输出信号，·是向量的点乘，*是数值的相乘。
4.根据权利要求2所述的一种基于LSTM-RBF的云资源预测方法，其特征在于：所述的步骤C包括：
C1、确定RBF的中心向量，得到输入的时间序列到隐空间的映射关系；
C2、通过隐含层把向量从低维度映射到高维度；
C3、计算最终输出，其公式为：
Figure FDA0003210657860000024
其中，yj表示第j个输出，ωij表示第i个隐藏层节点针对第j个输出的权重，h表示隐含层节点数，σ表示sigmoid激活函数，xt表示t时刻的时间序列样本，ci表示第i个中心向量，n表示输出层的节点数，||.||2表示向量的距离平方。
5.根据权利要求3或4所述的一种基于LSTM-RBF的云资源预测方法，其特征在于：所述的步骤D包括：
D1、将LSTM和RBF的单一预测结果作为BP神经网络的输入，进行混合预测；
D2、设置多组不同的BP神经网络中间层节点数；
D3、每组网络均对LSTM和RBF的单一预测结果的加权结果进行训练，得到两个权值以及最终的混合预测结果；
D4、对每组得到的混合预测结果进行分析，选取出预测效果最佳的一组，得到BP神经网络的中间层节点数作为最终BP神经网络的结构。
CN202110930841.2A 2021-08-13 2021-08-13 一种基于lstm-rbf的云资源预测方法 Pending CN113886454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110930841.2A CN113886454A (zh) 2021-08-13 2021-08-13 一种基于lstm-rbf的云资源预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110930841.2A CN113886454A (zh) 2021-08-13 2021-08-13 一种基于lstm-rbf的云资源预测方法

Publications (1)

Publication Number Publication Date
CN113886454A true CN113886454A (zh) 2022-01-04

Family

ID=79011068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110930841.2A Pending CN113886454A (zh) 2021-08-13 2021-08-13 一种基于lstm-rbf的云资源预测方法

Country Status (1)

Country Link
CN (1) CN113886454A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114997748A (zh) * 2022-08-01 2022-09-02 中通客车股份有限公司 基于模型融合的新能源汽车运行安全风险预测方法及系统
CN115883392A (zh) * 2023-02-21 2023-03-31 浪潮通信信息系统有限公司 算力网络的数据感知方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114997748A (zh) * 2022-08-01 2022-09-02 中通客车股份有限公司 基于模型融合的新能源汽车运行安全风险预测方法及系统
CN115883392A (zh) * 2023-02-21 2023-03-31 浪潮通信信息系统有限公司 算力网络的数据感知方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US20190272553A1 (en) Predictive Modeling with Entity Representations Computed from Neural Network Models Simultaneously Trained on Multiple Tasks
CN110619420A (zh) 一种基于Attention-GRU的短期住宅负荷预测方法
CN111401433A (zh) 用户信息获取方法、装置、电子设备及存储介质
CN108805193B (zh) 一种基于混合策略的电力缺失数据填充方法
Urgun et al. Importance sampling using multilabel radial basis classification for composite power system reliability evaluation
CN113886454A (zh) 一种基于lstm-rbf的云资源预测方法
CN113659565B (zh) 一种新能源电力系统频率态势的在线预测方法
WO2021035412A1 (zh) 一种自动机器学习AutoML系统、方法及设备
CN109787821B (zh) 一种大规模移动客户流量消费智能预测方法
CN114399021A (zh) 一种基于多尺度信息的概率风速预测方法和系统
CN115562940A (zh) 负载能耗监控方法、装置、介质及电子设备
CN114995964A (zh) 一种组合服务重构方法、装置、设备和计算机可读介质
CN115330435A (zh) 一种碳排放权价格指标体系建立方法、装置、设备及介质
CN111859787A (zh) 基于气象水文预报因子分类和深度学习模型耦合的日径流预报方法
Liu et al. Failure prediction of tasks in the cloud at an earlier stage: a solution based on domain information mining
CN113033898A (zh) 基于k均值聚类与bi-lstm神经网络的电负荷预测方法及系统
CN111984514A (zh) 基于Prophet-bLSTM-DTW的日志异常检测方法
CN116911459A (zh) 适应于虚拟电厂的多输入多输出超短期电力负荷预测方法
Peng et al. Hmm-lstm for proactive traffic prediction in 6g wireless networks
CN112860531B (zh) 基于深度异构图神经网络的区块链广泛共识性能评测方法
CN115310355A (zh) 考虑多能耦合的综合能源系统多元负荷预测方法及系统
CN111353523A (zh) 一种对铁路客户进行分类的方法
CN112882914A (zh) 开源软件生态系统健康性的多维度度量系统
Yang et al. Power user portrait model based on random forest
Singh et al. A feature extraction and time warping based neural expansion architecture for cloud resource usage forecasting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination