CN114510871A - 基于思维进化和lstm的云服务器性能衰退预测方法 - Google Patents

基于思维进化和lstm的云服务器性能衰退预测方法 Download PDF

Info

Publication number
CN114510871A
CN114510871A CN202210020996.7A CN202210020996A CN114510871A CN 114510871 A CN114510871 A CN 114510871A CN 202210020996 A CN202210020996 A CN 202210020996A CN 114510871 A CN114510871 A CN 114510871A
Authority
CN
China
Prior art keywords
lstm
population
model
sub
cloud server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210020996.7A
Other languages
English (en)
Inventor
孟海宁
杨哲
张嘉薇
朱磊
李维
童新宇
黑新宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202210020996.7A priority Critical patent/CN114510871A/zh
Publication of CN114510871A publication Critical patent/CN114510871A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/04—Ageing analysis or optimisation against ageing

Abstract

本发明公开一种基于思维进化和LSTM的云服务器性能衰退预测方法，包括以下步骤：步骤1，获取云服务器资源和性能序列数据；步骤2，对步骤1获取得的序列数据进行预处理操作；步骤3构建LSTM模型，并利用LSTM模型对步骤2所得数据的预测值；步骤4，利用思维进化算法对LSTM模型进行参数优化，构建LSTM‑MEA模型；步骤5，使用LSTM‑MEA模型进行预测，并与步骤3得到的数据对比；步骤6，利用LSTM‑MEA模型的预测值和现有的序列数据对未来数据进行预测。本发明解决了传统的预测方法对波动较大的云服务器资源性能数据，预测精度不高的问题，并且克服预测过程易陷入局部最优解的问题。

Description

基于思维进化和LSTM的云服务器性能衰退预测方法
技术领域
本发明属于时间序列预测技术领域，具体涉及一种基于思维进化和LSTM的云服务器性能衰退预测方法。
背景技术
随着现代计算机技术和云计算的发展，云服务器使用越来越普遍。云服务器具有长期运行、高复杂性和资源交换频繁的特点，这增加了资源耗尽和软件系统出现异常和故障的风险。随着故障和资源消耗的累积，云服务器系统会出现缓慢的性能下降，故障率增加甚至崩溃。产生系统性能衰退的主要原因包括操作系统资源的消耗、数据的破坏以及误差的积累。这些现象都是随时间的推移逐渐积累，会使软件的性能恶化并可能导致软件系统的突然崩溃或停机。
常用应对系统性能衰退的手段是软件再生技术。该技术通过清理系统内部错误，在故障发生之前主动恢复系统。软件再生技术很大程度上取决于软件再生的时间。停机时间或者由此类操作引起的开销是不可忽略的，频繁的软件再生可能降低系统可用性。因此对软件性能衰退趋势的准确预测，计算性能衰退阈值，根据阈值确定再生时间，可以为系统预维护提供理论依据。
长短期记忆网络(Long Short-Term Memory，LSTM)避开了梯度爆炸和长期依赖问题。由于每一次循环都用到了前一次循环的信息，每一个输出状态都受到了之前状态的影响，所以，LSTM网络能够更好地记住长期的规律，并广泛应用于时间序列预测的问题，也适用于处理云服务器性能衰退的问题。
进化算法作为计算机领域与生物进化规律结合发展形成的一种新兴优化算法，克服了传统优化算法固有的全局寻优能力弱、解过于依赖初始值等缺陷，并且对求解复杂问题表现出了较强的鲁棒性，其中思维进化算法(MEA，Mind Evolution Algorithm,)在结构上保留了进化算法的并行性，它定义的趋同操作和异化操作分别用于局部搜索和全局探测，两者相互协调并保持一定的独立性，并且MEA具有灵活、高效的搜索框架。
发明内容
本发明的目的是提供一种基于思维进化和LSTM的云服务器性能衰退预测方法，解决了传统的预测方法对波动较大的云服务器资源性能数据，预测精度不高的问题，并且克服了模型预测过程中易陷入局部最优解、收敛速度慢且不稳定的问题。
本发明所采用的技术方案是：
基于思维进化和LSTM的云服务器性能衰退预测方法，包括以下步骤：
步骤1，获取云服务器资源和性能序列数据；
步骤2，对步骤1获取得的序列数据进行预处理操作；
步骤3，使用步骤2得到的数据构建LSTM模型，并利用LSTM模型对步骤2所得数据的预测值；
步骤4，利用思维进化算法对步骤3得到的LSTM模型来进行参数优化，构建LSTM-MEA模型；
步骤5，使用LSTM-MEA模型进行预测，并与步骤3得到的数据对比；
步骤6，利用LSTM-MEA模型的预测值和现有的序列数据对未来数据进行预测。
本发明的特点还在于：
步骤1中的资源和性能序列数据包括：CPU空闲率、可用内存、平均负载和响应时间；
步骤2中，对序列数据采用归一化处理方法进行预处理，将原始序列数据映射到[0,1]区间，具体方法是：先计算得序列数据的最大值和最小值，分别记为Xmax和Xmin；然后使用序列数据中的每个数据减去Xmin，再除以Xmax-Xmin。
步骤3中LSTM模型包括输入层、隐藏层、输出层、网络训练以及网络预测。输入层负责对原始响应时间序列进行初步处理以满足网络输入要求，藏层采用LSTM细胞搭建单层循环神经网络，单层循环神经网络，输出层提供预测结果网络，网络预测模块采用迭代的方法逐点预测。
步骤3中LSTM模型采用均方误差
Figure BDA0003462388710000031
作为误差计算公式，训练过程采用损失函数
Figure BDA0003462388710000032
Figure BDA0003462388710000033
进行更新网络权重。
步骤4中用思维进化算法对LSTM模型进行参数优化，具体方法是：
步骤4.1，设置参数：首先设种群的规模为initsize，优胜子种群数为ON，临时子种群数为TN，子种群容量为Capacity＝initsize/(Tn+On)。
步骤4.2，在解空间中随机生成规模为initsize的群体，然后根据适应度得分进行排序。选取其中分数最高的Tn+On个个体作为中心个体，在分别以它们为中心的部分区域内分别产生规模为Capacity的ON个优胜子群体和TN个临时子群体。
步骤4.3，趋同操作：对优胜子群体和临时子群体分别进行MEA寻优，待子群体成熟后，取各子群体中的最优个体得分作为对应子群体的得分。
步骤4.4，异化操作：完成临时子群体和优胜子群体的替换和释放；在以该个体为中心的一定区域内生成新的临时子群体参与下轮竞争，保证子群体的总数不变。
步骤4.5，判断是否满足终止条件：若是，结束迭代并输出结果；否则，返回步骤4.3中，进行下轮迭代搜索。
步骤4.6，训练LSTM神经网络：将优化得到的权值和阈值作为LSTM神经网络的初始权值和阈值，并利用训练集样本对LSTM神经网络进行训练、学习。
步骤4.7，仿真预测、结果分析：与传统LSTM神经网络相同，训练完成后，便可输入测试集样本，进行仿真预测。
步骤4.8当迭代次数或者输出误差不满足要求，重复上述操作。
本发明的有益效果是：
本发明不仅解决了传统的预测方法对波动较大的云服务器资源性能数据，预测精度不高的问题；并且提出了利用思维进化算法来优化参数的时间序列数据计算方法，克服了模型预测过程中易陷入局部最优解、收敛速度慢且不稳定的问题。本发明方法能够提取云服务器系统的特征变化，最终实现了对云服务器系统性能参数的高准确率预测并分析，更精确地预测软件性能衰退现象。
附图说明
图1为本发明基于思维进化和LSTM的云服务器性能衰退预测方法中的流程图；
图2为本发明基于思维进化和LSTM的云服务器性能衰退预测方法中的云服务器系统数据库查询响应时间图；
图3为本发明基于思维进化和LSTM的云服务器性能衰退预测方法中的单个LSTM隐藏层细胞结构图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于思维进化和LSTM的云服务器性能衰退预测方法，整体流程如图1，包括以下步骤：
步骤1，获取云服务器系统资源和性能序列数据，资源和性能序列数据，包括：CPU空闲率、可用内存、平均负载和响应时间；
步骤2，对步骤1获取的序列数据进行预处理操作；
步骤3，使用步骤2得到的数据构建LSTM模型，并获得LSTM模型对步骤2所得数据的预测值；
步骤4，利用思维进化算法对步骤3得到的LSTM模型进行参数优化得到LSTM-MEA模型；
步骤5，使用LSTM-MEA模型进行预测，并与步骤3得到的数据对比；
步骤6，利用LSTM-MEA模型的预测值和现有的序列数据对未来数据进行预测。
步骤2中，对序列数据采用归一化处理方法进行预处理，将原始序列数据映射到[0,1]区间，具体方法是：先计算得序列数据的最大值和最小值，分别记为Xmax和Xmin；然后使用序列数据中的每个数据减去Xmin，再除以Xmax-Xmin。
步骤3中，构建LSTM模型具体方法包括输入层、隐藏层、输出层、网络训练以及网络预测5个功能模块。输入层负责对原始响应时间序列进行初步处理以满足网络输入要求，隐藏层搭建单层循环神经网络，输出层提供预测结果网络，网络预测模块采用迭代的方法逐点预测。
首先在输入层中，定义已经归一化后的原始性能参数序列数据为Fo＝{f1,f2,…,fn}，则划分的训练集和测试集可以表示为Ftr＝{f1,f2,…,fm}和Fte＝{fm+1,fm+2,…,fn}，满足约束条件m<n和m,n∈N。为了适应隐藏层输入的特点，应用数据分割的方法对Ftr进行处理，设分割长度取值为L，则分割后的模型为X＝{X1,X2,…,XL}，Xp＝{fp,fp+1,…,fm-L+p-1}，并有1≤p≤L；p,L∈N。对应的云服务器性能参数序列数据的理论输出为Y＝{Y1,Y2,…,YL},YP＝{fp+1,fp+2,…,fm-L+p}。
接下来，将X输入隐藏层，隐藏层包含L个按前后时刻连接的同构LSTM细胞，X经过隐藏层后的输出可以表示为P＝{P1,P2,…,PL}，Pp＝LSTMforward(Xp,Cp-1,Hp-1)，式中Cp-1和Hp-1分别为前一个LSTM细胞的状态和输出；LSTMforward表示LSTM向前细胞计算方法。设定细胞状态向量大小为Sstate，则Cp-1和Hp-1两个向量的大小均为Sstate。可以看出隐藏层输出P、模型输入X和理论输出Y都是维度为(m－L,L)的二维数组。选用均方误差
Figure BDA0003462388710000071
作为误差计算公式，训练过程的损失函数可以定义为：
Figure BDA0003462388710000072
Figure BDA0003462388710000073
设定损失函数最小为优化目标，不断更新网络权重，进而得到最终的隐藏层网络。
步骤4中，用思维进化算法对步骤3得到的LSTM模型进行参数优化的具体方法是：
步骤4.1，设置参数：首先设种群的规模为initsize，优胜子种群数为ON，临时子种群数为TN，子种群容量为Capacity＝initsize/(Tn+On)。
步骤4.2，在解空间中随机生成规模为initsize的群体，然后根据适应度得分进行排序。选取其中分数最高的Tn+On个个体作为中心个体，在分别以它们为中心的部分区域内分别产生规模为Capacity的ON个优胜子群体和TN个临时子群体。
步骤4.3，趋同操作：对优胜子群体和临时子群体分别进行MEA寻优，待子群体成熟后，取各子群体中的最优个体得分作为对应子群体的得分。
步骤4.4，异化操作：完成临时子群体和优胜子群体的替换和释放；在以该个体为中心的一定区域内生成新的临时子群体参与下轮竞争，保证子群体的总数不变。
步骤4.5，判断是否满足终止条件：若是，结束迭代并输出结果；否则，返回步骤4.3中，进行下轮迭代搜索。
步骤4.6，训练LSTM神经网络：将优化得到的权值和阈值作为LSTM神经网络的初始权值和阈值，并利用训练集样本对LSTM神经网络进行训练、学习。
步骤4.7，仿真预测、结果分析：与传统LSTM神经网络相同，训练完成后，便可输入测试集样本，进行仿真预测。
步骤4.8当迭代次数或者输出误差不满足要求，重复上述操作。
得到最优或者较优权值阈值解，作用于LSTM模型，输入训练数据，得到经思维进化算法优化后的LSTM网络，将测试数据带入网络模型中，得到云服务器资源性能时间序列数据的预测结果。
上述将序列数据进行预处理；首先取得序列数据的最小值，记为Xmin。求得原始数据的最大值，记为Xmax。用序列数据中的每个数据减去Xmin。将待处理的时间序列数据除以(Xmax-Xmin)。
上述构建LSTM模型并对于现有的数据进行训练并预测；构建LSTM模型具体方法包括输入层、隐藏层、输出层、网络训练以及网络预测5个功能模块。输入层负责对原始响应时间序列进行初步处理以满足网络输入要求，隐藏层采用图3表示的LSTM细胞搭建单层循环神经网络，输出层提供预测结果网络，网络预测模块采用迭代的方法逐点预测。
上述利用思维进化算法优化LSTM模型参数；利用经思维进化算法搜索到的解作为LSTM模型神经网络的初始权值和阈值，对网络进行创建，设定期望误差及迭代次数，并对网络进行训练，直到误差满足或迭代次数达到要求为止，输入云服务器资源性能时间序列测试数据，对响应时间进行预测。
实施例1
本实施例采用云系统服务器数据库查询响应时间作为示例，数据序列如图2所示，执行上述步骤1～6；
本实例得到的LSTM-MEA模型预测结果，和LSTM单一模型的预测效果的误差对比如表1所示，我们分别采用均方根误差RMSE、平均绝对误差MAE以及平均绝对百分比误差MAPE作为评价指标，分别如公式(1)(2)(3)所示，其中RMSE为标准差，N为数据样本的个数，ypredictive为预测值，ytrue为实际值。
表1不同模型的预测误差对比
Figure BDA0003462388710000091
Figure BDA0003462388710000101
Figure BDA0003462388710000102
Figure BDA0003462388710000103

Claims (5)

1.基于思维进化和LSTM的云服务器性能衰退预测方法，其特征在于，包括以下步骤：
步骤1，获取云服务器资源和性能序列数据；
步骤2，对步骤1获取得的序列数据进行预处理操作；
步骤3，使用步骤2得到的数据构建LSTM模型，并利用LSTM模型对步骤2所得数据的预测值；
步骤4，利用思维进化算法对步骤3得到的LSTM模型来进行参数优化，构建LSTM-MEA模型；
步骤5，使用LSTM-MEA模型进行预测，并与步骤3得到的数据对比；
步骤6，利用LSTM-MEA模型的预测值和现有的序列数据对未来数据进行预测。
2.根据权利要求1所述的基于思维进化和LSTM的云服务器性能衰退预测方法，其特征在于，所述步骤1资源和性能序列数据包括：CPU空闲率、可用内存、平均负载和响应时间；
所述步骤2中，对序列数据采用归一化处理方法进行预处理，将原始序列数据映射到[0,1]区间，具体方法是：先计算得序列数据的最大值和最小值，分别记为Xmax和Xmin；然后使用序列数据中的每个数据减去Xmin，再除以Xmax-Xmin。
3.根据权利要求1所述的基于思维进化和LSTM的云服务器性能衰退预测方法，其特征在于，所述步骤3中所述LSTM模型包括输入层、隐藏层、输出层、网络训练以及网络预测；输入层负责对原始响应时间序列进行初步处理以满足网络输入要求，隐藏层采用LSTM细胞搭建单层循环神经网络，输出层提供预测结果网络，网络预测模块采用迭代的方法逐点预测。
4.根据权利要求3所述的基于思维进化和LSTM的云服务器性能衰退预测方法，其特征在于，步骤3中所述LSTM模型采用均方误差
Figure FDA0003462388700000021
作为误差计算公式，训练过程采用损失函数
Figure FDA0003462388700000022
进行更新网络权重。
5.根据权利要求1所述的基于思维进化和LSTM的云服务器性能衰退预测方法，其特征在于，所述步骤4中用思维进化算法对LSTM模型进行参数优化，具体方法是：
步骤4.1，设置参数：首先设种群的规模为initsize，优胜子种群数为ON，临时子种群数为TN，子种群容量为Capacity＝initsize/(Tn+On)；
步骤4.2，在解空间中随机生成规模为initsize的群体，然后根据适应度得分进行排序。选取其中分数最高的Tn+On个个体作为中心个体，在分别以它们为中心的部分区域内分别产生规模为Capacity的ON个优胜子群体和TN个临时子群体；
步骤4.3，趋同操作：对优胜子群体和临时子群体分别进行MEA寻优，待子群体成熟后，取各子群体中的最优个体得分作为对应子群体的得分；
步骤4.4，异化操作：完成临时子群体和优胜子群体的替换和释放；在以该个体为中心的一定区域内生成新的临时子群体参与下轮竞争，保证子群体的总数不变；
步骤4.5，判断是否满足终止条件：若是，结束迭代并输出结果；否则，返回步骤4.3中，进行下轮迭代搜索；
步骤4.6，训练LSTM神经网络：将优化得到的权值和阈值作为LSTM神经网络的初始权值和阈值，并利用训练集样本对LSTM神经网络进行训练、学习；
步骤4.7，仿真预测、结果分析：与传统LSTM神经网络相同，训练完成后，便可输入测试集样本，进行仿真预测；
步骤4.8当迭代次数或者输出误差不满足要求，重复上述操作。
CN202210020996.7A 2022-01-10 2022-01-10 基于思维进化和lstm的云服务器性能衰退预测方法 Pending CN114510871A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210020996.7A CN114510871A (zh) 2022-01-10 2022-01-10 基于思维进化和lstm的云服务器性能衰退预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210020996.7A CN114510871A (zh) 2022-01-10 2022-01-10 基于思维进化和lstm的云服务器性能衰退预测方法

Publications (1)

Publication Number Publication Date
CN114510871A true CN114510871A (zh) 2022-05-17

Family

ID=81549088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210020996.7A Pending CN114510871A (zh) 2022-01-10 2022-01-10 基于思维进化和lstm的云服务器性能衰退预测方法

Country Status (1)

Country Link
CN (1) CN114510871A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116381480A (zh) * 2023-03-30 2023-07-04 湖南雪墨电气科技有限公司 一种智能化脱硫脱硝除尘设备的监测方法、系统及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116381480A (zh) * 2023-03-30 2023-07-04 湖南雪墨电气科技有限公司 一种智能化脱硫脱硝除尘设备的监测方法、系统及介质

Similar Documents

Publication Publication Date Title
CN110941734B (zh) 基于稀疏图结构的深度无监督图像检索方法
CN110609524B (zh) 一种工业设备剩余寿命预测模型及其构建方法和应用
CN111861013B (zh) 一种电力负荷预测方法及装置
CN111898703B (zh) 多标签视频分类方法、模型训练方法、装置及介质
CN108879732B (zh) 电力系统暂态稳定评估方法及装置
CN114609994B (zh) 基于多粒度正则化重平衡增量学习的故障诊断方法及装置
CN108053077A (zh) 一种基于区间二型t-s模糊模型的短期风速预测方法与系统
CN109034370A (zh) 一种基于特征映射剪枝的卷积神经网络精简方法
CN114490065A (zh) 一种负载预测方法、装置及设备
CN113449802A (zh) 基于多粒度互信息最大化的图分类方法及装置
CN115294397A (zh) 一种分类任务的后处理方法、装置、设备及存储介质
CN114510871A (zh) 基于思维进化和lstm的云服务器性能衰退预测方法
CN112561119B (zh) 一种使用arima-rnn组合模型的云服务器资源性能预测方法
CN113033898A (zh) 基于k均值聚类与bi-lstm神经网络的电负荷预测方法及系统
CN112631890A (zh) 基于lstm-aco模型预测云服务器资源性能的方法
CN115794405A (zh) 一种基于SSA-XGboost算法的大数据处理框架的动态资源分配方法
CN115879509A (zh) 基于代理辅助进化算法的卷积神经网络结构优化方法
CN115344386A (zh) 基于排序学习的云仿真计算资源预测方法、装置和设备
Feng et al. Web Service QoS Classification Based on Optimized Convolutional Neural Network
CN115083511A (zh) 基于图表示学习与注意力的外围基因调控特征提取方法
CN114881172A (zh) 一种基于加权词向量和神经网络的软件漏洞自动分类方法
CN114612914A (zh) 一种多标签不平衡数据分类的机器学习方法及系统
CN114444654A (zh) 一种面向nas的免训练神经网络性能评估方法、装置和设备
CN113821401A (zh) 基于wt-ga-gru模型的云服务器故障诊断方法
CN110543724A (zh) 面向总体设计的卫星结构性能预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination