CN112162860A - 基于if-emd-lstm的cpu负载趋势预测方法 - Google Patents

基于if-emd-lstm的cpu负载趋势预测方法 Download PDF

Info

Publication number
CN112162860A
CN112162860A CN202011023747.0A CN202011023747A CN112162860A CN 112162860 A CN112162860 A CN 112162860A CN 202011023747 A CN202011023747 A CN 202011023747A CN 112162860 A CN112162860 A CN 112162860A
Authority
CN
China
Prior art keywords
lstm
data
emd
algorithm
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011023747.0A
Other languages
English (en)
Inventor
李国�
陈茜
王潇霏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN202011023747.0A priority Critical patent/CN112162860A/zh
Publication of CN112162860A publication Critical patent/CN112162860A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于IF‑EMD‑LSTM的CPU负载趋势预测方法，属于民航信息处理技术领域，其特征在于，包括如下步骤：S1、数据预处理,采用孤立森林算法对数据中的高异常点进行剔除并提高信噪比；S2、数据分解，采用EMD算法将输入数据分解为不同频率的IMF组件和残差；S3、优化神经网络，利用BA算法优化LSTM初始权值和阈值，利用优化的值构造BA‑LSTM模型；S4、神经网络训练，对每组IMF组件执行优化后的LSTM网络训练，并通过单独优化后的LSTM神经网络预测每个IMF和残差，并从每个预测值中重建预测值。本发明降低了服务器管理系统对CPU资源负载的实时预测误差。

Description

基于IF-EMD-LSTM的CPU负载趋势预测方法
技术领域
本发明属于民航信息处理技术领域，特别是涉及一种基于IF-EMD-LSTM的CPU负载趋势预测方法。
背景技术
2016年12月，英国国家航空服务公司(NATS)由于两条系统航班服务器通道均发生故障，导致数百架航班无法起飞，此次故障共造成120架航班被取消，500架航班被延误超45分钟，共影响约10000万名旅客。
2016年8月8日凌晨2点，达美航空公司在亚特兰大的主数据中心发生故障，导致全球电脑和运营系统停顿。超过650各航班被取消，数千旅客滞留全球各机场，航班延误严重，损失数百万美金。
一个典型的数据中心服务器可以运行成百上千资源不断变化的作业，然而现有系统并不能适应日益增长的调度复杂性。主要原因是管理系统将工作任务低效地分配给服务器，不能在安排工作任务之前充分考虑服务器状态。因此，高效管理数据中心资源，提高服务器负载预测精确度，优化服务器资源调度至关重要。
现如今，许多科研机构和企业正尝试通过数据趋势提前预测服务器资源利用情况。常见方法有三类，一、传统预测方法，如Holter–Winter,差分整合移动平均自回归模型(ARIMA)和3Sigma算法，结合历史数据进行趋势预测。人工智能方法，文献重点研究谷歌数据中心服务器CPU时间序列预测，使用长短期记忆网络(LSTM)并与应用广泛的ARIMA预测结果进行对比。结果表明，LSTM模型预测结果准确率更高，学习非线性数据的能力比ARIMA模型表现更优异。文献指出组合模型通过将两个或多个单一模型结合起来，综合单一模型的优点，克服了单一模型的缺点，提高了混合模型的整体预测精度。文献研究发现农业时间序列既包含线性部分又包含非线性部分，线性部分使用ARIMA建模，非线性部分使用LSTM建模。最后，得到了两种模型的混合预测结果。文献提出了EEMD-ARIMA的混合预测模型。经验模态分解(EMD)和综合经验模式用于将黄河上游长期径流预测的水文时间序列分解为不同频率的IMF组件进行预测。
发明内容
技术问题
为降低了服务器管理系统对CPU资源负载的实时预测误差，关键两点：1)原始时间序列数据处理。原始数据存在非平稳，周期性，非线性，异常点多的问题，首先需要对原始数据进行处理，填补空缺值，剔除异常点。2)传统时间序列预测方法可变参数较少，对于非线性，非平稳，信噪比高的数据预测结果准确率不高，很难适应多变的时间序列预测。人工智能方法容易陷入局部最优、易发生过拟合，模型参数不易精确获得，导致预测精度不高。基于以上两点分析，本发明提出了一种基于IF-EMD-LSTM的CPU负载趋势预测方法。
技术方案
本发明的第一目的是提供一种基于IF-EMD-LSTM的CPU负载趋势预测方法，包括如下步骤：
S1、数据预处理：采用孤立森林算法对数据中的高异常点进行剔除并提高信噪比。
S2、数据分解:为了进一步提高预测精度，采用EMD算法将输入数据分解为不同频率的IMF组件和残差。
S3、优化神经网络：利用BA算法优化LSTM初始权值和阈值，利用优化的值构造BA-LSTM模型，减少人为主观选择参数对网络性能的影响。
S4、神经网络训练：对每组IMF组件执行优化后的LSTM网络训练，并通过单独的优化后的LSTM神经网络预测每个IMF和残差，并从每个预测值中重建预测值。
孤立森林算法
孤立森林是基于集合的快速异常线性时间复杂度高的检测方法。这是一种异常检测算法满足大数据处理的要求。孤立森林适合用于连续数据的异常检测，并且异常被定义为“孤立的容易隔离的点，可以理解作为一个稀疏分布且远离的点密集的人群。偏远的森林需要使用集成方法得到一个收敛值(蒙特卡罗方法)，也就是说，从头开始反复切割，然后平均每次切割的结果。孤立的森林需要使用整体方法为了得到一个收敛值(蒙特卡罗方法)，也就是说，从一开始就反复地剪平均每一次切割的结果。孤立森林组成的每一棵树结构实现方式如下：
1.随机选择一个属性A。
2.随机选择此属性值的值。
3.根据A对每条记录进行分类；将小于A的记录放在左边的子树上，并将大于或等于value的记录放在右边的子树上。
4.构造左，右子树使用递归方式，直到满足以下条件：(1)传入数据集仅具有一个或多个相同记录，并且(2)树的高度达到高度阈值。
对于有4个样本的测试数据1、23、29、100遍历一棵孤立树，样本100最先被孤立出来，所以最有可能是异常数据。
经验模态分解
EMD分解可以将非平稳信号自适应地分解为一系列IMF信号和残差。IMF满足两点：第一，极端点的数目和零交叉点的数目必须相等或相差不超过一。其次，在任何一点上，包络都是由局部最大值和局部极小值点形成的。极小值点形成的包络的平均值为零。对于给定信号，执行EMD分解的步骤如下：
求出x(t)的上极点和下极点；使用插值方法形成上下包络并计算初始值m1；
提取细节：
h1＝x(t)-m1 (1)
确定h1是否满足IMF条件。如果满足，则h1是x(t)的第一个成分，记录为c1＝h1，并终止分解。如果不满意，请对k重复以上步骤k次以获得
h1k＝h1(k-1)-m1k (2)
其中h1k是IMF，则c1k＝h1k是第一个IMF信号x(t)的分量；
在上述迭代满足术语标准标准偏差(SD)之前，标准偏差通常为(0.2–0.3)；将c1与x(t)合并得到：
r1＝x(t)-c1 (3)
分解c1，c2，...，cn并重复进行：组件包含不同的分量频率段从高到低。总而言之，原始信号的分解是
Figure BDA0002701519410000031
蝙蝠算法
蝙蝠算法是Xin-Sbe Yang等在2010年研发的高效生物启发式的算法。蝙蝠的回声定位的行为可以通过与待优化的目标函数相关联的方式进行表达，即将蝙蝠寻找最优位置的过程替换为寻找目标函数fitness和目标变量x＝(x1,x2,x3,…,xd)T的最优值问题。蝙蝠算法的具体运行过程如下：
步骤一：设置蝙蝠的个数N，维度d，迭代次数r，脉冲响度A，脉冲频率r，脉冲频率范围[Qmin,Qmax]，位置范围[xmin,xmax]以及适应度函数fitness。
步骤二：根据公式(13)至(15)更新第i＝1,2,3,…,N只蝙蝠在t时刻的位置
Figure BDA0002701519410000041
速度
Figure BDA0002701519410000042
以及第i只蝙蝠的搜索脉冲频率Qi，其中γ∈[0,1]
Qi＝Qmin+(Qmax-Qmin)*γ (5)
Figure BDA0002701519410000043
Figure BDA0002701519410000044
随机产生一个数rand，比较rand与脉冲频率r的大小关系，如果rand大于r，则通过公式(16)对当前最优解xbest进行随机干扰。如果rand比r小则直接利用公式(17)引进行越界处理，具体公式如下所示：
Figure BDA0002701519410000045
Figure BDA0002701519410000046
式(16)中，ρ∈[-1,1]的随机值，AVt是t时刻蝙蝠群体脉冲n向度的平均值。
步骤四：对新位置xt；求适应度函数值fnew。生产随机数rand，若rand小于脉冲响度A并且fnew小于目前位置适应度函数值fitness，则把fnew赋值给fitness。
Figure BDA0002701519410000047
步骤五：比较fnew与当前最优的目标函数值儿fmin的大小。若fnew较小，则将fmin替换成fnew，将
Figure BDA0002701519410000048
赋值给xbest，然后改变脉冲响度A和脉冲频率r，公式如下：
Figure BDA0002701519410000049
Figure BDA00027015194100000410
其中α∈(0,1),ε>0，这两个数均为常数。且当
Figure BDA00027015194100000411
步骤六：重复步骤二至步骤五，直至达到最大法代次数或者最优适应度函数值小于设定值。
长短时记忆网络
在阈值神经网络中，LSTM网络最为著名。存储器是用来判断的信息是否有用。与传统时间序列预测模型相比，LSTM模型解决长期依赖问题并充分考虑时间序列数据的特点。
LSTM包含四个非常关键的元素输入门，输出门，遗忘门，和内存单元。下面对LSTM中各部分进行描述:
输入门
it＝δ(Wi·[ht-1,xt]+bi) (13)
式中，wt表示输入门的权重矩阵，bt为偏置，δ为sigmoid函数
Figure BDA0002701519410000051
输出门
ot＝δ(Wo·[ht-1,xt]+bo) (15)
式中，W0表示输出门的权重矩阵，b0为偏置。
遗忘门
ft＝δ(Wf·[ht-1,,xt]+bf) (16)
式中，Wf是遗忘门的权重矩阵，bf为偏置，δ为sigmoid。
内存单元
ct＝tanh(Wc·[ht-1,xt]+bc) (17)
ct＝ft·ct-1+it·ct (18)
式中，Wc为存储单元的权重矩阵，bc为记忆单元的偏差项，tanh函数表达式为：
Figure BDA0002701519410000052
LSTM的最终输出由输出门和单元状态决定
ht＝ottanh(ct) (20)
其中初始化时，c0＝0,h0＝0，LSTM的输入单元为x(t)，输出单元代表h(t)。
BA-LSTM模型构建流程
步骤一：首先根据本文第三部分静态确定LSTM参数，除初始权值和其阈值；
步骤二：准备数据：利用WT和IF进行数据预处理，EMD进行数据分解；
步骤三：BA参数初设和训练：首先根据公式(22)
求出BA算法的维度，其中，j，k，l表示LSTM中输入层，隐含层和输出层的个数；
d＝4*j*k+4*k+j*k*l (22)
BA与LSTM目标函数相同：
Figure BDA0002701519410000061
其中：o是指蝙蝠中的第o个；p是指第p条数据；oip和Tip是第o只蝙蝠确定模型LSTM样本数据p下的输出值和真实值；m是指样本总数。
步骤四：将步骤三得到的最优值等于LSTM的初始权值和阈值，训练BA-LSTM模型。
本专利的第二发明目的是提供一种基于IF-EMD-LSTM的CPU负载趋势预测系统，包括：
数据预处理模块,采用孤立森林算法对数据中的高异常点进行剔除并提高信噪比；
数据分解模块，采用EMD算法将输入数据分解为不同频率的IMF组件和残差；
优化神经网络模块，利用BA算法优化LSTM初始权值和阈值，利用优化的值构造BA-LSTM模型；
神经网络训练模块，对每组IMF组件执行优化后的LSTM网络训练，并通过单独优化后的LSTM神经网络预测每个IMF和残差，并从每个预测值中重建预测值。
本专利的第三发明目的是提供一种实现上述基于IF-EMD-LSTM的CPU负载趋势预测方法的计算机程序。
本专利的第四发明目的是提供一种实现上述基于IF-EMD-LSTM的CPU负载趋势预测方法的信息数据处理终端。
本专利的第五发明目的是提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述的基于IF-EMD-LSTM的CPU负载趋势预测方法。
本发明的优点及积极效果为：
通过采用上述技术方案，本发明具有如下的技术效果：
本发明第一次使用IF(孤立森林)处理服务器CPU负载数据的异常点，为了解决原始数据不平稳问题，引入EMD(经验模态分解算法)将原始数据分解为不同阶IMF和残差。再使用BA算法消除了LSTM算法人为主观确定初始权值和阈值对网络性能的影响。最终提出了一种基于IF-EMD-LSTM的数据中心服务器负载预测混合方法。提高了预测精度。为之后根据负载预测结果迁移数据服务器上的数据和任务提供了精确地数据准备，确保了服务器的正常和高效的工作状态。
附图说明
图1为本发明优选实例的流程图；
图2为本发明优选实例的测试样例图；
图3为本发明优选实例的LSTM原理图；
图4为本发明优选实例中CPU负载数据图；
图5为本发明优选实例中孤立森林原始数据异常点去除图；
图6为本发明优选实例中EMD分解后数据曲线图；
图7为本发明优选实例中LSTM模型预测结果图；
图8为本发明优选实例中ARIMA模型预测结果图；
图9为本发明优选实例中IF-EMD-LSTM模型预测结果图。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。
本发明针对预测数据中心服务器的CPU使用率，提出了一种基于IF-EMD-LSTM的CPU负载趋势预测方法。首先，单独的时间序列详细信息，服务器CPU使用率是从Google集群数据集中提取的。之后，进行时间序列特点分析并分析各方法的适用性，一方面使用IF能够去除数据中的异常点并提高原始数据信噪比；另一方面LSTM的结构设计比传统预测模型ARIMA更适合该时间序列预测，使用BA算法优化LSTM模型，构建BA-LSTM模型，减小LSTM参数人为主观选择对网络性能造成的影响。并与差分整合移动平均自回归模型(ARIMA)，LSTM模型进行对比实验。本发明降低了服务器管理系统对CPU资源负载的实时预测误差。
请参阅图1-至图9，具体方案为：
一种基于IF-EMD-LSTM的CPU负载趋势预测方法，包括如下步骤：
S1、数据预处理,采用孤立森林算法对数据中的高异常点进行剔除并提高信噪比；
S2、数据分解，采用EMD算法将输入数据分解为不同频率的IMF组件和残差；
S3、优化神经网络，利用BA算法优化LSTM初始权值和阈值，利用优化的值构造BA-LSTM模型；
S4、神经网络训练，对每组IMF组件执行优化后的LSTM网络训练，并通过单独优化后的LSTM神经网络预测每个IMF和残差，并从每个预测值中重建预测值。
一种基于IF-EMD-LSTM的CPU负载趋势预测系统，包括：
数据预处理模块,采用孤立森林算法对数据中的高异常点进行剔除并提高信噪比；
数据分解模块，采用EMD算法将输入数据分解为不同频率的IMF组件和残差；
优化神经网络模块，利用BA算法优化LSTM初始权值和阈值，利用优化的值构造BA-LSTM模型；
神经网络训练模块，对每组IMF组件执行优化后的LSTM网络训练，并通过单独优化后的LSTM神经网络预测每个IMF和残差，并从每个预测值中重建预测值。
一种实现上述基于IF-EMD-LSTM的CPU负载趋势预测方法的计算机程序。
一种实现上述基于IF-EMD-LSTM的CPU负载趋势预测方法的信息数据处理终端。
一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述的基于IF-EMD-LSTM的CPU负载趋势预测方法。
实验环境及数据
本发明的实验环境是：Intel(R)Core(TM)i5-4590CPU,8GB内存，操作系统为Windows7旗舰版，在Matlab环境下进行实验。实验需要Keras深度学习框架下的LSTM库，Sklearn机器学习库，Pandas，Numpy，Matplotlib科学计算库和绘图库。
本发明实验数据皆来自Google集群数据集。
特征提取
本文采用某航空公司服务器集群数据集，该数据集详细记录了300+服务器从2018年11月1日至2018年11月15日，总计15天资源使用的详细情况。然而手动为300+服务器建立资源负载预测模型不合理。因此，只为其中一台服务器(机器ID：193)建立时间序列分析，建模和预测方法。其余服务器也是同样的建立方法。之所以选择数据集最活跃的机器进行研究，是因为该机器空缺值最少。以下ID为193的服务器被称为机器A。为了提取服务器每个时间窗的工作CPU负载，我们考虑到某些任务只部分运行5分钟时间窗这一事实。因此，将每相隔5分钟时间窗任务的所有CPU读数相加。并且观察到一些机器不活动时期CPU读数为0。使用线性插值方法来填充空缺值，使用空缺值的相邻值进行填充，保持序列的连续性。共计4120条数据，选取前70％的数据作为训练集，20％,的数据作为单步测试集，10％剩余数据用于验证模型的泛化能力。提取机器A CPU负载时间序列数据”CPU_load_data.csv”文件，数据格式为{time，CPU load data},其中time代表时间，CPU load data代表CPU负载数据，具体负载数据如图4所示。
实验过程
首先本文设置LSTM除初始值和阈值之外的数，通过构造每层256个神经元的两层LSTM，可以更改历史序列长度，batch_size和训练回合，以找到最适合该参数的值。平均绝对误差用作模型的评估指标：
将训练回合编号设置为50；batch_size为20；历史序列长度为5、10、15、20、25。预测结果如表1所示。其中，当历史序列长度为20时MAPE最小。
表1不同历史序列下的预测结果
Figure BDA0002701519410000101
将历史记录序列的长度设置为10；训练数回合为50；表2中显示了预测结果。batch_size为52时，误差最小。
表2不同batch_size下的预测结果
Figure BDA0002701519410000102
将历史记录序列的长度设置为10；batch_size为20时；训练回合的数量分别为30、50、80、100,300和1000。预测结果如表3所示。其中，当训练轮回合为80时，误差最小。
表3不同训练回合下的预测结果表
Figure BDA0002701519410000103
LSTM除初始权值和阈值外最优参数设置，如表4所示：
表4 LSTM参数设置表
Figure BDA0002701519410000111
分别使用ARIMA，LSTM和IF-EMD-LSTM混合模型进行预测。图5显示了孤立森林对异常点去除情况的展示。从图中可以看出，一些高爆炸异常数据已被消除。图6显示了使用EMD算法对数据进行分解的结果，将数据分解为不同频率的IMF组件和残差。图8显示了使用ARIMA模型预测，图7显示了使用LSTM预测模型的曲线预测结果。图9显示了使用IF-EMD-LSTM混合算法总体预测结果，为了更好地展示该混合算法的预测情况，只展示部分数据预测情况如图6所示。
实验结果分析
三个预测算法使用MAPE和RMSE做为评价标准，预测结果对比如表5所示。从表中可以看出MAPE和RMSE优于ARIMA和LSTM预测模型。
表5三种预测算法评价指标的比较
ARIMA LSTM WT-IF-EMD-BA-LSTM
MAPE 21.47％ 11.46％` 2.75％
RMSE 0.0511 0.0300 6.74e-05
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (5)

1.一种基于IF-EMD-LSTM的CPU负载趋势预测方法，其特征在于，包括如下步骤：
S1、数据预处理,采用孤立森林算法对数据中的高异常点进行剔除并提高信噪比；
S2、数据分解，采用EMD算法将输入数据分解为不同频率的IMF组件和残差；
S3、优化神经网络，利用BA算法优化LSTM初始权值和阈值，利用优化的值构造BA-LSTM模型；
S4、神经网络训练，对每组IMF组件执行优化后的LSTM网络训练，并通过单独优化后的LSTM神经网络预测每个IMF和残差，并从每个预测值中重建预测值。
2.一种基于IF-EMD-LSTM的CPU负载趋势预测系统，其特征在于，包括：
数据预处理模块,采用孤立森林算法对数据中的高异常点进行剔除并提高信噪比；
数据分解模块，采用EMD算法将输入数据分解为不同频率的IMF组件和残差；
优化神经网络模块，利用BA算法优化LSTM初始权值和阈值，利用优化的值构造BA-LSTM模型；
神经网络训练模块，对每组IMF组件执行优化后的LSTM网络训练，并通过单独优化后的LSTM神经网络预测每个IMF和残差，并从每个预测值中重建预测值。
3.一种实现权利要求1所述基于IF-EMD-LSTM的CPU负载趋势预测方法的计算机程序。
4.一种实现权利要求1所述基于IF-EMD-LSTM的CPU负载趋势预测方法的信息数据处理终端。
5.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1所述的基于IF-EMD-LSTM的CPU负载趋势预测方法。
CN202011023747.0A 2020-09-25 2020-09-25 基于if-emd-lstm的cpu负载趋势预测方法 Pending CN112162860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011023747.0A CN112162860A (zh) 2020-09-25 2020-09-25 基于if-emd-lstm的cpu负载趋势预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011023747.0A CN112162860A (zh) 2020-09-25 2020-09-25 基于if-emd-lstm的cpu负载趋势预测方法

Publications (1)

Publication Number Publication Date
CN112162860A true CN112162860A (zh) 2021-01-01

Family

ID=73863907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011023747.0A Pending CN112162860A (zh) 2020-09-25 2020-09-25 基于if-emd-lstm的cpu负载趋势预测方法

Country Status (1)

Country Link
CN (1) CN112162860A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785051A (zh) * 2021-01-14 2021-05-11 武汉纺织大学 一种基于emd和tcn相结合的云资源预测方法
CN113051832A (zh) * 2021-04-01 2021-06-29 重庆大学 主轴系统热误差建模方法、误差预测系统、误差控制系统、误差控制方法及云雾计算系统
CN113915153A (zh) * 2021-09-30 2022-01-11 山东浪潮通软信息科技有限公司 一种矿用通风机异常检测的方法、系统、设备和存储介质
CN117332283A (zh) * 2023-12-01 2024-01-02 山东康源堂药业股份有限公司 一种中药材生长信息采集分析方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131424A (zh) * 2019-12-18 2020-05-08 武汉大学 一种基于emd和多变量lstm相结合的服务质量预测方法
CN111241466A (zh) * 2020-01-15 2020-06-05 上海海事大学 一种基于深度学习的船舶流量预测方法
CN111240268A (zh) * 2020-01-14 2020-06-05 重庆大学 基于slstm神经网络的轴系统热误差建模方法和热误差补偿系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131424A (zh) * 2019-12-18 2020-05-08 武汉大学 一种基于emd和多变量lstm相结合的服务质量预测方法
CN111240268A (zh) * 2020-01-14 2020-06-05 重庆大学 基于slstm神经网络的轴系统热误差建模方法和热误差补偿系统
CN111241466A (zh) * 2020-01-15 2020-06-05 上海海事大学 一种基于深度学习的船舶流量预测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785051A (zh) * 2021-01-14 2021-05-11 武汉纺织大学 一种基于emd和tcn相结合的云资源预测方法
CN113051832A (zh) * 2021-04-01 2021-06-29 重庆大学 主轴系统热误差建模方法、误差预测系统、误差控制系统、误差控制方法及云雾计算系统
CN113915153A (zh) * 2021-09-30 2022-01-11 山东浪潮通软信息科技有限公司 一种矿用通风机异常检测的方法、系统、设备和存储介质
CN117332283A (zh) * 2023-12-01 2024-01-02 山东康源堂药业股份有限公司 一种中药材生长信息采集分析方法及系统
CN117332283B (zh) * 2023-12-01 2024-03-05 山东康源堂药业股份有限公司 一种中药材生长信息采集分析方法及系统

Similar Documents

Publication Publication Date Title
US10360517B2 (en) Distributed hyperparameter tuning system for machine learning
CN112162860A (zh) 基于if-emd-lstm的cpu负载趋势预测方法
US9589045B2 (en) Distributed clustering with outlier detection
US20140372346A1 (en) Data intelligence using machine learning
Savani et al. Intra-processing methods for debiasing neural networks
CN109063939B (zh) 一种基于邻域门长短期记忆网络的风速预测方法及系统
US10963802B1 (en) Distributed decision variable tuning system for machine learning
US20150286704A1 (en) Adaptive variable selection for data clustering
CN111738520A (zh) 一种融合孤立森林与长短期记忆网络的系统负载预测方法
CN112181659B (zh) 云仿真内存资源预测模型构建方法与内存资源预测方法
CN114168608A (zh) 一种用于更新知识图谱的数据处理系统
Nural et al. Using meta-learning for model type selection in predictive big data analytics
Jiang et al. ADGym: Design Choices for Deep Anomaly Detection
US20230205823A1 (en) Intelligent clustering systems and methods useful for domain protection
Tawakuli et al. Experience: Differentiating between isolated and sequence missing data
Chen et al. Graph deep factors for probabilistic time-series forecasting
Yu et al. System load trend prediction method based on IF-EMD-LSTM
CN115408189A (zh) 人工智能与大数据结合的异常检测方法及服务系统
Xiang et al. Compressing Bayesian networks: Swarm-based descent, efficiency, and posterior accuracy
AU2020101842A4 (en) DAI- Dataset Discovery: DATASET DISCOVERY IN DATA ANALYTICS USING AI- BASED PROGRAMMING.
WO2009107412A1 (ja) グラフ構造推定装置、グラフ構造推定方法およびプログラム
Tian et al. Towards revealing parallel adversarial attack on politician socialnet of graph structure
CN113821401A (zh) 基于wt-ga-gru模型的云服务器故障诊断方法
CN113342474A (zh) 客户流量的预测、模型训练的方法、设备及存储介质
Tang et al. A feature interaction network for customer churn prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210101

WD01 Invention patent application deemed withdrawn after publication