CN112949610A - 一种基于降噪算法的改进Elman神经网络的预测方法 - Google Patents
一种基于降噪算法的改进Elman神经网络的预测方法 Download PDFInfo
- Publication number
- CN112949610A CN112949610A CN202110429811.3A CN202110429811A CN112949610A CN 112949610 A CN112949610 A CN 112949610A CN 202110429811 A CN202110429811 A CN 202110429811A CN 112949610 A CN112949610 A CN 112949610A
- Authority
- CN
- China
- Prior art keywords
- layer
- neural network
- data
- output
- noise reduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 55
- 230000009467 reduction Effects 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000012360 testing method Methods 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 238000012795 verification Methods 0.000 claims abstract description 13
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 18
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 210000002569 neuron Anatomy 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000009499 grossing Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开的一种基于降噪算法的改进Elman神经网络的预测方法。该预测方法包括:S1、将原始数据按比例划分为训练集、测试集以及验证集;S2、对原始数据采用降噪算法CPW进行降噪,降噪算法CPW通过将原始数据中的不同维度的数据使用CEEMDAN进行分解后结合排列熵使用小波变换对分解出来的IMF进行降噪,然后将经过了降噪处理的序列重构为降噪后的时间序列;S3、构建结合了注意力机制的EAMC神经网络;S4、将降噪后训练集的数据放入神经网络中进行训练,待损失值小于给定的阈值以后,保存训练好的神经网络,结束训练;S5、将待测样本输入经过训练后得到的神经网络中,获得预测结果,可以提高预测的精度。
Description
技术领域
本发明属于计算机神经网络应用技术领域,具体涉及一种基于降噪算法的改进Elman神经网络的预测方法。
背景技术
近年来,在国家大力号召“互联网+”的发展模式和5G逐渐商业普及的背景下,越来越多的存储和服务都部署在云端。这就使得云数据中心的负荷会越来越大。数据中心要完成巨大的计算和存储服务,就需要耗费大量的电力资源。传统的任务调度算法对能耗的感知较弱。如果可以提前得到将来时刻的物理机的资源使用情况,调度算法就可以基于预测的情况提前进行调度决策。从而提高了任务调度的效果和减少了做出调度决策所需要的时间。结合资源使用情况的预测,可以将任务从高负荷的机器分配到低负荷的机器上,也可以将低负载的机器关机以减少待机所耗电力。这样可以提高数据中心的电力使用效率。
目前在对信号进行降噪上比较流行的方法有傅里叶变换、小波变换、奇异谱分析以及经验模态分解(Empirical Mode Decomposition, EMD)等方法。而集合经验模态分解(Ensemble Empirical Mode Decomposition,EEMD)和基于自适应白噪声的完全经验模态分解(Complete Ensemble Empirical Mode Decomposition with Adaptive Noise ,CEEMDAN)是EMD的改进方法。使用EMD以及其改进方法,可以将一个信号分解成多个信号,然后针对里面噪声成分多的信号进行噪声的去除。最后将经过处理以后的噪声通过加和重构出降噪以后的信号(Cao J, Li Z, Li J. Financial time series forecasting modelbased on CEEMDAN and LSTM[J]. Physica A: Statistical Mechanics and itsApplications, 2019, 519: 127-139.)。然而,傅里叶变换只能得知一段信号总体上包含哪些频率的成分,对非平稳的时间序列信号的处理有明显的缺陷。此外,单独使用上述的降噪算法对信号进行降噪,容易出现对阈值和重组成分的选择问题,进而导致对原始的时间序列的降噪不充分或者平滑过渡导致重要信息丢失。一个合适的降噪算法,能够有效对序列进行平滑,从而使得后续的数据分析能够更好地将注意力集中在数据的本质特征上。
对物理机的资源使用情况进行预测采用的是时间序列预测技术。时间序列预测方法主要有两大类方法:参数方法和非参数方法。(Parmezan A R S, Souza V M A, BatistaG E. Evaluation of statistical and machine learning models for time seriesprediction: Identifying the state-of-the-art and the best conditions for theuse of each model[J]. Information Sciences, 2019, 484: 302-337.)参数方法中有移动平均(Moving Average)、简单指数平均(Simple Exponential Smoothing)、ARIMA(Autoregressive Integrated Moving Average)、霍尔特指数平滑法(Holt’sExponential Smoothing)以及其相关的拓展如霍尔特-温特季节性指数平滑方法(Holt-Winter’s Seasonal Exponential Smoothing)等。但是参数方法有一个比较突出的缺点,就是这个方法对使用这种方法的研究人员有较高的要求。该方法要求研究人员对其研究的业务领域的计算数学比较精通。在非参数方法中,比较突出的就是机器学习方法。与参数方法不同的是,这种预测方法在描述数据属性时并没有预先了解他们的分布。在时间序列预测技术上,RNN是一个被广泛应用的一种带有记忆功能的神经网络结构。其中应用最为广泛的就是LSTM。LSTM可以被用于解决许多场景下的预测问题。(Lin Z, Cheng L, Huang G.Electricity consumption prediction based on LSTM with attention mechanism[J].IEEJ Transactions on Electrical and Electronic Engineering, 2020, 15(4): 556-562.)然而LSTM结构内参数较多,训练所耗费的时间和资源较多。因此,一种LSTM的改进改进结构GRU被提出来了。GRU的参数比LSTM的少,训练耗费的时间和资源也更少,并且可以达到跟LSTM相似的效果。(Niu Z, Yu Z, Tang W, et al. Wind power forecasting usingattention-based gated recurrent unit network[J]. Energy, 2020, 196: 117081.)虽然GRU所耗费的资源和时间比LSTM少,但是其总体的资源的耗费程度依然比较大。ENN是一种比较轻型的网络结构,用于时间序列预测有着不错的效果。而且其训练所耗费的资源和时间比上述的网络结构要少的多(Wang Y, Wang L, Yang F, et al. Advantages ofdirect input-to-output connections in neural networks: The Elman network forstock index forecasting[J]. Information Sciences, 2020, 547: 1066-1079.)。然而,ENN虽然有训练耗费的资源少、训练速度快的特点,但是ENN也是由于其内部参数较少而限制了其对历史信息的特征提取的能力。另外,原始的ENN只有一层神经元作为上下文向量层,这在限制了ENN的长期依赖能力的同时还会限制ENN网络在长时间预测上的精度。
目前的大多数用于时间序列预测的网络中,大多数的网络都是单维度输出的网络。即使它们的输入是多维度的,其输出往往依然是单维度的。但在云计算的场景下,能够对CPU利用率、内存利用率、磁盘I\O利用率等多个维度进行预测对分析云数据中心的能耗以及任务规律是很有意义的。但是结合目前大多数网络的单输出特点,要完成多个资源维度的预测则需要同时训练多个模型。这样训练所耗费的时间和资源就会更多并且在使用的时候也需要占用更多的资源。
发明内容
本发明的目的在于提供一种基于改进ENN和降噪算法的时间序列预测方法,用以解决现有方法对时间序列数据预测单维和耗费资源多的问题的同时提高网络预测的精度。
本发明目的通过至少以下技术方案之一实现。
一种基于降噪算法的改进Elman神经网络的预测方法,包括以下步骤:
S1、获取物理机资源使用情况时间序列作为原始数据,将原始数据按比例划分为训练集、测试集以及验证集,并按照给定的时间窗口和预测步长对训练集、测试集和验证集中的数据进行样本划分;
S2、对原始数据采用降噪算法CPW进行降噪,所述降噪算法CPW通过将原始数据中的不同维度的数据使用CEEMDAN进行分解后结合排列熵使用小波变换对分解出来的本征模函数IMF进行降噪,然后将经过了降噪处理的序列重构为降噪后的时间序列;
S3、构建结合了注意力机制的改进Elman神经网络;
S4、将所述训练集中经过降噪算法CPW降噪后的数据放入EAMC神经网络中进行训练,待损失值小于给定的阈值以后,保存训练好的EAMC神经网络,结束训练;
S5、将待测样本输入经过训练后得到的EAMC神经网络中,获得预测结果。
进一步地,在训练集中,将训练数据按照训练的时间窗口以及预测步长来划分训练的样本。
进一步地,步骤S2所述将原始数据中的不同维度的数据使用CEEMDAN进行分解,具体包括:
重复通过添加自适应高斯白噪声的EMD分解,得到最后的余量和第k+1个IMF分量,所述最后的余量可定义为:
所述第k+1个IMF分量可以表示为:
其中,;代表通过使用EMD对每个分解得到的IMF的数量,m为加入的
高斯白噪声的次数; 为加入噪声的序号, QUOTE 为IMF分量的序号,、 分别表示为
第1次EMD分解得到的IMF分量以及第1次分解时的自适应系数; 、 分别表示的是第k次
EMD分解得到的IMF分量以及第k次分解下的自适应系数, 为第 次加入的高斯白噪声,表示第k个余量;
进一步地,步骤S2所述排列熵是指对每一个IMF计算其排列熵并根据排列熵对IMF进行排序,所述排列熵的计算公式为:
进一步地,步骤S2所述使用小波变换对分解出来的IMF进行降噪中,所述小波变换的过程如下:
进一步地,步骤S2所述将经过降噪处理的IMF和未经过处理的IMF以及余量R进行重构,得到降噪后的信号中,所述降噪后的信号为:
其中,K为通过CEEMDAN分解出来的IMF的数量;j为该类IMF的序号,为正整数;N为大于给定排列熵阈值的IMF的数量。
进一步地,步骤S2所述对原始数据采用降噪算法CPW进行降噪中,具体是对训练集和验证集进行降噪。测试集中的数据则用于检验网络的性能,不经过降噪处理,可以检验网络在真实环境下的预测能力。
进一步地,步骤S3所述EAMC神经网络包括:
注意力机制层,用于将当前时刻下的数据和历史数据进行融合,通过调整层内权重来实现对历史信息和对当前输入数据的偏好,该层可以描述为:
隐藏层,用于将历史信息和当前时刻下的数据进行加权融合,该层的描述如下:
上下文向量层,包括多层感知器,用于学习和提取经过了注意力层的输入数据,该层的描述如下:
其中, 为注意力层到多层感知器之间的变换权重, 为多层感知器的输
入向量,代表在t时刻下多层感知器第j层的输出向量, 为第j-1层神经元到
第j层神经元之间的全连接权重,为第j-1层的输出结果,b为偏置向量, 为激活函
数,为对t时刻下多层感知器第j层的输出向量使用激活函数的计算结果,为上下
文向量层的输出, 为多层感知器的输出向量, 为多层感知器的输出层和输出向量
之前的转换权重, 代表多层感知器第H层的输出向量,H为多层感知器的总层数;
输出层,用于输出预测结果,该层的描述如下:
进一步地,步骤S4中对EAMC神经网络中进行训练时,通过教师信号对输出的预测值进行指导。
与现有技术相比,本发明具至少具有以下有益效果:
(1)所提出的基于完全经验模态分解和小波变化结合的降噪算法比传统的降噪算法的效果更好,平滑效果更佳,在保留了原始序列的信息的同时对序列中的毛糙点进行有效的平滑,从而使得后续的数据分析能够更好地将注意力集中在数据的本质特征上。
(2)提供了一种拥有更高精度、更有鲁棒性、泛化能力更好、可以提供更多维度预测且适用于云数据中心资源预测的EAMC神经网络,能够对数据中心的物理机的历史使用数据的特征进行学习并提前多步进行预测。此外,该方法也能运用于解决需要多维度多步预测结果的问题,训练所耗费的时间和资源较现有技术的低。
(3)所提出的结合多层感知器的EAMC神经网络,其采用多层感知器对数据进行提取,并通过其内部特征将历史信息记录,结合注意力机制使得在历史信息和当前时刻数据上可以调整其偏好性,从而调整模型对当前时刻的注意力大小,并得到了对时间长期依赖性更强,记忆能力更优的EAMC神经网络。
附图说明
图1为本发明方法的流程示意图。
图2为本发明方法的具体实施例中的对数据的训练集、验证集和测试集的数据划分方法示意图。其中,验证集和测试集的数据划分方法与图中训练集的数据划分方法一致。
图3为本发明方法的具体实施例中的对数据的降噪处理的方法示意图。图中的
CEEMDAN为基于自适应白噪声的完全经验模式分解算法。图中的,
以及分别为本文中的以及,其中是各类IMF的下标序号,具
体值为正整数。
图4为本发明方法的具体实施例中的结合多层感知器的循环预测模型的方法示意
图。图中,分别为输入层到隐藏层之间的权重,隐藏层到输出层之
间的权重,多层感知器到隐藏层的权重以及注意力机制层到多层感知器之间的权重。
图5为本发明方法的具体实施例中的训练过程中的训练方式方法示意图。
图6为本发明方法的具体实施例中的测试和使用过程中的预测方法示意图。图中的“网络”为本发明中的EAMC神经网络。
具体实施方式
为了使本发明的技术方案及优点更加清楚明白,以下结合附图,对本发明做进一步说明,但本发明的实施和保护不限于此。
实施例:
本实施例提供的一种基于降噪算法的改进Elman神经网络的预测方法,如图所示,包括以下步骤:
S1、获取物理机资源使用情况时间序列作为原始数据,将原始数据按比例划分为训练集、测试集以及验证集,并按照给定的时间窗口和预测步长对训练集、测试集和验证集中的数据进行样本划分。
如图2所示,对训练数据按照训练的形式组织划分,将原始时间序列数据切分为训练集、验证集和测试集。在划分的时候,一般采取8:1:1的比例将数据分为训练集、验证集和测试集。在切分训练集的时候,提取原数据起点的80%的数据,剩下的数据中10%为验证集的数据,而最后10%的数据为测试集的数据。
本实施例中,将训练集中的数据按照训练的时间窗口大小以及预测步长来划分训练样本。由于需要对历史时刻进行分析并对将来的多个步长进行预测,所以需要将训练集中的数据按照一定的时间窗口和对应的预测步长来划分多个训练样本以适应神经网络的学习。验证集和测试集的样本划分方式和训练集中的一致。验证集用于调整网络中的权重,测试集用于评估EAMC神经网络的性能。
本实施例中,最后10%的数据不进行降噪处理,直接使用原本采集到的数据对模型进行性能的评价和测试,可以使得模型的测试性能更加偏向于真实环境下的性能,提高测试的精确度。
S2、对原始数据采用降噪算法CPW进行降噪,降噪算法CPW是一种基于自适应白噪声的完全经验模态分解(CEEMDAN)、排列熵(Permutation Entropy,PE)和小波变换(Wavelet Transform,WT)的组合降噪算法,包括分解阶段、排列阶段以及平滑阶段,在分解阶段下,将原始的时间序列信号通过CEEMDAN算法对原始的时间序列进行分解,分解的结果是余量R以及多个由原始时间序列分解得到的本征模函数IMF;在分解完毕以后,进入排列阶段,对分解出来的每个IMF计算其排列熵pe,并且将IMF按照计算出来的排列熵进行排序并保留每一个IMF的排列熵计算结果;然后进入平滑阶段,对给定的排列熵阈值th,对每一个pe值超过给定阈值th的IMF,使用小波变化进行平滑,对pe小于给定阈值th的IMF不做任何处理。最后将处理过后的IMF、未处理过的IMF以及余量R进行加和重构出降噪后的信号数据。本步骤中,只对训练集和验证集中的原始数据进行降噪。
请参阅图1和图3,CPW可以对云数据中心采集到的性能数据进行平滑降噪处理,从而更能显露出数据的内在本质特征,具体包括如下步骤:
S2.1、采用基于自适应白噪声的完全经验模式分解算法对原始信号进行分解。
本步骤中,往原始的时间序列信号X(t)中加入m次等长度的高斯白噪声W(t)~N(0,
1)。得到,此处表示加入噪声的操作序号。在公式
中,是往原始序列信号中加入了高斯白噪声以后得到的信号。由于需要往时间序列
中加入m次等时间长度的高斯白噪声,因此公式中的代表第次操作,是自适应系数。为第次加入的高斯白噪声,表示加入高斯白噪声的序号。然后对每个进行分
解,直到获得第一个IMF分量,则第一个IMF分量可以表示为:
在公式(1)中,。代表通过使用EMD对每个分解得到的IMF的
数量。为第次添加噪声的第个IMF分量,为加入噪声的序号,为IMF分量的序号。
即与各个IMF分量和余量之间的关系可以用如下公式所示,此处为与上述一样的序
号:
重复上述两个步骤,直到余量不可分解。最后的余量可以定义为:
S2.2、排列熵(PE)计算:在将原始信号使用CEEMDAN分解以后,可以将分解出来的
每一个看成是一个新的时间序列,对每一个IMF计算排列熵来获取每一个子信号中包
含噪声的成分的多少。排列熵的计算方法如下:
其中,j=1,2,…,M,M=N-(edim-1)L。j是用于公式中的过渡变量,而M是对IMF进行相空间重构的矩阵行的数量。
S2.2.3、然后对每个IMF(j)内部进行递增排序,也就是 。其中,{}
是索引符号序列。如果两个值是相等的,那就按照他们中的下标序号(为正整数)进行排
序。通过对重构矩阵中的每个重构分量排序能够得到多种符号序列,由于重构矩阵是edim
维的,因此最多可以获得edim!中不同的符号序列。
S2.3、使用小波变换对处理后的序列进行降噪:将通过CEEMDAN分解得到的多个
IMF按照排列熵的值进行排序后得到的序列使用小波变换降噪。对混杂噪声成分最多的k个
(k为自定义数目,为正整数)子序列进行降噪,假设给定的阈值为th,将排列熵的值大于给
定阈值th的IMF用小波变换进行处理。对于需要处理的,使用小波变换进行处理:
S2.4、将经过降噪处理的IMF和未经过处理的IMF以及余量R进行加法重构,得到降噪后的信号。
本步骤中,加法重构后得到的降噪后的信号为:
其中,N为排列熵大于阈值的IMF的数量,K为原始时间序列分解出来的IMF的数量,j为该类IMF的下标序号,为正整数。最终的余量的表达式为公式5所示。
S3、构建结合了注意力机制的改进Elman神经网络,即EAMC神经网络。
本实施例中的结合注意力机制的EAMC神经网络如图4所示,设定网络中的多层感知器是一个含有H层神经元的多层感知器,数据在EAMC神经网络中的计算步骤如下:
S3.1、输入层:输入层将输入的数据通过线性变换将输入数据转换成维度为n的向量。该层可以描述为:
S3.2、注意力机制层:注意力机制层是将当前时刻下的数据和历史数据进行融合的一个层。该层可以通过调整层内权重来实现对历史信息和对当前输入数据的偏好。该层可以描述为:
S3.3、隐藏层:该层的功能是通过将历史信息和当前时刻下的数据的一个融合。通过该层的加权融合,增强了模型对当前时刻的拟合效果,对提升了对数据驼峰点的拟合效果。该层的描述如下:
其中,为自相加系数,。按照网络使用的场景,通过调整的大小来调整
网络对当前时刻和历史时刻信息间的偏好,为多层感知器到隐藏层的权重,为输
入层到隐藏层之间的权重,为隐藏层的输出,为上下文向量层的输出向量,
为输入层的输出向量,h为隐藏层向量的维度,n为输入层的输出向量的维度。
S3.4、上下文向量层:上下文向量层主要学习和提取经过了注意力机制层的输入数据。该层由多层感知器来构成,假设该多层感知器是一个有H层神经元组成的,该层的主要过程如下:
其中,为注意力层到多层感知器之间的变换权重,而为多层感知器
的输入向量,代表在t时刻下多层感知器第j层的输出向量, 为第j-1层神经
元到第j层神经元之间的全连接权重,为第j-1层的输出结果,b为偏置向量,为
激活函数,本实施例采取的激活函数是sigmoid函数,为对t时刻下多层感知器第j层的输
出向量使用激活函数的计算结果,为多层感知器第j层的输出结果,为上下文向
量层的输出,为多层感知器的输出向量,为多层感知器的输出层和输出向量之
前的转换权重,代表多层感知器第H层(即多层感知器的最后一层)的输出向量。
S3.5、输出层:该层的功能是将网络学习到的特征输出并预测,通过输出层将网络的预测结果输出。
S4、请参阅图5,将S1中经过样本划分的训练集中的数据放入构建后的EAMC神经网络中进行训练,待损失值小于给定的阈值以后,保存训练好的EAMC神经网络,结束训练。
本步骤中,需要设定网络中输入层、输出层、隐藏层的神经元数量,然后对上下文向量层中的层数以及神经元数据进行设定。其中,输入层的神经元数量为输入数据的特征维度;输出层的神经元数量为输出数据的特征维度。
本实施例中,按照网络在训练或者在预测分成两种模式。该两种模式分别如图的图5和图6所示。其中,在初始时刻下没有状态的时候,采用随机产生的状态作为网络的初始输入。
在训练阶段,采取图5中具有教师信号的训练方式。通过教师信号对输出的预测值进行指导,该训练方式具体表现为:假设训练时对训练集的样本切分的历史数据的时间窗口大小为20,预测步长为3步,则将训练集历史数据输入网络中进行训练后,输入训练集中预测数据中的第一个值(t时刻)并进行误差计算和调整网络权重;然后再使用训练集中的第二个值(t+1时刻)对上一个时刻的状态的预测结果进行误差计算和调整网络权重;最后再输入第三个值(t+2时刻)对来自t+1时刻的状态的预测结果进行误差计算和调整网络权重,并结束对该样本的训练。当训练预测步长发生变化的时候,按照预测步数的变化进行计算步骤的增加或减少。
S5、将待测样本输入经过训练后得到的EAMC神经网络中,获得预测结果。
在测试阶段,采取图6中的循环预测方法。循环预测方法中的用于传递的状态则是
由EAMC神经网络输出的状态。由于在真实环境下是无法获取未来真实的预测值的,该方法
更加偏向于真实环境下的使用,可结合生产环境中,直接提供多步预测。循环预测方法的具
体表现为:假设预测步长为3步,EAMC神经网络接收来自上一时刻的状态,对该时刻状态进
行预测,得到当前时刻(t时刻)的预测值();然后将该预测值作为下一个时刻(t+1
时刻)的输入值,接收EAMC神经网络在t时刻下的状态并计算出其在t+1时刻下的预测值();然后将t+1时刻下的预测值作为t+2时刻下的输入值,接收EAMC神经网络在t+1
时刻下的状态并计算出在t+2时刻下的预测值();完成对3步的预测。当预测步数
发生变化时,按照上述方法进行计算步骤的增加或减少。通过前述方法可以获得最终的预
测结果。
上述流程为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种基于降噪算法的改进Elman神经网络的预测方法,其特征在于,包括以下步骤:
S1、获取物理机资源使用情况时间序列作为原始数据,将原始数据按比例划分为训练集、测试集以及验证集;
S2、对原始数据采用降噪算法CPW进行降噪,所述降噪算法CPW通过将原始数据中的不同维度的数据使用CEEMDAN进行分解后结合排列熵使用小波变换对分解出来的本征模函数IMF进行降噪,然后将经过了降噪处理的序列重构为降噪后的时间序列;
S3、构建结合了注意力机制的改进Elman神经网络;
S4、将所述训练集中经过降噪算法CPW降噪后的数据放入EAMC神经网络中进行训练,待损失值小于给定的阈值以后,保存训练好的EAMC神经网络,结束训练;
S5、将待测样本输入经过训练后得到的EAMC神经网络中,获得预测结果。
2.根据权利要求1所述的一种基于降噪算法的改进Elman神经网络的预测方法,其特征在于,在所述训练集中,将训练数据按照训练的时间窗口以及预测步长来划分训练的样本。
3.根据权利要求1所述的一种基于降噪算法的改进Elman神经网络的预测方法,其特征在于,步骤S2所述将原始数据中的不同维度的数据使用CEEMDAN进行分解,具体包括:
往原始的时间序列信号X(t)中加入m次等长度的高斯白噪声,得到
重复通过添加自适应高斯白噪声的EMD分解,得到最后的余量和第k+1个IMF分量,所述最后的余量定义为:
所述第k+1个IMF分量表示为:
7.根据权利要求1所述的一种基于降噪算法的改进Elman神经网络的预测方法,其特征在于,步骤S2所述对原始数据采用降噪算法CPW进行降噪中,具体是对训练集和验证集进行降噪。
8.根据权利要求1-7任一所述的一种基于降噪算法的改进Elman神经网络的预测方法,其特征在于,步骤S3所述EAMC神经网络包括:
注意力机制层,用于将当前时刻下的数据和历史数据进行融合,通过调整层内权重来实现对历史信息和对当前输入数据的偏好,该层描述为:
隐藏层,用于将历史信息和当前时刻下的数据进行加权融合,该层的描述如下:
上下文向量层,包括多层感知器,用于学习和提取经过了注意力层的输入数据,该层的描述如下:
其中, 为注意力层到多层感知器之间的变换权重, 为多层感知器的输入向
量,代表在t时刻下多层感知器第j层的输出向量, 为第j-1层神经元到第j层
神经元之间的全连接权重,为第j-1层的输出结果,b为偏置向量, 为激活函数,
为对t时刻下多层感知器第j层的输出向量使用激活函数的计算结果,为上下文向
量层的输出,为多层感知器的输出向量, 为多层感知器的输出层和输出向量之前
的转换权重,代表多层感知器第H层的输出向量,H为多层感知器的总层数;
输出层,用于输出预测结果,该层的描述如下:
10.根据权利要求8所述的一种基于降噪算法的改进Elman神经网络的预测方法,其特征在于,步骤S4中对EAMC神经网络中进行训练时,通过教师信号对输出的预测值进行指导。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110429811.3A CN112949610A (zh) | 2021-04-21 | 2021-04-21 | 一种基于降噪算法的改进Elman神经网络的预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110429811.3A CN112949610A (zh) | 2021-04-21 | 2021-04-21 | 一种基于降噪算法的改进Elman神经网络的预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112949610A true CN112949610A (zh) | 2021-06-11 |
Family
ID=76233179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110429811.3A Pending CN112949610A (zh) | 2021-04-21 | 2021-04-21 | 一种基于降噪算法的改进Elman神经网络的预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112949610A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112988548A (zh) * | 2021-04-23 | 2021-06-18 | 华南理工大学 | 一种基于降噪算法的改进Elman神经网络的预测方法 |
CN113534938A (zh) * | 2021-06-29 | 2021-10-22 | 广东工业大学 | 一种基于改进Elman神经网络的笔记本电脑剩余电量估计方法 |
CN113705086A (zh) * | 2021-08-05 | 2021-11-26 | 陶帝文 | 一种基于Elman误差修正的超短期风电功率预测方法 |
CN114176596A (zh) * | 2021-12-28 | 2022-03-15 | 合肥工业大学 | 一种改进经验模态分解排列熵的心磁信号去噪方法 |
-
2021
- 2021-04-21 CN CN202110429811.3A patent/CN112949610A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112988548A (zh) * | 2021-04-23 | 2021-06-18 | 华南理工大学 | 一种基于降噪算法的改进Elman神经网络的预测方法 |
CN113534938A (zh) * | 2021-06-29 | 2021-10-22 | 广东工业大学 | 一种基于改进Elman神经网络的笔记本电脑剩余电量估计方法 |
CN113534938B (zh) * | 2021-06-29 | 2022-04-01 | 广东工业大学 | 一种基于改进Elman神经网络的笔记本电脑剩余电量估计方法 |
CN113705086A (zh) * | 2021-08-05 | 2021-11-26 | 陶帝文 | 一种基于Elman误差修正的超短期风电功率预测方法 |
CN114176596A (zh) * | 2021-12-28 | 2022-03-15 | 合肥工业大学 | 一种改进经验模态分解排列熵的心磁信号去噪方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112949610A (zh) | 一种基于降噪算法的改进Elman神经网络的预测方法 | |
CN110048827B (zh) | 一种基于深度学习卷积神经网络的类模板攻击方法 | |
CN112988548A (zh) | 一种基于降噪算法的改进Elman神经网络的预测方法 | |
CN108445752B (zh) | 一种自适应选择深度特征的随机权神经网络集成建模方法 | |
CN108985335B (zh) | 核反应堆包壳材料辐照肿胀的集成学习预测方法 | |
CN109919364A (zh) | 基于自适应降噪和集成lstm的多变量时间序列预测方法 | |
Imani et al. | Fach: Fpga-based acceleration of hyperdimensional computing by reducing computational complexity | |
CN110147444B (zh) | 基于神经网络语言模型的文本预测方法、装置及存储介质 | |
CN116316591A (zh) | 基于混合双向门控循环的短期光伏功率预测方法及系统 | |
WO2020143253A1 (zh) | 一种基于Sparse Autoencoder的电力系统运行方式聚类方法 | |
CN113222998B (zh) | 基于自监督低秩网络的半监督图像语义分割方法及装置 | |
CN109389171A (zh) | 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法 | |
CN113591728A (zh) | 基于集成深度学习的电能质量扰动分类方法 | |
CN111461445A (zh) | 短期风速预测方法、装置、计算机设备及存储介质 | |
Li et al. | First-order sensitivity analysis for hidden neuron selection in layer-wise training of networks | |
CN111222689A (zh) | 基于多尺度时间特征的lstm负荷预测方法、介质及电子装置 | |
CN116933175A (zh) | 一种电动汽车充电负荷预测方法及装置 | |
CN116960978A (zh) | 基于风速-功率组合分解重构的海上风电功率预测方法 | |
Li et al. | A novel framework for gear safety factor prediction | |
CN116468095A (zh) | 神经网络架构搜索方法及装置、设备、芯片、存储介质 | |
Liu et al. | Stock price trend prediction model based on deep residual network and stock price graph | |
Fan et al. | A dual rank-constrained filter pruning approach for convolutional neural networks | |
CN114239945A (zh) | 短期电力负荷预测方法、装置、设备及存储介质 | |
CN117034030A (zh) | 基于正反双向信息融合的脑电图数据对齐算法 | |
CN116303386A (zh) | 一种基于关系图谱的缺失数据智能插补方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210611 |