CN114511065A - 神经网络模型构建方法、时间序列预测方法及装置 - Google Patents
神经网络模型构建方法、时间序列预测方法及装置 Download PDFInfo
- Publication number
- CN114511065A CN114511065A CN202210070158.0A CN202210070158A CN114511065A CN 114511065 A CN114511065 A CN 114511065A CN 202210070158 A CN202210070158 A CN 202210070158A CN 114511065 A CN114511065 A CN 114511065A
- Authority
- CN
- China
- Prior art keywords
- information entropy
- bilstm
- component sequence
- sequence
- ewt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000010276 construction Methods 0.000 title claims abstract description 30
- 238000003062 neural network model Methods 0.000 title claims abstract description 30
- 230000000737 periodic effect Effects 0.000 claims abstract description 37
- 238000005457 optimization Methods 0.000 claims abstract description 27
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000005215 recombination Methods 0.000 claims description 31
- 230000006798 recombination Effects 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012952 Resampling Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于信息熵的EWT‑BO‑BiLSTM的神经网络模型构建方法、时间序列预测方法及装置,构建方法包括使用EWT分解算法将样本时序数据分解为N个子序列;计算各子序列的信息熵;根据信息熵的大小对各子序列进行复杂度分析,基于信息熵的近似程度对各子序列合并重组得到新的重组子序列,根据信息熵从低到高,依次记为:趋势分量序列、周期分量序列、随机分量序列;对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络,利用贝叶斯优化方法调整BiLSTM网络参数得到BO‑BiLSTM模型,并进行模型训练。预测方法包括基于构建的模型进行预测并进行重构。本发明的方案可以提高多影响因素的高频时间序列的预测精度。
Description
技术领域
本发明涉及时间序列预测技术领域,尤其涉及一种基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法、时间序列预测方法及装置。
背景技术
随着传感器技术的大量应用,通过数据采集和分析等技术,对装备和系统已存在或即将发生的隐患问题进行自动识别和提示,逐渐成为了实现低人力成本条件下高效运维的重要手段。如何提高基于设备历史监测数据的时间序列预测精度是数据驱动的预测模型中的一项重要研究课题。
实际生产与工程应用中,由于设备监测值往往受到诸多因素的共同影响,其序列变化趋势呈现出非平稳、非线性特点,并具有一定程度的复杂性和随机性。深度学习模型中的长短期记忆(Long-Short Term Memory,LSTM)网络作为一种改进的循环神经网络,可以避免反向传播过程中的梯度消失、梯度爆炸问题,适用于对长时监测数据的建模和预测。然而,传统时域、频域方法无法同时兼顾信号在时频域内局部化特征,且现有针对具有复杂特征的设备监测数据的时间序列预测研究中,往往难以提取和分离数据中有效信息,基于深度学习的预测模型面临着超参数调整不当而未能有效发挥模型预测优势以及模型训练时长压力。
发明内容
针对上述现有技术不足,本发明提供一种基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法、时间序列预测方法及装置,提高多影响因素的高频时间序列的预测精度。
为了实现本发明的目的,拟采用以下方案:
基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法,包括步骤:
使用EWT分解算法将样本时序数据分解为N个子序列;
计算各子序列的信息熵;
根据信息熵的大小对各子序列进行复杂度分析,基于信息熵的近似程度对各子序列合并重组得到新的重组子序列,根据信息熵从低到高,依次记为:趋势分量序列、周期分量序列、随机分量序列;
对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络,利用贝叶斯优化方法调整BiLSTM网络参数得到BO-BiLSTM模型,并进行模型训练。
进一步,所述样本时序数据是通过预处理的时序数据,所述预处理包括基于设备预设的采样频率对样本时序数据进行时间层面的重采样、以及对样本时序数据中存在的空值采用临近值的均值进行补全。
进一步,使用EWT分解算法将样本时序数据分解为N个子序列,包括步骤:
对样本时序数据做Fourier变换得到信号的Fourier频谱;
其中,
τi=γωi
其中,F-1(·)为Fourier逆变换,i=1,2,…,N-1;
构造分解后的经验模态分量:
其中,k=1,2,…,N-1。
进一步,计算各子序列的信息熵,时间序列X={x1,x2,…,xN}的信息熵的具体计算步骤如下:
确定序列分割段数n;
求取序列的最大值max(X)与最小值min(X);
将区间[min(X),max(X)]进行n等分;
遍历序列X中的元素,统计落入第j个等分区间的元素数量Countj(j=1,2,…,n);
根据下式计算序列X的信息熵:
进一步,对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络,利用贝叶斯优化调整网络参数并进行训练,包括步骤:
构造有监督数据集:根据输入步长w与预测步长p构造输入矩阵A和输出矩阵B:
利用贝叶斯优化调整神经网络超参数;
基于贝叶斯优化得到的超参数组合设置BiLSTM神经网络并进行训练。
进一步,利用贝叶斯优化调整神经网络超参数,是使用贝叶斯优化调整BiLSTM神经网络中包括epoch、batch、各层神经元数量、学习率在内的超参数,包括步骤:
定义目标函数为一多层的BiLSTM网络;
设置参数寻优空间,包括各层神经元数量、学习率、epoch、batch、学习率等;
调用贝叶斯优化对目标函数进行优化。
进一步,基于贝叶斯优化得到的超参数组合设置BiLSTM神经网络并进行训练,包括步骤:
在t时刻,LSTM进行如下更新:
it=σ(Wixt+Uiht-1+bi)
ft=σ(Wfxt+Ufht-1+bf)
ot=σ(Woxt+Uoht-1+bo)
其中,i,f,o分别表示输入门、遗忘门和输出门的运算结果;为记忆细胞的候选值,c为更新后的记忆细胞状态,h为输出;W和U分别为输入权重矩阵和输出权重矩阵;b为偏置向量;σ和tanh分别为sigmoid函数和双曲正切函数,表示内积运算;
BiLSTM的更新过程如下:
ht=LSTM(xt,ht-1)
ht=LSTM(xt,ht+1)
yt=Whyht+Wyhht+by
Why为前向层到输出层的权值,Why为后向层到输出层的权值,by为输出层的偏置向量;即以第t-w至第t个时间段的数据为输入同时以第t+1至t+p个时间段的数据为理论输出训练神经网络,训练过程中采用反向传播和梯度下降算法不断调节网络的权值Wi、Wi、Wc、Wo和偏置bf、bi、bc、bo,至网络的预测数据与真实数据x的偏差最小。
基于信息熵的EWT-BO-BiLSTM的神经网络模型构建装置,包括:
EWT模块,用于使用EWT分解算法将样本时序数据分解为N个子序列;
信息熵模块,用于计算各子序列的信息熵;
重组模块,用于根据信息熵的大小对各子序列进行复杂度分析,基于信息熵的近似程度对各子序列合并重组得到新的重组子序列,根据信息熵从低到高,依次记为:趋势分量序列、周期分量序列、随机分量序列;
构造训练模块,用于对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络,利用贝叶斯优化方法调整BiLSTM网络参数得到BO-BiLSTM模型,并进行模型训练。
基于信息熵的EWT-BO-BiLSTM的时间序列预测方法,包括步骤:
使用EWT分解算法将待测时序数据分解为N个子序列;
计算各子序列的信息熵;
根据信息熵的大小对各子序列进行复杂度分析,基于信息熵的近似程度对各子序列合并重组得到新的重组子序列,根据信息熵从低到高,依次记为:趋势分量序列、周期分量序列、随机分量序列;
将重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别输入通过所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法训练获得的对应BO-BiLSTM模型中进行预测,分别获得基于趋势分量序列、周期分量序列和随机分量序列的输出结果;
重构原序列的输出结果。
基于信息熵的EWT-BO-BiLSTM的时间序列预测装置,包括:
EWT模块,用于使用EWT分解算法将待测原始时序数据分解为N个子序列;
信息熵模块,用于计算各子序列的信息熵;
重组模块,用于根据信息熵的大小对各子序列进行复杂度分析,基于信息熵的近似程度对各子序列合并重组得到新的重组子序列,根据信息熵从低到高,依次记为:趋势分量序列、周期分量序列、随机分量序列;
预测模块,用于将重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别输入通过所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法训练获得的对应BO-BiLSTM模型中进行预测,分别获得基于趋势分量序列、周期分量序列和随机分量序列的输出结果;
重构模块,用于根据输出结果重构待测原始时序数据的预测值。
一种计算机可读存储介质,其上存储有计算机程序,在所述计算机程序被处理器运行时控制所述存储介质所在设备执行基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法,或执行基于信息熵的EWT-BO-BiLSTM的时间序列预测方法。
本发明的有益效果在于:
1、利用EWT将时间序列监测值分解为不同的子序列,然后基于各子序列的信息熵对其重新合并分组,在此基础上分别构建使用贝叶斯优化(Bayesian Optimization,BO)调整超参数的BiLSTM神经网络预测模型,最后分别对各分量的预测值进行逆EWT变换,并重构得原始时序数据的预测值,提高了多影响因素的高频时间序列的预测精度;
2、使用EWT分解算法将能够将多影响因素的复杂时序监测数据中具有特征差异的各个分量进行有效分离,为后续时序预测模型的构建提供了良好的数据基础;
3、基于信息熵对分解子序列合并重组,避免了对各分解模态分别建立神经网络预测模型的过程中因分量过多而带来的计算量和计算时间的负担;
4、使用贝叶斯优化方法对BiLSTM网络进行超参数寻优,可更有效地发挥神经网络模型的性能,提升预测精度。
附图说明
本文描述的附图只是为了说明所选实施例,而不是所有可能的实施方案,更不是意图限制本发明的范围。
图1为本申请实施例的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法流程图。
图2为本申请实施例的基于信息熵的EWT-BO-BiLSTM的时间序列预测方法流程图。
图3为本申请实施例的EWT分解得到的模态分量图。
图4为本申请实施例的重组后的趋势分量、周期分量、随机分量示意图。
图5为本申请实施例的BiLSTM展开结构图。
图6为本申请实施例的应用基于信息熵的EWT-BiLSTM-BO的时间序列预测方法的预测效果图。
图7为本申请实施例的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建装置结构图。
图8为本申请实施例的基于信息熵的EWT-BO-BiLSTM的时间序列预测装置结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明做进一步的详细描述。所描述的实施方式仅仅是作为示例,并非用于限制本发明。
本申请实施例的一个方面,提供一种基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法,如图1所示,具体包括如下步骤:
S1:对样本时序数据进行预处理,主要包含数据重采样和空值处理。具体步骤如下:
S11:针对实际监测和记录过程中,可能存在着延迟记录,或记录值缺失的情况,基于设备预设的采样频率对样本时序数据进行时间层面的重采样,以保证实验数据为连续的等间隔的时间序列数据;
S12:对序列中存在的空值,采用临近值的均值进行补全。
S2:使用EWT分解算法将预处理后的时序数据f(t)分解为N个子序列{f0(t),f2(t),…,fN-1(t)},EWT分解过程的具体步骤如下:
S21:对时序数据做Fourier变换得到信号的Fourier频谱,将时域信号变换至频域上;
其中,
τi=γωi
其中,F-1(·)为Fourier逆变换,i=1,2,…,N-1;
S25:构造分解后的经验模态分量:
其中,k=1,2,…,N-1。
S3:计算各子序列的信息熵。
时间序列X={x1,x2,…,xN}的信息熵的具体计算步骤如下:
S31:确定序列分割段数n;
S32:求取序列的最大值max(X)与最小值min(X);
S33:将区间[min(X),max(X)]进行n等分;
S34:遍历序列X中的元素,统计落入第j个等分区间的元素数量Countj(j=1,2,…,n);
S36:根据下式计算序列X的信息熵:
S4:根据信息熵的大小对各个子序列进行复杂度分析,基于信息熵的近似程度对各IMF分量合并重组得到新的重组子序列,根据信息熵从低到高,依次记为:趋势分量、周期分量、随机分量。
S5:针对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络。BiLSTM网络构建过程具体包括如下步骤:
S51:构造有监督数据集:根据输入步长w=300与预测步长p=30构造输入矩阵A和输出矩阵B:
S54:贝叶斯优化,调整神经网络超参数;使用贝叶斯优化调整BiLSTM中包括epoch、batch、各层神经元数量、学习率在内的超参数,具体实施步骤为:
i.定义目标函数为一多层的BiLSTM网络;
ii.设置参数寻优空间,包括各层神经元数量、学习率、epoch、batch、学习率等;
iii.调用贝叶斯优化对目标函数进行优化。
其中,趋势分量经贝叶斯优化得到的BiLSTM超参数组合为{neuron1=415,neuron1=47,neuron1=506,learning_rate=0.0007992650830562636}、周期分量经贝叶斯优化得到的BiLSTM超参数组合为{neuron1=178,neuron1=102,neuron1=162,learning_rate=0.003842248940317655}、随机分量经贝叶斯优化得到的BiLSTM超参数组合为{neuron1=415,neuronl=47,neuron1=506,learning_rate=0.0007992650830562636}。
S55:基于S54中贝叶斯优化得到的超参数组合设置BiLSTM神经网络并进行训练,在t时刻,网络的更新和训练步骤如下:
i.LSTM神经元进行如下更新:
it=σ(Wixt+Uiht-1+bi)
ft=σ(Wfxt+Ufht-1+bf)
ot=σ(Woxt+Uoht-1+bo)
其中,i,f,o分别表示输入门、遗忘门和输出门的运算结果;为记忆细胞的候选值,c为更新后的记忆细胞状态,h为输出;W和U分别为输入权重矩阵和输出权重矩阵;b为偏置向量;σ和tanh分别为sigmoid函数和双曲正切函数,表示内积运算;
ii.BiLSTM展开结构如图5所示,参数更新过程如下:
ht=LSTM(xt,ht-1)
ht=LSTM(xt,ht+1)
yt=Whyht+Wyhht+by
其中,Why为前向层到输出层的权值,Why为后向层到输出层的权值,by为输出层的偏置向量;即以第t-w至第t个时间段的数据为输入同时以第t+1至t+p个时间段的数据为理论输出训练神经网络,训练过程中采用反向传播和梯度下降算法不断调节网络的权值Wf、Wi、Wc、Wo和偏置bf、bi、bc、bo,至网络的预测数据与真实数据x的偏差最小。
通过上述步骤完成基于信息熵的EWT-BO-BiLSTM的神经网络模型构建,获得趋势分量序列、周期分量序列和随机分量序列分别对应的BO-BiLSTM模型。
本申请实施例的另一方面,提供一种基于信息熵的EWT-BO-BiLSTM的时间序列预测方法,如图2所示,以某型电源车的一段历史电压数据为例,具体包括如下步骤:
S1:对待测原始时序数据进行预处理,主要包含数据重采样和空值处理。具体步骤如下:
S11:针对实际监测和记录过程中,可能存在着延迟记录,或记录值缺失的情况,基于设备预设的采样频率对待测原始时序数据(监测数据)进行时间层面的重采样,以保证实验数据为连续的等间隔的时间序列数据;
S12:对时序数据中存在的空值,采用临近值的均值进行补全。
S2:使用EWT分解算法将预处理后的时序数据f(t)分解为10个子序列{f0(t),f2(t),…,f9(t)}。EWT分解过程的具体步骤如下:
S21:对时序数据做Fourier变换得到信号的Fourier频谱,将时域信号变换至频域上;
其中,
τi=γωi
其中,F-1(·)为Fourier逆变换,i=1,2,…,9;
S25:构造分解后的经验模态分量:
其中,k=1,2,…,9。EWT分解得到的10个模态分量如图3所示。
S3:计算各子序列的信息熵,时间序列X的信息熵的具体计算步骤如下:
S31:以下式确定序列分割段数n:
n=[1+log2length(X)]
其中,length(X)表示时间序列的长度;
S32:求取序列的最大值max(X)与最小值min(X);
S33:将区间[min(X),max(X)]进行n等分;
S34:遍历序列X中的元素,统计落入第j个等分区间的元素数量Countj(j=1,2,…,n);
S36:根据下式计算序列X的信息熵:
以S3中的上述步骤计算得到各子序列的信息熵依次为:
1.5996623813735944,1.8687899594612538,2.122406351319739,2.185659512276725,2.2764720849671325,2.2379352062773528,2.1207774467540994,2.235364780048191,2.3643359900796814,2.305358581312417。
S4:根据信息熵的大小对各个子序列进行复杂度分析,基于信息熵的近似程度对各IMF分量合并重组得到新重组子序列,根据信息熵从低到高,依次记为:趋势分量、周期分量、随机分量,重新组合得到的各分量如图4。
S5:将重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别输入通过前文实施例所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法获得的对应BO-BiLSTM模型中进行预测,分别获得基于趋势分量序列、周期分量序列和随机分量序列的输出结果;
S6:重构原序列的输出结果,预测值与观测值的对比效果见图6,其中,预测评价指标MAE=0.5262962147947984,RMSE=0.7689766572691229,NMSE=0.39709506305617387。
本申请实施例的再一方面,提供一种基于信息熵的EWT-BO-BiLSTM的神经网络模型构建装置,如图7所示,包括依次连接的预处理模块、EWT模块、信息熵模块、重组模块、构造训练模块。
其中,预处理模块用于基于设备预设的采样频率对样本时序数据进行时间层面的重采样、以及对样本时序数据中存在的空值采用临近值的均值进行补全;EWT模块用于使用EWT分解算法将样本时序数据分解为N个子序列;信息熵模块用于计算各子序列的信息熵;重组模块用于根据信息熵的大小对各子序列进行复杂度分析,基于信息熵的近似程度对各子序列合并重组得到新的重组子序列,根据信息熵从低到高,依次记为:趋势分量序列、周期分量序列、随机分量序列;构造训练模块用于对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络,利用贝叶斯优化方法调整BiLSTM网络参数得到BO-BiLSTM模型,并进行模型训练。
本申请实施例的再一方面,提供一种基于信息熵的EWT-BO-BiLSTM的时间序列预测装置,如图8所示,包括依次连接的预处理模块、EWT模块、信息熵模块、重组模块、预测模块、重构模块。
其中,预处理模块用于基于设备预设的采样频率对待测原始时序数据进行时间层面的重采样、以及对时序数据中存在的空值采用临近值的均值进行补全。EWT模块用于使用EWT分解算法将预处理的时序数据分解为N个子序列。信息熵模块用于计算各子序列的信息熵。重组模块用于根据信息熵的大小对各子序列进行复杂度分析,基于信息熵的近似程度对各子序列合并重组得到新的重组子序列,根据信息熵从低到高,依次记为:趋势分量序列、周期分量序列、随机分量序列。预测模块用于将重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别输入通过前文实施例所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法训练获得的对应BO-BiLSTM模型中进行预测,分别获得基于趋势分量序列、周期分量序列和随机分量序列的输出结果。重构模块用于根据输出结果重构待测原始时序数据的预测值。
本申请实施例的再一方面,提供一种电子设备,包括:至少一个处理器和存储器;其中,所述存储器存储有计算机执行指令;在所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行前述实施例所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法,或执行前述实施例所述的基于信息熵的EWT-BO-BiLSTM的时间序列预测方法。
本申请实施例的再一方面,提供一种计算机可读存储介质,其上存储有计算机程序,在所述计算机程序被处理器运行时控制所述存储介质所在设备执行前述实施例所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法,或执行前述实施例所述的基于信息熵的EWT-BO-BiLSTM的时间序列预测方法。
以上仅为本发明的优选实施例,并不表示是唯一的或是限制本发明。本领域技术人员应理解,在不脱离本发明的范围情况下,对本发明进行的各种改变或同等替换,均属于本发明保护的范围。
Claims (10)
1.基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法,其特征在于,包括步骤:
使用EWT分解算法将样本时序数据分解为N个子序列;
计算各子序列的信息熵;
根据信息熵的大小对各子序列进行复杂度分析,基于信息熵的近似程度对各子序列合并重组得到新的重组子序列,根据信息熵从低到高,依次记为:趋势分量序列、周期分量序列、随机分量序列;
对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络,利用贝叶斯优化方法调整BiLSTM网络参数得到BO-BiLSTM模型,并进行模型训练。
2.根据权利要求1所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法,其特征在于,所述样本时序数据是通过预处理的时序数据,所述预处理包括基于设备预设的采样频率对样本时序数据进行时间层面的重采样、以及对样本时序数据中存在的空值采用临近值的均值进行补全。
3.根据权利要求1所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法,其特征在于,使用EWT分解算法将样本时序数据分解为N个子序列,包括步骤:
对样本时序数据做Fourier变换得到信号的Fourier频谱;
其中,
τi=γωi
其中,F-1(·)为Fourier逆变换,i=1,2,…,N-1;
构造分解后的经验模态分量:
其中,k=1,2,…,N-1。
6.根据权利要求5所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法,其特征在于,基于贝叶斯优化得到的超参数组合设置BiLSTM神经网络并进行训练,包括步骤:
在t时刻,LSTM进行如下更新:
it=σ(Wixt+Uiht-1+bi)
ft=σ(Wfxt+Ufht-1+bf)
ot=σ(Woxt+Uoht-1+bo)
其中,i,f,o分别表示输入门、遗忘门和输出门的运算结果;为记忆细胞的候选值,c为更新后的记忆细胞状态,h为输出;W和U分别为输入权重矩阵和输出权重矩阵;b为偏置向量;σ和tanh分别为sigmoid函数和双曲正切函数,表示内积运算;
BiLSTM的更新过程如下:
ht=LSTM(xt,ht-1)
ht=LSTM(xt,ht+1)
yt=Whyht+Wyhht+by
7.基于信息熵的EWT-BO-BiLSTM的神经网络模型构建装置,其特征在于,包括:
EWT模块,用于使用EWT分解算法将样本时序数据分解为N个子序列;
信息熵模块,用于计算各子序列的信息熵;
重组模块,用于根据信息熵的大小对各子序列进行复杂度分析,基于信息熵的近似程度对各子序列合并重组得到新的重组子序列,根据信息熵从低到高,依次记为:趋势分量序列、周期分量序列、随机分量序列;
构造训练模块,用于对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络,利用贝叶斯优化方法调整BiLSTM网络参数得到BO-BiLSTM模型,并进行模型训练。
8.基于信息熵的EWT-BO-BiLSTM的时间序列预测方法,其特征在于,包括步骤:
使用EWT分解算法将待测时序数据分解为N个子序列;
计算各子序列的信息熵;
根据信息熵的大小对各子序列进行复杂度分析,基于信息熵的近似程度对各子序列合并重组得到新的重组子序列,根据信息熵从低到高,依次记为:趋势分量序列、周期分量序列、随机分量序列;
将重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别输入通过权利要求1~6中任意一项所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法训练获得的对应BO-BiLSTM模型中进行预测,分别获得基于趋势分量序列、周期分量序列和随机分量序列的输出结果;
重构原序列的输出结果。
9.基于信息熵的EWT-BO-BiLSTM的时间序列预测装置,其特征在于,包括:
EWT模块,用于使用EWT分解算法将待测原始时序数据分解为N个子序列;
信息熵模块,用于计算各子序列的信息熵;
重组模块,用于根据信息熵的大小对各子序列进行复杂度分析,基于信息熵的近似程度对各子序列合并重组得到新的重组子序列,根据信息熵从低到高,依次记为:趋势分量序列、周期分量序列、随机分量序列;
预测模块,用于将重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别输入通过权利要求1~6中任意一项所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法训练获得的对应BO-BiLSTM模型中进行预测,分别获得基于趋势分量序列、周期分量序列和随机分量序列的输出结果;
重构模块,用于根据输出结果重构待测原始时序数据的预测值。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利要求1~6中任意一项所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法,或执行如权利要求8所述的基于信息熵的EWT-BO-BiLSTM的时间序列预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210070158.0A CN114511065A (zh) | 2022-01-21 | 2022-01-21 | 神经网络模型构建方法、时间序列预测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210070158.0A CN114511065A (zh) | 2022-01-21 | 2022-01-21 | 神经网络模型构建方法、时间序列预测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114511065A true CN114511065A (zh) | 2022-05-17 |
Family
ID=81549469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210070158.0A Pending CN114511065A (zh) | 2022-01-21 | 2022-01-21 | 神经网络模型构建方法、时间序列预测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114511065A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115345207A (zh) * | 2022-10-13 | 2022-11-15 | 南京信息工程大学 | 一种自适应的多气象要素预测方法 |
CN115944293A (zh) * | 2023-03-15 | 2023-04-11 | 汶上县人民医院 | 一种基于神经网络的肾脏透析用血红蛋白水平预测系统 |
-
2022
- 2022-01-21 CN CN202210070158.0A patent/CN114511065A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115345207A (zh) * | 2022-10-13 | 2022-11-15 | 南京信息工程大学 | 一种自适应的多气象要素预测方法 |
CN115944293A (zh) * | 2023-03-15 | 2023-04-11 | 汶上县人民医院 | 一种基于神经网络的肾脏透析用血红蛋白水平预测系统 |
CN115944293B (zh) * | 2023-03-15 | 2023-05-16 | 汶上县人民医院 | 一种基于神经网络的肾脏透析用血红蛋白水平预测系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110321603B (zh) | 一种用于航空发动机气路故障诊断的深度计算模型 | |
Baraldi et al. | Differential evolution-based multi-objective optimization for the definition of a health indicator for fault diagnostics and prognostics | |
CN111832216B (zh) | 基于eemd-mcnn-gru的滚动轴承剩余使用寿命预测方法 | |
Yin et al. | A cascaded deep learning wind power prediction approach based on a two-layer of mode decomposition | |
Chen et al. | A deep capsule neural network with stochastic delta rule for bearing fault diagnosis on raw vibration signals | |
CN114511065A (zh) | 神经网络模型构建方法、时间序列预测方法及装置 | |
Saxena et al. | Evolving an artificial neural network classifier for condition monitoring of rotating mechanical systems | |
CN110702418A (zh) | 航空发动机故障预测方法 | |
CN113159361A (zh) | 基于VDM和Stacking模型融合的短期负荷预测方法及系统 | |
CN112116162B (zh) | 基于ceemdan-qfoa-lstm的输电线覆冰厚度预测方法 | |
CN111539132B (zh) | 一种基于卷积神经网络的动载荷时域识别方法 | |
CN110070229A (zh) | 家庭电力负荷的短期预测方法 | |
Yang et al. | A comparison between extreme learning machine and artificial neural network for remaining useful life prediction | |
Steinberg et al. | A neural network approach to source localization | |
CN114169110A (zh) | 基于特征优选和GWOA-XGBoost的电机轴承故障诊断方法 | |
CN116432860A (zh) | 一种基于ewt-tcn的短期电力负荷预测方法、系统及介质 | |
Addeh et al. | Control chart patterns detection using COA based trained MLP neural network and shape features | |
CN116629431A (zh) | 一种基于变分模态分解和集成学习的光伏发电量预测方法及装置 | |
Li et al. | A novel unsupervised anomaly detection method for rotating machinery based on memory augmented temporal convolutional autoencoder | |
Xu et al. | Global attention mechanism based deep learning for remaining useful life prediction of aero-engine | |
Wang et al. | Feature fusion based ensemble method for remaining useful life prediction of machinery | |
CN113433514B (zh) | 基于展开式深度网络的参数自学习干扰抑制方法 | |
Leke et al. | Proposition of a theoretical model for missing data imputation using deep learning and evolutionary algorithms | |
CN108509933B (zh) | 一种基于多小波基函数展开的锋电位时变格兰杰因果准确辨识方法 | |
CN116720057A (zh) | 基于特征筛选与权值分配的江河水质预测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |