CN114511065A - 神经网络模型构建方法、时间序列预测方法及装置 - Google Patents

神经网络模型构建方法、时间序列预测方法及装置 Download PDF

Info

Publication number
CN114511065A
CN114511065A CN202210070158.0A CN202210070158A CN114511065A CN 114511065 A CN114511065 A CN 114511065A CN 202210070158 A CN202210070158 A CN 202210070158A CN 114511065 A CN114511065 A CN 114511065A
Authority
CN
China
Prior art keywords
information entropy
bilstm
component sequence
sequence
ewt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210070158.0A
Other languages
English (en)
Inventor
祝嘉欣
郭旦怀
申莉
鄢红枚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sunwise Space Technology Ltd
Original Assignee
Beijing Sunwise Space Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sunwise Space Technology Ltd filed Critical Beijing Sunwise Space Technology Ltd
Priority to CN202210070158.0A priority Critical patent/CN114511065A/zh
Publication of CN114511065A publication Critical patent/CN114511065A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于信息熵的EWT‑BO‑BiLSTM的神经网络模型构建方法、时间序列预测方法及装置，构建方法包括使用EWT分解算法将样本时序数据分解为N个子序列；计算各子序列的信息熵；根据信息熵的大小对各子序列进行复杂度分析，基于信息熵的近似程度对各子序列合并重组得到新的重组子序列，根据信息熵从低到高，依次记为：趋势分量序列、周期分量序列、随机分量序列；对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络，利用贝叶斯优化方法调整BiLSTM网络参数得到BO‑BiLSTM模型，并进行模型训练。预测方法包括基于构建的模型进行预测并进行重构。本发明的方案可以提高多影响因素的高频时间序列的预测精度。

Description

神经网络模型构建方法、时间序列预测方法及装置
技术领域
本发明涉及时间序列预测技术领域，尤其涉及一种基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法、时间序列预测方法及装置。
背景技术
随着传感器技术的大量应用，通过数据采集和分析等技术，对装备和系统已存在或即将发生的隐患问题进行自动识别和提示，逐渐成为了实现低人力成本条件下高效运维的重要手段。如何提高基于设备历史监测数据的时间序列预测精度是数据驱动的预测模型中的一项重要研究课题。
实际生产与工程应用中，由于设备监测值往往受到诸多因素的共同影响，其序列变化趋势呈现出非平稳、非线性特点，并具有一定程度的复杂性和随机性。深度学习模型中的长短期记忆(Long-Short Term Memory，LSTM)网络作为一种改进的循环神经网络，可以避免反向传播过程中的梯度消失、梯度爆炸问题，适用于对长时监测数据的建模和预测。然而，传统时域、频域方法无法同时兼顾信号在时频域内局部化特征，且现有针对具有复杂特征的设备监测数据的时间序列预测研究中，往往难以提取和分离数据中有效信息，基于深度学习的预测模型面临着超参数调整不当而未能有效发挥模型预测优势以及模型训练时长压力。
发明内容
针对上述现有技术不足，本发明提供一种基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法、时间序列预测方法及装置，提高多影响因素的高频时间序列的预测精度。
为了实现本发明的目的，拟采用以下方案：
基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法，包括步骤：
使用EWT分解算法将样本时序数据分解为N个子序列；
计算各子序列的信息熵；
根据信息熵的大小对各子序列进行复杂度分析，基于信息熵的近似程度对各子序列合并重组得到新的重组子序列，根据信息熵从低到高，依次记为：趋势分量序列、周期分量序列、随机分量序列；
对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络，利用贝叶斯优化方法调整BiLSTM网络参数得到BO-BiLSTM模型，并进行模型训练。
进一步，所述样本时序数据是通过预处理的时序数据，所述预处理包括基于设备预设的采样频率对样本时序数据进行时间层面的重采样、以及对样本时序数据中存在的空值采用临近值的均值进行补全。
进一步，使用EWT分解算法将样本时序数据分解为N个子序列，包括步骤：
对样本时序数据做Fourier变换得到信号的Fourier频谱；
将Fourier支撑区间[0，π]作分割，得到Λi＝[ωi-1，ωi] (i＝1，2，…，N，ω0＝0，ωN＝π)，ωi为各分割片段的边界，并有
Figure BDA0003481802430000021
在每一个分割出的频谱区间Λi中，应用Meyer小波的构造思路，定义EWT分解函数在Λi上的带通滤波器，其经验尺度函数
Figure BDA0003481802430000022
和经验小波函数ψi(ω)分别为：
Figure BDA0003481802430000023
Figure BDA0003481802430000031
其中，
τi＝γωi
Figure BDA0003481802430000032
Figure BDA0003481802430000033
构造经验小波变换：经验小波函数ψi(t)与经验尺度函数
Figure BDA0003481802430000034
分别与时序数据f(t)作内积运算得到细节函数
Figure BDA0003481802430000035
与近似系数
Figure BDA0003481802430000036
Figure BDA0003481802430000037
Figure BDA0003481802430000038
其中，F-1(·)为Fourier逆变换，i＝1，2，…，N-1；
构造分解后的经验模态分量：
Figure BDA0003481802430000039
Figure BDA00034818024300000310
其中，k＝1，2，…，N-1。
进一步，计算各子序列的信息熵，时间序列X＝{x1，x2，…，xN}的信息熵的具体计算步骤如下：
确定序列分割段数n；
求取序列的最大值max(X)与最小值min(X)；
将区间[min(X)，max(X)]进行n等分；
遍历序列X中的元素，统计落入第j个等分区间的元素数量Countj(j＝1，2，…，n)；
计算序列X中元素落入各等分区间的概率
Figure BDA0003481802430000041
根据下式计算序列X的信息熵：
Figure BDA0003481802430000042
进一步，对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络，利用贝叶斯优化调整网络参数并进行训练，包括步骤：
构造有监督数据集：根据输入步长w与预测步长p构造输入矩阵A和输出矩阵B：
Figure BDA0003481802430000043
Figure BDA0003481802430000044
对A和B按如下标准做归一化处理，得到归一化后的
Figure BDA0003481802430000045
和
Figure BDA0003481802430000046
Figure BDA0003481802430000047
依次以输入矩阵
Figure BDA0003481802430000048
的各个行向量做输入，同时以输出矩阵
Figure BDA0003481802430000049
对应的行向量做输出搭建一个BiLSTM神经网络；
利用贝叶斯优化调整神经网络超参数；
基于贝叶斯优化得到的超参数组合设置BiLSTM神经网络并进行训练。
进一步，利用贝叶斯优化调整神经网络超参数，是使用贝叶斯优化调整BiLSTM神经网络中包括epoch、batch、各层神经元数量、学习率在内的超参数，包括步骤：
定义目标函数为一多层的BiLSTM网络；
设置参数寻优空间，包括各层神经元数量、学习率、epoch、batch、学习率等；
调用贝叶斯优化对目标函数进行优化。
进一步，基于贝叶斯优化得到的超参数组合设置BiLSTM神经网络并进行训练，包括步骤：
在t时刻，LSTM进行如下更新：
it＝σ(Wixt+Uiht-1+bi)
ft＝σ(Wfxt+Ufht-1+bf)
ot＝σ(Woxt+Uoht-1+bo)
Figure BDA0003481802430000051
Figure BDA0003481802430000052
Figure BDA0003481802430000053
其中，i，f，o分别表示输入门、遗忘门和输出门的运算结果；
Figure BDA0003481802430000054
为记忆细胞的候选值，c为更新后的记忆细胞状态，h为输出；W和U分别为输入权重矩阵和输出权重矩阵；b为偏置向量；σ和tanh分别为sigmoid函数和双曲正切函数，
Figure BDA0003481802430000055
表示内积运算；
BiLSTM的更新过程如下：
ht＝LSTM(xt，ht-1)
ht＝LSTM(xt，ht+1)
yt＝Whyht+Wyhht+by
Why为前向层到输出层的权值，Why为后向层到输出层的权值，by为输出层的偏置向量；即以第t-w至第t个时间段的数据为输入同时以第t+1至t+p个时间段的数据为理论输出训练神经网络，训练过程中采用反向传播和梯度下降算法不断调节网络的权值Wi、Wi、Wc、Wo和偏置bf、bi、bc、bo，至网络的预测数据
Figure BDA0003481802430000061
与真实数据x的偏差最小。
基于信息熵的EWT-BO-BiLSTM的神经网络模型构建装置，包括：
EWT模块，用于使用EWT分解算法将样本时序数据分解为N个子序列；
信息熵模块，用于计算各子序列的信息熵；
重组模块，用于根据信息熵的大小对各子序列进行复杂度分析，基于信息熵的近似程度对各子序列合并重组得到新的重组子序列，根据信息熵从低到高，依次记为：趋势分量序列、周期分量序列、随机分量序列；
构造训练模块，用于对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络，利用贝叶斯优化方法调整BiLSTM网络参数得到BO-BiLSTM模型，并进行模型训练。
基于信息熵的EWT-BO-BiLSTM的时间序列预测方法，包括步骤：
使用EWT分解算法将待测时序数据分解为N个子序列；
计算各子序列的信息熵；
根据信息熵的大小对各子序列进行复杂度分析，基于信息熵的近似程度对各子序列合并重组得到新的重组子序列，根据信息熵从低到高，依次记为：趋势分量序列、周期分量序列、随机分量序列；
将重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别输入通过所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法训练获得的对应BO-BiLSTM模型中进行预测，分别获得基于趋势分量序列、周期分量序列和随机分量序列的输出结果；
重构原序列的输出结果。
基于信息熵的EWT-BO-BiLSTM的时间序列预测装置，包括：
EWT模块，用于使用EWT分解算法将待测原始时序数据分解为N个子序列；
信息熵模块，用于计算各子序列的信息熵；
重组模块，用于根据信息熵的大小对各子序列进行复杂度分析，基于信息熵的近似程度对各子序列合并重组得到新的重组子序列，根据信息熵从低到高，依次记为：趋势分量序列、周期分量序列、随机分量序列；
预测模块，用于将重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别输入通过所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法训练获得的对应BO-BiLSTM模型中进行预测，分别获得基于趋势分量序列、周期分量序列和随机分量序列的输出结果；
重构模块，用于根据输出结果重构待测原始时序数据的预测值。
一种计算机可读存储介质，其上存储有计算机程序，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法，或执行基于信息熵的EWT-BO-BiLSTM的时间序列预测方法。
本发明的有益效果在于：
1、利用EWT将时间序列监测值分解为不同的子序列，然后基于各子序列的信息熵对其重新合并分组，在此基础上分别构建使用贝叶斯优化(Bayesian Optimization，BO)调整超参数的BiLSTM神经网络预测模型，最后分别对各分量的预测值进行逆EWT变换，并重构得原始时序数据的预测值，提高了多影响因素的高频时间序列的预测精度；
2、使用EWT分解算法将能够将多影响因素的复杂时序监测数据中具有特征差异的各个分量进行有效分离，为后续时序预测模型的构建提供了良好的数据基础；
3、基于信息熵对分解子序列合并重组，避免了对各分解模态分别建立神经网络预测模型的过程中因分量过多而带来的计算量和计算时间的负担；
4、使用贝叶斯优化方法对BiLSTM网络进行超参数寻优，可更有效地发挥神经网络模型的性能，提升预测精度。
附图说明
本文描述的附图只是为了说明所选实施例，而不是所有可能的实施方案，更不是意图限制本发明的范围。
图1为本申请实施例的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法流程图。
图2为本申请实施例的基于信息熵的EWT-BO-BiLSTM的时间序列预测方法流程图。
图3为本申请实施例的EWT分解得到的模态分量图。
图4为本申请实施例的重组后的趋势分量、周期分量、随机分量示意图。
图5为本申请实施例的BiLSTM展开结构图。
图6为本申请实施例的应用基于信息熵的EWT-BiLSTM-BO的时间序列预测方法的预测效果图。
图7为本申请实施例的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建装置结构图。
图8为本申请实施例的基于信息熵的EWT-BO-BiLSTM的时间序列预测装置结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明做进一步的详细描述。所描述的实施方式仅仅是作为示例，并非用于限制本发明。
本申请实施例的一个方面，提供一种基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法，如图1所示，具体包括如下步骤：
S1：对样本时序数据进行预处理，主要包含数据重采样和空值处理。具体步骤如下：
S11：针对实际监测和记录过程中，可能存在着延迟记录，或记录值缺失的情况，基于设备预设的采样频率对样本时序数据进行时间层面的重采样，以保证实验数据为连续的等间隔的时间序列数据；
S12：对序列中存在的空值，采用临近值的均值进行补全。
S2：使用EWT分解算法将预处理后的时序数据f(t)分解为N个子序列{f0(t)，f2(t)，…，fN-1(t)}，EWT分解过程的具体步骤如下：
S21：对时序数据做Fourier变换得到信号的Fourier频谱，将时域信号变换至频域上；
S22：将Fourier支撑区间[0，π]作分割，得到Λi＝[ωi-1，ωi] (i＝1，2，…，N，ω0＝0，ωN＝π)，ωi为各分割片段的边界，并有
Figure BDA0003481802430000091
S23：在每一个分割出的频谱区间Λi中，应用Meyer小波的构造思路，定义EWT分解函数在Λi上的带通滤波器，其经验尺度函数
Figure BDA0003481802430000092
和经验小波函数ψi(ω)分别为：
Figure BDA0003481802430000101
Figure BDA0003481802430000102
其中，
τi＝γωi
Figure BDA0003481802430000103
Figure BDA0003481802430000104
S24：构造经验小波变换。与小波变换构造细节函数与近似函数的方法类似，经验小波函数ψi(t)与经验尺度函数
Figure BDA0003481802430000105
分别与信号f(t)作内积运算得到细节函数
Figure BDA0003481802430000106
与近似系数
Figure BDA0003481802430000107
Figure BDA0003481802430000108
Figure BDA0003481802430000109
其中，F-1(·)为Fourier逆变换，i＝1，2，…，N-1；
S25：构造分解后的经验模态分量：
Figure BDA00034818024300001010
Figure BDA00034818024300001011
其中，k＝1，2，…，N-1。
S3：计算各子序列的信息熵。
时间序列X＝{x1，x2，…，xN}的信息熵的具体计算步骤如下：
S31：确定序列分割段数n；
S32：求取序列的最大值max(X)与最小值min(X)；
S33：将区间[min(X)，max(X)]进行n等分；
S34：遍历序列X中的元素，统计落入第j个等分区间的元素数量Countj(j＝1，2，…，n)；
S35：计算序列X中元素落入各等分区间的概率
Figure BDA0003481802430000111
S36：根据下式计算序列X的信息熵：
Figure BDA0003481802430000112
S4：根据信息熵的大小对各个子序列进行复杂度分析，基于信息熵的近似程度对各IMF分量合并重组得到新的重组子序列，根据信息熵从低到高，依次记为：趋势分量、周期分量、随机分量。
S5：针对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络。BiLSTM网络构建过程具体包括如下步骤：
S51：构造有监督数据集：根据输入步长w＝300与预测步长p＝30构造输入矩阵A和输出矩阵B：
Figure BDA0003481802430000113
Figure BDA0003481802430000114
S52：对A和B按如下标准做归一化处理，得到归一化后的
Figure BDA0003481802430000115
和
Figure BDA0003481802430000116
Figure BDA0003481802430000121
S53：依次以输入矩阵
Figure BDA0003481802430000122
的各个行向量做输入，同时以输出矩阵
Figure BDA0003481802430000123
对应的行向量做输出搭建一个BiLSTM神经网络；
S54：贝叶斯优化，调整神经网络超参数；使用贝叶斯优化调整BiLSTM中包括epoch、batch、各层神经元数量、学习率在内的超参数，具体实施步骤为：
i.定义目标函数为一多层的BiLSTM网络；
ii.设置参数寻优空间，包括各层神经元数量、学习率、epoch、batch、学习率等；
iii.调用贝叶斯优化对目标函数进行优化。
其中，趋势分量经贝叶斯优化得到的BiLSTM超参数组合为{neuron1＝415，neuron1＝47，neuron1＝506，learning_rate＝0.0007992650830562636}、周期分量经贝叶斯优化得到的BiLSTM超参数组合为{neuron1＝178，neuron1＝102，neuron1＝162，learning_rate＝0.003842248940317655}、随机分量经贝叶斯优化得到的BiLSTM超参数组合为{neuron1＝415，neuronl＝47，neuron1＝506，learning_rate＝0.0007992650830562636}。
S55：基于S54中贝叶斯优化得到的超参数组合设置BiLSTM神经网络并进行训练，在t时刻，网络的更新和训练步骤如下：
i.LSTM神经元进行如下更新：
it＝σ(Wixt+Uiht-1+bi)
ft＝σ(Wfxt+Ufht-1+bf)
ot＝σ(Woxt+Uoht-1+bo)
Figure BDA0003481802430000131
Figure BDA0003481802430000132
Figure BDA0003481802430000133
其中，i，f，o分别表示输入门、遗忘门和输出门的运算结果；
Figure BDA0003481802430000134
为记忆细胞的候选值，c为更新后的记忆细胞状态，h为输出；W和U分别为输入权重矩阵和输出权重矩阵；b为偏置向量；σ和tanh分别为sigmoid函数和双曲正切函数，
Figure BDA0003481802430000135
表示内积运算；
ii.BiLSTM展开结构如图5所示，参数更新过程如下：
ht＝LSTM(xt，ht-1)
ht＝LSTM(xt，ht+1)
yt＝Whyht+Wyhht+by
其中，Why为前向层到输出层的权值，Why为后向层到输出层的权值，by为输出层的偏置向量；即以第t-w至第t个时间段的数据为输入同时以第t+1至t+p个时间段的数据为理论输出训练神经网络，训练过程中采用反向传播和梯度下降算法不断调节网络的权值Wf、Wi、Wc、Wo和偏置bf、bi、bc、bo，至网络的预测数据
Figure BDA0003481802430000136
与真实数据x的偏差最小。
通过上述步骤完成基于信息熵的EWT-BO-BiLSTM的神经网络模型构建，获得趋势分量序列、周期分量序列和随机分量序列分别对应的BO-BiLSTM模型。
本申请实施例的另一方面，提供一种基于信息熵的EWT-BO-BiLSTM的时间序列预测方法，如图2所示，以某型电源车的一段历史电压数据为例，具体包括如下步骤：
S1：对待测原始时序数据进行预处理，主要包含数据重采样和空值处理。具体步骤如下：
S11：针对实际监测和记录过程中，可能存在着延迟记录，或记录值缺失的情况，基于设备预设的采样频率对待测原始时序数据(监测数据)进行时间层面的重采样，以保证实验数据为连续的等间隔的时间序列数据；
S12：对时序数据中存在的空值，采用临近值的均值进行补全。
S2：使用EWT分解算法将预处理后的时序数据f(t)分解为10个子序列{f0(t)，f2(t)，…，f9(t)}。EWT分解过程的具体步骤如下：
S21：对时序数据做Fourier变换得到信号的Fourier频谱，将时域信号变换至频域上；
S22：将Fourier支撑区[0，π]作分割，得到Λi＝[ωi-1，ωi] (i＝1，2，…，10，ω0＝0，ω10＝π)，ωi为各分割片段的边界，并有
Figure BDA0003481802430000141
S23：在每一个分割出的频谱区间Λi中，应用Meyer小波的构造思路，定义EWT分解函数在Λi上的带通滤波器，其经验尺度函数
Figure BDA0003481802430000142
和经验小波函数ψi(ω)分别为：
Figure BDA0003481802430000143
Figure BDA0003481802430000144
其中，
τi＝γωi
Figure BDA0003481802430000151
Figure BDA0003481802430000152
S24：构造经验小波变换。与小波变换构造细节函数与近似函数的方法类似，经验小波函数ψi(t)与经验尺度函数
Figure BDA0003481802430000153
分别与信号f(t)作内积运算得到细节函数
Figure BDA0003481802430000154
与近似系数
Figure BDA0003481802430000155
Figure BDA0003481802430000156
Figure BDA0003481802430000157
其中，F-1(·)为Fourier逆变换，i＝1，2，…，9；
S25：构造分解后的经验模态分量：
Figure BDA0003481802430000158
Figure BDA0003481802430000159
其中，k＝1，2，…，9。EWT分解得到的10个模态分量如图3所示。
S3：计算各子序列的信息熵，时间序列X的信息熵的具体计算步骤如下：
S31：以下式确定序列分割段数n：
n＝[1+log2length(X)]
其中，length(X)表示时间序列的长度；
S32：求取序列的最大值max(X)与最小值min(X)；
S33：将区间[min(X)，max(X)]进行n等分；
S34：遍历序列X中的元素，统计落入第j个等分区间的元素数量Countj(j＝1，2，…，n)；
S35：计算序列X中元素落入各等分区间的概率
Figure BDA00034818024300001510
S36：根据下式计算序列X的信息熵：
Figure BDA0003481802430000161
以S3中的上述步骤计算得到各子序列的信息熵依次为：
1.5996623813735944，1.8687899594612538，2.122406351319739，2.185659512276725，2.2764720849671325，2.2379352062773528，2.1207774467540994，2.235364780048191，2.3643359900796814，2.305358581312417。
S4：根据信息熵的大小对各个子序列进行复杂度分析，基于信息熵的近似程度对各IMF分量合并重组得到新重组子序列，根据信息熵从低到高，依次记为：趋势分量、周期分量、随机分量，重新组合得到的各分量如图4。
S5：将重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别输入通过前文实施例所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法获得的对应BO-BiLSTM模型中进行预测，分别获得基于趋势分量序列、周期分量序列和随机分量序列的输出结果；
S6：重构原序列的输出结果，预测值与观测值的对比效果见图6，其中，预测评价指标MAE＝0.5262962147947984，RMSE＝0.7689766572691229，NMSE＝0.39709506305617387。
本申请实施例的再一方面，提供一种基于信息熵的EWT-BO-BiLSTM的神经网络模型构建装置，如图7所示，包括依次连接的预处理模块、EWT模块、信息熵模块、重组模块、构造训练模块。
其中，预处理模块用于基于设备预设的采样频率对样本时序数据进行时间层面的重采样、以及对样本时序数据中存在的空值采用临近值的均值进行补全；EWT模块用于使用EWT分解算法将样本时序数据分解为N个子序列；信息熵模块用于计算各子序列的信息熵；重组模块用于根据信息熵的大小对各子序列进行复杂度分析，基于信息熵的近似程度对各子序列合并重组得到新的重组子序列，根据信息熵从低到高，依次记为：趋势分量序列、周期分量序列、随机分量序列；构造训练模块用于对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络，利用贝叶斯优化方法调整BiLSTM网络参数得到BO-BiLSTM模型，并进行模型训练。
本申请实施例的再一方面，提供一种基于信息熵的EWT-BO-BiLSTM的时间序列预测装置，如图8所示，包括依次连接的预处理模块、EWT模块、信息熵模块、重组模块、预测模块、重构模块。
其中，预处理模块用于基于设备预设的采样频率对待测原始时序数据进行时间层面的重采样、以及对时序数据中存在的空值采用临近值的均值进行补全。EWT模块用于使用EWT分解算法将预处理的时序数据分解为N个子序列。信息熵模块用于计算各子序列的信息熵。重组模块用于根据信息熵的大小对各子序列进行复杂度分析，基于信息熵的近似程度对各子序列合并重组得到新的重组子序列，根据信息熵从低到高，依次记为：趋势分量序列、周期分量序列、随机分量序列。预测模块用于将重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别输入通过前文实施例所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法训练获得的对应BO-BiLSTM模型中进行预测，分别获得基于趋势分量序列、周期分量序列和随机分量序列的输出结果。重构模块用于根据输出结果重构待测原始时序数据的预测值。
本申请实施例的再一方面，提供一种电子设备，包括：至少一个处理器和存储器；其中，所述存储器存储有计算机执行指令；在所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行前述实施例所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法，或执行前述实施例所述的基于信息熵的EWT-BO-BiLSTM的时间序列预测方法。
本申请实施例的再一方面，提供一种计算机可读存储介质，其上存储有计算机程序，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行前述实施例所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法，或执行前述实施例所述的基于信息熵的EWT-BO-BiLSTM的时间序列预测方法。
以上仅为本发明的优选实施例，并不表示是唯一的或是限制本发明。本领域技术人员应理解，在不脱离本发明的范围情况下，对本发明进行的各种改变或同等替换，均属于本发明保护的范围。

Claims (10)

1.基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法，其特征在于，包括步骤：
使用EWT分解算法将样本时序数据分解为N个子序列；
计算各子序列的信息熵；
根据信息熵的大小对各子序列进行复杂度分析，基于信息熵的近似程度对各子序列合并重组得到新的重组子序列，根据信息熵从低到高，依次记为：趋势分量序列、周期分量序列、随机分量序列；
对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络，利用贝叶斯优化方法调整BiLSTM网络参数得到BO-BiLSTM模型，并进行模型训练。
2.根据权利要求1所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法，其特征在于，所述样本时序数据是通过预处理的时序数据，所述预处理包括基于设备预设的采样频率对样本时序数据进行时间层面的重采样、以及对样本时序数据中存在的空值采用临近值的均值进行补全。
3.根据权利要求1所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法，其特征在于，使用EWT分解算法将样本时序数据分解为N个子序列，包括步骤：
对样本时序数据做Fourier变换得到信号的Fourier频谱；
将Fourier支撑区间[0,π]作分割，得到Λi＝[ωi-1,ωi](i＝1,2,…,N,ω0＝0,ωN＝π)，ωi为各分割片段的边界，并有
Figure FDA0003481802420000011
在每一个分割出的频谱区间Λi中，应用Meyer小波的构造思路，定义EWT分解函数在Λi上的带通滤波器，其经验尺度函数
Figure FDA0003481802420000012
和经验小波函数ψi(ω)分别为：
Figure FDA0003481802420000021
Figure FDA0003481802420000022
其中，
τi＝γωi
Figure FDA0003481802420000023
Figure FDA0003481802420000024
构造经验小波变换：经验小波函数ψi(t)与经验尺度函数
Figure FDA00034818024200000211
分别与时序数据f(t)作内积运算得到细节函数
Figure FDA0003481802420000025
与近似系数
Figure FDA0003481802420000026
Figure FDA0003481802420000027
Figure FDA0003481802420000028
其中，F-1(·)为Fourier逆变换，i＝1,2,…,N-1；
构造分解后的经验模态分量：
Figure FDA0003481802420000029
Figure FDA00034818024200000210
其中，k＝1,2,…,N-1。
4.根据权利要求1所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法，其特征在于，计算各子序列的信息熵，时间序列X＝{x1,x2,…,xN}的信息熵的具体计算步骤如下：
确定序列分割段数n；
求取序列的最大值max(X)与最小值min(X)；
将区间[min(X),max(X)]进行n等分；
遍历序列X中的元素，统计落入第j个等分区间的元素数量Countj(j＝1,2,…,n)；
计算序列X中元素落入各等分区间的概率
Figure FDA0003481802420000031
根据下式计算序列X的信息熵：
Figure FDA0003481802420000032
5.根据权利要求1所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法，其特征在于，对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络，利用贝叶斯优化调整网络参数并进行训练，包括步骤：
构造有监督数据集：根据输入步长w与预测步长p构造输入矩阵A和输出矩阵B：
Figure FDA0003481802420000033
Figure FDA0003481802420000034
对A和B按如下标准做归一化处理，得到归一化后的
Figure FDA0003481802420000035
和
Figure FDA0003481802420000036
Figure FDA0003481802420000037
依次以输入矩阵
Figure FDA0003481802420000041
的各个行向量做输入，同时以输出矩阵
Figure FDA0003481802420000042
对应的行向量做输出搭建一个BiLSTM神经网络；
利用贝叶斯优化调整神经网络超参数；
基于贝叶斯优化得到的超参数组合设置BiLSTM神经网络并进行训练。
6.根据权利要求5所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法，其特征在于，基于贝叶斯优化得到的超参数组合设置BiLSTM神经网络并进行训练，包括步骤：
在t时刻，LSTM进行如下更新：
it＝σ(Wixt+Uiht-1+bi)
ft＝σ(Wfxt+Ufht-1+bf)
ot＝σ(Woxt+Uoht-1+bo)
Figure FDA0003481802420000043
Figure FDA0003481802420000044
Figure FDA0003481802420000045
其中，i,f,o分别表示输入门、遗忘门和输出门的运算结果；
Figure FDA0003481802420000046
为记忆细胞的候选值，c为更新后的记忆细胞状态，h为输出；W和U分别为输入权重矩阵和输出权重矩阵；b为偏置向量；σ和tanh分别为sigmoid函数和双曲正切函数，
Figure FDA0003481802420000047
表示内积运算；
BiLSTM的更新过程如下：
ht＝LSTM(xt,ht-1)
ht＝LSTM(xt,ht+1)
yt＝Whyht+Wyhht+by
Why为前向层到输出层的权值，Why为后向层到输出层的权值，by为输出层的偏置向量；即以第t-w至第t个时间段的数据为输入同时以第t+1至t+p个时间段的数据为理论输出训练神经网络，训练过程中采用反向传播和梯度下降算法不断调节网络的权值Wf、Wi、Wc、Wo和偏置bf、bi、bc、bo，至网络的预测数据
Figure FDA0003481802420000051
与真实数据x的偏差最小。
7.基于信息熵的EWT-BO-BiLSTM的神经网络模型构建装置，其特征在于，包括：
EWT模块，用于使用EWT分解算法将样本时序数据分解为N个子序列；
信息熵模块，用于计算各子序列的信息熵；
重组模块，用于根据信息熵的大小对各子序列进行复杂度分析，基于信息熵的近似程度对各子序列合并重组得到新的重组子序列，根据信息熵从低到高，依次记为：趋势分量序列、周期分量序列、随机分量序列；
构造训练模块，用于对重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别构造BiLSTM网络，利用贝叶斯优化方法调整BiLSTM网络参数得到BO-BiLSTM模型，并进行模型训练。
8.基于信息熵的EWT-BO-BiLSTM的时间序列预测方法，其特征在于，包括步骤：
使用EWT分解算法将待测时序数据分解为N个子序列；
计算各子序列的信息熵；
根据信息熵的大小对各子序列进行复杂度分析，基于信息熵的近似程度对各子序列合并重组得到新的重组子序列，根据信息熵从低到高，依次记为：趋势分量序列、周期分量序列、随机分量序列；
将重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别输入通过权利要求1～6中任意一项所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法训练获得的对应BO-BiLSTM模型中进行预测，分别获得基于趋势分量序列、周期分量序列和随机分量序列的输出结果；
重构原序列的输出结果。
9.基于信息熵的EWT-BO-BiLSTM的时间序列预测装置，其特征在于，包括：
EWT模块，用于使用EWT分解算法将待测原始时序数据分解为N个子序列；
信息熵模块，用于计算各子序列的信息熵；
重组模块，用于根据信息熵的大小对各子序列进行复杂度分析，基于信息熵的近似程度对各子序列合并重组得到新的重组子序列，根据信息熵从低到高，依次记为：趋势分量序列、周期分量序列、随机分量序列；
预测模块，用于将重新组合得到的趋势分量序列、周期分量序列和随机分量序列分别输入通过权利要求1～6中任意一项所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法训练获得的对应BO-BiLSTM模型中进行预测，分别获得基于趋势分量序列、周期分量序列和随机分量序列的输出结果；
重构模块，用于根据输出结果重构待测原始时序数据的预测值。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利要求1～6中任意一项所述的基于信息熵的EWT-BO-BiLSTM的神经网络模型构建方法，或执行如权利要求8所述的基于信息熵的EWT-BO-BiLSTM的时间序列预测方法。
CN202210070158.0A 2022-01-21 2022-01-21 神经网络模型构建方法、时间序列预测方法及装置 Pending CN114511065A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210070158.0A CN114511065A (zh) 2022-01-21 2022-01-21 神经网络模型构建方法、时间序列预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210070158.0A CN114511065A (zh) 2022-01-21 2022-01-21 神经网络模型构建方法、时间序列预测方法及装置

Publications (1)

Publication Number Publication Date
CN114511065A true CN114511065A (zh) 2022-05-17

Family

ID=81549469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210070158.0A Pending CN114511065A (zh) 2022-01-21 2022-01-21 神经网络模型构建方法、时间序列预测方法及装置

Country Status (1)

Country Link
CN (1) CN114511065A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345207A (zh) * 2022-10-13 2022-11-15 南京信息工程大学 一种自适应的多气象要素预测方法
CN115944293A (zh) * 2023-03-15 2023-04-11 汶上县人民医院 一种基于神经网络的肾脏透析用血红蛋白水平预测系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345207A (zh) * 2022-10-13 2022-11-15 南京信息工程大学 一种自适应的多气象要素预测方法
CN115944293A (zh) * 2023-03-15 2023-04-11 汶上县人民医院 一种基于神经网络的肾脏透析用血红蛋白水平预测系统
CN115944293B (zh) * 2023-03-15 2023-05-16 汶上县人民医院 一种基于神经网络的肾脏透析用血红蛋白水平预测系统

Similar Documents

Publication Publication Date Title
CN110321603B (zh) 一种用于航空发动机气路故障诊断的深度计算模型
Baraldi et al. Differential evolution-based multi-objective optimization for the definition of a health indicator for fault diagnostics and prognostics
Mao et al. Online detection for bearing incipient fault based on deep transfer learning
Chen et al. A deep capsule neural network with stochastic delta rule for bearing fault diagnosis on raw vibration signals
Yin et al. A cascaded deep learning wind power prediction approach based on a two-layer of mode decomposition
CN114511065A (zh) 神经网络模型构建方法、时间序列预测方法及装置
Saxena et al. Evolving an artificial neural network classifier for condition monitoring of rotating mechanical systems
CN110702418A (zh) 航空发动机故障预测方法
CN113159361A (zh) 基于VDM和Stacking模型融合的短期负荷预测方法及系统
CN110070229A (zh) 家庭电力负荷的短期预测方法
Wu et al. An engine fault diagnosis system using intake manifold pressure signal and Wigner–Ville distribution technique
CN111539132B (zh) 一种基于卷积神经网络的动载荷时域识别方法
Yang et al. A comparison between extreme learning machine and artificial neural network for remaining useful life prediction
CN112116162B (zh) 基于ceemdan-qfoa-lstm的输电线覆冰厚度预测方法
Steinberg et al. A neural network approach to source localization
Sun et al. Lightweight bidirectional long short-term memory based on automated model pruning with application to bearing remaining useful life prediction
CN114169110A (zh) 基于特征优选和GWOA-XGBoost的电机轴承故障诊断方法
Osogami et al. Bidirectional learning for time-series models with hidden units
CN116629431A (zh) 一种基于变分模态分解和集成学习的光伏发电量预测方法及装置
Addeh et al. Control chart patterns detection using COA based trained MLP neural network and shape features
Wang et al. Spatiotemporal non-negative projected convolutional network with bidirectional NMF and 3DCNN for remaining useful life estimation of bearings
Xu et al. Global attention mechanism based deep learning for remaining useful life prediction of aero-engine
Leke et al. Proposition of a theoretical model for missing data imputation using deep learning and evolutionary algorithms
Jakaria et al. Comparison of classification of birds using lightweight deep convolutional neural networks
CN116432860A (zh) 一种基于ewt-tcn的短期电力负荷预测方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination