CN110070172B - 基于双向独立循环神经网络的序列预测模型的建立方法 - Google Patents

基于双向独立循环神经网络的序列预测模型的建立方法 Download PDF

Info

Publication number
CN110070172B
CN110070172B CN201910189813.2A CN201910189813A CN110070172B CN 110070172 B CN110070172 B CN 110070172B CN 201910189813 A CN201910189813 A CN 201910189813A CN 110070172 B CN110070172 B CN 110070172B
Authority
CN
China
Prior art keywords
data
sequence
input
neural network
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910189813.2A
Other languages
English (en)
Other versions
CN110070172A (zh
Inventor
邓亚平
贾颢
王璐
邱晓东
李鹏程
许昀天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910189813.2A priority Critical patent/CN110070172B/zh
Publication of CN110070172A publication Critical patent/CN110070172A/zh
Application granted granted Critical
Publication of CN110070172B publication Critical patent/CN110070172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了基于双向独立循环神经网络的序列预测模型的建立方法，具体为：首先，采集信号或数据进行预处理，形成输入数据集，将输入数据集转换为矩阵形式，再对数据整体向后位移一位，构成所需预测的序列，之后将其转变为矩阵数据，分别形成训练集和测试集，之后再构建基于双向独立循环神经网络的序列对序列模型，进行训练，过拟合判断，最后利用预测模型来预测下一个采样点数据，利用当前预测数据作为下一个输入再次预测下一个采样点数据，循环n次预测出n个采样点数据获得未来数据。该方法可以基于更长的历史依赖数据来预测未来时间序列数据变化趋势，能够更好的发现时序信号或数据中各序列元素之间的依赖关系，获得更加精准的预测结果。

Description

基于双向独立循环神经网络的序列预测模型的建立方法
技术领域
本发明属于信号控制技术领域，具体涉及一种基于双向独立循环神经网络的序列预测模型的建立方法。
背景技术
基于双向独立循环神经网络的序列预测模型，对具有时序属性的波形或数据进行序列预测。如短期电机功率预测，心电趋势预测，电能质量波动趋势预测等。
现有序列预测模型多基于RNN神经网络模型，如LSTM(长短期记忆网络)，GRU神经网络模型。此类模型由于存在长期依赖关系，在处理长序列数据时由于梯度累计从而产生梯度爆炸与梯度消失问题。无法对长时间，采样密集数据进行预测。时间步长一般不超过500步。双向独立循环神经网络由于引入Hadamard乘积，从而极大地扩展对长时序数据的处理能力，时间步长可以超过1000步以上。例如针对电能质量波动时间序列的预测，双向独立循环神经网络可以更好的预测高频率，采样点密集，长周期波形问题。
发明内容
本发明的目的是提供基于双向独立循环神经网络的序列预测模型的建立方法，可以基于更长的历史依赖数据来预测未来时间序列数据变化趋势，获得更加精准的预测结果。
本发明所采用的技术方案是，基于双向独立循环神经网络的序列预测模型的建立方法，具体按照以下步骤实施：
步骤1，在节点处安装测量装置采集信号或数据；
步骤2，对获得的数据进行预处理，剔除监测数据中的无效数据并进行平滑处理；经预处理后依次存储所有样本序列元素，形成输入数据集；
步骤3，将输入数据集转换为矩阵形式，输入矩阵形状为[序列样本数量，步长，输入数据维度]；
步骤4，对数据整体向后位移一位，数据由[a1，a2，a3…an]调整为[a2，a3，a4…an+1]，构成所需预测的序列；
步骤5，将预测序列转变为矩阵数据，形状为[序列样本数量，步长，输出标签维度]；
步骤6，将输入数据集和对应的预测数据集分别进行随机划分，分别形成训练集和测试集，其中，训练集数据占总样本的75％，测试集数据占总样本的25％；
步骤7，构建基于双向独立循环神经网络的序列对序列模型；
基于双向独立循环神经网络的序列对序列模型包括以下三个部分，第一部分为输入层，输入层仅为一层，实现对输入数据的预处理；输入层的输入数据格式为[训练集样本数量，步长，输入数据维度]；
第二部分为隐含层，隐含层包含两层双向独立循环神经网络层，实现对输入数据的特征抽取；隐含层中所包含的双向独立循环神经网络层，每层包含多个隐含神经元单元且不同神经元之间彼此独立，其中第n个神经元单元的隐含状态hn.t如式(1)所示：
hn.t＝σ(WnXt+Unhn.t-1+bn)  (1)；
式(1)中，Xt为t时刻的输入数据，hn，t代表t时刻隐藏层节点，其含义为输入数据Xt的内在表达形式，hn，t-1代表前一时刻隐藏层节点。Wn和Un分别为输入权重和隐藏层节点的权重矩阵，bn为隐藏层的偏置向量，σ为神经元的逐元素激活函数；
第三部分为输出层，输出层为全连接层，全连接层包含n个神经元单元，全连接层所包含神经元单元数量与测试数据序列长度一致；输出测试序列的测试结果；
除输入层外其余神经网络层均通过激活函数与前一层神经网络层链接；
步骤8，对构建好的基于双向独立循环神经网络的序列预测模型进行训练；
步骤9，过拟合判断，使用测试集中其余的20％数据来进行模型的过拟合判断，若测试准确度大幅度下降则表明上述训练完成的模型，准确率已经出现了过拟合现象；
超参数每次调整后都需要通过步骤7进行重新训练，使得模型具有更强的泛化能力；
步骤10，利用经训练好的基于双向独立循环神经网络的序列预测模型来预测下一个采样点数据，利用当前预测数据作为下一个输入再次预测下一个采样点数据，循环n次预测出n个采样点数据获得未来数据。
本发明的特点还在于，
步骤7中，激活函数为ReLU、Leaky Relu、Sigmoid或者tanh激活函数。
步骤8中，具体为：
使用全局随机初始化方式来进行模型参数的初始化；通过测试集中的80％数据来对已构建好的模型进行训练；使用Adam优化器训练，学习率为0.001，损失函数使用交叉熵损失函数，经过500个世代训练后得到最优的模型参数；从而使得模型能够识别输入序列数据。
步骤9中，调整模型超参数的方式为，采用修改学习率、更改全连接层数量、更改训练世代或调整隐含层数量的方式；或选用更改训练世代的数量、序列步长大小、学习率。
本发明的有益效果是：
基于双向独立循环神经网络的序列预测模型的建立方法，可以基于更长的历史依赖数据来预测未来时间序列数据变化趋势，能够更好的发现时序信号或数据中各序列元素之间的依赖关系，获得更加精准的预测结果。
附图说明
图1为本发明基于双向独立循环神经网络的序列预测模型的建立方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于双向独立循环神经网络的序列预测模型的建立方法，如图1所示，具体按照以下步骤实施：
步骤1，在节点处安装测量装置采集信号或数据；
测量装置可为互感器；
步骤2，对获得的数据进行预处理，剔除监测数据中的无效数据并进行平滑处理；经预处理后依次存储所有样本序列元素，形成输入数据集；
步骤3，将输入数据集转换为矩阵形式，输入矩阵形状为[序列样本数量，步长，输入数据维度]；
步骤4，对数据整体向后位移一位，数据由[a1，a2，a3…an]调整为[a2，a3，a4…an+1]，构成所需预测的序列；
步骤5，将预测序列转变为矩阵数据，形状为[序列样本数量，步长，输出标签维度]；
步骤6，将输入数据集和对应的预测数据集(合称样本数据)分别进行随机划分，分别形成训练集和测试集，其中训练集数据占总样本的75％，测试集数据占总样本的25％；
步骤7，构建基于双向独立循环神经网络的序列对序列模型；
基于双向独立循环神经网络的序列对序列模型包括以下三个部分，第一部分为输入层，输入层仅为一层，实现对输入数据的预处理；输入层的输入数据格式为[训练集样本数量，步长，输入数据维度]；
第二部分为隐含层，隐含层包含两层双向独立循环神经网络层，实现对输入数据的特征抽取；隐含层中所包含的双向独立循环神经网络层，每层包含多个隐含神经元单元且不同神经元之间彼此独立，其中第n个神经元单元的隐含状态hn.t如式(1)所示：
hn.t＝σ(WnXt+Unhn.t-1+bn)  (1)；
式(1)中，Xt为t时刻的输入数据，hn，t代表t时刻隐藏层节点，其含义为输入数据Xt的内在表达形式，hn，t-1代表前一时刻隐藏层节点。Wn和Un分别为输入权重和隐藏层节点的权重矩阵，bn为隐藏层的偏置向量，σ为神经元的逐元素激活函数；
第三部分为输出层，输出层为全连接层，全连接层包含n个神经元单元，全连接层所包含神经元单元数量与测试数据序列长度一致；输出测试序列的测试结果；
除输入层外其余神经网络层均通过激活函数与前一层神经网络层链接；
隐含层部分数量根据需要进行修改，增加或减少双向独立循环神经网络层、全连接层；
激活函数为ReLU、Leaky Relu、Sigmoid或者tanh激活函数；
步骤8，对构建好的基于双向独立循环神经网络的序列预测模型进行训练，使用全局随机初始化方式来进行模型参数的初始化；通过测试集中的80％数据来对所述已构建好的模型进行训练；使用Adam优化器训练，学习率为0.001，损失函数使用交叉熵损失函数，经过500个世代训练后得到最优的模型参数；从而使得模型能够识别输入序列数据；
步骤9，过拟合判断，使用测试集中其余的20％数据来进行模型的过拟合判断，若测试准确度大幅度下降则表明上述训练完成的模型，准确率已经出现了过拟合现象；此时需要调整模型的超参数，这些超参数包括全连接层数量、学习率、训练世代、隐含层数量；
超参数每次调整后都需要通过步骤7进行重新训练，使得模型具有更强的泛化能力；
调整超参数的方式多样，如训练世代的数量、全连接层数量、学习率、隐含层数量均可根据实际数据进行调整；
步骤10，利用经训练好的基于双向独立循环神经网络的序列预测模型来预测下一个采样点数据，利用当前预测数据作为下一个输入再次预测下一个采样点数据，循环n次预测出n个采样点数据获得未来数据。
本发明的创新点在于，基于双向独立循环神经网络的序列预测模型能够发现时序信号或数据中各序列元素之间更长的依赖关系，从而可以从一个更长的历史依赖数据中预测时间序列数据变化趋势，获得更加准确的变化趋势数据，针对采样点密集与时间跨度长的数据可以获得更好的预测效果。
实施例
在电能质量波动趋势预测的问题上，传统方法很难发现数据中各序列元素之间更长的依赖关系，RNN的变种LSTM和GRU受限于时间步长,一般不超过500步,而双向独立循环神经网络由于引入Hadamard乘积，从而极大地扩展对长时序数据的处理能力，时间步长可以超过1000步以上，这样模型就可以挖掘出时序信号之间更深层次的依赖关系，从而获得更好的预测结果。
使用电能质量扰动序列数据来作为数据集，其中，取十万个序列数据作为样本数据，且每个周期含256个采样点。样本数据中的75％作为训练集，样本数据中的25％作为测试集。
输入层的数据格式为[75000，256，1]，即75000个样本，256个步长对应256个采样点，输入数据维度为1。
输出层的数据格式为[75000，256，1]，即输出数据与输入数据矩阵形状一致。训练使用Adam优化器进行训练，学习率为0.001，每5个世代学习率在当前的基础上下降10％，经历500个世代训练。最后，预测准确率达90％以上。

Claims (4)

1.用于电能质量波动趋势预测的序列预测模型建立方法，其特征在于，具体按照以下步骤实施：
步骤1，在节点处安装测量装置采集信号或数据；
步骤2，使用电能质量扰动序列数据来作为数据集，对获得的数据进行预处理，剔除监测数据中的无效数据并进行平滑处理；经预处理后依次存储所有样本序列元素，形成输入数据集；
步骤3，将输入数据集转换为矩阵形式，输入矩阵形状为[序列样本数量，步长，输入数据维度]；
步骤4，对数据整体向后位移一位，数据由[a1,a2,a3…an]调整为[a2,a3,a4…an+1]，构成所需预测的序列；
步骤5，将预测序列转变为矩阵数据，形状为[序列样本数量，步长，输出标签维度]；
步骤6，将输入数据集和对应的预测数据集分别进行随机划分，分别形成训练集和测试集，其中，训练集数据占总样本的75％，测试集数据占总样本的25％；
步骤7，构建基于双向独立循环神经网络的序列对序列模型；
基于双向独立循环神经网络的序列对序列模型包括以下三个部分，第一部分为输入层，输入层仅为一层，实现对输入数据的预处理；输入层的输入数据格式为[训练集样本数量，步长，输入数据维度]；
第二部分为隐含层，隐含层包含两层双向独立循环神经网络层，实现对输入数据的特征抽取；隐含层中所包含的双向独立循环神经网络层，每层包含多个隐含神经元单元且不同神经元之间彼此独立，其中第n个神经元单元的隐含状态hn.t如式(1)所示：
hn.t＝σ(WnXt+Unhn.t-1+bn)               (1)；
式(1)中，Xt为t时刻的输入数据，hn，t代表t时刻隐藏层节点，其含义为输入数据Xt的内在表达形式，hn，t-1代表前一时刻隐藏层节点。Wn和Un分别为输入权重和隐藏层节点的权重矩阵，bn为隐藏层的偏置向量，σ为神经元的逐元素激活函数；
第三部分为输出层，输出层为全连接层，全连接层包含n个神经元单元，全连接层所包含神经元单元数量与测试数据序列长度一致；输出测试序列的测试结果；
除输入层外其余神经网络层均通过激活函数与前一层神经网络层链接；
步骤8，对构建好的基于双向独立循环神经网络的序列预测模型进行训练；
步骤9，过拟合判断，使用测试集中其余的20％数据来进行模型的过拟合判断，若测试准确度大幅度下降则表明上述训练完成的模型，准确率已经出现了过拟合现象；
超参数每次调整后都需要通过步骤7进行重新训练，使得模型具有更强的泛化能力；
步骤10，利用经训练好的基于双向独立循环神经网络的序列预测模型来预测下一个采样点数据，利用当前预测数据作为下一个输入再次预测下一个采样点数据，循环n次预测出n个采样点数据获得未来数据，即可获得电能质量波动趋势预测结果。
2.根据权利要求1所述的用于电能质量波动趋势预测的序列预测模型建立方法，其特征在于，所述步骤7中，激活函数为ReLU、Leaky Relu、Sigmoid或者tanh激活函数。
3.根据权利要求1所述的用于电能质量波动趋势预测的序列预测模型建立方法，其特征在于，所述步骤8中，具体为：
使用全局随机初始化方式来进行模型参数的初始化；通过测试集中的80％数据来对已构建好的模型进行训练；使用Adam优化器训练，学习率为0.001，损失函数使用交叉熵损失函数，经过500个世代训练后得到最优的模型参数；从而使得模型能够识别输入序列数据或信息中每一个元素所属类别。
4.根据权利要求1所述的用于电能质量波动趋势预测的序列预测模型建立方法，其特征在于，所述步骤9中，调整模型超参数的方式为，采用修改学习率、更改全连接层数量、更改训练世代或调整隐含层数量的方式；或选用训练世代的数量、序列步长大小、学习率。
CN201910189813.2A 2019-03-13 2019-03-13 基于双向独立循环神经网络的序列预测模型的建立方法 Active CN110070172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910189813.2A CN110070172B (zh) 2019-03-13 2019-03-13 基于双向独立循环神经网络的序列预测模型的建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910189813.2A CN110070172B (zh) 2019-03-13 2019-03-13 基于双向独立循环神经网络的序列预测模型的建立方法

Publications (2)

Publication Number Publication Date
CN110070172A CN110070172A (zh) 2019-07-30
CN110070172B true CN110070172B (zh) 2023-04-07

Family

ID=67366234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910189813.2A Active CN110070172B (zh) 2019-03-13 2019-03-13 基于双向独立循环神经网络的序列预测模型的建立方法

Country Status (1)

Country Link
CN (1) CN110070172B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110927584B (zh) * 2019-12-09 2022-05-10 天津市捷威动力工业有限公司 一种基于神经网络的电池寿命延长预测方法
CN111060221A (zh) * 2019-12-31 2020-04-24 云领电气智能科技(苏州)有限公司 基于循环神经网络的变压器过热故障预警方法
CN111310892B (zh) * 2020-01-20 2022-08-02 南京邮电大学 一种基于独立循环神经网络的语言模型建模方法
CN111582560B (zh) * 2020-04-22 2023-05-23 空间信息产业发展股份有限公司 一种基于循环神经网络的水稻产量预测方法
CN111651935B (zh) * 2020-05-25 2023-04-18 成都千嘉科技股份有限公司 一种非平稳时间序列数据的多维度扩充预测方法与装置
CN111815033A (zh) * 2020-06-19 2020-10-23 上海电力大学 一种基于rcnn和气象时序特征的海上风电功率预测方法
CN112528365B (zh) * 2020-11-30 2022-10-14 北京航空航天大学 一种地下基础设施结构健康演化趋势预测方法
CN113804997B (zh) * 2021-08-23 2023-12-26 西安理工大学 基于双向WaveNet深度学习的电压暂降源定位方法
CN116383697B (zh) * 2023-03-29 2024-02-06 四川省交通建设集团有限责任公司 一种基于双门控循环网络的沥青路面压实程度预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909989A (zh) * 2017-02-24 2017-06-30 国网河南省电力公司电力科学研究院 一种电网扰动预测方法及装置
CN108921285A (zh) * 2018-06-22 2018-11-30 西安理工大学 基于双向门控循环神经网络的序列中单一元素分类方法
CN109255477A (zh) * 2018-08-24 2019-01-22 国电联合动力技术有限公司 一种基于深度极限学习机的风速预测方法及其系统和机组

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2008356120A1 (en) * 2007-11-07 2009-11-12 Edsa Micro Corporation Systems and methods for real-time forecasting and predicting of electrical peaks and managing the energy, health, reliability, and performance of electrical power systems based on an artificial adaptive neural network
US20170091615A1 (en) * 2015-09-28 2017-03-30 Siemens Aktiengesellschaft System and method for predicting power plant operational parameters utilizing artificial neural network deep learning methodologies

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909989A (zh) * 2017-02-24 2017-06-30 国网河南省电力公司电力科学研究院 一种电网扰动预测方法及装置
CN108921285A (zh) * 2018-06-22 2018-11-30 西安理工大学 基于双向门控循环神经网络的序列中单一元素分类方法
CN109255477A (zh) * 2018-08-24 2019-01-22 国电联合动力技术有限公司 一种基于深度极限学习机的风速预测方法及其系统和机组

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于ARIMA和神经网络的电能质量稳态指标预测;苏卫卫等;《计算机技术与发展》;20140107(第03期);全文 *
基于迟滞神经网络的风速时间序列预测;张欣等;《天津工业大学学报》;20120825(第04期);全文 *

Also Published As

Publication number Publication date
CN110070172A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110070172B (zh) 基于双向独立循环神经网络的序列预测模型的建立方法
WO2023284142A1 (zh) 脉冲神经网络中神经元的信号处理方法及该网络训练方法
CN110162018A (zh) 基于知识蒸馏与隐含层共享的增量式设备故障诊断方法
CN108921285B (zh) 基于双向门控循环神经网络的电能质量扰动的分类方法
Xia et al. Multi-stage fault diagnosis framework for rolling bearing based on OHF Elman AdaBoost-Bagging algorithm
CN108062572A (zh) 一种基于DdAE深度学习模型的水电机组故障诊断方法与系统
JP2016539407A (ja) 因果顕著性時間推論
Geng et al. A new deep belief network based on RBM with glial chains
CN110110372B (zh) 一种用户时序行为自动切分预测方法
CN110580727B (zh) 信息流与梯度流增加的深度v型密集网络成像方法
CN107609634A (zh) 一种基于增强极速学习的卷积神经网络训练方法
CN107798431A (zh) 一种基于改进Elman神经网络的中长期径流预报方法
CN113591728A (zh) 基于集成深度学习的电能质量扰动分类方法
CN112116002A (zh) 一种检测模型的确定方法、验证方法和装置
CN111882042A (zh) 用于液体状态机的神经网络架构自动搜索方法、系统及介质
CN117131979A (zh) 基于有向超图及注意力机制的交通流速度预测方法及系统
CN110633741B (zh) 一种基于改进脉冲神经网络的时间序列分类方法
CN115994221A (zh) 一种基于忆阻器的文本情感检测系统及方法
CN115600137A (zh) 面向不完备类别数据的多源域变工况机械故障诊断方法
KR102624710B1 (ko) Gru 기반 구조물 시계열 응답 예측 방법
CN115014451A (zh) 一种多网络特征融合模型的气固两相流流量测量方法
CN110796195B (zh) 一种包含在线小样本激励的图像分类方法
CN113469357A (zh) 一种人工神经网络到脉冲神经网络的映射方法
CN112288078B (zh) 一种基于脉冲神经网络的自学习、小样本学习和迁移学习的方法与系统
Liu et al. Fault prediction for satellite communication equipment based on deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant