CN113065281B - 一种基于传递熵与长短期记忆网络的te过程时序预测方法 - Google Patents

一种基于传递熵与长短期记忆网络的te过程时序预测方法 Download PDF

Info

Publication number
CN113065281B
CN113065281B CN202110299172.3A CN202110299172A CN113065281B CN 113065281 B CN113065281 B CN 113065281B CN 202110299172 A CN202110299172 A CN 202110299172A CN 113065281 B CN113065281 B CN 113065281B
Authority
CN
China
Prior art keywords
reactor
variable
input
flow
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110299172.3A
Other languages
English (en)
Other versions
CN113065281A (zh
Inventor
高学金
贾阳阳
高慧慧
韩华云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202110299172.3A priority Critical patent/CN113065281B/zh
Publication of CN113065281A publication Critical patent/CN113065281A/zh
Application granted granted Critical
Publication of CN113065281B publication Critical patent/CN113065281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明涉及一种基于传递熵与长短期记忆网络的TE过程时序预测方法。针对TE过程变量间关联性强，易将冗余信息引入预测模型，导致时序预测精度低和训练速率慢的问题，本发明将传递熵算法的不对称性用于变量选取，在TE过程反应器单元变量中选择出对反应器温度影响较大的上游变量，剔除下游不相关变量的干扰，从而降低时序预测模型的复杂度。利用LSTM在时序预测方面的优越性能，基于传递熵选择出的变量建立LSTM时间序列预测模型，预测反应器温度的未来时间序列。

Description

一种基于传递熵与长短期记忆网络的TE过程时序预测方法
技术领域
本发明涉及基于信息熵的关键变量选取和基于深度学习的时序预测技术领域，特别是针对TE(Tennessee Eastman))过程变量间关联性强的特性提出了一种基于传递熵与长短期记忆网络的TE过程时序预测方法，是流程工业技术领域的重要分支。
背景技术
工业过程时序预测的目的是现场操作人员通过监控关键过程变量实现对整个生产流程的控制，从而保证生产过程的安全和平稳运行，因此，对关键过程参数反应器温度准确的时序预测对于提高过程控制性能和优化产品的质量指标以及工业过程安全运行具有重要的作用。
由RNN变化而来的LSTM(Long Short-Term Memory)引入各种门结构，很大程度上提高了预测性能。因此，本发明选用LSTM方法进行TE过程时序预测。但是，在TE生产过程中，由于其复杂的物理连接特点，过程变量间具有复杂的关联性。如果将全部变量纳入到已建立好的模型之中，就会对分析自变量与因变量之间的客观关系形成干扰，还可能增加预测误差。因此，许多学者对变量选择进行了研究。徐圆等利用k-近邻互信息方法对多元时序变量进行相关性选择，得到一组相关变量集以降低系统变量的维数，提高系统故障预测的精度。赵荣荣等将k-近邻互信息(k-MI)引入到辅助变量的选择中，从而达到筛选辅助变量的目的。孙茂伟等采用基于正则化互信息的特征排序指标进行学习器的输入特征抽取。高洁等提出基于互信息筛选出与故障类别高度相关的关键故障变量，有效提升故障诊断模型性能，增强模型可解释性。然而，TE过程属于流程工业生产过程，其物质流、信息流、能量流呈现有序流动的状态。对于一个给定的目标变量，从流动方向上可将过程变量分为“上游变量”(因变量)和“下游变量”(果变量)。下游变量对目标变量的作用是冗余的，上述方法只能衡量两个变量间相关性的大小，而无法从方向上剔除该冗余。
发明内容
针对TE过程变量间关联性强，易将冗余信息引入预测模型，导致时序预测精度低和训练速率慢的问题，提出一种基于传递熵与长短期记忆网络的TE过程时序预测方法。本发明将传递熵算法的不对称性用于变量选取，在TE过程反应器单元变量中选择出对反应器温度影响较大的上游变量，剔除下游不相关变量的干扰，从而降低时序预测模型的复杂度。利用LSTM在时序预测方面的优越性能，基于传递熵选择出的变量建立LSTM时间序列预测模型，预测反应器温度的未来时间序列。
基于传递熵与长短期记忆网络的TE过程时序预测方法，其特征在于包括以下步骤：
(1)采集TE工业过程反应器单元正常操作情况下的历史数据，构成样本集(X1,X2,…,Xm,…,X8,Y)，即其中Xm表示第m个变量，即物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度。Y表示要预测的目标变量，即反应器温度，每个变量包含i＝(1,2,…,I)个采样时刻，即Xm＝(Xm,1,Xm,2,…X8,i)，Y＝(y1,y2,…,yI)，其中Xm,i表示第i个采样时刻的第m个变量的测量值，Yi表示第i个采样时刻目标变量反应器温度的测量值。
(2)对物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度和反应器温度历史数据进行归一化处理，处理方式如下：
对变量Xm进行归一化，可表示如下：
其中，表示第i个采样时刻第m个过程变量归一化后的数据，i＝1,2,…I，m＝1,2,…M；max()为求最大值函数，min()求最小值函数。
对反应器温度Y进行归一化，可表示如下：
其中，为第i个采样时刻反应器温度Y归一化后的数据，i＝1,2,…I。max()为求最大值函数，min()求最小值函数。
(3)利用传递熵进行变量选择：
①利用(2)归一化后的数据，分别计算物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度与反应器温度之间的传递熵值，其计算公式如下：
变量对目标变量/>的传递熵值：
其中，表示变量/>对目标变量/>的传递熵值，xm,i和yi分别代表了变量/>和变量/>在i时刻的测量值，yi+1代表了/>在未来下一时刻的测量值。/>为概率，/>和/>为条件概率，可利用核密度估计方法求得。i＝1,2,…I，m＝1,2,…M。k和l分别为/>和/>的植入维度，/>通常，为了避免在计算过程中引入复杂的高维概率密度，取k＝l＝1，这不影响变量之间的传递关系。
目标变量对过程变量/>的传递熵值：
其中，表示目标变量/>对变量/>的传递熵值，xm,i和yi分别代表了变量/>和变量/>在i时刻的测量值，xm,i+1代表了/>在未来下一时刻的测量值。/>为概率，/>和/>为条件概率，可利用核密度估计方法求得。i＝1,2,…I，m＝1,2,…M。k和l分别为/>和/>的植入维度，/> 通常，为了避免在计算过程中引入复杂的高维概率密度，取k＝l＝1，这不影响变量之间的传递关系。
②分别计算物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度和反应器温度之间的传递熵的差值：
其中，表示变量/>到目标变量/>的传递熵/>与目标变量/>到变量/>的传递熵/>的差值，/>表示变量/>对目标变量/>的传递熵值，/>表示目标变量/>对变量/>的传递熵值。m＝1,2,…M。
③通过传递熵差值从物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度中筛选出满足(即传递熵/>>传递熵/>)的变量/>构造出影响目标变量的关键变量集/>其中，Q为满足的变量个数。
(4)建立LSTM时时间序列预测模型，具体包括以下步骤：
①将(3)筛选出的关键变量集和反应器温度/>一起构成LSTM的输入数据集/>
②确定LSTM神经网络模型，包括输入门、遗忘门和输出门，输入为数据集在第i个时刻输入的数据为数据通过输入门的具体形式为：
inputi＝σ(Winput[hi-1,xi]+binput) (6)
其中，inputi为输入门在第i个时刻的输出，Winput为输入门的权重矩阵，binput为输入门偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量。σ为sigmoid函数。
遗忘门计算公式为:
fi＝σ(Wf[hi-1,xi]+bf) (7)
其中，fi为遗忘门在第i个时刻的输出，Wf为遗忘门的权重矩阵，bf为输入门偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量。σ为sigmoid函数。
当前记忆的计算公式：
C′i＝tanh(Wc[hi-1,xi]+bc) (8)
其中，C′i为在第i个时刻的记忆，即当前记忆，Wc为当前输入的单元状态的权重，bc为当前输入的单元状态的偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量。tanh为tanh函数。
当前时刻单元状态的计算公式：
Ci＝fiCi-1+inputiC′i (9)
其中，Ci为在第i个时刻的单元状态，即当前时刻的单元状态，fi为遗忘门在第i个时刻的输出，可由式(7)得出，Ci-1为第i-1个时刻的单元状态，即长期记忆，inputi为输入门在第i个时刻的输出，可由式(6)得出，C′i为第i个时刻的记忆，即当前记忆，可由式(8)得出。
输出门的计算公式：
Oi＝σ(Wo[hi-1,xi]+bo) (10)
Oi表示输出门在第i个时刻的的输出，Wo表示输出门的权重矩阵，[hi-1,xi]即把向量hi-1和向量xi拼接成一个向量，b0为该门的偏置。σ为sigmoid函数。
③对网络参数θ＝{Wf、bf、Winput、binput、Wc、bc、Wo、bo}进行随机初始化，采用Adam优化算法迭代训练LSTM神经网络，对参数θ进行更新，定义损失函数为：
其中，为第i采样时刻变量/>的预测值，/>为第i采样时刻变量/>实际测量值，I为总采样点的个数。
④根据迭代epoch次后的模型参数Wf、bf、Wi、bi、Wc、bc、Wo、bo对反应器温度的未来时序进行预测。
有益效果
本发明对TE过程进行变量选取时，不仅考虑了过程变量对目标变量在相关性大小的影响，而且考虑到了信息在两个方向上传递量存在的差异，从流动方向上排除该冗余变量到目标变量的干扰。同时，结合LSTM模型在时间序列预测方面的优势，加快模型训练速度，提高预测准确性，对流程工业时序预测具有重要意义。
附图说明
图1所示为整体流程图图示；
图2所示为各变量与目标变量之间互信息计算值图示；
图3所示为各变量与目标变量之间传递熵差值的结果图示；
图4所示为时序预测结果图图示；(a)LSTM预测结果图(b)MI-LSTM预测结果图(c)TE-LSTM预测结果
具体实施方式
TE过程是一个对实际过程工业系统进行仿真的模型，根据其过程模型中包含的五个部分，可以将田纳西-伊斯曼过程分为五个子单元，记为搅拌反应器单元、冷凝器单元、产物分离器单元、汽提塔单元和压缩机单元。本发明选取搅拌反应器单元用于验证方法的有效性。表1所示为TE过程搅拌反应器单元包含的9个变量，取反应器温度作为时序预测的输出变量。
表1 TE过程搅拌反应器单元变量
Table 1 Variables of TE process stirred reactor unit
基于以上描述，按照发明内容，将具体过程利用python语言在spyder中实现如下：
step1:取正常操作情况下958组数据，共9个变量，构成样本集(X1,X2,…X8,Y)，其中X1,X2,…X8分别为物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度，Y为反应器温度。每个变量包含i＝(1,2,…,958)个采样时刻，即Xm＝(Xm,1,Xm,2,…XM,958)，Y＝(y1,y2,…,y958)，其中Xm,i表示第i个采样时刻的第m个变量的测量值，Yi表示第i个采样时刻反应器温度的测量值，i＝1,2,…,958，m＝1,2,…,8。
step2:对(X1,X2,…X8,Y)进行归一化处理，处理方式如下：
对变量Xm(m＝1,2,…,8)进行归一化，可表示如下：
其中，表示第i个采样时刻第m个过程变量归一化后的数据，i＝1,2,…,958，m＝1,2,…,8；min()和max()可用python里自带的求最大值函数max()和最小值函数min()实现。
对反应器温度进行归一化，可表示如下：
其中，为第i个采样时刻变量Y归一化后的数据，i＝1,2,…,958。min()和max()可用python里自带的求最大值函数max()和最小值函数min()实现。
step3:利用传递熵进行变量选择：
①利用step2归一化后的数据，分别计算每个变量对反应器温度的传递熵值，以及反应器温度/>对变量/>的传递熵值。变量对目标变量反应器温度/>的传递熵计算公式如下：
其中，表示变量/>对反应器温度/>的传递熵值，xm,i和yi分别代表了变量/>和反应器温度/>在i时刻的测量值，yi+1代表了/>在下一时刻的测量值。/>为概率，/>和/>为条件概率，可利用python中的核密度估计函数KernelDensity()求得，i＝1,2,…,958，m＝1,2,…,8。k和l分别为/>和/>的植入维度，/>通常，为了避免在计算过程中引入复杂的高维概率密度，取k＝l＝1，这不影响变量之间的传递关系。
反应器温度对变量/>的传递熵值：
其中，表示反应器温度/>对变量/>的传递熵值，xm,i和yi分别代表了变量/>和变量/>在i时刻的测量值，xm,i+1代表了/>在下一时刻的测量值。/>为概率，/>和/>为条件概率，可利用python中的核密度估计函数KernelDensity()求得，i＝1,2,…,958，m＝1,2,…,8。k和l分别为/>和/>的植入维度，/> 通常，为了避免在计算过程中引入复杂的高维概率密度，取k＝l＝1，这不影响变量之间的传递关系。
②计算变量到反应器温度/>的传递熵/>与反应器温度/>到变量/>的传递熵/>的差值：
其中，表示变量/>到反应器温度/>的传递熵/>与反应器温度/>到变量/>的传递熵/>的差值。/>表示变量/>对反应器温度/>的传递熵值，/>表示反应器温度/>对变量/>的传递熵值。
③通过传递熵差值从变量集中筛选出满足/>(即传递熵/>>传递熵/>)的变量/>构造出影响目标变量的关键变量集
step4:建立LSTM时时间序列预测模型，具体包括以下步骤：
①将(3)筛选出的关键变量集和目标变量/>一起构成LSTM的输入数据集/>
②确定LSTM神经网络模型，包括输入门、遗忘门和输出门，在第i个时刻输入的数据为数据通过输入门的具体形式为：
inputi＝σ(Winput[hi-1,xi]+binput) (17)
其中，inputi为输入门在第i个时刻的输出，Winput为输入门的权重矩阵，binput为输入门偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量。σ为sigmoid函数。
遗忘门计算公式为:
fi＝σ(Wf[hi-1,xi]+bf) (18)
其中，fi为遗忘门在第i个时刻的输出，Wf为遗忘门的权重矩阵，bf为输入门偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量。σ为sigmoid函数。
当前记忆的计算公式：
C′i＝tanh(Wc[hi-1,xi]+bc) (19)
其中，C′i为在第i个时刻的记忆，即当前记忆，Wc为当前输入的单元状态的权重，bc为当前输入的单元状态的偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量。tanh为tanh函数。
当前时刻单元状态的计算公式：
Ci＝fiCi-1+inputiC′i (20)
其中，Ci为在第i个时刻的单元状态，即当前时刻的单元状态，fi为遗忘门在第i个时刻的输出，可有式(18)得出，Ci-1为第i-1个时刻的单元状态，即长期记忆，inputi为输入门在第i个时刻的输出，可由式(17)得出，C′i为第i个时刻的记忆，即当前记忆，可由式(19)得出。
输出门的计算公式：
Oi＝σ(Wo[hi-1,xi]+bo) (21)
Oi表示输出门在第i个时刻的的输出，Wo表示输出门的权重矩阵，[hi-1,xi]即把向量hi-1和向量xi拼接成一个向量，b0为该门的偏置。σ为sigmoid函数。
③对网络参数θ＝{Wf、bf、Winput、binput、Wc、bc、Wo、bo}进行随机初始化，采用Adam优化算法迭代训练LSTM神经网络，对参数θ进行更新。
④根据迭代epoch＝100次的模型参数Wf、bf、Wi、bi、Wc、bc、Wo、bo对反应器温度未来的时序进行预测。
step5:为了验证本发明方法的有效性，实验将本发明方法与未进行变量选择时LSTM模型、互信息(mutual information，MI)-LSTM方法作对比。
使用预测均方根误差指标RMSE(root mean square error,RMSE)评价模型的预测效果，其定义如下：
式中，yi为第i采样时刻过程变量预测值，为第i采样时刻过程变量实际测量值，I为预测点的个数。
用python中的time来记录模型训练时间，用于衡量变量选取前后模型训练速度。
有图3可知，物料A进入反应器的流量与反应器温度传递熵差值大于0。由于反应器内发生放热反应，参与反应的物料A的量发生变化会导致反应器内温度的变化，物料A的流量会影响反应器温度，因此，物料A进入反应器的流量是反应器温度的原因变量。同理，回收反应物的流量与反应器温度差值大于0。由于循环的物料回流入反应器，导致反应器内液位和压力的变化，同时由于回流物料参与反应，所以会影响反应器的温度，因此回收反应物的流量是反应器温度的原因变量。以上分析与田纳西-伊斯曼过程的机理相符，因此所提传递熵变量选取方法具有一定的合理性。另外，利用互信息的方法，只考虑两个变量间相互作用的信息，但该方法不能表明相关性的方向。由图2可知反应器液位和反应器温度之间具有较强的相关性，而利用传递熵的方法，可从流动方向上是排除该变量到目标变量的干扰，表明了传递熵在排除冗余信息上的优越性。
由图示可以看出，利用传递熵的方法，可从流动方向上是排除该变量到目标变量的干扰，考虑变量间方向性的变量选取方法在后续时序预测的精度和训练速度方面都有所提高。
表2模型预测结果对比表
三种方法时序预测结果如图4，其模型预测对比如表2所示，可以看出，使用反应器单元全部特征所建立的时间序列模型在测试数据集上的预测准确率最低，所建时间序列预测模型最复杂，学习训练时间最长；相比模型1，使用互信息选取的特征子集所建立的时间序列模型，在预测性能和训练速度上都有所提升；相比前两个方法，基于传递熵与长短期记忆网络的TE过程时间序列模型RMSE和训练时间都减小。说明基于传递熵与长短期记忆网络的TE过程时间序列模型，所建时间序列预测模型最简单，训练速度最快，能在保证预测精度的同时，能有效剔除冗余信息。

Claims (1)

1.一种基于传递熵与长短期记忆网络的TE过程时序预测方法，其特征在于包括以下步骤：
(1)采集TE工业过程反应器单元正常操作情况下的历史数据，构成样本集(X1,X2,…,Xm,…,X8,Y)，其中Xm表示第m个变量，即物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度；Y表示要预测的目标变量，即反应器温度，每个变量包含i＝1,2,…,I个采样时刻，即Xm＝(Xm,1,Xm,2,…Xm,i…，X8,i)，Y＝(y1,y2,…Yi…,yI)，其中Xm,i表示第i个采样时刻的第m个变量的测量值，Yi表示第i个采样时刻目标变量反应器温度的测量值；
(2)对物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度和反应器温度历史数据进行归一化处理，处理方式如下：
对变量Xm进行归一化，表示如下：
其中，表示第i个采样时刻第m个过程变量归一化后的数据，i＝1,2,…I，m＝1,2,…M；max()为求最大值函数，min()为求最小值函数；
对反应器温度Y进行归一化，表示如下：
其中，为第i个采样时刻反应器温度Y归一化后的数据，i＝1,2,…I；max()为求最大值函数，min()为求最小值函数；
(3)利用传递熵进行变量选择：
①利用步骤(2)归一化后的数据，分别计算物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度与反应器温度之间的传递熵值，其计算公式如下：
变量对目标变量/>的传递熵值：
其中，表示变量/>对目标变量/>的传递熵值，xm,i和yi分别代表了变量/>和变量/>在i时刻的测量值，yi+1代表了/>在未来下一时刻的测量值；/>为概率，/>和/>为条件概率，利用核密度估计方法求得；i＝1,2,…I，m＝1,2,…M；k和l分别为/>和/>的植入维度，通常，为了避免在计算过程中引入复杂的高维概率密度，取k＝l＝1，这不影响变量之间的传递关系；
目标变量对过程变量/>的传递熵值：
其中，表示目标变量/>对变量/>的传递熵值，xm,i和yi分别代表了变量/>和变量/>在i时刻的测量值，xm,i+1代表了/>在未来下一时刻的测量值；/>为概率，/>和/>为条件概率，利用核密度估计方法求得；i＝1,2,…I，m＝1,2,…M；k和l分别为/>和/>的植入维度，通常，为了避免在计算过程中引入复杂的高维概率密度，取k＝l＝1，这不影响变量之间的传递关系；
②分别计算物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度和反应器温度之间的传递熵的差值：
其中，表示变量/>到目标变量/>的传递熵/>与目标变量/>到变量/>的传递熵/>的差值，/>表示变量/>对目标变量/>的传递熵值，/>表示目标变量/>对变量/>的传递熵值；m＝1,2,…M；
③通过传递熵差值从物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度中筛选出满足即/>的变量/>构造出影响目标变量的关键变量集/> 其中，Q为满足的变量个数；
(4)建立LSTM时时间序列预测模型，具体包括以下步骤：
①将步骤(3)筛选出的关键变量集和反应器温度/>一起构成LSTM的输入数据集/>
②确定LSTM神经网络模型，包括输入门、遗忘门和输出门，输入为数据集在第i个时刻输入的数据为/> 数据通过输入门的具体形式为：
inputi＝σ(Winput[hi-1,xi]+binput) (6)
其中，inputi为输入门在第i个时刻的输出，Winput为输入门的权重矩阵，binput为输入门偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量；σ为sigmoid函数；
遗忘门计算公式为:
fi＝σ(Wf[hi-1,xi]+bf) (7)
其中，fi为遗忘门在第i个时刻的输出，Wf为遗忘门的权重矩阵，bf为遗忘门偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量；σ为sigmoid函数；
当前记忆的计算公式：
C′i＝tanh(Wc[hi-1,xi]+bc) (8)
其中，C′i为在第i个时刻的记忆，即当前记忆，Wc为当前输入的单元状态的权重，bc为当前输入的单元状态的偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量；tanh为tanh函数；
当前时刻单元状态的计算公式：
Ci＝fiCi-1+inputiC′i (9)
其中，Ci为在第i个时刻的单元状态，即当前时刻的单元状态，fi为遗忘门在第i个时刻的输出，由式(7)得出，Ci-1为第i-1个时刻的单元状态，即长期记忆，inputi为输入门在第i个时刻的输出，由式(6)得出，C′i为第i个时刻的记忆，即当前记忆，由式(8)得出；
输出门的计算公式：
Oi＝σ(Wo[hi-1,xi]+bo) (10)
Oi表示输出门在第i个时刻的输出，Wo表示输出门的权重矩阵，[hi-1,xi]即把向量hi-1和向量xi拼接成一个向量，b0为该门的偏置；σ为sigmoid函数；
③对网络参数θ＝{Wf、bf、Winput、binput、Wc、bc、Wo、bo}进行随机初始化，采用Adam优化算法迭代训练LSTM神经网络，对参数θ进行更新，定义损失函数为：
其中，为第i采样时刻变量/>的预测值，/>为第i采样时刻变量/>实际测量值，I为总采样点的个数；
④根据迭代100次以上后的模型参数Wf、bf、Wi、bi、Wc、bc、Wo、bo对反应器温度的未来时序进行预测。
CN202110299172.3A 2021-03-20 2021-03-20 一种基于传递熵与长短期记忆网络的te过程时序预测方法 Active CN113065281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110299172.3A CN113065281B (zh) 2021-03-20 2021-03-20 一种基于传递熵与长短期记忆网络的te过程时序预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110299172.3A CN113065281B (zh) 2021-03-20 2021-03-20 一种基于传递熵与长短期记忆网络的te过程时序预测方法

Publications (2)

Publication Number Publication Date
CN113065281A CN113065281A (zh) 2021-07-02
CN113065281B true CN113065281B (zh) 2024-05-31

Family

ID=76562689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110299172.3A Active CN113065281B (zh) 2021-03-20 2021-03-20 一种基于传递熵与长短期记忆网络的te过程时序预测方法

Country Status (1)

Country Link
CN (1) CN113065281B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113030764B (zh) * 2021-03-04 2022-01-25 武汉大学 一种电池组健康状态估计方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079906A (zh) * 2019-12-30 2020-04-28 燕山大学 基于长短时记忆网络的水泥成品比表面积预测方法及系统
CN111563706A (zh) * 2020-03-05 2020-08-21 河海大学 一种基于lstm网络的多变量物流货运量预测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079906A (zh) * 2019-12-30 2020-04-28 燕山大学 基于长短时记忆网络的水泥成品比表面积预测方法及系统
CN111563706A (zh) * 2020-03-05 2020-08-21 河海大学 一种基于lstm网络的多变量物流货运量预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Corticomuscular coupling analysis based on improved LSTM and transfer entropy;Fei Ye等;Neuroscience Letters;第1-8页 *
传递熵变量选择的非线性系统时序预测模型;金秀章等;中国电机工程学报;第38卷;第192-200页 *

Also Published As

Publication number Publication date
CN113065281A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN109490814B (zh) 基于深度学习和支持向量数据描述的计量自动化终端故障诊断方法
CN108647839A (zh) 基于代价敏感lstm循环神经网络的稳压器水位预测方法
Song et al. Multisubspace elastic network for multimode quality-related process monitoring
CN112884056A (zh) 基于优化的lstm神经网络的污水水质预测方法
CN110807554A (zh) 基于风电/光伏经典场景集的生成方法及系统
CN110320335B (zh) 一种关于污水处理出水水质指标的多元鲁棒软测量方法
CN113344288B (zh) 梯级水电站群水位预测方法、装置及计算机可读存储介质
Yao et al. Scalable learning and probabilistic analytics of industrial big data based on parameter server: Framework, methods and applications
CN113065281B (zh) 一种基于传递熵与长短期记忆网络的te过程时序预测方法
CN116484747A (zh) 一种基于自适应优化算法与深度学习的污水智能监控方法
Zheng et al. Improved mahalanobis distance based JITL-LSTM soft sensor for multiphase batch processes
Chen et al. Stacked maximal quality-driven autoencoder: Deep feature representation for soft analyzer and its application on industrial processes
Xu et al. High-accuracy health prediction of sensor systems using improved relevant vector-machine ensemble regression
Yao et al. Fault diagnosis based on RseNet-LSTM for industrial process
He et al. A faster dynamic feature extractor and its application to industrial quality prediction
CN114692507A (zh) 基于堆叠泊松自编码器网络的计数数据软测量建模方法
Li et al. Applying and dissecting LSTM neural networks and regularized learning for dynamic inferential modeling
Yao et al. An enhanced dynamic artificial immune system based on simulated vaccine for early fault diagnosis with limited data
CN113689026A (zh) 一种气象数据预测方法、设备及存储介质
CN116880201A (zh) 基于模糊神经网络的水网渠道状态控制系统
Ding et al. Deep Forest‐Based Fault Diagnosis Method for Chemical Process
CN109445398B (zh) 基于加权组合学习的丙烯聚合生产过程最优在线预报系统
CN114896895A (zh) 基于门控循环神经网络的脱硝系统入口氮氧化物排放预测方法及系统
He et al. GA-based optimization of generative adversarial networks on stock price prediction
Jiang et al. Gaussian Mixture Model and Double-Weighted Deep Neural Networks for Data Augmentation Soft Sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant