CN113065281A - 一种基于传递熵与长短期记忆网络的te过程时序预测方法 - Google Patents

一种基于传递熵与长短期记忆网络的te过程时序预测方法 Download PDF

Info

Publication number
CN113065281A
CN113065281A CN202110299172.3A CN202110299172A CN113065281A CN 113065281 A CN113065281 A CN 113065281A CN 202110299172 A CN202110299172 A CN 202110299172A CN 113065281 A CN113065281 A CN 113065281A
Authority
CN
China
Prior art keywords
reactor
variable
input
variables
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110299172.3A
Other languages
English (en)
Other versions
CN113065281B (zh
Inventor
高学金
贾阳阳
高慧慧
韩华云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202110299172.3A priority Critical patent/CN113065281B/zh
Publication of CN113065281A publication Critical patent/CN113065281A/zh
Application granted granted Critical
Publication of CN113065281B publication Critical patent/CN113065281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明涉及一种基于传递熵与长短期记忆网络的TE过程时序预测方法。针对TE过程变量间关联性强，易将冗余信息引入预测模型，导致时序预测精度低和训练速率慢的问题，本发明将传递熵算法的不对称性用于变量选取，在TE过程反应器单元变量中选择出对反应器温度影响较大的上游变量，剔除下游不相关变量的干扰，从而降低时序预测模型的复杂度。利用LSTM在时序预测方面的优越性能，基于传递熵选择出的变量建立LSTM时间序列预测模型，预测反应器温度的未来时间序列。

Description

一种基于传递熵与长短期记忆网络的TE过程时序预测方法
技术领域
本发明涉及基于信息熵的关键变量选取和基于深度学习的时序预测技术领域，特别是针对TE(Tennessee Eastman))过程变量间关联性强的特性提出了一种基于传递熵与长短期记忆网络的TE过程时序预测方法，是流程工业技术领域的重要分支。
背景技术
工业过程时序预测的目的是现场操作人员通过监控关键过程变量实现对整个生产流程的控制，从而保证生产过程的安全和平稳运行，因此，对关键过程参数反应器温度准确的时序预测对于提高过程控制性能和优化产品的质量指标以及工业过程安全运行具有重要的作用。
由RNN变化而来的LSTM(Long Short-Term Memory)引入各种门结构，很大程度上提高了预测性能。因此，本发明选用LSTM方法进行TE过程时序预测。但是，在TE生产过程中，由于其复杂的物理连接特点，过程变量间具有复杂的关联性。如果将全部变量纳入到已建立好的模型之中，就会对分析自变量与因变量之间的客观关系形成干扰，还可能增加预测误差。因此，许多学者对变量选择进行了研究。徐圆等利用k-近邻互信息方法对多元时序变量进行相关性选择，得到一组相关变量集以降低系统变量的维数，提高系统故障预测的精度。赵荣荣等将k-近邻互信息(k-MI)引入到辅助变量的选择中，从而达到筛选辅助变量的目的。孙茂伟等采用基于正则化互信息的特征排序指标进行学习器的输入特征抽取。高洁等提出基于互信息筛选出与故障类别高度相关的关键故障变量，有效提升故障诊断模型性能，增强模型可解释性。然而，TE过程属于流程工业生产过程，其物质流、信息流、能量流呈现有序流动的状态。对于一个给定的目标变量，从流动方向上可将过程变量分为“上游变量”(因变量)和“下游变量”(果变量)。下游变量对目标变量的作用是冗余的，上述方法只能衡量两个变量间相关性的大小，而无法从方向上剔除该冗余。
发明内容
针对TE过程变量间关联性强，易将冗余信息引入预测模型，导致时序预测精度低和训练速率慢的问题，提出一种基于传递熵与长短期记忆网络的TE过程时序预测方法。本发明将传递熵算法的不对称性用于变量选取，在TE过程反应器单元变量中选择出对反应器温度影响较大的上游变量，剔除下游不相关变量的干扰，从而降低时序预测模型的复杂度。利用LSTM在时序预测方面的优越性能，基于传递熵选择出的变量建立LSTM时间序列预测模型，预测反应器温度的未来时间序列。
基于传递熵与长短期记忆网络的TE过程时序预测方法，其特征在于包括以下步骤：
(1)采集TE工业过程反应器单元正常操作情况下的历史数据，构成样本集(X1,X2,…,Xm,…,X8,Y)，即其中Xm表示第m个变量，即物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度。Y表示要预测的目标变量，即反应器温度，每个变量包含i＝(1,2,…,I)个采样时刻，即Xm＝(Xm,1,Xm,2,…X8,i)，Y＝(y1,y2,…,yI)，其中Xm,i表示第i个采样时刻的第m个变量的测量值，Yi表示第i个采样时刻目标变量反应器温度的测量值。
(2)对物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度和反应器温度历史数据进行归一化处理，处理方式如下：
对变量Xm进行归一化，可表示如下：
Figure BDA0002985496180000021
其中，
Figure BDA0002985496180000022
表示第i个采样时刻第m个过程变量归一化后的数据，i＝1,2,…I，m＝1,2,…M；max()为求最大值函数，min()求最小值函数。
对反应器温度Y进行归一化，可表示如下：
Figure BDA0002985496180000023
其中，
Figure BDA0002985496180000024
为第i个采样时刻反应器温度Y归一化后的数据，i＝1,2,…I。max()为求最大值函数，min()求最小值函数。
(3)利用传递熵进行变量选择：
①利用(2)归一化后的数据，分别计算物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度与反应器温度之间的传递熵值，其计算公式如下：
变量
Figure BDA0002985496180000031
对目标变量
Figure BDA0002985496180000032
的传递熵值：
Figure BDA0002985496180000033
其中，
Figure BDA0002985496180000034
表示变量
Figure BDA0002985496180000035
对目标变量
Figure BDA0002985496180000036
的传递熵值，xm,i和yi分别代表了变量
Figure BDA0002985496180000037
和变量
Figure BDA0002985496180000038
在i时刻的测量值，yi+1代表了
Figure BDA0002985496180000039
在未来下一时刻的测量值。
Figure BDA00029854961800000310
为概率，
Figure BDA00029854961800000311
和
Figure BDA00029854961800000312
为条件概率，可利用核密度估计方法求得。i＝1,2,…I，m＝1,2,…M。k和l分别为
Figure BDA00029854961800000313
和
Figure BDA00029854961800000314
的植入维度，
Figure BDA00029854961800000315
通常，为了避免在计算过程中引入复杂的高维概率密度，取k＝l＝l，这不影响变量之间的传递关系。
目标变量
Figure BDA00029854961800000316
对过程变量
Figure BDA00029854961800000317
的传递熵值：
Figure BDA00029854961800000318
其中，
Figure BDA00029854961800000319
表示目标变量
Figure BDA00029854961800000320
对变量
Figure BDA00029854961800000321
的传递熵值，xm,i和yi分别代表了变量
Figure BDA00029854961800000322
和变量
Figure BDA00029854961800000323
在i时刻的测量值，xm,i+1代表了
Figure BDA00029854961800000324
在未来下一时刻的测量值。
Figure BDA00029854961800000325
为概率，
Figure BDA00029854961800000326
和
Figure BDA00029854961800000327
为条件概率，可利用核密度估计方法求得。i＝1,2,…I，m＝1,2,…M。k和l分别为
Figure BDA00029854961800000328
和
Figure BDA00029854961800000329
的植入维度，
Figure BDA00029854961800000330
Figure BDA00029854961800000331
通常，为了避免在计算过程中引入复杂的高维概率密度，取k＝l＝l，这不影响变量之间的传递关系。
②分别计算物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度和反应器温度之间的传递熵的差值：
Figure BDA0002985496180000041
其中，
Figure BDA0002985496180000042
表示变量
Figure BDA0002985496180000043
到目标变量
Figure BDA0002985496180000044
的传递熵
Figure BDA0002985496180000045
与目标变量
Figure BDA0002985496180000046
到变量
Figure BDA0002985496180000047
的传递熵
Figure BDA0002985496180000048
的差值，
Figure BDA0002985496180000049
表示变量
Figure BDA00029854961800000410
对目标变量
Figure BDA00029854961800000411
的传递熵值，
Figure BDA00029854961800000412
表示目标变量
Figure BDA00029854961800000413
对变量
Figure BDA00029854961800000414
的传递熵值。m＝1,2,…M。
③通过传递熵差值从物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度中筛选出满足
Figure BDA00029854961800000415
(即传递熵
Figure BDA00029854961800000416
>传递熵
Figure BDA00029854961800000417
)的变量
Figure BDA00029854961800000418
构造出影响目标变量的关键变量集
Figure BDA00029854961800000419
其中，Q为满足
Figure BDA00029854961800000420
的变量个数。
(4)建立LSTM时时间序列预测模型，具体包括以下步骤：
①将(3)筛选出的关键变量集
Figure BDA00029854961800000421
和反应器温度
Figure BDA00029854961800000422
一起构成LSTM的输入数据集
Figure BDA00029854961800000423
Figure BDA00029854961800000424
②确定LSTM神经网络模型，包括输入门、遗忘门和输出门，输入为数据集
Figure BDA00029854961800000425
在第i个时刻输入的数据为
Figure BDA00029854961800000426
数据通过输入门的具体形式为：
inputi＝σ(Winput[hi-1,xi]+binput) (6)
其中，inputi为输入门在第i个时刻的输出，Winput为输入门的权重矩阵，binput为输入门偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量。σ为sigmoid函数。
遗忘门计算公式为:
fi＝σ(Wf[hi-1,xi]+bf) (7)
其中，fi为遗忘门在第i个时刻的输出，Wf为遗忘门的权重矩阵，bf为输入门偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量。σ为sigmoid函数。
当前记忆的计算公式：
C′i＝tanh(Wc[hi-1,xi]+bc) (8)
其中，C′i为在第i个时刻的记忆，即当前记忆，Wc为当前输入的单元状态的权重，bc为当前输入的单元状态的偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量。tanh为tanh函数。
当前时刻单元状态的计算公式：
Ci＝fiCi-1+inputiC′i (9)
其中，Ci为在第i个时刻的单元状态，即当前时刻的单元状态，fi为遗忘门在第i个时刻的输出，可由式(7)得出，Ci-1为第i-1个时刻的单元状态，即长期记忆，inputi为输入门在第i个时刻的输出，可由式(6)得出，C′i为第i个时刻的记忆，即当前记忆，可由式(8)得出。
输出门的计算公式：
Oi＝σ(Wo[hi-1,xi]+bo) (10)
Oi表示输出门在第i个时刻的的输出，Wo表示输出门的权重矩阵，[hi-1,xi]即把向量hi-1和向量xi拼接成一个向量，b0为该门的偏置。σ为sigmoid函数。
③对网络参数θ＝{Wf、bf、Winput、binput、Wc、bc、Wo、bo}进行随机初始化，采用Adam优化算法迭代训练LSTM神经网络，对参数θ进行更新，定义损失函数为：
Figure BDA0002985496180000051
其中，
Figure BDA0002985496180000052
为第i采样时刻变量
Figure BDA0002985496180000053
的预测值，
Figure BDA0002985496180000054
为第i采样时刻变量
Figure BDA0002985496180000055
实际测量值，I为总采样点的个数。
④根据迭代epoch次后的模型参数Wf、bf、Wi、bi、Wc、bc、Wo、bo对反应器温度的未来时序进行预测。
有益效果
本发明对TE过程进行变量选取时，不仅考虑了过程变量对目标变量在相关性大小的影响，而且考虑到了信息在两个方向上传递量存在的差异，从流动方向上排除该冗余变量到目标变量的干扰。同时，结合LSTM模型在时间序列预测方面的优势，加快模型训练速度，提高预测准确性，对流程工业时序预测具有重要意义。
附图说明
图1所示为整体流程图图示；
图2所示为各变量与目标变量之间互信息计算值图示；
图3所示为各变量与目标变量之间传递熵差值的结果图示；
图4所示为时序预测结果图图示；(a)LSTM预测结果图(b)MI-LSTM预测结果图(c)TE-LSTM预测结果
具体实施方式
TE过程是一个对实际过程工业系统进行仿真的模型，根据其过程模型中包含的五个部分，可以将田纳西-伊斯曼过程分为五个子单元，记为搅拌反应器单元、冷凝器单元、产物分离器单元、汽提塔单元和压缩机单元。本发明选取搅拌反应器单元用于验证方法的有效性。表1所示为TE过程搅拌反应器单元包含的9个变量，取反应器温度作为时序预测的输出变量。
表1 TE过程搅拌反应器单元变量
Table 1 Variables of TE process stirred reactor unit
Figure BDA0002985496180000061
基于以上描述，按照发明内容，将具体过程利用python语言在spyder中实现如下：
step1:取正常操作情况下958组数据，共9个变量，构成样本集(X1,X2,…X8,Y)，其中X1,X2,…X8分别为物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度，Y为反应器温度。每个变量包含i＝(1,2,…,958)个采样时刻，即Xm＝(Xm,1,Xm,2,…XM,958)，Y＝(y1,y2,…,y958)，其中Xm,i表示第i个采样时刻的第m个变量的测量值，Yi表示第i个采样时刻反应器温度的测量值，i＝1,2,…,958，m＝1,2,…,8。
step2:对(X1,X2,…X8,Y)进行归一化处理，处理方式如下：
对变量Xm(m＝1,2,…,8)进行归一化，可表示如下：
Figure BDA0002985496180000071
其中，
Figure BDA0002985496180000072
表示第i个采样时刻第m个过程变量归一化后的数据，i＝1,2,…,958，m＝1,2,…,8；min()和max()可用python里自带的求最大值函数max()和最小值函数min()实现。
对反应器温度进行归一化，可表示如下：
Figure BDA0002985496180000073
其中，
Figure BDA0002985496180000074
为第i个采样时刻变量Y归一化后的数据，i＝1,2,…,958。min()和max()可用python里自带的求最大值函数max()和最小值函数min()实现。
step3:利用传递熵进行变量选择：
①利用step2归一化后的数据，分别计算每个变量
Figure BDA0002985496180000075
对反应器温度
Figure BDA0002985496180000076
的传递熵值，以及反应器温度
Figure BDA0002985496180000077
对变量
Figure BDA0002985496180000078
的传递熵值。变量
Figure BDA0002985496180000079
对目标变量反应器温度
Figure BDA00029854961800000710
的传递熵计算公式如下：
Figure BDA00029854961800000711
其中，
Figure BDA00029854961800000712
表示变量
Figure BDA00029854961800000713
对反应器温度
Figure BDA00029854961800000714
的传递熵值，xm,i和yi分别代表了变量
Figure BDA00029854961800000715
和反应器温度
Figure BDA00029854961800000716
在i时刻的测量值，yi+1代表了
Figure BDA00029854961800000717
在下一时刻的测量值。
Figure BDA00029854961800000718
为概率，
Figure BDA0002985496180000081
和
Figure BDA0002985496180000082
为条件概率，可利用python中的核密度估计函数KernelDensity()求得，i＝1,2,…,958，m＝1,2,…,8。k和l分别为
Figure BDA0002985496180000083
和
Figure BDA0002985496180000084
的植入维度，
Figure BDA0002985496180000085
通常，为了避免在计算过程中引入复杂的高维概率密度，取k＝l＝l，这不影响变量之间的传递关系。
反应器温度
Figure BDA0002985496180000086
对变量
Figure BDA0002985496180000087
的传递熵值：
Figure BDA0002985496180000088
其中，
Figure BDA0002985496180000089
表示反应器温度
Figure BDA00029854961800000810
对变量
Figure BDA00029854961800000811
的传递熵值，xm,i和yi分别代表了变量
Figure BDA00029854961800000812
和变量
Figure BDA00029854961800000813
在i时刻的测量值，xm,i+1代表了
Figure BDA00029854961800000814
在下一时刻的测量值。
Figure BDA00029854961800000815
为概率，
Figure BDA00029854961800000816
和
Figure BDA00029854961800000817
为条件概率，可利用python中的核密度估计函数KernelDensity()求得，i＝1,2,…,958，m＝1,2,…,8。k和l分别为
Figure BDA00029854961800000818
和
Figure BDA00029854961800000819
的植入维度，
Figure BDA00029854961800000820
Figure BDA00029854961800000821
通常，为了避免在计算过程中引入复杂的高维概率密度，取k＝l＝l，这不影响变量之间的传递关系。
②计算变量
Figure BDA00029854961800000822
到反应器温度
Figure BDA00029854961800000823
的传递熵
Figure BDA00029854961800000824
与反应器温度
Figure BDA00029854961800000825
到变量
Figure BDA00029854961800000826
的传递熵
Figure BDA00029854961800000827
的差值：
Figure BDA00029854961800000828
其中，
Figure BDA00029854961800000829
表示变量
Figure BDA00029854961800000830
到反应器温度
Figure BDA00029854961800000831
的传递熵
Figure BDA00029854961800000832
与反应器温度
Figure BDA00029854961800000833
到变量
Figure BDA00029854961800000834
的传递熵
Figure BDA00029854961800000835
的差值。
Figure BDA00029854961800000836
表示变量
Figure BDA00029854961800000837
对反应器温度
Figure BDA00029854961800000838
的传递熵值，
Figure BDA00029854961800000839
表示反应器温度
Figure BDA00029854961800000840
对变量
Figure BDA00029854961800000841
的传递熵值。
③通过传递熵差值从变量集
Figure BDA00029854961800000842
中筛选出满足
Figure BDA00029854961800000843
(即传递熵
Figure BDA00029854961800000844
>传递熵
Figure BDA00029854961800000845
)的变量
Figure BDA00029854961800000846
构造出影响目标变量的关键变量集
Figure BDA00029854961800000847
step4:建立LSTM时时间序列预测模型，具体包括以下步骤：
①将(3)筛选出的关键变量集
Figure BDA0002985496180000091
和目标变量
Figure BDA0002985496180000092
一起构成LSTM的输入数据集
Figure BDA0002985496180000093
②确定LSTM神经网络模型，包括输入门、遗忘门和输出门，在第i个时刻输入的数据为
Figure BDA0002985496180000094
数据通过输入门的具体形式为：
inputi＝σ(Winput[hi-1,xi]+binput) (17)
其中，inputi为输入门在第i个时刻的输出，Winput为输入门的权重矩阵，binput为输入门偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量。σ为sigmoid函数。
遗忘门计算公式为:
fi＝σ(Wf[hi-1,xi]+bf) (18)
其中，fi为遗忘门在第i个时刻的输出，Wf为遗忘门的权重矩阵，bf为输入门偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量。σ为sigmoid函数。
当前记忆的计算公式：
C′i＝tanh(Wc[hi-1,xi]+bc) (19)
其中，C′i为在第i个时刻的记忆，即当前记忆，Wc为当前输入的单元状态的权重，bc为当前输入的单元状态的偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量。tanh为tanh函数。
当前时刻单元状态的计算公式：
Ci＝fiCi-1+inputiC′i (20)
其中，Ci为在第i个时刻的单元状态，即当前时刻的单元状态，fi为遗忘门在第i个时刻的输出，可有式(18)得出，Ci-1为第i-1个时刻的单元状态，即长期记忆，inputi为输入门在第i个时刻的输出，可由式(17)得出，C′i为第i个时刻的记忆，即当前记忆，可由式(19)得出。
输出门的计算公式：
Oi＝σ(Wo[hi-1,xi]+bo) (21)
Oi表示输出门在第i个时刻的的输出，Wo表示输出门的权重矩阵，[hi-1,xi]即把向量hi-1和向量xi拼接成一个向量，b0为该门的偏置。σ为sigmoid函数。
③对网络参数θ＝{Wf、bf、Winput、binput、Wc、bc、Wo、bo}进行随机初始化，采用Adam优化算法迭代训练LSTM神经网络，对参数θ进行更新。
④根据迭代epoch＝100次的模型参数Wf、bf、Wi、bi、Wc、bc、Wo、bo对反应器温度未来的时序进行预测。
step5:为了验证本发明方法的有效性，实验将本发明方法与未进行变量选择时LSTM模型、互信息(mutual information，MI)-LSTM方法作对比。
使用预测均方根误差指标RMSE(root mean square error,RMSE)评价模型的预测效果，其定义如下：
Figure BDA0002985496180000101
式中，yi为第i采样时刻过程变量预测值，
Figure BDA0002985496180000102
为第i采样时刻过程变量实际测量值，I为预测点的个数。
用python中的time来记录模型训练时间，用于衡量变量选取前后模型训练速度。
有图3可知，物料A进入反应器的流量与反应器温度传递熵差值大于0。由于反应器内发生放热反应，参与反应的物料A的量发生变化会导致反应器内温度的变化，物料A的流量会影响反应器温度，因此，物料A进入反应器的流量是反应器温度的原因变量。同理，回收反应物的流量与反应器温度差值大于0。由于循环的物料回流入反应器，导致反应器内液位和压力的变化，同时由于回流物料参与反应，所以会影响反应器的温度，因此回收反应物的流量是反应器温度的原因变量。以上分析与田纳西-伊斯曼过程的机理相符，因此所提传递熵变量选取方法具有一定的合理性。另外，利用互信息的方法，只考虑两个变量间相互作用的信息，但该方法不能表明相关性的方向。由图2可知反应器液位和反应器温度之间具有较强的相关性，而利用传递熵的方法，可从流动方向上是排除该变量到目标变量的干扰，表明了传递熵在排除冗余信息上的优越性。
由图示可以看出，利用传递熵的方法，可从流动方向上是排除该变量到目标变量的干扰，考虑变量间方向性的变量选取方法在后续时序预测的精度和训练速度方面都有所提高。
表2模型预测结果对比表
Figure BDA0002985496180000111
三种方法时序预测结果如图4，其模型预测对比如表2所示，可以看出，使用反应器单元全部特征所建立的时间序列模型在测试数据集上的预测准确率最低，所建时间序列预测模型最复杂，学习训练时间最长；相比模型1，使用互信息选取的特征子集所建立的时间序列模型，在预测性能和训练速度上都有所提升；相比前两个方法，基于传递熵与长短期记忆网络的TE过程时间序列模型RMSE和训练时间都减小。说明基于传递熵与长短期记忆网络的TE过程时间序列模型，所建时间序列预测模型最简单，训练速度最快，能在保证预测精度的同时，能有效剔除冗余信息。

Claims (1)

1.一种基于传递熵与长短期记忆网络的TE过程时序预测方法，其特征在于包括以下步骤：
(1)采集TE工业过程反应器单元正常操作情况下的历史数据，构成样本集(X1,X2,…,Xm,…,X8,Y)，即其中Xm表示第m个变量，即物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度；Y表示要预测的目标变量，即反应器温度，每个变量包含i＝(1,2,…,I)个采样时刻，即Xm＝(Xm,1,Xm,2,…X8,i)，Y＝(y1,y2,…,yI)，其中Xm,i表示第i个采样时刻的第m个变量的测量值，Yi表示第i个采样时刻目标变量反应器温度的测量值；
(2)对物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度和反应器温度历史数据进行归一化处理，处理方式如下：
对变量Xm进行归一化，表示如下：
Figure FDA0002985496170000011
其中，
Figure FDA0002985496170000012
表示第i个采样时刻第m个过程变量归一化后的数据，i＝1,2,…I，m＝1,2,…M；max()为求最大值函数，min()求最小值函数；
对反应器温度Y进行归一化，表示如下：
Figure FDA0002985496170000013
其中，
Figure FDA0002985496170000014
为第i个采样时刻反应器温度Y归一化后的数据，i＝1,2,…I；max()为求最大值函数，min()求最小值函数；
(3)利用传递熵进行变量选择：
①利用(2)归一化后的数据，分别计算物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度与反应器温度之间的传递熵值，其计算公式如下：
变量
Figure FDA0002985496170000021
对目标变量
Figure FDA0002985496170000022
的传递熵值：
Figure FDA0002985496170000023
其中，
Figure FDA0002985496170000024
表示变量
Figure FDA0002985496170000025
对目标变量
Figure FDA0002985496170000026
的传递熵值，xm,i和yi分别代表了变量
Figure FDA0002985496170000027
和变量
Figure FDA0002985496170000028
在i时刻的测量值，yi+1代表了
Figure FDA0002985496170000029
在未来下一时刻的测量值；
Figure FDA00029854961700000210
为概率，
Figure FDA00029854961700000211
和
Figure FDA00029854961700000212
为条件概率，利用核密度估计方法求得；i＝1,2,…I，m＝1,2,…M；k和l分别为
Figure FDA00029854961700000213
和
Figure FDA00029854961700000214
的植入维度，
Figure FDA00029854961700000215
通常，为了避免在计算过程中引入复杂的高维概率密度，取k＝l＝l，这不影响变量之间的传递关系；
目标变量
Figure FDA00029854961700000216
对过程变量
Figure FDA00029854961700000217
的传递熵值：
Figure FDA00029854961700000218
其中，
Figure FDA00029854961700000219
表示目标变量
Figure FDA00029854961700000220
对变量
Figure FDA00029854961700000221
的传递熵值，xm,i和yi分别代表了变量
Figure FDA00029854961700000222
和变量
Figure FDA00029854961700000223
在i时刻的测量值，xm,i+1代表了
Figure FDA00029854961700000224
在未来下一时刻的测量值；
Figure FDA00029854961700000225
为概率，
Figure FDA00029854961700000226
和
Figure FDA00029854961700000227
为条件概率，利用核密度估计方法求得；i＝1,2,…I，m＝1,2,…M；k和l分别为
Figure FDA00029854961700000228
和
Figure FDA00029854961700000229
的植入维度，
Figure FDA00029854961700000230
通常，为了避免在计算过程中引入复杂的高维概率密度，取k＝l＝l，这不影响变量之间的传递关系；
②分别计算物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度和反应器温度之间的传递熵的差值：
Figure FDA00029854961700000231
其中，
Figure FDA00029854961700000232
表示变量
Figure FDA00029854961700000233
到目标变量
Figure FDA00029854961700000234
的传递熵
Figure FDA00029854961700000235
与目标变量
Figure FDA00029854961700000236
到变量
Figure FDA00029854961700000237
的传递熵
Figure FDA00029854961700000238
的差值，
Figure FDA00029854961700000239
表示变量
Figure FDA00029854961700000240
对目标变量
Figure FDA00029854961700000241
的传递熵值，
Figure FDA0002985496170000031
表示目标变量
Figure FDA0002985496170000032
对变量
Figure FDA0002985496170000033
的传递熵值；m＝1,2,…M；
③通过传递熵差值从物料A进入反应器的流量、物料D进入反应器的流量、物料E进入反应器的流量、回收反应物的流量、反应器的进料总流量、反应器压力、反应器液位、反应器冷却水出口温度中筛选出满足
Figure FDA0002985496170000034
(即传递熵
Figure FDA0002985496170000035
传递熵
Figure FDA0002985496170000036
)的变量
Figure FDA0002985496170000037
构造出影响目标变量的关键变量集
Figure FDA0002985496170000038
其中，Q为满足
Figure FDA0002985496170000039
的变量个数；
(4)建立LSTM时时间序列预测模型，具体包括以下步骤：
①将(3)筛选出的关键变量集
Figure FDA00029854961700000310
和反应器温度
Figure FDA00029854961700000311
一起构成LSTM的输入数据集
Figure FDA00029854961700000312
②确定LSTM神经网络模型，包括输入门、遗忘门和输出门，输入为数据集
Figure FDA00029854961700000313
在第i个时刻输入的数据为
Figure FDA00029854961700000314
Figure FDA00029854961700000315
数据通过输入门的具体形式为：
inputi＝σ(Winput[hi-1,xi]+binput) (6)
其中，inputi为输入门在第i个时刻的输出，Winput为输入门的权重矩阵，binput为输入门偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量；σ为sigmoid函数；
遗忘门计算公式为:
fi＝σ(Wf[hi-1,xi]+bf) (7)
其中，fi为遗忘门在第i个时刻的输出，Wf为遗忘门的权重矩阵，bf为输入门偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量；σ为sigmoid函数；
当前记忆的计算公式：
C′i＝tanh(Wc[hi-1,xi]+bc) (8)
其中，C′i为在第i个时刻的记忆，即当前记忆，Wc为当前输入的单元状态的权重，bc为当前输入的单元状态的偏置，hi-1为上一时刻的输出向量，xi为该时刻的输入向量，[hi-1,xi]表示把向量hi-1和向量xi拼接成一个向量；tanh为tanh函数；
当前时刻单元状态的计算公式：
Ci＝fiCi-1+inputiC′i (9)
其中，Ci为在第i个时刻的单元状态，即当前时刻的单元状态，fi为遗忘门在第i个时刻的输出，由式(7)得出，Ci-1为第i-1个时刻的单元状态，即长期记忆，inputi为输入门在第i个时刻的输出，由式(6)得出，C′i为第i个时刻的记忆，即当前记忆，由式(8)得出；
输出门的计算公式：
Oi＝σ(Wo[hi-1,xi]+bo) (10)
Oi表示输出门在第i个时刻的的输出，Wo表示输出门的权重矩阵，[hi-1,xi]即把向量hi-1和向量xi拼接成一个向量，b0为该门的偏置；σ为sigmoid函数；
③对网络参数θ＝{Wf、bf、Winput、binput、Wc、bc、Wo、bo}进行随机初始化，采用Adam优化算法迭代训练LSTM神经网络，对参数θ进行更新，定义损失函数为：
Figure FDA0002985496170000041
其中，
Figure FDA0002985496170000042
为第i采样时刻变量
Figure FDA0002985496170000043
的预测值，
Figure FDA0002985496170000044
为第i采样时刻变量
Figure FDA0002985496170000045
实际测量值，I为总采样点的个数；
④根据迭代100次以上后的模型参数Wf、bf、Wi、bi、Wc、bc、Wo、bo对反应器温度的未来时序进行预测。
CN202110299172.3A 2021-03-20 2021-03-20 一种基于传递熵与长短期记忆网络的te过程时序预测方法 Active CN113065281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110299172.3A CN113065281B (zh) 2021-03-20 2021-03-20 一种基于传递熵与长短期记忆网络的te过程时序预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110299172.3A CN113065281B (zh) 2021-03-20 2021-03-20 一种基于传递熵与长短期记忆网络的te过程时序预测方法

Publications (2)

Publication Number Publication Date
CN113065281A true CN113065281A (zh) 2021-07-02
CN113065281B CN113065281B (zh) 2024-05-31

Family

ID=76562689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110299172.3A Active CN113065281B (zh) 2021-03-20 2021-03-20 一种基于传递熵与长短期记忆网络的te过程时序预测方法

Country Status (1)

Country Link
CN (1) CN113065281B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113030764A (zh) * 2021-03-04 2021-06-25 武汉大学 一种电池组健康状态估计方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079906A (zh) * 2019-12-30 2020-04-28 燕山大学 基于长短时记忆网络的水泥成品比表面积预测方法及系统
CN111563706A (zh) * 2020-03-05 2020-08-21 河海大学 一种基于lstm网络的多变量物流货运量预测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079906A (zh) * 2019-12-30 2020-04-28 燕山大学 基于长短时记忆网络的水泥成品比表面积预测方法及系统
CN111563706A (zh) * 2020-03-05 2020-08-21 河海大学 一种基于lstm网络的多变量物流货运量预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FEI YE等: "Corticomuscular coupling analysis based on improved LSTM and transfer entropy", NEUROSCIENCE LETTERS, pages 1 - 8 *
金秀章等: "传递熵变量选择的非线性系统时序预测模型", 中国电机工程学报, vol. 38, pages 192 - 200 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113030764A (zh) * 2021-03-04 2021-06-25 武汉大学 一种电池组健康状态估计方法及系统
CN113030764B (zh) * 2021-03-04 2022-01-25 武汉大学 一种电池组健康状态估计方法及系统

Also Published As

Publication number Publication date
CN113065281B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
Geng et al. Novel transformer based on gated convolutional neural network for dynamic soft sensor modeling of industrial processes
Chen et al. A comparative study of deep neural network-aided canonical correlation analysis-based process monitoring and fault detection methods
CN104200268B (zh) 一种基于粒子群优化极限学习机的带钢出口厚度预测方法
CN106843195B (zh) 基于自适应集成半监督费舍尔判别的故障分类方法
Tang et al. A deep belief network-based fault detection method for nonlinear processes
Feng et al. A multimode mechanism-guided product quality estimation approach for multi-rate industrial processes
CN111144552A (zh) 一种粮食品质多指标预测方法及装置
Shi et al. Multi-models and dual-sampling periods quality prediction with time-dimensional K-means and state transition-LSTM network
CN113420508A (zh) 一种基于lstm的机组组合计算方法
CN116662925A (zh) 一种基于加权稀疏神经网络工业过程软测量方法
He et al. A faster dynamic feature extractor and its application to industrial quality prediction
Li et al. Applying and dissecting LSTM neural networks and regularized learning for dynamic inferential modeling
CN113065281B (zh) 一种基于传递熵与长短期记忆网络的te过程时序预测方法
Sun et al. A multimode structured prediction model based on dynamic attribution graph attention network for complex industrial processes
Weng et al. Application of regularized extreme learning machine based on BIC criterion and genetic algorithm in iron ore price forecasting
Li et al. Data-driven modeling and operation optimization with inherent feature extraction for complex industrial processes
Song et al. Study on GA-based training algorithm for extreme learning machine
CN116880201A (zh) 基于模糊神经网络的水网渠道状态控制系统
CN109445398B (zh) 基于加权组合学习的丙烯聚合生产过程最优在线预报系统
Jiang et al. A Cooperative Silicon Content Dynamic Prediction Method With Variable Time Delay Estimation in the Blast Furnace Ironmaking Process
He et al. GA-based optimization of generative adversarial networks on stock price prediction
Jiang et al. Gaussian Mixture Model and Double-Weighted Deep Neural Networks for Data Augmentation Soft Sensing
Shen et al. Memory-adaptive supervised LSTM networks for deep soft sensor development of industrial processes
Guo et al. Modelling for multi-phase batch processes using steady state identification and deep recurrent neural network
CN117077544B (zh) 一种油气分离器出口压力预测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant