CN113011102A - 基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法 - Google Patents
基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法 Download PDFInfo
- Publication number
- CN113011102A CN113011102A CN202110355435.8A CN202110355435A CN113011102A CN 113011102 A CN113011102 A CN 113011102A CN 202110355435 A CN202110355435 A CN 202110355435A CN 113011102 A CN113011102 A CN 113011102A
- Authority
- CN
- China
- Prior art keywords
- lstm
- spe
- time
- prediction model
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000855 fermentation Methods 0.000 title claims abstract description 56
- 230000004151 fermentation Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 44
- 229930182555 Penicillin Natural products 0.000 title claims abstract description 41
- JGSARLDLIJGVTE-MBNYWOFBSA-N Penicillin G Chemical compound N([C@H]1[C@H]2SC([C@@H](N2C1=O)C(O)=O)(C)C)C(=O)CC1=CC=CC=C1 JGSARLDLIJGVTE-MBNYWOFBSA-N 0.000 title claims abstract description 41
- 229940049954 penicillin Drugs 0.000 title claims abstract description 41
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000010220 Pearson correlation analysis Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 42
- 238000012360 testing method Methods 0.000 claims description 33
- 238000010606 normalization Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 239000000758 substrate Substances 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 7
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 claims description 6
- 238000010219 correlation analysis Methods 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 4
- 238000005273 aeration Methods 0.000 claims description 3
- 229910002092 carbon dioxide Inorganic materials 0.000 claims description 3
- 239000001569 carbon dioxide Substances 0.000 claims description 3
- 239000011541 reaction mixture Substances 0.000 claims description 3
- JXASPPWQHFOWPL-UHFFFAOYSA-N Tamarixin Natural products C1=C(O)C(OC)=CC=C1C1=C(OC2C(C(O)C(O)C(CO)O2)O)C(=O)C2=C(O)C=C(O)C=C2O1 JXASPPWQHFOWPL-UHFFFAOYSA-N 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 238000013019 agitation Methods 0.000 claims description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 229910052760 oxygen Inorganic materials 0.000 claims description 2
- 239000001301 oxygen Substances 0.000 claims description 2
- 238000005070 sampling Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 241001123248 Arma Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000003756 stirring Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000009655 industrial fermentation Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Pure & Applied Mathematics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于多元时间序列的Attention‑LSTM的青霉素发酵过程故障预测方法，首先通过皮尔逊Pearson相关性分析选择青霉素发酵过程中的多个相关过程变量，然后通过Attention机制对LSTM的输入序列不同时刻的隐向量赋予了不同的权重，使得神经网络预测模型对长时间序列输入的处理更为有效，实现对青霉素发酵过程的故障预测建模。本发明采用注意力机制与LSTM相结合的故障预测模型对青霉素发酵过程进行故障预测，克服了现有LSTM在处理长序列输入时易忽略重要时序信息的问题，使得基于LSTM的故障预测更精准。
Description
技术领域
本发明属于工业发酵生产过程故障预测建模和应用领域，具体是一种基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法。
背景技术
在实际生产过程中，通常只根据当前的情况对系统进行故障诊断，但是如果能够对系统故障做出早期预测，在系统还没出现故障前就能及时发现故障、排除故障，这样就可以减少故障对系统造成的影响。因此，系统的故障预测对保障系统安全具有重要意义。
时间序列(或称动态数列)是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列。时间序列分析是一种利用参数模型对有序的随机采样数据进行处理，从而进行模态参数辨识的一种时域方法。
用于故障预测的方法主要有两种：一类是参数法，如ARMA模型(自回归滑动平均模型)、多元回归理论、主观概率预测等。另一类是非参数法，如k近邻模型、循环神经网络、小波神经网络等。参数法包括两部分：选择目标函数的形式，从训练数据中学习目标函数的系数，ARMA模型是一类常见的随机时间模型，文献《基于数据的间歇过程故障诊断及预测方法研究》中将基于ARMA的预测方法与基于多元统计的监控方法相结合，预测系统未来批次的统计量值。但是，以选定函数形式的方式来学习本身就限制了模型，同时无法和潜在的目标函数吻合，可变性差。非参数法对于目标函数通常不做假设，算法可以自由的从训练数据中学习任意形式的函数，可变性强，因而具有更广泛的适用范围。在非参数法中，因为循环神经网络具有记忆性、参数共享并且图灵完备，所以在时间序列学习中具有一定优势。但是循环神经网络在面对长时间序列时，易出现梯度消失、梯度爆炸、长期记忆能力不足等问题。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法。
本发明解决所述技术问题的技术方案是，提供一种基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法，其特征在于，该方法包括以下步骤：
1)采集青霉素发酵过程中的a批正常发酵过程数据和b批发酵过程数据；将b批发酵过程数据作为样本数据，将其中的前c批样本数据作为训练集，其余样本数据作为测试集；
2)将T2和SPE作为发酵过程是否发生故障的指标，计算a批正常发酵过程数据的T2和SPE并作为预测是否发生故障的控制限
和SPEcl；计算每批样本数据的T2和SPE，得到训练集的
和SPEtrain以及测试集的
和SPEtest；
其中，T2为描述程度；SPE为平方预测误差；
3)分别对
和SPEtrain与青霉素发酵过程中的可在线测量变量做相关性分析，分别得到与
和SPEtrain显著相关的可在线测量变量作为预测模型的输入；
4)按照步骤3)中选出的显著相关的可在线测量变量对训练集和测试集进行筛选，然后对筛选完的训练集和测试集进行归一化处理，得到归一化后训练集和归一化后测试集；
5)构建预测模型的输入以及分别构建T2的LSTM预测模型和SPE的LSTM预测模型；
6)在T2的LSTM预测模型和SPE的LSTM预测模型基础上分别引入Attention机制，构建T2的Attention-LSTM预测模型和SPE的Attention-LSTM预测模型；
7)用步骤4)得到的归一化后训练集分别对T2的Attention-LSTM预测模型和SPE的Attention-LSTM预测模型进行训练，确定神经网络参数，得到训练后T2的Attention-LSTM预测模型和训练后SPE的Attention-LSTM预测模型；
8)将步骤4)得到的归一化后测试集分别输入到训练后T2的Attention-LSTM预测模型和训练后SPE的Attention-LSTM预测模型中，得到T2的预测值
和SPE的预测值SPEpred；再根据
和SPEpred以及步骤2)得到的
和SPEtest计算得到均方根误差RMSE，并将RMSE作为预测模型的评价指标；
9)将步骤8)中得到
和SPEpred进行反归一化，得到反归一化后
和反归一化后SPEpred；再将反归一化后
与
比较，将反归一化后SPEpred与SPEcl比较；若反归一化后
大于
或反归一化后SPEpred大于SPEcl，则发生故障，否则正常。
与现有技术相比，本发明有益效果在于：
(1)本发明首先通过皮尔逊Pearson相关性分析选择青霉素发酵过程中的多个相关过程变量，然后通过Attention机制对LSTM的输入序列不同时刻的隐向量赋予了不同的权重，使得神经网络预测模型对长时间序列输入的处理更为有效，实现对青霉素发酵过程的故障预测建模。
(2)本发明采用注意力(Attention)机制与LSTM(长短时记忆神经网络)相结合的故障预测模型对青霉素发酵过程进行故障预测，克服了现有LSTM在处理长序列输入时易忽略重要时序信息的问题，使得基于LSTM的故障预测更精准。
(3)现有的故障预测中，只是针对单变量时序进行预测，忽略了青霉素发酵过程系统中多元变量时序的相关性问题。而系统的运行状态通常由多元相关时序共同决定，该多元时间序列随着时间推移可由系统运行累积得到。因此，本发明采用LSTM，可以输入多个变量，而且是可在线测量变量，包含了系统更多的动态信息，能更好地表征系统的运行状态，提高系统预测精度和准确性。
(4)采用LSTM可能会存在数据量过多导致信息冗余，使得模型预测精度和可靠度大幅度降低的问题。因此，本发明先用皮尔逊Pearson相关性分析对青霉素发酵过程的多个过程变量进行相关性选择，得到一组相关变量集，降低系统变量的维数，提高系统故障预测的精度。
(5)本发明通过青霉素发酵过程中可以实时测量的变量对青霉素发酵过程是否发生故障进行预测，能提高青霉素发酵过程的安全行，有效用于指导青霉素的生产。
附图说明
图1为本发明的LSTM预测模型的结构图；
图2为本发明的Attention机制的结构图；图中，Encoder为编码器，Decoder为解码器；
图3为本发明的基于Attention-LSTM预测模型的结构图；
图4为本发明的T2的LSTM预测模型的真实值与预测值的对比图；
图5为本发明的T2的Attention-LSTM预测模型的真实值与预测值的对比图；
图6为本发明的SPE的LSTM预测模型的真实值与预测值对比图；
图7为本发明的SPE的Attention-LSTM预测模型的真实值与预测值对比图。
具体实施方式
下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本申请权利要求的保护范围。
本发明提供了一种基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法(简称方法)，其特征在于，该方法包括以下步骤：
1)采集青霉素发酵过程中的a批正常发酵过程数据和b批发酵过程数据；其中a≥20，b≥20；将b批发酵过程数据作为样本数据，将其中的前c批样本数据作为训练集，其余样本数据作为测试集；
2)将T2和SPE作为发酵过程是否发生故障的指标，用MPCA法(MultilinearPrincipal Component Analysis，多向主元分析)计算a批正常发酵过程数据的T2和SPE并作为预测是否发生故障的控制限
和SPEcl；同时用PCA法(Principal ComponentAnalysis，主成分分析)计算每批样本数据的T2和SPE，得到训练集的描述程度
和平方预测误差SPEtrain以及测试集的描述程度
和平方预测误差SPEtest；
其中，T2为描述程度，是根据主元空间建立的，表示某时刻主元模型描述原模型的程度；SPE为平方预测误差，是根据残差空间建立的，表示某时刻数据在残差空间偏离主元模型的程度；
3)根据Pearson(皮尔逊)相关性分析分别对
和SPEtrain与青霉素发酵过程中的可在线测量变量做相关性分析，分别得到与
和SPEtrain显著相关的可在线测量变量作为预测模型的输入；
4)按照步骤3)中选出的显著相关的可在线测量变量对训练集和测试集进行筛选，然后对筛选完的训练集和测试集进行归一化处理，得到归一化后训练集和归一化后测试集；
5)构建预测模型的输入以及分别构建T2的LSTM预测模型和SPE的LSTM预测模型；
6)在T2的LSTM预测模型和SPE的LSTM预测模型基础上分别引入Attention机制，构建T2的Attention-LSTM预测模型和SPE的Attention-LSTM预测模型；
7)用步骤4)得到的归一化后训练集分别对T2的Attention-LSTM预测模型和SPE的Attention-LSTM预测模型进行训练，确定神经网络参数，得到训练后T2的Attention-LSTM预测模型和训练后SPE的Attention-LSTM预测模型；
8)将步骤4)得到的归一化后测试集分别输入到训练后T2的Attention-LSTM预测模型和训练后SPE的Attention-LSTM预测模型中，得到T2的预测值
和SPE的预测值SPEpred；再根据
和SPEpred以及步骤2)得到的
和SPEtest计算得到RMSE(均方根误差)，并将RMSE作为预测模型的评价指标；
9)将步骤8)中得到
和SPEpred进行反归一化，得到反归一化后
和反归一化后SPEpred；再将反归一化后
与
比较，将反归一化后SPEpred与SPEcl比较；若反归一化后
大于
或反归一化后SPEpred大于SPEcl，则发生故障，否则正常。
优选地，若未来会发生故障，则执行器在故障发生之前，将通过控制器把青霉素的生产变量控制在正常范围内。
优选地，步骤3)中，青霉素发酵过程中的可在线测量变量包括充气率、搅拌功率、底物流加速率、底物流温度、底物浓度、溶解氧浓度、培养体积、二氧化碳浓度、pH值和产生的热量；
分别对
和SPEtrain与青霉素发酵过程中的可在线测量变量做相关性分析采用Pearson(皮尔逊)相关性分析，二维变量的Pearson相关系数公式为：
式(1)中，u是青霉素发酵过程中的可在线测量变量，y是
或SPEtrain，
分别为变量u、y的平均值，m是训练集的样本容量；
优选地，步骤3)中，Pearson相关性分析结果中，r值表示相关性水平；r位于0.2～0.4之间，说明关系一般；r位于0.4～0.7之间，说明关系紧密；r＞0.7，说明关系非常紧密。P值表示显著性水平，若P值<0.05，说明具有显著性，对应的显著性表示方法为在右上角标注*；若P值<0.01，说明具有非常显著性，对应的显著性表示方法为在右上角标注**。本发明选择P<0.05且r＞0.2的相关性分析结果作为神经网络的输入。
优选地，步骤5)中，构建预测模型的输入的具体过程如下：
对于一般的单变量LSTM预测模型而言，输入往往是一个单独T2或SPE序列；但对于多元时间序列的LSTM预测模型，输入不再是一条单一的时间序列，而是多条时间序列X；设多元时间序列的LSTM预测模型中的输入为：
式(2)中，前N条时间序列
为步骤3)中筛选出来的显著相关的可在线测量变量，第N+1条序列
为T2或SPE；L是时间序列长度；
式(2)中，
的展开是：
同时将时间序列输入LSTM预测模型时并非一次只输入一个时刻的数据，而是输入当前时刻的前n个时刻的数据，则t时刻LSTM预测模型的输入xt为：
式(5)中，xt为时间序列；t∈[n+1,L]；n为序列观测窗口的长度，每次输入的数据长度不少于n个；数据的输入类似于一个在原始序列上的滑动窗口，输出为t时刻的T2或SPE。
优选地，步骤5)中，LSTM预测模型的结构如下：
LSTM预测模型包括若干个LSTM单元；每个LSTM单元具有输入层、隐藏层和输出层；隐藏层内部有一个由遗忘门、输入门和输出门构成的门结构，来控制信息的舍弃与继承；每个LSTM单元的输入分别为t时刻的输入xt、t-1时刻的LSTM单元状态Ct-1以及t-1时刻的隐藏层状态ht-1，输出为t时刻的LSTM单元状态Ct和t时刻的隐藏层状态ht；
遗忘门用于计算t-1时刻的LSTM单元状态Ct-1在t时刻被遗忘的程度大小：
ft＝σ(Wf·[ht-1,xt]+bf) (6)
式(6)中，ft表示对t-1时刻的LSTM单元状态Ct-1在t时刻保留的概率值，σ表示Sigmoid函数，其函数值均在(0,1)之间，值为0时，表示对此信息遗忘，不进行记忆，值为1时，代表将此部分信息保留下来；[ht-1,xt]表示将ht-1和xt连接成一个向量；Wf和bf分别表示遗忘门的权重和偏置，由训练获得；
输入门用于计算t时刻的中间的LSTM单元状态
更新到记忆单元的程度大小：
it＝σ(Wi·[ht-1,xt]+bi) (7)
式(7)中，it表示对t时刻的中间的LSTM单元状态
在t时刻保留的概率值，Wi和bi分别表示输入门的权重和偏置，由训练获得；
输出门用于计算t时刻的输出取决于t时刻记忆单元的程度大小：
ot＝σ(Wo·[ht-1,xt]+bo) (8)
式(8)中，ot表示对所有LSTM单元状态C进行筛选的概率值，Wo和bo分别表示输出门的权重和偏置，由训练获得；
LSTM单元t时刻的输出为隐藏层状态ht和单元状态Ct：
ht＝ot*tanh(Ct) (11)
式(9)-式(11)中，Wc和bc分别表示中间的LSTM单元的权重和偏置，由训练获得；*为Hadamard积，tanh为双曲正切激活函数。
优选地，步骤6)中，Attention-LSTM预测模型的预测过程如下：
Attention-LSTM预测模型具有输入层、隐藏层、Attention层和输出层；对于t时刻，输入xt通过输入层进入Attention-LSTM预测模型，输入xt的预测分为编码阶段和解码阶段，两个阶段都各自使用了一个LSTM单元状态；为区分编码阶段和解码阶段，编码阶段的时间下标设置为j，解码阶段的下标设置为t同时上标设置为'得到编码阶段；
编码阶段中，根据式(6)～式(11)得到式(12)～式(17)：
fj＝σ(Wf·[hj-1,xj]+bf) (12)
ij＝σ(Wi·[hj-1,xj]+bi) (13)
oj＝σ(Wo·[hj-1,xj]+bo) (14)
hj＝oj*tanh(Cj) (17)
式(12)-式(17)中，t-n≤j≤t-1；fj表示对编码器j-1时刻的LSTM单元状态Cj-1在j时刻保留的概率值,ij表示对编码器j时刻的中间的LSTM单元状态
在j时刻保留的概率值,oj表示对所有编码器LSTM单元状态C进行筛选的概率值；Cj、
hj分别表示编码器j时刻的LSTM单元状态、中间的LSTM单元状态及隐藏层状态；Cj-1、hj-1分别表示编码器j-1时刻的LSTM单元状态及隐藏层状态；[hj-1,xj]表示将hj-1和xj连接成一个向量；
解码阶段中，将Attention机制融入到预测模型的解码器中：Attention机制通过先计算解码器t-1时刻的隐藏层状态ht'-1与编码器j时刻的隐藏层状态hj之间的关系分数etj(如式18所示)，然后再根据关系分数etj计算与hj相对应的注意力权重αtj(如式19所示)，再根据计算注意力权重αtj判断出编码器中各个时刻隐藏层状态对T2或SPE的重要程度；再将编码器中各个时刻隐藏层状态与注意力权重αtj的加权和St作为解码器t时刻的输入，输入到解码器中，得到t时刻的输出yt(如式21所示)，即t时刻的T2或SPE的预测值，使基于Attention机制的LSTM故障预测模型的训练效率得以提高；
etj＝vTtanh(W·h′t-1+U·hj) (18)
yt＝g(C′t-1,St,h′t-1) (21)
式(18)-式(21)中，etj表示h′t-1和hj之间的关系分数；αtj是注意力权重，用来衡量编码器中j时刻隐藏层状态的重要程度；St为编码器中所有隐藏层状态与注意力权重αtj的加权和；
参数v、W、U均通过训练获得；g是LSTM单元，Ct'-1为解码器t-1时刻的LSTM单元状态，yt是解码器t时刻T2或SPE的预测值。
优选地，步骤8)中，根据
和SPEpred以及步骤2)得到的
和SPEtest得到RMSE的计算公式如式(22)所示：
式(22)中，ytest(t)是t时刻的
或SPEtest即真实值，ypred(t)是t时刻的
和SPEpred；RMSE越小，则模型性能越好，l是测试集样本数。
实施例
1)用青霉素仿真平台Pensim模拟产生20批采样时间为400h、采样间隔为1h的正常发酵过程数据，作为预测是否发生故障的控制限
和SPEcl；再采集20批采样时间为400h、采样间隔为1h的正常发酵过程数据和1批在采样时间为320h时引入斜坡为5％搅拌功率的故障数据作为样本数据，其中20批正常发酵过程数据作为训练集，1批故障数据作为测试集；
3)分别对
和SPEtrain与青霉素发酵过程中的可在线测量变量做相关性分析采用Pearson(皮尔逊)相关性分析，分析结果如表1所示：
表1
本发明选择P<0.05且r＞0.2的可在线测量过程变量作为显著性相关的可在线测量过程变量，也就是充气率、搅拌功率、底物流加速率、底物流温度、底物浓度、培养体积、二氧化碳浓度、pH、产生的热量，共N＝9个；
5)构建预测模型的输入以及分别构建T2的LSTM预测模型和SPE的LSTM预测模型；
对于一般的单变量LSTM预测模型而言，输入往往是一个单独T2或SPE序列；但对于多元时间序列的LSTM预测模型，输入不再是一条单一的时间序列，而是多条时间序列X；设多元时间序列的LSTM预测模型中的输入为：
式(2)中，前9条
为步骤3)中筛选出来的显著相关的可在线测量变量，第10条序列
为T2或SPE；L是时间序列长度；
式(2)中，
的展开是：
同时将时间序列输入LSTM预测模型时并非一次只输入一个时刻的数据，而是输入当前时刻的前n个时刻的数据，则t时刻LSTM预测模型的输入xt为：
式(5)中，xt为时间序列；t∈[n+1,L]，数据的输入类似于一个在原始序列上的滑动窗口，输出为t时刻的T2或SPE。
结合评价指标，将本发明方法Attention-LSTM与LSTM分别预测T2和SPE的结果对比如表2所示，相较于LSTM，引入注意力机制后的LSTM的T2的RMSE降低了16.7％，SPE的RMSE降低了25％，表明Attention-LSTM提高了预测准确率，也体现出了对LSTM引入注意力机制的必要性。
表2
| 模型 | T<sup>2</sup>的LSTM | T<sup>2</sup>的Attention-LSTM | SPE的LSTM | SPE的Attention-LSTM |
| RMSE | 0.06 | 0.05 | 0.12 | 0.09 |
由图4可以看出，T2的LSTM预测模型的预测值与真实值之间的误差较大，且预测值相对于真实值有滞后时间。由图5可以看出，相对于LSTM预测模型，Attention-LSTM预测模型不仅减小了误差，而且也减小了滞后时间。
由图6可以看出，SPE的LSTM预测模型的预测值与真实值之间的误差较大，且预测值相对于真实值有滞后时间。由图7可以看出，相对于LSTM预测模型，Attention-LSTM预测模型提高了预测精度。
本发明未述及之处适用于现有技术。
Claims (7)
1.一种基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法，其特征在于，该方法包括以下步骤：
1)采集青霉素发酵过程中的a批正常发酵过程数据和b批发酵过程数据；将b批发酵过程数据作为样本数据，将其中的前c批样本数据作为训练集，其余样本数据作为测试集；
2)将T2和SPE作为发酵过程是否发生故障的指标，计算a批正常发酵过程数据的T2和SPE并作为预测是否发生故障的控制限
和SPEcl；计算每批样本数据的T2和SPE，得到训练集的
和SPEtrain以及测试集的
和SPEtest；
其中，T2为描述程度；SPE为平方预测误差；
3)分别对
和SPEtrain与青霉素发酵过程中的可在线测量变量做相关性分析，分别得到与
和SPEtrain显著相关的可在线测量变量作为预测模型的输入；
4)按照步骤3)中选出的显著相关的可在线测量变量对训练集和测试集进行筛选，然后对筛选完的训练集和测试集进行归一化处理，得到归一化后训练集和归一化后测试集；
5)构建预测模型的输入以及分别构建T2的LSTM预测模型和SPE的LSTM预测模型；
6)在T2的LSTM预测模型和SPE的LSTM预测模型基础上分别引入Attention机制，构建T2的Attention-LSTM预测模型和SPE的Attention-LSTM预测模型；
7)用步骤4)得到的归一化后训练集分别对T2的Attention-LSTM预测模型和SPE的Attention-LSTM预测模型进行训练，确定神经网络参数，得到训练后T2的Attention-LSTM预测模型和训练后SPE的Attention-LSTM预测模型；
8)将步骤4)得到的归一化后测试集分别输入到训练后T2的Attention-LSTM预测模型和训练后SPE的Attention-LSTM预测模型中，得到T2的预测值
和SPE的预测值SPEpred；再根据
和SPEpred以及步骤2)得到的
和SPEtest计算得到均方根误差RMSE，并将RMSE作为预测模型的评价指标；
9)将步骤8)中得到
和SPEpred进行反归一化，得到反归一化后
和反归一化后SPEpred；再将反归一化后
与
比较，将反归一化后SPEpred与SPEcl比较；若反归一化后
大于
或反归一化后SPEpred大于SPEcl，则发生故障，否则正常。
2.根据权利要求1所述的基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法，其特征在于，步骤3)中，青霉素发酵过程中的可在线测量变量包括充气率、搅拌功率、底物流加速率、底物流温度、底物浓度、溶解氧浓度、培养体积、二氧化碳浓度、pH和产生的热量。
3.根据权利要求1所述的基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法，其特征在于，步骤3)中，分别对
和SPEtrain与青霉素发酵过程中的可在线测量变量做相关性分析采用Pearson相关性分析，二维变量的Pearson相关系数公式为：
式(1)中，u是青霉素发酵过程中的可在线测量变量，y是
或SPEtrain，
分别为变量u、y的平均值，m是训练集的样本容量。
4.根据权利要求1所述的基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法，其特征在于，步骤5)中，构建预测模型的输入的具体过程如下：
多元时间序列的LSTM预测模型的输入是多条时间序列X；设多元时间序列的LSTM预测模型中的输入为：
式(2)中，前N条时间序列
为步骤3)中筛选出来的显著相关的可在线测量变量，第N+1条序列
为T2或SPE；L是时间序列长度；
式(2)中，
的展开是：
同时将时间序列输入LSTM预测模型时，输入当前时刻的前n个时刻的数据，则t时刻LSTM预测模型的输入xt为：
式(5)中，xt为时间序列；t∈[n+1,L]，输出为t时刻的T2或SPE。
5.根据权利要求1所述的基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法，其特征在于，步骤5)中，LSTM预测模型的结构如下：
LSTM预测模型包括若干个LSTM单元；每个LSTM单元具有输入层、隐藏层和输出层；隐藏层内部有一个由遗忘门、输入门和输出门构成的门结构；每个LSTM单元的输入分别为t时刻的输入xt、t-1时刻的LSTM单元状态Ct-1以及t-1时刻的隐藏层状态ht-1，输出为t时刻的LSTM单元状态Ct和t时刻的隐藏层状态ht；
遗忘门用于计算t-1时刻的LSTM单元状态Ct-1在t时刻被遗忘的程度大小：
ft＝σ(Wf·[ht-1,xt]+bf) (6)
式(6)中，ft表示对t-1时刻的LSTM单元状态Ct-1在t时刻保留的概率值，σ表示Sigmoid函数，[ht-1,xt]表示将ht-1和xt连接成一个向量；Wf和bf分别表示遗忘门的权重和偏置，由训练获得；
输入门用于计算t时刻的中间的LSTM单元状态
更新到记忆单元的程度大小：
it＝σ(Wi·[ht-1,xt]+bi) (7)
式(7)中，it表示对t时刻的中间的LSTM单元状态
在t时刻保留的概率值，Wi和bi分别表示输入门的权重和偏置，由训练获得；
输出门用于计算t时刻的输出取决于t时刻记忆单元的程度大小：
ot＝σ(Wo·[ht-1,xt]+bo) (8)
式(8)中，ot表示对所有LSTM单元状态C进行筛选的概率值，Wo和bo分别表示输出门的权重和偏置，由训练获得；
LSTM单元t时刻的输出为隐藏层状态ht和单元状态Ct：
ht＝ot*tanh(Ct) (11)
式(9)-式(11)中，Wc和bc分别表示中间的LSTM单元的权重和偏置，由训练获得；*为Hadamard积，tanh为双曲正切激活函数。
6.根据权利要求1所述的基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法，其特征在于，步骤6)中，Attention-LSTM预测模型的预测过程如下：
对t时刻输入xt的预测分为编码阶段和解码阶段，两个阶段都各自使用了一个LSTM单元状态；
编码阶段中，根据式(6)～式(11)得到式(12)～式(17)：
fj＝σ(Wf·[hj-1,xj]+bf) (12)
ij＝σ(Wi·[hj-1,xj]+bi) (13)
oj＝σ(Wo·[hj-1,xj]+bo) (14)
hj＝oj*tanh(Cj) (17)
式(12)-式(17)中，t-n≤j≤t-1；fj表示对编码器j-1时刻的LSTM单元状态Cj-1在j时刻保留的概率值,ij表示对编码器j时刻的中间的LSTM单元状态
在j时刻保留的概率值,oj表示对所有编码器LSTM单元状态C进行筛选的概率值；Cj、
hj分别表示编码器j时刻的LSTM单元状态、中间的LSTM单元状态及隐藏层状态；Cj-1、hj-1分别表示编码器j-1时刻的LSTM单元状态及隐藏层状态；[hj-1,xj]表示将hj-1和xj连接成一个向量；
解码阶段中，将Attention机制融入到预测模型的解码器中：Attention机制通过先计算解码器t-1时刻的隐藏层状态h′t-1与编码器j时刻的隐藏层状态hj之间的关系分数etj，然后再根据关系分数etj计算与hj相对应的注意力权重αtj，再根据计算注意力权重αtj判断出编码器中各个时刻隐藏层状态对T2或SPE的重要程度；再将编码器中各个时刻隐藏层状态与注意力权重αtj的加权和St作为解码器t时刻的输入，输入到解码器中，得到t时刻的T2或SPE的预测值yt；
etj＝vTtanh(Wh′t-1+Uhj) (18)
yt＝g(C′t-1,St,h′t-1) (21)
式(18)-式(21)中，etj表示h′t-1和hj之间的关系分数；αtj是注意力权重，用来衡量编码器中j时刻隐藏层状态的重要程度；St为编码器中所有隐藏层状态与注意力权重αtj的加权和；
参数v、W、U均通过训练获得；g是LSTM单元，C′t-1为解码器t-1时刻的LSTM单元状态，yt是解码器t时刻T2或SPE的预测值。
7.根据权利要求1所述的基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法，其特征在于，步骤8)中，根据
和SPEpred以及步骤2)得到的
和SPEtest得到RMSE的计算公式如式(22)所示：
式(22)中，ytest(t)是t时刻的
或SPEtest即真实值，ypred(t)是t时刻的
和SPEpred；RMSE越小，则模型性能越好，l是测试集样本数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110355435.8A CN113011102B (zh) | 2021-04-01 | 2021-04-01 | 基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110355435.8A CN113011102B (zh) | 2021-04-01 | 2021-04-01 | 基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113011102A true CN113011102A (zh) | 2021-06-22 |
| CN113011102B CN113011102B (zh) | 2022-05-24 |
Family
ID=76387651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110355435.8A Expired - Fee Related CN113011102B (zh) | 2021-04-01 | 2021-04-01 | 基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113011102B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642247A (zh) * | 2021-08-29 | 2021-11-12 | 浙江工业大学 | 一种基于深度图网络分析的发酵过程软测量方法 |
| CN115509789A (zh) * | 2022-09-30 | 2022-12-23 | 中国科学院重庆绿色智能技术研究院 | 一种基于组件调用分析的计算系统故障预测方法和系统 |
| CN117350328A (zh) * | 2023-09-11 | 2024-01-05 | 江南大学 | 一种基于lstm-cvae的乳酸菌发酵过程故障检测与诊断方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838217A (zh) * | 2014-03-10 | 2014-06-04 | 北京工业大学 | 一种基于mica-ocsvm的发酵过程故障监测方法 |
| CN106709214A (zh) * | 2017-02-20 | 2017-05-24 | 北京工业大学 | 一种基于mlle‑ocsvm的青霉素发酵过程故障监测方法 |
| CN107769972A (zh) * | 2017-10-25 | 2018-03-06 | 武汉大学 | 一种基于改进的lstm的电力通信网设备故障预测方法 |
| CN109559781A (zh) * | 2018-10-24 | 2019-04-02 | 成都信息工程大学 | 一种预测dna-蛋白质结合的双向lstm和cnn模型 |
| CN109886492A (zh) * | 2019-02-26 | 2019-06-14 | 浙江鑫升新能源科技有限公司 | 基于Attention LSTM的光伏发电功率预测模型及其构建方法 |
| CN110288157A (zh) * | 2019-06-27 | 2019-09-27 | 电子科技大学 | 一种基于注意力机制和lstm的径流预测方法 |
| CN110501585A (zh) * | 2019-07-12 | 2019-11-26 | 武汉大学 | 一种基于Bi-LSTM和油中溶解气体分析的变压器故障诊断方法 |
| CN111461455A (zh) * | 2020-04-16 | 2020-07-28 | 武汉大学 | 一种基于关联周期注意力机制的行为预测方法 |
| CN111695607A (zh) * | 2020-05-25 | 2020-09-22 | 北京信息科技大学 | 基于lstm增强模型的电子设备故障预测方法 |
| CN111785366A (zh) * | 2020-06-29 | 2020-10-16 | 平安科技（深圳）有限公司 | 患者治疗方案的确定方法、装置及计算机设备 |
| CN112633317A (zh) * | 2020-11-02 | 2021-04-09 | 国能信控互联技术有限公司 | 基于注意力机制的cnn-lstm风机故障预测方法及系统 |
-
2021
- 2021-04-01 CN CN202110355435.8A patent/CN113011102B/zh not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838217A (zh) * | 2014-03-10 | 2014-06-04 | 北京工业大学 | 一种基于mica-ocsvm的发酵过程故障监测方法 |
| CN106709214A (zh) * | 2017-02-20 | 2017-05-24 | 北京工业大学 | 一种基于mlle‑ocsvm的青霉素发酵过程故障监测方法 |
| CN107769972A (zh) * | 2017-10-25 | 2018-03-06 | 武汉大学 | 一种基于改进的lstm的电力通信网设备故障预测方法 |
| CN109559781A (zh) * | 2018-10-24 | 2019-04-02 | 成都信息工程大学 | 一种预测dna-蛋白质结合的双向lstm和cnn模型 |
| CN109886492A (zh) * | 2019-02-26 | 2019-06-14 | 浙江鑫升新能源科技有限公司 | 基于Attention LSTM的光伏发电功率预测模型及其构建方法 |
| CN110288157A (zh) * | 2019-06-27 | 2019-09-27 | 电子科技大学 | 一种基于注意力机制和lstm的径流预测方法 |
| CN110501585A (zh) * | 2019-07-12 | 2019-11-26 | 武汉大学 | 一种基于Bi-LSTM和油中溶解气体分析的变压器故障诊断方法 |
| CN111461455A (zh) * | 2020-04-16 | 2020-07-28 | 武汉大学 | 一种基于关联周期注意力机制的行为预测方法 |
| CN111695607A (zh) * | 2020-05-25 | 2020-09-22 | 北京信息科技大学 | 基于lstm增强模型的电子设备故障预测方法 |
| CN111785366A (zh) * | 2020-06-29 | 2020-10-16 | 平安科技（深圳）有限公司 | 患者治疗方案的确定方法、装置及计算机设备 |
| CN112633317A (zh) * | 2020-11-02 | 2021-04-09 | 国能信控互联技术有限公司 | 基于注意力机制的cnn-lstm风机故障预测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 崔巍: ""基于Attention-LSTM的滚动轴承性能衰退预测"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
| 王硕: ""基于深度学习的间歇过程故障检测与诊断方法"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642247A (zh) * | 2021-08-29 | 2021-11-12 | 浙江工业大学 | 一种基于深度图网络分析的发酵过程软测量方法 |
| CN115509789A (zh) * | 2022-09-30 | 2022-12-23 | 中国科学院重庆绿色智能技术研究院 | 一种基于组件调用分析的计算系统故障预测方法和系统 |
| CN115509789B (zh) * | 2022-09-30 | 2023-08-11 | 中国科学院重庆绿色智能技术研究院 | 一种基于组件调用分析的计算系统故障预测方法和系统 |
| CN117350328A (zh) * | 2023-09-11 | 2024-01-05 | 江南大学 | 一种基于lstm-cvae的乳酸菌发酵过程故障检测与诊断方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113011102B (zh) | 2022-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113011102B (zh) | 基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法 | |
| Zhou et al. | A model for real-time failure prognosis based on hidden Markov model and belief rule base | |
| Cheng et al. | Fault detection and diagnosis for Air Handling Unit based on multiscale convolutional neural networks | |
| He et al. | A semi-supervised GAN method for RUL prediction using failure and suspension histories | |
| Said et al. | Machine learning technique for data-driven fault detection of nonlinear processes | |
| CN109492265B (zh) | 基于动态非线性pls软测量方法的废水出水指标预测方法 | |
| Li et al. | Domain adaptation remaining useful life prediction method based on AdaBN-DCNN | |
| CN111813084A (zh) | 一种基于深度学习的机械装备故障诊断方法 | |
| CN112488235A (zh) | 一种基于深度学习的电梯时序数据的异常诊断方法 | |
| Li et al. | Development of semi-supervised multiple-output soft-sensors with Co-training and tri-training MPLS and MRVM | |
| Tang et al. | A deep belief network-based fault detection method for nonlinear processes | |
| CN113723007A (zh) | 基于DRSN和麻雀搜索优化BiLSTM的机械设备剩余寿命预测方法 | |
| CN109144039A (zh) | 一种基于时序扩展和邻域保持极限学习机的间歇过程故障检测方法 | |
| Zhang et al. | A two-stage data-driven approach to remaining useful life prediction via long short-term memory networks | |
| CN113012766A (zh) | 一种基于在线选择性集成的自适应软测量建模方法 | |
| CN112904810A (zh) | 基于有效特征选择的流程工业非线性过程监测方法 | |
| CN115438309A (zh) | 基于lstm-svr的无人机发动机健康评估方法 | |
| Huang et al. | Bayesian neural network based method of remaining useful life prediction and uncertainty quantification for aircraft engine | |
| Dong et al. | Quality monitoring and root cause diagnosis for industrial processes based on Lasso-SAE-CCA | |
| CN115952888A (zh) | 基于多变量灰色模型的能源碳排放预测方法及系统 | |
| Rashidi et al. | Output-related fault detection in non-stationary processes using constructive correlative-SAE and demoting correlative-DNN | |
| Lee et al. | In-line predictive monitoring framework | |
| Xu et al. | A novel method of neural network model predictive control integrated process monitoring and applications to hot rolling process | |
| Karim et al. | Data‐based modeling and analysis of bioprocesses: some real experiences | |
| Urtubia et al. | Detection of abnormal fermentations in wine process by multivariate statistics and pattern recognition techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220524 |