CN112836431A - 基于pso-lstm的青霉素发酵过程故障预测方法 - Google Patents
基于pso-lstm的青霉素发酵过程故障预测方法 Download PDFInfo
- Publication number
- CN112836431A CN112836431A CN202110159354.0A CN202110159354A CN112836431A CN 112836431 A CN112836431 A CN 112836431A CN 202110159354 A CN202110159354 A CN 202110159354A CN 112836431 A CN112836431 A CN 112836431A
- Authority
- CN
- China
- Prior art keywords
- lstm
- pso
- model
- spe
- statistic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 229930182555 Penicillin Natural products 0.000 title claims abstract description 33
- JGSARLDLIJGVTE-MBNYWOFBSA-N Penicillin G Chemical compound N([C@H]1[C@H]2SC([C@@H](N2C1=O)C(O)=O)(C)C)C(=O)CC1=CC=CC=C1 JGSARLDLIJGVTE-MBNYWOFBSA-N 0.000 title claims abstract description 33
- 229940049954 penicillin Drugs 0.000 title claims abstract description 33
- 238000000855 fermentation Methods 0.000 title claims abstract description 31
- 230000004151 fermentation Effects 0.000 title claims abstract description 31
- 238000010606 normalization Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 7
- 239000002245 particle Substances 0.000 claims description 88
- 238000012360 testing method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 23
- 210000002569 neuron Anatomy 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 13
- 230000002596 correlated effect Effects 0.000 claims description 11
- 238000010200 validation analysis Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000010219 correlation analysis Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 6
- 239000000758 substrate Substances 0.000 description 6
- 238000000513 principal component analysis Methods 0.000 description 5
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 4
- QDGIAPPCJRFVEK-UHFFFAOYSA-N (1-methylpiperidin-4-yl) 2,2-bis(4-chlorophenoxy)acetate Chemical compound C1CN(C)CCC1OC(=O)C(OC=1C=CC(Cl)=CC=1)OC1=CC=C(Cl)C=C1 QDGIAPPCJRFVEK-UHFFFAOYSA-N 0.000 description 3
- 238000005273 aeration Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000010220 Pearson correlation analysis Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 239000001569 carbon dioxide Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000003756 stirring Methods 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009655 industrial fermentation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/25—Design optimisation, verification or simulation using particle-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/06—Multi-objective optimisation, e.g. Pareto optimisation using simulated annealing [SA], ant colony algorithms or genetic algorithms [GA]
Abstract
本发明为一种基于PSO‑LSTM的青霉素发酵过程故障预测方法，包括第一步、采集数据，计算控制限
控制限SPEcl以及T2统计量和SPE统计量；第二步、构建T2统计量的LSTM模型和SPE统计量的LSTM模型；第三步、利用PSO算法优化LSTM模型参数，分别构建T2统计量的PSO‑LSTM预测模型和SPE统计量的PSO‑LSTM预测模型；第四步、利用T2统计量的PSO‑LSTM预测模型和SPE统计量的PSO‑LSTM预测模型对青霉素发酵过程进行实时故障预测，将预测值分别进行反归一化处理，得到两个统计量的取值；若T2统计量的取值超过控制限
或SPE统计量的取值超过控制限SPEcl，则表示发生故障，否则运行正常。
Description
技术领域
本发明属于工业发酵生产过程故障预测技术领域，具体涉及一种基于PSO-LSTM的青霉素发酵过程故障预测方法。
背景技术
目前，青霉素发酵过程故障预测主要是基于数据驱动的故障预测方式，常用的方法是自回归滑动平均模型(ARMA)的时间序列分析方法,比如项亚南等学者采用自回归滑动平均模型(ARMA)与多元统计方法(MPCA)相结合的方式来预测青霉素发酵过程的故障，但是ARMA模型要求时间序列是平稳的信号，且只能用自身的数据进行预测，即只对单变量时序进行预测，忽略了多元时序的相关性问题，而青霉素发酵过程系统的运行状态通常由多元相关时序共同决定的，因此采用ARMA模型并不能准确预测故障。
基于神经网络的数据驱动模型对于时间序列的总体分布不做任何假设，常用的神经网络包括递归神经网络、小波神经网络以及模糊神经网络等，其中，递归神经网络因为增加了反馈节点，存储隐含层过去的输入输出信息，提高了网络训练的准确性，因此被用于时间序列的预测。长短时记忆模型(LSTM)是升级版的RNN模型，相比传统RNN模型只能处理短期依赖问题，LSTM模型既能处理短期依赖问题，也能处理长期依赖问题，同时“门机制”的引入，解决了RNN模型在面对长序列数据时易出现梯度消失的缺点，现已被成功应用于语音识别、文本处理等方面。与其他神经网络类似，LSTM模型中的某些参数需要人为设置，比如：神经元个数、学习率、时间步长等，这些参数通常是根据研究者的经验获得，并不能针对应用对象不同而设置最优的参数，因此会导致模型的预测精度降低。
因此，本申请提出一种粒子群优化算法(PSO)优化LSTM模型参数的故障预测模型，以提高故障预测的精度。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于PSO-LSTM的青霉素发酵过程故障预测方法。
本发明解决所述技术问题的技术方案是：
一种基于PSO-LSTM的青霉素发酵过程故障预测方法，其特征在于，该方法包括以下步骤：
第一步、采集n批青霉素发酵过程中的正常批次数据和m批数据，n、m≥20，每批数据包括多个可在线测量变量；
利用n批数据计算T2统计量的控制限
和SPE统计量的控制限SPEcl；将m批数据作为样本数据，计算每批样本数据的T2统计量和SPE统计量，同时随机划分为训练集、验证集和测试集；将训练集的所有可在线测量过程变量与T2统计量和SPE统计量进行相关性分析，筛选出与T2统计量显著相关的可在线测量过程变量和与SPE统计量显著相关的可在线测量过程变量，对T2统计量、SPE统计量以及样本数据中所有筛选出来的可在线测量过程变量进行归一化处理，形成归一化的T2统计量、归一化的SPE统计量，以及归一化的训练集、验证集和测试集；
第二步、将归一化的训练集中与T2统计量显著相关的可在线测量过程变量作为LSTM模型的输入，归一化的T2统计量作为输出，构建T2统计量的LSTM模型；同理，构建SPE统计量的LSTM模型；
第三步、利用PSO算法优化LSTM模型参数，分别构建T2统计量的PSO-LSTM预测模型和SPE统计量的PSO-LSTM预测模型；
第四步、利用T2统计量的PSO-LSTM预测模型和SPE统计量的PSO-LSTM预测模型对青霉素发酵过程进行实时故障预测，输出T2统计量的预测值和SPE统计量的预测值；将两个预测值分别进行反归一化处理，得到T2统计量的取值和SPE统计量的取值；将T2统计量的取值与控制限
比较，将SPE统计量的取值与控制限SPEcl比较，若T2统计量的取值超过控制限
或SPE统计量的取值超过控制限SPEcl，则表示发生故障，否则运行正常，以此完成青霉素发酵过程的故障预测。
第三步中利用PSO算法优化LSTM模型参数包括：
3.1)初始化T2统计量的LSTM模型参数；
设定PSO算法参数，包括粒子数量、惯性因子、学习因子c1和c2、最大迭代次数；设置T2统计量的LSTM模型参数的取值范围和搜索范围；随机初始化种群，将初始化结果代入T2统计量的LSTM模型中，得到初始化参数的T2统计量的LSTM模型；
3.2)将归一化的验证集输入到初始化参数的T2统计量的LSTM模型中进行预测，得到T2统计量的LSTM模型的预测值；将T2统计量的LSTM模型的预测值代入公式(2)计算每个粒子的适应度值，得到粒子的局部最优位置和粒子群的全局最优位置；
式(2)中，n为归一化的验证集的样本个数，Xact(t)和Xpred(t)分别代表t时刻的真实值和预测值；
3.3)利用粒子的局部最优位置和粒子群的全局最优位置，按照公式(3)和(4)迭代更新每个粒子的速度和位置，进而更新神经元个数、学习率、批次大小和时间步长这四个参数值；将更新后的参数值代入到T2统计量的LSTM模型中，完成T2统计量的LSTM模型的参数更新；
式(3)、(4)中，
分别为第k次迭代时粒子的速度、位置和局部最优位置；gbestk为第k次迭代时粒子群的全局最优位置；i代表粒子；w代表惯性因子；c1和c2代表学习因子；rand1和rand2代表(0,1)之间的随机值；
分别为第k+1次迭代时粒子的速度和位置；λ为速度系数；
3.4)将归一化的验证集分别输入到更新参数后的T2统计量的LSTM模型中进行预测，得到T2统计量的LSTM模型的预测值；将T2统计量的LSTM模型的预测值代入公式(2)计算每个粒子的适应度值，更新每个粒子的局部最优位置和粒子群的全局最优位置；
重复执行步骤3.3)和3.4)，直到迭代终止，获得最优神经元个数、学习率、批次大小和时间步长，得到T2统计量的PSO-LSTM预测模型；
同理，按照步骤3.1)～3.4)构建SPE统计量的PSO-LSTM预测模型。
公式(4)中，若
的取值位于步骤3.1)设定的搜索范围内，则λ＝1，否则λ＝0。
所述步骤3.4)还包括：利用归一化的测试集对T2统计量的PSO-LSTM预测模型进行测试，输出预测结果，根据公式(5)计算T2统计量的PSO-LSTM预测模型的预测偏差RMSE；
其中，T为归一化的测试集的样本数，Xact(t)和Xpred(t)分别代表t时刻的真实值和预测值；
若预测偏差小于或等于T2统计量的PSO-LSTM预测模型的偏差阈值，完成模型训练，得到最终的T2统计量的PSO-LSTM预测模型；同理，完成SPE统计量的PSO-LSTM预测模型的测试，得到最终的SPE统计量的PSO-LSTM预测模型。
T2统计量的PSO-LSTM预测模型的偏差阈值为0.04，SPE统计量的PSO-LSTM预测模型的偏差阈值为0.045。
与现有技术相比，本发明有益效果在于：
1、LSTM模型具有保存历史信息的功能，在处理长时间序列输入时相较于传统神经网络更为有效。同时本文构建了一种粒子群优化算法(PSO)与LSTM相结合的故障预测模型，利用PSO算法优化LSTM模型的参数，能够快速搜索确定LSTM模型的最优参数，解决传统长短时记忆(LSTM)神经网络参数需要依靠经验选取的问题，解决了模型拟合能力不够、预测精度低的问题，使得故障预测模型的预测结果更精准，可为后续青霉素发酵过程状态评估提供理论指导。
2、本申请采集多批次的生产数据，利用多元时间序列对青霉素发酵过程进行故障预测，解决现有青霉素发酵只针对单变量时间序列进行预测的缺陷，提高了预测的精度，为青霉素生产进行智能预测，不仅能对生产系统当前的生产状况进行故障诊断，还能根据当前的生产状况预测系统未来是否会发生故障，在系统还没出现故障前，能够及时发现故障，以减少损失。
附图说明
图1为本发明的整体流程图；
图2为T2统计量的LSTM预测模型的预测结果对比图；
图3为T2统计量的PSO-LSTM预测模型的预测结果对比图；
图4为SPE统计量的LSTM预测模型的预测结果对比图；
图5为SPE统计量的PSO-LSTM预测模型的预测结果对比图。
具体实施方式
下面结合具体附图和实施例对本发明的技术方案进行详细说明，并不用于限定本申请的保护范围。
本发明为一种基于PSO-LSTM的青霉素发酵过程故障预测方法(简称方法，参见图1-5)，包括以下步骤：
第一步、采集n批青霉素发酵过程中的正常批次数据和m批数据(n≥20、m≥20)，每批数据包括多个可在线测量变量；m批数据可以包含故障数据；
对n批数据利用多向主元分析MPCA方法按照批次展开的方式计算T2统计量的控制限
和SPE统计量的控制限SPEcl，将
和SPEcl作为判定是否发生故障的标准；
将m批数据作为样本数据，利用主元分析PCA方法分别计算每批样本数据的T2统计量和SPE统计量，同时将m批数据随机划分为训练集、验证集和测试集，将训练集的所有可在线测量过程变量分别与T2统计量和SPE统计量进行Pearson相关性分析，筛选出与T2统计量显著相关的可在线测量过程变量和与SPE统计量显著相关的可在线测量过程变量；
将T2统计量、SPE统计量以及样本数据中所有筛选出来的可在线测量过程变量进行归一化处理，形成归一化的T2统计量、归一化的SPE统计量，以及归一化的训练集、验证集和测试集；
第二步、将归一化的训练集中与T2统计量显著相关的可在线测量过程变量作为一个LSTM模型的输入，归一化的T2统计量作为输出，构建T2统计量的LSTM模型；将归一化的训练集中与SPE统计量显著相关的可在线测量过程变量作为另一个LSTM模型的输入，归一化的SPE统计量作为输出，构建SPE统计量的LSTM模型；
第三步、利用PSO算法优化LSTM模型参数，LSTM模型参数包括神经元个数、学习率、批次大小和时间步长；分别构建T2统计量的PSO-LSTM预测模型和SPE统计量的PSO-LSTM预测模型；
第四步、利用T2统计量的PSO-LSTM预测模型和SPE统计量的PSO-LSTM预测模型对青霉素发酵过程进行故障预测，输出T2统计量的预测值和SPE统计量的预测值；将两个预测值进行反归一化处理，得到T2统计量的取值和SPE统计量的取值；将T2统计量的取值与控制限
比较，将SPE统计量的取值与控制限SPEcl比较，若T2统计量的取值超过控制限
或SPE统计量的取值超过控制限SPEcl，则表示发生故障；否则，运行正常，以此完成青霉素发酵过程的故障预测。
第三步中利用PSO算法优化LSTM模型参数包括：
3.1)初始化T2统计量的LSTM模型参数；
设定PSO算法参数，包括粒子数量、惯性因子、学习因子c1和c2、最大迭代次数；优化的LSTM模型参数代表PSO算法的维度，设置T2统计量的LSTM模型参数的取值范围和搜索范围；随机初始化种群，初始化每个粒子的位置和速度，得到初始化结果，将初始化结果代入T2统计量的LSTM模型中，得到初始化参数的T2统计量的LSTM模型；
3.2)将归一化的验证集输入到初始化参数的T2统计量的LSTM模型中进行预测，得到T2统计量的LSTM模型的预测值；将T2统计量的LSTM模型的预测值代入公式(2)计算每个粒子的适应度值，得到粒子的局部最优位置和粒子群的全局最优位置；
式中，n为归一化的验证集的样本个数，Xact(t)和Xpred(t)分别代表t时刻的真实值和预测值；
3.3)利用粒子的局部最优位置和粒子群的全局最优位置，按照公式(3)和(4)迭代更新每个粒子的速度和位置，进而更新神经元个数、学习率、批次大小和时间步长这四个参数值；将更新后的参数值代入到T2统计量的LSTM模型中，完成T2统计量的LSTM模型的参数更新；
式(3)、(4)中，
分别为第k次迭代时粒子的速度、位置和局部最优位置；gbestk为第k次迭代时粒子群的全局最优位置；i代表粒子；w代表惯性因子；c1和c2代表学习因子；rand1和rand2代表(0,1)之间的随机值；
分别为第k+1次迭代时粒子的速度和位置；λ为速度系数；
3.4)将归一化的验证集分别输入到更新参数后的T2统计量的LSTM模型中进行预测，得到T2统计量的LSTM模型的预测值；将T2统计量的LSTM模型的预测值代入公式(2)计算每个粒子的适应度值，更新每个粒子的局部最优位置和粒子群的全局最优位置；
重复执行步骤3.3)和3.4)，不断迭代更新粒子的速度和位置，直到迭代终止，获得最优神经元个数、学习率、批次大小和时间步长，得到T2统计量的PSO-LSTM预测模型；
同理，按照步骤3.1)～3.4)构建SPE统计量的PSO-LSTM预测模型。
所述步骤3.4)还包括：利用归一化的测试集对T2统计量的PSO-LSTM预测模型进行测试，输出预测结果；根据公式(5)计算T2统计量的PSO-LSTM预测模型的预测偏差RMSE：
其中，T为归一化的测试集的样本数，Xact(t)和Xpred(t)分别代表t时刻的真实值和预测值；
若预测偏差小于或等于T2统计量的PSO-LSTM预测模型的偏差阈值，达到终止条件，完成模型训练，此时T2统计量的PSO-LSTM预测模型即为最终的T2统计量的PSO-LSTM预测模型；若预测偏差大于T2统计量的PSO-LSTM预测模型的偏差阈值，则需要增大迭代次数或者调节步骤3.1)中LSTM模型参数的取值范围和搜索范围，直到预测偏差小于或等于T2统计量的PSO-LSTM预测模型的偏差阈值，得到最终的T2统计量的PSO-LSTM预测模型；
同理，完成SPE统计量的PSO-LSTM预测模型的测试，得到最终的SPE统计量的PSO-LSTM预测模型。
T2统计量的PSO-LSTM预测模型的偏差阈值为0.04，SPE统计量的PSO-LSTM预测模型的偏差阈值为0.045，此时模型的预测精度最优。
为提高粒子的搜索能力，本申请采用吸收墙法的控制技术，当粒子的某一维碰到解空间的边界，则将速度系数设为0，即在公式(4)中，若
的取值位于步骤3.1)设定的粒子搜索范围内，则λ＝1，否则λ＝0。
实施例1
本实施例为一种基于PSO-LSTM的青霉素发酵过程故障预测方法，包括以下步骤：
第一步、针对青霉素发酵过程的故障预测，首先用青霉素仿真平台Pensim模拟产生40批采样时间为400h、采样间隔为1h的正常数据和一批在采样时间为320-360h引入斜坡为0.2％的充气率故障数据；
取20批正常数据，利用多向主元分析MPCA方法按照批次展开的方法计算T2统计量的控制限
和SPE统计量的控制限SPEcl，将
和SPEcl作为判定是否发生故障的标准；
将剩下的20批正常数据和一批故障数据作为样本数据，其中18批正常数据作为训练集，2批正常数据作为验证集，故障数据作为测试集；
每批数据包括10种可在线测量变量：充气率、搅拌功率、底物流加速率、底物流温度、底物浓度、溶解氧浓度、培养体积、二氧化碳浓度、PH值、产生的热量；
利用主元分析PCA方法分别计算每批样本数据的T2统计量和SPE统计量，将训练集的10个可在线测量过程变量分别与T2统计量和SPE统计量进行Pearson相关性分析，筛选出与T2统计量显著相关的可在线测量过程变量和与SPE统计量显著相关的可在线测量过程变量；
表1相关性分析结果
相关性的分析结果如表1所示，P值代表显著性水平；P值<0.05，说明具有显著性；P值<0.01，说明具有非常显著性；r值代表相关性，r值为0.2～0.4，说明关系一般；r值为0.4～0.7，说明关系紧密；r值为0.7以上，说明关系非常紧密；本申请将r值大于0.2且P值<0.05的可在线测量过程变量作为显著性相关的可在线测量过程变量，也就是充气率、搅拌功率、底物流加速率、底物流温度、底物浓度、培养体积、二氧化碳浓度、pH值和产生的热量；
然后将T2统计量、SPE统计量以及样本数据中所有筛选出来的可在线测量过程变量，按照式(1)进行归一化处理，形成归一化的T2统计量和SPE统计量，以及归一化的训练集、验证集和测试集；
其中，X*为归一化后的数据；Xmax、Xmin分别为样本数据的T2统计量、SPE统计量或者样本数据中所有筛选出来的可在线测量过程变量的最大值与最小值，X为原始数据；
第二步、分别构建T2统计量和SPE统计量的LSTM模型；
将归一化的训练集中与T2统计量显著相关的可在线测量过程变量作为一个LSTM模型(长短期记忆网络预测模型)的输入，归一化的T2统计量作为输出，构建T2统计量的LSTM模型；将归一化的训练集中与SPE统计量显著相关的可在线测量过程变量作为另一个LSTM模型的输入，归一化的SPE统计量作为输出，构建SPE统计量的LSTM模型；
第三步、利用PSO算法优化LSTM模型参数，构建T2统计量和SPE统计量的PSO-LSTM预测模型；需要优化的LSTM模型参数包括神经元个数(cell-size)、学习率(lr)、批次大小(batch-size)和时间步长(time-step)；
3.1)初始化T2统计量的LSTM模型参数；
设定PSO算法参数，其中粒子数量为20，惯性因子0.5，学习因子c1和c2均为2，最大迭代次数为50；神经元个数、学习率、批次大小和时间步长这4个参数代表粒子群优化算法(PSO)的维度，设置T2统计量的LSTM模型参数的取值范围和搜索范围，其中神经元个数的取值范围和搜索范围为[5,40]，学习率的取值范围和搜索范围为[0.0001,0.1]、批次大小的取值范围和搜索范围为[16,150]，时间步长的取值范围和搜索范围为[4,10]；随机初始化每个粒子的位置和速度，得到初始化结果(初始化后的神经元个数、学习率、批次大小和时间步长)，将初始化结果代入T2统计量的LSTM模型中，得到初始化参数的T2统计量的LSTM模型；
3.2)将归一化的验证集输入到初始化参数的T2统计量的LSTM模型中进行预测，得到T2统计量的LSTM模型的预测值；将T2统计量的LSTM模型的预测值代入公式(2)的适应度函数计算每个粒子的适应度值，得到粒子的局部最优位置和粒子群的全局最优位置；
初始迭代时将每个粒子的适应度值作为当前粒子的个体极值，并将个体极值对应的位置作为当前粒子的局部最优位置；将粒子群的最大个体极值作为当前粒子群的全局极值，并将全局极值对应的粒子位置作为当前粒子群的全局最优位置；
式中，n为归一化的验证集的样本个数，Xact(t)和Xpred(t)分别代表t时刻的真实值和预测值；
大部分研究只利用训练样本的拟合误差作为适应度值，如果神经网络过拟合，那么经过模型得到的预测结果就不是最优的，而验证集误差能够直接反映模型的预测效果，因此，本发明利用验证集误差构建模型的适应度函数。
3.3)利用粒子的局部最优位置和粒子群的全局最优位置，按照公式(3)和(4)迭代更新每个粒子的速度和位置，进而更新神经元个数、学习率、批次大小和时间步长这四个参数的值；将更新后的参数值代入到T2统计量的LSTM模型中，完成T2统计量的LSTM模型的参数更新；
式(3)、(4)中，
分别为第k次迭代时粒子的速度、位置和局部最优位置；gbestk为第k次迭代时粒子群的全局最优位置；i代表粒子；w代表惯性因子；c1和c2代表学习因子；rand1和rand2代表(0,1)之间的随机值；
分别为第k+1次迭代时粒子的速度和位置；λ为速度系数；
为提高粒子的搜索能力，本申请采用吸收墙法的控制技术，当粒子的某一维碰到解空间的边界，则将速度设为0，即在公式(4)中，若
的取值位于步骤3.1)设定的粒子搜索范围内，则λ＝1，否则λ＝0。
3.4)将归一化的验证集分别输入到步骤3.3)得到的更新参数后的T2统计量的LSTM模型中进行预测，得到T2统计量的LSTM模型的预测值；将T2统计量的LSTM模型的预测值代入公式(2)计算每个粒子的适应度值，更新每个粒子的局部最优位置和粒子群的全局最优位置；
具体过程为：将预测值代入公式(2)计算每个粒子的适应度值；对于每个粒子，将此步骤得到的适应度值与步骤3.2)中粒子的个体极值比较，若适应度值大于个体极值，则用粒子的当前位置替换局部最优位置,并用此步骤得到的适应度值替换个体极值，更新粒子的个体极值，用于下一次迭代；若适应度值小于或等于个体极值，则不需要替换局部最优位置和个体极值，继续下一次迭代；
将粒子群中的最大个体极值与步骤3.2)中得到的粒子群的全局极值比较，若最大个体极值大于全局极值，则用最大个体极值对应的粒子位置替换粒子群的全局最优位置，并用此步骤得到的最大个体极值替换全局极值，更新粒子的全局极值，用于下一次迭代；若最大个体极值小于或等于全局极值，则不需要替换全局最优位置和全局极值，继续下一次迭代；
然后重复执行步骤3.3)和3.4)，不断迭代更新粒子的速度和位置，当迭代次数达到最大值时，迭代终止，以此确定T2统计量的LSTM模型的参数，其中神经元个数为30，学习率为0.05，批次大小为106，时间步长为4，得到T2统计量的PSO-LSTM预测模型；
利用归一化的测试集分别对T2统计量的PSO-LSTM预测模型进行测试，输出预测结果；根据公式(5)计算T2统计量的PSO-LSTM预测模型的预测偏差RMSE：
其中，T为归一化的测试集的样本数，Xact(t)和Xpred(t)分别代表t时刻的真实值和预测值；
若预测偏差小于或等于T2统计量的PSO-LSTM预测模型的偏差阈值时，表明预测精度较高，能够满足需求，此时的T2统计量的PSO-LSTM预测模型即为最终的T2统计量的PSO-LSTM预测模型；若预测偏差大于T2统计量的PSO-LSTM预测模型的偏差阈值，则表明预测结果偏差较大，需要增大迭代次数或者调节步骤3.1)中LSTM模型参数的取值范围和搜索范围，直到预测偏差小于或等于T2统计量的PSO-LSTM预测模型的偏差阈值，得到最终的T2统计量的PSO-LSTM预测模型；
同理，按照步骤3.1)～3.4)确定SPE统计量的LSTM模型的参数，其中神经元个数为32，学习率为0.06，批次大小为128，时间步长为5，以此构建SPE统计量的PSO-LSTM预测模型。
T2统计量的PSO-LSTM预测模型的偏差阈值为0.04，SPE统计量的PSO-LSTM预测模型的偏差阈值为0.045。
第四步、将采集的青霉素发酵过程的数据输入到T2统计量和SPE统计量的PSO-LSTM预测模型中，输出T2统计量和SPE统计量的预测值；将两个预测值进行反归一化处理，得到T2统计量和SPE统计量的取值；将T2统计量的取值与控制限
比较，将SPE统计量的取值与控制限SPEcl比较，若T2统计量的取值超过控制限
或SPE统计量的取值超过控制限SPEcl，则表示发生故障；否则，运行正常。
利用单一的LSTM预测模型和本发明的PSO-LSTM预测模型分别进行试验，得到图2～5的预测结果图。T2统计量的LSTM预测模型参数依据经验设为：神经元个数为16、学习率为0.08、批次大小为64、时间步长为8；SPE统计量的LSTM预测模型参数依据经验设为：神经元个数为16、学习率为0.04、批次大小为128、时间步长为6。
图2是T2统计量的LSTM预测模型的预测结果对比图，图3是T2统计量的PSO-LSTM预测模型的预测结果对比图，图4是SPE统计量的LSTM预测模型的预测结果对比图，图5是SPE统计量的PSO-LSTM预测模型的预测结果对比图；
从上述预测结果图可以看出，采用单一的LSTM预测模型得到的预测结果要比故障发生的实际时间滞后，而本发明的PSO-LSTM预测模型得到的预测结果减少了滞后时间，验证了PSO-LSTM预测模型的有效性。
预测误差对比如表2所示：
表2不同模型的预测误差对比
相较于单一的LSTM预测模型，T2统计量的PSO-LSTM预测模型的均方根(RMSE)降低了11.9％，SPE统计量的PSO-LSTM预测模型的均方根(RMSE)降低了22.6％，表明本发明的PSO-LSTM模型提高了预测准确率，也体现出了对LSTM模型进行参数优化的必要性。
本发明未述及之处适用于现有技术。
Claims (5)
1.一种基于PSO-LSTM的青霉素发酵过程故障预测方法，其特征在于，该方法包括以下步骤：
第一步、采集n批青霉素发酵过程中的正常批次数据和m批数据，n、m≥20，每批数据包括多个可在线测量变量；
利用n批数据计算T2统计量的控制限
和SPE统计量的控制限SPEcl；将m批数据作为样本数据，计算每批样本数据的T2统计量和SPE统计量，同时随机划分为训练集、验证集和测试集；将训练集的所有可在线测量过程变量与T2统计量和SPE统计量进行相关性分析，筛选出与T2统计量显著相关的可在线测量过程变量和与SPE统计量显著相关的可在线测量过程变量，对T2统计量、SPE统计量以及样本数据中所有筛选出来的可在线测量过程变量进行归一化处理，形成归一化的T2统计量、归一化的SPE统计量，以及归一化的训练集、验证集和测试集；
第二步、将归一化的训练集中与T2统计量显著相关的可在线测量过程变量作为LSTM模型的输入，归一化的T2统计量作为输出，构建T2统计量的LSTM模型；同理，构建SPE统计量的LSTM模型；
第三步、利用PSO算法优化LSTM模型参数，分别构建T2统计量的PSO-LSTM预测模型和SPE统计量的PSO-LSTM预测模型；
第四步、利用T2统计量的PSO-LSTM预测模型和SPE统计量的PSO-LSTM预测模型对青霉素发酵过程进行实时故障预测，输出T2统计量的预测值和SPE统计量的预测值；将两个预测值分别进行反归一化处理，得到T2统计量的取值和SPE统计量的取值；将T2统计量的取值与控制限
比较，将SPE统计量的取值与控制限SPEcl比较，若T2统计量的取值超过控制限
或SPE统计量的取值超过控制限SPEcl，则表示发生故障，否则运行正常，以此完成青霉素发酵过程的故障预测。
2.根据权利要求1所述的基于PSO-LSTM的青霉素发酵过程故障预测方法，其特征在于，第三步中利用PSO算法优化LSTM模型参数包括：
3.1)初始化T2统计量的LSTM模型参数；
设定PSO算法参数，包括粒子数量、惯性因子、学习因子c1和c2、最大迭代次数；设置T2统计量的LSTM模型参数的取值范围和搜索范围；随机初始化种群，将初始化结果代入T2统计量的LSTM模型中，得到初始化参数的T2统计量的LSTM模型；
3.2)将归一化的验证集输入到初始化参数的T2统计量的LSTM模型中进行预测，得到T2统计量的LSTM模型的预测值；将T2统计量的LSTM模型的预测值代入公式(2)计算每个粒子的适应度值，得到粒子的局部最优位置和粒子群的全局最优位置；
式(2)中，n为归一化的验证集的样本个数，Xact(t)和Xpred(t)分别代表t时刻的真实值和预测值；
3.3)利用粒子的局部最优位置和粒子群的全局最优位置，按照公式(3)和(4)迭代更新每个粒子的速度和位置，进而更新神经元个数、学习率、批次大小和时间步长这四个参数值；将更新后的参数值代入到T2统计量的LSTM模型中，完成T2统计量的LSTM模型的参数更新；
式(3)、(4)中，Vi k、
分别为第k次迭代时粒子的速度、位置和局部最优位置；gbestk为第k次迭代时粒子群的全局最优位置；i代表粒子；w代表惯性因子；c1和c2代表学习因子；rand1和rand2代表(0,1)之间的随机值；Vi k+1、
分别为第k+1次迭代时粒子的速度和位置；λ为速度系数；
3.4)将归一化的验证集分别输入到更新参数后的T2统计量的LSTM模型中进行预测，得到T2统计量的LSTM模型的预测值；将T2统计量的LSTM模型的预测值代入公式(2)计算每个粒子的适应度值，更新每个粒子的局部最优位置和粒子群的全局最优位置；
重复执行步骤3.3)和3.4)，直到迭代终止，获得最优神经元个数、学习率、批次大小和时间步长，得到T2统计量的PSO-LSTM预测模型；
同理，按照步骤3.1)～3.4)构建SPE统计量的PSO-LSTM预测模型。
3.根据权利要求2所述的基于PSO-LSTM的青霉素发酵过程故障预测方法，其特征在于，公式(4)中，若
的取值位于步骤3.1)设定的搜索范围内，则λ＝1，否则λ＝0。
4.根据权利要求2所述的基于PSO-LSTM的青霉素发酵过程故障预测方法，其特征在于，所述步骤3.4)还包括：利用归一化的测试集对T2统计量的PSO-LSTM预测模型进行测试，输出预测结果，根据公式(5)计算T2统计量的PSO-LSTM预测模型的预测偏差RMSE；
其中，T为归一化的测试集的样本数，Xact(t)和Xpred(t)分别代表t时刻的真实值和预测值；
若预测偏差小于或等于T2统计量的PSO-LSTM预测模型的偏差阈值，完成模型训练，得到最终的T2统计量的PSO-LSTM预测模型；同理，完成SPE统计量的PSO-LSTM预测模型的测试，得到最终的SPE统计量的PSO-LSTM预测模型。
5.根据权利要求4所述的基于PSO-LSTM的青霉素发酵过程故障预测方法，其特征在于，T2统计量的PSO-LSTM预测模型的偏差阈值为0.04，SPE统计量的PSO-LSTM预测模型的偏差阈值为0.045。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110159354.0A CN112836431A (zh) | 2021-02-05 | 2021-02-05 | 基于pso-lstm的青霉素发酵过程故障预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110159354.0A CN112836431A (zh) | 2021-02-05 | 2021-02-05 | 基于pso-lstm的青霉素发酵过程故障预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112836431A true CN112836431A (zh) | 2021-05-25 |
Family
ID=75932245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110159354.0A Pending CN112836431A (zh) | 2021-02-05 | 2021-02-05 | 基于pso-lstm的青霉素发酵过程故障预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112836431A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824137A (zh) * | 2014-03-20 | 2014-05-28 | 北京信息科技大学 | 一种复杂机械设备多工况故障预测方法 |
| CN105404280A (zh) * | 2015-12-11 | 2016-03-16 | 浙江科技学院 | 基于自回归动态隐变量模型的工业过程故障检测方法 |
| CN108416386A (zh) * | 2018-03-08 | 2018-08-17 | 云南电网有限责任公司电力科学研究院 | 一种用于水电机组轴承温度异常判断的方法及系统 |
| CN108958226A (zh) * | 2018-08-08 | 2018-12-07 | 太原理工大学 | 基于生存信息势—主成分分析算法的te过程故障检测方法 |
| CN109299827A (zh) * | 2018-09-30 | 2019-02-01 | 南京地铁集团有限公司 | 基于长短时记忆循环神经网络的城轨设备故障预测方法 |
| CN110929765A (zh) * | 2019-11-06 | 2020-03-27 | 北京工业大学 | 一种基于批次图像化的卷积自编码故障监测方法 |
| CN111426816A (zh) * | 2020-04-10 | 2020-07-17 | 昆明理工大学 | 一种基于pso-lstm的变压器油中溶解气体浓度预测方法 |
| CN111506041A (zh) * | 2020-03-09 | 2020-08-07 | 兰州理工大学 | 一种基于扩散距离改进的邻域保持嵌入的间歇过程故障检测方法 |
| CN111537219A (zh) * | 2020-01-20 | 2020-08-14 | 内蒙古工业大学 | 一种基于温度参数的风机齿轮箱性能检测与健康评估方法 |
| CN111738512A (zh) * | 2020-06-22 | 2020-10-02 | 昆明理工大学 | 一种基于cnn-ipso-gru混合模型的短期电力负荷预测方法 |
| CN112200104A (zh) * | 2020-10-15 | 2021-01-08 | 重庆科技学院 | 一种基于增强主成分分析新型贝叶斯框架的化工故障诊断方法 |
-
2021
- 2021-02-05 CN CN202110159354.0A patent/CN112836431A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824137A (zh) * | 2014-03-20 | 2014-05-28 | 北京信息科技大学 | 一种复杂机械设备多工况故障预测方法 |
| CN105404280A (zh) * | 2015-12-11 | 2016-03-16 | 浙江科技学院 | 基于自回归动态隐变量模型的工业过程故障检测方法 |
| CN108416386A (zh) * | 2018-03-08 | 2018-08-17 | 云南电网有限责任公司电力科学研究院 | 一种用于水电机组轴承温度异常判断的方法及系统 |
| CN108958226A (zh) * | 2018-08-08 | 2018-12-07 | 太原理工大学 | 基于生存信息势—主成分分析算法的te过程故障检测方法 |
| CN109299827A (zh) * | 2018-09-30 | 2019-02-01 | 南京地铁集团有限公司 | 基于长短时记忆循环神经网络的城轨设备故障预测方法 |
| CN110929765A (zh) * | 2019-11-06 | 2020-03-27 | 北京工业大学 | 一种基于批次图像化的卷积自编码故障监测方法 |
| CN111537219A (zh) * | 2020-01-20 | 2020-08-14 | 内蒙古工业大学 | 一种基于温度参数的风机齿轮箱性能检测与健康评估方法 |
| CN111506041A (zh) * | 2020-03-09 | 2020-08-07 | 兰州理工大学 | 一种基于扩散距离改进的邻域保持嵌入的间歇过程故障检测方法 |
| CN111426816A (zh) * | 2020-04-10 | 2020-07-17 | 昆明理工大学 | 一种基于pso-lstm的变压器油中溶解气体浓度预测方法 |
| CN111738512A (zh) * | 2020-06-22 | 2020-10-02 | 昆明理工大学 | 一种基于cnn-ipso-gru混合模型的短期电力负荷预测方法 |
| CN112200104A (zh) * | 2020-10-15 | 2021-01-08 | 重庆科技学院 | 一种基于增强主成分分析新型贝叶斯框架的化工故障诊断方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112085124A (zh) | 一种基于图注意力网络的复杂网络节点分类方法 | |
| CN110335168B (zh) | 基于gru优化用电信息采集终端故障预测模型的方法及系统 | |
| CN111804146A (zh) | 一种智能喷氨控制方法以及智能喷氨控制装置 | |
| CN112101480A (zh) | 一种多变量聚类与融合的时间序列组合预测方法 | |
| CN111638707B (zh) | 基于som聚类和mpca的间歇过程故障监测方法 | |
| CN114678080B (zh) | 转炉终点磷含量预测模型及构建方法、磷含量预测方法 | |
| CN110598929B (zh) | 一种风电功率非参数概率区间超短期预测方法 | |
| CN110222387B (zh) | 基于混合漏积分crj网络的多元钻井时间序列预测方法 | |
| CN112364560B (zh) | 矿山凿岩装备作业工时智能预测方法 | |
| CN111814956A (zh) | 一种基于多维度二次特征提取的多任务学习的空气质量预测方法 | |
| CN111507365A (zh) | 一种基于模糊聚类的置信规则自动生成方法 | |
| CN112149883A (zh) | 基于fwa-bp神经网络的光伏功率预测方法 | |
| CN114721263B (zh) | 基于机器学习和智能优化算法的水泥分解炉智慧调控方法 | |
| CN115018193A (zh) | 基于lstm-ga模型的时间序列风能数据预测方法 | |
| CN113449919B (zh) | 一种基于特征和趋势感知的用电量预测方法及系统 | |
| CN115438897A (zh) | 一种基于blstm神经网络的工业过程产品质量预测方法 | |
| CN113408659A (zh) | 一种基于数据挖掘的建筑能耗集成分析方法 | |
| CN113033898A (zh) | 基于k均值聚类与bi-lstm神经网络的电负荷预测方法及系统 | |
| CN116861256A (zh) | 一种固废焚烧过程的炉温预测方法、系统、设备及介质 | |
| CN112836431A (zh) | 基于pso-lstm的青霉素发酵过程故障预测方法 | |
| US20220243347A1 (en) | Determination method and determination apparatus for conversion efficiency of hydrogen production by wind-solar hybrid electrolysis of water | |
| CN110648023A (zh) | 基于二次指数平滑改进gm(1,1)的数据预测模型的建立方法 | |
| CN114970674A (zh) | 一种基于关联度对齐的时序数据概念漂移适配方法 | |
| CN114372418A (zh) | 一种风电功率时空态势描述模型建立方法 | |
| CN113759709A (zh) | 策略模型的训练方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210525 |
|
| RJ01 | Rejection of invention patent application after publication |