CN115482877A - 一种基于时序图网络的发酵过程软测量建模方法 - Google Patents

一种基于时序图网络的发酵过程软测量建模方法 Download PDF

Info

Publication number
CN115482877A
CN115482877A CN202210525194.1A CN202210525194A CN115482877A CN 115482877 A CN115482877 A CN 115482877A CN 202210525194 A CN202210525194 A CN 202210525194A CN 115482877 A CN115482877 A CN 115482877A
Authority
CN
China
Prior art keywords
data
model
graph
fermentation process
term memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210525194.1A
Other languages
English (en)
Inventor
刘毅
贾明伟
冯远静
冯宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210525194.1A priority Critical patent/CN115482877A/zh
Publication of CN115482877A publication Critical patent/CN115482877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B5/00ICT specially adapted for modelling or simulations in systems biology, e.g. gene-regulatory networks, protein interaction networks or metabolic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biotechnology (AREA)
  • Evolutionary Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

一种基于时序图网络的发酵过程软测量建模方法,属于发酵过程软测量技术领域。它包括以下步骤:(1)数据的获取和整合:获取不同工况下的青霉素发酵过程,对数据进行划分、收集和整合;(2)数据选择:对数据进行选择,去除冗余无用的数据并建立变量之间因果图;(3)建模训练:构建算法模型,并进行学习训练;(4)模型预测:使用训练后的算法模型进行预测,并给出预测结果。本发明提出了一种基于时序图网络的发酵过程软测量建模方法,提高了发酵过程关键产品质量的预测准确度;本方法利用图卷积网络和长短期记忆,在时间和空间维度上对数据进行提取,增加了模型的泛化性;本方法可以对不同发酵过程的关键产品质量进行精准测量。

Description

一种基于时序图网络的发酵过程软测量建模方法
技术领域
本发明属于发酵过程软测量领域,具体涉及一种基于时序图网络的发酵过程软测量建模方法。
背景技术
发酵过程是有生物参与并在合适的PH值、温度、搅拌等发酵条件下生成目标产物的过程,广泛的存在于各种工业过程中,有固有的强非线性和机理过程的复杂性。其理论建模和过程控制都存在较大困难,尤其是缺乏合适的在线传感器来在线分析关键产品质量,如青霉素发酵过程中的关键产品质量,只能偶尔以离线的方式进行分析,这在很大程度上限制了发酵过程的控制和优化。
随着数据驱动建模的方法在工业过程中体现出巨大优势,同时为了克服难以分析关键产品质量的问题,越来越多的人采用数据驱动建模的方法从其他可在线测量的变量中来估计关键产品质量。发酵过程由于其产品质量和操作变量之间存在强非线性,因此基于发酵过程的数据驱动建模方法主要分为统计方法、浅层机器学习方法和深度学习方法。其中,统计方法主要包括主成分分析(Principal Component Analysis,PCA)、偏最小二乘法(Partial Least squares,PLS)。浅层机器学习方法是指深度学习以外的传统机器学习模型,包括浅层人工神经网络(Artificial Neural Network,ANN)、支持向量机(SupportVector Machine,SVM)、高斯过程模型(Gaussian Process Model,GPM)。深度学习主要包括各种三层以上的深度神经网络,如长短期记忆(Long Short-Term Memory,LSTM),深度神经网络已经被证明能够逼近任何非线性系统并广泛应用于过程建模中。
最近,图神经网络(GraphNeural Network,GNN)作为深度学习的一个分支,在许多领域表现出优越的性能。作为传统GNN的一种变体,图卷积网络(Graph ConvolutionNetwork,GCN)通过对结构数据进行卷积运算,体现了强大的表示能力。
发明内容
针对现有技术中存在的上述问题,本发明的目的在于提供一种基于时序图网络的发酵过程软测量建模方法,能够提高发酵过程关键产品质量的预测效果。
本发明提供如下技术方案:一种基于时序图网络的发酵过程软测量建模方法,所述方法包括以下步骤:
(1)数据的获取和整合
使用仿真平台InPenSim获取不同工况下的青霉素发酵过程,并且以一小时为一批次对数据进行划分、收集和整合。
(2)数据选择
根据格兰杰因果检测(Granger Causality Test,GC Test)对数据进行选择,去除冗余无用的数据并建立变量之间因果图。
(3)建模训练
构建基于时序图网络的发酵过程软测量建模方法的图长短期记忆 GraphLSTM(Graph long short-term memory)算法模型,模型的输入为经过选择保留的数据与变量之间的因果连接矩阵;然后利用图长短期记忆GraphLSTM模型对所整合的数据进行学习训练。
(4)模型预测
将训练后的图长短期记忆GraphLSTM模型用于青霉素发酵过程产物出口浓度预测,并给出预测结果。
进一步,所述步骤(1)的过程为:
步骤1.1:设定InPenSim仿真过程,获得仿真平台36个变量的输出数据。
步骤1.2:将数据根据3:2:1的比例划分成训练集、验证集和测试集。
步骤1.3:由于不同变量之间数据差异性较大,因此有必要对数据进行标准化处理,以便于模型进行处理和运算,具体公式如下所示:
Figure RE-GDA0003879571640000031
其中,X’是经标准化处理后的数据,X是未经标准化处理的原数据,μ是数据的均值,σ是数据的标准差。
进一步,所述步骤(2)的过程为:
步骤2.1:使用格兰杰因果检测进行数据变量选择,首先可以建立两种不同的自回归模型来评估格兰杰因果关系:
Figure RE-GDA0003879571640000032
Figure RE-GDA0003879571640000033
其中,a1i,l(i=1,2)和b11,l是自回归模型的系数;ε1(t)和ε1(2)(t)分别是完整模型和简化模型的预测误差;p是自回归模型的顺序,即模型所涉及的时间滞后;J是过程变量的总数,xj(t)(j=3,4,...,J)表示在第t个采样时间点第j个变量的观测值。
步骤2.2:做出零假设H0:FX2→X1=0和备选假设H1:FX2→X1>0。如果拒绝零假设,则F检测意味着X2对X1存在格兰杰因果关系。可以采用如下定义的F统计来检验该假设:
Figure RE-GDA0003879571640000041
其中R0和R1分别是公式(2)中两个模型的残差平方和,N是样本大小,p为置信边界。如果统计量大于从F分布得出的临界值,则拒绝零假设。
步骤2.3:根据格兰杰因果检测的p值对变量进行排序完成变量选择过程。
步骤2.4:根据格兰杰因果检测的p值建立变量之间的因果关系。
进一步,所述步骤(3)的过程为:
步骤3.1:图长短期记忆GraphLSTM是依托相关算法构建发酵过程出口浓度预测模型;图长短期记忆GraphLSTM主要基于图卷积网络(GCN)和长短期记忆(LSTM)构建;GCN是一种在非欧空间上对数据进行卷积的算法。GCN可以表示为:
Figure RE-GDA0003879571640000042
其中H为当前层特征向量,Xin表示输入数据,W为权重矩阵,σ(.)为激活函数,
Figure BDA0003644155840000051
表示输入的邻接矩阵,其中
Figure BDA0003644155840000052
表示卷积核, D=∑JAij表示邻接矩阵A的度矩阵。
对于序列建模而言,LSTM的主要创新是本质上充当状态信息的累加器Ct。该单元由几个参数化的控制门访问、写入和清除。每当一个新数据输入时,如果输入门被激活,它的信息将被累积到单元中。此外,如果遗忘门Ft开启,则过去的单元状态Ct-1可能会在此过程中被“遗忘”。最新的单元输出Ct是否被传播到最终状态Ht还由输出门 Ot控制。LSTM主要等式如下所示,其中
Figure BDA0003644155840000053
表示哈达玛乘积:
Figure 100002_1
It表示输入门的结果,Ft表示忘记门的结果,Ct表示内存单元在当前时刻的结果,Ot表示输出门的结果,Ht表示模块在当前时刻的输出结果,Whi、Wci、Whf、Wcf、Whc、Who、Wco、和Bi、Bf、Bc、Bo分别表示可训练的卷积核和可训练的偏置。
步骤3.2:LSTM在处理时空数据方面的主要缺点是它在输入到状态和状态到状态的转换中使用全连接,没有对空间信息进行编码。为了克服这个问题,图长短期记忆GraphLSTM的一个显着特点是数据X 和邻接矩阵A一起输入模型。图长短期记忆GraphLSTM通过其节点邻居的输入和过去状态来对过程数据进行编码。图长短期记忆GraphLSTM的公式如下所示:
Figure 3
其中GCN(X,A)表示图卷积操作,其余变量与LSTM一致。
步骤3.3:使用训练数据训练图长短期记忆GraphLSTM,使用验证数据对图长短期记忆GraphLSTM进行超参数选择,最后得到训练后的图长短期记忆GraphLSTM模型。
进一步,所述步骤(4)的过程为:
步骤4.1:将测试数据输入训练后的图长短期记忆GraphLSTM模型。使用均方误差(RMSE)作为评估指标,计算公式如下:
Figure RE-GDA0003879571640000061
其中,
Figure BDA0003644155840000063
表示真实数据,yi表示模型的输出,n表示测试集包含样本个数。一般来说,RMSE越小,意味着模型的预测值与真实值越接近,即模型的预测效果越好。
本发明的有益效果主要表现在:本发明提出了一种基于时序图网络的发酵过程软测量建模方法,提高了发酵过程关键产品质量的预测准确度;本方法利用图卷积网络和长短期记忆,在时间和空间维度上对数据进行提取,增加了模型的泛化性;本方法可以对不同发酵过程的关键产品质量进行精准测量。
附图说明
图1是本发明的图长短期记忆GraphLSTM层结构图;
图2是本发明的模型框架图;
图3是本发明实施例的预测结果和真实结果对比图;
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1-3,一种基于时序图网络的发酵过程软测量建模方法,所述方法包括以下步骤:
(1)获取青霉素发酵过程数据集
步骤1.1:设置InPenSim仿真平台,每隔0.2小时进行1次变量测量,同时设置6组不同工况,最终获得6个工况下36个变量1100 个时刻6×36×1100的数据;
步骤1.2:根据划分标准将数据分成3×6×1100、2×36×1100和 1×36×1100三个部分,分别为训练集、验证集和测试集。
步骤1.3:根据标准化公式对每个数据进行处理。
(2)进行青霉素发酵过程数据集数据选择,过程如下:
步骤2.1:根据格兰杰因果检测公式计算出每个变量关于青霉素浓度变量的p值。
步骤2.2:根据p值对变量进行筛选,保留前p<0.05的7个变量:冷热水流速RW、容积体积VV、容积重量VW、尾气CO2浓度ECO2、 CO2上升速率RCO2、尾气O2浓度EO2和O2上升速率RO2
步骤2.3:计算7个变量两两之间的p值,对p<0.05的两个变量之间视为存在因果关系,建立因果图。
(3)进行图长短期记忆GraphLSTM模型训练,过程如下:
步骤3.1:将训练集输入模型,获得模型第一次预测值。
步骤3.2:根据预测值和输出值的差值,对模型的参数进行调整,使得预测值与真实值之间的差值减小。
步骤3.3:将验证集输入模型,获得模型对于验证集的输出结果。
步骤3.4:根据模型在验证集上的输出结果,对模型的超参数进行重新设定调招。
步骤3.5:重复步骤3.1~3.4,直到模型的预测值和真实值之间的差值达到允许误差之内。
(4)使用测试数据对模型进行测试,过程如下:
步骤4.1:将训练数据输入训练后的模型和LSTM中,分别得到图长短期记忆GraphLSTM和LSTM在测试集上的预测值。
步骤4.2:计算测试集的预测值和真实值之间的RMSE,对图长短期记忆GraphLSTM和LSTM性能进行评估。评估结果如表所示
表1GraphLSTM和LSTM的RMSE对比
Figure BDA0003644155840000081
从上述对比结果可以看出,本发明对于青霉素发酵过程的关键产品质量预测效果优于传统预测模型。
本方法基于图长短期记忆GraphLSTM提出时序图网络的发酵过程软测量建模方法。图长短期记忆GraphLSTM将发酵过程中的所有变量作为输入,对关键产品质量进行预测。此外,图长短期记忆GraphLSTM 在输入到状态和状态到状态的转换中都使用GCN结构,以此构建基于变量关系的长期依赖。最后,通过全连接层建立数据与目标变量之间的映射关系以获得关键产品质量的预测结果。
本发明方法采用基于时序图网络的发酵过程软测量建模方法,提高了发酵过程关键产品质量的预测效果,具有普遍性和通用性。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (5)

1.一种基于时序图网络的发酵过程软测量建模方法,其特征在于,所述方法包括以下步骤:
1)数据的获取和整合:
使用仿真平台InPenSim获取不同工况下的青霉素发酵过程,并且以一小时为一批次对数据进行划分、收集和整合;
2)数据选择:
根据格兰杰因果检测GC Test对数据进行选择,去除冗余无用的数据并建立变量之间因果图;
3)建模训练:
构建基于时序图网络的发酵过程软测量建模方法的图长短期记忆GraphLSTM算法模型,模型的输入为经过选择保留的数据与变量之间的因果连接矩阵;然后利用图长短期记忆GraphLSTM模型对所整合的数据进行学习训练;
4)模型预测:
将训练后的图长短期记忆GraphLSTM模型用于青霉素发酵过程产物出口浓度预测,并给出预测结果。
2.如权利要求1所述的一种基于时序图网络的发酵过程软测量建模方法,其特征在于,所述步骤1)的过程为:
步骤1.1)设定InPenSim仿真过程,获得仿真平台变量的输出数据;
步骤1.2)将输出数据划分成训练集、验证集和测试集;
步骤1.3)由于不同特征变量之间数据差异性较大,需要对数据进行标准化处理,以便于模型进行处理和运算,具体公式如下所示:
Figure FDA0003644155830000011
其中,X'是经标准化处理后的数据,X是未经标准化处理的原数据,μ是数据的均值,σ是数据的标准差。
3.如权利要求2所述的一种基于时序图网络的发酵过程软测量建模方法,其特征在于,所述步骤2)的过程为:
步骤2.1)使用格兰杰因果检测进行数据变量选择,首先建立两种不同的自回归模型来评估格兰杰因果关系:
Figure FDA0003644155830000021
其中,a1i,l(i=1,2)和b11,l是自回归模型的系数,1≤1≤p;ε1(t)和ε1(2)(t)分别是完整模型和简化模型的预测误差;p是自回归模型的顺序,即模型所涉及的时间滞后;J是过程变量的总数,xj(t)(j=3,4,...,J)表示在第t个采样时间点第j个变量的观测值;
步骤2.2)做出零假设H0:FX2→X1=0和备选假设H1:FX2→X1>0;如果拒绝零假设,则F检测意味着X2对X1存在格兰杰因果关系;采用如下定义的F统计来检验该假设:
Figure 1
其中R0和R1分别是公式(2)中两个模型的残差平方和,N是样本大小,p为置信边界;如果统计量大于从F分布得出的临界值,则拒绝零假设;
步骤2.3)根据格兰杰因果检测的p值对变量进行排序完成变量选择过程;
步骤2.4)根据格兰杰因果检测的p值建立变量之间的因果关系。
4.如权利要求3所述的一种基于时序图网络的发酵过程软测量建模方法,其特征在于,所述步骤3)的过程为:
步骤3.1)基于图卷积网络GCN和长短期记忆LSTM构建图长短期记忆GraphLSTM模型;
步骤3.2)将数据X和邻接矩阵A一起输入图长短期记忆GraphLSTM模型,图长短期记忆GraphLSTM模型通过其节点邻居的输入和过去状态来对过程数据进行编码;
步骤3.3)使用训练数据训练图长短期记忆GraphLSTM模型,使用验证数据对图长短期记忆GraphLSTM进行超参数选择,最后得到训练后的图长短期记忆GraphLSTM模型。
5.如权利要求4所述的一种基于时序图网络的发酵过程软测量建模方法,其特征在于,所述步骤4)的过程为:
将测试数据输入训练后的FGCN模型,使用均方误差RMSE作为评估指标,计算公式如下:
Figure RE-FDA0003879571630000031
其中,
Figure RE-FDA0003879571630000032
表示真实数据,yi表示模型的输出,n表示测试集包含样本个数;RMSE越小,意味着模型的预测值与真实值越接近,即模型的预测效果越好。
CN202210525194.1A 2022-05-15 2022-05-15 一种基于时序图网络的发酵过程软测量建模方法 Pending CN115482877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210525194.1A CN115482877A (zh) 2022-05-15 2022-05-15 一种基于时序图网络的发酵过程软测量建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210525194.1A CN115482877A (zh) 2022-05-15 2022-05-15 一种基于时序图网络的发酵过程软测量建模方法

Publications (1)

Publication Number Publication Date
CN115482877A true CN115482877A (zh) 2022-12-16

Family

ID=84420657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210525194.1A Pending CN115482877A (zh) 2022-05-15 2022-05-15 一种基于时序图网络的发酵过程软测量建模方法

Country Status (1)

Country Link
CN (1) CN115482877A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116484723A (zh) * 2023-03-31 2023-07-25 昆明理工大学 一种基于动态多层域自适应的发酵过程软测量建模方法
CN116798506A (zh) * 2023-03-23 2023-09-22 江苏大学 一种毕赤酵母发酵过程中菌体浓度的预测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116798506A (zh) * 2023-03-23 2023-09-22 江苏大学 一种毕赤酵母发酵过程中菌体浓度的预测方法
CN116798506B (zh) * 2023-03-23 2024-03-22 江苏大学 一种毕赤酵母发酵过程中菌体浓度的预测方法
CN116484723A (zh) * 2023-03-31 2023-07-25 昆明理工大学 一种基于动态多层域自适应的发酵过程软测量建模方法
CN116484723B (zh) * 2023-03-31 2024-05-31 昆明理工大学 一种基于动态多层域自适应的发酵过程软测量建模方法

Similar Documents

Publication Publication Date Title
CN111639748B (zh) 一种基于lstm-bp时空组合模型的流域污染物通量预测方法
CN108900346B (zh) 基于lstm网络的无线网络流量预测方法
CN111563706A (zh) 一种基于lstm网络的多变量物流货运量预测方法
CN115482877A (zh) 一种基于时序图网络的发酵过程软测量建模方法
CN110083125B (zh) 一种基于深度学习的机床热误差建模方法
CN109583565A (zh) 基于注意力模型长短时记忆网络的洪水预测方法
CN110824914B (zh) 一种基于pca-lstm网络的废水处理智能监控方法
CN111626785A (zh) 一种基于结合注意力的cnn-lstm网络基金价格预测方法
CN114015825B (zh) 基于注意力机制的高炉热负荷异常状态监测方法
CN113837364B (zh) 基于残差网络和注意力机制的污水处理软测量方法及系统
CN114282443B (zh) 基于mlp-lstm有监督联合模型的剩余使用寿命预测方法
CN111649779B (zh) 基于密集神经网络的油井含油率和总流速测量方法及应用
CN114239397A (zh) 基于动态特征提取与局部加权深度学习的软测量建模方法
CN113449919B (zh) 一种基于特征和趋势感知的用电量预测方法及系统
CN110795522A (zh) 一种移动用户轨迹位置的预测方法及装置
CN116822920A (zh) 一种基于循环神经网络的流程预测方法
CN115982141A (zh) 一种针对时序数据预测的特征优化方法
CN115096357A (zh) 一种基于ceemdan-pca-lstm的室内环境质量预测方法
CN109920489A (zh) 一种基于Lasso-CCF-CNN的加氢裂化模型及建立方法
CN112257893A (zh) 一种考虑监测误差的复杂机电系统健康状态预测方法
CN116628444A (zh) 一种基于改进元学习的水质预警方法
CN115759343A (zh) 一种基于e-lstm的用户电量预测方法和装置
CN114970674A (zh) 一种基于关联度对齐的时序数据概念漂移适配方法
CN114995248A (zh) 智能养护与环境参数大数据物联网系统
CN115458069A (zh) 一种基于拓扑引导时间卷积网络的发酵过程软测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination