CN117524337A - 基于双流慢-非平稳快特征提取的co2含量预测方法 - Google Patents

基于双流慢-非平稳快特征提取的co2含量预测方法 Download PDF

Info

Publication number
CN117524337A
CN117524337A CN202311415844.8A CN202311415844A CN117524337A CN 117524337 A CN117524337 A CN 117524337A CN 202311415844 A CN202311415844 A CN 202311415844A CN 117524337 A CN117524337 A CN 117524337A
Authority
CN
China
Prior art keywords
slow
network
feature
stationary
lstm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311415844.8A
Other languages
English (en)
Other versions
CN117524337B (zh
Inventor
熊伟丽
王佳宇
马君霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202311415844.8A priority Critical patent/CN117524337B/zh
Publication of CN117524337A publication Critical patent/CN117524337A/zh
Application granted granted Critical
Publication of CN117524337B publication Critical patent/CN117524337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/20—Identification of molecular entities, parts thereof or of chemical compositions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/27—Regression, e.g. linear or logistic regression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/70—Machine learning, data mining or chemometrics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于双流慢‑非平稳快特征提取的CO2含量预测方法，属于软测量技术领域。所述方法考虑化工过程的慢变特性以及非平稳特性，并结合LSTM，提出一种基于双流慢‑非平稳特征提取网络，基于Siamese网络进行慢特征提取，同时设计了一种差分LSTM网络用于提取非平稳特征；预测过程中尽可能保留包含关键过程信息的慢特征和包含有短期波动和突变的非平稳快特征，从而实现对于质量变量的精准预测，而且由于慢特征是在较长时间范围内进行计算，因此提高了预测方法的抗噪声和干扰的能力，而且能够适应不同时间尺度，更好地捕捉过程的动态性。

Description

基于双流慢-非平稳快特征提取的CO2含量预测方法
技术领域
本发明涉及一种基于双流慢-非平稳快特征提取的CO2含量预测方法，属于软测量技术领域。
背景技术
在现代化工过程中，测量质量变量、关键过程变量和经济指标在建设智能工厂过程中非常重要。然而，由于复杂的工艺环境和测量延迟，大多数质量变量难以实现在线检测，比如CO2吸收塔中对于CO2含量的检测。众所周知，在NH3合成中，气态氢(甲烷脱碳装置的副产品)用于合成NH3，而NH3是后续尿素合成的基本成分。然而，微量碳仍以气态CO2的形式嵌入工业气体中。虽然这些残留的二氧化碳在合成氨过程中无关紧要，但在后续尿素合成阶段却具有重要的用途。因此，CO2吸收塔在合成氨中至关重要。CO2吸收塔是一种从工业气体中分离气态二氧化碳以产生精炼成分，直接输送至合成氨装置的设备，通过完成这种分离，该塔可以最佳地提供随后的尿素合成所需的二氧化碳。但鉴于CO2吸收塔内的复杂结构以及塔内CO2分布不均的情况，工业上很难直接测得准确的CO2实时含量，因此需要利用软测量技术实现对于CO2吸收塔内CO2实时含量的预测。而软测量技术即利用易测变量估计难测变量的一种技术，包括基于机理建模的方法和基于数据驱动的模型方法。区别于传统基于机理建模方法，基于数据驱动的软测量模型不需要先验知识。典型的数据驱动建模方法包括人工神经网络、支持向量回归、主成分回归等。虽然这些方法(特别是人工神经网络)已经在软传感应用中成功实施，但由于其浅层结构，在复杂的化工过程中仍然难以提取令人满意的特征。
深度学习方法作为一种基于数据驱动的软测量建模方法，能够利用多个隐含层结构提取深度特征。其强大的特征提取能力引起了学者们的极大关注。典型的深度学习方法有卷积神经网络和深度自编码器等。为更好解释复杂工业过程中的动态性，动态深度学习方法，如：循环神经网络和长短时记忆(Long short-term memory，LSTM)网络在提取动态性特征方面有较大优势。LSTM模型将上一采样时刻的隐含状态作为当前时刻模型的输入，以此获取历史时刻信息。Liu等提出了一种基于最大熵准则的LSTM模型(Liu Q,Jia M,Gao Z,et al.Correntropy long short term memory soft sensor for quality predictionin industrial polyethylene process[J].Chemometrics and Intelligent LaboratorySystems,2022,231:104678.)，用于软传感应用中的动态特征提取，但是其只能提取常规时序特征，难以提取化工过程缓慢变化的信息。
化工过程往往变化缓慢。目前，大多数慢特征(Slow features，SFs)提取方法依赖于慢特征分析和核慢特征分析。但是，慢特征分析难以处理化工过程数据中的复杂非线性；同时，核慢特征分析方法中最优核函数的选择是较难解决的问题。
除了变化缓慢的特点，由于设备老化以及化工过程中的原料变化，化工过程往往呈现非平稳变化。然而，传统基于慢特征的软测量模型并未考虑到快速变化的非平稳特征(Nonstationary fast feature，NFF)。为了解决该问题，Zhao和Huang采用了基于协整分析和慢特征分析的全条件监测策略(Zhao C,Huang B.A full-condition monitoringmethod for nonstationary dynamic chemical processes with cointegration andslow feature analysis[J].AIChE Journal,2018,64(5):1662–1681.)，实现工业过程的非平稳慢特征故障监测，但是协整分析方法需要假设非平稳变量均为同阶甚至一阶单整，而实际工业过程中基本无法严格满足该假设，因此如果将该方法应用于软测量技术领域，那么测量精度会受到较大影响。此外，
综上分析，现有软测量方法中无法同时较好的考虑化工过程中的慢特征提取和非平稳特征提取问题，因此在对CO2吸收塔内CO2实时含量的预测精度还存在进一步提升的空间。
发明内容
为了解决目前存在的问题，本申请考虑化工过程的慢变特性以及非平稳特性，并结合LSTM，提出一种基于双流慢-非平稳特征提取网络，并将其应用到化工过程的软测量建模中，实现对于CO2吸收塔内CO2实时含量的高精度预测。
一种基于双流慢-非平稳快特征提取的CO2含量预测方法，该方法用于预测CO2吸收塔中CO2含量，包括：
步骤1，获取CO2吸收塔的输入变量X和质量变量y；
步骤2，基于Siamese网络和D-LSTM网络构建双流深度慢特征及非平稳快变特征提取网络TS-SNFF；
步骤3，随机初始化TS-SNFF网络参数；
步骤4，利用TS-SNFF中慢特征流提取慢特征ZSF，利用非平稳快特征流提取非平稳快特征ZNFF；
步骤5，将慢特征ZSF和非平稳快特征ZNFF利用线性层融合得到新的特征矩阵Z；
步骤6，利用多层感知机构建特征与质量变量之间的软测量回归网络；
步骤7：更新TS-SNFF网络参数；
步骤8：重复步骤4-步骤7直到损失函数收敛；
步骤9：实时采集输入变量输入TS-SNFF以获得二氧化碳含量预测值
可选的，步骤2中双流深度慢特征及非平稳快变特征提取网络TS-SNFF包括慢特征流和非平稳快特征流两部分；其中，慢特征流采用编码器-解码器框架下的Siamese网络，并使用一个线性映射层用于特征降维得到慢特征SFs，LSTM网络则作为编码器-解码器网络单元；非平稳快特征流包含LSTM层、D-LSTM层和线性映射层用于捕获非平稳快特征NFF；随后，SFs和NFF融合后作为多层感知机回归器的输入。
可选的，步骤4包括：
步骤4.1，基于Siamese网络的慢特征流提取慢特征；
利用Siamese网络比较输入变量两两之间的相似程度，根据输入变量两两之间的相似程度重构得到各输入变量，并将重构误差引入Siamese网络的目标函数，保证所得慢特征能较好地重构输入变量并保持其慢变特性；
Siamese网络的目标函数为：
其中，α、β、γ分别为慢特征项、输入重构项和去相关项的权重，均为大于0的值。ZSF为Siamese网络所提取慢特征，表示求L2范数，/>表示重构出的输入变量，cov表示协方差函数，f(X)表示编码器网络，I表示单位矩阵；
步骤4.2，基于D-LSTM网络的非平稳快特征流提取非平稳快特征；
D-LSTM由两个LSTM单元构成，第一个LSTM单元利用差分输入获取非平稳信息Dt，随后将非平稳信息Dt作为第二个LSTM单元的输入，获得保留的非平稳特征ZNFF。
可选的，步骤5包括：
将慢特征ZSF和非平稳快特征ZNFF利用线性层融合得到新的特征矩阵Z，其表达式如下：
Z＝W1[ZSF,ZNFF]+b1
其中，W1和b1分别为特征融合层的权重与偏置。
可选的，TS-SNFF网络的整体损失函数为：
其中，第一项为慢特征提取项，用于最小化时间序列中两个相邻样本特征对之间的距离度量，从而获得基础慢特征：
权重α＞0，表示根据t时刻的输入变量提取到的慢特征，/>表示根据t-1时刻的输入变量提取到的慢特征；
第二项为输入重构项，通过编码器-解码器最小化重构误差训练编码器网络，确保慢特征有效性：
权重β＞0；X为输入变量，为重构出的输入变量；
第三项目标为最小化真实输出与预测值之间的误差，其利用融合后的特征作为模型输入：
Y为质量变量真实值，质量变量预测值；
第四项子损失函数通过将协方差矩阵趋近于单位矩阵获得具有单位方差的去相关慢特征：
权重γ＞0，cov表示协方差函数，f(X)表示编码器网络，I表示单位矩阵。
可选的，步骤6中构建的特征与质量变量之间的软测量回归网络表达式为：
Y＝W3(ReLu(W2·Z+b2))+b3
其中，W3为回归网络第二层的权重，W2为回归网络第一层的权重，Z表示融合特征，b2表示回归网络第一层的偏置，b3表示回归网络第二层的偏置。
可选的，Siamese网络的目标函数为：
其中，d{zi,zj}表示慢特征对zi和zj的欧氏距离，参数ξ为输入对之间的相似度，若ξ＝0则输入完全相同，若ξ＝1则输入完全不同，δ为阈值；
zi和zj为编码器网络f(x)对输入变量xi和xj进行映射得到的慢特征对。
可选的，CO2吸收塔的输入变量X包括进入05E001的工艺气压力、05F003液位、05E003出口贫液温度、到05C001的贫液流量、到05C001的半贫液流量、05F003出口工艺气温度、05C001工艺气进出口压差、05C001出口富液温度、05C001液位、06F001的高液位报警值和进入06单元工艺气压力；质量变量y为工业气中残余CO2含量。
本申请还提供一种尿素合成方法，该方法通过上述基于双流慢-非平稳快特征提取的CO2含量预测方法获取工业气体中残余CO2含量。
本申请还提供上述基于双流慢-非平稳快特征提取的CO2含量预测方法在工业过程中的应用。
本发明有益效果是：
1.提出了一种基于双流慢-非平稳特征提取网络(Two-stream slow andnonstationary fast feature,TS-SNFF)模型，以充分利用隐藏在化工过程数据中的慢变信息和非平稳信息。
2.设计了一种基于Siamese网络的慢特征提取方法，采用编码器-解码器结构进行非线性慢特征提取。LSTM作为编码器-解码器单元。
3.设计了一种差分LSTM(differential long short-term memory,D-LSTM)网络用于提取非平稳特征，其包含两个具有差分运算的LSTM单元，第一个LSTM单元用于获取非平稳快速变化的信息；第二个LSTM单元来确定应该保留的非平稳信息，并输出NFF。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的基于双流慢-非平稳快特征提取的CO2含量预测方法流程图；
图2是Siamese网络结构图。
图3是基于编码器-解码器结构的SF-stream结构图。
图4是经典LSTM结构图。
图5是D-LSTM结构图。
图6是本申请所构建的基于双流慢-非平稳快特征提取网络TS-SNFF网络结构图。
图7A是CO2是吸收塔输入变量中U1、U2、U5、U6、U9和U10变化图。
图7B是CO2是吸收塔输入变量中U3、U4、U7、U8、U11和质量变量Y变化图。
图8是分别采用本申请方法和六种现有方法对CO2吸收塔中CO2含量进行预测得到的散点图。
图9是分别采用本申请方法和六种现有方法对CO2吸收塔中CO2含量进行预测的预测误差箱线图。
图10是分别采用本申请方法和六种现有方法对CO2吸收塔中CO2含量进行预测的预测曲线图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一：
本实施例提供一种基于双流慢-非平稳快特征提取的CO2含量预测方法，用于预测CO2吸收塔中CO2含量，如图1所示，该方法包括：
步骤1，获取CO2吸收塔的输入变量X和质量变量y；
步骤2，基于Siamese网络和D-LSTM网络构建双流深度慢特征及非平稳快变特征提取网络TS-SNFF；TS-SNFF网络包括慢特征流和非平稳快特征流两部分；其中，慢特征流采用编码器-解码器框架下的Siamese网络，并使用一个线性映射层用于特征降维得到慢特征SFs，LSTM网络则作为编码器-解码器网络单元；非平稳快特征流包含LSTM层、D-LSTM层和线性映射层用于捕获非平稳快特征NFF；随后，SFs和NFF融合后作为多层感知机回归器的输入。
步骤3，随机初始化TS-SNFF网络参数；
步骤4，利用TS-SNFF中慢特征流提取慢特征ZSF，利用非平稳快特征流提取非平稳快特征ZNFF；
步骤5，将慢特征ZSF和非平稳快特征ZNFF利用线性层融合得到新的特征矩阵Z；
步骤6，利用多层感知机构建特征与质量变量之间的软测量回归网络；
步骤7：更新TS-SNFF网络参数；
步骤8：重复步骤4-步骤7直到TS-SNFF网络的损失函数收敛；
步骤9：实时采集输入变量输入TS-SNFF以获得二氧化碳含量预测值
实施例二：
本实施例提供一种基于双流慢-非平稳快特征提取的CO2含量预测方法，所述方法包括：
步骤1，获取输入变量X和质量变量y；
输入变量X包括进入05E001的工艺气压力、05F003液位、05E003出口贫液温度、到05C001的贫液流量、到05C001的半贫液流量、05F003出口工艺气温度、05C001工艺气进出口压差、05C001出口富液温度、05C001液位、06F001的高液位报警值和进入06单元工艺气压力，质量变量y为工业气中残余CO2含量；输入变量X和质量变量y如下表1所示：
表1：CO2吸收塔工艺过程变量
序号 位号 描述
1 U1 进入05E001的工艺气压力
2 U2 05F003液位
3 U3 05E003出口贫液温度
4 U4 到05C001的贫液流量
5 U5 到05C001的半贫液流量
6 U6 05F003出口工艺气温度
7 U7 05C001工艺气进出口压差
8 U8 05C001出口富液温度
9 U9 05C001液位
10 U10 06F001的高液位报警值
11 U11 进入06单元工艺气压力
12 Y 工艺气中残余CO2含量
步骤2，基于Siamese网络和D-LSTM网络构建双流深度慢特征及非平稳快变特征提取网络TS-SNFF；
该双流深度慢特征及非平稳快变特征提取网络TS-SNFF包括两部分：慢特征流和非平稳快特征流，其中，慢特征流采用编码器-解码器框架下的Siamese网络，并使用一个线性映射层用于特征降维得到慢特征SFs，LSTM网络则作为编码器-解码器网络单元；非平稳快特征流包含LSTM层、D-LSTM层和线性映射层用于捕获非平稳快特征NFF；随后，SFs和NFF融合后作为多层感知机回归器的输入。
步骤3，设置网络超参数(层数与神经元数量)，随机初始化TS-SNFF网络参数Θ，即网络的权重与偏置；
设置网络层数l，神经元个数N和学习率η；具体的，网络超参数如下表2所示，学习率η＝0.001。
表2：TS-SNFF网络超参数
特征流 超参数
慢特征流 [11-64-4]
非平稳快特征流 [11-12-64-16-4]
步骤4，利用TS-SNFF中慢特征流提取慢特征ZSF，利用非平稳快特征流提取非平稳快特征ZNFF。
其中网络训练输入为输入变量，输出分别为ZSF和ZNFF，具体的：
步骤4.1，基于Siamese网络的慢特征流提取慢特征；
Siamese网络由两个具有相同结构和参数的网络组成，用于比较两个输入的相似程度。孪生网络有两个输入，分别通过相同的神经网络映射到特征空间。通过欧氏距离，计算特征之间的相似性，其结构如图2所示。Siamese网络中，编码器网络f(x)用于将输入变量xi和xj映射为特征zi和zj，称为一个特征对；网络的输出为每个特征对的欧氏距离，即特征的相似度。Siamese网络的目标函数如式(1)所示：
其中，d{zi,zj}表示慢特征对zi和zj的欧氏距离，参数ξ为输入对之间的相似度，若ξ＝0则输入完全相同，若ξ＝1则输入完全不同，δ为阈值。
基于编码器-解码器结构的Siamese网络如图3所示。其引入解码器网络用于得到重构输入对和/>并将重构误差引入目标函数，保证所得慢特征能较好地重构并保持其慢变特性。因此，所得慢特征能包含较多有效输入信息。其目标函数如式(2)所示：
其中，α、β、γ分别为慢特征项、输入重构项和去相关项的权重，均为大于0的值。ZSF为Siamese网络所提取慢特征，表示求L2范数的平方，/>表示重构出的输入变量，cov表示协方差函数，f(X)表示编码器网络，I表示单位矩阵。
步骤4.2，基于D-LSTM网络的非平稳快特征流提取非平稳快特征；
LSTM网络是一种循环神经网络的变体，通过在隐含层中引入输入门、输出门和遗忘门，缓解循环神经网络存在的梯度消失和梯度爆炸等问题，其结构如图4所示。同时，LSTM的输入有三个，分别为：当前时刻输入变量xt、上一时刻隐含特征lt-1、上一时刻细胞状态ct-1，三个门控单元的数学表达如式(3)所示：
其中，it,ft,ot分别为输入、遗忘和输出门，Wi、Wf和Wo分别为三个门对应的输入权重，随后，当前时刻的隐含特征lt、细胞状态ct和细胞候选状态如式(4)所示：
然而，LSTM具有是不变的记忆转换过程，难以较好地提取非平稳特征。D-LSTM网络通过引入差分运算，旨在解决LSTM的局限性提取非平稳快特征，其结构如图5所示。将当前时刻与前一时刻隐含特征之间的差(lt-lt-1)输入到D-LSTM中进行非平稳信息提取，其计算可以分为两部分，第一部分用于非平稳信息提取，如式(5)所示：
其中，Ct-1和Ct分别为上一时刻和当前时刻的细胞状态，Dt为第一个LSTM单元的输出，包含了所提取的非平稳信息。第二部分用于得到保留的部分非平稳信息，如式(6)所示：
其中，和/>分别表示当前时刻和前一时刻的非平稳快特征，C't和C't-1分别为当前时刻和历史时刻的细胞状态。因此，D-LSTM由两个LSTM单元构成，第一个LSTM单元利用差分输入获取非平稳信息Dt，随后将非平稳信息Dt作为第二个LSTM单元的输入，获得保留的非平稳特征ZNFF。
本申请所提出的D-LSTM网络具有以下优点
①更简单的结构：网络被描述为分为两个部分，它的结构更简单。这可以使网络更容易训练和理解，尤其是在数据有限的情况下。
②潜在的计算效率：简单的结构和差分操作可能导致较低的计算复杂性，从而提高了网络的计算效率。这对于大规模数据集或需要实时分析的应用可能特别有利。
③专注于非平稳性：D-LSTM专注于整个过程的非平稳性处理，它可能更适合于需要更好地处理时间序列数据中的非平稳性特征的任务。这可以包括捕获短期和长期的非平稳趋势。
步骤5，将慢特征ZSF和非平稳快特征ZNFF利用线性层融合得到新的特征矩阵Z，其表达式如下：
Z＝W1[ZSF,ZNFF]+b1
其中，W1和b1分别为特征融合层的权重与偏置。
具体的，本申请所构建的TS-SNFF模型分别利用Siamese网络和D-LSTM网络构成慢特征流和非平稳快特征流，用于提取SFs和NFF。该双流结构不会额外增加模型的计算复杂度。TS-SNFF软测量模型结构如图6所示，其由两部分组成：慢特征流和非平稳快特征流。其中，慢特征流采用编码器-解码器框架下的Siamese网络，并使用一个线性映射层用于特征降维得到SFs，LSTM网络则作为编码器-解码器网络单元；非平稳快特征流则包含LSTM层、D-LSTM层和线性映射层用于捕获NFF；随后，SFs和NFF融合后作为多层感知机回归器的输入，该模型的整体损失函数定义如下：
相比于慢特征损失函数项，整体损失函数增加预测误差用于约束模型整体预测，同时，该项对于NFF同样具有约束作用。该损失函数分为四个子损失函数，其具体描述如下：
1)第一项为慢特征提取项，旨在最小化时间序列中两个相邻样本特征对之间的距离度量，从而获得基础慢特征，该项的权重为α＞0。该项子损失函数表示如式(8)：
表示根据t时刻的输入变量提取到的慢特征，/>表示根据t-1时刻的输入变量提取到的慢特征；
2)第二项为输入重构项，通过编码器-解码器最小化重构误差训练编码器网络，确保慢特征有效性。该项子损失函数通过β＞0加权，其具体表达形式如式(9)：
3)第三项目标为最小化真实输出与预测值之间的误差，其利用融合后的特征作为模型输入。该特征矩阵由慢特征流和非平稳快特征流所得SF和NFF融合而成。由于输入预测为该模型主要目标，因此该项权重设为1，其具体表达如式(10)所示：
4)第四项子损失函数通过将协方差矩阵趋近于单位矩阵获得具有单位方差的去相关慢特征。该项权重表示为γ＞0，其具体表达如式(11)所示：
权重α,β,γ的值通过网格搜索法确定。
利用所提网络训练时，目标函数可以表示为式(12)：
步骤6，利用多层感知机构建特征与质量变量之间的软测量回归网络；
Y＝W3(ReLu(W2·Z+b2))+b3
其中，W3为回归网络第二层的权重，W2为回归网络第一层的权重，Z表示融合特征，b2表示回归网络第一层的偏置，b3表示回归网络第二层的偏置。
步骤7：利用Adam算法和后向传播算法更新网络参数；
步骤8：重复步骤4-7直到损失函数收敛；
步骤9：实时采集输入变量输入TS-SNFF以获得二氧化碳含量预测值
二氧化碳吸收塔工艺是化学工业工艺的典型原型，其固有特性包括复杂的非线性、动力学、缓慢性和非平稳属性，本申请方案选择了二氧化碳吸收塔工艺中11个辅助变量和1个质量变量用于软测量，如图7A和7B所示。
为验证本申请方法的有效性，本实施例将本申请提出的方法和现有的六种方法进行了仿真对比实验，现有的六种方法分别为KSFR、KSFR-NN、LSTM、GRU、SF-stream和NFF-stream。其中，KSFR可参考“Zhang H,Tian X,Cai L.Nonlinear process fault diagnosisusing kernel slow feature discriminant analysis[J].IFAC-PapersOnLine,2015,48(21):607–612.”中的介绍，KSFR-NN可参考“Corrigan J,Zhang J.Developing accuratedata-driven soft-sensors through integrating dynamic kernel slow featureanalysis with neural networks[J].Journal of Process Control,2021,106:208–220.”中的介绍、LSTM可参考“Yao L,Ge Z.Dynamic features incorporated locallyweighted deep learning model for soft sensor development[J].IEEE Transactionson Instrumentation and Measurement,2021,70:1–11.”中的介绍、GRU可参考“Guo R,LiuH.A hybrid mechanism-and data-driven soft sensor based on the generativeadversarial network and gated recurrent unit[J].IEEE Sensors Journal,2021,21(22):25901-25911.”中的介绍、SF-stream和NFF-stream分别为单独的慢特征流和非平稳快特征流，用于对比同时获得慢特征与非平稳快特征对二氧化碳含量预测的有效性。
仿真结果如图8、9和10所示，其中图8为CO2吸收塔预测值与真实值散点图，反映了所提出的方法相对于其他6种现有方法的优势。可以发现，本申请提出的方法的散点更紧密地分布在45°线周围。为更清晰地展现所提方法的优越性，图9给出了七种模型的误差箱线图，其中，黑色虚线是平均值，红色实线为每种方法的中位数。此外，最大误差和最小误差分别标记为框上方和下方的须线，框高度表示误差的变化范围，可以看出所提方法框线相比于其他方法更窄，具有更高的预测精度。
图10为CO2吸收塔过程中CO2含量的预测曲线，可以发现，仅使用慢特征流或非平稳快特征流难以较好地预测具有慢变特性和非平稳特性的CO2吸收塔过程(KSFR、KSFR-NN和SF-stream只能实现慢特征建模，而未考虑非平稳信息的获取与建模，NFF-stream则只考虑过程的非平稳快特征，并未考虑慢特征)。此外，KSFR方法无法处理复杂的非平稳工业过程数据。尽管KSFR-NN可以大致跟踪输出值，但非平稳信息引起的振荡导致预测性能不理想。LSTM和GRU网络是常用的软测量模型，但只是时序网络，未考虑慢特征和非平稳快特征，不能处理非平稳问题并提取慢变特征，因此建模精度较差。
本申请提出的方法与KSFR、KSFR-NN、LSTM、GRU、SF-stream和NFF-stream对比结果如表3所示。从表3可以看出，本申请提出的方法预测精度最高，可以更好地预测CO2吸收塔产物中的二氧化碳含量。
表3二氧化碳吸收塔过程对比指标
表3中各指标计算公式如下：
其中，Nn表示样本数，y表示真实值，表示预测值，/>表示真实值均值。
本申请将慢特征和非平稳快特征进行融合得到融合特征，进而以融合特征实现对于二氧化碳的预测，第一，可以尽可能保留工业过程数据的完整性和信息丰富性，因为慢特征通常反映了过程中的长期趋势和缓慢变化，这些趋势可能包含了关键的过程信息。而非平稳特征则捕捉了短期波动和突变。结合这两种特征可以提供对过程的更全面、更丰富的描述，有助于更好地理解过程行为。第二，增强了模型的鲁棒性，慢特征通常对噪声和干扰具有一定的抵抗力，因为它们是在较长时间范围内计算的。非平稳特征可能对噪声更敏感，但它们可以帮助检测到突变和异常情况。因此，结合两种特征可以增强模型对噪声和异常值的鲁棒性。第三，可以改善建模性能，将慢特征和非平稳特征结合起来可以提供更准确的输入数据，有助于建立更精确的软测量模型。这可以提高模型的预测性能和稳定性。第四，可以使得模型能够适应不同时间尺度，慢特征主要关注长时间尺度上的趋势，而非平稳特征关注短时间尺度上的变化。这样的组合可以适应不同的时间尺度，从而更好地捕捉过程的动态性。第五，可以提高过程控制和监测的效果，软测量模型通常用于过程控制和监测，结合慢特征和非平稳特征可以更好地帮助操作人员识别和解决过程中的问题，以及及时调整控制策略。总之，将慢特征和非平稳特征结合起来在软测量建模应用中是一种有效的方法，可以提高模型的全面性、鲁棒性和性能，从而更好地满足工业过程监测和控制的需求。这种方法通常需要合适的特征提取和特征选择技术来有效地组合这两种类型的特征。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于双流慢-非平稳快特征提取的CO2含量预测方法，其特征在于，所述方法用于预测CO2吸收塔中CO2含量，所述方法包括：
步骤1，获取CO2吸收塔的输入变量X和质量变量y；
步骤2，基于Siamese网络和D-LSTM网络构建双流深度慢特征及非平稳快变特征提取网络TS-SNFF；
步骤3，随机初始化TS-SNFF网络参数；
步骤4，利用TS-SNFF中慢特征流提取慢特征ZSF，利用非平稳快特征流提取非平稳快特征ZNFF；
步骤5，将慢特征ZSF和非平稳快特征ZNFF利用线性层融合得到新的特征矩阵Z；
步骤6，利用多层感知机构建特征与质量变量之间的软测量回归网络；
步骤7：更新TS-SNFF网络参数；
步骤8：重复步骤4-步骤7直到损失函数收敛；
步骤9：实时采集输入变量输入TS-SNFF以获得二氧化碳含量预测值
2.根据权利要求1所述的方法，其特征在于，所述步骤2中双流深度慢特征及非平稳快变特征提取网络TS-SNFF包括慢特征流和非平稳快特征流两部分；其中，慢特征流采用编码器-解码器框架下的Siamese网络，并使用一个线性映射层用于特征降维得到慢特征SFs，LSTM网络则作为编码器-解码器网络单元；非平稳快特征流包含LSTM层、D-LSTM层和线性映射层用于捕获非平稳快特征NFF；随后，SFs和NFF融合后作为多层感知机回归器的输入。
3.根据权利要求2所述的方法，其特征在于，所述步骤4包括：
步骤4.1，基于Siamese网络的慢特征流提取慢特征；
利用Siamese网络比较输入变量两两之间的相似程度，根据输入变量两两之间的相似程度重构得到各输入变量，并将重构误差引入Siamese网络的目标函数，保证所得慢特征能较好地重构输入变量并保持其慢变特性；
Siamese网络的目标函数为：
其中，α、β、γ分别为慢特征项、输入重构项和去相关项的权重，均为大于0的值；ZSF为Siamese网络所提取慢特征，表示求L2范数的平方，/>表示重构出的输入变量，cov表示协方差函数，f(X)表示编码器网络，I表示单位矩阵；
步骤4.2，基于D-LSTM网络的非平稳快特征流提取非平稳快特征；
D-LSTM由两个LSTM单元构成，第一个LSTM单元利用差分输入获取非平稳信息Dt，随后将非平稳信息Dt作为第二个LSTM单元的输入，获得保留的非平稳特征ZNFF。
4.根据权利要求3所述的方法，其特征在于，所述步骤5包括：
将慢特征ZSF和非平稳快特征ZNFF利用线性层融合得到新的特征矩阵Z，其表达式如下：
Z＝W1[ZSF,ZNFF]+b1
其中，W1和b1分别为特征融合层的权重与偏置。
5.根据权利要求4所述的方法，其特征在于，所述TS-SNFF网络的整体损失函数为：
L＝min(Lslow+Lres+Lpre+Ldec) (7)
其中，第一项为慢特征提取项，用于最小化时间序列中两个相邻样本特征对之间的距离度量，从而获得基础慢特征：
权重α＞0，表示根据t时刻的输入变量提取到的慢特征，/>表示根据t-1时刻的输入变量提取到的慢特征；
第二项为输入重构项，通过编码器-解码器最小化重构误差训练编码器网络，确保慢特征有效性：
权重β＞0；X为输入变量，为重构出的输入变量；
第三项目标为最小化真实输出与预测值之间的误差，其利用融合后的特征作为模型输入：
Y为质量变量真实值，质量变量预测值；
第四项子损失函数通过将协方差矩阵趋近于单位矩阵获得具有单位方差的去相关慢特征：
权重γ＞0，cov表示协方差函数，f(X)表示编码器网络，I表示单位矩阵。
6.根据权利要求5所述的方法，其特征在于，所述步骤6中构建的特征与质量变量之间的软测量回归网络表达式为：
Y＝W3(ReLu(W2·Z+b2))+b3
其中，W3为回归网络第二层的权重，W2为回归网络第一层的权重，Z表示融合特征，b2表示回归网络第一层的偏置，b3表示回归网络第二层的偏置。
7.根据权利要求6所述的方法，其特征在于，所述Siamese网络的目标函数为：
L1＝(1-ξ)d{zi,zj}2+ξmax(0,δ-d{zi,zj}2) (1)
其中，d{zi,zj}表示慢特征对zi和zj的欧氏距离，参数ξ为输入对之间的相似度，若ξ＝0则输入完全相同，若ξ＝1则输入完全不同，δ为阈值；
zi和zj为编码器网络f(x)对输入变量xi和xj进行映射得到的慢特征对。
8.根据权利要求1所述的方法，其特征在于，所述CO2吸收塔的输入变量X包括进入05E001的工艺气压力、05F003液位、05E003出口贫液温度、到05C001的贫液流量、到05C001的半贫液流量、05F003出口工艺气温度、05C001工艺气进出口压差、05C001出口富液温度、05C001液位、06F001的高液位报警值和进入06单元工艺气压力；质量变量y为工业气中残余CO2含量。
9.一种尿素合成方法，其特征在于，所述方法通过权利要求1-8任一所述的方法获取工业气体中残余CO2含量。
10.权利要求1-8任一所述的方法在工业过程中的应用。
CN202311415844.8A 2023-10-30 2023-10-30 基于双流慢-非平稳快特征提取的co2含量预测方法 Active CN117524337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311415844.8A CN117524337B (zh) 2023-10-30 2023-10-30 基于双流慢-非平稳快特征提取的co2含量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311415844.8A CN117524337B (zh) 2023-10-30 2023-10-30 基于双流慢-非平稳快特征提取的co2含量预测方法

Publications (2)

Publication Number Publication Date
CN117524337A true CN117524337A (zh) 2024-02-06
CN117524337B CN117524337B (zh) 2024-05-07

Family

ID=89750442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311415844.8A Active CN117524337B (zh) 2023-10-30 2023-10-30 基于双流慢-非平稳快特征提取的co2含量预测方法

Country Status (1)

Country Link
CN (1) CN117524337B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423503A (zh) * 2017-07-21 2017-12-01 江南大学 基于核慢特征分析和时滞估计的gpr建模
CN111208793A (zh) * 2020-02-20 2020-05-29 浙江大学 基于慢特征分析的非平稳工业过程的状态监测方法
CN112327701A (zh) * 2020-11-09 2021-02-05 浙江大学 面向非线性动态工业过程的慢特征网络监测方法
CN116703857A (zh) * 2023-06-05 2023-09-05 浙江工业大学 一种基于时空域感知的视频动作质量评价方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423503A (zh) * 2017-07-21 2017-12-01 江南大学 基于核慢特征分析和时滞估计的gpr建模
CN111208793A (zh) * 2020-02-20 2020-05-29 浙江大学 基于慢特征分析的非平稳工业过程的状态监测方法
CN112327701A (zh) * 2020-11-09 2021-02-05 浙江大学 面向非线性动态工业过程的慢特征网络监测方法
CN116703857A (zh) * 2023-06-05 2023-09-05 浙江工业大学 一种基于时空域感知的视频动作质量评价方法

Also Published As

Publication number Publication date
CN117524337B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN106897775A (zh) 基于贝叶斯集成学习的软测量建模方法
CN113642666B (zh) 一种基于样本扩充和筛选的主动增强软测量方法
CN110189800B (zh) 基于多粒度级联循环神经网络的炉氧含量软测量建模方法
Shen et al. Predictive modeling with multiresolution pyramid VAE and industrial soft sensor applications
CN111723949A (zh) 基于选择性集成学习的孔隙度预测方法
CN113889198A (zh) 一种基于油色谱时频域信息和残差注意力网络的变压器故障诊断方法及设备
Yang et al. Teacher-student uncertainty autoencoder for the process-relevant and quality-relevant fault detection in the industrial process
CN107910009A (zh) 一种基于贝叶斯推理的码元改写信息隐藏检测方法及系统
Yao et al. An enhanced dynamic artificial immune system based on simulated vaccine for early fault diagnosis with limited data
CN109033524B (zh) 一种基于鲁棒混合模型的化工过程浓度变量在线估计方法
CN117524337B (zh) 基于双流慢-非平稳快特征提取的co2含量预测方法
CN111444963B (zh) 一种基于ssa-svr模型的高炉铁水硅含量预测方法
CN117077819A (zh) 一种水质预测方法
CN116386756A (zh) 一种基于集成神经网络可信度估计与加权学习的软测量建模方法
CN114896895A (zh) 基于门控循环神经网络的脱硝系统入口氮氧化物排放预测方法及系统
CN113707240B (zh) 基于半监督非线性变分贝叶斯混合模型的成分参数鲁棒软测量方法
CN115186584A (zh) 一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法
Zhang et al. A Flexible Monitoring Framework via Dynamic-Multilayer Graph Convolution Network
CN114547976B (zh) 基于金字塔变分自编码器的多采样率数据软测量建模方法
Zhang et al. Knowledge-based genetic algorithms data fusion and its application in mine mixed-gas detection
Yang et al. A Soft-Sensor Modeling Method Based on Gated Stacked Isomorphic Autoencoder
CN117829822B (zh) 一种电力变压器故障预警方法及系统
Geng et al. Study on index model of tropical cyclone intensity change based on projection pursuit and evolution strategy
Wang A new variable selection method for soft sensor based on deep learning
CN115938498A (zh) 基于多变量深度重构神经网络的甲烷化炉碳氧化物含量多步预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant