CN115963788A - 多采样率工业过程关键质量指标在线预测方法 - Google Patents

多采样率工业过程关键质量指标在线预测方法 Download PDF

Info

Publication number
CN115963788A
CN115963788A CN202211591643.9A CN202211591643A CN115963788A CN 115963788 A CN115963788 A CN 115963788A CN 202211591643 A CN202211591643 A CN 202211591643A CN 115963788 A CN115963788 A CN 115963788A
Authority
CN
China
Prior art keywords
input data
network
sampling
data
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211591643.9A
Other languages
English (en)
Inventor
王雅琳
刘柢炬
赵金元
刘晨亮
李桂海
谭栩杰
田加科
林邠
董铭江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruitai Zhilian Technology Co ltd
Central South University
Original Assignee
Beijing Ruitai Zhilian Technology Co ltd
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruitai Zhilian Technology Co ltd, Central South University filed Critical Beijing Ruitai Zhilian Technology Co ltd
Priority to CN202211591643.9A priority Critical patent/CN115963788A/zh
Publication of CN115963788A publication Critical patent/CN115963788A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请适用于工业过程质量指标在线预测技术领域，提供了一种多采样率工业过程关键质量指标在线预测方法，包括：挑选影响工业过程关键质量指标的过程变量作为建模辅助变量；获取辅助变量时间序列集；按照采样频率从高至低的顺序，对辅助变量时间序列集中的时间序列进行排序；利用多粒度补全模型对排序后的原始输入数据进行数据补全重构；利用Transformer网络提取数据样本级相关性，输出深层特征；将深层特征输入全连接层，得到关键质量指标的预测值；对多层卷积网络、样本采样类别编码网络、编码器、解码器和全连接层构成的指标预测模型进行训练；利用训练后的指标预测模型实时预测质量指标。本申请能提高关键质量指标的预测精确度。

Description

多采样率工业过程关键质量指标在线预测方法
技术领域
本申请属于工业过程质量指标在线预测技术领域，尤其涉及一种多采样率工业过程关键质量指标在线预测方法。
背景技术
在现代工业过程中，监控关键质量变量以保持过程的安全状态并提供有效的控制和优化方法是非常重要的。然而，由于恶劣的测量环境和昂贵的分析成本，很难实时测量这些重要的质量变量。因此，随着时间的推移，软测量技术应运而生，它利用与关键质量变量相关的辅助过程变量构建数学预测模型从而估计无法直接测量的关键质量变量。一般来说，软测量技术可分为两类：基于第一性原理的软测量模型和数据驱动的软测量模型。随着过程复杂性的增加，需要明确反应机制的第一性原理软测量模型很难能够提供准确的预测性能。相反，无需知晓反应机理、仅依赖于数据特点的数据驱动软测量模型已成为当前工业过程中的主流方法，这也得益于分布式控制系统能提供丰富得历史数据资源。
近年来，数据驱动软测量模型的研究在工业数据建模方面取得了许多重要成果。然而，大多数这些方法都是在假设工业过程具有统一采样率的基础上构建的，而没有考虑普遍存在的多采样率过程。事实上，由于测量技术和硬件成本的限制，实际工业过程的许多变量，如温度、压力、流量、成分和浓度等，无法以统一的采样频率域速率获得。目前，针对这类问题最常用的做法是利用下采样技术将高频采样变量与低频采样变量的采样点对齐从而组成完整数据集，但是这类方法会丢失大量已知的数据信息且无法在非完整采样时刻实现精准建模。此外，还有一些研究学者先采用均值填充、线性插值等补全算法对多采样率数据集进行上采样补全，而后在构建的完整数据集上建模。但目前采用的补全方式多是浅层、局部的，难以有效挖掘数据中存在的复杂相关关系，这导致最终补全效果难以达到预期。此外，这种建模思路下，补全与建模是两个割裂的过程，补全过程缺乏建模任务的指导，而建模又极度依赖补全的效果，这造成最终建模精度不可控，关键质量指标的预测精确度低。
发明内容
本申请实施例提供了一种多采样率工业过程关键质量指标在线预测方法，可以解决关键质量指标的预测精确度低的问题。
本申请实施例提供了一种多采样率工业过程关键质量指标在线预测方法，包括：
确定与工业过程关键质量指标相关的多个过程变量，并将多个过程变量中的每一过程变量作为一建模辅助变量；
获取辅助变量时间序列集；辅助变量时间序列集包括每个建模辅助变量在预设历史时间段内多次采样所组成的时间序列；
按照采样频率从高至低的顺序，对辅助变量时间序列集中的时间序列进行排序，得到原始输入数据；
利用多粒度补全模型对原始输入数据进行数据补全重构，得到重构的原始数据；多粒度补全模型包括依次连接的多层卷积网络、样本采样类别编码网络、Transformer网络的编码器以及线性输出层；
以原始数据的重构误差为损失函数，对多粒度补全模型进行无监督训练，得到训练后的多粒度补全模型；
利用Transformer网络的解码器对样本采样类别编码网络输出的编码后的输入数据，以及编码器输出的深层特征进行处理，得到原始数据的最终深层特征；
将最终深层特征输入全连接层进行处理，得到原始数据对应的关键质量指标的预测值；
以预测值的预测误差为损失函数，对由依次连接的多层卷积网络、样本采样类别编码网络、编码器、解码器和全连接层构成的指标预测模型进行训练，得到训练后的指标预测模型；
实时采集每一建模辅助变量的数值，并将实时采集到的数值输入训练后的指标预测模型进行指标预测，得到关键质量指标的实时预测值。
可选的，利用多粒度补全模型对原始输入数据进行数据补全重构，得到重构的原始数据，包括：
利用多层卷积网络对原始输入数据进行处理，得到建模辅助变量在预设历史时间段内未采样点的粗粒度估计值，并根据粗粒度估计值和原始输入数据得到粗粒度补全后的输入数据；
利用样本采样类别编码网络对粗粒度补全后的输入数据进行采样类别编码，得到编码后的输入数据；
将编码后的输入数据输入Transformer网络的编码器，通过编码器对粗粒度估计值进行细粒度修正；
将细粒度修正后的输入数据输入线性输出层进行数据重构，得到重构的原始数据。
可选的，利用多层卷积网络对原始输入数据进行处理，得到建模辅助变量在预设历史时间段内未采样点的粗粒度估计值，并根据粗粒度估计值和原始输入数据得到粗粒度补全后的输入数据，包括：
通过公式
Figure BDA0003994779230000032
得到粗粒度补全后的输入数据Xconv；
其中，MultiConv()表示多层卷积网络，NC表示多层卷积网络的层数为模型超参数，Xblock表示原始输入数据，Mmiss表示采样标记矩阵；
Figure BDA0003994779230000031
Mmiss(xi,j)表示Mmiss中第i行第j列的元素，xi,j可观测表示Xblock中第i行第j列有采样值，xi,j未被采样表示Xblock中第i行第j列没有采样值。
可选的，利用样本采样类别编码网络对粗粒度补全后的输入数据进行采样类别编码，得到编码后的输入数据，包括：
通过公式Ns＝LCM{r1,r2,…,rk,…rm,ry}计算最小公倍数Ns；LCM{}表示求解集合的最小公倍数，rk表示第k个建模辅助变量的采样间隔相较基准采样间隔的倍数，1≤k≤m，m表示建模辅助变量的总数，ry表示关键质量指标在预设历史时间段内采样时的采样间隔相较基准采样间隔的倍数；
构建大小为Ns×dmodel的可学习的参数矩阵Xs；Xs中各行向量互不相同，dmodel表示原始输入数据映射到编码器中的维度；
将参数矩阵Xs与粗粒度补全后的输入数据Xconv相加，得到编码后的输入数据。
可选的，重构的原始数据Xrecon的表达式为：
Figure BDA0003994779230000043
其中，Linear()表示线性输出层，Encoder()表示Transformer网络的编码器，Ne表示编码器的层数为网络超参数，Embedding()表示样本采样类别编码网络。
可选的，利用Transformer网络的解码器对样本采样类别编码网络输出的编码后的输入数据，以及编码器输出的深层特征进行处理，得到原始数据的最终深层特征，包括：
将样本采样类别编码网络输出的编码后的输入数据作为Transformer网络的解码器的查询矩阵，并将编码器输出的深层特征作为解码器的键值对矩阵；
通过公式
Figure BDA0003994779230000044
得到原始数据的最终深层特征Xhidden；
其中，
Figure BDA0003994779230000045
Figure BDA0003994779230000046
Decoder()表示解码器，Nd表示解码器的层数为网络超参数，Q表示解码器需输入的查询矩阵，K表示解码器需输入的键矩阵，V表示解码器需输入的值矩阵，LinearQ()表示产生Q对应的线性映射层，LinearK()表示产生K对应的线性映射层，LinearV()表示产生V对应的线性映射层。
可选的，将最终深层特征输入全连接层进行处理，得到原始数据对应的关键质量指标的预测值，包括：
通过公式
Figure BDA0003994779230000041
得到原始数据对应的关键质量指标的预测值；
其中，W表示全连接层的权重，b表示全连接层的偏置，t表示预测时刻，tp表示多步预测末端时刻，p表示多步预测窗口长度，
Figure BDA0003994779230000042
表示t至t+p时刻关键质量指标的多步预测值。
本申请的上述方案有如下的有益效果：
在本申请的实施例中，由于对原始输入数据进行数据补全重构的多粒度补全模型由多层卷积网络、样本采样类别编码网络、Transformer网络的编码器以及线性输出层构成的，从而使得多粒度补全模型可以充分挖掘多采样率数据中存在的变量级局部相关关系与样本级长范围相关关系，通过多层级相关关系的融合与相互补充实现对多采样率数据中未采样点的准确估计，进而使得最终构建的指标预测模型的预测精度高、泛化性好，实现提高关键质量指标的预测精确度的效果。
此外，在此基础上，结合Transformer网络长范围演化规律建模能力，可以充分利用数据中蕴含的信息，实现关键质量指标的长范围多步实时预测。
本申请的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的多采样率工业过程关键质量指标在线预测方法的流程图；
图2为本申请一实施例提供编码器和解码器的结构示意图；
图3为本申请一实施例提供的氢裂化的简化流程图；
图4为本申请一实施例提供的多采样率Transformer网络结构的示意图；
图5为本申请一实例提供的两种采样率下LSTNet模型对轻石脑油中异戊烷含量的预测值和真实值对比曲线图；
图6为本申请一实例提供的两种采样率下LogTrans模型对轻石脑油中异戊烷含量的预测值和真实值对比曲线图；
图7为本申请一实例提供的两种采样率下Informer模型对轻石脑油中异戊烷含量的预测值和真实值对比曲线图；
图8为本申请一实例提供的两种采样率下多采样率Transformer模型对轻石脑油中异戊烷含量的预测值和真实值对比曲线图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
针对目前关键质量指标的预测精确度低的问题，本申请提供了一种多采样率工业过程关键质量指标在线预测方法，该方法通过利用由多层卷积网络、样本采样类别编码网络、Transformer网络的编码器以及线性输出层构成的多粒度补全模型对原始输入数据进行数据补全重构，从而使得多粒度补全模型可以充分挖掘多采样率数据中存在的变量级局部相关关系与样本级长范围相关关系，通过多层级相关关系的融合与相互补充实现对多采样率数据中未采样点的准确估计，进而使得最终构建的指标预测模型的预测精度高、泛化性好，实现提高关键质量指标的预测精确度的效果。
下面结合具体实施例对本申请提供的多采样率工业过程关键质量指标在线预测方法进行示例性的说明。
本申请实施例提供了一种多采样率工业过程关键质量指标在线预测方法，该方法可以由终端设备执行，也可以由应用于终端设备中的装置(比如芯片)来执行，下述实施例以该方法由终端设备执行为例。作为一种示例，该终端设备可以是平板，服务器或者笔记本电脑等，本申请实施例对此不做限定。
如图1所示，本申请实施例提供的多采样率工业过程关键质量指标在线预测方法包括如下步骤：
步骤11，确定与工业过程关键质量指标相关的多个过程变量，并将多个过程变量中的每一过程变量作为一建模辅助变量。
在本申请的一些实施例中，可基于工艺机理和操作经验等，挑选出对工业过程关键质量指标有影响的若干过程变量作为建模辅助变量。
步骤12，获取辅助变量时间序列集，该辅助变量时间序列集包括每个建模辅助变量在预设历史时间段内多次采样所组成的时间序列。
在本申请的一些实施例中，上述预设历史时间段可以为根据实际需要设定的历史时间段，如2022年1月10日至2022年8月9日，为便于后文描述，将该预设历史时间段记为1至T。
上述时间序列集
Figure BDA0003994779230000071
是所有建模辅助变量在1至T时间内以不同的采样频率收集若干次后得到的。为便于后续模型的训练，在对所有建模辅助变量进行采集的同时，还以
Figure BDA0003994779230000072
为采样间隔对关键质量指标进行采集，得到关键质量指标的时间序列
Figure BDA0003994779230000073
进而得到质量指标时间序列集
Figure BDA0003994779230000074
具体的，
Figure BDA0003994779230000081
的表达式如下：
Figure BDA0003994779230000082
其中，
Figure BDA0003994779230000083
表示基准采样间隔(一般以全采样变量的采样间隔作为基准采样间隔)，m表示建模辅助变量的数量，
Figure BDA0003994779230000084
表示第k个建模辅助变量在1至T时间内以
Figure BDA0003994779230000085
(rk和ry均为正整数)为采样间隔多次采样所组成的时间序列，若
Figure BDA0003994779230000086
时刻该建模辅助变量无采样值则该时刻值
Figure BDA0003994779230000087
i为正整数。
可以理解的是，为便于数据处理，在得到时间序列集
Figure BDA0003994779230000088
后，可对
Figure BDA0003994779230000089
进行数据归一化预处理得到处理后的时间序列集
Figure BDA00039947792300000810
并将处理后的
Figure BDA00039947792300000811
中的
Figure BDA00039947792300000812
作为步骤12中的辅助变量时间序列集。其中，各建模辅助变量的采样频率(即采样率)的组合Ω为：
Figure BDA00039947792300000813
关键质量指标的采样频率为
Figure BDA00039947792300000814
在本申请的一些实施例中，对
Figure BDA00039947792300000815
进行数据归一化预处理的方式为如下：
通过如下公式对
Figure BDA00039947792300000816
中第i行第j列的值xi′,j进行归一化处理：
Figure BDA00039947792300000817
通过如下公式对
Figure BDA00039947792300000818
中第i个值yi′进行归一化处理：
Figure BDA00039947792300000819
其中，xi,j表示xi′,j归一化后的值，xmax,j和xmin,j分别表示第j个建模辅助变量的最大值和最小值，yi表示yi′归一化后的值，ymax和ymin分别表示关键质量指标的最大值和最小值。
步骤13，按照采样频率从高至低的顺序，对辅助变量时间序列集中的时间序列进行排序，得到原始输入数据。
在本申请的一些实施例中，同类型的建模辅助变量的采样频率相同，为提升后续数据补全的准确性，在按照采样频率从高至低的顺序，对辅助变量时间序列集中的时间序列进行排序时，可将采样频率相同的建模辅助变量对应的时间序列被排列到一起。
步骤14，利用多粒度补全模型对原始输入数据进行数据补全重构，得到重构的原始数据。
上述多粒度补全模型包括依次连接的多层卷积网络、样本采样类别编码网络、变换神经(Transformer)网络的编码器以及线性输出层。其中，多层卷积网络主要用于利用自身的局部时空特征捕捉能力初步获取未采样点数据粗粒度估计值，样本采样类别编码网络主要用于将多层卷积网络输出的数据转换为Transformer网络的编码器能识别的数据，该编码器主要用于对未采样数据点的粗粒度估计值进行细粒度修正，线性输出层主要用于将编码器输出的深层特征进行重构，得到重构的原始数据。其中，上述线性输出层可以具体为一全连接层。
值得一提的是，上述多粒度补全模型可以充分挖掘多采样率数据中存在的变量级局部相关关系与样本级长范围相关关系，通过多层级相关关系的融合与相互补充实现对多采样率数据中未采样点的准确估计，进而使得最终构建的指标预测模型的预测精度高、泛化性好。
步骤15，以原始数据的重构误差为损失函数，对多粒度补全模型进行无监督训练，得到训练后的多粒度补全模型。
在本申请的一些实施例中，可以原始数据的重构误差为损失函数，选择合适的优化器、学习率和迭代次数等，无监督更新多粒度补全模型的权重参数，直至模型收敛，得到训练后的多粒度补全模型。
步骤16，利用Transformer网络的解码器对样本采样类别编码网络输出的编码后的输入数据，以及编码器输出的深层特征进行处理，得到原始数据的最终深层特征。
在本申请的一些实施例中，上述Transformer网络的解码器主要用于在多粒度补全完成之后，进一步提取相关关系，输出原始数据的最终深层特征。
步骤17，将最终深层特征输入全连接层进行处理，得到原始数据对应的关键质量指标的预测值。
在本申请的一些实施例中，上述全连接层主要用于利用解码器输出的最终深层特征预测关键质量指标，输出关键质量指标的预测值。
步骤18，以预测值的预测误差为损失函数，对由依次连接的多层卷积网络、样本采样类别编码网络、编码器、解码器和全连接层构成的指标预测模型进行训练，得到训练后的指标预测模型。
在本申请的一些实施例中，可以预测值的预测误差为损失函数，选择合适的优化器、学习率和迭代次数等，有监督反向更新整个指标预测模型的权重参数，直至模型收敛，得到训练后的指标预测模型。
步骤19，实时采集每一建模辅助变量的数值，并将实时采集到的数值输入训练后的指标预测模型进行指标预测，得到关键质量指标的实时预测值。
在本申请的一些实施例中，在得到训练后的指标预测模型后，可将实时采集的所有建模辅助变量的数值输入训练后的指标预测模型进行关键质量指标的实时预测。
值得一提的是，在本申请的一些实施例中，由于对原始输入数据进行数据补全重构的多粒度补全模型由多层卷积网络、样本采样类别编码网络、Transformer网络的编码器以及线性输出层构成的，从而使得多粒度补全模型可以充分挖掘多采样率数据中存在的变量级局部相关关系与样本级长范围相关关系，通过多层级相关关系的融合与相互补充实现对多采样率数据中未采样点的准确估计，进而使得最终构建的指标预测模型的预测精度高、泛化性好，实现提高关键质量指标的预测精确度的效果。
此外，在此基础上，结合Transformer网络长范围演化规律建模能力，可以充分利用数据中蕴含的信息，实现关键质量指标的长范围多步实时预测。
下面结合具体实施例对原始输入数据的数据补全重构进行示例性的说明。
在本申请的一些实施例中，上述步骤14，利用多粒度补全模型对原始输入数据进行数据补全重构，得到重构的原始数据的具体实现方式包括如下步骤：
步骤一，利用多层卷积网络对原始输入数据进行处理，得到建模辅助变量在预设历史时间段内未采样点的粗粒度估计值，并根据粗粒度估计值和原始输入数据得到粗粒度补全后的输入数据。
在本申请的一些实施例中，具体可通过公式
Figure BDA0003994779230000111
得到粗粒度补全后的输入数据Xconv。
其中，MultiConv()表示多层卷积网络，NC表示多层卷积网络的层数为模型超参数，Xblock表示原始输入数据，Mmiss表示采样标记矩阵。
Figure BDA0003994779230000112
Mmiss(xi,j)表示Mmiss中第i行第j列的元素，xi,j可观测表示Xblock中第i行第j列有采样值，xi,j未被采样表示Xblock中第i行第j列没有采样值。
步骤二，利用样本采样类别编码网络对粗粒度补全后的输入数据进行采样类别编码，得到编码后的输入数据。
在本申请的一些实施例中，获取编码后的输入数据的具体实现方式包括如下步骤：
第一步，通过公式Ns＝LCM{r1,r2,…,rk,…rm,ry}计算最小公倍数Ns。
其中，LCM{}表示求解集合的最小公倍数，rk表示第k个建模辅助变量的采样间隔相较基准采样间隔的倍数，1≤k≤m，m表示建模辅助变量的总数，ry表示关键质量指标在预设历史时间段内采样时的采样间隔相较基准采样间隔的倍数。
第二步，构建大小为Ns×dmodel的可学习的参数矩阵Xs。
其中，Xs中各行向量互不相同，dmodel表示原始输入数据映射到编码器中的维度。
第三步，将参数矩阵Xs与粗粒度补全后的输入数据Xconv相加，得到编码后的输入数据。
值得一提的是，上述样本采样类别编码网络可以拓展至任意多采样率模型，辅助其识别不同时刻样本的采样情况，提高建模精度。
步骤三，将编码后的输入数据输入Transformer网络的编码器，通过编码器对粗粒度估计值进行细粒度修正。
步骤四，将细粒度修正后的输入数据输入线性输出层进行数据重构，得到重构的原始数据。
在本申请的一些实施例中，重构的原始数据Xrecon的表达式为：
Figure BDA0003994779230000113
其中，Linear()表示线性输出层，Encoder()表示Transformer网络的编码器，Ne表示编码器的层数为网络超参数，Embedding()表示样本采样类别编码网络。
基于上述原始数据的重构过程，上述步骤15中的原始数据的重构误差J1的表达式可以为：
Figure BDA0003994779230000121
其中，xi,j和
Figure BDA0003994779230000122
分别表示第j个建模辅助变量的第i个采样时刻的原始采样值与模型重构值，N表示采样时刻的数量。上述损失用于描述模型在多粒度补全中对于可观测点的重构精度，这是由于实际过程未采样点的数据无法收集，因此使用模型对于可观测点的重构误差代表模型多粒度补全的性能，在训练过程的每一步迭代中，均利用计算出的损失函数反向传播更新网络参数直至模型(多粒度补全模型)达到收敛。
下面结合具体实施例对最终深层特征的提取过程进行示例性的说明。
在本申请的一些实施例中，上述步骤16，利用Transformer网络的解码器对样本采样类别编码网络输出的编码后的输入数据，以及编码器输出的深层特征进行处理，得到原始数据的最终深层特征的具体实现方式为：
首先将样本采样类别编码网络输出的编码后的输入数据作为Transformer网络的解码器的查询矩阵，并将编码器输出的深层特征作为解码器的键值对矩阵；然后通过公式
Figure BDA0003994779230000123
得到原始数据的最终深层特征Xhidden。
其中，
Figure BDA0003994779230000124
Figure BDA0003994779230000125
Decoder()表示解码器，Nd表示解码器的层数为网络超参数，Q表示解码器需输入的查询矩阵，K表示解码器需输入的键矩阵，V表示解码器需输入的值矩阵，LinearQ()表示产生Q对应的线性映射层，LinearK()表示产生K对应的线性映射层，LinearV()表示产生V对应的线性映射层。
下面结合具体实施例对预测值的获取过程进行示例性的说明。
在本申请的一些实施例中，上述步骤17，将最终深层特征输入全连接层进行处理，得到原始数据对应的关键质量指标的预测值的具体实现方式为：通过公式
Figure BDA0003994779230000126
得到原始数据对应的关键质量指标的预测值。
其中，W表示全连接层的权重，b表示全连接层的偏置，t表示预测时刻，
Figure BDA0003994779230000131
i为正整数，tp表示多步预测末端时刻，
Figure BDA0003994779230000132
p表示多步预测窗口长度，
Figure BDA0003994779230000133
表示t至t+p时刻关键质量指标的多步预测值。
在本申请的一些实施例中，上述p可根据实际需要进行设定，
Figure BDA0003994779230000134
为是t至t+p时刻内关键质量指标的值。
示例性的，在利用训练后的指标预测模型进行关键质量指标的实时预测时，假设p为5步，基准间隔
Figure BDA0003994779230000135
为1分钟，那么预测的是未来5分钟的关键质量指标值。
基于上述最终深层特征以及预测值的获取过程，上述步骤18中预测值的预测误差的表达式为：
Figure BDA0003994779230000136
其中，yi,
Figure BDA0003994779230000137
分别表示i(t≤i≤tp)时刻关键质量指标的真实值和模型预测值，Xi,
Figure BDA0003994779230000138
分别表示i(t≤i≤tp)时刻建模辅助变量的真实值和重构值，Μmiss(yi)表示关键质量指标中的可观测项，1-Μmiss(Xi)表示建模辅助变量中的可观测项，上述损失包含有可观测质量指标预测误差和可观测辅助变量重构误差两项损失，λ表示权重系数，用于平衡两项损失的重要性，而后以得到的损失函数反向传播再次更新整个网络的参数直至收敛。
其中，训练后的指标预测模型中的编码器和解码器的具体结构如图2所示，由于其二者均为传统Transformer网络中的结构，因此，在此不对其结构以及原理进行过多赘述。
在本申请的一些实施例中，为提升预测的精确性，在利用训练后的指标预测模型进行关键质量指标实时预测前，可先利用采集到的测试样本集(可以为
Figure BDA0003994779230000139
中的部分数据)验证训练后的指标预测模型的预测与泛化性能，验证合格后再使用实时采集的建模辅助变量的数值，预测未来关键质量指标值，实现关键质量指标的实时在线预测。反之，若验证不合格，则重复步骤18重新训练模型，直至指标预测模型验证合格。
其中，利用采集到的测试样本集验证训练后的指标预测模型的预测与泛化性能的具体实现方式如下：
假设归一化并重组后的测试样本集
Figure BDA0003994779230000141
可表示如下：
Figure BDA0003994779230000142
其中，
Figure BDA0003994779230000143
表示测试样本集中的辅助变量时间序列集，
Figure BDA0003994779230000144
表示测试样本集中第k个建模辅助变量在T1至T2时间内以
Figure BDA0003994779230000145
为采样间隔多次采样所组成的时间序列，
Figure BDA0003994779230000146
表示测试样本集中的质量指标时间序列集，
Figure BDA0003994779230000147
示测试样本集中关键质量指标在T1至T2时间内以
Figure BDA0003994779230000148
为采样间隔多次采样所组成的时间序列，T1,T2分别表示测试样本收集的起始时间和终止时间。那么，测试集上的预测输出
Figure BDA0003994779230000149
可通过已训练的模型获得：
Figure BDA00039947792300001410
其中，(Xt)test,
Figure BDA00039947792300001411
分别表示t(T1≤t≤T2)时刻的测试输入和对应的关键质量指标预测值，fMultirate-Former()表示已训练的指标预测模型，而通过比较模型预测得到的关键质量指标值与测试集真实的关键质量指标值即可获得模型的泛化误差，其中泛化误差计算如下：
Figure BDA00039947792300001412
Figure BDA00039947792300001413
其中，MAE表示平均绝对误差，RMSE表示均方根误差，(yi,j)test,
Figure BDA0003994779230000151
分别表示第i个测试样本在p步预测窗口内第j步关键质量指标的实际值和模型预测值，Ntest表示测试样本数量。
值得一提的是，本申请实施例提供的多采样率工业过程关键质量指标在线预测方法(简称为Multirate-Former)通过多粒度补全与相关关系建模相结合的策略充分挖掘多采率数据中蕴含的复杂多层级相关关系，不仅能实现多采样率工业过程关键质量指标的精准建模，还能够获得未采样点的准确估计值；此外，用于识别不同时刻样本采样状态的采样类别编码结构具有通用性，丰富了多采样率工业过程处理手段、提高了软测量模型的适用性与准确性。
下面以加氢裂化过程(加氢裂化过程如图3所示)为实例对上述多采样率工业过程关键质量指标在线预测方法进行示例性说明。
具体的，可利用如图4所示的多采样率Transformer网络结构执行上述多采样率工业过程关键质量指标在线预测方法，该方法包括如下步骤：
S1：从加氢裂化过程中选取对轻石脑油异戊烷含量产生影响的43个变量(如表1所示)作为输入变量，提取了从2015年12月3日至2018年12月28日共2600条有标签样本。
表1
Figure BDA0003994779230000152
Figure BDA0003994779230000161
S2：对步骤S1中收集到的数据
Figure BDA0003994779230000162
中进行归一化数据预处理得到处理后的时间序列
Figure BDA0003994779230000163
并获取各变量的采样率
Figure BDA0003994779230000164
Ω表示所有变量的采样率构成的组合，其中归一化计算公式如下：
Figure BDA0003994779230000165
Figure BDA0003994779230000166
式中xmin,j和xmax,j分别表示第j个过程变量的最小值和最大值，ymin和ymax分别表示质量变量(即轻石脑油异戊烷含量)的最小值和最大值。
将前2300个样本作为训练集用于训练模型寻找最优参数组合，后300个样本用做测试集用于后续测试训练好模型的泛化性能。
S3：将S2中获得的序列
Figure BDA0003994779230000171
变量进行数据分块重新排列，采样率相同的变量被排列到一起，并按采样率从高到低重构模型输入数据得到新的输入数据Xblock。
S4：构建针对数据未采样点的多粒度补全模型，首先利用多层卷积网络的局部时空特征捕捉能力初步获取未采样点数据粗粒度估计值，而后对初步补全数据赋予采样类别编码并将其输入至Transformer编码器进行样本级相似性捕捉以进一步细粒度修正粗粒度估计值，最后以采样点数据的重构误差为损失函数无监督更新多粒度补全网络的权重参数，其中S4具体包括：
采用如下设计的多层卷积网络结构获取未采样点的粗粒度估计值：
Xconv＝MultiConvNC(Xblock)*Mmiss(Xblock)+Xblock
Figure BDA0003994779230000172
其中Xconv为粗粒度补全后的输入数据，Mmiss为采样标记矩阵，NC表示卷积网络层数为模型超参数，MultiConv()为多层卷积网络。
在此基础上先对粗粒度估计值进行采样类别编码：
首先计算所有变量相较基准采样间隔的最小公倍数Ns：
Ns＝LCM{r1,r2,…,rk,…rm,ry}
其中LCM{}表示求解集合的最小公倍数；而后构建大小为Ns×dmodel的可学习的参数矩阵Xs，构建时需要保证Xs中的行向量间是互不相同的；将得到的Xs矩阵与数据矩阵Xconv相加便得到编码后的数据。
而后进一步利用Transformer网络的编码器对未采样数据点的粗粒度估计值进行细粒度修正，并对原始输入数据Xblock进行重构：
Figure BDA0003994779230000181
其中Linear()和Encoder()分别为线性输出层和Transformer编码器，Embedding()为样本编码层，Xrecon为原始数据的重构，Ne表示编码器层数为网络超参数。
而后以采样点数据的重构误差为损失函数，选择合适的优化器、学习率和迭代次数等，无监督更新多粒度补全网络的权重参数：
Figure BDA0003994779230000182
其中xi,j和
Figure BDA0003994779230000183
分别表示第j个变量的第i个采样时刻的原始采样值与模型重构值。上述损失用于描述模型在多粒度补全中对于可观测点的重构精度，这是由于实际过程未采样点的数据无法收集，因此使用模型对于可观测点的重构误差代表模型多粒度补全的性能，在训练过程的每一步迭代中，均利用计算出的损失函数反向传播更新网络参数直至模型达到收敛。
S5：在多粒度补全完成之后，利用编码后的数据作为Transformer网络解码器的查询矩阵，编码器产生的深层特征作为解码器的键值对矩阵，进一步提取相关关系：
Figure BDA0003994779230000191
Q＝LinearQ(Embedding(Xconv))
Figure BDA0003994779230000192
Figure BDA0003994779230000193
其中Xhidden表示最终得到的深层特征，Decoder()表示Transformer解码器，Nd表示解码器层数为网络超参数，Q,K,V分别表示Transformer编码器需输入的查询向量、键向量和值向量，它们分别由粗粒度补全后数据经嵌入层所得的特征Embedding(Xconv)和细粒度补全后所得的特征
Figure BDA0003994779230000194
(Embedding(Xconv))线性映射产生，LinearQ()、LinearK()和LinearV()分别表示产生Q,K,V对应的线性映射层。
S6：最后将解码器得到的深层特征输入至一个全连接层得到关键质量指标的预测值，并以预测误差为损失函数，选择合适的优化器、学习率和迭代次数等，有监督反向更新整个网络的权重参数：
Figure BDA0003994779230000195
其中W,b分别为全连接层的权重和偏置，
Figure BDA0003994779230000196
(1≤t≤T,i为正整数)为当前时刻，
Figure BDA0003994779230000197
(1≤tp≤T)为多步预测末端时刻，p为多步预测窗口长度，
Figure BDA0003994779230000198
表示t至t+p时刻关键质量指标的多步预测值，其中模型预测损失函数表示如下：
Figure BDA0003994779230000201
其中yi,
Figure BDA0003994779230000202
分别表示i(t≤i≤tp)时刻质量变量的真实值和模型预测值，Xi,
Figure BDA0003994779230000203
分别表示i(t≤i≤tp)时刻辅助变量的真实值和模型预测值，上述损失包含有可观测质量指标预测误差和可观测辅助变量重构误差两项损失，λ用于平衡两项损失的重要性，而后以得到的损失函数反向传播再次更新整个网络的参数直至收敛。
S7：加载步骤S6中训练获得的权重，并利用采集到的测试样本集验证已训练模型的预测与泛化性能，验证合格后即可使用实时采集的过程变量值，预测未来关键质量指标值，从而实现关键质量指标的实时在线预测，反之则返回S6重新训练模型。
利用标准的平均绝对误差(MAE)和均方根误差(RMSE)来评价所获得的软测量模型的预测精度，计算如下：
Figure BDA0003994779230000204
Figure BDA0003994779230000205
其中(yi,j)test,
Figure BDA0003994779230000206
分别表示第i个测试样本在p步预测窗口内第j步质量变量的实际值和模型预测值。
其中，分别利用长、短期时间序列网络(LSTNet)模型、LogTrans模型、Informer模型(LogTrans模型和Informer模型均为目前常用的多步预测模型)和本申请的在线预测方法(即多采样率Transformer模型)对关键质量指标进行预测的预测结果分别如图5、6、7、8所示，标准的平均绝对误差(MAE)和均方根误差(RMSE)如表2所示。可以看出本申请提供的基于Transformer网络的多采样率工业过程关键质量指标预测建模方法较Informer模型、LogTrans模型以及LSTNet模型等传统时间序列预测方法可以实现更精确的预测，这也验证了本申请的有效性。从结果也可以看到无论是增加预测的步长还是增加采样频率的种类，本申请所提出的方法都能取得最优的结果。
表2
Figure BDA0003994779230000211
以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (7)

1.一种多采样率工业过程关键质量指标在线预测方法，其特征在于，包括：
确定与工业过程关键质量指标相关的多个过程变量，并将多个过程变量中的每一过程变量作为一建模辅助变量；
获取辅助变量时间序列集；所述辅助变量时间序列集包括每个建模辅助变量在预设历史时间段内多次采样所组成的时间序列；
按照采样频率从高至低的顺序，对所述辅助变量时间序列集中的时间序列进行排序，得到原始输入数据；
利用多粒度补全模型对所述原始输入数据进行数据补全重构，得到重构的原始数据；所述多粒度补全模型包括依次连接的多层卷积网络、样本采样类别编码网络、Transformer网络的编码器以及线性输出层；
以所述原始数据的重构误差为损失函数，对所述多粒度补全模型进行无监督训练，得到训练后的多粒度补全模型；
利用所述Transformer网络的解码器对所述样本采样类别编码网络输出的编码后的输入数据，以及所述编码器输出的深层特征进行处理，得到所述原始数据的最终深层特征；
将所述最终深层特征输入全连接层进行处理，得到所述原始数据对应的关键质量指标的预测值；
以所述预测值的预测误差为损失函数，对由依次连接的所述多层卷积网络、所述样本采样类别编码网络、所述编码器、所述解码器和所述全连接层构成的指标预测模型进行训练，得到训练后的指标预测模型；
实时采集每一所述建模辅助变量的数值，并将实时采集到的所述数值输入训练后的指标预测模型进行指标预测，得到所述关键质量指标的实时预测值。
2.根据权利要求1所述的方法，其特征在于，所述利用多粒度补全模型对所述原始输入数据进行数据补全重构，得到重构的原始数据，包括：
利用多层卷积网络对所述原始输入数据进行处理，得到所述建模辅助变量在所述预设历史时间段内未采样点的粗粒度估计值，并根据所述粗粒度估计值和所述原始输入数据得到粗粒度补全后的输入数据；
利用所述样本采样类别编码网络对粗粒度补全后的输入数据进行采样类别编码，得到编码后的输入数据；
将编码后的输入数据输入所述Transformer网络的编码器，通过所述编码器对所述粗粒度估计值进行细粒度修正；
将细粒度修正后的输入数据输入所述线性输出层进行数据重构，得到重构的原始数据。
3.根据权利要求2所述的方法，其特征在于，所述利用多层卷积网络对所述原始输入数据进行处理，得到所述建模辅助变量在所述预设历史时间段内未采样点的粗粒度估计值，并根据所述粗粒度估计值和所述原始输入数据得到粗粒度补全后的输入数据，包括：
通过公式
Figure FDA0003994779220000021
得到粗粒度补全后的输入数据Xconv；
其中，MultiConv(·)表示多层卷积网络，NC表示多层卷积网络的层数为模型超参数，Xblock表示所述原始输入数据，Mmiss表示采样标记矩阵；
Figure FDA0003994779220000022
Mmiss(xi,j)表示Mmiss中第i行第j列的元素，xi,j可观测表示Xblock中第i行第j列有采样值，xi,j未被采样表示Xblock中第i行第j列没有采样值。
4.根据权利要求3所述的方法，其特征在于，所述利用所述样本采样类别编码网络对粗粒度补全后的输入数据进行采样类别编码，得到编码后的输入数据，包括：
通过公式Ns＝LCM{r1,r2,…,rk,…rm,ry}计算最小公倍数Ns；LCM{·}表示求解集合的最小公倍数，rk表示第k个建模辅助变量的采样间隔相较基准采样间隔的倍数，1≤k≤m，m表示建模辅助变量的总数，ry表示关键质量指标在所述预设历史时间段内采样时的采样间隔相较基准采样间隔的倍数；
构建大小为Ns×dmodel的可学习的参数矩阵Xs；Xs中各行向量互不相同，dmodel表示所述原始输入数据映射到所述编码器中的维度；
将所述参数矩阵Xs与粗粒度补全后的输入数据Xconv相加，得到编码后的输入数据。
5.根据权利要求3所述的方法，其特征在于，重构的原始数据Xrecon的表达式为：
Figure FDA0003994779220000033
其中，Linear(·)表示所述线性输出层，Encoder(·)表示所述Transformer网络的编码器，Ne表示所述编码器的层数为网络超参数，Embedding(·)表示所述样本采样类别编码网络。
6.根据权利要求5所述的方法，其特征在于，所述利用所述Transformer网络的解码器对所述样本采样类别编码网络输出的编码后的输入数据，以及所述编码器输出的深层特征进行处理，得到所述原始数据的最终深层特征，包括：
将所述样本采样类别编码网络输出的编码后的输入数据作为所述Transformer网络的解码器的查询矩阵，并将所述编码器输出的深层特征作为所述解码器的键值对矩阵；
通过公式
Figure FDA0003994779220000034
得到所述原始数据的最终深层特征Xhidden；
其中，Q＝LinearQ(Embedding(Xconv))，
Figure FDA0003994779220000035
Figure FDA0003994779220000036
Decoder(·)表示所述解码器，Nd表示所述解码器的层数为网络超参数，Q表示所述解码器需输入的查询矩阵，K表示所述解码器需输入的键矩阵，V表示所述解码器需输入的值矩阵，LinearQ(·)表示产生Q对应的线性映射层，LinearK(·)表示产生K对应的线性映射层，LinearV(·)表示产生V对应的线性映射层。
7.根据权利要求6所述的方法，其特征在于，所述将所述最终深层特征输入全连接层进行处理，得到所述原始数据对应的关键质量指标的预测值，包括：
通过公式
Figure FDA0003994779220000031
得到所述原始数据对应的关键质量指标的预测值；
其中，W表示所述全连接层的权重，b表示所述全连接层的偏置，t表示预测时刻，tp表示多步预测末端时刻，p表示多步预测窗口长度，
Figure FDA0003994779220000032
表示t至t+p时刻关键质量指标的多步预测值。
CN202211591643.9A 2022-12-12 2022-12-12 多采样率工业过程关键质量指标在线预测方法 Pending CN115963788A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211591643.9A CN115963788A (zh) 2022-12-12 2022-12-12 多采样率工业过程关键质量指标在线预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211591643.9A CN115963788A (zh) 2022-12-12 2022-12-12 多采样率工业过程关键质量指标在线预测方法

Publications (1)

Publication Number Publication Date
CN115963788A true CN115963788A (zh) 2023-04-14

Family

ID=87357968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211591643.9A Pending CN115963788A (zh) 2022-12-12 2022-12-12 多采样率工业过程关键质量指标在线预测方法

Country Status (1)

Country Link
CN (1) CN115963788A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455320A (zh) * 2023-12-25 2024-01-26 江苏恒力化纤股份有限公司 基于qgmvpn模型的多釜聚合过程熔体质量指标在线预测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455320A (zh) * 2023-12-25 2024-01-26 江苏恒力化纤股份有限公司 基于qgmvpn模型的多釜聚合过程熔体质量指标在线预测方法
CN117455320B (zh) * 2023-12-25 2024-03-19 江苏恒力化纤股份有限公司 基于qgmvpn模型的多釜聚合过程熔体质量指标在线预测方法

Similar Documents

Publication Publication Date Title
Jiang et al. Modified genetic algorithm-based feature selection combined with pre-trained deep neural network for demand forecasting in outpatient department
CN111967688B (zh) 一种基于卡尔曼滤波器与卷积神经网络的电力负荷预测方法
CN111638249B (zh) 基于深度学习的含水率测量方法及其在油井开采中的应用
CN113095550B (zh) 基于变分递归网络和自注意力机制的空气质量预测方法
CN110824914B (zh) 一种基于pca-lstm网络的废水处理智能监控方法
CN110096810B (zh) 一种基于逐层数据扩充深度学习的工业过程软测量方法
Chang et al. Remaining useful life prediction for rolling bearings using multi-layer grid search and LSTM
CN116679211B (zh) 一种锂电池健康状态的预测方法
CN113177666A (zh) 一种基于非侵入式注意力预处理过程与BiLSTM模型的预测方法
CN111754034A (zh) 一种基于混沌优化神经网络模型的时间序列预测方法
CN115963788A (zh) 多采样率工业过程关键质量指标在线预测方法
CN116364203A (zh) 一种基于深度学习的水质预测方法、系统和装置
CN117217915A (zh) 一种基于深度迁移学习的股票价格预测方法
Zhou et al. Functional networks and applications: A survey
Rasul et al. Lag-llama: Towards foundation models for probabilistic time series forecasting
CN116307034A (zh) 基于离散小波变换和神经网络的产油或co2埋存量预测方法
CN109359741A (zh) 一种废水处理进水水质时序变化智能预测方法
CN113609766A (zh) 一种基于深度概率潜隐模型的软测量方法
CN117371321A (zh) 一种基于贝叶斯优化的内在可塑性深度回声状态网络软测量建模方法
CN113159395A (zh) 一种基于深度学习的污水处理厂进水流量预测方法及系统
CN116960962A (zh) 一种跨区域数据融合的中长期区域负荷预测方法
CN116579233A (zh) 一种机械设备的剩余寿命预测方法
Li Multivariate time series prediction based on quantum enhanced LSTM models
CN114722721A (zh) 基于深度编解码卷积网络的电力变压器健康状态评估方法
CN114021469A (zh) 一种基于混合序列网络进行一段炉过程监测的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination