CN114547976B - 基于金字塔变分自编码器的多采样率数据软测量建模方法 - Google Patents
基于金字塔变分自编码器的多采样率数据软测量建模方法 Download PDFInfo
- Publication number
- CN114547976B CN114547976B CN202210146036.5A CN202210146036A CN114547976B CN 114547976 B CN114547976 B CN 114547976B CN 202210146036 A CN202210146036 A CN 202210146036A CN 114547976 B CN114547976 B CN 114547976B
- Authority
- CN
- China
- Prior art keywords
- data
- resolution
- encoder
- sampling rate
- rate data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000005259 measurement Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008521 reorganization Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 2
- 238000005215 recombination Methods 0.000 claims description 2
- 230000006798 recombination Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 14
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000009776 industrial production Methods 0.000 abstract description 2
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 28
- 239000006096 absorbing agent Substances 0.000 description 17
- 229910002092 carbon dioxide Inorganic materials 0.000 description 14
- 239000001569 carbon dioxide Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- QGZKDVFQNNGYKY-UHFFFAOYSA-N Ammonia Chemical compound N QGZKDVFQNNGYKY-UHFFFAOYSA-N 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 229910021529 ammonia Inorganic materials 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 125000004435 hydrogen atom Chemical class [H]* 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种基于金字塔变分自编码器的多采样率数据软测量建模方法，该方法首先通过多采样率数据预处理器将多采样率过程数据重组为多分辨率数据，再利用变分自编码器提取多分辨率数据的非线性特征，将特征由低分辨率到高分辨率融合构成特征金字塔，最后建立不同层数的金字塔与质量变量之间的回归关系，用于工业过程的关键质量变量的预测。与现有的其他方法相比，本发明可以有效地提取工业过程中多采样率数据的非线性特征，大幅提高了关键质量变量的预测精度，较好地反应了生产状态，有利于进一步优化工业生产过程。
Description
技术领域
本发明属于工业过程控制领域，特别涉及一种基于金字塔变分自编码器的多采样率数据软测量建模方法。
背景技术
在工业生产过程中，一些易于采集和观测、与生产过程强相关的变量被称为过程变量，而另一些与过程监测、产量预测、质量预报等强关联的变量则被称为质量变量。一般的，质量变量通常因为测量的设备异常昂贵、采集的环境非常严苛、实验室检验分析延迟较大等原因，不便于直接观测，因此需要采用一些间接观测的方法来获得关键质量变量数据。软测量建模作为解决关键质量变量观测的有效方法，受到了专家学者的广泛关注。它通过构建易于测量的过程变量与难于观测的质量变量之间的数学关系，进而对质量变量进行推断和估计，从而近似的获得关键质量变量数据，指导工业生产。
与此同时，由于生产过程中传感器差异，采集点位、采集变量性质不同等诸多因素，导致了生产数据的采样频率也不尽相同。如前所述，过程数据易于观测而质量数据难于观测，因而产生了双率数据，质量变量相对于过程变量数据非常稀少。针对此类问题常常采用半监督学习的方法进行处理，通过半监督模型充分挖掘无标签样本的数据信息来辅助有标签样本优化有监督模型。但当生产数据包含了多个采样频率时，半监督模型就不再适用了。而贸然采用降采样或升采样的方法来平衡数据量，可能会导致数据信息丢失或者给模型带来了更多不确定性。
发明内容
针对工业过程中的多采样率数据软测量建模问题，本发明提出了一种基于金字塔变分自编码器的多采样率数据软测量建模方法(MR-PVAER)，克服了降采样或升采样的缺点，无需针对特定工业过程定制模型，而是建立通用的多采样率软测量模型，预测精度高，建模效果好。
本发明是通过以下具体的技术方案来实现的：
一种基于金字塔变分自编码器的多采样率数据软测量建模方法，具体包括以下步骤：
(1)收集多采样率数据建模所需的有标签数据集样本Xtrain,Ytrain作为训练集，其中Xtrain代表过程数据样本，Ytrain代表质量数据样本，Xtrain、Ytrain均包含多个采样率的数据；
(2)利用多采样率数据预处理器，将训练集的m个采样率的数据重组为m组不同分辨率的训练集，每个分辨率的训练集具有各自的变量维数和数据总量；
(3)利用m组变分自编码器网络，按分辨率由低到高，分别对m组不同分辨率的数据集进行非线性特征提取，得到各组对应的隐层空间非线性特征分量其中1≤i≤m，i∈Z，1≤j≤Pi，j∈Z，Pi表示每个采样率在单位时间内采集的样本个数，第m组数据分辨率最低，第1组数据分辨率最高；
(4)对每组内的隐层空间非线性特征分量串联，形成融合特征，再按照数据分辨率从高到低，依次串联该组的融合特征和低一级分辨率数据的融合特征，得到每组数据对应的隐层空间融合特征向量zi；
(5)分别使用m个多层感知机对m组不同分辨率数据的隐层空间融合特征zi进行质量变量回归网络构建，得到m个基于变分自编码器的多采样率数据软测量模型；
(6)将步骤(1)所述训练样本Xtrain,Ytrain输入到m个基于变分自编码器的多采样率数据软测量模型进行训练，并从中选出一组训练效果最优的模型作为基于金字塔变分自编码器的多采样率数据软测量模型，进行预测；
(7)将在线获取的待预测样本Xtest输入到基于金字塔变分自编码器的多采样率数据软测量模型中，获得输出预测值
进一步地，所述步骤(2)具体为：
定义单位时间内包含m个不同的均匀采样频率数据，每个采样率在单位时间内采集的样本个数Pi满足P1≥P2≥P3≥…≥Pm，记P1，P2，P3，...，Pm的最小公倍数为n，将单位时间等分为n个时刻，分别记作T1，T2，...，Tn时刻，第i组训练集的采样间隔记作Qi＝n/Pi；
多采样率数据预处理器按照如下方式将训练集中m个采样率的数据重组为m组不同分辨率及其子分辨率的训练集：
(2-1)令i＝m，开始执行第i组分辨率的数据重组；
(2-2)令j＝1，开始执行子分辨率i，j的数据重组；
(2-3)令k＝i,s＝j×Qi；
(2-4)若mod(s，Qk)＝0，则采样率k在Ts时刻有数据，将采样率k在Ts时刻的所有数据依次串联至子分辨率i，j在Ts时刻的数据集Xi，j中；
(2-5)令k＝k-1，若k≥1则转至步骤(2-4)；
(2-6)令j＝j+1，若j≤Pi则转至步骤(2-3)；
(2-7)令i＝i-1，若i≥1则转至步骤(2-2)。
进一步地，所述步骤(3)具体为：将步骤(2)中重组得到的各个子分辨率i，j的数据Xi，j，经过变分自编码器的编码器部分映射到隐层空间，得到隐变量的均值和方差zmean，i，j和zsigma，i，j，zmean，i，j和zsigma，i，j经过重参数化得到隐变量zi，j＝zmean，i，j+e×zsigma，i，j，其中e～N(0，I)；隐变量zi，j经由解码器得到子分辨率i，j数据的重构值变分自编码器网络的损失函数为/>其中DKL表示KL散度。
进一步地，所述步骤(4)具体为：将步骤(3)中第i组分辨率数据的特征分量以及低一级分辨率第i+1组数据对应的隐层空间特征向量zi+1全部串联起来，即为第i组分辨率数据对应的隐层空间融合特征向量
进一步地，所述步骤(5)具体为：在质量变量回归网络中，将m组分辨率数据对应的隐层空间融合特征向量，经过多层感知机拟合得到预测的质量变量；
质量变量回归网络的损失函数为
其中，表示第i个基于变分自编码器的多采样率数据软测量模型的预测值。
进一步地，所述步骤(6)中，所述基于金字塔变分自编码器的多采样率数据软测量模型由多个子网络根据输入输出关系组合而成，每个重组后的分辨率数据运用其对应网络进行建模，第i组分辨率数据对应网络的损失函数定义为：
本发明的有益效果是：
本发明提出了一种多分辨率金字塔变分自编码器回归(MR-PVAER)模型，用于处理非线性过程的多采样率数据问题。MR-PVAER模型首先设计了一个多采样率数据预处理器，将不规则多采样率数据重组为不同大小，不同数据量的规则数据，即多分辨率数据。之后该模型借助变分自编码器(VAE)对多分辨率数据进行非线性特征提取，利用所提取的多分辨率特征融合为特征金字塔并建立回归模型。不同于降采样和升采样的数据处理方式，MR-PVAER模型能够选取最优的数据集进行建模从而获得最佳的估计效果。相比其他软测量模型，本发明能够通用且有效地处理工业过程中多采样率数据问题，保持数据的完整性，提升工业过程的软测量模型预测精度。
附图说明
图1是多采样率数据特征提取示意图；
图2是特征金字塔融合回归建模示意图；
图3是二氧化碳(CO2)吸收塔工艺流程图；
图4是二氧化碳(CO2)吸收塔多采样率数据示意图；
图5是二氧化碳(CO2)吸收塔多采样率数据预处理结构图；
图6是二氧化碳(CO2)吸收塔分辨率4数据集模型训练示意图；
图7是二氧化碳(CO2)吸收塔分辨率3数据集模型训练示意图；
图8是二氧化碳(CO2)吸收塔分辨率2数据集模型训练示意图；
图9是二氧化碳(CO2)吸收塔分辨率1数据集模型训练示意图；
图10是二氧化碳(CO2)吸收塔分辨率4数据集测试结果；
图11是二氧化碳(CO2)吸收塔分辨率3数据集测试结果；
图12是二氧化碳(CO2)吸收塔分辨率2数据集测试结果；
图13是二氧化碳(CO2)吸收塔分辨率1数据集测试结果。
具体实施方式
下面结合附图和具体实施例对本发明的一种基于金字塔变分自编码器的多采样率数据软测量建模方法(MR-PVAER)作进一步的阐述。
本发明针对工业过程多采样率数据的软测量建模问题，提出了一种基于金字塔变分自编码器的多采样率数据软测量建模方法(MR-PVAER)。该方法首先提出一个通用的多采样率数据预处理器，将多采样率数据集重组为多组多分辨率数据集。再利用变分自编码器(VAE)和多层感知机(MLP)对多分辨率数据集进行过程变量特征提取和质量变量回归预测。最后从中选择一组训练效果最优的子网络用于质量变量的预测。本方法对比其他现有的方法，大幅度提升了工业过程中多采样率数据的预测精度。
本发明的一种基于金字塔变分自编码器的多采样率数据软测量建模方法(MR-PVAER)，包括如下步骤：
(1)收集多采样率数据建模所需的有标签数据集样本Xtrain,Ytrain作为训练集，其中Xtrain代表过程数据样本，Ytrain代表质量数据样本，Xtrain、Ytrain均包含多个采样率的数据；
(2)利用多采样率数据预处理器，将训练集的m个采样率的数据重组为m组不同分辨率的训练集，每个分辨率的训练集具有各自的变量维数和数据总量。
定义单位时间内包含m个不同的均匀采样频率数据，每个采样率在单位时间内采集的样本个数Pi满足P1≥P2≥P3≥…≥Pm，记P1，P2，P3，...，Pm的最小公倍数为n，将单位时间等分为n个时刻，分别记作T1，T2，...，Tn时刻，第i组训练集的采样间隔记作Qi＝n/Pi；
多采样率数据预处理器按照如下方式将训练集中m个采样率的数据重组为m组不同分辨率及其子分辨率的训练集：
(2-1)令i＝m，开始执行第i组分辨率的数据重组；
(2-2)令j＝1，开始执行子分辨率i，j的数据重组；
(2-3)令k＝i,s＝j×Qi；
(2-4)若mod(s，Qk)＝0，则采样率k在Ts时刻有数据，将采样率k在Ts时刻的所有数据依次串联至子分辨率i，j在Ts时刻的数据集Xi，j中；
(2-5)令k＝k-1，若k≥1则转至步骤(2-4)；
(2-6)令j＝j+1，若j≤Pi则转至步骤(2-3)；
(2-7)令i＝i-1，若i≥1则转至步骤(2-2)；
(3)基于开源深度学习平台Tensorflow搭建多采样率数据非线性特征提取网络，提取流程如图1所示。利用m组变分自编码器网络，按分辨率由低到高，分别对m组不同分辨率的数据集进行非线性特征提取，得到各组对应的隐层空间非线性特征分量其中1≤i≤m，i∈Z，1≤j≤Pi，j∈Z，Pi表示每个采样率在单位时间内采集的样本个数，第m组数据分辨率最低，第1组数据分辨率最高。每个隐层空间非线性特征分量zi，j提取自步骤(2)中所述子分辨率i，j的数据Xi，j，经过变分自编码器的编码器部分映射到隐层空间，得到隐变量的均值和方差zmean，i，j和zsigma，i，j，zmean，i，j和zsigma，i，j经过重参数化得到隐变量zi，j＝zmean，i，j+e×zsigma，i，j，其中e～N(0，I)。隐变量zi，j经由解码器得到子分辨率i，j数据的重构值/>变分自编码器网络的损失函数为/> 其中DKL表示KL散度；
(4)将步骤(3)中第i组分辨率数据的特征分量以及低一级分辨率第i+1组数据对应的隐层空间特征向量zi+1全部串联起来，即为第i组分辨率数据对应的隐层空间融合特征向量/>
(5)基于开源深度学习平台Tensorflow搭建质量变量回归网络，回归流程如图2所示，分别使用m个多层感知机对m组不同分辨率数据的隐层空间融合特征zi进行质量变量回归网络构建，得到m个基于变分自编码器的多采样率数据软测量模型，经过多层感知机拟合得到预测的质量变量；
质量变量回归网络的损失函数为
其中，表示第i个基于变分自编码器的多采样率数据软测量模型的预测值；
(6)将步骤(1)所述训练样本Xtrain,Ytrain输入到m个基于变分自编码器的多采样率数据软测量模型进行训练，并从中选出一组训练效果最优的模型作为基于金字塔变分自编码器的多采样率数据软测量模型，进行预测。每个重组后的分辨率数据运用其对应网络进行建模，第i组分辨率数据对应网络的损失函数定义为：
(7)将在线获取的待预测样本Xtest输入到基于金字塔变分自编码器的多采样率数据软测量模型中，获得输出预测值
为了评价基于金字塔变分自编码器的多采样率数据软测量模型(MR-PVAER)，采用模型评价指标均方根误差(RMSE)和确定性系数(R2)对测试集的预测结果进行评价，计算公式为：
以下结合二氧化碳(CO2)吸收塔过程进一步说明和验证一种基于金字塔变分自编码器的多采样率数据软测量建模方法的有效性。CO2吸收塔是合成氨(ASP)过程中关键的工艺设备之一。其主要用于吸收甲烷(CH4)生成氢气(H2)过程中的副产物二氧化碳(CO2),进而利用H2和N2在高温高压及催化剂条件下生成氨气。因此，CO2含量的测定显得尤为重要，这关乎到最终产品的质量和纯度。CO2吸收塔的工艺流程具体流程如图3所示。
为了实时预估CO2含量，选择了11个过程变量作为软测量模型的输入，1个质量变量作为软测量模型的输出，具体描述见表1。其中包含流量、温度、压力等变量，用于建立CO2吸收塔数据驱动的软测量模型。
表1：CO2吸收塔变量描述
由于这些变量的性质不同，采样的传感器不同，其数据集的采样率也不同。U1,U2,…,U5每一分钟采样一次，U6,U7,U8每两分钟采样一次，U9,U10,U11每三分钟采样一次，质量变量每六分钟采样一次。本实施例共收集了30000分钟的数据用于模型训练和测试。采集24000分钟的数据进行训练，即U1,U2,…,U5共有24000个数据，U6,U7,U8共有12000个数据，U9,U10,U11共有8000个数据，质量变量共有4000个数据用于训练。剩余的6000分钟的数据用于测试，即U1,U2,…,U5共有6000个数据，U6,U7,U8共有3000个数据，U9,U10,U11共有2000个数据，质量变量共有1000个数据用于测试。
进一步的，CO2吸收塔过程共包含4个采样率的数据，每个采样率在单位时间内采集的样本个数分别为6个、3个、2个、1个。一个采样周期包含6个采样时刻。
图4描述了前述CO2吸收塔多采样率数据的分布情况，给出一个采样周期，即6个采样时刻(T1，T2，...，T6)的数据分布情况。利用前述步骤(2)多采样率数据预处理器对多采样率数据进行重组，转换为多个多分辨率数据集。该过程共有12个过程变量(U1,U2,…,U11)以及1个质量变量(Y)。图4中的白色格子表示该变量在该采样时刻没有采集数据。多采样率数据预处理器的重组策略是从低采样率的变量出发，寻找高采样率数据在低采样率时刻的数据并进行合并重组。如图4所示，在第一个周期内，分辨率4数据集就是从Y出发，即第6分钟，先在采样率3中找到U9,U10,U11在第6分钟有值，再在采样率2中找到U6,U7,U8在第6分钟有值，最后在采样率1中找到U1,U2,…,U5在第6分钟有值，将这些变量在第6分钟的值合并。则分辨率4数据集就是U1(6)-U12(6),其中括号内的数字表示t＝T6。而分辨率3数据集是从采样率3出发，此时，有两个时刻可以作为出发时刻，则分辨率3数据集由两个时刻的分辨率构成，即分辨率3,1数据集和分辨率3,2数据集。分辨率3-1数据集是U9,U10,U11从第3分钟出发，首先在采样率中2找到U6,U7,U8在第3分钟没有值，再在采样率1中找到U1,U2,…,U5在第3分钟有值，则分辨率3,1数据集为{U1(3)-U5(3),U9(3)-U11(3)}。依此类推，6个采样时刻的多采样率数据，经过多采样数据预处理器后重组得到的多分辨率数据。图5也给出了一个采样周期经过多采样数据预处理器数据重组的整个过程。
在非线性特征提取阶段，所采用的VAE的编码器，解码器以及隐变量的神经元节点数均设置为10。按照步骤(4)所述方法得到分辨率4至分辨率1的隐层空间特征，并进行回归训练。训练过程示意图参见图6至图9，其测试结果参见图10至图13，其中实线表示真实值，带星号虚线表示预测结果。表2给出了分辨率4至分辨率1的模型训练结果。由表2可知，分辨率1对应的子网络效果最佳，故采用该网络进行预测。
表2：CO2吸收塔过程MR-PVAER模型训练结果
| 数据分辨率 | 分辨率4 | 分辨率3 | 分辨率2 | 分辨率1 |
| RMSE | 0.00397 | 0.00311 | 0.00253 | 0.00239 |
| R2 | 0.69804 | 0.81422 | 0.87725 | 0.89024 |
为了进一步证明本发明MR-PVAER方法的有效性，本实施例还与多采样率偏最小二乘方法(MRPLS)，多层感知机方法(MLP)，多采样率K近邻回归(MR-KNNR)方法进行了比较，各方法预测结果如表3所示。
表3：CO2吸收塔过程MRPLS，MLP，MR-KNNR和MR-PVAER模型测试结果
| 方法 | MRPLS | MLP | MR-KNNR | MR-PVAER |
| RMSE | 0.00640 | 0.00518 | 0.00415 | 0.00310 |
| R2 | 0.16997 | 0.45526 | 0.65089 | 0.80531 |
从表3可以看出，本发明提出的一种基于金字塔变分自编码器的多采样率数据软测量建模方法(MR-PVAER)，针对工业过程中多采样率数据软测量建模问题，有较好的预测精度。以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。
Claims (6)
1.一种基于金字塔变分自编码器的多采样率数据软测量建模方法，其特征在于，具体包括以下步骤：
(1)收集多采样率数据建模所需的有标签数据集样本Xtrain，Ytrain作为训练集，其中Xtrain代表过程数据样本，Ytrain代表质量数据样本，Xtrain、Ytrain均包含多个采样率的数据；
(2)利用多采样率数据预处理器，将训练集的m个采样率的数据重组为m组不同分辨率的训练集，每个分辨率的训练集具有各自的变量维数和数据总量；
(3)利用m组变分自编码器网络，按分辨率由低到高，分别对m组不同分辨率的数据集进行非线性特征提取，得到各组对应的隐层空间非线性特征分量zi，1、zi，2、…zi，j…、其中1≤i≤m，i∈Z，1≤j≤Pi，j∈Z，Pi表示每个采样率在单位时间内采集的样本个数，第m组数据分辨率最低，第1组数据分辨率最高；
(4)对每组内的隐层空间非线性特征分量zi，1、zi，2、…zi，j…、串联，形成融合特征，再按照数据分辨率从高到低，依次串联该组的融合特征和低一级分辨率数据的融合特征，得到每组数据对应的隐层空间融合特征向量zi；
(5)分别使用m个多层感知机对m组不同分辨率数据的隐层空间融合特征zi进行质量变量回归网络构建，得到m个基于变分自编码器的多采样率数据软测量模型；
(6)将步骤(1)所述训练样本Xtrain，Ytrain输入到m个基于变分自编码器的多采样率数据软测量模型进行训练，并从中选出一组训练效果最优的模型作为基于金字塔变分自编码器的多采样率数据软测量模型，进行预测；
(7)将在线获取的待预测样本Xtest输入到基于金字塔变分自编码器的多采样率数据软测量模型中，获得输出预测值
2.根据权利要求1所述基于金字塔变分自编码器的多采样率数据软测量建模方法，其特征在于，所述步骤(2)具体为：
定义单位时间内包含m个不同的均匀采样频率数据，每个采样率在单位时间内采集的样本个数Pi满足P1≥P2≥P3≥…≥Pm，记P1，P2，P3，...，Pm的最小公倍数为n，将单位时间等分为n个时刻，分别记作T1，T2，...，Tn时刻，第i组训练集的采样间隔记作Qi＝n/Pi；
多采样率数据预处理器按照如下方式将训练集中m个采样率的数据重组为m组不同分辨率及其子分辨率的训练集：
(2-1)令i＝m，开始执行第i组分辨率的数据重组；
(2-2)令j＝1，开始执行子分辨率i，j的数据重组；
(2-3)令k＝i，s＝j×Qi；
(2-4)若mod(s，Qk)＝0，则采样率k在Ts时刻有数据，将采样率k在Ts时刻的所有数据依次串联至子分辨率i，j在Ts时刻的数据集Xi，j中；
(2-5)令k＝k-1，若k≥1则转至步骤(2-4)；
(2-6)令j＝j+1，若j≤Pi则转至步骤(2-3)；
(2-7)令i＝i-1，若i≥1则转至步骤(2-2)。
3.根据权利要求1所述基于金字塔变分自编码器的多采样率数据软测量建模方法，其特征在于，所述步骤(3)具体为：将步骤(2)中重组得到的各个子分辨率i，j的数据Xi，j，经过变分自编码器的编码器部分映射到隐层空间，得到隐变量的均值和方差zmean，i，j和zsigma，i，j，zmean，i，j和zsigma，i，j经过重参数化得到隐变量zi，j＝zmean，i，j+e×zsigma，i，j，其中e～N(0，I)；隐变量zi，j经由解码器得到子分辨率i，j数据的重构值变分自编码器网络的损失函数为其中DKL表示KL散度。
4.根据权利要求1所述基于金字塔变分自编码器的多采样率数据软测量建模方法，其特征在于，所述步骤(4)具体为：将步骤(3)中第i组分辨率数据的特征分量zi，1、zi，2、…zi，j…、以及低一级分辨率第i+1组数据对应的隐层空间特征向量zi+1全部串联起来，即为第i组分辨率数据对应的隐层空间融合特征向量/>
5.根据权利要求1所述基于金字塔变分自编码器的多采样率数据软测量建模方法，其特征在于，所述步骤(5)具体为：在质量变量回归网络中，将m组分辨率数据对应的隐层空间融合特征向量，经过多层感知机拟合得到预测的质量变量；
质量变量回归网络的损失函数为
其中，表示第i个基于变分自编码器的多采样率数据软测量模型的预测值。
6.根据权利要求1所述基于金字塔变分自编码器的多采样率数据软测量建模方法，其特征在于，所述步骤(6)中，所述基于金字塔变分自编码器的多采样率数据软测量模型由多个子网络根据输入输出关系组合而成，每个重组后的分辨率数据运用其对应网络进行建模，第i组分辨率数据对应网络的损失函数定义为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210146036.5A CN114547976B (zh) | 2022-02-17 | 2022-02-17 | 基于金字塔变分自编码器的多采样率数据软测量建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210146036.5A CN114547976B (zh) | 2022-02-17 | 2022-02-17 | 基于金字塔变分自编码器的多采样率数据软测量建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114547976A CN114547976A (zh) | 2022-05-27 |
| CN114547976B true CN114547976B (zh) | 2024-04-30 |
Family
ID=81676514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210146036.5A Active CN114547976B (zh) | 2022-02-17 | 2022-02-17 | 基于金字塔变分自编码器的多采样率数据软测量建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114547976B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111445390A (zh) * | 2020-02-28 | 2020-07-24 | 天津大学 | 基于宽残差注意力的三维医学图像超分辨率重建方法 |
| CN112101410A (zh) * | 2020-08-05 | 2020-12-18 | 中国科学院空天信息创新研究院 | 一种基于多模态特征融合的图像像素语义分割方法及系统 |
| CN113609766A (zh) * | 2021-07-29 | 2021-11-05 | 浙江科技学院 | 一种基于深度概率潜隐模型的软测量方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2817437B1 (fr) * | 2000-11-28 | 2003-02-07 | Pixel M | Installation et procede d'echange de donnees d'image de qualite et/ou taille controlee |
| US20140177706A1 (en) * | 2012-12-21 | 2014-06-26 | Samsung Electronics Co., Ltd | Method and system for providing super-resolution of quantized images and video |
| US20190339688A1 (en) * | 2016-05-09 | 2019-11-07 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things |
| US20190048306A1 (en) * | 2017-08-11 | 2019-02-14 | Bioelectron Technology Corporation | Redox-related context adjustments to a bioprocess monitored by learning systems and methods based on redox indicators |
-
2022
- 2022-02-17 CN CN202210146036.5A patent/CN114547976B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111445390A (zh) * | 2020-02-28 | 2020-07-24 | 天津大学 | 基于宽残差注意力的三维医学图像超分辨率重建方法 |
| CN112101410A (zh) * | 2020-08-05 | 2020-12-18 | 中国科学院空天信息创新研究院 | 一种基于多模态特征融合的图像像素语义分割方法及系统 |
| CN113609766A (zh) * | 2021-07-29 | 2021-11-05 | 浙江科技学院 | 一种基于深度概率潜隐模型的软测量方法 |
Non-Patent Citations (4)
| Title |
|---|
| DSNet:Multi-resolution Dense Encoder and Stack Decoder Network for Aerial Image Segmentation;Yanwen Chong等;《 2019 Chinese Automation Congress》;20191124;1-13 * |
| Predictive Modeling With Multiresolution Pyramid VAE and Industrial Soft Sensor Applications;Le Yao等;《IEEE Transactions on Cybernetics》;20220217;第53卷(第8期);4867-4879 * |
| 基于深度概率隐变量模型的软测量方法研究;沈冰冰;《中国博士学位论文全文数据库 信息科技辑》;20230215;I138-39 * |
| 面向D级飞行模拟机视景系统的高真实感三维地形构建关键技术研究;戈文一;《中国博士学位论文全文数据库 工程科技I辑 》;20220115;B026-10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114547976A (zh) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111337768B (zh) | 变压器油中溶解气体的深度并行故障诊断方法及系统 | |
| CN110674604B (zh) | 基于多维时序帧卷积lstm的变压器dga数据预测方法 | |
| CN112161784B (zh) | 基于多传感器信息融合迁移网络的机械故障诊断方法 | |
| CN109000930B (zh) | 一种基于堆叠去噪自编码器的涡轮发动机性能退化评估方法 | |
| CN110543860B (zh) | 基于tjm迁移学习的机械故障诊断方法及系统 | |
| CN111860982A (zh) | 一种基于vmd-fcm-gru的风电场短期风电功率预测方法 | |
| CN106897774B (zh) | 基于蒙特卡洛交叉验证的多个软测量算法集群建模方法 | |
| CN111582551B (zh) | 风电场短期风速预测方法、系统及电子设备 | |
| CN112101480A (zh) | 一种多变量聚类与融合的时间序列组合预测方法 | |
| CN111680725B (zh) | 基于重构贡献的气体传感器阵列多故障隔离算法 | |
| CN115495991A (zh) | 一种基于时间卷积网络的降水区间预测方法 | |
| CN114239397A (zh) | 基于动态特征提取与局部加权深度学习的软测量建模方法 | |
| CN114065919A (zh) | 一种基于生成对抗网络的缺失值补全方法及介质 | |
| CN113485261A (zh) | 一种基于CAEs-ACNN的软测量建模方法 | |
| CN117494037A (zh) | 一种基于变权vae与双通道特征融合的变压器故障诊断方法 | |
| CN111898673A (zh) | 一种基于emd与lstm的溶解氧含量预测方法 | |
| CN113609766B (zh) | 一种基于深度概率潜隐模型的软测量方法 | |
| CN115035962A (zh) | 基于变分自编码器和生成对抗网络的虚拟样本生成及软测量建模方法 | |
| CN114547976B (zh) | 基于金字塔变分自编码器的多采样率数据软测量建模方法 | |
| CN112232570A (zh) | 一种正向有功总电量预测方法、装置及可读存储介质 | |
| CN112001530A (zh) | 一种变压器油色谱在线监测装置预测性维护方法及系统 | |
| Song et al. | A Soft Sensor for Multirate Quality Variables Based on MC-CNN | |
| CN116793666A (zh) | 一种基于lstm-mlp-lsgan模型的风电机组齿轮箱故障诊断方法 | |
| Zhang et al. | Multivariate discrete grey model base on dummy drivers | |
| CN114383845B (zh) | 一种基于嵌入式零样本学习模型的轴承复合故障诊断方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |