CN116975645A - 一种基于vae-mrcnn的工业过程软测量建模方法 - Google Patents
一种基于vae-mrcnn的工业过程软测量建模方法 Download PDFInfo
- Publication number
- CN116975645A CN116975645A CN202311026168.5A CN202311026168A CN116975645A CN 116975645 A CN116975645 A CN 116975645A CN 202311026168 A CN202311026168 A CN 202311026168A CN 116975645 A CN116975645 A CN 116975645A
- Authority
- CN
- China
- Prior art keywords
- model
- encoder
- data
- vae
- mrcnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 19
- 238000009826 distribution Methods 0.000 claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 5
- 238000005315 distribution function Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000007774 longterm Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 238000012952 Resampling Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000007620 mathematical function Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000001902 propagating effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims 1
- 230000001502 supplementing effect Effects 0.000 abstract description 6
- 238000000691 measurement method Methods 0.000 abstract description 3
- 238000012795 verification Methods 0.000 abstract description 2
- 230000007613 environmental effect Effects 0.000 abstract 1
- 238000005065 mining Methods 0.000 abstract 1
- 238000010248 power generation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F22—STEAM GENERATION
- F22B—METHODS OF STEAM GENERATION; STEAM BOILERS
- F22B35/00—Control systems for steam boilers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/27—Regression, e.g. linear or logistic regression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Probability & Statistics with Applications (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Thermal Sciences (AREA)
- Mechanical Engineering (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Complex Calculations (AREA)
Abstract
过程工业具有复杂的环境和变量特征，软测量技术是应对这些挑战的有效方法。然而，在恶劣的工业环境中，如何通过有效的数据补充方法来增强数据集，是提高软测量模型预测精度的关键问题。本发明公开了一种基于VAE‑MRCNN的工业过程软测量模型。该方法结合变分自编码器和多尺度残差卷积神经网络发明了一种新的软测量方法VAE‑MRCNN。变分自编码器作为一种生成模型，可以用来学习数据的低维表示并且通过这些表示重构数据。在多尺度残差卷积神经网络中，使用一个在不同尺度上具有多个卷积核的卷积神经网络来同时捕获不同尺度上的动态特征，同时，利用残差连接使网络适用于学习深度特征，提取不同尺度的高层特征，将它们作为全连接回归网络的输入，以致于获得更好的预测结果。通过工业蒸汽体积数据集的实验验证，本发明所提出的VAE‑MRCNN软测量模型能够获得更满足原始数据分布的重构数据，通过将这些生成数据补充到原始数据中，再经过多尺度地挖掘数据信息，软测量模型的预测精度得到了提升，能够更好的满足工业的实际需求。
Description
技术领域
本发明专利涉及一种工业过程软测量建模方法，在工业生产领域具有重要的应用和推广价值。
背景技术
在现代工业控制过程中，提高生产过程控制效益最大化是衡量一个控制系统性能的基本指标。但是由于设备成本和技术等因素限制，很多关键变量无法或难以用传感器进行实时测量。软测量技术因其响应迅速、维护成本低和操作简单等特点被认为是这些硬传感器的替代品。软测量建模是该技术的关键，基于数据驱动的软测量建模方法被广泛应用于工业过程监控、质量控制和状态估计等领域，它需要海量的数据支持。但由于工业现场经常会受到各类影响，导致很多关键数据难以获取，从而造成数据不足或数据异常，进而影响建模效果。目前，基于深度学习的生成数据补充方法因其在解决软测量数据不足方面的重要作用而备受欢迎。基于深度学习的生成数据补充方法是通过深度神经网络学习现有的数据分布和形式，进而获取与真实数据分布相似的数据分布。生成数据补充方法可以基于不同的深度学习模型，如生成对抗网络、变分自编码器等。这些模型可以学习数据的潜在表示，并生成具有类似特征的新数据样本。因此，将深度生成技术引入补充工业软测量数据是当下最为恰当的选择。然而，生成数据补充方法也面临一些挑战。生成的数据质量与深度学习模型和数据集的质量密切相关，生成过程复杂也可能导致训练和生成速度较慢。因此需要一种新的数据补充方法，在提升数据可用性的同时，来提高模型的性能。
发明内容
为了能够使软测量模型拥有充足的、可靠的训练数据集并且能够得到较好的预测结果，在本发明技术方案中引入了变分自编码器(VAE)和多尺度残差卷积神经网路(MRCNN)。通过结合变分自编码器和多尺度残差卷积网络的优点提出一种新的软测量模型VAE-MRCNN。VAE-MRCNN模型通过融合技术，在不同模型之间进行网络参数的优化，从而提高模型的整体表现效果。基于VAE-MRCNN模型，将原始训练集由VAE提取浅层特征，再通过MRCNN进行多尺度的深层特征融合，最后经过全连接神经网络输出结果，获取与真实样本更加接近的生成样本，从而得到更好的预测效果。
本发明主要包括四部分：(1)确定输入输出变量；(2)数据预处理；(3)构建变分自编码器和多尺度残差卷积神经网络。(4)结合VAE和MRCNN构建VAE-MRCNN预测模型，并对模型进行优化，从而得到更好的预测值。下面分别介绍以上四部分的内容：
(1)确定输入输出变量。在训练VAE-MRCNN软测量模型时，需要的输入变量就是软测量建模时的辅助变量，输出变量就是软测量模型最终的关键变量(目标变量)。辅助变量则为在工业生产过程中与最终关键变量相关并且简单易测。以某火电厂锅炉蒸汽量数据为例，输入数据使用工业过程中的采集到的数据，通过从训练集中采集m个样本的小批量数据集{X1,X2,X3,…,Xm}；输出数据为VAE-MRCNN最终得到的工业蒸汽量的预测值
(2)数据集预处理。数据集预处理主要包括：重要特征选取和归一化处理两部分。由于从工业中采集到的数据变量与预测目标之间存在不同程度的非线性关系，利用基于互信息的方法进行特征选取。互信息(Mutual Information，MI)是信息论中的重要概念，描述了两个系统之间的相关性，或互相包含信息的多少。在数据统计理论中，两个变量之间的相关系数MI大于0.4表明两个变量之间中度相关或高度相关。因此，利用MI算法分析这些变量与预测目标的相关性并挑选出MI大于0.4的变量作为模型的输入数据。经过MI算法提取到的相关性大的特征为xn＝{x1,x2,x3,…,xn}，其中，n为从m个小批量数据集中提取的相关系数大的辅助变量个数。由于数据之间具有不同的量纲和量纲单位，这直接影响数据分析的结果，为解决量纲造成的影响，需要对数据进行归一化处理，以解决数据之间存在的衡量关系。因此，软测量训练数据集采用最大-最小归一化处理方法。
(3)构建变分自编码器和多尺度残差卷积神经网络。变分自编码器VAE由两部分组成，其中编码器(Encoder)负责接收输入数据，通过计算编码器网络输出隐变量z的均值μ和方差σ2；另一个解码器(Decoder)负责接收隐变量z输出目标变量通过解码器寻找一个与x分布近似的分布，使得x与/>近似相等。多尺度残差卷积神经网络由多个并行卷积神经网络组成，不同的分支采用不同大小的卷积核进行构建，使得卷积层能够从不同的尺度上学习到短期和长期的动态特征，进而提升模型的泛化能力，得到更好的预测结果。
(4)构建VAE-MRCNN软测量模型，并对模型进行优化，从而生成高质量的数据集。将xn与VAE经过提取得到的特征进行合并得到/>将x输入到MRCMM中，经过不同尺度上学习到的短期和长期的动态特征，并将这些特征进行融合再经过全连接神经网络得到预测值/>神经网络负责接收数据并输出数据。
本发明解决其技术问题所采用的技术方案的详细实时步骤如下：
步骤1：确定输入输出变量，并选择合适的训练数据集，一般软测量模型的辅助变量为多个，输出变量即为关键变量(目标变量)。本质上软测量模型VAE-MRCNN为一个辅助变量与关键变量的数学函数，假设该函数为y＝F(x)。函数中y为预测的关键变量，x则为辅助变量。
步骤2：数据预处理。首先对训练数据集进行重要特征选取，通过MI算法计算每个辅助变量x与目标变量y之间的互信息，其表达式为：
其中,p(x,y)表示x和y的联合概率分布函数；而p(x)和p(y)分别是x和y的边缘概率分布函数。其次，选取出MI大于0.4的辅助变量为xn。最后，对xn进行归一化处理，有助于我们在训练模型时加快梯度下降的求解速度，提升模型的收敛速度。在本发明将采用最大最小归一化将数据集变为[0,1]区间之内，即归一化后数据为x'＝(x-xmin)/(xmax-xmin)。
步骤3：基于步骤2所得到的训练数据集，构建变分自编码器；首先，根据步骤3.1构建变分自编码器，其次根据步骤3.2构建变分自编码器损失函数。之后转入步骤4；
构建变分自编码器步骤如下：
步骤3.1：变分自编码器(VAE)由编码器和解码器两部分组成，首先编码器(Encoder)负责接收输入数据x，通过编码器计算编码器网络的输出分布qφ(Z|x)得到隐变量z的均值μ和方差σ2，假定分布p(z)服从正态分布，隐变量z重采样自编码器的输出分布，重采样是一种解决连续可导的方法，引入ε变量(ε变量采样自标准正态分布N(0,1))，由z＝μ+σ⊙∈方式采样获取隐变量z，从而保证了梯度传播是连续的，同时也使模型可采用梯度下降算法计算误差并优化参数。其次解码器(Decoder)负责接收隐变量z输出目标变量通过解码器寻找一个与x分布近似的分布，使得x与/>近似相等。编码器和解码器分别用φ和网络参数θ化为qφ(z|x)函数和pθ(x|z)函数，令Encoder(x)＝qφ(z|x)，Decoder(z)＝pθ(x|z)，其中Encoder(x)表示编码器，Decoder(z)表示解码器。
步骤3.2：VAE模型的核心思想即找到一个后验分布qφ(z|x)，然后采用变分推断，不断优化目标函数并得到该模型的损失函数，公式为：
LVAE＝Lrec+Lprio
即：
Lprior＝DKL(qφ(z|x)||p(z))
其中，损失函数第一项Lrec是编码器的重构误差函数，logpθ(x|z)表示解码器的似然概率，p(z)表示隐变量z符合的先验分布，DKL表示输出分布qφ(z|x)与先验分布p(z)之间的KL散度。
通过将xn输入到所构建的生成模型VAE中，获得新生成的数据集将xn与/>重新合并得到x,表示为：
步骤4：结合VAE和MRCNN构建VAE-MRCNN生成模型。卷积神经网络CNN具有权值共享的独特优势，可以用较少的模型参数提取深层抽象特征表示。然而，由于工业过程通常在非理想条件下运行，非平稳的工业条件导致过程特性多变，为解决该问题，MRCNN被设计用于捕获具有不同尺度和残差连接的深层动态表示。MRCNN由多个并行的卷积神经网络分支组成，不同分支采用不同大小的卷积核进行构建，使得卷积层可以从不同的尺度上学习短期和长期的动态特征。对于每个分支，将步骤4获得的新数据集x输入到卷积层得到特征表示图，其定义为：
其中表示卷积操作，可以从过程数据中过滤有用信息；WS和bS分别表示第S个分支的卷积核和偏置量；fc为非线性激活函数LeakyReLU，用于保留相关特征和过滤不相关特征。为了提取更复杂、更深层的特征，需要更多的卷积层组成深度CNN网络，因此，在每两个卷积层中嵌入残差连接，构建残差CNN块。在每个分支中由若干顺序连接的残差CNN，基本残差CNN块的形式化描述如下：
其中j是卷积层的索引，cS,j是第S个分支的第j个卷积层所属残差CNN块的输出，表示执行1×1的卷积核，用于匹配残差块中的输入和输出维度，这样，当某个层残差值为0时，该层相当于恒等映射，可以避免梯度消失问题。同时，残差学习结构使得网络比传统结构更容易学习特征，简化了复杂深度网络的训练过程。此外，在每个CNN分支末尾加入平均池化层。然后，将每个分支上的输出特征图扁平化为向量，作为每个尺度上的特征。对于不同卷积核大小的CNN分支，可以学习来自不同视角的多尺度过程数据的特征表示，记为：/>其中S是尺度的个数，dc是每个尺度上得到的特征的维数。由于工业过程的变化通常是无序和难以捉摸的，因此每个尺度上的特征对质量预测的影响是不一致的，所以要对提取的互补多尺度特征进行融合，其表示为：
ot＝Concat(c1,c2,…,cS)
其中，ot为融合后的多尺度特征表示。融合后的多尺度特征能够很好的反应当前的工业过程。对于MRCNN模型，采用具有均方误差的损失函数作为目标函数，同时，加入L2正则化对网络进行平滑处理并避免软测量模型过于复杂导致的过拟合。因此，目标函数的最终形式被表示为：
其中，和/>分别为训练集的预测值和目标值；λ是正则项的惩罚系数，θ是需要学习的参数。此外，在反向传播算法中应用了Adam优化器，有利于加快模型的收敛。
结合模型结构，VAE-MRCNN由变分自编码器与多尺度残差卷积神经网络结合，将得到的融合后的特征作为全连接回归网络的输入来获得最终的预测结果。
步骤5：VAE-MRCNN模型的有效性验证，将整个生成模型训练完成后，并将模型各部分参数保存下来。将测试数据集通过该模型进行前向传播，得到预测值ypre，通过指标RMSE、MSE、MAE和R2用于评价本发明的性能。其各公式定义如下：
式中yreal、ypre分别为标签值和预测输出值。较小的RMSE往往表示更好的预测性能。
决定系数R2反应模型的可靠性，ymean为测试数据输出值的均值，R2越大表明软测量模型具有较好的预测性能。
本发明采用VAE-MRCNN软测量模型，解决了在复杂的工业过程中软测量模型所使用的数据集不足的问题以及目标变量的预测问题。通过这一方法，可以提供充足且高质量的训练数据集，从而能够充分提取数据中存在的潜在特征并且能过获得较好的预测结果。此外，该发明还能够很好的适用于大量且复杂的数据场景。
附图说明
图1是本发明中VAE模型框架图
图2是本发明中MRCNN的基本框架图
图3是本发明中VAE-MRCNN模型的框架图
图4是本发明生成的数据集经过回归网络后得到的预测值与标签值进行的对比图
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明针对软测量建模数据不足问题进行数据生成建模，并提出了基于VAE-MRCNN的过程工业软测量预测模型，。下面结合实例对本发明的实现进行详细的说明。以某火电厂锅炉蒸汽量数据为例，将该模型应用于火力发电中工业蒸汽量预测。火力发电是生产和生活用电的主要来源。火力发电的流程是原料加热产生的水蒸气促使汽轮机旋转，产生电能。蒸汽量的多少在很大一部分决定了发电量的多少。
经过MI算法从37个辅助变量中选取该生产环境下相关系数大于0.4的7个辅助变量，其中包括V0:锅炉床压V1:锅炉床温V2:给水水量V3:返料风V4:二次给风量V5:炉膛温度V6:过热器温度V7:炉膛压力。选好辅助变量以后，下一步就开始建立软测量模型，采用本发明中VAE-MRCNN的软测量模型。通过收集2888个历史数据经过预处理后利用VAE-MRCNN构建该软测量模型，并通过训练得到合适的模型参数。将通过变分自编码器VAE获得的1000个生成数据和原始训练集中的1000个数据进行合并输入MRCNN中提取出数据的高层特征，最后再通过全连接回归网络得到预测值，其模型预测值与标签值进行对比，对比效果如图4所示。由图4可以看出大部分数据的预测较为准确。经过工业现场实际应用验证，该生成模型能较好满足火力发电工业控制中数据量不足情况下的实际需要。
接下来对比该VAE-MRCNN软测量模型与AE-MRCNN、VAE-Dense以及原始训练集+MRCNN的方法的优势。进行10次实验，通过分别取其RMSE、MSE、MAE和R2的均值进行对比，结果如表1所示。可以看出该方法在模型构建相比于其他方法，提高了数据的生成能力和预测能力。
表1：4种模型的实验结果指标
Claims (1)
1.一种基于VAE-MRCNN的工业过程软测量建模方法，其特征在于：包括以下步骤：
步骤1：确定输入输出变量，并选择合适的训练数据集，一般软测量模型的辅助变量为多个，输出变量即为关键变量(目标变量)。本质上软测量模型VAE-MRCNN为一个辅助变量与关键变量的数学函数，假设该函数为y＝F(x)。函数中y为预测的关键变量，x则为辅助变量。
步骤2：数据预处理。首先对训练数据集进行重要特征选取，通过MI算法计算每个辅助变量x与目标变量y之间的互信息，其表达式为：
其中，p(x，y)表示x和y的联合概率分布函数；而p(x)和p(y)分别是x和y的边缘概率分布函数。其次，选取出MI大于0.4的辅助变量为xn。最后，对xn进行归一化处理，有助于我们在训练模型时加快梯度下降的求解速度，提升模型的收敛速度。在本发明将采用最大最小归一化将数据集变为[0，1]区间之内，即归一化后数据为x′＝(x-xmin)/(xmax-xmin)。
步骤3：基于步骤2所得到的训练数据集，构建变分自编码器；首先，根据步骤3.1构建变分自编码器，其次根据步骤3.2构建变分自编码器损失函数。之后转入步骤4；
构建变分自编码器步骤如下：
步骤3.1：变分自编码器(VAE)由编码器和解码器两部分组成，首先编码器(Encoder)负责接收输入数据x，通过编码器计算编码器网络的输出分布qφ(z|x)得到隐变量z的均值μ和方差σ2，假定分布p(z)服从正态分布，隐变量z重采样自编码器的输出分布，重采样是一种解决连续可导的方法，引入ε变量(ε变量采样自标准正态分布N(0，1))，由z＝μ+σ⊙∈方式采样获取隐变量z，从而保证了梯度传播是连续的，同时也使模型可采用梯度下降算法计算误差并优化参数。其次解码器(Decoder)负责接收隐变量z输出目标变量通过解码器寻找一个与x分布近似的分布，使得x与/>近似相等。编码器和解码器分别用φ和网络参数θ化为qφ(z|x)函数和pθ(x|z)函数，令Encoder(x)＝qφ(z|x)，Decoder(z)＝pθ(x|z)，其中Encoder(x)表示编码器，Decoder(z)表示解码器。
步骤3.2：VAE模型的核心思想即找到一个后验分布qφ(z|x)，然后采用变分推断，不断优化目标函数并得到该模型的损失函数，公式为：
LVAE＝Lrec+Lprio
即：
Lprior＝DKL(qφ(z|x)||p(z))
其中，损失函数第一项Lrec是编码器的重构误差函数，logpθ(x|z)表示解码器的似然概率，p(z)表示隐变量z符合的先验分布，DKL表示输出分布qφ(z|x)与先验分布p(z)之间的KL散度。
通过将xn输入到所构建的生成模型VAE中，获得新生成的数据集将xn与/>重新合并得到x，表示为：
步骤4：结合VAE和MRCNN构建VAE-MRCNN生成模型。卷积神经网络CNN具有权值共享的独特优势，可以用较少的模型参数提取深层抽象特征表示。然而，由于工业过程通常在非理想条件下运行，非平稳的工业条件导致过程特性多变，为解决该问题，MRCNN被设计用于捕获具有不同尺度和残差连接的深层动态表示。MRCNN由多个并行的卷积神经网络分支组成，不同分支采用不同大小的卷积核进行构建，使得卷积层可以从不同的尺度上学习短期和长期的动态特征。对于每个分支，将步骤4获得的新数据集x输入到卷积层得到特征表示图，其定义为：
其中表示卷积操作，可以从过程数据中过滤有用信息；WS和bS分别表示第S个分支的卷积核和偏置量；fc为非线性激活函数LeakyReLU，用于保留相关特征和过滤不相关特征。为了提取更复杂、更深层的特征，需要更多的卷积层组成深度CNN网络，因此，在每两个卷积层中嵌入残差连接，构建残差CNN块。在每个分支中由若干顺序连接的残差CNN，基本残差CNN块的形式化描述如下：
其中j是卷积层的索引，cS，j是第S个分支的第j个卷积层所属残差CNN块的输出，表示执行1×1的卷积核，用于匹配残差块中的输入和输出维度，这样，当某个层残差值为0时，该层相当于恒等映射，可以避免梯度消失问题。同时，残差学习结构使得网络比传统结构更容易学习特征，简化了复杂深度网络的训练过程。此外，在每个CNN分支末尾加入平均池化层。然后，将每个分支上的输出特征图扁平化为向量，作为每个尺度上的特征。对于不同卷积核大小的CNN分支，可以学习来自不同视角的多尺度过程数据的特征表示，记为：其中S是尺度的个数，dc是每个尺度上得到的特征的维数。由于工业过程的变化通常是无序和难以捉摸的，因此每个尺度上的特征对质量预测的影响是不一致的，所以要对提取的互补多尺度特征进行融合，其表示为：
ot＝Concat(c1，c2，...，cS)
其中，ot为融合后的多尺度特征表示。融合后的多尺度特征能够很好的反应当前的工业过程。对于MRCNN模型，采用具有均方误差的损失函数作为目标函数，同时，加入L2正则化对网络进行平滑处理并避免软测量模型过于复杂导致的过拟合。因此，目标函数的最终形式被表示为：
其中，和/>分别为训练集的预测值和目标值；λ是正则项的惩罚系数，θ是需要学习的参数。此外，在反向传播算法中应用了Adam优化器，有利于加快模型的收敛。
结合模型结构，VAE-MRCNN由变分自编码器与多尺度残差卷积神经网络结合，将得到的融合后的特征作为全连接回归网络的输入来获得最终的预测结果。
步骤5：VAE-MRCNN模型的有效性验证，将整个生成模型训练完成后，并将模型各部分参数保存下来。将测试数据集通过该模型进行前向传播，得到预测值ypre，通过指标RMSE、MSE、MAE和R2用于评价本发明的性能。其各公式定义如下：
式中yreal、ypre分别为标签值和预测输出值。较小的RMSE往往表示更好的预测性能。
决定系数R2反应模型的可靠性，ymean为测试数据输出值的均值，R2越大表明软测量模型具有较好的预测性能。
本发明采用VAE-MRCNN软测量模型，解决了在复杂的工业过程中软测量模型所使用的数据集不足的问题以及目标变量的预测问题。通过这一方法，可以提供充足且高质量的训练数据集，从而能够充分提取数据中存在的潜在特征并且能过获得较好的预测结果。此外，该发明还能够很好的适用于大量且复杂的数据场景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311026168.5A CN116975645A (zh) | 2023-08-15 | 2023-08-15 | 一种基于vae-mrcnn的工业过程软测量建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311026168.5A CN116975645A (zh) | 2023-08-15 | 2023-08-15 | 一种基于vae-mrcnn的工业过程软测量建模方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116975645A true CN116975645A (zh) | 2023-10-31 |
Family
ID=88479590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311026168.5A Pending CN116975645A (zh) | 2023-08-15 | 2023-08-15 | 一种基于vae-mrcnn的工业过程软测量建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116975645A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649153A (zh) * | 2024-01-29 | 2024-03-05 | 南京典格通信科技有限公司 | 基于信息集成的移动通信网络用户体验质量预测方法 |
| CN117688388A (zh) * | 2024-01-30 | 2024-03-12 | 武汉纺织大学 | 一种基于数据增强与预测联合学习的软测量方法与系统 |
-
2023
- 2023-08-15 CN CN202311026168.5A patent/CN116975645A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649153A (zh) * | 2024-01-29 | 2024-03-05 | 南京典格通信科技有限公司 | 基于信息集成的移动通信网络用户体验质量预测方法 |
| CN117649153B (zh) * | 2024-01-29 | 2024-04-16 | 南京典格通信科技有限公司 | 基于信息集成的移动通信网络用户体验质量预测方法 |
| CN117688388A (zh) * | 2024-01-30 | 2024-03-12 | 武汉纺织大学 | 一种基于数据增强与预测联合学习的软测量方法与系统 |
| CN117688388B (zh) * | 2024-01-30 | 2024-04-30 | 武汉纺织大学 | 一种基于数据增强与预测联合学习的软测量方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112101480B (zh) | 一种多变量聚类与融合的时间序列组合预测方法 | |
| CN116975645A (zh) | 一种基于vae-mrcnn的工业过程软测量建模方法 | |
| CN109992921B (zh) | 一种燃煤电厂锅炉热效率的在线软测量方法及系统 | |
| CN115018021B (zh) | 基于图结构与异常注意力机制的机房异常检测方法及装置 | |
| CN111461463B (zh) | 一种基于tcn-bp的短期负荷预测方法、系统及设备 | |
| CN111768000A (zh) | 在线自适应微调深度学习的工业过程数据建模方法 | |
| CN110083125A (zh) | 一种基于深度学习的机床热误差建模方法 | |
| CN114462718A (zh) | 基于时间滑动窗口的cnn-gru风电功率预测方法 | |
| CN113485261B (zh) | 一种基于CAEs-ACNN的软测量建模方法 | |
| CN112784920A (zh) | 云边端协同的旋转部件对抗域自适应故障诊断方法 | |
| CN113836783A (zh) | 斜拉桥主梁温致挠度监测基准值的数字回归模型建模方法 | |
| CN113449919A (zh) | 一种基于特征和趋势感知的用电量预测方法及系统 | |
| CN114723112A (zh) | 一种基于多维气象因子相空间重构的风电出力超短期预测方法 | |
| CN114676622A (zh) | 基于自编码器深度学习模型的短期光伏功率预测方法 | |
| CN113151842B (zh) | 风光互补电解水制氢的转化效率的确定方法和确定装置 | |
| Fu et al. | MCA-DTCN: A novel dual-task temporal convolutional network with multi-channel attention for first prediction time detection and remaining useful life prediction | |
| CN114239397A (zh) | 基于动态特征提取与局部加权深度学习的软测量建模方法 | |
| CN116483036B (zh) | 一种基于Transformer的自编码器软测量建模方法 | |
| CN112232570A (zh) | 一种正向有功总电量预测方法、装置及可读存储介质 | |
| CN111863153A (zh) | 一种基于数据挖掘的废水中悬浮固体总量的预测方法 | |
| CN116703644A (zh) | 一种基于Attention-RNN的短期电力负荷预测方法 | |
| CN116364203A (zh) | 一种基于深度学习的水质预测方法、系统和装置 | |
| Wang | A new variable selection method for soft sensor based on deep learning | |
| CN115860281B (zh) | 基于跨实体注意力的能源系统多实体负载预测方法和装置 | |
| CN115392543B (zh) | 一种结合l21范数和残差级联宽度学习的注塑产品质量预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |