CN114841000B - 一种基于模态共有特征分离的软测量建模方法 - Google Patents

Abstract

本发明涉及一种基于模态共有特征分离的软测量建模方法。该方法充分考虑工业过程的数据特性，通过β变分自编码器和梯度反转方法，对多模态工业过程进行模态共有特征的提取，同时利用输入生成模态独有的系数，将模态独有系统与模态共有特征相乘，用于多模态过程的软测量建模。将模态基础特征与模态独有参数相结合，用于软测量的回归建模，对关键质量变量进行估计和预报。与现有的其他方法相比，本发明可以有效地提取工业数据中多模态和非线性特征，对待测多模态输入数据进行自动的模态划分，从而利用模态共有特性和独有特性进行建模，大幅度提升软测量模型对多模态工业过程的预测精度。

Description

一种基于模态共有特征分离的软测量建模方法

技术领域

本发明属于工业过程控制技术领域，涉及一种基于模态共有特征分离的软测量建模方法。

背景技术

在工业过程中，用于帮助过程监测、故障诊断以及质量预报的关键变量被称为质量变量，而在过程中易于采集的传感器数据被称为过程变量。但质量变量由于一些客观条件的限制，直接获取的难度往往较大，例如测量的设施异常昂贵、测量的环境非常困难、实验室分析延迟较大等。针对此类难于直接观测的关键质量变量，一般的，可采用软测量建模的方法，即构建易于测量的过程变量与难于观测的质量变量之间的数学关系，进而进行推断和估计。

此外，在生产过程中，随着原料组分、生产需求、生产环境、生产工艺等因素的变化，同一生产线的状态也会随之发生物理或化学性质的变化，这也被称为多模态过程。为了解决多模态问题，现有的方法一般可分为线性算法、非线性算法、自适应学习算法。线性算法是建立多个子空间，从而提出变量、单元的分层预测。此类模型需要结合具体的多模态过程专家知识，以建立精确的多模态模型，不具备普适性；而非线性的方法往往是将多模态也视为一种高维的非线性因素，从而进行拟合。这需要引入更深层网络结构或增加网络节点进行非线性拟合，计算规模大，时间成本高，很难适用于实时性要求高的在线监测过程；自适应的学习方法能够不断实时动态更新模型，从而忽略过程的多模态特性，该方法对于一些简单的多模态过程建模效果较好，而处理复杂的非线性多模态过程，则会出现严重的信息丢失问题。

综上，现有的一些多模态问题解决方案，都没有充分考虑到工业过程的数据特性。对于工业过程而言，由于数据是源自于同一个反应过程，所以不同的模态数据之间有一定的共性，这些共性往往是过程的基础特性，因此，多模态建模可以从模态共有特征出发，设计一个轻量的深度学习模型提取模态之间的基础特征，抽离不同模态的独有特征，建立起多模态过程变量和质量变量之间的关系，能够有效构建高预测精度的软测量模型。

发明内容

本发明的目的就是提供一种基于模态共有特征分离的软测量建模方法。

本发明具体包括以下步骤：

步骤一、收集多模态工业过程建模所需的有标签数据集，随机采样，将数据分为训练集输入样本X_train∈R^1×n和测试集输入样本X_test∈R^1×n,训练集输入样本对应输出样本集Y_train∈R^1×1，测试集输入样本对应输出样本集Y_test∈R^1×1，其中n代表变量维度；

步骤二、对步骤一中所述训练集X_train进行模态划分，为每个样本标注一个对应的模态类别m；

步骤三、基于开源深度学习平台Tensorflow搭建基于模态共有特征分离与自加权变分自编码器网络MSCS-SW-VAE模型；

步骤1、搭建模态共有特征提取网络：使用β变分自编码器将训练集输入样本X_train通过编码器映射到隐层空间，得到隐变量特征均值z_mean和方差z_sigma，均值和方差经过重参数化得到隐变量z＝z_mean+e×z_sigma，其中e～N(0,I)。隐变量z经由解码器得到输入数据X_train的重构值定义编码器部分网络参数为θ_e，解码器部分网络参数为θ_d；

定义模态共有特征提取网络的损失函数为L_x+βD_KL，其中L_x为重构损失，βD_KL为隐变量损失，βD_KL＝βD_KL(N(z_mean,z_sigma ²I),N(0,I))，D_KL表示KL散度，β一般设置为大于1的超参数；

步骤2、搭建模态共有特征增益网络及模态分类网络：将步骤1中隐变量特征均值z_mean使用softmax分类器确定输入样本属于模态i的概率p_i；定义模态分类网络参数为θ_m，模态分类损失函数为其中k是模态个数，m是模态类别；

定义特征增益网络损失函数时，引入了梯度反转方法；当反向梯度传播到隐层空间时，在损失函数L_m前乘以一个负数-λ，以到梯度反转的效果；随训练过程动态改变，p为迭代进程，/>表示当前迭代次数与总迭代次数的比率，γ取常数10；

步骤3、搭建模态独有系数生成网络：输入数据X_train经过一个一层的全连接层，再经过一个dropout层，最后通过一个激活函数relu，得到模态独有系数r，定义模态独有系数生成网络参数为θ_r；

步骤4、基于步骤1和步骤3所述隐变量特征均值z_mean和模态独有系数r，构建质量变量回归网络：将模态共有特征提取网络中的隐变量特征均值z_mean与模态独有系数r相乘，经过多层感知机MLP拟合得到预测值定义质量变量回归网络参数为θ_y，回归损失函数

步骤四、将步骤一和步骤二所述训练样本X_train∈R^1×n以及样本对应的模态类别m，输入到步骤三搭建的下MSCS-SW-VAE模型进行训练；得到MSCS-SW-VAE模型的损失函数为L_x+L_y+βD_KL+L_m；根据各部分损失函数和训练样本输入、输出、模态标签，利用梯度反转方法和随机梯度迭代算法，对各网络参数进行梯度迭代更新。

步骤五、将测试集样本X_test输入到经步骤一～步骤五训练的网络中，获得输出预测值将预测值/>与输出样本Y_test进行比对，对模型进行验证，完成软测量模型的建立。

进一步的，步骤二具体为：对训练集输入样本X_train进行数据特性分析，使用数据可视化、K-means聚类或者人工标注的方式，确定输入样本对应的模态类别。

进一步的，步骤四具体为：步骤1模态共有特征提取网络接收输入样本，其获得的隐变量特征均值z_mean作为步骤2模态共有特征增益网络及模态分类网络的输入；步骤3模态独有系数生成网络亦接收输入样本，其获得的模态独有系数r，与步骤1中获得的隐层空间特征z_mean相乘，经过步骤4质量变量回归网络处理，得到输入样本的预测值。

步骤四所述的根据各部分损失函数和训练样本输入、输出、模态标签，利用梯度反转方法和随机梯度迭代算法，对各网络参数进行梯度迭代更新，具体策略如下所示：

编码器部分网络参数模态独有系数生成网络参数/>解码器部分网络参数/>模态分类网络参数质量变量回归网络参数/>其中，μ₀为模型训练的学习率。

本发明充分考虑工业过程的数据特性，通过β变分自编码器和梯度反转方法，对多模态工业过程进行模态共有特征的提取，同时利用输入生成模态独有的系数，将模态独有系统与模态共有特征相乘，用于多模态过程的软测量建模。相比其他软测量模型，本发明能够有效分离多模态过程的模态独有特征和模态共有基础特征，对待测多模态输入数据进行自动的模态划分，从而利用模态共有特性和独有特性进行建模，大幅度提升软测量模型对多模态工业过程的预测精度。

附图说明

图1为MSCS-SW-VAE模型的整体结构框图；

图2为Tennessee Eastman(TE)过程流程图；

图3为MSCS-SW-VAE模型对TE过程的预测结果图；

图4为MSCS-SW-VAE模型生成的模态系数图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的阐述。

本发明针对多模态工业过程的软测量建模问题，从多模态数据中提取了模态共有特征和模态独有特征，提出了一种基于模态共有特征分离的软测量建模方法。

该方法利用β变分自编码器模型提取模态的共有基础特征，利用参数化网络生成模态独有参数。同时，通过一个模态分类器和梯度反转层进行对抗学习，加强模态共有基础特征的提取能力。将模态基础特征与模态独有参数相结合，用于软测量的回归建模，对关键质量变量进行估计和预报。可以对待测多模态输入数据进行自动的模态划分，从而利用模态共有特性和独有特性进行建模，大幅度提升软测量模型对多模态工业过程的预测精度。

一种基于模态共有特征分离的软测量建模方法，包括如下步骤：

步骤一、利用传感器、工业控制系统等方式，收集多模态工业过程建模所需的有标签数据集。随机采样，将其中a个样本X_train∈R^1×n作为训练集(输入样本),输入样本对应有输出样本集Y_train∈R^1×1，剩余b个样本X_test∈R^1×n作为测试集,测试集对应输出样本集Y_test∈R^1×1，并保存到存储介质中，其中n代表变量维度。

步骤二、使用图示法、聚类法或结合专家知识，对步骤一中所述训练集X_train进行模态划分，为每个样本标注一个对应的模态类别：模态类别为m，模态个数为k；

具体如下：对训练集输入样本X_train进行数据特性分析，使用数据可视化、K-means聚类或者人工标注的方式，确定输入样本对应的模态类别m，例如，当m＝[0 1 0 0]表示共有4个模态，当前样本属于第2个模态；

步骤三、基于开源深度学习平台Tensorflow搭建MSCS-SW-VAE(基于模态共有特征分离与自加权变分自编码器网络)模型；

步骤1、搭建模态共有特征提取网络：使用β变分自编码器将输入样本(步骤一中训练集X_train)通过编码器映射到隐层空间，得到隐变量特征均值z_mean和方差z_sigma，均值和方差经过重参数化得到隐变量z＝z_mean+e×z_sigma，其中e～N(0,I)。隐变量z经由解码器得到输入数据X_train的重构值定义编码器部分网络参数为θ_e，解码器部分网络参数为θ_d。

定义模态共有特征提取网络的损失函数为L_x+βD_KL，其中L_x为重构损失，βD_KL为隐变量损失，βD_KL＝βD_KL(N(z_mean,z_sigma ²I),N(0,I))，D_KL表示KL散度，β一般设置为大于1的超参数；

步骤2、搭建模态共有特征增益网络及模态分类网络：将步骤1中隐变量特征均值z_mean使用softmax分类器确定输入样本属于模态i的概率p_i。定义模态分类网络参数为θ_m，模态分类损失函数为其中k是模态个数，m是模态类别。

定义特征增益网络损失函数时，引入了梯度反转方法；当反向梯度传播到隐层空间时，损失函数L_m前乘以-λ,随训练过程动态改变，p为迭代进程，/>表示当前迭代次数与总迭代次数的比率，γ取常数10；

步骤3、搭建模态独有系数生成网络：输入数据X_train经过一个一层的全连接层，再经过一个dropout层，最后通过一个激活函数relu，得到模态独有系数r，定义模态独有系数生成网络参数为θ_r；

步骤4、基于步骤1和步骤3所述隐变量特征均值z_mean和模态独有系数r，构建质量变量回归网络：将模态共有特征提取网络中的隐变量特征均值z_mean与模态独有系数r相乘，经过多层感知机MLP拟合得到预测值定义质量变量回归网络参数为θ_y，回归损失函数

步骤四、将步骤一和步骤二所述训练样本X_train∈R^1×n以及样本对应的模态类别m，输入到步骤三搭建的下MSCS-SW-VAE模型进行训练；

如图1所示，步骤1模态共有特征提取网络接收输入样本，其获得的隐变量特征均值z_mean作为步骤2模态共有特征增益网络及模态分类网络的输入；步骤3模态独有系数生成网络亦接收输入样本，其获得的模态独有系数r，与步骤1中获得的隐层空间特征z_mean相乘，经过步骤4质量变量回归网络处理，得到输入样本的预测值。

得到MSCS-SW-VAE模型的损失函数为L_x+L_y+βD_KL+L_m。

根据各部分损失函数和训练样本输入、输出、模态标签，利用梯度反转方法和随机梯度迭代算法，对各网络参数进行梯度迭代更新，具体策略如下所示：

编码器部分网络参数模态独有系数生成网络参数/>解码器部分网络参数/>模态分类网络参数质量变量回归网络参数/>其中，μ₀为模型训练的学习率。

步骤五、将测试集样本X_test输入到经步骤一～步骤五训练的网络中，获得输出预测值将预测值/>与输出样本Y_test进行比对，对模型进行验证，完成软测量模型的建立。

为了评价基于模态共有特征分离与自加权变分自编码器模型(MSCS-SW-VAE)，采用模型评价指标均方根误差(RMSE)和确定性系数(R²)对测试集的预测结果进行评价：

以下结合Tennessee Eastman过程(以下简称TE过程)说明基于模态共有特征分离与自加权变分自编码器模型的有效性，图2给出了TE过程的工艺流程图。TE过程由反应器、冷凝器、分离器、压缩机和剥离器五个操作单元构成。主要产物有气体A、C、D、E，惰性气体B，液体G、H和副产品F。该过程共有41个测量变量和12个操作变量，具体的测量变量描述如表1所示。在41个测量变量中，前22个是基本的过程变量，后19个是成分变量。本例利用前22个过程变量作为模型的输入变量，变量38作为输出变量。

表1：TE过程测量变量说明

1.TE过程共引入3个模态，每个模态的训练集300个采样点，测试集100个采样点。

2.在深度学习平台Tensorflow上搭建MSCS-SW-VAE网络模型，并利用测试集验证预测性能。取超参数β＝2，自编码器内部的编码器、解码器的隐层节点数，隐变量的个数均被设置为14；模态系数提取的网络各层节点数被设置为14、14、14。回归网络部分是通过一个一层神经网络进行拟合，其节点数为10。取学习率μ₀＝0.01，模型迭代次数为8000，采用随机梯度迭代算法对模型参数进行更新。

3.本发明提出的MSCS-SW-VAE模型，在测试集上与基本的线性模型PLS、局部加权偏最小二乘(LW-PLS)模型、高斯混合回归(GMR)模型进行了预测结果的比较。本发明所提出的方法预测效果如图3所示，模态系数如图4所示。前述四种模型的评价指标RMSE和R2如表2所示。

表2：四种模型预测结果表

指标/模型	PLS	LW-PLS	GMR	MSCS-SW-VAE
					测试RMSE	0.0189	0.014	0.0126	0.0115
测试R2	0.996	0.998	0.998	0.999

可以看出MSCS-SW-VAE模型能够有效地分离模态共有特征，并生成模态独有系数，针对多模态过程有较好的预测精度。

以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (4)

1.一种基于模态共有特征分离的软测量建模方法，其特征在于：具体包括如下步骤：

步骤一、收集多模态工业过程建模所需的有标签数据集，随机采样，将数据分为训练集输入样本X_train∈R^1×n和测试集输入样本X_test∈R^1×n,训练集输入样本对应输出样本集Y_train∈R^1×1，测试集输入样本对应输出样本集Y_test∈R^1×1，其中n代表变量维度；

步骤二、对步骤一中所述训练集X_train进行模态划分，为每个样本标注一个对应的模态类别m；

步骤三、基于开源深度学习平台Tensorflow搭建基于模态共有特征分离与自加权变分自编码器网络MSCS-SW-VAE模型；

步骤1、搭建模态共有特征提取网络：使用β变分自编码器将训练集输入样本X_train通过编码器映射到隐层空间，得到隐变量特征均值z_mean和方差z_sigma，均值和方差经过重参数化得到隐变量z＝z_mean+e×z_sigma，其中e～N(0,I)；隐变量z经由解码器得到输入数据X_train的重构值定义编码器部分网络参数为θ_e，解码器部分网络参数为θ_d；

定义模态共有特征提取网络的损失函数为L_x+βD_KL，其中L_x为重构损失，βD_KL为隐变量损失，βD_KL＝βD_KL(N(z_mean,z_sigma ²I),N(0,I))，D_KL表示KL散度，β一般设置为大于1的超参数；

步骤2、搭建模态共有特征增益网络及模态分类网络：将步骤1中隐变量特征均值z_mean使用softmax分类器确定输入样本属于模态i的概率p_i；定义模态分类网络参数为θ_m，模态分类损失函数为其中k是模态个数，m是模态类别；

定义特征增益网络损失函数时，引入了梯度反转方法；当反向梯度传播到隐层空间时，在损失函数L_m前乘以一个负数-λ，以到梯度反转的效果；随训练过程动态改变，p为迭代进程，/>表示当前迭代次数与总迭代次数的比率，γ取常数10；

步骤3、搭建模态独有系数生成网络：输入数据X_train经过一个一层的全连接层，再经过一个dropout层，最后通过一个激活函数relu，得到模态独有系数r，定义模态独有系数生成网络参数为θ_r；

步骤4、基于步骤1和步骤3所述隐变量特征均值z_mean和模态独有系数r，构建质量变量回归网络：将模态共有特征提取网络中的隐变量特征均值z_mean与模态独有系数r相乘，经过多层感知机MLP拟合得到预测值定义质量变量回归网络参数为θ_y，回归损失函数

步骤四、将步骤一和步骤二所述训练样本X_train∈R^1×n以及样本对应的模态类别m，输入到步骤三搭建的下MSCS-SW-VAE模型进行训练；得到MSCS-SW-VAE模型的损失函数为L_x+L_y+βD_KL+L_m；根据各部分损失函数和训练样本输入、输出、模态标签，利用梯度反转方法和随机梯度迭代算法，对各网络参数进行梯度迭代更新；

步骤五、将测试集样本X_test输入到经步骤一～步骤五训练的网络中，获得输出预测值将预测值/>与输出样本Y_test进行比对，对模型进行验证，完成软测量模型的建立。

2.如权利要求1所述的基于模态共有特征分离的软测量建模方法，其特征在于：步骤二具体为：对训练集输入样本X_train进行数据特性分析，使用数据可视化、K-means聚类或者人工标注的方式，确定输入样本对应的模态类别。

3.如权利要求1所述的基于模态共有特征分离的软测量建模方法，其特征在于：步骤四具体为：步骤1模态共有特征提取网络接收输入样本，其获得的隐变量特征均值z_mean作为步骤2模态共有特征增益网络及模态分类网络的输入；步骤3模态独有系数生成网络亦接收输入样本，其获得的模态独有系数r，与步骤1中获得的隐层空间特征z_mean相乘，经过步骤4质量变量回归网络处理，得到输入样本的预测值。

4.如权利要求1所述的基于模态共有特征分离的软测量建模方法，其特征在于：步骤四所述的根据各部分损失函数和训练样本输入、输出、模态标签，利用梯度反转方法和随机梯度迭代算法，对各网络参数进行梯度迭代更新，具体策略如下所示：

编码器部分网络参数模态独有系数生成网络参数/>解码器部分网络参数/>模态分类网络参数质量变量回归网络参数/>其中，μ₀为模型训练的学习率。