CN109060001B - 一种基于特征迁移学习的多工况过程软测量建模方法 - Google Patents

Abstract

一种基于特征迁移学习的多工况过程软测量建模方法，包括以下步骤：(1)获取连续搅拌釜式反应器的多工况过程变量数据集；(2)多工况数据的预处理以及数据集划分；(3)不同工况下的数据特征分布匹配迁移训练；(4)建立域适应极限学习机软测量模型；(5)将特征分布匹配好的新训练数据送入软测量模型训练并进行预测评估。本发明利用特征迁移方法将相关工况数据特征信息迁移到标签数据缺乏的工况中，有效提升了软测量模型对标签数据缺乏的工况的预测准确度。

Description

一种基于特征迁移学习的多工况过程软测量建模方法

技术领域

本发明涉及化工过程的多工况软测量建模领域，特别涉及一种基于特征迁移学习的多工况过程软测量建模方法。

背景技术

在当代流程工业生产中，为保证生产设备的稳定运行以及产品质量满足要求，采用数据驱动的软测量建模方法对过程中的关键变量进行预测得到了更多关注。数据驱动的软测量建模方法利用生产过程中的大量历史标签数据进行训练，从而挖掘出历史数据中辅助变量与关键变量之间的数学关系。数据驱动的软测量建模方法凭借无需深入了解过程的反应机理，准确性高和实现简单等优势，在化工过程中得到了广泛应用。

近年来，化工生产过程中的多工况特性受到广泛关注。由于生产多牌号产品的需要，生产过程的操作条件要进行频繁切换，造成了所采集的过程数据也发生了显著的变化。多工况特性为传统软测量建模方法的实施增加了难度，首先，不同工况下收集的数据特点存在差异性，在特定工况下建立的模型无法适用于其他工况的关键变量的预测；其次，不同的工况在建立独立的软测量模型均需要足够的历史标签数据进行训练，才能获得准确的预测模型。在实际工业生产过程中，标签数据量是十分有限的，更多的是无标签数据。国内外研究学者通过提出半监督学习方法和主动学习方法，在使用少量的标签数据的基础上，并充分利用大量无标签数据所携带的结构信息，进一步提升模型的预测准确性。然而，半监督学习方法和主动学习方法在标签数据量上有较高的要求，标签数据量十分缺乏时，此类方法将失去作用。因此，需要一种对标签数据量依赖性更小，准确性更好的软测量方法。

迁移学习作为机器学习领域的一个新颖方向。传统机器学习以及深度学习方法在十分缺乏标签数据的领域中，并不能获得良好的预测效果，然而，迁移学习可以在标签数据量少的领域发挥作用。迁移学习通过模仿人具有的举一反三的能力，从拥有足量标签数据的领域中获取有用知识信息，来帮助缺乏标签数据量的领域进行软测量建模。迁移学习凭借其强大的学习能力已经在语音识别、图像识别领域获得不错的效果。结合化工过程数据的特点，提出一种基于特征迁移学习的多工况过程软测量建模方法，在缺少标签数据的工况中提升软测量模型的预测准确度。

发明内容

为了克服已有的多工况过程软测量方法在标签数据缺少的情况下预测精度较低的不足，本发明提出一种基于特征迁移学习的多工况过程软测量建模方法，通过迁移有用特征信息，建立不同工况下的软测量模型，以有效提升模型的预测准确度。

本发明解决其技术问题所采用的技术方案是：

一种基于特征迁移学习的多工况过程软测量建模方法，所述方法包括以下步骤：

(1)获取连续搅拌釜式反应器的多工况过程变量数据集

运行连续搅拌釜式反应器并模拟多工况过程，获取不同工况下的冷却液体积流量数据q_c，反应温度T和产物浓度数据C_a，建立多工况下的过程变量数据集，其中，冷却液体积流量数据q_c，反应温度T作为数据集的输入变量，产物浓度数据C_a作为待预测变量；

(2)多工况数据的预处理以及数据集划分

由于冷却液体积流量和反应温度的量纲单位不同，首先需要进行数据标准化处理，从而变成无量纲数据集；其次，将其中一个工况划分为拥有较多标签数据量的训练集和测试集，其余工况均划分为少量标签数据量的训练集和测试集；

(3)不同工况下的数据特征分布匹配迁移训练

建立特征分布变换匹配对抗网络，将不同工况的训练数据送入特征分布匹配对抗网络进行训练；

(4)建立域适应极限学习机(Domain Adaptation ELM，DAELM)、极限学习机(ELM)、支持向量回归(SVR)软测量模型并进行预测评估；

(5)将特征分布匹配好的源域标签数据集与目标域少量标签数据集组合送入三种软测量模型进行训练预测评估；采用均方根误差RMSE和最大绝对误差MAE评价指标对模型进行评估，验证特征迁移学习的预测效果。

进一步，所述步骤(2)的过程为：

步骤2.1：为消除过程变量之间因量纲带来的差异性，对数据进行min-max标准化处理，公式如下：

式中，x'为标准化处理后的数据集；x为所采集的原始数据集；xmin为原始过程变量数据的最小值；xmax为原始过程变量数据的最大值；

步骤2.2：从标准化处理后的不同工况数据集任意选取一个工况作为源域工况数据集，从剩余工况中任意选择一个作为目标域工况数据集；源域工况数据集中训练集全部为标签，源域工况数据集中训练集占总样本数的60％，测试集占总样本数的40％；其余目标域工况数据集中训练集中有标签为10％，无标签为50％，其余目标域工况数据集中训练集占总样本数60％，测试集占样本数的40％。

进一步，所述步骤(3)的过程为：

步骤3.1：建立特征分布对抗变换匹配网络

源域和目标域工况数据形式为

和

其中

和y_si分别为源域中第i个样本的输入变量和输出变量，

和y_ti分别为目标域中第i个样本的输入变量和输出变量，N为源域样本数，M为目标域样本数，m为样本的特征维数，建立一个单层特征变换神经网络，变换过程如下：

式中x_si，

分别为源域第i个样本，对应变换到目标域的第i个样本，w_jj和b_j分别为神经网络的权重和偏置，m为神经元数，其中特征维数与神经元数一致；

建立一个领域对抗判别神经网络，网络用于判别源域数据经特征变换后与目标域数据之间是否不可区分，判别过程如下：

式中，w_jk，w_kl，w_l，b_k，b_l，b分别为判别网络第一个隐层，第二个隐层和输出层的权重和偏置；σ₁，σ₂，σ₃分别对应层的激活函数relu，relu，sigmoid；z，v分别为第一个隐层的数据特征表示，第二个隐层的数据特征表示；n，K，L分别为样本特征维数，第一个隐层神经元数，第二个隐层神经元数；D(v)为最终判别网络概率输出；

上述特征变换神经网络与领域对抗判别网络，组成特征分布对抗变换匹配网络，循环训练两个网络，使得源域特征经特征变换神经网络变换后，领域对抗判别神经网络无法将其与目标域特征区分开；整个网络使用最小二乘误差作为损失函数进行训练，训练过程损失函数如下：

式中，loss_transform(D_t,T,X_s)为变换网络损失函数；loss_D(D_t,T,X_s,X_t)为领域对抗判别网络损失函数；T为变换网络函数；D_t为领域对抗判别网络函数；

为最大期望值；X_s和X_t分别为源域数据集和目标域数据集；P(x_s)为源域数据分布；P(x_t)为目标域数据分布；

步骤3.2：网络参数初始设置及参数优化训练

变换网络和领域对抗判别网络初始损失值均设置为loss_init＝0.001。每次迭代训练过程中，两个网络分别对源域数据和目标域数据各采样n＝3次进行训练调参，所采集的数据量为总数据量的一半；使用自适应矩估计算法(Adam)分别对变换网络和领域对抗判别网络的参数进行优化。

更进一步，所述步骤(4)的过程为：

建立域适应极限学习机软测量模型，在正则化极限学习机(RELM)的基础上进行改进，将源域和目标域的训练误差(最小二乘误差)全部引入正则化极限学习机的优化目标函数中。优化目标函数如下：

式中，

分别为源域隐含层的输出，源域样本预测误差以及在源域中第i个样本的输出标签；

分别为目标域隐含层的输出，目标域样本的预测误差以及在目标域中第j个辅助指导样本的标签；

为源域样本训练的输出权重；N_S和N_T分别为源域的训练样本数和目标域的训练样本数；C_S和C_T分别为源域标签训练样本的预测误差惩罚因子，目标域标签训练样本的预测误差惩罚因子；

利用拉格朗日数乘法求解公式如下：

通过拉格朗日乘数法进行求偏导且偏导数为零，最终β_S的求解如下：

当训练样本数N_S小于隐层神经元数L，即N_S<L

式中：

α_S，α_Τ分别为源域乘子向量，目标域乘子向量；

当训练样本数N_S大于隐层神经元数L，即N_S＞L，最终β_S的求解如下：

本发明利用对抗学习方法对不同工况数据进行特征变换匹配，能够缩小不同工况之间的特征分布差异性，在源域数据特征与目标域数据特征匹配完成后，首先，假设目标域有少量标签数据时，将匹配后的源域标签数据和有限的目标域标签数据组合为新的训练集；其次，假设目标域没有任何标签数据时，将匹配后的源域标签数据作为训练集；上述两种情况分别送入不同的软测量模型进行训练并在目标域测试数据集上进行预测评估。

本发明的有益效果主要表现在：本发明利用对抗学习方法对不同工况数据的特征分布进行匹配，缩小特征分布之间的差异性，有效利用相关工况标签数据辅助对少标签数据的工况进行建模，并有效提升模型的预测准确度。

附图说明

图1是本发明的方法的流程图；

图2是本发明提出的特征匹配对抗训练结构图；

图3a、3b为工况1和工况2的预测误差分布对比图

图4a、4b为工况1和工况3的预测误差分布对比图

图5a、5b为工况3和工况2的预测误差分布对比图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图5b，一种基于特征迁移学习的多工况过程软测量建模方法，所述方法包括以下步骤：

(1)获取连续搅拌釜式反应器的多工况过程变量数据集

运行连续搅拌釜式反应器并模拟多工况过程，获取不同工况下的冷却液体积流量数据q_c，反应温度T和产物浓度数据C_a，建立多工况下的过程变量数据集，其中，冷却液体积流量数据q_c，反应温度T作为数据集的输入变量，产物浓度数据C_a作为待预测变量；

(2)多工况数据的预处理以及数据集划分，过程如下：

步骤2.1：为消除过程变量之间因量纲带来的差异性，对数据进行min-max标准化处理，公式如下：

式中，x'为标准化处理后的数据集；x为所采集的原始数据集；xmin为原始过程变量数据的最小值；xmax为原始过程变量数据的最大值；

步骤2.2：从标准化处理后的不同工况数据集任意选取一个工况作为源域工况数据集，从剩余工况中任意选择一个作为目标域工况数据集；源域工况数据集中训练集全部为标签数据，源域工况数据集中训练集占总样本数的60％，测试集占总样本数的40％；其余目标域工况数据集中训练集中有标签数据为10％，无标签数据为50％，其余目标域工况数据集中训练集占总样本数60％，测试集占样本数的40％。

(3)不同工况下的数据特征分布匹配迁移训练，过程如下：

步骤3.1：建立特征分布对抗变换匹配网络

源域和目标域工况数据形式为

和

其中

和y_si分别为源域中第i个样本的输入变量和输出变量，

和y_ti分别为目标域中第i个样本的输入变量和输出变量，N为源域样本数，M为目标域样本数，m为样本的特征维数，建立一个单层特征变换神经网络，变换过程如下：

式中x_si，

分别为源域第i个样本，对应变换到目标域的第i个样本，w_jj和b_j分别为神经网络的权重和偏置，m为神经元数，其中特征维数与神经元数一致；

建立一个领域对抗判别神经网络，网络用于判别源域数据经特征变换后与目标域数据之间是否不可区分，判别过程如下：

式中，w_jk，w_kl，w_l，b_k，b_l，b分别为判别网络第一个隐层，第二个隐层和输出层的权重和偏置；σ₁，σ₂，σ₃分别对应层的激活函数relu，relu，sigmoid；z，v分别为第一个隐层的数据特征表示，第二个隐层的数据特征表示；n，K，L分别为样本特征维数，第一个隐层神经元数，第二个隐层神经元数；D(v)为最终判别网络概率输出；

上述特征变换神经网络与领域对抗判别网络，组成特征分布对抗变换匹配网络，循环训练两个网络，使得源域特征经特征变换神经网络变换后，领域对抗判别神经网络无法将其与目标域特征区分开；整个网络使用最小二乘误差作为损失函数进行训练，训练过程损失函数如下：

式中，loss_transform(D_t,T,X_s)为变换网络损失函数；loss_D(D_t,T,X_s,X_t)为领域对抗判别网络损失函数；T为变换网络函数；D_t为领域对抗判别网络函数；

为最大期望值；X_s和X_t分别为源域数据集和目标域数据集；P(x_s)为源域数据分布；P(x_t)为目标域数据分布；

步骤3.2：网络参数初始设置及参数优化训练

变换网络和领域对抗判别网络初始损失值loss_{transform-init}，loss_D-init均设置为0.001，每次迭代训练过程中，两个网络分别对源域数据和目标域数据各采样n＝3次进行训练调参，所采集的数据量为总数据量的一半；使用自适应矩估计算法(Adam)分别对变换网络和领域对抗判别网络的参数进行优化，

(4)建立域适应极限学习机软测量模型(DAELM)

建立域适应极限学习机软测量模型，在正则化极限学习机(RELM)的基础上进行改进，将源域和目标域的训练误差(最小二乘误差)全部引入正则化极限学习机的优化目标函数中，优化目标函数如下：

式中，

分别为源域隐含层的输出，源域样本预测误差以及在源域中第i个样本的输出标签；

分别为目标域隐含层的输出，目标域样本的预测误差以及在目标域中第j个辅助指导样本的标签；

为源域样本训练的输出权重；N_S和N_T分别为源域的训练样本数和目标域的训练样本数；C_S和C_T分别为源域标签训练样本的预测误差惩罚因子，目标域标签训练样本的预测误差惩罚因子，

利用拉格朗日数乘法求解公式如下：

通过拉格朗日乘数法进行求偏导且偏导数为零，最终β_S的求解如下：

当训练样本数N_S小于隐层神经元数L，即N_S<L

式中：

α_S，α_Τ分别为源域乘子向量，目标域乘子向量；

当训练样本数N_S大于隐层神经元数L，即N_S＞L，最终β_S的求解如下：

(5)将特征分布匹配好的新训练数据送入三种不同的软测量模型训练并进行预测评估；

使用训练好的软测量模型在目标域测试集上进行测试评估，评估指标为RMSE和MAE，计算公式如下：

式中，

为软测量模型预测值，y_i为目标域测试集真实值，N_test为测试集的样本数。

实例：一种基于特征迁移学习的多工况过程软测量建模方法，包以下步骤：

(1)获取连续搅拌釜式反应器的多工况过程变量数据集

运行连续搅拌釜式反应器并模拟多工况过程，获取不同工况下的冷却液体积流量数据q_c，反应温度T和产物浓度数据C_a，建立多工况下的过程变量数据集，其中，冷却液体积流量数据q_c和反应温度T作为数据集的输入变量，产物浓度数据C_a作为待预测变量。实验收集三种工况数据集分别为工况1、工况2和工况3，每种工况数据各有60个样本。

(2)数据的预处理以及数据集划分

对数据进行min-max标准化处理，从标准化处理后的不同工况数据集任意选取一个工况作为源域工况数据集，从剩余工况中任意选择一个作为目标域工况数据集；源域工况数据集中训练集(全部为标签数据)占总样本数的60％，测试集占总样本数的40％；其余目标域工况数据集中训练集(其中有标签数据为10％，无标签数据为50％)占总样本数60％，测试集占样本数的40％。

(3)建立特征分布对抗变换匹配网络

任意选取两个工况数据分别作为源域数据和目标域数据，将两类数据送入特征分布对抗变换匹配网络训练，使得源域数据分布变换到目标域数据分布中，最终两者特征分布得到匹配。

(4)无目标域标签数据和有少量目标域标签数据实验预测结果

设置工况1作为源域，工况2作为目标域；工况1作为源域，工况3作为目标域；工况3作为源域，工况2作为目标域等三种情况进行实验。针对无目标域标签数据时，分别使用本发明方法(特征迁移)和支持向量回归(SVR)进行预测，预测误差对比结果如表1a、表2a和表3a所示；针对有少量目标域标签数据(6个标签数据)分别使用本发明方法(特征迁移)、极限学习机(ELM)和域适应极限学习机(DAELM)进行预测，预测误差对比结果如表1b、表2b和表3b。

如图3a～3b所示，工况1和工况2分别作为源域和目标域，将本发明方法与传统方法预测误差分布进行对比；如图4a～4b所示，工况1和工况3分别作为源域和目标域，将本发明方法与传统方法预测误差分布进行对比；如图5a～5b所示，工况3和工况2分别作为源域和目标域，将本发明方法与传统方法预测误差分布进行对比。从上述对比结果可以看出，本发明方法的预测准确度相比于传统软测量模具有明显优势，能够说明在多工况过程建模中，将不同工况数据特征进行匹配来提取共享特征信息，能够提升软测量模型的预测准确度。

表1a

表1b

表2a

表2b

表3a

表3b

本发明方法利用特征迁移学习方法将不同工况数据特征进行匹配，能够提升特定工况在缺少足量标签数据时所建立的软测量模型预测精度，具有普遍性和通用性。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.一种基于特征迁移学习的多工况过程软测量方法，其特征在于，所述方法包括以下步骤：

(1)获取连续搅拌釜式反应器的多工况过程变量数据集

运行连续搅拌釜式反应器并模拟多工况过程，获取不同工况下的冷却液体积流量数据q_c，反应温度T和产物浓度数据C_a，建立多工况下的过程变量数据集，其中，冷却液体积流量数据q_c，反应温度T作为数据集的输入变量，产物浓度数据C_a作为待预测变量；

(2)多工况数据的预处理以及数据集划分

由于冷却液体积流量和反应温度的量纲单位不同，首先需要进行数据标准化处理，从而变成无量纲数据集；其次，将其中一个工况划分为拥有较多标签数据量的训练集和测试集，其余工况均划分为少量标签数据量的训练集和测试集；

(3)不同工况下的数据特征分布匹配迁移训练

建立特征分布变换匹配对抗网络，将不同工况的训练数据送入特征分布匹配对抗网络进行训练；

(4)建立域适应极限学习机、极限学习机、支持向量回归(SVR)软测量模型并进行预测评估；

(5)将特征分布匹配好的源域标签数据集与目标域少量标签数据集组合送入三种软测量模型进行训练预测评估；采用均方根误差RMSE和最大绝对误差MAE评价指标对模型进行评估，验证特征迁移学习的预测效果；

所述步骤(3)的过程为：

步骤3.1：建立特征分布对抗变换匹配网络

源域和目标域工况数据形式为

和

其中

和y_si分别为源域中第i个样本的输入变量和输出变量，

和y_ti分别为目标域中第i个样本的输入变量和输出变量，N为源域样本数，M为目标域样本数，m为样本的特征维数，建立一个单层特征变换神经网络，变换过程如下：

式中x_si，

分别为源域第i个样本，对应变换到目标域的第i个样本，w_jj和b_j分别为神经网络的权重和偏置，m为神经元数，其中特征维数与神经元数一致；

建立一个领域对抗判别神经网络，网络用于判别源域数据经特征变换后与目标域数据之间是否不可区分，判别过程如下：

式中，w_jk，w_kl，w_l，b_k，b_l，b分别为判别网络第一个隐层，第二个隐层和输出层的权重和偏置；σ₁，σ₂，σ₃分别对应层的激活函数relu，relu，sigmoid；z，v分别为第一个隐层的数据特征表示，第二个隐层的数据特征表示；n，K，L分别为样本特征维数，第一个隐层神经元数，第二个隐层神经元数；D(v)为最终判别网络概率输出；

上述特征变换神经网络与领域对抗判别网络，组成特征分布对抗变换匹配网络，循环训练两个网络，使得源域特征经特征变换神经网络变换后，领域对抗判别神经网络无法将其与目标域特征区分开，整个网络使用最小二乘误差作为损失函数进行训练，训练过程损失函数如下：

式中，loss_transform(D_t,T,X_s)为变换网络损失函数；loss_D(D_t,T,X_s,X_t)为领域对抗判别网络损失函数；T为变换网络函数；D_t为领域对抗判别网络函数；

为最大期望值；X_s和X_t分别为源域数据集和目标域数据集；P(x_s)为源域数据分布；P(x_t)为目标域数据分布；

步骤3.2：网络参数初始设置及参数优化训练

变换网络和领域对抗判别网络初始损失值均设置为loss_init＝0.001每次迭代训练过程中，两个网络分别对源域数据和目标域数据各采样n＝3次进行训练调参，所采集的数据量为总数据量的一半；使用自适应矩估计算法分别对变换网络和领域对抗判别网络的参数进行优化；

所述步骤(4)的过程为：

建立域适应极限学习机软测量模型，在正则化极限学习机的基础上进行改进，将源域和目标域的训练误差全部引入正则化极限学习机的优化目标函数中，优化目标函数如下：

式中，

分别为源域隐含层的输出，源域样本预测误差以及在源域中第i个样本的输出标签；

分别为目标域隐含层的输出，目标域样本的预测误差以及在目标域中第j个辅助指导样本的标签；

为源域样本训练的输出权重；N_S和N_T分别为源域的训练样本数和目标域的训练样本数；C_S和C_T分别为源域标签训练样本的预测误差惩罚因子，目标域标签训练样本的预测误差惩罚因子；

利用拉格朗日数乘法求解公式如下：

通过拉格朗日乘数法进行求偏导且偏导数为零，最终β_S的求解如下：

当训练样本数N_S小于隐层神经元数L，即N_S<L

式中：

α_S，α_T分别为源域乘子向量，目标域乘子向量；

当训练样本数N_S大于隐层神经元数L，即N_S＞L，最终β_S的求解如下：

2.如权利要求1所述的基于特征迁移学习的多工况过程软测量方法，其特征在于，所述步骤(2)的过程为：

步骤2.1：对数据进行min-max标准化处理，公式如下：

式中，x'为标准化处理后的数据集；x为所采集的原始数据集；xmin为原始过程变量数据的最小值；xmax为原始过程变量数据的最大值；

步骤2.2：从标准化处理后的不同工况数据集任意选取一个工况作为源域工况数据集，从剩余工况中任意选择一个作为目标域工况数据集；源域工况数据集中训练集全部为标签，源域工况数据集中训练集占总样本数的60％，测试集占总样本数的40％；其余目标域工况数据集中训练集中有标签为10％，无标签为50％，其余目标域工况数据集中训练集占总样本数60％，测试集占样本数的40％。

Images