CN108763857A - 一种基于相似度生成对抗网络的过程软测量建模方法 - Google Patents

Abstract

一种基于相似度生成对抗网络的过程软测量建模方法，利用生成对抗网络主动生成建模数据，利用相似度量方法对生成数据样本进行挑选，首先利用在化工过程中采集到的样本数据来训练基于Wasserstein距离和梯度惩罚的生成对抗网络，在训练完成后，利用此生成式模型中的生成器，增加样本数据量，利用相似度量方法对生成数据样本进行挑选，以剔除低质量生成数据，将原始训练数据和挑选的生成数据组合为新的训练数据，并输入到传统的软测量模型中，以提高模型对化工过程关键质量变量预测的准确度。

Description

一种基于相似度生成对抗网络的过程软测量建模方法

技术领域

本发明涉及化工过程软测量建模领域，特别涉及基于相似度生成对抗网络的过程软测量建模方法。

背景技术

在流程工业中，为满足生产装置的连续平稳操作、保证产品质量以及充分发挥装置的生产能力的需要，需要使用某些关键过程变量进行监测。鉴于关键的过程变量难以在线测量的特点，可以获取易测量的辅助过程变量来估计关键过程变量。数据驱动的软测量方法可以从历史过程变量数据中挖掘出辅助过程变量与关键过程变量之间数学关系，建立稳定、有效的数学模型。数据驱动的软测量方法凭借实现简单，准确性高、无需了解复杂的过程反应机理等特点得到了广泛应用。

目前许多软测量方法如人工神经网络(ANN)、支持向量机(SVM)、深度置信网络(DBN)等在化工过程领域得到应用，并取得了不错的效果。然而，往往因数据采集成本高、周期长等原因，不能采集到足够数据量，数据量的限制会造成软测量模型的预测准确性下降。

发明内容

为了克服现有技术化工过程数据采集成本高，周期长等特点，造成软测量模型预测准确度下降的不足，本发明提出一种基于相似度生成对抗网络的过程软测量建模方法，在使用生成对抗网络(GAN)弥补数据量不足的基础上，利用相似度量方法对生成数据样本进行相似性挑选，来剔除低质量生成样本，以减少低质量生成样本的影响，避免盲目的添加生成数据于软测量模型中，提高了数据驱动的软测量模型的预测准确度。

本发明解决其技术问题所采用的技术方案是：

一种基于相似度生成对抗网络的过程软测量建模方法，所述方法包括以下步骤：

(1)划分化工过程数据集

将从化工过程采集的数据作为原始数据，将其划分为训练集和测试集；

(2)建立GAN模型及训练过程

建立基于梯度惩罚和Wasserstein距离的生成对抗网络GAN，将训练集送入生成对抗网络，对网络进行训练；

(3)相似度量方法挑选生成样本并构建新训练集

使用相似度量方法从生成样本中挑选与训练集样本距离相近的样本，将挑选出的生成样本与训练集样本组成新的训练集；

(4)使用新的训练集建立软测量模型

使用新的训练集训练软测量模型，调节软测量模型参数以适应新的训练集，对测试集的关键过程变量进行预测。

进一步，所述步骤(2)的过程如下：

步骤2.1：建立基于梯度惩罚和Wasserstein距离的生成对抗网络；Wasserstein距离是用于衡量不同分布之间的距离，公式如下：

其中：P_r为真实数据的分布；P_g为生成数据的分布；∏(P_r,P_g)为P_r和P_g组合起来的所有可能的联合分布的集合；(x,y)～γ表示为从γ中采样得到一个真实数据x和一个生成数据y；||x-y||为真实数据与生成数据之间的距离；为期望；inf表示取下界；整个W函数表示为在所有的联合分布中对期望值取到的下界，将此期望值定义为Wasserstein距离；

根据Wasserstein距离的理论推导，生成对抗网络中，判别器D和生成器G的损失函数如下：

其中，loss_D是判别器的损失函数；loss_G是生成器的损失函数；P_r为真实数据的分布；P_g为生成数据的分布；x服从P_r的分布；服从P_g的分布；D(x)为包含x的函数；为包含的函数；为在和x的连线上随机插值采样的值；为的分布；ε为[0,1]之间的随机数；λ是梯度惩罚的系数；为函数的梯度的2范数；

生成对抗网络结构由生成器和判别器构成，生成器为多层感知机，感知机总共有三部分，分别为输入层、中间层和输出层，输入层和中间层的激活函数为修正线性单元ReLU；输入为高斯分布噪声；判别器也由多层感知机构成，同样有三部分组成，分别为输入层、中间层和输出层，输入层和中间层的激活函数为修正线性单元；输入为原始训练数据或生成数据；

步骤2.2：生成对抗网络训练过程如下

生成器用于捕捉样本数据分布，判别器用于估计一个样本数据来自真实数据而非生成数据的概率；生成器的输入为一组高斯分布的噪声，为生成器提供预先的数据分布，生成器能够将此数据分布转化为一组虚拟数据，即生成数据；判别器的输入为真实数据和生成数据，判别器的输出为输入样本是真实数据的概率；根据生成器损失函数，最大化判别器的输出概率能让生成器的损失下降，即生成器的能力提高，使得虚拟数据越接近真实数据的分布；根据判别器损失函数，最小化判别器的输出概率能让判别器的能力提高，使得判别器分辨真实数据与虚拟数据准确率越高；这就是生成对抗网络中，判别器和生成器的对抗性，当判别器和生成器达到平衡时，此时训练过程结束。

更进一步，所述步骤(3)过程如下：

使用相似度量将原始样本和生成样本进行距离度量，从生成样本中挑选相似度高的样本，公式如下：

d_qi＝||x_i-x_q||₂

cos(θ_qi)＝<x_i,x_q>/(||x_i||₂||x_q||₂)

s_qi＝ρ·exp(-d_qi)+(1-ρ)cos(θ_qi),cos(θ_qi)≥0,i＝1,...,k

其中，s_qi为衡量样本之间的相似度；d_qi为样本x_q和样本x_i之间的欧式距离；cos(θ_qi)为样本x_q和样本x_i之间的角度信息；ρ为权重系数；<x_i,x_q>为样本x_q和样本x_i之间内积；||x_i||₂，||x_q||₂分别为样本x_i，样本x_q的2范数；exp(-d_qi)为-d_qi的函数；

利用相似度量方法为原始训练数据的每一个样本进行生成样本相似度排序，根据样本之间的相似度从高到低进行生成样本挑选，考虑到生成样本在不同原始训练样本的相似度排序位置不一样，可能造成挑选重复的生成样本，因此，挑选过的样本不进行重复挑选；最终，为原始训练样本完成生成样本挑选，并与原始训练样本组成新的训练集。

本发明利用生成对抗网络生成建模数据，能够在原始训练数据不多的情况下生成更多体现过程特性的数据。将采集到的原始训练数据送入基于Wasserstein距离和梯度惩罚的生成对抗网络进行训练，利用生成器增加生成样本数据量并结合相似度量对生成样本进行挑选，将挑选的生成样本和原始训练数据组合为新的训练数据，并输入到传统的软测量模型中，以提高模型对化工过程关键变量预测的准确度。

本发明的有益效果主要表现在：本发明使用生成对抗网络进行数据生成，并结合相似度量方法对生成样本进行挑选，在增加样本数据量的基础上，提升数据的质量，能够有效提高了软测量模型的预测准确度。

附图说明

图1是本发明的方法的流程图；

图2a、2b在PLS模型下高低相似度生成数据预测的RMSE对比图；

图3a、3b在SVR模型下高低相似度生成数据预测的RMSE对比图；

其中图2a、3a中原始训练数据300条，生成数据2000条，挑选高相似度数据300条，挑选低相似度数据300条。其中图2b、3b中原始训练数据300条，生成数据2500条，挑选高相似度数据300条，挑选低相似度数据300条。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3b，一种基于相似度生成对抗网络的过程软测量建模方法，包括以下步骤：

(1)划分化工过程数据集

将化工过程采集的数据作为原始数据，在化工过程数据集中，其中一维是待预测变量，其余维度为已知变量将其划分为训练集和测试集；

(2)建立GAN模型及训练过程

建立基于梯度惩罚和Wasserstein距离的生成对抗网络GAN，将训练集送入生成对抗网络，对网络进行训练；过程如下：

步骤2.1：建立基于梯度惩罚和Wasserstein距离的生成对抗网络；Wasserstein距离是用于衡量不同分布之间的距离，公式如下：

其中：P_r为真实数据的分布；P_g为生成数据的分布；Π(P_r,P_g)为P_r和P_g组合起来的所有可能的联合分布的集合；(x,y)～γ表示为从γ中采样得到一个真实数据x和一个生成数据y；||x-y||为真实数据与生成数据之间的距离；为期望；inf表示取下界；整个W函数表示为在所有的联合分布中对期望值取到的下界，将此期望值定义为Wasserstein距离；

根据Wasserstein距离的理论推导，生成对抗网络中，判别器D和生成器G的损失函数如下：

其中，loss_D是判别器的损失函数；loss_G是生成器的损失函数；P_r为真实数据的分布；P_g为生成数据的分布；x服从P_r的分布；服从P_g的分布；D(x)为包含x的函数；为包含的函数；为在和x的连线上随机插值采样的值；为的分布；ε为[0,1]之间的随机数；λ是梯度惩罚的系数；为函数的梯度的2范数；

生成对抗网络结构由生成器和判别器构成，生成器为多层感知机，感知机总共有三部分，分别为输入层、中间层和输出层，输入层和中间层的激活函数为修正线性单元ReLU；输入为高斯分布噪声；判别器也由多层感知机构成，同样有三部分组成，分别为输入层、中间层和输出层，输入层和中间层的激活函数为修正线性单元；输入为原始训练数据或生成数据；

步骤2.2：生成对抗网络训练过程如下

生成器用于捕捉样本数据分布，判别器用于估计一个样本数据来自真实数据而非生成数据的概率；生成器的输入为一组高斯分布的噪声，为生成器提供预先的数据分布，生成器能够将此数据分布转化为一组虚拟数据，即生成数据；判别器的输入为真实数据和生成数据，判别器的输出为输入样本是真实数据的概率；根据生成器损失函数，最大化判别器的输出概率能让生成器的损失下降，即生成器的能力提高，使得虚拟数据越接近真实数据的分布；根据判别器损失函数，最小化判别器的输出概率能让判别器的能力提高，使得判别器分辨真实数据与虚拟数据准确率越高；这就是生成对抗网络中，判别器和生成器的对抗性，当判别器和生成器达到平衡时，此时训练过程结束；

(3)相似度量方法挑选生成样本并构建新训练集

使用相似度量方法从生成样本中挑选与训练集样本距离相近的样本，将挑选出的生成样本与训练集样本组成新的训练集；

将原始样本和生成样本进行距离度量，从生成样本中挑选相似度高的样本，公式如下：

d_qi＝||x_i-x_q||₂

cos(θ_qi)＝<x_i,x_q>/(||x_i||₂||x_q||₂)

s_qi＝ρ·exp(-d_qi)+(1-ρ)cos(θ_qi),cos(θ_qi)≥0,i＝1,...,k

其中，s_qi为衡量样本之间的相似度；d_qi为样本x_q和样本x_i之间的欧式距离；cos(θ_qi)为样本x_q和样本x_i之间的角度信息；ρ为权重系数；<x_i,x_q>为样本x_q和样本x_i之间内积；||x_i||₂，||x_q||₂分别为样本x_i，样本x_q的2范数；exp(-d_qi)为-d_qi的函数；

利用相似度量方法为原始训练数据的每一个样本进行生成样本相似度排序，根据样本之间的相似度从高到低进行生成样本挑选，考虑到生成样本在不同原始训练样本的相似度排序位置不一样，可能造成挑选重复的生成样本，因此，挑选过的样本不进行重复挑选；最终，为原始训练样本完成生成样本挑选，并与原始训练样本组成新的训练集；

(4)使用新的训练集建立软测量模型

由于训练集的改变，此时需要调节软测量模型参数以适应新的训练数据。使用网格搜索算法通过遍历给定的参数组合来优化模型，以避免人工调整参数的繁琐。使用交叉验证评估统计分析和机器学习算法对独立于训练数据的数据集的泛化能力。最终，采用网格搜索算法和十折交叉验证结合的方法自动选取最优参数，达到软测量模型充分利用新的训练数据的目的。

实例：一种基于相似度生成对抗网络的过程软测量建模方法，过程如下：

(1)收集并划分化工过程的数据集

收集到的数据集为400条，将其中的300条划为训练集，其中的100条划为验证集。

(2)使用化工过程数据训练GAN

初始化网络的参数，设置批训练量(batch size)为30，输入噪声为[0,1]的高斯分布，并将所有的训练集用于训练GAN，迭代网络权重，直到损失函数收敛，判别器和生成器达到平衡。

(3)利用GAN自动生成化工过程数据，使用相似度来挑选生成数据，将挑选出的生成数据与原训练数据构建新的训练集以训练软测量模型

使用GAN中的生成器，输入[0,1]的高斯噪声生成一定数量的样本作为虚拟数据。由于GAN中生成数据中会存在一些质量差的数据，所以进行相似度挑选。挑选高相似度数据300条，低相似度数据300条。将挑选出的数据分别逐个与原有的训练集(真实数据)作为驱动数据，共同输入到传统软测量模型中，调节软测量预测模型参数以适应新的训练数据。

(4)化工过程生成数据高低相似度预测实验对比结果

为了验证相似度挑选数据的有效性，将高相似度生成数据与地相似度生成数据分别在PLS和SVR模型下进行实验比较，用预测均方误差作为评价标准(简称RMSE)，该值越小越好。比较结果如表1和表2所示，表中列出高低相似度生成数据在不同传统软测量模型下预测的实验结果，表1为高低相似度生成的数据在PLS模型下预测结果比较；表2为高低相似度生成的数据在SVR模型下预测结果比较。从结果所知，高相似度生成数据的RMSE比相似度生成数据的RMSE更小，对于化工过程数据关键质量变量预测结果更好，这说明了相似度挑选出来的生成数据可以更好的帮助软测量模型进行训练。

如附图2a、2b所示，本方法高相似度生成数据与低相似度生成数据在PLS模型下进行实验比较，如附图3a、3b所示，本方法高相似度生成数据与低相似度生成数据在SVR模型下进行实验比较。实验设置不同的软测量模型来多方面验证本发明的有效性。从图中可以看出，高相似度生成数据的预测曲线的最低点低于低相似度生成数据的预测曲线的最低点，最低点所对应的横坐标则为挑选的数据量，最低点对应的纵坐标则为使用相似度挑选数据得到的最低RMSE。本发明方法中挑选的高相似度生成数据比低相似度生成数据的预测RMSE值更小，能提高对化工过程数据关键质量变量预测的准确度。这些都说明相似度方法的有效性，以提升传统软测量模型捕捉测试样本集特征信息的能力。

表1

表2

本发明方法利用GAN生成建模数据，并对生成数据使用相似度进行挑选，以提高生成数据的利用效果，能适用于化工过程关键质量变量的预测，适用于多个传统软测量模型，具有普遍性和通用性。同时避免了盲目的添加生成数据于模型中导致的模型的训练效果的变差。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.一种基于相似度生成对抗网络的过程软测量建模方法，其特征在于，所述方法包括以下步骤：

(1)划分化工过程数据集

将从化工过程采集的数据作为原始数据，将其划分为训练集和测试集；

(2)建立GAN模型及训练过程

建立基于梯度惩罚和Wasserstein距离的生成对抗网络GAN，将训练集送入生成对抗网络，对网络进行训练；

(3)相似度量方法挑选生成样本并构建新训练集

使用相似度量方法从生成样本中挑选与训练集样本距离相近的样本，将挑选出的生成样本与训练集样本组成新的训练集；

(4)使用新的训练集建立软测量模型

使用新的训练集训练软测量模型，调节软测量模型参数以适应新的训练集，对测试集的关键过程变量进行预测。

2.如权利要求1所述的基于相似度生成对抗网络的过程软测量建模方法，其特征在于，所述步骤(2)的过程如下：

步骤2.1：建立基于梯度惩罚和Wasserstein距离的生成对抗网络；Wasserstein距离是用于衡量不同分布之间的距离，公式如下：

其中：P_r为真实数据的分布；P_g为生成数据的分布；Π(P_r,P_g)为P_r和P_g组合起来的所有可能的联合分布的集合；(x,y)～γ表示为从γ中采样得到一个真实数据x和一个生成数据y；||x-y||为真实数据与生成数据之间的距离；为期望；inf表示取下界；整个W函数表示为在所有的联合分布中对期望值取到的下界，将此期望值定义为Wasserstein距离；

根据Wasserstein距离的理论推导，生成对抗网络中，判别器D和生成器G的损失函数如下：

其中，loss_D是判别器的损失函数；loss_G是生成器的损失函数；P_r为真实数据的分布；P_g为生成数据的分布；x服从P_r的分布；服从P_g的分布；D(x)为包含x的函数；为包含的函数；为在和x的连线上随机插值采样的值；为的分布；ε为[0,1]之间的随机数；λ是梯度惩罚的系数；为函数的梯度的2范数；

生成对抗网络结构由生成器和判别器构成，生成器为多层感知机，感知机总共有三部分，分别为输入层、中间层和输出层，输入层和中间层的激活函数为修正线性单元ReLU；输入为高斯分布噪声；判别器也由多层感知机构成，同样有三部分组成，分别为输入层、中间层和输出层，输入层和中间层的激活函数为修正线性单元；输入为原始训练数据或生成数据；

步骤2.2：生成对抗网络训练过程如下

生成器用于捕捉样本数据分布，判别器用于估计一个样本数据来自真实数据而非生成数据的概率；生成器的输入为一组高斯分布的噪声，为生成器提供预先的数据分布，生成器能够将此数据分布转化为一组虚拟数据，即生成数据；判别器的输入为真实数据和生成数据，判别器的输出为输入样本是真实数据的概率；根据生成器损失函数，最大化判别器的输出概率能让生成器的损失下降，即生成器的能力提高，使得虚拟数据越接近真实数据的分布；根据判别器损失函数，最小化判别器的输出概率能让判别器的能力提高，使得判别器分辨真实数据与虚拟数据准确率越高；这就是生成对抗网络中，判别器和生成器的对抗性，当判别器和生成器达到平衡时，此时训练过程结束；

3.如权利要求1或2所述的基于相似度生成对抗网络的过程软测量建模方法，其特征在于，所述步骤(3)过程如下：

使用相似度量将原始样本和生成样本进行距离度量，从生成样本中挑选相似度高的样本，公式如下：

d_qi＝||x_i-x_q||₂

cos(θ_qi)＝<x_i,x_q>/(||x_i||₂||x_q||₂)

s_qi＝ρ·exp(-d_qi)+(1-ρ)cos(θ_qi),cos(θ_qi)≥0,i＝1,...,k

其中，s_qi为衡量样本之间的相似度；d_qi为样本x_q和样本x_i之间的欧式距离；cos(θ_qi)为样本x_q和样本x_i之间的角度信息；ρ为权重系数；<x_i,x_q>为样本x_q和样本x_i之间内积；||x_i||₂，||x_q||₂分别为样本x_i，样本x_q的2范数；exp(-d_qi)为-d_qi的函数；

利用相似度量方法为原始训练数据的每个样本进行生成样本相似度排序，根据样本之间的相似度从高到低进行生成样本挑选，考虑到生成样本在不同原始训练样本的相似度排序位置不一样，可能造成挑选重复的生成样本，因此，挑选过的样本不重复挑选；最终，为原始训练样本完成生成样本挑选，并与原始训练样本组成新的训练集。