CN110245380A - 软仪表训练和样本补充方法 - Google Patents

Abstract

软仪表训练和样本补充方法，包括以下步骤：首先，利用原始采集的数据，作为VAE的训练样本，得到VAE的隐层变量z；其次，将VAE的解码部分作为WGAN的生成器G，从隐变量z中采样，作为G的输入，生成新的样本；最后，将真实样本与生成样本输入判别器D，判断两者的差异性，通过优化目标函数训练WGAN，以得到最接近真实数据的样本；利用此模型为软仪表生成新的训练样本，补充数据集，解决原始训练数据不足的问题，提高软仪表的训练精度，本发明生成的数据样本，与真实样本具有最高的相似度，且模型具有最快的收敛速度。

Description

软仪表训练和样本补充方法

技术领域

本发明属于机器学习技术领域，具体涉及软仪表训练和样本补充方法，基于变分自动编码器(Variational auto-encoders，VAE)和生成式对抗网络(Generativeadversarial networks，GAN)的深度生成模型VA-WGAN，生成模型的一种新的结构和训练方法。并在此基础上，应用此模型为工业软仪表的训练生成新的训练样本，补充训练数据集。

背景技术

在工业过程中，存在许多与产品质量、生产效率等密切相关的关键变量，但由于很多工业现场处于高温、高粉尘或者腐蚀性等恶劣环境，利用硬件设备测量这些关键变量困难，另外，此类硬件测量设备制造和维护成本较高，也给测量工作带来了阻碍。软仪表是一种测量工业过程中难测关键变量的数学模型，将一些与目标变量密切相关的易测过程变量作为模型输入，将目标变量作为模型输出，建立数学关系，从而预测目标变量的数值。

目前针对软仪表的研究，大部分集中于模型结构和训练方法，但除此之外，还有许多因素会直接影响软仪表的性能，例如建模过程中的训练样本的数量和质量。充足的训练样本可以有效优化训练过程，提高收敛速度，提高模型的训练效果，提升模型的预测精度。而由于应用软仪表的工业现场环境通常较为恶劣，为数据的采集带来了难度和不稳定性，导致许多情况下用来训练模型的样本匮乏，且包含许多无效值和离群值，无法保证建立一个符合要求的软仪表模型。目前常见的数据补充方法即采用生成模型，学习出真实样本的分布，生成新的训练样本。传统的生成模型有基于玻尔兹曼机及深度信念网络的方法等，此类方法在条件概率分布和配分函数的计算等方面有着巨大计算量。而近年来兴起的深度生成模型，例如GAN，具有高度逼近真实数据的能力，但网络的训练十分困难，容易发生模型坍塌。

发明内容

为克服上述现有技术的不足，本发明的目的是提供软仪表训练和样本补充方法，通过学习真实数据的分布生成新的样本，以补充软仪表的训练数据集，解决原始训练数据不足的问题，优化训练过程，提高收敛速度，提高软仪表的训练精度。

为实现上述目的，本发明采用的技术方案是：软仪表训练和样本补充方法，包括以下步骤：

步骤1，利用原始采集的数据，作为VAE的训练样本，得到VAE的隐层变量z；

步骤2，将VAE的解码部分作为WGAN的生成器G，从隐变量z中采样，作为G的输入，生成新的样本；

步骤3，将真实样本与生成样本输入判别器D，判断两者的差异性，通过优化目标函数训练WGAN，以得到最接近真实数据的样本。

所述的步骤1，具体做法是：

先训练一个VAE，得到隐层变量z，VAE是一种以重构原始数据为目标的神经网络生成模型，其结构分为两部分，编码器Enc和解码器Dec；编码部分将原始数据x经过运算得到隐层变量z，解码部分将z重构为以逼近x，其对数据的重构过程如下：

其中，θ与φ分别为编码与解码部分的网络权重参数，q_φ(z|x)是对真实后验概率p_θ(x|z)的近似，由于原始数据x的分布p(x)通常是一个难解的复杂分布，无法计算最大似然，因此，VAE的损失函数J_VAE定义为对于最大似然函数的低边界近似：

J_VAE＝J_prior+J_rec (2)

其中，J_prior作为一个正则化项，推动近似后验分布向隐层变量z的先验分布p_θ(z)靠近，J_rec代表VAE重建误差的负值，其具体定义如下：

D_KL是KL散度(Kullback-Leibler divergence)，将p_θ(x|z)设置为具有单位矩阵协方差的正态分布，将p_θ(z)设置为标准正态分布，为顺利使用梯度下降对权值进行优化，VAE的隐层变量z并不来自于对p_θ(z)的直接采样，而是结合了正态分布与编码器输出的运算结果，其采样过程为z＝μ+σ⊙ε，其中，μ和σ分别是q_φ(z|x)的均值和方差，ε是一个标准正态分布。

所述的解码器Dec，将VAE的解码Dec作为WGAN的生成器G，构建模型VA-WGAN，

GAN是一种对抗训练的深度生成模型，包括一个生成器G和一个判别器D，G负责生成与真实数据相似的样本，D负责判定样本来自于真实数据还是G，通过对G和D的对抗训练，达到平衡，逐渐缩小生成样本与真实样本两者之间的差距，即可以生成以假乱真的数据样本，GAN的损失函数为：

式中，P_r为真实数据的分布，P_g为G生成的数据分布，传统GAN的模型训练十分困难，经常出现模型坍塌，后经研究者改善为WGAN，采用沃瑟斯坦距离代替GAN中采用的JS散度来衡量真实数据与生成数据之间的差异，WGAN的损失函数为：

式中，L是用以约束判别器D的利普希茨函数集合，在此改进之后，WGAN的模型训练依然经常出现病态和不稳定现象。

所述的步骤3，对WGAN的模型训练优化，其具体做法是：将WGAN的优化目标改进如下：

其中，ψ是判别器D的参数，x_p是由Dec(Enc(x))得到的样本，服从分布P_h，加入公式(6)中第二项的原因是，在实验中发现，x_p有时比更加接近于真实样本x，因此，加入此项能够为权值的优化提供更有效的反传信号，公式(6)中第三项为梯度惩罚项，可有效提高训练稳定性，减少参数调整，λ为惩罚系数，

基于以上研究，结合公式(2)与公式(6)，模型VA-WGAN的整体损失函数为：

J_VA-WGAN＝J_VAE+γJ_WGAN＝J_prior+J_rec+γJ_WGAN (7)

其中，γ是平衡系数，用以平衡J_VAE和J_WGAN两项以取得更好的优化效果，采用随机梯度下降对模型参数进行优化。

与现有技术相比，本发明的有益效果是：

本发明提出了一种新的深度生成模型，结合了变分自动编码器与沃瑟斯坦生成式对抗网络(Wasserstein generative adversarial networks，WGAN)，改进了损失函数和训练方法，使得模型的训练能够顺利进行，并能快速收敛至最优值。在此基础上，利用此模型为软仪表生成新的训练样本，补充数据集；实验结果显示，相比其他常用方法，应用本方法生成的数据样本，与真实样本具有最高的相似度，且模型具有最快的收敛速度。因此，本发明对于深度生成模型的理论研究和工业软仪表的实际推广均具有重要意义。

本发明将VAE与WGAN结合，形成一个新的深度生成模型VA-WGAN；通过随机梯度下降法对模型进行优化训练，使其能够生成最接近真实数据的样本，为工业软仪表提供训练数据。

附图说明

图1是VAE的模型结构和隐变量z的采样过程。

图2是本发明的VA-WGAN深度生成模型的结构示意图。

图3是本发明的实例中的三分仓旋转空气预热器的立体结构示意图。

图4是本发明的实例中空气预热器转子变形示意图。

图5是本发明的实例中软仪表模型结构图。

图6(a)是不同生成模型的判别器损失函数收敛曲线。

图6(b)是不同生成模型的生成器损失函数收敛曲线。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

基于变分自动编码器和生成式对抗网络的新的深度生成模型，为软仪表生成新的训练样本，并进行了实例验证；软仪表训练和样本补充方法，包括以下步骤：步骤1，训练变分自动编码器VAE，隐层变量z服从标准正态分布；步骤2，将VAE的解码部分作为WGAN的生成器G，G的输入是对正态分布z的采样，输出为新的样本；步骤3，利用判别器D对生成的样本与真实样本进行比较，通过优化目标函数训练WGAN，以得到最接近真实数据的样本。整个实施过程包括以下三个阶段：

1)构建一个变分自动编码器VAE

通过训练一个VAE，得到隐层变量z，VAE是一种以重构原始数据为目标的神经网络生成模型，其结构分为两部分，编码器Enc和解码器Dec，编码部分将原始数据x经过运算得到隐层变量z，解码部分将z重构为x～以逼近x，其对数据的重构过程如下：

其中，q_φ(z|x)是对真实后验概率p_θ(x|z)的近似，由于原始数据x的分布p(x)通常是一个难解的复杂分布，无法计算最大似然，因此，VAE的损失函数定义为对于最大似然函数的低边界近似：

J_VAE＝J_prior+J_rec (2)

其中，

p_θ(z)是隐层变量z的先验分布，D_KL是KL散度(Kullback-Leibler divergence)，本发明中，将p_θ(x|z)设置为具有单位矩阵协方差的正态分布，将p_θ(z)设置为标准正态分布，为顺利使用梯度下降对权值进行优化，本发明中VAE的隐层变量z并不来自于对p_θ(z)的直接采样，而是结合了正态分布与编码器输出的运算结果，其采样过程为z＝μ+σ⊙ε，VAE的模型结构及隐层变量z的采样过程如图1所示；

2)训练VA-WGAN

在第一阶段的基础上，将VAE的解码Dec作为WGAN的生成器G，构建模型VA-WGAN，其结构示意图如图2所示；

GAN是一种对抗训练的深度生成模型，包括一个生成器G和一个判别器D，G负责生成与真实数据相似的样本，D负责判定样本来自于真实数据还是G，通过对G和D的对抗训练，达到平衡，逐渐缩小生成样本与真实样本两者之间的差距，即可以生成以假乱真的数据样本，GAN的损失函数为：

式中P_r为真实数据的分布，P_g为G生成的数据分布，传统GAN的模型训练十分困难，经常出现模型坍塌，后经研究者改善为WGAN，采用沃瑟斯坦距离代替GAN中采用的JS散度(Jensen-Shannon divergence)来衡量真实数据与生成数据之间的差异，WGAN的损失函数为：

L是用以约束判别器D的利普希茨函数集合，在此改进之后，WGAN的模型训练依然经常出现病态和不稳定现象，

因此在本发明中，将WGAN的优化目标改进如下：

其中，ψ是判别器D的参数，x_p是由Dec(Enc(x))得到的样本，服从分布P_h，加入(6)中第二项的原因是，我们在实验中发现，x_p有时比更加接近于真实样本x，因此，加入此项能够为权值的优化提供更有效的反传信号；公式(6)中第三项为梯度惩罚项，可有效提高训练稳定性，减少参数调整，λ为惩罚系数；

基于以上研究，结合公式(2)与公式(6)，模型VA-WGAN的整体损失函数为：

J_VA-WGAN＝J_VAE+γJ_WGAN＝J_prior+J_rec+γJ_WGAN (7)

其中γ是平衡系数，用以平衡J_VAE和J_WGAN两项以取得更好的优化效果，本发明中采用随机梯度下降对模型参数进行优化，步骤如表1所示，在满足结束条件时结束循环(结束条件为提前设置，可设置损失函数的值或者循环次数)。

表1是VA-WGAN模型的参数优化步骤。

实例验证

本发明方法运行平台为2015a，计算机配置为Core^TMi73.60GHz,8GB RAM。通过实例研究，证明本方法可生成最接近真实数据的样本，为软仪表的训练提供补充样本。为了验证本方法的有效性，在实验中引入了其他3种常用且效果较好的生成模型方法进行比较，分别是变分自动编码器VAE、生成式对抗网络GAN以及带有梯度惩罚项的沃瑟斯坦生成式对抗网络WGAN-GP。每个模型通过训练，学习真实数据集的分布，生成样本，以供软仪表训练使用。本实验中的数据集如表2所示。

表2是实施例中用以软仪表训练的不同数据集。

四个生成模型的结构设置为：

VAE：编码器与解码器均为三层神经网络，隐层变量z服从标准正态分布；

GAN：生成器与判别器均为四层全连接的神经网络，判别器每更新5次，生成器更新1次；

WGAN-GP：梯度惩罚系数为10，其余与GAN相同；

VA-WGAN：编码与解码部分与VAE相同，判别器设置与GAN相同，梯度惩罚系数为10，平衡系数为20。

实验步骤为：

步骤1：训练以上四个生成模型；

步骤2：由每个模型生成规定数量的新样本；

步骤3：将真实数据集、每个模型的生成数据集、以及真实数据与生成数据结合而成的综合数据集，分别应用于软仪表的训练，记录训练和测试误差；

步骤4：比较分析上述四种不同方法的数据生成效果。

本实施例研究的应用背景如下：

空气预热器是火电厂锅炉系统中的气体换热装置，用来提取废气中的热量，对进入锅炉的助燃空气进行预热。空气预热器的结构示意图如图3所示，外部空气通过两个风道自下而上进入空气预热器，为了分隔风道和烟道，在转子的上部和下部分别安装有扇形板，废气通过烟道自上而下排出，在空气预热器的转子中密布安装了蓄热片，随着转子的缓慢转动，废气中的热量被吸收到了虚热装置中，再释放到助燃空气中，以达到预热的目的。在此过程中，空气预热器内部处于严重温度不均的状态，上部温度高，下部温度低，由于热应力的作用，转子发生了一种蘑菇状变形，使得转子与扇形板之间出现了缝隙，导致未加热的空气通过缝隙进入烟道，产生漏风，大大降低了预热的效率，如图4所示。因此，检测和控制转子变形是本工业过程中的重要环节。而空气预热器所处的环境高温且高粉尘，硬件测量设备测量困难，因此我们引入了软仪表方法，通过对其他易测过程变量与转子变形量建模，进行目标变量的检测和控制。经过对工业过程的机理分析，选取四个辅助变量作为软仪表的输入，分别是烟道入口温度t₁、烟道出口温度t₂、风道入口温度t₃、风道出口温度t₄，软仪表输出为转子变形量y_def。为突出数据集对于软仪表训练的影响程度，本实验中选取了普通的三层神经网络作为软仪表模型，如图5所示。

本例中的数据集是来自于中国西部某火力发电厂锅炉空气预热器中的实际数据，样本数150，其中100个作为训练数据，50个作为测试数据。将生成样本的个数分别设置为100、300及400，不同数据集对于软仪表的训练和测试误差如表3、表4及表5所示。由表3至表5可见，增加训练样本的数量可以有效降低软仪表的训练和测试误差，且相比于其他生成模型，VA-WGAN所生成的数据取得最低的预测误差，即VA-WGAN能够生成最接近真实数据的样本。四种不同生成模型的生成器与判别器的损失函数收敛过程如图6所示。由图6可见，GAN的损失函数曲线十分振荡，无法正常反应GAN的训练过程。相反的，另外三种方法的损失函数呈现平滑下降状态，可清晰体现其收敛过程，且VA-WGAN的收敛速度最快。综上所述，本发明所建立的深度生成模型VA-WGAN具备收敛快、生成数据与真实数据相似度高的突出优点，可以有效地补充软仪表训练数据集，解决训练样本不足的问题。

表3是实施例中生成样本为100个时，软仪表采用不同训练集的训练结果。

表4是实施例中生成样本为300个时，软仪表采用不同训练集的训练结果。

表5是实施例中生成样本为400个时，软仪表采用不同训练集的训练结果。

Claims (4)

1.软仪表训练和样本补充方法，其特征在于，包括以下步骤：

步骤1，利用原始采集的数据，作为VAE的训练样本，得到VAE的隐层变量z；

步骤2，将VAE的解码部分作为WGAN的生成器G，从隐变量z中采样，作为G的输入，生成新的样本；

步骤3，将真实样本与生成样本输入判别器D，判断两者的差异性，通过优化目标函数训练WGAN，以得到最接近真实数据的样本。

2.根据权利要求1所述的软仪表训练和样本补充方法，其特征在于，所述的步骤1，具体做法是：

先训练一个VAE，得到隐层变量z，VAE是一种以重构原始数据为目标的神经网络生成模型，其结构分为两部分，编码器Enc和解码器Dec；编码部分将原始数据x经过运算得到隐层变量z，解码部分将z重构为以逼近x，其对数据的重构过程如下：

其中，θ与φ分别为编码与解码部分的网络权重参数，q_φ(z|x)是对真实后验概率p_θ(x|z)的近似，由于原始数据x的分布p(x)通常是一个难解的复杂分布，无法计算最大似然，因此，VAE的损失函数J_VAE定义为对于最大似然函数的低边界近似：

J_VAE＝J_prior+J_rec (2)

其中J_prior作为一个正则化项，推动近似后验分布向隐层变量z的先验分布p_θ(z)靠近，J_rec代表VAE重建误差的负值，其具体定义如下：

D_KL是KL散度(Kullback-Leibler divergence)，将p_θ(x|z)设置为具有单位矩阵协方差的正态分布，将p_θ(z)设置为标准正态分布，为顺利使用梯度下降对权值进行优化，VAE的隐层变量z并不来自于对p_θ(z)的直接采样，而是结合了正态分布与编码器输出的运算结果，其采样过程为z＝μ+σ⊙ε，其中，μ和σ分别是q_φ(z|x)的均值和方差，ε是一个标准正态分布。

3.根据权利要求2所述的软仪表训练和样本补充方法，其特征在于，所述的解码器Dec，将VAE的解码器Dec作为WGAN的生成器G，构建模型VA-WGAN，

GAN是一种对抗训练的深度生成模型，包括一个生成器G和一个判别器D，G负责生成与真实数据相似的样本，D负责判定样本来自于真实数据还是G，通过对G和D的对抗训练，达到平衡，逐渐缩小生成样本与真实样本两者之间的差距，即可以生成以假乱真的数据样本，GAN的损失函数为：

式中，P_r为真实数据的分布，P_g为G生成的数据分布，传统GAN模型的训练十分困难，经常出现模型坍塌，后经研究者改善为WGAN，采用沃瑟斯坦距离代替GAN中采用的JS散度来衡量真实数据与生成数据之间的差异，WGAN的损失函数为：

式中，L是用以约束判别器D的利普希茨函数集合，在此改进之后，WGAN的模型训练依然经常出现病态和不稳定现象。

4.根据权利要求3所述的所述的软仪表训练和样本补充方法，其特征在于，所述的，对WGAN的模型训练优化，其具体做法是：将WGAN的优化目标改进如下：

其中，ψ是判别器D的参数，x_p是由Dec(Enc(x))得到的样本，服从分布P_h，加入公式(6)中第二项的原因是，在实验中发现，x_p有时比更加接近于真实样本x，因此，加入此项能够为权值的优化提供更有效的反传信号，公式(6)中第三项为梯度惩罚项，可有效提高训练稳定性，减少参数调整，λ为梯度惩罚系数，其数值根据实验中的交叉验证确定，

基于以上研究，结合公式(2)与公式(6)，模型VA-WGAN的整体损失函数为：

J_VA-WGAN＝J_VAE+γJ_WGAN＝J_prior+J_rec+γJ_WGAN (7)

其中，γ是平衡系数，用以平衡J_VAE和J_WGAN两项以取得更好的优化效果，采用随机梯度下降对模型参数进行优化。