CN112966429A - 基于WGANs数据增强的非线性工业过程建模方法 - Google Patents

Abstract

本发明公开了一种基于WGANs数据增强的非线性工业过程建模方法，属于工业生产过程构建性能预测模型技术领域。本发明核心是利用生成对抗网络对非线性工业过程建模小样本数据进行数据增强，将生成样本与原有样本混合构建工业过程模型，降低建模成本。具体是先利用拉丁超立方(LHD)方法采集非线性工业过程建模的小样本数据集；然后利用该部分小样本数据训练Wasserstein生成对抗网络(WGANs)；待WGANs训练达到要求后，利用其生成器产生虚拟样本，选取合适的样本与初始小样本数据混合，完成数据增强；最后基于混合数据和支持向量回归方法为目标工业过程建立合适的数据驱动模型。本发明有效解决了非线性工业过程建模数据不充足问题，充分利用了工业过程的小样本数据，通过数据增强加快了建模速度，提高了建模精度和效率，降低了建模成本。

Description

基于WGANs数据增强的非线性工业过程建模方法

技术领域

本发明涉及一种非线性工业过程建模方法，属于工业生产过程构建性能预测 模型技术领域。

背景技术

目前，以低成本快速准确地建立过程的性能预测模型已经是工业生产领域中 的一种趋势。然而由于过程运行数据不足，传统的建模方法在有限的预算和时间 难以快速准确的建立过程性能预测模型，而设计实验采集数据耗时费力，又增加 过程建模成本。

随着大数据时代的到来，数据驱动建模方法逐渐成为了非线性工业过程建模 的流行方法。然而，数据驱动模型依赖于建模数据的质量，非线性工业过程运行 环境的复杂性和可变性会导致用建模数据不足，基于此类小样本数据建立的过程 预测模型往往达不到精度要求。为此，基于生成对抗数据增强技术建立非线性工 业过程性能预测模型的方法应运而生。Yang Jing等人基于高斯分布提出了一种 虚拟样本生成方法对分类问题中的小样本数据进行扩充；Der-Chiang Li利用虚 拟样本生产技术提高了柔性制造系统中机器学习的精确度。

虽然上诉方法生成的样本已经运用在实际过程中，但其得到的样本也只是在 原小样本已有范围内进行简单的转换，并未学到原始样本所蕴含的信息，究其本 身还有许多缺陷，比如生成的样本可能无法拟合原有样本的分布情况。生成对抗 网络(GenerativeAdversarial Networks，GANs)是一种新型的数据生成模型， 由生成网络和判别网络相互对抗训练得到，其生成能力强大，理论上可以拟合任 意数据分布。

发明内容

为了克服上述现有技术的不足之处，本发明提供一种基于WGANs数据增强的 非线性工业过程建模方法，WGANs全称为Wasserstein Generative Adversarial Networks；在对小样本工业过程建模时，充分利用了已有小样本的有用信息，结 合生成对抗数据增强，得到与原有样本分布类似的生成数据，最后进行SVR (Support Vector Regression,SVR)预测建模。

本发明是通过如下技术方案实现的：一种基于WGANs数据增强的非线性工业 过程建模方法，该方法包含以下步骤：

步骤A、利用拉丁超立方(LHD)采样方法，采集目标非线性工业过程建模初 始数据集；

步骤B、将初始数据集归一化处理，同时将数据划分两部分，分别是建模过 程中的训练数据集和测试数据集；

步骤C、用步骤B中的训练数据集训练WGANs，当训练次数达到初始设定阈 值时，停止网络训练；

步骤D、利用已经训练好的WGANs模型中的生成器得到生成样本；

步骤E、将生成样本与训练数据集混合后得到增强后的混合数据集。利用混 合数据集训练支持向量回归(Support Vector Regression,SVR)模型，得到非 线性工业过程的预测模型；

步骤F、模型验证，若步骤E所得模型在测试集上的预测精度满足实验设定 阈值，则建模过程完成；否则，重复步骤D，将新的N组生成样本加入到混合样 本中，重新继续SVR模型，直至SVR模型在测试集上的预测精度满足实验设定阈 值。

进一步，所述步骤B包含：将所述步骤A采集的数据集进行预处理，具体步 骤如下所示：

1)初始采集数据包含工业过程输出与输入数据，记为：

\*MERGEFORMAT (1)

其中X和x是工业过程输入数据，Y和y是工业过程输出数据，n_ori是初始采 集样本总个数；

2)根据公式对采集数据进行归一化处理，记归一化后的数据集为

同时根据小样本定义要求，取 n_train＜20，将数据集合划分训练集和测试集；

\*MERGEFORMAT (2)

\*MERGEFORMAT (3)

\*MERGEFORMAT (4)

其中，x_i和y_i分别过程的输入和输出，x_min和x_max分别过程运行区间下限和 上限，y_min和y_max分别过程输出的下限和上限；S^trian是用来训练WGANs的训练样 本集，S^test是用来验证最后预测模型的测试样本集。

进一步，所述步骤C包含：

输入：训练数据集

是工 业过程的输入变量，

是工业过程的输出变量；高斯噪声服从z～N(0,1)；

输出：生成样本

1)初始化相关参数：θ_d为判别模型参数；θ_g为生成模型参数；每训练一次生 成模型，训练判别模型的次数n_critic＝2；自适应矩估计(Adaptive Moment Estimation，Adam)的参数：α＝0.00005,β₁＝0,β₂＝0.7；采样的数量 m＝5；裁剪系数c＝0.01；

2)从训练数据中采集m个训练样本

从高斯分布中采集m个噪 声样本{z₁,z₂,...,z_m}，从生成器模型中获得m个生产样本

其中

3)计算判别器损失

其中ε～U(0,1)；

4)更新判别器参数，

5)重复步骤2)-步骤4)n_critic次；

6)从高斯分布中采集m个噪声样本{z₁,z₂,...,z_m}，更新生成器参数，

7)重复步骤2)-步骤6)直至模型收敛(训练次数达到Epochs)。

进一步，所述步骤D中得到生成样本的方法为：从高斯分布中采集N组噪声 样本{z₁,z₂,...,z_N}，将这N组噪声作为生成器的输入，则可以得到对应的N组 输出，这N组输出就记住N组生成样本

进一步，所述步骤E中训练SVR模型的步骤为：

1)对训练数据集和生成数据集取并集得到混合训练数据集S^MixTrain；

\*MERGEFORMAT(5)

2)利用S^MixTrain训练支持向量回归模型，得到非线性工业过程的输出预测模型

y＝f(x)。

进一步，所述步骤F中模型验证为：利用均方根误差(Root Mean Square Error，RMSE)和确定系数(R-Square，R²)来评估SVR模型的有效性，公式如 下：

\*MERGEFORMAT (6)

\*MERGEFORMAT (7)

其中，N是测试数据的数量，y_i是预测模型的输出，

是预测输出的均值，Y_i是新过程的真实输出。

本发明的有益效果是：本发明通过采用了一种WGAN模型来对非线性工业 过程中的小样本数据进行数据增强，减少数据驱动建模阶段中对数据的依赖，充 分利用了工业中现有的小样本数据，得到了符合原样本分布的生成样本，对原样 本信息分布中的间隔进行了扩充。同时该方法比不使用数据增强方法或者使用其 数据增强方法所建模型精度更高,更接近实际输出，为工业过程建模降低了大量 成本。

附图说明

下面根据附图和实施例对本发明进一步说明。

图1是基于WGANs数据增强的非线性工业过程建模方法示意图；

图2是使用WGAN数据增强、GAN数据增强、SMOTE数据增强和未数据增强方 法的压力比的RMSE和R²；(柱状图)

图3是使用WGAN数据增强、GAN数据增强、SMOTE数据增强和未数据增强的 压力比的预测结果(折线图)；

图4是不同生成数据量下的的压力比的RMSE(折线图)。

图5是四种模型不同生成样本量下的预测压力比RMSE曲线。

具体实施方式

下面将结合说明书附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。以 下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及 其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有 开展创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对于本领域技术人员已知的技术、方法和设备可能不作详细讨论，但在适当 情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

如图1所示，一种基于WGANs(Wasserstein Generative Adversarial Networks，WGANs)数据增强的非线性工业过程建模方法，在对小样本工业过程建模时， 充分利用了已有小样本的有用信息，结合生成对抗数据增强，得到与原有样本分 布类似的生成数据，最后进行支持向量回归(Support Vector Regression,SVR) 预测建模。其具体步骤如下：

步骤A、利用拉丁超立方(Latin Hypercube Design，LHD)采样方法，采集目标 非线性工业过程建模初始数据集。

步骤B、将初始数据集归一化处理，同时将数据划分两部分，分别是建模过程中 的训练数据集和测试数据集。

步骤C、用步骤B中的训练数据集训练WGANs，当训练次数达到初始设定阈值 时，停止网络训练。

步骤D、利用已经训练好的WGANs模型中的生成器得到生成样本。

步骤E、将生成样本与训练数据集混合后得到增强后的混合数据集。利用混合数据集训练支持向量回归模型，得到非线性工业过程的预测模型。

步骤F、模型验证，若步骤E所得模型在测试集上的预测精度满足实验设定阈 值，则建模过程完成。否则，重复步骤D，将新的N组生成样本加入到混合样 本中，重新继续SVR模型，直至SVR模型在测试集上的预测精度满足实验设定 阈值。

所述步骤B包含：将步骤A采集的数据集进行预处理，具体步骤如下所示： 1)初始采集数据包含工业过程输出与输入数据，记为：

其中X和x是工业过程输入数据,Y和y是工业过程输出数据，n_ori是初始采 集样本总个数。

3)根据公式对采集数据进行归一化处理，记归一化后的数据集为

同时根据小样本定义要求，取 n_train＜20，将数据集合划分训练集和测试集。

其中，x_i和y_i分别过程的输入和输出，x_min和x_max分别过程运行区间下限和 上限，y_min和y_max分别过程输出的下限和上限。S^trian是用来训练WGANs的训练 样本集，S^test是用来验证最后预测模型的测试样本集。非线性过程稳定运行区间 如表1所示。

所述步骤C的包含：

输入：训练数据集

是工 业过程的输入变量，

是工业过程的输出变量；高斯噪声服从z～N(0,1)。

输出：生成样本

1)初始化相关参数：θ_d为判别模型参数；θ_g为生成模型参数；每训练一次生 成模型，训练判别模型的次数n_critic＝2；自适应矩估计(Adaptive Moment Estimation,Adam)的参数：α＝0.00005,β₁＝0,β₂＝0.7；采样的数量m＝5； 裁剪系数c＝0.01。

2)从训练数据中采集m个训练样本

从高斯分布中采集m个噪 声样本{z₁,z₂,...,z_m}，从生成器模型中获得m个生产样本

其中

3)计算判别器损失

其中ε～U(0,1)。

4)更新判别器参数，

5)重复步骤2)-步骤4)n_critic次。

6)从高斯分布中采集m个噪声样本{z₁,z₂,...,z_m}，更新生成器参数，

重复步骤2)-步骤6)直至模型收敛(训练次数达到Epochs)。

所述步骤D包含：从高斯分布中采集N组噪声样本{z₁,z₂,...,z_N}，将这N组 噪声作为生成器的输入，则可以得到对应的N组输出,这N组输出就记住N组生 成样本

所述步骤E包含：

1)对训练数据集和生成数据集取并集得到混合训练数据集S^MixTrain。

2)利用S^MixTrain训练支持向量回归模型，得到非线性工业过程的输出预测模型 y＝f(x)。

所述步骤F中包含：利用均方根误差(RootMean Square Error，RMSE)和 确定系数(R-Square，R²)来评估SVR模型的有效性，公式如下：

其中，N是测试数据的数量，y_i是预测模型的输出，

是预测输出的均值， Y_i是新过程的真实输出。

为了验证该方法的效果，利用所采集的实验数据样本分别建立基于WGAN 数据增强和SVR的压缩机预测模型、基于GAN数据增强和SVR的压缩机预测模 型、基于SMOTE数据增强和SVR的压缩机预测模型以及纯LSSVR方法的压缩机 预测模型，并将四个模型的预测压比与实际输出进行对比，结果如图2可见。如 图3所示我们得到了三种数据生成方法所生成的样本对比。基于WGAN数据增强 和SVR的建模方法预测精度要比其他三种建模方法预测精度高。表2列出了四种 模型压力比的MAE、MSE、RMSE和R2。当初始样本量是10，生成样本量是90 时，四种模型预测压力比的MAE、MSE、RMSE和R2如图4所示。从图表中可以 看出，基于WGAN数据增强方法的RMSE和R2分别为0.09448813和0.78546698， RMSE小于其他三种方法，R2大于其他三种方法。同时我们也比较了生成样本量 增加时，四种模型预测精度的变化。图5为四种模型不同生成样本量下的预测压 力比RMSE曲线，由图可知，当生成样本量增加时，RMSE逐渐降低，可以认为 该方法可以改善小样本建模精度。

表2.四种建模方法预测的压力比的RMSE和R2

由上诉分析可知，本发明通过采用了一种WGAN模型来对非线性工业过程 中的小样本数据进行数据增强，充分利用了工业中现有的小样本数据，得到了符 合原样本分布的生成样本，对原样本信息分布中的间隔进行了扩充。在少量压缩 机运行数据支持下，通过训练好的生成器对建模样本进行数据增强，结合支持向 量机对目标压缩机建立了合适的性能预测模型，从而减少了建模过程的样本采集 时间，降低了建模过程的成本，获得符合精度要求的过程模型。同时该方法比不 使用数据增强方法或者使用其数据增强方法所建模型精度更高,更接近实际输 出，为工业过程建模降低了大量成本。

以上所述仅为本发明的示例性实施例，并不用以限制本发明，凡在本发明的 精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保 护范围之内。

Claims (6)

1.一种基于WGANs数据增强的非线性工业过程建模方法，其特征在于：该方法包含以下步骤：

步骤A、利用拉丁超立方采样方法，采集目标非线性工业过程建模初始数据集；

步骤B、将初始数据集归一化处理，同时将数据划分两部分，分别是建模过程中的训练数据集和测试数据集；

步骤C、用步骤B中的训练数据集训练WGANs，当训练次数达到初始设定阈值时，停止网络训练；

步骤D、利用已经训练好的WGANs模型中的生成器得到生成样本；

步骤E、将生成样本与训练数据集混合后得到增强后的混合数据集。利用混合数据集训练支持向量回归模型，得到非线性工业过程的预测模型；

步骤F、模型验证，若步骤E所得模型在测试集上的预测精度满足实验设定阈值，则建模过程完成；否则，重复步骤D，将新的N组生成样本加入到混合样本中，重新继续SVR模型，直至SVR模型在测试集上的预测精度满足实验设定阈值。

2.根据权利要求1所述的基于WGANs数据增强的非线性工业过程建模方法，其特征在于：所述步骤B包含：将所述步骤A采集的数据集进行预处理，具体步骤如下所示：

1)初始采集数据包含工业过程输出与输入数据，记为：

其中X和x是工业过程输入数据，Y和y是工业过程输出数据，n_ori是初始采集样本总个数；

2)根据公式对采集数据进行归一化处理，记归一化后的数据集为

同时根据小样本定义要求，取n_train＜20，将数据集合划分训练集和测试集；

其中，x_i和y_i分别过程的输入和输出，x_min和x_max分别过程运行区间下限和上限，y_min和y_max分别过程输出的下限和上限；S^trian是用来训练WGANs的训练样本集，S^test是用来验证最后预测模型的测试样本集。

3.根据权利要求1所述的基于WGANs数据增强的非线性工业过程建模方法，其特征在于：所述步骤C包含：

输入：训练数据集

是工业过程的输入变量，

是工业过程的输出变量；高斯噪声服从z～N(0,1)；

输出：生成样本

1)初始化相关参数：θ_d为判别模型参数；θ_g为生成模型参数；每训练一次生成模型，训练判别模型的次数n_critic＝2；自适应矩估计(Adaptive Moment Estimation，Adam)的参数：α＝0.00005,β₁＝0,β₂＝0.7；采样的数量m＝5；裁剪系数c＝0.01；

2)从训练数据中采集m个训练样本

从高斯分布中采集m个噪声样本{z₁,z₂,...,z_m}，从生成器模型中获得m个生产样本

其中

3)计算判别器损失

其中ε～U(0,1)；

4)更新判别器参数，

5)重复步骤2)-步骤4)n_critic次；

6)从高斯分布中采集m个噪声样本{z₁,z₂,...,z_m}，更新生成器参数，

7)重复步骤2)-步骤6)直至模型收敛(训练次数达到Epochs)。

4.根据权利要求1所述的基于WGANs数据增强的非线性工业过程建模方法，其特征在于：

所述步骤D中得到生成样本的方法为：从高斯分布中采集N组噪声样本{z₁,z₂,...,z_N}，将这N组噪声作为生成器的输入，则可以得到对应的N组输出，这N组输出就记住N组生成样本

5.根据权利要求1所述的基于WGANs数据增强的非线性工业过程建模方法，其特征在于：

所述步骤E中训练SVR模型的步骤为：

1)对训练数据集和生成数据集取并集得到混合训练数据集S^MixTrain；

2)利用S^MixTrain训练支持向量回归模型，得到非线性工业过程的输出预测模型y＝f(x)。

6.根据权利要求1所述的基于WGANs数据增强的非线性工业过程建模方法，其特征在于：

所述步骤F中模型验证为：利用均方根误差(RMSE)和确定系数(R²)来评估SVR模型的有效性，公式如下：

其中，N是测试数据的数量，y_i是预测模型的输出，

是预测输出的均值，Y_i是新过程的真实输出。

Images