CN110046378A - 一种基于进化多目标优化的选择性分层集成高斯过程回归软测量建模方法 - Google Patents

Abstract

本发明公开一种基于进化多目标优化的选择性分层集成高斯过程回归软测量建模方法，该方法首先结合Bootstrapping随机重采样和偏互信息构建多样性输入变量子集，用高斯混合模型算法将对应的原始样本子集划分为不同建模区域，并建立相应的高斯过程回归基模型，进行后验概率加权融合，构建第一层集成模型EGPR。接下来以进化优化的视角构建多目标优化问题，选出性能较好且满足多样性的EGPR模型进行最终集成。该发明充分考虑了样本信息和输入变量信息的多样性，能有效保证基模型的多样性和预测精度。其次，选择性集成策略的引入有效克服了传统集成学习融合所有局部模型的缺陷，既显著降低了集成建模的复杂度，又提升了模型预测性能。

Description

一种基于进化多目标优化的选择性分层集成高斯过程回归软 测量建模方法

技术领域

本发明涉及的是一种软测量技术领域的方法，具体是一种基于进化多目标优化的选 择性分层集成高斯过程回归软测量建模方法。

背景技术

随着现代工业制造技术的发展，准确、实时测量过程工艺中的关键参数并实施优化 控制，已经逐渐成为提高产品质量的重要手段。然而，实际工业生产过程通常具有强非线性、大滞后等特点，导致这些参数的测量周期较长，难以检测，软测量技术为此类难 测参数的在线估计提供了有效途径。

集成学习通过构建并结合多个基模型来完成学习任务，常可获得比单一模型显著优 越的泛化性能，因而在软测量领域得到广泛应用。相比于传统全局建模方法，集成学习不仅有利于精准表征局部过程特征，还能显著提升模型的预测精度和可靠性。然而，要 获得好的集成，基模型要同时具有一定的准确性和多样性。如何产生并结合“好而不同” 的基模型，正是集成学习的关键所在。

首先，需要有效地生成多样性强的基模型。常规的集成学习软测量建模方法大多是 通过单模态扰动的方式生成基模型，从而导致基模型预测性能不高、多样性不足等问题， 进而制约集成学习模型性能。实际上，训练样本和输入特征的选择都是影响软测量模型 的重要因素。已有研究表明，多模态扰动机制能有效提升集成学习软测量模型的预测性能。目前，基于多模态扰动机制的集成学习软测量建模研究成果较少，亟待进一步研究。

此外，选择合理的基模型集成方法也是至关重要的。在产生大量的基模型之后，难免会存在部分基模型相关性强、性能不佳的现象。如果将所有基模型用于集成，会造成 集成建模复杂度提升，甚至恶化预测性能。选择性集成策略是解决这一问题的有效途径。 但是现有的选择性集成方法大多没有考虑到基模型准确性和多样的平衡，导致集成模型 效果不佳。因此，本发明从多目标优化的角度来选择基模型，既实现了基模型精简，又 提升了模型性能。

发明内容

本发明所要解决的主要问题是：针对传统多样性基模型的生成方法在以上两个方面 存在的不足，本发明提供一种基于进化多目标优化的选择性分层集成高斯过程回归(EMO-SHEGPR)软测量建模方法，

为解决上述技术问题本发明所采用的技术方案为：首先基于特征扰动和样本扰动构 建一组多样性GPR基模型，接着以分层集成的方式构建集成模型，采用进化多目标优 化算法对第一层集成模型EGPR进行集成修剪，第二层集成后得到性能较高的软测量预 测模型。具体的步骤如下：

(1)采集数据形成样本集，将样本集分为训练集D_trn和验证集D_val，对训练集D_trn进行随机重采样，获得一组共计M个建模样本子集{(X₁,y₁)；…；(X_M,y_M)}，对每个建模样本 子集进行PMI相关性分析，构建一组共计M个输入子空间{S₁,…,S_M}；

(2)基于原始训练样本D_trn估计得到GMM的参数，然后提取输入子空间{S₁,…,S_M的对应原始训练样本，得到一组共计M个新的训练样本子集，对于每一个新的训练样 本子集，根据GMM算法将其划分为C个局部建模区域{LD₁,…LD_k,…LD_c}，则相应的 局部数据集为{D₁,…D_k,…D_c}，将第k个数据集表示为其中， X_k∈R^h×d,y_k∈R^h×1，h为局部数据集的样本数，由此构建一组高斯过程回归基模型 {GPR₁,…,GPR_c}；

(3)计算第k个数据集D_k中任意一个样本x_*属于第k个局部区域LD_k的后验概率， 根据后验概率将步骤(2)中获得的基模型{GPR₁,…,GPR_c}进行加权集成，获得第一层 集成输出，从而构建一组共计M个EGPR模型；

(4)将EGPR局部模型的预测精度和多样性指标作为目标函数，采用NSGA-Ⅱ算 法进化多目标优化，选出M_select个EGPR模型进行第二层集成；

(5)采用PLSstacking方法将选中的M_select个EGPR模型进行第二次集成融合构建集成模型，对于一个新的测试样本点x_new，将选中的M_select个EGPR模型的预测输出作为集 成模型的输入，最终得到测试样本点x_new的预测输出。

本发明的有益效果是：

本发明所提出的基于进化多目标优化的选择性分层集成高斯过程回归软测量建模 方法，从样本信息和输入变量信息的多样性两个角度，以多模态扰动的方式构建基模型， 有效保证了基模型的准确性和多样性。通过建立分层集成模型，以进化多目标优化的方 式对第一层集成模型进行集成修剪，既减小了集成建模的复杂度，又提升了模型性能。

附图说明

图1为EMO-SHEGPR软测量建模流程图；

图2为TE化工过程中EMO-SHEGPR方法使用NSGA-II优化获得的Pareto前沿；

图3为TE化工过程中EGPR基模型二进制选择结果；

图4为TE过程中基于EMO-SHEGPR方法的成分(Ecomposition instream 9)预测趋势曲线图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步说明。

实施例1：如图1所示，在本实施例中，以TE(Tennessee Eastman Process)化工过程 为例，选用其中22个连续测量变量和12个操纵变量作为原始输入，Stream 9中的E成 分浓度作为软测量模型的输出。

步骤1：采集输入输出样本，将其分为训练集(50％)、验证集(25％)、测试集(25％)。

步骤2：通过Bootstrapping随机重采样，获得一组多样性建模样本子集 {(X₁,y₁)；…；(X_M,y_M)}，然后对每个建模样本子集进行PMI相关性分析，从而构建一组多 样性输入子空间{S₁,…,S_M}，所述PMI准则具体实施内容为：

对一个Bootstrapping建模样本子集，采用KNN估计方法估计PMI值和K折交叉 验证和置换检验方法确定KNN估计器的最佳最近邻数目。然后，确定PMI阈值(决定何 时停止输入变量选择)，本文使用一种统计置信限来判断输入与输出变量是否相关。基 本思想是：对于一个候选变量，重复p次bootstrapping算法产生多个随机化变量，然后 从中确定第γ百分位，以此作为变量相关性的重要性判别阈值。若原始变量的PMI值大 于随机化的PMI估计阈值，则认为该变量与输出变量相关，而不相关的可能性则低于5％。 本发明中，p＝100,γ＝95％。因此，PMI变量选择步骤可总结如下：

①初始化输入变量集V＝{(X₁,…,X_d)}，已选变量集Z＝Φ，Y为输出变量；

②按(1)式计算每个输入变量与输出变量的PMI(X_r,Y|Z)，其中N为样本数，X为候选变量，x',y'表示样本数据集中第n个样本的冗余成分，f_X'(x')和f_Y'(y')是边缘概率密度， f_X',Y'(x',y')是联合概率密度。

③选出②中PMI值最高的变量X_j，如果该PMI值高于第95百分位随机化PMI阈值，则将其加入Z，即V←V-{X_r},Z←Z+{X_r},否则终止变量选择；

④重复②和③直至选出所有重要变量。

步骤3：基于原始训练样本估计得到GMM的参数，然后提取步骤2中子空间 {S₁,…,S_M}对应的原始训练样本，得到一组新的训练样本子集。对一个训练样本子集，根 据GMM算法，将其划分为C个局部建模区域{LD₁,…,LD_c}，则相应的局部数据集为{D₁,…,D_c}，将第k个局部数据集表示为其中，X_k∈R^m×d,y_k∈R^m×1，m 为第k个局部数据集的样本数。由此构建一组高斯过程回归基模型所述GMM 算法为：

对任意一个x∈R^1×d，假设

式中，Θ＝{π₁,…,π_C,μ₁,…,μ_C,∑₁,…,∑_C}表示高斯混合模型参数，π_k表示第C个高斯成 分的先验概率，并且满足N(x|Θ_k)表示一个均值向量为μ_k、协方差矩 阵为∑_k的多元高斯分布，其概率密度函数为：

通过期望最大化算法可求得GMM的模型参数，对任意一个观测值x属于第k个高 斯成分的后验分布概率为：

步骤4：由步骤3得到的局部建模区域数据集构建一组高斯过程回归(Gaussian process regression，GPR)基模型对训练样本x_*，可得到第k个基GPR_k模型的局部预测输出服从高斯分布：

因此，所述GPR_k模型可描述为：

式中， 和分别为基模型GPR_k的预测均值和方差。

步骤5：在离线训练阶段，计算D_trn中任意一个样本x_*属于第k个局部区域LD_k的后验概率，根据式(7)进行融合，得到EGPR模型，即第一层集成输出；

第一层集成预测方差可计算为：

其中后验概率P(LD_k|x_*)根据式(9)计算得到：

式(9)中，P(LD_k)和P(x_*|LD_k)分别为先验概率和条件概率。其中，C 为局部区域数，P(x_*|LD_k)由式(3)计算。

步骤6：构建多目标优化问题，将EGPR模型的预测精度和多样性指标作为目标函数，采用NSGA-Ⅱ进化多目标优化算法，选出优异的EGPR模型用于第二层集成；

构建如下多目标优化问题：

max[f₁,f₂](10)

为求解上述多目标优化问题，已知第一层集成获得了M个EGPR模型，即 {EGPR₁,EGPR₂,…,EGPR_M},对所有EGPR模型进行二进制编码，将这一串编码作为决策 变量，其中1表示选中该模型，0表示未选中。模型选择数目M_select为约束条件。

精度目标函数定义为基于验证数据的平均预测误差：

其中，为基于验证样本的单个EGPR_m模型的预测均方根误差。

多样性目标函数定义为基于验证数据的任意两个模型之间的相关系数平均值：

其中，

式中，e_α,e_β分别表示第α个和第β个EGPR模型的预测误差，Cov(.,·)用于计算任意两个误 差之间的协方差，Var(·)表示方差算子。

由式(11)、(12)可知，RMSE_avg,val和r_avg,val值越小，则说明模型精度和多样性指标越高。因此，式(10)中的最大化多目标优化问题转化为如下最小化优化问题：

min[RMSE_avg,val,r_avg,val](14)

采用NSGA-Ⅱ算法，设置合适的种群数和迭代数进行优化，得到Pareto最优解集，其中任意一个Pareto解对应一组EGPR局部模型的二进制变量组合。解码后，获得参与 第二层集成的EGPR模型。

步骤7：在Stacking框架下采用PLS(partial least squares,偏最小二乘)对步骤(6)得到 的M_select个EGPR模型训练集成模型。对EMO-SHEGPR集成模型训练，基于验证样本估计PLS集成模型参数ω_i(i＝1,…,M_select)，最佳主成分由交叉验证确定。

在线预测阶段，测试样本x_new的第一层集成预测方差和均值可由式(6)计算得到，假 设分别表示为则第二层集成预测输出可表示为：

根据不确定度合成原理，集成预测方差σ²可计算为：

其中，σ_i,new和σ_j,new为任意两个EGPR模型的预测输出不确定度；ρ_ij为不 确定度变量σ_i,new和σ_j,new的之间的相关系数，ρ_ij值按该方法进行估计：给定验证样本集D_val＝{X_val,y_val}，可获得任意两个GPR基模型在D_val上的预测均值向量和方差向量此时，ρ_ij可估计为：

本发明实施案例采用均方根误差RMSE和决定系数R²对预测效果进行验证，计算公式如下:

其中，N_test为测试样本的数目，y_test和分别为估计值、实际值和实际输出的均值。本案例比较了如下方法：(1)GPR全局模型；(2)基于输入特征扰动和GMM的 集成模型(EGPR)；(3)基于EMO的选择性分层集成高斯过程回归(EMO-SHEGPR)模型。 实验结果如表1所示。

表1不同软测量方法在TE化工过程中的预测误差

图2为进化多目标优化算法NSGA-II优化的Pareto前沿，其中，进化的种群数、迭代数、选择的EGPR基模型数分别取400、100和40。本实例中，通过输入特征扰动和 样本扰动构建了127个多样性EGPR第一层集成模型，优化选出40个最佳EGPR模型， 集成修剪结果如图3所示。

表1对比了不同建模方法的预测效果，可以看出，EMO-SHEGPR模型预测效果明 显优于GPR和EGPR模型。相比于EGPR，选择性集成策略的引入使得EMO-SHEGPR 模型具有良好的预测性能，并且减小了集成复杂度。此外，分层集成的方式使得 EMO-SHEGPR充分利用了输入特征和建模样本的信息，增强了基模型的多样性，同时 集成模型也具有良好的稳定性。图4是所提方法在TE化工过程中对E成分的预测曲线 图，由图可知，该方法具有较好的预测性能。

上述实例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利 要求保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (6)

1.一种基于进化多目标优化的选择性分层集成高斯过程回归软测量建模方法，其特征在于，包括以下步骤：

(1)采集数据形成样本集，将样本集分为训练集D_trn和验证集D_val，对训练集D_trn进行随机重采样，获得一组共计M个建模样本子集{(X₁,y₁)；…；(X_M,y_M)}，对每个建模样本子集进行PMI相关性分析，构建一组共计M个输入子空间{S₁,…,S_M}；

(2)基于原始训练样本D_trn估计得到GMM的参数，然后提取输入子空间{S₁,…,S_M}的对应原始训练样本，得到一组共计M个新的训练样本子集，对于每一个新的训练样本子集，根据GMM算法将其划分为C个局部建模区域{LD₁,…LD_k,…LD_c}，则相应的局部数据集为{D₁,…D_k,…D_c}，将第k个数据集表示为其中，X_k∈R^h×d,y_k∈R^h×1，h为局部数据集的样本数，由此构建一组高斯过程回归基模型{GPR₁,…,GPR_c}；

(3)计算第k个数据集D_k中任意一个样本x_*属于第k个局部区域LD_k的后验概率，根据后验概率将步骤(2)中获得的基模型{GPR₁,…,GPR_c}进行加权集成，获得第一层集成输出，从而构建一组共计M个EGPR模型；

(4)将EGPR局部模型的预测精度和多样性指标作为目标函数，采用NSGA-Ⅱ算法进化多目标优化，选出M_select个EGPR模型进行第二层集成；

(5)采用PLSstacking方法将选中的M_select个EGPR模型进行第二次集成融合构建集成模型，对于一个新的测试样本点x_new，将选中的M_select个EGPR模型的预测输出作为集成模型的输入，最终得到测试样本点x_new的预测输出。

2.根据权利要求1所述的基于进化多目标优化的选择性分层集成高斯过程回归软测量建模方法，其特征在于，所述步骤(1)中训练集D_trn＝{X_trn,y_trn}，其中，X_trn表示输入，y_trn表示输出，X_trn∈R^n×d,y_trn∈R^n×1，n为D_trn中的训练样本数，d为过程变量数；

对建模样本子集进行PMI相关性分析的过程为：

①初始化输入变量集V＝{(X₁,…,X_d)}，已选变量集Z＝Φ，Y为输出变量；

②计算每个输入变量与输出变量的PMI(X_r,Y|Z)：

其中N为样本数，X为候选变量，x',y'表示样本数据集中第n个样本的冗余成分，f_X'(x')和f_Y'(y')是边缘概率密度，f_X',Y'(x',y')是联合概率密度；

③选出②中PMI值最高的候选变量X，如果该PMI值高于第95百分位随机化PMI阈值，则将其加入Z，否则终止变量选择；

④重复②和③直至选出所有重要变量。

3.根据权利要求1所述的基于进化多目标优化的选择性分层集成高斯过程回归软测量建模方法，其特征在于，所述步骤(2)中高斯过程回归基模型{GPR₁,…,GPR_c}的建立过程为：

对D_k中的样本x_*，第k个基模型GPR_k的局部预测输出服从高斯分布：

所述GPR_k模型可描述为：

其中，k_k,*＝[C(x_*,x_k,1),…,C(x_*,x_k,n)]^T，和分别为基模型GPR_k的预测均值和方差。

4.根据权利要求1所述的基于进化多目标优化的选择性分层集成高斯过程回归软测量建模方法，其特征在于，所述步骤(3)的具体内容如下：

计算第k个数据集D_k中任意一个样本x_*属于第k个局部区域LD_k的后验概率并将其作为权值系数，将基模型的输出进行融合，得到EGPR模型，即第一层集成输出：

第一层集成预测方差：

其中，和分别为基模型GPR_k的预测均值和预测方差，P(LD_k|x_*)为样本x_*属于第k个局部区域LD_k的后验概率，通过贝叶斯推理策略估计为：

其中，P(LD_k)和P(x_*|LD_k)分别为先验概率和条件概率，

5.根据权利要求1所述的基于进化多目标优化的选择性分层集成高斯过程回归软测量建模方法，其特征在于，所述步骤(4)的具体内容如下：

①构建多目标优化问题：将EGPR模型的预测精度f₁和多样性指标f₂作为目标函数，构建如下多目标优化问题：

max[f₁,f₂]

②求解上述多目标优化问题：第一层集成获得了M个EGPR模型，即{EGPR₁,EGPR₂,…,EGPR_M}，对所有EGPR模型进行二进制编码，将这一串编码作为决策变量，其中1表示选中该模型，0表示未选中，模型选择数目M_select为约束条件；

给定验证集D_val，预测精度f₁定义为基于验证数据的平均预测误差：

其中，为基于验证样本的单个EGPR_i模型的预测均方根误差，m＝1,2,…,M；

多样性指标f₂定义为基于验证数据的任意两个模型之间的相关系数平均值：

其中，

式中，e_α,e_β分别表示第α个和第β个EGPR模型的预测误差，Cov(·,·)用于计算任意两个误差之间的协方差，Var(·)表示方差算子；

max[f₁,f₂]转化为最小化优化问题min[RMSE_avg,val,r_avg,val]；

③采用NSGA-Ⅱ算法，设置种群数和迭代数进行优化，得到Pareto最优解集，其中任意一个Pareto解对应一组EGPR模型的二进制变量组合，解码后，获得M_select个参与第二层集成的EGPR模型。

6.根据权利要求1所述的基于进化多目标优化的选择性分层集成高斯过程回归软测量建模方法，其特征在于，所述步骤(5)的具体内容如下：

在Stacking框架下采用PLS对选中的M_select个EGPR模型训练集成模型，基于验证集D_val估计PLS集成模型参数ω_i，i＝1,…,M_select，最佳主成分由交叉验证确定；

测试样本x_new的第一层集成预测方差和均值由步骤(2)计算得到，分别表示为第二层集成预测输出为：

根据不确定度合成原理，第二层集成预测方差σ²为：

其中，σ_i,new和σ_j,new为任意两个EGPR模型的预测输出不确定度；ρ_ij为σ_i,new和σ_j,new的之间的相关系数，ρ_ij值按下述方法确定：给定验证集D_val＝{X_val,y_val}，可获得任意两个GPR基模型在D_val上的预测均值向量和方差向量ρ_ij为：