CN110795846A - 边界森林模型的构建方法、面向复杂工业过程的多工况软计算模型更新方法及其应用 - Google Patents

Abstract

边界森林模型的构建方法、面向复杂工业过程的多工况软计算模型更新方法及其应用，属于计算机应用领域，为了解决树集成模型叶节点容易在输出范围上产生空白区域而导致预测值不可靠的问题，已知某一工况下的当前训练集，设置不同的叶节点最少样本数，使用不同的叶节点最少样本建立K棵具有不同叶节点边界的树集成模型；使用树集成模型预测所述当前训练集中所有样本的输出值，并由预测的输出值构成预测矩阵；根据预测矩阵的预测输出值，构建其与真实输出值的相关矩阵；计算融合权重向量，使用权重向量，将各边界不同的树集成模型融合成边界森林模型，效果是不同树模型的叶节点相互覆盖，填补单棵树在输出边界上的空白区域，进而产生可靠预测值。

Description

边界森林模型的构建方法、面向复杂工业过程的多工况软计 算模型更新方法及其应用

技术领域

本发明属于计算机应用领域，涉及集成学习、在线学习算法以及基于边界森林的关键变量在线软测量方法。

背景技术

软计算(Soft Computing)模型是执行关键变量(例如，电弧炉精炼过程钢水终点温度)预测任务的最有效工具之一。也称为软测量模型或软传感器，是一种虚拟传感器，而非硬件仪器，具有易于实施和经济可行的优点^[1,2]。从本质上讲，软计算模型属于数据驱动模型，它们深入挖掘输入变量和关键变量之间的非线性关系，通过函数映射的方式使数据能够提供其潜在但有用的信息。然而，复杂工业过程等实际应用中的输入变量和关键变量之间往往存在很强的非线性关系，且受噪声影响严重。另外，随着计算机科学、通信等技术的快速发展，工作人员从实际应用中采集并存储了大规模数据。数据规模大、非线性关系强、噪声影响等给软计算模型的建立带来了很大的挑战。

为了迎接这一挑战，研究者们提出了很多基于集成学习的关键变量软测量技术，并将其应用于实际生产过程中。其中，基于树集成方法的钢水温度软测量模型就是一项新颖且先进的软测量技术^[3]。然而，在有限样本集上学习得到的数据驱动模型很难保证在看不见的未来保持一致的高性能，例如准确性和可靠性。数据样本通常具有时间有效性，这意味着随着时间的流逝，样本的重要性会逐渐降低，直到样本无效。采集于电弧炉精炼等复杂工业过程中的数据也存在这一问题，精炼过程分为多种工况，有些工况随着时间的推移而被取消(比如产品的更新换代)，采集自这类工况的数据以及其软测量模型将变得无效且冗余；有些工况是根据生产要求而新增加的，采集这类工况的数据需要不断累积供建模使用；有些工况是已存在的工况，随着时间的推移在累积新数据的同时，部分历史数据变得无效，用于建模的数据总量也会动态变化。针对数据的时间有效性问题，具有更新功能在线学习方法提供了更好的解决方案。

发明内容

为了解决树集成模型叶节点容易在输出范围上产生空白区域而导致预测值不可靠的问题，本发明提出了边界森林模型的构建方法；为了解决数据的时间有效性问题，本发明还提出了面向复杂工业过程的多工况软计算模型更新方法，能够提高复杂工业过程关键变量在线预测的可靠性，面向海量、非线性强、噪声高且具有时间有效性的数据，实现了建立准确而可靠的软测量模型。

为了实现上述目的，本发明提出如下技术方案：一种边界森林模型的构建方法，包括如下步骤，

第一步:已知某一工况下的当前训练集为

样本

输出N表示样本个数,M表示输入特征维数，设置不同的叶节点最少样本数{θ₁,θ₂,...,θ_K}，θ_i≠θ_j，i,j＝1,2,...,K，i≠j；

使用不同的叶节点最少样本{θ₁,θ₂,...,θ_K}建立K棵具有不同叶节点边界的树集成模型{Tree1,Tree2,...,TreeK}，并使用f_Treek，k＝1,2,...,K表示树集成模型的非线性函数；

第二步:使用树集成模型{Tree1,Tree2,...,TreeK}预测所述当前训练集Θ中所有样本的输出值，并由预测的输出值构成预测矩阵其中

表示第k棵树集成模型Treek对第i个样本X_i的预测值,i＝1,2,...,N，N表示样本个数；

根据预测矩阵

的预测输出值，构建其与真实输出值的相关矩阵

其元素为Ω_kj，y_i表示第i个样本X_i的真实输出值，其中k,j＝1,2,….,K；

第三步:计算融合权重向量ω＝[ω₁,ω₂,…,ω_K]，其中1表示单位向量，使用权重向量ω，将各边界不同的树集成模型{Tree1,Tree2,...,TreeK}融合成边界森林模型，边界森林模型的非线性函数表示为f_{BoundaryForest}(X)＝ω₁f_Tree1(X)+ω₂f_Tree2(X)+…+ω_Kf_TreeK(X)。

作为技术方案的补充：使用树集成模型{Tree1,Tree2,...,TreeK}预测所述当前训练集Θ中所有样本的输出值的方法是：

对于第k棵树集成模型Treek，当其叶节点样本个数小于其叶节点最少样本数θ_k，则停止递归分裂内部节点，Treek产生M_k个叶节点；

以第k棵树的每一个叶节点为训练子集建立一个非线性回归模型,Treek产生的M_k个叶节点共建立M_k个子模型

第k棵树集成模型Treek对样本X的预测值为

预测时，待预测样本Xq遍历第k棵树集成模型Treek，并落入某一叶节点，由该叶节点上的子模型对待预测样本Xq进行预测；

其中k＝1,2,…,K，得到K棵树的集成模型，并得到其相应的K棵树的集成模型对样本X的预测值，得到预测的当前训练集Θ中所有样本的输出值。

本发明还涉及一种面向复杂工业过程的多工况软计算模型更新方法，判断当前工况，在不同工况下，当前训练集数据的窗口宽度具有不同的调整方式，根据工况对窗口宽度调整；根据工况的不同，对于具有更新的当前数据集的软计算模型更新。

作为技术方案的补充：所述步骤根据工况对窗口宽度调整，其方法是：

情况一：工况为新工况，随着工业生产进行，新数据不断产生，该工况下，当前训练集的数据窗口起点保持不变，终点延时间轴不断向前移动，移动数据窗口宽度不断增大；

情况二：工况为已有工况，随着工业生产进行，新数据不断产出，但同时也有部分历史数据变得无效，该工况下，当前训练集数据窗口的起点和终点将延时间轴不断向前移动；如果起点和终点同时同速移动，则窗口宽度保持不变；如果起点和终点同时不同速或者同速不同时移动，则窗口宽度动态变化；

情况三：工况为失效工况，该工况下的数据及软计算模型随之失效，数据及软计算模型被剔除，但是未失效工况下的数据及软计算模型不受影响，也无需更新。

作为技术方案的补充：所述步骤根据工况的不同，对于具有更新的当前数据集的软计算模型更新的方法是：对于情况一和情况二，使用当前训练集，并实施边界森林模型的构建方法，重新建立K棵不同边界的新树得到新的边界森林模型，融合所述新树来覆盖单棵树在输出边界上的空白区域，对当前数据集的软计算模型更新。

本发明还涉及一种面向复杂工业过程的多工况软计算模型更新方法在提高电弧炉精炼工业过程中的关键参数在线软测量测值准确度和可靠性中的应用。

本发明的有益效果：基于边界森林的关键变量在线软测量技术的思想是将具有不同最小叶节点样本数{θ₁,θ₂,...,θ_K}的K棵树模型融合为“森林”，然后使用面向复杂工业过程多工况的变宽度动态移动窗口技术实现在线更新。单棵树模型预测时，待预测样本Xq会遍历整棵树并落入某一叶节点，该叶节点上的子模型会对Xq进行预测。然而，单棵树模型的叶节点之间在输出范围上容易产生空白区域(gap segment)，尤其是在噪声较大的数据集上。如果待预测样本Xq的实际输入值属于空白区域，那么在遍历树模型之后同样会被划分到某一叶节点上，而本属于空白区域的样本使用叶节点上的子模型进行预测，则会产生不可靠输出。最小叶节点样本数θ不同，则单棵树的输出边界不同。通过设置K个不同{θ₁,θ₂,...,θ_K}，建立K棵具有不同边界的树,然后对这些树模型进行融合形成边界森林模型。不同树模型的叶节点相互覆盖，填补单棵树在输出边界上的空白区域，进而产生可靠预测值。另外，考虑到数据的时间有效性问题，采用变宽度动态移动窗口技术，根据工况特点(失效工况、新工况、或者现存工况)调整各工况下当前训练数据集，进而重新训练对应工况下的当前边界森林模型。期望基于边界森林的关键变量在线软测量技术能够提高电弧炉精炼等复杂工业过程中的关键参数在线软测量测值的准确度和可靠性，满足各工况下钢水终点温度预测准确度和可靠性的要求(均方根误差低于3摄氏度，最大绝对误差低于6摄氏度)。

具体实施方式

集成学习和在线学习方法是机器学习和数据挖掘领域最新的研究方向之一，它们为软测量领域提供了一种新的测量机制。本发明针对树集成模型叶节点容易在输出范围上产生空白区域而导致预测值不可靠的问题，以及数据的时间有效性问题，提出了基于边界森林的关键变量在线软测量技术的相关方案。其中通过设置不同的叶节点最少样本数，来形成K棵具有不同叶节点边界的树集成模型，然后融合这些树来覆盖单棵树在输出边界上的空白区域，提高了预测值的可靠性和准确性。另外，面向复杂工业过程多工况的特点，提出了变宽度动态移动窗口技术来实现边界森林软计算模型在线更新的方法。最后，将所述技术方案应用于电弧炉精炼过程钢水终点温度在线软测量中，其满足各工况下钢水终点温度预测准确度和可靠性的要求(均方根误差低于3摄氏度，最大绝对误差低于6摄氏度)。

概况的说，本发明提出了了基于边界森林(Boundary-Forest,BF)的关键变量在线软测量方法,属于计算机应用技术领域。

方法包括：

第一步:设置不同的叶节点最少样本数{θ₁,θ₂,...,θ_K},θ_i≠θ_j,i,j＝1,2,...,K,i≠j，建立具有不同叶节点边界的树集成(Tree-Structure-Ensemble,TSE)模型{Tree1,Tree2,...,TreeK}，然后使用{Tree1,Tree2,...,TreeK}在Θ上的预测值并构建输出相关矩阵Ω并计算融合向量，获得BF模型。

第二步：根据面向多工况的变带宽动态移动窗口技术，实现BF模型在线更新。

本发明使用不同θ值可以使TSE模型产生不同的输出边界，通过融合多颗树来覆盖单棵树的空白区域，以及面向多工况的变宽度动态移动窗口更新技术，克服了TSE模型面向噪声高且具有时间有效性的数据时,易产生不可靠预测值的问题。实验结果表明所提技术能够提高复杂工业过程中关键变量软测量的准确性和可靠性。

线软测量方法涉及边界森林模型的构建方法及面向复杂工业过程的多工况软计算模型更新方法。具体实施如下：

第一步:首先，已知某一工况下的当前训练集为

设置不同的叶节点最少样本数{θ₁,θ₂,...,θ_K}，θ_i≠θ_j，i,j＝1,2,...,K，i≠j；使用{θ₁,θ₂,...,θ_K}建立K棵具有不同叶节点边界的树集成模型{Tree1,Tree2,...,TreeK}，其中f_Treek,k＝1,2,...,K表示树集成模型的非线性函数。然后，使用{Tree1,Tree2,...,TreeK}预测训练集Θ中所有样本的输出值并构成预测矩阵其中

表示Treek对样本X_i的预测值,k＝1,...,K,i＝1,2,...,N；根据预测矩阵构建真实输出值与预测值的相关矩阵Ω_K×N,其元素为

y_i表示样本X_i的真实输出值。最后，计算融合权重向量ω＝[ω₁,ω₂,…,ω_K]，其中

1表示单位向量；基于权重向量ω，边界不同的树集成模型{Tree1,Tree2,...,TreeK}将融合成边界森林模型，即f_{BoundaryForest}(X)＝ω₁f_Tree1(X)+ω₂f_Tree2(X)+…+ω_Kf_TreeK(X)，其中f_{BoundaryForest}表示边界森林模型的非线性函数。

第二步:基于数据的时间有效性，提出并使用面向复杂工业过程多工况的变宽度动态移动窗口技术，实现电弧炉精炼过程各工况下的边界森林软计算模型的在线更新。

第一步的通过设置不同的叶节点最少样本数{θ₁,θ₂,...,θ_K}，θ_i≠θ_j，i,j＝1,2,...,K，i≠j，建立K棵具有不同叶节点边界的树集成模型{Tree1,Tree2,...,TreeK}，然后使用K棵树集成模型在Θ上的预测值并构建输出相关矩阵Ω并计算融合向量，获得BF模型的过程包括：对于第1棵树集成模型Tree1，以“叶节点样本个数小于θ₁”为停止递归分裂内部节点的准则，Tree1将产生M₁个叶节点；然后以每一个叶节点为训练子集建立一个非线性回归模型,M₁个叶节点共建立M₁个子模型

Tree1对样本X的预测值为

预测时，待预测样本Xq会遍历Tree1并落入某一叶节点，该叶节点上的子模型会对Xq进行预测。同理，对于第k棵树集成模型Treek，k＝2,…,K，以“叶节点样本个数小于θ_k”为停止递归分裂内部节点的准则，Treek将产生M_k个叶节点；然后以每一个叶节点为训练子集建立一个非线性回归模型,M_k个叶节点共建立M_k个子模型

Treek对样本X的预测值为

预测时，待预测样本Xq会遍历Treek并落入某一叶节点，该叶节点上的子模型会对Xq进行预测。然而，单棵树模型的叶节点之间在输出范围上容易产生空白区域(gap segment)，尤其是在噪声较大的数据集上。如果待预测样本Xq的实际输入值属于空白区域，那么在遍历树模型之后同样会被划分到某一叶节点上，而本属于空白区域的样本使用叶节点上的子模型进行预测，则会产生不可靠输出。因此，通过设置K个不同参数{θ₁,θ₂,...,θ_K}，建立K棵具有不同边界的树,然后融合这些树来覆盖单棵树在输出边界上的空白区域，就可以提高预测值的可靠性和准确性。

第四步的基于数据的时间有效性，提出的面向复杂工业过程多工况的变带宽动态移动窗口技术，以工况为基本单位建立基于边界森林的关键变量在线软测量模型，其更新过程包括以下几种情况：情况一，工况为新工况。随着生成过程的进行，新数据不断产生，这种工况下的当前训练集数据窗口起点保持不变，终点延时间轴不断向前移动，即移动数据窗口宽度不断增大。使用当前训练集重新建立K棵“新树”并重新计算权值，进而获得更新后的边界森林模型。情况二，工况为已有工况。随着生成过程的进行，新数据不断产出，但同时也有部分历史数据变得无效。这种工况下的当前训练集数据窗口的起点和终点将延时间轴不断向前移动，如果起点和终点同时同速移动，则窗口宽度保持不变；如果起点和终点同时不同速(或者不同时但同速)移动，则窗口宽度动态变化。对于情况一和情况二，使用当前训练集重新建立K棵“新树”并重新计算权值，进而获得更新后的边界森林模型。情况三，工况为失效工况。当产品型号等发生改变时，有些已有工况会变得无效，这种工况下的数据及软计算模型也随之失效，因此需要被剔除，从而节省存储空间。但是其他工况下的软计算模型不会受到影响，也无需更新。

以下通过仿真实验，验证基于边界森林的关键变量在线软测量技术作为一种新的思路和方法，在面向海量、非线性强、噪声高、且具有时间有效性的数据建立准确而可靠的在线软测量模型中的有效性。针对某一工况，首先设置K个不同的最小叶节点样本数{θ₁,θ₂,...,θ_K}，以θ_k建立树集成模型f_Treek,k＝1,2,...,K，其中树集成模型建模方法参加文献[3]；然后依次获得训练集预测输出矩阵

预测值与真实值相关矩阵Ω_K×N，树模型融合权值向量ω，带入式(1)获得该工况下的边界森林模型：

f_{BoundaryForest}(X)＝ω₁f_Tree1(X)+ω₂f_Tree2(X)+…+ω_Kf_TreeK(X)。 (1)

更新时，根据工况特点(失效工况、新工况、或者现存工况)调整各工况下当前训练数据集，进而更新K棵树集成模型及其权重，然后重新融合这些树模型形成该工况的当前边界森林模型。

在建立电弧炉精炼过程钢水终点温度在线软测量模型时，考虑了4种工况，本文将在线边界森林与在线树模型进行了比较。使用General Regression Neural Network(GRNN)[4]建立叶节点上的子模型。使用均方根误差来衡量软测量模型的预测精度和可靠性。建模前所有数据都做归一化处理到[0，1]之间。使用10倍交叉验证法确定模型其他参数。

实验数据

电弧炉精炼属于多工况批次生产过程。我们的数据涉及4种工况，每种工况下采集了3个生产批次的样本，表1给出了电弧炉工业过程数据的基本信息。任何"窗口"中的样本被随机划分为当前训练集和当前测试集。评价模型性能准则为均方根误差(Root MeanSquare Errors，RMSE)以及最大绝对误差(Maximum Absolute Error，MAE),计算公式如下：

其中

表示预测值,y表示真实输出，N为当前训练集(当前测试集)样本个数。

另外，我们给出的是统计性结果，即当前训练集和测试集将重复划分100，然后将100次的误差值做平均，以防止因某一次划分不准确而带来的不可靠评价。

表1电弧炉工业过程数据的基本信息

表2基于边界森林的和基于树集成的在线钢水终点温度在线软计算模型的误差比较.

表2给出了基于边界森林的和基于树集成的在线钢水终点温度软计算模型的误差比较。其中“树集成模型个数＝1”表示单棵树模型，“树集成模型个数>1”表示边界森林模型。从RMSE的角度观察发现，无论是在训练集上还是在测试集上，在线边界森林模型的RMSE都略低于在线单棵树模型的RMSE。而且随着树集成模型个数的增加，在线边界森林模型的RMSE呈下降趋势；当达到4个树模型时，在线边界森林模型的RMSE基本稳定。实验结果表明，基于边界森林的在线钢水终点温度软计算模型的准确度高于基于树集成方法的在线钢水终点温度软计算模型的准确度。

从MAE的角度观察发现，无论是在训练集上还是在测试集上，在线边界森林模型的MAE都明显低于在线单棵树模型的MAE。另外，我们发现单棵树模型在工况1～工况4的训练集上以及工况1～工况2的测试集上，出现了较大的MAE值，但是相应的RMSE并未出现较大值，这就表明单棵树在预测某些样本时给出了不可靠的预测值。使用边界森林技术之后，随着树集成模型个数的增加，在线边界森林模型的MAE下降趋势显著；同样当达到4个树模型时，在线边界森林模型的MAE基本稳定。实验结果表明，基于边界森林的在线钢水终点温度软计算模型的可靠性高于基于树集成方法的在线钢水终点温度软计算模型的可靠性。

参考文献

----------------

[1]X.Yuan,Z.Ge,B.Huang,Z.Song,Y.Wang.Semisupervised JITL frameworkfor nonlinear industrial soft sensing based on locally semisupervisedweighted PCR,IEEE Transactions on IndustrialInformatics,vol.13,no.2,pp.99,Apr.2017.

[2]M.R.Vandechali,M.H.Abbaspour-Fard,A.Rohani.Development of aprediction model for estimating tractor engine torque based on soft computingand low cost sensors,Measurement,vol.121,pp.83-95,Jun.2018.

[3]X.Wang,M.You,Z.Mao,P.Yuan.Tree-structure ensemble generalregression neural networks applied to predict the molten steel temperature inladle furnace,Advanced Engineering Informatics,vol.30,no.3,pp.368-375,Aug.2016.

[4]D.F.Specht.A general regression neural wetwork,IEEE Transactionson Neural Networks,vol.2,no.6,pp.568-576,Nov.1991.

Claims (6)

1.一种边界森林模型的构建方法，其特征在于：包括如下步骤，

第一步:已知某一工况下的当前训练集为

样本

输出

N表示样本个数,M表示输入特征维数，设置不同的叶节点最少样本数{θ₁,θ₂,...,θ_K}，θ_i≠θ_j，i,j＝1,2,...,K，i≠j；

使用不同的叶节点最少样本{θ₁,θ₂,...,θ_K}建立K棵具有不同叶节点边界的树集成模型{Tree1,Tree2,...,TreeK}，并使用f_Treek，k＝1,2,...,K表示树集成模型的非线性函数；

第二步:使用树集成模型{Tree1,Tree2,...,TreeK}预测所述当前训练集Θ中所有样本的输出值，并由预测的输出值构成预测矩阵

其中

表示第k棵树集成模型Treek对第i个样本X_i的预测值,i＝1,2,...,N，N表示样本个数；

根据预测矩阵

的预测输出值，构建其与真实输出值的相关矩阵

其元素为Ω_kj，

y_i表示第i个样本X_i的真实输出值，其中k,j＝1,2,….,K；

第三步:计算融合权重向量ω＝[ω₁,ω₂,…,ω_K]，其中1表示单位向量，使用权重向量ω，将各边界不同的树集成模型{Tree1,Tree2,...,TreeK}融合成边界森林模型，边界森林模型的非线性函数表示为f_{BoundaryForest}(X)＝ω₁f_Tree1(X)+ω₂f_Tree2(X)+…+ω_Kf_TreeK(X)。

2.根据权利要求1所述的边界森林模型的构建方法，其特征在于：第二步中使用树集成模型{Tree1,Tree2,...,TreeK}预测所述当前训练集Θ中所有样本的输出值的方法是：

对于第k棵树集成模型Treek，当其叶节点样本个数小于其叶节点最少样本数θ_k，则停止递归分裂内部节点，Treek产生M_k个叶节点；

以第k棵树的每一个叶节点为训练子集建立一个非线性回归模型,Treek产生的M_k个叶节点共建立M_k个子模型

第k棵树集成模型Treek对样本X的预测值为

预测时，待预测样本Xq遍历第k棵树集成模型Treek，并落入某一叶节点，由该叶节点上的子模型对待预测样本Xq进行预测；

其中k＝1,2,...,K，得到K棵树的集成模型，并得到其相应的K棵树的集成模型对样本X的预测值，得到预测的当前训练集Θ中所有样本的输出值。

3.一种面向复杂工业过程的多工况软计算模型更新方法，其特征在于：判断当前工况，在不同工况下，当前训练集数据的窗口宽度具有不同的调整方式，根据工况对窗口宽度调整；根据工况的不同，对于具有更新的当前数据集的软计算模型更新。

4.如权利要求3所述的面向复杂工业过程的多工况软计算模型更新方法，其特征在于，所述步骤根据工况对窗口宽度调整，其方法是：

情况一：工况为新工况，随着工业生产进行，新数据不断产生，该工况下，当前训练集的数据窗口起点保持不变，终点延时间轴不断向前移动，移动数据窗口宽度不断增大；

情况二：工况为已有工况，随着工业生产进行，新数据不断产出，但同时也有部分历史数据变得无效，该工况下，当前训练集数据窗口的起点和终点将延时间轴不断向前移动；如果起点和终点同时同速移动，则窗口宽度保持不变；如果起点和终点同时不同速或者同速不同时移动，则窗口宽度动态变化；

情况三：工况为失效工况，该工况下的数据及软计算模型随之失效，数据及软计算模型被剔除，但是未失效工况下的数据及软计算模型不受影响，也无需更新。

5.如权利要求4所述的面向复杂工业过程的多工况软计算模型更新方法，所述步骤根据工况的不同，对于具有更新的当前数据集的软计算模型更新的方法是：对于情况一和情况二，使用当前训练集，并实施边界森林模型的构建方法，重新建立K棵不同边界的新树得到新的边界森林模型，融合所述新树来覆盖单棵树在输出边界上的空白区域，对当前数据集的软计算模型更新。

6.一种面向复杂工业过程的多工况软计算模型更新方法在提高电弧炉精炼工业过程中的关键参数在线软测量测值准确度和可靠性中的应用。