CN113158473A - 一种半监督集成即时学习工业混炼胶门尼粘度软测量方法 - Google Patents

Abstract

本发明公开了一种半监督集成即时学习工业混炼胶门尼粘度软测量方法。本发明针对工业混炼胶过程中标记样本少、非标记样本充足导致传统软测量方法预测性能不佳的问题，以高斯过程回归为基模型，结合即时学习方法，构建多样性的JITGPR子模型，对选择的未标记样本进行自适应集成预测，选择高置信度的伪标记来扩充训练样本集。最后通过扩充后的训练集和多样性的JITGPR子模型及有限混合机制的融合得到最终的门尼粘度预测值。本发明克服了橡胶混炼过程中门尼粘度值获取滞后导致标记样本少、非标记样本充足以及成本增加、产品质量难以提高的问题，实现了门尼粘度的在线实时预测，有效地提高了传统混炼胶门尼粘度软测量建模的预测性能。

Description

一种半监督集成即时学习工业混炼胶门尼粘度软测量方法

技术领域

本发明涉及工业间歇过程软测量建模和应用领域，特别涉及一种半监督集成即时学习工业混炼胶门尼粘度软测量方法。

背景技术

随着汽车工业的发展，作为车辆的必要组成部分，轮胎发挥着越来越重要的作用。在轮胎的生产制造过程中，橡胶混炼是其中的第一个也是关键的一个环节。该过程是一个典型的短周期间歇过程。在这个过程中，天然橡胶或者合成橡胶、添加剂等原材料被混合到一起，放入密闭式的混炼机中进行加工。2-5分钟之后，一次混合批处理运行过程结束。因此，橡胶混炼是一个非线性的复杂的分批次进行的过程，而橡胶制品的质量十分依赖于反映弹性体粘弹性行为的重要质量指标，即门尼粘度。在很多工厂中，门尼粘度只能通过4-6小时产品出厂后在实验室离线分析获得，因此导致门尼粘度参数的获取存在严重滞后的问题，产品质量难以有效提升。因此，实时获取门尼粘度参数十分重要。近年来，软测量技术已经被广泛应用于橡胶混炼的工业过程中，以实时获取门尼粘度的参数估计，从而获得高质量的橡胶产品。

软测量建模方法可以分为全局建模和局部建模。全局建模试图建立一个在所有过程状态上都能发挥良好性能的单一的预测模型，然而由于工业过程中的强非线性、多模式、多时段的特点，全局模型并不总是能发挥良好的作用。局部建模技术通过建立一组不同的局部模型，通过“分而治之”的思想，从而得到更准确的输出预测值。因此，局部建模技术因为其优秀的自适应特性并且能够提供更加准确的预测而越来越多地被应用到软测量建模过程中来。集成学习和即时学习(JIT)是两种不同的局部建模技术。集成学习是一种群体决策思想，由于其能通过构建并结合多个学习器来完成学习任务从而得到较好的预测结果而被广泛地应用。作为一种典型的局部建模技术，即时学习也已经成为软测量建模领域的一个研究热点。将集成学习和即时学习相结合可以有效降低模型参数选择的困难，降低模型参数选择的敏感性。近年来，集成即时学习软测量建模技术也越来越多地被应用。

传统软测量模型的构建需要大量的同时包含输入输出的有标签数据，然而，在实际的工业过程中，往往存在标记样本少、非标记样本充足的现象，而非标记样本通常也包含大量有价值的信息。因此，半监督学习由于能够同时利用有标签数据和具有丰富信息的未标记数据来提升模型的性能而受到越来越多的关注。协同训练等基于伪标签的半监督学习方法可以有效扩充训练样本集，并且不受模型结构的限制、学习过程简单，具有良好的适应性和易于理解的特点，因此被广泛地应用在软测量等多个领域。

申请号为201910594011.X的中国专利申请公开了一种基于集成即时学习的工业混炼胶门尼粘度软测量方法，该申请以高斯过程回归(GPR)为局部建模技术，结合相似度扰动和输入样本的多模态扰动策略激发即时学习的多样性，然后基于进化多目标优化构建满足多样性和准确性的即时学习基模型，最后，通过引入有限混合机制的自适应集成策略实现即时学习基模型的融合并得到最终门尼粘度预测值。但其并没有考虑混炼胶门尼粘度工业过程中存在的大量包含有价值信息的未标记数据，造成大量有价值信息的浪费，最终导致出现模型预测不准确的问题。

发明内容

本发明所要解决的主要技术问题是：本发明针对工业橡胶混炼过程中门尼粘度参数难以实时在线测量的问题，针对现有技术的不足，提供一种基于半监督集成即时学习的工业混炼胶门尼粘度软测量方法(SSEJITGPR)，以实现混炼胶过程中门尼粘度参数的在线估计。

本发明解决上述技术问题所采用的技术方案为：一种基于半监督集成即时学习的工业混炼胶门尼粘度软测量方法，包括以下步骤：

(1)采集工业混炼胶过程中的数据D，其中D包括同时包含辅助变量和预测输出变量的有标签数据L∈R^K×J，以及只包含辅助变量的无标签数据U∈R^P×Q，其中，K和J分别表示有标签数据的样本个数和变量个数，P和Q分别表示无标签数据的样本个数和变量个数；

(2)对所有样本进行归一化处理，并将处理后的有标签样本分为训练集D_train和测试集D_test，无标签数据样本作为未标记数据集D_unlabel；

(3)针对工业混炼胶过程中呈现出来的非线性，选择高斯过程回归模型作为基模型；

(4)根据一定的相似度准则从D_unlabel中选取合适的未标记样本，以高斯过程回归为基模型，结合即时学习方法，选择合适的伪标记样本；

(5)将选取的伪标记样本加入到训练集D_train中，以扩充训练样本集；

(6)通过扩充后的训练集构建多样性的JITGPR子模型，采用有限混合机制对子模型的预测输出进行集成，最终得到门尼粘度的预测输出和方差。

与现有技术相比，本发明具有以下有益效果：本发明通过选择合适的伪标签数据来扩充训练样本集，充分利用了橡胶混炼过程中的具有丰富信息的未标记数据，结合即时学习方法，构建多样性的JITGPR子模型，最后结合自适应集成策略得到门尼粘度的预测输出和方差。与传统软测量方法相比较，本发明能充分利用无标签数据，能显著提升橡胶混炼过程中门尼粘度的预测精度。

附图说明

图1为本发明中SSEJITGPR软测量建模方法的流程图；

图2为传统的高斯过程回归方法的门尼粘度真实值与预测值的曲线图；

图3为即时学习高斯过程回归方法的门尼粘度真实值与预测值的曲线图；

图4为本发明所提方法的门尼粘度真实值与预测值的曲线图。

具体实施方式

下面结合附图和具体实施例进一步对本发明的技术方案做详细的说明。

如图1所示：一种基于半监督集成即时学习高斯过程回归的门尼粘度软测量方法，具体实施步骤如下：

(1)采集工业混炼胶过程中的数据D，其中D包括同时包含辅助变量和预测输出变量的有标签数据L∈R^K×J，以及只包含辅助变量的无标签数据U∈R^P×Q，其中，K和J分别表示有标签数据的样本个数和变量个数，P和Q分别表示无标签数据的样本个数和变量个数；

(2)对所有样本进行归一化处理，并将处理后的有标签样本分为训练集D_train和测试集D_test，无标签数据样本作为未标记数据集D_unlabel；

(3)针对工业混炼胶过程中呈现出来的非线性，选择高斯过程回归模型作为基模型，其中，所选择的高斯过程回归(GPR)的建模过程为：

假设有输入为X、输出为y的数据集

其回归模型可以描述为：

其中，n表示数据集中样本的个数，x表示输入向量，y表示输出，f(·)表示未知的回归函数，ε为高斯噪声，服从均值为0、方差为

的高斯分布。从函数空间角度来看，一个高斯过程可以由协方差函数C(x,x')和均值函数m(x)确定，其定义分别表示如下：

因此，高斯过程可以描述为：

f(x)～GP(m(x),C(x,x')) (3)

通常，对建模数据进行归一化数据预处理，假设训练样本集产生于一个零均值高斯过程，表示如下：

y～GP(0,C) (4)

其中，C是一个n×n阶对称正定的协方差矩阵，0表示零矩阵。

当新的查询样本x_*到来时，所述高斯过程回归模型可描述为：

式中，k_*＝[C(x_*,x₁),…,C(x_*,x_n))]^T,C(x_*,x_*)表示x_*自身的协方差，

表示k_*的转置，

和

分别为高斯过程回归的预测均值和方差。

(4)根据一定的相似度准则从D_unlabel中选取合适的未标记样本，以高斯过程回归为基模型，结合即时学习方法，选择合适的伪标记样本；

①未标记样本选择：采用皮尔逊系数相似度，从无标签数据U∈R^P×Q中选择与查询样本最相似的M个未标记样本；

皮尔逊系数(Pearson coefficient)相似度：

其中，n是样本的数量，x_i和y_i代表不同的采样点的值，μ_x和μ_y分别代表样本的均值。

②伪标记样本选择：以高斯过程回归为基模型，结合即时学习方法，建立多样性的JITGPR子模型，从M个未标记样本中取前m个未标记样本进行预测，对预测结果的方差进行FMM自适应集成排序，选择置信度最高的a个未标记样本的预测值作为伪标记，将其加入D_train中来扩充训练样本集，同时预测完成之后将所选择的a个未标记样本在M个未标记样本中剔除，继续在新的未标记样本集M'中选择前m个未标记进行预测，重复以上步骤直到达到预设的次数。

多样性JITGPR子模型的构建：通过欧氏距离相似度、Cosine相似度、协方差加权距离相似度和皮尔逊相似度4种不同的相似度度量方法来构建4种不同的JITGPR子模型。

伪标记置信度评估：对选中的m个未标记样本来说，通过4种不同的相似度构建4种JITGPR子模型，通过FMM集成方法对他们的预测方差进行排序，最后将方差最小的两个未标记所对应的预测值视为置信度最高的伪标记样本。

其中，利用有限混合机制(FMM)集成方法的描述如下：

对新的查询样本x_new，根据第k个JITGPR子模型得到第k个目标变量的预测输出y_k,new的预测分布，并且y_k,new符合高斯分布，其表示如下：

式中，

和Var(y_k,new)分别表示y_k,new的预测均值和方差，在本发明的应用中，K的取值为4。

假设目标变量y_1,new,…,y_k,new,…,y_K,new的各个输出是整体输出y_new的独立实现。即y_new是由y_1,new,…,y_k,new,…,y_K,new的有限混合分布引起的。因此，通过使用有限混合机制(FMM)并且融合所有的局部预测输出来估计目标变量的最终预测均值和方差：

式中，

和

分别表示第k个JITGPR子模型的预测输出和方差；ω_k,new表示混合权重，其应该满足如下条件：

由于预测输出的置信度可以由预测的不确定度来有效的表示，因此假设混合权重ω_k,new与各个JITGPR子模型的预测方差成反比。因此ω_k,new可以计算如下：

式中，p是一个调节参数。

(5)将选取的伪标记样本加入到训练集D_train中，以扩充训练样本集；

(6)通过扩充后的训练集构建多样性的JITGPR子模型，采用有限混合机制对子模型的预测输出进行集成，最终得到门尼粘度的预测输出和方差。

多样性JITGPR子模型的构建：通过欧氏距离相似度、Cosine相似度、协方差加权距离相似度和皮尔逊系数相似度4种不同的相似度度量方法来构建4种不同的JITGPR子模型。

欧氏距离相似度：

其中x_i和y_i分别表示样本点(向量)x和y的各分量；

Cosine相似度：

其中，x_i和y_i分别表示样本点(向量)x和y的各分量；

协方差加权距离相似度：

式中，x表示输入向量，H表示加权矩阵，X和y分别表示输入矩阵和输出矩阵。

皮尔逊系数相似度：

其中，n是样本的数量，x_i和y_i代表不同的采样点的值，μ_x和μ_y分别代表样本的均值。

实施例2：以下结合华东一家轮胎生产企业的具体工业过程中橡胶混炼过程实例来说明SSEJITGPR方法对门尼粘度预测的性能。工业橡胶混炼是一个复杂的间歇过程，门尼粘度是工业混炼胶过程中的一个关键参数变量，但其实时的获取较为困难，为了控制工业橡胶混炼过程中的产品质量和生产效率，通过软测量建模方法对门尼粘度进行在线的实时预测。

混合室温度、电机功率、冲击压力、电机转速和能量是影响质量变量门尼粘度选择的5个辅助变量，另外，将时刻0s、14s、18s、......、118s对应的过程变量作为辅助输入变量，共计获得140个输入变量。

收集混炼胶过程中的建模数据共计1172个批次，其中150批作为训练集，172批作为测试集，850批作为未标记数据集。在使用GPR建模方法、单一相似度的JITGPR建模方法和基于半监督集成即时学习高斯过程回归(SSEJITGPR)的建模方法中，高斯过程回归的协方差选择Matérn协方差，局部建模样本数N_local＝10，调节参数p＝2，未标记样本数N_localU＝100，选择的伪标记个数N_selPseudoN＝60。

表1为使用不同的建模方法对门尼粘度的预测结果比较，即单个高斯过程回归模型、4种使用单一相似度的JITGPR模型与本发明的基于半监督集成即时学习软测量建模方法SSEJITGPR的比较，本发明使用均方根误差RMSE和决定系数R²作为模型的性能评价指标：

式中，N_test为测试样本数，

y_i和

分别为输出的估计值、实际值和实际值的均值。RMSE越小、R²越大表示模型对门尼粘度的预测性能越好。

表1不同建模方法对门尼粘度的预测结果比较

通过表1可以看出，使用不同的相似度建立的JITGPR模型的预测性能之间存在些许的差异，同时由图2-图4可以看出本发明的基于半监督集成即时学习的软测量建模方法SSEJITGPR性能显著优于单一的GPR模型和JITGPR模型，因此本发明所提方法能够有效提高工业橡胶混炼过程中门尼粘度的预测精度。

上述实例仅仅用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求保护范围内，对本发明做出的任何修改、替换和改变等，均在本发明的保护范围之内。

Claims (4)

1.一种基于半监督集成即时学习的工业混炼胶门尼粘度软测量方法，其特征在于，包括以下步骤：

(1)采集工业混炼胶过程中的数据D，其中D包括同时包含辅助变量和预测输出变量的有标签数据L∈R^K×J，以及只包含辅助变量的无标签数据U∈R^P×Q，其中，K和J分别表示有标签数据的样本个数和变量个数，P和Q分别表示无标签数据的样本个数和变量个数；

(2)对所有样本进行归一化处理，并将处理后的有标签样本分为训练集D_train和测试集D_test，无标签数据样本作为未标记数据集D_unlabel；

(3)针对工业混炼胶过程中呈现出来的非线性，选择高斯过程回归模型作为基模型；

(4)根据相似度准则从D_unlabel中选取合适的未标记样本，以高斯过程回归为基模型，结合即时学习方法，选择合适的伪标记样本；

(5)将选取的伪标记样本加入到训练集D_train中，以扩充样本训练集；

(6)通过扩充后的训练集构建多样性的JITGPR子模型，采用有限混合机制对子模型的预测输出进行集成，最终得到门尼粘度的预测输出和方差。

2.根据权利要求1所述的一种基于半监督集成即时学习的工业混炼胶门尼粘度软测量方法，其特征在于，所述步骤(3)中的高斯过程回归模型GPR的建模过程为：

假设有输入为X、输出为y的数据集

其回归模型可以描述为：

其中，n表示数据集中样本的个数，x表示输入向量，y表示输出，f(·)表示未知的回归函数，ε为高斯噪声，服从均值为0、方差为

的高斯分布；从函数空间角度来看，一个高斯过程可以由协方差函数C(x,x')和均值函数m(x)确定，其定义分别表示如下：

因此，高斯过程描述为：

f(x)～GP(m(x),C(x,x')) (3)

通常，对建模数据进行归一化数据预处理，假设训练样本集产生于一个零均值高斯过程，表示如下：

y～GP(0,C) (4)

其中，C是一个n×n阶对称正定的协方差矩阵，0表示零矩阵；

当新的查询样本x_*到来时，所述高斯过程回归模型描述为：

式中，k_*＝[C(x_*,x₁),…,C(x_*,x_n))]^T,C(x_*,x_*)表示x_*自身的协方差，

表示k_*的转置，

和

分别为高斯过程回归的预测均值和方差。

3.根据权利要求1所述的一种基于半监督集成即时学习的工业混炼胶门尼粘度软测量方法，其特征在于，所述步骤(4)中的获取伪标记样本的具体过程为：

①未标记样本选择：采用皮尔逊系数相似度，从无标签数据U∈R^P×Q中选择与查询样本最相似的M个未标记样本；

皮尔逊系数相似度：

式(6)中，n是样本的数量，x_i和y_i代表不同的采样点的值，μ_x和μ_y分别代表样本的均值；

②伪标记样本选择：以高斯过程回归为基模型，结合即时学习方法，建立多样性的JITGPR子模型，从M个未标记样本中取前m个未标记样本进行预测，对预测结果的方差进行FMM自适应集成排序，选择置信度最高的a个未标记样本的预测值作为伪标记样本，将其加入D_train中来扩充样本训练集，同时预测完成之后将所选择的a个未标记样本在M个未标记样本中剔除，继续在新的未标记样本集M'中选择前m个未标记进行预测，重复以上步骤直到达到预设的次数；

多样性JITGPR子模型的构建：通过欧氏距离相似度、Cosine相似度、协方差加权距离相似度和皮尔逊系数相似度4种不同的相似度度量方法来构建4种不同的JITGPR子模型；

伪标记置信度评估：对选中的m个未标记样本来说，通过4种不同的相似度构建4种JITGPR子模型，通过FMM集成方法对预测方差进行排序，最后将方差最小的两个未标记所对应的预测值视为置信度最高的伪标记样本；

其中，利用有限混合机制FMM集成方法的描述如下：

对新的查询样本x_new，根据第k个JITGPR子模型得到第k个目标变量的预测输出y_k,new的预测分布，并且y_k,new符合高斯分布，其表示如下：

式中，

和Var(y_k,new)分别表示y_k,new的预测均值和方差；

假设目标变量y_1,new,…,y_k,new,…,y_K,new的各个输出是整体输出y_new的独立实现，即y_new是由y_1,new,…,y_k,new,…,y_K,new的有限混合分布引起的；因此，通过使用有限混合机制FMM并且融合所有的局部预测输出来估计目标变量的最终预测均值和方差：

式中，

和

分别表示第k个JITGPR子模型的预测输出和方差；ω_k,new表示混合权重，其应该满足如下条件：

由于预测输出的置信度可以由预测的不确定度来有效的表示，因此假设混合权重ω_k,new与各个JITGPR子模型的预测方差成反比；因此ω_k,new可以计算如下：

式中，p是一个调节参数。

4.根据权利要求1所述的一种基于半监督集成即时学习的工业混炼胶门尼粘度软测量方法，其特征在于，所述步骤(6)中的多样性JITGPR子模型的具体构建方式如下：通过欧氏距离相似度、Cosine相似度、协方差加权距离相似度和皮尔逊系数相似度4种不同的相似度度量方法来构建4种不同的JITGPR子模型；

欧氏距离相似度：

其中x_i和y_i分别表示样本点x和样本点y的各分量；

Cosine相似度：

式(12)中，x_i和y_i分别表示样本点x和y的各分量；

协方差加权距离相似度：

式中，x_i表示输入向量，H表示加权矩阵，X和y分别表示输入矩阵和输出矩阵；

皮尔逊系数相似度：

其中，n是样本的数量，x_i和y_i代表不同的采样点的值，μ_x和μ_y分别代表样本的均值。

Images