CN113707240B - 基于半监督非线性变分贝叶斯混合模型的成分参数鲁棒软测量方法 - Google Patents

Abstract

本发明公开一种基于半监督非线性变分贝叶斯混合模型的成分参数鲁棒软测量方法，该方法在有监督线性变分贝叶斯混合模型的基础上，设计了非线性组分模型的模型结构，采用极限学习机表示每个组分内辅助变量和成分参数之间的非线性映射关系；然后同时挖掘有标签和无标签样本信息，利用变分贝叶斯算法自动学习模型参数的变分后验分布。应用本发明，可充分表征辅助变量和成分参数之间的非线性映射关系，并能够利用无标签样本提高模型参数学习的准确性，进而有效地提高模型的预测精度，为提高产品质量、降低成本、过程监控以及决策制定提供技术支持和保障。

Description

基于半监督非线性变分贝叶斯混合模型的成分参数鲁棒软测 量方法

技术领域

本发明属于过程系统软测量建模与应用领域，具体来说，涉及一种基于半监督非线性变分贝叶斯混合模型的成分参数鲁棒软测量方法。

背景技术

成分参数广泛存在于大量的工业生产过程中。为了能够及时有效地监控系统运行状态、实现过程平稳控制、快速跟踪产品质量，成分参数的实时监测显得极为重要。实际上，这些成分参数的测量通常是通过在线分析仪测量得到。然而，这类分析仪价格非常昂贵且易发生故障，导致高昂的安装和维护成本。此外，经过实验室化验得到成分参数值虽然准确，但是会带来较大的时滞，不利于工业现场实时的监测和决策。

数据驱动的软测量模型能够实现成分参数的在线实时预测。软测量本质上是数学模型，能够根据易于测量的过程变量(也叫作辅助变量)，如流量、温度、压力等，在线预测这些成分参数。软测量因其无延迟和便于维护等优点，在过程监控、闭环控制、过程优化等方面发挥着重要作用。然而，实际工业过程呈现的复杂的过程特性，往往会限制数据驱动软测量模型的预测性能。复杂的过程特性在Distributed Control System系统采集到的工业数据中主要表现为强非线性，非高斯性，多模态特性和离群点污染等。其中，强非线性、非高斯性和多模态特性通常来源于复杂的过程机理、多种产品等级或运行阶段引起的多种工况/阶段、负载变化等。离群点主要是由于硬件传感器采集到的一些工业过程变量的测量值不可避免地被错误地观察、记录或导入数据库。针对于上述特性，有监督线性变分贝叶斯混合模型被提出并应用到工业过程的成分参数鲁棒软测量。但有监督线性变分贝叶斯混合模型采用的是线性组分模型，不能够充分地表征强非线性特征，且有监督线性变分贝叶斯混合模型仅仅利用稀少的有标签数据进行建模，模型参数学习的准确性不高，导致成分参数的预测精度也不高。

发明内容

本发明的目的在于针对现有的有监督线性变分贝叶斯混合模型在预测成分参数中存在的不足，提供一种基于半监督非线性变分贝叶斯混合模型的成分参数鲁棒软测量方法。具体来说，本发明在有监督线性变分贝叶斯混合模型的基础上，设计了非线性组分模型的模型结构，采用极限学习机表示每个组分内辅助变量和成分参数之间的非线性映射关系；本发明采用半监督学习策略，同时挖掘有标签和无标签样本信息，并利用变分贝叶斯算法自动学习模型参数的变分后验分布。

本发明是通过以下具体技术方案实现的：一种基于半监督非线性变分贝叶斯混合模型的成分参数鲁棒软测量方法，具体步骤如下：

一种基于半监督非线性变分贝叶斯混合模型的成分参数鲁棒软测量方法，该方法包括以下步骤：

(1)选择与成分参数密切相关的辅助变量，辅助变量和成分参数分别记为x∈R^d和y∈R，其中d表示辅助变量的个数；

(2)收集历史工业过程中的有标签和无标签样本构成训练集；在训练集中，有标签样本集和无标签样本集分别记为和其中N_L和N_U分别表示有标签样本和无标签样本的个数；

(3)将步骤(2)采集到的数据进行标准化处理，即，将辅助变量和成分参数的样本处理为均值均为0，样本方差均为1；标准化后的数据集记为其中，表示有标签样本标准化后的辅助变量样本集，表示有标签样本标准化后的成分参数样本集，表示无标签样本标准化后的样本集；

(4)将步骤(3)得到的有标签样本和无标签样本输入到半监督非线性变分贝叶斯混合模型中，给定组分个数K，学习模型参数的变分后验分布和自由度参数集合的值；

其中，α_k表示第k个组分的混合系数，μ_k、Λ_k、v_k分别表示第k个组分中辅助变量对应的均值向量、精度矩阵和自由度参数，ω_k、τ_k分别表示第k个组分中成分参数与辅助变量之间的回归系数和精度，γ_k表示第k个组分的回归系数的超参数；

(5)将仅包含辅助变量的待测样本进行标准化处理，输入步骤(4)训练得到的半监督非线性变分贝叶斯混合模型，得到对应的成分参数的预测值。

进一步地，所述步骤(4)中构建的半监督非线性变分贝叶斯混合模型具有如下形式：

在输入空间上，辅助变量和服从混合Student’s-t分布，其概率密度函数为

其中，St(·)表示Student’s-t分布的概率密度函数；

在输出空间上，首先通过极限学习机将有标签样本的辅助变量映射到s维隐层空间，得到的隐层特征记为h_i；然后，建立起成分参数与隐层特征h_i之间的线性关系；成分参数相对于隐层特征h_i的条件概率密度函数为

其中， 表示正态分布的概率密度函数；

在半监督非线性变分贝叶斯混合模型中，将模型参数Θ贝叶斯化，并分配相应的共轭先验分布如下：

其中，a₀、b₀、c₀、f₀、e₀、m₀、β₀、W₀、r₀是模型参数先验分布的超参数，Dir(·)、Gam(·)和w(·)分别表示狄利克雷分布、伽马分布和威沙特分布的概率密度函数；C(a₀)＝Γ(Ka₀)/Γ(a₀)^K，且Γ(·)表示伽马函数。

进一步地，所述步骤(4)中，给定组分个数K，利用变分贝叶斯算法自动学习模型参数的变分后验分布，具有如下形式：

q(α)＝Dir(α|a)

通过求解下列非线性方程得到自由度参数v_k

其中，

a_k、b_k、c_k、f_k、e_k、m_k、β_k、W_k、r_k、κ_k、Φ_k是模型参数变分后验分布的超参数，Tr(·)是矩阵的迹，Rik、R_jk、Tik、T_jk、Sik、S_jk均为有效统计量，ψ(·)是digamma函数；

b_k＝b₀+(d+1)/2

其中，<·>表示数学期望的计算符号。

进一步地，所述步骤(4)中，给定组分个数K，根据学习到的模型参数的变分后验分布计算变分下界ELBO，来决定是否完成训练过程，ELBO计算公式如下：

其中，表示有标签样本对应的隐层特征集，和分别表示有标签样本和无标签样本对应的类别隐变量集， 和分别表示有标签样本和无标签样本对应的鲁棒隐变量集，

其中，

进一步地，所述步骤(5)具体包括如下子步骤：

首先，计算标准化后的待测样本的辅助变量对应的类别隐变量z_q＝{z_q1，z_q2，...，z_qK}的后验概率，如下式

其中，

然后，计算待测样本的成分参数关于的条件概率分布为

其中，

最终，得到待测样本的成分参数预测值为

本发明的有益效果具体如下：

(1)本发明方法中设计的非线性组分模型，能够充分表征每个组分内辅助变量和成分参数之间的非线性映射关系；

(2)本发明方法采用的半监督学习策略，能够同时挖掘有标签样本和无标签样本蕴含的信息，提高模型参数学习的准确性；

(3)在变分贝叶斯算法的框架下，所有模型参数均可自适应学习，无需人工干预，无需额外的校验数据集，极大节省了投入到模型开发的时间和精力。

附图说明

图1是应用本发明进行成分参数离线训练和在线预测的流程。

图2是某石化企业合成氨工业过程中二氧化碳吸收塔单元的工艺原理图。

图3是半监督非线性变分贝叶斯混合模型对于残留CO₂浓度的在线预测结果。其中，点划线代表残留CO₂浓度的化验值，黑色实线代表本发明提供的预测值，横坐标表示测试样本序号，纵坐标表示残留CO₂浓度。

图4是有监督线性变分贝叶斯混合模型对于残留CO₂浓度的在线预测结果。其中，点划线代表残留CO₂浓度的化验值，黑色实线线代表有监督线性变分贝叶斯混合模型提供的预测值，横坐标表示测试样本序号，纵坐标表示残留CO₂浓度。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的基于半监督非线性变分贝叶斯混合模型的成分参数鲁棒软测量方法，具体实施方法如图1所示，并详述如下：

I.离线训练阶段

(1)根据专家知识选择与成分参数密切相关的辅助变量，辅助变量和成分参数分别记为x∈R^d和y∈R，其中d表示辅助变量的个数；

(2)收集历史工业过程中的有标签和无标签样本构成训练集；在训练集中，有标签样本集和无标签样本集分别记为和其中N_L和N_U分别表示有标签样本和无标签样本的个数；

(3)将步骤(2)采集到的数据进行标准化处理，即，将辅助变量和成分参数的样本处理为均值均为0，样本方差均为1；标准化后的数据集记为其中，表示有标签样本标准化后的辅助变量样本集，表示有标签样本标准化后的成分参数样本集，表示无标签样本标准化后的样本集；

(4)将步骤(3)得到的有标签样本和无标签样本输入到半监督非线性变分贝叶斯混合模型中，给定组分个数K，学习模型参数的变分后验分布和自由度参数集合的值；

其中，α_k表示第k个组分的混合系数，μ_k、Λ_k、v_k分别表示第k个组分中辅助变量对应的均值向量、精度矩阵和自由度参数，ω_k、τ_k分别表示第k个组分中成分参数与辅助变量之间的回归系数和精度，γ_k表示第k个组分的回归系数的超参数；具体过程如下：

在输入空间上，辅助变量和服从混合Student’s-t分布，其概率密度函数为

其中，St(·)表示Student’s-t分布的概率密度函数。

在输出空间上，首先通过极限学习机将有标签样本的辅助变量映射到s维隐层空间，得到的隐层特征记为h_i。然后，建立起成分参数与隐层特征h_i之间的线性关系。成分参数相对于隐层特征h_i的条件概率密度函数为

其中， 表示正态分布的概率密度函数。

在半监督非线性变分贝叶斯混合模型中，将模型参数Θ贝叶斯化，并分配相应的共轭先验分布如下：

其中，a₀、b₀、c₀、f₀、e₀、m₀、β₀、W₀、r₀是模型参数先验分布的超参数，Dir(·)、Gam(·)和W(·)分别表示狄利克雷分布、伽马分布和威沙特分布的概率密度函数；C(a₀)＝Γ(Ka₀)/Γ(a₀)^K，且Γ(·)表示伽马函数。

利用变分贝叶斯算法自动学习模型参数的变分后验分布，具有如下形式：

q(α)＝Dir(α|a)

通过求解下列非线性方程得到自由度参数ν_k

其中，

a_k、b_k、c_k、f_k、e_k、m_k、β_k、W_k、r_k、κ_k、Φ_k是模型参数变分后验分布的超参数，Tr(·)是矩阵的迹，R_ik、R_jk、T_ik、T_jk、S_ik、S_jk均为有效统计量，ψ(·)是digamma函数；

b_k＝b₀+(d+1)/2

其中，<·>表示数学期望的计算符号。

根据学习到的模型参数的变分后验分布计算变分下界ELBO，来决定是否完成训练过程，ELBO计算公式如下：

其中，表示有标签样本对应的隐层特征，和分别表示有标签样本和无标签样本对应的类别隐变量，和分别表示有标签样本和无标签样本对应的鲁棒隐变量，

其中，

II.在线预测阶段

(1)采样到需要预测的未知样本x_q后，按步骤(3)进行标准化消除辅助变量的量纲，得到计算标准化后的待测样本的辅助变量对应的类别隐变量z_q＝{z_q1，z_q2，...，z_qK}的后验概率，如下式

其中，

然后，计算待测样本的成分参数关于的条件概率分布为

其中，

最终，可以得到待测样本的成分参数的预测值为

实施例

以下结合一个具体的某石化企业合成氨工业过程中二氧化碳吸收塔单元例子来说明半监督非线性变分贝叶斯混合模型的性能。该单元的主要目的是将原料气体中的CO₂转化成碳酸氢钾，进而降低输送到下游单元的原料气体中CO₂浓度至一定水平。因此需要对该单元出口气体中的残留CO₂浓度进行实时的监测。实际上，CO₂浓度值主要是由质谱仪测量得到。然而，这类质谱仪非常昂贵且易发生故障，导致高昂的安装和维护成本。此外，经过实验室化验得到CO₂浓度值虽然准确，但是会带来较大的时滞，不利于工业现场实时的监测和决策。因此，为了提高二氧化碳吸收塔单元的控制质量以及降低测量成本，需要对二氧化碳吸收塔单元中残留CO₂浓度建立一个软测量模型。根据对该单元的生产工艺(图2)进行机理分析，选择了与残留CO₂浓度密切相关的11个变量作为辅助变量，分别为进入E3的工艺气压力(x₁)、分离器2的液位(x₂)、E1出口贫液温度(x₃)、到CO₂吸收塔的贫液流量(x₄)、到CO₂吸收塔的半富液流量(x₅)、分离器2出口工艺气温度(x₆)、CO₂吸收塔入口工艺气压差(x₇)、CO₂吸收塔出口富液温度(x₈)、CO₂吸收塔液位(x₉)、分离器1液位(x₁₀)和出口工艺气压力(x₁₁)。

针对该过程，连续等时间间隔采集了9000个过程样本，随机选择7000个样本构成训练集，余下的2000样本作为测试集。在训练集中，有标签样本的个数设置为1000，则无标签样本个数为6000。对于本发明和有监督线性变分贝叶斯混合模型，初始组分个数均设置为K＝50。对于本发明，隐层空间维度设置为s＝200。按照步骤(5)，对残留CO₂浓度进行预测，预测结果如图3所示；同时，图4给出了有监督线性变分贝叶斯混合模型的预测结果。采用均方根误差(RMSE)量化本发明和有监督线性变分贝叶斯混合模型的预测精度，定义如下

其中y_q和分别代表第q个测试样本的化验值与反标准化后的预测值。本发明提供的方法与有监督线性变分贝叶斯混合模型的预测RMSE分别为0.002460和0.003411。可见，本发明较有监督线性变分贝叶斯混合模型对残留CO₂浓度的预测精度有显著改善，预测误差降低了27.9％。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (4)

1.一种基于半监督非线性变分贝叶斯混合模型的成分参数鲁棒软测量方法，其特征在于，该方法包括以下步骤：

(1)选择与成分参数密切相关的辅助变量，辅助变量和成分参数分别记为x∈R^d和y∈R，其中d表示辅助变量的个数；所述成分参数为二氧化碳吸收塔单元中残留CO₂浓度；

(2)收集合成氨工业过程中的有标签和无标签样本构成训练集；在训练集中，有标签样本集和无标签样本集分别记为和其中N_L和N_U分别表示有标签样本和无标签样本的个数；

(3)将步骤(2)采集到的数据进行标准化处理，即，将辅助变量和成分参数的样本处理为均值均为0，样本方差均为1；标准化后的数据集记为其中，表示有标签样本标准化后的辅助变量样本集，表示有标签样本标准化后的成分参数样本集，表示无标签样本标准化后的样本集；

(4)将步骤(3)得到的有标签样本和无标签样本输入到半监督非线性变分贝叶斯混合模型中，给定组分个数K，学习模型参数的变分后验分布和自由度参数集合的值；

其中，α_k表示第k个组分的混合系数，μ_k、Λ_k、v_k分别表示第k个组分中辅助变量对应的均值向量、精度矩阵和自由度参数，ω_k、τ_k分别表示第k个组分中成分参数与辅助变量之间的回归系数和精度，γ_k表示第k个组分的回归系数的超参数；

(5)将仅包含辅助变量的待测样本进行标准化处理，输入步骤(4)训练得到的半监督非线性变分贝叶斯混合模型，得到对应的成分参数的预测值；

所述步骤(4)中构建的半监督非线性变分贝叶斯混合模型具有如下形式：

在输入空间上，辅助变量和服从混合Student’s-t分布，其概率密度函数为

其中，St(·)表示Student’s-t分布的概率密度函数；

在输出空间上，首先通过极限学习机将有标签样本的辅助变量映射到s维隐层空间，得到的隐层特征记为h_i；然后，建立起成分参数与隐层特征h_i之间的线性关系；成分参数相对于隐层特征h_i的条件概率密度函数为

其中， 表示正态分布的概率密度函数；

在半监督非线性变分贝叶斯混合模型中，将模型参数Θ贝叶斯化，并分配相应的共轭先验分布如下：

其中，a₀、b₀、c₀、f₀、e₀、m₀、β₀、W₀、r₀是模型参数先验分布的超参数，Dir(·)、Gam(·)和分别表示狄利克雷分布、伽马分布和威沙特分布的概率密度函数；C(a₀)＝Γ(Ka₀)/Γ(a₀)^K，且Γ(·)表示伽马函数。

2.根据权利要求1所述基于半监督非线性变分贝叶斯混合模型的成分参数鲁棒软测量方法，其特征在于，所述步骤(4)中，给定组分个数K，利用变分贝叶斯算法自动学习模型参数的变分后验分布，具有如下形式：

q(α)＝Dir(α|a)

通过求解下列非线性方程得到自由度参数v_k

其中，

a_k、b_k、c_k、f_k、e_k、m_k、β_k、W_k、r_k、κ_k、Φ_k是模型参数变分后验分布的超参数，Tr(·)是矩阵的迹，R_ik、R_jk、T_ik、T_jk、S_ik、S_jk均为有效统计量，ψ(·)是digamma函数；

b_k＝b₀+(d+1)/2

其中，<·>表示数学期望的计算符号。

3.根据权利要求2所述基于半监督非线性变分贝叶斯混合模型的成分参数鲁棒软测量方法，其特征在于，所述步骤(4)中，给定组分个数K，根据学习到的模型参数的变分后验分布计算变分下界ELBO，来决定是否完成训练过程，ELBO计算公式如下：

其中，表示有标签样本对应的隐层特征集，和分别表示有标签样本和无标签样本对应的类别隐变量集， 和分别表示有标签样本和无标签样本对应的鲁棒隐变量集，

其中，

4.根据权利要求1所述基于半监督非线性变分贝叶斯混合模型的成分参数鲁棒软测量方法，其特征在于，所述步骤(5)具体包括如下子步骤：

首先，对待测样本标准化，计算标准化后的待测样本的辅助变量对应的类别隐变量的后验概率，如下式

其中，

然后，计算待测样本的成分参数关于的条件概率分布为

其中，

最终，得到待测样本的成分参数预测值为