CN113379002B - 一种基于深度偏最小二乘模型的工业软测量方法 - Google Patents

Abstract

本发明提出了一种基于深度偏最小二乘模型的工业软测量方法。本发明结合非线性映射与PLS隐变量提取，提出了一种非线性偏最小二乘建模算法(NPLS)。NPLS在执行隐变量特征提取前先对训练数据中的自变量进行一次非线性映射将其映射到高维非线性特征空间，随后在高维空间建立非线性特征与因变量间的回归关系。NPLS能有效地解决非线性问题。此外，为了进一步拓展模型复杂度、提升其学习能力，本发明使用分层级联的模型架构将浅层的NPLS模型转换为深层的深度偏最小二乘模型(DPLS)。相比传统PLS，本发明提出的DPLS能够提取深度非线性特征，是一种有效且强大的工业软测量建模方法。

Description

一种基于深度偏最小二乘模型的工业软测量方法

技术领域

本发明属于工业过程预测及软测量领域，尤其涉及一种基于深度偏最小二乘模型的工业软测量方法。

背景技术

在工业生产中存在很多难以直接测量或测量成本较高的变量，这些变量往往又对生产运行至关重要。工业过程软测量技术是通过建立待测变量与其他易测变量间的数学模型来估计待测变量的真实值的一种方法。在这类问题中，易测变量通常叫做过程变量，主要包括温度、压力、流量等指标，待预测的难测变量通常称作质量变量，如某类化学物质的含量或浓度。

工业软测量本质上属于回归问题。在回归领域，偏最小二乘法(PLS)是一种被广泛使用的经典算法。它通过隐变量这一中间桥梁去建模自变量与因变量之间的数学关系。PLS结合了主成分分析、典型相关分析、多元回归的优点。尽管PLS已经成功地应用在多个领域，但它是一种线性模型，而工业生产过程往往是非线性程度较高的场景。若将PLS直接应用于工业软测量建模，该方法的表现往往不尽如人意。此外，随着现代工业生产的日益复杂，传统的PLS方法的学习能力已经渐渐不能满足目前的建模需求了。

发明内容

本发明的目的在于针对现有技术中传统的PLS方法无法应用于非线性工业软测量建模的不足，提供一种基于深度偏最小二乘模型的工业软测量方法。

本发明的目的是通过以下技术方案来实现的：一种基于非线性偏最小二乘模型的工业软测量方法，包括以下步骤：

(1)输入历史工业过程中的训练数据X和对应的标签y。

(2)构建非线性偏最小二乘模型，具体为：

(2.1)将X映射到高维非线性空间，获得非线性特征H＝φ(X)，其中φ为非线性映射操作符。

(2.2)建立非线性特征与因变量间的偏最小二乘回归关系，具体为：对i＝1～k，循环执行步骤(2.2.1)～(2.2.6)；其中，k为隐变量个数。

(2.2.1)计算第i个权重向量

(2.2.2)计算第i个隐变量u_i＝Hp_i。

(2.2.3)计算非线性特征H对第i个隐变量u_i的回归系数

(2.2.4)计算因变量y对第i个隐变量u_i的回归系数

(2.2.5)对H进行更新：

(2.2.6)对y进行更新：y＝y-u_ic_i。

(2.3)最终得到以下模型参数：

P＝[p₁，p₂，...，p_k]

R＝[r₁，r₂，...，r_k]

U＝[u₁，u₂，...，u_k]

C＝[c₁，c₂，...，c_k]^T

P^*＝P(R^TP)^-1

(3)预测阶段，对于一个新的测试样本x_t，对应的标签预测值为

进一步地，训练数据X和对应的标签y、非线性特征H，使用前均进行标准化。

进一步地，采用的非线性映射方法为Nystrom方法等。

一种基于深度偏最小二乘模型的工业软测量方法，包括以下步骤：

步骤一：输入历史工业过程中的训练数据X和对应的标签y。

步骤二：构建深度偏最小二乘模型，由L层权利要求1所述非线性偏最小二乘模型分层级联组成，并得到最后一层的隐变量矩阵

与训练集标签y间的回归关系。其中，每一层非线性偏最小二乘模型提取的隐变量个数分别为k_l，l＝1～L。第l层非线性偏最小二乘模型的训练数据X^(l)为第l-1层非线性偏最小二乘模型的隐变量矩阵U^(l-1)；每一层训练数据对应的标签始终为原始的标签y。其中，第一层非线性偏最小二乘模型的输入X⁽¹⁾为步骤一中的X。

步骤三：在预测阶段，将新的工业过程测试样本输入步骤二构建的深度偏最小二乘模型中，得到对应的标签预测值。

本发明的有益效果是：本发明通过非线性映射和PLS隐变量提取，提出了一种非线性偏最小二乘建模算法(NPLS)。NPLS能有效地应用于非线性工业软测量建模场景。此外，为了进一步拓展模型复杂度、提升其学习能力，本发明使用分层级联的模型架构将浅层的NPLS模型转换为深层的深度偏最小二乘模型(DPLS)。相比传统PLS，本发明提出的DPLS能够提取深度非线性特征，应用于复杂的非线性软测量建模，是一种有效且强大的工业软测量建模方法。

附图说明

图1是本发明提出的深度偏最小二乘模型的建模流程图；

图2是传统偏最小二乘模型在实施例测试集上的预测效果图；

图3是支持向量回归模型在实施例测试集上的预测效果图；

图4是深度神经网络模型在实施例测试集上的预测效果图；

图5是本发明提出的深度偏最小二乘模型在实施例测试集上的预测效果图。

具体实施方式

为了更好地进行工业软测量建模，本发明首先提出了一种非线性偏最小二乘建模算法(NPLS)。NPLS在执行隐变量特征提取前，先对训练数据中的自变量进行一次非线性映射将其映射到高维非线性特征空间，随后在高维空间建立非线性特征与因变量间的偏最小二乘回归关系。通过在进行偏最小二乘建模前插入非线性映射，本发明能够提取出数据中的非线性特征，建立训练数据与标签的非线性关系，从而实现在非线性场景下的建模需求，有效地解决工业软测量中的非线性问题。

在非线性偏最小二乘算法的基础上，为了进一步增加模型复杂度、提升模型学习能力，本发明基于深度学习的思想，使用分层级联的模型架构，对NPLS方法做了进一步的模型复杂度拓展，将浅层的非线性偏最小二乘模型，变成了一种复杂度较高、学习能力较强的深度偏最小二乘模型(DPLS)。深度偏最小二乘模型能够提取数据中的深度非线性特征，对于复杂度较高的应用场景，深度偏最小二乘模型往往能取得更优的建模效果。

针对建模非线性任务的需要，本发明一种基于非线性偏最小二乘模型的工业软测量方法，具体包括：

(1)对训练数据X和其对应的标签y进行标准化。其中，X为软测量建模过程中历史训练数据中的自变量矩阵；y为软测量建模过程中历史训练数据中的因变量矩阵，相当于训练样本群的标签。这里假设只有一个因变量，因此y实际上是一个向量。

(2)构建非线性偏最小二乘模型，具体为：

(2.1)通过φ将X映射到高维非线性空间，获得X的非线性特征H；随后对H进行标准化。

H＝φ(X)

其中，φ为非线性映射操作符。

(2.2)建立非线性特征与因变量间的偏最小二乘回归关系，具体为：对i＝1到i＝k，循环执行步骤(2.2.1)～(2.2.6)；其中，k为在NPLS建模中要提取的隐变量个数。

(2.2.1)计算第i个权重向量p_i：

其中，| |₂表示求范数。

(2.2.2)计算第i个隐变量u_i：

u_i＝Hp_i

(2.2.3)计算非线性特征H对第i个隐变量u_i的回归系数r_i：

(2.2.4)计算因变量y对第i个隐变量u_i的回归系数c_i：

(2.2.5)对H进行更新：

(2.2.6)对y进行更新：

y＝y-u_ic_i

(2.3)最终得到以下模型参数：

P＝[p₁，p₂，...，p_k]

R＝[r₁，r₂，...，r_k]

U＝[u₁，u₂，...，u_k]

C＝[c₁，c₂，...，c_k]^T

P^*＝P(R^TP)^-1

其中，P为权重矩阵，R为回归系数矩阵，U为隐变量矩阵，C可以理解为系数矩阵，P^*是投影矩阵。

(3)预测阶段，对于一个新的测试样本x_t，它对应的标签预测值

为：

。

NPLS的核心在于非线性映射操作φ，由于φ的存在，使得NPLS提取到的隐变量矩阵U＝[u₁，u₂，...，u_k]是非线性特征。实现非线性映射φ的方法有很多，在本发明中使用的是Nystrom方法。本发明重点不在此处，故不对Nystrom方法展开赘述。

非线性映射是一种扩充模型复杂度的有效方式，通过这种方式对PLS进行改进得到的NPLS能够处理非线性任务。然而，仅仅能够建模非线性关系并不够，现今的应用场景往往更复杂。为了进一步拓展NPLS模型的学习能力，本发明使用深度学习的分层级联架构对模型复杂度进行进一步扩展。具体地，浅层的NPLS模型通过向前传递、分层连接的方式转换为深度偏最小二乘模型——记为DPLS。

如图1所示，本发明一种基于深度偏最小二乘模型的工业软测量方法，包括以下步骤：

步骤一：设DPLS一共有L层，每一层提取的隐变量个数分别为k_l(l＝1，2，...，L)。通过对X和y执行第一次NPLS操作，获取第一层非线性隐变量特征

其中右上角的(1)表示第一层。

步骤二：将U⁽¹⁾视作第二层NPLS模型的自变量，因变量仍然为原始训练数据的标签y。

步骤三：依据上述NPLS的算法流程，对U⁽¹⁾和y第二次执行NPLS操作，提取出第二层非线性隐变量特征

步骤四：将U⁽²⁾视作第三层NPLS模型的自变量，因变量仍然为原始训练数据的标签y，提取出第三层非线性隐变量特征

步骤五：依此类推，共执行上述NPLS算法L次，便可得到一个层数为L的DPLS模型。同时也可以得到DPLS模型的最后一层非线性隐变量特征

与训练集标签y间的回归关系。

步骤六：在测试集预测阶段，将新的测试样本输入由上述步骤一到五建模得到的DPLS模型中，便可得到其对应的因变量预测值。

此外，为了量化回归模型对测试集的预测性能，均方根误差(RMSE)和决定系数(R²)被用作评价指标，其计算方式分别如下：

其中，n_t为测试样本的总数，

为模型预测出的因变量值，

为所有测试样本因变量值的均值。一个回归模型在测试集上取得的RMSE越小且R²越大，表示该模型性能越好。

实施例

以下结合一个具体的工业关键变量回归预测的案例来说明本发明所提出的深度偏最小二乘模型的有效性。此处出现的工业回归预测问题来自合成氨过程中的一段转化炉案例。

合成氨过程制造氨气NH₃，NH₃随后用于生产尿素，尿素是在农业上常用的一种化肥。在合成氨过程中，氢是生产NH₃的一种重要原料。在实际工业生产中，氢气通常由裂解甲烷制得，而合成氨过程中该裂解反应主要发生在一段转化炉中。根据反应机理，温度对氢的含量和纯度有较大影响。所致控制实际生产中的反应温度是至关重要的，而温度通常是通过操纵炉内的燃烧条件来控制的。稳定燃烧条件的一种有效方法是将炉膛内的氧气浓度控制在规定范围。

根据以上分析，炉内氧气含量是该单元的一个关键变量。在现实中，氧气含量由昂贵的质谱仪测量，成本高且效率低下。为了降低测量成本，我们可以建立一个回归模型去预测该关键变量。根据原理分析和调研取证，我们选择了13个与该过程有关的自变量去建立预测因变量氧气含量的回归模型。13个自变量包含温度、流量、压力等容易测量的仪表变量。

在该实施例中，我们一共采集了2000个样本，其中1000个当作训练样本，另外的1000个用作测试样本。

本实施例搭建了一个具有三隐变量层的DPLS模型。每一层的隐变量个数分别为10、7、4，在每一层中，经过非线性映射得到的高维非线性特征的维度均设置为500。具体地，模型结构如下：

其中，斜体数字表示每一层的因变量经过映射后得到的非线性特征层，而粗体数字表示每一次NPLS算法提取到的隐变量层。

为了更有效地说明DPLS方法的性能，本实施例还对比了一些目前已有的回归算法在该问题上的结果。参与对比的方法有：传统的PLS算法、支持向量回归(SVR)、深度神经网络(DNN)。其中DNN是基于神经网络的深度学习模型，它同样能够提取非线性特征与深度特征，是一种强大的回归建模方法。

与DPLS模型最终层的隐变量个数一样，传统的PLS算法的隐变量个数被设置为4。SVR方法使用的核函数类型为径向基函数。DNN是一个三隐藏层的模型结构，具体为：13→10→7→4→1，其中粗体数字代表隐藏层神经元个数。

PLS、SVR、DNN和本发明DPLS四种模型在测试集上的预测效果分别如图2、3、4、5所示。具体地，四种模型取得的RMSE和R²如表1所示。

表1：四种模型的详细性能结果

方法	RMSE	R<sup>2</sup>
			PLS	1.446	0.3621
SVR	1.115	0.6208
			DNN	0.7466	0.8300
DPLS	0.7247	0.8399

从表1可以看出，不论是在预测图还是在RMSE和R²上，本发明所提出的深度偏最小二乘模型都取得了最优的效果。由于工业过程普遍具有较强的非线性，且传统的线性模型PLS只能提取线性特征、无法建模非线性关系，因此其表现最差。SVR可以通过核函数实现非线性建模，因此它的性能稍好一些。基于神经网络深度学习的回归模型DNN有效提取出了数据中的深度非线性特征，它取得的效果比SVR和PLS都要明显高出一个档次。而本发明所提出的DPLS模型，不仅成功地扩展了PLS模型的学习能力，大幅度提升了后者的性能，而且与强大的深度学习模型DNN相比，它也不遑多让，甚至取得了更优一些的预测效果。

综上所述，本发明所提出的深度偏最小二乘模型是一种有效且性能强大的处理回归问题的方法。

Claims (4)

1.一种基于非线性偏最小二乘模型的工业软测量方法，其特征在于，包括以下步骤：

(1)输入历史工业过程中的训练数据X和对应的标签y；训练数据X为13个测量仪表变量包括温度、流量、压力，标签y为炉膛内的氧气浓度；

(2)构建非线性偏最小二乘模型，具体为：

(2.1)将X映射到高维非线性空间，获得非线性特征H＝φ(X)，其中φ为非线性映射操作符；

(2.2)建立非线性特征与因变量间的偏最小二乘回归关系，具体为：对i＝1～k，循环执行步骤(2.2.1)～(2.2.6)；其中，k为隐变量个数；

(2.2.1)计算第i个权重向量

(2.2.2)计算第i个隐变量u_i＝Hp_i；

(2.2.3)计算非线性特征H对第i个隐变量u_i的回归系数

(2.2.4)计算因变量y对第i个隐变量u_i的回归系数

(2.2.5)对H进行更新：

(2.2.6)对y进行更新：y＝y-u_ic_i；

(2.3)最终得到以下模型参数：

P＝[p₁，p₂，...，p_k]

R＝[r₁，r₂，...，r_k]

U＝[u₁，u₂，...，u_k]

C＝[c₁，c₂，...，c_k]^T

P^*＝P(R^TP)^-1

(3)预测阶段，对于一个新的测试样本x_t，对应的标签预测值为

2.如权利要求1所述基于非线性偏最小二乘模型的工业软测量方法，其特征在于，训练数据X和对应的标签y、非线性特征H，使用前，均进行标准化。

3.如权利要求1所述基于非线性偏最小二乘模型的工业软测量方法，其特征在于，采用的非线性映射方法为Nystrom方法。

4.一种基于深度偏最小二乘模型的工业软测量方法，其特征在于，包括以下步骤：

步骤一：输入历史工业过程中的训练数据X和对应的标签y；训练数据X为13个测量仪表变量包括温度、流量、压力，标签y为炉膛内的氧气浓度；

步骤二：构建深度偏最小二乘模型，由L层权利要求1所述非线性偏最小二乘模型分层级联组成，并得到最后一层的隐变量矩阵

与训练集标签y间的回归关系；其中，每一层非线性偏最小二乘模型提取的隐变量个数分别为k_l，l＝1～L；第l层非线性偏最小二乘模型的训练数据X^(l)为第l-1层非线性偏最小二乘模型的隐变量矩阵U^{(l -1)}；每一层训练数据对应的标签始终为原始的标签y；其中，第一层非线性偏最小二乘模型的输入X⁽¹⁾为步骤一中的X；

步骤三：在预测阶段，将新的工业过程测试样本输入步骤二构建的深度偏最小二乘模型中，得到对应的标签预测值。

Images