CN112016241B - 一种基于mLASSO-MLP模型的软测量建模方法 - Google Patents

Abstract

本发明提供一种基于mLASSO‑MLP模型的软测量建模方法，可用于存在着多变量及其他特点的复杂非线性工业过程的软测量建模，并实现对难以直接测量的质量变量的预测。首先对输入输出数据进行训练学习，建立MLP模型；之后将mLASSO算法引入到建立好的MLP模型中进行训练，并对建立的mLASSO‑MLP模型的性能进行评价。本发明提供的有益效果是：建立了一个有效的软测量模型，能够克服工业生产非线性过程中存在的多变量冗余等问题；模型具备预测精度高、通用性强、灵活性高和成本低等特点。

Description

一种基于mLASSO-MLP模型的软测量建模方法

技术领域

本发明涉及人工智能领域，尤其涉及一种基于mLASSO-MLP模型的软测量 建模方法。

背景技术

随着科技的发展，工业生产过程越来越复杂，通常是一个多变量、非线性、 强耦合的系统。在工业生产过程中，一些关键的质量指标的测量通常存在以下 问题：(1)现有手段无法测量——测不到；(2)测量成本高或测量时滞长——测量 难。这将导致一些关键的质量变量往往难以在线自动测量。然而，这些重要的 变量在保证产品质量和提高生产效率方面发挥着极其重要的作用，因此在工业 生产过程中必须进行严格的监控。为了能以低成本实时测量关键参数信息，软 测量技术应运而生。软测量是一种用于解决生产过程中无法直接测量或直接测 量困难的关键参数的估计问题的方法，就是通过各种数学工具和方法，获得易 测过程变量(常称为辅助变量)与难以直接测量的待测过程变量(常称为主导变量)之间的数学关系(软测量模型)，从而实现对待测过程变量的测量。软测量在可实 现性、通用性、灵活性和成本等方面均具有无可比拟的优势，具有巨大的工业 应用价值和突出前景。

随着工业生产过程越来越复杂，传统的基于过程机理的软测量模型也越来 越难以获得。由于基于数据驱动的软测量方法无需先验知识以及了解过程机理， 越来越得到工业界和学术界的广泛重视，成为研究热点。各种统计推理技术和 机器学习技术在数据驱动软测量中得到了广泛的应用，如主成分回归(PCR)、偏 最小二乘(PLS)回归、支持向量机(SVM)和人工神经网络(ANN)等。ANN是非线 性建模的有力工具，已广泛应用于各种工业案例。它的性能在很大程度上取决 于数据的质量和模型的结构，然而，在ANN软测量技术的实施中，它总是存在 两个冗余问题，即冗余输入变量和冗余模型结构。冗余输入变量会极大地影响 模型的精度，增加不必要的模型复杂度，影响模型的可靠性；而冗余模型结构 可能会导致过拟合，尤其是当模型的复杂性增加时，这在神经网络模型中是一 个不容忽视的问题。

在当前已有的文献与专利资料中，许多科研人员已经研究出有效的ANN模 型变量选择方法，也有不少进行神经网络模型结构优化的方法，这些方法分别 解决了输入变量冗余和模型结构冗余问题，然而，对于非线性系统，很少有研 究同时考虑输入变量冗余和模型结构冗余的问题。所以我们急需设计一种能够 应用于非线性系统，并能自动剔除冗余输入变量并简化模型结构的高精度软测 量建模方法。

发明内容

有鉴于此，本发明提供了一种基于mLASSO-MLP模型的软测量建模方法。 本发明将多层感知器(MLP)神经网络与多最小绝对收缩与选择算子(mLASSO)相 结合，建立了一种新的数据驱动软测量模型mLASSO-MLP。相比其他方法， MLP用于处理非线性数据，而mLASSO用来收缩和选择MLP模型中的权值， 通过这种方式，mLASSO-MLP不仅可以选择对模型最敏感的输入变量，还可以 通过删除冗余隐含层节点来简化MLP结构，从而避免模型过拟合。该方法适用 于多变量、强非线性、强耦合的系统，具有建模简单、解释性强预、测精度高 等优点。

本发明提供的一种基于mLASSO-MLP模型的软测量建模方法，包括以下步 骤：

S101：利用离散控制系统收集工业过程中能够直接测量的过程变量数据利用离线检测方法收集能直接反映产品质量的指标所对应的数据 />其中，N为样本数，u为过程变量数，R为实数集；

S102：对所述过程变量数据和产品质量的指标所对应的数据进行标准化预 处理，得到标准化后的数据集；所述标准化后的数据集，包括输入变量X∈R^N×u， 和输出变量Y∈R^{N ×1}；

S103：利用标准化后的数据集构建三层MLP神经网络模型y_m；

S104：将正则系数α、β引入到模型y_m中，采用mLASSO方法估计正则系 数，训练后得到新的模型y；

S105：将新的模型y的预测输出值进行反归一化处理，得到真实预测值， 并对新的模型y的性能进行评价。

进一步地，步骤S102中，所述标准化具体为：其中， μ_x、μ_y为原始数据的均值，σ_x、σ_y为原始数据的标准差。

进一步地，步骤S103中，所述三层MLP神经网络模型y_m，如式(1)所示：

式(1)中，输入变量x＝[x₁，x₂，…，x_u]^T，x_i为第i个输入变量，u为输入变量个数， v为隐含层节点数，输出层节点数为1，隐含层权值为W＝[w_ij]，i∈[i，u]，j∈[1，v]， 输出层权值为隐含层节点的偏差向量为/>b^o为输出层节点的偏 差，f(·)为隐含层激活函数，h(·)为输出层激活函数。

进一步地，步骤S104中，新的模型y具体如式(2)所示：

式(2)中，是正则化系数β＝[β₁，β₂，…，β_v]的第j个量β_j的估计值；/>是正则 化系数α＝[α₁，α₂，…，α_u]的第i个量α_i的估计值；u为正则化系数α的总个数、v为 正则化系数β的总个数。

进一步地，步骤S104中，利用三层MLP神经网络模型y_m结合mLASSO方 法得到新的模型y的具体步骤为：

S201：将正则系数α＝[α₁，α₂，…，α_u]^T、β＝[β₁，β₂，…，β_v]^T分别添加到输入变量前面和隐含层节点前面，则MLP神经网络模型y_m表达式更新为式(3)：

S202：采用mLASSO方法估计引入的正则化系数α＝[α₁，α₂，…，α_u]^T、 β＝[β₁，β₂，…，β_v]^T，具体如式(4)：

式(4)中，y_t为训练样本真实输出值；n为训练样本数；λ为调和参数；

S203：通过K折交叉验证方法决定最优调和参数λ_opt；

S204：将确定的最优调和参数λ_opt替代公式(4)中的λ，采用信赖域优化算法 求解这个非线性二次规划最小化问题，得到α、β的最优估计

S205：将带入式(2)，即得到新的模型y。

进一步地，步骤S203中，通过K折交叉验证方法决定最优调和参数λ_opt，具 体步骤如下：

S301：初始化参数λ的范围λ∈[0，λ_h]，并预设λ的初始值为0；λ_h为预设值；

S302：将数据集分为K个数量相等的子集，即D_i，i＝1，2，…，K；

S303：通过K折交叉验证方法计算AIC_c的平均值；其中AIC_c公式如式(5)：

S304：保留子集D_i，使用其他K-1个子集训练MLP神经网络，根据公式(4) 和公式(2)得到y；

S305：根据得到的y，利用公式(5)计算AIC_c的值；

S306：选择其他K-1个子集，重复步骤S304-S305，得到K个AIC_c，并计算 K个AIC_c的平均值；

S307：若λ≤λ_h，则令λ＝λ+Δλ，跳转转到S303，其中Δλ为预设的步长； 否则进入步骤S308；

S308：用AIC_c的最小平均值作为最终的最优调和参数λ_opt。

进一步地，步骤S204中，采用信赖域优化算法求解非线性二次规划最小化 问题时，找出需要被删除的对应输入变量，进行删除，并在删除后更新数 据集，重新跳转至步骤S103。

进一步地，步骤S105中，对新的模型y的性能进行评价，具体为根据模型 性能评价指标对新的模型y的性能进行评价；所述模型性能评价指标包括3个， 分别为均方根误差RMSE、决定系数R²和输入变量与隐含层节点数的总和N_sum。

所述MLP神经网络模型的隐含层和输出层分别采用tanh与sigmoid激活函 数，模型训练采用标准的反向传播算法。

本发明提供的有益效果是：对非线性系统软测量建模时进行输入变量筛选 和模型结构简化，具有预测精度高、通用性强、灵活性高和成本低等优点。

附图说明

图1是本发明一种基于mLASSO-MLP模型的软测量建模方法的流程示意图；

图2是本发明实施例TE过程的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明 实施方式作进一步地描述。

请参考图1，本发明的实施例提供了一种基于mLASSO-MLP模型的软测量 建模方法，包括以下：

S101：利用离散控制系统收集工业过程中能够直接测量的过程变量数据利用离线检测方法收集能直接反映产品质量的指标所对应的数据 />其中，N为样本数，u为过程变量数，R为实数集；

S102：对所述过程变量数据和产品质量的指标所对应的数据进行标准化预 处理，得到标准化后的数据集；所述标准化后的数据集，包括输入变量X∈R^N×u， 和输出变量Y∈R^{N ×1}；所述标准化具体为：其中，μ_x、μ_y为 原始数据的均值，σ_x、σ_y为原始数据的标准差；各变量标准化处理后得到新的 数据集均值为0，方差为1；

S103：利用标准化后的数据集构建三层MLP神经网络模型y_m；

所述三层MLP神经网络模型y_m，如式(1)所示：

式(1)中，输入变量x＝[x₁，x₂，…，x_u]^T，x_i为第i个输入变量，u为输入变量个数， v为隐含层节点数，输出层节点数为1，隐含层权值为W＝[w_ij](i∈[1，u]，j∈[1，v])， 输出层权值为隐含层节点的偏差向量为/>b^o为 输出层节点的偏差，f(.)为隐含层激活函数，h(.)为输出层激活函数；

S104：将正则系数α、β引入到模型y_m中，采用mLASSO方法估计正则系数， 训练后得到新的模型y；

S201：将正则系数α＝[α₁，α₂，…，α_u]^T、β＝[β₁，β₂，…，β_v]^T分别添加到输入变量前面和隐含层节点前面，则MLP神经网络模型y_m表达式更新为式(3)：

S202：采用mLASSO方法估计引入的正则化系数α＝[α₁，α₂，…，α_u]^T、 β＝[β₁，β₂，…，β_v]^T，具体如式(4)：

式(4)中，y_t为训练样本真实输出值；n为训练样本数；λ为调和参数；

S203：通过K折交叉验证方法决定最优调和参数λ_opt：具体步骤如下：

(1)初始化参数λ的范围λ∈[0，λ_h]，并预设λ的初始值为0；λ_h为足够大使得为0的值；

(2)将数据集K分为个数量相等的子集，即D_i，i＝1，2，…，K；

(3)通过K折交叉验证方法计算AIC_c的平均值；其中AIC_c公式如式(5)：

(4)保留子集D_i，使用其他K-1个子集训练MLP神经网络，根据公式(4)和公 式(2)得到y；

(5)根据得到的y，利用公式(5)计算AIC_c的值；

(6)选择其他K-1个子集，重复步骤S304-S305，得到K个AIC_c，并计算K个 AIC_c的平均值；

(7)若λ≤λ_h，则令λ＝λ+Δλ，跳转转到S303，其中Δλ为预设的步长；否则 进入步骤S308；

(8)用AIC_c的最小平均值作为最终的最优调和参数λ_opt；

S204：将确定的最优调和参数λ_opt替代公式(4)中的λ，采用信赖域优化算法 求解这个非线性二次规划最小化问题，得到α、β的最优估计

通过最优调和参数λ_opt求解α、β的最优估计时，如果没有到达迭代停止条 件，需要进入下一次迭代计算。找出即需要被删除的对应输入变量，重新 构建新的数据集/>此时/>为X中删除/>的输入变量后的数据集，并重复技 术方案中的第三步和第四步进行新一轮的迭代计算。所述的进入下次迭代计算 时，数据集为删除变量后更新的数据集，MLP神经网络的结构隐含层节点数不 变，输入层节点数改为更新数据集后的输入变量数。所述的迭代停止条件为达 到最大迭代次数或精度不再提高的状态。

S205：将带入式(2)，即得到新的模型y。

式(2)中，是正则化系数β＝[β₁，β₂，…，β_v]的第j个量β_j的估计值；/>是正则 化系数α＝[α₁，α₂，…，α_u]的第i个量α_i的估计值；u为正则化系数α的总个数、v为 正则化系数β的总个数。

S105：将新的模型y的预测输出值进行反归一化处理，得到真实预测值， 并对新的模型y的性能进行评价；模型性能评价指标包括3个，分别为均方根误 差RMSE、决定系数R²和输入变量与隐含层节点数的总和N_sum。

以下结合一个具体的Tenessee Eastman(TE)过程来说明本发明的有效性。TE 是一个实际化工过程的仿真模拟数学模型，这个过程模型主要描述了装置、物 料和能量间的非线性关系，被广泛的应用于各种各样的过程研究和开发，如装 置控制方案的设计、多变量控制、过程优化、预估控制、模型预测、过程故障 诊断等。TE过程的流程图如图2所示。选择9个操纵变量和22个连续测量变 量，共31个变量作为软测量建模的输入变量，选择1个色谱分析测量变量输出 变量，如表1所示。质量变量为E组分色谱测量值(stream 9)。该过程收集了1800 组数据，其中训练样本1350个，测试样本450个。

表1：TE过程软测量建模的输入变量

数据预处理后，首先建立一个三层的MLP模型，根据上述方法，最终确定 的MLP神经网络结构为31-28-1，将正则系数α_i、β_i引入到上述MLP模型中， 采用mLASSO方法估计正则系数，训练后得到新的模型y，并进行预测。表2 给出了本发明方法针对E组分色谱测量值(stream 9)预测结果，并与其他两种方 法MLP与LASSO-MLP进行了对比。从表中可以看出，本发明方法的预测效果 要好于其他两种方法，预测更加准确，同时模型结构更加简单。

表2：三种TE过程软测量建模方法的性能对比表

本发明实施的有益效果是：对非线性系统软测量建模时进行输入变量筛选 和模型结构简化，具有预测精度高、通用性强、灵活性高和成本低等优点。

在不冲突的情况下，本发明中上述实施例及实施例中的特征可以相互结合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的 精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。

Claims (9)

1.一种基于mLASSO-MLP模型的软测量建模方法，其特征在于：

S101：利用离散控制系统收集工业过程中能够直接测量的过程变量数据利用离线检测方法收集能直接反映产品质量的指标所对应的数据/>其中，N为样本数，u为过程变量数，R为实数集；

S102：对所述过程变量数据和产品质量的指标所对应的数据进行标准化预处理，得到标准化后的数据集；所述标准化后的数据集，包括输入变量X∈R^N×u，和输出变量Y∈R^N×1；

S103：利用标准化后的数据集构建三层MLP神经网络模型y_m；

S104：将正则系数α、β引入到模型y_m中，采用mLASSO方法估计正则系数，训练后得到新的模型y；

S105：将新的模型y的预测输出值进行反归一化处理，得到真实预测值，并对新的模型y的性能进行评价。

2.如权利要求1所述的一种基于mLASSO-MLP模型的软测量建模方法，其特征在于：步骤S102中，所述标准化具体为：其中，μ_x、μ_y为原始数据的均值，σ_x、σ_y为原始数据的标准差。

3.如权利要求1所述的一种基于mLASSO-MLP模型的软测量建模方法，其特征在于：步骤S103中，所述三层MLP神经网络模型y_m，如式(1)所示：

式(1)中，输入变量x＝[x₁,x₂,…,x_u]^T，x_i为第i个输入变量，u为输入变量个数，v为隐含层节点数，输出层节点数为1，隐含层权值为W＝[w_ij]，i∈[i,u]，j∈[1,v]，输出层权值为隐含层节点的偏差向量为/>b^o为输出层节点的偏差，f(·)为隐含层激活函数，h(·)为输出层激活函数。

4.如权利要求1所述的一种基于mLASSO-MLP模型的软测量建模方法，其特征在于：步骤S104中，新的模型y具体如式(2)所示：

式(2)中，是正则化系数β＝[β₁,β₂,...,β_v]的第j个量β_j的估计值；/>是正则化系数α＝[α₁,α₂,...,α_u]的第i个量α_i的估计值；u为正则化系数α的总个数、v为正则化系数β的总个数。

5.如权利要求4所述的一种基于mLASSO-MLP模型的软测量建模方法，其特征在于：步骤S104中，利用三层MLP神经网络模型y_m结合mLASSO方法得到新的模型y的具体步骤为：

S201：将正则系数α＝[α₁,α₂,…,α_u]^T、β＝[β₁,β₂,…,β_v]^T分别添加到输入变量前面和隐含层节点前面，则MLP神经网络模型y_m表达式更新为式(3)：

S202：采用mLASSO方法估计引入的正则化系数α＝[α₁,α₂,…,α_u]^T、β＝[β₁,β₂,…,β_v]^T，具体如式(4)：

式(4)中，y_t为训练样本真实输出值；n为训练样本数；λ为调和参数；

S203：通过K折交叉验证方法决定最优调和参数λ_opt；

S204：将确定的最优调和参数λ_opt替代公式(4)中的λ，采用信赖域优化算法求解式(4)这个非线性二次规划最小化问题，得到α、β的最优估计

S205：将带入式(2)，即得到新的模型y。

6.如权利要求5所述的一种基于mLASSO-MLP模型的软测量建模方法，其特征在于：步骤S203中，通过K折交叉验证方法决定最优调和参数λ_opt，具体步骤如下：

S301：初始化参数λ的范围λ∈[0,λ_h]，并预设λ的初始值为0；λ_h为预设值；

S302：将数据集分为K个数量相等的子集，即D_i，i＝1,2,…,K；

S303：通过K折交叉验证方法计算AIC_c的平均值；其中AIC_c公式如式(5)：

S304：保留子集D_i，使用其他K-1个子集训练MLP神经网络，根据公式(4)和公式(2)得到y；

S305：根据得到的y，利用公式(5)计算AIC_c的值；

S306：选择其他K-1个子集，重复步骤S304-S305，得到K个AIC_c，并计算K个AIC_c的平均值；

S307：若λ≤λ_h，则令λ＝λ+Δλ，跳转转到S303，其中Δλ为预设的步长；否则进入步骤S308；

S308：用AIC_c的最小平均值作为最终的最优调和参数λ_opt。

7.如权利要求6所述的一种基于mLASSO-MLP模型的软测量建模方法，其特征在于：步骤S204中，采用信赖域优化算法求解非线性二次规划最小化问题时，找出需要被删除的对应输入变量，进行删除，并在删除后更新数据集，重新跳转至步骤S103。

8.如权利要求1所述的一种基于mLASSO-MLP模型的软测量建模方法，其特征在于：步骤S105中，对新的模型y的性能进行评价，具体为根据模型性能评价指标对新的模型y的性能进行评价；所述模型性能评价指标包括3个，分别为均方根误差RMSE、决定系数R²和输入变量与隐含层节点数的总和N_sum。

9.如权利要求1所述的一种基于mLASSO-MLP模型的软测量建模方法，其特征在于：所述MLP神经网络模型的隐含层和输出层分别采用tanh与sigmoid激活函数，模型训练采用标准的反向传播算法。