CN115688865A

CN115688865A - 面向脱硫工艺烟气的长短期记忆网络工业软测量方法

Info

Publication number: CN115688865A
Application number: CN202211361424.1A
Authority: CN
Inventors: 郭俊美; 赵磊; 孙凯
Original assignee: Qilu University of Technology
Current assignee: Qilu University of Technology
Priority date: 2022-11-02
Filing date: 2022-11-02
Publication date: 2023-02-03

Abstract

本发明涉及工业软测量技术领域，尤其是面向脱硫工艺烟气的长短期记忆网络工业软测量方法，包括:采集电厂脱硫过程中的输入、输出数据组成历史样本数据库；对采集的样本数据进行预处理：建立具有Huber损失和l₁正则化的鲁棒LSTM模型并对数据进行异常值检测，用滑动窗口遍历历史数据，将窗口后的一位数据与参考窗中的统计量作差，得到时间序列S1；计算S1箱线图的上边缘和下边缘作为正常范围；若当前值与它参考窗中的统计量之差不在正常范围内，则为异常；将上述的LSTM模型应用于火电厂脱硫过程SO₂浓度预测。仿真结果表明，提出的模型异常值和非高斯噪声具有很好的抗干扰能力，减少冗余变量的影响，从而提高了LSTM的预测性能，具有很好的经济性和适用性。

Description

面向脱硫工艺烟气的长短期记忆网络工业软测量方法

技术领域

本发明涉及数据驱动的工业软测量技术领域，具体涉及一种面向脱硫工艺烟气的长短期记忆网络工业软测量方法。

背景技术

在现代工业过程中，需要对保证过程安全、生产效率和产品质量的关键性能变量进行在线实时监测和控制。然而，一些性能变量，如泥浆成分、流体粘度和气体浓度，很难直接用硬件传感器测量。数据驱动的软测量使用过程自动化系统所采集的历史数据来建立数学模型，为工业过程关键变量的实时监测和控制提供了快速、低成本和易于实现的替代方案，因此得到了广泛的研究和应用。

然而，目前工业过程的软测量建模仍存在以下问题：(1)由于复杂的物理化学反应和结构，工业过程通常表现出强非线性特征；(2)工业过程中往往存在许多冗余变量，使得数据驱动的软测量模型复杂度过高，会出现过拟合现象；(3)过程中各传感器的位置分布不同会导致各变量测量结果之间存在较大时间延迟；(4)实际工业过程会受到环境干扰、传感器漂移和系统故障的影响，测量数据存在非高斯噪声和异常值。

在火电厂脱硫工艺过程中，二级吸收塔排放烟气中的SO₂浓度是关系到污染物排放标准和能耗的关键性能指标。但该指标通常不稳定，很难用硬件传感器直接测量。同时，特定的在线分析仪通常价格昂贵且测量耗时。因此，有必要设计软传感器来提供校准信息，提高系统的可靠性。

发明内容

针对上述问题，本发明提供了面向脱硫工艺烟气的长短期记忆网络工业软测量方法。

本发明提供如下技术方案：面向脱硫工艺烟气的长短期记忆网络工业软测量方法，包括如下步骤:

步骤1、采集电厂脱硫过程中的输入、输出数据组成历史样本数据库；

步骤2、对采集的样本数据进行预处理：

步骤3、具有Huber损失和l₁正则化的鲁棒LSTM模型并对数据进行异常值检测，用滑动窗口遍历历史数据，将窗口后的一位数据与参考窗中的统计量作差，得到一个新的时间序列S1；其次，计算S1箱线图的上边缘和下边缘作为正常范围；最后，若当前值与它参考窗中的统计量之差不在正常范围内，则视为异常；

步骤4、将上述的LSTM模型应用于火电厂脱硫过程SO₂浓度预测。

所述的LSTM模型为具有Huber损失和l₁正则化的鲁棒LSTM模型，首先，为了提高LSTM对非高斯噪声和异常值的抵抗能力，采用Huber损失代替经典LSTM的MSE损失。其次，为了降低LSTM模型的复杂性，提高模型的泛化性能，在损失函数中加入l₁正则化。

步骤2中，对于原始时间序列

利用滑动窗口m，为LSTM构造多步时间序列，

其中L为原时间序列的长度，x_t表示第t时刻的输入数据，d_t表示第t时刻的响应输出，p表示预测步长，m决定了LSTM的记忆容量。

一、算法基础

1、LSTM神经网络算法

LSTM是为了克服标准RNN的梯度消失和梯度爆炸问题而提出的。通过设计三个门控单元来控制信息流。在三个门的控制下，LSTM可以忘记之前的无用信息，并将有用的信息在记忆单元中进行保留传递，具有对时间序列进行预测的能力。由于这些优点，LSTM在软传感器领域得到了很好的研究。研究中LSTM的结构如图1所示。

处理信息的具体流程：首先，上一时刻的记忆单元c_t-1通过遗忘门f_t遗忘一些无用信息。其次，由当前时刻的输入x_t和上一时刻的外部状态h_t-1计算出当前时刻新信息

通过输入门i_t控制，将其写入内部状态c_t后将其激活。最后，由输出门o_t把控，在目前积累的信息c_t中选出部分相关的信息传递给外部状态h_t。LSTM的计算过程表示如下

f_t＝σ(W_f·[h_t-1，x_t]+b_f) (1)

i_t＝σ(W_i·[h_t-1，x_t]+b_i) (2)

o_t＝σ(W_o·[h_t-1，x_t]+b_o) (3)

h_t＝o_t⊙tanh(c_t) (6)

式中W_c，W_o，W_f，

和b_c，b_o，b_f，

分别是权重矩阵和向量偏置，s和u分别是输入和隐藏层神经元个数。⊙为向量点乘，σ(·)和tanh(·)分别是sigmoid和tanh激活函数。给定输出h_t，最终的估计由下式得到：

w_v和b_v分别为最终回归系数向量和偏置。

2、l₁正则化

LASSO通过压缩模型参数，可以减小或避免发生过拟合。给出一个线性回归模型，将其引入到普通最小二乘(OLS)估计中：

w^T＝[w₁，w₂，...，w_q]是模型系数向量，

x＝[x₁，x₂，...，x_q]^T表示输入变量的向量，d表示输出变量。

和

分别是输入输出数据，N表示总的样本数，λ表示正则化系数。

在等式(8)中，第一项为残差约束项，用来控制解的逼近程度，第二项称为l₁惩罚，用来对权重向量进行压缩。λ是非负可调参数，用于平衡精确度与噪声敏感度。当λ的值足够大时，某些相关度低的变量系数就被压缩为0，实现变量选择。当λ＝0时，将不再具有约束的作用，权向量

保持与OLS的初始估计相同。因此，最优模型的准确性在很大程度上受λ的影响。

3、Huber损失的鲁棒估计

Huber损失是一种稳健的自适应损失函数，它结合了二次损失和线性损失。Huber损失的表达式为：

δ的选择决定了Huber损失是二次或线性的侧重程度。函数对小残差使用二次损失，以保证模型更精确地得到全局最优值，对大残差使用线性损失，以抑制对非高斯噪声和异常值的敏感性。因此Huber损失同时具备了二次和线性损失的优点，不仅对异常值具有鲁棒性，还实现了处处可导。超参数δ可通过交叉验证的方法确定。

二、所设计软测量算法

1、l₁-HM-LSTM动态软测量模型

将传统的LSTM作为处理非线性和时间延迟的基本模型，设计了一种新颖的LSTM损失函数，它结合了Huber损失对非高斯噪声的出色抵抗力和l₁正则化的出色模型缩减能力，即具有Huber损失和l₁正则化的鲁棒LSTM模型中的损失函数为

其中λ控制权重矩阵的收缩强度，δ决定Huber损失的二次或线性程度。

2、基于BPTT的l₁-HM-LSTM网络更新计算方法

BPTT是一种在递归神经网络中计算参数梯度的方法。参数梯度可以依次计算和存储，提高计算速度。在研究中，针对提出的l₁-HM-LSTM，开发了一种特定的BPTT训练算法。

首先，对于输出梯度：

LSTM在t时刻的外部状态为h_t，在t时刻的误差项被定义为

f_t、i_t、

o_t和他们对应的误差项定义为：

θ_f，t＝W_f[h_t-1，x_t]+b_f，t＝W_fhh_t-1+W_fxx_t+b_f，t (13)

θ_i，t＝W_i[h_t-1，x_t]+b_i，t＝W_ihh_t-1+W_ixx_t+b_i，t (14)

θ_o，t＝W_o[h_t-1，x_t]+b_o，t＝W_ohh_t-1+W_oxx_t+b_o，t (16)

这里

在t-1时刻，沿时间反向传播的误差项定义为，

由等式(1)-(4)可知，f_t、i_t、

o_t均为h_t-1的函数.根据链式求导法则：

接下来，计算等式(18)的每一个偏导数。以输出门o_t为例，根据公式(6)，

的偏导数为

相似的，因为o_t＝σ(θ_o，t)，我们得到

由等式(16)，可以得到

通过计算式(18)中的所有偏导数，得到

根据定义，δ_o，t、δ_f，t、δ_i，t、

可以表示为

公式(22)-(25)为t时刻误差沿时间反向传播的公式。代入式(21)，得到误差项

为

注意，我们只提供了应用于LSTM网络的输出门的变化，而其他门的变化可以用类似的方式求出。

W_oh的权重梯度是每个时刻的梯度之和。在t时刻，W_oh，t的梯度可以表示为

这里

最终W_oh的梯度为

对于W_ox的权重梯度：

对于b_o的偏置梯度

按照W_oh，W_ox和b_o的相同推导过程，可以得到其他权重和偏差的梯度更新方程为

在完成对所提出LSTM的BPTT算法推导之后，使用Adam来执行梯度更新。

3.“滑窗法”交叉检验法求解Huber损失中δ值和l₁正则化中的λ

该算法有两类超参数。第一类是LSTM本身的常规训练超参数，如学习率等可以通过经验和一些试验来确定。第二类是决定算法鲁棒性和正则化程度的高级超参数，即Huber损失中的δ和l₁正则化中的λ。通过网格搜索和移动窗口交叉验证(MWCV)进行选择。

网格搜索：是一种通过循环遍历所有候选参数来优化模型表现的方法。该过程可分为两个步骤。(1)设置超参数δ和λ分别在给定范围[0.1，1]和[0，λ_ub]内均匀分布，λ_ub是一个足够大的值，使模型发生欠拟合。(2)从定义的范围中找出所有可能的超参数组合(3)通过两个循环找到最佳的超参数组合，其中内循环使用MWCV方法评估平均模型性能，外循环遍历每一种可能的超参数。

MWCV：交叉验证作为性能评估方法，常用来对模型的超参数进行寻优。考虑到数据的顺序对于时间序列相关的问题非常重要，于是采用MWCV对训练数据集和验证数据集进行划分来确定鲁棒LSTM的最佳δ和λ。该算法的示意图如图2所示。通过构造多个沿子数据集同步移动的窗口，步长为1，用来分割验证数据集Z_validate＝Z_k+1，并将验证数据集之前子数据集的并集作为训练数据集Z_train＝[Z₁，Z₂...Z_k]。利用上述方法计算了δ和λ的所有可能组合后，选择最小验证损失的组合作为l₁-HM-LSTM的最优[δ，λ]。该算法的原理如图4所示。

通过上述描述，可以看出本方案总体流程如下，1、用滑动回归的方法对初始数据集

进行预处理，构造一个多步时间序列数据集D′＝{{X₁，X₂，...，X_n-p}，{d_p+m，d_p+m+1，...，d_L}}，

整个数据集分为两部分，前80％为训练数据，其余为测试数据。2、考虑到冗余变量、异常值和非高斯噪声的影响，在标准LSTM中引入Huber损失和l₁正则化，重新定义LSTM的损失函数来提高算法的鲁棒性和预测精度。3、为了得到一个可靠稳定的模型，通过移动窗口交叉验证确定最佳[δ，λ]，以适应火电厂脱硫过程数据集的误差分布和降低LSTM模型的复杂度，提高模型的泛化性能。4、使用特定的BPTT算法来训练所提出的LSTM，计算公式如(27)-(36)所示。基于相应误差项，采用Adam优化算法对网络权重进行更新。

综上所述，基于Huber损失和l₁正则化的鲁棒LSTM软测量算法可以有效地处理输入和输出之间的短期和长期依赖关系，同时在模型训练过程中对异常值和非高斯噪声具有很好的抗干扰能力，并且有助于减少冗余变量的影响，从而提高了LSTM的预测性能，具有很好的经济性和适用性。

附图说明

附图1为LSTM单元结构图。

附图2为移动窗口交叉验证原理图。

附图3为双塔脱硫系统工艺流程图。

附图4为异常值检测图。

附图5为本发明软测量建模方法对脱硫烟气排放中SO₂浓度预测曲线。

具体实施方式

下面将结合本发明具体实施方式中的附图，对本发明具体实施方式中的技术方案进行清楚、完整地描述，显然，所描述的具体实施方式仅仅是本发明一种具体实施方式，而不是全部的具体实施方式。基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。

通过附图可以看出面向脱硫工艺烟气的长短期记忆网络工业软测量方法，包括如下步骤:

步骤1、采集电厂脱硫过程中的输入、输出数据组成历史样本数据库；由35个辅助变量组成的候选输入变量集，如表1所示，SO₂浓度是关键的响应变量。以一分钟的采样间隔共采集了2676组过程数据。

表1脱硫系统候选输入变量

步骤2、对采集的样本数据进行预处理：

在建立模型时，需要引入一种滑动回归的方法对数据进行预处理。对于原始时间序列

利用滑动窗口m，为LSTM构造多步时间序列，如

步骤3、设计一种新颖的LSTM的损失函数：本发明公开了一种具有Huber损失和l₁正则化的鲁棒LSTM模型来预测SO₂浓度。首先，为了提高LSTM对非高斯噪声和异常值的抵抗能力，采用Huber损失代替经典LSTM的MSE损失。其次，为了降低LSTM模型的复杂性，提高模型的泛化性能，在损失函数中加入l₁正则化。

建立特定的时间反向传播(backpropagation through time，BPTT)训练算法：在这项发明中，针对所提出的LSTM开发了一种特定的BPTT训练算法。利用BPTT算法进行链导数的计算，并使用自适应矩估计(Adam)执行梯度更新。

在确定Huber损失中的δ和l₁正则化中的λ时，为了得到可靠稳定的模型，通过网格搜索和移动窗口交叉验证进行选择。

使用异常检测工具包(ADTK)检测异常值。首先用滑动窗口遍历历史数据，将窗口后的一位数据与参考窗中的统计量作差，得到一个新的时间序列S1；其次，计算S1箱线图的上边缘和下边缘作为正常范围；最后，若当前值与它参考窗中的统计量之差不在正常范围内，则视为异常。

具有Huber损失和l₁正则化的鲁棒LSTM模型中的损失函数为

对所述的损失函数进行参数梯度训练，

对于输出梯度：

LSTM在t时刻的外部状态为h_t，在t时刻的误差项被定义为

f_t、i_t、

o_t和他们对应的误差项定义为：

θ_f，t＝W_f[h_t-1，x_t]+b_f，t＝W_fhh_t-1+W_fxx_t+b_f，t

θ_i，t＝W_i[h_t-1，x_t]+b_i，t＝W_ihh_t-1+W_ixx_t+b_i，t

θ_o，t＝W_o[h_t-1，x_t]+b_o，t＝W_ohh_t-1+W_oxx_t+b_o，t

这里

在t-1时刻，沿时间反向传播的误差项定义为，

f_t、i_t、

o_t均为h_t-1的函数.根据链式求导法则：

对上式进行偏导数计算获得

δ_o，t、δ_f，t、δ_i，t、

为t时刻误差沿时间反向传播的公式，表示为

得到误差项

为

W_oh的权重梯度是每个时刻的梯度之和，在t时刻，W_oh，t的梯度可以表示为

这里

最终W_oh的梯度为

对于W_ox的权重梯度：

对于b_o的偏置梯度

按照W_oh，W_ox和b_o的相同推导过程，得到其他权重和偏差的梯度更新方程为

在完成对所提出LSTM模型的梯度推导之后，使用Adam来执行梯度更新。

火电厂采用双吸收塔结构和石灰石-石膏湿法烟气脱硫(FGD)技术。整个FGD工艺主要包括石灰石浆液制备系统、反应吸收系统、烟气系统等。该过程的示意图如图3所示。在该系统中，二级吸收塔排放烟气中的SO₂浓度是关键的性能指标，在生产过程中需要严格遵循国家环保标准，但该指标变化频率高，振幅大，通常不稳定，在线分析仪需要定期维护和校准，同时其性能会因老化或故障积累而下降。因此，有必要设计软传感器持续提供SO₂浓度的预测结果，不仅可以临时取代在线分析仪的功能，还可以对在线分析仪进行验证和故障识别。

图4显示了该数据集在ADTK中捕获的异常值，经检测共有71个，这可能会影响预测的精度。为体现l₁-HM-LSTM算法优越性，本文将其与LSTM、LASSO-LSTM和NNG-MLP软测量算法进行性能比较。本发明采用的模型性能评价指标共有2个：

1)均方根误差RMSE：

2)平均绝对误差MAE

其中d_i和

分别是第i个测试样本的真实值和预测值，N_test为测试集样本总数。

表2显示了每种模型运行十次的最佳实验结果。

表2不同算法对SO₂预测的仿真结果

对比结果可以看出，传统LSTM模型由于无关变量较多和非高斯噪声的存在，性能明显较差。虽然NNG-MLP和LASSO-LSTM可以选择输入变量并简化模型，但性能不太理想。所提出的l₁-HM-LSTM在所有标准上都优于其他算法，说明模型冗余和测量数据中的非高斯噪声在训练过程中得到了很好的处理。我们的方法在具有非高斯分布和异常值特征的工业过程中具有更好的泛化性能和更高的鲁棒性。其预测结果如图5所示。拟合曲线表明，所提算法能够准确地跟随SO₂浓度的动态变化，具有较好的估计效果，验证了所提算法的优越性。

考虑到实际工业过程软测量中经常受到多变量、时间序列和非高斯噪声的影响，本发明提出的算法充分利用LSTM可以有效地捕获输入和输出之间的短期和长期依赖关系，建立变量间的时序对应关系，提升了模型的动态信息处理能力，对于预测相对连续过程中的输出响应非常有用。另一方面，Huber损失融合了线性损失和二次损失，对误差分布具有更好的适应性，应用l₁正则化可以降低模型复杂度，进而提高模型性能。

综上所述，本发明公开了一种高效的脱硫过程排放烟气中SO₂浓度的软测量模型。仿真结果表明，所提出的算法能够准确地预测过程中SO₂浓度。与其他方法进行比较，验证了该方法的泛化性能和鲁棒性。此外，l₁-HM-LSTM可以筛选出与工厂现场操作一致的关键控制变量，该模型具有良好的实用性，可以为脱硫系统的优化提供参考。

本发明尽管已经示出和描述了本发明的具体实施方式，对于本领域的普通技术人员而言，可以理解在不脱离发明的原理和精神的情况下可以对这些具体实施方式进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。