CN113268871B - 基于多变量时序深度网络模型的水泥烟囱nox预测方法 - Google Patents

Abstract

本发明公开了一种基于多变量时序深度网络模型的水泥烟囱NOX预测方法，具体步骤包括：根据水泥NOX产生机理、脱硝过程以及排放流程工艺，选取13个变量作为水泥烟囱NOX预测的输入变量，并对多变量时间序列统一进行归一化处理；根据水泥NOX生成过程中多变量时间序列在时域上表现的特征，建立基于深度学习LSTM特征重构模型进行NOX生成过程的本质特征提取；依据水泥烟囱NOX整体工艺流程，建立一种基于多变量时间序列长短时神经网络(LSTM)水泥烟囱NOX预测模型（MT‑LSTMs）；确定模型的初始参数，并对网络模型进行前向训练，然后利用网络主导代价函数误差反向微调进行训练，通过对误差修正来优化模型参数。

Description

基于多变量时序深度网络模型的水泥烟囱NOX预测方法

技术领域

本发明涉及水泥烟囱NO_X预测领域，尤其涉及一种基于多变量时序深度网络模型的水泥烟囱NO_X预测方法。

背景技术

我国是世界上最大的水泥生产国，占世界水泥总产量的60％以上，自上世纪90年代新型干法水泥生产线国产化之后，我国水泥生产规模迅速扩大。水泥工厂燃料煅烧主要以燃煤为主，造成空气受氮氧化物或二氧化硫等气体污染。随着煤炭燃烧的不断增加，我国空气污染不容乐观。为缓解空气压力，目前水泥行业NO_X的排放值浓度已经从800mg/Nm3降到400mg/Nm3，由此可看，我国对水泥厂NO_X排放要求越来越严格。为了将烟囱NO_X浓度值控制在合理的范围下，大多数水泥厂采用喷氨技术进行脱硝。但当氨水过高时会导致氨逃逸，容易造成二次污染；氨水过低时会导致NO_X浓度过高，不符合排放标准。因此，为了合理控制氨水量，需要精准预测水泥烟囱NO_X含量值。由于水泥NO_X生成、脱销及排放过程具有非线性、大时延性、强耦合等特性，从而传统的静态模型很难建立NO_X预测模型。Smrekar等人提出了一种基于最小二乘支持向量机(LS- SVM)的循环流化床锅炉床温动态预测模型。Smrekar等人采用具有外部输入的自回归模型(ARX)实现了燃煤锅炉NO_X排放的多步预测。同时针对强耦合且多维度的数据特征，传统的特征提取方法很难提取到多变量时序序列的本质特征，大大降低预测模型的精度。因此建立水泥烟囱NO_X预测模型，不仅要考虑模型的动态性，还要考虑数据的多维性。

发明内容

针对上述存在的问题，本发明提供一种基于多变量时序深度网络模型的水泥烟囱NO_X预测方法，从而减少变量维度，提取本质特征，降低耦合变量对水泥烟囱NO_X预测的影响。

为实现上述目的，本发明通过以下技术方案来实现：

一种基于多变量时序深度网络模型的水泥烟囱NO_X预测方法，包括以下步骤：

步骤1，根据水泥NO_X产生机理、脱硝过程以及排放流程工艺，选用13个变量作为水泥烟囱NO_X预测的输入变量，并对多变量时间序列统一进行归一化处理；

步骤2，根据水泥NO_X生成过程中多变量时间序列在时域上表现的特征，建立基于深度学习LSTM特征重构模型，利用该模型提取反映水泥NO_X生成过程的本质特征；

步骤3，依据水泥烟囱NO_X整体工艺流程，将步骤2得到的特征与脱硝排放过程的特征融合,建立一种基于多变量时间序列长短时神经网络LSTM水泥烟囱NO_X预测模型MT-LSTMs，确定模型的初始参数，并对网络模型进行前向训练；

步骤4，利用误差反向微调进行有监督训练，通过对误差修正来优化模型参数；

步骤5，利用步骤3和步骤4中训练好的MT-LSTMs模型对水泥烟囱NO_X进行预测。

本发明技术方案的进一步改进在于：在步骤1中选取的13个变量中包括12 个过程变量和一个目标变量历史信息作为烟囱NO_X预测模型MT-LSTMs的输入变量，依次对每个变量进行归一化处理。

本发明技术方案的进一步改进在于：在步骤1中选取的13个输入变量，其中体现NO_X生成机理的变量有6个：二次风温、窑头煤、窑尾温度、喂料量、窑电流平均值、烟室NO_X反馈量，体现NOX脱硝及排放的变量有7个：分解炉出口温度、分解炉喂煤量、一级筒氧气含量、C11A出口温度、脱销供氧泵频率反馈、氨水流量AB、脱销NO_X反馈值。

本发明技术方案的进一步改进在于：在步骤2中建立的基于深度学习LSTM 特征重构模型，将LSTM模型后加入两层全连接层，利用特征重构模型进行NO_X生成过程本质特征的提取。

本发明技术方案的进一步改进在于：在步骤4中采用代价函数误差反向微调，其中代价函数是由主要损失函数和重构损失函数构成；所述主要损失函数由预测输出y和标签y的交叉熵组成，重构损失函数由预测输出y和输入变量特征x的交叉熵组成。

本发明技术方案的进一步改进在于：在步骤5中，将步骤2提取的特征和步骤1中的NO_X脱硝排放变量特征融合，作为MT-LSTMs模型的输入。

由于采用了上述技术方案，本发明取得了以下有益效果：

本发明建立的LSTM水泥烟囱NO_X预测模型，解决了13个变量造成的变量耦合和维度灾难问题，降低了变量维度，较少耦合数据对烟囱NO_X预测的影响。

本发明根据NO_X生成机理，建立的特征重构模型，不仅增强基于深度学习提取本质特征的能力，从而提高整体模型的预测精度。

本发明从整体工艺出发，能很好的预测烟囱NO_X含量，而且便于之后的目标优化和特征分析，为氨水量的合理控制研究带来了重大意义。

附图说明

图1为烟囱NO_X预测方案图；

图2为RNN循环神经网络结构图；

图3为LSTMcell结构图；

图4为本发明设计的基于深度学习LSTM特征重构模型；

图5为本发明设计的多变量时序深度网络模型的水泥烟囱NO_X预测方法结果图。

具体实施方式

下面结合附图对本发明做进一步详细的描述：

本发明提出了一种基于多变量时序深度网络模型的水泥烟囱NO_X预测方法，预测的设计方案如图1所示。首先进行变量选择，根据水泥NO_X产生机理、脱硝过程以及排放流程工艺，获得与烟囱NO_X含量最密切的变量作为模型输入变量。然后为解决不同变量带来的量纲问题，将各个变量一次进行归一化处理。依据NO_X生成过程多变量时间序列数据的特点，采用深度学习LSTM对其进行特征提取，然后加入两层全连接层网络解码器，构建基于深度学习LSTM的特征重构模型如图3所示，将输出的特征重构映射到输入空间，这种模型增强保留原有输入时序变量的本质特征的能力。最后将特征重构模型得到的表征NO_X生成的特征和表征NO_X脱硝排放的变量特征，输入到LSTM神经网络进行训练，通过反向传播算法进行参数微调，最后完成基于多变量时间序列长短期记忆神经网络水泥烟囱NO_X预测模型的构建。其内容包括以下步骤：

步骤1、根据水泥NO_X产生机理、脱硝过程以及排放流程工艺，选取13个与烟囱NO_X含量密切相关的变量，然后依次进行归一化处理。

工艺分析：由水泥厂工艺学可知，水泥烟囱NO_X含量是由回转窑内生成的 NO_X，经过分解炉喷氨脱硝，最后通过一级筒排放到烟囱处而产生的。因此从 NO_X生成、脱硝到排放过程的各个参量对烟囱NO_X含量有着至关重要的作用，是实现水泥烟囱NO_X预测模型的关键输入变量。生成的NO_X一部分是热力型 NO_X，一部分是燃料型NO_X。在煤粉喷入初期由于温度过低，燃料内的含氮物质在受到一定温度燃烧后分解产生燃料型NO_X。随着燃料燃烧温度随之升高，空气内的氮气和氧气在高温作用下产生热力型NO_X。因此NO_X生成的热量主要来源于窑头喂煤量以及篦冷机回收进入窑的二次风。分解炉处的脱硝技术，是在一定温度下，将氨水与NO_X反应，还原成氨气。由于氨水量未能得到一定的控制或时间的延迟，所以仍会有一些NO_X经过五级筒、增湿塔，排放到烟囱处。

由上述分析可知，选取与烟囱NO_X含量密切相关的13个变量：体现NO_X生成机理的变量有6个：二次风温、窑头煤、窑尾温度、喂料量、窑电流平均值、烟室NO_X反馈量，体现NO_X脱硝及排放的变量有7个：分解炉出口温度、分解炉喂煤量、一级筒氧气含量、C11A出口温度、脱销供氧泵频率反馈、氨水流量 AB、脱销NO_X历史反馈值。

步骤2、建立基于深度学习LSTM特征重构模型，对NO_X生成过程的相关变量进行本质特征提取。

针对水泥NO_X生成过程相关变量时间序列的特性，构建基于深度学习LSTM 特征重构模型，并利用LSTM重构模型对其进行特征提取，使得模型得到的输出特征既能保留原有多变量时间序列本质特征，又能降低多变量数据维度。

步骤3、MT-LSTMs模型的初步建立及前向训练

根据水泥流程工艺数据非线性、大时延等特点。采用动态神经网络模型不仅能够解决非线性问题，还能够合理的解决时间滞后的问题。RNN循环神经网络是动态网络模型的一种，它具有自回归和时间信息记忆功能，因此深度RNN神经网络在多变量时间序列的时间维度上表现很强的提取特征能力。RNN结构图如图2所示，循环神经网络RNN包含输入X＝{x1,x2...xt}、隐层状态h＝ {h₀,h₁...h_t}和一个神经网络单元A，与前馈神经网络不同的是，它可根据时间序列进行展开，且所有时间步共享相同参数。常规RNN神经网络单元A的内部采用tanh激活函数进行运算。tanh函数式如下所示：

运算过程如下所示：

h_t＝tanh(Uh_t-1+Wx_t+b) (2)

其中U和W分别为前一时刻隐层状态h_t-1和当前时刻输入x_t的权重，b表示为偏置。

长短期记忆神经网络(LSTM)是RNN的是一种新的变体，它在RNN链状结构的基础上，更改其内部的神经网络单元模块。通过引入细胞状态C(t)和使用遗忘门、输入门、输出门三种门来存储长期记忆以及调整网络传输信息，从而相对解决RNN循环神经网络梯度爆炸和长期依赖等问题，使其网络具有选择保存或者遗忘信息的功能。LSTMcell长短期记忆神经网路结构如图3所示，

遗忘门：遗忘门的作用就是决定从上一时刻的细胞状态中丢弃哪些信息。它是将上一时刻的隐状态h_t-1和当前时刻的输入xt作为遗忘门的输入，利用 sigmoid激活函数进行运算得到遗忘门的输出。sigmoid激活函数表达式如下所示：

遗忘门的控制表达式如下所示：

f_t＝σ(W_fh_(t-1)+U_fx_(t)+b_f) (4)

其中W_f、U_f分别是遗忘门隐层状态和输入的权重矩阵，b_f是遗忘门的偏置项。

输入门：输入门的作用就是控制什么样的新信息会被存放在细胞状态中。输入门的输入为上一时刻节点的输出以及当时时刻的输入信息，利用sigmoid激活函数进行运算得到输入门的输出。输入门的控制表达式如下所示：

i_t＝σ(W_ih_(t-1)+U_ix_(t)+b_i) (5)

上式中W_i、U_i分别是输入门隐层状态和输入的权重矩阵，b_i是输入门的偏置项。

输入节点的输出起到候选细胞状态的作用，将上一时刻节点的输出以及当时时刻的输入信息同时输入到tanh激活函数中，输入节点的计算公式如下所示：

其中，W_c和U_c是计算候选细胞状态的权重矩阵，b_c是计算候选细胞状态的偏置项。

代表当前输入的单元状态。然后利用遗忘门的输出和输入门的输出用于更新细胞状态，控制表达式如下所示：

将遗忘门的输出与上一时刻细胞状态Ct-1相乘是用来控制遗忘过去信息量，将输入门的输出与输入节点的输出相乘是可以起到控制现在输入信息量的作用。采用这样的方法进行细胞状态的更新。

输出门：输出门的作用是确定要从细胞状态中输出什么值。输出门的输出同样是由上一时刻的隐层状态和当前时刻的输入信息决定的，输出门的控制表达式如下所示：

o_t＝σ(W_oh_(t-1)+U_ox_(t)+b_o) (8)

其中W_o、U_o分是输出门隐层状态和输入的权重矩阵，b_o是输出门的偏置项。

LSTM单元的最终隐层状态输出表达式如下所示：

h_t＝o_t*tanh(C_t) (9)

它是将输出门的输出与激活后的状态输出相乘用来控制从细胞状态中的输出值。h_t表示LSTM单元的最终隐层状态输出值。

最后，预测输出

表达式如下所示：

步骤4、利用误差反向微调进行有监督训练，通过对误差修正来优化模型参数。

本模型MT-LSTMs的训练方式采用误差反向传播方法，选用主导代价函数 (由主要损失函数Margin Loss和重构损失函数Reconstruction Loss组成)作为损失函数，主要损失函数就是模型预测输出

与标签y之间的交叉熵，主要损失函数的表达式如下所示：

重构损失函数就是通过构建输出特征向量的重构特征，计算重构特征与输入数据时间序列之间的交叉熵，重构损失函数的表达式如下所示：

Reconstruction Loss＝-∑_k(r_klogx_k+x_klogr_k) (12)

最后的损失函数J由主要损失函数Margin Los和重构损失函数ReconstructionLoss组成。

由上面描述可知，相比于RNN，LSTM除了有隐藏状态h_t,还多了一个细胞状态C_t。下面将说明LSTM的反向转播算法。首先定义隐层状态h_t,和C_t的梯度表示为

并且设t＝τ时的损失函数用l(t)表示，t＜τ时的损失函数用 L(t)表示

LSTM要训练的参数分别为：W_f、U_f、b_f、W_i、U_i、b_i、W_c、U_c、b_c、W_o、U_o、 b_o。其中以W_f为例

本模型中采用的是多层LSTM，训练方式同上述LSTM一样，只不过还需进行上一层的传播计算。计算如下：

设当前层是K层，则上一层(K-1层)的误差项δ_h ^K-1、δ_c ^K-1是损失函数对K-1层的加权输入的倒数，计算公式如下：

最后将训练好的模型用于NO_X生成过程的特征提取。

步骤5：将步骤3和步骤4训练好的MT-LSTMs模型对烟囱NO_X含量进行预测。

模型的预测结果如图5所示。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (1)

1.一种基于多变量时序深度网络模型的水泥烟囱NO_X预测方法，其特征在于：该方法包括以下步骤：

步骤1，根据水泥NO_X产生机理、脱硝过程以及排放流程工艺，选用13个变量作为水泥烟囱NO_X预测的输入变量，并对多变量时间序列统一进行归一化处理；选取的13个输入变量，其中体现NO_X生成机理的变量有6个：二次风温、窑头煤、窑尾温度、喂料量、窑电流平均值、烟室NO_X反馈量，体现NO_X脱硝及排放的变量有7个：分解炉出口温度、分解炉喂煤量、一级筒氧气含量、C11A出口温度、脱硝 供氧泵频率反馈、氨水流量AB、脱硝 NO_X反馈值，选取的13个变量中包括12个过程变量和一个目标变量历史信息作为烟囱NO_X预测模型MT-LSTMs的输入变量，依次对每个变量进行归一化处理；

步骤2，根据水泥NO_X生成过程中多变量时间序列在时域上表现的特征，建立基于深度学习LSTM特征重构模型，利用该模型提取反映水泥NO_X生成过程的本质特征；在步骤2中建立的基于深度学习LSTM特征重构模型，将LSTM模型后加入两层全连接层，利用特征重构模型进行NO_X生成过程本质特征的提取；

步骤3，依据水泥烟囱NO_X整体工艺流程，将步骤2得到的特征与脱硝排放过程的特征融合,建立一种基于多变量时间序列长短时神经网络LSTM水泥烟囱NO_X预测模型MT-LSTMs，确定模型的初始参数，并对网络模型进行前向训练；

步骤4，利用误差反向微调进行有监督训练，通过对误差修正来优化模型参数；采用代价函数误差反向微调，代价函数包含主要损失函数Margin Loss和重构损失函数Reconstruction Loss；

其中主要损失函数就是模型预测输出

与标签y之间的交叉熵，主要损失函数的表达式如下所示：

重构损失函数就是通过构建输出特征向量的重构特征，计算重构特征与输入数据时间序列之间的交叉熵，重构损失函数的表达式如下所示：

Reconstruction Loss＝-∑_k(r_klogx_k+x_klogr_k) (12)

最后本模型训练过程的损失函数L由主要损失函数Margin Loss和重构损失函数Reconstruction Loss组成，

相比于RNN，LSTM除了有隐藏状态h_t,还多了一个细胞状态C_t，LSTM的反向转播算法：首先定义隐层状态h_t和C_t的梯度表示为

并且设t＝τ时的损失函数用l(t)表示，t＜τ时的损失函数用L(t)表示

LSTM要训练的参数分别为：W_f、U_f、b_f、W_i、U_i、b_i、W_c、U_c、b_c、W_o、U_o、b_o，其中以W_f为例

本模型中采用的是多层LSTM，训练方式同上述LSTM一样，还需进行上一层的传播计算，计算如下：

设当前层是K层，则K-1层的误差项δ_h ^K-1、δ_c ^K-1是损失函数对K-1层的加权输入的导数，计算公式如下：

最后将训练好的模型用于NO_X生成过程的特征提取，提取到的特征表示为x(k)；

步骤5，利用步骤3和步骤4中训练好的MT-LSTMs模型对水泥烟囱NO_X进行预测，将步骤2提取的特征和步骤1中的NO_X脱硝排放变量特征融合，作为MT-LSTMs模型的输入；

最后得到的烟囱NO_X预测输出

表达式如下所示：

Images