CN108920888A - 一种基于深度神经网络的连续搅拌釜式反应过程辨识方法 - Google Patents

Abstract

一种基于深度神经网络的连续搅拌釜式反应过程辨识方法，包括以下步骤：(1)获取连续搅拌釜式反应器运行过程中过程变量数据；(2)对采集到的过程变量数据进行数据预处理：首先需要对数据进行标准化处理；其次，选取时间滞后，并将过程变量整理成三维输入形式；最后，将数据分为训练集、验证集和测试集；(3)基于三维长短期记忆神经网络建立辨识模型并训练：利用记忆单元建立三维长短期记忆神经网络模型，确定网络结构和超参数；利用自适应矩估计算法在训练集上优化网络参数，并在验证集上选择网络模型的超参数，完成基于三维长短期记忆神经网络建立辨识模型并训练。本发明对过程状态进行在线监测，实现对产物浓度的精确辨识。

Description

一种基于深度神经网络的连续搅拌釜式反应过程辨识方法

技术领域

本发明涉及化工过程辨识领域，特别涉及一种化工生产中典型的连续搅拌釜式反应过程的在线辨识方法。

背景技术

连续搅拌釜式反应器是化工生产中进行各种物理变化和化学反应广泛使用的设备，在反应装置中占有重要地位。在塑料、化纤、合成橡胶三大合成材料生产中，连续搅拌釜式反应器的数量约占合成生产反应器总量的90％以上。此外，在制药、油漆、燃料、农药等行业中，也大量使用。连续搅拌釜式反应过程中的化学反应机理较为复杂，反应物(或催化剂)浓度及流量、反应釜压力、加热(或冷却)装置类型、热剂(或冷剂)温度及其流量等对过程的影响较大，使系统本身具有较强的非线性。反应过程放热，产生的热量会降低反应速度，通过调节冷却液流量可以控制产物浓度。因此有效的在线辨识过程的状态信息，对于监测过程的运行，保障其产品质量，及进一步实施控制和优化均具有重要意义。

近年来，国内外许多学者对连续搅拌釜式反应的过程辨识进行了大量的研究，支持向量机(SVM)和模糊系统等方法在过程辨识领域已有广泛的研究和应用。SVM建立在结构风险最小化的原则之上，具有较强的泛化能力。然而，由于其结构的限制，SVM无法精确辨识非线性过程。模糊系统把数学函数逼近器与过程信息结合起来，提取模糊规则以帮助人们了解过程。然而，目前对模糊规则的提取缺乏普遍规律。因此，需要一种通用性更强，准确度更高的辨识方法。

深度学习是机器学习研究中的一个新的领域，传统的机器学习技术在处理未加工过的数据时，体现出来的能力是有限的。而深度学习具有端到端的学习方式，可以把原始数据通过一些简单的但是非线性的模型转变成为更高层次的、更加抽象的表达，通过足够多的转换，可以逼近任意函数。深度学习的核心是原始数据的特征都不是利用人工来设计的，而是使用一种通用的学习过程从数据中直接学到。因此基于深度学习的过程辨识方法不需要了解过程的机理，也不需要过多依赖设计者的经验，具有很强的通用性。长短期记忆神经网络作为一种典型的深度学习结构，具有特殊的记忆单元结构，目前已广泛应用于机器翻译、语音识别等领域。结合化工过程数据的特点，提出一种三维长短期记忆神经网络(3DLSTM NN)以提取过程的时间特征，更好对化工过程进行辨识。这些优势可解决上述支持向量机和模糊规则过程辨识方法存在的问题，为连续搅拌釜式反应的过程辨识提供一种新方法。然而，经文献检索发现，三维长短期记忆神经网络用于连续搅拌釜式反应的过程辨识方法还没有。

发明内容

为了克服已有连续搅拌釜式反应过程辨识方法的无法实现在线监测、精确性较差的不足，本发明提出一种基于三维长短期记忆神经网络的过程辨识方法，对过程状态进行在线监测，实现对产物浓度的精确辨识。

本发明解决其技术问题所采用的技术方案是：

一种基于深度神经网络的连续搅拌釜式反应过程辨识方法，所述方法包括以下步骤：

(1)获取连续搅拌釜式反应器运行过程中过程变量数据

运行连续搅拌釜式反应器设备，并通过传感器获取冷却液体积流量数据q_c和产物浓度数据C_a，建立获取连续搅拌釜式反应器运行过程中过程变量数据；

(2)对采集到的过程变量数据进行数据预处理

冷却液体积流量和产物浓度之间单位不同，首先需要对数据进行标准化处理，消除变量之间因量纲不同带来的差异，从而加快模型的训练速度；其次，选取时间滞后，并将过程变量整理成三维输入形式；最后，将数据分为训练集、验证集和测试集，建立过程变量数据预处理；

(3)基于三维长短期记忆神经网络建立辨识模型并训练

利用记忆单元建立三维长短期记忆神经网络模型，确定网络结构和超参数；利用自适应矩估计算法在训练集上优化网络参数，并在验证集上选择网络模型的超参数，完成基于三维长短期记忆神经网络建立辨识模型并训练。

进一步，所述方法还包括以下步骤：

(4)对三维长短期记忆神经网络模型进行评估

采用均方根误差RMSE、相对均方根误差RE和最大绝对误差MAE评价指标在测试集上对模型进行评估，评估模型是否达到辨识要求。

再进一步，所述步骤2的过程为：

步骤2.1：数据的质量对深度学习模型的性能起决定性作用。为了消除变量间因量纲不同带来的差异，对原始数据进行z-score标准化处理，如下所示：

式中，x'是经z-score标准化处理后的数据；x是通过传感器采集到的过程变量数据q_c和C_a；μ是过程变量数据的均值；σ是过程变量数据的标准差；

步骤2.2：选取时间滞后，对数据进行时序化处理，并整理成三维输入形式，网络的输入表示如下：

x＝[[q_c,t-n,C_a,t-n],…,[q_c,t-1,C_a,t-1],[q_c,t,C_a,t]]

式中，q_c是冷却液体积流量，l/min；C_a是产物浓度数据，mol/l；t表示当前时刻；n表示时间滞后。网络的输出为C_a,t+1；

步骤2.3：将处理后的数据分为训练集、验证集和测试集，训练集用于模型的训练，其样本数为总样本数的60％；验证集用于对模型的超参数进行选择，选择在验证集上表现最好的模型作为最终的测试模型，其样本数为总样本数的10％；测试集用于对最终的模型进行评估，其样本数为总样本数的30％。

更进一步，所述步骤3的过程为：

步骤3.1：利用记忆单元建立三维长短期记忆神经网络

记忆单元包含四个部分：输入门、输出门、遗忘门和状态单元，所述状态单元储存输入数据的信息，并在不同时刻实时更新内部状态，使信息能够在时间维度上流动；遗忘门用来控制要从上一时刻的状态单元中“遗忘”无用的信息；输入门用来控制当前时刻状态单元要储存哪些信息；输出门用来控制当前时刻要输出哪些信息；

输入门用来控制当前时刻状态单元要储存哪些信息，计算过程如下：

式中，是t时刻输入门的输入值，它包括三个部分：第一部分来自输入层的输入，其中w_il是输入层与输入门之间的连接权值；是t时刻输入层的输入值；I表示输入层中的输入数；第二部分来自上一时刻隐藏层的输出，其中w_hl是隐藏层与输入门之间的连接权值；是上一时刻隐藏层的输出值；H表示隐藏层输出的个数；第三部分来自上一时刻状态单元储存的前面时刻的状态信息，其中w_cl是状态单元与输入门之间的连接权值；C表示状态单元的个数；是上一时刻状态单元储存的状态值；

式中，是t时刻输入门的激活值；是t时刻输入门的偏置；激活函数f一般是sigmoid函数，输入门的作用是综合三部分的输入信息，经激活函数激活后产生0至1之间的激活值，相当于一扇“门”，所以称为输入门，控制着输入信息的流入；

遗忘门用来控制从上一时刻的状态单元中“遗忘”信息，计算过程如下：

式中，是t时刻遗忘门的输入值，它包括三个部分：第一部分来自输入层的输入，其中是输入层与遗忘门之间的连接权值；第二部分来自上一时刻隐藏层的输入，其中是隐藏层与遗忘门之间的连接权值；第三部分来自上一时刻状态单元储存的状态信息，其中是状态单元与遗忘门之间的连接权值；

式中，是t时刻遗忘门的激活值；是t时刻状态单元的偏置；同输入门一样，遗忘门中激活函数f通常也是sigmoid函数，输入门综合三部分的信息，产生0至1之间的激活值，具有“门”的作用，控制状态单元“遗忘”部分无用信息；

状态单元是长短期记忆单元的核心部分，它储存输入数据的信息，并在不同时刻实时更新信息；状态单元有三个节点控制着它的输入和输出，分别是输入节点、遗忘节点和输出节点，计算过程如下：

式中，是t时刻状态单元输入节点的输入值，它包括两个部分：第一部分来自t时刻输入层的输入，其中w_ic是输入层与状态单元之间的连接权值；第二部分来自上一时刻隐藏层的输出，其中w_hc是隐藏层与状态单元之间的连接权值；

上式表示状态单元的更新，是t时刻状态单元储存的状态值，即更新后的值；它包括两个部分：第一部分来自于遗忘节点，是经遗忘门处理后的状态信息；第二部分来自于输入节点，是经输入门处理后的输入值，其中是t时刻状态单元的偏置；激活函数g不同于输入门和遗忘门，通常采用双曲正切函数；

输出门用来控制当前时刻记忆单元要输出哪些信息，计算过程如下：

式中，是t时刻输出门的输入值，它包括三个部分：第一部分来自输入层的输入，其中w_iw是输入层与输出门之间的连接权值；第二部分来自上一时刻隐藏层的输出，其中w_hw是隐藏层与输出门之间的连接权值；第三部分是t时刻状态单元更新后状态信息，其中w_cw是状态单元与输出门之间的连接权值；

式中，是t时刻输出门的激活值；是输出门t时刻的偏置；激活函数f通常是sigmoid函数；

式中，是t时刻经输出门处理后的记忆单元的输出；是状态单元中输出节点的偏置；激活函数v通常是双曲正切函数；

步骤3.2：利用自适应矩估计算法优化网络参数

利用自适应矩估计算法优化网络参数。首先定义α表示初始学习率；定义β₁表示一阶矩估计指数衰减率；定义β₂表示二阶矩估计指数衰减率，定义j表示梯度的一阶矩；定义k表示梯度的二阶矩；定义θ为网络参数，包括网络中的权值和偏置；定义f(θ)表示目标函数；定义m表示迭代更新的次数。自适应矩估计算法的优化流程如下：

3.2.1)初始化相关参数

在参数更新前，令α＝0.001，β₁＝0.9，β₂＝0.999，j＝0，k＝0，不断优化θ，直到目标函数f(θ)满足求解要求；

3.2.2)更新一阶矩和二阶矩，在任意时刻，只要目标函数f(θ)不满足求解要求，就会在下一时刻更新一阶矩和二阶矩，过程如下：

式中，g_m是m次迭代更新时网络参数的梯度；是求梯度符号；θ_m-1是m-1次迭代更新后的参数矩阵。

j_m＝β₁·j_m-1+(1-β₁)·g_m

上面两个式子分别对一阶矩和二阶矩进行更新。

上面两个式子分别对一阶矩和二阶矩进行偏差校正，其中，和分别是校正后的一阶矩和二阶矩；

3.2.3)更新网络参数，过程如下所示：

式中，θ_m是m次迭代更新后的参数矩阵。为了避免分母为零，令ε＝10^-8；

若θ_m满足求解要求，则停止优化并输出结果，否则跳回3.2.2)继续优化。

本发明的有益效果主要表现在：本发明结合化工过程变量数据的特点，提出一种三维长短期记忆神经网络模型以充分提取数据的时间特征，并利用自适应矩估计算法优化网络参数，最后采用模型评价指标对模型性能进行评估，其结果可以应用到连续搅拌釜式反应的过程辨识中。

附图说明

图1是对本发明方法的流程图；

图2是本发明提出的用于连续搅拌复式反应的3D LSTM NN模型的结构图；

图3是本发明提出的3D LSTM NN方法和已有的2D LSTM NN方法和SVM方法的辨识结果误差分布小提琴图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种基于深度神经网络的连续搅拌釜式反应过程辨识方法，包括以下步骤：

(1)获取连续搅拌釜式反应器运行过程中过程变量数据

运行连续搅拌釜式反应器设备，运行过程中反应放热，产生的热量会降低反应速度，通过调节冷却液流量可以控制产物浓度。通过传感器获取冷却液体积流量数据q_c和产物浓度数据C_a。

(2)对采集到的过程变量数据进行数据预处理，过程如下：

步骤2.1：数据的质量对深度学习模型的性能起决定性作用。为了消除变量间因量纲不同带来的差异，对原始数据进行z-score标准化处理，如下所示：

式中，x'是经z-score标准化处理后的数据；x是通过传感器采集到的过程变量数据q_c和C_a；μ是过程变量数据的均值；σ是过程变量数据的标准差。

步骤2.2：选取时间滞后，对数据进行时序化处理，并整理成三维输入形式，网络的输入可表示如下：

x＝[[q_c,t-n,C_a,t-n],…,[q_c,t-1,C_a,t-1],[q_c,t,C_a,t]]

式中，q_c是冷却液体积流量，l/min；C_a是产物浓度数据，mol/l；t表示当前时刻；n表示时间滞后。网络的输出为C_a,t+1。

步骤2.3：将处理后的数据分为训练集、验证集和测试集。训练集用于模型的训练，其样本数一般为总样本数的60％；验证集用于对模型的超参数进行选择，选择在验证集上表现最好的模型作为最终的测试模型，其样本数一般为总样本数的10％；测试集用于对最终的模型进行评估，其样本数一般为总样本数的30％。

(3)基于三维长短期记忆神经网络建立辨识模型并训练，过程如下：

步骤3.1：利用记忆单元建立三维长短期记忆神经网络

长短期记忆神经网络目前应用在机器翻译和语音识别领域，结合化工生产中的过程变量数据特点，本文提出一种用于连续搅拌釜式反应过程辨识的三维长短期记忆神经网络，模型结构如附图2所示。模型能够提取数据中的时间特征，更好的处理过程的时变性。记忆单元包含四个部分：输入门、输出门、遗忘门和状态单元。其中最重要的部分是状态单元，它能够储存输入数据的信息，并在不同时刻实时更新内部状态，使信息能够在时间维度上流动；遗忘门用来控制要从上一时刻的状态单元中“遗忘”无用的信息；输入门用来控制当前时刻状态单元要储存哪些信息；输出门用来控制当前时刻要输出哪些信息。

输入门用来控制当前时刻状态单元要储存哪些信息。具体计算过程如下：

式中，是t时刻输入门的输入值，它包括三个部分：第一部分来自输入层的输入，其中w_il是输入层与输入门之间的连接权值；是t时刻输入层的输入值；I表示输入层中的输入数；第二部分来自上一时刻隐藏层的输出，其中w_hl是隐藏层与输入门之间的连接权值；是上一时刻隐藏层的输出值；H表示隐藏层输出的个数；第三部分来自上一时刻状态单元储存的前面时刻的状态信息，其中w_cl是状态单元与输入门之间的连接权值；C表示状态单元的个数；是上一时刻状态单元储存的状态值；

式中，是t时刻输入门的激活值；是t时刻输入门的偏置；激活函数f一般是sigmoid函数。输入门的作用是综合三部分的输入信息，经激活函数激活后产生0至1之间的激活值，相当于一扇“门”，所以称为输入门，控制着输入信息的流入。

遗忘门用来控制从上一时刻的状态单元中“遗忘”信息。具体计算过程如下：

式中，是t时刻遗忘门的输入值，它包括三个部分：第一部分来自输入层的输入，其中是输入层与遗忘门之间的连接权值；第二部分来自上一时刻隐藏层的输入，其中是隐藏层与遗忘门之间的连接权值；第三部分来自上一时刻状态单元储存的状态信息，其中是状态单元与遗忘门之间的连接权值。

式中，是t时刻遗忘门的激活值；是t时刻状态单元的偏置；同输入门一样，遗忘门中激活函数f通常也是sigmoid函数。输入门综合三部分的信息，产生0至1之间的激活值，具有“门”的作用，控制状态单元“遗忘”部分无用信息。

状态单元是长短期记忆单元的核心部分，它储存输入数据的信息，并在不同时刻实时更新信息，使信息能够在时间维度上流动，从而有效抑制“梯度弥散”问题的发生。状态单元有三个节点控制着它的输入和输出，分别是输入节点、遗忘节点和输出节点。具体的计算过程如下：

式中，是t时刻状态单元输入节点的输入值，它包括两个部分：第一部分来自t时刻输入层的输入，其中w_ic是输入层与状态单元之间的连接权值；第二部分来自上一时刻隐藏层的输出，其中w_hc是隐藏层与状态单元之间的连接权值。

上式表示状态单元的更新，是t时刻状态单元储存的状态值，即更新后的值。它包括两个部分：第一部分来自于遗忘节点，是经遗忘门处理后的状态信息；第二部分来自于输入节点，是经输入门处理后的输入值，其中是t时刻状态单元的偏置；激活函数g不同于输入门和遗忘门，通常采用双曲正切函数。

输出门用来控制当前时刻记忆单元要输出哪些信息，具体的计算过程如下：

式中，是t时刻输出门的输入值，它包括三个部分：第一部分来自输入层的输入，其中w_iw是输入层与输出门之间的连接权值；第二部分来自上一时刻隐藏层的输出，其中w_hw是隐藏层与输出门之间的连接权值；第三部分是t时刻状态单元更新后状态信息，其中w_cw是状态单元与输出门之间的连接权值。

式中，是t时刻输出门的激活值；是输出门t时刻的偏置；激活函数f通常是sigmoid函数。

式中，是t时刻经输出门处理后的记忆单元的输出；是状态单元中输出节点的偏置；激活函数v通常是双曲正切函数。

步骤3.2：利用自适应矩估计算法优化网络参数

利用自适应矩估计算法优化网络参数。首先定义α表示初始学习率，设置为0.001；定义β₁表示一阶矩估计指数衰减率，设置为0.9；定义β₂表示二阶矩估计指数衰减率，设置为0.999；定义j表示梯度的一阶矩；定义k表示梯度的二阶矩；定义θ为网络参数，包括网络中的权值和偏置；定义f(θ)表示目标函数；定义m表示迭代更新的次数。自适应矩估计算法的优化流程如下：

3.2.1)初始化相关参数。在参数更新前，令α＝0.001，β₁＝0.9，β₂＝0.999，j＝0，k＝0，不断优化θ，直到目标函数f(θ)满足求解要求；

3.2.2)更新一阶矩和二阶矩。在任意时刻，只要目标函数f(θ)不满足求解要求，就会在下一时刻更新一阶矩和二阶矩，具体过程如下：

式中，g_m是m次迭代更新时网络参数的梯度；是求梯度符号；θ_m-1是m-1次迭代更新后的参数矩阵。

j_m＝β₁·j_m-1+(1-β₁)·g_m

上面两个式子分别对一阶矩和二阶矩进行更新。

上面两个式子分别对一阶矩和二阶矩进行偏差校正，其中，和分别是校正后的一阶矩和二阶矩；

3.2.3)更新网络参数。具体过程如下所示：

式中，θ_m是m次迭代更新后的参数矩阵。为了避免分母为零，令ε＝10^-8；

若θ_m满足求解要求，则停止优化并输出结果，否则跳回3.2.2)继续优化。

(4)对三维长短期记忆神经网络模型进行评估

对优化后的模型在测试集上进行评估，评估指标为RMSE、RE和MAE，计算公式如下：

式中，表示模型的输出；y_i表示真实值；M表示测试集的样本数。如果模型满足要求，则可以利用其进行过程辨识；否则，需要重新建立模型并选择超参数。

实例：一种基于深度神经网络的连续搅拌釜式反应过程辨识方法，过程如下：

(1)进行实验并选获取实验数据

运行连续搅拌釜式反应器实验设备，并通过传感器获取冷却液体积流量数据q_c和产物浓度数据C_a，单位分别为l/min和mol/l。

(2)数据预处理

首先，为了消除变量间因量纲不同带来的差异，对原始数据进行z-score标准化处理；随后，根据经验选取3个时间滞后(即n＝3)，并通过三维时序化处理将数据整理成三维输入形式；最后，将处理后的数据分为训练集、验证集和测试集，其样本数分别为总样本数的60％、10％和30％。

(3)建立三维长短期记忆神经网络模型，并利用自适应矩估计算法优化网络参数。

基于记忆单元建立三维长短期记忆神经网络，模型结构如附图2所示，包括两个隐藏层，第一个隐藏层有10个记忆单元；第二个隐藏层有20个记忆单元。由于是回归预测问题，最后叠加一个线性回归层。利用自适应矩估计算法优化网络参数。在训练集上训练模型的同时在验证集上验证，并保存在验证集上表现最好的模型。

(4)利用测试集对优化后的网络模型的辨识效果进行评估。

对优化后的模型在测试集上进行评估，评估指标为RMSE、RE和MAE。将本方法得到的产物浓度辨识结果与已有的的二维长短期记忆神经网络(2D LSTM NN)方法和支持向量机(SVM)方法进行比较，比较结果如表1所示。

表1

从结果可知，3D LSTM NN方法的各项评估指标RMSE、RE、MAE都小于2D LSTM NN和SVM方法，说明3D LSTM NN方法辨识更加准确。附图3是三种方法的辨识误差分布小提琴图。可以看出，3D LSTM NN方法辨识结果的误差上界和下界都要远小于另外两种方法，误差从整体分布上更为集中且更接近0，性能更优。因此，用于过程辨识的三维长短期记忆神经网络方法具有通用性强、准确度高的特点，能够对化工生产中的连续搅拌釜式反应过程进行辨识，同时也为其他过程辨识提供了一种有效的新方法。

Claims (4)

1.一种基于深度神经网络的连续搅拌釜式反应过程辨识方法，其特征在于，所述方法包括以下步骤：

(1)获取连续搅拌釜式反应器运行过程中过程变量数据

运行连续搅拌釜式反应器设备，并通过传感器获取冷却液体积流量数据q_c和产物浓度数据C_a，建立获取连续搅拌釜式反应器运行过程中过程变量数据；

(2)对采集到的过程变量数据进行数据预处理

冷却液体积流量和产物浓度之间单位不同，首先需要对数据进行标准化处理，消除变量之间因量纲不同带来的差异，从而加快模型的训练速度；其次，选取时间滞后，并将过程变量整理成三维输入形式；最后，将数据分为训练集、验证集和测试集，建立过程变量数据预处理；

(3)基于三维长短期记忆神经网络建立辨识模型并训练

利用记忆单元建立三维长短期记忆神经网络模型，确定网络结构和超参数；利用自适应矩估计算法在训练集上优化网络参数，并在验证集上选择网络模型的超参数，完成基于三维长短期记忆神经网络建立辨识模型并训练。

2.如权利要求1所述的基于深度神经网络的连续搅拌釜式反应过程辨识方法，其特征在于，所述方法还包括以下步骤：

(4)对三维长短期记忆神经网络模型进行评估

采用均方根误差RMSE、相对均方根误差RE和最大绝对误差MAE评价指标在测试集上对模型进行评估，评估模型是否达到辨识要求。

3.如权利要求1或2所述的基于深度神经网络的连续搅拌釜式反应过程辨识方法，其特征在于，所述步骤2的过程为：

步骤2.1：数据的质量对深度学习模型的性能起决定性作用。为了消除变量间因量纲不同带来的差异，对原始数据进行z-score标准化处理，如下所示：

式中，x'是经z-score标准化处理后的数据；x是通过传感器采集到的过程变量数据q_c和C_a；μ是过程变量数据的均值；σ是过程变量数据的标准差；

步骤2.2：选取时间滞后，对数据进行时序化处理，并整理成三维输入形式，网络的输入表示如下：

x＝[[q_c,t-n,C_a,t-n],…,[q_c,t-1,C_a,t-1],[q_c,t,C_a,t]]

式中，q_c是冷却液体积流量，l/min；C_a是产物浓度数据，mol/l；t表示当前时刻；n表示时间滞后。网络的输出为C_a,t+1；

步骤2.3：将处理后的数据分为训练集、验证集和测试集，训练集用于模型的训练，其样本数为总样本数的60％；验证集用于对模型的超参数进行选择，选择在验证集上表现最好的模型作为最终的测试模型，其样本数为总样本数的10％；测试集用于对最终的模型进行评估，其样本数为总样本数的30％。

4.如权利要求1或2所述的基于深度神经网络的连续搅拌釜式反应过程辨识方法，其特征在于，所述步骤3的过程为：

步骤3.1：利用记忆单元建立三维长短期记忆神经网络

记忆单元包含四个部分：输入门、输出门、遗忘门和状态单元，所述状态单元储存输入数据的信息，并在不同时刻实时更新内部状态，使信息能够在时间维度上流动；遗忘门用来控制要从上一时刻的状态单元中“遗忘”无用的信息；输入门用来控制当前时刻状态单元要储存哪些信息；输出门用来控制当前时刻要输出哪些信息；

输入门用来控制当前时刻状态单元要储存哪些信息，计算过程如下：

式中，是t时刻输入门的输入值，它包括三个部分：第一部分来自输入层的输入，其中w_il是输入层与输入门之间的连接权值；是t时刻输入层的输入值；I表示输入层中的输入数；第二部分来自上一时刻隐藏层的输出，其中w_hl是隐藏层与输入门之间的连接权值；是上一时刻隐藏层的输出值；H表示隐藏层输出的个数；第三部分来自上一时刻状态单元储存的前面时刻的状态信息，其中w_cl是状态单元与输入门之间的连接权值；C表示状态单元的个数；是上一时刻状态单元储存的状态值；

式中，是t时刻输入门的激活值；是t时刻输入门的偏置；激活函数f一般是sigmoid函数，输入门的作用是综合三部分的输入信息，经激活函数激活后产生0至1之间的激活值，相当于一扇“门”，所以称为输入门，控制着输入信息的流入；

遗忘门用来控制从上一时刻的状态单元中“遗忘”信息，计算过程如下：

式中，是t时刻遗忘门的输入值，它包括三个部分：第一部分来自输入层的输入，其中是输入层与遗忘门之间的连接权值；第二部分来自上一时刻隐藏层的输入，其中是隐藏层与遗忘门之间的连接权值；第三部分来自上一时刻状态单元储存的状态信息，其中是状态单元与遗忘门之间的连接权值；

式中，是t时刻遗忘门的激活值；是t时刻状态单元的偏置；同输入门一样，遗忘门中激活函数f通常也是sigmoid函数，输入门综合三部分的信息，产生0至1之间的激活值，具有“门”的作用，控制状态单元“遗忘”部分无用信息；

状态单元是长短期记忆单元的核心部分，它储存输入数据的信息，并在不同时刻实时更新信息；状态单元有三个节点控制着它的输入和输出，分别是输入节点、遗忘节点和输出节点，计算过程如下：

式中，是t时刻状态单元输入节点的输入值，它包括两个部分：第一部分来自t时刻输入层的输入，其中w_ic是输入层与状态单元之间的连接权值；第二部分来自上一时刻隐藏层的输出，其中w_hc是隐藏层与状态单元之间的连接权值；

上式表示状态单元的更新，是t时刻状态单元储存的状态值，即更新后的值；它包括两个部分：第一部分来自于遗忘节点，是经遗忘门处理后的状态信息；第二部分来自于输入节点，是经输入门处理后的输入值，其中是t时刻状态单元的偏置；激活函数g不同于输入门和遗忘门，通常采用双曲正切函数；

输出门用来控制当前时刻记忆单元要输出哪些信息，计算过程如下：

式中，是t时刻输出门的输入值，它包括三个部分：第一部分来自输入层的输入，其中w_iw是输入层与输出门之间的连接权值；第二部分来自上一时刻隐藏层的输出，其中w_hw是隐藏层与输出门之间的连接权值；第三部分是t时刻状态单元更新后状态信息，其中w_cw是状态单元与输出门之间的连接权值；

式中，是t时刻输出门的激活值；是输出门t时刻的偏置；激活函数f通常是sigmoid函数；

式中，是t时刻经输出门处理后的记忆单元的输出；是状态单元中输出节点的偏置；激活函数v通常是双曲正切函数；

步骤3.2：利用自适应矩估计算法优化网络参数

利用自适应矩估计算法优化网络参数。首先定义α表示初始学习率；定义β₁表示一阶矩估计指数衰减率；定义β₂表示二阶矩估计指数衰减率；定义j表示梯度的一阶矩；定义k表示梯度的二阶矩；定义θ为网络参数，包括网络中的权值和偏置；定义f(θ)表示目标函数；定义m表示迭代更新的次数。自适应矩估计算法的优化流程如下：

3.2.1)初始化相关参数

在0时刻，令α＝0.001，β₁＝0.9，β₂＝0.999，m＝0，n＝0，不断优化θ，直到目标函数f(θ)满足求解要求；

3.2.2)更新一阶矩和二阶矩，在任意时刻，只要目标函数f(θ)不满足求解要求，就会在下一时刻更新一阶矩和二阶矩，过程如下：

式中，g_m是m次迭代更新时网络参数的梯度；是求梯度符号；θ_m-1是m-1次迭代更新后的参数矩阵。

j_m＝β₁·j_m-1+(1-β₁)·g_m

上面两个式子分别对一阶矩和二阶矩进行更新。

上面两个式子分别对一阶矩和二阶矩进行偏差校正，其中，和分别是校正后的一阶矩和二阶矩；

3.2.3)更新网络参数，过程如下所示：

式中，θ_m是m次迭代更新后的参数矩阵。为了避免分母为零，令ε＝10^-8；

若θ_m满足求解要求，则停止优化并输出结果，否则跳回3.2.2)继续优化。