CN112488286B - 一种用于mbr膜污染在线监测方法及系统 - Google Patents

Abstract

本发明公开了一种用于MBR膜污染在线监测方法及系统，该方法包括：获取当前时刻来水中MBR膜污染影响参数，并将当前时刻MBR膜污染影响参数输入到当前最优的LSTM循环神经网络模型中，得到当前时刻的膜通量预测结果并进而判断MBR的污堵情况；其中，LSTM循环神经网络模型主要基于MBR膜污染影响因素和膜通量的历史数据构成的训练数据集，根据主成分分析、LSTM循环神经网络算法建立而成。本发明通过主成分分算法减少MBR膜通量判断过程中的冗余度，降低训练样本维度，提高计算速度；针对MBR膜污染的时间特性，LSTM循环神经网络解决了时间序列化的问题。本发明很好地建立了影响膜污染因素与表征膜污染程度的膜通量间的非线性关系，提前预知膜的污堵情况。

Description

一种用于MBR膜污染在线监测方法及系统

技术领域

本发明涉及火电厂废水处理技术领域，特别涉及一种用于MBR膜污染在线监测方法及系统。

背景技术

目前，膜生物反应器(Membrane Bioreactor，MBR)是污水生物处理技术和膜技术有机结合产生的一种高效废水处理工艺，其利用微生物在膜生物反应器中对污水中的有机物粒子进行降解分离处理，达到净化水质的目的。该技术能够有效提高出水水质的品质，避免传统生物处理方式中存在的污泥膨胀和低污泥浓度等各种不利因素。

研究表明膜生物反应器在废水处理过程中，膜与混合液中的菌体、固体颗粒、有机物、盐等物质发生的物理反应和化学反应，使这些微粒不断累积在膜表面和膜孔道内，膜孔半径不断减小，最终导致膜的污染。膜污染严重影响MBR膜分离单元的性能，造成膜通量降低、透水率减少、跨膜压差增大等，使MBR膜的出水水质降低和使用寿命缩短，阻碍了膜的推广使用。因此，正确预测膜的污染状况并及时对膜进行清洗维护很有必要。

膜通量是表征膜污染的重要参数，通过膜通量大小预测膜的污染程度，做到及时对MBR膜的清洗。因此，开展膜通量的快速及时获取，实现MBR膜污染在线监测是火电厂废水处理行业一个亟待解决的问题。

发明内容

本发明的目的是提供了一种用于MBR膜污染在线监测方法及系统，克服膜污染判断过程中具有明显滞后效应的缺陷，实现快速、精确的在线膜污染监测过程。

通过本发明可以实现的技术目的不限于上文已经特别描述的内容，并且本领域技术人员将从下面的详细描述中更加清楚地理解本文中未描述的其他技术目的。

本发明解决上述技术问题的技术方案如下：

根据本公开的一方面，本发明提供一种用于MBR膜污染在线监测方法，其特征在于，所述膜污染在线监测方法包括：

获取当前时刻来水中的MBR膜污染影响参数数据；

将当前时刻的MBR膜污染影响参数数据输入到当前最优的LSTM循环神经网络模型中，得到当前时刻的膜通量预测结果；其中，LSTM循环神经网络模型主要基于MBR膜污染影响因素和膜通量的历史数据构成的训练数据集，根据主成分分析、LSTM循环神经网络算法建立而成；

其中，所述当前最优的LSTM循环神经网络模型的建立方法具体包括：

获取训练样本，所述训练样本包括由MBR膜污染影响因素和MBR膜通量构成的历史数据，具有多个输入和一个输出；所述输入为MBR膜污染影响因素；所述输出为MBR膜通量；

训练样本输入特征参数优化，采用主成分分析算法对所述训练样本中的MBR膜污染影响因素进行处理，得到与MBR膜通量相关的主成分；

建立LSTM循环神经网络模型，所述LSTM循环神经网络模型为多输入单输出的三层模型；所述第一层为输入层，其对应于训练数据集中MBR膜污染影响因素的参数时间序列；所述第二层为隐含层，其为LSTM循环网络结构；所述第三层为输出层，其对应于MBR膜通量预测序列，基于主成分分量训练得到膜通量预测结果，并对比训练数据集中的实际膜通量数据，计算LSTM模型误差函数，并反向训练计算，不断优化LSTM网络模型，最终得到最优的LSTM网络模型。

可选地，所述训练样本对为输入时间序列信号和输出时间序列信号组成的时间序列集(X,Y)；

所述输入时间序列信号为所述训练样本的输入值；所述输入时间序列信号为X＝[xi]m＝[xij]mⅹp，i＝1,2,…,t,…m，j＝1,2,……p，m为训练样本的样本个数，p为所述MBR膜污染影响因素参数个数；所述MBR膜污染影响因素参数主要包括污泥浓度、温度、跨膜压差、pH值、污泥混合液浓度、曝气强度、颗粒粒度、COD污泥负荷等；

所述输出时间序列信号为所述样本对的输出值；所述输出时间序列信号为Y＝[yi]mⅹ1，i＝1,2,…,t,…m，m为所述训练样本中MBR膜通量的样本个数。

可选地，训练样本输入特征参数优化，采用主成分分析算法对所述训练样本中的MBR膜污染影响因素进行处理，得到与MBR膜通量相关的主成分，具体包括：计算所述训练样本中所述MBR膜污染影响参数的相关系数矩阵R：

其中，r_ab为所述训练样本中x_a与x_b的相关系数，为变量x_a的样本均值，/>为变量x_b的样本均值；

根据特征方程|λI-R|＝0，计算特征值，所述特征值为λ_j,j＝1,2,...,p，并按从大到小的顺序排序所述特征值，λ₁≥λ₂≥…≥λ_p，其中，I表示单位矩阵；

计算每个所述特征值λ_j,j＝1,2,...,p对应的特征向量e_j,j＝1,2,...,p；其中，||e_j||＝1；

根据所述特征值，计算累计贡献率，选取所述累计贡献率达85％～95％的特征值，并所述累计贡献率达85％～95％的特征值的个数被确定为所述主成分分量的个数；所述累计贡献率的计算公式为：

根据所述特征值以及所述特征向量，计算主成分载荷；所述主成分载荷的计算公式为

根据所述主成分载荷，确定主成分矢量矩阵；所述主成分矢量矩阵为Z＝[z_il]_mⅹq：

可选地，所述根据所述与MBR膜通量相关的主成分，建立LSTM循环神经网络模型，具体包括：

建立LSTM循环神经网络结构：LSTM网络结构的输入神经元个数为主成分分量的个数；LSTM结构的输出神经元个数为MBR膜通量；LSTM隐含层的个数需要通过LSTM网络的迭代训练确定最佳的隐含层神经元个数，LSTM隐含层采用LSTM单元，该单元具有三个门和一个状态更新单元，所述三个门分别为输入门、遗忘门、输出门，输入门用来决定当前时刻网络的输入有多少保存到单元状态中；遗忘门决定上一时刻党员的状态有多少信息保留到当前时刻；输出门用来控制单元状态有多少输出到当前输出值；

训练LSTM循环神经网络模型：训练过程包括前向计算每个神经元的输出值、反向计算每个神经元的误差值以及计算每个神经元之间权重梯度和偏置梯度，训练的参数共有8组，分别是遗忘门的权重矩阵W_fh、W_fx和偏置项b_f、输入门的权重矩阵W_ih、W_ix和偏置项b_i、输出门的权重矩阵W_oh、W_ox和偏置项b_o、计算单元状态的权重矩阵W_ch、W_cx和偏置项b_c；

所述前向计算每个神经元的输出值，计算每个门的输出值，其前向计算公式为：

遗忘门，f_t＝σ(net_f,t)＝σ(W_f·[h_t-1,x_t]+b_f)

输入门，i_t＝σ(net_i,t)＝σ(W_i·[h_t-1,x_t]+b_i)

状态更新单元信息，

输出门，o_t＝σ(net_o,t)＝σ(W_o·[h_t-1,x_t]+b_o)

隐含层最终输出，

全连接层的输出，y_t＝W_yh_t+b_y

其中，net_f,t、net_i,t、net_o,t为LSTM网络中f_t、i_t、c_t、o_t的加权输入；W_f是遗忘门的权重矩阵；h_t-1是上一时刻LSTM网络的输出值；x_t为当前时刻的输入向量；b_f是遗忘门的偏置项；W_i是输入门的权重矩阵；b_i是输入门的偏置项；/>为当前输入的单元状态；W_c是状态更新单元的权重矩阵；b_c是状态更新单元的偏置项；W_o是输出门的权重矩阵；b_o是输出门的偏置项；W_y是隐含层至全连接层的权重矩阵；b_y是隐含层到全连接层的偏置项；/>表示两个矩阵按元素相乘；tanh是双曲正切激活函数；σ(·)表示sigmoid函数/>

所述LSTM反向计算就是计算每个神经元的误差值，其沿着两个误差传播的方向，一个是沿时间的反向传播，从当前时刻开始，计算每个时刻的误差项；另一个是将误差项向上一层传播。在t时刻，LSTM网络的输出值为h_t，那么t时刻的误差项δ_t为：

其中，E为网络所有样本误差，

δ_f,t、δ_i,t、δ_o,t为LSTM网络中f_t、i_t、c_t、o_t对应的误差项，其计算公式为：

net_f,t＝W_f·[h_t-1,x_t]+b_f＝W_fhh_t-1+W_fxx_t+b_f net_i,t＝W_i·[h_t-1,x_t]+b_i＝W_ihh_t-1+W_ixx_t+b_i

net_o，t＝W_o·[h_t-1，x_t]+b_o＝W_ohh_t-1+W_oxx_t+b_o

误差项沿时间轴方向的反向传播为：沿时间轴方向传播的误差项主要是计算相邻的前一时刻的误差项，t-1时刻的误差项δ_t-1为：

根据LSTM网络中各个门的计算过程，f_t、i_t、o_t是h_t-1的函数，通过全导数公式上式可转化为：

根据遗忘门、输入门、状态更新单元信息、输出门及隐含层最终输出计算公式，可得到：

同时根据f_t、i_t、o_t以及net_f,t、net_i,t、/>net_o,t的计算公式，得到对应的偏导数：

将上述公式带入到t-1时刻的误差项δ_t-1中，得到：

根据误差项沿着时间轴反向传播上一时刻的规律，得到误差项沿着时间轴反向传播到任意k时刻的公式

另一个反向传播是将误差项向上一层传播，当前为第l层，则第l-1层的误差项就是误差函数E对l-1层加权输入/>的导数：

是网络在t时刻的输入x_t的函数，而/>为的函数，借助全导数公式求出第l-1层的误差项/>

所述计算每个神经元之间的权重和偏置梯度，LSTM网络的梯度是根据过去各个时刻的权重梯度叠加而得到，在已知误差项δ_f,t、δ_i,t、以及δ_o,t的情况下，LSTM网络在t时刻的权重梯度和偏置项梯度：

将LSTM网络所有时刻的梯度线性叠加，得到最终的权重梯度和偏置项梯度：

根据误差项计算出W_fx、W_ix、W_cx、W_ox的权重梯度：

训练过程中选择均方根误差作为目标损失函数，选择自适应矩估计的Adam算法作为梯度下降的优化算法，通过LSTM网络的反向传播并更新网络中的参数，获得最优的权重及偏置，完成整个LSTM网络模型的训练过程。

根据本公开的一方面，本发明还提供一种用于MBR膜污染在线监测系统，其特征在于，所述膜污染在线监测系统包括：

来水监测参数获取模块，用于获取当前时刻来水中MBR膜污染影响因素的监测指标数据；

膜通量预测结果获取模块，将当前时刻的MBR膜污染影响参数数据输入到当前最优的LSTM循环神经网络模型中，得到当前时刻的膜通量预测结果。其中，LSTM循环神经网络模型主要基于MBR膜污染影响因素和膜通量的历史数据构成的训练数据集，根据主成分分析、LSTM循环神经网络算法建立而成。所述最优LSTM网络模型建立子系统具体包括：

训练样本获取模块，用于获取训练样本数据。所述训练样本包括主要包括MBR膜污染影响因素和膜通量构成的历史数据，为多个输入一个输出；所述输入为MBR膜污染影响因素；所述输出为MBR膜通量。

训练样本优化模块，用于采用主成分分析算法对所述训练样本中的MBR膜污染影响因素进行处理，得到与MBR膜通量相关的主成分。

网络模型建立模块，用于根据与MBR膜通量相关的主成分，建立LSTM网络模型。所述网络模型建立模块主要包括LSTM网络结构建立子模块以及LSTM网络模型训练子模块。

可选地，所述训练样本优化模块，具体包括：

相关系数矩阵计算单元，用于计算所述训练样本中所述MBR膜污染影响参数的相关系数矩阵R；

特征值和特征向量计算单元，根据特征方程|λI-R|＝0，计算特征值λ_j,j＝1,2,...,p；并得到特征值λ_j,j＝1,2,...,p对应的特征向量e_j,j＝1,2,...,p；其中，||e_j||＝1；

主成分分量选择单元，根据所述特征值计算累计贡献率，选取累计贡献率达85％～95％的特征值，并将所述累计贡献率达85％～95％的特征值的个数确定为所述主成分分量的个数；所述累计贡献率的计算公式为：

主成分矢量矩阵计算单元，根据所述特征值以及所述特征向量，计算主成分载荷；所述主成分载荷的计算公式为并根据所述主成分载荷，确定主成分矢量矩阵。

可选地，所述网络模型建立模块，具体包括：

所述网络模型建立模块主要包括LSTM网络结构建立子模块和LSTM网络模型训练子模块；

LSTM网络结构建立子模块，用于建立LSTM网络的结构；所述LSTM网络结构的输入神经元个数为主成分分量的个数；LSTM结构的输出神经元个数为MBR膜通量；LSTM隐含层的个数需要通过LSTM网络的迭代训练确定最佳的隐含层神经元个数，LSTM隐含层采用LSTM单元，该单元具有三个门和一个状态更新单元；所述三个门分别为输入门、遗忘门、输出门，输入门，用来决定当前时刻网络的输入有多少保存到单元状态中；遗忘门决定上一时刻党员的状态有多少信息保留到当前时刻；输出门用来控制单元状态有多少输出到当前输出值；

所述LSTM网络模型训练子模块主要包括：

前向计算单元，用于前向计算每个神经元的输出值。所述前向计算每个神经元的输出值，计算每个门的输出值，其前向计算公式：

遗忘门，f_t＝σ(net_f,t)＝σ(W_f·[h_t-1,x_t]+b_f)

输入门，i_t＝σ(net_i,t)＝σ(W_i·[h_t-1,x_t]+b_i)

状态更新单元信息，

输出门，o_t＝σ(net_o,t)＝σ(W_o·[h_t-1,x_t]+b_o)

隐含层最终输出，

全连接层的输出，y_t＝W_yh_t+b_y

其中，net_f,t、net_i,t、net_o,t为LSTM网络中f_t、i_t、c_t、o_t的加权输入；W_f是遗忘门的权重矩阵；h_t-1是上一时刻LSTM网络的输出值；x_t为当前时刻的输入向量；b_f是遗忘门的偏置项；W_i是输入门的权重矩阵；b_i是输入门的偏置项；/>为当前输入的单元状态；W_c是状态更新单元的权重矩阵；b_c是状态更新单元的偏置项；W_o是输出门的权重矩阵；b_o是输出门的偏置项；W_y是隐含层至全连接层的权重矩阵；b_y是隐含层到全连接层的偏置项；/>表示两个矩阵按元素相乘；tanh是双曲正切激活函数；σ(·)表示sigmoid函数/>

反向计算单元，用于反向计算每个神经元的误差值，所述LSTM反向计算计算每个神经元的误差值，其沿着两个误差传播的方向，一个是沿时间的反向传播，从当前时刻开始，计算每个时刻的误差项；另一个是将误差项向上一层传播，在t时刻，LSTM网络的输出值为h_t，则时刻的误差项δ_t为：

其中，E为网络所有样本误差，

δ_f,t、δ_i,t、δ_o,t为LSTM网络中f_t、i_t、c_t、o_t对应的误差项，其计算公式为：

net_f,t＝W_f·[h_t-1,x_t]+b_f＝W_fhh_t-1+W_fxx_t+b_f net_i,t＝W_i·[h_t-1,x_t]+b_i＝W_ihh_t-1+W_ixx_t+b_i

net_o，t＝W_o·[h_t-1，x_t]+b_o＝W_ohh_t-1+W_oxx_t+b_o

误差项沿时间轴方向的反向传播为：沿时间轴方向传播的误差项主要是计算相邻的前一时刻的误差项，t-1时刻的误差项δ_t-1为：

根据LSTM网络中各个门的计算过程，f_t、i_t、o_t是h_t-1的函数，通过全导数公式上式可转化为：

根据遗忘门、输入门、状态更新单元信息、输出门及隐含层最终输出计算公式，可得到：

同时根据f_t、i_t、o_t以及net_f,t、net_i,t、/>net_o,t的计算公式，得到对应的偏导数：

将上述公式带入到t-1时刻的误差项δ_t-1中，得到：

根据误差项沿着时间轴反向传播上一时刻的规律，得到误差项沿着时间轴反向传播到任意k时刻的公式

另一个反向传播是将误差项向上一层传播，当前为第l层，则第l-1层的误差项就是误差函数E对l-1层加权输入/>的导数：

是网络在t时刻的输入x_t的函数，而/>为的函数，借助全导数公式求出第l-1层的误差项/>

所述计算每个神经元之间的权重和偏置梯度，LSTM网络的梯度是根据过去各个时刻的权重梯度叠加而得到，在已知误差项δ_f,t、δ_i,t、以及δ_o,t的情况下，LSTM网络在t时刻的权重梯度和偏置项梯度：

将LSTM网络所有时刻的梯度线性叠加，得到最终的权重梯度和偏置项梯度：

根据误差项计算出W_fx、W_ix、W_cx、W_ox的权重梯度：

训练过程中选择均方根误差作为目标损失函数，选择自适应矩估计的Adam算法作为梯度下降的优化算法，通过LSTM网络的反向传播并更新网络中的参数，获得最优的权重及偏置，完成整个LSTM网络模型的训练过程。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种用于MBR膜污染在线监测方法及系统，所述膜污染在线监测方法包括：获取当前时刻来水中的MBR膜污染影响参数数据；将当前时刻的MBR膜污染影响参数数据输入到当前最优的LSTM循环神经网络模型中，得到当前时刻的膜通量预测结果；其中，LSTM循环神经网络模型主要基于MBR膜污染影响因素和膜通量的历史数据构成的训练数据集，根据主成分分析、LSTM循环神经网络算法建立而成。本发明通过主成分分算法减少MBR膜通量判断过程中的冗余度，降低训练样本维度，提高计算速度；针对MBR膜污染的时间特性，LSTM循环神经网络解决了时间序列化的问题。本发明克服了膜污染判断过程中具有明显滞后效应的缺陷，实现快速、精确的在线膜污染监测过程。

本领域技术人员将会理解，通过本发明可以实现的效果不限于上文已经具体描述的内容，并且从以下详细说明中将更清楚地理解本发明的其他优点。

附图说明

被包括以提供对本发明的进一步理解的附图示出本发明的实施例，并且与说明书一起用于解释本发明的原理。

图1为本发明实施例用于MBR膜污染在线监测方法的流程示意图；

图2为本发明实施例用于MBR膜污染LSTM网络模型建立方法的流程示意图；

图3为本发明实施例用于MBR膜污染在线监测系统的结构示意图。

具体实施方式

现在将详细参考本发明的示例性实施例，其示例在附图中示出。下面将参考附图给出的详细描述旨在解释本发明的示例性实施例，而不是示出可以根据本发明实现的唯一实施例。以下详细描述包括具体细节以便提供对本发明的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本发明。

在一些情况下，已知的结构和设备被省略或以框图形式示出，集中于结构和设备的重要特征，以免模糊本发明的概念。在整个说明书中将使用相同的附图标记来表示相同或相似的部分。

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“中心”、“内”、“外”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明的目的是提供一种用于MBR膜污染在线监测方法，克服膜污染判断过程中具有明显滞后效应的缺陷，实现快速、精确的在线膜污染监测过程。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

长短时记忆神经网络(Long Short-term Memory，LSTM)是在循环神经网络(Recurrent Neural Network，RNN)基础上发展的一种特殊类型的深度神经网络框架，它是由Hochreiter和Schmidhuber于1997提出。LSTM神经网络解决了RNN中的梯度消失的问题，可以使网络记忆更长时间的内容，使网络的可靠性增强，有效地解决了具有时间序列特性的问题。

主成分分析(Principal Components Analysis，以下简称PCA)算法是由K.Pearson对非随机变量引入的，后由霍特林于1933年推广到随即向量的情形。其主要思想是试图力保数据丢失最少的原则下，对高维数据空间进行降维处理。在BP神经网络模型中引入PCA算法，主要对训练样本进行降维，简化BP神经网络模型的结构。

本发明提出了一种用于MBR膜污染在线监测方法及系统，有效地克服了膜污染判断过程中具有明显滞后效应的缺陷，实现快速、精确的在线膜污染监测过程。通过主成分分算法减少MBR膜通量判断过程中的冗余度，降低训练样本维度，提高计算速度；针对MBR膜污染的时间特性，LSTM循环神经网络解决了时间序列化的问题。基于训练样本，通过不断地训练得到基于主成分分析-LSTM神经网络模型算法的在线监测模型，通过该模型可以快速准确的实现膜污染的判断。

图1为本发明实施例用于MBR膜污染在线监测方法的流程示意图，如

图1所示，本发明实施例提供的MBR膜在线监测方法具体包括以下步骤：

步骤101：获取当前时刻来水中的MBR膜污染影响参数数据，具体包括污泥浓度、温度、跨膜压差、pH值、污泥混合液浓度、曝气强度、颗粒粒度、COD污泥负荷。

步骤102：将当前时刻的MBR膜污染影响参数数据输入到当前最优的LSTM循环神经网络模型中，得到当前时刻的膜通量预测结果；其中，LSTM循环神经网络模型主要基于MBR膜污染影响因素和膜通量的历史数据构成的训练数据集，根据主成分分析、LSTM循环神经网络算法建立而成。

图2为本发明实施例用于MBR膜污染LSTM网络模型建立方法的流程示意图，如图2所示，本发明实施例提供的LSTM网络模型建立方法具体以下步骤：

步骤201：获取训练样本；所述训练样本包括主要包括MBR膜污染影响因素和膜通量构成的历史数据，为多个输入一个输出。所述输入为MBR膜污染影响因素，所述输出为MBR膜通量。

步骤202：训练样本输入特征参数优化；采用主成分分析算法对所述训练样本中的MBR膜污染影响因素进行处理，得到与MBR膜通量相关的主成分。

步骤203：建立LSTM循环神经网络模型；所述LSTM循环神经网络模型为多输入单输出的三层模型；所述第一层为输入层，训练数据集中MBR膜污染影响因素参数时间序列；所述第二层为隐含层，为LSTM循环网络结构；所述第3层为输出层，对应的是MBR膜通量预测序列。基于主成分分量训练得到膜通量预测结果，并对比训练数据集中的实际膜通量数据，计算LSTM模型误差函数，并反向训练计算，不断优化LSTM网络模型，最终得到最优的LSTM网络模型。

步骤201具体包括：

训练样本中来水监测膜污染影响参数主要包括污泥浓度、温度、跨膜压差、pH值、污泥混合液浓度、曝气强度、颗粒粒度、COD污泥负荷等，这些参数作为在线监测模型的输入。

训练样本中的输出值主要为MBR膜通量，对于判断膜污染的参数限于膜通量，其他参数如透水率的计算均可以根据本发明的方法计算得到。

步骤202具体包括：

步骤：计算所述训练样本中所述MBR膜污染影响参数的相关系数矩阵R：

其中，r_ab为所述训练样本中x_a与x_b的相关系数，r_ab＝r_ba，为变量x_a的样本均值，/>为变量x_b的样本均值；

步骤2022：根据特征方程|λI-R|＝0，计算特征值，所述特征值为λ_j,j＝1,2,...,p，并计算每个所述特征值λ_j,j＝1,2,...,p对应的特征向量e_j,j＝1,2,...,p；其中，||e_j||＝1；

步骤：计算累计贡献率；

所述累计贡献率的计算公式：

取累计贡献率达85％～95％的m个特征值，得到λ₁，λ₂，...，λ_m所对应的m个主成分分量。

步骤：计算主成分载荷；

所述主成分载荷计算公式为：

步骤：根据主成分载荷，计算各主成分矢量矩阵；所述主成分矢量矩阵为Z＝[z_it]_nⅹm：

步骤203具体包括：

步骤：建立LSTM循环神经网络结构，所述LSTM网络结构的输入神经元个数为主成分分量的个数。所述LSTM结构的输出神经元个数为MBR膜通量。所述LSTM隐含层的个数需要通过LSTM网络的迭代训练确定最佳的隐含层神经元个数，LSTM隐含层采用LSTM单元，该单元具有三个门和一个状态更新单元。所述三个门分别为输入门、遗忘门、输出门，输入门用来决定当前时刻网络的输入有多少保存到单元状态中；遗忘门决定上一时刻党员的状态有多少信息保留到当前时刻；输出门用来控制单元状态有多少输出到当前输出值。

步骤：训练LSTM循环神经网络模型，练过程包括前向计算每个神经元的输出值、反向计算每个神经元的误差值以及计算每个神经元之间权重梯度和偏置梯度。其训练的参数共有8组，分别是遗忘门的权重矩阵W_fh、W_fx和偏置项b_f、输入门的权重矩阵W_ih、W_ix和偏置项b_i、输出门的权重矩阵W_oh、W_ox和偏置项b_o、计算单元状态的权重矩阵W_ch、W_cx和偏置项b_c。

所述前向计算过程即计算每个门的输出值，其公式为：

遗忘门，f_t＝σ(net_f,t)＝σ(W_f·[h_t-1,x_t]+b_f)

输入门，i_t＝σ(net_i,t)＝σ(W_i·[h_t-1,x_t]+b_i)

状态更新单元信息，

输出门，o_t＝σ(net_o,t)＝σ(W_o·[h_t-1,x_t]+b_o)

隐含层最终输出，

全连接层的输出，y_t＝W_yh_t+b_y

所述反向计算过程就是计算每个神经元的误差值，其沿着两个误差传播的方向，一个是沿时间的反向传播，从当前时刻开始，计算每个时刻的误差项；另一个是将误差项向上一层传播。具体而言就是根据训练数据集预测结果和实际结果计算模型误差函数，并沿着两个方向反向训练，修改LSTM网络模型的参数。

沿时间的反向传播：沿时间轴方向传播的误差项主要是计算相邻的前一时刻的误差项，也即t-1时刻的误差项δ_t-1。

通过全导数公式及前向计算过程，得到t-1时刻的误差项δ_t-1：

根据误差项沿着时间轴反向传播上一时刻的规律，得到误差项沿着时间轴反向传播到任意k时刻的公式即：

另一个反向传播是将误差项向上一层传播，根据当前第l层计算第l-1层的误差项根据全导数公式及前向计算过程，得到第l-1层的误差项/>

根据所述t-1时刻的误差项δ_t-1和l-1层的误差项计算在t时刻的权重梯度和偏置项梯度：

/>

本发明针对实时监测到的来水监测参数值，将其输入到当前最优的LSTM循环神经网络模型中，即可得到当前时刻的膜通量预测结果，实现了在线监测MBR膜的污堵情况，对MBR在污水处理领域的应用具有一定的推广意义。

为实现上述目的，本发明还提供了一种用于MBR膜污染在线监测系统。

图3为本发明实施例用于MBR膜污染在线监测系统的结构示意图，如图3所示。所述在线监测系统包括：

来水监测参数获取模块100，用于获取当前时刻来水中MBR膜污染影响因素的监测指标数据；

膜通量预测结果获取模块200，将当前时刻的MBR膜污染影响参数数据输入到当前最优的LSTM循环神经网络模型中，得到当前时刻的膜通量预测结果。其中，LSTM循环神经网络模型主要基于MBR膜污染影响因素和膜通量的历史数据构成的训练数据集，根据主成分分析、LSTM循环神经网络算法建立而成。

所述最优LSTM网络模型建立子系统具体包括：

训练样本获取模块300，用于获取训练样本数据。所述训练样本包括主要包括MBR膜污染影响因素和膜通量构成的历史数据，为多个输入一个输出；所述输入为MBR膜污染影响因素；所述输出为MBR膜通量。

训练样本优化模块400，用于采用主成分分析算法对所述训练样本中的MBR膜污染影响因素进行处理，得到与MBR膜通量相关的主成分。

网络模型建立模块500，用于根据与MBR膜通量相关的主成分，建立LSTM网络模型。所述网络模型建立模块主要包括LSTM网络结构建立子模块以及LSTM网络模型训练子模块。

所述训练样本优化模块400，具体包括：

相关系数矩阵计算单元，用于计算所述训练样本中所述MBR膜污染影响参数的相关系数矩阵R；

特征值和特征向量计算单元，根据特征方程|λI-R|＝0，计算特征值λ_j,j＝1,2,...,p；并得到特征值λ_j,j＝1,2,...,p对应的特征向量e_j,j＝1,2,...,p；其中，||e_j||＝1；

主成分分量选择单元，根据所述特征值计算累计贡献率，选取累计贡献率达85％～95％的特征值，并将所述累计贡献率达85％～95％的特征值的个数确定为所述主成分分量的个数；所述累计贡献率的计算公式：

主成分矢量矩阵计算单元，根据所述特征值以及所述特征向量，计算主成分载荷；所述主成分载荷的计算公式为并根据所述主成分载荷，确定主成分矢量矩阵。

所述网络模型建立模块500主要包括LSTM网络结构建立5001和LSTM网络模型训练2个子模块5002。

LSTM网络结构建立子模块5001，用于建立LSTM网络的结构；所述LSTM网络结构的输入神经元个数为主成分分量的个数；LSTM结构的输出神经元个数为MBR膜通量；LSTM隐含层的个数需要通过LSTM网络的迭代训练确定最佳的隐含层神经元个数，LSTM隐含层采用LSTM单元，该单元具有三个门和一个状态更新单元。所述三个门分别为输入门、遗忘门、输出门，输入门用来决定当前时刻网络的输入有多少保存到单元状态中；遗忘门决定上一时刻党员的状态有多少信息保留到当前时刻；输出门用来控制单元状态有多少输出到当前输出值。

所述LSTM网络模型训练子模块5002主要包括：

前向计算单元，用于前向计算每个神经元的输出值。所述前向计算每个神经元的输出值，计算每个门的输出值，其前向计算公式：

遗忘门，f_t＝σ(net_f,t)＝σ(W_f·[h_t-1,x_t]+b_f)

输入门，i_t＝σ(net_i,t)＝σ(W_i·[h_t-1,x_t]+b_i)

状态更新单元信息，

输出门，o_t＝σ(net_o,t)＝σ(W_o·[h_t-1,x_t]+b_o)

隐含层最终输出，

全连接层的输出，y_t＝W_yh_t+b_y

其中，net_f,t、net_i,t、net_o,t为LSTM网络中f_t、i_t、c_t、o_t的加权输入；W_f是遗忘门的权重矩阵；h_t-1是上一时刻LSTM网络的输出值；x_t为当前时刻的输入向量；b_f是遗忘门的偏置项；W_i是输入门的权重矩阵；b_i是输入门的偏置项；/>为当前输入的单元状态；W_c是状态更新单元的权重矩阵；b_c是状态更新单元的偏置项；W_o是输出门的权重矩阵；b_o是输出门的偏置项；W_y是隐含层至全连接层的权重矩阵；b_y是隐含层到全连接层的偏置项；/>表示两个矩阵按元素相乘；tanh是双曲正切激活函数；σ(·)表示sigmoid函数/>

反向计算单元50022，用于反向计算每个神经元的误差值。所述LSTM反向计算就是计算每个神经元的误差值，其沿着两个误差传播的方向，一个是沿时间的反向传播，从当前时刻开始，计算每个时刻的误差项；另一个是将误差项向上一层传播。在t时刻，LSTM网络的输出值为h_t，那么t时刻的误差项δ_t为：

其中，E为网络所有样本误差，

设δ_f,t、δ_i,t、δ_o,t为LSTM网络中f_t、i_t、c_t、o_t对应的误差项，其计算公式为：

net_f,t＝W_f·[h_t-1,x_t]+b_f＝W_fhh_t-1+W_fxx_t+b_f net_i,t＝W_i·[h_t-1,x_t]+b_i＝W_ihh_t-1+W_ixx_t+b_i

net_o，t＝W_o·[h_t-1，x_t]+b_o＝W_ohh_t-1+W_oxx_t+b_o/>

误差项沿时间轴方向的反向传播为：沿时间轴方向传播的误差项主要是计算相邻的前一时刻的误差项，也即t-1时刻的误差项δ_t-1为：

根据LSTM网络中各个门的计算过程，f_t、i_t、o_t是h_t-1的函数，通过全导数公式上式可转化为：

根据遗忘门、输入门、状态更新单元信息、输出门及隐含层最终输出计算公式，可得到：

同时根据f_t、i_t、o_t以及net_f,t、net_i,t、/>net_o,t的计算公式，得到对应的偏导数：

将上述公式带入到t-1时刻的误差项δ_t-1中，得到：

/>

根据误差项沿着时间轴反向传播上一时刻的规律，得到误差项沿着时间轴反向传播到任意k时刻的公式即：

另一个反向传播是将误差项向上一层传播，假设当前为第l层，则第l-1层的误差项就是误差函数E对l-1层加权输入/>的导数，即：

因为是网络在t时刻的输入x_t的函数，而为/>的函数，因此需借助全导数公式求出第l-1层的误差项/>

网络参数计算单元50023，用于计算每个神经元之间权重梯度和偏置梯度。所述计算每个神经元之间的权重和偏置梯度，LSTM网络的梯度是根据过去各个时刻的权重梯度叠加而得到。在已知误差项δ_f,t、δ_i,t、以及δ_o,t的情况下，LSTM网络在t时刻的权重梯度和偏置项梯度：

将LSTM网络所有时刻的梯度线性叠加，得到最终的权重梯

度和偏置项梯度：

/>

同理，根据误差项计算出W_fx、W_ix、W_cx、W_ox的权重梯度，即：

上述过程即为LSTM网络训练的全部计算过程，训练过程中选择均方根误差作为目标损失函数，选择自适应矩估计的Adam算法作为梯度下降的优化算法。通过LSTM网络的反向传播并更新网络中的参数，获得最优的权重及偏置，这样就完成了整个LSTM网络模型的训练过程。

与现有技术相比，本发明的有益效果为：

1、通过过主成分分算法减少MBR膜通量判断过程中的冗余度，降低训练样本维度，提高计算速度。

2、针对MBR膜污染的时间特性，LSTM循环神经网络解决了时间序列化的问题，基于该模型能够很好地建立影响膜污染因素与表征膜污染程度的膜通量间的非线性关系，提前预知膜的污堵情况。

3、最重要一点，解决了传统技术中只能依靠出水指标判断膜是否污堵的问题以及判断过程“后知后觉”的问题，克服了操作人员判断主观性所带来的误差，引入了一种实现快速、精确的在线膜污染监测模型。

如上所述，已经给出了本发明的优选实施例的详细描述，以使本领域技术人员能够实施和实践本发明。虽然已经参照示例性实施例描述了本发明，但是本领域技术人员将会理解，在不脱离所附权利要求书中描述的本发明的精神或范围的情况下，可以在本发明中进行各种修改和改变。因此，本发明不应限于在此描述的特定实施例，而应被赋予与本文公开的原理和新颖特征一致的最宽范围。

Claims (7)

1.一种用于MBR膜污染在线监测方法，其特征在于，所述膜污染在线监测方法包括：

获取当前时刻来水中的MBR膜污染影响因素数据；

将当前时刻的MBR膜污染影响因素数据输入到当前最优的LSTM循环神经网络模型中，得到当前时刻的膜通量预测结果；其中，LSTM循环神经网络模型基于MBR膜污染影响因素和膜通量的历史数据构成的训练数据集，根据主成分分析、LSTM循环神经网络算法建立而成；

其中，所述当前最优的LSTM循环神经网络模型的建立方法具体包括：

获取训练样本，所述训练样本包括由MBR膜污染影响因素和MBR膜通量构成的历史数据，具有多个输入和一个输出；所述输入为MBR膜污染影响因素；所述输出为MBR膜通量；

训练样本输入特征参数优化，采用主成分分析算法对所述训练样本中的MBR膜污染影响因素进行处理，得到与MBR膜通量相关的主成分；

建立LSTM循环神经网络模型，所述LSTM循环神经网络模型为多输入单输出的三层模型；第一层为输入层，其对应于训练数据集中MBR膜污染影响因素的参数时间序列；第二层为隐含层，其为LSTM循环网络结构；第三层为输出层，其对应于MBR膜通量预测序列，基于主成分分量训练得到膜通量预测结果，并对比训练数据集中的实际膜通量数据，计算LSTM模型误差函数，并反向训练计算，不断优化LSTM网络模型，最终得到最优的LSTM网络模型。

2.根据权利要求1所述的膜污染在线监测方法，其特征在于，训练样本对为输入时间序列信号和输出时间序列信号组成的时间序列集(X,Y)；

所述输入时间序列信号为所述训练样本的输入值；所述输入时间序列信号为X＝[x_i]_m＝[x_ij]_mⅹp，i＝1,2,…,t,…m，j＝1,2,……p，m为训练样本的样本个数，p为所述MBR膜污染影响因素参数个数；所述MBR膜污染影响因素参数包括污泥浓度、温度、跨膜压差、pH值、污泥混合液浓度、曝气强度、颗粒粒度、COD污泥负荷；

所述输出时间序列信号为样本对的输出值；所述输出时间序列信号为Y＝[y_i]_mⅹ1，i＝1,2,…,t,…m，m为所述训练样本中MBR膜通量的样本个数。

3.根据权利要求1所述的膜污染在线监测方法，其特征在于，训练样本输入特征参数优化，采用主成分分析算法对所述训练样本中的MBR膜污染影响因素进行处理，得到与MBR膜通量相关的主成分，具体包括：

计算所述训练样本中所述MBR膜污染影响因素的相关系数矩阵R：

其中，r_ab为所述训练样本中x_a与x_b的相关系数， 为变量x_a的样本均值，/>为变量x_b的样本均值；

根据特征方程|λI-R|＝0，计算特征值，所述特征值为λ_j,j＝1,2,…,p，并按从大到小的顺序排序所述特征值，λ₁≥λ₂≥…≥λ_p，其中，I表示单位矩阵；

计算每个所述特征值λ_j,j＝1,2,...,p对应的特征向量e_j,j＝1,2,...,p；其中，||e_j||＝1；

根据所述特征值，计算累计贡献率，选取所述累计贡献率达85％～95％的特征值，并所述累计贡献率达85％～95％的特征值的个数被确定为所述主成分分量的个数；所述累计贡献率的计算公式为：

根据所述特征值以及所述特征向量，计算主成分载荷；所述主成分载荷的计算公式为

根据所述主成分载荷，确定主成分矢量矩阵；所述主成分矢量矩阵为Z＝[z_il]_mⅹq：

4.根据权利要求1所述的膜污染在线监测方法，其特征在于，所述建立LSTM循环神经网络模型的方法，具体包括：

建立LSTM循环神经网络结构：LSTM网络结构的输入神经元个数为主成分分量的个数；LSTM结构的输出神经元个数为MBR膜通量；LSTM隐含层的个数需要通过LSTM网络的迭代训练确定最佳的隐含层神经元个数，LSTM隐含层采用LSTM单元，该单元具有三个门和一个状态更新单元，所述三个门分别为输入门、遗忘门、输出门，输入门用来决定当前时刻网络的输入有多少保存到单元状态中；遗忘门决定上一时刻单元状态有多少信息保留到当前时刻；输出门用来控制单元状态有多少输出到当前输出值；

训练LSTM循环神经网络模型：训练过程包括前向计算每个神经元的输出值、反向计算每个神经元的误差值以及计算每个神经元之间权重梯度和偏置梯度，训练的参数共有8组，分别是遗忘门的权重矩阵W_fh、W_fx和偏置项b_f、输入门的权重矩阵W_ih、W_ix和偏置项b_i、输出门的权重矩阵W_oh、W_ox和偏置项b_o、计算单元状态的权重矩阵W_ch、W_cx和偏置项b_c；

所述前向计算每个神经元的输出值，计算每个门的输出值，其前向计算公式为：

遗忘门，f_t＝σ(net_f,t)＝σ(W_f·[h_t-1,x_t]+b_f)

输入门，i_t＝σ(net_i,t)＝σ(W_i·[h_t-1,x_t]+b_i)

状态更新单元信息，输出门，o_t＝σ(net_o,t)＝σ(W_o·[h_t-1,x_t]+b_o)

隐含层最终输出，

全连接层的输出，y_t＝W_yh_t+b_y

其中，net_f,t、net_i,t、net_o,t为LSTM网络中f_t、i_t、c_t、o_t的加权输入；W_f是遗忘门的权重矩阵；h_t-1是上一时刻LSTM网络的输出值；x_t为当前时刻的输入向量；b_f是遗忘门的偏置项；W_i是输入门的权重矩阵；b_i是输入门的偏置项；/>为当前输入的单元状态；W_c是状态更新单元的权重矩阵；b_c是状态更新单元的偏置项；W_o是输出门的权重矩阵；b_o是输出门的偏置项；W_y是隐含层至全连接层的权重矩阵；b_y是隐含层到全连接层的偏置项；/>表示两个矩阵按元素相乘；tanh是双曲正切激活函数；σ(·)表示sigmoid函数/>

LSTM反向计算就是计算每个神经元的误差值，其沿着两个误差传播的方向，一个是沿时间的反向传播，从当前时刻开始，计算每个时刻的误差项；另一个是将误差项向上一层传播，在t时刻，LSTM网络的输出值为h_t，那么t时刻的误差项δ_t为：

其中，E为网络所有样本误差，

δ_f,t、δ_i,t、δ_o,t为LSTM网络中f_t、i_t、c_t、o_t对应的误差项，其计算公式为：

net_f,t＝W_f·[h_t-1,x_t]+b_f＝W_fhh_t-1+W_fxx_t+b_f net_i,t＝W_i·[h_t-1,x_t]+b_i＝W_ihh_t-1+W_ixx_t+b_i

net_o,t＝W_o·[h_t-1,x_t]+b_o＝W_ohh_t-1+W_oxx_t+b_o

误差项沿时间轴方向的反向传播为：沿时间轴方向传播的误差项是计算相邻的前一时刻的误差项，t-1时刻的误差项δ_t-1为：

根据LSTM网络中各个门的计算过程，f_t、i_t、o_t是h_t-1的函数，通过全导数公式上式转化为：

根据遗忘门、输入门、状态更新单元信息、输出门及隐含层最终输出计算公式，得到：

同时根据f_t、i_t、o_t以及net_f,t、net_i,t、/>net_o,t的计算公式，得到对应的偏导数：

将上述公式带入到t-1时刻的误差项δ_t-1中，得到：

根据误差项沿着时间轴反向传播上一时刻的规律，得到误差项沿着时间轴反向传播到任意k时刻的公式

另一个反向传播是将误差项向上一层传播，当前为第l层，则第l-1层的误差项就是误差函数E对l-1层加权输入/>的导数：

是网络在t时刻的输入x_t的函数，而/>为/>的函数，借助全导数公式求出第l-1层的误差项/>

计算每个神经元之间的权重和偏置梯度，LSTM网络的梯度是根据过去各个时刻的权重梯度叠加而得到，在已知误差项δ_f,t、δ_i,t、以及δ_o,t的情况下，LSTM网络在t时刻的权重梯度和偏置项梯度：

将LSTM网络所有时刻的梯度线性叠加，得到最终的权重梯度和偏置项梯度：

根据误差项计算出W_fx、W_ix、W_cx、W_ox的权重梯度：

训练过程中选择均方根误差作为目标损失函数，选择自适应矩估计的Adam算法作为梯度下降的优化算法，通过LSTM网络的反向传播并更新网络中的参数，获得最优的权重及偏置，完成整个LSTM网络模型的训练过程。

5.一种用于MBR膜污染在线监测系统，其特征在于，所述膜污染在线监测系统包括：

来水监测参数获取模块，用于获取当前时刻来水中MBR膜污染影响因素数据；

膜通量预测结果获取模块，将当前时刻的MBR膜污染影响因素数据输入到当前最优的LSTM循环神经网络模型中，得到当前时刻的膜通量预测结果，其中，LSTM循环神经网络模型基于MBR膜污染影响因素和膜通量的历史数据构成的训练数据集，根据主成分分析、LSTM循环神经网络算法建立而成，最优LSTM网络模型建立子系统具体包括：

训练样本获取模块，用于获取训练样本数据，所述训练样本包括MBR膜污染影响因素和膜通量构成的历史数据，为多个输入一个输出；所述输入为MBR膜污染影响因素；所述输出为MBR膜通量；

训练样本优化模块，用于采用主成分分析算法对所述训练样本中的MBR膜污染影响因素进行处理，得到与MBR膜通量相关的主成分；

网络模型建立模块，用于根据与MBR膜通量相关的主成分，建立LSTM网络模型，所述网络模型建立模块包括LSTM网络结构建立子模块以及LSTM网络模型训练子模块。

6.根据权利要求5所述的MBR膜污染在线监测系统，其特征在于，所述训练样本优化模块，具体包括：

相关系数矩阵计算单元，用于计算所述训练样本中所述MBR膜污染影响因素的相关系数矩阵R；

特征值和特征向量计算单元，根据特征方程|λI-R|＝0，计算特征值λ_j,j＝1,2,...,p；并得到特征值λ_j,j＝1,2,...,p对应的特征向量e_j,j＝1,2,...,p；其中，||e_j||＝1；

主成分分量选择单元，根据所述特征值计算累计贡献率，选取累计贡献率达85％～95％的特征值，并将所述累计贡献率达85％～95％的特征值的个数确定为所述主成分分量的个数；所述累计贡献率的计算公式为：

主成分矢量矩阵计算单元，根据所述特征值以及所述特征向量，计算主成分载荷；所述主成分载荷的计算公式为并根据所述主成分载荷，确定主成分矢量矩阵。

7.根据权利要求5所述的MBR膜污染在线监测系统，其特征在于，所述网络模型建立模块，具体包括：

所述网络模型建立模块包括LSTM网络结构建立子模块和LSTM网络模型训练子模块；

LSTM网络结构建立子模块，用于建立LSTM网络的结构；所述LSTM网络结构的输入神经元个数为主成分分量的个数；LSTM结构的输出神经元个数为MBR膜通量；LSTM隐含层的个数需要通过LSTM网络的迭代训练确定最佳的隐含层神经元个数，LSTM隐含层采用LSTM单元，该单元具有三个门和一个状态更新单元；所述三个门分别为输入门、遗忘门、输出门，输入门，用来决定当前时刻网络的输入有多少保存到单元状态中；遗忘门决定上一时刻单元状态有多少信息保留到当前时刻；输出门用来控制单元状态有多少输出到当前输出值；

所述LSTM网络模型训练子模块包括：

前向计算单元，用于前向计算每个神经元的输出值，所述前向计算每个神经元的输出值，计算每个门的输出值，其前向计算公式：

遗忘门，f_t＝σ(net_f,t)＝σ(W_f·[h_t-1,x_t]+b_f)

输入门，i_t＝σ(net_i,t)＝σ(W_i·[h_t-1,x_t]+b_i)

状态更新单元信息，输出门，o_t＝σ(net_o,t)＝σ(W_o·[h_t-1,x_t]+b_o)

隐含层最终输出，

全连接层的输出，y_t＝W_yh_t+b_y

其中，net_f,t、net_i,t、net_o,t为LSTM网络中f_t、i_t、c_t、o_t的加权输入；W_f是遗忘门的权重矩阵；h_t-1是上一时刻LSTM网络的输出值；x_t为当前时刻的输入向量；b_f是遗忘门的偏置项；W_i是输入门的权重矩阵；b_i是输入门的偏置项；/>为当前输入的单元状态；W_c是状态更新单元的权重矩阵；b_c是状态更新单元的偏置项；W_o是输出门的权重矩阵；b_o是输出门的偏置项；W_y是隐含层至全连接层的权重矩阵；b_y是隐含层到全连接层的偏置项；/>表示两个矩阵按元素相乘；tanh是双曲正切激活函数；σ(·)表示sigmoid函数/>

反向计算单元，用于反向计算每个神经元的误差值，LSTM反向计算计算每个神经元的误差值，其沿着两个误差传播的方向，一个是沿时间的反向传播，从当前时刻开始，计算每个时刻的误差项；另一个是将误差项向上一层传播，在t时刻，LSTM网络的输出值为h_t，则时刻的误差项δ_t为：

其中，E为网络所有样本误差，

δ_f,t、δ_i,t、δ_o,t为LSTM网络中f_t、i_t、c_t、o_t对应的误差项，其计算公式为：

net_f,t＝W_f·[h_t-1,x_t]+b_f＝W_fhh_t-1+W_fxx_t+b_f net_i,t＝W_i·[h_t-1,x_t]+b_i＝W_ihh_t-1+W_ixx_t+b_i

net_o,t＝W_o·[h_t-1,x_t]+b_o＝W_ohh_t-1+W_oxx_t+b_o

误差项沿时间轴方向的反向传播为：沿时间轴方向传播的误差项是计算相邻的前一时刻的误差项，t-1时刻的误差项δ_t-1为：

根据LSTM网络中各个门的计算过程，f_t、i_t、o_t是h_t-1的函数，通过全导数公式上式转化为：

根据遗忘门、输入门、状态更新单元信息、输出门及隐含层最终输出计算公式，得到：

同时根据f_t、i_t、o_t以及net_f,t、net_i,t、/>net_o,t的计算公式，得到对应的偏导数：

将上述公式带入到t-1时刻的误差项δ_t-1中，得到：

根据误差项沿着时间轴反向传播上一时刻的规律，得到误差项沿着时间轴反向传播到任意k时刻的公式

另一个反向传播是将误差项向上一层传播，当前为第l层，则第l-1层的误差项就是误差函数E对l-1层加权输入/>的导数：

是网络在t时刻的输入x_t的函数，而/>为/>的函数，借助全导数公式求出第l-1层的误差项/>

计算每个神经元之间的权重和偏置梯度，LSTM网络的梯度是根据过去各个时刻的权重梯度叠加而得到，在已知误差项δ_f,t、δ_i,t、以及δ_o,t的情况下，LSTM网络在t时刻的权重梯度和偏置项梯度：

将LSTM网络所有时刻的梯度线性叠加，得到最终的权重梯度和偏置项梯度：

根据误差项计算出W_fx、W_ix、W_cx、W_ox的权重梯度：

训练过程中选择均方根误差作为目标损失函数，选择自适应矩估计的Adam算法作为梯度下降的优化算法，通过LSTM网络的反向传播并更新网络中的参数，获得最优的权重及偏置，完成整个LSTM网络模型的训练过程。