CN113591374A - 基于卷积简单循环单元网络的水泥成品比表面积预测方法 - Google Patents

Abstract

本发明公开了基于卷积简单循环单元网络的水泥成品比表面积预测方法，属于预测领域，包括以下流程：分析整个水泥磨生产工艺过程，选取与水泥成品比表面积相关的8个输入变量，然后将排列后的数据进行归一化，将归一化后的数据经过卷积网络，将经过卷积网络处理后的训练数据输入到简单循环单元网络模型中进行训练，采用基于时间的反向传播算法,然后根据相应误差项，计算权重的梯度和使用自适应矩阵估计法更新权重参数和偏置参数，直到满足要求或者达到迭代次数为止，完成模型将卷积网络处理后的水泥研磨过程中的过程变量数据给到训练好的简单循环单元网络模型中，实现水泥成品比表面积的在线预测。

Description

基于卷积简单循环单元网络的水泥成品比表面积预测方法

技术领域

本发明涉及水泥磨水泥成品比表面积预测技术领域，尤其涉及基于卷积简单循环单元网络水泥磨研磨过程水泥成品比表面积预测方法。

背景技术

水泥工业作为我国的传统工业，是基础原材料的流程工业之一，在我国的经济建设中起着重要作用，水泥的性能会直接影响到混凝土的质量，间接影响建筑行业的发展，而水泥性能又和水泥比表面积密不可分。水泥比表面积就是单位质量的水泥粉末所具有的总表面积，水泥的比表面积与研磨水泥的工艺有很大关系，因此水泥比表面积可以作为评价水泥成品的指标之一，水泥越细，比表面积越大，反之，水泥比表面积越小。一般情况下，水泥成品比表面积过大，会导致水泥的水化速度过快，放热过快且集中，这将会导致混凝土早期开裂等质量问题，但是如果水泥比表面积过小，水泥颗粒太粗，这也会影响倒混凝土的质量。因此，水泥比表面积作为评价水泥质量的重要指标应保持在一个合理的范围内，实现水泥比表面积的在线预测对于提高混凝土的质量来说具有重要意义。但是在水泥成品比表面积在线预测方面，由于水泥磨工艺流程本身具有时滞性和随机性特点，传统的线性预测模型难以进行准确的预测。

目前，水泥成品比表面积检测共有在线和离线两种方式，粒度的离线检测就是每小时到现场取样，在实验室将样本用分析仪检测得到比表面积。但是离线检测的取样量小，代表性不足，取样时间间隔为1小时，间隔较长，所以最后测定结果与实际生产结果不一致。这样会导致对实际生产中的操作员的指导作用产生滞后，从而不能实时监测水泥比表面积和水泥细度，生产出来的产品容易不合格，还有可能因为达不到国家标准而作废，难以适应实际生产要求。在线检测是在水泥生产过程中直接检测水泥比表面积和细度，并且将检测到的水泥比表面积和细度等信息传送至DCS系统。目前，在线测量水泥粒度的的设备是线粒度监测仪，它能够及时、快速、连续、真实地对水泥的粒度进行实时检测，这对稳定水泥质量提供了更先进的手段，但是这种方法无法直接反应水泥成品比表面积，且价格昂贵，结构复杂，日常维护工作量大，容易影响工业生产进度。

针对上述问题，为了更好的适应复杂的水泥磨工艺流程，数据驱动技术被应用到水泥生产优化中。数据驱动技术采用观测数据进行建模，避免了由于复杂工艺而无法直接建模的弊端，可以从水泥生产数据中挖掘工艺参数与控制变量之间的耦合规律，降低建模复杂性。现有通过建立关于45μm的水泥细度和水泥比表面积的一元线性回归方程，实现了水泥比表面积预测模型。但是此种方法并不适用于水泥工艺生产中的数据特性，且在实际生产过程中误差大，不可用数据多。现有一种基于互信息和最小二乘支持向量机(MI-LSSVM)的水泥生料细度软测量模型，解决了数据中存在的时延问题，预测精度高，泛化能力强，但是此方法更适合小样本预测，并不适合水泥工艺大数据的特性，且无法对水泥成品比表面积进行直接预测。

发明内容

本发明为了解决上述缺陷，提出基于卷积简单循环单元网络的水泥成品比表面积预测方法，即解决了传统的线性预测模型难以进行准确的预测又解决了现有方法不适合小样本预测，水泥成品比表面积进行直接预测。

为解决上述技术问题，本发明采用的技术方案是：基于卷积简单循环单元网络的水泥成品比表面积预测方法，包括以下步骤：

步骤S1：分析整个水泥磨生产工艺过程，选取与水泥成品比表面积相关的8个输入变量，输入变量分别为首先将选取的时间变量数据按时间序列进行排序，然后将排列后的数据进行归一化；

步骤S2：将归一化后的数据依次经过卷积网络的输入层、经卷积层、池化层、全连接层和输出层后得到输出数据；

步骤:S3：将经过卷积网络处理后的训练数据输入到简单循环单元网络模型中进行训练，首先对输入数据进行简单地线性化，经遗忘门，重置门，状态门进行计算，最后将单元状态计算的出一个最终状态，完成了简单循环单元网络的前向传播；

步骤S4：采用基于时间的反向传播算法,反向进行简单循环单元网络神经网络中每个神经元的误差项，误差项可以延时间进行反向传播，从当前时刻开始，计算之前时刻的误差项，误差项向上一层进行传播，从输入数据以及权重开始，向输出层传递，最后求出预测值并和目标值构成损失函数，在反向传播过程中，从损失函数开始，求取各个节点的偏导数，然后根据相应误差项，计算权重的梯度和使用自适应矩阵估计法更新权重参数和偏置参数，重复上述过程，直到满足要求或者达到迭代次数为止，求误差项若误差项小于阈值，则进行权重矩阵和偏置项的更新，直到达到设定误差阈值或者迭代次数达到最大，完成模型训练，退出循环；

步骤5：将卷积网络处理后的水泥研磨过程中的过程变量数据给到训练好的简单循环单元网络模型中，实现水泥成品比表面积的在线预测。

本发明技术方案的进一步改进在于：步骤S1中8个输入变量包括喂料反馈P1、A磨主机电流P2、磨尾收尘风机挡板开度反馈P3、A磨循环风机变频反馈P4、A磨出磨斗提电流反馈P5、选粉机电流反馈P6、选粉机转速反馈P7和出球磨半闭路分料挡板反馈P8。

本发明技术方案的进一步改进在于：步骤S2中使用卷积进行数据特征提取，将得到的归一化数据作为卷积网络的输入数据，依次经过卷积网络的输入层、卷积层、池化层、全连接层和输出层得到卷积网络的输出序列；

①避免过拟合和加速训练的目的，在卷积层中加入层归一化，层归一化公式如下：

式中，H为卷积层输入神经元，x_i为变量，μ_t为t时刻的平移参数，σ_t为t时刻的缩放参数；

②通过一维卷积来提取水泥比表面积相关变量数据的特征，加入层归一化后的卷积层计算公式如下：

式中，⊙是矩阵乘积符号，

是第l层的输出值的第i个特征，

是第l层的第i个卷积核的权重矩阵；g_i维度与H相同；*运算符表示卷积运算；x^(l-1)是第l-1层的输出；

为偏置项；函数f为输出激活函数为线性整流单元(ReLU)；

③通过池化层对数据进行压缩，简化网络计算复杂度，对主要数据特征进行提取，池化层公式如下:

式中，

表示池化后的第l+1层的第i个特征图中的元素，D_j为第j个池化区域，

为第l层第i个特征图在池化核的范围内的元素；

④全连接层将所有提取的数据体征连接起来进行输出，防止数据失真。

本发明技术方案的进一步改进在于：述步骤S3中使用简单循环单元网络神经网络进行预测，简单循环单元网络的每个神经单元都是一个处理单元，每个处理单元都包含若干门限，门限用于控制信息流；

①遗忘门来决定当前时刻有多少信息需要进行继续传递，遗忘门的输出由当前时刻的输入决定，遗忘门计算公式为：

f_t＝σ(W_fx_t+b_f)

式中，W_f是遗忘门的权重矩阵，x_t为当前时刻的输入，σ为遗忘门激活函数Sigmoid，b_f为遗忘门偏置项；

②重置门来决定有多少信息需要进行遗忘，重置门的输出由当前时刻的输入决定，重置门的公式如下：

r_t＝σ(W_rx_t+b_r)

式中，W_r是重置门的权重矩阵，x_t为重置门的输入，σ为重置门激活函数Sigmoid，b_r为重置门偏置项；

③当前输入单元状态计算公式：

c_t＝f_t⊙c_t-1+(1-f_t)⊙Wx_t

式中，f_t是遗忘门当前时刻输出，c_t-1是上一时刻单元状态门输出，W是输入单元线性化的权重矩阵，x_t为当前时刻的输入；

④隐藏层最终输出由重置门当前时刻输出、单元状态门当前时刻输出以及当前时刻输入共同决定，隐藏层状态计算公式为：

h_t＝r_t⊙Tanh(c_t)+(1-r_t)⊙x_t

式中，h_t为隐藏层最终输出，c_t为t时刻的单元状态，r_t为重置门当前时刻输出，Tanh是隐藏层激活函数为双曲正切激活函数，x_t为当前时刻的输入；

⑤最终输出序列为：

y_t＝σ(W_yh_t+b)

式中，y_t为当前时刻t的预测输出，h_t为隐藏层最终输出，W_y为预测输出层的权重矩阵，b为预测输出层的偏置向量。

本发明技术方案的进一步改进在于：步骤S4中；

①误差项分为两个方向进行传播，一个是沿时间进行方向传播，从t时刻起，计算每个时刻的误差项；另一个方向是将误差在空间上向上一层传播，定义损失函数：

式中，

和y_t分别为t时刻的预测输出值和期望输出；

在t时刻，简单循环单元网络的隐藏层输出为h_t，定义t时刻的误差项δ_t为：

根据简单循环单元网络的计算图以及链式求导法则可知，状态单元信息c_t的梯度为：

式中，L为损失函数，r_t为重置门输出；

遗忘门梯度为：

重置门梯度为：

沿时序进行反向传播公式为：

误差项向上一层传播：设当前层为l定义l-1层的误差项是误差函数对l-1层加权输入时的导数，则有

式中，

为l-1层的误差项，L为误差函数，

为l-1层的加权输入；

②权重梯度计算：

与权重对应的偏置梯度为：

③权重更新：

式中，η为模型的学习率，为增加公式的适用性，将公式泛化，W表示网络节点权重，b表示节点对应偏置项。

由于采用了上述技术方案，本发明取得的技术进步是：本发明建立的水泥成品比表面积在线预测模型，将相关变量按照时间序列排列作为模型的初始输入数据，并对应了相应时刻的品比表面积，构建卷积-简单循环神经网络模型，消除了水泥数据时变时延特性对水泥成品比表面积预测的影响。

本发明建立的水泥成品比表面积在线预测模型，充分利用了相关变量与预测指标之间的时序特性，既具有循环神经网络(recurrent neural networks,RNN)模型的记忆功能，去掉了对上一时刻隐藏层的依赖，减少了训练时间，又克服了RNN所存在的梯度消失以及梯度爆炸问题。

本发明建立的水泥成品比表面积在线预测模型，卷积网络与简单循环单元网络神经网络的有效结合，既提高了对水泥成品比表面积在线预测的精度，又提高了模型的训练速度，更适合水泥工业大数据特性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；

图1为本发明预测模型结构图；

图2为本发明卷积网络结构图；

图3为本发明简单循环单元神经网络结构图；

图4为本发明预测模型流程图；

具体实施方式

下面结合实施例对本发明做进一步详细说明：

本发明提出了基于卷积简单循环单元网络的水泥成品比表面积预测方法，如图1到图4所示，首先从已有的水泥粉磨系统的数据库中选取与水泥成品比表面积相关的8个变量作为模型的输入变量，将8个变量分别按照时间序列进行排序，采用卷积网络处理变量参数数据，采用基于时间的反向传播技术求取简单循环单元网络神经网络各个节点的误差项，采用自适应矩阵矩估计算法进行模型的权值更新，经反复训练得到最小误差，得到最优的模型参数。

步骤S1，分析整个水泥磨生产工艺过程，结合现场工程师的工作经验以及水泥比表面积的测量工艺，选取了8种与水泥比表面积相关的过程变量作为模型的输入变量，将选取变量的数据按照时间序列进行排序,其中8个输入变量分别为：喂料反馈P1，A磨主机电流P2，磨尾收尘风机挡板开度反馈P3，A磨循环风机变频反馈P4，A磨出磨斗提电流反馈P5，选粉机电流反馈P6，选粉机转速反馈P7，出球磨半闭路分料挡板反馈P8。充分考虑到水泥比表面积相关变量数据具有时变和时延特性，将选取一段时间的相关变量数据以及输出数据，从水泥研磨系统数据库中导出，因为水泥变量数据具有较大波动，且是非线性的，所以需对其进行归一化，这样可以提高模型的训练速度和精度，然后将数据进行归一化作为卷积网络的输入数据。

步骤S2：将归一化后的数据作为卷积网络的输入，进行数据的有效处理，数据需要依次经过卷积网络的输入层、卷积层、池化层，全连接层和输出层处理。

使用卷积进行数据特征提取，将得到的归一化数据作为卷积网络的输入数据，依次经过输入层、卷积层、池化层、全连接层和输出层得到卷积网络的输出数据。

①为避免过拟合和加速训练的目的，在卷积层中加入层归一化(LayerNormalization),层归一化公式如下：

式中，H为卷积层输入神经元，x_i为变量，μ_t为t时刻的平移参数，σ_t为t时刻的缩放参数。

②通过一维卷积来提取水泥比表面积相关变量数据的特征，加入层归一化后的卷积层计算公式如下：

式中，⊙是矩阵乘积符号，

是第l层的输出值的第i个特征；

是第l层的第i个卷积核的权重矩阵；g_i维度与H相同；*运算符表示卷积运算；x^(l-1)是第l-1层的输出；

为偏置项；函数f为输出激活函数为线性整流单元(ReLU)。

③通过池化层对数据进行压缩，简化网络计算复杂度，对主要数据特征进行提取，池化层公式如下:

式中，

表示池化后的第l+1层的第i个特征图中的元素；D_j为第j个池化区域；

为第l层第i个特征图在池化核的范围内的元素。

④全连接层将所有提取的数据体征连接起来进行输出，防止数据失真。

步骤S3：将卷积网络处理后的数据给到简单循环单元网络作为输入数据，进行样本训练。首先对输入数据进行简单地线性化，经遗忘门，重置门，状态门进行计算，最后将单元状态计算的出一个最终状态，完成了简单循环单元网络的前向传播。

简单循环单元网络的每个神经单元都是一个处理单元，每个处理单元都包含若干门限，门限用于控制信息流，流程如下：

①遗忘门来决定当前时刻有多少信息需要进行继续传递，遗忘门的输出由当前时刻的输入决定，遗忘门计算公式为：

f_t＝σ(W_fx_t+b_f) (5)

式中，W_f是遗忘门的权重矩阵，x_t为当前时刻的输入，σ为遗忘门激活函数Sigmoid，b_f为遗忘门偏置项。

②重置门来决定有多少信息需要进行遗忘，重置门的输出由当前时刻的输入决定，重置门的公式如下：

r_t＝σ(W_rx_t+b_r) (6)

式中，W_r是重置门的权重矩阵，x_t为重置门的输入，σ为重置门激活函数Sigmoid，b_r为重置门偏置项。

③当前输入单元状态计算公式：

c_t＝f_t⊙c_t-1+(1-f_t)⊙Wx_t (7)

式中，f_t是遗忘门当前时刻输出，c_t-1是上一时刻单元状态门输出，W是输入单元线性化的权重矩阵，x_t为当前时刻的输入。

④隐藏层最终输出由重置门当前时刻输出、单元状态门当前时刻输出以及当前时刻输入共同决定，隐藏层状态计算公式为：

h_t＝r_t⊙Tanh(c_t)+(1-r_t)⊙x_t (8)

式中，h_t为隐藏层最终输出，c_t为t时刻的单元状态，r_t为重置门当前时刻输出，Tanh是隐藏层激活函数为双曲正切激活函数，x_t为当前时刻的输入。

⑤最终输出序列为：

y_t＝σ(W_yh_t+b) (9)

式中，y_t为当前时刻t的预测输出，h_t为隐藏层最终输出，W_y为预测输出层的权重矩阵，b为预测输出层的偏置向量。

从式③到式⑦完成了简单循环单元网络神经网络模型的前向传播。

步骤4：采用基于时间的反向传播(back-propagation through time,BPTT)算法,反向进行简单循环单元网络神经网络中每个神经元的误差项，误差项可以延时间进行反向传播，从当前时刻开始，计算之前时刻的误差项，误差项向上一层进行传播，从输入数据以及权重开始，向输出层传递，最后求出预测值并和目标值构成损失函数。在反向传播过程中，从损失函数开始，求取各个节点的偏导数，然后根据相应误差项，计算权重的梯度和使用自适应矩阵估计法更新权重参数和偏置参数，重复上述过程，直到满足要求或者达到迭代次数为止，经反复训练，即可实现最小化误差。

①误差项分为两个方向进行传播，一个是沿时间进行方向传播，从t时刻起，计算每个时刻的误差项；另一个方向是将误差在空间上向上一层传播。

定义损失函数：

式中，

和y_t分别为t时刻的预测输出值和期望输出。

在t时刻，简单循环单元网络的隐藏层输出为h_t，定义t时刻的误差项δ_t为：

根据简单循环单元网络的计算图以及链式求导法则可知，状态单元信息c_t的梯度为：

式中，L为损失函数，r_t为重置门输出。

遗忘门梯度为：

重置门梯度为：

沿时序进行反向传播公式为：

误差项向上一层传播：设当前层为l定义l-1层的误差项是误差函数对l-1层加权输入时的导数，则有：

式中，

为l-1层的误差项，L为误差函数，

为l-1层的加权输入。

②权重梯度计算：

与权重对应的偏置梯度为：

③权重更新，η为模型的学习率，为增加公式的适用性，将公式泛化，W表示网络节点权重，b表示节点对应偏置项。

至此，完成了一次反向传播，经过迭代更新各个部分，求误差项若误差项小于阈值，则进行权重矩阵和偏置项的更新，直到达到设定误差阈值或者迭代次数达到最大，退出循环，完成模型训练。

步骤5：将卷积网络处理后的水泥研磨过程中的过程变量数据给到训练好的简单循环单元网络模型中，实现水泥成品比表面积的在线预测。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (5)

1.基于卷积简单循环单元网络的水泥成品比表面积预测方法，其特征在于：包括以下步骤：

步骤S1：分析整个水泥磨生产工艺过程，选取与水泥成品比表面积相关的8个输入变量，输入变量分别为首先将选取的时间变量数据按时间序列进行排序，然后将排列后的数据进行归一化；

步骤S2：将归一化后的数据依次经过卷积网络的输入层、经卷积层、池化层、全连接层和输出层后得到数据；

步骤:S3：将经过卷积网络处理后的数据输入到简单循环单元网络模型中进行训练，首先对输入数据进行简单地线性化，经遗忘门，重置门，状态门进行计算，最后将单元状态计算得出一个最终状态，完成了简单循环单元网络的前向传播；

步骤S4：采用基于时间的反向传播算法,反向进行简单循环单元网络神经网络中每个神经元的误差项，误差项可以延时间进行反向传播，从当前时刻开始，计算之前时刻的误差项，误差项向上一层进行传播，从输入数据以及权重开始，向输出层传递，最后求出预测值并和目标值构成损失函数，在反向传播过程中，从损失函数开始，求取各个节点的偏导数，然后根据相应误差项，计算权重的梯度和使用自适应矩阵估计法更新权重参数和偏置参数，重复上述过程，直到满足要求或者达到迭代次数为止，求误差项若误差项小于阈值，则进行权重矩阵和偏置项的更新，直到达到设定误差阈值或者迭代次数达到最大，完成模型训练，退出循环；

步骤5：将卷积网络处理后的水泥研磨过程中的过程变量数据给到训练好的简单循环单元网络模型中，实现水泥成品比表面积的在线预测。

2.根据权利要求1所述的基于卷积简单循环单元网络的水泥成品比表面积预测方法，其特征在于：所述步骤S1中8个输入变量包括喂料反馈P1、A磨主机电流P2、磨尾收尘风机挡板开度反馈P3、A磨循环风机变频反馈P4、A磨出磨斗提电流反馈P5、选粉机电流反馈P6、选粉机转速反馈P7和出球磨半闭路分料挡板反馈P8。

3.根据权利要求1所述的基于卷积简单循环单元网络的水泥成品比表面积预测方法，其特征在于：所述步骤S2中使用卷积进行数据特征提取，将得到的归一化数据作为卷积网络的输入数据，依次经过卷积网络的输入层、卷积层、池化层、全连接层和输出层得到卷积网络的输出序列；

①避免过拟合和加速训练的目的，在卷积层中加入层归一化，层归一化公式如下：

式中，H为卷积层输入神经元，x_i为变量，μ_t为t时刻的平移参数，σ_t为t时刻的缩放参数；

②通过一维卷积来提取水泥比表面积相关变量数据的特征，加入层归一化后的卷积层计算公式如下：

式中，⊙是矩阵乘积符号，

是第l层的输出值的第i个特征，

是第l层的第i个卷积核的权重矩阵；g_i维度与H相同；*运算符表示卷积运算；x^(l-1)是第l-1层的输出；

为偏置项；函数f为输出激活函数为线性整流单元(ReLU)；

③通过池化层对数据进行压缩，简化网络计算复杂度，对主要数据特征进行提取，池化层公式如下:

式中，

表示池化后的第l+1层的第i个特征图中的元素，D_j为第j个池化区域，

为第l层第i个特征图在池化核的范围内的元素；

④全连接层将所有提取的数据体征连接起来进行输出，防止数据失真。

4.根据权利要求1所述的基于卷积简单循环单元网络的水泥成品比表面积预测方法，其特征在于：所述步骤S3中使用简单循环单元网络神经网络进行预测，简单循环单元网络的每个神经单元都是一个处理单元，每个处理单元都包含若干门限，门限用于控制信息流；

①遗忘门来决定当前时刻有多少信息需要进行继续传递，遗忘门的输出由当前时刻的输入决定，遗忘门计算公式为：

f_t＝σ(W_fx_t+b_f)

式中，W_f是遗忘门的权重矩阵，x_t为当前时刻的输入，σ为遗忘门激活函数Sigmoid，b_f为遗忘门偏置项；

②重置门来决定有多少信息需要进行遗忘，重置门的输出由当前时刻的输入决定，重置门的公式如下：

r_t＝σ(W_rx_t+b_r)

式中，W_r是重置门的权重矩阵，x_t为重置门的输入，σ为重置门激活函数Sigmoid，b_r为重置门偏置项；

③当前输入单元状态计算公式：

c_t＝f_t⊙c_t-1+(1-f_t)⊙Wx_t

式中，f_t是遗忘门当前时刻输出，c_t-1是上一时刻单元状态门输出，W是输入单元线性化的权重矩阵，x_t为当前时刻的输入；

④隐藏层最终输出由重置门当前时刻输出、单元状态门当前时刻输出以及当前时刻输入共同决定，隐藏层状态计算公式为：

h_t＝r_t⊙Tanh(c_t)+(1-r_t)⊙x_t

式中，h_t为隐藏层最终输出，c_t为t时刻的单元状态，r_t为重置门当前时刻输出，Tanh是隐藏层激活函数为双曲正切激活函数，x_t为当前时刻的输入；

⑤最终输出序列为：

y_t＝σ(W_yh_t+b)

式中，y_t为当前时刻t的预测输出，h_t为隐藏层最终输出，W_y为预测输出层的权重矩阵，b为预测输出层的偏置向量。

5.根据权利要求1所述的基于卷积简单循环单元网络的水泥成品比表面积预测方法，其特征在于：所述步骤S4中；

①误差项分为两个方向进行传播，一个是沿时间进行方向传播，从t时刻起，计算每个时刻的误差项；另一个方向是将误差在空间上向上一层传播，定义损失函数：

式中，

和y_t分别为t时刻的预测输出值和期望输出；

在t时刻，简单循环单元网络的隐藏层输出为h_t，定义t时刻的误差项δ_t为：

根据简单循环单元网络的计算图以及链式求导法则可知，状态单元信息c_t的梯度为：

式中，L为损失函数，r_t为重置门输出；

遗忘门梯度为：

重置门梯度为：

沿时序进行反向传播公式为：

误差项向上一层传播：设当前层为l定义l-1层的误差项是误差函数对l-1层加权输入时的导数，则有

式中，δ_t ^l-1为l-1层的误差项，L为误差函数，net_t ^l-1为l-1层的加权输入；

②权重梯度计算：

与权重对应的偏置梯度为：

③权重更新：

式中，η为模型的学习率，为增加公式的适用性，将公式泛化，W表示网络节点权重，b表示节点对应偏置项。

Images