CN106960252A - 基于长短时记忆神经网络的电力负荷预测方法 - Google Patents

Abstract

本发明公开一种基于长短时记忆神经(LSTM)网络的电力负荷预测方法，该方法包括步骤：通过输入单元输入历史时刻的电力负荷数据和区域特征因素；采用LSTM网络对历史时刻的电力负荷数据和区域特征因素进行训练建模，以生成深度神经网络负荷预测模型，该深度神经网络负荷预测模型为用于供电负荷预测的单层多任务深度神经网络模型或双层多任务深度神经网络模型；利用深度神经网络负荷预测模型对所需预测区域内的电力负荷进行预测并产生该区域内的电力负荷预测结果；通过输出单元输出该区域内的电力负荷预测结果。本发明基于深度学习领域中的LSTM网络来构建多任务学习的电力负荷预测模型，能够精确预测出多区域的用电负荷，提升了预测效果。

Description

基于长短时记忆神经网络的电力负荷预测方法

技术领域

本发明涉及电力负荷预测技术领域，尤其涉及一种基于长短时记忆神经网络的电力负荷预测方法。

背景技术

电力负荷预测问题旨在预测出电网中单条或者多条输电线的用电需求，根据预测的时间跨度可分为：短期预测(几分钟到一周)、中期预测(一个月到一个季度)和长期预测(一年以上)。由于现有技术条件下，电能很难有效地存储在大型储电装置中，因此，在满足供电需求的条件下，尽可能地降低剩余发电量，是减少成本，提高电能使用效率的有效途径。因此，采用各种预测方法准确地预测出区域内中短期供电负荷，对规划和指导发电企业有效生产电能是十分必要的。目前，有很多主流的方法应用于电力负荷预测，像人工神经网络(Artificial Neural Network，ANN)、支持向量机(Support Vector Machine，SVM)、高斯过程回归(Gaussion Process Regression，GPR)、自回归移动平均模型(AutoregressiveIntegrated Moving Average Model，ARIMA)等。电力负荷与很多隐变量相关，如光照、风力、节假日等等，这些变量一般难以获取或者量化，但是可以合理地认为位于同一区域的城市拥有相似的隐变量。所以这些相邻城市的电力负荷数据是高度相关的，运用多任务学习技术将会提高这些相似区域的负荷预测精度。

多任务学习是一种通过同时联合学习多个相关任务来提高泛化能力的技术，当模型中的部分参数在任务之间被合理共享时，就能同时提高这些相关任务的负荷预测效果。近年来，随着深度学习理论研究的深入发展，将深度学习理论应用于电力系统的用电需求预测是一项很有意义的工作。现有的各种基于神经网络的预测方法很少能同时预测出跨区域的用电负荷，且提出的供电负荷预测模型并不精确。

发明内容

本发明的主要目的在于提供一种基于长短时记忆神经网络的电力负荷预测方法，基于深度学习领域中的长短时记忆神经(LSTM)网络来构建多任务学习的负荷预测模型，能够精确地同时预测出多个相邻区域的电力负荷。

为实现上述目的，本发明提供了一种基于长短时记忆神经网络的电力负荷预测方法，该方法包括如下步骤：

通过计算机的输入单元输入历史时刻的电力负荷数据和区域特征因素；

采用长短时记忆神经(LSTM)网络对所述历史时刻的电力负荷数据和区域特征因素进行训练建模，以训练生成深度神经网络负荷预测模型，所述深度神经网络负荷预测模型为用于供电负荷预测的单层多任务深度神经网络模型或者双层多任务深度神经网络模型；

利用训练生成的深度神经网络负荷预测模型对所需预测区域内的电力负荷进行预测并产生该区域内的电力负荷预测结果；

通过计算机的输出单元输出所需预测区域内的电力负荷预测结果。

优选的，所述深度神经网络负荷预测模型表示为如下公式：

Forecast＝f(t,d，c，y₁，u₁，id)

其中，t∈[0,24]，是一天当中的时间，以小时为单位；d∈{1,2,...,365,366}是一年当中的天数，以天为单位；c是一天的类型；y_l是包含一段历史用电需求的历史电力负荷数据；u_l是一个包含区域特征因素的实值向量；id代表用电需求的区域标识。

优选的，所述LSTM网络是一种改进型的迭代神经网络，该迭代神经网络通过对隐层状态向量h_t递归应用状态转移函数f来处理输入序列的网络，处于时间步长t的隐层状态向量h_t由当前输入序列x_t和上一时刻的隐层状态向量h_t-1决定，所述隐层状态向量h_t采用如下公式表示：

优选的，所述LSTM网络由输入层、LSTM网络层和输出层构成。

优选的，所述LSTM网络层包括输入门i_t、输出门o_t和遗忘门f_t以及记忆单元c_t，在时刻t，记忆单元c_t记录到当前时刻t为止的所有历史信息并受到输入门i_t、输出门o_t和遗忘门f_t这三个逻辑门控制，该三个逻辑门的输出值均在0和1之间。

优选的，所述遗忘门f_t控制LSTM网络层的信息檫除，所述输入门i_t控制LSTM网络层的信息更新，所述输出门o_t控制内部状态的信息输出。

优选的，所述LSTM网络的输入序列为x＝(x₁，x₂，...，x_T)，由输入层输入至LSTM网络层，输出序列为y＝(y₁，y₂，...y_T)，由输出层从LSTM网络层输出，其中，T是预测期，x是历史输入数据，y是预测负荷，所述LSTM网络层的参数迭代更新方式如下公式(1)-(6)所示：

i_t＝σ(W_ix_t+U_ih_t-1+V_ic_t-1) (1)

f_t＝σ(W_fx_t+U_fh_t-1+V_fc_t-1) (2)

o_t＝σ(W_ox_t+U_oh_t-1+V_oc_t) (3)

h_t＝o_t⊙tanh(c_t) (6)

其中，x_t是t时刻的输入序列，σ表示为sigmoid函数，⊙表示为元素间的相乘，W是输入权重，U是隐层状态h的循环权重，V是历史信息的影响权重，tanh为隐层状态h的双曲正切函数。

优选的，所述单层多任务深度神经网络模型的多个相关任务共享一个相同的LSTM网络层，该相同的LSTM网络层在时刻t的输出表示为其中初始化参数是均匀分布在[-0.1，0.1]之间的随机采样值。

优选的，所述双层多任务深度神经网络模型的两个相关任务各自赋予一个LSTM网络层，每个任务分别使用另一个任务的LSTM网络层的相关信息，并通过一个全局门控单元来控制双层多任务深度神经网络模型的信息接收。

优选的，所述双层多任务深度神经网络模型的LSTM网络层在时刻t的输出表示为和其中，和的初始化参数是均匀分布在[-0.1，0.1]之间的随机采样值，(m，n)为给定一组相关任务，第m个任务的LSTM网络层的记忆信息如公式所示：

其中，x_t是t时刻的输入序列，σ表示为sigmoid函数，W是输入权重，U是隐层状态h的循环权重，V是历史信息的影响权重，tanh为隐层状态h的双曲正切函数。

相较于现有技术，本发明所述基于长短时记忆神经网络的电力负荷预测方法基于深度学习领域中的长短时记忆神经网络(Long Short-term Memory Neural Network，LSTM)来构建多任务学习的负荷预测模型，以进一步提升预测效果。本发明提出了跨区域的供电负荷预测模型，能够同时预测出跨区域的用电负荷，而且预测效果较现有用电负荷预测模型更精确。

附图说明

图1是本发明基于长短时记忆神经网络的电力负荷预测系统优选实施例的运行环境图；

图2是本发明基于长短时记忆神经网络的电力负荷预测方法优选实施例的流程图；

图3是LSTM网络的模型结构示意图；

图4是用于供电负荷预测的单层多任务深度神经网络模型的示意图；

图5是用于供电负荷预测的双层多任务深度神经网络模型的示意图。

本发明目的实现、功能特点及优点将结合实施例，将在具体实施方式部分一并参照附图做进一步说明。

具体实施方式

为更进一步阐述本发明为达成上述目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明的具体实施方式、结构、特征及其功效进行详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1所示，图1是本发明基于长短时记忆神经网络的电力负荷预测系统优选实施例的运行环境图。在本实施例中，所述电力负荷预测系统10安装并运行于计算机1中，该计算机1还包括，但不仅限于，输入单元11、存储单元12、处理单元13以及输出单元14。所述输入单元11为计算机的输入设备，例如输入键盘或鼠标等。所述存储单元12可以为一种只读存储单元ROM，电可擦写存储单元EEPROM、快闪存储单元FLASH或固体硬盘等。所述的处理单元13可以为一种中央处理器(Central Processing Unit，CPU)、微控制器(MCU)、数据处理芯片、或者具有数据处理功能的信息处理单元。所述输出单元14为计算机1的输出设备，例如显示器或者打印机等设备。

所述电力负荷预测系统10，包括但不仅限于，信息接收模块101、模型建立模块102、电力预测模块103以及结果输出模块104。本发明所称的模块是指一种能够被计算机1的处理单元13执行并且能够完成固定功能的一系列计算机程序指令段，其存储在计算机1的存储单元12中。以下结合图2描述电力负荷预测系统10中的每一个模块的具体功能。

参照图2所示，图2是本发明基于长短时记忆神经网络的电力负荷预测方法优选实施例的流程图；在本实施例中，所述电力负荷预测方法能够基于深度学习领域中的长短时记忆神经网络(Long Short-term Memory Neural Network，以下简称为LSTM网络)来构建多任务学习的负荷预测模型，以进一步提升区域电力负荷预测的效果。参考图3所示，所述LSTM网络2包括输入层21、LSTM网络层22以及输出层23。所述基于长短时记忆神经网络的电力负荷预测方法包括如下步骤：

步骤S21：通过输入单元11输入所需预测区域内的历史电力负荷数和区域特征因素；具体的，典型的电力负荷需求预测问题受到各种区域特征因素影响，所述区域特征因素包括区域内的时间、节假日、天气以及经济指标等信息，所述历史电力负荷数据是指所需预测区域内的历史时刻的电力负荷数据信息。在本实施例中，所述历史电力负荷数据和区域特征因素由用户从所需预测区域收集并输入至计算机1中。具体地，信息接收模块101通过输入单元11接收输入的历史时刻的电力负荷数据和区域特征因素，并将所述历史时刻的电力负荷数据和区域特征因素传递至LSTM网络2的输入层21。

步骤S22：采用长短时记忆神经(LSTM)网络对所述历史时刻的电力负荷数据和区域特征因素进行训练建模，以训练生成深度神经网络负荷预测模型；具体地，模型建立模块102将所述LSTM网络2的输入层21接收历史时刻的电力负荷数据和区域特征因素导入所述LSTM网络层2，并通过LSTM网络层2对历史时刻的电力负荷数据和区域特征因素进行训练建模，以训练生成深度神经网络负荷预测模型。在本实施例中，所述深度神经网络负荷预测模型可以为用于供电负荷预测的单层多任务深度神经网络模型或双层多任务深度神经网络模型。模型建立模块102利用历史电力负荷数据和区域特征因素进行负荷预测建模生成深度神经网络负荷预测模型，该深度神经网络负荷预测模型可表示为如下公式：

上式中各个变量说明如下：t∈[0,24]，是一天当中的时间，以小时为单位；d∈{1,2,...,365,366}是一年当中的天数，以天为单位；c是一天的类型，如星期一到星期日、节假日等；y_l是包含一段历史用电需求内的历史电力负荷数据的实值向量；u_l是一个包含区域特征因素的实值向量，如温度、经济指标等数据；id代表用电需求的区域标识。

采样收集到上述特征向量后，就可以构建模型，即确定上式中的状态转移函数f，然后对一个区域内的用电负荷进行预测。本发明采用迭代神经网络(Recurrent NeuralNetwork，RNN)的改进型网络长短时记忆神经(LSTM)网络来进行建模，下面将详细说明该网络模型结构和原理。

迭代神经网络(RNN)是一种通过对隐层状态向量h_t递归应用状态转移函数f来处理任意长输入序列的网络。处于时间步长t的隐层状态向量h_t由当前输入x_t和上一时刻的隐层状态向量h_t-1决定，如下式所示：

上式可以看成一个动态系统，系统的状态按照一定的规律随时间变化。h_t就是系统的状态，理论上，迭代神经网络(RNN)可以近似任意的动态系统。传统上，对时间序列进行建模的策略是用迭代神经网络(RNN)将输入序列映射为固定长度的向量，然后再输入到回归器中，回归器给出预测结果。但是，基于状态转移函数的多个RNNs在训练的过程中，在输入长序列后，其梯度向量会出现指数级的增长或衰减，这就是RNNs面临的梯度消失或者梯度爆炸的问题。在这种情况下，多个RNNs很难学习序列的长时相关性问题。

在本实施例中，长短时记忆神经(LSTM)网络是一种改进型的迭代神经网络(RNN)模型，它通过引入逻辑门机制，有效地解决了简单的迭代神经网络面临的梯度消失或者爆炸问题，使深层网络模型能够学习时间序列的长期依赖。该LSTM网络的关键在于引入了一组记忆单元(Memory Units)，允许网络学习何时遗忘历史信息，何时用新信息更新记忆单元。

如图3所示，图3是LSTM网络的模型结构图。在本实施例中，所述LSTM网络2由输入层21、LSTM网络层22和输出层23构成，结构如图3所示。所述LSTM网络层22包括输入门i_t(input gate)、输出门o_t(output gate)和遗忘门f_t(forget gate)以及记忆单元c_t。在时刻t，记忆单元c_t记录了到当前时刻为止的所有历史信息，并受三个逻辑门控制，该三个逻辑门分别是：输入门i_t(input gate)、输出门o_t(output gate)和遗忘门f_t(forget gate)。它们能够模拟神经细胞间的输入、读取和复位操作，这三个逻辑门的输出值均在0和1之间。

假设LSTM网络2的输入序列为x＝(x₁，x₂，...，x_T)，由输入层21输入至LSTM网络层22，输出序列为y＝(y₁，y₂，...y_T)，由输出层23从LSTM网络层22输出。其中，T是预测期，x是历史输入数据(例如历史负荷、天气状况，经济指标等)，y是预测负荷。为实现这个目标，LSTM网络层22的参数迭代更新方式如下公式(1)-(6)所示：

i_t＝σ(W_ix_t+U_ih_t-1+V_ic_t-1) (1)

f_t＝σ(W_fx_t+U_fh_t-1+V_fc_t-1) (2)

o_t＝σ(W_ox_t+U_oh_t-1+V_oc_t) (3)

h_t＝o_t⊙tanh(c_t) (6)

其中，x_t是t时刻的输入序列，σ表示为sigmoid函数，tanh为隐层状态h的双曲正切函数，⊙表示为元素间的相乘，W是输入权重，U是隐层状态h的循环权重，V是历史信息的影响权重，这些权重参数通过模型训练获得。可以看出，遗忘门f_t控制LSTM网络层22的信息檫除；输入门i_t控制LSTM网络层22的信息更新；输出门o_t控制LSTM网络层22内部状态的信息输出。

在本实施例中，输入门i_t、输出门o_t、遗忘门f_t和记忆单元c_t能够使LSTM网络层22自适应选择遗忘、记忆和输出记忆信息，如果检测到重要的信息内容，遗忘门f_t将会关闭，这样将会在多个时间步长内利用该信息，这就等价于捕捉到了一个长期依赖信息；另一方面，当遗忘门f_t打开时，LSTM网络层22将会选择复位记忆状态。

现有的基于神经网络的负荷预测方法大多都是单任务学习模式，这些方法受到训练样本数目较少的限制，而无法充分学习网络结构和参数。为了解决这个问题，这些模型加入了无监督的预训练阶段。这个无监督的预训练方法对于提升最终的性能是有效的，但这并不是直接优化系统的期望任务。由于深度神经网络模型从一个任务中学习到的特征可以应用于改进其余相关任务的学习中，所以深度神经网络模型很适合于多任务学习。本发明提出两个基于多任务学习架构的深度神经网络负荷预测模型，包括用于供电负荷预测的单层多任务深度神经网络模型和用于供电负荷预测的双层多任务深度神经网络模型，具体模型结构如图4和图5所示。

参考图4和图5所示，图4为用于供电负荷预测的单层多任务深度神经网络模型的示意图；图5为用于供电负荷预测的双层多任务深度神经网络模型的示意图。在图4中，多个相关任务共享一个相同的LSTM网络层22，该相同的LSTM网络层22在时刻t的输出表示为在图5中，将两个相关任务各自赋予一个LSTM网络层22，这样，每一个任务就可以使用另一个任务的LSTM网络层22的相关信息。值得说明的是，在图5中，给定一组相关任务(m,n)，每个任务有自己的LSTM网络层22，将这对LSTM网络层22在时刻t的输出表示为和为了更好地控制共享信息从一个任务流入到另一个任务中，本发明使用了一个全局门控单元31来赋予模型决定应该接收多少信息的能力。基于上述公式(4)，重新定义第m个任务的LSTM网络层22的记忆内容如公式(7)所示：

其中，其余的参数设置和标准的LSTM网络层22一致，即：x_t是t时刻的输入序列，σ表示为sigmoid函数，W是输入权重，U是隐层状态h的循环权重，V是历史信息的影响权重，tanh为隐层状态h的双曲正切函数。

步骤S23，利用训练生成的深度神经网络负荷预测模型对所需预测区域内的电力负荷进行预测并产生该区域内的电力负荷预测结果；具体地，电力预测模块103利用所述深度神经网络负荷预测模型对所需预测区域内的电力负荷进行预测，并通过回归器30产生该区域内的电力负荷预测结果。本发明通过单层多任务深度神经网络模型或者双层多任务深度神经网络模型均可对所需预测区域内的电力负荷进行预测并产生该区域内的电力负荷预测结果。本发明提出的两个模型可以同时联合学习两个相关任务，模型的最后一层的LSTM网络层22连接回归器30，例如一种支持向量回归机(Support Vector Regressor)等，此时，就通过回归器30可以输出预测的电力负荷值。

所述单层多任务深度神经网络模型中的LSTM网络层在时刻t的输出表示为其中初始化参数是均匀分布在[-0.1，0.1]之间的随机采样值。所述双层多任务深度神经网络模型的LSTM网络层22的中和初始化参数是均匀分布在[-0.1，0.1]之间的随机采样值。采用最小误差平方和作为损失函数，用误差反向传播算法进行训练，并采用交叉验证方法实验寻找模型的超参数。所述误差反向传播算法和交叉验证方法均为所属技术领域的现有技术，本发明不作具体赘述。

步骤S24，通过输出单元输出所需预测区域内的电力负荷预测结果；具体地，结果输出模块104通过所述输出层23输出所需预测区域内的电力负荷预测结果至所述输出单元14，该输出单元14通过所述输出层23输出回归器30产生的区域内的电力负荷预测结果，即一组相关任务(m,n)的电力负荷值为y^(m)和y⁽ⁿ⁾。

与现有的技术相比，本发明有以下技术优点：能够同时联合学习和保存较长时间负荷序列所包含的短期波动信息、季节性和趋势性信息，适用于多任务高维时间序列预测问题。本发明所述基于长短时记忆神经网络的电力负荷预测方法基于深度学习领域中的长短时记忆神经网络(LSTM)来构建多任务学习的负荷预测模型，以进一步提升预测效果。本发明提出了跨区域的供电负荷预测模型，能够同时预测出跨区域的用电负荷，而且预测效果较现有用电负荷预测模型更精确。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效功能变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于长短时记忆神经网络的电力负荷预测方法，其特征在于，所述电力负荷预测方法包括如下步骤：

通过计算机的输入单元输入历史时刻的电力负荷数据和区域特征因素；

采用长短时记忆神经(LSTM)网络对所述历史时刻的电力负荷数据和区域特征因素进行训练建模，以训练生成深度神经网络负荷预测模型，所述深度神经网络负荷预测模型为用于供电负荷预测的单层多任务深度神经网络模型或者双层多任务深度神经网络模型；

利用训练生成的深度神经网络负荷预测模型对所需预测区域内的电力负荷进行预测并产生该区域内的电力负荷预测结果；

通过计算机的输出单元输出所需预测区域内的电力负荷预测结果。

2.如权利要求1所述的基于长短时记忆神经网络的电力负荷预测方法，其特征在于，所述深度神经网络负荷预测模型表示为如下公式：

Forecast＝f(t,d,c,y₁,u₁,id)

其中，t∈[0,24]，是一天当中的时间，以小时为单位；d∈{1,2,...,365,366}是一年当中的天数，以天为单位；c是一天的类型；y_l是包含一段历史用电需求的历史电力负荷数据；u_l是一个包含区域特征因素的实值向量；id代表用电需求的区域标识。

3.如权利要求1所述的基于长短时记忆神经网络的电力负荷预测方法，其特征在于，所述LSTM网络是一种改进型的迭代神经网络，该迭代神经网络通过对隐层状态向量h_t递归应用状态转移函数f来处理输入序列的网络，处于时间步长t的隐层状态向量h_t由当前输入序列x_t和上一时刻的隐层状态向量h_t-1决定，所述隐层状态向量h_t采用如下公式表示：

$h_t=\left\{\begin{array}{cc}0,& t=0\\ f(h_{t-1},x_t),& t\≠0\end{array}\right..$

4.如权利要求1所述的基于长短时记忆神经网络的电力负荷预测方法，其特征在于，所述LSTM网络由输入层、LSTM网络层和输出层构成。

5.如权利要求4所述的基于长短时记忆神经网络的电力负荷预测方法，其特征在于，所述LSTM网络层包括输入门i_t、输出门o_t和遗忘门f_t以及记忆单元c_t，在时刻t，记忆单元c_t记录到当前时刻t为止的所有历史信息并受到输入门i_t、输出门o_t和遗忘门f_t这三个逻辑门控制，该三个逻辑门的输出值均在0和1之间。

6.如权利要求5所述的基于长短时记忆神经网络的电力负荷预测方法，其特征在于，所述遗忘门f_t控制LSTM网络层的信息檫除，所述输入门i_t控制LSTM网络层的信息更新，所述输出门o_t控制内部状态的信息输出。

7.如权利要求5所述的基于长短时记忆神经网络的电力负荷预测方法，其特征在于，所述LSTM网络的输入序列为x＝(x₁,x₂,...,x_T)，由输入层输入至LSTM网络层，输出序列为y＝(y₁,y₂,...y_T)，由输出层从LSTM网络层输出，其中，T是预测期，x是历史输入数据，y是预测负荷，所述LSTM网络层的参数迭代更新方式如下公式(1)-(6)所示：

i_t＝σ(W_ix_t+U_ih_t-1+V_ic_t-1) (1)

f_t＝σ(W_fx_t+U_fh_t-1+V_fc_t-1) (2)

o_t＝σ(W_ox_t+U_oh_t-1+V_oc_t) (3)

${\tilde{c}}_t=\tanh (W_c{x}_t+U_c{h}_{t-1})---\left(4\right)$

h_t＝o_t⊙tanh(c_t) (6)

其中，x_t是t时刻的输入序列，σ表示为sigmoid函数，⊙表示为元素间的相乘，W是输入权重，U是隐层状态h的循环权重，V是历史信息的影响权重，tanh为隐层状态h的双曲正切函数。

8.如权利要求1所述的基于长短时记忆神经网络的电力负荷预测方法，其特征在于，所述单层多任务深度神经网络模型的多个相关任务共享一个相同的LSTM网络层，该相同的LSTM网络层在时刻t的输出表示为其中初始化参数是均匀分布在[-0.1，0.1]之间的随机采样值。

9.如权利要求1所述的基于长短时记忆神经网络的电力负荷预测方法，其特征在于，所述双层多任务深度神经网络模型的两个相关任务各自赋予一个LSTM网络层，每个任务分别使用另一个任务的LSTM网络层的相关信息，并通过一个全局门控单元来控制双层多任务深度神经网络模型的信息接收。

10.如权利要求9所述的基于长短时记忆神经网络的电力负荷预测方法，其特征在于，所述双层多任务深度神经网络模型的LSTM网络层在时刻t的输出表示为和其中，和的初始化参数是均匀分布在[-0.1，0.1]之间的随机采样值，(m,n)为给定一组相关任务，第m个任务的LSTM网络层的记忆信息如公式所示：

${\tilde{c}}^{\left(m\right)}=\tanh (W_c^{\left(m\right)}{x}_t+\underset{i\∈\{m,n\}}{\Σ}{g}^{(i\→m)}{U}_c^{(i\→m)}{h}_{t-1}^{\left(i\right)}),$

其中，x_t是t时刻的输入序列，σ表示为sigmoid函数，W是输入权重，U是隐层状态h的循环权重，V是历史信息的影响权重，tanh为隐层状态h的双曲正切函数。