CN115374908A - 适用于配网柔性互联实时控制的短期负荷预测方法和系统 - Google Patents

Abstract

本发明提供了一种适用于配网柔性互联实时控制的短期负荷预测方法和系统，包括对负荷数据采用滑动窗口算法构建输入数据集；将输入数据通过全连接层进行范围缩放；将不规则的时间序列数据利用两层LSTM模型进行预测建模；利用卷积加强LSTM输出的短时特征并消除噪音；将LSTM‑CNN模型的预测通过自注意力机制进行加权以突出最重要的特征，然后放入线性连接层进行结果预测。本发明通过基于自注意力机制的LSTM‑CNN混合预测框架，可以只使用负荷数据进行预测，在减少数据量的同时保持预测精度，可在现有微电网架构上直接采集负荷数据用于短期符合预测。

Description

适用于配网柔性互联实时控制的短期负荷预测方法和系统

技术领域

本发明属于电力系统短期负荷预测技术领域，具体涉及一种适用于配网柔性互联实时控制的短期负荷预测方法和系统。

背景技术

短期负荷预测(short-term load forecasting,STLF)是基于“源-网-荷-储”构建微电网运行及调度的基础，基于负荷预测可以协调灵活的储能系统或先进的需求响应技术实现调峰，可有效减少智能电网中小型光伏发电机等分布式发电资源以及可再生电动汽车等弹性负荷带来的不确定性，实现微电网与电网的友好接入。

当前的大多数负荷预测算法，需要输入负荷、气象、日期等多维数据以实现准确的负荷预测。但是在微电网应用当中，准确的细颗粒气象数据及长时间的日期数据难以获取，利用分布式智能电表所获取的实时短期负荷数据体现了与气象等数据的相关性。因此，如何利用现有可获得的电力负荷数据实现低成本、高效的负荷预测成为难点。

发明内容

有鉴于此，本发明旨在解决在微电网应用当中，准确的细颗粒气象数据及长时间的日期数据难以获取，导致现有负荷预测算法无法实现准确的负荷预测的问题。

为了解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供了一种适用于配网柔性互联实时控制的短期负荷预测方法，包括如下步骤：

对负荷数据采用滑动窗口算法构建输入数据集；

构建一个带有sigmoid激活函数的全连接层，并将输入数据通过全连接层进行范围缩放；

构建两层LSTM模型且两层LSTM采用串行方式连接，将经过缩放处理的输入数据利用两层LSTM模型进行预测建模，获取输入的负荷数据的短时特征；

构建一个卷积层，利用卷积加强LSTM输出的短时特征并消除噪音；

构建注意力层和线性全连接层，将LSTM-CNN模型输出的预测通过自注意力机制进行加权以突出最重要的特征，然后放入线性连接层进行结果预测。

进一步的，输入数据的大小为[256,1,24]，将经过缩放处理的输入数据利用两层LSTM模型进行预测建模，具体为：

将缩放后的输入数据经两层LSTM层进行处理，输出维度保持为[256,1,128]。

进一步的，利用卷积加强LSTM输出的短时特征并消除噪音，具体为：

将数据转化为四维[1,256,128,1]，并利用卷积核大小为8的二维卷积对数据进行卷积，将输出维度转化为[256,1,128]。

进一步的，将LSTM-CNN模型的预测通过自注意力机制进行加权，具体通过下式进行：

e_t＝tanh(W_att·Cnn_out_t+b_att)

式中，e_t为t时刻的注意力概率分布值，w_att为权重系数，b_att为偏置系数，Cnn_out_t为t时刻卷积层的输出向量，Att_out_t为t时刻注意力层的输出。

进一步的，放入线性连接层进行结果预测，具体为：

按照下式，通过线性全连接层将输出维度变换至预测维度，得到预测结果；

l_out_y_t＝σ(W_out·Att_out_t+b_out)

式中，l_out_y_t为t时刻的预测结果，W_out为权重矩阵，b_out为偏差向量。

第二方面，本发明提供了一种适用于配网柔性互联实时控制的短期负荷预测系统，包括：

第一输入单元，用于对负荷数据采用滑动窗口算法构建输入数据集；

第二输入单元，设置有一个带有sigmoid激活函数的全连接层，用于将输入数据通过全连接层进行范围缩放；

LSTM处理单元，设置有两层LSTM模型且两层LSTM采用串行方式连接，用于将经过缩放处理的输入数据利用两层LSTM模型进行预测建模，获取输入的负荷数据的短时特征；

CNN处理单元，设置有一个卷积层，用于利用卷积加强LSTM输出的短时特征并消除噪音；

SAM处理及预测输出单元，设置有注意力层和线性全连接层，用于将LSTM-CNN模型输出的预测通过自注意力机制进行加权以突出最重要的特征，然后放入线性连接层进行结果预测。

进一步的，在LSTM处理单元中，输入数据的大小为[256,1,24]，将经过缩放处理的输入数据利用两层LSTM模型进行预测建模，具体为：

将缩放后的输入数据经两层LSTM层进行处理，输出维度保持为[256,1,128]。

进一步的，在CNN处理单元中，利用卷积加强LSTM输出的短时特征并消除噪音，具体为：

将数据转化为四维[1,256,128,1]，并利用卷积核大小为8的二维卷积对数据进行卷积，将输出维度转化为[256,1,128]。

进一步的，在SAM处理及预测输出单元中，将LSTM-CNN模型的预测通过自注意力机制进行加权，具体通过下式进行：

e_t＝tanh(W_att·Cnn_out_t+b_att)

式中，e_t为t时刻的注意力概率分布值，w_att为权重系数，b_att为偏置系数，Cnn_out_t为t时刻卷积层的输出向量，Att_out_t为t时刻注意力层的输出。

进一步的，在SAM处理及预测输出单元中，放入线性连接层进行结果预测，具体为：

按照下式，通过线性全连接层将输出维度变换至预测维度，得到预测结果；

l_out_y_t＝σ(W_out·Att_out_t+b_out)

式中，l_out_y_t为t时刻的预测结果，W_out为权重矩阵，b_out为偏差向量。

综上，本发明提供了一种适用于配网柔性互联实时控制的短期负荷预测方法和系统，包括对负荷数据采用滑动窗口算法构建输入数据集；将输入数据通过全连接层进行缩放；将不规则的时间序列数据利用两层LSTM模型进行预测建模；利用卷积加强LSTM输出的短时特征并消除噪音；将LSTM-CNN模型的预测通过自注意力机制进行加权以突出最重要的特征，然后放入线性连接层进行结果预测。本发明通过基于自注意力机制的LSTM-CNN混合预测框架，可以只使用负荷数据进行预测，在减少数据量的同时保持预测精度，可在现有微电网架构上直接采集负荷数据用于短期符合预测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种适用于配网柔性互联实时控制的短期负荷预测方法的流程示意图；

图2为本发明实施例提供的LSTM-CNN based SAM模型的结构图；

图3为本发明实施例提供的LSTM-CNN based SAM模型的具体细节图；

图4为本发明实施例提供的不同模型进行负荷预测的结果图；

图5为本发明实施例提供的不同模型进行负荷预测的整体性能图；

图6为本发明实施例提供的不同模型之间的指标百分比的直方图。

具体实施方式

为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

短期负荷预测(short-term load forecasting,STLF)是基于“源-网-荷-储”构建微电网运行及调度的基础，基于负荷预测可以协调灵活的储能系统或先进的需求响应技术实现调峰，可有效减少智能电网中小型光伏发电机等分布式发电资源以及可再生电动汽车等弹性负荷带来的不确定性，实现微电网与电网的友好接入。当前的大多数负荷预测算法，需要输入负荷、气象、日期等多维数据以实现准确的负荷预测。但是在微电网应用当中，准确的细颗粒气象数据及长时间的日期数据难以获取，利用分布式智能电表所获取的实时短期负荷数据体现了与气象等数据的相关性。

现有研究中，长短时记忆网络(Long short-term memory，LSTM)被用来预测单个用户的负荷，并证明了它相较于传统方法的优越性。考虑到负荷数据是典型的时间序列，该模型的输出与过去的输入有关。LSTM是循环神经网络(Recurrent Neural Network，RNN)的一个变种，在各个领域都有很强的竞争力，并且能够考虑到时间序列的长期依赖性。在这里，考虑到负载数据的时间特性，LSTM被用来作为模型的基础。卷积神经网络(Convolutional Neural Networks，CNN)是STLF中最流行的特征提取方法，它可以提取特征集的高维相关性。另外，现有研究还提出了一种CNN-LSTM神经网络，利用CNN分析影响负载的天气、负荷、日期等15个维度的特征来提高预测精度。然而，这个方法需要电特征、气象特征和日期特征。只有收集完备的电、气象和日期数据，这个方法才能拥有较高的准确率。相对而言，微电网获取数据难，区域面积小，获得细粒度的数据比较困难。当前大多数文献的电、气象和日期数据都来源于试验地区采集到的数据。这些试验地区在全球的数量并不多。不仅如此，这些试验是专门为微电网研究而设计的，并通过向用户发布问卷，加装测量仪器等方式获取信息。通过加装测量设备获取足够的数据用于负荷预测的方式，不仅需要面对高成本的难题，还在实际应用中会带来大规模通信的挑战。而对于大多数微电网而言，细粒度的数据难度高，途径少。因此，如何利用现有可获得的电力负荷数据实现低成本、高效的负荷预测成为难点。

基于此，本发明提供了一种适用于配网柔性互联实时控制的短期负荷预测方法和系统。

以下对本发明的一种适用于配网柔性互联实时控制的短期负荷预测方法的实施例进行详细的介绍。

请参阅图1，本实施例提供了一种适用于配网柔性互联实时控制的短期负荷预测方法，包括如下步骤：

S100：对负荷数据采用滑动窗口算法构建输入数据集。

具体的，通过滑动窗口得到大小为[256，1，24]的输入数据，其中批尺寸为256，时间步长为1，特征数为24，包含24小时之前的负荷数据。

S200：构建一个带有sigmoid激活函数的全连接层，并将输入数据通过全连接层进行范围缩放。

具体的，经过带sigmoid激活函数的全连接层将数据转化到范围(0，1)中，以适应LSTM对数据的敏感性。

l_out_x_t＝σ(W_in·x_t+b_in)

式中，x_t为输入向量，W_in为权重系数，b_in为偏置，l_out_x_t为经过缩放处理后的输出。

S300：构建两层LSTM模型且两层LSTM采用串行方式连接，将经过缩放处理的输入数据利用两层LSTM模型进行预测建模，获取输入的负荷数据的短时特征。

具体的，经过两层LSTM层(本实施例采用dropout LSTM)，其中一层LSTM的输出作为另一层LSTM的输入，采用串行的方式进行。输出维度保持为[256，1，128]，其中，隐藏层大小为128。

f_t＝σ(W_f·[h_t-1，l_out_x_t]+b_f)

i_t＝σ(W_i·[h_t-1，l_out_x_t]+b_i)

g_t＝t anh(W_g·[h_t-1，l_out_x_t]+b_g)

o_t＝σ(W_o·[h_t-1，l_out_x_t]+b_o)

c_t＝g_t⊙i_t+c_t-1⊙f_t

式中，i_t为输出门，f_t、g_t为遗忘门，o_t为输出门，c_t、h_t分别为长记记和短记记，W_f、W_i、W_g、W_o为权重系数，b_f、b_i、b_g、b_o为偏置系数，σ代表sigmoid函数关系，tanh与

代表tanh函数关系，⊙代表按位点乘，exp表示以自然常数e为底的指数函数。

S400：构建一个卷积层，利用卷积加强LSTM输出的短时特征并消除噪音。

因为CNN具有权值共享，局部连接的特性。CNN的输出只与卷积核内的输入数据有关，所以CNN能够加强短时特征，并有一定的滤波效果。

具体的，本步骤中将数据转化为四维[1，256，128，1]，并利用卷积核大小为8的二维卷积对数据进行卷积，将输出维度转化为[256，1，128]，卷积输出如下：

式中，Cnn_out_t为t时刻卷积层输出向量，W_C为权重系数，b_C为偏置系数。

S500：构建注意力层和线性全连接层，将LSTM-CNN模型输出的预测通过自注意力机制进行加权以突出最重要的特征，然后放入线性连接层进行结果预测。

具体的，利用self-attention机制得到突出的特征。

e_t＝t anh(W_att·Cnn_out_t+b_att)

式中，e_t为t时刻的注意力概率分布值，w_att为权重系数，b_att为偏置系数，Cnn_out_t为t时刻卷积层的输出向量，Att_out_t为t时刻注意力层的输出。

最终通过线性全连接层将输出维度变换至预测维度，获取预测结果，其中输出尺寸为1。

l_out_y_t＝σ(W_out·Att_out_t+b_out)

式中，l_out_y_t为t时刻的预测结果，W_out为权重矩阵，b_out为偏差向量。

以上为对负荷数据利用LSTM-CNN based SAM模型进行整体的预测过程。通过全连接层能够对数据进行处理与缩放，更适用LSTM的预测。LSTM是时间序列预测的典型算法，经过LSTM处理后的序列，能够提取到序列的长时间特征，但是对于随机性或者非平稳性没有较好的效果，因此采用CNN与attention机制来进一步处理。其中LSTM-CNN based SAM模型的结构图如图2所示，具体细节如图3所示。

以下以处理某一实际负荷数据集为例对本方法进行说明。

本实施例是该预测算法的一种应用场景，在该应用场景下对建筑进行对应的负荷预测，表格中给定了负荷预测的指标与负荷预测结果，可利用指标评价负荷预测的效果。选取八幢不同建筑从2014年1月1日至2015年12月31日的负荷数据，按照0.6/0.2/0.2的比例将数据分为训练集、验证集和测试集。在本发明中使用了三种基础的深度学习负荷预测算法作为基准。首先介绍最常用的LSTM。研究表明，LSTM是使用最广泛时间序列预测模型。LSTM通过门控结构存储每个时刻的数据，建立当前时刻与过去时刻的函数关系，提取长期依赖关系和时间特征。由于负荷数据的非平稳性，混合模型的表现超过了LSTM等单一模型。SAM对于给重要信息分配权重是很有用的。通过使用基于SAM的LSTM，模型的准确性得到了提高。另一个模型是基于SAM的CNN-GRU。对于LSTM来说，CNN能够提取输入负荷数据的高维特征。

以下结合具体的实例来对上述结构和方法的应用进行进一步说明；结合上述实施例，以下采用Python软件针对系统进行仿真验证，所有模型都是在NvidiaRTX 2080Ti GPU上实现的，使用Tensorflow 1.1.0作为Python 3.6环境下的后端。模型由默认参数的Adam优化器训练，优化目标函数如下：

表1显示了模型的预测性能，计算结果取十次计算的平均值。

表1各模型的预测性能表

如表所示，在本实验中，本实施例提出的方法在准确率方面是第一位的，在B1到B8中超过了其他方法10％以上。附图4描述了负荷预测的结果。从附图4(a)中可以看出，这四个模型显示了与原始数据相同的趋势。观察放大的附图4(b)(c)表明，即使在高峰和低谷，本说明提出的方法也更接近于预期值。附图5中的箱线图用于比较模型的整体性能。附图6说明了不同模型之间的指标百分比的直方图。当LSTM与基于SAM的LSTM进行比较时，很明显SAM方法同时提高了模型的准确性和稳定性。因此，本实施例提供的方法提供了最高的准确性和稳定性。实验表明，本实施例所提出的方案是一种有竞争力的短期负荷预测方法。即使在峰值或谷值时，拟议的方法也更接近预测值。

本实施例提供了一种适用于配网柔性互联实时控制的短期负荷预测方法，包括对负荷数据采用滑动窗口算法构建输入数据集；将输入数据通过全连接层缩放到(0,1)的范围；将不规则的时间序列利用两层LSTM模型进行预测建模；利用卷积加强LSTM输出的短时特征并消除噪音；将LSTM-CNN模型的预测通过自注意力机制进行加权以突出最重要的特征，然后放入线性连接层进行结果预测。

本实施例通过基于自注意力机制的LSTM-CNN混合预测框架，可以只使用负荷数据进行预测，在减少数据量的同时保持预测精度，可在现有微电网架构上直接采集负荷数据用于短期符合预测。同时，利用卷积核来实现高通滤波器，从而达到滤波和加入噪声的作用，可反应用户行为的不确定性。同时，利用CNN的局部共享特性，来解决的负荷序列的非平稳特性。

以上是对本发明的一种适用于配网柔性互联实时控制的短期负荷预测方法的实施例进行的详细介绍，以下将对本发明的一种适用于配网柔性互联实时控制的短期负荷预测系统的实施例进行详细的介绍。

本实施例提供一种适用于配网柔性互联实时控制的短期负荷预测系统，包括：第一输入单元、第二输入单元、LSTM处理单元、CNN处理单元和SAM处理及预测输出单元。

在本实施例中，第一输入单元用于对负荷数据采用滑动窗口算法构建输入数据集。

在本实施例中，第二输入单元设置有一个带有sigmoid激活函数的全连接层，用于将输入数据通过全连接层进行范围缩放。

在本实施例中，LSTM处理单元设置有两层LSTM模型且两层LSTM采用串行方式连接，用于将经过缩放处理的输入数据利用两层LSTM模型进行预测建模，获取输入的负荷数据的短时特征。

具体的，在LSTM处理单元中，输入数据的大小为[256,1,24]，将经过缩放处理的输入数据利用两层LSTM模型进行预测建模，具体为：

将缩放后的输入数据经两层LSTM层进行处理，输出维度保持为[256,1,128]。

在本实施例中，CNN处理单元设置有一个卷积层，用于利用卷积加强LSTM输出的短时特征并消除噪音。

具体的，在CNN处理单元中，利用卷积加强LSTM输出的短时特征并消除噪音，具体为：

将数据转化为四维[1,256,128,1]，并利用卷积核大小为8的二维卷积对数据进行卷积，将输出维度转化为[256,1,128]。

在本实施例中，SAM处理及预测输出单元设置有注意力层和线性全连接层，用于将LSTM-CNN模型输出的预测通过自注意力机制进行加权以突出最重要的特征，然后放入线性连接层进行结果预测。

具体的，在SAM处理及预测输出单元中，将LSTM-CNN模型的预测通过自注意力机制进行加权，具体通过下式进行：

e_t＝tanh(W_att·Cnn_out_t+b_att)

式中，e_t为t时刻的注意力概率分布值，w_att为权重系数，b_att为偏置系数，Cnn_out_t为t时刻卷积层的输出向量，Att_out_t为t时刻注意力层的输出。

在SAM处理及预测输出单元中，放入线性连接层进行结果预测，具体为：

按照下式，通过线性全连接层将输出维度变换至预测维度，得到预测结果；

l_out_y_t＝σ(W_out·Att_out_t+b_out)

式中，l_out_y_t为t时刻的预测结果，W_out为权重矩阵，b_out为偏差向量。

需要说明的是，本实施例提供的预测系统用于实现前述实施例提供的预测方法，各单元的具体设置均以完整实现该方法为准，在此不再赘述。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.适用于配网柔性互联实时控制的短期负荷预测方法，其特征在于，包括如下步骤：

对负荷数据采用滑动窗口算法构建输入数据集；

构建一个带有sigmoid激活函数的全连接层，并将输入数据通过所述全连接层进行范围缩放；

构建两层LSTM模型且两层LSTM采用串行方式连接，将经过缩放处理的所述输入数据利用所述两层LSTM模型进行预测建模，获取输入的所述负荷数据的短时特征；

构建一个卷积层，利用卷积加强LSTM输出的所述短时特征并消除噪音；

构建注意力层和线性全连接层，将LSTM-CNN模型输出的预测通过自注意力机制进行加权以突出最重要的特征，然后放入所述线性连接层进行结果预测。

2.根据权利要求1所述的适用于配网柔性互联实时控制的短期负荷预测方法，其特征在于，所述输入数据的大小为[256,1,24]，将经过缩放处理的所述输入数据利用所述两层LSTM模型进行预测建模，具体为：

将缩放后的所述输入数据经两层LSTM层进行处理，输出维度保持为[256,1,128]。

3.根据权利要求2所述的适用于配网柔性互联实时控制的短期负荷预测方法，其特征在于，利用卷积加强LSTM输出的短时特征并消除噪音，具体为：

将数据转化为四维[1,256,128,1]，并利用卷积核大小为8的二维卷积对数据进行卷积，将输出维度转化为[256,1,128]。

4.根据权利要求3所述的适用于配网柔性互联实时控制的短期负荷预测方法，其特征在于，将LSTM-CNN模型的预测通过自注意力机制进行加权，具体通过下式进行：

e_t＝tanh(W_att·Cnn_out_t+b_att)

式中，e_t为t时刻的注意力概率分布值，w_att为权重系数，b_att为偏置系数，Cnn_out_t为t时刻所述卷积层的输出向量，Att_out_t为t时刻所述注意力层的输出。

5.根据权利要求4所述的适用于配网柔性互联实时控制的短期负荷预测方法，其特征在于，放入线性连接层进行结果预测，具体为：

按照下式，通过线性全连接层将输出维度变换至预测维度，得到预测结果；

l_out_y_t＝σ(W_out·Att_out_t+b_out)

式中，l_out_y_t为t时刻的预测结果，W_out为权重矩阵，b_out为偏差向量。

6.适用于配网柔性互联实时控制的短期负荷预测系统，其特征在于，包括：

第一输入单元，用于对负荷数据采用滑动窗口算法构建输入数据集；

第二输入单元，设置有一个带有sigmoid激活函数的全连接层，用于将输入数据通过所述全连接层进行范围缩放；

LSTM处理单元，设置有两层LSTM模型且两层LSTM采用串行方式连接，用于将经过缩放处理的所述输入数据利用所述两层LSTM模型进行预测建模，获取输入的所述负荷数据的短时特征；

CNN处理单元，设置有一个卷积层，用于利用卷积加强LSTM输出的所述短时特征并消除噪音；

SAM处理及预测输出单元，设置有注意力层和线性全连接层，用于将LSTM-CNN模型输出的预测通过自注意力机制进行加权以突出最重要的特征，然后放入所述线性连接层进行结果预测。

7.根据权利要求6所述的适用于配网柔性互联实时控制的短期负荷预测系统，其特征在于，在所述LSTM处理单元中，所述输入数据的大小为[256,1,24]，将经过缩放处理的所述输入数据利用所述两层LSTM模型进行预测建模，具体为：

将缩放后的所述输入数据经两层LSTM层进行处理，输出维度保持为[256,1,128]。

8.根据权利要求7所述的适用于配网柔性互联实时控制的短期负荷预测系统，其特征在于，在所述CNN处理单元中，利用卷积加强LSTM输出的短时特征并消除噪音，具体为：

将数据转化为四维[1,256,128,1]，并利用卷积核大小为8的二维卷积对数据进行卷积，将输出维度转化为[256,1,128]。

9.根据权利要求8所述的适用于配网柔性互联实时控制的短期负荷预测系统，其特征在于，在所述SAM处理及预测输出单元中，将LSTM-CNN模型的预测通过自注意力机制进行加权，具体通过下式进行：

e_t＝tanh(W_att·Cnn_out_t+b_att)

式中，e_t为t时刻的注意力概率分布值，w_att为权重系数，b_att为偏置系数，Cnn_out_t为t时刻所述卷积层的输出向量，Att_out_t为t时刻所述注意力层的输出。

10.根据权利要求9所述的适用于配网柔性互联实时控制的短期负荷预测系统，其特征在于，在所述SAM处理及预测输出单元中，放入线性连接层进行结果预测，具体为：

按照下式，通过线性全连接层将输出维度变换至预测维度，得到预测结果；

l_out_y_t＝σ(W_out·Att_out_t+b_out)

式中，l_out_y_t为t时刻的预测结果，W_out为权重矩阵，b_out为偏差向量。

Images