CN111507521A

CN111507521A - 台区电力负荷预测方法及预测装置

Info

Publication number: CN111507521A
Application number: CN202010297161.7A
Authority: CN
Inventors: 张港红; 霍超; 白晖峰; 王立城; 甄岩; 郑利斌; 李新军; 侯莹莹; 苑佳楠; 尹志斌; 高建
Original assignee: State Grid Information and Telecommunication Co Ltd; Beijing Smartchip Microelectronics Technology Co Ltd
Current assignee: State Grid Information and Telecommunication Co Ltd; Beijing Smartchip Microelectronics Technology Co Ltd
Priority date: 2020-04-15
Filing date: 2020-04-15
Publication date: 2020-08-07
Anticipated expiration: 2040-04-15
Also published as: CN111507521B

Abstract

本发明涉及电力负荷预测技术领域，提供一种台区电力负荷预测方法及预测装置，所述方法包括：采集第一预设时刻的台区电力负荷数据，获得第一数据向量；将第一数据向量输入至已训练的预测神经网络，以由预测神经网络输出第二预设时刻的台区电力负荷数据；其中，所述预测神经网络包括编码器和与编码器连接的解码器；所述编码器和解码器均基于时间卷积网络实现；所述编码器用于对第一数据向量进行特征提取，获得第一特征向量；所述解码器用于根据第一特征向量计算第二数据向量，将第二数据向量作为第二预设时刻的台区电力负荷数据。本发明提供的技术方案，能够准确、高效地预测台区电力负荷。

Description

台区电力负荷预测方法及预测装置

技术领域

本发明涉及电力负荷预测技术领域，特别涉及一种台区电力负荷预测方法及一种台区电力负荷预测装置。

背景技术

深度学习技术越来越广泛地应用于对时间序列数据的预测上，尤其是循环神经网络(Recurrent Neural Network，RNN)的广泛应用，以及在该神经网络之上的长短时记忆网络(Long Short-Term Memory，LSTM)和门控循环单元(Gated Recurrent Unit，GRU)所体现出来的高精度，使神经网络在电力负荷预测领域越来越受欢迎。用于预测台区电力负荷的神经网络一般被称为预测神经网络。

然而，在现有技术中，对预测神经网络训练的稳定性问题一直存在，而且经常出现梯度消失的现象，由于在整个训练任务完成之前，需要保存所有的中间结果，所以计算密集度较强，对于训练输入的长序列数据所消耗的系统内存容量也很大。另外，现有的预测神经网络一次只读取、解析输入序列数据中的一个数值，预测神经网络必须等前一个数值处理完毕，才能进行下一个数值的处理，这导致了大规模的并行处理难以完成。

现有的预测神经网络的上述缺点导致了对台区电力负荷的预测不准确，且时效性不高。

发明内容

有鉴于此，本发明旨在提出一种台区电力负荷预测方法及预测装置，能够准确、高效地预测台区电力负荷。

为达到上述目的，本发明的技术方案是这样实现的：

一种台区电力负荷预测方法，所述方法包括：

采集第一预设时刻的台区电力负荷数据，获得第一数据向量；

将所述第一数据向量输入至已训练的预测神经网络，以由所述预测神经网络输出第二预设时刻的台区电力负荷数据；

其中，所述预测神经网络包括编码器和与所述编码器连接的解码器；所述编码器和所述解码器均基于时间卷积网络实现；

所述编码器用于对所述第一数据向量进行特征提取，获得第一特征向量；

所述解码器用于根据所述第一特征向量计算第二数据向量，将所述第二数据向量作为所述第二预设时刻的台区电力负荷数据。

进一步地，所述预测神经网络还包括设置于所述编码器与所述解码器之间的自注意力机制模块；

所述自注意力机制模块用于计算所述第一特征向量中每个元素之间的相关性，获得第二特征向量；

所述解码器还用于根据所述第二特征向量计算所述第二数据向量。

优选地，所述编码器包括多个卷积层和第一分类函数；

所述多个卷积层用于对所述第一数据向量进行逐层特征提取，获得中间特征向量；

所述第一分类函数用于对所述中间特征向量进行分类，获得所述第一特征向量。

优选地，所述多个卷积层均为一维卷积层。

优选地，所述多个卷积层包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第一过滤器；

所述第一卷积层包括因果卷积，所述因果卷积包括64个依次连接的卷积核，该64个卷积核的尺寸均为7；

所述第二卷积层包括扩展卷积，该扩展卷积包括64个依次连接的卷积核，该64个卷积核的尺寸均为13；

所述第三卷积层包括扩展卷积，该扩展卷积包括64个依次连接的卷积核，该64个卷积核的尺寸均为9；

所述第四卷积层包括扩展卷积，该扩展卷积包括64个依次连接的卷积核，该64个卷积核的尺寸均为11；

所述第一过滤器包括m个依次连接的卷积核，该m个卷积核的尺寸均为7，其中，m为所述第一数据向量中元素的个数。

优选地，所述解码器包括多个反卷积层和第二分类函数；

所述多个反卷积层用于对所述第二特征向量进行逐层上采样以计算中间数据向量；

所述第二分类函数用于对所述中间数据向量进行分类，获得所述第二数据向量。

优选地，所述多个反卷积层均为一维反卷积层。

优选地，所述多个反卷积层包括依次连接的第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层和第二过滤器；

所述第一反卷积层包括64个依次连接的卷积核，该64个卷积核的尺寸均为3；

所述第二反卷积层、所述第三反卷积层和所述第四反卷积层均与所述第一反卷积层的结构相同；

所述第二过滤器包括m个依次连接的卷积核，该m个卷积核的尺寸均为3，其中，m为所述第一数据向量中元素的个数。

优选地，所述第一分类函数和所述第二分类函数均为Softmax函数。

本发明的另一目的在于提出一种台区电力负荷预测装置，能够准确、高效地预测台区电力负荷。

为达到上述目的，本发明的技术方案是这样实现的：

一种台区电力负荷预测装置，所述装置包括：

采集模块，用于采集第一预设时刻的台区电力负荷数据，获得第一数据向量；

预测模块，用于将所述第一数据向量输入至已训练的预测神经网络，以由所述预测神经网络输出第二预设时刻的台区电力负荷数据；

本发明所述的台区电力负荷预测方法及预测装置，根据第一预设时刻的台区电力负荷数据并采用基于时间卷积网络的预测神经网络来预测第二预设时刻的台区电力负荷数据，由于时间卷积网络的各个卷积层之间是有因果关系的，因此不会在任何一个环节遗漏输入该预测神经网络的历史信息，使得该预测神经网络更加稳定；又由于时间卷积网络的每一层均使用相同的卷积核，因此能够进行大规模的并行处理。可见，本发明提供的技术方案能够使得预测神经网络在运行时更加稳定且运行效率更高，从而使得本发明能够准确、高效地预测台区电力负荷。

本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施方式及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例的方法流程图；

图2为本发明实施例中预测神经网络的结构示意图；

图3为本发明实施例采用图2所示的预测神经网络进行台区电力负荷预测的流程图；

图4为本发明实施例所述的编码器和解码器中应用的残差网络的结构示意图；

图5为本发明实施例的装置结构图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

本发明实施例提供的台区电力负荷预测方法如图1所示，该方法包括：

S101，采集第一预设时刻的台区电力负荷数据，获得第一数据向量；

本实施例中，由台区用电信息采集终端来采集第一预设时刻的台区电力负荷数据，该台区电力负荷数据为时间序列负荷数据，采集终端将采集到的时间序列负荷数据按照时间步进行选择。例如，将每天中每隔15分钟采集一次得到的96个电力负荷数据作为一组，将该组数据组成第一数据向量。或者，将每天的7个冻结负荷数据作为一组，将该组数据组成第一数据向量。上述96个电力负荷数据代表一个台区中有96个电力负荷点；上述7个冻结负荷数据代表每天在24点那一刻采集到的电力负荷数据。本实施例中所述的第一预设时刻除了上述“每隔15分钟”和“每天24点”外，还可以根据实际需求选取其它时刻作为上述第一预设时刻，此处不作具体限制。

S102，将所述第一数据向量输入至已训练的预测神经网络，以由所述预测神经网络输出第二预设时刻的台区电力负荷数据。

如图2所示，所述预测神经网络包括编码器和与所述编码器连接的解码器；所述编码器和所述解码器均基于时间卷积网络实现；

本实施例采用时间卷积网络(Temporal Convolutional Network，TCN)对时间序列数据进行处理，主要在于其可以直接从原始时间序列数据中学习时间序列数据的内部表示，并不需要其它的辅助手段。所述的时间卷积网络采用全卷积网络的形式，也就是说每一层都采用卷积核的方式进行操作，可实现密集型的预测，这样确保全局性和灵活性。另外，全卷积网络中没有全连接层，最后一层输出可以达到端到端的目的，即可以使输入和输出数据格式保持一致。而且卷积神经网络架构能将任意长度的时间序列数据映射输出到预设长度的序列。

为了使用卷积操作处理时间序列数据，本实施例将一维全卷积与扩展的因果卷积相结合。因为要考虑时间问题，本实施例采用因果卷积的方式，在低层进行卷积操作时，其观察区域较小，且对特征的位置变化敏感度不高，高层网络的卷积操作观察区域比较大，对特征的位置变化敏感度高。所以通过填充0的方式逐层扩展其分辨率，促使观察区域随着模型深度增加而大幅扩大，以便处理时间序列的长期依赖，从而使得模型的复杂性不会发生陡然上升的现象。

本实施例采用一维全卷积的方式处理负荷时间序列数据，用一维卷积替代最后的全连接层便于观察整个输入序列的特征，将历史数据的特征传递到预测时间步，以便构建长期依赖关系和记忆。在一维卷积下对时间序列数据实现元素级的预测，可使用尺寸更大的卷积核，如可扩展使用尺寸大于5的一维卷积核，并且速度更快、计算代价更低。

为了在计算能力有限的情况下，将计算资源分配给更重要的任务，同时为了避免信息超载状况的发生，本实施例所述的预测神经网络还包括设置于所述编码器与所述解码器之间的自注意力机制(Self-attention)模块，如图2所示。该自注意力机制模块用于计算上述第一特征向量中每个元素之间的相关性，获得第二特征向量，则本实施例中所述的解码器还用于根据该第二特征向量计算上述第二数据向量。

在经过上述步骤S101对负荷数据的采集后，第一数据向量中包含有96个元素。在每个时间步内，由于采用一维卷积神经网络，所以将数据平展成长度为96的向量后传入后续的预测神经网络中，即将数据整理为96x 1的形状。其目的就是，在给定未来某个时间步t+1的情况下，采用本实施例构建的预测神经网络，在输入某个时间步t的序列数据{x₀,x₁,…x_t}后，能够预测输出时间步t+1相应的序列数据{y₀,y₁,…y_t}。

假设已知某个时间步的负荷数据{x₁,x₂,…x_m}(例如今天的电力负荷数据)以及指定时间步的负荷数据{y_n,y_n-1,…y₁}(例如明天的电力负荷数据)，则对上述预测神经网络的训练目标为最大化概率：

P(y_n,y_n-1,...,y₁|x₁,x₂,...,x_m)

本实施例中，将上式表示为：

本实施例中的编码器，能够将输入序列转化成一个固定长度的向量；本实施例中的解码器，能够将之前生成的固定向量再转化成输出序列。

本实施例将编码器-解码器框架看作适用于处理由一个时间步为天的负荷数据序列(或周、月、年)生成另外一个时间步为天的负荷数据序列(或周、月、年)的通用处理模型。

本实施例所述的编码器-解码器框架，其中编码器将输入序列数据{x₁,x₂,…x_m}映射到注意力表达Z：{z₁,z₂,…z_m}。通过中间注意力表达变量Z，解码器生成指定时间步的输出序列预测数据{y₁,y₂,…y_m}。采用本实施例中的预测神经网络进行台区电力负荷预测的流程图如图3所示。

下面具体阐述本发明实施例中的编码器、自注意力机制模块和解码器的结构及工作流程：

为了保证历史时间的预测不会受到未来时间信息的影响，时间步t的输出只会根据t-1及之前时间步的卷积运算得出，这样的计算方式，本实施例称之为因果卷积。也就是说，时间步t的输出只会根据t-1及之前时间步的数据计算得出。当预测生成序列中下一个数据时，之前预测生成的数据将进入下一次的输入序列。另外，为了扩大观察区域的范围，在高层逐渐在因果卷积的基础之上，采用扩展卷积的方式进行。

最终所形成的编码器包括依次连接的多个卷积层和第一分类函数，所述多个卷积层用于对所述第一数据向量进行逐层特征提取后，获得中间特征向量；所述第一分类函数用于对该中间特征向量进行分类，获得第一特征向量。所述中间特征向量为上述第一数据向量通过上述多个卷积层后，最后一个卷积层所输出的结果。

具体地，本实施例中，所述多个卷积层包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第一过滤器；所述第一卷积层用于对所述第一数据向量进行特征提取，获得第一中间特征向量；所述第二卷积层用于对所述第一中间特征向量进行特征提取，获得第二中间特征向量；所述第三卷积层用于对所述第二中间特征向量进行特征提取，获得第三中间特征向量；所述第四卷积层用于对所述第三中间特征向量进行特征提取，获得第四中间特征向量；所述第一过滤器用于对所述第四中间特征向量进行特征提取，获得第五中间特征向量；则，所述第一分类函数用于对所述第五中间特征向量进行分类，获得所述第一特征向量。

本实施例中，第一卷积层、第二卷积层、第三卷积层、第四卷积层和第一过滤器均为一维卷积层。

具体地，第一卷积层包括因果卷积，该因果卷积包括64个依次连接的卷积核，该64个卷积核的尺寸均为7。通过第一卷积层，能够得到64个不同的特征。与此同时，本实施例采用ResNet残差网络的跳层连接(Skip-connection)的思想，其操作如图4所示。在图4中，权重操作层就是卷积层，而X恒等映射就是X矩阵直接跳过两层的权重操作层，与两层权重操作层输出结果一起进行ReLU计算。

第一卷积层输出的矩阵将作为第二卷积层的输入，第二卷积层包括扩展卷积，并再定义64个依次连接的不同的卷积核。为了在更高层扩大观察区域，该层将卷积核的元素之间加入1个0元素，也就是让64个卷积核的尺寸均变为13，中间一共加入了6个0元素。同样，也通过跳层连接实现输出。

上述第三卷积层包括扩展卷积，该扩展卷积包括64个依次连接的卷积核，该64个卷积核的尺寸均为9，即让扩展卷积在第一卷积层的元素之间加入2个0元素完成输出，第三卷积层的其它操作方式与第一卷积层相同。

上述第四卷积层包括扩展卷积，该扩展卷积包括64个依次连接的卷积核，该64个卷积核的尺寸均为11，即让扩展卷积在第一卷积层的元素之间加入4个0元素完成输出，第四卷积层的其它操作方式与第一卷积层相同。

上述第一过滤器包括m个依次连接的卷积核，该m个卷积核的尺寸均为7，其中，m为所述第一数据向量中元素的个数。在本层中，m个卷积核与第四卷积层的输出进行卷积操作，并通过第一分类函数Softmax函数实现输出m个值

该m个值组成上述第一特征向量，并将其作为输入接入到自注意力机制模块中。

本实施例中的自注意力机制模块，在时间序列数据内部计算注意力，探索序列内部相关性。注意力函数Attention可以描述为将一个Query和一组Key-Value映射到一个输出，其中Query、Key、Value和输出都是向量。输出通过值的加权和计算，计算Query和Key之间的相似性，即注意力机制，并利用这种相似性确定Query和Value之间的注意力关系。

Attention函数的本质可以被描述为一个查询(query)到一系列(键key-值value)对的映射。在计算attention值时主要分为三步，第一步是将query和每个key进行相似度计算得到权重，常用的相似度函数有点积、拼接、感知机等，本实施例中采用点积计算的方式。第二步是使用一个Softmax函数对这些权重进行归一化。最后将权重和相应的键值value进行加权求和得到最后的attention值。本实施例中所述的key和value相同，即key＝value。

将输入向量X：

即输入m个输入数据，并随机初始化Q，K，V对应的权重向量W^Q，W^K，W^V，通过线性变换得到Query向量序列Q，Key向量序列K和Value向量序列V，并将其变形为矩阵Q，Key和Value也变形为矩阵K和V，具体计算为：

Q＝W^QX

K＝W^KX

V＝W^VX

其中W为对应线性变换的权重矩阵。

输入包括查询Query、维度为d_k的Key，以及维度为d_v的Value。

计算所有的Key与Query的点积，结果除以

再用Softmax函数得到Value的权重。

其输出矩阵通过如下公式计算：

其中，QK^T为Q与K的转置(K^T)进行点乘操作，除以d_k的平方根，并通过Softmax函数计算其概率分布，最后与V进行点乘得到输出Z：z₁,z₂,...,z_m。则Z就是考虑到周围时间序列数据的一个输出。

为了实现端到端的目的，解码器采用反卷积和上采样的操作方式。反卷积是指通过计算输出，并结合已知输入进行预测未知输入的过程，不具备学习能力。解码器通过反卷积层等操作步骤逐步恢复预测目标的元素。上采样即在原始输入元素的基础上在元素之间插入合适的新元素。

本实施例中，所述解码器包括依次连接的多个反卷积层和第二分类函数，所述多个反卷积层用于对所述第二特征向量进行逐层上采样以计算中间数据向量，所述第二分类函数用于对该中间数据向量进行分类，获得第二数据向量。所述中间数据向量为上述第二特征向量通过上述多个反卷积层后，最后一个反卷积层所输出的结果。

具体地，本实施例中，所述多个反卷积层包括依次连接的第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层和第二过滤器；所述第一反卷积层用于对所述第二特征向量进行上采样，根据上采样后的第二特征向量计算第一中间数据向量；所述第二反卷积层用于对所述第一中间数据向量进行上采样，根据上采样后的第一中间数据向量计算第二中间数据向量；所述第三反卷积层用于对所述第二中间数据向量进行上采样，根据上采样后的第二中间数据向量计算第三中间数据向量；所述第四反卷积层用于对所述第三中间数据向量进行上采样，根据上采样后的第三中间数据向量计算第四中间数据向量；所述第二过滤器用于根据所述第四中间数据向量计算第五中间数据向量；则，所述第二分类函数用于对所述第五中间数据向量进行分类，获得所述第二数据向量。

本实施例中，第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层和第二过滤器均为一维反卷积层。

具体地，第一反卷积层包括64个依次连接的卷积核，该64个卷积核的尺寸均为3。将输入序列z₁,z₂,...,z_m每个元素之间插入4个0，同样，操作过程采用如图4所示的ResNet残差网络的跳层连接(Skip-connection)的思想，完成该层的操作过程。

第二反卷积层包括64个依次连接的卷积核，该64个卷积核的尺寸均为3。在实际上采样中，将第一反卷积层输出的每个元素之间插入2个0，将其作为第二反卷积层的输入。第二反卷积层的其它操作与第一反卷积层的操作相同。

第三反卷积层包括64个依次连接的卷积核，该64个卷积核的尺寸均为3。在实际上采样中，将第二反卷积层输出的每个元素之间插入1个0，将其作为第三反卷积层的输入。第三反卷积层的其它操作与第一反卷积层的操作相同。

第四反卷积层包括64个依次连接的卷积核，该64个卷积核的尺寸均为3。在实际操作中，将第三反卷积层的输出直接作为第四反卷积层的输入。第四反卷积层的其它操作与第一反卷积层的操作相同。

第二过滤器包括m个依次连接的卷积核，该m个卷积核的尺寸均为3，其中，m为所述第一数据向量中元素的个数。第二过滤器中的m个卷积核与第四反卷积层的输出进行卷积操作，并通过第二分类函数Softmax函数实现输出m个预测序列{y₁,y₂,…y_m}。

本实施例中的预测神经网络采用以下步骤进行训练：

(1)数据预处理；

(2)将数据输入神经网络(针对每个神经元，先是输入值加权累加，再输入到激活函数作为该神经元的输出值)正向传播，得到计算值；

(3)将第(2)步得到的计算值输入损失函数，与真实值比较得到误差，通过误差判断识别程度；

(4)通过反向传播(也就是反向求导，误差函数和神经网络中每个激活函数都要求导，最终目的是使误差最小)来确定梯度值；

(5)最后通过梯度值来调整每一个权值，使误差趋于0或收敛的趋势调节；

(6)重复上述过程直到设定次数或误差损失的平均值不再下降；

(7)训练完成。

与上述方法实施例相对应地，本发明还提供一种台区电力负荷预测装置，如图5所示，所述装置包括：

采集模块201，用于采集第一预设时刻的台区电力负荷数据，获得第一数据向量；

预测模块202，用于将所述第一数据向量输入至已训练的预测神经网络，以由所述预测神经网络输出第二预设时刻的台区电力负荷数据；

上述装置的工作原理、工作流程等涉及具体实施方式的内容可参见本发明所提供的台区电力负荷预测方法的具体实施方式，此处不再对相同的技术内容进行详细描述。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的不同实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims

1.一种台区电力负荷预测方法，其特征在于，所述方法包括：

其中，所述预测神经网络包括编码器和与所述编码器连接的解码器；所述编码器和所述解码器均基于时间卷积网络实现；所述编码器用于对所述第一数据向量进行特征提取，获得第一特征向量；所述解码器用于根据所述第一特征向量计算第二数据向量，将所述第二数据向量作为所述第二预设时刻的台区电力负荷数据。

2.根据权利要求1所述的台区电力负荷预测方法，其特征在于，所述预测神经网络还包括设置于所述编码器与所述解码器之间的自注意力机制模块；

3.根据权利要求2所述的台区电力负荷预测方法，其特征在于，所述编码器包括多个卷积层和第一分类函数；

所述多个卷积层用于对所述第一数据向量进行逐层特征提取后，获得中间特征向量；

4.根据权利要求3所述的台区电力负荷预测方法，其特征在于，所述多个卷积层均为一维卷积层。

5.根据权利要求4所述的台区电力负荷预测方法，其特征在于，所述多个卷积层包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第一过滤器；

6.根据权利要求3所述的台区电力负荷预测方法，其特征在于，所述解码器包括多个反卷积层和第二分类函数；

7.根据权利要求6所述的台区电力负荷预测方法，其特征在于，所述多个反卷积层均为一维反卷积层。

8.根据权利要求7所述的台区电力负荷预测方法，其特征在于，所述多个反卷积层包括依次连接的第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层和第二过滤器；

9.根据权利要求6所述的台区电力负荷预测方法，其特征在于，所述第一分类函数和所述第二分类函数均为Softmax函数。

10.一种台区电力负荷预测装置，其特征在于，所述装置包括：