CN113592185A - 一种基于Transformer的电力负荷预测方法 - Google Patents

一种基于Transformer的电力负荷预测方法 Download PDF

Info

Publication number
CN113592185A
CN113592185A CN202110898689.4A CN202110898689A CN113592185A CN 113592185 A CN113592185 A CN 113592185A CN 202110898689 A CN202110898689 A CN 202110898689A CN 113592185 A CN113592185 A CN 113592185A
Authority
CN
China
Prior art keywords
data
load
layer
sequence
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110898689.4A
Other languages
English (en)
Other versions
CN113592185B (zh
Inventor
黄飞虎
彭舰
弋沛玉
李沛东
李梦诗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110898689.4A priority Critical patent/CN113592185B/zh
Publication of CN113592185A publication Critical patent/CN113592185A/zh
Application granted granted Critical
Publication of CN113592185B publication Critical patent/CN113592185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于Transformer的电力负荷预测方法，包括获取历史负荷数据和天气数据；分别从历史负荷数据中提取序列特征和趋势特征、及天气数据中提取天气特征，将序列特征、趋势特征及天气特征融合得到融合特征向量序列；利用Transformer模型从融合特征向量序列中提取时序特征信息；根据时序特征信息对电力负荷进行预测。本发明通过将负荷数据的趋势性、周期性、时间信息融入预测模型，使预测模型有很多的特征信息，从而提升预测精度。

Description

一种基于Transformer的电力负荷预测方法
技术领域
本发明涉及电力负荷预测技术领域，具体涉及一种基于Transformer的电力负荷预测方法。
背景技术
荷预测是电网系统中很多应用场景的重要环节。一方面，用户侧的电力需求是动态变化的，由于电能的特点是即发即用，因此负荷供需的动态平衡需要负荷预测的支持，才能保障整个电力系统稳定、高效地运行；另一方面，国家提出了构建以新能源为主体的新型电力系统的目标，未来新能源(风、光等)将成为电网系统的重要部分，然而新能源的出力具有不确定性[1]，如何保障电网的稳定运行需要准确预测用电负荷，合理制定发电计划；负荷预测任务的难点在于其受诸多外部因素的影响。比如，天气因素和市场因素会给短期、超短期的负荷带来波动，政府政策因素、居民收入因素会给长期、中长期负荷带来影响。
现有负荷预测方法可以分为：基于数学模型的预测方法、基于机器学习的预测方法和基于深度学习的预测方法。(1)基于数学模型的预测方法，常见的有自回归移动平均(Auto Regression Moving Average,ARMA)、自回归(Auto Regression,AR)等时间序列模型,这类方法简单，运行速度快，能够解决负荷的时变性。但是不能很好地解决非线性和不确定性问题。(2)基于机器学习的预测方法。机器学习算法可以有效处理非线性问题。这类方法常用的有支持向量机(Support Vector Machines,SVM)、决策树、多层感知机(Multilayer Perceptron，MLP)等,但是面对复杂的电力系统，其对数据特征的挖掘还是略显不足。(3)基于深度学习的预测方法,比如，以长短期记忆网络LSTM(Long Short-TermMemory,LSTM)和门控循环单元(Gate Recurrent Unit,GRU)为主的循环神经网络(Recurrent Neural Network,RNN)在负荷预测中有广泛应用。然而，现有基于LSTM和GRU的负荷预测模型，只会将最后一个单元特征向量用于预测，因此丢失了很多重要特征，使得模型并不能充分地挖掘时序数据之间的非线性关系。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于Transformer的电力负荷预测方法。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于Transformer的电力负荷预测方法，包括以下步骤：
S1、获取历史负荷数据和天气数据；
S2、分别从历史负荷数据中提取序列特征和趋势特征、及天气数据中提取天气特征，将序列特征、趋势特征及天气特征融合得到融合特征向量序列；
S3、利用Transformer模型从融合特征向量序列中提取时序特征信息；
S4、根据时序特征信息对电力负荷进行预测。
进一步地，所述步骤S1具体包括：
从获取的历史负荷数据提取第一数据长度的负荷数据和第二数据长度的负荷数据；及
从天气数据中提取分别与第一数据长度的负荷数据和第二数据长度的负荷数据对应的天气数据。
进一步地，所述步骤S2中，从历史负荷数据中提取序列特征的方法包括以下分步骤：
A1、根据第一数据长度的负荷数据和第二数据长度的负荷数据分别构建负荷序列；
A2、采用值编码器对各个负荷序列中的值进行特征映射，提取得到值信息；
A3、采用位置编码器对各个负荷序列中的每一项负荷数据进行位置编码，提取得到位置信息；
A4、采用时间编码器对各个负荷序列中的每一项负荷数据进行时间编码，提取得到时间信息；
A5、将提取得到的值信息、位置信息和时间信息，组合得到第一数据长度的负荷数据和第二数据长度的负荷数据的序列特征。
进一步地，所述步骤S2中，从历史负荷数据中提取趋势特征的方法包括以下分步骤：
B1、从获取的历史负荷数据提取第一数据长度对应的第一周期的第三数据长度的负荷数据、第一数据长度对应的第二周期的第三数据长度的负荷数据、及第一数据长度对应的第三周期的第三数据长度的负荷数据；
B2、根据各个负荷数据分别构建负荷序列；
B3、将各个负荷序列进行叠加，构建趋势矩阵；
B4、采用趋势编码器对趋势矩阵提取趋势特征。
进一步地，所述步骤S2中，从天气数据中提取天气特征的方法包括以下分步骤：
C1、根据与第一数据长度的负荷数据和第二数据长度的负荷数据对应的天气数据分别构建天气矩阵；
C2、采用天气编码器对各个天气矩阵提取天气特征。
进一步地，所述步骤S3具体包括以下分步骤：
S31、构建包括编码块和解码块的Transformer模型；
S32、将第一数据长度的负荷数据对应的融合特征向量序列输入编码块进行特征编码，输出得到编码块的隐藏状态特征；
S33、将第二数据长度的负荷数据对应的融合特征向量序列和编码块的隐藏状态特征输入解码块进行特征解码，输出得到时序特征信息。
进一步地，所述步骤S32具体包括以下分步骤：
S321、对第一数据长度的负荷数据对应的融合特征向量序列进行位置编码，得到位置编码；
S322、将位置编码输入多头注意力层，对位置编码进行编码后再作线性映射，得到多头注意力层输出特征；
S323、将多头注意力层输出特征输入第一正则化层，得到第一正则化层输出特征；
S324、将第一正则化层输出特征输入全连接层，得到全连接层输出特征；
S325、将全连接层输出特征输入第二正则化层，得到第二正则化层输出特征；
S326、根据编码块的网络层数量重复步骤S322至S325，将得到的正则化输出特征输入编码层进行特征编码，输出得到编码块的隐藏状态特征。
进一步地，所述步骤S33具体包括以下分步骤：
S331、将第二数据长度的负荷数据对应的融合特征向量序列输入第一个解码层进行位置编码，得到位置编码；
S332、将位置编码和编码块的隐藏状态特征输入第一多头注意力层，对位置编码特征进行编码后再作线性映射，得到第一多头注意力层输出特征；
S333、将第一多头注意力层输出特征输入第一正则化层，得到第一正则化层输出特征；
S334、将第一正则化层输出特征输入全连接层，得到全连接层输出特征；
S335、将全连接层输出特征输入第二正则化层，得到第二正则化层输出特征；
S336、根据解码块的网络层数量重复步骤S332至S335，将得到的正则化输出特征输入解码层进行特征解码，输出得到时序特征信息。
进一步地，所述步骤S4具体包括以下分步骤：
S41、将时序特征信息输入全连接层，得到全连接层输出特征；
S42、将全连接层输出特征输入激活层，输出得到电力负荷预测结果。
本发明具有以下有益效果：
本发明将负荷数据的位置信息、趋势性、周期性和时间特征进行编码，以及对应的天气信息进行融合，使得在外部数据有限的情况下可以充分利用天气、日期等信息；并且利用Transformer模型更加充分地挖掘时序数据之间的非线性关系；本发明通过将负荷数据的趋势性、周期性、时间信息融入预测模型，使预测模型有很多的特征信息，从而提升预测精度。
附图说明
图1为本发明实施例中一种基于Transformer的电力负荷预测方法流程示意图；
图2为本发明实施例中预测模型框架示意图；
图3为本发明实施例中特征嵌入层框架示意图；
图4为本发明实施例中预测层框架示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，本发明实施例提供了一种基于Transformer的电力负荷预测方法，包括以下步骤S1至S4：
S1、获取历史负荷数据和天气数据；
在本实施例中，步骤S1具体包括：
从获取的历史负荷数据提取第一数据长度的负荷数据和第二数据长度的负荷数据；及
从天气数据中提取分别与第一数据长度的负荷数据和第二数据长度的负荷数据对应的天气数据。
具体而言，本发明从从历史负荷数据中提取长度为h时刻的负荷数据和长度为h`时刻的负荷数据，h>h`；同时从天气数据中提取分别与第一数据长度的负荷数据和第二数据长度的负荷数据对应的天气数据；使得本发明能够基于历史数据和额外的天气数据进行特征挖掘为模型提供输入特征。由于负荷数据的影响因素很多，因此尽可能地挖掘丰富的特征信息能够提高模型预测的准确性。
S2、分别从历史负荷数据中提取序列特征和趋势特征、及天气数据中提取天气特征，将序列特征、趋势特征及天气特征融合得到融合特征向量序列；
在本实施例中，本发明从历史负荷数据中提取序列特征的方法包括以下分步骤：
A1、根据第一数据长度的负荷数据和第二数据长度的负荷数据分别构建负荷序列；
A2、采用值编码器对各个负荷序列中的值进行特征映射，提取得到值信息；
A3、采用位置编码器对各个负荷序列中的每一项负荷数据进行位置编码，提取得到位置信息；
A4、采用时间编码器对各个负荷序列中的每一项负荷数据进行时间编码，提取得到时间信息；
A5、将提取得到的值信息、位置信息和时间信息，组合得到第一数据长度的负荷数据和第二数据长度的负荷数据的序列特征。
具体而言，本发明在特征嵌入层从三个方面进行特征提取和融合，分别为序列特征、趋势特征和天气特征，对第一数据长度的负荷数据和第二数据长度的负荷数据提取序列特征的方法相同，这里以第一数据长度的负荷数据为例，构建负荷序列X＝[Xt-h+1,…,Xt]。
本发明采用不同的编码器对序列特征、趋势特征和天气特征进行嵌入，如图2和图3所示。
其中对于负荷序列中的每个值，采用值编码器Ev对负荷序列的值进行特征映射，提取得到值信息。
对于负荷序列中的每一项负荷数据Xt的位置信息，即该负荷数据Xt在负荷序列中的顺序i，采用位置编码器Ep对各个负荷序列中的每一项负荷数据进行位置编码，提取得到位置信息，从而使得Transformer模型中编码块的注意力机制能够对负荷序列输入的数据进行定位。
对于负荷序列的时间信息，本发明采用时间编码器Et对各个负荷序列中的每一项负荷数据进行时间编码，提取得到时间信息，从而有助于在数据中引入时间信息。因为用户的用电需求与时间具有很强的相关性。对于每一项Xi，首先提取其时间信息(月份、日、周、时、分信息)，假定其当前时间为2021-03-0315:30:30，则提取的信息包含：3月份、3号、星期三、下午15点、30分。用数值向量表示为[3,3,3,15,30]。对于分钟信息，在实际处理时，以15分为一个时间段，即把1小时分成4段。因此，在输入时间编码器时，该时间信息应该表示为[3,3,3,15,2]。
上述值编码器Ev和时间编码器Et采用全连接网络，位置编码器Ep采用位置编码函数直接计算，位置编码函数et表示为
Figure BDA0003198888010000081
其中，dm表示位置编码特征的维度。
将提取得到的值信息、位置信息和时间信息，组合得到负荷数据的序列特征，表示为
Xseq＝Ev(X)+Ep(X)+Et(X)
本发明从历史负荷数据中提取趋势特征的方法包括以下分步骤：
B1、从获取的历史负荷数据提取第一数据长度对应的第一周期的第三数据长度的负荷数据、第一数据长度对应的第二周期的第三数据长度的负荷数据、及第一数据长度对应的第三周期的第三数据长度的负荷数据；
B2、根据各个负荷数据分别构建负荷序列；
B3、将各个负荷序列进行叠加，构建趋势矩阵；
B4、采用趋势编码器对趋势矩阵提取趋势特征。
具体而言，本发明除了从历史负荷数据中提取长度为h时刻负荷序列[Xt-h+1,…,Xt]，还需要提取过去h天在t时刻的负荷数据构建负荷序列D，过去h周在t时刻的负荷数据构建负荷序列W，以及过去h月在t时刻的负荷数据构建负荷序列M。利用负荷序列D、负荷序列W和负荷序列M构建负荷数据的趋势信息。这些信息包含了过去相对来说较长一段时间的负荷变化趋势，能够反映一定的周期性和趋势性。
本发明将负荷序列D、负荷序列W和负荷序列M进行叠加构成趋势矩阵T∈R3×h，然后利用卷积操对趋势矩阵T进行特征提取，得到趋势特征，表示为
Xtre＝Conv1d(T)
其中，Conv1d为一维卷积操作。
本发明从天气数据中提取天气特征的方法包括以下分步骤：
C1、根据与第一数据长度的负荷数据和第二数据长度的负荷数据对应的天气数据分别构建天气矩阵；
C2、采用天气编码器对各个天气矩阵提取天气特征。
具体而言，由于天气与用户用电也有很大相关性，因此本发明还引入了天气数据进行特征融合。由于天气数据都是数值类型，因此将天气数据构成数值向量Q，作为全连接网络的输入，表示为
Xwea＝Ew(Q)
最后，将序列特征Xseq、趋势特征Xtre及天气特征Xwea融合得到融合特征向量序列，表示为
Xinput＝concat(Xseq，Xtre，Xwea)
其中，concat表示特征向量融合操作。
S3、利用Transformer模型从融合特征向量序列中提取时序特征信息；
在本实施例中，步骤S3具体包括以下分步骤：
S31、构建包括编码块和解码块的Transformer模型；
S32、将第一数据长度的负荷数据对应的融合特征向量序列输入编码块进行特征编码，输出得到编码块的隐藏状态特征；
S33、将第二数据长度的负荷数据对应的融合特征向量序列和编码块的隐藏状态特征输入解码块进行特征解码，输出得到时序特征信息。
具体而言，针对负荷数据的非线性和时变性特征，本发明采用Transformer模型进行挖掘。相比常用的LSTM和GRU网络，Transformer模型更适合挖掘序列中的时序依赖关系。LSTM和GRU的缺点在于，其编码阶段只有最多一个单元的隐藏特征可以传递到解码层，这就导致部分信息丢失。对于负荷数据这类波动性较大的任务来说，应该充分利用前面提取的隐藏特征。
因此本发明将特征嵌入层得到融合特征向量序列Xinput输入Transformer模型，从而得到具有时序依赖的时序特征信息Xdep，表示为
Xdep＝Transformer(Xinput)
如图2所示，本发明构建的Transformer模型包括编码块和解码块，其中编码块包括多个由多头注意力层、相加归一化层、前馈神经网络层及相加归一化层组成的翻译块和一编码层，解码块包括多个由两层多头注意力层和相加归一化层、及一层前馈神经网络层和相加归一化层组成的翻译块和一编码层；编码块的编码层的输出与解码块的翻译块中第二层多头注意力层连接。
上述步骤S32具体包括以下分步骤：
S321、对第一数据长度的负荷数据对应的融合特征向量序列进行位置编码，得到位置编码；
具体而言，本发明对长度为h时刻的负荷数据对应的融合特征向量序列Xinput进行位置编码，得到位置编码特征
Figure BDA0003198888010000111
表示为
Figure BDA0003198888010000112
其中，et为位置编码函数；
S322、将位置编码特征
Figure BDA0003198888010000113
输入多头注意力层，对位置编码特征进行编码后再作线性映射，得到多头注意力层输出特征，表示为
Multihead(H)＝concat(head1，...，headu)WO
其中，Multihead表示多头注意力层输出特征，H表示注意力头数量，WO表示权重向量，即给融合得到的多头注意力特征进行权重赋值；head1，...，headu表示多头注意力层中u个自注意力层的输出，
Figure BDA0003198888010000114
Figure BDA0003198888010000115
Q、K、V是由输入数据进行编码之后再次作线性映射得到，
Figure BDA0003198888010000116
Figure BDA0003198888010000121
Figure BDA0003198888010000122
WQ，WK，WV均为可学习的参数。
S323、将多头注意力层输出特征输入第一正则化层，得到第一正则化层输出特征，表示为
normcur＝Normalization(z，normpre)
其中，normcur表示第一正则化层输出特征，Normalization表示相加归一化操作，z表示多头注意力层输出特征，normpre表示前一个正则化层的输出；
S324、将第一正则化层输出特征输入全连接层，得到全连接层输出特征；
S325、将全连接层输出特征输入第二正则化层，得到第二正则化层输出特征；
S326、根据编码块的网络层数量重复步骤S322至S325，将得到的正则化输出特征输入编码层进行特征编码，输出得到编码块的隐藏状态特征。
上述步骤S33具体包括以下分步骤：
S331、将第二数据长度的负荷数据对应的融合特征向量序列输入第一个解码层进行位置编码，得到位置编码特征；
具体而言，本发明将长度为h`时刻的负荷数据对应的融合特征向量序列输入第一个解码层进行位置编码，得到位置编码特征。
S332、将位置编码和编码块的隐藏状态特征输入第一多头注意力层，对位置编码进行编码后再作线性映射，得到第一多头注意力层输出特征；
S333、将第一多头注意力层输出特征输入第一正则化层，得到第一正则化层输出特征；
S334、将第一正则化层输出特征输入全连接层，得到全连接层输出特征；
S335、将全连接层输出特征输入第二正则化层，得到第二正则化层输出特征；
S336、根据解码块的网络层数量重复步骤S332至S335，将得到的正则化输出特征输入解码层进行特征解码，输出得到时序特征信息Xdep。
由于Transformer架构是一个序列到序列的模式，在解码时需要有输入数据。在传统的Transformer模型中，解码块的输入数据是t-1时刻的预测值。采用这种方式的缺点在于，预测误差会进行累积。本发明在设计Transformer解码块时采取直接预测的方式，防止误差累积。解码块的输出特征则直接输入预测层实现负荷预测。解码块的输入为过去h’时刻的特征。
S4、根据时序特征信息对电力负荷进行预测。
在本实施例中，步骤S4具体包括以下分步骤：
S41、将时序特征信息输入全连接层，得到全连接层输出特征；
S42、将全连接层输出特征输入激活层，输出得到电力负荷预测结果。
具体而言，本发明通过Transformer层获取到特征信息Xdep后，便可利用预测层实现负荷预测。本文采用的预测层网络框架如图4所示，该网络由1个全连接层构成。
本发明首先利用特征嵌入层对输入的历史负荷进行特征嵌入。该特征嵌入层的主要作用是将数据的位置信息、趋势性、周期性和时间特征进行编码，以及对应的天气信息进行融合，使模型在外部数据有限的情况下可以充分利用天气、日期等信息。得到的特征向量序列，则作为Transformer编码块的输入，该编码块是一个深层网络，每一层由多头注意力层和全连接层组成。通过编码层，可以挖掘输入数据的抽象特征表示。然后将编码块的输出传入Transformer的解码块实现预测。解码块也是一个深层网络，每一层由两个多头注意力层和全连接层组成。相比普通的LSTM和GRU，Transformer模型能够更加充分地挖掘时序数据之间的非线性关系。同时，本发明也将数据的趋势性、周期性、时间信息融入模型，使模型有很多的信息，从而提升预测精度。
如图2所示，本发明利用特征嵌入层、Transformer层和预测层构建预测模型；在特征嵌入层，Ev、Et和Ew三个编码器是全连接网络，则参数为全连接网络的输出，本发明将这三个全连接网络的输出均设为de。在Transformer层的参数分别有为Q和K的输出维度dk,V的输出维度dv,注意力头数head,编码块层的层数Lenc,解码层的层数Ldec，编码块输入历史数据长度h，解码块输入历史数据的长度h’。本文将dk的维度与de保持一致。在预测层，全连接网络的输出为预测值，维度为1。在预测层，模型是将解码层的输出按行展开，则其维度与编码层h’以及dv、head相关。因此，在预测层，需要设置的参数为h’。在模型参数选择时，对参数组合不同的值，并采取网格搜索的方式确定模型参数。de、dk和dv的取值集合可以设为[8，16，32，64]。Head、Lenc和Ldec的取值集合为[1，2，3]。h和h’的集合为[4，8，16，20]。
本发明采用平均绝对误差(Mean Absolute Error，MAE)和均方根误差差(RootMean Squared Error，RMSE)作为算法的评价指标，计算公式如下：
Figure BDA0003198888010000141
表1模型预测效果对比
Tab.1 Comparison of model prediction performance
Figure BDA0003198888010000151
表1为各模型的负荷预测结果。实验中，模型根据历史负荷数据，预测下一时刻的负荷，因时间间隔为15min，因此这里是未来15min的负荷预测。从实验结果来看，本发明的预测效果均优于其他算法。对比模型中，ARIMA和GBRT均是时间序列预测的经典模型，ARIMA通过自相关和移动平均建模负荷序列在时间维度的依赖关系。GBRT则是采用集成学习思路实现预测。LSTM、BP和EMD-LSTM三个模型则是基于神经网络的预测模型，其中EMD-LSTM首先通过经验模式分解挖掘序列特征，然后结合LSTM进行预测。从实验结果来看，EMD-LSTM通过序列分解挖掘序列特征也有不错的预测效果。GBRT基于集成学习思路，通过对误差的预测建模，其效果比其他算法要好。由于对误差的建模预测获取的信息有限，因此其效果比本文模型差一些。HA是通过对历史负荷取均值实现预测，其只能挖掘序列的趋势信息，实验结果也体现了其特征。
从实验结果来看，本发明提出的预测方法具有可行性。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (9)

1.一种基于Transformer的电力负荷预测方法，其特征在于，包括以下步骤：
S1、获取历史负荷数据和天气数据；
S2、分别从历史负荷数据中提取序列特征和趋势特征、及天气数据中提取天气特征，将序列特征、趋势特征及天气特征融合得到融合特征向量序列；
S3、利用Transformer模型从融合特征向量序列中提取时序特征信息；
S4、根据时序特征信息对电力负荷进行预测。
2.根据权利要求1所述的基于Transformer的电力负荷预测方法，其特征在于，所述步骤S1具体包括：
从获取的历史负荷数据提取第一数据长度的负荷数据和第二数据长度的负荷数据；及
从天气数据中提取分别与第一数据长度的负荷数据和第二数据长度的负荷数据对应的天气数据。
3.根据权利要求2所述的基于Transformer的电力负荷预测方法，其特征在于，所述步骤S2中，从历史负荷数据中提取序列特征的方法包括以下分步骤：
A1、根据第一数据长度的负荷数据和第二数据长度的负荷数据分别构建负荷序列；
A2、采用值编码器对各个负荷序列中的值进行特征映射，提取得到值信息；
A3、采用位置编码器对各个负荷序列中的每一项负荷数据进行位置编码，提取得到位置信息；
A4、采用时间编码器对各个负荷序列中的每一项负荷数据进行时间编码，提取得到时间信息；
A5、将提取得到的值信息、位置信息和时间信息，组合得到第一数据长度的负荷数据和第二数据长度的负荷数据的序列特征。
4.根据权利要求3所述的基于Transformer的电力负荷预测方法，其特征在于，所述步骤S2中，从历史负荷数据中提取趋势特征的方法包括以下分步骤：
B1、从获取的历史负荷数据提取第一数据长度对应的第一周期的第三数据长度的负荷数据、第一数据长度对应的第二周期的第三数据长度的负荷数据、及第一数据长度对应的第三周期的第三数据长度的负荷数据；
B2、根据各个负荷数据分别构建负荷序列；
B3、将各个负荷序列进行叠加，构建趋势矩阵；
B4、采用趋势编码器对趋势矩阵提取趋势特征。
5.根据权利要求4所述的基于Transformer的电力负荷预测方法，其特征在于，所述步骤S2中，从天气数据中提取天气特征的方法包括以下分步骤：
C1、根据与第一数据长度的负荷数据和第二数据长度的负荷数据对应的天气数据分别构建天气矩阵；
C2、采用天气编码器对各个天气矩阵提取天气特征。
6.根据权利要求5所述的基于Transformer的电力负荷预测方法，其特征在于，所述步骤S3具体包括以下分步骤：
S31、构建包括编码块和解码块的Transformer模型；
S32、将第一数据长度的负荷数据对应的融合特征向量序列输入编码块进行特征编码，输出得到编码块的隐藏状态特征；
S33、将第二数据长度的负荷数据对应的融合特征向量序列和编码块的隐藏状态特征输入解码块进行特征解码，输出得到时序特征信息。
7.根据权利要求6所述的基于Transformer的电力负荷预测方法，其特征在于，所述步骤S32具体包括以下分步骤：
S321、对第一数据长度的负荷数据对应的融合特征向量序列进行位置编码，得到位置编码特征；
S322、将位置编码特征输入多头注意力层，对位置编码特征进行编码后再作线性映射，得到多头注意力层输出特征；
S323、将多头注意力层输出特征输入第一正则化层，得到第一正则化层输出特征；
S324、将第一正则化层输出特征输入全连接层，得到全连接层输出特征；
S325、将全连接层输出特征输入第二正则化层，得到第二正则化层输出特征；
S326、根据编码块的网络层数量重复步骤S322至S325，将得到的正则化输出特征输入编码层进行特征编码，输出得到编码块的隐藏状态特征。
8.根据权利要求7所述的基于Transformer的电力负荷预测方法，其特征在于，所述步骤S33具体包括以下分步骤：
S331、将第二数据长度的负荷数据对应的融合特征向量序列输入第一个解码层进行位置编码，得到位置编码；
S332、将位置编码和编码块的隐藏状态特征输入第一多头注意力层，对位置编码进行编码后再作线性映射，得到第一多头注意力层输出特征；
S333、将第一多头注意力层输出特征输入第一正则化层，得到第一正则化层输出特征；
S334、将第一正则化层输出特征输入全连接层，得到全连接层输出特征；
S335、将全连接层输出特征输入第二正则化层，得到第二正则化层输出特征；
S336、根据解码块的网络层数量重复步骤S332至S335，将得到的正则化输出特征输入解码层进行特征解码，输出得到时序特征信息。
9.根据权利要求8所述的基于Transformer的电力负荷预测方法，其特征在于，所述步骤S4具体包括以下分步骤：
S41、将时序特征信息输入全连接层，得到全连接层输出特征；
S42、将全连接层输出特征输入激活层，输出得到电力负荷预测结果。
CN202110898689.4A 2021-08-05 2021-08-05 一种基于Transformer的电力负荷预测方法 Active CN113592185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110898689.4A CN113592185B (zh) 2021-08-05 2021-08-05 一种基于Transformer的电力负荷预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110898689.4A CN113592185B (zh) 2021-08-05 2021-08-05 一种基于Transformer的电力负荷预测方法

Publications (2)

Publication Number Publication Date
CN113592185A true CN113592185A (zh) 2021-11-02
CN113592185B CN113592185B (zh) 2022-10-14

Family

ID=78255595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110898689.4A Active CN113592185B (zh) 2021-08-05 2021-08-05 一种基于Transformer的电力负荷预测方法

Country Status (1)

Country Link
CN (1) CN113592185B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792828A (zh) * 2021-11-18 2021-12-14 成都数联云算科技有限公司 基于深度学习的电网负荷预测方法、系统、设备及介质
CN114091361A (zh) * 2022-01-24 2022-02-25 中汽数据(天津)有限公司 基于气象事件的transformer模型构建方法
CN114399027A (zh) * 2022-01-04 2022-04-26 支付宝(杭州)信息技术有限公司 利用神经网络进行序列处理的方法及序列处理的装置
CN114707772A (zh) * 2022-06-06 2022-07-05 山东大学 基于多特征分解与融合的电力负荷预测方法及系统
CN115375002A (zh) * 2022-07-12 2022-11-22 国网江苏省电力有限公司电力科学研究院 一种短期电力负荷预测方法、系统、存储介质及计算设备
CN115730710A (zh) * 2022-11-11 2023-03-03 广东工业大学 一种基于注意力机制的电动汽车日充电需求曲线预测方法
CN116306794A (zh) * 2023-03-09 2023-06-23 河源市广师大研究院 作物需水量预测方法、装置、电子设备及存储介质
CN117114056A (zh) * 2023-10-25 2023-11-24 城云科技（中国）有限公司 一种电力负荷预测模型及其构建方法、装置及应用
CN117930028A (zh) * 2024-03-21 2024-04-26 成都赛力斯科技有限公司 新能源车辆电池热失效的预测方法、系统、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110442846A (zh) * 2019-07-18 2019-11-12 北京航空航天大学 一种新型多尺度注意力机制的序列数据预测系统
CN111080032A (zh) * 2019-12-30 2020-04-28 成都数之联科技有限公司 一种基于Transformer结构的负荷预测方法
CN111191841A (zh) * 2019-12-30 2020-05-22 润联软件系统(深圳)有限公司 一种电力负荷预测方法、装置、计算机设备及存储介质
CN112163715A (zh) * 2020-10-14 2021-01-01 腾讯科技（深圳）有限公司 生成式对抗网络的训练方法及装置、电力负荷预测方法
CN112508275A (zh) * 2020-12-07 2021-03-16 国网湖南省电力有限公司 一种基于聚类和趋势指标的配电网线路负荷预测方法和设备
CN112734028A (zh) * 2020-12-28 2021-04-30 三峡大学 一种变压器油中溶解气体浓度预测模型建模方法
CN112884230A (zh) * 2021-02-26 2021-06-01 润联软件系统(深圳)有限公司 基于多元时间序列的电力负荷预测方法、装置及相关组件
CN113011630A (zh) * 2021-01-25 2021-06-22 国网浙江省电力有限公司杭州供电公司 一种大数据配电网台区时空负荷短期预测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110442846A (zh) * 2019-07-18 2019-11-12 北京航空航天大学 一种新型多尺度注意力机制的序列数据预测系统
CN111080032A (zh) * 2019-12-30 2020-04-28 成都数之联科技有限公司 一种基于Transformer结构的负荷预测方法
CN111191841A (zh) * 2019-12-30 2020-05-22 润联软件系统(深圳)有限公司 一种电力负荷预测方法、装置、计算机设备及存储介质
CN112163715A (zh) * 2020-10-14 2021-01-01 腾讯科技（深圳）有限公司 生成式对抗网络的训练方法及装置、电力负荷预测方法
CN112508275A (zh) * 2020-12-07 2021-03-16 国网湖南省电力有限公司 一种基于聚类和趋势指标的配电网线路负荷预测方法和设备
CN112734028A (zh) * 2020-12-28 2021-04-30 三峡大学 一种变压器油中溶解气体浓度预测模型建模方法
CN113011630A (zh) * 2021-01-25 2021-06-22 国网浙江省电力有限公司杭州供电公司 一种大数据配电网台区时空负荷短期预测方法
CN112884230A (zh) * 2021-02-26 2021-06-01 润联软件系统(深圳)有限公司 基于多元时间序列的电力负荷预测方法、装置及相关组件

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792828A (zh) * 2021-11-18 2021-12-14 成都数联云算科技有限公司 基于深度学习的电网负荷预测方法、系统、设备及介质
CN114399027A (zh) * 2022-01-04 2022-04-26 支付宝(杭州)信息技术有限公司 利用神经网络进行序列处理的方法及序列处理的装置
CN114091361A (zh) * 2022-01-24 2022-02-25 中汽数据(天津)有限公司 基于气象事件的transformer模型构建方法
CN114091361B (zh) * 2022-01-24 2022-05-17 中汽数据(天津)有限公司 基于气象事件的transformer模型构建方法
CN114707772A (zh) * 2022-06-06 2022-07-05 山东大学 基于多特征分解与融合的电力负荷预测方法及系统
CN114707772B (zh) * 2022-06-06 2022-08-23 山东大学 基于多特征分解与融合的电力负荷预测方法及系统
CN115375002A (zh) * 2022-07-12 2022-11-22 国网江苏省电力有限公司电力科学研究院 一种短期电力负荷预测方法、系统、存储介质及计算设备
CN115730710A (zh) * 2022-11-11 2023-03-03 广东工业大学 一种基于注意力机制的电动汽车日充电需求曲线预测方法
CN115730710B (zh) * 2022-11-11 2023-09-08 广东工业大学 一种基于注意力机制的电动汽车日充电需求曲线预测方法
CN116306794A (zh) * 2023-03-09 2023-06-23 河源市广师大研究院 作物需水量预测方法、装置、电子设备及存储介质
CN116306794B (zh) * 2023-03-09 2023-10-31 河源市广师大研究院 作物需水量预测方法、装置、电子设备及存储介质
CN117114056A (zh) * 2023-10-25 2023-11-24 城云科技（中国）有限公司 一种电力负荷预测模型及其构建方法、装置及应用
CN117114056B (zh) * 2023-10-25 2024-01-09 城云科技（中国）有限公司 一种电力负荷预测模型及其构建方法、装置及应用
CN117930028A (zh) * 2024-03-21 2024-04-26 成都赛力斯科技有限公司 新能源车辆电池热失效的预测方法、系统、设备及介质
CN117930028B (zh) * 2024-03-21 2024-05-17 成都赛力斯科技有限公司 新能源车辆电池热失效的预测方法、系统、设备及介质

Also Published As

Publication number Publication date
CN113592185B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN113592185B (zh) 一种基于Transformer的电力负荷预测方法
Gasparin et al. Deep learning for time series forecasting: The electric load case
Ke et al. Short-term electrical load forecasting method based on stacked auto-encoding and GRU neural network
CN110232476B (zh) 一种基于深度学习的微电网负荷预测方法
CN110580543A (zh) 一种基于深度信念网络的电力负荷预测方法及系统
CN111191856B (zh) 计及时序动态特性和耦合特性的区域综合能源系统多能负荷预测方法
CN114529051A (zh) 基于层次残差自注意力神经网络的长期电力负荷预测方法
Yang et al. A New Strategy for Short‐Term Load Forecasting
Xie et al. A neural ordinary differential equations based approach for demand forecasting within power grid digital twins
Huy et al. Short-term electricity load forecasting based on temporal fusion transformer model
CN115409258A (zh) 一种混合深度学习短期辐照度预测方法
Sari et al. Prediction model of wind speed and direction using convolutional neural network-long short term memory
CN115375002A (zh) 一种短期电力负荷预测方法、系统、存储介质及计算设备
Singh et al. Short-term forecasting in smart electric grid using N-BEATS
Wang et al. An electricity load forecasting model based on multilayer dilated LSTM network and attention mechanism
CN117494906B (zh) 一种基于多元时间序列的天然气日负荷预测方法
Li et al. Temporal attention based tcn-bigru model for energy time series forecasting
CN117674098B (zh) 面向不同渗透率的多元负荷时空概率分布预测方法及系统
Khan et al. A trapezoid attention mechanism for power generation and consumption forecasting
Löschenbrand A temporal neural network model for probabilistic multi-period forecasting of distributed energy resources
CN116911442A (zh) 基于改进Transformer模型的风力发电量预测方法
CN116822722A (zh) 水位预测方法、系统、装置、电子设备及介质
Dai et al. Learning from chatgpt: A transformer-based model for wind power forecasting
Hiba et al. Stacked Denoising Autoencoder network for short-term prediction of electrical Algerian load
Rathnayaka et al. Specialist vs generalist: A transformer architecture for global forecasting energy time series

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant