CN113610277A - 基于时空注意力机制的电力负荷预测方法、装置及介质 - Google Patents
基于时空注意力机制的电力负荷预测方法、装置及介质 Download PDFInfo
- Publication number
- CN113610277A CN113610277A CN202110798644.XA CN202110798644A CN113610277A CN 113610277 A CN113610277 A CN 113610277A CN 202110798644 A CN202110798644 A CN 202110798644A CN 113610277 A CN113610277 A CN 113610277A
- Authority
- CN
- China
- Prior art keywords
- time
- space
- attention
- power load
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000007246 mechanism Effects 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 230000005611 electricity Effects 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000004146 energy storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Game Theory and Decision Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Medical Informatics (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于时空注意力机制的电力负荷预测方法、装置及存储介质，该方法包括获取电力负荷数据；然后利用训练好的图时空注意力网络模型接收电力负荷数据并进行处理；最后获取训练好的图时空注意力网络模型输出的预测结果；本发明通过训练好的图时空注意力网络模型进行预测，不仅可以捕捉时间相关性，同时还可以捕捉动态空间相关性，从而能够显著提高电力负荷的预测精度。本发明可广泛应用于电力负荷预测技术领域。
Description
技术领域
本发明涉及电力负荷预测技术领域，尤其是一种基于时空注意力机制的电力负荷预测方法、装置及存储介质。
背景技术
电力负荷预测对于提高电力系统的效率至关重要。现代电力系统正朝着更可持续的方向的发展，而可再生能源、电动汽车和时变负载需求在配电网中的日益渗透不可避免的增加了系统的复杂性和不确定性。电力负荷预测，尤其是单个用户的短期负荷预测，在未来电网规划和运行中发挥着越来越重要的作用。不同于大规模的电力负荷预测，因为数据的高波动性和不确定性，预测单个用户的电力负荷十分具有挑战性。
用户的电力负荷信息具有复杂的时空相关性。目前大多数方法都是基于电力负荷的时间序列特性进行预测，而忽略了空间特性，即使考虑到空间特性，也更多的只考虑了电力负荷数据的静态空间相关性，而忽略了电力负荷数据的动态时空相关性。
电力负荷受到多种外在因素的影响，比如天气、温度、大型社会活动等。传统的电力负荷预测方法将电力负荷预测看作一个时间序列预测问题，侧重考虑时间因素的影响。虽然电力负荷随着时间的推移表现出了很强的动态性，但是其在时间上表现出的周期性特征使得使用历史数据预测电力负荷成为可能。对于用户级电力负荷预测，空间相关性也有助于预测表现。当两个用户处于相邻的空间时，影响它们的外部因素，例如天气情况等一致，这使得它们的用电模型往往具有相似性，但是即使在同一栋楼的用户，也可能表现出完全不同的用电模式，因此只单纯考虑地理上的远近来决定用户用电模型的相似性也存在缺陷。在多步长的用户电力负荷预测中，面临着如下挑战：
1)非线性的时间相关性：单个用户的用电量在时间上表现出强波动性，这使得预测变的困难。
2)误差传播的累计：在长时间步长的预测中，每一个时间步长上的小错误，都有可能在未来被放大，这使得多步长预测变的极具挑战性。
3)动态的空间相关性：不同用户之间的空间关系并不是固定不变的，而是随着时间变化，如何动态的选择相关用户的数据对目标用户做出预测是一个挑战。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于时空注意力机制的电力负荷预测方法、装置及存储介质。
本发明所采取的技术方案是：
一方面，本发明实施例包括一种基于时空注意力机制的电力负荷预测方法，包括：
获取电力负荷数据；
利用训练好的图时空注意力网络模型接收所述电力负荷数据并进行处理；
获取所述训练好的图时空注意力网络模型输出的预测结果。
进一步地，所述方法还包括对图时空注意力网络模型进行训练，包括：
构建训练集，所述训练集为采集的电力数据集；
获取所述训练集以对图时空注意力网络模型进行训练。
进一步地，所述构建训练集之后，所述方法还包括：
对所述训练集中的不良数据进行预处理，所述不良数据包括缺失数据和异常数据；
使用标准差标准化法对预处理后的数据进行规范化处理。
进一步地，所述对所述训练集中的不良数据进行预处理这一步骤，包括：
采用插值填补法对所述缺失数据进行处理；
将所述异常数据中的异常值删除。
进一步地，所述方法还包括：
构建图时空注意力网络模型，所述图时空注意力网络模型包括空间关系图建立模块、时空编码模块、时空注意力模块和转换注意力模块；
所述空间关系图建立模块用于通过动态时间扭曲算法构建稀疏空间关系图，以捕捉用户之间的空间相关性；
所述时空编码模块用于将节点的时间和空间信息进行编码输入到所述图时空注意力网络模型中；
所述时空注意力模块包括空间注意力机制、时间注意力机制和门控融合机制，所述空间注意力机制用于捕捉邻居节点之间的相关性，所述时间注意力机制用于捕捉不同时间步长之间的时间相关性，所述门控融合机制用于控制每个节点在时间步长上的时空关联；
所述转换注意力模块用于对每个未来时间步长和每个历史时间步长之间的关系进行建模，以转换编码的电力负荷特征。
进一步地，所述空间关系图建立模块用于通过动态时间扭曲算法构建稀疏空间关系图，以捕捉用户之间的空间相关性通过以下公式执行：
式中，w12表示用户v1和用户v2之间的相似性，
表示用户v1的用电量时间序列，
表示用户v2的用电量时间序列，DWT()表示
和
之间的归一化动态时间规整距离。
进一步地，所述时间注意力机制用于捕捉不同时间步长之间的时间相关性通过以下公式执行：
式中，
代表时间步长tj和时间t之间的相关性，η代表tj之前的时间步长，tr代表tj之前的时间步长；
代表时间步长t和tj之间的相关性系数；
其中，
式中，Wt，1、Wt,2代表两个不同的投影矩阵，
代表节点vi在第l-1层的隐藏状态，||表示串联操作，<>表示内积运算，d代表
的维度，
代表节点vi在时间步长tj的时空嵌入信息，
代表节点vi在时间t的时空嵌入信息。
进一步地，所述门控融合机制用于控制每个节点在时间步长上的时空关联通过以下公式执行：
式中，H(l)表示第l层时空注意力模块的输出，⊙表示逐元素相乘，
表示第l层的空间注意力机制的输出，
表示第l层的时间注意力机制的输出，Z表示学习的分配权重；
其中，
式中，Wz,s、Wz,t、bz均表示可学习的矩阵，σ代表sigmoid激活函数。
另一方面，本发明实施例还包括一种基于时空注意力机制的电力负荷预测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的基于时空注意力机制的电力负荷预测方法。
另一方面，本发明实施例还包括计算机可读存储介质，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现所述的基于时空注意力机制的电力负荷预测方法。
本发明的有益效果是：
本发明提出一种基于时空注意力机制的电力负荷预测方法，包括获取电力负荷数据；然后利用训练好的图时空注意力网络模型接收电力负荷数据并进行处理；最后获取训练好的图时空注意力网络模型输出的预测结果；本发明通过训练好的图时空注意力网络模型进行预测，不仅可以捕捉时间相关性，同时还可以捕捉动态空间相关性，从而能够显著提高电力负荷的预测精度。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所述基于时空注意力机制的电力负荷预测方法的步骤流程图；
图2为本发明实施例所述图时空注意力网络模型的结构示意图；
图3为本发明实施例所述稀疏空间关系图的建立过程的示意图；
图4为本发明实施例所述时空注意力模块的示意图；
图5为本发明实施例所述空间注意力机制的示意图；
图6为本发明实施例所述时间注意力机制的示意图；
图7为本发明实施例所述转移注意力模块的示意图；
图8为本发明实施例所述收集的原始数据的展示图；
图9为本发明实施例所述缺失数据的展示图；
图10为本发明实施例所述异常数据的展示图；
图11为本发明实施例所述基于时空注意力机制的电力负荷预测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
广义上的电力负荷预测是根据电力负荷和可能影响电力负荷的气候、经济等外部因素的历史信息来预测未来一段时间内的电力负荷。长期的电力负荷预测旨在帮助电力系统基础设施的规划，而中期和短期的电力负荷预测对于电力系统的平稳运行有着重要作用。通过有效的电力负荷预测，电力供应商可以通过灵活使用储能设备和智能需求响应技术来实现对峰值的调整。随着电网系统复杂性的不断增加，电力系统的稳定性受到前所未有的挑战，对用户级电力负荷的准确短期预测可以极大的有助于电力系统的运行。近年来，随着智能电网和电表的大面积推广，更多的用户用电信息可以被获得，这为进行用户级电力负荷预测提供了数据支持。
用户级电力负荷预测可以帮助电力公司更好地减少电力消费的预期偏差，还可以集成储能设备来帮助用户管理家庭电力消费和优化成本。从电力公司的角度来看，如果能够获得单独每个客户的准确电力负荷预测，这些电力公司就可以根据这些信息来确定在电力不足的情况下可能参与需求响应(Demand Response，DR)计划的最佳客户群。
但是用户的电力负荷信息具有复杂的时空相关性。目前大多数方法都是基于电力负荷的时间序列特性进行预测，而忽略了空间特性，即使考虑到空间特性，也更多的只考虑了电力负荷数据的静态空间相关性，而忽略了电力负荷数据的动态时空相关性。
基于此，参照图1，本发明实施例提出一种基于时空注意力机制的电力负荷预测方法，包括但不限于以下步骤：
S100.获取电力负荷数据；
S200.利用训练好的图时空注意力网络模型接收电力负荷数据并进行处理；
S300.获取训练好的图时空注意力网络模型输出的预测结果。
本发明实施例通过训练好的图时空注意力网络模型(Graph Spatio-TemporalAttention Network，GSTAN)来预测单独用户的电力负荷，不仅可以捕捉时间相关性，同时还可以捕捉动态空间相关性，从而能够显著提高电力负荷的预测精度。
在现实生活中，由于电力不能大量存储，需要对需求端电力进行预测，这样可以更好的指导发电厂的发电计划，但是现实生活中，由于调度生产需要一定的时间，因此不仅需要短时的实时预测来让电厂实时调整生产计划，也需要有较长步长的预测让电厂有充分的时间调动生产资源，因此，本发明实施例提出一个可以预测不同步长的细粒度为用户的电力负荷预测模型。
本实施例中，考虑到用户的电力负荷数据在时间上具有周期性，同时在空间上与其他用其他用户具有相似性，因此可以利用历史电力负荷数据来预测未来电力负荷数据，这是进行电力负荷预测的前提假设。给定区域中所有用户过去K个时间步长的历史负荷数据
目标是预测未来J个时间步长区域内所有用户的用电量，表示为
用户的电力负荷预测问题定义为：
其中，v代表区域中的目标用户，
表示目标用户的过去K步的历史信息，
表示对v有影响的所有邻居节点u的过去K步的历史信息。
参照图2，本发明实施例提出一种图时空注意力网络模型，用于预测电力负荷，该模型包括空间关系图建立模块、时空编码模块、时空注意力模块和转换注意力模块；接下来将分别对各个模型进行说明。
空间关系图建立模块：
本实施例中，考虑到在现实生活中，两个用电模式相似的用户在地理空间上可能相隔甚远，如果只考虑地理信息来决定邻居节点，会忽略掉那些在地理上相距很远但是用电模式十分相似的点。因此，为了基于用电模式的相似性来寻找邻居节点，本实施例将每个用户视为图中的一个节点，并构造一个空间图G＝(V,ε,W)，其中V是表示所有用户的顶点集，ε是所有所有两个点之间的边的集合，W代表所有边的权重的集合。为了计算两个用户之间的用电负荷数据的相似性，使用动态时间扭曲算法(Dynamic Time Warping，DTW)进行计算，DTW 算法允许时间序列被压缩或者拉伸，以和另一个时间序列更好的模式匹配，通过提供带有对比的修正距离度量，DTW算法提供了两个给定序列之间的最佳匹配，然后将每对匹配点之间的距离总和作为相似性得分。两个节点v1、v2之间的权重w12可通过以下公式计算得到：
式(2)中，w12表示节点v1和节点v2之间的权重，
表示用户v1的用电量时间序列，
表示用户v2的用电量时间序列，DWT()表示
和
之间的归一化动态时间规整距离。
具体地，参照图3，图3示出了稀疏空间关系图的建立过程。由于每个用户的主要空间相关性集中在少数用户身上，为了使得更加关注强相关性的用户并且降低运算的复杂度，选择与目标节点前N个最相关的节点认为它们之间存在连接，而和其他的点之间认为不存在连接，同时考虑到节点之间的关系是对称的如果a是b的邻居，即使b是a的前N相关的节点，也认为它们之间存在连接。这样，就可以成功的构建出了一张稀疏空间关系图。生成的空间关系图能够很好的捕捉各个用户之间的空间关系，同时这种相似性的方法也可以用来在区域电力设备的长期规划上，相同的区域应该布置相似的电力资源量。
本实施例中，使用动态时间扭曲算法(Dynamic Time Warping，DTW)构建稀疏空间关系图，通过这种方式，能够使模型关注于目标节点的强相关性节点并降低计算复杂度，提升预测效果。
时空编码模块：
由于模型采用编码器-解码器结构，需要将节点的时间和空间信息进行编码输入到模型中。在建立空间关系图的过程中，已经将空间节点进行了编码，建立了空间图G＝(V,ε,W)，节点的空间信息表示为
其中vi∈V。
空间嵌入只能提供静态表示，为了反映用户数据之间的动态相关性，还需要在模型中加入时间信息，具体来说，一天中有着T个时间步长，之后使用one-hot编码来表示这是一周中的哪一天，将时间信息表示为
之后将通过两层全连接层将时间特征的维度转化成
这样，就可以将需要使用的时间步长嵌入时间特征
其中tj＝t1,...,tK,...,tK+J。
为了同时获得节点的时间和空间表示，需要将它们进行融合，通过一个时空融合门将
和
融合，得到节点的时空嵌入表示
其中
通过这种方式，可以将时间和空间信息都输入到了模型中，可以用于时间和空间注意机制。
时空注意力模块：
参照图4，如图4所示，时空注意力模块由三个部分组成，分别是空间注意力机制，时间注意力机制和门控融合机制。
参照图5，首先对空间注意力机制进行介绍。
邻居之间的空间相关性随着时间动态变化。由于不同的邻居节点对目标用户有着不同的影响，本实施例提出了空间注意力机制来自适应的捕捉邻居节点之间的相关性。核心思想是在不同的时间步长上动态的给不同的邻居节点分配不同的权重。
如图5所示，节点1、2和3之间是邻居节点，在如图5所示的三个时刻tj-2、tj-1和tj中，节点3与1和2的注意力系数在不同的时间步长数值实时调整。每一个时刻，各个邻居节点对目标节点的影响都不同，注意力系数发生调整表明邻居节点对目标节点的影响也在发生改变，通过这种方式，在不同的时间步长上实现了动态的给不同的邻居节点分配不同的权重。
具体来说，首先用不同的可学习的投影矩阵将输入投影到多个不同的投影空间中，之后，同时考虑电力负荷特征和图结构，具体来说，本实施例将隐藏状态和时空嵌入连接起来，并通过缩放的点积方法来计算权重。以第L层为例，它的输入为H(l-1)，对于目标节点v来说，它的邻居节点的注意力系数
可由计算式(3)和式(4)可得，之后可以根据式(5)可以更新隐藏状态。
其中，v∈V，Ws,1、Ws,2、Ws,3代表了三个不同的投影矩阵，
是节点v在第l-1层的隐藏状态，||表示串联操作，<>表示内积运算，d代表
的维度，
是第l层空间注意力模块的输出。为了进一步稳定学习过程，本实施例采用多头注意力机制，使用K组投影矩阵，使得本文提出的模型可以学习到更多维度的信息，扩展了模型关注不同位置的能力。在本实施例的图时空注意力网络模型中，将L设置成6，使用8组互不相干的权重矩阵。
参照图6，接下来对时间注意力机制进行介绍。
用户的用电量与其历史数据相关，并且这种相关性随着时间的推移而非线性变化。当前用电量的变化可能会受到历史事件的影响，比如有的用户习惯了晚上用烘干机，会造成下一段时间的用电量上升。同时，用户的行为又有着周期性，例如特定用户可能在特定时间重复一个特定行为，这会在用电负荷数据中表现出来。为了自适应地捕捉不同时间步长之间的时间相关性，本实施例设计了一个时间注意模块。
如图6所示，以节点3为例，时刻可以由在它之前的历史信息来进行预测，tj-2、tj-1、tj直到t1时刻都被分配了一个权重。通过这种方式，模型可以寻找到真正的和当前需要预测时刻最相关的历史时间步长，对于预测电力负荷中的高峰和低谷意义重大。
具体地，本实施例将隐藏状态和时空嵌入连接起来，并采用自注意力机制为不同的时间步长分配权重。类似于空间注意力，首先将隐藏状态与时空嵌入连接起来，然后将其投影到高维子空间中。考虑节点vi，时间步长tj和t之间的相关性定义为：
式中，
代表时间步长tj和时间t之间的相关性，η代表tj之前的时间步长，tr代表tj之前的时间步长；
代表时间步长t和tj之间的相关性系数；
其中，
式中，Wt，1、Wt,2代表两个不同的投影矩阵，
代表节点vi在第l-1层的隐藏状态，||表示串联操作，<>表示内积运算，d代表
的维度，
代表节点vi在时间步长tj的时空嵌入信息，
代表节点vi在时间 t的时空嵌入信息。
同样地，在计算出注意力系数
后，可以根据式(8)来更新隐藏状态：
式中，Wt,3代表一个投影矩阵，
是第l层时间注意力模块的输出。
接下来对门控融合机制进行介绍。
在得到空间注意力模块和空间注意力模块的输出后，采用门控融合自适应融合时空表示。电力负荷预测是一个时空问题，时间和空间因素都对我们的电力负荷有着显著的影响，而时空门控融合机制可以自适应的控制每个节点在时间步长上的时空关联。门控融合过程可表述为：
式中，H(l)表示第l层时空注意力模块的输出，⊙表示逐元素相乘，
表示第l层的空间注意力机制的输出，
表示第l层的时间注意力机制的输出，Z表示学习的分配权重；
其中，
式中，Wz,s、Wz,t、bz均表示可学习的矩阵，σ代表sigmoid激活函数。
转移注意力模块：
参照图7，图7为转移注意力模块的示意图，为了减少长时间范围内不同预测时间步长之间误差传播的影响，本实施例在编码器和解码器之间增加了一个转移注意力模块,它对每个未来时间步长和每个历史时间步长之间的直接关系进行建模，以转换编码的电力负荷特征，从而生成未来表示作为解码器的输入。本实施例的工作是多步长电力负荷预测，如果没有转移注意力模块，那么在传播过程中，错误会逐步累加，从而导致误差增大，预测的精度无法保障。如图7所示，预测时间步长TK和历史时间步长TJ之间的相关性通过时空嵌入来计算：
使用注意力系数
通过在所有历史的K个时间步长上自适应地选择相关特征，编码的特征被转换成解码器：
式(11)、式(12)和式(13)可以跨所有顶点和时间步长并行计算，共享可学习的参数。通过这种方式，将未来每个时间步长和历史步长之间的直接关系建模，减小了误差传播效应。
本实施例中，图时空注意力网络模型是端到端的结构，其采用编码器-解码器的架构。在进行编码器之前，通过全连接层将X转化成H(0),之后将
通过L层的编码器产生输出
之后将H(L)通过转移注意力层产生表示未来的序列表示
紧接着在通过L层的由时空注意力块模块组成的解码器产生
最后通过全连接层产生预测
采用预测中采用的平均绝对误差(Mean Absolute Error，MAE)作为误差函数，通过反向传播对本文的模型进行训练：
其中，θ代表模型中所有可学习的参数。
本实施例中，构建得到图时空注意力网络模型，进一步构建训练集，以对图时空注意力网络模型进行训练，接下来，对数训练集进行说明。
本实施例所使用的训练集是伦敦电力数据集，原始数据是从伦敦5567户家庭安装的只能电表收集而来，这些家庭在2011年11月到2014年2月期间参加了由英国电力网所主导的伦敦低碳项目。原始文件大小约为10GB。数据集中有两类用户。第一组是由大约1100名用户组成的ToU组，他们在整个2013年期间受到动态使用时间能源价格的影响，用户可以提前一天通过智能电表的显示器或者短信提前知道电力价格。另一组用户没有参加这项计划，所使用的价格一直保持不变。数据集包含能源消耗，以千瓦时(每半小时)为单位，唯一的家庭标识符，日期和时间，以及Acorn-CACI分组。如图8所示，其中第一列代表唯一的家庭标识符，第二列代表能源价格是否受到动态使用时间的影响，Std代表不受影响，ToU表示受影响，第三列代表时间，第四列代表用电量，第五第六列代表Acorn-CACI分组，Acorn分组是根据用户的家庭地址以及经济情况进行的分组，一共分为18组，6个类别。
电力负荷数据的准确性影响着电力负荷预测的准确性。智能电表的大面积普及解决了过去人工抄表所带来的人工误差，但是由于电网任然存在着一些随机扰动和特殊事件，智能电表也可能出现故障，导致数据集中存在一些不良数据。如果对原始数据不加处理而直接使用，会增加模型的训练难度，影响模型的预测精度。因此，需要对原始数据进行预处理。不良数据只要包括两种类型：缺失数据和异常数据，前者可能是由于智能电表损坏、停电等情况，后者可能是一些无法预料的突发事件产生的，主要表现为出现一些极端值。本文首先对上述两种不良数据进行处理，之后为了便于模型训练，对电力负荷数据做进一步归一化处理。
本实施例中，使用插值填补法对缺失数据进行处理，取缺失值的前后值取平均数填补进缺失值。原始数据中存在异常数据，如图9所示，电力负荷数据存在缺失，针对这种数据缺失，采用插值填补法，由于用户的电力负荷与前后时间的电力负荷相关，对于缺失的部分采用前后数据取平均的方法进行填补。而如图10所示，数据存在异常值，图中数据最大值接近 50千瓦，这与常识相违背，因为本实施例所采用的数据每半个小时进行一次采样，数据明显超过了正常范围，且存在大幅度突变。本实施例设定数值最大不能超过10千瓦时，将超过10千瓦的异常值进行删除。
进一步地，为了加快模型的训练速度，避免极端数值带来的影响，在将数据送入模型前，需要进行数据规范化的操作。数据规范化常用的方法有三种，分别是Min-Max标准化、标准差标准化和非线性归一化。本实施例使用标准差标准化进行数据规范化，公式为：
其中，μ代表平均值，σ代表标准差，z代表归一化后的数据。经过归一化操作后数据存在着周期性。
本发明实施例提出的一种基于时空注意力机制的电力负荷预测方法具有以下技术效果：
本发明实施例通过获取电力负荷数据；然后利用训练好的图时空注意力网络模型接收电力负荷数据并进行处理；最后获取训练好的图时空注意力网络模型输出的预测结果；本发明通过训练好的图时空注意力网络模型进行预测，不仅可以捕捉时间相关性，同时还可以捕捉动态空间相关性，从而能够显著提高电力负荷的预测精度。
参照图11，本发明实施例还提供了一种基于时空注意力机制的电力负荷预测装置200，具体包括：
至少一个处理器210；
至少一个存储器220，用于存储至少一个程序；
当至少一个程序被至少一个处理器210执行，使得至少一个处理器210实现如图1所示的方法。
其中，存储器220作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器220可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器220可选包括相对于处理器210远程设置的远程存储器，这些远程存储器可以通过网络连接至处理器210。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
可以理解到，图11中示出的装置结构并不构成对装置200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图11所示的装置200中，处理器210可以调取存储器220中储存的程序，并执行但不限于如图1所示实施例的步骤。
以上所描述的装置200实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现实施例的目的。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有处理器可执行的程序，处理器可执行的程序在被处理器执行时用于实现如如图1所示的方法。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如图1所示的方法。
可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据) 的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD) 或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (10)
1.一种基于时空注意力机制的电力负荷预测方法，其特征在于，包括：
获取电力负荷数据；
利用训练好的图时空注意力网络模型接收所述电力负荷数据并进行处理；
获取所述训练好的图时空注意力网络模型输出的预测结果。
2.根据权利要求1所述的一种基于时空注意力机制的电力负荷预测方法，其特征在于，所述方法还包括对图时空注意力网络模型进行训练，包括：
构建训练集，所述训练集为采集的电力数据集；
获取所述训练集以对图时空注意力网络模型进行训练。
3.根据权利要求2所述的一种基于时空注意力机制的电力负荷预测方法，其特征在于，所述构建训练集之后，所述方法还包括：
对所述训练集中的不良数据进行预处理，所述不良数据包括缺失数据和异常数据；
使用标准差标准化法对预处理后的数据进行规范化处理。
4.根据权利要求3所述的一种基于时空注意力机制的电力负荷预测方法，其特征在于，所述对所述训练集中的不良数据进行预处理这一步骤，包括：
采用插值填补法对所述缺失数据进行处理；
将所述异常数据中的异常值删除。
5.根据权利要求1所述的一种基于时空注意力机制的电力负荷预测方法，其特征在于，所述方法还包括：
构建图时空注意力网络模型，所述图时空注意力网络模型包括空间关系图建立模块、时空编码模块、时空注意力模块和转换注意力模块；
所述空间关系图建立模块用于通过动态时间扭曲算法构建稀疏空间关系图，以捕捉用户之间的空间相关性；
所述时空编码模块用于将节点的时间和空间信息进行编码输入到所述图时空注意力网络模型中；
所述时空注意力模块包括空间注意力机制、时间注意力机制和门控融合机制，所述空间注意力机制用于捕捉邻居节点之间的相关性，所述时间注意力机制用于捕捉不同时间步长之间的时间相关性，所述门控融合机制用于控制每个节点在时间步长上的时空关联；
所述转换注意力模块用于对每个未来时间步长和每个历史时间步长之间的关系进行建模，以转换编码的电力负荷特征。
6.根据权利要求5所述的一种基于时空注意力机制的电力负荷预测方法，其特征在于，所述空间关系图建立模块用于通过动态时间扭曲算法构建稀疏空间关系图，以捕捉用户之间的空间相关性通过以下公式执行：
式中，w12表示用户v1和用户v2之间的相似性，
表示用户v1的用电量时间序列，
表示用户v2的用电量时间序列，DWT()表示
和
之间的归一化动态时间规整距离。
7.根据权利要求5所述的一种基于时空注意力机制的电力负荷预测方法，其特征在于，所述时间注意力机制用于捕捉不同时间步长之间的时间相关性通过以下公式执行：
式中，
代表时间步长tj和时间t之间的相关性，η代表tj之前的时间步长，tr代表tj之前的时间步长；
代表时间步长t和tj之间的相关性系数；
其中，
式中，Wt,1、Wt,2代表两个不同的投影矩阵，
代表节点vi在第l-1层的隐藏状态，||表示串联操作，<>表示内积运算，d代表
的维度，
代表节点vi在时间步长tj的时空嵌入信息，
代表节点vi在时间t的时空嵌入信息。
8.根据权利要求5所述的一种基于时空注意力机制的电力负荷预测方法，其特征在于，所述门控融合机制用于控制每个节点在时间步长上的时空关联通过以下公式执行：
式中，H(l)表示第l层时空注意力模块的输出，⊙表示逐元素相乘，
表示第l层的空间注意力机制的输出，
表示第l层的时间注意力机制的输出，Z表示学习的分配权重；
其中，
式中，Wz,s、Wz,t、bz均表示可学习的矩阵，σ代表sigmoid激活函数。
9.一种基于时空注意力机制的电力负荷预测装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-8任一项所述的方法。
10.计算机可读存储介质，其特征在于，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110798644.XA CN113610277B (zh) | 2021-07-15 | 2021-07-15 | 基于时空注意力机制的电力负荷预测方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110798644.XA CN113610277B (zh) | 2021-07-15 | 2021-07-15 | 基于时空注意力机制的电力负荷预测方法、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113610277A true CN113610277A (zh) | 2021-11-05 |
| CN113610277B CN113610277B (zh) | 2023-02-03 |
Family
ID=78304676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110798644.XA Active CN113610277B (zh) | 2021-07-15 | 2021-07-15 | 基于时空注意力机制的电力负荷预测方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113610277B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114274840A (zh) * | 2022-01-07 | 2022-04-05 | 江苏大学 | 基于s-crann的智能网联电动汽车电量消耗预测方法及系统 |
| CN116562917A (zh) * | 2023-04-18 | 2023-08-08 | 云南电网能源投资有限责任公司 | 一种电网售电量预测方法及售电管理系统 |
| CN116760115A (zh) * | 2023-05-30 | 2023-09-15 | 中国南方电网有限责任公司 | 时空特征融合的电力系统机组组合优化方法及其系统 |
| CN117175588A (zh) * | 2023-11-03 | 2023-12-05 | 邯郸欣和电力建设有限公司 | 基于时空相关性的用电负荷预测方法及装置 |
| CN117636253A (zh) * | 2023-11-30 | 2024-03-01 | 江苏圣创半导体科技有限公司 | 一种智能灯故障识别方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109992636A (zh) * | 2019-03-22 | 2019-07-09 | 中国人民解放军战略支援部队信息工程大学 | 时空编码方法、时空索引及查询方法及装置 |
| CN111080032A (zh) * | 2019-12-30 | 2020-04-28 | 成都数之联科技有限公司 | 一种基于Transformer结构的负荷预测方法 |
| CN112529283A (zh) * | 2020-12-04 | 2021-03-19 | 天津天大求实电力新技术股份有限公司 | 基于注意力机制的综合能源系统短期负荷预测方法 |
| US20210133569A1 (en) * | 2019-11-04 | 2021-05-06 | Tsinghua University | Methods, computing devices, and storage media for predicting traffic matrix |
| CN113095598A (zh) * | 2021-05-07 | 2021-07-09 | 国网山东省电力公司经济技术研究院 | 一种多能负荷预测方法、系统、设备和介质 |
-
2021
- 2021-07-15 CN CN202110798644.XA patent/CN113610277B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109992636A (zh) * | 2019-03-22 | 2019-07-09 | 中国人民解放军战略支援部队信息工程大学 | 时空编码方法、时空索引及查询方法及装置 |
| US20210133569A1 (en) * | 2019-11-04 | 2021-05-06 | Tsinghua University | Methods, computing devices, and storage media for predicting traffic matrix |
| CN111080032A (zh) * | 2019-12-30 | 2020-04-28 | 成都数之联科技有限公司 | 一种基于Transformer结构的负荷预测方法 |
| CN112529283A (zh) * | 2020-12-04 | 2021-03-19 | 天津天大求实电力新技术股份有限公司 | 基于注意力机制的综合能源系统短期负荷预测方法 |
| CN113095598A (zh) * | 2021-05-07 | 2021-07-09 | 国网山东省电力公司经济技术研究院 | 一种多能负荷预测方法、系统、设备和介质 |
Non-Patent Citations (1)
| Title |
|---|
| 赵兵 等: "基于注意力机制的CNN-GRU短期电力负荷预测方法", 《电网技术》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114274840A (zh) * | 2022-01-07 | 2022-04-05 | 江苏大学 | 基于s-crann的智能网联电动汽车电量消耗预测方法及系统 |
| CN114274840B (zh) * | 2022-01-07 | 2022-11-18 | 江苏大学 | 基于s-crann的智能网联电动汽车电量消耗预测方法及系统 |
| CN116562917A (zh) * | 2023-04-18 | 2023-08-08 | 云南电网能源投资有限责任公司 | 一种电网售电量预测方法及售电管理系统 |
| CN116760115A (zh) * | 2023-05-30 | 2023-09-15 | 中国南方电网有限责任公司 | 时空特征融合的电力系统机组组合优化方法及其系统 |
| CN116760115B (zh) * | 2023-05-30 | 2024-04-12 | 中国南方电网有限责任公司 | 时空特征融合的电力系统机组组合优化方法及其系统 |
| CN117175588A (zh) * | 2023-11-03 | 2023-12-05 | 邯郸欣和电力建设有限公司 | 基于时空相关性的用电负荷预测方法及装置 |
| CN117175588B (zh) * | 2023-11-03 | 2024-01-16 | 邯郸欣和电力建设有限公司 | 基于时空相关性的用电负荷预测方法及装置 |
| CN117636253A (zh) * | 2023-11-30 | 2024-03-01 | 江苏圣创半导体科技有限公司 | 一种智能灯故障识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113610277B (zh) | 2023-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113610277B (zh) | 基于时空注意力机制的电力负荷预测方法、装置及介质 | |
| Behm et al. | How to model European electricity load profiles using artificial neural networks | |
| Pinson et al. | Regime-switching modelling of the fluctuations of offshore wind generation | |
| Mandal et al. | A new recursive neural network algorithm to forecast electricity price for PJM day‐ahead market | |
| Xie et al. | A neural ordinary differential equations based approach for demand forecasting within power grid digital twins | |
| Jiang et al. | Day‐ahead renewable scenario forecasts based on generative adversarial networks | |
| CN116865261B (zh) | 基于孪生网络的电力负荷预测方法及系统 | |
| Xie et al. | Multi-Agent attention-based deep reinforcement learning for demand response in grid-responsive buildings | |
| CN114707737B (zh) | 一种基于边缘计算的预测用电量的方法、计算机设备和存储介质 | |
| Hafeez et al. | Short term load forecasting based on deep learning for smart grid applications | |
| Mureddu et al. | Extreme prices in electricity balancing markets from an approach of statistical physics | |
| Chen et al. | MultiCycleNet: multiple cycles self-boosted neural network for short-term electric household load forecasting | |
| Liu et al. | Short‐term load forecasting based on LSTNet in power system | |
| Liaquat et al. | Day‐ahead continuous double auction‐based peer‐to‐peer energy trading platform incorporating trading losses and network utilisation fee | |
| Lang et al. | Applying a 1D-CNN network to electricity load forecasting | |
| CN117498400B (zh) | 一种分布式光伏与储能数据的处理方法及系统 | |
| Jiang et al. | Deep-chain echo state network with explainable temporal dependence for complex building energy prediction | |
| Xie et al. | A multi-information fusion model for short term load forecasting of an architectural complex considering spatio-temporal characteristics | |
| CN113723793A (zh) | 园区综合能源系统的实现方法、装置、设备和介质 | |
| Arshad et al. | Wind power prediction using genetic programming based ensemble of artificial neural networks (GPeANN) | |
| CN116544934A (zh) | 根据电力负荷预测的电力调度方法及系统 | |
| Sarada et al. | Comparison of day-ahead price forecasting in energy market using Neural Network and Genetic Algorithm | |
| Osório et al. | Hybrid evolutionary-adaptive approach to predict electricity prices and wind power in the short-term | |
| CN114970855A (zh) | 风场预测模型的构建方法、装置、设备、介质及预测方法 | |
| Shu et al. | Graph Spatio-Temporal Attention Network-based Electricity Demand Forecasting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |