CN117175588B - 基于时空相关性的用电负荷预测方法及装置 - Google Patents

Abstract

本发明提供一种基于时空相关性的用电负荷预测方法及装置，属于负荷预测技术领域。该方法包括：基于历史用电负荷数据和历史环境数据进行时空建模，得到多层时空模型；其中，每层模型为有向图，表示固定时间的空间因果关系，每层模型之间的有向边表示时间因果关系；基于可解释时空注意力转换器对多层时空模型进行特征提取和先验知识融合，得到用电负荷时空特征；其中，可解释时空注意力转换器包括空间因果注意网络、时间注意网络和空间依赖性对比模块；基于用电负荷时空特征、目标用电节点的实时用电负荷数据和实时环境数据，采用经过训练的STEF‑DHNet模型进行预测，得到目标用电节点的预测用电负荷数据。本发明能够提高预测准确性和模型适用性。

Description

基于时空相关性的用电负荷预测方法及装置

技术领域

本发明涉及负荷预测技术领域，尤其涉及一种基于时空相关性的用电负荷预测方法及装置。

背景技术

用电负荷预测是电力系统规划的重要组成部分，也是电力系统经济运行的基础，其对电力系统规划和运行都极其重要。用电负荷受到时间影响，也受到空间影响，这两类影响并非相互独立，而是相互纠缠的，因此称用电负荷具有时空依赖性。

针对具有时空依赖性的用电负荷数据，目前的预测方式是分别构建时间相关性和空间相关性，合并得到时空相关性。这种方式提高了模型的复杂性，导致时空相关性的可解释性降低，难以验证模型的可信度，进而导致用电负荷预测的准确性和可靠度较低。

发明内容

本发明实施例提供了一种基于时空相关性的用电负荷预测方法及装置，以解决用电负荷预测的准确性和可靠度较低的问题。

第一方面，本发明实施例提供了一种基于时空相关性的用电负荷预测方法，包括：

基于不同用电节点的历史用电负荷数据和历史环境数据进行时空建模，得到多层时空模型；其中，每层模型为有向图，表示固定时间的空间因果关系，每层模型之间的有向边表示时间因果关系；

基于可解释时空注意力转换器对多层时空模型进行特征提取和先验知识融合，得到用电负荷时空特征；其中，可解释时空注意力转换器包括空间因果注意网络、时间注意网络和空间依赖性对比模块；

基于用电负荷时空特征、目标用电节点的实时用电负荷数据和实时环境数据，采用经过训练的STEF-DHNet模型进行预测，得到目标用电节点在指定未来时刻的预测用电负荷数据。

在一种可能的实现方式中，基于不同用电节点的历史用电负荷数据和历史环境数据进行时空建模，得到多层时空模型包括：

按照时间对不同用电节点的历史用电负荷数据和历史环境数据进行分层，得到多层网络；

基于不同用电节点的历史用电负荷数据和历史环境数据之间的影响关系，将相似数据划分至同一集群，得到多个集群；

基于各个集群之间的影响关系构建时间因果假设关系和空间因果假设关系；

基于自注意模块对时间因果假设关系和空间因果假设关系进行筛选，得到时空因果关系；

将时空因果关系添加到多层网络，得到多层时空模型。

在一种可能的实现方式中，基于可解释时空注意力转换器对多层时空模型进行特征提取和先验知识融合，得到用电负荷时空特征包括：

基于空间因果注意网络将多层时空模型转换为多个空间特征矩阵；

基于时间注意网络对各个空间特征矩阵进行压缩，得到多个空间特征向量，并按照时间因果关系将各个空间特征向量组合为时空特征矩阵；

基于空间依赖性对比模块在时空特征矩阵中添加空间因果先验知识，得到用电负荷时空特征。

在一种可能的实现方式中，STEF-DHNet模型包括依次连接的第一卷积层、第二卷积层、扁平化模块、L个全连接层和LSTM层；其中，L为输入数据的数量。

在一种可能的实现方式中，基于用电负荷时空特征、目标用电节点的实时用电负荷数据和实时环境数据，采用经过训练的STEF-DHNet模型进行预测，得到目标用电节点在指定未来时刻的预测用电负荷数据包括：

基于第一卷积层和第二卷积层对目标用电节点的实时用电负荷数据进行特征提取，得到用电负荷特征；

对目标用电节点的实时环境数据进行网格化，并与用电负荷特征合并输入扁平化模块，得到展平数据；

基于L个全连接层提取展平数据中的预测特征；

基于LSTM层对预测特征和用电负荷时空特征进行预测，得到目标用电节点在指定未来时刻的预测用电负荷数据。

在一种可能的实现方式中，在采用经过训练的STEF-DHNet模型进行预测之前，还包括：

基于目标用电节点的历史用电负荷数据和历史环境数据构建训练集、验证集和测试集；

以平均绝对误差为损失函数，基于训练集、验证集和测试集对STEF-DHNet模型进行对抗训练，得到经过训练的STEF-DHNet模型。

在一种可能的实现方式中，基于训练集、验证集和测试集对STEF-DHNet模型进行对抗训练，得到经过训练的STEF-DHNet模型包括：

基于训练集和策略网络生成对抗样本；其中，策略网络包括依次连接的时空编码器、空间层、时间层和多头注意力解码器；

基于奖励函数、训练集和对抗样本对STEF-DHNet模型进行对抗训练，并基于验证集和测试集进行验证，得到经过训练的STEF-DHNet模型。

在一种可能的实现方式中，基于验证集和测试集进行验证包括：

在训练过程中，基于测试集和给定的时间长度更新STEF-DHNet模型的滚动误差，若滚动误差合格，则完成训练，否则继续训练。

在一种可能的实现方式中，基于目标用电节点的历史用电负荷数据和历史环境数据构建训练集、验证集和测试集包括：

对目标用电节点的历史用电负荷数据和历史环境数据进行数据清洗，得到清洁数据；

对清洁数据进行平滑化处理，得到平滑数据；

对平滑数据添加时间信息，并将同一时刻的历史用电负荷数据和历史环境数据作为一条样本数据；

对各条样本数据进行特征提取，将提取到的特征添加到对应的样本数据中，得到多条特征样本数据并组成数据集；

将数据集按照预设比例划分为训练集、验证集和测试集。

第二方面，本发明实施例提供了一种基于时空相关性的用电负荷预测装置，包括：

时空建模模块，用于基于不同用电节点的历史用电负荷数据和历史环境数据进行时空建模，得到多层时空模型；其中，每层模型为有向图，表示固定时间的空间因果关系，每层模型之间的有向边表示时间因果关系；

特征提取模块，用于基于可解释时空注意力转换器对多层时空模型进行特征提取和先验知识融合，得到用电负荷时空特征；其中，可解释时空注意力转换器包括空间因果注意网络、时间注意网络和空间依赖性对比模块；

负荷预测模块，用于基于用电负荷时空特征、目标用电节点的实时用电负荷数据和实时环境数据，采用经过训练的STEF-DHNet模型进行预测，得到目标用电节点在指定未来时刻的预测用电负荷数据。

本发明提供一种基于时空相关性的用电负荷预测方法及装置，本发明首先利用用电负荷数据和环境数据的层次结构，按照空间因果关系和时间因果关系，将不同用电节点的历史用电负荷数据和历史环境数据构建为多层时空模型，将用电负荷数据和环境数据的时空依赖性转换为时空因果关系；然后基于可解释时空注意力转换器进行特征提取并融入先验知识，无需进行空间因果关系和时间因果关系的融合就可得到完整的用电负荷时空特征；最后将用电负荷时空特征包含的时空因果关系融合到STEF-DHNet模型，进行用电负荷预测，提高预测准确性和模型适用性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的基于时空相关性的用电负荷预测方法的实现流程图；

图2是本发明一实施例提供的基于可解释时空注意力转换器进行特征提取和先验知识融合的实现流程图；

图3是本发明一实施例提供的基于STEF-DHNet模型预测的实现流程图；

图4是本发明一实施例提供的对抗训练的实现流程图；

图5是本发明另一实施例提供的基于时空相关性的用电负荷预测方法的实现流程图；

图6是本发明一实施例提供的基于时空相关性的用电负荷预测装置的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

近年来，由于所涉及的时空数据的复杂性，传统的机器学习（ML）模型，如支持向量机（SVM）、梯度增强机（GBM）及其修正的极限梯度增强（XGBoost）已被用于时空预测。然而，随着深度学习技术的使用越来越多，人们的注意力已经转向利用这些模型来提高准确性和效率。深度学习模型能够在时空数据中捕获更复杂和非线性的模式，从而实现更准确和可靠的预测。

图神经网络是通过图中节点间消息传递来反映图之间关系的神经模型。已经提出的另一类模型是基于网格的模型，它有其自身的优势。这些模型利用网格架构来描述时空变量之间的关系，通常使用卷积神经网络（CNN）来模拟不同时间增量之间的空间依赖关系。许多基于网格的模型，如时空动态网络（STDN）和深度多视图时空网络（DMVST-Net），已经证明在捕捉数据中复杂的时空模式方面是有效的，并已在许多研究中被应用。

本发明引入了一种基于网格的深度学习模型，模型通过考虑外部因素的实际时空复杂性，提供了对现实世界情景更准确的表示，且引入了滚动误差来评估本模型在实际应用中的准确性，通过基于强化的方法、基于时空注意力的策略网络和一种新的自知识蒸馏正则化模块来提高时空预测的对抗鲁棒性，通过一种基于先验知识的因果关系的新型转换器神经网络模型，显著提高了深度学习模型的适用性。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。

实施例1：

参见图1，其示出了本发明实施例提供的基于时空相关性的用电负荷预测方法的实现流程图，详述如下：

步骤101，基于不同用电节点的历史用电负荷数据和历史环境数据进行时空建模，得到多层时空模型；其中，每层模型为有向图，表示固定时间的空间因果关系，每层模型之间的有向边表示时间因果关系。

在本实施例中，用电负荷的时空预测有区别于其他的普通预测。用电负荷数据是具有时序关系的时间序列数据，其值受到时间相关因素的影响。相比于普通预测问题，需要考虑时间维度的特征和模式；用电负荷数据通常呈现出周期性和季节性模式。例如，每天的用电负荷可能会在白天和夜晚有不同的峰值和谷值；用电负荷受到多种因素的影响，包括但不限于天气、周末与工作日、节假日等。相对于其他普通预测问题，需要考虑更多的外部因素，并将其纳入预测模型中；用电负荷数据的采集相对复杂，需要安装专门的监测设备并进行实时或定期数据采集。而普通预测问题中可以更容易地获取到样本数据。

对用电负荷数据进行采集：

安装电力监测设备：在需要预测用电负荷的地点安装电力监测设备，例如智能电表、传感器等。实时数据采集，使用适当的硬件设备和软件工具，定期或实时地采集用电负荷数据，可以通过物联网技术实现远程数据采集。

采集相关的环境数据：除了用电负荷数据，还应该同时采集与用电相关的环境数据，如温度、湿度、天气、用电管控策略等。

基于深度学习的模型以其直观的时空建模而备受关注。构建深度学习模型有以下两种主流类型。第一种方法将典型预测模型与图神经网络(GNN)相结合。基于GNN的模型使用图卷积网络(GCN)学习空间依赖性，使用递归神经网络(RNN)、时间注意力或时间卷积网络(TCN)学习时间模式。然而，这些模型有局限性，因为模型结构不够灵活，无法包括跨站点的异质类型的时空预测因子。第二种方法是限制模型架构以强制时空依赖性。这些模型是为特定的领域或空间结构设计的，因此它们的架构需要根据新的空间结构进行修改。对此，本实施例中通过多层时空模型表征用电负荷数据和环境数据的时空因果关系。

步骤102，基于可解释时空注意力转换器对多层时空模型进行特征提取和先验知识融合，得到用电负荷时空特征；其中，可解释时空注意力转换器包括空间因果注意网络、时间注意网络和空间依赖性对比模块。

在本实施例中，可解释时空注意力转换器中的时空关注权重通过多层屏蔽网络描述时空因果关系，通过交替时空掩模来扩展现有的转换器，从而将先验知识融入到模型的特征学习中。与现有的时空预测模型相比，本模型有两个显著的优点：首先，该模型允许每个站点的异质预测因子，以便灵活的回归适用于因果网络；其次，该模型适用于部分确定的因果结构。该模型通过提供满足时间因果关系的可解释和多样化的信息，显著提高了深度学习模型的适用性。

步骤103，基于用电负荷时空特征、目标用电节点的实时用电负荷数据和实时环境数据，采用经过训练的STEF-DHNet模型进行预测，得到目标用电节点在指定未来时刻的预测用电负荷数据。

在本实施例中，随着深度学习技术的普及，研究人员越来越多地使用这些方法来解决时空预测的挑战。这些深度学习方法可以分为两个主要领域:基于网格的和基于图的。基于网格的模型，有其自身的优势。这些模型利用网格架构来描述时空变量之间的关系，通常使用卷积神经网络（CNN）来模拟不同时间增量之间的空间依赖关系。许多基于网格的模型已经被证明在捕捉数据中复杂的时空模式方面是有效的，并已在许多研究中被应用。

有研究表明，与传统的机器学习技术相比，基于网格系统的深度神经网络(DeepNeural Networks, DNN)可以获得更好的结果。精心设计合适的深度神经网络架构是非常重要的，这为使用深度神经网络分析复杂的时空数据奠定了基础。有一种基于网格的模型可以利用潜在表征和递归神经网络(RNN)来捕捉时空动态，然而，这种方法不能解释数据中的周期性模式。

有学者提出了DMVST-Net框架，该框架使用长短期记忆网络（LSTM）与时间视图捕获未来用电负荷与近时间点之间的相关性，使用空间视图通过局部CNN了解局部空间相关性，以及使用语义视图识别具有相似时间模式的区域之间的相关性。然而，这种方法有局限性，因为它使用的是局部CNN，只能在小区域内工作。它也没有将外部因素作为时空数据纳入模型，而这些因素是准确预测用电负荷的关键组成部分。

该模型利用CNN和LSTM层的强度来进行预测。该模型旨在捕获用电负荷数据的空间和时间依赖性，并有效地将外部因素纳入其真正的复杂性。模型通过考虑外部因素的实际时空复杂性，提供了对现实世界情景的更准确的表示。

本发明实施例首先利用用电负荷数据和环境数据的层次结构，按照空间因果关系和时间因果关系，将不同用电节点的历史用电负荷数据和历史环境数据构建为多层时空模型，将用电负荷数据和环境数据的时空依赖性转换为时空因果关系；然后基于可解释时空注意力转换器进行特征提取并融入先验知识，无需进行空间因果关系和时间因果关系的融合就可得到完整的用电负荷时空特征；最后将用电负荷时空特征包含的时空因果关系融合到STEF-DHNet模型，进行用电负荷预测，提高预测准确性和模型适用性。

在一种可能的实现方式中，基于不同用电节点的历史用电负荷数据和历史环境数据进行时空建模，得到多层时空模型包括：

按照时间对不同用电节点的历史用电负荷数据和历史环境数据进行分层，得到多层网络；

基于不同用电节点的历史用电负荷数据和历史环境数据之间的影响关系，将相似数据划分至同一集群，得到多个集群；

基于各个集群之间的影响关系构建时间因果假设关系和空间因果假设关系；

基于自注意模块对时间因果假设关系和空间因果假设关系进行筛选，得到时空因果关系；

将时空因果关系添加到多层网络，得到多层时空模型。

在本实施例中，当时空因果结构仅部分确定时，为同时基于时间依赖性、空间因果性和变量相关性建立模型，引入一个用于时空建模的多层网络，为后续的可解释时空注意力转换器做准备。通过此模块，可对多层网络进行表征学习，确定空间因果与时间因果关系，描述时空因果关系。

多层网络是一种有用的工具，用于对具有层次结构的变量之间的模式进行建模，例如生物医学和社区检测。空间因果关系在单层上建模为固定时间的有向图。因果图之间的时间依赖性由有向边表示。

利用多层网络对时空变量进行表征学习。例如，在某个场景中，用电节点包括，其中是的上游节点，即的用电负荷来自，环境数据包括三种不同的温度，以及用电管控策略。针对此场景，可将上述因素分为四个集群:，，和。定义一个节点表示集群中所有可用的观测值，s∈S={1,2,3,4}，并且时间t∈T ={1,...,τ}。之间的因果结构由因果图G中的有向边来建模。设G是一个多层网络，一个由节点集V、边集E和层集定义的元组，则：

，

其中。通过假设1和假设2定义模型的因果结构：

假设1（时间因果关系）：对于s, s '∈S, t, t '∈T，多层网络满足以下条件:

①设t≤t '，则。

②对于和，当且仅当。此外，，当且仅当。

假设1中①表示不可逆性，②表示随时间均匀的空间因果关系。根据假设2，在多层网络上建立时空因果关系。

假设2（空间因果关系）：，如果。否则，。

假设2具体定义了基于先验知识的空间因果关系。有向边需要对一种情况进行估计。尽管如此，研究假设它们是已知的，因为专注于为时空数据构建嵌入式特征空间。若省略时间指标，则因果关系归纳为v1→v3, v1→v4, v2→v4, v3→v4，其中箭头为因果关系。例如，v1→v3表示v1是v3的原因或母体，用表示因果关系。用来表示和之间的因果关系。

注意是从一个序列到另一个序列的特定映射。设V为t×d矩阵，其每个行向量表示长度为t的序列中的一个元素，则注意返回输入V的t×d '矩阵V '。在研究中，注意函数减少了多层网络上时空数据的特征。注意使用两个矩阵和与目标和输入序列相关联。V的注意力定义为：

，

其中softmax是逐行softmax函数。特别是下式为叫做注意力权重：

。

从注意权重中识别或控制训练特征的一个特征。设为，和分别为V和的第i行向量。这样就很容易证明，。设M为t×t矩阵，将赋为负无穷，则，排除了包含特征的。因此，通过对M的元素赋负无穷，可以切断V的行向量中的有向边，并构造V的因果关系。

当Q、K和V代表同一序列时，上式称为自注意。在自注意模块中，这三个矩阵在同一序列中有不同的表示。设为输入序列，则自关注中的特征由，，给出，其中。自关注由一个从到的映射表示，其中包含三个权重参数矩阵。用屏蔽矩阵M × Z表示输入X的自关注。

，

其中，⊙为元素积算子。本文中，W是一个可训练权矩阵的元组，M是一个已知的掩蔽矩阵。

在一种可能的实现方式中，基于可解释时空注意力转换器对多层时空模型进行特征提取和先验知识融合，得到用电负荷时空特征包括：

基于空间因果注意网络将多层时空模型转换为多个空间特征矩阵；

基于时间注意网络对各个空间特征矩阵进行压缩，得到多个空间特征向量，并按照时间因果关系将各个空间特征向量组合为时空特征矩阵；

基于空间依赖性对比模块在时空特征矩阵中添加空间因果先验知识，得到用电负荷时空特征。

在本实施例中，将多层时空模型输入到可解释时空注意力转换器中，提取用电负荷时空特征，可使数据适应于因果网络，将先验知识融入到特征学习中，提高深度学习模型的适用性。参见图2，可解释时空注意力转换器中各部分的结构和功能如下：

（1）空间因果注意网络

空间因果注意网络是一种根据已知的空间因果关系嵌入观察变量集合的自注意。嵌入特征表示所有站点在固定时间内的聚合信息，其空间因果关系由空间掩蔽矩阵MS反映。

所有变量最初都嵌入上。设是在中的嵌入函数，是在中的嵌入函数。设空间嵌入向量为：

，

对于1≤i≤p，是一个包含时间信息的特征，它在转换器中起着动态和可训练的位置编码的作用。设是一个矩阵，是第i行向量，它是所有位置的空间嵌入向量的集合。然后，空间因果注意网络定义为：

，

它是的自注意，它是从到的映射，具有的注意权矩阵的三元组，作为空间特征矩阵，对应于被假设2中因果约束权重加权的。

（2）时间注意网络

时间注意网络是一种专门设计的自注意网络，用于转换空间因果注意网络中获得的一系列B个过去空间特征。时间注意网络与设计转换器解码器的类似概念一致，该概念满足前向馈送的可预测性，时间注意网络的区别在于使用减少的输入来有效地计算注意力权重。时间注意网络将下式合并为输入值，同时使用下式作为查询和键，通过变量选择网络(VSN)减少查询和键的维数。

，

式中vec(·)表示平坦化映射，

，

当时，每一行是上对应于的约简向量。VSN层通过将区域信息矩阵转换为单个向量来进行压缩。的下标用于区分它与其他相同形式的函数。时间注意网络定义为：

，

其中，，，为解码器掩码。中的上对角元素是的，使得，且时间注意网络的第i行仅由的第j行向量组成，当j≤i时，时间注意网络保留了时间特征的不可逆性。

（3）空间依赖性对比模块

时间注意网络使用VSN的空间坍缩特征，导致由假设2引起的空间因果关系在中被模糊。添加构造空间相关特征的对比步骤，对于，设为的重构矩阵，的行向量。的对比特征由给出：

，

与均通过空间因果注意网络得到，它将时间信息和空间信息融合在一起，使得表征学习更加丰富。的注意权值用于解释和量化空间效应。

扫描对比后，可解释时空注意力转换器编码器的最终输出由建立。将输入到，将汇总信息传输到解码器。同样地，在式中，设为时，与上下文向量的连接矩阵，其中：

，

通过的变量选择权重来评估变量返回的重要性。

（4）解码器

引入一种使用前馈网络(FFN)层的全局和局部上下文向量的新型解码器架构。解码器中包含两个VSN层：全局VSN层和局部VSN层。全局VSN总结，构造全局上下文向量：

，

局部VSN通过在下式中封装局部性的嵌入时间特征来创建局部上下文向量。

，

其中，和分别为可训练权向量和偏置向量。两个VSN在时间t 之后定义了一个池化的上下文向量：

，

其中。

接下来，编码器的输出和池化的上下文向量被连接为，聚合时间t的向前和向后可用特征。

，

为了丰富时间特征，通过下式中的自注意网络转换。

，

其中。

是解码器的最后一个特征。该模型可以通过最后一个自我注意层的注意权重来评估时间重要性。使用注意力权重，计算出模型关注的过去时间点，并对其一致性进行诊断。

分位数输出层是FFN层，返回分位数水平q上的超前k步预测，，，如下：

，

其中为可训练参数，表示的第（B+k）行，。

请注意，解码器直接预测，而不是递归的，因模型结构简单有效，为直接预测设计的解码器可以通过避免导致偏差预测的误差积累来提高性能。

在基于转换器的预测方式中，编码器部分通常用于进行特征提取，解码器用于生成预测结果。本实施例中仅基于完整的可解释时空注意力转换器进行训练，然后利用上述（1）-（3）的结构提取用电负荷时空特征，并基于空间依赖性对比模块输出的用电负荷时空特征进行后续的预测。

（5）损失函数

引入了复合分位数损失（CQL）来预测多个分位数。首先，分位数损失（QL）定义为：

，

其中对a∈A返回1，否则返回0。通过最小化CQL来训练可解释时空注意力转换器，其定义如下：

，

其中W表示整个权重和偏置参数，T是训练数据集中的时间点集合。

在一种可能的实现方式中，STEF-DHNet模型包括依次连接的第一卷积层、第二卷积层、扁平化模块、L个全连接层和LSTM层；其中，L为输入数据的数量。

在本实施例中，将可解释时空注意力转换器处理过后的数据输入到STEF-DHNet模型中，能够进一步提高时空预测的准确性。该模型旨在捕获用电负荷数据的空间和时间依赖性，并有效地将外部因素纳入其真正的复杂性。模型通过考虑外部因素的实际时空复杂性，提供了对现实世界情景的更准确的表示。

STEF-DHNet模型融合了CNN和LSTM层的优势来进行预测，同时还考虑了外部因素的时空性质，将它们融合到网络架构中。模型使用L = 4小时的时间滞后来预测下一个小时的用电负荷。

在一种可能的实现方式中，基于用电负荷时空特征、目标用电节点的实时用电负荷数据和实时环境数据，采用经过训练的STEF-DHNet模型进行预测，得到目标用电节点在指定未来时刻的预测用电负荷数据包括：

基于第一卷积层和第二卷积层对目标用电节点的实时用电负荷数据进行特征提取，得到用电负荷特征；

对目标用电节点的实时环境数据进行网格化，并与用电负荷特征合并输入扁平化模块，得到展平数据；

基于L个全连接层提取展平数据中的预测特征；

基于LSTM层对预测特征和用电负荷时空特征进行预测，得到目标用电节点在指定未来时刻的预测用电负荷数据。

在本实施例中，如图3所示，基于STEF-DHNet模型进行预测的具体流程如下：

网络的前两层是卷积层。用表示网络第i层执行的操作（包括批量归一化），参数向量表示为：

，

对于每一层，使用K = 32个内核，内核大小为3×3。这两层的输出是一个大小为L×W×H×K的张量，为了包含外部因素，沿着最后一个轴将与外部因素张量连接起来，创建网格和时间信息的统一表示以及外部因素为：

，

得到的张量的大小为L×W×H×(K + M)，其中M为外部因子的个数。注意，对每个区域使用了M个外部因素。在下一步中，只有的空间维度被扁平化为L×W×H(K +M)的新形状，表示为。

，

在将数据传递给LSTM层之前，使用L个全连接层(FC-D)，每个层的输出大小为d，为每个时间滞后生成密集输出。得到的尺寸为L×d的形状记为，该操作可以写成：

，

其中为全连接层的参数向量，LSTM层遵循全连接层，旨在捕获数据中的时间模式。

，

其中为LSTM层的参数向量。

预测特征和用电负荷时空特征合并输入LSTM层的输出用表示，被送入另一个大小为N的FC-D，以产生输出的预测结果。

，

其中表示第二个全连接层的参数向量。然后将最后的全连接层重塑为维数为W×H的张量，有效地产生预测用电负荷，同时考虑到时空因果关系和外部因素。

，

所引入的STEF-DHNet模型具有如下参数向量的特征。

在一种可能的实现方式中，在采用经过训练的STEF-DHNet模型进行预测之前，还包括：

基于目标用电节点的历史用电负荷数据和历史环境数据构建训练集、验证集和测试集；

以平均绝对误差为损失函数，基于训练集、验证集和测试集对STEF-DHNet模型进行对抗训练，得到经过训练的STEF-DHNet模型。

在本实施例中，为了训练STEF-DHNet，使用平均绝对误差(MAE)损失函数定义为：

，

一旦计算了损失，就使用反向传播来训练模型。在反向传播过程中，计算损失函数相对于权重的梯度。然后使用梯度来使用ADAM优化器更新权重。通过迭代最小化损失函数，本模型逐渐学会做出更准确的预测。

使用平均绝对误差（MAE），每次平均的均方根误差（RMSE）和平均绝对百分比误（MAPE）作为性能比较的评估指标。指标如下：

，

，

，

上述指标每隔一小时对三个数据集进行评估。

在一种可能的实现方式中，基于训练集、验证集和测试集对STEF-DHNet模型进行对抗训练，得到经过训练的STEF-DHNet模型包括：

基于训练集和策略网络生成对抗样本；其中，策略网络包括依次连接的时空编码器、空间层、时间层和多头注意力解码器；

基于奖励函数、训练集和对抗样本对STEF-DHNet模型进行对抗训练，并基于验证集和测试集进行验证，得到经过训练的STEF-DHNet模型。

在本实施例中，将预处理后的数据输入到对抗训练中，目的是通过使用对抗性示例增强训练数据来增强模型的鲁棒性，以便模型具有强健性。这包括将节点选择问题建模为组合优化问题，并使用基于强化学习的方法来学习最优节点选择策略。此外，将自我知识蒸馏作为一种新的训练技术来解决不断发展的对抗节点的挑战，从而避免了“遗忘问题”。如图4所示，对抗训练的具体流程如下：

1.对抗训练及公式

对抗性训练包括在训练过程中使用对抗性攻击生成的对抗性实例，以提高模型的鲁棒性。对抗性训练可以表述为最小-最大优化问题，

，

式中，θ表示模型参数，其中，x’为对抗样本，表示具有最大扰动预算ε的允许对抗示例集的集合，其中，δ表示对抗样本集。表示深度学习模型，而y表示基础事实。

本发明研究了传统的对抗性训练方法在用电负荷预测中的应用，并引入了对抗性训练公式。

时空对抗的例子。基于一种见解，即提高模型鲁棒性的关键是积极识别和关注对抗性扰动的最极端情况。具体而言，如下，用电负荷预测模型中的最坏情况涉及空间和时间两个方面。从时间方面来看，攻击者可以在特征空间中注入对抗性扰动。为了有效防御各种类型的攻击，深入探索对抗摄动空间中的最坏情况是至关重要的，这类似于图像识别领域所采取的方法。从空间角度出发，在每个训练历元中设计了一种动态的节点选择方法，使内部损失最大化，并保证所有节点都有公平的被选择机会。为了实现这一点，在每次训练迭代中从完整的节点集中动态地选择一个表现出时空依赖性的节点子集。

首先定义允许敌对的扰动空间如下：

，

其中，是时空对抗的例子，为时空对抗性扰动，矩阵是对抗节点指示器，它是一个对角矩阵，jth对角线元素表示节点在t时间是否被选为对抗节点。具体来说，如果节点被选为对抗节点，则矩阵的对角线元素jth等于1，否则为0。参数η是节点数量的预算，ε是对抗扰动的预算。

时空预测的对抗性训练方法表述如下：

，

是敌对的状态从时间段到t。表示所有训练样本的时间步长集合。表示用户指定的对抗训练损失函数，它可以包括常用的度量，如均方误差（MSE）或其他。内部最大化的目的是找到最优的对抗性扰动，使损失最大化。在外部最小化中，更新模型参数以使预测损失最小化。

2.强化最优节点子集学习

从一组n时空分布数据源中选择最优节点子集的问题表述为组合优化问题。问题实例表示为s，由时空特征表示的n节点组成：根据时空特征从时隙到t。目标是从完整的n节点集合中选择η节点，由节点子集表示，其中，。

给定一个问题实例s，目标是使用链式法则分解解的概率来学习随机策略的参数。策略网络使用这些信息来确定要选择的节点的最优子集，以便在每次训练迭代中探索对抗性扰动的最极端情况。

，

策略网络包括编码器和解码器部分。编码器是产生地理分布的数据嵌入，解码器生成Ω序列。

2.1策略网络设计

该策略网络以时空特征函数为输入，得到解Ω。它由一个时空编码器和一个多头注意解码器组成。编码器将时空特征转换为嵌入，解码器以自回归的方式构建解，每次选择一个节点，并使用前一个选择来选择下一个节点，直到生成完整的解。

1）时空的编码器。使用一个类似于GraphWave Net的时空编码器，将用电负荷的时空数据转换为嵌入。时空编码器接收时空数据作为输入，并产生节点嵌入作为输出。时空编码器通常由多个时空层和时间层组成。

2）空间层。采用自适应图卷积作为空间层来捕获空间依赖关系。信息聚合方法基于扩散模型，允许交通信号扩散L步。通过聚合相邻节点的隐藏状态，通过自适应图卷积更新隐藏层嵌入。

，

式中，为第层隐含嵌入的输出，为深度i的模型参数，为可学习邻接矩阵。

3）时间层。该模型采用门控时间层对序列数据进行处理。定义如下。

，

式中，σ为sigmoid函数，和为模型参数，★为展开卷积运算，⊙为逐元乘法。为区块的输入，也为区块的输出，下式用于为每个块添加剩余链接。

，

将不同层的隐藏状态连接并传递到两个多层感知(MLP)中，以获得最终的节点嵌入。

，

式中，F为节点嵌入的集合，所有节点嵌入的平均值表示为图嵌入，并可以表示为，为节点的嵌入。

4）多头注意力解码器。解码器通过在每个步骤k中迭代地选择单个节点来生成节点序列，同时使用编码器的嵌入和前面步骤的输出（对于k’<k）作为输入。

具体来说，解码器的输入包括图嵌入和最后一个节点的嵌入，其中第一个选择节点的嵌入是学习嵌入。解码器计算每个节点被选为对抗节点的概率，同时考虑计算效率。在解码过程中，上下文由一个特殊的上下文节点表示。为此，结合基于注意的解码器，在解码器之上计算一个注意层，消息只发送给上下文节点。上下文节点嵌入定义如下：

，

其中，是图嵌入，v是第一个迭代步骤的学习嵌入。为k-1迭代步最后选择节点的嵌入。

为了更新消息信息的上下文节点嵌入，采用多头关注法计算新的上下文节点嵌入：

，

其中是自我关注，且，，。

为了计算下一个节点的概率，键和值来自于初始节点嵌入。

，

首先计算单个注意头的分对数，使用新的上下文节点对所有节点进行查询，

，

其中，C为常数，所选节点用进行屏蔽。

然后，利用链式法则和softmax函数计算节点的最终概率，根据softmax函数计算每个节点的概率。

，

其中为节点i的概率，为当前节点。在所有节点中选择概率最高的节点作为下一个采样节点。

2.2平衡奖励功能设计

策略网络学习的主要挑战是评估策略网络生成的解决方案Ω。一种方法是使用内部损失（使用解决方案Ω计算）作为奖励，值越大表示解决方案越好。然而，随着训练的进行，随着模型变得更加鲁棒，内部损失预计会减少，这可能导致不正确的反馈和次优解。为了解决这个问题，引入了一个奖励函数的平衡策略。不单独使用内部损失，而是将策略网络生成的结果与基线节点选择器生成的结果进行比较，并将差异作为奖励。该方法为策略网络提供稳定有效的反馈，有助于缓解训练过程中减少内部损失的问题。

具体来说，首先根据求解得到对抗节点指标的集合，其中，使用如下函数：

，

式中表示在时间步长的对角线元素。

为了提高计算效率，不使用基于梯度的方法来计算对抗样本，而是直接从一个概率分布中抽取一个随机变量来计算用于进行对抗性训练的对抗样本。

，

在实现中，选择范围为的均匀分布作为扰动源。

为了评估该预测模型在使用解决方案中的节点作为对抗节点时的性能，计算成本函数如下：

是MSE损失，。

为了确保策略网络得到稳定有效的反馈，对奖励实施了平衡策略。具体来说，使用基线节点选择器（如Random选择器，随机选择节点等）来选择节点作为解决方案。然后将策略网络生成的结果与基线结果进行比较，并将差异用作奖励。用下式表示：

，

其中是由策略网络生成的解决方案，是由基线选择器生成的解决方案，使用上标(p)和(b)分别与策略网络选择器和基线选择器对齐。这样，利用平衡奖励函数作为奖励信号，引导策略网络更新解决方案Ω。在实践中，采用启发式方法作为基线选择器来选择名为TNDS的节点。

3.2.3策略网络培训

策略网络的训练是通过对抗方式交替训练策略网络和时空预测模型来完成的。具体来说，策略网络根据输入的变量，生成一个解序列，记为Ω。然后计算平衡奖励并使用它来更新策略网络。然后，使用最终的节点选择指标来计算对抗示例，表示作为，通过投影梯度下降法（PGD）进行优化，公式如下：

，

其中，算子用于将变量的最大摄动限制为一个估算值。迭代的对抗性示例表示为：为步长，为从策略网络中获得的最终节点选择指标，为均方误差损失函数。

随后，在对抗性样本上训练时空预测模型，优化预测模型损失如下：

，

为了训练策略网络，损失函数定义如下所示：

，

其中是常数。策略网络采用梯度下降法和强化算法进行优化，使用Adam优化器。

3.正则化对抗性训练

时空预测对抗训练的另一个挑战是不稳定性，当对抗节点在训练过程中不断变化时，就会出现不稳定性。这可能导致模型无法有效记住所有历史对抗节点的情况，从而导致缺乏对更强攻击强度的鲁棒性，通常被称为“遗忘问题”。为了解决这个问题，使用知识蒸馏（KD）将知识从教师模型转移到学生模型。先前的研究表明，KD可以提高模型的对抗鲁棒性。

然而，传统的教师模式是静态的，不能提供动态的知识。为了克服这一限制，引入一种新的对抗训练的自知识蒸馏正则化。具体来说，使用前一个时代的模型作为教师模型，这意味着当前的时空预测模型是使用从前一个模型中提取的知识来训练的。通过这种方式，当前模型可以从以前的模型中学习对抗性攻击的经验。知识蒸馏损失定义如下：

，

其中为知识蒸馏损失（例如，MSE），为教师模型，采用上次训练的模型。综上所述，最终对抗性训练损失定义如下：

，

其中α是控制从教师模型转移的知识数量的参数。注意，在第一个训练时期，函数被直接用作对抗训练损失。

时空预测模型的对抗性训练。培训过程分为两个阶段。在第一阶段，使用算法训练策略网络。在第二阶段，使用预先训练好的策略网络选择对抗节点以提高计算效率，然后使用PGD方法计算对抗示例。最后，利用Adam优化器对预测模型参数进行了更新。

在一种可能的实现方式中，基于验证集和测试集进行验证包括：

在训练过程中，基于测试集和给定的时间长度更新STEF-DHNet模型的滚动误差，若滚动误差合格，则完成训练，否则继续训练。

在本实施例中，根据滚动误差对STEF-DHNet模型进行评估，证明了该模型长期预测的有效性。该度量将模型的先前输出作为输入，以生成后续输出，从而使其成为在较长时期内评估模型准确性的有效方法。

将可用数据样本分成三个不重叠的部分训练集、验证集和测试集。其中训练集用于训练及验证模型，验证集用于测试每个模型在未知测试数据上的拟合度，测试集用于滚动模型给定的时间。对于数据分割的每个部分，获得了所有方法和所有数据集上相应的训练误差、测试误差和滚动误差（MAE、RMSE和MAPE）。

与传统的依赖于模型在一个特定时间的预测的性能指标不同，滚动误差解释了在较长时间内多个预测的误差积累。术语“滚动”指的是使用滚动窗口方法计算度量，其中时间t的预测用作输入，为模型生成下一个输入，然后生成后续预测，依此类推。滚动误差度量为模型在一段较长时间内的准确性提供了有价值的见解，并有助于选择最佳模型，使误差随着时间的推移最小化，而不需要频繁的再训练。

在一种可能的实现方式中，基于目标用电节点的历史用电负荷数据和历史环境数据构建训练集、验证集和测试集包括：

对目标用电节点的历史用电负荷数据和历史环境数据进行数据清洗，得到清洁数据；

对清洁数据进行平滑化处理，得到平滑数据；

对平滑数据添加时间信息，并将同一时刻的历史用电负荷数据和历史环境数据作为一条样本数据；

对各条样本数据进行特征提取，将提取到的特征添加到对应的样本数据中，得到多条特征样本数据并组成数据集；

将数据集按照预设比例划分为训练集、验证集和测试集。

在本实施例中，采集到的用电负荷数据可能存在噪声、缺失等情况，为降低干扰因素对模型的影响，可先对数据进行数据清洗及数据平滑化。另外，本模型针对用电负荷进行时空预测，需要筛选出所使用的数据及修改数据类型，可对数据进行时间戳处理、特征提取及数据拆分。

（1）数据清洗

对采集到的用电负荷数据和环境数据进行清洗，去除异常值和噪声。可以使用统计方法、插值方法或者机器学习方法来填充缺失值，修复异常值。

（2）数据平滑化

数据平滑化：对波动较大的用电负荷数据进行平滑化处理，以减少噪声对模型的干扰。

数据平滑化是一种统计技术，用于减少数据中的噪声和波动性。它通过在一定时间窗口或空间范围内对原始数据进行处理，使得数据变得更加平稳和连续。常见的数据平滑化方法包括移动平均、加权移动平均和指数平滑等。这些方法都基于将一定数量的相邻数据点合并成一个单一的值，从而减少噪声和波动性。通过这样的数据平滑化过程，可以获得一系列更加平稳和连续的数据点序列，从而降低了噪声和波动性对分析和预测结果的影响。需要注意的是，在进行数据平滑化时需要权衡平滑化程度和信息丢失的风险。过度平滑化可能会导致数据的细节丢失，而不足的平滑化可能无法有效减少噪声和波动性。因此，在应用数据平滑化方法时，需要根据具体情况选择适当的参数和平滑化程度。

移动平均法是数据平滑化中常用的一种方法。它通过计算一定时间窗口内的数据点的平均值来实现平滑化。移动平均法能够有效地减少短期噪声和波动性，并保留长期趋势。较长的时间窗口可以更好地捕捉趋势，但可能对快速变化的信号反应较慢；而较短的时间窗口则对快速变化信号反应更敏感，但可能增加噪声和波动性。

移动平均法的步骤如下：

①确定时间窗口的长度，即要考虑多少个相邻数据点。较长的时间窗口可以减少噪声和波动性，但可能会导致较大的延迟。

②将时间窗口内的数据点相加，并除以时间窗口长度，得到平均值。

③将计算得到的平均值作为新的数据点，替代原始数据中对应时间窗口内的所有数据点。

④滑动时间窗口，将其向前移动一个单位（例如，向前滑动一个时间间隔），重复进行步骤②和③。

⑤重复以上步骤，直到处理完所有的数据点。

除了简单移动平均法，还有其他变体的移动平均法，如加权移动平均和指数平滑移动平均。它们在计算平均值时采用不同的权重或衰减因子，以更好地适应不同的数据特征。需要根据具体问题和数据特点选择合适的时间窗口长度和移动平均方法，以达到减少噪声和波动性的目的。

（3）时间戳处理：如果采集到的数据没有时间戳信息，需要给每个数据点添加时间戳。可以根据采集频率和起始时间来生成时间戳。将时间戳转换为可分析和预测的时间序列格式，如日期-时间或时间间隔。

（4）特征提取：从原始数据中提取有用的特征。除了用电负荷数据，还可以利用与用电相关的环境数据提取特征。例如，可以提取每日、每周、每月的平均温度作为特征。根据需求提取有用的特征变量，并将其添加到数据集中。

（5）数据拆分：将数据集按照一定的比例分为训练集、验证集和测试集（测试集用于计算滚动误差）。

实施例2：

在实施例2中，如图5所示，采用本发明提供的基于时空相关性的用电负荷预测方法进行预测的步骤如下：

（1）首先对采集的用电负荷数据和外部环境数据进行预处理，预处理包括数据清洗、数据拆分、特征提取、时间戳处理和数据平滑化等方式；

（2）基于预处理后的数据对STEF-DHNet模型进行对抗训练，以提高预测结果的对抗鲁棒性；

（3）基于预处理后的数据进行时空建模，得到多层时空模型；

（4）基于可解释时空注意力转换器对多层时空模型提取用电负荷时空特征；

（5）将用电负荷时空特征输入经过步骤（2）中训练的STEF-DHNet模型，进行用电负荷预测，得到准确度提高的预测结果，并通过滚动误差评估STEF-DHNet模型的性能。

由上可知，本发明旨在提升对电力负荷进行时空预测的性能，同时提高时空预测的对抗鲁棒性。本发明的关键技术如下：

1.引入了一种基于网格的深度学习模型，称为STEF-DHNet，用于用电负荷的时空预测。该模型结合了CNN和LSTM层，使用CNN层捕获空间依赖关系，有效地模拟区域之间的相互作用；通过部署长短期记忆(LSTM)层来捕获时间依赖性，包括当前预测和过去观测之间的非线性关系。利用CNN和LSTM层的强度来进行预测，有效地结合了外部因素的真实复杂性，同时具有计算效率。

2.引入一种被称为滚动误差的性能度量来评估本模型在实际应用中的准确性。与传统的依赖于模型在一个特定时间的预测的性能指标不同，滚动误差解释了在较长时间内多个预测的误差积累，将模型的先前输出作为输入，以生成后续输出，从而使其成为在较长时期内评估模型准确性的有效方法。滚动误差度量为模型在一段较长时间内的准确性提供了有价值的见解，并有助于选择最佳模型，使误差随着时间的推移最小化，而不需要频繁的再训练。本模型在这个度量上也优于最先进的方法，证明了它能够生成准确的预测，而不需要持续的再培训。

3.引入了一种提高时空预测对抗鲁棒性的新框架。这包括动态选择节点子集作为对抗示例，这不仅减少了过拟合，而且提高了对动态对抗攻击的防御能力。为解决从节点的总集合中选择子集的任务，引用了一种基于强化学习的方法来学习最优节点选择策略，将节点选择问题建模为一个组合优化问题，并使用基于策略的网络来学习使内部损失最大化的节点选择策略。设计了一个基于时空注意力的策略网络来模拟时空分布数据，为了评估策略网络产生的结果，引入了一种平衡的奖励函数策略，为策略网络提供稳定有效的反馈，并减轻了训练过程中内部损失减少的问题。为了克服遗忘问题，为对抗训练引入了一个新的自知识蒸馏正则化模块，其中当前模型使用从先前模型的对抗性攻击经验中提取的知识进行训练。此外，将自我知识蒸馏作为一种新的训练技术来解决不断发展的对抗节点的挑战，从而避免了“遗忘问题”。

4.引入了一种具有时空因果结构的多分位数预测神经网络模型。本发明模型通过交替时空掩模来扩展现有的转换器，从而将先验知识融入到模型的特征学习中。在本文提出的模型中，通过注意层的权重可以很容易地确定空间因果关系和时间因果关系，通过模型中包含的VSN层可以识别每个变量的重要性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。

图6示出了本发明实施例提供的基于时空相关性的用电负荷预测装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

如图6所示，基于时空相关性的用电负荷预测装置6包括：

时空建模模块61，用于基于不同用电节点的历史用电负荷数据和历史环境数据进行时空建模，得到多层时空模型；其中，每层模型为有向图，表示固定时间的空间因果关系，每层模型之间的有向边表示时间因果关系；

特征提取模块62，用于基于可解释时空注意力转换器对多层时空模型进行特征提取和先验知识融合，得到用电负荷时空特征；其中，可解释时空注意力转换器包括空间因果注意网络、时间注意网络和空间依赖性对比模块；

负荷预测模块63，用于基于用电负荷时空特征、目标用电节点的实时用电负荷数据和实时环境数据，采用经过训练的STEF-DHNet模型进行预测，得到目标用电节点在指定未来时刻的预测用电负荷数据。

在一种可能的实现方式中，时空建模模块61具体用于：

按照时间对不同用电节点的历史用电负荷数据和历史环境数据进行分层，得到多层网络；

基于不同用电节点的历史用电负荷数据和历史环境数据之间的影响关系，将相似数据划分至同一集群，得到多个集群；

基于各个集群之间的影响关系构建时间因果假设关系和空间因果假设关系；

基于自注意模块对时间因果假设关系和空间因果假设关系进行筛选，得到时空因果关系；

将时空因果关系添加到多层网络，得到多层时空模型。

在一种可能的实现方式中，特征提取模块62具体用于：

基于空间因果注意网络将多层时空模型转换为多个空间特征矩阵；

基于时间注意网络对各个空间特征矩阵进行压缩，得到多个空间特征向量，并按照时间因果关系将各个空间特征向量组合为时空特征矩阵；

基于空间依赖性对比模块在时空特征矩阵中添加空间因果先验知识，得到用电负荷时空特征。

在一种可能的实现方式中，STEF-DHNet模型包括依次连接的第一卷积层、第二卷积层、扁平化模块、L个全连接层和LSTM层；其中，L为输入数据的数量。

在一种可能的实现方式中，负荷预测模块63具体用于：

基于第一卷积层和第二卷积层对目标用电节点的实时用电负荷数据进行特征提取，得到用电负荷特征；

对目标用电节点的实时环境数据进行网格化，并与用电负荷特征合并输入扁平化模块，得到展平数据；

基于L个全连接层提取展平数据中的预测特征；

基于LSTM层对预测特征和用电负荷时空特征进行预测，得到目标用电节点在指定未来时刻的预测用电负荷数据。

在一种可能的实现方式中，负荷预测模块63还用于：

在采用经过训练的STEF-DHNet模型进行预测之前，基于目标用电节点的历史用电负荷数据和历史环境数据构建训练集、验证集和测试集；

以平均绝对误差为损失函数，基于训练集、验证集和测试集对STEF-DHNet模型进行对抗训练，得到经过训练的STEF-DHNet模型。

在一种可能的实现方式中，负荷预测模块63具体用于：

基于训练集和策略网络生成对抗样本；其中，策略网络包括依次连接的时空编码器、空间层、时间层和多头注意力解码器；

基于奖励函数、训练集和对抗样本对STEF-DHNet模型进行对抗训练，并基于验证集和测试集进行验证，得到经过训练的STEF-DHNet模型。

在一种可能的实现方式中，负荷预测模块63具体用于：

在训练过程中，基于测试集和给定的时间长度更新STEF-DHNet模型的滚动误差，若滚动误差合格，则完成训练，否则继续训练。

在一种可能的实现方式中，负荷预测模块63具体用于：

对目标用电节点的历史用电负荷数据和历史环境数据进行数据清洗，得到清洁数据；

对清洁数据进行平滑化处理，得到平滑数据；

对平滑数据添加时间信息，并将同一时刻的历史用电负荷数据和历史环境数据作为一条样本数据；

对各条样本数据进行特征提取，将提取到的特征添加到对应的样本数据中，得到多条特征样本数据并组成数据集；

将数据集按照预设比例划分为训练集、验证集和测试集。

本发明实施例首先利用用电负荷数据和环境数据的层次结构，按照空间因果关系和时间因果关系，将不同用电节点的历史用电负荷数据和历史环境数据构建为多层时空模型，将用电负荷数据和环境数据的时空依赖性转换为时空因果关系；然后基于可解释时空注意力转换器进行特征提取并融入先验知识，无需进行空间因果关系和时间因果关系的融合就可得到完整的用电负荷时空特征；最后将用电负荷时空特征包含的时空因果关系融合到STEF-DHNet模型，进行用电负荷预测，提高预测准确性和模型适用性。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模板、单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所述模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个基于时空相关性的用电负荷预测方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于时空相关性的用电负荷预测方法，其特征在于，包括：

基于不同用电节点的历史用电负荷数据和历史环境数据进行时空建模，得到多层时空模型；其中，每层模型为有向图，表示固定时间的空间因果关系，每层模型之间的有向边表示时间因果关系；所述多层时空模型为：

其中，；

所述多层时空模型的因果结构基于假设1和假设2定义，所述假设1为：对于s, s '∈S,t, t '∈T，多层网络满足以下条件：

①设t≤t '，则；

②对于和，当且仅当；此外，，当且仅当；

所述假设1中①表示不可逆性，②表示随时间均匀的空间因果关系；

所述假设2为：，如果，否则，；

所述假设2表示基于先验知识的空间因果关系；

其中，所述用电节点包括，是的上游节点，即的用电负荷来自，环境数据包括三种不同的温度，以及用电管控策略，，，和，节点表示集群中所有可用的观测值，s∈S={1,2,3,4}，并且时间t∈T ={1,...,τ}；

基于可解释时空注意力转换器对所述多层时空模型进行特征提取和先验知识融合，得到用电负荷时空特征；其中，所述可解释时空注意力转换器包括空间因果注意网络、时间注意网络和空间依赖性对比模块；

所述空间因果注意网络为：

；

其中，是的自注意，是从到的映射，具有的注意权矩阵的三元组，作为空间特征矩阵，对应于被假设2中因果约束权重加权的；

所述时间注意网络为：

，

其中，，，为解码器掩码；中的上对角元素是的，使得，且所述时间注意网络的第i行仅由的第j行向量组成；

所述时间注意网络将下式合并为输入值，同时使用下式作为查询和键，通过变量选择网络减少查询和键的维数；

，

式中vec(·)表示平坦化映射，

，

当时，每一行是上对应于的约简向量

所述空间依赖性对比模块为：

，

其中，的对比特征由给出，为的重构矩阵，的行向量，与均通过空间因果注意网络得到，的注意权值用于解释和量化空间效应；

扫描对比后，可解释时空注意力转换器编码器的最终输出由建立；将输入到，将汇总信息传输到解码器；

为时，在式中与上下文向量的连接矩阵，其中：

，

通过的变量选择权重来评估变量返回的重要性；

基于所述用电负荷时空特征、目标用电节点的实时用电负荷数据和实时环境数据，采用经过训练的STEF-DHNet模型进行预测，得到所述目标用电节点在指定未来时刻的预测用电负荷数据。

2.根据权利要求1所述的基于时空相关性的用电负荷预测方法，其特征在于，基于不同用电节点的历史用电负荷数据和历史环境数据进行时空建模，得到多层时空模型包括：

按照时间对不同用电节点的历史用电负荷数据和历史环境数据进行分层，得到多层网络；

基于不同用电节点的历史用电负荷数据和历史环境数据之间的影响关系，将相似数据划分至同一集群，得到多个集群；

基于各个集群之间的影响关系构建时间因果假设关系和空间因果假设关系；

基于自注意模块对所述时间因果假设关系和所述空间因果假设关系进行筛选，得到时空因果关系；

将所述时空因果关系添加到所述多层网络，得到多层时空模型。

3.根据权利要求2所述的基于时空相关性的用电负荷预测方法，其特征在于，所述基于可解释时空注意力转换器对所述多层时空模型进行特征提取和先验知识融合，得到用电负荷时空特征包括：

基于所述空间因果注意网络将所述多层时空模型转换为多个空间特征矩阵；

基于所述时间注意网络对各个空间特征矩阵进行压缩，得到多个空间特征向量，并按照所述时间因果关系将各个空间特征向量组合为时空特征矩阵；

基于所述空间依赖性对比模块在所述时空特征矩阵中添加空间因果先验知识，得到用电负荷时空特征。

4.根据权利要求1所述的基于时空相关性的用电负荷预测方法，其特征在于，所述STEF-DHNet模型包括依次连接的第一卷积层、第二卷积层、扁平化模块、L个全连接层和LSTM层；其中，L为输入数据的数量。

5.根据权利要求4所述的基于时空相关性的用电负荷预测方法，其特征在于，所述基于所述用电负荷时空特征、所述目标用电节点的实时用电负荷数据和实时环境数据，采用经过训练的STEF-DHNet模型进行预测，得到所述目标用电节点在指定未来时刻的预测用电负荷数据包括：

基于所述第一卷积层和所述第二卷积层对所述目标用电节点的实时用电负荷数据进行特征提取，得到用电负荷特征；

对所述目标用电节点的实时环境数据进行网格化，并与所述用电负荷特征合并输入所述扁平化模块，得到展平数据；

基于所述L个全连接层提取所述展平数据中的预测特征；

基于所述LSTM层对所述预测特征和所述用电负荷时空特征进行预测，得到所述目标用电节点在指定未来时刻的预测用电负荷数据。

6.根据权利要求4所述的基于时空相关性的用电负荷预测方法，其特征在于，在所述采用经过训练的STEF-DHNet模型进行预测之前，还包括：

基于所述目标用电节点的历史用电负荷数据和历史环境数据构建训练集、验证集和测试集；

以平均绝对误差为损失函数，基于所述训练集、所述验证集和所述测试集对STEF-DHNet模型进行对抗训练，得到经过训练的STEF-DHNet模型。

7.根据权利要求6所述的基于时空相关性的用电负荷预测方法，其特征在于，所述基于所述训练集、所述验证集和所述测试集对STEF-DHNet模型进行对抗训练，得到经过训练的STEF-DHNet模型包括：

基于所述训练集和策略网络生成对抗样本；其中，所述策略网络包括依次连接的时空编码器、空间层、时间层和多头注意力解码器；

基于奖励函数、所述训练集和所述对抗样本对STEF-DHNet模型进行对抗训练，并基于所述验证集和所述测试集进行验证，得到经过训练的STEF-DHNet模型。

8.根据权利要求7所述的基于时空相关性的用电负荷预测方法，其特征在于，所述基于所述验证集和所述测试集进行验证包括：

在训练过程中，基于测试集和给定的时间长度更新STEF-DHNet模型的滚动误差，若滚动误差合格，则完成训练，否则继续训练。

9.根据权利要求6所述的基于时空相关性的用电负荷预测方法，其特征在于，所述基于所述目标用电节点的历史用电负荷数据和历史环境数据构建训练集、验证集和测试集包括：

对所述目标用电节点的历史用电负荷数据和历史环境数据进行数据清洗，得到清洁数据；

对所述清洁数据进行平滑化处理，得到平滑数据；

对所述平滑数据添加时间信息，并将同一时刻的历史用电负荷数据和历史环境数据作为一条样本数据；

对各条样本数据进行特征提取，将提取到的特征添加到对应的样本数据中，得到多条特征样本数据并组成数据集；

将所述数据集按照预设比例划分为训练集、验证集和测试集。

10.一种基于时空相关性的用电负荷预测装置，其特征在于，包括：

时空建模模块，用于基于不同用电节点的历史用电负荷数据和历史环境数据进行时空建模，得到多层时空模型；其中，每层模型为有向图，表示固定时间的空间因果关系，每层模型之间的有向边表示时间因果关系；所述多层时空模型为：

其中，；

所述多层时空模型的因果结构基于假设1和假设2定义，所述假设1为：对于s, s '∈S,t, t '∈T，多层网络满足以下条件：

③设t≤t '，则；

④对于和，当且仅当；此外，，当且仅当；

所述假设1中①表示不可逆性，②表示随时间均匀的空间因果关系；

所述假设2为：，如果，否则，；

所述假设2表示基于先验知识的空间因果关系；

其中，所述用电节点包括，是的上游节点，即的用电负荷来自，环境数据包括三种不同的温度，以及用电管控策略，，，和，节点表示集群中所有可用的观测值，s∈S={1,2,3,4}，并且时间t∈T ={1,...,τ}；

特征提取模块，用于基于可解释时空注意力转换器对所述多层时空模型进行特征提取和先验知识融合，得到用电负荷时空特征；其中，所述可解释时空注意力转换器包括空间因果注意网络、时间注意网络和空间依赖性对比模块；

所述空间因果注意网络为：

；

其中，是的自注意，是从到的映射，具有的注意权矩阵的三元组，作为空间特征矩阵，对应于被假设2中因果约束权重加权的；

所述时间注意网络为：

，

其中，，，为解码器掩码；中的上对角元素是的，使得，且所述时间注意网络的第i行仅由的第j行向量组成；

所述时间注意网络将下式合并为输入值，同时使用下式作为查询和键，通过变量选择网络减少查询和键的维数；

，

式中vec(·)表示平坦化映射，

，

当时，每一行是上对应于的约简向量

所述空间依赖性对比模块为：

，

其中，的对比特征由给出，为的重构矩阵，的行向量，与均通过空间因果注意网络得到，的注意权值用于解释和量化空间效应；

扫描对比后，可解释时空注意力转换器编码器的最终输出由建立；将输入到，将汇总信息传输到解码器；

为时，在式中与上下文向量的连接矩阵，其中：

，

通过的变量选择权重来评估变量返回的重要性；

负荷预测模块，用于基于所述用电负荷时空特征、目标用电节点的实时用电负荷数据和实时环境数据，采用经过训练的STEF-DHNet模型进行预测，得到所述目标用电节点在指定未来时刻的预测用电负荷数据。