CN115860281A - 基于跨实体注意力的能源系统多实体负载预测方法和装置 - Google Patents

基于跨实体注意力的能源系统多实体负载预测方法和装置 Download PDF

Info

Publication number
CN115860281A
CN115860281A CN202310170296.0A CN202310170296A CN115860281A CN 115860281 A CN115860281 A CN 115860281A CN 202310170296 A CN202310170296 A CN 202310170296A CN 115860281 A CN115860281 A CN 115860281A
Authority
CN
China
Prior art keywords
entity
attention
load prediction
cross
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310170296.0A
Other languages
English (en)
Other versions
CN115860281B (zh
Inventor
王之宇
张音捷
白冰
张兴明
邹涛
朱桢
孙才俊
黎海燕
陈岱渊
张奕鹏
孙天宁
徐昊天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310170296.0A priority Critical patent/CN115860281B/zh
Publication of CN115860281A publication Critical patent/CN115860281A/zh
Application granted granted Critical
Publication of CN115860281B publication Critical patent/CN115860281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于跨实体注意力的能源系统多实体负载预测方法和装置，该方法包括以下步骤：首先对数据预处理，采用特征变量选择网络预测各个实体对特征的依赖性，并通过长短期记忆网络提取时间依赖信息；然后对实体编码；其次使用通过键值查询不同实体间的注意力，以对实体间的相互作用进行编码计算跨实体注意力；再将特征编码输出为负载预测值；通过以上步骤对负载预测网络模型进行训练学习，以获取最终的负载预测网络模型；最后将新的输入特征变量输入负载预测网络模型，即可获取负载预测值。本发明能够高效地对实体的时间特征进行建模并模拟实体间的相关性，量化一个时间窗口内多个实体之间的相关性，大幅提高各个实体负载预测的准确度。

Description

基于跨实体注意力的能源系统多实体负载预测方法和装置
技术领域
本发明涉及能源系统领域，尤其涉及一种基于跨实体注意力的能源系统多实体负载预测方法和装置。
背景技术
能源负载预测是能源系统调度和优化的一个重要组成部分。这种技术被归类为时间序列预测问题，使用以前的特征作为输入来估计未来的能源负载。现有用于负载预测方法有很多，常见的有：线性回归、指数平滑、支持向量机、决策树、进化算法等，上述方法过程复杂，要求建模人员具有很强的专业领域知识，并且传统模型非线性拟合能力和高维数据处理能力较差。近年来基于深度学习的神经网络逐渐成为研究主流。一般的神经网络网络模型可以拟合电力负载与相关变量间的复杂非线性关系，但是无法学习并利用负载时间序列数据中的时间依赖；循环神经网络可以利用时间依赖信息，提高负载预测结果的精度，但其对长期依赖学习时容易出现梯度爆炸或者梯度消失问题。现有研究对电力负载与其相关影响因素间的关系缺乏深入研究，亟待探究电力负载及其影响因素间的关系，同时对多实体的综合能源系统以及跨实体之间的负载联系研究较少。
注意力机制在自然语言处理、计算机视觉等领域取得广泛的应用，其全局自注意力机制帮助模型获得输入数据间的相关程度，同时支持大规模并行计算，大幅提高了计算效率。本发明提出了一个名为跨实体时间融合Transformer（Cross-entity TemporalFusion Transformer，CETFT）的神经网络模型，它利用跨实体的注意力机制来模拟实体间的相关性。这个增强的注意力模块可以描述一个时间窗口内多个实体之间的关系，并告知解码器应该集中在编码器的哪个实体上。为了降低计算的复杂性，不同实体中通过同一个共享变量选择网络提取特征。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于跨实体注意力的能源系统多实体负载预测方法和装置。本发明能够提高预测的准确率，同时有助于降低计算复杂度。
本发明的目的是通过以下技术方案来实现的：本发明实施例第一方面提供了一种基于跨实体注意力的能源系统多实体负载预测方法，包括以下步骤：
（1）对输入数据进行预处理：根据输入数据的特征类别对各个实体的输入数据进行不同的处理，根据可用性将输入的特征变量分为已知特征和未知特征，所述特征类别包括连续特征和离散特征，将连续特征进行归一化处理，使用实体嵌入层将离散特征映射为连续向量；
（2）实体编码：将所述步骤（1）预处理后的输入数据依次通过特征变量选择网络和长短期记忆网络，以将每个实体生成一个表示其所有时刻状态的编码向量；
（3）跨实体注意力计算：根据键矩阵、查询矩阵和价值矩阵以及所述步骤（2）获取的每个实体的编码向量计算单个实体的自注意力值，并对其进行扩展，以获取不同实体间的跨实体注意力值；
（4）将跨实体注意力值通过门控残差网络提取特征，并通过全连接层输出预测周期内的各个实体的能源负载值；
（5）采集能源系统的输入特征变量和能源负载值对负载预测网络模型进行训练，以获取最终的负载预测网络模型；其中，所述负载预测网络模型包括所述步骤（2）中的实体编码网络、所述步骤（3）中的跨实体注意力网络、所述步骤（4）中的门控残差网络和全连接层；
（6）将新采集的输入特征变量输入到最终的负载预测网络模型中，以获取能源负载预测值。
可选地，所述已知特征为在预测时间之前能提前确定的特征，所述未知特征为在预测时间之前无法提前确定的特征。
可选地，所述步骤（2）具体为：采用特征变量选择网络预测各个实体对特征变量的依赖性并据此进行特征选择，以获取特征选择后的特征向量；将过去时刻的全部特征输入长短期记忆网络的编码器，将未来时刻的已知特征输入长短期记忆网络的解码器，为每个实体生成表示其所有时刻状态的编码向量。
可选地，所述步骤（2）包括以下子步骤：
（2.1）在经过对输入数据预处理的基础上，令E为综合能源系统中的实体数量，将第i个实体在t时刻的特征变量以向量形式表示，表示为
Figure SMS_3
或/>
Figure SMS_6
，其中，/>
Figure SMS_8
表示已知特征向量部分，/>
Figure SMS_2
表示未知特征向量部分，/>
Figure SMS_5
表示当前时间；并将第i个实体在t时刻的特征变量的集合表示为/>
Figure SMS_9
，且经过预处理后/>
Figure SMS_10
所含元素数量为/>
Figure SMS_1
，其中，/>
Figure SMS_4
和/>
Figure SMS_7
分别表示第i个实体未知特征变量的数量和已知特征变量的数量；
（2.2）利用特征变量的特征选择权重对向量形式表示的特征变量
Figure SMS_11
进行特征选择，以获取特征选择后的特征向量/>
Figure SMS_12
；
（2.3）将满足
Figure SMS_13
的特征向量/>
Figure SMS_14
输入长短期记忆网络的编码器，将满足
Figure SMS_15
的特征向量/>
Figure SMS_16
输入长短期记忆网络的解码器，将属于第i个实体的特征向量
Figure SMS_17
按照时间顺序串联连接为长向量，以获取实体对时间序列特征的编码向量/>
Figure SMS_18
。
可选地，所述步骤（3）包括以下子步骤：
（3.1）根据键矩阵K、查询矩阵Q和价值矩阵V以及所述步骤（2）获取的每个实体的编码向量
Figure SMS_19
计算单个实体的自注意力值；/>
（3.2）根据自注意力值将单个实体的自注意力模块扩展为跨实体注意力模块，计算不同实体间的跨实体注意力值。
可选地，所述步骤（4）包括以下子步骤：
（4.1）将跨实体注意力值输入到门控残差网络中，以提取特征，对特征向量进一步加工；
（4.2）将所述步骤（4.1）获取到的特征向量通过全连接层，以输出预测周期内的各个实体的能源负载值。
可选地，所述步骤（5）包括以下子步骤：
（5.1）采集综合能源系统一段时间内各个实体的输入特征变量和能源负载值；
（5.2）对负载预测网络模型的参数进行随机初始化，以获取负载预测网络模型；
（5.3）将所述步骤（5.1）采集到的输入特征变量输入到负载预测网络模型中，以获取第i个实体在时刻t的能源负载预测值；
（5.4）根据能源负载预测值和所述步骤（5.1）采集到的能源负载值计算对称平均绝对百分比误差；根据对称平均绝对百分比误差对负载预测网络模型的参数进行调整，以减小对称平均绝对百分比误差；将负载预测网络模型的参数返回负载预测网络模型，以更新负载预测网络模型；
（5.5）重复所述步骤（5.3）-所述步骤（5.4），直至对称平均绝对百分比误差不再降低，以获取最终的负载预测网络模型。
可选地，所述负载预测网络模型的参数包括实体编码网络、跨实体注意力网络、门控残差网络和全连接层的权重、偏置。
本发明实施例第二方面提供了一种基于跨实体注意力的能源系统多实体负载预测装置，包括一个或多个处理器，用于实现上述的基于跨实体注意力的能源系统多实体负载预测方法。
本发明实施例第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述的基于跨实体注意力的能源系统多实体负载预测方法。
本发明的有益效果是，本发明综合考虑能源系统中多个实体间的相关性，提出了跨实体注意力机制，有效提高了负载预测精度；针对各个实体在同一时刻共享大量特征的特点，提出了共享特征变量选择网络，有效降低了计算复杂度。
附图说明
图1为跨实体时间融合Transformer网络结构图；
图2为能源系统多实体负载预测过程示意图；
图3为跨实体注意力掩码图；
图4为门控线性单元计算过程示意图；
图5为本发明中的基于跨实体注意力的能源系统多实体负载预测装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的基于跨实体注意力的能源系统多实体负载预测方法的最终目标是通过跨实体注意力机制将各个实体间的电力能量负载进行关联，提高对于综合能源系统中各个实体的电量负载预测的精度。实体由于存在用电量为0或者负数（即光伏发电量大于用电量），平均绝对百分误差无法用于衡量模型预测精度，因此本发明采用对称平均绝对百分比误差（Symmetric Mean Absolute Percentage Error，SMAPE）衡量模型预测精度，上述问题可由下式表示：
Figure SMS_20
其中，
Figure SMS_21
表示第i个实体在t时刻的电力能量负载实际值，/>
Figure SMS_22
表示第i个实体在t时刻的模型对于电力能量负载预测值，n表示预测的时刻的数量，E表示综合能源系统中的实体数量。本发明的目的即为通过模型产生对电力能量负载/>
Figure SMS_23
的估计值/>
Figure SMS_24
，使得SMAPE最小。
该基于跨实体注意力的能源系统多实体负载预测方法，如图1所示，包括以下步骤：
（1）对输入数据进行预处理：根据输入数据的特征类别对各个实体的输入数据进行不同的处理，根据可用性进一步将输入的特征变量分为已知特征和未知特征。其中，特征类别包括连续特征和离散特征，将连续特征进行归一化处理，使用实体嵌入层将离散特征映射为连续向量。
实体嵌入层通过查表得到离散特征的每一个可能取值所对应的特征向量，称之为嵌入向量。离散变量经过嵌入处理得到的嵌入向量可以看作由多个连续变量组成的向量，因此使用与连续变量相同的方式进行后续处理。
应当理解的是，实体嵌入为一种可学习的映射，输入为离散特征值，输出为所对应的向量。
本实施例中，已知特征为在预测时间之前能提前确定的特征，未知特征为在预测时间之前无法提前确定的特征。如表1所示，显示为电力能量负载预测所使用的时间与天气特征的分类。
表1：实体特征变量信息
特征变量 特征类型 特征可知性
是否为假期 离散特征 已知特征
日期 离散特征 已知特征
小时 离散特征 已知特征
星期 离散特征 已知特征
月份 离散特征 已知特征
云型 离散特征 未知特征
水平漫反射辐照度 连续特征 未知特征
法向直接辐照度 连续特征 未知特征
水平总辐照度 连续特征 未知特征
晴朗天气时漫反射辐照度 连续特征 未知特征
晴朗天气时法向直接辐照度 连续特征 未知特征
晴朗天气时水平总辐照度 连续特征 未知特征
露点温度 连续特征 未知特征
气温 连续特征 未知特征
压强 连续特征 未知特征
相对湿度 连续特征 未知特征
太阳天顶角 连续特征 未知特征
可降水 连续特征 未知特征
风向 连续特征 未知特征
风速 连续特征 未知特征
负荷 连续特征 未知特征/预测目标
（2）实体编码：将步骤（1）预处理后的输入数据依次通过特征变量选择网络和长短期记忆网络，以将每个实体生成一个表示其所有时刻状态的编码向量。具体地，采用特征变量选择网络预测各个实体对特征变量的依赖性并据此进行特征选择，以获取特征选择后的特征向量；将过去时刻的全部特征输入长短期记忆网络的编码器，将未来时刻的已知特征输入长短期记忆网络的解码器，为每个实体生成表示其所有时刻状态的编码向量。
本实施例中，特征变量选择网络为一组对应于输入特征的神经网络，数量等于特征总数，输入为经过预处理的特征向量，特征变量选择网络根据特征重要性对其进行加权求和后输出，可以获取特征选择后的特征向量。其中，综合能源系统中多实体预测过程如图2所示。
（2.1）在经过对输入数据预处理的基础上，令E为综合能源系统中的实体数量，将第i个实体在t时刻的特征变量以向量形式表示，表示为
Figure SMS_26
或/>
Figure SMS_29
，其中，/>
Figure SMS_32
表示已知特征向量部分，/>
Figure SMS_27
表示未知特征向量部分，/>
Figure SMS_30
表示当前时间，/>
Figure SMS_33
表示特征变量组成的向量；并将第i个实体在t时刻的特征变量的集合表示为/>
Figure SMS_35
，且经过预处理后/>
Figure SMS_25
所含元素数量为/>
Figure SMS_28
，其中，/>
Figure SMS_31
和/>
Figure SMS_34
分别表示第i个实体未知特征变量的数量和已知特征变量的数量。
（2.2）利用特征变量的特征选择权重对向量形式表示的特征变量
Figure SMS_36
进行特征选择，以获取特征选择后的特征向量/>
Figure SMS_37
。
输入的多个特征变量可能存在对性能产生负面影响的不必要的噪声输入，利用对特征变量的权重的估计对向量形式表示的特征变量进行变量选择，通过在有效突出特征上学习来提升模型的性能。特征选择后的特征向量的表达式为：
Figure SMS_38
其中，
Figure SMS_39
为特征选择后的特征向量，j表示输入元素变量/>
Figure SMS_40
在特征向量
Figure SMS_41
中的位置，且j是集合/>
Figure SMS_42
的一个元素，/>
Figure SMS_43
是特征选择权重，且特征选择权重
Figure SMS_44
对应于输入元素变量/>
Figure SMS_45
。
综合能源系统中在同一时间段下实体之间存在共享相同特征，如时间特征、天气特征、地理信息特征。将对应于同一个特征变量
Figure SMS_46
的特征选择权重/>
Figure SMS_47
在实体之间共享，以减少网络的复杂性。
特征选择权重
Figure SMS_48
的计算方式为：
Figure SMS_49
其中，exp为以e为底的指数函数，
Figure SMS_50
表示第j个输入元素变量，/>
Figure SMS_51
为对应于输入元素变量/>
Figure SMS_52
的门控残差网络，Softmax表示归一化指数函数。
如图4所示，表示为门控残差网络的计算过程。为了表达方便，将对应于
Figure SMS_53
的门控残差网络简记为/>
Figure SMS_54
，将其输入的元素变量值/>
Figure SMS_55
简记为z，则
Figure SMS_56
的表达式为：
Figure SMS_57
其中，GLU为门控线性单元，LayerNorm为归一化层，z表示模型输入，
Figure SMS_58
为门控残差网络所对应的特征变量。
进一步地，GLU的计算方式为：
Figure SMS_59
z为函数的输入，
Figure SMS_62
、/>
Figure SMS_63
、/>
Figure SMS_73
、/>
Figure SMS_65
为可学习的参数，G、R代表两个不同的网络层，/>
Figure SMS_72
为特征选择网络对应的特征变量，/>
Figure SMS_68
为G网络的权重，/>
Figure SMS_75
为G网络的偏置，/>
Figure SMS_67
为R网络的权重，/>
Figure SMS_71
为R网络的偏置，/>
Figure SMS_60
为向量点积（
Figure SMS_69
，其中，/>
Figure SMS_61
、/>
Figure SMS_70
分别为/>
Figure SMS_66
、/>
Figure SMS_74
中的i维向量），/>
Figure SMS_64
为乙状激活函数，该函数对输入向量的每个元素作如下运算：
Figure SMS_76
其中，
Figure SMS_77
。
将输入特征变量
Figure SMS_78
按照特征选择网络输出的对应于每个特征变量的特征选择权重/>
Figure SMS_79
加权求和，得到实体筛选后的特征向量/>
Figure SMS_80
，表示为：
Figure SMS_81
由此为每个不同时刻t不同实体i生成了长度相同的特征向量
Figure SMS_82
，作为长短期记忆网络的编码器以及解码器的输入。
（2.3）将满足的特征向量作为长短期记忆网络的编码器的输入，将满足的特征向量作为长短期记忆网络的解码器的输入，然后将属于第i个实体的特征向量串联连接为长向量，作为长短期记忆网络对实体时间序列特征的编码向量。其中，特征向量的连接方式为：
Figure SMS_83
按照时间顺序将每个时刻的向量依次连接并合并成一个一维向量，其中
Figure SMS_84
为所有向量时刻的最小值，/>
Figure SMS_85
为所有向量时刻的最大值。
（3）跨实体注意力计算：根据键矩阵、查询矩阵和价值矩阵以及步骤（2）获取的每个实体的编码向量计算单个实体的自注意力值，并对其进行扩展，以获取不同实体间的跨实体注意力值。
（3.1）对于单个实体，使用自注意力计算来实现时间特征的进一步提取。由固定的一组键矩阵K、查询矩阵Q、以及价值矩阵V完成，得到实体不同时刻间特征的相关程度，即自注意力值，上述过程可由下式进行表示：
Figure SMS_86
Figure SMS_87
Figure SMS_88
Figure SMS_89
其中，
Figure SMS_92
表示单个实体的自注意力值，/>
Figure SMS_97
结果为相似度，/>
Figure SMS_100
是K的维度，M为掩码矩阵，softmax为归一化指数函数，/>
Figure SMS_93
为矩阵点乘，/>
Figure SMS_96
、
Figure SMS_101
为输入的两个向量矩阵，分别为长短期记忆网络的解码器对实体/>
Figure SMS_103
和实体/>
Figure SMS_90
时间序列特征的编码向量，/>
Figure SMS_94
、/>
Figure SMS_98
、/>
Figure SMS_102
分别为键矩阵K、查询矩阵Q、价值矩阵V的权值。应当理解的是，/>
Figure SMS_91
、/>
Figure SMS_95
、/>
Figure SMS_99
为三个矩阵，可以通过学习获得。
对于时间序列的预测，编码部分模型可以观察到所有的信息，而为了防止信息泄露，解码部分模型只能观察到当前时刻之前采集到的信息。因此使用一个单实体注意力掩码矩阵来控制变量的时间可知性，其形状为直角梯形，上底和下底的长度分别等于编码向量的大小和所有向量的大小，表示为：
Figure SMS_104
其中，M表示掩码矩阵，掩码矩阵中的元素
Figure SMS_105
表示第i个实体与第j个实体之间的掩码，L表示编码长度，H表示解码长度。
（3.2）如图3所示，为了对实体间的相关关系进行建模，将原本单一的自注意力模块扩展为跨实体注意力模块。实体不再只对自身进行注意力计算，其也会与同一时刻下的其他实体进行注意力计算，将原本的局部自注意力扩大为全局注意力，获得更多的实体间信息与相关程度。注意力公式扩展为：
Figure SMS_106
其中，
Figure SMS_108
表示扩大的全局注意力值，/>
Figure SMS_112
表示随着注意力扩大的查询矩阵，/>
Figure SMS_113
表示随着注意力扩大的键矩阵，/>
Figure SMS_109
表示随着注意力扩大的价值矩阵，/>
Figure SMS_111
表示
Figure SMS_114
矩阵的转置，/>
Figure SMS_115
是/>
Figure SMS_107
的维度，/>
Figure SMS_110
为随着注意力扩大的掩码矩阵，可由下式表示：
Figure SMS_116
其中，掩码矩阵
Figure SMS_117
中的元素/>
Figure SMS_118
表示表示第i个实体与第j个实体之间的掩码，mod为取模操作。
通过自注意力计算对每个实体i的特征编码向量
Figure SMS_119
进行了进一步处理，得到注意力输出值/>
Figure SMS_120
，总而得到表示实体i特征的矩阵，其每一行表示不同时刻t的特征向量。
（4）输出：将跨实体注意力值通过门控残差网络进一步提取特征，并通过全连接层输出预测周期内的各个实体的能源负载值。
（4.1）将跨实体注意力值输入到门控残差网络中，使用门控残差网络对特征向量进行进一步加工：
Figure SMS_121
其中，z为函数输入，即为步骤（3）得到的注意力输出值
Figure SMS_124
；/>
Figure SMS_123
、/>
Figure SMS_133
、
Figure SMS_127
、/>
Figure SMS_137
为可学习的参数，下标A表示该门控残差网络用于加工注意力输出值，
Figure SMS_128
为G网络的权重，/>
Figure SMS_136
为G网络的偏置，/>
Figure SMS_129
为R网络的权重，/>
Figure SMS_134
为R网络的偏置，/>
Figure SMS_122
为向量点积（/>
Figure SMS_131
，其中，/>
Figure SMS_125
、/>
Figure SMS_132
分别为/>
Figure SMS_126
、/>
Figure SMS_135
中的i维向量），/>
Figure SMS_130
为乙状激活函数，该函数对输入向量的每个元素作如下运算：
Figure SMS_138
其中，
Figure SMS_139
。/>
门控残差网络的输出为加工后的矩阵
Figure SMS_140
，其每一行表示不同时刻t的特征向量。
（4.2）将步骤（4.1）获取到的特征向量通过全连接层，以输出网络预测周期内的各个实体的能源负载值。
本实施例中，使用全连接层将每一实体每一时刻的特征向量转换为对应的输出负载预测值。全连接层为一种神经网络层，其输入的每个元素和输出的每个元素间均有连接，其中输入为门控残差网络的输出，即通过门控残差网络加工后的矩阵
Figure SMS_141
，输出为不同时刻t不同实体i的能源负载值。
（5）采集能源系统的输入特征变量和能源负载值对负载预测网络模型进行训练，以获取最终的负载预测网络模型。
本实施例中，该能源系统多实体负载预测方法所对应的负载预测网络模型包含有实体编码网络、跨实体注意力网络、门控残差网络和全连接层，均为神经网络模块，其权重W和偏置b均为可学习的参数。
（5.1）为了对参数进行学习，首先采集综合能源系统一段时间内各个实体的数据，包括输入特征变量和能源负载值，并按照输入特征变量的定义将其按照时刻和实体整理为结构化数据。
（5.2）对负载预测网络模型的可学习的参数进行随机初始化，即：对实体编码网络、跨实体注意力网络、门控残差网络和全连接层的权重、偏置进行随机初始化，以获取负载预测网络模型。
本实施例中，负载预测网络模型包括实体编码网络、跨实体注意力网络、门控残差网络和全连接层。负载预测网络模型的参数包括实体编码网络、跨实体注意力网络、门控残差网络和全连接层的权重、偏置。
（5.3）将步骤（5.1）采集到的输入特征变量输入负载预测网络模型中可以得到负载预测网络模型对第i个实体在时刻t的能源负载预测值，即电力能量负载预测值
Figure SMS_142
。
（5.4）根据能源负载预测值和步骤（5.1）采集到的能源负载值计算对称平均绝对百分比误差，即计算电力能量负载预测值与真实值的对称平均绝对百分比误差（SymmetricMean Absolute Percentage Error，SMAPE），其表达式为：
Figure SMS_143
其中，
Figure SMS_144
表示第i个实体在时刻t的电力能量负载实际值，/>
Figure SMS_145
表示第i个实体在时刻t的模型对于电力能量负载预测值，n表示预测的时刻的数量，E表示综合能源系统中的实体数量。
学习过程为迭代过程，每一轮迭代中根据SMAPE的值对实体编码网络、跨实体注意力网络、门控残差网络、全连接层的权重W和偏置b进行调节，使得SMAPE降低。同时将实体编码网络、跨实体注意力网络、门控残差网络、全连接层的权重W和偏置b返回负载预测网络模型，以更新负载预测网络模型。
（5.5）重复步骤（5.3）-步骤（5.4），迭代足够多的次数，直到SMAPE不再降低，保存以上可学习的参数，得到学习完成的模型，即最终的负载预测网络模型。
（6）将新采集的输入特征变量输入到最终的负载预测网络模型中，即可输出对于未来时刻电力能量负载的预测值，即对应的能源负载预测值。
与前述基于跨实体注意力的能源系统多实体负载预测方法的实施例相对应，本发明还提供了基于跨实体注意力的能源系统多实体负载预测装置的实施例。
参见图5，本发明实施例提供的一种基于跨实体注意力的能源系统多实体负载预测装置，包括一个或多个处理器，用于实现上述实施例中的基于跨实体注意力的能源系统多实体负载预测方法。
本发明基于跨实体注意力的能源系统多实体负载预测装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明基于跨实体注意力的能源系统多实体负载预测装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于跨实体注意力的能源系统多实体负载预测方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于跨实体注意力的能源系统多实体负载预测方法，其特征在于，包括以下步骤：
（1）对输入数据进行预处理：根据输入数据的特征类别对各个实体的输入数据进行不同的处理，根据可用性将输入的特征变量分为已知特征和未知特征，所述特征类别包括连续特征和离散特征，将连续特征进行归一化处理，使用实体嵌入层将离散特征映射为连续向量；
（2）实体编码：将所述步骤（1）预处理后的输入数据依次通过特征变量选择网络和长短期记忆网络，以将每个实体生成一个表示其所有时刻状态的编码向量；
（3）跨实体注意力计算：根据键矩阵、查询矩阵和价值矩阵以及所述步骤（2）获取的每个实体的编码向量计算单个实体的自注意力值，并对其进行扩展，以获取不同实体间的跨实体注意力值；
（4）将跨实体注意力值通过门控残差网络提取特征，并通过全连接层输出预测周期内的各个实体的能源负载值；
（5）采集能源系统的输入特征变量和能源负载值对负载预测网络模型进行训练，以获取最终的负载预测网络模型；其中，所述负载预测网络模型包括所述步骤（2）中的实体编码网络、所述步骤（3）中的跨实体注意力网络、所述步骤（4）中的门控残差网络和全连接层；
（6）将新采集的输入特征变量输入到最终的负载预测网络模型中，以获取能源负载预测值。
2.根据权利要求1所述的基于跨实体注意力的能源系统多实体负载预测方法，其特征在于，所述已知特征为在预测时间之前能提前确定的特征，所述未知特征为在预测时间之前无法提前确定的特征。
3.根据权利要求1所述的基于跨实体注意力的能源系统多实体负载预测方法，其特征在于，所述步骤（2）具体为：采用特征变量选择网络预测各个实体对特征变量的依赖性并据此进行特征选择，以获取特征选择后的特征向量；将过去时刻的全部特征输入长短期记忆网络的编码器，将未来时刻的已知特征输入长短期记忆网络的解码器，为每个实体生成表示其所有时刻状态的编码向量。
4.根据权利要求3所述的基于跨实体注意力的能源系统多实体负载预测方法，其特征在于，所述步骤（2）包括以下子步骤：
（2.1）在经过对输入数据预处理的基础上，令E为综合能源系统中的实体数量，将第i个实体在t时刻的特征变量以向量形式表示，表示为
Figure QLYQS_3
或
Figure QLYQS_5
，其中，/>
Figure QLYQS_7
表示已知特征向量部分，/>
Figure QLYQS_2
表示未知特征向量部分，/>
Figure QLYQS_6
表示当前时间；并将第i个实体在t时刻的特征变量的集合表示为/>
Figure QLYQS_9
，且经过预处理后/>
Figure QLYQS_10
所含元素数量为/>
Figure QLYQS_1
，其中，/>
Figure QLYQS_4
和/>
Figure QLYQS_8
分别表示第i个实体未知特征变量的数量和已知特征变量的数量；/>
（2.2）利用特征变量的特征选择权重对向量形式表示的特征变量
Figure QLYQS_11
进行特征选择，以获取特征选择后的特征向量/>
Figure QLYQS_12
；
（2.3）将满足
Figure QLYQS_13
的特征向量/>
Figure QLYQS_14
输入长短期记忆网络的编码器，将满足
Figure QLYQS_15
的特征向量/>
Figure QLYQS_16
输入长短期记忆网络的解码器，将属于第i个实体的特征向量
Figure QLYQS_17
按照时间顺序串联连接为长向量，以获取实体对时间序列特征的编码向量/>
Figure QLYQS_18
。
5.根据权利要求1所述的基于跨实体注意力的能源系统多实体负载预测方法，其特征在于，所述步骤（3）包括以下子步骤：
（3.1）根据键矩阵K、查询矩阵Q和价值矩阵V以及所述步骤（2）获取的每个实体的编码向量
Figure QLYQS_19
计算单个实体的自注意力值；
（3.2）根据自注意力值将单个实体的自注意力模块扩展为跨实体注意力模块，计算不同实体间的跨实体注意力值。
6.根据权利要求1所述的基于跨实体注意力的能源系统多实体负载预测方法，其特征在于，所述步骤（4）包括以下子步骤：
（4.1）将跨实体注意力值输入到门控残差网络中，以提取特征，对特征向量进一步加工；
（4.2）将所述步骤（4.1）获取到的特征向量通过全连接层，以输出预测周期内的各个实体的能源负载值。
7.根据权利要求1所述的基于跨实体注意力的能源系统多实体负载预测方法，其特征在于，所述步骤（5）包括以下子步骤：
（5.1）采集综合能源系统一段时间内各个实体的输入特征变量和能源负载值；
（5.2）对负载预测网络模型的参数进行随机初始化，以获取负载预测网络模型；
（5.3）将所述步骤（5.1）采集到的输入特征变量输入到负载预测网络模型中，以获取第i个实体在时刻t的能源负载预测值；
（5.4）根据能源负载预测值和所述步骤（5.1）采集到的能源负载值计算对称平均绝对百分比误差；根据对称平均绝对百分比误差对负载预测网络模型的参数进行调整，以减小对称平均绝对百分比误差；将负载预测网络模型的参数返回负载预测网络模型，以更新负载预测网络模型；
（5.5）重复所述步骤（5.3）-所述步骤（5.4），直至对称平均绝对百分比误差不再降低，以获取最终的负载预测网络模型。
8.根据权利要求7所述的基于跨实体注意力的能源系统多实体负载预测方法，其特征在于，所述负载预测网络模型的参数包括实体编码网络、跨实体注意力网络、门控残差网络和全连接层的权重、偏置。
9.一种基于跨实体注意力的能源系统多实体负载预测装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-8中任一项所述的基于跨实体注意力的能源系统多实体负载预测方法。
10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，用于实现权利要求1-8中任一项所述的基于跨实体注意力的能源系统多实体负载预测方法。
CN202310170296.0A 2023-02-27 2023-02-27 基于跨实体注意力的能源系统多实体负载预测方法和装置 Active CN115860281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310170296.0A CN115860281B (zh) 2023-02-27 2023-02-27 基于跨实体注意力的能源系统多实体负载预测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310170296.0A CN115860281B (zh) 2023-02-27 2023-02-27 基于跨实体注意力的能源系统多实体负载预测方法和装置

Publications (2)

Publication Number Publication Date
CN115860281A true CN115860281A (zh) 2023-03-28
CN115860281B CN115860281B (zh) 2023-07-07

Family

ID=85659127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310170296.0A Active CN115860281B (zh) 2023-02-27 2023-02-27 基于跨实体注意力的能源系统多实体负载预测方法和装置

Country Status (1)

Country Link
CN (1) CN115860281B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015146065A (ja) * 2014-01-31 2015-08-13 中国電力株式会社 予測システム、予測方法
CN110263332A (zh) * 2019-05-28 2019-09-20 华东师范大学 一种基于神经网络的自然语言关系抽取方法
CN113468865A (zh) * 2021-06-28 2021-10-01 西安理工大学 基于深度学习的地铁设计领域规范的实体间关系抽取方法
US20220067278A1 (en) * 2020-08-25 2022-03-03 Beijing Wodong Tianjun Information Technology Co., Ltd. System for entity and evidence-guided relation prediction and method of using the same
CN114154700A (zh) * 2021-11-25 2022-03-08 浙江工业大学 一种基于transformer模型的用户用电量预测方法
CN114490065A (zh) * 2022-01-27 2022-05-13 中国科学院微电子研究所 一种负载预测方法、装置及设备
CN114819372A (zh) * 2022-05-09 2022-07-29 广东工业大学 一种基于神经网络的电力消费概率预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015146065A (ja) * 2014-01-31 2015-08-13 中国電力株式会社 予測システム、予測方法
CN110263332A (zh) * 2019-05-28 2019-09-20 华东师范大学 一种基于神经网络的自然语言关系抽取方法
US20220067278A1 (en) * 2020-08-25 2022-03-03 Beijing Wodong Tianjun Information Technology Co., Ltd. System for entity and evidence-guided relation prediction and method of using the same
CN113468865A (zh) * 2021-06-28 2021-10-01 西安理工大学 基于深度学习的地铁设计领域规范的实体间关系抽取方法
CN114154700A (zh) * 2021-11-25 2022-03-08 浙江工业大学 一种基于transformer模型的用户用电量预测方法
CN114490065A (zh) * 2022-01-27 2022-05-13 中国科学院微电子研究所 一种负载预测方法、装置及设备
CN114819372A (zh) * 2022-05-09 2022-07-29 广东工业大学 一种基于神经网络的电力消费概率预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李清;高春燕;胡长骁;蔡文姗;: "基于长短期记忆网络与注意力机制的短期光伏发电预测", 电气自动化, no. 05 *

Also Published As

Publication number Publication date
CN115860281B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN113128113B (zh) 一种基于深度学习和迁移学习的贫乏信息建筑负荷预测方法
CN114462718A (zh) 基于时间滑动窗口的cnn-gru风电功率预测方法
Li et al. Deep spatio-temporal wind power forecasting
CN111242351A (zh) 基于自编码器和gru神经网络的热带气旋轨迹预测方法
CN116451594B (zh) 覆冰预测模型的训练方法、预测方法、装置和电子设备
CN112925824A (zh) 针对极端天气类型的光伏功率预测方法及系统
CN114676923A (zh) 发电功率的预测方法、装置、计算机设备和存储介质
CN116014722A (zh) 基于季节分解和卷积网络的次日光伏发电预测方法及系统
CN113762591B (zh) 一种基于gru和多核svm对抗学习的短期电量预测方法及系统
CN117613883A (zh) 发电功率预测方法、装置、计算机设备及存储介质
CN117154680A (zh) 一种基于非平稳Transformer模型的风电功率预测方法
Obiora et al. Effective Implementation of Convolutional Long Short-Term Memory (ConvLSTM) Network in Forecasting Solar Irradiance
CN115952928A (zh) 一种短期电力负荷预测方法、装置、设备及存储介质
Tran et al. Short-term solar power generation forecasting using edge ai
CN116108960A (zh) 多类型能源需求预测模型训练方法及装置
Patil et al. Application of ARIMA and 2D-CNNs Using Recurrence Plots for Medium-Term Load Forecasting
Zhu et al. [Retracted] Photovoltaic Generation Prediction of CCIPCA Combined with LSTM
CN115860281A (zh) 基于跨实体注意力的能源系统多实体负载预测方法和装置
El Marghichi A Solar PV Model Parameter Estimation Based on the Enhanced Self-Organization Maps
Huang et al. Photovoltaic Power Prediction Model Based on Weather Forecast
CN113128762A (zh) 一种多源异构数据的短期光伏发电功率预测方法及系统
CN118069717B (zh) 基于循环神经网络的时序数据特征预测方法
CN111178630A (zh) 一种负荷预测方法及装置
Wu et al. Optimizing CNN-LSTM model for short-term PV power prediction using northern goshawk optimization
Peng et al. Medium and Long Term Scenario Generation Method Based on Autoencoder and Generation Adversarial Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant