CN115829135A - 基于注意力机制的燃气负荷预测方法、装置、设备及介质 - Google Patents

基于注意力机制的燃气负荷预测方法、装置、设备及介质 Download PDF

Info

Publication number
CN115829135A
CN115829135A CN202211593727.6A CN202211593727A CN115829135A CN 115829135 A CN115829135 A CN 115829135A CN 202211593727 A CN202211593727 A CN 202211593727A CN 115829135 A CN115829135 A CN 115829135A
Authority
CN
China
Prior art keywords
matrix
vector
gas load
inputting
embedded vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211593727.6A
Other languages
English (en)
Inventor
张昕
容荣
周震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC Potevio Science and Technology Co Ltd
Original Assignee
CETC Potevio Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC Potevio Science and Technology Co Ltd filed Critical CETC Potevio Science and Technology Co Ltd
Priority to CN202211593727.6A priority Critical patent/CN115829135A/zh
Publication of CN115829135A publication Critical patent/CN115829135A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于注意力机制的燃气负荷预测方法、装置、设备及介质，所述方法包括：采集与燃气负荷具有相关性的因素的历史数据；对历史数据进行预处理，得到训练数据集；对数据样本进行向量映射处理得到第一嵌入向量；将第一嵌入向量输入至编码器中计算注意力；将需要预测的序列和第一嵌入向量的部分进行拼接后进行向量映射处理得到第二嵌入向量；将第二嵌入向量输入至解码器中，生成第二查询矩阵，并再次计算注意力得到重构后的第二值矩阵；将第二值矩阵输入至全连接层，得到燃气负荷预测结果。本发明可以充分利用气温、天气情况等数据特征，提高燃气负荷预测的准确性。

Description

基于注意力机制的燃气负荷预测方法、装置、设备及介质
技术领域
本发明涉及燃气负荷预测技术领域，尤其涉及一种基于注意力机制的燃气负荷预测方法、装置、设备及介质。
背景技术
燃气负荷预测是供气系统运行调度的重要依据，需要在满足用户用气需求的条件下，尽量减少储气量，降低储气成本。
然而燃气负荷受到气温、天气情况、以及人类的工作与生活习惯等多种因素的影响，呈现明显的非线性特征，给燃气负荷预测工作带来了困难，如果仅凭经验对燃气负荷进行预测，会使得预测结果产生很大的偏差，无法满足系统运行调度的需求。
随着机器学习技术的发展，基于注意力机制的预测算法在时间序列的预测方面取得了良好的表现，但是该算法在进行译码器的掩码设计时，没有充分利用气温、天气情况等已知的预测信息。
发明内容
本发明实施例提供了一种基于注意力机制的燃气负荷预测方法、装置、设备及介质，所述方法通过对需要预测的负荷序列用“0”进行掩盖，保留了天气、气温等特征信息，充分利用天气的数据特征，提高预测的准确性。
为实现上述目的，本发明实施例提供了一种基于注意力机制的燃气负荷预测方法，包括：
采集与燃气负荷具有相关性的因素的历史数据；
对所述历史数据进行预处理，得到训练数据集；其中，所述训练数据集中t时刻的数据样本记为
Figure BDA0003996015400000021
其中X1为时间序列，X2～X5为特征序列；
对所述训练数据集中每一个数据样本进行向量映射处理得到第一嵌入向量；
将所述第一嵌入向量输入至编码器中生成第一查询矩阵、第一关键字矩阵、第一值矩阵并计算注意力；
将需要预测的序列和所述第一嵌入向量的部分进行拼接后进行向量映射处理得到第二嵌入向量；
将所述第二嵌入向量输入至解码器中，生成第二查询矩阵，根据所述第二查询矩阵、所述第一关键字矩阵和所述第一值矩阵进行注意力计算得到重构后的第二值矩阵；
将所述第二值矩阵输入至全连接层，得到燃气负荷预测结果。
其中，所述与燃气负荷具有相关性的因素包含当日的日期、气温、天气类型和节日类型。
其中，所述对所述历史数据进行预处理，具体包括：
将天气类型进行量化处理；其中，天气类型为大雨或暴雨，量化为1.0；天气类型为雷阵雨或中雨，量化为0.9；天气类型为小雨，量化为0.8；其他天气类型量化为0.7。
进一步的，所述对所述训练数据集中每一个数据样本进行向量映射处理得到第一嵌入向量，具体包括：
将数据样本中的时间序列X1进行时间编码，具体为：
以日期中的日、月、年为粒度提取时间戳，分别记为T1，T2，T3；其中，T1＝(a1-1)/(b1-1)-0.5，a1表示当日对应的周索引，b1表示一周的天数；T2＝(a2-1)/(b2-1)-0.5，a2表示当日对应的月索引，b2表示一月的天数；T3＝(a3-1)/(b3-1)-0.5，a3表示当日对应的年索引，b3表示一年的天数；将所述T1、T2、T3输入至一维卷积层中得到全局时间戳S；
将数据样本中的特征序列X2～X5进行位置编码，具体为：
Figure BDA0003996015400000031
Figure BDA0003996015400000032
其中，pos为所述特征序列的绝对位置索引，dmodel为输入的特征向量的维度，j为特征向量的位置索引，2j表示偶数位置，2j+1表示奇数位置；
将所述特征序列X2～X5输入至一维卷积层中得到高维特征向量u；
将所述高维特征向量u、所述位置编码P和所述全局时间戳S进行叠加得到第一嵌入向量。
进一步的，所述将所述第一嵌入向量输入至编码器中生成第一查询矩阵、第一关键字矩阵、第一值矩阵并计算注意力，具体包括：
将所述第一嵌入向量分别与权重矩阵WQ、WK、WV相乘，得到第一查询矩阵Qen、第一关键字矩阵Ken、第一值矩阵Ven矩阵；
选取第一查询矩阵Qen中
Figure BDA0003996015400000033
值最大的前
Figure BDA0003996015400000034
个Qen矩阵，记为
Figure BDA0003996015400000035
Figure BDA0003996015400000036
其中，qi、ki为Qen、Ken的第i行，
Figure BDA0003996015400000037
LK为Ken的行数，d为输入特征向量的维度；
根据所述第一查询矩阵Qen、第一关键字矩阵Ken、第一值矩阵Ven矩阵计算注意力，并对Ven进行更新；
Figure BDA0003996015400000038
其中，
Figure BDA0003996015400000039
d为输入特征向量的维度；
对于未被选中的Qen，对应的Ven值用Ven的均值进行更新；将更新后的Ven输入至一维卷积层，并使用ELU作为激活函数后，再输入至池化层中进行下采样计算得到层编码器的隐藏表示：
Figure BDA0003996015400000041
其中，l表示当前编码器的层数；将
Figure BDA0003996015400000042
输入到下一层编码器进行迭代，可以得到最终的编码器输出
Figure BDA0003996015400000043
进一步的，所述将需要预测的序列和所述第一嵌入向量的部分进行拼接后进行向量映射处理得到第二嵌入向量，具体包括：
将需要预测的序列和所述第一嵌入向量的部分进行拼接得到
Figure BDA0003996015400000044
Figure BDA0003996015400000045
其中，需要预测的序列记为
Figure BDA0003996015400000046
其中的
Figure BDA0003996015400000047
用天气预报的数据代入，
Figure BDA0003996015400000048
则用掩码“0”进行掩盖；
Figure BDA0003996015400000049
为所述第一嵌入向量的部分；
将
Figure BDA00039960154000000410
进行向量映射处理得到第二嵌入向量。
进一步的，所述将所述第二嵌入向量输入至解码器中，生成第二查询矩阵，根据所述第二查询矩阵、所述第一关键字矩阵和所述第一值矩阵进行注意力计算得到重构后的第二值矩阵，具体包括：
解码器根据第二嵌入向量生成第二查询矩阵Qde，并根据所述第二查询矩阵Qde与编码器生成的Ken、Ven计算注意力并生成第二值矩阵Vde：
Figure BDA00039960154000000411
相应地，本发明实施例还提供了一种基于注意力机制的燃气负荷预测装置，包括：
数据采集模块，用于采集与燃气负荷具有相关性的因素的历史数据；
数据预处理模块，用于对所述历史数据进行预处理，得到训练数据集；其中，所述训练数据集中t时刻的数据样本记为
Figure BDA00039960154000000412
其中X1为时间序列，X2～X5为特征序列；
第一向量映射模块，用于对所述训练数据集中每一个数据样本进行向量映射处理得到第一嵌入向量；
编码模块，用于将所述第一嵌入向量输入至编码器中生成第一查询矩阵、第一关键字矩阵、第一值矩阵并计算注意力；
第二向量映射模块，用于将需要预测的序列和所述第一嵌入向量的部分进行拼接后进行向量映射处理得到第二嵌入向量；
解码模块，用于将所述第二嵌入向量输入至解码器中，生成第二查询矩阵，根据所述第二查询矩阵、所述第一关键字矩阵和所述第一值矩阵进行注意力计算得到重构后的第二值矩阵；
预测模块，用于将所述第二值矩阵输入至全连接层，得到燃气负荷预测结果。
相应地，本发明实施例还提供一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一种基于注意力机制的燃气负荷预测方法。
相应地，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一种基于注意力机制的燃气负荷预测方法。
相比于现有技术，本发明具有如下有益效果：
本发明通过基于注意力机制的燃气负荷预测算法，使用基于注意力机制处理长序列并进行预测，并且对解码器的掩码设计进行了改进，保留了天气、气温等特征信息，从而充分利用预测信息的特征，提高了燃气负荷预测的准确性。
附图说明
图1是本发明实施例提供的一种基于注意力机制的燃气负荷预测方法的流程示意图；
图2是本发明实施例提供的一种基于注意力机制的燃气负荷预测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明实施例提供的一种基于注意力机制的燃气负荷预测方法的流程示意图。
本发明实施例提供了一种基于注意力机制的燃气负荷预测方法包括步骤S1至S7：
S1，采集与燃气负荷具有相关性的因素的历史数据；
S2，对所述历史数据进行预处理，得到训练数据集；其中，所述训练数据集中t时刻的数据样本记为
Figure BDA0003996015400000061
其中X1为时间序列，X2～X5为特征序列；
S3，对所述训练数据集中每一个数据样本进行向量映射处理得到第一嵌入向量；
S4，将所述第一嵌入向量输入至编码器中生成第一查询矩阵、第一关键字矩阵、第一值矩阵并计算注意力；
S5，将需要预测的序列和所述第一嵌入向量的部分进行拼接后进行向量映射处理得到第二嵌入向量；
S6，将所述第二嵌入向量输入至解码器中，生成第二查询矩阵，根据所述第二查询矩阵、所述第一关键字矩阵和所述第一值矩阵进行注意力计算得到重构后的第二值矩阵；
S7，将所述第二值矩阵输入至全连接层，得到燃气负荷预测结果。
具体的，根据相关性分析，每日的燃气负荷与当日的气温、天气类型和节日类型等因素相关，对上述的历史数据进行采集作为训练数据集。
为便于分析，对所述历史数据进行预处理，将天气类型进行量化处理；其中，天气类型为大雨或暴雨，量化为1.0；天气类型为雷阵雨或中雨，量化为0.9；天气类型为小雨，量化为0.8；其他天气类型量化为0.7。
在具体实施例中，经过量化处理后，可以建立训练样本如下表所示：
日期 最高气温(℃) 最低气温(℃) 天气类型 负荷(m<sup>3</sup>)
2018年1月1日 17 10 0.7 1291214
2018年1月2日 20 12 0.7 1366900
2018年1月3日 22 13 0.7 1406688
2018年1月4日 22 15 0.7 1383200
2018年1月5日 18 18 0.7 1368399
… … … … …
则训练数据集中t时刻的数据样本可以表示为：
Figure BDA0003996015400000071
其中的X1称为时间序列，对应表中的日期，X2～X5称为特征序列，分别对应表中的最高气温、最低气温、天气类型和负荷。
进一步的，对所述训练数据集中每一个数据样本进行向量映射处理得到第一嵌入向量，具体包括：
将数据样本中的时间序列X1进行时间编码，具体为：
以日期中的日、月、年为粒度提取时间戳，分别记为T1，T2，T3；其中，T1＝(a1-1)/(b1-1)-0.5，a1表示当日对应的周索引，b1表示一周的天数；T2＝(a2-1)/(b2-1)-0.5，a2表示当日对应的月索引，b2表示一月的天数；T3＝(a3-1)/(b3-1)-0.5，a3表示当日对应的年索引，b3表示一年的天数；具体的，T1＝(a1-1)/(b1-1)-0.5，a1表示当日对应的周索引，其中周索引表示当日是本周的第几天，b1一般为7；T2＝(a2-1)/(b2-1)-0.5，a2表示当日对应的月索引，其中月索引表示当日是本月的第几天，b2可以是28、29、30或31，具体根据当月的具体天数；T3＝(a3-1)/(b3-1)-0.5，a3表示当日对应的年索引，其中年索引表示当日是本年的第几天，b3可以是365或者366。
将所述T1、T2、T3输入至一维卷积层中得到全局时间戳S；
将数据样本中的特征序列X2～X5进行位置编码，具体为：
Figure BDA0003996015400000081
Figure BDA0003996015400000082
其中，pos为所述特征序列的绝对位置索引，dmodel为输入的特征向量的维度，j为特征向量的位置索引，2j表示偶数位置，2j+1表示奇数位置；
将所述特征序列X2～X5输入至一维卷积层中得到高维特征向量u；
将所述高维特征向量u、所述位置编码P和所述全局时间戳S进行叠加得到第一嵌入向量。
具体的，可以得到编码器的输入为：
Figure BDA0003996015400000083
进一步的，将所述第一嵌入向量输入至编码器中生成第一查询矩阵、第一关键字矩阵、第一值矩阵并计算注意力，具体包括：
将所述第一嵌入向量分别与权重矩阵WQ、WK、WV相乘，得到第一查询矩阵Qen、第一关键字矩阵Ken、第一值矩阵Ven矩阵；
具体的，WQ、WK、WV是需要学习的参数。
选取第一查询矩阵Qen中
Figure BDA0003996015400000084
值最大的前
Figure BDA0003996015400000085
个Qen矩阵，记为
Figure BDA0003996015400000086
Figure BDA0003996015400000087
其中，qi、ki为Qen、Ken的第i行，
Figure BDA0003996015400000088
LK为Ken的行数，d为输入特征向量的维度；
需要说明的是，通过上述公式得到
Figure BDA0003996015400000089
只需要对选出来的Q计算注意力，从而降低计算的复杂度：
根据所述第一查询矩阵Qen、第一关键字矩阵Ken、第一值矩阵Ven矩阵计算注意力，并对Ven进行更新；
Figure BDA0003996015400000091
其中，
Figure BDA0003996015400000092
d为输入特征向量的维度；
对于未被选中的Qen，对应的Ven值用Ven的均值进行更新；将更新后的Ven输入至一维卷积层，并使用ELU作为激活函数后，再输入至池化层中进行下采样计算得到层编码器的隐藏表示：
Figure BDA0003996015400000093
其中，l表示当前编码器的层数；将
Figure BDA0003996015400000094
输入到下一层编码器进行迭代，可以得到最终的编码器输出
Figure BDA0003996015400000095
进一步的，将需要预测的序列和所述第一嵌入向量的部分进行拼接后进行向量映射处理得到第二嵌入向量，具体包括：
将需要预测的序列和所述第一嵌入向量的部分进行拼接得到
Figure BDA0003996015400000096
Figure BDA0003996015400000097
其中，需要预测的序列记为
Figure BDA0003996015400000098
其中的
Figure BDA0003996015400000099
用天气预报的数据代入，
Figure BDA00039960154000000910
则用掩码“0”进行掩盖；
Figure BDA00039960154000000911
为所述第一嵌入向量的部分；
将
Figure BDA00039960154000000912
进行向量映射处理得到第二嵌入向量。
需要说明的是，此处所述向量映射处理与步骤S3中的时间编码、位置编码以及卷积处理后进行叠加得到嵌入向量的操作相同，此处不再赘述。
在具体实施例中，假设编码器的输入是1个长度为96位的序列，解码器的输入是1个长度为72位的序列。则解码器的输入的构成是：前48位为编码器输入序列的后48位，后面接着的24位为需要预测的序列。
进一步的，将所述第二嵌入向量输入至解码器中，生成第二查询矩阵，根据所述第二查询矩阵、所述第一关键字矩阵和所述第一值矩阵进行注意力计算得到重构后的第二值矩阵，具体包括：
解码器根据第二嵌入向量生成第二查询矩阵Qde，并根据所述第二查询矩阵Qde与编码器生成的Ken、Ven计算注意力并生成第二值矩阵Vde：
Figure BDA0003996015400000101
将所述第二值矩阵Vde输入至全连接层，得到燃气负荷预测结果。
需要说明的是，在训练阶段时，将Vde通过全连接层得到预测结果后，通过预测值与真实值计算损失函数，通过反向传播对权重矩阵进行迭代，使损失函数收敛到最小值。
本发明实施例通过基于注意力机制的燃气负荷预测算法，使用基于注意力机制处理长序列并进行预测，并且对解码器的掩码设计进行了改进，保留了天气、气温等特征信息，从而充分利用预测信息的特征，提高了燃气负荷预测的准确性。
相应的，本发明实施例提供了一种基于注意力机制的燃气负荷预测装置，能够实现上述任一实施例所提供的基于注意力机制的燃气负荷预测方法的所有流程，装置中的各个模块、单元的作用以及实现的技术效果分别与上述实施例所提供的基于注意力机制的燃气负荷预测方法的作用以及实现的技术效果对应相同，这里不再赘述。
参见图2，是本发明提供的基于注意力机制的燃气负荷预测装置的一个实施例的结构示意图。
本发明实施例提供的一种基于注意力机制的燃气负荷预测装置，包括：
数据采集模块1，用于采集与燃气负荷具有相关性的因素的历史数据；
数据预处理模块2，用于对所述历史数据进行预处理，得到训练数据集；其中，所述训练数据集中t时刻的数据样本记为
Figure BDA0003996015400000102
其中X1为时间序列，X2～X5为特征序列；
第一向量映射模块3，用于对所述训练数据集中每一个数据样本进行向量映射处理得到第一嵌入向量；
编码模块4，用于将所述第一嵌入向量输入至编码器中生成第一查询矩阵、第一关键字矩阵、第一值矩阵并计算注意力；
第二向量映射模块5，用于将需要预测的序列和所述第一嵌入向量的部分进行拼接后进行向量映射处理得到第二嵌入向量；
解码模块6，用于将所述第二嵌入向量输入至解码器中，生成第二查询矩阵，根据所述第二查询矩阵、所述第一关键字矩阵和所述第一值矩阵进行注意力计算得到重构后的第二值矩阵；
预测模块7，用于将所述第二值矩阵输入至全连接层，得到燃气负荷预测结果。
相应地，本发明实施例还提供一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一种基于注意力机制的燃气负荷预测方法。
此外，本发明实施例的还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一种基于注意力机制的燃气负荷预测方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于注意力机制的燃气负荷预测方法，其特征在于，包括：
采集与燃气负荷具有相关性的因素的历史数据；
对所述历史数据进行预处理，得到训练数据集；其中，所述训练数据集中t时刻的数据样本记为
Figure FDA0003996015390000011
其中X1为时间序列，X2～X5为特征序列；
对所述训练数据集中每一个数据样本进行向量映射处理得到第一嵌入向量；
将所述第一嵌入向量输入至编码器中生成第一查询矩阵、第一关键字矩阵、第一值矩阵并计算注意力；
将需要预测的序列和所述第一嵌入向量的部分进行拼接后进行向量映射处理得到第二嵌入向量；
将所述第二嵌入向量输入至解码器中，生成第二查询矩阵，根据所述第二查询矩阵、所述第一关键字矩阵和所述第一值矩阵进行注意力计算得到重构后的第二值矩阵；
将所述第二值矩阵输入至全连接层，得到燃气负荷预测结果。
2.如权利要求1所述的一种基于注意力机制的燃气负荷预测方法，其特征在于，所述与燃气负荷具有相关性的因素包含当日的日期、气温、天气类型和节日类型。
3.如权利要求2所述的一种基于注意力机制的燃气负荷预测方法，其特征在于，所述对所述历史数据进行预处理，具体包括：
将天气类型进行量化处理；其中，天气类型为大雨或暴雨，量化为1.0；天气类型为雷阵雨或中雨，量化为0.9；天气类型为小雨，量化为0.8；其他天气类型量化为0.7。
4.如权利要求3所述的一种基于注意力机制的燃气负荷预测方法，其特征在于，所述对所述训练数据集中每一个数据样本进行向量映射处理得到第一嵌入向量，具体包括：
将数据样本中的时间序列X1进行时间编码，具体为：
以日期中的日、月、年为粒度提取时间戳，分别记为T1，T2，T3；其中，T1＝(a1-1)/(1-1)-0.5，a1表示当日对应的周索引，b1表示一周的天数；T2＝(a2-1)/(2-1)-0.5，a2表示当日对应的月索引，b2表示一月的天数；T3＝(a3-1)/(3-1)-0.5，a3表示当日对应的年索引，b3表示一年的天数；
将所述T1、T2、T3输入至一维卷积层中得到全局时间戳S；
将数据样本中的特征序列X2～X5进行位置编码，具体为：
Figure FDA0003996015390000021
Figure FDA0003996015390000022
其中，pos为所述特征序列的绝对位置索引，dmodel为输入的特征向量的维度，j为特征向量的位置索引，2j表示偶数位置，2j+1表示奇数位置；
将所述特征序列X2～X5输入至一维卷积层中得到高维特征向量u；
将所述高维特征向量u、所述位置编码P和所述全局时间戳S进行叠加得到第一嵌入向量。
5.如权利要求1所述的一种基于注意力机制的燃气负荷预测方法，其特征在于，所述将所述第一嵌入向量输入至编码器中生成第一查询矩阵、第一关键字矩阵、第一值矩阵并计算注意力，具体包括：
将所述第一嵌入向量分别与权重矩阵WQ、WK、WV相乘，得到第一查询矩
阵Qen、第一关键字矩阵Ken、第一值矩阵Ven矩阵；
选取第一查询矩阵Qen中
Figure FDA0003996015390000031
值最大的前
Figure FDA0003996015390000032
个Qen矩阵，记为
Figure FDA0003996015390000033
Figure FDA0003996015390000034
其中，qi、ki为Qen、Ken的第i行，
Figure FDA0003996015390000035
LK为Ken的行数，d为输入特征向量的维度；
根据所述第一查询矩阵Qen、第一关键字矩阵Ken、第一值矩阵Ven矩阵计算注意力，并对Ven进行更新；
Figure FDA0003996015390000036
其中，
Figure FDA0003996015390000037
d为输入特征向量的维度；
对于未被选中的Qen，对应的Ven值用Ven的均值进行更新；将更新后的Ven输入至一维卷积层，并使用ELU作为激活函数后，再输入至池化层中进行下采样计算得到当前层编码器的隐藏表示：
Figure FDA0003996015390000038
其中，l表示当前编码器的层数；将
Figure FDA0003996015390000039
输入到下一层编码器进行迭代，可以得到最终的编码器输出
Figure FDA00039960153900000310
6.如权利要求1所述的一种基于注意力机制的燃气负荷预测方法，其特征在于，所述将需要预测的序列和所述第一嵌入向量的部分进行拼接后进行向量映射处理得到第二嵌入向量，具体包括：
将需要预测的序列和所述第一嵌入向量的部分进行拼接得到
Figure FDA00039960153900000311
Figure FDA00039960153900000312
其中，需要预测的序列记为
Figure FDA00039960153900000313
其中的
Figure FDA00039960153900000314
用天气预报的数据代入，
Figure FDA00039960153900000315
则用掩码“0”进行掩盖；
Figure FDA00039960153900000316
为所述第一嵌入向量的部分；
将
Figure FDA00039960153900000317
进行向量映射处理得到第二嵌入向量。
7.如权利要求1所述的一种基于注意力机制的燃气负荷预测方法，其特征在于，所述将所述第二嵌入向量输入至解码器中，生成第二查询矩阵，根据所述第二查询矩阵、所述第一关键字矩阵和所述第一值矩阵进行注意力计算得到重构后的第二值矩阵，具体包括：
解码器根据第二嵌入向量生成第二查询矩阵Qde，并根据所述第二查询矩阵Qde与编码器生成的Ken、Ven计算注意力并生成第二值矩阵Vde：
Figure FDA0003996015390000041
8.一种基于注意力机制的燃气负荷预测装置，其特征在于，包括：
数据采集模块，用于采集与燃气负荷具有相关性的因素的历史数据；
数据预处理模块，用于对所述历史数据进行预处理，得到训练数据集；其中，所述训练数据集中t时刻的数据样本记为
Figure FDA0003996015390000042
其中X1为时间序列，X2～X5为特征序列；
第一向量映射模块，用于对所述训练数据集中每一个数据样本进行向量映射处理得到第一嵌入向量；
编码模块，用于将所述第一嵌入向量输入至编码器中生成第一查询矩阵、第一关键字矩阵、第一值矩阵并计算注意力；
第二向量映射模块，用于将需要预测的序列和所述第一嵌入向量的部分进行拼接后进行向量映射处理得到第二嵌入向量；
解码模块，用于将所述第二嵌入向量输入至解码器中，生成第二查询矩阵，根据所述第二查询矩阵、所述第一关键字矩阵和所述第一值矩阵进行注意力计算得到重构后的第二值矩阵；
预测模块，用于将所述第二值矩阵输入至全连接层，得到燃气负荷预测结果。
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的一种基于注意力机制的燃气负荷预测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的一种基于注意力机制的燃气负荷预测方法。
CN202211593727.6A 2022-12-13 2022-12-13 基于注意力机制的燃气负荷预测方法、装置、设备及介质 Pending CN115829135A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211593727.6A CN115829135A (zh) 2022-12-13 2022-12-13 基于注意力机制的燃气负荷预测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211593727.6A CN115829135A (zh) 2022-12-13 2022-12-13 基于注意力机制的燃气负荷预测方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115829135A true CN115829135A (zh) 2023-03-21

Family

ID=85546651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211593727.6A Pending CN115829135A (zh) 2022-12-13 2022-12-13 基于注意力机制的燃气负荷预测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115829135A (zh)

Similar Documents

Publication Publication Date Title
CN111191841B (zh) 一种电力负荷预测方法、装置、计算机设备及存储介质
Ma et al. A hybrid attention-based deep learning approach for wind power prediction
CN111027772B (zh) 基于pca-dbilstm的多因素短期负荷预测方法
CN112418482B (zh) 一种基于时间序列聚类的云计算能耗预测方法
CN111860982A (zh) 一种基于vmd-fcm-gru的风电场短期风电功率预测方法
CN113284001B (zh) 用电量预测方法、装置、计算机设备和存储介质
CN116702831A (zh) 一种考虑数据大量丢失的混合短期风电功率预测方法
CN115169746A (zh) 基于融合模型的电力负荷短期预测方法、装置及相关介质
CN115840893A (zh) 一种多变量时间序列预测方法及装置
CN115034430A (zh) 碳排放量预测方法、装置、终端及存储介质
CN109190800A (zh) 一种基于spark框架的海面温度预测方法
CN117076931A (zh) 一种基于条件扩散模型的时间序列数据预测方法和系统
CN112232570A (zh) 一种正向有功总电量预测方法、装置及可读存储介质
CN117081941A (zh) 基于注意力机制的流量预测方法及其装置、电子设备
CN116632820A (zh) 基于序列延拓vmd与风速波动特性的风电功率预测方法
CN115829135A (zh) 基于注意力机制的燃气负荷预测方法、装置、设备及介质
CN113158134A (zh) 非侵入式负荷辨识模型的构建方法、装置和存储介质
CN112529268A (zh) 一种基于流形学习的中短期负荷预测方法及装置
CN117856211A (zh) 基于MT-IEM-Dscformer的代理购电负荷预测方法、系统、设备及存储介质
Zhan et al. GMINN: A Generative Moving Interactive Neural Network for Enhanced Short-Term Load Forecasting in Modern Electricity Markets
CN115796365A (zh) 一种基于可预测因子分解的金融时序预测方法及装置
CN114037143A (zh) 一种短期风电功率组合预测方法
Yencak et al. SGD with Partial Hessian for Deep Recommendation System Optimization
CN117996734A (zh) 一种电网负荷预测方法及系统
Fang A Survey of Data-Driven 2D Diffusion Models for Generating Images from Text

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination