CN110633867A - 一种基于gru和注意力机制的超短期负荷预测模型 - Google Patents

一种基于gru和注意力机制的超短期负荷预测模型 Download PDF

Info

Publication number
CN110633867A
CN110633867A CN201910899925.7A CN201910899925A CN110633867A CN 110633867 A CN110633867 A CN 110633867A CN 201910899925 A CN201910899925 A CN 201910899925A CN 110633867 A CN110633867 A CN 110633867A
Authority
CN
China
Prior art keywords
gru
attention mechanism
ultra
load prediction
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910899925.7A
Other languages
English (en)
Inventor
王占魁
吴军英
辛锐
白涛
赵建斌
魏明磊
李井泉
庄磊
常永娟
杨力平
贺月
姚陶
王梦迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201910899925.7A priority Critical patent/CN110633867A/zh
Publication of CN110633867A publication Critical patent/CN110633867A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于GRU和注意力机制的超短期负荷预测模型，包括以下步骤：S1：确定网络的输入输出变量；S2：设计基于attention机制的GRU网络结构；解决了以往方法预测精度低以及不适用于超短期负荷预测的问题。

Description

一种基于GRU和注意力机制的超短期负荷预测模型
技术领域
本发明涉及超短期负荷预测模型领域，特别是一种基于GRU和注意力机制的超短期负荷预测模型。
背景技术
近年来随着电力供需矛盾的缓解以及用电结构的变化，各大电网负荷特性发生了很大的变化，负荷特性受发电出力制约的因素已经基本消除，基本趋向正常的用电负荷特性。电网供需矛盾相对缓和，电网最大负荷持续快速增长，峰谷差增大，负荷率逐年下降，电网备用容增大，高峰时段和枯水期电力供应紧张，电网调峰困难。电力供需瞬时平衡的特点使得电力负荷预测在电力系统中的地位和作用扮演着十分重要的角色。在电力市场逐步放开的背景和节能减排的压力推动下，各发电和用电企业对于负荷预测精度的要求越来越高，准确的负荷预测，可以经济合理地安排电网内部发电机组的启停，保持电网运行的安全稳定性，减少不必要的旋转储备容量，合理安排机组检修计划，保证社会的正常生产和生活，有效地降低发电成本，提高经济效益和社会效益。
超短期负荷由于受天气变化、社会活动和节日类型等各种因素的影响，在时间序列上表现为非平稳的随机过程，但是影响系统负荷的各因素中大部分具有规律性，从而为实现有效的预测奠定了基础。电力负荷预测研究的核心问题是如何利用现有的历史数据，建立预测模型，对未来时刻或时间段内的负荷值进行预测，因此，历史数据信息的可靠性和预测模型是影响短期负荷预测精度的主要因素。随着现在电力系统管理信息系统的逐步建立，以及天气预测水平的提高，准确获取各种历史数据已不再困难，因此，短期负荷预测的效果影响核心是预测模型。传统的电力负荷预测方法包括时间序列法、趋势外推法、回归分析法等，近年来，大规模间歇性新能源发电系统以及电动汽车需求侧响应等新型负荷类型的广泛接入所带来的高度随机性和动态变化特性，对传统的负荷预测方法提出了极大挑战。
目前负荷预测的方法主要分为统计方法和人工智能方法两类，其中统计方法包括时间序列和线性回归,近年来，随着我国在人工智能技术领域的快速发展，人工神经网络在负荷预测中得到广泛应用，有方法基于径向基函数(RBF)神经网络模型、BP神经网络模型和广义回归神经网络(GRNN)等等。2002年，由于RNN可以较好捕获输入数据特性的特点，Vermaask和Botha开始将RNN引入电力负荷预测，随着RNN的发展，对影响因素考虑愈发细致，企业和客户对准确性要求愈发高，使学者们加快了对RNN预测模型的改进，由于RNN只能对较短的时间序列进行记忆，随着数据量增大，时间间隔增长RNN会丢失之前输入的重要信息，引起梯度消失而导致预测模型失效。针对这一问题，Hochreiter和Schmidhuber提出的长短时记忆网络(long-short term memory,LSTM)可供一种有效的解决方案。而Cho等人提出的门控循环单元(gated recurrent unit)是LSTM网络的一种变体,它将LSTM的输入门和遗忘门结合，在结构上只包括更新门和重置门,使结构更简单。由于GRU相对于LSTM来说，通常收敛较快，计算量也就会相对减少。
将各种算法与网络模型结合的方式一直是负荷预测领域的热点研究方向，本发明针对LSTM算法存在的不足，提出一种基于Attention机制的GRU神经网络。利用预测点前48h的历史数据作为输入，实现未来1h的超短期负荷预测。通过计算不同输入量特征的注意力权重，对重要数据分配更多的注意力，从而提高负荷预测精度。通过与LSTM神经网络和GRU神经网络进行对比，表明所提方法有更高的预测精度，更适用于超短期负荷预测。
发明内容
为解决现有技术中存在的问题，本发明提供了一种基于GRU和注意力机制的超短期负荷预测模型，解决了以往方法预测精度低以及不适用于超短期负荷预测的问题。
本发明采用的技术方案是，一种基于GRU和注意力机制的超短期负荷预测模型，包括以下步骤：
S1：确定网络的输入输出变量；
S2：设计基于Attention机制的GRU网络结构。
优选地，S1包括以下步骤：
S11：选取负荷采样频率为每小时1次，获得的训练数据集为每天24h的历史负荷数据，选取的负荷值为第n小时的最大负荷值；
S12：采用计算样本自相关系数的方法来确定输入变量时间序列的阶数；
S13：通过找到自相关系数衰减为0的阶数，确定采用特定时段的历史负荷数据，进行超短期负荷预测，实现负荷历史数据的充分利用；
S14：绘制得到负荷历史数据集的自相关系数；
S15：当阶数取108时，自相关系数衰减为0。
优选地，S12的样本自相关系数的方法的计算公式为
式中：x为输入序列h阶自相关系数值
Figure BDA0002211507400000032
为时间序列xi的均值，n为时间序列的长度。
优选地，S2包括以下步骤：
S21：建立基于Attention机制的GRU网络；
S22：加入天气因素w,通过合理分配注意力权重，实现记忆单元求解,实现超短期负荷预测即加入天气因素W，计算各个输入的注意力概率分布值，进一步提取文本特征，突出关键因素的影响；
S23：利用softmax函数对输出层的输入进行相应计算，从而进行文本分类。
优选地，softmax函数的计算公式为：
y＝softmax(wiv+bi)
其中，wi表示Attention机制层到输出层待训练的权重系数矩阵，bi表示待训练相对应的偏置量，y为输出的预测标签。
优选地，通过Attention机制的计算公式计算出最后包含文本信息的特征向量v，输出层的输入为上一层Attention层的输出。
优选地，S21包括以下步骤：
S211：输入时间序列的向量；
S212：让时间序列的向量进入GRU模型中；
S213：经过GRU模型计算之后得到对应输出；同时在隐藏层引入Attention机制。
优选地，时间序列的向量为x1，x2，x3，…，xi。
优选地，经过GRU模型计算之后得到对应输出为h1，h2，h3，…，hi。
优选地，Attention机制的计算公式为：
v＝Σahii∑ei＝witanh(Wihi+bi)
其中，ei表示第i时刻隐层状态向量，hi为所决定的注意力概率分布值，wi和Wi表示第i时刻的权重系数矩阵，bi表示第i时刻相应的偏移量。
本发明基于GRU和注意力机制的超短期负荷预测模型的有益效果如下：
1.采用GRU神经网络有利于更好地捕捉时间序列中时间间隔较长数据对当前时刻的影响程度。
2.采用注意力机制(Attention)，能够使深度学习模型在处理视觉图像领域问题时更好地提取重要特征，从而提升模型效果。
附图说明
图1为本发明基于GRU和注意力机制的超短期负荷预测模型的
图2为本发明基于GRU和注意力机制的超短期负荷预测模型的GRU神经网络图
图3为本发明基于GRU和注意力机制的超短期负荷预测模型的zt图
图4为本发明基于GRU和注意力机制的超短期负荷预测模型的rt图
图5为本发明基于GRU和注意力机制的超短期负荷预测模型的h～t图
图6为本发明基于GRU和注意力机制的超短期负荷预测模型的ht图
图7为本发明基于GRU和注意力机制的超短期负荷预测模型的Attention的本质思想图
图8为本发明基于GRU和注意力机制的超短期负荷预测模型的softmax图
图9为本发明基于GRU和注意力机制的超短期负荷预测模型的负荷历史数据集的自相关系数图
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
GRU(Gate Recurrent Unit)是循环神经网络(Recurrent Neural Network，RNN)的一种。与LSTM(Long-Short Term Memory)一样，也是为了解决长期记忆依赖和反向传播中的梯度消失等问题而提出来的。相比LSTM，使用GRU能够达到相当的效果，并且更容易进行训练，能够很大程度上提高训练效率，因此，很多时候研究人员会更倾向于使用GRU。
GRU神经网络包含两个门单元(更新门z和重置门r),结构如图2所示，更新门控制上一时刻的信息用到当前时刻中的程度，更新门的值越大表示上一时刻对当前时刻的影响越高。重置门控制忘记上一时刻信息的程度,重置门的值越小表示上一时刻对当前时刻的影响越少。
隐藏状态h利用更新门控制之前时刻隐藏状态与当前时刻的候选隐藏状态结合更新的程度。如果,在时间t1到t2之间的状态一直近似1。那么,t1到t2之间的信息几乎没有输入到当前时刻的隐藏状态。这个设计有利于更好地捕捉时间序列中时间间隔较长数据对当前时刻的影响程度。候选隐藏状态h～利用重置门控制包含时间序列历史信息的上一个时刻的隐藏状态对于当前时间步的候选隐藏状态是否需要。如果重置门近似0，上一时刻隐藏状态将被丢弃。这样可以很好捕捉时间序列中时间间隔较短数据对当前时刻的影响程度。
上图中状态与输出的计算如下:
zt＝σ(Wz·[ht-1；xt])如图3所示
rt＝σ(Wr·[ht-1；xt])如图4所示
h～t＝tanh(W·[rt·ht-1；xt])如图5所示
ht＝(1-zt)*ht-1+zt*h～t如图6所示
近些年来，注意力机制逐渐被应用到各个领域，并且能够有效提高任务处理的效果，比如机器翻译、情感分析等任务。注意力机制是一种类似人脑的注意力分配机制，通过计算不同时刻词向量的概率权重，能够使一些词得到更多的关注，从而提高隐藏层特征提取的质量。在GRU模型中，由于输入的数据属性之间会有一些重要性的偏差，基于注意力机制的深度学习模型能够通过训练识别不同属性值的重要程度来提取数据中的重要特征。
Attention机制
Attention是一种用于提升基于RNN(LSTM或GRU)的Encoder+Decoder模型的效果的的机制(Mechanism)，一般称为Attention Mechanism。Attention Mechanism目前广泛应用于机器翻译、语音识别、图像标注(Image Caption)等很多领域，Attention给模型赋予了区分辨别的能力，例如，在机器翻译、语音识别应用中，为句子中的每个词赋予不同的权重，使神经网络模型的学习变得更加灵活(soft)，同时Attention本身可以做为一种对齐关系，解释翻译输入/输出句子之间的对齐关系，解释模型学到了什么知识；在图像标注应用中，可以解释图片不同的区域对于输出Text序列的影响程度。
Attention的本质思想如图7所示，将Source中的构成元素想象成是由一系列的<Key,Value>数据对构成，此时给定Target中的某个元素Query，通过计算Query和各个Key的相似性或者相关性，得到每个Key对应Value的权重系数，然后对Value进行加权求和，即得到了最终的Attention数值。
Figure BDA0002211507400000071
权重计算可细分为2步，首先，根据Query和Key计算两者的相似性或者相关性，然后对第1步的原始分值进行归一化处理(常见方法softmax)，如下图8所示，
第1步中常见的相似性和相关性计算方法如下：求两者的向量点积、求两者的向量Cosine相似性或者通过再引入额外的神经网络来求值
点积：Similarity(Query，Keyi)＝Query·Keyi
Cosine相似性：
Figure BDA0002211507400000081
MLP网络：Similarity(Query，Keyi)＝MLP(Query，Keyi)
基于Attention机制的GRU网络的超短期负荷预测模型
注意力机制(Attention)最早是在视觉图像领域提出来的，能够使深度学习模型在处理视觉图像领域问题时更好地提取重要特征，从而提升模型效果。近些年来，注意力机制逐渐被应用到各个领域，并且能够有效提高任务处理的效果，比如机器翻译、情感分析等任务。注意力机制是一种类似人脑的注意力分配机制，通过计算不同时刻词向量的概率权重，能够使一些词得到更多的关注，从而提高隐藏层特征提取的质量。在GRU模型中，由于输入的数据属性之间会有一些重要性的偏差，基于注意力机制的深度学习模型能够通过训练识别不同属性值的重要程度来提取数据中的重要特征。
在将基于Attention机制的GRU网络应用于超短期负荷预测时，主要需确定网络的输入输出变量、数据预处理方法、网络结构、模型训练方法以及网络评价指标。
输入输出变量
确定网络的输入输出变量是确定网络结构的基础。
假定负荷采样频率为每小时1次，可获得的训练数据集为每天24h的历史负荷数据，为提高网络的预测效果及处理效率，需选择合理的数值。因电力预测中研究短期负荷最大值有更大的实际意义，本发明选取的负荷值为第n小时的最大负荷值，因负荷值具有一定的随机性，可采用计算样本自相关系数的方法来确定输入变量时间序列的阶数。
各阶自相关系数反映了各滞时状态间的相关关系，可反映序列周期规律。时间序列h阶自相关系数的计算公式为：
式中：x为输入序列h阶自相关系数值
Figure BDA0002211507400000092
为时间序列xi的均值；n为时间序列的长度。
通过找到自相关系数衰减为0的阶数，可确定采用特定时段的历史负荷数据，进行超短期负荷预测，实现负荷历史数据的充分利用。绘制得到负荷历史数据集的自相关系数如图所示。由图9可以看出，当阶数取108时，自相关系数衰减为0，即预测点负荷值只与预测时刻前h的负荷相关，因而输入变量选为预测时刻前h的负荷数据。
基于Attention机制的GRU网络结构设计
Attention机制模拟人脑注意力模型，其主要思想是针对输入序列中影响输出结果的关键部分分配较多的注意力，以更好地学习输入序列中的信息。
本发明将Attention机制作为GRU网络模型后的特征分配权重阶段，首先通过一个GRU网络处理输入序列，实现高层次的特征学习；随后加入天气因素w,通过合理分配注意力权重，实现记忆单元求解,实现超短期负荷预测。通过此网络，可以使超短欺负荷预测有侧重地利用历史负荷数据，得到更为精确的预测结果。
基于Attention机制的GRU网络结构如图1所示。
图1中的输入为时间序列的向量表示x1，x2，x3，…，xi，这些输入会进入GRU模型中，经过GRU模型计算之后会得到对应输出h1，h2，h3，…，hi，然后在隐藏层引入Attention，加入天气因素W，计算各个输入的注意力概率分布值，进一步提取文本特征，突出关键因素的影响。
其中，Attention机制的计算公式如下：
v＝Σahii∑ei＝witanh(Wihi+bi)
其中，ei是由Babdanau等人提出的一种校验模型，ei表示第i时刻隐层状态向量hi所决定的注意力概率分布值，wi和Wi表示第i时刻的权重系数矩阵，bi表示第i时刻相应的偏移量，通过上面的公式可以计算出最后包含文本信息的特征向量v。输出层的输入为上一层Attention层的输出。最后利用softmax函数对输出层的输入进行相应计算，从而进行文本分类，其计算公式如下：
y＝softmax(wiv+bi)
其中：wi表示Attention机制层到输出层待训练的权重系数矩阵，bi表示待训练相对应的偏置量，y为输出的预测标签。
实验过程
实验环境
本实验采用Windows10操作系统，CPU使用i5四核处理器，12GB内存电脑。使用Python3.7，并配合Tensorflow1.6版本深度学习框架，使用Pycharm2018.1.3进行开发。
实验数据
本实验电力负荷数据是国网河北电力公司提供的2017年夏季供电数据，气温等天气数据采用Python爬虫爬取的天气网的对应历史天气信息，将数据集的80％作为训练集，20％作为验证集，来检验本发明所提出方法的效果。因天气信息是离散的文字表示，使用One-Hot Representation处理转化为向量,再带入使用。
实验设计
本发明分别对LSTM、GRU和GRU结合注意力机制进行同数据集对比实验的方式，来分别说明GRU在负荷预测中的优势，以及Attention机制的对负荷预测结果的影响，本发明的评价指标采用平均绝对百分比误差(Mean Absolute Percentage Error,MAPE)
Figure BDA0002211507400000111
实验结果分析
实验结果如表所示，从中可以看出，在相同的数据集中，GRU-Attention模型的表现性能优于LSTM模型，说明GRU比LSTM在数据计算上耗时少，更适应于数据集大的情况，优于单GRU模型，是因为注意力机制可以更好地提取特征，从而提高预测的准确率。这说明Attention对单GRU网络模型模型性能的提升起到了一定的作用。
结论
本发明依托于大数据背景，提出了一种基于Attention机制和GRU的超短期负荷预测方法，深度挖掘了历史负荷数据与预测点负荷间的相关性。以MAPE为指标，通过与LSTM、GRU的预测结果进行对比，验证了所提方法的可行性及效果。

Claims (10)

1.一种基于GRU和注意力机制的超短期负荷预测模型，其特征在于，包括以下步骤：
S1：确定网络的输入输出变量；
S2：设计基于Attention机制的GRU网络结构。
2.根据权利要求1所述的基于GRU和注意力机制的超短期负荷预测模型，其特征在于，所述S1包括以下步骤：
S11：选取负荷采样频率为每小时1次，获得的训练数据集为每天24h的历史负荷数据，选取的负荷值为第n小时的最大负荷值；
S12：采用计算样本自相关系数的方法来确定输入变量时间序列的阶数；
S13：通过找到自相关系数衰减为0的阶数，确定采用特定时段的历史负荷数据，进行超短期负荷预测，实现负荷历史数据的充分利用；
S14：绘制得到负荷历史数据集的自相关系数；
S15：当阶数取108时，自相关系数衰减为0。
3.根据权利要求2所述的基于GRU和注意力机制的超短期负荷预测模型，其特征在于，所述S12的样本自相关系数的方法的计算公式为
Figure FDA0002211507390000011
式中：x为输入序列h阶自相关系数值
Figure FDA0002211507390000012
为时间序列xi的均值，n为时间序列的长度。
4.根据权利要求1所述的基于GRU和注意力机制的超短期负荷预测模型，其特征在于，所述S2包括以下步骤：
S21：建立基于Attention机制的GRU网络；
S22：加入天气因素w,通过合理分配注意力权重，实现记忆单元求解,实现超短期负荷预测即加入天气因素W，计算各个输入的注意力概率分布值，进一步提取文本特征，突出关键因素的影响；
S23：利用softmax函数对输出层的输入进行相应计算，从而进行文本分类。
5.根据权利要求4所述的基于GRU和注意力机制的超短期负荷预测模型，其特征在于，所述softmax函数的计算公式为：
y＝softmax(wiv+bi)
其中，wi表示Attention机制层到输出层待训练的权重系数矩阵，bi表示待训练相对应的偏置量，y为输出的预测标签。
6.根据权利要求1所述的基于GRU和注意力机制的超短期负荷预测模型，其特征在于，通过Attention机制的计算公式计算出最后包含文本信息的特征向量v，输出层的输入为上一层Attention层的输出。
7.根据权利要求1所述的基于GRU和注意力机制的超短期负荷预测模型，其特征在于，所述S21包括以下步骤：
S211：输入时间序列的向量；
S212：让时间序列的向量进入GRU模型中；
S213：经过GRU模型计算之后得到对应输出；同时在隐藏层引入Attention机制。
8.根据权利要求7所述的基于GRU和注意力机制的超短期负荷预测模型，其特征在于，所述时间序列的向量为x1，x2，x3，…，xi。
9.根据权利要求7所述的基于GRU和注意力机制的超短期负荷预测模型，其特征在于，经过GRU模型计算之后得到对应输出为h1，h2，h3，…，hi。
10.根据权利要求1所述的基于GRU和注意力机制的超短期负荷预测模型，其特征在于，所述Attention机制的计算公式为：
v＝Σahii∑ei＝witanh(Wihi+bi)
其中，ei表示第i时刻隐层状态向量，hi为所决定的注意力概率分布值，wi和Wi表示第i时刻的权重系数矩阵，bi表示第i时刻相应的偏移量。
CN201910899925.7A 2019-09-23 2019-09-23 一种基于gru和注意力机制的超短期负荷预测模型 Pending CN110633867A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910899925.7A CN110633867A (zh) 2019-09-23 2019-09-23 一种基于gru和注意力机制的超短期负荷预测模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910899925.7A CN110633867A (zh) 2019-09-23 2019-09-23 一种基于gru和注意力机制的超短期负荷预测模型

Publications (1)

Publication Number Publication Date
CN110633867A true CN110633867A (zh) 2019-12-31

Family

ID=68973708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910899925.7A Pending CN110633867A (zh) 2019-09-23 2019-09-23 一种基于gru和注意力机制的超短期负荷预测模型

Country Status (1)

Country Link
CN (1) CN110633867A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275169A (zh) * 2020-01-17 2020-06-12 北京石油化工学院 一种短时期建筑热负荷预测的方法
CN112598180A (zh) * 2020-12-21 2021-04-02 北京华能新锐控制技术有限公司 一种分布式区域风电功率预测方法
CN113095598A (zh) * 2021-05-07 2021-07-09 国网山东省电力公司经济技术研究院 一种多能负荷预测方法、系统、设备和介质
CN113222281A (zh) * 2021-05-31 2021-08-06 国网山东省电力公司潍坊供电公司 基于改进AlexNet-GRU模型的配电网短期负荷预测方法及装置
CN113298288A (zh) * 2021-04-12 2021-08-24 国网浙江省电力有限公司湖州供电公司 一种融合时间序列和神经网络的供电所运维成本预测方法
CN113344192A (zh) * 2021-05-31 2021-09-03 中国标准化研究院 企业级电机系统节能优化自动控制方法及系统
CN113379164A (zh) * 2021-07-16 2021-09-10 国网江苏省电力有限公司苏州供电分公司 基于深度自注意力网络的负荷预测方法及系统
CN113449912A (zh) * 2021-06-24 2021-09-28 东北电力大学 一种基于人工智能技术的空间负荷态势感知方法
CN113516316A (zh) * 2021-07-29 2021-10-19 昆明理工大学 基于麻雀搜索优化的Attention-GRU短期负荷预测方法
CN113723479A (zh) * 2021-08-18 2021-11-30 南京工程学院 一种基于grnn与均值漂移算法的非侵入式负荷识别方法
WO2022077693A1 (zh) * 2020-10-15 2022-04-21 中国科学院深圳先进技术研究院 负荷预测模型的训练方法及训练装置、存储介质、设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764520A (zh) * 2018-04-11 2018-11-06 杭州电子科技大学 一种基于多层循环神经网络和d-s证据理论的水质参数预测方法
CN108921341A (zh) * 2018-06-26 2018-11-30 国网山东省电力公司电力科学研究院 一种基于门控自编码的热电厂短期热负荷预测方法
CN109492227A (zh) * 2018-11-16 2019-03-19 大连理工大学 一种基于多头注意力机制和动态迭代的机器阅读理解方法
CN109710919A (zh) * 2018-11-27 2019-05-03 杭州电子科技大学 一种融合注意力机制的神经网络事件抽取方法
CN110163299A (zh) * 2019-05-31 2019-08-23 合肥工业大学 一种基于自底向上注意力机制和记忆网络的视觉问答方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764520A (zh) * 2018-04-11 2018-11-06 杭州电子科技大学 一种基于多层循环神经网络和d-s证据理论的水质参数预测方法
CN108921341A (zh) * 2018-06-26 2018-11-30 国网山东省电力公司电力科学研究院 一种基于门控自编码的热电厂短期热负荷预测方法
CN109492227A (zh) * 2018-11-16 2019-03-19 大连理工大学 一种基于多头注意力机制和动态迭代的机器阅读理解方法
CN109710919A (zh) * 2018-11-27 2019-05-03 杭州电子科技大学 一种融合注意力机制的神经网络事件抽取方法
CN110163299A (zh) * 2019-05-31 2019-08-23 合肥工业大学 一种基于自底向上注意力机制和记忆网络的视觉问答方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李昭昱等: "基于attention 机制的LSTM 神经网络超短期负荷预测方法", 《供用电》 *
王伟等: "基于BiGＲU-attention 神经网络的文本情感分类模型", 《计算机应用研究》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275169A (zh) * 2020-01-17 2020-06-12 北京石油化工学院 一种短时期建筑热负荷预测的方法
WO2022077693A1 (zh) * 2020-10-15 2022-04-21 中国科学院深圳先进技术研究院 负荷预测模型的训练方法及训练装置、存储介质、设备
CN112598180A (zh) * 2020-12-21 2021-04-02 北京华能新锐控制技术有限公司 一种分布式区域风电功率预测方法
CN113298288A (zh) * 2021-04-12 2021-08-24 国网浙江省电力有限公司湖州供电公司 一种融合时间序列和神经网络的供电所运维成本预测方法
CN113095598A (zh) * 2021-05-07 2021-07-09 国网山东省电力公司经济技术研究院 一种多能负荷预测方法、系统、设备和介质
CN113344192B (zh) * 2021-05-31 2022-01-11 中国标准化研究院 企业级电机系统节能优化自动控制方法及系统
CN113222281A (zh) * 2021-05-31 2021-08-06 国网山东省电力公司潍坊供电公司 基于改进AlexNet-GRU模型的配电网短期负荷预测方法及装置
CN113344192A (zh) * 2021-05-31 2021-09-03 中国标准化研究院 企业级电机系统节能优化自动控制方法及系统
CN113449912A (zh) * 2021-06-24 2021-09-28 东北电力大学 一种基于人工智能技术的空间负荷态势感知方法
CN113449912B (zh) * 2021-06-24 2022-03-18 东北电力大学 一种基于人工智能技术的空间负荷态势感知方法
CN113379164A (zh) * 2021-07-16 2021-09-10 国网江苏省电力有限公司苏州供电分公司 基于深度自注意力网络的负荷预测方法及系统
CN113379164B (zh) * 2021-07-16 2024-03-26 国网江苏省电力有限公司苏州供电分公司 基于深度自注意力网络的负荷预测方法及系统
CN113516316A (zh) * 2021-07-29 2021-10-19 昆明理工大学 基于麻雀搜索优化的Attention-GRU短期负荷预测方法
CN113723479A (zh) * 2021-08-18 2021-11-30 南京工程学院 一种基于grnn与均值漂移算法的非侵入式负荷识别方法

Similar Documents

Publication Publication Date Title
CN110633867A (zh) 一种基于gru和注意力机制的超短期负荷预测模型
Xuan et al. A multi-energy load prediction model based on deep multi-task learning and ensemble approach for regional integrated energy systems
Du et al. Power load forecasting using BiLSTM-attention
Cui et al. Research on power load forecasting method based on LSTM model
Dai et al. Improving the Bi-LSTM model with XGBoost and attention mechanism: A combined approach for short-term power load prediction
CN110414788A (zh) 一种基于相似日和改进lstm的电能质量预测方法
CN109255726A (zh) 一种混合智能技术的超短期风功率预测方法
CN112163689A (zh) 基于深度Attention-LSTM的短期负荷分位点概率预测方法
Li et al. Deep spatio-temporal wind power forecasting
CN115828768A (zh) 一种数据驱动的配电网无功功率预测方法
CN115409369A (zh) 基于机理和数据混合驱动的综合能源系统可靠性评估方法
Cui et al. Short-time series load forecasting by seq2seq-lstm model
CN115481788B (zh) 相变储能系统负荷预测方法及系统
Xu Prediction and planning of sports competition based on deep neural network
CN115293249A (zh) 一种基于动态时序预测的电力系统典型场景概率预测方法
Li et al. Online transient frequency safety prediction machine of power system based on time-feature attention module
CN114818455A (zh) 一种少量pmu采样的电力系统多智能体暂态判稳方法和系统
CN113283638A (zh) 一种基于融合模型的负荷极值曲线预测方法及系统
CN113591391A (zh) 一种电力负荷控制装置、控制方法、终端、介质及应用
He et al. Wind Speed Forecasting in Fishing Harbor Anchorage Using a Novel Deep Convolutional Neural Network
CN116842855B (zh) 分布式光伏配电网出力预测方法、装置、电子设备及介质
CN116526582B (zh) 基于人工智能联合驱动的电力机组组合调度方法与系统
Cui et al. Temporal convolutional neural network with self-attention for shortterm load forecasting
CN111597814B (zh) 一种人机交互命名实体识别方法、装置、设备及存储介质
Lei et al. Dynamic combined prediction method for error state of capacitor voltage transformer based on elastic net regression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191231

RJ01 Rejection of invention patent application after publication