CN113642225A - 一种基于attention机制的CNN-LSTM短期风电功率预测方法 - Google Patents
一种基于attention机制的CNN-LSTM短期风电功率预测方法 Download PDFInfo
- Publication number
- CN113642225A CN113642225A CN202110564394.3A CN202110564394A CN113642225A CN 113642225 A CN113642225 A CN 113642225A CN 202110564394 A CN202110564394 A CN 202110564394A CN 113642225 A CN113642225 A CN 113642225A
- Authority
- CN
- China
- Prior art keywords
- lstm
- wind power
- cnn
- layer
- hidden layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000010606 normalization Methods 0.000 claims abstract description 6
- 238000004140 cleaning Methods 0.000 claims abstract description 3
- 239000013598 vector Substances 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010248 power generation Methods 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 1
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/06—Wind turbines or wind farms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/06—Power analysis or power optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/08—Thermal analysis or thermal optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于attention机制的CNN‑LSTM短期风电功率预测方法,该方法通过收集历史环境和历史风电功率数据,对数据进行数据清洗和归一化等预处理;然后搭建包含attention机制的CNN‑LSTM模型并进行训练获得预测模型,其中CNN网络包括Conv1D层、MaxPooling1D层;LSTM网络包括基本的LSTM层、attention层、Dropout层以及最后的Dense层。本发明采用基于attention机制的CNN‑LSTM短期风电功率预测模型,考虑天气、风速、风向、温度、压力、湿度等各类环境因素,有效提取数据的局部特征和时序特征,合理分配特征权重,能够实现对风电功率的精准预测。
Description
技术领域
本发明涉及短期风电功率预测技术领域,具体涉及一种基于attention机制的CNN-LSTM 短期风电功率预测方法。
背景技术
风电功率的精准预测对电网稳定经济运行具有重要意义,做好风电功率预测的工作能够 降低运行成本,优化电网调度,便于安排机组维护和检修,进而实现调度的经济合理性。
预测的方法主要有传统的统计学方法和基于机器学习的预测方法。其中,统计学方法主 要有多元线性回归(MLR)、时间序列分析法和卡尔曼滤波法等,这类方法原理与建模简单, 但当数据样本容量较大时,预测效果不明显。另一类方法则基于机器学习算法,例如灰色系 统、人工神经网络、支持向量机(SVM)以及高斯过程(GP)等。其中,反向传播(BP)神经网络和SVM的应用最为广泛。但上述方法缺少对时间序列相关性的考虑,并且当训练样本较多时存在无法有效收敛的问题。
近年来,以长记忆(LSTM)网络为代表的深度学习算法在短期风电功率预测领域取得 了较好的应用,LSTM网络可以充分挖掘时序数据之间的内在关联,但当特征为非连续数据 时,预测精度不高。因此,使用CNN网络可以自动提取特征,提高预测精度。
发明内容
本发明在考虑天气、风速、风向、温度、压力、湿度、历史风电功率数据、输入向量特征权重等因素的基础上提出了一种基于attention机制的CNN-LSTM短期风电功率预测方法, 利用深度学习和数据挖掘技术,构建了CNN-LSTM短期风电功率预测模型,在经过预处理的 数据集上实现风电功率的精准预测。
本发明采用的技术方案具体为:
一种基于attention机制的CNN-LSTM短期风电功率预测方法,该方法包括如下步骤:
步骤(1)获取风力发电系统运行的风电功率数据,对风电功率数据进行清洗后,将不同 时刻的风电功率数据与对应的天气、风速、风向、温度、压力、湿度等特征,其中,对非数 字特征进行one-hot独热编码,然后对所有数据的特征进行归一化处理;
步骤(2)构建预测点时刻的输入特征向量,并将预处理后的特征向量输入CNN网络, 通过CNN网络的卷积、池化等操作提取出输入特征向量的静态特征,然后将CNN网络提取 的静态特征输入至LSTM网络的隐藏层进行特征提取,并利用Attention机制对隐藏层提取的 特征向量进行计算,得到特征权重,然后将特征权重和隐藏层提取的特征向量相乘后输入 LSTM的Dropout层和全连接层,输出预测的风电功率预测值;
其中,预测点时刻的输入特征向量具体包括:预测点时刻的天气、预测点时刻的风速、 预测点时刻的风向、预测点时刻的压力、预测点时刻的温度、预测点时刻的湿度、预测点前 一天同时刻的风电功率值;
所述CNN网络和LSTM网络的参数通过利用历史风电功率数据及其对应的天气、风速、 风向、温度、压力、湿度数据采用误差反向传播法进行训练优化获得。
进一步地,所述CNN为一维卷积网络,可以提取输入向量的静态特征,其输出为:
其中,xt为t时刻的输入特征向量;ωj为卷积核权重矩阵;b为偏差值;k为卷积核个数。
进一步地,所述LSTM网络具体包括LSTM隐藏层、attention层、Dropout层和全连接层,其中LSTM隐藏层提取特征的过程为:
it=σ(WixXt+Wihht-1+bi)
ft=σ(WfXXt+Wfhht-1+bf)
ot=σ(WoXXt+Wohht-1+bo)
式中,it为输入门、遗忘门ft、输出门ot和当前神经元候选值WiX,Wih,WfX,Wfh,WoX,Woh,WCX,WCh分别表示相应门与当前输入的静态特征Xt和上个单元输出ht-1相乘的 得到的矩阵权重,bi,bf,bo,bC为偏置项,σ为sigmoid函数;
ht=ot*tanh(Ct)
式中,*表示各相乘向量中的元素按位乘积。
利用Attention层对隐藏层提取的特征向量进行计算,得到特征权重,然后将特征权重和 隐藏层提取的特征向量相乘的过程为:
计算当前时刻t对LSTM隐藏层最后一层输出序列中元素所分配的注意力权重ati,公式 如下:
式中,i表示LSTM隐藏层输出序列中元素的序号,Th表示LSTM隐藏层输出序列中的序长度,eti表示LSTM隐藏层输出序列中待编码的元素和其它元素之间的匹配度。
计算特征权重向量,公式如下:
a′t,i=H(D,Ct,h)
式中,H表示特征权重向量函数,ht表示LSTM隐藏层输出序列,h表示LSTM隐藏层最后一层所有时刻的输出特征序列,Ct表示LSTM隐藏层输出序列ht相对应的attention机制的隐藏层状态。a′t,i表示ht中第i个元素的权重。
进一步地,所述步骤1中,对风电功率数据进行清洗的方法具体为:
采用聚类的方式,取相似度最大的三日数据对应时刻的风电功率值的均值填补空缺数据。 其中,聚类的特征包括天气、风速、风向、温度、压力、湿度等。
检查历史风电功率数据的平稳性,并采用前一天同一时刻的值填补极端数据。
优选的,所述CNN-LSTM模型采用python语言实现,基于CNN-LSTM的短期风电功率预测模型使用Keras深度学习库实现。
本发明的有益技术效果:
1.本发明提出了一种基于attention机制的CNN-LSTM短期风电功率预测方法,设计了相 应的风电功率预测模型,该模型由CNN-LSTM网络与LightGBM模型组合而成。针对LSTM 网络训练速度慢的缺点,添加了局部特征预提取模块,由卷积神经网络结构对局部特征进行 预提取,是处理长期时序数据问题的理想模型。同时,attention机制可以给隐藏层特征向量 分配不同的权重,突出训练中关键的特征,提升了预测准确度。
2.本发明提供的CNN-LSTM短期风电功率预测方法,基于CNN-LSTM的短期风电功率预测模型,并结合误差反向传播法则实现对参数的最优化求解。
附图说明
图1为基于attention机制的CNN-LSTM模型流程图;
图2为CNN网络结构;
图3为LSTM网络结构;
具体实施方式
为使本领域技术人员更加清楚和明确本发明的技术方案,下面结合实施例及附图。对本 发明作进一步详细的描述,但本发明的实施方式不限于此。
如图1-图3所示,本实施提供的CNN-LSTM短期风电功率预测方法,基于CNN-LSTM的预测模型,并结合误差反向传播法实现对参数的最优化求解,提升预测准确度。具体包括如下步骤:
步骤(1)、获取不同时刻的天气、风速、风向、温度、压力、湿度、风电功率等特征,对非数字特征进行one-hot独热编码,然后对输入特征进行归一化,并处理成模型需要的张量 形式,具体步骤是:
1)选取2020年1月1日至2020年7月31日的风电功率数据,一共24789条数据,按 照8:1:1的比例划分训练集、验证集和测试集,训练集、验证集、测试集数据分别为19831 条、2479条和2479条。
2)风电功率数据在收集过程中,会出现数据缺失和数据错误的情况,需要对数据进行预 处理,处理步骤为:
2.1)风电功率数据具有时序性,一般是连续且平滑的,通过检查数据的平稳性找出异常 数据,对于异常数据的处理,根据每天同一时刻的值具有相似性,因此本实施例采用前一天 同一时刻的值填补的方法进行处理。
2.2)对于风电功率原始数据的缺失值,本发明采用聚类的方式,取相似度最大的三天, 然后所求时刻风电功率值用所对应的三天对应时刻的平均值填充。聚类的特征为出风电功率 外的其他特征,如天气、风速、风向、温度、压力、湿度等。
3)构建CNN-LSTM模型的输入特征向量,选择特征因子,包括:预测点时刻的天气Weat、 预测点时刻的风速st、预测点时刻的风向Wdt、预测点时刻的压力prt、预测点时刻的温度Tt、 预测点时刻的湿度Ht、预测点前一天同时刻的风电功率值y′t等特征因子。对于天气信息,若 出现非数字特征,则采用one-hot独热编码的方式进行处理。最终,输入特征向量表示为 xt=[Weat,st,Wdt,prt,Tt,Ht,...y′t]。
4)对输入特征进行归一化处理,简少后续模型处理的运算量;具体为:采用min-max 归一化方法,归一化后的数据范围均在[0,1]之间,计算公式为:
式中,θ′为归一化以后的特征的值,包括天气、风速、风向、温度、压力、湿度、风电功率等,θ为原始数据中的特征的值,θmax为所有数据中该特征的最大值,θmin为所有数据中该特征的最小值。
步骤(2)、构建包含attention机制的CNN-LSTM网络,将预处理后的特征向量输入CNN 网络进行训练,通过CNN网络的卷积、池化等操作可以提取出输入向量的静态特征,将CNN 网络提取的特征输入LSTM网络的隐藏层进行训练,得到训练后的特征向量,具体步骤是:
1)采用CNN结构对局部特征进行预提取
在众多神经网络结构中,CNN常用于实现图像识别、图像分类、目标检测和人脸识别, 结构具有可学习的权重与偏差值的神经元,可增加数据的低层次特征,随着网络加深,将低 层次特征组合为多层次特征,引导后续模型针对此类特征的学习与调整,其具体结构如图3 所示。CNN结构通过将特定的特征编译于卷积结构中,使得正向传递函数更加高效,并且降 低了网络中的参数数量。CNN网络结构可实现时间轴的特征提取,其输出为:
其中,xt为t时刻的输入特征向量;ωj为卷积核权重矩阵;b为偏差值;k为卷积核个数。
2)利用LSTM模型进行风电功率预测
LSTM具有良好的记忆能力,可以学习时间序列长依赖信息,在对风电功率预测时,能 从风电功率历史数据中寻找规律信息。并且解决循环神经网络(RNN)会出现梯度消失和梯度 爆炸问题。
LSTM网络包括基本的LSTM层、attention层、Dropout层以及最后的Dense层,首先,将CNN网络提取的特征输入至LSTM层进行特征提取,其中,LSTM隐藏层的主要作用是 通过不断地学习训练提取有价值的信息,遗忘丢掉无价值的信息。其具体结构如图3所示。 相较普通RNN新增了三个“门”,分别是输入门it、遗忘门ft、输出门ot,这三个门是三个系 数,取值范围均在[0,1]之间。输入门主要是用来判断更新哪些属性以及新属性的内容,遗 忘门是为了遗忘以前无用的状态信息,输出门决定输出什么,三个门都由上个单元输出ht-1和当前时刻输入Xt共同决定。其中输入门it、遗忘门ft、输出门ot和当前神经元候选值的计算 公式如下:
it=σ(WiXXt+Wihht-1+bi) (3)
ft=σ(WfXXt+Wfhht-1+bf) (4)
ot=σ(WoXXt+Wohht-1+bo) (5)
式中,WiX,Wih,Wfx,Wfh,Wox,Woh,WCX,WCh分别表示相应门与当前输入的静态 特征Xt和上个单元输出ht-1相乘的得到的矩阵权重,bi,bf,bo,bC为偏置项,σ为sigmoid 函数;
ht=ot*tanh(Ct) (8)
式中,*表示各相乘向量中的元素按位乘积。
本模型设置LSTM为2层,且每层神经元个数分别为64和16。
然后利用Attention机制对LSTM最后一层的特征向量进行计算,得到特征权重,然后将 特征权重和LSTM特征向量相乘后输入LSTM的Dropout层和全连接层,最后输出风电功率 预测值y′t,具体步骤为:
1)利用attention机制计算特征权重向量
Attention机制的基本思想就是能够筛选有用信息,而其达到这样效果的实质是对LSTM 隐藏层的输出序列,即将LSTM最后一层的输出序列进行计算,得到特征权重向量,找到更 重要的影响因素,提高了信息处理的效率与准确性。
首先计算当前时刻t对LSTM隐藏层最后一层输出序列中元素所分配的注意力权重ati, 公式如下:
式中,i表示LSTM隐藏层输出序列中元素的序号,Th表示LSTM隐藏层输出序列中的序长度,eti表示LSTM隐藏层输出序列中待编码的元素和其它元素之间的匹配度。
计算特征权重向量,公式如下:
a′t,i=H(D,Ct,h) (10)
式中,H表示特征权重向量函数,ht表示LSTM隐藏层输出序列,h表示LSTM隐藏层最后一层所有时刻的输出特征序列,Ct表示LSTM隐藏层输出序列ht相对应的attention机制的隐藏层状态。a′t,i表示ht中第i个元素的权重。
利用步骤1中的获取的数据,采用误差反向传播法对包含attention机制的CNN-LSTM网 络进行训练,实现对参数的最优化求解,从而获得训练好的风电功率预测模型。
步骤(3)、当模型完成训练后利用验证集进行验证效果,最后对测试集进行预测,其中, 可以采用平均绝对百分误差MAPE评估模型的准确性,其计算公式为:
综上所述,本发明提供的基于attention机制的CNN-LSTM短期风电功率预测模型,考虑 天气、风速、风向、温度、压力、湿度等各类环境因素,能够有效提取数据的局部特征和时 序特征,合理分配特征权重,实现了对短期风电功率的精准预测。
以上仅是本发明的优选实例,并非对本发明保护范围的限制。应当指出,对于本技术领 域的人员,其根据本发明的技术方案或构思做出的同等替换或改变,都属于本发明的保护范 围。
Claims (4)
1.一种基于attention机制的CNN-LSTM短期风电功率预测方法,其特征在于:该方法包括如下步骤:
步骤(1)获取风力发电系统运行的风电功率数据,对风电功率数据进行清洗后,将不同时刻的风电功率数据与对应的天气、风速、风向、温度、压力、湿度等特征,其中,对非数字特征进行one-hot独热编码,然后对所有数据的特征进行归一化处理;
步骤(2)构建预测点时刻的输入特征向量,并将预处理后的特征向量输入CNN网络,通过CNN网络的卷积、池化等操作提取出输入特征向量的静态特征,然后将CNN网络提取的静态特征输入至LSTM网络的隐藏层进行特征提取,并利用Attention机制对隐藏层提取的特征向量进行计算,得到特征权重,然后将特征权重和隐藏层提取的特征向量相乘后输入LSTM的Dropout层和全连接层,输出预测的风电功率预测值;
其中,预测点时刻的输入特征向量具体包括:预测点时刻的天气、预测点时刻的风速、预测点时刻的风向、预测点时刻的压力、预测点时刻的温度、预测点时刻的湿度、预测点前一天同时刻的风电功率值;
所述CNN网络和LSTM网络的参数通过利用历史风电功率数据及其对应的天气、风速、风向、温度、压力、湿度数据采用误差反向传播法进行训练优化获得。
3.根据权利要求1所述的一种基于attention机制的CNN-LSTM短期风电功率预测方法,其特征在于:所述LSTM网络具体包括LSTM隐藏层、attention层、Dropout层和全连接层,其中LSTM隐藏层提取特征的过程为:
it=σ(WiXXt+Wihht-1+bi)
ft=σ(WfXXt+Wfhht-1+bf)
ot=σ(WoXXt+Wohht-1+bo)
式中,it为输入门、遗忘门ft、输出门ot和当前神经元候选值WiX,Wih,WfX,Wfh,WoX,Woh,WCX,WCh分别表示相应门与当前输入的静态特征Xt和上个单元输出ht-1相乘的得到的矩阵权重,bi,bf,bo,bC为偏置项,σ为sigmoid函数;
ht=ot*tanh(Ct)
式中,*表示各相乘向量中的元素按位乘积。
利用Attention层对隐藏层提取的特征向量进行计算,得到特征权重,然后将特征权重和隐藏层提取的特征向量相乘的过程为:
计算当前时刻t对LSTM隐藏层最后一层输出序列中元素所分配的注意力权重ati,公式如下:
式中,i表示LSTM隐藏层输出序列中元素的序号,Th表示LSTM隐藏层输出序列的长度,eti表示LSTM隐藏层输出序列中待编码的元素和其它元素之间的匹配度。
计算特征权重向量,公式如下:
a′t,i=H(D,Ct,h)
式中,H表示特征权重向量函数,ht表示LSTM隐藏层t时刻的输出序列,h表示LSTM隐藏层最后一层所有时刻的输出特征序列,Ct表示LSTM隐藏层输出序列ht相对应的attention机制的隐藏层状态。a′t,i表示ht中第i个元素的权重。
4.根据权利要求1所述的一种基于attention机制的CNN-LSTM短期风电功率预测方法,其特征在于:所述步骤1中,对风电功率数据进行清洗的方法具体为:
采用聚类的方式,取相似度最大的三日数据对应时刻的风电功率值的均值填补空缺数据。其中,聚类的特征包括天气、风速、风向、温度、压力、湿度等。
检查历史风电功率数据的平稳性,并采用前一天同一时刻的值填补极端数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110564394.3A CN113642225A (zh) | 2021-05-24 | 2021-05-24 | 一种基于attention机制的CNN-LSTM短期风电功率预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110564394.3A CN113642225A (zh) | 2021-05-24 | 2021-05-24 | 一种基于attention机制的CNN-LSTM短期风电功率预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113642225A true CN113642225A (zh) | 2021-11-12 |
Family
ID=78415806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110564394.3A Pending CN113642225A (zh) | 2021-05-24 | 2021-05-24 | 一种基于attention机制的CNN-LSTM短期风电功率预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113642225A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114238297A (zh) * | 2021-12-15 | 2022-03-25 | 华北电力大学 | 一种风机运行缺失数据填补方法、装置、电子设备及介质 |
CN114298444A (zh) * | 2022-03-09 | 2022-04-08 | 广东电网有限责任公司佛山供电局 | 一种风速概率预测方法、装置、设备及存储介质 |
CN114819382A (zh) * | 2022-05-11 | 2022-07-29 | 湘潭大学 | 一种基于lstm的光伏功率预测方法 |
CN114861990A (zh) * | 2022-04-18 | 2022-08-05 | 云南电网有限责任公司电力科学研究院 | 风电功率预测模型建模方法、装置和设备 |
CN115062869A (zh) * | 2022-08-04 | 2022-09-16 | 国网山东省电力公司东营供电公司 | 一种考虑碳排放量的综合能源调度方法和系统 |
CN115115090A (zh) * | 2022-05-18 | 2022-09-27 | 东南大学 | 一种基于改进lstm-cnn的风功率短期预测方法 |
CN115630726A (zh) * | 2022-09-01 | 2023-01-20 | 华能江苏综合能源服务有限公司 | 基于vmd-bilstm神经网络融合注意力机制的屋顶光伏功率预测方法 |
CN116110234A (zh) * | 2023-04-11 | 2023-05-12 | 城云科技(中国)有限公司 | 基于人工智能的车流量预测方法、装置及其应用 |
WO2023093010A1 (zh) * | 2021-11-26 | 2023-06-01 | 中国华能集团清洁能源技术研究院有限公司 | 基于深度学习融合模型的风电功率预测方法及设备 |
CN116662766A (zh) * | 2023-08-01 | 2023-08-29 | 浙江大学 | 基于数据二维重构的风速预测方法及装置、电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109784473A (zh) * | 2018-12-13 | 2019-05-21 | 天津大学 | 一种基于双时序特征学习的短期风功率预测方法 |
CN109802430A (zh) * | 2018-12-29 | 2019-05-24 | 上海电力学院 | 一种基于LSTM-Attention网络的风电电网控制方法 |
CN109886492A (zh) * | 2019-02-26 | 2019-06-14 | 浙江鑫升新能源科技有限公司 | 基于Attention LSTM的光伏发电功率预测模型及其构建方法 |
CN110443725A (zh) * | 2019-08-14 | 2019-11-12 | 国网甘肃省电力公司信息通信公司 | 基于cnn+lstm的风电功率预测模型 |
CN112365040A (zh) * | 2020-11-03 | 2021-02-12 | 哈尔滨工业大学 | 一种基于多通道卷积神经网络和时间卷积网络的短期风电功率预测方法 |
CN112598180A (zh) * | 2020-12-21 | 2021-04-02 | 北京华能新锐控制技术有限公司 | 一种分布式区域风电功率预测方法 |
WO2021082811A1 (zh) * | 2019-10-29 | 2021-05-06 | 山东科技大学 | 一种外汇时间序列预测方法 |
-
2021
- 2021-05-24 CN CN202110564394.3A patent/CN113642225A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109784473A (zh) * | 2018-12-13 | 2019-05-21 | 天津大学 | 一种基于双时序特征学习的短期风功率预测方法 |
CN109802430A (zh) * | 2018-12-29 | 2019-05-24 | 上海电力学院 | 一种基于LSTM-Attention网络的风电电网控制方法 |
CN109886492A (zh) * | 2019-02-26 | 2019-06-14 | 浙江鑫升新能源科技有限公司 | 基于Attention LSTM的光伏发电功率预测模型及其构建方法 |
CN110443725A (zh) * | 2019-08-14 | 2019-11-12 | 国网甘肃省电力公司信息通信公司 | 基于cnn+lstm的风电功率预测模型 |
WO2021082811A1 (zh) * | 2019-10-29 | 2021-05-06 | 山东科技大学 | 一种外汇时间序列预测方法 |
CN112365040A (zh) * | 2020-11-03 | 2021-02-12 | 哈尔滨工业大学 | 一种基于多通道卷积神经网络和时间卷积网络的短期风电功率预测方法 |
CN112598180A (zh) * | 2020-12-21 | 2021-04-02 | 北京华能新锐控制技术有限公司 | 一种分布式区域风电功率预测方法 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023093010A1 (zh) * | 2021-11-26 | 2023-06-01 | 中国华能集团清洁能源技术研究院有限公司 | 基于深度学习融合模型的风电功率预测方法及设备 |
CN114238297A (zh) * | 2021-12-15 | 2022-03-25 | 华北电力大学 | 一种风机运行缺失数据填补方法、装置、电子设备及介质 |
CN114298444A (zh) * | 2022-03-09 | 2022-04-08 | 广东电网有限责任公司佛山供电局 | 一种风速概率预测方法、装置、设备及存储介质 |
CN114861990A (zh) * | 2022-04-18 | 2022-08-05 | 云南电网有限责任公司电力科学研究院 | 风电功率预测模型建模方法、装置和设备 |
CN114819382A (zh) * | 2022-05-11 | 2022-07-29 | 湘潭大学 | 一种基于lstm的光伏功率预测方法 |
CN114819382B (zh) * | 2022-05-11 | 2024-05-24 | 湘潭大学 | 一种基于lstm的光伏功率预测方法 |
CN115115090A (zh) * | 2022-05-18 | 2022-09-27 | 东南大学 | 一种基于改进lstm-cnn的风功率短期预测方法 |
CN115062869A (zh) * | 2022-08-04 | 2022-09-16 | 国网山东省电力公司东营供电公司 | 一种考虑碳排放量的综合能源调度方法和系统 |
CN115062869B (zh) * | 2022-08-04 | 2022-12-09 | 国网山东省电力公司东营供电公司 | 一种考虑碳排放量的综合能源调度方法和系统 |
CN115630726A (zh) * | 2022-09-01 | 2023-01-20 | 华能江苏综合能源服务有限公司 | 基于vmd-bilstm神经网络融合注意力机制的屋顶光伏功率预测方法 |
CN115630726B (zh) * | 2022-09-01 | 2024-01-30 | 华能江苏综合能源服务有限公司 | 基于vmd-bilstm神经网络融合注意力机制的屋顶光伏功率预测方法 |
CN116110234A (zh) * | 2023-04-11 | 2023-05-12 | 城云科技(中国)有限公司 | 基于人工智能的车流量预测方法、装置及其应用 |
CN116662766A (zh) * | 2023-08-01 | 2023-08-29 | 浙江大学 | 基于数据二维重构的风速预测方法及装置、电子设备 |
CN116662766B (zh) * | 2023-08-01 | 2023-10-03 | 浙江大学 | 基于数据二维重构的风速预测方法及装置、电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113642225A (zh) | 一种基于attention机制的CNN-LSTM短期风电功率预测方法 | |
CN112163426B (zh) | 一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法 | |
US11803744B2 (en) | Neural network learning apparatus for deep learning and method thereof | |
CN111815033A (zh) | 一种基于rcnn和气象时序特征的海上风电功率预测方法 | |
Ayodeji et al. | Causal augmented ConvNet: A temporal memory dilated convolution model for long-sequence time series prediction | |
CN113627070A (zh) | 一种短期光伏功率预测方法 | |
CN111241755A (zh) | 电力负荷预测方法 | |
Dai et al. | Hybrid deep model for human behavior understanding on industrial internet of video things | |
CN113449919B (zh) | 一种基于特征和趋势感知的用电量预测方法及系统 | |
CN110956309A (zh) | 基于crf和lstm的流程活动预测方法 | |
Wu et al. | Optimized deep learning framework for water distribution data-driven modeling | |
CN111898825A (zh) | 一种光伏发电功率短期预测方法及装置 | |
CN114004383A (zh) | 时间序列预测模型的训练方法、时间序列预测方法及装置 | |
CN115204035A (zh) | 基于多尺度时序数据融合模型的发电机组运行参数预测方法、装置及存储介质 | |
Gao et al. | Adversarial mobility learning for human trajectory classification | |
CN111222689A (zh) | 基于多尺度时间特征的lstm负荷预测方法、介质及电子装置 | |
Siang et al. | Anomaly detection based on tiny machine learning: A review | |
CN113255366A (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
Das et al. | Deep recurrent architecture with attention for remaining useful life estimation | |
CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
CN116245259B (zh) | 基于深度特征选择的光伏发电预测方法、装置和电子设备 | |
Alam | Recurrent neural networks in electricity load forecasting | |
CN117154256A (zh) | 锂电池的电化学修复方法 | |
Ferreira et al. | Data selection in neural networks | |
CN115759343A (zh) | 一种基于e-lstm的用户电量预测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |