CN112329979A - 一种基于自适应深度残差网络的超短期风电功率预测方法 - Google Patents
一种基于自适应深度残差网络的超短期风电功率预测方法 Download PDFInfo
- Publication number
- CN112329979A CN112329979A CN202011007198.8A CN202011007198A CN112329979A CN 112329979 A CN112329979 A CN 112329979A CN 202011007198 A CN202011007198 A CN 202011007198A CN 112329979 A CN112329979 A CN 112329979A
- Authority
- CN
- China
- Prior art keywords
- wind power
- residual error
- data
- prediction
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000005457 optimization Methods 0.000 claims abstract description 24
- 238000010606 normalization Methods 0.000 claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 13
- 238000003062 neural network model Methods 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims abstract description 8
- 238000012216 screening Methods 0.000 claims abstract description 6
- 230000003044 adaptive effect Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 17
- 230000001186 cumulative effect Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000010219 correlation analysis Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000008034 disappearance Effects 0.000 claims description 4
- 238000004880 explosion Methods 0.000 claims description 4
- 230000000644 propagated effect Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000001902 propagating effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims 1
- 230000015556 catabolic process Effects 0.000 abstract description 10
- 238000006731 degradation reaction Methods 0.000 abstract description 10
- 238000010248 power generation Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000011160 research Methods 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000053 physical method Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 238000011437 continuous method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
- Y02E40/70—Smart grids as climate change mitigation technology in the energy generation sector
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于新能源风力发电功率预测技术领域,涉及一种基于自适应深度残差网络的超短期风电功率预测方法,包括步骤如下:S1采集风电场历史数据;S2采用Pearson相关系数法筛选数据,并箱型图分析法处理异常数据;S3对变量数据归一化处理;S4建立深度残差网络风电功率预测模型;S5采用自适应AdaDelta优化算法优化预测模型,得最佳参数;S6将数据输入预测模型中进行训练;S7输出变量为待预测时刻风电功率预测值;S8将预测值进行反归一化处理得到最终的风电功率预测结果;S9建立评估指标体系,评估风电功率预测结果精确度。本发明解决传统深度神经网络模型训练过程中网络加深产生网络退化的问题,提高模型预测精度。
Description
技术领域
本发明涉及新能源风力发电功率预测技术领域,尤其涉及一种基于自适应深度残差网络的超短期风电功率预测方法。
背景技术
随着煤、石油等不可再生能源日益枯竭以及带来的环境污染问题,风能、太阳能和地热能等可再生能源成为人们重点研究对象。由于风能是清洁能源,而且我国的风力资源十分丰富,所以我国对风力发电技术的研究相比其他可再生能源技术更为成熟,但由于风本身具有随机性的特点,进而导致其具有间歇和波动等不稳定的因素,大规模的风电并网会对电力系统稳定运行造成严重影响,所以精准预测风电功率可以增强电力系统的安全性和稳定性,因此风电功率预测技术成为可再生能源领域重点研究方向之一。
长期以来,经过国内外很多学者的讨论和研究,风电功率预测领域出现了众多预测方法,主要分成两类。一种是物理方法,主要基于数值天气预报NWP以及根据风电场所处的地势、地貌等地理位置因素建立完备的物理输入模型,此方法不需要统计大量历史数据,适合于新建设的风电场功率预测研究,但由于风电机组经常产生尾流和湍流等难以用物理来描述的特殊现象,导致物理方法的预测精度较低;另一种是统计方法,基于风电场大量历史数据,通过统计模型建立风速、风向和温度等气象变量与功率变量之间非线性映射关系,主要包括持续法、人工神经网络、支持向量机和移动平均法等预测方法。
目前风电功率预测技术领域中,深度神经网络模型为主要的预测模型,因为其深度学习可以进行更深层次的数据挖掘和数据分析,预测模型具有更好的训练效果,提高了风电功率预测精度。但是训练过程中随着深度神经网络模型的网络层数加深,精确度趋于饱和以及下降的趋势,称为网络退化现象,严重影响了模型训练效果和预测精度。
发明内容
本发明为解决传统深度神经网络预测模型训练过程中随着网络加深产生网络退化,模型难以训练以及预测精度较低等问题,提出了一种基于自适应深度残差网络的超短期风电功率预测方法。
为实现上述目的,本发明提供如下技术方案:
一种基于自适应深度残差网络的超短期风电功率预测方法,包括步骤如下:
S1,采集风电场历史数据,包括风速、温度、湿度、空气密度等气象数据和风电功率数据;
S2,采用Pearson相关系数法筛选出与风电功率相关程度高的变量,采用箱型图分析法处理异常数据;
S3,对预处理后的变量进行数据归一化处理;
S4,建立深度残差网络风电功率预测模型;
S5,采用自适应学习率AdaDelta优化算法训练预测模型,得到最佳参数;
S6,将训练数据输入到优化后基于深度残差网络的风电功率预测模型中进行训练;
S7,将预测数据输入到训练完成的预测模型中,输出变量即为待预测时刻的风电功率预测值;
S8,将预测值进行反归一化处理后得到最终的风电功率预测结果;
S9,建立评估指标体系,评估风电功率预测结果精确度。
优选的,S2中,对风电场历史数据进行数据预处理,采用Pearson相关系数法筛选出与风电功率相关程度高的变量,计算公式如下:
其中,rxy为气象数据变量x和风电功率变量y的相关系数,相关系数rxy在区间[-1,1]中,当rxy>0时,两变量成正相关,当rxy<0时,两变量成负相关,rxy的绝对值越大,则两变量的相关性越大;n为数据数量,x为历史数据中气象数据变量(风速,风向,温度,湿度等),y为历史数据中的风电功率变量,是分别为变量x,y的平均值。
箱型图分析法处理异常数据,计算公式如下:
IQR=Qu-Ql
[h1,h2]=[Ql-1.5IQR,Qu+1.5IQR]
其中,Qu为上四分位,Ql为下四分位,IQR为四分位间距,h1为最小观测值,h2为最大观测值,区间[h1,h2]外为异常数据值;假设相关性分析风速变量和功率变量的相关程度最高,以风速每0.5m/s内的风电功率为一个数据区间,由此筛选并删除不同风速区间内风电功率的异常数据。
优选的,S3中,预处理后的变量进行数据归一化处理,计算公式如下:
对采集的风电场历史数据变量风速,湿度,功率等进行归一化处理,其中,xmax为变量极大值,xmin为变量极小值,x为变量实际值,x*为数据归一化后的数值。
优选的,S4中,深度残差网络利用多层网络拟合残差映射,是通过短路机制加入残差单元的堆叠形成的深度神经网络模型。
优选的,S4中,建立深度残差网络风电功率预测模型,残差单元结构计算公式如下:
H(xl)=xl+F(xl)
yl=H(xl)+F(xl,Wl)
xl+1=f(yl)
其中,xl为第l个残差单元的输入,xl+1表示第l个单元的输出,f为relu激活函数,F(xl)为残差函数,代表着从堆积层中学习到的残差,若F(xl)=0,代表没有学习到新的特征,称此种情况为恒等映射,也记作H(xl)=xl,尽管残差为0,但是输入特征并没有任何损失;
基于上述公式,得出从网络浅层l到深层L的前向传播结果的如下公式:
根据链式规则,对上式求导得到反向传播结果的如下公式:
其中,为损失函数到达的梯度,式中数字1为在短路机制中能够无损失的传播梯度,另一项残差反向传播的时候会经过含有weights的层,不能直接传播,如果残差梯度很小的话,因为1的存在,模型训练过程中不会产生梯度爆炸和消失的情况。
优选的,S5中,采用自适应学习率AdaDelta优化算法策略的计算公式如下:
其中,gt=ΔJ(Wt)为损失函数关于W的梯度,α为衰减率,ε为很小的常数(避免式中分母为0),为模型前t-1次每一次步长更新后的累加求和,Wt为该模型第t次迭代的参数,E[g2]t表示前t次的梯度二次方的期望,从上式中可以看出AdaDelta优化算法不需要设置全局学习率。
优选的,S5中,采用自适应学习率AdaDelta优化算法训练预测模型计算,包括如下步骤:
S5.1设置衰减率α=0.95,常数ε=1e-6;
S5.2初始参数W1;
S5.3初始化累计变量E[g2]0=0,E[ΔW2]0=0;
S5.4设置t=1:T,循环以下步骤,直到t=T时,停止循环;
S5.5计算梯度:gt=ΔJ(Wt);
S5.8累积参数更新:E[ΔW2]t=αE[ΔW2]t-1+(1-α)ΔWt 2;
S5.9应用更新:Wt+1=Wt+ΔWt;
优选的,S7中,将预测数据输入到训练完成的预测模型中,输出预测结果,将测试数据输入预测模型后得到预测值:Pwp*=fDRN(P*,x*),其中,Pwp*为深度残差网络预测模型输出的归一化预测值。
优选的,S8中,将预测值进行反归一化处理后得到最终的风电功率预测结果公式如下:
其中,Pwp为深度残差网络预测模型输出的实际预测值。
优选的,S9中,建立评估指标体系,评估风电功率预测结果精确度,风电功率预测结果评估指标为:
均方根误差(RMSE),计算公式如下:
平均绝对误差(MAE),计算公式如下:
与现有技术相比本发明提供一种基于自适应深度残差网络的超短期风电功率预测方法有益效果如下:
1.本发明提供的一种基于自适应深度残差网络的超短期风电功率预测方法,本发明基于深度残差网络理论,解决了传统深度神经网络预测模型训练过程中随着网络加深产生网络退化的问题,优化了模型的训练效果,提高了模型的预测精度。
2.本发明提供的一种基于自适应深度残差网络的超短期风电功率预测方法,风具有波动性和间歇性的特点,会导致历史数据中存在异常数据值,通过箱型图分析法能可靠的识别和剔除异常数据,由于历史数据变量很多,众多变量参与模型的训练不仅会降低训练速度,而且和功率相关性不高的变量还会影响训练效果,采用Pearson相关系数法筛选出与风电功率相关程度高的变量,优化训练效果,提高预测精度;
3.本发明提供的一种基于自适应深度残差网络的超短期风电功率预测方法,各变量的量纲不同,数值上的差距也很大,而且预测模型中非线性激活函数输入输出有范围,所以对数据进行归一化处理能够平等的考虑各变量对风电功率的作用;
4.本发明提供的一种基于自适应深度残差网络的超短期风电功率预测方法,目前大多深度神经网络预测模型训练过程中随着网络加深产生网络退化的问题,深度残差网络利用多层网络拟合残差映射,是通过短路机制加入残差单元的堆叠形成的深度神经网络模型,可以有效解决深度神经网络模型在层数加深后产生的网络退化问题。
5.本发明提供的一种基于自适应深度残差网络的超短期风电功率预测方法,深度残差网络初始权重容易陷入局部最小值,所以选择自适应AdaDelta优化算法训练预测模型,该算法不需要设置全局学习率,而且训练速度快,加速效果好,便于寻找模型最优参数,不仅优化了模型的训练效果,而且提高了模型预测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于自适应深度残差网络的超短期风电功率预测方法的流程图;
图2为本发明提供的一种基于自适应深度残差网络的超短期风电功率预测方法的箱型图分析法结构原理图;
图3为本发明提供的一种基于自适应深度残差网络的超短期风电功率预测方法的残差学习单元结构原理图;
图4为本发明提供一种基于自适应深度残差网络的超短期风电功率预测方法的自适应学习率AdaDelta优化算法的流程图。
具体实施方式
下面将通过具体实施方式对本发明的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1-4所示,所述一种基于自适应深度残差网络的超短期风电功率预测方法;
如图1所示,所述一种基于自适应深度残差网络的超短期风电功率预测方法,包括步骤如下:
S1,采集风电场历史数据,包括风速、温度、湿度、空气密度等气象数据和风电功率数据;
S2,采用Pearson相关系数法筛选出与风电功率相关程度高的变量,采用箱型图分析法处理异常数据;
S3,对预处理后的变量进行数据归一化处理;
S4,建立深度残差网络风电功率预测模型;
S5,采用自适应学习率AdaDelta优化算法训练预测模型,得到最佳参数;
S6,将训练数据输入到优化后基于深度残差网络的风电功率预测模型中进行训练;
S7,将预测数据输入到训练完成的预测模型中,输出变量即为待预测时刻的风电功率预测值;
S8,将预测值进行反归一化处理后得到最终的风电功率预测结果;
S9,建立评估指标体系,评估风电功率预测结果精确度。
优选的,S1中,采用北美大陆某个风电场公布的历史数据,包括风速、温度、湿度、空气密度等气象数据和风电功率数据。
优选的,S2中,对风电场历史数据进行数据预处理,采用Pearson相关系数法筛选出与风电功率相关程度高的变量,计算公式如下:
其中,rxy为气象数据变量x和风电功率变量y的相关系数,相关系数rxy在区间[-1,1]中,当rxy>0时,两变量成正相关,当rxy<0时,两变量成负相关,rxy的绝对值越大,则两变量的相关性越大;n为数据数量,x为历史数据中气象数据变量(风速,风向,温度,湿度等),y为历史数据中的风电功率变量,是分别为变量x,y的平均值。
箱型图分析法处理异常数据,计算公式如下:
IQR=Qu-Ql
[h1,h2]=[Ql-1.5IQR,Qu+1.5IQR]
其中,Qu为上四分位,Ql为下四分位,IQR为四分位间距,h1为最小观测值,h2为最大观测值,区间[h1,h2]外为异常数据值;假设相关性分析风速变量和功率变量的相关程度最高,以风速每0.5m/s内的风电功率为一个数据区间,由此筛选并删除不同风速区间内风电功率的异常数据。
优选的,S3中,预处理后的变量进行数据归一化处理,计算公式如下:
对采集的风电场历史数据变量风速,湿度,功率等进行归一化处理,其中,xmax为变量极大值,xmin为变量极小值,x为变量实际值,x*为数据归一化后的数值。
优选的,S4中,深度残差网络利用多层网络拟合残差映射,是通过短路机制加入残差单元的堆叠形成的深度神经网络模型。
优选的,S4中,建立深度残差网络风电功率预测模型,残差单元结构计算公式如下:
H(xl)=xl+F(xl)
yl=H(xl)+F(xl,Wl)
xl+1=f(yl)
其中,xl为第l个残差单元的输入,xl+1表示第l个单元的输出,f为relu激活函数,F(xl)为残差函数,代表着从堆积层中学习到的残差,若F(xl)=0,代表没有学习到新的特征,称此种情况为恒等映射,也记作H(xl)=xl,尽管残差为0,但是输入特征并没有任何损失;
基于上述公式,得出从网络浅层l到深层L的前向传播结果的如下公式:
根据链式规则,对上式求导得到反向传播结果的如下公式:
其中,为损失函数到达的梯度,式中数字1为在短路机制中能够无损失的传播梯度,另一项残差反向传播的时候会经过含有weights的层,不能直接传播,如果残差梯度很小的话,因为1的存在,模型训练过程中不会产生梯度爆炸和消失的情况。
优选的,S5中,采用自适应学习率AdaDelta优化算法策略的计算公式如下:
其中,gt=ΔJ(Wt)为损失函数关于W的梯度,α为衰减率,ε为很小的常数(避免式中分母为0),为模型前t-1次每一次步长更新后的累加求和,Wt为该模型第t次迭代的参数,E[g2]t表示前t次的梯度二次方的期望,从上式中可以看出AdaDelta优化算法不需要设置全局学习率。
优选的,S5中,采用自适应学习率AdaDelta优化算法训练预测模型计算,包括如下步骤:
S5.1设置衰减率α=0.95,常数ε=1e-6;
S5.2初始参数W1;
S5.3初始化累计变量E[g2]0=0,E[ΔW2]0=0;
S5.4设置t=1:T,循环以下步骤,直到t=T时,停止循环;
S5.5计算梯度:gt=ΔJ(Wt);
S5.8累积参数更新:E[ΔW2]t=αE[ΔW2]t-1+(1-α)ΔWt 2;
S5.9应用更新:Wt+1=Wt+ΔWt;
优选的,S7中,将预测数据输入到训练完成的预测模型中,输出预测结果,将测试数据输入预测模型后得到预测值:Pwp*=fDRN(P*,x*),其中,Pwp*为深度残差网络预测模型输出的归一化预测值。
优选的,S8中,将预测值进行反归一化处理后得到最终的风电功率预测结果公式如下:
其中,Pwp为深度残差网络预测模型输出的实际预测值。
优选的,S9中,建立评估指标体系,评估风电功率预测结果精确度,风电功率预测结果评估指标为:
均方根误差(RMSE),计算公式如下:
平均绝对误差(MAE),计算公式如下:
其中,N为样本个数,Pe为风电场总装机额定容量,Pi是i时刻风电场实际功率值,Pi wp是i时刻风电场预测功率值。
本实施例中,提供一种基于自适应深度残差网络的超短期风电功率预测方法,深度残差网络通过短路机制加入残差单元,利用多层网络拟合残差映射,解决深度神经网络训练过程中产生的退化问题,通过自适应AdaDelta优化算法训练深度残差网络,寻得最佳参数,提高预测模型泛化能力,提高预测精度。
如图1所示,本发明的基于一种自适应基于深度残差网络的超短期风电功率预测方法,具体包括以下步骤:
S1.本发明采用北美大陆某个风电场公布的历史数据,包括风速、温度、湿度、空气密度等气象数据和风电功率数据。
S2.由于风具有波动性和间歇性的特点,所以风电场采集的历史数据中会有丢失和错误的数据,这些数据会干扰预测模型的训练过程,降低训练效果,所以本发明采用箱型图分析法剔除异常数据。建立风电功率预测模型后,输入变量越多,会提升模型泛化能力,而且能学习到更多特征,但是有些变量与风电功率的相关性很低,无关的变量信息反而会影响模型训练效果,还会减缓训练速度,进而降低预测精度,所以进行相关性分析在风电功率预测过程中至关重要,本发明采用Pearson相关系数法筛选出与风电功率相关程度高的变量。所述具体步骤为:
Pearson相关系数法筛选出与风电功率相关程度高的变量:
选取风电场3个月的历史数据进行相关性分析,将各气象数据分别和风电功率数据带入下述Pearson相关系数公式,得出各气象变量和功率变量的相关系数rxy,凭借相关系数rxy绝对值大小筛选出风电功率相关程度高的变量。Pearson相关系数公式如下:
其中,rxy为气象数据变量x和风电功率变量y的相关系数,相关系数rxy在区间[-1,1]中,当rxy>0时,两变量成正相关,当rxy<0时,两变量成负相关,rxy的绝对值越大,则两变量的相关性越大;n为数据数量,x为历史数据中气象数据变量(风速,风向,温度,湿度等),y为历史数据中的风电功率变量,是分别为变量x,y的平均值。
箱型图分析法处理异常数据:
如图2所示,箱型图提供了一个识别异常值的标准,箱型图分析法规定上下两界之间的区域以外的数值为异常数据。上(下)四分位Qu的定义是所有样本只有四分之一的数值大于(小于)Qu,IQR定义为上四分位和下四分位的差值,下界和上届分别定义为Ql-1.5IQR,Qu+1.5IQR。
假设相关性分析风速变量和功率变量的相关程度最高,以风速每0.5m/s内的风电功率为一个数据区间,由此筛选并删除不同风速区间内风电功率的异常数据。箱型图分析法公式如下:
IQR=Qu-Ql
[h1,h2]=[Ql-1.5IQR,Qu+1.5IQR]
其中,Qu为上四分位,Ql为下四分位,IQR为四分位间距,h1为最小观测值,h2为最大观测值,区间[h1,h2]外为异常数据值。
S3.数据归一化在多变量参与的风电功率预测中是一项基本工作,不同变量的量纲单位是不同的,而且数值大小也存在很大差距,这种情况会影响模型数据分析的结果,进而影响预测模型的训练效果,为了消除各变量量纲单位的限制,本发明对预处理后的历史数据进行归一化处理。所述具体方法为:
将气象变量数据和功率变量数据分别带入下述公式中,会得到处于区间[-1,1]的无量纲数值,各变量处于同一数量级,适合进行数据分析和模型训练。数据归一化公式如下:
对采集的风电场历史数据变量风速,湿度,功率等进行归一化处理,其中,xmax为变量极大值,xmin为变量极小值,x为变量实际值,x*为数据归一化后的数值。
S4.深度神经网络的深度对于风电预测模型的性能很重要,神经网络的层数加深后,网络可以进行更深的数据挖掘和更复杂的特征提取,所以原则上预测模型在训练过程中会取得更好的效果。但实际是随着网络层数的增多,神经网络出现了网络退化现象,准确度出现饱和甚至衰减的趋势。考虑到目前大多深度神经网络预测模型训练过程中随着网络加深产生网络退化的问题,深度残差网络利用多层网络拟合残差映射,是通过短路机制加入残差单元的堆叠形成的深度神经网络模型,可以很好的解决深度神经网络退化问题。如图3所示,图中是一个残差学习单元,可从图中看出深度残差网络运用短路连接形式实现恒等映射。所述具体方法为:
残差单元结构:
H(xl)=xl+F(xl)
yl=H(xl)+F(xl,Wl)
xl+1=f(yl)
其中,xl为第l个残差单元的输入,xl+1表示第l个单元的输出,f为relu激活函数,F(xl)为残差函数,代表着从堆积层中学习到的残差,若F(xl)=0,代表没有学习到新的特征,称此种情况为恒等映射,也记作H(xl)=xl,尽管残差为0,但是输入特征并没有任何损失。
基于以上公式,得出从网络浅层l到深层L的前向传播结果:
根据链式规则,对上式求导得到反向传播结果:
其中,为损失函数到达的梯度,式中数字1为在短路机制中能够无损失的传播梯度,另一项残差反向传播的时候会经过含有weights的层,不能直接传播。如果残差梯度很小的话,因为1的存在,模型训练过程中不会产生梯度爆炸和消失的情况。
S5.深度神经网络预测模型采用优化算法寻找最佳参数是必不可少的步骤,传统的优化算法都需要去设定一个固定的学习率η,或者根据预测模型训练次数以及网络深度来调节学习率η,但是都忽略了学习率η可能出现其他变化,因为学习率η对预测模型的训练效果以及预测精度影响很大,所以预测模型训练过程中需要不断地调整和更新全局学习率,优化模型训练效果。本发明采用自适应学习率AdaDelta优化算法来优化深度残差网络预测模型,因为该算法不需要设置全局学习率,而且训练速度快,加速效果好,便于寻找模型最优参数,不仅提高了模型的泛化能力,而且还能提高模型预测精度;
自适应学习率AdaDelta优化算法策略:
其中,gt=ΔJ(Wt)为损失函数关于W的梯度,α为衰减率,ε为很小的常数(避免式中分母为0),为模型前t-1次每一次步长更新后的累加求和,Wt为该模型第t次迭代的参数,E[g2]t表示前t次的梯度二次方的期望,从上式中可以看出AdaDelta优化算法不需要设置全局学习率。
如图4所示,具体AdaDelta优化算法计算步骤如下:
S5.1.设置衰减率和小常数:通过大量实验证明,自适应学习率AdaDelta优化算法的衰减率α设置为0.95对模型的训练效果较好;小常数ε一般设置为1e-6,为了防止分母为0使运算失去意义;
S5.2.初始参数W1;
S5.3.初始化累计变量:E[g2]0=0,E[ΔW2]0=0;
S5.4.设置t=1:T,循环以下步骤,直到t=T时,停止循环;
S5.5.计算梯度:gt=ΔJ(Wt);
S5.8.累积参数更新:E[ΔW2]t=αE[ΔW2]t-1+(1-α)ΔWt 2;
S5.9.应用更新:Wt+1=Wt+ΔWt;
通过以上自适应学习率AdaDelta优化算法的计算步骤,寻找到深度残差网络风电功率预测模型的最佳参数,优化了预测模型的训练效果,进而提高预测精度。
S6.将训练数据输入到优化后的基于深度残差网络的风电功率预测模型中进行训练;
S7.将预测数据输入到训练完成的预测模型中,输出预测结果具体包括:
将测试数据输入预测模型后得到预测值:Pwp*=fDRN(P*,x*),其中,Pwp*为深度残差网络预测模型输出的归一化预测值。
S8.由于数据均已做过归一化处理,所以预测模型输出结果也为归一化处理后的功率值,为了使输出结果具有原来的物理意义,需要对输出结果进行反归一化处理,预测值进行反归一化处理后才得到最终的风电功率预测结果。数据反归一化公式如下:
其中,Pwp为深度残差网络预测模型输出的实际预测值。
S9.为了验证本发明中基于自适应深度残差网络的超短期风电功率预测模型的实用性和可行性,需要对本发明中预测模型输出的风电功率预测精度进行评估,选用风电功率预测领域中常用的两个评估指标,评估指标如下:
风电功率预测结果评估指标:
均方根误差(RMSE):
平均绝对误差(MAE):
其中,N为样本个数,Pe为风电场总装机额定容量,Pi是i时刻风电场实际功率值,Pi wp是i时刻风电场预测功率值。
本发明以上所描述的实施例只是用来说明本发明的技术方案,只代表本发明的一部分实施例,不用于限制本发明专利的实施范围,任何熟知本领域的专业人士均可对本发明公开的技术方案进行等同变化和改进,但是基于本发明各种方式的修改以及不做出任何创新性劳动前提下所获得的其他所有实施例,均属于本发明专利限定保护范围。
Claims (10)
1.一种基于自适应深度残差网络的超短期风电功率预测方法,其特征在于,包括步骤如下:
S1,采集风电场历史数据,包括风速、温度、湿度、空气密度等气象数据和风电功率数据;
S2,采用Pearson相关系数法筛选出与风电功率相关程度高的变量,采用箱型图分析法处理异常数据;
S3,对预处理后的变量进行数据归一化处理;
S4,建立深度残差网络风电功率预测模型;
S5,采用自适应学习率AdaDelta优化算法训练预测模型,得到最佳参数;
S6,将训练数据输入到优化后基于深度残差网络的风电功率预测模型中进行训练;
S7,将预测数据输入到训练完成的预测模型中,输出变量即为待预测时刻的风电功率预测值;
S8,将预测值进行反归一化处理后得到最终的风电功率预测结果;
S9,建立评估指标体系,评估风电功率预测结果精确度。
2.根据权利要求1所述基于自适应深度残差网络的超短期风电功率预测方法,其特征在于,S2中,对风电场历史数据进行数据预处理,采用Pearson相关系数法筛选出与风电功率相关程度高的变量,计算公式如下:
其中,rxy为气象数据变量x和风电功率变量y的相关系数,相关系数rxy在区间[-1,1]中,当rxy>0时,两变量成正相关,当rxy<0时,两变量成负相关,rxy的绝对值越大,则两变量的相关性越大;n为数据数量,x为历史数据中气象数据变量(风速,风向,温度,湿度等),y为历史数据中的风电功率变量,是分别为变量x,y的平均值;
箱型图分析法处理异常数据,计算公式如下:
IQR=Qu-Ql
[h1,h2]=[Ql-1.5IQR,Qu+1.5IQR]
其中,Qu为上四分位,Ql为下四分位,IQR为四分位间距,h1为最小观测值,h2为最大观测值,区间[h1,h2]外为异常数据值;假设相关性分析风速变量和功率变量的相关程度最高,以风速每0.5m/s内的风电功率为一个数据区间,由此筛选并删除不同风速区间内风电功率的异常数据。
4.根据权利要求1所述基于自适应深度残差网络的超短期风电功率预测方法,其特征在于,S4中,深度残差网络利用多层网络拟合残差映射,是通过短路机制加入残差单元的堆叠形成的深度神经网络模型。
5.根据权利要求1所述基于自适应深度残差网络的超短期风电功率预测方法,其特征在于,S4中,建立深度残差网络风电功率预测模型,残差单元结构计算公式如下:
H(xl)=xl+F(xl)
yl=H(xl)+F(xl,Wl)
xl+1=f(yl)
其中,xl为第l个残差单元的输入,xl+1表示第l个单元的输出,f为relu激活函数,F(xl)为残差函数,代表着从堆积层中学习到的残差,若F(xl)=0,代表没有学习到新的特征,称此种情况为恒等映射,也记作H(xl)=xl,尽管残差为0,但是输入特征并没有任何损失;
基于上述公式,得出从网络浅层l到深层L的前向传播结果的如下公式:
根据链式规则,对上式求导得到反向传播结果的如下公式:
7.根据权利要求1所述基于自适应深度残差网络的超短期风电功率预测方法,其特征在于,S5中,采用自适应学习率AdaDelta优化算法训练预测模型计算,包括如下步骤:
S5.1设置衰减率α=0.95,常数ε=1e-6;
S5.2初始参数W1;
S5.3初始化累计变量E[g2]0=0,E[ΔW2]0=0;
S5.4设置t=1:T,循环以下步骤,直到t=T时,停止循环;
S5.5计算梯度:gt=ΔJ(Wt);
S5.8累积参数更新:E[ΔW2]t=αE[ΔW2]t-1+(1-α)ΔWt 2;
S5.9应用更新:Wt+1=Wt+ΔWt;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011007198.8A CN112329979A (zh) | 2020-09-23 | 2020-09-23 | 一种基于自适应深度残差网络的超短期风电功率预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011007198.8A CN112329979A (zh) | 2020-09-23 | 2020-09-23 | 一种基于自适应深度残差网络的超短期风电功率预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112329979A true CN112329979A (zh) | 2021-02-05 |
Family
ID=74303121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011007198.8A Pending CN112329979A (zh) | 2020-09-23 | 2020-09-23 | 一种基于自适应深度残差网络的超短期风电功率预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112329979A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113191091A (zh) * | 2021-06-03 | 2021-07-30 | 上海交通大学 | 基于混合深度学习机制的风速预测方法及系统、设备 |
CN113297791A (zh) * | 2021-05-18 | 2021-08-24 | 四川大川云能科技有限公司 | 一种基于改进dbn的风功率组合预测方法 |
CN113964825A (zh) * | 2021-10-21 | 2022-01-21 | 中国电建集团华东勘测设计研究院有限公司 | 基于二次分解和BiGRU的超短期风电功率预测方法 |
CN114048930A (zh) * | 2022-01-13 | 2022-02-15 | 广东电网有限责任公司揭阳供电局 | 一种超短期风电功率预测方法和装置 |
CN114742250A (zh) * | 2022-04-19 | 2022-07-12 | 深圳市鑫伟通达数控科技有限公司 | 一种基于数据分析的数控设备运行故障预测系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107396124A (zh) * | 2017-08-29 | 2017-11-24 | 南京大学 | 基于深度神经网络的视频压缩方法 |
US20180307912A1 (en) * | 2017-04-20 | 2018-10-25 | David Lee Selinger | United states utility patent application system and method for monitoring virtual perimeter breaches |
CN110070226A (zh) * | 2019-04-24 | 2019-07-30 | 河海大学 | 基于卷积神经网络与元学习的光伏功率预测方法及系统 |
CN110163213A (zh) * | 2019-05-16 | 2019-08-23 | 西安电子科技大学 | 基于视差图和多尺度深度网络模型的遥感图像分割方法 |
US10426442B1 (en) * | 2019-06-14 | 2019-10-01 | Cycle Clarity, LLC | Adaptive image processing in assisted reproductive imaging modalities |
CN110378353A (zh) * | 2019-06-06 | 2019-10-25 | 杭州云秒科技有限公司 | 一种舌象特征提取方法、系统和计算机可读存储介质 |
CN110610715A (zh) * | 2019-07-29 | 2019-12-24 | 西安工程大学 | 一种基于cnn-dnn混合神经网络的降噪方法 |
CN110942194A (zh) * | 2019-11-27 | 2020-03-31 | 徐州上若科技有限公司 | 一种基于tcn的风电预测误差区间评估方法 |
CN111697621A (zh) * | 2020-06-23 | 2020-09-22 | 石家庄铁道大学 | 基于ewt-pdbn组合的短期风电功率预测方法 |
-
2020
- 2020-09-23 CN CN202011007198.8A patent/CN112329979A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180307912A1 (en) * | 2017-04-20 | 2018-10-25 | David Lee Selinger | United states utility patent application system and method for monitoring virtual perimeter breaches |
CN107396124A (zh) * | 2017-08-29 | 2017-11-24 | 南京大学 | 基于深度神经网络的视频压缩方法 |
CN110070226A (zh) * | 2019-04-24 | 2019-07-30 | 河海大学 | 基于卷积神经网络与元学习的光伏功率预测方法及系统 |
CN110163213A (zh) * | 2019-05-16 | 2019-08-23 | 西安电子科技大学 | 基于视差图和多尺度深度网络模型的遥感图像分割方法 |
CN110378353A (zh) * | 2019-06-06 | 2019-10-25 | 杭州云秒科技有限公司 | 一种舌象特征提取方法、系统和计算机可读存储介质 |
US10426442B1 (en) * | 2019-06-14 | 2019-10-01 | Cycle Clarity, LLC | Adaptive image processing in assisted reproductive imaging modalities |
CN110610715A (zh) * | 2019-07-29 | 2019-12-24 | 西安工程大学 | 一种基于cnn-dnn混合神经网络的降噪方法 |
CN110942194A (zh) * | 2019-11-27 | 2020-03-31 | 徐州上若科技有限公司 | 一种基于tcn的风电预测误差区间评估方法 |
CN111697621A (zh) * | 2020-06-23 | 2020-09-22 | 石家庄铁道大学 | 基于ewt-pdbn组合的短期风电功率预测方法 |
Non-Patent Citations (2)
Title |
---|
何龙: "《深入理解XGBoost 高效机器学习算法与进阶》", 31 May 2020 * |
焦李成等: "《人工智能、类脑计算与图像解译前沿》", 31 January 2020 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113297791A (zh) * | 2021-05-18 | 2021-08-24 | 四川大川云能科技有限公司 | 一种基于改进dbn的风功率组合预测方法 |
CN113297791B (zh) * | 2021-05-18 | 2024-02-06 | 四川大川云能科技有限公司 | 一种基于改进dbn的风功率组合预测方法 |
CN113191091A (zh) * | 2021-06-03 | 2021-07-30 | 上海交通大学 | 基于混合深度学习机制的风速预测方法及系统、设备 |
CN113964825A (zh) * | 2021-10-21 | 2022-01-21 | 中国电建集团华东勘测设计研究院有限公司 | 基于二次分解和BiGRU的超短期风电功率预测方法 |
CN114048930A (zh) * | 2022-01-13 | 2022-02-15 | 广东电网有限责任公司揭阳供电局 | 一种超短期风电功率预测方法和装置 |
CN114742250A (zh) * | 2022-04-19 | 2022-07-12 | 深圳市鑫伟通达数控科技有限公司 | 一种基于数据分析的数控设备运行故障预测系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112329979A (zh) | 一种基于自适应深度残差网络的超短期风电功率预测方法 | |
CN108734331B (zh) | 基于lstm的短期光伏发电功率预测方法及系统 | |
CN112348271A (zh) | 基于vmd-ipso-gru的短期光伏功率预测方法 | |
CN105631558A (zh) | 基于相似日的bp神经网络光伏发电系统功率预测方法 | |
Xu et al. | A water level prediction model based on ARIMA-RNN | |
CN104408562A (zh) | 一种基于bp神经网络的光伏系统发电效率综合评估方法 | |
CN113554466A (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
CN111695666A (zh) | 一种基于深度学习的风电功率超短期条件概率预测方法 | |
CN106611243A (zh) | 一种基于garch模型的风速预测残差修正方法 | |
CN114357670A (zh) | 一种基于bls和自编码器的配电网用电数据异常预警方法 | |
CN106845080A (zh) | 基于差异修正的景区旅游气象灾害智能预测方法 | |
CN111723516B (zh) | 一种基于自适应深度神经网络替代模型的海水入侵模拟-优化方法 | |
CN114298377A (zh) | 一种基于改进极限学习机的光伏发电预测方法 | |
CN118428754A (zh) | 一种新能源发电输入功率预测方法及系统 | |
CN107330248A (zh) | 一种基于改进型神经网络的短期风功率预测方法 | |
CN112308214A (zh) | 一种用于冷源致灾物灾害预测的深度学习改进算法 | |
Lyu et al. | Water level prediction model based on GCN and LSTM | |
Xiyun et al. | A combination method in photovoltaic power forecasting based on the correlation coefficient | |
Wang et al. | A novel structure adaptive grey seasonal model with data reorganization and its application in solar photovoltaic power generation prediction | |
CN115660032A (zh) | 基于BI-LSTM神经网络融合attention机制的楼宇屋顶光伏功率预测方法 | |
CN112949938B (zh) | 改善训练样本类别不均衡的风电爬坡事件直接预报方法 | |
Zhao et al. | Short-term photovoltaic power prediction based on DE-GWO-LSTM | |
Li et al. | A gray rbf model improved by genetic algorithm for electrical power forecasting | |
Zhang et al. | Prediction of Distribution Network Operation Trend Based on the Secondary Modal Decomposition and LSTM-MFO Algorithm | |
Adyanti et al. | Optimal ANFIS model for forecasting system using different FIS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210205 |