CN116451049B - 基于代理辅助进化神经网络结构搜索的风电功率预测方法 - Google Patents
基于代理辅助进化神经网络结构搜索的风电功率预测方法 Download PDFInfo
- Publication number
- CN116451049B CN116451049B CN202310397284.1A CN202310397284A CN116451049B CN 116451049 B CN116451049 B CN 116451049B CN 202310397284 A CN202310397284 A CN 202310397284A CN 116451049 B CN116451049 B CN 116451049B
- Authority
- CN
- China
- Prior art keywords
- neural network
- training
- network structure
- dnn
- delay variable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 43
- 238000005070 sampling Methods 0.000 claims description 20
- 238000003066 decision tree Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 13
- 238000007637 random forest analysis Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000035772 mutation Effects 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 239000003795 chemical substances by application Substances 0.000 description 11
- 210000002569 neuron Anatomy 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002803 fossil fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
- H02J2300/20—The dispersed energy generation being of renewable origin
- H02J2300/28—The renewable source being wind energy
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Power Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于代理辅助进化神经网络结构搜索的风电功率预测方法。本发明针对深度神经网络的结构和延迟变量选择困难、现有进化神经网络结构搜索计算效率低等问题,通过代理辅助模型去间接评价适应度,以提高搜索效率。具体步骤为:首先,使用深度神经网络去捕捉高维非线性时空特征,同时将延迟变量纳入进化神经网络结构搜索;其次,将深度神经网络结构与延迟变量进行联合编码;然后使用代理模型提升进化神经网络结构搜索的搜索效率,得到最优神经网络结构;最后,对最优神经网络结构进行重训练调优,得到其网络权重。本发明将代理模型引入到进化神经网络结构搜索中,与传统的进化神经网络搜索方法相比具有较高的预测性能和较低的时间消耗。
Description
技术领域
本发明涉及风电功率预测技术领域,尤其涉及基于代理辅助进化神经网络结构搜索的风电功率预测方法。
背景技术
随着全球化石燃料的燃烧对环境的污染加剧,促使了可再生能源的需求和发展,而风能由于其低成本以及无污染特性,已成为各国电力系统组成的关键部分。然而,风能的间歇性和随机性以及风电场输出功率的不稳定性给预测、规划和安全有效的将其整合到电力系统带来了各种挑战。准确的风电功率预测能有助于电网系统、能源市场等稳定电能供应,并协助调度备用电源和管理供应,以满足电力需求。
目前,风电功率预测方法大致可分为物理方法、统计学方法、人工智能方法和混合方法四个方法。随着传感器和检测技术的发展,基于数据驱动的人工智能预测方法为目前最广泛的方法。但风电功率具有较强的高维非线性时空特征,传统机器学习方法并不能很好的捕捉这种非线性关系。深度神经网络(DNN)因具有较强的非线性拟合能力,并且可以从大量的训练数据中学习风电功率潜在的变化关系。近年来,基于DNN的风电功率预测方法被不断的提出。尽管DNN在风电功率具有较好的预测性能,但如何设计一个好的DNN结构成了较大难题。在风电功率预测中,只有当DNN结构、结构相关的权重以及嵌入的延迟变量同时达到最优合时,DNN的性能才会达到最佳。在实际中,最先进的DNN结构确定和延迟变量选择是极其困难的。神经网络结构搜索(NAS)旨在实现自动化设计神经网络结构的方法。原则上,NAS是一个复杂的优化问题,涉及各种挑战,例如,复杂约束、离散表示和计算成本高等问题。进化神经网络结构搜索(ENAS)是一种基于进化计算的NAS算法,在解决NAS的全自动、复杂约束、多目标等问题上起到关键作用。即便EN AS已经取得了一些研究进展。但是,现有的ENAS算法还存在很多的局限性。一方面,目前的ENAS算法对计算资源的巨大需求,即便在微量的数据集中,也需要大量的计算时间。另一方面,即便在时间序列预测中,现有的ENAS算法也是针对神经网络自身的结构,而忽略了延迟变量的选择也是影响神经网络结构性能关键因素。
发明内容
针对现有技术的不足,本发明提供了一种基于代理辅助神经网络结构搜索的风电功率预测方法,有效提高了预测模型的准确性以及大量减少了模型的训练时间。
本发明为解决技术问题采用如下技术方案:本发明提供一种基于代理辅助进化神经网络结构搜索的风电功率预测方法,所述方法包括以下步骤:
步骤1收集风电场两年内完整的原始历史风速、风向、功率序列数据DRaw∈Rm×3,根据不同的预测时长构造建模数据集D。
步骤2定义结构搜索空间,然后对结构搜索空间进行采样,最后对采样的结构进行整数编码。
步骤3将采样的结构进行预训练,并在验证集上得到采样结构的验证误差;
步骤4将步骤2采样的结构与步骤3得到的验证误差分别以特征、标签的形式构建为新的训练集Xnew,并将其构建为代理辅助模型;
步骤5利用进化计算算法,用代理模型间接评价适应度,然后迭代优化得到最优的神经网络结构;
步骤6使用风电功率训练数据对搜索得到的最优结构进行训练调优,收敛后并使用其在测试集上表征模型性能。
进一步地,所述步骤1中历史风电场运行数据,D={X,y},其中m为样本个数,n=f×l,f为特征数;本发明将风电数据视为多变量时间序列处理,输入特征为历史风速、风向、功率,因此f=3,l为延迟变量数,需要凭Takens理论设计一个最大延迟变量数,y为预测变量即风电功率实际值;并根据时间顺序,将数据划分为Dy1,Dy2两年数据。将Dy1作为训练集,Dy2中第一季度的数据为验证集Dval,剩余三个季度的数据分别为测试集Dtest1、Dtest2、Dtest3。
进一步地,所述步骤2定义搜索空间、结构采样和结构编码,具体过程如下:
(1)定义搜索空间:根据DNN自身的结构以及时间序列预测自身参数,如神经网络层数,神经元个数以及延迟变量等,预定义一个较大的搜索空间。
(2)结构采样:搜索空间主要包括两部分,一是DNN结构参数,另一个是输入的延迟变量,在定义的搜索空间中随机采样获得N个结构样本。
(3)结构编码:随机初始化的个体为DNN结构和延迟变量的选择,本发明采用联合编码方式,将DNN结构用整数编码,延迟变量的选择用二进制编码,1、0分别代表当前时刻的延迟变量是否选择。此外,DNN是由自身结构组成,如隐藏层神经元个数、神经网络层数等,所以它的长度是固定的;延迟变量块为延迟变量的选择,它的长度不是固定的,为步骤2设计的最大延迟变量数。
进一步地,所述步骤3用训练集Dy1训练采样的DNN结构和延迟变量选择,并保存为DNNn,用验证集Dval,得到DNNn的预测值yn,最后计算Dval在DNNn上的均方根误差(RMSE),RMSE计算公式如下:
其中,Nval为验证集的样本个数,yi分别为预测值和真实值。
进一步地,所述步骤4利用训练集{(Xsur,ysur)),构建代理辅助模型modelsur。其中,Xsur为采样后的DNN结构与延迟变量选择,ysur为步骤4得到的均方根误差。具体训练步骤如下:
(1)将步骤3采样得到的M个样本及其对应的RMSE,分别作为特征、标签保存为数据集Xnew。
(2)数据归一化。将数据集Xnew进行标准化处理,标准化公式如下式所示:
其中,为归一化后的数据集,μ为样本均值,σ为样本标准差。
(3)代理模型的选取原则上是任意的回归模型。但不同的回归模型对不同维度的训练集拟合优势显著不同,与其他回归模型相比,随机森林的优点是直接接受离散数据作为输入,几乎不需要额外的参数进行调优,也不依赖于大量的训练数据。这些优点正是构建代理模型所需要的。为此,本发明采用随机森林作为代理模型,并用数据集Xnew训练随机森林代理模型。随机森林代理模型构建如下:
1)首先,对输入特征进行随机特征选择,构成K个特征子集;
2)随后,每个随机特征子集均训练得到一个决策树,训练得到K个决策树;
3)最后,将K个决策树进行集成得到最终结果。采用的训练原则是最小化均方误差(MSE),即对于任意划分特征A,对应的任意划分点s两边划分成的数据集D1和D2,求出使和各自集合的均方差最小,同时D1和D2的均方差之和最小所对应的特征和特征值划分点。表达式为:
其中,c1、c2分别为D1、D2数据集的样本输出均值,xi为第i个样本,yi为第i个样本输出真实值。
预测时,每一个决策树最终的预测结果为该样本点所到叶节点的均值,随机森林最终的预测结果为所有决策树预测结果的均值。
进一步地,所述步骤5利用进化算法,以modelsur间接评价适应度,迭代优化得到最优的神经网络结构。具体优化步骤如下:
(1)在预定义的搜索空间中,随机初始化N个代表DNN结构和延迟变量选择的个体,组成初始种群。
(2)将每个个体映射到相应的DNN结构和延迟变量,用modelsur计算每个个体的预测均方根误差用于适应度评价;
(3)根据适应度值选择父解,然后通过交叉和变异操作生成具有预定义搜索空间相同大小新的后代DNN结构和延迟变量;
(4)对组合后的种群进行环境选择,选择一个能存活到下一代的新种群;
(5)如果不满足终止条件,转到步骤(3)。否则,选择最适合的个体并终止进化过程。
进一步地,所述步骤6使用小批量随机梯度下降算法对最优结构进行训练调优,收敛后在测试集上获得模型性能。
与现有技术相比,本发明具有以下技术效果:深度神经网络能较好捕捉风电数据的高维非线性时空特征,而高性能的DNN预测模型依赖于合理的深度神经网络结构,但设计好的深度神经网络非常困难,同时延迟变量的确定也影响风电功率预测的准确性。本发明针对深度神经网络的结构和延迟变量选择困难、现有进化神经网络结构搜索计算效率低等问题,通过代理辅助模型去间接评价适应度,以提高搜索效率。具体步骤为:首先,使用深度神经网络去捕捉高维非线性时空特征,同时将延迟变量纳入进化神经网络结构搜索;其次,将深度神经网络结构与延迟变量进行联合编码;然后,使用代理模型提升进化神经网络结构搜索的搜索效率,得到最优神经网络结构;最后,对最优神经网络结构进行重训练调优,得到其网络权重。本发明将代理模型引入到进化神经网络结构搜索中,与传统的进化神经网络搜索方法相比具有较高的预测性能和较低的时间消耗。
附图说明
图1为所提方法风电功率预测流程图;
图2为所提方法结构联合编码示例图;
图3为提前1和2小时预测中不同预测方法的性能对比图(截取测试集前400个样本)。
具体实施方式
以下结合附图和具体实施例对本发明的技术方案作进一步详细说明。
实施例1
本案例研究的实际风能数据来自国际新能源实验室。将历史风速、风向、功率为输入,当前功率为输出,基于代理辅助神经网络结构搜索预测风电功率。
步骤1:选取国际新能源实验室的2011和2012年两年数据,2011年和2012年以5分钟的采样时间采集16MW风力机数据。下采样后,获得210,242个样本,采样间隔为15分钟。选取风速、风向和风电功率等三个重要特征作为输入变量。在实验中,建模数据被分为训练集、验证集和测试集三个部分,如表1所示。
表1实验中使用的数据集的划分
步骤2:本实施例以门控循环单元神经网络(GRU)为实验对象。定义搜索空间,然后对结构搜索空间进行采样,最后对采样的结构进行整数联合编码。具体实施步骤如下:
(1)定义搜索空间。隐藏层神经元个数h∈{1,2,...,100};GRU层数n∈{1,2,3};延迟变量长度d=20。
(2)结构采样。搜索空间主要包括两部分,一是GRU结构参数,另一个是输入的延迟变量,在搜索空间中随机采样获得600个样本。
(3)结构编码。随机初始化的个体为GRU模型结构,本发明采用一种联合编码方式,将GRU结构用整数编码,延迟变量的选择用二进制编码,1、0分别代表当前时刻的延迟变量是否选择。一个联合编码的结构表现型如图2所示。其中,GRU块是由隐藏层神经元个数以及GRU层数组成,所以它的长度固定为2;延迟变量块为延迟变量的选择,它的长度不是固定的。根据时间序列的延迟变量选择规律,延迟变量的长度必须要大于当前预测步长,但其不能选择过长,因为选择太远时刻的延迟变量对未来某时刻的功率相关性较低。基于此,针对本实施例数据的特性,选择最大延迟变量数为20,再在20个延迟变量中进一步搜索。
步骤3:在搜索空间中随机采样GRU神经网络的结构和延迟变量,一共采样600个样本。然后,以2011年整年的原始数据为训练集,预训练出600个结构样本所对应的GRU神经网络。随后,以2012年第一季度的原始数据为验证集,得到600个结构样本对应的模型预测均方根误差,最后将结构、验证误差分别为特征、标签的形式以保存为一个新的数据集{(Xsur,ysur)}。此外,GRU神经元更新公式如下所示:
rt=σ(Wt·[ht-1,xt])
zt=σ(Wz·[ht-1,xt])
其中,v(·)和tanh均为激活函数;rt和zt分别是重置门和更新门的输出;是候选隐藏状态,ht是隐藏状态,Wt、Wz、Wh是通过优化更新的权重矩阵。
步骤4:将步骤3的新的训练集{(Xsur,ysur)},构建为代理辅助模型modelsur。其中,Xsur为采样后的GRU结构和延迟变量,ysur为得到的均方根误差;具体实施步骤如下:
(1)将步骤采样得到的600个样本及其对应的RMSE,分别作为特征、标签的形式保存为数据集{(Xsur,ysur))。
(2)数据归一化。将数据集Xnew进行标准化处理,标准化公式如下式所示:
其中,为归一化后的数据集,μ为样本均值,σ为样本标准差。
(3)在数据集上构建随机森林代理辅助模型。首先,对输入特征进行随机特征选择,构成K个特征子集;随后,每个随机特征子集均训练得到一个决策树,训练得到K个决策树;最后,将K个决策树进行集成得到最终结果。采用的训练原则是最小化均方误差(MSE),即对于任意划分特征A,对应的任意划分点s两边划分成的数据集D1和D2,求出使和各自集合的均方差最小,同时D1和D2的均方差之和最小所对应的特征和特征值划分点。预测时,每一个决策树最终的预测结果为该样本点所到叶节点的均值,随机森林最终的预测结果为所有决策树预测结果的均值。
步骤5:利用进化算法,用modelsur间接评价适应度,迭代优化得到最优的神经网络结构。具体优化步骤如下:
(1)在预定义的搜索空间中,随机初始化50个代表GRU结构和延迟变量选择的个体,组成初始种群。
(2)将每个个体映射到相应的GRU结构和延迟变量,用modelsur计算每个个体的预测均方根误差即适应度计算;
(3)根据适应度值选择父解,然后通过交叉和变异操作生成具有预定义搜索空间相同大小的后代GRU结构和延迟变量;
(4)对组合后的种群进行环境选择,选择一个能存活到下一代的新种群;
(5)如果不满足终止条件,请转到步骤(3);否则,选择最适合的个体并终止进化过程;
步骤6:使用小批量随机梯度下降算法对最优结构进行训练调优,收敛后在测试集上获得模型性能。
本发明比较了如下方法:
(1)最佳采样法(Samplebest):采样一系列的GRU结构,训练并选择最优的GRU结构;
(2)基于低保真估计的进化神经网络结构搜索算法(LFE-ENAS):减少迭代次数,训练样本,以提高ENAS的搜索效率;
(3)进化神经网络结构搜索算法(ENAS):标准的ENAS算法;
(4)基于代理辅助进化神经网络结构搜索算法(SA-ENAS):本发明所提的ENAS算法。
本发明的实验方法以时间T为搜索效率评价指标、决定系数R2和均方根误差RMSE为性能评价指标,其计算式:
其中,Ntest为测试集样本个数,yi分别为第i个样本的预测值和真实值。
表2、表3分别展示了所提方法和其余三个方法在训练时间、最优结构的表现型的区别以及在不同预测时长上的性能对比,其中数据集以季节划分。
表2不同预测方法的训练时间与最优结构表现型的对比
表3不同预测方法的预测性能比较
从表2、表3中可以总结出以下结论:本实施例所提方法在不同时间尺度上的计算效率均优于其他方法,即在更短的时间内获得最优的神经网络架构;其搜索出的神经网络结构与其他方法有显著差异,且所有预测性能均优于其他方法。随着预测时间尺度的增大,所提方法的优势越来越明显,2小时预测性能提升显著。与Samplebest、LFE-ENAS和ENAS相比,提前两小时预测的RMSE平均分别降低了10.50%、13.78%和7.86%。
需要说明的是,本发明不仅限于保护实施例与某个案例,实施例所述的内容仅仅是对发明构思的实现形式的列举,在本发明的精神和权利要求保护范围内,未对本发明做出的任何修改或改进,都将受到本发明的保护范围限制。
Claims (4)
1.一种基于代理辅助进化神经网络结构搜索的风电功率预测方法,其特征在于,所述方法包括以下步骤:
步骤1收集风电场两年内完整的原始历史风速、风向、功率序列数据DRaw∈Rm×3,根据不同的预测时长构造建模数据集D;
步骤2定义结构搜索空间,并对结构搜索空间进行采样,最后对采样的结构进行整数编码;
所述步骤2定义搜索空间、结构采样和结构编码,具体过程如下:
(1)定义搜索空间:根据DNN自身的结构以及时间序列预测自身参数,预定义一个搜索空间;
(2)结构采样:搜索空间包括两部分,一是DNN结构参数,另一个是输入的延迟变量,在定义的搜索空间中随机采样获得N个结构样本;
(3)结构编码:随机初始化的个体为DNN结构和延迟变量的选择,采用联合编码方式,将DNN结构用整数编码,延迟变量的选择用二进制编码,1、0分别代表当前时刻的延迟变量是否选择;延迟变量块为延迟变量的选择,它的长度不是固定的,为步骤2设计的最大延迟变量数;
步骤3将采样的结构进行预训练,并在验证集上得到采样结构的验证误差;
步骤4将步骤2采样的结构与步骤3得到的验证误差分别以特征、标签的形式构建为新的训练集Xnew,并将其构建为代理辅助模型;
所述步骤4利用新的训练集{(Xsur,ysur)},构建代理辅助模型modelsur;其中,Xsur为采样后的DNN结构与延迟变量选择,ysur为步骤4得到的均方根误差RMSE;具体训练步骤如下:
(1)将步骤3采样得到的M个样本及其对应的均方根误差RMSE,分别作为特征、标签保存为数据集Xnew;
(2)数据归一化将数据集Xnew进行标准化处理,标准化公式如下式所示:
其中,为归一化后的数据集,μ为样本均值,J为样本标准差;
(3)采用随机森林作为代理模型,并用数据集Xnew训练随机森林代理模型,随机森林代理模型构建如下:
1)首先,对输入特征进行随机特征选择,构成K个特征子集;
2)随后,每个随机特征子集均训练得到一个决策树,训练得到K个决策树;
3)最后,将K个决策树进行集成得到最终结果,采用的训练原则是最小化均方误差MSE,即对于任意划分特征A,对应的任意划分点s两边划分成的数据集D1和D2,求出使和各自集合的均方差最小,同时D1和D2的均方差之和最小所对应的特征和特征值划分点,表达式为:
其中,c1、c2分别为D1、D2数据集的样本输出均值,xi为第i个样本,yi为第i个样本输出真实值;
预测时,每一个决策树最终的预测结果为该样本点所到叶节点的均值,随机森林最终的预测结果为所有决策树预测结果的均值;
步骤5用步骤4的代理模型间接评价适应度,利用进化计算算法,迭代优化得到最优的神经网络结构;
所述步骤5利用进化算法,以modelsur间接评价适应度,迭代优化得到最优的神经网络结构,具体优化步骤如下:
(1)在预定义的搜索空间中,随机初始化N个代表DNN结构和延迟变量选择的个体,组成初始种群;
(2)将每个个体映射到相应的DNN结构和延迟变量,用modelsur计算每个个体的预测均方根误差用于适应度评价;
(3)根据适应度值选择父解,然后通过交叉和变异操作生成具有预定义搜索空间相同大小新的后代DNN结构和延迟变量;
(4)对组合后的种群进行环境选择,选择一个能存活到下一代的新种群;
(5)如果不满足终止条件,转到步骤(3),否则,选择最适合的个体并终止进化过程;
步骤6使用风电功率训练集对搜索得到的最优结构进行训练调优,收敛后在测试集上获得模型性能。
2.根据权利要求1所述的基于代理辅助进化神经网络结构搜索的风电功率预测方法,其特征在于:所述步骤1中历史风电场运行数据,其中m为样本个数,n=f×l,f为特征数,l为延迟变量数;需要凭Takens理论设计一个最大延迟变量数,y为预测变量即风电功率实际值;并根据时间顺序,将数据划分为Dy1,Dy2两年数据;将Dy1作为训练集,Dy2中第一季度的数据为验证集Dval,剩余三个季度的数据分别为测试集Dtest1、Dtest2、Dtest3。
3.根据权利要求1所述的基于代理辅助进化神经网络结构搜索的风电功率预测方法,其特征在于:所述步骤3用训练集Dy1训练采样的DNN结构和延迟变量选择,并保存为DNNn,用验证集Dval,得到DNNn的预测值yn,最后计算Dval在DNNn上的均方根误差RMSE,RMSE计算公式如下:
其中,Nval为验证集的样本个数,yi分别为预测值和真实值。
4.根据权利要求1所述的基于代理辅助进化神经网络结构搜索的风电功率预测方法,其特征在于:所述步骤6使用小批量随机梯度下降算法对最优结构进行训练调优,收敛后在测试集上获得模型性能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310397284.1A CN116451049B (zh) | 2023-04-14 | 2023-04-14 | 基于代理辅助进化神经网络结构搜索的风电功率预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310397284.1A CN116451049B (zh) | 2023-04-14 | 2023-04-14 | 基于代理辅助进化神经网络结构搜索的风电功率预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116451049A CN116451049A (zh) | 2023-07-18 |
CN116451049B true CN116451049B (zh) | 2024-06-18 |
Family
ID=87119693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310397284.1A Active CN116451049B (zh) | 2023-04-14 | 2023-04-14 | 基于代理辅助进化神经网络结构搜索的风电功率预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116451049B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114266982A (zh) * | 2021-11-11 | 2022-04-01 | 西安电子科技大学 | 一种网络参数和结构协同优化的sar图像变化检测方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109271695B (zh) * | 2018-09-07 | 2022-12-23 | 中南大学 | 基于神经网络的多目标天线设计方法 |
WO2021217138A1 (en) * | 2020-04-24 | 2021-10-28 | TeselaGen Biotechnology Inc. | Method for efficiently optimizing a phenotype with a combination of a generative and a predictive model |
CN117396892A (zh) * | 2021-05-21 | 2024-01-12 | 华为技术有限公司 | 一种硬件感知神经网络设计 |
CN114373101A (zh) * | 2022-01-14 | 2022-04-19 | 东北大学 | 基于进化策略的神经网络架构搜索的图像分类方法 |
CN115222046A (zh) * | 2022-07-22 | 2022-10-21 | 南京信息工程大学 | 神经网络结构搜索方法、装置、电子设备及存储介质 |
CN115879509A (zh) * | 2022-11-18 | 2023-03-31 | 西安电子科技大学 | 基于代理辅助进化算法的卷积神经网络结构优化方法 |
-
2023
- 2023-04-14 CN CN202310397284.1A patent/CN116451049B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114266982A (zh) * | 2021-11-11 | 2022-04-01 | 西安电子科技大学 | 一种网络参数和结构协同优化的sar图像变化检测方法 |
Non-Patent Citations (1)
Title |
---|
基于局部学习和多目标优化的选择性异质集成超短期风电功率预测方法;石立贤等;《电网技术》;20220107;第46卷(第02期);568-577 * |
Also Published As
Publication number | Publication date |
---|---|
CN116451049A (zh) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shamshirband et al. | A survey of deep learning techniques: application in wind and solar energy resources | |
US11874640B2 (en) | Wind power prediction method and system for optimizing deep transformer network | |
CN110580543A (zh) | 一种基于深度信念网络的电力负荷预测方法及系统 | |
CN116644970A (zh) | 一种基于vmd分解和叠层深度学习的光伏功率预测方法 | |
CN115115125B (zh) | 基于深度学习融合模型的光伏功率区间概率预测方法 | |
CN114022311B (zh) | 基于时序条件生成对抗网络的综合能源系统数据补偿方法 | |
CN115392595B (zh) | 基于图卷积神经网络和Transformer的时空短期风速预测方法及系统 | |
CN115481788B (zh) | 相变储能系统负荷预测方法及系统 | |
Wang et al. | A novel wind power forecasting system integrating time series refining, nonlinear multi-objective optimized deep learning and linear error correction | |
CN115409258A (zh) | 一种混合深度学习短期辐照度预测方法 | |
CN113537539B (zh) | 一种基于注意力机制的多时间步供热用气量预测模型 | |
CN116842337A (zh) | 基于LightGBM优选特征与COA-CNN模型的变压器故障诊断方法 | |
Jin et al. | Adaptive forecasting of wind power based on selective ensemble of offline global and online local learning | |
CN116345555A (zh) | 一种基于cnn-isca-lstm模型的短期光伏发电功率预测方法 | |
CN114139783A (zh) | 基于非线性加权组合的风电短期功率预测方法及装置 | |
CN115640901A (zh) | 一种基于混合神经网络和生成对抗的小样本负荷预测方法 | |
CN116894504A (zh) | 一种风电集群功率超短期预测模型建立方法 | |
CN114219126B (zh) | 基于残差修正的小水电渗透地区网供负荷预测方法 | |
CN113762591B (zh) | 一种基于gru和多核svm对抗学习的短期电量预测方法及系统 | |
CN117390550A (zh) | 考虑排放训练集的低碳园区碳排放动态预测方法及系统 | |
CN116451049B (zh) | 基于代理辅助进化神经网络结构搜索的风电功率预测方法 | |
CN115796327A (zh) | 一种基于vmd和iwoa-f-gru模型的风电功率区间预测方法 | |
Zhao et al. | Short‐term wind power prediction based on combined long short‐term memory | |
CN110829434B (zh) | 一种提高深度神经网络潮流模型扩展性的方法 | |
Zhang et al. | Gated Recurrent Unit Neural Networks for Wind Power Forecasting based on Surrogate-Assisted Evolutionary Neural Architecture Search |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |