CN114219182A - 一种基于强化学习的异常天气场景风电预测方法 - Google Patents
一种基于强化学习的异常天气场景风电预测方法 Download PDFInfo
- Publication number
- CN114219182A CN114219182A CN202210066557.XA CN202210066557A CN114219182A CN 114219182 A CN114219182 A CN 114219182A CN 202210066557 A CN202210066557 A CN 202210066557A CN 114219182 A CN114219182 A CN 114219182A
- Authority
- CN
- China
- Prior art keywords
- network
- value
- wind power
- reinforcement learning
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002787 reinforcement Effects 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000008859 change Effects 0.000 claims abstract description 3
- 230000009471 action Effects 0.000 claims description 7
- 230000007774 longterm Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 claims 1
- 238000009795 derivation Methods 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 description 6
- 238000007619 statistical method Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000000053 physical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Water Supply & Treatment (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种基于强化学习的异常天气场景风电预测方法，所述风电预测方法基于强化学习系统，所述强化学习系统包括数据集、策略网络和价值网络；所述强化学习系统还包括根据异常天气中历史时段风电功率变化对所述策略网络、价值网络更新预测未来时段风电状况的环境互换模块，其中：所述环境互换模块通过如下步骤完成对策略网络、价值网络更新：S101、初始化价值网络与策略网络；S102、根据历史阶段风电功率对数据集训练获得环境奖赏值；S103、根据历史阶段风电功率对数据集训练获得预测价值；S104、根据环境奖赏值、预测价值对价值网络更新；S105、根据环境奖赏值、预测价值对策略网络更新；本发明可以应对不同环境的策略处理异常环境下的风电预测问题。
Description
技术领域
本发明属于对异常天气预测方法，尤其涉及一种基于强化学习的异常天气场景风电预测方法。
背景技术
随着能源危机与环境污染问题的日益严重，大力发展可再生能源成为了全球重点关注的问题。其中，风力发电作为重要的可再生能源，在新能源装机中占据了重要的比重。据统计，到2020年年底，全球风电装机容量已达到743GW。然而，由于环境因素的影响，风电出力具有很大的随机性与不确定性，给电力系统的安全稳定运行带来很大的挑战。准确可靠的风电预测成为促进可再生能源并网运行的重要前提。常见的风电预测方法主要分为物理方法、统计学方法、人工智能方法以及混合方法。
1)物理方法
物理方法是指直接构建物理环境信息与预测对象之间的关系模型，或者将物理信息作为预测模型的主要输入变量构建预测模型。新能源电力系统供需预测受风速风向、地形条件、环境温度、太阳辐照度、云量等环境因素影响大，深度挖掘物理量与预测对象间的内在联系可以为构建准确可靠的预测模型提供信息支撑。
2)统计学方法
统计学方法为传统预测的常用方法，通过对历史记录数据的分析，建立历史数据与预测对象之间的函数模型。其中，时间序列模型是典型的统计方法，常见模型有自回归模型、移动平均模型、自回归移动平均模型、差分整合移动平均自回归模型。此外，马尔可夫链模型、指数平滑方法、卡尔曼滤波等预测方法也属于统计学方法范畴。
3)人工智能方法
随着人工智能技术与大数据的发展，基于机器学习和深度学习的方法凭借其在数据挖掘和特征提取方面的潜在能力，在风电预测中被广泛应用。
随着异常天气的影响，风电输出功率发生大幅度波动，对调度人员制定含风电电力系统的调度计划带来了巨大的挑战。2021年1月4日-9日，受寒潮影响，冀北地区风电场发生大范围低温停机，累计55座风电场、3640台风机因气温低于最低允许运行温度而停机。传统的预测方法无法有效适应异常的环境变化，因此，异常天气场景下的风电预测是现代智能电网运行调度的重要基础，是未来实现风电并网的重要条件。
发明内容
本发明针对现有风电预测方法的不足，提出了基于强化学习的异常天气场景风电预测方法，该方法利用强化学习的核心优势是在与环境的交互中学习，通过环境对不同行为的评价性反馈信号来逐渐强化与完善学习系统的行为，选择最优的应对不同环境的策略处理异常环境下的风电预测问题。
为了解决现有技术问题，本发明采用如下技术方案予以实施：
一种基于强化学习的异常天气场景风电预测方法，所述风电预测方法基于强化学习系统，所述强化学习系统包括数据集、策略网络和价值网络；所述强化学习系统还包括根据异常天气中历史时段风电功率变化对所述策略网络、价值网络更新预测未来时段风电状况的环境互换模块，其中：所述环境互换模块通过如下步骤完成对策略网络、价值网络更新：
S101、初始化价值网络与策略网络；
初始化价值网络与策略网络，如式(5-1)-(5-2)所示：
q(a,s,w) (5-1)
π(a|s,θ) (5-2)
其中，s表示状态，a表示动作，w,θ分别表示价值网络与策略网络；
S102、根据历史阶段风电功率通过如下公式对数据集训练获得环境奖赏值；
rt＝-|yt-at| (5-5)
其中，yt表示与xt对应的未来时刻风电出力数据，即训练样本的输出；
表示不同的分位数水平；
S103、根据历史阶段风电功率通过如下公式对数据集训练获得预测价值；
qt＝q(st,at,wt) (5-7)
qt+1＝q(st+1,at+1,wt) (5-8)
S104、根据环境奖赏值、预测价值通过如下公式对价值网络更新；
δt＝qt-(rt+γqt+1) (5-9)
wt+1＝wt-α·δt·dw,t (5-11)
S105、根据环境奖赏值、预测价值通过如下公式对策略网络更新；
θt+1＝θt+β·qt·dθ,t (5-13)
其中，β为给定系数。
进一步，所述环境互换模块在强化学习系统应用过程：
S201、根据历史阶段风电出力数据构建强化学习系统的训练数据集；
S202、对强化学习系统中数据集、策略网络和价值网络进行初始化；
S203、采用权利要求1中所述环境互换模对策略网络、价值网络更新步骤；
S204、判断是否完成对所有样本的训练；
S205、判断是否完成所有迭代次数；
S206、输出预测未来阶段风电出力状况。
有益效果
随着异常天气的影响，风电输出功率发生大幅度波动，对调度人员制定含风电电力系统的调度计划带来了巨大的挑战。传统的预测方法无法有效适应异常的环境变化，异常天气场景下的风电预测是斜坡事件平抑、现代智能电网运行调度的重要基础，是未来实现风电并网的重要条件。
本发明利用强化学习的核心优(即在与环境的交互中学习，通过环境对不同行为的评价性反馈信号来逐渐强化与完善学习系统，从而选择最优的应对不同环境的策略)，处理异常环境下的风电预测问题。发明可为应对极端情况、促进新能源接入创造良好理论与技术基础。
附图说明
图1是本发明一种基于强化学习的异常天气场景风电预测方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图与实例对本发明做详细的论述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。
如图1所述，本发明提供一种基于强化学习的异常天气场景风电预测方法，包括如下步骤：
步骤1获取风电出力
采集风电出力数据，构建强化学习网络训练数据集。
步骤2训练强化学习网络
步骤2.1输入总迭代次数与训练数据集样本总数
步骤2.2初始化迭代次数与训练样本标号
定义n表示迭代次数，t表示训练样本标号。令n＝1，t＝1，初始化迭代次数与训练样本标号。
步骤2.3初始化价值网络与策略网络
初始化价值网络与策略网络，如式(5-1)-(5-2)所示。
q(a,s,w) (5-1)
π(a|s,θ) (5-2)
其中，s表示状态，a表示动作，w,θ分别表示价值网络与策略网络
步骤2.4根据状态计算动作值与环境奖赏
步骤2.4.1获取当前状态值，如式(5-3)所示
st＝xt (5-3)
其中，xt表示历史风电出力数据，即训练样本的输入。
步骤2.4.2根据当前状态值计算动作值，如式(5-4)所示
at＝π(·|st,θt) (5-4)
步骤2.4.3根据动作值更新状态，并计算新动作值
步骤2.4.4计算奖赏值
点预测奖赏如式(5-5)所示，概率预测奖赏值如式(5-6)所示。
rt＝-|yt-at| (5-5)
其中，yt表示与xt对应的未来时刻风电出力数据，即训练样本的输出。
表示不同的分位数水平。
步骤2.4.5计算长期价值
长期价值计算结果如式(5-7)-(5-8)所示。
qt＝q(st,at,wt) (5-7)
qt+1＝q(st+1,at+1,wt) (5-8)
步骤2.5更新价值网络
采用TD算法更新价值网络，如式(5-9)-(5-11)所示。
δt＝qt-(rt+γqt+1) (5-9)
wt+1＝wt-α·δt·dw,t (5-11)
其中，α与γ为给定系数。
步骤2.6更新策略网络
采用梯度下降算法更新价值网络，如式(5-12)-(5-13)所示。
θt+1＝θt+β·qt·dθ,t (5-13)
其中，β为给定系数。
步骤2.7判断是否完成对所有样本的训练
步骤2.7.1完成对所有样本的训练，则前进到步骤2.8
步骤2.7.2未完成对所有样本的训练，则令i＝i+1，返回到步骤2.4
步骤2.8判断是否完成所有迭代次数
步骤2.3.1未完成对所有样本的训练，则令n＝n+1，返回到步骤2.3
步骤2.3.1完成对所有样本的训练，则结束训练
步骤3预测未来时刻风电出力
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。
Claims (2)
1.一种基于强化学习的异常天气场景风电预测方法，所述风电预测方法基于强化学习系统，所述强化学习系统包括数据集、策略网络和价值网络；其特征在于：所述强化学习系统还包括根据异常天气中历史时段风电功率变化对所述策略网络、价值网络更新预测未来时段风电状况的环境互换模块，其中：所述环境互换模块通过如下步骤完成对策略网络、价值网络更新：
S101、初始化价值网络与策略网络；
初始化价值网络与策略网络，如式(5-1)-(5-2)所示：
q(a,s,w) (5-1)
π(a|s,θ) (5-2)
其中，s表示状态，a表示动作，w,θ分别表示价值网络与策略网络；
S102、根据历史阶段风电功率通过如下公式对数据集训练获得环境奖赏值；
rt＝-|yt-at| (5-5)
其中，yt表示与xt对应的未来时刻风电出力数据，即训练样本的输出；
表示不同的分位数水平；
S103、根据历史阶段风电功率通过如下公式对数据集训练获得预测价值；
qt＝q(st,at,wt) (5-7)
qt+1＝q(st+1,at+1,wt) (5-8)
其中，st与st+1表示t时刻与t+1时刻的状态，at与at+1表示对应的动作决策，qt与qt+1表示长期的回馈，q表示回馈函数；
S104、根据环境奖赏值、预测价值通过如下公式对价值网络更新；
δt＝qt-(rt+γqt+1) (5-9)
wt+1＝wt-α·δt·dw,t (5-11)
其中，δt表示误差，γ、α为给定参数，dw,t表示求导，wt与wt+1表示t时刻与t+1时刻的价值网络参数；
S105、根据环境奖赏值、预测价值通过如下公式对策略网络更新；
θt+1＝θt+β·qt·dθ,t (5-13)
其中，β为给定系数，dθ,t表示求导，θt与θt+1表示t时刻与t+1时刻的策略网络参数。
2.根据权利要求1所述的一种基于强化学习的异常天气场景风电预测方法的应用，其特征在于：所述环境互换模块在强化学习系统应用过程：
S201、根据历史阶段风电出力数据构建强化学习系统的训练数据集；
S202、对强化学习系统中数据集、策略网络和价值网络进行初始化；
S203、采用权利要求1中所述环境互换模对策略网络、价值网络更新步骤；
S204、判断是否完成对所有样本的训练；
S205、判断是否完成所有迭代次数；
S206、输出预测未来阶段风电出力状况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210066557.XA CN114219182B (zh) | 2022-01-20 | 2022-01-20 | 一种基于强化学习的异常天气场景风电预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210066557.XA CN114219182B (zh) | 2022-01-20 | 2022-01-20 | 一种基于强化学习的异常天气场景风电预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114219182A true CN114219182A (zh) | 2022-03-22 |
| CN114219182B CN114219182B (zh) | 2024-08-20 |
Family
ID=80708523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210066557.XA Active CN114219182B (zh) | 2022-01-20 | 2022-01-20 | 一种基于强化学习的异常天气场景风电预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114219182B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023236565A1 (zh) * | 2022-06-10 | 2023-12-14 | 南京航空航天大学 | 一种基于强化学习和美学评估的低光图像增强方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108932671A (zh) * | 2018-06-06 | 2018-12-04 | 上海电力学院 | 一种采用深度q神经网络调参的lstm风电负荷预测方法 |
| CN109754104A (zh) * | 2017-11-03 | 2019-05-14 | 飞榴(上海)信息科技有限公司 | 应用人工智能优化企业供应链的方法、系统、设备及介质 |
| US20190265768A1 (en) * | 2018-02-24 | 2019-08-29 | Hefei University Of Technology | Method, system and storage medium for predicting power load probability density based on deep learning |
| CN112186743A (zh) * | 2020-09-16 | 2021-01-05 | 北京交通大学 | 一种基于深度强化学习的动态电力系统经济调度方法 |
-
2022
- 2022-01-20 CN CN202210066557.XA patent/CN114219182B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109754104A (zh) * | 2017-11-03 | 2019-05-14 | 飞榴(上海)信息科技有限公司 | 应用人工智能优化企业供应链的方法、系统、设备及介质 |
| US20190265768A1 (en) * | 2018-02-24 | 2019-08-29 | Hefei University Of Technology | Method, system and storage medium for predicting power load probability density based on deep learning |
| CN108932671A (zh) * | 2018-06-06 | 2018-12-04 | 上海电力学院 | 一种采用深度q神经网络调参的lstm风电负荷预测方法 |
| CN112186743A (zh) * | 2020-09-16 | 2021-01-05 | 北京交通大学 | 一种基于深度强化学习的动态电力系统经济调度方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023236565A1 (zh) * | 2022-06-10 | 2023-12-14 | 南京航空航天大学 | 一种基于强化学习和美学评估的低光图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114219182B (zh) | 2024-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107358060B (zh) | 一种对风电功率预测误差区间进行估计的方法 | |
| CN110288157A (zh) | 一种基于注意力机制和lstm的径流预测方法 | |
| CN103699944A (zh) | 一种多预测模式的风电光伏发电功率预测系统 | |
| KR102296309B1 (ko) | 태양광 발전량 예측 장치 및 그 방법 | |
| CN113537582B (zh) | 一种基于短波辐射修正的光伏功率超短期预测方法 | |
| CN113554466A (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN115796004A (zh) | 一种基于SLSTM和MLSTNet模型的光伏电站超短期功率智能预测方法 | |
| CN104598715B (zh) | 一种基于气候态风速预测的区域风电电量预测方法 | |
| CN113516271A (zh) | 一种基于时空神经网络的风电集群功率日前预测方法 | |
| CN115239029B (zh) | 考虑功率时序及气象相依特性的风电功率预测方法及系统 | |
| CN114511132A (zh) | 一种光伏出力短期预测方法及预测系统 | |
| CN112819238A (zh) | 基于混沌鸡群优化算法的短期风电功率预测方法 | |
| CN115860177A (zh) | 基于组合式机器学习模型光伏发电功率预测方法及其应用 | |
| CN111950764A (zh) | 一种极端天气条件电网风电功率预测修正方法 | |
| CN116306006A (zh) | 风光水联合发电的优化调度方法、装置和计算机设备 | |
| CN116029419A (zh) | 基于深度学习的长期新能源日均发电功率预测方法及系统 | |
| CN114219182B (zh) | 一种基于强化学习的异常天气场景风电预测方法 | |
| CN112072643A (zh) | 一种基于深度确定性梯度策略的光-蓄系统在线调度方法 | |
| CN116432812A (zh) | 樽海鞘算法优化lstm的新能源功率预测方法 | |
| CN111208586B (zh) | 基于中尺度海气耦合模式的天气预报方法及系统 | |
| CN111178601B (zh) | 一种基于气象数据后处理的风电机组功率预测方法 | |
| CN116090608A (zh) | 一种基于动态加权组合的短期风电功率预测方法及系统 | |
| CN115936791A (zh) | 一种电力市场短中期价格预测方法 | |
| CN115496128A (zh) | 一种基于雨强-雨型特征参数联合分布的城市内涝风险预报方法 | |
| CN113191526B (zh) | 基于随机敏感度的短期风速区间的优化预测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |