CN117856336A - 一种多时间尺度协同的日内有功备用快速配置方法及系统 - Google Patents
一种多时间尺度协同的日内有功备用快速配置方法及系统 Download PDFInfo
- Publication number
- CN117856336A CN117856336A CN202410036360.0A CN202410036360A CN117856336A CN 117856336 A CN117856336 A CN 117856336A CN 202410036360 A CN202410036360 A CN 202410036360A CN 117856336 A CN117856336 A CN 117856336A
- Authority
- CN
- China
- Prior art keywords
- time
- time scale
- configuration
- standby
- power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000004146 energy storage Methods 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 20
- 239000003795 chemical substances by application Substances 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 17
- 230000035772 mutation Effects 0.000 claims description 15
- 230000009191 jumping Effects 0.000 claims description 12
- 230000009194 climbing Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 238000013461 design Methods 0.000 claims description 9
- 230000005611 electricity Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 8
- 230000003827 upregulation Effects 0.000 claims description 8
- 230000003828 downregulation Effects 0.000 claims description 5
- 230000002787 reinforcement Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 230000002222 downregulating effect Effects 0.000 claims description 3
- 238000010248 power generation Methods 0.000 claims description 2
- 238000007599 discharging Methods 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 2
- 230000002265 prevention Effects 0.000 abstract description 2
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000003763 carbonization Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种多时间尺度协同的日内有功备用快速配置方法及系统，涉及电力系统有功备用配置技术领域，包括：在长时间尺度建立小时前源网荷储多维有功备用容量预配置模型；在短时间尺度构建基于马尔科夫决策过程的实时有功备用配置模型；提出基于HDE‑DDPG的小时前‑实时多时间尺度协同训练的求解算法，实现日内有功备用容量的快速优化配置。本发明提供的多时间尺度协同的日内有功备用快速配置方法保障系统安全运行的同时提升系统的经济性。更加灵活地应对新能源出力的不确定性，提升了弃风、弃光与失负荷风险的防控能力。通过长时间尺度制定计划‑短时间尺度动态更新的思路，实现日内有功备用容量的快速优化配置。
Description
技术领域
本发明涉及电力系统有功备用配置技术领域，具体为一种多时间尺度协同的日内有功备用快速配置方法及系统。
背景技术
我国能源结构正逐步向低碳化进行转型，风电、光伏等可再生能源的广泛应用已成为推动能源低碳变革的引擎。然而，由于风电、光伏出力的波动性与随机性，使得电力系统运行面临较强的实时不确定性。这对电力系统稳定运行提出了更高的要求，也为系统有功备用资源的合理配置带来了新的难题。
常规的火电机组在启动过程中存在启动时间较长的特点，同时受到最小出力和爬坡速率的限制。如果备用容量设置得太小，将无法迅速应对风电的快速波动，可能导致弃风、弃光以及失负荷风险。相反，如果备用容量设置得太大，将影响系统的经济性运行。目前的有功备用容量配置方法难以应对源-网-荷-储多维度的不确定因素。因此，如何在提高系统运行经济性的基础上，更高效地配置有功备用资源，成为了当前电力系统面临的紧迫问题。
发明内容
鉴于上述存在的问题，提出了本发明。
因此，本发明解决的技术问题是：基于长时间尺度制定计划-短时间尺度动态更新的思路，防控有功备用容量不足的风险，实现日内有功备用容量的快速优化配置。
为解决上述技术问题，本发明提供如下技术方案：一种多时间尺度协同的日内有功备用快速配置方法，包括：
在长时间尺度建立小时前源网荷储多维有功备用容量预配置模型；
在短时间尺度构建基于马尔科夫决策过程的实时有功备用配置模型；
提出基于HDE-DDPG的小时前-实时多时间尺度协同训练的求解算法，实现日内有功备用容量的快速优化配置。
作为本发明所述的多时间尺度协同的日内有功备用快速配置方法的一种优选方案，其中：所述小时前源网荷储多维有功备用容量预配置模型表示为，
式中：T为总时间；分别为机组发电成本、交流联络线售电收益、系统上调备用容量成本、系统下调备用容量成本；ΩG为常规机组集合；ai、bi、ci分别为机组耗量常数；ui,t代表机组运行状态；/>为机组i在t时刻的出力；ΩAC为交流联络线集合；为联络线输电功率，/>表示向外售电，否则表示从区域外购电，/>为对应成本系数；ΩWT、ΩPV、ΩDR、ΩESS分别为风电、光伏、需求响应以及储能系统集合； 分别为常规机组、联络线、风电、光伏、负荷需求响应以及储能的上调备用容量成本系数；/>分别为常规机组、联络线、风电、光伏、负荷需求响应以及储能的上调备用容量；/> 分别为常规机组、联络线、风电、光伏以及储能的下调备用容量成本系数；/>分别为常规机组、联络线、风电、光伏以及储能的下调备用容量。
作为本发明所述的多时间尺度协同的日内有功备用快速配置方法的一种优选方案，其中：所述有功备用配置策略包括满足有功备用容量预配置约束条件；
所述约束条件包括区域功率平衡约束、常规机组出力约束、常规机组爬坡约束、常规机组备用约束、风电机组备用约束、光伏电站备用约束、联络线备用约束、负荷需求响应备用约束以及储能备用约束。
作为本发明所述的多时间尺度协同的日内有功备用快速配置方法的一种优选方案，其中：所述区域功率平衡约束表示为，
式中：与/>分比为风电与光伏出力；Ωnet为节点集合；/>为节点m的有功负荷；
所述常规机组出力约束表示为，
式中：与/>分比机组最小与最大出力；
所述常规机组爬坡约束表示为，
式中：Δt为时间间隔；ri up与ri dn分别为机组向上与向下爬坡速率；
所述常规机组备用约束表示为，
所述风电机组备用约束表示为，
式中：为风电机组的功率预测值；/>为风电最小并网功率；
所述光伏电站备用约束表示为，
式中：为光伏i的功率预测值；/>为光伏电站最小并网功率；
所述联络线备用约束表示为，
式中：与/>分别为联络线最大与最小输电功率；/>与/>表示联络线功率最大调节速度；
所述负荷需求响应备用约束表示为，
式中：为最大需求响应比例，负荷通过有序用电参与需求响应，为系统提供上调备用容量；
所述储能备用约束表示为，
式中：与/>分别为储能最大充电与放电功率；/>为储能充放电功率，代表放电，否则为充电。
作为本发明所述的多时间尺度协同的日内有功备用快速配置方法的一种优选方案，其中：所述基于马尔科夫决策过程的实时有功备用配置模型包括进行状态设计，状态st代表深度强化学习智能体对环境信息的实时捕捉，将传统机组出力风电与光伏预测出力/>与/>负荷实时分布/>以及储能实时电池荷电状态/>作为感知状态，表示为，
进行动作设计，动作at代表智能体的实时决策方案，对有功备用容量进行配置，表示为，
at＝{R+,R-} (21)
式中：R+与R-分别为上调与下调备用容量配置；
进行奖励设计，动作at表示环境给予智能体的实时反馈，为降低系统计划偏差，引入惩罚系数对功率偏差进行奖励设计，表示为，
式中：ω为经济惩罚系数；与/>分别为常规机组、风电场与光伏电站的计划出力。
作为本发明所述的多时间尺度协同的日内有功备用快速配置方法的一种优选方案，其中：所述基于HDE-DDPG的小时前-实时多时间尺度协同训练的求解算法包括
在差分进化算法中，通过变异、交叉与选择操作不同种群个体，其中，针对目标向量Xi(g)，通过变异可生成变异向量Vi(g+1)，表示为，
Vi(g+1)＝Xr3(g)+F[Xr1(g)-Xr2(g)] (23)
式中：Xr1(g)、Xr2(g)与Xr3(g)为种群中的随机个体；
将目标向量与变异向量相交叉，得到新的向量，表示为，
式中：i＝1,2,...,Np代表种群；j＝1,2,...,n代表种群维数；jrand代表[1,n]区间内的随机整数；
进行选择操作，保留优秀的父代个体，生成新一代个体xi(g+1)，表示为，
DDPG采用经典的Actor-Critic架构，在训练过程中基于式(17)输出连续动作，表示为，
式中：μ(s|θμ)为Actor网络；表示随机噪声；
Actor网络基于确定性策略梯度损失函数更新网络参数，表示为，
式中：Q(s,a|θQ)为Critic网络；Nb为mini-batch容量；
Critic网络通过损失函数LQ更新网络参数，表示为，
式中：yj为目标Q值；μ'(s|θμ')为目标Actor网络；Q'(s,a|θQ')为目标Critic网络；
目标网络采用软更新方式更新网络参数，表示为，
式中：τ为软更新系数，τ远小于1。
作为本发明所述的多时间尺度协同的日内有功备用快速配置方法的一种优选方案，其中：所述求解算法包括针对有功备用配置问题的多时间尺度协同与高随机性问题，提出混合DE与DDPG的训练求解算法；
初始化HDE-DDPG算法参数，初始化系统训练环境，判断时间尺度；
若为小时前尺度，基于DE算法对种群进行变异、交叉与选择操作，判断DE求解的小时前备用配置计划是否满足收敛条件；若满足收敛条件，切换至短时间尺度阶段，若不满足收敛条件重新基于DE算法对种群进行变异、交叉与选择操作；重新判断是否满足收敛条件，重复上述过程；
若为短时间尺度，DDPG智能体观测环境状态st，制定动作at，根据计划偏差计算奖励rt，并将所得样本存放至经验池；
所述DDPG智能体观测环境状态st，制定动作at，根据计划偏差计算奖励rt，并将所得样本存放至经验池后抽取训练样本，更新Actor与Critic网络；
判断是否结束一天24小时，若否跳转至判断时间尺度阶段，重复上述步骤执行下一时间段的备用配置过程，若是则判断是否达到最大训练回合，若达到最大训练回合则完成训练，输出多时间尺度协同的日内有功备用配置策略，若未达到最大训练回合则跳转至初始化系统训练环境阶段，重复上述过程。
本发明的另外一个目的是提供一种多时间尺度协同的日内有功备用快速配置系统，通过整合信息技术与软件技术实现长时间尺度有功备用容量预配置功能、短时间尺度有功备用容量配置更新功能和协同求解功能的集成，在日内执行时自动化地快速动态更新有功备用容量配置策略，能够解决电力系统运行时的实时不确定性问题，可以更高效地配置有功备用资源以提高系统运行的经济性。
为解决上述技术问题，本发明提供如下技术方案：一种多时间尺度协同的日内有功备用快速配置系统，包括：长时间尺度有功备用容量预配置模块、短时间尺度有功备用容量配置模块以及协同求解算法模块；所述长时间尺度有功备用容量预配置模块，在长时间尺度以系统运行成本最小化为目标，建立小时前多维有功备用容量预配置模型；所述短时间尺度有功备用容量配置模块，在短时间尺度基于马尔科夫决策过程刻画有功备用实时配置过程；所述协同求解算法模块，提出一种混合差分进化-深度确定性策略梯度的协同算法，基于差分进化算法求解小时前的有功备用配置策略计划，在实时阶段基于深度确定性策略梯度算法更新实时有功备用的配置策略。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述多时间尺度协同的日内有功备用快速配置方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述多时间尺度协同的日内有功备用快速配置方法的步骤。
本发明的有益效果：本发明提供的多时间尺度协同的日内有功备用快速配置方法1)本发明所建立了有功备用容量配置模型充分考虑多主体资源的运行特性，能够发挥源网荷储多维度备用潜力，保障系统安全运行的同时提升系统的经济性。
2)本发明提出了小时前-实时多时间尺度的日内有功备用容量配置策略，将小时前尺度刻画为以经济性最优为目标的数学规划模型，将实时阶段描述为以系统计划偏差最小为目标的马尔科夫决策过程，使得系统能够更加灵活地应对新能源出力的不确定性，提升了弃风、弃光与失负荷风险的防控能力。
3)本发明提出了一种HDE-DDPG的协同训练的求解算法，基于差分进化算法求解小时前尺度有功备用预配置模型，并基于DDPG智能体学习短时间尺度实时配置策略，通过长时间尺度制定计划-短时间尺度动态更新的思路，实现日内有功备用容量的快速优化配置。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明一个实施例提供的一种多时间尺度协同的日内有功备用快速配置方法的整体流程图。
图2为本发明一个实施例提供的一种多时间尺度协同的日内有功备用快速配置方法中基于HDE-DDPG的小时前-实时多时间尺度协同训练求解算法的训练流程图。
图3为本发明一个实施例提供的一种多时间尺度协同的日内有功备用快速配置系统流程示意图。
图4为本发明一个实施例提供的一种多时间尺度协同的日内有功备用快速配置方法的深度强化学习智能体训练奖励曲线图。
图5为本发明一个实施例提供的一种多时间尺度协同的日内有功备用快速配置方法区域上调备用容量配置算例结果图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
实施例1
参照图1-图2，为本发明的一个实施例，提供了一种多时间尺度协同的日内有功备用快速配置方法，包括：
图1为本发明一个实施例提供的一种多时间尺度协同的日内有功备用快速配置方法的整体流程图。
图2为基于HDE-DDPG的小时前-实时多时间尺度协同训练求解算法的训练流程，训练完成后的协同求解算法可实现对系统多维多尺度日内有功备用容量的快速优化配置。
S1：在长时间尺度建立小时前源网荷储多维有功备用容量预配置模型；
S2：在短时间尺度构建基于马尔科夫决策过程的实时有功备用配置模型；
S3：提出基于HDE-DDPG的小时前-实时多时间尺度协同训练的求解算法，实现日内有功备用容量的快速优化配置。
1.根据权利要求1所述的一种多时间尺度协同的日内有功备用快速配置方法及系统，其特征在于，所述步骤S1中小时前源网荷储多维有功备用容量预配置模型：
S1.1有功备用容量预配置优化目标
式中：T为总时间；分别为机组发电成本、交流联络线售电收益、系统上调备用容量成本、系统下调备用容量成本；ΩG为常规机组集合；ai、bi、ci分别为机组耗量常数；ui,t代表机组运行状态；/>为机组i在t时刻的出力；ΩAC为交流联络线集合；为联络线输电功率，/>表示向外售电，否则表示从区域外购电，/>为对应成本系数；ΩWT、ΩPV、ΩDR、ΩESS分别为风电、光伏、需求响应以及储能系统集合； 分别为常规机组、联络线、风电、光伏、负荷需求响应以及储能的上调备用容量成本系数；/>分别为常规机组、联络线、风电、光伏、负荷需求响应以及储能的上调备用容量；/> 分别为常规机组、联络线、风电、光伏以及储能的下调备用容量成本系数；/>分别为常规机组、联络线、风电、光伏以及储能的下调备用容量；
S1.2有功备用容量预配置约束条件
1)区域功率平衡约束
式中：与/>分比为风电与光伏出力；Ωnet为节点集合；/>为节点m的有功负荷。
2)常规机组出力约束
式中：与/>分比机组最小与最大出力。
3)常规机组爬坡约束
式中：Δt为时间间隔；ri up与ri dn分别为机组向上与向下爬坡速率。
4)常规机组备用约束
5)风电机组备用约束
式中：为风电机组的功率预测值；/>为风电最小并网功率。
6)光伏电站备用约束
式中：为光伏i的功率预测值；/>为光伏电站最小并网功率。
7)联络线备用约束
式中：与/>分别为联络线最大与最小输电功率；/>与/>表示联络线功率最大调节速度。
8)负荷需求响应备用约束
式中：为最大需求响应比例。负荷通过有序用电参与需求响应，为系统提供上调备用容量。
9)储能备用约束
式中：与/>分别为储能最大充电与放电功率；/>为储能充放电功率，代表放电，否则为充电。
2.根据权利要求1所述的一种多时间尺度协同的日内有功备用快速配置方法及系统，其特征在于，所述步骤S2中基于马尔科夫决策过程的实时有功备用配置模型包括：
S2.1状态设计
状态st代表深度强化学习智能体对环境信息的实时捕捉，本发明将传统机组出力风电与光伏预测出力/>与/>负荷实时分布/>以及储能实时电池荷电状态作为感知状态。
S2.2动作设计
动作at代表智能体的实时决策方案，对有功备用容量进行配置：
at＝{R+,R-} (21)
式中：R+与R-分别为上调与下调备用容量配置。
S2.3奖励设计
动作at表示环境给予智能体的实时反馈。为降低系统计划偏差，引入惩罚系数对功率偏差进行奖励设计，如式(22)所示。
式中：ω为经济惩罚系数；与/>分别为常规机组、风电场与光伏电站的计划出力。
3.根据权利要求1所述的一种多时间尺度协同的日内有功备用快速配置方法及系统，其特征在于，所述步骤S3中基于HDE-DDPG的小时前-实时多时间尺度协同训练的求解算法包括：
S3.1差分进化算法
在差分进化算法中，通过变异、交叉与选择操作不同种群个体，其中，针对目标向量Xi(g)，通过变异可生成变异向量Vi(g+1)：
Vi(g+1)＝Xr3(g)+F[Xr1(g)-Xr2(g)] (23)
式中：Xr1(g)、Xr2(g)与Xr3(g)为种群中的随机个体。
之后，将目标向量与变异向量相交叉，得到新的向量：
式中：i＝1,2,...,Np代表种群；j＝1,2,...,n代表种群维数；jrand代表[1,n]区间内的随机整数。
最后进行选择操作，保留优秀的父代个体，生成新一代个体xi(g+1)。
S3.2 DDPG算法
DDPG采用经典的Actor-Critic架构，在训练过程中可以基于式(17)输出连续动作：
式中：μ(s|θμ)为Actor网络；表示随机噪声。
Actor网络基于确定性策略梯度损失函数更新网络参数：
式中：Q(s,a|θQ)为Critic网络；Nb为mini-batch容量；
Critic网络通过损失函数LQ更新网络参数：
/>
式中：yj为目标Q值；μ'(s|θμ')为目标Actor网络；Q'(s,a|θQ')为目标Critic网络。
之后，目标网络采用软更新方式更新网络参数：
式中：τ为软更新系数，τ远小于1。
S3.3基于HDE-DDPG的小时前-实时多时间尺度协同训练的求解算法。
本发明针对有功备用配置问题的多时间尺度与高随机性等问题，提出了一种混合DE与DDPG的训练求解算法，以提高算法应对随机干扰的鲁棒性。算法流程如下：
步骤1.初始化HDE-DDPG算法参数；
步骤2.初始化系统训练环境；
步骤3.判断时间尺度，若为小时前尺度，跳转至步骤4，若为短时间尺度，跳转至步骤6；
步骤4.基于DE算法对种群进行变异、交叉与选择操作；
步骤5.判断DE求解的时前计划是否满足收敛条件，若满足跳转至步骤6，否则跳转至步骤4；
步骤6.DDPG智能体观测环境状态st，制定动作at，根据计划偏差计算奖励rt，并将所得该样本存放至经验池；
步骤7.抽取训练样本，更新Actor与Critic网络；
步骤8.判断是否结束一天24小时，若是跳转至步骤9，否则跳转至步骤3；
步骤9.判断是否达到最大训练回合，若是跳转至步骤10，否则跳转至步骤2；
步骤10.完成训练，输出多时间尺度协同的日内有功备用配置策略。
实施例2
参照图3，为本发明的一个实施例，提供了一种多时间尺度协同的日内有功备用快速配置系统，包括：
长时间尺度有功备用容量预配置模块、短时间尺度有功备用容量配置模块以及协同求解算法模块。
长时间尺度有功备用容量预配置模块，在长时间尺度以系统运行成本最小化为目标，建立小时前多维有功备用容量预配置模型。
短时间尺度有功备用容量配置模块，在短时间尺度基于马尔科夫决策过程刻画有功备用实时配置过程。
协同求解算法模块，提出一种混合差分进化-深度确定性策略梯度(HDE-DDPG)的协同算法，基于差分进化算法求解小时前的有功备用配置策略计划，在实时阶段基于深度确定性策略梯度算法更新实时有功备用的配置策略。
实施例3
本发明的一个实施例，其不同于前两个实施例的是：
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
实施例4
参照图4-图5，为本发明的一个实施例，提供了一种多时间尺度协同的日内有功备用快速配置方法，为了验证本发明的有益效果，通过仿真算例进行科学论证。
采用IEEE 118节点系统进行实施说明，设节点10与36分别接入容量为500MW的风电场，节点13与69接入容量为400MW的光伏电站，节点87介入容量为300MWh的储能系统，联络线最大传输功率为800MW，备用容量成本为100元/MW。取DE种群规模为100，最大迭代次数为180，DDPG折扣率为0.98，软更新系数为0.002，经验池容量为8000。可得训练奖励曲线如图3所示。由于智能体在初始阶段对环境和任务的了解不足，需要进行探索和试错，导致训练初期的奖励值降低。随着训练的不断进行，智能体所得奖励值逐渐上升，并最终收敛于-2.91，表明智能体已经具备了对有功备用容量配置问题的适应性，为更可靠的决策执行奠定了基础。
基于训练完成的HDE-DDPG算法进行在线测试，可得区域上调备用容量如图4所示。由图可见，所提方法能够协同源网荷储多维度备用资源，根据不同资源的运行特性进行配置方案的调整，全天备用容量18252.03MWh。所提HDE-DDPG算法通过时前计划-实时修正的配置策略，能够在关键时刻及时调整备用容量，提高系统的应变能力。
表1给出了基于粒子群算法的常规配置方法与本发明所提基于HDE-DDPG的配置方法的结果对比。本发明所提有功配置策略的运行成本与备用成本均优于常规方法，其中备用成本仅18.25万元，相较于常规配置方法降低了11.32％，有效提升了系统的经济性。此外，由于本发明采用的为无模型的深度强化学习方法，算法在求解时间上要远小于常规配置方法。
表1常规配置方法与本发明配置方法的结果对比
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种多时间尺度协同的日内有功备用快速配置方法，其特征在于，包括：
在长时间尺度建立小时前源网荷储多维有功备用容量预配置模型；
在短时间尺度构建基于马尔科夫决策过程的实时有功备用配置模型；
提出基于HDE-DDPG的小时前-实时多时间尺度协同训练的求解算法，实现日内有功备用容量的快速优化配置。
2.如权利要求1所述的多时间尺度协同的日内有功备用快速配置方法，其特征在于：所述小时前源网荷储多维有功备用容量预配置模型表示为，
式中：T为总时间；分别为机组发电成本、交流联络线售电收益、系统上调备用容量成本、系统下调备用容量成本；ΩG为常规机组集合；ai、bi、ci分别为机组耗量常数；ui,t代表机组运行状态；/>为机组i在t时刻的出力；ΩAC为交流联络线集合；/>为联络线输电功率，/>表示向外售电，否则表示从区域外购电，/>为对应成本系数；ΩWT、ΩPV、ΩDR、ΩESS分别为风电、光伏、需求响应以及储能系统集合； 分别为常规机组、联络线、风电、光伏、负荷需求响应以及储能的上调备用容量成本系数；/>分别为常规机组、联络线、风电、光伏、负荷需求响应以及储能的上调备用容量；/> 分别为常规机组、联络线、风电、光伏以及储能的下调备用容量成本系数；/>分别为常规机组、联络线、风电、光伏以及储能的下调备用容量。
3.如权利要求2所述的多时间尺度协同的日内有功备用快速配置方法，其特征在于：所述有功备用配置策略包括满足有功备用容量预配置约束条件；
所述约束条件包括区域功率平衡约束、常规机组出力约束、常规机组爬坡约束、常规机组备用约束、风电机组备用约束、光伏电站备用约束、联络线备用约束、负荷需求响应备用约束以及储能备用约束。
4.如权利要求3所述的多时间尺度协同的日内有功备用快速配置方法，其特征在于：所述区域功率平衡约束表示为，
式中：与/>分比为风电与光伏出力；Ωnet为节点集合；/>为节点m的有功负荷；
所述常规机组出力约束表示为，
式中：与/>分比机组最小与最大出力；
所述常规机组爬坡约束表示为，
式中：Δt为时间间隔；ri up与ri dn分别为机组向上与向下爬坡速率；
所述常规机组备用约束表示为，
所述风电机组备用约束表示为，
式中：为风电机组的功率预测值；/>为风电最小并网功率；
所述光伏电站备用约束表示为，
式中：为光伏i的功率预测值；/>为光伏电站最小并网功率；
所述联络线备用约束表示为，
式中：与/>分别为联络线最大与最小输电功率；/>与/>表示联络线功率最大调节速度；
所述负荷需求响应备用约束表示为，
式中：为最大需求响应比例，负荷通过有序用电参与需求响应，为系统提供上调备用容量；
所述储能备用约束表示为，
式中：与/>分别为储能最大充电与放电功率；/>为储能充放电功率，/>代表放电，否则为充电。
5.如权利要求4所述的多时间尺度协同的日内有功备用快速配置方法，其特征在于：所述基于马尔科夫决策过程的实时有功备用配置模型包括进行状态设计，状态st代表深度强化学习智能体对环境信息的实时捕捉，将传统机组出力风电与光伏预测出力/>与负荷实时分布/>以及储能实时电池荷电状态/>作为感知状态，表示为，
进行动作设计，动作at代表智能体的实时决策方案，对有功备用容量进行配置，表示为，
at＝{R+,R-} (21)
式中：R+与R-分别为上调与下调备用容量配置；
进行奖励设计，动作at表示环境给予智能体的实时反馈，为降低系统计划偏差，引入惩罚系数对功率偏差进行奖励设计，表示为，
式中：ω为经济惩罚系数；与/>分别为常规机组、风电场与光伏电站的计划出力。
6.如权利要求5所述的多时间尺度协同的日内有功备用快速配置方法，其特征在于：所述基于HDE-DDPG的小时前-实时多时间尺度协同训练的求解算法包括
在差分进化算法中，通过变异、交叉与选择操作不同种群个体，其中，针对目标向量Xi(g)，通过变异可生成变异向量Vi(g+1)，表示为，
Vi(g+1)＝Xr3(g)+F[Xr1(g)-Xr2(g)] (23)
式中：Xr1(g)、Xr2(g)与Xr3(g)为种群中的随机个体；
将目标向量与变异向量相交叉，得到新的向量，表示为，
式中：i＝1,2,...,Np代表种群；j＝1,2,...,n代表种群维数；jrand代表[1,n]区间内的随机整数；
进行选择操作，保留优秀的父代个体，生成新一代个体xi(g+1)，表示为，
DDPG采用经典的Actor-Critic架构，在训练过程中基于式(17)输出连续动作，表示为，
式中：μ(s|θμ)为Actor网络；表示随机噪声；
Actor网络基于确定性策略梯度损失函数更新网络参数，表示为，
式中：Q(s,a|θQ)为Critic网络；Nb为mini-batch容量；
Critic网络通过损失函数LQ更新网络参数，表示为，
式中：yj为目标Q值；μ'(s|θμ')为目标Actor网络；Q'(s,a|θQ')为目标Critic网络；
目标网络采用软更新方式更新网络参数，表示为，
式中：τ为软更新系数，τ远小于1。
7.如权利要求6所述的多时间尺度协同的日内有功备用快速配置方法，其特征在于：基于HDE-DDPG的小时前-实时多时间尺度协同训练的求解算法，所述求解算法包括针对有功备用配置问题的多时间尺度协同与高随机性问题，提出混合DE与DDPG的训练求解算法；
初始化HDE-DDPG算法参数，初始化系统训练环境，判断时间尺度；
若为小时前尺度，基于DE算法对种群进行变异、交叉与选择操作，判断DE求解的小时前备用配置计划是否满足收敛条件；若满足收敛条件，切换至短时间尺度阶段，若不满足收敛条件重新基于DE算法对种群进行变异、交叉与选择操作；重新判断是否满足收敛条件，重复上述过程；
若为短时间尺度，DDPG智能体观测环境状态st，制定动作at，根据计划偏差计算奖励rt，并将所得样本存放至经验池；
所述DDPG智能体观测环境状态st，制定动作at，根据计划偏差计算奖励rt，并将所得样本存放至经验池后抽取训练样本，更新Actor与Critic网络；
判断是否结束一天24小时，若否跳转至判断时间尺度阶段，重复上述步骤执行下一时间段的备用配置过程，若是则判断是否达到最大训练回合，若达到最大训练回合则完成训练，输出多时间尺度协同的日内有功备用配置策略，若未达到最大训练回合则跳转至初始化系统训练环境阶段，重复上述过程。
8.一种采用如权利要求1～7任一所述的多时间尺度协同的日内有功备用快速配置方法的系统，其特征在于，包括：长时间尺度有功备用容量预配置模块、短时间尺度有功备用容量配置模块以及协同求解算法模块；
所述长时间尺度有功备用容量预配置模块，在长时间尺度以系统运行成本最小化为目标，建立小时前多维有功备用容量预配置模型；
所述短时间尺度有功备用容量配置模块，在短时间尺度基于马尔科夫决策过程刻画有功备用实时配置过程；
所述协同求解算法模块，提出一种混合差分进化-深度确定性策略梯度的协同算法，基于差分进化算法求解小时前的有功备用配置策略计划，在实时阶段基于深度确定性策略梯度算法更新实时有功备用的配置策略。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的多时间尺度协同的日内有功备用快速配置方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的多时间尺度协同的日内有功备用快速配置方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410036360.0A CN117856336A (zh) | 2024-01-10 | 2024-01-10 | 一种多时间尺度协同的日内有功备用快速配置方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410036360.0A CN117856336A (zh) | 2024-01-10 | 2024-01-10 | 一种多时间尺度协同的日内有功备用快速配置方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117856336A true CN117856336A (zh) | 2024-04-09 |
Family
ID=90537911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410036360.0A Pending CN117856336A (zh) | 2024-01-10 | 2024-01-10 | 一种多时间尺度协同的日内有功备用快速配置方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117856336A (zh) |
-
2024
- 2024-01-10 CN CN202410036360.0A patent/CN117856336A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109347149B (zh) | 基于深度q值网络强化学习的微电网储能调度方法及装置 | |
| CN112862281A (zh) | 综合能源系统调度模型构建方法、装置、介质及电子设备 | |
| CN112117760A (zh) | 基于双q值网络深度强化学习的微电网能量调度方法 | |
| CN114156893B (zh) | 面向新能源消纳场景的电网调度方法、装置、设备及介质 | |
| CN112491094B (zh) | 一种混合驱动的微电网能量管理方法、系统及装置 | |
| CN116207750A (zh) | 一种基于深度确定性策略梯度算法的配电网无功优化方法 | |
| CN115345380A (zh) | 一种基于人工智能的新能源消纳电力调度方法 | |
| CN115986834A (zh) | 基于近端策略优化算法的光储充电站运行优化方法及系统 | |
| CN117691586A (zh) | 基于行为克隆的新能源基地微电网优化运行方法及系统 | |
| CN112670982B (zh) | 一种基于奖励机制的微电网有功调度控制方法及系统 | |
| CN117595392A (zh) | 计及光伏消纳与光储充配置的配电网联合优化方法及系统 | |
| CN116451880B (zh) | 一种基于混合学习的分布式能源优化调度方法及装置 | |
| El Bourakadi et al. | Multi-agent system based on the fuzzy control and extreme learning machine for intelligent management in hybrid energy system | |
| CN111799820A (zh) | 一种电力系统双层智能混合零星云储能对抗调控方法 | |
| CN116247742A (zh) | 基于深度强化学习的电力系统源网荷储联合调控方法及装置 | |
| CN117856336A (zh) | 一种多时间尺度协同的日内有功备用快速配置方法及系统 | |
| CN115333111A (zh) | 多区域电网协同优化方法、系统、设备及可读存储介质 | |
| CN115360768A (zh) | 基于muzero和深度强化学习的电力调度方法、装置及存储介质 | |
| Li | Deep reinforcement learning on wind power optimization | |
| Zhao et al. | A novel binary social learning particle swarm optimizer for power system unit commitment | |
| Zhu et al. | Research on volt/var control of distribution networks based on PPO algorithm | |
| Tang et al. | Voltage Control Strategy of Distribution Networks with Distributed Photovoltaic Based on Multi-agent Deep Reinforcement Learning | |
| Domínguez-Barbero et al. | Energy management of a microgrid considering nonlinear losses in batteries through Deep Reinforcement Learning | |
| CN114330649B (zh) | 一种基于进化学习和深度强化学习的电压调节方法及系统 | |
| CN109094418B (zh) | 基于逐层优化策略的电动汽车主动排序充电控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |