CN115986839A

CN115986839A - 一种风-水-火综合能源系统的智能调度方法及系统

Info

Publication number: CN115986839A
Application number: CN202211678735.0A
Authority: CN
Inventors: 李远征; 郝国凯; 俞耀文; 赵勇; 曾志刚
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2022-12-26
Filing date: 2022-12-26
Publication date: 2023-04-18

Abstract

本发明公开了一种风‑水‑火综合能源系统的智能调度方法及系统，该方法，为应对新能源不确定性对系统造成的影响，将滚动优化应用于风‑水‑火综合能源系统中，依据全局信息制定调度方案，利用局部优化代替全局优化，根据最新信息进行反馈校正；将滚动优化构建为马尔科夫决策过程，以确保其数学机理适用于深度强化学习。为保证调度方案求解时间与求解质量，提出混合增强智能调度算法结合深度强化学习与演化计算，利用深度强化学习挖掘历史数据价值，并与能源系统进行交互学习，优化自身控制策略，实现初步调度方案的快速给出；并利用演化计算进一步对初步调度方案进行再次优化，保障了风‑水‑火综合能源系统的经济性与稳定性。

Description

一种风-水-火综合能源系统的智能调度方法及系统

技术领域

本发明属于综合能源能量管理与智能调度技术领域，更具体地，涉及一种风-水-火综合能源系统的智能调度方法及系统。

背景技术

火电是我国电力行业中最重要的能源之一，它具有稳定可控等特点，但其运行成本较高、环境污染严重。相比而言，风力发电运行费用低廉、对环境影响较小，但其逆峰性、随机性、间断性等特点可能对电网造成一定的影响。水力发电具有起停速度快，调节能力强等特点，可以提高电网应对不确定因素的能力，但由于受其自身来水影响较大，过于注重调峰，会造成较大的弃水损失与容量安全隐患。为了使风电、水电、火电三者的特性得到互补，建立综合分析风-水-火特性的联合优化调度模型，对于提升多能电力工业系统运行效率，促进新能源消纳意义重大。

相比与单一能源系统调度，风-水-火综合能源系统调度方案的求解更为困难，其主要原因为能源系统规模增大与种类的增加致使问题规模与复杂性增加，同时，各不同能源子系统之间的时空耦合特性也使得调度方案的求解更为困难。目前已有的计算方法可以概括地分为两类：数学计算方法与演化计算方法。对于数学求解方法，最为常用的算法包括混合整数线性规划(Mixed-integer linear programming，MILP)，以及混合整数非线性规划(Mixed-integernonlinearprogramming，MINLP)等。该类方法虽然在理论上可以得到问题的最优解，但在处理大规模非凸非线性问题时，难以在多项式时间内得到求解方案，同时该方法的求解精度通常也与问题的松弛精度存在较大关系。对于演化计算方法，最为常用的包含粒子群算法(Particle swarm optimization，PSO)，遗传算法(Genetic algorithm，GA)，以及捕食者与猎物进化策略算法(Evolutionarypredator andprey strategy，EPPS)等。虽然该方法在诸多领域都得到了广泛的应用，但其易于早熟以及计算量大等缺点仍然十分明显。因此，针对该问题，如何考虑风电出力不确定性，设计灵活，快速以及稳定的调度方法，进而保障风-水-火联合调度系统的经济性与安全性，提高系统消纳能力，是当前亟待解决的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种风-水-火综合能源系统的智能调度方法及系统，能够实现风电、水电及火电各系统的协同互补调度，从而提高综合能源系统的响应能力，降低系统发电成本，增强系统风电消纳能力，确保系统稳定安全运行。

为实现上述目的，按照本发明的第一方面，提供了一种风-水-火综合能源系统的智能调度方法，包括：

S1，建立风-水-火综合能源系统的目标函数和约束条件；

S2，将求解所述目标函数的过程转化为马尔科夫决策过程，基于风-水-火综合能源系统的历史数据，采用滚动优化策略使智能体与系统进行交互，并采集交互数据对所述智能体进行控制策略更新，以训练所述智能体；

S3，采用训练好的智能体求解实际调度问题，得到初步调度方案，并利用粒子群算法对所述初步调度方案进行二次优化，得到最优调度方案。

按照本发明的第二方面，提供了一种风-水-火综合能源系统的智能调度系统，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第一方面所述的方法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、相较于传统的单一能源调度，本发明构建的风-水-火协同模型可以充分发挥风-水-火优势互补特性，进而提升综合能源系统经济性与稳定性。在此基础上，利用滚动优化方法实现了综合考虑全局信息，以局部优化代替全局优化，并不断利用最新信息进行反馈校正的效果，有利于应对风电不确定性对系统造成的影响。同时，所提出的混合增强智能算法，充分利用了深度强化学习算法挖掘数据价值与历史信息价值，实现了调度方案的快速给出，并由于演化计算的加入，使得算法可以根据当前信息调整调度方案，实现了调度方案再优化。以此设计的风-水-火智能控制系统能够根据环境变化灵活快速给出调度方案，并最大程度的提高风电消纳能力，降低系统运行成本，同时增加系统稳定性。

2、本发明提供的风-水-火综合能源系统的智能调度方法，在离线学习+线上应用的基础上，在线上应用阶段增加了演化计算环节。这使得离线学习的泛化能力可以与线上演化计算的个性化能力相结合，形成优势互补，显著增加风-水-火系统的调度能力与适应能力。现存的研究大多首先利用深度强化学习在离线阶段根据历史数据对智能体进行训练，当训练完成时便将其直接应用于在线阶段；此外，还有部分研究为直接将演化计算应用于线上以解决调度问题。然而考虑到风-水-火联合调度系统的复杂时空耦合关系，风速的随机性与不确定性，以及历史数据的有限性，仅采用历史数据对智能体训练难以完全覆盖庞大的系统状态空间，进而可能出现部分调度结果不理想的情况；于此同时仅利用演化计算在在线阶段计算调度计划无疑会造成巨大的计算负担与求解时间压力。因此不同于上述两种方法，本发明依据深度强化学习在离线阶段对模型进行泛化学习，同时利用演化计算在在线阶段进一步进行个性化优化可以克服上述问题。

3、本发明提供的风-水-火综合能源系统的智能调度方法，将滚动优化决策过程表征为深度强化学习中的MDP，使得深度强化学习也可以采用滚动优化策略来与环境进行交互。现存研究在利用深度强化学习解决能源调度问题时，并未考虑采用滚动优化策略。然而，本发明所构建的风-水-火联合调度模型具有十分明显的时间耦合特性，即当前调度计划会对系统未来的状态造成一定的影响，同时考虑到风速的不确定性，这就使得在制定调度计划时，适当的考虑当前调度计划对未来的影响很有必要。因此在将调度过程构建为MDP时，对滚动优化策略进行了考虑。

4、本发明提供的风-水-火综合能源系统的智能调度方法，将深度强化学习与演化计算PSO进行了结合，所设计的动态指导方式可以平衡寻优过程中算法的探索与利用能力。本发明在利用深度强化学习指导PSO算法时，设计了一种动态指导方式，该方式可以根据PSO种群中的最优值与深度强化学习给出的进行比较，通过二者之间的差值调整对PSO种群的指导能力。

附图说明

图1为本发明实施例提供的风-水-火综合能源系统示意图：

图2为本发明实施例提供的基于深度强化学习与演化计算的风-水-火混合增强智能调度流程图；

图3为本发明实施例提供的滚动优化方案流程图；

图4为本发明实施例提供的将滚动优化构建为马尔科夫决策过程的示意图；

图5为本发明实施例提供的智能体内部结构示意图；

图6为本发明实施例提供的深度强化学习中智能体的训练过程流程图；

图7为本发明实施例提供的利用演化计算进一步对调度方案进行调整的流程图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例提供一种风-水-火综合能源系统的智能调度方法，如图1-2所示，包括：

S1，建立风-水-火综合能源系统的目标函数和约束条件。

具体地，依据风电，阶梯水电，火电实际物理特性构建如图1所示的风-水-火综合能源系统，同时对系统供需平衡关系，水库容量时空耦合特性，水电机组，火电机组及风电机组物理特性进行表征。

S2，将求解所述目标函数的过程转化为马尔科夫决策过程，基于风-水-火综合能源系统的历史数据，采用滚动优化策略使智能体与系统进行交互，并采集交互数据对所述智能体进行控制策略更新，以训练所述智能体。

具体地，依据风-水-火综合能源系统时空耦合关系，利用滚动优化策略，求解目标函数，确定优化调度周期以及执行周期，并设计二者交替关系。

进一步地，所述滚动优化策略中，优化调度周期大于执行周期。

具体地，优化调度周期与执行周期交替关系如下：

在滚动优化中，考虑到风电等数据预测误差及系统时空耦合关系的存在，在制定调度方案时通常需要对较长时间尺度进行考虑，而在实际执行时仅执行部分时间尺度所对应的调度方案。在本发明中，优化调度周期是指在制定调度方案时所考虑的时间尺度大小，执行周期是指具体执行的调度方案所对应的时间尺度大小。在本发明中，优化调度周期仅需大于执行周期即可。

根据水库上游来水，水库容量，火电机组出力，净负荷等系统信息刻画状态变量，根据阶梯水电发电流量，火电机组爬坡等决策信息刻画动作变量，依据系统调度优化目标函数确立奖励映射规则，进而将滚动优化模型构建为马尔科夫决策过程。

基于历史数据，使深度强化学习中的智能体与系统进行交互，采集交互数据对智能体进行策略更新，进而提高智能体泛化能力，实现初步调度方案的快速给出。

具体地，结合演化计算算法：粒子群算法，在深度强化学习的基础上，根据当前实际数据进一步调整调度方案。从而确保算法适应能力，在确保系统稳定安全运行的前提下，优化系统的运行成本及风电消纳能力。

进一步地，为保证风-水-火综合能源系统的稳定高效运行，需要依据风电机组，水电机组与火电机组实际物理模型及功率转换关系建立约束条件。主要包含电量供需平衡约束、梯级水库容量平衡约束、以及水电机组，风电机组，火电机组发电功率约束等，其具体约束条件如下所示：

V_h ^min≤V_h,t≤V_h ^max (4)

相应的，在上述约束条件下，为减小综合能源系统运行成本，提高风电利用率，保障系统稳定性，系统进行调度时构建其目标函数如下：

F_t＝F_I+F_p+F_c+F_h (16)

其中，F(t)系统的目标函数，F_I为火电机组出力成本，T为制定调度方案时所考虑的时间尺度，a_i、b_i、c_i为火电机组i的成本参数，e_i、h_i为火电机组i的阀点效应参数；F_p为风-水-火系统额外购电成本，C_p为额外购电的价格；F_c为弃风惩罚，C_c为弃风惩罚因子；F_h为容量偏离惩罚，EV_h,t为水电站h在t时段的期望容量，

为水电站h在t时段的允许偏离系数，C_h1、C_h2为常数。

为火电机组i在时段t的出力，N_i为火电机组数目；

为水电站h在t时段的出力，N_h为风电机组数目；

为第w台风电机组在时段t的出力，N_w为风电机组数目；Δt为时段t所包含的小时数；

为第t时段，系统从外部额外购买的电量，

为第t时段系统的弃风量，

为系统在时段t的需求电量；V_h,t为水电站h在t时段经调度之后的容量，I_h,t为水电站h在时段t的自然来水流量，Q_h,t为水电站h在时段t的发电流量，S_h,t为水电站h在时段t的弃水流量，

为水电站h的直接上游电站个数，k为其直接上游水电站编号，t_kh为上游电站k到电站h的水流时滞；ξ_h1～ξ_h6为水电站h的发电系数；V_h ^max与V_h ^min分别为水电站h的容量上下限，

与

分别为发电流量的上下限，

与

分别为出库流量的上下限；

与

分别为水电站h出力的上下限，

与

分别为火电机组i的出力上下限；UR_i与DR_i分别为火电机组i的爬坡上下限；

为风电机组w在时段t的出力，P_ra,w为风电机组w的额定功率，v_w,t为风电机组w处时段t的风速，v_in,w、v_out,w、v_ra,w分别为风电机组w的切入、切出以及额定风速。

在步骤S2中，基于上述优化模型，考虑风电，阶梯水电，火电之间的时空耦合关系，以及风电出力不确定性对系统造成的影响，本发明将滚动优化策略应用于风-水-火综合能源系统中。其具体过程如下所示：

为便于理解，此处给出一具体案例，并配以附图3进行解释。在本案例中，设优化调度周期为4h，执行周期为1h，同时从t时刻开始执行滚动优化。此时，在t时刻制定相应调度方案时，需要对t～(t+3)共4h时段信息进行综合考虑，并制定相应调度方案，进而达到4h内整体最优。而在具体执行调度方案时，由于执行周期为1h，因此只执行1h内的调度方案，即仅执行t时刻的调度方案。之后，随着时间推移，系统进入t+1时刻，根据(t+1)～(t+4)时刻的预测信息，构建为新一轮的优化调度周期决策信息，并重新制定调度方案，且仅执行t+1时段的调度方案。重复上述过程，以实现滚动优化。

为便于后续利用深度强化学习求解，此处需要使滚动优化与深度强化学习数据机理相适应，需将滚动优化构建为马尔科夫决策过程形式。及具体流程如附图4所示。从整体来看，首先依据系统整个优化调度周期内的决策信息新建状态变量s₁，并将其输入智能体(Agent)中，Agent会依据自身控制策略输出相应动作a₁，以及在状态s₁下，输出a₁的概率p₁。此后，环境依据状态s₁与动作a₁给出奖励值r₁，并将状态转移至下一时刻状态s₂。类似的，Agent依据s₂给出a₂与p₂，重复上述过程，直至给出奖励值r₄，此时a₁～a₄即为t₁～t₄优化调度周期的调度方案。

Agent的状态变量表示如下：

其中，s_t为t时刻智能体的状态。

通过上述构造方法，实现了Agent对阶梯水库上游来水，水库当前容量，火电机组出力，净负荷需求能信息的提取与利用。以便于Agent分析状态间的差异，提高训练效率。

本发明实施例提供的基于深度强化学习与演化计算的风-水-火混合增强智能调度方法，通过将梯级水电上游来水，梯级水电区间自然来水，火电机组当前出力，系统净负荷等数据信息构造为深度强化学习智能体状态变量，实现了最大程度捕捉系统关键影响因素，为智能体决策提供了充足的系统信息，提升智能体训练效果。

Agent的动作表示如下：

a_t＝[Q_t,Δp_t] (25)

其中，a_t为t时刻智能体的动作。

依据智能体动作a_t，可以确定水库发电流量以及火电机组爬坡功率，从而获得风-水-火综合能源系统的调度计划，实现系统的智能控制。

本发明实施例提供的基于深度强化学习与演化计算的风-水-火混合增强智能调度方法，通过将阶梯水电发电流量，火电机爬坡功率作为深度强化学习中智能体动作变量，实现了实际物理系统控制变量与智能体动作变量一致性。进而使得智能体动作输出无需再处理便可应用于风-水-火联合调度系统。增加了控制系统的便利性。

依据调度后系统状态确立奖励映射规则方式如下：

其中，

为t时刻智能体的奖励值。

具体地，奖励值定义为目标函数(16)的负值，即：

r_t＝-F_t (29)

在本发明中，环境定义为风-水-火综合能源系统。依据状态s_t，环境可以确定综合能源系统当前的状态信息。于此同时，依据动作a_t，环境可以确定综合能源系统当前的调度方案。此时，基于式(1)-(16)可以计算得目标函数F_t，并通过式(29)进一步计算得出环境应当给予Agent的奖励值r_t。

本发明实施例提供的基于深度强化学习与演化计算的风-水-火混合增强智能调度方法，依据调度目标函数构造深度强化学习奖励函数，保证了马尔科夫决策过程与综合能源系统调度目标的一致性。进而使得智能体以优化综合能源系统调度目标为驱动进行学习，优化自身控制策略。

在本发明中，Agent为综合能源系统中的分析-决策单元。详细构造如附图5所示，其中，决策网络用于依据状态s给出动作的均值μ与方差σ，进而通过高斯分布采样得到动作a。而评价网络则用于评价状态s的价值V(s)，并在后续过程中协助策略网络更新。

进一步地，进一步地，训练智能体控制策略的方法如下：

其中，θ为策略网络参数，α为学习率；

为目标函数的梯度，π_θ(a_t|s_t)为智能体在控制策略π_θ下，当状态为s_t时，输出动作a_t的概率；

为状态为s_t时，动作a_t的优势；

为状态为s_t时，动作a_t的价值，

为状态s_t的价值；

为状态为s_t时，动作a_t的奖励值，τ为轨迹，记录了智能体在与环境交互过程中经过的状态与做出的动作，为一系列状态与动作的集合。

具体地，利用近端策略优化(Proximal Policy Optimization，PPO)对Agent进行训练，训练流程图如附图6所示。该过程主要分为三个阶段：与环境交互生成样本阶段，策略网络训练阶段以及评价网络训练阶段。其中与环境交互生成样本阶段具体步骤如下所示：

1.环境依据上一时刻Agent动作与历史数据输出状态变量s_t。

2.策略网络依据s_t输出μ与σ，并基于此构建高斯分布

同时通过对π_θ(·|s_t)采样得到动作a_t。

3.此后环境根据s_t与a_t对状态进行转移得到状态s_t+1，同时依据式(29)输出奖励值r_t。

4.重复上述过程，直到达到终止条件，并将该过程所产生的变量＜s_t,a_t,π(a_t|s_t),r,s_t+1＞保存在记忆库Memory中，用于后续训练网络。

好的策略可以使Agent依据当前状态s输出最优动作a*，从而最大化奖励值。策略网络训练阶段具体流程如下所示：

1.从Memory中采样得到训练数据

2.策略网络依据s_t构建高斯分布π_θ，并根据a_t计算得π_θ(a_t|s_t)。

3.依据π_θ(a_t|s_t)，

以及评价网络训练阶段所输出的优势

对网络进行梯度更新。计算方式如下：

评价网络主要用于协助策略网络进行更新，其主要原理为通过拟合状态价值函数

进而为策略网络训练提供优势函数

因此，我们也需要对评价网络进行更新，使其更好的拟合状态价值函数。该过程如下所示：

1.评价网络首先提取训练样本数据中的状态s_t及s_t+1，之后对其价值进行估计，得到

与

其中θ^c为策略网络参数。

2.依据奖励值r_t与

计算优势

并将其传递于策略网络训练阶段。优势函数的计算方式如下：

3.依据奖励值r_t与

对评价网络进行参数更新。计算方式如下：

其中，a^c为评价网络更新的学习率。

进一步地，在步骤S3中，一种演化计算方法：粒子群算法(Particle SwarmOptimization，PSO)被用于进一步对调度方案x_DRL进行调整，进而增强算法的适应能力与鲁棒性。

本发明中，利用PSO算法进一步对调度方案x_DRL进行调整的过程可进一步分为四个时期：初始化时期，迭代初期，迭代中期以及迭代后期。以调度周期为4Δt为例，其流程图如附图7所示。

在初始化时期，风-水-火综合能源系统将首先被环境构造为s₀。此后，Agent与环境进行交互，得到4个时期的动作a₁～a₄，并直接将其作为调度方案x_DRL(即初步调度方案)。

在迭代初期，x_DRL将被用于指导PSO中粒子的运动，进而使粒子种群快速运动到较优位置。该过程可以由下式表示：

在迭代中期，粒子种群将持续受到x_DRL的影响，为保证种群可以充分利用x_DRL的同时，提高种群的探索能力，实现算法探索与利用的均衡，本发明定义指导因子c₃的大小与x_DRL、Gbest^k函数值之间的差值相关，其具体计算方式如下所示。

其中，

分别表示第j个粒子在第k次迭代中的速度与位置，j＝1,2,…,N_j、k＝1,2,…,N_k，N_j与N_k分别表示算法中粒子的总数以及总的迭代次数；

为粒子j在前k次迭代过程中的最优位置，Gbest^k代表粒子群在前k次迭代过程中的最优位置；x_DRL为初步调度方案；w为惯性权重，rand为(0,1]之间的随机数，c₁、c₂为学习因子，c₃为指导因子，c₃越大表明x_DRL对粒子的指导能力越强；

与

分别为Gbest^k与x_DRL的函数值，C_pso为常数。

在迭代后期，依据式(40)，指导因子c₃将逐渐减小为0。此时，深度强化学习所给出的调度方案将不再具有指导作用，同时Gbest^k的函数值已经更为优越。此后，粒子种群将完全处于自主运动状态，同时继续对系统进行优化。最后，

将作为风-水-火综合能源系统的调度方案(即最优调度方案)。

本发明实施例提供的基于深度强化学习与演化计算的风-水-火混合增强智能调度方法，通过构建自适应指导因子，实现了演化计算充分平衡探索与利用的能力，在迭代初期通过较大的指导因子加快算法利用能力，迅速提升调度方案质量。在调度方案优于智能体给出方案时加大探索能力，进一步探索更优的调度方案。进而实现了算法依据调度方案优劣自动调整优化方向。

综上，本发明实施例提供的基于深度强化学习与演化计算的风-水-火混合增强智能调度方法，考虑风电，阶梯水电以及传统火电优缺点，确立风电，水电及火电物理特征，搭建了风-水-火联合互补综合能源系统，进而提出了风-水-火联合互补能源调度问题。相较于传统的单一能源调度，本发明构建的风-水-火协同模型可以充分发挥风-水-火优势互补特性，进而提升综合能源系统经济性与稳定性。通过引入滚动优化策略以应对风电不确定性对综合能源系统带来的影响，该策略以风速预测误差随时序推移下降客观事实为基础依据，利用预测数据制定全局调度方案，但仅对部分调度方案进行实施，实现了以局部优化代替全局优化，并利用最新预测数据反馈校正，进而提升调度效果。此外，为保证调度方案求解时间与求解质量，本发明提出了混合增强智能调度算法，该算法结合深度强化学习与演化计算，利用深度强化学习挖掘历史数据价值，并与风-水-火综合能源系统进行交互学习，优化自身控制策略，进而实现调度方案快速给出。在此基础上，利用演化计算进一步对深度强化学习给出方案进行调整，增强算法调节能力，再次优化调度方案，从而实现风-水-火联合调度快速决策，并确保电力供需平衡，新能源高效消纳以及阶梯水电容量安全。本发明提供的方法可为风-水-火等综合能源系统的决策者制定快速，稳定的调度方案提供一定参考价值；同时提高新能源消纳能力，降低系统响应时间，提高系统稳定性与经济性。

本发明实施例提供一种风-水-火综合能源系统的智能调度系统，包括：

计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如上述任一实施例所述的方法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。