CN109066805B - 一种跨区互联电网发输电系统动态调度优化方法 - Google Patents

Abstract

本发明公开了一种跨区互联电网发输电系统动态调度优化方法，首先确立包含常规发电机组、光伏发电机组、风电机组、刚性负荷、柔性负荷以及直流联络线多个单元在内的多区域互联电网架构，建立各个单元的物理模型；然后将跨区互联电网动态调度问题建立成相应的MDP数学模型；最后采用深度Q学习算法对MDP数学模型进行策略求解。在所得策略下，调度机构可根据调度时刻电网实际运行状态选取合理的行动方案，实现对跨区互联电网发输电系统动态调度。本发明可有效应对跨区互联电网中新能源与负荷需求的随机性，促进了新能源的消纳，有利于跨区互联电网安全经济运行，提高了电力系统运行的稳定性。

Description

一种跨区互联电网发输电系统动态调度优化方法

技术领域

本发明属于跨区互联电网调度领域，具体的说是一种考虑新能源出力及负荷需求随机性 的跨区互联电网发输电系统源-送-荷联合优化的动态调度模型以及相应的学习优化方法。

背景技术

跨区电网互联是实现资源在全国范围内优化配置和提高利用效率的重要手段之一，构建 跨省、跨区互联电网，能够充分发挥大电网余缺调剂、资源优配、备用共享、事故支援等多 方面效益，并大幅提高新能源的消纳水平。

现有对于跨区互联电网系统区域间联络线与区域内单元联合优化的研究和关注甚少，可 应对新能源出力与负荷需求随机性的跨区互联电网动态调度方法尚无。目前，跨区互联电网 实时发电计划是基于日前联络线计划展开的，通过实时调节各区域内发电机组出力，以应对 新能源出力及负荷需求的随机波动的，尽可能保证日前的联络线计划不变。但新能源出力及 负荷需求的不确定性是普遍存在且不可避免的，当实际值与日前预测值相差较大时，若以预 测曲线确定的日前联络线计划为实时计划的基准值，将难以保证发输电系统的低代价运行。

发明内容

本发明针对现有技术中存在的不足之处，提供一种跨区互联电网发输电系统动态调度方 法。通过建立较为完善的跨区互联电网动态调度模型，利用深度Q学习进行策略求解，获得 优化策略，在本发明方法所获得的优化策略下，调度机构能根据决策时刻各区域常规发电机 组，新能源出力功率，负荷需求功率以及直流联络线输电功率，选择最优行动来调整常规发 电机组、直流联络线功率以及削减柔性负荷需求，从而提高跨区互联电网系统运行效益。

本发明为解决技术问题采用如下技术方案：

本发明跨区互联电网发输电系统动态调度优化方法的特点是按如下步骤进行：

步骤1、确定跨区互联电网架构，各区域内包含有常规发电机组、光伏机组、风电机组 以及用户负荷，所述用户负荷包括刚性负荷和柔性负荷，区域之间由直流联络线进行连接；

步骤2、建立风力出力、光伏出力、用户负荷需求不确定性模型以及所述常规发电机组 和直流联络线模型：

步骤2.1、建立所述风电出力、光伏出力以及负荷需求不确定性模型：

针对所述跨区互联电网发输电系统，预测调度日时刻t各类功率预测值；所述各类功率预 测值是指区域z中风电出力预测值

光伏出力预测值

以及负荷需求预测值

将风电出力在时刻t相对于预测值

的随机性波动范围确定为

并将 其随机性波动范围

离散为2N_w+1个等级，建立由式(1)所表征的风电出力不确 定性模型：

式(1)中，

为t时刻下区域z实际风电出力；

为t时刻下区域z风电出力随机波动的等 级,

为t时刻下区域z风电出力随机波动的最小单位；

将光伏出力在时刻t相对于预测值

的随机性波动范围确定为

并将随 机性波动范围

离散为2N_pv+1个等级，建立由式(2)所表征的光伏出力不确定性 模型：

式(2)中，

为t时刻下区域z实际光伏出力；

为t时刻下区域z光伏出力随机波动的等 级,

为t时刻下区域z光伏出力随机波动的最小单位；

将负荷需求在时刻t相对于预测值

的随机性波动范围确定为

并将随 机性波动范围

离散为2N_L+1个等级，建立由式(3)所表征的负荷需求不确定性 模型：

式(3)中，

为t时刻下区域z实际负荷需求；

为t时刻下区域z负荷需求随机波动的等 级,

为t时刻下区域z负荷需求随机波动的最小单位；

将风电出力随机波动等级

光伏出力随机波动等级

和负荷需求随机波动等级

随时间变化的过程描述为马尔可夫过程，令各项随机波动等级的变化服从各自概率矩阵的马 尔可夫链；

步骤2.2、建立所述常规发电机组模型：

将所述跨区互联电网发输电系统调度日时长T等分为0～K共K+1个时段；

将区域z中常规发电机组h一个时段内功率变化区间范围

离散为

个等级，在变化区间范围内的最小可调单位为

在时段k中常规发电机组h调整功率等 级

为：

以最小可调单位

将常规发电机组h的正常发电区间

分为

个等级， 因此，时段k中的起始时刻t_k常规发电机组功率等级

为：

步骤2.3、建立所述跨区联络线模型：

将所述跨区互联电网区域间联络线d一个周期内功率变化区间范围

离散 为

个等级，在变化区间范围内的最小可调单位为

在时段k内中联络线d调整功 率等级

为：

以最小可调单位

将联络线d的安全输送区间

分为

个等级，因此，时 段k中的起始时刻t_k联络线功率等级

为：

步骤2.4、建立所述柔性负荷模型：

跨区互联电网在时刻t下区域z内柔性负荷需求

与区域z总负荷需求

具有线性关 系：

其中μ^z为区域z中柔性负荷需求

占总负荷需求

的比例；

将区域z各时段k中柔性负荷削减量占比离散成

个等级，则时段k内柔性负荷的削 减等级

为：

步骤3、以降低系统日运行代价为系统调度优化目标，在满足系统实际运行过程中的各 项约束条件下，将跨区互联电网动态调度问题建立成相应的MDP数学模型：

步骤3.1、确定所述MDP数学模型的系统状态s_k和行动a_k：

将所述时段k定义为决策周期k，并将所述决策周期k起始时刻t_k定义为决策时刻t_k；

定义所述跨区互联电网发输电系统在决策时刻t_k的系统状态s_k为：

其中，

为区域z决策时刻t_k下的状态信息，

为直 流联络线d决策时刻t_k下的功率等级；Z为总的区域数量；D为区域间联络线的总条数；所 述区域z决策时刻t_k下的状态信息

包括区域z中决策时刻t_k下各个常规发电机组的功率 等级

风电出力、光伏出力与负荷需求的随机波动等级

定义所述跨区互联电网发输电系统在决策时刻t_k的行动a_k为：

其中，

为区域z决策时刻t_k下的动作信息，

为直流联络线 d决策时刻t_k下调整功率等级；所述区域z决策时刻t_k下的动作信息

包括区域z中决策 时刻t_k下各个常规发电机组的调整功率等级

区域z中决策时刻t_k下柔性负荷 的削减等级

步骤3.2、确定所述MDP数学模型的代价函数：

所述跨区互联电网发输电系统在决策时刻t_k执行行动a_k，利用式(4)计算获得所述跨区互 联电网发输电系统在决策周期k内产生的运行代价：

式(4)中，c^k为决策周期k内跨区互联电网发输电系统总运行代价；

为决策周期k内各区域 常规发电机组的运行代价和；

为决策周期k内各区域风电机组弃风的代价和；

为决策 周期k内各区域光伏发电机组弃光的代价和；

为决策周期k内各区域柔性负荷的补偿代价；

为决策周期k内各区域负荷需求量与日预测负荷均值量的偏离代价；

为第k个周期内 各条直流联络线的电力损耗代价和；

为决策周期k内未完成负荷需求供给的惩罚代价；

步骤3.3、确定所述MDP数学模型的优化目标：

建立由式(5)所表征的跨区互联电网发输电系统的有限时段内优化性能准则函数V^π：

式(5)中，π为优化策略，为系统状态s_k到行动a_k的映射，表征为a_k＝π(s_k)；E为期望；优 化性能准则函数V^π即是在策略π下

的期望；

所述跨区互联电网发输电系统的优化目标为求得最优策略π^*，在所述最优策略π^*下系统 的平均日运行总代价最低，由式(6)所表征：

步骤4、采用深度Q学习算法对所述MDP数学模型进行求解

步骤4.1、令系统状态s_k的维度为r_s，行动a_k的维度为r_a，r＝r_s+r_a；

构建两个具有相同网络架构深度神经网络，分别是当前值深度神经网络和目标值深度神 经网络；两个深度神经网络的输入均为r维，输出均为1维，所述两个深度神经网络都是以 系统状态s_k和行动a_k为网络输入，输出为值函数Q(s_k,a_k)；

步骤4.2、定义并初始化学习率α、样本池容量V、网络训练次数M以及一次训练中批样本容量B，令当前已训练次数m＝0；

步骤4.3、判断mod(m,100)＝0是否成立；若成立，则将当前值深度神经网络的网络参数 赋给目标值深度神经网络，并进入步骤4.4；若不成立，则直接进入步骤4.4；

步骤4.4、确定样本池中现有样本数量L，判断L＜V是否成立；若成立，则按步骤4.10 的方法对样本数据进行扩充，并重复步骤4.4；否则转入步骤4.5；

步骤4.5、在样本池中随机抽取B条样本数据作为第m次学习的批训练样本，所述样本数 据的形式为(s,a,c,s′)；

步骤4.6、将批训练样本中各样本的当前系统状态s与当前行动a作为当前值深度神经网 络的输入，记录各条训练样本对应的输出，获得基于当前值深度神经网络下的值函数Q(s,a)；

步骤4.7、将批训练样本中各样本的下一状态s′作为目标值深度神经网络的状态输入，通 过遍历行动的方法提供行动输入，通过目标值深度神经网络获得minQ(s′,allaction)；利用式 (7)计算得到各样本在基于目标值深度神经网络下的值函数Q^*(s,a)：

Q^*(s,a)＝c+αminQ(s′,all action) (7)；

步骤4.8、定义当前值深度神经网络的损失函数Loss为：Loss＝[Q(s,a)-Q^*(s,a)]²，根 据损失函数利用梯度下降法更新当前值深度神经网络参数；

步骤4.9、将m的值增加1，判断m＞M是否成立，若不成立，删除样本池中前B条样本数据，返回步骤4.3；若成立，则完成所述跨区互联电网动态调度的优化算法；

步骤4.10、扩充样本数据：

步骤4.10.1、令k＝0；随机初始化系统状态；定义并初始化贪婪概率ε；

步骤4.10.2、所述跨区互联电网发输电系统在决策时刻t_k根据系统状态s_k和当前值深度神 经网络，选取贪婪行动a_greedy为：

同时，随机选取行动a_rand； 判断rand(0,1)＜ε是否成立；若成立，则将贪婪行动a_greedy赋值给a_k；否则，将随机动作a_rand赋 值给a_k；

步骤4.10.3、所述跨区互联电网发输电系统执行决策时刻t_k下所选行动a_k，并利用式(4) 计算在决策周期k内产生的运行代价c^k并记录；

在决策周期k结束时，观测所述跨区互联电网发输电系统在决策时刻t_k+1的系统状态s_k+1；

步骤4.10.4、令s＝s_k,a＝a_k,c＝c^k,s′＝s_k+1，并将样本数据(s,a,c,s′)传入样本池中；

步骤4.10.5、判断k＜K是否成立；若成立，将k的值增加1，将s_k+1赋值给s_k，然后转入 步骤4.10.2；否则，结束，完成一组样本数据的补充；

步骤5，通过不断对样本数据进行学习，得到收敛的值网络；将实际调度决策时刻t_k下的 系统状态s_k作为当前值深度神经网络输入，根据当前值深度神经网络选取最优行动a^*为：

得到该决策周期内各区域常规发电机组调整功率等级

柔性负荷 的削减等级

和各条跨区联络线输送调整功率等级

从而实现对所述跨区互联电网发输 电系统动态调度。

本发明跨区互联电网发输电系统动态调度优化方法的特点也在于：所述步骤3中系统实 际运行过程中的各项约束条件为：

其中：

为区域z内光伏实际出力功率，

为区域z内风电实际出力功率，

为区域z内常规 发电机组实际出力功率，

为区域z内负荷实际需求功率，Z为所述跨区互联电网区域总数；

为区域z常规发电机组h的出力功率，

分别为区域z常规机组h的出力功 率上下限；

分别为区域z常规机组h在决策周期k与决策周期k+1的出力功率，

为区 域z常规机组h在单决策周期内的功率爬坡限制；

为所述跨区互联电网中直流联络线d的传输功率，

分别为直流联络线d的传 输功率上下限；

分别为直流联络线d在决策周期k与决策周期k+1的传输功率，

为直流 联络线d在单决策周期内的功率爬坡限制。

在智能电网背景下，调度不断向智能化的方向发展。针对跨区互联电网调度问题，将人 工智能技术和电力调度技术相结合，可以为调控系统提供智能化的解决方案，实现电网运行 的经济、环保等多目标最优。与现有技术相比，本发明的有益效果在于：

1、本发明针对跨区互联电网调度问题，以系统日运行代价为目标，建立考虑源荷双侧随 机性及柔性负荷协同的跨区互联电网动态调度模型，通过学习优化方法进行策略求解。跨区 互联电网动态调度方法促进了新能源的消纳，有利于跨区互联电网安全经济运行，提高了电 力系统运行的稳定性；

2、本发明可以有效地应对跨区互联电网中新能源及负荷需求存在的随机性，在所得优化 策略下，调度机构根据决策时刻系统各个单元的实际功率情况，选取最优的调度行动；

3、本发明将柔性负荷的调节作用应用到多区域调度问题中，更充分地发挥区域之间的调 度潜力；

4、本发明采用了深度Q学习算法，与传统的学习优化算法相比，解决了出现的维数灾问 题，将学习优化方法应用到实际的电网调度中。

附图说明

图1为本发明所述的跨区互联电网发输电系统架构示意图；

图2为本发明解决跨区互联电网动态调度问题的深度Q学习算法流程图。

具体实施方式

本实施例中跨区互联电网发输电系统动态调度优化方法应用于如图1所示的跨区互联电 网发输电系统，包括：各区域内部的常规发电机组、光伏机组、风电机组、刚性负荷、柔性 负荷以及连接各区域间的直流联络线，各单元在图1中分别表示为1、2、3、4和5；调度机 构在决策时刻通过检测与通信设备获取跨区互联电网各单元出力情况与功率需求，并根据跨 区互联电网动态调度优化方法所得的策略选择最优行动来调整常规发电机组出力功率、调整 直流联络线传输功率以及削减柔性负荷需求，提高跨区互联电网系统运行效益。

参见图2，本实施例中跨区互联电网发输电系统动态调度优化方法按如下步骤进行：

步骤1，确定跨区互联电网架构，各区域内包含有常规发电机组、光伏机组、风电机组 以及用户负荷，用户负荷包括刚性负荷和柔性负荷，区域之间由直流联络线进行连接。

步骤2，建立风力出力、光伏出力、用户负荷需求不确定性模型以及常规发电机组和直 流联络线模型：

步骤2.1、建立风电出力、光伏出力以及负荷需求不确定性模型：

针对跨区互联电网发输电系统，预测调度日时刻t各类功率预测值；各类功率预测值是指 区域z中风电出力预测值

光伏出力预测值

以及负荷需求预测值

将风电出力在时刻t相对于预测值

的随机性波动范围确定为

并将 其随机性波动范围

离散为2N_w+1个等级，建立由式(1)所表征的风电出力不确 定性模型：

式(1)中，

为t时刻下区域z实际风电出力；

为t时刻下区域z风电出力随机波动的等 级,

为t时刻下区域z风电出力随机波动的最小单位；

将光伏出力在时刻t相对于预测值

的随机性波动范围确定为

并将随 机性波动范围

离散为2N_pv+1个等级，建立由式(2)所表征的光伏出力不确定性 模型：

式(2)中，

为t时刻下区域z实际光伏出力；

为t时刻下区域z光伏出力随机波动的等 级,

为t时刻下区域z光伏出力随机波动的最小单位；

将负荷需求在时刻t相对于预测值

的随机性波动范围确定为

并将随 机性波动范围

离散为2N_L+1个等级，建立由式(3)所表征的负荷需求不确定性 模型：

式(3)中，

为t时刻下区域z实际负荷需求；

为t时刻下区域z负荷需求随机波动的等 级,

为t时刻下区域z负荷需求随机波动的最小单位；

将风电出力随机波动等级

光伏出力随机波动等级

和负荷需求随机波动等级

随时间变化的过程描述为马尔可夫过程，令各项随机波动等级的变化服从各自概率矩阵的马 尔可夫链。

步骤2.2、建立常规发电机组模型：

将跨区互联电网发输电系统调度日时长T等分为0～K共K+1个时段；

将区域z中常规发电机组h一个时段内功率变化区间范围

离散为

个等级，在变化区间范围内的最小可调单位为

在时段k中常规发电机组h调整功率等 级

为：

以最小可调单位

将常规发电机组h的正常发电区间

分为

个等级， 因此，时段k中的起始时刻t_k常规发电机组功率等级

为：

步骤2.3、建立跨区联络线模型：

将跨区互联电网区域间联络线d一个周期内功率变化区间范围

离散为

个等级，在变化区间范围内的最小可调单位为

在时段k内中联络线d调整功率 等级

为：

以最小可调单位

将联络线d的安全输送区间

分为

个等级，因此，时 段k中的起始时刻t_k联络线功率等级

为：

步骤2.4、建立柔性负荷模型：

跨区互联电网在时刻t下区域z内柔性负荷需求

与区域z总负荷需求

具有线性关 系：

其中μ^z为区域z中柔性负荷需求

占总负荷需求

的比例；

将区域z各时段k中柔性负荷削减量占比离散成

个等级，则时段k内柔性负荷的削 减等级

为：

步骤3，以降低系统日运行代价为系统调度优化目标，在满足系统实际运行过程中的各 项约束条件下，将跨区互联电网动态调度问题建立成相应的MDP数学模型：

步骤3.1、确定MDP数学模型的系统状态s_k和行动a_k：

将时段k定义为决策周期k，并将决策周期k起始时刻t_k定义为决策时刻t_k；

定义跨区互联电网发输电系统在决策时刻t_k的系统状态s_k为：

其中，

为区域z决策时刻t_k下的状态信息，

为直 流联络线d决策时刻t_k下的功率等级；Z为总的区域数量；D为区域间联络线的总条数；区 域z决策时刻t_k下的状态信息

包括区域z中决策时刻t_k下各个常规发电机组的功率等级

风电出力、光伏出力与负荷需求的随机波动等级

定义跨区互联电网发输电系统在决策时刻t_k的行动a_k为：

其中，

为区域z决策时刻t_k下的动作信息，

为直流联络线 d决策时刻t_k下调整功率等级；区域z决策时刻t_k下的动作信息

包括区域z中决策时刻t_k下各个常规发电机组的调整功率等级

区域z中决策时刻t_k下柔性负荷的削减 等级

步骤3.2、确定MDP数学模型的代价函数：

跨区互联电网发输电系统在决策时刻t_k执行行动a_k，利用式(4)计算获得跨区互联电网发 输电系统在决策周期k内产生的运行代价：

式(4)中，c^k为决策周期k内跨区互联电网发输电系统总运行代价；

为决策周期k内各区域 常规发电机组的运行代价和；

为决策周期k内各区域风电机组弃风的代价和；

为决策 周期k内各区域光伏发电机组弃光的代价和；

为决策周期k内各区域柔性负荷的补偿代价；

为决策周期k内各区域负荷需求量与日预测负荷均值量的偏离代价；

为第k个周期内 各条直流联络线的电力损耗代价和；

为决策周期k内未完成负荷需求供给的惩罚代价。

步骤3.3、确定MDP数学模型的优化目标：

建立由式(5)所表征的跨区互联电网发输电系统的有限时段内优化性能准则函数V^π：

式(5)中，π为优化策略，为系统状态s_k到行动a_k的映射，表征为a_k＝π(s_k)；E为期望；优 化性能准则函数V^π即是在策略π下

的期望；

跨区互联电网发输电系统的优化目标为求得最优策略π^*，在最优策略π^*下系统的平均日 运行总代价最低，由式(6)所表征：

步骤4，采用深度Q学习算法对MDP数学模型进行求解

步骤4.1、令系统状态s_k的维度为r_s，行动a_k的维度为r_a，r＝r_s+r_a；

构建两个具有相同网络架构深度神经网络，分别是当前值深度神经网络和目标值深度神 经网络；两个深度神经网络的输入均为r维，输出均为1维，两个深度神经网络都是以系统 状态s_k和行动a_k为网络输入，输出为值函数Q(s_k,a_k)。

步骤4.2、定义并初始化学习率α、样本池容量V、网络训练次数M以及一次训练中批样本容量B，令当前已训练次数m＝0。

步骤4.3、判断mod(m,100)＝0是否成立；若成立，则将当前值深度神经网络的网络参数 赋给目标值深度神经网络，并进入步骤4.4；若不成立，则直接进入步骤4.4。由于当前值深 度神经网络的网络与目标值深度神经网络的参数不同时更新，一定程度上降低了两个深度神 经网络输出的相关性，提升了算法的稳定性。

步骤4.4、确定样本池中现有样本数量L，判断L＜V是否成立；若成立，则按步骤4.10 的方法对样本数据进行扩充，并重复步骤4.4；否则转入步骤4.5。

步骤4.5、在样本池中随机抽取B条样本数据作为第m次学习的批训练样本，样本数据的 形式为(s,a,c,s′)。在训练深度网络时，通常要求样本之间是相互独立的。这种随机采样的方 式，大大降低了样本之间的关联性，从而提升了算法的稳定性。

步骤4.6、将批训练样本中各样本的当前系统状态s与当前行动a作为当前值深度神经网 络的输入，记录各条训练样本对应的输出，获得基于当前值深度神经网络下的值函数Q(s,a)。

步骤4.7、将批训练样本中各样本的下一状态s′作为目标值深度神经网络的状态输入，通 过遍历行动的方法提供行动输入，通过目标值深度神经网络获得minQ(s′,allaction)；利用式 (7)计算得到各样本在基于目标值深度神经网络下的值函数Q^*(s,a)：

Q^*(s,a)＝c+αminQ(s′,all action) (7)。

步骤4.8、定义当前值深度神经网络的损失函数Loss为：Loss＝[Q(s,a)-Q^*(s,a)]²，根 据损失函数利用梯度下降法更新当前值深度神经网络参数。

步骤4.9、将m的值增加1，判断m＞M是否成立，若不成立，删除样本池中前B条样本数据，返回步骤4.3；若成立，则完成跨区互联电网动态调度的优化算法。

步骤4.10、扩充样本数据：

步骤4.10.1、令k＝0；随机初始化系统状态；定义并初始化贪婪概率ε；

步骤4.10.2、跨区互联电网发输电系统在决策时刻t_k根据系统状态s_k和当前值深度神经网 络，选取贪婪行动a_greedy为：

同时，随机选取行动a_rand；判断 rand(0,1)＜ε是否成立；若成立，则将贪婪行动a_greedy赋值给a_k；否则，将随机动作a_rand赋值 给a_k；

步骤4.10.3、跨区互联电网发输电系统执行决策时刻t_k下所选行动a_k，并利用式(4)计算 在决策周期k内产生的运行代价c^k并记录；

在决策周期k结束时，观测跨区互联电网发输电系统在决策时刻t_k+1的系统状态s_k+1；

步骤4.10.4、令s＝s_k,a＝a_k,c＝c^k,s′＝s_k+1，并将样本数据(s,a,c,s′)传入样本池中；

步骤4.10.5、判断k＜K是否成立；若成立，将k的值增加1，将s_k+1赋值给s_k，然后转入 步骤4.10.2；否则，结束，完成一组样本数据的补充。

步骤5、通过不断对样本数据进行学习，得到收敛的值网络；将实际调度决策时刻t_k下的 系统状态s_k作为当前值深度神经网络输入，根据当前值深度神经网络选取最优行动a^*为：

得到该决策周期内各区域常规发电机组调整功率等级

柔性负荷 的削减等级

和各条跨区联络线输送调整功率等级

从而实现对跨区互联电网发输电系 统动态调度。

具体实施中，步骤3中系统实际运行过程中的各项约束条件为：

其中：

为区域z内光伏实际出力功率，

为区域z内风电实际出力功率，

为区域z内常规 发电机组实际出力功率，

为区域z内负荷实际需求功率，Z为跨区互联电网区域总数；

为区域z常规发电机组h的出力功率，

分别为区域z常规机组h的出力功 率上下限；

分别为区域z常规机组h在决策周期k与决策周期k+1的出力功率，

为区 域z常规机组h在单决策周期内的功率爬坡限制；

为跨区互联电网中直流联络线d的传输功率，

分别为直流联络线d的传输功 率上下限；

分别为直流联络线d在决策周期k与决策周期k+1的传输功率，

为直流联 络线d在单决策周期内的功率爬坡限制。

本发明解决了跨区互联电网发输电系统动态调度问题，所得调度策略可有效应对新能源 与负荷需求的随机性，促进了新能源的消纳，提高了跨区互联电网的运行效益，有利于电力 系统安全稳定地运行。

Claims (1)

1.一种跨区互联电网发输电系统动态调度优化方法，其特征是按如下步骤进行：

步骤1、确定跨区互联电网架构，各区域内包含有常规发电机组、光伏机组、风电机组以及用户负荷，所述用户负荷包括刚性负荷和柔性负荷，区域之间由直流联络线进行连接；

步骤2、建立风电出力、光伏出力、用户负荷需求不确定性模型以及所述常规发电机组和直流联络线模型：

步骤2.1、建立所述风电出力、光伏出力以及负荷需求不确定性模型：

针对所述跨区互联电网发输电系统，预测调度日时刻t各类功率预测值；所述各类功率预测值是指区域z中风电出力预测值

光伏出力预测值

以及负荷需求预测值

将风电出力在时刻t相对于预测值

的随机性波动范围确定为

并将其随机性波动范围

离散为2N_w+1个等级，建立由式(1)所表征的风电出力不确定性模型：

式(1)中，

为t时刻下区域z实际风电出力；

为t时刻下区域z风电出力随机波动的等级,

为t时刻下区域z风电出力随机波动的最小单位；

将光伏出力在时刻t相对于预测值

的随机性波动范围确定为

并将随机性波动范围

离散为2N_pv+1个等级，建立由式(2)所表征的光伏出力不确定性模型：

式(2)中，

为t时刻下区域z实际光伏出力；

为t时刻下区域z光伏出力随机波动的等级,

为t时刻下区域z光伏出力随机波动的最小单位；

将负荷需求在时刻t相对于预测值

的随机性波动范围确定为

并将随机性波动范围

离散为2N_L+1个等级，建立由式(3)所表征的负荷需求不确定性模型：

式(3)中，

为t时刻下区域z实际负荷需求；

为t时刻下区域z负荷需求随机波动的等级,

为t时刻下区域z负荷需求随机波动的最小单位；

将风电出力随机波动等级

光伏出力随机波动等级

和负荷需求随机波动等级

随时间变化的过程描述为马尔可夫过程，令各项随机波动等级的变化服从各自概率矩阵的马尔可夫链；

步骤2.2、建立所述常规发电机组模型：

将所述跨区互联电网发输电系统调度日时长T等分为0～K共K+1个时段；

将区域z中常规发电机组h一个时段内功率变化区间范围

离散为

个等级，在变化区间范围内的最小可调单位为

在时段k中常规发电机组h调整功率等级

为：

以最小可调单位

将常规发电机组h的正常发电区间

分为

个等级，因此，时段k中的起始时刻t_k常规发电机组功率等级

为：

其中，

分别为区域z常规发电机组h的出力功率的下限和上限；

步骤2.3、建立跨区联络线模型：

将所述跨区互联电网区域间联络线d一个周期内功率变化区间范围

离散为

个等级，在变化区间范围内的最小可调单位为

在时段k内中联络线d调整功率等级

为：

以最小可调单位

将联络线d的安全输送区间

分为

个等级，因此，时段k中的起始时刻t_k联络线功率等级

为：

步骤2.4、建立柔性负荷模型：

跨区互联电网在时刻t下区域z内柔性负荷需求

与区域z总负荷需求

具有线性关系：

其中μ^z为区域z中柔性负荷需求

占总负荷需求

的比例；

将区域z各时段k中柔性负荷削减量占比离散成

个等级，则时段k内柔性负荷的削减等级

为：

步骤3、以降低系统日运行代价为系统调度优化目标，在满足系统实际运行过程中的各项约束条件下，将跨区互联电网动态调度问题建立成相应的MDP数学模型：

步骤3.1、确定所述MDP数学模型的系统状态s_k和行动a_k：

将所述时段k定义为决策周期k，并将所述决策周期k起始时刻t_k定义为决策时刻t_k；

定义所述跨区互联电网发输电系统在决策时刻t_k的系统状态s_k为：

其中，

为区域z决策时刻t_k下的状态信息，

为直流联络线d决策时刻t_k下的功率等级；Z为总的区域数量；D为区域间联络线的总条数；所述区域z决策时刻t_k下的状态信息

包括区域z中决策时刻t_k下各个常规发电机组的功率等级

风电出力、光伏出力与负荷需求的随机波动等级

定义所述跨区互联电网发输电系统在决策时刻t_k的行动a_k为：

其中，

为区域z决策时刻t_k下的动作信息，

为直流联络线d决策时刻t_k下调整功率等级；所述区域z决策时刻t_k下的动作信息

包括区域z中决策时刻t_k下各个常规发电机组的调整功率等级

区域z中决策时刻t_k下柔性负荷的削减等级

步骤3.2、确定所述MDP数学模型的代价函数：

所述跨区互联电网发输电系统在决策时刻t_k执行行动a_k，利用式(4)计算获得所述跨区互联电网发输电系统在决策周期k内产生的运行代价：

式(4)中，c^k为决策周期k内跨区互联电网发输电系统总运行代价；

为决策周期k内各区域常规发电机组的运行代价和；

为决策周期k内各区域风电机组弃风的代价和；

为决策周期k内各区域光伏发电机组弃光的代价和；

为决策周期k内各区域柔性负荷的补偿代价；

为决策周期k内各区域负荷需求量与日预测负荷均值量的偏离代价；

为第k个周期内各条直流联络线的电力损耗代价和；

为决策周期k内未完成负荷需求供给的惩罚代价；

步骤3.3、确定所述MDP数学模型的优化目标：

建立由式(5)所表征的跨区互联电网发输电系统的有限时段内优化性能准则函数V^π：

式(5)中，π为优化策略，为系统状态s_k到行动a_k的映射，表征为a_k＝π(s_k)；E为期望；优化性能准则函数V^π即是在策略π下

的期望；

所述跨区互联电网发输电系统的优化目标为求得最优策略π^*，在所述最优策略π^*下系统的平均日运行总代价最低，由式(6)所表征：

步骤4、采用深度Q学习算法对所述MDP数学模型进行求解：

步骤4.1、令系统状态s_k的维度为r_s，行动a_k的维度为r_a，r＝r_s+r_a；

构建两个具有相同网络架构深度神经网络，分别是当前值深度神经网络和目标值深度神经网络；两个深度神经网络的输入均为r维，输出均为1维，所述两个深度神经网络都是以系统状态s_k和行动a_k为网络输入，输出为值函数Q(s_k,a_k)；

步骤4.2、定义并初始化学习率α、样本池容量V、网络训练次数M以及一次训练中批样本容量B，令当前已训练次数m＝0；

步骤4.3、判断mod(m,100)＝0是否成立；若成立，则将当前值深度神经网络的网络参数赋给目标值深度神经网络，并进入步骤4.4；若不成立，则直接进入步骤4.4；

步骤4.4、确定样本池中现有样本数量L，判断L＜V是否成立；若成立，则按步骤4.10的方法对样本数据进行扩充，并重复步骤4.4；否则转入步骤4.5；

步骤4.5、在样本池中随机抽取B条样本数据作为第m次学习的批训练样本，所述样本数据的形式为(s,a,c,s′)；

步骤4.6、将批训练样本中各样本的当前系统状态s与当前行动a作为当前值深度神经网络的输入，记录各条训练样本对应的输出，获得基于当前值深度神经网络下的值函数Q(s,a)；

步骤4.7、将批训练样本中各样本的下一状态s′作为目标值深度神经网络的状态输入，通过遍历行动的方法提供行动输入，通过目标值深度神经网络获得minQ(s′,all action)；利用式(7)计算得到各样本在基于目标值深度神经网络下的值函数Q^*(s,a)：

Q^*(s,a)＝c+αminQ(s′,all action) (7)；

步骤4.8、定义当前值深度神经网络的损失函数Loss为：Loss＝[Q(s,a)-Q^*(s,a)]²，根据损失函数利用梯度下降法更新当前值深度神经网络参数；

步骤4.9、将m的值增加1，判断m＞M是否成立，若不成立，删除样本池中前B条样本数据，返回步骤4.3；若成立，则完成所述跨区互联电网动态调度的优化算法；

步骤4.10、扩充样本数据：

步骤4.10.1、令k＝0；随机初始化系统状态；定义并初始化贪婪概率ε；

步骤4.10.2、所述跨区互联电网发输电系统在决策时刻t_k根据系统状态s_k和当前值深度神经网络，选取贪婪行动a_greedy为：

同时，选取随机行动a_rand；判断rand(0,1)＜ε是否成立；若成立，则将贪婪行动a_greedy赋值给a_k；否则，将随机行动a_rand赋值给a_k；

步骤4.10.3、所述跨区互联电网发输电系统执行决策时刻t_k下所选行动a_k，并利用式(4)计算在决策周期k内产生的运行代价c^k并记录；

在决策周期k结束时，观测所述跨区互联电网发输电系统在决策时刻t_k+1的系统状态s_k+1；

步骤4.10.4、令s＝s_k,a＝a_k,c＝c^k,s′＝s_k+1，并将样本数据(s,a,c,s′)传入样本池中；

步骤4.10.5、判断k＜K是否成立；若成立，将k的值增加1，将s_k+1赋值给s_k，然后转入步骤4.10.2；否则，结束，完成一组样本数据的补充；

步骤5，通过不断对样本数据进行学习，得到收敛的值网络；将实际调度决策时刻t_k下的系统状态s_k作为当前值深度神经网络输入，根据当前值深度神经网络选取最优行动a^*为：

得到该决策周期内各区域常规发电机组调整功率等级、柔性负荷的削减等级和各条跨区联络线调整功率等级，从而实现对所述跨区互联电网发输电系统动态调度。

Images