CN115940294A - 多级电网实时调度策略调整方法、系统、设备及存储介质 - Google Patents

Abstract

本发明属于电力自动化领域，公开了一种多级电网实时调度策略调整方法、系统、设备及存储介质，包括将电网按照联络线断面进行分区划分，得到若干分区；并获取各分区的可调机组调节范围及可调负荷调节范围；获取各分区的传输功率预测信息，并根据各分区的传输功率预测信息，调用预设的分区输电线路传输预测模型，得到各分区之间的预测传输功率；根据各分区的可调机组调节范围及可调负荷调节范围以及各分区之间的预测传输功率，调用预设的调度强化学习模型进行各分区实时调度策略编排，得到各分区的实时调度策略。将大规模多级电网高维动作空间进行降维调整，实现了多级电网分层多智能体实时调度快速调整，有效提高电力系统的综合调度效果。

Description

多级电网实时调度策略调整方法、系统、设备及存储介质

技术领域

本发明属于电力自动化领域，涉及一种多级电网实时调度策略调整方法、系统、设备及存储介质。

背景技术

目前，电网的实时计划编排基于超短期负荷预测、可调机组发电能力及电网模型等数据，在满足安全和电能质量的前提下，考虑可调机组运行约束、电网安全约束及系统功率平衡约束等约束条件，以最低的发电成本为目标，实现内未来5min～未来1h的各时段发电计划的集中优化编制。在实时调度中调度员需根据实际情况控制实时计划的执行和修改，对调度人员的经验要求很高，因此，实现实时计划跟随电网运行进行动态快速调整是十分必要的。

传统的编排算法大多采用基于确定性模型的安全约束最优潮流，按照由长及短的时间尺度以调整量最小为目标滚动更新实时计划。然而，随着电网规模扩大，源荷双侧不确定性增强，电网运行面临联络线阻塞、联络线N-1故障、源荷剧烈波动、新能源限电及线路过载保护开断等多种场景，要求实时计划编排算法具有高效的计算能力和强大的建模能力。这导致基于确定性模型的优化算法虽然已经成熟应用，但是无法考虑多重不确定性因素对电网运行的影响，效果日趋下降。基于此，近年来很多学者将人工智能技术引入电网调度领域，尤其在考虑不确定性的优化调度方面取得了不少研究成果。例如，有学者提出利用强化学习方法求解电网有功优化潮流问题，其模拟的问题是在保证电网安全运行的条件下，使得可调机组发电费用最小。还有学者提出可用于电网实时调度的电网专家策略模仿学习方法，设计了考虑电网安全运行和电力平衡控制的电网专家策略，基于SAC算法构建强化学习模型，然后利用模仿学习融合专家策略包括电网过载优化、电力不平衡优化等，最后获得可用于电网调度决策的智能体。

但是，上述通过强化学习方法进行电网调度的应用中，均在电网上构建一个智能体进行动作调整，对于百级节点电网来说具有一定的实现效果，而对于千级节点电网，其动作空间可达上千万甚至上亿维，这导致智能体的训练速度和网络构建难度剧增，难以实现潮流快速调整。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供一种多级电网实时调度策略调整方法、系统、设备及存储介质。

为达到上述目的，本发明采用以下技术方案予以实现：

本发明第一方面，提供一种多级电网实时调度策略调整方法，包括：将电网按照联络线断面进行分区划分，得到若干分区；并获取各分区的可调机组调节范围及可调负荷调节范围；获取各分区的传输功率预测信息，并根据各分区的传输功率预测信息，调用预设的分区输电线路传输预测模型，得到各分区之间的预测传输功率；根据各分区的可调机组调节范围及可调负荷调节范围以及各分区之间的预测传输功率，调用预设的调度强化学习模型进行各分区实时调度策略编排，得到各分区的实时调度策略。

可选的，所述将电网按照联络线断面进行分区划分，得到若干分区包括：获取电网内各支路的支路开断系数；按照支路开断系数由大到小的排序，将各支路依次加入至电网的联络线断面中，至基于联络线断面划分的分区数量达到预设数量，得到若干分区。

可选的，所述各分区的传输功率预测信息包括常规可调机组出力之和、新能源可调机组实际出力之和、新能源可调机组最大出力之和、负荷有功功率之和、可调机组调节裕度和可调负荷调节裕度，所述分区输电线路传输预测模型基于长短期记忆人工神经网络模型构建。

可选的，所述根据各分区的可调机组调节范围及可调负荷调节范围以及各分区之间的预测传输功率，调用预设的调度强化学习模型进行各分区实时调度策略编排，得到各分区的实时调度策略包括：各分区将分区边界等值成等值负荷，等值负荷的负荷功率为当前分区与其余分区之间的预测传输功率；根据各分区的可调机组调节范围及可调负荷调节范围，调用预设的强化学习模型以分区电力平衡为调度目标进行各分区实时调度策略编排，得到各分区内可调机组的有功调整量和可调负荷的有功调整量，作为各分区的实时调度策略。

可选的，所述调度强化学习模型基于TD3强化学习模型构建；所述调度强化学习模型的动作空间包括：可调机组的有功调整量和可调负荷的有功调整量；所述调度强化学习模型的状态空间包括：当前时段可调机组有功出力、当前时段可调负荷有功出力、可调机组有功出力调整上限和下限、可调负荷有功出力调整上限和下限、下一时段负荷有功功率预测、当前时段可调机组无功出力、当前时段可调机组所在节点电压及当前时段分区内各支路的支路电流负载率；所述调度强化学习模型的奖励反馈函数为加权叠加线路负载奖励、可调资源调度奖励和新能源消纳奖励。

可选的，所述调度强化学习模型的动作网络目标函数为TD3强化学习模型的动作网络目标函数加上电力不平衡量惩罚项-βΔP_unbalance；其中，β为预设惩罚系数，ΔP_unbanlance为电力不平衡量＝可调机组出力之和-负荷有功功率之和-系统网损。

可选的，所述调用预设的调度强化学习模型进行各分区实时调度策略编排包括：获取当前分区的电网运行场景类型；根据当前分区的电网运行场景类型，从预设的调度强化学习模型中选取采用与当前分区的电网运行场景类型相同类型的电网运行场景的历史运行数据训练得到的调度强化学习子模型，作为目标调度强化学习子模型；调用目标调度强化学习子模型进行各分区实时调度策略编排。

可选的，所述调用预设的调度强化学习模型进行各分区实时调度策略编排时，当调度强化学习模型生成当前时段的动作后，根据当前时段的动作生成专家策略信息，并根据专家策略信息优化当前时段的动作。

可选的，所述根据当前时段的动作生成专家策略信息包括：根据当前时段的动作，得到分区电力不平衡量和分区支路越限信息；根据分区电力不平衡量，以最小化分区电力不平衡量为优化目标，按照火电可调机组、新能源可调机组和可调负荷的顺序进行出力策略的调整，得到第一优化调整信息；其中，对火电可调机组进行出力策略的调整时，基于各火电可调机组的剩余功率占比来进行电力不平衡量的分摊；根据分区支路越限信息，采用拓扑搜索的方式获取越限支路预设范围内的可调机组，并按照消除越限的目标进行出力策略的调整，得到第二优化调整信息；将第一优化调整信息和第二优化调整信息作为专家策略信息。

本发明第二方面，提供一种多级电网实时调度策略调整系统，包括：分区模块，用于将电网按照联络线断面进行分区划分，得到若干分区；并获取各分区的可调机组调节范围及可调负荷调节范围；传输功率预测模块，用于获取各分区的传输功率预测信息，并根据各分区的传输功率预测信息，调用预设的分区输电线路传输预测模型，得到各分区之间的预测传输功率；策略调整模块，用于根据各分区的可调机组调节范围及可调负荷调节范围以及各分区之间的预测传输功率，调用预设的调度强化学习模型进行各分区实时调度策略编排，得到各分区的实时调度策略。

可选的，所述各分区的传输功率预测信息包括常规可调机组出力之和、新能源可调机组实际出力之和、新能源可调机组最大出力之和、负荷有功功率之和、可调机组调节裕度和可调负荷调节裕度，所述分区输电线路传输预测模型基于长短期记忆人工神经网络模型构建。

可选的，所述策略调整模块在调用预设的调度强化学习模型进行各分区实时调度策略编排时，当调度强化学习模型生成当前时段的动作后，根据当前时段的动作生成专家策略信息，并根据专家策略信息优化当前时段的动作。

本发明第三方面，提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述多级电网实时调度策略调整方法的步骤。

本发明第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述多级电网实时调度策略调整方法的步骤。

与现有技术相比，本发明具有以下有益效果：

本发明多级电网实时调度策略调整方法，通过将电网按照联络线断面进行分区划分，然后获取各分区之间的预测传输功率，最终对各分区分别通过调度强化学习模型进行实时调度策略编排，得到各分区的实时调度策略。本发明通过对电网分区应用调度强化学习模型，将大规模多级电网高维动作空间进行降维调整，实现了多级电网分层多智能体实时调度快速调整，有效提高电力系统在运行成本、性能及新能源消纳等方面的综合调度效果，有效解决了大规模多级电网构建智能体动作维度高、网络层数多、训练时间长且难以收敛的问题。

附图说明

图1为本发明实施例的多级电网实时调度策略调整方法流程图。

图2为本发明实施例的按照联络线断面进行分区划分的流程图。

图3为本发明实施例的按照联络线断面进行分区划分的分区结果示意图。

图4为本发明实施例的分区输电线路传输预测模型结构框图。

图5为本发明实施例的分区输电线路传输预测模型计算流程示意图。

图6为本发明实施例的多级电网实时调度策略调整方法原理示意图。

图7为本发明实施例的调度强化学习模型计算流程示意图。

图8为本发明实施例的多级电网实时调度策略调整系统结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，介绍本发明实施例中涉及的相关术语：

智能体：在强化学习中能够采取一系列行动并且期望获得较高收益或者达到某一目标的部分。

环境：强化学习中智能体-环境的交互中除了智能体以外的部分都统一称作环境，整个过程将其离散化为不同的时刻，在每个时刻环境和智能体都会产生相应的交互。

动作：智能体可以采取一定的动作，这个的动作是施加在环境中的。

状态和奖励：环境在接受到智能体的行动后，会反馈给环境目前的状态以及由于上一个行动而产生的奖励，奖励用于指导智能体动作的好坏。

联络线断面：将电力系统分成两个独立的连通子区域的一组输电线路集合。

下面结合附图对本发明做进一步详细描述：

参见图1，本发明一实施例中，提供一种多级电网实时调度策略调整方法，针对电网供电特点对电网分区建立智能体，将大规模电网高维动作空间进行降维调整，实现了多级电网多智能体分层实时调度快速调整。具体的，该多级电网实时调度策略调整方法包括以下步骤：

S1：将电网按照联络线断面进行分区划分，得到若干分区；并获取各分区的可调机组调节范围及可调负荷调节范围。

S2：获取各分区的传输功率预测信息，并根据各分区的传输功率预测信息，调用预设的分区输电线路传输预测模型，得到各分区之间的预测传输功率。

S3：根据各分区的可调机组调节范围及可调负荷调节范围以及各分区之间的预测传输功率，调用预设的调度强化学习模型进行各分区实时调度策略编排，得到各分区的实时调度策略。

综上，本发明多级电网实时调度策略调整方法，通过将电网按照联络线断面进行分区划分，然后获取各分区之间的预测传输功率，最终对各分区分别通过调度强化学习模型进行实时调度策略编排，得到各分区的实时调度策略。本发明通过对电网分区应用调度强化学习模型，将大规模多级电网高维动作空间进行降维调整，实现了多级电网分层多智能体实时调度快速调整，有效提高电力系统在运行成本、性能及新能源消纳等方面的综合调度效果，有效解决了大规模多级电网构建智能体动作维度高、网络层数多、训练时间长且难以收敛的问题。

在一种可能的实施方式中，所述将电网按照联络线断面进行分区划分，得到若干分区包括：获取电网内各支路的支路开断系数；按照支路开断系数由大到小的排序，将各支路依次加入至电网的联络线断面中，至基于联络线断面划分的分区数量达到预设数量，得到若干分区。

具体的，对电网按照联络线断面进行分区划分，确定不同分区内可调机组调节范围及可调负荷调节范围，以及不同分区之间的联络线断面连接关系。

本实施方式中，基于联络线断面结合支路开断分布因子进行联络线断面识别，支路开断分布因子反映了电力网路中某条线路发生断开，引起其他支路有功潮流的变化。首先读取电网正常运行方式下的模型和拓扑结构，将物理模型进行抽象归并生成电网计算模型，接着计算支路开断分布因子。具体如下，支路l基态情况下有功潮流为P_l，支路l开断会引起支路k上的潮流发生变化，变化量是

则两者之间的关系用支路开断分布因子D_k-l表示：

在直流法分析中可得到有功注入变化量与节点电压相角变化量的灵敏度方程：ΔP＝B₀Δθ，其中，B是直流法下得到的导纳矩阵。令开断的支路l的两端节点是i和j，假定开断前后节点注入有功功率不变，则支路l开断后引起的节点功率变化量为：ΔP＝[0…P_l…-P_l…0]^T＝M_lP_l，其中，M_l为支路l的节点-支路关联矢量，只在两端节点i和j对应位置处有+1和-1两个非零元素，其余元素皆为零。当电网中支路l断开，导纳矩阵也会发生变化，节点导纳矩阵经过修正变化后得到支路k与支路l的开断分布因子表达式为

其中，

表示支路k和支路l两个节点之间的互阻抗；

表示支路l的自阻抗。最后，将支路的所有开断分布因子绝对值加和，得到该支路的支路开断系数。

参见图2，本实施方式中，将电网按照联络线断面进行分区划分的具体步骤如下：1、首先根据电网的联络线断面生成初始断面，保证该断面是电网中的最小割集，如果没有则初始断面为空；2、分别计算电网内各支路的开断分布因子，将各支路的所有开断分布因子绝对值加和，得到各支路的支路开断系数；3、将各支路按照支路开断系数进行由大到小进行排序，排名靠前说明该支路对其他支路影响越大；4、查看初始断面的支路开断系数，排名靠后的支路去掉，从排名靠前的支路开始将其加入到初始断面中，直到分区个数满足预先值，则结束分区，否则继续将排名靠前的支路加入。

参见图3，按照分区统计各分区的可调机组调节范围及可调负荷调节范围，后面将对同一分区的可调机组和可调负荷构建智能体；按照分区结果对电网进行分区简化，保留分区之间联络线断面支路的连接关系，用于后续各分区之间的预测传输功率的确定。

在一种可能的实施方式中，所述各分区的传输功率预测信息包括常规可调机组出力之和、新能源可调机组实际出力之和、新能源可调机组最大出力之和、负荷有功功率之和、可调机组调节裕度和可调负荷调节裕度，所述分区输电线路传输预测模型基于长短期记忆人工神经网络模型构建。

本实施方式中，基于历史运行数据，以5分钟为一个间隔，根据分区结果计算各个时刻各分区的常规可调机组出力之和、新能源可调机组出力之和、负荷之和、可调机组调节裕度、可调负荷裕度及联络线断面支路传输功率，构建分区输电线路传输预测模型，该分区输电线路传输预测模型采用长短期记忆人工神经网络(Long Short-Term Memory，LSTM)，输入包括前15分钟的各分区的常规可调机组出力之和、新能源可调机组实际出力之和、新能源可调机组最大出力之和、负荷有功功率之和、可调机组调节裕度以及可调负荷调节裕度，输出为未来5分钟各分区之间的预测传输功率。

参见图4，该分区输电线路传输预测模型包括依次连接的输入层、CNN卷积层、池化层、Lstm网络层、droup-out网络层、全连接层以及输出层。假设分区数量为N，则输入层输入维度为6*N，采用一层Lstm网络，隐藏层维度设置为20，采用droup-out网络用于减少过拟合现象，最后一层采用全连接层对数据进行降维处理，损失函数设定为平均绝对误差，输出维度为联络线断面支路数量。

参见图5，该分区输电线路传输预测模型的计算流程包括：获取各分区的常规可调机组出力之和、新能源可调机组实际出力之和、新能源可调机组最大出力之和、负荷有功功率之和、可调机组调节裕度以及可调负荷调节裕度的历史数据，并进行归一化处理后按照数据格式分批打包，然后将分批打包的数据输入分区输电线路传输预测模型进行训练至模型精度达到预设值时，认为模型训练完成。即可将前15分钟的各分区的常规可调机组出力之和、新能源可调机组实际出力之和、新能源可调机组最大出力之和、负荷有功功率之和、可调机组调节裕度以及可调负荷调节裕度归一化后，输入至训练后的分区输电线路传输预测模型进行预测，并将输出结果进行反归一化，得到未来5分钟各分区之间的预测传输功率。

在一种可能的实施方式中，所述根据各分区的可调机组调节范围及可调负荷调节范围以及各分区之间的预测传输功率，调用预设的调度强化学习模型进行各分区实时调度策略编排，得到各分区的实时调度策略包括：各分区将分区边界等值成等值负荷，等值负荷的负荷功率为当前分区与其余分区之间的预测传输功率；根据各分区的可调机组调节范围及可调负荷调节范围，调用预设的强化学习模型以分区电力平衡为调度目标进行各分区实时调度策略编排，得到各分区内可调机组的有功调整量和可调负荷的有功调整量，作为各分区的实时调度策略。

参见图6，示出了本发明多级电网实时调度策略调整方法的原理框架，通过对电网进行分区并基于分区输电线路传输预测模型确定各分区之间的预测传输功率，然后针对各区建立由智能体及模拟环境构成的调度强化学习模型，并基于调度强化学习模型实现实时调度策略编排。

本实施方式中，所述调度强化学习模型基于TD3强化学习模型构建。TD3(TwinDelayed Deep Deterministic policy gradient)强化学习模型是由Scott Fujimoto等人在DDPG(Deep Deterministic Policy Gradient)算法上改进得到的用于解决连续控制问题的在线异策式深度强化学习算法，是Actor-Critic架构下的一种确定性深度强化学习算法，结合了深度确定性策略梯度算法和双重Q学习。

本实施方式中，所述调度强化学习模型的动作空间包括：可调机组的有功调整量和可调负荷的有功调整量。其中，可调机组的有功调整量包括常规可调机组的有功调整量和新能源可调机组的有功调整量。具体的，智能体的动作空间可表示为：

其中，a_t是可调机组和可调负荷的有功出力调整量集合。该动作空间是连续的，需要满足可调机组和可调负荷运行约束。

其中，P_i是可调机组i在t时刻的最小允许出力，

是可调机组i在t时刻的最大允许出力。智能体动作网络通过tanh函数输出动作值的范围为[-1,1]，为了保证可调机组动作满足约束条件，真实动作调整量要通过线性变换映射到真实值。通过y＝ax+b，将[-1,1]范围映射到

得到

为了防止动作网络经过tanh函数输出动作值总是接近于1或者-1，决策效果不好，在动作网络输入后增加归一化层，使得输入分布稳定在合适的范围，加快模型训练过程的收敛速度。

本实施方式中，所述调度强化学习模型的状态空间包括：当前时段可调机组有功出力、当前时段可调负荷有功出力、可调机组有功出力调整上限和下限、可调负荷有功出力调整上限和下限、下一时段负荷有功功率预测、当前时段可调机组无功出力、当前时段可调机组所在节点电压、当前时段分区内各支路的支路电流负载率。具体的，状态空间是智能体感知的环境信息，是智能体动作网络的输入，需要选取与有功功率调整动作密切相关的观测量。调度强化学习模型的状态空间s_t可以表示为

其中，P_t ^G为当前时段可调机组有功出力和当前时段可调负荷有功出力集合，

为下一时段负荷有功功率预测，

为当前时段可调机组无功出力，V_t ^G为当前时段可调机组所在节点电压，ρ_t为当前时段分区内各支路的支路电流负载率。

TD3强化学习模型采用两套Critic网络，计算目标值时取二者中的较小值，从而抑制网络过估计问题。因此每个智能体都包含六个网络分别是Actor网络μ(·|θ^μ)，Critic1网络

Critic2网络

Target Actor网络μ'(·|θ^μ')，Target Critic1网络

和Target Critic2网络

其中，θ^μ为Actor网络参数，

为Critic1网络参数，Actor网络输出动作a_t＝μ(s_t|θ^μ)，Target Actor网络输出估计动作a_t'＝μ(s_t+1|θ^μ')。

因此，确定损失函数时，对于Critic网络，为了防止Critic网络出现过估计情况，引入两套网络架构相同的Critic网络。计算目标值时，会利用二者间的较小值来估计下一个状态动作对(s_t+1,a_t')的状态动作价值，即

Critic1网络和Crtic2网络都是通过最小化评估值与目标值之间的误差来更新，误差偏差函数为：

其中，折扣因子γ∈[0,1]表示未来时刻的奖励对当前奖励的重要性，取值越大说明未来时刻的奖励对当前状态的转移影响更大。对于Actor网络，Actor网络更新的目标是朝着最大化估计值更新，采用梯度上升法最大化，目标函数为

同时，在目标网络更新时，采用软更新方式对目标网络进行更新，引入学习率，将旧的目标网络参数和新的对应网络参数做加权平均，然后赋值给目标网络，即

其中，学习率τ∈(0,1)，通常取值0.005。

本实施方式中，所述调度强化学习模型的奖励反馈函数为加权叠加线路负载奖励、可调资源调度奖励和新能源消纳奖励。具体的，奖励反馈函数可以表示为r(t)＝w₁r₁(t)+w₂r₂(t)+w₃r₃(t)，其中，w₁、w₂和w₃为调度需求权重。

其中，线路负载奖励

K表示支路总数，I_k,t表示支路k在t时段的电流值；

表示支路k的电流限值。

可调资源调度奖励

n_gen为火电机组个数，gen_p_i,t为机组i的有功出力；n_sld为可调负荷个数，Δsld_p_i,t为可调负荷i的调整量；n_ld为总负荷个数，ld_p_i,t为负荷的有功功率，a和b为权重系数，a＝1，b＝2。

新能源消纳奖励

p_new_i,t为t时段新能源机组出力，n_new为新能源机组个数，

为t时段新能源机组最大出力。

参见图7，调度强化学习模型通过与环境交互来进行学习，与环境交互一次得到反馈就网络参数就更新一次。本实施方式中，具体流程包括：

1、首先初始化环境，从环境中提取状态变量s_t，然后将s_t作为动作网络的输入，由动作网络输出动作a_t；将该动作执行于环境，得到奖励函数r_t和反馈状态s_t+1，反馈分数较高的数据存入经验池(s_t,a_t,r_t,s_t+1)。

2、对于分数较低的动作采用优化算法策略给出调整动作a_t并作用于环境得到的反馈存入经验池(s_t,a_t,r_t,s_t+1)，指导智能体学习评分较高的优秀动作策略。

3、对智能体进行训练时，从经验回放池中随机选择数量为I的数据参与网络的训练。动作a_t和状态变量s_t作为评估网络的输入，评估网络得到评估值Q₁和Q₂；目标动作网络根据s_t+1作为输入得到目标动作a_t'，再由目标评价网络得到Q'；通过构造损失函数采用梯度下降法对评价网络参数进行

和

更新；在

和

更新了几轮之后，动作网络再进行更新，对应目标网络采用软更新的方式。

在一种可能的实施方式中，所述调度强化学习模型的动作网络目标函数为TD3强化学习模型的动作网络目标函数加上电力不平衡量惩罚项-βΔP_unbalance；其中，β为预设惩罚系数，ΔP_unbanlance为电力不平衡量＝可调机组出力之和-负荷有功功率之和-系统网损。

具体的，为了让训练得到的策略能够较好的符合环境约束和得到更高奖励，在训练时对动作网络增加了相应loss帮助模型训练。在动作决策时各分区机组动作空间范围很大，智能体探索时容易造成分区功率不平衡引起电网崩溃，因此对于动作网络目标函数加上电力不平衡量惩罚项：

其中，β为预设惩罚系数，ΔP_unbanlance为电力不平衡量＝可调机组出力之和-负荷有功功率之和-系统网损。系统网损由网损率与机组出力之和相乘得到，网损率通过预测得到，以机组出力之和以及负荷有功功率之和为基础进行预测。

在一种可能的实施方式中，所述调用预设的调度强化学习模型进行各分区实时调度策略编排包括：获取当前分区的电网运行场景类型；根据当前分区的电网运行场景类型，从预设的调度强化学习模型中选取采用与当前分区的电网运行场景类型相同类型的电网运行场景的历史运行数据训练得到的调度强化学习子模型，作为目标调度强化学习子模型；调用目标调度强化学习子模型进行各分区实时调度策略编排。

具体的，读取历史运行数据对联络线断面支路潮流进行统计，确定电网运行场景。首先基于历史数据计算新能源实际出力和预测出力之差即预测误差，作为源侧波动的场景的待聚类数据；基于历史数据计算各断面传输功率之和，流出为正，流入为负，作为联络线传输场景的待聚类数据；基于历史数据计算各电网分区负荷之和，并计算负荷的变化率，作为负荷剧烈波动场景的待聚类数据。聚类分析是一种无监督的机器学习方法，考虑到待聚类数据是时间序列数据，本方法选择基于密度的聚类算法DBSCAN(Density-Based SpatialClustering of Applications with Noise，带噪声的基于密度的空间聚类算法)，该方法不需要固定数量的簇，会识别异常数据为噪声。其中每个样本点到核心点距离采用欧式距离计算，密度可达表示核心点以r为半径构造邻域，该邻域样本数量大于阈值M，并依次类推构造临域，大于M个点的邻域都是密度可达点。

基于上述方式实现各类型电网运行场景的历史运行数据的分类，然后分别实现各类型电网运行场景的调度强化学习子模型的训练。其中，训练时，在新能源波动场景、联络线反向传输场景和负荷波动场景下多次迭代进行网络参数迭代，增加智能体在运行风险场景下的动作空间探索概率，增强智能体的鲁棒性。

在一种可能的实施方式中，所述调用预设的调度强化学习模型进行各分区实时调度策略编排时，当调度强化学习模型生成当前时段的动作后，根据当前时段的动作生成专家策略信息，并根据专家策略信息优化当前时段的动作。

具体的，通过引入专家策略信息加快智能体训练速度，减少智能体不必要的探索空间，大大加快了训练速度。

可选的，所述根据当前时段的动作生成专家策略信息包括：根据当前时段的动作，得到分区电力不平衡量和分区支路越限信息；根据分区电力不平衡量，以最小化分区电力不平衡量为优化目标，按照火电可调机组、新能源可调机组和可调负荷的顺序进行出力策略的调整，得到第一优化调整信息；其中，对火电可调机组进行出力策略的调整时，基于各火电可调机组的剩余功率占比来进行电力不平衡量的分摊；根据分区支路越限信息，采用拓扑搜索的方式获取越限支路预设范围内的可调机组，并按照消除越限的目标进行出力策略的调整，得到第二优化调整信息；将第一优化调整信息和第二优化调整信息作为专家策略信息。

具体的，针对分区电力不平衡量，通过调整部分机组出力策略减少电力不平衡量，根据奖励分数，调整顺序为火电机组、新能源机组和可调负荷。其中，火电机组的顺序基于机组剩余功率占比来进行不平衡量的分摊。针对支路连续越限会导致支路断开引发电网连锁解列现象以及支路越限导致奖励分数下降的情况，专家策略需要对支路越限情况进行预警和调整，调整的策略为采用拓扑搜索调整越限支路附近的机组的出力来消除支路过载。

可选的，专家策略信息还基于历史运行数据，计算各分区的机组出力之和和负荷有功功率之和，并通过多项式拟合的方法得到网损率、机组出力和负荷有功之间的关系以实现网损率预测，预测的网损率用于系统不平衡量的估算。

综上所述，本发明多级电网实时调度策略调整方法，针对电力调度自动化领域利用强化学习技术对大规模电网构建智能体动作维度高、网络层数多及训练时间长难以收敛的问题，提出一种多级电网实时调度策略调整方法，该方法首先对电网按照联络线断面进行分区划分，确定不同分区内可调机组和可调负荷调节范围，以及不同分区之间的联络线断面连接关系；构建分区输电线路传输预测模型，确定各分区之间的预测传输功率；然后对每个分区可调对象建立智能体，基于TD3算法架构构建动作空间、状态空间及损失函数等；设计训练方案对多智能体进行训练，然后对支路越限及电力不平衡等电网运行问题通过专家决策信息进行辅助决策。实现了多级电网分层多智能体实时调度快速调整，针对电网供电特点对电网分区建立智能体，将大规模电网高维动作空间进行降维调整，实现了多级电网多智能体分层实时调度快速调整。

下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未披露的细节，请参照本发明方法实施例。

参见图8，本发明再一实施例中，提供一种多级电网实时调度策略调整系统，能够用于实现上述的多级电网实时调度策略调整方法，具体的，该多级电网实时调度策略调整系统包括分区模块、传输功率预测模块以及策略调整模块。

其中，分区模块用于将电网按照联络线断面进行分区划分，得到若干分区；并获取各分区的可调机组调节范围及可调负荷调节范围；传输功率预测模块用于获取各分区的传输功率预测信息，并根据各分区的传输功率预测信息，调用预设的分区输电线路传输预测模型，得到各分区之间的预测传输功率；策略调整模块用于根据各分区的可调机组调节范围及可调负荷调节范围以及各分区之间的预测传输功率，调用预设的调度强化学习模型进行各分区实时调度策略编排，得到各分区的实时调度策略。

在一种可能的实施方式中，所述将电网按照联络线断面进行分区划分，得到若干分区包括：获取电网内各支路的支路开断系数；按照支路开断系数由大到小的排序，将各支路依次加入至电网的联络线断面中，至基于联络线断面划分的分区数量达到预设数量，得到若干分区。

在一种可能的实施方式中，所述各分区的传输功率预测信息包括常规可调机组出力之和、新能源可调机组实际出力之和、新能源可调机组最大出力之和、负荷有功功率之和、可调机组调节裕度和可调负荷调节裕度，所述分区输电线路传输预测模型基于长短期记忆人工神经网络模型构建。

在一种可能的实施方式中，所述根据各分区的可调机组调节范围及可调负荷调节范围以及各分区之间的预测传输功率，调用预设的调度强化学习模型进行各分区实时调度策略编排，得到各分区的实时调度策略包括：各分区将分区边界等值成等值负荷，等值负荷的负荷功率为当前分区与其余分区之间的预测传输功率；根据各分区的可调机组调节范围及可调负荷调节范围，调用预设的强化学习模型以分区电力平衡为调度目标进行各分区实时调度策略编排，得到各分区内可调机组的有功调整量和可调负荷的有功调整量，作为各分区的实时调度策略。

在一种可能的实施方式中，所述调度强化学习模型基于TD3强化学习模型构建；所述调度强化学习模型的动作空间包括：可调机组的有功调整量和可调负荷的有功调整量；所述调度强化学习模型的状态空间包括：当前时段可调机组有功出力、当前时段可调负荷有功出力、可调机组有功出力调整上限和下限、可调负荷有功出力调整上限和下限、下一时段负荷有功功率预测、当前时段可调机组无功出力、当前时段可调机组所在节点电压及当前时段分区内各支路的支路电流负载率；所述调度强化学习模型的奖励反馈函数为加权叠加线路负载奖励、可调资源调度奖励和新能源消纳奖励。

在一种可能的实施方式中，所述调度强化学习模型的动作网络目标函数为TD3强化学习模型的动作网络目标函数加上电力不平衡量惩罚项-βΔP_unbalance；其中，β为预设惩罚系数，ΔP_unbanlance为电力不平衡量＝可调机组出力之和-负荷有功功率之和-系统网损。

在一种可能的实施方式中，所述调用预设的调度强化学习模型进行各分区实时调度策略编排包括：获取当前分区的电网运行场景类型；根据当前分区的电网运行场景类型，从预设的调度强化学习模型中选取采用与当前分区的电网运行场景类型相同类型的电网运行场景的历史运行数据训练得到的调度强化学习子模型，作为目标调度强化学习子模型；调用目标调度强化学习子模型进行各分区实时调度策略编排。

在一种可能的实施方式中，所述调用预设的调度强化学习模型进行各分区实时调度策略编排时，当调度强化学习模型生成当前时段的动作后，根据当前时段的动作生成专家策略信息，并根据专家策略信息优化当前时段的动作。

在一种可能的实施方式中，所述根据当前时段的动作生成专家策略信息包括：根据当前时段的动作，得到分区电力不平衡量和分区支路越限信息；根据分区电力不平衡量，以最小化分区电力不平衡量为优化目标，按照火电可调机组、新能源可调机组和可调负荷的顺序进行出力策略的调整，得到第一优化调整信息；其中，对火电可调机组进行出力策略的调整时，基于各火电可调机组的剩余功率占比来进行电力不平衡量的分摊；根据分区支路越限信息，采用拓扑搜索的方式获取越限支路预设范围内的可调机组，并按照消除越限的目标进行出力策略的调整，得到第二优化调整信息；将第一优化调整信息和第二优化调整信息作为专家策略信息。

前述的多级电网实时调度策略调整方法的实施例涉及的各步骤的所有相关内容均可以援引到本发明施例中的多级电网实时调度策略调整系统所对应的功能模块的功能描述，在此不再赘述。

本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本发明各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于多级电网实时调度策略调整方法的操作。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关多级电网实时调度策略调整方法的相应步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (14)

1.一种多级电网实时调度策略调整方法，其特征在于，包括：

将电网按照联络线断面进行分区划分，得到若干分区；并获取各分区的可调机组调节范围及可调负荷调节范围；

获取各分区的传输功率预测信息，并根据各分区的传输功率预测信息，调用预设的分区输电线路传输预测模型，得到各分区之间的预测传输功率；

根据各分区的可调机组调节范围及可调负荷调节范围以及各分区之间的预测传输功率，调用预设的调度强化学习模型进行各分区实时调度策略编排，得到各分区的实时调度策略。

2.根据权利要求1所述的多级电网实时调度策略调整方法，其特征在于，所述将电网按照联络线断面进行分区划分，得到若干分区包括：

获取电网内各支路的支路开断系数；

按照支路开断系数由大到小的排序，将各支路依次加入至电网的联络线断面中，至基于联络线断面划分的分区数量达到预设数量，得到若干分区。

3.根据权利要求1所述的多级电网实时调度策略调整方法，其特征在于，所述各分区的传输功率预测信息包括常规可调机组出力之和、新能源可调机组实际出力之和、新能源可调机组最大出力之和、负荷有功功率之和、可调机组调节裕度和可调负荷调节裕度，所述分区输电线路传输预测模型基于长短期记忆人工神经网络模型构建。

4.根据权利要求1所述的多级电网实时调度策略调整方法，其特征在于，所述根据各分区的可调机组调节范围及可调负荷调节范围以及各分区之间的预测传输功率，调用预设的调度强化学习模型进行各分区实时调度策略编排，得到各分区的实时调度策略包括：

各分区将分区边界等值成等值负荷，等值负荷的负荷功率为当前分区与其余分区之间的预测传输功率；

根据各分区的可调机组调节范围及可调负荷调节范围，调用预设的强化学习模型以分区电力平衡为调度目标进行各分区实时调度策略编排，得到各分区内可调机组的有功调整量和可调负荷的有功调整量，作为各分区的实时调度策略。

5.根据权利要求1所述的多级电网实时调度策略调整方法，其特征在于，所述调度强化学习模型基于TD3强化学习模型构建；所述调度强化学习模型的动作空间包括：可调机组的有功调整量和可调负荷的有功调整量；所述调度强化学习模型的状态空间包括：当前时段可调机组有功出力、当前时段可调负荷有功出力、可调机组有功出力调整上限和下限、可调负荷有功出力调整上限和下限、下一时段负荷有功功率预测、当前时段可调机组无功出力、当前时段可调机组所在节点电压及当前时段分区内各支路的支路电流负载率；所述调度强化学习模型的奖励反馈函数为加权叠加线路负载奖励、可调资源调度奖励和新能源消纳奖励。

6.根据权利要求5所述的多级电网实时调度策略调整方法，其特征在于，所述调度强化学习模型的动作网络目标函数为TD3强化学习模型的动作网络目标函数加上电力不平衡量惩罚项-βΔP_unbalance；其中，β为预设惩罚系数，ΔP_unbanlance为电力不平衡量＝可调机组出力之和-负荷有功功率之和-系统网损。

7.根据权利要求1所述的多级电网实时调度策略调整方法，其特征在于，所述调用预设的调度强化学习模型进行各分区实时调度策略编排包括：

获取当前分区的电网运行场景类型；

根据当前分区的电网运行场景类型，从预设的调度强化学习模型中选取采用与当前分区的电网运行场景类型相同类型的电网运行场景的历史运行数据训练得到的调度强化学习子模型，作为目标调度强化学习子模型；

调用目标调度强化学习子模型进行各分区实时调度策略编排。

8.根据权利要求1所述的多级电网实时调度策略调整方法，其特征在于，所述调用预设的调度强化学习模型进行各分区实时调度策略编排时，当调度强化学习模型生成当前时段的动作后，根据当前时段的动作生成专家策略信息，并根据专家策略信息优化当前时段的动作。

9.根据权利要求8所述的多级电网实时调度策略调整方法，其特征在于，所述根据当前时段的动作生成专家策略信息包括：

根据当前时段的动作，得到分区电力不平衡量和分区支路越限信息；

根据分区电力不平衡量，以最小化分区电力不平衡量为优化目标，按照火电可调机组、新能源可调机组和可调负荷的顺序进行出力策略的调整，得到第一优化调整信息；其中，对火电可调机组进行出力策略的调整时，基于各火电可调机组的剩余功率占比来进行电力不平衡量的分摊；

根据分区支路越限信息，采用拓扑搜索的方式获取越限支路预设范围内的可调机组，并按照消除越限的目标进行出力策略的调整，得到第二优化调整信息；

将第一优化调整信息和第二优化调整信息作为专家策略信息。

10.一种多级电网实时调度策略调整系统，其特征在于，包括：

分区模块，用于将电网按照联络线断面进行分区划分，得到若干分区；并获取各分区的可调机组调节范围及可调负荷调节范围；

传输功率预测模块，用于获取各分区的传输功率预测信息，并根据各分区的传输功率预测信息，调用预设的分区输电线路传输预测模型，得到各分区之间的预测传输功率；

策略调整模块，用于根据各分区的可调机组调节范围及可调负荷调节范围以及各分区之间的预测传输功率，调用预设的调度强化学习模型进行各分区实时调度策略编排，得到各分区的实时调度策略。

11.根据权利要求10所述的多级电网实时调度策略调整系统，其特征在于，所述各分区的传输功率预测信息包括常规可调机组出力之和、新能源可调机组实际出力之和、新能源可调机组最大出力之和、负荷有功功率之和、可调机组调节裕度和可调负荷调节裕度，所述分区输电线路传输预测模型基于长短期记忆人工神经网络模型构建。

12.根据权利要求10所述的多级电网实时调度策略调整系统，其特征在于，所述策略调整模块在调用预设的调度强化学习模型进行各分区实时调度策略编排时，当调度强化学习模型生成当前时段的动作后，根据当前时段的动作生成专家策略信息，并根据专家策略信息优化当前时段的动作。

13.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述多级电网实时调度策略调整方法的步骤。

14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述多级电网实时调度策略调整方法的步骤。

Images