CN113991752B - 一种电网准实时智能控制方法及系统 - Google Patents

Abstract

本发明公开了一种电网准实时智能控制方法及系统，包括：获取电网状态的观测量，所述电网状态的观测量包括当前时段机组出力、下时段负荷有功功率预测值、下时段相对于当前时段的负荷有功功率变化值、线路开断状态、机组出力可调范围上限以及机组出力可调范围下限；将电网状态的观测量输入到训练后的智能体中，将训练后的智能体的输出结果作为机组调节指令对电网中的各机组进行调节，完成电网准实时智能控制，其中，智能体在训练过程中的动作器损失函数基于调度经验正则项构建而成，该方法及系统能够实现电网的准实时控制。

Description

一种电网准实时智能控制方法及系统

技术领域

本发明属于电力系统自动化领域，涉及一种电网准实时智能控制方法及系统。

背景技术

近年来，如何构建以新能源为主体的新型电力系统成为了焦点问题。新能源出力具有较强的波动性、间歇性及随机性。大规模新能源并网给电网运行增加了诸多不确定因素，对电网调度控制带来了巨大挑战。

在此背景下，有必要以新能源最大消纳为目标对电力系统准实时控制问题进行研究。电力系统准实时控制问题中，需要调度人员在满足功率平衡和系统安全等约束的前提下，通过合理调整不同类型机组的有功出力，确定最优的调度和控制方案。目前，工业界中常用的调度控制方法主要依赖于传统数学优化模型。其中，确定性优化模型将负荷预测值、新能源出力预测值作为实际出力，其优化结果往往与预期值偏差较大。而不确定性优化模型包括随机规划法、鲁棒优化法等，具有模型复杂度高、计算成本大等缺点，难以应用于短时间尺度下的电网控制。近年来，人工智能技术得到快速发展。其中，强化学习方法通过智能体(Agent)与环境之间的交互获得奖励，进而以最大奖励为目标提升自身策略。该方法立足于随机变化环境，兼具响应速度快、考虑长效收益等优点，有望解决上述问题。然而，强化学习本质上是以“试错”的方式进行学习，存在探索效率低、拟合误差大、动作容易越限等缺陷，不能实现电网的准实时控制。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种电网准实时智能控制方法及系统，该方法及系统能够实现电网的准实时控制。

为达到上述目的，本发明采用如下技术方案：

本发明一方面，本发明提供了一种电网准实时智能控制方法，包括：

获取电网状态的观测量；

将所述观测量输入到训练后的智能体中，将训练后的智能体的输出结果作为机组调节指令对电网中的各机组进行调节，完成电网准实时智能控制，其中，智能体在训练过程中的动作器损失函数基于调度经验正则项构建而成。

本发明所述电网准实时智能控制方法进一步的改进在于：

所述电网状态的观测量包括当前时段机组出力、下时段负荷有功功率预测值、下时段相对于当前时段的负荷有功功率变化值、线路开断状态、机组出力可调范围上限以及机组出力可调范围下限。

所述调度经验正则项包括当前时段的新能源消纳率r¹、当前时段的功率不平衡量平方误差r²、当前时段的常规机组上备用爬坡容量可用率r³⁺、当前时段的常规机组下备用爬坡容量可用率r^3-以及当前时段的平衡机出力回调量目标与实际出力改变量的平方误差r⁴。

所述当前时段的新能源消纳率r¹为：

其中，n_new为新能源机组的个数，p_i为新能源机组i的实际有功出力，为新能源机组i在当前时间步的最大出力。

当前时段的功率不平衡量平方误差r²为：

其中，n_load为负荷节点的个数，p_l为负荷节点l的实际有功负荷，n_conv为常规机组的个数，p_j为常规机组j的实际有功出力。

当前时段的常规机组上备用爬坡容量可用率r³⁺及下备用爬坡容量可用率r^3-分别为：

其中，u_j为常规机组j的开停机状态，u_j＝0表示关机，u_j＝1表示开机，和/>分别为常规机组j的有功功率上限及下限，R_j为常规机组j的爬坡率。

当前时段的平衡机出力回调量目标与实际出力改变量的平方误差r⁴为：

其中，o为平衡机序号，p_o为平衡机在当前时段的实际有功出力，Δp_o为平衡机有功功率调节量，及/>分别为平衡机的有功功率上限及下限，/>为平衡机的出力中点，k为平衡机的回调系数。

评价器的损失函数为：

其中，N为训练过程中从经验缓冲池中抽取的样本数，为新能源机组i在t时刻的状态，/>为新能源机组i在t+1时刻的状态，/>为新能源机组i在t时刻的动作，/>为新能源机组i在t+1时刻的动作，γ为初始化折扣因子，/>为状态/>及动作/>对应的即时奖励，/>为状态/>及动作/>的价值函数。

其中，N为训练过程中从经验缓冲池中抽取的样本数。

本发明二方面，本发明提供了一种电网准实时智能控制系统，包括：

获取模块、用于获取电网状态的观测量；

控制模块，用于将所述观测量输入到训练后的智能体中，将训练后的智能体的输出结果作为机组调节指令对电网中的各机组进行调节，完成电网准实时智能控制，其中，智能体在训练过程中的动作器损失函数基于调度经验正则项构建而成。

本发明所述电网准实时智能控制系统进一步的改进在于：

还包括：

模拟模块，用于搭建数字运行仿真环境；

训练模块，用于在数据运行仿真环境对智能体进行训练，其中，智能体在训练过程中的动作器损失函数基于调度经验正则项构建而成。

本发明具有以下有益效果：

本发明所述的电网准实时智能控制方法及系统在具体操作时，将电网状态的观测量输入到训练后的智能体中，将训练后的智能体的输出结果作为机组调节指令对电网中的各机组进行调节，以实现对电网准实时智能控制，需要说明的是，本发明中基于调度经验正则项构建动作器损失函数，从而对智能体的动作范围进行约束，为智能体指出潜在的调节机组集合、调节方向以及调节量，有效减少智能体在探索阶段由于误动作导致的训练过程中断的问题，大幅减少训练所需的计算资源及计算时间，提高训练效率，继而提高电网准实时控制的安全性及高效性。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的方法流程图；

图2为本发明的系统结构图。

其中，1为模拟模块、2为训练模块、3为获取模块、4为控制模块。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

实施例一

参考图1，本发明所述的电网准实时智能控制方法包括以下步骤：

1)搭建数字运行仿真环境；

步骤1)的具体操作为：

11)通过搜集历史电网运行数据，建立仿真环境数据库，所述仿真环境数据库中包含的数据类型包括历史实际负荷、历史预测负荷、历史机组出力变化曲线、历史预测新能源可用发电容量以及历史新能源实际出力；

12)基于仿真环境数据库，构建数字仿真环境的随机初始化函数；

13)获取电网的拓扑及其电气参数，根据电网的拓扑及其电气参数，构建以潮流计算分析为核心的环境迭代更新函数；

需要说明的是，本发明通过数字运行仿真环境强化学习智能体对于动作潜在收益的辨识能力，实现接近于精确数学优化模型的决策效果，同时避免传统数学优化模型变量繁多、约束复杂、计算量庞大的缺点，实现快速、精准的响应控制。

2)描述准实时调度控制过程中的调度经验发现

21)所述当前时段的新能源消纳率r¹为：

其中，n_new为新能源机组的个数，p_i为新能源机组i的实际有功出力，为新能源机组i在当前时间步的最大出力。

22)当前时段的功率不平衡量平方误差r²为：

其中，n_load为负荷节点的个数，p_l为负荷节点l的实际有功负荷，n_conv为常规机组的个数，p_j为常规机组j的实际有功出力。

23)当前时段的常规机组上备用爬坡容量可用率r³⁺及下备用爬坡容量可用率r^3-分别为：

其中，u_j为常规机组j的开停机状态，u_j＝0表示关机，u_j＝1表示开机，和/>分别为常规机组j的有功功率上限及下限，R_j为常规机组j的爬坡率。

24)当前时段的平衡机出力回调量目标与实际出力改变量的平方误差r⁴为：

其中，o为平衡机序号，p_o为平衡机在当前时段的实际有功出力，Δp_o为平衡机有功功率调节量，及/>分别为平衡机的有功功率上限及下限，/>为平衡机的出力中点，k为平衡机的回调系数，其中，回调系统k越大，则表示调度员越希望将平衡机的出力回调至出力中点。

25)根据潮流计算结果检查当前各条线路负载率，并筛选得到线路负载率超过预设值的线路集合U：

U＝{a|L_a>L_w,a＝1,2,...,n_line} (6)

其中，L_a为线路a的线路负载率，L_w为线路a的线路负载率警戒线，n_line为线路的个数，其中，当L_a>L_w时，则使用调度经验降低线路a的线路负载率。

26)根据Dijkstra最短路径算法以及电网拓扑的节点-线路关联矩阵，获取越限线路附近的机组，并以此构建待调节机组集合，根据越限线路的潮流方向确定待调节机组集合内所有机组出力调节方向，其中，潮流出发端附近的机组降低出力，潮流结束端的机组提高出力，其中，调节量幅值为最大可调上限。

27)检查越限线路的负载率是否达到警戒线以下，当达到警戒线以下或搜索迭代次数达到最大限制，则结束流程，否则，则扩大对相邻机组的搜索范围，并重复步骤26)。

3)对智能体进行训练；

步骤3)的具体操作为：

31)初始化评价器网络Q₁及Q₂的参数θ₁及θ₂和动作器的参数φ，初始化目标网络参数，即θ₁←θ′₁，θ₂←θ′₂,φ←φ′，初始化折扣因子γ，最大剧集数E，单位剧集最大步数T_max；

32)初始化当前时段序号e←1，利用步骤13)得到的环境迭代更新函数初始化电网运行环境；

33)初始化当前时段序号t←1，初始化当前电网状态的观测量，其中，所述观测量s_t为：

其中，p,L^next,ΔL,y,分别表示当前时段机组出力、下时段负荷有功功率预测值、下时段相对于当前时段的负荷有功功率变化值、线路开断状态、机组出力可调范围上限以及机组出力可调范围下限；

34)由动作器计算当前时段动作，并通过随机权重法添加随机噪声及指导性噪声，其中，指导性噪声根据步骤26)确定得到的待调节机组集合内所有机组出力调节方向确定；

35)在数字仿真环境中执行动作a_t，利用步骤13)得到的环境迭代更新函数更新得到下一状态s_t+1，并计算线路负载率奖励

其中，λ·δ[max(L_a)<1]表示所有线路均未越限的额外奖励，将当前状态s_t+1、动作a_t、奖励以及下一个状态s_t+1作为一个训练样本元组存入经验缓冲池中；

36)从经验缓冲池中抽取N个样本：

35)利用目标网络获取下一时段动作a_t+1，即

a_t+1＝w₁·μ(s_t|φ′)+w₂·noise_rand+w₃·noise_exp (16)

计算评价器的损失函数并使用其梯度更新所述评价器，即：

其中，lr^c为评价器学习率，N为训练过程中从经验缓冲池中抽取的样本数，为新能源机组i在t时刻的状态，/>为新能源机组i在t+1时刻的状态，/>为新能源机组i在t时刻的动作，/>为新能源机组i在t+1时刻的动作，γ为初始化折扣因子，/>为对应状态/>和动作/>的即时奖励，/>为状态/>及动作/>的价值函数。

38)根据评价器的损失函数以及步骤21)至步骤24)的计算结果构建动作器损失函数，并使用其梯度更新动作器，即：

其中，lr^a为动作器的学习率。

39)更新目标网络的参数：

θ′_i←τθ′_i+(1-τ)θ_i,i＝1,2,φ′←τφ′+(1-τ)φ (21)

310)判断当前时段序号是否满足t＝T_max，或当前剧集由于异常原因中断，如果是，则更新e←e+1；否则，则t←t+1，并转至步骤33)；

311)判断当前是否达到最大剧集数，当达到最大剧集数时，则结束训练流程；否则，则t←1，并转至步骤33)。

4)利用训练后的智能体对电网中的机组进行控制，完成电网的准实时智能控制；

步骤4)的具体操作过程为：

41)获取电网状态的观测量，所述观测量包括电网中当前时段机组出力、下时段负荷有功功率预测值、下时段相对于当前时段的负荷有功功率变化值、线路开断状态、机组出力可调范围上限以及机组出力可调范围下限；

42)将获取得到的电网状态的观测量输入到训练后的智能体中，得智能体的输出结果；

43)对智能体的输出结果进行安全校验，当安全校验通过，则将智能体的输出结果作为机组调节指令对电网中各机组进行调节，否则，则对智能体的输出结果进行校正，然后再将校正后的结果作为机组调节指令对电网中的各机组进行调节，完成电网的准实时智能控制。

本发明中所构建的智能体能够显著提升调度智能体的决策可信度，提高新能源消纳率，保障系统的安全稳定运行，其训练方法易于理解、扩展性强，适用于国(分)、省、地(县)等不同层级的调度系统，具有较强的实用性和通用性。

实施例二

参考图2，本发明所述电网准实时智能控制系统，包括：

模拟模块1，用于搭建数字运行仿真环境；

训练模块2，用于在数据运行仿真环境对智能体进行训练，其中，智能体在训练过程中的动作器损失函数基于调度经验正则项构建而成；

获取模块3，用于获取电网状态的观测量，所述电网状态的观测量包括当前时段机组出力、下时段负荷有功功率预测值、下时段相对于当前时段的负荷有功功率变化值、线路开断状态、机组出力可调范围上限以及机组出力可调范围下限；

控制模块4，用于将电网状态的观测量输入到训练后的智能体中，将训练后的智能体的输出结果作为机组调节指令对电网中的各机组进行调节，完成电网准实时智能控制。

实施例三

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述电网准实时智能控制方法的步骤，其中，所述存储器可能包含内存，例如高速随机存储器，也可能还包括非易失性存储器，例如，至少一个磁盘存储器等；处理器、网络接口、存储器通过内部总线互相连接，该内部总线可以是工业标准体系结构总线、外设部件互连标准总线、扩展工业标准结构总线等，总线可以分为地址总线、数据总线、控制总线等。存储器用于存放程序，具体地，程序可以包括程序代码、所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

实施例四

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述电网准实时智能控制方法的步骤，具体地，所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器可以包括随机存储存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器可以包括只读存储器(ROM)、硬盘、闪存、光盘、磁盘等。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (2)

1.一种电网准实时智能控制方法，其特征在于，包括：

获取电网状态的观测量；

将所述观测量输入到训练后的智能体中，将训练后的智能体的输出结果作为机组调节指令对电网中的各机组进行调节，完成电网准实时智能控制，其中，智能体在训练过程中的动作器损失函数基于调度经验正则项构建而成；

所述调度经验正则项包括当前时段的新能源消纳率r¹、当前时段的功率不平衡量平方误差r²、当前时段的常规机组上备用爬坡容量可用率r³⁺、当前时段的常规机组下备用爬坡容量可用率r^3-以及当前时段的平衡机出力回调量目标与实际出力改变量的平方误差r⁴；

所述电网状态的观测量包括当前时段机组出力、下时段负荷有功功率预测值、下时段相对于当前时段的负荷有功功率变化值、线路开断状态、机组出力可调范围上限以及机组出力可调范围下限；

所述当前时段的新能源消纳率r¹为：

其中，n_new为新能源机组的个数，p_i为新能源机组i的实际有功出力，为新能源机组i在当前时间步的最大出力；

所述当前时段的功率不平衡量平方误差r²为：

其中，n_load为负荷节点的个数，p_l为负荷节点l的实际有功负荷，n_conv为常规机组的个数，p_j为常规机组j的实际有功出力；

所述当前时段的常规机组上备用爬坡容量可用率r³⁺及下备用爬坡容量可用率r^3-分别为：

其中，u_j为常规机组j的开停机状态，u_j＝0表示关机，u_j＝1表示开机，和/>分别为常规机组j的有功功率上限及下限，R_j为常规机组j的爬坡率；

所述当前时段的平衡机出力回调量目标与实际出力改变量的平方误差r⁴为：

其中，o为平衡机序号，p_o为平衡机在当前时段的实际有功出力，△p_o为平衡机的有功功率调节量，及/>分别为平衡机的有功功率上限及下限，/>为平衡机的出力中点，k为平衡机的回调系数；

所述动作器的损失函数为：

其中，N为训练过程中从经验缓冲池中抽取的样本数，为新能源机组i在t时刻的状态，为新能源机组i在t+1时刻的状态，/>为新能源机组i在t时刻的动作，/>为新能源机组i在t+1时刻的动作，γ为初始化折扣因子，/>为状态/>及动作/>对应的即时奖励，/>为状态/>及动作/>的价值函数。

2.一种电网准实时智能控制系统，其特征在于，包括：

获取模块(3)、用于获取电网状态的观测量；

控制模块(4)，用于将所述观测量输入到训练后的智能体中，将训练后的智能体的输出结果作为机组调节指令对电网中的各机组进行调节，完成电网准实时智能控制，其中，智能体在训练过程中的动作器损失函数基于调度经验正则项构建而成；

所述调度经验正则项包括当前时段的新能源消纳率r¹、当前时段的功率不平衡量平方误差r²、当前时段的常规机组上备用爬坡容量可用率r³⁺、当前时段的常规机组下备用爬坡容量可用率r^3-以及当前时段的平衡机出力回调量目标与实际出力改变量的平方误差r⁴；

还包括：

模拟模块(1)，用于搭建数字运行仿真环境；

训练模块(2)，用于在数据运行仿真环境对智能体进行训练，其中，智能体在训练过程中的动作器损失函数基于调度经验正则项构建而成；

所述电网状态的观测量包括当前时段机组出力、下时段负荷有功功率预测值、下时段相对于当前时段的负荷有功功率变化值、线路开断状态、机组出力可调范围上限以及机组出力可调范围下限；

所述当前时段的新能源消纳率r¹为：

其中，n_new为新能源机组的个数，p_i为新能源机组i的实际有功出力，为新能源机组i在当前时间步的最大出力；

所述当前时段的功率不平衡量平方误差r²为：

其中，n_load为负荷节点的个数，p_l为负荷节点l的实际有功负荷，n_conv为常规机组的个数，p_j为常规机组j的实际有功出力；

所述当前时段的常规机组上备用爬坡容量可用率r³⁺及下备用爬坡容量可用率r^3-分别为：

其中，u_j为常规机组j的开停机状态，u_j＝0表示关机，u_j＝1表示开机，和/>分别为常规机组j的有功功率上限及下限，R_j为常规机组j的爬坡率；

所述当前时段的平衡机出力回调量目标与实际出力改变量的平方误差r⁴为：

其中，o为平衡机序号，p_o为平衡机在当前时段的实际有功出力，△p_o为平衡机的有功功率调节量，及/>分别为平衡机的有功功率上限及下限，/>为平衡机的出力中点，k为平衡机的回调系数；

所述动作器的损失函数为：

其中，N为训练过程中从经验缓冲池中抽取的样本数，为新能源机组i在t时刻的状态，为新能源机组i在t+1时刻的状态，/>为新能源机组i在t时刻的动作，/>为新能源机组i在t+1时刻的动作，γ为初始化折扣因子，/>为状态/>及动作/>对应的即时奖励，/>为状态/>及动作/>的价值函数。