CN115833182B - 含双馈型抽水蓄能机组系统频率控制方法、设备及介质 - Google Patents

Abstract

本发明涉及电力系统频率控制领域，尤其涉及一种含双馈型抽水蓄能机组系统频率控制方法、设备及介质，方法包括：基于双馈型抽水蓄能机组在不同工况下的运行控制特性，分别构建机组频率控制模型；构建含有常规火电机组以及双馈型抽水蓄能机组的单区域系统负荷频率控制模型；构建单区域系统的负荷频率控制器，并定义状态空间和动作空间，与机组频率控制模型进行交互，确定以最小化系统频率偏差及调频出力为优化目标的奖励函数；引入随机的系统内部参数变化与外部功率扰动进行试错探索，训练负荷频率控制器在不同场景下，可根据系统状态确定符合优化目标的各机组调频指令；通过训练后的负荷频率控制器，采集系统状态信息，对系统负荷频率进行控制。

Description

含双馈型抽水蓄能机组系统频率控制方法、设备及介质

技术领域

本发明涉及电力系统频率控制领域，尤其涉及一种含双馈型抽水蓄能机组系统频率控制方法、设备及介质。

背景技术

具有随机性和波动性的风光能源大规模接入给电网带来了极强的不确定性，进而使得电网的频率特性严重恶化。为保证新型电力系统的频率稳定，迫切需要在寻求新型调频手段的同时，采取更加有效的频率控制方法。

双馈型变速抽水蓄能机组是近年来抽水蓄能机组领域的研究与建设热点，由于其可在一定范围内实现变速运行，双馈型抽水蓄能机组在抽水工况上也能连续控制输出功率并且具有更加灵活的调节能力，因此具备优于传统抽水蓄能机组的调频潜能，是直的选用的新型调频手段。另一方面，随着电力系统复杂程度的提升，基于深度强化学习的数据驱动控制方法逐渐取代了传统PI（proportional integral，比例积分）控制，成为负荷频率控制领域的研究热点，其中又以具有连续动作空间的DDPG（Deep Deterministic PolicyGradient，深度确定性策略梯度）算法为典型代表。因其不依赖于精准详细的系统模型并具有较强的自适应能力与学习能力，基于DDPG算法的频率控制算法可以通过合理的训练适应新型电力系统中的多种不确定场景，获得优良的频率控制性能。

然而目前对于双馈型抽水蓄能机组参与频率控制的研究主要还集中在机组级控制策略的构建上，鲜有涉及与其他机组配合的系统级控制，而基于数据驱动的负荷频率控制领域也未见考虑双馈型抽水蓄能机组参与的场景。除此之外，现有深度强化学习控制方法在训练过程中没有完全考虑新型电力系统的不确定性，所构建的频率控制器在不同场景下的适应性有待提高。

公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明提供了一种含双馈型抽水蓄能机组系统频率控制方法、设备及介质，从而有效解决背景技术中的问题。

为了达到上述目的，本发明所采用的技术方案是：一种含双馈型抽水蓄能机组系统频率控制方法，包括如下步骤：

基于双馈型抽水蓄能机组在不同工况下的运行控制特性，分别构建其在发电与抽水工况下的机组频率控制模型；

考虑大规模风电接入给电力系统带来的影响，构建含有常规火电机组以及双馈型抽水蓄能机组的单区域系统负荷频率控制模型；

利用DDPG算法构建所述单区域系统的负荷频率控制器，并定义状态空间和动作空间，与所述机组频率控制模型进行交互，在考虑机组运行约束的基础上，确定以最小化系统频率偏差及调频出力为优化目标的奖励函数；

预学习阶段，引入随机的系统内部参数变化与外部功率扰动进行试错探索，训练所述负荷频率控制器在不同场景下，可根据系统状态确定符合优化目标的各机组调频指令；

通过训练后的所述负荷频率控制器，采集系统状态信息，对系统负荷频率进行控制。

进一步地，所述分别构建其在发电与抽水工况下的机组频率控制模型中，构建双馈型抽水蓄能机组在发电与抽水工况下的两种调频控制策略，从而形成所述机组频率控制模型；

两种所述调频控制策略包括：

发电工况下，将一次调频功率指令与二次调频功率指令叠加形成总的控制指令，交由变流器实现对于机组有功功率的直接快速控制，为频率调节提供功率支撑；

抽水工况下，利用PD控制器将检测所得频率偏差转换为附加转速指令作为一次调频指令，二次调频指令同样给定转速指令，两者叠加形成总控制指令交由变流器先实现对于机组转速的快速控制，再利用水泵的转速与有功功率关系得到相应的调频出力变化。

进一步地，所述机组频率控制模型包括变流器模块、转速与功率的关系模块及两种工况下的一次、二次调频模块；

所述变流器模块用于描绘转子电流的跟踪过程，并反映变流器对于控制指令的响应能力：

；

其中为转子电流参考值，为转子电流实际值，为变流器的控制指令变化，为实际控制量变化，为变流器响应时间常数， s为微分算子；

转速与功率的关系模块反映了抽水工况下，双馈型抽水蓄能机组转速变化与有功功率变化的函数关系，通过将水泵水轮机综合特性曲线中水泵输出功率与转速的多项式进行线性化得到：

；

其中 k为水泵输出功率与转速的多项式曲线在水泵最佳运行点处的斜率；

发电工况下的一次、二次调频模块描述了由一次调频功率指令和二次调频功率指令叠加后通过变流器获得调频出力的过程：

；

抽水工况下的一次、二次调频模块描述了由一次调频转速指令和二次调频转速指令叠加后通过变流器获得调频转速变化，再进一步根据转速与功率的关系模块获得调频出力的过程：

。

进一步地，所述考虑大规模风电接入给电力系统带来的影响，包括：

引入常规同步机组发电系数 K，即常规同步发电机组容量和系统总容量的比值，来表征风电的渗透程度，进而描述风电接入对于系统内部参数的改变，所述改变具体包括系统的惯性时间常数 H、常规火电机组的调差系数以及调频出力限制均减小为原来的 K倍，即风电接入后，系统的等效惯性时间常数，常规火电机组的等效调差系数，等效调频出力限制；

将风电场实际出力与预测功率之间的偏差作为负的负荷扰动加入到系统负荷频率控制模型中，用于反映因风电出力具有随机性造成的系统有功功率不平衡。

进一步地，所述单区域系统负荷频率控制模型中还包括：常规火电机组的频率控制模型和发电机-负荷模型；

所述负荷频率控制器的输入信号为单区域系统的频率偏差，输出为常规火电机组的二次调频指令与双馈型抽水蓄能机组的二次调频指令，其中发电工况为，抽水工况为；

在加入系统频率控制模型时添加调频出力限制以及发电速率限制，常规火电机组的调频出力为：

；

其中为火电机组调速器时间常数，为火电机组汽轮机时间常数；

双馈型抽水蓄能机组的频率控制模型在加入系统负荷频率控制模型时也添加上调频出力限制以及发电速率限制；

含双馈型抽水蓄能机组的单区域系统的发电机-负荷模型为：

；

其中 D为负荷的频率调节效应系数，为负荷功率扰动。

进一步地，所述利用DDPG算法构建所述单区域系统的负荷频率控制器，包括：

定义状态空间为系统频率偏差的比例、微分和积分值，以及各机组有功功率输出的集合，动作空间为各机组二次调频指令的集合；

定义奖励函数 R包含三个部分，用于描述主要优化目标的基本项 O，仿真提前终止的惩罚项 F以及控制满足要求的正奖励项 M，其中 F和 M用于在保证训练结果合理的同时提高预学习的速度；

以系统频率偏差以及火电机组调频出力、双馈型抽水蓄能机组调频出力最小为优化目标，奖励函数的基本项为：

；

式中、、为权重系数；

将机组转速变化约束与限制共同作为仿真的提前终止条件，若机组的转速变化超出限制或过大，则仿真提前终止并给 F赋值一个大于设定阈值的负数，否则 F为0；

若能够维持在设定的范围内，则给 M赋值一个大于设定阈值的正数，否则 M为0；

最终确定奖励函数 R为：

。

进一步地，所述外部功率扰动包括：

随着算法预学习过程的迭代推进，设置常规同步机组发电系数 K在0到1之间随机变化，引发所述系统负荷频率控制模型的参数随之变化，用于模拟不同风电接入场景给系统内部参数带来的影响，其中受影响的参数包含系统等效惯性时间常数、常规火电机组的等效调差系数和调频出力限制；

随着算法预学习过程的迭代推进，在引入负荷功率扰动来创造频率波动环境时，采用幅值与形式均随机变化的功率扰动，用于模拟含有大规模风电系统中的随机负荷扰动以及风电出力扰动；所用功率扰动通过叠加变化缓慢，幅度较大的基本波动分量与变化迅速、幅度较小的扰动分量形成，涵盖负载阶跃扰动的突变特性和可再生能源的连续波动特性；其中为幅值在0.01-0.03pu之间随机变化，周期在60-300s之间随机变化的白噪声；为幅值在0-0.01pu之间随机变化，周期在0-60s之间随机变化的白噪声。

进一步地，所述对系统负荷频率进行控制中，包括上层决策层和下层决策层；

所述上层决策层通过数据采集设备每隔1s采样收集系统的频率偏差以及各类机组的出力情况，将其转换为DDPG负荷频率控制器所需要的状态空间，DDPG负荷频率控制器根据接收的系统状态信息，实时生成各机组的调频指令；

所述下层控制层接收DDPG负荷频率控制器发出的机组调频指令，并按照自动发电控制系统所要求的控制周期，每隔4s向各机组下发调频指令，各类机组响应调频指令做出功率调整。

本发明还包括一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述的方法。

本发明还包括一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述的方法。

本发明的有益效果为：本发明基于双馈型抽水蓄能机组的运行特性构建其发电与抽水工况下的调频控制模型，通过考虑机组调频性能与新型电力系统的不确定性构建基于数据驱动的系统负荷频率控制器，训练所得频率控制器可以在实际应用时充分发挥双馈型抽水蓄能机组在不同工况下的调频能力，在多种场景下均可与常规机组良好配合以快速抑制频率波动，减小频率偏差。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为实施例1中方法的流程图；

图2为实施例1中方法的流程图；

图3为双馈型抽水蓄能机组在发电工况下的调频控制模型；

图4为双馈型抽水蓄能机组在抽水工况下的调频控制模型；

图5为含双馈型抽水蓄能机组的单区域系统负荷频率控制模型；

图6为基于DDPG算法的系统负荷频率控制原理与流程图；

图7为算法预学习过程中采用的随机功率扰动；

图8为双馈型抽水蓄能机组处于发电工况时的算法收敛情况；

图9为双馈型抽水蓄能机组处于抽水工况时的算法收敛情况；

图10a-10f为40%风电渗透率下的控制效果；

图11a-11f为20%风电渗透率下的控制效果；

图12a-12f为60%风电渗透率下的控制效果；

图13a-13b为连续阶跃扰动下的控制效果；

图14a-14b为实际风电出力波动下控制效果：

图15为计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例1：

如图1所示：一种含双馈型抽水蓄能机组系统频率控制方法，包括如下步骤：

包括如下步骤：

基于双馈型抽水蓄能机组在不同工况下的运行控制特性，分别构建其在发电与抽水工况下的机组频率控制模型；

考虑大规模风电接入给电力系统带来的影响，构建含有常规火电机组以及双馈型抽水蓄能机组的单区域系统负荷频率控制模型；

利用DDPG算法构建单区域系统的负荷频率控制器，并定义状态空间和动作空间，与机组频率控制模型进行交互，在考虑机组运行约束的基础上，确定以最小化系统频率偏差及调频出力为优化目标的奖励函数；

预学习阶段，引入随机的系统内部参数变化与外部功率扰动进行试错探索，训练负荷频率控制器在不同场景下，可根据系统状态确定符合优化目标的各机组调频指令；

通过训练后的负荷频率控制器，采集系统状态信息，对系统负荷频率进行控制。

本实施例中基于双馈型抽水蓄能机组的运行特性构建其发电与抽水工况下的调频控制模型，通过考虑机组调频性能与新型电力系统的不确定性构建基于数据驱动的系统负荷频率控制器，训练所得频率控制器可以在实际应用时充分发挥双馈型抽水蓄能机组在不同工况下的调频能力，在多种场景下均可与常规机组良好配合以快速抑制频率波动，减小频率偏差。

其中，分别构建其在发电与抽水工况下的机组频率控制模型中，构建双馈型抽水蓄能机组在发电与抽水工况下的两种调频控制策略，从而形成机组频率控制模型；

两种调频控制策略包括：

发电工况下，将一次调频功率指令与二次调频功率指令叠加形成总的控制指令，交由变流器实现对于机组有功功率的直接快速控制，为频率调节提供功率支撑；

抽水工况下，利用PD控制器将检测所得频率偏差转换为附加转速指令作为一次调频指令，二次调频指令同样给定转速指令，两者叠加形成总控制指令交由变流器先实现对于机组转速的快速控制，再利用水泵的转速与有功功率关系得到相应的调频出力变化。

在本实施例中，机组频率控制模型包括变流器模块、转速与功率的关系模块及两种工况下的一次、二次调频模块；

变流器模块 用于描绘转子电流的跟踪过程，并反映变流器对于控制指令的响应能力：

；

其中为转子电流参考值，为转子电流实际值，为变流器的控制指令变化，为实际控制量变化，为变流器响应时间常数， s为微分算子；

转速与功率的关系模块反映了抽水工况下，双馈型抽水蓄能机组转速变化与有功功率变化的函数关系，通过将水泵水轮机综合特性曲线中水泵输出功率与转速的多项式进行线性化得到：

；

其中 k为水泵输出功率与转速的多项式曲线在水泵最佳运行点处的斜率；

发电工况下的一次、二次调频模块描述了由一次调频功率指令和二次调频功率指令叠加后通过变流器获得调频出力的过程：

抽水工况下的一次、二次调频模块描述了由一次调频转速指令和二次调频转速指令叠加后通过变流器获得调频转速变化，再进一步根据转速与功率的关系模块获得调频出力的过程：

。

作为上述实施例的优选，考虑大规模风电接入给电力系统带来的影响，包括：

引入常规同步机组发电系数 K，即常规同步发电机组容量和系统总容量的比值，来表征风电的渗透程度，进而描述风电接入对于系统内部参数的改变，改变具体包括系统的惯性时间常数 H、常规火电机组的调差系数以及调频出力限制均减小为原来的 K倍，即风电接入后，系统的等效惯性时间常数，常规火电机组的等效调差系数，等效调频出力限制；

将风电场实际出力与预测功率之间的偏差作为负的负荷扰动加入到系统负荷频率控制模型中，用于反映因风电出力具有随机性造成的系统有功功率不平衡。

单区域系统负荷频率控制模型中还包括：常规火电机组的频率控制模型和发电机-负荷模型；

负荷频率控制器的输入信号为单区域系统的频率偏差，输出为常规火电机组的二次调频指令与双馈型抽水蓄能机组的二次调频指令，其中发电工况为，抽水工况为；

在加入系统频率控制模型时添加调频出力限制以及发电速率限制，常规火电机组的调频出力为：

；

其中为火电机组调速器时间常数，为火电机组汽轮机时间常数；

双馈型抽水蓄能机组的频率控制模型在加入系统负荷频率控制模型时也添加上调频出力限制以及发电速率限制；

含双馈型抽水蓄能机组的单区域系统的发电机-负荷模型为：

；

其中 D为负荷的频率调节效应系数，为负荷功率扰动。

其中，利用DDPG算法构建单区域系统的负荷频率控制器，包括：

定义状态空间为系统频率偏差的比例、微分和积分值，以及各机组有功功率输出的集合，动作空间为各机组二次调频指令的集合；

定义奖励函数 R包含三个部分，用于描述主要优化目标的基本项 O，仿真提前终止的惩罚项 F以及控制满足要求的正奖励项 M，其中 F和 M用于在保证训练结果合理的同时提高预学习的速度；

以系统频率偏差以及火电机组调频出力、双馈型抽水蓄能机组调频出力最小为优化目标，奖励函数的基本项为：

；

式中、、为权重系数；

将机组转速变化约束与限制共同作为仿真的提前终止条件，若机组的转速变化超出限制或过大，则仿真提前终止并给 F赋值一个大于设定阈值的负数，否则 F为0；

若Δ f能够维持在设定的范围内，则给 M赋值一个大于设定阈值的正数，否则 M为0；

最终确定奖励函数 R为：

。

本实施例中，外部功率扰动包括：

随着算法预学习过程的迭代推进，设置常规同步机组发电系数 K在0到1之间随机变化，引发系统负荷频率控制模型的参数随之变化，用于模拟不同风电接入场景给系统内部参数带来的影响，其中受影响的参数包含系统等效惯性时间常数、常规火电机组的等效调差系数和调频出力限制；

随着算法预学习过程的迭代推进，在引入负荷功率扰动来创造频率波动环境时，采用幅值与形式均随机变化的功率扰动，用于模拟含有大规模风电系统中的随机负荷扰动以及风电出力扰动；所用功率扰动通过叠加变化缓慢，幅度较大的基本波动分量与变化迅速、幅度较小的扰动分量形成，涵盖负载阶跃扰动的突变特性和可再生能源的连续波动特性；其中为幅值在0.01-0.03pu之间随机变化，周期在60-300s之间随机变化的白噪声；为幅值在0-0.01pu之间随机变化，周期在0-60s之间随机变化的白噪声。

作为上述实施例的优选，对系统负荷频率进行控制中，包括上层决策层和下层决策层；

上层决策层通过数据采集设备每隔1s采样收集系统的频率偏差以及各类机组的出力情况，将其转换为DDPG负荷频率控制器所需要的状态空间，DDPG负荷频率控制器根据接收的系统状态信息，实时生成各机组的调频指令；

下层控制层接收DDPG负荷频率控制器发出的机组调频指令，并按照自动发电控制系统所要求的控制周期，每隔4s向各机组下发调频指令，各类机组响应调频指令做出功率调整。

本实施例所提基于双馈型抽水蓄能机组的数据驱动系统负荷频率控制方法充分利用了双馈型抽水蓄能机组在发电与抽水工况下的调频能力，为解决新型电力系统的频率稳定问题提供了新的调频手段。与此同时本实施例中所提考虑电力系统随机性进行训练的数据驱动频率控制方法，可以使系统处于不同风电接入场景与扰动情况下均能协调常规火电机组与双馈型抽水蓄能机组的调频出力，在降低频率偏差的同时也减少机组调频出力。

实施例2：

如图2所示，在本实施例中，包括一种含双馈型抽水蓄能机组系统频率控制方法，包括以下步骤：

（1）基于双馈型抽水蓄能机组在不同工况下的运行控制特性，分别构建其在发电与抽水工况下的调频控制模型；在此基础上，考虑大规模风电接入给电力系统带来的影响，构建含有常规火电机组以及双馈型抽水蓄能机组的单区域系统负荷频率控制模型；

（2）利用DDPG算法构建系统的负荷频率控制器，并定义状态空间与动作空间，实现DDPG算法与步骤（1）所建频率控制模型的交互，在考虑机组运行约束的基础上确定以最小化系统频率偏差及调频出力为优化目标的奖励函数；

（3）预学习阶段，引入随机的系统内部参数变化与外部功率扰动进行试错探索，训练频率控制器在不同场景均可根据系统状态确定符合优化目标的各机组调频指令；

（4）在线应用阶段，DDPG频率控制器根据采集所得系统状态信息，确定当前状态下使系统频率偏差最小的动作，安排系统内各机组进行配合，实现系统负荷频率控制。

上述方法基于双馈型抽水蓄能机组的运行特性构建其发电与抽水工况下的调频控制模型，通过考虑机组调频特性与新型电力系统的不确定性构建基于深度强化学习的系统负荷频率控制器，训练所得频率控制器可以在实际应用时充分发挥双馈型抽水蓄能机组在不同工况下的调频能力，在多种场景下均可与火电机组良好配合以快速抑制频率波动，减小频率偏差。

双馈型抽水蓄能机组的工况包括发电工况和抽水工况，这里在不同工况下采用不同的调频控制策略，以充分利用机组的运行控制特性，使其在不同工况下均能快速参与电网调频。双馈型抽水蓄能机组的频率控制模型包括变流器模块，转速与功率关系模块以及一、二次调频模块。

变流器模块用于描绘转子电流的跟踪过程，并反映变流器对于控制指令的响应能力：

；

其中为转子电流参考值，为转子电流实际值，为变流器的控制指令变化，为实际控制量变化，为变流器响应时间常数，s为微分算子。

转速与功率的关系模块刻画了抽水工况下，双馈型抽水蓄能机组转速变化与有功功率变化的函数关系，通过将水泵水轮机综合特性曲线中水泵输出功率与转速的多项式进行线性化得到：

；

其中 k为水泵输出功率与转速的多项式曲线在水泵最佳运行点处的斜率。

在发电工况下，构建图3所示调频控制策略，图中 T _t 为频率检测时间常数。将频率偏差通过PD控制器形成附加有功功率指令作为一次调频指令，用公式可以表示为，式中与为发电工况调频控制器的比例、微分系数。二次调频指令直接给定功率指令，将两者叠加形成的总控制指令交由变流器实现对于机组有功功率的直接快速控制，为频率调节提供功率支撑，由此可得发电工况下双馈型抽水蓄能机组的调频出力为：

；

在抽水工况下，构建图4所示调频控制策略，将频率偏差通过PD控制器形成附加转速指令作为一次调频指令，用公式可以表示为，式中与为抽水工况调频控制器的比例、微分系数。二次调频指令给定转速指令，将两者叠加形成的总控制指令交由变流器先实现对于机组转速的快速控制，再利用水泵的转速与有功功率关系得到相应的调频出力变化为：

 ；

进一步构建图5所示含双馈型抽水蓄能机组的单区域系统负荷频率控制模型。为描述大规模风电接入给电力系统带来的系统内部参数影响与外部功率扰动，引入常规同步机组发电系数 K，即常规同步发电机组容量和系统总容量的比值来表征风电的渗透程度。风电接入后，系统的惯性时间数 H、常规火电机组的调差系数以及调频出力限制均会减小为原来的 K倍，即系统的等效惯性时间常数，常规火电机组的等效调差系数，等效调频出力限制。与此同时，将风电场实际出力与预测功率之间的偏差作为负的负荷扰动加入到系统负荷频率控制模型，用于刻画因风电出力具有随机性造成的系统有功功率不平衡。

除双馈型抽水蓄能机组的频率控制模型外，图5所示系统负荷频率控制模型还包括频率控制器、常规火电机组的频率控制模型、发电机-负荷模型。

频率控制器的输入信号为单区域系统的频率偏差，输出为常规火电机组的二次调频指令与双馈型抽水蓄能机组的二次调频指令（发电工况为，抽水工况为）。

常规火电机组的调频出力可以表示如下，其中为火电机组调速器时间常数，为火电机组汽轮机时间常数。同时在加入系统负荷频率控制模型时添加调频出力限制以及发电速率限制；

含双馈型抽水蓄能机组的单区域系统的发电机-负荷模型为：

其中 D为负荷的频率调节效应系数，为负荷功率扰动。

所建系统负荷频率控制模型的具体参数如表1所示：

表1 含双馈型抽水蓄能机组的系统负荷频率控制模型参数

在此基础上，引入DDPG算法对频率控制器进行优化，具体为用DDPG算法中的智能体去替代系统负荷频率控制模型中的频率控制器，通过智能体与模型的交互学习来确定各机组的调频控制指令。基于DDPG算法的单区域系统负荷频率控制原理与流程如图6所示，首先通过确定算法的状态空间与动作空间实现算法与模型的良好交互，然后确定符合优化目标的奖励函数，DDPG算法的智能体会在与环境的反复试错探索中寻找使奖励函数最大化的critic网络与actor网络参数，从而使得智能体能够根据环境的状态实时确定最佳输出动作。

为实现算法与模型的良好交互，确定算法的状态空间为系统频率偏差的比例、微分和积分值，以及各机组有功功率输出的集合，动作空间为各机组二次调频指令的集合。

确定频率控制器的优化目标为最小化系统频率偏差Δ f与各机组调频出力，由此形成奖励函数的基本项，式中、、为权重系数。此外，为在保证训练结果合理的同时提高预学习速度，增加仿真提前终止的惩罚项 F以及控制满足要求的正奖励项 M。

将机组转速变化约束（变化小于±0.1pu）与限制共同作为仿真的提前终止条件，以保证双馈型抽水蓄能机组在调频过程中能够安全稳定运行。若机组的转速变化超出限制或过大（超出±0.5Hz），则仿真提前终止并给 F赋值一个数值很大的负数，否则 F为0。同时，为鼓励算法探索到使尽可能小的动作，若能够维持在较小范围（±0.03Hz）内，则给 M赋值一个数值很大的正数，否则 M为0。

最终确定奖励函数 R为：

。

为保证算法训练所得频率控制器在不同系统参数变化与负荷、可再生能源随机扰动情况下均具有较好的调频控制性能，在算法的预学习过程同时引入随机的系统参数变化与功率扰动：

一方面，随着算法的迭代推进，设置常规同步机组发电系数 K在0到1之间随机变化，由此进一步引发系统频率控制模型的参数随之变化，包含系统等效惯性时间常数、常规火电机组的等效调差系数和调频出力限制。

另一方面，在每次迭代过程中，采用图7所示幅值与形式均随机变化的功率扰动，用于模拟含有大规模风电系统中的随机负荷扰动以及风电出力扰动。图示功率扰动通过叠加变化缓慢，幅度较大的基本波动分量与变化迅速、幅度较小的扰动分量形成，涵盖了负载阶跃扰动的突变特性和可再生能源的连续波动特性。其中为幅值在0.01-0.03pu之间随机变化，周期在60-300s之间随机变化的白噪声；为幅值在0-0.01pu之间随机变化，周期在0-60s之间随机变化的白噪声。

表2 DDPG算法的参数

设置采样时间为1s，仿真时间1000s，其余的算法参数见表2，在系统中双馈型抽水蓄能机组处于发电和抽水两种工况下时，DDPG算法的收敛情况分别如图8和图9所示，在算法迭代1000次后奖励函数已经基本收敛到较高值。

为验证训练所得频率控制器在不同场景下的调频控制性能和鲁棒性，在Matlab/Simulink平台上构建基于深度强化学习的含双馈型抽水蓄能机组系统负荷频率控制系统。上层决策层为训练所得的DDPG频率控制器，通过数据采集设备每隔1s采样收集系统的频率偏差以及各类机组的出力情况，将其转换为DDPG频率控制器所需要的状态空间，DDPG频率控制器根据接收的系统状态信息，实时生成各机组的调频指令；下层控制层接收DDPG频率控制器发出的机组调频指令，并按照自动发电控制系统所要求的控制周期，每隔4s向各机组下发调频指令，各类机组响应调频指令做出功率调整。为说明本发明方法的优越性，额外设置传统基于PI控制的频率控制方法、以及训练过程中不考虑随机变化的常规DDPG控制方法作为对比。其中常规DDPG控制方法基于40%风电渗透率和固定扰动场景进行训练。

场景1：40%风电渗透率+随机负荷功率扰动

系统采用不同频率控制方法时，双馈型抽水蓄能机组在发电和抽水工况下的频率偏差与各机组出力响应情况分别如图10a-10f所示，其中a-c为发电工况，d-f为抽水工况。可见，相比于传统PI控制，利用深度强化学习方法控制各机组的调频出力可以收获更好的调频效果。该场景下，本发明所提方法与常规DDPG控制方法在调频控制性能上差别不大，都可以在频率产生偏差后迅速进行抑制，维持频率偏差稳定在较小范围内。但在本发明所提控制下机组的调频出力相对较少，且更多是利用抽水蓄能机组的灵活调节能力，火电机组的调节出力显著减少。

场景2：20%风电渗透率+随机负荷功率扰动

采用不同频率控制方法时，双馈型抽水蓄能机组在发电和抽水工况下系统的响应情况如图11a-11f所示，其中a-c为发电工况，d-f为抽水工况。在该场景下，本发明方法收获了显著优于其他两种控制方法的控制效果。在双馈型抽水蓄能机组处于发电工况时可以将平均频率偏差减小到0.0054Hz，相比于常规DDPG控制方法减小51.8%，在机组处于抽水工况时则可将平均频率偏差减小到0.0069Hz，相比于常规DDPG控制方法减小36.1%。

场景3：60%风电渗透率+随机负荷功率扰动

采用不同频率控制方法时，双馈型抽水蓄能机组在发电和抽水工况下系统的响应情况如图12a-12f所示，其中a-c为发电工况，d-f为抽水工况。在该场景下，本发明方法同样也收获了优异的控制效果，在显著降低最大频率偏差的同时将频率偏差稳定在0.01Hz以内。对比于常规DDPG控制，在机组处于发电工况时对系统平均频率偏差的降低达到49.2%，在抽水工况时降低达到37.9%。

由以上三个不同风电渗透率场景下的仿真可知，本发明方法由于在预学习过程中考虑了风电接入带来的模型参数变化，在不同风电接入场景下均具有鲁棒性，不仅可以改善频率控制性能，还可以从一定程度上减小机组调频出力进而降低调频成本。

以上三个场景均基于图7所示随机负荷扰动设置，为进一步验证本发明方法对于新型电力系统中随机的负载变化与可再生能源出力波动具有鲁棒性，以下设置连续阶跃扰动与实际风电出力扰动的场景进行仿真。

场景4：40%风电渗透率+连续阶跃扰动

利用幅值变化的连续阶跃扰动来模拟新型电力系统中的随机负载扰动，采用不同控制方法时系统的频率响应情况如图13a-13b所示，其中a为发电工况，b为抽水工况。可见，在此场景下常规DDPG控制的效果甚至不及传统PI控制效果，尤其在机组处于抽水工况时会使频率产生较大偏差。而本发明方法仍然具有较好的适应性，可以在显著缩短频率调整时间的同时控制频率偏差稳定在0.01Hz的范围内。

场景5：40%风电渗透率+实际风电出力扰动

基于实际风电预测误差数据构建负荷扰动，仿真对比不同控制方法的频率控制效果如图14a-14b所示，其中a为发电工况，b为抽水工况。可见，在应对具有随机性的连续扰动时，本发明方法仍然具有很好的适应性，在机组处于发电工况时将平均频率偏差降低到0.0027Hz，抽水工况时降低到0.0016Hz。

综合以上5个场景可知，本发明所提基于双馈型抽水蓄能机组的数据驱动系统负荷频率控制方法充分利用了双馈型抽水蓄能机组在发电与抽水工况下的调频能力，为解决新型电力系统的频率稳定问题提供了新的调频手段。与此同时本发明所提考虑电力系统随机性进行训练的数据驱动频率控制方法，可以使系统处于不同风电接入场景与扰动情况下均能协调常规火电机组与双馈型抽水蓄能机组的调频出力，在降低频率偏差的同时也减少机组调频出力。

请参见图15示出的本申请实施例提供的计算机设备的结构示意图。本申请实施例提供的一种计算机设备400，包括：处理器410和存储器420，存储器420存储有处理器410可执行的计算机程序，计算机程序被处理器410执行时执行如上的方法。

本申请实施例还提供了一种存储介质430，该存储介质430上存储有计算机程序，该计算机程序被处理器410运行时执行如上的方法。

其中，存储介质430可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种含双馈型抽水蓄能机组系统频率控制方法，其特征在于，包括如下步骤：

基于双馈型抽水蓄能机组在不同工况下的运行控制特性，分别构建其在发电与抽水工况下的机组频率控制模型；

考虑大规模风电接入给电力系统带来的影响，构建含有常规火电机组以及双馈型抽水蓄能机组的单区域系统负荷频率控制模型；

利用DDPG算法构建所述单区域系统的负荷频率控制器，并定义状态空间和动作空间，与所述机组频率控制模型进行交互，在考虑机组运行约束的基础上，确定以最小化系统频率偏差及调频出力为优化目标的奖励函数；

预学习阶段，引入随机的系统内部参数变化与外部功率扰动进行试错探索，训练所述负荷频率控制器在不同场景下，可根据系统状态确定符合优化目标的各机组调频指令；

通过训练后的所述负荷频率控制器，采集系统状态信息，对系统负荷频率进行控制；

所述考虑大规模风电接入给电力系统带来的影响，包括：

引入常规同步机组发电系数K，即常规同步发电机组容量和系统总容量的比值，来表征风电的渗透程度，进而描述风电接入对于系统内部参数的改变，所述改变具体包括系统的惯性时间常数H、常规火电机组的调差系数1/R以及调频出力限制P _lim 均减小为原来的K倍，即风电接入后，系统的等效惯性时间常数H _eq =KH，常规火电机组的等效调差系数1/R _eq =K/R，等效调频出力限制P _{lim_eq} =KP _lim ；

将风电场实际出力与预测功率之间的偏差作为负的负荷扰动ΔP _W 加入到系统负荷频率控制模型中，用于反映因风电出力具有随机性造成的系统有功功率不平衡；

所述单区域系统负荷频率控制模型中还包括：常规火电机组的频率控制模型和发电机-负荷模型；

所述负荷频率控制器的输入信号为单区域系统的频率偏差，输出为常规火电机组的二次调频指令ΔU _H 与双馈型抽水蓄能机组的二次调频指令ΔU _D ，其中发电工况为ΔP _ACE ，抽水工况为 Δω_ACE；

在加入系统频率控制模型时添加调频出力限制以及发电速率限制，常规火电机组的调频出力ΔP _H 为：

其中T _g 为火电机组调速器时间常数，T _H 为火电机组汽轮机时间常数；

双馈型抽水蓄能机组的频率控制模型在加入系统负荷频率控制模型时也添加上调频出力限制以及发电速率限制；

含双馈型抽水蓄能机组的单区域系统的发电机-负荷模型为：

其中D为负荷的频率调节效应系数，ΔP _L 为负荷功率扰动；

所述利用DDPG算法构建所述单区域系统的负荷频率控制器，包括：

定义状态空间为系统频率偏差的比例、微分和积分值，以及各机组有功功率输出的集合，动作空间为各机组二次调频指令的集合；

定义奖励函数R包含三个部分，用于描述主要优化目标的基本项O，仿真提前终止的惩罚项F以及控制满足要求的正奖励项M，其中F和M用于在保证训练结果合理的同时提高预学习的速度；

以系统频率偏差Δf以及火电机组调频出力ΔP _H 、双馈型抽水蓄能机组调频出力ΔP _D 最小为优化目标，奖励函数的基本项为：

式中μ ₁、μ ₂、μ ₃为权重系数；

将机组转速变化约束与Δf限制共同作为仿真的提前终止条件，若机组的转速变化超出限制或Δf过大，则仿真提前终止并给F赋值一个大于设定阈值的负数，否则F为0；

若Δf能够维持在设定的范围内，则给M赋值一个大于设定阈值的正数，否则M为0；

最终确定奖励函数R为：

。

2.根据权利要求1所述的含双馈型抽水蓄能机组系统频率控制方法，其特征在于，所述分别构建其在发电与抽水工况下的机组频率控制模型中，构建双馈型抽水蓄能机组在发电与抽水工况下的两种调频控制策略，从而形成所述机组频率控制模型；

两种所述调频控制策略包括：

发电工况下，将一次调频功率指令ΔP _f 与二次调频功率指令ΔP _ACE 叠加形成总的控制指令ΔP _cmd ，交由变流器实现对于机组有功功率的直接快速控制，为频率调节提供功率支撑；

抽水工况下，利用PD控制器将检测所得频率偏差Δf转换为附加转速指令作为一次调频指令Δω_f，二次调频指令同样给定转速指令Δω_ACE，两者叠加形成总控制指令Δω_cmd交由变流器先实现对于机组转速的快速控制，再利用水泵的转速与有功功率关系得到相应的调频出力变化。

3.根据权利要求2所述的含双馈型抽水蓄能机组系统频率控制方法，其特征在于，所述机组频率控制模型包括变流器模块、转速与功率的关系模块及两种工况下的一次、二次调频模块；

所述变流器模块用于描绘转子电流的跟踪过程，并反映变流器对于控制指令的响应能力：

其中i _r ^* 为转子电流参考值，i _r 为转子电流实际值，ΔT _cmd 为变流器的控制指令变化，ΔT为实际控制量变化，为变流器响应时间常数，s为微分算子；

转速与功率的关系模块反映了抽水工况下，双馈型抽水蓄能机组转速变化Δω_r与有功功率变化ΔP的函数关系，通过将水泵水轮机综合特性曲线中水泵输出功率与转速的多项式进行线性化得到：

其中k为水泵输出功率与转速的多项式曲线在水泵最佳运行点处的斜率；

发电工况下的一次、二次调频模块描述了由一次调频功率指令ΔP _f 和二次调频功率指令ΔP _ACE 叠加后通过变流器获得调频出力ΔP _D 的过程：

抽水工况下的一次、二次调频模块描述了由一次调频转速指令Δω_f和二次调频转速指令Δω_ACE叠加后通过变流器获得调频转速变化，再进一步根据转速与功率的关系模块获得调频出力ΔP _D 的过程：

。

4.根据权利要求1所述的含双馈型抽水蓄能机组系统频率控制方法，其特征在于，所述外部功率扰动包括：

随着算法预学习过程的迭代推进，设置常规同步机组发电系数K在0到1之间随机变化，引发所述系统负荷频率控制模型的参数随之变化，用于模拟不同风电接入场景给系统内部参数带来的影响，其中受影响的参数包含系统等效惯性时间常数H _eq 、常规火电机组的等效调差系数1/R _eq 和调频出力限制P _{lim_eq} ；

随着算法预学习过程的迭代推进，在引入负荷功率扰动来创造频率波动环境时，采用幅值与形式均随机变化的功率扰动，用于模拟含有大规模风电系统中的随机负荷扰动以及风电出力扰动；所用功率扰动ΔP _L 通过叠加变化缓慢，幅度较大的基本波动分量ΔP _L1 与变化迅速、幅度较小的扰动分量ΔP _L2 形成，涵盖负载阶跃扰动的突变特性和可再生能源的连续波动特性；其中ΔP _L1 为幅值在0.01-0.03pu之间随机变化，周期在60-300s之间随机变化的白噪声；ΔP _L2 为幅值在0-0.01pu之间随机变化，周期在0-60s之间随机变化的白噪声。

5.根据权利要求1所述的含双馈型抽水蓄能机组系统频率控制方法，其特征在于，所述对系统负荷频率进行控制中，包括上层决策层和下层决策层；

所述上层决策层通过数据采集设备每隔1s采样收集系统的频率偏差Δf以及各类机组的出力情况，将其转换为DDPG负荷频率控制器所需要的状态空间，DDPG负荷频率控制器根据接收的系统状态信息，实时生成各机组的调频指令；

所述下层决策层接收DDPG负荷频率控制器发出的机组调频指令，并按照自动发电控制系统所要求的控制周期，每隔4s向各机组下发调频指令，各类机组响应调频指令做出功率调整。

6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-5中任一项所述的方法。

7.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的方法。

Images