CN113629728B - 一种基于执行依赖启发式动态规划的风电机组变下垂控制方法 - Google Patents

Abstract

本发明公开了一种基于执行依赖启发式动态规划的风电机组变下垂控制方法。针对湍流风速导致风轮转速和气动功率不断变化，影响风电机组对电网频率的支撑能力，导致固定的下垂系数难以适应变化的工况的问题。该方法首先建立了风电机组下垂控制模型；然后建立根据风机转速的变化的下垂系数动态调整模型；进一步建立基于ADHDP方法的下垂系数修正模型；最后结合以上模型合成智能变下垂控制模型，输出电磁功率参考值。该控制方法能够有效应对湍流风速变化的随机性和风机频率支撑过程的非线性，动态修正下垂系数，使风电机组在维持自身稳定运行的前提下充分利用风轮动能为电网提供功率支撑。

Description

一种基于执行依赖启发式动态规划的风电机组变下垂控制 方法

技术领域

本发明属于风电参与电网调频领域，特别是一种基于执行依赖启发式动态规划的风电机组变下垂控制方法。

背景技术

作为一种重要的可再生能源利用技术，风力发电正朝着规模化、高质量、高占比的目标不断发展，其并网消纳问题也受到越来越多的重视。

大规模风电并网给电网调频带来了挑战。一方面，风电机组(以下简称风机)通过变流器并网，导致电力系统的等效惯量会随着风电占比的增大而减；另一方面，继续依赖同步机组承担调频任务势必带来电网调频能力不足的问题。为此，近年来，国内外学者从风储联合调频、预留有功备用和提供频率支撑等方面对风机参与电网调频开展了大量研究。

考虑到风机具有较大的转动惯量和转速变化范围，可以依靠风轮动能的存储和释放提供用于支撑电网频率的有功功率。进一步地，为了效仿同步机组的频率响应特性，在风机原有控制器上附加频率偏差环节，实现按有功功率-频率下垂特性曲线增发风机出力，也即通常所称的下垂控制。

早期调频控制研究中下垂系数多采用固定数值，且通常凭经验设定。然而，面对复杂多变的运行工况，固定不变的下垂系数难以保证风机始终具备良好的调频效果。实质上，下垂系数的大小不仅反映风机参与系统调频的深度，而且更是协调电网支撑与风机稳定的关键所在。也就是说，风机既要在较高风速下为电网提供尽可能充分的功率支撑，同时也要在较低风速下避免因下垂系数过大影响自身的稳定运行。

相较于固定下垂系数，变系数的方式能使风机更好地兼顾调频效果和自身稳定性，并且有助于降低风机载荷。为此，高风速风机占比、风机转速和减载备用功率等被用于整定下垂系数，并进一步通过高、低风速对应不同的整定方式，使风机在不同风速条件下均能够发挥调频能力。然而，当前研究虽已关注风速幅值对下垂系数设定的影响，但面对更加复杂变化的湍流风速，系数整定仍有待改进。究其原因在于：随机变化的湍流风速会改变输入的气动功率和储存风轮动能，时刻左右着风机的电网频率支撑能力，但是该过程却因风机功率调节特性和电网频率响应特性的强非线性而难以被准确量化。

发明内容

本发明的目的在于针对上述现有技术存在的问题，提供一种基于执行依赖启发式动态规划的风电机组变下垂控制方法，根据受风速幅值影响的风机转速动态调整下垂系数，再进一步利用ADHDP对该系数加以修正，以克服系统模型的非线性，从而充分发挥风机在湍流风速下的调频能力并改善实际调频效果。

实现本发明目的的技术解决方案为：一种基于执行依赖启发式动态规划的风电机组变下垂控制器，所述方法包括以下步骤：

步骤1：构建风电机组传统下垂控制模型，确定风机下垂控制的电磁功率参考值P_ref；

步骤2：构建根据风机转速的变化的下垂系数动态调整模型K_ω；

步骤3：构建基于ADHDP方法的下垂系数修正模型；

步骤4：结合以上模型合成智能变下垂控制模型，输出电磁功率参考值P_{ADHDP_ref}。

本发明与现有技术相比，其显著优点为：

1)本发明充分考虑了湍流风速导致风轮转速和气动功率不断变化，影响着风电机组对电网频率的支撑能力，此时固定的下垂系数已难以适应变化的工况的问题，设计了一种基于执行依赖启发式动态规划的风电机组变下垂控制器，能够有效应对湍流风速变化的随机性；

2)本发明充分考虑了风电机组参与调频的电网频率响应特性呈现出强非线性，下垂系数的难以整定的问题，设计了一种基于执行依赖启发式动态规划的风电机组变下垂控制器，能够有效应对风机频率支撑过程的非线性。

下面结合附图和实施例对本发明作进一步详细描述。

附图说明

图1为本发明基于执行依赖启发式动态规划的风电机组变下垂控制方法流程图。

图2为本发明基于执行依赖启发式动态规划的风电机组变下垂控制模型结构图。

图3为其中实施例中所使用的考虑风电调频的电网频率响应模型图。

图4为本发明有效性验证的仿真结果图，其中，实线、虚线以及点划线分别表示本发明控制方法、固定下垂控制方法以及风机不参与调频下的仿真效果。

具体实施方式

一种基于执行依赖启发式动态规划的风电机组变下垂控制方法，包括以下步骤：

步骤1：构建风电机组传统下垂控制模型，确定风机下垂控制的电磁功率参考值P_ref，具体为：

风机下垂控制根据电网频率偏差的大小调整其实际输出功率，以此模拟常规发电机组调速器的有功-频率下垂特性，从而参与电网调频，风机下垂控制的电磁功率参考值P_ref为：

P_ref＝P_MPPT+P_drop

P_drop＝-K_dropΔf

其中，，P_MPPT为风机最大功率点跟踪(Maximum power point tracking,MPPT)控制下的功率指令，和λ_opt分别为风能利用系数C_P的最大值及其对应的最佳叶尖速比； K_drop为下垂系数，一般情况下K_drop＞0，Δf为频率偏差，ρ表示空气密度，R表示风轮半径，ω表示风机转速。

步骤2：构建根据风机转速的变化的下垂系数动态调整模型K_ω，具体为：

利用风机的实时转速间接反映风速的高低，并将其用于下垂系数整定：

其中，K_ω为根据转速得到的下垂系数参考值；η和κ为可调系数，根据风机转动惯量和电网频率响应特性调整；ω表示风机转速、ω_min表示风机允许的转速下限。

步骤3：构建基于ADHDP方法的下垂系数修正模型，具体为：

取风机转速ω和频率偏差Δf为风机调频系统作为状态变量，用以描述当前风机的运行状态和电网的频率变化，选取下垂系数修正量K_comp为控制变量，从而使智能体能够根据当前风机的运行状态和电网的频率变化对风机的功率输出施加影响。

所述下垂系数修正模型包括：

(a)代价函数U_c

其中，μ为转速惩罚因子，Δf为频率偏差；K_comp为下垂系数修正量；

基于该代价函数的ADHDP模型求出最小代价下对应的下垂系数修正量K_comp；

(b)评价网络

评价网络的输入层由目标系统的状态变量[ω,Δf]和执行网络输出的控制信号u组成，输出层为J，为代价函数U_c的近似值；

评价网络中的预测误差为：

e_c(k)＝γ·J(k)-[J(k-1)-U_c(k)]

其中，k表示时间序列；γ为折扣因子；

评价网络中需要最小化的目标函数为：

通过最小化该函数，并基于梯度下降法的规则更新评价网络权值，不断训练达到最优；

(c)执行网络

执行网络的输入层由目标系统的状态变量[K_drop,ω,Δf]组成，输出层为控制信号 K_comp；

执行网络中的预测误差为：

e_a(k)＝J(k)-U_c(k)

执行网络中需要最小化的目标函数为：

通过最小化该函数，并基于梯度下降法的规则更新执行网络权值，不断训练达到最优。

步骤4：结合以上模型合成智能变下垂控制模型，输出电磁功率参考值P_{ADHDP_ref}，具体为：

步骤4-1：基于步骤2中的下垂系数动态调整模型和实时转速得到初始下垂系数参考值K_ω；

步骤4-2：基于步骤3构建的ADHDP方法的下垂系数修正模型，根据转速惩罚因子和频率偏差得到下垂系数修正量K_comp；

步骤4-3：将步骤4-1获得的初始下垂系数参考值K_ω和步骤4-2获得的下垂系数修正量K_comp相加得到K_drop；

步骤4-4：根据下垂控制模型得到P_drop并与P_MPPT相加得到参考功率指令P_{ADHDP_ref}并下达至变流器，使发电机电磁功率P_e响应该参考值，参考功率指令P_{ADHDP_ref}表达式为：

其中，和λ_opt分别为风能利用系数C_P的最大值及其对应的最佳叶尖速比；K_drop为下垂系数，K_drop＞0，Δf为频率偏差，ρ表示空气密度，R表示风轮半径，ω表示风机转速。

一种基于执行依赖启发式动态规划的风电机组变下垂控制系统，包括以下模块：

传统下垂控制模块：用于构建风电机组传统下垂控制模型，得到风机下垂控制的电磁功率参考值P_ref；

下垂系数动态调整模块：用于构建根据风机转速的变化的下垂系数动态调整模型K_ω；

下垂系数修正模块：用于构建基于ADHDP方法的下垂系数修正模型；

智能变下垂控制模块：用于构建智能变下垂控制模型，输出电磁功率参考值P_{ADHDP_ref}。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

步骤1：构建风电机组传统下垂控制模型，确定风机下垂控制的电磁功率参考值P_ref；

步骤2：构建根据风机转速的变化的下垂系数动态调整模型K_ω；

步骤3：构建基于ADHDP方法的下垂系数修正模型；

步骤4：结合以上模型合成智能变下垂控制模型，输出电磁功率参考值P_{ADHDP_ref}。

一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

步骤1：构建风电机组传统下垂控制模型，确定风机下垂控制的电磁功率参考值P_ref；

步骤2：构建根据风机转速的变化的下垂系数动态调整模型K_ω；

步骤3：构建基于ADHDP方法的下垂系数修正模型；

步骤4：结合以上模型合成智能变下垂控制模型，输出电磁功率参考值P_{ADHDP_ref}。

实施例

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

结合图1和图2，一种基于执行依赖启发式动态规划的风电机组变下垂控制方法,包括以下步骤：

步骤1：构建风电机组传统下垂控制模型，确定风机下垂控制的电磁功率参考值P_ref，具体为：

风机下垂控制根据电网频率偏差的大小调整其实际输出功率，以此模拟常规发电机组调速器的有功-频率下垂特性，从而参与电网调频，风机下垂控制的电磁功率参考值P_ref为：

P_ref＝P_MPPT+P_drop

P_drop＝-K_dropΔf

其中，和λ_opt分别为风能利用系数C_P的最大值及其对应的最佳叶尖速比；K_drop为下垂系数，K_drop＞0，Δf为频率偏差，ρ表示空气密度，R表示风轮半径，ω表示风机转速。

步骤2：构建根据风机转速的变化的下垂系数动态调整模型K_ω，具体为：

利用风机的实时转速间接反映风速的高低，并将其用于下垂系数整定：

其中，K_ω为根据转速得到的下垂系数参考值；η和κ为可调系数，根据风机转动惯量和电网频率响应特性调整；ω表示风机转速、ω_min表示风机允许的转速下限。

步骤3：构建基于ADHDP方法的下垂系数修正模型，具体为：

取风机转速ω和频率偏差Δf为风机调频系统作为状态变量，用以描述当前风机的运行状态和电网的频率变化，选取下垂系数修正量K_comp为控制变量，从而使智能体能够根据当前风机的运行状态和电网的频率变化对风机的功率输出施加影响。

所述下垂系数修正模型包括：

(a)代价函数U_c

其中，μ为转速惩罚因子，Δf为频率偏差；K_comp为下垂系数修正量；

基于该代价函数的ADHDP模型求出最小代价下对应的下垂系数修正量K_comp；

(b)评价网络

评价网络的输入层由目标系统的状态变量[ω,Δf]和执行网络输出的控制信号u组成，输出层为J，为代价函数U_c的近似值；

评价网络中的预测误差为：

e_c(k)＝γ·J(k)-[J(k-1)-U_c(k)]

其中，k表示时间序列；γ为折扣因子；

评价网络中需要最小化的目标函数为：

通过最小化该函数，并基于梯度下降法的规则更新评价网络权值，不断训练达到最优；

(c)执行网络

执行网络的输入层由目标系统的状态变量[K_drop,ω,Δf]组成，输出层为控制信号 K_comp；

执行网络中的预测误差为：

e_a(k)＝J(k)-U_c(k)

执行网络中需要最小化的目标函数为：

通过最小化该函数，并基于梯度下降法的规则更新执行网络权值，不断训练达到最优。

步骤4：结合以上模型合成智能变下垂控制模型，输出电磁功率参考值P_{ADHDP_ref}，具体为：

步骤4-1：基于步骤2中的下垂系数动态调整模型和实时转速得到初始下垂系数参考值K_ω；

步骤4-2：基于步骤3构建的ADHDP方法的下垂系数修正模型，根据转速惩罚因子和频率偏差得到下垂系数修正量K_comp；

步骤4-3：将步骤4-1获得的初始下垂系数参考值K_ω和步骤4-2获得的下垂系数修正量K_comp相加得到K_drop；

步骤4-4：根据下垂控制模型得到P_drop并与P_MPPT相加得到参考功率指令P_{ADHDP_ref}并下达至变流器，使发电机电磁功率P_e响应该参考值，参考功率指令P_{ADHDP_ref}表式为：

其中，和λ_opt分别为风能利用系数C_P的最大值及其对应的最佳叶尖速比；K_drop为下垂系数，K_drop＞0，Δf为频率偏差，ρ表示空气密度，R表示风轮半径，ω表示风机转速。

基于MATLAB/SIMULINK构建的风电并网模型，其中风机部分的主要参数如表1 所示，电网部分采用如图3所示的低阶频率响应(Low Order Frequency Response,LFR) 模型，具体参数如表2所示。对比风机在同一湍流风、不同调频控制器下，一次调频期间系统频率的最大偏差，如表3所示；系统频率变化和风电机组转速变化对比如图4所示，其中固定下垂控制中的下垂系数选取10m/s恒风速下遍历最优的参数。

表1风机主要参数

表2 LFR模型主要参数

表3不同控制策略下最大频率偏差(Hz)比较

通过本实施例仿真结果能说明：采用本发明的风电机组变下垂控制器能有效克服湍流风速波动和模型的不确定性给风机下垂系数整定带来的困难，降低系统频率偏差，提升了湍流风速下风机的一次调频效果。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种基于执行依赖启发式动态规划的风电机组变下垂控制方法，其特征在于，包括以下步骤：

步骤1：构建风电机组传统下垂控制模型，确定风机下垂控制的电磁功率参考值P_ref；

步骤2：构建根据风机转速的变化的下垂系数动态调整模型K_ω：

利用风机的实时转速间接反映风速的高低，并将其用于下垂系数整定：

其中，K_ω为根据转速得到的下垂系数参考值；η和κ为可调系数，根据风机转动惯量和电网频率响应特性调整；ω表示风机转速、ω_min表示风机允许的转速下限；

步骤3：构建基于ADHDP方法的下垂系数修正模型：

选取风机转速ω和频率偏差Δf为风机调频系统作为状态变量，用以描述当前风机的运行状态和电网的频率变化，选取下垂系数修正量K_comp为控制变量，从而使智能体能够根据当前风机的运行状态和电网的频率变化对风机的功率输出施加影响；

所述下垂系数修正模型包括：

(a)代价函数U_c

其中，μ为转速惩罚因子，Δf为频率偏差；K_comp为下垂系数修正量；

基于该代价函数的ADHDP模型求出最小代价下对应的下垂系数修正量K_comp；

(b)评价网络

评价网络的输入层由目标系统的状态变量[ω,Δf]和执行网络输出的控制信号u组成，输出层为J，为代价函数U_c的近似值；

评价网络中的预测误差为：

e_c(k)＝γ·J(k)-[J(k-1)-U_c(k)]

其中，k表示时间序列；γ为折扣因子；

评价网络中需要最小化的目标函数为：

通过最小化该函数，并基于梯度下降法的规则更新评价网络权值，不断训练达到最优；

(c)执行网络

执行网络的输入层由目标系统的状态变量[K_drop,ω,Δf]组成，输出层为控制信号K_comp；

执行网络中的预测误差为：

e_a(k)＝J(k)-U_c(k)

执行网络中需要最小化的目标函数为：

通过最小化该函数，并基于梯度下降法的规则更新执行网络权值，不断训练达到最优；

步骤4：结合以上模型合成智能变下垂控制模型，输出电磁功率参考值P_{ADHDP_ref}：

步骤4-1：基于步骤2中的下垂系数动态调整模型和实时转速得到初始下垂系数参考值K_ω；

步骤4-2：基于步骤3构建的ADHDP方法的下垂系数修正模型，根据转速惩罚因子和频率偏差得到下垂系数修正量K_comp；

步骤4-3：将步骤4-1获得的初始下垂系数参考值K_ω和步骤4-2获得的下垂系数修正量K_comp相加得到K_drop；

步骤4-4：根据下垂控制模型得到P_drop并与P_MPPT相加得到参考功率指令P_{ADHDP_ref}并下达至变流器，使发电机电磁功率P_e响应该参考值，参考功率指令P_{ADHDP_ref}表式为：

其中，和λ_opt分别为风能利用系数C_P的最大值及其对应的最佳叶尖速比；K_drop为下垂系数，K_drop＞0，Δf为频率偏差，ρ表示空气密度，R表示风轮半径，ω表示风机转速。

2.根据权利要求1所述的基于执行依赖启发式动态规划的风电机组变下垂控制方法，其特征在于，所述步骤1中的确定风机下垂控制的电磁功率参考值P_ref，具体为：

风机下垂控制根据电网频率偏差的大小调整其实际输出功率，以此模拟常规发电机组调速器的有功-频率下垂特性，从而参与电网调频，风机下垂控制的电磁功率参考值P_ref为：

P_ref＝P_MPPT+P_drop

P_drop＝-K_dropΔf

其中，和λ_opt分别为风能利用系数C_P的最大值及其对应的最佳叶尖速比；K_drop为下垂系数，K_drop＞0，Δf为频率偏差，ρ表示空气密度，R表示风轮半径，ω表示风机转速。

3.一种基于执行依赖启发式动态规划的风电机组变下垂控制系统，其特征在于，包括以下模块：

传统下垂控制模块：用于构建风电机组传统下垂控制模型，得到风机下垂控制的电磁功率参考值P_ref；

下垂系数动态调整模块：用于构建根据风机转速的变化的下垂系数动态调整模型K_ω：

利用风机的实时转速间接反映风速的高低，并将其用于下垂系数整定：

其中，K_ω为根据转速得到的下垂系数参考值；η和κ为可调系数，根据风机转动惯量和电网频率响应特性调整；ω表示风机转速、ω_min表示风机允许的转速下限；

下垂系数修正模块：用于构建基于ADHDP方法的下垂系数修正模型：

选取风机转速ω和频率偏差Δf为风机调频系统作为状态变量，用以描述当前风机的运行状态和电网的频率变化，选取下垂系数修正量K_comp为控制变量，从而使智能体能够根据当前风机的运行状态和电网的频率变化对风机的功率输出施加影响；

所述下垂系数修正模型包括：

(a)代价函数U_c

其中，μ为转速惩罚因子，Δf为频率偏差；K_comp为下垂系数修正量；

基于该代价函数的ADHDP模型求出最小代价下对应的下垂系数修正量K_comp；

(b)评价网络

评价网络的输入层由目标系统的状态变量[ω,Δf]和执行网络输出的控制信号u组成，输出层为J，为代价函数U_c的近似值；

评价网络中的预测误差为：

e_c(k)＝γ·J(k)-[J(k-1)-U_c(k)]

其中，k表示时间序列；γ为折扣因子；

评价网络中需要最小化的目标函数为：

通过最小化该函数，并基于梯度下降法的规则更新评价网络权值，不断训练达到最优；

(c)执行网络

执行网络的输入层由目标系统的状态变量[K_drop,ω,Δf]组成，输出层为控制信号K_comp；

执行网络中的预测误差为：

e_a(k)＝J(k)-U_c(k)

执行网络中需要最小化的目标函数为：

通过最小化该函数，并基于梯度下降法的规则更新执行网络权值，不断训练达到最优；

智能变下垂控制模块：用于构建智能变下垂控制模型，输出电磁功率参考值P_{ADHDP_ref}：

基于下垂系数动态调整模型和实时转速得到初始下垂系数参考值K_ω；

基于构建的ADHDP方法的下垂系数修正模型，根据转速惩罚因子和频率偏差得到下垂系数修正量K_comp；

将获得的初始下垂系数参考值K_ω和下垂系数修正量K_comp相加得到K_drop；

根据下垂控制模型得到P_drop并与P_MPPT相加得到参考功率指令P_{ADHDP_ref}并下达至变流器，使发电机电磁功率P_e响应该参考值，参考功率指令P_{ADHDP_ref}表式为：

其中，和λ_opt分别为风能利用系数C_P的最大值及其对应的最佳叶尖速比；K_drop为下垂系数，K_drop＞0，Δf为频率偏差，ρ表示空气密度，R表示风轮半径，ω表示风机转速。

4.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-2中任一项所述方法的步骤。

5.一种计算机可存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-2中任一项所述的方法的步骤。