CN111355234A - 一种基于强化学习的微电网频率控制方法 - Google Patents

Abstract

本发明提供了一种基于强化学习的微电网频率控制方法，包括：步骤1，建立微电网频率控制模型：采取控制频率和电压幅值的方式控制输出的功率、调节下垂参数进行调频控制；步骤2，基于强化学习的频率控制策略：根据规定的频率设计状态空间、动作集和奖励函数，并训练Q表选取最优修正量；步骤3，建立基于强化学习的微电网频率控制系统：基于Q学习对不同场景进行训练，从学习训练过程、频率控制响应特性多个方面验证所提方法的有效性和适应性。

Description

一种基于强化学习的微电网频率控制方法

技术领域

本发明涉及微电网频率控制领域，具体涉及一种基于强化学习的微电网频率控制方法。

背景技术

微电网通过将储能装置，负荷，发电单元结合在一起，形成一个可控单元，将分布式电源以微电网形式并网，实现对分布式电源的充分利用。微电网是实现新能源并网、改善其供电质量、提高新能源利用率的重要技术途径。

和传统的发电机组不同，接入微电网的分布式电源不存在转子惯性，这导致微电网等效惯量较低，在并网模式下还可以利用主网进行频率支撑，而在孤网模式下，由于系统惯量较低，一旦出现负载波动，就会对系统频率产生极大的影响,甚至导致停电事故。又由于微电网中大部分发电单元都采用下垂控制方法进行控制，因此在微电网孤网运行时，其运行频率极易偏离国家规定的电力系统运行频率。因此，如何对微电进行频率恢复控制，稳定其运行频率，成为了新的研究热点。

发明内容

为了弥补现有技术的缺乏，本发明提供了一种基于强化学习的微电网频率控制方法。

所述方法包括：

步骤1建立微电网频率控制模型；

所述的微电网频率控制的方法是对微电网频率偏离预期值时进行频率的恢复控制，而下垂控制是分布式电源并网最常用的控制方式，实现分布式电源对等控制的目的；

将分布式电源并联连接，当线路上的电感值远大于电阻值时，可以得到逆变器输出有功功率为：

式中，δ₁为一号分布式电源的电压功角，U₁为其输出电压幅值，E为公共点电压幅值，X为线路阻抗。因此可以采取控制频率和电压幅值的方式控制输出的功率，有功部分的下垂控制方程如下：

f＝f₀-k_p(P-P^*) 式(2)

式中:f₀为额定频率，p^*为额定有功功率，k_p为有功下垂系数；

当微电网供需功率不平衡时，运行频率偏移期望，可以通过调节下垂参数进行调频控制，控制方式如下：

f＝f₀-k_p(P-P^*-ΔP^*) 式(3)

式中,ΔP^*为P^*的修正量；

步骤2基于强化学习的频率控制策略；

所述的控制策略是通过采用强化学习下的Q学习算法对下垂控制参数进行调节，实现频率恢复控制，其步骤如下：

步骤2.1：根据我国的规定，电力系统在运行时其频率应当保持在50±0.2Hz的范围以内，采用自动控制的电力系统频率应保证在50±0.15Hz的范围以内；因此以电力系统的频率偏差为依据，对微电网的状态进行定义，划分不同的状态空间，再根据微电网中可控电源可用于调频控制的容量设计出所需的动作集，来对系统的额定有功功率进行修正，调节分布式电源的输出功率，以此来稳定微电网频率；

步骤2.2：根据步骤2.1的状态空间来设计奖励函数，奖励函数r(s_i,a_i)表示对s_i状态下采取a_i动作给予的奖励值，定义其为：

r(s_i,a_i)＝∑r_j(s_i,a_i) 式(4)

式中:r_j(s_i,a_i)表示第j个可控电源的奖励，其定义为：

式中:Δf表示系统实际频率和50Hz规定频率的差值，f₀为发生频率偏差的临界值，α₁、α₂、α₃、β₁和β₂皆为固定的参数，其中f₀<0.15，α₃>α₂>α₁，β₁<β₂，即频率偏差越大，奖励越小；

步骤2.3：对系统次数的运行频率进行测量，确定系统目前处于那种状态F_i，并选取下垂参数修正量p_i，之后再对下一时刻的系统运行频率进行测量，得到下一时刻的系统状态F_i+1，根据公式(5)计算奖励函数r(F_i,P_i)，最后再i+1时刻对Q表进行更新。此时Q表更新方式为：

Q^k+1(F_i,P_i)＝Q^k(F_i,P_i)+α(r(F_i,P_i)+γmaxQ^k(F_i+1,P_i+1)-Q^k(F_i,P_i)) 式(8)

式中:F_i表示i时刻的系统状态,P_i表示i时刻选取的P^*修正量；

根据训练后的Q表，选取最优的修正量：

ΔP^*＝argmaxQ^*(F_i,P_i) 式(7)

步骤3建立基于强化学习的微电网频率控制系统；

建立模块，搭建微电网模型，根据步骤一和步骤二，利用Q学习算法动态修正下垂控制参数，协调微电网多个分布式电源进行频率恢复控制，对不同的分布式电源接入场景进行学习。

与最接近的现有技术相比，本发明的有益效果是：

本发明通过Q学习算法对微电网的频率方法进行学习，在微电网频率偏离期望值时，根据学习结果，选择下垂参数调节策略，使得微电网频率回到国家规定范围以内。达到调节系统频率的目的。本发明具有较好的调频效果，可以针对不同的微电网结构进行自学习，具有较好的适应性。

附图说明

图1为本发明的流程图。

图2是微电网仿真结构图。

图3为本发明实施案例中场景一的Q学习预学习过程。

图4为本发明实施案例中场景一的分布式电源输出功率。

图5为本发明实施案例中场景二的系统频率变化。

图6为本发明实施案例中场景三中的Q学习控制调节量。

图7为本发明实施案例中场景三中系统频率变化。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例对本发明进行深入地详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定发明。

本发明所述的一种基于强化学习的微电网频率控制方法，流程如图1所示，具体包括以下步骤：

步骤1建立微电网频率控制模型；

所述的微电网频率控制的方法是对微电网频率偏离预期值时进行频率的恢复控制，而下垂控制是分布式电源并网最常用的控制方式，实现分布式电源对等控制的目的；

将分布式电源并联连接，当线路上的电感值远大于电阻值时，可以得到逆变器输出有功功率为：

式中，δ₁为一号分布式电源的电压功角，U₁为其输出电压幅值，E为公共点电压幅值，X为线路阻抗；因此可以采取控制频率和电压幅值的方式控制输出的功率，有功部分的下垂控制方程如下：

f＝f₀-k_p(P-P^*) 式(2)

式中:f₀为额定频率，p^*为额定有功功率，k_p为有功下垂系数；

当微电网供需功率不平衡时，运行频率偏移期望，可以通过调节下垂参数进行调频控制，控制方式如下：

f＝f₀-k_p(P-P^*-ΔP^*) 式(3)

式中,ΔP^*为P^*的修正量；

步骤2基于强化学习的频率控制策略；

所述的控制策略是通过采用强化学习下的Q学习算法对下垂控制参数进行调节，实现频率恢复控制，其步骤如下：

步骤2.1：根据我国的规定，电力系统在运行时其频率应当保持在50±0.2Hz的范围以内，采用自动控制的电力系统频率应保证在50±0.15Hz的范围以内；因此以电力系统的频率偏差为依据，对微电网的状态进行定义，划分不同的状态空间，再根据微电网中可控电源可用于调频控制的容量设计出所需的动作集，来对系统的额定有功功率进行修正，调节分布式电源的输出功率，以此来稳定微电网频率；

步骤2.2：根据步骤2.1的状态空间来设计奖励函数，奖励函数r(s_i,a_i)表示对s_i状态下采取a_i动作给予的奖励值，定义其为：

r(s_i,a_i)＝∑r_j(s_i,a_i) 式(4)

式中:r_j(s_i,a_i)表示第j个可控电源的奖励，其定义为：

式中:Δf表示系统实际频率和50Hz规定频率的差值，f₀为发生频率偏差的临界值，α₁、α₂、α₃、β₁和β₂皆为固定的参数，其中f₀<0.15，α₃>α₂>α₁，β₁<β₂，即频率偏差越大，奖励越小；

步骤2.3：对系统次数的运行频率进行测量，确定系统目前处于那种状态F_i，并选取下垂参数修正量p_i，之后再对下一时刻的系统运行频率进行测量，得到下一时刻的系统状态F_i+1，根据公式(5)计算奖励函数r(F_i,P_i)，最后再i+1时刻对Q表进行更新；此时Q表更新方式为：

Q^k+1(F_i,P_i)＝Q^k(F_i,P_i)+α(r(F_i,P_i)+γmaxQ^k(F_i+1,P_i+1)-Q^k(F_i,P_i)) 式(8)

式中:F_i表示i时刻的系统状态,P_i表示i时刻选取的P^*修正量；

根据训练后的Q表，选取最优的修正量：

ΔP^*＝argmaxQ^*(F_i,P_i) 式(7)

步骤3建立基于强化学习的微电网频率控制系统；

建立模块，搭建微电网模型，根据步骤一和步骤二，利用Q学习算法动态修正下垂控制参数，协调微电网多个分布式电源进行频率恢复控制，对不同的分布式电源接入场景进行学习。

实施案例

1)建立微电网仿真模型：

构建微电网系统模型，对所提出的控制方法进行验证，仿真结构图如图2所示，其中负载一的额定有功功率为4000W，负载二的额定有功功率为2500W，负载三的额定有功功率为3500W。开关S1为断开状态，微电网运行在孤网模式。

2)对不同的场景进行学习：

假设f₀为0.01，设计微电网系统中的负载功率需求量不断波动的场景：

场景一：预学习场景：

由图3、图4可以看到，在学习次数较少时，系统的控制调节量和实际的负载需求功率的波动量存在较大的误差。随着学习次数的增加，负载波动量和控制调节量的误差逐渐减小，在学习次数超过4000次以后，控制调节量基本已经等于负载波动。

场景二：分布式电源接入情况变化后重新预学习场景：

切除分布式发电单元4，并且修改其余分布式发电单元的下垂参数，将其有功下垂系数由上一场景的2e-4改为1.2e-4，其余线路参数与场景一相同。再次使用Q学习算法对接入微电网的分布式电源出现变化后的结构进行学习。

图5为改变微电网结构之后，使用Q学习算法对其调频控制进行学习的效果图。

场景三：负荷波动场景：

利用之前训练出来的Q表来对进行微电网频率恢复控制，其中微电网中负载波动和控制调节量变化如图6所示。

由图7所示，当系统频率偏离期望值时，Q学习算法根据此时的系统状态s，通过之前学习得到的Q表，选取最优动作a，调节分布式电源的下垂系数，改变其输出功率，达到调节系统频率的目的。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行同等替换，凡在本发明的精神和原则之内，所做的任何修改、同等替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于强化学习的微电网频率控制的方法，所述方法包括：

步骤1建立微电网频率控制模型；

所述的微电网频率控制的方法是对微电网频率偏离预期值时进行频率的恢复控制，而下垂控制是分布式电源并网最常用的控制方式，实现分布式电源对等控制的目的；

将分布式电源并联连接，当线路上的电感值远大于电阻值时，可以得到逆变器输出有功功率为：

式中，δ₁为一号分布式电源的电压功角，U₁为其输出电压幅值，E为公共点电压幅值，X为线路阻抗；因此可以采取控制频率和电压幅值的方式控制输出的功率，有功部分的下垂控制方程如下：

f＝f₀-k_p(P-P^*) 式(2)

式中:f₀为额定频率，p^*为额定有功功率，k_p为有功下垂系数；

当微电网供需功率不平衡时，运行频率偏移期望，可以通过调节下垂参数进行调频控制，控制方式如下：

f＝f₀-k_p(P-P^*-ΔP^*) 式(3)

式中,ΔP^*为P^*的修正量；

步骤2基于强化学习的频率控制策略；

所述的控制策略是通过采用强化学习下的Q学习算法对下垂控制参数进行调节，实现频率恢复控制，其步骤如下：

步骤2.1：根据我国的规定，电力系统在运行时其频率应当保持在50±0.2Hz的范围以内，采用自动控制的电力系统频率应保证在50±0.15Hz的范围以内；因此以电力系统的频率偏差为依据，对微电网的状态进行定义，划分不同的状态空间，再根据微电网中可控电源可用于调频控制的容量设计出所需的动作集，来对系统的额定有功功率进行修正，调节分布式电源的输出功率，以此来稳定微电网频率；

步骤2.2：根据步骤2.1的状态空间来设计奖励函数，奖励函数r(s_i,a_i)表示对s_i状态下采取a_i动作给予的奖励值，定义其为：

r(s_i,a_i)＝∑r_j(s_i,a_i) 式(4)

式中:r_j(s_i,a_i)表示第j个可控电源的奖励，其定义为：

式中:Δf表示系统实际频率和50Hz规定频率的差值，f₀为发生频率偏差的临界值，α₁、α₂、α₃、β₁和β₂皆为固定的参数，其中f₀<0.15，α₃>α₂>α₁，β₁<β₂，即频率偏差越大，奖励越小；

步骤2.3：对系统次数的运行频率进行测量，确定系统目前处于那种状态F_i，并选取下垂参数修正量p_i，之后再对下一时刻的系统运行频率进行测量，得到下一时刻的系统状态F_i+1，根据公式(5)计算奖励函数r(F_i,P_i)，最后再i+1时刻对Q表进行更新；此时Q表更新方式为：

Q^k+1(F_i,P_i)＝Q^k(F_i,P_i)+α(r(F_i,P_i)+γmaxQ^k(F_i+1,P_i+1)-Q^k(F_i,P_i)) 式(8)

式中:F_i表示i时刻的系统状态,P_i表示i时刻选取的P^*修正量；

根据训练后的Q表，选取最优的修正量：

ΔP^*＝argmaxQ^*(F_i,P_i) 式(7)

步骤3建立基于强化学习的微电网频率控制系统；

建立模块，搭建微电网模型，根据步骤一和步骤二，利用Q学习算法动态修正下垂控制参数，协调微电网多个分布式电源进行频率恢复控制，对不同的分布式电源接入场景进行学习。

Images