CN108565874A - 一种基于负荷频率控制模型的源荷协同调频方法 - Google Patents

Abstract

本发明公开了一种基于负荷频率控制模型的源荷协同调频方法，其步骤包括：1、将微型燃气轮机组、小规模水电机组、飞轮储能系统作为调频机组；2、建立所述微型燃气轮机组、小规模水电机组、飞轮储能系统、风力发电、光伏发电和用户负荷相应的负荷频率控制模型；3、针对所述孤岛两区域多源微电网中任意区域建立微电网的MDP数学模型；4、获取所述孤岛两区域微网的源荷协同调频所需数据；5、采用基于模拟退火的Q学习理论算法对所述MDP数学模型进行求解。本发明通过源荷协同方法和基于学习优化方法的AGC控制器稳定孤岛两区域微网系统频率，从而提高系统安全稳定性。

Description

一种基于负荷频率控制模型的源荷协同调频方法

技术领域

本发明属于微电网控制领域，具体的说是一种含异质能源的孤岛两区域微电网负荷频率控制模型与源荷协同调频方法。

背景技术

孤岛微电网具有污染少、可靠性高、能源利用效率高等优点，但光伏、风能等新能源接入微网时，由于其输出的功率具有间歇性、随机性、波动性等特点，并且微网中负荷的随机变化，这些因素会使孤岛微电网有功功率失去平衡、频率产生大幅偏离额定值，超过安全运行的范围。因此微网以孤岛方式运行时，需要保证自身的电压平稳同时维持频率稳定，就必须对微网进行有效的频率调节。

现有对于孤岛两区域微电网系统的研究和关注甚少，缺乏对微电网频率、电能质量与安全的研究方法。在微网系统中，通过控制器对分布式电源及储能装置的控制，使得系统功率和频率得以稳定。对于微网的发展来说，一味地去增加储能容量、扩大装机容量的解决方式难以满足微网系统中日益增长的用户负荷需求，这样会大大增加微网发展建设及投资成本，同时也会降低新能源的使用效率，造成大量可再生能源的浪费。因此需要电源侧与负荷需求侧相互协同，以实现系统安全稳定运行。

发明内容

针对上述技术中存在的不足之处，本发明提供一种基于负荷频率控制模型的源荷协同调频方法，以期能通过源荷协同和基于学习优化方法来稳定控制孤岛两区域微网系统频率，从而提高系统安全稳定性。

本发明为解决技术问题采用如下技术方案：

本发明一种基于负荷频率控制模型的源荷协同调频方法的特点是应用于由微型燃气轮机组、小规模水电机组、飞轮储能系统、风力发电、光伏发电、用户负荷所构成的孤岛两区域多源微电网中，并按如下步骤进行：

步骤一，将所述微型燃气轮机组、小规模水电机组、飞轮储能系统作为孤岛两区域微电网的调频机组；

步骤二，建立所述微型燃气轮机组、小规模水电机组、飞轮储能系统、风力发电、光伏发电和用户负荷相应的负荷频率控制模型；

步骤2.1、建立所述调频机组的负荷频率控制模型：

根据所述微型燃气轮机组、小规模水电机组、飞轮储能系统的动态特性分别建立相应的负荷频率控制模型；

在一个AGC决策周期内，令所述微型燃气轮机组的输出功率调节量为ΔP_m，所述功率调节量ΔP_m的等级为m∈Φ₁＝{-N_m,...,-1,0,1,…,N_m}；Φ₁表示所述功率调节量ΔP_m的等级集合，N_m表示所述功率调节量ΔP_m的等级值，且为整数；

在一个AGC决策周期内，令所述小规模水电机组的输出功率调节量为ΔP_h，所述输出功率调节量ΔP_h的等级为h∈Φ₂＝{-N_h,...,-1,0,1,...,N_h}；Φ₂表示所述输出功率调节量ΔP_h的等级集合，N_h表示所述输出功率调节量ΔP_h的等级值，且为整数；

在一个AGC决策周期内，令所述飞轮储能系统的输出功率调节量为ΔP_e，所述输出功率调节量ΔP_e的等级为e∈Φ₃＝{-N_e,...,-1,0,1,...,N_e}；Φ₃表示所述输出功率调节量ΔP_e的等级集合，N_e表示所述输出功率调节量ΔP_e的等级值，且为整数；

步骤2.2、建立非调频机组的负荷频率控制模型：

根据所述风力发电、光伏发电的随机不确定性和时序相关性，分别将所述风力发电、光伏发电的负荷频率控制模型描述为离散时间马尔可夫过程；

在一个AGC决策周期内，令所述风力发电的功率变化量为ΔP_w，所述功率变化量ΔP_w的等级为w∈Φ₄＝{-N_w,...,-1,0,1,...,N_w}；Φ₄表示所述功率变化量ΔP_w的等级集合，N_w表示所述功率变化量ΔP_w的等级值，且为整数；

在一个AGC决策周期内，令所述光伏发电的功率变化量为ΔP_g，所述功率变化量ΔP_g的等级为g∈Φ₅＝{-N_g,...,-1,0,1,...,N_g}；Φ₅表示所述功率变化量ΔP_g的等级集合，N_g表示所述功率变化量ΔP_g的等级值，且为整数；

在一个AGC决策周期内，令风力发电的功率变化量ΔP_w的等级w变化服从概率矩阵为P^w的马尔可夫链；

在一个AGC决策周期内，令所述光伏发电的功率变化量ΔP_g的等级g变化服从概率矩阵为P^pv的马尔可夫链；

令风力发电的等级w和光伏发电的等级g从等级i转移到等级j概率分别为

步骤2.3、建立用户负荷模型：

将所述用户负荷分为刚性负荷和可直接控制的柔性负荷；

将所述用户负荷的变化过程描述为离散时间马尔可夫过程；

令所述用户负荷的扰动为ΔL＝ΔL_r+ΔL_f，其中，ΔL_r表示刚性负荷扰动，所述刚性负荷扰动ΔL_r的等级为r∈Φ₆＝{-N_r,...,-1,0,1,...,N_r}，Φ₆表示所述刚性负荷扰动ΔL_r的等级集合，N_r表示所述刚性负荷扰动ΔL_r的等级值，且为整数；ΔL_l表示柔性负荷扰动，l∈Φ₇＝{-N_l,...,-1,0,1,...,N_l}；Φ₇表示所述柔性负荷扰动ΔL_l的等级集合，N_l表示所述柔性负荷扰动ΔL_l的等级值，且为整数；

在一个AGC决策周期内，令所述刚性负荷扰动ΔL_r的等级r变化服从概率矩阵为P^r马尔可夫链；

在一个AGC决策周期内，令所述柔性负荷扰动ΔL_l的等级l变化服从概率矩阵为P^l的马尔可夫链；

令所述刚性负荷扰动ΔL_r的等级r和柔性负荷扰动ΔL_l的等级l从等级i转移到等级j概率分别为

步骤三，针对所述孤岛两区域多源微电网中任意区域建立孤岛两区域微电网的MDP数学模型：

步骤3.1、确定所述MDP数学模型的状态量与输出动作：

将一个AGC决策周期内的区域控制偏差ACE、经济考核指标值CPS1、柔性负荷等级ΔL_l作为状态量，记为状态s；

将机组出力调节量ΔP和柔性负荷虚拟机组负出力调节量ΔP_l作为输出动作a＝(a₁,a₂)；其中，a₁表示机组出力调节量ΔP的输出动作，a₂表示柔性负荷虚拟机组负出力调节量ΔP_l的输出动作；

令行动集用D＝D₁×D₂表示，其中，D₁表示机组出力调节量ΔP的行动集，D₂表示柔性负荷虚拟机组负出力调节量ΔP_l的行动集；

将所述机组出力调节量ΔP离散化为有限的出力等级集合，则行动集D₁离散为2N_p+1个等级，即a₁∈D₁＝{-N_p,...,-1,0,1,...,N_p}，其中，N_p表示所述机组出力调节量ΔP的等级值，且N_p＝ΔP_max/ΔP_min，ΔP_min为最小调节量，ΔP_max为最大调节量；

将所述柔性负荷虚拟机组负出力调节量ΔP_l离散化为有限的出力等级集合，则行动集D₂离散为2N_l+1个等级，即a₂∈D₂＝{-N_l,...,-1,0,1,...,N_l}；

步骤3.2、确定所述MDP数学模型的代价函数：

利用式(1)获得第k个AGC决策周期内，所述MDP数学模型的代价函数C(k)：

式(1)中，δ为任意非负数，K_CPS1(k)与ACE(k)分别表示为经济考核指标值CPS1和区域控制偏差ACE在第k个AGC周期内的均值，λ₁和λ₂表示相应状态量的优化权值，是经济考核指标值CPS1的控制期望值，ε_ACE为区域控制偏差ACE的调节死区值；

步骤3.3、确定所述MDP数学模型的优化目标：

利用式(2)建立以孤岛两区域微电网系统的总运行代价最小为目标的微电网无穷时段折扣代价函数η^π：

式(2)中，γ为折扣值，c(s_k,a_k)表示所述MDP数学模型在k个AGC决策周期时状态s_k下采取行动a_k所获得的代价；π^*表示为贪婪策略，并有：

π^*＝argminη^π (3)

步骤四，获取所述孤岛两区域微网的源荷协同调频所需数据，包括：区域控制偏差ACE、频率偏差Δf、联络线功率偏差ΔP_t、柔性负荷变化量ΔL；

步骤五，以所述源荷协同调频所需数据作为输入，采用基于模拟退火的Q学习理论算法对所述MDP数学模型的进行求解，得到AGC决策周期内所述微型燃气轮机组的功率调节量ΔP_m、小规模水电机组的输出功率调节量ΔP_h和柔性负荷虚拟机组出力调节量ΔP_l，从而实现对所述孤岛两区域微电网的源荷协同调频。

本发明所述的源荷协同调频方法的特点也在于，所述MDP数学模型的优化目标的约束条件为：

P_m+P_h＝(-P_w)+L_r+L_l (4)

ΔP_{m_min}≤ΔP_m≤ΔP_{m_max} (5)

ΔP_{h_min}≤ΔP_h≤ΔP_{h_max} (6)

ΔP_{w_min}≤ΔP_w≤ΔP_{w_max} (7)

ΔP＝ΔP_m+ΔP_h (8)

式(4)中，P_m表示所述微型燃气轮机组的有功功率出力，P_h表示所述小规模水电机组的有功功率出力，P_w表示所述风力发电的有功功率，L_r表示所述刚性负荷的功率，L_l表示所述柔性负荷的功率；

式(5)中，ΔP_{m_min}和ΔP_{m_max}分别表示一个AGC决策周期内，所述微型燃气轮机组允许的最小输出功率调节量和最大输出功率调节量；

式(6)中，ΔP_{h_min}和ΔP_{h_max}分别表示一个AGC决策周期内，所述小规模水电机组允许的最小输出功率调节量和最大输出功率调节量；

式(7)中，ΔP_{w_min}和ΔP_{w_max}分别表示一个AGC周期内，所述风力发电功率变化量ΔP_w的最小有功功率变化量和最大有功功率变化量；

式(8)中，ΔP表示给定的调频机组功率调节量，ΔP_m表示所述微型燃气轮机组的功率调节量，ΔP_h表示所述小规模水电机组的输出功率调节量；

式(9)中，ΔP_k表示第k个AGC决策周期时，给定的调频机组功率调节量，-ΔG_max和ΔG_max分别为调频机组的可出力上下限；

式(10)中，表示第k个AGC决策周期时的柔性负荷功率量，表示初始时柔性负荷功率量，表示第k个AGC决策周期时的柔性负荷变化量；

式(11)中，表示第k个AGC决策周期时柔性负荷虚拟机组出力，表示初始时柔性负荷虚拟机组出力，表示第k个AGC决策周期时柔性负荷虚拟机组出力调节量。

步骤五中所述Q学习算法的公式如式(13)所示：

式(13)中，η为平均代价，α为学习步长，s_k+1为状态s_k采取行动a_k后转移到的下一状态。

与现有技术相比，本发明的有益效果在于：

1、本发明针对分布式电源及负荷的随机动态特性及微网容量有限的问题，通过采用基于学习优化算法的源荷协同方法，将柔性负荷作为参与调频的虚拟机组，解决了电源与负荷的随机扰动对系统功率和频率的影响，从而提高了孤岛两区域微网系统的动态调频性能，保证了系统的频率稳定，并降低了微网建设成本。

2、本发明通过采用源荷协同方法，将柔性负荷作为参与调频的虚拟机组，解决了微网容量有限的问题，避免了因容量有限而影响微网系统稳定或导致增加微网建设成本的问题；

3、本发明通过学习优化算法对微网负荷频率控制模型求解，解决了因风力发电、光伏发电与用户负荷的随机扰动对系统功率和频率的影响；

4、本发明引入配电网中的CPS经济考核指标，作为微网系统调频性能经济指标与策略评估标准，提高了微网系统长期运行的经济性，将长期成本代价最小化。

附图说明

图1为本发明所述的孤岛两区域微电网系统频率控制结构示意图；

图2为本发明所述的孤岛两区域微电网系统的微型燃气轮机频率控制模型示意图；

图3为本发明所述的孤岛两区域微电网系统的小规模水电机组频率控制模型示意图；

图4为本发明所述的孤岛两区域微电网系统的飞轮储能系统频率控制模型示意图。

具体实施方式

本发明中孤岛两区域多源微网系统的结构如图1所示，包括：实时数据及历史数据库、AGC控制器、微网系统子模块；

实时数据及长期历史数据库包含了区域控制偏差、频率偏差、联络线功率偏差、柔性负荷变化量、各分布式电源有功功率出力、刚性负荷功率、柔性负荷功率；

AGC控制器建立以孤岛两区域微电网系统的总运行代价最小为目标的微电网无穷时段折扣代价函数，根据系统反馈的区域控制偏差、频率偏差、联络线功率偏差、柔性负荷变化量作为系统状态量，选择优化策略，输出微型燃气轮机组、小规模水电机组的出力调节量和柔性负荷虚拟机组出力调节量，为微网系统提供有功负荷平衡和频率控制功能；

微网系统子模块中，区域A包含小水电、微型燃气轮机、风电及用户负荷，区域B包含微型燃气轮机、飞轮储能系统、光伏及用户负荷；

本实施例中，一种基于负荷频率控制模型的源荷协同调频方法，是应用于由微型燃气轮机组、小规模水电机组、飞轮储能系统、风力发电、光伏发电、用户负荷所构成的孤岛两区域多源微电网中，并按如下步骤进行：

步骤一，将微型燃气轮机组、小规模水电机组、飞轮储能系统作为孤岛两区域微电网的调频机组；

步骤二，建立微型燃气轮机组、小规模水电机组、飞轮储能系统、风力发电、光伏发电和用户负荷相应的负荷频率控制模型；

将孤岛两区域微网系统子模块划分为调频机组单元、非调频机组单元及用户负荷；对于调频机组依据其发电特性进行建模，对于非调频机组将其建模为离散马尔可夫过程，对于用户负荷将其聚合分类为刚性负荷与柔性负荷，并将其建模为离散马尔可夫过程；其步骤如下：

步骤2.1、建立调频机组的负荷频率控制模型：

根据微型燃气轮机组、小规模水电机组、飞轮储能系统的动态特性分别建立相应的负荷频率控制模型，其模型如图2、图3、图4所示；

在一个AGC决策周期内，令微型燃气轮机组的输出功率调节量为ΔP_m，功率调节量ΔP_m的等级为m∈Φ₁＝{-N_m,...,-1,0,1,…,N_m}；Φ₁表示功率调节量ΔP_m的等级集合，N_m表示功率调节量ΔP_m的等级值，且为整数；

在一个AGC决策周期内，令小规模水电机组的输出功率调节量为ΔP_h，输出功率调节量ΔP_h的等级为h∈Φ₂＝{-N_h,...,-1,0,1,...,N_h}；Φ₂表示输出功率调节量ΔP_h的等级集合，N_h表示输出功率调节量ΔP_h的等级值，且为整数；

在一个AGC决策周期内，令飞轮储能系统的输出功率调节量为ΔP_e，输出功率调节量ΔP_e的等级为e∈Φ₃＝{-N_e,...,-1,0,1,...,N_e}；Φ₃表示输出功率调节量ΔP_e的等级集合，N_e表示输出功率调节量ΔP_e的等级值，且为整数；

步骤2.2、建立非调频机组的负荷频率控制模型：

根据风力发电、光伏发电的随机不确定性和时序相关性，分别将风力发电、光伏发电的负荷频率控制模型描述为离散时间马尔可夫过程；

在一个AGC决策周期内，令风力发电的功率变化量为ΔP_w，功率变化量ΔP_w的等级为w∈Φ₄＝{-N_w,...,-1,0,1,...,N_w}；Φ₄表示功率变化量ΔP_w的等级集合，N_w表示功率变化量ΔP_w的等级值，且为整数；

在一个AGC决策周期内，令光伏发电的功率变化量为ΔP_g，功率变化量ΔP_g的等级为g∈Φ₅＝{-N_g,...,-1,0,1,...,N_g}；Φ₅表示功率变化量ΔP_g的等级集合，N_g表示功率变化量ΔP_g的等级值，且为整数；

在一个AGC决策周期内，令风力发电的功率变化量ΔP_w的等级w变化服从概率矩阵为P^w的马尔可夫链；

在一个AGC决策周期内，令光伏发电的功率变化量ΔP_g的等级g变化服从概率矩阵为P^pv的马尔可夫链；

令风力发电的等级w和光伏发电的等级g从等级i转移到等级j概率分别为

步骤2.3、建立用户负荷模型：

将用户负荷分为刚性负荷和可直接控制的柔性负荷；

将用户负荷的变化过程描述为离散时间马尔可夫过程；

令用户负荷的扰动为ΔL＝ΔL_r+ΔL_f，其中，ΔL_r表示刚性负荷扰动，刚性负荷扰动ΔL_r的等级为r∈Φ₆＝{-N_r,...,-1,0,1,...,N_r}，Φ₆表示刚性负荷扰动ΔL_r的等级集合，N_r表示刚性负荷扰动ΔL_r的等级值，且为整数；ΔL_l表示柔性负荷扰动，l∈Φ₇＝{-N_l,...,-1,0,1,...,N_l}；Φ₇表示柔性负荷扰动ΔL_l的等级集合，N_l表示柔性负荷扰动ΔL_l的等级值，且为整数；

在一个AGC决策周期内，令刚性负荷扰动ΔL_r的等级r变化服从概率矩阵为P^r马尔可夫链；

在一个AGC决策周期内，令柔性负荷扰动ΔL_l的等级l变化服从概率矩阵为P^l的马尔可夫链；

令刚性负荷扰动ΔL_r的等级r和柔性负荷扰动ΔL_l的等级l从等级i转移到等级j概率分别为

步骤三，针对孤岛两区域多源微电网中任意区域建立孤岛两区域微电网的MDP数学模型：

步骤3.1、确定MDP数学模型的状态量与输出动作：

将一个AGC决策周期内的区域控制偏差ACE、经济考核指标值CPS1、柔性负荷等级ΔL_l作为状态量，记为状态s；

将机组出力调节量ΔP和柔性负荷虚拟机组负出力调节量ΔP_l作为输出动作a＝(a₁,a₂)；其中，a₁表示机组出力调节量ΔP的输出动作，a₂表示柔性负荷虚拟机组负出力调节量ΔP_l的输出动作；

令行动集用D＝D₁×D₂表示，其中，D₁表示机组出力调节量ΔP的行动集，D₂表示柔性负荷虚拟机组负出力调节量ΔP_l的行动集；

将机组出力调节量ΔP离散化为有限的出力等级集合，则行动集D₁离散为2N_p+1个等级，即a₁∈D₁＝{-N_p,...,-1,0,1,...,N_p}，其中，N_p表示机组出力调节量ΔP的等级值，且N_p＝ΔP_max/ΔP_min，ΔP_min为最小调节量，ΔP_max为最大调节量；

将柔性负荷虚拟机组负出力调节量ΔP_l离散化为有限的出力等级集合，则行动集D₂离散为2N_l+1个等级，即a₂∈D₂＝{-N_l,...,-1,0,1,...,N_l}；

步骤3.2、确定MDP数学模型的代价函数：

利用式(1)获得第k个AGC决策周期内，MDP数学模型的代价函数C(k)：

式(1)中，δ为任意非负数，K_CPS1(k)与ACE(k)分别表示为经济考核指标值CPS1和区域控制偏差ACE在第k个AGC周期内的均值，λ₁和λ₂表示相应状态量的优化权值，是经济考核指标值CPS1的控制期望值，ε_ACE为区域控制偏差ACE的调节死区值；

CPS经济考核指标计算如式(2)所示：

式中，ε₁为全年系统1min实际频率平均偏差均方根的控制目标值，B_i为控制区i的频率响应系数，为负值；根据公式，对CPS的考核标准总结如下：

(1)当CPS1≤200％时，表示CPS指标合格；

(2)当100％≤CPS1≤200％时，表明当前状态满足CPS1标准；再进行CPS2标准判别，即若ACE≤ε_ACE，则表示合格；若ACE值≥ε_ACE则不合格；

(3)当CPS1≤100％时，表明CPS指标不合格；

步骤3.3、确定MDP数学模型的优化目标：

本发明的优化目标是完成频率的稳定调节及CPS1指标达到标准，使整个系统在无穷时段代价最小，即实现微网损失最小化；利用式(2)建立以孤岛两区域微电网系统的总运行代价最小为目标的微电网无穷时段折扣代价函数η^π：

式(3)中，γ为折扣值，c(s_k,a_k)表示MDP数学模型在k个AGC决策周期时状态s_k下采取行动a_k所获得的代价；π^*表示为贪婪策略，并有：

π^*＝argminη^π (4)

MDP数学模型的优化目标的约束条件为：

P_m+P_h＝(-P_w)+L_r+L_l (5)

ΔP_{m_min}≤ΔP_m≤ΔP_{m_max} (6)

ΔP_{h_min}≤ΔP_h≤ΔP_{h_max} (7)

ΔP_{w_min}≤ΔP_w≤ΔP_{w_max} (8)

ΔP＝ΔP_m+ΔP_h (9)

式(5)中，P_m表示微型燃气轮机组的有功功率出力，P_h表示小规模水电机组的有功功率出力，P_w表示风力发电的有功功率，L_r表示刚性负荷的功率，L_l表示柔性负荷的功率；

式(6)中，ΔP_{m_min}和ΔP_{m_max}分别表示一个AGC决策周期内，微型燃气轮机组允许的最小输出功率调节量和最大输出功率调节量；

式(7)中，ΔP_{h_min}和ΔP_{h_max}分别表示一个AGC决策周期内，小规模水电机组允许的最小输出功率调节量和最大输出功率调节量；

式(8)中，ΔP_{w_min}和ΔP_{w_max}分别表示一个AGC周期内，风力发电功率变化量ΔP_w的最小有功功率变化量和最大有功功率变化量；

式(9)中，ΔP表示给定的调频机组功率调节量，ΔP_m表示微型燃气轮机组的功率调节量，ΔP_h表示小规模水电机组的输出功率调节量；

式(10)中，ΔP_k表示第k个AGC决策周期时，给定的调频机组功率调节量，-ΔG_max和ΔG_max分别为调频机组的可出力上下限；

式(11)中，表示第k个AGC决策周期时的柔性负荷功率量，表示初始时柔性负荷功率量，表示第k个AGC决策周期时的柔性负荷变化量；

式(12)中，表示第k个AGC决策周期时柔性负荷虚拟机组出力，表示初始时柔性负荷虚拟机组出力，表示第k个AGC决策周期时柔性负荷虚拟机组出力调节量。

步骤四，获取孤岛两区域微网的源荷协同调频所需数据，包括：区域控制偏差ACE、频率偏差Δf、联络线功率偏差ΔP_t、柔性负荷变化量ΔL；

确定第k个AGC决策周期中区域控制偏差量ACE_avg_k，频率偏差量Δf，联络线功率偏差ΔP_t，柔性负荷变化量ΔL_l，根据式(13)计算AGC控制周期内ACE均值：

式(13)中，T_s为AGC控制周期，ACE计算如式(14)

ACE＝ΔP_t-10B_iΔf (14)

式(14)中，B_i为控制区i的频率响应系数，为负值；

步骤五，以源荷协同调频所需数据作为输入，采用基于模拟退火的Q学习理论算法对MDP数学模型的进行求解，得到AGC决策周期内微型燃气轮机组的功率调节量ΔP_m、小规模水电机组的输出功率调节量ΔP_h和柔性负荷虚拟机组出力调节量ΔP_l，从而实现对孤岛两区域微电网的源荷协同调频。

Q学习算法是由Watkins提出的一种模型无关的强化学习方法，在解决模型未知和具有随机环境的问题时具有很好的效果，其学习的思想是探索和利用，通过不断的探索找到一个最好的行动，因此本发明采用基于模拟退火的Q学习算法。Q学习算法的公式如式(15)所示：

式(15)中，η为平均代价，α为学习步长，s_k+1为状态s_k采取行动a_k后转移到的下一状态。

策略选择随机策略的方式，即采用基于随机概率选择动作的策略，根据式(16)对动作概率进行更新：

式(15)中，a^*为贪婪动作，β∈(0,1)表示更新动作概率的快慢，当经过k次迭代后，处于状态s的时候即选择动作a这种行为发生的概率大小是

为平衡探索参数，将模拟退火的思想与Q学习算法结合，因此基于模拟退火的Q学习算法的具体算法步骤如下：

步骤5.1，设置AGC决策周期时间T_s，设置初始状态s₀和初始策略令k＝0；

步骤5.2，令初始Q值表的每个元素都为0；设置学习步长α，学习步数X和Z；设置Boltzmann常数K，温度T和温度衰减因子ζ，初始化步数x＝0,n＝0；

步骤5.3，观察状态s_k，根据初始策略P₀选择动作a_k,如果取a_k；否则，令a_k＝a^*；

步骤5.4，执行行动a_k，读取负荷模型产生的负荷扰动，并观察在下一决策周期内AGC相关状态信息得到下一状态量S_k+1；

步骤5.5，通过式(1)计算即时代价C(s_k,a_k)，并根据式(15)更新Q值表Q(s_k,a_k)；

步骤5.6，根据式(16)更新随机策略以及根据式(4)更新贪婪行动a^*；

步骤5.7，令x＝x+1，如果x＜X则转到步骤5.4；否则，令T＝ζT，z＝z+1；

步骤5.8，如果z＝Z，算法结束；否则令x＝0并且转到步骤5.3。

Claims (3)

1.一种基于负荷频率控制模型的源荷协同调频方法，其特征是应用于由微型燃气轮机组、小规模水电机组、飞轮储能系统、风力发电、光伏发电、用户负荷所构成的孤岛两区域多源微电网中，并按如下步骤进行：

步骤一，将所述微型燃气轮机组、小规模水电机组、飞轮储能系统作为孤岛两区域微电网的调频机组；

步骤二，建立所述微型燃气轮机组、小规模水电机组、飞轮储能系统、风力发电、光伏发电和用户负荷相应的负荷频率控制模型；

步骤2.1、建立所述调频机组的负荷频率控制模型：

根据所述微型燃气轮机组、小规模水电机组、飞轮储能系统的动态特性分别建立相应的负荷频率控制模型；

在一个AGC决策周期内，令所述微型燃气轮机组的输出功率调节量为ΔP_m，所述功率调节量ΔP_m的等级为m∈Φ₁＝{-N_m,...,-1,0,1,…,N_m}；Φ₁表示所述功率调节量ΔP_m的等级集合，N_m表示所述功率调节量ΔP_m的等级值，且为整数；

在一个AGC决策周期内，令所述小规模水电机组的输出功率调节量为ΔP_h，所述输出功率调节量ΔP_h的等级为h∈Φ₂＝{-N_h,...,-1,0,1,...,N_h}；Φ₂表示所述输出功率调节量ΔP_h的等级集合，N_h表示所述输出功率调节量ΔP_h的等级值，且为整数；

在一个AGC决策周期内，令所述飞轮储能系统的输出功率调节量为ΔP_e，所述输出功率调节量ΔP_e的等级为e∈Φ₃＝{-N_e,...,-1,0,1,...,N_e}；Φ₃表示所述输出功率调节量ΔP_e的等级集合，N_e表示所述输出功率调节量ΔP_e的等级值，且为整数；

步骤2.2、建立非调频机组的负荷频率控制模型：

根据所述风力发电、光伏发电的随机不确定性和时序相关性，分别将所述风力发电、光伏发电的负荷频率控制模型描述为离散时间马尔可夫过程；

在一个AGC决策周期内，令所述风力发电的功率变化量为ΔP_w，所述功率变化量ΔP_w的等级为w∈Φ₄＝{-N_w,...,-1,0,1,...,N_w}；Φ₄表示所述功率变化量ΔP_w的等级集合，N_w表示所述功率变化量ΔP_w的等级值，且为整数；

在一个AGC决策周期内，令所述光伏发电的功率变化量为ΔP_g，所述功率变化量ΔP_g的等级为g∈Φ₅＝{-N_g,...,-1,0,1,...,N_g}；Φ₅表示所述功率变化量ΔP_g的等级集合，N_g表示所述功率变化量ΔP_g的等级值，且为整数；

在一个AGC决策周期内，令风力发电的功率变化量ΔP_w的等级w变化服从概率矩阵为P^w的马尔可夫链；

在一个AGC决策周期内，令所述光伏发电的功率变化量ΔP_g的等级g变化服从概率矩阵为P^pv的马尔可夫链；

令风力发电的等级w和光伏发电的等级g从等级i转移到等级j概率分别为

步骤2.3、建立用户负荷模型：

将所述用户负荷分为刚性负荷和可直接控制的柔性负荷；

将所述用户负荷的变化过程描述为离散时间马尔可夫过程；

令所述用户负荷的扰动为ΔL＝ΔL_r+ΔL_f，其中，ΔL_r表示刚性负荷扰动，所述刚性负荷扰动ΔL_r的等级为r∈Φ₆＝{-N_r,...,-1,0,1,...,N_r}，Φ₆表示所述刚性负荷扰动ΔL_r的等级集合，N_r表示所述刚性负荷扰动ΔL_r的等级值，且为整数；ΔL_l表示柔性负荷扰动，l∈Φ₇＝{-N_l,...,-1,0,1,...,N_l}；Φ₇表示所述柔性负荷扰动ΔL_l的等级集合，N_l表示所述柔性负荷扰动ΔL_l的等级值，且为整数；

在一个AGC决策周期内，令所述刚性负荷扰动ΔL_r的等级r变化服从概率矩阵为P^r马尔可夫链；

在一个AGC决策周期内，令所述柔性负荷扰动ΔL_l的等级l变化服从概率矩阵为P^l的马尔可夫链；

令所述刚性负荷扰动ΔL_r的等级r和柔性负荷扰动ΔL_l的等级l从等级i转移到等级j概率分别为

步骤三，针对所述孤岛两区域多源微电网中任意区域建立孤岛两区域微电网的MDP数学模型：

步骤3.1、确定所述MDP数学模型的状态量与输出动作：

将一个AGC决策周期内的区域控制偏差ACE、经济考核指标值CPS1、柔性负荷等级ΔL_l作为状态量，记为状态s；

将机组出力调节量ΔP和柔性负荷虚拟机组负出力调节量ΔP_l作为输出动作a＝(a₁,a₂)；其中，a₁表示机组出力调节量ΔP的输出动作，a₂表示柔性负荷虚拟机组负出力调节量ΔP_l的输出动作；

令行动集用D＝D₁×D₂表示，其中，D₁表示机组出力调节量ΔP的行动集，D₂表示柔性负荷虚拟机组负出力调节量ΔP_l的行动集；

将所述机组出力调节量ΔP离散化为有限的出力等级集合，则行动集D₁离散为2N_p+1个等级，即a₁∈D₁＝{-N_p,...,-1,0,1,...,N_p}，其中，N_p表示所述机组出力调节量ΔP的等级值，且N_p＝ΔP_max/ΔP_min，ΔP_min为最小调节量，ΔP_max为最大调节量；

将所述柔性负荷虚拟机组负出力调节量ΔP_l离散化为有限的出力等级集合，则行动集D₂离散为2N_l+1个等级，即a₂∈D₂＝{-N_l,...,-1,0,1,...,N_l}；

步骤3.2、确定所述MDP数学模型的代价函数：

利用式(1)获得第k个AGC决策周期内，所述MDP数学模型的代价函数C(k)：

式(1)中，δ为任意非负数，K_CPS1(k)与ACE(k)分别表示为经济考核指标值CPS1和区域控制偏差ACE在第k个AGC周期内的均值，λ₁和λ₂表示相应状态量的优化权值，是经济考核指标值CPS1的控制期望值，ε_ACE为区域控制偏差ACE的调节死区值；

步骤3.3、确定所述MDP数学模型的优化目标：

利用式(2)建立以孤岛两区域微电网系统的总运行代价最小为目标的微电网无穷时段折扣代价函数η^π：

式(2)中，γ为折扣值，c(s_k,a_k)表示所述MDP数学模型在k个AGC决策周期时状态s_k下采取行动a_k所获得的代价；π^*表示为贪婪策略，并有：

π^*＝argminη^π (3)

步骤四，获取所述孤岛两区域微网的源荷协同调频所需数据，包括：区域控制偏差ACE、频率偏差Δf、联络线功率偏差ΔP_t、柔性负荷变化量ΔL；

步骤五，以所述源荷协同调频所需数据作为输入，采用基于模拟退火的Q学习理论算法对所述MDP数学模型的进行求解，得到AGC决策周期内所述微型燃气轮机组的功率调节量ΔP_m、小规模水电机组的输出功率调节量ΔP_h和柔性负荷虚拟机组出力调节量ΔP_l，从而实现对所述孤岛两区域微电网的源荷协同调频。

2.根据权利要求1所述的源荷协同调频方法，其特征在于，所述MDP数学模型的优化目标的约束条件为：

P_m+P_h＝(-P_w)+L_r+L_l (4)

ΔP_{m_min}≤ΔP_m≤ΔP_{m_max} (5)

ΔP_{h_min}≤ΔP_h≤ΔP_{h_max} (6)

ΔP_{w_min}≤ΔP_w≤ΔP_{w_max} (7)

ΔP＝ΔP_m+ΔP_h (8)

式(4)中，P_m表示所述微型燃气轮机组的有功功率出力，P_h表示所述小规模水电机组的有功功率出力，P_w表示所述风力发电的有功功率，L_r表示所述刚性负荷的功率，L_l表示所述柔性负荷的功率；

式(5)中，ΔP_{m_min}和ΔP_{m_max}分别表示一个AGC决策周期内，所述微型燃气轮机组允许的最小输出功率调节量和最大输出功率调节量；

式(6)中，ΔP_{h_min}和ΔP_{h_max}分别表示一个AGC决策周期内，所述小规模水电机组允许的最小输出功率调节量和最大输出功率调节量；

式(7)中，ΔP_{w_min}和ΔP_{w_max}分别表示一个AGC周期内，所述风力发电功率变化量ΔP_w的最小有功功率变化量和最大有功功率变化量；

式(8)中，ΔP表示给定的调频机组功率调节量，ΔP_m表示所述微型燃气轮机组的功率调节量，ΔP_h表示所述小规模水电机组的输出功率调节量；

式(9)中，ΔP_k表示第k个AGC决策周期时，给定的调频机组功率调节量，-ΔG_max和ΔG_max分别为调频机组的可出力上下限；

式(10)中，表示第k个AGC决策周期时的柔性负荷功率量，表示初始时柔性负荷功率量，表示第k个AGC决策周期时的柔性负荷变化量；

式(11)中，表示第k个AGC决策周期时柔性负荷虚拟机组出力，表示初始时柔性负荷虚拟机组出力，表示第k个AGC决策周期时柔性负荷虚拟机组出力调节量。

3.根据权利要求1所述的源荷协同调频方法，其特征在于步骤五中所述Q学习算法的公式如式(13)所示：

式(13)中，η为平均代价，α为学习步长，s_k+1为状态s_k采取行动a_k后转移到的下一状态。