CN103904641B - 基于相关均衡强化学习的孤岛微电网智能发电控制方法 - Google Patents

Abstract

本发明公开了基于相关均衡强化学习的孤岛微电网智能发电控制方法，步骤为：1、确定微电网状态离散集和联合控制动作集；2、针对各机组状态动作值函数和均衡策略进行初始化；3、采集微电网实时频率偏差和各机组功率偏差值；4、确定当前控制周期各机组立即奖励值；5、更新当前控制周期下各机组的状态动作值函数；6、求解相关均衡强化学习的线性规划，获取当前控制周期下相关均衡联合动作的最优均衡策略；7、选择各机组协作动作，控制各机组在下一个控制周期时按照该协作动作进行工作，进入下一控制周期，返回3。本发明在相关均衡强化学习的线性规划下获得最优均衡策略，能更好的适应孤岛运行模式下微电网系统的复杂工况，具有收敛快的优点。

Description

基于相关均衡强化学习的孤岛微电网智能发电控制方法

技术领域

本发明涉及微电网运行与控制技术领域，特别涉及一种基于相关均衡强化学习的孤岛微电网智能发电控制方法。该方法适用于多种新能源组合下的孤岛微电网有功-频率控制。

背景技术

随着世界工业和经济的飞速发展，传统能源难以满足负荷的增长，加之化石能源对环境的污染日益严重，由分布式新能源光伏电池、燃料电池、燃气轮机、风能发电装置等组成的微电网因其灵活智能的控制特别，不仅解决了DG(DistributedGeneration，分布式发电技术)大规模并网的问题，提高了供电可靠性，而且所消耗的能源无污染、可再生，符合电力可持续发展的需求，成为电力系统新兴的研究课题，逐渐受到人们的广泛关注。自1998年CERTS提出微电网概念至今，各国学者相继展开了对微电网的深入研究。

微电网的孤岛运行又称孤岛效应，是引入DG和微电网后一种新的运行模式，当电网故障、停电检修等原因造成与主电网的连接中断时，微电网需要从并网运行模式无缝切换到孤岛运行模式，继续向微电网内负荷供电，以保证微电网内负荷的供电可靠性。由于微电网中包含大量的可再生能源，其出力受环境变化影响很大，因此这种随机性和间歇性给微电网的控制带来了极大的挑战。尤其当微电网处于孤岛运行模式下，其频率和电压失去了大电网的支撑，受可再生能源波动的影响更为严重。

为解决上述这一难题，一些针对微电网孤岛运行时的控制策略被提出。许多学者已经对微电网的控制策略进行详细的研究。微电网的控制方式可大致分为集中式和分散式两种。集中式控制策略，即所有本地负荷、分布式电源及系统参数信息都收集到一个中心控制单元并进行集中控制。相应的，分散式控制方法则需要每个分布式电源装备一个控制器，分别收集本地反馈控制信号。此外，由于传统PI控制器难以满足微电网复杂的运行工况，基于人工智能算法的智能控制器在孤岛微电网中应用的研究受到关注，例如模糊控制(FuzzyControl，FC)、粒子群算法(ParticleSwarmOptimization，PSO)、细菌觅食优化(BacterialForagingOptimization，BFO)、遗传算法(GA)和传统的梯度下降法(GradientDescent，GD)，这些算法都是对微电网的所有控制参数进行同步优化，实现微电网的自动发电控制(AutomaticGenerationControl，AGC)。然而上述研究的人工智能算法都是通过调节系统控制参数来实现优化的目的，其本质上仍属于PI控制，仍然存在PI控制的缺陷。

在《电力系统保护与控制》期刊的第40卷第13期中公开了《基于R(λ)学习的孤岛微电网智能发电控制》的文章，该文章中提出了一种集中式的微电网分层AGC控制框架，其中上层设置一个微电网集控器总调度端，对频率偏差量进行采样，并由基于R(λ)学习的AGC控制器优化计算得出调度总指令；下层设置一个指令分配器，解决AGC调度总指令在各机组见的功率分配问题。该控制系统突破了传统的PI控制，通过基于强化学习的AGC控制器实现微电网的负荷频率控制(LoadFrequencyControl，LFC)，但其在分配过程中采用机组出力组合空间有限的分配因子，使得寻到的调度指令并不一定是最优指令，且在AGC机组调节次数和算法收敛速度上依然存在较大的优化空间。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于相关均衡强化学习的孤岛微电网智能发电控制方法，该方法在相关均衡强化学习的线性规划下获得最优均衡策略，从而实现孤岛微电网的频率偏差最小控制，能更好的适应孤岛运行模式下微电网系统的复杂工况，且具有较快的收敛特性和良好的控制效果。

本发明的目的通过下述技术方案实现：基于相关均衡强化学习的孤岛微电网智能发电控制方法，包括以下步骤：

(1)根据微电网频率偏差范围确定状态离散集；根据微电网中各机组的动作离散集确定联合控制动作集；

(2)针对各机组状态动作对的状态动作值函数以及均衡策略进行初始化；

(3)采集当前控制周期微电网的实时运行数据，包括微电网实时频率偏差以及各台机组的实时输出有功功率；根据各机组的实时输出有功功率计算出各机组的功率偏差值；

(4)通过微电网实时频率偏差和各机组的功率偏差值的线性组合确定当前控制周期各机组的立即奖励值；

(5)根据当前控制周期各机组的立即奖励值更新当前控制周期下各机组状态动作对的状态动作值函数；

(6)根据步骤(5)中更新后的状态动作函数，求解相关均衡强化学习的线性规划，获取当前控制周期下相关均衡联合动作的最优均衡策略；

(7)根据步骤(6)获取的最优均衡策略，从联合控制动作集中选择出各机组的协作动作，控制各机组在下一个控制周期时按照该协作动作进行工作，并且在下一个控制周期到来时，返回步骤(3)。

优选的，所述步骤(1)中确定的状态离散集S为：

S＝[(-∞,-0.2),[-0.2,-0.15),[-0.15,-0.05),[-0.05,0.05],(0.05,0.15],(0.15,0.2],(0.2,+∞)]。

优选的，所述步骤(1)中联合控制动作集A为：

$A=\underset{i=1}{\overset{n}{\Π}}{A}_i;$

其中A_i为机组i的动作离散集，n为机组的总数。

更进一步的，所述机组包括小水电和微型燃气轮机，所述小水电和微型燃气轮机的动作离散集A₁和A₂为：

A₁＝A₂＝[-0.1，-0.05，-0.01，-0.001，0，0.001，0.01，0.05，0.1](MW)。

优选的，所述步骤(3)中各机组当前控制周期下的功率偏差值ΔP_error-i(T)为：

ΔP_error-i(T)＝ΔP_Gi(T)-ΔP_order-i(T-1)，i＝1,2,...,n；

其中ΔP_Gi(T)为当前控制周期T下的实时输出有功功率值，ΔP_order-i(T-1)为上一控制周期下机组i的有功指令值，n为机组的总数。

更进一步的，所述步骤(4)中当前控制周期下机组i的立即奖励值R_i(T)为：

$R_i\left(T\right)=\left\{\begin{array}{cc}-\left(\right|\mathrm{\&Delta;}f\left(T\right)|+0.1\&times;|{\mathrm{\&Delta;P}}_{error-i}\left(T\right)\left|\right),& \left|\mathrm{\&Delta;}f\left(T\right)\right|\&le;0.05\\ -2\&times;\left(\right|\mathrm{\&Delta;}f\left(T\right)|+0.1\&times;|{\mathrm{\&Delta;P}}_{error-i}\left(T\right)\left|\right),& 0.05<\left|\mathrm{\&Delta;}f\left(T\right)\right|\&le;0.15\\ -4\&times;\left(\right|\mathrm{\&Delta;}f\left(T\right)|+0.1\&times;|{\mathrm{\&Delta;P}}_{error-i}\left(T\right)\left|\right),& 0.15<\left|\mathrm{\&Delta;}f\left(T\right)\right|\&le;0.2\\ -8\&times;\left(\right|\mathrm{\&Delta;}f\left(T\right)|+0.1\&times;|{\mathrm{\&Delta;P}}_{error-i}\left(T\right)\left|\right),& \left|\mathrm{\&Delta;}f\left(T\right)\right|>0.2\end{array}\right.,i=1,2,\mathrm{...},n;$

其中Δf(T)为当前控制周期的频率偏差值。

更进一步的，所述步骤(5)状态动作值函数的迭代更新公式为：

$Q_i^T(s,a)=Q_i^{T-1}(s,a)+\mathrm{\&alpha;}\&times;{\mathrm{\&delta;}}_i^T\&times;e^T(s,a);$

${\mathrm{\&delta;}}_i^T=(1-\mathrm{\&gamma;})\&times;R_i\left(T\right)+\mathrm{\&gamma;}\&times;V_i^T\left(s^{\&prime;}\right)-Q_i^{T-1}(s,a);$

$V_i^T\left(s^{\&prime;}\right)={\mathrm{\&Sigma;\&pi;}}_s^{T-1}\left(a\right)Q_i^{T-1}(s,a),s\&Element;S,a\&Element;A,i=1,2,...,n;$

其中s为微电网的状态，a为所有机组的联合动作，s_T为微电网当前控制周期下的状态，a_T为微电网中所有机组在当前控制周期下的联合动作，S为状态离散集，A为联合控制动作集；e^T(s,a)为资格迹矩阵；γ为折扣因子，其中0≤γ≤1；λ为衰减因子，其中0≤λ≤1；α为学习因子，其中0≤α≤1；为学习偏差值；表示当前控制周期下针对下一控制周期状态s′的期望函数值；

若当前控制周期为第一控制周期，即T＝1，则为各机组的初始化状态动作值函数，均衡策略为各机组的初始化均衡策略

若T≠1，则为上一控制周期的状态动作值函数；为上一控制周期获取的最优均衡策略。

更进一步的，所述步骤(2)中各机组状态动作对的状态动作值函数初始化为零，各机组的均衡策略初始化为π⁰ _s(a)＝1/mⁿ，其中n为机组的总数，m为每台机组的动作个数。

更进一步的，所述步骤(6)中关于相关均衡强化学习的线性规划的目标函数f及约束条件如下，其中该目标函数的目标为使得所有机组奖励值之和最大化；通过求解该目标函数得出当前控制周期的最优均衡策略

$\left\{\begin{array}{c}f=\max \underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{a\&Element;A}{\mathrm{\&Sigma;}}{{\mathrm{\&pi;}}_s}^T\left(a\right)Q_i^T(s,a)\\ s.t.\underset{a_{-i}\&Element;A_{-i}}{\mathrm{\&Sigma;}}{{\mathrm{\&pi;}}_s}^T(a_{-i},a_i){Q_i}^T(s,(a_{-i},a_i\left)\right)\&GreaterEqual;\underset{a_{-i}\&Element;A_{-i}}{\mathrm{\&Sigma;}}{{\mathrm{\&pi;}}_s}^T(a_{-i},a_i){Q_i}^T(s,(a_{-i},{a^{\&prime;}}_i\left)\right)\end{array}\right.,i=1,2,\mathrm{...},n;$

其中-i表示除机组i之外其他机组的集合，a_i为机组i的一个动作，a′_i为机组i除a_i外的其他动作；a_i∈A_i，a′_i∈A_i；A_i为机组i的动作离散集；

其中除机组i之外其他机组的联合控制动作集合A_-i为：

A_-i＝Π_j≠iA_j。

优选的，所述一个控制周期的时间长度为1秒。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明发电控制方法根据微电网的实时频率偏差值及各机组的实时有功功率输出值来确定各控制周期下各机组的立即奖励值R_i(T)，然后通过相关均衡强化学习的线性规划以所有机组奖励值之和最大化为目标，获取微电网的最优均衡策略，根据最优均衡策略从联合控制动作集A中选择出各机组的协作动作a，以找到各机组最优动作，即最佳输出有功功率，从而实现孤岛微电网的频率偏差最小控制，与传统PI控制、单智能体强化学习方法相比，能更好的适应孤岛运行模式下微电网系统的复杂工况。

(2)本发明发电控制方法中参与调频的各台机组在每个周期下都有自己的一个奖励值，即自身的控制目标，在发电控制中以所有机组奖励之和最大化为目标协同学习，按照自身的控制目标分别进行优化动作，最终达到相关均衡点，即联合动作最优策略。并且通过本发明相关均衡强化学习的线性规划能够更有效、更快速的寻找到相关均衡平衡点，从而使得本发明方法具有较快的收敛特性和良好的控制效果。

(3)本发明发电控制方法中所使用的状态动作值函数是以马尔可夫模型为数学基础，因此不需要精确的历史训练样本及系统先验知识，是一种基于值函数迭代的在线学习和动态最优技术，使得本发明方法具备在线学习和自适应特性。

(4)本发明发电控制方法下微电网所有调频机组的联合动作空间越大，即联合控制动作集中联合动作越多，通过优化算法获得的联合动作就能更加接近最优联合动作，就能越精确的跟踪负荷变化。因此本发明方法可以通过控制各机组的动作集细分程度来达到负荷跟踪的精确度。

附图说明

图1是本发明发电控制方法的流程图。

图2是微电网LFC模型图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

本实施例中以孤岛微电网的负荷频率控制模型(LoadFrequencyControl，LFC)作为研究对象，其中该模型中包含光伏发电、风力发电、水电、微型燃气轮机和飞轮储能五台机组，其中，选取调节速度较快且较为经济的微型燃气轮机和水电为主调频机组，飞轮储能起辅助调频作用，光伏发电和风力发电由于具有较大的随机性和不可控制性，在本实施例中作为随机负荷处理。本实施例中针对该LFC模型中的主调频机组在孤岛微电网中进行发电的控制方法包括以下步骤：

(1)根据微电网频率偏差范围确定状态离散集S，其中本实施例中确定的状态离散集S为：

S＝[(-∞,-0.2),[-0.2,-0.15),[-0.15,-0.05),[-0.05,0.05],(0.05,0.15],(0.15,0.2],(0.2,+∞)]；

根据微电网中各机组的动作离散集确定联合控制动作集A；其中

$A=\underset{i=1}{\overset{n}{\&Pi;}}{A}_i;$

A_i为机组i的动作离散集，n为机组的总数；在本实施例中n为2。

本实施例中机组为作为主调频的小水电和微型燃气轮机，小水电和微型燃气轮机的动作离散集A₁和A₂为：

A₁＝A₂＝[-0.1，-0.05，-0.01，-0.001，0，0.001，0.01，0.05，0.1](MW)。

从上式可以看出本实施例机组小水电和微型燃气轮机分别有9个动作。

(2)针对各机组状态动作对的状态动作值函数以及均衡策略进行初始化；在本实施例中将各机组状态动作对的状态动作值函数初始化为零，各机组的均衡策略初始化为π⁰ _s(a)＝1/mⁿ；n为机组的总数，m为每台机组的动作个数。

(3)采集当前控制周期微电网的实时运行数据，包括微电网实时频率偏差Δf(T)以及各机组的实时输出有功功率ΔP_Gi(T)；根据各机组的实时输出有功功率计算出各机组的功率偏差值ΔP_error-i(T)：

ΔP_error-i(T)＝ΔP_Gi(T)-ΔP_order-i(T-1)，i＝1,2；

ΔP_order-i(T-1)为上一控制周期下机组i的有功指令值。本实施例中每个控制周期的时间长度为1秒。

(4)通过微电网实时频率偏差Δf(T)和各机组的功率偏差值ΔP_error-i(T)的线性组合确定当前控制周期各机组的立即奖励值R_i(T)：

$R_i\left(T\right)=\left\{\begin{array}{cc}-\left(\right|\mathrm{\&Delta;}f\left(T\right)|+0.1\&times;|{\mathrm{\&Delta;P}}_{error-i}\left(T\right)\left|\right),& \left|\mathrm{\&Delta;}f\left(T\right)\right|\&le;0.05\\ -2\&times;\left(\right|\mathrm{\&Delta;}f\left(T\right)|+0.1\&times;|{\mathrm{\&Delta;P}}_{error-i}\left(T\right)\left|\right),& 0.05<\left|\mathrm{\&Delta;}f\left(T\right)\right|\&le;0.15\\ -4\&times;\left(\right|\mathrm{\&Delta;}f\left(T\right)|+0.1\&times;|{\mathrm{\&Delta;P}}_{error-i}\left(T\right)\left|\right),& 0.15<\left|\mathrm{\&Delta;}f\left(T\right)\right|\&le;0.2\\ -8\&times;\left(\right|\mathrm{\&Delta;}f\left(T\right)|+0.1\&times;|{\mathrm{\&Delta;P}}_{error-i}\left(T\right)\left|\right),& \left|\mathrm{\&Delta;}f\left(T\right)\right|>0.2\end{array}\right.,i=1,2,T=1,2,\mathrm{...};$

(5)根据当前控制周期各机组的立即奖励值R_i(T)更新当前控制周期下各机组状态动作对的状态动作值函数

本实施例中状态动作值函数的迭代更新公式为：

$Q_i^T(s,a)=Q_i^{T-1}(s,a)+\mathrm{\&alpha;}\&times;{\mathrm{\&delta;}}_i^T\&times;e^T(s,a);$

${\mathrm{\&delta;}}_i^T=(1-\mathrm{\&gamma;})\&times;R_i\left(T\right)+\mathrm{\&gamma;}\&times;V_i^T\left(s^{\&prime;}\right)-Q_i^{T-1}(s,a);$

$V_i^T\left(s^{\&prime;}\right)={\mathrm{\&Sigma;\&pi;}}_s^{T-1}\left(a\right)Q_i^{T-1}(s,a),s\&Element;S,a\&Element;A,i=1,2,...,n;$

其中s为微电网的状态，a为机组的动作，s_T为微电网当前控制周期下的状态，a_T为微电网中各机组在当前控制周期下的动作，S为状态离散集，A为联合控制动作集；e^T(s,a)为资格迹矩阵；γ为折扣因子，其中0≤γ≤1；λ为衰减因子，其中0≤λ≤1；α为学习因子，其中0≤α≤1；为学习偏差值；表示当前控制周期下针对下一控制周期状态s′的期望函数值；

若当前控制周期不是第一控制周期，即T≠1，则为上一控制周期的状态动作值函数；为上一控制周期获取的最优均衡策略。

若当前控制周期为第一控制周期，即T＝1，则为各机组的初始化状态动作值函数，均衡策略为各机组的初始化均衡策略根据步骤(2)得知各机组的初始化状态动作值函数为零；各机组的初始化均衡策略为π⁰ _s(a)＝1/mⁿ，由上式得知也为零；因此本实施例的为：

$Q_i^T(s,a)=\mathrm{\&alpha;}\&times;{\mathrm{\&delta;}}_i^T\&times;e^T(s,a);$

${\mathrm{\&delta;}}_i^T=(1-\mathrm{\&gamma;})\&times;R_i\left(T\right);$

s∈S，a∈A，i＝1,2；T＝1；

其中e^T-1(s,a)＝e⁰(s,a)＝0；

(6)根据步骤(5)中更新后的状态动作函数求解相关均衡强化学习的线性规划，获取当前控制周期下相关均衡联合动作的最优均衡策略π^T _s(a)；本实施例中关于相关均衡强化学习的线性规划的目标函数f及约束条件为：

$\left\{\begin{array}{c}f=\max \underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{a\&Element;A}{\mathrm{\&Sigma;}}{{\mathrm{\&pi;}}_s}^T\left(a\right)Q_i^T(s,a)\\ s.t.\underset{a_{-i}\&Element;A_{-i}}{\mathrm{\&Sigma;}}{{\mathrm{\&pi;}}_s}^T(a_{-i},a_i){Q_i}^T(s,(a_{-i},a_i\left)\right)\&GreaterEqual;\underset{a_{-i}\&Element;A_{-i}}{\mathrm{\&Sigma;}}{{\mathrm{\&pi;}}_s}^T(a_{-i},a_i){Q_i}^T(s,(a_{-i},{a^{\&prime;}}_i\left)\right)\end{array}\right.,i=1,2;$

其中-i表示除机组i之外其他机组的集合，a_i为机组i的一个动作，a′_i为机组i除a_i外的其他动作；

其中除机组i之外其他机组的联合控制动作集合为：

A_-i＝Π_j≠iA_j

该目标函数的目标为使所有机组奖励值之和最大化；本实施例通过求解该目标函数得出当前控制周期下的最优均衡策略

对于一个具有n个机组、且每个机组有m个动作的马尔科夫对策(MarkovGames，MG)，其动作对总共有mⁿ个，上述的线性约束方程总共有nm(m-1)个。在本实施例中n为2，m为9，因此其动作对总共有81个，上述的线性约束方程总共有144个。

(7)根据步骤(6)获取的最优均衡策略π^T _s(a)，从联合控制动作集A中选择出各机组的协作动作a，控制各机组在下一个控制周期时按照该协作动作a进行工作，并且在下一个控制周期到来时，返回步骤(3)。

如图2所示，本实施例步骤(3)中，在每个控制周期，微电网调度中心通过能量管理系统(energymanagementsystem，EMS)获取微电网实时频率偏差Δf(T)以及各主调频机组的实时输入和输出有功功率ΔP_Gi(T)等机组数据，并将其送到智能发电控制器，计算各主调频机组的有功指令值ΔP_error-i(T)，然后通过信息传输系统传送到各主调频机组的发电控制单元中，同时，各主调频机组的实时有功功率ΔP_Gi(T)和微电网实时频率偏差信息Δf(T)通过信息传输系统送至微电网调度中心的EMS系统中。通过控制各主调频机组的功率输出来达到微电网频率偏差的最小控制。其中只有主调频机组小水电和微型燃气轮机才参与到上述方法中进行调频，其他机组不参与调频或只参与一次调频。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.基于相关均衡强化学习的孤岛微电网智能发电控制方法，其特征在于，包括以下步骤：

(1)根据微电网频率偏差范围确定状态离散集；根据微电网中各机组的动作离散集确定联合控制动作集；

(2)针对各机组状态动作对的状态动作值函数以及均衡策略进行初始化；

(3)采集当前控制周期微电网的实时运行数据，包括微电网实时频率偏差以及各台机组的实时输出有功功率；根据各机组的实时输出有功功率计算出各机组的功率偏差值；所述步骤(3)中各机组当前控制周期下的功率偏差值ΔP_error-i(T)为：

ΔP_error-i(T)＝ΔP_Gi(T)-ΔP_order-i(T-1)，i＝1,2,...,n；

其中ΔP_Gi(T)为当前控制周期T下的实时输出有功功率值，ΔP_order-i(T-1)为上一控制周期下机组i的有功指令值，n为机组的总数；

(4)通过微电网实时频率偏差和各机组的功率偏差值的线性组合确定当前控制周期各机组的立即奖励值；所述步骤(4)中当前控制周期下机组i的立即奖励值R_i(T)为：

$R_i\left(T\right)=\left\{\begin{array}{cc}-\left(\right|\mathrm{\&Delta;}f\left(T\right)|+0.1\&times;|{\mathrm{\&Delta;P}}_{error-i}\left(T\right)\left|\right),& \left|\mathrm{\&Delta;}f\left(T\right)\right|\&le;0.05\\ -2\&times;\left(\right|\mathrm{\&Delta;}f\left(T\right)|+0.1\&times;|{\mathrm{\&Delta;P}}_{error-i}\left(T\right)\left|\right),& 0.05<\left|\mathrm{\&Delta;}f\left(T\right)\right|\&le;0.15\\ -4\&times;\left(\right|\mathrm{\&Delta;}f\left(T\right)|+0.1\&times;|{\mathrm{\&Delta;P}}_{error-i}\left(T\right)\left|\right),& 0.15<\left|\mathrm{\&Delta;}f\left(T\right)\right|\&le;0.2\\ -8\&times;\left(\right|\mathrm{\&Delta;}f\left(T\right)|+0.1\&times;|{\mathrm{\&Delta;P}}_{error-i}\left(T\right)\left|\right),& \left|\mathrm{\&Delta;}f\left(T\right)\right|>0.2\end{array}\right.,i=1,2,...,n;$

其中Δf(T)为当前控制周期的频率偏差值；

(5)根据当前控制周期各机组的立即奖励值更新当前控制周期下各机组状态动作对的状态动作值函数；

(6)根据步骤(5)中更新后的状态动作函数，求解相关均衡强化学习的线性规划，获取当前控制周期下相关均衡联合动作的最优均衡策略；

(7)根据步骤(6)获取的最优均衡策略，从联合控制动作集中选择出各机组的协作动作，控制各机组在下一个控制周期时按照该协作动作进行工作，并且在下一个控制周期到来时，返回步骤(3)。

2.根据权利要求1所述的基于相关均衡强化学习的孤岛微电网智能发电控制方法，其特征在于，所述步骤(1)中确定的状态离散集S为：

S＝[(-∞,-0.2),[-0.2,-0.15),[-0.15,-0.05),[-0.05,0.05],(0.05,0.15],(0.15,0.2],(0.2,+∞)]。

3.根据权利要求1所述的基于相关均衡强化学习的孤岛微电网智能发电控制方法，其特征在于，所述步骤(1)中联合控制动作集A为：

$A=\underset{i=1}{\overset{n}{\&Pi;}}{A}_i;$

其中A_i为机组i的动作离散集，n为机组的总数。

4.根据权利要求3所述的基于相关均衡强化学习的孤岛微电网智能发电控制方法，其特征在于，所述机组包括小水电和微型燃气轮机，所述小水电和微型燃气轮机的动作离散集A₁和A₂为：

A₁＝A₂＝[-0.1，-0.05，-0.01，-0.001，0，0.001，0.01，0.05，0.1]MW。

5.根据权利要求1所述的基于相关均衡强化学习的孤岛微电网智能发电控制方法，其特征在于，所述步骤(5)状态动作值函数的迭代更新公式为：

$Q_i^T(s,a)=Q_i^{T-1}(s,a)+\mathrm{\&alpha;}\&times;{\mathrm{\&delta;}}_i^T\&times;e^T(s,a);$

${\mathrm{\&delta;}}_i^T=(1-\mathrm{\&gamma;})\&times;R_i\left(T\right)+\mathrm{\&gamma;}\&times;V_i^T\left(s^{\&prime;}\right)-Q_i^{T-1}(s,a);$

$V_i^T\left(s^{\&prime;}\right)={\mathrm{\&Sigma;\&pi;}}_s^{T-1}\left(a\right)Q_i^{T-1}(s,a),s\&Element;S,a\&Element;A,i=1,2,...,n;$

其中s为微电网的状态，a为所有机组的联合动作，s_T为微电网当前控制周期下的状态，a_T为微电网中所有机组在当前控制周期下的联合动作，S为状态离散集，A为联合控制动作集；e^T(s,a)为资格迹矩阵；γ为折扣因子，其中0≤γ≤1；λ为衰减因子，其中0≤λ≤1；α为学习因子，其中0≤α≤1；为学习偏差值；V_i ^T(s′)表示当前控制周期下针对下一控制周期状态s′的期望函数值；

若当前控制周期为第一控制周期，即T＝1，则为各机组的初始化状态动作值函数，均衡策略为各机组的初始化均衡策略

若T≠1，则为上一控制周期的状态动作值函数；为上一控制周期获取的最优均衡策略。

6.根据权利要求5所述的基于相关均衡强化学习的孤岛微电网智能发电控制方法，其特征在于，所述步骤(2)中各机组状态动作对的状态动作值函数初始化为零，各机组的均衡策略初始化为π⁰ _s(a)＝1/mⁿ，其中n为机组的总数，m为每台机组的动作个数。

7.根据权利要求5所述的基于相关均衡强化学习的孤岛微电网智能发电控制方法，其特征在于，所述步骤(6)中关于相关均衡强化学习的线性规划的目标函数f及约束条件如下，其中该目标函数的目标为使得所有机组奖励值之和最大化；通过求解该目标函数得出当前控制周期的最优均衡策略π_s ^T(a)；

$\{\begin{array}{c}f=max\underset{i=1}{\overset{n}{\&Sigma;}}\underset{a\&Element;A}{\&Sigma;}{{\mathrm{\&pi;}}_s}^T\left(a\right){Q_i}^T(s,a)\\ s.t.\underset{a_{-i}\&Element;A_{-i}}{\mathrm{\&Sigma;}}{{\mathrm{\&pi;}}_s}^T(a_{-i},a_i){Q_i}^T(s,(a_{-i},a_i\left)\right)\&GreaterEqual;\underset{a_{-i}\&Element;A_{-i}}{\mathrm{\&Sigma;}}{{\mathrm{\&pi;}}_s}^T(a_{-i},a_i){Q_i}^T(s,(a_{-i},{a^{\&prime;}}_i\left)\right)\end{array},i=1,2,...,n;$

其中-i表示除机组i之外其他机组的集合，a_i为机组i的一个动作，a'_i为机组i除a_i外的其他动作；a_i∈A_i，a'_i∈A_i；A_i为机组i的动作离散集；

其中除机组i之外其他机组的联合控制动作集合A_-i为：

A_-i＝Π_j≠iA_j。

8.根据权利要求1所述的基于相关均衡强化学习的孤岛微电网智能发电控制方法，其特征在于，所述一个控制周期的时间长度为1秒。