CN107589672A - 孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法 - Google Patents

Abstract

孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，步骤如下：确定状态离散集S；确定联合动作离散集A；获得值函数误差ρ_k、M_k；S6、更新所有状态‑动作(s，a)对应的Q函数表格和时间隧道矩阵e(s_k，a_k)；更新的Q值更新当前状态s下的混合策略合策略π(s_k，a_k)；接着更新时间隧道元素e(s_k，a_k)；选择变学习率根据函数更新决策改变率Δ(s_k，a_k)和决策空间估计斜率Δ²(s_k，a_k)；输出总功率参考值△P_∑，应用一致性算法；计算机组调节功率△P_Gi。本发明能解决多智能体大规模激增时产生的多解问题，解决新能源大规模接入所带来的随机扰动问题，实现对分层分布式控制系统的协同控制与优化。

Description

孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法

技术领域

本发明涉及电力系统智能发电控制技术，特别是一种孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法。

背景技术

随着智能电网飞速发展，装机容量不断扩大，新能源及分布式能源不断接入，传统集中式自动发电控制(automatic generation control，AGC)模式难以满足电网的发展以及运行条件，分布式AGC控制模式势在必行。

从分布式能源利用率角度，由于电网结构、电厂容量以及机组调节速度的限制，不同类型的电厂容量以及机组调节速度的限制，不同类型的电厂在功率分配以及利用率方面存在巨大差异。集中式AGC所控制的电厂功率只能通过省调进行分配，分布式能源和新能源难以实现协同控制。这种没有固定发电量指标的小容量电厂，集中式AGC模式下很难有高效的利用率。以云南电网为例，当这些分布式能源之间的协作控制，小容量水厂的装机容量可以达到3160.7MW，达到了水电厂总装机容量的18％。显然，集中式AGC缺乏经济性和科学性，很难满足电网的发展模式，从反面角度说明研究分布式AGC具有十分重要的意义。

从分布式区域调度角度，云南省调已经计划将部分110kV设备、小规模以及中规模的水电调度权利下放到区域调度，省调只负责省网功耗平衡。根据国家规范，装机容量超过40MW需要AGC控制。调度关系应该跟随电网的发展，在不同电网之间调整调度关系是未来的发展趋势。由于省调和区域调度具有不同的控制目标，且在功率传输、电力系统安全性及稳定性方面又有着不可分割的联系，故分布式AGC的研究正是顺应了这种分布式区域调度发展趋势。从正面角度进一步说明研究分布式AGC的必要性。

从控制方法角度，传统集中式AGC通常可以分成两个步骤：a)AGC总发电功率指令的追踪(通常为PI控制)；b)通过固定比例分配法把总功率指令分配给各机组。南网调度中心多次实验表明某地区控制性能标准(control performance standard，CPS)提高，会导致其他地区性能下降。为计算区域所需的调整功率，有文献提出了区域控制误差(areacontrol error，ACE)多样性交换方法。而此方法会导致超调和滞后，缺乏控制选择的灵活性。大多数学者前期研究强化学习用于互联电网传统集中式AGC模式，以解决新能源接入电网所带来的随机扰动问题。而前期研究的方法均为集中式控制，需要大量远方信息，动态响应缓慢，控制性能不够理想，从反面角度再次说明研究分布式AGC的重要意义。

近来，许多学者致力于电网分布式控制。有文献提出了多智能体的分布式相关均衡Q(λ)方法(decentralized correlated equilibrium Q(λ)-learning，DCEQ(λ))来解决分布式能源接入后智能发电控制(smart generation control，SGC)的复杂随机动态特性和最优协调控制问题。然而，当多智能体个数增加时，DCEQ(λ)在搜索多智能体均衡解时间呈几何数增加，限制了其在更大规模系统里的应用。

因此，基于多智能体的分散式赢与快速学习爬山方法(decentralized win orlearn fast policy hill-climbing(λ)，DWoLF-PHC(λ))被提出，它利用平均混合策略取代了均衡，解决了多智能体个数增加时的多解问题，有效提高了系统动态特性，实现了对总功率指令动态优化控制。然而并没有对机组功率指令进行动态优化分配；且当多智能体大规模激增时，仍会出现多解，导致系统不稳定。因此需要探索新方法，解决多解问题的同时，对机组功率进行动态优化分配，以获得分布式控制系统的协同一致性。

在一个多智能体系统(multi-agent system，MAS)中，当智能体与临近智能体进行信息交互而取得相同目标，称为达到一致。有文献采用多智能系统协同一致性(multi-agent system collaborative consensus，MAS-CC)的理论对机组功率进行动态分配，有效地解决了多智能体个数大规模激增所带来多解问题，同时能够对机组功率进行动态优化分配。然而在追求机组功率分配具有协同一致性的同时，忽略了AGC总功率指令分布式动态优化控制。国内外可查文献都没有对AGC总功率动态优化控制的同时对机组功率指令进行了动态优化分配，即没能从整体到分支自上而下实现真正意义的智能化。

发明内容

为克服现有技术中的不足，本发明提供一种孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，该方法从AGC角度探索一种面向新能源及分布式能源的具有分层分布式控制结构的SGC方法，提出了虚拟狼群控制策略。该策略结合了多智能体随机博弈(multi-agent system stochastic game，MAS-SG)和MAS-CC理论，即多智能体随机一致博弈(multi-agent system stochastic consensus game，MAS-SCG)原理。该方法在MAS-SG理论部分采用融合新的输赢评判标准、时间隧道的PDWoLF-PHC(λ)算法，用以获得多区域SGC的均衡解，进而解决传统集中式AGC无法解决的新能源接入所带来的扰动问题。在MAS-CC理论部分的采用基于等微增率准则的一致性算法，用以解决各个领地电网以及各个机组的功率协同分配问题。本发明可提高新能源利用率，减少发电成本，具有更快的动态优化速度和更强的鲁棒性。

本发明采取的技术方案为：

孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，包括以下步骤：

步骤1、确定状态离散集S；

步骤2、确定联合动作离散集A；

步骤3、在每个控制周期开始时，采集各个电网的实时运行数据，所述实时运行数据包括频率偏差Δf和功率偏差ΔP，计算各个区域控制误差ACE_i(k)的瞬时值与控制性能标准CPS_i(k)的瞬时值，根据混合策略集合π(s_k，a_k)选择搜索动作a_k；

步骤4、在当前状态s，某区域电网i获得一个短期的奖励函数信号R_i(k)；

步骤5、通过计算与估计获得值函数误差ρ_k、M_k；

步骤6、对所有区域电网，更新所有状态-动作(s，a)对应的Q函数表格和时间隧道矩阵e(s_k，a_k)；

步骤7、更新的Q值和更新当前状态s下的混合策略合策略π(s_k，a_k)；

步骤8、接着更新时间隧道元素e(s_k，a_k)；

步骤9、选择变学习率

步骤10、根据函数更新决策改变率Δ(s_k，a_k)和决策空间估计斜率Δ²(s_k，a_k)；

步骤11、输出总功率参考值△P_∑，应用一致性算法；

步骤12、根据AGC的目标函数，计算机组调节功率△P_Gi；

步骤13、如果没有越过发电约束，执行步骤15；

步骤14、计算一致性变量ω_i和机组调节功率△P_Gi；

步骤15、计算功率偏差△P_error；

步骤16、如果不满足执行步骤11；

步骤17、输出机组调节功率△P_Gi；

步骤18、令k＝k+1，并返回步骤3。

所述步骤1的状态离散集S，通过控制性能标准CPS和区域控制误差ACE值的划分来确定。

所述步骤2的联合动作离散集A的表达式为：

A＝A₁×A₂×…×A_i×…×A_n

其中，A_i为智能体i的输出离散动作集，n为智能体个数。

所述步骤4的短期奖励函数信号R_i(k)的表达式为：

R(s_k-1,s_k,a_k-1)＝-μ|△f|²-(1-μ)C_{instantaneous}/50000

式中|Δf|和C_{instantaneous}分别表示在第k次迭代中频率偏差的瞬时绝对值以及所有机组的

实际发电成本。μ和(1-μ)分别为|Δf|和C_{instantaneous}的奖励权重比，这里选择μ＝0.5。

所述步骤5的智能体在第k步迭代过程中的Q函数误差的ρ_k和Q函数误差的评估M_k，它们的表达式为：

ρ_k＝R(s_k,s_k+1,a_k)+γQ_k(s_k+1,a_g)-Q_k(s_k,a_k)

M_k＝R(s_k,s_k+1,a_k)+γQ_k(s_k+1,a_g)-Q_k(s_k,a_g)。

式中，γ为折扣因子，为Q函数将来的奖励提供折扣，在热电厂为主导的LFC控制过程中，由于最新的奖励最重要，所以应该选取近似1的值。R(s_k，s_k+1，a_k)为在选定的动作a_k下，从状态s_k转移到状态s_k+1的智能体奖励函数；a_g为贪婪动作；Q(s_k，a_k)为动作a_k下，状态s_k的Q函数；Q(s_k，a_g)为贪婪动作a_g下，状态s_k的Q函数。

所述步骤6的Q函数的更新为：

Q_k+1(s_k,a_k)＝Q_k(s_k,a_k)+αM_ke_k(s_k,a_k)

Q_k+1(s_k,a_k)＝Q_k+1(s_k,a_k)+αρ_k；

式中，e_k(s_k，a_k)为在状态s动作a下第k步迭代的时间隧道，α为Q学习率，设置为0<α<1，对Q函数的收敛速率即算法稳定性进行权衡；更大的α可以加快学习速度，而更小的α能提高系统的稳定性；在预学习过程中，选择α的初始值为0.1以获得总体的探索，然后为了逐渐提高系统的稳定性，它将以线性方式减少。ρ_k为第k步迭代过程中的Q函数误差；M_k在第k步迭代过程中的Q函数误差的评估；Q_k(s_k，a_k)为动作a_k下，状态s_k的第k个智能体的Q函数；Q_k+1(s_k，a_k)为动作a_k下，状态s_k的第k+1个智能体的Q函数。

更新时间隧道e_k(s_k，a_k)为：

式中，λ为时间隧道衰减因子设置为0<λ<1，其作用是在状态动作对间分配信誉；对于长时延系统，它影响收敛速度及非马尔可夫效果，一般来说，回溯法里λ能被看作为时间标度因素，对于Q函数误差来说，小的λ意味着很少的信誉被赋予到历史状态动作对，而大的λ表明分配到了更多的信誉。γ为折扣因子，为Q函数将来的奖励提供折扣；e_k(s，a)为为在状态s动作a下第k步迭代的时间隧道；e_k+1(s，a)为为在状态s动作a下第k+1步迭代的时间隧道。

所述步骤7的混合策略π(s，a)更新为：

式中Δ_sa是策略更新时需要的增量变化量，它按照下面公式取值：

一般情况下，δ_sa按照下面公式取值：

式中为变学习率，且|A_i|为状态s_k下可选行动的个数。

所述步骤8的更新时间隧道元素：

e(s_k,a_k)←e(s_k,a_k)+1

式中e(s_k，a_k)为为在状态s动作a下第k步迭代的时间隧道。

所述步骤9中的变学习率的选择：

通过引入决策变化率以及决策空间斜率值，作为评判因素，若决策变化率和决策空间斜率估计值的乘积小于0，游戏者便赢了，变学习率设置为根据动作值的最大化得到一个最优策略。Δ(s_k，a_k)为决策改变率；Δ²(s_k，a_k)为决策空间估计斜率。

所述步骤10的更新决策改变率Δ(s_k，a_k)和决策空间估计斜率Δ²(s_k，a_k)为：

式中，Δ_sa是策略更新时需要的增量变化量，Δ(s_k，a_k)是决策改变率，Δ²(s_k，a_k)是决策空间估计斜率。通过引入增量变化量Δ_sa与决策改变率Δ(s_k，a_k)，更新决策空间估计斜率Δ²(s_k，a_k)。

所述步骤11的应用一致性算法为：

式中ε为一个正实数，它反映一致性算法的收敛性能，称为收敛系数。ΔP_error是总功率指令和所有机组总调节功率的差值。k表示离散时间序列，d_ij[k]表示行随机矩阵D＝d_ij[k]∈R^n×n在离散时刻k的第[i，j]项

式中l_ij为拉普拉斯矩阵，表示为：

式中常数b_ij(b_ij≥0)代表智能体间的权重因子，在智能体之间持续的相互交流及恒定增益b_ij条件下，当且仅当有向图是强连通时，能够实现协同一致性。

所述步骤12的计算机组调节功率ΔP_Gi为：

ω_i＝2α_i△P_Gi+β_i

式中是ω_i第i个机组发电成本的等微增率。ΔP_Gi是第i个机组的AGC调节功率，正值常数α_i，β_i是功率扰动情况下的动态系数，其中α_i＝a_i；β_i＝2a_iP_Gi，plan+b_i。

所述步骤14的计算一致性变量ω_i和机组调节功率△P_Gi：

式中ω_i，lower和ω_i，upper是第i个智能体的一致性变量，△P_Gi，min和△P_Gi，max分别是可调功率最小值和最大值，ΔP_Gi是第i个机组的AGC调节功率，d_ij[k]表示行随机矩阵D＝d_ij[k]∈R^n×n在离散时刻k的第[i，j]项。

所述步骤15的计算功率偏差△P_error：

式中ΔP_error是总功率指令和所有机组总调节功率的差值。

所述步骤16的功率偏差：

式中是最大功率偏差。

本发明一种孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，有益效果如下：

(1)、本发明基于MAS-SG原理，提出一种具有新赢输评判标准且融入了时间隧道思想的PDWoLF-PHC(λ)算法，以解决传统MAS-SG体系下智能体需要严格的知识体系的普适性问题；解决2*2博弈中，传统MAS-SG方法的赢输标准下，智能体无法进行精确计算，收敛到纳什均衡速度慢的问题。

(2)、本发明建立了具有MAS-SCG原理的分层分布控制系统，提出虚拟狼群控制策略以对分层分布式控制系统进行求解。在基础理论层面，解决很少有人涉足的控制论的难点问题，即大范围同构异构相混合的MAS-SCG科学问题，同时解决当智能体个数大规模激增时而出现多解问题；在工程层面，解决对总功率指令跟踪的同时，无法对机组功率进行动态优化分配的科学问题。从而有效地解决传统集中式AGC难以解决的大规模新能源及分布式能源接入电网所带来的扰动问题。

(3)、本发明通过以实际发电成本和频率偏差的绝对值|Δf|为优化目标，选取|Δf|和所有机组的实际发电成本的加权和作为奖励函数。本发明能够提高闭环系统性能、降低发电成本，增加新能源利用率。

附图说明

图1为孤岛智能配电网的模型图。

图2为具有时间隧道思想的SARSA(λ)示意图。

图3为孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法的执行流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

孤岛智能配电网模型的结构如图1所示，包含了1个配电网，3个微网，19个可调机组，总调节功率为2760kW，不可调机组作为负荷扰动出力。并且，每个可调机组都有对应的智能体，智能体之间的连接权重b_ij选为1。分别采用了阶跃扰动(最后幅值：1000；考核周期：86400s)、脉冲扰动(振幅：1000；考核周期：86400s；周期：4000s；宽度：周期的50％)和随机白噪声(噪声功率：10000；考核周期：86400s；seed：23341)来模拟电力系统中的负荷扰动和不确定性。使用Simulink进行建模仿真研究。每个区域电网AGC控制器在综合其它区域电网ACE实时值和所采取策略的条件下各自寻求最优联合动作策略。

1)、分析系统特性以对状态集s离散化:此实例根据广东电力调度中心CPS指标划分标准，将CPSl值划分为6个状态:(-∞，0)，[0，100％)，[100％，150％)，[150％，180％)，[180％，200％)，[200％，+∞)，再将ACE分成正负2个状态，由此每个智能体可以确定有12个状态。ACE的状态主要是为了区分引起CPS指标波动的原因。

2)、确定联合动作离散集A，第i区域电网的动作集为A_i＝[-40，-35，-25，-20，-15，-10，-5，-1，0，1，5，10，15，20，25，35，40]MW，联合动作策略集为，A＝A₁×A₂×…×A_i×…×A_n，A为控制器的输出动作，即AGC的功率调节指令。控制步长采用AGC控制周期，取4s。3)、在每个控制周期开始时采集各个区域电网的实时运行数据:△f，△P，其中△f表示系统频率偏差，△P表示联络线功率偏差根据国际通用考核办法ACE＝T_a-T_s-10B(F_a-F_s)，T_a，T_s分别为联络线实际潮流值与期望潮流值；B为频率偏差系数；F_a，F_s分别为系统实际频率值与期望频率值；B_i为控制区域i的频率偏差系数；ε₁为互联电网对全年1分钟频率平均偏差均方根的控制目标值；n为该考核时段的分钟数；CPS2＝(1-R)×100％、ε₁₀为互联电网对全年10分钟频率平均偏差均方根的控制目标值；B_net为整个互联电网的频率偏差系数；ACE_AVE-10min为区域控制误差ACE在10分钟内的平均值；和式CPS2＝(1-R)×100％计算各个区域的ACE_i(k)与CPS_i(k)瞬间值。

4)、根据各个区域的ACE_i(k)与CPS_i(k)瞬间值确定当前状态s，再有状态s和奖励函数获得区域电网的立即奖励值R_i(k)，奖励函数设计如下：

R(s_k-1,s_k,a_k-1)＝-0.5|△f|²-(1-0.5)C_{instantaneous}/5000 (1)

式中|Δf|和C_{instantaneous}分别表示在第k次迭代中频率偏差的瞬时绝对值以及所有机组的实际发电成本。μ和(1-μ)分别为|Δf|和C_{instantaneous}的奖励权重比，这里选择μ＝0.5。

5)、智能体在第k步迭代过程中的Q函数误差的ρ_k和Q函数误差的评估M_k，它们的表达式为：

ρ_k＝R(s_k,s_k+1,a_k)+0.9Q_k(s_k+1,a_g)-Q_k(s_k,a_g) (2)

M_k＝R(s_k,s_k+1,a_k)+0.9Q_k(s_k+1,a_g)-Q_k(s_k,a_k) (3)

式中，γ为折扣因子，为Q函数将来的奖励提供折扣；在热电厂为主导的LFC控制过程中，由于最新的奖励最重要，所以应该选取近似1的值，这里γ＝0.9。R(s_k，s_k+1，a_k)为在选定的动作a_k下，从状态s_k转移到状态s_k+1的智能体奖励函数；a_g为贪婪动作；Q(s_k，a_k)为动作a_k下，状态s_k的Q函数；Q(s_k，a_g)为贪婪动作a_g下，状态s_k的Q函数。

6)、Q函数的更新为：

Q_k+1(s_k,a_k)＝Q_k(s_k,a_k)+0.5×M_k×e_k(s_k,a_k) (4)

Q_k+1(s_k,a_k)＝Q_k+1(s_k,a_k)+0.5×ρ_k (5)

式中，e_k(s_k，a_k)为在状态s动作a下第k步迭代的时间隧道，α为Q学习率，设置为0<α<1，对Q函数的收敛速率即算法稳定性进行权衡；更大的α可以加快学习速度，而更小的α能提高系统的稳定性；在预学习过程中，选择α的初始值为0.1以获得总体的探索，然后为了逐渐提高系统的稳定性，它将以线性方式减少，这里α＝0.5。ρ_k为第k步迭代过程中的Q函数误差；M_k在第k步迭代过程中的Q函数误差的评估；Q_k(s_k，a_k)为动作a_k下，状态s_k的第k个智能体的Q函数；Q_k+1(s_k，a_k)为动作a_k下，状态s_k的第k+1个智能体的Q函数。更新时间隧道e_k(s_k，a_k)为：

式中，λ为时间隧道衰减因子设置为0<λ<1，其作用是在状态动作对间分配信誉；对于长时延系统，它影响收敛速度及非马尔可夫效果，一般来说，回溯法里λ能被看作为时间标度因素，对于Q函数误差来说，小的λ意味着很少的信誉被赋予到历史状态动作对，而大的λ表明分配到了更多的信誉，这里λ＝0.9。γ为折扣因子，为Q函数将来的奖励提供折扣；e_k(s，a)为为在状态s动作a下第k步迭代的时间隧道；e_k+1(s，a)为为在状态s动作a下第k+1步迭代的时间隧道。

7)、混合策略π(s，a)更新为：

式中Δ_sa是策略更新时需要的增量变化量，它按照下面公式取值：

一般情况下，δ_sa按照下面公式取值：

式中为变学习率，这里且|A_i|为状态s_k下可选行动的个数。

8)、更新时间隧道元素：e(s_k，a_k)←e(s_k，a_k)+1。

e(s_k，a_k)←e(s_k，a_k)+1 (10)

式中e(s_k，a_k)为在状态s动作a下第k步迭代的时间隧道。

9)、选择变学习率

式中Δ(s_k，a_k)为决策变化率，Δ²(s_k，a_k)为决策空间斜率值。若决策变化率△(s_k，a_k)和决策空间斜率△²(s_k，a_k)的乘积小于0，则智能体赢了，选择否则选择

10)、更新决策改变率Δ(s_k，a_k)和决策空间估计斜率Δ²(s_k，a_k)为：

式中Δ_sa是策略更新时需要的增量变化量，Δ(s_k，a_k)是决策改变率，Δ²(s_k，a_k)是决策空间估计斜率。通过引入增量变化量Δ_sa与决策改变率Δ(s_k，a_k)，更新决策空间估计斜率Δ²(s_k，a_k)。

11)、输入总功率指令△P_∑，对功率指令进行一致性计算，应用一致性算法为：

式中ω_i是第i个智能体的状态；ΔP_error是总功率指令和所有机组总调节功率的差值；ε为最大允许功率误差；k表示离散时间序列；d_ij[k]表示行随机矩阵D＝d_ij[k]∈R^n×n在离散时刻k的第[i，j]项

12)、计算机组功率ΔP_Gi：

ω_i＝2α_i△P_Gi+β_i

(16)

式中是ω_i第i个机组发电成本的等微增率，正值常数α_i，β_i是功率扰动情况下的动态系数，其中α_i＝a_i；β_i＝2a_iP_Gi，plan+b_i。

13)、判断调节机组功率是否越过发电约束，越过执行下一步骤，没有越过执行步骤15)。

14)、计算一致性变量ω_i和机组调节功率△P_Gi：

式中ω_i，lower和ω_i，upper是第i个智能体的一致性变量，△P_Gi,min和△P_Gi,max分别是可调功率最小值和最大值，ΔP_Gi是第i个机组的AGC调节功率，d_ij[k]表示行随机矩阵D＝d_ij[k]∈R^n×n在离散时刻k的第[i，j]项。

15)、计算功率偏差△P_error：

式中ΔP_error是总功率指令和所有机组总调节功率的差值。

16)、比较功率偏差△P_error，当功率误差的绝对值小于等于最大功率误差时，执行下一步骤，否则执行步骤11)。

式中是最大功率偏差。

17)、输出机组调节功率△P_Gi；

18)、在下一个周期到来时，返回步骤3)。

本发明的核心是结合MAS-SG和MAS-CC两大框架体系，对时间隧道思想、SARAS(λ)算法、PDWoLF-PHC算法的融合，奖励函数的设计、混合策略和变学习率的求解及每个智能体Q值的更新。其中结合MAS-SG和MAS-CC两大框架体系和时间隧道思想的融合是关键创新点。MAS主从网络理论的出现，为MAS-CC和MAS-SG两大框架的融合提供了一种途径，即在智能体数量众多的跟随者网络中采用MAS-CC框架，智能体个数相对较少的领导者之间采用MAS-SG框架，我们称之为具有同构/异构相混合复杂结构的“多智能体随机协同对策(multi-agentsystem stochastic consensus game，MAS-SCG)”。MAS-SCG的思想源于野生狼群在恶劣的自然界中捕猎过程所采取的协同一致策略，从而保证了他们的生存与繁衍生息。时间隧道是一种方法，它能详细记录各联合动作策略发生的频率，并依此对各动作策略的迭代Q值进行更新。在每次迭代过程中，联合状态与动作会被记录到时间隧道中，对学习过程中多步历史决策给予奖励和惩罚。Q函数与时间隧道以二维状态动作对的形式被记录下来。时间隧道将历史决策过程的频度及渐新度联系在一起，以获得AGC控制器的最优Q函数，如图2所示。

本发明方法可以完整描述如下：

1)、分析系统特性确定状态离散集S，具体可以通过CPSl和ACE值的划分；

2)、确定联合动作离散集A，其中A＝A₁×A₂×…×A_i×…×A_n，A_i为智能体i的输出离散动作集，n为智能体个数；

3)、在每个控制周期开始时，采集各个电网的实时运行数据，所述实时运行数据包括频率偏差Δf和功率偏差ΔP，各个区域的ACE_i(k)与CPS_i(k)瞬时值，其中Δf表示系统频率偏差，ΔP表示联络线功率偏差；根据混合策略集合π(s_k，a_k)选择搜索动作a_k；

4)、在当前状态s，某区域电网i获得一个短期的奖励函数信号R_i(k)，Ri(k)的设计为区域电网i第k步ACE和CPS1的差分值以及功率调节值的线性组合，公式为：

R(s_k-1,s_k,a_k-1)＝-μ|△f|²-(1-μ)C_{instantaneous}/50000 (1)

式中|Δf|和C_{instantaneous}分别表示在第k次迭代中频率偏差的瞬时绝对值以及所有机组的实际发电成本。μ和(1-μ)分别为|Δf|和C_{instantaneous}的奖励权重比，这里选择μ＝0.5。

5)、求取在智能体在第k步迭代过程中的Q函数误差的的ρ_k和Q函数误差的评估M_k，它们的表达式为：

ρ_k＝R(s_k,s_k+1,a_k)+γQ_k(s_k+1,a_g)-Q_k(s_k,a_g) (2)

M_k＝R(s_k,s_k+1,a_k)+γQ_k(s_k+1,a_g)-Q_k(s_k,a_k) (3)

式中，γ为折扣因子，为Q函数将来的奖励提供折扣。在热电厂为主导的LFC控制过程中，由于最新的奖励最重要，所以应该选取近似1的值，这里选择γ＝0.9。R(s_k，s_k+1，a_k)为在选定的动作a_k下，从状态s_k转移到状态s_k+1的智能体奖励函数；a_g为贪婪动作；Q(s_k，a_k)为动作a_k下，状态s_k的Q函数；Q(s_k，a_g)为贪婪动作a_g下，状态s_k的Q函数。

6)、更新Q函数为

Q_k+1(s_k,a_k)＝Q_k(s_k,a_k)+α×M_k×e_k(s_k,a_k) (4)

Q_k+1(s_k,a_k)＝Q_k+1(s_k,a_k)+α×ρ_k (5)

式中，e_k(s_k，a_k)为在状态s动作a下第k步迭代的时间隧道，α为Q学习率，设置为0<α<1，对Q函数的收敛速率即算法稳定性进行权衡。更大的α可以加快学习速度，而更小的α能提高系统的稳定性。在预学习过程中，选择α的初始值为0.1以获得总体的探索，然后为了逐渐提高系统的稳定性，它将以线性方式减少，这里选择α＝0.5。ρ_k为第k步迭代过程中的Q函数误差；M_k在第k步迭代过程中的Q函数误差的评估；Q_k(s_k，a_k)为动作a_k下，状态s_k的第k个智能体的Q函数；Q_k+1(s_k，a_k)为动作a_k下，状态s_k的第k+1个智能体的Q函数。

更新时间隧道e_k(s_k，a_k)为：

式中，λ为时间隧道衰减因子设置为0<λ<1，其作用是在状态动作对间分配信誉。对于长时延系统，它影响收敛速度及非马尔可夫效果。一般来说，回溯法里λ能被看作为时间标度因素。对于Q函数误差来说，小的λ意味着很少的信誉被赋予到历史状态动作对，而大的λ表明分配到了更多的信誉这里选择，λ＝0.9。γ为折扣因子，为Q函数将来的奖励提供折扣；e_k(s，a)为为在状态s动作a下第k步迭代的时间隧道；e_k+1(s，a)为为在状态s动作a下第k+1步迭代的时间隧道。

7)、混合策略π(s，a)更新为：

式中Δ_sa是策略更新时需要的增量变化量，它按照下面公式取值

一般情况下，δ_sa按照下面公式取值：

式中为变学习率，且|A_i|为状态s_k下可选行动的个数。

8)、更新时间隧道元素：

e(s_k,a_k)←e(s_k,a_k)+1 (10)

式中e(s_k，a_k)为为在状态s动作a下第k步迭代的时间隧道。

9)、选择变学习率为：

通过引入决策变化率以及决策空间斜率值，作为评判因素，若决策变化率和决策空间斜率估计值的乘积小于0，游戏者便赢了。变学习率设置为

10)、更新决策改变率Δ(s_k，a_k)和决策空间估计斜率Δ²(s_k，a_k)为

式中，Δ_sa是策略更新时需要的增量变化量，Δ(s_k，a_k)是决策改变率，Δ²(s_k，a_k)是决策空间估计斜率。通过引入增量变化量Δ_sa与决策改变率Δ(s_k，a_k)，更新决策空间估计斜率Δ²(s_k，a_k)。引入增量变化量Δ_sa，更新决策改变率Δ(s_k，a_k)。

11)、输入总功率指令△P_∑，对功率指令进行一致性计算，应用一致性算法为：

式中ω_i是第i个智能体的状态；ΔP_error是总功率指令和所有机组总调节功率的差值；ε为最大允许功率误差；k表示离散时间序列，d_ij[k]表示行随机矩阵D＝d_ij[k]∈R^n×n在离散时刻k的第[i，j]项。

12)、计算机组功率ΔP_Gi：

ω_i＝2α_i△P_Gi+β_i

(16)

式中是ω_i第i个机组发电成本的等微增率，正值常数α_i，β_i是功率扰动情况下的动态系数，其中α_i＝a_i；β_i＝2a_iP_Gi，plan+b_i。

13)判断调节机组功率是否越过发电约束，越过执行下一步骤，没有越过执行步骤15)。

14)、计算一致性变量ω_i和机组调节功率△P_Gi：

式中ω_i，lower和ω_i，upper是第i个智能体的一致性变量，△P_Gi，min和△P_Gi，max分别是可调功率最小值和最大值，ΔP_Gi是第i个机组的AGC调节功率，d_ij[k]表示行随机矩阵D＝d_ij[k]∈R^n×n在离散时刻k的第[i，j]项。

15)、计算功率偏差△P_error：

式中ΔP_error是总功率指令和所有机组总调节功率的差值。

16)、比较功率偏差△Perror，当功率误差的绝对值小于等于最大功率偏差时，执行下一步骤，否则执行步骤11)。

式中是最大功率偏差。

17)、输出机组调节功率△P_Gi；

18)、在下一个周期到来时，返回步骤3)。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (15)

1.孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，其特征在于包括以下步骤：

步骤1、确定状态离散集S；

步骤2、确定联合动作离散集A；

步骤3、在每个控制周期开始时，采集各个电网的实时运行数据，所述实时运行数据包括频率偏差Δf和功率偏差ΔP，计算各个区域控制误差ACE_i(k)的瞬时值与控制性能标准CPS_i(k)的瞬时值，根据混合策略集合π(s_k，a_k)选择搜索动作a_k；

步骤4、在当前状态s，某区域电网i获得一个短期的奖励函数信号R_i(k)；

步骤5、通过计算与估计获得值函数误差ρ_k、M_k；

步骤6、对所有区域电网，更新所有状态-动作(s，a)对应的Q函数表格和时间隧道矩阵e(s_k，a_k)；

步骤7、更新的Q值和更新当前状态s下的混合策略合策略π(s_k，a_k)；

步骤8、接着更新时间隧道元素e(s_k，ak)；

步骤9、选择变学习率

步骤10、根据函数更新决策改变率Δ(s_k，a_k)和决策空间估计斜率Δ²(s_k，a_k)；

步骤11、输出总功率参考值△P_∑，应用一致性算法；

步骤12、根据AGC的目标函数，计算机组调节功率△P_Gi；

步骤13、如果没有越过发电约束，执行步骤15；

步骤14、计算一致性变量ω_i和机组调节功率△P_Gi；

步骤15、计算功率偏差△P_erro_r；

步骤16、如果不满足执行步骤11；

步骤17、输出机组调节功率△P_Gi；

步骤18、令k＝k+1，并返回步骤3。

2.根据权利要求1所述孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，其特征在于：所述步骤1的状态离散集S，通过控制性能标准CPS和区域控制误差ACE值的划分来确定。

3.根据权利要求1所述孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，其特征在于：所述步骤2的联合动作离散集A的表达式为：

A＝A₁×A₂×…×A_i×…×A_n

其中，A_i为智能体i的输出离散动作集，n为智能体个数。

4.根据权利要求1所述孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，其特征在于：短期奖励函数信号R_i(k)的表达式为：

R(s_k-1,s_k,a_k-1)＝-μ|△f|²-(1-μ)C_{instantaneous}/50000

式中|Δf|和C_{instantaneous}分别表示在第k次迭代中频率偏差的瞬时绝对值以及所有机组的实际发电成本，μ和(1-μ)分别为|Δf|和C_{instantaneous}的奖励权重比，这里选择μ＝0.5。

5.根据权利要求1所述孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，其特征在于：所述步骤5的智能体在第k步迭代过程中的Q函数误差的ρ_k和Q函数误差的评估M_k，它们的表达式为：

ρ_k＝R(s_k,s_k+1,a_k)+γQ_k(s_k+1,a_g)-Q_k(s_k,a_k)

M_k＝R(s_k,s_k+1,a_k)+γQ_k(s_k+1,a_g)-Q_k(s_k,a_g)，

式中，γ为折扣因子，为Q函数将来的奖励提供折扣；在热电厂为主导的LFC控制过程中，由于最新的奖励最重要，所以应该选取近似1的值；R(s_k，s_k+1，a_k)为在选定的动作a_k下，从状态s_k转移到状态s_k+1的智能体奖励函数；a_g为贪婪动作；Q(s_k，a_k)为动作a_k下，状态s_k的Q函数；Q(s_k，a_g)为贪婪动作a_g下，状态s_k的Q函数。

6.根据权利要求1所述孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，其特征在于：所述步骤6的Q函数的更新为：

Q_k+1(s_k,a_k)＝Q_k(s_k,a_k)+αM_ke_k(s_k,a_k)

Q_k+1(s_k,a_k)＝Q_k+1(s_k,a_k)+αρ_k；

式中，e_k(s_k，a_k)为在状态s动作a下第k步迭代的时间隧道，α为Q学习率，设置为0<α<1，对Q函数的收敛速率即算法稳定性进行权衡；更大的α可以加快学习速度，而更小的α能提高系统的稳定性；在预学习过程中，选择α的初始值为0.1以获得总体的探索，然后为了逐渐提高系统的稳定性，它将以线性方式减少；ρ_k为第k步迭代过程中的Q函数误差；M_k在第k步迭代过程中的Q函数误差的评估；Q_k(s_k，a_k)为动作a_k下，状态s_k的第k个智能体的Q函数；Q_k+1(s_k，a_k)为动作a_k下，状态s_k的第k+1个智能体的Q函数；

更新时间隧道e_k(s_k，a_k)为：

<mrow> <msub> <mi>e</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&amp;gamma;&amp;lambda;e</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>+</mo> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> <mo>=</mo> <mo>(</mo> <msub> <mi>s</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>a</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;gamma;&amp;lambda;e</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>

式中，λ为时间隧道衰减因子设置为0<λ<1，其作用是在状态动作对间分配信誉；对于长时延系统，它影响收敛速度及非马尔可夫效果，一般来说，回溯法里λ能被看作为时间标度因素，对于Q函数误差来说，小的λ意味着很少的信誉被赋予到历史状态动作对，而大的λ表明分配到了更多的信誉；γ为折扣因子，为Q函数将来的奖励提供折扣；e_k(s，a)为为在状态s动作a下第k步迭代的时间隧道；e_k+1(s，a)为为在状态s动作a下第k+1步迭代的时间隧道。

7.根据权利要求1所述孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，其特征在于：所述步骤7的混合策略π(s，a)更新为：

<mrow> <mi>&amp;pi;</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>a</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;LeftArrow;</mo> <mi>&amp;pi;</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>a</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;Delta;</mi> <mrow> <msub> <mi>s</mi> <mi>k</mi> </msub> <msub> <mi>a</mi> <mi>k</mi> </msub> </mrow> </msub> </mrow>

式中Δ_sa是策略更新时需要的增量变化量，它按照下面公式取值：

<mrow> <msub> <mi>&amp;Delta;</mi> <mrow> <msub> <mi>s</mi> <mi>k</mi> </msub> <msub> <mi>a</mi> <mi>k</mi> </msub> </mrow> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>-</mo> <msub> <mi>&amp;delta;</mi> <mrow> <msub> <mi>s</mi> <mi>k</mi> </msub> <msub> <mi>a</mi> <mi>k</mi> </msub> </mrow> </msub> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <msub> <mi>a</mi> <mi>k</mi> </msub> <mo>&amp;NotEqual;</mo> <msub> <mi>argmax</mi> <msub> <mi>a</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </msub> <mi>Q</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>a</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;Sigma;&amp;delta;</mi> <mrow> <msub> <mi>s</mi> <mi>k</mi> </msub> <msub> <mi>a</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </mrow> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>

一般情况下，δ_sa按照下面公式取值：

式中为变学习率，且|A_i|为状态s下可选行动的个数。

8.根据权利要求1所述孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，其特征在于：所述步骤8的更新时间隧道元素：

e(s_k，a_k)←e(s_k，a_k)+1,

式中e(s_k，a_k)为在状态s动作a下第k步迭代的时间隧道。

9.根据权利要求1所述孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，其特征在于：所述步骤9的选择变学习率为：

通过引入决策变化率以及决策空间斜率值，作为评判因素，若决策变化率和决策空间斜率估计值的乘积小于0，游戏者便赢了，变学习率设置为根据动作值的最大化得到一个最优策略。

10.根据权利要求1所述孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，其特征在于：所述步骤10的更新决策改变率Δ(s_k，a_k)和决策空间估计斜率Δ²(s_k，a_k)为：

<mrow> <msup> <mi>&amp;Delta;</mi> <mn>2</mn> </msup> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>a</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;LeftArrow;</mo> <msub> <mi>&amp;Delta;</mi> <mrow> <msub> <mi>s</mi> <mi>k</mi> </msub> <msub> <mi>a</mi> <mi>k</mi> </msub> </mrow> </msub> <mo>-</mo> <mi>&amp;Delta;</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>a</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> </mrow>

<mrow> <mi>&amp;Delta;</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>a</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;LeftArrow;</mo> <msub> <mi>&amp;Delta;</mi> <mrow> <msub> <mi>s</mi> <mi>k</mi> </msub> <msub> <mi>a</mi> <mi>k</mi> </msub> </mrow> </msub> <mo>,</mo> </mrow>

式中，Δ_sa是策略更新时需要的增量变化量，Δ(s_k，a_k)是决策改变率，Δ²(s_k，a_k)是决策空间估计斜率，通过引入增量变化量Δ_sa与决策改变率Δ(s_k，a_k)，更新决策空间估计斜率Δ²(s_k，a_k)。

11.根据权利要求1所述孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，其特征在于：所述步骤11的应用一致性算法为：

<mrow> <msub> <mi>&amp;omega;</mi> <mi>i</mi> </msub> <mo>&amp;lsqb;</mo> <mi>k</mi> <mo>+</mo> <mn>1</mn> <mo>&amp;rsqb;</mo> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mrow> <msub> <mi>d</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <msub> <mi>&amp;omega;</mi> <mi>j</mi> </msub> <mo>&amp;lsqb;</mo> <mi>k</mi> <mo>&amp;rsqb;</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;epsiv;&amp;Delta;P</mi> <mrow> <mi>e</mi> <mi>r</mi> <mi>r</mi> <mi>o</mi> <mi>r</mi> </mrow> </msub> </mrow>

式中ε为一个正实数，它反映一致性算法的收敛性能，称为收敛系数，ΔP_error是总功率指令和所有机组总调节功率的差值，k表示离散时间序列；d_ij[k]表示行随机矩阵D＝d_ij[k]∈R^n×n在离散时刻k的第[i，j]项：

<mrow> <msub> <mi>d</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>k</mi> <mo>&amp;rsqb;</mo> <mo>=</mo> <mo>|</mo> <msub> <mi>l</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>|</mo> <mo>/</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>|</mo> <msub> <mi>l</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>|</mo> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>n</mi> <mo>.</mo> </mrow>

式中l_ij为拉普拉斯矩阵，表示为：

<mrow> <msub> <mi>l</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mi>j</mi> <mo>&amp;NotEqual;</mo> <mi>i</mi> </mrow> <mi>n</mi> </munderover> <mrow> <msub> <mi>b</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>l</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> </mrow> <mo>-</mo> <msub> <mi>b</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>i</mi> <mo>&amp;NotEqual;</mo> <mi>j</mi> </mrow>

式中常数b_ij(b_ij≥0)代表智能体间的权重因子，在智能体之间持续的相互交流及恒定增益b_ij条件下，当且仅当有向图是强连通时，能够实现协同一致性。

12.根据权利要求1所述孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，其特征在于：所述步骤12的计算机组调节功率ΔP_Gi为：

ω_i＝2α_i△P_Gi+β_i

式中是ω_i第i个机组发电成本的等微增率，ΔP_Gi是第i个机组的AGC调节功率，正值常数α_i，β_i是功率扰动情况下的动态系数，其中α_i＝a_i；β_i＝2a_iP_Gi，plan+b_i。

13.根据权利要求1所述孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，其特征在于：所述步骤14的计算一致性变量ω_i和机组调节功率△P_Gi：

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&amp;omega;</mi> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>&amp;omega;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>l</mi> <mi>o</mi> <mi>w</mi> <mi>e</mi> <mi>r</mi> </mrow> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>if&amp;Delta;P</mi> <mrow> <mi>G</mi> <mi>i</mi> </mrow> </msub> <mo>&lt;</mo> <msub> <mi>&amp;Delta;P</mi> <mrow> <mi>G</mi> <mi>i</mi> <mo>,</mo> <mi>min</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;omega;</mi> <mi>i</mi> </msub> <mo>&amp;lsqb;</mo> <mi>k</mi> <mo>+</mo> <mn>1</mn> <mo>&amp;rsqb;</mo> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mrow> <msub> <mi>d</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <msub> <mi>&amp;omega;</mi> <mi>j</mi> </msub> <mo>&amp;lsqb;</mo> <mi>k</mi> <mo>&amp;rsqb;</mo> <mo>,</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <msub> <mi>if&amp;Delta;P</mi> <mrow> <mi>G</mi> <mi>i</mi> <mo>,</mo> <mi>min</mi> </mrow> </msub> <mo>&amp;le;</mo> <msub> <mi>&amp;Delta;P</mi> <mrow> <mi>G</mi> <mi>i</mi> </mrow> </msub> <mo>&amp;le;</mo> <msub> <mi>&amp;Delta;P</mi> <mrow> <mi>G</mi> <mi>i</mi> <mo>,</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;omega;</mi> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>&amp;omega;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>u</mi> <mi>p</mi> <mi>p</mi> <mi>e</mi> <mi>r</mi> </mrow> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>if&amp;Delta;P</mi> <mrow> <mi>G</mi> <mi>i</mi> </mrow> </msub> <mo>&gt;</mo> <msub> <mi>&amp;Delta;P</mi> <mrow> <mi>G</mi> <mi>i</mi> <mo>,</mo> <mi>max</mi> </mrow> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced>

式中ω_i，lower和ω_i，upper是第i个智能体的一致性变量，△P_Gi，min和△P_Gi，max分别是可调功率最小值和最大值，ΔP_Gi是第i个机组的AGC调节功率，d_ij[k]表示行随机矩阵D＝d_ij[k]∈R^n×n在离散时刻k的第[i，j]项。

14.根据权利要求1所述孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，其特征在于：所述步骤15的计算功率偏差△P_error：

<mrow> <msub> <mi>&amp;Delta;P</mi> <mrow> <mi>e</mi> <mi>r</mi> <mi>r</mi> <mi>o</mi> <mi>r</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>&amp;Delta;P</mi> <mi>&amp;Sigma;</mi> </msub> <mo>-</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>&amp;Delta;P</mi> <mrow> <mi>G</mi> <mi>i</mi> </mrow> </msub> </mrow>

式中ΔP_error是总功率指令和所有机组总调节功率的差值。

15.根据权利要求1所述孤岛智能配电网下虚拟狼群控制策略的智能发电控制方法，其特征在于：所述步骤16的比较功率偏差：

<mrow> <mo>|</mo> <msub> <mi>&amp;Delta;P</mi> <mrow> <mi>e</mi> <mi>r</mi> <mi>r</mi> <mi>o</mi> <mi>r</mi> </mrow> </msub> <mo>|</mo> <mo>&lt;</mo> <msubsup> <mi>&amp;Delta;P</mi> <mrow> <mi>e</mi> <mi>r</mi> <mi>r</mi> <mi>o</mi> <mi>r</mi> </mrow> <mi>max</mi> </msubsup> </mrow>

式中是最大功率偏差。