CN112186796B - 基于人工情感强化学习的多微网非计划性孤岛控制方法 - Google Patents

Abstract

本发明公开了基于人工情感强化学习的多微网非计划性孤岛控制方法，包括：确定多微网非计划性孤岛时期的联络线功率缺额；建立智能体，确定情感系数，计算人工情感强化学习的动态学习率；依据负荷重要等级建立人工情感强化学习的奖励值函数；求解人工情感强化学习的学习值；比较多微网内电源功率与联络线功率缺额，若电源功率大于联络线功率缺额，则由多微网内电源出力，弥补联络线功率缺额，结束；若电源功率小于联络线功率缺额，则利用智能体选择动作空间中元素，执行减载动作，实现多微网的功率平衡。本发明能够避免因切除重要负荷而引起重大的断电事故，切除负荷时系统的电压和频率波动幅值较小，而且恢复时间短，有利于系统电压和频率的稳定。

Description

基于人工情感强化学习的多微网非计划性孤岛控制方法

技术领域

本发明属于微电网控制领域，具体涉及一种基于人工情感强化学习的多微网非计划性孤岛控制方法。

背景技术

随着包含可再生能源的分布式发电和储能系统的微电网得到了广泛推广，由多个微电网系统组成的多微网系统开始出现。多微网可以在并网与孤岛两种模式下运行，当在两种模式之间切换时，多微网需要保证自身运行的安全稳定。当配电网发生故障导致微电网发生非计划性孤岛时，会引起多微网电压与频率的短时震荡，这给多微网的安全运行与负荷供电可靠性带来了一定的挑战，所以有必要找到一种满足复杂情况下的多微网非计划性孤岛控制方法。

现有技术中，T.John等2017年发表的论文“Voltage and frequency controlduring microgrid islanding in a multi-area multi-microgrid”针对多微网在并离网切换时出现的功率缺额问题，提出了一种改进的模型预测控制(MPC)算法，能够在减载期间维持电压和频率稳定。J.Zhao等2017年发表的论文“Island partition of distributionnetwork with microgrid based on the energy at risk”考虑负荷功率恢复的最大加权和以及最小孤岛数等目标约束，提出了基于多微网系统的多目标孤岛划分模型，以保证孤岛过程中网内的供电可靠性。W.R.Issa等2018年发表的论文“Control Strategy forUninterrupted Microgrid Mode Transfer During Unintentional IslandingScenarios”提出一种包含可再生能源和储能系统的逆变器控制的统一控制拓扑结构。该控制结构采用以直流链路电压作为反馈信号的控制回路，以提高微网非计划性孤岛期间的稳定性。W.R.Issa等2015年发表的论文“Control of transient power duringunintentional islanding of microgrids”设计了一种控制器通过调节功率设定值来限制并联逆变器在非计划性孤岛状态下的暂态功率，实现两种模式的平滑切换。然而上述方法的控制效果对多微网物理模型的精度依赖性较高，这导致其在多微网非计划性孤岛期间对多微网的结构适应性不强。

发明内容

本发明的目的是针对上述问题，提供一种基于人工情感强化学习的多微网非计划性孤岛控制方法，利用人工情感模型对微电网的负荷的重要性进行区分，建立人工情感强化学习的奖励值函数并动态更新，微电网电源不足以弥补功率缺额时，基于人工情感模型选择要切除的负荷进行减载动作，实现多微网的功率平衡和平滑切换，在切换期间保证网内重要负荷的供电可靠性，且能够有效维持系统电压和频率的稳定。

本发明的技术方案是基于人工情感强化学习的多微网非计划性孤岛控制方法，基于人工情感强化学习的多微网非计划性孤岛控制方法，包括以下步骤，

步骤1：确定多微网非计划性孤岛时期的联络线功率缺额；

步骤2：建立智能体，确定状态空间和动作空间；

步骤2.1：确定情感系数，计算人工情感强化学习的动态学习率；

步骤2.2：依据负荷重要等级建立人工情感强化学习的奖励值函数；

步骤2.3：求解人工情感强化学习的学习值；

步骤3：比较多微网内电源功率与联络线功率缺额，若电源功率大于联络线功率缺额，则由多微网内电源出力，弥补联络线功率缺额，结束；若电源功率小于联络线功率缺额，则执行步骤4；

步骤4：智能体根据学习值选择动作空间中元素，执行减载动作，实现多微网的功率平衡。

优选地，步骤4中，智能体采用ε-greedy贪心策略选择动作空间中元素，以概率ε选择具有最大学习值的动作，以概率1-ε选择其他动作，以保证智能体任意状态的所有动作都有可能被选中。

进一步地，步骤2.1中，所述学习率的计算式如下：

C_f(η)＝K_aη+K_b

α_η＝αC_f(η)

其中η为情感系数；f_n为情感量化函数；θ_i为人工所感知多微网源荷储功率信息；w_i为各信息评价因素权重，λ_i为量化因子；k_η为人工情感最大化范围系数；K_a、K_b分别为转化系数；α_η为人工情感作用后的学习率。

进一步地，步骤2.2中，奖励值函数如下：

其中R(s,s′,a)为立即奖励值，V^*(a)为动作a的奖励值；PS为功率缺额；Pa为动作a切除的负荷功率；s为从环境中获取的状态值；s′为下一时刻状态值。

进一步地，所述人工情感强化学习的学习值的更新表达式如下：

其中Q(s,a)为学习值；a为智能体当前时刻动作；A为动作空间；γ为折扣因子。

相比现有技术，本发明的有益效果是能多微网非计划性孤岛控制期间保证网内重要负荷的供电可靠性，避免因切除重要负荷而引起重大的断电事故；本发明的控制方法在切除负荷时系统的电压和频率波动幅值较小，而且恢复时间短，能够有效维持多微网非计划性孤岛过程中系统电压和频率的稳定。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为实施例的基于人工情感强化学习的多微网平滑切换的流程示意图。

图2为实施例的多微网的系统结构示意图。

图3a为本发明的切换控制方法与隐枚举法控制的系统电压波形对比图。

图3b为本发明的切换控制方法与隐枚举法控制的系统频率波形对比图。

具体实施方式

基于人工情感强化学习的多微网非计划性孤岛控制方法，包括以下步骤，

步骤1：确定多微网非计划性孤岛时期的联络线功率缺额；

步骤2：建立智能体，确定状态空间和动作空间；

步骤2.1：确定情感系数，计算人工情感强化学习的动态学习率；

学习率的计算式如下：

C_f(η)＝K_aη+K_b

α_η＝αC_f(η)

其中η为情感系数，η_max为最大情感系数；f_n为情感量化函数；θ_i为人工所感知多微网源荷储功率信息；w_i为各信息评价因素权重，λ_i为量化因子；k_η为人工情感最大化范围系数；K_a、K_b分别为转化系数；α_η为人工情感作用后的学习率。

步骤2.2：依据负荷重要等级建立人工情感强化学习的奖励值函数；

奖励值函数如下：

其中R(s,s′,a)为立即奖励值，V^*(a)为动作a的奖励值；PS为功率缺额；Pa为动作a切除的负荷功率；s为从环境中获取的状态值；s′为下一时刻状态值。

步骤2.3：求解人工情感强化学习的学习值；

所述人工情感强化学习的学习值的更新表达式如下：

其中Q(s,a)为学习值；a为智能体当前时刻动作；A为动作空间；γ为折扣因子。

步骤3：比较多微网内电源功率与联络线功率缺额，若电源功率大于联络线功率缺额，则由多微网内电源出力，弥补联络线功率缺额，结束；若电源功率小于联络线功率缺额，则执行步骤4；

步骤4：智能体选择动作空间中元素，执行减载动作，实现多微网的功率平衡。

智能体的状态空间如下：

S:{P_t ^PV,P_t ^BES,P_t ^LD,PS_t}

智能体的动作空间如下：

P_t ^PV为光伏实时发电功率；P_t ^BES为储能设备实时功率；P_t ^LD为三相负荷实时功率；PS_t为联络线实时功率缺额；

为三相负荷实时动作。

图2所示为实施例的多微网的系统结构图，多微网包含三个三相微电网，三相微电网包括储能装置、光伏发电单元和三相负载。整个多微网通过并离网开关与配电网相连。当配电网发生停电事故或严重故障时，并离网开关迅速断开，多微网进行非计划性孤岛控制。

图1所示为实施例的基于人工情感强化学习平滑切换流程图。基于人工情感强化学习过程与模式切换详细步骤如下：首先从多微网系统中获取光伏发电功率P_PV、储能电池功率P_BES、负载功率P_LD以及联络线功率缺额PS，通过比较电源出力与功率缺额大小关系，当电源出力足够弥补功率缺额，由微电网电源弥足多微网内的功率缺额；当电源出力不足以弥补功率缺额，切除多微网内部分负荷，以弥补功率缺额。基于人工情感强化学习的减载策略分为人工情感和强化学习两部分。在人工情感部分中，首先创造人工情感，然后建立人工情感量化数学模型计算情感系数η，而后引入线性函数将情感系数η转化为强化学习的实际影响传递给逻辑部分。在强化学习逻辑部分中，Q学习通过负荷重要等级构建回报奖励值函数R(s,s′,a)，结合人工情感系数η更新的学习效率α，来更新Q学习值Q(s,a)。最后智能体基于贪婪算法选择动作空间中元素执行减载动作从而实现多微网非计划性孤岛时的功率平衡。

实施例中，智能体采用ε-greedy贪心策略选择动作空间中元素，以概率ε选择具有最大学习值的动作，以概率1-ε选择其他动作，以保证智能体任意状态的所有动作都有可能被选中。

实施例的多微网的系统参数如下：光伏发电单元PV1-5的额定功率分别为5kW,5kW,7kW,7kW，储能单元BES1-5的额定功率分别为3kW,3kW,15kW,6kW,7kW。负荷单元LD1-9功率分别为8.4kW，7.5kW，8.5kW，3.2kW，6.8kW，5.2kW，8.8kW，7.7kW，6.7kW。

图3a和图3b为本发明的多微网非计划性孤岛控制方法与隐枚举法分别作用下的多微网的系统电压和频率比较图。隐枚举是一种要求失电负荷最小且减载数量最少的方法，在多微网非计划性孤岛过程切除负荷时没有考虑负荷的重要性，容易切除大功率负荷从而导致频率和电压产生较大的波动。基于人工情感强化学习的非计划性孤岛控制方法通过将负荷按照重要程度划分等级，能够避免所切除负荷集中，并且避免切除重要负荷。

本发明提出的控制方法，不仅使电压和频率波动幅值较小，而且使它们的恢复时间较短，图3a、3b表明采用本发明多微网非计划性孤岛控制方法在频率和电压的控制上效果好。

Claims (5)

1.基于人工情感强化学习的多微网非计划性孤岛控制方法，其特征在于，包括以下步骤，

步骤1：确定多微网非计划性孤岛时期的联络线功率缺额；

步骤2：建立智能体，确定状态空间和动作空间；

步骤2.1：确定情感系数，计算人工情感强化学习的动态学习率；

步骤2.2：依据负荷重要等级建立人工情感强化学习的奖励值函数；

奖励值函数如下：

其中R(s,s′,a)为立即奖励值，V^*(a)为动作a的奖励值；PS为功率缺额；Pa为动作a切除的负荷功率；s为从环境中获取的状态值；s′为下一时刻状态值；

步骤2.3：求解人工情感强化学习的学习值；

步骤3：比较多微网内电源功率与联络线功率缺额，若电源功率大于联络线功率缺额，则由多微网内电源出力，弥补联络线功率缺额，结束；若电源功率小于联络线功率缺额，则执行步骤4；

步骤4：智能体根据学习值选择动作空间中元素，执行减载动作，实现多微网的功率平衡。

2.根据权利要求1所述的基于人工情感强化学习的多微网非计划性孤岛控制方法，其特征在于，步骤4中，智能体采用ε-greedy贪心策略选择动作空间中元素，以概率ε选择具有最大学习值的动作，以概率1-ε选择其他动作。

3.根据权利要求1所述的基于人工情感强化学习的多微网非计划性孤岛控制方法，其特征在于，步骤2.1中，所述学习率的计算式如下：

C_f(η)＝K_aη+K_b

α_η＝αC_f(η)

其中η为情感系数；f_n为情感量化函数；θ_i为人工所感知多微网源荷储功率信息；w_i为各信息评价因素权重，λ_i为量化因子；k_η为人工情感最大化范围系数；K_a、K_b分别为转化系数；α_η为人工情感作用后的学习率。

4.根据权利要求3所述的基于人工情感强化学习的多微网非计划性孤岛控制方法，其特征在于，所述人工情感强化学习的学习值的更新表达式如下：

其中Q(s,a)为学习值；a为智能体当前时刻动作；A为动作空间；γ为折扣因子。

5.根据权利要求1-4任意一项所述的基于人工情感强化学习的多微网非计划性孤岛控制方法，其特征在于，智能体的状态空间如下：

S:{P_t ^PV,P_t ^BES,P_t ^LD,PS_t}

智能体的动作空间如下：

S为状态空间；A为动作空间；P_t ^PV为光伏实时发电功率；P_t ^BES为储能设备实时功率；P_t ^LD为三相负荷实时功率；PS_t为联络线实时功率缺额；

为三相负荷实时动作。

Images