CN111817349B - 基于深度q学习的多微网被动并离网切换控制方法 - Google Patents

Abstract

基于深度Q学习的多微网被动并离网切换控制方法，当配电网发生故障时，判断多微网电源出力与联络线上产生功率缺额的大小关系，若多微网电源出力难以弥补联络线上产生的功率缺额；则将多微网内光伏、储能、负荷实时功率和联络线上产生的功率缺额，作为多微网运行环境信息，通过卷积神经网络提取多微网运行环境信息，构建状态空间和动作空间；基于优先经验回放机制，构建切换控制模型；构建奖励值函数；利用优先级采样方式代替均匀采样，通过更新卷积神经网络参数，输出负荷动作信息，得到最优减载策略。该方法在应对多微网被动并离网切换出现系统功率缺额时，仍然能够保证重要负荷稳定供电，有效维持系统电压和频率的稳定。

Description

基于深度Q学习的多微网被动并离网切换控制方法

技术领域

本发明属于微电网并离网切换领域，具体涉及一种基于深度Q学习的多微网被动并离网切换控制方法。

背景技术

随着微电网的普及，由多个邻近区域的三相微电网因某种需求而形成的多微网系统受到广泛关注。多微网在不同运行方式下的平滑切换是保证用电设备稳定运行的关键。当配电网发生故障导致多微网被动并离网切换时，若系统内电源出力难以弥补系统功率缺额，容易导致系统频率和电压振荡，对多微网的稳定运行带来巨大隐患。为了保障多微网的安全稳定运行，有必要对多微网并离网切换控制方法展开深入研究。

现有技术文献中：文献《应对脱离配电网情况的单三相多微网组合分析及切换控制》(许志荣，杨苹，彭嘉俊.应对脱离配电网情况的单三相多微网组合分析及切换控制.电力自动化设备,2017,37(9)：1-9.)提出了一种模糊多目标决策控制方法，实现微电网由并网模式向孤岛模式的平滑切换。但是该文献没有考虑微电网被动并离网切换时的状况。

A ReliableMicrogrid With Seamless Transition Between Grid ConnectedandIslanded Mode for Residential Community With Enhanced PowerQuality(G.G.Talapur,H.M.Suryawanshi,L.Xu,and A.B.Shitole.A ReliableMicrogrid WithSeamless Transition Between Grid Connected andIslanded Mode for ResidentialCommunity With Enhanced PowerQuality[J].IEEE Transactions on IndustrialElectronics,2018,54(5):5246-5255.)提出了一种改进的电流控制技术，通过对局部负荷无功功率、谐波电流的补偿，实现微电网的平滑切换。但是该控制策略侧重于单个微电网结构。

Coordinated control of passive transition from grid-connected toislanded operation for three/single-phase hybrid multimicrogrids consideringspeed and smoothness(C.Wang,X.Li,T.Tian,Z.Xu,and R.Chen.Coordinated controlof passive transition from grid-connected to islanded operation for three/single-phase hybrid multimicrogrids considering speed and smoothness[J].IEEETransactions on Industrial Electronics.2019,doi:10.1109/TIE.2019.2903749,tobe published.)提出了一种兼顾时效性及平滑度的并离网切换控制方法，实现了多微网并离网切换过程中功率平衡。但是该方法采用物理模型有较强的局限性，对于多微网复杂拓扑结构和运行模式切换适应性不强。

发明内容

针对上述技术中的不足，本发明提供一种基于深度Q学习的多微网被动并离网切换控制方法，该方法通过深度Q学习获取电网运行信息，利用深度Q学习将当前多微网功率缺额状态映射到相应的减载动作。相对于传统控制方法，该方法在应对多微网被动并离网切换出现系统功率缺额时，仍然能够保证重要负荷稳定供电，有效维持系统电压和频率的稳定。

本发明采取的技术方案为：

基于深度Q学习的多微网被动并离网切换控制方法，包括以下步骤：

步骤一：当配电网发生故障时，判断多微网电源出力与联络线上产生功率缺额的大小关系，若多微网电源出力能够弥补联络线上产生的功率缺额，则被动并离网切换过程结束；若多微网电源出力难以弥补联络线上产生的功率缺额，则进入步骤二；

步骤二：将多微网内光伏、储能、负荷实时功率和联络线上产生的功率缺额，作为多微网运行环境信息，通过卷积神经网络提取多微网运行环境信息，构建状态空间和动作空间；

步骤三：基于优先经验回放机制，构建切换控制模型；

步骤四：构建奖励值函数；

步骤五：利用优先级采样方式代替均匀采样，通过更新卷积神经网络参数，输出负荷动作信息，得到最优减载策略。

本发明一种基于深度Q学习的多微网被动并离网切换控制方法，在应对多微网被动并离网切换时能够保证重要负荷稳定供电，维持系统电压和频率的稳定。

附图说明

图1为多微网被动并离网切换控制流程图。

图2为改进的IEEE-37节点的多微网拓扑结构图；

其中：表示光伏发电，/>表示变压器，/>表示储能电池，/>表示负荷。

图3(a)为多微网发生被动并离网切换时的频率波形图；

图3(b)为多微网发生被动并离网切换时的电压波形图。

具体实施方式

基于深度Q学习的多微网被动并离网切换控制方法，包括以下步骤：

步骤一：当配电网发生故障时，判断多微网电源出力与联络线上产生功率缺额的大小关系，若多微网电源出力能够弥补联络线上产生的功率缺额，则被动并离网切换过程结束；若多微网电源出力难以弥补联络线上产生的功率缺额，则进入步骤二；

步骤二：将多微网内光伏、储能、负荷实时功率和联络线上产生的功率缺额，作为多微网运行环境信息，通过卷积神经网络提取多微网运行环境信息，构建状态空间和动作空间；

步骤三：基于优先经验回放机制，构建切换控制模型；

步骤四：构建奖励值函数；

步骤五：利用优先级采样方式代替均匀采样，通过更新卷积神经网络参数，输出负荷动作信息，得到最优减载策略。

所述步骤一中，联络线上产生的功率缺额表示为：

P^PS＝∑P_BES+∑P_PV-∑P_LD

其中：P^PS为联络线上产生的功率缺额；∑p_BES为多微网系统内所有储能功率之和；∑p_PV为多微网系统内所有光伏功率之和；∑p_LD为多微网系统内所有负荷功率之和。

当微网通过公共节点与大电网相连时，微网频率由大电网支撑，当大电网发生故障，微网被动切换至孤岛模式；此时通过上传分布式电源输出的功率和负荷消耗功率，即可得到联络线上的功率缺额。

所述步骤二中，

通过卷积神经网络提取多微网运行环境信息，卷积神经网络是一种包含卷积计算和深度结构的神经网络，而且是深度学习的代表算法之一。在该卷积神经网络结构中，通过局部感知和参数共享完成智能体对减载方案的训练过程，进而强化Q学习的输入信息，不断训练网络计算奖励值。

状态空间表示为：

其中：S为状态空间；为光伏实时发电功率；/>为储能设备实时功率；/>为三相负荷实时功率；P_t ^PS为联络线实时功率缺额；

动作空间表示为：

其中：A为动作空间；为三相负荷实时动作。

所述步骤三中，

优先经验回放深度为在Q学习在更新迭代过程中，需要对下一步动作根据奖励值进行更新，当某一动作值使得该迭代过程中奖励值更优，则在后面的动作选择中偏向于该动作。以此类推，根据优先经验回放机制，使得Q学习能够快速迭代，得到最优结果。

所述切换控制模型的采样经验i，其概率计算公式为：

其中：p_i为第i个经验转移元组的优先级；p_k为第k个经验转移元组的优先级；α表示控制优先性使用的程度。

所述切换控制模型中，基于等级的优先级表示为：

p_i＝1/rank(i)

其中：rank(i)为回放内存排序时转换i的秩。

所述步骤四中，奖励值函数表示为：

其中：R(s_t,s_t+1,a)为奖励值函数；P^PS为联络线上产生的功率缺额；P_a为动作a下切除的负荷功率；V^*(a)为动作a下的最终评价值。

所述步骤五中，

优先级采样为对每个负荷进行设置不同的优先级，不同的优先级对应不同的权重因子，当进行Q学习寻优减载过程中，优先级越低的负荷，越容易被选中；

通过更新卷积神经网络参数，具体如下：

其中：Q(s_t,a_t)为Q学习算法中值函数；s_t和s_t+1分别为多微网当前功率缺额状态和下一时刻功率缺额状态；α_t为当前时刻减载动作；α为智能体的学习率；γ为折扣因子；R(s_t,s_t+1,a)为奖励值函数。

当在步骤一中计算得出微网从并网转至孤岛运行时的功率缺额后，基于智能体每次动作值获得的奖励值更新Q学习，即切除不同负荷组合方案下所能获得的奖励值最大时，即为最优减载策略。

实施例：

图1是多微网被动并离网切换控制流程图。通过卷积神经网络将多微网中储能、光伏、负荷实时功率、联络线上产生的功率缺额以记忆单元的形式作为样本储存，采用优先级采样方式选取高优先级的样本输入到当前系统网络中，利用卷积神经网络去提取多微网内有用特征。卷积神经网络特征选择结果作为强化学习的输入信息，以此不断更新Q值。通过Q学习将当前状态映射到相应减载动作，通过奖励值函数评判动作价值。最后通过Q学习输出最优并离网切换控制决策。

图2是改进的IEEE-37节点的多微网拓扑结构图。该多微网包含三个三相子微网，各子微网中均有光伏发电装置、储能电池、负载。当配电网发生故障导致开关断开时，多微网被动切换为孤岛运行模式。该系统参数如下所示：

微电网MG3P-1中光伏电源额定功率PV1-3分别为6.1Kw、5.8Kw、6.1Kw；微电网MG3P-2中光伏电源额定功率PV1-2分别为10.1Kw、10Kw。微电网MG3P-3中光伏电源额定功率PV1-3分别为3Kw、4.5Kw、7Kw。微电网MG3P-1中负荷额定功率LD1-6分别为7.5Kw、15.7Kw、4.2Kw、8.8Kw、8.5Kw、4.2Kw；微电网MG3P-2中负荷额定功率LD1-4分别为4.1Kw、4.7Kw、12.6Kw、4.2Kw；微电网MG3P-3中负荷额定功率LD1-8分别为15.3Kw、4.3Kw、11Kw、4.2Kw、13Kw、4.2Kw、11Kw、4.3Kw。三相子微网中MG3P-1、MG3P-2、MG3P-3切除的负荷分别为8.5kw、4.7kw、12.8kw。

图3(a)为多微网发生被动并离网切换时的频率波形图。从图3(a)可以看出在t＝1s时刻，多微网发生被动并离网切换。基于隐枚举法控制下的系统频率迅速从50Hz跌落到49.7Hz以下。与基于隐枚举控制在应对被动并离网切换时的控制效果相比，基于本专利所提切换控制策略作用下的系统频率从50Hz跌落到49.7Hz附近，频率振荡明显较小，且决策时间相对较短。

图3(b)为多微网发生被动并离网切换时的电压波形图。从图3(b)可以看出在t＝1s时刻，多微网发生被动并离网切换。基于隐枚举法控制下的系统电压迅速从380v跌落到340v以下。与基于隐枚举控制在应对被动并离网切换时的控制效果相比，基于本专利所提控制策略作用下的系统电压从380v跌落至360v附近，电压振荡较小，持续时间较短。上述仿真的对比结果表明本发明所提方法能够有效地减小多微网发生被动并离网切换过程中的频率和电压振荡幅度，维持系统电压和频率的稳定。

Claims (3)

1.基于深度Q学习的多微网被动并离网切换控制方法，其特征在于包括以下步骤：

步骤一：当配电网发生故障时，判断多微网电源出力与联络线上产生功率缺额的大小关系，若多微网电源出力能够弥补联络线上产生的功率缺额，则被动并离网切换过程结束；若多微网电源出力难以弥补联络线上产生的功率缺额，则进入步骤二；

步骤二：将多微网内光伏、储能、负荷实时功率和联络线上产生的功率缺额，作为多微网运行环境信息，通过卷积神经网络提取多微网运行环境信息，构建状态空间和动作空间；

所述步骤二中，状态空间表示为：

其中：S为状态空间；为光伏实时发电功率；/>为储能设备实时功率；/>为三相负荷实时功率；P_t ^PS为联络线实时功率缺额；

动作空间表示为：

其中：A为动作空间；为三相负荷实时动作；

步骤三：基于优先经验回放机制，构建切换控制模型；

所述步骤三中，切换控制模型的采样经验i，其概率计算公式为：

其中：p_i为第i个经验转移元组的优先级；p_k为第k个经验转移元组的优先级；α表示控制优先性使用的程度；

所述切换控制模型中，基于等级的优先级表示为：

p_i＝1/rank(i)

其中：rank(i)为回放内存排序时转换i的秩；

步骤四：构建奖励值函数；

步骤四中，奖励值函数表示为：

其中：R(s_t,s_t+1,a)为奖励值函数；P^PS为联络线上产生的功率缺额；P_a为动作a下切除的负荷功率；V^*(a)为动作a下的最终评价值；

步骤五：利用优先级采样方式代替均匀采样，通过更新卷积神经网络参数，输出负荷动作信息，得到最优减载策略。

2.根据权利要求1所述基于深度Q学习的多微网被动并离网切换控制方法，其特征在于：所述步骤一中，联络线上产生的功率缺额表示为：

P^PS＝∑P_BES+∑P_PV-∑P_LD

其中：P^PS为联络线上产生的功率缺额；∑p_BES为多微网系统内所有储能功率之和；∑p_PV为多微网系统内所有光伏功率之和；∑p_LD为多微网系统内所有负荷功率之和。

3.根据权利要求1所述基于深度Q学习的多微网被动并离网切换控制方法，其特征在于：所述步骤五中，通过更新卷积神经网络参数，具体如下：

其中：Q(s_t,a_t)为Q学习算法中值函数；s_t和s_t+1分别为多微网当前功率缺额状态和下一时刻功率缺额状态；α_t为当前时刻减载动作；α为智能体的学习率；γ为折扣因子；R(s_t,s_t+1,a)为奖励值函数。