CN111799820A - 一种电力系统双层智能混合零星云储能对抗调控方法 - Google Patents

Abstract

本发明提供一种电力系统双层智能混合零星云储能对抗调控方法。该方法构建了含云储能的电力系统实时调度与控制框架，该方法能够解决当前含云储能的电力系统以“机组组合+经济调度+自定发电控制+机组功率分配/储能充放电功率分配”多时间尺度形式的调度与控制方法中难以协调的问题。本发明使用储能用户的历史数据进行预测以实现云储能的统一调度与控制。本发明利用双层长短时记忆网络与深度神经网络方法进行发电功率和储能充放电功率预测；利用强化学习方法建立对抗架构，进而实现含云储能电力系统统一调度与控制。可提高分布式可再生能源的渗透率，保障电力系统安全、可靠、高效运行。

Description

一种电力系统双层智能混合零星云储能对抗调控方法

技术领域

本发明属于电力系统调度与控制领域，涉及用户使用储能来接纳可再生能源发电以及平滑负荷曲线，提高能源的利用率，适用于含云储能的电力系统调度与控制。

背景技术

随着电力行业的不断进步，能源互联网将成为未来电网的重要发展方向。分布式可再生能源与分布式储能的联合运行将是未来的趋势。与集中式储能不同，分布式储能一般安装在用户侧和微电网中，用来存储用户可再生能源发出的过剩的电能，或者帮助用户负荷削峰填谷以减少电费。分布式储能技术对于能源互联网的发展起到支撑性的作用。但每个用户都建立储能设备，储能成本较高，且储能的总容量较高。云储能可将原本分散在用户侧的储能装置集中到云端，用云端的虚拟储能容量来代替用户侧的实体储能，可降低用户费用，且储能的容量需求更少。为减少建设储能的总费用以及保障电力系统的安全、可靠、高效运行，需要对电力系统云储能进行统一的调度。

当前的机器学习方法，特别是深度学习和强化学习受到了诸多学者的关注。强化学习是智能体以“试错”的方式进行学习的方法，通过与环境进行交互获得奖赏指导智能体的行为。强化学习系统在行动-评价的环境中获得知识，改进行动方法以适应环境。深度学习通过建立、模拟人脑进行分析学习，模仿人脑的机制来解释数据。深度学习方法能学习数据的输入和输出关系，并且计算速度较快。将深度学习和强化学习相结合运用到复杂的电力系统的调度与控制中，可达到提高计算效率、减少计算步骤的效果。

发明内容

本发明提出一种电力系统双层智能混合零星云储能对抗调控方法，该方法与传统发电调度与控制框架不同。电力系统双层智能零星云储能对抗调控方法能替代“机组组合+经济调度+自动发电控制+机组功率分配/储能充放电功率分配”的多时间尺度方法，形成统一时间尺度的一体化方法。基于双层智能混合零星云储能对抗调控方法由长短时记忆网络方法、深度神经网络方法和强化学习方法三种方法构成。其中，长短时记忆网络的输入是单区域电力系统的历史负荷功率数据，通过长短时记忆网络的训练，其输出是实时的电力系统的预测负荷数据。深度神经网络以频率偏差和预测的负荷数据作为输入，电力系统发电功率和储能充放电功率预测值作为输出。通过强化学习可得到电力系统的发电功率指令和储能的充放电功率指令。

双层智能混合零星云储能对抗调控方法中的长短时记忆网络与一般的循环神经网络相似，但其隐含层的神经元不同的是，增加了一个单元状态来储存长期状态。长短时记忆网络的隐含层单元在t时刻有3个输入，分别是当前输入层的输入x_t、上一个隐含层的输出h_t-1以及上一个单元状态c_t-1。同时有两个输出，分别是隐含层单元当前输出h和单元状态c_t。而长短时记忆网络的核心就是如何控制c_t来使其对上一个时刻的信息进行保留和筛选。

长短时神经网络在隐含层中设置了三个门来控制信号的输入和输出，分别是遗忘门f_t、输入门i_t、输出门o_t。其中，输入门i_t用来控制信息输入，决定当前时刻中x_t保存到单元状态c_t的数量；遗忘门f_t以h_t-1和x_t为输入，产生一个结果给c_t-1来决定上一个单元被遗忘的数量；输出门o_t用来控制最后隐含层单元输出的数量。它们按照以下公式计算结果。

遗忘门：

f_t＝σ(W_f[h_t-1,x_t]+b_f) (1)

式中，激活函数为

W_f是遗忘门的权重，b_f是遗忘门的偏置。

输入门：

i_t＝σ(W_i[h_t-1,x_t]+b_i) (2)

式中，W_i是输入门的权重，b_i是输入门的偏置。

输出门：

o_t＝σ(W_o[h_t-1,x_t]+b_o) (3)

式中，W_o是输出门的权重，b_o是输出门的偏置。

记忆单元：

c′_t＝tanh(W_c[h_t-1,x_t]+b_c) (4)

c_t＝f_tc_t-1+i_tc′_t (5)

式中，tanh为双曲正切函数，是单元状态的激活函数，W_c是记忆单元的权重，b_c是记忆单元的偏置。

双层智能混合零星云储能对抗调控方法中设计出的深度神经网络，采用无监督逐层训练，整个网络可视为若干个受限玻尔兹曼机堆叠而成。各层预训练完成后，再利用有监督的学习对整个网络进行训练。网络中的神经元的数据类型均为布尔型。

假定所有可见和隐含单元均为二值变量(只能取0或1)，即v_m,k_n∈{0,1}。系统的能量定义为

式中，W_mn为连接权重；v_m和k_n分别为可见元和隐含元；

和μ_n分别为可见元m和隐含元n的偏置。此时的(v,k)的联合概率分布为

式中，归一化因子为

各个隐含元的激活条件是独立的。其激活概率为

各个可见元的激活概率为

动作的概率转换为

式中，r_p为动作概率因子。而概率的状态转换为

式中，r_s为概率的状态转换因子。

双层智能混合零星云储能对抗调控方法中使用的强化学习方法，是指从环境状态到动作映射的学习，以使动作从环境中获得的累积奖赏值最大。智能体由状态感知器、学习器和动作选择器三个模块组成。状态感知器把环境状态映射成智能体内部感知；动作选择器根据当前策略选择动作作用于环境；学习器根据环境状态的奖赏值以及内部感知，更新智能体的策略知识在动作的作用下将导致环境状态的变迁。在强化学习方法中，如果智能体的某个动作导致环境正的奖赏(强化信号)，那么智能体以后产生这个动作的趋势便会加强；反之智能体产生这个动作的趋势减弱。

强化学习的目标是学习一个行为策略π：S→A，使智能体选择的动作能够获得环境的最大奖赏。但在多数问题中，往往需要考虑智能体的长期影响，因此需要定义一个目标函数来表明从长期的观点来确定什么是优的动作。通常以状态的值函数或状态-动作对的值函数表达此目标函数，函数的形式有以下三种：

式中，γ为折扣因子，r_t是智能体从环境状态S_t到S_t+1转移后所接受到的奖赏值，可以为正、负或零。式(12)为无限折扣模型，智能体考虑未来无限步的奖赏，并以某种形式的折扣累积在值函数中；式(13)为有限模型，智能体只考虑未来h步的奖赏和；式(14)为平均奖赏模型，智能体考虑其长期平均奖赏。显然，如果能够确定目标函数，则根据式(15)即可确定最优行为策略。

附图说明

图1是本发明方法的电力系统云储能的概念示意图。

图2是本发明方法的双层长短时记忆网络与深度神经网络示意图。

图3是本发明方法的发电机组和储能的控制器示意图。

具体实施方式

本发明提出的一种电力系统双层混合零星云储能对抗调控方法，结合附图详细说明如下：

图1是本发明方法的电力系统云储能的概念示意图。云储能将原本分散在用户侧的储能装置集中到云端，用云端的虚拟储能容量来代替用户侧的实体储能，云端的虚拟储能容量可以为大量的用户提供分布式的储能服务。云储能用户利用储能来存储可再生能源发电的剩余电量或根据实时电价，平滑负荷曲线，减少用电成本。云储能用户通过购买一定时期内的一定功率容量的云储能服务权，即可根据实际需求，对云端的储能进行充放电，同时免去了安装和维护的麻烦。云储能供应商根据所有参与云储能的用户的储能使用需求而投资和租赁一定量的集中式实体储能装置和分布式储能资源，需要充分考虑用户的充放电需求等信息，产生优化决策的控制策略，对储能资源进行统一建设、统一维护、统一调度等。图中三个区域电网形成对抗架构，进行博弈。

图2是本发明方法的双层长短时记忆网络与深度神经网络示意图。采用长短时记忆网络算法进行电力系统负荷预测，采用深度神经网络算法进行电力系统发电功率和储能充放电功率的预测。

在长短时记忆网络中，f_t是遗忘门，i_t是输入门，c′_t是记忆单元，o_t是输出单元，最终输出是h_t。长短时记忆网络能够对较长时序的信息进行有选择的延长记忆，提高工作的可靠度。将电力系统的前n天的历史负荷数据作为训练样本，第n+1天的负荷数据作为输出数据。即输入n×24的矩阵，输出为1×24的矩阵，其中的训练数据中训练集、验证集、测试集随机分配。

在深度神经网络中，包含了一个输入层、一个输出层以及三个隐藏层。深度神经网络是通过模拟人类认知思维方式，来建立分辨事物的能力，具有深层次、非线性和逐层特征提取的特点。将电力系统中系统频率偏差Δf和负荷预测的数据P_L作为训练样本，得到输出层的输出后，对输出结果与实际结果进行度量。判断迭代次数和误差是否在要求的范围内，若不符合要求，则进行反向传播计算。其输出为实时的发电机发电功率指令和储能设备的充放电指令P_i。

图3是本发明方法的发电机组和储能的控制器示意图。不同发电区域看作是不同的智能体，多智能体之间形成了对抗博弈的关系。对区域i进行发电控制。ACE为区域控制误差，CPS1为控制性能指标，两者作为输入。将机组出力ΔP_m1,i、储能充放电ΔP_m2,i作为输出。该控制器通过ACE和CPS1确定所在的状态，并更新Q值矩阵。此后，若在训练未结束时，更新概率矩阵P并训练长短时记忆网络和深度神经网络。若训练结束，则直接采用长短时记忆网络和深度神经网络进行预测，并选择Δf最小对应的机组出力ΔP_m1,i和储能充放电ΔP_m2,i作为输出。

Claims (3)

1.一种电力系统双层智能混合零星云储能对抗调控方法，其特征在于，采用双层长短时记忆网络与深度神经网络方法和强化学习方法来构建电力系统实时的调度与控制框架，实现含云储能的电力系统的统一调度与控制；该方法在使用过程中的主要步骤为：

(1)将电力系统分为若干个电力系统区域；

(2)建立含云储能的电力系统的实时的调度与控制框架，以替换“机组组合+经济调度+自动发电控制+发电功率分配/储能充放电功率分配”组合式的框架；

(3)利用电力系统历史负荷数据和频率偏差数据在长短时记忆网络和深度神经网络方法中进行训练，进而形成双层深度学习方法对电力系统进行负荷预测和发电功率、储能充放电功率预测；

(4)以每个单区域的电力系统形成智能体，各智能体之间形成对抗博弈的关系，区域电力系统形成的智能体进行强化学习训练，进行电力系统发电控制和储能充放电控制；

(5)将实时数据输入电力系统的调度与控制框架中进行计算，得到电力系统实时的发电指令和储能的充放电指令。

2.如权利要求1所述的一种电力系统双层智能混合零星云储能对抗调控方法，其特征在于，所述步骤(3)中的长短时记忆网络和深度神经网络方法；其中长短时记忆网络方法，需先对长短时记忆网络的参数进行初始化，输入数据为历史负荷功率数据，经过训练学习可输出预测的系统负荷值；步骤(3)中的深度神经网络方法，需对深度神经网络的参数进行初始化，输入的数据为系统的频率偏差值和经长短时记忆网络方法训练得到的负荷预测值，经过训练学习可输出预测的系统发电功率需求和储能的充放电需求。

3.如权利要求1所述的一种电力系统双层智能混合零星云储能对抗调控方法，其特征在于，所述步骤(4)以互联大电网具有若干个含云储能的发电控制区域，形成多智能体对抗架构；在每个智能体中设置智能体的奖赏值、迭代次数以及边界值，利用强化学习方法进行训练学习，得到电力系统的发电功率指令和储能的充放电指令。

Images