CN110365057A - 基于强化学习的分布式能源参与配电网调峰调度优化方法 - Google Patents

Abstract

本发明公开了一种基于强化学习的分布式能源参与配电网调峰调度优化方法，包括：建立分布式能源参与配电网调峰调度模型，确定系统目标函数和相关约束条件，形成原始优化问题；将分布式能源参与配电网调峰调度模型转化为马尔可夫决策过程；获取某地区典型日的系统负荷、可控分布式电源和分布式储能的历史数据；根据深度确定性策略梯度DDPG算法原理，构建神经网络；利用DDPG算法对历史数据进行学习，并对分布式能源参与配电网调峰调度模型进行求解，得到分布式储能单元的最优行为策略，实现分布式能源参与配电网调峰调度优化。本发明能够实现分布式能源参与配电网调峰的调度优化，有效地进行削峰填谷，提高电力系统运行的经济性。

Description

基于强化学习的分布式能源参与配电网调峰调度优化方法

技术领域

本发明实施例涉及电力系统技术领域，尤其涉及一种基于强化学习的分布式能源参与配电网调峰调度优化方法。

背景技术

以传统化石能源为主的能源消费结构加剧了环境污染以及能源枯竭等问题，尤其是近年出现的全国大范围雾霾天气，开发和利用清洁无污染的可再生能源势在必行。分布式能源主要包括：分布式光伏、分散式风电和分布式储能等，分布式能源能够充分利用清洁和可再生能源，是实现节能减排目标的重要举措，同时也是集中式发电的有效补充。电力系统运行过程中，随着用户负荷不断增加以及负荷的波动，电力负荷峰谷差将会逐渐增大，为保证电网稳定运行和供用电平衡，需采取相应的削峰填谷措施。而分布式能源具有能效利用合理、运行灵活、经济成本低等特点，能够在智能配电网处于负荷高峰状态时提供充足的峰值功率、满足峰值负荷的需求，从而缓解输电线路的功率阻塞，起到有效调节电力系统负荷峰值的作用。

现有针对分布式能源参与配电网调峰的调度优化策略多引入虚拟电厂的概念对分布式电源进行控制，以负荷方差最小及运行成本最小为目标，建立多目标调峰调度模型，并采用粒子群算法(PSO)模型进行优化求解。

采用粒子群算法(PSO)对含分布式能源的智能配电网的多目标调峰调度模型进行求解时，当所建立的配电网调峰调度模型中具有多个目标函数，并且各个目标函数是互相冲突时，同时使多个目标值都达到最优解是不可能的，因此多目标函数的最优解是使任一目标函数值在不使其它布标函数劣化的条件下，不能够进一步优化的一组解(即帕累托最优解集)，粒子群算法在求解多目标函数模型过程中，一般会出现以下问题：1)惯性权重选取不当，最优解容易陷入局部最优；2)帕累托解集的更新策略不当使得最优解集的多样性分布分散。

发明内容

本发明提供一种基于强化学习的分布式能源参与配电网调峰调度优化方法，以解决现有技术的不足。

为实现上述目的，本发明提供以下的技术方案：

一种基于强化学习的分布式能源参与配电网调峰调度优化方法，包括：

建立分布式能源参与配电网调峰调度模型，确定系统目标函数和相关约束条件，形成原始优化问题；

将分布式能源参与配电网调峰调度模型转化为马尔可夫决策过程；

获取某地区典型日的系统负荷、可控分布式电源和分布式储能的历史数据；

根据深度确定性策略梯度DDPG算法原理，构建神经网络；

利用DDPG算法对历史数据进行学习，并对分布式能源参与配电网调峰调度模型进行求解，得到分布式储能单元的最优行为策略，实现分布式能源参与配电网调峰调度优化。

进一步地，所述基于强化学习的分布式能源参与配电网调峰调度优化方法中，所述分布式能源参与配电网调峰调度模型为以系统负荷方差最小、系统运行成本最小为目标的多目标调峰模型。

进一步地，所述基于强化学习的分布式能源参与配电网调峰调度优化方法中，所述相关约束条件包括电网平衡约束、潮流约束、分布式电源出力约束和分布式储能单元运行约束。

进一步地，所述基于强化学习的分布式能源参与配电网调峰调度优化方法中，所述可控分布式电源包括分布式光伏和分散式风电。

进一步地，所述基于强化学习的分布式能源参与配电网调峰调度优化方法中，所述神经网络包括策略网络和Q网络，所述神经网络的结构分为动作模块和价值模块；

其中，动作模块执行策略网络的优化计算，价值模块执行Q网络的优化计算。

本发明实施例提供的一种基于强化学习的分布式能源参与配电网调峰调度优化方法，采用基于强化学习的DDPG算法对历史数据进行学习并对模型进行求解，该算法具有模型友好(model-free)的特点，即对选取的模型具有极强的适应性，且该算法能够通过对历史数据的学习获取新的状态转换样本，有效降低了成本，还能够实现分布式能源参与配电网调峰的调度优化，有效地进行削峰填谷，提高电力系统运行的经济性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例提供的一种基于强化学习的分布式能源参与配电网调峰调度优化方法的流程示意图；

图2是本发明实施例提供的DDPG算法神经网络结构图；

图3是本发明实施例提供的DDPG算法求解流程框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

请参考附图1，为本发明实施例一提供的一种基于强化学习的分布式能源参与配电网调峰调度优化方法的流程示意图。该方法具体包括如下步骤：

S101、建立分布式能源参与配电网调峰调度模型，确定系统目标函数和相关约束条件，形成原始优化问题。

本发明在传统调峰模型的基础上，综合考虑了分布式能源(包括分布式电源、分布式储能)作为调峰手段，建立以负荷方差和运行成本最小为目标的多目标调峰模型。其中，针对分布式电源，本发明只考虑分布式光伏和分散式风电两种，并且默认为满发策略。

1)系统负荷方差最小：

P_e＝P_L+P_loss-P_DG………………………………………………(2)；

P_DER＝P_DG+P_om-P_loss………………………………………………(3)；

式中：n为调峰调度期间的小时数；P_L为系统基础负荷，如居民负荷，商业负荷等等；P_DER为接入配电网系统分布式能源的综合出力；P_e为系统净负荷；P_DG为分布式电源出力；P_om为分布式储能单元出力；P_loss为系统线路损耗。

2)系统运行成本最小：

C_DG＝∑_j∈Gc_DG·P_DG·Δt………………………………………………(5)；

C_om＝∑_k∈Sc_om·|P_om|·Δt………………………………………………(6)；

式中：C_DG为向分布式电源购电的成本；C_om为分布式储能单元充放电运行维护成本。

约束条件包括：

1)电网平衡约束：

P_grid+∑_j∈NP_DG+∑_k∈SP_om-P_L-P_loss＝0………………………………………(7)；

式中，N为分布式电源的集合，S为分布式储能单元的集合；

2)潮流约束：

式中，N为系统节点数；P_i(t)、Q_i(t)分别为t时段i节点的注入有功和无功功率；U_i(t)、U_j(t)分别为t时段i、j节点的电压幅值；G_ij和B_ij分别为支路ij的电导和电纳；θ_ij(t)为节点i与j在时段t的电压相角差。

3)分布式电源出力约束

4)分布式储能单元运行约束：

S102、将分布式能源参与配电网调峰调度模型转化为马尔可夫决策过程。

从电网公司的角度出发，在调峰调度期间，它可能只具有关于系统净负荷p_eτ、分布式储能单元的出力总和p_sτ，以及调峰调度成本c_τ，而不具有公式(1-10)的全部参数信息，因此，本发明定义了一个n₁阶的调峰响应函数来描述分布式储能单元的出力：

式中，将一天24小时分为T个时间间隔，tmodT为求余运算；p_sτ为分布式储能单元在τ时刻的出力；p_eτ为τ时刻的系统净负荷；c_τ为τ时刻的调峰调度成本。

深度确定性策略梯度(Deep Deterministic Policy Gradient，DDPG)算法求解模型的过程需要状态转移样本中的有效数，故本发明将调峰调度问题转化为马尔可夫决策过程来生成相应的状态转移样本。马尔可夫决策过程由状态空间、动作空间、奖励函数和转换概率函数构成。本发明针对调峰调度，定义时刻t的状态为定义t时刻的动作为a_t＝p_st，状态空间和动作空间都是连续的。然后，分布式储能单元动作策略可以表达为：

p_st＝μ(s_t,c_t)………………………………………(12)；

式中，p_st为分布式储能单元充放电功率,储能放电时为正，储能充电时候为负；c_t为为t时刻的调峰调度成本。

调峰调度模型的目标函数之一是系统运行成本最小，即使电网公司利润最大化，因此，我们定义时刻t的奖励函数为：

r_t＝|p_st|b_t-|p_st|c_t………………………………………(13)；

式中，b_t为时刻t的调峰调度收益；c_t为为t时刻的调峰调度成本。

定义从时刻t开始到之后任一时刻的累积奖励为：

式中，γ为衰减系数，且γ∈[0,1)

与此同时，引入动作价值函数(又称为Q函数)来表示R_t的期望值，利用贝尔曼(Bellman)最优性方程定义其表达式：

Q^μ(s_t,a_t)＝E[r(s_t,a_t)+γQ^μ(s_t+1,μ(s_t+1))]…………………………………(15)；

定义表现函数J来衡量策略μ的表现，其表达式为：

式中，β为行为策略，该策略将动作的决策从确定性过程变为一个随机过程，再从这个随机过程中采样得到动作，下达给环境执行，从而获取所需要的数据集；s是环境的状态，这些状态是由行为策略β产生的，它们的分布函数为P^β；Q^μ(s,μ(s))是在每个状态下，如果都按照策略μ选择动作时，能够产生的Q值，即J_β(μ)是在s根据P^β分布时，Q^μ(s,μ(s))的期望值。

通过马尔可夫决策，分布式能源参与配电网调峰调度优化问题转变为寻找最优的μ，使得J_β(μ)最大化的问题。

S103、获取某地区典型日的系统负荷、可控分布式电源和分布式储能的历史数据。

深度确定性策略梯度(DDPG)算法需要利用神经网络对过去可用的历史信息进行学习，从而求解分布式能源参与配电网调峰调度优化问题，因此，本发明需要获取调峰优化时刻t之前的某地区典型日的历史数据(包括p_sτ、p_eτ、c_τ，)，以供神经网络进行学习。

S104、根据深度确定性策略梯度DDPG算法原理，构建神经网络。

本发明结合调峰调度模型，并根据DDPG算法原理，引入确定性(Deterministic)行为策略μ：分布式储能单元每一步的动作(即充放电功率)可以通过a_t＝μ(s_t)计算获得。

据此，构建策略网络，即用一个卷积神经网络对μ函数进行模拟，其参数为θ^μ，训练策略网络的过程，就是寻找策略网络参数θ^μ最优解的过程；构建Q网络，用一个卷积神经网络对Q函数进行模拟，其参数为θ^Q，训练Q网络的过程，就是寻找Q网络参数θ^Q的最优解，同时最小化Q网络的损耗(步骤S105描述算法具体实现中会给出)的过程。

根据以往的实践经验，如果只使用单个Q神经网络的算法，强化学习的过程将会很不稳定，因为Q网络的参数在频繁进行梯度更新的同时，又用于计算Q网络和策略网络的梯度。因此，DDPG算法分别为策略网络、Q网络各创建了两个神经网络拷贝，即在线网络和目标网络。由此，本发明构建了求解分布式能源参与配电网调峰调度优化模型的神经网络结构，如图2所示，分为动作模块和价值模块，其中动作模块执行策略网络的优化计算，价值模块执行Q网络的优化计算。

S105、利用DDPG算法对历史数据进行学习，并对分布式能源参与配电网调峰调度模型进行求解，得到分布式储能单元的最优行为策略，实现分布式能源参与配电网调峰调度优化。

上述步骤S104构建了深度确定性策略梯度(DDPG)算法的神经网络结构，本发明利用该算法对调峰调度模型进行求解，求解流程框图如图3所示，具体实现方法如下：

1)首先引入行为策略β：在算法求解过程中，将分布式储能单元动作的决策从确定性过程变为一个随机过程，再从这个随机过程中采样得到动作，送入仿真环境执行。为产生随机过程，DDPG算法采用Uhlenbeck-Ornstein随机过程(简称为UO过程)，作为引入的随机噪声；

2)根据行为策略，动作模块的分布式储能动作在线策略网络选择一个分布式储能单元策略μ(s_t)，并与UO噪声生成随机过程，然后从随机过程中采样获得动作a_t＝p_st，送入仿真环境执行；

3)仿真环境执行a_t，返回奖励r_t和新的状态s_t+1；

4)动作模块将这个状态转换(s_t,a_t,r_t,s_t+1)存入经验回放缓存的缓存器R中，作为训练在线网络的数据集。

5)从经验回放缓存的缓存器R中，随机采样N个状态转换数据，作为分布式储能动作在线策略网络，在线Q网络的一组训练数据。

6)使用类似于监督式学习的方法，定义Q网络的损耗：

y_i＝r_i+γQ'(s_i+1,μ'(s_i+1|θ^u')|θ^Q')………………………………………(18)；

式中，y_i的计算，使用的是目标策略网络和目标Q网络，从而使Q网络参数的学习过程更加稳定，易于收敛。

由此，可以求出Q网络损耗针对θ^Q的梯度然后采用Adam优化器对θ^Q进行更新。

7)计算表现函数J_β(μ)对β^μ的梯度即策略网络的策略梯度，其表达式如下：

策略梯度是s根据P^β分布时，的期望值。DDPG算法采用蒙特卡洛法来估算这个期望值，在经验回放缓存器R中存储的状态转换(s_i,a_i,r_i,s_i+1)，是基于行为策略β产生的，它们的分布函数为P^β，所以当我们从缓存器R中随机采样获得一组训练数据时，根据蒙特卡洛法，使用这组训练数据带入式(19)，可以作为对上述期望值的一个无偏差估计，所以策略梯度可以改写为：

求得策略网络的策略梯度后，采用Adam优化器对θ^μ进行更新。

8)采用移动平均值的方法，利用在线网络的参数实现对目标网络参数的更新：

式中，τ一般取0.001。

深度确定性策略梯度(DDPG)算法重复上述步骤1-8，通过对历史数据的学习，求解出表现函数的最优解即实现J_β(μ)的最大化，同时最小化Q网络的损耗，最后，根据可以得出分布式储能单元的最优行为策略实现分布式能源参与配电网调峰调度优化。

现有技术主要采用粒子群算法(PSO)对含分布式能源的智能配电网的多目标调峰调度模型进行求解。现有技术的最优解是一组帕累托最优解集，在调峰调度的实际过程中，操作人员需要从一组帕累托最优解集中选择最优方案，因此该方法工作量大且操作复杂，在实际调峰调度过程中不能快速响应并且在决策过程中具有操作人员的主观性，使优化结果缺乏客观性和说服力。

本发明研究了深度确定性策略梯度(DDPG)算法求解分布式能源参与配电网调度优化模型，该算法对模型的适应性较强。通过对历史数据的学习实现策略的优化，有效地提升效率并降低成本。本发明采用深度学习的方法训练所构建的神经网络，证明了非线性模拟函数的准确性和高性能、可收敛。所设计的在线网络和目标网络，使得强化学习的过程更加稳定，收敛速度更快。

至此，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于强化学习的分布式能源参与配电网调峰调度优化方法，其特征在于，包括：

建立分布式能源参与配电网调峰调度模型，确定系统目标函数和相关约束条件，形成原始优化问题；

将分布式能源参与配电网调峰调度模型转化为马尔可夫决策过程；

获取某地区典型日的系统负荷、可控分布式电源和分布式储能的历史数据；

根据深度确定性策略梯度DDPG算法原理，构建神经网络；

利用DDPG算法对历史数据进行学习，并对分布式能源参与配电网调峰调度模型进行求解，得到分布式储能单元的最优行为策略，实现分布式能源参与配电网调峰调度优化。

2.根据权利要求1所述的基于强化学习的分布式能源参与配电网调峰调度优化方法，其特征在于，所述分布式能源参与配电网调峰调度模型为以系统负荷方差最小、系统运行成本最小为目标的多目标调峰模型。

3.根据权利要求1所述的基于强化学习的分布式能源参与配电网调峰调度优化方法，其特征在于，所述相关约束条件包括电网平衡约束、潮流约束、分布式电源出力约束和分布式储能单元运行约束。

4.根据权利要求1所述的基于强化学习的分布式能源参与配电网调峰调度优化方法，其特征在于，所述可控分布式电源包括分布式光伏和分散式风电。

5.根据权利要求1所述的基于强化学习的分布式能源参与配电网调峰调度优化方法，其特征在于，所述神经网络包括策略网络和Q网络，所述神经网络的结构分为动作模块和价值模块；

其中，动作模块执行策略网络的优化计算，价值模块执行Q网络的优化计算。