CN106849190B - 一种基于Rollout算法的多能互补微网实时调度方法 - Google Patents

Abstract

本发明涉及一种基于Rollout算法的多能互补微网实时调度方法，其技术特点在于：包括以下步骤：步骤1、建立包含新能源出力随机性的多能互补微网实时调度的滚动时域马尔科夫决策过程模型,确立实时调度的约束条件；步骤2、确立实时调度的目标函数；步骤3、将单个完整调度周期划分成若干个调度区间，基于贪心算法得到满足实时调度约束条件的一个基础可行解；步骤4、基于步骤3所述基础可行解，运用Rollout算法求解该多能互补微网实时调度的滚动时域马尔科夫决策过程模型。本发明将新能源出力波动性考虑在内，同时解决了传统算法求解速度慢、效率低的问题，实现了高效快速的多能互补微网实时调度。

Description

一种基于Rollout算法的多能互补微网实时调度方法

技术领域

本发明属于多能互补微网技术领域，涉及多能互补微网实时调度方法，尤其是一种基于Rollout算法的多能互补微网实时调度方法。

背景技术

随着智能电网技术的发展，含新能源和储能的多能互补微网系统引起了研究人员广泛的关注。作为能够实现自我控制、保护和管理的自治系统，多能互补微网可以促进分布式能源的就地消纳，以一种更加经济友好的方式，实现对负荷多种能源形式的高可靠供给，使传统电网向智能电网过渡。

新能源出力的波动性和间歇性给多能互补微网的实时调度带来了很大的挑战，并且由于实时调度是一个滚动时域过程，当前调度区间内的控制行为不仅对当前周期产生影响，还会影响到下一个调度区间的状态。马尔科夫决策模型为解决这种包含不确定性变量的滚动调度问题提供了一种好的思路，但是大量的变量数目带来了维数灾难，模型的求解成为难题，如何找到一个行之有效的方法解决上述难题成为实时调度的关键。

发明内容

本发明的目的在于克服现有技术的不足，提供一种设计合理、简易可行、实用性强且高效快速的基于Rollout算法的多能互补微网实时调度方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于Rollout算法的多能互补微网实时调度方法，包括以下步骤：

步骤1、建立包含新能源出力随机性的多能互补微网实时调度的滚动时域马尔科夫决策过程模型,确立实时调度的约束条件；

步骤2、以滚动时域马尔科夫决策周期内微网系统的运行费用最低为目标，确立包含新能源出力随机性的多能互补微网实时调度的滚动时域马尔科夫决策过程模型的实时调度的目标函数；

步骤3、将单个完整调度周期划分成若干个调度区间，基于贪心算法得到满足实时调度约束条件的一个基础可行解；

步骤4、基于步骤3所述的基础可行解，运用Rollout算法求解该多能互补微网实时调度的滚动时域马尔科夫决策过程模型。

而且，所述步骤1的确立实时调度的约束条件包括：微网的电平衡约束、蓄电池的运行约束、微网与主网的交易电功率约束和热电联产设备的电功率出力约束；

所述微网的电平衡约束如下：

上式中，t是时间参数；p^G(t)是t时刻微网与主网的交换电功率，向主网购电为正，向主网售电为负；N是热电联产设备的数目；是t时刻第i台热电联产设备输出电功率；p^B(t)是t时刻蓄电池的充放电功率，充电为负，放电为正；p^w(t)是t时刻风电发电出力；p^D(t)是t时刻的电负荷需求；

所述蓄电池的运行约束如下：

上式中，E(t)与E(t+1)分别是t时刻和t+1时刻蓄电池的储能水平；E与分别是蓄电池容量的下边界和上边界；ΔT是从t时刻至t+1时刻的时间间隔；α_c与α_d分别为蓄电池的充放电效率；p^B(t)是t时刻蓄电池的充放电功率，充电为负，放电为正；为蓄电池充放电功率的上限值；

所述微网与主网的交易电功率约束如下：

上式中，p^G(t)与p^G(t-1)分别是t时刻和t-1微网与主网的交换电功率，向主网购电为正，向主网售电为负；为微网与主网的交换电功率的上限值，δ是微网与主网的交换电功率的波动上限；

所述热电联产设备的电功率出力约束如下：

上式中，是t时刻第i台热电联产设备输出电功率；是第i台热电联产设备输出电功率的上限；H_i(t)是t时刻需要由第i台热电联产设备供给的热功率；v_i 与分别是第i台热电联产设备电、热功率转换效率的下限和上限。

而且，所述步骤2的确立包含新能源出力随机性的多能互补微网实时调度的滚动时域马尔科夫决策过程模型的实时调度的目标函数的具体方法为：首先以微网系统在单个调度区间内的运行费用最低为目标，建立微网系统在单个调度区间内的运行费用函数，然后以微网系统在滚动时域马尔科夫决策周期内的运行费用最低为目标，确立实时调度的目标函数；

所述微网系统在单个调度区间内的运行费用函数如下：

其中，

上式中，X(t)是t时刻微网系统的状态变量；A(t)是t时刻微网系统的控制变量；c_t(X(t),A(t))是单个调度区间内系统运行费用的函数；λ(t)是t时刻电网电价；c是天然气的价格；F_i ^c(t)是第i台热电联产设备耗气量与电出力之间的线性函数；a_i与b_i第i台热电联产设备耗气量与电出力之间的线性函数的系数；

所述实时调度的目标函数如下：

上式中，J_t(X(t),A(t))为滚动时域马尔科夫决策周期内微网系统的运行费用的函数；

而且，所述步骤3的具体方法为：将一个完整调度周期划分成若干个调度区间，基于贪心算法分别针对每个调度区间内的优化调度问题进行求解，最后把每个调度区间的局部最优解合成为整个调度区间上的一个基础可行解。

而且，所述步骤3的基于贪心算法分别针对每个调度区间内的优化调度问题进行求解的具体步骤包括：

(1)根据步骤2所述的微网系统在单个调度区间内的运行费用函数，列出目标函数和约束条件如下：

约束条件如下：

其中：

上式中，pb(t)与分别是构建基础可行解的过程中蓄电池充放电功率的新的下限和上限；pg(t)与分别是构建基础可行解的过程中微网与主网交换功率的新的下限和上限；pc_i (t)与分别是构建基础可行解的过程中第i台热电联产设备电出力的新的下限和上限；

(2)为了得到在一个调度区间内的优化结果，将上述目标函数的N+2个系数按从小到大的顺序进行排列，得到各个决策变量调度顺序，其中N+2个系数即为λ(t)·ΔT,0，c·a_i(i＝1,2,…,N)，出现系数0是因为目标函数中不包含p^B(t)；再令负荷差值d(t)＝p^D(t)-p^w(t)；根据d(t)的值和各个决策变量的调度顺序即可求得最终的优化结果；

(3)对其他调度区间依次求解，最后得到满足微网运行需求的一个基础可行解。

而且，所述步骤4的具体方法为：

(1)设步骤3求得的基础可行解为π_b＝(A_b,t+1,A_b,t+2,…,A_b,t+T-1)，则得到一个实时调度从t到t+T-1时刻运行费用最低这个目标函数的近似值：

上式中，为用Rollout算法求得的微网系统在滚动时域马尔科夫决策周期内微网系统的运行费用的函数。

(2)通过Rollout算法使得上述近似值趋于最小：

(3)根据当前一个调度区间内的X(t)，结合t时刻的风力发电出力值，求得下一个调度区间内的X(t+1)，同时得到t+1时刻的风力发电出力值，然后计算下一个调度区间的X(t+2)，重复此过程，直到整个调度周期结束。

本发明的优点和积极效果是：

1、本发明提供了一种基于Rollout算法的多能互补微网实时调度方法，首先，建立多能互补微网实时调度的滚动时域马尔科夫决策过程模型，确立实时调度的约束条件和目标函数；然后，将一个完整调度周期划分成若干个调度区间，基于贪心算法得到满足实时调度约束的一个基础可行解；最后，基于上述基础可行解，运用Rollout算法求解该多能互补微网滚动时域马尔科夫决策问题。本发明建立了多能互补微网的滚动时域模型，并运用Rollout算法进行求解，简易有效，实用性强。

2、本发明运用Rollout算法求解滚动时域的马尔科夫决策模型问题，先建立一个包含新能源出力随机性的马尔科夫决策模型，运用贪心算法找到一个基础可行解，并在此基础上接近目标，将新能源出力波动性考虑在内，同时解决了传统算法求解速度慢、效率低的问题，实现了高效快速的多能互补微网实时调度。

附图说明

图1是本发明的处理流程图。

具体实施方式

以下结合附图对本发明实施例作进一步详述：

本发明提出一种基于Rollout算法的多能互补微网实时调度方法，不仅把新能源出力的波动性考虑在内，而且更有效地求解多能互补微网的滚动时域调度问题，运用Rollout算法求解滚动时域的马尔科夫决策模型问题，首先建立一个包含新能源出力随机性的多能互补微网实时调度的滚动时域马尔科夫决策过程模型，确立实时调度的约束条件和目标函数；接着将一个完整调度周期划分成若干个调度区间，基于贪心算法得到满足实时调度约束的一个基础可行解；最后基于上述基础可行解，运用Rollout算法求解该多能互补微网滚动时域马尔科夫决策过程模型。

一种基于Rollout算法的多能互补微网实时调度方法，如图1所示，包括以下步骤：

步骤1、建立包含新能源出力随机性的多能互补微网实时调度的滚动时域马尔科夫决策过程模型,确立实时调度的约束条件；

所述步骤1的确立实时调度的约束条件包括：微网的电平衡约束、蓄电池的运行约束、微网与主网的交易电功率约束和热电联产设备的电功率出力约束；

所述微网的电平衡约束如下：

上式中，t是时间参数；p^G(t)是t时刻微网与主网的交换电功率，向主网购电为正，向主网售电为负；N是热电联产设备的数目；是t时刻第i台热电联产设备输出电功率；p^B(t)是t时刻蓄电池的充放电功率，充电为负，放电为正；p^w(t)是t时刻风电发电出力；p^D(t)是t时刻的电负荷需求；

所述蓄电池的运行约束如下：

上式中，E(t)与E(t+1)分别是t时刻和t+1时刻蓄电池的储能水平；E与分别是蓄电池容量的下边界和上边界；ΔT是从t时刻至t+1时刻的时间间隔；α_c与α_d分别为蓄电池的充放电效率；p^B(t)是t时刻蓄电池的充放电功率，充电为负，放电为正；为蓄电池充放电功率的上限值；

所述微网与主网的交易电功率约束如下：

上式中，p^G(t)与p^G(t-1)分别是t时刻和t-1微网与主网的交换电功率，向主网购电为正，向主网售电为负；为微网与主网的交换电功率的上限值，δ是微网与主网的交换电功率的波动上限；

所述热电联产设备的电功率出力约束如下：

上式中，是t时刻第i台热电联产设备输出电功率；是第i台热电联产设备输出电功率的上限；H_i(t)是t时刻需要由第i台热电联产设备供给的热功率；v_i 与分别是第i台热电联产设备电、热功率转换效率的下限和上限。

步骤2、以滚动时域马尔科夫决策周期内微网系统的运行费用最低为目标，确立包含新能源出力随机性的多能互补微网实时调度的滚动时域马尔科夫决策过程模型的实时调度的目标函数；

所述多能互补微网与主网处于并网状态，可与主网交易电量，其供能设备包括风力发电机、热电联产设备(CHP)、蓄电池；所述实时调度的目标函数是为了实现微网系统的运行费用最低，包括系统购电成本与热电联产设备燃料费用两部分。

所述确立包含新能源出力随机性的多能互补微网实时调度的滚动时域马尔科夫决策过程模型的实时调度的目标函数的具体方法为：首先以微网系统在单个调度区间内的运行费用最低为目标，建立微网系统在单个调度区间内的运行费用函数，然后以微网系统在滚动时域马尔科夫决策周期内的运行费用最低为目标，确立实时调度的目标函数；

所述微网系统在单个调度区间内的运行费用函数如下：

其中，

上式中，X(t)是t时刻微网系统的状态变量；A(t)是t时刻微网系统的控制变量；c_t(X(t),A(t))是单个调度区间内系统运行费用的函数；λ(t)是t时刻电网电价；c是天然气的价格；F_i ^c(t)是第i台热电联产设备耗气量与电出力之间的线性函数；a_i与b_i第i台热电联产设备耗气量与电出力之间的线性函数的系数；

所述实时调度的目标函数如下：

上式中，J_t(X(t),A(t))为滚动时域马尔科夫决策周期内微网系统的运行费用的函数；

步骤3、将单个完整调度周期划分成若干个调度区间，基于贪心算法得到满足实时调度约束条件的一个基础可行解；

所述步骤3的具体方法为：将一个完整调度周期划分成若干个调度区间，基于贪心算法分别针对每个调度区间内的优化调度问题进行求解，最后把每个调度区间的局部最优解合成为整个调度区间上的一个基础可行解。

所述步骤3的基于贪心算法分别针对每个调度区间内的优化调度问题进行求解的具体步骤包括：

(1)根据步骤2所述的微网系统在单个调度区间内的运行费用函数，列出目标函数和约束条件如下：

约束条件如下：

其中：

上式中，pb(t)与分别是构建基础可行解的过程中蓄电池充放电功率的新的下限和上限；pg(t)与分别是构建基础可行解的过程中微网与主网交换功率的新的下限和上限；pc_i (t)与分别是构建基础可行解的过程中第i台热电联产设备电出力的新的下限和上限；

(2)为了得到在一个调度区间内的优化结果，将上述目标函数的N+2个系数按从小到大的顺序进行排列，得到各个决策变量调度顺序，其中N+2个系数即为λ(t)·ΔT,0，c·a_i(i＝1,2,…,N)，出现系数0是因为目标函数中不包含p^B(t)；再令负荷差值d(t)＝p^D(t)-p^w(t)；根据d(t)的值和各个决策变量的调度顺序即可求得最终的优化结果；

(3)对其他调度区间依次求解，最后得到满足微网运行需求的一个基础可行解。

步骤4、基于步骤3所述的基础可行解，运用Rollout算法求解该多能互补微网实时调度的滚动时域马尔科夫决策过程模型。

所述步骤4的具体方法为：

(1)设步骤3求得的基础可行解为π_b＝(A_b,t+1,A_b,t+2,…,A_b,t+T-1)，那么我们得到了一个实时调度从t到t+T-1时刻运行费用最低这个目标函数的近似值：

上式中，为用Rollout算法求得的微网系统在滚动时域马尔科夫决策周期内微网系统的运行费用的函数。

(2)通过Rollout算法使得上述近似值趋于最小：

(3)根据当前一个调度区间内的X(t)，结合t时刻的风力发电出力值，求得下一个调度区间内的X(t+1)，同时得到t+1时刻的风力发电出力值，然后计算下一个调度区间的X(t+2)，重复此过程，直到整个调度周期结束。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (6)

1.一种基于Rollout算法的多能互补微网实时调度方法，其特征在于：包括以下步骤：

步骤1、建立包含新能源出力随机性的多能互补微网实时调度的滚动时域马尔科夫决策过程模型,确立实时调度的约束条件；

步骤2、以滚动时域马尔科夫决策周期内微网系统的运行费用最低为目标，确立包含新能源出力随机性的多能互补微网实时调度的滚动时域马尔科夫决策过程模型的实时调度的目标函数；

步骤3、将单个完整调度周期划分成若干个调度区间，基于贪心算法得到满足实时调度约束条件的一个基础可行解；

步骤4、基于步骤3所述的基础可行解，运用Rollout算法求解该多能互补微网实时调度的滚动时域马尔科夫决策过程模型。

2.根据权利要求1所述的一种基于Rollout算法的多能互补微网实时调度方法，其特征在于：所述步骤1的确立实时调度的约束条件包括：微网的电平衡约束、蓄电池的运行约束、微网与主网的交易电功率约束和热电联产设备的电功率出力约束；

所述微网的电平衡约束如下：

上式中，t是时间参数；p^G(t)是t时刻微网与主网的交换电功率，向主网购电为正，向主网售电为负；N是热电联产设备的数目；是t时刻第i台热电联产设备输出电功率；p^B(t)是t时刻蓄电池的充放电功率，充电为负，放电为正；p^w(t)是t时刻风电发电出力；p^D(t)是t时刻的电负荷需求；

所述蓄电池的运行约束如下：

上式中，E(t)与E(t+1)分别是t时刻和t+1时刻蓄电池的储能水平；E与分别是蓄电池容量的下边界和上边界；ΔT是从t时刻至t+1时刻的时间间隔；α_c与α_d分别为蓄电池的充放电效率；p^B(t)是t时刻蓄电池的充放电功率，充电为负，放电为正；为蓄电池充放电功率的上限值；

所述微网与主网的交易电功率约束如下：

上式中，p^G(t)与p^G(t-1)分别是t时刻和t-1微网与主网的交换电功率，向主网购电为正，向主网售电为负；为微网与主网的交换电功率的上限值，δ是微网与主网的交换电功率的波动上限；

所述热电联产设备的电功率出力约束如下：

上式中，是t时刻第i台热电联产设备输出电功率；是第i台热电联产设备输出电功率的上限；H_i(t)是t时刻需要由第i台热电联产设备供给的热功率；v_i 与分别是第i台热电联产设备电、热功率转换效率的下限和上限。

3.根据权利要求1或2所述的一种基于Rollout算法的多能互补微网实时调度方法，其特征在于：所述步骤2的确立包含新能源出力随机性的多能互补微网实时调度的滚动时域马尔科夫决策过程模型的实时调度的目标函数的具体方法为：首先以微网系统在单个调度区间内的运行费用最低为目标，建立微网系统在单个调度区间内的运行费用函数，然后以微网系统在滚动时域马尔科夫决策周期内的运行费用最低为目标，确立实时调度的目标函数；

所述微网系统在单个调度区间内的运行费用函数如下：

其中，

上式中，X(t)是t时刻微网系统的状态变量；A(t)是t时刻微网系统的控制变量；c_t(X(t),A(t))是单个调度区间内系统运行费用的函数；λ(t)是t时刻电网电价；c是天然气的价格；F_i ^c(t)是第i台热电联产设备耗气量与电出力之间的线性函数；a_i与b_i第i台热电联产设备耗气量与电出力之间的线性函数的系数；

所述实时调度的目标函数如下：

上式中，J_t(X(t),A(t))为滚动时域马尔科夫决策周期内微网系统的运行费用的函数。

4.根据权利要求1或2所述的一种基于Rollout算法的多能互补微网实时调度方法，其特征在于：所述步骤3的具体方法为：将一个完整调度周期划分成若干个调度区间，基于贪心算法分别针对每个调度区间内的优化调度问题进行求解，最后把每个调度区间的局部最优解合成为整个调度区间上的一个基础可行解。

5.根据权利要求3所述的一种基于Rollout算法的多能互补微网实时调度方法，其特征在于：所述步骤3的基于贪心算法分别针对每个调度区间内的优化调度问题进行求解的具体步骤包括：

(1)根据步骤2所述的微网系统在单个调度区间内的运行费用函数，列出目标函数和约束条件如下：

约束条件如下：

其中：

上式中，pb(t)与分别是构建基础可行解的过程中蓄电池充放电功率的新的下限和上限；pg(t)与分别是构建基础可行解的过程中微网与主网交换功率的新的下限和上限；pc_i (t)与分别是构建基础可行解的过程中第i台热电联产设备电出力的新的下限和上限；

(2)为了得到在一个调度区间内的优化结果，将上述目标函数的N+2个系数按从小到大的顺序进行排列，得到各个决策变量调度顺序，其中N+2个系数即为λ(t)·ΔT,0，c·a_i(i＝1,2,…,N)，出现系数0是因为目标函数中不包含p^B(t)；再令负荷差值d(t)＝p^D(t)-p^w(t)；根据d(t)的值和各个决策变量的调度顺序即可求得最终的优化结果；

(3)对其他调度区间依次求解，最后得到满足微网运行需求的一个基础可行解。

6.根据权利要求3所述的一种基于Rollout算法的多能互补微网实时调度方法，其特征在于：所述步骤4的具体方法为：

(1)设步骤3求得的基础可行解为π_b＝(A_b,t+1,A_b,t+2,…,A_b,t+T-1)，则得到一个实时调度从t到t+T-1时刻运行费用最低这个目标函数的近似值：

上式中，为用Rollout算法求得的微网系统在滚动时域马尔科夫决策周期内微网系统的运行费用的函数；

(2)通过Rollout算法使得上述近似值趋于最小：

(3)根据当前一个调度区间内的X(t)，结合t时刻的风力发电出力值，求得下一个调度区间内的X(t+1)，同时得到t+1时刻的风力发电出力值，然后计算下一个调度区间的X(t+2)，重复此过程，直到整个调度周期结束。