CN114172840A - 一种基于图论和深度强化学习的多微网系统能量路由方法 - Google Patents

Abstract

本发明公开了一种基于图论和深度强化学习的多微网系统能量路由方法，步骤如下：(1)风机、光伏、负荷、储能以及能量路由器功率模型构建；(2)建立单一微网功率平衡方程；(3)建立储能系统的成本损耗模型和使用寿命惩罚函数；(4)能量路由器及网络传输成本损耗模型；(5)利用图论的方法构建多微网系统环境状态空间；(6)建立能量路由器动作空间和来自拓扑结构改变的反馈奖励函数；(7)利用强化学习方法训练路由轨迹；(8)建立多微网间能量传输最小成本函数。本发明在使用图论的方法提取多微网拓扑结构的基础上用深度强化学习算法对电网数据加以分析和利用，综合考虑了储能系统的折损成本以及能量路由器和网络的损耗，有利于提高多微网系统能量管理的经济性。

Description

一种基于图论和深度强化学习的多微网系统能量路由方法

技术领域

本发明涉及电力系统理论和人工智能的交叉技术应用领域，特别是一种基于图论和深度强化学习的多微网系统能量路由方法。

背景技术

如今，人类社会的飞速发展加剧了化石能源的消耗，迫使人类面临能源危机，再加上国家“双碳”目标以及经济因素的影响，人们更加的重视利用可再生能源，如：风力发电、光伏发电等。构建含高比例可再生能源的能源互联网有助于促进能源系统绿色转型、实现“双碳”目标。而多微网系统作为区域能源互联网的一种典型场景，近年来备受关注。得益于传感技术与电力电子技术的发展，多微网系统中大量的分布式发电设备、分布式储能、可调节负荷等设备通过能量路由器相连接，促使能量从单向传输变为双向传输，保证可调节负荷的快速响应，以满足多微网系统中可再生能源消纳的要求。但是在进行多微网系统能量管理时，如果过度使用储能就会极大地增加储能寿命折损成本，而如果在微网间进行能量交换又会增加能量路由器和网络的损耗。因此，在多微网场景下，如何制定能量路由策略，实现就地消纳量和外部消纳量的合理分配，以实现多微网运行整体经济性最优成为了亟需解决的问题。

面对大量可控设备，传统的多微网能量管理方法通常需要本地基础结构来访问每个设备，这不仅导致成本增加，而且限制了处理数据的大小。此外电网中的大量数据掩盖了许多有价值的信息，传统方法很难对这些数据加以分析和利用。而随着储能装置及其应用的快速发展，传统方法很少考虑微网内储能设备充放电或进行微网间能量交互哪一个更符合能量管理经济性的要求。

发明内容

发明目的：本发明的目的是提供一种基于图论和深度强化学习的多微网系统能量路由方法，从而确保整个多微网系统运行成本最小。

技术方案：本发明所述的一种基于图论和深度强化学习的多微网系统能量路由方法，包括以下步骤：

(1)用随机微分方程模拟光伏、风机以及负荷的功率变化，建立光伏、风机、负荷的功率模型，利用常微分方程模拟储能系统充电状态，建立储能系统的功率模型，分析能量路由器能量传输方式，建立能量路由器的功率模型；

(1.1)用常微分线性方程模拟光伏、风机以及负荷的功率变化得到这些设备的初步功率模型，然后用维纳过程来模拟其随机性，在一系列反馈逼近后得到光伏、风机、负荷的功率模型；所述的光伏、风机、负荷的功率模型如下：

其中，P^PV(t)，P^W(t)，P^L(t)分别表示光伏、风机以及负荷的输出功率，t为系统所处的时刻；

则是用线性常微分方程来建立光伏、风机发电时以及负荷用电时的功率初步模型，其中a^PV，a^W，a^L为风机、光伏以及负荷时间常数的倒数的负值；

是利用维纳过程模拟的光伏、风机和负荷功率的随机项，其中ω^PV(t)，ω^W(t)，ω^L(t)表示维纳过程，K^PV，μ^PV，σ^PV，K^W，μ^W，σ^W，K，^Lμ，^Lσ^L为常数；

(1.2)将储能系统在t时刻的充电状态描述为SOC(t)，利用常微分方程建立储能系统的功率模型；所述的储能系统的功率模型如下：

其中

为储能系统的输入/输出功率，Q_S为一常数，η(P^BES(t))为控制储能系统的状态参数，η_i，η_o是储能系统输入/输出功率时的状态参数；

(1.3)建立能量路由器的功率模型，能量路由器是能源互联网领域的核心设备，它使得能量可以像网络中的信息交换那样进行能量传输；所述的能量路由器的功率模型如下：

P^ER(t)＝K^ERU^ER(t)，U^ER(t)∈[-1,1]

其中P^ER(t)是能量路由器的输入/输出功率，K^ER是通过能量路由器的预设值；U_ER(t)为能量路由器的控制器，当U_ER(t)＝0时，能量路由器停止工作；U_ER(t)<0时，能量路由器从其他微网向该微网传输能量；U_ER(t)>0时，能量路由器从该微网向其他微网传输能量。

(2)根据输电线路上的功率偏差可以由储能系统吸收或者由能量路由器传输到其他微网这一假设及自下而上的能量管理原则建立单个微网的功率平衡方程；

步骤(2)所述的单个微网的功率平衡方程如下：

其中P_{i_j}(t)是微网的输出功率。

步骤(3)所述的储能系统的成本损耗模型如下：

其中C^BES(t)为储能系统的成本损耗模型，T为终端设备运行时间，E为期望函数；

(3)建立储能系统的成本损耗模型和使用寿命惩罚函数；所述的惩罚函数如下：

为惩罚函数，将P^BES(t)限制在储能设备的最大功率

之内从而实现储能设备的合理利用，减少储能设备的折损成本，提高储能设备使用寿命。

(4)建立能量路由器以及网络传输的成本损耗模型，计算能量路由器的最终传输成本和网络的功率损耗，得到网络的最终传输成本；

(4.1)建立能量路由器以及网络传输的成本损耗模型；所述的能量路由器以及网络传输的成本损耗模型如下：

其中C^ER(t)，C^LINE(t)为能量路由器及网络传输的成本损耗模型，K^ER，K^LINE是价格系数，为了优先考虑那些能量损耗较小的能量路由器以及网络连接线间的损耗，能量路由器以及网络的传输成本应与功率损耗Δp_ER，Δp_{i_j}成正比；

(4.2)计算能量路由器的最终传输成本；所述的能量路由器的最终传输成本如下：

其中η_X，η_Y分别为能量路由器输入端口和输出端口与公共输电线路之间的转换器的效率；

(4.3)计算网络的功率损耗；所述的网络的功率损耗为：

其中R_I-J为线路的电阻，V_I-J为线路电压，而由于线路的功率传输，功率损耗不是线性叠加的，传输成本会随着线路中功率的增加而增加，因此网络的最终传输成本为：

其中，

为网络最终传输成本，ΔP_I-J为线路功率损耗。

(5)利用图论的方法描述能量路由器及网络传输的选择进而提取多微网系统的拓扑结构，其中所有能量路由器构成节点集合ER＝{ER₁,ER₂,...,ER_N}，所有输电线路构成线路集合L＝{L_{i_j},...}，则两目标点A,B之间的路径可以看作：

path(A→B):＝A≡R_I,R_J,...,R_K≡B

利用多微网系统的拓扑结构、在线监测数据以及模型计算数据构建环境状态空间s_t。

(6)建立能量路由器的动作空间和来自拓扑结构改变的反馈奖励函数；

(6.1)建立能量路由器的动作空间；所述的能量路由器的动作空间为：

a_t∈{-1，0，1}

当a_t为-1时，微网向其他微网传输能量；当a_t为0时，微网间能量双向传输；当a_t为1时，由其他微网向该微网传输能量；系统跟据拓扑结构执行a_t，得到a_t∈A，其中A是多微网系统可能动作的集合；

(6.2)构建来自拓扑结构改变的反馈奖励函数；所述的来自拓扑结构改变的反馈奖励函数如下：

r_t＝-α_BESΔC^BES(t)-α_ERΔC^ER(t)-α_LINEΔC^LINE(t)

其中α_BES是储能系统的折损权重，α_ER，α_LINE是能量路由器以及网络损耗的权重，ΔC^BES(t)，ΔC^ER(t)，ΔC^LINE(t)是单次控制后各部分的损失。

(7)多微网系统通过执行a_t，使环境状态空间s_t转移到s_t+1，重复执行直到完成任务目标或者达到上限T，得到可应用于强化学习训练的路由轨迹；所述的路由轨迹为：

τ＝{(s_t，a_t，r_t)|t＝1...T}

其中，τ为路由轨迹。

(8)建立综合考虑微网内可再生能源自我消纳、微网内储能系统折损成本最小以及微网间能量传递损失最小的成本函数，用于评估出各状态及执行相应动作时未来可能获得的奖励期望。所述的成本函数为：

其中，

为训练后的储能设备、能量路由器、线路传输的成本。

一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于图论和深度强化学习的多微网系统能量路由方法。

一种计算机设备，包括储存器、处理器及存储在存储器上并可再处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于图论和深度强化学习的多微网系统能量路由方法。

有益效果：与现有技术相比，本发明具有如下优点：

1、实现了自下而上的能量管理原则，使得每个微网的供需平衡都得到了优先维护，有利于为消费者提供更可靠的电源系统；

2、考虑了储能设备的合理使用以及合理地微网间能量交互，利用加权路由的方法有效提高了多微网系统能量路由的经济性；

3、将给定的多微网系统转化为图论中图的形式，对图中节点进行简化，更有利于体现和提取多微网系统的拓扑结构，提高计算效率；

4、利用深度强化学习算法进行反馈训练，提高了数据处理量上限有利于充分挖掘电网历史数据，降低计算成本。

附图说明

图1为本发明的步骤流程图；

图2为多微网系统场景图；

图3为多微网系统拓扑结构图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

如图1、2所示，一种基于图论和深度强化学习的多微网系统能量路由方法，包括以下步骤：

(1)用随机微分方程模拟光伏、风机以及负荷的功率变化，建立光伏、风机、负荷的功率模型，利用常微分方程模拟储能系统充电状态，建立储能系统的功率模型，分析能量路由器能量传输方式，建立能量路由器的功率模型；

(1.1)用常微分线性方程模拟光伏、风机以及负荷的功率变化得到这些设备的初步功率模型，然后用维纳过程来模拟其随机性，在一系列反馈逼近后得到光伏、风机、负荷的功率模型；所述的光伏、风机、负荷的功率模型如下：

其中，P^PV(t)，P^W(t)，P^L(t)分别表示光伏、风机以及负荷的输出功率，t为系统所处的时刻；

则是用线性常微分方程来建立光伏、风机发电时以及负荷用电时的功率初步模型，其中a^PV，a^W，a^L为风机、光伏以及负荷时间常数的倒数的负值；

是利用维纳过程模拟的光伏、风机和负荷功率的随机项，其中ω^PV(t)，ω^W(t)，ω^L(t)表示维纳过程，K^PV，μ^PV，σ^PV，K^W，μ^W，σ^W，

为常数；

(1.2)将储能系统在t时刻的充电状态描述为SOC(t)，利用常微分方程建立储能系统的功率模型；所述的储能系统的功率模型如下：

其中

为储能系统的输入/输出功率，Q_S为一常数，η(P^BES(t))为控制储能系统的状态参数，η_i，η_o是储能系统输入/输出功率时的状态参数；

(1.3)建立能量路由器的功率模型，能量路由器是能源互联网领域的核心设备，它使得能量可以像网络中的信息交换那样进行能量传输；所述的能量路由器的功率模型如下：

P^ER(t)＝K^ERU^ER(t)，U^ER(t)∈[-1,1]

其中P^ER(t)是能量路由器的输入/输出功率，K^ER是通过能量路由器的预设值；U_ER(t)为能量路由器的控制器，当U_ER(t)＝0时，能量路由器停止工作；U_ER(t)<0时，能量路由器从其他微网向该微网传输能量；U_ER(t)>0时，能量路由器从该微网向其他微网传输能量。

(2)根据输电线路上的功率偏差可以由储能系统吸收或者由能量路由器传输到其他微网这一假设及自下而上的能量管理原则建立单个微网的功率平衡方程；

步骤(2)所述的单个微网的功率平衡方程如下：

其中P_{i_j}(t)是微网的输出功率。

步骤(3)所述的储能系统的成本损耗模型如下：

其中C^BES(t)为储能系统的成本损耗模型，T为终端设备运行时间，E为期望函数；

(3)建立储能系统的成本损耗模型和使用寿命惩罚函数；所述的惩罚函数如下：

为惩罚函数，将P^BES(t)限制在储能设备的最大功率

之内从而实现储能设备的合理利用，减少储能设备的折损成本，提高储能设备使用寿命。

(4)建立能量路由器以及网络传输的成本损耗模型，计算能量路由器的最终传输成本和网络的功率损耗，得到网络的最终传输成本；

(4.1)建立能量路由器以及网络传输的成本损耗模型；所述的能量路由器以及网络传输的成本损耗模型如下：

其中C^ER(t)，C^LINE(t)为能量路由器及网络传输的成本损耗模型，K^ER，K^LINE是价格系数，为了优先考虑那些能量损耗较小的能量路由器以及网络连接线间的损耗，能量路由器以及网络的传输成本应与功率损耗Δp_ER，Δp_{i_j}成正比；

(4.2)计算能量路由器的最终传输成本；所述的能量路由器的最终传输成本如下：

其中η_X，η_Y分别为能量路由器输入端口和输出端口与公共输电线路之间的转换器的效率；

(4.3)计算网络的功率损耗；所述的网络的功率损耗为：

其中R_I-J为线路的电阻，V_I-J为线路电压，而由于线路的功率传输，功率损耗不是线性叠加的，传输成本会随着线路中功率的增加而增加，因此网络的最终传输成本为：

其中，

为网络最终传输成本，ΔP_I-J为线路功率损耗。

(5)如图3所示，利用图论的方法描述能量路由器及网络传输的选择进而提取多微网系统的拓扑结构，其中所有能量路由器构成节点集合ER＝{ER₁,ER₂,...,ER_N}，所有输电线路构成线路集合L＝{L_{i_j},...}，则两目标点A,B之间的路径可以看作：

path(A→B):＝A≡R_I,R_J,...,R_K≡B

利用多微网系统的拓扑结构、在线监测数据以及模型计算数据构建环境状态空间s_t。

(6)建立能量路由器的动作空间和来自拓扑结构改变的反馈奖励函数；

(6.1)建立能量路由器的动作空间；所述的能量路由器的动作空间为：

a_t∈{-1，0，1}

当at为-1时，微网向其他微网传输能量；当at为0时，微网间能量双向传输；当at为1时，由其他微网向该微网传输能量；系统跟据拓扑结构执行at，得到a_t∈A，其中A是多微网系统可能动作的集合；

(6.2)构建来自拓扑结构改变的反馈奖励函数；所述的来自拓扑结构改变的反馈奖励函数如下：

r_t＝-α_BESΔC^BES(t)-α_ERΔC^ER(t)-α_LINEΔC^LINE(t)

其中α_BES是储能系统的折损权重，α_ER，α_LINE是能量路由器以及网络损耗的权重，ΔC^BES(t)，ΔC^ER(t)，ΔC^LINE(t)是单次控制后各部分的损失。

(7)多微网系统通过执行at，使环境状态空间st转移到st₊₁，重复执行直到完成任务目标或者达到上限T，得到可应用于强化学习训练的路由轨迹；所述的路由轨迹为：

τ＝{(s_t，a_t，r_t)|t＝1...T}

其中，τ为路由轨迹。

(8)建立综合考虑微网内可再生能源自我消纳、微网内储能系统折损成本最小以及微网间能量传递损失最小的成本函数，用于评估出各状态及执行相应动作时未来可能获得的奖励期望。所述的成本函数为：

其中，

为训练后的储能设备、能量路由器、线路传输的成本。

一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于图论和深度强化学习的多微网系统能量路由方法。

一种计算机设备，包括储存器、处理器及存储在存储器上并可再处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于图论和深度强化学习的多微网系统能量路由方法。

Claims (11)

1.一种基于图论和深度强化学习的多微网系统能量路由方法，其特征在于，包括以下步骤：

(1)用随机微分方程模拟光伏、风机以及负荷的功率变化，建立光伏、风机、负荷的功率模型，利用常微分方程模拟储能系统充电状态，建立储能系统的功率模型，分析能量路由器能量传输方式，建立能量路由器的功率模型；

(2)根据输电线路上的功率偏差可以由储能系统吸收或者由能量路由器传输到其他微网这一假设及自下而上的能量管理原则建立单个微网的功率平衡方程；

(3)建立储能系统的成本损耗模型和使用寿命惩罚函数；

(4)建立能量路由器以及网络传输的成本损耗模型，计算能量路由器的最终传输成本和网络的功率损耗，得到网络的最终传输成本；

(5)利用图论的方法提取多微网系统的拓扑结构、在线监测数据以及模型计算数据构建环境状态空间；

(6)建立能量路由器的动作空间和来自拓扑结构改变的反馈奖励函数；

(7)多微网系统通过执行a_t，使环境状态空间s_t转移到s_t+1，重复执行直到完成任务目标或者达到上限T，得到可应用于强化学习训练的路由轨迹；

(8)建立综合考虑微网内可再生能源自我消纳、微网内储能系统折损成本最小以及微网间能量传递损失最小的成本函数，用于评估出各状态及执行相应动作时未来可能获得的奖励期望。

2.根据权利要求1所述的一种基于图论和深度强化学习的多微网系统能量路由方法，其特征在于，所述步骤(1)具体为：

(1.1)用常微分线性方程模拟光伏、风机以及负荷的功率变化得到这些设备的初步功率模型，然后用维纳过程来模拟其随机性，在一系列反馈逼近后得到光伏、风机、负荷的功率模型；所述的光伏、风机、负荷的功率模型如下：

其中，P^PV(t)，P^W(t)，P^L(t)分别表示光伏、风机以及负荷的输出功率，t为系统所处的时刻；

则是用线性常微分方程来建立光伏、风机发电时以及负荷用电时的功率初步模型，其中a^PV，a^W，a^L为风机、光伏以及负荷时间常数的倒数的负值；

是利用维纳过程模拟的光伏、风机和负荷功率的随机项，其中ω^PV(t)，ω^W(t)，ω^L(t)表示维纳过程，K^PV，μ^PV，σ^PV，K^W，μ^W，σ^W，K，^Lμ，^Lσ^L为常数；

(1.2)将储能系统在t时刻的充电状态描述为SOC(t)，利用常微分方程建立储能系统的功率模型；所述的储能系统的功率模型如下：

其中

为储能系统的输入/输出功率，Q_S为一常数，η(P^BES(t))为控制储能系统的状态参数，η_i，η_o是储能系统输入/输出功率时的状态参数；

(1.3)建立能量路由器的功率模型；所述的能量路由器的功率模型如下：

P^ER(t)＝K^ERU^ER(t)，U^ER(t)∈[-1,1]

其中P^ER(t)是能量路由器的输入/输出功率，K^ER是通过能量路由器的预设值；U_ER(t)为能量路由器的控制器，当U_ER(t)＝0时，能量路由器停止工作；U_ER(t)<0时，能量路由器从其他微网向该微网传输能量；U_ER(t)>0时，能量路由器从该微网向其他微网传输能量。

3.根据权利要求1所述的一种基于图论和深度强化学习的多微网系统能量路由方法，其特征在于，步骤(2)所述的单个微网的功率平衡方程如下：

其中P_{i_j}(t)是微网的输出功率。

4.根据权利要求1所述的一种基于图论和深度强化学习的多微网系统能量路由方法，其特征在于，步骤(3)所述的储能系统的成本损耗模型如下：

其中C^BES(t)为储能系统的成本损耗模型，T为终端设备运行时间，E为期望函数；

步骤(3)所述的惩罚函数如下：

为惩罚函数，将P^BES(t)限制在储能设备的最大功率

之内从而实现储能设备的合理利用，减少储能设备的折损成本，提高储能设备使用寿命。

5.根据权利要求1所述的一种基于图论和深度强化学习的多微网系统能量路由方法，其特征在于，所述步骤(4)具体为：

(4.1)建立能量路由器以及网络传输的成本损耗模型；所述的能量路由器以及网络传输的成本损耗模型如下：

其中C^ER(t)，C^LINE(t)为能量路由器及网络传输的成本损耗模型，K^ER，K^LINE是价格系数，为了优先考虑那些能量损耗较小的能量路由器以及网络连接线间的损耗，能量路由器以及网络的传输成本应与功率损耗Δp_ER，Δp_{i_j}成正比；

(4.2)计算能量路由器的最终传输成本；所述的能量路由器的最终传输成本如下：

其中η_X，η_Y分别为能量路由器输入端口和输出端口与公共输电线路之间的转换器的效率；

(4.3)计算网络的功率损耗；所述的网络的功率损耗为：

其中R_I-J为线路的电阻，V_I-J为线路电压，而由于线路的功率传输，功率损耗不是线性叠加的，传输成本会随着线路中功率的增加而增加，因此网络的最终传输成本为：

其中，

为网络最终传输成本，ΔP_I-J为线路功率损耗。

6.根据权利要求1所述的一种基于图论和深度强化学习的多微网系统能量路由方法，其特征在于，所述步骤(5)具体为：利用图论的方法描述能量路由器及网络传输的选择进而提取多微网系统的拓扑结构，其中所有能量路由器构成节点集合ER＝{ER₁,ER₂,...,ER_N}，所有输电线路构成线路集合L＝{L_{i_j},...}，则两目标点A,B之间的路径可以看作：

path(A→B):＝A≡R_I,R_J,...,R_K≡B

利用多微网系统的拓扑结构、在线监测数据以及模型计算数据构建环境状态空间s_t。

7.根据权利要求1所述的一种基于图论和深度强化学习的多微网系统能量路由方法，其特征在于，所述步骤(6)具体为：

(6.1)建立能量路由器的动作空间；所述的能量路由器的动作空间为：

a_t∈{-1，0，1}

当a_t为-1时，微网向其他微网传输能量；当a_t为0时，微网间能量双向传输；当a_t为1时，由其他微网向该微网传输能量；系统跟据拓扑结构执行a_t，得到a_t∈A，其中A是多微网系统可能动作的集合；

(6.2)构建来自拓扑结构改变的反馈奖励函数；所述的来自拓扑结构改变的反馈奖励函数如下：

r_t＝-α_BESΔC^BES(t)-α_ERΔC^ER(t)-α_LINEΔC^LINE(t)

其中α_BES是储能系统的折损权重，α_ER，α_LINE是能量路由器以及网络损耗的权重，ΔC^BES(t)，ΔC^ER(t)，ΔC^LINE(t)是单次控制后各部分的损失。

8.根据权利要求1所述的一种基于图论和深度强化学习的多微网系统能量路由方法，其特征在于，步骤(7)所述的路由轨迹为：

τ＝{(s_t，a_t，r_t)|t＝1...T}

其中，τ为路由轨迹。

9.根据权利要求1所述的一种基于图论和深度强化学习的多微网系统能量路由方法，其特征在于，步骤(8)所述的成本函数为：

其中，

为训练后的储能设备、能量路由器、线路传输的成本。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-9中任一项所述的一种基于图论和深度强化学习的多微网系统能量路由方法。

11.一种计算机设备，包括储存器、处理器及存储在存储器上并可再处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9中任一项所述的一种基于图论和深度强化学习的多微网系统能量路由方法。

Images