CN114243799B - 基于分布式电源的深度强化学习配电网故障恢复方法 - Google Patents

Abstract

本申请实施例提出了基于分布式电源的深度强化学习配电网故障恢复方法，包括根据配电网电气节点间的连接关系，建立配电网的电气拓扑图，合并节点形成故障恢复节点，并以联络开关为边，建立故障恢复拓扑图；以每个分布式电源为智能体，建立故障恢复的多智能体马尔科夫决策过程模型，通过在配电网故障恢复中引入分布式电源，有利于进一步提高恢复供电手段的灵活性和恢复供电的负荷量。同时，本发明引入深度强化学习，智能体通过在不同的问题实例下，基于可观测的部分信息搜索分布式电源的供电范围，得到恢复供电的配电网孤岛划分方案，并根据回报函数调整搜索策略训练模型，对不同的问题实例具有较好的适应性。

Description

基于分布式电源的深度强化学习配电网故障恢复方法

技术领域

本发明涉及配电网故障恢复领域，尤其涉及基于分布式电源的深度强化学习配电网故障恢复方法。

背景技术

配电网发生故障时，利用传统火电、水电机组，通过负荷转供的方式恢复供电，受配电网的运行方式约束影响较大，且大容量机组的爬坡速率有限，因此通常需切除的负荷较多，故障恢复的灵活性不足。同时，配电网故障恢复是一类组合优化问题，当前的方法集中于启发式搜索和混合整数规划。传统的启发式搜索在面对不同的问题实例时，解的质量差异性较大，不具备自适应能力。而混合整数规划的建模需要完整的配电网信息，且计算时间随着配电网规模的增大而急剧增加。

发明内容

本发明的目的在于提高配电网故障恢复手段的灵活性、恢复供电的能力和恢复方案计算速度。分布式光伏、储能、电动汽车等分布式电源在配电网中的大量接入，为配电网的故障恢复提供了新的灵活可用资源。因此，本发明在配电网故障恢复中引入分布式电源，有利于进一步提高恢复供电手段的灵活性和恢复供电的负荷量。同时，本发明引入深度强化学习，智能体通过在不同的问题实例下，基于可观测的部分信息搜索分布式电源的供电范围，得到恢复供电的配电网孤岛划分方案，并根据回报函数调整搜索策略训练模型，对不同的问题实例具有较好的适应性。

本发明的目的是通过以下技术方案来实现：基于分布式电源的深度强化学习配电网故障恢复方法，包括步骤：

1)根据配电网电气节点间的连接关系，建立配电网的电气拓扑图。合并节点形成故障恢复节点，并以联络开关为边，建立故障恢复拓扑图。

2)以每个分布式电源为智能体，建立故障恢复的多智能体马尔科夫决策过程模型。

3)在训练阶段，首先使用DeepWalk获取故障恢复拓扑图的节点表示向量。

4)各智能体分别拼接观察到的状态向量及其所在故障恢复节点的表示向量，输入到由全连接神经网络构建的Q函数神经网络，得到各个动作的Q值，并使用∈-greedy方法采样动作并执行。收集由当前状态、当前动作、当前回报、下一状态组成的四元组并放入经验池。

5)当经验池中的四元组数量足够多时，从经验池中批量采样四元组计算Q值损失函数，并使用Adam优化算法更新神经网络参数。若存在故障恢复节点未被访问且分布式电源仍有剩余功率，返回第三步，否则结束一轮回合的训练。6)训练足够多回合数后结束训练，使用训练好的Q函数神经网络确定各状态下的动作并执行，不断重复直到所有故障恢复节点均被访问或分布式电源无剩余功率。

进一步地，所述步骤1)中合并节点形成故障恢复节点，建立故障恢复拓扑的具体步骤包括：

1.1)断开所有联络开关，选择未被访问的电气节点，在电气拓扑图中进行深度优先或广度优先搜索，同时在搜索的过程中标记访问过的电气节点。

1.2)每次搜索完成后，合并本次搜索过程中访问的电气节点作为故障恢复节点v，记故障恢复节点构成的集合为若仍有电气节点未被访问，返回1.1)，否则结束搜索。

1.3)以联络开关作为各故障恢复节点间的边e，记边构成的集合为ε。建立故障恢复拓扑图

进一步地，步骤2)中故障恢复的多智能体马尔科夫决策过程模型为：

2.1)环境：故障恢复过程中的配电网。

2.2)智能体：为每个分布式电源分配一个智能体，决定每个分布式电源恢复供电的节点。记共有N个智能体。

2.3)状态：记第i个智能体在t时刻所观察的状态s_i,t，构成的集合为各智能体在t时刻观察的状态组成的向量为s_t。s_i,t由三部分组成：

2.3.1)第i个智能体在t时刻前访问经过的故障恢复节点。

2.3.2)第i个智能体在t时刻所处的故障恢复节点。

2.3.3)第i个智能体在t时刻剩余的功率。

2.4)动作：记第i个智能体在t时刻的动作a_i,t，构成的集合为各智能体在t时刻动作组成的向量为a_t。a_i,t表示第i个智能体在t时刻处于状态s_i,t时，t+1时刻访问的故障恢复节点。由于两个故障恢复节点间由联络开关连接，因此执行动作a_i,t等价于合上第i个智能体在t时刻和t+1时刻所处的故障恢复节点之间的联络开关。

2.5)状态转移概率：t时刻在状态s_t＝[s_1,t,s_2,t,…,s_N,t]下，各智能体选择的动作为a_t＝[a_1,t,a_2,t,…,a_N,t]时，t+1时刻状态为s_t+1＝[s_1,t+1,s_2,t+1,…,s_N,t+1]的概率

2.6)回报：记t时刻在状态s_t下，各智能体选择的动作为a_t时，第i个智能体获得的回报为R_i,t(s_t,a_t)，各智能体回报组成的向量为R_t＝[R_1,t,R_2,t,…,R_N,t]。该回报由以下4部分求和得到：

2.6.1)恢复供电的负荷功率

式中：为第i个智能体执行动作a_i,t，到达未访问过的故障恢复节点v后，所恢复供电的负荷功率，Δt为状态转移前后的时间差，本发明取1。

2.6.2)执行动作后，到达已访问过的故障恢复节点的惩罚

式中：为第i个智能体执行动作a_i,t，到达已访问过的故障恢复节点v后，该节点已被恢复供电的负荷功率。

2.6.3)潮流越限程度惩罚

式中：P_f、Q_f为支路f的有功、无功潮流，为支路f的有功、无功潮流的最大值，支路构成的集合为/>V_b和/>为电气节点b的电压幅值及最大值，电气节点构成的集合为/>w_p、w_q、w_v为有功、无功、电压越限的惩罚系数，本发明均取1。

进一步地，步骤3)中使用DeepWalk训练故障恢复节点表示模型的具体步骤包括：

3.1)随机初始化故障恢复节点表示矩阵其中/>表示故障恢复节点的个数，d为故障恢复节点表示的维数。矩阵第v行表示故障恢复节点v的d维表示向量，记作Φ(v)。

3.2)在第p次遍历时(p＝1,2,…,N_p，共遍历N_p次)，乱序遍历中的顶点v_p，以v_p作为起始节点，在图/>中随机游走τ步，记录每次随机游走经过的故障恢复节点序列

3.3)使用SkipGram训练节点表示模型。顺序遍历序列中的节点v_q 在v_q前后分别截取大小为w的窗，对任意的/> 计算损失函数

J(Φ)＝-logPr(v_o|v_q)

式中：Pr(v_o|v_q)表示以v_q为中心节点时，前后大小为w的窗内包含节点v_o的概率，可采用分层Softmax方法近似计算。

3.4)使用梯度下降法，更新矩阵Φ中的元素

式中：α为学习率。

进一步地，步骤4)中各智能体拼接状态向量和故障恢复节点表示向量，使用全连接网络计算动作Q值，并使用∈-greedy方法采样动作的具体步骤为：

4.1)设第i个智能体在t时刻所在的故障恢复节点为v^i,t，拼接观察的状态向量和节点表示向量得到向量s′_i,t

s′_i,t＝concat(s_i,t,Φ(v^i,t))

4.2)设第i个智能体的Q函数使用全连接神经网络计算，共有L_i层，第l层神经网络的参数为偏置为/>其中第L_i层神经网络输出的维数和第i个智能体的动作空间相等。则t时刻第l层神经网络的输出/>与输入/>的关系为

式中：ReLU(·)为ReLU激活函数。

第1层神经网络的输入为向量s′_i,t，第L_i层神经网络输出/>为在状态s_i,t下各动作的Q函数值。

4.3)设选取随机动作的概率为∈，按均匀分布采样p∈[0,1]，则第i个智能体在t时刻的动作a_i,t满足

式中：rand(·)表示在集合中按均匀分布随机采样，表示第i个智能体的动作空间，Q(s_i,t,a)表示状态s_i,t下动作a的Q函数值。

进一步地，步骤5)中批量采样四元组，计算Q值损失函数的具体步骤为：

5.1)存储四元组<s_t,a_t,R_t,s_t+1>到经验池至本回合终止，返回步骤4)开始下一回合，直到经验池有足够多的四元组。

5.2)从经验池中随机采样S个四元组<s^(s),a^(s),R^(s),s^′(s)>(s＝1,2,…,S)，计算Q值损失函数

式中：γ为折扣率。

本发明的有益效果是：在故障恢复中考虑使用分布式电源作为紧急供电支撑，提高了故障恢复的灵活性。使用深度强化学习求解故障恢复模型，兼顾了模型的求解精度和求解效率。

附图说明

图1是本申请实施例提出的基于分布式电源的深度强化学习配电网故障恢复方法的流程示意图。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的具体实施方式作进一步具体说明。

本发明基于分布式电源的深度强化学习配电网故障恢复方法，如图1所示，包括以下步骤：

S1，根据配电网电气节点间的连接关系，建立配电网的电气拓扑图，合并节点形成故障恢复节点，并以联络开关为边，建立故障恢复拓扑图，具体步骤包括：

1.1)断开所有联络开关，选择未被访问的电气节点，在电气拓扑图中进行深度优先或广度优先搜索，同时在搜索的过程中标记访问过的电气节点。

1.2)每次搜索完成后，合并本次搜索过程中访问的电气节点作为故障恢复节点v，记故障恢复节点构成的集合为若仍有电气节点未被访问，返回1.1)，否则结束搜索。

1.3)以联络开关作为各故障恢复节点间的边e，记边构成的集合为ε。建立故障恢复拓扑图

S2，以每个分布式电源为智能体，建立故障恢复的多智能体马尔科夫决策过程模型，具体为：

2.1)环境：故障恢复过程中的配电网。

2.2)智能体：为每个分布式电源分配一个智能体，决定每个分布式电源恢复供电的节点。记共有N个智能体。

2.3)状态：记第i个智能体在t时刻所观察的状态s_i,t，构成的集合为各智能体在t时刻观察的状态组成的向量为s_t。s_i,t由三部分组成：

2.3.1)第i个智能体在t时刻前访问经过的故障恢复节点。

2.3.2)第i个智能体在t时刻所处的故障恢复节点。

2.3.3)第i个智能体在t时刻剩余的功率。

2.4)动作：记第i个智能体在t时刻的动作a_i,t，构成的集合为各智能体在t时刻动作组成的向量为a_t。a_i,t表示第i个智能体在t时刻处于状态s_i,t时，t+1时刻访问的故障恢复节点。由于两个故障恢复节点间由联络开关连接，因此执行动作a_i,t等价于合上第i个智能体在t时刻和t+1时刻所处的故障恢复节点之间的联络开关。

2.5)状态转移概率：t时刻在状态s_t＝[s_1,t,s_2,t,…,s_N,t]下，各智能体选择的动作为a_t＝[a_1,t,a_2,t,…,a_N,t]时，t+1时刻状态为s_t+1＝[s_1,t+1,s_2,t+1,…,s_N,t+1]的概率

2.6)回报：记t时刻在状态s_t下，各智能体选择的动作为a_t时，第i个智能体获得的回报为R_i,t(s_t,a_t)，各智能体回报组成的向量为R_t＝[R_1,t,R_2,t,…,R_N,t]。该回报由以下4部分求和得到：

2.6.1)恢复供电的负荷功率

式中：为第i个智能体执行动作a_i,t，到达未访问过的故障恢复节点v后，所恢复供电的负荷功率，Δt为状态转移前后的时间差，本发明取1。

2.6.2)执行动作后，到达已访问过的故障恢复节点的惩罚

式中：为第i个智能体执行动作a_i,t，到达已访问过的故障恢复节点v后，该节点已被恢复供电的负荷功率。

2.6.3)潮流越限程度惩罚

式中：P_f、Q_f为支路f的有功、无功潮流，为支路f的有功、无功潮流的最大值，支路构成的集合为/>V_b和/>为电气节点b的电压幅值及最大值，电气节点构成的集合为/>w_p、w_q、w_v为有功、无功、电压越限的惩罚系数，本发明均取1。

S3，在训练阶段，首先使用DeepWalk获取故障恢复拓扑图的节点表示向量，具体的步骤包括：

3.1)随机初始化故障恢复节点表示矩阵其中/>表示故障恢复节点的个数，d为故障恢复节点表示的维数。矩阵第v行表示故障恢复节点v的d维表示向量，记作Φ(v)。

3.2)在第p次遍历时(p＝1,2,…,N_p，共遍历N_p次)，乱序遍历中的顶点v_p，以v_p作为起始节点，在图/>中随机游走τ步，记录每次随机游走经过的故障恢复节点序列

3.3)使用SkipGram训练节点表示模型。顺序遍历序列中的节点v_q 在v_q前后分别截取大小为w的窗，对任意的/> 计算损失函数

J(Φ)＝-logPr(v_o|v_q)

式中：Pr(v_o|v_q)表示以v_q为中心节点时，前后大小为w的窗内包含节点v_o的概率，可采用分层Softmax方法近似计算。

3.4)使用梯度下降法，更新矩阵Φ中的元素

式中：α为学习率。

S4，各智能体分别拼接观察到的状态向量及其所在故障恢复节点的表示向量，输入到由全连接神经网络构建的Q函数神经网络，得到各个动作的Q值，并使用∈-"greedy"方法采样动作并执行。收集由当前状态、当前动作、当前回报、下一状态组成的四元组并放入经验池。具体的步骤包括：

4.1)设第i个智能体在t时刻所在的故障恢复节点为v^i,t，拼接观察的状态向量和节点表示向量得到向量s′_i,t

s′_i,t＝concat(s_i,t,Φ(v^i,t))

4.2)设第i个智能体的Q函数使用全连接神经网络计算，共有L_i层，第l层神经网络的参数为偏置为/>其中第L_i层神经网络输出的维数和第i个智能体的动作空间相等。则t时刻第l层神经网络的输出/>与输入/>的关系为

式中：ReLU(·)为ReLU激活函数。

第1层神经网络的输入为向量s′_i,t，第L_i层神经网络输出/>为在状态s_i,t下各动作的Q函数值。

4.3)设选取随机动作的概率为∈，按均匀分布采样p∈[0,1]，则第i个智能体在t时刻的动作a_i,t满足

式中：rand(·)表示在集合中按均匀分布随机采样，表示第i个智能体的动作空间，Q(s_i,t,a)表示状态s_i,t下动作a的Q函数值。

S5，当经验池中的四元组数量足够多时，从经验池中批量采样四元组计算Q值损失函数，并使用Adam优化算法更新神经网络参数。若存在故障恢复节点未被访问且分布式电源仍有剩余功率，返回步骤第三步，否则结束一轮回合的训练，具体的步骤包括：

5.1)存储四元组<s_t,a_t,R_t,s_t+1>到经验池至本回合终止，返回步骤4)开始下一回合，直到经验池有足够多的四元组。

5.2)从经验池中随机采样S个四元组<s^(s),a^(s),R^(s),s^′(s)>(s＝1,2,…,S)，计算Q值损失函数

式中：γ为折扣率。

S6，训练足够多回合数后结束训练，使用训练好的Q函数神经网络确定各状态下的动作并执行，不断重复直到所有故障恢复节点均被访问或分布式电源无剩余功率。

Claims (4)

1.基于分布式电源的深度强化学习配电网故障恢复方法，其特征在于，包括：

根据配电网电气节点间的连接关系，建立配电网的电气拓扑图，合并节点形成故障恢复节点，并以联络开关为边，建立故障恢复拓扑图；

以每个分布式电源为智能体，建立故障恢复的多智能体马尔科夫决策过程模型；

在训练阶段使用DeepWalk获取故障恢复拓扑图的节点表示向量；

各智能体分别拼接观察到的状态向量及其所在故障恢复节点的表示向量，输入到由全连接神经网络构建的Q函数神经网络，得到各个动作的Q值，并使用∈-greedy方法采样动作并执行；收集由当前状态、当前动作、当前回报、下一状态组成的四元组并放入经验池；

当经验池中的四元组数量足够多时，从经验池中批量采样四元组计算Q值损失函数，并使用Adam优化算法更新神经网络参数；若存在故障恢复节点未被访问且分布式电源仍有剩余功率，返回第三步，否则结束一轮回合的训练；

训练足够多回合数后结束训练，使用训练好的Q函数神经网络确定各状态下的动作并执行，不断重复直到所有故障恢复节点均被访问或分布式电源无剩余功率；

所述在训练阶段使用DeepWalk获取故障恢复拓扑图的节点表示向量，包括：

随机初始化故障恢复节点表示矩阵其中/>表示故障恢复节点的个数，d为故障恢复节点表示的维数；矩阵第v行表示故障恢复节点v的d维表示向量，记作Φ(v)；

在第p次遍历时(p＝1,2,…,N_p，共遍历N_p次)，乱序遍历中的顶点v_p，以v_p作为起始节点，在图/>中随机游走τ步，记录每次随机游走经过的故障恢复节点序列/>

使用SkipGram训练节点表示模型；顺序遍历序列中的节点/> 在v_q前后分别截取大小为w的窗，对任意的/> 计算损失函数J(Φ)＝-logPr(v_o|v_q)，

式中：Pr(v_o|v_q)表示以v_q为中心节点时，前后大小为w的窗内包含节点v_o的概率，可采用分层Softmax方法近似计算；

使用梯度下降法，更新矩阵Φ中的元素

式中：α为学习率；

所述各智能体分别拼接观察到的状态向量及其所在故障恢复节点的表示向量，输入到由全连接神经网络构建的Q函数神经网络，得到各个动作的Q值，并使用∈-greedy方法采样动作并执行；收集由当前状态、当前动作、当前回报、下一状态组成的四元组并放入经验池，包括：

设第i个智能体在t时刻所在的故障恢复节点为v^i,t，拼接观察的状态向量和节点表示向量得到向量s′_i,t

设第i个智能体的Q函数使用全连接神经网络计算，共有L_i层，第l层神经网络的参数为W_i ^l，偏置为其中第L_i层神经网络输出的维数和第i个智能体的动作空间相等；则t时刻第l层神经网络的输出/>与输入/>的关系为

式中：ReLU(·)为ReLU激活函数；

第1层神经网络的输入为向量s′_i,t，第L_i层神经网络输出/>为在状态s_i,t下各动作的Q函数值；

设选取随机动作的概率为∈，按均匀分布采样p∈[0,1]，则第i个智能体在t时刻的动作a_i,t满足

式中：rand(·)表示在集合中按均匀分布随机采样，表示第i个智能体的动作空间，Q(s_i,t,a)表示状态s_i,t下动作a的Q函数值。

2.根据权利要求1所述的基于分布式电源的深度强化学习配电网故障恢复方法，其特征在于，所述根据配电网电气节点间的连接关系，建立配电网的电气拓扑图，合并节点形成故障恢复节点，并以联络开关为边，建立故障恢复拓扑图，包括：

断开所有联络开关，选择未被访问的电气节点，在电气拓扑图中进行深度优先或广度优先搜索，同时在搜索的过程中标记访问过的电气节点；

每次搜索完成后，合并本次搜索过程中访问的电气节点作为故障恢复节点v，记故障恢复节点构成的集合为若仍有电气节点未被访问则返回，否则结束搜索；

以联络开关作为各故障恢复节点间的边e，记边构成的集合为ε；建立故障恢复拓扑图

3.根据权利要求1所述的基于分布式电源的深度强化学习配电网故障恢复方法，其特征在于，所述以每个分布式电源为智能体，建立故障恢复的多智能体马尔科夫决策过程模型，包括：

环境：故障恢复过程中的配电网；

智能体：为每个分布式电源分配一个智能体，决定每个分布式电源恢复供电的节点；记共有N个智能体；

状态：记第i个智能体在t时刻所观察的状态s_i，t，构成的集合为各智能体在t时刻观察的状态组成的向量为s_t；s_i，t由三部分组成：第i个智能体在t时刻前访问经过的故障恢复节点，第i个智能体在t时刻所处的故障恢复节点，第i个智能体在t时刻剩余的功率；

动作：记第i个智能体在t时刻的动作a_i，t，构成的集合为各智能体在t时刻动作组成的向量为a_t；a_i，t表示第i个智能体在t时刻处于状态s_i，t时，t+1时刻访问的故障恢复节点；由于两个故障恢复节点间由联络开关连接，因此执行动作a_i，t等价于合上第i个智能体在t时刻和t+1时刻所处的故障恢复节点之间的联络开关；

状态转移概率：t时刻在状态s_t＝[s_1，t，s_2，t，…，s_N，t]下，各智能体选择的动作为a_t＝[a_1，t，a_2，t，…，a_N，t]时，t+1时刻状态为s_t+1＝[s_1，t+1，s_2，t+1，…，s_N，t+1]的概率

回报：记t时刻在状态s_t下，各智能体选择的动作为a_t时，第i个智能体获得的回报为R_i，t(s_t，a_t)，各智能体回报组成的向量为R_t＝[R_1，t，R_2，t，…，R_N，t]；该回报由以下4部分求和得到：

1)恢复供电的负荷功率

式中：为第i个智能体执行动作a_i，t，到达未访问过的故障恢复节点v后，所恢复供电的负荷功率，Δt为状态转移前后的时间差，本发明取1；

2)执行动作后，到达已访问过的故障恢复节点的惩罚

式中：为第i个智能体执行动作a_i,t，到达已访问过的故障恢复节点v后，该节点已被恢复供电的负荷功率；

3)潮流越限程度惩罚

式中：P_f、Q_f为支路f的有功、无功潮流，为支路f的有功、无功潮流的最大值，支路构成的集合为/>V_b和/>为电气节点b的电压幅值及最大值，电气节点构成的集合为/>w_p、w_q、w_v为有功、无功、电压越限的惩罚系数，本发明均取1。

4.根据权利要求1所述的基于分布式电源的深度强化学习配电网故障恢复方法，其特征在于，所述当经验池中的四元组数量足够多时，从经验池中批量采样四元组计算Q值损失函数，并使用Adam优化算法更新神经网络参数；若存在故障恢复节点未被访问且分布式电源仍有剩余功率，返回步骤3)，否则结束一轮回合的训练，包括：

存储四元组<s_t,a_t,R_t,s_t+1>到经验池至本回合终止，返回步骤4)开始下一回合，直到经验池有足够多的四元组；

从经验池中随机采样S个四元组<s^(s),a^(s),R^(s),s′^(s)>(s＝1,2,…,S)，计算Q值损失函数

式中：γ为折扣率。