CN115864408A - 基于强化学习的分布式电源接入配电网有功优化方法 - Google Patents

Abstract

本发明公开了基于强化学习的分布式电源接入配电网有功优化方法包括，对强化学习的数学原理进行挖掘；提出基于强化学习的配电网最优潮流。本方法方法基于强化学习的数学原理，通过对数学原理进行挖掘得到基于强化学习的配电网最优潮流模型，该模型通过选用合理的优化方法来实现配网侧的多目标实时控制，在待优化的目标函数值达到最优的条件下保证能够满足配电网运行过程当中的各项约束条件，保护电网运行的可靠性，解决了由于分布式电源分散性、时序性、随机性极强，为配网侧的优化控制带来了更大的难度的问题。

Description

基于强化学习的分布式电源接入配电网有功优化方法

技术领域

本发明涉及配电网优化技术领域，尤其涉及基于强化学习的分布式电源接入配电网有功优化方法。

背景技术

随着配网侧越来越多地接入风机、光伏单元等分布式电源及储能装置，新型主动配电网正在逐步形成和完善。由于分布式电源分散性、时序性、随机性极强，为配网侧的优化控制带来了更大的难度，所以选用合理的优化方法来实现配网侧的多目标实时控制成为了亟待解决的问题。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明提供了基于强化学习的分布式电源接入配电网有功优化方法，能够解决传统方法中分布式电源分散性、时序性、随机性极强的问题。

为解决上述技术问题，本发明提供如下技术方案，基于强化学习的分布式电源接入配电网有功优化方法，包括：

对强化学习的数学原理进行挖掘；

提出基于强化学习的配电网最优潮流。

作为本发明所述的基于强化学习的分布式电源接入配电网有功优化方法的一种优选方案，其中：所述挖掘强化学习的数学原理包括，Q学习过程，过程如下：

定义Q值：

评估Q值：

其中，为Q值函数，A为动作集合，s为当前状态，s’为下一时刻的状态，R(s,s',a)为回报函数值，γ为折扣因子；

更新Q值迭代公式如下：

其中，α为学习因子，ΔQ为学习增量。

作为本发明所述的基于强化学习的分布式电源接入配电网有功优化方法的一种优选方案，其中：所述Q学习过程包括，Q(λ)算法将值函数Q(s,a)与资格迹相结合，其迭代更新公式如下：

Q_k+1(s,a)＝Q_k(s,a)+αδ_ke_k(s,a) (4)

其中，k为迭代次数，R(s_k,s_k+1,a_k)为奖励函数值，e_k(s,a)为资格迹。

作为本发明所述的基于强化学习的分布式电源接入配电网有功优化方法的一种优选方案，其中：所述更新规则包括，

其中，(s_i ^k,a_i ^k)为个体i在第k次迭代时的状态-动作对，γ∈[0,1]为折扣因子，λ∈[0,1]为资格迹衰退系数。

作为本发明所述的基于强化学习的分布式电源接入配电网有功优化方法的一种优选方案，其中：所述挖掘强化学习的数学原理还包括，动作选择策略如下式所示：

ε-贪婪搜索原则可以表示如下：

其中，q₀为[0,1]区间内的随机数，ε为贪婪动作利用率，a_rand为随机动作。

作为本发明所述的基于强化学习的分布式电源接入配电网有功优化方法的一种优选方案，其中：所述贪婪搜索包括，贪婪策略迭代公式如下：

其中，β为更新速率，P_s ^k(a)为第k次迭代时状态s下动作a被选择的概率。

作为本发明所述的基于强化学习的分布式电源接入配电网有功优化方法的一种优选方案，其中：所述基于强化学习的配电网最优潮流包括，考虑到电网运行的经济性，有功网络损耗应当作为首要考虑的指标，所述有功网络损耗的目标函数如下：

其中，F₁₀为有功网络损耗，B为配电网所有支路的集合，i、j分别为支路首末端的节点编号，θ_ij为节点i、j电压的相角差，g_ij为节点i、j之间的支路电导；

进一步定义目标函数为优化后和优化前有功网损的差值：

max F₁＝-ω₁(F₁ ¹-F₁ ⁰) (10)

其中，F₁为目标函数，F₁ ¹为优化后的目标函数值，F₁ ⁰为优化前目标函数的初始值，ω₁为所述目标函数的权重系数，且ω₁＞0。

作为本发明所述的基于强化学习的分布式电源接入配电网有功优化方法的一种优选方案，其中：所述目标函数包括，主动配电网需要使待优化的目标函数值达到最优，同时保证能够满足配电网运行过程当中的约束条件，如下所示：

其中，P_DG,i、Q_DG,i、P_d,i、Q_d,i分别为节点i处接入分布式电源的有功出力、无功出力和所述节点处的有功负荷、无功负荷，G_ij、B_ij分别为节点i和节点j之间的电导和电纳。

作为本发明所述的基于强化学习的分布式电源接入配电网有功优化方法的一种优选方案，其中：所述约束条件包括，

其中，P_ij为支路的有功功率，

为支路的有功功率上限；

将电压越限的节点个数纳入优化目标，并进行量化处理：

max F₂＝-ω₂(N_ag ¹-N_ag ⁰) (16)

其中，F₂为节点电压约束条件，N_ag ¹为优化后电压越限的节点个数，N_ag ⁰为优化后电压越限的节点个数，ω₂为该约束条件的权重系数，且ω₂＞0。

作为本发明所述的基于强化学习的分布式电源接入配电网有功优化方法的一种优选方案，其中：所述目标函数还包括，

采用罚函数法设计基于强化学习的合格函数，计算过程如下：

其中，f^e为罚函数初值，PF_u为第u个约束条件的惩罚函数，NC为约束条件个数。

其中，χ为惩罚因子，Z_u为第u个约束条件，Z_u ^lim为第u个约束条件Z_u的极限值。

在所述的OPF问题当中，考虑将目标函数设置为罚函数初值，具体设置合格函数F如下：

max F＝max F₁+max F₂ (19)

本发明的有益效果：本发明方法基于强化学习的数学原理，通过对数学原理进行挖掘得到基于强化学习的配电网最优潮流模型，该模型通过选用合理的优化方法来实现配网侧的多目标实时控制，在待优化的目标函数值达到最优的条件下保证能够满足配电网运行过程当中的各项约束条件，保护电网运行的可靠性，解决了由于分布式电源分散性、时序性、随机性极强，为配网侧的优化控制带来了更大的难度的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明一个实施例提供的基于强化学习的分布式电源接入配电网有功优化方法流程示意图；

图2为本发明一个实施例提供的基于强化学习的分布式电源接入配电网有功优化方法的含3台DG的IEEE 33节点系统拓扑图示意图；

图3为本发明一个实施例提供的基于强化学习的分布式电源接入配电网有功优化方法的无优化节点电压对比示意图；

图4为本发明一个实施例提供的基于强化学习的分布式电源接入配电网有功优化方法的Q学习节点电压对比示意图；

图5为本发明一个实施例提供的基于强化学习的分布式电源接入配电网有功优化方法的内点法节点电压对比示意图；

图6为本发明一个实施例提供的基于强化学习的分布式电源接入配电网有功优化方法的遗传算法节点电压对比示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1，为本发明的第一个实施例，该实施例提供了基于强化学习的分布式电源接入配电网有功优化方法，包括：

S1：对强化学习的数学原理进行挖掘；

更进一步的，所述挖掘强化学习的数学原理包括，Q学习过程，过程如下：

定义Q值：

评估Q值：

其中，为Q值函数，A为动作集合，s为当前状态，s’为下一时刻的状态，R(s,s',a)为回报函数值，γ为折扣因子；

应说明的是，更新Q值迭代公式如下：

其中，α为学习因子，ΔQ为学习增量。

更进一步的，所述Q学习过程包括，Q(λ)算法将值函数Q(s,a)与资格迹相结合，其迭代更新公式如下：

Q_k+1(s,a)＝Q_k(s,a)+αδ_ke_k(s,a) (4)

式中：k为迭代次数，R(s_k,s_k+1,a_k)为奖励函数值，e_k(s,a)为资格迹。

应说明的是，所述更新规则包括，

其中，(s_i ^k,a_i ^k)为个体i在第k次迭代时的状态-动作对，γ∈[0,1]为折扣因子，λ∈[0,1]为资格迹衰退系数。

更进一步的，所述挖掘强化学习的数学原理还包括，动作选择策略如下式所示：

ε-贪婪搜索原则可以表示如下：

其中，q₀为[0,1]区间内的随机数，ε为贪婪动作利用率，a_rand为随机动作。

应说明的是，所述贪婪搜索包括，贪婪策略迭代公式如下：

其中，β为更新速率，P_s ^k(a)为第k次迭代时状态s下动作a被选择的概率。

S2：提出基于强化学习的配电网最优潮流；

更进一步的，所述基于强化学习的配电网最优潮流包括，考虑到电网运行的经济性，有功网络损耗应当作为首要考虑的指标，所述有功网络损耗的目标函数如下：

其中，F₁₀为有功网络损耗，B为配电网所有支路的集合，i、j分别为支路首末端的节点编号，θ_ij为节点i、j电压的相角差，g_ij为节点i、j之间的支路电导；

应说明的是，进一步定义目标函数为优化后和优化前有功网损的差值：

max F₁＝-ω₁(F₁ ¹-F₁ ⁰) (10)

其中，F₁为目标函数，F₁ ¹为优化后的目标函数值，F₁ ⁰为优化前目标函数的初始值，ω₁为所述目标函数的权重系数，且ω₁＞0。

应说明的是，所述目标函数包括，主动配电网需要使待优化的目标函数值达到最优，同时应当保证能够满足配电网运行过程当中的各项约束条件，如下所示：

其中，P_DG,i、Q_DG,i、P_d,i、Q_d,i分别为节点i处接入分布式电源的有功出力、无功出力和所述节点处的有功负荷、无功负荷，G_ij、B_ij分别为节点i和节点j之间的电导和电纳。

更进一步的，所述约束条件包括，

/>

其中，P_ij为支路的有功功率，

为支路的有功功率上限；

应说明的是，将电压越限的节点个数纳入优化目标，并进行量化处理：

max F₂＝-ω₂(N_ag ¹-N_ag ⁰) (16)

其中，F₂为节点电压约束条件，N_ag ¹为优化后电压越限的节点个数，N_ag ⁰为优化后电压越限的节点个数，ω₂为该约束条件的权重系数，且ω₂＞0。

应说明的是，所述目标函数还包括，

采用罚函数法设计基于强化学习的合格函数，计算过程如下：

其中，f^e为罚函数初值，PF_u为第u个约束条件的惩罚函数，NC为约束条件个数。

其中，χ为惩罚因子，Z_u为第u个约束条件，Z_u ^lim为第u个约束条件Z_u的极限值。

在所述的OPF问题当中，考虑将目标函数设置为罚函数初值，具体设置合格函数F如下：

max F＝max F₁+max F₂ (19)

实施例2

参照图2-6，为本发明的一个实施例，提供了基于强化学习的分布式电源接入配电网有功优化方法，为了验证本发明的有益效果，通过实验进行科学论证。

本文的仿真模型为IEEE 33节点标准算例，并在节点7、节点17和节点31三处分别接入有功额定容量为1MW、额定功率因数为0.96的分布式电源。接入网络当中32个节点的负荷全部为同一类型，即各节点负荷的波动规律一致，并于同一时刻达到峰荷和谷荷，在最大程度上考验了各算法的控制能力。

本实施例的仿真结果如下：

1)收敛时间

Q学习算法的收敛时间均能维持在1s以下，能够满足配电网实时控制的秒级更新要求；内点法作为典型的解析算法，其数学运算过程较为复杂，致使其收敛时间上升至几十秒；遗传算法为了保证其计算精度，需要增加种群大小和遗传代数，带来的后果则是收敛时间成百上千倍的增加，甚至上升至小时级。在收敛时间这一指标方面，所有采用Q学习的算法均有良好的表现，可以轻易满足秒级以上级别的在线优化和自动更新。以内点法和遗传算法为代表的解析算法和智能算法，由于其收敛速度的限制，很难应用于要求实时更新的自动发电控制领域。

表1收敛时间对比

2)节点电压

由于居民负荷特性的影响，16:00-22:00负荷较重，在DG未接入的时候各节点电压偏低，甚至存在越下限的可能性内点法和遗传算法在调整DG有功出力的同时也相应调整了其无功出力，所以对节点电压的控制效果较好；Q学习算法在仅调整DG有功出力的情况下，仍能将各负荷节点的节点电压控制在限制范围之内，满足系统约束。Q学习算法能将整个系统各个节点的电压限制在约束范围以内，甚至可以进一步限制。但由于Q学习所形成的离线学习知识矩阵尚不完善，仍然出现了19:00处较差的控制结果使得部分节点电压超过基准值，不过仍能控制在1.05p.u.以下。

3)有功网损

内点法和遗传算法经过长时间的迭代运算可以得到较好的优化效果；Q学习算法实现了全时序曲线条件下优化效果的提升，达到了与解析算法和智能算法几乎一致的降损率，误差能够控制在8％左右。采用Q学习算法，在历史数据的遍历范围方面具有天然的优势，控制结果的成功率可达80％，但也因此使得离线学习过程更加复杂，通过引入内点法对其进行加速可以在很大程度上优化离线学习过程。由网损的控制结果可以看出，Q学习算法针对较低的负荷水平控制效果更好，控制结果的成功率在90％以上，但对于诸如10:00、12:00、17:00、18:00时刻的峰荷控制效果较差，这也与其离线学习数据量不足有很大关系，在对19:00负荷的控制过程中出现了较大误差。内点法和遗传算法的降损率可达35％，Q学习降损率可达20％。其中，由于内点法和遗传算法在计算精度上分别具有解析性强和迭代次数多的优势，对有功网损的优化效果最好；Q学习能够大大缩短离线学习的时间，在实际问题的应用过程中具有更大优势，可以使系统网损达到采用内点法优化后网损的108％左右，整体误差限制在了10％以内。

表2有功网损对比

本发明是一种基于强化学习的分布式电源接入配电网有功优化技术，主要用于实现配网侧的多目标实时控制。本方法首先对强化学习的数学原理进行挖掘，再提出基于强化学习的配电网最优潮流。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.基于强化学习的分布式电源接入配电网有功优化方法，其特征在于：包括，

对强化学习的数学原理进行挖掘；

提出基于强化学习的配电网最优潮流。

2.如权利要求1所述的基于强化学习的分布式电源接入配电网有功优化方法，其特征在于：所述挖掘强化学习的数学原理包括，Q学习过程，过程如下：

定义Q值：

评估Q值：

其中，为Q值函数，A为动作集合，s为当前状态，s’为下一时刻的状态，R(s,s',a)为回报函数值，γ为折扣因子；

更新Q值迭代公式如下：

其中，α为学习因子，ΔQ为学习增量。

3.如权利要求2所述的基于强化学习的分布式电源接入配电网有功优化方法，其特征在于：所述Q学习过程包括，Q(λ)算法将值函数Q(s,a)与资格迹相结合，其迭代更新公式如下：

Q_k+1(s,a)＝Q_k(s,a)+αδ_ke_k(s,a) (4)

其中，k为迭代次数，R(s_k,s_k+1,a_k)为奖励函数值，e_k(s,a)为资格迹。

4.如权利要求3所述的基于强化学习的分布式电源接入配电网有功优化方法，其特征在于：所述更新规则包括，

其中，

为个体i在第k次迭代时的状态-动作对，γ∈[0,1]为折扣因子，λ∈[0,1]为资格迹衰退系数。

5.如权利要求4所述的基于强化学习的分布式电源接入配电网有功优化方法，其特征在于：所述挖掘强化学习的数学原理还包括，动作选择策略如下式所示：

ε-贪婪搜索原则可以表示如下：

其中，q₀为[0,1]区间内的随机数，ε为贪婪动作利用率，a_rand为随机动作。

6.如权利要求5所述的基于强化学习的分布式电源接入配电网有功优化方法，其特征在于：所述贪婪搜索包括，贪婪策略迭代公式如下：

其中，β为更新速率，P_s ^k(a)为第k次迭代时状态s下动作a被选择的概率。

7.如权利要求6所述的基于强化学习的分布式电源接入配电网有功优化方法，其特征在于：所述基于强化学习的配电网最优潮流包括，考虑到电网运行的经济性，有功网络损耗应当作为首要考虑的指标，所述有功网络损耗的目标函数如下：

其中，F₁₀为有功网络损耗，B为配电网所有支路的集合，i、j分别为支路首末端的节点编号，θ_ij为节点i、j电压的相角差，g_ij为节点i、j之间的支路电导；

进一步定义目标函数为优化后和优化前有功网损的差值：

max F₁＝-ω₁(F₁ ¹-F₁ ⁰) (10)

其中，F₁为目标函数，F₁ ¹为优化后的目标函数值，F₁ ⁰为优化前目标函数的初始值，ω₁为所述目标函数的权重系数，且ω₁＞0。

8.如权利要求7所述的基于强化学习的分布式电源接入配电网有功优化方法，其特征在于：所述目标函数包括，主动配电网需要使待优化的目标函数值达到最优，同时保证能够满足配电网运行过程当中的约束条件，如下所示：

其中，P_DG,i、Q_DG,i、P_d,i、Q_d,i分别为节点i处接入分布式电源的有功出力、无功出力和所述节点处的有功负荷、无功负荷，G_ij、B_ij分别为节点i和节点j之间的电导和电纳。

9.如权利要求8所述的基于强化学习的分布式电源接入配电网有功优化方法，其特征在于：所述约束条件包括，

/>

其中，P_ij为支路的有功功率，

为支路的有功功率上限；

将电压越限的节点个数纳入优化目标，并进行量化处理：

max F₂＝-ω₂(N_ag ¹-N_ag ⁰) (16)

其中，F₂为节点电压约束条件，N_ag ¹为优化后电压越限的节点个数，N_ag ⁰为优化后电压越限的节点个数，ω₂为该约束条件的权重系数，且ω₂＞0。

10.如权利要求9所述的基于强化学习的分布式电源接入配电网有功优化方法，其特征在于：所述目标函数还包括，

采用罚函数法设计基于强化学习的合格函数，计算过程如下：

其中，f^e为罚函数初值，PF_u为第u个约束条件的惩罚函数，NC为约束条件个数。

其中，χ为惩罚因子，Z_u为第u个约束条件，Z_u ^lim为第u个约束条件Z_u的极限值。

在所述的OPF问题当中，考虑将目标函数设置为罚函数初值，具体设置合格函数F如下：

max F＝max F₁+max F₂ (19)。

Images