CN114188997A - 一种高占比新能源电源接入区域电网的动态无功优化方法 - Google Patents

Abstract

本发明涉及一种高占比新能源电源接入区域电网的动态无功优化方法，包括：根据区域电网的初始数据，建立高占比新能源电网的初始动态无功优化模型；将初始动态无功优化模型的优化问题转化为马尔科夫决策过程，定义系统的观测状态、调度动作和奖励函数，继而采用DDPG算法(深度确定性策略梯度算法)进行连续状态和动作空间下的动态无功优化，能够在动态地对源和荷的随机波动做出响应的同时有效降低网损和缓解电压偏移抬升。本发明具有合理性与客观性，对区域配电网动态无功优化策略的研究具有参考意义。

Description

一种高占比新能源电源接入区域电网的动态无功优化方法

技术领域

本发明涉及电力系统技术领域，尤其涉及一种高占比新能源电源接入区域电网的动态无功优化方法。

背景技术

高占比的风电、光伏等新能源接入改变了区域内电网的潮流分布，导致无功潮流会发生变化，由此影响到了电压质量，不利于电网的稳定运行。结合现有的研究可知，新能源出力难以保持较高的稳定性，大大增加了电压越限的可能以及网损；而高占比新能源的接入容易造成配电网电压偏移抬升。所以需要结合这些问题进行针对性的设计，实现无功的优化调度。

而现有的动态无功优化方法虽然在一定程度上能够动态地对源和荷的随机波动做出响应，但其往往需要对出力的不确定性进行预测或建模，并且依赖于预测数据，缺乏合理性和客观性。

发明内容

本发明所要解决的技术问题是提供一种高占比新能源电源接入区域电网的动态无功优化方法，其不依赖预测数据，能够有效降低网损和缓解电压偏移抬升。

为解决上述问题，本发明所述的一种高占比新能源电源接入区域电网的动态无功优化方法包括：

S1、建立初始动态无功优化模型：根据区域电网的初始数据，建立高占比新能源电网的初始动态无功优化模型；

S2、构建马尔科夫决策过程：将所述初始动态无功优化模型的优化问题转化为马尔科夫决策过程，定义所述区域电网的观测信息、调度动作和奖励函数，得到次级动态无功优化模型；

S3、融合DDPG算法：建立所述次级动态无功优化模型和DDPG算法融合的机制，确定值网络和策略网络，得到DDPG算法网络；

S4、训练DDPG算法网络：使用历史数据，对所述DDPG算法网络进行训练；其中，所述历史数据包括历史同期的负荷数据、风电和光伏数据；

S5、正式参与调度：将当前系统观测信息输入训练好的DDPG算法网络，由所述训练好的DDPG算法网络输出相应的无功调度动作，用于无功调度。

优选地，在步骤S1中，所述初始动态无功优化模型包括考虑网损指标和电压偏移指标的目标函数以及相应的约束条件。

优选地，在步骤S2中：

所述观测信息为：

s_t＝{p_load,p_WT,p_PV}

式中，s_t为t时段的系统状态，p_load为负荷需求量，p_WT为风力发电功率，p_PV为光伏发电量；

所述调度动作为：

a_t＝[k₁,…,k_m,s₁,…,s_n]

式中，a_t为t时段的动作向量，k_m为整数，表示第m个离散设备的投切挡位，n分别为系统中无功补偿器的个数；

所述奖励函数为：

式中，f_loss为网损指标，f_U为电压偏移指标，ω₁、ω₂为常数系数，σ(·)为判断函数，η为超约束惩罚系数，A₁为电压偏差，A₂为潮流收敛约束，A₃为功率约束。

本发明与现有技术相比具有以下优点：

本发明利用深度强化学习，实现部分可观测区域电网的学习优化，不依赖预测数据，并且其中的奖励反馈机制可以实现系统的在线动态无功优化；将配电网在线无功优化问题转化为马尔可夫决策过程，定义系统的观测状态、调度动作和奖励函数，继而采用DDPG算法(深度确定性策略梯度算法)进行连续状态和动作空间下的动态无功优化，能够在动态地对源和荷的随机波动做出响应的同时有效降低网损和缓解电压偏移抬升。本发明具有合理性与客观性，对区域配电网动态无功优化策略的研究具有参考意义。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明。

图1为本发明实施例提供的流程图。

图2为本发明实施例提供的IEEE-33节点的区域配电网接线图。

图3为本发明实施例提供的智能体训练过程中奖励函数收敛曲线。

图4为本发明实施例提供的采用本发明进行无功优化后该日10时电压偏移变化图。

图5为本发明实施例提供的采用本发明进行无功优化后该日24小时网损变化图。

具体实施方式

参考图1，本发明实施例提供一种高占比新能源电源接入区域电网的动态无功优化方法，包括：

S1、建立初始动态无功优化模型：根据区域电网的初始数据，建立高占比新能源电网的初始动态无功优化模型。

具体地，先获取区域电网的初始数据，然后根据这些初始数据，建立高占比新能源电网的初始动态无功优化模型。其中，初始数据包括：各个节点和各条支路的数据，全天的负荷数据，接入新能源电源的24时刻出力数据的情况。初始动态无功优化模型包括考虑网损指标和电压偏移指标的目标函数以及相应的约束条件，具体内容如下。

(1)目标函数

无功优化的目标函数包括有功网损f_loss和电压偏移f_U，数学形式如下：

在上述公式内：i、j代表的是节点标号；g_ij、θ_ij分别代表i、j的支路导纳、电压相角差；U_i、U_j分别是i、j的电压；N代表节点数量。

式中，U_i,N、U_i,max、U_i,min依次是i节点电压的额定值、最大值以及对应的最小值。

(2)约束条件

无功优化的约束条件具体划分为两种类型，分别是等式和不等式约束两类。

其中，等式约束条件为潮流约束条件，实际上是配电网中各个节点的无功，有功功率的平衡约束，具体如下。

式中，P_i、Q_i依次是i的有功、无功功率，H代表连接节点的集合。

不等式约束条件划分为多种类型，包括节点电压约束、节点功率约束、机组出力约束，无功补偿器容量约束，OLTC变比约束，具体如下。

式中，U_i、P_Gi依次代表节点i的电压幅值、接入电源有功出力；U_i,min、U_i,max分别代表节点i的电压最小值与最大值；P_i,min、P_i,max分别代表节点i的有功功率最小值、最大值；Q_i,min、Q_i,max分别代表节点i的无功功率最小值、最大值；Q_c,min、Q_c,max依次代表并联无功补偿装置投切的上、下限，Q_c,k代表第k个无功补偿器的无功出力大小；

为有载调压变压器变比抽头位置的最小挡位、最大挡位，T代表有载调压变压器变比。

S2、构建马尔科夫决策过程：将初始动态无功优化模型的优化问题转化为马尔科夫决策过程，定义区域电网的观测信息、调度动作和奖励函数，得到次级动态无功优化模型。

马尔科夫决策过程主要分为三个部分：表征环境的状态集合S，表征智能体动作的动作集合A及对智能体的奖励r。本发明中将配电网在线无功优化问题转化为强化学习框架，具体转化为马尔可夫决策过程。

具体到本发明，区域电网系统是智能体的环境，智能体通过调节系统中的设备出力进行最优调度决策。在时段t，环境向智能体提供观测到的系统状态s_t∈S，智能体基于策略π(策略π是将状态s映射到动作a的函数，即π：

和区域电网状态s_t生成动态动作a_t。

马尔可夫决策过程的转化具体到本发明中，表征环境的状态集合S，表征智能体动作的动作集合A及对智能体的奖励r，具体如下：

(1)状态空间，也称观测信息、状态信息

配电网状态信息包括风电出力、光伏出力、负荷，表达式为：

s_t＝{p_load,p_WT,p_PV}

式中，s_t为t时段的系统状态，p_load为负荷需求量，p_WT为风力发电功率，p_PV为光伏发电量。

(2)动作空间，也称调度动

动作空间包含区域电网的有载调压变压器可选挡位的可能情况和无功补偿设备可调容量间的任意值，决策的时间间隔为t。每一个动作向量a_t＝[k₁,…,k_m,s₁,…,s_n]对应一种可能的变压器投切状态，无功补偿器可调容量区间的任意值，式中，a_t为t时段的动作向量，k_m为整数，表示第m个离散设备的投切挡位，n分别为系统中无功补偿器的个数；

(3)奖励函数

智能体处在一个环境中，每个状态为智能体对当前环境的感知；智能体只能通过动作来影响环境，当智能体执行一个动作后，会使得环境按某种概率转移到另一个状态；同时，环境会根据潜在的奖赏函数反馈给智能体一个奖赏。应用到本专利无功优化中即为，配电网是环境，配电网的调度中心是决策主体，某时刻t调度中心在进行某一无功优化配置动作后，根据降低的网损和电压偏移，配电网发出一个利好的响应反馈给中心。

根据步骤S1建立的初始动态无功优化模型，为满足网损和电压偏差越小，奖励越大，故系统在时刻t得到的即时奖励函数定义为：

式中，ω₁、ω₂为常数系数，σ(·)为判断函数，η为超约束惩罚系数；A₁为电压偏差，电压偏移在-5％-5％之间时σ₁为0，越限时σ₁为1；A₂为潮流收敛约束，潮流收敛时σ₂为0，越限时σ₂为1；A₃为功率约束，当P_i,min≤P_i≤P_i,max、Q_i,min≤Q_i≤Q_i,max、P_Gi,min≤P_Gi≤P_Gi,max时，σ₃为0，越限时σ₃为1。

S3、融合DDPG算法：建立次级动态无功优化模型和DDPG算法融合的机制，确定值网络和策略网络，得到DDPG算法网络。

本发明中，采用DDPG算法求解无功优化模型，其中DDPG算法主要包括使用2个独立的网络(值网络和策略网络)来逼近critic函数(θ^Q)和actor函数(θ^π)，且每个网络均有各自的目标网络θ^Q'和θ^π'，其中Q'和π'分别为目标Q值和目标策略。

S4、训练DDPG算法网络：使用历史数据，对DDPG算法网络进行训练。

在将所建的深度强化学习网络(DDPG算法网络)正式应用于解决该区域无功优化问题之前，需要先通过该区域历史数据离线训练深度强化学习的参数，得到深度强化学习网络；其中，训练用的历史数据为系统的电负荷、风力发电、光伏发电、调度时段。关于值网络和策略网络的训练过程见下文。

离线训练结束后，训练得到的DDPG算法网络中的算法参数将被固定，用于后续的无功优化补偿问题求解。

S5、正式参与调度：将当前系统观测信息输入训练好的DDPG算法网络，由训练好的DDPG算法网络输出相应的无功调度动作，用于无功调度。

当无功优化任务来临时，在每个时段，根据当前系统状态s_t，利用训练好的DDPG算法网络，策略网络选择调度动作a_t。然后，执行动作a_t并且进入下一个环境状态，同时，获得奖励r_t。继而采集时段t+1时系统的状态信息s_t+1作为新的样本，并进行这个时段的决策。如此，可以得到动态调度动作。

以下针对步骤S4中的训练内容进行详细介绍。

在对某区域电网进行无功优化问题的网络训练时，采用值网络训练和策略网络训练两部分进行。

(1)值网络训练

对于值网络，通过最小化损失函数L(θ^Q)来优化参数：

L(θ^Q)＝E(y_t-Q(s_t,a_t∣θ^Q))²

式中：y_t为目标Q值，

(上文已提及)。

y_t＝r_t+γQ′(s_t+1,π′(s_t+1∣θ^z′)∣θ^α′)

在时段t，区域电网执行调度动作a_t后会进入下一个状态s_t+1，即更新后的下一个时段观测得到的负荷、风力和光伏发电值。

L(θ^Q)关于θ^Q的梯度为：

式中：

为表示梯度计算的函数。

y_t＝Q(s_t,a_t∣θ^Q)即为时序差分误差(timing differential error，TD-error)，根据梯度规则更新网络，可得到更新公式为：

式中：μ_Q为值网络学习率。

(2)策略网络训练

对于策略网络，其提供梯度信息作为动作改进的方向。为了更新策略网络，使用采样策略梯度：

根据确定性策略梯度，更新策略网络参数θ^Q：

式中：μ_π为策略网络学习率。

试验数据(验证降低网损、缓解电压偏移抬升的效果)

对某区域电网进行无功优化，在将所建DDPG算法网络正式应用于该区域无功优化问题之前，首先通过该区域历史数据训练深度强化学习的参数，得到深度强化学习网络，然后正式投入使用。在训练过程中，智能体接收来自环境的光伏出力、风电出力和负荷需求，然后根据步骤S2的学习过程计算奖励值来调整DDPG网络参数，直到最终获得最大奖励。智能体训练过程中奖励函数收敛曲线见附图3，由图可知，可以观察到，由于电网调度最初对区域电网的无功需求不熟悉，调度中心执行调度决策后获得的奖励值较小。随着训练过程的继续，调度中心不断地与区域电网交互并获得经验，因此奖励值整体趋势为逐渐增加并最终收敛。这说明调度中心已经学习到了满足区域电网无功补偿需求的方案。

正式投入使用：在该区域采用本发明进行动态无功补偿后，通过DDPG算法进行无功补偿优化后，如图4显示，电压偏移均处于安全裕度0.95～1.05范围内，不存在越限的情况，且附图5反映该日网损显著降低。选取光伏波动范围较大的9时到15时为计算周期，运用本发明所提优化方法对改进算例进行计算。最终优化结果表明，网损减少相对值最低的在第7时，未优化前网损为158.245kW，采用DDPG算法后网损为150.523kW，减少了5.9％；网损减少相对值最高的在第10时段，未优化前网损为184.006kW，采用DDPG算法后，网损为155.508kW，减少了18.7％，在日内总网损方面，未优化前网损为4325.274kW，采用DDPG算法优化后网损为3581.255kW，减少了17.2％。

总的来说，DDPG算法应用到有源配电网动态无功优化上对降低网损具有一定优势。结合附图4计算结果表明，无功补偿设备的接入在很大程度上可以缓解因高占比新能源接入造成的配电网电压偏移抬升的情况，可将全网电压调整到0.95-1.05标幺值的合理范围内，节点电压平均偏移值为0.04标幺值，电压稳定性提升46.3％。

以上对本发明所提供的技术方案进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (3)

1.一种高占比新能源电源接入区域电网的动态无功优化方法，其特征在于，该方法包括：

S1、建立初始动态无功优化模型：根据区域电网的初始数据，建立高占比新能源电网的初始动态无功优化模型；

S2、构建马尔科夫决策过程：将所述初始动态无功优化模型的优化问题转化为马尔科夫决策过程，定义所述区域电网的观测信息、调度动作和奖励函数，得到次级动态无功优化模型；

S3、融合DDPG算法：建立所述次级动态无功优化模型和DDPG算法融合的机制，确定值网络和策略网络，得到DDPG算法网络；

S4、训练DDPG算法网络：使用历史数据，对所述DDPG算法网络进行训练；其中，所述历史数据包括历史同期的负荷数据、风电和光伏数据；

S5、正式参与调度：将当前系统观测信息输入训练好的DDPG算法网络，由所述训练好的DDPG算法网络输出相应的无功调度动作，用于无功调度。

2.如权利要求1所述的方法，其特征在于，在步骤S1中，所述初始动态无功优化模型包括考虑网损指标和电压偏移指标的目标函数以及相应的约束条件。

3.如权利要求1所述的方法，其特征在于，在步骤S2中：

所述观测信息为：

s_t＝{p_load,p_WT,p_PV}

式中，s_t为t时段的系统状态，p_load为负荷需求量，p_WT为风力发电功率，p_PV为光伏发电量；

所述调度动作为：

a_t＝[k₁,…,k_m,s₁,…,s_n]

式中，a_t为t时段的动作向量，k_m为整数，表示第m个离散设备的投切挡位，n分别为系统中无功补偿器的个数；

所述奖励函数为：

式中，f_loss为网损指标，f_U为电压偏移指标，ω₁、ω₂为常数系数，σ(·)为判断函数，η为超约束惩罚系数，A₁为电压偏差，A₂为潮流收敛约束，A₃为功率约束。

Images