CN113346543B - 一种分布式微网电压多层协同控制方法 - Google Patents

Abstract

本发明提供一种分布式微网电压多层协同控制方法，该方法能解决目前微网电压控制中存在的能源响应灵活性不足与决策优化不充分的问题。首先，提出分布式微网电压多层协同控制框架将微网分为四个电压调控层。所提框架采用改进的执行依赖双启发式动态规划方法对电压控制系统的第一层执行调度；采用一致性方法对电压控制系统的第二层进行优化；采用线性优化方法对电压控制系统的第三层进行调度；采用量子多智能体协同强化学习对电压控制系统的第四层执行决策。所提分布式微网电压多层协同控制方法，对电压控制系统进行调度时考虑了不同层能源调节特性以及不同层能源策略的协调，能够优化电压控制的响应灵活性和决策准确性。

Description

一种分布式微网电压多层协同控制方法

技术领域

本发明属于电力系统电压控制领域，涉及多层协同的电压控制方法，适用于电力系统与微网的电压控制。

背景技术

随着电网规模增大，系统运行工况复杂导致无功功率增加了随机性，对电力系统的电压稳定调节形成了挑战。其次，随着用户用电质量要求的提高，电网对电压合格率的考核也提出了更高的要求。传统的电压控制方式由于缺少考虑可再生能源大规模并网导致的无功功率的随机、大幅扰动，且受限于无功响应灵活性不足，难适应电压质量优质和经济地调度目的。

根据优化控制的周期和目标不同，电压控制分为一次电压控制，二次电压控制和三次电压控制。针对不同的电压控制目标，电压控制方面涌现了许多研究；如基于比例-积分-微分调节控制的灰色预测理论，基于数学优化方法以及非洲水牛优化方法应用于自动电压调节。然而，这些方法受限于方法静态参数的设置，当系统发生改变，使用同样的参数获得的结果将失去最优性。传统数学解析式方法过度依赖模型的准确性，与之相对的一些智能方法，如遗传方法、粒子群优化方法、灰狼方法、飞蛾扑火方法和蜻蜓方法，强化学习，深度神经网络等在求解问题时，不需要建立系统准确的解析式模型。智能方法通过拟合数据特征得到系统的解，从而提高系统求解的准确性。

由于启发式方法的近似求解特性，在求解组合问题时能够降低问题状态规模，结合启发式方法的电压控制策略提高了求解的效率。由于具有适应系统状态、实现策略自动更新的能力，强化学习方法能应用于解决电网电压控制问题。由于具有对离散动作过程和连续动作过程系统的学习策略的连续性，强化学习、深度Q网络、深度确定性策略梯度等的深度强化学习被应用于求解电压控制问题。然而，现有研究中深度学习的网络对系统的适应性缺乏关注，强化学习部分对强化学习的计算效率缺乏关注，这些情况会导致求解方法维数灾问题，影响系统要求的实时性。

发明内容

本发明提出一种分布式微网电压多层协同控制方法，该方法将微网分为四个电压调控层，并采用四种相互协调的优化方法对微网电压进行实时调度与控制；分别采用改进的执行依赖双启发式动态规划方法，一致性方法，线性优化方法以及量子多智能体协同强化学习方法。其中执行依赖双启发式动态规划属于三次电压控制，一致性方法属于二次电压控制，线性优化方法和量子多智能体协同强化学习方法属于一次电压控制。四个调控层方法之间进行联动提高了电压控制质量和降低微网功率损耗。该方法在使用过程中的步骤为：

(1)将目标微网系统电压控制装置按类型和调节方式划分四个调控层；

(2)对电压控制系统的第一层采用改进的执行依赖双启发式动态规划方法优化微网无功装置；

(3)对电压控制系统的第二层采用一致性方法优化决策智能体决策信息同步性；

(4)对电压控制系统的第三层采用线性优化方法；

(5)对电压控制系统的第四层采用量子多智能体协同强化学习方法；

(6)电压控制系统的四层控制中心之间进行通信，并根据相邻层的决策和电压控制系统的状态变量信息优化下一次决策动作。

在分布式微网系统优化中通过设置优化目标函数以满足电压控制的要求。将微网系统一次电压控制表示为线性下垂函数：

ΔQ_i,t＝-ω_i(V_i,t-V_i ^pre) (1)

式中，ΔQ_i,t为i节点t时刻无功功率增加量，ω_i为电压下垂系数，V_i,t为当前电压幅值，V_i ^pre为预测电压幅值。为降低微网功率损耗，电压控制目标描述为：

ΔQ_i,t＝-ω_iΔV_i,t (5)

式(2)中N_i为节点集合，P_i ^loss为节点i的网络损耗，式(3)为功率平衡约束，S_i,j表示流入/流出i节点t时刻的功率，式(6)为电压约束，V_i 和

分别为电压上限和下限，式(7)为无功约束，Q _i和

分别为功率上限和下限。

动态规划是求解随机，非线性系统的一种有效方法，但是在实际应用中却因为求解状态变量增多而导致计算复杂，甚至产生维数灾。而自适应动态规划建立神经网络拟合替代系统传统数学解析式模型获取近似解，缓解了因为状态量增加而导致求解维数灾问题，能够有效替代动态规划。将电力系统视为离散非线性系统，系统的状态变量与系统关系描述为

x(t+1)＝F[x(t),u(t)] (8)

式中，t为决策时间序列，取t＝0,1,2,...,l，x(t)为t时刻状态变量，在电压控制中

u(t)为对应t时刻的控制变量，在电压控制中u(t)＝[ΔQ_1,t,ΔQ_2,t,…,ΔQ_n,t]，为了评估控制决策的质量，控制变量的性能指标函数J[x(t)]表示为：

式中，U为效用函数或者损失函数，耦合时间差分形式或耦合的Bellman方程损失函数表示为：

J[x(t)]＝U[x(t),u(t)]+J[x(t+1)] (10)

式中，根据Bellman最优原则，动态规划从t时刻开始决策的最优成本J^*[x(t)]表示为：

式中，min()为取极小值。于是，决策控制变量为使得决策成本最小化，表示为：

式中，u^*(t)为最优控制变量

由式(8)-(12)知道，为获得控制变量最优解，动态规划需要搜索所有x(t+1)，并需要获得t+1,t+2,…时刻的最优决策序列。对于一个实际问题来说，动态规划是耗时的而且是难以实现的。自适应动态规划通过自适应评价系统逼近动态规划性能函数，一定程度上缓解了系统因规模增大导致的求解困难问题。许多研究基于自适应动态规划的研究提出了不同的自适应评价系统模型，如启发式动态规划，双启发式规划，全局化双启发式规划，执行依赖启发式动态规划以及执行依赖双启发式动态规划。典型的自适应动态规划的自适应评价系统包含了执行模块，模型模块和评价模块。由于模型模块需要建立对整个系统的拟合，因此模型模块将需要使用大量的计算内存来模拟系统。一些不需要建立系统模型模块的自适应动态规划结构，如执行依赖启发式动态规划和执行依赖双启发式动态规划，在执行依赖启发式动态规划和执行依赖双启发式动态规划的自适应评价系统中仅需要建立执行模块和评价模块两个部分。相比于执行依赖启发式动态规划，基于梯度的时间差分解形式的执行依赖双启发式动态规划在求解问题时对系统的时间灵敏度更为灵敏。因此，执行依赖双启发式动态规划的决策都将会在实时性和准确性上优于执行依赖启发式动态规划。定义执行依赖双启发式动态规划优化的性能指标函数V^*[x(t),u(t)]为：

式中，u^*(t),u^*(t+1),u^*(t+2),u^*(t+3)为最优控制决策，上式改写成：

V^*[x(t),u^*(t)]＝V^*[x(t-1),u^*(t-1)]-U[x(t),u^*(t)] (14)

根据式(14)建立电力系统电压控制的近似模型。为获得式(2)的系统第一层最优控制决策，本发明方法采用改进的执行依赖双启发式动态规划方法优化微网无功装置，采用深度简单循环单元近似损失函数J[x(t)]。当J[x(t)]与性能指标函数V^*[x(t),u(t)]之差在误差允许范围内，即认为深度简单循环单元的拟合是准确的。改进的执行依赖双启发式动态规划方法框架包含的执行网络和评价网络采用深度简单循环单元来构建。简单循环单元是循环神经网络的变体，与常用的长短时记忆网络和门控循环单元相比，简单循环单元的计算复杂度更低，并能够有效拟合系统特征。深度简单循环单元由多个简单循环单元层构成，深度结构使得简单循环单元能够拟合更复杂系统特征。深度简单循环单元由多层简单循环单元构成，深度简单循环单元的参数连接关系描述为：

f_t＝σ(W_fx_t+v_f⊙c_t-1+b_f) (15)

c_t＝f_t⊙c_t-1+(1-f_t)⊙(Wx_t) (16)

r_t＝σ(W_rx_t+v_r⊙c_t-1+b_r)h_t (17)

h_t＝r_t⊙c_t+(1-r_t)⊙x_t (18)

式中，W，W_f和W_r为参数矩阵，v_f，v_r和b_r为参数向量，x_t为输入变量，c_t为状态序列，⊙表示Hadamard乘积。式(15)中遗忘门f_t控制信息流，式(16)中状态向量c_t根据f_t自适应平均前一个状态c_t-1和当前观测Wx_t。公式(15)和(16)为深度简单循环网络的轻循环部分。轻循环部分通过使用Hadamard乘积和优化参数连接关系减轻循环神经网络参数计算复杂度。公式(17)和(18)为深度简单循环单元的高速网络部分。高速网络部分通过引入门控降低参数反向传播过程计算复杂度，以缓解因网络深度加深导致的梯度信息回流受阻网络训练难进行的问题。

参数更新上，选择Nadam梯度优化方法优化深度简单循环单元网络。随机梯度下降是深度神经网络梯度优化常用的优化方法，随机梯度下降优化抗干扰能力强，但是存在收敛慢，易陷入局部最优的缺点。此外，一些网络梯度优化方法，如RMSprop、Adam、Nadam方法，针对不同的网络优化目标取得了不错的优化效果。其中Nadam基于集成了随机梯度下降的一阶动量和RMSprop二阶动量优点的Adam，较Adam的学习率优化约束更强。

在电压控制系统的第二层，采用一致性方法协调电压调节装备的信息交换，以实现分布式电压控制的一致性。对于电压控制系统的每个智能体，一阶时间连续一致性方法描述为：

式中，x_i(t)为第i个智能体在t时刻的状态，N_i为智能体集合。对于一阶时间离散的一致性方法，通过马尔科夫链形式x_i(t+1)＝P(t)x(t)，其中P(t)为N_i×N_i的随机数矩阵，且存在[P(t)]_ij＝p_ij≥0，

则第i个智能体在t+1时刻的状态为：

各智能体之间通过信息交换，将相邻智能体的状态信息进行更新迭代，当智能体状态

其中

为常数，则认为系统达到一致性，此时各智能体状态描述为：

x₁＝x₂＝x₃...＝x_n (21)

一致性方法用于电压控制系统的第二层，能够通过在智能体之间交换信息，从而使各智能体间能够进行决策时数据同步和实时性，实现微网系统的经济稳定运行。

在电压控制系统的第三层，采用线性优化方法对第三层电压控制装置进行指令分配。根据微网电压-无功功率下垂控制特性设置第三层调度目标函数为：

式中，N_i为节点集合，N_i,k为接入节点i的无功装置集合，u_i,k,t为t时刻第k个无功装置状态取值0或1，

为t时刻第k个无功装置无功增量，ΔQ_i,t为i节点t时刻无功增量，ΔQ_i,t＝-ω_i(V_i,t-V_i ^pre)，ω_i为电压下垂系数，V_i,t为当前电压幅值，V_i ^pre为预测电压幅值。无功装置的控制策略描述为：

式中，r_i,k为t时刻第k个无功装置的功率调节系数。

在电压控制系统的第四层，采用量子多智能体协同强化学习方法。强化学习的目标是学习从状态S到动作A之间的一种映射，即，智能体学习的策略为：π:S×U_i∈SA_(i)→[0,1]，每个状态的期望折扣奖励最大化的目标函数表示为

式中，π(s,a)为对应学习策略π根据s选择动作a的概率，

为t时刻一步奖励的期望值，γ∈[0,1]为折扣因子，

为状态转移的概率，V_(s)为状态值函数。

对于状态-动作对，存在相似的值函数和Bellman方程，在策略π根据s采取动作a的值

描述为：

式中，Q_(s,a)为状态值函数，

取得最优值目标描述为：

对于Q-学习，值函数Q_(s,a)的一步更新规则为：

Q(s_t,a_t)←(1-α)Q(s_t,a_t)+α(r_t+1+γmax_a′Q(s_t+1,a′)) (27)

式中，α为学习率，r_t+1为t+1时刻一步奖励的期望值。

然而，强化学习的状态-动作Q值矩阵中，每个状态对应了m个决策动作，因此对于n个状态变量Q值矩阵的规模为n×m；随着系统规模增大，状态变量数量增多将耗费更多的计算资源。因此将量子思想引入强化学习时将有效降低强化学习计算资源需求量。

量子位是组成量子计算的基本单位，与传统位的概念相同，量子位状态取为|0>或|1>。当量子位处于叠加状态时，量子位ψ状态描述为状态|0>或|1>的线性组合

ψ＝α|0>+β|1> (28)

式中，α和β均为复系数。描述量子的这种特殊状态称为状态叠加原理。对于具有n个量子位的系统，用n量子位张量积表示为

式中，

为张量积，

C_x为复系数，|C_x|²表示|x>在状态|φ>下出现的概率，x取2ⁿ个值，所以叠加态描述为从0到2ⁿ-1之间整数的叠加态。在量子强化学习中，状态/动作与强化学习中的状态/动作概念相同。定义N_s和N_a分别表示状态和动作，存在

N_s≤2^m≤N_s,N_a≤2ⁿ≤N_a (30)

式中，m和n分别为状态和动作的选择数。分别使用m和n位去表示状态集S＝{|s_i>}和动作集A＝{|a_j>}，得到对应关系

因此，量子多智能体协同强化学习方法状态更新描述为：

V(s)←(1-α)V(s)+αγV(s′)+αr (33)

式中，V(s)决策状态，α为学习率，r为奖励值，γ∈[0,1]为折扣因子。

结合上式，量子多智能体协同强化学习方法优化微网系统电压控制过程描述为：

(1)初始化参数/变量；

①初始化状态和动作，并赋值相同的叠加值：

②在状态|s^(m)＞和动作

下初始化：

③设置循环的最大迭代次数为500；

(2)执行循环迭代操作，直到所有状态|ΔV(s)|＜ε或超出最大迭代次数时终止

①从

中输入状态|s>；

②观察动作值

获得动作|a>；

③执行动作|a>，观察下一状态|s′>以及智能体的奖励r；

④更新状态值V(s)←(1-α)V(s)+αγV(s′)+αr；

⑤执行Grover迭代操作L次更新概率振幅。

附图说明

图1是本发明方法提出的改进的执行依赖双启发式动态规划方法结构及第一层电压控制流程的示意图。

图2是本发明方法的量子多智能体协同强化学习控制系统及第四层电压控制流程的示意图。

图3是本发明方法的分布式微网电压多层协同控制框架示意图。

具体实施方式

本发明提出的一种分布式微网电压多层协同控制方法，结合附图详细说明如下：

图1是本发明方法提出的改进的执行依赖双启发式动态规划方法结构及第一层电压控制流程的示意图，改进的执行依赖双启发式动态规划方法结构和第一层电压控制流程的步骤描述为:(1)样本数据参数初始化。对电压控制系统的状态变量x(t)和控制变量u(t)进行归一化，并进行批量化处理。(2)神经网络的初始化。初始化执行网络和评价网络的v_f、v_r和b_r参数向量、状态c_t、学习速率(l_a,l_c)和隐含层维度；设定执行网络和评价网络的最大迭代次数(N_a,N_c,)。(3)网络数据前向传播。电压控制系统状态量x作为执行网络的输入，经前向传播计算公式(8)-(12)得到对应输出u_m；接着，将x和u_m作为评价网络输入经过前向传播计算得到输出y_p。(4)计算网络预测y_p与实际值y_a均方误差

判断e_mes是否满足误差要求。(5)若e_mes未满足误差要求，且未达到最大迭代次数，则利用反向传播计算执行网络和评价网络参数的梯度，并对参数进行更新。(6)t←t+1。(7)重复第3步到第6步，直到满足设定的收敛条件时结束。(8)通过训练的执行网络和评价网络用于系统第一层电压控制。将电压控制系统的状态变量x(t)输入执行网络获得对应的控制变量u(t)。将u(t)以及t+1时刻x(t+1)输入评价网络，得到

将

与

叠加值反馈给执行网络，辅助执行网络进行决策。

图2是本发明方法的量子多智能体协同强化学习控制系统及第四层电压控制流程的示意图。量子多智能体协同强化学习方法的控制过程分为离线学习和在线的训练两个部分。在离线学习部分，量子多智能体协同强化学习方法按以下步骤完成离线训练：(1)初始化参数/变量包括：①初始化状态和动作，并赋值相同的叠加值：

②在状态|s^(m)>和动作

下初始化：

③设置循环的最大迭代次数为500。(2)执行循环迭代操作，直到所有状态|ΔV(s)|＜ε或超出最大迭代次数时终止；包括：①从

中输入状态|s>；②观察动作值

获得动作|a>；③执行动作|a>，观察下一状态|s′>以及智能体的奖励r；④更新状态值V(s)←(1-α)V(s)+αγV(s′)+αr；⑤执行Grover迭代操作L次更新概率振幅。完成离线训练后，用于在线训练的量子多智能体协同强化学习方法控制系统从电力系统中获得电压控制装置以及各节点的电压状态信息，根据这些状态信息做出相应的动作。同时，根据决策动作与实际控制效果的奖励微调状态-动作Q值矩阵。

图3是本发明方法的分布式微网电压多层协同控制框架示意图。分布式微网电压多层协同控制框架采用分层控制结构，分层控制结构在控制优化时能够根据电压控制装置特性做出决策，且层与层之间相互协调约束，能够维持系统的安全稳定和控制经济性。针对电压控制系统中不同类别的电压调节装置，本发明方法的分布式微网电压多层协同控制框架采用四个不同的调控层优化方法进行控制。在分布式微网电压多层协同控制框架的第一层采用改进的执行依赖双启发式动态规划执行调度。在微网电压控制的第一层中，根据系统状态量和决策动作设置深度简单循环单元，将经过归一化处理的系统状态量作为执行网络的输入，获得决策执行动作。在微网电压控制的第二层中采用一致性方法，一致性方法通过在智能体之间交换信息，使得各智能体间能够进行决策时数据同步和实时性。在微网电压控制的第三层中采用线性优化方法对无功装置进行调度。在微网电压控制的第四层中采用量子多智能体协同强化学习方法优化电压控制系统。其中，微网电压控制的第一和第二层属于电压系统级控制，微网电压控制的第三和第四层属于电压装备级控制。四个电压调控层间相互进行通信协调，并根据相邻层的决策和电压控制系统的状态变量信息优化下一次决策动作。此外，相连接的微网间通过信息交流和功率的流通促进系统电压的安全稳定。

Claims (1)

1.一种分布式微网电压多层协同控制方法，其特征在于，将微网分为四个电压调控层，并采用四种相互协调的优化方法对微网电压进行实时调度与控制；该方法在使用过程中的步骤为：

(1)将目标微网系统电压控制装置按类型和调节方式划分四个调控层；

(2)对电压控制系统的第一层采用改进的执行依赖双启发式动态规划方法优化微网无功装置；

改进的执行依赖双启发式动态规划方法框架包含的执行网络和评价网络采用深度简单循环单元来构建；深度简单循环单元由多层简单循环单元构成，深度简单循环单元的参数连接关系描述为：

f_t＝σ(W_fx_t+v_f⊙c_t-1+b_f)

c_t＝f_t⊙c_t-1+(1-f_t)⊙(Wx_t)

r_t＝σ(W_rx_t+v_r⊙c_t-1+b_r)h_t

h_t＝r_t⊙c_t+(1-r_t)⊙x_t

式中，W，W_f和W_r为参数矩阵，v_f，v_r和b_r为参数向量，x_t为输入变量，c_t为状态序列，⊙表示Hadamard乘积；遗忘门f_t控制信息流，状态向量c_t根据f_t自适应平均前一个状态c_t-1和当前观测Wx_t；f_t＝σ(W_fx_t+v_f⊙c_t-1+b_f)和c_t＝f_t⊙c_t-1+(1-f_t)⊙(Wx_t)为深度简单循环网络的轻循环部分；轻循环部分通过使用Hadamard乘积和优化参数连接关系减轻循环神经网络参数计算复杂度；r_t＝σ(W_rx_t+v_r⊙c_t-1+b_r)h_t和h_t＝r_t⊙c_t+(1-r_t)⊙x_t为深度简单循环单元的高速网络部分；高速网络部分通过引入门控降低参数反向传播过程计算复杂度，以缓解因网络深度加深导致的梯度信息回流受阻网络训练难进行的问题；参数更新上，选择Nadam梯度优化方法优化深度简单循环单元网络参数；

(3)对电压控制系统的第二层采用一致性方法优化决策智能体决策信息同步性；

对于电压控制系统的每个智能体，一阶时间连续一致性方法描述为：

式中，x_i(t)为第i个智能体在t时刻的状态，N_i为智能体集合；对于一阶时间离散的一致性方法，通过马尔科夫链形式x_i(t+1)＝P(t)x(t)，其中P(t)为N_i×N_i的随机数矩阵，且存在[P(t)]_ij＝p_ij≥0，

则第i个智能体在t+1时刻的状态为：

各智能体之间通过信息交换，将相邻智能体的状态信息进行更新迭代，当智能体状态

其中

为常数，则认为系统达到一致性，此时各智能体状态描述为：x₁＝x₂＝x₃...＝x_n；

(4)对电压控制系统的第三层采用线性优化方法；

采用线性优化方法对第三层电压控制装置进行指令分配；根据微网电压-无功功率下垂控制特性设置第三层调度目标函数为：

式中，N_i为节点集合，N_i,k为接入节点i的无功装置集合，u_i,k,t为t时刻第k个无功装置状态取值0或1，

为t时刻第k个无功装置无功增量，ΔQ_i,t为i节点t时刻无功增量，ΔQ_i,t＝-ω_i(V_i,t-V_i ^pre)，ω_i为电压下垂系数，V_i,t为当前电压幅值，V_i ^pre为预测电压幅值；无功装置的控制策略描述为：

式中，r_i,k为t时刻第k个无功装置的功率调节系数；

(5)对电压控制系统的第四层采用量子多智能体协同强化学习方法；

量子多智能体协同强化学习方法优化微网系统电压控制过程描述为：

(5.1)初始化参数/变量；

①初始化状态和动作，并赋值相同的叠加值：

其中，

C_x为复系数，|C_x|²表示|x>在状态|φ>下出现的概率；m和n分别为状态和动作的选择数；

②在状态|s^(m)>和动作

下初始化：

③设置循环的最大迭代次数为500；

(5.2)执行循环迭代操作，直到所有状态|ΔV(s)|＜ε或超出最大迭代次数时终止；

①从

中输入状态|s>；

②观察动作值

获得动作|a>；

③执行动作|a>，观察下一状态|s′>以及智能体的奖励r；

④更新状态值V(s)←(1-α)V(s)+αγV(s′)+αr；其中，V(s)决策状态，α为学习率，r为奖励值，γ∈[0,1]为折扣因子；

⑤执行Grover迭代操作L次更新概率振幅；

(6)电压控制系统的四层控制中心之间进行通信，并根据相邻层的决策和电压控制系统的状态变量信息优化下一次决策动作。

Images