CN105552895A - 一种基于多层次启发式动态规划的电力系统动态等值法 - Google Patents

Abstract

本发明公开了一种基于多层次启发式动态规划的电力系统动态等值法，涉及电力系统稳定分析技术领域。该方法可以在多变运行工况下用简化的系统跟踪原复杂系统的动态特性，从而加快电力系统安全稳定的分析过程。本发明首先采用同调等值法对原系统进行动态等值，再将多层次启发式动态规划算法动态环节引入等值系统，对该环节进行离线训练，从而获得了含多层次启发式动态规划算法的等值系统。该系统可以在多变的运行工况下实现对原系统动态特性的跟踪，具有较强的适应性。优点是：克服了现有等值方法适应性差的缺点，大大提高了等值精度，保证了电力系统暂态稳定分析的有效性。

Description

一种基于多层次启发式动态规划的电力系统动态等值法

技术领域

本发明属于电力系统稳定分析技术领域，更具体涉及一种在不同工况、不同故障以及不同故障地点下能够保证电力系统动态等值精度的方法。

背景技术

电网互联已成为电力系统建设的一种趋势，具有无限广阔的经济效益。互联电网可以利用区域间时差，实现错峰节能。同时还可以提高供电可靠性、减少备用容量。但是，电网互联后，系统规模更加庞大、结构更加复杂，因此，导致电网安全稳定分析的难度越来越大。为降低电网稳定计算的难度，通常只对电网中某一重点关注的区域进行精细化建模，研究该区域的动态特性，对其他不关心的区域则考虑在不影响重点关注区域的动态特性的条件下，对其作为一个整体进行动态等值。通过动态等值的方法，可以在保证分析精度的条件下，简化电网安全稳定计算，提高电网稳定分析效率。

针对电力系统中不同类型的安全稳定分析问题，形成了不同的等值方法。这些方法可以分为三类：同调等值法、模态等值法和辨识等值法。王敏，文劲宇，胡文博，等.区域小水电机群动态等值建模方法研究[J].电力系统保护与控制，2013，41(17)：1-9.采用同调等值法将在系统发生大扰动后以相近的转速摇摆的发电机划为一个同调机群，每个机群内的发电机被合并为一台等值机。蒙晓航，叶林，赵永宁.永磁直驱同步风电场多机动态等值模型[J].电力系统保护与控制，2013,41(17)：25-32.将外部系统线性化模型进行模态分析，保留主要模式，通过压缩模态降低模型阶次进行等值。上述两篇文献采用的方法分别为同调等值法和模态等值法，但这两种等值方法都需要基于系统在某一运行方式下的结构与参数做等值处理。因此，这两种方案对于某一特定的工况具有较精确的等值效果，但对于变化的运行工况却存在着一定的误差。高峰，赵东来，周孝信，安宁.直驱式风电机组风电场动态等值[J].2012，36(12)：222-227.则采用辨识等值法先确定等值模型的基本结构，再利用实测扰动数据获得动态等值模型的参数。该文献提到的等值方法可以在运行工况多变的条件下保证等值精度，但在确定等值模型的基本结构以及辨识等值模型的参数上存在一定的技术难题，因此，该方法目前还处在研究阶段。

上述动态等值方法为解决大规模电网安全稳定分析这一问题提供了有益的思路，但提出的方法适用范围较小，无法应对当今复杂多变的电力系统。

动态规划(DynamicProgramming,DP)是贝尔曼在20世纪50年代提出来的一种用于求解最优控制问题的方法，该方法先将一个多步决策问题转化为一系列单步决策问题，然后从最后一步状态开始逆向递推到初始状态为止，从而得到一套最优控制策略。动态规划在理论上给出了求解最优控制策略的Hamilton-Jacobi-Bellman(HJB)方程，但该方程求解复杂，一般难以得到方程相应的解。启发式动态规划(HeuristicDynamicProgramming,HDP)算法利用神经网络模拟人类思考和学习的优越性，通过函数逼近HJB方程的近似解寻求最优控制策略，有效地解决了DP中无法求解HJB方程的问题，但是，HDP算法在算法稳定性、在线学习能力以及系统最优化决策进程存在一些不足。多层次启发式动态规划(GlobalRepresentationHeuristicDynamicProgramming,GrHDP)算法是在常规的HDP算法的基础上提出的一种全新的动态规划算法。与HDP算法相比，该算法增加了一个神经网络，该网络利用其自适应性建立了内部多层次、多阶段的目标函数，指导其他神经网络实现最优控制策略。该算法具有很强的学习能力与自适应性，在系统完整参数和详细模型未知的情况下，通过离线训练、在线修正的方式逐渐“学习”系统的基本特性，不断调整控制策略，最终实现最优控制。

反向传播(BackPropagation，BP)网络包含输入层、输出层以及隐藏层，三层之间通过权值函数联系，并通过调整权值函数使网络中设定的误差函数到达最小从而输出最优解，图5是反向传播网络的结构。

径向等值不变性(RadialEquivalentIndependent，REI)等值法是一种化简电力网络的有效方法。假定电网的导纳矩阵是Y，下标I表示要保留的研究系统的节点集，下标E表示要消去的外部系统的节点集，于是Y可写成：

$Y=\left[\begin{array}{cc}{Y}_{II}& Y_{IE}\\ Y_{EI}& Y_{EE}\end{array}\right]$

消去E中所有节点得到由I中节点所组成的简化网络。经过外部等值后的节点导纳矩阵为：

$Y_{EQ}=Y_{II}-Y_{IE}{Y}_{EE}^{-1}{Y}_{E1}$

本发明将上述多层次启发式动态规划算法引入传统的同调等值法中，在等值边界上加入一个GrHDP模块，该动态环节以原电力系统与等值电力系统的联络线功率和电压幅值误差最小为目标函数寻求最优控制策略，补偿了在不同运行方式下两者之间的误差，有效地解决了传统同调等值法无法适应多变的运行工况的问题，保证了不同运行状态下系统等值的精度。

发明内容

针对目前同调等值法对不同运行条件下的系统等值效果较差的缺点，本发明的目的在于提供一种电力系统的动态等值方法，旨在保证在不同运行工况下等值系统与原系统具有相似度较高的动态特性，从而简化系统稳定计算，提高系统安全稳定分析效率。该方法由同调等值部分和基于GrHDP算法的动态环节设计与训练部分组成，首先采用同调等值法获得等值网络结构和母线、联络线参数，计算出等值负荷和等值发电机参数；然后设置GrHDP动态环节的执行网络、参考网络以及评价网络的输入输出、权值更新公式和误差函数，连接三个网络构成GrHDP动态环节，同时将该环节接入等值系统构成基于GrHDP动态环节的等值系统，对该系统进行训练，获得三个网络的权值。基于GrHDP算法的动态校正环节的引入，有效地提高了系统的等值精度和效率。该方法获得的等值模型可以满足在不同运行工况、不同故障类型以及不同故障位置下安全稳定分析的精度要求。

本发明提供了一种基于多层次启发式动态规划的电力系统动态等值法，该方法能适用于运行状态多变的电网的安全稳定分析。具体包括下述步骤：

a、同调等值步骤

a1、将电网系统划分为外部系统与研究系统；

a2、将外部系统中任意两台最大转子角偏差不超过15度的发电机划分到同一个同调机群中，并将每个同调机群聚合为一台等值发电机；

a3、合并外部系统中同调发电机母线，获得等值发电机母线；

a4、根据如下公式计算等值发电机的参数X_eq，获得等值发电机模型，

$X_{eq}=\underset{i=1}{\overset{n}{\Σ}}\frac{S_i}{S_{eq}}{X}_i$

式中：S_eq为同调机群所有发电机的总容量，X_i为同调机群中第i台发电机参数，S_i为同调发电机群中第i台发电机容量；

a5、将外部系统中所有母线上的负荷相加后移至等值发电机母线，获得等值负荷模型；

a6、保留外部系统中的边界母线和等值母线，消去中间母线，采用径向等值不变性(RadialEquivalentIndependent，REI)方法获得等值网络阻抗；

上述获得的等值发电机模型、等值发电机母线、等值负荷模型、等值网络阻抗以及研究系统组成了同调等值系统。

b、多层次启发式动态规划模块的设计与训练步骤

b1、采用多层次启发式动态规划算法，确定多层次启发式动态规划模块的输入量、输出量；

b1.1、设置同调等值系统与原电网系统边界母线的电压偏差ΔV(t)和功角偏差Δδ(t)为多层次启发式动态规划模块中执行网络的输入量，设置执行网络的输入量以及注入同调等值系统边界母线的有功调整量ΔP(t)为多层次启发式动态规划模块中参考网络的输入量，设置参考网络的输入量以及多层次启发式动态规划模块中的内部强化函数s(t)为多层次启发式动态规划模块中评价网络的输入量，其中多层次启发式动态规划模块中的执行网络、参考网络和评价网络均为反向传播神经网络，反向神经网络包含输如层、输出层以及隐藏层，三层之间通过权值函数联系，它可通过调整权值函数使网络中的误差函数达到最小；

b1.2、设置注入同调等值系统边界母线的有功调整量ΔP(t)为执行网络的输出量，设置内部强化函数s(t)为多层次启发式动态规划模块中参考网络的输出量，设置多层次启发式动态规划模块中的性能指标函数J(t)为多层次启发式动态规划模块中评价网络的输出量；

b1.3、根据如下公式计算多层次启发式动态规划模块中执行网络、参考网络、评价网络的隐藏层节点数：

$m{1}_i=\sqrt{n{1}_i+l{1}_i}+\mathrm{\α},(i=a,f,c)$

其中n1_i为第i个网络输入量个数，l1_i为第i个网络输出量个数，α为范围在1～10之间的一个随机数，a代表执行网络，f代表参考网络，c代表评价网络；

b1.4、设置e_a(t)＝J(t)-U_c(t)、为执行网络的误差函数，设置e_f(t)＝γJ(t)-[J(t-1)-r(t)]为多层次启发式动态规划模块中参考网络的误差函数，设置e_c(t)＝γJ(t)-[J(t-1)-s(t)]为多层次启发式动态规划模块中评价网络的误差函数，其中U_c(t)为多层次启发是动态规划模块的期望目标输出，γ为性能指标函数的权重，r(t)为多层次启发式动态规划模块的初始强化信号；

b1.5、按照如下公式设置多层次启发式动态规划模块中执行网络、参考网络、评价网络的权值更新法则：

$\frac{\∂E_j\left(t\right)}{\∂w_j\left(t\right)}=\frac{\∂E_j\left(t\right)}{\∂J\left(t\right)}\frac{\∂J\left(t\right)}{\∂s\left(t\right)}\frac{\∂s\left(t\right)}{\∂w_j\left(t\right)}$

$w_{j_i}^{\left(2\right)}(t+1)=w_{j_i}^{\left(2\right)}\left(t\right)+{\mathrm{\Δw}}_{j_i}^{\left(2\right)}\left(t\right)$

$w_{j_i}^{\left(1\right)}(t+1)=w_{j_i}^{\left(1\right)}\left(t\right)+{\mathrm{\Δw}}_{j_i}^{\left(1\right)}\left(t\right)$

${\mathrm{\Δw}}_{f_i}^{\left(2\right)}\left(t\right)=l_f\left(t\right)\[-\frac{\∂E_f\left(t\right)}{\∂w_{f_i}^{\left(2\right)}\left(t\right)}\]$

${\mathrm{\Δw}}_{f_i}^{\left(1\right)}\left(t\right)=l_f\left(t\right)\[-\frac{\∂E_f\left(t\right)}{\∂w_{f_i}^{\left(1\right)}\left(t\right)}\]$

j＝a,f,c

式中为第j个网络的输入层到隐藏层之间的初始权值，为第j个网络的输入层到隐藏层之间的权值修正量，为第j个网络的输入层到隐藏层之间的修正权值，为第j个网络的隐藏层到输出层之间的初始权值，为第j个网络的隐藏层到输出层之间的权值修正量，为第j个网络的隐藏层到输出层之间的修正权值，l_j(t)为第j个网络的学习速率，将该变量设定为0.6，a代表执行网络，f代表参考网络，c代表评价网络；

b1.6、根据执行网络、参考网络和评价网络的输入量和输出量连接三个网络，构成多层次启发式动态规划模块，将同调等值系统与原电网系统边界母线的电压偏差ΔV(t)和功角偏差Δδ(t)设置为多层次启发式动态规划模块的输入量、注入同调等值系统边界母线的有功调整量ΔP(t)设置为多层次启发式动态规划模块的输出量；

b1.7、根据多层次启发式动态规划模块的输入量和输出量连接同调等值系统，获得网络权值未知的基于多层次启发式动态规划算法的等值系统模型。

b2、在研究系统发生持续时间为0.1s的三相短路故障的电网中，对网络权值未知的基于多层次启发式动态规划算法的等值系统模型进行离线训练，获得基于多层次启发式动态规划算法的等值系统模型中的三个网络的权值。基于多层次启发式动态规划算法的等值系统模型离线训练流程，具体步骤如下：

b2.1、选择研究系统发生持续时间为0.1s的三相短路故障的电网进行离线训练；

b2.2、设定初始强化信号其中，a_i，b_j分别第i个电压偏差ΔV_i，第j个功角偏差Δδ_j平方的权值，设定a_i＝1，b_j＝0.6；

b2.3、设定执行网络、参考网络以及评价网络的误差函数阈值分别为ε_a＝0.1、ε_f＝0.1和ε_c＝0.1，同时将三个网络的权值进行初始化；

b2.4、将系统状态ΔV＝[ΔV₁...ΔV_n,Δδ₁...Δδ_m]输入到多层次启发式动态规划模块中，计算获得控制输出序列ΔP(t)；

b2.5、将ΔP(t)输入到同调等值系统中得到下一个时刻系统状态ΔV(t+1)，之后将该状态量输入到多层次启发式动态规划模块中，通过使三个网络的误差函数最小化，更新网络权值，产生下一时刻输出序列ΔP(t+1)。

b2.6、评价网络、执行网络和参考网络根据步骤b1.5的权值更新法则更新它的权值，直到满足三个网络的评判条件E_c(t)≤ε_c、E_a(t)≤ε_a、E_f(t)≤ε_f。

b2.7、如满足评判条件，则保留各网络权值；如不满足返回步骤b2.4继续计算。

通过步骤b1，建立网络权值未知的基于多层次启发式动态规划算法的等值系统模型，通过步骤b2，获得基于多层次启发式动态规划算法的等值系统模型参数，b1用于建模，b2用于获取参数，最终获得适应性强、结构简单的以及权值已知的基于多层次启发式动态规划算法的等值系统模型。

通过本发明所构思的以上技术方案，与现有技术相比，具有以下优点：

1、该方法较为新颖，将先进的控制策略引入了电力系统，在等值边界加入动态补偿环节，补偿了同调等值系统与原系统间动态特性的差额，保证了在不同运行工况、不同故障以及不同故障地点下等值系统与原系统间动态特性的一致。

2、该方法仅在原同调等值法的基础上添加了一个模块，实现起来较为容易。

附图说明

图1是一种基于GrHDP算法的电力系统动态等值方法流程图。

图2是GrHDP模块的离线训练流程图。

图3是基于GrHDP算法等值系统模型结构。

图4是GrHDP模块结构。

图5是反向传播神经网络结构。

图6是GrHDP模块的执行网络的结构。

图7是GrHDP模块的参考网络的结构。

图8是GrHDP模块的评价网络的结构。

图9是10机39节点系统结构。

图10是10机39节点系统的同调等值模型结构。

图11是10机39节点系统的基于GrHDP算法的同调等值模型结构。

图12是10机39节点系统中的发电机G4～G7的功角摇摆曲线图。

图13是10机39节点系统1号机在工况1下动态特性对比图。

图14是10机39节点系统1号机在工况2下动态特性对比图。

图15是10机39节点系统母线14在工况3下动态特性对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例及附图，对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明所提出的基于多层次启发式动态规划算法的电力系统动态等值方法，是在同调等值法的基础上，在边界母线添加基于多层次启发式动态规划算法的动态环节，该环节以同调等值系统与原系统边界母线电压幅值偏差和相角偏差作为输入量，以同调等值系统与原系统注入边界母线的有功功率偏差为输出量，以同调等值系统与原系统边界母线电压幅值偏差和相角偏差的平方和为性能指标函数。在暂稳仿真中，通过改变GrHDP算法中三个网络的权值，基于GrHDP算法的动态环节不断调整输出量，最终，达到性能指标函数值最小的目的，从而，补偿了同调等值系统与原系统的偏差值，保证了同调等值系统与原系统具有相似的动态特性。本发明的流程图如图1所示。本发明以IEEE10机39节点系统为实施例，该系统结构如图9所示，具体步骤如下：

a、同调等值步骤

a1、令外部系统2为外部系统，其余部分为研究系统；

将电网中需要重点关注的区域称为研究系统，将需要等值的区域称为外部系统。图3(a)所示的外部系统为待等值的部分，在传统的同调等值法中，外部系统被等值成等值发电机、等值负荷和等值网络阻抗三个部分，该等值结构如图3(b)所示，在基于GrHDP算法的同调等值法中，等值模型结构在传统同调等值法的基础上增加了一个GrHDP模块，该等值模型结构如图3(c)所示。

a2、在10机39节点系统母线26处施加三相短路故障，做暂态稳定仿真，获得外部系统中四台机组的转子功角变化曲线，该曲线如图12所示，可以看到，四台发电机相互之间的功角偏差均在15度以内，则这些机组为同调机群，可简化为一台机；

a3、合并外部系统中同调发电机G4、G5、G6、G7连接的母线33、34、35和36，获得等值发电机母线；

a4、将外部系统发电机G4、G5、G6、G7合并为一台等值机，并将等值机接入等值母线，等值发电机参数按如下公式计算：

$X_{eq}=\underset{i=1}{\overset{n}{\Σ}}\frac{S_i}{S_{eq}}{X}_i$

式中：S_eq为同调机群所有发电机的总容量，X_i为同调机群中第i台发电机参数，S_i为同调发电机群中第i台发电机容量，等值发电机参数如表1所示。

表1等值发电机参数

参数	计算值	参数	计算值
				S	4000MVA	Xd	3.7025pu
Xd'	0.6865pu	Xd”	0.15pu
				Xq	3.5275pu	Xq”	0.6865pu
Td0'	6.0125s	Td0”	0.015s
				Tq0”	0.036s	H	2.89s

根据等值发电机的参数X_eq，获得等值发电机模型。

a5、将外部系统母线20、21、23、24的负荷相加后移至等值发电机母线，获得等值负荷模型，等值负荷和等值发电机参数如下表：

表2等值负荷参数

参数	计算值(MW)	参数	计算值(MVar)
				P	150.9	Q	21.04

a6、保留外部系统中的边界母线和等值母线，消去中间母线，采用径向等值不变性方法获得等值网络阻抗；

上述获得的等值发电机模型、等值发电机母线、等值负荷模型、等值网络阻抗以及研究系统组成了同调等值系统，图10是10机39节点系统的同调等值模型结构图。

b、多层次启发式动态规划模块的设计与训练步骤

b1、采用多层次启发式动态规划算法，确定多层次启发式动态规划模块的输入量、输出量；

图4是基于多层次启发式动态规划算法的模块结构图，该模块是通过不断地迭代逼近求得使性能指标函数值最小的最优控制规律。它由执行网络、参考网络、评价网络三个部分组成，这三个网络均采用反向传播神经网络，执行网络通过不断调整网络权值函数，使得误差函数e_a(t)＝J(t)-U_c(t)达到最小，从而使等值系统获得最优控制效果，其中J(t)为GrHDP模块的性能指标函数、U_c(t)为GrHDP模块的期望目标函数，图6是执行网络的结构，图中x₁，x₂，x₃...x_n为执行网络的输入量，u(t)为执行网络输出量。参考网络则通过调整网络权值函数，使误差函数e_f(t)＝γJ(t)-[J(t-1)-r(t)]达到最小，从而产生精确的效用函数来提高系统的控制精度与收敛速度，其中，r(t)为初始强化信号，图7为参考网络的结构。而评价网络则通过调整网络权值函数，使误差函数e_c(t)＝γJ(t)-[J(t-1)-s(t)]到达最小，从而实现性能指标函数最小，其中，s(t)为GrHDP模块的效用函数，γ为性能指标函数的权重，评价网络的结构如图8所示。步骤b1具体包含以下子步骤：

b1.1、设置同调等值系统与原电网系统边界母线15、16的电压偏差ΔV₁₅(t)、ΔV₁₆(t)和功角偏差Δδ₁₅(t)、Δδ₁₆(t)为多层次启发式动态规划模块中执行网络的输入量，设置执行网络的输入量以及注入同调等值系统边界母线15、16的有功调整量ΔP₁₅(t)、ΔP₁₆(t)为多层次启发式动态规划模块中参考网络的输入量，设置参考网络的输入量以及多层次启发式动态规划模块中的内部强化函数s(t)为多层次启发式动态规划模块中评价网络的输入量，其中多层次启发式动态规划模块中的执行网络、参考网络和评价网络均为反向传播神经网络，反向神经网络包含输如层、输出层以及隐藏层，三层之间通过权值函数联系，它可通过调整权值函数使网络中的误差函数达到最小；

b1.2、设置注入同调等值系统边界母线的有功调整量ΔP₁₅(t)、ΔP₁₆(t)为执行网络的输出量，设置内部强化函数s(t)为多层次启发式动态规划模块中参考网络的输出量，设置多层次启发式动态规划模块中的性能指标函数J(t)为多层次启发式动态规划模块中评价网络的输出量；

b1.3、根据如下公式计算多层次启发式动态规划模块中执行网络、参考网络、评价网络的隐藏层节点数：

$m{1}_i=\sqrt{n{1}_i+l{1}_i}+\mathrm{\α},(i=a,f,c)$

其中执行网络输入量个数n1_a＝4，执行网络输出量个数l1_a＝1，随机数α＝4，参考网络输入量个数n1_f＝5，参考网络输出量个数l1_f＝1，评价网络输入量个数n1_c＝6，评价网络输出量个数l1_c＝1，则执行网络隐藏层个数m1_a＝6，参考网络隐藏层个数m1_f＝6，评价网络隐藏层个数m1_c＝6；

b1.4、设置e_a(t)＝J(t)-U_c(t)、为执行网络的误差函数，设置e_f(t)＝γJ(t)-[J(t-1)-r(t)]为多层次启发式动态规划模块中参考网络的误差函数，设置e_c(t)＝γJ(t)-[J(t-1)-s(t)]为多层次启发式动态规划模块中评价网络的误差函数，其中U_c(t)为多层次启发是动态规划模块的期望目标输出，γ为性能指标函数的权重，r(t)为多层次启发式动态规划模块的初始强化信号；

b1.5、按照如下公式设置多层次启发式动态规划模块中执行网络、参考网络、评价网络的权值更新法则：

$\frac{\∂E_j\left(t\right)}{\∂w_j\left(t\right)}=\frac{\∂E_j\left(t\right)}{\∂J\left(t\right)}\frac{\∂J\left(t\right)}{\∂s\left(t\right)}\frac{\∂s\left(t\right)}{\∂w_j\left(t\right)}$

$w_{j_i}^{\left(2\right)}(t+1)=w_{j_i}^{\left(2\right)}\left(t\right)+{\mathrm{\Δw}}_{j_i}^{\left(2\right)}\left(t\right)$

$w_{j_i}^{\left(1\right)}(t+1)=w_{j_i}^{\left(1\right)}\left(t\right)+{\mathrm{\Δw}}_{j_i}^{\left(1\right)}\left(t\right)$

${\mathrm{\Δw}}_{f_i}^{\left(2\right)}\left(t\right)=l_f\left(t\right)\[-\frac{\∂E_f\left(t\right)}{\∂w_{f_i}^{\left(2\right)}\left(t\right)}\]$

${\mathrm{\Δw}}_{f_i}^{\left(1\right)}\left(t\right)=l_f\left(t\right)\[-\frac{\∂E_f\left(t\right)}{\∂w_{f_i}^{\left(1\right)}\left(t\right)}\]$

j＝a,f,c

式中为第j个网络的输入层到隐藏层之间的初始权值，为第j个网络的输入层到隐藏层之间的权值修正量，为第j个网络的输入层到隐藏层之间的修正权值，为第j个网络的隐藏层到输出层之间的初始权值，为第j个网络的隐藏层到输出层之间的权值修正量，为第j个网络的隐藏层到输出层之间的修正权值，l_j(t)为第j个网络的学习速率，将该变量设定为0.6，a代表执行网络，f代表参考网络，c代表评价网络；

b1.6、根据执行网络、参考网络和评价网络的输入量和输出量连接三个网络，构成多层次启发式动态规划模块，将同调等值系统与原电网系统边界母线的电压偏差ΔV(t)和功角偏差Δδ(t)设置为多层次启发式动态规划模块的输入量、注入同调等值系统边界母线的有功调整量ΔP(t)设置为多层次启发式动态规划模块的输出量；

b1.7、根据多层次启发式动态规划模块的输入量和输出量连接同调等值系统，获得如图11所示的网络权值未知的基于多层次启发式动态规划算法的等值系统模型。

b2、在研究系统发生持续时间为0.1s的三相短路故障的电网中，对网络权值未知的基于多层次启发式动态规划算法的等值系统模型进行离线训练如图2所示，获得基于多层次启发式动态规划算法的等值系统模型中的三个网络的权值。

b2.1、将原系统与基于GrHDP的等值系统设置成如下工况：在t＝0.5s时，在3号节点发生三相短路故障，持续时间为0.1s，外部系统的传输功率为1.0pu；

b2.2、设定初始强化信号取b₁＝b₂＝1，b₃＝b₄＝0.6；

b2.3、设定执行网络、参考网络以及评价网络的误差函数阈值分别为ε_a＝0.1、ε_f＝0.1和ε_c＝0.1，并生成三组取值范围在0～1之间的随机数并将这些随机数作为三个网络权值的初始值；

b2.4、将系统状态ΔV＝[ΔV₁₅,ΔV₁₆,Δδ₁₅,Δδ₁₆]输入到GrHDP控制器中，计算获得控制输出序列ΔP(t)；

b2.5、将ΔP(t)输入到同调等值系统中得到下一个时刻系统状态ΔV(t+1)，之后将该状态量输入到多层次启发式动态规划模块中，通过使三个网络的误差函数最小化，更新网络权值，产生下一时刻输出序列ΔP(t+1)。

b2.6、评价网络、执行网络和参考网络根据步骤b1.5的权值更新法则更新它的权值，直到满足三个网络的评判条件E_c(t)≤ε_c、E_a(t)≤ε_a、E_f(t)≤ε_f。

b2.7、如满足评判条件，则保留各网络权值；如不满足返回步骤b2.4继续计算。

通过步骤b1，建立网络权值未知的基于多层次启发式动态规划算法的等值系统模型，通过步骤b2，获得基于多层次启发式动态规划算法的等值系统模型参数，b1用于建模，b2用于获取参数，最终获得适应性强、结构简单的以及权值已知的基于多层次启发式动态规划算法的等值系统模型。

完成等值网络离线训练后，在不同运行工况、故障方式以及故障地点对等值效果进行仿真验证。选择如下三个工况：

工况1：在t＝0.5s时，在母线3处发生三相短路故障，故障持续时间为0.1s，等值系统传输0.2pu的功率；

工况2：在t＝0.5s时，在线路3-4发生永久性断线故障，等值系统传输0.2pu的功率；

工况3：在t＝0.5s时，在母线14发生三相短路故障，故障持续时间为0.1s，等值系统传输0.7pu的功率。

原系统、同调等值系统和基于GrHDP算法的同调等值系统中的1号机在工况1下的动态特性对比图如图13所示。三个系统中的1号机在工况2下的动态对比图如图14所示，三个系统中的母线14在工况3下的电压幅值变化对比图如图15所示。

从图13～图15可以看出，在不同工况下，同调等值系统无法较好的跟踪原系统的动态特性，而基于GrHDP算法的等值系统的动态特性与原系统基本保持一致。表明基于GrHDP算法的动态等值系统在不同的运行工况仍然具有较好的等值精度。

本领域的技术人员容易理解，以上所述为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于多层次启发式动态规划的电力系统动态等值法，其特征在于，该方法包含同调等值步骤和多层次启发式动态规划模块的设计与训练步骤，具体如下：

a、同调等值步骤

a1、将电网系统划分为外部系统与研究系统；

a2、将外部系统中任意两台最大转子角偏差不超过15度的发电机划分到同一个同调机群中，并将每个同调机群聚合为一台等值发电机；

a3、合并外部系统中同调发电机母线，获得等值发电机母线；

a4、根据如下公式计算等值发电机的参数X_eq，获得等值发电机模型，

$X_{eq}=\underset{i=1}{\overset{n}{\Σ}}\frac{S_i}{S_{eq}}{X}_i$

式中：S_eq为同调机群所有发电机的总容量，X_i为同调机群中第i台发电机参数，S_i为同调发电机群中第i台发电机容量；

a5、将外部系统中所有母线上的负荷相加后移至等值发电机母线，获得等值负荷模型；

a6、保留外部系统中的边界母线和等值母线，消去中间母线，采用径向等值不变性方法获得等值网络阻抗；

上述获得的等值发电机模型、等值发电机母线、等值负荷模型、等值网络阻抗以及研究系统组成了同调等值系统；

b、多层次启发式动态规划模块的设计与训练步骤

b1、采用多层次启发式动态规划算法，确定多层次启发式动态规划模块的输入量、输出量；

b1.1、设置同调等值系统与原电网系统边界母线的电压偏差ΔV(t)和功角偏差Δδ(t)为多层次启发式动态规划模块中执行网络的输入量，设置执行网络的输入量以及注入同调等值系统边界母线的有功调整量ΔP(t)为多层次启发式动态规划模块中参考网络的输入量，设置参考网络的输入量以及多层次启发式动态规划模块中的内部强化函数s(t)为多层次启发式动态规划模块中评价网络的输入量，其中多层次启发式动态规划模块中的执行网络、参考网络和评价网络均为反向传播神经网络，反向神经网络包含输入层、输出层以及隐藏层，三层之间通过权值函数联系，它可通过调整权值函数使网络中的误差函数达到最小；

b1.2、设置注入同调等值系统边界母线的有功调整量ΔP(t)为执行网络的输出量，设置内部强化函数s(t)为多层次启发式动态规划模块中参考网络的输出量，设置多层次启发式动态规划模块中的性能指标函数J(t)为多层次启发式动态规划模块中评价网络的输出量；

b1.3、根据如下公式计算多层次启发式动态规划模块中执行网络、参考网络、评价网络的隐藏层节点数：

$m{1}_i=\sqrt{n{1}_i+l{1}_i}+\mathrm{\α}(i=a,f,c)$

其中n1_i为第i个网络输入量个数，l1_i为第i个网络输出量个数，α为范围在1～10之间的一个随机数，a代表执行网络，f代表参考网络，c代表评价网络；

b1.4、设置e_a(t)＝J(t)-U_c(t)、为执行网络的误差函数，设置e_f(t)＝γJ(t)-[J(t-1)-r(t)]为多层次启发式动态规划模块中参考网络的误差函数，设置e_c(t)＝γJ(t)-[J(t-1)-s(t)]为多层次启发式动态规划模块中评价网络的误差函数，其中U_c(t)为多层次启发是动态规划模块的期望目标输出，γ为性能指标函数的权重，r(t)为多层次启发式动态规划模块的初始强化信号；

b1.5、按照如下公式设置多层次启发式动态规划模块中执行网络、参考网络、评价网络的权值更新法则：

$\frac{\∂E_j\left(t\right)}{\∂w_j\left(t\right)}=\frac{\∂E_j\left(t\right)}{\∂J\left(t\right)}\frac{\∂J\left(t\right)}{\∂s\left(t\right)}\frac{\∂s\left(t\right)}{\∂w_j\left(t\right)}$

$w_{j_i}^{\left(2\right)}(t+1)=w_{j_i}^{\left(2\right)}\left(t\right)+{\mathrm{\Δw}}_{j_i}^{\left(2\right)}\left(t\right)$

$w_{j_i}^{\left(1\right)}(t+1)=w_{j_i}^{\left(1\right)}\left(t\right)+{\mathrm{\Δw}}_{j_i}^{\left(1\right)}\left(t\right)$

${\mathrm{\Δw}}_{f_i}^{\left(2\right)}\left(t\right)=l_f\left(t\right)\[-\frac{\∂E_f\left(t\right)}{\∂w_{f_i}^{\left(2\right)}\left(t\right)}\]$

${\mathrm{\Δw}}_{f_i}^{\left(1\right)}\left(t\right)=l_f\left(t\right)\[-\frac{\∂E_f\left(t\right)}{\∂w_{f_i}^{\left(1\right)}\left(t\right)}\]$

j＝a,f,c

式中为第j个网络的输入层到隐藏层之间的初始权值，为第j个网络的输入层到隐藏层之间的权值修正量，为第j个网络的输入层到隐藏层之间的修正权值，为第j个网络的隐藏层到输出层之间的初始权值，为第j个网络的隐藏层到输出层之间的权值修正量，为第j个网络的隐藏层到输出层之间的修正权值，l_j(t)为第j个网络的学习速率，将该变量设定为0.6，a代表执行网络，f代表参考网络，c代表评价网络；

b1.6、根据执行网络、参考网络和评价网络的输入量和输出量连接三个网络，构成多层次启发式动态规划模块，将同调等值系统与原电网系统边界母线的电压偏差ΔV(t)和功角偏差Δδ(t)设置为多层次启发式动态规划模块的输入量、注入同调等值系统边界母线的有功调整量ΔP(t)设置为多层次启发式动态规划模块的输出量；

b1.7、根据多层次启发式动态规划模块的输入量和输出量连接同调等值系统，获得网络权值未知的基于多层次启发式动态规划算法的等值系统模型。

b2、在研究系统发生持续时间为0.1s的三相短路故障的电网中，对网络权值未知的基于多层次启发式动态规划算法的等值系统模型进行离线训练，获得基于多层次启发式动态规划算法的等值系统模型中的三个网络的权值；

b2.1、选择研究系统发生持续时间为0.1s的三相短路故障的电网进行离线训练；

b2.2、设定初始强化信号其中，a_i，b_j分别第i个电压偏差ΔV_i，第j个功角偏差Δδ_j平方的权值，设定a_i＝1，b_j＝0.6；

b2.3、设定执行网络、参考网络以及评价网络的误差函数阈值分别为ε_a＝0.1、ε_f＝0.1和ε_c＝0.1，同时将三个网络的权值进行初始化；

b2.4、将系统状态ΔV＝[ΔV₁...ΔV_n,Δδ₁...Δδ_m]输入到多层次启发式动态规划模块中，计算获得控制输出序列ΔP(t)；

b2.5、将ΔP(t)输入到同调等值系统中得到下一个时刻系统状态ΔV(t+1)，之后将该状态量输入到多层次启发式动态规划模块中，通过使三个网络的误差函数最小化，更新网络权值，产生下一时刻输出序列ΔP(t+1)；

b2.6、评价网络、执行网络和参考网络根据步骤b1.5的权值更新法则更新它的权值，直到满足三个网络的评判条件E_c(t)≤ε_c、E_a(t)≤ε_a、E_f(t)≤ε_f；

b2.7、如满足评判条件，则保留各网络权值；如不满足返回步骤b2.4继续计算；

通过步骤b1，建立网络权值未知的基于多层次启发式动态规划算法的等值系统模型，通过步骤b2，获得基于多层次启发式动态规划算法的等值系统模型参数，b1用于建模，b2用于获取参数，最终获得适应性强、结构简单的以及权值已知的基于多层次启发式动态规划算法的等值系统模型。