CN116663401A - 紧急切负荷决策方法及其决策模型训练方法与训练设备 - Google Patents

紧急切负荷决策方法及其决策模型训练方法与训练设备 Download PDF

Info

Publication number
CN116663401A
CN116663401A CN202310530513.2A CN202310530513A CN116663401A CN 116663401 A CN116663401 A CN 116663401A CN 202310530513 A CN202310530513 A CN 202310530513A CN 116663401 A CN116663401 A CN 116663401A
Authority
CN
China
Prior art keywords
voltage
load shedding
emergency load
network
power grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310530513.2A
Other languages
English (en)
Inventor
胡泽
姚伟
石重托
张润丰
宗启航
周泓宇
赵海宇
邓贤哲
姚雅涵
井浩然
孙康怡
李晟
艾小猛
文劲宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202310530513.2A priority Critical patent/CN116663401A/zh
Publication of CN116663401A publication Critical patent/CN116663401A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/12—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
    • H02J3/14—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load by switching loads on to, or off from, network, e.g. progressively balanced loading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/04—Power grid distribution networks
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Economics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Geometry (AREA)
  • Power Engineering (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种紧急切负荷决策模型训练方法及其训练设备以及紧急切负荷决策方法，属于电力系统稳定性控制技术领域，紧急切负荷决策模型为具有分支竞争Q网络的智能体，训练方法包括：将电网矩阵Gk和母线电压集合Vk进行多层图卷积运算得到电压图特征Tk，电网矩阵Gk中第i行第j列的元素表示母线i和j是否连接，以电压图特征Tk和发电机功角状态集合δk作为输入状态输入智能体，实现智能体的训练和网络参数更新。本发明中，输入智能体的状态融合了电网拓扑信息，相比于传统技术中未融合电网拓扑信息，具有分支竞争Q网络的智能体的训练效率和决策性能都明显提高。

Description

紧急切负荷决策方法及其决策模型训练方法与训练设备
技术领域
本发明属于电力系统稳定性控制技术领域，更具体地，涉及一种紧急切负荷决策模型训练方法及其训练设备以及紧急切负荷决策方法。
背景技术
紧急切负荷控制是在故障导致的暂态电压失稳发生后，使电力系统恢复稳定的重要控制措施。目前紧急切负荷控制措施一般由电网专家离线制定。电网专家设想大量的暂态电压失稳工况，调用暂态稳定仿真试凑出紧急切负荷控制措施，并构建暂态电压失稳工况与紧急切负荷控制措施之间的一一对应关系。在线运行时，一旦发生的故障可能导致暂态电压失稳，直接根据暂态电压失稳工况投入相应的紧急切负荷控制措施。
随着新能源的接入和电网规模增大，电网暂态过程变得更加复杂，传统的措施制定方法过于依赖专家经验且耗时耗力。一些研究采用优化控制的方法决策自动的紧急切负荷控制措施，但在寻优空间增大时较为耗时，且存在无法求解的情况。
近年来，人工智能的快速发展为紧急切负荷控制措施的制定提供了新的机遇。分支竞争Q网络算法(branching dueling Q-network，以下简称BDQ)可以直接处理高维决策空间，有望减轻专家依赖，提高紧急切负荷控制措施制定的效率。然而，目前BDQ网络的输入特征仅考虑了时序特征，智能体的训练效率和决策性能均有待提高。如何快速有效制定紧急切负荷控制措施，是目前亟待解决的技术问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种紧急切负荷决策模型训练方法及其训练设备以及紧急切负荷决策方法，其目的在于提高分支竞争Q网络智能体决策紧急切负荷控制措施的训练效率和决策性能。
为实现上述目的，按照本发明的一个方面，提供了一种紧急切负荷决策模型训练方法，所述紧急切负荷决策模型为具有分支竞争Q网络的智能体，所述模型训练方法包括：
步骤S11：在当前电网暂态电压失稳故障下执行第k步决策出的紧急切负荷动作ak，获取对应的电压图特征Tk和发电机功角状态集合δk；
步骤S12：将电压图特征Tk和发电机功角状态集合δk输入所述智能体进行决策，得到第k+1步决策出的紧急切负荷动作ak+1；
步骤S13：在当前电网暂态电压失稳故障下执行紧急切负荷动作ak+1，获取对应的电压图特征Tk+1和发电机功角状态δk+1，并计算反应执行紧急切负荷动作ak到执行紧急切负荷动作ak+1电网电压是否趋于稳定的奖励rk；以电压图特征Tk、发电机功角状态集合δk、紧急切负荷动作ak+1、电压图特征Tk+1、发电机功角状态δk+1和奖励rk作为一组交互样本；
步骤S14：令k＝k+1，跳转至步骤S12，获取当前电网暂态电压失稳故障下的多组交互样本；
步骤S15：更新电网暂态电压失稳故障，跳转至步骤S11直至获取得到所需数量的交互样本；
步骤S16：抽取交互样本训练所述智能体以更新所述智能体的网络参数；
其中，电压图特征Tk为将电网矩阵Gk和母线电压集合Vk进行多层图卷积运算所得，电网矩阵Gk中第i行第j列的元素表示母线i和j是否连接，i、j＝1,2,3,……,N，N为母线数量。
在其中一个实施例中，通过电力系统分析综合程序进行暂态仿真，得到当前电网暂态电压失稳故障下执行紧急切负荷动作ak后的母线电压集合Vk和发电机功角状态集合δk。
在其中一个实施例中，电压图特征其中，/>表示多层图卷积运算中的第l层网络的运算结果，m表示多层图卷积运算的网络层数，所述多层图卷积运算中第l+1层与第l层之间的传播关系为：
式中，表示执行紧急切负荷动作ak后的电压图改进矩阵，/>I为单位矩阵；
表示/>的度矩阵，所述度矩阵为对角矩阵，所述度矩阵/>中的第p个对角元素值/>为/>其中，/>表示电压图改进矩阵/>中的第p行、第q列的值；
表示计算电压图特征Tk的多层图卷积运算的第l层网络的权重参数；
σ(·)表示非线性激活函数。
在其中一个实施例中，电网矩阵Gk中，若母线i和母线j未连接，则 若母线i和母线j连接，则/>
在其中一个实施例中，所述奖励rk为根据母线电压集合Vk+1给予的奖励，若母线电压集合Vk+1中存在母线电压未恢复稳定，则给予的奖励相对较低，若母线电压集合Vk+1中所有母线电压均恢复稳定，则给予的奖励相对较高。
在其中一个实施例中，以0.8p.u.作为评估母线电压是否恢复稳定的分界线，若母线电压集合Vk+1中小于0.8p.u.的母线电压，则给予的奖励为0，若母线电压集合Vk+1所有母线电压均大于或等于0.8p.u.，则给予的奖励大于0。
在其中一个实施例中，按照双重Q网络的方式更新所述智能体的网络参数，所述双重Q网络包括目标网络和策略网络，所述目标网络定期从策略网络同步参数。
在其中一个实施例中，在步骤S16之后，还包括：
随机选取电网暂态电压失稳故障并跳转至步骤S11进行迭代，多次迭代以实现智能体参数的多次更新。
按照本发明的另一个方面，提供了一种紧急切负荷决策模型训练设备，用于执行上述的紧急切负荷决策模型训练方法。
按照本发明的又一个方面，提供了一种紧急切负荷决策方法，包括：
步骤S21：在当前电网暂态电压失稳故障下执行第k步决策出的紧急切负荷动作ak，获取对应的电压图特征Tk和发电机功角状态集合δk；
步骤S22：将电压图特征Tk和发电机功角状态集合δk输入紧急切负荷决策模型中的具有分支竞争Q网络的智能体进行决策，得到第k+1步决策出的紧急切负荷动作ak+1，其中，所述紧急切负荷决策模型为根据上述的紧急切负荷决策模型训练方法训练所得；
步骤S23：在当前电网暂态电压失稳故障下执行紧急切负荷动作ak+1，判断当前母线电压是否恢复稳定或迭代是否达到上限，若是，则以紧急切负荷动作ak+1作为当前电网暂态电压失稳故障下的最终决策动作，若否，令K＝K+1并跳转至步骤S21；
其中，电压图特征Tk为将电网矩阵Gk和母线电压集合Vk进行多层图卷积运算所得，电网矩阵Gk中第i行第j列的元素表示母线i和j是否连接，i、j＝1,2,3,……,N，N为母线数量。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明的紧急切负荷决策模型为具有分支竞争Q网络的智能体，能够同时决策多个负荷的切负荷量。在对智能体进行训练时，对输入智能体的状态特征进行改进。传统技术中，输入智能体的状态为电压和功角状态。而本发明中，输入智能体的状态为电压图特征和功角状态，其中，电压图特征为融合电网矩阵和母线电压的特征，电网矩阵反应了当前电网拓扑中各母线的连接关系。因此，本发明中，输入智能体的状态融合了电网拓扑信息，相比于传统技术中未融合电网拓扑信息，具有分支竞争Q网络的智能体的训练效率和决策性能都明显提高。
进一步地，采用特定传播关系的多层图卷积运算融合电网矩阵和母线电压，能够更好地提取并融合两者的关键特征。
进一步地，通过母线电压判断电网是否恢复稳定，根据母线电压设置奖励，可以通过奖励更加直观地反应当前决策的有效性。
附图说明
图1为一实施例的BDQ智能体的网络结构示意图；
图2为一实施例的紧急切负荷决策模型训练方法的步骤流程图；
图3为一实施例的智能体输入特征获取过程示意图；
图4为一实施例的BDQ智能体与环境的交互过程的示意图；
图5为一实施例的紧急切负荷决策方法的步骤流程图；
图6(a)为一实施例的融合电网拓扑特征与不融合电网拓扑特征的BDQ智能体的总迭代次数对比图；
图6(b)为一实施例的融合电网拓扑特征与不融合电网拓扑特征的BDQ智能体的总奖励对比图；
图6(c)为一实施例的融合电网拓扑特征与不融合电网拓扑特征的BDQ智能体的总成功次数对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
分支竞争Q网络(branching dueling Q-network，以下简称BDQ)智能体是一种常见的深度强化学习神经网络。如图1所示为BDQ智能体的结构图，主要可以分为特征预处理模块、映射模块和决策模块。状态s输入特征预处理模块进行特征预处理后得到共享特征f。共享特征f一方面输入映射模块后得到N个优势分支的优势，其中，映射模块包括N个通道的卷积层，每个通道的卷积层对应一个负荷并形成一个优势分支，一共有N个负荷，所以有N个优势分支，共享特征f经过映射模块的卷积层后，得到N个优势分支的负荷子动作的优势，优势分支d的负荷子动作的优势为Ad(s,ad)，d∈1，2，……，N。共享特征f另一方面输入状态提取模块，状态提取模块也包括卷积层，共享特征f经状态提取模块中的卷积层提取得到状态值V(s)。决策模块获取优势分支d的负荷子动作的优势Ad(s,ad)并与状态值V(s)计算得到优势分支d的Q值Qd(s,a)，最后通过各分支Q值决策得到各负荷的切负荷动作。切负荷动作的数据具体表示切负荷的比例，例如切除10％、30％、50％、70％的负荷。BDQ智能体中的各个模块中的运算过程可以通过常规方法实现，如文献《Action Branching Architecturesfor Deep Reinforcement Learning》对其中的运算过程进行了详细的介绍，在此不再赘述。
本发明是基于上述BDQ智能体构建的紧急切负荷决策模型。
本发明提出的紧急切负荷决策模型训练方法主要为通过智能体迭代获取交互样本并在获取到一定量的交互样本后训练更新智能体的网络参数。
在一实施例中，如图2所示，紧急切负荷决策模型训练方法包括以下步骤：
步骤S11：在当前电网暂态电压失稳故障下执行第k步决策出的紧急切负荷动作ak，获取对应的电压图特征Tk和发电机功角状态集合δk。
其中，电压图特征Tk为将电网矩阵Gk和母线电压集合Vk进行多层图卷积运算所得，电网矩阵Gk中第i行第j列的元素表示母线i和j是否连接，i、j＝1,2,3,……,N，N为母线数量。
具体的，可以通过以下子步骤获取电压图特征Tk和发电机功角状态集合δk。
步骤S101：构建在当前电网暂态电压失稳故障下执行紧急切负荷动作ak后的电网矩阵Gk，ak为智能体第k步决策输出的动作，电网矩阵Gk中第i行第j列的元素表示母线i和j是否连接，i、j＝1,2,3,……,N，N为母线数量。
电网矩阵反应的是当前的电网拓扑情况，其电网中具有大量的母线，通过电网矩阵可以了解各母线两两之间的连接关系。其中，电网矩阵Gk的维度为具体的，可以以数值0、1表示母线之间的连接关系，其中，若母线i和母线j未连接，则/>若母线i和母线j连接，则/>
步骤S102：仿真获取执行紧急切负荷动作ak后的母线电压集合Vk和发电机功角状态集合δk。
具体地，电力系统环境根据当前运行工况，结合当前紧急切负荷控制策略ak，调用电力系统分析综合程序(Power System Analysis Software Package，PSASP)，仿真得到当前的母线电压Vk和发电机功角状态δk。
可以理解地，步骤S101和步骤S102之间没有严格的执行顺序。
步骤S103：将电网矩阵Gk和母线电压集合Vk进行多层图卷积运算，得到电压图特征Tk。
其中，可以采用常规的多层图卷积运算实现电网矩阵Gk和母线电压集合Vk的计算。
在一实施例中，电压图特征其中，/>表示多层图卷积运算中的第l层网络的运算结果，m表示多层图卷积运算的网络层数。即，电压图特征Tk为多层图卷积神经网络中最后一层的输出结果。
其中，多层图卷积运算中第l+1层与第l层之间的传播关系为：
其中，表示执行紧急切负荷动作ak后的电压图改进矩阵，/>I为单位矩阵；
表示/>的度矩阵，度矩阵为对角矩阵，度矩阵/>中的第p个对角元素值/>为/>其中，/>表示电压图改进矩阵/>中的第p行、第q列的值；
表示计算电压图特征Tk的多层图卷积运算的第l层网络的权重参数，该权重参数会在后续智能体的网络参数更新时也被训练更新；
σ(·)表示非线性激活函数，具体的，σ(z)＝max(0，z)，max(·)表示取最大值，z表示待激活的函数值。
经过多层图卷积神经网络提取当前母线电压特征Vk后，得到当前电压图特征Tk。
其中，多层图卷积运算的网络层数m可以根据实际情况灵活调整，可选的，m取值范围为：2≤m≤5。
步骤S12：将电压图特征Tk和发电机功角状态集合δk输入智能体进行决策，得到第k+1步决策出的紧急切负荷动作ak+1。
如图3所示，输入智能体的状态包括电压图特征Tk和发电机功角状态集合δk，经智能体决策，得到紧急切负荷动作ak+1，该紧急切负荷动作ak+1包含了每个负荷的切负荷量，例如，负荷1切50％，负荷2切30％。由于电网拓扑中存在大量的发电机，仿真得到的发电机功角为不同发电机随时间变化的功角，转换为功角矩阵后，矩阵中的元素则表示对应发电机在对应采样点的功角，通过卷积层和全连接层提取功角特征，得到发电机功角状态集合δk。
步骤S13：在当前电网暂态电压失稳故障下执行紧急切负荷动作ak+1，获取对应的电压图特征Tk+1和发电机功角状态δk+1，并计算反应执行紧急切负荷动作ak到执行紧急切负荷动作ak+1电网电压是否趋于稳定的奖励rk；以电压图特征Tk、发电机功角状态集合δk、紧急切负荷动作ak+1、电压图特征Tk+1、发电机功角状态δk+1和奖励rk作为一组交互样本。
其中，获取电压图特征Tk+1和发电机功角状态δk+1的过程与获取电压图特征Tk和发电机功角状态δk的过程相同。
由于在执行紧急切负荷动作ak+1后，电网矩阵可能发生变化，需要重新生成更新电网矩阵Gk+1。同时，电力系统环境根据当前运行工况，结合更新的紧急切负荷控制策略ak+1，调用PSASP暂态稳定仿真程序，仿真得到更新的母线电压Vk+1和发电机功角状态δk+1。再基于更新的电网矩阵Gk+1与更新的母线电压Vk+1进行图卷积运算，得到更新的电压图特征Tk+1。
奖励rk反应的是从执行第k步决策到执行第k+1步决策电网状态是否好转，若好转，则奖励取值相对较大，若未好转，则奖励取值相对较小。在一实施例中，根据更新的母线电压Vk+1给予奖励，若母线电压集合Vk+1中存在母线电压未恢复稳定，则给予的奖励相对较低，若母线电压集合Vk+1中所有母线电压均恢复稳定，则给予的奖励相对较高。具体的，以0.8p.u.作为评估母线电压是否恢复稳定的分界线，若母线电压集合Vk+1中小于0.8p.u.的母线电压，则给予的奖励为0，若母线电压集合Vk+1所有母线电压均大于或等于0.8p.u.，则给予的奖励大于0，例如设为10。即：
其中，表示执行紧急切负荷动作ak+1后，第i个母线的电压在第R时刻的值。R表示仿真总时间，例如10秒。可以理解的，奖励具体数值也可以设置为其他值，并不以此为限。
步骤S14：令k＝k+1，跳转至步骤S12，直至获取当前电网暂态电压失稳故障下的多组交互样本。
每执行一轮步骤S12～步骤S13，则完成一次迭代，得到当前电网暂态电压失稳故障下的一组交互样本，k累加1，利用上一次迭代得到的电压图特征和发电机功角状态，再次执行步骤S12～步骤S13，再次完成一次迭代，得到当前电网暂态电压失稳故障下的另一组交互样本。例如，第一轮迭代时(初始时刻)，k＝1，经过步骤S11～步骤S13，得到第一组交互样本，包括T1、δ1、a2、T2、δ2、r1。其中，初始时刻的紧急切负荷动作a1可以默认为0。第二轮迭代时，k＝2，将第一轮迭代获得的T2、δ2送入步骤S12，执行步骤S12～步骤S13，得到第二组交互样本，包括T2、δ2、a3、T3、δ3、r2。以此类推，在同一个电网暂态电压失稳故障下，可以得到多组交互样本。
步骤S15：更新电网暂态电压失稳故障，跳转至步骤S11，直至获取得到所需数量的交互样本。
电力系统中的电网暂态电压失稳故障类型多大上百种，通过更新电网暂态电压失稳故障，再次执行步骤S11～步骤S14，可以得到另一电网暂态电压失稳故障下的多组交互样本，由此可以得到大量的交互样本。具体的，当前电网暂态电压失稳故障训练达到一定轮次后，更新电网暂态电压失稳故障继续训练。其中，当更新电网暂态电压失稳故障后，重新初始化紧急切负荷动作并重新迭代。
步骤S16：抽取交互样本训练智能体，更新智能体的网络参数。
进一步的，当一次更新无法使智能体的网络参数满足预期，则可以再次跳转至步骤S11，再次执行步骤S11至步骤S16，即继续生成交互样本并再次更新网络参数，直至智能体能够决策得到有效的紧急切负荷动作。
由于通过智能体获取交互样本和智能体的网络参数更新是交替进行的，在获取交互样本期间，会定期抽取交互样本对所使用的智能体网络参数进行更新，然后再用更新后的智能体获取交互样本，即跳转至步骤S11，执行步骤S11～步骤S15，继续获取交互样本，多次更新以持续优化智能体。具体的，可以设置训练节点值，例如每迭代200轮设置一个训练节点，依次以200、400、600……作为训练节点值，若未到达训练节点值，则继续迭代，一旦到达训练节点，则从容量池中随机选取多个交互样本对分支竞争Q网络智能体进行训练，更新分支竞争Q网络智能体的参数，然后继续基于更新后的智能体重新获取交互样本。
其中，在获取到交互样本后，可以通过常规手段对智能体进行训练。在本实施例中，按照双重Q网络(Double Deep Q Network，DDQN)的方式更新智能体的网络参数。如图4所示，双重Q网络包括目标网络和策略网络，目标网络定期从策略网络同步参数，其具体过程如下：
首先，计算每个优势分支的Q实际值Qd(s,a)：
其中，s表示当前输入智能体的电压图特征和发电机功角状态，a表示当前执行的紧急切负荷动作，d表示某一个优势分支，ad表示分支d的当前紧急切负荷动作，a′d表示分支d的更新的紧急切负荷动作，分支d的动作ad, 表示动作空间，/>表示动作空间/>的维数，V(s)表示共享特征经卷积层提取的状态值，Ad(s,ad)表示优势分支d执行当前紧急切负荷动作ad的优势，Ad(s,a′d)表示优势分支d执行更新后的紧急切负荷动作a′d的优势。
其次，计算每个优势分支的Q目标值Yd：
其中，r表示智能体更新得到紧急切负荷动作a′d后获得的奖励，γ为设定的折扣系数，θ为BDQ策略网络参数，θ-为BDQ目标网络参数，s′表示更新的电压图特征和发电机功角状态。
例如，当前执行的紧急切负荷动作为ak，对应输入智能体的当前电压图特征和发电机功角状态分别为Tk和δk；更新的紧急切负荷动作为ak+1，更新的电压图特征和发电机功角状态分别为Tk+1和δk+1，对应的奖励为rk。
最后，时序差分误差定义为：
其中，eTD为时序差分误差，N为BDQ智能体的总分支数，也即电网中的总负荷数。
BDQ智能体的策略网络参数更新方法如下：
其中，θw为第w次参数更新后BDQ智能体的策略网络参数，α为学习率，表示对参数θ求导。
策略网络参数更新期间，目标网络定期从策略网络同步参数，最终策略网络的参数即为智能体的网络参数。
通常，一次更新无法使智能体的网络参数满足预期，则可以再次跳转至步骤S11，再次执行步骤S11至步骤S16，即继续生成交互样本并再次更新网络参数，进行多次更新以进一步优化智能体的决策性能。也即，通过智能体迭代获取交互样本并在获取到一定量的交互样本后训练更新智能体的网络参数，再继续通过最新的智能体迭代获取交互样本，如此循环多次，以多次优化智能体的网络参数。
相应的，本发明还涉及一种紧急切负荷决策模型训练设备，用于执行上述紧急切负荷决策模型训练方法。
相应的，本发明还涉及一种基于紧急切负荷决策模型的紧急切负荷决策方法，如图5所示，其主要包括：
步骤S21：在当前电网暂态电压失稳故障下执行第k步决策出的紧急切负荷动作ak，获取对应的电压图特征Tk和发电机功角状态集合δk；
步骤S22：将电压图特征Tk和发电机功角状态集合δk输入紧急切负荷决策模型中的具有分支竞争Q网络的智能体进行决策，得到第k+1步决策出的紧急切负荷动作ak+1，其中，紧急切负荷决策模型为根据上文紧急切负荷决策模型训练方法训练所得；
步骤S23：在当前电网暂态电压失稳故障下执行紧急切负荷动作ak+1，判断当前母线电压是否恢复稳定或迭代是否达到上限，若是，则以紧急切负荷动作ak+1作为当前电网暂态电压失稳故障下的最终决策动作，若否，令K＝K+1并跳转至步骤S21；
其中，电压图特征Tk为将电网矩阵Gk和母线电压集合Vk进行多层图卷积运算所得，电网矩阵Gk中第i行第j列的元素表示母线i和j是否连接，i、j＝1,2,3,……,N，N为母线数量。
具体的，获取电压图特征、母线电压集合和发电机功角状态集合的过程参考上文介绍，在此不再赘述。
在实际利用上文训练好的智能体进行决策时，根据实际的电网暂态电压失稳故障进行决策。当智能体输出紧急切负荷动作，即各负荷的具体切负荷量，通过仿真判断当前动作是否能够使电压恢复稳定，若不能恢复稳定且迭代次数未达到上限，智能体继续决策，重复执行状态-动作-状态-动作的循环直至当前动作能够使电压恢复稳定或者迭代次数达到上限，以当前动作作为当前电网暂态电压失稳故障下的紧急切负荷动作。
以下以一具体的例子进行说明。
设置不同的故障类型、故障线路、故障持续时间、故障位置和潮流水平，生成大量的暂态电压失稳运行工况，以训练和测试BDQ智能体。总共生成暂态电压失稳工况共有186个，随机选择146个用于智能体的模型训练，剩余40个用于智能体的性能测试。
智能体训练参数设置：智能体的获取交互样本的迭代总轮次为30000，经验池的容量10000，从经验池抽取批样本的容量128，即每次更新智能体网络参数时抽取128个交互样本，折扣系数0.1，学习率0.0001，分支数105，即智能体一次决策105个负荷的切负荷量，最小允许动作0.2，最大允许动作0.5，初始探索概率0.9，即，最小切负荷量为20％，最大切负荷量为50％，最小探索概率0.1，总仿真时间为10秒。智能体的神经网络使用PyTorch框架编写，智能体通过Python调用PSASP仿真软件执行切负荷决策。
为了验证电网拓扑特征融合对智能体决策性能的影响，分别评估有电网拓扑特征融合和无电网拓扑特征融合的BDQ智能体在所有测试集合上的性能。由于在通过紧急切负荷决策模型训练方法完成智能体的网络参数更新后，使用智能体进行决策时，还会涉及到状态-动作-状态-动作的多次迭代，最终输出有效的决策动作。此处在使用智能体进行决策期间，以每200个迭代轮次就进行一次性能评估。总迭代次数，总奖励和总成功个数用于评价智能体的性能。总迭代次数越少，智能体的决策速度越快。在决策有效的前提下获得的总奖励越大，智能体决策质量越高。总成功个数越多，智能体的决策能力越强。
实验重复执行3次，取多次结果的平均值进行比较。比较对象为基于电网拓扑特征融合的BDQ智能体和无电网拓扑特征融合的BDQ智能体。其中，有电网拓扑特征融合指的是本发明中输入智能体的状态为电压图特征Tk和发电机功角状态集合δk。无电网拓扑特征融合值得是常规方案中输入智能体的状态为母线电压集合Vk和发电机功角状态集合δk，未考虑电网拓扑。
结果如图6(a)～6(c)所示，线条表示多次结果的平均值，浅色块表现性能指标的方差，横坐标表示智能体参数更新阶段的训练轮次(即获取交互样本的迭代次数)，纵坐标表示运行训练好的智能体进行决策的各项决策性能。如图6(a)所示，相同训练轮次后，有电网拓扑特征融合的BDQ智能体在实际决策时所需的总迭代次数更少，说明电网拓扑特征融合可以提高智能体在实际应用时的决策速度。如图6(b)所示，相同训练轮次后，有电网拓扑特征融合的BDQ智能体在实际决策时总奖励更多，说明电网拓扑特征融合可以提高智能体的决策能力。如图6(c)所示，相同训练轮次后，有电网拓扑特征融合的BDQ智能体在实际决策时总成功个数更多，说明知识融合可以提高智能体的决策能力。另一方面，图6(a)～6(c)中，电网拓扑特征融合的BDQ智能体性能指标变好的速度更快，说明电网拓扑特征融合可以提升BDQ智能体的训练效率。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种紧急切负荷决策模型训练方法，其特征在于，所述紧急切负荷决策模型为具有分支竞争Q网络的智能体，所述模型训练方法包括：
步骤S11：在当前电网暂态电压失稳故障下执行第k步决策出的紧急切负荷动作ak，获取对应的电压图特征Tk和发电机功角状态集合δk；
步骤S12：将电压图特征Tk和发电机功角状态集合δk输入所述智能体进行决策，得到第k+1步决策出的紧急切负荷动作ak+1；
步骤S13：在当前电网暂态电压失稳故障下执行紧急切负荷动作ak+1，获取对应的电压图特征Tk+1和发电机功角状态δk+1，并计算反应执行紧急切负荷动作ak到执行紧急切负荷动作ak+1电网电压是否趋于稳定的奖励rk；以电压图特征Tk、发电机功角状态集合δk、紧急切负荷动作ak+1、电压图特征Tk+1、发电机功角状态δk+1和奖励rk作为一组交互样本；
步骤S14：令k＝k+1，跳转至步骤S12，直至获取当前电网暂态电压失稳故障下的多组交互样本；
步骤S15：更新电网暂态电压失稳故障，跳转至步骤S11直至获取得到所需数量的交互样本；
步骤S16：抽取交互样本训练所述智能体以更新所述智能体的网络参数；
其中，电压图特征Tk为将电网矩阵Gk和母线电压集合Vk进行多层图卷积运算所得，电网矩阵Gk中第i行第j列的元素表示母线i和j是否连接，i、j＝1,2,3,……,N，N为母线数量。
2.如权利要求1所述的紧急切负荷决策模型训练方法，其特征在于，通过电力系统分析综合程序进行暂态仿真，得到当前电网暂态电压失稳故障下执行紧急切负荷动作ak后的母线电压集合Vk和发电机功角状态集合δk。
3.如权利要求1所述的紧急切负荷决策模型训练方法，其特征在于，电压图特征其中，/>表示多层图卷积运算中的第l层网络的运算结果，m表示多层图卷积运算的网络层数，所述多层图卷积运算中第l+1层与第l层之间的传播关系为：
式中，表示执行紧急切负荷动作ak后的电压图改进矩阵，/>I为单位矩阵；
表示/>的度矩阵，所述度矩阵为对角矩阵，所述度矩阵/>中的第p个对角元素值为/>其中，/>表示电压图改进矩阵/>中的第p行、第q列的值；
Wk (l)表示计算电压图特征Tk的多层图卷积运算的第l层网络的权重参数；
σ(·)表示非线性激活函数。
4.如权利要求1所述的紧急切负荷决策模型训练方法，其特征在于，电网矩阵Gk中，若母线i和母线j未连接，则若母线i和母线j连接，则/>
5.如权利要求1所述的紧急切负荷决策模型训练方法，其特征在于，所述奖励rk为根据母线电压集合Vk+1给予的奖励，若母线电压集合Vk+1中存在母线电压未恢复稳定，则给予的奖励相对较低，若母线电压集合Vk+1中所有母线电压均恢复稳定，则给予的奖励相对较高。
6.如权利要求5所述的紧急切负荷决策模型训练方法，其特征在于，以0.8p.u.作为评估母线电压是否恢复稳定的分界线，若母线电压集合Vk+1中小于0.8p.u.的母线电压，则给予的奖励为0，若母线电压集合Vk+1所有母线电压均大于或等于0.8p.u.，则给予的奖励大于0。
7.如权利要求1所述的紧急切负荷决策模型训练方法，其特征在于，按照双重Q网络的方式更新所述智能体的网络参数，所述双重Q网络包括目标网络和策略网络，所述目标网络定期从策略网络同步参数。
8.如权利要求1所述的紧急切负荷决策模型训练方法，其特征在于，在步骤S16之后，还包括：
随机选取电网暂态电压失稳故障并跳转至步骤S11进行迭代，多次迭代以实现智能体参数的多次更新。
9.一种紧急切负荷决策模型训练设备，其特征在于，用于执行权利要求1至8任一项所述的紧急切负荷决策模型训练方法。
10.一种紧急切负荷决策方法，其特征在于，包括：
步骤S21：在当前电网暂态电压失稳故障下执行第k步决策出的紧急切负荷动作ak，获取对应的电压图特征Tk和发电机功角状态集合δk；
步骤S22：将电压图特征Tk和发电机功角状态集合δk输入紧急切负荷决策模型中的具有分支竞争Q网络的智能体进行决策，得到第k+1步决策出的紧急切负荷动作ak+1，其中，所述紧急切负荷决策模型为根据权利要求1至8任一项所述的紧急切负荷决策模型训练方法训练所得；
步骤S23：在当前电网暂态电压失稳故障下执行紧急切负荷动作ak+1，判断当前母线电压是否恢复稳定或迭代是否达到上限，若是，则以紧急切负荷动作ak+1作为当前电网暂态电压失稳故障下的最终决策动作，若否，令K＝K+1并跳转至步骤S21；
其中，电压图特征Tk为将电网矩阵Gk和母线电压集合Vk进行多层图卷积运算所得，电网矩阵Gk中第i行第j列的元素表示母线i和j是否连接，i、j＝1,2,3,……,N，N为母线数量。
CN202310530513.2A 2023-05-11 2023-05-11 紧急切负荷决策方法及其决策模型训练方法与训练设备 Pending CN116663401A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310530513.2A CN116663401A (zh) 2023-05-11 2023-05-11 紧急切负荷决策方法及其决策模型训练方法与训练设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310530513.2A CN116663401A (zh) 2023-05-11 2023-05-11 紧急切负荷决策方法及其决策模型训练方法与训练设备

Publications (1)

Publication Number Publication Date
CN116663401A true CN116663401A (zh) 2023-08-29

Family

ID=87716279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310530513.2A Pending CN116663401A (zh) 2023-05-11 2023-05-11 紧急切负荷决策方法及其决策模型训练方法与训练设备

Country Status (1)

Country Link
CN (1) CN116663401A (zh)

Similar Documents

Publication Publication Date Title
CN110175386B (zh) 变电站电气设备温度预测方法
CN115081316A (zh) 基于改进麻雀搜索算法的dc/dc变换器故障诊断方法及系统
CN110837915B (zh) 一种基于混合集成深度学习的电力系统低压负荷点预测及概率预测方法
CN111461463A (zh) 一种基于tcn-bp的短期负荷预测方法、系统及设备
CN108961460B (zh) 基于稀疏esgp与多目标优化的故障预测方法及装置
CN111130053B (zh) 一种基于深度强化学习的配电网过流保护方法
CN116933619A (zh) 基于强化学习的数字孪生配网故障场景生成方法及系统
CN110929835B (zh) 一种新型碳化硅基航空功率变换器故障诊断方法及系统
CN115902642A (zh) 电池荷电状态估算方法、装置、电子设备及存储介质
CN112819224B (zh) 基于深度学习融合模型的机组出力预测及置信评估方法
CN111400964B (zh) 一种故障发生时间预测方法及装置
CN112381664A (zh) 电网短期负荷预测方法、预测装置及存储介质
CN116663401A (zh) 紧急切负荷决策方法及其决策模型训练方法与训练设备
CN115795360A (zh) 基于人工神经网络的电缆故障检测方法
CN113673721A (zh) 一种基于深度强化学习的集群系统预防性维修方法
CN113627655A (zh) 一种配电网灾前故障场景模拟预测方法及装置
CN113343468A (zh) 一种sarima模型进行多步预测的方法、装置及设备
CN112667957A (zh) 一种基于深度神经网络的智能电能表失效率预测方法
CN116885694A (zh) 紧急切负荷决策方法及其决策模型构建方法与构建设备
CN115360772B (zh) 电力系统有功安全校正控制方法、系统、设备及存储介质
CN116306267A (zh) 紧急切负荷决策方法及其决策模型训练方法与训练设备
Lee et al. A Mission-based System Reliability Evaluation Method
CN118100134A (zh) 基于图卷积网络的强化学习的机组组合求解方法和装置
CN115101136A (zh) 一种大型铝电解槽全局阳极效应预测方法
CN115688574A (zh) 一种电力系统的暂态稳定在线评估方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination