CN114678860A - 基于深度强化学习的配电网保护控制方法及系统 - Google Patents

基于深度强化学习的配电网保护控制方法及系统 Download PDF

Info

Publication number
CN114678860A
CN114678860A CN202011550073.XA CN202011550073A CN114678860A CN 114678860 A CN114678860 A CN 114678860A CN 202011550073 A CN202011550073 A CN 202011550073A CN 114678860 A CN114678860 A CN 114678860A
Authority
CN
China
Prior art keywords
action
neural network
power distribution
module
distribution network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011550073.XA
Other languages
English (en)
Inventor
崔世界
曾鹏
王忠锋
宋纯贺
李力刚
邵帅
王楚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN202011550073.XA priority Critical patent/CN114678860A/zh
Publication of CN114678860A publication Critical patent/CN114678860A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02H—EMERGENCY PROTECTIVE CIRCUIT ARRANGEMENTS
    • H02H7/00—Emergency protective circuit arrangements specially adapted for specific types of electric machines or apparatus or for sectionalised protection of cable or line systems, and effecting automatic switching in the event of an undesired change from normal working conditions
    • H02H7/26—Sectionalised protection of cable or line systems, e.g. for disconnecting a section on which a short-circuit, earth fault, or arc discharge has occured
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/381—Dispersed generators
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开基于深度强化学习的配电网保护控制方法及系统，包括智能体获取本地量测数据，将获取到的感知信息作为深度强化学习的环境状态信息；智能体获取动作类型和参数作为深度强化学习的动作空间信息；设计智能体与环境交互过程中的奖励函数；构建深度强化学习神经网络模型；对所述深度学习神经网络进行训练；根据训练好的深度强化学习神经网络模型对获取到的感知信息进行自主决策，得到控制断路器动作的指令。本发明改变了传统电流保护以电流整定值为动作判定依据的思路，让保护装置自主感知配电网的运行状态，通过不断的试错学习，自适应调整保护动作策略，以满足高度不确定性配电网环境的保护动作的选择性和速动性。

Description

基于深度强化学习的配电网保护控制方法及系统
技术领域
本发明属于电源配电网继电保护领域，具体涉及基于深度强化学习的含分布式电源配电网保护控制方法及系统。
背景技术
传统配电网广泛应用三段式电流保护，随着国家推进能源革命，倡导持续高比例发展非化石能源，大量分布式电源接入配电网，使得配电网呈现不同的故障特征，传统电流保护的整定计算面临巨大挑战。主要包括：(1)配电网运行方式灵活复杂，导致故障电流水平变化剧烈，一方面使得整定计算中最大、最小运行方式难以确定，另一方面使得计算得到的定值在大部分运行方式下性能欠佳，存在保护范围小、故障切除延时长等问题；(2)配电网中大规模接入分布式电源，使得配电网从单端辐射型网络转变成了多源网络，故障电流方向不确定，使得保护之间的上下级关系动态变化，增大了整定配合的难度；(3)越来越多的可再生能源使用电力电子型逆变器并网，逆变型分布式电源在故障或者不正常运行状态下仍然具有灵活的控制能力，输出强非线性的故障特性，导致配电网的故障特征相比传统配电网有很大不同。
为了提高配电网继电保护的性能，国内外学者们从不同的角度进行了大量的研究。但是目前提出的大多数方法集中在传统电流保护整定参数的优化方面：借助通信系统，利用配电网保护主站获知电网拓扑结构、线路参数、负荷参数、分布式电源并网状态等，通过离线或者在线计算不同运行方式下的保护优化定值，再通过通信系统更新电流保护定值，使得保护定值能够随系统运行方式变化而适应性地调整、更新。这些研究存在的问题：(1)需要借助通信系统，通过主站获取区域信息，对主站的处理能力及通信带宽及实时性等方面有较高要求。控制响应速度慢，对通信系统和主站依赖性较高，当主站或通信发生故障时，整个保护方案都将无法工作；(2)仍局限于以电流阈值为判据，各种优化整定算法复杂，实现在线整定困难，且容易受电网运行参数误差的影响，导致判据不准，仅适用于配电网规模小、分布式电源渗透率不高的情况。
发明内容
本发明的目的在于解决现有技术中的上述不足，提供了一种基于深度强化学习的含分布式电源配电网保护控制方法及系统，将配电网保护控制问题描述为多智能体强化学习问题，改变传统电流保护以电流整定值为动作判定依据的思路，让保护装置自主感知配电网的运行状态，通过不断的试错学习，自适应调整保护动作策略，以满足高度不确定性配电网环境的保护动作的选择性和速动性。
本发明为实现上述目的所采用的技术方案是：
基于深度强化学习的配电网保护控制系统，包括：在含分布式电源的配电网网络中的每个断路器节点配置智能体单元，所述每个智能体通过本地量测数据感知配电网运行状态，输出指令控制断路器动作并从配电网运行的下一个状态获得奖励，不断的迭代收敛于最优动作策略；所述智能体单元搭载在继电保护装置上，包括建模优化模块、实时动作判定模块；
所述建模优化模块，用于以继电保护装置检测信号为输入、训练深度学习神经网络使其能根据检测信号输出相应的动作信号，并获取优化的深度学习神经网络模型；
所述实时动作判定模块，用于实时采集配电网网络现场的检测信号输入优化的深度学习神经网络模型，从而获取模型输出的动作信号并输出给断路器执行动作指令。
所述建模优化模块包括信号检测模块、动作空间模块、奖励函数模块、深度学习神经网络构建模块、算法训练模块；
所述信号检测模块，用于输入指令控制继电保护装置采集当前节点的环境状态信息；所述环境状态信息包括电流信号、电压信号、相角测量值、频率测量值和对应断路器的开关状态；
所述动作空间模块，用于根据ε贪婪规则输出与环境状态信息对应的动作类型和参数，动作类型为控制断路器的开、关动作和动作时延；
所述奖励函数模块，用于确定智能体与环境交互过程中的奖励规则；
所述深度学习神经网络构建模块，用于采用深度神经网络来逼近Q函数，构建深度学习神经网络模型DQN；
算法训练模块，用于将所述信号检测模块获取到的环境状态信息作为所述深度学习神经网络的输入，所述动作空间模块获取到的动作空间信息作为深度学习神经网络的输出，根据奖励函数模块设定的奖赏规则对所述深度学习神经网络进行训练，得到优化后的深度学习神经网络模型。
所述奖励规则包括：
Figure BDA0002857463910000031
其中，主保护区指当前断路器节点控制范围内，后备保护区指当前断路器的相邻节点的控制范围。
所述算法训练模块包括仿真系统训练和实际系统训练；
所述仿真系统训练，用于将智能体首先在仿真系统中基于实际工况进行预学习，积累相应的经验知识；
所述实际系统训练，用于在预学习的基础上，将智能体再投入到实际系统中进行训练学习，提高强化学习效率和性能。
所述实时动作判定模块包括最优动作确定模块和动作输出模块；
所述最优动作确定模块，用于根据所述优化的深度强化学习神经网络模型对所述信号检测模块获取的状态进行自主决策，得到控制断路器的动作；
所述动作输出模块，用于根据控制断路器的动作输出动作执行指令给断路器。
基于深度强化学习的配电网保护控制方法，在含分布式电源的配电网网络中的每个断路器节点配置智能体单元，通过本地量测数据感知配电网运行状态，输出指令控制断路器动作并从配电网运行的下一个状态获得奖励，不断的迭代收敛于最优动作策略；包括以下步骤：
步骤1、以继电保护装置检测信号为输入、训练深度学习神经网络使其能根据检测信号输出相应的动作信号，并获取优化的深度学习神经网络模型；
步骤2、实时采集配电网网络现场的检测信号输入优化的深度学习神经网络模型，从而获取模型输出的动作信号并输出给断路器执行动作指令。
所述步骤1将获取到的环境状态信息作为所述深度学习神经网络的输入，将获取到的动作空间信息作为深度学习神经网络的输出，根据奖赏规则对所述深度学习神经网络进行训练，得到优化后的深度学习神经网络模型；具体包括：
步骤1-1、初始化深度学习神经网络模型参数ω；
步骤1-2、观察环境得到状态S，根据ε贪婪规则选择动作A；所述环境状态信息包括电流信号、电压信号、相角测量值、频率测量值和对应断路器的开关状态；动作类型为控制断路器的开、关动作和动作时延；
步骤1-3、采取动作A，获取环境给予的奖励R，并观察新状态S’；
步骤1-4、将获取到的(S,A,R,S’)存入经验池D中；
步骤1-5、从D中随机抽取B个(S,A,R,S’)组成集合，使用梯度下降法更新网络模型的参数ω；
步骤1-6、通过不断的迭代更新，使参数ω最终趋于稳定，得到优化的深度学习神经网络模型DQN。
所述奖励规则包括：
Figure BDA0002857463910000041
其中，主保护区指当前断路器节点控制范围内，后备保护区指当前断路器的相邻节点的控制范围。
所述训练的步骤包括仿真系统训练和实际系统训练；
所述仿真系统训练，将智能体首先在仿真系统中基于实际工况进行预学习，积累相应的经验知识；
所述实际系统训练，在预学习的基础上，将智能体再投入到实际系统中进行训练学习，提高强化学习效率和性能。
所述步骤2包括：
根据所述优化的深度强化学习神经网络模型对获取的状态进行自主决策，得到控制断路器的动作；根据控制断路器的动作输出动作执行指令给断路器。
本发明与现有技术相比具有以下优点及有益效果：
本发明所提方法不需要计算整定电流和逐级配合时间，保护控制系统能够根据配电网当前运行状态自主判断动作与否；保护控制系统挂网运行后，不需要人工干预，能够自适应配电网运行状态的变化，包括分布式电源容量、位置的变化和不同故障类型、位置等；能够较好的适用于含分布式电源的配电网保护控制场景。
附图说明
图1为本发明具体实施方式中基于深度强化学习的含分布式电源配电网保护控制系统结构框图；
图2为本发明具体实施方式中基于仿真学习和实境学习的双重强化学习方法原理图；
图3为本发明具体实施方式中基于深度强化学习的含分布式电源配电网保护控制方法流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方法做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
配电网保护控制是一种典型的求解无模型动态系统最优化控制问题，将每个继电保护装置看作为一个智能体，通过本地量测数据(电流、电压、相角、频率、开关状态)感知配电网运行状态，在执行动作(开、关)后，从配电网运行的下一个状态获得奖励，在不断的迭代后，收敛于最优动作策略。
实际应用中，每个智能体只知道本地量测信息，且假设智能体之间没有信息交互，那么每个智能体i不知道下游相邻智能体的动作和故障的确切位置。因此，每个智能体需要一个本地控制策略πi，它将本地观测值si映射到控制动作ai，即ai＝πi(si)。将网络中的最优继电保护问题描述为强化学习问题。目标是最大化所有智能体获得的累积回报。设每个智能体的控制策略为πi，它将局部观测值si,t映射到局部控制动作ai,t，则
Figure BDA0002857463910000061
其中，γ是折扣因子，R是奖励值，t是系统当前时刻。
图1为本发明具体实施方式中基于深度强化学习的含分布式电源配电网保护控制系统结构框图，如图1所示，所述系统包括：
在含分布式电源的配电网网络中的每个断路器节点配置智能体单元，所述每个智能体通过本地量测数据感知配电网运行状态，输出指令控制断路器动作并从配电网运行的下一个状态获得奖励，不断的迭代收敛于最优动作策略；所述智能体单元搭载在继电保护装置上，包括建模优化模块、实时动作判定模块；
所述建模优化模块，用于以继电保护装置检测信号为输入、训练深度学习神经网络使其能根据检测信号输出相应的动作信号，并获取优化的深度学习神经网络模型；
所述实时动作判定模块，用于实时采集配电网网络现场的检测信号输入优化的深度学习神经网络模型，从而获取模型输出的动作信号并输出给断路器执行动作指令。
进一步地，所述建模优化模块包括信号检测模块、动作空间模块、奖励函数模块、深度学习神经网络构建模块、算法训练模块；
所述信号检测模块，用于输入指令控制继电保护装置采集当前节点的环境状态信息；所述环境状态信息包括电流信号、电压信号、相角测量值、频率测量值和对应断路器的开关状态；
所述动作空间模块，用于根据ε贪婪规则输出与环境状态信息对应的动作类型和参数，动作类型为控制断路器的开、关动作和动作时延；
更进一步地，所述动作时延上下限设定为[0.05s,1.1s]，离散化间隔0.002s；
所述奖励函数模块，用于确定智能体与环境交互过程中的奖励规则，具体为：
Figure BDA0002857463910000071
其中，主保护区指当前断路器节点控制范围内，后备保护区指当前断路器的相邻节点的控制范围。
所述深度学习神经网络构建模块，用于采用深度神经网络来逼近Q函数，构建深度学习神经网络模型DQN；
环境状态离散有限时，可以用训练Q值表的方法进行学习，当环境为连续状态，且状态空间很大时，如采用电流、电压等测量值来感知配电网运行状态，这是连续的模拟量，不可能通过表格来存储状态，必须对状态的维度进行压缩，解决办法是采用深度神经网络来逼近Q函数，这就是DQN(Deep Q-Network)算法。
Q(s,a)≈Qω(s,a)
其中ω是神经网络的参数。
DQN算法中，非终止状态下的目标Q值计算公式为：
Figure BDA0002857463910000081
其中，R为当时状态即时奖励，γ是折扣因子，
Figure BDA0002857463910000082
为下一状态的预测值。
算法训练模块，用于将所述信号检测模块获取到的环境状态信息作为所述深度学习神经网络的输入，所述动作空间模块获取到的动作空间信息作为深度学习神经网络的输出，根据奖励函数模块设定的奖赏规则对所述深度学习神经网络进行训练，得到优化后的深度学习神经网络模型。具体训练过程如下：
步骤1-1、初始化深度学习神经网络模型参数ω；
步骤1-2、观察环境得到状态S，根据ε贪婪规则选择动作A；所述环境状态信息包括电流信号、电压信号、相角测量值、频率测量值和对应断路器的开关状态；动作类型为控制断路器的开、关动作和动作时延；
步骤1-3、采取动作A，获取环境给予的奖励R，并观察新状态S’；
步骤1-4、将获取到的(S,A,R,S’)存入经验池D中；
步骤1-5、从D中随机抽取B个(S,A,R,S’)组成集合，使用梯度下降法更新网络模型的参数ω；
步骤1-6、通过不断的迭代更新，使参数ω最终趋于稳定，得到优化的深度学习神经网络模型DQN。
进一步地，所述算法训练模块包括仿真系统训练和实际系统训练；
强化学习是基于奖励的自发式学习，在强化学习的初期，由于缺乏相应的知识，随机动作容易导致系统不稳定，收敛速度慢，训练效率低。为了避免这样的情况发生，在传统强化学习的构架上，通过采用在仿真系统中预学习与实际系统中实时学习相结合的方法提高强化学习效率和性能。如图2所示，智能体首先在仿真系统中基于实际工况进行足够多迭代次数的预学习，通过不断与仿真系统的交互学习寻求最优策略，积累相应的经验知识，然后再投入实际系统进行训练学习。
所述实时动作判定模块包括最优动作确定模块和动作输出模块；
所述最优动作确定模块，用于根据所述优化的深度强化学习神经网络模型对所述信号检测模块获取的状态进行自主决策，得到控制断路器的动作；
所述动作输出模块，用于根据控制断路器的动作输出动作执行指令给断路器。
图3为本发明具体实施方式中基于深度强化学习的含分布式电源配电网保护控制方法流程图，如图3所示，在含分布式电源的配电网网络中的每个断路器节点配置智能体单元，通过本地量测数据感知配电网运行状态，输出指令控制断路器动作并从配电网运行的下一个状态获得奖励，不断的迭代收敛于最优动作策略；包括以下步骤：
步骤1、以继电保护装置检测信号为输入、训练深度学习神经网络使其能根据检测信号输出相应的动作信号，并获取优化的深度学习神经网络模型；
步骤2、实时采集配电网网络现场的检测信号输入优化的深度学习神经网络模型，从而获取模型输出的动作信号并输出给断路器执行动作指令。
进一步地，所述步骤1将获取到的环境状态信息作为所述深度学习神经网络的输入，将获取到的动作空间信息作为深度学习神经网络的输出，根据奖赏规则对所述深度学习神经网络进行训练，得到优化后的深度学习神经网络模型；具体包括：
步骤1-1、初始化深度学习神经网络模型参数ω；
步骤1-2、观察环境得到状态S，根据ε贪婪规则选择动作A；所述环境状态信息包括电流信号、电压信号、相角测量值、频率测量值和对应断路器的开关状态；动作类型为控制断路器的开、关动作和动作时延；
步骤1-3、采取动作A，获取环境给予的奖励R，并观察新状态S’；
步骤1-4、将获取到的(S,A,R,S’)存入经验池D中；
步骤1-5、从D中随机抽取B个(S,A,R,S’)组成集合，使用梯度下降法更新网络模型的参数ω；
步骤1-6、通过不断的迭代更新，使参数ω最终趋于稳定，得到优化的深度学习神经网络模型DQN。
所述奖励规则包括：
Figure BDA0002857463910000101
其中，主保护区指当前断路器节点控制范围内，后备保护区指当前断路器的相邻节点的控制范围。
所述训练的步骤包括仿真系统训练和实际系统训练；
所述仿真系统训练，将智能体首先在仿真系统中基于实际工况进行预学习，积累相应的经验知识；
所述实际系统训练，在预学习的基础上，将智能体再投入到实际系统中进行训练学习，提高强化学习效率和性能。
进一步地，步骤2包括：
根据所述优化的深度强化学习神经网络模型对获取的状态进行自主决策，得到控制断路器的动作；根据控制断路器的动作输出动作执行指令给断路器。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (10)

1.基于深度强化学习的配电网保护控制系统，其特征在于，包括：在含分布式电源的配电网网络中的每个断路器节点配置智能体单元，所述每个智能体通过本地量测数据感知配电网运行状态，输出指令控制断路器动作并从配电网运行的下一个状态获得奖励，不断的迭代收敛于最优动作策略；所述智能体单元搭载在继电保护装置上，包括建模优化模块、实时动作判定模块；
所述建模优化模块，用于以继电保护装置检测信号为输入、训练深度学习神经网络使其能根据检测信号输出相应的动作信号，并获取优化的深度学习神经网络模型；
所述实时动作判定模块，用于实时采集配电网网络现场的检测信号输入优化的深度学习神经网络模型，从而获取模型输出的动作信号并输出给断路器执行动作指令。
2.根据权利要求1所述的基于深度强化学习的配电网保护控制系统，其特征在于，所述建模优化模块包括信号检测模块、动作空间模块、奖励函数模块、深度学习神经网络构建模块、算法训练模块；
所述信号检测模块，用于输入指令控制继电保护装置采集当前节点的环境状态信息；所述环境状态信息包括电流信号、电压信号、相角测量值、频率测量值和对应断路器的开关状态；
所述动作空间模块，用于根据ε贪婪规则输出与环境状态信息对应的动作类型和参数，动作类型为控制断路器的开、关动作和动作时延；
所述奖励函数模块，用于确定智能体与环境交互过程中的奖励规则；
所述深度学习神经网络构建模块，用于采用深度神经网络来逼近Q函数，构建深度学习神经网络模型DQN；
算法训练模块，用于将所述信号检测模块获取到的环境状态信息作为所述深度学习神经网络的输入，所述动作空间模块获取到的动作空间信息作为深度学习神经网络的输出，根据奖励函数模块设定的奖赏规则对所述深度学习神经网络进行训练，得到优化后的深度学习神经网络模型。
3.根据权利要求1所述的基于深度强化学习的配电网保护控制系统，其特征在于，所述奖励规则包括：
Figure FDA0002857463900000021
其中，主保护区指当前断路器节点控制范围内，后备保护区指当前断路器的相邻节点的控制范围。
4.根据权利要求1所述的基于深度强化学习的配电网保护控制系统，其特征在于，所述算法训练模块包括仿真系统训练和实际系统训练；
所述仿真系统训练，用于将智能体首先在仿真系统中基于实际工况进行预学习，积累相应的经验知识；
所述实际系统训练，用于在预学习的基础上，将智能体再投入到实际系统中进行训练学习，提高强化学习效率和性能。
5.根据权利要求1所述的基于深度强化学习的配电网保护控制系统，其特征在于，所述实时动作判定模块包括最优动作确定模块和动作输出模块；
所述最优动作确定模块，用于根据所述优化的深度强化学习神经网络模型对所述信号检测模块获取的状态进行自主决策，得到控制断路器的动作；
所述动作输出模块，用于根据控制断路器的动作输出动作执行指令给断路器。
6.基于深度强化学习的配电网保护控制方法，其特征在于，在含分布式电源的配电网网络中的每个断路器节点配置智能体单元，通过本地量测数据感知配电网运行状态，输出指令控制断路器动作并从配电网运行的下一个状态获得奖励，不断的迭代收敛于最优动作策略；包括以下步骤：
步骤1、以继电保护装置检测信号为输入、训练深度学习神经网络使其能根据检测信号输出相应的动作信号，并获取优化的深度学习神经网络模型；
步骤2、实时采集配电网网络现场的检测信号输入优化的深度学习神经网络模型，从而获取模型输出的动作信号并输出给断路器执行动作指令。
7.根据权利要求6所述的基于深度强化学习的配电网保护控制方法，其特征在于，所述步骤1将获取到的环境状态信息作为所述深度学习神经网络的输入，将获取到的动作空间信息作为深度学习神经网络的输出，根据奖赏规则对所述深度学习神经网络进行训练，得到优化后的深度学习神经网络模型；具体包括：
步骤1-1、初始化深度学习神经网络模型参数ω；
步骤1-2、观察环境得到状态S，根据ε贪婪规则选择动作A；所述环境状态信息包括电流信号、电压信号、相角测量值、频率测量值和对应断路器的开关状态；动作类型为控制断路器的开、关动作和动作时延；
步骤1-3、采取动作A，获取环境给予的奖励R，并观察新状态S’；
步骤1-4、将获取到的(S,A,R,S’)存入经验池D中；
步骤1-5、从D中随机抽取B个(S,A,R,S’)组成集合，使用梯度下降法更新网络模型的参数ω；
步骤1-6、通过不断的迭代更新，使参数ω最终趋于稳定，得到优化的深度学习神经网络模型DQN。
8.根据权利要求7所述的基于深度强化学习的配电网保护控制方法，其特征在于，所述奖励规则包括：
Figure FDA0002857463900000031
其中，主保护区指当前断路器节点控制范围内，后备保护区指当前断路器的相邻节点的控制范围。
9.根据权利要求6所述的基于深度强化学习的配电网保护控制方法，其特征在于，所述训练的步骤包括仿真系统训练和实际系统训练；
所述仿真系统训练，将智能体首先在仿真系统中基于实际工况进行预学习，积累相应的经验知识；
所述实际系统训练，在预学习的基础上，将智能体再投入到实际系统中进行训练学习，提高强化学习效率和性能。
10.根据权利要求6所述的基于深度强化学习的配电网保护控制方法，其特征在于，所述步骤2包括：
根据所述优化的深度强化学习神经网络模型对获取的状态进行自主决策，得到控制断路器的动作；根据控制断路器的动作输出动作执行指令给断路器。
CN202011550073.XA 2020-12-24 2020-12-24 基于深度强化学习的配电网保护控制方法及系统 Pending CN114678860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011550073.XA CN114678860A (zh) 2020-12-24 2020-12-24 基于深度强化学习的配电网保护控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011550073.XA CN114678860A (zh) 2020-12-24 2020-12-24 基于深度强化学习的配电网保护控制方法及系统

Publications (1)

Publication Number Publication Date
CN114678860A true CN114678860A (zh) 2022-06-28

Family

ID=82071022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011550073.XA Pending CN114678860A (zh) 2020-12-24 2020-12-24 基于深度强化学习的配电网保护控制方法及系统

Country Status (1)

Country Link
CN (1) CN114678860A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115081625A (zh) * 2022-07-21 2022-09-20 常安集团有限公司 小型断路器智能控制方法及系统
CN115563543A (zh) * 2022-10-28 2023-01-03 国网江苏省电力有限公司无锡供电分公司 基于通道质量多端电气量保护原理选取方法、装置及系统
CN116566200A (zh) * 2023-07-10 2023-08-08 南京信息工程大学 一种直流降压变换器控制方法、装置、系统及存储介质
CN117709806A (zh) * 2024-02-05 2024-03-15 慧新全智工业互联科技(青岛)有限公司 协同工作的多设备异常自动化检测方法及检测系统
CN117709806B (zh) * 2024-02-05 2024-05-28 慧新全智工业互联科技(青岛)有限公司 协同工作的多设备异常自动化检测方法及检测系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115081625A (zh) * 2022-07-21 2022-09-20 常安集团有限公司 小型断路器智能控制方法及系统
CN115081625B (zh) * 2022-07-21 2022-11-11 常安集团有限公司 小型断路器智能控制方法及系统
CN115563543A (zh) * 2022-10-28 2023-01-03 国网江苏省电力有限公司无锡供电分公司 基于通道质量多端电气量保护原理选取方法、装置及系统
CN115563543B (zh) * 2022-10-28 2024-03-29 国网江苏省电力有限公司无锡供电分公司 基于通道质量多端电气量保护原理选取方法、装置及系统
CN116566200A (zh) * 2023-07-10 2023-08-08 南京信息工程大学 一种直流降压变换器控制方法、装置、系统及存储介质
CN116566200B (zh) * 2023-07-10 2023-09-22 南京信息工程大学 一种直流降压变换器控制方法、装置、系统及存储介质
CN117709806A (zh) * 2024-02-05 2024-03-15 慧新全智工业互联科技(青岛)有限公司 协同工作的多设备异常自动化检测方法及检测系统
CN117709806B (zh) * 2024-02-05 2024-05-28 慧新全智工业互联科技(青岛)有限公司 协同工作的多设备异常自动化检测方法及检测系统

Similar Documents

Publication Publication Date Title
CN114678860A (zh) 基于深度强化学习的配电网保护控制方法及系统
Xi et al. A novel multi-agent DDQN-AD method-based distributed strategy for automatic generation control of integrated energy systems
US10826292B2 (en) Multi-time-scale digital/analog hybrid simulation system and method for power distribution network and storage medium
CN110326182B (zh) 具有自主der电压控制的协调和优化的分层鲁棒模型预测电压和var控制
Wang et al. Emergency load shedding strategy for microgrids based on dueling deep Q-learning
Tiwari et al. Comparative study of backpropagation algorithms in neural network based identification of power system
Yang et al. PMU-based model-free method for transient instability prediction and emergency generator-shedding control
Zhang et al. Deep reinforcement leaming for short-term voltage control by dynamic load shedding in china southem power grid
CN116316637A (zh) 一种配电网动态拓扑辨识方法、系统、设备及存储介质
CN114094592A (zh) 电网紧急切负荷控制方法、系统、设备及存储介质
CN112330488A (zh) 基于迁移学习的电网频率态势预测方法
CN113872213B (zh) 一种配电网电压自主优化控制方法及装置
CN111478344A (zh) 一种能源微网负荷频率控制方法、系统及相关产品
Wang et al. Trajectory-based supplementary damping control for power system electromechanical oscillations
CN111651878A (zh) 计及态势评估的大电网静态电压稳定优化决策方法及系统
CN115133540B (zh) 一种配电网无模型的实时电压控制方法
CN116544995A (zh) 基于云边协同的储能电池一致性充放电控制方法及系统
CN114638074A (zh) 一种基于量子衍生算法的惯量评估方法
CN114298429A (zh) 一种配电网动案辅助决策方法、系统、装置和存储介质
Xie et al. Research on Autonomous Operation Control of Microgrid Based on Deep Reinforcement Learning
CN104701851A (zh) 维持电力系统电压稳定的分区倒负荷配合方法
Zhu et al. Research of control strategy of power system stabilizer based on reinforcement learning
Zhang et al. A Multi-Agent Deep Reinforcement Learning based Voltage Control on Power Distribution Networks
CN108390374B (zh) 基于大数据分析的转供路径选择方法及系统
Tang et al. Voltage Control Strategy of Distribution Networks with Distributed Photovoltaic Based on Multi-agent Deep Reinforcement Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination