CN111564849A - 基于两阶段深度强化学习的电网无功电压控制方法 - Google Patents

基于两阶段深度强化学习的电网无功电压控制方法 Download PDF

Info

Publication number
CN111564849A
CN111564849A CN202010412805.2A CN202010412805A CN111564849A CN 111564849 A CN111564849 A CN 111564849A CN 202010412805 A CN202010412805 A CN 202010412805A CN 111564849 A CN111564849 A CN 111564849A
Authority
CN
China
Prior art keywords
power grid
reactive voltage
voltage control
model
reactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010412805.2A
Other languages
English (en)
Other versions
CN111564849B (zh
Inventor
吴文传
刘昊天
孙宏斌
王彬
郭庆来
夏天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010412805.2A priority Critical patent/CN111564849B/zh
Publication of CN111564849A publication Critical patent/CN111564849A/zh
Priority to US17/026,364 priority patent/US11442420B2/en
Application granted granted Critical
Publication of CN111564849B publication Critical patent/CN111564849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/12—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
    • H02J3/16—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load by adjustment of reactive power
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2639—Energy management, use maximum of cheap power, keep peak load low
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/22—The renewable source being solar energy
    • H02J2300/24—The renewable source being solar energy of photovoltaic origin
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/28—The renewable source being wind energy
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/18—Arrangements for adjusting, eliminating or compensating reactive power in networks
    • H02J3/1821—Arrangements for adjusting, eliminating or compensating reactive power in networks using shunt compensators
    • H02J3/1835—Arrangements for adjusting, eliminating or compensating reactive power in networks using shunt compensators with stepless control
    • H02J3/1864—Arrangements for adjusting, eliminating or compensating reactive power in networks using shunt compensators with stepless control wherein the stepless control of reactive power is obtained by at least one reactive element connected in series with a semiconductor switch
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/381—Dispersed generators
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B10/00—Integration of renewable energy sources in buildings
    • Y02B10/10—Photovoltaic [PV]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
    • Y02E40/70—Smart grids as climate change mitigation technology in the energy generation sector
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
    • Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Power Engineering (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Molecular Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本公开提供了一种基于两阶段深度强化学习的电网无功电压控制方法及控制系统，包括以下步骤：根据区域电网的仿真模型与无功电压优化模型，搭建基于马尔科夫过程的交互训练环境；在所述基于马尔科夫过程的交互训练环境中，采用SAC算法离线训练无功电压控制模型；将所述无功电压控制模型部署至区域电网在线系统；获取区域电网的运行状态信息，更新所述无功电压控制模型，生成最优无功电压控制策略。相较于现有的基于强化学习的电网优化方法，本公开的在线控制训练成本与安全隐患大幅降低，更适合部署在实际电力系统中。

Description

基于两阶段深度强化学习的电网无功电压控制方法
技术领域
本公开涉及电力系统运行和控制技术领域，特别涉及一种基于两阶段深度强化学习的电网无功电压控制方法。
背景技术
随着风电、光伏等分布式可再生能源发电(Distributed Generation，简称DG)装机容量和并网发电量持续增加，电网的运行模式发生了根本性的变化。随着DG渗透率的不断提高，配电网、新能源电站及其汇集区引发了功率倒送、电压越限、设备脱网、网损严重等一系列问题。同时，分布式可再生能源发电一般通过逆变器接入电网，作为灵活性资源，具备大量可调能力。接入电网的DG，有必要也有义务参与到系统的调控过程中。目前，包括群控群调系统在内的各类智能电网调控系统已成为提高电网安全运行水平、降低运行成本、促进DG消纳的关键措施。其中，无功电压控制利用灵活性资源的无功能力，优化电网无功分布，进而抑制电压越限、降低网络损耗，是各类智能电网调控系统的关键模块。
然而，目前包括无功电压控制在内的电网调控系统现场应用，往往面临严重的模型不完备问题，即电网模型参数可信度低，庞大的规模和频繁的变动导致模型难以被准备维护，接入设备的特性负载难以被精确建模。在这种电网模型不完备场景的情况下，如果使用传统基于模型的无功电压控制方法，只能采用与实际系统存在偏差的近似模型进行控制，无法保证控制指令的最优性，容易出现无法抑制电压越限、网损较高的情况，甚至会恶化电网无功分布，产生安全和经济问题。因此，必须采用数据驱动类方法，如深度强化学习方法，在线学习电网特性，从而在模型不完备场景下依然能进行最优无功电压控制。但是，深度强化学习往往体现出较低的在线训练效率和安全性。因此，如何提高无功电压控制网络模型的学习效率与安全性是本领域亟需解决的问题。
发明内容
针对上述问题，本公开提供一种基于两阶段深度强化学习的电网无功电压控制方法及装置。
一种基于两阶段深度强化学习的电网无功电压控制方法，包括以下步骤：
根据区域电网的仿真模型与无功电压优化模型，搭建基于马尔科夫过程的交互训练环境；
在所述基于马尔科夫过程的交互训练环境中，采用SAC算法离线训练无功电压控制模型；
将所述无功电压控制模型部署至区域电网在线系统；
获取区域电网的运行状态信息，更新所述无功电压控制模型，生成最优无功电压控制策略。
优选的，所述的基于两阶段深度强化学习的电网无功电压控制方法，还包括以下步骤：
将所述最优无功电压控制策略发送至各可控设备，重新获取区域电网运行状态信息。
优选的，所述将所述最优无功电压控制策略发送至各可控设备，重新获取区域电网运行状态信息包括：
将所述最优无功电压控制策略通过电网遥控系统下发至各对应设备；
重新获取电网运行状态信息s′t，计算回馈变量值rt，更新经验库为
D←D∪{(st，at，rt，s′t)}；
重复所述获取区域电网的运行状态信息，更新所述无功电压控制模型，生成最优无功电压控制策略。
优选的，所述基于两阶段深度强化学习的电网无功电压控制方法，还包括构建区域电网的仿真模型，
所述构建区域电网的仿真模型包括：
根据区域电网中n+1个节点之间的相对位置，确定区域电网的无向图模型Π(N，E)，其中，N＝0，...，n为节点集合，E＝(i，j)∈N×N为支路集合；
构建区域电网的潮流计算模型：
Figure BDA0002493851450000031
Figure BDA0002493851450000032
Figure BDA0002493851450000033
其中，所述Vi，θi为节点i的电压幅值、相角；Gij，Bij为支路ij的电导与电纳；Pij，Qij为支路ij的有功功率、无功功率，θij为支路ij的相角差；
构建区域电网的节点功率模型：
Figure BDA0002493851450000034
Figure BDA0002493851450000035
其中，Pj，Qj为节点j的有功、无功功率注入，Gsh，i，Bsh，i分别为节点i的接地电导、电纳，PDj，QDj为节点j的有功、无功功率负荷，QGj为节点j的DG无功出力，QCj为节点j的静止无功补偿器无功出力，NIB为接入DG的节点集合，NCD为接入静止无功补偿器的节点集合。
优选的，所述基于两阶段深度强化学习的电网无功电压控制方法，还包括构建所述无功电压优化模型，
所述无功电压优化模型包括：
Figure BDA0002493851450000036
Figure BDA0002493851450000037
Figure BDA0002493851450000041
Figure BDA0002493851450000042
其中，Vi ，
Figure BDA0002493851450000043
为节点i的电压下限与上限；QCi ，
Figure BDA0002493851450000044
为节点i的SVC无功出力下限与上限；SGi，
Figure BDA0002493851450000045
为节点i的DG装机容量与有功功率出力上限。
优选的，所述根据区域电网的仿真模型与无功电压优化模型，搭建基于马尔科夫过程的交互训练环境，包括：
根据区域电网的量测信号，获取区域电网的运行状态信息，构建马尔科夫过程状态变量
s＝(P，Q，V，t)，
其中，P，Q为节点有功、无功功率注入向量，V为节点电压向量，t为训练中的时间变量；
根据无功电压优化模型，构建回馈变量
Figure BDA0002493851450000046
其中，CV为电压抑制系数，ReLU为非线性函数，ReLU(x)＝max(0，x)；
根据可控灵活性资源无功功率，确定动作变量
a＝(QG，QC)，
其中，QG，QC分别为各分布式可再生能源发电设备的无功功率和静止无功补偿器的无功功率出力向量。
优选的，所述采用SAC算法离线训练无功电压控制模型包括：
构建强化学习目标函数
Figure BDA0002493851450000047
其中，γ为折合系数，α为最大熵乘子，H为熵函数，π(·|st)为策略函数：
通过再参数化方法，转换策略函数形式
Figure BDA0002493851450000048
其中，θ为策略网络参数，μθ和σθ为对应的均值和方差函数，N(0，I)为标准高斯分布函数；
定义并训练值函数网络模型Qπ(s，a)；
训练策略网络模型
Figure BDA0002493851450000051
优选的，所述定义并训练值函数网络Qπ(s，a)包括以下步骤：
通过贝尔曼方程可获得Qπ(s，a)的递推形式
Figure BDA0002493851450000052
计算值函数网络Qπ(s，a)的估计值
Figure BDA0002493851450000053
根据值函数网络Qπ(s，a)的估计值y，训练值函数网络
Figure BDA0002493851450000054
优选的，将所述无功电压控制模型部署至区域电网在线系统，初始化时间变变量t，初始化经验库D。
优选的，所述获取区域电网的运行状态信息，更新所述无功电压控制模型，生成最优无功电压控制策略，包括以下步骤：
获取t时刻区域电网的量测信号，形成对应的状态变量st＝(P，Q，V，t)；
从经验库D中抽取一组经验DB∈D，数量为B；
利用训练值函数网络与策略网络，在DB上更新所述无功电压控制模型；
利用更新后的所述无功电压控制模型，生成t时刻最优策略
at＝tanh(μθ(st)+σθ(st)⊙ξ)＝(QG，QC)。
本公开还提供一种基于两阶段深度强化学习的电网无功电压控制系统，包括：
训练环境搭建模块，用于根据区域电网的仿真模型与无功电压优化模型，搭建基于马尔科夫过程的交互训练环境；
训练模块，用于采用SAC算法离线训练无功电压控制模型；
迁移模块，用于将所述无功电压控制模型部署至区域电网在线系统；
策略生成模块，用于获取区域电网的运行状态信息，更新所述无功电压控制模型，生成最优无功电压控制策略。
优选的，所述基于两阶段深度强化学习的电网无功电压控制系统，还包括：
持续在线学习模块，用于将所述最优无功电压控制策略发送至各可控设备，重新获取区域电网运行状态信息。
优选的，所述基于两阶段深度强化学习的电网无功电压控制系统，还包括：
仿真模型构建模块，用于构建区域电网的仿真模型；
无功电压优化模型构建模块，用于根据区域电网的无功电压控制目标，构建区域电网的无功电压优化模型。
本公开的控制方法采用两阶段方法，充分利用近似模型的知识信息，在离线阶段训练无功电压控制模型，使无功电压控制模型提前掌握系统的基本运行规律，无需在实际物理系统上做出大范围的试探动作，提高了模型训练效率，并在部署到在线系统后持续更新模型，相较于现有的基于强化学习的电网优化方法，本公开的在线控制训练成本与安全隐患大幅降低，更适合部署在实际电力系统中。
本公开基于数据驱动方法，采用了高效的SAC算法对无功电压控制模型进行训练，不仅可快速对电网无功分布进行实时优化，且能够在线持续挖掘控制过程数据，适应电网的模型变化，避免了模型不完备场景下传统优化算法产生的次优指令带来的电压不合格、网络损耗大等问题，从而保证了无功电压控制的有效性，提升电网运行的高效性与安全性。
本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开所述的基于两阶段深度强化学习的电网无功电压控制方法的流程图；
图2示出了本公开所述的基于两阶段深度强化学习的电网无功电压控制系统的一种结构示意图；
图3示出了本公开所述的基于两阶段深度强化学习的电网无功电压控制系统的另一种结构示意图；
图4示出了本公开所述的计算机可读存储介质。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
实施例
下面以一个n+1节点的区域电网为例，示例性的说明本实施例所述的基于两阶段深度强化学习的电网无功电压控制方法。每个所述节点上均设有量测装置，其中，至少一个所述节点上还设有分布式可再生能源发电设备(DG)，至少一个所述节点上设有静止无功补偿器(SVC)，请参照图1，所述基于两阶段深度强化学习的电网无功电压控制方法包括区域电网调控中心服务器执行以下步骤：
S1：构建区域电网的仿真模型。
其中，所述区域电网的仿真模型包括区域电网无向图模型、区域电网潮流计算模型及各节点功率模型。
具体的，所述步骤S1包括：
S11：根据区域电网中n+1个节点之间的相对位置，确定区域电网的无向图模型Π(N，E)，其中，N＝0，...，n为节点集合，E＝(i，j)∈N×N为支路集合。
S12：确定区域电网的电网潮流计算模型，包括确定支路的有功功率、无功功率和相角差，
Figure BDA0002493851450000081
Figure BDA0002493851450000082
Figure BDA0002493851450000085
其中，所述Vi，θi分别为节点i的电压幅值、相角，所述Vj，θj为分别为节点j的电压幅值、相角；Gij，Bij分别为支路ij的电导与电纳；Pij，Qij分别为支路ij的有功功率、无功功率，θij为支路ij的相角差。
S13：确定节点的有功功率与无功功率，建立节点功率模型，所述节点功率模型包括：
Figure BDA0002493851450000083
Figure BDA0002493851450000084
其中，Pj，Qj分别为节点j的有功功率注入、无功功率注入，Gsh，i，Bsh，i分别为节点i的接地电导、接地电纳，PDj，QDj分别为节点j的有功功率负荷、无功功率负荷，PGj、QGj为分别为节点j的DG的有功出力和无功出力，QCj为节点j的静止无功补偿器(SVC)无功出力，NIB为接入DG的节点集合，NCD为接入静止无功补偿器的节点集合，K(i)为节点i所连接的所有支路的对端节点集合。需要说明的是，
Figure BDA0002493851450000091
S2：根据区域电网无功电压控制目标，构建区域电网的无功电压优化模型，包括：
确定控制目标函数为节点有功功率总和最小，且：
节点电压满足电压下限和电压上限；
节点的SVC出力满足节点的SVC出力下限和出力上限；
节点的SVC出力绝对值不大于根据DG装机容量和DG有功功率出力上限确定的方差值。
具体的，所述无功电压优化模型包括：
Figure BDA0002493851450000092
Figure BDA0002493851450000093
Figure BDA0002493851450000094
Figure BDA0002493851450000095
其中，Vi ，
Figure BDA0002493851450000096
分别为节点i电压Vi的电压下限与电压上限，QCi ，
Figure BDA0002493851450000097
为节点i的SVC无功出力QCi的出力下限与无功出力上限，SGi，
Figure BDA0002493851450000098
为节点i的DG装机容量与有功功率出力上限。
S3：根据无功电压优化模型与区域电网仿真模型，搭建基于MDP(MarkovDecisionProcess)的交互训练环境。
具体的，所述步骤S3包括以下步骤：
S31：根据区域电网的量测信号，获取区域电网的运行状态信息，所述运行状态信息包括各个节点的有功功率注入向量、无功功率注入向量及节点电压向量，构建马尔科夫过程(MDP)状态变量模型
s＝(P，Q，V，t)，
其中，P，Q为节点有功功率注入向量、无功功率注入向量；V为节点电压向量；t为训练中的时间变量。
S32：根据无功电压优化模型，构建回馈变量模型
Figure BDA0002493851450000101
其中CV为电压抑制系数，ReLU为非线性函数，具体为ReLU(x)＝max(0，x)。需要说明的是，所述电压抑制系数的典型值取1000，但是不局限于此。
S33：根据灵活性资源无功功率，即根据各分布式可再生能源发电设备(DG)的无功功率和静止无功补偿器(SVC)的无功功率，构建动作向量
a＝(QG，QC)，
其中，QG，QC为分别为分布式可再生能源发电设备的无功功率出力向量和静止无功补偿器的无功功率出力向量。
S4：采用SAC(soft actor-critic)算法离线训练无功电压控制模型，需要说明的是，所述无功电压控制模型包括值函数网络模型与策略网络模型。
S41：定义强化学习目标函数
Figure BDA0002493851450000102
其中，γ为折合系数，示例性地，取为0.95；α为最大熵乘子，H为熵函数，π(·|st)为策略函数，定义为t时刻的状态变量st下的动作概率分布，通过深度神经网络进行拟合。
具体的，所述熵函数
Figure BDA0002493851450000103
S42：通过再参数化方法，转换策略函数形式
Figure BDA0002493851450000104
Figure BDA0002493851450000105
其中θ为策略网络参数，μθ和σθ为对应的均值和方差函数，N(0，I)为标准高斯分布函数，ξ为服从N(0，I)的随机变量。
S43：利用转换后的策略函数的形式
Figure BDA0002493851450000106
训练策略网络，获得策略网络模型
Figure BDA0002493851450000111
S44：定义并训练值函数网络模型Qπ(s，a)。
需要说明的是，值函数网络代表对应状态与动作下的期望回馈，本实施例示例性的给出了定义并训练值函数网络Qπ(s，a)模型的方法，具体如下：
S441：通过贝尔曼方程可写出Qπ(s，a)的递推形式
Figure BDA0002493851450000112
其中，s为t时刻的状态变量，s′为t+1时刻的状态变量，a为t时刻的动作变量，a′为t+1时刻的动作变量。
S442：根据值函数网络Qπ(s，a)的递推形式，计算值函数网络Qπ(s，a)的估计值，值函数网络Qπ(s，a)的估计值y为
Figure BDA0002493851450000113
其中，
Figure BDA0002493851450000114
为t时刻的预估动作变量，
Figure BDA0002493851450000115
为t+1时刻的预估动作变量；
S443：根据值函数网络Qπ(s，a)的估计值y训练值函数网络，获得值函数网络模型
Figure BDA0002493851450000116
S5：将所述无功电压控制模型部署至区域电网在线系统，具体的，将所述无功电压控制模型部署至区域电网在线系统的区域电网控制器中。
示例性的，所述步骤S5包括：
S51：将值函数网络模型与策略网络模型形成的无功电压控制模型部署到在线系统；
S52：初始化时间变量t＝0，初始化经验库
Figure BDA0002493851450000117
其中，所述基于两阶段深度强化学习的电网无功电压控制方法还包括区域电网控制器执行以下步骤：
S6：获取区域电网的运行状态信息，更新所述无功电压控制模型，生成最优无功电压控制策略。
所述步骤S6具体包括
S61：t时刻从区域电网的量测装置获得区域电网的量测信号，进而获取t时刻区域电网的运行状态信息，形成对应的状态变量st＝(P，Q，V，t)。
需要说明的是，量测装置包括设在所述区域电网各个节点的电压传感器与电流传感器，获取各个节点的电流信号和电压信号，进而获取各个节点的有功功率注入向量、无功无功率注入向量及节点电压向量。
S62：从经验库D中抽取一组经验DB∈D，数量为B，其中，所述经验库D中包含区域电网t时刻的状态变量st，最优控制策略at，回馈变量rt及t+1时刻区域电网的状态变量s′t。
S63：利用值函数网络模型与策略网络模型，结合抽取的一组经验DB，更新所述无功电压控制模型；
S64：利用更新后所述无功电压控制模型，生成t时刻最优控制策略
Figure BDA0002493851450000121
S7：将所述最优无功电压控制策略发送至各可控设备，各可控设备根据接收的无供电控制策略控制其自身的无供电，重新获取区域电网运行状态信息，重复步骤S6。
需要说明的是，所述各可控设备包括设置在区域电网上各节点上的分布式可再生能源发电设备和静止无功补偿器。
具体的，所述步骤S7包括：
S71：将所述最优无功电压控制策略通过电网遥控系统下发至各对应设备，其中，所述电网遥控系统为电网中专门用于远程控制设备的软件系统；
S72：t+1时刻，重新获取电网运行状态信息s′t，计算回馈变量值rt，更新经验库为D←D∪{(st，at，rt，s′t)}，
其中，该步骤中利用
Figure BDA0002493851450000122
Figure BDA0002493851450000123
计算回馈变量值rt；
S73：返回S6，持续运行。
本实施例还公开了一种实现上述基于两阶段深度强化学习的电网无功电压控制方法的系统。具体为所述基于两阶段深度强化学习的电网无功电压控制系统，请参照图2，图2为所述基于两阶段深度强化学习的电网无功电压控制系统的一种表现形式。所述电网无功电压控制系统包括训练环境搭建模块、训练模块、迁移模块。
其中，所述训练环境搭建模块，用于根据区域电网的仿真模型与无功电压优化模型，搭建基于马尔科夫过程的交互训练环境。
需要说明的是，所述区域电网的仿真模型由仿真模型构建模块构建。所述无功电压优化模型由无功电压优化模型构建模块根据区域电网的无功电压控制目标构建。
具体的，所述仿真模型构建模块构建区域电网的仿真模型，并将所述仿真模型传送给所述训练环境搭建模块；无功电压优化模型构建模块，根据区域电网的无功电压控制目标，构建区域电网的无功电压优化模型，并将无功电压优化模型传送给所述训练环境搭建模块。所述训练环境搭建模块根据区域电网的仿真模型与无功电压优化模型，搭建基于马尔科夫过程的交互训练环境。
需要说明的是，所述仿真模型构建模块构建区域电网的仿真模型的过程同本实施例中基于两阶段深度强化学习的电网无功电压控制方法的步骤S1；所述无功电压优化模型构建模块，根据区域电网的无功电压控制目标，构建区域电网的无功电压优化模型的过程，同本实施例中基于两阶段深度强化学习的电网无功电压控制方法的步骤S2；所述训练环境搭建模块根据区域电网的仿真模型与无功电压优化模型，搭建基于马尔科夫过程的交互训练环境的过程，同本实施例中基于两阶段深度强化学习的电网无功电压控制方法的步骤S3。在本实施例基于两阶段深度强化学习的电网无功电压控制方法中已经对步骤S1、步骤S2及步骤S3作了详细描述，在此不再赘述。
其中，所述训练模块，用于采用SAC算法离线训练无功电压控制模型，即训练模块基于训练环境搭建模块搭建的交互训练环境采用SAC算法离线训练无功电压控制模型。所述训练模块基于训练环境搭建模块搭建的交互训练环境采用SAC算法离线训练无功电压控制模型的过程同本实施例基于两阶段深度强化学习的电网无功电压控制方法的步骤S4，在此不再赘述。
其中，所述迁移模块，用于将所述无功电压控制模型部署至区域电网在线系统，即迁移模块将训练模块训练得到的无功电压控制模型，部署至区域电网在线系统。该过程同本实施例基于两阶段深度强化学习的电网无功电压控制方法的步骤S5，在此不再赘述。
具体的，所述基于两阶段深度强化学习的电网无功电压控制系统还包括所述策略生成模块和持续在线学习模块。
其中，所述策略生成模块，用于获取区域电网的运行状态信息，更新所述无功电压控制模型，生成最优无功电压控制策略，即所述策略生成模块获取区域电网的运行状态信息，更新所述无功电压控制模型，生成最优无功电压控制策略。该过程同本实施例基于两阶段深度强化学习的电网无功电压控制方法的步骤S6，在此不再赘述
其中，所述持续在线学习模块，用于将所述最优无功电压控制策略发送至各可控设备，重新获取区域电网运行状态信息，即所述持续在线学习模块将所述最优无功电压控制策略发送至各可控设备，重新获取区域电网运行状态信息。该过程同本实施例基于两阶段深度强化学习的电网无功电压控制方法的步骤S7，在此不再赘述。
请参照图3，本实施例还提供了实现本实施例所述的基于两阶段深度强化学习的电网无功电压控制方法的控制系统的另一种表现形式。所述基于两阶段深度强化学习的电网无功电压控制系统包括：区域电网调控中心服务器，区域电网控制器及区域电网。
其中，所述区域电网包括n+1个节点，每个节点上均设有量测装置。需要说明的是，区域电网还根据其自身的实际情况，在其部分或者全部节点上设有上所述分布式可再生能源发电设备和所述静止无功补偿器中的一种。具体的，所述区域电网的节点包括以下三种节点：仅设有量测装置的节点，设有量测装置和分布式可再生能源发电设备的节点，设有量测装置和静止无功补偿器的节点。其中，所述量测装置包括：电压量测装置、电流量测装置和功率量测装置，分别用于量测各个节点的电流、电压、有功功率和无功功率，获得节点的有功功率向量、无功功率向量及电压向量。所述量测装置可以采用电压传感器与电流传感器，但是不限于此。
所述区域电网与所述区域电网控制器之间采用电网遥控系统进行通信。具体的，所述区域电网中各个节点的量测装置通过所述电网遥控系统向所述区域电网控制器传送所述量测装置量测的信号，具体包括各个节点的有功、无功功率注入向量及节点电压向量。所述区域电网控制器通过所述电网遥控系统向设置在所述区域电网节点的分布式可再生能源发电设备和静止无功补偿器发送控制信号，控制所述分布式可再生能源发电设备和静止无功补偿器动作，进而控制无功电压。
需要说明的是，图3中仅示例性的给出了5个节点，其中三个节点仅设有量测装置，一个节点设有量测装置和分布式可再生能源发电设备，一个节点设有量测装置和静止无功补偿器。在实际实施所述基于两阶段深度强化学习的电网无功电压控制方法的控制系统的过程中，节点的个数和节点上是否设有分布式可再生能源发电设备和静止无功补偿器，均根据区域电网的实际情况而定，并不局限于图3中的情况。
具体的，所述区域电网调控中心服务器离线训练所述无功电压控制模型，并将所述无功电压控制模型部署至所述区域电网控制器，具体的，所述区域电网调控中心服务器执行步骤S1、S2、S3、S4及S5，需要说明的是，所述的步骤S1、S2、S3、S4及S5同本实施例所述的基于两阶段深度强化学习的电网无功电压控制方法中的步骤S1、S2、S3、S4及S5，在此不再赘述。
其中，所述区域电网控制器持续在线学习所述无功电压控制模型，生成最优无功电压控制策略，并将最优无功电压控制策略下发至区域电网中的所述分布式可再生能源发电设备和静止无功补偿设备。具体的，所述区域电网控制器执行步骤S6、S7，在步骤S6中，所述区域电网控制器通过所述电网遥控系统获取所述区域电网中各个节点的量测装置采集的量测的信号。在步骤S7中，区域电网控制器根据当前生成的无功电压控制策略，控制可再生能源发电设备和静止无功补偿器的电压，包括：通过所述电网遥控系统向设置在所述区域电网节点的分布式可再生能源发电设备和静止无功补偿器发送控制信号。需要说明的是，所述的步骤S6、S7同本实施例所述的基于两阶段深度强化学习的电网无功电压控制方法中的步骤S6、S7，在此不再赘述。
本实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有逻辑指令，处理器可以调用计算机可读存储介质中的逻辑指令，以执行本实施例所述的基于两阶段深度强化学习的电网无功电压控制方法，如图4所示，图4中以一个处理器和一个计算机可读存储介质为例。
此外，上述的计算机可读存储介质中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用。
上述的计算机可读存储介质可用于存储软件程序、计算机可执行程序，如本实施例中的方法对应的程序指令/模块。处理器通过运行存储在计算机可读存储介质中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述实施例中的用于无功电压控制模型训练的方法。
计算机可读存储介质可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开的控制方法均采用两阶段训练方法，充分利用近似模型的知识信息，在离线阶段训练无功电压控制模型，使无功电压控制模型提前掌握系统的基本运行规律，无需在实际物理系统上做出大范围的试探动作。相较于现有的基于强化学习的电网优化方法，本公开的在线控制训练成本与安全隐患大幅降低，更适合部署在实际电力系统中。
本公开基于数据驱动方法，采用了高效的SAC算法对无功电压控制模型进行训练，不仅可快速对电网无功分布进行实时优化，且能够在线持续挖掘控制过程数据，适应电网的模型变化，避免了模型不完备场景下传统优化算法产生的次优指令带来的电压不合格、网络损耗大等问题，从而保证了无功电压控制的有效性，提升电网运行的高效性与安全性。
尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (13)

1.一种基于两阶段深度强化学习的电网无功电压控制方法，其特征在于，包括以下步骤：
根据区域电网的仿真模型与无功电压优化模型，搭建基于马尔科夫过程的交互训练环境；
在所述基于马尔科夫过程的交互训练环境中，采用SAC算法离线训练无功电压控制模型；
将所述无功电压控制模型部署至区域电网在线系统；
获取区域电网的运行状态信息，更新所述无功电压控制模型，生成最优无功电压控制策略。
2.根据权利要求1所述的基于两阶段深度强化学习的电网无功电压控制方法，其特征在于，还包括以下步骤：
将所述最优无功电压控制策略发送至各可控设备，重新获取区域电网运行状态信息。
3.根据权利要求2所述的基于两阶段深度强化学习的电网无功电压控制方法，其特征在于，所述将所述最优无功电压控制策略发送至各可控设备，重新获取区域电网运行状态信息包括：
将所述最优无功电压控制策略通过电网遥控系统下发至各对应设备；
重新获取区域电网运行状态信息s′t，计算回馈变量值rt，更新经验库为
D←D∪{(st，at，rt，s′t)}；
重复所述获取区域电网的运行状态信息，更新所述无功电压控制模型，生成最优无功电压控制策略。
4.根据权利要求1所述的基于两阶段深度强化学习的电网无功电压控制方法，其特征在于，还包括构建区域电网的仿真模型，
所述构建区域电网的仿真模型包括：
根据区域电网中n+1个节点之间的相对位置，确定区域电网的无向图模型Π(N，E)，其中，N＝0，...，n为节点集合，E＝(i，j)∈N×N为支路集合；
构建区域电网的潮流计算模型：
Figure FDA0002493851440000021
Figure FDA0002493851440000022
Figure FDA0002493851440000023
其中，所述Vi，θi为节点i的电压幅值、相角；Gij，Bij为支路ij的电导与电纳；Pij，Qij为支路ij的有功功率、无功功率，θij为支路ij的相角差；
构建区域电网的节点功率模型：
Figure FDA0002493851440000024
Figure FDA0002493851440000025
其中，Pj，Qj为节点j的有功、无功功率注入，Gsh，i，Bsh，i分别为节点i的接地电导、电纳，PDj，QDj为节点j的有功、无功功率负荷，QGj为节点j的DG无功出力，QCj为节点j的静止无功补偿器无功出力，NIB为接入DG的节点集合，NCD为接入静止无功补偿器的节点集合。
5.根据权利要求1所述的基于两阶段深度强化学习的电网无功电压控制方法，其特征在于，还包括构建所述无功电压优化模型，
所述无功电压优化模型包括：
Figure FDA0002493851440000026
Figure FDA0002493851440000027
Figure FDA0002493851440000028
Figure FDA0002493851440000029
其中，Vi ，
Figure FDA0002493851440000031
为节点i的电压下限与上限；QCi ，
Figure FDA0002493851440000032
为节点i的SVC无功出力下限与上限；SGi，
Figure FDA0002493851440000033
为节点i的DG装机容量与有功功率出力上限。
6.根据权利要求1所述的基于两阶段深度强化学习的电网无功电压控制方法，其特征在于，所述根据区域电网的仿真模型与无功电压优化模型，搭建基于马尔科夫过程的交互训练环境，包括：
根据区域电网的量测信号，获取区域电网的运行状态信息，构建马尔科夫过程状态变量
s＝(P，Q，V，t)，
其中，P，Q为节点有功、无功功率注入向量，V为节点电压向量，t为训练中的时间变量；
根据无功电压优化模型，构建回馈变量
Figure FDA0002493851440000036
其中，CV为电压抑制系数，ReLU为非线性函数，ReLU(x)＝max(0，x)；
根据可控灵活性资源无功功率，确定动作变量
a＝(QG，QC)，
其中，QG，QC分别为各分布式可再生能源发电设备的无功功率和静止无功补偿器的无功功率出力向量。
7.根据权利要求1所述的基于两阶段深度强化学习的电网无功电压控制方法，其特征在于，所述采用SAC算法离线训练无功电压控制模型包括：
构建强化学习目标函数
Figure FDA0002493851440000034
其中，γ为折合系数，α为最大熵乘子，H为熵函数，π(·|st)为策略函数；
通过再参数化方法，转换策略函数形式
Figure FDA0002493851440000035
其中，θ为策略网络参数，μθ和σθ为对应的均值和方差函数，N(0，I)为标准高斯分布函数；
定义并训练值函数网络模型Qπ(s，a)；
训练策略网络模型
Figure FDA0002493851440000041
8.根据权利要求7所述的基于两阶段深度强化学习的电网无功电压控制方法，其特征在于，所述定义并训练值函数网络Qπ(s，a)包括以下步骤：
通过贝尔曼方程可获得Qπ(s，a)的递推形式
Figure FDA0002493851440000042
计算值函数网络Qπ(s，a)的估计值
Figure FDA0002493851440000043
根据值函数网络Qπ(s，a)的估计值y，训练值函数网络
Figure FDA0002493851440000044
9.根据权利要求1所述的基于两阶段深度强化学习的电网无功电压控制方法，其特征在于，将所述无功电压控制模型部署至区域电网在线系统，初始化时间变变量t，初始化经验库D。
10.根据权利要求9所述的基于两阶段深度强化学习的电网无功电压控制方法，其特征在于，所述获取区域电网的运行状态信息，更新所述无功电压控制模型，生成最优无功电压控制策略，包括以下步骤：
获取t时刻区域电网的量测信号，形成对应的状态变量st＝(P，Q，V，t)；
从经验库D中抽取一组经验DB∈D，数量为B；
利用训练值函数网络与策略网络，在DB上更新所述无功电压控制模型；
利用更新后的所述无功电压控制模型，生成t时刻最优策略
at＝tanh(μθ(st)+σθ(st)⊙ξ)＝(QG，QC)。
11.一种基于两阶段深度强化学习的电网无功电压控制系统，其特征在于，包括：
训练环境搭建模块，用于根据区域电网的仿真模型与无功电压优化模型，搭建基于马尔科夫过程的交互训练环境；
训练模块，用于采用SAC算法离线训练无功电压控制模型；
迁移模块，用于将所述无功电压控制模型部署至区域电网在线系统；
策略生成模块，用于获取区域电网的运行状态信息，更新所述无功电压控制模型，生成最优无功电压控制策略。
12.根据权利要求11所述的基于两阶段深度强化学习的电网无功电压控制系统，其特征在于，还包括：
持续在线学习模块，用于将所述最优无功电压控制策略发送至各可控设备，重新获取区域电网运行状态信息。
13.根据权利要求11所述的基于两阶段深度强化学习的电网无功电压控制系统，其特征在于，还包括：
仿真模型构建模块，用于构建区域电网的仿真模型；
无功电压优化模型构建模块，用于根据区域电网的无功电压控制目标，构建区域电网的无功电压优化模型。
CN202010412805.2A 2020-05-15 2020-05-15 基于两阶段深度强化学习的电网无功电压控制方法 Active CN111564849B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010412805.2A CN111564849B (zh) 2020-05-15 2020-05-15 基于两阶段深度强化学习的电网无功电压控制方法
US17/026,364 US11442420B2 (en) 2020-05-15 2020-09-21 Power grid reactive voltage control method based on two-stage deep reinforcement learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010412805.2A CN111564849B (zh) 2020-05-15 2020-05-15 基于两阶段深度强化学习的电网无功电压控制方法

Publications (2)

Publication Number Publication Date
CN111564849A true CN111564849A (zh) 2020-08-21
CN111564849B CN111564849B (zh) 2021-11-02

Family

ID=72072141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010412805.2A Active CN111564849B (zh) 2020-05-15 2020-05-15 基于两阶段深度强化学习的电网无功电压控制方法

Country Status (2)

Country Link
US (1) US11442420B2 (zh)
CN (1) CN111564849B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112186811A (zh) * 2020-09-16 2021-01-05 北京交通大学 一种基于深度强化学习的agc机组动态优化方法
CN113328435A (zh) * 2021-05-26 2021-08-31 国网河北省电力有限公司 一种基于强化学习的主动配电网有功无功联合控制方法
CN114172159A (zh) * 2021-10-28 2022-03-11 国网安徽省电力有限公司电力科学研究院 一种非完备模型下的配电网分布式无功优化方法及系统
CN114362187A (zh) * 2021-11-25 2022-04-15 南京邮电大学 一种基于多智能体深度强化学习的有源配电网协同调压方法及系统
CN115065064A (zh) * 2022-06-09 2022-09-16 国网江苏省电力有限公司淮安供电分公司 一种基于深度强化学习的馈线-台区两阶段电压优化方法
CN115752076A (zh) * 2022-10-27 2023-03-07 成都飞创科技有限公司 一种冷却循环水系统控制方法
CN114172159B (zh) * 2021-10-28 2024-05-24 国网安徽省电力有限公司电力科学研究院 一种非完备模型下的配电网分布式无功优化方法及系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114188997A (zh) * 2021-12-07 2022-03-15 国网甘肃省电力公司电力科学研究院 一种高占比新能源电源接入区域电网的动态无功优化方法
CN114172403B (zh) * 2021-12-07 2023-08-29 合肥工业大学 基于深度强化学习的逆变器效率优化方法
CN114222207B (zh) * 2021-12-10 2023-07-14 广东电网有限责任公司广州供电局 一种基于深度强化学习的电力通信网络规划方法及系统
CN114336598B (zh) * 2021-12-13 2023-07-28 国网天津市电力公司电力科学研究院 一种基于并行仿真的地区电网自动电压控制方法
CN114362188B (zh) * 2022-01-07 2023-06-02 天津大学 基于深度强化学习的多端智能软开关电压控制方法
CN114611813B (zh) * 2022-03-21 2022-09-27 特斯联科技集团有限公司 基于氢储能的社区热-冷水循环最优调度方法及系统
CN114781274B (zh) * 2022-05-17 2023-07-14 江苏泰坦智慧科技有限公司 仿真与决策交替学习的综合能源系统控制优化方法与系统
CN114640568B (zh) * 2022-05-18 2022-08-19 南京邮电大学 基于深度强化学习的网络智能管控架构系统和运行方法
CN116436029B (zh) * 2023-03-13 2023-12-01 华北电力大学 一种基于深度强化学习的新能源场站频率控制方法
CN116154798B (zh) * 2023-03-30 2023-06-23 国网冀北电力有限公司 基于数字孪生的配电网分布式静止同步补偿器的配置方法
CN116154771B (zh) * 2023-04-17 2023-07-21 阿里巴巴达摩院(杭州)科技有限公司 电力设备的控制方法、设备控制方法及电子设备
CN116169857B (zh) * 2023-04-19 2023-07-18 山东科迪特电力科技有限公司 一种级联式开关电路的电压控制方法及装置
CN116169687B (zh) * 2023-04-26 2023-07-04 华北电力科学研究院有限责任公司 一种多类型新能源发电单元的电压控制方法和装置
CN116722608A (zh) * 2023-04-28 2023-09-08 国网河北省电力有限公司电力科学研究院 一种基于光伏逆变器的无功功率补偿系统
CN117335439B (zh) * 2023-11-30 2024-02-27 国网浙江省电力有限公司 一种多元负荷资源联合调度方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110474339A (zh) * 2019-08-07 2019-11-19 国网福建省电力有限公司 一种基于深度发电负荷预测的电网无功控制方法
CN110535146A (zh) * 2019-08-27 2019-12-03 哈尔滨工业大学 基于深度确定策略梯度强化学习的电力系统无功优化方法
CN110729740A (zh) * 2019-07-03 2020-01-24 清华大学 配电网无功优化方法、装置、计算机设备及可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706197B2 (en) * 2018-05-24 2020-07-07 Hitachi, Ltd. Automated electromagnetic interference filter design
US20200327411A1 (en) * 2019-04-14 2020-10-15 Di Shi Systems and Method on Deriving Real-time Coordinated Voltage Control Strategies Using Deep Reinforcement Learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110729740A (zh) * 2019-07-03 2020-01-24 清华大学 配电网无功优化方法、装置、计算机设备及可读存储介质
CN110474339A (zh) * 2019-08-07 2019-11-19 国网福建省电力有限公司 一种基于深度发电负荷预测的电网无功控制方法
CN110535146A (zh) * 2019-08-27 2019-12-03 哈尔滨工业大学 基于深度确定策略梯度强化学习的电力系统无功优化方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
M. R. TOUSI 等: "Application of SARSA Learning Algorithm for Reactive Power Control in Power System", 《2ND IEEE INTERNATIONAL CONFERENCE ON POWER AND ENERGY (PECON 08)》 *
MEHDI AHRARI NOURI 等: "Reactive power planning in distribution systems using a reinforcement learning method", 《2007 INTERNATIONAL CONFERENCE ON INTELLIGENT AND ADVANCED SYSTEMS》 *
MEHDI BAGHERI 等: "Enhancing Power Quality in Microgrids With a New Online Control Strategy for DSTATCOM Using Reinforcement Learning Algorithm", 《IEEE ACCESS》 *
刁浩然 等: "基于强化学习理论的地区电网无功电压优化控制方法", 《电工技术学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112186811A (zh) * 2020-09-16 2021-01-05 北京交通大学 一种基于深度强化学习的agc机组动态优化方法
CN112186811B (zh) * 2020-09-16 2022-03-25 北京交通大学 一种基于深度强化学习的agc机组动态优化方法
CN113328435A (zh) * 2021-05-26 2021-08-31 国网河北省电力有限公司 一种基于强化学习的主动配电网有功无功联合控制方法
CN114172159A (zh) * 2021-10-28 2022-03-11 国网安徽省电力有限公司电力科学研究院 一种非完备模型下的配电网分布式无功优化方法及系统
CN114172159B (zh) * 2021-10-28 2024-05-24 国网安徽省电力有限公司电力科学研究院 一种非完备模型下的配电网分布式无功优化方法及系统
CN114362187A (zh) * 2021-11-25 2022-04-15 南京邮电大学 一种基于多智能体深度强化学习的有源配电网协同调压方法及系统
CN114362187B (zh) * 2021-11-25 2022-12-09 南京邮电大学 一种基于多智能体深度强化学习的有源配电网协同调压方法及系统
CN115065064A (zh) * 2022-06-09 2022-09-16 国网江苏省电力有限公司淮安供电分公司 一种基于深度强化学习的馈线-台区两阶段电压优化方法
CN115752076A (zh) * 2022-10-27 2023-03-07 成都飞创科技有限公司 一种冷却循环水系统控制方法
CN115752076B (zh) * 2022-10-27 2023-12-01 成都飞创科技有限公司 一种冷却循环水系统控制方法

Also Published As

Publication number Publication date
CN111564849B (zh) 2021-11-02
US20210356923A1 (en) 2021-11-18
US11442420B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
CN111564849B (zh) 基于两阶段深度强化学习的电网无功电压控制方法
CN110929948B (zh) 基于深度强化学习的完全分布式智能电网经济调度方法
CN111666713B (zh) 一种电网无功电压控制模型训练方法及系统
Khooban et al. A new intelligent online fuzzy tuning approach for multi-area load frequency control: Self Adaptive Modified Bat Algorithm
CN106253352B (zh) 计及风电概率分布特征的鲁棒实时调度方法
Xin et al. Cooperative control strategy for multiple photovoltaic generators in distribution networks
CN113363998B (zh) 一种基于多智能体深度强化学习的配电网电压控制方法
Aravindh et al. Design of observer-based non-fragile load frequency control for power systems with electric vehicles
CN111799808B (zh) 基于多智能体深度强化学习的电压分布式控制方法及系统
CN113489015A (zh) 一种基于强化学习的配电网多时间尺度无功电压控制方法
Zhang et al. Deep reinforcement learning for load shedding against short-term voltage instability in large power systems
CN113872213B (zh) 一种配电网电压自主优化控制方法及装置
Yin et al. Expandable deep width learning for voltage control of three-state energy model based smart grids containing flexible energy sources
Zeng et al. Distributed deep reinforcement learning-based approach for fast preventive control considering transient stability constraints
Li et al. Deep Meta-Reinforcement Learning Based Data-Driven Active Fault Tolerance Load Frequency Control for Islanded Microgrids Considering Internet of Things
Sukanya et al. Frequency Control Approach and Load Forecasting Assessment for Wind Systems.
Muduli et al. Application of Reinforcement Learning-Based Adaptive PID Controller for Automatic Generation Control of Multi-Area Power System
Bhaskar et al. A comparative performance analysis of automatic generation control of multi-area power system using PID, fuzzy and ANFIS controllers
Tang et al. Voltage Control Strategy of Distribution Networks with Distributed Photovoltaic Based on Multi-agent Deep Reinforcement Learning
Madhu et al. Grid Integration using ANFIS for Hybrid DG and Storage Units to Control and Manage Power
Guo et al. Voltage Stability Control Method Based on Comprehensive Principal Component Analysis and Improved Neural Network
Tsang et al. ANN controlled battery energy storage system for enhancing power system stability
Khatamianfar Advanced discrete-time control methods for industrial applications
Wang et al. A reinforcement learning approach to dynamic optimization of load allocation in AGC system
CN114512995B (zh) 一种海上风电柔直并网系统多设备协同抑制宽频振荡方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant