CN114665478A - 一种基于多目标深度强化学习的主动配电网重构方法 - Google Patents

一种基于多目标深度强化学习的主动配电网重构方法 Download PDF

Info

Publication number
CN114665478A
CN114665478A CN202210559706.6A CN202210559706A CN114665478A CN 114665478 A CN114665478 A CN 114665478A CN 202210559706 A CN202210559706 A CN 202210559706A CN 114665478 A CN114665478 A CN 114665478A
Authority
CN
China
Prior art keywords
network
target
distribution network
power distribution
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210559706.6A
Other languages
English (en)
Other versions
CN114665478B (zh
Inventor
陈波
舒展
程思萌
陶翔
汪硕承
刘柳
周煦光
彭春华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202210559706.6A priority Critical patent/CN114665478B/zh
Publication of CN114665478A publication Critical patent/CN114665478A/zh
Application granted granted Critical
Publication of CN114665478B publication Critical patent/CN114665478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/26—Arrangements for eliminating or reducing asymmetry in polyphase networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/06—Multi-objective optimisation, e.g. Pareto optimisation using simulated annealing [SA], ant colony algorithms or genetic algorithms [GA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/04—Power grid distribution networks
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
    • Y02E40/50—Arrangements for eliminating or reducing asymmetry in polyphase networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开一种基于多目标深度强化学习的主动配电网重构方法，方法包括：步骤一、以整个重构周期内三相不平衡度最小化和开关动作总次数最少化为构建多目标优化模型；步骤二、基于各时段各开关的状态矩阵、各时段各节点各相有功功率矩阵和无功功率矩阵构造配电网重构智能体的状态空间与动作空间；步骤三、将三相电流总体不平衡度指标和开关总次数指标映射到归一化二维目标空间，并基于逼近理想解排序法的设计多目标奖励函数；步骤四、采用基于最大熵的软行动器‑评判器深度强化算法实现可均衡协调三相平衡效果和开关动作总次数的主动配电网多目标优化动态重构在线决策。填补了DRL方法应用在主动配电网多目标优化重构的空缺。

Description

一种基于多目标深度强化学习的主动配电网重构方法
技术领域
本发明属于配电技术领域，尤其涉及一种基于多目标深度强化学习的主动配电网重构方法。
背景技术
配网重构作为配电网络优化运行的重要内容，可起到平衡负荷、消除过载和降低网损的作用。以往大多数配电网重构方面的文献是以最小化网络有功损耗为优化目标进行研究的，由于配网网损总量一般并不大，加之重构过程还会增加开关操作费用和人工费用等，因此通过配网重构降低网损可带来的经济效益往往非常有限。事实上，配电网运行中三相不平衡是长期以来亟待解决的突出问题。近年来随着单相或两相分布电源并入主动配电网的数量逐渐增多，这会加剧配电线路中三相不平衡。含分布式电源的配网三相不平衡常会引发三相电压不对称、中性线电流超限、配电变压器出力下降、线路损耗增加等诸多问题，而且在一定程度上会影响电网的安全稳定运行。因此，针对含分布式发电的主动配电网，通过配网重构以平衡三相负荷作用显得更为突出。配网重构一般可分为静态重构和动态重构，其中静态重构只是基于单个时段的配网负荷数据进行优化重构，而动态重构则是需要考虑多个连续时段内配网负荷数据的变化进行全局性优化重构。配网动态重构由于不仅考虑了网络的负荷波动特性，而且还需考虑供电可靠性、开关操作次数等实际运行中的约束条件，可实现有计划地进行网络重构，因此更具实用价值和研究意义。
在实际应用中开关的最大动作次数不应主观设为定值，而应考虑开关操作的性价比和实际情况，综合降损效果、操作费用、使用寿命和线路供电可靠性要求等因素来灵活确定。因此，如何考虑其三相平衡效果和开关动作总次数的协调关系，实现多目标优化重构成为了目前亟需解决的问题。
发明内容
本发明提供一种基于多目标深度强化学习的主动配电网重构方法，用于解决如何考虑三相平衡效果和开关动作总次数的协调关系，实现多目标优化重构的技术问题。
本发明提供一种基于多目标深度强化学习的主动配电网重构方法，步骤如下：
步骤一、以整个重构周期内三相不平衡度最小化和开关动作总次数最少化为目标函数构建多目标优化模型；
步骤二、基于各时段各开关的状态矩阵、各时段各节点各相有功功率矩阵和无功功率矩阵构造配电网重构智能体的状态空间与动作空间，其中配电网重构智能体的状态空间定义为：
Figure 373882DEST_PATH_IMAGE001
，
式中，
Figure 618919DEST_PATH_IMAGE002
为在t时段的各开关的状态矩阵，
Figure 742864DEST_PATH_IMAGE003
为在t时段各节点各相有功功率矩阵 和，
Figure 606915DEST_PATH_IMAGE004
为在t时段各节点各相无功功率矩阵；
配电网重构智能体的动作空间定义为：
Figure 749183DEST_PATH_IMAGE005
；
步骤三、将三相电流总体不平衡度指标和开关总次数指标映射到归一化二维目标空间，并基于逼近理想解排序法设计多目标奖励函数；
步骤四、采用基于最大熵的软行动器-评判器深度强化算法实现可均衡协调三相平衡效果和开关动作总次数的主动配电网多目标优化动态重构在线决策。
进一步地，在步骤一中，以重构周期内三相不平衡度最小化的的目标函数的表达式为：
Figure 40487DEST_PATH_IMAGE006
，
式中，
Figure 173701DEST_PATH_IMAGE007
为配电变压器在t时刻的a相电流不平衡度，
Figure 107022DEST_PATH_IMAGE008
为配电变压器在t时刻的 b相电流不平衡度，
Figure 369376DEST_PATH_IMAGE009
为配电变压器在t时刻的c相电流不平衡度，
Figure 97160DEST_PATH_IMAGE010
为三相电流总体不平 衡度，
Figure 320331DEST_PATH_IMAGE011
为时间周期；
以重构周期内开关动作总次数最少化的目标函数的表达式为：
Figure 667130DEST_PATH_IMAGE012
，
式中，
Figure 924936DEST_PATH_IMAGE013
为开关
Figure 823622DEST_PATH_IMAGE014
在t时段的状态，
Figure 924302DEST_PATH_IMAGE015
为开关
Figure 668267DEST_PATH_IMAGE014
在t-1时段的状态，
Figure 46159DEST_PATH_IMAGE016
为配网中 的可用开关总数。
进一步地，在步骤一中，所述多目标优化模型的约束包括节点电压约束、支路传输功率约束以及网络不满足辐射状网络拓扑约束，所述多目标优化模型的表达式为：
Figure 489648DEST_PATH_IMAGE017
，
式中，
Figure 687411DEST_PATH_IMAGE018
为约束校核后的三相电流总体不平衡度，
Figure 500646DEST_PATH_IMAGE019
为约束校核后的开关动作 总次数，
Figure 592099DEST_PATH_IMAGE020
为节点电压约束和支路传输功率不满足约束条件的越限惩罚项，
Figure 98166DEST_PATH_IMAGE021
为网络 不满足辐射状网络拓扑约束条件的惩罚项，
Figure 393013DEST_PATH_IMAGE010
为三相电流总体不平衡度，
Figure 9939DEST_PATH_IMAGE022
为开关动作 总次数；
其中，构造节点电压约束和支路传输功率不满足约束条件的越限惩罚项为：
Figure 831264DEST_PATH_IMAGE023
，
式中，
Figure 632867DEST_PATH_IMAGE024
和
Figure 805222DEST_PATH_IMAGE025
分别为网络中节点n的电压上下限，
Figure 694681DEST_PATH_IMAGE026
为网络中支路
Figure 275573DEST_PATH_IMAGE027
的传 输功率上限，
Figure 857864DEST_PATH_IMAGE028
为t时刻网络中节点n的电压值，
Figure 517515DEST_PATH_IMAGE029
为t时刻网络中支路
Figure 600878DEST_PATH_IMAGE027
的传输功率，
Figure 131216DEST_PATH_IMAGE030
为网络节点总数，
Figure 149988DEST_PATH_IMAGE031
为支路总数，
Figure 906722DEST_PATH_IMAGE032
和
Figure 669142DEST_PATH_IMAGE033
均为惩罚因子，
Figure 444200DEST_PATH_IMAGE034
为时间周期；
构造网络不满足辐射状网络拓扑约束条件的惩罚项为：
Figure 368294DEST_PATH_IMAGE035
，
式中，
Figure 2537DEST_PATH_IMAGE036
为惩罚因子，rank( )为求矩阵的秩，Lp(G)为矩阵。
进一步地，其中所述节点电压约束以及所述支路传输功率约束的表达式为：
Figure 411391DEST_PATH_IMAGE037
，
式中，
Figure 447480DEST_PATH_IMAGE024
和
Figure 542475DEST_PATH_IMAGE025
分别为网络中节点n的电压上下限，
Figure 523069DEST_PATH_IMAGE026
为网络中支路
Figure 627291DEST_PATH_IMAGE027
的传 输功率上限，
Figure 986729DEST_PATH_IMAGE028
为t时刻网络中节点n的电压值，
Figure 393570DEST_PATH_IMAGE029
为t时刻网络中支路
Figure 736827DEST_PATH_IMAGE027
的传输功率。
进一步地，在步骤三中，所述将三相电流总体不平衡度指标和开关总次数指标映射到归一化二维目标空间，并基于逼近理想解排序法设计多目标奖励函数包括：
对动作的目标值进行归一化处理，并根据归一化处理结果分别计算动作的目标值在二维目标空间中与理想最优解的第一相对距离以及动作的目标值在二维目标空间中与理想最劣解的第二相对距离，其中，所述动作的目标值包括三相电流总体不平衡度以及开关动作总次数；
基于所述第一相对距离以及所述第二相对距离构造与所述动作相对应的多目标奖励函数。
进一步地，所述动作在二维目标空间中的坐标为（
Figure 379161DEST_PATH_IMAGE038
，
Figure 248897DEST_PATH_IMAGE039
），所述理想最优解和所 述理想最劣解在二维目标空间中的坐标分别为（0，0）和（1，1），其中，所述二维目标空间中 包含坐标系，所述坐标系的横坐标表示开关动作总次数，所述坐标系的纵坐标表示三相电 流总体不平衡度；
计算所述动作的目标值在二维目标空间中与理想最优解的第一相对距离的表达式为：
Figure 951274DEST_PATH_IMAGE040
，
Figure 516247DEST_PATH_IMAGE041
，
式中，
Figure 336173DEST_PATH_IMAGE042
为归一化后的三相电流总体不平衡度，
Figure 670203DEST_PATH_IMAGE043
为归一化后的开关动作总次 数，
Figure 543481DEST_PATH_IMAGE044
为三相电流总体不平衡度的理想最劣解，
Figure 985963DEST_PATH_IMAGE045
为三相电流总体不平衡度的理 想最优解，
Figure 704521DEST_PATH_IMAGE046
为开关动作总次数的理想最劣解，
Figure 424215DEST_PATH_IMAGE047
为开关动作总次数的理想最优 解。
计算所述动作的目标值在二维目标空间中与理想最劣解的第二相对距离的表达式为：
Figure 78181DEST_PATH_IMAGE048
。
进一步地，在步骤三中，与所述动作相对应的多目标奖励函数的表达式为：
Figure 883326DEST_PATH_IMAGE049
，
式中，
Figure 530208DEST_PATH_IMAGE050
为动作的目标值在二维目标空间中与理想最优解的第一相对距离，
Figure 104409DEST_PATH_IMAGE051
为动作的目标值在二维目标空间中与理想最劣解的第二相对距离。
进一步地，在步骤四中，最大熵的软行动器-评判器深度强化算法包括价值网络、动作-价值网络以及策略网络，其中所述价值网络的目标函数为：
Figure 319490DEST_PATH_IMAGE052
，
式中，
Figure 454674DEST_PATH_IMAGE053
为t时刻下Q网络的目标函数，Q网络为价值网络，
Figure 46192DEST_PATH_IMAGE054
为Q网络的参数，
Figure 209320DEST_PATH_IMAGE055
为括号内的期望，
Figure 719936DEST_PATH_IMAGE056
为t时刻下Q网络的动作价值函数，
Figure 234094DEST_PATH_IMAGE057
折扣因子，
Figure 363724DEST_PATH_IMAGE058
为t+1时刻的价值函数，
Figure 522304DEST_PATH_IMAGE059
为系统t时刻的状态值，
Figure 79187DEST_PATH_IMAGE060
为系统t+1时刻的状态值，
Figure 80641DEST_PATH_IMAGE061
为t时刻交互的收益值。
本申请的基于多目标深度强化学习的主动配电网重构方法，基于逼近理想解排序(TOPSIS)法建立多目标奖励函数，并采用基于最大熵的软行动器-评判器(SAC)，设计一种多目标强化学习算法，实现可均衡协调考虑三相平衡效果和开关动作总次数的主动配电网多目标优化动态重构。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种基于多目标深度强化学习的主动配电网重构方法的流程图；
图2为本发明一具体实施例提供的归一化二维目标空间示意图；
图3为本发明一具体实施例提供的一种基于多目标深度强化学习的主动配电网重构方法。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本申请的一种基于多目标深度强化学习的主动配电网重构方法的流程图。
如图1所示，基于多目标深度强化学习的主动配电网重构方法具体包括以下步骤：
步骤一、以整个重构周期内三相不平衡度最小化和开关动作总次数最少化为目标函数构建多目标优化模型。
在本实施例中，在三相潮流计算中，一般可将含分布式电源的各节点类型都可处理成PQ节点，这样，单相、两相或者三相的分布式电源各类型节点可简化处理为对应相线上方向相反的单相、两相或者三相负荷。之后采用式（1）所示的三相潮流计算获得配电网络的三相支路电流和三相节点电压，该算法处理三相不平衡能力强且运算速度快。
Figure 138596DEST_PATH_IMAGE062
，（1）
式中，
Figure 10737DEST_PATH_IMAGE063
为换相周期内的采样时段，
Figure 4101DEST_PATH_IMAGE064
、
Figure 601173DEST_PATH_IMAGE065
、
Figure 72606DEST_PATH_IMAGE066
分别为t时刻节点n的第
Figure 330412DEST_PATH_IMAGE067
相负荷功率共轭、t时刻节点n的第
Figure 353732DEST_PATH_IMAGE067
相电压共轭和t时刻节点n的 第
Figure 64199DEST_PATH_IMAGE067
相注入电流，
Figure 949109DEST_PATH_IMAGE068
为t时刻支路
Figure 327001DEST_PATH_IMAGE069
的第
Figure 396588DEST_PATH_IMAGE070
相电流，
Figure 718985DEST_PATH_IMAGE071
为节点注入电流—支路电 流关联矩阵，
Figure 532220DEST_PATH_IMAGE072
为支路电流—节点电压关联矩阵，
Figure 499039DEST_PATH_IMAGE073
为支路始端电压矩阵，
Figure 113429DEST_PATH_IMAGE074
为支 路终端电压矩阵；
需要说明的是，主动配电网动态重构需要考虑多个连续时段内各节点负荷数据的变化进行全局性优化，本发明以整个重构周期内三相不平衡度最小化和开关动作总次数最少化为构建多目标优化模型。
以负荷曲线在t时刻时，变压器出口侧的三相不平衡电流作为衡量三相不平衡度的指标。三相电流不平衡度的计算公式如式（2）所示：
Figure 798488DEST_PATH_IMAGE075
， （2）
式中，
Figure 415414DEST_PATH_IMAGE076
为配电变压器在t时刻的i(i=a、b、c)相电流不平衡度，
Figure 626953DEST_PATH_IMAGE077
为t时刻变 压器出口侧i(i=a、b、c)相电流幅值，
Figure 38343DEST_PATH_IMAGE078
为t时刻变压器出口侧三相电流幅值的平均值，由 该时刻每相电流相加后取平均可得到；
因而配网重构的三相电流总体不平衡度的目标函数如式（3）所示：
Figure 210698DEST_PATH_IMAGE079
， （3）
式中，
Figure 975523DEST_PATH_IMAGE007
为配电变压器在t时刻的a相电流不平衡度，
Figure 182513DEST_PATH_IMAGE008
为配电变压器在t时刻的 b相电流不平衡度，
Figure 764804DEST_PATH_IMAGE009
为配电变压器在t时刻的c相电流不平衡度，
Figure 283510DEST_PATH_IMAGE010
为三相电流总体不平 衡度，
Figure 242239DEST_PATH_IMAGE011
为时间周期；
进一步地，若以
Figure 303736DEST_PATH_IMAGE080
表示开关k在t时段的状态，其值为0是代表打开，为1时代表闭 合，则重构周期内开关动作总次数N最少化目标函数可表达如下：
Figure 430830DEST_PATH_IMAGE081
， （4）
式中，
Figure 577777DEST_PATH_IMAGE082
为开关
Figure 933672DEST_PATH_IMAGE014
在t时段的状态，
Figure 849676DEST_PATH_IMAGE083
为开关
Figure 773769DEST_PATH_IMAGE014
在t-1时段的状态，
Figure 283379DEST_PATH_IMAGE016
为配网中 的可用开关总数。
需要说明的是，为了保证配网安全运行，所得到的网络重构后t时段的各节点电压和各支路传输功率应满足如下约束条件：
Figure 583910DEST_PATH_IMAGE037
， （5）
式中，
Figure 88841DEST_PATH_IMAGE024
和
Figure 574049DEST_PATH_IMAGE025
分别为网络中节点n的电压上下限，
Figure 430010DEST_PATH_IMAGE026
为网络中支路
Figure 268653DEST_PATH_IMAGE027
的传 输功率上限，
Figure 533150DEST_PATH_IMAGE028
为t时刻网络中节点n的电压值，
Figure 799046DEST_PATH_IMAGE029
为t时刻网络中支路
Figure 142303DEST_PATH_IMAGE027
的传输功率；
上述节点电压和支路传输功率约束可通过施加越限惩罚进行处理，越限惩罚项构造如式（6）所示：
Figure 174850DEST_PATH_IMAGE084
，（6）
式中，
Figure 654372DEST_PATH_IMAGE030
为网络节点总数，
Figure 356749DEST_PATH_IMAGE031
为支路总数，
Figure 797089DEST_PATH_IMAGE032
和
Figure 977535DEST_PATH_IMAGE033
均为惩罚因子；
此外，重构后的网络还应满足辐射状网络拓扑约束条件。网络呈辐射状的一个简单前提条件为网络节点数必须正好等于支路数加1，即：
Figure 701777DEST_PATH_IMAGE085
， （7）
考虑到当网络重构后所包含的孤岛和环网数量正好相同时式（7）也同样会满足，因此若要保证重构后网络为辐射状，在上述前提下同时还必须满足网络中所有节点都连通，即不能存在孤岛，这种情况下自然也不会有环网存在，否则将不满足式（7）；
在此应用图论中代数连通度来对网络节点的连通性进行判断。将配电网络看作一个简单图G，图中的点集V包含M个节点，边集E包含L条支路，图G可表示为：
Figure 575055DEST_PATH_IMAGE086
， （8）
式中，
Figure 892904DEST_PATH_IMAGE087
、
Figure 985363DEST_PATH_IMAGE088
分别代表点集数组中的元素、边集数组中的元素，下标分别代表第M 个节点和第L条支路;
根据各节点的邻接关系可构造图G的邻接矩阵A(G)如式（8），当节点
Figure 705057DEST_PATH_IMAGE089
与
Figure 483657DEST_PATH_IMAGE090
相邻连 接时，则矩阵中元素
Figure 413436DEST_PATH_IMAGE091
为1，否则为0。
Figure 201263DEST_PATH_IMAGE092
， （9）
式中，
Figure 509885DEST_PATH_IMAGE093
为邻接矩阵A(G)中第M行第1列的元素，
Figure 600332DEST_PATH_IMAGE094
为邻接矩阵A(G)中第1行第 M列的元素，
Figure 361614DEST_PATH_IMAGE095
为邻接矩阵A(G)中第M行第M列的元素；
进一步可构造出矩阵Lp(G)：
Figure 953133DEST_PATH_IMAGE096
， （10）
式中，sum( )为求和，diag( )为提取对角矩阵。
若配电网是连通的，则矩阵Lp(G)只能有一个零特性值，即有：
Figure 240894DEST_PATH_IMAGE097
， （11）
式中，rank( )为求矩阵的秩。
结合式（7）和式（11）即可构造网络不满足辐射状网络拓扑约束条件的惩罚项
Figure 626876DEST_PATH_IMAGE098
如式（12）所示：
Figure 406614DEST_PATH_IMAGE035
， （12）
式中，
Figure 644566DEST_PATH_IMAGE036
为惩罚因子；
融合上述各式最终建立配电网多目标动态重构模型如下：
Figure 927780DEST_PATH_IMAGE017
， （13）
式中，
Figure 750242DEST_PATH_IMAGE018
为约束校核后的三相电流总体不平衡度，
Figure 610751DEST_PATH_IMAGE099
为约束校核后的开关动作 总次数，
Figure 278492DEST_PATH_IMAGE020
为节点电压约束和支路传输功率不满足约束条件的越限惩罚项，
Figure 291579DEST_PATH_IMAGE021
为网络 不满足辐射状网络拓扑约束条件的惩罚项；
由于添加了越限惩罚项，在寻优过程中，一旦解不满足约束条件，必然会导致其目标函数值显著增大，从而使得该解适应度极差，很快便会被淘汰。
具体地，在将获取的当前时刻状态和当前重构策略输入至多目标优化模型中，使 多目标优化模型输出当前时刻的动作的过程中，采用强化学习对多目标优化模型进行训 练，其中强化学习的核心思想在于训练一个智能体，使它能在与系统的交互过程中不断学 习，最终能够获得一个策略，这个策略能让智能体在交互过程中所获得的总收益值最大化。 结合控制理论，智能体即执行机构，它执行算法生成的策略，同时，系统受智能体的动作影 响，发生状态的转移，并反馈给智能体一个奖励信号，形成一条闭环的控制链路。假设智能 体在的t时刻的动作为
Figure 284943DEST_PATH_IMAGE100
，系统t时刻状态值和系统t+1时刻的状态值分别为
Figure 242534DEST_PATH_IMAGE101
和
Figure 104180DEST_PATH_IMAGE102
，交互 过程中的收益值为
Figure 361986DEST_PATH_IMAGE103
。
步骤二、基于各时段各开关的状态矩阵、各时段各节点各相有功功率矩阵和无功功率矩阵构造配电网重构智能体的状态空间与动作空间。
在本实施例中配电网重构智能体的状态空间定义为：
Figure 995093DEST_PATH_IMAGE001
， （14）
式中，
Figure 345040DEST_PATH_IMAGE002
为在t时段的各开关的状态矩阵，
Figure 354585DEST_PATH_IMAGE003
为在t时段各节点各相有功功率矩阵 和，
Figure 466897DEST_PATH_IMAGE004
为在t时段各节点各相无功功率矩阵；
配电网重构智能体的动作空间定义为：
Figure 661118DEST_PATH_IMAGE005
。 （15）
步骤三、将三相电流总体不平衡度指标和开关总次数指标映射到归一化二维目标空间，并基于逼近理想解排序法设计多目标奖励函数。
在本实施例中，配电网重构中的目标为最小化三相电流总体不平衡度和最少化开关次数，这两个优化目标无法做到单位上的统一，本发明在此提出基于TOPSIS法的多目标奖励函数设计。
TOPSIS法通过评估各指标与最优、劣解的接近程度以实现求解多目标最优折衷解的目的。本发明中共有2个评估指标，三相电流总体不平衡度最小指标和开关总次数最小指标。则TOPSIS法的基本步骤如下：
1）归一化处理：重构方案的两个目标值的量纲不同，需要首先按式（16）进行归一化处理，然后可将各重构方案映射到如图2所示的归一化二维目标空间中。
Figure 858881DEST_PATH_IMAGE041
， （16）
式中，
Figure 937696DEST_PATH_IMAGE042
为归一化后的三相电流总体不平衡度，
Figure 779881DEST_PATH_IMAGE043
为归一化后的开关动作总次 数，
Figure 20369DEST_PATH_IMAGE044
为三相电流总体不平衡度的理想最劣解，
Figure 830062DEST_PATH_IMAGE045
为三相电流总体不平衡度的理 想最优解，
Figure 446989DEST_PATH_IMAGE046
为开关动作总次数的理想最劣解，
Figure 533893DEST_PATH_IMAGE047
为开关动作总次数的理想最优 解；
基于多目标优化模型的表达式（13），可得归一化后的最优解为(0,0)和最劣解为(1,1)，如图2所示。进一步可根据式（17）计算出所得方案在二维目标空间中与理想最优解和理想最劣解的相对距离。
Figure 53605DEST_PATH_IMAGE104
， （17）
式中，
Figure 225961DEST_PATH_IMAGE105
为动作的目标值在二维目标空间中与理想最优解的第一相对距离，
Figure 380998DEST_PATH_IMAGE051
为动作的目标值在二维目标空间中与理想最劣解的第二相对距离；
在二维目标空间中距离理想最优解越近，距离理想最劣解越远，说明所得方案越优，据此可基于式（18）构造多目标奖励函数。用相对距离关系构造奖励函数，奖励函数是在强化学习算法中对智能体进行训练时用于计算其奖励值的。
Figure 447043DEST_PATH_IMAGE106
， （18）
式中，
Figure 29334DEST_PATH_IMAGE107
为奖励值，
Figure 688986DEST_PATH_IMAGE108
，r越接近1表明此方案越优。
步骤四、采用基于最大熵的软行动器-评判器深度强化算法实现可均衡协调三相平衡效果和开关动作总次数的主动配电网多目标优化动态重构在线决策。
在本实施例中，采用最大熵的SAC算法对多目标优化模型的网络参数进行配置。具体为：SAC算法的框架主要由3个网络组成，分别是价值网络(C网络)、动作-价值网络(Q网络)、策略网络(π网络)。其中，C网络和Q网络负责计算价值函数值和动作-价值函数值，而策略网络则输出策略值，用于指导智能体行动。
具体地，在Q网络中，SAC算法与其他类型强化学习算法的唯一不同之处在于，引入了最大熵项。对于Q网络，SAC算法采用了均方差(MSE)形式的目标函数：
Figure 523081DEST_PATH_IMAGE109
， （19）
式中，
Figure 318999DEST_PATH_IMAGE053
为t时刻下Q网络的目标函数，
Figure 337770DEST_PATH_IMAGE110
为Q网络的参数，
Figure 78193DEST_PATH_IMAGE055
为括号内的期 望，
Figure 840613DEST_PATH_IMAGE056
为t时刻下Q网络的动作价值函数，
Figure 756616DEST_PATH_IMAGE057
折扣因子，
Figure 54611DEST_PATH_IMAGE058
为t+1时刻的价值 函数，
Figure 688855DEST_PATH_IMAGE059
为系统t时刻状态值，
Figure 848441DEST_PATH_IMAGE060
为系统t+1时刻的状态值，
Figure 618951DEST_PATH_IMAGE111
为t时刻交互的收益值。
而对于C网络，SAC算法采用了类似的做法，其目标函数定义为：
Figure 979525DEST_PATH_IMAGE112
， （20）
式中，
Figure 445272DEST_PATH_IMAGE113
为t时刻下C网络的目标函数，
Figure 549495DEST_PATH_IMAGE114
为C网络的参数；
Figure 440090DEST_PATH_IMAGE115
（）为在t时 刻策略
Figure 830620DEST_PATH_IMAGE116
下对应动作Y时（）内的期望，
Figure 173877DEST_PATH_IMAGE117
为温度系数，
Figure 550632DEST_PATH_IMAGE118
为在系统t时刻状态值
Figure 669635DEST_PATH_IMAGE119
和 动作
Figure 372012DEST_PATH_IMAGE120
的策略，
Figure 936985DEST_PATH_IMAGE121
为C网络的价值函数。
对于
Figure 507644DEST_PATH_IMAGE122
网络，其目标函数定义为：
Figure 107253DEST_PATH_IMAGE123
， （21）
式中，
Figure 980531DEST_PATH_IMAGE124
为t时刻下
Figure 642587DEST_PATH_IMAGE122
网络的目标函数，
Figure 892303DEST_PATH_IMAGE125
为
Figure 611997DEST_PATH_IMAGE122
网络的参数；
Figure 515231DEST_PATH_IMAGE126
为括 号内前一项对后一项的相对熵，
Figure 54797DEST_PATH_IMAGE127
为使分布
Figure 974384DEST_PATH_IMAGE128
归一化的算子，
Figure 548585DEST_PATH_IMAGE129
为在系统t时刻状态值
Figure 498086DEST_PATH_IMAGE119
和动作
Figure 915161DEST_PATH_IMAGE120
的策略。
在获得了以上三个网络的目标函数
Figure 241100DEST_PATH_IMAGE130
、
Figure 669808DEST_PATH_IMAGE131
和
Figure 931156DEST_PATH_IMAGE132
后，即可利用梯 度下降的方式来更新其对应的网络参数。
综上，本实施例的方法，基于逼近理想解排序(TOPSIS)法建立多目标奖励函数，并采用基于最大熵的软行动器-评判器(SAC)，设计一种多目标强化学习算法，实现可均衡协调考虑三相平衡效果和开关动作总次数的主动配电网多目标优化动态重构。
在一个具体的实施例中，如图3所示，一种基于多目标深度强化学习的主动配电网重构方法具体流程如下：
1）收集数据；收集某个区域一个月的分布式电源出力历史数据。
2）处理数据；将分布式电源出力进行PQ负荷节点等效。
3）导入配电网基本数据；导入配电网网络参数、各节点负荷数据、各时段负荷需求等。
4) 设置环境参数、算法参数和训练总次数Z。
5) 当前训练次数z = 0，t = 0。
6) 初始化状态，即获取0时刻各开关的开断状态和各节点各相的有功功率和无功功率。
7) 将此时刻的状态输入到深度强化学习智能体中。
8) 智能体根据当前状态和当前策略选择动作。
9) 智能体将动作输入到环境中。
10) 基于TOPSIS法进行多目标奖励函数计算。
11) 获取下一个时刻的状态。
12) 将奖励和下一个时刻的状态反馈给智能体，智能体由此更新策略。
13) 若t<24，重复步骤7）-步骤11)。否则训练次数z+1。
14) 若训练次数<训练总次数，重复步骤7）-步骤12)。否则终止训练。
15) 训练完成，保存训练好的智能体。
16) 实际应用过程中，输入当前时刻的状态到智能体中，可得到实时的均衡协调考虑三相平衡效果和开关动作总次数的主动配电网多目标优化动态重构方案。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于多目标深度强化学习的主动配电网重构方法，其特征在于，步骤如下：
步骤一、以整个重构周期内三相不平衡度最小化和开关动作总次数最少化为目标函数构建多目标优化模型；
步骤二、基于各时段各开关的状态矩阵、各时段各节点各相有功功率矩阵和无功功率矩阵构造配电网重构智能体的状态空间与动作空间，其中配电网重构智能体的状态空间定义为：
Figure 345410DEST_PATH_IMAGE001
，
式中，
Figure 669075DEST_PATH_IMAGE002
为在t时段的各开关的状态矩阵，
Figure 979970DEST_PATH_IMAGE003
为在t时段各节点各相有功功率矩阵和，
Figure 781704DEST_PATH_IMAGE004
为在t时段各节点各相无功功率矩阵；
配电网重构智能体的动作空间定义为：
Figure 127235DEST_PATH_IMAGE005
；
步骤三、将三相电流总体不平衡度指标和开关总次数指标映射到归一化二维目标空间，并基于逼近理想解排序法设计多目标奖励函数；
步骤四、采用基于最大熵的软行动器-评判器深度强化算法实现可均衡协调三相平衡效果和开关动作总次数的主动配电网多目标优化动态重构在线决策。
2.根据权利要求1所述的一种基于多目标深度强化学习的主动配电网重构方法，其特征在于，在步骤一中，以重构周期内三相不平衡度最小化的的目标函数的表达式为：
Figure 215277DEST_PATH_IMAGE006
，
式中，
Figure 154414DEST_PATH_IMAGE007
为配电变压器在t时刻的a相电流不平衡度，
Figure 618893DEST_PATH_IMAGE008
为配电变压器在t时刻的b相 电流不平衡度，
Figure 694297DEST_PATH_IMAGE009
为配电变压器在t时刻的c相电流不平衡度，
Figure 218819DEST_PATH_IMAGE010
为三相电流总体不平衡 度，
Figure 379673DEST_PATH_IMAGE011
为时间周期；
以重构周期内开关动作总次数最少化的目标函数的表达式为：
Figure 647843DEST_PATH_IMAGE012
，
式中，
Figure 312174DEST_PATH_IMAGE013
为开关
Figure 273177DEST_PATH_IMAGE014
在t时段的状态，
Figure 921327DEST_PATH_IMAGE015
为开关
Figure 727609DEST_PATH_IMAGE014
在t-1时段的状态，
Figure 777604DEST_PATH_IMAGE016
为配网中的可 用开关总数。
3.根据权利要求1所述的一种基于多目标深度强化学习的主动配电网重构方法，其特征在于，在步骤一中，所述多目标优化模型的约束包括节点电压约束、支路传输功率约束以及网络不满足辐射状网络拓扑约束，所述多目标优化模型的表达式为：
Figure 643929DEST_PATH_IMAGE017
，
式中，
Figure 638430DEST_PATH_IMAGE018
为约束校核后的三相电流总体不平衡度，
Figure 123769DEST_PATH_IMAGE019
为约束校核后的开关动作总次 数，
Figure 152905DEST_PATH_IMAGE020
为节点电压约束和支路传输功率不满足约束条件的越限惩罚项，
Figure 331077DEST_PATH_IMAGE021
为网络不满 足辐射状网络拓扑约束条件的惩罚项，
Figure 812873DEST_PATH_IMAGE010
为三相电流总体不平衡度，
Figure 101903DEST_PATH_IMAGE022
为开关动作总次 数；
其中，构造节点电压约束和支路传输功率不满足约束条件的越限惩罚项为：
Figure 719967DEST_PATH_IMAGE023
，
式中，
Figure 69039DEST_PATH_IMAGE024
和
Figure 38132DEST_PATH_IMAGE025
分别为网络中节点n的电压上下限，
Figure 865274DEST_PATH_IMAGE026
为网络中支路
Figure 869002DEST_PATH_IMAGE027
的传输功 率上限，
Figure 248031DEST_PATH_IMAGE028
为t时刻网络中节点n的电压值，
Figure 579786DEST_PATH_IMAGE029
为t时刻网络中支路
Figure 335253DEST_PATH_IMAGE027
的传输功率，
Figure 803274DEST_PATH_IMAGE030
为 网络节点总数，
Figure 618784DEST_PATH_IMAGE031
为支路总数，
Figure 172256DEST_PATH_IMAGE032
和
Figure 731413DEST_PATH_IMAGE033
均为惩罚因子，
Figure 319520DEST_PATH_IMAGE034
为时间周期；
构造网络不满足辐射状网络拓扑约束条件的惩罚项为：
Figure 40352DEST_PATH_IMAGE035
，
式中，
Figure 346699DEST_PATH_IMAGE036
为惩罚因子，rank( )为求矩阵的秩，Lp(G)为矩阵。
4.根据权利要求3所述的一种基于多目标深度强化学习的主动配电网重构方法，其特征在于，其中所述节点电压约束以及所述支路传输功率约束的表达式为：
Figure 443968DEST_PATH_IMAGE037
，
式中，
Figure 152161DEST_PATH_IMAGE024
和
Figure 778315DEST_PATH_IMAGE025
分别为网络中节点n的电压上下限，
Figure 696592DEST_PATH_IMAGE026
为网络中支路
Figure 472918DEST_PATH_IMAGE027
的传输功 率上限，
Figure 894672DEST_PATH_IMAGE028
为t时刻网络中节点n的电压值，
Figure 98252DEST_PATH_IMAGE029
为t时刻网络中支路
Figure 238246DEST_PATH_IMAGE027
的传输功率。
5.根据权利要求1所述的一种基于多目标深度强化学习的主动配电网重构方法，其特征在于，在步骤三中，所述将三相电流总体不平衡度指标和开关总次数指标映射到归一化二维目标空间，并基于逼近理想解排序法设计多目标奖励函数包括：
对动作的目标值进行归一化处理，并根据归一化处理结果分别计算动作的目标值在二维目标空间中与理想最优解的第一相对距离以及动作的目标值在二维目标空间中与理想最劣解的第二相对距离，其中，所述动作的目标值包括三相电流总体不平衡度以及开关动作总次数；
基于所述第一相对距离以及所述第二相对距离构造与所述动作相对应的多目标奖励函数。
6.根据权利要求5所述的一种基于多目标深度强化学习的主动配电网重构方法，其特 征在于，所述动作在二维目标空间中的坐标为（
Figure 552684DEST_PATH_IMAGE038
，
Figure 94524DEST_PATH_IMAGE039
），所述理想最优解和所述理想最劣 解在二维目标空间中的坐标分别为（0，0）和（1，1），其中，所述二维目标空间中包含坐标系， 所述坐标系的横坐标表示开关动作总次数，所述坐标系的纵坐标表示三相电流总体不平衡 度；
计算所述动作的目标值在二维目标空间中与理想最优解的第一相对距离的表达式为：
Figure 469004DEST_PATH_IMAGE040
，
Figure 96295DEST_PATH_IMAGE041
，
式中，
Figure 214423DEST_PATH_IMAGE042
为归一化后的三相电流总体不平衡度，
Figure 610770DEST_PATH_IMAGE043
为归一化后的开关动作总次数，
Figure 15206DEST_PATH_IMAGE044
为三相电流总体不平衡度的理想最劣解，
Figure 5159DEST_PATH_IMAGE045
为三相电流总体不平衡度的理想最 优解，
Figure 786033DEST_PATH_IMAGE046
为开关动作总次数的理想最劣解，
Figure 166113DEST_PATH_IMAGE047
为开关动作总次数的理想最优解；
计算所述动作的目标值在二维目标空间中与理想最劣解的第二相对距离的表达式为：
Figure 7030DEST_PATH_IMAGE048
。
7.根据权利要求1所述的一种基于多目标深度强化学习的主动配电网重构方法，其特征在于，在步骤三中，与所述动作相对应的多目标奖励函数的表达式为：
Figure 218699DEST_PATH_IMAGE049
，
式中，
Figure 803264DEST_PATH_IMAGE050
为动作的目标值在二维目标空间中与理想最优解的第一相对距离，
Figure 49569DEST_PATH_IMAGE051
为 动作的目标值在二维目标空间中与理想最劣解的第二相对距离。
8.根据权利要求1所述的一种基于多目标深度强化学习的主动配电网重构方法，在步骤四中，最大熵的软行动器-评判器深度强化算法包括价值网络、动作-价值网络以及策略网络，其中所述价值网络的目标函数为：
Figure 61387DEST_PATH_IMAGE052
，
式中，
Figure 760353DEST_PATH_IMAGE053
为t时刻下Q网络的目标函数，Q网络为价值网络，
Figure 883030DEST_PATH_IMAGE054
为Q网络的参数，
Figure 108475DEST_PATH_IMAGE055
为括号内的期望，
Figure 166561DEST_PATH_IMAGE056
为t时刻下Q网络的动作价值函数，
Figure 743036DEST_PATH_IMAGE057
折扣因子，
Figure 279190DEST_PATH_IMAGE058
为t+ 1时刻的价值函数，
Figure 359142DEST_PATH_IMAGE059
为系统t时刻的状态值，
Figure 853708DEST_PATH_IMAGE060
为系统t+1时刻的状态值，
Figure 651900DEST_PATH_IMAGE061
为t时刻交互 的收益值。
CN202210559706.6A 2022-05-23 2022-05-23 一种基于多目标深度强化学习的主动配电网重构方法 Active CN114665478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210559706.6A CN114665478B (zh) 2022-05-23 2022-05-23 一种基于多目标深度强化学习的主动配电网重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210559706.6A CN114665478B (zh) 2022-05-23 2022-05-23 一种基于多目标深度强化学习的主动配电网重构方法

Publications (2)

Publication Number Publication Date
CN114665478A true CN114665478A (zh) 2022-06-24
CN114665478B CN114665478B (zh) 2022-10-11

Family

ID=82037543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210559706.6A Active CN114665478B (zh) 2022-05-23 2022-05-23 一种基于多目标深度强化学习的主动配电网重构方法

Country Status (1)

Country Link
CN (1) CN114665478B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0026374A1 (de) * 1979-09-28 1981-04-08 Siemens Aktiengesellschaft Vorrichtung zur Übertragung elektrischer Energie hoher Leistung aus einem dreiphasigen Versorgungsnetz höherer Frequenz in ein einphasiges Lastnetz niedrigerer Frequenz
US20130325774A1 (en) * 2012-06-04 2013-12-05 Brain Corporation Learning stochastic apparatus and methods
CN108092284A (zh) * 2017-11-23 2018-05-29 东南大学 一种基于线性模型的三相不平衡智能配电网网络重构方法
CN112488442A (zh) * 2020-10-29 2021-03-12 国网河南省电力公司郑州供电公司 基于深度强化学习算法及源荷不确定性的配电网重构方法
CN112862281A (zh) * 2021-01-26 2021-05-28 中国电力科学研究院有限公司 综合能源系统调度模型构建方法、装置、介质及电子设备
CN113363997A (zh) * 2021-05-28 2021-09-07 浙江大学 基于多时间尺度多智能体深度强化学习无功电压控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0026374A1 (de) * 1979-09-28 1981-04-08 Siemens Aktiengesellschaft Vorrichtung zur Übertragung elektrischer Energie hoher Leistung aus einem dreiphasigen Versorgungsnetz höherer Frequenz in ein einphasiges Lastnetz niedrigerer Frequenz
US20130325774A1 (en) * 2012-06-04 2013-12-05 Brain Corporation Learning stochastic apparatus and methods
CN108092284A (zh) * 2017-11-23 2018-05-29 东南大学 一种基于线性模型的三相不平衡智能配电网网络重构方法
CN112488442A (zh) * 2020-10-29 2021-03-12 国网河南省电力公司郑州供电公司 基于深度强化学习算法及源荷不确定性的配电网重构方法
CN112862281A (zh) * 2021-01-26 2021-05-28 中国电力科学研究院有限公司 综合能源系统调度模型构建方法、装置、介质及电子设备
CN113363997A (zh) * 2021-05-28 2021-09-07 浙江大学 基于多时间尺度多智能体深度强化学习无功电压控制方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHUNHUA PENG等: "Molecular Evolution Based Dynamic Reconfiguration of Distribution Networks With DGs Considering Three-Phase Balance and Switching Times", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》 *
孙惠娟等: "配电网三相平衡优化重构策略", 《电网技术》 *
张擎: "基于深度强化学习的能源互联网调度策略研究", 《中国优秀硕士学位论文全文库》 *
徐露: "含分布式发电配电网多目标优化重构研究", 《中国优秀硕士学位论文全文库》 *
胥鹏等: "基于深度强化学习的配电网在线拓扑优化策略研究", 《电力需求侧管理》 *

Also Published As

Publication number Publication date
CN114665478B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
Iba Reactive power optimization by genetic algorithm
Olamaei et al. Application of particle swarm optimization for distribution feeder reconfiguration considering distributed generators
Del Valle et al. Particle swarm optimization: basic concepts, variants and applications in power systems
Bhatt et al. Optimized multi area AGC simulation in restructured power systems
Niknam An efficient hybrid evolutionary algorithm based on PSO and ACO for distribution feeder reconfiguration
Mc Namara et al. Optimal coordination of a multiple HVDC link system using centralized and distributed control
Peng et al. Molecular evolution based dynamic reconfiguration of distribution networks with DGs considering three-phase balance and switching times
Shih et al. On-line coordination of directional overcurrent relays: Performance evaluation among optimization algorithms
CN111416356B (zh) 基于交替方向乘子法及最优潮流的输配电网联动优化方法
CN104794541B (zh) 一种基于模拟退火和锥优化的配电网运行优化方法
CN107546743A (zh) 一种辐射状配电网分布式优化潮流方法
Tang et al. Study on day-ahead optimal economic operation of active distribution networks based on Kriging model assisted particle swarm optimization with constraint handling techniques
CN111222917A (zh) 一种与配电侧多元零售市场互动的虚拟电厂投标策略
CN112202206A (zh) 一种基于势博弈的多能源微网分布式调度方法
CN115640963A (zh) 一种考虑投资运营模式的海上风电接入系统鲁棒规划方法
Sun et al. Workload transfer strategy of urban neighboring data centers with market power in local electricity market
CN111490542A (zh) 一种多端柔性多状态开关的选址定容方法
CN112990596B (zh) 一种主动配电网和虚拟电厂协同运行的分布式优化方法
CN114665478B (zh) 一种基于多目标深度强化学习的主动配电网重构方法
CN111834996B (zh) 电网线损计算方法和装置
CN111817287A (zh) 一种用于直流微电网集群的非参数化模型预测三次控制方法
CN113673912A (zh) 考虑输电网影响的配电-气网分布式协同规划方法及系统
CN113517723A (zh) 一种含小型水电站的配电网系统的无功电压优化方法
CN114094574A (zh) 一种基于非合作博弈的配电网优化重构方法
CN105591405B (zh) 一种基于向量移位运算的配电网络快速重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant