CN116436013A - 配电系统功率分配方法、系统、计算机设备及存储介质 - Google Patents

配电系统功率分配方法、系统、计算机设备及存储介质 Download PDF

Info

Publication number
CN116436013A
CN116436013A CN202310697153.5A CN202310697153A CN116436013A CN 116436013 A CN116436013 A CN 116436013A CN 202310697153 A CN202310697153 A CN 202310697153A CN 116436013 A CN116436013 A CN 116436013A
Authority
CN
China
Prior art keywords
power distribution
power
resource
resource cluster
distribution system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310697153.5A
Other languages
English (en)
Other versions
CN116436013B (zh
Inventor
张彬文
王新迎
李烨
闫冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electric Power Research Institute Co Ltd CEPRI
Original Assignee
China Electric Power Research Institute Co Ltd CEPRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electric Power Research Institute Co Ltd CEPRI filed Critical China Electric Power Research Institute Co Ltd CEPRI
Priority to CN202310697153.5A priority Critical patent/CN116436013B/zh
Publication of CN116436013A publication Critical patent/CN116436013A/zh
Application granted granted Critical
Publication of CN116436013B publication Critical patent/CN116436013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/04—Circuit arrangements for ac mains or ac distribution networks for connecting networks of the same frequency but supplied from different sources
    • H02J3/06—Controlling transfer of power between connected networks; Controlling sharing of load between connected networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/007—Arrangements for selectively connecting the load or loads to one or several among a plurality of power lines or power sources
    • H02J3/0075—Arrangements for selectively connecting the load or loads to one or several among a plurality of power lines or power sources for providing alternative feeding paths between load and source according to economic or energy efficiency considerations, e.g. economic dispatch
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/381—Dispersed generators
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/466—Scheduling the operation of the generators, e.g. connecting or disconnecting generators to meet a given demand
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Development Economics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明属于智能配电系统优化调度领域，公开了一种配电系统功率分配方法、系统、计算机设备及存储介质，包括获取配电系统的当前运行状态；根据配电系统的当前运行状态，基于预训练的MSG‑DDQN算法模型求解资源集群间功率分配模型，得到各资源集群接口智能体功率调度指令；遍历各资源集群，根据当前资源集群接口智能体功率调度指令，以成本微增量作为一致性变量，基于一致性算法求解资源集群内功率分配模型，得到当前资源集群内各分布式电源的功率调度指令。基于资源集群划分提出分层分布式功率分配框架，达到配电系统功率就地平衡和可再生能源的就地消纳，对随机变换的源荷特性能实时给出功率分配结果。

Description

配电系统功率分配方法、系统、计算机设备及存储介质
技术领域
本发明属于智能配电系统优化调度领域，涉及一种配电系统功率分配方法、系统、计算机设备及存储介质。
背景技术
随着大规模分布式电源接入配电系统，使得配电系统从传统负荷侧单向网络结构向源荷功率双向流动的多源网络结构转变，给配电系统安全及稳定运行提出了新的挑战。此外，高渗透率新能源出力的强随机性及间歇性，也严重影响了配电系统的功率平衡，进一步提高了配电系统优化调控的难度。因此，有必要对高比例分布式电源和新能源接入下，配电系统功率平衡及配电系统内各分布式电源的协同优化问题进行研究，保证系统运行的稳定性和经济性。
目前，基于优化计算的集中控制方法因其较高的准确性常被用于配电系统优化运行研究中，该类方法将配电系统数学模型转为数学规划问题后通过优化算法实现目标函数的求解。但集中控制对通信可靠性及计算能力等要求较高，当大量新能源和分布式电源的并入，集中控制面临海量数据交互、计算效率低、系统可靠性差及隐私安全等问题，难以实现对各资源的优化控制。
现有的配电系统分布式协同控制方法多聚焦于一致性算法、交替方向乘子算法及分布式梯度下降法等，在研究中大多基于源荷预测数据或配电系统模型进行分析，在实际应用中对预测准确性或模型准确性要求较高，不利于推广应用，需要自适应性强、模型依赖程度低的方法来解决配电系统功率分配问题。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供一种配电系统功率分配方法、系统、计算机设备及存储介质。
为达到上述目的，本发明采用以下技术方案予以实现：
本发明第一方面，提供一种配电系统功率分配方法，包括：
获取配电系统的当前运行状态；
根据配电系统的当前运行状态，基于预训练的MSG-DDQN算法模型求解资源集群间功率分配模型，得到各资源集群接口智能体功率调度指令；
遍历各资源集群，根据当前资源集群接口智能体功率调度指令，以成本微增量作为一致性变量，基于一致性算法求解资源集群内功率分配模型，得到当前资源集群内各分布式电源的功率调度指令。
可选的，所述资源集群间功率分配模型具体为：
Figure SMS_1
其中，f为资源集群间功率分配的目标函数；μ 1、μ 2和μ 3分别为资源集群功率分配误差的权重系数、接口智能体爬坡时间的权重系数和接口智能体平均调节成本的权重系数；P和
Figure SMS_4
分别为配电系统总调度指令和净调度指令；/>
Figure SMS_6
为第j个可再生能源的实际出力；P i为第i个资源集群接口智能体功率调度指令；λ i为第i个资源集群接口智能体的功率分配因子；/>
Figure SMS_7
和/>
Figure SMS_2
分别为第i个资源集群接口智能体功率调节容量上下限，取资源集群所有机组调节容量的总和；/>
Figure SMS_5
为第i个资源集群t时刻接口智能体功率调度指令；/>
Figure SMS_8
和
Figure SMS_9
分别为第i个资源集群接口智能体的下降爬坡速率和上升爬坡速率，取资源集群所有机组爬坡速率的平均值；N R为可再生能源数量集合，n为资源集群数量；/>
Figure SMS_3
和C i分别为第i个资源集群的平均爬坡速率和平均成本系数。
可选的，所述MSG-DDQN算法模型通过多步贪婪策略、模型参数软更新和PER对DDQN方法进行改进得到；其中，通过多步贪婪策略对DDQN方法进行改进包括：
采用四个神经网络分别近似DDQN方法中的MDP和SMDP中值函数，并采用策略提升步骤和策略评估步骤实现最优策略；其中，四个神经网络的网络参数分别为
Figure SMS_13
、/>
Figure SMS_14
、/>
Figure SMS_18
和
Figure SMS_10
，四个神经网络的输出分别为/>
Figure SMS_16
值、/>
Figure SMS_17
值、/>
Figure SMS_20
值和/>
Figure SMS_12
值，/>
Figure SMS_15
值和/>
Figure SMS_19
值分别实现MDP和SMDP中动作选择，/>
Figure SMS_21
值和/>
Figure SMS_11
值分别实现MDP和SMDP中当前状态的价值评估；
策略提升步骤中选取的多步贪婪策略
Figure SMS_22
为：
Figure SMS_23
其中，s t为智能体在t时段的状态，
Figure SMS_24
为智能体在t时段状态s t下采取动作a后的/>
Figure SMS_25
值，A为智能体动作集；
智能体通过探索获得的当前奖励r t及期望回报y kt为：
Figure SMS_26
其中，κ为多步贪婪步长因子，
Figure SMS_27
为奖励折扣因子，/>
Figure SMS_28
为智能体在t+1时段状态s t+1下采取动作a后的/>
Figure SMS_29
值；替换奖励函数/>
Figure SMS_30
为：
Figure SMS_31
其中，
Figure SMS_32
为状态s t+1下采取策略/>
Figure SMS_33
得到的/>
Figure SMS_34
值：
Figure SMS_35
其中，策略
Figure SMS_36
为：
Figure SMS_37
通过更新网络参数
Figure SMS_38
来最小化下式以实现策略提升：
Figure SMS_39
其中，
Figure SMS_40
为遵循策略/>
Figure SMS_41
后的期望值，/>
Figure SMS_42
为智能体在t时段状态s t下采取动作a t后的网络/>
Figure SMS_43
值；
策略评估步骤中，通过更新网络参数
Figure SMS_44
来最小化下式，实现对策略/>
Figure SMS_45
的更新：
Figure SMS_46
其中，
Figure SMS_47
为智能体在t+1时段状态s t+1下采取策略/>
Figure SMS_48
得到的/>
Figure SMS_49
值，/>
Figure SMS_50
为智能体在t时段状态s t下采取动作a t后的/>
Figure SMS_51
值；
其中，通过模型参数软更新对DDQN方法进行改进包括：采用下式对网络参数
Figure SMS_52
和
Figure SMS_53
进行更新：
Figure SMS_54
其中，τ为软更新权重；
其中，通过PER对DDQN方法进行改进包括：采用PER替换DDQN方法中的随机经验回放。
可选的，所述基于预训练的MSG-DDQN算法模型求解资源集群间功率分配模型包括：
设定资源集群间功率分配模型的状态空间为：
Figure SMS_55
其中，
Figure SMS_56
为调度时段；/>
Figure SMS_57
，P grid为正时表示配电系统购入的电网功率；P grid为负时表示配电系统销售的电网功率；
设定资源集群间功率分配模型的动作空间为：
Figure SMS_58
设定资源集群间功率分配模型的奖励函数为：
Figure SMS_59
其中，C为可调节常数；
基于资源集群间功率分配模型的状态空间、动作空间和奖励函数，根据配电系统的当前运行状态，通过预训练的MSG-DDQN算法模型，求解资源集群间功率分配模型，得到各资源集群接口智能体功率调度指令；
其中，预训练的MSG-DDQN算法模型，基于资源集群间功率分配模型的状态空间、动作空间和奖励函数，通过配电系统离线数据将MSG-DDQN算法模型进行离线训练得到。
可选的，所述资源集群内功率分配模型具体为：
Figure SMS_60
其中，F为资源集群内功率分配的目标函数；P i为第i个资源集群接口智能体功率调度指令；
Figure SMS_64
为第i个资源集群中的第m台分布式电源的功率调度指令；/>
Figure SMS_65
为第i个资源集群中的第m台分布式电源t时刻的功率调度指令；/>
Figure SMS_68
和/>
Figure SMS_62
分别为第i个资源集群中的第m台分布式电源的功率调节容量上限和下限；/>
Figure SMS_66
和/>
Figure SMS_69
分别为第i个资源集群中的第m台分布式电源的下降爬坡速率和上升爬坡速率；/>
Figure SMS_71
为第i个资源集群内可控分布式电源数量集合，/>
Figure SMS_61
为第i个资源集群内的第m台分布式电源的成本函数：
Figure SMS_67
；其中，/>
Figure SMS_70
、/>
Figure SMS_72
和/>
Figure SMS_63
为第i个资源集群中第m台分布式电源的成本系数。
可选的，所述成本微增量具体为：
Figure SMS_73
其中，
Figure SMS_74
为第i个资源集群中的第m台分布式电源的成本微增量。
可选的，所述基于一致性算法求解资源集群内功率分配模型时，以成本微增量作为一致性变量的更新规则为：
Figure SMS_75
其中，k为迭代次数，
Figure SMS_76
为第i个资源集群中的第m台分布式电源第k次迭代的成本微增量，/>
Figure SMS_77
为第i个资源集群内分布式电源总数，/>
Figure SMS_78
为第i个资源集群内第m台分布式电源和第i个资源集群内第h台分布式电源之间通信的权重系数，μ为功率误差调节因子，
Figure SMS_79
为第i个资源集群的不平衡功率：/>
Figure SMS_80
；
当
Figure SMS_81
时算法收敛，ε为第i个资源集群允许的最大功率误差；
资源集群内功率分配模型的求解结果为：
Figure SMS_82
其中，
Figure SMS_83
为第i个资源集群中第m台分布式电源第k次迭代的功率调度指令。
本发明第二方面，提供一种配电系统功率分配系统，包括：
数据获取模块，用于获取配电系统的当前运行状态；
资源集群间分配模块，用于根据配电系统的当前运行状态，基于预训练的MSG-DDQN算法模型求解资源集群间功率分配模型，得到各资源集群接口智能体功率调度指令；
资源集群内分配模块，用于遍历各资源集群，根据当前资源集群接口智能体功率调度指令，以成本微增量作为一致性变量，基于一致性算法求解资源集群内功率分配模型，得到当前资源集群内各分布式电源的功率调度指令。
本发明第三方面，提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述配电系统功率分配方法的步骤。
本发明第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述配电系统功率分配方法的步骤。
与现有技术相比，本发明具有以下有益效果：
本发明配电系统功率分配方法，首先基于预训练的MSG-DDQN算法模型求解资源集群间功率分配模型，得到各资源集群接口智能体功率调度指令，实现各资源集群之间的功率分配。然后通过遍历各资源集群，根据当前资源集群接口智能体功率调度指令，基于一致性算法求解资源集群内功率分配模型，得到当前资源集群内各分布式电源的功率调度指令，实现各资源集群内的功率分配。基于资源集群划分提出分层分布式功率分配框架，通过对资源集群间和资源集群内的功率优化分配求解，达到配电系统功率就地平衡和可再生能源的就地消纳；基于MSG-DDQN算法模型使智能体能较快收敛到最优值，有效提升了训练速度；通过资源集群的管理模式，解决了各分布式单元的隐私保密问题，减轻了计算负担，使系统收敛速度和鲁棒性得以保障，对源荷不确定性适应能力较强，降低对预测准确性的要求，对随机变换的源荷特性能实时给出功率分配结果。
附图说明
图1为本发明实施例的配电系统功率分配方法流程图。
图2为本发明实施例的资源集群划分示意图。
图3为本发明实施例的配电系统功率分配方法具体流程图。
图4为本发明实施例的配电系统功率分配系统结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如背景技术中所介绍的，目前有必要研究自适应性强、模型依赖程度低的方法来解决配电系统功率优化分配问题。申请人在实际工作中发现，深度强化学习将深度学习强大的特征挖掘能力和强化学习的决策能力相结合，通过和环境的不断交互获得奖励，最终学习到最佳策略。深度强化学习采用离线数据进行训练后可用于在线决策，对源荷不确定性适应能力较强，因此深度强化学习也为配电系统优化决策问题提供了一种思路。然而，目前深度强化学习在新能源渗透下配电系统优化运行方面虽然出现了较多的优秀成果，但是未涉及新能源波动及负荷不确定下配电系统的功率优化分配问题。
首先，介绍本发明实施例中涉及的相关算法：
Q-Learning算法以MDP（Markov decision process，马尔科夫决策过程）为基础，是一种与模型无关的强化学习算法。基于Q学习算法进行优化的一般步骤为：设计动作状态空间，对连续动作空间以及状态空间进行离散化，根据系统优化目标和运行约束建立Q学习奖惩机制，智能体通过不断试错探索，与环境进行交互并更新Q值表，最终达到自主选择最优动作的目标。在Q值表的每次训练内，针对某时刻t，根据该时刻状态s t从Q值表中选取动作a t。将该动作作用于环境得到即时奖励r t，并完成状态转移进入下一个状态s t+1。根据贝尔曼最优准则，得到最优策略所对应的最优指标为该时刻下智能体动作a t所得到的即时奖励r t与后续状态转移所得到的最大Q值
Figure SMS_84
之和。因此可根据贝尔曼最优准则进行Q值表的更新：
Figure SMS_85
（1）
经过多次训练后，智能体可根据输入的状态信息和Q值表，做出系统最优控制动作。
然而，Q-Learning算法依赖于Q值表的创建，不适用于含有大规模分布式电源的智能配电系统优化问题求解。问题规模增大导致动作空间维度以及网络复杂度增大，动作空间增大导致Q指标维度大幅度增大，提高训练难度，且Q指标拟合能力差，难以对高复杂度的智能配电系统网络进行建模。
基于值函数的DQN（Deep Q network，深度Q网络）是将Q-learning与深度神经网络相结合，使用神经网络的非线性拟合能力来实现值函数近似，通过更新网络参数θ最小化损失函数：
Figure SMS_86
（2）
其中，
Figure SMS_87
和y t分别为智能体在t时段状态s t采取动作a t后的Q值函数和期望回报值，/>
Figure SMS_88
为遵循策略/>
Figure SMS_89
后的期望值。
Figure SMS_90
（3）
其中，r t为智能体在选取动作a t下，由t时段状态s t转移到t+1时段状态s t+1的奖励函数，γ为奖励折扣因子，a为智能体在状态s t+1时获得Q值最大时的智能体动作。
采用随机梯度下降来更新神经网络参数θ：
Figure SMS_91
（4）
其中，α是学习率。当式（2）所示的损失函数求得最优Q*时，可获得所有动作的最大累计奖励V(s)，即得到最优策略π*。
如式（3）所示，传统DQN策略在动作价值函数选择时采用最大估计值，这通常会高估Q值大小，为了解决过估计问题，提出了DDQN（Double deep Q network，深度双Q网络）。DDQN的核心是通过使用两个神经网络实现MDP中下一个状态动作选择和评估的解耦，即用
Figure SMS_92
来选择动作，用/>
Figure SMS_93
来评估当前状态的价值，两个网络参数分别为/>
Figure SMS_94
和/>
Figure SMS_95
。
在DDQN策略中采用一步贪婪策略选择动作
Figure SMS_96
：
Figure SMS_97
（6）
其中，A为智能体动作集。
与式（3）不同的是，DDQN策略中期望回报值采用a 1-step对应的
Figure SMS_98
值，即：
Figure SMS_99
（7）
然而，由式（6）可得，DDQN中的下一状态动作选取中采用单步贪婪策略进行迭代更新，对奖励前瞻属性获取不足，缺乏对状态空间的有效探索，容易陷入局部最优解。此外，在DDQN中为了提高算法稳定性，在传统DQN的Q网络的基础之上又引入了一个目标网络
Figure SMS_100
，该网络和Q网络的结构和初始的权重完全一样的，/>
Figure SMS_101
网络的参数采用硬更新方式每隔一段时间直接采用Q网络参数赋值进行更新，极易引起算法震荡。并且，DDQN认为经验池中缓存的历史数据具有同等重要性，在学习时采用均匀随机抽样来训练网络，但不同数据对梯度学习的贡献程度是不同的，采样强相关历史数据会降低学习效率，甚至过拟合。
基于上述分析，本发明配电系统功率分配方法，以配电系统功率优化分配为切入点，首先给出了配电系统分层分布式功率分配技术架构，然后针对智能配电系统资源集群划分，提出了以接口智能体为主体的基于多步贪婪策略改进的DDQN策略，即MSG-DDQN算法模型来实现资源集群间功率优化分配，最后基于一致性算法实现各资源集群内各分布式电源的功率优化分配。
下面结合附图对本发明做进一步详细描述：
参见图1，本发明一实施例中，提供一种配电系统功率分配方法，通过将深度强化学习方法和一致性方法结合，来求解配电系统功率分配问题。具体的，该配电系统功率分配方法包括以下步骤：
S1：获取配电系统的当前运行状态。
S2：根据配电系统的当前运行状态，基于预训练的MSG-DDQN算法模型求解资源集群间功率分配模型，得到各资源集群接口智能体功率调度指令。
S3：遍历各资源集群，根据当前资源集群接口智能体功率调度指令，以成本微增量作为一致性变量，基于一致性算法求解资源集群内功率分配模型，得到当前资源集群内各分布式电源的功率调度指令。
本实施方式中，基于资源集群对配电系统进行划分，并建立相应的协调调度层和自治层，其中，资源集群的划分可依据地理位置、商业代理关系或聚类算法实现。参见图2，将配电系统划分为多个资源集群后建立双层功率分配结构，上层为资源集群间的协调调度层，即通过各资源集群的接口智能体间的协同交互实现配电系统总调度指令到各资源集群的分配，进而达到配电系统的功率就地平衡和可再生能源的就地消纳。下层为资源集群自治层，即资源集群内的各可控分布式电源通过相互通信实现资源集群的总调度指令到各分布式电源的分配，进而到达自身经济利益的最大化。基于此，配电系统的当前运行状态包括调度时段t、配电系统的净交换功率以及各资源集群当前的实际分配功率。
具体的，基于协调调度层和自治层建立配电系统双层功率分配数学模型。该配电系统双层功率分配数学模型包括协调调度层的资源集群间功率分配模型以及自治层的资源集群内功率分配模型。
本实施方式中，建立协调调度层的资源集群间功率分配模型综合考虑系统功率分配误差、接口智能体的爬坡时间和接口智能体平均调节成本，其数学模型描述如下：
Figure SMS_102
（8）
其中，f为资源集群间功率分配的目标函数；μ 1、μ 2和μ 3分别为资源集群功率分配误差的权重系数、接口智能体爬坡时间的权重系数和接口智能体平均调节成本的权重系数；P和
Figure SMS_105
分别为配电系统总调度指令和净调度指令；/>
Figure SMS_106
为第j个可再生能源的实际出力；P i为第i个资源集群接口智能体功率调度指令；λ i为第i个资源集群接口智能体的功率分配因子；/>
Figure SMS_109
和/>
Figure SMS_103
分别为第i个资源集群接口智能体功率调节容量上下限，取资源集群所有机组调节容量的总和；/>
Figure SMS_107
为第i个资源集群t时刻接口智能体功率调度指令；/>
Figure SMS_108
和
Figure SMS_110
分别为第i个资源集群接口智能体的下降爬坡速率和上升爬坡速率，取资源集群所有机组爬坡速率的平均值；N R为可再生能源数量集合，n为资源集群数量；/>
Figure SMS_104
和C i分别为第i个资源集群的平均爬坡速率和平均成本系数。
本实施方式中，建立自治层的资源集群内功率分配模型考虑分布式电源的经济调度问题，则资源集群内功率分配模型的数学模型描述如下：
Figure SMS_111
（9）
其中，F为资源集群内功率分配的目标函数；P i为第i个资源集群接口智能体功率调度指令；
Figure SMS_113
为第i个资源集群中的第m台分布式电源的功率调度指令；/>
Figure SMS_116
为第i个资源集群中的第m台分布式电源t时刻的功率调度指令；/>
Figure SMS_118
和/>
Figure SMS_114
分别为第i个资源集群中的第m台分布式电源的功率调节容量上限和下限；/>
Figure SMS_115
和/>
Figure SMS_117
分别为第i个资源集群中的第m台分布式电源的下降爬坡速率和上升爬坡速率；/>
Figure SMS_119
为第i个资源集群内可控分布式电源数量集合，/>
Figure SMS_112
为第i个资源集群内的第m台分布式电源的成本函数：
Figure SMS_120
（10）
Figure SMS_121
、/>
Figure SMS_122
和/>
Figure SMS_123
为第i个资源集群中第m台分布式电源的成本系数。
本实施方式中，通过将MSG（Multi-step greedy，多步贪婪策略）融入DDQN中提高性能，提出了MSG-DDQN算法模型，具体的，所述MSG-DDQN算法模型通过多步贪婪策略、模型参数软更新和PER（Prioritized experience replay，优先经验回放）对DDQN方法进行改进得到。
其中，通过多步贪婪策略对DDQN方法进行改进包括：
采用四个神经网络分别近似DDQN方法中的MDP和SMDP中值函数，并采用策略提升步骤和策略评估步骤实现最优策略；其中，四个神经网络的网络参数分别为
Figure SMS_126
、/>
Figure SMS_128
、/>
Figure SMS_130
和
Figure SMS_125
，四个神经网络的输出分别为/>
Figure SMS_129
值、/>
Figure SMS_131
值、/>
Figure SMS_133
值和/>
Figure SMS_124
值分别实现MDP和SMDP中动作选择，/>
Figure SMS_127
值和/>
Figure SMS_132
值分别实现MDP和SMDP中当前状态的价值评估。
其中，策略提升步骤中选取的多步贪婪策略
Figure SMS_134
为：
Figure SMS_135
（11）
其中，s t为智能体在t时段的状态，
Figure SMS_136
为智能体在t时段状态s t下采取动作a后的/>
Figure SMS_137
值，A为智能体动作集。
智能体通过探索获得的当前奖励r t及期望回报y kt为：
Figure SMS_138
（12）
其中，κ为多步贪婪步长因子，
Figure SMS_139
为奖励折扣因子，/>
Figure SMS_140
为智能体在t+1时段状态s t+1下采取动作a后的/>
Figure SMS_141
值；替换奖励函数/>
Figure SMS_142
为：
Figure SMS_143
（13）
其中，
Figure SMS_144
为状态s t+1下采取策略/>
Figure SMS_145
得到的/>
Figure SMS_146
值：
Figure SMS_147
（14）
其中，策略
Figure SMS_148
为：
Figure SMS_149
（15）
通过更新网络参数
Figure SMS_150
来最小化式（16）以实现策略提升：
Figure SMS_151
（16）
其中，
Figure SMS_152
为智能体在t时段状态s t下采取动作a t后的网络/>
Figure SMS_153
值。
策略评估步骤中，通过更新网络参数
Figure SMS_154
来最小化式（17），实现对策略/>
Figure SMS_155
的更新：
Figure SMS_156
（17）
其中，
Figure SMS_157
为智能体在t+1时段状态s t+1下采取策略/>
Figure SMS_158
得到的/>
Figure SMS_159
值，/>
Figure SMS_160
为智能体在t时段状态s t下采取动作a t后的/>
Figure SMS_161
值。
同时，为了提高MSG-DDQN算法模型学习的稳定性，采用软更新方法对网络参数
Figure SMS_162
和/>
Figure SMS_163
进行更新，即：
Figure SMS_164
（18）
其中，τ为软更新权重。
并且，在MSG-DDQN算法模型中采用PER替换DDQN方法的随机经验回放来提高算法性能。具体的，首先以经验e i的时间差分(Temporal difference, TD)误差
Figure SMS_165
的倒数作为优先级来评估e i的重要性：
Figure SMS_166
（19）
其中，σ是极小的正数。为提高鲁棒性，将优先级按指数分布归一化处理，则经验e i的抽样概率为：
Figure SMS_167
（20）
其中，N为经验池大小，
Figure SMS_168
，α为优先级权重，α=0时为均匀采样。
抽样小批量经验进行梯度学习时，应保证用以更新网络的样本分布和原本经验池样本分布一致，而PER会使优先级高的经验多次回放，和原本经验池样本有偏差。通常采用加权重要性采样来消除偏差，即在梯度更新时加入重要性采样权重ω i来衡量经验与策略的分布差距：
Figure SMS_169
（21）
其中，1/N为随机采样概率，η是重要性采样参数，当取η=0时表示所用经验重要采样都是1。
本实施方式中，所述基于MSG-DDQN算法模型求解资源集群间功率分配模型包括：设定资源集群间功率分配模型的状态空间、设定资源集群间功率分配模型的动作空间、设定资源集群间功率分配模型的奖励函数以及预训练等步骤。
其中，设定资源集群间功率分配模型的状态空间具体包括：选取状态空间包括调度时段t和配电系统的净交换功率
Figure SMS_170
，同时考虑资源集群的接口智能体爬坡速率约束，所以将n个资源集群的实际分配功率P i(/>
Figure SMS_171
)也作为状态，因此，设定资源集群间功率分配模型的状态空间为：
Figure SMS_172
（22）
对于资源集群间功率分配模型的动作空间，对于任意调度时段t，选取配电系统内n个资源集群的功率分配因子λ i作为智能体动作，则将设定资源集群间功率分配模型的动作空间为：
Figure SMS_173
（23）
同时，资源集群调节功率受爬坡速率的限制，当资源集群的接口智能体接收的下一时刻的功率调度指令超过其爬坡功率时，由式（8）可得，配电系统调度指令会出现偏差，受可再生能源出力波动性的影响，功率偏差会愈发突显。为了保证配电系统安全稳定运行，任意时刻母线功率保持绝对平衡，即：
Figure SMS_174
（24）
其中，P grid为正时表示配电系统购入的电网功率；P grid为负时表示配电系统销售的电网功率。
对于设定资源集群间功率分配模型的奖励函数，以最小化每一个调度周期的功率分配误差、接口智能体爬升时间函数和接口智能体平均调节成本函数为优化目标，设计资源集群间功率分配模型的奖励函数为：
Figure SMS_175
（25）
其中，C为可调节常数。
然后，基于资源集群间功率分配模型的状态空间、动作空间和奖励函数，通过离线数据将MSG-DDQN算法模型进行离线训练，得到预训练的MSG-DDQN算法模型。
具体的，基于MSG-DDQN算法模型的资源集群间功率分配模型求解要进行离线训练后才能在线测试。在离线训练中MSG-DDQN算法模型需要不断与环境进行交互，训练得到满足经济性和快速性的最优的网络参数
Figure SMS_176
、/>
Figure SMS_177
、/>
Figure SMS_178
和/>
Figure SMS_179
，离线训练流程如表1所示。MSG-DDQN算法模型每次迭代时通过步骤4~15的策略提升步骤和步骤16~26的策略评估步骤对配电系统调度周期T的历史数据采用PER方式抽样后进行离线训练，通过大量的离线训练得到最优策略。
表1 MSG-DDQN算法模型离线训练流程伪代码表
Figure SMS_180
最终，基于资源集群间功率分配模型的状态空间、动作空间和奖励函数，根据配电系统的当前运行状态，通过预训练的MSG-DDQN算法模型求解资源集群间功率分配模型，得到各资源集群接口智能体功率调度指令。
本实施方式中，从经济调度问题考虑资源集群内功率分配，即各分布式电源按照相等的耗量微增量运行，使系统损耗最低。基于此，选取成本微增量作为一致性变量，定义成本微增量为：
Figure SMS_181
（26）
其中，
Figure SMS_182
为第i个资源集群中的第m台分布式电源的成本微增量。
基于一致性算法求解资源集群内功率分配模型时，成本微增量更新规则为：
Figure SMS_183
（27）
其中，k为迭代次数，
Figure SMS_184
为第i个资源集群中的第m台分布式电源第k次迭代的成本微增量，/>
Figure SMS_185
为第i个资源集群内分布式电源总数，/>
Figure SMS_186
第i个资源集群内第m台分布式电源和第i个资源集群内第h台分布式电源之间通信的权重系数，μ为功率误差调节因子，/>
Figure SMS_187
为第i个资源集群的不平衡功率，由该资源集群的接口智能体负责接收及汇总：
Figure SMS_188
（28）
当
Figure SMS_189
时算法收敛，ε为第i个资源集群允许的最大功率误差。
由式（27）可以看出，一致性变量更新受分布式电源调节容量限制，当出现分布式电源功率越限时，该分布式电源应从网络拓扑中退出，相邻分布式电源应修改其拉普拉斯矩阵元素。因此，对于资源集群内功率分配调度问题，式（9）所示的解可表示为：
Figure SMS_190
其中，
Figure SMS_191
为第i个资源集群中第m台分布式电源第k次迭代的功率调度指令。
参见图3，示出了本发明配电系统功率分配方法的具体流程，将当前调度t时刻的配电系统运行状态输入预先离线训练好的MSG-DDQN算法模型的四个神经网络中，在每个调度周期给出动作的Q值，并选择最大Q值对应的动作输出，若配电系统功率偏差为0时，动作为n个资源集群的分配因子，若配电功率偏差不为0时，根据功率偏差可得配电网购入/销售给电网的功率量和各资源集群调节限幅输出值。当获得各资源集群的相应功率调度指令后对各资源集群内的分布式电源进行功率分配，各资源集群内的各分布式电源执行式（27）所示的迭代过程，如出现分布式电源的功率超过其限值时，分布式电源退出网络拓扑，并更改网络拓扑的连接权重，直至式（28）收敛。
综上所述，本发明配电系统功率分配方法，基于预训练的MSG-DDQN算法模型求解资源集群间功率分配模型，得到各资源集群接口智能体功率调度指令，实现各资源集群之间的功率分配。然后通过遍历各资源集群，根据当前资源集群接口智能体功率调度指令，基于一致性算法求解资源集群内功率分配模型，得到当前资源集群内各分布式电源的功率调度指令，实现各资源集群内的功率分配。基于资源集群划分提出分层分布式功率分配框架，通过对资源集群间和资源集群内的功率优化分配求解，达到配电系统功率就地平衡和可再生能源的就地消纳；基于MSG-DDQN算法模型使智能体能较快收敛到最优值，有效提升了训练速度；通过资源集群的管理模式，解决了各分布式单元的隐私保密问题，减轻了计算负担，使系统收敛速度和鲁棒性得以保障，对源荷不确定性适应能力较强，降低对预测准确性的要求，对随机变换的源荷特性能实时给出功率分配结果。
可见，本发明配电系统功率分配方法，能够在新能源波动情况下解决功率的优化分配问题，具有较快的收敛速度和较低的调节成本。
下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未披露的细节，请参照本发明方法实施例。
参见图4，本发明再一实施例中，提供一种配电系统功率分配系统，能够用于实现上述的配电系统功率分配方法，具体的，该配电系统功率分配系统包括数据获取模块、资源集群间分配模块以及资源集群内分配模块。
其中，数据获取模块用于获取配电系统的当前运行状态；资源集群间分配模块用于根据配电系统的当前运行状态，基于预训练的MSG-DDQN算法模型求解资源集群间功率分配模型，得到各资源集群接口智能体功率调度指令；资源集群内分配模块用于遍历各资源集群，根据当前资源集群接口智能体功率调度指令，以成本微增量作为一致性变量，基于一致性算法求解资源集群内功率分配模型，得到当前资源集群内各分布式电源的功率调度指令。
前述的配电系统功率分配方法的实施例涉及的各步骤的所有相关内容均可以援引到本发明实施例中的配电系统功率分配系统所对应的功能模块的功能描述，在此不再赘述。
本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本发明各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于配电系统功率分配方法的操作。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质（Memory），所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序（包括程序代码）。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关配电系统功率分配方法的相应步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种配电系统功率分配方法，其特征在于，包括：
获取配电系统的当前运行状态；
根据配电系统的当前运行状态，基于预训练的MSG-DDQN算法模型求解资源集群间功率分配模型，得到各资源集群接口智能体功率调度指令；
遍历各资源集群，根据当前资源集群接口智能体功率调度指令，以成本微增量作为一致性变量，基于一致性算法求解资源集群内功率分配模型，得到当前资源集群内各分布式电源的功率调度指令。
2.根据权利要求1所述的配电系统功率分配方法，其特征在于，所述资源集群间功率分配模型具体为：
Figure QLYQS_1
其中，f为资源集群间功率分配的目标函数；μ 1、μ 2和μ 3分别为资源集群功率分配误差的权重系数、接口智能体爬坡时间的权重系数和接口智能体平均调节成本的权重系数；P和
Figure QLYQS_4
分别为配电系统总调度指令和净调度指令；/>
Figure QLYQS_6
为第j个可再生能源的实际出力；P i为第i个资源集群接口智能体功率调度指令；λ i为第i个资源集群接口智能体的功率分配因子；/>
Figure QLYQS_8
和/>
Figure QLYQS_3
分别为第i个资源集群接口智能体功率调节容量上下限，取资源集群所有机组调节容量的总和；/>
Figure QLYQS_5
为第i个资源集群t时刻接口智能体功率调度指令；/>
Figure QLYQS_7
和
Figure QLYQS_9
分别为第i个资源集群接口智能体的下降爬坡速率和上升爬坡速率，取资源集群所有机组爬坡速率的平均值；N R为可再生能源数量集合，n为资源集群数量；/>
Figure QLYQS_2
和C i分别为第i个资源集群的平均爬坡速率和平均成本系数。
3.根据权利要求2所述的配电系统功率分配方法，其特征在于，所述MSG-DDQN算法模型通过多步贪婪策略、模型参数软更新和PER对DDQN方法进行改进得到；其中，通过多步贪婪策略对DDQN方法进行改进包括：
采用四个神经网络分别近似DDQN方法中的MDP和SMDP中值函数，并采用策略提升步骤和策略评估步骤实现最优策略；其中，四个神经网络的网络参数分别为
Figure QLYQS_11
、/>
Figure QLYQS_14
、/>
Figure QLYQS_17
和/>
Figure QLYQS_12
，四个神经网络的输出分别为/>
Figure QLYQS_16
值、/>
Figure QLYQS_18
值、/>
Figure QLYQS_20
值和/>
Figure QLYQS_10
值，/>
Figure QLYQS_15
值和/>
Figure QLYQS_19
值分别实现MDP和SMDP中动作选择，/>
Figure QLYQS_21
值和/>
Figure QLYQS_13
值分别实现MDP和SMDP中当前状态的价值评估；
策略提升步骤中选取的多步贪婪策略
Figure QLYQS_22
为：
Figure QLYQS_23
其中，s t为智能体在t时段的状态，
Figure QLYQS_24
为智能体在t时段状态s t下采取动作a后的/>
Figure QLYQS_25
值，A为智能体动作集；
智能体通过探索获得的当前奖励r t及期望回报y kt为：
Figure QLYQS_26
其中，κ为多步贪婪步长因子，
Figure QLYQS_27
为奖励折扣因子，/>
Figure QLYQS_28
为智能体在t+1时段状态s t+1下采取动作a后的/>
Figure QLYQS_29
值；替换奖励函数/>
Figure QLYQS_30
为：
Figure QLYQS_31
其中，
Figure QLYQS_32
为状态s t+1下采取策略/>
Figure QLYQS_33
得到的/>
Figure QLYQS_34
值：
Figure QLYQS_35
其中，策略
Figure QLYQS_36
为：
Figure QLYQS_37
通过更新网络参数
Figure QLYQS_38
来最小化下式以实现策略提升：
Figure QLYQS_39
其中，
Figure QLYQS_40
为遵循策略/>
Figure QLYQS_41
后的期望值，/>
Figure QLYQS_42
为智能体在t时段状态s t下采取动作a t后的网络/>
Figure QLYQS_43
值；
策略评估步骤中，通过更新网络参数
Figure QLYQS_44
来最小化下式，实现对策略/>
Figure QLYQS_45
的更新：
Figure QLYQS_46
其中，
Figure QLYQS_47
为智能体在t+1时段状态s t+1下采取策略/>
Figure QLYQS_48
得到的/>
Figure QLYQS_49
值，/>
Figure QLYQS_50
为智能体在t时段状态s t下采取动作a t后的/>
Figure QLYQS_51
值；
其中，通过模型参数软更新对DDQN方法进行改进包括：采用下式对网络参数
Figure QLYQS_52
和/>
Figure QLYQS_53
进行更新：
Figure QLYQS_54
其中，τ为软更新权重；
其中，通过PER对DDQN方法进行改进包括：采用PER替换DDQN方法中的随机经验回放。
4.根据权利要求3所述的配电系统功率分配方法，其特征在于，所述基于预训练的MSG-DDQN算法模型求解资源集群间功率分配模型包括：
设定资源集群间功率分配模型的状态空间为：
Figure QLYQS_55
其中，
Figure QLYQS_56
为调度时段；/>
Figure QLYQS_57
，P grid为正时表示配电系统购入的电网功率；P grid为负时表示配电系统销售的电网功率；
设定资源集群间功率分配模型的动作空间为：
Figure QLYQS_58
设定资源集群间功率分配模型的奖励函数为：
Figure QLYQS_59
其中，C为可调节常数；
基于资源集群间功率分配模型的状态空间、动作空间和奖励函数，根据配电系统的当前运行状态，通过预训练的MSG-DDQN算法模型，求解资源集群间功率分配模型，得到各资源集群接口智能体功率调度指令；
其中，预训练的MSG-DDQN算法模型，基于资源集群间功率分配模型的状态空间、动作空间和奖励函数，通过配电系统离线数据将MSG-DDQN算法模型进行离线训练得到。
5.根据权利要求1所述的配电系统功率分配方法，其特征在于，所述资源集群内功率分配模型具体为：
Figure QLYQS_60
其中，F为资源集群内功率分配的目标函数；P i为第i个资源集群接口智能体功率调度指令；
Figure QLYQS_62
为第i个资源集群中的第m台分布式电源的功率调度指令；/>
Figure QLYQS_67
为第i个资源集群中的第m台分布式电源t时刻的功率调度指令；/>
Figure QLYQS_70
和/>
Figure QLYQS_61
分别为第i个资源集群中的第m台分布式电源的功率调节容量上限和下限；/>
Figure QLYQS_66
和/>
Figure QLYQS_68
分别为第i个资源集群中的第m台分布式电源的下降爬坡速率和上升爬坡速率；/>
Figure QLYQS_72
为第i个资源集群内可控分布式电源数量集合，/>
Figure QLYQS_63
为第i个资源集群内的第m台分布式电源的成本函数：
Figure QLYQS_65
；其中，/>
Figure QLYQS_69
、/>
Figure QLYQS_71
和/>
Figure QLYQS_64
为第i个资源集群中第m台分布式电源的成本系数。
6.根据权利要求5所述的配电系统功率分配方法，其特征在于，所述成本微增量具体为：
Figure QLYQS_73
其中，
Figure QLYQS_74
为第i个资源集群中的第m台分布式电源的成本微增量。
7.根据权利要求6所述的配电系统功率分配方法，其特征在于，所述基于一致性算法求解资源集群内功率分配模型时，以成本微增量作为一致性变量的更新规则为：
Figure QLYQS_75
其中，k为迭代次数，
Figure QLYQS_76
为第i个资源集群中的第m台分布式电源第k次迭代的成本微增量，/>
Figure QLYQS_77
为第i个资源集群内分布式电源总数，/>
Figure QLYQS_78
为第i个资源集群内第m台分布式电源和第i个资源集群内第h台分布式电源之间通信的权重系数，μ为功率误差调节因子，/>
Figure QLYQS_79
为第i个资源集群的不平衡功率：/>
Figure QLYQS_80
；
当
Figure QLYQS_81
时算法收敛，ε为第i个资源集群允许的最大功率误差；
资源集群内功率分配模型的求解结果为：
Figure QLYQS_82
其中，
Figure QLYQS_83
为第i个资源集群中第m台分布式电源第k次迭代的功率调度指令。
8.一种配电系统功率分配系统，其特征在于，包括：
数据获取模块，用于获取配电系统的当前运行状态；
资源集群间分配模块，用于根据配电系统的当前运行状态，基于预训练的MSG-DDQN算法模型求解资源集群间功率分配模型，得到各资源集群接口智能体功率调度指令；
资源集群内分配模块，用于遍历各资源集群，根据当前资源集群接口智能体功率调度指令，以成本微增量作为一致性变量，基于一致性算法求解资源集群内功率分配模型，得到当前资源集群内各分布式电源的功率调度指令。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述配电系统功率分配方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述配电系统功率分配方法的步骤。
CN202310697153.5A 2023-06-13 2023-06-13 配电系统功率分配方法、系统、计算机设备及存储介质 Active CN116436013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310697153.5A CN116436013B (zh) 2023-06-13 2023-06-13 配电系统功率分配方法、系统、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310697153.5A CN116436013B (zh) 2023-06-13 2023-06-13 配电系统功率分配方法、系统、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN116436013A true CN116436013A (zh) 2023-07-14
CN116436013B CN116436013B (zh) 2023-08-18

Family

ID=87089425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310697153.5A Active CN116436013B (zh) 2023-06-13 2023-06-13 配电系统功率分配方法、系统、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116436013B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108493943A (zh) * 2018-05-07 2018-09-04 广东工业大学 多微电网系统电能的调度方法、系统、装置及存储介质
US11056912B1 (en) * 2021-01-25 2021-07-06 PXiSE Energy Solutions, LLC Power system optimization using hierarchical clusters
CN113507110A (zh) * 2021-06-20 2021-10-15 东北电力大学 提高配电网中新能源消纳的分布式储能集群优化控制方法
CN114243797A (zh) * 2021-12-15 2022-03-25 中国电力科学研究院有限公司 一种分布式电源优化调度方法、系统、设备及存储介质
CN114430165A (zh) * 2021-11-25 2022-05-03 南京师范大学 基于深度模型预测的微网群智能协调控制方法和装置
WO2022160705A1 (zh) * 2021-01-26 2022-08-04 中国电力科学研究院有限公司 综合能源系统调度模型构建方法、装置、介质及电子设备
CN115085202A (zh) * 2022-07-26 2022-09-20 中国电力科学研究院有限公司 电网多区域智能功率协同优化方法、装置、设备及介质
CN116185645A (zh) * 2023-04-28 2023-05-30 联通沃音乐文化有限公司 基于神经网络的集群资源智能调度方法、系统及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108493943A (zh) * 2018-05-07 2018-09-04 广东工业大学 多微电网系统电能的调度方法、系统、装置及存储介质
US11056912B1 (en) * 2021-01-25 2021-07-06 PXiSE Energy Solutions, LLC Power system optimization using hierarchical clusters
WO2022160705A1 (zh) * 2021-01-26 2022-08-04 中国电力科学研究院有限公司 综合能源系统调度模型构建方法、装置、介质及电子设备
CN113507110A (zh) * 2021-06-20 2021-10-15 东北电力大学 提高配电网中新能源消纳的分布式储能集群优化控制方法
CN114430165A (zh) * 2021-11-25 2022-05-03 南京师范大学 基于深度模型预测的微网群智能协调控制方法和装置
CN114243797A (zh) * 2021-12-15 2022-03-25 中国电力科学研究院有限公司 一种分布式电源优化调度方法、系统、设备及存储介质
CN115085202A (zh) * 2022-07-26 2022-09-20 中国电力科学研究院有限公司 电网多区域智能功率协同优化方法、装置、设备及介质
CN116185645A (zh) * 2023-04-28 2023-05-30 联通沃音乐文化有限公司 基于神经网络的集群资源智能调度方法、系统及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐康仪;: "基于动态实时电价的电动汽车集群分层优化调度", 电力学报, no. 01 *
杨家豪;: "基于一致性算法的孤岛型微电网群实时协同功率分配", 电力系统自动化, no. 05 *
王绍民;陈力力;李昭赫;孙鹏;: "可再生能源与热电联合响应的区域多能源电网集群运行优化模型", 可再生能源, no. 04 *

Also Published As

Publication number Publication date
CN116436013B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
Ullah et al. Short-term prediction of residential power energy consumption via CNN and multi-layer bi-directional LSTM networks
Wang et al. Effective sparse adaboost method with ESN and FOA for industrial electricity consumption forecasting in China
Jasmin et al. Reinforcement learning approaches to economic dispatch problem
US20210133536A1 (en) Load prediction method and apparatus based on neural network
Eren et al. Introduction to optimization
WO2020040763A1 (en) Real-time production scheduling with deep reinforcement learning and monte carlo tree search
CN108321795B (zh) 基于深度确定性策略算法的发电机组启停配置方法及系统
Prayogo et al. Optimization model for construction project resource leveling using a novel modified symbiotic organisms search
Ni et al. A multiagent Q-learning-based optimal allocation approach for urban water resource management system
CN111047085B (zh) 一种基于元学习的混合动力车辆工况预测方法
CN112685165B (zh) 一种基于联合强化学习策略的多目标云工作流调度方法
Papageorgiou et al. Application of fuzzy cognitive maps to water demand prediction
CN106134136A (zh) 计算针对广域网上的数据传送的长期调度
CN105678407A (zh) 一种基于人工神经网络的日用电量预测方法
Hinojosa et al. Short-term hydrothermal generation scheduling solved with a mixed-binary evolutionary particle swarm optimizer
Cheng et al. Forecasting monthly runoff time series by single-layer feedforward artificial neural network and grey wolf optimizer
CN104217258A (zh) 一种电力负荷条件密度预测方法
CN116345578B (zh) 基于深度确定性策略梯度的微电网运行优化调度方法
CN116451880B (zh) 一种基于混合学习的分布式能源优化调度方法及装置
Nikoofal Sahl Abadi et al. Multiobjective model for solving resource‐leveling problem with discounted cash flows
El Bourakadi et al. Multi-agent system based sequential energy management strategy for Micro-Grid using optimal weighted regularized extreme learning machine and decision tree
Huang et al. Mobile network traffic prediction based on seasonal adjacent windows sampling and conditional probability estimation
CN116436013B (zh) 配电系统功率分配方法、系统、计算机设备及存储介质
Klamkin et al. Active bucketized learning for ACOPF optimization proxies
An et al. Optimal scheduling for charging and discharging of electric vehicles based on deep reinforcement learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant