CN113326994A - 一种考虑源荷储互动的虚拟电厂能量协同优化方法 - Google Patents

一种考虑源荷储互动的虚拟电厂能量协同优化方法 Download PDF

Info

Publication number
CN113326994A
CN113326994A CN202110760933.0A CN202110760933A CN113326994A CN 113326994 A CN113326994 A CN 113326994A CN 202110760933 A CN202110760933 A CN 202110760933A CN 113326994 A CN113326994 A CN 113326994A
Authority
CN
China
Prior art keywords
power
load
action
optimization
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110760933.0A
Other languages
English (en)
Inventor
姚丽
胡俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202110760933.0A priority Critical patent/CN113326994A/zh
Publication of CN113326994A publication Critical patent/CN113326994A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/12—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
    • H02J3/14—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load by switching loads on to, or off from, network, e.g. progressively balanced loading
    • H02J3/144—Demand-response operation of the power transmission or distribution network
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28—Arrangements for balancing of the load in a network by storage of energy
    • H02J3/32—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/381—Dispersed generators
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/22—The renewable source being solar energy
    • H02J2300/24—The renewable source being solar energy of photovoltaic origin
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2310/00—The network for supplying or distributing electric power characterised by its spatial reach or by the load
    • H02J2310/50—The network for supplying or distributing electric power characterised by its spatial reach or by the load for selectively controlling the operation of the loads
    • H02J2310/56—The network for supplying or distributing electric power characterised by its spatial reach or by the load for selectively controlling the operation of the loads characterised by the condition upon which the selective controlling is based
    • H02J2310/62—The condition being non-electrical, e.g. temperature
    • H02J2310/64—The condition being economic, e.g. tariff based load management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B70/00—Technologies for an efficient end-user side electric power management and consumption
    • Y02B70/30—Systems integrating technologies related to power network operation and communication or information technologies for improving the carbon footprint of the management of residential or tertiary loads, i.e. smart grids as climate change mitigation technology in the buildings sector, including also the last stages of power distribution and the control, monitoring or operating management systems at local level
    • Y02B70/3225—Demand response systems, e.g. load shedding, peak shaving
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy
    • Y02E10/56—Power conversion systems, e.g. maximum power point trackers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
    • Y02E40/70—Smart grids as climate change mitigation technology in the energy generation sector
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S20/00—Management or operation of end-user stationary applications or the last stages of power distribution; Controlling, monitoring or operating thereof
    • Y04S20/20—End-user application control systems
    • Y04S20/222—Demand response systems, e.g. load shedding, peak shaving

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Operations Research (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明属于电力系统优化调度领域，具体涉及一种考虑源荷储互动的虚拟电厂能量协同优化方法。本发明基于电力系统在线运行状态数据采集，设计了一种采用竞争深度Q网络(dueling deep Q network，DDQN)结构的无模型深度强化学习(deep reinforcement learning，DRL)方法，在实际光伏出力、日负荷波动情况下，以蓄电池和可中断负荷配合进行能量优化。首先构建了基于DDQN的虚拟电厂(virtual power plant，VPP)体系结构，接着将VPP的能量管理问题公式化为马尔科夫决策过程(Markov decision process，MDP)，分别定义了状态、动作和奖励函数。最后将基于DDQN的DRL算法应用到具有最大累积奖励的MDP求解中进行训练与验证，以获得最大利益下蓄电池与可中断负荷优化结果。

Description

一种考虑源荷储互动的虚拟电厂能量协同优化方法
专利领域
本发明属于电力系统优化调度领域，具体涉及一种考虑源荷储互动的虚拟电厂能量协同优化方法。
背景技术
2016年能源局发布的《能源生产和消费革命战略》中明确表示2030年全国非化石能源发电占比要达到15％，2050年则要超过50％。在此背景下以分布式电源(distributedgenerator,DG)为主的发电行业迅速发展，所占比重逐年增长。DG发电具有很多优点如靠近用户侧弥补了集中式发电的不足，降低了输送损耗，但是，DG由于存在容量小、数量大、分布不均等问题，使得接入会给电网的稳定运行带来了潮流改变、谐波变化、电压闪变等技术难题，大电网往往限制其接入。有文献明确指出单纯的从源源协调，源荷、源储互动等方面进行研究难以实现智能电网的发展需求，只有源荷储全面互动、协调平衡才能适应智能电网的发展需求。虚拟电厂可以有效地将DG、储能系统、可控负荷、电动汽车等分布式能源(distributed energy resources,DERs)聚合及协调优化，作为一个特殊电厂进行统一管理并参与电力市场调度。但现有的VPP能量管理方面的研究主要是以运行成本最低或收益最大为目标，采用线性、动态规划或启发式算法来实现优化求解，但是这种优化方式依赖于物理模型或数学模型的准确建立，求解时间长，在分布式能源出力不确定、负荷随机波动等实际情况下，传统解法所得结果与实际电网运行需求具有较大误差。所以，需要一种不需要精确建模、能快速求解的考虑源荷储互动的虚拟电厂能量协同优化方法。
发明内容
1、一种考虑源荷储互动的虚拟电厂能量协同优化方法主要包含如下步骤：
步骤A.提出虚拟电厂能量管理系统架构，对含有光-蓄-荷的互补系统构建虚拟电厂优化调度模型，并提出系统约束条件；
步骤B.构建用于VPP能量管理的马尔科夫决策模型，确定智能体决策所需的输入状态空间st与动作空间At以及设置智能体与环境交互的奖励函数Rt+1；
步骤C.构建基于DDQN算法的虚拟电厂能量优化管理模型，进行智能体训练；
步骤D.通过在线运行状态数据采集，输入状态送给训练后的智能体，智能体根据接受状态给出蓄电池以及可中断负荷功率优化结果。
2、步骤A中虚拟电厂优化调度模型具体为：
目标在满足安全约束条件下，研究的目标函数为所有优化时间段内总收益最大，即
Figure BDA0003149050430000021
式中，T为优化周期本文取一天96个15min；
Figure BDA0003149050430000022
分别表示购、售电价格；
Figure BDA0003149050430000023
为可中断负荷补偿单位成本；
Figure BDA0003149050430000024
为购、售电功率，同一时刻仅存在购电或售电一种情况；
Figure BDA0003149050430000025
可中断负荷切断补偿功率。
考虑如下约束：
1)功率平衡约束
本发明的未考虑系统网损，因此系统功率应满足约束为：
Figure BDA0003149050430000026
式中
Figure BDA0003149050430000027
表示外部电网传输量，大于0为购电，小于0为售电；
Figure BDA0003149050430000028
代表t时刻负荷消耗量；
Figure BDA0003149050430000029
为光伏发电量；
Figure BDA00031490504300000210
为电池充放功率，大于0为放电、小于0为充电。
2)蓄电池约束
为了保证蓄电池正常工作，在进行优化时蓄电池充放电应该满足电池充/放电速率约束以及电池容量约束：
Figure BDA0003149050430000031
Figure BDA0003149050430000032
式(3)为充/放电速率约束，基于对电池使用寿命、经济性等方面的考虑，电池的充放电速率不能过高，也不能过低，本发明固定充放电速率进行研究。式(4)为蓄电池荷电状态约束，荷电状态其数值上定义为剩余容量占电池容量的比值，因此对荷电状态约束可反映对电池容量的约束。上式中μ为蓄电池效率；
Figure BDA0003149050430000033
表示蓄电池充电最大功率；
Figure BDA0003149050430000034
表示蓄电池的放电最大功率；
Figure BDA0003149050430000035
为蓄电池荷电状态上下限；
3)可中断负荷约束
Figure BDA0003149050430000036
Figure BDA0003149050430000037
式中
Figure BDA0003149050430000038
为可中断负荷最大可切断功率；
Figure BDA0003149050430000039
为可中断负荷动作0-1动作状态；
Figure BDA00031490504300000310
为最大可切断次数。
3、步骤B中基于VPP能量管理的马尔科夫决策模型具体为：
1)状态。假设虚拟电厂中各元件均安装量测装置，可通过信息采集系统获得观测数据。同时光伏、负荷的变化与时刻t紧密相关，所解决的问题观测状态可以选择时间序列、光伏发电量、基础负荷耗电量、可中断负荷量以及蓄电池的荷电状态，则st可表示为：
Figure BDA00031490504300000311
其中t表示的当前时刻，
Figure BDA00031490504300000312
分别为当前时刻的光伏发电功率，基础负荷功率以及可中断负荷功率；SOCt表示当前时刻储能荷电状态。其中光伏为不可控发电，其不受控制策略影响，可中断负荷功率与储能荷电状态在控制策略影响下变化。
2)动作。动作的选取又是决策过程的体现，在本方法所设定的模型中，可中断负荷的中断与储能系统的充放电是所提出能量优化的核心，为此我们选择IL与蓄电池的动作组合作为控制动作。
Figure BDA0003149050430000041
式中at则是t时刻下，采取的动作，为IL与储能系统的动作的组合；
Figure BDA0003149050430000042
表示IL的动作，由于当前通信技术和自动化水平的限制，难以实现对IL的负载削减的连续和精确控制，因此，IL的动作策略被视为切断电源(0)与不动作(1)两个状态；
Figure BDA0003149050430000043
指的是电池的动作，在本方法中电池全速率放电、电池保持闲置和电池全速率充电3种状态，于此同时使用数字编码相对应的组合形式。
则两者功率的集合为
Figure BDA0003149050430000044
Figure BDA0003149050430000045
则以功率增量的蓄电池电量表示变为：
Figure BDA0003149050430000046
又考虑到约束条件限制，因此则变为：
Figure BDA0003149050430000047
式中，
Figure BDA0003149050430000048
为蓄电池电量，
Figure BDA0003149050430000049
为电量上下限。
IL与储能系统需要根据当前的状态进行动作策略的选取，因此设置即时奖励函数，立即获得动作和环境的优劣评估值，奖励函数设置如下：
Figure BDA00031490504300000410
Figure BDA0003149050430000051
Figure BDA0003149050430000052
Figure BDA0003149050430000053
总的奖励为三部分组成，其中w1、w2、w3的为各部分所占权重，可由运营商视具体情况而定；
Figure BDA0003149050430000054
为IL部分奖励，频繁断开IL可能会破坏用户满意度，为了最大程度地减少控制周期中IL的中断次数并提高用户满意度，使用两个相邻采样时间之间的IL状态变化的罚函数形式进行定义；
Figure BDA0003149050430000055
为蓄电池部分奖励，使用分时电价αt引导蓄电池进行充放电行为，可以使得蓄电池进行自趋式经济优化；最后一部分
Figure BDA0003149050430000056
为总体收益奖励，使用优化前后收益进行奖励积累，使得动作选择趋向利益最大化，当优化后的收益大于原收益则为正奖励积累，小于原收益时为负会造成累积奖励的减少，将不被倡导学习。
在此处的奖励函数步骤A所给出的目标函数与约束条件相对应，通过奖励函数的设置使得该智能体往符合约束条件的方向调整。
4、步骤C中的构建基于DDQN算法的VPP能量优化管理模型具体为：
在本方法中，采用状态-动作估计值函数来表示状态St并执行动作at双重设定下能获得的期望回报值，并通过迭代的方式进行构建VPP的状态—动作估计值函数循环更新，具体为：
Figure BDA0003149050430000057
其中α是学习率，它介于0、1之间，代表了保留先前训练的结果的程度，值越大则保留原来训练结果程度越小。在样本数与训练次数充足情况下，通过这样的值迭代算法，Q函数最终收敛到最优状态-动作值。
本方法采用DDQN算法构造Q函数，DDQN将Q网络分为动作函数V和优势函数A两个部分，即可将价值函数重写为：
Q(s,a)＝V(s)+A(s,a) (18)
又因为每次的控制只能得到一个最佳Q值，无法拆解成具体的动作函数值与优势函数值，为了消除多余自由度，故对优势函数进行去中心化处理，因此更新后的价值函数可以表示为：
Figure BDA0003149050430000061
其中A表示所有可执行动作的集合，|A|代表所有可执行动作的数量。
随后进行基于DDQN算法的智能体进行训练，具体流程如下表述：
(1)初始化阶段，在此阶段需要设置DDQN算法的超参数，初始化经验回放池与神经网络。
(2)经验积累阶段，详细的说就是随着时间步数的增加，根据观测所得VPP状态结合贪心策略进行动作选取，并将状态动作元组连续存储在回放池中，进行经验积累。
(3)最后当池中的样本数量累计超过设定的重播数量开始M值时，将从池中随机抽取一批n的样本，分别计算样本的目标Q值和预测Q值，基于这些值，采用公式计算误差函数，采用小批量梯度下降法更新神经网络中的权重。DDQN算法流程图如图2所示。
5.在步骤C训练好的模型下，通过在线运行状态数据采集，输入状态送给训练后的智能体，智能体根据接受状态给出蓄电池以及可中断负荷功率优化结果，实现虚拟电厂能量优化管理。
本发明基于电网在线运行状态数据采集，使用系统可观测状态作为数据样本，设计了一种采用DDQN结构的无模型深度强化学习方法来进行能量管理优化。构建了含有光伏、蓄电池、可中断负荷的基于DDQN的VPP体系结构，接着为了获得最大的长期利润，将VPP的能量管理问题公式化为MDP，根据系统运行具体要求确定观测状态、执行动作以及回报激励。同时定义了VPP系统的状态动作估计值函数并引入了经验回放池、贪心策略、批量梯度下降法及冻结网络等方法进行神经网络的学习与训练，最后将基于DDQN的DRL算法被应用到具有最大累积奖励的MDP求解中。
所建立的基于DDQN的虚拟电厂能量协同优化方法，不依赖于精确物理模型的建立，同时具有快速求解的特征，能够在满足基础负荷需求的前提下，实现蓄电池与可中断负荷能量优化管理，实现利益最大化。本模型在建模方式上具有一般性，适用范围广泛，易推广至虚拟电厂能量管理优化、需求侧资源能量管理优化等领域。
附图说明
1、图1为虚拟电厂能量协同优化方法流程图。
2、图2为含源-荷-储的虚拟电厂物理模型。
3、图3为DDQN算法流程图。
4、图4为某典型日优化结果图。
具体实施方式
本发明提供一种考虑源荷储互动的虚拟电厂能量协同优化方法；下面结合附图和实施例对本发明予以说明。
图1所示为虚拟电厂能量协同优化流程图。图中包含如下步骤：
步骤A.提出虚拟电厂能量管理系统架构，对含有光-蓄-荷的互补系统构建虚拟电厂优化调度模型，并提出系统约束条件；
步骤B.构建用于VPP能量管理的马尔科夫决策模型，确定智能体决策所需的输入状态空间st与动作空间At以及设置智能体与环境交互的奖励函数Rt+1；
步骤C.构建基于DDQN算法的虚拟电厂能量优化管理模型，进行智能体训练；
步骤D.通过在线运行状态数据采集，输入状态送给训练后的智能体，智能体根据接受状态给出蓄电池以及可中断负荷功率优化结果。
上述步骤是在图2的虚拟电厂物理框架下完成，该框架构建了一个小型虚拟电厂，采用集中控制的方式，分散在输配电网络中的各个单元通过与控制中心的双向通信得到协调。各单元将自己的运行状态等信息通过信道传送给控制中心，控制中心则将调度指令下放至各参与单元，各单元之间通过能量网进行传输。
上述步骤具体实施说明如下：
步骤A：提出虚拟电厂能量管理系统架构，对含有光-蓄-荷的互补系统构建虚拟电厂优化调度模型，并提出系统约束条件，具体包括：
步骤A1：构建虚拟电厂能量管理系统框架，具体来说，在虚拟电厂控制中心的能量管理系统通过通信技术采集终端的信息，以获得状态动作转换数据包括st、at、rt、st+1，并将其发送至虚拟电厂运营商计算中心数据库进行存储，采集的终端信息包括由测量设备收集的各元件的实时功率值等。计算中心获取状态动作转换数据之后将其存储在数据库，进行计算中心DDQN算法训练，并进行定期的参数更新。最后，结合电网的外部输入，具有更新的网络参数的DDQN就可以通过执行计算来获得最优策略，通过控制中心对终端元件进行命令下达，实现策略。
步骤A2：构建虚拟电厂优化调度模型，并提出约束条件：
Figure BDA0003149050430000081
Figure BDA0003149050430000082
Figure BDA0003149050430000083
Figure BDA0003149050430000084
Figure BDA0003149050430000091
Figure BDA0003149050430000092
式(20)为目标函数，T为优化周期本文取一天96个15min；
Figure BDA0003149050430000093
分别表示购、售电价格；
Figure BDA0003149050430000094
为可中断负荷补偿单位成本；
Figure BDA0003149050430000095
为购、售电功率，同一时刻仅存在购电或售电一种情况；
Figure BDA0003149050430000096
可中断负荷切断补偿功率。式(21)为系统功率约束，式中
Figure BDA0003149050430000097
表示外部电网传输量，大于0为购电，小于0为售电；
Figure BDA0003149050430000098
代表t时刻负荷消耗量；
Figure BDA0003149050430000099
为光伏发电量；
Figure BDA00031490504300000910
为电池充放功率，大于0为放电、小于0为充电。式(22-23)为蓄电池约束，式中μ为蓄电池效率；
Figure BDA00031490504300000911
表示蓄电池充电最大功率；
Figure BDA00031490504300000912
表示蓄电池的放电最大功率；
Figure BDA00031490504300000913
为蓄电池荷电状态上下限。式(24-25)为可中断负荷约束，式中
Figure BDA00031490504300000914
为可中断负荷最大可切断功率；
Figure BDA00031490504300000915
为可中断负荷动作0-1动作状态；
Figure BDA00031490504300000916
为最大可切断次数。
步骤B：构建用于VPP能量管理的马尔科夫决策模型，确定智能体决策所需的输入状态空间st与动作空间At以及设置智能体与环境交互的奖励函数Rt+1，具体为：
步骤B1：构建状态模型。
Figure BDA00031490504300000917
其中t表示的当前时刻，
Figure BDA00031490504300000918
分别为当前时刻的光伏发电功率，基础负荷功率以及可中断负荷功率；SOCt表示当前时刻储能荷电状态。其中光伏为不可控发电，其不受控制策略影响，可中断负荷功率与储能荷电状态在控制策略影响下变化。
步骤B2:选取动作。
Figure BDA00031490504300000919
式中at则是t时刻下，采取的动作，为IL与储能系统的动作的组合；
Figure BDA0003149050430000101
表示IL的动作，由于当前通信技术和自动化水平的限制，难以实现对IL的负载削减的连续和精确控制，因此，IL的动作策略被视为切断电源(0)与不动作(1)两个状态；
Figure BDA0003149050430000102
指的是电池的动作，在本方法中电池全速率放电、电池保持闲置和电池全速率充电3种状态，于此同时使用数字编码相对应的组合形式。
步骤B3：设置奖励函数：
Figure BDA0003149050430000103
Figure BDA0003149050430000104
Figure BDA0003149050430000105
Figure BDA0003149050430000106
步骤C：构建基于DDQN算法的虚拟电厂能量优化管理模型，进行智能体训练。
步骤C1：构建基于DDQN算法的状态-动作价值函数。
步骤C2：设计基于DDQN的能量优化算法，主要包括以下方面：
1)构建两个神经网络，一个用来拟合V(st)，一个用来拟合A(st,at)，两个结合得到状态-动作估值Q(st,at)。
2)建立具有一定容量经验回收池，以减轻数据之间的强相关性。采用经验重播将每个时间步的(st,at,rt+1,st+1)存储在容量为N的经验池中，若超出容量则剔除最早的数据，再不断地存入新数据。在使用数据进行训练时则通过随机采样的方式从经验回放池中抽取观测样本来开展训练。
3)引入ε-greedy进行策略改进，以选取合适的动作，如公式所示。
Figure BDA0003149050430000107
其中
Figure BDA0003149050430000111
explore_ratio是一个固定常数，Episodes为总的训练轮数，episode为当前的训练轮数。当随机生成数β(0＜β＜1)小于ε时就会从动作合集中随机抽取一个动作，当随机生成数大于时，则根据当前状态各动作的预估Q值选择出一个最优的动作。
4)使用小批量梯度下降法进行Q网络参数更新训练，定义目标Q值与神经网络输出之间的均方误差为：
Figure BDA0003149050430000112
同时为了固定目标估值网络，稳定训练过程，进行目标网络冻结，即设置两个神经网络，一个是目标网络，一个是预测网络，在训练时，目标网络仅用于计算目标
Figure BDA0003149050430000113
预测网络用来进行计算预测Qθ(st,at)以及参数的更新，目标网络不会同时参与参数更新，而是复制预测网络更新后的参数，即目标网络的更新频率会滞后预测网络，相当于暂时冻结目标网络，冻结结束后再从预测网络中获取最新的网络参数，该种方法可以使训练变得更加稳定。
步骤C3：使用Python3.7及MXNet框架实现DDQN算法的虚拟电厂能量优化模型训练。
步骤D：通过在线运行状态数据采集，输入状态送给训练后的智能体，智能体根据接受状态给出蓄电池以及可中断负荷功率优化结果。
本发明选取美国纽约某地区的2019年5月1日-2019年10月31日的五个月的光伏、负荷15分钟级数据来对算法进行训练及验证，并假设储能系统容量为500kW·h，初始容量为200kW·h，电池效率η＝95％，电池的荷电状态范围为10％≤SOC≤90％,最大充电、放电速率均为100kW/h。假设可中断负荷按照基础负荷的40％进行实时变化，最大可完全切除，补偿电价为0.9元/kW。系统上网电价设置为1元/kW，电网分时电价如表1所示，设置三个情景进行仿真分析。
表1电网分时电价
Figure BDA0003149050430000121
DDQN结构设置中状态网络和动作优势网络的输入层都有5个神经元，两个隐藏层均为256个神经元，使用ReLU作为激活函数，输出层分别为1个和6个神经元(情景2为3个，即动作组合数)，所有这些层都采用全连接。DQN算法的输出层则直接为Q值估计值即6个神经元，并未分成两个神经网络。算法的成功收敛是各参数相互配合的结果，其中折扣因子γ＝0.95，explore_ratio＝1，总共训练轮数Episodes为3000，每轮交互96次，其他相关具体参数见下表2。
表2DRL算法的超参数
Figure BDA0003149050430000122
发明效果
相较于现有技术，本发明具有如下优点：
1.本发明构建的基于DDQN的虚拟电厂能量管理模型，不需要精确物理模型的建立，并且在缺乏初始环境信息的情况下，通过环境与智能体的交互学习，进行累积奖励以此获得最优的控制决策，在满足基础负荷的情况下，减VPP的运营成本，增大售电收益。
2.本发明在马尔科夫决策过程中的动作选取时，为了符合约束条件限制，加入了蓄电池功率约束，减少了训练过程中错误动作的选取，有利于训练的收敛。
3.本发明构建的基于DDQN的虚拟电厂能量管理算法构建了两个神经网络分别拟合状态、动作，并建立具有一定容量经验回收池以减轻数据之间的强相关性，引入ε-greedy进行策略改进，以选取合适的动作，采用小批量梯度下降法进行Q网络参数更新训练，采用网络冻结方式稳定训练过程。
4.本发明利用蓄电池的快速精准动态响应能力以及可中断负荷的能量转移性质，实现了源荷储互动协同优化管理，有效提高了VPP收益。通过引入蓄电池配合，每日平均购电量下降，每日平均收益增加。同时通过表3可知，使用DDQN算法进行优化会获得比使用DQN算法收益更高。由图4可知，通过引入蓄电池和IL需求响应管理，达到尽可能增大收益的目的，在蓄电池根据价格变化进行“低储高发”的同时，在购电高峰期实现需求响应管理进行IL切断，减少购电量。
表3月总收益比较
Figure BDA0003149050430000131
5.本发明在建模方式上具有一般性，不具有任何特殊的应用条件，适用范围广泛，易推广至分布式能源需求响应能量管理等领域。

Claims (5)

1.一种考虑源荷储互动的虚拟电厂能量协同优化方法，包含如下步骤：
步骤A.提出虚拟电厂能量管理系统架构，对含有光-蓄-荷的互补系统构建虚拟电厂优化调度模型，并提出系统功率约束条件；
步骤B.构建用于VPP能量管理的马尔科夫决策模型，确定智能体决策所需的输入状态空间st与动作空间At以及设置智能体与环境交互的奖励函数Rt+1；
步骤C.构建基于DDQN算法的虚拟电厂能量优化管理模型，进行智能体训练；
步骤D.通过在线运行状态数据采集，输入状态送给训练后的智能体，智能体根据接受状态给出蓄电池以及可中断负荷优化结果。
2.根据权利要求1所述的一种考虑源荷储互动的虚拟电厂能量协同优化方法，在步骤A中，构建了采用集中控制方式的小型虚拟电厂模型，包含光伏发电、储能系统以及需求响应负荷；构建了以总收益最大为目标的目标函数，考虑了系统功率平衡约束、蓄电池容量以及充/放电功率约束、可中断负荷功率约束及可切断次数约束，数学表达式如下：
Figure FDA0003149050420000011
Figure FDA0003149050420000012
Figure FDA0003149050420000013
Figure FDA0003149050420000014
Figure FDA0003149050420000015
Figure FDA0003149050420000016
式(1)为目标函数，T为优化周期本文取一天96个15min；
Figure FDA0003149050420000017
分别表示购、售电价格；
Figure FDA0003149050420000018
为可中断负荷补偿单位成本；
Figure FDA0003149050420000019
为购、售电功率，同一时刻仅存在购电或售电一种情况；
Figure FDA00031490504200000110
可中断负荷切断补偿功率。式(2)为系统功率约束，式中
Figure FDA0003149050420000021
表示外部电网传输量，大于0为购电，小于0为售电；
Figure FDA0003149050420000022
代表t时刻负荷消耗量；
Figure FDA0003149050420000023
为光伏发电量；
Figure FDA0003149050420000024
为电池充放功率，大于0为放电、小于0为充电。式(3-4)为蓄电池约束，式中μ为蓄电池效率；
Figure FDA0003149050420000025
表示蓄电池充电最大功率；
Figure FDA0003149050420000026
表示蓄电池的放电最大功率；
Figure FDA0003149050420000027
为蓄电池荷电状态上下限。式(5-6)为可中断负荷约束，式中
Figure FDA0003149050420000028
为可中断负荷最大可切断功率；
Figure FDA0003149050420000029
为可中断负荷动作0-1动作状态；
Figure FDA00031490504200000210
为最大可切断次数。
3.根据权利要求2所述的一种考虑源荷储互动的虚拟电厂能量协同优化方法，在步骤B中，步骤A中虚拟电厂架构中的各元件均安装量测装置，将时间序列、光伏发电量、基础负荷耗电量、可中断负荷量以及蓄电池的荷电状态作为马尔科夫决策过程的输入；选取可中断负荷和蓄电池充放电功率动作组合作为控制动作，并在动作中考虑蓄电池容量约束的限制；依据权利要求2中虚拟电厂模型约束条件构建奖励函数，数学原理如下：
Figure FDA00031490504200000211
式(7)为状态表达式，其中t表示的当前时刻，
Figure FDA00031490504200000212
分别为当前时刻的光伏发电功率，基础负荷功率以及可中断负荷功率；SOCt表示当前时刻储能荷电状态。
Figure FDA00031490504200000213
式中at则是t时刻下，采取的动作，为IL与储能系统的动作的组合；
Figure FDA00031490504200000214
表示IL的动作，由于当前通信技术和自动化水平的限制，难以实现对IL的负载削减的连续和精确控制，因此，IL的动作策略被视为切断电源(0)与不动作(1)两个状态；
Figure FDA00031490504200000215
指的是电池的动作，在本方法中电池全速率放电、电池保持闲置和电池全速率充电3种状态，于此同时使用数字编码相对应的组合形式。
则两者功率的集合为
Figure FDA0003149050420000031
Figure FDA0003149050420000032
则以功率增量的蓄电池电量表示变为：
Figure FDA0003149050420000033
又考虑到约束条件限制，因此则变为：
Figure FDA0003149050420000034
式中，
Figure FDA0003149050420000035
为蓄电池电量，
Figure FDA0003149050420000036
为电量上下限。
奖励函数设置如下：
Figure FDA0003149050420000037
Figure FDA0003149050420000038
Figure FDA0003149050420000039
Figure FDA00031490504200000310
总的奖励为三部分组成，其中w1、w2、w3的为各部分所占权重，可由运营商视具体情况而定；
Figure FDA00031490504200000311
为IL部分奖励，频繁断开IL可能会破坏用户满意度，为了最大程度地减少控制周期中IL的中断次数并提高用户满意度，使用两个相邻采样时间之间的IL状态变化的罚函数形式进行定义；
Figure FDA00031490504200000312
为蓄电池部分奖励，使用分时电价αt引导蓄电池进行充放电行为，可以使得蓄电池进行自趋式经济优化；最后一部分
Figure FDA00031490504200000313
为总体收益奖励，使用优化前后收益进行奖励积累，使得动作选择趋向利益最大化，当优化后的收益大于原收益则为正奖励积累，小于原收益时为负会造成累积奖励的减少，将不被倡导学习。
4.根据权利要求3所述的一种考虑源荷储互动的虚拟电厂能量协同优化方法，在步骤C中，根据步骤B所构建的MDP过程作为数学基础，构建基于DDQN算法的状态-动作估计值函数，并且设计基于DDQN的VPP能量协同优化算法，包括构建状态-动作估值Q网络，建立经验回收池，引入ε-greedy进行策略改进，以选取合适的动作以及Q网络参数更新训练方法设计；并使用Python3.7及MXNet框架实现DDQN算法的虚拟电厂能量优化模型构建及完成其训练。
5.在步骤D中，通过在线运行状态数据采集，输入状态送给步骤C训练后的智能体，智能体根据接受状态给出蓄电池以及可中断负荷功率优化结果。
CN202110760933.0A 2021-07-06 2021-07-06 一种考虑源荷储互动的虚拟电厂能量协同优化方法 Pending CN113326994A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110760933.0A CN113326994A (zh) 2021-07-06 2021-07-06 一种考虑源荷储互动的虚拟电厂能量协同优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110760933.0A CN113326994A (zh) 2021-07-06 2021-07-06 一种考虑源荷储互动的虚拟电厂能量协同优化方法

Publications (1)

Publication Number Publication Date
CN113326994A true CN113326994A (zh) 2021-08-31

Family

ID=77425775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110760933.0A Pending CN113326994A (zh) 2021-07-06 2021-07-06 一种考虑源荷储互动的虚拟电厂能量协同优化方法

Country Status (1)

Country Link
CN (1) CN113326994A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114971250A (zh) * 2022-05-17 2022-08-30 重庆大学 基于深度q学习的综合能源经济调度系统
CN116011757A (zh) * 2022-12-28 2023-04-25 广州汽车集团股份有限公司 订单接收和调度方法、装置以及电子设备
CN116128543A (zh) * 2022-12-16 2023-05-16 国网山东省电力公司营销服务中心(计量中心) 一种售电公司负荷申报与出清的综合模拟运行方法及系统
CN117522087A (zh) * 2024-01-05 2024-02-06 中建科工集团有限公司 虚拟电厂资源配置方法、装置、设备及介质
CN117541030A (zh) * 2024-01-09 2024-02-09 中建科工集团有限公司 虚拟电厂优化运行方法、装置、设备及介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114971250A (zh) * 2022-05-17 2022-08-30 重庆大学 基于深度q学习的综合能源经济调度系统
CN114971250B (zh) * 2022-05-17 2024-05-07 重庆大学 基于深度q学习的综合能源经济调度系统
CN116128543A (zh) * 2022-12-16 2023-05-16 国网山东省电力公司营销服务中心(计量中心) 一种售电公司负荷申报与出清的综合模拟运行方法及系统
CN116011757A (zh) * 2022-12-28 2023-04-25 广州汽车集团股份有限公司 订单接收和调度方法、装置以及电子设备
CN116011757B (zh) * 2022-12-28 2024-03-29 广州汽车集团股份有限公司 订单接收和调度方法、装置以及电子设备
CN117522087A (zh) * 2024-01-05 2024-02-06 中建科工集团有限公司 虚拟电厂资源配置方法、装置、设备及介质
CN117522087B (zh) * 2024-01-05 2024-05-03 中建科工集团有限公司 虚拟电厂资源配置方法、装置、设备及介质
CN117541030A (zh) * 2024-01-09 2024-02-09 中建科工集团有限公司 虚拟电厂优化运行方法、装置、设备及介质
CN117541030B (zh) * 2024-01-09 2024-04-26 中建科工集团有限公司 虚拟电厂优化运行方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Wang et al. Deep reinforcement learning method for demand response management of interruptible load
CN109347149B (zh) 基于深度q值网络强化学习的微电网储能调度方法及装置
CN113326994A (zh) 一种考虑源荷储互动的虚拟电厂能量协同优化方法
Guo et al. Optimal energy management of multi-microgrids connected to distribution system based on deep reinforcement learning
Chen et al. Research on day-ahead transactions between multi-microgrid based on cooperative game model
CN112366704B (zh) 一种基于激励需求响应的综合能源系统联络线功率控制方法
CN112633571A (zh) 源网荷互动环境下基于lstm的超短期负荷预测方法
Wang et al. Coordinated electric vehicle active and reactive power control for active distribution networks
Huang et al. A control strategy based on deep reinforcement learning under the combined wind-solar storage system
Zhang et al. Bi-level stochastic real-time pricing model in multi-energy generation system: A reinforcement learning approach
CN112217195B (zh) 一种基于gru多步预测技术的云储能充放电策略形成方法
Cai et al. Energy management in residential microgrid using model predictive control-based reinforcement learning and Shapley value
CN111047097A (zh) 一种综合能源系统日中滚动优化方法
Dong et al. Optimal scheduling framework of electricity-gas-heat integrated energy system based on asynchronous advantage actor-critic algorithm
CN115940289A (zh) 面向电网电量平衡与新能源消纳的光储充一体站运行方法
CN116384039A (zh) 一种基于模型预测的智能电网能源优化高效管理方法
Zhaoan et al. Power charging management strategy for electric vehicles based on a Stackelberg game
Lin et al. Aggregator pricing and electric vehicles charging strategy based on a two-layer deep learning model
Qiu et al. Local integrated energy system operational optimization considering multi‐type uncertainties: A reinforcement learning approach based on improved TD3 algorithm
Zhang et al. Flexible selection framework for secondary frequency regulation units based on learning optimisation method
CN116542137A (zh) 一种分布式资源协同调度的多智能体强化学习方法
CN110555562A (zh) 一种泛在电力物联网中综合能源系统分层能量管理方法
Zhou et al. Smart bidding strategy of the demand-side loads based on the reinforcement learning
Nweye et al. MERLIN: Multi-agent offline and transfer learning for occupant-centric energy flexible operation of grid-interactive communities using smart meter data and CityLearn
CN114723230A (zh) 面向新能源发电和储能的微电网双层调度方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication