CN112072643A - 一种基于深度确定性梯度策略的光-蓄系统在线调度方法 - Google Patents

一种基于深度确定性梯度策略的光-蓄系统在线调度方法 Download PDF

Info

Publication number
CN112072643A
CN112072643A CN202010842141.3A CN202010842141A CN112072643A CN 112072643 A CN112072643 A CN 112072643A CN 202010842141 A CN202010842141 A CN 202010842141A CN 112072643 A CN112072643 A CN 112072643A
Authority
CN
China
Prior art keywords
storage system
action
time
power
photovoltaic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010842141.3A
Other languages
English (en)
Inventor
胡维昊
杜月芳
李坚
李涛
许潇
张真源
井实
曹迪
张蔓
王浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010842141.3A priority Critical patent/CN112072643A/zh
Publication of CN112072643A publication Critical patent/CN112072643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28—Arrangements for balancing of the load in a network by storage of energy
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/008—Circuit arrangements for ac mains or ac distribution networks involving trading of energy or energy transmission rights
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/24—Arrangements for preventing or reducing oscillations of power in networks
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/381—Dispersed generators
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/466—Scheduling the operation of the generators, e.g. connecting or disconnecting generators to meet a given demand
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/22—The renewable source being solar energy
    • H02J2300/24—The renewable source being solar energy of photovoltaic origin
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B10/00—Integration of renewable energy sources in buildings
    • Y02B10/10—Photovoltaic [PV]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy
    • Y02E10/56—Power conversion systems, e.g. maximum power point trackers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E70/00—Other energy conversion or management systems reducing GHG emissions
    • Y02E70/30—Systems combining energy storage with energy generation of non-fossil origin

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度确定性梯度策略的光‑蓄系统在线调度方法，针对光伏的间歇性以及实时电力市场的随机性性等双重不确定性，考虑并网功率波动惩罚，构建光伏‑抽蓄系统的实时收益模型，对光伏‑抽蓄系统进行优化运行来提高电网安全裕度同时实现光伏‑抽蓄系统收益最大化；由于光伏‑抽蓄系统的优化运行考虑了并网功率波动限制，使光伏平滑接入电网，因此光伏‑抽蓄系统具有较高的稳定性和经济性。

Description

一种基于深度确定性梯度策略的光-蓄系统在线调度方法
技术领域
本发明属于新能源发电技术领域，更为具体地讲，涉及一种基于深度确定性梯度策略的光-蓄系统在线调度方法。
背景技术
对光伏的开发利用是能源结构调整与转型的重大措施，且已进入产业化和规模化发展。据国家能源局统计，截至2020年3月底，国家能源局发布了我国光伏发电累计装机达到2.08亿千瓦，其中集中式光伏1.44亿千瓦，分布式光伏6435万千瓦。由于光伏的发电的实际曲线与负荷需求曲线存在着时空差异，其严重制约了光电的消纳。
随着新一轮电力市场改革的不断深化，实时市场模式的应用普及是未来电力系统发展的必然趋势，然而实时电价的动态波动给发电厂商的优化运行带了一系列挑战。
抽水蓄能电站具有发电成本低、调节能力强等优势，是实现大规模消纳光伏的重要中转枢纽。但是抽水蓄能系统的引入增加了光伏发电系统最优经济调度的难度，非凸、非线性的经济调度模型难以实时求解；面对大规模光伏电源的接入，在经济调度层面需要找到一种能够适应光伏发电特点的实时优化方法。
由于光伏的间歇特性使得含高渗透率光伏的电网运行风险高，事故备用容量大，不利于保证电网的稳定性与经济性。而现有的光伏-抽蓄系统优化调度研究中，大多数是基于日前优化来对光伏进行调度，由于光伏发电具有难以预测的波动特性，因此，该方法难以保证光伏系统的实时最优运行。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于深度确定性梯度策略的光-蓄系统在线调度方法，在考虑并网功率波动惩罚的同时以最大化光伏-抽蓄系统总收益为目标，并通过深度确定性梯度策略算法实现光伏-抽蓄系统的实时优化运行。
为实现上述发明目的，本发明一种基于深度确定性梯度策略的光-蓄系统在线调度方法，其特征在于，包括以下步骤：
(1)、采集光伏电站pv的历史发电数据，记为ppv,t，其中，t表示时刻，t＝1,2,3,…；采集光-蓄系统的历史上网电价，记为λt；
(2)、构建抽水蓄能电站phs的出力模型；
Figure BDA0002641831510000021
其中，pp,t为t时刻变速抽水泵的吸收功率，g为重力加速度，H为抽水蓄能电站水头高度，qp,t为t时刻变速抽水泵的抽水量，ηp为变速抽水泵的效率，ptur,t为t时刻水轮机的发电功率，ηtur为水轮机的效率，qtur,t为t时刻水轮机发电用水量，Vt为t时刻抽水蓄能电站上游水库剩余水量，ε为上游水库水量的蒸发和泄漏系数，ψt为t时刻水库流入量，SoCt为t时刻上游水库剩余水量百分比，Vphsv为上游水库最大可用容量；
(3)、构建光-蓄系统的在线调度目标函数及约束条件；
目标函数为：
Figure BDA0002641831510000022
其中，Δt为相邻两时刻的间隔时长，T为优化运行周期，pphs,t为t时刻的待优化变量，当pphs,t为负数时表示抽水蓄能电站中变速抽水泵吸收功率，即pp,t＝|pphs,t|；当pphs,t为正数时表示抽水蓄能电站中水轮机发出功率，即ptur,t＝pphs,t；φt为t时刻联络线功率波动引起的经济惩罚值；
其中，φt满足：
Figure BDA0002641831510000031
其中，ρ1、ρ2为波动罚金系数；σ为常数；Δpg,t为t时刻联络线功率波动量，Δpg,t＝|pg,t-Δpg,t-Δt|，pg,t为t时刻连联络线传输功率，pg,t＝ppv,t+pphs,t；
约束条件为：
Figure BDA0002641831510000032
其中，
Figure BDA0002641831510000033
表示抽水蓄能的最大吸收功率，
Figure BDA0002641831510000034
表示水轮机的最大发电功率，SoCmin表示上游水库最小允许剩余水量百分比，SoCmax表示上游水库最大允许剩余水量百分比；
(4)、搭建并训练基于深度确定性梯度策略算法(Deep Deterministic PolicyGradient,DDPG)的光-蓄系统在线调度模型；
(4.1)、将一个运行周期内的光-蓄系统的在线调度目标函数及约束条件转化为包含状态集合S、动作集合A和奖励函数r的无约束的马尔可夫决策过程；
其中，S包含决策过程所有状态，t时刻的状态st＝{ppv,t,λt,Δpg,t,SoCt}；A包含决策过程所有动作，t时刻的动作at＝pphs,t；t时刻在st下执行at获得的即时回报，记为rt(at|st)；
(4.2)、将光-蓄系统的含约束优化问题转化为无约束问题；
Figure BDA0002641831510000035
其中，ρ3、ρ4为惩罚系数；
(4.3)、构建DDPG算法所需的四个结构相同的两组神经网络；
在线构建两个动作网络，记为μ、μ'，其中参数集合分别记为
Figure BDA0002641831510000036
用于实现输入状态st到输出动作at；
在线构建两个评价网络，记为υ、υ'，参数集合分别记为
Figure BDA0002641831510000037
用于实现输入状态st、输出动作at到动作价值函数Qπ(st,at)的映射，π为映射策略；
(4.4)、设置基于深度确定性梯度策略算法的光-蓄系统在线调度模型的总迭代次数N和马尔可夫过程的迭代步数T；设置记忆库，记其容量为M，并初始化为空；初始化所有神经网络的参数集合，初始化n＝1，初始化学习率α，初始化计数器m；
(4.5)、复位光-蓄系统，令t＝1并获取当前状态st，然后执行一次马尔可夫过程；
(4.6)、判断t是否小于T，若t＜T，则进入步骤(4.7)，反之，则进入步骤(4.15)；
(4.7)、将st送输入至动作网络μ，得输出动作at；
(4.8)、根据输出动作at计算步骤(4.2)中的目标函数值rt，同时获得at作用后的下一时刻状态st+1；
(4.9)、构建元组信息{st,at,rt,st+1}，并将其存入记忆库的m％M位置处，然后赋值m＝m+1；
(4.10)、判断m是否大于M，若是，则进入步骤(4.11)；反之，则进入步骤(4.14)；
(4.11)、基于深度确定性梯度策略在线更新动作网络μ的参数集合
Figure BDA0002641831510000048
Figure BDA0002641831510000041
Figure BDA0002641831510000042
其中，b表示从记忆库中有放回且等概率抽样的元组信息个数，si,ai表示第i个元组信息中对应的状态和动作；
Figure BDA0002641831510000043
表示在状态si和动作ai下对动作价值函数求ai的梯度，
Figure BDA0002641831510000044
表示在状态si下网络μ的梯度；
(4.12)、通过最小化损失函数在线更新评价网络υ的参数集合
Figure BDA0002641831510000049
Figure BDA0002641831510000045
Figure BDA0002641831510000046
其中，
Figure BDA00026418315100000410
为网络υ的损失函数；Qπ(si,ai)表示在状态si和动作ai下评价网络υ输出的动作价值函数值；yi表示υ'网络的估计值；γ为折扣因子，
Figure BDA0002641831510000047
表示网络υ的损失函数的梯度；
(4.13)、更新动作网络μ'和评价网络υ'的参数集合；
Figure BDA0002641831510000051
其中，τ为更新系数；
(4.14)、更新当前状态，赋值t＝t+1且st＝st+1，然后返回至步骤(4.6)；
(4.15)、令n＝n+1，再判断n是否大于N，如果是，则进入步骤(4.16)；反之，则进入步骤(4.5)；
(4.16)、迭代停止，并输出神经网络参数集合，从而得到光-蓄系统在线调度模型；
(5)、实时采集光伏出力
Figure BDA0002641831510000052
和电价数据
Figure BDA0002641831510000053
然后确定实时的
Figure BDA0002641831510000054
并构建t时刻的实时状态
Figure BDA0002641831510000055
最后将
Figure BDA0002641831510000056
输入至光-蓄系统在线调度模型，得到实时输出动作
Figure BDA0002641831510000057
然后按照
Figure BDA0002641831510000058
实现光-蓄系统的在线调度。
本发明的发明目的是这样实现的：
本发明基于深度确定性梯度策略的光-蓄系统在线调度方法，针对光伏的间歇性以及实时电力市场的随机性性等双重不确定性，考虑并网功率波动惩罚，构建光伏-抽蓄系统的实时收益模型，对光伏-抽蓄系统进行优化运行来提高电网安全裕度同时实现光伏-抽蓄系统收益最大化；由于光伏-抽蓄系统的优化运行考虑了并网功率波动限制，使光伏平滑接入电网，因此光伏-抽蓄系统具有较高的稳定性和经济性。
附图说明
图1是本发明基于深度确定性梯度策略的光-蓄系统在线调度方法流程图；
图2是光-蓄系统的框图；
图3是光-蓄系统在线调度模型的训练流程图；
图4是抽蓄出力跟随实时电价的曲线图；
图5是优化前后并网功率波动对比图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
在本实施例中，如图2所示，光伏-抽蓄系统由光伏电场、抽水蓄能电站和电力市场构成；
其中，光伏电场与抽水蓄能电站分别通过变压器和交流电缆与汇流母线连接；汇流母线经架空输电线与电网连接。
下面结合图2对本发明一种基于深度确定性梯度策略的光伏-抽蓄系统实时优化方法进行详细说明。
在本实施例中，如图1所示，本发明一种基于深度确定性梯度策略的光-蓄系统在线调度方法，包括以下步骤：
S1、采集光伏电站pv的历史发电数据，记为ppv,t，其中，t表示时刻，t＝1,2,3,…；采集光-蓄系统的历史上网电价，记为λt；
S2、构建抽水蓄能电站phs的出力模型；
Figure BDA0002641831510000061
其中，pp,t为t时刻变速抽水泵的吸收功率，g为重力加速度，H为抽水蓄能电站水头高度，qp,t为t时刻变速抽水泵的抽水量，ηp为变速抽水泵的效率，取值0.8，ptur,t为t时刻水轮机的发电功率，ηtur为水轮机的效率，取值0.82，qtur,t为t时刻水轮机发电用水量，Vt为t时刻抽水蓄能电站上游水库剩余水量，ε为上游水库水量的蒸发和泄漏系数，取值0.0005，ψt为t时刻水库流入量，取值0，SoCt为t时刻上游水库剩余水量百分比，Vphsv为上游水库最大可用容量；
S3、构建光-蓄系统的在线调度目标函数及约束条件；
目标函数为：
Figure BDA0002641831510000071
其中，Δt为相邻两时刻的间隔时长，取值1小时，T为优化运行周期，取值24小时，pphs,t为t时刻的待优化变量，当pphs,t为负数时表示抽水蓄能电站中变速抽水泵吸收功率，即pp,t＝|pphs,t|；当pphs,t为正数时表示抽水蓄能电站中水轮机发出功率，即ptur,t＝pphs,t；φt为t时刻联络线功率波动引起的经济惩罚值；
其中，φt满足：
Figure BDA0002641831510000072
其中，ρ1、ρ2为波动罚金系数，取值分别为5和1；σ为常数，取值为7；Δpg,t为t时刻联络线功率波动量，Δpg,t＝|pg,t-Δpg,t-Δt|，pg,t为t时刻连联络线传输功率，pg,t＝ppv,t+pphs,t；
约束条件为：
Figure BDA0002641831510000073
其中，
Figure BDA0002641831510000074
表示抽水蓄能的最大吸收功率，
Figure BDA0002641831510000075
表示水轮机的最大发电功率，SoCmin＝10％表示上游水库最小允许剩余水量百分比，SoCmax＝100％表示上游水库最大允许剩余水量百分比；
S4、如图3所示，搭建并训练基于深度确定性梯度策略算法(Deep DeterministicPolicy Gradient,DDPG)的光-蓄系统在线调度模型；
S4.1、将一个运行周期内的光-蓄系统的在线调度目标函数及约束条件转化为包含状态集合S、动作集合A和奖励函数r的无约束的马尔可夫决策过程；
其中，S包含决策过程所有状态，t时刻的状态st＝{ppv,t,λt,Δpg,t,SoCt}；A包含决策过程所有动作，t时刻的动作at＝pphs,t；t时刻在st下执行at获得的即时回报，记为rt(at|st)；
S4.2、将光-蓄系统的含约束优化问题转化为无约束问题；
Figure BDA0002641831510000081
其中，ρ3、ρ4为惩罚系数，取值均为2000；
S4.3、构建DDPG算法所需的四个结构相同的两组神经网络；
在线构建两个动作网络，记为μ、μ'，其中参数集合分别记为
Figure BDA0002641831510000084
用于实现输入状态st到输出动作at；
在线构建两个评价网络，记为υ、υ'，参数集合分别记为
Figure BDA0002641831510000085
用于实现输入状态st、输出动作at到动作价值函数Qπ(st,at)的映射，π为映射策略；
S4.4、设置基于深度确定性梯度策略算法的光-蓄系统在线调度模型的总迭代次数N＝10000和马尔可夫过程的迭代步数T＝24；设置记忆库，记其容量为M＝48000，并初始化为空；初始化所有神经网络的参数集合，初始化n＝1，初始化学习率α＝0.0015，初始化计数器m＝1；
S4.5、复位光-蓄系统，令t＝1并获取当前状态st，然后执行一次马尔可夫过程；
S4.6、判断t是否小于T，若t＜T，则进入步骤S4.7，反之，则进入步骤S4.15；
S4.7、将st送输入至动作网络μ，得输出动作at；
S4.8、根据输出动作at计算步骤S4.2中的目标函数值rt，同时获得at作用后的下一时刻状态st+1；
S4.9、构建元组信息{st,at,rt,st+1}，并将其存入记忆库的m％M位置处，然后赋值m＝m+1；
S4.10、判断m是否大于M，若是，则进入步骤S4.11；反之，则进入步骤S4.14；
S4.11、基于深度确定性梯度策略在线更新动作网络μ的参数集合
Figure BDA0002641831510000086
Figure BDA0002641831510000082
Figure BDA0002641831510000083
其中，b表示从记忆库中有放回且等概率抽样的元组信息个数，si,ai表示第i个元组信息中对应的状态和动作；
Figure BDA0002641831510000091
表示在状态si和动作ai下对动作价值函数求ai的梯度，
Figure BDA0002641831510000092
表示在状态si下网络μ的梯度；
S4.12、通过最小化损失函数在线更新评价网络υ的参数集合
Figure BDA00026418315100000915
Figure BDA0002641831510000093
Figure BDA0002641831510000094
其中，
Figure BDA00026418315100000914
为网络υ的损失函数；Qπ(si,ai)表示在状态si和动作ai下评价网络υ输出的动作价值函数值；yi表示υ'网络的估计值；γ为折扣因子，γ∈[0,1]，
Figure BDA0002641831510000095
表示网络υ的损失函数的梯度；
S4.13、更新动作网络μ'和评价网络υ'的参数集合；
Figure BDA0002641831510000096
其中，τ为更新系数；
S4.14、更新当前状态，赋值t＝t+1且st＝st+1，然后返回至步骤S4.6；
S4.15、令n＝n+1，再判断n是否大于N，如果是，则进入步骤S4.16；反之，则进入步骤S4.5；
S4.16、迭代停止，并输出神经网络参数集合，从而得到光-蓄系统在线调度模型；
S5、实时采集光伏出力
Figure BDA0002641831510000097
和电价数据
Figure BDA0002641831510000098
然后确定实时的
Figure BDA0002641831510000099
并构建t时刻的实时状态
Figure BDA00026418315100000910
最后将
Figure BDA00026418315100000913
输入至光-蓄系统在线调度模型，得到实时输出动作
Figure BDA00026418315100000911
然后按照
Figure BDA00026418315100000912
实现光-蓄系统的在线调度。
在本实施例中，选用处理器为Inter(R)Core(TM)i9-9820X CPU@3.30GHz的硬件平台上，由Python3.7与tensorflow1.8.0实现本发明所申请方法中的实施例。对成功训练后的神经网络实施连续7天实时测试，结果显示如图4为所示，在图中可以看，当电价上升时，抽蓄的出力也逐渐增大，即抽蓄发电量增大，有利于增加经济收益；当电价降低时，抽蓄会从发电模式切换到抽水模式，即降低用电成本。图5为优化前后并网功率波动对比图，可以看到，在实施了本发明所提方法后，并网功率波动得到了有效的缓解。此外，为进一步体现本发明方法的优越性，在实施例中，考虑光伏的不同预测精度并与传统的粒子群优化算法(PSO)进行对比，定量计算了不同方法对的经济收益增长率与波动率(收益增长率定义为抽蓄的收益与光-蓄的总收益之比，波动率定义为运行周期内并网点功率波动量的总和与并网点功率绝对值总和之比)。结果显示：表1是在光伏出力预测精度为100％，90％和85％的情况下，不同方法对应的收益增长率与波动率的对比结果，其中DDPG是本发明提出的方法，由于DDPG方法是针对历史的光伏出力进行了大量仿真训练，即神经网络刻画了光伏的出力概率特性，可以实现实调度，即不同的预测精度不能影响实时调度决策；而PSO方法在实现光伏-抽蓄系统的经济调度时，是根据预测的光伏出力和电价数据来进行日前的最优经济调度，日前调度严格依赖于光伏出力预测值的准确度。
表1是光伏不同预测精度下不同方法的对比结果；
Figure BDA0002641831510000101
表1
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于深度确定性梯度策略的光-蓄系统在线调度方法，其特征在于，包括以下步骤：
(1)、采集光伏电站pv的历史发电数据，记为ppv,t，其中，t表示时刻，t＝1,2,3,…；采集光-蓄系统的历史上网电价，记为λt；
(2)、构建抽水蓄能电站phs的出力模型；
Figure FDA0002641831500000011
其中，pp,t为t时刻变速抽水泵的吸收功率，g为重力力加速度，H为抽水蓄能电站水头高度，qp,t为t时刻变速抽水泵的抽水量，ηp为变速抽水泵的效率，ptur,t为t时刻水轮机的发电功率，ηtur为水轮机的效率，qtur,t为t时刻水轮机发电用水量，Vt为t时刻抽水蓄能电站上游水库剩余水量，ε为上游水库水量的蒸发和泄漏系数，ψt为t时刻水库流入量，SoCt为t时刻上游水库剩余水量百分比，Vphsv为上游水库最大可用容量；
(3)、构建光-蓄系统的在线调度目标函数及约束条件；
目标函数为：
Figure FDA0002641831500000012
其中，Δt为相邻两时刻的间隔时长，T为优化运行周期，pphs,t为t时刻的待优化变量，当pphs,t为负数时表示抽水蓄能电站中变速抽水泵吸收功率，即pp,t＝|pphs,t|；当pphs,t为正数时表示抽水蓄能电站中水轮机发出功率，即ptur,t＝pphs,t；φt为t时刻联络线功率波动引起的经济惩罚值；
其中，φt满足：
Figure FDA0002641831500000021
其中，ρ1、ρ2为波动罚金系数；Δpg,t为t时刻联络线功率波动量，Δpg,t＝|pg,t-Δpg,t-Δt|，pg,t为t时刻连联络线传输功率，pg,t＝ppv,t+pphs,t；
约束条件为：
Figure FDA0002641831500000022
其中，
Figure FDA0002641831500000023
表示抽水蓄能的最大吸收功率，
Figure FDA0002641831500000024
表示水轮机的最大发电功率，SoCmin表示上游水库最小允许剩余水量百分比，SoCmax表示上游水库最大允许剩余水量百分比；
(4)、搭建并训练基于深度确定性梯度策略算法(Deep Deterministic PolicyGradient,DDPG)的光-蓄系统在线调度模型；
(4.1)、将一个运行周期内的光-蓄系统的在线调度目标函数及约束条件转化为包含状态集合S、动作集合A和奖励函数r的无约束的马尔可夫决策过程；
其中，S包含决策过程所有状态，t时刻的状态st＝{ppv,t,λt,Δpg,t,SoCt}；A包含决策过程所有动作，t时刻的动作at＝pphs,t；t时刻在st下执行at获得的即时回报，记为rt(at|st)；
(4.2)、将光-蓄系统的含约束优化问题转化为无约束问题；
Figure FDA0002641831500000025
其中，ρ3、ρ4为惩罚系数；
(4.3)、构建DDPG算法所需的四个结构相同的两组神经网络；
在线构建两个动作网络，记为μ、μ'，其中参数集合分别记为θμ、θμ′用于实现输入状态st到输出动作at；
在线构建两个评价网络，记为υ、υ'，参数集合分别记为θυ、θυ′用于实现输入状态st、输出动作at到动作价值函数Qπ(st,at)的映射，π为映射策略；
(4.4)、设置基于深度确定性梯度策略算法的光-蓄系统在线调度模型的总迭代次数N和马尔可夫过程的迭代步数T；设置记忆库，记其容量为M，并初始化为空；初始化所有神经网络的参数集合，初始化n＝1，初始化学习率α，初始化计数器m；
(4.5)、复位光-蓄系统，令t＝1并获取当前状态st，然后执行一次马尔可夫过程；
(4.6)、判断t是否小于T，若t＜T，则进入步骤(4.7)，反之，则进入步骤(4.15)；
(4.7)、将st送输入至动作网络μ，得输出动作at；
(4.8)、根据输出动作at计算步骤(4.2)中的目标函数值rt，同时获得at作用后的下一时刻状态st+1；
(4.9)、构建元组信息{st,at,rt,st+1}，并将其存入记忆库的m％M位置处，然后赋值m＝m+1；
(4.10)、判断m是否大于M，若是，则进入步骤(4.11)；反之，则进入步骤(4.14)；
(4.11)、基于深度确定性梯度策略在线更新动作网络μ的参数集合θμ；
Figure FDA0002641831500000031
Figure FDA0002641831500000032
其中，b表示从记忆库中有放回且等概率抽样的元组信息个数，si,ai表示第i个元组信息中对应的状态和动作；
Figure FDA0002641831500000033
表示在状态si和动作ai下对动作价值函数求ai的梯度，
Figure FDA0002641831500000034
表示在状态si下网络μ的梯度；
(4.12)、通过最小化损失函数在线更新评价网络υ的参数集合θυ；
Figure FDA0002641831500000035
Figure FDA0002641831500000036
其中，L(θυ)为网络υ的损失函数；Q(si,ai)表示在状态si和动作ai下评价网络υ输出的动作价值函数值；yi表示υ'网络的估计值；γ为折扣因子，
Figure FDA0002641831500000037
表示网络υ的损失函数的梯度；
(4.13)、更新动作网络μ'和评价网络υ'的参数集合；
Figure FDA0002641831500000041
其中，τ为更新系数；
(4.14)、更新当前状态，赋值t＝t+1且st＝st+1，然后返回至步骤(4.6)；
(4.15)、令n＝n+1，再判断n是否大于N，如果是，则进入步骤(4.16)；反之，则进入步骤(4.5)；
(4.16)、迭代停止，并输出神经网络参数集合，从而得到光-蓄系统在线调度模型；
(5)、实时采集光伏出力
Figure FDA0002641831500000042
和电价数据
Figure FDA0002641831500000043
然后确定实时的
Figure FDA0002641831500000044
并构建t时刻的实时状态
Figure FDA0002641831500000045
最后将
Figure FDA0002641831500000046
输入至光-蓄系统在线调度模型，得到实时输出动作
Figure FDA0002641831500000047
然后按照
Figure FDA0002641831500000048
实现光-蓄系统的在线调度。
CN202010842141.3A 2020-08-20 2020-08-20 一种基于深度确定性梯度策略的光-蓄系统在线调度方法 Pending CN112072643A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010842141.3A CN112072643A (zh) 2020-08-20 2020-08-20 一种基于深度确定性梯度策略的光-蓄系统在线调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010842141.3A CN112072643A (zh) 2020-08-20 2020-08-20 一种基于深度确定性梯度策略的光-蓄系统在线调度方法

Publications (1)

Publication Number Publication Date
CN112072643A true CN112072643A (zh) 2020-12-11

Family

ID=73662337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010842141.3A Pending CN112072643A (zh) 2020-08-20 2020-08-20 一种基于深度确定性梯度策略的光-蓄系统在线调度方法

Country Status (1)

Country Link
CN (1) CN112072643A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723757A (zh) * 2021-07-30 2021-11-30 苏州浪潮智能科技有限公司 决策生成模型训练方法、决策生成方法及装置
CN113794199A (zh) * 2021-08-26 2021-12-14 电子科技大学 一种考虑电力市场波动的风电储能系统最大收益优化方法
CN114865696A (zh) * 2022-04-25 2022-08-05 电子科技大学 一种基于sac算法的混合能源系统在线调度方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110535146A (zh) * 2019-08-27 2019-12-03 哈尔滨工业大学 基于深度确定策略梯度强化学习的电力系统无功优化方法
CN110601260A (zh) * 2019-09-11 2019-12-20 电子科技大学 一种限定联络线上功率波动的光-蓄系统容量优化方法
CN111027677A (zh) * 2019-12-02 2020-04-17 西安电子科技大学 基于深度确定性策略梯度ddpg的多机动目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110535146A (zh) * 2019-08-27 2019-12-03 哈尔滨工业大学 基于深度确定策略梯度强化学习的电力系统无功优化方法
CN110601260A (zh) * 2019-09-11 2019-12-20 电子科技大学 一种限定联络线上功率波动的光-蓄系统容量优化方法
CN111027677A (zh) * 2019-12-02 2020-04-17 西安电子科技大学 基于深度确定性策略梯度ddpg的多机动目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李涛 等: ""基于深度强化学习算法的光伏-抽储互补系统智能调度"", 《电工技术学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723757A (zh) * 2021-07-30 2021-11-30 苏州浪潮智能科技有限公司 决策生成模型训练方法、决策生成方法及装置
CN113723757B (zh) * 2021-07-30 2023-07-18 苏州浪潮智能科技有限公司 决策生成模型训练方法、决策生成方法及装置
CN113794199A (zh) * 2021-08-26 2021-12-14 电子科技大学 一种考虑电力市场波动的风电储能系统最大收益优化方法
CN113794199B (zh) * 2021-08-26 2023-04-21 电子科技大学 一种考虑电力市场波动的风电储能系统最大收益优化方法
CN114865696A (zh) * 2022-04-25 2022-08-05 电子科技大学 一种基于sac算法的混合能源系统在线调度方法
CN114865696B (zh) * 2022-04-25 2023-06-02 电子科技大学 一种基于sac算法的混合能源系统在线调度方法

Similar Documents

Publication Publication Date Title
US11581740B2 (en) Method, system and storage medium for load dispatch optimization for residential microgrid
CN112103946B (zh) 一种基于粒子群算法的微电网储能优化配置方法
Yuan et al. Stochastic optimization model for the short-term joint operation of photovoltaic power and hydropower plants based on chance-constrained programming
CN112072643A (zh) 一种基于深度确定性梯度策略的光-蓄系统在线调度方法
CN112290592B (zh) 一种风光储联合发电系统的容量优化规划方法、系统及可读存储介质
CN113794199B (zh) 一种考虑电力市场波动的风电储能系统最大收益优化方法
CN115117940B (zh) 考虑风电、光伏及负荷不确定的风光水火储系统低碳调度模型建模方法
CN111864750A (zh) 风电-制氢系统在市场机制下收益最大化的运行方法
CN112821463B (zh) 基于风、光随机性的主动配电网多目标日前优化调度方法
CN113285490A (zh) 电力系统调度方法、装置、计算机设备和存储介质
CN115765044A (zh) 风光水电系统联合运行及风险分析方法和系统
CN113298407A (zh) 一种工业园区电-气综合能源系统优化调度模型建立方法
CN115423153A (zh) 基于概率预测的光伏储能系统能量管理方法
Wang et al. Research on short‐term and mid‐long term optimal dispatch of multi‐energy complementary power generation system
Zhang et al. An evaluation of the economic benefits of rooftop distributed photovoltaic projects in the whole county in China
CN112670982B (zh) 一种基于奖励机制的微电网有功调度控制方法及系统
CN117937531A (zh) 一种电氢可逆微网长期容量优化方法、系统、设备及介质
CN117154808A (zh) 考虑电力交易的分布式新能源和多元储能聚合建模方法
CN115940284B (zh) 一种考虑分时电价的新能源制氢系统的运行控制策略
CN116581792A (zh) 一种基于数据模型驱动的风光储系统容量规划方法
CN115912421A (zh) 一种配电网储能选址定容多目标优化方法及系统
CN113361805B (zh) 一种配电网规划方法及系统
CN115313508A (zh) 一种微电网储能优化配置方法、装置及存储介质
CN110930014A (zh) 基于调峰需求的电力系统中长期弃风风险评估方法及装置
CN118473021B (zh) 结合cma-es算法和ddpg算法的微电网优化调度方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201211

RJ01 Rejection of invention patent application after publication