CN114865696B - 一种基于sac算法的混合能源系统在线调度方法 - Google Patents

一种基于sac算法的混合能源系统在线调度方法 Download PDF

Info

Publication number
CN114865696B
CN114865696B CN202210439618.2A CN202210439618A CN114865696B CN 114865696 B CN114865696 B CN 114865696B CN 202210439618 A CN202210439618 A CN 202210439618A CN 114865696 B CN114865696 B CN 114865696B
Authority
CN
China
Prior art keywords
power
carbon capture
state
action
pumped storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210439618.2A
Other languages
English (en)
Other versions
CN114865696A (zh
Inventor
胡维昊
张真源
井实
黄琴
张国洲
曹迪
陈健军
胡家祥
熊康
詹巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Power Investment Group Southwest Energy Research Institute Co ltd
University of Electronic Science and Technology of China
Original Assignee
State Power Investment Group Southwest Energy Research Institute Co ltd
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Power Investment Group Southwest Energy Research Institute Co ltd, University of Electronic Science and Technology of China filed Critical State Power Investment Group Southwest Energy Research Institute Co ltd
Priority to CN202210439618.2A priority Critical patent/CN114865696B/zh
Publication of CN114865696A publication Critical patent/CN114865696A/zh
Application granted granted Critical
Publication of CN114865696B publication Critical patent/CN114865696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/002—Flicker reduction, e.g. compensation of flicker introduced by non-linear load
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/22—The renewable source being solar energy
    • H02J2300/24—The renewable source being solar energy of photovoltaic origin
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/28—The renewable source being wind energy
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Nonlinear Science (AREA)

Abstract

本发明公开了一种基于SAC算法的混合能源系统在线调度方法，在不确定环境下，将风‑光‑抽水蓄能‑碳捕获混合能源系统互联运行，由于风力发电、光伏发电以及负荷需求的波动性、随机性，通过合理调度抽水蓄能电站的有功功率和碳捕获系统的功率来平衡不确定性波动，同时以最大碳捕获量为目标，最后采用一种基于最大熵强化学习框架的离线学习策略SAC算法，通过SAC算法训练智能体获取最优调度策略，达到最大碳捕获的目的。

Description

一种基于SAC算法的混合能源系统在线调度方法
技术领域
本发明属于电力技术领域，更为具体地讲，涉及一种基于SAC算法的混合能源系统在线调度方法。
背景技术
目前能源消费结构依然以化石燃料为主体，造成大量温室气体排放。这是导致全球变暖的主要原因。为了应对日益严峻的气候变化，全世界178个缔约方签署了巴黎协定，国际会议提出了不同的发展路径，其中低碳经济(low carbon economy,LCE)已成为许多国家的共识。从2020年到2030年，可再生能源的电力需求将增长三分之二，约占全球电力需求增长的80％。全球的可再生能源市场发展迅猛，且饱含巨大的潜力。
我国一直以发展低成本且清洁的可再生能源为能源转型的目标。为了促进 LCE计划的实现，我国还制定并实施了节能减排的相关措施。在过去十年中，风力发电(WP)和太阳能发电能力迅速增长。到2020年底，WP和太阳能的全球装机容量分别飙升至742.69GW和716.15GW。
尽管研究了多种方法提高化石燃料的转换效率，减少化石能源消耗，在目前条件下仍然难以实现碳零排放。为实现“30.60双碳目标”，第一步是要加大可再生能源的开发利用，如风电、光伏、生物质能等，减少CO2排放量。第二是最近研究火热的碳捕获技术，这是能够短期内持续有效减少CO2的技术之一。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于SAC算法的混合能源系统在线调度方法，考虑了风机、光伏发电量以及负荷需求的波动性和不确定性，通过合理调用抽水蓄能电站的有功功率平衡可再生能源发电的波动，并以碳捕获量最大的最优调度方法。
为实现上述发明目的，本发明一种基于SAC算法的混合能源系统在线调度方法，其特征在于，包括以下步骤：
(1)、采集风力发电厂WT的历史发电数据，记为PWT,t，采集光伏电站PV 的历史发电数据，记为PPV,t；采集混合能源系统的历史负荷Load，记为PLoad,t；采集电网的历史电价数据，记为Eprice,t；其中，t表示时刻，t＝1,2,3,…；
(2)、构建抽水蓄能电站PSH的出力模型；
Figure BDA0003614564670000021
其中，Pt Hydro为抽水蓄能电站在t时刻的发出功率；ηh为抽水蓄能电站发电效率；Hh为发电站的净水高度；Qh为t时刻通过涡轮机的水流量；ρw为水密度； Pt Pump为抽水蓄能电站在t时刻的泵送功率；ηp为是水泵水轮机的泵送效率；Hp为发电站的净水高度；Qp为t时刻通过水泵的水流量；Vt l和
Figure BDA0003614564670000022
分别为t时刻和前一时刻水库的蓄水能力，Δt为时刻间隔量；
Figure BDA0003614564670000023
和
Figure BDA0003614564670000024
分别为水库最小蓄水量和最大蓄水量；
(3)、构建风-光-抽水蓄能-碳捕获混合能源系统的在线调度目标函数及约束条件；
目标函数为：
Figure BDA0003614564670000025
其中，T为优化运行周期，fG表示向电网购电成本，fc表示碳捕获系统的惩罚函数，PPCC,t表示t时刻混合能源系统的平衡点功率，Eprice,t为t时刻的电价；λc为碳捕获系统的功耗系数；PCCS,t为t时刻碳捕获系统的消耗功率；
PPCC,t＝PWT,t+PPV,t-PLoad,t+PPSH,t-PCCS,t
当PPSH,t为正数时表示抽水蓄能电站中水轮机发出功率，即Pt Hydro＝PPSH,t；当PPSH,t为负数时表示抽水蓄能电站的泵送功率，即Pt Pump＝-PPSH,t；
约束条件为：
Figure BDA0003614564670000031
其中，
Figure BDA0003614564670000032
表示抽水蓄能的最大吸收功率，
Figure BDA0003614564670000033
表示水轮机的最大发电功率，
Figure BDA0003614564670000034
表示碳捕获系统最大消耗功率；
(4)、搭建并训练基于SAC算法(Soft Actor Critic,SAC)的风-光-抽水蓄能-碳捕获混合能源系统在线调度模型；
(4.1)、将一个运行周期内的风-光-抽水蓄能-碳捕获混合能源系统的在线调度目标函数及约束条件转化为包含状态集合S、动作集合A和奖励函数r的无约束的马尔可夫决策过程；
其中，S包含决策过程所有状态，t时刻的状态st＝{PWT,t,PPV,t,PLoad,t}；A包含决策过程t时刻的所有动作at＝{PPSH,t,PCCS,t}；t时刻在st下执行at获得的即时奖励值，记为rt(at,st)；
(4.2)、将风-光-抽水蓄能-碳捕获混合能源系统的含约束优化问题转化为无约束问题；
rt(at,st)＝F
(4.3)、构建SAC算法所需的五个神经网络；
构建一个策略网络，记为φ，用于实现输入状态st到输出动作at；
构建一个状态值网络，一个目标状态值网络，记为
Figure BDA0003614564670000035
用于实现输入状态 st、输出动作at到策略π下的动作价值函数Qπ(st,at)的映射，π为映射策略；
构建一个两个状态动作值网络，记为θ1,θ2，用于实现输入状态st、输出动作 at到状态动作值网络的动作价值函数
Figure BDA0003614564670000036
(4.4)、设置基于SAC算法的风-光-抽水蓄能-碳捕获混合系统在线调度模型的总迭代次数N和马尔可夫过程的迭代步数T；设置记忆库，记其容量为D，并初始化为空；初始化所有神经网络的参数集合，初始化n＝1，初始化学习率α，初始化计数器m；
(4.5)、初始化风-光-抽水蓄能-碳捕获混合系统，令t＝1并获取当前状态st，然后执行一次马尔可夫过程；
(4.6)、判断t是否小于T，若t＜T，则进入步骤(4.7)，反之，则进入步骤 (4.17)；
(4.7)、将st送输入至策略网络φ，得输出动作at；
(4.8)、根据输出动作at计算步骤(4.2)中的目标函数值rt，同时获得at作用后的下一时刻状态st+1；
(4.9)、构建元组信息{st,at,rt,st+1}，并将其存入记忆库的m％D位置处，然后赋值m＝m+1；
(4.10)、判断m是否大于D，若是，则进入步骤(4.11)；反之，则进入步骤(4.16)；
(4.11)、更新基于最大熵的随机策略π；
Figure BDA0003614564670000041
其中，α是温度参数，T表示时间尺度，H(π(·|st)是当前状态st和策略π下的熵，H(π(·|st)＝-logπ(·|st)；ρπ表示策略π下的传递函数；
(4.12)、更新状态值网络ψ，并计算最小化残差平方J(ψ)；
Figure BDA0003614564670000042
▽ψJ(ψ)＝▽ψVψ(st)(Vψ(st)-Qθ(st,at)+logπφ(at|st))
其中，Vψ(st)为网络ψ的状态值函数；Qθ(st,at)是
Figure BDA0003614564670000043
和
Figure BDA0003614564670000044
两者中残差平方中较小的一个，对应的状态动作值网络记为θ；πφ(at|st)为网络φ在状态st和动作at下的随机策略；▽ψ表示求梯度；
(4.13)、更新状态动作值网络θ，并计算最小化软贝曼残差JQ(θ)；
Figure BDA0003614564670000051
Figure BDA0003614564670000052
Figure BDA0003614564670000053
其中，
Figure BDA0003614564670000054
是网络θ在下一状时的态动作价值函数，r(st,at)状态st和动作at下的奖励值，γ为衰减因子；
(4.14)、更新策略网络φ，并计算最小化KL散度；
Figure BDA0003614564670000055
Figure BDA0003614564670000056
其中，εt为输入的噪声干扰；N表示噪声分布，fφ(εt,st)为增加噪声干扰后的动作值at＝fφ(εt,st)；
(4.15)、更新网络
Figure BDA0003614564670000057
Figure BDA0003614564670000058
其中，τ为更新系数；
(4.16)、更新当前状态，赋值t＝t+1且st＝st+1，然后返回至步骤(4.6)；
(4.17)、令n＝n+1，再判断n是否大于N，如果是，则进入步骤(4.18)；反之，则进入步骤(4.5)；
(4.18)、迭代停止，并输出神经网络参数集合，从而得到风-光-抽水蓄能- 碳捕获混合系统在线调度模型；
(5)、实时采集风电出力数据
Figure BDA0003614564670000059
光伏电站PV出力数据
Figure BDA00036145646700000510
负荷Load 需求
Figure BDA00036145646700000511
电价数据
Figure BDA00036145646700000512
然后确定实时的
Figure BDA00036145646700000513
并构建t时刻的实时状态
Figure BDA00036145646700000514
最后将
Figure BDA00036145646700000515
输入至风-光-抽水蓄能-碳捕获混合系统在线调度模型，得到实时输出动作
Figure BDA00036145646700000516
然后按照
Figure BDA00036145646700000517
实现混合系统的在线调度。
本发明的发明目的是这样实现的：
本发明基于SAC算法的混合能源系统在线调度方法，在不确定环境下，将风-光-抽水蓄能-碳捕获混合能源系统互联运行，由于风力发电、光伏发电以及负荷需求的波动性、随机性，通过合理调度抽水蓄能电站的有功功率和碳捕获系统的功率来平衡不确定性波动，同时以最大碳捕获量为目标，最后采用一种基于最大熵强化学习框架的离线学习策略SAC算法，通过SAC算法训练智能体获取最优调度策略，达到最大碳捕获的目的。
同时，本发明基于SAC算法的混合能源系统在线调度方法还具有以下有益效果：
(1)、在非用电高峰时期，风电和光伏富余电量用于碳捕获，此举为风能、太阳能等可再生能源等电力资源的高效利用提供了新的途径。
(2)、本发明采用碳捕获技术不仅可以减少弃风、弃光，还可以有效减少系统的碳排放和不必要的能量损失，这样经济效益和低碳运营得到改善，同时也反映多能源系统互联的优势。
附图说明
图1是风光储-碳捕获系统混合能源系统的一种具体实施方式架构图；
图2是马尔可夫决策过程；
图3是数据模型的训练框图以及神经网络架构；
图4是SAC算法应用于风-光-抽水蓄能-碳捕获系统的训练图；
图5是风电、光伏发电以及负荷的测试数据集；
图6是抽水蓄能和碳捕获系统的调度优化结果；
图7是混合能源系统中风-光-抽水蓄能-碳捕获-负荷的功率；
图8是混合能源系统同电网PCC的交互功率；
图9是基于SAC算法优化的碳捕获系统的碳捕获量；
图10是同等环境下与其他方法的优化对比图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是风光储-碳捕获系统混合能源系统的一种具体实施方式架构图。
在本实施例中，一种基于SAC算法的混合能源系统在线调度方法，包括以下步骤：
S1、采集风力发电厂WT的历史发电数据，记为PWT,t，采集光伏电站PV的历史发电数据，记为PPV,t；采集混合能源系统的历史负荷Load，记为PLoad,t；采集电网的历史电价数据，记为Eprice,t；其中，t表示时刻，t＝1,2,3,…；
S2、构建抽水蓄能电站PSH的出力模型；
Figure BDA0003614564670000071
其中，Pt Hydro为抽水蓄能电站在t时刻的发出功率；ηh为抽水蓄能电站发电效率；Hh为发电站的净水高度；Qh为t时刻通过涡轮机的水流量；ρw为水密度； Pt Pump为抽水蓄能电站在t时刻的泵送功率；ηp为是水泵水轮机的泵送效率；Hp为发电站的净水高度；Qp为t时刻通过水泵的水流量；Vt l和
Figure BDA0003614564670000072
分别为t时刻和前一时刻水库的蓄水能力，Δt为时刻间隔量；
Figure BDA0003614564670000073
和
Figure BDA0003614564670000074
分别为水库最小蓄水量和最大蓄水量；
S3、构建风-光-抽水蓄能-碳捕获混合能源系统的在线调度目标函数及约束条件；
目标函数为：
Figure BDA0003614564670000075
其中，T为优化运行周期，fG表示向电网购电成本，fc表示碳捕获系统的惩罚函数，PPCC,t表示t时刻混合能源系统的平衡点功率，Eprice,t为t时刻的电价；λc为碳捕获系统的功耗系数；PCCS,t为t时刻碳捕获系统的消耗功率；
PPCC,t＝PWT,t+PPV,t-PLoad,t+PPSH,t-PCCS,t
当PPSH,t为正数时表示抽水蓄能电站中水轮机发出功率，即Pt Hydro＝PPSH,t；当PPSH,t为负数时表示抽水蓄能电站的泵送功率，即Pt Pump＝-PPSH,t；
约束条件为：
Figure BDA0003614564670000081
其中，
Figure BDA0003614564670000082
表示抽水蓄能的最大吸收功率，
Figure BDA0003614564670000083
表示水轮机的最大发电功率，
Figure BDA0003614564670000084
表示碳捕获系统最大消耗功率；
S4、搭建并训练基于SAC算法(Soft Actor Critic,SAC)的风-光-抽水蓄能- 碳捕获混合能源系统在线调度模型，如图1所示；
S4.1、将一个运行周期内的风-光-抽水蓄能-碳捕获混合能源系统的在线调度目标函数及约束条件转化为包含状态集合S、动作集合A和奖励函数r的无约束的马尔可夫决策过程；
其中，S包含决策过程所有状态，t时刻的状态st＝{PWT,t,PPV,t,PLoad,t}；A包含决策过程t时刻的所有动作at＝{PPSH,t,PCCS,t}；t时刻在st下执行at获得的即时奖励值，记为rt(at,st)；
S4.2、将风-光-抽水蓄能-碳捕获混合能源系统的含约束优化问题转化为无约束问题；
rt(at,st)＝F
S4.3、构建SAC算法所需的五个神经网络；
构建一个策略网络，记为φ，用于实现输入状态st到输出动作at；
构建一个状态值网络，一个目标状态值网络，记为
Figure BDA0003614564670000085
用于实现输入状态 st、输出动作at到策略π下的动作价值函数Qπ(st,at)的映射，π为映射策略；
构建一个两个状态动作值网络，记为θ1,θ2，用于实现输入状态st、输出动作 at到状态动作值网络的动作价值函数
Figure BDA0003614564670000091
S4.4、设置基于SAC算法的风-光-抽水蓄能-碳捕获混合系统在线调度模型的总迭代次数N和马尔可夫过程的迭代步数T；设置记忆库，记其容量为D，并初始化为空；初始化所有神经网络的参数集合，初始化n＝1，初始化学习率α，初始化计数器m；
S4.5、初始化风-光-抽水蓄能-碳捕获混合系统，令t＝1并获取当前状态st，然后执行一次马尔可夫过程；
S4.6、判断t是否小于T，若t＜T，则进入步骤S4.7，反之，则进入步骤S4.17；
S4.7、将st送输入至策略网络φ，得输出动作at；
S4.8、根据输出动作at计算步骤S4.2中的目标函数值rt，同时获得at作用后的下一时刻状态st+1；
S4.9、构建元组信息{st,at,rt,st+1}，并将其存入记忆库的m％D位置处，然后赋值m＝m+1；
S4.10、判断m是否大于D，若是，则进入步骤S4.11；反之，则进入步骤 S4.16；
S4.11、更新基于最大熵的随机策略π；
Figure BDA0003614564670000092
其中，α是温度参数，T表示时间尺度，H(π(·|st)是当前状态st和策略π下的熵，H(π(·|st)＝-logπ(·|st)；ρπ表示策略π下的传递函数；
S4.12、更新状态值网络ψ，并计算最小化残差平方J(ψ)；
Figure BDA0003614564670000093
▽ψJ(ψ)＝▽ψVψ(st)(Vψ(st)-Qθ(st,at)+logπφ(at|st))
其中，Vψ(st)为网络ψ的状态值函数；Qθ(st,at)是
Figure BDA0003614564670000094
和
Figure BDA0003614564670000095
两者中残差平方中较小的一个，对应的状态动作值网络记为θ；πφ(at|st)为网络φ在状态st和动作at下的随机策略；▽ψ表示求梯度；
S4.13、更新状态动作值网络θ，并计算最小化软贝曼残差JQ(θ)；
Figure BDA0003614564670000101
Figure BDA0003614564670000102
Figure BDA0003614564670000103
其中，
Figure BDA0003614564670000104
是网络θ在下一状时的态动作价值函数，r(st,at)状态st和动作at下的奖励值，γ为衰减因子；
S4.14、更新策略网络φ，并计算最小化KL散度；
Figure BDA0003614564670000105
Figure BDA0003614564670000106
其中，εt为输入的噪声干扰；N表示噪声分布，fφ(εt,st)为增加噪声干扰后的动作值at＝fφ(εt,st)；
S4.15、更新网络
Figure BDA0003614564670000107
Figure BDA0003614564670000108
其中，τ为更新系数；
S4.16、更新当前状态，赋值t＝t+1且st＝st+1，然后返回至步骤S4.6；
S4.17、令n＝n+1，再判断n是否大于N，如果是，则进入步骤S4.18；反之，则进入步骤S4.5；
S4.18、迭代停止，并输出神经网络参数集合，从而得到风-光-抽水蓄能-碳捕获混合系统在线调度模型；
S5、实时采集风电出力数据
Figure BDA0003614564670000109
光伏电站PV出力数据
Figure BDA00036145646700001010
负荷Load需求
Figure BDA00036145646700001011
电价数据
Figure BDA00036145646700001012
然后确定实时的
Figure BDA00036145646700001013
并构建t时刻的实时状态
Figure BDA00036145646700001014
最后将
Figure BDA00036145646700001015
输入至风-光-抽水蓄能-碳捕获混合系统在线调度模型，得到实时输出动作
Figure BDA00036145646700001016
然后按照
Figure BDA00036145646700001017
实现混合系统的在线调度。
在实施的例子中，如图2所示，马尔可夫决策过程是当前时刻的状态只与上一时刻状态相关。本发明要解决的是非线性高维度的复杂问题，为了简化这个问题，基于马尔可夫决策过程解决问题的思路，本发明采用了一种数据模型训练求解最优策略的方法，如图3。
人工智能(AI)和数据驱动技术的结合正在深刻影响和改变全球电力和能源行业，并在智能电网中发挥巨大潜力。人工智能关注个体在与动态随机环境交互过程中的累积回报。在电力系统中，奖励值可以表示为系统的运行指标，如最大碳捕获量和最大经济收益等。随着AlphaGo的出现，以深度强化学习算法为代表的人工智能算法发展更进了一步，深度强化学习算法基于马尔可夫决策过程解决问题的思路，为求取最优策略对智能体进行反复训练，在达到一定训练次数以后，面对任意随机的环境智能体都能输出获取最大奖励值的动作值。目前，人工智能算法广泛应用于智能电网中的高维非线性优化问题，并取得了可喜的成果。因此，本发明提出将人工智能算法应用于碳捕获问题。由于电价、风电、光伏发电以及负荷的不确定性，在满足负荷需求的前提下，将剩余的电量参与碳捕获系统。本发明中，以一天24小时为调度周期，时间间隔为一小时。该仿真在已有的真实数据集中随机抽取一天24小时的数据，将其分为24次循环对应一天的时间周期，本研究基于某个地区的365天的数据作为训练集。以此建立一个基于场景的随机优化模型，以系统的有功率平衡为基础，最大化碳捕获量为经济性指标进行优化，最终得到基于风-光-抽水蓄能-碳捕获混合系统的最优调度策略。
表1可再生能源参数配置
发电机 功率 负荷 功率
风电 0.3MW 碳捕获 0.5MW
光伏 0.2MW 负荷需求 0-0.6MW
抽水蓄能 0.8MW
基于上述混合能源系统模型进行仿真，将非高峰时期的低价电能储存，通过SAC算法生成的有功调度策略来进行经济性优化，表1是混合能源系统配置。碳捕获系统的参数如表2所示。
表2碳捕获系统参数配置
Figure BDA0003614564670000111
Figure BDA0003614564670000121
表3 SAC算法的参数设置
Figure BDA0003614564670000122
在本实施例中，奖励值函数按照F进行计算，并依据表3对SAC算法进行参数设置，用来完成最大碳捕获量的目标，训练过程如图4所示。该曲线直观表现了智能体训练过程的学习趋势。智能体在和环境交互大约2000次以后，就收敛到区间[-13-11.5]。
然后，根据前面训练好的智能体，将为混合能源系统提供最优调度策略，以完成碳捕获最大化问题。从实际的电厂数据中，随机选择一天24小时的风电、光伏发电和负荷需求的数据集作为测试，如图5所示。再加入抽水蓄能对混合能源系统进行调控后，优化结果如图6所示。可以看出，可再生能源出力大的时候碳捕获系统的转化量就多。正方形节点的线条代表抽水蓄能电站的出力情况，叉号节点的线条代表碳捕获系统的使用功率，而圆形节点的线条则代表PCC, 可以看出加入抽水蓄能电站后混合能源系统和电网之间的功率交互很少。
混合能源系统中所有的发电系统和负荷结合在一起如图7所示，其中第一层柱状图(从下往上)表示风力发电功率，第二层柱状图表示光伏发电功率，第三层柱状图表示抽水蓄能电站功率，圆形节点的线条表示碳捕获系统消耗的功率，正方形节点的线条表示负荷需求。由圆形节点线条可以看出，当发电机刚好满足负荷时，碳捕获系统就不消耗功率，而发电量和负荷差值越大，碳捕获系统消耗的电量也就越大。在SAC算法优化下，碳捕获系统消耗功率在范围 0-0.45。
满足负荷需求的同时，同电网PCC交互功率越少越好。如图8所示，基本实现风光消纳的前提，且碳捕获量最大(见图9)。从图8可以看出可以直观看出，风电、光伏、抽水蓄能、碳捕获、负荷需求之间的偏差在0.03以内，碳捕获量为0-0.11t.
为进一步体现本方法在解决碳捕获问题时的优越性，本实施例决定用SP算法和输出不连续动作的DQN算法进行对比，表4是对这两种方法的参数设置。
表4.SP和DQN算法的参数设置
Figure BDA0003614564670000131
三种算法的抽水蓄能出力功率很接近，但还是有明显的差别。SAC算法的抽水蓄能出力是高于SP和DQN两种算法的，SAC算法优化后碳捕获量最多，其次是DQN，最后是SP。如图10所示，在同样的环境下，引入随机规划(SP) 和深度Q网络(DQN)进行了比较分析。SP优化后的最大碳捕获量为0-0.05t，而DQN优化结果为0-0.07t,SAC的最大碳捕获结果为0-0.11t。综上所述，对于高维复杂非线性的碳捕获问题，SAC优化效果明显优于DQN和SP，本发明所提出的解决方法能够解决最大碳捕获问题。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于SAC算法的混合能源系统在线调度方法，其特征在于，包括以下步骤：
(1)、采集风力发电厂WT的历史发电数据，记为PWT,t，采集光伏电站PV的历史发电数据，记为PPV,t；采集混合能源系统的历史负荷Load，记为PLoad,t；采集电网的历史电价数据，记为Eprice,t；其中，t表示时刻，t＝1,2,3,…；
(2)、构建抽水蓄能电站PSH的出力模型；
Figure FDA0004087847000000011
其中，Pt Hydro为抽水蓄能电站在t时刻的发出功率；ηh为抽水蓄能电站发电效率；Hh为发电站的净水高度；Qh为t时刻通过涡轮机的水流量；Pt Pump为抽水蓄能电站在t时刻的泵送功率；ηp为是水泵水轮机的泵送效率；Hp为发电站的净水高度；Qp为t时刻通过水泵的水流量；Vt l和
Figure FDA0004087847000000012
分别为t时刻和前一时刻水库的蓄水能力，Δt为时刻间隔量；
Figure FDA0004087847000000013
和
Figure FDA0004087847000000014
分别为水库最小蓄水量和最大蓄水量；
(3)、构建风-光-抽水蓄能-碳捕获混合能源系统的在线调度目标函数及约束条件；
目标函数为：
Figure FDA0004087847000000015
其中，T为优化运行周期，fG表示向电网购电成本，fc表示碳捕获系统的惩罚函数，PPCC,t表示t时刻混合能源系统的平衡点功率，Eprice,t为t时刻的电价；λc为碳捕获系统的功耗系数；PCCS,t为t时刻碳捕获系统的消耗功率；
PPCC,t＝PWT,t+PPV,t-PLoad,t+PPSH,t-PCCS,t
当PPSH,t为正数时表示抽水蓄能电站中水轮机发出功率，即Pt Hydro＝PPSH,t；当PPSH,t为负数时表示抽水蓄能电站的泵送功率，即Pt Pump＝-PPSH,t；
约束条件为：
Figure FDA0004087847000000021
其中，
Figure FDA0004087847000000022
表示抽水蓄能的最大吸收功率，
Figure FDA0004087847000000023
表示水轮机的最大发电功率，
Figure FDA0004087847000000024
表示碳捕获系统最大消耗功率；
(4)、搭建并训练基于SAC算法(Soft Actor Critic,SAC)的风-光-抽水蓄能-碳捕获混合能源系统在线调度模型；
(4.1)、将一个运行周期内的风-光-抽水蓄能-碳捕获混合能源系统的在线调度目标函数及约束条件转化为包含状态集合S、动作集合A和奖励函数r的无约束的马尔可夫决策过程；
其中，S包含决策过程所有状态，t时刻的状态st＝{PWT,t,PPV,t,PLoad,t}；A包含决策过程t时刻的所有动作at＝{PPSH,t,PCCS,t}；t时刻在st下执行at获得的即时奖励值，记为rt(at,st)；
(4.2)、将风-光-抽水蓄能-碳捕获混合能源系统的含约束优化问题转化为无约束问题；
rt(at,st)＝F
(4.3)、构建SAC算法所需的五个神经网络；
构建一个策略网络，记为φ，用于实现输入状态st到输出动作at；
构建一个状态值网络，一个目标状态值网络，记为ψ,
Figure FDA0004087847000000025
用于实现输入状态st、输出动作at到策略π下的动作价值函数Qπ(st,at)的映射，π为映射策略；
构建一个两个状态动作值网络，记为θ1,θ2，用于实现输入状态st、输出动作at到状态动作值网络的动作价值函数
Figure FDA0004087847000000026
(4.4)、设置基于SAC算法的风-光-抽水蓄能-碳捕获混合系统在线调度模型的总迭代次数N和马尔可夫过程的迭代步数T；设置记忆库，记其容量为D，并初始化为空；初始化所有神经网络的参数集合，初始化n＝1，初始化学习率α，初始化计数器m；
(4.5)、初始化风-光-抽水蓄能-碳捕获混合系统，令t＝1并获取当前状态st，然后执行一次马尔可夫过程；
(4.6)、判断t是否小于T，若t＜T，则进入步骤(4.7)，反之，则进入步骤(4.17)；
(4.7)、将st送输入至策略网络φ，得输出动作at；
(4.8)、根据输出动作at计算步骤(4.2)中的目标函数值rt，同时获得at作用后的下一时刻状态st+1；
(4.9)、构建元组信息{st,at,rt,st+1}，并将其存入记忆库的m％D位置处，然后赋值m＝m+1；
(4.10)、判断m是否大于D，若是，则进入步骤(4.11)；反之，则进入步骤(4.16)；
(4.11)、更新基于最大熵的随机策略π；
Figure FDA0004087847000000031
其中，α是温度参数，T表示时间尺度，H(π(·|st))是当前状态st和策略π下的熵，H(π(·|st))＝-logπ(·|st)；ρπ表示策略π下的传递函数；
(4.12)、更新状态值网络ψ，并计算最小化残差平方J(ψ)；
Figure FDA0004087847000000032
▽ψJ(ψ)＝▽ψVψ(st)(Vψ(st)-Qθ(st,at)+logπφ(at|st))
其中，Vψ(st)为网络ψ的状态值函数；Qθ(st,at)是
Figure FDA0004087847000000033
和
Figure FDA0004087847000000034
两者中残差平方中较小的一个，对应的状态动作值网络记为θ；πφ(at|st)为网络φ在状态st和动作at下的随机策略；▽ψ表示求梯度；
(4.13)、更新状态动作值网络θ，并计算最小化软贝曼残差JQ(θ)；
Figure FDA0004087847000000041
Figure FDA0004087847000000042
Figure FDA0004087847000000043
其中，
Figure FDA0004087847000000044
是网络θ在下一状态时的动作价值函数，r(st,at)状态st和动作at下的奖励值，γ为衰减因子；
(4.14)、更新策略网络φ，并计算最小化KL散度；
Figure FDA0004087847000000045
Figure FDA0004087847000000046
其中，εt为输入的噪声干扰；N表示噪声分布，fφ(εt,st)为增加噪声干扰后的动作值，at＝fφ(εt,st)；
(4.15)、更新网络
Figure FDA0004087847000000047
Figure FDA0004087847000000048
其中，τ为更新系数；
(4.16)、更新当前状态，赋值t＝t+1且st＝st+1，然后返回至步骤(4.6)；
(4.17)、令n＝n+1，再判断n是否大于N，如果是，则进入步骤(4.18)；反之，则进入步骤(4.5)；
(4.18)、迭代停止，并输出神经网络参数集合，从而得到风-光-抽水蓄能-碳捕获混合系统在线调度模型；
(5)、实时采集风电出力数据
Figure FDA0004087847000000049
光伏电站PV出力数据
Figure FDA00040878470000000410
负荷Load需求
Figure FDA00040878470000000411
电价数据
Figure FDA00040878470000000412
然后确定实时的
Figure FDA00040878470000000413
并构建t时刻的实时状态
Figure FDA00040878470000000414
最后将
Figure FDA00040878470000000415
输入至风-光-抽水蓄能-碳捕获混合系统在线调度模型，得到实时输出动作
Figure FDA00040878470000000416
然后按照
Figure FDA00040878470000000417
实现混合系统的在线调度。
CN202210439618.2A 2022-04-25 2022-04-25 一种基于sac算法的混合能源系统在线调度方法 Active CN114865696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210439618.2A CN114865696B (zh) 2022-04-25 2022-04-25 一种基于sac算法的混合能源系统在线调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210439618.2A CN114865696B (zh) 2022-04-25 2022-04-25 一种基于sac算法的混合能源系统在线调度方法

Publications (2)

Publication Number Publication Date
CN114865696A CN114865696A (zh) 2022-08-05
CN114865696B true CN114865696B (zh) 2023-06-02

Family

ID=82633397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210439618.2A Active CN114865696B (zh) 2022-04-25 2022-04-25 一种基于sac算法的混合能源系统在线调度方法

Country Status (1)

Country Link
CN (1) CN114865696B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12030657B1 (en) 2023-10-27 2024-07-09 Rtx Corporation System and methods for power split algorithm design for aircraft hybrid electric propulsion based on combined actor-critic RL agent and control barrier function filter

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008039449A1 (de) * 2008-08-25 2010-03-04 Rheinisch-Westfälische Technische Hochschule Aachen Emissionsfreies Karftwerk
CN105811466A (zh) * 2016-05-19 2016-07-27 四川大学 基于有效运行短路比的电网黑启动直流功率提升方法
WO2017158412A1 (en) * 2016-03-12 2017-09-21 Centre For Development Of Telematics Gis based centralized carbon footprint monitoring system and method thereof
CN112072643A (zh) * 2020-08-20 2020-12-11 电子科技大学 一种基于深度确定性梯度策略的光-蓄系统在线调度方法
CN112290536A (zh) * 2020-09-23 2021-01-29 电子科技大学 基于近端策略优化的电-热综合能源系统在线调度方法
CN113078687A (zh) * 2021-04-06 2021-07-06 东北电力大学 孤岛多能互补电-气耦合系统能量优化调度方法
CN113327180A (zh) * 2021-07-05 2021-08-31 华北电力大学 一种考虑氢能应用的电力系统低碳经济调度方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008039449A1 (de) * 2008-08-25 2010-03-04 Rheinisch-Westfälische Technische Hochschule Aachen Emissionsfreies Karftwerk
WO2017158412A1 (en) * 2016-03-12 2017-09-21 Centre For Development Of Telematics Gis based centralized carbon footprint monitoring system and method thereof
CN105811466A (zh) * 2016-05-19 2016-07-27 四川大学 基于有效运行短路比的电网黑启动直流功率提升方法
CN112072643A (zh) * 2020-08-20 2020-12-11 电子科技大学 一种基于深度确定性梯度策略的光-蓄系统在线调度方法
CN112290536A (zh) * 2020-09-23 2021-01-29 电子科技大学 基于近端策略优化的电-热综合能源系统在线调度方法
CN113078687A (zh) * 2021-04-06 2021-07-06 东北电力大学 孤岛多能互补电-气耦合系统能量优化调度方法
CN113327180A (zh) * 2021-07-05 2021-08-31 华北电力大学 一种考虑氢能应用的电力系统低碳经济调度方法及系统

Also Published As

Publication number Publication date
CN114865696A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
Xu et al. Data-driven configuration optimization of an off-grid wind/PV/hydrogen system based on modified NSGA-II and CRITIC-TOPSIS
CN106849190B (zh) 一种基于Rollout算法的多能互补微网实时调度方法
CN111340274A (zh) 一种基于虚拟电厂参与的综合能源系统优化方法和系统
CN111144728B (zh) 基于深度强化学习的热电联产系统经济调度方法
Zhu et al. A parallel meta-heuristic method for solving large scale unit commitment considering the integration of new energy sectors
CN110601260B (zh) 一种限定联络线上功率波动的光-蓄系统容量优化方法
CN114914943B (zh) 面向绿色港口岸电系统的氢储能优化配置方法
CN107453408B (zh) 一种考虑不确定性的微电网能量优化调度方法
CN111668878A (zh) 一种可再生微能源网的优化配置方法和系统
CN113570117B (zh) 一种基于二阶锥松弛转化方法的电-气综合能源微网优化调度方法
CN112054508A (zh) 一种基于非合作博弈的风光抽蓄联合系统优化调度方法
CN114865696B (zh) 一种基于sac算法的混合能源系统在线调度方法
CN115759610A (zh) 一种电力系统源网荷储协同的多目标规划方法及其应用
CN109888770A (zh) 基于机会约束规划和波动成本的风电场装机容量优化方法
CN112072643A (zh) 一种基于深度确定性梯度策略的光-蓄系统在线调度方法
CN111144633A (zh) 一种cchp微电网运行优化方法
CN114417695A (zh) 多园区综合能源系统经济调度方法
CN116865271A (zh) 一种基于数字孪生驱动的微电网多智能体协调优化控制策略
Zhao et al. Research on Multiobjective Optimal Operation Strategy for Wind‐Photovoltaic‐Hydro Complementary Power System
Huang et al. Optimization Strategy of Wind-Photovoltaic-Energy Storage Grid Peak Shaving
Guan et al. Agent-Based Modeling of Small-Scale Clean Energy System Using Deep Reinforcement Learning
CN117574684B (zh) 一种电-氢-碳综合能源系统时序生产模拟方法及系统
Sun et al. Uncertainty optimization strategy of wind photovoltaic new energy system based on hydrogen energy storage
CN116780546A (zh) 一种微电网低碳经济调度方法、系统、设备及介质
Ma et al. A Calculation Method of Dynamic Carbon Emission Factors for Different Regions in a Province Based on Time Division

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant