CN113095715A - 基于深度强化学习的含氢储能微网优化运行方法 - Google Patents

基于深度强化学习的含氢储能微网优化运行方法 Download PDF

Info

Publication number
CN113095715A
CN113095715A CN202110471604.4A CN202110471604A CN113095715A CN 113095715 A CN113095715 A CN 113095715A CN 202110471604 A CN202110471604 A CN 202110471604A CN 113095715 A CN113095715 A CN 113095715A
Authority
CN
China
Prior art keywords
energy storage
hydrogen
microgrid
power
electrolytic cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110471604.4A
Other languages
English (en)
Other versions
CN113095715B (zh
Inventor
朱振山
翁智敏
叶成涛
陈哲盛
郑海林
吴诗雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202110471604.4A priority Critical patent/CN113095715B/zh
Publication of CN113095715A publication Critical patent/CN113095715A/zh
Application granted granted Critical
Publication of CN113095715B publication Critical patent/CN113095715B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Development Economics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Fuel Cell (AREA)
  • Electrolytic Production Of Non-Metals, Compounds, Apparatuses Therefor (AREA)

Abstract

本发明提出一种基于深度强化学习的含氢储能微网优化运行方法，利用线性插值法建立了电解槽效率特性模型，并将电解槽效率特性模型与燃气轮机、电化学储能、储氢罐和燃料电池等模型相结合，以微网运行成本为目标，构建含氢储能微网优化运行模型。最后采用深度确定性策略梯度算法求解微网优化运行这一序列决策问题。该方法考虑了电解槽的效率特性，可以充分利用氢储能容量，根据深度强化学习原理求解优化问题，降低了含氢储能微网的运行成本，且具有较好的泛化性。

Description

基于深度强化学习的含氢储能微网优化运行方法
技术领域
本发明属于电力系统优化运行与调度技术领域，尤其涉及一种基于深度强化学习的含氢储能微网优化运行方法。
背景技术
随着“二氧化碳排放力争于2030年前达到峰值，努力争取2060年前实现碳中和”目标的提出，如何提高可再生能源利用率，减少碳排放成为当下的研究热点问题。然而，微网中大量的可再生能源具有间歇性和随机性，给微网的调度运行带来了巨大挑战。
目前，微网经济调度问题通常使用传统规划算法或启发式算法求解。然而，传统规划算法对于非线性、非凸等问题难以避免局部最优解，启发式算法可以解决非线性非凸问题，但存在收敛速度慢、泛化性不强等问题。且上述算法，常常依赖于对可再生能源出力与负荷波动不确定性的精确预测，无法适应源荷的动态变化。
深度强化学习是一种机器学习方法，具备感知环境能力和决策能力，可以感知环境中的不确定性。目前，深度强化学习已经在电网无功优化、电动汽车、电力市场等领域取得一定的效果。
发明内容
针对现有技术的空白，本发明提出了一种基于深度强化学习的含氢储能微网优化运行方法，利用线性插值法建立了电解槽效率特性模型，并将电解槽效率特性模型与燃气轮机、电化学储能、储氢罐和燃料电池等模型相结合，以微网运行成本为目标，构建含氢储能微网优化运行模型。最后采用深度确定性策略梯度算法求解微网优化运行这一序列决策问题。该方法考虑了电解槽的效率特性，可以充分利用氢储能容量，根据深度强化学习原理求解优化问题，降低了含氢储能微网的运行成本，且具有较好的泛化性。
其应用线性插值法构建电解槽效率特性模型，更精确评估电解槽的运行成本。以最小化微网运行成本为目标，构建含氢储能微网调度模型，并采用深度确定性策略梯度算法优化其运行成本。
本发明具体采用以下技术方案：
一种基于深度强化学习的含氢储能微网优化运行方法，其特征在于：利用线性插值法建立电解槽效率特性模型，并将电解槽效率特性模型与燃气轮机、电化学储能、储氢罐和燃料电池模型相结合，以最小化微网运行成本为目标，构建含氢储能微网优化运行模型；并采用深度确定性策略梯度算法求解微网优化运行决策问题。
进一步地，包括以下步骤：
步骤S1：计算电解槽效率与输入功率，获取电解槽效率特性数据，利用查表线性插值的方法构建电解槽效率特性模型；
步骤S2：以微网运行成本最小化为目标，构建包含光伏发电装置、微型燃气轮机、电化学储能以及电解槽、储氢罐和燃料电池组成的氢储能系统的含氢储能微网经济调度模型；
步骤S3：利用深度确定性策略梯度算法优化微网运行成本。
进一步地，步骤S1中利用查表线性插值的方法构建电解槽效率特性模型，具体包括：
步骤S11：计算电解槽效率特性：
电解槽效率ηel由电压效率ηv和电流效率ηi两部分组成：
ηel＝ηiηv
Figure BDA0003046173680000021
ηv＝(Utn/Uel)*100％
式中：I为电解槽的堆栈电流；Utn为理论分解电压；Uel为电解电压；
其中电解电压由以下式子算出：
Figure BDA0003046173680000022
Urev(T,p)＝1.5184-1.5421×10-3T+9.523×10-5TlnT+9.84×10-8T2
Uohm＝IRi
Figure BDA0003046173680000023
Figure BDA0003046173680000024
式中：T为电解槽工作温度；Urev为电解水的可逆电压；Uohm为电解质自身电阻产生的电阻压降；
Figure BDA0003046173680000031
分别为电解水产生的氢超电势、氧超电势；Ri为电解质电阻；R为普适气体常数，F为法拉第常数；αc，αa分别为阴极和阳极的电荷传递系数；jco，jao分别为阴极和阳极的交换电流密度；nc，na分别为阴极、阳极的电子转移数；
电解槽输入功率由以下式子算出：
Pel＝UelI；
步骤S12：构建基于线性插值法的电解槽效率特性模型：
取若干个计算出的功率效率数据对作为原始数据，形成数据表；通过查表以及线性插值的方式求出对应的电解槽效率：
Figure BDA0003046173680000032
式中：P0、P1分别为查表时数据表中离Pel最近的两个功率值；η0、η1分别为P0、P1在数据表中对应的电解槽效率。
进一步地，步骤S3具体包括以下步骤：
步骤S31：确定状态空间和动作空间：
微网优化运行的状态空间参数包括光伏实时发电功率Pt PV、实时用电负荷
Figure BDA0003046173680000033
电化学储能的实时荷电状态
Figure BDA0003046173680000034
氢储罐的储氢状态
Figure BDA0003046173680000035
Figure BDA0003046173680000036
式中st表示t时刻微网状态；
电化学储能充放电功率通过其SOC约束和额定功率算出；
微网运行优化问题的动作空间用燃气轮机出力Pt MT和氢储能系统充放电功率
Figure BDA0003046173680000037
表示：
Figure BDA0003046173680000038
式中，at表示t时刻动作；
步骤S32：设计奖励值：
将约束条件转换为奖励函数的一部分：
Figure BDA0003046173680000041
D2＝2(Pt curt+Pt loss)
Figure BDA0003046173680000042
rt＝-Ft-D2+D1
其中：
Figure BDA0003046173680000043
Cbat(t)＝cbat|Pt b|
Cel(t)＝celPt el
Cfc(t)＝cfcPt fc
式中，D1为氢储能SOC罚函数；
Figure BDA0003046173680000044
表示氢储能SOC上下限，D2表示失负荷和弃光成本；Pt curt、Pt loss分别为t时刻弃光和失负荷功率；rt为t时刻奖励Ft为t时刻微网运行成本；CMT(t)为t时刻微型燃气轮机的运行成本；
Figure BDA0003046173680000045
为t时刻微型燃气轮机的CO2排放成本；Cbat(t)、Cel(t)、Cfc(t)分别为电化学储能、电解槽以及燃料电池的运维成本；δ2，δ1，δ0为微型燃气轮机的发电成本系数；cbat，cel，cfc分别为电化学储能、电解槽以及燃料电池的运维成本系数；
Figure BDA0003046173680000046
为燃气轮机CO2排放系数；
Figure BDA0003046173680000047
为碳交易市场碳排放价格；Pt MT为t时刻微型燃气轮机的发电功率；Pt b为t时刻电化学储能的充放电功率；Pt el、Pt fc分别为t时刻电解槽和燃料电池功率；
步骤S33：利用深度确定性策略梯度算法优化微网运行成本：
首先确定迭代次数和调度周期长度，初始化算法超参数，然后，选择微网初始状态根据策略网络选择动作并叠加噪声，根据动作计算电化学储能功率，执行动作，观察当前奖励，并将当前状态，动作，奖励，下一时刻状态存储至经验池；最后，选取部分样本，根据更新公式更新策略网络和评价网络及其目标网络并更新状态，重复至调度周期结束，开始下一轮迭代。
相较于现有技术，本发明及其优选方案具有以下有益效果：
本发明考虑电解槽效率特性构建的氢储能系统模型，可以更精确地反映实际电解槽的工作情况，可以减少微网的弃光量降低微网运行成本。本发明引入深度强化学习算法可以有效地降低含氢储能微网运行成本，提高微网效益，在特定场景训练后的智能体具有一定的泛化性，在不同场景也能表现出较好的寻优效果。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1为本发明实施例微电网结构示意图；
图2为本发明实施例微网优化运行方法训练流程示意图；
图3为本发明实施例考虑电解槽效率特性仿真结果示意图；
图4为本发明实施例未考率电解槽效率特性仿真结果示意图；
图5为本发明实施例基于DDPG算法的微网调度结果示意图；
图6为本发明实施例遗传算法的微网调度结果示意图；
图7为本发明实施例内点法的微网调度结果示意图；
图8为本发明实施例冬季微网调度结果示意图；
图9为本发明实施例夏季微网调度结果示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
本实施例提供的基于深度确定性策略梯度算法的含氢储能微网优化运行方法，包括以下步骤：
步骤S1：计算电解槽效率与输入功率，获取电解槽效率特性数据，利用查表线性插值的方法构建电解槽效率特性模型。
步骤S2：以微网运行成本最小化为目标，构建包含光伏发电装置、微型燃气轮机、电化学储能以及电解槽、储氢罐和燃料电池组成的氢储能系统的含氢储能微网经济调度模型。
步骤S3：根据深度强化学习理论，利用深度确定性策略梯度算法优化微网运行成本。
其中，步骤S1具体包括：
步骤S11：计算电解槽效率特性：
考虑到电解槽的效率与功率都与电解槽的单位电流密度有关，根据单位电流密度算出效率与功率。
电解槽效率ηel由电压效率ηv和电流效率ηi两部分组成。
ηel＝ηiηv
Figure BDA0003046173680000061
ηv＝(Utn/Uel)*100％
式中：I电解槽的堆栈电流。Utn理论分解电压，其较为稳定，一般为1.482V。Uel为电解电压。
其中电解电压由以下式子算出：
Figure BDA0003046173680000062
Urev(T,p)＝1.5184-1.5421×10-3T+9.523×10-5TlnT+9.84×10-8T2
Uohm＝IRi
Figure BDA0003046173680000063
Figure BDA0003046173680000064
式中：T为电解槽工作温度；Urev为电解水的可逆电压；Uohm为电解质自身电阻产生的电阻压降；
Figure BDA0003046173680000065
分别为电解水产生的氢超电势、氧超电势；Ri为电解质电阻；R为普适气体常数，F为法拉第常数；αc，αa分别为阴极和阳极的电荷传递系数；jco，jao分别为阴极和阳极的交换电流密度；nc，na分别为阴极、阳极的电子转移数。
电解槽输入功率可以由以下式子算出：
Pel＝UelI
步骤S12：构建基于线性插值法的电解槽效率特性模型。
取20个计算出的功率效率数据对作为原始数据，形成数据表。通过查表以及线性插值的方式快速地求出对应的电解槽效率：
Figure BDA0003046173680000071
式中：P0、P1分别为查表时数据表中离Pel最近的两个功率值；η0、η1分别为P0、P1在数据表中对应的电解槽效率。
步骤S3具体包括：
步骤S31：确定状态空间和动作空间
微网优化运行的状态空间参数包括光伏实时发电功率Pt PV、实时用电负荷Pt load、电化学储能的实时荷电状态
Figure BDA0003046173680000072
氢储罐的储氢状态
Figure BDA0003046173680000073
Figure BDA0003046173680000074
式中st表示t时刻状态。
在微网其他设备的功率确定后，为了尽量减少负荷损失和弃光量，电化学储能充放电功率可以通过其SOC约束和额定功率算出。因此，微网运行优化问题的动作空间可以用燃气轮机出力Pt MT和氢储能系统充放电功率
Figure BDA0003046173680000075
表示：
Figure BDA0003046173680000076
式中，at表示t时刻动作。
步骤S32：设计奖励值：
强化学习的目标是最大化奖励，但微网运行最优策略必须满足约束条件，因此，需将约束条件合理地转换为奖励函数的一部分。
Figure BDA0003046173680000077
D2＝2(Pt curt+Pt loss)
Figure BDA0003046173680000078
rt＝-Ft-D2+D1
其中：
Figure BDA0003046173680000081
Cbat(t)＝cbat|Pt b|
Cel(t)＝celPt el
Cfc(t)＝cfcPt fc
式中D1为氢储能SOC罚函数。
Figure BDA0003046173680000082
表示氢储能SOC上下限，D2表示失负荷和弃光成本。Pt curt、Pt loss分别为t时刻弃光和失负荷功率；rt为t时刻奖励Ft为微网运行成本。CMT(t)为t时刻微型燃气轮机的运行成本；
Figure BDA0003046173680000083
为t时刻微型燃气轮机的CO2排放成本；Cbat(t)、Cel(t)、Cfc(t)分别为电化学储能、电解槽以及燃料电池的运维成本。δ2，δ1，δ0为微型燃气轮机的发电成本系数；cbat，cel，cfc分别为电化学储能、电解槽以及燃料电池的运维成本系数；
Figure BDA0003046173680000084
为燃气轮机CO2排放系数；
Figure BDA0003046173680000085
为碳交易市场碳排放价格；Pt MT为t时刻微型燃气轮机的发电功率；Pt b为t时刻电化学储能的充放电功率；Pt el、Pt fc分别为t时刻电解槽和燃料电池功率。
步骤S33：利用深度确定性策略梯度算法优化微网运行成本
深度确定性策略梯度算法是一种深度强化学习算法，其求解微网运行优化问题流程如图2所示。首先确定迭代次数和调度周期长度，初始化算法超参数，然后，选择微网初始状态根据策略网络选择动作并叠加噪声，根据动作计算电化学储能功率，执行动作，观察当前奖励，并将当前状态，动作，奖励，下一时刻状态存储至经验池。最后，选取部分样本，根据更新公式更新策略网络和评价网络及其目标网络并更新状态，重复至调度周期结束，开始下一轮迭代。
如图1，图3-图9所示，本实施例以下还提供仿真实例：
微网结构如图1所示，储氢罐容量为200kWh，电化学储能容量为2.9kWh，燃料电池的效率为0.65，电化学储能充放电效率皆为0.95。燃气轮机成本参数δ2，δ1，δ0分别为0.0074、0.2333、0.4333，CO2排放系数为724kg/kW，碳交易市场碳排放价格取57.61元/t，电解槽参数如表1所示，各设备成本以及功率参数如表2所示。
为了更好地测试电解槽效率特性对微网运行调度的影响，将储氢罐的容量设为10kWh，并求解微网运行优化问题。不考虑效率特性时，电解槽的效率为0.65。仿真结果如表3所示：
表1电解槽参数
参数 参数值
单位电流密度j/A·cm<sup>-2</sup> 0～4
工作温度T/K 353
普适气体常数R/J·(mol·K)<sup>-1</sup> 8.31446
法拉第常数F/C·mol<sup>-1</sup> 96485.3
阴极电荷传递系数α<sub>c</sub> 0.71
阳极电荷传递系数α<sub>a</sub> 0.29
阴极交换电流密度j<sub>co</sub>/mA·cm<sup>-2</sup> 24.6
阳极交换电流密度j<sub>ao</sub>/mA·cm<sup>-2</sup> 24.1
阴极、阳极的电子转移数n<sub>c</sub>，n<sub>a</sub> 2
电解质电阻/mΩ 20
电解槽的横截面积/cm<sup>2</sup> 16
表2微网设备参数
设备 功率上限/kW 功率下限/kW 运维成本(元/kW)
电解槽 1 0 0.0801
燃气轮机 1 0 /
燃料电池 1 0 0.0841
电化学储能 2.9 2.9 0.0832
表3电解槽效率特性仿真结果
考虑效率特性 不考虑效率特性
微网运行成本/元 35.93 37.64
DDPG算法中的策略网络的网络结构包含4维的输入层、两层分别包含64个神经元的隐藏层以及输出动作的输出层，评价网络由4维的状态输入层、2维的动作输入层、两层分别包含64个神经元的隐藏层以及输出Q值的输出层组成。DDPG算法的衰减率γ＝0.9，策略网络学习率为0.0001，评价网络的学习率为0.001，每次学习过程选取64个样本，经验池大小为10000，高斯噪声标准差为1，学习过程中每个调度时段高斯噪声的标准差降为原来的0.9995倍，迭代次数设为2000次。仿真结果如表4所示：
表4不同算法微网运行优化结果
算法 方法1 方法2 方法3
微网运行成本/元 25.20 36.25 37.87
将已经训练好的深度强化学习模型用于其他场景测试算法的泛化性。仿真结果如表5所示：
表5不同算法优化运行结果
本文方法 遗传算法
冬季运行成本/元 13.56 15.36
夏季运行成本/元 27.56 36.23
根据以上仿真结果，证明了本实施例能够实现所声明的效果。
专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于深度强化学习的含氢储能微网优化运行方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (4)

1.一种基于深度强化学习的含氢储能微网优化运行方法，其特征在于：利用线性插值法建立电解槽效率特性模型，并将电解槽效率特性模型与燃气轮机、电化学储能、储氢罐和燃料电池模型相结合，以最小化微网运行成本为目标，构建含氢储能微网优化运行模型；并采用深度确定性策略梯度算法求解微网优化运行决策问题。
2.根据权利要求1所述的基于深度强化学习的含氢储能微网优化运行方法，其特征在于，包括以下步骤：
步骤S1：计算电解槽效率与输入功率，获取电解槽效率特性数据，利用查表线性插值的方法构建电解槽效率特性模型；
步骤S2：以微网运行成本最小化为目标，构建包含光伏发电装置、微型燃气轮机、电化学储能以及电解槽、储氢罐和燃料电池组成的氢储能系统的含氢储能微网经济调度模型；
步骤S3：利用深度确定性策略梯度算法优化微网运行成本。
3.根据权利要求2所述的基于深度强化学习的含氢储能微网优化运行方法，其特征在于：
步骤S1中利用查表线性插值的方法构建电解槽效率特性模型，具体包括：
步骤S11：计算电解槽效率特性：
电解槽效率ηel由电压效率ηv和电流效率ηi两部分组成：
ηel＝ηiηv
Figure FDA0003046173670000011
ηv＝(Utn/Uel)*100％
式中：I为电解槽的堆栈电流；Utn为理论分解电压；Uel为电解电压；
其中电解电压由以下式子算出：
Figure FDA0003046173670000012
Urev(T,p)＝1.5184-1.5421×10-3T+9.523×10-5TlnT+9.84×10-8T2
Uohm＝IRi
Figure FDA0003046173670000021
Figure FDA0003046173670000022
式中：T为电解槽工作温度；Urev为电解水的可逆电压；Uohm为电解质自身电阻产生的电阻压降；
Figure FDA0003046173670000023
分别为电解水产生的氢超电势、氧超电势；Ri为电解质电阻；R为普适气体常数，F为法拉第常数；αc，αa分别为阴极和阳极的电荷传递系数；jco，jao分别为阴极和阳极的交换电流密度；nc，na分别为阴极、阳极的电子转移数；
电解槽输入功率由以下式子算出：
Pel＝UelI；
步骤S12：构建基于线性插值法的电解槽效率特性模型：
取若干个计算出的功率效率数据对作为原始数据，形成数据表；通过查表以及线性插值的方式求出对应的电解槽效率：
Figure FDA0003046173670000024
式中：P0、P1分别为查表时数据表中离Pel最近的两个功率值；η0、η1分别为P0、P1在数据表中对应的电解槽效率。
4.根据权利要求3所述的基于深度强化学习的含氢储能微网优化运行方法，其特征在于：
步骤S3具体包括以下步骤：
步骤S31：确定状态空间和动作空间：
微网优化运行的状态空间参数包括光伏实时发电功率Pt PV、实时用电负荷Pt load、电化学储能的实时荷电状态
Figure FDA0003046173670000025
氢储罐的储氢状态
Figure FDA0003046173670000026
Figure FDA0003046173670000027
式中st表示t时刻微网状态；
电化学储能充放电功率通过其SOC约束和额定功率算出；
微网运行优化问题的动作空间用燃气轮机出力Pt MT和氢储能系统充放电功率
Figure FDA0003046173670000031
表示：
Figure FDA0003046173670000032
式中，at表示t时刻动作；
步骤S32：设计奖励值：
将约束条件转换为奖励函数的一部分：
Figure FDA0003046173670000033
D2＝2(Pt curt+Pt loss)
Figure FDA0003046173670000034
rt＝-Ft-D2+D1
其中：
Figure FDA0003046173670000035
Cbat(t)＝cbat|Pt b|
Cel(t)＝celPt el
Cfc(t)＝cfcPt fc
式中，D1为氢储能SOC罚函数；
Figure FDA0003046173670000036
表示氢储能SOC上下限，D2表示失负荷和弃光成本；Pt curt、Pt loss分别为t时刻弃光和失负荷功率；rt为t时刻奖励Ft为t时刻微网运行成本；CMT(t)为t时刻微型燃气轮机的运行成本；
Figure FDA0003046173670000037
为t时刻微型燃气轮机的CO2排放成本；Cbat(t)、Cel(t)、Cfc(t)分别为电化学储能、电解槽以及燃料电池的运维成本；δ2，δ1，δ0为微型燃气轮机的发电成本系数；cbat，cel，cfc分别为电化学储能、电解槽以及燃料电池的运维成本系数；
Figure FDA0003046173670000038
为燃气轮机CO2排放系数；
Figure FDA0003046173670000041
为碳交易市场碳排放价格；Pt MT为t时刻微型燃气轮机的发电功率；Pt b为t时刻电化学储能的充放电功率；Pt el、Pt fc分别为t时刻电解槽和燃料电池功率；
步骤S33：利用深度确定性策略梯度算法优化微网运行成本：
首先确定迭代次数和调度周期长度，初始化算法超参数，然后，选择微网初始状态根据策略网络选择动作并叠加噪声，根据动作计算电化学储能功率，执行动作，观察当前奖励，并将当前状态，动作，奖励，下一时刻状态存储至经验池；最后，选取部分样本，根据更新公式更新策略网络和评价网络及其目标网络并更新状态，重复至调度周期结束，开始下一轮迭代。
CN202110471604.4A 2021-04-29 2021-04-29 基于深度强化学习的含氢储能微网优化运行方法 Expired - Fee Related CN113095715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110471604.4A CN113095715B (zh) 2021-04-29 2021-04-29 基于深度强化学习的含氢储能微网优化运行方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110471604.4A CN113095715B (zh) 2021-04-29 2021-04-29 基于深度强化学习的含氢储能微网优化运行方法

Publications (2)

Publication Number Publication Date
CN113095715A true CN113095715A (zh) 2021-07-09
CN113095715B CN113095715B (zh) 2022-07-05

Family

ID=76681027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110471604.4A Expired - Fee Related CN113095715B (zh) 2021-04-29 2021-04-29 基于深度强化学习的含氢储能微网优化运行方法

Country Status (1)

Country Link
CN (1) CN113095715B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705067A (zh) * 2021-10-29 2021-11-26 中国电力科学研究院有限公司 一种微网优化运行策略生成方法、系统、设备及存储介质
CN113991654A (zh) * 2021-10-28 2022-01-28 东华大学 一种能源互联网混合能量系统及其调度方法
CN114463130A (zh) * 2022-02-08 2022-05-10 河北农业大学 基于梯型碳交易机制和需求响应的能源系统调度方法
CN115360741A (zh) * 2022-10-20 2022-11-18 中国华能集团清洁能源技术研究院有限公司 现货场景下基于深度强化学习的风储灵活控制方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017161785A1 (zh) * 2016-03-23 2017-09-28 严利容 基于储能运行状态的光伏功率稳定输出控制方法
CN110365056A (zh) * 2019-08-14 2019-10-22 南方电网科学研究院有限责任公司 一种基于ddpg的分布式能源参与配电网调压优化方法
CN110518580A (zh) * 2019-08-15 2019-11-29 上海电力大学 一种考虑微网主动优化的主动配电网运行优化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017161785A1 (zh) * 2016-03-23 2017-09-28 严利容 基于储能运行状态的光伏功率稳定输出控制方法
CN110365056A (zh) * 2019-08-14 2019-10-22 南方电网科学研究院有限责任公司 一种基于ddpg的分布式能源参与配电网调压优化方法
CN110518580A (zh) * 2019-08-15 2019-11-29 上海电力大学 一种考虑微网主动优化的主动配电网运行优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龚锦霞等: "基于深度确定策略梯度算法的主动配电网协调优化", 《电力系统自动化》, no. 06, 25 March 2020 (2020-03-25) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113991654A (zh) * 2021-10-28 2022-01-28 东华大学 一种能源互联网混合能量系统及其调度方法
CN113991654B (zh) * 2021-10-28 2024-01-23 东华大学 一种能源互联网混合能量系统及其调度方法
CN113705067A (zh) * 2021-10-29 2021-11-26 中国电力科学研究院有限公司 一种微网优化运行策略生成方法、系统、设备及存储介质
CN114463130A (zh) * 2022-02-08 2022-05-10 河北农业大学 基于梯型碳交易机制和需求响应的能源系统调度方法
CN115360741A (zh) * 2022-10-20 2022-11-18 中国华能集团清洁能源技术研究院有限公司 现货场景下基于深度强化学习的风储灵活控制方法和装置

Also Published As

Publication number Publication date
CN113095715B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN113095715B (zh) 基于深度强化学习的含氢储能微网优化运行方法
CN113241803B (zh) 一种基于新能源消纳的储能调度方法及计算机介质
CN111864750A (zh) 风电-制氢系统在市场机制下收益最大化的运行方法
CN113850474A (zh) 一种热电氢多能流综合能源系统及其优化调度方法
CN115986834A (zh) 基于近端策略优化算法的光储充电站运行优化方法及系统
CN114611772A (zh) 一种基于多智能体强化学习的多微网系统协同优化方法
CN116191493A (zh) 一种火电机组深度调峰和复合储能协同规划方法与装置
CN116805803A (zh) 基于自适应mpc的风光储离网制氢系统能量调度方法
CN115833244A (zh) 一种风-光-氢-储系统经济调度方法
CN116667325A (zh) 一种基于改进布谷鸟算法的微电网并网运行优化调度方法
CN114186467A (zh) 一种海上风电制氢储能系统的多目标优化方法
CN116993128B (zh) 一种综合能源系统深度强化学习低碳调度方法及系统
CN115907402B (zh) 一种梯级水电站联合保证出力的推求方法及系统
CN113937767B (zh) 一种基于改进鲸鱼算法的微电网容量优化配置方法
CN115759589A (zh) 一种含高比例新能源的配电网数据驱动鲁棒扩展规划方法
Heo et al. Energy resource capacity optimization for zero-energy housing complex
CN104716672A (zh) 一种电力系统中使分布式电源接入主动配电网的方法
CN117332997B (zh) 一种综合能源系统低碳优化调度方法、装置及设备
CN114865696B (zh) 一种基于sac算法的混合能源系统在线调度方法
CN113162016B (zh) 能源调度方法、装置和处理器
CN113507134B (zh) 一种规划目标年新能源电源装机容量的优化规划方法
CN116454987B (zh) 一种用于与新能源联合调度的储能优化方法及系统
CN117172109A (zh) 一种离网光伏制氢系统的容量优化方法
CN117091188A (zh) 一种用于区域供暖的氢热电联产优化调度方法及系统
CN116581792A (zh) 一种基于数据模型驱动的风光储系统容量规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220705

CF01 Termination of patent right due to non-payment of annual fee