CN109213104B - 基于启发式动态规划的储能系统的调度方法及调度系统 - Google Patents

基于启发式动态规划的储能系统的调度方法及调度系统 Download PDF

Info

Publication number
CN109213104B
CN109213104B CN201811096588.XA CN201811096588A CN109213104B CN 109213104 B CN109213104 B CN 109213104B CN 201811096588 A CN201811096588 A CN 201811096588A CN 109213104 B CN109213104 B CN 109213104B
Authority
CN
China
Prior art keywords
network
hdp
module
energy storage
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811096588.XA
Other languages
English (en)
Other versions
CN109213104A (zh
Inventor
周步祥
严雨豪
张烨
陈实
黄家南
董申
刘舒畅
罗燕萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201811096588.XA priority Critical patent/CN109213104B/zh
Publication of CN109213104A publication Critical patent/CN109213104A/zh
Application granted granted Critical
Publication of CN109213104B publication Critical patent/CN109213104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32252Scheduling production, machining, job shop

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Supply And Distribution Of Alternating Current (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于启发式动态规划的储能系统的调度方法及调度系统,在考虑储能系统寿命、用户实时电价的基础上根据天气分类使用两种神经网络来训练HDP模型,在调度算法中应用了天气预报系统,根据两种天气类型(晴天、阴天)设计不同的HDP网络,令其分别管理晴天和阴天的调度计算,使得系统能够适应自身所在环境而进行自我更新,解决了智能楼宇微网系统存在的非线性、时变、分布式发电不确定性等导致的建模困难的问题,提升了楼宇储能调度的智能化程度。

Description

基于启发式动态规划的储能系统的调度方法及调度系统
技术领域
本发明涉及智能楼宇电力调度技术,尤其涉及一种基于启发式动态规划的储能系统的调度方法及调度系统。
背景技术
智能楼宇电力调度是智能微电网的一个重要研究领域。在需求侧,家庭负荷、蓄电池、大电网和可再生能源等因素组合在一起构成一个非线性、时变、不确定和复杂的系统,同时风电、光伏出力均有不确定性,使得整个系统难以管理或优化。
发明内容
本发明主要目的在于,提供了一种基于启发式动态规划的储能系统的调度方法及调度系统,以解决智能楼宇微网系统存在的非线性、时变、分布式发电不确定性等导致的建模困难的问题。
本发明是通过如下技术方案实现的:
一种基于启发式动态规划的储能系统的调度方法,包括:
步骤1:数据初始化;
步骤2:随机生成两个HDP网络:HDP-1网络和HDP-2网络;并对所述两个HDP网络赋予初始参数;
步骤3:开始循环,并判断天气类型,如为晴天,则转到步骤4,如为阴天则转到步骤5;
步骤4:随机选择电池控制动作,然后由HDP-1网络进行训练,并尝试在指定时间内找到最佳控制策略,计算完成后,保留权重,转到步骤6;
步骤5:随机选择电池控制动作,然后由HDP-2网络进行训练,并尝试在指定时间内找到最佳控制策略,计算完成后,保留权重,转到步骤6;
步骤6:判断今日是否是月底,如不是,则将日期加1,并转到步骤3,否则转到步骤7;
步骤7:判断是否达到最大循环次数,如还未达到,则转到步骤2,否则转到步骤8;
步骤8:输出最佳结果并显示成本。
进一步地,所述HDP-1网络和HDP-2网络进行训练的方法均包括:
步骤S1:基础数据初始化;
步骤S2:计算评价误差Ec,并更新权值,重新计算J;
步骤S3:判断是否Ec<Ec(max)或权值更新次数达到上限,如果是则转到步骤S4,否则返回步骤S2;
步骤S4:计算评价误差Ea,并更新控制权值;
步骤S5:判断是否Ea<Ea(max)或权值更新次数达到上限,如果是则转到步骤S6,否则返回步骤S4;
步骤S6:根据控制网络重新生成u(t)。
一种基于启发式动态规划的储能系统的调度系统,包括:
系统初始化模块,用于数据初始化;
HDP网络生成模块,用于随机生成两个HDP网络:HDP-1网络和HDP-2网络;并对所述两个HDP网络赋予初始参数;
循环模块,用于开始循环,并判断天气类型,如为晴天,则转到第一训练模块,如为阴天则转到第二训练模块;
第一训练模块,用于随机选择电池控制动作,然后由HDP-1网络进行训练,并尝试在指定时间内找到最佳控制策略,计算完成后,保留权重,转到第一判断模块;
第二训练模块,用于随机选择电池控制动作,然后由HDP-2网络进行训练,并尝试在指定时间内找到最佳控制策略,计算完成后,保留权重,转到第一判断模块;
第一判断模块,用于判断今日是否是月底,如不是,则将日期加1,并转到循环模块,否则转到第二判断模块;
第二判断模块,用于判断是否达到最大循环次数,如还未达到,则转到HDP网络生成模块,否则转到输出模块;
输出模块,用于输出最佳结果并显示成本。
进一步地,所述HDP-1网络和HDP-2网络均包括:
基础数据初始化模块:基础数据初始化;
第一计算模块,用于计算评价误差Ec,并更新权值,重新计算J;
第一判断子模块,用于判断是否Ec<Ec(max)或权值更新次数达到上限,如果是则转到第二计算模块,否则返回第一计算模块;
第二计算模块,用于计算评价误差Ea,并更新控制权值;
第二判断子模块,用于判断是否Ea<Ea(max)或权值更新次数达到上限,如果是则转到重生成模块,否则返回第二计算模块;
重生成模块,用于根据控制网络重新生成u(t)。
与现有技术相比,本发明提供的基于启发式动态规划的储能系统的调度方法及调度系统,在考虑储能系统寿命、用户实时电价的基础上根据天气分类使用两种神经网络来训练HDP模型,在调度算法中应用了天气预报系统,根据两种天气类型(晴天、阴天)设计不同的HDP网络,令其分别管理晴天和阴天的调度计算,使得系统能够适应自身所在环境而进行自我更新,解决了智能楼宇微网系统存在的非线性、时变、分布式发电不确定性等导致的建模困难的问题,提升了楼宇储能调度的智能化程度。
附图说明
图1是HDP网络结构示意图;
图2是本发明实施例提供的基于启发式动态规划的储能系统的调度方法的流程示意图;
图3是HDP网络训练流程示意图;
图4是本发明实施例提供的基于启发式动态规划的储能系统的调度系统的组成示意图;
图5是HDP网络组成示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步详细说明。
如图1所示,HDP网络利用逐步逼近的方式求解调度问题:首先给定一个控制动作,系统在该动作下发生状态转移,评价网络将根据动作效果对该控制动作进行评价,然后控制网络根据评价结果反馈并进行策略提升。最优控制动作可通过不断重复这一过程找出。图中,系统状态包括用户负荷、RRTP、天气情况、储能系统状态等;H(t)为评价网络的输出,虚线为策略评价和策略升级的权值调整路径;评价网络负责完成规划策略评价,行动网络u(t)负责完成规划策略升级,两者均由神经网络构成;Wc、Wa分别为评价可调权值和控制可调权值;Ec、Ea分别为评价误差和控制误差。
如图2所示,本发明实施例提供的基于启发式动态规划的储能系统的调度方法,包括:
步骤1:数据初始化;
步骤2:随机生成两个HDP网络:HDP-1网络和HDP-2网络;并对两个HDP网络赋予初始参数;
步骤3:开始循环,并判断天气类型,如为晴天,则转到步骤4,如为阴天则转到步骤5;
步骤4:随机选择电池控制动作,然后由HDP-1网络进行训练,并尝试在指定时间内找到最佳控制策略,计算完成后,保留权重,转到步骤6;
步骤5:随机选择电池控制动作,然后由HDP-2网络进行训练,并尝试在指定时间内找到最佳控制策略,计算完成后,保留权重,转到步骤6;
步骤6:判断今日是否是月底,如不是,则将日期加1,并转到步骤3,否则转到步骤7;
步骤7:判断是否达到最大循环次数,如还未达到,则转到步骤2,否则转到步骤8;
步骤8:输出最佳结果并显示成本。
在步骤4和步骤5中,优先处理光伏出力。
如图3所示,HDP-1网络和HDP-2网络进行训练的方法均包括:
步骤S1:基础数据初始化;
步骤S2:计算评价误差Ec,并更新权值,重新计算J;
步骤S3:判断是否Ec<Ec(max)或权值更新次数达到上限,如果是则转到步骤S4,否则返回步骤S2;
步骤S4:计算评价误差Ea,并更新控制权值;
步骤S5:判断是否Ea<Ea(max)或权值更新次数达到上限,如果是则转到步骤S6,否则返回步骤S4;
步骤S6:根据控制网络重新生成u(t)。
HDP网络训练学习过程如图3所示,当评价网络的训练达到稳态后,评价网络可直接作为“系统状态”到“成本开销”的映射。
如图4所示,基于上述调度方法,本发明实施例还提供了一种基于启发式动态规划的储能系统的调度系统,该系统包括:
系统初始化模块1,用于数据初始化;
HDP网络生成模块2,用于随机生成两个HDP网络:HDP-1网络和HDP-2网络;并对两个HDP网络赋予初始参数;
循环模块3,用于开始循环,并判断天气类型,如为晴天,则转到第一训练模块4,如为阴天则转到第二训练模块5;
第一训练模块4,用于随机选择电池控制动作,然后由HDP-1网络进行训练,并尝试在指定时间内找到最佳控制策略,计算完成后,保留权重,转到第一判断模块6;
第二训练模块5,用于随机选择电池控制动作,然后由HDP-2网络进行训练,并尝试在指定时间内找到最佳控制策略,计算完成后,保留权重,转到第一判断模块6;
第一判断模块6,用于判断今日是否是月底,如不是,则将日期加1,并转到循环模块3,否则转到第二判断模块7;
第二判断模块7,用于判断是否达到最大循环次数,如还未达到,则转到HDP网络生成模块2,否则转到输出模块8;
输出模块8,用于输出最佳结果并显示成本。
进一步地,HDP-1网络和HDP-2网络均包括:
基础数据初始化模块9:基础数据初始化;
第一计算模块10,用于计算评价误差Ec,并更新权值,重新计算J;
第一判断子模块11,用于判断是否Ec<Ec(max)或权值更新次数达到上限,如果是则转到第二计算模块12,否则返回第一计算模块10;
第二计算模块12,用于计算评价误差Ea,并更新控制权值;
第二判断子模块13,用于判断是否Ea<Ea(max)或权值更新次数达到上限,如果是则转到重生成模块14,否则返回第二计算模块12;
重生成模块14,用于根据控制网络重新生成u(t)。
该调度系统与上述调度方法对应,该调度系统中的各模块与上述调度方法中的各步骤一一对应,用于执行上述调度方法中的对应步骤,在此不再赘述。
上述实施例仅为优选实施例,并不用以限制本发明的保护范围,在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于启发式动态规划的储能系统的调度方法,其特征在于,包括:
步骤1:数据初始化;
步骤2:随机生成两个HDP网络:HDP-1网络和HDP-2网络;并对所述两个HDP网络赋予初始参数;
步骤3:开始循环,并判断天气类型,如为晴天,则转到步骤4,如为阴天则转到步骤5;
步骤4:随机选择电池控制动作,然后由HDP-1网络进行训练,并尝试在指定时间内找到最佳控制策略,计算完成后,保留权重,转到步骤6;
步骤5:随机选择电池控制动作,然后由HDP-2网络进行训练,并尝试在指定时间内找到最佳控制策略,计算完成后,保留权重,转到步骤6;
步骤6:判断今日是否是月底,如不是,则将日期加1,并转到步骤3,否则转到步骤7;
步骤7:判断是否达到最大循环次数,如还未达到,则转到步骤2,否则转到步骤8;
步骤8:输出最佳结果并显示成本;
其中,所述HDP网络利用逐步逼近的方式求解调度问题:首先给定一个控制动作,所述储能系统在该控制动作下发生状态转移,评价网络H(t)将根据动作效果对该控制动作进行评价,然后控制网络根据评价结果反馈并进行策略提升,评价网络H(t)负责完成规划策略评价,行动网络u(t)负责完成规划策略升级,所述评价网络H(t)作为“系统状态”到“成本开销”的映射,所述系统状态包括用户负荷、RRTP、天气情况、所述储能系统的状态。
2.如权利要求1所述的基于启发式动态规划的储能系统的调度方法,其特征在于,所述HDP-1网络和HDP-2网络进行训练的方法均包括:
步骤S1:基础数据初始化;
步骤S2:计算评价误差Ec,并更新权值,重新计算J;
步骤S3:判断是否Ec<Ec(max)或权值更新次数达到上限,如果是则转到步骤S4,否则返回步骤S2;
步骤S4:计算评价误差Ea,并更新控制权值;
步骤S5:判断是否Ea<Ea(max)或权值更新次数达到上限,如果是则转到步骤S6,否则返回步骤S4;
步骤S6:根据控制网络重新生成u(t)。
3.一种基于启发式动态规划的储能系统的调度系统,其特征在于,包括:
系统初始化模块,用于数据初始化;
HDP网络生成模块,用于随机生成两个HDP网络:HDP-1网络和HDP-2网络;并对所述两个HDP网络赋予初始参数;
循环模块,用于开始循环,并判断天气类型,如为晴天,则转到第一训练模块,如为阴天则转到第二训练模块;
第一训练模块,用于随机选择电池控制动作,然后由HDP-1网络进行训练,并尝试在指定时间内找到最佳控制策略,计算完成后,保留权重,转到第一判断模块;
第二训练模块,用于随机选择电池控制动作,然后由HDP-2网络进行训练,并尝试在指定时间内找到最佳控制策略,计算完成后,保留权重,转到第一判断模块;
第一判断模块,用于判断今日是否是月底,如不是,则将日期加1,并转到循环模块,否则转到第二判断模块;
第二判断模块,用于判断是否达到最大循环次数,如还未达到,则转到HDP网络生成模块,否则转到输出模块;
输出模块,用于输出最佳结果并显示成本;
其中,所述HDP网络利用逐步逼近的方式求解调度问题:首先给定一个控制动作,所述储能系统在该控制动作下发生状态转移,评价网络H(t)将根据动作效果对该控制动作进行评价,然后控制网络根据评价结果反馈并进行策略提升,评价网络H(t)负责完成规划策略评价,行动网络u(t)负责完成规划策略升级,所述评价网络H(t)作为“系统状态”到“成本开销”的映射,所述系统状态包括用户负荷、RRTP、天气情况、所述储能系统的状态。
4.如权利要求3所述的基于启发式动态规划的储能系统的调度系统,其特征在于,所述HDP-1网络和HDP-2网络均包括:
基础数据初始化模块:基础数据初始化;
第一计算模块,用于计算评价误差Ec,并更新权值,重新计算J;
第一判断子模块,用于判断是否Ec<Ec(max)或权值更新次数达到上限,如果是则转到第二计算模块,否则返回第一计算模块;
第二计算模块,用于计算评价误差Ea,并更新控制权值;
第二判断子模块,用于判断是否Ea<Ea(max)或权值更新次数达到上限,如果是则转到重生成模块,否则返回第二计算模块;
重生成模块,用于根据控制网络重新生成u(t)。
CN201811096588.XA 2018-09-19 2018-09-19 基于启发式动态规划的储能系统的调度方法及调度系统 Active CN109213104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811096588.XA CN109213104B (zh) 2018-09-19 2018-09-19 基于启发式动态规划的储能系统的调度方法及调度系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811096588.XA CN109213104B (zh) 2018-09-19 2018-09-19 基于启发式动态规划的储能系统的调度方法及调度系统

Publications (2)

Publication Number Publication Date
CN109213104A CN109213104A (zh) 2019-01-15
CN109213104B true CN109213104B (zh) 2020-09-18

Family

ID=64984870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811096588.XA Active CN109213104B (zh) 2018-09-19 2018-09-19 基于启发式动态规划的储能系统的调度方法及调度系统

Country Status (1)

Country Link
CN (1) CN109213104B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112311078B (zh) * 2020-11-04 2022-03-22 华侨大学 一种基于信息融合的太阳能负载调节方法和装置
CN115800276B (zh) * 2023-02-09 2023-05-30 四川大学 一种考虑机组爬坡的电力系统应急调度方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624017A (zh) * 2012-03-22 2012-08-01 清华大学 一种基于负荷预测的电池储能系统削峰填谷实时控制方法
CN103633739A (zh) * 2013-11-28 2014-03-12 中国科学院广州能源研究所 一种微电网能量管理系统和方法
CN105846461A (zh) * 2016-04-28 2016-08-10 中国电力科学研究院 一种大规模储能电站自适应动态规划的控制方法和系统
CN105896575A (zh) * 2016-04-28 2016-08-24 中国电力科学研究院 基于自适应动态规划的百兆瓦储能功率控制方法及系统
CN106347373A (zh) * 2016-09-20 2017-01-25 北京工业大学 一种基于电池荷电状态预测的动态规划方法
KR20170022767A (ko) * 2015-08-21 2017-03-02 가천대학교 산학협력단 에너지 충방전 스케줄링 장치 및 방법
CN105552895B (zh) * 2015-12-30 2018-02-06 国家电网公司 一种基于多层次启发式动态规划的电力系统动态等值法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624017A (zh) * 2012-03-22 2012-08-01 清华大学 一种基于负荷预测的电池储能系统削峰填谷实时控制方法
CN103633739A (zh) * 2013-11-28 2014-03-12 中国科学院广州能源研究所 一种微电网能量管理系统和方法
KR20170022767A (ko) * 2015-08-21 2017-03-02 가천대학교 산학협력단 에너지 충방전 스케줄링 장치 및 방법
CN105552895B (zh) * 2015-12-30 2018-02-06 国家电网公司 一种基于多层次启发式动态规划的电力系统动态等值法
CN105846461A (zh) * 2016-04-28 2016-08-10 中国电力科学研究院 一种大规模储能电站自适应动态规划的控制方法和系统
CN105896575A (zh) * 2016-04-28 2016-08-24 中国电力科学研究院 基于自适应动态规划的百兆瓦储能功率控制方法及系统
CN106347373A (zh) * 2016-09-20 2017-01-25 北京工业大学 一种基于电池荷电状态预测的动态规划方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自适应动态规划在电力系统负荷预测中的应用研究;曾志明;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20140315(第3期);C042-422 *

Also Published As

Publication number Publication date
CN109213104A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109347149B (zh) 基于深度q值网络强化学习的微电网储能调度方法及装置
CN114123166B (zh) 一种新能源耦合背景下的源网荷储协同调度方法
CN107332234B (zh) 一种考虑可再生能源间歇性的主动配电网多故障修复方法
CN109002948B (zh) 基于cda-bp的微电网短期光伏发电功率预测方法
Raju et al. Distributed optimization of solar micro-grid using multi agent reinforcement learning
CN111178619A (zh) 一种考虑分布式电源和充电站联合规划的多目标优化方法
Leo et al. Reinforcement learning for optimal energy management of a solar microgrid
CN107742900A (zh) 风光储智能微电网经济调度控制方法
Zhang et al. Multi-objective hydro-thermal-wind coordination scheduling integrated with large-scale electric vehicles using IMOPSO
CN102945296A (zh) 一种需求响应视角下的配电网不确定性重构建模方法
CN104376364B (zh) 基于遗传算法的智能家居负荷管理优化方法
CN106684898A (zh) 一种基于价值网络的储能系统调度优化方法
CN116207739A (zh) 配电网优化调度方法、装置、计算机设备和存储介质
CN109213104B (zh) 基于启发式动态规划的储能系统的调度方法及调度系统
CN111355250A (zh) 一种电网侧储能优化方法及系统
CN104915788B (zh) 一种考虑多风场相关性的电力系统动态经济调度的方法
CN114118787A (zh) 一种基于lstm算法的城市分布式源网荷储的调度优化方法
CN113421004B (zh) 输配协同的主动配电网分布式鲁棒扩展规划系统及方法
Jin et al. Short-term net feeder load forecasting of microgrid considering weather conditions
CN116865270A (zh) 一种含嵌入式直流的柔性互联配电网优化调度方法及系统
Iliadis et al. Advanced energy management system based on PV and load forecasting for load smoothing and optimized peak shaving of islanded power systems
Shuvo et al. Optimal dispatch for a microgrid with distributed generations and ev charging load
CN110752599B (zh) 一种分布式电源并网配置方法
CN113991654A (zh) 一种能源互联网混合能量系统及其调度方法
CN111799842A (zh) 一种考虑火电机组灵活性的多阶段输电网规划方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant