CN117350496A - 基于混合动作空间强化学习的远洋海岛群能量管理方法 - Google Patents

基于混合动作空间强化学习的远洋海岛群能量管理方法 Download PDF

Info

Publication number
CN117350496A
CN117350496A CN202311337880.7A CN202311337880A CN117350496A CN 117350496 A CN117350496 A CN 117350496A CN 202311337880 A CN202311337880 A CN 202311337880A CN 117350496 A CN117350496 A CN 117350496A
Authority
CN
China
Prior art keywords
energy
island
ship
model
energy management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311337880.7A
Other languages
English (en)
Other versions
CN117350496B (zh
Inventor
杨凌霄
孙长银
曹翔
穆朝絮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202311337880.7A priority Critical patent/CN117350496B/zh
Priority claimed from CN202311337880.7A external-priority patent/CN117350496B/zh
Publication of CN117350496A publication Critical patent/CN117350496A/zh
Application granted granted Critical
Publication of CN117350496B publication Critical patent/CN117350496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00Circuit arrangements for ac mains or ac distribution networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/092Reinforcement learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315Needs-based resource requirements planning or analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00Circuit arrangements for ac mains or ac distribution networks
    • H02J3/008Circuit arrangements for ac mains or ac distribution networks involving trading of energy or energy transmission rights
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/10Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2310/00The network for supplying or distributing electric power characterised by its spatial reach or by the load
    • H02J2310/10The network having a local or delimited stationary reach

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Power Engineering (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明涉及一种基于混合动作空间强化学习的远洋海岛群能量管理方法,方法包括:海岛能量枢纽模型构建,以描述满足海岛多元能源需求的能量转换;海岛间船舶能量传输模型构建,用于表征船舶动态运输过程;根据海岛能量枢纽模型和船舶能量传输模型,建立海岛群综合能源系统能源管理模型;建立包含混合动作空间的深度强化学习方法进行能量管理策略求解。本发明基于一种包含混合动作空间的深度强化学习方法解决海岛群综合能源系统能量管理问题,其考虑了海岛群环境的强不确定性和动态特性,满足对极端环境变化的自适应性,同时,与其他算法相比本发明提出的方法可在不改变模型结构的条件下实现海岛群能量管理策略的快速求解。

Description

基于混合动作空间强化学习的远洋海岛群能量管理方法
技术领域
本发明属于能源系统优化决策技术领域,具体涉及一种基于混合动作空间强化学习的远洋海岛群能量管理方法。
背景技术
我国是背陆面海的海洋大国,共有海岛11000余个,仅有647个海岛已通过与大陆建设海底电缆引电,仍有众多远洋海岛受技术制约无法架设大陆-海岛供能网络。可靠的能量供给是远洋海岛发展建设的动脉,远洋海岛蕴含丰富的风能、太阳能、波浪能、海流能等可再生能源,考虑可再生能源的远洋海岛群综合能源系统能量管理是实现远洋海岛可持续开发利用的重要途径。传统的远洋海岛群综合能源系统的能量管理主要考虑电能供给,同时可再生能源具有强不确定性,导致现有远洋海岛群综合能源系统的能量管理存在诸多局限性:1)传统的陆域一体化能源系统模型不能满足岛屿的淡水等特殊能源需求。2)由于岛屿能源的逆分布以及能量传输线路的缺乏使岛屿之间的能量传输受限。同时,能量通过船舶传输使得能量无法及时供给。3)船舶的离散化能量传输导致模型包含离散和连续混合动作空间,进一步增大了求解难度。
发明内容
针对现有技术的不足,本发明提供一种基于混合动作空间强化学习的远洋海岛群能量管理方法,解决了传统方法使岛屿之间的能量传输受限以及通过船舶离散化能量传输使得能量无法及时供给的问题,该方法通过海岛能源枢纽模型实现能源梯级利用,保证海岛特殊能源需求,提高能源利用效率。利用海岛群能源管理模型实现以能量传输受限环境为基础的能量管理,并通过混合动作强化学习来解决能量管理岛群的问题,从而实现远洋海岛群综合能源系统的独立安全稳定运行,推动远洋海岛可持续开发。
为解决上述技术问题,本发明提供了如下技术方案:一种基于混合动作空间强化学习的远洋海岛群能量管理方法,包括如下步骤:
步骤1: 构建海岛能量枢纽模型,所述模型用于描述满足海岛多元能源需求的能量转换;
步骤2:构建海岛间船舶能量传输模型,所述模型用于表征船舶动态运输过程;
步骤3:根据海岛能量枢纽模型和船舶能量传输模型,建立海岛群综合能源系统能源管理模型;
步骤4:建立包含混合动作空间的深度强化学习方法进行能量管理策略求解。
进一步地,所述步骤1中构建考虑能源梯度利用的海岛能量枢纽模型,具体包括如下步骤:
步骤1-1:根据海岛的特殊能源供给和需求能源类型,搭建海岛能量枢纽包括海水淡化装置、电转气装置耦合设备在内的设备运行框架。
步骤1-2:设计包括燃气轮机、余热锅炉、蒸汽轮机、吸收式制冷装置联合的能源梯度利用模型,其模型为:
式中,和/>为海岛能量枢纽输出的热能和冷能,/>为船舶EV的天然气/>的输入,为储热水箱h的输出,/>为针对热输入的分配系数,/>为输入天然气的分配系数,/>为余热锅炉h1的产热效率,/>为燃气轮机h2的产热效率,/>为蒸汽轮机h3的产热效率,/>为吸收式制冷机c的制冷效率。
进一步地,所述步骤2中构建海岛间船舶能量传输模型,具体包括如下步骤:
步骤2-1:分别计算船舶所受X方向和Y方向的风力合力和水流合力的海洋环境干扰力矢量、/>,以及计算船舶所受波浪力的海洋环境干扰力矢量/>
步骤2-2:根据船舶刚体质量,计算受海洋环境影响下船舶航速变化矢量/>
步骤2-3:结合静水中船舶航速度矢量,计算在海洋环境和船舶动力系统共同作用下受多重环境影响下的船舶运输速度/>
进一步地,所述步骤3中建立海岛群综合能源系统能源管理模型,具体包括如下步骤:
步骤3-1:设计海岛群综合能源系统能量管理目标函数,目的为在尽可能满足负荷需求的同时,尽量减少能量运输和运输过程中的成本,包含3个部分:船舶运输能量的成本、船舶的能量传输量、为维持供需平衡切除可控负荷量;其目标函数表达如下:
海岛综合能源系统的最优调度目标为实现目标函数的最小化,式中,为调度周期时间,/>为对应海岛的索引,/>为岛屿的数量,/>,/>分别为船舶/>在t时刻向第i个岛屿电能/>的输出和船舶/>在t时刻向第i个岛屿的天然气/>的输出,/>为对应船舶的能量运输成本,/>为对应船舶的索引,/>为船舶数量,/>为第/>个船舶/>在t时刻传输能源EN的成本,EN为电能和天然气的统称,/>为要切除不同能源EN类型的可控负荷;/>为切除负荷的惩罚因子,/>为目标函数的调节参数;
步骤3-2:考虑海岛群综合能源系统包含:常规船舶和应急船舶,其能量传输表达式为:
式中,为t时刻船舶/>向第i个岛屿电能/>的输出,/>为t时刻船舶/>向第i个岛屿天然气/>的输出,/>为t时刻第/>个常规船舶/>向第i个岛屿电能/>的输出,/>为t时刻第/>个应急船舶/>向第i个岛屿电能/>的输出,/>为t时刻第/>个常规船舶/>向第i个岛屿天然气/>的输出,/>为t时刻第/>个应急船舶/>向第i个岛屿天然气/>的输出;/>、/>分别为运输电能的常规船舶和应急船舶的数量,/>、/>分别为运输气能的常规船舶和应急船舶的数量;/>为t时刻第/>个常规船舶是否向第i个岛屿输出电功率的判别系数,/>为t时刻第/>个常规船舶是否向第i个岛屿输出气功率的判别系数;/>为t时刻第/>个应急船舶是否向第i个岛屿输出电功率的判别系数,/>为t时刻第/>个应急船舶是否向第i个岛屿输出气功率的判别系数,/>和/>取值为0或1,如下式所示:/>
式中,为t时刻第/>个应急船舶向第i个岛屿输出电功率的设定时间,/>为t时刻第/>个应急船舶向第i个岛屿输出气功率的设定时间;
式中,为t时刻第/>个常规船舶运输电能的运行可用功率,/>为第/>个常规船舶运输电能的最小功率;/>为t时刻第/>个常规船舶运输气能的运行可用功率,为第/>个常规船舶运输气能的最小功率。
进一步地,所述步骤4中建立包含混合动作空间的深度强化学习方法进行能量管理策略求解,具体包括如下步骤:
步骤4-1:构造紧凑的混合动作空间,同时表征海岛群综合能源系统能量管理中的离散变量和连续变量;
具体的,步骤4-1所构建混合动作空间,具体包括如下步骤:
步骤4-1-1:利用带可学习参数的嵌入表征维离散动作空间以及/>维连续动作空间为/>,R为实数,/>为每一行,/>,每行是一个离散动作的/>维连续向量;
步骤4-1-2:再针对状态下的混合动作/>,/>,利用条件变分自动编码器设计连续变量的潜在表示空间/>,其表示为/>,/>为以/>为参数的编码器,以状态/>和嵌入表征/>为条件,映射/>到潜在表示空间/>
步骤4-1-3:最后,在通过解码器对连续动作进行重构,其表示为为以/>为参数的解码器,/>为从潜在表示空间/>重构后连续变量。
步骤4-2:基于状态动力学预测的无监督学习方法动态预测损失对混合动作空间进行平滑训练;
具体的,所述步骤4-2具体包括如下步骤:
步骤4-2-1:在条件变分自动编码器的传输网络后面采用一个级联网络对转换动力学的状态残差进行预测;
步骤4-2-2:构建预测误差,并最小化预测误差;
步骤4-2-3:通过融合动态预测损失与条件变分自动编码器损失进行混合动作空间的损失训练。
步骤4-3:设计嵌入混合动作空间的深度强化学习进行能量管理策略求解。
具体的,所述步骤4-3具体包括如下步骤:
步骤4-3-1:针对海岛群综合能源系统能量管理模型,构建马尔可夫决策过程,包括状态空间、动作空间和奖励函数,并将动作空间转换为混合动作空间模式;
步骤4-3-2:搭建中心化训练、去中心化执行的Actor-Critic深度强化学习算法结构,其架构包括两个平行的Actor行动家网络和一个Critic评论家网络;
步骤4-3-3:在训练过程中获取所有海岛智能体的信息,新Actor网络和旧Actor网络通过比较来控制学习速度和效率;
步骤4-3-4:利用Critic评论家网络计算优势估计值并反馈回两个Actor网络进行参数更新,从而通过训练获取以最大化目标函数为目标的奖励值从而最终达到收敛。
借由上述技术方案,本发明提供了一种基于混合动作空间强化学习的远洋海岛群能量管理方法,至少具备以下有益效果:
与传统的海岛群能量管理的方法相比,本发明通过海岛能源枢纽模型实现能源梯级利用,保证海岛特殊能源需求,提高能源利用效率,解决了传统的陆域一体化能源系统模型不能满足岛屿的淡水等特殊能源需求;本发明构建海岛间船舶能量传输模型,考虑到了船舶受海洋环境和船舶动力系统共同作用下多重环境的影响,克服了海岛群环境的强不确定性和动态特性的困难,满足对极端环境变化的自适应性;利用海岛群能源管理模型实现以能量传输受限环境为基础的能量管理,并通过混合动作强化学习来解决能量管理岛群的问题,从而实现远洋海岛群综合能源系统的独立安全稳定运行,推动远洋海岛可持续开发。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明具体实施方式的海岛群综合能源系统模型;
图2为本发明具体实施方式的一种基于混合动作空间强化学习的远洋海岛群能量管理方法流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
请参照图1-图2,示出了本实施例的一种具体实施方式,本实施例通过海岛能源枢纽模型实现能源梯级利用,保证海岛特殊能源需求,提高能源利用效率。利用海岛群能源管理模型实现以能量传输受限环境为基础的能量管理,并通过混合动作强化学习来解决能量管理岛群的问题,从而实现远洋海岛群综合能源系统的独立安全稳定运行,推动远洋海岛可持续开发。
本实施例提出了一种基于混合动作空间强化学习的远洋海岛群能量管理方法的海岛群综合能源系统,如图1所示,1号岛屿是负荷中心岛,2、3、4号岛屿为资源富集岛。各设备的效率、容量及对应岛屿如表1所示。4个岛屿均配备800kW风力发电机。2号岛屿有蓄电池和储热水箱,储水池和储热水箱的最大蓄能均为1000。1号岛屿有储气柜,最大储能为1000,电动船舶的电容量为800,天然气容量为700。
采用上述海岛群综合能源系统进行一种基于混合动作空间强化学习的远洋海岛群能量管理方法,总体流程如图2所示,具体包括如下步骤:
步骤1:构建海岛能量枢纽模型,所述模型用于描述满足海岛多元能源需求的能量转换;
步骤1-1:根据海岛的特殊能源供给和需求能源类型,搭建海岛能量枢纽包括海水淡化装置、电转气装置等耦合设备在内的设备运行框架,通过海水淡化装置的搭建,解决了传统的陆域一体化能源系统模型不能满足岛屿的淡水等特殊能源需求;
步骤1-2:设计包括燃气轮机、余热锅炉、蒸汽轮机、吸收式制冷装置联合的能源梯度利用模型,其模型为:
式中,和/>为海岛能量枢纽输出的热能和冷能,/>为船舶EV的天然气/>的输入,为储热水箱h的输出,/>为针对热输入的分配系数,/>为输入天然气的分配系数,/>为余热锅炉h1的产热效率,/>为燃气轮机h2的产热效率,/>为蒸汽轮机h3的产热效率,/>为吸收式制冷机c的制冷效率。
在本实施例中,本发明根据整体设备运行框架列出全部能源转换平衡等式,通过海岛能源枢纽模型实现燃气轮机、余热锅炉、蒸汽轮机、吸收式制冷装置联合能源梯级利用,保证海岛特殊能源需求,提高能源利用效率,解决了传统的陆域一体化能源系统模型不能满足岛屿的淡水等特殊能源需求。
步骤2:构建海岛间船舶能量传输模型,所述模型用于表征船舶动态运输过程;
步骤2-1:分别计算船舶所受X方向和Y方向的风力合力和水流合力的海洋环境干扰力矢量、/>,以及计算船舶所受波浪力的海洋环境干扰力矢量/>
具体的,用和/>分别表示船舶所受X方向和Y方向的风力合力和水流合力的干扰力矢量,计算如下:
式中,为船舶所受风的在X方向的干扰力;/>为船舶所受风的在Y方向的干扰力;/>和/>分别为空气和海水密度;/>和/>分别为水面以上风的正投影和侧投影面积;/>和/>分别为X方向和Y方向的风力负荷系数;/>为风向与船艏的夹角;/>为风对船舶的相对速度;/>为船舶所受水流的在X方向的干扰力;/>为船舶所受水流的在Y方向的干扰力;/>和/>分别为水面以下水流的正投影和侧投影面积;/>和/>分别为水流作用力沿X方向和Y方向的负荷系数;/>为水流向与船艏的夹角;/>为水流对船舶的相对速度。
由此,在实例中计算船舶所受X方向和Y方向的风力合力和水流合力表示如下:
波浪主要考虑规则波产生的干扰力,规则波干扰力计算基于水池船模试验计算如下:
式中,为海水密度;/>为船长;/>为波浪振幅;/>为波向角;/>为波长;/>为波浪力负荷系数。
步骤2-2:根据船舶刚体质量,计算受海洋环境影响下船舶航速变化矢量/>
步骤2-3:结合静水中船舶航速度矢量,计算在海洋环境和船舶动力系统共同作用下受多重环境影响下的船舶运输速度/>
式中,为海洋环境和船舶动力系统共同作用下多重环境影响下的航速矢量,/>为静水中船舶航速矢量,/>为风、波浪和水流共同作用下航速变化矢量。
在本实施例中,本发明构建海岛间船舶能量传输模型,所述模型用于表征船舶动态运输过程,且船舶动态运输过程考虑到了船舶受海洋环境和船舶动力系统共同作用下多重环境的影响,克服了海岛群环境的强不确定性和动态特性的困难,满足对极端环境变化的自适应性,为远洋海岛群能量管理打好了扎实和稳定性的基础。
步骤3:根据海岛能量枢纽模型和船舶能量传输模型,建立海岛群综合能源系统能源管理模型;
步骤3-1:设计海岛群综合能源系统能量管理目标函数,目的为在尽可能满足负荷需求的同时,尽量减少能量运输和运输过程中的成本,包含3个部分:船舶运输能量的成本、船舶的能量传输量、为维持供需平衡切除可控负荷量;其目标函数表达如下:
海岛综合能源系统的最优调度目标为实现目标函数的最小化,式中,为调度周期时间,/>为对应海岛的索引,/>为岛屿的数量,/>,/>分别为船舶/>在t时刻向第i个岛屿电能/>的输出和船舶/>在t时刻向第i个岛屿的天然气/>的输出,/>为对应船舶的能量运输成本,/>为对应船舶的索引,/>为船舶数量,/>为第/>个船舶/>在t时刻传输能源EN的成本,EN为电能和天然气的统称,/>为要切除不同能源EN类型的可控负荷;/>为切除负荷的惩罚因子,/>为目标函数的调节参数;
需要说明的是:船舶运输能量的成本包括运行时间成本和能源成本,传输过程中的能源成本与管道长度和船舶的能量成本率有关,时间成本与管道长度和船舶的速度有关。有关船舶运输能量的成本的计算公式如下所示:
式中,为第/>个船舶t时刻的运行时间成本,/>为第/>个船舶t时刻的能源成本,/>、/>为第/>个船舶的运行时间成本和能源成本的比例参数,用于表征运行时间成本和能源成本在整体船舶运输能量的成本的影响因数,/>为第/>个船舶t时刻传输能源的管道长度,/>为能源成本参数,/>为第/>个船舶的速度。
步骤3-2:考虑海岛群综合能源系统包含:常规船舶和应急船舶,其能量传输表达式为:
式中,为t时刻船舶/>向第i个岛屿电能/>的输出,/>为t时刻船舶/>向第i个岛屿天然气/>的输出,/>为t时刻第/>个常规船舶/>向第i个岛屿电能/>的输出,/>为t时刻第/>个应急船舶/>向第i个岛屿电能/>的输出,/>为t时刻第/>个常规船舶/>向第i个岛屿天然气/>的输出,/>为t时刻第/>个应急船舶/>向第i个岛屿天然气/>的输出;/>、/>分别为运输电能的常规船舶和应急船舶的数量,/>、/>分别为运输气能的常规船舶和应急船舶的数量;/>为t时刻第/>个常规船舶是否向第i个岛屿输出电功率的判别系数,/>为t时刻第/>个常规船舶是否向第i个岛屿输出气功率的判别系数;/>为t时刻第/>个应急船舶是否向第i个岛屿输出电功率的判别系数,/>为t时刻第/>个应急船舶是否向第i个岛屿输出气功率的判别系数,/>和/>取值为0或1,如下式所示:/>
式中,为t时刻第/>个应急船舶向第i个岛屿输出电功率的设定时间,/>为t时刻第/>个应急船舶向第i个岛屿输出气功率的设定时间;
式中,为t时刻第/>个常规船舶运输电能的运行可用功率,/>为第/>个常规船舶运输电能的最小功率;/>为t时刻第/>个常规船舶运输气能的运行可用功率,为第/>个常规船舶运输气能的最小功率。
在本实施例中,本发明建立海岛群综合能源系统能源管理模型,设计海岛群综合能源系统能量管理目标函数,通过海岛综合能源系统的最优调度目标为实现目标函数的最小化,达到了满足负荷需求的同时,尽量减少能量运输和运输过程中的成本,包含船舶运输能量的成本、船舶的能量传输量以及为维持供需平衡切除可控负荷量,实现以能量传输受限环境为基础的能量管理,解决了由于岛屿能源的逆分布以及能量传输线路的缺乏使岛屿之间的能量传输受限的问题,提高了能源的利用效率,推动远洋海岛可持续开发。
步骤4:建立包含混合动作空间的深度强化学习方法进行能量管理策略求解;
步骤4-1:构造紧凑的混合动作空间,同时表征海岛群综合能源系统能量管理中的离散变量和连续变量;
步骤4-1-1:利用带可学习参数的嵌入表征维离散动作空间以及/>维连续动作空间为/>,R为实数,/>为每一行,/>,每行是一个离散动作的/>维连续向量;
步骤4-1-2:再针对状态下的混合动作/>,/>,利用条件变分自动编码器设计连续变量的潜在表示空间/>,其表示为/>,/>为以/>为参数的编码器,以状态/>和嵌入表征/>为条件,映射/>到潜在表示空间/>
步骤4-1-3:最后,在通过解码器对连续动作进行重构,其表示为为以/>为参数的解码器,/>为从潜在表示空间/>重构后连续变量。
步骤4-2:基于状态动力学预测的无监督学习方法动态预测损失对混合动作空间进行平滑训练;
步骤4-2-1:在条件变分自动编码器的传输网络后面采用一个级联网络对转换动力学的状态残差进行预测;
步骤4-2-2:构建预测误差,并最小化预测误差;
步骤4-2-3:通过融合动态预测损失与条件变分自动编码器损失进行混合动作空间的损失训练。
步骤4-3:设计嵌入混合动作空间的深度强化学习进行能量管理策略求解;
步骤4-3-1:针对海岛群综合能源系统能量管理模型,构建马尔可夫决策过程,包括状态空间、动作空间和奖励函数,并将动作空间转换为混合动作空间模式;
状态空间设置如下:
式中,为针对电能和气能统称的能源负荷,/>为能量枢纽从可再生能源RE得到的电能/>输入,/>为存储能量,/>为船舶EV的容量;
奖励函数R设置如下:
式中,为算法需求调节参数;
连续动作集设置如下:
式中,为常规船舶EEV和应急船舶REV的输入能源EN,EN为电能和气能统称,/>为存储设备的输出能源EN,/>为分配系数;
离散动作集设置如下:
式中,为第/>个应急船舶是否向第i个岛屿输出电功率的判别系数,/>为t第/>个应急船舶是否向第i个岛屿输出气功率的判别系数。/>为第/>个常规船舶是否向第i个岛屿输出电功率的判别系数,/>为第/>个常规船舶是否向第i个岛屿输出气功率的判别系数。
步骤4-3-2:搭建中心化训练、去中心化执行的Actor-Critic深度强化学习算法结构,其架构包括两个平行的Actor行动家网络和一个Critic评论家网络。其迭代规则如下所示:
式中,为以/>为策略更新参数的迭代函数,/>为迭代回合,/>为第n个迭代回合的序列周期,/>是以/>为策略更新参数的轨迹发生的概率,/>为采用离线策略新Actor行动家网络以/>为策略更新参数的轨迹发生的概率,/>为t时刻的动作,/>为t时刻的状态,/>为以/>为策略更新参数的奖励差值评判函数,/>为以/>为策略更新参数的状态动作奖励函数,/>为以/>为策略更新参数的状态值函数。
步骤4-3-3:在训练过程中获取所有海岛智能体的信息,新Actor网络和旧Actor网络通过比较来控制学习速度和效率;因此,建立了一个带有裁剪概率比的目标,该目标构成了策略性能的下界,即:
式中,是为小于1的超参数,/>是以/>为策略更新参数的轨迹发生的概率,/>为采用离线策略新Actor行动家网络以/>为策略更新参数的轨迹发生的概率,/>为t时刻的动作,/>为t时刻的状态。由此,算法更新规则设计如下:/>
式中,为以/>为离策略更新参数的迭代函数,/>以/>为离策略更新参数的奖励差值评判函数。
步骤4-3-4:利用Critic评论家网络计算优势估计值并反馈回两个Actor网络进行参数更新,从而通过训练获取以最大化目标函数为目标的奖励值从而最终达到收敛。
在本实施例中,本发明将动作空间转换为混合动作空间模式,通过混合动作强化学习来解决能量管理岛群的问题,从而实现远洋海岛群综合能源系统的独立安全稳定运行,与其他算法相比本发明提出的方法可在不改变模型结构的条件下实现海岛群能量管理策略的快速求解,解决了传统技术中船舶的离散化能量传输导致模型包含离散和连续混合动作空间从而进一步增大了求解难度的问题。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。
以上实施方式对本发明进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于混合动作空间强化学习的远洋海岛群能量管理方法,其特征在于,包括如下步骤:
步骤1:构建海岛能量枢纽模型,所述模型用于描述满足海岛多元能源需求的能量转换;
步骤2:构建海岛间船舶能量传输模型,所述模型用于表征船舶动态运输过程;
步骤3:根据海岛能量枢纽模型和船舶能量传输模型,建立海岛群综合能源系统能源管理模型;
步骤4:建立包含混合动作空间的深度强化学习方法进行能量管理策略求解。
2.根据权利要求1所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法,其特征在于,所述步骤1中构建海岛能量枢纽模型,具体包括如下步骤:
步骤1-1:根据海岛的特殊能源供给和需求能源类型,搭建海岛能量枢纽包括海水淡化装置、电转气装置耦合设备在内的设备运行框架;
步骤1-2:设计包括燃气轮机、余热锅炉、蒸汽轮机、吸收式制冷装置联合的能源梯度利用模型,其模型为:
式中,和/>为海岛能量枢纽输出的热能和冷能,/>为船舶EV的天然气/>的输入,/>为储热水箱h的输出,/>为针对热输入的分配系数,/>为输入天然气的分配系数,/>为余热锅炉h1的产热效率,/>为燃气轮机h2的产热效率,/>为蒸汽轮机h3的产热效率,/>为吸收式制冷机c的制冷效率。
3.根据权利要求1所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法,其特征在于,所述步骤2中构建海岛间船舶能量传输模型,具体包括如下步骤:
步骤2-1:分别计算船舶所受X方向和Y方向的风力合力和水流合力的海洋环境干扰力矢量、/>,以及计算船舶所受波浪力的海洋环境干扰力矢量/>
步骤2-2:根据船舶刚体质量,计算受海洋环境影响下船舶航速变化矢量/>
步骤2-3:结合静水中船舶航速度矢量,计算在海洋环境和船舶动力系统共同作用下受多重环境影响下的船舶运输速度/>
4.根据权利要求1所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法,其特征在于,所述步骤3中建立海岛群综合能源系统能源管理模型,具体包括如下步骤:
步骤3-1:设计海岛群综合能源系统能量管理目标函数,目的为在尽可能满足负荷需求的同时,尽量减少能量运输和运输过程中的成本,包含3个部分:船舶运输能量的成本、船舶的能量传输量、为维持供需平衡切除可控负荷量;其目标函数表达如下:
海岛综合能源系统的最优调度目标为实现目标函数的最小化,式中,为调度周期时间,/>为对应海岛的索引,/>为岛屿的数量,/>,/>分别为船舶/>在t时刻向第i个岛屿电能/>的输出和船舶/>在t时刻向第i个岛屿的天然气/>的输出,/>为对应船舶的能量运输成本,/>为对应船舶的索引,/>为船舶数量,/>为第/>个船舶/>在t时刻传输能源EN的成本,EN为电能和天然气的统称,/>为要切除不同能源EN类型的可控负荷;/>为切除负荷的惩罚因子,/>为目标函数的调节参数;
步骤3-2:考虑海岛群综合能源系统包含:常规船舶和应急船舶,其能量传输表达式为:
式中,为t时刻船舶/>向第i个岛屿电能/>的输出,/>为t时刻船舶/>向第i个岛屿天然气/>的输出,/>为t时刻第/>个常规船舶/>向第i个岛屿电能/>的输出,/>为t时刻第/>个应急船舶/>向第i个岛屿电能/>的输出,/>为t时刻第/>个常规船舶/>向第i个岛屿天然气/>的输出,/>为t时刻第/>个应急船舶/>向第i个岛屿天然气/>的输出;/>、/>分别为运输电能的常规船舶和应急船舶的数量,/>、/>分别为运输气能的常规船舶和应急船舶的数量;/>为t时刻第/>个常规船舶是否向第i个岛屿输出电功率的判别系数,/>为t时刻第/>个常规船舶是否向第i个岛屿输出气功率的判别系数;/>为t时刻第/>个应急船舶是否向第i个岛屿输出电功率的判别系数,/>为t时刻第/>个应急船舶是否向第i个岛屿输出气功率的判别系数,/>和/>取值为0或1,如下式所示:/>
式中,为t时刻第/>个应急船舶向第i个岛屿输出电功率的设定时间,/>为t时刻第/>个应急船舶向第i个岛屿输出气功率的设定时间;
式中,为t时刻第/>个常规船舶运输电能的运行可用功率,/>为第/>个常规船舶运输电能的最小功率;/>为t时刻第/>个常规船舶运输气能的运行可用功率,/>为第/>个常规船舶运输气能的最小功率。
5.根据权利要求1所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法,其特征在于,所述步骤4中建立包含混合动作空间的深度强化学习方法进行能量管理策略求解,具体包括如下步骤:
步骤4-1:构造紧凑的混合动作空间,同时表征海岛群综合能源系统能量管理中的离散变量和连续变量;
步骤4-2:基于状态动力学预测的无监督学习方法动态预测损失对混合动作空间进行平滑训练;
步骤4-3:设计嵌入混合动作空间的深度强化学习进行能量管理策略求解。
6.根据权利要求5所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法,其特征在于,所述步骤4-1所构建紧凑的混合动作空间,具体包括如下步骤:
步骤4-1-1:利用带可学习参数的嵌入表征维离散动作空间以及/>维连续动作空间为,R为实数,/>为每一行,/>,每行是一个离散动作的/>维连续向量;
步骤4-1-2:再针对状态下的混合动作/>,/>,利用条件变分自动编码器设计连续变量的潜在表示空间/>,其表示为/>,/>为以/>为参数的编码器,以状态/>和嵌入表征/>为条件,映射/>到潜在表示空间/>
步骤4-1-3:最后,在通过解码器对连续动作进行重构,其表示为,/>为以/>为参数的解码器,/>为从潜在表示空间/>重构后连续变量。
7.根据权利要求5所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法,其特征在于,所述步骤4-2具体包括如下步骤:
步骤4-2-1:在条件变分自动编码器的传输网络后面采用一个级联网络对转换动力学的状态残差进行预测;
步骤4-2-2:构建预测误差,并最小化预测误差;
步骤4-2-3:通过融合动态预测损失与条件变分自动编码器损失进行混合动作空间的损失训练。
8.根据权利要求5所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法,其特征在于,所述步骤4-3具体包括如下步骤:
步骤4-3-1:针对海岛群综合能源系统能量管理模型,构建马尔可夫决策过程,包括状态空间、动作空间和奖励函数,并将动作空间转换为混合动作空间模式;
步骤4-3-2:搭建中心化训练、去中心化执行的Actor-Critic深度强化学习算法结构,其架构包括两个平行的Actor行动家网络和一个Critic评论家网络;
步骤4-3-3:在训练过程中获取所有海岛智能体的信息,新Actor网络和旧Actor网络通过比较来控制学习速度和效率;
步骤4-3-4:利用Critic评论家网络计算优势估计值并反馈回两个Actor网络进行参数更新,从而通过训练获取以最大化目标函数为目标的奖励值从而最终达到收敛。
CN202311337880.7A 2023-10-17 基于混合动作空间强化学习的远洋海岛群能量管理方法 Active CN117350496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311337880.7A CN117350496B (zh) 2023-10-17 基于混合动作空间强化学习的远洋海岛群能量管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311337880.7A CN117350496B (zh) 2023-10-17 基于混合动作空间强化学习的远洋海岛群能量管理方法

Publications (2)

Publication Number Publication Date
CN117350496A true CN117350496A (zh) 2024-01-05
CN117350496B CN117350496B (zh) 2024-05-24

Family

ID=

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113991719A (zh) * 2021-12-03 2022-01-28 华北电力大学 一种电动船舶参与的海岛群用能优化调度方法及系统
CN114301095A (zh) * 2021-12-31 2022-04-08 武汉理工大学 一种基于多能源分布式无线岸电系统的ppo2能量管理方法
CN116039878A (zh) * 2023-02-27 2023-05-02 中船动力研究院有限公司 一种船舶动力系统能量管理方法、装置、设备及介质
US20230182881A1 (en) * 2021-12-09 2023-06-15 Uvic Industry Partnerships Inc. Integrated marine propulsion system modeling and configuration
CN116436094A (zh) * 2023-03-29 2023-07-14 上海交通大学 全直流船舶微电网系统的多时间尺度综合能量管理方法
CN116482975A (zh) * 2023-04-13 2023-07-25 武汉理工大学 一种虚实融合的船舶能量管理策略验证方法与平台
CN116523228A (zh) * 2023-04-24 2023-08-01 上海交通大学 基于深度强化学习的移动能源网络实时能量管理方法及系统
CN116581816A (zh) * 2023-05-22 2023-08-11 集美大学 应对非预期情况的船舶综合能源系统能量管理策略
NO20220197A1 (zh) * 2022-02-11 2023-08-14
CN116596340A (zh) * 2023-05-22 2023-08-15 集美大学 具有工况适应性的船舶综合能源系统能量管理策略
CN116629401A (zh) * 2023-04-04 2023-08-22 江苏科技大学 一种多能源电力推进船舶能量管理策略辅助决策方法
CN116845989A (zh) * 2023-07-12 2023-10-03 安徽大学 一种基于异步动态事件触发的自能源集群双层分布式协同控制方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113991719A (zh) * 2021-12-03 2022-01-28 华北电力大学 一种电动船舶参与的海岛群用能优化调度方法及系统
US20230182881A1 (en) * 2021-12-09 2023-06-15 Uvic Industry Partnerships Inc. Integrated marine propulsion system modeling and configuration
CN114301095A (zh) * 2021-12-31 2022-04-08 武汉理工大学 一种基于多能源分布式无线岸电系统的ppo2能量管理方法
NO20220197A1 (zh) * 2022-02-11 2023-08-14
CN116039878A (zh) * 2023-02-27 2023-05-02 中船动力研究院有限公司 一种船舶动力系统能量管理方法、装置、设备及介质
CN116436094A (zh) * 2023-03-29 2023-07-14 上海交通大学 全直流船舶微电网系统的多时间尺度综合能量管理方法
CN116629401A (zh) * 2023-04-04 2023-08-22 江苏科技大学 一种多能源电力推进船舶能量管理策略辅助决策方法
CN116482975A (zh) * 2023-04-13 2023-07-25 武汉理工大学 一种虚实融合的船舶能量管理策略验证方法与平台
CN116523228A (zh) * 2023-04-24 2023-08-01 上海交通大学 基于深度强化学习的移动能源网络实时能量管理方法及系统
CN116581816A (zh) * 2023-05-22 2023-08-11 集美大学 应对非预期情况的船舶综合能源系统能量管理策略
CN116596340A (zh) * 2023-05-22 2023-08-15 集美大学 具有工况适应性的船舶综合能源系统能量管理策略
CN116845989A (zh) * 2023-07-12 2023-10-03 安徽大学 一种基于异步动态事件触发的自能源集群双层分布式协同控制方法

Similar Documents

Publication Publication Date Title
CN108471143A (zh) 基于正负反馈粒子群算法的微电网多能源调度优化方法
CN104036329B (zh) 一种基于多智能体协同寻优的含光伏微源主动配网拓扑重构方法
CN112257294A (zh) 一种综合能源系统的能源集线器分部建模方法及系统
CN110503255A (zh) 一种风火储电力系统联合优化调度方法
CN115906619A (zh) 一种基于pso-bp优化算法的混合动力双电船的能量管理方法
CN116706917A (zh) 基于快速交替方向乘子法的智慧园区协同调控方法及系统
Xiao et al. Ship energy scheduling with DQN-CE algorithm combining bi-directional LSTM and attention mechanism
CN115051388A (zh) 一种基于分布鲁棒的“源-网-荷-储”两阶段调度优化方法
CN110516785A (zh) 一种基于粒子群和鲸鱼群的求解双层线性规划混合算法
CN117350496B (zh) 基于混合动作空间强化学习的远洋海岛群能量管理方法
CN117350496A (zh) 基于混合动作空间强化学习的远洋海岛群能量管理方法
CN117252377A (zh) 一种多区域互联电热综合能源系统可信分布调度方法及系统
CN116345502A (zh) 混合储能双层模型容量优化配置方法、系统、设备及介质
CN115841075A (zh) 基于深度强化学习的全电船发电和航行调度联合优化方法
CN116485000A (zh) 基于改进的多元宇宙优化算法的微电网优化调度方法
CN115411776A (zh) 住宅综合能源系统的热电协同调度方法及装置
CN115860180A (zh) 基于一致性强化学习算法的电网多时间尺度经济调度方法
CN114154800A (zh) 一种输配电网协同的储能系统优化规划方法及装置
CN115333111A (zh) 多区域电网协同优化方法、系统、设备及可读存储介质
Gong et al. A path planning method based on improved particle swarm optimization algorithm
Feng et al. Nonlinear Model Predictive Control for Pumped Storage Plants Based on Online Sequential Extreme Learning Machine with Forgetting Factor
Fang et al. Energy scheduling and decision learning of combined cooling, heating and power microgrid based on deep deterministic policy gradient
CN117350515B (zh) 一种基于多智能体强化学习的远洋海岛群能量流调度方法
Liu et al. Optimal power flow of DC-grid based on improved PSO algorithm
Shan et al. Polymorphic Distributed Energy Management for Low-Carbon Port Microgrid With Carbon Capture and Carbon Storage Devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant