CN115392143A - 一种基于深度强化学习的移动储能充放电时空规划方法 - Google Patents

一种基于深度强化学习的移动储能充放电时空规划方法 Download PDF

Info

Publication number
CN115392143A
CN115392143A CN202211343226.2A CN202211343226A CN115392143A CN 115392143 A CN115392143 A CN 115392143A CN 202211343226 A CN202211343226 A CN 202211343226A CN 115392143 A CN115392143 A CN 115392143A
Authority
CN
China
Prior art keywords
energy storage
charging
discharging
space
mobile energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211343226.2A
Other languages
English (en)
Other versions
CN115392143B (zh
Inventor
丁永康
何冠楠
宋洁
陈新江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202211343226.2A priority Critical patent/CN115392143B/zh
Publication of CN115392143A publication Critical patent/CN115392143A/zh
Application granted granted Critical
Publication of CN115392143B publication Critical patent/CN115392143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/007—Arrangements for selectively connecting the load or loads to one or several among a plurality of power lines or power sources
    • H02J3/0075—Arrangements for selectively connecting the load or loads to one or several among a plurality of power lines or power sources for providing alternative feeding paths between load and source according to economic or energy efficiency considerations, e.g. economic dispatch
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28—Arrangements for balancing of the load in a network by storage of energy
    • H02J3/32—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Power Engineering (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)

Abstract

本发明公布了一种基于深度强化学习的移动储能充放电时空规划方法，对于移动储能系统，建立用于充放电选择、充放电地点确定、充放电功率决策的离散连续混合动作空间和移动储能系统状态空间；基于值网络和策略网络深度神经网络构建移动储能充放电时空规划网络模型；通过深度强化学习和受限马尔科夫过程的建模，训练包含四个神经网络的两级决策网络，对移动式储能系统的充放电决策、充放电功率、充放电地点路径进行学习，从而对移动储能系统优化配置进行在线决策，由此实现基于深度强化学习的移动储能充放电时空规划。本发明简化了移动储能系统充放电时空优化的建模步骤，加快移动储能配置优化决策速度，提高了经济收益。

Description

一种基于深度强化学习的移动储能充放电时空规划方法
技术领域
本发明涉及移动式储能系统优化配置技术，具体涉及一种基于深度强化学习的移动储能充放电时空规划方法，通过深度强化学习和受限马尔科夫过程的建模，建立移动储能系统充放电时空规划在线决策网络模型，对移动式储能系统的充放电决策、充放电功率、充放电地点路径进行学习，训练一个包含四个神经网络的两级决策网络，从而对移动储能系统优化配置进行在线决策。
背景技术
现有储能技术主要解决储能优化配置技术，电价差反映了全电网或者局部的电力不足或盈余，储能优化配置技术可带来的好处，比如降低了尖峰负荷，在电力不足电价较高时放电,从而减轻了电网压力。现有储能优化配置应用技术中，存在灵活性不足、决策效率低或精度不足、决策滞后等问题。现有技术多采用固定式储能系统，或依赖于已有的交通网络，比如铁路网络，缺乏足够的灵活性。现有解决技术方案中以求解器求解整数规划模型或大规模求解方法比如Benders分解等方法为主，这些技术存在的不足包括：首先建模困难，需要考虑多种约束；其次，求解时不能兼具求解效率和精度，在大规模问题下求解速度缓慢甚至无法求解；还存在决策滞后的问题。而且，这类技术方案需要全部的日前电价，无法考虑到电价的波动情况。
基于深度强化学习的方法不需要对复杂问题进行完整建模，通过对已有数据加噪声训练神经网络，可以得到用于实时决策的网络模型。储能系统充放电规划决策的动作空间包括：充电/放电选择、地点选择、功率选择，前两个为离散动作空间，功率选择为连续动作空间。而将现有的深度强化学习方法应用于储能充放电时空规划应用中，则只能解决离散动作的问题或连续动作空间的问题，例如只能决策充放电地点的选择和充放电的选择，或者充放电功率的决策，而无法同时决策移动式储能充放电配置问题中的离散连续混合动作空间问题。如果采用离散化连续动作空间的方法，同样会丧失求解的精度，使得储能规划与决策的精度不高、效率低下。
发明内容
针对目前现有技术中存在的储能优化配置中时空规划建模复杂、灵活性不足、决策效率低、无法实时在线决策等问题，本发明提供了一种基于深度强化学习方法的移动储能充放电时空规划在线决策方案，建立一种新的深度强化学习储能时空规划网络模型框架，利用多层级的神经网络学习移动储能系统（如储能车）的充放电相关决策，将训练好的网络模型作为移动储能充放电时空规划实时决策模型，从而快速高效地实现移动储能充放电时空规划。
具体地，本发明构建的深度强化学习储能时空规划网络模型包括基于电量、电价、电量成本、位置的状态空间，路径选择、充放电选择、充放电功率的动作空间，两层的值网络和策略网络，及其各自目标网络的四个神经网络，并考虑强化学习中智能体（即储能车）安全探索方案的深度强化学习方法。在训练过程中，为了训练的稳定性和效率，本发明采用经验回放策略。通过本发明的方法进行移动储能决策，一方面能够有效降低方案复杂度，无需对原问题进行建模，快速得到解决方案；另一方面，能够在保证求解精度的同时，大幅降低求解时间，并能够应对电价的未知性情况。
本发明的技术方案是：
一种基于深度强化学习的移动储能充放电时空规划方法，包括：由电动卡车、电池组、充电站和放电站组成的移动储能系统，基于深度强化学习的优化规划决策框架，包括由充放电选择（离散）、充放电地点确定（离散）、充放电功率决策（连续）的离散连续混合动作空间，由电池电量水平、电量成本、时间、充电站、电价等组成的移动储能系统状态空间，基于值网络和策略网络构成的二级深度神经网络构建移动储能时空优化规划调度网络模型等。本发明包含以下步骤：
1）确立移动储能充放电时空优化目标函数，以及相应的电量、功率等约束；
2）获取移动储能系统的状态空间信息，包括：电价、电量、电量成本、位置等状态空间信息；
3）基于深度强化学习建立移动储能系统时空规划决策神经网络模型，根据1）中的目标函数设计奖励函数，将2）中的状态信息作为神经网络模型的输入，训练神经网络模型；
4）利用上3）中训练好的神经网络模型作为移动储能在线时空规划决策模型，该模型在每一个决策点输出充放电选择、充放电地点选择以及确定相应的功率，由此实现基于深度强化学习的移动储能时空规划。
针对以上步骤，下面详细进行说明：
1）确立移动储能充放电时空优化目标函数，以及相应的约束；
移动储能系统时空配置规划优化的目标函数为收益最大化，计算收益包括三个部分：充放电收益、移动成本、老化成本。因此相应的目标函数表示为：
Figure 931103DEST_PATH_IMAGE001
其中，
Figure 785926DEST_PATH_IMAGE002
其中，
Figure 565664DEST_PATH_IMAGE003
表示储能收益最大化；
Figure 960873DEST_PATH_IMAGE004
为移动储能系统的充放电收益，
Figure 712928DEST_PATH_IMAGE005
为移动储能系统在不同地点之间的移动成本，
Figure 535391DEST_PATH_IMAGE006
为移动储能系统老化成本。决策变量
Figure 802424DEST_PATH_IMAGE007
包括
Figure 1324DEST_PATH_IMAGE008
时刻系统在
Figure 607886DEST_PATH_IMAGE009
位置的充电功率
Figure 538933DEST_PATH_IMAGE010
，放电功率
Figure 293262DEST_PATH_IMAGE011
，从当前位置
Figure 30274DEST_PATH_IMAGE009
到下一位置
Figure 491342DEST_PATH_IMAGE012
的时间
Figure 921187DEST_PATH_IMAGE013
。本发明将时间划分为多个时间槽，每个时间槽
Figure 97566DEST_PATH_IMAGE014
长度为15分钟，对于目标函数各部分，相应的计算方式如下：
Figure 372689DEST_PATH_IMAGE015
第一部分充放电收益为每个时间槽收益的总和，其中
Figure 16160DEST_PATH_IMAGE016
为充放电效率，
Figure 351327DEST_PATH_IMAGE017
为当前时间地点的电价；H为时间槽集合；
Figure 17931DEST_PATH_IMAGE018
为充电站地点集合。
Figure 96746DEST_PATH_IMAGE019
第二部分移动成本
Figure 594723DEST_PATH_IMAGE020
为不同位置点之间移动成本的总和，其中
Figure 304053DEST_PATH_IMAGE021
为常数，表示单位时间的移动成本，本发明具体实施时取值为20$/h。
Figure 254692DEST_PATH_IMAGE022
第三部分老化成本
Figure 137197DEST_PATH_IMAGE023
与充放电功率、时间相关，为各时间段老化成本的总和，其中
Figure 427364DEST_PATH_IMAGE024
为常数，与充放电量相关，本发明具体实施时取值为50$/MWh；
Figure 369912DEST_PATH_IMAGE025
为充电功率；
Figure 807847DEST_PATH_IMAGE026
为放电功率。
移动储能系统的主要约束包括电量容量约束和充放电功率约束，均不可超过其最大值，不可小于其最小值：
Figure 166147DEST_PATH_IMAGE027
Figure 638717DEST_PATH_IMAGE028
其中，
Figure 752166DEST_PATH_IMAGE029
为
Figure 615080DEST_PATH_IMAGE030
时刻的剩余电量；
Figure 839388DEST_PATH_IMAGE031
为最低容量限制，一般设为0，
Figure 900885DEST_PATH_IMAGE032
为最大电池容量，设置为2.7WM。
Figure 122919DEST_PATH_IMAGE033
和
Figure 535446DEST_PATH_IMAGE034
分别为
Figure 563444DEST_PATH_IMAGE030
时刻的充电功率 放电功率，
Figure 745027DEST_PATH_IMAGE035
为最大充放电功率，任何时刻充放电功率须小于此值。
2）观测移动储能系统的状态，获取状态空间信息；
本发明设计了全新的移动储能系统状态空间、动作空间和奖励函数。在每一个决策时间点（
Figure 872383DEST_PATH_IMAGE030
时刻），系统根据当前所在地点的电价、所在地点、当前时刻来确定下一个决策地点、充放电选择、相应的充放电功率。
Figure 772206DEST_PATH_IMAGE030
时刻的状态空间由公式
Figure 338316DEST_PATH_IMAGE036
描述，其中
Figure 568879DEST_PATH_IMAGE037
为
Figure 929453DEST_PATH_IMAGE030
时刻的剩余电量，
Figure 316572DEST_PATH_IMAGE038
代表剩余电量的平均成本，
Figure 624057DEST_PATH_IMAGE039
代表电价，
Figure 514652DEST_PATH_IMAGE040
分别表示地点和时刻。动作空间
Figure 311707DEST_PATH_IMAGE041
由公式
Figure 858226DEST_PATH_IMAGE042
表示，其中
Figure 31718DEST_PATH_IMAGE043
为下一个地点的选择，
Figure 42400DEST_PATH_IMAGE044
为充放电选择，包括充电、放电、保持（不充不放），
Figure 948039DEST_PATH_IMAGE045
为相应的功率。在目标函数的基础上，本发明将奖励函数设计为如下形式：
Figure 44171DEST_PATH_IMAGE046
其中，
Figure 755775DEST_PATH_IMAGE047
为奖励函数；
Figure 558646DEST_PATH_IMAGE048
为电价，
Figure 697503DEST_PATH_IMAGE049
为放电功率。
充电、放电和保持的状态转移方程分别如下公式所示：
Figure 280931DEST_PATH_IMAGE050
Figure 468330DEST_PATH_IMAGE051
Figure 453603DEST_PATH_IMAGE052
其中，
Figure 763362DEST_PATH_IMAGE053
是神经网络的决策。
移动储能充放电时空规划问题的最优解可能为边界解，因此本发明对移动储能系统在电池容量边界时的学习策略设计了一种方法：在更新网络的梯度下降过程中，电池电量可能会出现大于最高容量或小于最小容量的情况，本发明使用镜像下降和梯度投影的方法，将超出可行域的电池容量解重新投影到可行域中，并利用布莱格曼散度来确定投影位置。因为移动储能充放电时空规划问题中的安全约束为一维约束，且为紧闭集，容易得出最佳投影点为边界点，即电池容量边界，且为收敛点，即解出的电池电量为可行解。投影点即可行的电池电量的计算方式如下：
Figure 771769DEST_PATH_IMAGE054
其中，
Figure 825176DEST_PATH_IMAGE055
为电池电量解；
Figure 664956DEST_PATH_IMAGE056
为镜像投影方向，
Figure 83299DEST_PATH_IMAGE057
为不可行的电池电量解；argmin为求使得目标最小参数取值；
Figure 375740DEST_PATH_IMAGE058
为二范数。移动储能系统电池容量的投影示意图如图1所示。
3）建立深度强化学习储能时空规划决策神经网络模型，训练神经网络模型；
31）储能规划动作空间表示；
对于移动储能规划问题中存在的离散连续混合动作空间问题，本发明将储能规划动作空间
Figure 232838DEST_PATH_IMAGE059
构建为两层结构，包括策略网络结构和值网络结构；针对储能规划离散动作
Figure 927124DEST_PATH_IMAGE060
和与该离散动作关联的连续动作参数
Figure 513439DEST_PATH_IMAGE061
，基于策略网络确定
Figure 558755DEST_PATH_IMAGE062
，基于值网络选择储能规划离散动作
Figure 953964DEST_PATH_IMAGE063
；储能规划动作空间
Figure 440441DEST_PATH_IMAGE064
表示为：
Figure 528482DEST_PATH_IMAGE065
其中，
Figure 795516DEST_PATH_IMAGE066
为连续动作参数集合，
Figure 932099DEST_PATH_IMAGE067
为离散动作集合。
对于传统基于Q-learning的强化学习，其贝尔曼方程的形式为：
Figure 335398DEST_PATH_IMAGE068
其中，
Figure 594341DEST_PATH_IMAGE069
为状态，
Figure 286354DEST_PATH_IMAGE070
表示动作，
Figure 23366DEST_PATH_IMAGE071
代表下一个最优的
Figure 546751DEST_PATH_IMAGE072
取值（Q值，是一个与状态
Figure 914278DEST_PATH_IMAGE073
和动作
Figure 890325DEST_PATH_IMAGE074
相关的值,表示在状态
Figure 431027DEST_PATH_IMAGE075
下选择动作
Figure 12181DEST_PATH_IMAGE074
的程度），
Figure 347348DEST_PATH_IMAGE076
代表奖励（reward），
Figure 76269DEST_PATH_IMAGE077
为折扣因子，
Figure 155084DEST_PATH_IMAGE078
和
Figure 590744DEST_PATH_IMAGE079
是下一个采取的动作和抵达的状态，
Figure 96812DEST_PATH_IMAGE080
表示动作选择基于
Figure 313030DEST_PATH_IMAGE081
贪婪策略。考虑储能时空规划中的离散连续混合动作空间的马尔科夫（MDP）过程，本发明建立贝尔曼方程为：
Figure 133218DEST_PATH_IMAGE083
其中，
Figure 485702DEST_PATH_IMAGE084
为离散连续混合动作空间下一个
Figure 428250DEST_PATH_IMAGE072
值的取值，下标
Figure 806798DEST_PATH_IMAGE030
表示决策时刻，
Figure 227415DEST_PATH_IMAGE085
分别表示状态，离散动作和离散动作相应的连续参数；sup为上确界；max为取最大值；
Figure 699984DEST_PATH_IMAGE086
表示决策时间点。在对于连续空间
Figure 485538DEST_PATH_IMAGE087
取上界时会有巨大的计算量，本发明将
Figure 410769DEST_PATH_IMAGE088
视为一个映射函数：
Figure 635077DEST_PATH_IMAGE089
，因此，相应的，贝尔曼方程改为：
Figure 962153DEST_PATH_IMAGE090
上式描述了储能时空规划中的离散连续混合动作空间。其中，
Figure 918607DEST_PATH_IMAGE091
表示下一个决策时刻，映射函数
Figure 331134DEST_PATH_IMAGE092
通过策略神经网络拟合，表示
Figure 93554DEST_PATH_IMAGE093
时刻
Figure 478399DEST_PATH_IMAGE094
到
Figure 933651DEST_PATH_IMAGE095
的映射。
此形式的贝尔曼方程可以更方便的通过均方误差计算梯度，以更新值网络和策略网络。
32）设计深度强化学习储能时空规划决策神经网络模型中的值网络和策略网络的损失函数；
本发明使用一个深度评论网络
Figure 833474DEST_PATH_IMAGE096
来近似
Figure 337267DEST_PATH_IMAGE097
，使用一个深度确定策略梯度演员网络
Figure 373357DEST_PATH_IMAGE098
来近似
Figure 999510DEST_PATH_IMAGE099
，其中
Figure 386629DEST_PATH_IMAGE100
和
Figure 428534DEST_PATH_IMAGE101
分别为值网络和策略网络的参数。网络
Figure 584709DEST_PATH_IMAGE102
和
Figure 381764DEST_PATH_IMAGE103
的损失函数计算方式如下：
Figure 990600DEST_PATH_IMAGE104
Figure 101775DEST_PATH_IMAGE105
其中，
Figure 112457DEST_PATH_IMAGE106
和
Figure 80413DEST_PATH_IMAGE107
分别为值网络和策略网络，更新一个网络时另一个网络的参数固定。两个网络均为直连网络，选择Relu函数作为激活函数。结构如图2所示。
33）采用目标网络方法和经验池方法训练深度强化学习储能时空规划决策神经网络模型；
在神经网络的训练过程中，为了训练的稳定性和训练效率，本发明采用目标网络方法和经验池方法。值网络和策略网络均有一个目标网络，单步的动作状态元组会储存到经验池
Figure 848648DEST_PATH_IMAGE108
中，目标网络的更新采用软更新方式。
4）利用上一步中训练好的网络作为在线决策模型，输入移动储能系统的初始状态，输出充放电功率、充放电选择和路径选择，实现基于深度强化学习的移动储能时空规划；
通过多次的迭代训练，得到两个网络：
Figure 294673DEST_PATH_IMAGE106
和
Figure 425440DEST_PATH_IMAGE107
，将需要进行储能充放电时空规划求解的储能系统按本发明步骤2）中提到的方法，建立储能系统初始状态
Figure 564298DEST_PATH_IMAGE109
，将其输入到步骤3）中训练好的网络模型中，每个时刻输出相应的
Figure 285741DEST_PATH_IMAGE110
与
Figure 535457DEST_PATH_IMAGE111
，即充放电功率、充放电选择和充放电路径选择，由此实现基于深度强化学习的移动储能充放电时空规划。
与现有技术相比，本发明的效果是：
本发明提供一种基于深度强化学习的移动储能时空配置优化规划方法，通过构建基于深度强化学习方法的移动储能系统时空优化规划决策网络模型，简化了移动储能系统充放电时空优化的建模步骤，加快了决策速度，提高了经济收益，解决了现有技术不能实时决策的问题。现有技术解决此类问题的主要方法是整数规划模型或其他精确解算法，这些方法需要复杂的建模过程，并在求解时需要全局信息。本发明使用的深度强化学习技术大大简化了建模过程，只需要确定优化目标与约束，并且在决策时不需要全部的电价信息，能够应对电价不确定的情况。利用训练好的移动储能系统充放电时空优化神经网络模型，能够快速的进行移动储能系统的时空优化决策，大幅度提高了规划配置速度。
附图说明
图1为本发明使用镜像下降和梯度投影的方法，将超出可行域的电池电量解（不可行的电池电量解）重新投影到可行域的镜像下降与梯度投影示意图；
其中，
Figure 520731DEST_PATH_IMAGE112
为可行域；
Figure 502593DEST_PATH_IMAGE113
表示可行域为一维实数集；
Figure 573317DEST_PATH_IMAGE114
为上一个可行电池电量解；
Figure 626724DEST_PATH_IMAGE115
为电池电量解；
Figure 466504DEST_PATH_IMAGE116
为不可行的电池电量解；
Figure 150426DEST_PATH_IMAGE117
为
Figure 442867DEST_PATH_IMAGE118
的镜像投影方向，图中镜像投影方向和梯度投影方向为相反。
图2为本发明方法构建的基于深度强化学习的移动储能时空规划神经网络模型的结构示意图；
其中，
Figure 299965DEST_PATH_IMAGE119
表示储能系统状态信息，
Figure 666355DEST_PATH_IMAGE120
为储能系统连续动作，下标
Figure 317917DEST_PATH_IMAGE111
表示储能系统离散动作，
Figure 363233DEST_PATH_IMAGE121
分别表示储能时空规划模型的策略网络和值网络的网络参数，
Figure 758442DEST_PATH_IMAGE072
表示神经网络输出的
Figure 510498DEST_PATH_IMAGE072
值。
图3为本发明具体实施采用单充电站时的移动储能时空规划算法收敛示意图。
图4为本发明具体实施采用31个充电站时的移动储能时空规划算法收敛情况示意图。
图5为本发明具体实施采用31个充电站时的移动储能时空规划过程中部分电池电量变化与电价水平关系示意图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明基于移动式储能的特征，提供了一种基于深度强化学习的移动储能时空优化实时规划方法，通过构建基于深度强化学习方法的移动储能系统时空优化规划决策网络模型，实现移动储能系统时空优化实时配置规划和决策。
本发明构建的基于深度强化学习方法的移动储能系统时空优化配置规划决策网络模型进行训练的算法流程如下：
输入：探索因子
Figure 598539DEST_PATH_IMAGE122
，最小批
Figure 865573DEST_PATH_IMAGE123
，概率分布
Figure 736577DEST_PATH_IMAGE124
，折扣因子
Figure 405455DEST_PATH_IMAGE125
，软更新参数
Figure 664398DEST_PATH_IMAGE126
；初始化经验回放池
Figure 153148DEST_PATH_IMAGE108
的容量为
Figure 827843DEST_PATH_IMAGE127
；初始化网络
Figure 351229DEST_PATH_IMAGE128
和
Figure 515494DEST_PATH_IMAGE129
的网络参数分别为
Figure 975030DEST_PATH_IMAGE130
和
Figure 515733DEST_PATH_IMAGE131
；
输出：
Figure 893624DEST_PATH_IMAGE132
；
算法流程:
1.从回合 i=1,2,…,I进行循环：
2.计算初始动作参数
Figure 166474DEST_PATH_IMAGE133
3.对每个决策时间点t=1,2,…,T进行循环：
4.根据
Figure 629816DEST_PATH_IMAGE134
贪婪策略选择动作
Figure 974210DEST_PATH_IMAGE135
：
5.
Figure 472187DEST_PATH_IMAGE136
6.执行动作
Figure 915938DEST_PATH_IMAGE137
，获得奖励
Figure 132156DEST_PATH_IMAGE138
和下一个状态
Figure 14661DEST_PATH_IMAGE139
7.存储元组
Figure 570408DEST_PATH_IMAGE140
到经验回放池
Figure 247377DEST_PATH_IMAGE108
中
8.从经验池D中采样
Figure 685311DEST_PATH_IMAGE123
个元组
Figure 371507DEST_PATH_IMAGE141
9.计算目标
Figure 250602DEST_PATH_IMAGE142
：
10.
Figure 364051DEST_PATH_IMAGE143
11. 使用数据
Figure 289282DEST_PATH_IMAGE144
计算随机梯度
Figure 716852DEST_PATH_IMAGE145
和
Figure 43928DEST_PATH_IMAGE146
12. 根据梯度信息更新网络参数：
Figure 328279DEST_PATH_IMAGE147
，
Figure 475227DEST_PATH_IMAGE148
；
13. 软更新两个目标网络参数
Figure 175329DEST_PATH_IMAGE149
和
Figure 356912DEST_PATH_IMAGE150
：
Figure 812164DEST_PATH_IMAGE151
14. 结束循环
15. 结束循环
以下以某地区的移动储能系统的充放电实时调度为应用案例，选择该地区移动储能系统中定义的编号为17的点作为中心点，选择其半径为2英里和10英里的区域，对应包含充放电站分别为1个和31个，并使用该区域2018年某个日期对应的电价信息。采用本发明方法实现移动储能系统充放电的决策和路径的选择。具体地，可将一天的时间每隔15min进行划分为多个时间间隔，在每个时间间隔对移动储能系统的充电或放电、功率、下一地点的选择进行决策，由此对储能系统充放电路径进行规划，实现储能系统充放电的实时配置调度。
利用本发明，基于移动储能系统的充电站的位置信息和电价信息，充放电实时配置规划优化决策过程包括以下步骤：
1）确立优化目标函数，以及相应的约束；
移动储能系统的充放电实时配置规划的优化目标为获取移动储能系统的最大收益；移动储能系统的收益包括三个部分：充放电收益、移动成本、老化成本。因此，本发明建立相应的移动储能系统充放电实时配置规划的优化目标函数，表示为：
Figure 649670DEST_PATH_IMAGE152
其中，
Figure 215781DEST_PATH_IMAGE153
其中，
Figure 251870DEST_PATH_IMAGE154
为充放电收益，
Figure 78356DEST_PATH_IMAGE155
为不同地点之间的移动成本，
Figure 199896DEST_PATH_IMAGE156
为老化成本。决策变量
Figure 569697DEST_PATH_IMAGE157
包括
Figure 725872DEST_PATH_IMAGE158
时刻系统在
Figure 195031DEST_PATH_IMAGE009
位置的充电功率
Figure 803866DEST_PATH_IMAGE159
，放电功率
Figure 711780DEST_PATH_IMAGE160
，从当前位置
Figure 660144DEST_PATH_IMAGE009
到下一位置
Figure 628100DEST_PATH_IMAGE161
的时间
Figure 724232DEST_PATH_IMAGE162
。本发明将时间划分为多个时间槽，每个时间槽
Figure 435836DEST_PATH_IMAGE163
长度为15分钟，对于目标函数各部分，相应的计算方式如下：
Figure 504286DEST_PATH_IMAGE164
第一部分充放电收益为每个时间槽收益的总和，其中
Figure 643144DEST_PATH_IMAGE016
为充放电效率，
Figure 960992DEST_PATH_IMAGE017
为当前时间地点的电价。
Figure 413970DEST_PATH_IMAGE165
第二部分移动成本
Figure 399244DEST_PATH_IMAGE166
为不同点之间移动成本的总和，其中
Figure 709003DEST_PATH_IMAGE167
为常数，表示单位时间的移动成本，本发明设为20$/h。
Figure 514148DEST_PATH_IMAGE168
第三部分老化成本
Figure 770817DEST_PATH_IMAGE169
与充放电功率、时间相关，为各时间段老化成本的总和，其中
Figure 610597DEST_PATH_IMAGE170
为常数，与充放电量相关，本发明设为50$/MWh。
移动储能系统的主要约束包括电量容量约束和充放电功率约束，均不可超过其最大值，不可小于其最小值：
Figure 91256DEST_PATH_IMAGE171
Figure 321381DEST_PATH_IMAGE172
其中
Figure 912899DEST_PATH_IMAGE173
为最低容量限制，一般设为0，
Figure 872765DEST_PATH_IMAGE174
为最大电池容量，设置为2.7WM。
Figure 462009DEST_PATH_IMAGE175
为最大充放电功率，任何时刻充放电功率须小于此值。
2）观测系统状态，获取状态空间信息
Figure 241746DEST_PATH_IMAGE030
时刻的状态空间
Figure 636955DEST_PATH_IMAGE176
由公式
Figure 451328DEST_PATH_IMAGE177
描述，其中
Figure 214403DEST_PATH_IMAGE178
为
Figure 481436DEST_PATH_IMAGE030
时刻的剩余电量，
Figure 680336DEST_PATH_IMAGE179
代表剩余电量的平均成本，
Figure 286898DEST_PATH_IMAGE180
代表电价，n和t分别表示地点和时刻。动作空间
Figure 280262DEST_PATH_IMAGE181
由公式
Figure 34591DEST_PATH_IMAGE182
表示，其中为下一个地点的选择，
Figure 37183DEST_PATH_IMAGE183
为充放电选择，包括充电、放电、保持（不充不放），
Figure 498251DEST_PATH_IMAGE045
为相应的功率。在目标函数的基础上，本发明将奖励函数设计为如下形式：
Figure 662516DEST_PATH_IMAGE184
其中
Figure 904141DEST_PATH_IMAGE185
为电价，
Figure 382527DEST_PATH_IMAGE186
为放电功率。
充电、放电和保持的状态转移方程分别如下公式所示：
Figure 760419DEST_PATH_IMAGE187
Figure 361165DEST_PATH_IMAGE188
Figure 824507DEST_PATH_IMAGE189
其中
Figure 106584DEST_PATH_IMAGE053
由神经网络决策；下标
Figure 338982DEST_PATH_IMAGE190
表示下一个决策时刻。
此类问题的最优解可能为边界解，因此本发明对移动储能系统（智能体）在边界时的学习策略设计了一种方法：在更新网络的梯度下降过程中，电池电量可能会出现大于最高容量或小于最小容量的情况，本发明使用镜像下降和梯度投影的方法，将超出可行域的解重新投影到可行域中，并利用布莱格曼散度来确定投影位置。因为此类问题中的安全约束为一维约束，且为紧闭集，容易得出最佳投影点为边界点，且收敛点为可行解。投影点的计算方式如下：
Figure 110629DEST_PATH_IMAGE191
其中
Figure 998951DEST_PATH_IMAGE192
为镜像投影方向，
Figure 881456DEST_PATH_IMAGE193
为不可行解。投影示意图如图1所示。
3）建立深度强化学习决策框架，训练神经网络
对于此类问题中存在的离散连续混合动作空间问题，本发明将动作空间
Figure 233940DEST_PATH_IMAGE194
构建为两层结构，离散动作
Figure 114171DEST_PATH_IMAGE111
和与该离散动作关联的连续参数
Figure 552106DEST_PATH_IMAGE195
，基于一个策略网络确定
Figure 238302DEST_PATH_IMAGE196
，然后基于值网络选择离散动作
Figure 445292DEST_PATH_IMAGE111
：
Figure 496425DEST_PATH_IMAGE197
其中
Figure 421656DEST_PATH_IMAGE198
连续动作参数集合，
Figure 645964DEST_PATH_IMAGE199
为离散动作集合。
对于传统基于Q-learning的强化学习，其贝尔曼方程的形式为：
Figure 907793DEST_PATH_IMAGE200
其中
Figure 926565DEST_PATH_IMAGE201
为状态，
Figure 339092DEST_PATH_IMAGE202
表示动作，
Figure 367090DEST_PATH_IMAGE203
代表下一个最优的
Figure 486356DEST_PATH_IMAGE072
取值，
Figure 941608DEST_PATH_IMAGE204
代表奖励reward，
Figure 575852DEST_PATH_IMAGE205
为折扣因子，
Figure 79646DEST_PATH_IMAGE206
和
Figure 381314DEST_PATH_IMAGE207
是下一个采取的动作和抵达的状态，
Figure 7467DEST_PATH_IMAGE208
表示动作选择基于
Figure 129007DEST_PATH_IMAGE209
策略。考虑该类问题中的离散连续混合动作空间的马尔科夫（MDP）过程，贝尔曼方程建立为：
Figure 436492DEST_PATH_IMAGE210
Figure 592667DEST_PATH_IMAGE030
表示决策时间点。在对于连续空间
Figure 389721DEST_PATH_IMAGE211
取上界时会有巨大的计算量，本发明将
Figure 936240DEST_PATH_IMAGE212
视为一个映射函数：
Figure 844153DEST_PATH_IMAGE213
，因此，相应的，贝尔曼方程改为：
Figure 854835DEST_PATH_IMAGE214
此形式的贝尔曼方程可以更方便的通过均方误差计算梯度，以更新值网络和策略网络。本发明使用一个深度评论网络
Figure 822791DEST_PATH_IMAGE215
来近似
Figure 856606DEST_PATH_IMAGE216
，使用一个深度确定策略梯度演员网络
Figure 568210DEST_PATH_IMAGE217
来近似
Figure 433398DEST_PATH_IMAGE218
，其中
Figure 509938DEST_PATH_IMAGE219
和
Figure 93366DEST_PATH_IMAGE220
分别为值网络和策略网络的参数。这两个网络的损失函数计算方式如下：
Figure 608661DEST_PATH_IMAGE221
Figure 328355DEST_PATH_IMAGE222
其中
Figure 575797DEST_PATH_IMAGE072
和
Figure 646521DEST_PATH_IMAGE223
分别为值网络和策略网络，更新一个网络时另一个网络的参数固定。两个网络均为直连网络，选择Relu函数作为激活函数。结构如图2所示。
在神经网络的训练过程中，为了训练的稳定性和训练效率，本发明采用目标网络方法和经验池方法。值网络和策略网络均有一个目标网络，单步的动作状态元组会储存到经验池
Figure 699928DEST_PATH_IMAGE224
中，目标网络的更新采用软更新方式。
4）利用上一步中训练好的网络作为在线决策模型
通过多次的迭代训练，会得到两个网络
Figure 468602DEST_PATH_IMAGE106
和
Figure 949262DEST_PATH_IMAGE107
，对需要求解的问题按本发明步骤2）中提到的方法，建立初始状态
Figure 507282DEST_PATH_IMAGE225
，将其输入到网络模型中，每个时刻输出相应的
Figure 36484DEST_PATH_IMAGE226
与
Figure 730770DEST_PATH_IMAGE111
，即充放电功率、充放电选择和路径选择。
表1展示了本实例中移动储能规划系统中的相关参数设置。本发明中的神经网络采用五层的直连网络，包括输入层、输出层和三个隐藏层，隐藏层大小设置为[256,128,64]，激活函数采用Relu函数。
表1 实例中的参数及其取值
Figure 647911DEST_PATH_IMAGE227
图3和图4分别表示在一个充电站和31个充电站时本发明方法的奖励收敛情况：图中横坐标表示迭代回合，具体回合数为坐标轴数字乘以100，纵坐标表示每100回合的平均奖励值，表示规划收益。图3中展示了本发明方法的解和用现有的求解器Gurobi求得的最优解比，其误差在1%以内。图4展示了在31个充电站，求解器Gurobi没法求解时本发明方法的收益。
图5展示了采用本发明的方法时电池电量与各个充电站电价关系。图中横轴为时间，单个间隔长度为15min，左纵坐标表示充电电量，与图中柱状图对应，正数代表充电，负数代表放电；右纵坐标表示电价，与图中折线图对应。从图中可以看出，移动储能系统在点30、点27等低电价充电站充电，在点14、2等充电站放电。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (4)

1.一种基于深度强化学习的移动储能充放电时空规划方法，对于移动储能系统，建立用于充放电选择、充放电地点确定、充放电功率决策的离散连续混合动作空间和移动储能系统状态空间；基于值网络和策略网络深度神经网络构建移动储能充放电时空规划网络模型；通过深度强化学习和受限马尔科夫过程的建模和模型训练，对移动式储能系统的充放电决策、充放电功率、充放电地点路径进行学习，对移动储能系统充放电优化配置进行在线时空规划决策；包括以下步骤：
1）确立移动储能充放电时空规划优化目标函数以及相应的约束，包括电量约束和功率约束；
目标函数表示为：
Figure 403402DEST_PATH_IMAGE001
其中，
Figure 524942DEST_PATH_IMAGE002
其中，
Figure 894744DEST_PATH_IMAGE003
表示充放电时空规划优化目标为储能收益最大化；
Figure 378815DEST_PATH_IMAGE004
为移动储能系统的充放电收益；
Figure 175869DEST_PATH_IMAGE005
为移动储能系统在不同地点之间的移动成本，
Figure 112601DEST_PATH_IMAGE006
为移动储能系统老化成本；决策变量
Figure 20514DEST_PATH_IMAGE007
包括
Figure 31196DEST_PATH_IMAGE008
时刻系统在
Figure 467993DEST_PATH_IMAGE009
位置的充电功率
Figure 564125DEST_PATH_IMAGE010
，放电功率
Figure 603626DEST_PATH_IMAGE011
，从当前位置
Figure 468813DEST_PATH_IMAGE009
到下一位置
Figure 607671DEST_PATH_IMAGE012
的时间
Figure 659940DEST_PATH_IMAGE013
；
其中：
Figure 175235DEST_PATH_IMAGE014
其中
Figure 721361DEST_PATH_IMAGE015
为充放电效率，
Figure 31119DEST_PATH_IMAGE016
为当前时间地点的电价；H为时间槽集合；
Figure 695319DEST_PATH_IMAGE017
为充电站地点集合；
Figure 748726DEST_PATH_IMAGE018
为将时间划分成的时间槽；
Figure 791768DEST_PATH_IMAGE019
其中
Figure 272428DEST_PATH_IMAGE020
为常数，表示单位时间的移动成本；
Figure 423924DEST_PATH_IMAGE021
其中
Figure 15442DEST_PATH_IMAGE022
为与充放电量相关的常数；
Figure 709728DEST_PATH_IMAGE023
为充电功率；
Figure 954765DEST_PATH_IMAGE024
为放电功率；
移动储能系统的主要约束包括电量容量约束和充放电功率约束，均不可超过其最大值，不可小于其最小值，表示为：
Figure 734502DEST_PATH_IMAGE025
Figure 332974DEST_PATH_IMAGE026
其中，
Figure 147346DEST_PATH_IMAGE027
为
Figure 969808DEST_PATH_IMAGE028
时刻的剩余电量；
Figure 331782DEST_PATH_IMAGE029
为最低容量限制；
Figure 530682DEST_PATH_IMAGE030
为最大电池容量；
Figure 527457DEST_PATH_IMAGE031
和
Figure 520821DEST_PATH_IMAGE032
分别为
Figure 275150DEST_PATH_IMAGE028
时刻的充电功率和放电功率；
Figure 481004DEST_PATH_IMAGE033
为最大充放电功率；
2）设计获取移动储能系统的状态空间信息，包括：电价、电量、电量成本、充放电位置空间信息；
Figure 4389DEST_PATH_IMAGE028
时刻的状态空间由公式
Figure 762129DEST_PATH_IMAGE034
描述，其中
Figure 3755DEST_PATH_IMAGE035
为
Figure 278878DEST_PATH_IMAGE028
时刻的剩余电量，
Figure 391191DEST_PATH_IMAGE036
代表剩余电量的平均成本，
Figure 726357DEST_PATH_IMAGE037
代表电价，
Figure 783175DEST_PATH_IMAGE038
分别表示地点和时刻；动作空间
Figure 861989DEST_PATH_IMAGE039
由公式
Figure 359967DEST_PATH_IMAGE040
表示，
Figure 963904DEST_PATH_IMAGE041
为充放电选择，包括充电、放电、保持；
Figure 914543DEST_PATH_IMAGE042
为相应的功率；
设计移动储能系统的奖励函数，表示为如下形式：
Figure 265890DEST_PATH_IMAGE043
其中，
Figure 618374DEST_PATH_IMAGE044
为奖励函数；
Figure 560922DEST_PATH_IMAGE045
为电价，
Figure 326752DEST_PATH_IMAGE046
为放电功率；
充电、放电和保持的状态转移方程分别如下公式所示：
Figure 747370DEST_PATH_IMAGE047
Figure 813415DEST_PATH_IMAGE048
Figure 926864DEST_PATH_IMAGE049
其中，
Figure 852095DEST_PATH_IMAGE050
是神经网络的决策；下标
Figure 279665DEST_PATH_IMAGE051
表示下一个决策时刻；
设计移动储能系统在电池容量边界时的网络模型学习方法：
使用镜像下降和梯度投影的方法，将超出可行域的电池容量解重新投影到可行域中，并利用布莱格曼散度来确定投影位置；最佳投影点为边界点，即电池容量边界，且为收敛点，即解出的电池电量为可行解；投影点即可行的电池电量的计算方式如下：
Figure 341162DEST_PATH_IMAGE052
其中，
Figure 218988DEST_PATH_IMAGE053
为电池电量解；
Figure 631515DEST_PATH_IMAGE054
为镜像投影方向，
Figure 659514DEST_PATH_IMAGE055
为不可行的电池电量解；argmin为求使得目标最小参数取值；
Figure 670457DEST_PATH_IMAGE056
为二范数；
3）基于深度强化学习建立移动储能系统时空规划决策神经网络模型，根据1）中的目标函数设计奖励函数，将2）中的状态信息作为神经网络模型的输入，训练神经网络模型；包括：
31）储能规划动作空间表示；
将移动储能系统的离散连续混合动作空间
Figure 860130DEST_PATH_IMAGE057
构建为两层结构，包括策略网络结构和值网络结构；针对储能规划离散动作
Figure 228795DEST_PATH_IMAGE058
和与该离散动作关联的连续动作参数
Figure 794905DEST_PATH_IMAGE059
，基于策略网络确定
Figure 96574DEST_PATH_IMAGE059
；基于值网络选择储能规划离散动作
Figure 785044DEST_PATH_IMAGE060
；
Figure 172163DEST_PATH_IMAGE061
表示为：
Figure 869860DEST_PATH_IMAGE062
其中，
Figure 760456DEST_PATH_IMAGE063
为连续动作参数集合，
Figure 557511DEST_PATH_IMAGE064
为离散动作集合；
设
Figure DEST_PATH_IMAGE065
为离散连续混合动作空间下一个
Figure 635188DEST_PATH_IMAGE066
值的取值；下标
Figure 136577DEST_PATH_IMAGE028
表示决策时刻；
Figure 147258DEST_PATH_IMAGE067
分别表示状态，离散动作和离散动作相应的连续参数；sup为上确界；max为取最大值；
Figure 584056DEST_PATH_IMAGE028
表示决策时间点；并将
Figure 680188DEST_PATH_IMAGE068
视为一个映射函数：
Figure 391792DEST_PATH_IMAGE069
；
Figure 83411DEST_PATH_IMAGE070
为状态；
考虑离散连续混合动作空间的马尔科夫过程，建立描述储能时空规划中的离散连续混合动作空间的贝尔曼方程相应为：
Figure 222268DEST_PATH_IMAGE071
其中，
Figure 399171DEST_PATH_IMAGE072
表示下一个决策时刻，映射函数
Figure 648887DEST_PATH_IMAGE073
通过策略神经网络拟合，表示
Figure 634161DEST_PATH_IMAGE074
时刻
Figure 147182DEST_PATH_IMAGE075
到
Figure 217906DEST_PATH_IMAGE076
的映射；
Figure 864788DEST_PATH_IMAGE077
为折扣因子；
Figure 704568DEST_PATH_IMAGE078
代表奖励（reward）；
上述贝尔曼方程通过均方误差计算梯度，以更新值网络和策略网络；
32）设计深度强化学习储能时空规划决策神经网络模型中的值网络和策略网络的损失函数；
使用一个深度评论网络
Figure 185228DEST_PATH_IMAGE079
近似
Figure 805565DEST_PATH_IMAGE080
，使用一个深度确定策略梯度演员网络
Figure 662663DEST_PATH_IMAGE081
近似
Figure 560211DEST_PATH_IMAGE082
，其中
Figure 211773DEST_PATH_IMAGE083
和
Figure 257089DEST_PATH_IMAGE084
分别为值网络和策略网络的参数；网络
Figure 747238DEST_PATH_IMAGE085
和
Figure 296031DEST_PATH_IMAGE086
的损失函数计算方式如下：
Figure 711969DEST_PATH_IMAGE087
Figure 979003DEST_PATH_IMAGE088
其中，
Figure 177903DEST_PATH_IMAGE089
和
Figure 50044DEST_PATH_IMAGE090
分别为值网络和策略网络，更新一个网络时另一个网络的参数固定；两个网络均为直连网络；
33）采用目标网络方法和经验池方法训练深度强化学习储能时空规划决策神经网络模型；
4）利用步骤3）中训练好的神经网络模型作为移动储能充放电时空规划决策模型，根据移动储能系统状态空间、动作空间和奖励函数，建立储能系统初始状态，将其输入到训练好的网络模型中，根据当前所在地点的电价、所在地点、当前时刻确定下一个决策地点、充放电选择、相应的充放电功率，即在每一个决策点输出充放电选择、充放电地点选择以及确定相应的充放电功率，由此实现基于深度强化学习的移动储能充放电时空规划。
2.如权利要求1所述基于深度强化学习的移动储能充放电时空规划方法，其特征是，移动储能系统包括电动卡车、电池组、充电站和放电站。
3.如权利要求1所述基于深度强化学习的移动储能充放电时空规划方法，其特征是，移动储能系统状态空间的组成要素包括电池电量水平、电量成本、时间、充电站、电价。
4.如权利要求1所述基于深度强化学习的移动储能充放电时空规划方法，其特征是，步骤32）中，值网络和策略网络均选择Relu函数作为激活函数。
CN202211343226.2A 2022-10-31 2022-10-31 一种基于深度强化学习的移动储能充放电时空规划方法 Active CN115392143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211343226.2A CN115392143B (zh) 2022-10-31 2022-10-31 一种基于深度强化学习的移动储能充放电时空规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211343226.2A CN115392143B (zh) 2022-10-31 2022-10-31 一种基于深度强化学习的移动储能充放电时空规划方法

Publications (2)

Publication Number Publication Date
CN115392143A true CN115392143A (zh) 2022-11-25
CN115392143B CN115392143B (zh) 2023-03-24

Family

ID=84114943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211343226.2A Active CN115392143B (zh) 2022-10-31 2022-10-31 一种基于深度强化学习的移动储能充放电时空规划方法

Country Status (1)

Country Link
CN (1) CN115392143B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117578679A (zh) * 2024-01-15 2024-02-20 太原理工大学 基于强化学习的锂电池智能充电控制方法
CN118131045A (zh) * 2024-01-22 2024-06-04 北京大学 基于多孔电极老化模型的移动储能在线决策方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110474353A (zh) * 2019-08-26 2019-11-19 北京大学 分层式储能系统及其参与的电网调频协调控制方法
CN112559147A (zh) * 2020-12-08 2021-03-26 和美（深圳）信息技术股份有限公司 基于gpu占用资源特点的动态匹配算法、系统和设备
CN114123256A (zh) * 2021-11-02 2022-03-01 华中科技大学 一种适应随机优化决策的分布式储能配置方法及系统
CN114117910A (zh) * 2021-11-25 2022-03-01 福建船政交通职业学院 一种基于分层深度强化学习的电动汽车充电引导策略方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110474353A (zh) * 2019-08-26 2019-11-19 北京大学 分层式储能系统及其参与的电网调频协调控制方法
CN112559147A (zh) * 2020-12-08 2021-03-26 和美（深圳）信息技术股份有限公司 基于gpu占用资源特点的动态匹配算法、系统和设备
CN114123256A (zh) * 2021-11-02 2022-03-01 华中科技大学 一种适应随机优化决策的分布式储能配置方法及系统
CN114117910A (zh) * 2021-11-25 2022-03-01 福建船政交通职业学院 一种基于分层深度强化学习的电动汽车充电引导策略方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JIANG, DA 等: "Coordinated Control Based on Reinforcement Learning for Dual-Arm Continuum Manipulators in Space Capture Missions", 《JOURNAL OF AEROSPACE ENGINEERIN》 *
史景坚等: "含储能系统的配电网电压调节深度强化学习算法", 《电力建设》 *
张津源 等: "基于多智能体深度强化学习的分布式电源优化调度策略", 《电网技术》 *
李琦等: "配电网持续无功优化的深度强化学习方法", 《电网技术》 *
赖晨光 等: "某列车用动力电池系统风冷散热流场研究", 《重庆理工大学学报(自然科学) 》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117578679A (zh) * 2024-01-15 2024-02-20 太原理工大学 基于强化学习的锂电池智能充电控制方法
CN117578679B (zh) * 2024-01-15 2024-03-22 太原理工大学 基于强化学习的锂电池智能充电控制方法
CN118131045A (zh) * 2024-01-22 2024-06-04 北京大学 基于多孔电极老化模型的移动储能在线决策方法及装置

Also Published As

Publication number Publication date
CN115392143B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
Abdullah et al. Reinforcement learning based EV charging management systems–a review
Liang et al. Mobility-aware charging scheduling for shared on-demand electric vehicle fleet using deep reinforcement learning
CN115392143B (zh) 一种基于深度强化学习的移动储能充放电时空规划方法
Zhang et al. Multi-objective hydro-thermal-wind coordination scheduling integrated with large-scale electric vehicles using IMOPSO
CN110518580A (zh) 一种考虑微网主动优化的主动配电网运行优化方法
CN116207739B (zh) 配电网优化调度方法、装置、计算机设备和存储介质
Ahmed et al. Neuro-fuzzy and networks-based data driven model for multi-charging scenarios of plug-in-electric vehicles
CN114707292B (zh) 含电动汽车配电网电压稳定性分析方法
CN113962446B (zh) 一种微电网群协同调度方法、装置、电子设备和存储介质
CN105046354A (zh) 基于多代理的配电网规划场景模拟生成方法及其系统
CN110866636A (zh) 一种综合考虑电动汽车充电站及分布式能源的微电网规划方法
Guo et al. Energy management of intelligent solar parking lot with EV charging and FCEV refueling based on deep reinforcement learning
CN117833285A (zh) 一种基于深度强化学习的微电网储能优化调度方法
Liu et al. Data-driven intelligent EV charging operating with limited chargers considering the charging demand forecasting
Gharibi et al. Deep learning framework for day-ahead optimal charging scheduling of electric vehicles in parking lot
Ming et al. A constrained DRL-based bi-level coordinated method for large-scale EVs charging
CN114970191A (zh) 一种基于势博弈的电网交通系统日前分布鲁棒调度方法
Ding et al. Deep reinforcement learning-based spatiotemporal decision of utility-scale highway portable energy storage systems
Lin et al. Planning of Electric Vehicle Charging Stations with PV and Energy Storage Using a Fuzzy Inference System
CN116758740B (zh) 一种基于数字孪生和信息树的智慧交通高效模拟方法
Pereira et al. Towards the self-regulation of personality-based social exchange processes in multiagent systems
Hong et al. 6G based intelligent charging management for autonomous electric vehicles
CN111144611A (zh) 一种基于聚类和非线性自回归的空间负荷预测方法
CN116596105A (zh) 一种考虑配电网发展的充电站负荷预测方法
CN113328466B (zh) 一种电动汽车充电场景生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant