CN113922404A - 一种社区电动汽车集群充电协调方法及系统 - Google Patents

一种社区电动汽车集群充电协调方法及系统 Download PDF

Info

Publication number
CN113922404A
CN113922404A CN202111237324.3A CN202111237324A CN113922404A CN 113922404 A CN113922404 A CN 113922404A CN 202111237324 A CN202111237324 A CN 202111237324A CN 113922404 A CN113922404 A CN 113922404A
Authority
CN
China
Prior art keywords
charging
coordination
electric automobile
community
electric vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111237324.3A
Other languages
English (en)
Other versions
CN113922404B (zh
Inventor
杨明
黄诗颖
李鹏
于光远
秦昌龙
刘晓
尹爱辉
瞿寒冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Jinan Power Supply Co of State Grid Shandong Electric Power Co Ltd
Original Assignee
Shandong University
Jinan Power Supply Co of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University, Jinan Power Supply Co of State Grid Shandong Electric Power Co Ltd filed Critical Shandong University
Priority to CN202111237324.3A priority Critical patent/CN113922404B/zh
Publication of CN113922404A publication Critical patent/CN113922404A/zh
Application granted granted Critical
Publication of CN113922404B publication Critical patent/CN113922404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28—Arrangements for balancing of the load in a network by storage of energy
    • H02J3/32—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
    • H02J3/322—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means the battery being on-board an electric or hybrid vehicle, e.g. vehicle to grid arrangements [V2G], power aggregation, use of the battery for network load balancing, coordinated or cooperative battery charging
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/007—Arrangements for selectively connecting the load or loads to one or several among a plurality of power lines or power sources
    • H02J3/0075—Arrangements for selectively connecting the load or loads to one or several among a plurality of power lines or power sources for providing alternative feeding paths between load and source according to economic or energy efficiency considerations, e.g. economic dispatch
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/24—Arrangements for preventing or reducing oscillations of power in networks
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/12—Electric charging stations

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)
  • Supply And Distribution Of Alternating Current (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

本发明提供了一种社区电动汽车集群充电协调方法及系统，所述方法包括获取用户充电到站数据；确定社区充电站及电动汽车的约束条件；根据用户充电到站数据和约束条件，利用多智能体电动汽车充电协调模型求解得到协调结果，其中，采用深度强化学习方法对多智能体电动汽车充电协调模型进行求解。基于多智能体深度确定性策略梯度算法实现电动汽车充电策略协调，有效应对社区充电站负荷峰值限制，缓解电动汽车充电的区域性影响。

Description

一种社区电动汽车集群充电协调方法及系统
技术领域
本发明涉及电动汽车技术领域，尤其涉及一种社区电动汽车集群充电协调方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
电动汽车作为传统化石燃料汽车的环保替代品，已被汽车行业和政府广泛采用和部署，以减少石油需求和温室气体排放。当前，插电式混合动力汽车和纯电动汽车占据了大部分的市场份额。然而，将所有传统汽车改装成电动汽车将增加电池充电所引起的电力需求。电动汽车的巨大电力需求给智能电网带来了机遇和挑战。智能电网中电动汽车充电协调的研究当前主要有车到网、车到住户、车到建筑物、车到车机制等。
然而，电动汽车不恰当的充电策略，如同时充电过多，可能导致需求激增或无法接受的负载峰值。在这样的形势下，不少学者对电动汽车的充电问题进行了深入研究，取得了一系列的成果。但是，多数研究所提的电动汽车充电协同方案仅考虑在有模型的情况下，它们严重依赖于对电网和电动汽车的准确知识，这在当今日益复杂的大型互联智能电网中并不实用。一方面，基于模型的方法在处理不同电动汽车车主使用习惯和时变电价的不确定性方面具有一定的挑战性。另一方面，随着电动汽车的发展，电动汽车充电策略协调的数据复杂度和计算难度将会增加，这对基于模型的充电策略协调方法也是一个巨大的挑战。
发明内容
本发明为了解决上述问题，提出了一种社区电动汽车集群充电协调方法及系统，本发明能够避免社区充电站形成峰值负荷的同时最小化电动汽车车主的充电成本。
根据一些实施例，本发明采用如下技术方案：
一种社区电动汽车集群充电协调方法，
获取用户充电到站数据；
确定社区充电站及电动汽车的约束条件；
根据用户充电到站数据和约束条件，利用多智能体电动汽车充电协调模型求解得到协调结果，
其中，采用深度强化学习方法对多智能体电动汽车充电协调模型进行求解。
进一步地，用户充电到站数据包括，考虑时变电价、电动汽车车主用车规律不确定性情况下的，电动汽车抵达充电站的到站时间、电动汽车的离站时间、到站时电池容量状态。
进一步地，所述社区充电站及电动汽车的约束条件，包括充电站负荷约束、电动汽车充电功率约束、电动汽车电池容量约束条件、电动汽车车主充电目标约束。
进一步地，所述多智能体电动汽车充电协调模型具体为：
Figure BDA0003316503820000021
其中，
Figure BDA0003316503820000022
为t时刻的充电站发布的充电电价，
Figure BDA0003316503820000023
为t时刻电动汽车n的充电功率。
进一步地，所述多智能体电动汽车协同充电模型求解包括，采用深度强化学习方法将充电动态过程描述为马尔可夫过程。
进一步地，所述多智能体电动汽车协同充电模型求解还包括，采用前向传播和反向传播方法训练多智能体电动汽车充电协调模型。
进一步地，所述多智能体电动汽车充电协调模型，包括综合考虑社区充电站负荷限制和电动汽车用户充电成本，并以各电动汽车用户的充电成本最小为目标。
一种社区电动汽车集群充电协调系统，
数据获取模块，被配置为，获取用户充电到站数据；
约束模块，被配置为，确定社区充电站及电动汽车的约束条件；
协调模块，被配置为，利用多智能体电动汽车充电协调模型求解得到协调结果，
其中，采用深度强化学习方法对多智能体电动汽车充电协调模型进行求解。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种社区电动汽车集群充电协调方法。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种社区电动汽车集群充电协调方法。
与现有技术相比，本发明的有益效果为：
本发明提出了电动汽车与社区充电站的交互机制，基于多智能体深度确定性策略梯度算法实现电动汽车充电策略协调，有效应对社区充电站负荷峰值限制，缓解电动汽车充电的区域性影响。
(2)提出了平衡区域和个人利益的电动汽车充电协调机制。该机制下的每一辆电动汽车都以一个智能体作为决策大脑，因此每一辆电动汽车都以自己的意愿参与交互。每一辆电动汽车的目标都是使自身充电成本最小化。
(3)采用了数据驱动的方法处理电动汽车充电过程中面对的不确定性，如不同的使用习惯、时变电价等。数值仿真结果表明了该方法的有效性。。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明所提出的社区充电站电动汽车集群交互机制示意图；
图2为本发明所述的马尔可夫过程示意图；
图3为本发明所述的未进行充电策略协调的充电站负荷示意图；
图4为本发明实例验证中充电协调方案所得奖励示意图；
图5为本发明实例验证中损失函数示意图；
图6为本发明实例验证中各电动汽车充电策略协调前后结果示意图；
图7为本发明实例验证中充电策略协调后充电站负荷示意图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1.
如图1所示，一种社区电动汽车集群充电协调方法，
获取用户充电到站数据；
确定社区充电站及电动汽车的约束条件；
根据用户充电到站数据和约束条件，利用多智能体电动汽车充电协调模型求解得到协调结果，
其中，采用深度强化学习方法对多智能体电动汽车充电协调模型进行求解。
具体的，
1问题描述
1.1社区充电站电动汽车集群协同充电交互机制
本公开提出了社区充电站电动汽车集群协同充电交互机制，该交互机制下不但考虑电动汽车用户的充电成本，而且考虑大量电动汽车集中于社区充电站充电可能带来的局部负荷高峰。
在社区充电站电动汽车集群协同充电交互机制中，考虑一个位于居民区的社区充电站，该社区的电动汽车车主会去就近的充电站充电。因此，社区充电站的用户是基本稳定的。设置电动汽车集合为N＝{1,2,…,N}，整个充电时间集合为T＝{1,2,…,T}。各电动汽车和社区充电站可以相互通信。因此形成如图1的社区充电站电动汽车集群协同充电交互机制示意图，交互过程具体描述如下：
(1)充电站将电力市场的电价发送给附近聚集的电动汽车；
(2)各个电动汽车告知充电站自身的充电策略；
(3)充电站收集并分析聚集在附近的本地电动汽车信息后，将整合后的信息公开给电动汽车用户；
(4)各个电动汽车智能体根据接收的信息继续调整充电策略，调整完毕后回到步骤2)。
(5)当电动汽车集群中不再有电动汽车进行充电策略调整时，该交互机制达到平衡状态，充电协调停止。
2多智能体电动汽车充电协调模型
2.1目标函数
多智能体电动汽车充电协调模型兼顾电动汽车用户充电成本与充电站负荷限制，以各个电动汽车用户充电成本最小为目标进行协调，即：
Figure BDA0003316503820000061
式中，
Figure BDA0003316503820000062
为t时刻的充电站发布的充电电价，
Figure BDA0003316503820000063
为t时刻电动汽车n的充电功率。
2.2电动汽车运行约束
1)电动汽车充电目标约束
Figure BDA0003316503820000064
式中，
Figure BDA0003316503820000065
为电动汽车n在t＝T时离开充电站时的目标电量、
Figure BDA0003316503820000066
为电动汽车n到达充电站时初始时刻t＝0时的电量；该式表示当电动汽车离开充电站时，其电池电量应满足电动汽车使用需求。
2)电动汽车电池容量约束条件
Figure BDA0003316503820000071
Figure BDA0003316503820000072
式(4)中，
Figure BDA0003316503820000073
为电动汽车n在时刻t时的电池电量，其由式(5)计算而得；En,min为电动汽车n的最小允许电量、En,max为电动汽车n的最大允许电量；
3)电动汽车充电功率约束
Figure BDA0003316503820000074
式中，en,max为电动汽车单次充电动作所允许的最大充电功率。
2.3充电站运行约束
1)充电站负荷约束
交互机制中充电站不仅为本地电动汽车提供电能，还收集和分析本地电动汽车充电策略信息，起到信息枢纽的作用。同时，充电站不希望电动汽车的局部充电行为形成负荷峰值，给电网带来负担。因此，充电站在发布市场电价信息的同时，也会发布本地负载约束。本地负载约束可表示为：
Figure BDA0003316503820000075
式中，Lt为t时刻充电站的负荷，为该时刻正在此充电站充电的电动汽车充电量之和；Lt,max为该充电站的峰值负荷限制。
3模型求解
3.1马尔可夫过程构建
为了用深度强化学习方法求解所述的多智能体电动汽车充电协调模型，需将该模型转化为如图2所示的马尔可夫过程。在该过程中，电动汽车对环境进行观察并生成观察集
Figure BDA0003316503820000076
然后根据观察和积累的数据挖掘经验生成该时刻的行动，即电动汽车的充电动作。电动汽车采取的行动会对环境产生影响，并产生新的观察集
Figure BDA0003316503820000081
这个过程将持续进行，直到提取到足够的数据特征。最终，电动汽车将拥有一个充满经验的智能体来生成充电策略。
1)观察空间
观察空间由所有电动汽车的观察集所构成，电动汽车观察集包括如下内容：
Figure BDA0003316503820000082
Figure BDA0003316503820000083
式中，
Figure BDA0003316503820000084
为电动汽车n的充电负荷占比，即为当前充电量占充电站负荷的比重，由式(9)计算所得；
Figure BDA0003316503820000085
为电动汽车n当前的累计充电量；
Figure BDA0003316503820000086
为布尔值，表示时刻t电动汽车n是否在充电状态，当值为1时，表示电动汽车此刻正在充电站充电。当值为0时，表示电动汽车已离开充电站。
2)动作空间
动作空间由所有电动汽车的动作集所构成，电动汽车动作集即为电动汽车的充电行为
Figure BDA0003316503820000087
该充电行为必须满足电动汽车充电功率约束(6)。
3)奖励函数
奖励函数构造为：
Figure BDA0003316503820000088
Figure BDA0003316503820000089
Figure BDA00033165038200000810
式中，
Figure BDA0003316503820000091
为马尔可夫过程中t时刻电动汽车n的奖励值；
Figure BDA0003316503820000092
为电动汽车n的充电成本；
Figure BDA0003316503820000093
为充电行为违反充电站负荷约束的惩罚；
Figure BDA0003316503820000094
为电动汽车接近充电目标所设置的目标奖励。ρ1是
Figure BDA0003316503820000095
对应的惩罚系数，ρ2是
Figure BDA0003316503820000096
对应的奖励系数，以鼓励充电目标的完成。
3.2多智能体深度确定性策略梯度算法
多智能体深度确定性策略梯度算法中，每个智能体由行动家-评论家网络组成。行动家负责生成动作，动作生成机制如式(13)所示。
Figure BDA0003316503820000097
式中，
Figure BDA0003316503820000098
观察当前状态
Figure BDA0003316503820000099
所得的当前策略。
Figure BDA00033165038200000910
为电动汽车智能体n的行动家在线子网络的权重，Νt为探索噪声，可以建模为高斯分布。
评论家观察环境和该行动下的状态，负责给生成的动作打分。算法中每个电动汽车智能体的评论家网络除了输入自己的观察和动作信息外，还输入其他电动汽车智能体的观察和动作信息，用st表示输入总的输入观察信息。为了使训练过程更加稳定，行动家和评论家网络都由双子网络机制组成。每个网络都有一个在线子网络和一个目标子网络。在线子网络随学习步骤更新，目标子网络定期接收在线子网络的拷贝参数。
评论家网络通过计算损失值来进行网络更新，如下式：
Figure BDA00033165038200000911
Figure BDA00033165038200000912
式中，
Figure BDA00033165038200000913
为动作估计参考值，由式(15)计算所得；D为经验回放机制缓冲区，
Figure BDA00033165038200000914
为电动汽车智能体n的评论家在线子网络的权重，
Figure BDA00033165038200000915
为电动汽车智能体n评论家目标子网络的权重，
Figure BDA00033165038200000916
为电动汽车智能体n行动家目标子网络的权重；
Figure BDA0003316503820000101
为评论家的在线子网络，
Figure BDA0003316503820000102
为评论家的目标子网络，
Figure BDA0003316503820000103
为行动家的在线子网络，
Figure BDA0003316503820000104
为行动家的目标子网络；
Figure BDA0003316503820000105
为除电动汽车智能体n之外其他电动汽车智能体的动作；γ为奖励折扣系数。评论家通过观察环境中所有行动者的行为和全局状态，使每个行动者的环境更加稳定。然后，行动家使用抽样梯度更新策略：
Figure BDA0003316503820000106
行动家和评论家的目标网络均采用如下软更新方式更新权值，大大提高了学习的稳定性。
Figure BDA0003316503820000107
Figure BDA0003316503820000108
式中，τ＜＜1且τ表示目标子网络的更新速度。
多智能体深度确定性策略梯度算法具体训练过程步骤如下：
步骤1)：(初始化)初始化评论家和行动家各个子网络的网络权重、算法参数、初始状态s、迭代环计数器t＝0、总迭代次数等。
步骤2)：(形成马尔科夫过程)设定迭代环计数器t＝t+1。由当前策略和探索情况生成每个智能体的动作。形成多智能体动作空间a＝(a1,a2,…aN)，执行动作并观察奖励r和新状态s′。
步骤3)：(经验存储和状态更新)形成经验(s,a,r,s′)存储到经验池中，并用新状态替代旧状态s←s′
步骤4)：(多智能体计算)遍历每一个智能体，均进行如下操作：从经验池中随机抽取S个小批次样本，逐一计算式(15)、式(14)、式(16)，并计算式(17)、式(18)更新网络参数。然后返回步骤2)。
当满足迭代次数后结束训练，固化网络参数，即可用智能体进行充电协调。
4算例分析
通过在测试系统上进行算例仿真分析，验证所提方法的可行性与有效性。该测试系统考虑在一个居民区中有五辆电动汽车。这些电动汽车均为异构的，它们根据车主的偏好和用车习惯到达和离开充电站。到站时间，离站时间和
Figure BDA0003316503820000111
遵循正态分布，并由此生成50个初始充电场景。电动汽车的参数如表1所示(表中N(17,12)中17和1分别表示正态分布的位置参数和尺度参数，其余类似)。在各异的电动汽车使用习惯下，5款电动汽车的原始充电策略形成的充电站负荷如图3所示。充电站的最大允许负荷为28千瓦时。从电动汽车车主的充电习惯来看，当前18:00-22:00之间的充电站负荷远远超出了允许范围。因此，有必要对该充电站电动汽车的充电策略进行协调。电价数据为每小时的时变零售价格。
表格1电动汽车参数
Figure BDA0003316503820000112
表格2多智能体深度确定性策略梯度算法参数
Figure BDA0003316503820000113
Figure BDA0003316503820000121
奖励曲线在训练过程中的变化如图4所示。行动家和评论家的损失函数如图5所示。随着训练次数的增加，奖励慢慢上升，损失函数下降，说明电动汽车智能体在不断学习经验，并在学习过程中形成了自己的策略。50个充电场景下5辆电动汽车的充电策略如图6所示。由图6可以看出，和协调前的充电策略相比，协调后的充电策略由于受充电站负荷约束，18:00-22:00时段电动汽车充电量有所减少。0:00-8:00期间电价较低，电动汽车充电量增加。同时，为了满足充电目标，电动汽车的充电行为也主要转移到这些时刻。对50个充电场景协调后的充电站负荷如图7所示。所有电动汽车的充电策略将协同工作，以防止充电站超过负载限制。由图7可以看出，所提方法优化后，各电动汽车的相应调整使得充电站负荷在允许范围内。
4.1与其他充电策略方案对比分析
为了验证该方法在降低电动汽车充电成本及约束充电站负荷的有效性，对比以下3种方案：
方案1：优先充电策略方案，即电动汽车一到达充电站就立即以最大充电功率充电，不考虑充电站负荷约束。
方案2：安全充电策略方案，即电动汽车一到达充电站就立即以最大充电功率充电，但是该策略考虑了负荷约束，因此会进行电动汽车充电策略调整，将超出充电站负荷约束的充电功率分配到后续的充电计划中。
方案3：所提多智能体电动汽车充电协调方案，综合考虑充电站充电功率和电动汽车车主的充电成本，在平衡区域影响和个人利益的同时，进行充电策略协调。
三种充电策略结果如表3，优先充电策略方案可以满足充电目标，但经常在17:00-22:00时超过负载约束。安全充电策略方案满足充电站负荷约束，但电动汽车1和电动汽车2无法满足充电目标。从表3可以看出，所提方法可以显著降低成本。尽管电动汽车1和电动汽车2的成本高于安全充电策略方案下的成本，这是由于电动汽车1和电动汽车2在充电站的停留时间短，但又需要满足充电目标。综上所述，所提方法能有效地降低成本。
表格3不同充电策略方案对比
Figure BDA0003316503820000131
实施例2.
一种社区电动汽车集群充电协调系统，
数据获取模块，被配置为，获取用户充电到站数据；
约束模块，被配置为，确定社区充电站及电动汽车的约束条件；
协调模块，被配置为，利用多智能体电动汽车充电协调模型求解得到协调结果，
其中，采用深度强化学习方法对多智能体电动汽车充电协调模型进行求解。
实施例3.
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种社区电动汽车集群充电协调方法。
实施例4.
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种社区电动汽车集群充电协调方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种社区电动汽车集群充电协调方法，其特征在于，包括：
获取用户充电到站数据；
确定社区充电站及电动汽车的约束条件；
根据用户充电到站数据和约束条件，利用多智能体电动汽车充电协调模型求解得到协调结果，
其中，采用深度强化学习方法对多智能体电动汽车充电协调模型进行求解。
2.如权利要求1所述的一种社区电动汽车集群充电协调方法，其特征在于，
所述用户充电到站数据包括，考虑时变电价、电动汽车车主用车规律不确定性情况下的，电动汽车抵达充电站的到站时间、电动汽车的离站时间、到站时电池容量状态。
3.如权利要求2所述的一种社区电动汽车集群充电协调方法，其特征在于，
所述社区充电站及电动汽车的约束条件，包括充电站负荷约束、电动汽车充电功率约束、电动汽车电池容量约束条件、电动汽车车主充电目标约束。
4.如权利要求3所述的一种社区电动汽车集群充电协调方法，其特征在于，
所述多智能体电动汽车充电协调模型具体为：
Figure FDA0003316503810000011
其中，
Figure FDA0003316503810000012
为t时刻的充电站发布的充电电价，
Figure FDA0003316503810000013
为t时刻电动汽车n的充电功率。
5.如权利要求4所述的一种社区电动汽车集群充电协调方法，其特征在于，
所述多智能体电动汽车协同充电模型求解包括，采用深度强化学习方法将充电动态过程描述为马尔可夫过程。
6.如权利要求5所述的一种社区电动汽车集群充电协调方法，其特征在于，
所述多智能体电动汽车协同充电模型求解还包括，采用前向传播和反向传播方法训练多智能体电动汽车充电协调模型。
7.如权利要求6所述的一种社区电动汽车集群充电协调方法，其特征在于，
所述多智能体电动汽车充电协调模型，包括综合考虑社区充电站负荷限制和电动汽车用户充电成本，并以各电动汽车用户的充电成本最小为目标。
8.一种社区电动汽车集群充电协调系统，其特征在于，包括：
数据获取模块，被配置为，获取用户充电到站数据；
约束模块，被配置为，确定社区充电站及电动汽车的约束条件；
协调模块，被配置为，利用多智能体电动汽车充电协调模型求解得到协调结果，
其中，采用深度强化学习方法对多智能体电动汽车充电协调模型进行求解。
9.一种计算机可读存储介质，其特征在于：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的一种社区电动汽车集群充电协调方法。
10.一种终端设备，其特征在于：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-7中任一项所述的一种社区电动汽车集群充电协调方法。
CN202111237324.3A 2021-10-22 2021-10-22 一种社区电动汽车集群充电协调方法及系统 Active CN113922404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111237324.3A CN113922404B (zh) 2021-10-22 2021-10-22 一种社区电动汽车集群充电协调方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111237324.3A CN113922404B (zh) 2021-10-22 2021-10-22 一种社区电动汽车集群充电协调方法及系统

Publications (2)

Publication Number Publication Date
CN113922404A true CN113922404A (zh) 2022-01-11
CN113922404B CN113922404B (zh) 2023-08-29

Family

ID=79242485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111237324.3A Active CN113922404B (zh) 2021-10-22 2021-10-22 一种社区电动汽车集群充电协调方法及系统

Country Status (1)

Country Link
CN (1) CN113922404B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114997935A (zh) * 2022-07-19 2022-09-02 东南大学溧阳研究院 一种基于内点策略优化的电动汽车充放电策略优化方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140046499A1 (en) * 2012-08-08 2014-02-13 Cognizant Technology Solutions India Pvt. Ltd. Method and system for managing and controlling electrical vehicle charging events
CN110659796A (zh) * 2019-08-08 2020-01-07 北京理工大学 一种可充电群车智能中的数据采集方法
CN111934335A (zh) * 2020-08-18 2020-11-13 华北电力大学 一种基于深度强化学习的集群电动汽车充电行为优化方法
CN113378456A (zh) * 2021-05-21 2021-09-10 青海大学 多园区综合能源调度方法和系统
CN113487207A (zh) * 2021-07-16 2021-10-08 重庆大学 基于多智能体系统最优用户集群的多能源社区中的多目标能源管理系统
CN113515884A (zh) * 2021-04-19 2021-10-19 国网上海市电力公司 分散式电动汽车实时优化调度方法、系统、终端及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140046499A1 (en) * 2012-08-08 2014-02-13 Cognizant Technology Solutions India Pvt. Ltd. Method and system for managing and controlling electrical vehicle charging events
CN110659796A (zh) * 2019-08-08 2020-01-07 北京理工大学 一种可充电群车智能中的数据采集方法
CN111934335A (zh) * 2020-08-18 2020-11-13 华北电力大学 一种基于深度强化学习的集群电动汽车充电行为优化方法
CN113515884A (zh) * 2021-04-19 2021-10-19 国网上海市电力公司 分散式电动汽车实时优化调度方法、系统、终端及介质
CN113378456A (zh) * 2021-05-21 2021-09-10 青海大学 多园区综合能源调度方法和系统
CN113487207A (zh) * 2021-07-16 2021-10-08 重庆大学 基于多智能体系统最优用户集群的多能源社区中的多目标能源管理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEIYI YANG 等: "Dynamic Charging Scheme Problem With Actor–Critic Reinforcement Learning", 《IEEE INTERNET OF THINGS JOURNAL》, vol. 08, no. 01, pages 370 - 380 *
YUAN GAO等: "Deep Reinforcement Learning Based Optimal Schedule for a Battery Swapping Station Considering Uncertainties", 《IEEE TRANSACTIONS ON INDUSTRY APPLICATIONS》, vol. 56, no. 05, pages 5775 - 5784, XP011809532, DOI: 10.1109/TIA.2020.2986412 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114997935A (zh) * 2022-07-19 2022-09-02 东南大学溧阳研究院 一种基于内点策略优化的电动汽车充放电策略优化方法

Also Published As

Publication number Publication date
CN113922404B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
Wang et al. Modeling of plug-in electric vehicle travel patterns and charging load based on trip chain generation
Liu et al. Reinforcement learning optimized look-ahead energy management of a parallel hybrid electric vehicle
Abdullah et al. Reinforcement learning based EV charging management systems–a review
Wu et al. Multiobjective optimization of HEV fuel economy and emissions using the self-adaptive differential evolution algorithm
CN109177802B (zh) 一种基于无线通信的电动汽车有序充电系统及其方法
Rezaeimozafar et al. A self-optimizing scheduling model for large-scale EV fleets in microgrids
CN107730049B (zh) 电动汽车快速充电最优位置选择方法
CN104680258A (zh) 电动出租车调度方法及装置
CN116001624A (zh) 基于深度强化学习的一桩多联电动汽车有序充电方法
US20200108732A1 (en) Physical model-guided machine learning framework for energy management of vehicles
CN105051800A (zh) 充电管理装置
CN111160639A (zh) 基于用户出行时空分布特性的电动汽车充电负荷预测方法
CN112498164A (zh) 充电策略的处理方法和装置
CN105262167A (zh) 区域内电动汽车有序充电控制方法
Dang et al. An advanced framework for electric vehicles interaction with distribution grids based on q-learning
CN115063184A (zh) 电动汽车充电需求建模方法、系统、介质、设备及终端
CN113922404B (zh) 一种社区电动汽车集群充电协调方法及系统
Thorgeirsson et al. An investigation into key influence factors for the everyday usability of electric vehicles
Wang et al. Uncertainty estimation with distributional reinforcement learning for applications in intelligent transportation systems: A case study
Uribe et al. Discrete event simulation for battery-swapping station sizing for hybrid and electric motorcycles
CN110738356A (zh) 一种基于sdn增强网络的电动汽车充电智能调度方法
Maeng et al. Intelligent charging and discharging of electric vehicles in a vehicle-to-grid system using a reinforcement learning-based approach
Zhang et al. An optimal vehicle speed planning algorithm for regenerative braking at traffic lights intersections based on reinforcement learning
Wang et al. Multi-agent reinforcement learning for electric vehicles joint routing and scheduling strategies
Lee et al. Relocation action planning in electric vehicle sharing systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant