CN110738356A - 一种基于sdn增强网络的电动汽车充电智能调度方法 - Google Patents

一种基于sdn增强网络的电动汽车充电智能调度方法 Download PDF

Info

Publication number
CN110738356A
CN110738356A CN201910893964.6A CN201910893964A CN110738356A CN 110738356 A CN110738356 A CN 110738356A CN 201910893964 A CN201910893964 A CN 201910893964A CN 110738356 A CN110738356 A CN 110738356A
Authority
CN
China
Prior art keywords
neural network
electric vehicle
sdn
value
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910893964.6A
Other languages
English (en)
Inventor
刘家佳
郭鸿志
张海宾
孙文
黄伟峰
熊婧羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Northwest University of Technology
Original Assignee
Northwest University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University of Technology filed Critical Northwest University of Technology
Priority to CN201910893964.6A priority Critical patent/CN110738356A/zh
Publication of CN110738356A publication Critical patent/CN110738356A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Educational Administration (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

本发明公开了一种基于SDN增强网络的电动汽车充电智能调度方法，其中集中式SDN控制器借助车辆边缘计算网络可以实时采集EV和快速充电站(FCS)的信息，并且管理有需要的EV的充电行为。为了最大限度地减少包括时间和收费费用在内的总开销，本发明从用户的角度出发，考虑FCS选择和路径规划的电动汽车充电调度联合问题，提出基于深层强化学习(DRL)的解决方案来确定用于低电池EVS的最优充电调度策略。通过在FCS进行预约的新型弹性EV充电调度，并相应地开发了基于增量DRL的方法。

Description

一种基于SDN增强网络的电动汽车充电智能调度方法
技术领域
本发明属于信息技术领域，特别涉及一种基于SDN增强网络的电动汽车充电智能调度方法。
背景技术
作为下一代电网，智能电网利用电力和信息流，以广泛分布的自动化方式更有效地提供电力。近年来，以第五代(5G)无线通信为代表的先进无线通信技术得到了迅速发展和广泛应用。此外，随着物联网时代的到来，在数据处理和数据分析领域取得了很大进展，随着5G无线系统数据量的不断增加，智能电网的通信和数据分析面临着巨大的压力和挑战。同时，随着化石燃料变得越来越稀缺和昂贵，电动汽车(EV)开始成为智能电网发展的重要组成部分。电动汽车充电由从外部电源储存电器到清洁的可再生能源，在电池耗尽后，调度电动汽车的充放电配置是非常重要的。随着环保电动汽车的普及，如何设计智能、弹性的充电调度策略，在驾驶过程中进行加油已成为一个至关重要的问题。
发明内容
本发明的目的在于克服上述现有技术不足，提供一种基于SDN增强网络的电动汽车充电智能调度方法，本发明旨在兼顾动态城市交通环境和快速充电站(FCS)时段性可用资源的同时，开发了一种基于深层强化学习(DRL)的解决方案，以获得在充电可用性约束下的电动汽车的最优充电调度策略，目的是在时间和收费方面尽量减少总间接费用。
本发明的技术方案如下：
一种基于SDN增强网络的电动汽车充电智能调度方法，步骤分别如下：
a)根据实际情况获取电动汽车和充电站状况、学习参数γ、探索路径ε、内存池C；
b)根据实际情况设置评估神经网络权重θ，设置目标神经网络权重与θ相等；
c)随机选择一个概率值μ；
d)如果μ≤ε，随机选择电动汽车行动动作；否则，选择与评估神经网络得出的最大Q值相对应的动作；
e)依照Q-learning算法，根据所选动作计算对应回报值和电动汽车的下一状态；
f)将信息存储到内存池C中；
g)随机抽取一小批样本，依照Q-learning算法，根据目标神经网络获取目标Q值；
h)通过对损耗函数做梯度下降，更新评估神经网络；
i)迭代后更新目标神经网络参数；
j)如果当前为最终时间步骤，得出全局最优调度策略；否则，重复c)～i)。
(方法1)中“状态”，“动作”，“回报值”，“Q值”的概念均来源于Q-learning)
本发明具有以下优点：
为了获得网络的全局视图并实现集中管理调度，我们在架构中引入了软件定义网络(SDN)。本发明基于SDN增强的车载边缘计算网络提出充电与调度方法，其中集中式SDN控制器借助车辆边缘计算网络可以实时采集EV和快速充电站(FCS)的信息，并且管理有需要的EV的充电行为。
为了最大限度地减少包括时间和收费费用在内的总开销，本发明从用户的角度出发，考虑FCS选择和路径规划的电动汽车充电调度联合问题，提出基于深层强化学习(DRL)的解决方案来确定用于低电池EVS的最优充电调度策略。
不同于以往的静态的研究，本发明考虑到EV驾驶员在动态城市环境中的用户体验，提出了一种通过在FCS进行预约的新型弹性EV充电调度，并相应地开发了基于增量DRL的方法。
附图说明
图1为SDN增强型车辆边缘计算网络中EV充电调度的场景图。
图2为电网中EV充电调度模型简化示例图。
图3为基于DRL的电动汽车充电调度算法的流程图。
图4为从总开销方面使用暴力破解法，博弈论方法，深度强化学习方法和随机方法四种方法的结果优劣对比图。
图5为从运行时间方面使用暴力破解法，博弈论方法，深度强化学习方法和随机方法四种方法的结果优劣对比图。
图6为从时刻方面比较增量深度强化学习方法和博弈论方法在总开销方面的结果优劣对比图。
图7为从时刻方面比较增量深度强化学习方法和博弈论方法在运行时间方面的结果优劣对比图。
具体实施方式
a)根据实际情况获取电动汽车和充电站状况、学习参数γ、探索路径ε、内存池C；
b)根据实际情况设置评估神经网络权重θ，设置目标神经网络权重与θ相等；
c)随机选择一个概率值μ；
d)如果μ≤ε，随机选择电动汽车行动动作；否则，选择与评估神经网络得出的最大Q值相对应的动作；
e)依照Q-learning算法，根据所选动作计算对应回报值和电动汽车的下一状态；
f)将信息存储到内存池C中；
g)随机抽取一小批样本，依照Q-learning算法，根据目标神经网络获取目标Q值；
h)通过对损耗函数做梯度下降，更新评估神经网络；
i)迭代后更新目标神经网络参数；
j)如果当前为最终时间步骤，得出全局最优调度策略；否则，重复c)～i)。
(方法1)中“状态”，“动作”，“回报值”，“Q值”的概念均来源于Q-learning)
本发明所提方法基于深层强化学习(DRL)原理,参考了Q-learning算法的“State”，“Action”以及“Reward”概念。
在实际应用中，我们用16×16网格代表了主要的市区，每个单元表示一个街区。街块的每一条道路，均为500米，这意味着我们设定的区域为8公里×8公里。作为研究对象的四种电动汽车分别是BYD EV600D,NIO ES8,DH GSe和JAC iEVS4，电动汽车的技术参数可以在相应的官方网站上找到。每辆电动汽车的运行速度在40～60km/h之间，电池SOC阈值为60％，而充电后的预期电池SOC设定在80％～90％之间。此外，有16个FCS提供62kw/h的快速充电。每个FCS都配备了4个插件充电器和7个停车位，FCS部署的密度考虑到了办公大楼和购物中心等交通繁忙的区域。此外，中国实施的快速收费采用分时段使用时间价格作为批发价。
关于本发明提出的方法设置为：每次重放内存大小为2000；小批样本大小为128；学习速率为0.01；目标网络更新率为200；回报率参数为0.9；探索率为0.9。方法结果从总开销(附图4)和运行时间(附图5)两个方面比较了四种方法：暴力破解法，博弈论方法，深度强化学习方法和随机方法。并从时刻方面比较了增量深度强化学习方法和博弈论方法在总开销(附图6)和运行时间(附图7)两个方面的结果。结果表明，本方案相较于现有工作有明显改良。
本方案基于SDN增强型车辆边缘计算网络提供了一种智能灵活的电动汽车充电和调度的方法。方案步骤如下：
步骤1，我们描述SDN增强型车辆边缘计算网络中EV充电调度的概况(附图1)，并考虑了一个城市场景，在此场景下，一组I＝{1,2,...,I}低电池电动汽车正朝着FCS的方向行进。为了降低超车带来的电费，每个EV都以恒定的速度vi，i∈I前行。我们将电网中EV充电调度模型简化为示例图(附图2)。在网格中，我们假设每条边缘都是一条双向的道路，而每个节点代表一个十字路口。FCS被认为是固定在节点上的，而且假设它们与附近十字路口之间的短距离可以忽略不计。
步骤2，作为基于人工智能的算法之一，强化学习(RL)是用来寻找马尔可夫决策过程(MDP)问题中最大累积报酬的最优策略，而RL的深层版本，即DRL，将传统的Q-learning扩展到高维状态空间和动作空间，DRL代理使用一种称为深度Q网络(DQN)的深度神经网络(DNN)作为函数逼近器。针对我们研究的问题提出了一个基于DRL的电动汽车充电调度(DRLCS)的算法(附图3)。然后我们通过Q-learning在训练过程中以迭代的方式不断更新状态值，直到最终状态。
步骤3，对于EV在一段时间内的充电调度，EV和FCS的条件在不同时刻都会发生动态变化，符合实际情况。通过假设EVi在选择一个站点快速充电后与相应的FCS相关联，SDN控制器在选择快速充电后，可以预测FCS在未来时间的状态，从而产生弹性EV充电调度。
步骤4，本方案结果从总开销(附图4)和运行时间(附图5)两个方面比较了四种方法：暴力破解法，博弈论方法，深度强化学习方法和随机方法。并从时刻方面比较了增量深度强化学习方法和博弈论方法在总开销(附图6)和运行时间(附图7)两个方面的结果。结果表明，本方案相较于现有工作有明显改良。

Claims (1)

1.一种基于SDN增强网络的电动汽车充电智能调度方法，其特征在于，步骤如下：
a)根据实际情况获取电动汽车和充电站状况、学习参数γ、探索路径ε、内存池C；
b)根据实际情况设置评估神经网络权重θ，设置目标神经网络权重与θ相等；
c)随机选择一个概率值μ；
d)如果μ≤ε，随机选择电动汽车行动动作；否则，选择与评估神经网络得出的最大Q值相对应的动作；
e)依照Q-learning算法，根据所选动作计算对应回报值和电动汽车的下一状态；
f)将信息存储到内存池C中；
g)随机抽取一小批样本，依照Q-learning算法，根据目标神经网络获取目标Q值；
h)通过对损耗函数用梯度下降算法做梯度下降运算，得到每个状态来更新评估深度神经网络；
i)经过h)迭代后更新目标深度神经网络参数；
j)如果当前为最终时间步骤，得出全局最优调度策略；否则，重复c)～i)；
“状态”，“动作”，“回报值”，“Q值”的概念均来源于Q-learning算法。
CN201910893964.6A 2019-09-20 2019-09-20 一种基于sdn增强网络的电动汽车充电智能调度方法 Pending CN110738356A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910893964.6A CN110738356A (zh) 2019-09-20 2019-09-20 一种基于sdn增强网络的电动汽车充电智能调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910893964.6A CN110738356A (zh) 2019-09-20 2019-09-20 一种基于sdn增强网络的电动汽车充电智能调度方法

Publications (1)

Publication Number Publication Date
CN110738356A true CN110738356A (zh) 2020-01-31

Family

ID=69269376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910893964.6A Pending CN110738356A (zh) 2019-09-20 2019-09-20 一种基于sdn增强网络的电动汽车充电智能调度方法

Country Status (1)

Country Link
CN (1) CN110738356A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111934335A (zh) * 2020-08-18 2020-11-13 华北电力大学 一种基于深度强化学习的集群电动汽车充电行为优化方法
CN112232679A (zh) * 2020-10-19 2021-01-15 杭州世创电子技术股份有限公司 基于边缘计算的电动车与充电设备动态智能匹配方法
CN114611811A (zh) * 2022-03-21 2022-06-10 特斯联科技集团有限公司 基于ev负荷参与度的低碳园区优化调度方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106864451A (zh) * 2017-01-22 2017-06-20 郑云丰 一种基于自学习功能的混合电动汽车智能动力控制方法
CN108762281A (zh) * 2018-06-08 2018-11-06 哈尔滨工程大学 一种基于记忆关联强化学习的嵌入式实时水下机器人智能决策方法
WO2018212918A1 (en) * 2017-05-18 2018-11-22 Microsoft Technology Licensing, Llc Hybrid reward architecture for reinforcement learning
CN109693576A (zh) * 2019-01-10 2019-04-30 浙江工业大学 一种基于模拟退火算法的电动汽车充电调度优化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106864451A (zh) * 2017-01-22 2017-06-20 郑云丰 一种基于自学习功能的混合电动汽车智能动力控制方法
WO2018212918A1 (en) * 2017-05-18 2018-11-22 Microsoft Technology Licensing, Llc Hybrid reward architecture for reinforcement learning
CN108762281A (zh) * 2018-06-08 2018-11-06 哈尔滨工程大学 一种基于记忆关联强化学习的嵌入式实时水下机器人智能决策方法
CN109693576A (zh) * 2019-01-10 2019-04-30 浙江工业大学 一种基于模拟退火算法的电动汽车充电调度优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜明秋等 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111934335A (zh) * 2020-08-18 2020-11-13 华北电力大学 一种基于深度强化学习的集群电动汽车充电行为优化方法
CN111934335B (zh) * 2020-08-18 2022-11-18 华北电力大学 一种基于深度强化学习的集群电动汽车充电行为优化方法
CN112232679A (zh) * 2020-10-19 2021-01-15 杭州世创电子技术股份有限公司 基于边缘计算的电动车与充电设备动态智能匹配方法
CN112232679B (zh) * 2020-10-19 2023-08-29 杭州世创电子技术股份有限公司 基于边缘计算的电动车与充电设备动态智能匹配方法
CN114611811A (zh) * 2022-03-21 2022-06-10 特斯联科技集团有限公司 基于ev负荷参与度的低碳园区优化调度方法及系统
CN114611811B (zh) * 2022-03-21 2022-10-25 特斯联科技集团有限公司 基于ev负荷参与度的低碳园区优化调度方法及系统

Similar Documents

Publication Publication Date Title
Wang et al. Modeling of plug-in electric vehicle travel patterns and charging load based on trip chain generation
CN108197739B (zh) 一种城市轨道交通乘客流量预测方法
CN109272157A (zh) 一种基于门控神经网络的高速公路交通流参数预测方法及系统
WO2020056157A1 (en) Systems and methods for managing energy storage systems
Şimşek et al. An intrinsic reward mechanism for efficient exploration
CN112200373A (zh) 负荷预测模型的训练方法及训练装置、存储介质、设备
CN110738356A (zh) 一种基于sdn增强网络的电动汽车充电智能调度方法
CN110659796B (zh) 一种可充电群车智能中的数据采集方法
CN110517482B (zh) 一种基于3d卷积神经网络的短时交通流预测方法
WO2021188647A1 (en) Systems and methods for managing velocity profiles
CN112339756B (zh) 一种基于强化学习的新能源汽车红绿灯路口能量回收优化速度规划算法
CN112734097A (zh) 无人驾驶列车能耗预测方法、系统及存储介质
CN112865190A (zh) 计及光伏和充电需求的光储充电站优化调度方法和系统
CN115063184A (zh) 电动汽车充电需求建模方法、系统、介质、设备及终端
CN117350519B (zh) 基于新能源乘用车充电需求预测的充电站规划方法及系统
CN109308541A (zh) 一种基于场景分析的电动汽车充电负荷预测方法
CN114692827A (zh) 面向边缘联邦学习的电动汽车锂电池soh在线预测方法
CN111625989A (zh) 一种基于a3c-sru的智能车汇入车流方法及系统
CN112116125A (zh) 一种基于深度强化学习的电动汽车充电导航方法
CN113642768A (zh) 一种基于工况重构的车辆行驶能耗预测方法
Wang et al. Research on electric vehicle (EV) driving range prediction method based on PSO-LSSVM
NaitMalek et al. On the use of machine learning for state-of-charge forecasting in electric vehicles
Chen et al. Electric vehicle charging navigation strategy based on data driven and deep reinforcement learning
CN109117972A (zh) 一种电动汽车的充电需求确定方法
CN116822898A (zh) 一种基于深度强化学习的电动汽车车队调度方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200131