CN110428165B - 一种充电站内兼顾预约与排队的电动汽车充电调度方法 - Google Patents
一种充电站内兼顾预约与排队的电动汽车充电调度方法 Download PDFInfo
- Publication number
- CN110428165B CN110428165B CN201910699182.9A CN201910699182A CN110428165B CN 110428165 B CN110428165 B CN 110428165B CN 201910699182 A CN201910699182 A CN 201910699182A CN 110428165 B CN110428165 B CN 110428165B
- Authority
- CN
- China
- Prior art keywords
- charging
- time slot
- vehicle
- queuing
- vehicles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000007704 transition Effects 0.000 claims abstract description 19
- 230000002787 reinforcement Effects 0.000 claims abstract description 16
- 238000013468 resource allocation Methods 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000005611 electricity Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/02—Reservations, e.g. for tickets, services or events
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06315—Needs-based resource requirements planning or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C11/00—Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C11/00—Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
- G07C2011/04—Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere related to queuing systems
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Operations Research (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Electric Propulsion And Braking For Vehicles (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种充电站内兼顾预约与排队的电动汽车充电调度方法,应用于智能电网中电动汽车充电调度技术领域,针对现有的电动汽车充电过渡阶段同时存在预约充电和现场排队充电这两种充电模式的充电调度问题;本发明首先确定调度时间窗口并基于充电站用户历史充电数据信息通过强化学习合理分配不同模式用户可接入的充电桩比例,然后通过比较动态到达用户的排队等待时间和预约等待时间来智能切换充电模式;在过渡阶段平衡和改善了不同充电模式下用户的充电体验,提高了用户充电模式选择的灵活性,提高了充电桩的资源利用率。
Description
技术领域
本发明属于智能电网中电动汽车充电调度技术领域,特别涉及一种兼顾预约与排队的电动汽车充电调度技术。
背景技术
现代城市的飞速发展需要持续消耗大量的化石能源,但也造成了严重的大气污染。电动汽车(Electric Vehicle,EV)因其零排放、噪声低、能源利用率高等特点,已经成为未来汽车行业发展的主要趋势。然而电动汽车的发展也并非一帆风顺,受限于电池容量和充电效率,当前电动汽车的用户体验还远未达到预期,这正是由于现阶段电动汽车往往无序、随机接入充电接口充电,且充电站资源也没有按照充电需求进行优化配置。这无论对充电设施的使用,用户的充电体验还是电网的整体负荷平抑都毫无裨益。为了解决电动汽车大规模无序充电对电网和用户带来的影响,合理调度电力系统资源等问题,国内外研究人员针对V2G(Vehicle to Grid,V2G)场景的学术研究也越来越广泛。
在现有的针对电动汽车的充电调度和资源分配算法的研究中,常常存在两个方面的不足。一是大多数研究只针对未来预约式充电,对电动汽车用户充电的临时性和随机性考虑不足。值得注意的是,基于时隙的充电设施分配,以优化电网电力供需平衡或用户整体效用最高为目标进行双边匹配,但这种策略忽略了充电用户到达的时隙离散型,不满足以用户到达顺序进行实时调度的要求。另一方面针对充电方式从当下的不受充电调度中心调度的排队充电向预约式充电发展的过程中,将长期存在两种类型的充电用户,如何合理地分配充电资源让两种类型的用户都得到充电服务,需要结合充电站的历史充电数据和电力数据进行资源分配,优化竞争环境下用户的充电体验。
发明内容
为解决上述技术问题,本发明提出一种充电站内兼顾预约与排队的电动汽车充电调度方法,建立资源分配模型,通过强化学习Q-learning算法得到不同充电模式用户的充电调度方案。
本发明的创新内容有以下两点。其一,在电动汽车充电调度发展过渡阶段同时考虑了预约充电和现场排队充电这两种充电模式,兼顾了两种充电模式用户的充电需求,通过分析充电站历史用户信息并结合强化学习算法对有限的充电桩资源在调度时间窗口内进行分配,避免某种类型的用户充电服务长时间得不到满足,出现服务偏向性,平衡充电调度发展过渡阶段不同类型用户的充电体验。其二,通过智能切换充电模式,预约用户提前到达充电站可以放弃预约,转而加入排队队列,反之排队用户也可放弃排队进行现场预约,能够针对动态变化的用户充电需求及时做出调整,避免出现有空闲充电桩而用户需求又不能通过调整充电方式得到满足的情况。
本发明采用的技术方案为:一种充电站内兼顾预约与排队的电动汽车充电调度方法,包括:
S1、采集和处理充电站内的电力数据和过去一段时间接入该充电站内所有车辆的历史充电情况数据;
S2、根据意向接入该充电站的车辆与空闲充电桩之间的资源竞争程度确定充电调度时间窗口大小;
S3、针对S2所述的充电调度时间窗口,建立充电桩资源分配模型;
S4、根据步骤S1所述的过去一段时间接入该充电站内所有车辆的历史充电情况数据、步骤S3的资源分配模型,采用强化学习Q-learning算法对不同充电类型的车辆按时隙进行充电桩分配;
S5、基于S4的充电桩分配方案,根据行驶模式下电动汽车的动态到达设计车辆的充电类型智能切换策略。
进一步地,步骤S1所述车辆包括预约车辆与排队车辆。
进一步地,步骤S2具体为:确定调度周期,若当前时隙意向接入该充电站的预约车辆与排队车辆总数大于该充电站内空闲充电桩数量,则以当前时隙作为调度时间窗口的开始时隙,以从当前时隙开始第一个满足意向接入该充电站的预约车辆与排队车辆总数小于或等于该充电站内空闲充电桩数量的时隙作为调度时间窗口的结束时隙;否则进入下一时隙,若直至调度周期最后一时隙意向接入该充电站的预约车辆与排队车辆总数小于或等于该充电站内空闲充电桩数量,则结束。
进一步地,步骤S3具体为:
在调度时间窗口内的车辆充电服务规则为FCFS;调度窗口内时隙t分配给所有排队车辆的充电桩数目为K1(t),分配给所有预约用户的充电桩数目为K2(t),满足约束K1(t)+ K2(t)≤K;K表示充电站内的充电桩数量;
根据K1(t)个充电桩中当前剩余的空闲充电桩各自的忙转闲时隙确定当前排队车辆的最早开始充电时隙,若该排队车辆的最早开始充电时隙小于或等于其期望充电时隙,则该排队车辆可充电成功,否则充电失败;
根据K2(t)个充电桩中当前剩余的空闲充电桩各自的忙转闲时隙确定当前预约车辆的最早开始充电时隙,若预约车辆的最早开始充电时隙大于或等于其期望最晚充电时隙,则该预约车辆可充电成功,否则充电失败;
建立以所有排队车辆中充电成功的比例加上所有预约车辆中充电成功的比例之和最大的资源分配模型。
进一步地,步骤S1所述车辆的用户历史充电情况数据,包括:排队车辆开始排队时隙、排队车辆期望最晚开始充电时隙、排队车辆所需充电电量、预约车辆预约充电时隙、预约车辆最早到达时隙、预约车辆所需充电电量、预约车辆期望最晚开始充电时隙。
进一步地,步骤S4具体为:将步骤S3建立的资源分配模型,建模为一个马尔科夫决策过程;然后用强化学习Q-learning算法定义其中的状态、动作及回报奖励函数来优化模型目标函数,学习得到最优的资源分配方案;
所述定义状态具体为:
S(t)=[Users(t),K1(t),K2(t)],
其中,S(t)表示状态矩阵,Users(t)包含四维元素,对于预约车辆,Users(t)包含的四维元素为:预约车辆、预约车辆最早到达时隙、预约车辆充电电量、预约车辆期望最晚开始充电时隙,对于排队车辆,Users(t)包含的四维元素为:排队车辆、排队车辆开始排队时隙、排队车辆充电电量、排队车辆期望最晚开始充电时隙;
所述定义动作具体为:
A(t)=[K1(t)+a,K2(t)-a]
其中,A(t)表示为时隙t下一状态的充电桩分配比例,a表示较上一状态分配比例的变化值,a应满足约束小于该时隙忙转闲充电桩数目;
所述定义回报奖励函数具体为:
r_t=R_(queue,t)+R_(reserve,t);
其中,R_(queue,t)表示所有排队车辆的充电成功率,R_(reserve,t)表示所有预约车辆的充电成功率。
更进一步地,所述学习得到最优的资源分配方案,具体为:
采用值函数Q(S,A)表示关于G(S,A)的期望,Q(S,A)=E[G(S,A)];
初始化状态矩阵,采用ε-greedy策略选择出下一动作A’从而进行状态转移,更新下一状态S’(t),具体应用的更新公式为:
Q(S(t),A(t))<—Q(S(t),A(t))+α(G+γmax(Q(S’(t),A’(t))-Q(S(t),A(t))))
其中,α为学习率,0<α<0.5,γ为折扣因子,0.9<γ<1,选取α越小γ越大则状态转移会更多的保留前一阶段的学习效果;
直至收敛到Q(S(t),A(t))值不再变化,根据最终的Q(S(t),A(t))值得到最优的资源分配方案,即当前时隙最优的所有排队车辆分配到的充电桩数K1′(t)与所有预约车辆所分配到的充电桩数K2′(t)。
进一步地,步骤S5具体为:
若预约车辆在预约的最早开始充电时隙前到达充电站,计算若将充电模式切换至排队模式下的开始充电时隙,如果排队模式下开始充电时隙早于其预约的最早开始充电时隙,则切换充电模式为排队模式;否则不切换;
若排队车辆到达充电站后计算出其开始充电时隙超过其期望最晚开始充电时隙,计算若将充电模式切换至预约模式,若预约最早充电时隙小于排队开始充电时隙,且预约最早充电时隙小于该排队车辆期望最晚开始充电时隙,则切换充电模式为预约模式;否则不切换。
更进一步得,所述排队模式开始充电时隙根据当前时隙所有排队车辆所分配到的充电桩数K1′(t)、当前时隙已到达该充电站的排队车辆数以及充电桩单位时隙充电功率计算得到。
本发明的有益效果:通过采集充电站不同充电模式的电动汽车历史充电信息,在充电调度时间窗口内建立资源分配模型,并通过强化学习Q-learning算法进行不同充电模式用户充电桩分配比例的计算,平衡两种充电模式用户的充电体验;通过充电模式的智能切换策略,可以有效提高动态到达的充电用户的充电成功率,缩短用户等待时间,并改善调度时间窗口内充电站的充电桩资源利用率。
附图说明
图1为本发明的方案流程图;
图2为本发明实施例提供的充电调度的时间窗口大小确定流程图;
图3为本发明实施例提供的充电桩分配强化学习示意图;
图4为本发明实施例提供的预约车辆充电模式动态切换策略流程图;
图5为本发明实施例提供的排队车辆充电模式动态切换策略流程图。
具体实施方式
为了解决电动汽车充电过渡阶段的充电调度问题,在电动汽车充电调度发展过渡阶段同时考虑了预约充电和现场排队充电这两种充电模式,本发明主要基于充电站内用户充电历史信息数据进行充电桩资源分配和充电模式动态智能切换来实现充电调度。具体充电桩资源分配的基本目标是:在充电调度发展过渡阶段同时存在预约式和排队式两类充电用户,在存在资源竞争的调度时间窗口内为每一类充电用户集合合理地分配空闲充电桩,平衡两类用户的充电成功率,提高用户的充电体验。此外,充电用户的到达和充电时间具有动态性,为了灵活调整动态到达用户的充电成功率和改善充电桩的利用率,本发明拟提出一种电动汽车用户的用户充电类型智能切换策略,目标是改善充电用户因选择固定充电模式而不能获得更好的充电体验,并同时提高充电桩调度时间窗口内的资源利用率。
为了便于本领域的普通技术人员理解本发明,首先对技术术语做出如下定义:
过渡阶段:是智能电网电动汽车充电调度领域发展过程中由无预约方式即充电站现场排队充电到提前预约选择充电站和充电时隙的调度方式的过渡阶段,该阶段会存在两种类型的用户即预约用户和排队用户。
时隙:将每天24小时分为固定时隙长度的分配时隙,例如时隙t长度为15分钟。
FCFS:充电服务和排队规则,即先来先服务。
充电桩忙转闲:充电桩正在充电用户和被预定即将充电的用户都在当前时隙充完电。
马尔科夫决策过程:首先马尔科夫性指系统状态变化只跟前一个状态产生依赖,不和更早的状态产生联系。满足马尔科夫特性并且其系统的状态变化还跟当前状态采取的动作有关的强化学习任务叫做马尔科夫决策过程。
Q-learning算法:Q-learning是基于值函数的强化学习算法,Q(S,A)即是在状态S下采用动作A获得收益的期望,算法的主要思想是将状态和动作构建成一张Q表来存储Q值,智能体根据Q值来选择获得最大奖励的动作进行状态转移,通过更新公式进行学习的过程即是Q表的更新过程,最终使得Q值收敛。具体参考:
[1] lodymyr Mnih1,Koray Kavukcuoglu1 and David.control through deepreinforcement learning[J].Nature Publishing Group,2015:529-533.
ε-greedy策略:在所在状态下以1-ε的概率来执行最优动作进行状态转移,以ε的概率随机产生动作进行状态转移;ε-greedy在两种策略间平衡,加快算法的收敛速度并求解出最优结果。
下面结合附图和具体实施例进一步说明本发明的实施方案。
本发明提供了一种充电站内兼顾预约与排队的电动汽车充电调度方法,具体流程如图 1所示,包括以下步骤:
S1、采集和处理充电站内的电力数据和过去一段时间接入该充电站内所有车辆的历史充电情况数据;本步骤中所述过去一段时间接入该充电站内所有车辆的历史充电情况,具体采集的时间长度由于充电行为往往具有周期性,采集历史同期工作日24小时的数据;
S2、根据意向接入该充电站的车辆与空闲充电桩之间的资源竞争程度确定充电调度时间窗口大小;
S3、针对S2所述的充电调度时间窗口,建立充电桩资源分配模型;
S4、根据步骤S1所述的过去一段时间接入该充电站内所有车辆的历史充电情况数据、步骤S3的资源分配模型,采用强化学习Q-learning算法对不同充电类型的车辆按时隙进行充电桩分配;
S5、基于S4的充电桩分配方案,根据行驶模式下电动汽车的动态到达设计车辆的充电类型智能切换策略。本领域技术人员应注意,本发明此处强调行驶模式进一步限定场景,相较停驶模式长时间停车,行驶模式不用考虑馈电,且行驶模式下用户充电一般要求较短的等待时间,因此才去做资源分配,降低用户等待时间,便于用户充电结束继续其行驶计划。
步骤S1具体包括如下子步骤:
S11、初始化单位时隙t长度和充电桩单位时隙充电功率q及充电站内充电桩数目K;
S12、根据过渡阶段用户选择的充电方式,将用户分类为队列queue和reserve,队列 queue表示用户选择抵达充电站排队等待充电,队列reserve表示用户选择提前预约充电时隙按预约时隙进行充电;
S13、采集第i辆电动汽车的充电需求电量为Qi,并计算所需的充电时隙数为Ti=[Qi/q];
步骤S2根据调度算法需要作用于充电桩供不应求的时隙,如图2所示,包括以下分步骤:
S21、本实施例中以一天24小时作为一个调度周期,初始化调度时间窗口的开始时隙Wb为当前时隙;
S22、计算Wb时隙内预约请求数和排队等待数之和是否大于空闲充电桩数目,若是则进入步骤S24,否则判断Wb时隙是否为调度周期内的最后一个时隙,若是则结束,否则进入步骤S23;
S23、更新Wb=Wb+1,进入步骤S22;
S24、取当前Wb为调度窗口开始时隙,调度窗口结束时隙We为从Wb开始往后的第一个满足预约请求数和排队等待数之和小于空闲充电桩数这一条件的时隙;
步骤S3具体包括如下分步骤:
在调度时间窗口内的车辆充电服务规则规定为FCFS,调度窗口内时隙t若分配给排队用户的充电桩数目为K1(t),分配给预约用户的充电桩数目为K2(t),满足约束条件K1(t)+ K2(t)≤K;
根据排队队列中所有用户的充电成功比例与预约队列中所有用户的充电成功比例之和的最大值建立充电桩资源分配模型。
A、排队队列中所有用户的充电成功比例计算过程为:
A1、用户i(i=1,2,…,K1(t))的最早开始充电时隙,根据K1(t)个充电桩中当前用户所对应时隙的空闲充电桩各自的忙转闲时隙进行计算其最早开始充电时隙。
以排队队列中队首用户的最早开始充电时隙为例:
对于预约队列中的用户,根据K2(t)个充电桩中当前用户所对应时隙的空闲充电桩各自的忙转闲时隙进行计算。
A4、计算排队队列中所有用户的充电成功比例:
B、预约队列中所有用户的充电成功比例计算过程为:
B1、用户j(j=1,2,…,K2(t))的最早开始充电时隙,根据K2(t)个充电桩中当前用户所对应时隙的空闲充电桩各自的忙转闲时隙进行计算其最早开始充电时隙。
以排队队列中队首用户的最早开始充电时隙为例:
B4、计算排队队列中所有用户的充电成功比例:
S4、利用S1所述的用户历史充电情况数据并根据步骤S3的资源分配模型如图3所示使用强化学习Q-learning算法对不同类型的充电用户按时隙进行充电桩分配,具体包括如下分步骤:
S41、所述基于用户历史充电数据的充电桩资源分配模型,建模为一个马尔科夫决策过程;用强化学习Q-learning算法定义其中的状态、动作及回报奖励函数来优化模型目标函数,学习得到最优的资源分配方案;
S42、具体地,强化学习资源状态矩阵S(t)=[Users(t),K1(t),K2(t)],其中Users(t)包含四维元素:用户类型,开始预约/排队时隙,充电电量和期望最晚开始充电时隙;动作 A(t)=[K1(t)+a,K2(t)-a]表示为时隙t下一状态的充电桩分配比例,a表示较上一状态分配比例的变化值,a应满足约束小于该时隙忙转闲充电桩数目;
S43、根据步骤S35所述模型,充电成功率越高,回报函数值越高,则时隙t的回报函数为rt=Rqueue,t+Rreserve,t;Rqueue,t和Rreserve,t分别表示步骤S3的排队用户和预约用户的充电成功率;用G(S,A)表示分配时间窗口中在转态S下采用动作A的总的回报值为 进一步值函数Q(S,A)是关于G(S,A)的期望,即Q(S,A)=E[G(S,A)];
S44、初始化状态矩阵,根据步骤S42、S43并采用ε-greedy策略选择出下一动作A’从而进行状态转移,更新下一状态S’(t),具体应用的更新公式为Q(S(t),A(t))<— Q(S(t),A(t))+α(G+γmax(Q(S’(t),A’(t))-Q(S(t),A(t)))),直至收敛到终止状态Q值不再变化为止。其中,α为学习率,0<α<0.5,γ为折扣因子,0.9<γ<1,选取α越小γ越大则状态转移会更多的保留前一阶段的学习效果;α、γ取值具体根据实际收敛情况决定。
本实施例中,若用户按照固定的充电模式充电,则对动态到达用户的充电需求不能更好的满足,充电站的充电桩利用率也可能会受到影响,因此如图4和图5所示,本实施例提供了用户充电模式的动态切换策略。
S5、基于S4的充电桩分配方案,针对行驶模式下电动汽车的动态到达设计电动汽车用户的用户充电类型智能切换策略,具体包括如下分步骤:
S51、基于前述步骤求解的充电桩分配方案,进行不同类型用户的充电调度,针对充电用户的动态到达特性,分别执行步骤S52和S53进行预约充电到排队充电和排队充电到预约充电的充电模式智能切换;
S52、如图4所示,若预约充电用户j在预约时隙前到达充电站,观测到排队充电的用户数目为n,结合前述步骤得到的排队用户充电桩分配方案K1(t),则此时该用户选择放弃预约加入排队队列中的近似等待时隙数为Wj=L(即排队队列中的充电桩最早空闲时间),L 满足为排队用户每辆车的平均充电电量,比较预约时隙则该用户选择放弃预约切换到排队模式加入排队等待队列,反之继续执行预约流程;
S53、如图5所示,若排队用户i到达充电站后依据步骤S52的排队近似等待时隙计算公式得到即该用户在需要离开时隙之前仍在排队等待,则该用户选择在充电站进行现场预约并比较预约最早充电时隙和排队等待时隙的大小选择切换到预约充电模式或充电失败离开充电站;若预约最早充电时隙早于排队等待时隙且预约最早充电时隙早于该排队用户期望最晚开始充电时隙,则将充电模式切换至预约模式,否则不切换。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (5)
1.一种充电站内兼顾预约与排队的电动汽车充电调度方法,其特征在于,包括:
S1、采集和处理充电站内的电力数据和过去一段时间接入该充电站内所有车辆的历史充电情况数据;
S2、根据意向接入该充电站的车辆与空闲充电桩之间的资源竞争程度确定充电调度时间窗口大小;
S3、针对S2所述的充电调度时间窗口,建立充电桩资源分配模型;步骤S3具体为:
在调度时间窗口内的车辆充电服务规则为FCFS;调度窗口内时隙t分配给所有排队车辆的充电桩数目为K1(t),分配给所有预约用户的充电桩数目为K2(t),满足约束K1(t)+K2(t)≤K;K表示充电站内的充电桩数量;
根据K1(t)个充电桩中当前剩余的空闲充电桩各自的忙转闲时隙确定当前排队车辆的最早开始充电时隙,若该排队车辆的最早开始充电时隙小于或等于其期望最晚开始充电时隙,则该排队车辆可充电成功,否则充电失败;根据K2(t)个充电桩中当前剩余的空闲充电桩各自的忙转闲时隙确定当前预约车辆的最早开始充电时隙,若预约车辆的最早开始充电时隙小于其期望最晚开始充电时隙,则该预约车辆可充电成功,否则充电失败;
建立以所有排队车辆中充电成功的比例加上所有预约车辆中充电成功的比例之和最大的资源分配模型;
S4、根据步骤S1所述的过去一段时间接入该充电站内所有车辆的历史充电情况数据、步骤S3的资源分配模型,采用强化学习Q-learning算法对不同充电类型的车辆按时隙进行充电桩分配;步骤S4具体为:将步骤S3建立的资源分配模型,建模为一个马尔科夫决策过程;然后用强化学习Q-learning算法定义其中的状态、动作及回报奖励函数来优化模型目标函数,学习得到最优的资源分配方案;
所述定义状态具体为:
S(t)=[Users(t),K1(t),K2(t)],
其中,S(t)表示状态矩阵,Users(t)包含四维元素,对于预约车辆,Users(t)包含的四维元素为:预约车辆、预约车辆最早到达时隙、预约车辆充电电量、预约车辆期望最晚开始充电时隙,对于排队车辆,Users(t)包含的四维元素为:排队车辆、排队车辆开始排队时隙、排队车辆充电电量、排队车辆期望最晚开始充电时隙;
所述定义动作具体为:
A(t)=[K1(t)+a,K2(t)-a]
其中,A(t)表示为时隙t下一状态的充电桩分配比例,a表示较上一状态分配比例的变化值,a应满足约束小于该时隙忙转闲充电桩数目;
所述定义回报奖励函数具体为:
r_t=R_(queue,t)+R_(reserve,t);
其中,R_(queue,t)表示所有排队车辆的充电成功率,R_(reserve,t)表示所有预约车辆的充电成功率;
所述学习得到最优的资源分配方案,具体为:
采用值函数Q(S,A)表示关于G(S,A)的期望,Q(S,A)=E[G(S,A)];
初始化状态矩阵,采用ε-greedy策略选择出下一动作A’从而进行状态转移,更新下一状态S’(t),具体应用的更新公式为:
Q(S(t),A(t))<—Q(S(t),A(t))+α(G+γmax(Q(S’(t),A’(t))-Q(S(t),A(t))))
其中,α为学习率,0<α<0.5,γ为折扣因子,0.9<γ<1;
直至收敛到Q(S(t),A(t))值不再变化,根据最终的Q(S(t),A(t))值得到最优的资源分配方案,即当前时隙最优的所有排队车辆分配到的充电桩数K1′(t)与所有预约车辆所分配到的充电桩数K2′(t);
S5、基于S4的充电桩分配方案,根据行驶模式下电动汽车的动态到达设计车辆的充电类型智能切换策略;步骤S5具体为:
若预约车辆在预约的最早开始充电时隙前到达充电站,计算将充电模式切换至排队模式下的开始充电时隙,如果排队模式开始充电时隙早于其预约的最早开始充电时隙,则切换充电模式为排队模式;否则不切换;
若排队车辆到达充电站后计算出其开始充电时隙超过其期望最晚开始充电时隙,计算将充电模式切换至预约模式得到其预约最早充电时隙,若预约最早充电时隙小于排队开始充电时隙,且预约最早充电时隙小于该排队车辆期望最晚开始充电时隙,则切换充电模式为预约模式;否则不切换。
2.根据权利要求1所述的一种充电站内兼顾预约与排队的电动汽车充电调度方法,其特征在于,步骤S1所述车辆包括预约车辆与排队车辆。
3.根据权利要求2所述的一种充电站内兼顾预约与排队的电动汽车充电调度方法,其特征在于,步骤S2具体为:确定调度周期,若当前时隙意向接入该充电站的预约车辆与排队车辆总数大于该充电站内空闲充电桩数量,则以当前时隙作为调度时间窗口的开始时隙,以从当前时隙开始第一个满足意向接入该充电站的预约车辆与排队车辆总数小于或等于该充电站内空闲充电桩数量的时隙作为调度时间窗口的结束时隙;否则进入下一时隙,若直至调度周期最后一时隙意向接入该充电站的预约车辆与排队车辆总数小于或等于该充电站内空闲充电桩数量,则结束。
4.根据权利要求3所述的一种充电站内兼顾预约与排队的电动汽车充电调度方法,其特征在于,步骤S1所述车辆的用户历史充电情况数据,包括:排队车辆开始排队时隙、排队车辆期望最晚开始充电时隙、排队车辆所需充电电量、预约车辆预约充电时隙、预约车辆最早到达时隙、预约车辆所需充电电量、预约车辆期望最晚开始充电时隙。
5.根据权利要求4所述的一种充电站内兼顾预约与排队的电动汽车充电调度方法,其特征在于,所述排队模式下的开始充电时隙根据当前时隙所有排队车辆所分配到的充电桩数K1(t)、当前时隙已到达该充电站的排队车辆数以及充电桩单位时隙充电功率计算得到。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910699182.9A CN110428165B (zh) | 2019-07-31 | 2019-07-31 | 一种充电站内兼顾预约与排队的电动汽车充电调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910699182.9A CN110428165B (zh) | 2019-07-31 | 2019-07-31 | 一种充电站内兼顾预约与排队的电动汽车充电调度方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110428165A CN110428165A (zh) | 2019-11-08 |
CN110428165B true CN110428165B (zh) | 2022-03-25 |
Family
ID=68411618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910699182.9A Active CN110428165B (zh) | 2019-07-31 | 2019-07-31 | 一种充电站内兼顾预约与排队的电动汽车充电调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110428165B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111160588B (zh) * | 2019-12-04 | 2024-03-19 | 国网电动汽车服务有限公司 | 一种预约充电服务方法及系统 |
CN110991931B (zh) * | 2019-12-19 | 2022-03-15 | 安徽师范大学 | 一种基于双中心q学习的充电场站协同优化控制方法 |
CN112184930B (zh) * | 2020-10-09 | 2022-08-05 | 扬州大学 | 智能预约停车诱导系统及停车诱导方法 |
CN112465338A (zh) * | 2020-11-25 | 2021-03-09 | 东软睿驰汽车技术(沈阳)有限公司 | 一种充电桩分配方法及其相关设备 |
CN112436536B (zh) * | 2020-12-14 | 2022-10-18 | 山东大学 | 一种高速路新能源汽车充电引导方法及系统 |
CN113139150B (zh) * | 2021-04-02 | 2022-11-08 | 清华大学深圳国际研究生院 | 改进电动汽车充电设施布局的方法及计算机可读存储介质 |
CN115438909B (zh) * | 2022-08-03 | 2023-04-25 | 广东天枢新能源科技有限公司 | 基于大数据的电动汽车充电桩电力资源分配方法及系统 |
CN115409288B (zh) * | 2022-10-11 | 2023-10-20 | 云宝宝大数据产业发展有限责任公司 | 基于区域数字经济的物联网服务管理系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130050312A (ko) * | 2013-02-27 | 2013-05-15 | 제주대학교 산학협력단 | 전기 자동차의 충전 태스크 스케쥴링 방법 및 그 방법을 이용한 장치 |
CN107640049A (zh) * | 2017-09-20 | 2018-01-30 | 东北大学 | 一种针对充电站的电动汽车有序充电的移动终端系统 |
CN108171353A (zh) * | 2018-03-12 | 2018-06-15 | 湘潭大学 | 一种基于时间片的电动汽车充电预约匹配方法 |
CN109193721A (zh) * | 2018-09-29 | 2019-01-11 | 华南理工大学 | 一种基于强化学习的电动汽车充放电策略优化方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140074523A1 (en) * | 2012-08-29 | 2014-03-13 | Optimization Technologies, Inc. | Reservation systems for electric vehicle charging stations |
-
2019
- 2019-07-31 CN CN201910699182.9A patent/CN110428165B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130050312A (ko) * | 2013-02-27 | 2013-05-15 | 제주대학교 산학협력단 | 전기 자동차의 충전 태스크 스케쥴링 방법 및 그 방법을 이용한 장치 |
CN107640049A (zh) * | 2017-09-20 | 2018-01-30 | 东北大学 | 一种针对充电站的电动汽车有序充电的移动终端系统 |
CN108171353A (zh) * | 2018-03-12 | 2018-06-15 | 湘潭大学 | 一种基于时间片的电动汽车充电预约匹配方法 |
CN109193721A (zh) * | 2018-09-29 | 2019-01-11 | 华南理工大学 | 一种基于强化学习的电动汽车充放电策略优化方法 |
Non-Patent Citations (3)
Title |
---|
A Q-Learning Based Charging Scheduling Scheme for Electric Vehicles;Qiyun Dang,等;《2019 IEEE Transportation Electrification Conference and Expo (ITEC)》;20190621;第2377-5483页 * |
Reservation Based Electric Vehicle Charging Using Battery Switch;Yue Cao,等;《2018 IEEE International Conference on Communications (ICC)》;20180731;第1938-1883页 * |
基于智能电网的电动汽车充馈电调度策略研究;曾鸣;《中国博士学位论文全文数据库 工程科技II辑》;20180115(第01期);第C042-100页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110428165A (zh) | 2019-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110428165B (zh) | 一种充电站内兼顾预约与排队的电动汽车充电调度方法 | |
He et al. | Optimal scheduling for charging and discharging of electric vehicles | |
CN109934391B (zh) | 一种纯电动公交车辆的智能调度方法 | |
CN110774929A (zh) | 一种电动汽车有序充电的实时控制策略及优化方法 | |
CN113283623A (zh) | 兼容储能充电桩的电动运载工具电量路径规划方法 | |
CN109492791B (zh) | 基于充电引导的城际高速路网光储充电站定容规划方法 | |
Chung et al. | Intelligent charging management of electric vehicles considering dynamic user behavior and renewable energy: A stochastic game approach | |
CN111740403B (zh) | 一种电网运营商与电动汽车集群的主从博弈调度策略 | |
CN108596667B (zh) | 一种基于车联网的电动汽车实时充电电价计算方法 | |
CN109615268A (zh) | 一种分时电价的公交充电经济调度方法及系统 | |
CN109572478B (zh) | 充电站电动汽车在线平稳充电系统及方法 | |
CN109727482B (zh) | 一种停车场车位与电动汽车充电联合调度方法 | |
CN112257886A (zh) | 一种小区充电桩的预约系统及方法 | |
Bayram et al. | A pricing-based load shifting framework for EV fast charging stations | |
CN113580984A (zh) | 一种电动汽车有序充电策略及其仿真方法 | |
CN112248869A (zh) | 一种充电桩通断电的控制系统及方法 | |
Gerding et al. | Fair online allocation of perishable goods and its application to electric vehicle charging | |
CN112092670B (zh) | 一种充电桩排队和充电管理方法 | |
CN112332433B (zh) | 一种电动汽车参与填谷辅助服务可转移负荷容量分析方法 | |
CN108321916B (zh) | 一种具有能量协作功能的基站及能量协作方法 | |
CN113486504A (zh) | 一种基于调度成本的电池管理控制方法 | |
CN115186878B (zh) | 一种多agv在线任务分配方法及系统 | |
CN115663867A (zh) | 基于智能充电网络系统的电动汽车充电调度方法 | |
CN114640133B (zh) | 一种基于实时信息的城市电网电动汽车协同调控方法及系统 | |
Zeng et al. | Matching theory based travel plan aware charging algorithms in V2G smart grid networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |