CN110428165A - 一种充电站内兼顾预约与排队的电动汽车充电调度方法 - Google Patents

一种充电站内兼顾预约与排队的电动汽车充电调度方法 Download PDF

Info

Publication number
CN110428165A
CN110428165A CN201910699182.9A CN201910699182A CN110428165A CN 110428165 A CN110428165 A CN 110428165A CN 201910699182 A CN201910699182 A CN 201910699182A CN 110428165 A CN110428165 A CN 110428165A
Authority
CN
China
Prior art keywords
charging
reservation
time slot
vehicle
queuing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910699182.9A
Other languages
English (en)
Other versions
CN110428165B (zh
Inventor
冷甦鹏
付学林
吴凡
吴耘野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910699182.9A priority Critical patent/CN110428165B/zh
Publication of CN110428165A publication Critical patent/CN110428165A/zh
Application granted granted Critical
Publication of CN110428165B publication Critical patent/CN110428165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C11/00—Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C11/00—Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
    • G07C2011/04—Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere related to queuing systems

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种充电站内兼顾预约与排队的电动汽车充电调度方法，应用于智能电网中电动汽车充电调度技术领域，针对现有的电动汽车充电过渡阶段同时存在预约充电和现场排队充电这两种充电模式的充电调度问题；本发明首先确定调度时间窗口并基于充电站用户历史充电数据信息通过强化学习合理分配不同模式用户可接入的充电桩比例，然后通过比较动态到达用户的排队等待时间和预约等待时间来智能切换充电模式；在过渡阶段平衡和改善了不同充电模式下用户的充电体验，提高了用户充电模式选择的灵活性，提高了充电桩的资源利用率。

Description

一种充电站内兼顾预约与排队的电动汽车充电调度方法
技术领域
本发明属于智能电网中电动汽车充电调度技术领域，特别涉及一种兼顾预约与排队的电动汽车充电调度技术。
背景技术
现代城市的飞速发展需要持续消耗大量的化石能源，但也造成了严重的大气污染。电动汽车(Electric Vehicle,EV)因其零排放、噪声低、能源利用率高等特点，已经成为未来汽车行业发展的主要趋势。然而电动汽车的发展也并非一帆风顺，受限于电池容量和充电效率，当前电动汽车的用户体验还远未达到预期，这正是由于现阶段电动汽车往往无序、随机接入充电接口充电，且充电站资源也没有按照充电需求进行优化配置。这无论对充电设施的使用，用户的充电体验还是电网的整体负荷平抑都毫无裨益。为了解决电动汽车大规模无序充电对电网和用户带来的影响，合理调度电力系统资源等问题，国内外研究人员针对V2G(Vehicle to Grid,V2G)场景的学术研究也越来越广泛。
在现有的针对电动汽车的充电调度和资源分配算法的研究中，常常存在两个方面的不足。一是大多数研究只针对未来预约式充电，对电动汽车用户充电的临时性和随机性考虑不足。值得注意的是，基于时隙的充电设施分配，以优化电网电力供需平衡或用户整体效用最高为目标进行双边匹配，但这种策略忽略了充电用户到达的时隙离散型，不满足以用户到达顺序进行实时调度的要求。另一方面针对充电方式从当下的不受充电调度中心调度的排队充电向预约式充电发展的过程中，将长期存在两种类型的充电用户，如何合理地分配充电资源让两种类型的用户都得到充电服务，需要结合充电站的历史充电数据和电力数据进行资源分配，优化竞争环境下用户的充电体验。
发明内容
为解决上述技术问题，本发明提出一种充电站内兼顾预约与排队的电动汽车充电调度方法，建立资源分配模型，通过强化学习Q-learning算法得到不同充电模式用户的充电调度方案。
本发明的创新内容有以下两点。其一，在电动汽车充电调度发展过渡阶段同时考虑了预约充电和现场排队充电这两种充电模式，兼顾了两种充电模式用户的充电需求，通过分析充电站历史用户信息并结合强化学习算法对有限的充电桩资源在调度时间窗口内进行分配，避免某种类型的用户充电服务长时间得不到满足，出现服务偏向性，平衡充电调度发展过渡阶段不同类型用户的充电体验。其二，通过智能切换充电模式，预约用户提前到达充电站可以放弃预约，转而加入排队队列，反之排队用户也可放弃排队进行现场预约，能够针对动态变化的用户充电需求及时做出调整，避免出现有空闲充电桩而用户需求又不能通过调整充电方式得到满足的情况。
本发明采用的技术方案为：一种充电站内兼顾预约与排队的电动汽车充电调度方法，包括：
S1、采集和处理充电站内的电力数据和过去一段时间接入该充电站内所有车辆的历史充电情况数据；
S2、根据意向接入该充电站的车辆与空闲充电桩之间的资源竞争程度确定充电调度时间窗口大小；
S3、针对S2所述的充电调度时间窗口，建立充电桩资源分配模型；
S4、根据步骤S1所述的过去一段时间接入该充电站内所有车辆的历史充电情况数据、步骤S3的资源分配模型，采用强化学习Q-learning算法对不同充电类型的车辆按时隙进行充电桩分配；
S5、基于S4的充电桩分配方案，根据行驶模式下电动汽车的动态到达设计车辆的充电类型智能切换策略。
进一步地，步骤S1所述车辆包括预约车辆与排队车辆。
进一步地，步骤S2具体为：确定调度周期，若当前时隙意向接入该充电站的预约车辆与排队车辆总数大于该充电站内空闲充电桩数量，则以当前时隙作为调度时间窗口的开始时隙，以从当前时隙开始第一个满足意向接入该充电站的预约车辆与排队车辆总数小于或等于该充电站内空闲充电桩数量的时隙作为调度时间窗口的结束时隙；否则进入下一时隙，若直至调度周期最后一时隙意向接入该充电站的预约车辆与排队车辆总数小于或等于该充电站内空闲充电桩数量，则结束。
进一步地，步骤S3具体为：
在调度时间窗口内的车辆充电服务规则为FCFS；调度窗口内时隙t分配给所有排队车辆的充电桩数目为K1(t)，分配给所有预约用户的充电桩数目为K2(t)，满足约束K1(t)+K2(t)≤K；K表示充电站内的充电桩数量；
根据K1(t)个充电桩中当前剩余的空闲充电桩各自的忙转闲时隙确定当前排队车辆的最早开始充电时隙，若该排队车辆的最早开始充电时隙小于或等于其期望充电时隙，则该排队车辆可充电成功，否则充电失败；
根据K2(t)个充电桩中当前剩余的空闲充电桩各自的忙转闲时隙确定当前预约车辆的最早开始充电时隙，若预约车辆的最早开始充电时隙大于或等于其期望最晚充电时隙，则该预约车辆可充电成功，否则充电失败；
建立以所有排队车辆中充电成功的比例加上所有预约车辆中充电成功的比例之和最大的资源分配模型。
进一步地，步骤S1所述车辆的用户历史充电情况数据，包括：排队车辆开始排队时隙、排队车辆期望最晚开始充电时隙、排队车辆所需充电电量、预约车辆预约充电时隙、预约车辆最早到达时隙、预约车辆所需充电电量、预约车辆期望最晚开始充电时隙。
进一步地，步骤S4具体为：将步骤S3建立的资源分配模型，建模为一个马尔科夫决策过程；然后用强化学习Q-learning算法定义其中的状态、动作及回报奖励函数来优化模型目标函数，学习得到最优的资源分配方案；
所述定义状态具体为：
S(t)＝[Users(t),K1(t),K2(t)]，
其中，S(t)表示状态矩阵，Users(t)包含四维元素，对于预约车辆，Users(t)包含的四维元素为：预约车辆、预约车辆最早到达时隙、预约车辆充电电量、预约车辆期望最晚开始充电时隙，对于排队车辆，Users(t)包含的四维元素为：排队车辆、排队车辆开始排队时隙、排队车辆充电电量、排队车辆期望最晚开始充电时隙；
所述定义动作具体为：
A(t)＝[K1(t)+a,K2(t)-a]
其中，A(t)表示为时隙t下一状态的充电桩分配比例，a表示较上一状态分配比例的变化值，a应满足约束小于该时隙忙转闲充电桩数目；
所述定义回报奖励函数具体为：
r_t＝R_(queue,t)+R_(reserve,t)；
其中，R_(queue,t)表示所有排队车辆的充电成功率，R_(reserve,t)表示所有预约车辆的充电成功率。
更进一步地，所述学习得到最优的资源分配方案，具体为：
用G(S,A)表示调度时间窗口中在状态S下采用动作A的总的回报值为
采用值函数Q(S,A)表示关于G(S,A)的期望，Q(S,A)＝E[G(S,A)]；
初始化状态矩阵，采用ε-greedy策略选择出下一动作A’从而进行状态转移，更新下一状态S’(t)，具体应用的更新公式为：
Q(S(t),A(t))<—Q(S(t),A(t))+α(G+γmax(Q(S’(t),A’(t))-Q(S(t),A(t))))
其中，α为学习率，0<α<0.5，γ为折扣因子，0.9<γ<1，选取α越小γ越大则状态转移会更多的保留前一阶段的学习效果；
直至收敛到Q(S(t),A(t))值不再变化，根据最终的Q(S(t),A(t))值得到最优的资源分配方案，即当前时隙最优的所有排队车辆分配到的充电桩数K1′(t)与所有预约车辆所分配到的充电桩数K2′(t)。
进一步地，步骤S5具体为：
若预约车辆在预约的最早开始充电时隙前到达充电站，计算若将充电模式切换至排队模式下的开始充电时隙，如果排队模式下开始充电时隙早于其预约的最早开始充电时隙，则切换充电模式为排队模式；否则不切换；
若排队车辆到达充电站后计算出其开始充电时隙超过其期望最晚开始充电时隙，计算若将充电模式切换至预约模式，若预约最早充电时隙小于排队开始充电时隙，且预约最早充电时隙小于该排队车辆期望最晚开始充电时隙，则切换充电模式为预约模式；否则不切换。
更进一步得，所述排队模式开始充电时隙根据当前时隙所有排队车辆所分配到的充电桩数K1′(t)、当前时隙已到达该充电站的排队车辆数以及充电桩单位时隙充电功率计算得到。
本发明的有益效果：通过采集充电站不同充电模式的电动汽车历史充电信息，在充电调度时间窗口内建立资源分配模型，并通过强化学习Q-learning算法进行不同充电模式用户充电桩分配比例的计算，平衡两种充电模式用户的充电体验；通过充电模式的智能切换策略，可以有效提高动态到达的充电用户的充电成功率，缩短用户等待时间，并改善调度时间窗口内充电站的充电桩资源利用率。
附图说明
图1为本发明的方案流程图；
图2为本发明实施例提供的充电调度的时间窗口大小确定流程图；
图3为本发明实施例提供的充电桩分配强化学习示意图；
图4为本发明实施例提供的预约车辆充电模式动态切换策略流程图；
图5为本发明实施例提供的排队车辆充电模式动态切换策略流程图。
具体实施方式
为了解决电动汽车充电过渡阶段的充电调度问题，在电动汽车充电调度发展过渡阶段同时考虑了预约充电和现场排队充电这两种充电模式，本发明主要基于充电站内用户充电历史信息数据进行充电桩资源分配和充电模式动态智能切换来实现充电调度。具体充电桩资源分配的基本目标是：在充电调度发展过渡阶段同时存在预约式和排队式两类充电用户，在存在资源竞争的调度时间窗口内为每一类充电用户集合合理地分配空闲充电桩，平衡两类用户的充电成功率，提高用户的充电体验。此外，充电用户的到达和充电时间具有动态性，为了灵活调整动态到达用户的充电成功率和改善充电桩的利用率，本发明拟提出一种电动汽车用户的用户充电类型智能切换策略，目标是改善充电用户因选择固定充电模式而不能获得更好的充电体验，并同时提高充电桩调度时间窗口内的资源利用率。
为了便于本领域的普通技术人员理解本发明，首先对技术术语做出如下定义：
过渡阶段：是智能电网电动汽车充电调度领域发展过程中由无预约方式即充电站现场排队充电到提前预约选择充电站和充电时隙的调度方式的过渡阶段，该阶段会存在两种类型的用户即预约用户和排队用户。
时隙：将每天24小时分为固定时隙长度的分配时隙，例如时隙t长度为15分钟。
FCFS：充电服务和排队规则，即先来先服务。
充电桩忙转闲：充电桩正在充电用户和被预定即将充电的用户都在当前时隙充完电。
马尔科夫决策过程：首先马尔科夫性指系统状态变化只跟前一个状态产生依赖，不和更早的状态产生联系。满足马尔科夫特性并且其系统的状态变化还跟当前状态采取的动作有关的强化学习任务叫做马尔科夫决策过程。
Q-learning算法：Q-learning是基于值函数的强化学习算法，Q(S,A)即是在状态S下采用动作A获得收益的期望，算法的主要思想是将状态和动作构建成一张Q表来存储Q值，智能体根据Q值来选择获得最大奖励的动作进行状态转移，通过更新公式进行学习的过程即是Q表的更新过程，最终使得Q值收敛。具体参考：
[1lodymyr Mnih1,Koray Kavukcuoglu1 and David.control through deepreinforcement learning[J].Nature Publishing Group,2015:529-533.
ε-greedy策略：在所在状态下以1-ε的概率来执行最优动作进行状态转移，以ε的概率随机产生动作进行状态转移；ε-greedy在两种策略间平衡，加快算法的收敛速度并求解出最优结果。
下面结合附图和具体实施例进一步说明本发明的实施方案。
本发明提供了一种充电站内兼顾预约与排队的电动汽车充电调度方法，具体流程如图1所示，包括以下步骤：
S1、采集和处理充电站内的电力数据和过去一段时间接入该充电站内所有车辆的历史充电情况数据；本步骤中所述过去一段时间接入该充电站内所有车辆的历史充电情况，具体采集的时间长度由于充电行为往往具有周期性，采集历史同期工作日24小时的数据；
S2、根据意向接入该充电站的车辆与空闲充电桩之间的资源竞争程度确定充电调度时间窗口大小；
S3、针对S2所述的充电调度时间窗口，建立充电桩资源分配模型；
S4、根据步骤S1所述的过去一段时间接入该充电站内所有车辆的历史充电情况数据、步骤S3的资源分配模型，采用强化学习Q-learning算法对不同充电类型的车辆按时隙进行充电桩分配；
S5、基于S4的充电桩分配方案，根据行驶模式下电动汽车的动态到达设计车辆的充电类型智能切换策略。本领域技术人员应注意，本发明此处强调行驶模式进一步限定场景，相较停驶模式长时间停车，行驶模式不用考虑馈电，且行驶模式下用户充电一般要求较短的等待时间，因此才去做资源分配，降低用户等待时间，便于用户充电结束继续其行驶计划。
步骤S1具体包括如下子步骤：
S11、初始化单位时隙t长度和充电桩单位时隙充电功率q及充电站内充电桩数目K；
S12、根据过渡阶段用户选择的充电方式，将用户分类为队列queue和reserve，队列queue表示用户选择抵达充电站排队等待充电，队列reserve表示用户选择提前预约充电时隙按预约时隙进行充电；
S13、采集第i辆电动汽车的充电需求电量为Qi，并计算所需的充电时隙数为Ti＝[Qi/q]；
S14、采集预约用户的期望最晚开始充电时隙和排队用户的期望最晚离开时隙并计算排队用户的期望最晚开始充电时隙
步骤S2根据调度算法需要作用于充电桩供不应求的时隙，如图2所示，包括以下分步骤：
S21、本实施例中以一天24小时作为一个调度周期，初始化调度时间窗口的开始时隙Wb为当前时隙；
S22、计算Wb时隙内预约请求数和排队等待数之和是否大于空闲充电桩数目，若是则进入步骤S24，否则判断Wb时隙是否为调度周期内的最后一个时隙，若是则结束，否则进入步骤S23；
S23、更新Wb＝Wb+1，进入步骤S22；
S24、取当前Wb为调度窗口开始时隙，调度窗口结束时隙We为从Wb开始往后的第一个满足预约请求数和排队等待数之和小于空闲充电桩数这一条件的时隙；
步骤S3具体包括如下分步骤：
在调度时间窗口内的车辆充电服务规则规定为FCFS，调度窗口内时隙t若分配给排队用户的充电桩数目为K1(t)，分配给预约用户的充电桩数目为K2(t)，满足约束条件K1(t)+K2(t)≤K；
根据排队队列中所有用户的充电成功比例与预约队列中所有用户的充电成功比例之和的最大值建立充电桩资源分配模型。
定义充电桩k的忙转闲时隙为k＝1,2,3,…,K.
A、排队队列中所有用户的充电成功比例计算过程为：
A1、用户i(i＝1,2,…,K1(t))的最早开始充电时隙，根据K1(t)个充电桩中当前用户所对应时隙的空闲充电桩各自的忙转闲时隙进行计算其最早开始充电时隙。
以排队队列中队首用户的最早开始充电时隙为例：
排队队列中队首用户的最早开始充电时隙若则表示排队队列中队首用户在期望最晚充电时隙之前充电成功，进入步骤A2，否则进入步骤A3；
对于预约队列中的用户，根据K2(t)个充电桩中当前用户所对应时隙的空闲充电桩各自的忙转闲时隙进行计算。
A2、更新步骤A1中用户i分配到的充电桩s的下一次忙转闲时隙然后调度下一个用户i+1，返回步骤A2，直到所有排队用户调度完；
A3、根据步骤A1用户i充电失败，调度下一个用户i+1，返回步骤A1；
A4、计算排队队列中所有用户的充电成功比例：
B、预约队列中所有用户的充电成功比例计算过程为：
B1、用户j(j＝1,2,…,K2(t))的最早开始充电时隙，根据K2(t)个充电桩中当前用户所对应时隙的空闲充电桩各自的忙转闲时隙进行计算其最早开始充电时隙。
以排队队列中队首用户的最早开始充电时隙为例：
排队队列中队首用户的最早开始充电时隙若则表示排队队列中队首用户在期望最晚充电时隙之前充电成功，进入步骤A2，否则进入步骤A3；
B2、更新步骤B1中用户j分配到的充电桩s的下一次忙转闲时隙然后调度下一个用户j+1，返回步骤A2，直到所有排队用户调度完；
B3、根据步骤B1用户i充电失败，调度下一个用户j+1，返回步骤B1；
B4、计算排队队列中所有用户的充电成功比例：
平衡两类用户的充电成功率的优化模型建立为
S4、利用S1所述的用户历史充电情况数据并根据步骤S3的资源分配模型如图3所示使用强化学习Q-learning算法对不同类型的充电用户按时隙进行充电桩分配，具体包括如下分步骤：
S41、所述基于用户历史充电数据的充电桩资源分配模型，建模为一个马尔科夫决策过程；用强化学习Q-learning算法定义其中的状态、动作及回报奖励函数来优化模型目标函数，学习得到最优的资源分配方案；
S42、具体地，强化学习资源状态矩阵S(t)＝[Users(t),K1(t),K2(t)]，其中Users(t)包含四维元素：用户类型，开始预约/排队时隙，充电电量和期望最晚开始充电时隙；动作A(t)＝[K1(t)+a,K2(t)-a]表示为时隙t下一状态的充电桩分配比例，a表示较上一状态分配比例的变化值，a应满足约束小于该时隙忙转闲充电桩数目；
S43、根据步骤S35所述模型，充电成功率越高，回报函数值越高，则时隙t的回报函数为rt＝Rqueue,t+Rreserve,t；Rqueue,t和Rreserve,t分别表示步骤S3的排队用户和预约用户的充电成功率；用G(S,A)表示分配时间窗口中在转态S下采用动作A的总的回报值为 进一步值函数Q(S,A)是关于G(S,A)的期望，即Q(S,A)＝E[G(S,A)]；
S44、初始化状态矩阵，根据步骤S42、S43并采用ε-greedy策略选择出下一动作A’从而进行状态转移，更新下一状态S’(t)，具体应用的更新公式为Q(S(t),A(t))<—Q(S(t),A(t))+α(G+γmax(Q(S’(t),A’(t))-Q(S(t),A(t))))，直至收敛到终止状态Q值不再变化为止。其中，α为学习率，0<α<0.5，γ为折扣因子，0.9<γ<1，选取α越小γ越大则状态转移会更多的保留前一阶段的学习效果；α、γ取值具体根据实际收敛情况决定。
本实施例中，若用户按照固定的充电模式充电，则对动态到达用户的充电需求不能更好的满足，充电站的充电桩利用率也可能会受到影响，因此如图4和图5所示，本实施例提供了用户充电模式的动态切换策略。
S5、基于S4的充电桩分配方案，针对行驶模式下电动汽车的动态到达设计电动汽车用户的用户充电类型智能切换策略，具体包括如下分步骤：
S51、基于前述步骤求解的充电桩分配方案，进行不同类型用户的充电调度，针对充电用户的动态到达特性，分别执行步骤S52和S53进行预约充电到排队充电和排队充电到预约充电的充电模式智能切换；
S52、如图4所示，若预约充电用户j在预约时隙前到达充电站，观测到排队充电的用户数目为n，结合前述步骤得到的排队用户充电桩分配方案K1(t)，则此时该用户选择放弃预约加入排队队列中的近似等待时隙数为Wj＝L(即排队队列中的充电桩最早空闲时间)，L满足为排队用户每辆车的平均充电电量，比较预约时隙则该用户选择放弃预约切换到排队模式加入排队等待队列，反之继续执行预约流程；
S53、如图5所示，若排队用户i到达充电站后依据步骤S52的排队近似等待时隙计算公式得到即该用户在需要离开时隙之前仍在排队等待，则该用户选择在充电站进行现场预约并比较预约最早充电时隙和排队等待时隙的大小选择切换到预约充电模式或充电失败离开充电站；若预约最早充电时隙早于排队等待时隙且预约最早充电时隙早于该排队用户期望最晚开始充电时隙，则将充电模式切换至预约模式，否则不切换。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (9)

1.一种充电站内兼顾预约与排队的电动汽车充电调度方法，其特征在于，包括：
S1、采集和处理充电站内的电力数据和过去一段时间接入该充电站内所有车辆的历史充电情况数据；
S2、根据意向接入该充电站的车辆与空闲充电桩之间的资源竞争程度确定充电调度时间窗口大小；
S3、针对S2所述的充电调度时间窗口，建立充电桩资源分配模型；
S4、根据步骤S1所述的过去一段时间接入该充电站内所有车辆的历史充电情况数据、步骤S3的资源分配模型，采用强化学习Q-learning算法对不同充电类型的车辆按时隙进行充电桩分配；
S5、基于S4的充电桩分配方案，根据行驶模式下电动汽车的动态到达设计车辆的充电类型智能切换策略。
2.根据权利要求1所述的一种充电站内兼顾预约与排队的电动汽车充电调度方法，其特征在于，步骤S1所述车辆包括预约车辆与排队车辆。
3.根据权利要求2所述的一种充电站内兼顾预约与排队的电动汽车充电调度方法，其特征在于，步骤S2具体为：确定调度周期，若当前时隙意向接入该充电站的预约车辆与排队车辆总数大于该充电站内空闲充电桩数量，则以当前时隙作为调度时间窗口的开始时隙，以从当前时隙开始第一个满足意向接入该充电站的预约车辆与排队车辆总数小于或等于该充电站内空闲充电桩数量的时隙作为调度时间窗口的结束时隙；否则进入下一时隙，若直至调度周期最后一时隙意向接入该充电站的预约车辆与排队车辆总数小于或等于该充电站内空闲充电桩数量，则结束。
4.根据权利要求3所述的一种充电站内兼顾预约与排队的电动汽车充电调度方法，其特征在于，步骤S3具体为：
在调度时间窗口内的车辆充电服务规则为FCFS；调度窗口内时隙t分配给所有排队车辆的充电桩数目为K1(t)，分配给所有预约用户的充电桩数目为K2(t)，满足约束K1(t)+K2(t)≤K；K表示充电站内的充电桩数量；
根据K1(t)个充电桩中当前剩余的空闲充电桩各自的忙转闲时隙确定当前排队车辆的最早开始充电时隙，若该排队车辆的最早开始充电时隙小于或等于其期望最晚开始充电时隙，则该排队车辆可充电成功，否则充电失败；根据K2(t)个充电桩中当前剩余的空闲充电桩各自的忙转闲时隙确定当前预约车辆的最早开始充电时隙，若预约车辆的最早开始充电时隙小于其期望最晚开始充电时隙，则该预约车辆可充电成功，否则充电失败；
建立以所有排队车辆中充电成功的比例加上所有预约车辆中充电成功的比例之和最大的资源分配模型。
5.根据权利要求4所述的一种充电站内兼顾预约与排队的电动汽车充电调度方法，其特征在于，步骤S1所述车辆的用户历史充电情况数据，包括：排队车辆开始排队时隙、排队车辆期望最晚开始充电时隙、排队车辆所需充电电量、预约车辆预约充电时隙、预约车辆最早到达时隙、预约车辆所需充电电量、预约车辆期望最晚开始充电时隙。
6.根据权利要求5所述的一种充电站内兼顾预约与排队的电动汽车充电调度方法，其特征在于，步骤S4具体为：将步骤S3建立的资源分配模型，建模为一个马尔科夫决策过程；然后用强化学习Q-learning算法定义其中的状态、动作及回报奖励函数来优化模型目标函数，学习得到最优的资源分配方案；
所述定义状态具体为：
S(t)＝[Users(t),K1(t),K2(t)]，
其中，S(t)表示状态矩阵，Users(t)包含四维元素，对于预约车辆，Users(t)包含的四维元素为：预约车辆、预约车辆最早到达时隙、预约车辆充电电量、预约车辆期望最晚开始充电时隙，对于排队车辆，Users(t)包含的四维元素为：排队车辆、排队车辆开始排队时隙、排队车辆充电电量、排队车辆期望最晚开始充电时隙；
所述定义动作具体为：
A(t)＝[K1(t)+a,K2(t)-a]
其中，A(t)表示为时隙t下一状态的充电桩分配比例，a表示较上一状态分配比例的变化值，a应满足约束小于该时隙忙转闲充电桩数目；
所述定义回报奖励函数具体为：
r_t＝R_(queue,t)+R_(reserve,t)；
其中，R_(queue,t)表示所有排队车辆的充电成功率，R_(reserve,t)表示所有预约车辆的充电成功率。
7.根据权利要求6所述的一种充电站内兼顾预约与排队的电动汽车充电调度方法，其特征在于，所述学习得到最优的资源分配方案，具体为：
用G(S,A)表示调度时间窗口中在状态S下采用动作A的总的回报值为
采用值函数Q(S,A)表示关于G(S,A)的期望，Q(S,A)＝E[G(S,A)]；
初始化状态矩阵，采用ε-greedy策略选择出下一动作A’从而进行状态转移，更新下一状态S’(t)，具体应用的更新公式为：
Q(S(t),A(t))<—Q(S(t),A(t))+α(G+γmax(Q(S’(t),A’(t))-Q(S(t),A(t))))
其中，α为学习率，0<α<0.5，γ为折扣因子，0.9<γ<1；
直至收敛到Q(S(t),A(t))值不再变化，根据最终的Q(S(t),A(t))值得到最优的资源分配方案，即当前时隙最优的所有排队车辆分配到的充电桩数K1′(t)与所有预约车辆所分配到的充电桩数K2′(t)。
8.根据权利要求7所述的一种充电站内兼顾预约与排队的电动汽车充电调度方法，其特征在于，步骤S5具体为：
若预约车辆在预约的最早开始充电时隙前到达充电站，计算将充电模式切换至排队模式下的开始充电时隙，如果排队模式开始充电时隙早于其预约的最早开始充电时隙，则切换充电模式为排队模式；否则不切换；
若排队车辆到达充电站后计算出其开始充电时隙超过其期望最晚开始充电时隙，计算将充电模式切换至预约模式得到其预约最早充电时隙，若预约最早充电时隙小于排队开始充电时隙，且预约最早充电时隙小于该排队车辆期望最晚开始充电时隙，则切换充电模式为预约模式；否则不切换。
9.根据权利要求8所述的一种充电站内兼顾预约与排队的电动汽车充电调度方法，其特征在于，所述排队等待时间根据当前时隙所有排队车辆所分配到的充电桩数K1′(t)、当前时隙已到达该充电站的排队车辆数以及充电桩单位时隙充电功率计算得到。
CN201910699182.9A 2019-07-31 2019-07-31 一种充电站内兼顾预约与排队的电动汽车充电调度方法 Active CN110428165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910699182.9A CN110428165B (zh) 2019-07-31 2019-07-31 一种充电站内兼顾预约与排队的电动汽车充电调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910699182.9A CN110428165B (zh) 2019-07-31 2019-07-31 一种充电站内兼顾预约与排队的电动汽车充电调度方法

Publications (2)

Publication Number Publication Date
CN110428165A true CN110428165A (zh) 2019-11-08
CN110428165B CN110428165B (zh) 2022-03-25

Family

ID=68411618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910699182.9A Active CN110428165B (zh) 2019-07-31 2019-07-31 一种充电站内兼顾预约与排队的电动汽车充电调度方法

Country Status (1)

Country Link
CN (1) CN110428165B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991931A (zh) * 2019-12-19 2020-04-10 安徽师范大学 一种基于双中心q学习的充电场站协同优化控制方法
CN111160588A (zh) * 2019-12-04 2020-05-15 国网电动汽车服务有限公司 一种预约充电服务方法及系统
CN112184930A (zh) * 2020-10-09 2021-01-05 扬州大学 智能预约停车诱导系统及停车诱导方法
CN112436536A (zh) * 2020-12-14 2021-03-02 山东大学 一种高速路新能源汽车充电引导方法及系统
CN112465338A (zh) * 2020-11-25 2021-03-09 东软睿驰汽车技术（沈阳）有限公司 一种充电桩分配方法及其相关设备
CN113139150A (zh) * 2021-04-02 2021-07-20 清华大学深圳国际研究生院 改进电动汽车充电设施布局的方法及计算机可读存储介质
CN114819656A (zh) * 2022-04-29 2022-07-29 兰州理工大学 基于多阶段延迟接受算法的电动汽车-快充站匹配方法
CN115409288A (zh) * 2022-10-11 2022-11-29 云宝宝大数据产业发展有限责任公司 基于区域数字经济的物联网服务管理系统
CN115438909A (zh) * 2022-08-03 2022-12-06 广东天枢新能源科技有限公司 基于大数据的电动汽车充电桩电力资源分配方法及系统
CN114819656B (zh) * 2022-04-29 2024-06-07 兰州理工大学 基于多阶段延迟接受算法的电动汽车-快充站匹配方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130050312A (ko) * 2013-02-27 2013-05-15 제주대학교 산학협력단 전기 자동차의 충전 태스크 스케쥴링 방법 및 그 방법을 이용한 장치
US20140074523A1 (en) * 2012-08-29 2014-03-13 Optimization Technologies, Inc. Reservation systems for electric vehicle charging stations
CN107640049A (zh) * 2017-09-20 2018-01-30 东北大学 一种针对充电站的电动汽车有序充电的移动终端系统
CN108171353A (zh) * 2018-03-12 2018-06-15 湘潭大学 一种基于时间片的电动汽车充电预约匹配方法
CN109193721A (zh) * 2018-09-29 2019-01-11 华南理工大学 一种基于强化学习的电动汽车充放电策略优化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140074523A1 (en) * 2012-08-29 2014-03-13 Optimization Technologies, Inc. Reservation systems for electric vehicle charging stations
KR20130050312A (ko) * 2013-02-27 2013-05-15 제주대학교 산학협력단 전기 자동차의 충전 태스크 스케쥴링 방법 및 그 방법을 이용한 장치
CN107640049A (zh) * 2017-09-20 2018-01-30 东北大学 一种针对充电站的电动汽车有序充电的移动终端系统
CN108171353A (zh) * 2018-03-12 2018-06-15 湘潭大学 一种基于时间片的电动汽车充电预约匹配方法
CN109193721A (zh) * 2018-09-29 2019-01-11 华南理工大学 一种基于强化学习的电动汽车充放电策略优化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QIYUN DANG，等: "A Q-Learning Based Charging Scheduling Scheme for Electric Vehicles", 《2019 IEEE TRANSPORTATION ELECTRIFICATION CONFERENCE AND EXPO (ITEC)》 *
YUE CAO,等: "Reservation Based Electric Vehicle Charging Using Battery Switch", 《2018 IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS (ICC)》 *
曾鸣: "基于智能电网的电动汽车充馈电调度策略研究", 《中国博士学位论文全文数据库 工程科技II辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160588B (zh) * 2019-12-04 2024-03-19 国网电动汽车服务有限公司 一种预约充电服务方法及系统
CN111160588A (zh) * 2019-12-04 2020-05-15 国网电动汽车服务有限公司 一种预约充电服务方法及系统
NL2026738A (en) * 2019-12-19 2021-08-18 Univ Anhui Normal Cooperative-optimization control method of charging station based on double-center q-learning method
CN110991931B (zh) * 2019-12-19 2022-03-15 安徽师范大学 一种基于双中心q学习的充电场站协同优化控制方法
CN110991931A (zh) * 2019-12-19 2020-04-10 安徽师范大学 一种基于双中心q学习的充电场站协同优化控制方法
CN112184930A (zh) * 2020-10-09 2021-01-05 扬州大学 智能预约停车诱导系统及停车诱导方法
CN112465338A (zh) * 2020-11-25 2021-03-09 东软睿驰汽车技术（沈阳）有限公司 一种充电桩分配方法及其相关设备
CN112436536A (zh) * 2020-12-14 2021-03-02 山东大学 一种高速路新能源汽车充电引导方法及系统
CN112436536B (zh) * 2020-12-14 2022-10-18 山东大学 一种高速路新能源汽车充电引导方法及系统
CN113139150A (zh) * 2021-04-02 2021-07-20 清华大学深圳国际研究生院 改进电动汽车充电设施布局的方法及计算机可读存储介质
CN113139150B (zh) * 2021-04-02 2022-11-08 清华大学深圳国际研究生院 改进电动汽车充电设施布局的方法及计算机可读存储介质
CN114819656A (zh) * 2022-04-29 2022-07-29 兰州理工大学 基于多阶段延迟接受算法的电动汽车-快充站匹配方法
CN114819656B (zh) * 2022-04-29 2024-06-07 兰州理工大学 基于多阶段延迟接受算法的电动汽车-快充站匹配方法
CN115438909A (zh) * 2022-08-03 2022-12-06 广东天枢新能源科技有限公司 基于大数据的电动汽车充电桩电力资源分配方法及系统
CN115438909B (zh) * 2022-08-03 2023-04-25 广东天枢新能源科技有限公司 基于大数据的电动汽车充电桩电力资源分配方法及系统
CN115409288B (zh) * 2022-10-11 2023-10-20 云宝宝大数据产业发展有限责任公司 基于区域数字经济的物联网服务管理系统
CN115409288A (zh) * 2022-10-11 2022-11-29 云宝宝大数据产业发展有限责任公司 基于区域数字经济的物联网服务管理系统

Also Published As

Publication number Publication date
CN110428165B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN110428165A (zh) 一种充电站内兼顾预约与排队的电动汽车充电调度方法
CN112134300B (zh) 基于预约的电动汽车光储充电站滚动优化运行方法及系统
CN110774929A (zh) 一种电动汽车有序充电的实时控制策略及优化方法
He et al. Optimal scheduling for charging and discharging of electric vehicles
CN109599856B (zh) 一种微网多楼宇中电动汽车充放电管理优化方法及装置
CN113515884A (zh) 分散式电动汽车实时优化调度方法、系统、终端及介质
CN113283623A (zh) 兼容储能充电桩的电动运载工具电量路径规划方法
CN109193718A (zh) 一种适应于v2g的选择电动汽车入网调控方法
Yao et al. A fuzzy logic based charging scheme for electric vechicle parking station
CN114997631B (zh) 一种电动汽车充电调度方法、装置、设备及介质
CN113437754A (zh) 一种基于台区智能融合终端的电动汽车有序充电方法及系统
CN112257886A (zh) 一种小区充电桩的预约系统及方法
CN112488444A (zh) 电动汽车快慢同步有序充电调度方法以及电量结算方法
Diaz et al. Smart charge of an electric vehicles station: A model predictive control approach
CN108270231A (zh) 智能充电桩负荷随机接入控制系统及方法
CN109572478A (zh) 充电站电动汽车在线平稳充电系统及方法
CN111284347B (zh) 一种充电场站车辆接入控制中的状态聚类编码方法
CN112248869A (zh) 一种充电桩通断电的控制系统及方法
CN115593266A (zh) 一种面向汽车充电预约的光储充电站能量调度方法和终端
CN109130943B (zh) 共享电池站控制策略
CN112092670B (zh) 一种充电桩排队和充电管理方法
CN113954680A (zh) 基于充电时段优化的电动汽车充电控制方法
CN116632896B (zh) 一种多光储充电站的电动汽车充放电协同调度方法及系统
CN113343437A (zh) 电动汽车快速充电引导方法、系统、终端及介质
CN107016504A (zh) 一种计及电动汽车随机模糊需求响应的调度优化建模及算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant