CN114459498A - 基于强化学习的新能源车充电站选择及自适应导航方法 - Google Patents
基于强化学习的新能源车充电站选择及自适应导航方法 Download PDFInfo
- Publication number
- CN114459498A CN114459498A CN202210247754.1A CN202210247754A CN114459498A CN 114459498 A CN114459498 A CN 114459498A CN 202210247754 A CN202210247754 A CN 202210247754A CN 114459498 A CN114459498 A CN 114459498A
- Authority
- CN
- China
- Prior art keywords
- charging
- charging station
- time
- reinforcement learning
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007600 charging Methods 0.000 title claims abstract description 179
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000002787 reinforcement Effects 0.000 title claims abstract description 31
- 238000005265 energy consumption Methods 0.000 claims abstract description 23
- 238000012216 screening Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000010277 constant-current charging Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010280 constant potential charging Methods 0.000 claims description 2
- 230000007423 decrease Effects 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000010281 constant-current constant-voltage charging Methods 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3469—Fuel consumption; Energy use; Emission aspects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Automation & Control Theory (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Navigation (AREA)
- Electric Propulsion And Braking For Vehicles (AREA)
Abstract
本发明提供一种基于强化学习的新能源车充电站选择及自适应导航方法，包括步骤：获取道路信息以及充电站点信息；根据目前车辆剩余电量筛选出所有可到达充电站点；基于可到达充电站点，根据车辆行驶时间、充电时间、充电舒适度以及行驶能量消耗确定最优的充电站点及导航路线；根据导航路线前往最优的充电站点，并在途中根据交通情况采用强化学习自适应更新导航路线。本发明综合考虑实时路况信息、充电站点等待时间以及充电舒适度等影响因子来筛选出最优充电站点，并且提出基于强化学习的新能源汽车自适应路径导航机制，可以高效利用有限充电站点、显著缓解交通压力、大幅缩减用户整体充电时间，优化了现有新能源汽车的充电引导调度方案。
Description
技术领域
本发明属于新能源汽车充电技术领域，特别涉及一种基于强化学习的新能源车充电站选择及自适应导航方法。
背景技术
在倡导绿色节能的大环境下汽车产业正在向智能化、新能源化、轻量化、共享化方向蓬勃发展。因此研究一种高效可行的充电站点选择与自适应路径导航方法，以高效利用有限充电站点、缓解交通压力、满足新能源汽车庞大充电需求、提升充电舒适度具有十分重要的意义。
目前，国内外对新能源汽车充电导航的主要研究方向在于对传统路径规划算法的优化，以提高算法的可行性。但是此类方法单纯以行驶路径最短为优化目标，评判标准过于单一，忽略了真实环境下的动态车流变化、交通灯等待时间、充电时间以及充电站点可用性等关键因素。因此基于此类方法的导航方案无法有效避免交通拥堵,难以提高充电效率。
发明内容
本发明的目的在于提出一种基于强化学习的新能源车充电站选择及自适应导航方法，能够改善电动汽车充电体验，提高充电站利用率及充电效率，节约能源。
解决本发明目的的技术解决方案为：一种基于强化学习的新能源车充电站选择及自适应导航方法，根据车辆行驶时间、充电时间、充电舒适度以及行驶能量消耗选择备选充电站点，并结合备选充电站点的最优路径选出最终充电方案，其具体步骤为：
步骤1，获取道路信息以及附近的充电站点信息；
步骤2，根据目前车辆剩余电量筛选出所有可到达充电站点；
步骤3，基于可到达充电站点，根据车辆行驶时间、充电时间、充电舒适度以及行驶能量消耗选出最优的充电站点及导航路线；
步骤4，据步骤3的导航路线前往目标充电站点，并在途中根据交通情况使用强化学习自适应更新导航路线。
进一步地，所述步骤3包括如下步骤：
步骤3.1，根据车辆行驶时间和行驶能量消耗采用强化学习方法选择当前时间点至各可到达充电站点的最优行驶路线；
步骤3.2，根据当前可到达充电站点的最优行驶路线、充电时间、充电舒适度以及行驶能量消耗确定最优充电站点。
进一步地，所述步骤3.1包括如下步骤：
步骤3.1.1，根据现有路况信息构建城市道路图结构模型，并定义奖励函数；
步骤3.1.2，依据状态转换值构建状态转换概率函数；
步骤3.1.3，基于贝尔曼方程构建适应于路径规划的强化学习更新策略方程；
步骤3.1.4，根据当时道路交通信息和随机初始化状态，重复步骤3.1.2和3.1.3迭代更新Q值，得到该时段的Q值表；
步骤3.1.5，根据Q值表中数值最高的路线移动，得到当前最优路径。
进一步地，所述步骤3.2具体包括如下步骤：
步骤3.2.1，根据等待红灯时间以及车辆移动时间推断出车辆行驶时间；
步骤3.2.2，分情况推断出恒流恒压两步充电策略下的充电时间；
步骤3.2.3，根据充电等待时间与充电站点位置计算出充电舒适度；
步骤3.2.4，根据电机传动效率和汽车平均行驶速度计算出行驶能量消耗；
步骤3.2.5，根据所述车辆行驶时间、充电时间、充电舒适度、以及能量消耗计算出各充电站点的可行性并选出最优充电站点。
本发明与现有技术相比，其显著效果为：
(1)本发明综合考虑路况信息、充电站点等待时间和充电舒适度等情况选择充电站点，并且使用强化学习方法根据交通情况实时调整前往充电站的路径；有效避免了充电排队时间过长，前往途中的交通拥堵等影响用户体验，同时动态调整路径使得用户可以更快的到达充电站点；
(2)本发明充分挖掘现有交通情况以及充电站点信息，动态选择导航路线，可以合理地为新能源车辆用户进行调度，有效缩进用户充电时间，提升用户充电舒适度。
附图说明
图1为本发明实施例方法所设计的框架设计图。
图2为本发明实施例方法的动态路径规划流程图。
图3为本发明实施例方法的最优充电站点选择流程图。
图4为本发明实施例方法的路径规划结构模型简图。
具体实施方式
为更好地理解本发明地目的、技术方案以及技术效果，以下结合附图对本发明进行进一步的讲解说明。
本发明充分考虑动态车流信息、交通灯等待时间、充电时间、车辆行驶时间以及能量消耗等因素构建站点选择与路径规划模型，更加符合新能源汽车的真实充电场景；此外，利用实时交通流信息，本发明提出一种强化学习方法的自适应路径导航机制，有效减少了用户前往充电站点的能量消耗和行驶时间，其实施流程结合图1和图2，具体包括如下详细步骤：
S1，通过蜂窝网络/车联网获取道路信息以及附近的充电站点信息；通过蜂窝网络或者车联网技术从交通系统调度机构、充电站运营商处获得各个交通道路的实时通行速度、各充电桩的空闲余额等信息。
S2，根据目前车辆剩余电量选出所有可到达的充电站点；获取附近可用充电站点后，通过比对当前车辆剩余里程和充电站点的距离挑选出所有可用充电站点。
S3，根据车辆行驶时间、充电时间、充电舒适度以及行驶能量消耗选出最优的充电站点；根据确定好的最优路径，确定每个备选充电站点的车辆行驶时间、充电时间、充电舒适度以及行驶能量消耗，计算出各个站点的可行性指标，选择可行性最好的充电站点作为最终的充电站点。
S4，根据步骤S3预测的导航路线前往目标充电站点，并在途中根据交通情况使用强化学习自适应更新导航路线。
步骤S3具体包括以下步骤：
S3.1，根据车辆行驶时间和能量消耗使用强化学习方法选择当前时间点各备选站点的最优行驶路线；
S3.2，根据当前最优路径、充电时间、充电舒适度选出最优充电站点。
具体的，S3.1包括如下步骤：
S3.1.1，根据现有路况信息构建城市道路图结构模型，并定义奖励函数：将城市道路抽象为图G(E)，E表示路段集，城市路段由{e1,…ei,…ej}组成，ei∈E,J表示城市环境中的道路总数，定义状态转移函数gs(s,a)表示在当前状态s下采取a行动时将会转移到下一状态，奖励函数gr(s,a)表示为：
其中es代表充电站点所在路段，当在s状态下采用a行动可以得到es状态则奖励值为100否则为零。
S3.1.2，依据状态转换值构建状态转换概率函数：
其中Q(s,a)表示在状态s下采取a行动时所得到的可行性数值，称为Q值；A(s)表示在状态s下所有可以采取状态的集合，N(A(s))表示s下状态下可采取行动的总数，ε是一个随时间推移而逐渐减小的参数，ε∈(0,1)，P(a|s)表示在状态s下采取a行动的概率。
S3.1.3，构基于贝尔曼方程构建适应于路径规划的强化学习更新策略方程：
其中
表示学习率，
γ是一个与行驶时间和能量消耗有关的参数，a′为在经过gs(s,a)之后的状态所采取的行动。
S3.1.4，根据当时道路交通信息和随机初始化状态，重复步骤S3.1.2和S3.1.3迭代更新Q值，最终使所有Q值稳定得到时段的Q值表：
S3.1.5，根据Q值表中数值最高的路线移动到目标充电站点，得到当前最优路径：从当前位置出发，一直沿着Q值最大的路线到达目标充电站点的路线既是当前时段最优路径。
具体的结合图3，步骤S3.2包括如下步骤：
S3.2.1，根据等待红灯时间以及车辆移动时间推断出车辆行驶时间，将道路信息分段提取，分别计算每段道路的车辆行驶时间，车辆行驶时间由如下公式获得：
其中L(ei)代表ei段的长度，vk(ei)代表ei段的平均速度，η(ei)∈{0,1}代表ei路段是否有交通灯，p(ei)表示汽车在ei路段遇到红灯的可能性，Δ(ei)代表ei路段等待红灯的平均时间。
S3.2.2，分情况推断出恒流恒压两步充电策略下的充电时间：分阶段充电，将充电分为恒流和恒压两步，为需要充电车辆设置soc(当前电量百分比)阈值socth∈(0,1)，当需要充电车辆低于阈值时采用恒流充电，反之则采用恒压充电。充电功率的计算方法为：
其中PW(tc)代表充tc时间的电功率；tc代表当前时间，tf代表充满时间，tth代表达到阈值时间，σ代表充电参数。
充电时间与soc的关系为：
其中soce代表充电终止时的电量百分比，socs代表充电开始时的电量百分比，te代表充电结束时的时间，ts代表充电开始时的时间，C代表电池最大容量，
当socs<soce＜socth时：充电时间TC为：
当socs＜socth<soce时：充电时间TC为：
当socth<socs<soce时：充电时间TC为：
S3.2.3，根据等待时间和充电充电站点所剩余的可用停车位使用如下公式计算充电舒适度：
其中CM(SLk)表示在充电站点SLk处的充电舒适度，Tcw(SLk)表示在在充电站点SLk处的等待时间，
表示各备选充电站点的最大等待时间，Nf(SLk)代表当前时间点充电站点SLk处的空闲充电位，Nmax表示每个充电站点拥有充电位置的最大值，χ＝{0,1}，如果Tcw(SLk)＝0则χ＝0否则χ＝1。
S3.2.4，根据电机传动效率和汽车平均行驶速度汽车行驶时间所消耗的能量由如下公式获得：
其中
表示从位置v到达位置k所消耗的能量，参数
其中mv表示速度权重；g表示重力加速度；f表示滚动阻力系数，sv代表了平均速度，ηt、ηmc以及ηq分别表示传动系统效率、电机和控制器的效率以及电池放电效率，
代表了从位置v到位置k的距离。
S3.2.5，根据所述车辆行驶时间、充电时间、充电舒适度、以及能量消耗使用如下公式决定目标充电充电站点：
其中G(SLk)代表目标充电站点的可行性，
和
分别表示四个因素的权重值，TR(SLk)和EC(SLk)表示从当前位置到达目标停车点SLk的时间以及能量消耗，TC(SLk)和CM(SLk)表示在目标停车点SLk的充电时间和充电舒适度。
依据该实施方法，导航效果如图4所示，在t时刻最佳路径为e1→e2→e5→e8→e9。但是在t+Δu时刻，根据此时的路况信息得到此时在e5处出发的最佳路径为e5→e6→e9，因此最终导航路径为e1→e2→e5→e6→e9。
步骤S4具体实施方法为：确定S3.2选定的充电站点为最终目标，按照当前时刻S3.1所生成的Q值表中数值最大的路径行驶，在行驶途中实时接收交通信息并进入重复执行步骤S3.1.2和S3.1.3更新Q值表，自适应地动态调节导航路线。
综上所述，本发明提出一种基于强化学习的充电站点选择及自适应导航方案，融合了实施动态的路况信息、充电服务信息，在保证新能源汽车能够到达充电站点的情况下，选取舒适性最高的充电站点。不断优化路径导航方案和引导策略的，减少了新能源用户的充电时间成本，提高充电舒适度。
以上所述仅是本发明的一种实施方案，应该指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提之下，还可以做出若干改进和微调，这些改进和微调也应视为本发明的保护范围。
Claims (10)
1.一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，包括步骤：
步骤1，获取道路信息以及充电站点信息；
步骤2，根据目前车辆剩余电量筛选出所有可到达充电站点；
步骤3，基于可到达充电站点，根据车辆行驶时间、充电时间、充电舒适度以及行驶能量消耗确定最优的充电站点及导航路线；
步骤4，根据导航路线前往最优的充电站点，并在途中根据交通情况采用强化学习自适应更新导航路线。
2.根据权利要求1所述的一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，所述步骤3具体包括：
步骤3.1，根据车辆行驶时间和行驶能量消耗采用强化学习方法选择当前时间点至各可到达充电站点的最优行驶路线；
步骤3.2，根据当前可到达充电站点的最优行驶路线、充电时间、充电舒适度以及行驶能量消耗确定最优充电站点。
3.根据权利要求2所述的一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，所述步骤3.1具体包括：
步骤3.1.1，根据现有路况信息构建城市道路图结构模型，并定义奖励函数；
步骤3.1.2，依据状态转换值构建状态转换概率函数；
步骤3.1.3，基于贝尔曼方程构建适应于路径规划的强化学习更新策略方程；
步骤3.1.4，根据当时道路交通信息和随机初始化状态，重复步骤3.1.2和3.1.3迭代更新Q值，得到该时段的Q值表；
步骤3.1.5，根据Q值表中数值最高的路线移动，得到当前最优路径。
4.根据权利要求3所述的一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，所述步骤3.1.1具体包括：将城市道路抽象为图G(E)，E表示路段集，城市路段由{e1,…ei,…ej}组成，ei∈E,j表示城市环境中的道路总数，定义状态转移函数gs(s,a)表示在当前状态s下采取a行动时将会转移到下一状态,其奖励函数gr(s,a)表示为：
其中es代表充电站点所在路段，当在s状态下采用a行动可以得到es状态则奖励值为100否则为零。
5.根据权利要求3所述的一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，所述步骤3.1.2中状态转换概率函数为：
其中Q(s,a)表示在状态s下采取a行动时所得到的可行性数值，称为Q值；A(s)表示在状态s下所有可以采取状态的集合，N(A(s))表示s下状态下可采取行动的总数，ε是一个随时间推移而逐渐减小的参数，ε∈(0,1)，P(a|s)表示在状态s下采取a行动的概率；
所述步骤3.1.3中强化学习更新策略方程为：
其中
表示学习率，
γ是一个与行驶时间和能量消耗有关的参数，a'为在经过gs(s,a)之后的状态所采取的行动。
6.根据权利要求2所述的一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，所述步骤3.2具体包括：
步骤3.2.1，根据等待红灯时间以及车辆移动时间推断出车辆行驶时间；
步骤3.2.2，分情况推断出恒流恒压两步充电策略下的充电时间；
步骤3.2.3，根据充电等待时间与充电站点位置计算出充电舒适度；
步骤3.2.4，根据电机传动效率和汽车平均行驶速度计算出行驶能量消耗；
步骤3.2.5，根据所述车辆行驶时间、充电时间、充电舒适度、以及能量消耗计算出各充电站点的可行性并选出最优充电站点。
7.根据权利要求6所述的一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，所述步骤3.2.1中车辆行驶时间为：
其中L(ei)代表ei段的长度，vk(ei)代表ei段的平均速度，η(ei)∈{0,1}代表ei路段是否有交通灯，p(ei)表示汽车在ei路段遇到红灯的可能性，Δ(ei)代表ei路段等待红灯的平均时间；
所述步骤3.2.2包括：将充电分为恒流和恒压两步充电，为充电车辆设置电量百分比soc及阈值socth∈(0,1)，当需要充电车辆电量百分比低于阈值时采用恒流充电，反之则采用恒压充电，则充电功率的计算方法为：
其中PW(tc)代表充tc时间的电功率，tc代表当前时间，tf代表充满时间，tth代表达到阈值时间，σ代表充电参数；
充电时间与电量百分比soc的关系为：
其中soce代表充电终止时的电量百分比，socs代表充电开始时的电量百分比，te代表充电结束时的时间，ts代表充电开始时的时间，C代表电池最大容量，
当socs＜soce<socth时，充电时间TC为：
当socs<socth<soce时，充电时间TC为：
当socth<socs<soce时，充电时间TC为：
8.根据权利要求6所述的一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，所述步骤3.2.3中充电舒适度为：
其中CM(SLk)表示在充电站点SLk处的充电舒适度，Tcw(SLk)表示在充电站点SLk处的等待时间，
表示各充电站点的最大等待时间，Nf(SLk)代表当前时间点充电站点SLk处的空闲充电位，Nmax表示每个充电站点拥有充电位置的最大值，参数χ＝{0,1}，如果Tcw(SLk)＝0则χ＝0否则χ＝1；
所述步骤3.2.4中行驶能量消耗为：
其中
表示从位置v到达位置k所消耗的能量，参数
其中mv表示速度权重，g表示重力加速度，f表示滚动阻力系数，sv代表了平均速度；ηt、ηmc以及ηq分别表示传动系统效率、电机和控制器的效率以及电池放电效率；
代表了从位置v到位置k的距离。
9.根据权利要求4所述的一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，所述步骤3.2.5中计算出各充电站点的可行性并选出最优充电站点的公式为：
其中G(SLk)代表目标充电站点的可行性，
和
分别表示四个因素的权重值，TR(SLk)和EC(SLk)表示从当前位置到达充电站点SLk的行驶时间以及行驶能量消耗，TC(SLk)和CM(SLk)表示在充电站点SLk的充电时间和充电舒适度。
10.根据权利要求3所述的一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，所述步骤4具体为：确定步骤3.2选定的最优充电站点为最终目标，按照当前时刻步骤3.1所生成的Q值表中数值最大的路径行驶，在行驶途中实时接收交通信息并重复执行步骤3.1.2和3.1.3更新Q值表，自适应地动态调节导航路线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210247754.1A CN114459498A (zh) | 2022-03-14 | 2022-03-14 | 基于强化学习的新能源车充电站选择及自适应导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210247754.1A CN114459498A (zh) | 2022-03-14 | 2022-03-14 | 基于强化学习的新能源车充电站选择及自适应导航方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114459498A true CN114459498A (zh) | 2022-05-10 |
Family
ID=81418047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210247754.1A Pending CN114459498A (zh) | 2022-03-14 | 2022-03-14 | 基于强化学习的新能源车充电站选择及自适应导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114459498A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201409620D0 (en) * | 2014-05-30 | 2014-07-16 | Isis Innovation | Range determination |
| CN109269516A (zh) * | 2018-08-29 | 2019-01-25 | 沈阳理工大学 | 一种基于多目标Sarsa学习的动态路径诱导方法 |
| CN112097783A (zh) * | 2020-08-14 | 2020-12-18 | 广东工业大学 | 基于深度强化学习的电动出租车充电导航路径规划方法 |
| CN112116125A (zh) * | 2020-08-14 | 2020-12-22 | 西安交通大学 | 一种基于深度强化学习的电动汽车充电导航方法 |
| CN112896161A (zh) * | 2021-02-08 | 2021-06-04 | 杭州电子科技大学 | 一种基于强化学习的电动汽车生态自适应巡航控制系统 |
| CN113098007A (zh) * | 2021-04-25 | 2021-07-09 | 山东大学 | 基于分层强化学习的微电网分布式在线调度方法及系统 |
| CN113763723A (zh) * | 2021-09-06 | 2021-12-07 | 武汉理工大学 | 基于强化学习与动态配时的交通信号灯控制系统及方法 |
-
2022
- 2022-03-14 CN CN202210247754.1A patent/CN114459498A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201409620D0 (en) * | 2014-05-30 | 2014-07-16 | Isis Innovation | Range determination |
| CN109269516A (zh) * | 2018-08-29 | 2019-01-25 | 沈阳理工大学 | 一种基于多目标Sarsa学习的动态路径诱导方法 |
| CN112097783A (zh) * | 2020-08-14 | 2020-12-18 | 广东工业大学 | 基于深度强化学习的电动出租车充电导航路径规划方法 |
| CN112116125A (zh) * | 2020-08-14 | 2020-12-22 | 西安交通大学 | 一种基于深度强化学习的电动汽车充电导航方法 |
| CN112896161A (zh) * | 2021-02-08 | 2021-06-04 | 杭州电子科技大学 | 一种基于强化学习的电动汽车生态自适应巡航控制系统 |
| CN113098007A (zh) * | 2021-04-25 | 2021-07-09 | 山东大学 | 基于分层强化学习的微电网分布式在线调度方法及系统 |
| CN113763723A (zh) * | 2021-09-06 | 2021-12-07 | 武汉理工大学 | 基于强化学习与动态配时的交通信号灯控制系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111311122B (zh) | 面向智慧城市的充电站建设方法 | |
| CN107392336B (zh) | 智能交通中基于预约的分布式电动汽车充电调度方法 | |
| CN109784558B (zh) | 一种基于蚁群算法的电动汽车充电调度优化方法 | |
| CN112193116B (zh) | 一种考虑奖励机制的电动汽车充电优化引导策略 | |
| CN109693576B (zh) | 一种基于模拟退火算法的电动汽车充电调度优化方法 | |
| CN107323300A (zh) | 一种基于路‑站‑车联合模型的电动汽车预约充电方法 | |
| CN109934391B (zh) | 一种纯电动公交车辆的智能调度方法 | |
| JP5837129B2 (ja) | スマートグリッドシステム | |
| CN107180274B (zh) | 一种电动汽车充电设施规划典型场景选取和优化方法 | |
| CN108596667B (zh) | 一种基于车联网的电动汽车实时充电电价计算方法 | |
| CN110414750B (zh) | 一种基于深度增强学习的电动汽车实时充电站选择方法 | |
| CN111160639B (zh) | 基于用户出行时空分布特性的电动汽车充电负荷预测方法 | |
| WO2013045449A2 (en) | Method and system for charging electric vehicles | |
| CN114103971B (zh) | 一种燃料电池汽车节能驾驶优化方法及装置 | |
| CN109636067B (zh) | 一种基于粒子群算法的电动汽车充电调度优化方法 | |
| CN107921886A (zh) | 用于计算用于管理混合动力机动车辆的燃料和电力消耗的设定点的方法 | |
| CN106427635A (zh) | 一种电动汽车 | |
| CN116070783B (zh) | 一种混动传动系统在通勤路段下的学习型能量管理方法 | |
| CN110232219A (zh) | 一种基于数据挖掘的电动汽车可调度容量核定方法 | |
| CN114611993A (zh) | 一种基于移动电池包的城乡电动公交车辆调度方法 | |
| CN112550050B (zh) | 一种电动汽车充电方法和系统 | |
| CN105894123A (zh) | 电动车辆充电运行模式的确定方法及装置 | |
| CN106347373B (zh) | 一种基于电池荷电状态预测的动态规划方法 | |
| CN110263976B (zh) | 一种在多种充电方式并存环境下的电动汽车充电路径规划方法 | |
| Zhang et al. | An optimal vehicle speed planning algorithm for regenerative braking at traffic lights intersections based on reinforcement learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230330 Address after: Room 1006, Floor 10, Building 49, No. 2, Mount Taishan Road, Suzhou Hi tech Zone, Suzhou City, Jiangsu Province, 215129 Applicant after: Suzhou Microvolt Chip Technology Co.,Ltd. Address before: 210094 No. 200, Xiaolingwei, Jiangsu, Nanjing Applicant before: NANJING University OF SCIENCE AND TECHNOLOGY |