CN109445437A - 一种无人电动车的路径规划方法 - Google Patents

一种无人电动车的路径规划方法 Download PDF

Info

Publication number
CN109445437A
CN109445437A CN201811451735.0A CN201811451735A CN109445437A CN 109445437 A CN109445437 A CN 109445437A CN 201811451735 A CN201811451735 A CN 201811451735A CN 109445437 A CN109445437 A CN 109445437A
Authority
CN
China
Prior art keywords
road
electric vehicle
present
travelled
highest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811451735.0A
Other languages
English (en)
Inventor
郭宏亮
何闵
杨其锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811451735.0A priority Critical patent/CN109445437A/zh
Publication of CN109445437A publication Critical patent/CN109445437A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种无人电动车的路径规划方法，将电动车视为一个质点，道路视为一条条线段，在利用导航系统我们可以实时获得电动车的绝对位置pt(指各条道路的交点)以及电动车的电量et，利用二元组(pt,et)作为增强学习中的状态，其输出为电动车选择将要行驶哪一条道路,而选择的依据是电动车对与当前道路相邻的道路中评价最高的那一条道路作为将要行驶的道路。

Description

一种无人电动车的路径规划方法
技术领域
本发明属于电动汽车技术领域，更为具体地讲，涉及一种无人电动车的路径规划方法。
背景技术
作为人们生活中的重要交通工具，汽车的大量使用带来了能源消耗，资源短缺，环境污染等一系列负面影响，而节能与环保问题目前已成为世界各国关注的主要社会问题。在此种背景下，电动汽车因其能源利用率高、零污染、噪声小等优点而受到了各国政府以及车企的重视，并开始步入实用化阶段。从上个世纪90年代开始，各个国家就已经纷纷出台优惠政策，投入研发经费来促进电动汽车的发展，比如中国的《汽车产业调整和振兴规划》、美国的《电动汽车和复合汽车的研究开发和样车试用法令》、日本的“绿色税制”以及德国的《国家电动汽车发展计划》等。与此同时，大型车企们也纷纷加大资金投入进行电动汽车的研发和生产。目前多种电动汽车品牌已经出现在市场上，如宝马的i3，奔驰的EQC，通用的Bolt等。
电动汽车因其能源利用率高、零污染、噪声小等优点而受到了政府和车企的重视，然而其续航里程短、充电时间长的缺点使得电动汽车实际市场占有率远远低于预期。目前关于提高电动汽车续航里程，缩短充电时间的研究因其关键科学问题太难且成本过高等原因而面临巨大挑战。本专利将改进的增强学习算法运用到电动车的最优路径探索上。
增强学习也称为强化学习。增强学习就是将情况映射为行为，也就是去最大化收益。学习者并不是被告知哪种行为将要执行，而是通过尝试学习到最大增益的行为并付诸行动。也就是说增强学习关注的是智能体如何在环境中采取一系列行为，从而获得最大的累积回报。通过增强学习，一个智能体应该知道在什么状态下应该采取什么行为。RL是从环境状态到动作的映射的学习，我们把这个映射称为策略。
发明内容
本发明的目的在于克服现有技术的不足，提供一种无人电动车的路径规划方法，通过道路的评价最高值来规划无人电动车的路径。
为实现上述发明目的，本发明一种无人电动车的路径规划方法，其特征在于，包括以下步骤：
(1)、在最初的状态，电动车的起始位置为p0，初始电量为e0，初始状态为s0(p0,e0)，电动车对每一条道路的评价Q均设为0；从一个正太分布中随机抽取一个计步数k，已走步数设置为a＝0；
(2)、电动车在与当前道路相邻道路中，以90％的概率选出其中评价最高的道路作为接下来要行驶的道路，以10％的概率随机选择一条道路作为接下来要行驶的道路，然后执行步骤(3)；
(3)、当行驶完当前道路后，电动车到达另一个状态p’,e’，此时，电动车得到一个奖励r，电动车的已走步数:a＝a+1；
(4)、比较a与k的大小，如果a等于k，则选择更新，执行步骤(5)；如果a不等于k则执行步骤(2)；
(5)、结合下一条道路中的最高评价值来更新当前道路的评价值：
在下一条道路中选择评价最高的道路最为规划路径，记其评价为Qm
Q当前道路＝Q当前道路+α(r+γQm-Q当前道路)
其中，α代表学习速率，一般取0.1，γ代表对未来奖励的一个折扣率，一般取0.95；
重新抽取一个新的计步数k，并令已走步数a＝0，再重新执行步骤(2)。
本发明的发明目的是这样实现的：
本发明一种无人电动车的路径规划方法，将电动车视为一个质点，道路视为一条条线段，在利用导航系统我们可以实时获得电动车的绝对位置pt(指各条道路的交点)以及电动车的电量et，利用二元组(pt,et)作为增强学习中的状态，其输出为电动车选择将要行驶哪一条道路,而选择的依据是电动车对与当前道路相邻的道路中评价最高的那一条道路作为将要行驶的道路。
附图说明
图1是本发明一种无人电动车的路径规划方法流程图；
图2是无人电动车路径规划对比图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明一种无人电动车的路径规划方法流程图。
在本实施例中，如图1所示，本发明一种无人电动车的路径规划方法，包括以下步骤：
(1)、在最初的状态，电动车的起始位置为p0，初始电量为e0，初始状态为s0(p0,e0)，电动车对每一条道路的评价Q均设为0；从一个正太分布中随机抽取一个计步数k，已走步数设置为a＝0；
(2)、电动车在与当前道路相邻道路中，以90％的概率选出其中评价最高的道路作为接下来要行驶的道路，以10％的概率随机选择一条道路作为接下来要行驶的道路，然后执行步骤(3)；
(3)、当行驶完当前道路后，电动车到达另一个状态p’,e’，此时，电动车得到一个奖励r，电动车的已走步数:a＝a+1；
(4)、比较a与k的大小，如果a等于k，则选择更新，执行步骤(5)；如果a不等于k则执行步骤(2)；
(5)、结合下一条道路中的最高评价值来更新当前道路的评价值：
在下一条道路中选择评价最高的道路最为规划路径，记其评价为Qm
Q当前道路＝Q当前道路+α(r+γQm-Q当前道路)
其中，α代表学习速率，一般取0.1，γ代表对未来奖励的一个折扣率，一般取0.95；
重新抽取一个新的计步数k，并令已走步数a＝0，再重新执行步骤(2)。
我们在SUMO仿真平台下进行实验，图2为以100回合为一组，跑了50次后取每个回合取均值得到的结果，其中k服从int(N(4，1.5)。
在这里我们没有与具有优先级的经验回放制度做对比，因为其较高的计算复杂度，对于大型场景并不适用，所以不用做比较。从上图能看出三种方法最终均收敛在-1左右，但因为随机学习步数Q学习用的当前样本条更新参数，所以收敛的最快，而组合Q学习因为每次的训练集中含有当前样本条表现比传统的经验回放制要好。实验结果表示我们改进的算法在电动车的路径规划应用上收敛最快。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种无人电动车的路径规划方法，其特征在于，包括以下步骤：
(1)、在最初的状态，电动车的起始位置为p0，初始电量为e0，初始状态为s0(p0,e0)，电动车对每一条道路的评价Q均设为0；从一个正太分布中随机抽取一个计步数k，已走步数设置为a＝0；
(2)、电动车在与当前道路相邻道路中，以90％的概率选出其中评价最高的道路作为接下来要行驶的道路，以10％的概率随机选择一条道路作为接下来要行驶的道路，然后执行步骤(3)；
(3)、当行驶完当前道路后，电动车到达另一个状态p’,e’，此时，电动车得到一个奖励r，电动车的已走步数:a＝a+1；
(4)、比较a与k的大小，如果a等于k，则选择更新，执行步骤(5)；如果a不等于k则执行步骤(2)；
(5)、结合下一条道路中的最高评价值来更新当前道路的评价值：
在下一条道路中选择评价最高的道路最为规划路径，记其评价为Qm
Q当前道路＝Q当前道路+α(r+γQm-Q当前道路)
其中，α代表学习速率，一般取0.1，γ代表对未来奖励的一个折扣率，一般取0.95；
重新抽取一个新的计步数k，并令已走步数a＝0，再重新执行步骤(2)。
CN201811451735.0A 2018-11-30 2018-11-30 一种无人电动车的路径规划方法 Pending CN109445437A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811451735.0A CN109445437A (zh) 2018-11-30 2018-11-30 一种无人电动车的路径规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811451735.0A CN109445437A (zh) 2018-11-30 2018-11-30 一种无人电动车的路径规划方法

Publications (1)

Publication Number Publication Date
CN109445437A true CN109445437A (zh) 2019-03-08

Family

ID=65555415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811451735.0A Pending CN109445437A (zh) 2018-11-30 2018-11-30 一种无人电动车的路径规划方法

Country Status (1)

Country Link
CN (1) CN109445437A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1894150A2 (en) * 2005-05-07 2008-03-05 Stephen L. Thaler Device for the autonomous bootstrapping of useful information
CN102819264A (zh) * 2012-07-30 2012-12-12 山东大学 移动机器人路径规划q学习初始化方法
CN102929281A (zh) * 2012-11-05 2013-02-13 西南科技大学 一种不完全感知环境下的机器人kNN路径规划方法
CN106864451A (zh) * 2017-01-22 2017-06-20 郑云丰 一种基于自学习功能的混合电动汽车智能动力控制方法
CN107105466A (zh) * 2017-03-14 2017-08-29 南京邮电大学 一种基于增强学习算法的移动Sink数据收集方法
US20170371306A1 (en) * 2016-06-27 2017-12-28 Ecole Polytechnique Federale De Lausanne (Epfl) System and Method for Dispatching an Operation of a Distribution Feeder with Heterogeneous Prosumers
CN107688856A (zh) * 2017-07-24 2018-02-13 清华大学 基于深度强化学习的室内机器人场景主动识别方法
CN107911299A (zh) * 2017-10-24 2018-04-13 浙江工商大学 一种基于深度q学习的路由规划方法
CN108375379A (zh) * 2018-02-01 2018-08-07 上海理工大学 基于变异的双重dqn的快速路径规划方法及移动机器人
CN108418487A (zh) * 2018-02-11 2018-08-17 东南大学 一种用于电动汽车的速度脉动抑制方法
CN108803313A (zh) * 2018-06-08 2018-11-13 哈尔滨工程大学 一种基于海流预测模型的路径规划方法
CN108873687A (zh) * 2018-07-11 2018-11-23 哈尔滨工程大学 一种基于深度q学习的智能水下机器人行为体系结规划方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1894150A2 (en) * 2005-05-07 2008-03-05 Stephen L. Thaler Device for the autonomous bootstrapping of useful information
CN102819264A (zh) * 2012-07-30 2012-12-12 山东大学 移动机器人路径规划q学习初始化方法
CN102929281A (zh) * 2012-11-05 2013-02-13 西南科技大学 一种不完全感知环境下的机器人kNN路径规划方法
US20170371306A1 (en) * 2016-06-27 2017-12-28 Ecole Polytechnique Federale De Lausanne (Epfl) System and Method for Dispatching an Operation of a Distribution Feeder with Heterogeneous Prosumers
CN106864451A (zh) * 2017-01-22 2017-06-20 郑云丰 一种基于自学习功能的混合电动汽车智能动力控制方法
CN107105466A (zh) * 2017-03-14 2017-08-29 南京邮电大学 一种基于增强学习算法的移动Sink数据收集方法
CN107688856A (zh) * 2017-07-24 2018-02-13 清华大学 基于深度强化学习的室内机器人场景主动识别方法
CN107911299A (zh) * 2017-10-24 2018-04-13 浙江工商大学 一种基于深度q学习的路由规划方法
CN108375379A (zh) * 2018-02-01 2018-08-07 上海理工大学 基于变异的双重dqn的快速路径规划方法及移动机器人
CN108418487A (zh) * 2018-02-11 2018-08-17 东南大学 一种用于电动汽车的速度脉动抑制方法
CN108803313A (zh) * 2018-06-08 2018-11-13 哈尔滨工程大学 一种基于海流预测模型的路径规划方法
CN108873687A (zh) * 2018-07-11 2018-11-23 哈尔滨工程大学 一种基于深度q学习的智能水下机器人行为体系结规划方法

Similar Documents

Publication Publication Date Title
Yang et al. A stochastic predictive energy management strategy for plug-in hybrid electric vehicles based on fast rolling optimization
CN110341690B (zh) 一种基于确定性策略梯度学习的phev能量管理方法
CN113010967B (zh) 一种基于混合交通流模型的智能汽车在环仿真测试方法
Zhang et al. Eco‐driving at signalised intersections for electric vehicles
Luo et al. Green light optimal speed advisory for hybrid electric vehicles
CN103593986B (zh) 一种优化尾气排放的干线绿波协调控制信号配时方法
CN112487622B (zh) 电动汽车充电桩的选址定容方法、装置及终端设备
Yang et al. Markov chain-based approach of the driving cycle development for electric vehicle application
CN113554337B (zh) 融合交通信息的插电式混动汽车能量管理策略构建方法
Mao et al. A comparison of deep reinforcement learning models for isolated traffic signal control
CN111625989A (zh) 一种基于a3c-sru的智能车汇入车流方法及系统
CN110427690A (zh) 一种基于全局粒子群算法生成ato速度曲线的方法及装置
CN111680413B (zh) 基于双层算法的有轨电车定时节能运行优化方法及其系统
CN110738367A (zh) 一种基于深度残差网络的交通尾气排放量预测方法
CN104616072A (zh) 一种基于区间优化的提高谷氨酸发酵产物浓度的方法
Hu et al. Lane-level navigation based eco-approach
US20230166397A1 (en) Method for obstacle avoidance in degraded environments of robots based on intrinsic plasticity of snn
Li et al. A comparative study of energy-oriented driving strategy for connected electric vehicles on freeways with varying slopes
CN109445437A (zh) 一种无人电动车的路径规划方法
US20230264578A1 (en) Method for predicting energy consumption-recovery ratio of new energy vehicle, and energy saving control method and system for new energy vehicle
Wu et al. A deep reinforcement learning based car following model for electric vehicle
CN107976320B (zh) 一种纯电动汽车速度控制策略曲线开发方法
Zhang et al. Using the amce algorithm to high-efficiently develop vehicle driving cycles with road grade
CN101477689A (zh) 一种基于自适应蚁群智能的空中机器人视觉分层匹配方法
CN117184095B (zh) 基于深度强化学习的混合动力电动车系统控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190308