CN111653106A - 一种基于深度q学习的交通信号控制方法 - Google Patents

一种基于深度q学习的交通信号控制方法 Download PDF

Info

Publication number
CN111653106A
CN111653106A CN202010294012.5A CN202010294012A CN111653106A CN 111653106 A CN111653106 A CN 111653106A CN 202010294012 A CN202010294012 A CN 202010294012A CN 111653106 A CN111653106 A CN 111653106A
Authority
CN
China
Prior art keywords
traffic
learning
automobile
deep
signal control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010294012.5A
Other languages
English (en)
Inventor
黄亚男
曾振平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010294012.5A priority Critical patent/CN111653106A/zh
Publication of CN111653106A publication Critical patent/CN111653106A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/08—Controlling traffic signals according to detected number or speed of vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于深度Q学习的交通信号控制方法，构建交通流与单交叉口环境；构建深度Q学习模型，使用卷积神经网络作为Q值的逼近函数，其中卷积神经网络包括若干卷积层和一个全连接层，网络的激活函数是relu函数，损失函数是均方误差函数，优化器是AdamOptimizer优化器，输入数据经过卷积层和全连接层后得到最后的输出；设置训练参数训练深度Q学习模型；采集实际交叉口的汽车位置和速度，确定交通信号控制动作。本发明通过学习动作与状态变化之间的样本数据来得出最优的策略，适于时变的交通流与复杂的环境，能够有效避免实际操作中维度爆炸问题的出现。

Description

一种基于深度Q学习的交通信号控制方法
技术领域
本发明涉及智能交通领域，特别涉及一种基于深度Q学习的交通信号控制方法。
背景技术
交通拥堵不仅会对个人造成时间和经济上的损失，而且还会对国家社会产生一定的影响。例如，根据《福布斯》2014年的报告，交通拥堵每年使美国人蒙受1240亿美元的损失；在欧盟，交通拥堵的成本估计占其GDP的1％。所以，交通拥堵就变成了急需要解决的热点问题了。
目前的交通信号控制方法通常使用的是定时控制的方法，此方法首先利用过往的交通流数据，在不同的周期中建立交通流模型，然后再经过计算机的仿真或者是人工的计算来得到不同周期下的交通配时方案，也就是周期、相位差、绿信比等其他参数。再把已经得到的信号配时方案存储在信号控制器当中，根据不同的周期选取预定的方案。很容易看到，这种方法在交叉口的交通流比较稳定的时候是很合适的，而现实中的交通流都是时变的，这种方法很难适应时变的交通流，控制系统中的停车次数、平均车辆延迟等性能指标较差。
发明内容
本发明的目的旨在提供一种基于深度Q学习的交通信号控制方法，以适应交通流的时变性与环境的多样性。
实现本发明目的的技术解决方案为：一种基于深度Q学习的交通信号控制方法，包括如下步骤：
步骤1，构建交通流与单交叉口环境
构建交通流时，设置模拟时间、汽车型号、汽车速度、汽车加速度、汽车的减速度、汽车长度、汽车与汽车之间的最小间距、汽车的位置；
构建单交叉口环境时，采用EW交通场景与NS交通场景，设置汽车直行、左转或者右转的概率，以及不同场景下汽车行驶方向的概率；
步骤2，构建深度Q学习模型
使用卷积神经网络作为Q值的逼近函数，其中卷积神经网络包括若干卷积层和一个全连接层，网络的激活函数是relu函数，损失函数是均方误差函数，优化器是AdamOptimizer优化器，输入数据经过卷积层和全连接层后得到最后的输出，这里的输入数据是两个值向量<位置P，速度V>，把它作为状态s，输出是每个动作对应的价值Q(s,a)，a指的是动作；
步骤3，训练深度Q学习模型
设置batch_size、学习率、episode、折扣因子，根据训练参数训练深度Q学习模型；
步骤4，交通信号控制
采集实际交叉口的汽车位置和速度，确定交通信号控制动作。
本发明与现有相关技术相比，其显著优点在于：(1)智能体Agent通过学习动作与状态变化之间的样本数据来得出最优的策略，适于时变的交通流与复杂的环境；(2)采用神经网络这种具有非线性映射功能的模型，可以非常近似的去逼近状态动作值函数，能够有效避免实际操作中维度爆炸问题的出现。
附图说明
图1为本发明基于深度Q学习的交通信号控制方法的流程图。
图2为仿真软件SUMO中单交叉口的示例截图。
图3为车辆在交叉口运行的情况
图4为优化的累积延迟结果
图5为优化的平均队列长度结果
图6为优化的累积奖励结果
具体实施方式
下面结合附图和具体实施例，进一步说明本发明方案。
基于深度Q学习的交通信号控制方法进行实施，具体流程如下：
(1)构建交通流与单交叉口环境
构建交通流时，需要设置模拟时间、汽车型号、汽车速度、汽车加速度、汽车的减速度、汽车长度、汽车与汽车之间的最小间距、汽车的位置。
单交叉口环境采用EW交通场景与NS交通场景。采用这两种交通场景的目的是为了增加大多数的交通车辆是来自两个截然相反的方向的情况，也为了使得智能体Agent能够学习到各种状况得知识。构建单交叉口环境时，需要设置汽车直行、左转或者右转的概率，以及不同场景下汽车行驶方向的概率。
下面提供一个交通流与单交叉口环境的构建示例：
(1)构建交通流：总的时间是1小时30分钟，车辆使用的是标准汽车，汽车的加速度为1.0m/s2，汽车的减速度是4.5m/s2，汽车的长度是5.0m，汽车与汽车之间的最小间距是2.5m，汽车的速度是50km/h。把每条道路离散化成相等大小的空格，空格的大小是只能容纳两辆汽车，只要空格中有车，则P＝1；没车，则P＝0。
(2)构建单交叉口环境：采用EW交通场景与NS交通场景，具体的方法是：首先设置车辆都有75％的直行概率，有25％的左转或者右转的概率；然后，在EW交通场景下，车辆有90％的概率是来自东边或者是西边，而有10％的概率是来自北边或者是南边；同理，在NS交通场景下，车辆有90％的概率是来自北边或者是南边，而有10％的概率是来自西边或者是东边。这两种交通场景下的概率分布情况如表1-2所示。
表1EW交通场景下的概率分布表
Figure BDA0002451492570000031
表2NS交通场景下的概率分布表
Figure BDA0002451492570000032
为了便于观察，在仿真实验平台SUMO上搭建交叉口的模拟环境，交叉口环境如图2所示，某个时刻车辆经过交叉口的情况如图3所示。
(2)构建深度Q学习模型
深度Q学习使用卷积神经网络(CNN)作为Q值的逼近函数，其中卷积神经网络包括若干卷积层和一个全连接层，输入数据经过卷积层，然后再经过一层全连接层，得到最后的输出，这里的输入数据是两个值向量<位置P，速度V>，把它作为状态s；输出是每个动作对应的价值Q(s,a)，a指的是动作。本发明激活函数是relu函数，损失函数是均方误差函数，优化器是AdamOptimizer优化器。在构造深度学习中的神经网络时，还需要设置卷积层的数量，每层网络中神经元的个数，激活函数，全连接层个数、输入数据和输出数据。在构建深度Q学习时，需要设定状态空间S、动作空间A、折扣因子γ，初始化经验池D和它的容量N，设置Q网络的权重参数φ以及目标Q网络的权重参数
Figure BDA0002451492570000041
设置起始状态，该状态下选取的动作，以及终止状态。
下面展示一个具体的深度学习与深度Q学习的搭建示例：
卷积神经网络的设置：设置卷积层为5个，每层的网络有400个神经元，输入数据经过5层自定义的卷积神经网络；然后再经过一层全连接层，得到最后的输出。这里的输入数据是两个值向量<位置P，速度V>，把它作为状态s；输出是每个动作对应的价值Q(s,a)，a指的是动作。
深度Q学习的相关设定：1)状态空间S＝{s1,s2,s3,s4,…,st}，动作空间A＝{a1,a2,a3,a4,…,at}，折扣因子γ＝0.75，设置终止状态is_end；2)经验池Dt＝{e1,e2,…,et}，其中et＝(st,at,Rt,st+1)，Rt代表t时刻的奖励，N可以取50000；3)Q网络的权重参数φ初始化都是随机设置的，而目标Q网络的权重参数
Figure BDA0002451492570000042
4)起始状态初始化为s，此时选择的动作是a；5)执行动作空间A中的动作，观察环境得到即时奖励R和新的状态s'，判断此时新的状态是否为终止状态；6)把{φ(s),A,R,φ(s'),is_end}放入经验池D中，φ(s)、φ(s')分别指在状态s、s'下的权重，再从D中进行采样{φsi),Ai,Ri,φ(s'i),is_endi}，集合中的参数表示在第i时刻进行采样时所对应的参数；7)计算当前的目标Q值，目标Q值用yj来表示，若当前的状态和终止状态一样，则yj＝Rj，若此时的状态与终止状态不一样，则
Figure BDA0002451492570000043
8)训练Q网络用的损失函数是
Figure BDA0002451492570000044
再把s←s'；9)每隔C步，再把
Figure BDA0002451492570000045
直到s是终止状态is_end；10)直到
Figure BDA0002451492570000051
最后输出Q网络的Q值Qφ(s,a)。
(3)训练深度Q学习模型
设置batch_size、学习率、episode折扣因子，训练深度Q学习模型。
以步骤1中示例作为训练集，设置batch_size的取值是32，学习率选取的是0.001，episode选取的是100，折扣因子选取的是0.75，训练深度Q学习模型。随着对智能体训练的加深，智能体的自学习能力会越来越强，而具体的优化结果如图4、5、6所示。可以看出，累积延迟与平均队列长度都是慢慢的减少的，而累积负奖励也呈增大的趋势，也就是说本发明深度Q学习在交通信号控制方法有一定的优势与成效。
(4)交通信号控制
采集实际交叉口的汽车位置和速度，确定交通信号控制动作。
以实际场景汽车信息，包括<位置P，速度V>为输入，输入到训练好的深度Q学习模型，得到交通信号控制动作。
本发明通过使用卷积神经网络来近似值函数，卷积神经网络不仅在处理高维度的状态空间与动作空间很有效，在解决实时变化的车辆与环境也很适用。对于解决目前的拥堵问题，这种方法也是也很有前景的。

Claims (5)

1.一种基于深度Q学习的交通信号控制方法，其特征在于，包括如下步骤：
步骤1，构建交通流与单交叉口环境
构建交通流时，设置模拟时间、汽车型号、汽车速度、汽车加速度、汽车的减速度、汽车长度、汽车与汽车之间的最小间距、汽车的位置；
构建单交叉口环境时，采用EW交通场景与NS交通场景，设置汽车直行、左转或者右转的概率，以及不同场景下汽车行驶方向的概率；
步骤2，构建深度Q学习模型
使用卷积神经网络作为Q值的逼近函数，其中卷积神经网络包括若干卷积层和一个全连接层，网络的激活函数是relu函数，损失函数是均方误差函数，优化器是AdamOptimizer优化器，输入数据经过卷积层和全连接层后得到最后的输出，这里的输入数据是两个值向量<位置P，速度V>，把它作为状态s，输出是每个动作对应的价值Q(s,a)，a指的是动作；
步骤3，训练深度Q学习模型
设置batch_size、学习率、episode折扣因子，根据训练参数训练深度Q学习模型；
步骤4，交通信号控制
采集实际交叉口的汽车位置和速度，确定交通信号控制动作。
2.根据权利要求1所述的基于深度Q学习的交通信号控制方法，其特征在于，步骤1构建交通流时，总的时间是1小时30分钟，车辆使用的是标准汽车，汽车的加速度为1.0m/s2，汽车的减速度是4.5m/s2，汽车的长度是5.0m，汽车与汽车之间的最小间距是2.5m，汽车的速度是50km/h。
3.根据权利要求1所述的基于深度Q学习的交通信号控制方法，其特征在于，步骤1构建单交叉口环境时，首先设置车辆都有75％的直行概率，有25％的左转或者右转的概率；然后，在EW交通场景下，车辆有90％的概率是来自东边或者是西边，而有10％的概率是来自北边或者是南边；同理，在NS交通场景下，车辆有90％的概率是来自北边或者是南边，而有10％的概率是来自西边或者是东边；
两种交通场景下的具体概率分布情况如表1-2所示：
表1 EW交通场景下的概率分布表
Figure FDA0002451492560000011
Figure FDA0002451492560000021
表2 NS交通场景下的概率分布表
Figure FDA0002451492560000022
4.根据权利要求1所述的基于深度Q学习的交通信号控制方法，其特征在于，步骤2卷积神经网络的设置为：设置卷积层为5个，每层的网络有400个神经元，输入数据经过5层卷积神经网络，然后再经过一层全连接层，得到最后的输出。
5.根据权利要求1所述的基于深度Q学习的交通信号控制方法，其特征在于，步骤4训练参数设置为：设置batch_size的取值是32，学习率选取的是0.001，episode选取的是100，折扣因子选取的是0.75。
CN202010294012.5A 2020-04-15 2020-04-15 一种基于深度q学习的交通信号控制方法 Pending CN111653106A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010294012.5A CN111653106A (zh) 2020-04-15 2020-04-15 一种基于深度q学习的交通信号控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010294012.5A CN111653106A (zh) 2020-04-15 2020-04-15 一种基于深度q学习的交通信号控制方法

Publications (1)

Publication Number Publication Date
CN111653106A true CN111653106A (zh) 2020-09-11

Family

ID=72347953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010294012.5A Pending CN111653106A (zh) 2020-04-15 2020-04-15 一种基于深度q学习的交通信号控制方法

Country Status (1)

Country Link
CN (1) CN111653106A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112201060A (zh) * 2020-09-27 2021-01-08 航天科工广信智能技术有限公司 一种基于Actor-Critic的单交叉口交通信号控制方法
CN112216126A (zh) * 2020-09-27 2021-01-12 航天科工广信智能技术有限公司 一种基于sarsa的干线交通控制优化方法
CN113077642A (zh) * 2021-04-01 2021-07-06 武汉理工大学 一种交通信号灯控制方法、装置及计算机可读存储介质
CN113160585A (zh) * 2021-03-24 2021-07-23 中南大学 交通灯配时优化方法、系统及存储介质
CN113299079A (zh) * 2021-03-29 2021-08-24 东南大学 一种基于ppo和图卷积神经网络区域交叉口信号控制方法
CN113487860A (zh) * 2021-06-28 2021-10-08 南京云创大数据科技股份有限公司 一种智能交通信号控制方法
CN113704425A (zh) * 2021-08-27 2021-11-26 广东电力信息科技有限公司 一种结合知识增强和深度强化学习的对话策略优化方法
CN113947928A (zh) * 2021-10-15 2022-01-18 河南工业大学 基于深度强化学习与扩展卡尔曼滤波相结合的交通信号灯配时方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000019290U (ko) * 1999-04-08 2000-11-06 윤종용 전면 판넬 페인팅 지그장치
CN106910351A (zh) * 2017-04-19 2017-06-30 大连理工大学 一种基于深度强化学习的交通信号自适应控制方法
CN109215355A (zh) * 2018-08-09 2019-01-15 北京航空航天大学 一种基于深度强化学习的单点交叉口信号配时优化方法
CN109559530A (zh) * 2019-01-07 2019-04-02 大连理工大学 一种基于q值迁移深度强化学习的多交叉口信号灯协同控制方法
CN110047278A (zh) * 2019-03-30 2019-07-23 北京交通大学 一种基于深度强化学习的自适应交通信号控制系统及方法
CN110264750A (zh) * 2019-06-14 2019-09-20 大连理工大学 一种基于多任务深度q网络的q值迁移的多交叉口信号灯协同控制方法
CN110428615A (zh) * 2019-07-12 2019-11-08 中国科学院自动化研究所 基于深度强化学习单路口交通信号控制方法、系统、装置
CN110969872A (zh) * 2019-12-18 2020-04-07 上海天壤智能科技有限公司 基于强化学习和图注意力网络的交通信号控制方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000019290U (ko) * 1999-04-08 2000-11-06 윤종용 전면 판넬 페인팅 지그장치
CN106910351A (zh) * 2017-04-19 2017-06-30 大连理工大学 一种基于深度强化学习的交通信号自适应控制方法
CN109215355A (zh) * 2018-08-09 2019-01-15 北京航空航天大学 一种基于深度强化学习的单点交叉口信号配时优化方法
CN109559530A (zh) * 2019-01-07 2019-04-02 大连理工大学 一种基于q值迁移深度强化学习的多交叉口信号灯协同控制方法
CN110047278A (zh) * 2019-03-30 2019-07-23 北京交通大学 一种基于深度强化学习的自适应交通信号控制系统及方法
CN110264750A (zh) * 2019-06-14 2019-09-20 大连理工大学 一种基于多任务深度q网络的q值迁移的多交叉口信号灯协同控制方法
CN110428615A (zh) * 2019-07-12 2019-11-08 中国科学院自动化研究所 基于深度强化学习单路口交通信号控制方法、系统、装置
CN110969872A (zh) * 2019-12-18 2020-04-07 上海天壤智能科技有限公司 基于强化学习和图注意力网络的交通信号控制方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112201060A (zh) * 2020-09-27 2021-01-08 航天科工广信智能技术有限公司 一种基于Actor-Critic的单交叉口交通信号控制方法
CN112216126A (zh) * 2020-09-27 2021-01-12 航天科工广信智能技术有限公司 一种基于sarsa的干线交通控制优化方法
CN113160585A (zh) * 2021-03-24 2021-07-23 中南大学 交通灯配时优化方法、系统及存储介质
CN113160585B (zh) * 2021-03-24 2022-09-06 中南大学 交通灯配时优化方法、系统及存储介质
CN113299079A (zh) * 2021-03-29 2021-08-24 东南大学 一种基于ppo和图卷积神经网络区域交叉口信号控制方法
CN113299079B (zh) * 2021-03-29 2022-06-10 东南大学 一种基于ppo和图卷积神经网络区域交叉口信号控制方法
CN113077642A (zh) * 2021-04-01 2021-07-06 武汉理工大学 一种交通信号灯控制方法、装置及计算机可读存储介质
CN113077642B (zh) * 2021-04-01 2022-06-21 武汉理工大学 一种交通信号灯控制方法、装置及计算机可读存储介质
CN113487860A (zh) * 2021-06-28 2021-10-08 南京云创大数据科技股份有限公司 一种智能交通信号控制方法
CN113704425A (zh) * 2021-08-27 2021-11-26 广东电力信息科技有限公司 一种结合知识增强和深度强化学习的对话策略优化方法
CN113947928A (zh) * 2021-10-15 2022-01-18 河南工业大学 基于深度强化学习与扩展卡尔曼滤波相结合的交通信号灯配时方法

Similar Documents

Publication Publication Date Title
CN111653106A (zh) 一种基于深度q学习的交通信号控制方法
CN111898211B (zh) 基于深度强化学习的智能车速度决策方法及其仿真方法
CN110969848B (zh) 一种对向双车道下基于强化学习的自动驾驶超车决策方法
Bouton et al. Belief state planning for autonomously navigating urban intersections
Zheng et al. Bézier curve‐based trajectory planning for autonomous vehicles with collision avoidance
Naveed et al. Trajectory planning for autonomous vehicles using hierarchical reinforcement learning
CN110745136A (zh) 一种驾驶自适应控制方法
CN107813820A (zh) 一种仿优秀驾驶员的无人车换道路径规划方法
CN113805572A (zh) 运动规划的方法与装置
CN111930110A (zh) 一种结合社会生成对抗网络的意图轨迹预测方法
CN111381597A (zh) 一种基于高斯伪谱法的车辆避障轨迹规划方法
CN114312830A (zh) 一种考虑危险驾驶工况的智能车耦合决策模型及方法
CN110182217A (zh) 一种面向复杂超车场景的行驶任务复杂度量化评估方法
CN113386790B (zh) 一种面向跨海大桥路况的自动驾驶决策方法
Kai et al. A multi-task reinforcement learning approach for navigating unsignalized intersections
CN111625989A (zh) 一种基于a3c-sru的智能车汇入车流方法及系统
Yu et al. Autonomous overtaking decision making of driverless bus based on deep Q-learning method
CN115257789A (zh) 城市低速环境下的营运车辆侧向防撞驾驶决策方法
CN110103960A (zh) 车辆自适应巡航控制方法、系统及车辆
Nan et al. Interaction-Aware Planning With Deep Inverse Reinforcement Learning for Human-Like Autonomous Driving in Merge Scenarios
Feng et al. Autonomous lane change decision making using different deep reinforcement learning methods
CN113569980B (zh) 一种复杂环境下的行人移动轨迹在线预测方法及系统
CN114997048A (zh) 基于探索策略改进的td3算法的自动驾驶车辆车道保持方法
CN113635900B (zh) 一种预测巡航过程中基于能量管理的换道决策控制方法
CN115062202A (zh) 驾驶行为意图及轨迹的预测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200911