CN112201070B - 基于深度学习的自动驾车高速公路瓶颈路段行为决策方法 - Google Patents

基于深度学习的自动驾车高速公路瓶颈路段行为决策方法 Download PDF

Info

Publication number
CN112201070B
CN112201070B CN202011048924.0A CN202011048924A CN112201070B CN 112201070 B CN112201070 B CN 112201070B CN 202011048924 A CN202011048924 A CN 202011048924A CN 112201070 B CN112201070 B CN 112201070B
Authority
CN
China
Prior art keywords
vehicle
automatic driving
model
agent model
intelligent agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011048924.0A
Other languages
English (en)
Other versions
CN112201070A (zh
Inventor
陆林军
朱莲
张文颖
张湛
黄浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202011048924.0A priority Critical patent/CN112201070B/zh
Publication of CN112201070A publication Critical patent/CN112201070A/zh
Application granted granted Critical
Publication of CN112201070B publication Critical patent/CN112201070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种基于深度学习的自动驾车高速公路瓶颈路段行为决策方法，包括步骤：构建城市交通网络场景；建立自动驾驶车辆智能体模型；仿真生成人机混行交通流；训练所述自动驾驶车辆智能体模型得到最优行为决策；分析得到当前自动驾驶车辆智能体模型中自动驾驶车辆的加入对交通流的影响。本发明的一种基于深度学习的自动驾车高速公路瓶颈路段行为决策方法，不用改变原装电气部件直接把电源线接入端子即可，操作简单。

Description

基于深度学习的自动驾车高速公路瓶颈路段行为决策方法
技术领域
本发明涉及自动驾驶车辆行为决策技术领域，尤其涉及一种基于深度学习的自动驾车高速公路瓶颈路段行为决策方法。
背景技术
随着经济的发展，全球汽车保有量的稳步提升。随着市民自驾出行的增多，交通拥堵、尾气排放、事故等交通问题在城市治理中日益突出。自动驾驶汽车的出现能够给这些问题带来新的解决方案。
随着汽车产业以及新兴技术的蓬勃发展，汽车产业也在发生着巨大的变革，从传统的手动驾驶逐渐向自动驾驶智能化的领域转变。现今，各大汽车生产制造商、互联网科技公司以及科研院校都参与到研究中来，为自动驾驶产业提供技术、软件、平台等各方面的支持。以谷歌、nuTonomy为代表的新兴科技互联网创业公司也加入到自动驾驶领域，在人工智能、深度学习等技术方面有更深入的研究，将这些技术应用到无人驾驶算法方面有更好的效果。
自动驾驶车辆的产生与发展不论是对基础设施的建设还是交通流的表现都会带来巨大的影响。随着以人工智能为代表的新兴技术的蓬勃发展，贯彻交通强国、区域一体化等战略要求，自动驾驶专用车道、车路协同的高速场景必然在未来投入并且普及。短时间内，道路上的所有手动驾驶车辆并不会全部被自动驾驶车辆所替代，人机交通流混行是自动驾驶发展进程化中必然会面临的现象。从交通的视角探究自动驾驶车辆与手动驾驶车辆在道路上的交互表现以及不同行驶机制下的自动驾驶车辆对交通流的影响能够给未来的城市建设和交通管理提供思路和方向。
发明内容
针对上述现有技术中的不足，本发明提供一种基于深度学习的自动驾车高速公路瓶颈路段行为决策方法，兼顾安全性和效率两方面，保障自动驾驶车辆在道路上安全舒适地驾驶。
为了实现上述目的，本发明提供一种基于深度学习的自动驾车高速公路瓶颈路段行为决策方法，包括步骤:
S1：构建城市交通网络场景；
S2：建立自动驾驶车辆智能体模型；
S3：仿真生成人机混行交通流；
S4：训练所述自动驾驶车辆智能体模型得到最优行为决策；
S5：分析得到当前自动驾驶车辆智能体模型中自动驾驶车辆的加入对交通流的影响。
优选地，所述S1步骤中，基于SUMO交通系统仿真平台构建城市交通网络场景；
所述S2步骤中，所述建立自动驾驶车辆智能体模型步骤包括：定义和设定所述自动驾驶车辆智能体模型的状态集、动作集和回报函数；
所述S3步骤中，选择手动驾驶车辆模型，在仿真环境中生成所述人机混行交通流；
所述S4步骤中，通过迭代训练获得所述自动驾驶车辆智能体模型的最优行为决策；
所述S5步骤中，在所述SUMO交通系统仿真平台中进行测试，分析在当前自动驾驶车辆智能体模型中加入自动驾驶车辆后的交通流的表现。
优选地，所述S2步骤中，所述状态集包括：车辆速度、车头角度值、位置信息和车道情况；
将所述自动驾驶车辆智能体模型在仿真环境中当前时刻的速度大小值作为所述车辆速度；
将所述自动驾驶车辆智能体模型在仿真环境中当前时刻的车头角度作为所述车辆角度值；
将所述自动驾驶车辆智能体模型在仿真环境中当前时刻的所在位置的横坐标和纵坐标作为所述位置信息；
将所述自动驾驶车辆智能体模型在仿真环境中当前时刻的车道网络的车道作为所述车道情况，所述车道网络包括多条所述车道；
所述S2步骤中，所述动作集包括所述自动驾驶车辆智能体模型的纵向跟驰行为和横向换道行为。
优选地，所述状态集表示为：
s＝(v,x,y,θ,l) (1)；
其中，s表示状态集；v表示所述车辆速度；x,y分别表示所述横坐标和纵坐标；θ表示所述车头角度值；l表示所述车道。
优选地，所述动作集表示为：
a＝(c,d),c∈[cmin,cmax],d∈[-1,1] (2)；
其中，a表示所述动作集；c表示所述自动驾驶车辆智能体模型的加速度，cmin表示所述自动驾驶车辆智能体模型的最小加速度，cmax表示所述自动驾驶车辆智能体模型的最大加速度；d表示换道情况，所述换道情况包括向左变道、保持原车道和向右变道。
优选地，所述回报函数γ2表示为：
Figure GDA0003469758410000031
其中，β、γ为所述自动驾驶车辆智能体模型的参数系数；vdes表示车辆的理想速度，vmin表示车辆的最小速度；v(t)表示所述自动驾驶车辆智能体模型中所有车辆的速度的集合；v′(t)所述自动驾驶车辆智能体模型中自动驾驶车辆的速度集合；tmax表示最大碰撞时间，ti(t)表示t时刻车辆的碰撞时间；AV表示自动驾驶车辆的集合。
优选地，所述S3步骤进一步包括步骤：
S31：在所述SUMO交通系统仿真平台中选择手动驾驶车辆行驶模型；
S32：确定自动驾驶车辆行驶模型；
S33：将所述手动驾驶车辆行驶模型和所述自动驾驶车辆行驶模型按设定比例加载到网络中去，生成所述人机混行交通流。
优选地，所述通过迭代训练获得所述自动驾驶车辆智能体模型的最优行为的步骤满足公式：
Figure GDA0003469758410000032
其中，Rt表示t时刻的最大化预期的回报；rt+k表示t+k时刻的回报，t、k为自然数；π表示驾驶策略；
通过Q learning的算法优化Rt；分析迭代足够次数后的学习曲线，判断对所述自动驾驶车辆智能体模型的训练是否充分。
优选地，所述S5步骤中，分别从时空拥堵模式、效率、安全性和乘客舒适度方面进行分析，得到当前自动驾驶车辆智能体模型中自动驾驶车辆的加入对交通流的影响。
本发明由于采用了以上技术方案，使其具有以下有益效果：
本发明的一种基于深度学习的自动驾车高速公路瓶颈路段行为决策方法，兼顾安全性和效率两方面，保障自动驾驶车辆在道路上安全舒适地驾驶。分别从时空拥堵模式、效率、安全性以及乘客舒适度这几个方面对混合交通流进行评价，发现该行为决策机制下的自动驾驶车辆在混合交通流中起到的作用，给未来的城市建设和交通管理提供思路。
附图说明
图1为本发明实施例的基于深度学习的自动驾车高速公路瓶颈路段行为决策方法的流程图。
具体实施方式
下面根据附图1，给出本发明的较佳实施例，并予以详细描述，使能更好地理解本发明的功能、特点。
请参阅图1，本发明实施例的一种基于深度学习的自动驾车高速公路瓶颈路段行为决策方法，包括步骤:
S1：构建城市交通网络场景；
基于SUMO(Simulation of Urban Mobility)交通系统仿真平台通过定义节点和路段，生成路网文件，构建相应的城市交通网络场景；
S2：建立自动驾驶车辆智能体模型；
S2步骤中，建立自动驾驶车辆智能体模型步骤包括：定义和设定自动驾驶车辆智能体模型的状态集、动作集和回报函数；
其中，状态集包括：车辆速度、车头角度值、位置信息和车道情况；
将自动驾驶车辆智能体模型在仿真环境中当前时刻的速度大小值作为车辆速度；
将自动驾驶车辆智能体模型在仿真环境中当前时刻的车头角度作为车辆角度值；
将自动驾驶车辆智能体模型在仿真环境中当前时刻的所在位置的横坐标和纵坐标作为位置信息；
将自动驾驶车辆智能体模型在仿真环境中当前时刻的车道网络的车道作为车道情况，车道网络包括多条车道；
S2步骤中，动作集包括自动驾驶车辆智能体模型的纵向跟驰行为和横向换道行为。
本实施例中，状态集表示为：
s＝(v,x,y,θ,l) (1)；
其中，s表示状态集；v表示车辆速度；x,y分别表示横坐标和纵坐标；θ表示车头角度值；l表示车道。
动作集表示为：
a＝(c,d),c∈[cmin,cmax],d∈[-1,1] (2)；
其中，a表示动作集；c表示自动驾驶车辆智能体模型的加速度，cmin表示自动驾驶车辆智能体模型的最小加速度，cmax表示自动驾驶车辆智能体模型的最大加速度；d表示换道情况，换道情况包括向左变道、保持原车道和向右变道。
智能体的回报函数从安全性和效率两方面综合考虑，回报函数γ2表示为：
Figure GDA0003469758410000051
其中，α、β、γ为自动驾驶车辆智能体模型的参数系数；vdes表示车辆的理想速度，vmin表示车辆的最小速度；v(t)表示自动驾驶车辆智能体模型中所有车辆的速度的集合；v′(t)自动驾驶车辆智能体模型中自动驾驶车辆的速度集合；tmax表示最大碰撞时间，ti(t)表示t时刻车辆的碰撞时间；AV表示自动驾驶车辆的集合。
S3：仿真生成人机混行交通流；
选择手动驾驶车辆模型，在仿真环境中生成人机混行交通流；
S3步骤进一步包括步骤：
S31：在SUMO交通系统仿真平台中选择手动驾驶车辆行驶模型；
S32：确定自动驾驶车辆行驶模型；
S33：将手动驾驶车辆行驶模型和自动驾驶车辆行驶模型按设定比例加载到网络中去，生成人机混行交通流。
手动驾驶车辆模型选择SUMO仿真软件中自带的驾驶模型，有Gipps、IDM等模型可以选择。选定模型后根据需要研究的交通情况设置参数。主要的参数有minGap、accel、decel、sigma、tau、impatience等。自动驾驶车辆的行驶模型由第二步建立的模型得到。全部定义完毕后以一定的混行比例生成交通流，加载到道路环境中去。
S4：训练自动驾驶车辆智能体模型得到最优行为决策；
S4步骤中，通过迭代训练获得自动驾驶车辆智能体模型的最优行为决策。
通过迭代训练获得自动驾驶车辆智能体模型的最优行为的步骤满足公式：
Figure GDA0003469758410000061
其中，Rt表示t时刻的最大化预期的回报；rt+k表示t+k时刻的回报，t、k为自然数；π表示驾驶策略；
通过Q learning的算法优化Rt；分析迭代足够次数后的学习曲线，判断对自动驾驶车辆智能体模型的训练是否充分。
本实施例中，结合SUMO交通仿真软件在交通环境中对智能体进行训练，得到自动驾驶车辆的最优行为决策。分析训练的学习曲线，当回报收敛时，迭代充分，训练完成。
S5：分析得到当前自动驾驶车辆智能体模型中自动驾驶车辆的加入对交通流的影响。
在SUMO交通系统仿真平台中进行测试，分析在当前自动驾驶车辆智能体模型中加入自动驾驶车辆后的交通流的表现。
分别从时空拥堵模式、效率、安全性和乘客舒适度方面进行分析，得到当前自动驾驶车辆智能体模型中自动驾驶车辆的加入对交通流的影响。
本实施例中，训练结束后在仿真环境中进行测试，得到车辆行驶轨迹文件。对交通流分别从时空拥堵模式、效率、安全性以及乘客舒适度这几个方面进行分析，得到相关结论。
a1)时空拥堵模式分析。通过绘制车辆的时间、空间轨迹图，对交通流在道路上和瓶颈处的拥堵情况具体分析。Kerner在2003年提出的三相位交通流理论，该理论定性地根据不同的交通流时空特性将高速公路上的交通流划分为三种状态，分别为自由流、同步流和宽运动阻塞。
a2)交通流安全性分析。对交通流的安全性表现评价是通过获取道路上行驶车辆的实时交互分析其发生碰撞和冲突的可能性来实现的。在FHWA的报告和Archer后续的研究工作中已经明确认识到了DRAC公式作为安全性能评价指标的重要性。该指标考虑了追尾情况下速度差和减速度在发生碰撞时起到的作用，具体表现在交通流中各个车辆和其前行、后行车辆的时空关系以及相对应的减速度函数情况。DRAC指标的计算公式如下所示。
Figure GDA0003469758410000071
其中，DRACii-1表示第i辆车为了避免与第i-1辆车发生碰撞的减速度。vi和vi-1分别是车辆i及其前车i-1的速度大小。
Figure GDA0003469758410000072
是两车之间的车间距。
但是传统的DRAC指标并未完全描述行驶车辆为避免发生碰撞所表现出来的制动能力。这里引入了基于DRAC指标每0.1秒计算得到的碰撞可能性指数(Crash potentialindex,CPI)，该指数考虑了最大可用减速度(Maximum available deceleration rate,MADR)，该值会随着路面状况和车辆类型等因素的变化而变化。另外，在道路上行驶的车辆i不仅会有和前车i-1发生碰撞的风险，也会有和后车i+1碰撞的风险。因此，在t时刻，车辆i的发生碰撞风险的可能性计算公式如下所示。
Figure GDA0003469758410000073
其中公式中
Figure GDA0003469758410000074
项表示第i辆车与前车i-1辆车的碰撞风险。同样地，
Figure GDA0003469758410000075
代表第i辆车与后车i+1辆车的碰撞风险。
a3)交通流效率分析。对交通流的运行效率进行分析是交通领域中探究交通流在场景中表现好坏的重要指标。对交通流效率评价的一个重要指标是速度，通过计算仿真时间内道路上的所有车辆通过设计的交通场景的平均速度去得到交通流在行驶效率上的直观表现，这是交通领域内非常常见的方法。行程时间用于直观体现道路上交通流的运行效率，为交通设计者与管理者提供决策支持。
a4)乘客舒适度分析。乘客舒适度是车辆工程师们在设计车辆的驾驶机制的时候需要考虑的一个重要依据，特别是对于自动驾驶车辆而言，乘客的舒适度显得更为重要。国际标准化组织(ISO)2631-1引入了舒适度指标(Comfort index,CI)去明确评估车辆的振动程度，具体的计算公式如下所示。
Figure GDA0003469758410000081
其中ai是通过车辆轨迹数据所获得的第i个加速度，N是在整个仿真模拟中记录的总加速度的数量。另外，CI的值越小，表示在行驶过程中车辆振动程度越小，其乘客的舒适度就越高。
例如：以高速公路上下匝道及其交织区这一交通场景为例，具体步骤如下：
①构建城市交通网络场景。
在SUMO交通仿真软件中设定相关道路环境参数，如匝道长，车道数等，建立高速公路上下匝道及其交织区道路环境。
②建立自动驾驶车辆智能体模型。
建立的模型如下。一个马尔科夫决策过程通常由一个五元组构成M＝(S,A,P,R,γ)。
状态集：
s＝(v,x,y,θ,l)
动作集：
a＝(c,d)，c∈[cmin,cmax]，d∈[-1,1]
回报函数：
Figure GDA0003469758410000082
α、β、γ为模型参数，分别取0.1,0.3和0.5。
P为状态转移概率，γ为折扣因子，在这里取值为0.999。
③仿真生成人机混行交通流。
手动驾驶车辆驾驶模型选择IDM智能体模型。其公式为：
Figure GDA0003469758410000091
自动驾驶车辆驾驶模型如②所示。确定人机混行比例，分配路径，设定仿真参数，将交通流加载到道路环境中，初始化仿真环境。
④训练智能体得到最优行为决策。
对于基于深度强化学习的自动驾驶智能体，运用近端策略优化(PPO)算法训练智能体，实现最佳驾驶策略。内置卷积网络的非线性激活函数为relu函数，全连接网络的非线性激活函数为tanh函数。训练迭代次数为500，学习率为1e-5。
⑤分析自动驾驶车辆的加入对交通流的影响。
智能体完成训练后，运用学习后的行驶策略在交通环境中进行测试，分别从时空拥堵模式、效率、安全性以及乘客舒适度这几个方面对交通流进行分析。综合分析后得到的结论是：采用深度强化学习的自动驾驶车辆的加入可以有效缓解瓶颈处的交通拥堵，并防止冲击波的传播，但会在一定程度上降低系统的平均速度。并且，该自动驾驶策略能够有效提高车辆动力学的安全性和提升乘客的舒适度。这些结论也为后续的车辆设计、城市基础设施建设以及交通管理提供了思路和解决方案。
以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (8)

1.一种基于深度学习的自动驾车高速公路瓶颈路段行为决策方法，包括步骤:
S1：构建城市交通网络场景；
S2：建立自动驾驶车辆智能体模型；
S3：仿真生成人机混行交通流；
S4：训练所述自动驾驶车辆智能体模型得到最优行为决策；
S5：分析得到当前自动驾驶车辆智能体模型中自动驾驶车辆的加入对交通流的影响；
所述S1步骤中，基于SUMO交通系统仿真平台构建城市交通网络场景；
所述S2步骤中，所述建立自动驾驶车辆智能体模型步骤包括：定义和设定所述自动驾驶车辆智能体模型的状态集、动作集和回报函数；
所述S3步骤中，选择手动驾驶车辆模型，在仿真环境中生成所述人机混行交通流；
所述S4步骤中，通过迭代训练获得所述自动驾驶车辆智能体模型的最优行为决策；
所述S5步骤中，在所述SUMO交通系统仿真平台中进行测试，分析在当前自动驾驶车辆智能体模型中加入自动驾驶车辆后的交通流的表现。
2.根据权利要求1所述的基于深度学习的自动驾车高速公路瓶颈路段行为决策方法，其特征在于，所述S2步骤中，所述状态集包括：车辆速度、车头角度值、位置信息和车道情况；
将所述自动驾驶车辆智能体模型在仿真环境中当前时刻的速度大小值作为所述车辆速度；
将所述自动驾驶车辆智能体模型在仿真环境中当前时刻的车头角度作为所述车头角度值；
将所述自动驾驶车辆智能体模型在仿真环境中当前时刻的所在位置的横坐标和纵坐标作为所述位置信息；
将所述自动驾驶车辆智能体模型在仿真环境中当前时刻的车道网络的车道作为所述车道情况，所述车道网络包括多条所述车道；
所述S2步骤中，所述动作集包括所述自动驾驶车辆智能体模型的纵向跟驰行为和横向换道行为。
3.根据权利要求2所述的基于深度学习的自动驾车高速公路瓶颈路段行为决策方法，其特征在于，所述状态集表示为：
s＝(v,x,y,θ,l) (1)；
其中，s表示状态集；v表示所述车辆速度；x,y分别表示所述横坐标和纵坐标；θ表示所述车头角度值；l表示所述车道。
4.根据权利要求2所述的基于深度学习的自动驾车高速公路瓶颈路段行为决策方法，其特征在于，所述动作集表示为：
a＝(c,d),c∈[cmin,cmax],d∈[-1,1] (2)；
其中，a表示所述动作集；c表示所述自动驾驶车辆智能体模型的加速度，cmin表示所述自动驾驶车辆智能体模型的最小加速度，cmax表示所述自动驾驶车辆智能体模型的最大加速度；d表示换道情况，所述换道情况包括向左变道、保持原车道和向右变道。
5.根据权利要求2所述的基于深度学习的自动驾车高速公路瓶颈路段行为决策方法，其特征在于，所述回报函数γ2表示为：
Figure FDA0003469758400000021
其中，β、γ为所述自动驾驶车辆智能体模型的参数系数；vdes表示车辆的理想速度，vmin表示车辆的最小速度；v(t)表示所述自动驾驶车辆智能体模型中所有车辆的速度的集合,所有车辆包含自动驾驶车辆和手动驾驶车辆；v′(t)所述自动驾驶车辆智能体模型中自动驾驶车辆的速度集合；tmax表示最大碰撞时间，ti(t)表示t时刻车辆的碰撞时间；AV表示自动驾驶车辆的集合。
6.根据权利要求1所述的基于深度学习的自动驾车高速公路瓶颈路段行为决策方法，其特征在于，所述S3步骤进一步包括步骤：
S31：在所述SUMO交通系统仿真平台中选择手动驾驶车辆行驶模型；
S32：确定自动驾驶车辆行驶模型；
S33：将所述手动驾驶车辆行驶模型和所述自动驾驶车辆行驶模型按设定比例加载到网络中去，生成所述人机混行交通流。
7.根据权利要求1所述的基于深度学习的自动驾车高速公路瓶颈路段行为决策方法，其特征在于，所述通过迭代训练获得所述自动驾驶车辆智能体模型的最优行为的步骤满足公式：
Figure FDA0003469758400000031
其中，Rt表示t时刻的最大化预期的回报；rt+k表示t+k时刻的回报，t、k为自然数；π表示驾驶策略；γ为折扣因子，γt表示t时刻的回报折扣；
通过Q learning的算法优化Rt；分析迭代足够次数后的学习曲线，判断对所述自动驾驶车辆智能体模型的训练是否充分。
8.根据权利要求1所述的基于深度学习的自动驾车高速公路瓶颈路段行为决策方法，其特征在于，所述S5步骤中，分别从时空拥堵模式、效率、安全性和乘客舒适度方面进行分析，得到当前自动驾驶车辆智能体模型中自动驾驶车辆的加入对交通流的影响。
CN202011048924.0A 2020-09-29 2020-09-29 基于深度学习的自动驾车高速公路瓶颈路段行为决策方法 Active CN112201070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011048924.0A CN112201070B (zh) 2020-09-29 2020-09-29 基于深度学习的自动驾车高速公路瓶颈路段行为决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011048924.0A CN112201070B (zh) 2020-09-29 2020-09-29 基于深度学习的自动驾车高速公路瓶颈路段行为决策方法

Publications (2)

Publication Number Publication Date
CN112201070A CN112201070A (zh) 2021-01-08
CN112201070B true CN112201070B (zh) 2022-03-01

Family

ID=74007987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011048924.0A Active CN112201070B (zh) 2020-09-29 2020-09-29 基于深度学习的自动驾车高速公路瓶颈路段行为决策方法

Country Status (1)

Country Link
CN (1) CN112201070B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096416B (zh) * 2021-03-29 2022-02-15 长沙理工大学 用于高速公路上合流区的自动驾驶专用车道与通用车道可变限速的动态协同管控方法
CN113010967B (zh) * 2021-04-22 2022-07-01 吉林大学 一种基于混合交通流模型的智能汽车在环仿真测试方法
CN115662166B (zh) * 2022-09-19 2024-04-09 长安大学 一种自动驾驶数据处理方法及自动驾驶交通系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506830A (zh) * 2017-06-20 2017-12-22 同济大学 面向智能汽车规划决策模块的人工智能训练平台
CN109733415A (zh) * 2019-01-08 2019-05-10 同济大学 一种基于深度强化学习的拟人化自动驾驶跟驰模型
CN110083162A (zh) * 2019-05-17 2019-08-02 交通运输部公路科学研究所 基于混合交通流状态下的自动驾驶车辆控制方法及系统
JP2020083309A (ja) * 2018-11-30 2020-06-04 バイドゥ ユーエスエー エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ 自動運転車両のためのリアルタイム意思決定
WO2020143288A1 (zh) * 2019-01-08 2020-07-16 南京航空航天大学 一种复杂工况下自动驾驶车辆决策系统及其轨迹规划方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169567B (zh) * 2017-03-30 2020-04-07 深圳先进技术研究院 一种用于车辆自动驾驶的决策网络模型的生成方法及装置
CN110196587A (zh) * 2018-02-27 2019-09-03 中国科学院深圳先进技术研究院 车辆自动驾驶控制策略模型生成方法、装置、设备及介质
US11480971B2 (en) * 2018-05-01 2022-10-25 Honda Motor Co., Ltd. Systems and methods for generating instructions for navigating intersections with autonomous vehicles
CN111625989B (zh) * 2020-03-18 2024-02-13 北京联合大学 一种基于a3c-sru的智能车汇入车流方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506830A (zh) * 2017-06-20 2017-12-22 同济大学 面向智能汽车规划决策模块的人工智能训练平台
JP2020083309A (ja) * 2018-11-30 2020-06-04 バイドゥ ユーエスエー エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ 自動運転車両のためのリアルタイム意思決定
CN109733415A (zh) * 2019-01-08 2019-05-10 同济大学 一种基于深度强化学习的拟人化自动驾驶跟驰模型
WO2020143288A1 (zh) * 2019-01-08 2020-07-16 南京航空航天大学 一种复杂工况下自动驾驶车辆决策系统及其轨迹规划方法
CN110083162A (zh) * 2019-05-17 2019-08-02 交通运输部公路科学研究所 基于混合交通流状态下的自动驾驶车辆控制方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
快速路上匝道瓶颈路段异质交通流演变规律;吴德华等;《贵州大学学报(自然科学版)》;20200715;第37卷(第04期);正文第99-104页 *

Also Published As

Publication number Publication date
CN112201070A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN112201070B (zh) 基于深度学习的自动驾车高速公路瓶颈路段行为决策方法
CN111898211B (zh) 基于深度强化学习的智能车速度决策方法及其仿真方法
CN110298131B (zh) 一种混合驾驶环境下自动驾驶换道决策模型建立方法
CN110362910B (zh) 基于博弈论的自动驾驶车辆换道冲突协调模型建立方法
CN110297494B (zh) 一种基于滚动博弈的自动驾驶车辆换道决策方法及系统
CN108919795B (zh) 一种自动驾驶汽车换道决策方法及装置
CN106991251B (zh) 一种高速公路交通流元胞机仿真方法
CN109213148B (zh) 一种基于深度强化学习的车辆低速跟驰决策方法
CN107168303A (zh) 一种汽车的自动驾驶方法及装置
CN110956851B (zh) 一种智能网联汽车协同调度换道方法
CN111754777A (zh) 无人驾驶和有人驾驶混行交通流的微观交通仿真方法
CN110472271A (zh) 一种微观交通仿真的非机动车道混合交通流模型构建方法
CN111994088A (zh) 基于混合策略博弈的驾驶人换道意图识别方法及系统
CN113722835B (zh) 拟人化随机换道驾驶行为建模方法
CN106843210A (zh) 一种基于仿生学的自动驾驶车辆运行控制方法
CN115601954B (zh) 一种智能网联车队的换道判断方法、装置、设备及介质
CN115257789A (zh) 城市低速环境下的营运车辆侧向防撞驾驶决策方法
CN115050183B (zh) 一种生成模拟交通流的方法
CN117227755A (zh) 基于强化学习的复杂交通场景下自动驾驶决策方法及系统
CN114802306A (zh) 一种基于人机共驾理念的智能车辆集成式决策系统
CN114117944B (zh) 一种模型更新方法、装置、设备及可读存储介质
Wang et al. Multi-lane changing model with coupling driving intention and inclination
CN116306800A (zh) 一种基于强化学习的智能驾驶决策学习方法
CN112373482B (zh) 一种基于驾驶模拟器的驾驶习惯建模方法
CN114475607A (zh) 自动驾驶车辆的拟人化换道方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant