CN114802307B - 自动与人工混合驾驶场景下的智能车辆横向控制方法 - Google Patents
自动与人工混合驾驶场景下的智能车辆横向控制方法 Download PDFInfo
- Publication number
- CN114802307B CN114802307B CN202210563712.9A CN202210563712A CN114802307B CN 114802307 B CN114802307 B CN 114802307B CN 202210563712 A CN202210563712 A CN 202210563712A CN 114802307 B CN114802307 B CN 114802307B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- topological graph
- vertex
- agent
- automatic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000003993 interaction Effects 0.000 claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims abstract description 6
- 239000003795 chemical substances by application Substances 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 23
- 230000009471 action Effects 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 16
- 238000012512 characterization method Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 4
- 238000005096 rolling process Methods 0.000 abstract description 3
- 238000011217 control strategy Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008846 dynamic interplay Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
自动与人工混合驾驶场景下的智能车辆横向控制方法，属于自动驾驶技术领域。本发明解决了现有自动驾驶车辆在人工驾驶车辆与自动驾驶车辆处于混行状态时，横向控制过程中存在安全性、舒适性差的问题。它建立智能体拓扑图，对智能体拓扑图中顶点的特征进行提取；将智能体拓扑图中每个顶点的特征输入至深度拓扑图卷积网络对智能体拓扑图每个顶点之间的交互作用建模，获取智能体拓扑图中每个顶点的表征特征；采用深度估值网络获得自动驾驶车辆的横向动作估值；选择横向动作估值最大的横向动作对目标车辆横向控制。本发明适用于自动与人工混合驾驶场景下的智能车辆横向控制。
Description
技术领域
本发明属于自动驾驶技术领域。
背景技术
自动驾驶是当前交通领域最为热门的领域之一，带有多个匝道出口的多车道单向高速公路路段是自动驾驶的典型场景。在该场景中，自动驾驶与人工驾驶车辆之间存在着复杂的、动态的交互作用，因此，自动驾驶车辆要求根据自身、周边自动驾驶与人工驾驶车辆状态、道路结构以及自身出行终点等信息，确定自动驾驶车辆的控制策略，尤其是自动驾驶车辆的横向控制策略，由于人工驾驶车辆与自动驾驶车辆处于混行状态，车辆个体决策之间存在着较强的博弈耦合关系，以往单智能体强化学习类方法(例如Q学习等)难以做出合理的决策，同时由于每个决策个体车辆的感知信息范围受限，无法获取全域环境信息，所以存在横向变道过程中存在安全性、舒适性差的问题。
发明内容
本发明目的是为了解决现有自动驾驶车辆在人工驾驶车辆与自动驾驶车辆处于混行状态时，横向控制过程中存在安全性、舒适性差的问题，提出了自动与人工混合驾驶场景下的智能车辆横向控制方法。
本发明所述自动与人工混合驾驶场景下的智能车辆横向控制方法，包括：
步骤一、根据目标车辆所处环境中的车辆状态信息建立智能体拓扑图，所述车辆包括自动驾驶车辆和人工驾驶车辆；
步骤二、对所述智能体拓扑图中顶点的特征进行提取；获取智能体拓扑图中每个顶点的特征；
步骤三、将智能体拓扑图中每个顶点的特征输入至深度拓扑图卷积网络,获得智能体拓扑图每个顶点之间的交互作用，根据智能体拓扑图中每个顶点之间的交互作用获取每个顶点的表征特征；
步骤四、利用智能体拓扑图中每个顶点的表征特征，利用深度估值网络获取自动驾驶车辆所有横向动作的估值；
步骤五、按照95％的概率使目标车辆执行估值最大的动作,按照5％的概率使目标车辆执行其他横向动作。
进一步地，本发明中，步骤一之前还包括：获取目标车辆所处环境中的车辆状态的步骤，具体为：
使目标车辆与其所处环境中的所有自动驾驶车辆建立通信连接，获取自动驾驶车辆的状态，采用传感器采集距离自身y米范围内的人工驾驶车辆的状态，y为正数。
进一步地，本发明中，y为200。
进一步地，本发明中，步骤一中，智能体拓扑图表示为：
其中，
分别表示拓扑图的顶点集合、边集合和邻接矩阵，拓扑图中的每个顶点表示一辆自动驾驶车或者一辆人工驾驶车，拓扑图中的边为任意两个顶点i，j之间存在的连接关系，表示两辆车辆之间存在信息共享，所述邻接矩阵根据车辆所处环境中的车辆状态信息建立。
进一步地，本发明中，步骤二中，智能体拓扑图中每个顶点的特征包括：车辆的速度、车辆的纵向位置、车辆所处的车道编号、车辆在当前时刻横向动作意愿和车辆是否为自动驾驶车辆；其中，车辆的纵向位置以目标车辆为参照点获取，车辆所处的车道编号采用独热码的方式编码，车辆在当前时刻横向动作包括：保持当前车道，向左变道和向右变道。
进一步地，本发明中，深度拓扑图卷积网络包括三个全连接层、三个激活函数ReLU层、一个拓扑图卷积层和一个拼接层。
进一步地，本发明中，步骤三中，将智能体拓扑图中每个顶点的特征依次经一个全连接层和激活函数ReLU层对顶点的特征增强后，再依次经过一个全连接层和激活函数ReLU层对顶点的特征再次增强后传输至拓扑图卷积层，所述拓扑图卷积层采用双层的GCN网络对再次增强后的顶点特征和拓扑图邻接矩阵进行空间特征信息聚合，获取车辆智能体间交互作用的表征向量，所述车辆智能体间交互作用的表征向量依次经过一个全连接层和激活函数ReLU层后经拼接层进行拼接，获取每个顶点的表征特征。
进一步地，本发明中，深度估值网络和深度拓扑图卷积网络均为采用深度Q学习的方法训练后的网络。
进一步地，本发明中，深度估值网络和深度拓扑图卷积网络中的奖励函数为：
R＝10×RI-100RC+2×RS-0.3×RL
其中，RI为意图达成奖励、RC为碰撞惩罚、RS为平均速度奖励，RL为换车道惩罚，R为综合奖励。
本发明针对的是在带有多个出口匝道的多车道单向高速公路路段中，存在自动驾驶(完全由机器来进行车辆的横向和纵向控制)以及人工驾驶(由人类驾驶员进行车辆控制)两种车辆混行的交通状态下，自动驾驶车辆如何根据2种类型的智能体(具体指人工驾驶和自动驾驶两种类型的车辆)之间的交互作用、相互影响，做出智能化的车辆横向控制决策，从而最大限度保障整体交通安全性，缩短整体出行时间和保障出行舒适性。
附图说明
图1是自动驾驶与人工驾驶混行交通场景示意图；
图2是本发明所述自动与人工混合驾驶场景下的智能车辆横向控制方法流程图；
图3是智能体拓扑图中每个顶点的特征输入至深度拓扑图卷积网络对智能体拓扑图每个顶点之间的交互作用建模示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
具体实施方式一：下面结合图1至图3说明本实施方式，本实施方式所述自动与人工混合驾驶场景下的智能车辆横向控制方法，包括：
步骤一、根据目标车辆所处环境中的车辆状态信息建立智能体拓扑图，所述车辆包括自动驾驶车辆和人工驾驶车辆；
步骤二、对所述智能体拓扑图中顶点的特征进行提取；获取智能体拓扑图中每个顶点的特征；
步骤三、将智能体拓扑图中每个顶点的特征输入至深度拓扑图卷积网络，获得智能体拓扑图每个顶点之间的交互作用，根据智能体拓扑图中每个顶点之间的交互作用获取每个顶点的表征特征；
步骤四、利用智能体拓扑图中每个顶点的表征特征，利用深度估值网络获取自动驾驶车辆所有横向动作的估值；
步骤五、按照95％的概率使目标车辆执行估值最大的动作，按照5％的概率使目标车辆执行其他横向动作。
进一步地，本发明中，步骤一之前还包括：获取目标车辆所处环境中的车辆状态的步骤，具体为：
使目标车辆与其所处环境中的所有自动驾驶车辆建立通信连接，获取自动驾驶车辆的状态，采用传感器采集距离自身y米范围内的人工驾驶车辆的状态，y为正整数。
进一步地，本发明中，y为200。
进一步地，本发明中，步骤一中，智能体拓扑图表示为：
其中，
分别表示拓扑图的顶点集合、边集合和邻接矩阵，拓扑图中的每个顶点表示代表一辆自动驾驶车或者一辆人工驾驶车，拓扑图中的边为任意两个顶点i，j之间存在的连接关系，表示两辆车辆之间存在信息共享，所述邻接矩阵根据车辆所处环境中的车辆状态信息建立。
进一步地，本发明中，步骤二中，智能体拓扑图中每个顶点的特征包括：车辆的速度、车辆的纵向位置、车辆所处的车道编号、车辆在当前时刻横向动作意愿和车辆是否为自动驾驶车辆；其中，车辆的纵向位置以目标车辆为参照点获取，车辆所处的车道编号采用独热码的方式编码，车辆在当前时刻横向动作包括：保持当前车道，向左变道和向右变道。
进一步地，本发明中，深度拓扑图卷积网络包括三个全连接层、三个激活函数ReLU层、一个拓扑图卷积层和一个拼接层。
进一步地，本发明中，步骤三中，将智能体拓扑图中每个顶点的特征依次经一个全连接层和激活函数ReLU层对顶点的特征增强后，再依次经过一个全连接层和激活函数ReLU层对顶点的特征再次增强后传输至拓扑图卷积层，所述拓扑图卷积层采用双层的GCN网络对再次增强后的顶点特征和拓扑图邻接矩阵进行空间特征信息聚合，获取车辆智能体间交互作用的表征向量，所述车辆智能体间交互作用的表征向量依次经过一个全连接层和激活函数ReLU层后经拼接层进行拼接，获取每个顶点的表征特征。
进一步地，本发明中，深度估值网络和深度拓扑图卷积网络均为采用深度Q学习的方法训练后的网络。
进一步地，本发明中，深度估值网络和深度拓扑图卷积网络中的奖励函数为：
R＝10×RI-I00RC+2×RS-0.3×RL
其中，RI为意图达成奖励、RC为碰撞惩罚、RS为平均速度奖励，RL为换车道惩罚，R为综合奖励。
本发明的具体过程为：
(1)构建智能体拓扑图；根据任意考察时刻t，驾驶场景中人工驾驶与自动驾驶混行状态，构建智能体拓扑图，表示为
其中
分别表示拓扑图的顶点集合、边集合和邻接矩阵。拓扑图的每个顶点均代表一辆自动驾驶车或者一辆人工驾驶车，如图2中，黑色顶点代表自动驾驶车辆，灰色顶点代表人工驾驶车辆。拓扑图中任意两个顶点i，j之间存在连接关系，则表明它们所代表的车辆之间存在信息的共享。本方法中假设：1)所有车辆都和自身之间有信息共享，也就是拓扑图中所有顶点存在自连接；2)所有自动驾驶车和自动驾驶车之间存在信息共享，也就是拓扑图中黑色和黑色顶点之间必定存在连接；3)所有自动驾驶车和其传感器感知范围内(以自动驾驶车辆所在位置为中心，半径为200米的范围)的车辆建立通信连接，存在信息共享。根据这些假设，可以构建任意考察时刻驾驶场景中的拓扑图的邻接矩阵
(2)定义拓扑图中任意顶点的特征；任意考察时刻t的拓扑图
中任意顶点
的特征表示为[Vi，Xi，Li，Ii，Fi]，其中，Vi表示顶点i所代表车辆的速度；Xi表示顶点i所代表车辆所处的纵向(行车方向)的位置；Li表示顶点i所代表车辆所处的车道编号，采用独热码的方式进行编码；Ii表示顶点i所代表车辆在当前时刻的意愿，包括：保持当前车道，向左变道和向右变道，采用独热码方式进行编码；Fi表示顶点i所代表车辆是否为自动驾驶车辆，如果是为1，否则为0。
(3)采用深度拓扑图卷积网络对车辆智能体之间的交互作用进行建模；通过深度拓扑图卷积网络，建模当前时刻拓扑图内各顶点所代表车辆智能体之间的交互作用，最终通过图卷积操作，生成每个顶点所代表车辆的决策模型输入状态。具体流程如图3所示。
将第(2)步中所构建的拓扑图特征，首先经过一个全连接层，将每个顶点的特征维度放大，起到特征表达增强的作用，然后将放大维度的特征通过激活函数ReLU；把输出的结果，通过同样的操作步骤，再经过一个全连接层和一个激活函数ReLU层，从而得到特征增强后的拓扑图特征。进一步，将增强后的拓扑图特征和拓扑图邻接矩阵共同输入到图卷积模块，采用双层的GCN网络进行空间特征信息聚合，将聚合结果再输入给一个全连接层和一个激活函数ReLU层，得到对车辆智能体间交互作用进行建模后的表征向量，再将其与拓扑图特征经过第一个全连接层和激活函数ReLU层所获得的增强特征进行拼接操作，最终作为每个顶点的表征特征。
(4)采用深度估值网络计算特定输入状态下，每个顶点(如果其为自动驾驶车辆)下的横向动作估值。深度估值网络采用双层全连接神经网络，以第(3)步中每个顶点的表征特征为输入，分别计算每个可能横向控制决策(包括保持车道、向左换道和向右换道)下的未来收益估值。
(5)根据估值结果，选择横向控制决策执行。在第(4)步估值的基础上，以95％的概率执行估值最大的动作，以5％的概率随机执行任意可行动作。
深度拓扑图卷积网络与深度估值网络的训练方法：
第(3)、(4)步中的深度神经网络需要经过训练才能够使用。训练的目的是确定(3)、(4)步中的深度神经网络的具体权重值。整体上，采用深度Q学习的方法，将这两个网络拼接在一起进行整体训练，具体步骤为：
①构建深度网络训练样本采集的仿真环境。仿真环境由微观交通流仿真软件SUMO负责搭建，模拟人工驾驶车辆和自动驾驶车辆的混合出行状态。首先，在SUMO中构建如图1所示的道路场景，仿真开始后，人工车辆按照每1秒1辆车的频率产生，自动驾驶车辆按照每2秒1辆车的频率产生，车辆均从道路最左侧产生，由左向右行驶。仿真环境负责产生自动驾驶车辆感知的状态和接收自动驾驶以及人工驾驶决策行为，并对应执行。
②确定人工驾驶车辆的控制策略和自动驾驶车辆的控制策略。对于人工驾驶车辆和自动驾驶车辆的控制策略均包括横向控制策略和纵向控制策略。横向控制策略负责在车道之间进行变换，纵向控制策略负责在行进方向上车辆的加减速。对于人工驾驶车辆，其横向控制和纵向控制均采用SUMO内置的车辆控制逻辑，即MOBIL和IDM模型；对于自动驾驶车辆，其纵向控制采用SUMO内置的IDM模型，其横向控制策略采用本发明提出的方法。
③自动驾驶车辆的横向控制动作集合。自动驾驶车辆的横向控制动作包括3种，分别是保持当前车道、向左变道和向右变道。
④自动驾驶车辆的横向控制的奖励函数定义。自动驾驶车辆控制动作的奖励函数，用于衡量执行一个特定横向控制动作，所能获得的即时收益。奖励函数包括4个组成部分：意图达成奖励RI、碰撞惩罚RC、平均速度奖励RS和换车道惩罚RL。综合奖励R的具体计算公式为：R＝10×RI-100RC+2×RS-0.3×RL。
⑤训练深度拓扑图卷积网络与深度估值网络。依据自动驾驶车辆状态、动作和奖励函数的定义，采用深度Q学习算法，对深度拓扑图卷积网络与深度估值网络所构成的串行整体网络进行训练。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。
Claims (6)
1.自动与人工混合驾驶场景下的智能车辆横向控制方法，其特征在于，包括：
步骤一、根据目标车辆所处环境中的车辆状态信息建立智能体拓扑图，所述车辆包括自动驾驶车辆和人工驾驶车辆；
智能体拓扑图表示为：
其中，
εt，
分别表示拓扑图的顶点集合、边集合和邻接矩阵，拓扑图中的每个顶点表示代表一辆自动驾驶车或者一辆人工驾驶车，拓扑图中的边为任意两个顶点i，j之间存在的连接关系，表示两辆车辆之间存在信息共享，所述邻接矩阵根据车辆所处环境中的车辆状态信息建立；
步骤二、对所述智能体拓扑图中顶点的特征进行提取；获取智能体拓扑图中每个顶点的特征；
智能体拓扑图中每个顶点的特征包括：车辆的速度、车辆的纵向位置、车辆所处的车道编号、车辆在当前时刻横向动作意愿和车辆是否为自动驾驶车辆；其中，车辆的纵向位置以目标车辆为参照点获取，车辆所处的车道编号采用独热码的方式编码，车辆在当前时刻横向动作包括：保持当前车道，向左变道和向右变道；
步骤三、将智能体拓扑图中每个顶点的特征输入至深度拓扑图卷积网络，获得智能体拓扑图每个顶点之间的交互作用，根据智能体拓扑图中每个顶点之间的交互作用获取每个顶点的表征特征；
深度拓扑图卷积网络包括三个全连接层、三个激活函数ReLU层、一个拓扑图卷积层和一个拼接层；
步骤四、利用智能体拓扑图中每个顶点的表征特征，利用深度估值网络获取自动驾驶车辆所有横向动作的估值；
步骤五、按照95％的概率使目标车辆执行估值最大的横向动作，按照5％的概率使目标车辆执行其他横向动作。
2.根据权利要求1所述的自动与人工混合驾驶场景下的智能车辆横向控制方法，其特征在于，步骤一之前还包括：获取目标车辆所处环境中的车辆状态的步骤，具体为：
使目标车辆与其所处环境中的所有自动驾驶车辆建立通信连接，获取自动驾驶车辆的状态，采用传感器采集距离自身y米范围内的人工驾驶车辆的状态，y为正整数。
3.根据权利要求2所述的自动与人工混合驾驶场景下的智能车辆横向控制方法，其特征在于，y为200。
4.根据权利要求2或3所述的自动与人工混合驾驶场景下的智能车辆横向控制方法，其特征在于，步骤三中，将智能体拓扑图中每个顶点的特征依次经一个全连接层和激活函数ReLU层对顶点的特征增强后，再依次经过一个全连接层和激活函数ReLU层对顶点的特征再次增强后传输至拓扑图卷积层，所述拓扑图卷积层采用双层的GCN网络对再次增强后的顶点特征和拓扑图邻接矩阵进行空间特征信息聚合，获取车辆智能体间交互作用的表征向量，所述车辆智能体间交互作用的表征向量依次经过一个全连接层和激活函数ReLU层后经拼接层进行拼接，获取每个顶点的表征特征。
5.根据权利要求1或3所述的自动与人工混合驾驶场景下的智能车辆横向控制方法，其特征在于，深度估值网络和深度拓扑图卷积网络均为采用深度Q学习的方法训练后的网络。
6.根据权利要求1所述的自动与人工混合驾驶场景下的智能车辆横向控制方法，其特征在于，深度估值网络和深度拓扑图卷积网络中的奖励函数为：
R＝10×RI-100RC+2×RS-03×RL
其中，RI为意图达成奖励、RC为碰撞惩罚、RS为平均速度奖励，RL为换车道惩罚，R为综合奖励。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210563712.9A CN114802307B (zh) | 2022-05-23 | 2022-05-23 | 自动与人工混合驾驶场景下的智能车辆横向控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210563712.9A CN114802307B (zh) | 2022-05-23 | 2022-05-23 | 自动与人工混合驾驶场景下的智能车辆横向控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114802307A CN114802307A (zh) | 2022-07-29 |
| CN114802307B true CN114802307B (zh) | 2023-05-05 |
Family
ID=82517674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210563712.9A Active CN114802307B (zh) | 2022-05-23 | 2022-05-23 | 自动与人工混合驾驶场景下的智能车辆横向控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114802307B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052776A (zh) * | 2020-09-01 | 2020-12-08 | 中国人民解放军国防科技大学 | 无人车自主驾驶行为优化方法、装置和计算机设备 |
| CN112965499A (zh) * | 2021-03-08 | 2021-06-15 | 哈尔滨工业大学（深圳） | 基于注意力模型和深度强化学习的无人车行驶决策方法 |
| CN113112022A (zh) * | 2021-04-06 | 2021-07-13 | 清华大学 | 智能汽车队列人-车-路系统多智能体联合建模方法 |
| CN113561995A (zh) * | 2021-08-19 | 2021-10-29 | 崔建勋 | 一种基于多维奖励架构深度q学习的自动驾驶决策方法 |
| CN113635909A (zh) * | 2021-08-19 | 2021-11-12 | 崔建勋 | 一种基于对抗生成模仿学习的自动驾驶控制方法 |
| CN113689470A (zh) * | 2021-09-02 | 2021-11-23 | 重庆大学 | 一种多场景融合下的行人运动轨迹预测方法 |
| CN114013443A (zh) * | 2021-11-12 | 2022-02-08 | 哈尔滨工业大学 | 一种基于分层强化学习的自动驾驶车辆换道决策控制方法 |
| CN114299607A (zh) * | 2021-12-13 | 2022-04-08 | 南京理工大学 | 一种基于自动驾驶汽车的人车碰撞危险度分析方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102138979B1 (ko) * | 2018-11-29 | 2020-07-29 | 한국과학기술원 | 차선 기반의 확률론적 주변 차량 거동 예측 및 이를 이용한 종방향 제어 방법 |
-
2022
- 2022-05-23 CN CN202210563712.9A patent/CN114802307B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052776A (zh) * | 2020-09-01 | 2020-12-08 | 中国人民解放军国防科技大学 | 无人车自主驾驶行为优化方法、装置和计算机设备 |
| CN112965499A (zh) * | 2021-03-08 | 2021-06-15 | 哈尔滨工业大学（深圳） | 基于注意力模型和深度强化学习的无人车行驶决策方法 |
| CN113112022A (zh) * | 2021-04-06 | 2021-07-13 | 清华大学 | 智能汽车队列人-车-路系统多智能体联合建模方法 |
| CN113561995A (zh) * | 2021-08-19 | 2021-10-29 | 崔建勋 | 一种基于多维奖励架构深度q学习的自动驾驶决策方法 |
| CN113635909A (zh) * | 2021-08-19 | 2021-11-12 | 崔建勋 | 一种基于对抗生成模仿学习的自动驾驶控制方法 |
| CN113689470A (zh) * | 2021-09-02 | 2021-11-23 | 重庆大学 | 一种多场景融合下的行人运动轨迹预测方法 |
| CN114013443A (zh) * | 2021-11-12 | 2022-02-08 | 哈尔滨工业大学 | 一种基于分层强化学习的自动驾驶车辆换道决策控制方法 |
| CN114299607A (zh) * | 2021-12-13 | 2022-04-08 | 南京理工大学 | 一种基于自动驾驶汽车的人车碰撞危险度分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114802307A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111898211B (zh) | 基于深度强化学习的智能车速度决策方法及其仿真方法 | |
| CN112215337B (zh) | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 | |
| WO2022052406A1 (zh) | 一种自动驾驶训练方法、装置、设备及介质 | |
| Bai et al. | Deep reinforcement learning based high-level driving behavior decision-making model in heterogeneous traffic | |
| CN111061277A (zh) | 一种无人车全局路径规划方法和装置 | |
| CN110647839A (zh) | 自动驾驶策略的生成方法、装置及计算机可读存储介质 | |
| CN113253739B (zh) | 一种用于高速公路的驾驶行为决策方法 | |
| CN112784485B (zh) | 一种基于强化学习的自动驾驶关键场景生成方法 | |
| Garzón et al. | Game theoretic decision making for autonomous vehicles’ merge manoeuvre in high traffic scenarios | |
| CN114973650B (zh) | 车辆匝道入口合流控制方法、车辆、电子设备及存储介质 | |
| CN117346805B (zh) | 一种非结构化环境的特种车辆自动驾驶路径规划方法 | |
| CN113104050B (zh) | 一种基于深度强化学习的无人驾驶端到端决策方法 | |
| CN110956851A (zh) | 一种智能网联汽车协同调度换道方法 | |
| Yuan et al. | Multi-reward architecture based reinforcement learning for highway driving policies | |
| CN113511222A (zh) | 场景自适应式车辆交互行为决策与预测方法及装置 | |
| CN117227755A (zh) | 基于强化学习的复杂交通场景下自动驾驶决策方法及系统 | |
| CN116853273A (zh) | 知识和数据融合驱动的云控式网联车辆协同巡航控制方法 | |
| CN117636651A (zh) | 基于时空图神经网络强化学习的匝道合流区混合交通流控制方法 | |
| CN114802307B (zh) | 自动与人工混合驾驶场景下的智能车辆横向控制方法 | |
| CN117872800A (zh) | 一种基于离散状态空间下强化学习的决策规划方法 | |
| CN115719547A (zh) | 基于多重交互行为的交通参与者轨迹预测方法及系统 | |
| CN116127853A (zh) | 融合时序信息的基于ddpg的无人驾驶超车决策方法 | |
| CN114648120A (zh) | 可解释的智能体决策方法、智能系统和该系统的应用 | |
| CN115700626A (zh) | 用于车辆的奖励函数 | |
| Peiss et al. | Graph-Based Autonomous Driving with Traffic-Rule-Enhanced Curriculum Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |