CN115158364A - 一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法 - Google Patents
一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法 Download PDFInfo
- Publication number
- CN115158364A CN115158364A CN202210980755.7A CN202210980755A CN115158364A CN 115158364 A CN115158364 A CN 115158364A CN 202210980755 A CN202210980755 A CN 202210980755A CN 115158364 A CN115158364 A CN 115158364A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- track
- driving
- week
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims abstract description 7
- 230000015556 catabolic process Effects 0.000 claims abstract description 4
- 238000006731 degradation reaction Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 19
- 230000001133 acceleration Effects 0.000 claims description 15
- 230000003442 weekly effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000005265 energy consumption Methods 0.000 claims description 3
- 230000035484 reaction time Effects 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000007774 longterm Effects 0.000 abstract description 6
- 230000008033 biological extinction Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 150000001875 compounds Chemical class 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
- B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
- B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0028—Mathematical models, e.g. for simulation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0052—Filtering, filters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/801—Lateral distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/803—Relative lateral speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/804—Relative longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/805—Azimuth angle
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法，涉及智能驾驶。1)周车行驶数据处理：采集周车行驶数据，设立规则定义周车的驾驶意图类型，为各序列数据设标签，获得实现车辆运动预测所需数据；2)周车驾驶意图和轨迹联合预测：构建基于BiLSTM的意图识别模型，对周车驾驶意图识别；构建基于LSTM的编码器‑解码器框架的轨迹预测模型，引入注意力机制提升时序问题预测效果，结合周车位置信息、驾驶意图对周车较长时域轨迹预测；3)提供决策信息：根据联合预测的结果为主车的后续操纵提供信息依据。节省计算成本，提高长期轨迹预测准确性；减小深层网络梯度消失和网络退化问题的影响。为车辆提供决策信息，保证安全性和舒适性。
Description
技术领域
本发明涉及智能驾驶技术领域，特别是涉及一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法。
背景技术
近年来自动驾驶汽车作为改善交通安全、缓解智能交通系统能源和环境问题的有效途径，越来越受到人们的关注。自动驾驶汽车需要具有预测周围车辆未来移动的能力，以便提前规划安全的驾驶路径，有效减少交通事故。在自动驾驶的背景下，对自动驾驶车辆周围车辆运动的早期预测是确保高水平道路安全的关键因素。车辆运动预测主要有两种类型：驾驶意图识别和轨迹预测。
随着人工智能的快速发展，深度学习的最新进展为解决车辆运动预测问题提供强有力的工具，基于深度学习的车辆运动预测方法成为主流。文献[1](Ding W,etc.Predicting Vehicle Behaviors Over An Extended Horizon Using BehaviorInteraction Network,2019International Conference on Robotics and Automation(ICRA),Montreal,Canada.2019)提出一种基于循环神经网络(RNN)的新型车辆行为交互网络用于车辆交互建模，以预测周围车辆的切入意图，然而，意图识别无法得到明确的轨迹信息。文献[2](Yan J,etc.Trajectory Prediction for Intelligent Vehicles UsingSpatial-Attention Mechanism[J].IET Intelligent Transport Systems,2020,14(13).)基于LSTM编码器-解码器框架提出两种空间注意机制来实现轨迹预测，虽然提高轨迹的预测精度，但是因单纯使用位移和速度作为预测输入，长期轨迹预测的效果仍有提升的空间；另外，上述研究对车辆的运动预测单独考虑驾驶意图识别或轨迹预测，为后续主车提供的决策信息较为单一。
发明内容
本发明的目的是针对上述背景技术中存在的问题，提供通过自动驾驶汽车配备的传感器采集的周车行驶信息，利用深度学习网络对周车的驾驶意图和行驶轨迹进行联合预测，为车辆提供丰富的决策信息以保证车辆行驶安全的一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法。该方法考虑驾驶意图特征和引入注意力机制进行轨迹预测，能保证长期轨迹预测的效果；另外，联合预测的方法可以同时获得周车的驾驶意图和周车后续较长时域内的轨迹，为车辆提供丰富的决策信息，保证自动驾驶汽车的安全性和舒适性。
为达到上述目的，本发明采用的技术方案如下：
本发明包括以下步骤：
1)周车行驶数据处理：将车辆配备的摄像头、毫米波雷达等车载传感器采集的周车行驶数据进行处理，设立规则定义周车的驾驶意图类型，为各个序列数据设置标签，从而获得实现车辆运动预测所需的数据；
2)周车驾驶意图和轨迹联合预测：构建基于BiLSTM的意图识别模型，对周车的驾驶意图进行识别；构建基于LSTM的编码器-解码器框架的轨迹预测模型，并引入一种注意力机制提升时序问题预测的效果，同时结合周车的位置信息、驾驶意图对周车进行较长时域的轨迹预测；
3)提供决策信息：根据联合预测的结果为主车的后续操纵提供丰富的信息依据。
在步骤1)中，所述周车行驶数据处理的具体方法为：
(1)由车辆配备的摄像头、毫米波雷达等车载传感器采集到的周车行驶数据主要有：周车与主车的纵向距离、横向距离、纵向相对速度、横向相对速度、纵向相对加速度、横向相对加速度，周车相对于主车的方位角以及方位角变化率；
(2)对数据的缺失值进行填补，采用最近邻填补法对单个缺失值进行填充，采用插值法对连续多个的缺失值进行填充，使用3-σ法则对数据的异常值进行去除，最后使用Savitzky-Golay滤波器对数据进行滤波从而得到比较光滑的数据曲线；
(3)定义坐标系以方便描述车辆的位置，计算主车和周车各个时刻的位置坐标；
(4)将周车驾驶意图定义为向左换道、向右换道和直行，为每段行驶序列数据设置意图标签。
在步骤2)中，所述对周车的驾驶意图进行识别的具体方法为：
(1)周车驾驶意图识别是一个分类问题，驾驶意图识别模型对输入的多特征多步长时间序列数据进行分类。
(2)基于BiLSTM网络构建周车驾驶意图识别模型，BiLSTM网络是由前向LSTM与后向LSTM组合而成，它可以充分利用上下文的信息，来提高时间序列预测结果的准确性。
(3)受ResNet的启发，在Bi-LSTM网络中添加shortcut connections，实现梯度的跨步计算，能有效减小深层网络梯度消失和网络退化问题的影响。
(4)由于对意图的识别不同于轨迹预测需要获得车辆具体的位置信息，因此本发明采用经步骤1)处理后的周车行驶数据(周车与主车的纵向距离、横向距离、纵向相对速度、横向相对速度、纵向相对加速度、横向相对加速度，周车相对于主车的方位角以及方位角变化率)等8个特征作为意图识别模型的输入，而不考虑把周车位置信息纳入考虑，既捕捉驾驶意图的主要特征，保证预测准确性，又节省计算成本。
(5)将8个特征序列输入驾驶意图识别模型，输出周车的驾驶意图概率向量，概率最大的驾驶意图即为最终的识别结果。
在步骤2)中，所述对周车进行较长时域的轨迹预测的具体方法为：
(1)为了捕获轨迹中的时间依赖关系，采用基于LSTM的编码器-解码器框架建立轨迹预测模型，这是处理轨迹预测问题的最先进体系结构；
(2)轨迹预测的输出为车辆的具体位置坐标，轨迹预测的输入除意图识别模型的8个输入特征外，还将添加周车轨迹位置坐标信息；
(3)在LSTM解码器中添加shortcut connections；
(4)LSTM编码器将输入的历史特征信息序列编码为一个固定长度的上下文向量，LSTM解码器解码过程中采用软注意力机制，通过点积计算上一时刻的解码器隐藏状态与编码器中每个历史时刻的隐藏状态的注意力值，然后经SoftMax函数处理得到每个历史时刻隐藏状态的注意力分数，最后通过加权求和得到更新后的上下文向量；
(5)LSTM解码器结合意图识别模型获得的驾驶意图概率向量，更新后的上下文向量和解码器上一时间步预测的轨迹位置输出作为当前时刻的输入预测当前时间步的轨迹位置。
在步骤3)中，所述提供决策信息的具体方法为：经过驾驶意图和轨迹的联合预测，获得周车当前的驾驶意图和其后续一段时间的轨迹位置；根据识别的驾驶意图可大致判断其短时间内的行为，为主车操纵预留反应时间，降低车辆碰撞的风险，保证驾驶的安全性；主车根据预测获得的周车后续一段时间内的轨迹位置，提前做好路径规划，可获得到达目的地的最优操纵选择，既保证驾驶的舒适性，又减少无用的能耗。
本发明的有益效果在于：
1、本发明利用深度学习网络对周车的驾驶意图和轨迹进行联合预测，可以获得周车当前时刻的驾驶意图以及后续较长时域的轨迹信息：驾驶意图的识别为主车提供周车当前的行驶状况，给驾驶员预留操作反应时间，保证短期内主车驾驶的安全性；后续较长时域的轨迹预测，为主车的长期决策规划提供重要信息，既保证主车驾驶的舒适性又节省不必要的能耗。
2、与使用位移和速度的传统轨迹运动输入相比，本发明通过利用附加信息(加速度、方向角和方向角速度)来提高预测效果，并针对意图识别和轨迹预测的不同特点，合理选择不同的输入进行预测，节省计算成本，提高预测效率。
3、由于车辆的驾驶意图是影响车辆未来行驶轨迹的重要因素，本发明考虑驾驶意图特征进行轨迹预测，基于LSTM编码器-解码器框架并设计一种软注意力机制，用于关注目标周车不同时刻的历史信息对其未来轨迹的影响，提高长期轨迹预测的准确性；同时学习ResNet网络的优点，在预测网络中添加shortcut connections，能有效减小深层网络梯度消失和网络退化问题的影响。
附图说明
图1为本发明的方案框架示意图。
图2为本发明的坐标系示意图。
图3为本发明的车辆驾驶意图分类示意图。
图4为本发明的周车驾驶意图和轨迹联合预测的模型示意图。
具体实施方式
以下实施例将结合附图对本发明作进一步的说明。
本发明实施例的方案框架如图1所示，由数据的处理、周车意图识别和轨迹预测的联合预测、提供决策信息三个部分组成，包括以下步骤：
步骤1：数据的处理步骤如下：
步骤1.1：获取由车辆配备的摄像头、毫米波雷达等车载传感器采集到的周车行驶数据：周车与主车的纵向距离、横向距离、纵向相对速度、横向相对速度、纵向相对加速度、横向相对加速度，周车相对于主车的方位角以及方位角变化率。
步骤1.2：对于数据中单个缺失值，采用最近邻填补法用其前一时间步或后一时间步的数据进行填充；对于连续多个的缺失值，采用插值法计算缺失值前一个值和后一个值的平均数进行填充。对于数据中存在的异常值，采用3-σ准则对异常值进行去除，计算各个特征的标准差σ和均值μ，去除数值分布在(μ-3σ，μ+3σ)区间外的数据。最后采用Savitzky-Golay滤波器对数据进行滤波，在原始数据x(i)附近取M个采样点，在x周围构建一个2M+1个采样点的窗口来拟合p阶多项式y(i)，其表达式为
式中，y(i)是处理后的数据，i＝-M，...，0，...，M；E是总的误差平方和；p≤2M。
步骤1.3：定义坐标系，图2为本发明的坐标系示意图；在t时刻预测，原点固定在主车上，x轴指向高速公路的运动方向，y轴指向与之垂直的方向。这使得本发明的数据获取更好地与自动驾驶车辆上的车载传感器相匹配。
步骤1.4：由文献[3](Toledo T，etc.Modeling duration of lane changes[J].Transportation Research Record，2007，1999(1).)知市区内车道变更的平均持续时间为5s，高速公路上的平均持续时间为5.8s，综合考虑将换道时间设置为5.4s；图3为本发明的车辆驾驶意图分类示意图，如图所示，车辆轨迹与左道路虚线的交点为左换道点，将沿左换道点的逆时间方向2.7s时刻车辆所处的位置定义为左换道起点，将沿左换道点的顺时间方向2.7秒时刻车辆所处的位置定义为左换道终点；轨迹序列中包含左换道片段定义为向左换道意图；基于同样的方法定义向右换道意图；如果车辆轨迹序列不包含换道片段，则将此轨迹片段定义为车道保持意图。依据此规则为每段行驶数据设置意图标签。
步骤2：联合预测的模型示意图如图4所示，对周车驾驶意图和轨迹进行联合预测，实施步骤如下：
步骤2.1：构建基于BiLSTM网络的意图识别模型，对周车的驾驶意图进行识别的步骤如下：
步骤2.1.1：考虑到一次完整的换道时间在5秒左右，且数据的采集频率为10Hz，因此输入序列的长度选择为50。周车驾驶意图被标记为向左换道、向右换道和直行3种。周车意图识别是一个分类问题，需要对输入序列设置相应的标签，本发明分别用0、1、2表示上述3种意图。
步骤2.1.2：意图识别模型的输入选用经步骤1)处理后的周车行驶数据(周车与主车的纵向距离、横向距离、纵向相对速度、横向相对速度、纵向相对加速度、横向相对加速度，周车相对于主车的方位角以及方位角变化率)等8个特征，如下式：
式中，Xt是目标周车在t时刻的输入特征，t＝1，2，...，50。
分别是目标周车与主车的纵向距离、横向距离、纵向相对速度、横向相对速度、纵向相对加速度、横向相对加速度，θt，
分别是目标周车相对于主车的方位角以及方位角变化率。
步骤2.1.3：该模型基于BiLSTM网络，BiLSTM是由前向LSTM与后向LSTM组合而成，把前向和反向的隐藏层向量拼接(concat)起来，它最后的输出是前向层和反向层在每个时刻的综合输出；为充分利用输入信息，输入向量Xt先通过全连接层FC以获得固定长度的嵌入向量et，将et作为t时刻BiLSTM单元体的输入。t时刻BiLSTM单元体的隐藏状态ht由当前时刻的嵌入向量et和上一刻的隐藏状态ht-1联合更新。如下式：
ht＝BiLSTM(ht-1，et；Wl) (6)
式中，
是FC层，Wemb是该FC层的权重，Wl是BiLSTM层的权重。
步骤2.1.4：本发明引入shortcut connections，使用一个FC层处理输入向量Xt，得到一个固定长度的向量rt，其长度与BiLSTM输出向量ht相同。通过将向量rt和BiLSTM输出向量ht执行add操作构建shortcut connection，再用ReLU进行激活获得更新后的输出向量
如下式：
式中，
是FC层，Wr是该FC层的权重。
步骤2.1.5：输入历史序列的最后时刻即当前时刻t的输出向量
先后经一个FC层和SoftMax函数处理获得一个意图概率向量，如下式：
式中P＝pi(i＝0，1，2)依次代表向左换道、向右换道、直行3种意图概率，
是FC层，Wf是该FC层的权重。
对输出的概率进行逻辑判断，将p0、p1、p2中最大的概率值所对应的意图作为意图识别的结果输出。
步骤2.2：对周车轨迹预测的步骤如下：
步骤2.2.1：轨迹输入序列的长度同样设为50，轨迹预测的输入为驾驶意图识别网络的8个输入特征外，还将添加周车轨迹位置坐标Yt，如下式：
Yt＝(xt，yt) (10)
式中，xt，yt分别为目标周车在t时刻的纵向坐标和横向坐标。
步骤2.2.2：轨迹预测模型基于LSTM的编码器-解码器框架；首先，将输入序列输入LSTM编码器进行编码，t时刻的编码器隐藏状态ht由当前时刻的输入向量Xt和上一刻的隐藏状态ht-1联合更新。如下式：
ht＝LSTM(ht-1，Xt；Wenc) (11)
式中，Wenc是LSTM编码器的权重。
选择在输入历史序列的最后时刻即当前时刻t获得的隐藏状态作为上下文向量C，完成编码过程。
步骤2.2.3：设解码器正预测t+p时刻的位置坐标，H＝(h1，h2，...，ht)是编码器的隐藏层状态。引入软注意机制考虑与每个预测时刻最相关的历史信息，通过点积计算其隐含层相似度，获得对应t+p时刻的每个历史时刻隐藏状态的注意力值si，t+p；然后通过SoftMax函数获得向量权重，得到每个历史时刻隐藏状态注意力分数αi，t+p，最后通过加权求和生成最合适的上下文向量Ct+p。如下式：
步骤2.2.4：将在t+p-1时刻预测得的目标周车位置坐标
(当p＝1时，采用实际位置坐标Yt)，生成的上下文向量Ct+p，由意图识别模块获得的概率向量P进行拼接，获得解码器预测t+p时刻位置坐标的输入Ut+p，解码器联合输入Ut+p和t+p-1时刻的隐藏状态ht+p-1获得当前时刻的隐藏状态ht+p。如下式：
ht+p＝LSTM(ht+p-1，Ut+p；Wdec) (17)
式中，
分别为预测得的目标周车在t+p-1时刻的纵向坐标和横向坐标，Wdec是LSTM解码器的权重，Concat是拼接操作。
步骤2.2.5：在解码器中添加shortcut connections，将输入向量Ut+p通过个FC层后直接与LSTM编码器的输出相连接，执行add操作，再用ReLU进行激活获得更新后的隐藏状态
如下式：
式中，
是FC层，Wd是该FC层的权重。
将隐藏状态
经过一个FC层进行线性映射获得t+p时刻的位置坐标
式中，
是FC层，Wp是该FC层的权重。输出序列的长度也定为50，即p＝1，2，…，50。
步骤3：根据获得的周车的驾驶意图和其后续一段时间内的位置坐标，进行可视化处理，使驾驶员直观地感知周车的运动，为主车操纵预留反应时间，保证了驾驶的安全性；同时自动驾驶汽车可以根据获得的信息提前做好路径规划，同时保证了车辆驾驶的舒适性和节能性。
综上所述，本发明形成的一种实现自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法，可以同时识别周车的驾驶意图和预测周车较长时域内的轨迹，为车辆提供丰富的决策信息；考虑驾驶意图特征和注意力机制的轨迹预测，能保证长期轨迹预测的效果；针对意图识别和轨迹预测的不同特点，合理选择不同的输入特征进行预测，既节省计算成本，又能提高预测效率。
以上内容是结合优选技术方案对本发明所做的进一步详细说明，不能认定发明的具体实施仅限于这些说明。对本发明所属技术领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以做出简单的推演及替换，都应当视为本发明的保护范围。
Claims (5)
1.一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法，其特征在于包括以下步骤：
1)周车行驶数据处理：将车辆配备的摄像头、毫米波雷达等车载传感器采集的周车行驶数据进行处理，设立规则定义周车的驾驶意图类型，为各个序列数据设置标签，从而获得实现车辆运动预测所需的数据；
2)周车驾驶意图和轨迹联合预测：构建基于BiLSTM的意图识别模型，对周车的驾驶意图进行识别；构建基于LSTM的编码器-解码器框架的轨迹预测模型，并引入一种注意力机制提升时序问题预测的效果，同时结合周车的位置信息、驾驶意图对周车进行较长时域的轨迹预测；
3)提供决策信息：根据联合预测的结果为主车的后续操纵提供丰富的信息依据。
2.如权利要求1所述一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法，其特征在于在步骤1)中，所述周车行驶数据处理的具体方法为：
(1)由车辆配备的摄像头、毫米波雷达等车载传感器采集到的周车行驶数据主要有：周车与主车的纵向距离、横向距离、纵向相对速度、横向相对速度、纵向相对加速度、横向相对加速度，周车相对于主车的方位角以及方位角变化率；
(2)对数据的缺失值进行填补，采用最近邻填补法对单个缺失值进行填充，采用插值法对连续多个的缺失值进行填充，使用3-σ法则对数据的异常值进行去除，最后使用Savitzky-Golay滤波器对数据进行滤波从而得到比较光滑的数据曲线；
(3)定义坐标系以方便描述车辆的位置，计算主车和周车各个时刻的位置坐标；
(4)将周车驾驶意图定义为向左换道、向右换道和直行，为每段行驶序列数据设置意图标签。
3.如权利要求1所述一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法，其特征在于在步骤2)中，所述对周车的驾驶意图进行识别的具体方法为：
(1)周车驾驶意图识别是一个分类问题，驾驶意图识别模型对输入的多特征多步长时间序列数据进行分类；
(2)基于BiLSTM网络构建周车驾驶意图识别模型，BiLSTM网络是由前向LSTM与后向LSTM组合而成，利用上下文的信息，提高时间序列预测结果的准确性；
(3)受ResNet的启发，在Bi-LSTM网络中添加shortcut connections，实现梯度的跨步计算，能有效减小深层网络梯度消失和网络退化问题的影响；
(4)由于对意图的识别不同于轨迹预测需要获得车辆具体的位置信息，因此本发明采用经步骤1)处理后的周车行驶数据(周车与主车的纵向距离、横向距离、纵向相对速度、横向相对速度、纵向相对加速度、横向相对加速度，周车相对于主车的方位角以及方位角变化率)等8个特征作为意图识别模型的输入，而不考虑把周车位置信息纳入考虑，既捕捉驾驶意图的主要特征，保证预测准确性，又节省计算成本；
(5)将8个特征序列输入驾驶意图识别模型，输出周车的驾驶意图概率向量，概率最大的驾驶意图即为最终的识别结果。
4.如权利要求1所述一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法，其特征在于在步骤2)中，所述对周车进行较长时域的轨迹预测的具体方法为：
(1)为了捕获轨迹中的时间依赖关系，采用基于LSTM的编码器-解码器框架建立轨迹预测模型，这是处理轨迹预测问题的最先进体系结构；
(2)轨迹预测的输出为车辆的具体位置坐标，轨迹预测的输入除意图识别模型的8个输入特征外，还将添加周车轨迹位置坐标信息；
(3)在LSTM解码器中添加shortcut connections；
(4)LSTM编码器将输入的历史特征信息序列编码为一个固定长度的上下文向量，LSTM解码器解码过程中采用软注意力机制，通过点积计算上一时刻的解码器隐藏状态与编码器中每个历史时刻的隐藏状态的注意力值，然后经SoftMax函数处理得到每个历史时刻隐藏状态的注意力分数，最后通过加权求和得到更新后的上下文向量；
(5)LSTM解码器结合意图识别模型获得的驾驶意图概率向量，更新后的上下文向量和解码器上一时间步预测的轨迹位置输出作为当前时刻的输入预测当前时间步的轨迹位置。
5.如权利要求1所述一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法，其特征在于在步骤3)中，所述提供决策信息的具体方法为：经过驾驶意图和轨迹的联合预测，获得周车当前的驾驶意图和其后续一段时间的轨迹位置；根据识别的驾驶意图判断其短时间内的行为，为主车操纵预留反应时间，降低车辆碰撞的风险，保证驾驶的安全性；主车根据预测获得的周车后续一段时间内的轨迹位置，提前做好路径规划，获得到达目的地的最优操纵选择，既保证驾驶的舒适性，又减少无用的能耗。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210980755.7A CN115158364A (zh) | 2022-08-16 | 2022-08-16 | 一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210980755.7A CN115158364A (zh) | 2022-08-16 | 2022-08-16 | 一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115158364A true CN115158364A (zh) | 2022-10-11 |
Family
ID=83479280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210980755.7A Pending CN115158364A (zh) | 2022-08-16 | 2022-08-16 | 一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115158364A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115749470A (zh) * | 2022-12-22 | 2023-03-07 | 天津中德应用技术大学 | 一种基于运动轨迹预测的车门安全开启系统及方法 |
| CN117333847A (zh) * | 2023-12-01 | 2024-01-02 | 山东科技大学 | 一种基于车辆行为识别的轨迹预测方法及系统 |
| CN117351712A (zh) * | 2023-10-11 | 2024-01-05 | 江苏大学 | 基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法及系统 |
| CN117709394A (zh) * | 2024-02-06 | 2024-03-15 | 华侨大学 | 车辆轨迹预测模型训练方法、多模型迁移预测方法及装置 |
| CN118193953A (zh) * | 2024-04-08 | 2024-06-14 | 江苏大学 | 一种基于多意图导向对比学习的自动驾驶应急救援车辆周车行为预测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111930110A (zh) * | 2020-06-01 | 2020-11-13 | 西安理工大学 | 一种结合社会生成对抗网络的意图轨迹预测方法 |
| CN112949597A (zh) * | 2021-04-06 | 2021-06-11 | 吉林大学 | 一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法 |
| CN113627239A (zh) * | 2021-06-28 | 2021-11-09 | 上海交通大学 | 一种结合驾驶员换道意图的远程驾驶车辆轨迹预测方法 |
-
2022
- 2022-08-16 CN CN202210980755.7A patent/CN115158364A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111930110A (zh) * | 2020-06-01 | 2020-11-13 | 西安理工大学 | 一种结合社会生成对抗网络的意图轨迹预测方法 |
| CN112949597A (zh) * | 2021-04-06 | 2021-06-11 | 吉林大学 | 一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法 |
| CN113627239A (zh) * | 2021-06-28 | 2021-11-09 | 上海交通大学 | 一种结合驾驶员换道意图的远程驾驶车辆轨迹预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 郭景华;肖宝平;王靖瑶;罗禹贡;陈涛: "基于Residual BiLSTM网络的车辆切入 意图预测研究", 《汽车工程》, 25 July 2021 (2021-07-25), pages 971 - 977 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115749470A (zh) * | 2022-12-22 | 2023-03-07 | 天津中德应用技术大学 | 一种基于运动轨迹预测的车门安全开启系统及方法 |
| CN115749470B (zh) * | 2022-12-22 | 2023-11-24 | 天津中德应用技术大学 | 一种基于运动轨迹预测的车门安全开启系统及方法 |
| CN117351712A (zh) * | 2023-10-11 | 2024-01-05 | 江苏大学 | 基于Cro-IntentFormer的融合车辆驾驶意图的周车轨迹预测方法及系统 |
| CN117333847A (zh) * | 2023-12-01 | 2024-01-02 | 山东科技大学 | 一种基于车辆行为识别的轨迹预测方法及系统 |
| CN117333847B (zh) * | 2023-12-01 | 2024-03-15 | 山东科技大学 | 一种基于车辆行为识别的轨迹预测方法及系统 |
| CN117709394A (zh) * | 2024-02-06 | 2024-03-15 | 华侨大学 | 车辆轨迹预测模型训练方法、多模型迁移预测方法及装置 |
| CN118193953A (zh) * | 2024-04-08 | 2024-06-14 | 江苏大学 | 一种基于多意图导向对比学习的自动驾驶应急救援车辆周车行为预测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115158364A (zh) | 一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法 | |
| Deo et al. | Multi-modal trajectory prediction of surrounding vehicles with maneuver based lstms | |
| CN111930110A (zh) | 一种结合社会生成对抗网络的意图轨迹预测方法 | |
| CN110356412B (zh) | 用于自主驾驶的自动规则学习的方法和设备 | |
| JP2022544715A (ja) | 譲歩挙動のモデリングおよび予測 | |
| US11827214B2 (en) | Machine-learning based system for path and/or motion planning and method of training the same | |
| WO2019079530A1 (en) | CONTROL OF AN AUTONOMOUS VEHICLE BASED ON INDEPENDENT DRIVING DECISIONS | |
| US11577723B2 (en) | Object trajectory association and tracking | |
| US11945433B1 (en) | Risk mitigation in speed planning | |
| CN117141517A (zh) | 数据驱动与知识引导相结合的车辆轨迹预测模型构建方法 | |
| CN112614373B (zh) | 一种基于BiLSTM周车换道意图预测方法 | |
| CN115257724A (zh) | 一种插电式混动汽车安全节能决策控制方法和系统 | |
| CN117141518A (zh) | 一种基于意图感知时空注意网络的车辆轨迹预测方法 | |
| US20230111354A1 (en) | Method and system for determining a mover model for motion forecasting in autonomous vehicle control | |
| Sharma et al. | Kernelized convolutional transformer network based driver behavior estimation for conflict resolution at unsignalized roundabout | |
| CN115743179A (zh) | 一种车辆概率多模态预期轨迹预测方法 | |
| CN115523934A (zh) | 一种基于深度学习的车辆轨迹预测方法及系统 | |
| CN114368387B (zh) | 一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法 | |
| CN114446046A (zh) | 一种基于lstm模型的弱势交通参与者轨迹预测方法 | |
| US12091045B2 (en) | Method and system for assessing whether a vehicle is likely to leave an off-road parking area | |
| CN111160089A (zh) | 一种基于不同车辆类型的轨迹预测系统及方法 | |
| Misawa et al. | Prediction of driving behavior based on sequence to sequence model with parametric bias | |
| US20230202470A1 (en) | Integrated trajectory forecasting, error estimation, and vehicle handling when detecting an observed scenario | |
| US20230029993A1 (en) | Systems and methods for behavior cloning with structured world models | |
| CN114670837A (zh) | 一种智能汽车类人弯道轨迹双重规划系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |