CN117141518A - 一种基于意图感知时空注意网络的车辆轨迹预测方法 - Google Patents

一种基于意图感知时空注意网络的车辆轨迹预测方法 Download PDF

Info

Publication number
CN117141518A
CN117141518A CN202311179906.XA CN202311179906A CN117141518A CN 117141518 A CN117141518 A CN 117141518A CN 202311179906 A CN202311179906 A CN 202311179906A CN 117141518 A CN117141518 A CN 117141518A
Authority
CN
China
Prior art keywords
vehicle
vector
time
intention
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311179906.XA
Other languages
English (en)
Inventor
郭景华
王靖瑶
何智飞
王晖年
焦一洲
李录斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202311179906.XA priority Critical patent/CN117141518A/zh
Publication of CN117141518A publication Critical patent/CN117141518A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0031—Mathematical model of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于意图感知时空注意网络的车辆轨迹预测方法，涉及智能车辆技术领域。步骤1：车辆轨迹预测模型的离线训练：分为通过大规模真实驾驶场景的采集和处理构建训练数据库和训练车辆轨迹预测模型两部分；步骤2：车辆轨迹预测模型的在线实时预测：车辆实时采集数据和数据预处理之后，用训练好的车辆轨迹预测模型在线实时预测，即可预测目标车的轨迹。考虑驾驶意图与邻居车辆交互的耦合性，提出一种意图注意机制，在时间维度上分配注意力权重以提取车辆的历史信息；引入交互关系捕捉模块，基于多头注意力机制获取不同邻居车辆对目标车辆的影响，在空间维度上捕捉车辆之间的交互信息，提升长期轨迹预测的精度，有效地实现预测周围车辆的换道意图。

Description

一种基于意图感知时空注意网络的车辆轨迹预测方法
技术领域
本发明涉及智能车辆技术领域，尤其是涉及一种基于意图感知时空注意网络的车辆轨迹预测方法。
背景技术
近年来，自动驾驶越来越受到国内外研究的关注，因为它在解决与安全、拥堵、节能等相关的许多长期交通挑战方面具有巨大的潜力。自动驾驶汽车的关键技术可以分为三个部分：感知、决策和控制。自动驾驶汽车通过传感器来感知周边的道路环境，识别周边障碍物的状态，对自车未来的运动进行决策规划和控制，从而保证汽车能够安全地行驶。在复杂的动态交通环境中，周边车辆的运动充满了高度不确定性，仅凭单纯的感知结果无法做出准确的规划。交通参与者预测是保证自动驾驶汽车安全行驶重要的一环。
随着深度学习等人工智能相关技术在自动驾驶领域内获得巨大成功，车辆轨迹预测方法逐渐向深度学习过渡。文献(Tang L,Wang H Y,Zhang W H,et al.Driver lanechange intention recognition of intelligent vehicle based on long short-termmemory network[J].IEEE Access,2020,8:136898-136905.)考虑车辆自身行驶状态和周围车辆的影响，提出了一种基于Multi-LSTM(Long Short-Term Memory，长短期记忆)的变道意图预测方法，然而，意图识别无法得到明确的轨迹信息。文献(Zyner A,Worrall S,Nebot E.Naturalistic driver intention and path prediction using recurrentneural networks[J].IEEE Transactions on Intelligent Transportation Systems,2020,21(4):1584-1594.)提出了一种基于不确定多模态轨迹预测的城市交叉口驾驶员意图预测方法，该方法可预测目标车辆的驾驶意图和车辆轨迹，但是只考虑目标车辆的运动，忽略了目标车辆与邻居车辆的交互，这种方法在复杂情况下无法获得令人满意的结果。
鉴于此，本发明提供一种基于意图感知时空注意网络的车辆轨迹预测方法。考虑驾驶意图与周围邻居车辆交互的耦合性，以提升长期轨迹预测的精度，对提高无人驾驶车辆的安全性能有很大的作用。
发明内容
本发明的目的是为解决现有技术中存在的上述问题，提出一种基于意图感知时空注意网络的车辆轨迹预测方法，考虑驾驶意图与邻居车辆交互的耦合性，提出一种意图注意机制，实现实时准确的车辆轨迹预测方法。
本发明车辆轨迹预测方法由车辆轨迹预测模型的离线训练和在线实时预测两部分组成，包括以下步骤：
步骤1：车辆轨迹预测模型的离线训练，分为构建训练数据库和训练车辆轨迹预测模型两部分，具体实施步骤如下：
步骤1.1：通过大规模真实驾驶场景的采集和处理构建训练数据库；
步骤1.1.1：数据采集：由车辆配备的摄像头、毫米波雷达等车载传感器采集到的车辆行驶数据主要有：目标车与邻居车辆的纵向距离、横向距离、纵向相对速度、横向相对速度、纵向加速度、横向相对加速度，车辆与车道线的横向距离；
步骤1.1.2：数据预处理：对数据的缺失值进行填补，采用最近邻填补法对单个缺失值进行填充，采用插值法对连续多个的缺失值进行填充，使用3-σ法则对数据的异常值进行去除，最后使用Savitzky-Golay滤波器对数据进行滤波从而得到比较光滑的数据曲线；
步骤1.1.3：数据集准备：定义坐标系以方便描述车辆的位置，计算目标车和邻居车辆各个时刻的位置坐标；将车辆驾驶意图定义为向左换道、向右换道和直行，为每段行驶序列数据设置意图标签；
步骤1.2：车辆轨迹预测模型的训练步骤如下：
步骤1.2.1：意图识别模块：通过车辆轨迹的时间演变及其与周围邻居车辆的空间关系来识别车辆的驾驶意图，获得驾驶意图特征向量；
步骤1.2.1.1：意图识别模块输入：意图识别模块的输入特征包括目标车的运动状态特征和目标车的交互状态特征；
步骤1.2.1.2：本发明的车辆驾驶意图识别模型基于BiLSTM网络，由前向LSTM与后向LSTM组合而成，把前向和反向的隐藏层向量拼接起来，它最后的输出是前向层和反向层在每个时刻的综合输出；
步骤1.2.1.3：引入快捷连接，以实现跨不同层的高效信息流，提高预测的效果；
步骤1.2.1.4：输入历史序列的最后时刻的输出向量先后经一个FC层和SoftMax函数处理获得一个意图概率向量；
步骤1.2.2：轨迹特征编码器：结合意图识别模块获得的目标车辆意图特征向量，提出一种意图注意机制来获得目标车辆及其邻居车辆的历史轨迹特征编码向量，然后利用邻居车辆与目标车辆的特征编码向量，基于多头注意力机制建立交互关系捕捉模块来捕获邻居车辆的重要性，最终形成一个表示“上下文”影响的中间语义向量；
步骤1.2.2.1：轨迹预测编码器输入：轨迹预测模型的输入包含目标车辆和周围邻居车辆过去一段时间的历史状态信息；
步骤1.2.2.2：轨迹预测模型基于LSTM的编码器-解码器框架；对目标车辆及其周围邻居车辆从过去一段时间的历史状态信息进行编码；先使用一个全连接层作为嵌入层，将每辆车的输入状态向量进行嵌入形成嵌入向量；然后利用LSTM分别将不同车辆的嵌入向量进行编码；
步骤1.2.2.3：意图注意机制：将目标车辆的意图向量和预测轨迹解码器上一时刻的隐藏状态向量用拼接操作拼接起来，由完全连接层处理获得的向量来作为键值对注意力机制中的“查询”；车辆的隐藏状态由不同全连接层处理，形成“键”和“值”；将注意力特征计算为“值”的加权和；
步骤1.2.2.4：交互关系捕捉模块：采用多头注意力机制，使用不同的学习线性投影计算多个注意力特征；然后，将这些注意力特征拼接在一起，并使用完全连接层进行处理；由完全连接层处理的目标车辆的历史轨迹特征向量来作为“查询”，邻居车辆的特征向量由不同全连接层和处理形成“键”和“值”；
步骤1.2.2.5：生成中间语义向量：使用多头注意来聚合来自不同子空间的信息，生成结合了所有车辆交互信息的中间语义向量；
步骤1.2.3：轨迹预测解码器：解码器接收包含目标车辆轨迹特征和邻居车辆交互特征的中间语义向量，生成预测的未来一段时间内目标车辆的轨迹点位置；
步骤1.2.3.1：轨迹预测解码器采用全连接层嵌入预测轨迹前一时刻位置的坐标并形成嵌入向量；此时的中间语义向量包含选定的车辆交互信息以及目标车辆的运动状态编码，与嵌入向量一起被输送到LSTM解码器
步骤1.2.3.2：LSTM解码器添加快捷连接，预测生成目标车辆未来时间步长的轨迹点位置；
步骤2：车辆轨迹预测模型的在线实时预测：车辆实时采集数据和数据预处理之后，用训练好的车辆轨迹预测模型在线实时预测，即可预测目标车的轨迹。
与现有技术相比，本发明的优点在于：
本发明车辆轨迹预测方法考虑了驾驶意图与邻居车辆交互的耦合性，提出一种意图注意机制，在时间维度上分配注意力权重以提取车辆的历史信息；引入交互关系捕捉模块，基于多头注意力机制获取不同邻居车辆对目标车辆的影响，在空间维度上捕捉车辆之间的交互信息，提升长期轨迹预测的精度，有效地实现预测周围车辆的换道意图。
附图说明
图1为本发明的数据预处理流程图；
图2为本发明的坐标系示意图；
图3为本发明车辆轨迹预测模型结构图；
图4为本发明意图识别模块结构图；
图5为本发明Bi-LSTM网络结构图；
图6为本发明意图注意机制结构图；
图7为本发明交互关系捕捉模块结构图。
具体实施方式
以下实施例结合附图1-7，对本发明的方法做进一步详细描述。
本发明车辆轨迹预测方法由车辆轨迹预测模型的离线训练和在线实时预测两部分组成，包括以下步骤：
步骤1：车辆轨迹预测模型的离线训练过程分为构建训练数据库和训练车辆轨迹预测模型两部分，实施步骤如下：
步骤1.1：本发明的构建训练数据库是通过大规模真实驾驶场景的采集和处理。
步骤1.1.1：数据采集：由车辆配备的摄像头、毫米波雷达等车载传感器采集到的车辆行驶数据主要有：目标车及其邻居车辆的纵向距离、横向距离、纵向相对速度、横向相对速度、纵向加速度、横向相对加速度，车辆与车道线的横向距离。
步骤1.1.2：数据预处理：图1为数据预处理流程。对于数据中单个缺失值，采用最近邻填补法用其前一时间步或后一时间步的数据进行填充；对于连续多个的缺失值，采用插值法计算缺失值前一个值和后一个值的平均数进行填充；对于数据中存在的异常值，采用3-σ准则对异常值进行去除，计算各个特征的标准差σ和均值μ，去除数值分布在(μ-3σ,μ+3σ)区间外的数据；最后采用Savitzky-Golay滤波器对数据进行滤波，在原始数据x(i)附近取M个采样点，并在x周围构建一个2M+1个采样点的窗口来拟合p阶多项式y(i)，其表达式为：
式中，y(i)代表在ti时刻经过处理后的数据，x(ti)代表在ti时刻未经处理的原始数据，i＝-M,…,0,…,M；E是总的误差平方和，p≤2M；k＝0,1,2,…,p。
步骤1.1.3：数据集准备：图2为坐标系示意图。确定一个固定的参考系，原点固定在tp时刻准备预测的目标车辆上。y轴指向道路的运动方向，x轴是垂直于它的方向。以描述车辆的位置，计算目标车和邻居车辆各个时刻的位置坐标。同时将周车驾驶意图定义为向左换道、向右换道和直行，为每段行驶序列数据设置意图标签。
步骤1.2：训练车辆轨迹预测模型：如图3所示，为车辆轨迹预测模型的网络结构图，模型由意图识别模块、轨迹特征编码器、轨迹预测解码器三个主要部分组成，训练步骤如下：
步骤1.2.1：意图识别模块：通过车辆轨迹的时间演变及其与周围邻居车辆的空间关系来识别车辆的驾驶意图，获得驾驶意图特征向量mt，具体步骤如下：
步骤1.2.1.1：意图识别模块输入：意图识别模块的输入特征包括目标车的运动状态特征和目标车的交互状态特征，如下所示：
It＝[st,Δst]
式中，st代表目标车辆的运动状态特征，Δst代表目标车辆的交互状态特征，vt代表当前时刻t目标车辆的速度，at代表车辆的加速度，vxt代表车辆的横向速度，ve代表驾驶员的预期速度，代表目标车辆与邻居车辆的相对横向位移，/>代表目标车辆与邻居车辆的相对纵向位移，i代表邻居车辆，i＝1,2,...,6。
步骤1.2.1.2：参考图4，为本发明的车辆驾驶意图识别模型示意图；该模型基于BiLSTM网络，BiLSTM结构参考图5，是由前向LSTM与后向LSTM组合而成，把前向和反向的隐藏层向量拼接(concat)起来，它最后的输出是前向层和反向层在每个时刻的综合输出；为了充分利用输入信息，输入向量Xt先通过全连接层FC以获得固定长度的嵌入向量et，将et作为t时刻BiLSTM单元体的输入。t时刻BiLSTM单元体的隐藏状态ht由当前时刻的嵌入向量et和上一刻的隐藏状态ht-1联合更新。如下式：
ht＝BiLSTM(ht-1,et；Wl)
式中，是FC层，Wemb是该FC层的权重，Wl是BiLSTM层的权重。
步骤1.2.1.3：引入一种快捷连接，使用一个FC层嵌入输入向量It，得到一个固定长度的嵌入向量rt，其长度与MBi-LSTM输出向量t相同。将得到的嵌入向量rt通过ReLU激活函数进行变换，再与MBi-LSTM输出向量t相加，得到新的输出向量构造快捷连接如下式：
式中，是FC层，Wr是该FC层的权重。
步骤1.2.1.4：输入历史序列的最后时刻即当前时刻t的输出向量先后经一个FC层和SoftMax函数处理获得一个意图概率向量，如下式：
式中，代表意图类别向量，其中/>分别代表三种驾驶意图的概率；/>代表全连接层，Wf代表该全连接层的权重矩阵；
步骤1.2.2：轨迹特征编码器：结合意图识别模块获得的目标车辆意图特征向量，提出一种意图注意机制来获得目标车辆及其邻居车辆的历史轨迹特征编码向量，然后利用邻居车辆与目标车辆的特征编码向量，基于多头注意力机制建立交互关系捕捉模块来捕获邻居车辆的重要性，最终形成一个表示“上下文”影响的中间语义向量，具体步骤如下：
步骤1.2.2.1：轨迹预测编码器输入：轨迹预测模型的输入包含目标车辆和周围邻居车辆过去一段时间tp-th到tp的历史状态信息，如下所示：
式中，代表t时刻车辆i的状态，包括车辆的横向坐标/>纵向坐标/>速度/>和加速度/>th代表输入历史序列的长度，N代表周围邻居车辆的数量。
步骤1.2.2.2：轨迹预测模型基于LSTM的编码器-解码器框架；首先，对目标车辆及其周围邻居车辆从过去一段时间tp-th到tp的历史状态信息进行编码。使用一个全连接层作为嵌入层，将每辆车的输入状态向量进行嵌入形成嵌入向量/>然后利用LSTM分别将不同车辆从tp-th至tp时刻这一时间段的嵌入向量进行编码，如下式：
式中，ψ代表具有LeakyReLU非线性激活函数的全连接层，Wemb代表用于学习的嵌入层权重，代表车辆i在时间步t的LSTM单元体的隐藏状态，Wenc代表LSTM的权重矩阵。
步骤1.2.2.3：意图注意机制：图6为意图注意机制示意图。将LSTM编码车辆的隐藏状态记为目标车辆的意图向量记为/>预测轨迹解码器上一时刻的隐藏状态向量记为pt-1。/>和pt-1用拼接操作拼接起来，然后由完全连接层θl处理获得的向量来做为键值对注意力机制中的“查询”Ql，以计算在意图特征干预下的每一历史时刻状态信息与未来轨迹的相关性。车辆的隐藏状态Hi由全连接层φl和ρl处理，形成“键”Kl和“值”Vl。然后将注意力特征headl计算为“值”vlj的加权和公式如下：
式中，和/>代表在每个注意头l中要学习的权值矩阵，Concat代表拼接操作，αlj代表注意力权重，采用点积注意法计算，d代表缩放因子。
步骤1.2.2.4：交互关系捕捉模块：图7为交互关系捕捉模块示意图。采用多头注意力机制，使用不同的学习线性投影Ql、Kl和Vl计算了nh个注意力特征headl，l＝1,2,...,nh。然后，将这些注意力特征headl拼接在一起，并使用完全连接层进行处理，以提取高阶交互。由完全连接层θs处理的目标车辆的历史轨迹特征向量来作为“查询”，邻居车辆的特征向量/>由全连接层φs和ρs处理形成“键”和“值”，长方体Zt由六个小长方体组成，代表六个邻居车辆的特征向量，空白透明的长方体代表该位置不存在邻居车辆。与意图注意机制相同，“查询”Qs、“键”Ks和“值”Vs采用缩放点积注意机制的计算：
Ks＝φs(Zt；Wφs)
Vs＝ρs(Zt；Wρs)
式中，zt代表解码器进行t时间步预测时所获得的车辆历史轨迹特征编码向量，这里将意图注意机制提取的目标车辆和周围车辆的特征向量表示为代表全连接层，Wiq代表该全连接层的权重矩阵。/>和/>代表对应变换的可学习权重矩阵，αsj代表邻居车辆与目标车辆的相关程度。
步骤1.2.2.5：生成中间语义向量：得到的αsj可用于计算具有周围邻居车辆交互关系的注意力特征heads。另外，也使用多头注意来聚合来自不同子空间的信息，从而增强了模型的表示能力：
式中，ct代表解码器进行t时间步预测时结合了所有车辆交互信息的中间语义向量，代表全连接层，Wsi代表该全连接层的权重矩阵，nh代表并行计算的注意力特征个数。
步骤1.2.3：轨迹预测解码器：解码器接收包含目标车辆轨迹特征和邻居车辆交互特征的中间语义向量，生成预测的未来一段时间内目标车辆的轨迹点位置。
步骤1.2.3.1：在进行第t时间步预测时，轨迹预测解码器也采用具有LeakyReLU非线性激活函数的全连接层，嵌入预测轨迹前一时刻位置的坐标Yt-1并形成嵌入向量et。此时的中间语义向量Ct包含选定的车辆交互信息ct以及目标车辆的运动状态编码与嵌入向量et一起被输送到LSTM解码器
et＝ψ(Yt-1；Wed)
Ut＝Concat(Ct,et)
式中，ψ代表具有LeakyReLU非线性激活函数的全连接层，Wed代表用于学习的嵌入层权重。Ut代表在进行第t时间步预测时LSTM解码器的输入向量，Concat代表拼接操作。
步骤1.2.3.2：LSTM解码器预测生成目标车辆未来时间步长t＝tp+1,tp+2,...,tp+tf的轨迹点位置。解码器中还添加了与第3.3.3节意图识别模型中相同的快捷连接。公式如下：
pt＝LSTM(pt-1,Ut；Wdec)
式中，pt代表解码器LSTM的隐藏状态向量，代表引入快捷连接得到的新状态向量，Wdec，Wd和Wp为权重矩阵。
步骤2：换道意图预测模型在线实时预测：车辆实时采集数据和数据预处理之后，用训练好的车辆轨迹预测模型在线实时预测，即可预测目标车车辆轨迹。
以上内容是结合优选技术方案对本发明所做的进一步详细说明，不能认定发明的具体实施仅限于这些说明。对本发明所属技术领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以做出简单的推演及替换，都应当视为本发明的保护范围。

Claims (10)

1.一种基于意图感知时空注意网络的车辆轨迹预测方法，其特征在于由车辆轨迹预测模型的离线训练和在线实时预测两部分组成，包括以下步骤：
步骤1：车辆轨迹预测模型的离线训练，分为构建训练数据库和训练车辆轨迹预测模型两部分，具体实施步骤如下：
步骤1.1：通过大规模真实驾驶场景的采集和处理构建训练数据库；
步骤1.1.1：数据采集：由车辆配备的摄像头、毫米波雷达等车载传感器采集到的车辆行驶数据主要有：目标车与邻居车辆的纵向距离、横向距离、纵向相对速度、横向相对速度、纵向加速度、横向相对加速度，车辆与车道线的横向距离；
步骤1.1.2：数据预处理：对数据的缺失值进行填补，采用最近邻填补法对单个缺失值进行填充，采用插值法对连续多个的缺失值进行填充，使用3-σ法则对数据的异常值进行去除，最后使用Savitzky-Golay滤波器对数据进行滤波从而得到比较光滑的数据曲线；
步骤1.1.3：数据集准备：定义坐标系以方便描述车辆的位置，计算目标车和邻居车辆各个时刻的位置坐标；将车辆驾驶意图定义为向左换道、向右换道和直行，为每段行驶序列数据设置意图标签；
步骤1.2：车辆轨迹预测模型的训练步骤如下：
步骤1.2.1：意图识别模块：通过车辆轨迹的时间演变及其与周围邻居车辆的空间关系来识别车辆的驾驶意图，获得驾驶意图特征向量；
步骤1.2.2：轨迹特征编码器：结合意图识别模块获得的目标车辆意图特征向量，提出一种意图注意机制来获得目标车辆及其邻居车辆的历史轨迹特征编码向量，然后利用邻居车辆与目标车辆的特征编码向量，基于多头注意力机制建立交互关系捕捉模块来捕获邻居车辆的重要性，最终形成一个表示“上下文”影响的中间语义向量；
步骤1.2.3：轨迹预测解码器：解码器接收包含目标车辆轨迹特征和邻居车辆交互特征的中间语义向量，生成预测的未来一段时间内目标车辆的轨迹点位置；
步骤2：车辆轨迹预测模型的在线实时预测：车辆实时采集数据和数据预处理之后，用训练好的车辆轨迹预测模型在线实时预测，即可预测目标车的轨迹。
2.如权利要求1所述一种基于意图感知时空注意网络的车辆轨迹预测方法，其特征在于在步骤1.1.2中，所述数据预处理的具体步骤包括：对于数据中单个缺失值，采用最近邻填补法用其前一时间步或后一时间步的数据进行填充；对于连续多个的缺失值，采用插值法计算缺失值前一个值和后一个值的平均数进行填充；对于数据中存在的异常值，采用3-σ准则对异常值进行去除，计算各个特征的标准差σ和均值μ，去除数值分布在(μ-3σ,μ+3σ)区间外的数据；最后采用Savitzky-Golay滤波器对数据进行滤波，在原始数据x(i)附近取M个采样点，在x周围构建一个2M+1个采样点的窗口来拟合p阶多项式y(i)，其表达式为：
式中，y(i)代表在ti时刻经过处理后的数据，x(ti)代表在ti时刻未经处理的原始数据，i＝-M,…,0,…,M；E是总的误差平方和，p≤2M；k＝0,1,2,…,p。
3.如权利要求1所述一种基于意图感知时空注意网络的车辆轨迹预测方法，其特征在于在步骤1.2.1中，所述获得驾驶意图特征向量的具体步骤包括：
步骤1.2.1.1：意图识别模块输入：意图识别模块的输入特征包括目标车的运动状态特征和目标车的交互状态特征；
步骤1.2.1.2：车辆驾驶意图识别模型基于BiLSTM网络，由前向LSTM与后向LSTM组合而成，把前向和反向的隐藏层向量拼接起来，它最后的输出是前向层和反向层在每个时刻的综合输出；
步骤1.2.1.3：引入一种快捷连接，以实现跨不同层的高效信息流，提高预测的效果；
步骤1.2.1.4：输入历史序列的最后时刻的输出向量先后经一个FC层和SoftMax函数处理获得一个意图概率向量。
4.如权利要求3所述一种基于意图感知时空注意网络的车辆轨迹预测方法，其特征在于在步骤1.2.1.1中，所述意图识别模块的输入特征包括目标车的运动状态特征和目标车的交互状态特征，如下所示：
It＝[st,Δst]
式中，st代表目标车辆的运动状态特征，Δst代表目标车辆的交互状态特征，vt代表当前时刻t目标车辆的速度，at代表车辆的加速度，vxt代表车辆的横向速度，ve代表驾驶员的预期速度，代表目标车辆与邻居车辆的相对横向位移，/>代表目标车辆与邻居车辆的相对纵向位移，i代表邻居车辆，i＝1,2,...,6；
在步骤1.2.1.2中，所述车辆驾驶意图识别模型为了充分利用输入信息，输入向量Xt先通过全连接层FC以获得固定长度的嵌入向量et，将et作为t时刻BiLSTM单元体的输入；t时刻BiLSTM单元体的隐藏状态ht由当前时刻的嵌入向量et和上一刻的隐藏状态ht-1联合更新；如下式：
ht＝BiLSTM(ht-1,et；Wl)
式中，是FC层，Wemb是该FC层的权重，Wl是BiLSTM层的权重；
在步骤1.2.1.3中，所述引入一种快捷连接，使用一个FC层嵌入输入向量It，得到一个固定长度的嵌入向量rt，其长度与MBi-LSTM输出向量t相同；将得到的嵌入向量rt通过ReLU激活函数进行变换，再与MBi-LSTM输出向量t相加，得到新的输出向量构造快捷连接如下：
式中，是FC层，Wr是该FC层的权重；
在步骤1.2.1.4中，所述获得一个意图概率向量，输入历史序列的最后时刻即当前时刻t的输出向量先后经一个FC层和SoftMax函数处理获得一个意图概率向量，如下式：
式中，代表意图类别向量，其中/>分别代表三种驾驶意图的概率；/>代表全连接层，Wf代表该全连接层的权重矩阵。
5.如权利要求1所述一种基于意图感知时空注意网络的车辆轨迹预测方法，其特征在于在步骤1.2.2中，所述形成一个表示“上下文”影响的中间语义向量的具体步骤包括：
步骤1.2.2.1：轨迹预测编码器输入：轨迹预测模型的输入包含目标车辆和周围邻居车辆过去一段时间的历史状态信息；
步骤1.2.2.2：轨迹预测模型基于LSTM的编码器-解码器框架；对目标车辆及其周围邻居车辆从过去一段时间的历史状态信息进行编码；首先使用一个全连接层作为嵌入层，将每辆车的输入状态向量进行嵌入形成嵌入向量；然后利用LSTM分别将不同车辆的嵌入向量进行编码；
步骤1.2.2.3：意图注意机制：将目标车辆的意图向量和预测轨迹解码器上一时刻的隐藏状态向量用拼接操作拼接起来，然后由完全连接层处理获得的向量来作为键值对注意力机制中的“查询”；车辆的隐藏状态由不同全连接层处理，形成“键”和“值”；然后将注意力特征计算为“值”的加权和；
步骤1.2.2.4：交互关系捕捉模块：采用多头注意力机制，使用不同的学习线性投影计算多个注意力特征；然后，将这些注意力特征拼接在一起，并使用完全连接层进行处理；由完全连接层处理的目标车辆的历史轨迹特征向量来作为“查询”，邻居车辆的特征向量由不同全连接层和处理形成“键”和“值”；
步骤1.2.2.5：生成中间语义向量：使用多头注意来聚合来自不同子空间的信息，生成结合了所有车辆交互信息的中间语义向量。
6.如权利要求5所述一种基于意图感知时空注意网络的车辆轨迹预测方法，其特征在于在步骤1.2.2.1中，所述轨迹预测编码器输入，如下所示：
式中，代表t时刻车辆i的状态，包括车辆的横向坐标/>纵向坐标/>速度/>和加速度/>th代表输入历史序列的长度，N代表周围邻居车辆的数量；
在步骤1.2.2.2中，所述对目标车辆及其周围邻居车辆从过去一段时间的历史状态信息进行编码，对目标车辆及其周围邻居车辆从过去一段时间tp-th到tp的历史状态信息进行编码；使用一个全连接层作为嵌入层，将每辆车的输入状态向量进行嵌入形成嵌入向量然后利用LSTM分别将不同车辆从tp-th至tp时刻这一时间段的嵌入向量进行编码，如下式：
式中，ψ代表具有LeakyReLU非线性激活函数的全连接层，Wemb代表用于学习的嵌入层权重，代表车辆i在时间步t的LSTM单元体的隐藏状态，Wenc代表LSTM的权重矩阵。
7.如权利要求5所述一种基于意图感知时空注意网络的车辆轨迹预测方法，其特征在于在步骤1.2.2.3中，所述意图注意机制，将LSTM编码车辆的隐藏状态记为 目标车辆的意图向量记为/>预测轨迹解码器上一时刻的隐藏状态向量记为pt-1；/>和pt-1用拼接操作拼接起来，然后由完全连接层θl处理获得的向量来做为键值对注意力机制中的“查询”Ql，以计算在意图特征干预下的每一历史时刻状态信息与未来轨迹的相关性；车辆的隐藏状态Hi由全连接层φl和ρl处理，形成“键”Kl和“值”Vl；然后将注意力特征headl计算为“值”/>的加权和公式如下：
式中，和/>代表在每个注意头l中要学习的权值矩阵，Concat代表拼接操作，αlj代表注意力权重，采用点积注意法计算，d代表缩放因子。
8.如权利要求5所述一种基于意图感知时空注意网络的车辆轨迹预测方法，其特征在于在步骤1.2.2.4中，所述交互关系捕捉模块采用多头注意力机制，使用不同的学习线性投影Ql、Kl和Vl计算nh个注意力特征headl，l＝1,2,...,nh；将这些注意力特征headl拼接在一起，并使用完全连接层进行处理，以提取高阶交互；由完全连接层θs处理的目标车辆的历史轨迹特征向量来作为“查询”，邻居车辆的特征向量/>由全连接层φs和ρs处理形成“键”和“值”，长方体Zt由六个小长方体组成，代表六个邻居车辆的特征向量，空白透明的长方体代表该位置不存在邻居车辆；与意图注意机制相同，“查询”Qs、“键”Ks和“值”Vs采用缩放点积注意机制的计算：
Ks＝φs(Zt；Wφs)
Vs＝ρs(Zt；Wρs)
式中，zt代表解码器进行t时间步预测时所获得的车辆历史轨迹特征编码向量，这里将意图注意机制提取的目标车辆和周围车辆的特征向量表示为 代表全连接层，Wiq代表该全连接层的权重矩阵；/>和/>代表对应变换的可学习权重矩阵，αsj代表邻居车辆与目标车辆的相关程度；
在步骤1.2.2.5中，所述生成中间语义向量：得到的αsj可用于计算具有周围邻居车辆交互关系的注意力特征heads；另外，也使用多头注意来聚合来自不同子空间的信息，从而增强了模型的表示能力：
式中，ct代表解码器进行t时间步预测时结合了所有车辆交互信息的中间语义向量，代表全连接层，Wsi代表该全连接层的权重矩阵，nh代表并行计算的注意力特征个数。
9.如权利要求1所述一种基于意图感知时空注意网络的车辆轨迹预测方法，其特征在于在步骤1.2.3中，所述生成预测的未来一段时间内目标车辆的轨迹点位置的具体步骤包括：
步骤1.2.3.1：轨迹预测解码器采用全连接层嵌入预测轨迹前一时刻位置的坐标并形成嵌入向量；此时的中间语义向量包含选定的车辆交互信息以及目标车辆的运动状态编码，与嵌入向量一起被输送到LSTM解码器；
步骤1.2.3.2：LSTM解码器添加快捷连接，预测生成目标车辆未来时间步长的轨迹点位置。
10.如权利要求9所述一种基于意图感知时空注意网络的车辆轨迹预测方法，其特征在于在步骤1.2.3.1中，所述轨迹预测解码器，在进行第t时间步预测时，也采用具有LeakyReLU非线性激活函数的全连接层，嵌入预测轨迹前一时刻位置的坐标Yt-1并形成嵌入向量et；此时的中间语义向量Ct包含选定的车辆交互信息ct以及目标车辆的运动状态编码与嵌入向量et一起被输送到LSTM解码器：
et＝ψ(Yt-1；Wed)
Ut＝Concat(Ct,et)
式中，ψ代表具有LeakyReLU非线性激活函数的全连接层，Wed代表用于学习的嵌入层权重；Ut代表在进行第t时间步预测时LSTM解码器的输入向量，Concat代表拼接操作；
在步骤1.2.3.2中，所述LSTM解码器预测生成目标车辆未来时间步长t＝tp+1,tp+2,...,tp+tf的轨迹点位置；解码器中还添加与意图识别模型中相同的快捷连接；公式如下：
pt＝LSTM(pt-1,Ut；Wdec)
式中，pt代表解码器LSTM的隐藏状态向量，代表引入快捷连接得到的新状态向量，Wdec，Wd和Wp为权重矩阵。
CN202311179906.XA 2023-09-13 2023-09-13 一种基于意图感知时空注意网络的车辆轨迹预测方法 Pending CN117141518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311179906.XA CN117141518A (zh) 2023-09-13 2023-09-13 一种基于意图感知时空注意网络的车辆轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311179906.XA CN117141518A (zh) 2023-09-13 2023-09-13 一种基于意图感知时空注意网络的车辆轨迹预测方法

Publications (1)

Publication Number Publication Date
CN117141518A true CN117141518A (zh) 2023-12-01

Family

ID=88886698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311179906.XA Pending CN117141518A (zh) 2023-09-13 2023-09-13 一种基于意图感知时空注意网络的车辆轨迹预测方法

Country Status (1)

Country Link
CN (1) CN117141518A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117475090A (zh) * 2023-12-27 2024-01-30 粤港澳大湾区数字经济研究院(福田) 一种轨迹生成模型、轨迹生成方法、装置、终端及介质
CN117709394A (zh) * 2024-02-06 2024-03-15 华侨大学 车辆轨迹预测模型训练方法、多模型迁移预测方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117475090A (zh) * 2023-12-27 2024-01-30 粤港澳大湾区数字经济研究院(福田) 一种轨迹生成模型、轨迹生成方法、装置、终端及介质
CN117475090B (zh) * 2023-12-27 2024-06-11 粤港澳大湾区数字经济研究院(福田) 一种轨迹生成模型、轨迹生成方法、装置、终端及介质
CN117709394A (zh) * 2024-02-06 2024-03-15 华侨大学 车辆轨迹预测模型训练方法、多模型迁移预测方法及装置

Similar Documents

Publication Publication Date Title
CN112965499B (zh) 基于注意力模型和深度强化学习的无人车行驶决策方法
CN112257850B (zh) 一种基于生成对抗网络的车辆轨迹预测方法
CN117141518A (zh) 一种基于意图感知时空注意网络的车辆轨迹预测方法
Cai et al. Environment-attention network for vehicle trajectory prediction
CN111930110A (zh) 一种结合社会生成对抗网络的意图轨迹预测方法
CN113911129B (zh) 一种基于驾驶行为生成机制的交通车意图识别方法
WO2022141213A1 (zh) 一种智慧城市智轨车辆故障基因预测方法及系统
CN111311945A (zh) 一种融合视觉和传感器信息的驾驶决策系统及方法
CN111311009B (zh) 一种基于长短期记忆的行人轨迹预测方法
CN114724392B (zh) 一种快速路出口匝道与邻接交叉口动态信号控制方法
CN117141517A (zh) 数据驱动与知识引导相结合的车辆轨迹预测模型构建方法
CN115158364A (zh) 一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法
CN114399743A (zh) 一种障碍物未来轨迹的生成方法
CN115049009A (zh) 基于语义融合表征的轨迹预测方法
Paravarzar et al. Motion prediction on self-driving cars: A review
CN116595871A (zh) 基于动态时空交互图的车辆轨迹预测建模方法与装置
CN116760536A (zh) 一种多智能体协同感知方法、系统、电子设备及存储介质
Feng et al. Using appearance to predict pedestrian trajectories through disparity-guided attention and convolutional LSTM
Li et al. Manifold learning for lane-changing behavior recognition in urban traffic
Wang et al. End-to-end driving simulation via angle branched network
CN114620059A (zh) 一种自动驾驶方法及其系统、计算机可读存储介质
CN111160089A (zh) 一种基于不同车辆类型的轨迹预测系统及方法
CN116331259A (zh) 一种基于半监督模型的车辆多模态轨迹预测方法
Wang et al. LSTM-based prediction method of surrounding vehicle trajectory
CN114312831B (zh) 一种基于空间注意力机制的车辆轨迹预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination