CN116403176A - 基于车道点未来轨迹偏移量辅助监督的车辆轨迹预测方法 - Google Patents

基于车道点未来轨迹偏移量辅助监督的车辆轨迹预测方法 Download PDF

Info

Publication number
CN116403176A
CN116403176A CN202310251189.0A CN202310251189A CN116403176A CN 116403176 A CN116403176 A CN 116403176A CN 202310251189 A CN202310251189 A CN 202310251189A CN 116403176 A CN116403176 A CN 116403176A
Authority
CN
China
Prior art keywords
lane
point
points
track
future
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310251189.0A
Other languages
English (en)
Inventor
李琳辉
李硕贤
张嘉璇
连静
赵剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202310251189.0A priority Critical patent/CN116403176A/zh
Publication of CN116403176A publication Critical patent/CN116403176A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于车道点未来轨迹偏移量辅助监督的车辆轨迹预测方法，包括以下步骤：获取各周围智能体历史特征及车道信息；场景编码及特征融合；解码多模态轨迹与偏移量，构建辅助监督分支。本发明通过采样以及邻域提取来建立多尺度车道拓扑关系，利用特征沿稀疏化聚合以及沿反稀疏化方向扩散的多尺度车道点编码器来编码车道的拓扑结构信息和语义信息，实现不同特征尺度下对高精度地图内在的拓扑结构和语义属性的理解，进而提升编码器对场景的表征能力，能支持更高精度的车辆轨迹预测。本发明通过车道辅助偏移损失，能够辅助车道点编码器学习与未来轨迹具有位置关联的特征，使编码器参数接受更直接的监督信号，实现更高效的网络训练。

Description

基于车道点未来轨迹偏移量辅助监督的车辆轨迹预测方法
技术领域
本发明涉及自动驾驶领域，尤其涉及一种基于车道点未来轨迹偏移量辅助监督的车辆轨迹预测方法。
背景技术
自动驾驶车辆在行驶过程中，提前预知周围智能体的意图或运动轨迹是其能够在各种交通环境中做出正确决策的重要依据，在传统的决策过程中，通常会基于规则来制定状态转移模型，从而更新周围智能体的未来状态，但这种方式在高度不确定环境下可能面临失效风险，因此借助深度编解码器的强大表征能力，对运动状态以及与之关联的场景信息进行编码，以及解码得到运动轨迹，对于做出正确决策具有显著的正向作用。如何高效的编码场景信息，将其与待预测智能体的语义信息关联起来，并有效地对这些关联进行监督是提升编解码器性能的关键。
在编码场景信息的方法中，一种经典的做法是将待预测场景下的车道多边形、以及周围智能体的历史边界框渲染成栅格图像，然后运用卷积神经网络(ConvolutionalNeural Networks,CNN)去提取其中多尺度的语义特征；但该方法并未考虑到充分利用稀疏的场景信息，以及元素之间的语义关联，为此目前主流的方案将场景信息处理为向量化数据，并借助图网络或点云网络在特定语义关系下聚合并传播特征，例如车道图卷积网络(Lane Graph Convolutional Network,LaneGCN)在车道节点之间、智能体与车道节点之间建立有向图，并利用图网络进行编码，而时间点云网络(Temporal Point CloudNetworks,TPCN)则结合点云以及体素网络对场景进行编码，在点云尺度运用点云深度网络PointNet，在体素尺度运用稀疏卷积。尽管以上方法很好的编码了场景信息的稀疏性，并取得了显著的性能提升，但仍存在可改进空间，LaneGCN对车道图的编码只考虑到邻接关系与实际可行驶方向严格对应的情况，而并没有考虑到一部分智能体的行驶方向与道路邻接关系可能不对应，因而将节点特征融合到智能体运动特征的过程中可能会出现错误的特征映射。而TPCN的编码模型则缺少对语义关系的建模，没有充分利用元素之间的语义特征关联。上述编码方法均未充分对场景信息进行表征，进而会对预测性能产生一定影响。
发明内容
为解决现有技术存在的上述问题，本发明要提出一种基于车道点未来轨迹偏移量辅助监督的车辆轨迹预测方法，进一步提升编码器对场景的表征能力。
本发明的基本思路如下：设计一个包括编码器模块和解码器模块的编解码结构，其结构如图3所示。所述编码器模块由分层Transformer编码器、车道点编码器和交互融合器组成，所述分层Transformer编码器由三个Axial-Transformer块组成，分层Transformer编码器作为编码器模块主干级联车道点编码器与交互融合器。所述解码器模块由三组多层感知器(Multi-Layer Perceptron,MLP)组成。首先根据自动驾驶车辆的感知和定位系统获取周围智能体的历史运动轨迹信息，并通过高精地图数据获取场景中的车道信息；其次，通过分层Transformer编码器编码智能体的状态信息得到智能体嵌入特征，利用车道点编码器及融合器聚合与传播车道点信息，输出车道点的嵌入特征，并与分层Transformer编码器输出的智能体嵌入特征融合，通过交互融合器融合语义层面的交互信息，得到最终的智能体的语义嵌入；然后通过解码器模块解码智能体嵌入得到预测轨迹及对应的置信度，以及未来车道点与未来轨迹之间的偏移量，完成对周围智能体的轨迹预测，并通过车道点未来轨迹偏移量辅助监督模型训练。整个编解码结构通过提出的车道点编码方法能够在不同特征尺度下理解高精度地图内在的拓扑结构和语义属性，进而提升编码器对场景的表征能力，充分提取更有效的环境信息，支持更高精度的车辆轨迹预测，而且提出的车道辅助偏移损失能够辅助道路编码器学习与未来轨迹具有位置关联的特征，使编码器参数接受更直接的监督信号，实现更高效的网络训练。
本发明的技术方案如下：一种基于车道点未来轨迹偏移量辅助监督的车辆轨迹预测方法，包括以下步骤：
A、获取各周围智能体历史特征及车道信息
A1、通过自动驾驶车辆的车载感知和定位系统获得各周围智能体的历史轨迹
Figure BDA0004127911740000031
其中，每一个si,j由二维坐标点组成；下标i＝0、1、…、n表示智能体的编号，其中0表示待预测智能体编号，n表示场景内智能体最大数量，下标j＝-th、-th+1、…、0表示时间步，其中j＝0为当前时刻，th表示历史观测区间长度，j＝-th为历史观测区间内的过去最后一个历史时刻；将智能体的局部位置表示为D维位置嵌入/>
Figure BDA0004127911740000032
为了表示运动的增量信息，计算当前坐标与上一时刻的坐标增量/>
Figure BDA0004127911740000033
构造D维的时间嵌入/>
Figure BDA0004127911740000034
使注意力机制更好地感知时间序列特征；最后，通过拼接得到智能体历史特征如下：
Figure BDA0004127911740000035
其中，
Figure BDA0004127911740000036
是一个布尔量，指示当前时刻是否存在历史观测值。为了便于对单个场景并行化运算，对于智能体数量超过n的场景，截取编号i＝0、1、…、n的智能体，反之则以0填充。并且构造掩膜m来指示哪些编号i对应的智能体由填充得到，使得注意力机制专注于场景帧的有效数据。
A2、通过高精度地图获取场景中的车道信息，将高精度地图中车道中心线上的车道点构建为结构化向量形式来进行稀疏编码，构建的车道点向量特征为
Figure BDA0004127911740000041
其中L为车道点数量，c0:L为车道点的坐标、/>
Figure BDA0004127911740000042
为车道点在道路方向上相对前一个车道点的偏移量、/>
Figure BDA0004127911740000043
为J维布尔向量，J个不同的维度分别表示不同的语义属性。为了在整个场景下对车道点向量特征进行聚合与传播，首先利用栅格采样处理车道点云，得到相对均匀的关键车道点/>
Figure BDA0004127911740000044
然后根据距离筛选出与/>
Figure BDA00041279117400000411
最近的Ljk个邻域点/>
Figure BDA0004127911740000045
其中Lj表示第j尺度下的关键点数量，Ljk表示每个关键点周围对应的邻域点数量。
A3、以智能体所处当前路段为起点，沿各个可行驶的路段邻接方向广度优先搜索，提取候选未来车道点
Figure BDA0004127911740000046
其中Lg表示未来候选车道点的数量。由于未来车道点中存在与智能体运动轨迹关联较低的点，为此构建布尔向量/>
Figure BDA0004127911740000047
指示未来车道点是否位于真实轨迹范围之内，且与真实轨迹的偏移不超过阈值Tho，在训练中将这些关联较低的超出阈值范围的点视为无效点，不参与误差的反向传播。
B、场景编码及特征融合
B1、采用两个Axial-Transformer块对场景中的智能体信息进行编码，首先对智能体历史特征
Figure BDA0004127911740000048
进行线性变换得到智能体嵌入/>
Figure BDA0004127911740000049
接下来将/>
Figure BDA00041279117400000410
输入第一个Axial-Transformer块，沿时间轴计算自注意力并进行编码，即提取单个智能体的低层运动特性；接下来通过第二个Axial-Transformer块沿场景轴计算自注意力并进行编码，即提取单个时间步下智能体的联合状态，它随着各个智能体即时决策结果而更新，而决策又受到这一时刻的交通规则、交互关系的影响，因此间接的编码了这些隐含信息。将两个轴下带有自注意力的Axial-Transformer块级联在一起，即融合了即时意图决策与低层运动特性。在完成两个轴的级联编码之后，得到新的智能体嵌入/>
Figure BDA0004127911740000051
之后在时间轴上通过一个一维卷积神经网络进行降采样，将/>
Figure BDA0004127911740000052
降采样为/>
Figure BDA0004127911740000053
来实现特征的尺度变换，以增强Transformer结构学习多尺度特征的能力：
Figure BDA0004127911740000054
Figure BDA0004127911740000055
B2、通过车道点编码器对预测场景下的车道点云进行编码。车道点编码器首先通过特征聚合将邻域点pn的特征聚合到关键点pk的特征中，聚合过程的输入为经过线性变换的车道点坐标c0:L、相对于上一个车道点的偏移量
Figure BDA0004127911740000056
与表示车道点语义属性的布尔向量
Figure BDA0004127911740000057
拼接组合而成的车道点初始特征g0:L；然后沿相反的方向将关键点特征传播回邻域点特征中，同时融合它们之间的相对信息。经过多层特征传播，得到所有车道点的嵌入特征g'0:L如下：
Figure BDA0004127911740000058
Figure BDA0004127911740000059
Figure BDA00041279117400000510
Figure BDA00041279117400000511
Figure BDA00041279117400000512
式中，g0:L为所有车道点初始向量特征，W为线性变换矩阵，aggregatopm(·)与propagation(·)分别为特征聚合函数与特征传播函数，layerfusion(·)为层与层之间的特征融合函数，Concatenate(·)为特征拼接函数，
Figure BDA00041279117400000513
为初始的邻域点特征，/>
Figure BDA00041279117400000514
为新的关键点特征，/>
Figure BDA00041279117400000515
为新的邻域点特征。/>
Figure BDA00041279117400000516
为层融合后得到的每层的车道点融合特征，g'0:L为最终所有车道点的嵌入特征。
B3、融合与智能体运动相关联的环境特征与交互特征，采用基于注意力的方式融合智能体周围一定范围内的车道点特征，该范围为一个以智能体中心为圆心、相邻车道线距离为半径的圆形区域。并通过最后一个Axial-Transformer块进行编码，使融合的环境特征在时间维度和场景维度下得到充分传播，然后利用LaneGCN中的智能体交互编码器FusionNetA2A来对场景中的智能体交互编码，沿智能体关联路径传播语义特征，产生最终的智能体语义嵌入e0:n如下：
Figure BDA0004127911740000061
C、解码多模态轨迹与偏移量，构建辅助监督分支
C1、采用一组多层感知器即MLP组合在编码阶段充分编码的低级运动语义行为，解码出不同的行为模态，得到智能体的一组未来轨迹
Figure BDA0004127911740000062
并在此基础上构建轨迹的回归监督分支，即计算回归损失lossr，具体计算公式如下：
Figure BDA0004127911740000063
Figure BDA0004127911740000064
式中，tf为未来预测区间长度，k为模态数量，对应于k种可能的未来情况，MLP(·）为多层感知器，ei为待预测智能体语义嵌入，其中i＝0,1,…n为智能体编号，NLL(·)为负对数似然损失函数，
Figure BDA0004127911740000065
为未来轨迹的真实值，/>
Figure BDA0004127911740000066
为最优模态k*对应的预测轨迹，k*对应的预测轨迹与真实轨迹之间的平均位移偏差最小，即/>
Figure BDA0004127911740000067
C2、采用另外一组具有相同结构的MLP解码计算不同模态轨迹对应的置信度confk，并在此基础上构建分类监督分支，即计算分类损失lossc如下：
confk＝Softmax(MLP(ei))
Figure BDA0004127911740000068
式中，Softmax(·)为softmax函数，NLL(·)为负对数似然损失函数，
Figure BDA0004127911740000069
为最优模态k*对应的置信度。
C3、通过预测未来车道点与轨迹点之间的位置偏移量，构建辅助监督分支。计算未来真实轨迹与搜索得到的候选未来车道点
Figure BDA0004127911740000071
的位置偏移/>
Figure BDA0004127911740000072
即/>
Figure BDA0004127911740000073
到真实轨迹点之间的最短距离。利用k个MLP预测偏移量/>
Figure BDA0004127911740000074
选择平均位移偏差最小的模态k*来与真值计算回归损失losso，构建车道点未来轨迹偏移量辅助监督分支，利用辅助偏移监督损失来辅助预测轨迹的解码和车道点特征的编码，从而使得这些未来可能的车道点为尽可能多样的行为模式提供先验指导。
Figure BDA0004127911740000075
Figure BDA0004127911740000076
C4、通过以上三个监督分支，仅对最优模态k*对应的误差进行反向传播，以避免k个MLP的参数被同化而产生模式崩塌，构建由智能体多模态轨迹损失、轨迹对应的置信度损失及车道点未来轨迹偏移量损失三部分组成的最终损失函数来监督模型的端到端训练，计算公式如下：
losstotal＝λ1lossr+λ2lossc+λ3losso
式中，λ1、λ2、λ3分别是平衡各项的权重，losstotal为最终的总损失。
与现有技术相比，本发明具有以下有益效果：
1、本发明通过采样以及邻域提取来建立多尺度车道拓扑关系，利用提出的一种特征沿稀疏化聚合以及沿反稀疏化方向扩散的多尺度车道点编码器来编码车道的拓扑结构信息和语义信息，实现不同特征尺度下对高精度地图内在的拓扑结构和语义属性的理解，进而提升编码器对场景的表征能力，能支持更高精度的车辆轨迹预测。
2、本发明通过提出的车道辅助偏移损失，能够辅助车道点编码器学习与未来轨迹具有位置关联的特征，使编码器参数接受更直接的监督信号，实现更高效的网络训练。
附图说明
本发明共有附图5张，其中：
图1是本发明的流程图。
图2是本发明的框架示意图。
图3是本发明的编解码结构示意图。
图4是车道点编码方法示意图。
图5是车道辅助偏移损失示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，本领域的技术人员可由本说明书所揭示的内容轻松地了解本发明的优势。下面将结合附图对本发明的技术方案进行清楚、完整地描述，以下描述中将包含许多具体的细节。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。如图1所示一种基于车道点未来轨迹偏移量辅助监督的车辆轨迹预测方法流程图，包括以下步骤：
A、获取各周围智能体历史特征及车道信息
A1、通过自动驾驶车辆的车载感知和定位系统获得各周围智能体的历史轨迹
Figure BDA0004127911740000081
其中每一个si,j由二维坐标点组成，下标i＝0,1,…,n表示智能体的编号，下标j＝-th,-th+1,…,0表示时间步，如j＝0为当前时刻，j＝-th为历史观测区间内的过去最后一个历史时刻，th表示历史观测区间长度；接下来将智能体的局部位置表示为D维位置嵌入/>
Figure BDA0004127911740000091
为了表示运动的增量信息，计算当前坐标与上一时刻的坐标增量
Figure BDA0004127911740000092
构造D维的时间嵌入/>
Figure BDA0004127911740000093
来使注意力机制更好地感知时间序列特征。最后，通过拼接得到智能体历史特征/>
Figure BDA0004127911740000094
其中/>
Figure BDA0004127911740000095
是一个布尔量，指示当前时刻是否存在历史观测值。为了便于对单个场景并行化运算，对于智能体数量超过n的场景，截取i＝0～n的智能体，反之则以0填充。并且构造掩膜m来指示哪些编号i对应的智能体由填充得到，使得注意力机制专注于场景帧的有效数据。
A2、通过高精度地图获取场景中的车道信息，将高精度地图中车道中心线上的车道点构建为结构化向量形式来进行稀疏编码，构建的车道点向量特征为
Figure BDA0004127911740000096
其中L为车道点数量，c0:L为车道点的坐标、/>
Figure BDA0004127911740000097
为车道点在道路方向上相对前一个车道点的偏移量、/>
Figure BDA0004127911740000098
为J维布尔向量，J个不同的维度分别表示不同的语义属性，例如点l所属车道的类别，包括左转，右转以及直行、车道是否受交通信号控制以及是否位于交叉路口。为了在整个场景下对车道点特征进行聚合与传播，首先利用栅格采样处理车道点云，得到相对均匀的关键车道点/>
Figure BDA0004127911740000099
然后根据距离筛选出与/>
Figure BDA00041279117400000910
最近的Ljk个邻域点/>
Figure BDA00041279117400000911
其中Lj表示第j尺度下的关键点数量，Ljk表示每个关键点周围对应的邻域点数量。
A3、为了更进一步表示关键点与邻域点之间的相对关系，构建相对关系向量
Figure BDA00041279117400000912
表示关键点与邻域点之间的相对关系，对其中的每一个Onn,k＝[ocn,k,oan,k]，ocn,k为关键点pk指向邻域点pn的向量pkpn，oan,k为向量pkpn与关键点pk所在路段的局部方向向量pkpre与pksuc之间的夹角，pkpre，pksuc则分别表示pk与所在路段的前一个点与后一个点构成的向量。
A4、以智能体所处当前路段为起点，沿各个可行驶的路段邻接方向广度优先搜索，提取候选未来车道点
Figure BDA0004127911740000101
其中Lg表示未来候选车道点的数量。由于未来候选车道点中存在与智能体运动轨迹关联较低的点，为此构建布尔向量/>
Figure BDA0004127911740000102
指示未来车道点是否位于真实轨迹范围之内，且与真实轨迹的偏移不超过阈值Tho，Tho可根据相邻车道中心线之间的距离确定。在训练中将这些关联较低的超出真实轨迹范围的外点视为无效点，不参与误差的反向传播。选取的未来候选车道点如图5所示，提取的未来候选车道点根据智能体的未来真实轨迹被划分成了有效的内点和无效的外点，其中网格区域内的点为超出真实轨迹范围的外点。
B、场景编码及特征融合
B1、采用两个Axial-Transformer块对场景中的智能体信息进行编码，首先对智能体历史特征
Figure BDA0004127911740000103
进行线性变换得到智能体嵌入/>
Figure BDA0004127911740000104
接下来将/>
Figure BDA0004127911740000105
输入第一个Axial-Transformer块，沿时间轴计算自注意力并进行编码，将e0:n,j转变为对应的query,key,value，并利用query与key计算相应的注意力系数作为权重来对value加权求和，完成key/value信息到query的融合，从而实现在一个轴下的自注意力计算过程，所述沿时间轴上进行编码，即提取单个智能体的低层运动特性，接下来通过第二个Axial-Transformer块沿场景轴计算自注意力并进行编码，其计算自注意力方式与沿时间轴计算自注意力方式一致，所述沿场景轴进行编码，即提取单个时间步下智能体的联合状态，它随着各个智能体即时决策结果而更新，而决策又受到这一时刻的交通规则、交互关系的影响，因此间接的编码了这些隐含信息。将两个轴下带有自注意力的Axial-Transformer块级联在一起，即融合了即时意图决策与低层运动特性，在完成两个轴的级联编码之后，得到新的智能体嵌入
Figure BDA0004127911740000111
之后在时间轴上通过一个一维卷积神经网络进行降采样，将/>
Figure BDA0004127911740000112
降采样为
Figure BDA0004127911740000113
来实现特征的尺度变换，以增强Transformer结构学习多尺度特征的能力：
Figure BDA0004127911740000114
Figure BDA0004127911740000115
B2、将提取到的车道点信息输入到车道点编码器中，通过车道点编码器对预测场景下的车道点云进行编码，如图2所示。在编码车道点的过程中，首先通过特征聚合将邻域点pn的特征聚合到关键点pk的特征中，聚合过程的输入为经过线性变换的车道点坐标c0:L、相对前一个车道点的偏移量
Figure BDA0004127911740000116
与表示车道点语义属性的布尔向量/>
Figure BDA0004127911740000117
拼接组合而成的车道点初始特征g0:L，即/>
Figure BDA0004127911740000118
Figure BDA0004127911740000119
其中W为线性变换矩阵，特征聚合的输出为新的关键点特征/>
Figure BDA00041279117400001110
然后沿相反的方向将更新后的关键点特征传播回邻域点特征中得到新的邻域点特征/>
Figure BDA00041279117400001111
再将它们的相对信息融合得到层融合特征/>
Figure BDA00041279117400001112
对于层与层之间的传播，则将后一层中车道点的特征拼接到前一层的对应车道点特征中，经过多层特征传播，得到编码完成的车道点嵌入特征g'0:L。
图4表示车道点编码器编码两层道路关键点的过程，其中的实心圆点为通过逐层采样得到的多尺度道路关键点，空心圆点为关键点周围的邻域点。在第一层特征聚合过程中(聚合1)，周围的邻域点特征都被聚合到相应的关键点特征中，之后进入第二层聚合(聚合2)，减少关键点的数量，在第一层的关键点中保留一些仍然作为关键点，而其余的关键点作为保留关键点的邻域点，继续将邻域点特征聚合到保留关键点的特征中，随着聚合逐渐加深，单个车道节点的感受野将逐层扩大，低层的特征表示局部的车道点云结构，而高层的特征则学习了场景尺度下的道路结构信息，再通过高层向低层传播进一步融合车道点的相对关系，从而提取多尺度的道路结构信息。
Figure BDA0004127911740000121
Figure BDA0004127911740000122
Figure BDA0004127911740000123
Figure BDA0004127911740000124
B3、融合与智能体运动相关联的环境特征与交互特征，采用基于注意力的方式来融合智能体周围一定范围内的车道点特征，该范围为一个圆形区域，圆心为智能体中心位置，半径为相邻车道中心线间的距离，如图3所示，并通过最后一个Axial-Transformer块进行编码，使融合的环境特征在时间维度和场景维度下得到充分传播，然后利用LaneGCN中的智能体交互编码器FusionNetA2A来对场景中的智能体交互编码，沿智能体关联路径来传播语义特征，产生最终的智能体语义嵌入e0:n。
Figure BDA0004127911740000125
C、解码多模态轨迹与偏移量，构建辅助监督分支
C1、分别采用两组MLP解码智能体语义嵌入，得到待预测智能体的未来轨迹
Figure BDA0004127911740000126
及对应的置信度confk，其中tf表示未来预测区间长度，k为模态数量，对应于k种可能的未来情况。在此基础上构建轨迹的回归监督分支，即计算损失loosr，构建轨迹概率的分类监督分支，即计算损失loosc
Figure BDA0004127911740000127
cinfk＝Softmax(MLP(ei))
Figure BDA0004127911740000131
Figure BDA00041279117400001311
式中tf为未来预测区间长度，k为模态数量，对应于k种可能的未来情况，MLP(·)为多层感知器，ei为待预测智能体语义嵌入，其中i＝0,1,…n为智能体编号，Softmax(·)为softmax函数，
Figure BDA0004127911740000132
为未来轨迹的真实值，y* 0:tf为最优模态k*对应的预测轨迹，k*对应的预测轨迹与真实轨迹之间的平均位移偏差最小，即/>
Figure BDA0004127911740000133
Figure BDA0004127911740000134
NLL(·)为负对数似然损失函数，/>
Figure BDA00041279117400001312
为最优模态k*对应的置信度。
C2、通过预测未来候选车道点与真实轨迹点之间的位置偏移量，构建车道点未来轨迹偏移量辅助监督分支，计算未来真实轨迹与搜索得到的候选未来车道点
Figure BDA0004127911740000135
的位置偏移/>
Figure BDA0004127911740000136
即/>
Figure BDA0004127911740000137
到真实轨迹点之间的最短距离。利用k个MLP预测偏移量/>
Figure BDA0004127911740000138
选择平均位移偏差最小的模态k*来与真值计算回归损失losso。车道辅助偏移损失中的未来候选点偏移量如图5所示，其中黑色线为车辆的真实轨迹，框选的车道点(内点)与真实轨迹上的轨迹点之间的最短距离为真实的未来候选点偏移量。利用辅助偏移监督损失来辅助预测轨迹的解码和车道点特征的编码，从而使得这些未来可能的车道点为尽可能多样的行为模式提供先验指导。
Figure BDA0004127911740000139
Figure BDA00041279117400001310
C3、通过以上三个监督分支，仅对k*对应的误差进行反向传播，以避免k个MLP的参数被同化而产生模式崩塌，构建由智能体多模态轨迹损失、轨迹对应的置信度损失及车道点未来轨迹偏移量损失三部分组成的最终损失函数来监督模型的端到端训练。
losstotal＝λ1lossr+λ2lossc+λ3losso
式中λ1、λ2、λ3是平衡各项的权重，losstotal为最终的总损失。
以上描述了本发明的基本原理、主要特征和优点。本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (1)

1.一种基于车道点未来轨迹偏移量辅助监督的车辆轨迹预测方法，其特征在于：包括以下步骤：
A、获取各周围智能体历史特征及车道信息
A1、通过自动驾驶车辆的车载感知和定位系统获得各周围智能体的历史轨迹
Figure FDA0004127911730000011
其中，每一个si,j由二维坐标点组成；下标i＝0、1、…、n表示智能体的编号，其中0表示待预测智能体编号，n表示场景内智能体最大数量，下标j＝-th、-th+1、…、0表示时间步，其中j＝0为当前时刻，th表示历史观测区间长度，j＝-th为历史观测区间内的过去最后一个历史时刻；将智能体的局部位置表示为D维位置嵌入/>
Figure FDA0004127911730000012
为了表示运动的增量信息，计算当前坐标与上一时刻的坐标增量/>
Figure FDA0004127911730000013
构造D维的时间嵌入/>
Figure FDA0004127911730000014
使注意力机制更好地感知时间序列特征；最后，通过拼接得到智能体历史特征如下：
Figure FDA0004127911730000015
其中，
Figure FDA0004127911730000016
是一个布尔量，指示当前时刻是否存在历史观测值；为了便于对单个场景并行化运算，对于智能体数量超过n的场景，截取编号i＝0、1、…、n的智能体，反之则以0填充；并且构造掩膜m来指示哪些编号i对应的智能体由填充得到，使得注意力机制专注于场景帧的有效数据；
A2、通过高精度地图获取场景中的车道信息，将高精度地图中车道中心线上的车道点构建为结构化向量形式来进行稀疏编码，构建的车道点向量特征为
Figure FDA0004127911730000017
其中L为车道点数量，c0:L为车道点的坐标、/>
Figure FDA0004127911730000018
为车道点在道路方向上相对前一个车道点的偏移量、/>
Figure FDA0004127911730000019
为J维布尔向量，J个不同的维度分别表示不同的语义属性；为了在整个场景下对车道点向量特征进行聚合与传播，首先利用栅格采样处理车道点云，得到相对均匀的关键车道点/>
Figure FDA0004127911730000021
然后根据距离筛选出与/>
Figure FDA0004127911730000022
最近的Ljk个邻域点/>
Figure FDA0004127911730000023
其中Lj表示第j尺度下的关键点数量，Ljk表示每个关键点周围对应的邻域点数量；
A3、以智能体所处当前路段为起点，沿各个可行驶的路段邻接方向广度优先搜索，提取候选未来车道点
Figure FDA0004127911730000024
其中Lg表示未来候选车道点的数量；由于未来车道点中存在与智能体运动轨迹关联较低的点，为此构建布尔向量/>
Figure FDA0004127911730000025
指示未来车道点是否位于真实轨迹范围之内，且与真实轨迹的偏移不超过阈值Th o，在训练中将这些关联较低的超出阈值范围的点视为无效点，不参与误差的反向传播；
B、场景编码及特征融合
B1、采用两个Axial-Transformer块对场景中的智能体信息进行编码，首先对智能体历史特征
Figure FDA0004127911730000026
进行线性变换得到智能体嵌入/>
Figure FDA0004127911730000027
接下来将/>
Figure FDA0004127911730000028
输入第一个Axial-Transformer块，沿时间轴计算自注意力并进行编码，即提取单个智能体的低层运动特性；接下来通过第二个Axial-Transformer块沿场景轴计算自注意力并进行编码，即提取单个时间步下智能体的联合状态，它随着各个智能体即时决策结果而更新，而决策又受到这一时刻的交通规则、交互关系的影响，因此间接的编码了这些隐含信息；将两个轴下带有自注意力的Axial-Transformer块级联在一起，即融合了即时意图决策与低层运动特性；在完成两个轴的级联编码之后，得到新的智能体嵌入/>
Figure FDA0004127911730000029
之后在时间轴上通过一个一维卷积神经网络进行降采样，将/>
Figure FDA00041279117300000210
降采样为/>
Figure FDA00041279117300000211
来实现特征的尺度变换，以增强Transformer结构学习多尺度特征的能力：
Figure FDA00041279117300000212
Figure FDA0004127911730000031
B2、通过车道点编码器对预测场景下的车道点云进行编码；车道点编码器首先通过特征聚合将邻域点pn的特征聚合到关键点pk的特征中，聚合过程的输入为经过线性变换的车道点坐标c0:L、相对于上一个车道点的偏移量
Figure FDA0004127911730000032
与表示车道点语义属性的布尔向量/>
Figure FDA0004127911730000033
拼接组合而成的车道点初始特征g0:L；然后沿相反的方向将关键点特征传播回邻域点特征中，同时融合它们之间的相对信息；经过多层特征传播，得到所有车道点的嵌入特征g'0:L如下：
Figure FDA0004127911730000034
Figure FDA0004127911730000035
Figure FDA0004127911730000036
Figure FDA0004127911730000037
Figure FDA0004127911730000038
式中，g0:L为所有车道点初始向量特征，W为线性变换矩阵，aggregatopm(·)与propagation(·)分别为特征聚合函数与特征传播函数，layerfusion(·)为层与层之间的特征融合函数，Concatenate(·)为特征拼接函数，
Figure FDA0004127911730000039
为初始的邻域点特征，/>
Figure FDA00041279117300000310
为新的关键点特征，/>
Figure FDA00041279117300000311
为新的邻域点特征；/>
Figure FDA00041279117300000312
为层融合后得到的每层的车道点融合特征，g'0:L为最终所有车道点的嵌入特征；
B3、融合与智能体运动相关联的环境特征与交互特征，采用基于注意力的方式融合智能体周围一定范围内的车道点特征，该范围为一个以智能体中心为圆心、相邻车道线距离为半径的圆形区域；并通过最后一个Axial-Transformer块进行编码，使融合的环境特征在时间维度和场景维度下得到充分传播，然后利用LaneGCN中的智能体交互编码器FusionNetA2A来对场景中的智能体交互编码，沿智能体关联路径传播语义特征，产生最终的智能体语义嵌入e0:n如下：
Figure FDA0004127911730000041
C、解码多模态轨迹与偏移量，构建辅助监督分支
C1、采用一组多层感知器即MLP组合在编码阶段充分编码的低级运动语义行为，解码出不同的行为模态，得到智能体的一组未来轨迹
Figure FDA0004127911730000042
并在此基础上构建轨迹的回归监督分支，即计算回归损失lossr，具体计算公式如下：
Figure FDA0004127911730000043
Figure FDA0004127911730000044
式中，tf为未来预测区间长度，k为模态数量，对应于k种可能的未来情况，MLP(·)为多层感知器，ei为待预测智能体语义嵌入，其中i＝0,1,…n为智能体编号，NLL(·)为负对数似然损失函数，
Figure FDA0004127911730000045
为未来轨迹的真实值，/>
Figure FDA0004127911730000046
为最优模态k*对应的预测轨迹，k*对应的预测轨迹与真实轨迹之间的平均位移偏差最小，即/>
Figure FDA0004127911730000047
C2、采用另外一组具有相同结构的MLP解码计算不同模态轨迹对应的置信度confk，并在此基础上构建分类监督分支，即计算分类损失lossc如下：
confk＝Softmax(MLP(ei))
Figure FDA0004127911730000048
式中，Softmax(·)为softmax函数，NLL(·)为负对数似然损失函数，
Figure FDA0004127911730000049
为最优模态k*对应的置信度；
C3、通过预测未来车道点与轨迹点之间的位置偏移量，构建辅助监督分支；计算未来真实轨迹与搜索得到的候选未来车道点
Figure FDA00041279117300000410
的位置偏移/>
Figure FDA00041279117300000411
即/>
Figure FDA00041279117300000412
到真实轨迹点之间的最短距离；利用k个MLP预测偏移量/>
Figure FDA00041279117300000413
选择平均位移偏差最小的模态k*来与真值计算回归损失losso，构建车道点未来轨迹偏移量辅助监督分支，利用辅助偏移监督损失来辅助预测轨迹的解码和车道点特征的编码，从而使得这些未来可能的车道点为尽可能多样的行为模式提供先验指导；
Figure FDA0004127911730000051
Figure FDA0004127911730000052
C4、通过以上三个监督分支，仅对最优模态k*对应的误差进行反向传播，以避免k个MLP的参数被同化而产生模式崩塌，构建由智能体多模态轨迹损失、轨迹对应的置信度损失及车道点未来轨迹偏移量损失三部分组成的最终损失函数来监督模型的端到端训练，计算公式如下：
losstotal＝λ1lossr+λ2lossc+λ3losso
式中，λ1、λ2、λ3分别是平衡各项的权重，losstotal为最终的总损失。
CN202310251189.0A 2023-03-15 2023-03-15 基于车道点未来轨迹偏移量辅助监督的车辆轨迹预测方法 Pending CN116403176A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310251189.0A CN116403176A (zh) 2023-03-15 2023-03-15 基于车道点未来轨迹偏移量辅助监督的车辆轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310251189.0A CN116403176A (zh) 2023-03-15 2023-03-15 基于车道点未来轨迹偏移量辅助监督的车辆轨迹预测方法

Publications (1)

Publication Number Publication Date
CN116403176A true CN116403176A (zh) 2023-07-07

Family

ID=87013379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310251189.0A Pending CN116403176A (zh) 2023-03-15 2023-03-15 基于车道点未来轨迹偏移量辅助监督的车辆轨迹预测方法

Country Status (1)

Country Link
CN (1) CN116403176A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117191068A (zh) * 2023-11-07 2023-12-08 新石器慧通（北京）科技有限公司 模型训练方法和装置、轨迹预测方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117191068A (zh) * 2023-11-07 2023-12-08 新石器慧通（北京）科技有限公司 模型训练方法和装置、轨迹预测方法和装置
CN117191068B (zh) * 2023-11-07 2024-01-19 新石器慧通（北京）科技有限公司 模型训练方法和装置、轨迹预测方法和装置

Similar Documents

Publication Publication Date Title
CN111931905B (zh) 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
CN109887282B (zh) 一种基于层级时序图卷积网络的路网交通流预测方法
Chen et al. Interpretable end-to-end urban autonomous driving with latent deep reinforcement learning
Jeon et al. SCALE-Net: Scalable vehicle trajectory prediction network under random number of interacting vehicles via edge-enhanced graph convolutional neural network
CN106970615A (zh) 一种深度强化学习的实时在线路径规划方法
CN114802296A (zh) 一种基于动态交互图卷积的车辆轨迹预测方法
Shen et al. A hybrid forecasting model for the velocity of hybrid robotic fish based on back-propagation neural network with genetic algorithm optimization
CN116403176A (zh) 基于车道点未来轨迹偏移量辅助监督的车辆轨迹预测方法
CN115016534A (zh) 一种基于记忆增强学习的无人机自主避障导航方法
CN116382267B (zh) 一种基于多模态脉冲神经网络的机器人动态避障方法
CN116050245A (zh) 基于复杂网络理论的高速公路自动驾驶商用车轨迹预测与决策方法与系统
CN113362368A (zh) 一种基于多层次时空图神经网络的人群轨迹预测方法
CN116540731A (zh) 融合堆叠lstm与sac算法的路径规划方法及系统
CN114626598A (zh) 一种基于语义环境建模的多模态轨迹预测方法
CN112183762A (zh) 一种基于混合行为空间的强化学习方法
CN114626505A (zh) 一种移动机器人深度强化学习控制方法
Zhou et al. CSR: cascade conditional variational auto encoder with socially-aware regression for pedestrian trajectory prediction
CN114326826B (zh) 多无人机队形变换方法及系统
CN116360454A (zh) 行人环境下基于深度强化学习的机器人路径避碰规划方法
CN114594776B (zh) 一种基于层次化和模块化学习的导航避障方法
CN115018134A (zh) 一种基于三尺度时空信息的行人轨迹预测方法
CN116304969A (zh) 基于lstm-gnn考虑道路信息的车辆轨迹多模态预测方法
CN115719547A (zh) 基于多重交互行为的交通参与者轨迹预测方法及系统
Chowdhury et al. Graph-based Prediction and Planning Policy Network (GP3Net) for scalable self-driving in dynamic environments using Deep Reinforcement Learning
Wang et al. Hierarchical Shared Architecture Search for Real-time Semantic Segmentation of Remote Sensing Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination