CN116331259A - 一种基于半监督模型的车辆多模态轨迹预测方法 - Google Patents

一种基于半监督模型的车辆多模态轨迹预测方法 Download PDF

Info

Publication number
CN116331259A
CN116331259A CN202310267999.5A CN202310267999A CN116331259A CN 116331259 A CN116331259 A CN 116331259A CN 202310267999 A CN202310267999 A CN 202310267999A CN 116331259 A CN116331259 A CN 116331259A
Authority
CN
China
Prior art keywords
vehicle
track
lane
future
center line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310267999.5A
Other languages
English (en)
Inventor
田炜
王松涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202310267999.5A priority Critical patent/CN116331259A/zh
Publication of CN116331259A publication Critical patent/CN116331259A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0031—Mathematical model of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于半监督模型的车辆多模态轨迹预测方法，包括：基于道路地图信息获取车辆的未来可能意图和可能行驶的道路及中心线，并对目标车辆周围的道路地图信息以及目标车辆周围的其他车辆历史轨迹进行编码，随后使用半监督模型，为未来可能的目标车辆轨迹模态生成伪标签，并使用伪标签对不同模态下的预测轨迹进行监督学习，实现车辆轨迹的多模态预测。与现有技术相比，本发明将多模态问题转化为半监督问题，并使用mean‑teacher半监督模型对模型进行训练，能够有效得提升车辆轨迹的预测精度，并能解决车辆轨迹预测中存在的数据不平衡问题，能够有效改善车辆预测结果中的模态分布、显著提升轨迹预测质量。

Description

一种基于半监督模型的车辆多模态轨迹预测方法
技术领域
本发明涉及自动驾驶控制技术领域，尤其是涉及一种基于半监督模型的车辆多模态轨迹预测方法。
背景技术
从1925年第一辆广义上无人驾驶汽车“American Wonder”出现，到现在的TeslaModelS已经实现L3级别商业化，车辆的智能水平越来越高，但是如何对周围交通参与者进行精准建模并预测其未来的意图和轨迹，仍然是自动驾驶技术所面临的重要挑战之一。在自动驾驶过程中，自动驾驶车辆不仅需要获取周围车辆的历史和当前状态，还应该根据周围车辆的历史状态信息和地图信息，对周围车辆的未来意图和轨迹进行预测，以及时发现周围环境中潜在的危险，从而支持自动驾驶车辆进行有效的决策和规划，以进行及时避险。因此，对周围交通参与者的意图和未来轨迹进行预测，对于提高自动驾驶车辆的安全性而言，是十分重要的。
轨迹预测一般位于感知模块的后端，规划控制模块的前端，输入为感知模块提供的目标历史轨迹信息、道路结构信息，综合考量高精地图信息、预测目标之间的交互，对感知到的各类目标(行人、车辆)做出意图(cut in/out、直行等)以及未来一段时间的轨迹进行预测。车辆的行为受到惯性、驾驶规则和道路几何形状的限制。所以针对以上自动驾驶车辆特点，典型的车辆轨迹预测方法一般包括自车历史轨迹编码器、车辆交互建模编码器、道路特征提取器，分别用于获得自车轨迹的历史运动特征、建模车辆之间的交互特征以及提取周围的道路地图信息。
单模态轨迹预测没有考虑驾驶行为的不确定性，预测结果可能会与真实情况之间存在很大的差异。此外，在训练过程中，单模态车辆轨迹预测网络为了让误差损失最小，学习到的预测轨迹可能是不同模态的运动轨迹的平均。
在早期的研究中，研究者通过手动或者聚类算法来划分模态来实现多模态预测。由于车辆在高度结构化的道路上运动，可以提前划分为变道、超车、减速、加速等模态，然后将不同的模态的轨迹输入不同的解码器，或者拼接表示不同的one hot向量输入到解码器中。其次还可以通过提前划分区域，然后根据车辆轨迹所在区域来区分模态，但是手动划分费时费力。生成模型可以通过在轨迹预测网络的输入中添加多维符合高斯分布的隐变量来学习目标运动的多模态特性，在预测的过程中通过对隐变量进行多次采样的方式生成多模态轨迹。Social gan网络中使用生成模型来生成多模态轨迹预测。通过引入新的多样性损失函数来鼓励实现多样化的预测，从而产生尽可能多且社交合理的轨迹样本空间。但是以上方法可能会发生高概率的模态反复采样，低概率的模态无法采样的情况。以上方法产生的多模态与道路信息之间没有明显的建模关系。而基于目标驱动的方法可以显式的利用道路地图信息产生多模态轨迹，HOME中使用通过解码器生成目标点分布的热图，然后对热图进行采样，生成K个目标点，最后根据目标点生成完整轨迹。DenseTNT通过将道路离散化，并使用注意力机制获得目标点分布的概率热图，最后通过离线优化选择出K个目标点，并根据目标点生成整条轨迹。但是基于目标点驱动的轨迹预测，一般需要对目标点大量采样和筛选，这会增加模型计算量。以上的方法还存在着大量的样本不平衡问题，即直行的数据量远大于转向的数据量。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于半监督模型的车辆多模态轨迹预测方法，能够准确、快速且有效地确定未来可能出现的车辆模态，缓解轨迹预测中的数据不平衡问题，且能够在不增加推断时计算量的情况下，更好地预测轨迹模态分布、提高转向模态的轨迹预测质量。
本发明的目的可以通过以下技术方案来实现：一种基于半监督模型的车辆多模态轨迹预测方法，包括以下步骤：
S1、基于目标车辆的历史轨迹，获得车辆行驶的车道及相应的车道中心线信息，并根据车道中心线的方向获得车辆未来可能的运动模态；
通过匹配未来轨迹和车道中心线获得车辆未来的真实模态；
S2、使用student和teacher网络中的编码器，分别对目标车辆的历史轨迹、目标车辆周围设定范围内其他车辆的历史轨迹、目标车辆设定范围内的环境地图进行编码，得到相应的目标车辆轨迹的特征向量、周围车辆轨迹特征向量以及周围环境特征向量；
S3、在mean_teacher模型的student网络中，将车辆未来行驶的所有可能车道中心线分别等分为N个点，对这些点进行编码，并与编码器的输出向量、模态向量等进行拼接，输入解码器；
采用相同方式，在mean_teacher模型的teacher网络中，除未来真实模态所在的车道中心线以外，将车辆未来可能行驶的所有车道中心线分别等分为N个点，对这些点进行编码，并与编码器的输出向量、模态向量等进行拼接，输入解码器；
S4、对teacher网络中输出的轨迹进行筛选，将筛选得到的轨迹作为student网络中的伪标签；
对mean-teacher模型进行训练，在训练过程中，在回归损失和分类损失的基础上增加约束损失，以产生符合道路约束的轨迹，训练得到多模态轨迹预测模型；
S5、将实际中目标车辆和周围车辆的历史轨迹、周围地图信息以及未来行驶的所有车道中心线信息输入多模态轨迹预测模型，输出得到对应的轨迹预测结果。
进一步地，所述步骤S1具体包括以下步骤：
S1.1、获取目标车辆和周围其他车辆的轨迹，根据所有车辆的历史轨迹和目标车辆的当前位置，从地图中搜索出目标车辆当前所在位置附近设定范围内的所有车道中心线；
S1.2、根据目标车辆的历史轨迹，筛选出车辆当前所在的车道中心线，并根据当前所在车道线，采用广度优先的方式获得未来所有的可能行驶的车道中心线、分别根据每个车道中心线的方向将其标注为左转、右转、直行三个不同的模态；
使用包括历史轨迹和未来轨迹的完整轨迹，与得到的车道中心线进行匹配，得到车辆未来行驶的车道中心线；
S1.3、将车辆未来可能行驶的所有车道中心线按照模态进行分类，每类中选择出一条距离当前车辆位置最近的车道中心线，如果类别中没有车道中心线，则用0填充，以作为车道中心线坐标。进一步地，所述步骤S1.1中从地图中搜索出目标车辆当前所在位置附近设定范围内的所有车道中心线的具体过程为：
搜索目标车辆当前位置设定范围内的所有车道线，随后筛选出与车辆历史轨迹点距离小于2m的车道线、以及车辆方向和车道方向差值小于45°的车道线，最后从中选取车辆历史轨迹沿车道中心线方向行驶的长度最大的车道。
进一步地，所述步骤S2中编码器包括车辆和周围车辆历史轨迹编码器、道路地图编码器，具体为：
Figure BDA0004133769250000041
其中，φh(·)为全连接层，用于初步提取历史轨迹特征，s∈Rn×t×2为目标车辆和周围车辆的历史轨迹的位置坐标信息，n为包括目标车辆和周围车辆的车辆数目，t为车辆的历史轨迹的时间长度，he为车辆历史轨迹编码，fe为车辆周围栅格地图编码，le为矢量地图编码，re为道路地图信息最终编码，self_attentione(·)为自注意力编码器，φl(·)为全连接层，用于初步提取车道中心线特征，GNNe(·）为GNN(graph neural network，图神经网络)编码器，G(V,E)为由目标车辆周围的矢量地图构成的图，节点V∈Rm×l×2为目标车辆周围的车道中心线，m为车道中心线数目，l为每个车道中心线包括的车道中心线包含的车道段数目，边E表示节点之间是否连接，CNNe(·)为CNN(convolutional neural network，卷积神经网络)编码器，f∈Rn×3×128×128为车辆周围的栅格化地图，
Figure BDA0004133769250000042
表示拼接计算，cross_attentione(·)为交叉注意力编码器。
进一步地，所述步骤S3具体包括以下步骤、
S3.1、将车辆未来所有可能行驶的车道中心线划分为N个点，使用MLP(multi-layer perceptron，多层感知机)对车道中心线上的点进行编码；S3.2、将步骤S3.1得到的车道中心线编码，与student网络编码器得到的上下文向量、表示模态的one-hot向量进行拼接，之后输入student网络的解码器中，使用2个MLP对其解码，分别输出预测轨迹和轨迹置信度；
S3.3、将除未来真实模态所在的车道中心线以外所有可能行驶的车道中心线分别划分为N个点，使用MLP对车道中心线上的点进行编码；
S3.4、将步骤S3.3得到的车道中心线编码，与teacher网络编码器得到的上下文向量、表示模态的one-hot向量进行拼接，之后输入teacher网络的解码器中，分别输出预测轨迹和轨迹置信度。
进一步地，所述解码器具体为：
Figure BDA0004133769250000043
其中，sfuture为预测轨迹，pfuture为预测轨迹置信度，he∈Rn×h为车辆历史轨迹特征向量，
Figure BDA0004133769250000044
为周围环境特征向量，ce为车道中心线点的特征向量，τm∈R3为表示模态的特征向量，MLPs为车辆轨迹解码器，MLPp为轨迹置信度解码器，/>
Figure BDA0004133769250000051
表示拼接计算。
进一步地，所述步骤S4具体包括以下步骤：
S4.1、对teacher网络中初步预测的轨迹进行筛选；
S4.2、将未来轨迹的真值作为student网络中的未来真实模态轨迹的标签，将步骤S4.1筛选得到的轨迹作为student网络中其余相对应模态轨迹的标签，通过计算网络的损失，并对student网络进行反向传播、更新参数，最后使用EMA(exponential movingaverage，指数移动平均)方法对teacher网络进行参数更新。
进一步地，所述步骤S4.1的具体过程为：
首先去除预测的车辆行驶方向与车辆所行使道路的方向偏差大于45度的轨迹、以及预测轨迹终点偏离所行使车道中心线超过2m的轨迹；
若筛选后仍存在多条轨迹，则从中选择出置信度最高的轨迹。
进一步地，所述步骤S4.2中网络的损失包括回归损失，分类损失和约束损失，具体为：
L＝λ(Lreg(sp-label,sstudent)+Lcla(pp-label,pstudent))+(1-λ)(Lreg(sfuture,sstudent)
+Lcla(pfuture,pstudent))+Lcons
其中，sp-label为teacher网络中筛选出的伪标签轨迹，sstudent为student网络中产生的轨迹，sfuture为地面未来轨迹真值，pp-label∈RN为teacher网络输出的置信度，N为该模态车道中心线上的道路点数目，距离sp-label终点最近的道路点对应的轨迹置信度设置为1、其余为0，pstudent为student网络输出的置信度，Lreg为回归损失，Lcla为分类损失，Lcons为约束损失，用于使teacher网络能够生成符合约束要求的轨迹，当车辆的行驶方向与车辆所行使道路的方向偏差大于45度时，增加一个余弦损失，当车辆的预测点偏离所行驶车道中心线超过2m时，则增加一个MSE(mean squared errors，均方误差)损失。
进一步地，所述步骤S4.2中具体是使用EMA方法对teacher网络的权重进行更新：
Figure BDA0004133769250000052
其中，
Figure BDA0004133769250000053
为teacher网络在t时刻的参数，/>
Figure BDA0004133769250000054
为teacher网络在上一时刻的参数，/>
Figure BDA0004133769250000055
为student网络在t时刻的参数，β∈[0,1)为超参数。
与现有技术相比，本发明具有以下优点：
一、本发明基于道路地图信息获取车辆的未来可能意图和可能行驶的道路及中心线，并对目标车辆周围的道路地图信息以及目标车辆周围的其他车辆历史轨迹进行编码，随后使用半监督模型，为未来可能的目标车辆轨迹模态生成伪标签，并使用伪标签对不同模态下的预测轨迹进行监督学习，实现车辆轨迹的多模态预测。由此将目标车辆的当前真实轨迹所在的模态作为有标签数据、将目标车辆未来轨迹所在模态之外的所有可能的运动模态作为无标签数据，从而将多模态问题转化为半监督问题，并使用mean-teacher半监督模型对模型进行训练，能够有效得提升车辆轨迹的预测精度，并能解决车辆轨迹预测算法中存在的数据不平衡问题，有效改善车辆预测结果中的模态分布，显著提升轨迹预测质量。
二、本发明根据目标车辆的历史轨迹，筛选出车辆当前所在的车道中心线，并根据当前所在车道线，采用广度优先的方式获得未来所有的可能行驶的车道中心线、分别根据每个车道中心线的方向将其标注为左转、右转、直行三个不同的模态，有利于提高后续转向模态的轨迹预测质量。
三、本发明在对mean-teacher模型进行训练时，在回归损失和分类损失的基础上增加约束损失，该约束损失包括余弦损失和MSE损失，用于分别约束车辆的行驶方向与车辆所行使道路的方向偏差、车辆的预测点与所行驶车道中心线之间的偏离距离，由此能够确保产生符合道路约束的轨迹。
附图说明
图1为本发明的方法流程示意图；
图2为实施例的应用框架示意图；
图3为student网络框架示意图；
图4为teacher网络框架示意图；
图5为注意力机制的示意图；
图6为将矢量图转化为图结构示意图；
图7为CNN编码器示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，一种基于半监督模型的车辆多模态轨迹预测方法，包括以下步骤：
S1、基于目标车辆的历史轨迹，获得车辆行驶的车道及相应的车道中心线信息，并根据车道中心线的方向获得车辆未来可能的运动模态；
通过匹配未来轨迹和车道中心线获得车辆未来的真实模态；
S2、使用student和teacher网络中的编码器，分别对目标车辆的历史轨迹、目标车辆周围设定范围内其他车辆的历史轨迹、目标车辆设定范围内的环境地图进行编码，得到相应的目标车辆轨迹的特征向量、周围车辆轨迹特征向量以及周围环境特征向量；
S3、在mean_teacher模型的student网络中，将车辆未来行驶的所有可能车道中心线分别等分为N个点，对这些点进行编码，并与编码器的输出向量、模态向量等进行拼接，输入解码器；
采用相同方式，在mean_teacher模型的teacher网络中，除未来真实模态所在的车道中心线以外，将车辆未来可能行驶的所有车道中心线分别等分为N个点，对这些点进行编码，并与编码器的输出向量、模态向量等进行拼接，输入解码器；
S4、对teacher网络中输出的轨迹进行筛选，将筛选得到的轨迹作为student网络中的伪标签；
对mean-teacher模型进行训练，在训练过程中，在回归损失和分类损失的基础上增加约束损失，以产生符合道路约束的轨迹，训练得到多模态轨迹预测模型；
S5、将实际中目标车辆和周围车辆的历史轨迹、周围地图信息以及未来行驶的所有车道中心线信息输入多模态轨迹预测模型，输出得到对应的轨迹预测结果。
本实施例应用上述技术方案，如图2所示，构建半监督模型框架，包括student网络和teacher网络，主要内容有：
一、在执行步骤S1时：
S1.1：获取目标车辆和周围其他车辆的轨迹，根据所有车辆的历史轨迹和目标车辆的当前位置，从地图中搜索出目标车辆当前所在位置附近一定范围内的所有车道中心线。
S1.2：根据目标车辆的历史轨迹，筛选出车辆当前最可能在的车道中心线。并根据当前所在车道线，采用广度优先的方式获得未来所有的可能行驶的车道中心线。并分别根据每个车道中心线的方向将其标注为左转、右转、直行三个不同的模态。使用包括历史轨迹和未来轨迹的完整轨迹，与得到的车道中心线进行匹配，得到车辆未来所行驶的车道中心线。
S1.3：将得到的车道中心线按照模态进行分类，每类中选择出一条距离当前车辆位置最近的车道中心线，如果类别中没有车道中心线，则用0填充，做为车道中心线坐标。
二、在执行步骤S2时：
本技术方案采用具有普适性不拘泥于一种编码器和解码器。如图3和图4所示，网络中使用GNN网络和CNN网络提取道路地图特征、使用注意力机制提取车辆轨迹特征、车辆之间的交互特征、车辆和道路之间的特征。
在编码器中，一方面使用注意力机制(如图5所示)处理车辆的历史轨迹，相较于传统的RNN结构及其变体(LSTM、GRU)，注意力机制的显著优点就是关注相关的信息而忽略不相关的信息，不通过循环而直接建立输入与输出之间的依赖关系，并行化程度强，运行速度有了很大提高。它还克服了传统神经网络中的一些局限，如随着输入长度增加系统的性能下降、输入顺序不合理导致系统的计算效率低下、系统缺乏对特征的提取和强化等。注意力机制可以公式化如下：
Figure BDA0004133769250000081
Q＝Wqq,K＝Wkk,V＝Wvv
其中，Wq，Wk，Wv为可学习参数；q为查询向量；k为键向量；v为值向量，在自注意力机制中，q，k，v相同；
另一方面使用GNN处理矢量道路地图信息，如图6所示，将车道段作为节点，将车道段之间的关系作为边，构成一个图G(V,E)，其中节点V∈Rm×l×2为目标车辆周围的车道中心线，其中m为车道中心线数目，l为每个车道中心线包含的车道段数目，边E表示节点之间是否连接。使用GNN网络能够有效的保留车道段之间的拓扑结构和车道段之间的连接关系。参考图7所示，相较于GNN网络，以RGB图像作为输入的CNN网络，可以表达更为丰富的地图信息。所以本技术方案同时使用了两种网络，使用两层GCN(Graph Convolutional Networks，图卷积网络)提取矢量地图信息，公式化表示如下：
Figure BDA0004133769250000082
式中，
Figure BDA0004133769250000083
I是单位矩阵；/>
Figure BDA0004133769250000084
是/>
Figure BDA0004133769250000085
的度矩阵；/>
Figure BDA0004133769250000086
是每一层节点的特征；σ是非线性激活函数；GNNe使用两层GNN网络，最终得到车道中心线编码结果le。
为了更好利用道路地图信息，本实施例使用一个4层的CNN网络来提取可行驶区域、车道中心线等信息。相较于GNN网络，以RGB图像作为输入的CNN网络，可以表达更为丰富的地图信息。该CNN网络可以表示如下：
fe＝CNN(f)
最后将得到的特征图进行展开为一维向量，得到车辆周围栅格地图特征向量。
在编码器中使用注意力机制来提取历史轨迹特征、交互关系、车辆与道路之间的交互。self-attentione包括分别在时间和空间维度上使用注意力机制算法，在时间维度上的注意力机制可以提取车辆的动力学特征。self-attentione首先使用两个注意力层获得车辆轨迹编码，其中时间维度的注意力层可以公式化如下：
se＝φh(s)
he＝Attention(se,se,se)
其中，φh(·)为全连接层，用于初步提取历史轨迹特征，s∈Rn×t×2为目标和周围车辆历史轨迹的位置坐标信息，得到
Figure BDA0004133769250000091
的时间维度车辆轨迹编码；
将eh的时间维度和空间维度进行转置得到
Figure BDA0004133769250000092
self-attentione再使用两个注意力层获得空间交互，空间维度注意力层可以公式化如下：
Figure BDA0004133769250000093
其中，
Figure BDA0004133769250000094
为转置后的车辆轨迹编码。
在cross-attentione编码器中使用两个交叉注意力层来获得车辆与道路之间的交互，交叉注意力层可以公式化如下：
Figure BDA0004133769250000095
其中，
Figure BDA0004133769250000096
是/>
Figure BDA0004133769250000097
的转置，车辆历史轨迹编码；fe为车辆周围栅格地图编码；le为矢量地图编码。
三、在执行步骤S3时：
S3.1：将车辆未来所有可能行驶的车道中心线分别划分为N个点。使用MLP(multi-layer perceptron)对车道中心线上的点进行编码。
S3.2：将通过步骤S3.1得到的车道中心线编码，与student网络编码器得到的上下文向量、表示模态的one-hot向量进行拼接，输入student网络的解码器中，使用2个MLP对其解码，分别输出预测轨迹和轨迹置信度。
S3.3：将除未来真实模态所在的车道中心线以外所有可能行驶的车道中心线分别划分为N个点。使用MLP对车道中心线上的点进行编码。
S3.4：将通过步骤S3.3得到的车道中心线编码，与teacher网络编码器得到的上下文向量、表示模态的one-hot向量进行拼接，输入teacher网络的解码器中，分别输出预测轨迹和轨迹置信度。
在解码器中，将编码器得到的历史轨迹编码、道路地图编码、车道中心线点编码、表示运动模态的one-hot向量拼接在一起，使用两个MLP网络进行解码，得到完整的轨迹和轨迹的置信度。解码器可以公式化表示如下：
Figure BDA0004133769250000101
式中，sfuture为预测轨迹；pfuture为预测轨迹置信度；he∈Rn×h为车辆历史轨迹特征向量；
Figure BDA0004133769250000102
为周围环境特征向量；ce为车道中心线点的特征向量；τm∈R3为表示模态的特征向量；MLPs为车辆轨迹解码器，MLPp为轨迹置信度解码器；/>
Figure BDA0004133769250000103
表示拼接操作。
四、在执行步骤S4时：
S4.1：对teacher网络中初步预测的轨迹进行筛选，得到符合道路约束、预测质量高的轨迹。
teacher网络的预测轨迹筛选方法具体为：首先去除预测的车辆行驶方向与车辆所行使道路的方向偏差大于45度的轨迹，以及预测轨迹终点偏离所行使车道中心线超过2m的轨迹；若筛选后仍存在多条轨迹，则选择置信度最高的轨迹作为student网络的伪标签。
S4.2：将未来轨迹的真值作为student网络中的未来真实模态轨迹的标签，teacher网络得到的轨迹作为student网络中其余相对应模态轨迹的标签，计算网络的损失，并对student网络进行反向传播，更新参数。最后使用EMA(exponential movingaverage)方法对teacher网络进行参数更新。
损失函数包括回归损失，归类损失和约束损失，公式化如下：
L＝λ(Lreg(sp-label,sstudent)+Lcla(pp-label,pstudent))+(1-λ)(Lreg(sfuture,sstudent)
+Lcla(pfuture,pstudent))+Lcons
其中，sp-label为teacher网络中的筛选出的伪标签轨迹；sstudent为student网络中产生的轨迹；sfuture为地面未来轨迹真值；pp-label∈RN为teacher网络输出的置信度，其中N为该模态车道中心线上的道路点数目，距离sp-label终点最近的道路点对应的轨迹置信度设置为1，其余为0；pstudent为student网络输出的置信度；Lreg为回归损失，在本实施例中使用MSE(mean squared errors)损失，Lcla为分类损失，在本实施例使用交叉熵损失。Lcons为约束损失，用于使teacher网络能够生成符合约束要求的轨迹——当车辆的行驶方向与车辆所行使道路的方向偏差大于45度时，增加一个余弦损失；当车辆的预测点偏离所行驶车道中心线超过2m时，增加一个MSE损失。
teacher网络的权重使用EMA的方法更新，公式化如下：
Figure BDA0004133769250000111
其中
Figure BDA0004133769250000112
为teacher网络在t时刻的参数，/>
Figure BDA0004133769250000113
为teacher网络在上一时刻的参数，/>
Figure BDA0004133769250000114
为student网络在t时刻的参数，β∈[0,1)为超参数，由用户定义。
综上所述，本技术方案提供了一种基于半监督模型的车辆多模态轨迹预测方法。通过地图信息确定未来可能出现的车辆模态，具有准确、快速且有效的优点；使用半监督模型进行训练，能够缓解轨迹预测中的数据不平衡问题，且在不增加推断时计算量的情况下，更好的预测轨迹模态分布，提高转向模态的轨迹预测质量；且该方法具有通用性，只需要稍微改变模型的训练方法就可以有效的增加其他模型的预测精度并改善轨迹的模态分布。
本技术方案通过将未来轨迹的真实模态视为有标签数据、将其余可能的模态视为无标签数据，从而将车辆的多模态预测问题视为一个半监督问题并使用半监督模型进行训练；从而能够有效提升轨迹的预测精度；同时还能够有效的改善预测轨迹的模态分布。本技术方案通过制造伪标签，还在一定程度上克服了轨迹预测中的数据不平衡问题。本技术方案还具有较强的普适性，只需要对现有的方法的训练过程进行稍微改进，便可使用该方法改善预测精度和模态分布。

Claims (10)

1.一种基于半监督模型的车辆多模态轨迹预测方法，其特征在于，包括以下步骤：
S1、基于目标车辆的历史轨迹，获得车辆行驶的车道及相应的车道中心线信息，并根据车道中心线的方向获得车辆未来可能的运动模态；
通过匹配未来轨迹和车道中心线获得车辆未来的真实模态；
S2、使用student和teacher网络中的编码器，分别对目标车辆的历史轨迹、目标车辆周围设定范围内其他车辆的历史轨迹、目标车辆设定范围内的环境地图进行编码，得到相应的目标车辆轨迹的特征向量、周围车辆轨迹特征向量以及周围环境特征向量；
S3、在mean_teacher模型的student网络中，将车辆未来行驶的所有可能车道中心线分别等分为N个点，对这些点进行编码，并与编码器的输出向量、模态向量等进行拼接，输入解码器；
采用相同方式，在mean_teacher模型的teacher网络中，除未来真实模态所在的车道中心线以外，将车辆未来可能行驶的所有车道中心线分别等分为N个点，对这些点进行编码，并与编码器的输出向量、模态向量等进行拼接，输入解码器；
S4、对teacher网络中输出的轨迹进行筛选，将筛选得到的轨迹作为student网络中的伪标签；
对mean-teacher模型进行训练，在训练过程中，在回归损失和分类损失的基础上增加约束损失，以产生符合道路约束的轨迹，训练得到多模态轨迹预测模型；
S5、将实际中目标车辆和周围车辆的历史轨迹、周围地图信息以及未来行驶的所有车道中心线信息输入多模态轨迹预测模型，输出得到对应的轨迹预测结果。
2.根据权利要求1所述的一种基于半监督模型的车辆多模态轨迹预测方法，其特征在于，所述步骤S1具体包括以下步骤：
S1.1、获取目标车辆和周围其他车辆的轨迹，根据所有车辆的历史轨迹和目标车辆的当前位置，从地图中搜索出目标车辆当前所在位置附近设定范围内的所有车道中心线；
S1.2、根据目标车辆的历史轨迹，筛选出车辆当前所在的车道中心线，并根据当前所在车道线，采用广度优先的方式获得未来所有的可能行驶的车道中心线、分别根据每个车道中心线的方向将其标注为左转、右转、直行三个不同的模态；
使用包括历史轨迹和未来轨迹的完整轨迹，与得到的车道中心线进行匹配，得到车辆未来行驶的车道中心线；
S1.3、将车辆未来可能行驶的所有车道中心线按照模态进行分类，每类中选择出一条距离当前车辆位置最近的车道中心线，如果类别中没有车道中心线，则用0填充，以作为车道中心线坐标。
3.根据权利要求2所述的一种基于半监督模型的车辆多模态轨迹预测方法，其特征在于，所述步骤S1.1中从地图中搜索出目标车辆当前所在位置附近设定范围内的所有车道中心线的具体过程为：
搜索目标车辆当前位置设定范围内的所有车道线，随后筛选出与车辆历史轨迹点距离小于2m的车道线、以及车辆方向和车道方向差值小于45°的车道线，最后从中选取车辆历史轨迹沿车道中心线方向行驶的长度最大的车道。
4.根据权利要求1所述的一种基于半监督模型的车辆多模态轨迹预测方法，其特征在于，所述步骤S2中编码器包括车辆和周围车辆历史轨迹编码器、道路地图编码器，具体为：
Figure FDA0004133769240000021
其中，φh(·)为全连接层，用于初步提取历史轨迹特征，s∈Rn×t×2为目标车辆和周围车辆的历史轨迹的位置坐标信息，n为包括目标车辆和周围车辆的车辆数目，t为车辆的历史轨迹的时间长度，he为车辆历史轨迹编码，fe为车辆周围栅格地图编码，le为矢量地图编码，re为道路地图信息最终编码，self_attentione(·)为自注意力编码器，φl(·)为全连接层，用于初步提取车道中心线特征，GNNe(·)为GNN编码器，G(V，E)为由目标车辆周围的矢量地图构成的图，节点V∈Rm×l×2为目标车辆周围的车道中心线，m为车道中心线数目，l为每个车道中心线包括的车道中心线包含的车道段数目，边E表示节点之间是否连接，CNNe(·)为CNN编码器，f∈Rn×3×128×128为车辆周围的栅格化地图，
Figure FDA0004133769240000022
表示拼接计算，cross_attentione(·)为交叉注意力编码器。
5.根据权利要求1所述的一种基于半监督模型的车辆多模态轨迹预测方法，其特征在于，所述步骤S3具体包括以下步骤、
S3.1、将车辆未来所有可能行驶的车道中心线分别划分为N个点，使用MLP对车道中心线上的点进行编码；
S3.2、将步骤S3.1得到的车道中心线编码，与student网络编码器得到的上下文向量、表示模态的one-hot向量进行拼接，之后输入student网络的解码器中，使用2个MLP对其解码，分别输出预测轨迹和轨迹置信度；
S3.3、将除未来真实模态所在的车道中心线以外所有可能行驶的车道中心线分别划分为N个点，使用MLP对车道中心线上的点进行编码；
S3.4、将步骤S3.3得到的车道中心线编码，与teacher网络编码器得到的上下文向量、表示模态的one-hot向量进行拼接，之后输入teacher网络的解码器中，分别输出预测轨迹和轨迹置信度。
6.根据权利要求5所述的一种基于半监督模型的车辆多模态轨迹预测方法，其特征在于，所述解码器具体为：
Figure FDA0004133769240000031
其中，sfuture为预测轨迹，pfuture为预测轨迹置信度，he∈Rn×h为车辆历史轨迹特征向量，
Figure FDA0004133769240000032
为周围环境特征向量，ce为车道中心线点的特征向量，τm∈R3为表示模态的特征向量，MLPs为车辆轨迹解码器，MLPp为轨迹置信度解码器，/>
Figure FDA0004133769240000033
表示拼接计算。
7.根据权利要求1所述的一种基于半监督模型的车辆多模态轨迹预测方法，其特征在于，所述步骤S4具体包括以下步骤：
S4.1、对teacher网络中初步预测的轨迹进行筛选；
S4.2、将未来轨迹的真值作为student网络中的未来真实模态轨迹的标签，将步骤S4.1筛选得到的轨迹作为student网络中其余相对应模态轨迹的标签，通过计算网络的损失，并对student网络进行反向传播、更新参数，最后使用EMA方法对teacher网络进行参数更新。
8.根据权利要求7所述的一种基于半监督模型的车辆多模态轨迹预测方法，其特征在于，所述步骤S4.1的具体过程为：
首先去除预测的车辆行驶方向与车辆所行使道路的方向偏差大于45度的轨迹、以及预测轨迹终点偏离所行使车道中心线超过2m的轨迹；
若筛选后仍存在多条轨迹，则从中选择出置信度最高的轨迹。
9.根据权利要求8所述的一种基于半监督模型的车辆多模态轨迹预测方法，其特征在于，所述步骤S4.2中网络的损失包括回归损失，分类损失和约束损失，具体为：
L＝λ(Lreg(sp-label,sstudent)+Lcla(pp-label,pstudent))+(1-λ)(Lreg(sfuture,sstudent)+Lcla(pfuture,pstudent))+Lcons
其中，sp-label为teacher网络中筛选出的伪标签轨迹，sstudent为student网络中产生的轨迹，sfuture为地面未来轨迹真值，pp-label∈RN为teacher网络输出的置信度，N为该模态车道中心线上的道路点数目，距离sp-label终点最近的道路点对应的轨迹置信度设置为1、其余为0，pstudent为student网络输出的置信度，Lreg为回归损失，Lcla为分类损失，Lcons为约束损失，用于使teacher网络能够生成符合约束要求的轨迹，当车辆的行驶方向与车辆所行使道路的方向偏差大于45度时，增加一个余弦损失，当车辆的预测点偏离所行驶车道中心线超过2m时，则增加一个MSE损失。
10.根据权利要求7所述的一种基于半监督模型的车辆多模态轨迹预测方法，其特征在于，所述步骤S4.2中具体是使用EMA方法对teacher网络的权重进行更新：
Figure FDA0004133769240000041
其中，
Figure FDA0004133769240000042
为teacher网络在t时刻的参数，/>
Figure FDA0004133769240000043
为teacher网络在上一时刻的参数，/>
Figure FDA0004133769240000044
为student网络在t时刻的参数，β∈[0,1)为超参数。
CN202310267999.5A 2023-03-16 2023-03-16 一种基于半监督模型的车辆多模态轨迹预测方法 Pending CN116331259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310267999.5A CN116331259A (zh) 2023-03-16 2023-03-16 一种基于半监督模型的车辆多模态轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310267999.5A CN116331259A (zh) 2023-03-16 2023-03-16 一种基于半监督模型的车辆多模态轨迹预测方法

Publications (1)

Publication Number Publication Date
CN116331259A true CN116331259A (zh) 2023-06-27

Family

ID=86888940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310267999.5A Pending CN116331259A (zh) 2023-03-16 2023-03-16 一种基于半监督模型的车辆多模态轨迹预测方法

Country Status (1)

Country Link
CN (1) CN116331259A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116718197A (zh) * 2023-08-09 2023-09-08 腾讯科技（深圳）有限公司 轨迹处理方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116718197A (zh) * 2023-08-09 2023-09-08 腾讯科技（深圳）有限公司 轨迹处理方法、装置、电子设备及存储介质
CN116718197B (zh) * 2023-08-09 2023-10-24 腾讯科技（深圳）有限公司 轨迹处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11480972B2 (en) Hybrid reinforcement learning for autonomous driving
US11500099B2 (en) Three-dimensional object detection
US20210004012A1 (en) Goal-Directed Occupancy Prediction for Autonomous Driving
US20220214457A1 (en) Three-Dimensional Object Detection
KR102539942B1 (ko) 궤적 계획 모델을 훈련하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN114398491A (zh) 一种基于知识图谱的语义分割图像实体关系推理方法
Roh et al. Multimodal trajectory prediction via topological invariance for navigation at uncontrolled intersections
Monninger et al. Scene: Reasoning about traffic scenes using heterogeneous graph neural networks
CN116331259A (zh) 一种基于半监督模型的车辆多模态轨迹预测方法
CN116050245A (zh) 基于复杂网络理论的高速公路自动驾驶商用车轨迹预测与决策方法与系统
CN115907009A (zh) 一种自动驾驶感知模型的迁移方法、装置、设备和介质
CN114368387B (zh) 一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法
Sharma et al. Kernelized convolutional transformer network based driver behavior estimation for conflict resolution at unsignalized roundabout
Zuo et al. Trajectory prediction network of autonomous vehicles with fusion of historical interactive features
Wang et al. Deep understanding of big geospatial data for self-driving: Data, technologies, and systems
Moghadam et al. A deep reinforcement learning approach for long-term short-term planning on frenet frame
Zhou et al. CSR: cascade conditional variational auto encoder with socially-aware regression for pedestrian trajectory prediction
Khanum et al. Involvement of deep learning for vision sensor-based autonomous driving control: a review
Yang et al. IST-PTEPN: an improved pedestrian trajectory and endpoint prediction network based on spatio-temporal information
Zhang et al. Spatial attention for autonomous decision-making in highway scene
Gao et al. Deep learning‐based hybrid model for the behaviour prediction of surrounding vehicles over long‐time periods
Fellicious Transfer learning and organic computing for autonomous vehicles
Li et al. RDDRL: a recurrent deduction deep reinforcement learning model for multimodal vision-robot navigation
Lu et al. ActiveAD: Planning-Oriented Active Learning for End-to-End Autonomous Driving
Zhan et al. A Transformation-Aggregation Framework for State Representation of Autonomous Driving Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination