CN114372570A - 一种多模态车辆轨迹预测方法 - Google Patents

一种多模态车辆轨迹预测方法 Download PDF

Info

Publication number
CN114372570A
CN114372570A CN202111528362.4A CN202111528362A CN114372570A CN 114372570 A CN114372570 A CN 114372570A CN 202111528362 A CN202111528362 A CN 202111528362A CN 114372570 A CN114372570 A CN 114372570A
Authority
CN
China
Prior art keywords
vehicle
track
predicted
historical
candidate lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111528362.4A
Other languages
English (en)
Inventor
田炜
韩帅
王松涛
邓振文
黄禹尧
周斯泓
谭大艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202111528362.4A priority Critical patent/CN114372570A/zh
Publication of CN114372570A publication Critical patent/CN114372570A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q50/40—

Abstract

本发明提供一种多模态车辆轨迹预测方法，包括以下步骤：分别获取预测车辆和周围车辆在世界坐标系下的历史运动轨迹，处理为在候选车道中心线坐标系下的历史运动轨迹并进行编码获取历史轨迹特征向量，同时获取当前时刻预测车辆与周围车辆的交互关系特征向量、意图模态编码和运动模态编码；将意图模态编码、运动模态编码、预测车辆的历史轨迹特征向量以及当前时刻预测车辆与周围车辆的交互关系特征向量进行拼接输入LSTM解码器，输出预测车辆的多条预测轨迹以及对应的置信度标签，置信度最高的预测轨迹为最佳轨迹。与现有技术相比，该方法无需标注数据集和采样过程，全面描述车辆运动的预测轨迹分布并可进行长时预测；且具有较强的场景泛化能力。

Description

一种多模态车辆轨迹预测方法
技术领域
本发明涉及自动驾驶技术领域，尤其是涉及一种多模态车辆轨迹预测方法。
背景技术
近年来，人工智能的发展热潮渗透到了各行各业，自动驾驶作为人工智能最大的应用领域，取得了空前的发展与进步。
但是业内对于实现复杂场景下的全自动驾驶的态度却略显悲观，其中一个很重要的原因，就是对于动态场景下的轨迹预测问题始终没能得到很好的解决。实际上，从业者很早就指出轨迹预测是实现自动驾驶最具挑战性的问题之一。
在道路上行驶的自动驾驶汽车需要根据当前的交通状况进行自主决策以及路径规划。为了安全、高效地行驶，这就需要自动驾驶汽车能够准确理解并预测周围交通参与者的行为后进行决策规划。
预测模块作为衔接感知模块和决策规划模块的关键环节，缺少这一前提，再完美的感知以及决策规划在实际的自动驾驶应用中都不会是安全和高效的。近年来，轨迹预测相关方向的研究受到了越来越多的重视，越来越多的研究人员投入到相关的研究中，但是目前轨迹预测仍然是一项充满挑战性的任务。
轨迹预测方法主要分三类。基于物理模型的轨迹预测对于短时预测具有较准确的预测结果，但是对于长时预测，它的准确性严重下降；基于机器学习的轨迹预测对于较长时间的预测效果并不好，并且在模型中或多或少需要结合手工设计的特征，只能学习到显式的信息而不能学习到更深的隐含条件，这使得模型的预测能力非常有限；基于深度学习的轨迹预测虽然需要大量的数据支持，但是可以学习到更深的隐含信息，进而提高轨迹预测精度。
在道路上行驶的不同交通参与者在相同的条件下可能会做出完全不同的行为决策，即表现为不同的运动模态，所以对于这些行为的预测也应该是不确定的。实现多模态轨迹预测是一项充满挑战但是却十分重要的任务。根据是否需要预先定义模态将不同的多模态轨迹预测方法分为两类。需要预先定义模态的方法需要手工标注数据集中的不同模态，一方面这是十分耗时耗力的；另一方面无法通过真值评价标注的正确性，不合理的标注会在训练过程中对预测网络产生不好的影响。不需提前定义模态的方法不需要手工标注数据集中的不同模态，但是通过采样的方式得到的轨迹分布难以保证涵盖所有可能的运动模态，可能会发生高概率的模态反复采样，低概率的模态无法采样的情况。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种多模态车辆轨迹预测方法，该方法无需标注数据集和采样过程即可自监督学习车辆运动的多模态特性，全面描述车辆运动的预测轨迹分布并可进行长时预测；且具有较强的场景泛化能力，不仅适用于道路结构固定的高速场景，对于复杂的城市道路场景同样有效。
本发明的目的可以通过以下技术方案来实现：
本发明提供一种多模态车辆轨迹预测方法，包括以下步骤：
S1：基于道路地图分别获取预测车辆和周围多个车辆在世界坐标系下的历史运动轨迹，并分别处理为预测车辆和各周围车辆在候选车道中心线坐标系下的历史运动轨迹；
S2：分别对所述预测车辆和各周围车辆在候选车道中心线坐标系下的历史运动轨迹进行编码，获取预测车辆的历史轨迹特征向量和各周围车辆的历史轨迹特征向量，并根据所述预测车辆的历史轨迹特征向量和各周围车辆的历史轨迹特征向量获取当前时刻预测车辆与周围车辆的交互关系特征向量；
S3：对所述候选车道中心线进行采样，获取预测车辆的历史轨迹特征向量对应的意图模态编码，采用独热编码获取预测车辆在不同速度下的运动模态编码；
S4：将意图模态编码、运动模态编码、预测车辆的历史轨迹特征向量以及当前时刻预测车辆与周围车辆的交互关系特征向量进行拼接作为LSTM解码器的输入，LSTM解码器解码输出预测车辆的多条预测轨迹以及对应的置信度标签，并通过训练神经网络选取一条与轨迹真值最匹配的预测轨迹。
优选地，所述S1包括以下步骤：
S1.1：基于道路地图获取预测车辆和周围多个车辆在世界坐标系下的历史运动轨迹；
S1.2：根据曼哈顿距离采用广度优先的方式获取预测车辆的候选车道中心线，并将预测车辆和各周围车辆在世界坐标系下的历史运动轨迹中的各轨迹点投影至候选车道中心线上，在候选车道中心线上分别找出距离每个轨迹点最近的点作为匹配点；
S1.3：根据所述候选车道中心线和所述匹配点建立候选车道中心线坐标系，并获取在候选车道中心线坐标系下的各轨迹点坐标，进而获取预测车辆和各周围车辆在候选车道中心线坐标系下的历史运动轨迹。
优选地，所述候选车道中心线坐标系具体为：以沿候选车道中心线方向为y轴，以垂直于候选车道中心线方向为x轴，以当前时刻预测车辆的轨迹点在候选车道中心线上对应的匹配点为坐标原点。
优选地，所述候选车道中心线坐标系下的各轨迹点坐标为：x的数值为轨迹点与匹配点之间的距离，x轴的正方向为候选车道中心线前进方向的右侧；y的数值为轨迹点对应的匹配点与坐标原点沿着候选车道中心线的距离，y轴的正方向为沿着候选车道中心线前进的方向。
优选地，所述S2包括以下步骤：
S2.1：分别对预测车辆和各周围车辆在候选车道中心线坐标系下的历史运动轨迹进行编码，获取预测车辆的历史轨迹特征向量和各周围车辆的历史轨迹特征向量；
S2.2：对各周围车辆的历史轨迹特征向量进行整合获取周围车辆的历史轨迹特征向量，通过交互模型，并根据所述预测车辆的历史轨迹特征向量和所述周围车辆的历史轨迹特征向量获取当前时刻预测车辆与周围车辆的交互关系特征向量。
优选地，对每一时刻的历史轨迹进行编码获取当前时刻的历史轨迹特征向量的公式为：
Figure BDA0003409813230000031
式中，φe(·为全连接层，用于初步提取历史轨迹特征，W1为其对应参数，St为历史轨迹在t时刻的位置坐标信息；LSTMe(·)为LSTM编码器，W2为其对应参数；
Figure BDA0003409813230000032
为LSTMencoder-decoder基准车辆轨迹预测网络中LSTM编码器的输入，即当前时刻的历史运动轨迹特征向量；
Figure BDA0003409813230000041
和
Figure BDA0003409813230000042
分别为t时刻LSTM编码器中的隐藏状态和记忆细胞状态，
Figure BDA0003409813230000043
和
Figure BDA0003409813230000044
分别为t-1时刻LSTM编码器中的隐藏状态和记忆细胞状态。
优选地，计算交互模型的公式具体为：
Figure BDA0003409813230000045
式中，φr为交互模型，Wr为其对应参数，
Figure BDA0003409813230000046
为交互模型输入的预测，robs为当前时刻预测车辆与周围车辆的交互关系特征向量。
优选地，获取意图模态编码的过程具体为：在候选车道中心线上以当前时刻预测车辆在候选车道中心线上的匹配点为起点，按照固定长度间隔采样，将所有采样点相对起点的坐标构成向量，将所述向量通过多层感知器获取意图模态编码。
优选地，所述LSTM解码器的输入为：
Figure BDA0003409813230000047
式中，ψline(M)为候选车道中心线的集合；vline为从具体的候选车道中心线上采样n个点构成的向量；MLP为多层感知器，WMLP为其对应参数；τline为预测车辆的历史运动轨迹特征向量对应的意图模态编码，
Figure BDA0003409813230000048
为所有时刻预测车辆的历史运动轨迹特征向量，robs为当前时刻预测车辆与周围车辆的交互关系特征向量，ψm(N)为N个独热编码的集合，τm为预测车辆的运动模态编码，
Figure BDA0003409813230000049
为LSTM解码器的输入特征向量。
优选地，通过仲裁方法从所有输出的预测车辆的预测轨迹中选取一条与轨迹真值最匹配的预测轨迹，所述仲裁方法具体为：
在确定意图模态时，根据预测车辆未来的轨迹真值与候选车道中心线距离在曼哈顿阈值范围内的点的数量从多到少将所有候选车道中心线进行排序，选择在阈值范围内的轨迹真值点数量最多的候选车道中心线作为当前的意图模态；在确定运动模态时，在当前的意图模态下，按照平均位置偏差最小的原则确定与轨迹真值最匹配的预测轨迹。
与现有技术相比，本发明具有以下优点：
1、本发明通过自定义候选车道中心线坐标系，并将车辆在世界坐标系下的历史运动轨迹处理为车辆在候选车道中心线坐标系下的历史运动轨迹，只需对候选车道中心线坐标系下的坐标进行处理，避免了传统方法使用不同的卷积网络在世界地图上进行卷积处理的繁琐，省时省力。
2、本发明通过将车辆在世界坐标系下的历史运动轨迹处理为车辆在候选车道中心线坐标系下的历史运动轨迹，具有较强的场景泛化能力，不仅适用于道路结构固定的高速场景，对于复杂的城市道路场景同样有效。
3、本发明利用LSTM encoder-decoder网络，输入各模态编码，由网络自主训练，不需预先定义模态，无需标注数据集和采样过程即可自监督学习车辆运动的多模态特性，全面描述车辆运动的预测轨迹分布并可进行长时预测。
附图说明
图1为本实施例的一种多模态车辆轨迹预测方法的流程示意图；
图2为图1所示实施例的LSTM encoder-decoder网络框架示意图；
图3为图1所示实施例的LSTM循环单元的内部结构示意图；
图4为图1所示实施例的世界坐标系和候选车道中心线坐标系的转换示意图；
图5为图1所示实施例的通过空间网格建模交互关系的交互模型的示意图；
图6为图1所示实施例的基于注意力机制建模交互关系的交互模型的示意图；
图7为图1所示实施例的在当前时刻的输入位置嵌入交互模型的示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
LSTM encoder-decoder网络：
参考图2所示，LSTM encoder-decoder网络主要用于解决从一个序列到另一个序列的映射问题，在本发明则是用以实现从历史观测轨迹到未来预测轨迹的序列映射。LSTMencoder-decoder网络的基本组成单元为LSTM，LSTM是对基本的循环神经网络(RNN)的改进，对于处理序列数据具有显著的优势和性能。
参考图3所示，LSTM encoder-decoder网络主要分为编码和解码两个过程，并且两个过程别通过不同的LSTM网络实现，即LSTM编码器和LSTM解码器。编码过程就是将输入序列逐步循环地保存到LSTM编码器的记忆细胞中，每个LSTM循环单元输入的是已知的输入序列。解码过程是将LSTM编码器最后输出的包含所有输入序列信息的记忆细胞状态作为LSTM解码器中记忆细胞的初始值，通过LSTM解码器每个循环单元输出的隐藏状态逐步生成输出序列。此外，将每个LSTM循环单元输出的预测结果当成真值，作为下一个LSTM循环单元的输入。
参考图1所示，本实施例提供一种多模态车辆轨迹预测方法，包括以下步骤：
S1：基于道路地图分别获取预测车辆和周围多个车辆在世界坐标系下的历史运动轨迹，并分别处理为预测车辆和周围多个车辆在候选车道中心线坐标系下的历史运动轨迹；
S1.1：基于道路地图获取预测车辆和周围多个车辆在世界坐标系下的历史运动轨迹；
S1.2：根据曼哈顿距离采用广度优先的方式获取预测车辆的候选车道中心线，并将预测车辆和各周围车辆在世界坐标系下的历史运动轨迹中的各轨迹点投影至候选车道中心线上，在候选车道中心线上分别找出距离每个轨迹点最近的点作为匹配点；
曼哈顿距离的公式为：
SM＝|xA-xB|+|yA-yB|
式中，(xA,yA)与(xB,yB)分别为道路地图上A、B两点在世界坐标系下的坐标，SM为道路地图上A、B两点在世界坐标系下的曼哈顿距离。
获取预测车辆的候选车道中心线的过程具体为：定义最小的曼哈顿距离，以预测车辆为中心，并根据定义的曼哈顿阈值确定一个矩形区域，搜索是否有与矩形区域存在交集的候选车道中心线。如果没有则不断扩大阈值，直到搜索到车道中心线未知，实际存在一条或多条候选车道中心线。
S1.3：根据候选车道中心线和匹配点建立候选车道中心线坐标系，并获取在候选车道中心线坐标系下的各轨迹点坐标，进而获取预测车辆和各周围车辆在候选车道中心线坐标系下的历史运动轨迹。
参考图4所示，候选车道中心线坐标系具体为：以沿候选车道中心线方向为y轴方向，以垂直于候选车道中心线方向为x轴方向，以当前时刻预测车辆的轨迹点在候选车道中心线上对应的匹配点为坐标原点。
候选车道中心线坐标系下的各轨迹点坐标为：x的数值为轨迹点与匹配点之间的距离，x轴的正方向为候选车道中心线前进方向的右侧；y的数值为轨迹点对应的匹配点与坐标原点沿着候选车道中心线的距离为，y轴的正方向为沿着候选车道中心线前进的方向。
S2：分别对所述预测车辆和各周围车辆在候选车道中心线坐标系下的历史运动轨迹进行编码，获取预测车辆的历史轨迹特征向量和各周围车辆的历史轨迹特征向量，并根据所述预测车辆的历史轨迹特征向量和各周围车辆的历史轨迹特征向量获取当前时刻预测车辆与周围车辆的交互关系特征向量；
S2.1：分别对预测车辆和各周围车辆在候选车道中心线坐标系下的历史运动轨迹进行编码，获取预测车辆的历史轨迹特征向量和各周围车辆的历史轨迹特征向量；
对每一时刻的历史轨迹进行编码获取当前时刻的历史轨迹特征向量的公式为：
Figure BDA0003409813230000071
式中，φe(·为全连接层，用于初步提取历史轨迹特征，W1为其对应参数，St为历史轨迹在t时刻的位置坐标信息；LSTMe(·)为LSTM编码器，W2为其对应参数；
Figure BDA0003409813230000072
为LSTMencoder-decoder基准车辆轨迹预测网络中LSTM编码器的输入，即当前时刻的历史运动轨迹特征向量；
Figure BDA0003409813230000073
和
Figure BDA0003409813230000074
分别为t时刻LSTM编码器中的隐藏状态和记忆细胞状态，
Figure BDA0003409813230000075
和
Figure BDA0003409813230000076
分别为t-1时刻LSTM编码器中的隐藏状态和记忆细胞状态。
其中，对于初始值的设置为：
Figure BDA0003409813230000077
S2.2：对各周围车辆的历史轨迹特征向量进行整合获取周围车辆的历史轨迹特征向量，通过交互模型，并根据所述预测车辆的历史轨迹特征向量和所述周围车辆的历史轨迹特征向量获取当前时刻预测车辆与周围车辆的交互关系特征向量。
交互关系建模方式主要分为两类：参考图5所示，第一类为通过空间网格建模交互关系，如Social Pooling和Convolutional Social Pooling等；参考图6所示，第二类为基于注意力机制建模交互关系，如Pooling Module等。这三个不同的结合交互关系建模均可用在车辆轨迹预测网络上。
由于交互关系是具有时间延续性的信息，并不需要在每个时刻都考虑，故只在当前时刻下计算交互关系。参考图7所示，在LSTM encoder-decoder网络中，在当前时刻的输入位置(即历史观测的最后一帧)计算交互模型，计算交互模型的公式如下所示：
Figure BDA0003409813230000081
式中，φr为交互模型，Wr为其对应参数，
Figure BDA0003409813230000082
为交互模型输入的预测，robs为当前时刻预测车辆与周围车辆的交互关系特征向量。
S3：对候选车道中心线进行采样，通过多层感知器获取预测车辆的历史轨迹特征向量对应的意图模态编码，采用独热编码获取预测车辆在不同速度下的运动模态编码；
采用独热编码获取预测车辆在不同速度下的运动模态编码的过程具体为：将速度按照大小分为多个类别，基于独热编码对速度大小的类别进行编码。
获取意图模态编码具体为：通过在候选车道中心线上以当前时刻预测车辆在候选车道中心线上的匹配点为起点，按照固定长度间隔采样30个点，然后将这30个点相对起点的坐标构成一个长度为60的向量，最后将该向量通过多层感知器获取获取预测车辆的历史轨迹特征向量对应意图模态编码。
S4：将意图模态编码、运动模态编码、预测车辆的历史轨迹特征向量以及当前时刻预测车辆与周围车辆的交互关系特征向量进行拼接作为LSTM解码器的输入，LSTM解码器解码输出预测车辆的多条预测轨迹以及对应的置信度标签，并通过训练神经网络选取置信度最高的预测轨迹为最佳轨迹；
LSTM解码器的输入为：
Figure BDA0003409813230000083
式中，ψline(M)为候选车道中心线的集合；vline为从具体的候选车道中心线上采样n个点构成的向量；MLP为多层感知器，WMLP为其对应参数；τline为预测车辆的历史运动轨迹特征向量对应的意图模态编码，
Figure BDA0003409813230000084
为所有时刻预测车辆的历史运动轨迹特征向量，robs为当前时刻预测车辆与周围车辆的交互关系特征向量，ψm(N)为N个独热编码的集合，τm为预测车辆的运动模态编码，
Figure BDA0003409813230000085
为LSTM解码器的输入特征向量。
在神经网络的训练过程中，通过仲裁方法从所有输出的预测车辆的预测轨迹中选取一条与真值轨迹最匹配的轨迹。
仲裁方法具体为：在第一阶段确定意图模态时，根据预测车辆未来的轨迹真值与候选车道中心线距离在曼哈顿阈值范围内的点的数量从多到少将所有候选车道中心线进行排序，然后选择在阈值范围内的轨迹真值点数量最多的候选车道中心线作为当前的意图模态；在第二阶段确定运动模态时，仍然在第一阶段确定的意图模态下，即沿着对应的候选车道中心线行驶的预测轨迹中，按照平均位置偏差最小的原则确定与轨迹真值最匹配的轨迹，即最终的“winner”。
将与轨迹真值最匹配的轨迹的置信度真值标签设置为1，其他轨迹对应标签设置为0，同时计算该预测轨迹与轨迹真值的距离误差损失以及预测标签和真值标签的交叉熵损失，用以反向传播更新网络参数，不断优化预测轨迹，并设定网络迭代周期，输出最优的网络参数以及相应最优的预测轨迹。
在网络训练过程中，为了兼顾对简单样本的有效学习以及提高对异常样本的鲁棒性，本实施例采用的损失函数为预测轨迹与真值轨迹对应点之间的SmoothL1损失，具体表达式为：
Figure BDA0003409813230000091
总之，本发明提供了一种结合交互关系建模和道路地图信息的多模态车辆轨迹预测算法，用以实现车辆运动轨迹的准确快速预测。该算法无需标注数据集和采样过程即可自监督学习车辆运动的多模态特性，得到全面描述车辆运动的预测轨迹分布并可进行长时预测；本发明考虑了道路地图信息并结合交互关系建模基于两级随机多选择学习进行多模态车辆轨迹预测；本发明具有较强的场景泛化能力，不仅适用于道路结构固定的高速场景，对于复杂的城市道路场景同样有效，具有重要的实际应用价值。
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (10)

1.一种多模态车辆轨迹预测方法，其特征在于，包括以下步骤：
S1：基于道路地图分别获取预测车辆和周围多个车辆在世界坐标系下的历史运动轨迹，并分别处理为预测车辆和各周围车辆在候选车道中心线坐标系下的历史运动轨迹；
S2：分别对所述预测车辆和各周围车辆在候选车道中心线坐标系下的历史运动轨迹进行编码，获取预测车辆的历史轨迹特征向量和各周围车辆的历史轨迹特征向量，并根据所述预测车辆的历史轨迹特征向量和各周围车辆的历史轨迹特征向量获取当前时刻预测车辆与周围车辆的交互关系特征向量；
S3：对所述候选车道中心线进行采样，获取预测车辆的历史轨迹特征向量对应的意图模态编码，采用独热编码获取预测车辆在不同速度下的运动模态编码；
S4：将意图模态编码、运动模态编码、预测车辆的历史轨迹特征向量以及当前时刻预测车辆与周围车辆的交互关系特征向量进行拼接作为LSTM解码器的输入，LSTM解码器解码输出预测车辆的多条预测轨迹以及对应的置信度标签，并通过训练神经网络选取一条与轨迹真值最匹配的预测轨迹。
2.根据权利要求1所述的一种多模态车辆轨迹预测方法，其特征在于，所述S1包括以下步骤：
S1.1：基于道路地图获取预测车辆和周围多个车辆在世界坐标系下的历史运动轨迹；
S1.2：根据曼哈顿距离采用广度优先的方式获取预测车辆的候选车道中心线，并将预测车辆和各周围车辆在世界坐标系下的历史运动轨迹中的各轨迹点投影至候选车道中心线上，在候选车道中心线上分别找出距离每个轨迹点最近的点作为匹配点；
S1.3：根据所述候选车道中心线和所述匹配点建立候选车道中心线坐标系，并获取在候选车道中心线坐标系下的各轨迹点坐标，进而获取预测车辆和各周围车辆在候选车道中心线坐标系下的历史运动轨迹。
3.根据权利要求2所述的一种多模态车辆轨迹预测方法，其特征在于，所述候选车道中心线坐标系具体为：以沿候选车道中心线方向为y轴，以垂直于候选车道中心线方向为x轴，以当前时刻预测车辆的轨迹点在候选车道中心线上对应的匹配点为坐标原点。
4.根据权利要求3所述的一种多模态车辆轨迹预测方法，其特征在于，所述候选车道中心线坐标系下的各轨迹点坐标为：x的数值为轨迹点与匹配点之间的距离，x轴的正方向为候选车道中心线前进方向的右侧；y的数值为轨迹点对应的匹配点与坐标原点沿着候选车道中心线的距离，y轴的正方向为沿着候选车道中心线前进的方向。
5.根据权利要求1所述的一种多模态车辆轨迹预测方法，其特征在于，所述S2包括以下步骤：
S2.1：分别对预测车辆和各周围车辆在候选车道中心线坐标系下的历史运动轨迹进行编码，获取预测车辆的历史轨迹特征向量和各周围车辆的历史轨迹特征向量；
S2.2：对各周围车辆的历史轨迹特征向量进行整合获取周围车辆的历史轨迹特征向量，通过交互模型，并根据所述预测车辆的历史轨迹特征向量和所述周围车辆的历史轨迹特征向量获取当前时刻预测车辆与周围车辆的交互关系特征向量。
6.根据权利要求5所述的一种多模态车辆轨迹预测方法，其特征在于，对每一时刻的历史轨迹进行编码获取当前时刻的历史轨迹特征向量的公式为：
Figure FDA0003409813220000021
式中，φe(·)为全连接层，用于初步提取历史轨迹特征，W1为其对应参数，St为历史轨迹在t时刻的位置坐标信息；LSTMe(·)为LSTM编码器，W2为其对应参数；
Figure FDA0003409813220000022
为LSTMencoder-decoder基准车辆轨迹预测网络中LSTM编码器的输入，即当前时刻的历史运动轨迹特征向量；
Figure FDA0003409813220000023
和
Figure FDA0003409813220000024
分别为t时刻LSTM编码器中的隐藏状态和记忆细胞状态，
Figure FDA0003409813220000025
和
Figure FDA0003409813220000026
分别为t-1时刻LSTM编码器中的隐藏状态和记忆细胞状态。
7.根据权利要求5所述的一种多模态车辆轨迹预测方法，其特征在于，计算交互模型的公式具体为：
Figure FDA0003409813220000027
式中，φr为交互模型，Wr为其对应参数，
Figure FDA0003409813220000028
为交互模型输入的预测，robs为当前时刻预测车辆与周围车辆的交互关系特征向量。
8.根据权利要求2所述的一种多模态车辆轨迹预测方法，其特征在于，获取意图模态编码的过程具体为：在候选车道中心线上以当前时刻预测车辆在候选车道中心线上的匹配点为起点，按照固定长度间隔采样，将所有采样点相对起点的坐标构成向量，将所述向量通过多层感知器获取意图模态编码。
9.根据权利要求8所述的一种多模态车辆轨迹预测方法，其特征在于，所述LSTM解码器的输入为：
Figure FDA0003409813220000031
式中，ψline(M)为候选车道中心线的集合；vline为从具体的候选车道中心线上采样n个点构成的向量；MLP为多层感知器，WMLP为其对应参数；τline为预测车辆的历史运动轨迹特征向量对应的意图模态编码，
Figure FDA0003409813220000032
为所有时刻预测车辆的历史运动轨迹特征向量，robs为当前时刻预测车辆与周围车辆的交互关系特征向量，ψm(N)为N个独热编码的集合，τm为预测车辆的运动模态编码，
Figure FDA0003409813220000033
为LSTM解码器的输入特征向量。
10.根据权利要求2所述的一种多模态车辆轨迹预测方法，其特征在于，通过仲裁方法从所有输出的预测车辆的预测轨迹中选取一条与轨迹真值最匹配的预测轨迹，所述仲裁方法具体为：
在确定意图模态时，根据预测车辆未来的轨迹真值与候选车道中心线距离在曼哈顿阈值范围内的点的数量从多到少将所有候选车道中心线进行排序，选择在阈值范围内的轨迹真值点数量最多的候选车道中心线作为当前的意图模态；在确定运动模态时，在当前的意图模态下，按照平均位置偏差最小的原则确定与轨迹真值最匹配的预测轨迹。
CN202111528362.4A 2021-12-14 2021-12-14 一种多模态车辆轨迹预测方法 Pending CN114372570A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111528362.4A CN114372570A (zh) 2021-12-14 2021-12-14 一种多模态车辆轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111528362.4A CN114372570A (zh) 2021-12-14 2021-12-14 一种多模态车辆轨迹预测方法

Publications (1)

Publication Number Publication Date
CN114372570A true CN114372570A (zh) 2022-04-19

Family

ID=81140297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111528362.4A Pending CN114372570A (zh) 2021-12-14 2021-12-14 一种多模态车辆轨迹预测方法

Country Status (1)

Country Link
CN (1) CN114372570A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740664A (zh) * 2023-05-19 2023-09-12 清华大学 一种轨迹预测方法和装置
WO2023221348A1 (zh) * 2022-05-19 2023-11-23 长安大学 车辆轨迹预测方法、系统、计算机设备及存储介质
WO2024008086A1 (zh) * 2022-07-06 2024-01-11 华为技术有限公司 轨迹预测方法及其装置、介质、程序产品和电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023221348A1 (zh) * 2022-05-19 2023-11-23 长安大学 车辆轨迹预测方法、系统、计算机设备及存储介质
WO2024008086A1 (zh) * 2022-07-06 2024-01-11 华为技术有限公司 轨迹预测方法及其装置、介质、程序产品和电子设备
CN116740664A (zh) * 2023-05-19 2023-09-12 清华大学 一种轨迹预测方法和装置

Similar Documents

Publication Publication Date Title
CN114372570A (zh) 一种多模态车辆轨迹预测方法
Ding et al. Predicting vehicle behaviors over an extended horizon using behavior interaction network
CN112099496B (zh) 一种自动驾驶训练方法、装置、设备及介质
CN112734808B (zh) 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
CN115879535A (zh) 一种自动驾驶感知模型的训练方法、装置、设备和介质
CN113159403B (zh) 路口行人轨迹预测的方法及装置
CN114913493A (zh) 一种基于深度学习的车道线检测方法
CN115147790A (zh) 一种基于图神经网络的车辆未来轨迹预测方法
CN111046723B (zh) 一种基于深度学习的车道线检测方法
CN115688019A (zh) 基于异构数据关联挖掘与度量学习的智能体轨迹预测方法
CN109919107B (zh) 一种基于深度学习的交警手势识别方法及无人车
CN114202120A (zh) 一种针对多源异构数据的城市交通行程时间预测方法
CN116523970B (zh) 基于二次隐式匹配的动态三维目标跟踪方法及装置
CN116968721A (zh) 一种混合动力汽车预测式能量管理方法、系统和存储介质
CN116977712A (zh) 基于知识蒸馏的道路场景分割方法、系统、设备及介质
CN116721206A (zh) 一种实时的室内场景视觉同步定位与建图方法
CN112991744B (zh) 一种适用于长距离城市道路的自动驾驶决策方法及系统
CN115719547A (zh) 基于多重交互行为的交通参与者轨迹预测方法及系统
CN113119996B (zh) 一种轨迹预测方法、装置、电子设备及存储介质
CN115062202A (zh) 驾驶行为意图及轨迹的预测方法、装置、设备及存储介质
Wang et al. Dsmcl: Dual-level stochastic multiple choice learning for multi-modal trajectory prediction
Wang et al. Lane-Change Intention Prediction of Surrounding Vehicles Using BiLSTM-CRF Models with Rule Embedding
Li et al. Personalized Trajectory Prediction for Driving Behavior Modeling in Ramp-Merging Scenarios
CN117274723B (zh) 一种用于输电巡检的目标识别方法、系统、介质及设备
CN116597419B (zh) 一种基于参数化互近邻的车辆限高场景识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination