CN113989330A - 车辆轨迹预测方法、装置、电子设备和可读存储介质 - Google Patents

车辆轨迹预测方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN113989330A
CN113989330A CN202111296183.2A CN202111296183A CN113989330A CN 113989330 A CN113989330 A CN 113989330A CN 202111296183 A CN202111296183 A CN 202111296183A CN 113989330 A CN113989330 A CN 113989330A
Authority
CN
China
Prior art keywords
lane
vehicle
track
trajectory
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111296183.2A
Other languages
English (en)
Inventor
杨波
郭彩丽
王杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202111296183.2A priority Critical patent/CN113989330A/zh
Publication of CN113989330A publication Critical patent/CN113989330A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本公开提供了一种车辆轨迹预测方法、装置、电子设备和计算机可读存储介质，涉及回归预测技术领域。其中，车辆轨迹预测方法包括：对车辆的历史轨迹进行预处理，得到车辆的预处理轨迹；对车辆行驶区域的地图信息进行预处理，得到车辆的可行驶车道线；对所述预处理轨迹执行轨迹特征处理，得到多个所述车辆之间的行驶交互特征；对所述可行驶车道线进行车道拓扑提取，得到车道线连通特征；基于所述行驶交互特征和所述车道线连通特征执行自回归预测，得到所述车辆的预测轨迹。通过本公开的技术方案，能够在车辆轨迹预测过程中充分考虑车道的拓扑结构，在提高预测精度的同时保证了生成的预测轨迹的可靠性，进而有利于满足自动驾驶的安全性要求。

Description

车辆轨迹预测方法、装置、电子设备和可读存储介质
技术领域
本公开涉及回归预测技术领域，尤其涉及一种车辆轨迹预测方法、装置、电子设备和计算机可读存储介质。
背景技术
为了提高自动驾驶车辆的安全性，需要根据其所处场景对周围车辆的轨迹进行准确预测，
相关技术中，通过神经网络模型提取历史轨迹的时序特征、与周围车辆的交互特征，以及行驶场景特征，通过将上述特征进行拼接或输入全连接层，以将上述特征进行融合得到上下文向量，最后直接将上下文向量输入到解码器中进行解码，得到未来轨迹的预测数据，该方案存在以下缺陷：
由于驾驶人意图及所处场景的不确定性，车辆的未来轨迹是有多种可能性的，考虑到驾驶人倾向于沿车道行驶，车辆未来的可能轨迹与其可行驶的车道直接相关，因此模型在预测过程中对可行驶车道等场景信息的理解能力至关重要。而基于神经网络模型提取图像特征的方式，会使得模型认为地图上距离车辆越近的区域越重要，导致该模型无法做到根据目标所处场景自适应地生成多种可能轨迹，且在十字路口这类复杂场景中存在仅能预测直行这一种可能轨迹的模式崩溃现象，直接导致预测结果不可靠。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种车辆轨迹预测方法、装置、电子设备和计算机可读存储介质，至少在一定程度上克服由于相关技术中车辆轨迹预测结果不可靠的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种车辆轨迹预测方法，包括：对车辆的历史轨迹进行预处理，得到所述车辆的预处理轨迹；对车辆行驶区域的地图信息进行预处理，得到所述车辆的可行驶车道线；对所述预处理轨迹执行轨迹特征处理，得到多个所述车辆之间的行驶交互特征；对所述可行驶车道线进行车道拓扑提取，得到车道线连通特征；基于所述行驶交互特征和所述车道线连通特征执行自回归预测，得到所述车辆的预测轨迹。
在本公开的一个实施例中，所述在对所述预处理轨迹执行轨迹特征处理，得到多个所述车辆之间的行驶交互特征之前，还包括：基于门控循环单元GRU编码器和图注意力机制GAT构造轨迹特征处理模块；所述对所述预处理轨迹执行轨迹特征处理，得到多个所述车辆之间的行驶交互特征，具体包括：将所述预处理轨迹输入所述轨迹特征处理模块，输出所述行驶交互特征。
在本公开的一个实施例中，所述将所述预处理轨迹输入所述轨迹特征处理模块，输出所述行驶交互特征。，具体包括：基于一维的卷积神经网络将所述预处理轨迹映射到特征空间，得到轨迹空间特征；基于所述GRU编码器对所述轨迹空间特征进行编码，得到多个所述车辆的各自的上下文向量；将多个所述车辆的当前时刻位置作为节点，将多个所述车辆的各自上下文向量作为节点特征，进行全连接，构造全连接图；基于所述GAT从所述全连接图中提取多个所述车辆之间的交互上下文向量，将所述交互上下文向量作为所述行驶交互特征。
在本公开的一个实施例中，所述在对所述可行驶车道线进行车道拓扑提取，得到车道线连通特征之前，还包括：基于图卷积神经网络GCN构建变体车道图卷积神经网络LaneGCN，基于所述LaneGCN和第一MLP多层感知器构造车道拓扑提取模块；所述对所述可行驶车道线进行车道拓扑提取，得到车道线连通特征，具体包括：将所述可行驶车道线输入所述车道拓扑提取模块，输出所述车道线连通特征。
在本公开的一个实施例中，所述将所述可行驶车道线输入所述车道拓扑提取模块，输出所述车道线连通特征，具体包括：基于所述第一MLP将所述可行驶车道线和多个所述车辆的当前时刻位置映射到特征空间得到空间特征向量，所述空间特征向量表示每辆所述车辆对应的所述可行驶车道线中包括的车道节点的数量；基于车道节点之间的前后连接关系，构建包括所述车道节点的前后邻接矩阵；基于所述LaneGCN的变体车道性能，从所述邻接矩阵中提取所述车道节点的拓扑连通特征，得到车道线特征向量，作为所述车道线连通特征。
在本公开的一个实施例中，所述在基于所述行驶交互特征和所述车道线连通特征执行自回归预测，得到所述车辆的预测轨迹之前，还包括：基于门控循环单元GRU解码器、第二MLP多层感知器、第三MLP多层感知器和基于车道的注意力机制Lane-Attention构造自回归预测模块；所述基于所述行驶交互特征和所述车道线连通特征执行自回归预测，得到所述车辆的预测轨迹，具体包括：将所述行驶交互特征和所述车道线连通特征输入所述自回归预测模块，输出所述车辆的预测轨迹。
在本公开的一个实施例中，所述将所述行驶交互特征和所述车道线连通特征输入所述自回归预测模块，输出所述车辆的预测轨迹，具体包括：根据所述车辆的当前时刻位置和当前时刻的关键点，确定与所述车辆所在的所述可行驶车道线具有最小距离的第一车道节点和第二车道节点，在初始时，所述当前时刻的关键点基于所述车道线特征向量确定；基于所述第一车道节点和所述第二车道节点所属的所述可行驶车道线构造所述车辆行驶的相关车道段；基于所述第二MLP多层感知器得到所述相关车道段的车道段特征向量；基于Lane-Attention计算在所述车辆的当前时刻位置时，对所述车道段特征向量中所述相关车道段的感知度；基于所述感知度更新所述车辆的当前时刻位置，得到更新位置特征；基于所述GRU解码器对所述更新位置特征和所述交互上下文向量进行解码，得到隐层向量；将所述隐层向量输入所述第三MLP，预测当前时刻的下一预测轨迹点；基于多个预测的所述下一预测轨迹点生成所述车辆的预测轨迹。
在本公开的一个实施例中，所述基于所述第二MLP多层感知器得到所述相关车道段的车道段特征向量，具体包括：确定所述相关车道段上的所述车道节点与所述当前时刻位置之间的距离以及角度差；基于所述距离和所述角度差得到所述车辆的位置编码；基于所述第二MLP多层感知器对所述位置编码进行两层特征融合，得到所述车道段特征向量。
在本公开的一个实施例中，所述基于Lane-Attention计算在所述车辆的当前时刻位置时，对所述车道段特征向量中所述相关车道段的感知度，具体包括：所述车道段特征向量经过全连接层组成Key-Value数据对；所述车辆的当前时刻位置经过所述全连接层，得到Query；将所述Key-Value数据对与Query输入所述Lane-Attention，输出所述感知度。
在本公开的一个实施例中，所述将所述隐层向量输入所述第三MLP，得到下一时刻的轨迹点，具体包括：将所述隐层向量分别输入所述第三MLP中的第一子MLP和第二子MLP；所述第一子MLP输出所述下一预测轨迹点和对应的概率；所述第二子MLP输出下一时刻的所述关键点，下一时刻的所述关键点与所述下一预测轨迹点用于在到达下一刻时，作为更新后的所述当前时刻位置和所述当前时刻的关键点。
在本公开的一个实施例中，在对所述预处理轨迹执行轨迹特征处理，得到多个所述车辆之间的行驶交互特征之前，还包括：基于所述预处理轨迹和所述可行驶车道线构建模型训练集和验证集；基于所述模型训练集和验证集训练预测模型，所述预测模型包括所述轨迹特征处理模块、所述车道拓扑提取模块和所述自回归预测模块。
在本公开的一个实施例中，还包括：基于所述下一预测轨迹点，采用第一损失函数对所述预测模型进行收敛优化；基于所述对应的概率，采用第一损失函数对所述预测模型进行收敛优化，得到优化后的所述预测模型。
在本公开的一个实施例中，所述对车辆的历史轨迹进行预处理，得到所述车辆的预处理轨迹，具体包括：根据预设的采集频率采集所述车辆在预设时长内的轨迹坐标，作为所述历史轨迹；基于线性差值补充所述车辆行驶过程中的缺失坐标；基于所述轨迹坐标和所述缺失坐标，生成所述预处理轨迹。
在本公开的一个实施例中，所述对车辆行驶区域的地图信息进行预处理，得到所述车辆的可行驶车道线，具体包括：提取所述地图信息中的车道中心线；对所述车道中心线进行等间隔采样，得到多个车道节点；基于所述车辆的当前时刻位置确定预设范围内的所述车道节点作为初始节点；基于所述车道之间的连接关系，由所述初始节点分别向前与向后延伸指定长度，生成搜索区间；将在所述搜索区间内搜索到的所述车道节点连接为初始车道线；基于所述车辆的历史轨迹和行驶方向，从所述初始车道线中筛除不合理车道线，得到所述可行驶车道线。
根据本公开的另一个方面，提供一种车辆轨迹预测装置，包括：第一预处理模块，用于车辆的历史轨迹进行预处理，得到所述车辆的预处理轨迹；第二预处理模块，用于对车辆行驶区域的地图信息进行预处理，得到所述车辆的可行驶车道线；轨迹特征处理模块，用于对所述预处理轨迹执行轨迹特征处理，得到多个所述车辆之间的行驶交互特征；车道拓扑提取模块，用于对所述可行驶车道线进行车道拓扑提取，得到车道线连通特征；自回归预测模块，用于基于所述行驶交互特征和所述车道线连通特征执行自回归预测，得到所述车辆的预测轨迹。
根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的车辆轨迹预测方法。
在本公开的一个实施例中，所述电子设备为边缘计算节点。
根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一项的车辆轨迹预测方法。
本公开的实施例所提供的车辆轨迹预测方案，通过基于轨迹特征处理、车道拓扑提取以及自回归预测等模块构造车辆轨迹预测，在对原始的车辆历史轨迹和车辆行驶区域的地图信息进行预处理后，得到预处理轨迹和车辆的可行驶车道线，基于预处理轨迹获得多个车辆行驶过程中的行驶交互特征，基于可行驶车道线获得这些可行驶车道线之间的连通特征，基于行驶交互特征和连通特征对车辆的行驶轨迹进行预测，对车辆的可行驶车道线的获取实现了地图信息中可用语义信息的挖掘，在车辆轨迹预测过程中能够充分考虑车道的拓扑结构，在提高预测精度的同时保证了生成的预测轨迹的可靠性，进而有利于满足自动驾驶的安全性要求。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开实施例中一种车辆轨迹预测方法的流程图；
图2示出本公开实施例中另一种车辆轨迹预测方法的流程图；
图3示出本公开实施例中再一种车辆轨迹预测方法的流程图；
图4示出本公开实施例中又一种车辆轨迹预测方法的流程图；
图5示出本公开实施例中一种车辆轨迹预测模型的示意图；
图6示出本公开实施例中又一种车辆轨迹预测方法的流程图；
图7示出本公开实施例中又一种车辆轨迹预测方法的流程图；
图8示出本公开实施例中又一种车辆轨迹预测方法的流程图；
图9示出本公开实施例中又一种车辆轨迹预测方法的流程图；
图10示出本公开实施例中另一种车辆轨迹预测模型的示意图；
图11示出本公开实施例中边缘计算节点的部署示意图；
图12示出本公开实施例中一种车辆轨迹预测装置的示意图；
图13示出本公开实施例中一种电子设备的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的征、结构或性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述定细节中的一个或更多，或者可以采用其它的、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
下面结合附图对本公开示例实施方式进行详细说明。
GRU(Gate Recurrent Unit，门控循环单元)是循环神经网络(Recurrent NeuralNetwork，RNN)的一种。GRU有两个门，即一个重置门(reset gate)和一个更新门(updategate)。其中，重置门决定了如何将新的输入信息与前面的记忆相结合，更新门定义了前面记忆保存到当前时间步的量。
GAT(Graph Attention Network，图注意力网络)：就是通过自注意力机制(self-attention)来对邻居节点进行聚合，实现了对不同邻居的权值自适应匹配，从而提高了模型的准确率。
GCN(Graph Convolutional Network，图卷积神经网络)：GCN精妙地设计了一种从图数据中提取特征的方法，从而让我们可以使用这些特征去对图数据进行节点分类(nodeclassification)、图分类(graph classification)、边预测(link prediction)，还可以顺便得到图的嵌入表示(graph embedding)
MLP(Muti－Layer Perception，多层感知器)：也叫人工神经网络(ANN，Artificial Neural Network)，除了输入输出层，中间可以有一个或多个隐层，多层感知器的层与层之间是全连接(即上一层的任何一个神经元与下一层的所有神经元都有连接)。隐藏层与输入层全连接，假设输入层用向量X表示，则隐藏层的输出就是f(W1X+b1)，W1是权重(也叫连接系数)，b1是偏置，函数f可以是常用的sigmoid函数或者tanh函数，隐藏层到输出层可以看成一个多类别的逻辑回归，即Softmax回归，所以输出层的输出是softmax(W2X1+b2)，X1表示隐藏层的输出f(W1X+b1)。
Attention：将Source中的构成元素想象成是由一系列的<Key，Value>数据对构成，此时给定Target中的某个元素Query，通过计算Query和各个Key的相似性或者相关性，得到每个Key对应Value的权重系数，然后对Value进行加权求和，即得到了最终的Attention数值。本质上Attention机制是对Source中元素的Value值进行加权求和，而Query和Key用来计算对应Value的权重系数。
如图1所示，服务端执行车辆轨迹预测方法，包括以下步骤：
步骤S102，对车辆的历史轨迹进行预处理，得到车辆的预处理轨迹。
步骤S104，对车辆行驶区域的地图信息进行预处理，得到车辆的可行驶车道线。
在本公开中，车辆轨迹预测模型包括轨迹特征处理模块、车道拓扑提取模块和自回归预测模块。
步骤S106，对预处理轨迹执行轨迹特征处理，得到多个车辆之间的行驶交互特征。
步骤S108，对可行驶车道线进行车道拓扑提取，得到车道线连通特征。
步骤S110，基于行驶交互特征和车道线连通特征执行自回归预测，得到车辆的预测轨迹。
在该实施例中，通过基于轨迹特征处理、车道拓扑提取以及自回归预测等模块构造车辆轨迹预测，在对原始的车辆历史轨迹和车辆行驶区域的地图信息进行预处理后，得到预处理轨迹和车辆的可行驶车道线，基于预处理轨迹获得多个车辆行驶过程中的行驶交互特征，基于可行驶车道线获得这些可行驶车道线之间的连通特征，基于行驶交互特征和连通特征对车辆的行驶轨迹进行预测，对车辆的可行驶车道线的获取实现了地图信息中可用语义信息的挖掘，在车辆轨迹预测过程中能够充分考虑车道的拓扑结构，增强了轨迹预测过程中对车辆所处场景的理解，在提高预测精度的同时保证了生成的预测轨迹的可靠性，进而有利于满足自动驾驶的安全性要求。
在本公开的一个实施例中，在对预处理轨迹执行轨迹特征处理，得到多个车辆之间的行驶交互特征之前，还包括：基于门控循环单元GRU编码器和图注意力机制GAT构造轨迹特征处理模块；对预处理轨迹执行轨迹特征处理，得到多个车辆之间的行驶交互特征，具体包括：将预处理轨迹输入轨迹特征处理模块，输出行驶交互特征。
具体地，轨迹特征处理模块包括门控循环单元GRU编码器和图注意力机制GAT。
如图2所示，在本公开的一个实施例中，步骤S106，对预处理轨迹执行轨迹特征处理，得到多个车辆之间的行驶交互特征的一种具体实施方式，包括：
步骤S202，基于一维的卷积神经网络将预处理轨迹映射到特征空间，得到轨迹空间特征。
步骤S204，基于GRU编码器对轨迹空间特征进行编码，得到多个车辆的各自的上下文向量。
具体地，将预处理轨迹输入到一维CNN卷积神经网络，以映射到特征空间，并依次输入两层GRU编码器，得到各个车辆轨迹的上下文向量H＝[h1,h2,...,hN]，作为各个车辆的运动特征。
其中N为车辆数目，h表示隐藏的上下文向量。
步骤S206，将多个车辆的当前时刻位置作为节点，将多个车辆的各自上下文向量作为节点特征，进行全连接，构造全连接图。
步骤S208，基于GAT从全连接图中提取多个车辆之间的交互上下文向量，将交互上下文向量作为行驶交互特征。
具体地，将各车辆当前时刻位置看作图上的点，各自的上下文向量为节点特征，构建全连接图，应用GAT提取车辆间的交互特征，得到更新交互后的上下文向量
Figure BDA0003336678000000091
后续处理将针对各车辆的交互上下文向量
Figure BDA0003336678000000092
并行进行。
在该实施例中，通过GRU编码器对预处理轨迹对应的轨迹空间特征进行编码，得到多个车辆的运动特征，通过将各个车辆作为邻居节点，采用GAT进行聚合，实现了对不同邻居的权值自适应匹配，进而得到多个车辆之间的交互运动特征，实现了对车辆行驶过程中运动相关特征的关键信息的提取，进而有利于提升轨迹预测的准确性。
在本公开的一个实施例中，在对可行驶车道线进行车道拓扑提取，得到车道线连通特征之前，还包括：基于图卷积神经网络GCN构建变体车道图卷积神经网络LaneGCN，基于LaneGCN和第一MLP多层感知器构造车道拓扑提取模块；对可行驶车道线进行车道拓扑提取，得到车道线连通特征，具体包括：将可行驶车道线输入车道拓扑提取模块，输出车道线连通特征。
具体地，车道拓扑提取模块包括变体车道图卷积神经网络LaneGCN和第一MLP多层感知器。
如图3所示，在本公开的一个实施例中，步骤S108，对可行驶车道线进行车道拓扑提取，得到车道线连通特征，具体包括：
步骤S302，基于第一MLP将可行驶车道线和多个车辆的当前时刻位置映射到特征空间得到空间特征向量，空间特征向量表示每辆车辆对应的可行驶车道线中包括的车道节点的数量。
具体地，将可行驶车道线由车道节点从后往前排列组成的可行驶车道线通过两层MLP映射到特征空间得到空间特征向量Mi,j＝[L1,L2,...,LW]。
其中，i表示第i个车辆，j表示第j条可行驶车道线，W表示该车道线包含的车道节点的数量。
步骤S304，基于车道节点之间的前后连接关系，构建包括车道节点的前后邻接矩阵。
步骤S306，基于LaneGCN的变体车道性能，从邻接矩阵中提取车道节点的拓扑连通特征，得到车道线特征向量，作为车道线连通特征。
具体地，由于单条车道线上的车道节点仅有前后依次连接的关系，故用两个邻接矩阵分别表示前后连接关系，为了增大感受野，参考膨胀卷积生成五个尺度(1，2，4，6，8)的前后邻接矩阵，并根据该邻接矩阵应用GCN提取可行驶车道线上车道节点间的拓扑连通性，得到更新后的车道线特征向量
Figure BDA0003336678000000101
在该实施例中，通过使用变体车道图卷积神经网络LaneGCN和第一MLP等模块，能够有效提取车道拓扑结构等语义信息，进而通过将上述信息应用到轨迹预测过程中，提升了在复杂交通场景中预测的泛化能力。
在本公开的一个实施例中，在基于行驶交互特征和车道线连通特征执行自回归预测，得到车辆的预测轨迹之前，还包括：基于门控循环单元GRU解码器、第二MLP多层感知器、第三MLP多层感知器和基于车道的注意力机制Lane-Attention构造自回归预测模块；基于行驶交互特征和车道线连通特征执行自回归预测，得到车辆的预测轨迹，具体包括：将行驶交互特征和车道线连通特征输入自回归预测模块，输出车辆的预测轨迹。
如图4所示，在本公开的一个实施例中，步骤S110，基于行驶交互特征和车道线连通特征执行自回归预测，得到车辆的预测轨迹的一种具体实现方式，包括：
步骤S402，根据车辆的当前时刻位置和当前时刻的关键点，确定与车辆所在的可行驶车道线具有最小距离的第一车道节点和第二车道节点。
具体地，根据当前时刻位置
Figure BDA0003336678000000111
和当前时刻关键点
Figure BDA0003336678000000112
分别找到与当前可行驶车道线上距离最近的第一车道节点a和第二车道节点b。
其中，在初始时，当前时刻的关键点基于车道线特征向量确定，在以完成至少一轮预测时，当前时刻的关键点在上一轮预测中生成。
步骤S404，基于第一车道节点和第二车道节点所属的可行驶车道线构造车辆行驶的相关车道段。
其中，相关车道段
Figure BDA0003336678000000113
t为时刻。
步骤S406，基于第二MLP多层感知器得到相关车道段的车道段特征向量。
步骤S408，基于Lane-Attention计算在车辆的当前时刻位置时，对车道段特征向量中相关车道段的感知度Ai。
步骤S410，基于感知度更新车辆的当前时刻位置，得到更新位置特征
Figure BDA0003336678000000114
Figure BDA0003336678000000115
实现Lane-Attention，得到更新场景理解后的位置特征
Figure BDA0003336678000000116
如图5所示，步骤S412，基于GRU解码器对更新位置特征和交互上下文向量进行解码，得到隐层向量。
具体地，GRU解码器在递归预测时由t时刻的交互上下文向量
Figure BDA0003336678000000117
与上一时刻经Lane-Attention后的位置特征
Figure BDA0003336678000000118
得到当前时刻最终隐层向量
Figure BDA0003336678000000119
步骤S414，将隐层向量输入第三MLP，预测当前时刻的下一预测轨迹点。
如图5所示，在本公开的一个实施例中，进一步地，还包括：步骤S414，将隐层向量输入第三MLP，得到下一时刻的轨迹点，具体包括：将隐层向量分别输入第三MLP中的第一子MLP，即MLP1和第二子MLP，即MLP2；第一子MLP输出下一预测轨迹点
Figure BDA0003336678000000121
和对应的概率；第二子MLP输出下一时刻的关键点
Figure BDA0003336678000000122
下一时刻的关键点与下一预测轨迹点用于在到达下一刻时，作为更新后的当前时刻位置和当前时刻的关键点。
在该实施例中，将该隐层向量分别经过两个独立的三层MLP得到当前时刻的预测值
Figure BDA0003336678000000123
作为输出轨迹点及其概率、下一时刻的关键点
Figure BDA0003336678000000124
以在下一时刻自回归预测时作为车辆的当前时刻位置和当前时刻的关键点，重新确定新的第一车道节点和第二车道节点。
继续基于Lane-Attention计算在车辆的当前时刻位置时，对车道段特征向量中相关车道段的感知度Ai；基于感知度更新车辆的当前时刻位置，得到更新位置特征
Figure BDA0003336678000000125
步骤S416，基于多个预测的下一预测轨迹点生成车辆的预测轨迹。
具体地，重复进行S402至S414，即可得到各车辆未来Ns的多条预测轨迹。
如图6所示，在本公开的一个实施例中，步骤S406中，基于第二MLP多层感知器得到相关车道段的车道段特征向量，具体包括：
步骤S602，确定相关车道段上的车道节点与当前时刻位置之间的距离以及角度差。
步骤S604，基于距离和角度差得到车辆的位置编码。
步骤S606，基于第二MLP多层感知器对位置编码进行两层特征融合，得到车道段特征向量。
在该实施例中，考虑到车辆倾向于沿着车道线行驶，由该车道段上的车道节点与车辆当前位置的距离Dj及角度差Δθj得到位置编码:Rj＝MLP(Dj,Δθj)。
经两层MLP进行特征融合
Figure BDA0003336678000000126
得到车道段特征向量
Figure BDA0003336678000000127
如图7所示，在本公开的一个实施例中，步骤S408中，基于Lane-Attention计算在车辆的当前时刻位置时，对车道段特征向量中相关车道段的感知度的一种具体实现方式，包括：
步骤S702，车道段特征向量经过全连接层组成Key-Value数据对。
步骤S704，车辆的当前时刻位置经过全连接层，得到Query。
步骤S705，将Key-Value数据对与Query输入Lane-Attention，输出感知度Ai。
在该实施例中，由该车道段特征向量
Figure BDA0003336678000000131
经全连接层组成注意力机制中的Key和Value，并将车辆当前位置特征
Figure BDA0003336678000000132
经全连接层作为Query，应用注意力机制，计算相关车道段的感知度Ai：
Figure BDA0003336678000000133
其中，a为第一车道节点，b为第二车道节点，i表示车道点，l表示车道段，Qi为Query的矩阵，
Figure BDA0003336678000000134
为Key的矩阵，Vi,l为Value的矩阵，dk为归一化参数。
在本公开的一个实施例中，在对预处理轨迹执行轨迹特征处理，得到多个车辆之间的行驶交互特征之前，还包括：基于预处理轨迹和可行驶车道线构建模型训练集和验证集；基于模型训练集和验证集训练预测模型，预测模型包括轨迹特征处理模块、车道拓扑提取模块和自回归预测模块。
在本公开的一个实施例中，还包括：基于下一预测轨迹点，采用第一损失函数对预测模型进行收敛优化；基于对应的概率，采用第一损失函数对预测模型进行收敛优化，得到优化后的预测模型。
具体地，假设某一车辆可行驶车道线有K条，则该车辆预测结果为
Figure BDA0003336678000000135
其中T为未来时间范围，3个维度分别对应(x坐标、y坐标)si及概率pi，仅取最终预测点的概率作为该条轨迹概率，针对预测坐标，即下一预测轨迹点应用第一损失函数，针对概率应用第二损失函数，对应回归子任务和分类子任务两个子任务，回归子任务可采用均方误差、L2范数、Huber等损失函数，分类子任务可采用交叉熵、KL散度等损失函数。模型总损失函数：
Ltotal＝Lreg+λLcls (3)
其中，Lreg为第一损失函数，Lcls为第二损失函数，λ为超参数，视两个子任务重要程度而定，采用总损失函数端到端训练本发明提出的模型，训练完成时保存当前网络权重，以进行后续测试和推理。
具体地，回归子任务仅对最接近真实轨迹的可行驶车道线应用Huber Loss:
Figure BDA0003336678000000141
其中，M为对应车道线生成的轨迹条数，为定值，si为预测轨迹坐标，sgt为真实轨迹坐标。
分类子任务同样仅对最接近真实轨迹的可行驶车道线应用，采用KL散度损失函数：
Figure BDA0003336678000000142
Figure BDA0003336678000000143
Figure BDA0003336678000000144
其中D(si,sgt)＝||si,T-sgt,T||2代表第i条预测轨迹上T时刻的点与GT的欧式距离，分类子任务损失函数中二者的KL散度表示我们希望预测得分的分布接近真实轨迹的分布即其整体距离真实轨迹越近则得分越高。
λ根据经验取0.1，在训练时优化器选用Adam，batchsize大小取25，dropout＝0.1在最后一层GRU上引入，激活函数选用ReLU，隐藏特征维度均取128，初始学习率为0.01，采用总损失函数端到端训练本发明提出的模型，在训练过程中若出现连续三个周期在验证集上的损失函数值不再下降时则将学习率乘以0.5，若连续五个周期在验证集上损失函数值不再下降则判定为模型收敛，训练完成，保存当前网络权重，以进行后续测试、推理。
保存已训练收敛的模型，将预处理后的测试集数据输入到训练好的模型中，预测得到车辆未来的轨迹坐标。
优选地，考虑到车辆端计算能力有限，可依靠5G网络的高可靠和低时延特性，在道路两侧部署边缘计算节点，在该节点上汇集场景中所有相关车辆的历史观测数据如轨迹坐标及当前场景的道路拓扑，同时部署轨迹预测任务，边缘计算节点通过汇集覆盖范围内所有车辆的历史轨迹坐标，并根据当前场景的俯瞰高精度地图完成预测，后续可根据预测结果完成各车辆的路径规划、碰撞风险评估等下游任务，最后将各车辆规划路径等结果发送至车辆终端，完成车辆轨迹预测，保证驾驶安全。
如图8所示，在本公开的一个实施例中，对车辆的历史轨迹进行预处理，得到车辆的预处理轨迹，具体包括：
步骤S802，根据预设的采集频率采集车辆在预设时长内的轨迹坐标，作为历史轨迹。
具体地，历史轨迹和车辆行驶区域的地图信息也可以存储在Argoverse数据集中，Argoverse数据集是用于支持自动驾驶汽车3DTracking和Motion Forecasting研究的数据集。
步骤S804，基于线性差值补充车辆行驶过程中的缺失坐标。
步骤S806，基于轨迹坐标和缺失坐标，生成预处理轨迹。
在该实施例中，Argoverse数据集中提供了多个场景中所有车辆及对应场景的俯瞰视角地图，假设边缘计算节点已完成对车辆GPS轨迹点及俯瞰地图信息的采集，故可合理地使用Argoverse数据集作为边缘计算节点采集的数据进行仿真，则轨迹输入为所有车辆历史2s采样频率10Hz的GPS定位轨迹坐标，通过线性插值补全缺失坐标数据，完成轨迹数据的预处理，得到预处理轨迹。
如图9所示，在本公开的一个实施例中，对车辆行驶区域的地图信息进行预处理，得到车辆的可行驶车道线，具体包括：
步骤S902，提取地图信息中的车道中心线。
步骤S904，对车道中心线进行等间隔采样，得到多个车道节点。
具体地，地图信息以向量化车道线的形式呈现，对所有车道中心线进行1m的等间隔采样取点，作为车道节点Li＝{xi,yi,id,pre,suc,left,right}。
其中x，y表示经纬度坐标，id为该节点的序号，pre、suc、left、right分别表示与该车道节点有前任、后继、左邻居、右邻居四种连接关系的节点id，具有不同连接关系的车道节点构成了一条条车道线。
步骤S906，基于车辆的当前时刻位置确定预设范围内的车道节点作为初始节点。
例如，根据各车辆在地图中的当前时刻位置，在2m范围内选取初始节点。
步骤S908，基于车道之间的连接关系，由初始节点分别向前与向后延伸指定长度，生成搜索区间。
其中，根据车道节点间的连接关系由初始车道节点分别向前、向后延伸一定长度，该搜索区间的搜索长度为恒加速度运动模型：
Figure BDA0003336678000000161
其中，缓冲距离D0经实验验证取前向20m后向10m。
步骤S910，将在搜索区间内搜索到的车道节点连接为初始车道线。
步骤S912，基于车辆的历史轨迹和行驶方向，从初始车道线中筛除不合理车道线，得到可行驶车道线。
具体地，最后将所搜索到的车道节点连成车道线，并根据车道线是否包含车辆历史轨迹、方向是否与车辆行驶方向符合筛去不合理车道线，得到最终的可行驶车道线，完成地图信息的预处理。
在该实施例中，通过上述的预处理方式得到的可行驶车道线的特征，能够保证对车道拓扑特征提取的可靠性。
如图10所示，预测模型包括轨迹特征处理模块、车道拓扑提取模块和自回归预测模块。
在轨迹特征处理模块，对历史轨迹进行预处理得到的预处理轨迹经过GRU编码器，生成各个车辆轨迹的上下文向量H＝[h1,h2,...,hN]，将多个车辆的当前时刻位置作为节点，将多个车辆的各自上下文向量作为节点特征，进行全连接，构造全连接图，基于GAT从全连接图中提取多个车辆之间的交互上下文向量
Figure BDA0003336678000000162
在车道拓扑提取模块，对地图信息进行预处理得到可行驶车道线，基于MLP将可行驶车道线和多个车辆的当前时刻位置映射到特征空间得到空间特征向量Mi,j＝[L1,L2,...,LW]，基于LaneGCN的变体车道性能，从邻接矩阵中提取车道节点的拓扑连通特征，得到车道线特征向量
Figure BDA0003336678000000171
在自回归预测模块，GRU解码器在递归预测时由t时刻的上下文向量
Figure BDA0003336678000000172
与上一时刻经Lane-Attention后的位置特征
Figure BDA0003336678000000173
得到当前时刻最终隐层向量
Figure BDA0003336678000000174
将该隐层向量分别经过两个独立的MLP1和MLP2，得到当前时刻的预测值Pt refine作为输出轨迹点及其概率、下一时刻的关键点
Figure BDA0003336678000000175
如图11所示，在靠近车辆1120行驶的道路附近部署边缘计算节点1140，边缘计算节点经过核心网，与云服务器通信，在该节点上汇集场景中所有相关车辆的历史观测数据如轨迹坐标及当前场景的道路拓扑，同时部署轨迹预测任务，边缘计算节点通过汇集覆盖范围内所有车辆的历史轨迹坐标，并根据当前场景的俯瞰高精度地图完成预测，后续可根据预测结果完成各车辆的路径规划、碰撞风险评估等下游任务，最后将各车辆规划路径等结果发送至车辆终端，完成车辆轨迹预测，保证驾驶安全。
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图12来描述根据本发明的这种实施方式的车辆轨迹预测装置1200。图12所示的车辆轨迹预测装置1200仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
车辆轨迹预测装置1200以硬件模块的形式表现。车辆轨迹预测装置1200的组件可以包括但不限于：第一预处理模块1202，用于车辆的历史轨迹进行预处理，得到车辆的预处理轨迹；第二预处理模块1204，用于对车辆行驶区域的地图信息进行预处理，得到车辆的可行驶车道线；轨迹特征处理模块1206，用于对预处理轨迹执行轨迹特征处理，得到多个车辆之间的行驶交互特征；车道拓扑提取模块1208，用于对可行驶车道线进行车道拓扑提取，得到车道线连通特征；自回归预测模块1210，用于基于行驶交互特征和车道线连通特征执行自回归预测，得到车辆的预测轨迹。
下面参照图13来描述根据本发明的这种实施方式的电子设备1300。图13显示的电子设备1300仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
作为一种优选的实施方式，电子设备为边缘计算节点。
如图13所示，电子设备1300以通用计算设备的形式表现。电子设备1300的组件可以包括但不限于：上述至少一个处理单元1310、上述至少一个存储单元1320、连接不同系统组件(包括存储单元1320和处理单元1310)的总线1330。
其中，存储单元存储有程序代码，程序代码可以被处理单元1310执行，使得处理单元1310执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元1310可以执行如图1中所示的步骤S102至S110，以及本公开的车辆轨迹预测方法中限定的其他步骤。
存储单元1320可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)13201和/或高速缓存存储单元13202，还可以进一步包括只读存储单元(ROM)13203。
存储单元1320还可以包括具有一组(至少一个)程序模块13205的程序/实用工具13204，这样的程序模块13205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1330可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1300也可以与一个或多个外部设备1370(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备1300能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1350进行。并且，电子设备1300还可以通过网络适配器1360与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1360通过总线1330与电子设备1300的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (18)

1.一种车辆轨迹预测方法，其特征在于，包括：
对车辆的历史轨迹进行预处理，得到所述车辆的预处理轨迹；
对车辆行驶区域的地图信息进行预处理，得到所述车辆的可行驶车道线；
对所述预处理轨迹执行轨迹特征处理，得到多个所述车辆之间的行驶交互特征；
对所述可行驶车道线进行车道拓扑提取，得到车道线连通特征；
基于所述行驶交互特征和所述车道线连通特征执行自回归预测，得到所述车辆的预测轨迹。
2.根据权利要求1所述的车辆轨迹预测方法，其特征在于，所述在对所述预处理轨迹执行轨迹特征处理，得到多个所述车辆之间的行驶交互特征之前，还包括：
基于门控循环单元GRU编码器和图注意力机制GAT构造轨迹特征处理模块；
所述对所述预处理轨迹执行轨迹特征处理，得到多个所述车辆之间的行驶交互特征，具体包括：
将所述预处理轨迹输入所述轨迹特征处理模块，输出所述行驶交互特征。
3.根据权利要求2所述的车辆轨迹预测方法，其特征在于，所述将所述预处理轨迹输入所述轨迹特征处理模块，输出所述行驶交互特征，具体包括：
基于一维的卷积神经网络将所述预处理轨迹映射到特征空间，得到轨迹空间特征；
基于所述GRU编码器对所述轨迹空间特征进行编码，得到多个所述车辆的各自的上下文向量；
将多个所述车辆的当前时刻位置作为节点，将多个所述车辆的各自上下文向量作为节点特征，进行全连接，构造全连接图；
基于所述GAT从所述全连接图中提取多个所述车辆之间的交互上下文向量，将所述交互上下文向量作为所述行驶交互特征。
4.根据权利要求3所述的车辆轨迹预测方法，其特征在于，所述在对所述可行驶车道线进行车道拓扑提取，得到车道线连通特征之前，还包括：
基于图卷积神经网络GCN构建变体车道图卷积神经网络LaneGCN，基于所述LaneGCN和第一MLP多层感知器构造车道拓扑提取模块；
所述对所述可行驶车道线进行车道拓扑提取，得到车道线连通特征，具体包括：
将所述可行驶车道线输入所述车道拓扑提取模块，输出所述车道线连通特征。
5.根据权利要求4所述的车辆轨迹预测方法，其特征在于，所述将所述可行驶车道线输入所述车道拓扑提取模块，输出所述车道线连通特征，具体包括：
基于所述第一MLP将所述可行驶车道线和多个所述车辆的当前时刻位置映射到特征空间得到空间特征向量，所述空间特征向量表示每辆所述车辆对应的所述可行驶车道线中包括的车道节点的数量；
基于所述车道节点之间的前后连接关系，构建包括所述车道节点的前后邻接矩阵；
基于所述LaneGCN的变体车道性能，从所述邻接矩阵中提取所述车道节点的拓扑连通特征，得到车道线特征向量，作为所述车道线连通特征。
6.根据权利要求5所述的车辆轨迹预测方法，其特征在于，所述在基于所述行驶交互特征和所述车道线连通特征执行自回归预测，得到所述车辆的预测轨迹之前，还包括：
基于门控循环单元GRU解码器、第二MLP多层感知器、第三MLP多层感知器和基于车道的注意力机制Lane-Attention构造自回归预测模块；
所述基于所述行驶交互特征和所述车道线连通特征执行自回归预测，得到所述车辆的预测轨迹，具体包括：
将所述行驶交互特征和所述车道线连通特征输入所述自回归预测模块，输出所述车辆的预测轨迹。
7.根据权利要求6所述的车辆轨迹预测方法，其特征在于，所述将所述行驶交互特征和所述车道线连通特征输入所述自回归预测模块，输出所述车辆的预测轨迹，具体包括：
根据所述车辆的当前时刻位置和当前时刻的关键点，确定与所述车辆所在的所述可行驶车道线具有最小距离的第一车道节点和第二车道节点，在初始时，所述当前时刻的关键点基于所述车道线特征向量确定；
基于所述第一车道节点和所述第二车道节点所属的所述可行驶车道线构造所述车辆行驶的相关车道段；
基于所述第二MLP多层感知器得到所述相关车道段的车道段特征向量；
基于Lane-Attention计算在所述车辆的当前时刻位置时，对所述车道段特征向量中所述相关车道段的感知度；
基于所述感知度更新所述车辆的当前时刻位置，得到更新位置特征；
基于所述GRU解码器对所述更新位置特征和所述交互上下文向量进行解码，得到隐层向量；
将所述隐层向量输入所述第三MLP，预测当前时刻的下一预测轨迹点；
基于多个预测的所述下一预测轨迹点生成所述车辆的预测轨迹。
8.根据权利要求7所述的车辆轨迹预测方法，其特征在于，所述基于所述第二MLP多层感知器得到所述相关车道段的车道段特征向量，具体包括：
确定所述相关车道段上的所述车道节点与所述当前时刻位置之间的距离以及角度差；
基于所述距离和所述角度差得到所述车辆的位置编码；
基于所述第二MLP多层感知器对所述位置编码进行两层特征融合，得到所述车道段特征向量。
9.根据权利要求7所述的车辆轨迹预测方法，其特征在于，所述基于Lane-Attention计算在所述车辆的当前时刻位置时，对所述车道段特征向量中所述相关车道段的感知度，具体包括：
所述车道段特征向量经过全连接层组成Key-Value数据对；
所述车辆的当前时刻位置经过所述全连接层，得到Query；
将所述Key-Value数据对与Query输入所述Lane-Attention，输出所述感知度。
10.根据权利要求7所述的车辆轨迹预测方法，其特征在于，所述将所述隐层向量输入所述第三MLP，得到下一时刻的轨迹点，具体包括：
将所述隐层向量分别输入所述第三MLP中的第一子MLP和第二子MLP；
所述第一子MLP输出所述下一预测轨迹点和对应的概率；
所述第二子MLP输出下一时刻的所述关键点，下一时刻的所述关键点与所述下一预测轨迹点用于在到达下一刻时，作为更新后的所述当前时刻位置和所述当前时刻的关键点。
11.根据权利要求10所述的车辆轨迹预测方法，其特征在于，在对所述预处理轨迹执行轨迹特征处理，得到多个所述车辆之间的行驶交互特征之前，还包括：
基于所述预处理轨迹和所述可行驶车道线构建模型训练集和验证集；
基于所述模型训练集和验证集训练预测模型，所述预测模型包括所述轨迹特征处理模块、所述车道拓扑提取模块和所述自回归预测模块。
12.根据权利要求11所述的车辆轨迹预测方法，其特征在于，还包括：
基于所述下一预测轨迹点，采用第一损失函数对所述预测模型进行收敛优化；
基于所述对应的概率，采用第一损失函数对所述预测模型进行收敛优化，得到优化后的所述预测模型。
13.根据权利要求1至12中任一项所述的车辆轨迹预测方法，其特征在于，所述对车辆的历史轨迹进行预处理，得到所述车辆的预处理轨迹，具体包括：
根据预设的采集频率采集所述车辆在预设时长内的轨迹坐标，作为所述历史轨迹；
基于线性差值补充所述车辆行驶过程中的缺失坐标；
基于所述轨迹坐标和所述缺失坐标，生成所述预处理轨迹。
14.根据权利要求13所述的车辆轨迹预测方法，其特征在于，所述对车辆行驶区域的地图信息进行预处理，得到所述车辆的可行驶车道线，具体包括：
提取所述地图信息中的车道中心线；
对所述车道中心线进行等间隔采样，得到多个车道节点；
基于所述车辆的当前时刻位置确定预设范围内的所述车道节点作为初始节点；
基于所述车道之间的连接关系，由所述初始节点分别向前与向后延伸指定长度，生成搜索区间；
将在所述搜索区间内搜索到的所述车道节点连接为初始车道线；
基于所述车辆的历史轨迹和行驶方向，从所述初始车道线中筛除不合理车道线，得到所述可行驶车道线。
15.一种车辆轨迹预测装置，其特征在于，包括：
第一预处理模块，用于车辆的历史轨迹进行预处理，得到所述车辆的预处理轨迹；
第二预处理模块，用于对车辆行驶区域的地图信息进行预处理，得到所述车辆的可行驶车道线；
轨迹特征处理模块，用于对所述预处理轨迹执行轨迹特征处理，得到多个所述车辆之间的行驶交互特征；
车道拓扑提取模块，用于对所述可行驶车道线进行车道拓扑提取，得到车道线连通特征；
自回归预测模块，用于基于所述行驶交互特征和所述车道线连通特征执行自回归预测，得到所述车辆的预测轨迹。
16.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～14中任意一项所述的车辆轨迹预测方法。
17.根据权利要求16所述的电子设备，其特征在于，
所述电子设备为边缘计算节点。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～14中任意一项所述的车辆轨迹预测方法。
CN202111296183.2A 2021-11-03 2021-11-03 车辆轨迹预测方法、装置、电子设备和可读存储介质 Pending CN113989330A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111296183.2A CN113989330A (zh) 2021-11-03 2021-11-03 车辆轨迹预测方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111296183.2A CN113989330A (zh) 2021-11-03 2021-11-03 车辆轨迹预测方法、装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN113989330A true CN113989330A (zh) 2022-01-28

Family

ID=79746235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111296183.2A Pending CN113989330A (zh) 2021-11-03 2021-11-03 车辆轨迹预测方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN113989330A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547223A (zh) * 2022-02-24 2022-05-27 北京百度网讯科技有限公司 轨迹预测方法、轨迹预测模型的训练方法及装置
CN114715145A (zh) * 2022-04-29 2022-07-08 阿波罗智能技术(北京)有限公司 一种轨迹预测方法、装置、设备及自动驾驶车辆
CN115009275A (zh) * 2022-08-08 2022-09-06 北京理工大学前沿技术研究院 面向城市场景下车辆轨迹预测方法、系统及存储介质
CN116560377A (zh) * 2023-05-31 2023-08-08 北京百度网讯科技有限公司 用于预测位置轨迹的自动驾驶模型及其训练方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547223A (zh) * 2022-02-24 2022-05-27 北京百度网讯科技有限公司 轨迹预测方法、轨迹预测模型的训练方法及装置
CN114715145A (zh) * 2022-04-29 2022-07-08 阿波罗智能技术(北京)有限公司 一种轨迹预测方法、装置、设备及自动驾驶车辆
CN115009275A (zh) * 2022-08-08 2022-09-06 北京理工大学前沿技术研究院 面向城市场景下车辆轨迹预测方法、系统及存储介质
CN115009275B (zh) * 2022-08-08 2022-12-16 北京理工大学前沿技术研究院 面向城市场景下车辆轨迹预测方法、系统及存储介质
CN116560377A (zh) * 2023-05-31 2023-08-08 北京百度网讯科技有限公司 用于预测位置轨迹的自动驾驶模型及其训练方法

Similar Documents

Publication Publication Date Title
Chen et al. Interpretable end-to-end urban autonomous driving with latent deep reinforcement learning
Veres et al. Deep learning for intelligent transportation systems: A survey of emerging trends
US20230127115A1 (en) Three-Dimensional Object Detection
US20240085908A1 (en) Sparse Convolutional Neural Networks
CN112099496B (zh) 一种自动驾驶训练方法、装置、设备及介质
CN113989330A (zh) 车辆轨迹预测方法、装置、电子设备和可读存储介质
KR102001798B1 (ko) 비디오 이해를 위한 모션-기반 어텐션에 의한 순환 네트워크들
Ivanovic et al. Mats: An interpretable trajectory forecasting representation for planning and control
JP2022516383A (ja) 自律型車両の計画
CN111898635A (zh) 神经网络的训练方法、数据获取方法和装置
Sharma et al. Pedestrian intention prediction for autonomous vehicles: A comprehensive survey
CN112863180A (zh) 交通速度预测方法、装置、电子设备及计算机可读介质
CN112347923A (zh) 一种基于对抗生成网络的路侧端行人轨迹预测算法
CN114997307A (zh) 一种轨迹预测方法、装置、设备及存储介质
CN114202120A (zh) 一种针对多源异构数据的城市交通行程时间预测方法
CN115659275A (zh) 非结构化人机交互环境中的实时准确轨迹预测方法及系统
Li et al. Differentiable logic layer for rule guided trajectory prediction
Garlick et al. Real-time optimal trajectory planning for autonomous vehicles and lap time simulation using machine learning
CN116071728A (zh) 基于transformer和姿态估计的行人轨迹预测方法及存储介质
CN115457081A (zh) 一种基于图神经网络的分层融合式预测方法
CN115222089A (zh) 一种道路交通拥堵预测方法、装置、设备及可读存储介质
Khanum et al. Involvement of Deep Learning for Vision Sensor-Based Autonomous Driving Control: A Review
Scheel Using deep neural networks for scene understanding and behaviour prediction in autonomous driving
EP4296898A1 (en) Prediction method and system, computer program, computer-readable medium
CN117492447B (zh) 自动驾驶车辆行驶轨迹规划方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination