CN113657433A - 一种车辆轨迹多模态预测方法 - Google Patents

Abstract

本发明公开了一种车辆轨迹多模态预测方法，包括以下步骤：S1、对预测场景、预测目标以及预测目标的行为风格进行分类；S2、利用全概率公式将先验预测模型分为行为模态预测模型和基于行为模态的轨迹预测模型；S3、建立多模态轨迹先验预测模型,对车辆进行先验的多模态轨迹预测形成先验轨迹库；S4、依据道路约束、动力学约束以及交通规则约束对先验轨迹库进行过滤、筛选以及优化；S5、利用基于贝叶斯纳什均衡理论的多智能体交互博弈过程作为后验模型，对先验模型中的轨迹概率进行修正，最终实现对车辆的未来轨迹预测。本发明能够提高智能车辆对交通环境中交通车辆的轨迹预测的稳定性与精确度。

Description

一种车辆轨迹多模态预测方法

技术领域

本发明属于智能驾驶技术领域，具体涉及一种车辆轨迹多模态预测方法。

背景技术

无人驾驶车辆的发展，能够从根本上改变人们的出行方式，使人们的出行、生活方式更加智能化，预防交通事故、提高道路通行效率，改善公共空间质量。然而环境的多样性、不确定性给无人驾驶车辆的安全性能带来了巨大的挑战，车辆亟需一个可靠、稳定的预测系统对外界环境进行准确地建模和评估。

机动车、非机动车、人是无人驾驶环境中最重要的参与者，相关交通目标的轨迹预测是预测系统的重要环节。当前对轨迹的预测过程中存在目标行为轨迹的不确定性建模问题：无人驾驶环境复杂多变，传统确定性预测方法只能对轨迹的不确定性进行统计平均求解，无法完整表达目标轨迹的多样性。

另一方面，道路上各个交通参与者参与过程中，存在着相互影响，相互制约的关系，是否能够对参与者这种交互关系进行建模，直接影响着轨迹预测的精度。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，一种车辆轨迹多模态预测方法，使用LSTM-CVAE生成模型作为先验模型，使用基于贝叶斯纳什均衡理论的交互博弈过程作为后验模型，最终输出周边交通目标的各种可能的轨迹序列以及该轨迹序列出现的概率。

为了达到上述目的，本发明采用以下技术方案：

一种车辆轨迹多模态预测方法，包括以下步骤：

S1、对预测场景、预测目标以及预测目标的行为风格进行分类；

S2、利用全概率公式将先验预测模型分为行为模态预测模型和基于行为模态的轨迹预测模型，提取行为模态特征作为多模态控制量；

S3、利用LSTM-CVAE生成模型将序列预测与序列生成相结合，针对不同的预测目标轨迹的不确定性，建立多模态轨迹先验预测模型,对车辆进行先验的多模态轨迹预测形成先验轨迹库；

S4、依据道路约束、动力学约束以及交通规则约束对先验轨迹库进行过滤、筛选以及优化；

S5、利用基于贝叶斯纳什均衡理论的多智能体交互博弈过程作为后验模型，对先验模型中的轨迹概率进行修正，最终实现对车辆的未来轨迹预测。

进一步的，步骤S1具体为：

根据外界环境信息，将预测场景分为路口和非路口；将预测目标分为机动车、非机动车以及人，由此建立预测输入信息；

依据不同的道路工况和预测目标的当前速度、朝向以及历史轨迹进行行为风格预测并生成由碰撞权重、快速权重以及舒适权重三者组成的风格因子，同时创建地图道路约束、动力学约束以及交通规则约束，将地图按照约束情况划分为通行与不可通行区域。

进一步的，步骤2中，先验预测模型中，假设X为输入信息，Y为需要预测的轨迹，则对先验预测模型P_θ(Y|X)进行求解，利用全概率公式：

将历史轨迹到未来轨迹预测任务分解为历史轨迹-行为-未来轨迹的任务，同时提取出行为作为多模态化输出的模态控制量，分别建立历史轨迹-多模态行为的行为预测模型P_θM(M_n|X)，多模态行为-未来轨迹的轨迹预测模型P_θY(Y_n|X,M_n)。

进一步的，先验模型具体为依据不同的预测场景、预测目标以及行为概率，采用CVAE编码解码网络作为模型框架，在框架中结合LSTM序列网络，建立基于可控模态和历史轨迹输入的隐变量分布和基于隐变量分布的轨迹生成网络，从而形成多模态轨迹先验预测模型来进行先验预测轨迹生成和先验概率计算，多模态轨迹先验预测模型不考虑预测目标间的互动信息，负责依据道路工况、预测目标以及可能的行为建立多模态先验轨迹及先验概率。

进一步的，先验轨迹库具体为，利用划分的通行与不可通行区域对多模态轨迹先验预测模型输出的轨迹集合进行过滤，去除不合理的轨迹，形成当前时刻的目标先验轨迹库。

进一步的，后验模型具体为多智能体交互博弈后验模型，多智能体交互博弈后验模型将预测目标都视为博弈的智能体，将多模态轨迹先验预测模块输出的轨迹集合作为博弈的可选动作，将先验概率视为博弈初始的动作选择概率，建立起博弈环境，得到后验轨迹作为最终的预测轨迹。

进一步的，在多智能体交互博弈后验模型中，对每个目标对象i建立深度Q网络模型，利用先验轨迹库作为目标对象的可选动作，再利用先验概率初始化Q网络，建立与碰撞、快速性以及舒适性相关的奖励函数；

依据Q值概率反复进行轨迹的选择、奖励函数计算、Q网络反馈更新的过程，直至各目标奖励函数收敛；此时Q网络的Q值概率即所求的后验交互轨迹概率，综合轨迹即最终的多模态化轨迹及其概率输出。

进一步的，奖励函数具体为：

R_i＝α_i*c_i+β_i*v_i+γ_i*a_i ²

其中，c_i代表当前轨迹是否发生碰撞，表示轨迹的安全性，v_i代表当前轨迹的平均行驶速度，表示轨迹的快速性；a_i ²代表当前轨迹的加速度，表示轨迹的舒适性。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明将车辆轨迹预测过程中难以统一解决的多模态输出难题和交互建模难题分开，建立先验和后验模型有序解决，避免了单一复杂模型带来的计算难度指数增长，也有利于中间对各个环节进行单独调试优化。

2、本发明巧妙结合生成模型的多模态输出能力和序列模型的序列预测能力，仅仅需要控制模态输入即可完成多模态输出，提高了输出的灵活性。与现有技术相比，通过求解历史轨迹输入和模态控制量在各个维度的高斯分布，仅用一个模型统一了多模态输出之间的关系，避免了不同模态的模型进行分开训练和集成使用才能完成多模态输出的目标，提升了模型使用效率，给后续的轨迹优化打下基础。

3、本发明方法首先为了求解方便忽略了车辆的交互过程，在先验模型中建立先验轨迹库及轨迹概率，避免了对NP难题的直接求解。反过来又利用前面得到的轨迹库进行多智能体交互博弈，使得无穷的动态博弈过程变为了有限的静态轨迹博弈过程，借此加入了前面忽视的车辆交互性，提高了多模态先验预测模型的精度，使得本方法能够高效地输出预测目标的预测轨迹。

附图说明

图1是本发明方法的整体流程图；

图2是本发明的道路Frenet坐标系；

图3是本发明车辆多模态行为分类示意图；

图4是本发明车辆多模态轨迹预测模型示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例假设预测场景发生在非路口场景中，需要对周围车辆进行预测，包括以下步骤：

S1、依据道路方向来定义Frenet坐标系，以道路纵向方向为L轴，道路横向方向为W轴，以车辆上个时刻的坐标点为坐标原点建立车辆位置增量坐标系，如图2所示。沿着W方向将道路进行编号，即

假设模型输入X为车辆i在T时间内的历史轨迹坐标点，则：

其中

假设模型输出Y为轨迹在未来H时间内的轨迹坐标点：

其中

根据当前的场景，使用三种行为对车辆的轨迹进行分类，仅考虑车辆在直线道路上的横向行为M，具体分为：{M1：左变道、M2:不变道、M3:右变道}，如图3所示。

S2、在获得外界车辆的信息后，先验预测模型可表示为P_θ(Y|X)，依据全概率公式：

其中，Y_n表示行为M_n下的轨迹。公式将先验预测模型分为两个部分：轨迹预测模型P(Y_n|X,M_n)以及行为预测模型P(M_n|X)。轨迹预测模型是历史轨迹X条件下，在给定多模态行为类别内对未来轨迹进行边际推断，即求解车辆在不同行为下的轨迹集合及其可能的边际概率，行为预测模型旨在求解车辆在采取不同行为的概率。

由此，全概率公式通过中间变量M_n将单模态预测的过程，分解为所需的多模态预测过程，分别用多模态轨迹预测模型P_θY(Y_n|X,M_n)和行为预测模型P_θM(M_n|X)来对先验预测模型P_θ(Y|X)进行求解。

S3、对于先验模型中第二部分轨迹预测模型P_θY(Y_n|X,M_n)的求解，传统编码解码序列模型经常被用来进行序列预测任务，但其存在一定局限性。编码器和解码器之间通过一个固定长度的隐变量Z进行联系。即编码器要将整个序列的信息压缩进一个固定长度的隐藏向量中去。然而隐藏向量无法完全表示整个序列的信息，先输入的信息会被后续信息稀释。输入序列越长，这个现象就越严重。这就使得在解码的时候一开始就没有获得输入序列足够的信息，解码准确度下降。另一方面，针对传统LSTM模型在多模态输出中无法表示出较好的灵活性问题，引入高斯分布来对隐变量进行求解，通过模态信息用不同的高斯分布来拟合输入分布，在传统RNN的基础上加入了序列生成模型的灵活性。同时为了结果可控，用高斯分布的目标均值来表示不同行为之间的差异，来建立行为可控的多模态轨迹序列生成模型LSTM-CVAE。

LSTM-CVAE多模态轨迹预测模型P_θY(Y_n|X,M_n)，为了保证模型的多模态化输出，仅仅是M作为多模态输出的控制量是不够的，而X是历史状态无法改变，因此使用Z来替代M、X作为轨迹输出的输入或者控制量，Z和原来的P(M,X)深度相关，但为保持生成能力两者不能完成相同。为了求解方便，构建Z关于P(M,X)的高斯分布。由此有

P_θY(Y_n|X,M_n)＝∑P(Y|Z)P(Z|M_n,X)

通过上式将LSTM-CVAE模型分为编码模型和解码模型两部分，解码模型：P(Y|Z)，编码模型：P(Z|M_n,X)。

编码模型：依靠编码模型来完成输入转换和多模态控制量的构建，建立目标分布P(Z|M_n,X)，为方便求解，假设P(Z|M_n,X)是以行为偏差μ_Mn为均值的高斯分布。为满足Z要求，利用变分法，建立当前分布

不断缩小分布间的差距来近似分布P(Z|M_n,X)。P(Z|M_n,X)是假设的高斯分布或逼近的目标分布；

是模型的分布，是当前的分布，通过让当前的分布来逼近目标分布来完成符合要求的Z值的构建。

以高斯分布的参数μ和σ表示，利用全连接模型对行为的统计均值μ_M和方差σ进行求解，最终利用KL散度作为损失函数来让正态分布逼近求解P(Z|X,M_n)，即

如图4所示，模型前半部分由LSTM组成，用于建立历史轨迹点的前后关系，再通过全连接网络分别对高斯分布的均值μ_M和方差σ²进行求解来近似分布P(Z|M_n,X)，从而求得基于行为/模态均值μ_M的高斯分布P(Z|M_n,X)。

解码模型：通过编码器完成多模态控制量的构建，下一步就是根据控制量Z进行轨迹预测。从分布P(Z|M_n)中采样得到Z，基于重构误差的损失函数：

解码得到需要的输出Y以及P(Y|Z)即为需要预测的轨迹和概率。针对不同的行为M_n反复进行求解便可求得对应目标的多模态轨迹集合。

在多模态预测模型部分，编码器和解码器都使用了激活函数为ReLU的LSTM模型，而模态控制隐变量Z部分使用了双层全连接网络对高斯分布的均值和方差进行求解。而对于行为预测模型P_θM(M_n|X)则直接用LSTM模型来计算。两个模型都使用了Adam优化器来进行训练。

S4、利用道路约束、动力学约束、交通规则约束建立二维平面地图掩膜层，对多模态轨迹集合进行过滤、筛选，将不合理轨迹进行屏蔽。

S5、对每个目标对象i建立深度Q网络模型，利用先验轨迹库作为目标对象的可选动作，再利用先验概率初始化Q网络，建立奖励函数

R_i＝α_i*c_i+β_i*v_i+γ_i*a_i ²

其中，c_i代表当前轨迹是否发生碰撞，表示轨迹的安全性；v_i代表当前轨迹的平均行驶速度，表示轨迹的快速性；a_i ²代表当前轨迹的加速度，表示轨迹的舒适性；

针对目标不同的行为风格，给予不同权重α_i、β_i、γ_i的奖励函数。如此依据Q值概率反复进行轨迹的选择、奖励函数计算、Q网络反馈更新，直至各目标奖励函数收敛，此时的Q网络的Q值概率便是所求的后验交互轨迹概率，综合轨迹便是整个预测系统的最终多模态化轨迹及其概率输出。

本发明针对车辆行为轨迹的不确定性建模和交互性建模问题，基于LSTM-CVAE生成模型进行多模态先验轨迹预测。该模型结合了LSTM对于轨迹序列强大的预测以及CVAE模型强大的多样化生成能力，以预测目标历史轨迹序列、道路环境为输入，求解目标车辆在未来时刻的多模态轨迹序列及其概率，同时，引入了基于纳什均衡理论的动态博弈过程作为后验模型，对先验模型中输出的各项概率进行了修正，能够有效的提高预测算法的稳定性与精确度。

还需要说明的是，在本说明书中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种车辆轨迹多模态预测方法，其特征在于，包括以下步骤：

S1、对预测场景、预测目标以及预测目标的行为风格进行分类；

S2、利用全概率公式将先验预测模型分为行为模态预测模型和基于行为模态的轨迹预测模型，提取行为模态特征作为多模态控制量；

S3、利用LSTM-CVAE生成模型将序列预测与序列生成相结合，针对不同的预测目标轨迹的不确定性，建立多模态轨迹先验预测模型,对车辆进行先验的多模态轨迹预测形成先验轨迹库；

S4、依据道路约束、动力学约束以及交通规则约束对先验轨迹库进行过滤、筛选以及优化；

S5、利用基于贝叶斯纳什均衡理论的多智能体交互博弈过程作为后验模型，对先验模型中的轨迹概率进行修正，最终实现对车辆的未来轨迹预测。

2.根据权利要求1所述的一种车辆轨迹多模态预测方法，其特征在于，步骤S1具体为：

根据外界环境信息，将预测场景分为路口和非路口；将预测目标分为机动车、非机动车以及人，由此建立预测输入信息；

依据不同的道路工况和预测目标的当前速度、朝向以及历史轨迹进行行为风格预测并生成由碰撞权重、快速权重以及舒适权重三者组成的风格因子，同时创建地图道路约束、动力学约束以及交通规则约束，将地图按照约束情况划分为通行与不可通行区域。

3.根据权利要求1所述的一种车辆轨迹多模态预测方法，其特征在于，步骤2中，先验预测模型中，假设X为输入信息，Y为需要预测的轨迹，则对先验预测模型P_θ(Y|X)进行求解，利用全概率公式：

将历史轨迹到未来轨迹预测任务分解为历史轨迹-行为-未来轨迹的任务，同时提取出行为作为多模态化输出的模态控制量，分别建立历史轨迹-多模态行为的行为预测模型P_θM(M_n|X)，多模态行为-未来轨迹的轨迹预测模型P_θY(Y_n|X,M_n)。

4.根据权利要求1所述的一种车辆轨迹多模态预测方法，其特征在于，先验模型具体为依据不同的预测场景、预测目标以及行为概率，采用CVAE编码解码网络作为模型框架，在框架中结合LSTM序列网络，建立基于可控模态和历史轨迹输入的隐变量分布和基于隐变量分布的轨迹生成网络，从而形成多模态轨迹先验预测模型来进行先验预测轨迹生成和先验概率计算，多模态轨迹先验预测模型不考虑预测目标间的互动信息，负责依据道路工况、预测目标以及可能的行为建立多模态先验轨迹及先验概率。

5.根据权利要求2所述的一种车辆轨迹多模态预测方法，其特征在于，先验轨迹库具体为，利用划分的通行与不可通行区域对多模态轨迹先验预测模型输出的轨迹集合进行过滤，去除不合理的轨迹，形成当前时刻的目标先验轨迹库。

6.根据权利要求1所述的一种车辆轨迹多模态预测方法，其特征在于，后验模型具体为多智能体交互博弈后验模型，多智能体交互博弈后验模型将预测目标都视为博弈的智能体，将多模态轨迹先验预测模块输出的轨迹集合作为博弈的可选动作，将先验概率视为博弈初始的动作选择概率，建立起博弈环境，得到后验轨迹作为最终的预测轨迹。

7.根据权利要求6所述的一种车辆轨迹多模态预测方法，其特征在于，在多智能体交互博弈后验模型中，对每个目标对象i建立深度Q网络模型，利用先验轨迹库作为目标对象的可选动作，再利用先验概率初始化Q网络，建立与碰撞、快速性以及舒适性相关的奖励函数；

依据Q值概率反复进行轨迹的选择、奖励函数计算、Q网络反馈更新的过程，直至各目标奖励函数收敛；此时Q网络的Q值概率即所求的后验交互轨迹概率，综合轨迹即最终的多模态化轨迹及其概率输出。

8.根据权利要求7所述的一种车辆轨迹多模态预测方法，其特征在于，奖励函数具体为：

R_i＝α_i*c_i+β_i*v_i+γ_i*a_i ²

其中，c_i代表当前轨迹是否发生碰撞，表示轨迹的安全性，v_i代表当前轨迹的平均行驶速度，表示轨迹的快速性；a_i ²代表当前轨迹的加速度，表示轨迹的舒适性。

Images