CN113435356B - 一种克服观察噪声与感知不确定性的轨迹预测方法 - Google Patents

Abstract

本发明属于汽车智能化技术领域，尤其为一种克服观察噪声与感知不确定性的轨迹预测方法，包括以下步骤：S1、获得目标车辆与目标车辆周围感兴趣智能体的低阶特征；S2、根据步骤S1获得的智能体低阶特征建立轨迹预测网络。本发明提出了一个基于时间模式注意力与图卷积序列编码的深度神经网络，分别对于目标车辆的行驶模式、自车周围环境时空拓扑关系进行建模，深度挖掘车辆的行驶多模态性,提出适用于多任务轨迹预测的损失函数，提高了轨迹预测的综合性能,该轨迹预测的结果相较于其他优秀的轨迹预测方法可以更好的减小观察噪声与感知不确定性的影响，从而可以降低智能车传感器成本，提高轨迹预测在不良感知下的准确率。

Description

一种克服观察噪声与感知不确定性的轨迹预测方法

技术领域

本发明涉及汽车智能化技术领域，具体为一种克服观察噪声与感知不确定性的轨迹预测方法。

背景技术

目前，大部分智能车主要是从激光雷达、毫米波雷达、超声波雷达、视觉相机等传感器获取周边的数据。随后，每个通道信号被进行周围的智能体、障碍物识别，并且将最后的结果融合后得到一个精确的场景建模。然而在实际的应用中，上述的感知环节往往过于理想。第一，由于传感器精确度、识别算法、天气等多因素的影响，实际上所感知到的场景障碍物存在一定的噪声。该噪声在恶劣天气、低成本传感器中会更明显，感知不确定性也会提升。第二，高精确度的传感器提高感知精确度的同时，也导致成本的大幅增加，对于后续智能车的普及带来了难题。

因此，在轨迹预测中考虑观察噪声与感知不确定性的影响对于提升轨迹预测鲁棒性，降低智能车成本有着相当关键的作用。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种克服观察噪声与感知不确定性的轨迹预测方法，解决了现有的汽车智能传感在实际的应用感知环节中往往过于理想，易受传感器精确度、识别算法、天气等多因素的影响，感知不确定性高，高精确度的传感器的使用导致了成本的大幅增加，对于后续智能车的普及带来了难题的问题。

(二)技术方案。

本发明为了实现上述目的具体采用以下技术方案：

一种克服观察噪声与感知不确定性的轨迹预测方法，包括以下步骤：

S1、获得目标车辆与目标车辆周围感兴趣智能体的低阶特征；

S2、根据步骤S1获得的智能体低阶特征建立轨迹预测网络。

进一步的，所述迹预测网络是由编码器、时间模式注意力、图卷积序列编码模块和解码器四部分组成。

进一步的，所述编码器用于将输入数据进行编码，对车辆轨迹的多变量时间序列建模，包括了不同的历史轨迹模式与驾驶操纵模式，对于每条多变量时间序列

首先通过一个全连接层形成一个嵌入向量

随后，每个时间步的嵌入向量作为LSTM输入，取最后一个单元的隐藏状态向量

为该车的隐藏模式，再经过一个线性变换与LeakyReLU后得到了编码张量，这些编码张量将会被运用到后续部分之中，计算过程如下：

其中，t为LSTM的隐藏单元数量，

为嵌入权重，

为编码器权重，

为线性层权重。

进一步的，所述时间模式注意力用于提取目标车辆的隐层驾驶特征，利用TPA注意力机制对上下文向量包含跨多个时间步的信息的行向量进行加权求和，捕获时域信息。

进一步的，所述图卷积序列编码模块用于构建社会知识的时空信息，采用图对目标车辆与周围智能体的交互进行建模，即采用一个无向图G＝(V,E)描述自车与周围智能体的交互信息，在图中，每个节点V∈{a_T∪A}}代表场景中的智能体或障碍物，边E代表两智能体之间是否存在交互，记任意两智能体之间的欧氏距离为d(a_i,a_j)，定义邻接矩阵A如下所示：

对于邻接矩阵A,对应的图的度矩阵D可以由以下公式给出：

D(i,i)＝∑_jA(i,j)

随后，计算归一化的拉普拉斯矩阵：

其中，I_N+1为单位矩阵；

最终，通过两次图卷积，得到目标车辆与每个周围智能体的交互隐藏特征：

其中，

为第一次和第二次卷积的权重；

随后，将所有节点的隐特征依次传入LSTM编码器，所有节点共享权重，并且将最终的结果拼接为一个张量：

进一步的，所述解码器用于输出车辆的轨迹坐标与驾驶操纵的概率分布，首先将目标车辆编码器输出、TPA输出与图卷积序列编码张量连接：

随后，一个分支用来对多模态驾驶操纵的分布进行预测，另一分支则将该张量重复t次后，对应的输入进每个LSTM单元中，经过输出激活层后，每个单元的输出代表未来某个时刻的目标车辆坐标值。

进一步的，在对模型进行训练时，采用适用于多任务轨迹预测的损失函数，损失函数由四部分构成，其中，横纵向在操纵预测分类采用交叉熵损失，横纵向轨迹坐标采用均方误差损失，表达式为：

式中，N为小批量样本数，

和

分别为车辆在未来j时刻的纵向和横向坐标预测值，

和

分别为车辆在未来j时刻的纵向和横向的实际坐标值，

和

为纵向操纵M_lon和横向操纵M_lat的预测值。

(三)有益效果

与现有技术相比，本发明提供了一种克服观察噪声与感知不确定性的轨迹预测方法，具备以下有益效果：

本发明提出了一个基于时间模式注意力与图卷积序列编码的深度神经网络，分别对于目标车辆的行驶模式、自车周围环境时空拓扑关系进行建模，深度挖掘车辆的行驶多模态性，该网络仅运用目标车辆与周围感兴趣智能体的有限数据进行轨迹预测，对于观察噪声与感知不确定性具有一定的鲁棒性；此外，提出适用于多任务轨迹预测的损失函数，提高了轨迹预测的综合性能；该轨迹预测的结果相较于其他优秀的轨迹预测方法可以更好的减小观察噪声与感知不确定性的影响，从而可以降低智能车传感器成本，提高轨迹预测在不良感知下的准确率。

附图说明

图1为本发明轨迹预测模型图；

图2为本发明轨迹预测流程图；

图3为本发明轨迹预测示意图；

图4为本发明各种预测性能对比图；

图5为本发明轨迹预测方法与现有方法对于观察噪声与感知不确定性的对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1-5所示，本发明一个实施例提出的一种克服观察噪声与感知不确定性的轨迹预测方法，包括以下步骤：

S1、获得目标车辆与目标车辆周围感兴趣智能体的低阶特征；

S2、根据步骤S1获得的智能体低阶特征建立轨迹预测网络。

在一些实施例中，迹预测网络是由编码器、时间模式注意力、图卷积序列编码模块和解码器四部分组成，编码器、时间模式注意力、图卷积序列编码模块和解码器四部分具体功能如下：

(1)编码器

模型输入为目标车辆t_hst(t_hst＝-wh,…,-2,-1,0)时间内历史轨迹a_T，以及正前方、左前方、右前方、左方、右方、左后方、右后方，正后方车辆轨迹

A＝{a_c},c＝1,2,...,8

其中任一车辆轨迹数据

由各个时刻数据构成，其中每一个时间步轨迹数据为：

其中x，y为纵向和横向轨迹坐标，vx,vy为纵向和横向速度，ax,ay为纵向和横向加速度，class为车辆类别；

编码器用于将输入数据进行编码，对车辆轨迹的多变量时间序列建模，包括了不同的历史轨迹模式与驾驶操纵模式，对于每条多变量时间序列

首先通过一个全连接层形成一个嵌入向量

随后，每个时间步的嵌入向量作为LSTM输入，取最后一个单元的隐藏状态向量

为该车的隐藏模式，再经过一个线性变换与LeakyReLU后得到了编码张量，这些编码张量将会被运用到后续部分之中，计算过程如下：

其中，t为LSTM的隐藏单元数量，

为嵌入权重，

为编码器权重，

为线性层权重。

(2)时间模式注意力

用于提取目标车辆的隐层驾驶特征，利用TPA注意力机制对上下文向量包含跨多个时间步的信息的行向量进行加权求和，捕获时域信息；并且这种在时间步上进行加权求和的方法可以跨越多个时间步，这为驾驶意图与驾驶操纵的时间模式提取提供了可能。将原始轨迹数据经过嵌入后，输入至一层LSTM中，得到了Hop＝[op1,op2,…,opt]与

表达式为：

需要注意的是，由于LSTM是单层的，故

另需要注意的是，

作为LSTM的最后一个隐含单元，不仅要作为目标车辆的隐藏状态模式，还要作为注意力机制中的Query，即查询序列，用来查询不同时间步中哪个几个时间步在当前模式下影响最大。

由于卷积神经网络对于特征向量可以提取多种不同的模式，那么在不同的时间步之间进行模式的提取的话可能会提取出不同的时间模式。故采用m个卷积核，在隐层时间步的方向进行一维卷积。具体的，该步操作如下：

式中，i＝1,2,…,m,j＝1,2,…,k,

为卷积操作；

得到的卷积向量作为注意力机制中对应的键值Key，前面所述的

用来表征各键值的重要程度，然后计算注意力映射α：

式中，Wsf为权重矩阵，随后注意力映射在Value上进行广播，得到了隐变量中更加重要的模式：

最后，将得到的模式与之前的隐状态通过Wh与Wv相结合，得到了最终的带跨越时间步权重的行驶轨迹隐变量：

(3)图卷积序列编码模块

图卷积序列编码模块用于构建社会知识的时空信息，采用图对目标车辆与周围智能体的交互进行建模，即采用一个无向图G＝(V,E)描述自车与周围智能体的交互信息，在图中，每个节点V∈{a_T∪A}}代表场景中的智能体或障碍物，边E代表两智能体之间是否存在交互，记任意两智能体之间的欧氏距离为d(a_i,a_j)，与目标车辆欧氏距离越小，则对自车影响越大，对于轨迹预测也会更加重要；所以定义邻接矩阵A如下所示：

对于邻接矩阵A,对应的图的度矩阵D可以由以下公式给出：

D(i,i)＝∑_jA(i,j)

随后，计算归一化的拉普拉斯矩阵：

其中，I_N+1为单位矩阵；

最终，通过两次图卷积，得到目标车辆与每个周围智能体的交互隐藏特征：

其中，

为第一次和第二次卷积的权重；

随后，将所有节点的隐特征依次传入LSTM编码器，所有节点共享权重，并且将最终的结果拼接为一个张量：

(4)解码器

解码器用于输出车辆的轨迹坐标与驾驶操纵的概率分布，首先将目标车辆编码器输出、TPA输出与图卷积序列编码张量连接：

随后，一个分支用来对多模态驾驶操纵的分布进行预测。需要注意的是，训练过程中提供的是横向与纵向的驾驶操纵的one-hot编码，通过全连接层与softmax层输出车辆横纵向操作的概率。另一分支则将该张量重复t次后，对应的输入进每个LSTM单元中，经过输出激活层后，每个单元的输出代表未来某个时刻的目标车辆坐标值。

在一些实施例中，在对模型进行训练时，采用适用于多任务轨迹预测的损失函数，损失函数由四部分构成，其中，横纵向在操纵预测分类采用交叉熵损失，横纵向轨迹坐标采用均方误差损失，表达式为：

式中，N为小批量样本数，

和

分别为车辆在未来j时刻的纵向和横向坐标预测值，

和

分别为车辆在未来j时刻的纵向和横向的实际坐标值，

和

为纵向操纵M_lon和横向操纵M_lat的预测值。

考虑到四种不同任务带来的同方差不确定性，采用自适应权重损失函数，表达式为：

多任务轨迹预测的损失函数与自适应权重损失函数的式中，N为小批量样本数，

和

分别为车辆在未来j时刻的纵向和横向坐标预测值，

和

分别为车辆在未来j时刻的纵向和横向的实际坐标值，

和

为纵向操纵M_lon和横向操纵M_lat的预测值，σ²为各个任务预测值的方差。

在一些实施例中，如图3所示，其中小型方框表示小汽车，大型方框表示卡车，方框中的三角形表示车辆的行驶方向。边界框上方数字是车辆ID、车辆横向和纵向驾驶操纵和概率；为了简洁起见，只给出了最高概率驾驶机动的预测轨迹；车辆后部的虚线是历史上1秒的车辆轨迹，车辆前方的虚线为真实的轨道，实线为预测轨迹；LF代表车道跟随，RC代表左换道，LC代表右换道，ND代表匀速行驶，HB代表急减速，RS代表急加速。

在一些实施例中，如图4所示，图4为各种方法的预测性能对比图，其中Proposed为所提方法，性能最佳.

在一些实施例中，如图5所示，所提方法与另一优秀的方法对于观察噪声与感知不确定的对比图，第一张图代表观察噪声，第二三张图代表感知不确定性，可以看到，所提出的方法在性能上比对比方法要好(预测误差越小越好)。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种克服观察噪声与感知不确定性的轨迹预测方法，其特征在于：包括以下步骤：

S1、获得目标车辆与目标车辆周围感兴趣智能体的低阶特征；

S2、根据步骤S1获得的智能体低阶特征建立轨迹预测网络；

所述轨迹预测网络是由编码器、时间模式注意力、图卷积序列编码模块和解码器四部分组成；

所述编码器用于将输入数据进行编码，对车辆轨迹的多变量时间序列建模，包括了不同的历史轨迹模式与驾驶操纵模式，对于每条多变量时间序列

首先通过一个全连接层形成一个嵌入向量

随后，每个时间步的嵌入向量作为LSTM输入，取最后一个单元的隐藏状态向量

为该车的隐藏模式，再经过一个线性变换与LeakyReLU后得到了编码张量，这些编码张量将会被运用到后续部分之中，计算过程如下：

其中，t为LSTM的隐藏单元数量，

为嵌入权重，

为编码器权重，

为线性层权重；

所述时间模式注意力用于提取目标车辆的隐层驾驶特征，利用TPA注意力机制对上下文向量包含跨多个时间步的信息的行向量进行加权求和，捕获时域信息；

所述图卷积序列编码模块用于构建社会知识的时空信息，采用图对目标车辆与周围智能体的交互进行建模，即采用一个无向图G＝(V,E)描述自车与周围智能体的交互信息，在图中，每个节点V∈{a_T∪A}代表场景中的智能体或障碍物，边E代表两智能体之间是否存在交互，记任意两智能体之间的欧氏距离为d(a_i,a_j)，定义邻接矩阵A如下所示：

对于邻接矩阵A,对应的图的度矩阵D可以由以下公式给出：

D(i,i)＝∑_jA(i,j)

随后，计算归一化的拉普拉斯矩阵：

其中，I_N+1为单位矩阵；

最终，通过两次图卷积，得到目标车辆与每个周围智能体的交互隐藏特征：

h^gph＝φ(L_norφ(L_norU；W₁ ^gph)；W₂ ^gph)

其中，W₁ ^gph，W₂ ^gph为第一次和第二次卷积的权重；

随后，将所有节点的隐特征依次传入LSTM编码器，所有节点共享权重，并且将最终的结果拼接为一个张量：

所述解码器用于输出车辆的轨迹坐标与驾驶操纵的概率分布，首先将目标车辆编码器输出、TPA输出与图卷积序列编码张量连接：

随后，一个分支用来对多模态驾驶操纵的分布进行预测，另一分支则将该张量重复t次后，对应的输入进每个LSTM单元中，经过输出激活层后，每个单元的输出代表未来某个时刻的目标车辆坐标值；

在对模型进行训练时，采用适用于多任务轨迹预测的损失函数，损失函数由四部分构成，其中，横纵向在操纵预测分类采用交叉熵损失，横纵向轨迹坐标采用均方误差损失，表达式为：

式中，N为小批量样本数，

和

分别为车辆在未来j时刻的纵向和横向坐标预测值，

和

分别为车辆在未来j时刻的纵向和横向的实际坐标值，

和

为纵向操纵M_lon和横向操纵M_lat的预测值。

Images