CN111160089A - 一种基于不同车辆类型的轨迹预测系统及方法 - Google Patents

Abstract

本发明公开了一种基于不同车辆类型的轨迹预测系统，包括：车辆类型识别模块，轨迹预测模块和基于不同车辆类型的轨迹预测模块；车辆类型识别模块，以摄像头传输的目标车辆的图像信息I为输入，通过卷积神经网络计算输出车辆类型C _i 的概率；轨迹预测模块，获取雷达传感器信息针对车辆类型C _i ，得到历史时域[‑T,0]目标车辆的轨迹信息作为输入，包括纵向位置x和侧向位置y；输出未来时域[0,T]的预测轨迹的高斯分布参数Ɵ，即得到预测轨迹的概率分布；基于不同车辆类型的轨迹预测模块，根据上述车辆类型的概率及预测轨迹的概率分布，得到基于不同车辆类型的轨迹预测的概率分布。本发明解决了现有技术中轨迹预测过程中不能区分预测车辆的类型的问题。

Description

一种基于不同车辆类型的轨迹预测系统及方法

技术领域

本发明属于智能驾驶技术领域，具体指代一种基于不同车辆类型的轨迹预测系统及方法。

背景技术

随着汽车保有量的日益增加，道路交通逐渐趋于密集化和复杂化，进而导致驾驶压力的增大，使得驾驶员在正常交通场景下的驾驶能力下降，大大增加了交通事故的发生几率。在智能驾驶决策过程中，能对周围车辆的运动轨迹进行正确的预测，是智能车辆做出合适决策的基础。

目前，智能车辆可以通过先进的技术，根据目标车辆的运动状态来对未来的状态进行预测，据此信息来规划自车的行驶路线，但根据自车的运动状态往往有时间的滞后性，不能及时地反映目标车辆未来的运动趋势；目前技术所采用的方法大多依靠某一时刻的信息来预测下一时刻的信息，不能反映出目标车辆的运动特性是动态变化的。

所以本发明提出一种基于不同车辆类型的轨迹预测系统及方法，所述系统通过CNN(卷积神经网络)网络区分不同车辆类型，来提高轨迹预测的准确性，能使智能驾驶的车辆更好地适应复杂的交通环境。所采用的CNN技术是通过模拟生物视觉皮层中的复杂结构细胞，对视觉输入空间的局部区域很敏感，被称为“感受野”。感受野以某种方式覆盖整个视觉域，它在输入空间中起局部作用，因而能够更好地挖掘出存在于自然图像中强烈的局部空间相关性。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种基于不同车辆类型的轨迹预测系统及方法，以解决现有技术中轨迹预测过程中不能区分预测车辆的类型的问题。

为达到上述目的，本发明采用的技术方案如下：

本发明的一种基于不同车辆类型的轨迹预测系统，包括：车辆类型识别模块，轨迹预测模块和基于不同车辆类型的轨迹预测模块；

所述车辆类型识别模块，以摄像头传输的目标车辆的图像信息I为输入，通过卷积神经网络计算输出车辆类型C_i的概率P(C_i|I)；

所述轨迹预测模块，获取雷达传感器信息针对车辆类型C_i，得到历史时域[-T,0]目标车辆的轨迹信息X作为输入，包括纵向位置x和侧向位置y；输出未来时域[0,T]的预测轨迹Y的高斯分布参数θ，即得到预测轨迹Y的概率分布P_θ(Y|C_i,X)；

所述基于不同车辆类型的轨迹预测模块，根据上述车辆类型的概率及预测轨迹Y的概率分布，得到基于不同车辆类型的轨迹预测的概率分布P(Y|X)，如下：

P(Y|X)＝∑_iP_Θ(Y|C_i,X)P(C_i|I)。

优选地，所述输出车辆类型的集合定义为C＝{乘用车，商用车，摩托车}。

优选地，所述预测轨迹Y信息包括纵向位置x和侧向位置y。

优选地，所述高斯分布参数包括概率分布的均值和协方差。

本发明的一种基于不同车辆类型的轨迹预测方法，步骤如下：

1)从摄像头读取目标车辆的二维图像信息I，并作为输入；获取雷达传感器历史时域[-T,0]目标车辆的轨迹信息X，包括纵向位置x和侧向位置y，作为输入；

2)建立卷积神经网络(CNN)车辆类型识别模型，所采用的CNN网络包括输入层、三层平行的卷积层以及池化层、全连接层、输出层和softmax输出层，由softmax输出层可输出不同车辆类型的概率P(C_i|I)；

3)建立LSTM轨迹预测模型，对于t时刻的输入x_t，计算过程如下：

上述公式为某一时刻t一个LSTM单元的计算过程，一个LSTM单元包括三个门控单元(输入门i_t，遗忘门f_t和输出门o_t)和一个记忆单元c_t，h_t为网络的输出状态；W_xi,W_hi,W_ci,W_xf,W_hf,W_cf,W_xc,W_hc,W_xo,W_ho,W_co为权重矩阵，b_i,b_f,b_c,b_o为偏置向量；

选取网络输出状态h_t的线性组合为轨迹的高斯分布参数θ_t的回归向量

其中，W_y为回归向量的权重系数，b_y为回归向量的偏置；

4)基于步骤2)中的车辆类型识别结果和步骤3)中预测轨迹结果，得到基于不同车辆类型的轨迹预测的概率分布P(Y|X)，由下式表示：

P(Y|X)＝Σ_iP_Θ(Y|C_i,X)P(C_i|I)。

优选地，所述步骤2)中采用的卷积神经网络(CNN)的卷积层之间的输入输出关系可用如下公式表示；

a^l＝σ(z^l)＝σ(a^l-1*W^l+b^l)

z^l＝a^l-1*W^l+b^l＝σ(z^l-1)*W^l+b^l

其中，a^l表示第l层神经元的输出，z^l表示第l层神经元的输入，W^l表示从l-1层到l层的权值矩阵，b^l表示l层的偏置向量，*表示卷积操作，σ表示该层神经元激活函数；

池化层采用max-pooling池化技术，使用大小为n*n的滑动窗口，按照先行后列的顺序，提取每个窗口中的最大值，形成下一层的隐层；

全连接层与普通神经网络的全连接层相同：

a^l＝σ(z^l)＝σ(a^l-1W^l+b^l)

输出层采用softmax输出层作为多分类问题的输出概率P(C_i|I)：

其中z_i为输出层第i个神经元的输出。

本发明的有益效果：

本发明在智能车辆对周围车辆轨迹预测的过程中，除了考虑需要被预测车辆运动信息以外，还考虑了需要被预测车辆的种类，利用卷积神经网络能模拟生物的视觉神经去处理目标车辆的图像，识别目标车辆的类型；基于车辆类型识别结果进行轨迹预测，能更好地去对周围车辆的轨迹进行预测，提高轨迹预测的准确性，使智能车辆能在更复杂存在多种类型车辆的交通环境中安全行驶。

附图说明

图1为本发明系统的实施原理框图。

图2为本发明中所采用的卷积神经网络的结构图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

参照图1所示，本发明的一种基于不同车辆类型的轨迹预测系统，包括：车辆类型识别模块，轨迹预测模块和基于不同车辆类型的轨迹预测模块；

所述车辆类型识别模块，以摄像头传输的目标车辆的图像信息I为输入，通过卷积神经网络计算输出车辆类型C_i的概率P(C_i|I)；输出车辆类型的集合定义为C＝{乘用车，商用车，摩托车}。

所述轨迹预测模块，获取雷达传感器信息针对车辆类型C_i，得到历史时域[-T,0]目标车辆的轨迹信息X作为输入，包括纵向位置x和侧向位置y；输出未来时域[0,T]的预测轨迹Y的高斯分布参数θ，即得到预测轨迹Y的概率分布P_θ(Y|C_i,X)；所述预测轨迹Y信息包括纵向位置x和侧向位置y。高斯分布参数包括概率分布的均值和协方差。

所述基于不同车辆类型的轨迹预测模块，根据上述车辆类型的概率及预测轨迹Y的概率分布，得到基于不同车辆类型的轨迹预测的概率分布P(Y|X)，如下：

P(Y|X)＝Σ_iP_Θ(Y|C_i,X)P(C_i|I)。

本发明的一种基于不同车辆类型的轨迹预测方法，步骤如下：

1)从摄像头读取目标车辆的二维图像信息I，并作为输入；获取雷达传感器历史时域[-T,0]目标车辆的轨迹信息X，包括纵向位置x和侧向位置y，作为输入；

2)建立卷积神经网络(CNN)车辆类型识别模型，所采用的CNN网络包括输入层、三层平行的卷积层以及池化层、全连接层、输出层和softmax输出层，由softmax输出层可输出不同车辆类型的概率P(C_i|I)；

3)基于长短时记忆网络(Long-Short Term Memory,LSTM)，建立LSTM轨迹预测模型，对于t时刻的输入x_t，计算过程如下：

上述公式为某一时刻t一个LSTM单元的计算过程，一个LSTM单元包括三个门控单元(输入门i_t，遗忘门f_t和输出门o_t)和一个记忆单元c_t，h_t为网络的输出状态；W_xi,W_hi,W_ci,W_xf,W_hf,W_cf,W_xc,W_hc,W_xo,W_ho,W_co为权重矩阵，b_i,b_f,b_c,b_o为偏置向量；

选取网络输出状态h_t的线性组合为轨迹的高斯分布参数θ_t的回归向量

其中，W_y为回归向量的权重系数，b_y为回归向量的偏置；

4)基于步骤2)中的车辆类型识别结果和步骤3)中预测轨迹结果，得到基于不同车辆类型的轨迹预测的概率分布P(Y|X)，由下式表示：

P(Y|X)＝Σ_iP_Θ(Y|C_i,X)P(C_i|I)。

参照图2所示，所述步骤2)中采用的卷积神经网络(CNN)的卷积层之间的输入输出关系可用如下公式表示；

a^l＝σ(z^l)＝σ(a^l-1*W^l+b^l)

z^l＝a^l-1*W^l+b^l＝σ(z^l-1)*W^l+b^l

其中，a^l表示第l层神经元的输出，z^l表示第l层神经元的输入，W^l表示从l-1层到l层的权值矩阵，b^l表示l层的偏置向量，*表示卷积操作，σ表示该层神经元激活函数；

池化层采用max-pooling池化技术，使用大小为n*n的滑动窗口，按照先行后列的顺序，提取每个窗口中的最大值，形成下一层的隐层；

全连接层与普通神经网络的全连接层相同：

a^l＝σ(z^l)＝σ(a^l-1W^l+b^l)

输出层采用softmax输出层作为多分类问题的输出概率P(C_i|I)：

其中z_i为输出层第i个神经元的输出。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (6)

1.一种基于不同车辆类型的轨迹预测系统，其特征在于，包括：车辆类型识别模块，轨迹预测模块和基于不同车辆类型的轨迹预测模块；

车辆类型识别模块，以摄像头传输的目标车辆的图像信息I为输入，通过卷积神经网络计算输出车辆类型C_i的概率P(C_i|I)；

轨迹预测模块，获取雷达传感器信息针对车辆类型C_i，得到历史时域[-T,0]目标车辆的轨迹信息X作为输入，包括纵向位置x和侧向位置y；输出未来时域[0,T]的预测轨迹Y的高斯分布参数θ，即得到预测轨迹Y的概率分布P_θ(Y|C_i,X)；

基于不同车辆类型的轨迹预测模块，根据上述车辆类型的概率及预测轨迹Y的概率分布，得到基于不同车辆类型的轨迹预测的概率分布P(Y|X)，如下：

P(Y|X)＝∑_iP_Θ(Y|C_i,X)P(C_i|I)。

2.根据权利要求1所述的基于不同车辆类型的轨迹预测系统，其特征在于，所述输出车辆类型的集合定义为C＝{乘用车，商用车，摩托车}。

3.根据权利要求1所述的基于不同车辆类型的轨迹预测系统，其特征在于，所述预测轨迹Y信息包括纵向位置x和侧向位置y。

4.根据权利要求1所述的基于不同车辆类型的轨迹预测系统，其特征在于，所述高斯分布参数包括概率分布的均值和协方差。

5.一种基于不同车辆类型的轨迹预测方法，其特征在于，步骤如下：

1)从摄像头读取目标车辆的二维图像信息I，并作为输入；获取雷达传感器历史时域[-T,0]目标车辆的轨迹信息X，包括纵向位置x和侧向位置y，作为输入；

2)建立卷积神经网络车辆类型识别模型，所采用的卷积神经网络包括输入层、三层平行的卷积层以及池化层、全连接层、输出层和softmax输出层，由softmax输出层可输出不同车辆类型的概率P(C_i|I)；

3)建立LSTM轨迹预测模型，对于t时刻的输入x_t，计算过程如下：

上述公式为某一时刻t一个LSTM单元的计算过程，一个LSTM单元包括三个门控单元和一个记忆单元c_t，h_t为网络的输出状态；W_xi,W_hi,W_ci,W_xf,W_hf,W_cf,W_xc,W_hc,W_xo,W_ho,W_co为权重矩阵，b_i,b_f,b_c,b_o为偏置向量；

选取网络输出状态h_t的线性组合为轨迹的高斯分布参数θ_t的回归向量

其中，W_y为回归向量的权重系数，b_y为回归向量的偏置；

4)基于步骤2)中的车辆类型识别结果和步骤3)中预测轨迹结果，得到基于不同车辆类型的轨迹预测的概率分布P(Y|X)，由下式表示：

P(Y|X)＝∑_iP_Θ(Y|C_i,X)P(C_i|I)。

6.根据权利要求1所述的基于不同车辆类型的轨迹预测方法，其特征在于，所述步骤2)中采用的卷积神经网络的卷积层之间的输入输出关系用如下公式表示；

a^l＝σ(z^l)＝σ(a^l-1*W^l+b^l)

z^l＝a^l-1*W^l+b^l＝σ(z^l-1)*W^l+b^l

其中，a^l表示第l层神经元的输出，z^l表示第l层神经元的输入，W^l表示从l-1层到l层的权值矩阵，b^l表示l层的偏置向量，*表示卷积操作，σ表示该层神经元激活函数；

池化层采用max-pooling池化技术，使用大小为n*n的滑动窗口，按照先行后列的顺序，提取每个窗口中的最大值，形成下一层的隐层；

全连接层与普通神经网络的全连接层相同：

a^l＝σ(z^l)＝σ(a^l-1W^l+b^l)

输出层采用softmax输出层作为多分类问题的输出概率P(C_i|I)：

其中，z_i为输出层第i个神经元的输出。

Images