CN112614373A - 一种基于BiLSTM周车换道意图预测方法 - Google Patents

Abstract

一种基于BiLSTM周车换道意图预测方法，涉及智能车辆技术领域。包括以下步骤：1)换道意图预测模型的离线训练过程：通过大规模真实驾驶场景的采集和处理构建训练数据库；然后训练换道意图预测模型；2)换道意图预测模型在线实时预测：在自车实时采集数据和数据预处理之后，用训练好的换道意图预测模型在线实时预测，即可预测得到周车当前换道意图。综合考虑影响周围车辆换道的因素，利用Inception‑ResNet‑v2网络提取车辆视频的帧水平特征，并融合车辆状态和帧水平特征，提高BiLSTM网络预测的能力，进一步提高检测精度和效率，有效实现预测周围车辆的换道意图，对提高无人驾驶车辆的安全性能有很大的作用。

Description

一种基于BiLSTM周车换道意图预测方法

技术领域

本发明涉及智能车辆技术领域，尤其是涉及一种基于BiLSTM周车换道意图预测方法。

背景技术

在未来，无人驾驶车辆将长期在人机混驾交通环境下运行，即人工驾驶车辆与无人驾驶车辆在道路系统中混合运行的交通环境。但是由于实际道路交通环境的复杂性和驾驶员驾驶风格的多变性，使得无人驾驶车辆与周围车辆的交互问题成为当前的研究难点。据交管部门调查显示，车道换道事故占所有类型交通事故总数的30％左右。因此，研究车辆换道意图预测对于道路安全和提高无人驾驶车辆决策规划的能力有着重要的意义。

现有的方法主要是对自车换道意图进行预测且多数仅依靠车辆的历史状态信息。文献[1](Lu C,etc.Virtual-to-Real Knowledge Transfer for Driving BehaviorRecognition:Framework and a Case Study[J].IEEE Transactions on VehicularTechnology,2019,68(7):6391-6402.)提出了一种基于迁移学习的换道意图识别方法，其交互信息只考虑到自车与前车的纵向相对位置关系，文献[2](Ding W,etc.PredictingVehicle Behaviors Over An Extended Horizon Using Behavior InteractionNetwork，2019International Conference on Robotics and Automation(ICRA).2019,Montreal,Canada.)提出一种基于循环神经网络的换道意图预测的方法，该方法预测自车的换道意图，同时也考虑到与邻近车辆的多个交互信息，但是仅依靠车辆的历史状态信息来预测换道意图，目标特征检测简单且实用性不好。

发明内容

本发明的目的是针对现有技术中存在的上述问题，提供考虑车辆间的交互信息，有效地结合车辆状态和车辆视频特征信息，实现实时准确的换道意图预测方法，有效帮助自车理解周围车辆能力的一种基于BiLSTM周车换道意图预测方法。

本发明包括以下步骤：

1)换道意图预测模型的离线训练过程：首先通过大规模真实驾驶场景的采集和处理构建训练数据库；然后训练换道意图预测模型；

2)换道意图预测模型在线实时预测：在自车实时采集数据和数据预处理之后，用训练好的换道意图预测模型在线实时预测，即可预测得到周车当前换道意图。

在步骤1)中，所述通过大规模真实驾驶场景的采集和处理构建训练数据库，具体包括以下步骤：

(1)自车数据采集：利用摄像头、毫米波雷达、激光雷达和GPS等车载传感器采集车辆的数据；

(2)数据融合：将各传感器融合得到所需的数据，所需的数据包括但不限于周车的基本特征、周车与自车的相对位置和相对速度、车辆视频数据等；所需的数据选取规则如下：选取周车的横向位置、横向速度、横向加速度和方向角作为周车的基本特征；车辆间的交互作用是影响车辆的换道意图因素之一，所以需考虑周车与自车的相对位置和相对速度；选取车辆视频数据作为输入特征，自车采集后融合的车辆状态数据存在较大的噪声，采用对称指数移动平均滤波算法来平滑数据，车辆视频数据的同一帧图像中可能存在多辆车，所以分割图像ROI区域，并确定各周车状态数据所对应ROI区域；

(3)滑动窗口分割数据：为最大限度地利用有限的数据，采用50％重叠率的滑动窗口去分割数据，其中滑动窗口长度为网络的输入长度n，设每一序列的标签为该序列最后n时刻的标签，即可得到车辆状态序列和车辆视频序列所构成的数据库。

在步骤1)中，所述训练换道意图预测模型的具体步骤可为：

(1)视频的帧水平特征提取：采用微调的Inception-ResNet-v2网络来提取图像的特征，该网络由Stem模块、Inception-Resnet模块、Recduction模块、平均池化层、Dropout层和PCA层组成；由于经过Inception-ResNet-v2网络后的特征维度高达1792，采用PCA降维算法来提高网络的效率；

(2)数据拼接：将车辆状态序列和经过帧水平提取的车辆视频序列拼接，以便输入BiLSTM网络；

(3)BiLSTM网络：LSTM单元非常适合处理时序预测问题，而BiLSTM网络是在LSTM层的基础上添加另一后向LSTM层，可以进一步处理后向信息，提高网络的预测性能，所以采用BiLSTM网络来实现最终的换道意图预测；

(4)BiLSTM网络的输入：车辆状态序列和车辆视频序列的拼接；

(5)BiLSTM网络处理过程：BiLSTM网络使用前向forward LSTM正常顺序读取时序数据，并且利用后向backward LSTM沿着相反顺序读取时序数据；

(6)BiLSTM网络的输出：将前向和后向LSTM层的输出拼接，并输入到Softmax层，最后输出周车换道意图概率。

本发明与现有技术相比的优点在于：本发明换道意图预测系统及方法综合考虑影响周围车辆换道的因素，利用Inception-ResNet-v2网络提取车辆视频的帧水平特征，并融合车辆状态和帧水平特征，提高BiLSTM网络预测的能力，进一步提高检测精度和效率，有效地实现预测周围车辆的换道意图，对提高无人驾驶车辆的安全性能有很大的作用。

附图说明

图1为本发明换道意图预测方法流程图；

图2为本发明周车与自车相对状态示意图；

图3为本发明换道意图预测模型结构图；

图4为本发明微调Inception-ResNet-v2网络结构图；

图5为本发明LSTM单元结构图；

图6为本发明换道意图预测系统结构图。

具体实施方式

以下结合附图1～6，对本发明做进一步详细描述。

如图1所示，为本发明换道意图预测方法流程图，由换道意图预测模型的离线训练和在线实时预测两部分组成，包括以下步骤：

步骤1：换道意图预测模型的离线训练过程分为构建训练数据库和训练换道意图预测模型两部分，实施步骤如下：

步骤1.1：本发明的构建训练数据库是通过大规模真实驾驶场景的采集和处理。

步骤1.1.1：自车数据采集：一种典型的数据采集如图2所示，其中自车利用摄像头、毫米波雷达、激光雷达和GPS等车载传感器采集车辆的数据。在图2中，自车可采集周围6辆甚至更多车辆的行驶数据，而每辆车的换道意图分为左换道、本车道和右换道三种，图中Δx，Δy分别代表周车与自车的相对横向距离、相对纵向距离。

步骤1.1.2：数据融合：将各传感器融合得到所需的数据，所需的数据选取规则如下：

车辆状态数据选取周车的横向位置、横向速度、横向加速度和方向角作为周车的基本特征，而车辆间的交互作用是影响车辆的换道意图因素之一，同时考虑周车与自车的相对位置和相对速度。但是，仅考虑车辆状态序列是不够全面的，尤其是在交通密度较大时，而车辆视频数据包含一些比较直观的特征，所以同时选取车辆视频数据作为输入特征。自车采集后融合的车辆状态数据存在较大的噪声，采用对称指数移动平均滤波算法来平滑数据。车辆视频数据的同一帧图像中可能存在多辆车，所以分割图像ROI区域，并确定各周车状态数据所对应ROI区域。

步骤1.1.3：滑动窗口分割数据：为最大限度地利用有限的数据，采用50％重叠率的滑动窗口去分割数据，其中滑动窗口长度为网络的输入长度n，设每一序列的标签为该序列最后n时刻的标签，即可得到车辆状态序列和车辆视频序列所构成的数据库。

步骤1.2：训练换道意图预测模型：如图3所示，为换道意图预测模型的网络结构图，训练步骤如下：

步骤1.2.1：视频的帧水平特征提取：卷积神经网络CNN能有效提取图像中复杂的特征，在图像分类问题上有突出的表现，综合考虑网络的实时性和精确度，采用如图4所示的微调Inception-ResNet-v2网络来提取图像的特征。Inception-ResNet-v2网络结合ResNet与Inception网络不仅加速训练，而且还提升网络性能，微调后的Inception-ResNet-v2网络由Stem模块、Inception-Resnet模块、Recduction模块、平均池化层、Dropout层和PCA层组成；由于经过Inception-ResNet-v2网络后的特征维度高达1792，采用PCA降维算法来提高网络的效率。

步骤1.2.2：数据拼接：将车辆状态序列和经过帧水平提取的车辆视频序列拼接，以便输入BiLSTM网络。

步骤1.2.3：BiLSTM网络：LSTM单元适合处理时序预测问题，而BiLSTM网络是在LSTM层的基础上添加另一后向LSTM层,可以进一步处理后向信息，提高网络的预测性能，所以采用BiLSTM网络来实现最终的换道意图预测。如图5所示为本发明LSTM单元结构图，LSTM单元由输入门iⁿ、输出门oⁿ和遗忘门fⁿ组成，分别实现对信息的写、读和重置作用，为了更深入理解门的作用，显示如何通过上一时刻的输出h^n-1来计算当前时刻的输出hⁿ，其具体公式定义如下：

iⁿ＝sigmoid(Wⁱ[h^n-1,eⁿ]+bⁱ)

fⁿ＝sigmoid(W^f[h^n-1,eⁿ]+b^f)

gⁿ＝tanh(W^g[h^n-1,eⁿ]+b^g)

cⁿ＝fⁿc^n-1+iⁿgⁿ

oⁿ＝sigmoid(W^o[h^n-1,eⁿ]+b^o)

hⁿ＝oⁿtanh(cⁿ)

式中，eⁿ是时刻n的输入，W^k和b^k(k∈{i,f,g,o})分别为权重和偏置项，gⁿ是n时刻的候选单元状态，cⁿ和c^n-1分别为n时刻和n-1时刻的单元状态。

步骤1.2.4：BiLSTM网络的输入E：车辆状态序列E_s和车辆视频序列E_i的拼接(concat)，如下式：

式中，xⁿ为周车的横向位置，

为周车的横向速度，

为周车的加速度，θⁿ为周车的方向角，Δxⁿ,Δyⁿ,Δvⁿ分别代表周车与自车的相对横向距离、相对纵向距离和相对速度。

步骤1.2.5：BiLSTM网络处理过程：BiLSTM网络使用前向forward LSTM正常顺序读取时序数据，并且利用后向backward LSTM沿着相反顺序读取时序数据：

步骤1.2.6：BiLSTM网络的输出：将前向和后向LSTM层的输出

和

拼接(concat)，并输入到Softmax层，最后输出周车换道意图概率Y：

式中，P₁,P₂,P₃为车辆左换道、本车道和右换道的概率，W^p和b^p分别为权重和偏置项。

步骤2：换道意图预测模型在线实时预测：在自车实时采集数据、数据融合处理和数据预处理(滤波、分割ROI和滑动窗口分割)之后，用训练好的换道意图预测模型在线实时预测，即可预测周车当前换道意图。

如图6所示是本发明换道意图预测系统结构图，该系统包括数据采集模块、多传感器融合模块、数据预处理模块、特征预提取模块、数据拼接模块和换道意图预测模块，所述的数据采集模块为安装在汽车上的各感知设备，而所述的其他模块在工控机上实现功能，汽车各感知设备通过CAN总线与工控机连接，其中：

数据采集模块，用于采集自车和周车的行驶数据，具体通过摄像头、毫米波雷达、激光雷达和GPS等车载传感器采集数据；

多传感器融合模块，将各个传感器的信息融合得到所需的车辆状态和视频数据，具体通过算法融合各传感器数据；

数据预处理模块，用于得到合适的数据序列，具体包括状态数据的滤波、视频数据的ROI分割和滑动窗口分割数据，从而提取相关的状态序列和视频序列；

特征预提取模块，用于提取视频数据的帧水平特征，具体通过微调Inception-ResNet-v2网络来提取图像的特征；

数据拼接模块，将车辆状态序列和视频特征序列拼接以输入网络，从而可以根据数据的拼接进一步预测换道的意图；

换道意图预测模块，用于对行驶状态下的周车换道意图进行预测，具体通过BiLSTM网络输出周车的换道意图。

综上，本系统通过时间序列数据的采集，并经过各模块进行融合、预处理、特征预提取、拼接，最后输入BiLSTM网络就能够准确预测周车的换道意图，很好地帮助自车理解交通环境，为无人驾驶车辆的提供良好的决策基础，有效地提高车辆的安全性能。

以上内容是结合优选技术方案对本发明所做的进一步详细说明，不能认定发明的具体实施仅限于这些说明。对本发明所属技术领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以做出简单的推演及替换，都应当视为本发明的保护范围。

Claims (4)

1.一种基于BiLSTM周车换道意图预测方法，其特征在于包括以下步骤：

1)换道意图预测模型的离线训练过程：首先通过大规模真实驾驶场景的采集和处理构建训练数据库；然后训练换道意图预测模型；

2)换道意图预测模型在线实时预测：在自车实时采集数据和数据预处理之后，用训练好的换道意图预测模型在线实时预测，即可预测得到周车当前换道意图。

2.如权利要求1所述一种基于BiLSTM周车换道意图预测方法，其特征在于在步骤1)中，所述通过大规模真实驾驶场景的采集和处理构建训练数据库，具体包括以下步骤：

(1)自车数据采集：利用摄像头、毫米波雷达、激光雷达和GPS车载传感器采集车辆的数据；

(2)数据融合：将各传感器融合得到所需数据，所需数据包括但不限于周车的基本特征、周车与自车的相对位置和相对速度、车辆视频数据；

(3)滑动窗口分割数据：为最大限度地利用有限的数据，采用50％重叠率的滑动窗口去分割数据，其中滑动窗口长度为网络的输入长度n，设每一序列的标签为该序列最后n时刻的标签，即可得到车辆状态序列和车辆视频序列所构成的数据库。

3.如权利要求2所述一种基于BiLSTM周车换道意图预测方法，其特征在于在步骤(2)中，所述所需数据的选取规则如下：选取周车的横向位置、横向速度、横向加速度和方向角作为周车的基本特征；车辆间的交互作用是影响车辆的换道意图因素之一，需考虑周车与自车的相对位置和相对速度；选取车辆视频数据作为输入特征，自车采集后融合的车辆状态数据存在较大的噪声，采用对称指数移动平均滤波算法来平滑数据，车辆视频数据的同一帧图像中可能存在多辆车，分割图像ROI区域，并确定各周车状态数据所对应ROI区域。

4.如权利要求1所述一种基于BiLSTM周车换道意图预测方法，其特征在于在步骤1)中，所述训练换道意图预测模型的具体步骤为：

(1)视频的帧水平特征提取：采用微调的Inception-ResNet-v2网络来提取图像的特征，该网络由Stem模块、Inception-Resnet模块、Recduction模块、平均池化层、Dropout层和PCA层组成；由于经过Inception-ResNet-v2网络后的特征维度高达1792，采用PCA降维算法来提高网络的效率；

(2)数据拼接：将车辆状态序列和经过帧水平提取的车辆视频序列拼接，以便输入BiLSTM网络；

(3)BiLSTM网络：LSTM单元处理时序预测问题，而BiLSTM网络是在LSTM层的基础上添加另一后向LSTM层，进一步处理后向信息，提高网络的预测性能，所以采用BiLSTM网络来实现最终的换道意图预测；

(4)BiLSTM网络的输入：车辆状态序列和车辆视频序列的拼接；

(5)BiLSTM网络处理过程：BiLSTM网络使用前向forward LSTM正常顺序读取时序数据，并且利用后向backward LSTM沿着相反顺序读取时序数据；

(6)BiLSTM网络的输出：将前向和后向LSTM层的输出拼接，并输入到Softmax层，最后输出周车换道意图概率。

Images