CN113361491A - 一种无人驾驶汽车对行人的过街意图预测方法 - Google Patents

Abstract

一种无人驾驶汽车对行人的过街意图预测方法，涉及无人驾驶汽车技术领域。步骤1：行人检测模型以Faster RCNN为基础，并在此基础上采用SE Net结构改进神经网络卷积模块，并通过K‑means聚类设计具有道路行人检测针对性的锚框宽高比；步骤2：设计对道路行人跟踪的粒子滤波算法，利用多特征融合策略实现对道路行人进行跟踪；步骤3：设计基于神经网络的行人过街意图预测模型。可增强无人驾驶汽车对道路行人动作的预测能力，提高无人驾驶汽车感知与决策性能。

Description

一种无人驾驶汽车对行人的过街意图预测方法

技术领域

本发明涉及无人驾驶汽车技术领域，尤其是涉及一种无人驾驶汽车对行人的过街意图预测方法。

背景技术

无人驾驶汽车利用车载传感器来感知车辆周围环境及自身状态信息，并根据感知所获得的障碍物信息、车辆位置信息及道路信息，控制车辆的转向和速度，从而使车辆能够节能、安全地在道路上行驶。近几年世界众多企业及科研院所研制的无人驾驶汽车在道路上进行测试，体现出无人驾驶技术蓬勃发展的趋势。

环境感知作为无人驾驶技术的核心，为无人驾驶汽车决策提供周边环境信息，是实现规划和决策的必要条件。文献1(朱楠楠,李汪根,李童，“基于微型YOLO的行人检测，”计算机应用研究，vol.37,no.s1,pp.398-399,2021.)提出增加一个尺度融合的YOLOv3-tiny2、增加主干网络深度的YOLOv3-tiny3、前两者结合的YOLOv3-tiny23三种不同的网络结构,极大地提高行人检测的准确率。文献2(Wei Ran,Xu Hongda,Yang Mingkun,etal,“Real-Time Pedestrian Tracking Terminal Based on Adaptive Zero VelocityUpdate,”Sensors,vol.21,no.11,pp.3808-3808,2018.)提出一种基于卷积神经网络的自适应零速度更新方法对行人进行跟踪，并验证该算法的鲁棒性。然而，交通场景中的行人作为最容易受到伤害的群体，其过街意图受其运动状态所影响，通过环境感知对道路行人分析研究可以预测其过街意图，避免不必要的交通事故发生。

发明内容

本发明的目的在于解决现有技术中存在的上述问题，提供可增强无人驾驶汽车对道路行人动作的预测能力，提高无人驾驶汽车感知与决策性能的一种无人驾驶汽车对行人的过街意图预测方法。

本发明由三部分组成，分别是使用Faster RCNN对道路行人进行检测，并对神经网络结构进行改进测试，然后是利用多特征融合的粒子滤波算法对视频行人进行跟踪，最后是通过Conv-BiLSTM神经网络模型，获取影响行人过街意图的概率。

本发明包括以下步骤：

步骤1：行人检测模型以Faster RCNN为基础，并在此基础上采用SE Net结构改进神经网络卷积模块，并通过K-means聚类设计具有道路行人检测针对性的锚框宽高比；

步骤2：设计对道路行人跟踪的粒子滤波算法，利用多特征融合策略实现对道路行人进行跟踪；

步骤3：设计基于(Convolutional Bidirectional Long Short-term Memory,Conv-BiLSTM)神经网络的行人过街意图预测模型。

在步骤1中，所述设计具有道路行人检测针对性的锚框宽高比进一步包括以下子步骤：

(1)获取实验过程中所需的数据集，并使用LabelImg对其进行标注分类。

(2)使用SE Net优化行人检测VGG 16卷积神经网络模型的特征提取网络。

(3)采用K-Means聚类法优化具有检测道路行人的针对性的卷积神经网络FasterRCNN的锚框宽高比。

在步骤2中，所述设计对道路行人跟踪的粒子滤波算法，利用多特征融合策略实现对道路行人进行跟踪进一步包括以下子步骤：

(1)设计无人驾驶汽车对道路行人跟踪的粒子滤波算法。

(2)选择色相、饱和度和明度(Hue,Saturation,and Value,HSV)颜色空间的直方图特征。

(3)选取一个形状为正方形的像素网格，再寻找其中心点周围的像素样本点，并且对比两点的像素值大小，将每次的比较结果转化为一个二进制数，最后以此数值来计算纹理直方图。

(4)在计算梯度直方图之前首先要对各颜色通道进行归一化处理，之后用卷积核[-1 0 1]来计算图像梯度。

(5)对于上述提到的三种特征，在算法实际运行过程中不仅需要对特征直方图进行计算，还需要考量这三种特征对粒子滤波实际的贡献值，从而进一步来分配它们的权重。

(6)将连续10帧的动态权重的均值作为实际分配权重。

(7)建立以颜色特征为主，采用形状特征和纹理特征辅助的多特征融合策略。

在步骤3中，所述设计基于神经网络的行人过街意图预测模型进一步包括以下子步骤：

(1)选取行人是否有同行者、行人头部是否有偏转、行人距离车辆的距离、行人距离道路边缘的距离、行人的速度作为模型输入参数，模型输出参数为过街意图概率。

(2)设计由时间序列输入层、过街意图预测层和意图概率输出层三部分组成的Conv-BiLSTM神经网络结构，各层间Dropout率为0.75，每层隐藏单元个数为32，学习率为0.0007。

(3)利用堆叠Conv-BiLSTM结构预测分类的结果，并通过softmax层将分类结果转变为概率分布，最后输出行人过街意图的概率，以最大的类别输出概率作为预测的类别。

本发明首先提出一种基于Faster RCNN深度学习的道路行人检测方法，然后采用粒子滤波算法实现对道路行人的跟踪，在此研究基础上，通过(ConvolutionalBidirectional Long Short-term Memory,Conv-BiLSTM)神经网络模型预测行人过街意图，并通过softmax层将分类结果转变为概率分布，最后输出行人过街意图的概率。可增强无人驾驶汽车对道路行人动作的预测能力，提高无人驾驶汽车感知与决策性能。

附图说明

图1为本发明的无人驾驶汽车对行人过街意图预测方法流程图。

图2为本发明粒子滤波算法流程图。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

无人驾驶汽车对行人过街意图预测方法流程图如图1所示，具体步骤如下：

步骤1：行人检测模型以Faster RCNN为基础，并在此基础上采用SE Net结构改进神经网络卷积模块，并通过K-means聚类设计具有道路行人检测针对性的锚框宽高比。实施步骤如下：

步骤1.1：获取实验过程中所需的数据集，并使用LabelImg对其进行标注分类。

步骤1.2：使用SE Net优化行人检测VGG 16卷积神经网络模型的特征提取网络，具体如下：

步骤1.2.1：采用迁移学习来避免因数据量较少导致的过拟合现象的发生，使用VGG16对网络进行参数的初始化处理。

步骤1.2.2：网络参数设置，学习率设置为0.001，学习率的变化率设置为0.1，动量参数设置为0.8，权值衰减率设置为0.0005。

步骤1.2.3：在VGG16的每一层最大池化层之前嵌入一个SE块，使其可以对进入池化层之前的卷积特征层进行处理。

步骤1.3：采用K-Means聚类法优化具有检测道路行人的针对性的卷积神经网络Faster RCNN的锚框宽高比。

步骤1.3.1：将行人锚框真实的宽高比记为样本M，通过聚类分析找到每一个样本m所属的类别n，最后将属于同类别n的样本m归类到一起并统计数量。

步骤1.3.2：经过聚类分析，可以得到道路行人的宽高比为w≈0.42h，将已经对区域候选网络进行改进的Faster R-CNN算法中区域建议网络的锚框的宽高比统一设置为0.42：1，调整之后的每个位置只有3个Anchor，对应的分类层输出6个节点，回归层输出12个节点。

步骤2：如图2所示，设计对道路行人跟踪的粒子滤波算法，利用多特征融合策略实现对道路行人进行跟踪。

步骤2.1：设计对道路行人跟踪的粒子滤波算法，具体步骤如下：

步骤2.1.1：对于视频帧的输入，首先采用前文中所提出的改进后的Faster R-CNN检测算法来检测视频帧中出现的行人。

步骤2.1.2：对于检测算法检测出来的行人算法会将其分为两种类型。其一是已经建立跟踪轨迹的行人，对于这种类型的行人，算法会对该行人检测时刻对应的上一时刻的粒子运动模型中抽样得到当前时刻的粒子；对于新出现的尚未建立轨迹的行人，算法会从该区域提取参考模板特征直方图，并且对其粒子进行初始化。

步骤2.1.3：每个粒子的观测模型融合包括颜色特征，局部二元模式(LocalBinary Pattern,LBP)纹理直方图，梯度直方图在内的三种互补性特征。算法在这一步会对每个粒子所表示的图像区域分别建立特征直方图。

步骤2.1.4：当粒子对应的3种类型的特征直方图生成后，算法会在这一步比较三种直方图特征和参考的模板特征直方图之间的距离。

步骤2.1.5：在粒子权重得以计算前，会先通过粒子各特征距离的指数函数计算得到似然概率，且三种特征距离各自的最小值作为基础参数可以计算得到动态权重。

步骤2.1.6：进行归一化处理，得到粒子权重，而单个行人所有粒子的加权平均值就可以表示当前检测时刻其状态向量，最后输出跟踪结果。

步骤2.1.7：粒子的权重会随着时间的变化而变化，为保证跟踪的效果，算法会重新抽样以保证可以获得权重相等的新的粒子。至此，算法完整的一次流程结束，开始对下一次输入进行处理。

步骤2.2：建立以颜色特征为主，采用形状特征和纹理特征辅助的多特征融合策略。

步骤2.2.1：，实验中选择色相、饱和度和明度(Hue,Saturation,and Value,HSV)颜色空间的直方图特征。

步骤2.2.2：选取一个形状为正方形的像素网格，再寻找其中心点周围的像素样本点，并且对比两点的像素值大小，将每次的比较结果转化为一个二进制数，最后以此数值来计算纹理直方图。

步骤2.2.3：在计算梯度直方图之前首先要对各颜色通道进行归一化处理，之后用卷积核[-1 0 1]来计算图像梯度。

步骤2.2.4：对于上述提到的三种特征，在算法实际运行过程中不仅需要对特征直方图进行计算，还需要考量这三种特征对粒子滤波实际的贡献值，从而进一步来分配它们的权重。

步骤2.2.5：将连续10帧的动态权重的均值作为实际分配权重。

步骤3：设计基于(Convolutional Bidirectional Long Short-term Memory,Conv-BiLSTM)神经网络的行人过街意图预测模型。

步骤3.1：选取行人是否有同行者、行人头部是否有偏转、行人距离车辆的距离、行人距离道路边缘的距离、行人的速度作为模型输入参数，模型输出参数为过街意图概率。

步骤3.2：设计由时间序列输入层、过街意图预测层和意图概率输出层三部分组成的Conv-BiLSTM神经网络结构，各层间Dropout率为0.75，每层隐藏单元个数为32，学习率为0.0007。

步骤3.3：利用堆叠Conv-BiLSTM结构预测分类的结果，并通过softmax层将分类结果转变为概率分布，最后输出行人过街意图的概率，以最大的类别输出概率作为预测的类别。

以上内容是结合优选技术方案对本发明所做的进一步详细说明，不能认定发明的具体实施仅限于这些说明。对本发明所属技术领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以做出简单的推演及替换，都应当视为本发明的保护范围。

Claims (4)

1.一种无人驾驶汽车对行人的过街意图预测方法，其特征在于包括以下步骤：

步骤1：行人检测模型以Faster RCNN为基础，并在此基础上采用SE Net结构改进神经网络卷积模块，并通过K-means聚类设计具有道路行人检测针对性的锚框宽高比；

步骤2：设计对道路行人跟踪的粒子滤波算法，利用多特征融合策略实现对道路行人进行跟踪；

步骤3：设计基于神经网络的行人过街意图预测模型。

2.如权利要求1所述一种无人驾驶汽车对行人的过街意图预测方法，其特征在于在步骤1中，所述设计具有道路行人检测针对性的锚框宽高比进一步包括以下子步骤：

(1)获取实验过程中所需的数据集，并使用LabelImg对其进行标注分类；

(2)使用SE Net优化行人检测VGG 16卷积神经网络模型的特征提取网络；

(3)采用K-Means聚类法优化具有检测道路行人的针对性的卷积神经网络Faster RCNN的锚框宽高比。

3.如权利要求1所述一种无人驾驶汽车对行人的过街意图预测方法，其特征在于在步骤2中，所述设计对道路行人跟踪的粒子滤波算法，利用多特征融合策略实现对道路行人进行跟踪进一步包括以下子步骤：

(1)设计无人驾驶汽车对道路行人跟踪的粒子滤波算法；

(2)选择色相、饱和度和明度颜色空间的直方图特征；

(3)选取一个形状为正方形的像素网格，再寻找其中心点周围的像素样本点，并且对比两点的像素值大小，将每次的比较结果转化为一个二进制数，最后以此数值来计算纹理直方图；

(4)在计算梯度直方图之前首先要对各颜色通道进行归一化处理，之后用卷积核[-1 01]来计算图像梯度；

(5)对于上述提到的三种特征，在算法实际运行过程中不仅需要对特征直方图进行计算，还需要考量这三种特征对粒子滤波实际的贡献值，从而进一步来分配它们的权重；

(6)将连续10帧的动态权重的均值作为实际分配权重；

(7)建立以颜色特征为主，采用形状特征和纹理特征辅助的多特征融合策略。

4.如权利要求1所述一种无人驾驶汽车对行人的过街意图预测方法，其特征在于在步骤3中，所述设计基于神经网络的行人过街意图预测模型进一步包括以下子步骤：

(1)选取行人是否有同行者、行人头部是否有偏转、行人距离车辆的距离、行人距离道路边缘的距离、行人的速度作为模型输入参数，模型输出参数为过街意图概率；

(2)设计由时间序列输入层、过街意图预测层和意图概率输出层三部分组成的Conv-BiLSTM神经网络结构，各层间Dropout率为0.75，每层隐藏单元个数为32，学习率为0.0007；

(3)利用堆叠Conv-BiLSTM结构预测分类的结果，并通过softmax层将分类结果转变为概率分布，最后输出行人过街意图的概率，以最大的类别输出概率作为预测的类别。

Images