CN111626198A - 自动驾驶场景下基于Body Pix的行人运动检测方法 - Google Patents

Abstract

本发明公开了一种自动驾驶场景下基于Body Pix的行人运动检测方法，包括步骤如下：获取车辆前方一帧图像作为当前帧图像；使用Body Pix对获取的图像进行处理；获取连续帧图像，并对连续帧图像进行处理分析；预测行人运动轨迹；预测行人意图。本发明采用长短期记忆网络关联时空上下文信息预测行人运动轨迹，从而对自动驾驶决策系统做出有效反馈。

Description

自动驾驶场景下基于Body Pix的行人运动检测方法

技术领域

本发明涉及一种自动驾驶场景下基于Body Pix的行人运动检测方法，属于自动驾驶技术领域。

背景技术

近年来，随着硬件性能的突破和理论研究的不断发展，学术界和工业界都积极投身前沿技术人工智能的研究。目前计算机视觉、自然语言处理、自动驾驶、智能机器人等领域成为了人工智能最热门的产业研究方向。自动驾驶是人工智能的核心任务，也是各企业和高校的重点研究领域，其研究成果不仅会推动我国经济的发展，而且极大的影响着我国的国际地位及综合实力。谷歌推出的使用TensorFlow.js的人体图像分割工具BodyPix主要技术更新有：对多人图像的支持、增加基于ResNet-50的模型、新的API、权重量化以及对不同尺寸图像的支持，这推进了该技术在自动驾驶领域的应用。

行人检测作为自动驾驶的核心任务，一直以来都受到社会各界的极力追捧。由于行人兼具刚性和柔性物体的特性，外观易受穿着、尺度、遮挡、姿态和视角等影响，使得行人检测成为计算机视觉领域中一个既具有研究价值同时又极具挑战性的热门课题。

现有行人检测技术中，由于卷积神经网络较为复杂，算法的整体计算量较大，使得模型运行速度过慢，进而导致该技术在嵌入式设备、移动端等硬件资源受限的平台上不能满足系统的实时性要求；还有部分算法采用更加精简的卷积神经网络进行检测，通过减少网络层数、降低卷积层通道数等方式简化网络，或通过压缩网络输入尺寸等措施降低算法计算量，并且配置性能更强的处理器芯片进行快速运算。此类方法在诸如移动端等平台的速度仅为6FPS左右，速度较慢，且过于简单的卷积神经网络虽然能够保证检测速度，但是以检测精度的显著降低为代价。可见，现有的检测算法在检测速度上存在较为严重的迟缓问题，而速度较慢带来的直接影响是不能及时对当前场景进行目标检测与分析，因而不能应用在诸如辅助驾驶等实时性要求较高的场景中。

综上所述，现有的行人检测技术存在无法同时满足实时性要求和达到高检测精度的问题。

本发明从计算机视觉的角度出发进行行人检测和行人行为预测，提出了一种自动驾驶检测和行为预测方法。

发明内容

为了克服现有技术中存在的不足，本发明提供一种自动驾驶场景下基于Body Pix的行人运动检测方法，以解决现有技术中现有的行人检测技术存在无法同时满足实时性要求和达到高检测精度的问题。

为实现上述目的，本发明采用的技术方案如下：

本发明的一种自动驾驶场景下基于Body Pix的行人运动检测方法，包括步骤如下：

1)获取车辆前方一帧图像作为当前帧图像；

2)使用Body Pix对获取的图像进行处理；

3)获取连续帧图像，并对连续帧图像进行处理分析；

4)预测行人运动轨迹；

5)预测行人意图。

进一步地，所述步骤2)具体包括：

21)通过深度神经网络学习图像像素特点，并将图像分割为人体和非人体像素；

22)将人体部分划分为24个部位。

进一步地，所述步骤3)具体包括：

31)根据图像像素信息判断行人相对于车辆的位置；

32)判断是否为行人，判定为行人后继续判断行人的属性；

33)根据连续帧获取到的同一行人不同位置来判断行人运动方向。

进一步地，所述步骤4)中的预测行人运动轨迹具体包括：采用基于生成对抗网络的行人轨迹预测模型预测行人轨迹，该模型包括生成器和鉴别器，生成器为长短时记忆网络编解码器，用于根据历史轨迹X_i生成未来轨迹

鉴别器为长短时记忆网络编码分类模型，用于鉴别训练集真实轨迹[X_i,Y_i]和生成器生成轨迹

进一步地，所述步骤5)中的预测行人意图具体包括：利用softmax函数来预测行人意图，其中softmax函数中应用的参数矩阵通过步骤4)获得(即长短时记忆网络编码器的全连接层参数

)；将行人运动趋势和行人行为组合为一个向量，与所述参数矩阵相乘得各类行人意图的概率，将最大概率对应的行人意图作为预测行人意图。

进一步地，所述方法还包括：6)将预测得到的行人运动轨迹和行人意图输出至车辆的预警系统或/及驾驶决策系统。

本发明的有益效果：

本发明采用长短期记忆网络关联时空上下文信息预测行人运动轨迹，从而对自动驾驶决策系统做出有效反馈。一方面，采用谷歌已经训练好的人体分割工具来检测行人，预测准确度高；另一方面，易于实现，成本较低且安全性高，具有很好的应用前景。

附图说明

图1为本发明方法的流程图。

图2为单目视觉距离几何模型示意图。

图3为行人轨迹预测模型示意图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

参照图1所示，本发明的一种自动驾驶场景下基于Body Pix的行人运动检测方法，包括步骤如下：

1)通过车辆上的前置摄像头获取车辆前方一帧图像作为当前帧图像；

2)使用Body Pix对获取的图像进行处理；

3)获取连续帧图像，并对连续帧图像进行处理分析；

4)预测行人运动轨迹；

5)预测行人意图；

6)将预测得到的行人运动轨迹和行人意图输出至车辆的预警系统或/及驾驶决策系统。

上述的步骤包含三个内容：一是行人检测，具体使用Body pix对获取到的图像进行处理，分析得出是否存在人体像素，以及对人体像素进行部位划分，确定行人位置以及行人属性(表现为行人站立或蹲下)；二是行人运动轨迹预测，采用LSTM方法；三是使用softmax函数建立模型，预测行人意图。

1、行人检测；

BodyPix的核心是执行人体分割的算法，对输入图像的每个像素执行二进制决策，以估计该像素是否属于某个人。图像通过MobileNet网络馈送，并且使用S型激活函数将输出转换为0到1之间的值。

为了估计人体身体部位的分割，BodyPix使用相同的MobileNet表示，通过预测额外的24个通道输出张量P来重复上述过程，其中，24是身体部位的数量。

输出张量P中有24个通道，因此需要在24个通道中找到最佳部分。在推断期间，对于输出身体部位张量P的每个像素位置(u，v)，body_part_id(Body Pix中可调用的一个API)使用以下公式选择属于第i个部位概率最高的像素：

whereI＝{0,1,...,23}

将产生一个二维图像，每个像素都包含一个整数，该整数表示该像素属于哪个身体部位；通过将值设置为-1，可以把不属于人体的部分剔除掉。由此，设置一个像素阈值，以便于判断行人是否为未成年人属性，若超过阈值，则判断为成年人；若未超过阈值，则判断为未成年人。

本发明根据摄像头的焦距以及在车载环境下的一些先验条件和事先确定的参数来对车辆前方行人的距离进行估测；在建立测距模型前对先验条件以及参数进行确定：

(1)假定车辆前方道路是平坦的，即车辆前方视野内的道路在同一平面上。

(2)车载摄像头水平放置安装，即在假定(1)成立的基础上保证了摄像头的光轴与车辆前方道路保持平行，假定摄像头的安装高度为H，该安装高度可以通过事先测量确定。

(3)摄像头的焦距f和摄像头靶面单位像素的尺寸规格μ_x、μ_y可以通过查阅摄像头的规格参数预先确定。

基于以上先验条件和参数建立如图2所示的单目视觉距离几何模型。图中所示的点P表示车辆前方行人的脚与地面的接触点，H表示摄像头的安装高度，(x₀,y₀)为光轴与像平面的焦点即图像的中心位置，(x,y)表示车辆前方行人的脚与地面的接触点在像平面上的位置。根据小孔成像原理即可得到位于P点的行人与车辆正前方的纵向距离：

通过对图像平面坐标系与帧存坐标系的转换，求得车辆前方行人横向距离X与纵向距离Z：

此时获取的数据即下述预测行人运动轨迹时所需的行人过去状态。

2、预测行人运动轨迹；

自动驾驶场景下行人轨迹预测问题表述为，由上述获取到的自动驾驶场景下N个行人的过去状态，估计其未来状态。行人的过去状态为：

其中，

为行人i在t时刻的坐标，t₀为过去轨迹长度；行人的未来状态为

t_p为未来轨迹长度。学习一个模型f，使其可以通过X_i预测未来轨迹

基于生成对抗网络的行人轨迹预测模型，加入社会特征更好地建模人群交互。模型构造从以下两个方面考虑：a)使用生成对抗网络结构生成未来轨迹；b)生成器长短时记忆网络编码器学习行人间相互影响的权重。模型构造如图3所示，分为两个部分：生成器和鉴别器，生成器为长短时记忆网络编解码器，用于根据历史轨迹X_i生成未来轨迹

鉴别器为长短时记忆网络编码分类模型，用于鉴别训练集真实轨迹[X_i,Y_i]和生成器生成轨迹

序列到序列的学习通常采用循环神经网络编码器-解码器结构。本发明采用长短时记忆网络来实现编码器-解码器结构，将循环神经网络的循环结构替换成长短期记忆单元，从而学习到序列中较远距离的逻辑关系。生成器使用长短时记忆网络编码器学习历史轨迹的向量来编码历史轨迹，并解码该向量得到预测的未来轨迹。

生成器使用长短时记忆网络编码器学习历史轨迹的向量[X_i,Y_i]来编码历史轨迹，并解码该向量得到预测的未来轨迹。

具体计算公式如下：

编码器：

其中，t＝1,...,t₀，

为行人i在t时刻的位置，μ为一个全连接层，用于将二维坐标转化为特征向量，

为该全连接层参数。长短时记忆网络层L将每个时刻的特征向量进行编码，直到t＝t₀时刻结束，得到序列向量

W_e为该长短时记忆网络层的参数。

解码器：

以上两个公式为初始化解码器隐藏层状态，t＝t₀，φ为一个多层感知器，

为该多层感知器参数；将结果与噪声z相连得到解码器长短时记忆网络初始隐藏状态

以上两个公式为解码器长短时记忆网络公式；μ为一个全连接层，用于将上一时刻的二维坐标

转化为特征向量，

为该全连接层参数。长短时记忆网络层L对每个时刻进行编码，每个时刻的隐藏状态

通过多层感知器γ即可得到t时刻的预测坐标

W_d为长短时记忆网络解码器参数，W_γ为多层感知器γ参数。

鉴别器的目的为判断输入序列是来自数据库的真实数据还是来自生成器的生成数据。鉴别器采用长短时记忆网络结构对序列进行编码，再使用多层感知器对序列编码进行分类，具体计算公式如下：

其中，t＝1,...,t₀,...,t₀+t_p，T_i表示真假轨迹的并集，δ为一个全连接层，用于将二维坐标转化为特征向量，W_δ为该全连接层参数。长短时记忆网络层L将每个时刻的特征向量进行编码，直到t＝t₀+t_p时刻结束，得到序列编码向量

W_di为该长短时记忆网络层的参数；ρ为多层感知器，W_ρ为该多层感知器参数，得到对该轨迹的打分s_i。

损失函数包含两部分：对抗损失L_GAN与L2损失L_L2；

L＝L_GAN(G,D)+λL_L2(G)

L_L2(G)＝min_k||Y_i-G(X_i,z)^(k)||₂

其中，λ为超参数，用于平衡生成对抗损失和L₂损失；k为超参数,表示对生成器生成结果的采样次数。L_GAN实际上是一个交叉熵，鉴别器的目的是尽可能的令D(T_i)接近1,令D(G(X_i,z))接近0,所以鉴别器要最大化L_GAN,而生成器恰恰相反，要最小化L_GAN。L_L2用于计算生成值与真实值的差异。对于每个场景，从生成器中采样k个轨迹，选择L_l2最小的轨迹作为预测的

由于鉴别器损失回传时只采用最佳预测，该L_L2损失可以鼓励网络尽可能多的生成符合规范的多样性轨迹，最后形成符合历史轨迹的输出空间。这样可以避免生成器产生相似的平均预测，并且得到多种可能结果。

生成对抗网络的训练过程为生成器与鉴别器交替对抗训练。先训练鉴别器p次，再固定鉴别器，训练生成器q次，循环交替训练直到鉴别器不能分辨样本来源，生成器学习到了正确的轨迹分布。

3、预测行人意图；

按照行人与车辆之间的相对动态来划分行人意图，例如：行人直行属于与车辆的运动方向并行，行人横穿道路属于与车辆的运动方向有交叉，站立是指行人在原地站立保持不动。

具体可以利用softmax函数来预测行人意图，其中softmax函数中应用的参数矩阵可以预先通过训练行人运动趋势和行人行为获得，当运用时，可以将行人运动趋势和行人行为组合为一个向量，与所述参数矩阵相乘得各类行人意图的概率，将最大概率对应的行人意图作为预测行人意图。可以理解的是，三类行人意图的概率之和为1。例如横穿道路所占概率为0.85，而站立为0.12，直行为0.03，则预测行人意图为横穿道路。

尽管以上本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下，在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (6)

1.一种自动驾驶场景下基于Body Pix的行人运动检测方法，其特征在于，包括步骤如下：

1)获取车辆前方一帧图像作为当前帧图像；

2)使用Body Pix对获取的图像进行处理；

3)获取连续帧图像，并对连续帧图像进行处理分析；

4)预测行人运动轨迹；

5)预测行人意图。

2.根据权利要求1所述的自动驾驶场景下基于Body Pix的行人运动检测方法，其特征在于，所述步骤2)具体包括：

21)通过深度神经网络学习图像像素特点，并将图像分割为人体和非人体像素；

22)将人体部分划分为24个部位。

3.根据权利要求1所述的自动驾驶场景下基于Body Pix的行人运动检测方法，其特征在于，所述步骤3)具体包括：

31)根据图像像素信息判断行人相对于车辆的位置；

32)判断是否为行人，若判定为行人后继续判断行人的属性；

33)根据连续帧获取到的同一行人不同位置来判断行人运动方向。

4.根据权利要求1所述的自动驾驶场景下基于Body Pix的行人运动检测方法，其特征在于，所述步骤4)中的预测行人运动轨迹具体包括：采用基于生成对抗网络的行人轨迹预测模型预测行人轨迹，该模型包括生成器和鉴别器，生成器为长短时记忆网络编解码器，用于根据历史轨迹X_i生成未来轨迹

鉴别器为长短时记忆网络编码分类模型，用于鉴别训练集真实轨迹[X_i,Y_i]和生成器生成轨迹

5.根据权利要求1所述的自动驾驶场景下基于Body Pix的行人运动检测方法，其特征在于，所述步骤5)中的预测行人意图具体包括：利用softmax函数来预测行人意图，其中softmax函数中应用的参数矩阵通过步骤4)获得；将行人运动趋势和行人行为组合为一个向量，与所述参数矩阵相乘得各类行人意图的概率，将最大概率对应的行人意图作为预测行人意图。

6.根据权利要求1所述的自动驾驶场景下基于Body Pix的行人运动检测方法，其特征在于，所述方法还包括：

6)将预测得到的行人运动轨迹和行人意图输出至车辆的预警系统或/及驾驶决策系统。

Images