CN109635793A - 一种基于卷积神经网络的无人驾驶行人轨迹预测方法 - Google Patents

一种基于卷积神经网络的无人驾驶行人轨迹预测方法 Download PDF

Info

Publication number
CN109635793A
CN109635793A CN201910097865.7A CN201910097865A CN109635793A CN 109635793 A CN109635793 A CN 109635793A CN 201910097865 A CN201910097865 A CN 201910097865A CN 109635793 A CN109635793 A CN 109635793A
Authority
CN
China
Prior art keywords
pedestrian
frame
sequence
neural networks
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910097865.7A
Other languages
English (en)
Inventor
王传栋
王娜
季木
季一木
刘尚东
吴飞
孙静
焦志鹏
毕强
陈治宇
田鹏浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910097865.7A priority Critical patent/CN109635793A/zh
Publication of CN109635793A publication Critical patent/CN109635793A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于卷积神经网络的无人驾驶行人轨迹预测方法，包括处理样本数据、获取输入信息序列、构建并优化网络、测试及评估最优模型。将无人驾驶车辆上的视觉传感器采集到的实时视频，分割成以帧为单位的图像作为样本数据，将样本数据中即将通过斑马线的目标人群划分成三类，从样本中获取行人位置‑比例信息序列、行人骨架信息序列、视觉传感器自身运动序列，再将信息序列输入卷积神经网络进行训练，得到初步的预测模型，经过测试和评估，最终输出预测轨迹和动作类别。本发明采用卷积神经网络进行无人驾驶行人轨迹预测，可以有效降低无人驾驶车辆在道路行驶过程中碰撞行人发生的概率。

Description

一种基于卷积神经网络的无人驾驶行人轨迹预测方法
技术领域
本发明涉及一种基于卷积神经网络的无人驾驶行人轨迹预测方法，属于计算机图形处理技术和人工智能技术。
背景技术
随着人工智能产业的兴起，无人驾驶领域也在不断发展，其中行人检测得到广泛关注，近年来国内外学者对行人预测也展开了研究，但在无人驾驶系统中研究较少。行人预测是通过目标已有的运动轨迹对其未来固定时刻的位置坐标进行预测。
现有的行人轨迹预测方法有Correlation Filter(CF)相关滤波器模型，Convolutional Neural Networks(CNN)卷积神经网络方法和Social Long Short-TermMemory社会长短期记忆网络模型等。CF模型通过设计滤波模板，使得模板和输入图片作相关时，能在目标中心位置得到最大响应值；Social LSTM模型输入为轨迹坐标序列；CNN方法应用了神经网络来进行轨迹预测，输入仅为图像，可学习的信息有限。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种基于卷积神经网络的无人驾驶行人轨迹预测方法，在前方无交通信号灯的情况下，针对行人通过斑马线时可能出现以下三种情况：1)在等待区域停止，2)在无人驾驶车辆前方通过斑马线，3)穿过无人驾驶车辆中视觉传感器测量范围，对CNN网络的输入引入了图像中可获得的行人位置-比例信息序列、图像中行人骨架序列、无人驾驶车辆的视觉传感器自身运动序列，对四种特征序列共同学习，使其更适应行人的结构特征，能够让无人驾驶系统根据已有的运动轨迹，预测未来一段时间中行人相对位置，以及通过斑马线时动作类别，采取相应的行驶方案，保证无人驾驶车辆可及时做出判断，防止碰撞行人，保证无人驾驶系统的安全性。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于卷积神经网络的无人驾驶行人轨迹预测方法，包括处理样本数据、获取输入信息序列、构建并优化网络、测试及评估最优模型。将无人驾驶车辆上的视觉传感器采集到的实时视频，分割成以帧为单位的图像作为样本数据，将样本数据中即将通过斑马线的目标人群划分成：1)在等待区域停止，2)在无人驾驶车辆前方通过斑马线，3)穿过无人驾驶车辆中视觉传感器测量范围的三类，从样本中获取行人位置-比例信息序列、行人骨架信息序列、视觉传感器自身运动序列，再将信息序列输入卷积神经网络进行训练，得到初步的预测模型，经过测试和评估，最终输出预测轨迹和动作类别。
一种基于卷积神经网络的无人驾驶行人轨迹预测方法，包括如下步骤：
步骤1：将样本分为通过斑马线时三种动作：1)在等待区域停止Stop，2)在无人驾驶车辆前方通过斑马线Across，3)穿过无人驾驶车辆中视觉传感器测量范围Away的三类作为训练和测试样本。
步骤2：根据无人驾驶车辆中视觉传感器拍摄的实时图像，检测图像中的行人，以获取行人位置序列lt及行人比例序列st，来扩展目标行人的每个位置，以Xin作为“位置-比例”输入流。获取行人骨架序列pt，以Pin作为“姿态”输入流。获取视觉传感器自身运动序列et，以Ein作为“自身运动”输入流。
步骤3：将Xin、Pin、Ein输入流输入到卷积神经网络训练，达到最优模型。
步骤4：使用三类测试样本对最优模型进行测试，构建预测轨迹，输出时间t0后Tfuture帧的行人相对位置Xout，以及通过斑马线时的动作类别。
优选的，该方法的具体执行过程如下：
(1)处理样本数据
将无人驾驶车辆上的视觉传感器采集到的实时视频，分割成以帧为单位的图像作为样本数据，样本数据中即将通过斑马线的目标人群划分成1)在等待区域停止Stop，2)在无人驾驶车辆前方通过斑马线Across，3)穿过无人驾驶车辆中视觉传感器测量范围Away三类。当左髋关节的x坐标等于右髋关节的x坐标时，将剪辑的每一帧标记为Stop。当左髋关节的x坐标大于右髋关节的x坐标时，将剪辑的每一帧标记为Across或Away，当标记为Across的帧数超过剪辑中总帧数的75％，则将其分类为Across。如果小于25％，则分类为Away。
(2)获取输入信息序列
①基于t0前Tprev帧已有的运动轨迹，获取行人位置序列lt和行人比例序列st：
获取样本数据中行人位置序列lt和行人比例序列st。形式上，第t帧，为行人的2D位置，目标的历史位置序列为通过添加行人的比例信息即xt＝(lt T,st)T来扩展目标人物的每个位置，以作为“位置-比例”输入流。
②获取行人骨架信息序列pt：
通过OpenPose获得行人的骨架信息，用于追踪目标人物的几个身体部位的时间变化，包括眼睛，肩膀和臀部，作为目标姿势的特征。得到行人骨架序列pt，以作为行人轨迹预测网络的“姿态”输入流，是V体部分的2V维向量堆叠位置(V＝18)，pt为36维特征。
③获取自身运动序列et：
为了改善以第一人称捕捉的图像进行行人预测的表现，卷积神经网络需要学习视觉传感器的自我运动序列。具体来说，首先估计连续帧之间的速度和旋转角度，每个帧由3D矢量描述：对于旋转(即，偏航，滚动，俯仰)和对于帧t的速度(即相机坐标中x轴，y轴，和z轴)对于输入区间[t0-Tprev,t0]，将其累加以描述自我运动模式，如下所示：
r′t表示t0前Tprev帧旋转rt的和，v′t表示输入区间[t0-Tprev,t0]某一帧的速度，Rt是直接从r′t计算的旋转矩阵。
将上述的r′t和v′t叠加在一起形成一个6-D向量序列，作为自身运动序列卷积神经网络的“自身运动”输入流为
(3)构建预测模型并优化网络
网络由三个输入流和一个输出流组成，三个输入流分别是“位置-比例”输入流Xin，“姿态”输入流Pin，“自身运动”输入流Ein，输入具有不同的尺度D，“位置-比例”输入流D＝3，“姿态”输入流D＝36，“自身运动”输入流D＝6。每个输入流向不同数量的信道，四个级联1D时间卷积层馈送D×10维输入(其中D根据不同输入流的尺度D而改变)，每一个1D卷积层(1D-Conv)后是批归一化(BN)和激活函数(ReLU)。经过四个1D-Conv+BN+ReLU得到的128×2维特征被连接并馈送到输出网络，该输出网络包括2个1D-Conv+BN+ReLU，4个1D反卷积层(1D-Deconv)+BN+ReLU，以及1D-Conv+激活函数Linear，输出预测的当前时间t0后Tfuture帧的行人位置输出流
训练样本以元组(Xin,Ein,Pin,Xout)的形式给出，Xin，Ein，Pin定义在时间间隔[t0-Tprev,t0]中，Xout是定义在时间间隔[t0+1,...,t0+Tfuture]的ground-truth。训练时将10fps设置为Tprev＝Tfuture＝10，即观察和预测的时间窗口为1秒。为了优化训练网络，首先将Xin和Xout标准化为均值＝0和方差＝1。预测Xout的损失函数由均方误差(MSE)定义。通过Adam优化网络进行17,000次迭代，学习率最初设置为0.001，并且在5,000,10,000,15,000次迭代时减半。
(4)测试及评估最优模型
测试样本也以(Xin,Ein,Pin,Xout)的形式给出，但Xout作为ground-truth在测试期间无法访问。将处理过的样本数据随机分成五个子集来采用五重交叉验证，以确保测试集中的样本来自不同的视频。将测试集输入网络得到预测的行人位置序列lout，采用最终位移误差(FDE)作评估指标。具体地，FDE由预测的最终位置与相应的地面实况位置之间的L2距离定义，定义如下：
最后无人驾驶系统预测行人即将通过斑马线会做出的动作类别，以及通过斑马线时的运动轨迹。在前方无交通信号灯的情况下，当车辆判断动作为Stop时，可减速通过。当车辆判断动作为Across时，保持与行人之间的安全距离，及时停车。当车辆判断动作为Away时，且保持与行人之间的安全距离，可减速通过。
本发明相比现有技术，具有以下有益效果：
1、在无人驾驶领域，目前大多数研究了行人检测，对于行人预测的方法研究较少。
2、针对行人通过斑马线时可能出现以下三种情况：1)在等待区域停止，2)在无人驾驶车辆前方通过斑马线，3)穿过无人驾驶车辆中视觉传感器测量范围，对采集的样本数据进行分类来训练网络，使无人驾驶车辆可预测行人运动轨迹，以及即将通过斑马线会做出的动作类别，车辆可及时针对不同动作类别及与行人之间的距离，采取相应的处理措施。
3、对于乘客来说最重要的是无人驾驶的整体可靠性与安全性，基于卷积神经网络的无人驾驶行人轨迹预测方法可以有效避免碰撞斑马线上的行人，减少因车辆无法正确预判行人轨迹而产生的交通事故，所以行人轨迹预测技术的研究具有现实的重要性。
附图说明
图1为行人已有的运动轨迹及未来相对位置图；
图2为行人轨迹预测网络结构图；
图3为基于卷积神经网络的无人驾驶行人轨迹预测方法流程图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于卷积神经网络的无人驾驶行人轨迹预测方法，如图1-3所示，无人驾驶汽车在行驶过程中，前方无交通信号灯的情况下，预测行人即将通过斑马线的动作及未来一段时间的运动轨迹，采取相应的行驶方案，从而避免无人驾驶汽车碰撞行人，发生交通安全事故。该行人轨迹预测方法包括：包括处理样本数据、获取输入信息序列、构建并优化网络、测试及评估最优模型。首先根据无人驾驶车辆视觉传感器收集的实时图像数据，将样本分为：1)在等待区域停止Stop，2)在无人驾驶车辆前方通过斑马线Across，3)穿过无人驾驶车辆中视觉传感器测量范围Away的三类，从样本中获取行人位置-比例信息序列、行人骨架信息序列、视觉传感器自身运动序列，再将信息序列输入卷积神经网络进行训练，得到初步的预测模型，经过测试和评估，最终输出预测轨迹和动作类别。
该方法的具体执行过程如下：
(1)处理样本数据，将无人驾驶车辆上的视觉传感器采集到的实时视频，分割成以帧为单位的图像作为样本数据，样本数据中即将通过斑马线的目标人群的动作划分成以下三类：1)在等待区域停止Stop，2)在无人驾驶车辆前方通过斑马线Across，3)穿过无人驾驶车辆中视觉传感器测量范围Away
对于每个轨迹，提取位置lt，尺度st，姿势pt和自身运动et。首先，使用OpenPose提取了18个身体部位。lt由两个臀部中间定义，st由颈部位置和lt之间的距离给出，pt为36维特征，其通过减去lt并除以st来进行归一化。再通过无监督的自我运动估计器估计et。
样本以左髋关节和右髋关节之间的长度来将目标人群划分成1)在等待区域停止Stop，2)在无人驾驶车辆前方通过斑马线Across，3)穿过无人驾驶车辆中视觉传感器测量范围Away三类。当左髋关节的x坐标等于右髋关节的x坐标时，将剪辑的每一帧标记为Stop；当左髋关节的x坐标大于右髋关节的x坐标时，将剪辑的每一帧标记为Across或Away，当标记为Across的帧数超过剪辑中总帧数的75％，则将其分类为Across；如果小于25％，则分类为Away。
(2)获取输入信息序列：根据无人驾驶车辆中视觉传感器拍摄的实时图像，检测图像中的行人，基于当前时间t0前Tprev帧已有的运动轨迹，以获取行人位置序列lt及行人比例序列st，通过添加行人比例序列得到扩展目标人物的每个位置xt＝(lt T,st)T，以作为“位置-比例”输入流；获取行人骨架序列pt，以作为“姿态”输入流；获取视觉传感器自身运动序列et，以作为“自身运动”输入流。
①基于t0前Tprev帧已有的运动轨迹，获取行人位置序列lt和行人比例序列st：
根据直到当前帧t0的位置历史，最佳预测为目标行人以恒定速度沿某个方向行走，在随后的未来帧中继续朝该方向前进。然而，无人驾驶车辆中以第一人称的视觉距离可以对应于不同的物理距离，这取决于车辆在图像中观察的位置。因此采取共同学习目标人群的位置和比例的方法。形式上，第t帧，为行人的2D位置，表示实数，表示二维实数组，表示三维实数组，目标的历史位置序列为通过添加行人的比例信息即xt＝(lt T,st)T来扩展目标人物的每个位置，以作为“位置-比例”输入流。
②获取行人骨架信息序列pt：
捕捉行人所采取的姿势(例如所朝向的方向)，可作为另一个轨迹预测需要学习的重要信息。通过OpenPose获得行人的骨架信息，用于追踪目标人物的几个身体部位的时间变化，包括眼睛，肩膀和臀部，作为目标姿势的特征。以w*h大小的彩色图像作为输入，网络采用VGG pre-train network作为骨架，经过VGG的前10层网络得到一个特征度F，接着网络分成两个循环分支，一个分支用于预测人体关键部位S，一个分支用于预测像素点在骨架中的走向L(即肢体)。网络输出以Json文件保存的人体18个关键部位的位置序列。得到行人骨架序列pt，以作为行人轨迹预测网络的“姿态”输入流，是V体部分的2V维向量堆叠位置(V＝18)，pt为36维特征。
在连续两个帧单应性对齐后，使用核相关滤波器随时间跟踪检测到的人的上半身。如果在某个预定义的时空范围内未发现后续检测结果，则终止每个跟踪。通过这种跟踪，将获取到许多短的跟踪轨迹。在满足以下情况，合并这些轨迹以产生较长轨迹：1)如果一个轨迹的尾部在视觉上类似于在另一轨迹的头部；2)如果这些轨迹在时空上足够接近。1)中的视觉相似性是通过Faster R-CNN提取深部特征的余弦距离来测量的。
③获取自身运动序列et：
Xin明确地描述了目标行人如何随着时间的推移而移动，描述每个点lt的坐标系随着视觉传感器的移动而动态地改变，因此视觉传感器自身运动对Xout的直接预测仍然具有影响。
为了改善以第一人称捕捉的图像进行行人预测的表现，卷积神经网络需要学习视觉传感器的自我运动序列。具体来说，首先估计连续帧之间的速度和旋转角度，每个帧由3D矢量描述：对于旋转(即，偏航，滚动，俯仰)和对于帧t的速度(即相机坐标中x轴，y轴，和z轴)对于输入区间[t0-Tprev,t0]，将其累加以描述自我运动模式，如下所示：
r′t表示t0前Tprev帧旋转rt的和，v′t表示输入区间[t0-Tprev,t0]某一帧的速度，Rt是直接从r′t计算的旋转矩阵。
将上述的r′t和v′t叠加在一起形成一个6-D向量序列，作为自身运动序列卷积神经网络的“自身运动”输入流为
(3)构建卷积神经网络预测模型并优化网络：将“位置-比例”输入流Xin、“姿态”输入流Pin、“自身运动”输入流Ein输入流输入到卷积神经网络训练，达到最优模型。
如图2所示，卷积神经网络由三个输入流和一个输出流组成，三个输入流分别是“位置-比例”输入流Xin，“姿态”输入流Pin，“自身运动”输入流Ein，输入具有不同的尺度D，“位置-比例”输入流D＝3，“姿态”输入流D＝36，“自身运动”输入流D＝6。每个输入流向不同数量的信道，四个级联1D时间卷积层馈送D×10维输入(其中D根据不同输入流的尺度D而改变)，每一个1D卷积层后是批归一化(BN)和激活函数(ReLU)。经过四个一维卷积层(1D-Conv)+批归一化(Batch Normalization,BN)+线性整流激活函数(Rectified LinearUnit,ReLU)得到的128×2维特征被连接并馈送到输出网络，该输出网络包括2个1D-Conv+BN+ReLU，4个一维反卷积层(1D-Deconv)+BN+ReLU，以及一维卷积层(1D-Conv)+线性激活函数(Linear)，输出预测的当前时间t0后Tfuture帧的行人位置输出流
训练样本以元组(Xin,Ein,Pin,Xout)的形式给出，Xin，Ein，Pin定义在时间间隔[t0-Tprev,t0]中，Xout是定义在时间间隔[t0+1,...,t0+Tfuture]的ground-truth。训练时将10fps设置为Tprev＝Tfuture＝10，即观察和预测的时间窗口为1秒。为了优化训练网络，首先将Xin和Xout标准化为均值＝0和方差＝1。预测Xout的损失函数由均方误差(MSE)定义。通过Adam优化网络进行17,000次迭代，学习率最初设置为0.001，并且在5,000,10,000,15,000次迭代时减半。
(4)测试及评估最优模型：使用通过斑马线时三种动作测试样本对步骤最优模型进行测试，构建预测轨迹，输出时间t0后Tfuture帧的行人相对位置Xout，以及通过斑马线时的动作类别。
测试样本也以(Xin,Ein,Pin,Xout)的形式给出，但Xout作为ground-truth在测试期间无法访问。将处理过的样本数据随机分成五个子集来采用五重交叉验证，以确保测试集中的样本来自不同的视频。将测试集输入网络得到预测的行人位置序列lout，采用最终位移误差(FDE)作评估指标。具体地，FDE由预测的最终位置与相应的地面实况位置之间的L2距离定义，定义如下：
最后，无人驾驶系统在行驶到斑马线前，且前方无交通信号灯的情况下，根据行人轨迹预测输出的行人动作类别及预测的轨迹，采取如下措施：在前方无交通信号灯的情况下，当车辆判断动作为Stop时，可减速通过；当车辆判断动作为Across时，保持与行人之间的安全距离，及时停车；当车辆判断动作为Away时，且保持与行人之间的安全距离，可减速通过。
本发明主要用于无人驾驶汽车在行驶过程中，前方无交通信号灯的情况下，预测行人即将通过斑马线的动作及未来一段时间的运动轨迹，从样本中获取行人位置-比例信息序列、行人骨架信息序列、视觉传感器自身运动序列，再将信息序列输入卷积神经网络进行训练，得到初步的预测模型，经过测试和评估，最终输出预测轨迹和动作类别。本发明采用卷积神经网络进行无人驾驶行人轨迹预测，采取相应的行驶方案，从而避免无人驾驶汽车碰撞行人，发生交通安全事故。可以有效降低无人驾驶车辆在道路行驶过程中碰撞行人发生的概率。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于卷积神经网络的无人驾驶行人轨迹预测方法，其特征在于，包括如下步骤：
步骤1：将无人驾驶车辆上的视觉传感器采集到的实时视频，分割成以帧为单位的图像作为样本数据，样本数据中即将通过斑马线的目标人群的动作划分成以下三类：1)在等待区域停止Stop，2)在无人驾驶车辆前方通过斑马线Across，3)穿过无人驾驶车辆中视觉传感器测量范围Away；
步骤2：根据无人驾驶车辆中视觉传感器拍摄的实时图像，检测图像中的行人，基于当前时间t0前Tprev帧已有的运动轨迹，以获取行人位置序列lt及行人比例序列st，通过添加行人比例序列得到扩展目标人物的每个位置xt＝(lt T,st)T，以作为“位置-比例”输入流；获取行人骨架序列pt，以作为“姿态”输入流；获取视觉传感器自身运动序列et，以作为“自身运动”输入流；
步骤3：将“位置-比例”输入流Xin、“姿态”输入流Pin、“自身运动”输入流Ein输入流输入到卷积神经网络训练，达到最优模型；
步骤4，使用通过斑马线时三种动作测试样本对步骤最优模型进行测试，构建预测轨迹，输出时间t0后Tfuture帧的行人相对位置Xout，以及通过斑马线时的动作类别。
2.根据权利要求1所述基于卷积神经网络的无人驾驶行人轨迹预测方法，其特征在于：无人驾驶系统在行驶到斑马线前，且前方无交通信号灯的情况下，根据行人轨迹预测输出的行人动作类别及预测的轨迹，采取如下措施：在前方无交通信号灯的情况下，当车辆判断动作为Stop时，可减速通过；当车辆判断动作为Across时，保持与行人之间的安全距离，及时停车；当车辆判断动作为Away时，且保持与行人之间的安全距离，可减速通过。
3.根据权利要求2所述基于卷积神经网络的无人驾驶行人轨迹预测方法，其特征在于：步骤1中将通过斑马线的目标人群的动作划分成以下三类方法：当左髋关节的x坐标等于右髋关节的x坐标时，将剪辑的每一帧标记为Stop；当左髋关节的x坐标大于右髋关节的x坐标时，将剪辑的每一帧标记为Across或Away，当标记为Across的帧数超过剪辑中总帧数的75％，则将其分类为Across；如果小于25％，则分类为Away。
4.根据权利要求3所述基于卷积神经网络的无人驾驶行人轨迹预测方法，其特征在于：步骤2中得到“位置-比例”输入流的方法：基于当前时间t0前Tprev帧已有的运动轨迹，获取样本数据中行人位置序列lt和行人比例序列st；形式上，第t帧，为行人的2D位置，表示实数，表示二维实数组，目标的历史位置序列为通过添加行人的比例信息得到扩展目标人物的每个位置xt＝(lt T,st)T，以作为“位置-比例”输入流。
5.根据权利要求4所述基于卷积神经网络的无人驾驶行人轨迹预测方法，其特征在于：步骤2中得到“姿态”输入流的方法：获取行人骨架序列pt：通过OpenPose获得行人的骨架信息，用于追踪目标人物的几个身体部位的时间变化，包括眼睛，肩膀和臀部，作为目标姿势的特征；得到行人骨架序列pt，以作为行人轨迹预测网络的“姿态”输入流。
6.根据权利要求5所述基于卷积神经网络的无人驾驶行人轨迹预测方法，其特征在于：步骤2中得到“自身运动”输入流的方法：首先估计连续帧之间的速度和旋转角度，每个帧由3D矢量描述：对于旋转和对于帧t的速度对于输入区间[t0-Tprev,t0]，将其累加以描述自我运动模式，如下所示：
rt′表示t0前Tprev帧旋转rt的和，v′t表示输入区间[t0-Tprev,t0]某一帧的速度，Rt是直接从rt′计算的旋转矩阵；
将上述的rt′和v′t叠加在一起形成一个6-D向量序列，作为自身运动序列et，卷积神经网络的“自身运动”输入流为
7.根据权利要求6所述基于卷积神经网络的无人驾驶行人轨迹预测方法，其特征在于：步骤3中卷积神经网络由三个输入流和一个输出流组成，三个输入流分别是“位置-比例”输入流Xin，“姿态”输入流Pin，“自身运动”输入流Ein，输入具有不同的尺度D，“位置-比例”输入流D＝3，“姿态”输入流D＝36，“自身运动”输入流D＝6；每个输入流向不同数量的信道，四个级联1D时间卷积层1D-Conv馈送D×10维输入，每一个1D卷积层后是批归一化BN和激活函数ReLU；经过四个1D-Conv+BN+ReLU得到的128×2维特征被Concat连接并馈送到输出网络，该输出网络包括2个1D-Conv+BN+ReLU，4个1D反卷积层(1D-Deconv)+BN+ReLU，以及1D-Conv+激活函数Linear，输出预测的当前时间t0后Tfuture帧的行人位置输出流Xout：
8.根据权利要求7所述基于卷积神经网络的无人驾驶行人轨迹预测方法，其特征在于：步骤4中通过斑马线时三种动作测试样本以(Xin,Ein,Pin,Xout)的形式给出，但Xout作为ground-truth在测试期间无法访问；将处理过的测试样本数据随机分成五个子集来采用五重交叉验证；将测试集输入网络得到预测的行人位置序列lout，采用最终位移误差FDE作评估指标；最终位移误差FDE由预测的最终位置与相应的地面实况位置之间的L2距离定义，定义如下：
CN201910097865.7A 2019-01-31 2019-01-31 一种基于卷积神经网络的无人驾驶行人轨迹预测方法 Withdrawn CN109635793A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910097865.7A CN109635793A (zh) 2019-01-31 2019-01-31 一种基于卷积神经网络的无人驾驶行人轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910097865.7A CN109635793A (zh) 2019-01-31 2019-01-31 一种基于卷积神经网络的无人驾驶行人轨迹预测方法

Publications (1)

Publication Number Publication Date
CN109635793A true CN109635793A (zh) 2019-04-16

Family

ID=66064528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910097865.7A Withdrawn CN109635793A (zh) 2019-01-31 2019-01-31 一种基于卷积神经网络的无人驾驶行人轨迹预测方法

Country Status (1)

Country Link
CN (1) CN109635793A (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134124A (zh) * 2019-04-29 2019-08-16 北京小马慧行科技有限公司 车辆行驶的控制方法、装置、存储介质和处理器
CN110176142A (zh) * 2019-05-17 2019-08-27 佳都新太科技股份有限公司 车辆轨迹预测模型建立及预测方法
CN110210417A (zh) * 2019-06-05 2019-09-06 深圳前海达闼云端智能科技有限公司 一种行人运动轨迹的预测方法、终端及可读存储介质
CN110293968A (zh) * 2019-06-18 2019-10-01 百度在线网络技术（北京）有限公司 自动驾驶车辆的控制方法、装置、设备及可读存储介质
CN110414365A (zh) * 2019-07-03 2019-11-05 上海交通大学 基于社会力模型的过街行人轨迹预测方法、系统及介质
CN110533752A (zh) * 2019-07-23 2019-12-03 深圳大学 一种人体动作编辑模型的生成方法、存储介质及电子设备
CN110737968A (zh) * 2019-09-11 2020-01-31 北京航空航天大学 基于深层次卷积长短记忆网络的人群轨迹预测方法及系统
CN110751266A (zh) * 2019-09-26 2020-02-04 北航（四川）西部国际创新港科技有限公司 一种无人机轨迹预测模块及其预测方法
CN110827326A (zh) * 2019-11-14 2020-02-21 清华大学苏州汽车研究院（吴江） 模拟人车冲突场景模型生成方法、装置、设备和存储介质
CN110850880A (zh) * 2019-11-20 2020-02-28 中电科技集团重庆声光电有限公司 一种基于视觉传感的自动驾驶系统及方法
CN110889444A (zh) * 2019-11-22 2020-03-17 南京邮电大学 一种基于卷积神经网络的驾驶轨迹特征分类方法
CN110909625A (zh) * 2019-11-04 2020-03-24 向仲宇 一种计算机视觉基础网络训练识别构建方法及装置
CN111114543A (zh) * 2020-03-26 2020-05-08 北京三快在线科技有限公司 一种轨迹预测方法及装置
CN111161322A (zh) * 2019-12-31 2020-05-15 大连理工大学 一种基于人车交互的lstm神经网络行人轨迹预测方法
CN111582040A (zh) * 2020-04-13 2020-08-25 武汉理工大学 一种船舶驾驶舱的人员定位方法、系统和存储介质
CN111626198A (zh) * 2020-05-27 2020-09-04 多伦科技股份有限公司 自动驾驶场景下基于Body Pix的行人运动检测方法
CN112396235A (zh) * 2020-11-23 2021-02-23 浙江天行健智能科技有限公司 基于眼球动作追踪的交通事故发生时间预测建模方法
CN112613365A (zh) * 2020-12-11 2021-04-06 北京影谱科技股份有限公司 一种行人检测和行为分析方法、装置及计算设备
CN112734808A (zh) * 2021-01-19 2021-04-30 清华大学 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
CN112805730A (zh) * 2019-12-30 2021-05-14 华为技术有限公司 一种轨迹预测方法及相关设备
CN112862090A (zh) * 2021-01-22 2021-05-28 南开大学 一种基于深度时空神经网络的气温预报方法
CN113111004A (zh) * 2021-01-11 2021-07-13 北京赛目科技有限公司 一种场景无关的无人驾驶仿真测试评估方法及装置
CN113269008A (zh) * 2020-02-14 2021-08-17 宁波吉利汽车研究开发有限公司 一种行人轨迹预测方法、装置、电子设备及存储介质
CN113362368A (zh) * 2021-07-26 2021-09-07 北京邮电大学 一种基于多层次时空图神经网络的人群轨迹预测方法
CN113643355A (zh) * 2020-04-24 2021-11-12 广州汽车集团股份有限公司 一种目标车辆位置和朝向的检测方法、系统及存储介质
CN113658228A (zh) * 2021-10-19 2021-11-16 宁波博登智能科技有限责任公司 一种基于卷积神经网络的行人轨迹预测系统和方法
CN113673412A (zh) * 2021-08-17 2021-11-19 驭势（上海）汽车科技有限公司 关键目标物的识别方法、装置、计算机设备及存储介质
CN113850929A (zh) * 2021-09-18 2021-12-28 广州文远知行科技有限公司 一种标注数据流处理的展示方法、装置、设备和介质
CN115424072A (zh) * 2022-09-06 2022-12-02 鄂尔多斯市视达科技有限公司 一种基于探测技术的无人机防御方法
CN117268403A (zh) * 2023-11-21 2023-12-22 山东工商学院 基于优化部署传感技术的改进式gbnn动态路径规划方法

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134124A (zh) * 2019-04-29 2019-08-16 北京小马慧行科技有限公司 车辆行驶的控制方法、装置、存储介质和处理器
CN110176142A (zh) * 2019-05-17 2019-08-27 佳都新太科技股份有限公司 车辆轨迹预测模型建立及预测方法
CN110210417A (zh) * 2019-06-05 2019-09-06 深圳前海达闼云端智能科技有限公司 一种行人运动轨迹的预测方法、终端及可读存储介质
CN110293968A (zh) * 2019-06-18 2019-10-01 百度在线网络技术（北京）有限公司 自动驾驶车辆的控制方法、装置、设备及可读存储介质
CN110414365A (zh) * 2019-07-03 2019-11-05 上海交通大学 基于社会力模型的过街行人轨迹预测方法、系统及介质
CN110414365B (zh) * 2019-07-03 2021-08-31 上海交通大学 基于社会力模型的过街行人轨迹预测方法、系统及介质
CN110533752A (zh) * 2019-07-23 2019-12-03 深圳大学 一种人体动作编辑模型的生成方法、存储介质及电子设备
CN110737968A (zh) * 2019-09-11 2020-01-31 北京航空航天大学 基于深层次卷积长短记忆网络的人群轨迹预测方法及系统
CN110737968B (zh) * 2019-09-11 2021-03-16 北京航空航天大学 基于深层次卷积长短记忆网络的人群轨迹预测方法及系统
CN110751266A (zh) * 2019-09-26 2020-02-04 北航（四川）西部国际创新港科技有限公司 一种无人机轨迹预测模块及其预测方法
CN110909625A (zh) * 2019-11-04 2020-03-24 向仲宇 一种计算机视觉基础网络训练识别构建方法及装置
CN110827326A (zh) * 2019-11-14 2020-02-21 清华大学苏州汽车研究院（吴江） 模拟人车冲突场景模型生成方法、装置、设备和存储介质
CN110850880A (zh) * 2019-11-20 2020-02-28 中电科技集团重庆声光电有限公司 一种基于视觉传感的自动驾驶系统及方法
CN110889444A (zh) * 2019-11-22 2020-03-17 南京邮电大学 一种基于卷积神经网络的驾驶轨迹特征分类方法
CN110889444B (zh) * 2019-11-22 2022-08-09 南京邮电大学 一种基于卷积神经网络的驾驶轨迹特征分类方法
EP4074563A4 (en) * 2019-12-30 2022-12-28 Huawei Technologies Co., Ltd. TRAJECTORY PREDICTION METHOD AND ASSOCIATED DEVICE
CN112805730A (zh) * 2019-12-30 2021-05-14 华为技术有限公司 一种轨迹预测方法及相关设备
CN111161322B (zh) * 2019-12-31 2022-10-18 大连理工大学 一种基于人车交互的lstm神经网络行人轨迹预测方法
CN111161322A (zh) * 2019-12-31 2020-05-15 大连理工大学 一种基于人车交互的lstm神经网络行人轨迹预测方法
CN113269008A (zh) * 2020-02-14 2021-08-17 宁波吉利汽车研究开发有限公司 一种行人轨迹预测方法、装置、电子设备及存储介质
CN111114543A (zh) * 2020-03-26 2020-05-08 北京三快在线科技有限公司 一种轨迹预测方法及装置
CN111582040B (zh) * 2020-04-13 2023-10-13 武汉理工大学 一种船舶驾驶舱的人员定位方法、系统和存储介质
CN111582040A (zh) * 2020-04-13 2020-08-25 武汉理工大学 一种船舶驾驶舱的人员定位方法、系统和存储介质
CN113643355B (zh) * 2020-04-24 2024-03-29 广州汽车集团股份有限公司 一种目标车辆位置和朝向的检测方法、系统及存储介质
CN113643355A (zh) * 2020-04-24 2021-11-12 广州汽车集团股份有限公司 一种目标车辆位置和朝向的检测方法、系统及存储介质
CN111626198A (zh) * 2020-05-27 2020-09-04 多伦科技股份有限公司 自动驾驶场景下基于Body Pix的行人运动检测方法
CN112396235A (zh) * 2020-11-23 2021-02-23 浙江天行健智能科技有限公司 基于眼球动作追踪的交通事故发生时间预测建模方法
CN112613365A (zh) * 2020-12-11 2021-04-06 北京影谱科技股份有限公司 一种行人检测和行为分析方法、装置及计算设备
CN113111004B (zh) * 2021-01-11 2022-05-17 北京赛目科技有限公司 一种场景无关的无人驾驶仿真测试评估方法及装置
CN113111004A (zh) * 2021-01-11 2021-07-13 北京赛目科技有限公司 一种场景无关的无人驾驶仿真测试评估方法及装置
CN112734808B (zh) * 2021-01-19 2022-10-14 清华大学 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
CN112734808A (zh) * 2021-01-19 2021-04-30 清华大学 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
CN112862090B (zh) * 2021-01-22 2023-01-31 南开大学 一种基于深度时空神经网络的气温预报方法
CN112862090A (zh) * 2021-01-22 2021-05-28 南开大学 一种基于深度时空神经网络的气温预报方法
CN113362368A (zh) * 2021-07-26 2021-09-07 北京邮电大学 一种基于多层次时空图神经网络的人群轨迹预测方法
CN113673412A (zh) * 2021-08-17 2021-11-19 驭势（上海）汽车科技有限公司 关键目标物的识别方法、装置、计算机设备及存储介质
CN113673412B (zh) * 2021-08-17 2023-09-26 驭势（上海）汽车科技有限公司 关键目标物的识别方法、装置、计算机设备及存储介质
CN113850929A (zh) * 2021-09-18 2021-12-28 广州文远知行科技有限公司 一种标注数据流处理的展示方法、装置、设备和介质
CN113850929B (zh) * 2021-09-18 2023-05-26 广州文远知行科技有限公司 一种标注数据流处理的展示方法、装置、设备和介质
CN113658228A (zh) * 2021-10-19 2021-11-16 宁波博登智能科技有限责任公司 一种基于卷积神经网络的行人轨迹预测系统和方法
CN115424072A (zh) * 2022-09-06 2022-12-02 鄂尔多斯市视达科技有限公司 一种基于探测技术的无人机防御方法
CN115424072B (zh) * 2022-09-06 2024-02-27 鄂尔多斯市视达科技有限公司 一种基于探测技术的无人机防御方法
CN117268403B (zh) * 2023-11-21 2024-01-30 山东工商学院 基于优化部署传感技术的改进式gbnn动态路径规划方法
CN117268403A (zh) * 2023-11-21 2023-12-22 山东工商学院 基于优化部署传感技术的改进式gbnn动态路径规划方法

Similar Documents

Publication Publication Date Title
CN109635793A (zh) 一种基于卷积神经网络的无人驾驶行人轨迹预测方法
Vishnu et al. Improving multi-agent trajectory prediction using traffic states on interactive driving scenarios
Chiu et al. Probabilistic 3d multi-modal, multi-object tracking for autonomous driving
CN111339867B (zh) 一种基于生成对抗网络的行人轨迹预测方法
CN107368890A (zh) 一种以视觉为中心的基于深度学习的路况分析方法及系统
CN111079590A (zh) 一种无人驾驶车辆的周边车辆行为预判方法
CN102945554B (zh) 基于学习和加速鲁棒surf特征的目标跟踪方法
He et al. Rail transit obstacle detection based on improved CNN
Wirges et al. Capturing object detection uncertainty in multi-layer grid maps
Natarajan et al. Online, real-time tracking and recognition of human actions
Martin et al. On the design and evaluation of robust head pose for visual user interfaces: Algorithms, databases, and comparisons
CN102663429A (zh) 运动目标的运动模式分类和动作识别的方法
Piccoli et al. Fussi-net: Fusion of spatio-temporal skeletons for intention prediction network
CN112734808A (zh) 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
Tan et al. Bidirectional posture-appearance interaction network for driver behavior recognition
CN109784296A (zh) 客车乘客数量统计方法、装置及计算机可读存储介质
Mukherjee et al. Interacting vehicle trajectory prediction with convolutional recurrent neural networks
CN114926422A (zh) 一种上下车客流量检测方法及系统
Shao et al. Failure detection for motion prediction of autonomous driving: An uncertainty perspective
CN114446046A (zh) 一种基于lstm模型的弱势交通参与者轨迹预测方法
Maharani et al. Enhancement of missing face prediction algorithm with kalman filter and DCF-CSR
Yang et al. Vision-based recognition of pedestrian crossing intention in an urban environment
Guo et al. Temporal Information Fusion Network for Driving Behavior Prediction
Hudnell et al. Robust aleatoric modeling for future vehicle localization
CN112241706A (zh) 弱势交通参与者的手势识别方法、相应的装置和程序载体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190416

WW01 Invention patent application withdrawn after publication