CN111459168B - 一种融合的自动驾驶汽车过街行人轨迹预测方法及系统 - Google Patents

一种融合的自动驾驶汽车过街行人轨迹预测方法及系统 Download PDF

Info

Publication number
CN111459168B
CN111459168B CN202010327545.9A CN202010327545A CN111459168B CN 111459168 B CN111459168 B CN 111459168B CN 202010327545 A CN202010327545 A CN 202010327545A CN 111459168 B CN111459168 B CN 111459168B
Authority
CN
China
Prior art keywords
pedestrian
street
crossing
model
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010327545.9A
Other languages
English (en)
Other versions
CN111459168A (zh
Inventor
张希
陈浩
杨文彦
金文强
刘冶
朱旺旺
赵柏暄
张凯炯
刘磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010327545.9A priority Critical patent/CN111459168B/zh
Publication of CN111459168A publication Critical patent/CN111459168A/zh
Application granted granted Critical
Publication of CN111459168B publication Critical patent/CN111459168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

本发明提供了一种融合的自动驾驶汽车过街行人轨迹预测方法及系统，包括：根据车载传感器融合算法，获得过街行人运动状态信息、行人个体特征信息及车辆运动状态信息；通过对车载传感器获得的上述状态数据，对社会力模型中的参数进行标定；通过对车载传感器获得的上述状态数据，训练LSTM模型的结构权重和偏置参数；利用社会力模型和LSTM模型分别预测正在过街的行人运动轨迹；通过上述模型预测的运动轨迹和过街行人实际轨迹真值导入到Stacking融合模型，训练结构权重；利用Stacking融合模型输出最优的过街行人未来第一预设时长内的预测轨迹；本发明利用Stacking算法融合社会力模型和LSTM模型，达到减小方差、偏差的效果，从而保证预测轨迹与行人的实际轨迹更加贴近。

Description

一种融合的自动驾驶汽车过街行人轨迹预测方法及系统
技术领域
本发明涉及自动驾驶决策算法领域，具体地，涉及一种融合的自动驾驶汽车过街行人轨迹预测方法及系统，更为具体地，涉及一种融合社会力模型和LSTM模型的自动驾驶汽车过街行人轨迹预测方法，涉及了从前期准备工作到后期具体实施方法的一整套流程。
背景技术
近年来，随着自动驾驶汽车技术的高速发展，行人安全保护是自动驾驶汽车必须考虑的一个重要因素。行人作为交通的主要参与者，其运动相比车辆运动更为复杂多变，并且具有很大的灵活性和随机性，对于自动驾驶汽车而言，对行人行为的理解和轨迹的预测是一个难点。
目前，自动驾驶领域对行人的研究大多集中在行人的检测识别与目标跟踪方面，更加注重行人当前的位置，而不对其未来的位置进行预测。当自动驾驶汽车在检测到前方有行人经过时，都会选择停车等待行人通过其安全包络线后再继续行驶。自动驾驶汽车在面对行人过于保守的智能决策行为，不仅降低了道路的通行能力，甚至有可能造成道路的拥堵。
现有的行人轨迹预测方法，如Momenta公司目前是使用最简单匀速(CV)模型或匀加速(CA)模型对行人的轨迹进行预测，以提醒驾驶员是否会有行人突然闯入驾驶区域而发生事故，但该模型存在准确率低，实现效果差等情况，对于精确性要求极高的自动驾驶汽车来说，是不适用的。也有利用动态贝叶斯网络(DBN)来预测过街行人在面对来车时的运动状态(停、走预测)，如预测行人会过街时，车辆会停下来等待，无形中降低了车辆的通行效率；还有利用深度学习长短时记忆网络(LSTM)模型对行人的轨迹进行预测，虽预测效果较好，但仅仅是孤立的考虑单个行人的轨迹预测，未考虑车辆、周围行人以及其它交通环境对目标行人的影响。
虽然对行人的轨迹预测方面已经取得了较多成果，但现有方法在预测的过程中存在的主要问题是将行人当作一般的障碍物进行预测，未能从社会学的角度考虑周围交通环境对目标行人的影响，如周围行人对目标行人的影响，车辆对目标行人的影响，以及红绿灯、斑马线对行人的影响等等，这样会造成预测出的行人轨迹精度较差。此外，行人的个体差异性的影响，也鲜有考虑。目前还没有一种考虑周围交通环境以及行人个性差异性等因素的行人轨迹预测方法。
专利文献CN110414365A(申请号：201910594913.3)公开了一种基于社会力模型的过街行人轨迹预测方法、系统及介质，包括：基础数据获取步骤：选取人车混行斑马线区域做前期调查，拍摄该区域的行人行走视频，通过对行人行走视频进行视频处理和图像处理，获得行人行走特征数据和人车交互场景数据；模型参数标定步骤：对获得的行人行走特征数据和人车交互场景数据进行预处理，标定逻辑回归模型和社会力模型的参数。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种融合的自动驾驶汽车过街行人轨迹预测方法及系统。
根据本发明提供的一种融合的自动驾驶汽车过街行人轨迹预测方法，包括：
步骤M1：根据车载传感器通过融合算法，获得车辆安全包络线范围内的过街行人运动状态信息、行人个体特征信息及自动驾驶车辆运动状态信息；
步骤M2：通过对车载传感器获得的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，利用最大似然估计法，对社会力模型中的参数进行标定；
步骤M3：通过对车载传感器获取的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，将预处理后的数据导入到LSTM模型，来训练LSTM模型的结构权重和偏置参数；
步骤M4：利用社会力模型预测正在过街的行人未来第一预设时长内的运动轨迹；
步骤M5：利用LSTM模型预测正在过街的行人未来第一预设时长内的运动轨迹；
步骤M6：通过社会力模型预测的过街行人轨迹、LSTM模型预测的过街行人轨迹以及过街行人实际轨迹真值，将轨迹数据导入到Stacking融合模型，来训练Stacking融合模型的结构权重；
步骤M7：利用Stacking融合模型融合社会力模型和LSTM模型，针对正在过街的行人，输出最优的过街行人未来第一预设时长内的预测轨迹；
所述Stacking融合模型是第一层的模型输出作为第二层模型的特征输入，最后第二层模型输出的结果作为最终预测结果获得整体预测精度的提升。
优选地，所述步骤M1包括：选取行人和车辆在自由流情况下的斑马线区域，利用自动驾驶汽车搭载的包括激光、摄像头和/或毫米波雷达传感器，通过多个传感器信息融合算法，获取车辆安全包络线范围内的过街行人运动状态信息、行人个体特征信息及车辆运动状态信息；
所述过街行人运动状态信息包括行人当前的位置和行人当前的速度；
所述过街行人个体特征信息包括过街行人年龄、性别，以及不同年龄和性别的行人，在过街时的理想速度vd、最大速度vmax以及反应时间τ；
所述理想速度vd指：不同年龄和性别的行人，在过街时没有任何外界干扰的情况下行走的平均速度；
所述最大速度vmax是不同年龄和性别的行人，在信号灯闪烁即将由绿灯变为红灯时过街行人加速通过斑马线时所能够达到的最大速度；
反应时间τ是不同年龄和性别的行人，从当前速度变化到理想速度vd所需要的时间；
所述车辆运动状态信息包括：车辆当前位置、车速以及车型。
优选地，所述步骤M2包括：
根据自动驾驶汽车传感器获取的过街行人运动状态信息、个体特征信息以及车辆运动状态信息，通过数据预处理，获得初始条件下过街行人行走的真实轨迹，根据初始条件下过街行人行走的真实轨迹，给定社会力模型参数初值，通过社会力模型得到过街行人行走的预测轨迹，利用真实轨迹和和预测轨迹的差异构造最大似然函数，通过最大似然估计法不断迭代，最终完成社会力模型参数的标定。
优选地，所述步骤M3中LSTM模型包括隐藏层、多输入和多输出的网络结构；
所述输入层包括过街行人的速度、过街行人的位置、过街行人的年龄、过街行人的性别、车辆的速度、车辆的位置和车辆的车型；
所述隐藏层包括门控单元和输入输出单元；门控单元采用sigmoid激活函数；所述输入输出单元采用tanh激活函数；
所述输出层包括输出的信息为过街行人未来第一预设时长内的运动轨迹；
通过对车载传感器获取的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，将预处理后的数据导入到LSTM模型，根据梯度下降法多次迭代训练LSTM模型的结构权重和偏置参数。
优选地，所述步骤M4包括：
对于目标过街行人a，社会力包括目标点对过街行人a的驱动力
Figure BDA0002463757410000041
斑马线对过街行人a的边界力
Figure BDA0002463757410000042
过街行人a受到冲突行人的作用力
Figure BDA0002463757410000043
过街行人a受到冲突车辆的作用力
Figure BDA0002463757410000044
过街行人a受到信号灯的作用力
Figure BDA0002463757410000045
过街行人a所受的合力为：
Figure BDA0002463757410000046
在合力的驱动下，生成过街行人a的预测轨迹，以时间步长Δt向前推算行人的速度与位置，时刻t到时刻t+1的递推公式为：
Figure BDA0002463757410000047
Figure BDA0002463757410000048
其中，
Figure BDA0002463757410000049
表示过街行人a在t+1时刻的速度；
Figure BDA00024637574100000410
表示过街行人a在t时刻的速度；Δt表示时间步长；
Figure BDA00024637574100000411
表示过街行人a在t时刻受到社会力合力的大小；
Figure BDA00024637574100000412
表示过街行人a在t+1时刻的位置；
Figure BDA00024637574100000413
表示过街行人a在t时刻的位置。递推过程持续进行直到获得过街行人未来第一预设时长内的运动轨迹；
优选地，所述步骤M5包括：
通过车载传感器，获取当前车辆和过街行人的包括过街行人的速度、位置、年龄、性别，车辆的速度、车辆的位置和车辆的车型，经过数据归一化操作，导入到训练好的LSTM模型中，输出预测数据，并将输出的预测数据进行反归一化，得到过街行人未来第一预设时长内的运动轨迹。
优选地，所述步骤M6包括：
对包含社会力模型预测轨迹值、LSTM模型预测轨迹值和行人实际轨迹真值进行5折交叉验证；
Stacking模型的第一层中将社会力模型和LSTM模型的预测轨迹输出作为第二层的特征输入，根据第二层的特征输入与行人实际轨迹真值对比，训练第二层模型；通过学习第一层中社会力模型和LSTM模型的表现，并根据社会力模型、LSTM模型分别与实际轨迹真值的误差赋予社会力模型和LSTM模型不同的权重。
根据本发明提供的一种融合的自动驾驶汽车过街行人轨迹预测系统，包括：
模块M1：根据车载传感器通过融合算法，获得车辆安全包络线范围内的过街行人运动状态信息、行人个体特征信息及车辆运动状态信息；
模块M2：通过对车载传感器获得的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，利用最大似然估计法，对社会力模型中的参数进行标定；
模块M3：通过对车载传感器获取的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，将预处理后的数据导入到LSTM模型，来训练LSTM模型的结构权重和偏置参数；
模块M4：利用社会力模型预测正在过街的行人未来第一预设时长内的运动轨迹；
模块M5：利用LSTM模型预测正在过街的行人未来第一预设时长内的运动轨迹；
模块M6：通过社会力模型预测的过街行人轨迹、LSTM模型预测的过街行人轨迹以及过街行人实际轨迹真值，将轨迹数据导入到Stacking融合模型，来训练Stacking融合模型的结构权重；
模块M7：利用Stacking融合模型融合社会力模型和LSTM模型，针对正在过街的行人，输出最优的过街行人未来第一预设时长内的预测轨迹；
所述Stacking融合模型是第一层的模型输出作为第二层模型的特征输入，最后第二层模型输出的结果作为最终预测结果获得整体预测精度的提升。
优选地，所述模块M1包括：选取行人和车辆在自由流情况下的斑马线区域，利用自动驾驶汽车搭载的包括激光、摄像头和/或毫米波雷达传感器，通过多个传感器信息融合算法，获取车辆安全包络线范围内的过街行人运动状态信息、行人个体特征信息及车辆运动状态信息；
所述过街行人运动状态信息包括行人当前的位置和行人当前的速度；
所述过街行人个体特征信息包括过街行人年龄、性别，以及不同年龄和性别的行人，在过街时的理想速度vd、最大速度vmax以及反应时间τ；
所述理想速度vd指：不同年龄和性别的行人，在过街时没有任何外界干扰的情况下行走的平均速度；
所述最大速度vmax是不同年龄和性别的行人，在信号灯闪烁即将由绿灯变为红灯时过街行人加速通过斑马线时所能够达到的最大速度；
反应时间τ是不同年龄和性别的行人，从当前速度变化到理想速度vd所需要的时间；
所述车辆运动状态信息包括：车辆当前位置、车速以及车型；
所述模块M2包括：
根据自动驾驶汽车传感器获取的过街行人运动状态信息、个体特征信息以及车辆运动状态信息，通过数据预处理，获得初始条件下过街行人行走的真实轨迹，根据初始条件下过街行人行走的真实轨迹，给定社会力模型参数初值，通过社会力模型得到过街行人行走的预测轨迹，利用真实轨迹和和预测轨迹的差异构造最大似然函数，通过最大似然估计法不断迭代，最终完成社会力模型参数的标定；
所述模块M3中LSTM模型包括隐藏层、多输入和多输出的网络结构；
所述输入层包括过街行人的速度、过街行人的位置、过街行人的年龄、过街行人的性别、车辆的速度、车辆的位置和车辆的车型；
所述隐藏层包括门控单元和输入输出单元；门控单元采用sigmoid激活函数；所述输入输出单元采用tanh激活函数；
所述输出层包括输出的信息为过街行人未来第一预设时长内的运动轨迹；
通过对车载传感器获取的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，将预处理后的数据导入到LSTM模型，根据梯度下降法多次迭代训练LSTM模型的结构权重和偏置参数。
优选地，所述模块M4包括：
对于目标过街行人a，社会力包括目标点对过街行人a的驱动力
Figure BDA0002463757410000061
斑马线对过街行人a的边界力
Figure BDA0002463757410000062
过街行人a受到冲突行人的作用力
Figure BDA0002463757410000063
过街行人a受到冲突车辆的作用力
Figure BDA0002463757410000064
过街行人a受到信号灯的作用力
Figure BDA0002463757410000065
过街行人a所受的合力为：
Figure BDA0002463757410000066
在合力的驱动下，生成过街行人a的预测轨迹，以时间步长Δt向前推算行人的速度与位置，时刻t到时刻t+1的递推公式为：
Figure BDA0002463757410000067
Figure BDA0002463757410000068
其中，
Figure BDA0002463757410000069
表示过街行人a在t+1时刻的速度；
Figure BDA00024637574100000610
表示过街行人a在t时刻的速度；Δt表示时间步长；
Figure BDA00024637574100000611
表示过街行人a在t时刻受到社会力合力的大小；
Figure BDA00024637574100000612
表示过街行人a在t+1时刻的位置；
Figure BDA00024637574100000613
表示过街行人a在t时刻的位置。递推过程持续进行直到获得过街行人未来第一预设时长内的运动轨迹；
所述模块M5包括：
通过车载传感器，获取当前车辆和过街行人的包括过街行人的速度、位置、年龄、性别，车辆的速度、车辆的位置和车辆的车型，经过数据归一化操作，导入到训练好的LSTM模型中，输出预测数据，并将输出的预测数据进行反归一化，得到过街行人未来第一预设时长内的运动轨迹；
所述模块M6包括：
对包含社会力模型预测轨迹值、LSTM模型预测轨迹值和行人实际轨迹真值进行5折交叉验证；
Stacking模型的第一层中将社会力模型和LSTM模型的预测轨迹输出作为第二层的特征输入，根据第二层的特征输入与行人实际轨迹真值对比，训练第二层模型；通过学习第一层中社会力模型和LSTM模型的表现，并根据社会力模型、LSTM模型分别与实际轨迹真值的误差赋予社会力模型和LSTM模型不同的权重。
与现有技术相比，本发明具有如下的有益效果：
1、本发明充分考虑行人个体差异性(年龄、性别)，选取能够反映人车交互心理的社会力模型预测过街行人轨迹，选取能够反映时间序列的LSTM模型预测过街行人轨迹，捕获过街行人的自身习惯以及人车交互习惯；
2、本发明利用Stacking算法融合社会力模型和LSTM模型，融合两者模型的优点，达到减小方差、偏差的效果，从而保证预测轨迹与行人的实际轨迹更加贴近；
3、本发明将最优的预测轨迹运用到自动驾驶汽车的智能决策领域，使得自动驾驶车辆面对过街行人时，能够提前规划路径，控制车辆高效的通过斑马线，提高过街行人的安全性，降低车辆的延误率，提高道路的通行能力。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实例的流程图；
图2为本发明实施例的工况示意图；
图3为本发明实施例的工况示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
针对上述现有技术存在的问题，本发明提供一种融合社会力模型和LSTM模型的自动驾驶汽车过街行人轨迹预测方法，能够将周围交通环境以及行人个体差异性等因素作为融入到模型中，对过街行人轨迹进行精确预测，有效降低与行人实际轨迹的误差，从而满足自动驾驶汽车所需的预测要求。
实施例1
根据本发明提供的一种融合的自动驾驶汽车过街行人轨迹预测方法，包括，如图1所示：
步骤M1：根据车载传感器通过融合算法，获得车辆安全包络线范围内的过街行人运动状态信息、行人个体特征信息及自动驾驶车辆运动状态信息；
具体地，所述步骤M1包括：选取行人和车辆在自由流情况下的斑马线区域做前期调查，利用自动驾驶汽车搭载的包括激光、摄像头和/或毫米波雷达传感器，通过多个传感器信息融合算法，获取车辆安全包络线范围内的过街行人运动状态信息(位置、速度)、行人个体特征信息(年龄、性别)及车辆运动状态信息(位置、速度和车型)；
所述过街行人运动状态信息包括行人当前的位置和行人当前的速度；
所述过街行人个体特征信息包括过街行人年龄、性别，以及不同年龄和性别的行人，在过街时的理想速度、最大速度以及反应时间；
所述理想速度指：不同年龄和性别的行人，在过街时没有任何外界干扰的情况下行走的平均速度；
所述最大速度是不同年龄和性别的行人，在信号灯闪烁即将由绿灯变为红灯时过街行人加速通过斑马线时所能够达到的最大速度；
反应时间是不同年龄和性别的行人，从当前速度变化到理想速度vd所需要的时间；
所述车辆运动状态信息包括：车辆当前位置、车速以及车型。
步骤M2：通过对车载传感器获得的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，利用最大似然估计法，对社会力模型中的参数进行标定；
具体地，所述步骤M2包括：
根据自动驾驶汽车传感器获取的过街行人运动状态信息、个体特征信息以及车辆运动状态信息，通过数据预处理，获得初始条件下过街行人行走的真实轨迹，根据初始条件下过街行人行走的真实轨迹，给定社会力模型参数初值，通过社会力模型得到过街行人行走的预测轨迹，利用真实轨迹和和预测轨迹的差异构造最大似然函数，通过最大似然估计法不断迭代，最终完成社会力模型参数的标定。
所述预处理包括相关行人和车辆的位置、速度数据的坐标转换，从而能够获得绝对坐标系下的数据。
所述初始条件是指传感器获取的相关行人和车辆的位置、速度数据通过坐标转换，获得绝对坐标系下的数据，同时通过传感器，获得相关行人性别、年龄、车型信息。
所述社会力模型用于行人微观动力学仿真，同时也用于交通流的仿真。
步骤M3：通过对车载传感器获取的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，将预处理后的数据导入到LSTM模型，来训练LSTM模型的结构权重和偏置参数；
具体地，所述步骤M3中LSTM模型包括隐藏层、多输入和多输出的网络结构；
所述输入层的特征是11个，包括过街行人的速度(X、Y方向)、过街行人的位置(X、Y方向)、过街行人的年龄、过街行人的性别、车辆的速度(X、Y方向)、车辆的位置(X、Y方向)和车辆的车型；
所述隐藏层包括门控单元和输入输出单元；门控单元采用sigmoid激活函数；所述输入输出单元采用tanh激活函数；隐藏层结点数设定为256；
所述输出层包括输出的信息为过街行人未来第一预设时长内的运动轨迹；
通过对车载传感器获取的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，将预处理后的数据导入到LSTM模型，根据梯度下降法多次迭代训练LSTM模型的结构权重和偏置参数。通过训练结构权重和偏置参数使得LSTM模型快速收敛，提高预测的准确性。
所述LSTM模型常用于时间序列的预测。
步骤M4：利用社会力模型预测正在过街的行人未来第一预设时长内的运动轨迹；
具体地，所述步骤M4包括：
对于目标过街行人a，社会力包括目标点对过街行人a的驱动力
Figure BDA0002463757410000101
斑马线对过街行人a的边界力
Figure BDA0002463757410000102
过街行人a受到冲突行人的作用力
Figure BDA0002463757410000103
过街行人a受到冲突车辆的作用力
Figure BDA0002463757410000104
过街行人a受到信号灯的作用力
Figure BDA0002463757410000105
过街行人a所受的合力为：
Figure BDA0002463757410000106
在合力的驱动下，生成过街行人a的预测轨迹，以时间步长Δt向前推算行人的速度与位置，时刻t到时刻t+1的递推公式为：
Figure BDA0002463757410000107
Figure BDA0002463757410000108
其中，
Figure BDA0002463757410000109
表示过街行人a在t+1时刻的速度；
Figure BDA00024637574100001010
表示过街行人a在t时刻的速度；Δt表示时间步长；
Figure BDA00024637574100001011
表示过街行人a在t时刻受到社会力合力的大小；
Figure BDA00024637574100001012
表示过街行人a在t+1时刻的位置；
Figure BDA00024637574100001013
表示过街行人a在t时刻的位置。递推过程持续进行直到获得过街行人未来第一预设时长内的运动轨迹；
所述驱动力、边界力、作用力均是通过完成社会力模型参数标定后的社会力模型给出的。
步骤M5：利用LSTM模型预测正在过街的行人未来第一预设时长内的运动轨迹；
具体地，所述步骤M5包括：
通过车载传感器，获取当前车辆和过街行人的11个特征，包括过街行人的速度(X,Y方向)、位置(X,Y方向)、年龄、性别，车辆的速度(X,Y方向)、车辆的位置(X,Y方向)和车辆的车型，经过数据归一化操作，导入到训练好的LSTM模型中，输出预测数据，并将输出的预测数据进行反归一化，得到过街行人未来第一预设时长内的运动轨迹。
所述归一化是将11个数据缩放到(0,1)以内的值，反归一化是将11个数据还原到原坐标系或原标签下的值，通过相关数据的反归一化，可以获得过街行人未来第一预设时长内的运动轨迹。
步骤M6：通过社会力模型预测的过街行人轨迹、LSTM模型预测的过街行人轨迹以及过街行人实际轨迹真值，将轨迹数据导入到Stacking融合模型，来训练Stacking融合模型的结构权重；
具体地，所述步骤M6包括：
对包含社会力模型预测轨迹值、LSTM模型预测轨迹值和行人实际轨迹真值进行5折交叉验证；
Stacking模型的第一层中将社会力模型和LSTM模型的预测轨迹输出作为第二层的特征输入，根据第二层的特征输入与行人实际轨迹真值对比，训练第二层模型；通过学习第一层中社会力模型和LSTM模型的表现，并根据社会力模型、LSTM模型分别与实际轨迹真值的误差赋予社会力模型和LSTM模型不同的权重。
将第一层中的社会力模型和LSTM模型的预测轨迹数据以及真实轨迹数据作为第二层模型的输入，通过梯度下降法，多次迭代训练出相关社会力模型和LSTM模型不同的权重数据，从而获得精准、稳健、鲁棒的stacking模型。赋予子模型不同的权重的目的是融合两个模型的优点，以达到减小方差、偏差和提升预测精度的效果，能够更准确的预测行人轨迹。相关轨迹误差越大，赋予子模型的权重越小，两者之间存在相对线性的关系。子模型的相关权重是通过训练第二层模型获得的。
步骤M7：利用Stacking融合模型融合社会力模型和LSTM模型，针对正在过街的行人，输出最优的过街行人未来第一预设时长内的预测轨迹；
所述Stacking融合模型是将基模型(第一层模型)的输出结果作为新特征输入到其它模型(第二层模型)，这种方法实现了模型的堆叠，即第一层的模型输出作为第二层模型的特征输入，最后第二层模型输出的结果作为最终预测结果。
作用是通过对多个模型的输出结果进行泛化，以获得整体预测精度的提升。
根据本发明提供的一种融合的自动驾驶汽车过街行人轨迹预测系统，包括：
模块M1：根据车载传感器通过融合算法，获得车辆安全包络线范围内的过街行人运动状态信息、行人个体特征信息及自动驾驶车辆运动状态信息；
具体地，所述模块M1包括：选取行人和车辆在自由流情况下的斑马线区域做前期调查，利用自动驾驶汽车搭载的包括激光、摄像头和/或毫米波雷达传感器，通过多个传感器信息融合算法，获取车辆安全包络线范围内的过街行人运动状态信息(位置、速度)、行人个体特征信息(年龄、性别)及车辆运动状态信息(位置、速度和车型)；
所述过街行人运动状态信息包括行人当前的位置和行人当前的速度；
所述过街行人个体特征信息包括过街行人年龄、性别，以及不同年龄和性别的行人，在过街时的理想速度、最大速度以及反应时间；
所述理想速度指：不同年龄和性别的行人，在过街时没有任何外界干扰的情况下行走的平均速度；
所述最大速度是不同年龄和性别的行人，在信号灯闪烁即将由绿灯变为红灯时过街行人加速通过斑马线时所能够达到的最大速度；
反应时间是不同年龄和性别的行人，从当前速度变化到理想速度vd所需要的时间；
所述车辆运动状态信息包括：车辆当前位置、车速以及车型。
模块M2：通过对车载传感器获得的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，利用最大似然估计法，对社会力模型中的参数进行标定；
具体地，所述模块M2包括：
根据自动驾驶汽车传感器获取的过街行人运动状态信息、个体特征信息以及车辆运动状态信息，通过数据预处理，获得初始条件下过街行人行走的真实轨迹，根据初始条件下过街行人行走的真实轨迹，给定社会力模型参数初值，通过社会力模型得到过街行人行走的预测轨迹，利用真实轨迹和和预测轨迹的差异构造最大似然函数，通过最大似然估计法不断迭代，最终完成社会力模型参数的标定。
所述预处理包括相关行人和车辆的位置、速度数据的坐标转换，从而能够获得绝对坐标系下的数据。
所述初始条件是指传感器获取的相关行人和车辆的位置、速度数据通过坐标转换，获得绝对坐标系下的数据，同时通过传感器，获得相关行人性别、年龄、车型信息。
所述社会力模型用于行人微观动力学仿真，同时也用于交通流的仿真。
模块M3：通过对车载传感器获取的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，将预处理后的数据导入到LSTM模型，来训练LSTM模型的结构权重和偏置参数；
具体地，所述模块M3中LSTM模型包括隐藏层、多输入和多输出的网络结构；
所述输入层的特征是11个，包括过街行人的速度(X、Y方向)、过街行人的位置(X、Y方向)、过街行人的年龄、过街行人的性别、车辆的速度(X、Y方向)、车辆的位置(X、Y方向)和车辆的车型；
所述隐藏层包括门控单元和输入输出单元；门控单元采用sigmoid激活函数；所述输入输出单元采用tanh激活函数；隐藏层结点数设定为256；
所述输出层包括输出的信息为过街行人未来第一预设时长内的运动轨迹；
通过对车载传感器获取的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，将预处理后的数据导入到LSTM模型，根据梯度下降法多次迭代训练LSTM模型的结构权重和偏置参数。通过训练结构权重和偏置参数使得LSTM模型快速收敛，提高预测的准确性。
所述LSTM模型常用于时间序列的预测。
模块M4：利用社会力模型预测正在过街的行人未来第一预设时长内的运动轨迹；
具体地，所述模块M4包括：
对于目标过街行人a，社会力包括目标点对过街行人a的驱动力
Figure BDA0002463757410000131
斑马线对过街行人a的边界力
Figure BDA0002463757410000132
过街行人a受到冲突行人的作用力
Figure BDA0002463757410000133
过街行人a受到冲突车辆的作用力
Figure BDA0002463757410000134
过街行人a受到信号灯的作用力
Figure BDA0002463757410000135
过街行人a所受的合力为：
Figure BDA0002463757410000136
在合力的驱动下，生成过街行人a的预测轨迹，以时间步长Δt向前推算行人的速度与位置，时刻t到时刻t+1的递推公式为：
Figure BDA0002463757410000137
Figure BDA0002463757410000138
其中，
Figure BDA0002463757410000139
表示过街行人a在t+1时刻的速度；
Figure BDA00024637574100001310
表示过街行人a在t时刻的速度；Δt表示时间步长；
Figure BDA00024637574100001311
表示过街行人a在t时刻受到社会力合力的大小；
Figure BDA00024637574100001312
表示过街行人a在t+1时刻的位置；
Figure BDA00024637574100001313
表示过街行人a在t时刻的位置。递推过程持续进行直到获得过街行人未来第一预设时长内的运动轨迹；
所述驱动力、边界力、作用力均是通过完成社会力模型参数标定后的社会力模型给出的。
模块M5：利用LSTM模型预测正在过街的行人未来第一预设时长内的运动轨迹；
具体地，所述模块M5包括：
通过车载传感器，获取当前车辆和过街行人的11个特征，包括过街行人的速度(X,Y方向)、位置(X,Y方向)、年龄、性别，车辆的速度(X,Y方向)、车辆的位置(X,Y方向)和车辆的车型，经过数据归一化操作，导入到训练好的LSTM模型中，输出预测数据，并将输出的预测数据进行反归一化，得到过街行人未来第一预设时长内的运动轨迹。
所述归一化是将11个数据缩放到(0,1)以内的值，反归一化是将11个数据还原到原坐标系或原标签下的值，通过相关数据的反归一化，可以获得过街行人未来第一预设时长内的运动轨迹。
模块M6：通过社会力模型预测的过街行人轨迹、LSTM模型预测的过街行人轨迹以及过街行人实际轨迹真值，将轨迹数据导入到Stacking融合模型，来训练Stacking融合模型的结构权重；
具体地，所述模块M6包括：
对包含社会力模型预测轨迹值、LSTM模型预测轨迹值和行人实际轨迹真值进行5折交叉验证；
Stacking模型的第一层中将社会力模型和LSTM模型的预测轨迹输出作为第二层的特征输入，根据第二层的特征输入与行人实际轨迹真值对比，训练第二层模型；通过学习第一层中社会力模型和LSTM模型的表现，并根据社会力模型、LSTM模型分别与实际轨迹真值的误差赋予社会力模型和LSTM模型不同的权重。
将第一层中的社会力模型和LSTM模型的预测轨迹数据以及真实轨迹数据作为第二层模型的输入，通过梯度下降法，多次迭代训练出相关社会力模型和LSTM模型不同的权重数据，从而获得精准、稳健、鲁棒的stacking模型。赋予子模型不同的权重的目的是融合两个模型的优点，以达到减小方差、偏差和提升预测精度的效果，能够更准确的预测行人轨迹。相关轨迹误差越大，赋予子模型的权重越小，两者之间存在相对线性的关系。子模型的相关权重是通过训练第二层模型获得的。
模块M7：利用Stacking融合模型融合社会力模型和LSTM模型，针对正在过街的行人，输出最优的过街行人未来第一预设时长内的预测轨迹；
所述Stacking融合模型是将基模型(第一层模型)的输出结果作为新特征输入到其它模型(第二层模型)，这种方法实现了模型的堆叠，即第一层的模型输出作为第二层模型的特征输入，最后第二层模型输出的结果作为最终预测结果。
作用是通过对多个模型的输出结果进行泛化，以获得整体预测精度的提升。
实施例2
实施例2是实施例1的变化例
所设计的LSTM模型具有一层隐藏层、多输入和多输出的网络结构，输入层的特征是11，其中分别是过街行人的速度(X,Y方向)、位置(X,Y方向)、年龄和性别，以及车辆的速度(X,Y方向)、位置(X,Y方向)和车型，隐藏层中的门控单元采用sigmoid激活函数，输入输出单元采用tanh激活函数，隐藏层结点数设定为256，输出层的输出信息为过街行人未来第一预设时长内的运动轨迹(X,Y方向)；
LSTM单元包括3个控制门，分别是输入门，遗忘门和输出门，用来控制输入、输出以及跨越时间步骤自身的内部状态三者之间的关系，跨越时间步骤自身的内部状态是指LSTM模型的相关隐含状态、语义向量沿着时间序列不断往下传递。相关计算如下：
it＝σ(Wi·[ht-1，Xt]+bi) (1)
ft＝σ(Wf·[ht-1，Xt]+bf) (2)
ot＝σ(Wo·[ht-1，Xt]+bo) (3)
Ct＝ft*Ct-1+it*tanh(Wc·[ht-1,Xt]+bc) (4)
ht＝ot*tanh(Ct) (5)
其中，it表示输入门；ft表示遗忘门；Ot表示输出门；Ct表示当前t时刻的单元状态；ht表示当前t时刻的隐藏状态；Ct-1表示上一时刻的单元状态；ht-1表示上一时刻的隐藏状态；Xt表示当前t时刻的输入向量；Wi表示输入门的权重矩阵；Wf表示遗忘门的权重矩阵；Wo表示输出门的权重矩阵；Wc表示单元状态的权重矩阵；bi表示输入门的偏置项；bf表示遗忘门的偏置项；bo表示输出门的偏置项；bc表示单元状态的偏置项；σ表示sigmoid函数；tanh表示tanh函数；
通过自动驾驶汽车车载传感器获取的过街行人运动状态信息、个体特征信息以及车辆运动状态信息，导入到LSTM模型，来训练神经网络模型的结构权重和偏置参数。
基于社会力模型的过街行人轨迹预测步骤：对于某目标过街行人α，社会力包括目标点对过街行人α的驱动力
Figure BDA0002463757410000151
斑马线对过街行人α边界力
Figure BDA0002463757410000152
过街行人α受到冲突行人的作用力
Figure BDA0002463757410000153
过街行人α受到冲突车辆的作用力
Figure BDA0002463757410000154
过街行人α受到信号灯的作用力
Figure BDA0002463757410000155
所述目标点对过街行人α的驱动力
Figure BDA0002463757410000156
为：
Figure BDA0002463757410000157
其中，Vd表示过街行人α的理想速度大小；
Figure BDA0002463757410000158
表示过街行人α的单位向量，其方向为行人当前位置指向行人目标点；τα表示过街行人α的反应时间；
Figure BDA0002463757410000159
表示通过传感器获得的行人过街速度。
所述斑马线对过街行人α的边界力
Figure BDA00024637574100001510
为：
Figure BDA0002463757410000161
其中，当过街行人α在斑马线外时，会受到斑马线对其吸引作用力，使其有向斑马线内运动的趋势，当过街行人α在斑马线内时，会受到斑马线对其排斥力的作用，使其保持在斑马线内运动；
Figure BDA0002463757410000162
表示斑马线对过街行人α的吸引力；
Figure BDA0002463757410000163
表示斑马线对过街行人α的排斥力；
Figure BDA0002463757410000164
表示斑马线对过街行人α的作用力强度；
Figure BDA0002463757410000165
表示斑马线对过街行人α的作用力范围；rα表示过街行人α的半径；dα表示斑马线和过街行人α之间的距离；
Figure BDA0002463757410000166
表示单位向量，方向由过街行人α指向斑马线；
Figure BDA0002463757410000167
表示单位向量，方向由斑马线指向过街行人α；
所述过街行人α行人受到冲突行人的作用力
Figure BDA0002463757410000168
为：
Figure BDA0002463757410000169
其中，当过街行人α在行走时，在与其他行人将要发生冲突时，行人α会采取减速避让或者停下来避免冲突；Ap表示冲突行人对过街行人α的作用力强度；Bp表示冲突行人对过街行人α的作用力范围；rij表示过街行人α和冲突行人的半径和；bi表示过街行人α和冲突行人之间的距离；
Figure BDA00024637574100001610
表示冲突行人的当前位置；
Figure BDA00024637574100001611
表示冲突行人的当前速度；
Figure BDA00024637574100001612
表示过街行人α的当前位置；Δt表示时间步长；
Figure BDA00024637574100001613
表示单位向量，方向由过街行人βi指向过街行人α。下标βi表示过街行人βi，下标α表示过街行人α。n表示单位向量；
所述过街行人α行人受到冲突车辆的作用力
Figure BDA00024637574100001614
为：
Figure BDA00024637574100001615
其中，当过街行人α在行走时，在与其他车辆将要发生冲突时，行人α会采取减速避让或者加速离开来避免冲突；当过街行人α在车辆外侧时，会受到车辆对其排斥力，使其减速避让或者停下来，当过街行人α在车辆前方时，会受到车辆对其加速力的作用，使其加速离开避免冲突；
Figure BDA0002463757410000171
表示冲突车辆对过街行人α的加速力；
Figure BDA0002463757410000172
表示冲突车辆对过街行人α的排斥力；
Figure BDA0002463757410000173
表示冲突车辆对过街行人α的作用力强度；
Figure BDA0002463757410000174
表示冲突车辆对过街行人α的作用力范围；rvα表示过街行人α与冲突车辆的半径和；dvα表示过街行人α与冲突车辆之间的距离；
Figure BDA0002463757410000175
表示过街行人α的单位向量，其方向为行人当前位置指向行人目标点；
Figure BDA0002463757410000176
表示单位向量，方向由冲突车辆指向过街行人α；
所述过街行人α受到信号灯的作用力
Figure BDA0002463757410000177
为：
Figure BDA0002463757410000178
其中，当过街行人α在行走时，信号灯闪烁即将由绿灯变为红灯，过街行人受到信号灯的吸引力，会加速离开斑马线；As表示红绿灯对过街行人α的作用力强度；Bs表示红绿灯对过街行人α的作用力范围；
Figure BDA0002463757410000179
表示过街行人α的当前位置；
Figure BDA00024637574100001710
表示过街行人α的目标点位置；
Figure BDA00024637574100001711
表示过街行人α的单位向量，其方向为行人当前位置指向行人目标点；
所述过街行人α受到的合力
Figure BDA00024637574100001712
为：
Figure BDA00024637574100001713
在合力的驱动下，生成过街行人α的预测轨迹，以时间步长Δt向前推算行人的速度与位置，时刻t到时刻t+1的递推公式为：
Figure BDA00024637574100001714
Figure BDA00024637574100001715
其中，
Figure BDA00024637574100001716
表示过街行人a在t+1时刻的速度；
Figure BDA00024637574100001717
表示过街行人a在t时刻的速度；Δt表示时间步长；
Figure BDA00024637574100001718
表示过街行人a在t时刻受到社会力合力的大小；
Figure BDA00024637574100001719
表示过街行人a在t+1时刻的位置；
Figure BDA00024637574100001720
表示过街行人a在t时刻的位置。递推过程持续进行直到获得过街行人未来第一预设时长内的运动轨迹；
实施例3
实施例3是实施例1和/或实施例2的变化例
如图2所示，对于无信号灯控制的斑马线路口，过街行人沿东西方向行走在斑马线上，自动驾驶车辆沿着南北方向直行。融合社会力模型和LSTM模型预测自动驾驶汽车过街行人轨迹；
选取几个典型的无信号灯控制的斑马线路口，包含人车交互场景以及不同种类的行人，共采集12个小时以上的过街行人以及车辆的交通流视频。
通过对拍摄视频的预处理，可以获得过街行人一段时间内的真实轨迹，设置同样的过街行人行走场景，给定社会力模型参数某一初值，通过社会力模型得到行人行走的预测轨迹，利用真实轨迹和和预测轨迹的差异构造最大似然函数，通过最大似然估计法不断迭代，最终完成社会力模型参数的标定。
实施例4
实施例4是实施例1、实施例2和/或实施例3的变化例
如图3所示，在有信号灯控制的斑马线路口，过街行人沿东西方向行走在斑马线上，自动驾驶车辆沿着南北方向直行、左转或者右转，在左转和右转的场景下会与过街行人发生交互影响。融合社会力模型和LSTM模型预测自动驾驶汽车过街行人轨迹；
选取几个典型的有信号灯控制的斑马线路口，包含人车交互场景以及不同种类的行人，共采集12个小时以上的过街行人以及车辆的交通流视频。
通过对视频处理，可以获得过街行人一段时间内的真实轨迹，设置同样的过街行人行走场景，给定社会力模型参数某一初值，通过社会力模型得到过街行人行走的预测轨迹，此处的社会力模型中加入了信号灯对过街行人的作用力，利用真实轨迹和和预测轨迹的差异构造最大似然函数，通过最大似然估计法进行不断迭代，最终完成社会力模型参数的标定。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种融合的自动驾驶汽车过街行人轨迹预测方法，其特征在于，包括：
步骤M1：根据车载传感器通过融合算法，获得车辆安全包络线范围内的过街行人运动状态信息、行人个体特征信息及自动驾驶车辆运动状态信息；
步骤M2：通过对车载传感器获得的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，利用最大似然估计法，对社会力模型中的参数进行标定；
步骤M3：通过对车载传感器获取的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，将预处理后的数据导入到LSTM模型，来训练LSTM模型的结构权重和偏置参数；
步骤M4：利用社会力模型预测正在过街的行人未来第一预设时长内的运动轨迹；
步骤M5：利用LSTM模型预测正在过街的行人未来第一预设时长内的运动轨迹；
步骤M6：通过社会力模型预测的过街行人轨迹、LSTM模型预测的过街行人轨迹以及过街行人实际轨迹真值，将轨迹数据导入到Stacking融合模型，来训练Stacking融合模型的结构权重；
步骤M7：利用Stacking融合模型融合社会力模型和LSTM模型，针对正在过街的行人，输出最优的过街行人未来第一预设时长内的预测轨迹；
所述Stacking融合模型是第一层的模型输出作为第二层模型的特征输入，最后第二层模型输出的结果作为最终预测结果获得整体预测精度的提升；
所述步骤M6包括：
对包含社会力模型预测轨迹值、LSTM模型预测轨迹值和行人实际轨迹真值进行5折交叉验证；
Stacking模型的第一层中将社会力模型和LSTM模型的预测轨迹输出作为第二层的特征输入，根据第二层的特征输入与行人实际轨迹真值对比，训练第二层模型；通过学习第一层中社会力模型和LSTM模型的表现，并根据社会力模型、LSTM模型分别与实际轨迹真值的误差赋予社会力模型和LSTM模型不同的权重。
2.根据权利要求1所述的融合的自动驾驶汽车过街行人轨迹预测方法，其特征在于，所述步骤M1包括：选取行人和车辆在自由流情况下的斑马线区域，利用自动驾驶汽车搭载的包括激光、摄像头和/或毫米波雷达传感器，通过多个传感器信息融合算法，获取车辆安全包络线范围内的过街行人运动状态信息、行人个体特征信息及车辆运动状态信息；
所述过街行人运动状态信息包括行人当前的位置和行人当前的速度；
所述过街行人个体特征信息包括过街行人年龄、性别，以及不同年龄和性别的行人，在过街时的理想速度vd、最大速度vmax以及反应时间τ；
所述理想速度vd指：不同年龄和性别的行人，在过街时没有任何外界干扰的情况下行走的平均速度；
所述最大速度vmax是不同年龄和性别的行人，在信号灯闪烁即将由绿灯变为红灯时过街行人加速通过斑马线时所能够达到的最大速度；
反应时间τ是不同年龄和性别的行人，从当前速度变化到理想速度vd所需要的时间；
所述车辆运动状态信息包括：车辆当前位置、车速以及车型。
3.根据权利要求1所述的融合的自动驾驶汽车过街行人轨迹预测方法，其特征在于，所述步骤M2包括：
根据自动驾驶汽车传感器获取的过街行人运动状态信息、个体特征信息以及车辆运动状态信息，通过数据预处理，获得初始条件下过街行人行走的真实轨迹，根据初始条件下过街行人行走的真实轨迹，给定社会力模型参数初值，通过社会力模型得到过街行人行走的预测轨迹，利用真实轨迹和和预测轨迹的差异构造最大似然函数，通过最大似然估计法不断迭代，最终完成社会力模型参数的标定。
4.根据权利要求1所述的融合的自动驾驶汽车过街行人轨迹预测方法，其特征在于，所述步骤M3中LSTM模型包括隐藏层、多输入和多输出的网络结构；
所述输入层包括过街行人的速度、过街行人的位置、过街行人的年龄、过街行人的性别、车辆的速度、车辆的位置和车辆的车型；
所述隐藏层包括门控单元和输入输出单元；门控单元采用sigmoid激活函数；所述输入输出单元采用tanh激活函数；
所述输出层包括输出的信息为过街行人未来第一预设时长内的运动轨迹；
通过对车载传感器获取的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，将预处理后的数据导入到LSTM模型，根据梯度下降法多次迭代训练LSTM模型的结构权重和偏置参数。
5.根据权利要求1所述的融合的自动驾驶汽车过街行人轨迹预测方法，其特征在于，所述步骤M4包括：
对于目标过街行人a，社会力包括目标点对过街行人a的驱动力
Figure FDA0003194188230000031
斑马线对过街行人a的边界力
Figure FDA0003194188230000032
过街行人a受到冲突行人的作用力
Figure FDA0003194188230000033
过街行人a受到冲突车辆的作用力
Figure FDA0003194188230000034
过街行人a受到信号灯的作用力
Figure FDA0003194188230000035
过街行人a所受的合力为：
Figure FDA0003194188230000036
在合力的驱动下，生成过街行人a的预测轨迹，以时间步长Δt向前推算行人的速度与位置，时刻t到时刻t+1的递推公式为：
Figure FDA0003194188230000037
Figure FDA0003194188230000038
其中，
Figure FDA0003194188230000039
表示过街行人a在t+1时刻的速度；
Figure FDA00031941882300000310
表示过街行人a在t时刻的速度；Δt表示时间步长；
Figure FDA00031941882300000311
表示过街行人a在t时刻受到社会力合力的大小；
Figure FDA00031941882300000312
表示过街行人a在t+1时刻的位置；
Figure FDA00031941882300000313
表示过街行人a在t时刻的位置；递推过程持续进行直到获得过街行人未来第一预设时长内的运动轨迹。
6.根据权利要求1所述的融合的自动驾驶汽车过街行人轨迹预测方法，其特征在于，所述步骤M5包括：
通过车载传感器，获取当前车辆和过街行人的包括过街行人的速度、位置、年龄、性别，车辆的速度、车辆的位置和车辆的车型，经过数据归一化操作，导入到训练好的LSTM模型中，输出预测数据，并将输出的预测数据进行反归一化，得到过街行人未来第一预设时长内的运动轨迹。
7.一种融合的自动驾驶汽车过街行人轨迹预测系统，其特征在于，包括：
模块M1：根据车载传感器通过融合算法，获得车辆安全包络线范围内的过街行人运动状态信息、行人个体特征信息及车辆运动状态信息；
模块M2：通过对车载传感器获得的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，利用最大似然估计法，对社会力模型中的参数进行标定；
模块M3：通过对车载传感器获取的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，将预处理后的数据导入到LSTM模型，来训练LSTM模型的结构权重和偏置参数；
模块M4：利用社会力模型预测正在过街的行人未来第一预设时长内的运动轨迹；
模块M5：利用LSTM模型预测正在过街的行人未来第一预设时长内的运动轨迹；
模块M6：通过社会力模型预测的过街行人轨迹、LSTM模型预测的过街行人轨迹以及过街行人实际轨迹真值，将轨迹数据导入到Stacking融合模型，来训练Stacking融合模型的结构权重；
模块M7：利用Stacking融合模型融合社会力模型和LSTM模型，针对正在过街的行人，输出最优的过街行人未来第一预设时长内的预测轨迹；
所述Stacking融合模型是第一层的模型输出作为第二层模型的特征输入，最后第二层模型输出的结果作为最终预测结果获得整体预测精度的提升；
所述模块M6包括：
对包含社会力模型预测轨迹值、LSTM模型预测轨迹值和行人实际轨迹真值进行5折交叉验证；
Stacking模型的第一层中将社会力模型和LSTM模型的预测轨迹输出作为第二层的特征输入，根据第二层的特征输入与行人实际轨迹真值对比，训练第二层模型；通过学习第一层中社会力模型和LSTM模型的表现，并根据社会力模型、LSTM模型分别与实际轨迹真值的误差赋予社会力模型和LSTM模型不同的权重。
8.根据权利要求7所述的融合的自动驾驶汽车过街行人轨迹预测系统，其特征在于，所述模块M1包括：选取行人和车辆在自由流情况下的斑马线区域，利用自动驾驶汽车搭载的包括激光、摄像头和/或毫米波雷达传感器，通过多个传感器信息融合算法，获取车辆安全包络线范围内的过街行人运动状态信息、行人个体特征信息及车辆运动状态信息；
所述过街行人运动状态信息包括行人当前的位置和行人当前的速度；
所述过街行人个体特征信息包括过街行人年龄、性别，以及不同年龄和性别的行人，在过街时的理想速度vd、最大速度vmax以及反应时间τ；
所述理想速度vd指：不同年龄和性别的行人，在过街时没有任何外界干扰的情况下行走的平均速度；
所述最大速度vmax是不同年龄和性别的行人，在信号灯闪烁即将由绿灯变为红灯时过街行人加速通过斑马线时所能够达到的最大速度；
反应时间τ是不同年龄和性别的行人，从当前速度变化到理想速度vd所需要的时间；
所述车辆运动状态信息包括：车辆当前位置、车速以及车型；
所述模块M2包括：
根据自动驾驶汽车传感器获取的过街行人运动状态信息、个体特征信息以及车辆运动状态信息，通过数据预处理，获得初始条件下过街行人行走的真实轨迹，根据初始条件下过街行人行走的真实轨迹，给定社会力模型参数初值，通过社会力模型得到过街行人行走的预测轨迹，利用真实轨迹和和预测轨迹的差异构造最大似然函数，通过最大似然估计法不断迭代，最终完成社会力模型参数的标定；
所述模块M3中LSTM模型包括隐藏层、多输入和多输出的网络结构；
所述输入层包括过街行人的速度、过街行人的位置、过街行人的年龄、过街行人的性别、车辆的速度、车辆的位置和车辆的车型；
所述隐藏层包括门控单元和输入输出单元；门控单元采用sigmoid激活函数；所述输入输出单元采用tanh激活函数；
所述输出层包括输出的信息为过街行人未来第一预设时长内的运动轨迹；
通过对车载传感器获取的过街行人运动状态数据、行人个体特征数据以及自动驾驶车辆本身的运动状态数据的预处理，将预处理后的数据导入到LSTM模型，根据梯度下降法多次迭代训练LSTM模型的结构权重和偏置参数。
9.根据权利要求7所述的融合的自动驾驶汽车过街行人轨迹预测系统，其特征在于，所述模块M4包括：
对于目标过街行人a，社会力包括目标点对过街行人a的驱动力
Figure FDA0003194188230000051
斑马线对过街行人a的边界力
Figure FDA0003194188230000052
过街行人a受到冲突行人的作用力
Figure FDA0003194188230000053
过街行人a受到冲突车辆的作用力
Figure FDA0003194188230000054
过街行人a受到信号灯的作用力
Figure FDA0003194188230000055
过街行人a所受的合力为：
Figure FDA0003194188230000056
在合力的驱动下，生成过街行人a的预测轨迹，以时间步长Δt向前推算行人的速度与位置，时刻t到时刻t+1的递推公式为：
Figure FDA0003194188230000057
Figure FDA0003194188230000058
其中，
Figure FDA0003194188230000059
表示过街行人a在t+1时刻的速度；
Figure FDA00031941882300000510
表示过街行人a在t时刻的速度；Δt表示时间步长；
Figure FDA00031941882300000511
表示过街行人a在t时刻受到社会力合力的大小；
Figure FDA00031941882300000512
表示过街行人a在t+1时刻的位置；
Figure FDA00031941882300000513
表示过街行人a在t时刻的位置；递推过程持续进行直到获得过街行人未来第一预设时长内的运动轨迹；
所述模块M5包括：
通过车载传感器，获取当前车辆和过街行人的包括过街行人的速度、位置、年龄、性别，车辆的速度、车辆的位置和车辆的车型，经过数据归一化操作，导入到训练好的LSTM模型中，输出预测数据，并将输出的预测数据进行反归一化，得到过街行人未来第一预设时长内的运动轨迹。
CN202010327545.9A 2020-04-23 2020-04-23 一种融合的自动驾驶汽车过街行人轨迹预测方法及系统 Active CN111459168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010327545.9A CN111459168B (zh) 2020-04-23 2020-04-23 一种融合的自动驾驶汽车过街行人轨迹预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010327545.9A CN111459168B (zh) 2020-04-23 2020-04-23 一种融合的自动驾驶汽车过街行人轨迹预测方法及系统

Publications (2)

Publication Number Publication Date
CN111459168A CN111459168A (zh) 2020-07-28
CN111459168B true CN111459168B (zh) 2021-12-10

Family

ID=71685363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010327545.9A Active CN111459168B (zh) 2020-04-23 2020-04-23 一种融合的自动驾驶汽车过街行人轨迹预测方法及系统

Country Status (1)

Country Link
CN (1) CN111459168B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220089152A1 (en) * 2020-09-21 2022-03-24 Hyundai Motor Company Apparatus and method for controlling autonomous driving of vehicle

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112639910B (zh) * 2020-09-25 2022-05-17 华为技术有限公司 交通元素的观测方法和装置
CN112329682B (zh) * 2020-11-16 2024-01-26 常州大学 一种基于穿越动作和交通场景上下文因素的行人穿越马路意图识别方法
CN114511999B (zh) * 2020-11-17 2023-09-01 宇通客车股份有限公司 一种行人行为预测方法及装置
CN113239725B (zh) * 2021-04-04 2023-07-21 北方工业大学 一种等待过街行人及过街方向识别方法及系统
CN113257008B (zh) * 2021-05-12 2022-06-21 兰州交通大学 基于深度学习的行人流量动态控制系统及方法
EP4339832A1 (en) * 2021-05-31 2024-03-20 Huawei Cloud Computing Technologies Co., Ltd. Method for constructing ai integrated model, and inference method and apparatus of ai integrated model
CN113807298B (zh) * 2021-07-26 2024-03-29 北京易航远智科技有限公司 行人过街意图预测方法、装置、电子设备及可读存储介质
CN113793497B (zh) * 2021-08-04 2022-09-20 东南大学 一种考虑多因素的行人过街行为预测方法
CN113569980B (zh) * 2021-08-12 2023-09-01 中山大学 一种复杂环境下的行人移动轨迹在线预测方法及系统
CN113808394B (zh) * 2021-08-27 2022-09-30 东南大学 一种基于风险组合模式的过街通道安全评价方法
CN113741459A (zh) * 2021-09-03 2021-12-03 阿波罗智能技术(北京)有限公司 确定训练样本的方法和自动驾驶模型的训练方法、装置
CN113793502B (zh) * 2021-09-15 2022-08-09 国网电动汽车服务(天津)有限公司 无信号灯控制下的行人过街预测方法
CN114446046A (zh) * 2021-12-20 2022-05-06 上海智能网联汽车技术中心有限公司 一种基于lstm模型的弱势交通参与者轨迹预测方法
CN116069879B (zh) * 2022-11-14 2023-06-20 成都信息工程大学 一种预测行人轨迹的方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156890A (zh) * 2016-07-07 2016-11-23 北京交通大学 一种城市轨道交通通道内客流检测和预测方法及其系统
CN108319293A (zh) * 2018-01-17 2018-07-24 哈尔滨工程大学 一种基于lstm网络的uuv实时避碰规划方法
CN108805015A (zh) * 2018-04-26 2018-11-13 常州大学 加权卷积自编码长短期记忆网络人群异常检测方法
CN109145744A (zh) * 2018-07-19 2019-01-04 西安理工大学 一种基于自适应预测模式的lstm网络行人重识别方法
CN109300144A (zh) * 2018-09-21 2019-02-01 中国矿业大学 一种融合社会力模型和卡尔曼滤波的行人轨迹预测方法
CN110414365A (zh) * 2019-07-03 2019-11-05 上海交通大学 基于社会力模型的过街行人轨迹预测方法、系统及介质
CN110737968A (zh) * 2019-09-11 2020-01-31 北京航空航天大学 基于深层次卷积长短记忆网络的人群轨迹预测方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10635909B2 (en) * 2015-12-30 2020-04-28 Texas Instruments Incorporated Vehicle control with efficient iterative triangulation
US10611371B2 (en) * 2017-09-14 2020-04-07 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for vehicle lane change prediction using structural recurrent neural networks
US11050656B2 (en) * 2018-05-10 2021-06-29 Dell Products L.P. System and method to learn and prescribe network path for SDN
CN110210417B (zh) * 2019-06-05 2021-09-28 达闼机器人有限公司 一种行人运动轨迹的预测方法、终端及可读存储介质
CN111046919B (zh) * 2019-11-21 2023-05-12 南京航空航天大学 一种融合行为意图的周围动态车辆轨迹预测系统及方法
CN110955965A (zh) * 2019-11-25 2020-04-03 中国科学院计算技术研究所 一种考虑交互作用的行人运动预测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156890A (zh) * 2016-07-07 2016-11-23 北京交通大学 一种城市轨道交通通道内客流检测和预测方法及其系统
CN108319293A (zh) * 2018-01-17 2018-07-24 哈尔滨工程大学 一种基于lstm网络的uuv实时避碰规划方法
CN108805015A (zh) * 2018-04-26 2018-11-13 常州大学 加权卷积自编码长短期记忆网络人群异常检测方法
CN109145744A (zh) * 2018-07-19 2019-01-04 西安理工大学 一种基于自适应预测模式的lstm网络行人重识别方法
CN109300144A (zh) * 2018-09-21 2019-02-01 中国矿业大学 一种融合社会力模型和卡尔曼滤波的行人轨迹预测方法
CN110414365A (zh) * 2019-07-03 2019-11-05 上海交通大学 基于社会力模型的过街行人轨迹预测方法、系统及介质
CN110737968A (zh) * 2019-09-11 2020-01-31 北京航空航天大学 基于深层次卷积长短记忆网络的人群轨迹预测方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
《Human trajectory prediction in crowded scene using social-affinity Long Short-Term Memory》;Zhao Pei 等;《Pattern Recognition》;20190426;第668-674页 *
《Pedestrian Path Prediction at Un-signalized Crosswalk by Integrating MSFM and Att-LSTM》;Hao Chen 等;《2020年中国自动化大会》;20201108;第1-13页 *
《Pedestrian Path Prediction for Autonomous Driving at Un-Signalized Crosswalk Using W/CDM and MSFM》;Xi Zhang 等;《IEEE》;20200313;第4032-4041页 *
《基于多模型融合Stacking集成学习方式的负荷预测方法》;史佳琪 等;《中国电机工程学报》;20190720;第273-282页 *
《基于注意力机制的行人轨迹预测生成模型》;孙亚圣 等;《计算机应用》;20190310;第7673-7678页 *
《结合社会特征和注意力的行人轨迹预测模型》;张志远 等;《西安电子科技大学学报》;20200228;第10-17页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220089152A1 (en) * 2020-09-21 2022-03-24 Hyundai Motor Company Apparatus and method for controlling autonomous driving of vehicle

Also Published As

Publication number Publication date
CN111459168A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111459168B (zh) 一种融合的自动驾驶汽车过街行人轨迹预测方法及系统
Deo et al. Multi-modal trajectory prediction of surrounding vehicles with maneuver based lstms
CN110414365B (zh) 基于社会力模型的过街行人轨迹预测方法、系统及介质
Hou et al. Interactive trajectory prediction of surrounding road users for autonomous driving using structural-LSTM network
Zhang et al. Human-like autonomous vehicle speed control by deep reinforcement learning with double Q-learning
Lee et al. Convolution neural network-based lane change intention prediction of surrounding vehicles for ACC
Dong et al. Intention estimation for ramp merging control in autonomous driving
EP3959576A1 (en) Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout
CN110843789B (zh) 一种基于时序卷积网络的车辆换道意图预测方法
CN112085077B (zh) 车辆变道的确定方法、装置、存储介质和电子设备
Li et al. Development and evaluation of two learning-based personalized driver models for pure pursuit path-tracking behaviors
Jeong et al. Bidirectional long shot-term memory-based interactive motion prediction of cut-in vehicles in urban environments
US20220227397A1 (en) Dynamic model evaluation package for autonomous driving vehicles
Wang et al. Development and evaluation of two learning-based personalized driver models for car-following behaviors
Okuda et al. Quantitative driver acceptance modeling for merging car at highway junction and its application to the design of merging behavior control
CN114462667A (zh) 一种基于sfm-lstm神经网络模型的过街行人轨迹预测方法
Meghjani et al. Context and intention aware planning for urban driving
Singh et al. Dynamic classification of ballistic missiles using neural networks and hidden Markov models
CN114446046A (zh) 一种基于lstm模型的弱势交通参与者轨迹预测方法
Girma et al. Deep learning with attention mechanism for predicting driver intention at intersection
Guo et al. Human-like behavior generation for intelligent vehicles in urban environment based on a hybrid potential map
Mänttäri et al. Learning to predict lane changes in highway scenarios using dynamic filters on a generic traffic representation
John et al. Estimation of steering angle and collision avoidance for automated driving using deep mixture of experts
Ilić et al. Predicting positions and velocities of surrounding vehicles using deep neural networks
Benterki et al. Driving intention prediction and state recognition on highway

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant