CN114462667A - 一种基于sfm-lstm神经网络模型的过街行人轨迹预测方法 - Google Patents

一种基于sfm-lstm神经网络模型的过街行人轨迹预测方法 Download PDF

Info

Publication number
CN114462667A
CN114462667A CN202111566614.2A CN202111566614A CN114462667A CN 114462667 A CN114462667 A CN 114462667A CN 202111566614 A CN202111566614 A CN 202111566614A CN 114462667 A CN114462667 A CN 114462667A
Authority
CN
China
Prior art keywords
pedestrian
neural network
street
network model
crossing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111566614.2A
Other languages
English (en)
Inventor
张希
殷承良
赵柏暄
陈浩
林一伟
秦超
张宇超
高瑞金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Shanghai Intelligent and Connected Vehicle R&D Center Co Ltd
Original Assignee
Shanghai Jiaotong University
Shanghai Intelligent and Connected Vehicle R&D Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, Shanghai Intelligent and Connected Vehicle R&D Center Co Ltd filed Critical Shanghai Jiaotong University
Priority to CN202111566614.2A priority Critical patent/CN114462667A/zh
Publication of CN114462667A publication Critical patent/CN114462667A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/091—Traffic information broadcasting
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于SFM‑LSTM神经网络模型的过街行人轨迹预测方法，该方法包括以下步骤：步骤1：获取过街行人运动状态信息、个体特征信息和人车交互场景信息；步骤2：进行数据预处理和数据增强，建立行人轨迹数据集；步骤3：建立并训练LSTM神经网络模型；步骤4：通过训练后的LSTM神经网络模型获取过街行人的预测轨迹；步骤5：采用最大似然估计法对社会力模型进行参数标定；步骤6：根据社会力模型对预测轨迹进行修正，并输出过街行人的最优预测轨迹；步骤7：将最优预测轨迹广播至附近的车辆，以协助智能网联车辆进行决策，与现有技术相比，本发明具有提高行人过街的安全性、降低车辆的延误率和提高道路的通行能力等优点。

Description

一种基于SFM-LSTM神经网络模型的过街行人轨迹预测方法
技术领域
本发明涉及智能网联汽车车路协同领域，尤其是涉及一种基于SFM-LSTM神经网络模型的过街行人轨迹预测方法。
背景技术
近年来，随着智能网联汽车技术的高速发展，越来越多的车型具备了不同程度的自动驾驶能力，高级辅助驾驶系统(Advanced Driver Assistant System,ADAS)中的车道保持辅助(Lane Keeping Assistance System,LKAS)，前向碰撞预警(Forward CollisionWarning System,FCWS)，自适应巡航(Adaptive Cruise Control,ACC)等功能已经实装在了一部分中高端品牌的车型上，成为其标配。
行人安全保护是智能网联汽车必须考虑的一个重要因素，但仅依赖单车智能保证行人安全一方面需要消耗大量的车载计算资源，另一方面难以应对单车感知盲区问题，如“鬼探头”场景。依靠路侧感知、计算设备进行行人轨迹预测可有效解决这一问题。行人作为交通的主要参与者，其运动相比车辆运动更为复杂多变，并且具有很大的灵活性和随机性，对于智能网联汽车而言，对行人运动规律的理解和行为轨迹预测是一个难点。
目前，涉及行人保护的自动驾驶相关研究主要集中在环境感知层，包括提升图像算法识别行人的准确率，多传感器融合的行人检测等等，实际运用中，对行人的处理也大多停留在利用传感器识别出行人，当车辆前方一定安全距离内出现行人时，立即停车避让，或是使用简单的匀速(Constant Velocity，CV)模型和匀加速(Constant Acceleration，CA)模型来描述行人的行走行为，将其定义为移动障碍物进行避障。然而，行人的移动具有高度的灵活性，上述处理方法或是过于保守，使行车过程不自然，影响通行效率和车上乘客的驾乘体验，或是对行人行走行为的解析不足，无法进行准确的预判，从而对行人保护程度不够，严重时后果不堪设想。
在行人轨迹预测方法中，社会力模型(Social Force Model，SFM)是一种行人微观动力学的方法，在特定的场景下，给定初始条件，利用社会力模型可以生成符合行人行走规律的轨迹，用这些生成的轨迹作为预测值也是行人轨迹预测的一种思路，利用深度学习长短时记忆网络(LSTM)模型对行人的轨迹进行预测，虽预测效果较好，但仅仅是孤立的考虑单个行人的轨迹预测，未考虑车辆以及周围行人对目标行人的影响。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于SFM-LSTM神经网络模型的过街行人轨迹预测方法。
本发明的目的可以通过以下技术方案来实现：
一种基于SFM-LSTM神经网络模型的过街行人轨迹预测方法，该方法包括以下步骤：
步骤1：通过多传感器进行数据采集，以获取过街行人运动状态信息、个体特征信息和人车交互场景信息；
步骤2：进行数据预处理和数据增强，建立行人轨迹数据集；
步骤3：建立LSTM神经网络模型，基于行人轨迹数据集对LSTM神经网络模型进行训练；
步骤4：通过训练后的LSTM神经网络模型获取在未来第一预设时长内过街行人的预测轨迹；
步骤5：采用最大似然估计法对社会力模型进行参数标定；
步骤6：通过社会力模型对LSTM神经网络模型的预测轨迹进行修正，并输出第一预设时长内过街行人的最优预测轨迹；
步骤7：将最优预测轨迹广播至附近的车辆，以协助智能网联车辆进行决策。
所述的步骤1中，通过多传感器进行数据采集的过程具体为：
多传感器包括路侧激光雷达、毫米波雷达和相机，选取行人和车辆在自由流情况下的斑马线区域进行前期调查，采用路侧激光雷达和毫米波雷达采集过街行人和车辆的轨迹坐标，同时在路口架设相机，以平视的角度同步拍摄行人行走视频，用以标定行人的年龄和性别，基于多传感器信息融合算法获取车辆安全包络线范围内的过街行人运动状态信息、行人个体特征信息及人车交互场景信息。
所述的过街行人运动状态信息包括行人当前位置和速度；
所述的人车交互场景信息包括车辆当前位置、车速以及车型；
所述的过街行人个体特征信息包括行人的年龄、性别、不同年龄和性别的行人在过街时的理想速度vd、最大速度vmax以及反应时间τ；
所述的理想速度vd为不同年龄和性别的行人在过街时没有任何外界干扰的情况下行走的平均速度；
所述的最大速度vmax为不同年龄和性别的行人在信号灯闪烁即将由绿灯变为红灯时过街行人加速通过斑马线时所能够达到的最大速度；
所述的反应时间τ为不同年龄和性别的行人从当前某一速度变化到理想速度vd所需要的时间。
所述的步骤3中，数据预处理的过程具体为：
对获取的过街行人运动状态信息、个体特征信息以及人车交互信息进行数据预处理，以0.2s的间隔将视频分割为图片，以达到离散轨迹的目的，从图片中获得行人所在位置像素点的坐标，通过直接线性变换法获得初始条件下过街行人行走的真实轨迹，以进行社会力模型参数的标定；
数据增强的过程具体为：
采用轨迹旋转法进行数据增强，以原始的真实轨迹的起点和终点连线中随机一点为旋转中心，以固定角度为间隔进行旋转操作，进而扩充数据。
所述的步骤2中，行人轨迹数据集包括过街行人的真实轨迹和行人属性数据，所述的行人属性数据包括年龄和性别。
所述的步骤3中，LSTM神经网络模型以行人的观测序列作为输入特征，采用编码器-解码器框架，在LSTM神经网络模型中引入注意力机制挖掘观测序列中影响未来轨迹的隐藏要素，所述的LSTM神经网络模型的结构包括：
隐藏层：维度设定为256，由LSTM单元组成，LSTM单元包括3个控制门，分别为输入门、遗忘门和输出门，用以控制输入、输出以及内部状态三者之间的关系；
输入层：包括多个输入单元，各个输入单元分别采用tanh激活函数，且各个输入单元分别与输入特征对应；
输出层：包括多个输出单元，各个输入单元分别采用tanh激活函数，对应的输出分别为第一预设时长内过街行人的X方向的运动位置和Y方向的运动位置。
所述的行人的观测序列分别为X方向的过街行人速度、Y方向的过街行人速度、X方向的过街行人位置，Y方向的过街行人位置、年龄、性别、X方向的车辆速度、Y方向的车辆速度、X方向的车辆位置、Y方向的车辆位置和车型。
所述的步骤3中，对LSTM神经网络模型进行训练的过程具体包括以下步骤：
步骤301：基于输入、输出以及内部状态三者之间的关系得到LSTM模型的表达式为：
it＝σ(Wi·[ht-1，Xt]+bi)
ft＝σ(Wf·[ht-1，Xt]+bf)
Ot＝σ(Wo·[ht-1，Xt]+bo)
Ct＝ft*Ct-1+it*tanh(Wc·[hi-1，Xt]+bc)
ht＝Ot*tanh(Ct)
其中，it表示输入门，ft表示遗忘门，Ot表示输出门，Ct表示当前t时刻的单元状态，ht表示当前t时刻的隐藏状态，Ct-1表示上一时刻的单元状态，ht-1表示上一时刻的隐藏状态，Xt表示当前t时刻的输入向量，Wi表示输入门的权重矩阵，Wf表示遗忘门的权重矩阵，Wo表示输出门的权重矩阵，Wc表示单元状态的权重矩阵，bi表示输入门的偏置项，bf表示遗忘门的偏置项，bo表示输出门的偏置项，bc表示单元状态的偏置项，σ表示sigmoid函数，tanh表示tanh函数；
步骤302：通过路侧感知传感器获取过街行人运动状态信息、个体特征信息以及人车交互信息，对其进行数据预处理和数据增强后，导入到LSTM神经网络模型对LSTM神经网络模型的结构权重和偏置参数进行训练。
所述的步骤4中，基于LSTM神经网络模型获取在未来第一预设时长内过街行人的预测轨迹的过程具体包括以下步骤：
步骤401：通过多传感器获取当前关于车辆和过街行人的11个输入特征；
步骤402：对获取的输入特征进行数据归一化操作，并导入到训练好的LSTM神经网络模型中；
步骤403：输出预测数据，并将其反归一化，得到未来第一预设时长内过街行人运动位置，即未来第一预设时长内过街行人的预测轨迹。
所述的步骤5中，采用最大似然估计法对社会力模型进行参数标定的过程具体包括以下步骤：
步骤501：获取行人轨迹数据集中的初始条件下过街行人的真实轨迹；
步骤502：设置同样的初始条件，给定社会力模型参数一个初值，通过社会力模型对LSTM神经网络模型的预测轨迹进行修正；
步骤503：通过真实轨迹和预测轨迹的差异构造最大似然函数，二维正态分布的极大似然函数为：
Figure BDA0003422145760000051
其中，θ为参数向量，Ab表示斑马线边界力-强度系数，Bb表示斑马线边界力-距离系数，Ap表示行人间作用力-强度系数，Bp表示行人间作用力-距离系数，Av表示车辆对行人影响力-强度系数，Bv表示车辆对行人影响力-距离系数，
Figure BDA0003422145760000052
表示x方向轨迹修正权重，
Figure BDA0003422145760000053
表示y方向轨迹修正权重，pi(t)为第i个行人经过社会力模型修正后的预测轨迹，Δpi(t)＝pi(t+1)-pi(t)为从t时刻到t+1时刻的过街行人的预测位移，
Figure BDA0003422145760000054
为均值向量，∑p为协方差矩阵，pi(t)、Δpi(t)和
Figure BDA0003422145760000055
均为关于
Figure BDA0003422145760000056
的函数；
步骤504：假设所有用以参数标定的真实轨迹中，共有N个过街行人，而对于每个过街行人的轨迹，时间长度为M，则总的极大似然函数的表达式为：
Figure BDA0003422145760000057
其中，M为预设的时间长度，N为过街行人的数量；
步骤505：通过最大似然估计法进行不断迭代，最终完成社会力模型参数的标定。
与现有技术相比，本发明具有以下优点：
1、本发明充分考虑行人个体差异性，提出了新型的社会力与长短时记忆网络融合预测方法，将最优的预测轨迹运用到自动驾驶汽车的智能决策领域，能够提高行人过街的安全性，降低车辆的延误率，提高道路的通行能力。
2、本发明能够依靠路侧感知设备采集行人位置、属性等信息，对过街行人进行精确的轨迹预测，有效的降低与行人实际轨迹的误差，将预测轨迹广播给附近智能网联车辆，从而协助其进行决策。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
本发明提供一种基于SFM-LSTM神经网络模型的过街行人轨迹预测方法，能够依靠路侧感知设备采集行人位置和属性等信息对过街行人进行精确的轨迹预测，有效地降低预测轨迹与行人实际轨迹之间的误差，将预测轨迹广播给附近智能网联车辆，从而协助其进行决策。
该方法包括以下步骤：
步骤1：获取过街行人运动状态信息、个体特征信息及人车交互场景信息，选取行人和车辆在自由流情况下的斑马线区域进行前期调查，通过多传感器获取多种信息，多传感器包括路侧激光雷达、摄像头和毫米波雷达，基于多传感器信息融合算法获取车辆安全包络线范围内的过街行人运动状态信息、行人个体特征信息及人车交互场景信息；
过街行人个体特征信息包括行人年龄和性别、不同年龄和性别的行人在过街时的理想速度vd、最大速度vmax以及反应时间τ，理想速度vd为不同年龄和性别的行人在过街时没有任何外界干扰的情况下行走的平均速度，最大速度vmax为不同年龄和性别的行人在信号灯闪烁即将由绿灯变为红灯时过街行人加速通过斑马线时所能够达到的最大速度，反应时间τ为不同年龄和性别的行人从当前某一速度变化到理想速度vd所需要的时间；
过街行人运动状态信息包括行人当前位置和速度；
人车交互场景信息包括车辆当前位置、车速以及车型。
步骤2：建立LSTM神经网络模型，并LSTM神经网络模型进行训练，对LSTM神经网络模型进行训练的过程具体包括以下步骤：
LSTM神经网络模型的结构为具有一层隐含层、输入层和输出层的网络结构，输入层包括多个输入单元，输出层包括多个输出单元，输入层的特征分别为过街行人速度(包括X方向和Y方向)、位置(包括X方向和Y方向)、年龄、性别、车辆速度(包括X方向和Y方向)、位置(包括X方向和Y方向)和车型，隐含层中的门控单元采用sigmoid激活函数，输入单元和输出单元采用tanh激活函数，隐藏层的维度设定为256，输出单元的输出信息为过街行人的第一预设时长内的运动位置(包括X方向和Y方向)；
LSTM单元包括3个控制门，分别是输入门，遗忘门和输出门，用以控制输入、输出以及内部状态三者之间的关系，相关计算如下：
it＝σ(Wi·[ht-1，Xt]+bi)
ft＝σ(Wf·[ht-1，Xt]+bf)
Ot＝σ(Wo·[ht-1，Xt]+bo)
Ct＝ft*Ct-1+it*tanh(Wc·[ht-1，Xt]+bc)
ht＝Ot*tanh(Ct)
其中，it表示输入门，ft表示遗忘门，Ot表示输出门，Ct表示当前t时刻的单元状态，ht表示当前t时刻的隐藏状态，Ct-1表示上一时刻的单元状态，ht-1表示上一时刻的隐藏状态，Xt表示当前t时刻的输入向量，Wi表示输入门的权重矩阵，Wf表示遗忘门的权重矩阵，Wo表示输出门的权重矩阵，Wc表示单元状态的权重矩阵，bi表示输入门的偏置项，bf表示遗忘门的偏置项，bo表示输出门的偏置项，bc表示单元状态的偏置项，σ表示sigmoid函数；tanh表示tanh函数；通过路侧感知传感器获取的过街行人运动状态信息、个体特征信息以及人车交互信息，导入到LSTM神经网络模型，来训练神经网络模型的结构权重和偏置参数。
基于LSTM神经网络模型的过街行人轨迹预测步骤：
步骤401：通过多传感器获取当前车辆和过街行人的11个输入特征，分别为过街行人速度(包括X方向和Y方向)、过街行人位置(包括X方向和Y方向)、年龄、性别，以及车辆的速度(包括X方向和Y方向)、位置(包括X方向和Y方向)和车型；
步骤402：对获取的输入特征进行数据归一化操作，并导入到训练好的LSTM神经网络模型中；
步骤403：输出预测数据，并将其反归一化，得到未来第一预设时长内过街行人运动位置，即未来第一预设时长内过街行人的预测轨迹。
基于社会力模型对过街行人的预测轨迹进行修正的参数标定过程包括以下步骤：
步骤501：获取行人轨迹数据集中的初始条件下过街行人的真实轨迹；
步骤502：设置同样的初始条件，给定社会力模型参数一个初值，通过社会力模型对LSTM神经网络模型的预测轨迹进行修正；
步骤503：通过真实轨迹和预测轨迹的差异构造最大似然函数，二维正态分布的极大似然函数为：
Figure BDA0003422145760000081
其中，
Figure BDA0003422145760000082
为参数向量，Ab表示斑马线边界力-强度系数，Bb表示斑马线边界力-距离系数，Ap表示行人间作用力-强度系数，Bp表示行人间作用力-距离系数，Av表示车辆对行人影响力-强度系数，Bv表示车辆对行人影响力-距离系数，
Figure BDA0003422145760000083
表示x方向轨迹修正权重，
Figure BDA0003422145760000084
表示y方向轨迹修正权重，pi(t)为第i个行人经过社会力模型修正后的预测轨迹，Δpi(t)＝pi(t+1)-pi(t)为从t时刻到t+1时刻的过街行人的预测位移，
Figure BDA0003422145760000085
为均值向量，∑p为协方差矩阵，pi(t)、Δpi(t)和
Figure BDA0003422145760000086
匀为关于
Figure BDA0003422145760000087
的函数；
步骤504：假设所有用以参数标定的真实轨迹中，共有N个过街行人，而对于每个过街行人的轨迹，时间长度为M，则总的极大似然函数的表达式为：
Figure BDA0003422145760000088
其中，M为预设的时间长度，N为过街行人的数量；
步骤505：通过最大似然估计法进行不断迭代，最终完成社会力模型参数的标定。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于SFM-LSTM神经网络模型的过街行人轨迹预测方法，其特征在于，该方法包括以下步骤：
步骤1：通过多传感器进行数据采集，以获取过街行人运动状态信息、个体特征信息和人车交互场景信息；
步骤2：进行数据预处理和数据增强，建立行人轨迹数据集；
步骤3：建立LSTM神经网络模型，基于行人轨迹数据集对LSTM神经网络模型进行训练；
步骤4：通过训练后的LSTM神经网络模型获取在未来第一预设时长内过街行人的预测轨迹；
步骤5：采用最大似然估计法对社会力模型进行参数标定；
步骤6：通过社会力模型对LSTM神经网络模型的预测轨迹进行修正，并输出第一预设时长内过街行人的最优预测轨迹；
步骤7：将最优预测轨迹广播至附近的车辆，以协助智能网联车辆进行决策。
2.根据权利要求1所述的一种基于SFM-LSTM神经网络模型的过街行人轨迹预测方法，其特征在于，所述的步骤1中，通过多传感器进行数据采集的过程具体为：
多传感器包括路侧激光雷达、毫米波雷达和相机，选取行人和车辆在自由流情况下的斑马线区域进行前期调查，采用路侧激光雷达和毫米波雷达采集过街行人和车辆的轨迹坐标，同时在路口架设相机，以平视的角度同步拍摄行人行走视频，用以标定行人的年龄和性别，基于多传感器信息融合算法获取车辆安全包络线范围内的过街行人运动状态信息、行人个体特征信息及人车交互场景信息。
3.根据权利要求2所述的一种基于SFM-LSTM神经网络模型的过街行人轨迹预测方法，其特征在于，所述的过街行人运动状态信息包括行人当前位置和速度；
所述的人车交互场景信息包括车辆当前位置、车速以及车型；
所述的过街行人个体特征信息包括行人的年龄、性别、不同年龄和性别的行人在过街时的理想速度vd、最大速度vmax以及反应时间τ；
所述的理想速度vd为不同年龄和性别的行人在过街时没有任何外界干扰的情况下行走的平均速度；
所述的最大速度vmax为不同年龄和性别的行人在信号灯闪烁即将由绿灯变为红灯时过街行人加速通过斑马线时所能够达到的最大速度；
所述的反应时间τ为不同年龄和性别的行人从当前某一速度变化到理想速度vd所需要的时间。
4.根据权利要求3所述的一种基于SFM-LSTM神经网络模型的过街行人轨迹预测方法，其特征在于，所述的步骤3中，数据预处理的过程具体为：
对获取的过街行人运动状态信息、个体特征信息以及人车交互信息进行数据预处理，以0.2s的间隔将视频分割为图片，以达到离散轨迹的目的，从图片中获得行人所在位置像素点的坐标，通过直接线性变换法获得初始条件下过街行人行走的真实轨迹，以进行社会力模型参数的标定；
数据增强的过程具体为：
采用轨迹旋转法进行数据增强，以原始的真实轨迹的起点和终点连线中随机一点为旋转中心，以固定角度为间隔进行旋转操作，进而扩充数据。
5.根据权利要求4所述的一种基于SFM-LSTM神经网络模型的过街行人轨迹预测方法，其特征在于，所述的步骤2中，行人轨迹数据集包括过街行人的真实轨迹和行人属性数据，所述的行人属性数据包括年龄和性别。
6.根据权利要求1所述的一种基于SFM-LSTM神经网络模型的过街行人轨迹预测方法，其特征在于，所述的步骤3中，LSTM神经网络模型以行人的观测序列作为输入特征，采用编码器-解码器框架，在LSTM神经网络模型中引入注意力机制挖掘观测序列中影响未来轨迹的隐藏要素，所述的LSTM神经网络模型的结构包括：
隐藏层：维度设定为256，由LSTM单元组成，LSTM单元包括3个控制门，分别为输入门、遗忘门和输出门，用以控制输入、输出以及内部状态三者之间的关系；
输入层：包括多个输入单元，各个输入单元分别采用tanh激活函数，且各个输入单元分别与输入特征对应；
输出层：包括多个输出单元，各个输入单元分别采用tanh激活函数，对应的输出分别为第一预设时长内过街行人的X方向的运动位置和Y方向的运动位置。
7.根据权利要求6所述的一种基于SFM-LSTM神经网络模型的过街行人轨迹预测方法，其特征在于，所述的行人的观测序列分别为X方向的过街行人速度、Y方向的过街行人速度、X方向的过街行人位置，Y方向的过街行人位置、年龄、性别、X方向的车辆速度、Y方向的车辆速度、X方向的车辆位置、Y方向的车辆位置和车型。
8.根据权利要求7所述的一种基于SFM-LSTM神经网络模型的过街行人轨迹预测方法，其特征在于，所述的步骤3中，对LSTM神经网络模型进行训练的过程具体包括以下步骤：
步骤301：基于输入、输出以及内部状态三者之间的关系得到LSTM模型的表达式为：
it＝σ(Wi·[ht-1，Xt]+bi)
ft＝σ(Wf·[ht-1，Xt]+bf)
Ot＝σ(Wo·[ht-1，Xt]+bo)
Ct＝ft*Ct-1+it*tanh(Wc·[hi-1，Xt]+bc)
ht＝Ot*tanh(Ct)
其中，it表示输入门，ft表示遗忘门，Ot表示输出门，Ct表示当前t时刻的单元状态，ht表示当前t时刻的隐藏状态，Ct-1表示上一时刻的单元状态，ht-1表示上一时刻的隐藏状态，Xt表示当前t时刻的输入向量，Wi表示输入门的权重矩阵，Wf表示遗忘门的权重矩阵，Wo表示输出门的权重矩阵，Wc表示单元状态的权重矩阵，bi表示输入门的偏置项，bf表示遗忘门的偏置项，bo表示输出门的偏置项，bc表示单元状态的偏置项，σ表示sigmoid函数，tanh表示tanh函数；
步骤302：通过路侧感知传感器获取过街行人运动状态信息、个体特征信息以及人车交互信息，对其进行数据预处理和数据增强后，导入到LSTM神经网络模型对LSTM神经网络模型的结构权重和偏置参数进行训练。
9.根据权利要求8所述的一种基于SFM-LSTM神经网络模型的过街行人轨迹预测方法，其特征在于，所述的步骤4中，基于LSTM神经网络模型获取在未来第一预设时长内过街行人的预测轨迹的过程具体包括以下步骤：
步骤401：通过多传感器获取当前关于车辆和过街行人的11个输入特征；
步骤402：对获取的输入特征进行数据归一化操作，并导入到训练好的LSTM神经网络模型中；
步骤403：输出预测数据，并将其反归一化，得到未来第一预设时长内过街行人运动位置，即未来第一预设时长内过街行人的预测轨迹。
10.根据权利要求9所述的一种基于SFM-LSTM神经网络模型的过街行人轨迹预测方法，其特征在于，所述的步骤5中，采用最大似然估计法对社会力模型进行参数标定的过程具体包括以下步骤：
步骤501：获取行人轨迹数据集中的初始条件下过街行人的真实轨迹；
步骤502：设置同样的初始条件，给定社会力模型参数一个初值，通过社会力模型对LSTM神经网络模型的预测轨迹进行修正；
步骤503：通过真实轨迹和预测轨迹的差异构造最大似然函数，二维正态分布的极大似然函数为：
Figure FDA0003422145750000041
其中，θ为参数向量，Ab表示斑马线边界力-强度系数，Bb表示斑马线边界力-距离系数，Ap表示行人间作用力-强度系数，Bp表示行人间作用力-距离系数，Av表示车辆对行人影响力-强度系数，Bv表示车辆对行人影响力-距离系数，
Figure FDA0003422145750000042
表示x方向轨迹修正权重，
Figure FDA0003422145750000043
表示y方向轨迹修正权重，pi(t)为第i个行人经过社会力模型修正后的预测轨迹，Δpi(t)＝pi(t+1)-pi(t)为从t时刻到t+1时刻的过街行人的预测位移，
Figure FDA0003422145750000044
为均值向量，∑p为协方差矩阵，pi(t)、Δpi(t)和
Figure FDA0003422145750000045
均为关于
Figure FDA0003422145750000046
的函数；
步骤504：假设所有用以参数标定的真实轨迹中，共有N个过街行人，而对于每个过街行人的轨迹，时间长度为M，则总的极大似然函数的表达式为：
Figure FDA0003422145750000047
其中，M为预设的时间长度，N为过街行人的数量；
步骤505：通过最大似然估计法进行不断迭代，最终完成社会力模型参数的标定。
CN202111566614.2A 2021-12-20 2021-12-20 一种基于sfm-lstm神经网络模型的过街行人轨迹预测方法 Pending CN114462667A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111566614.2A CN114462667A (zh) 2021-12-20 2021-12-20 一种基于sfm-lstm神经网络模型的过街行人轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111566614.2A CN114462667A (zh) 2021-12-20 2021-12-20 一种基于sfm-lstm神经网络模型的过街行人轨迹预测方法

Publications (1)

Publication Number Publication Date
CN114462667A true CN114462667A (zh) 2022-05-10

Family

ID=81406378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111566614.2A Pending CN114462667A (zh) 2021-12-20 2021-12-20 一种基于sfm-lstm神经网络模型的过街行人轨迹预测方法

Country Status (1)

Country Link
CN (1) CN114462667A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926802A (zh) * 2022-06-24 2022-08-19 重庆长安汽车股份有限公司 基于双层lstm网络的车辆轨迹预测方法
CN115083017A (zh) * 2022-06-22 2022-09-20 咪咕互动娱乐有限公司 一种动作展示方法、装置及电子设备
CN115662166A (zh) * 2022-09-19 2023-01-31 长安大学 一种自动驾驶数据处理方法及自动驾驶交通系统
CN115719479A (zh) * 2022-11-30 2023-02-28 电子科技大学长三角研究院(衢州) 基于编码器-解码器架构的轨迹预测方法
CN116299165A (zh) * 2023-05-16 2023-06-23 安元科技股份有限公司 基于定位卡路径模型的蓝牙信标人员定位修正方法及系统
CN116307743A (zh) * 2023-05-23 2023-06-23 浙江安邦护卫科技服务有限公司 基于数据处理的押运安全预警方法、系统、设备和介质
CN116823572A (zh) * 2023-06-16 2023-09-29 中国联合网络通信有限公司深圳市分公司 人口流动数据的获取方法、装置及计算机可读存储介质
CN118212783A (zh) * 2024-05-21 2024-06-18 南京邮电大学 一种信号交叉口的行人过街轨迹预测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414365A (zh) * 2019-07-03 2019-11-05 上海交通大学 基于社会力模型的过街行人轨迹预测方法、系统及介质
CN111161322A (zh) * 2019-12-31 2020-05-15 大连理工大学 一种基于人车交互的lstm神经网络行人轨迹预测方法
CN111459168A (zh) * 2020-04-23 2020-07-28 上海交通大学 一种融合的自动驾驶汽车过街行人轨迹预测方法及系统
CN112581791A (zh) * 2019-09-27 2021-03-30 英特尔公司 基于道路使用者意图预测的潜在碰撞警告系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414365A (zh) * 2019-07-03 2019-11-05 上海交通大学 基于社会力模型的过街行人轨迹预测方法、系统及介质
CN112581791A (zh) * 2019-09-27 2021-03-30 英特尔公司 基于道路使用者意图预测的潜在碰撞警告系统
CN111161322A (zh) * 2019-12-31 2020-05-15 大连理工大学 一种基于人车交互的lstm神经网络行人轨迹预测方法
CN111459168A (zh) * 2020-04-23 2020-07-28 上海交通大学 一种融合的自动驾驶汽车过街行人轨迹预测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王贝伦: "《机器学习》", vol. 1, 30 November 2021, 东南大学出版社, pages: 47 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115083017A (zh) * 2022-06-22 2022-09-20 咪咕互动娱乐有限公司 一种动作展示方法、装置及电子设备
CN114926802A (zh) * 2022-06-24 2022-08-19 重庆长安汽车股份有限公司 基于双层lstm网络的车辆轨迹预测方法
CN115662166B (zh) * 2022-09-19 2024-04-09 长安大学 一种自动驾驶数据处理方法及自动驾驶交通系统
CN115662166A (zh) * 2022-09-19 2023-01-31 长安大学 一种自动驾驶数据处理方法及自动驾驶交通系统
CN115719479A (zh) * 2022-11-30 2023-02-28 电子科技大学长三角研究院(衢州) 基于编码器-解码器架构的轨迹预测方法
CN115719479B (zh) * 2022-11-30 2024-09-17 电子科技大学长三角研究院(衢州) 基于编码器-解码器架构的轨迹预测方法
CN116299165A (zh) * 2023-05-16 2023-06-23 安元科技股份有限公司 基于定位卡路径模型的蓝牙信标人员定位修正方法及系统
CN116299165B (zh) * 2023-05-16 2023-08-29 安元科技股份有限公司 基于定位卡路径模型的蓝牙信标人员定位修正方法及系统
CN116307743B (zh) * 2023-05-23 2023-08-04 浙江安邦护卫科技服务有限公司 基于数据处理的押运安全预警方法、系统、设备和介质
CN116307743A (zh) * 2023-05-23 2023-06-23 浙江安邦护卫科技服务有限公司 基于数据处理的押运安全预警方法、系统、设备和介质
CN116823572B (zh) * 2023-06-16 2023-12-19 中国联合网络通信有限公司深圳市分公司 人口流动数据的获取方法、装置及计算机可读存储介质
CN116823572A (zh) * 2023-06-16 2023-09-29 中国联合网络通信有限公司深圳市分公司 人口流动数据的获取方法、装置及计算机可读存储介质
CN118212783A (zh) * 2024-05-21 2024-06-18 南京邮电大学 一种信号交叉口的行人过街轨迹预测方法及装置

Similar Documents

Publication Publication Date Title
CN114462667A (zh) 一种基于sfm-lstm神经网络模型的过街行人轨迹预测方法
CN110414365B (zh) 基于社会力模型的过街行人轨迹预测方法、系统及介质
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN111459168B (zh) 一种融合的自动驾驶汽车过街行人轨迹预测方法及系统
EP4152204A1 (en) Lane line detection method, and related apparatus
CN112133089B (zh) 一种基于周围环境与行为意图的车辆轨迹预测方法、系统及装置
CN110443138B (zh) 基于车载毫米波雷达联合svm和cnn多目标分类方法
CN112487954B (zh) 一种面向平面交叉口的行人过街行为预测方法
CN107985189B (zh) 面向高速驾驶环境下的驾驶员变道深度预警方法
Mahaur et al. Road object detection: a comparative study of deep learning-based algorithms
CN114724392B (zh) 一种快速路出口匝道与邻接交叉口动态信号控制方法
CN111667512A (zh) 基于改进卡尔曼滤波的多目标车辆轨迹预测方法
CN103150740A (zh) 一种基于视频的运动目标跟踪方法和系统
CN107031661A (zh) 一种基于盲区相机输入的变道预警方法及系统
CN112810619A (zh) 基于雷达的辅助驾驶系统前方目标车辆识别方法
CN111845787A (zh) 一种基于lstm的换道意图预测方法
CN114043989A (zh) 一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法
CN115523934A (zh) 一种基于深度学习的车辆轨迹预测方法及系统
CN115662166A (zh) 一种自动驾驶数据处理方法及自动驾驶交通系统
CN110097571B (zh) 快速高精度的车辆碰撞预测方法
CN114446046A (zh) 一种基于lstm模型的弱势交通参与者轨迹预测方法
CN115880658A (zh) 一种夜间场景下汽车车道偏离预警方法及系统
Lee et al. Probabilistic inference of traffic participants' lane change intention for enhancing adaptive cruise control
CN113569980B (zh) 一种复杂环境下的行人移动轨迹在线预测方法及系统
CN107909021A (zh) 一种基于单个深层卷积神经网络的路牌检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination