CN111369053A - 一种人车交互场景下行人与车辆的轨迹预测方法 - Google Patents

一种人车交互场景下行人与车辆的轨迹预测方法 Download PDF

Info

Publication number
CN111369053A
CN111369053A CN202010139715.0A CN202010139715A CN111369053A CN 111369053 A CN111369053 A CN 111369053A CN 202010139715 A CN202010139715 A CN 202010139715A CN 111369053 A CN111369053 A CN 111369053A
Authority
CN
China
Prior art keywords
vehicle
pedestrian
pedestrians
follows
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010139715.0A
Other languages
English (en)
Other versions
CN111369053B (zh
Inventor
陈漪皓
曾伟良
姚若愚
林楷
郑宇凡
朱明洲
黎曦琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010139715.0A priority Critical patent/CN111369053B/zh
Publication of CN111369053A publication Critical patent/CN111369053A/zh
Application granted granted Critical
Publication of CN111369053B publication Critical patent/CN111369053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种人车交互场景下行人与车辆的轨迹预测方法，主要包括以下步骤：对所采集的行人及车辆的数据进行预处理；通过所采集的车辆的四个顶点，人工生成足够完全复现车辆形状的数据点；将全局行人及车辆的隐藏信息输入池化层进行池化，共享全局隐藏信息；通过长短期记忆(LSTM)单元将当前状态下所有行人及车辆的隐藏信息的池化输出量、上一时刻行人及车辆的位置信息、当前时刻行人及车辆的位置信息，以及上一时刻行人及车辆的隐藏信息，转化为长短期记忆序列信息；将当前的行人及车辆状态信息通过一个多层感知机结构转化到坐标空间，生成预测轨迹序列。

Description

一种人车交互场景下行人与车辆的轨迹预测方法
技术领域
本发明涉及一种行人与车辆的轨迹预测方法，基于长短期记忆，适用于复杂场景下行人与车辆未来轨迹的预测。
背景技术
当前人工智能在交通方面的多种应用领域(如自动驾驶)，最大的突破口及最具挑战性的问题是目标的轨迹预测。因此，欲大力发展智能交通，最关键的问题是如何精准地预测车辆、行人的轨迹，从而高效地为车辆、行人提供既安全又便捷的路径规划方案。因此，针对这个问题，学会让计算机掌握如何在日常生活中的道路场景下预测多种类目标的轨迹，就成为了当前的重中之重。
近些年来，深度学习中的某些方法在智能交通领域发展尤为迅速，并且取得优秀表现，如：①生成对抗网络：通过生成器和鉴别器的博弈训练过程，使生成器最终可以生成与训练样本相类似的数据；②循环神经网络：对先前的序列信息具有记忆特性；③门控循环单元：由重置门、更新门对过去的时序特征进行分析，从而预测未来信息。
然而，上述方法主要是为了针对单一的行人种类的轨迹预测问题而提出，并没有考虑到日常生活的道路场景下，车辆与行人发生交互行为时，车辆及行人共同面临的轨迹预测问题。以中国大陆地区为例，在道路交叉口这一复杂环境下，行人与车辆发生交互最多的情景是右转车辆与斑马线上行人之间的交互。在此类环境下，最容易发生行人与车辆之间的冲突。因此，提供一个能同时学习车辆与行人的运动模式，能够充分考虑车辆与行人交互问题，并准确预测车辆及行人轨迹的方法，便显得至关重要。
发明内容
本发明的目的在于解决当前轨迹预测领域中，在车辆与行人发生交互行为较多的场景下，同时预测车辆与行人轨迹的问题。
为了实现上述目的，本发明的技术方案如下：包括以下步骤：
A、对所采集的数据进行预处理；
通过图像处理技术以及视频校准技术，主要采集某场景下右转车辆与斑马线上行人的运动轨迹，此处需要采集行人的(x,y)坐标以及车辆的前左轮、前右轮、后左轮、后右轮的(x,y)坐标；
对于行人来说，记录下当前采集时刻frame id以及行人编号ped id；将采集到的所有行人信息，转换为1个[行人数量,4]的矩阵——第1列代表采集时刻frame id，第2列代表行人编号ped id，第3列代表行人的横坐标x，第4列代表行人的纵坐标y；此时要通过重采样的方法，使相邻两个采集时刻之间的间隔为0.4s；最后，按照采集时刻frame id从小到大将所有数据自上而下排列；
对于车辆来说，记录下当前采集时刻frame id以及车辆编号veh id；将采集到的所有车辆信息，转换为1个[车辆数量,10]的矩阵——第1列代表采集时刻frame id，第2列代表车辆编号veh id，第3列代表车辆前左轮的横坐标fl_x(fl表示front left)，第4列代表车辆前左轮的纵坐标fl_y(fl表示front left)，第5列代表车辆前右轮的横坐标fr_x(fr表示front right)，第6列代表车辆前右轮的纵坐标fr_y(fr表示front right)，第7列代表车辆后左轮的横坐标rl_x(rl表示rear left)，第8列代表车辆后左轮的纵坐标rl_y(rl表示rear left)，第9列代表车辆后右轮的横坐标rr_x(rr表示rear right)，第10列代表车辆后右轮的纵坐标rr_y(rr表示rear right)；此时要通过重采样的方法，使相邻两个采集时刻之间的间隔0.4s；最后，按照采集时刻frame id从小到大将所有数据自上而下排列；
B、人工生成足够完全复现车辆形状的数据点；
B1、将行人横、纵坐标记为
Figure BDA0002398645230000021
具体公式如下：
Figure BDA0002398645230000022
B2、将车辆前左轮、前右轮、后左轮、后右轮的横、纵坐标分别记为
Figure BDA0002398645230000023
具体公式如下：
Figure BDA0002398645230000024
Figure BDA0002398645230000025
Figure BDA0002398645230000026
Figure BDA0002398645230000027
其中，fl表示front left，fr表示front right，rl表示rear left，rr表示rearright；
B3、计算车辆长度，并把行人长度记为LP，具体公式如下；
Figure BDA0002398645230000031
B4、计算车长单位向量，具体公式如下；
左边车长单位向量：
Figure BDA0002398645230000032
(
Figure BDA0002398645230000033
为单位向量)；
右边车长单位向量：
Figure BDA0002398645230000034
(
Figure BDA0002398645230000035
为单位向量)；
B5、获得总间隔数，具体公式如下：
Figure BDA0002398645230000036
B6、获得车长上所有点的向量，此处采用”pythonic”(python风格化)的流程，具体公式如下：
for n in range(1,interval):
Figure BDA0002398645230000037
Figure BDA0002398645230000038
B7、根据相似三角形，可得全部数据点坐标，并将全部坐标连接记为
Figure BDA0002398645230000039
具体公式如下：
Figure BDA00023986452300000310
其中，
Figure BDA00023986452300000311
表示左边车长上除前左轮和后左轮的所有点坐标，
Figure BDA00023986452300000312
表示右边车长上除前右轮和后右轮的所有点坐标，n∈[1，interval-1]；
C、将行人及车辆位置坐标通过激活函数激活，并且嵌入参数权重，具体公式如下：
Figure BDA00023986452300000313
Figure BDA00023986452300000314
其中，
Figure BDA00023986452300000315
为行人横、纵坐标，
Figure BDA00023986452300000316
为车辆四个顶点及车边长上所有数据点的横、纵坐标集合，Wep为行人坐标嵌入权重，Wev为车辆坐标嵌入权重，Φ(.)是非线性激活函数；
D、池化层结构；
D1、将目标周围网格化，判断当前状态属于车辆在行人所属网格里，行人在行人所属网格里，行人在车辆所属网格里还是车辆在车辆所属网格里，具体公式如下：
Figure BDA0002398645230000041
Figure BDA0002398645230000042
Figure BDA0002398645230000043
Figure BDA0002398645230000044
其中，
Figure BDA0002398645230000045
代表车辆在行人所属网格里，
Figure BDA0002398645230000046
代表行人在行人所属网格里，
Figure BDA0002398645230000047
代表行人在车辆所属网格里，
Figure BDA0002398645230000048
代表车辆在车辆所属网格里，
Figure BDA0002398645230000049
代表上一时刻行人的隐藏状态，
Figure BDA00023986452300000410
代表上一时刻车辆的隐藏状态；
D2、激活池化网图，具体公式如下：
Figure BDA00023986452300000411
Figure BDA00023986452300000412
Figure BDA00023986452300000413
Figure BDA00023986452300000414
其中，Wpv、Wpp、Wvp、Wvv分别为嵌入权重，Φ(.)是非线性激活函数；
E、通过长短期记忆单元经过池化层后的输出，转化为长短期记忆序列信息，生成预测轨迹序列；
E1、激活上一时刻行人及车辆的坐标，具体公式如下：
Figure BDA00023986452300000415
Figure BDA00023986452300000416
其中，
Figure BDA00023986452300000417
表示上一时刻行人的坐标被激活后的输出量，
Figure BDA00023986452300000418
表示上一时刻车辆的坐标被激活后的输出量，Wlp、Wlv分别为嵌入权重；
E2、通过LSTM单元获得当前时刻行人及车辆的隐藏状态序列信息，具体公式如下：
Figure BDA0002398645230000051
Figure BDA0002398645230000052
其中，
Figure BDA0002398645230000053
表示上一时刻行人的隐藏信息，
Figure BDA0002398645230000054
表示上一时刻车辆的隐藏信息，Wlstm-p、Wlstm-v分别为嵌入权重；
E3、将当前状态信息通过一个多层感知机结构转化到坐标空间，生成预测信息，具体公式如下：
Figure BDA0002398645230000055
Figure BDA0002398645230000056
其中，n∈[1，interval-1]，Wpred-p、Wpred-v分别为嵌入权重；
F、训练模型：
F1、将训练集、测试集、验证集按照6:2:2的比例划分。在训练过程中每隔10个轮次(epochs)就用验证集验证模型训练效果；
F2、在t时刻行人及车辆轨迹点坐标服从于二维正态分布，具体公式如下：
Figure BDA0002398645230000057
Figure BDA0002398645230000058
F3、训练过程中不断减小负对数似然损失函数，具体公式如下：
Figure BDA0002398645230000059
Figure BDA00023986452300000510
其中，Li表示第i个行人的轨迹，Lj表示第j辆车辆的轨迹；
G、用平均偏移误差(ADE)及最终偏移误差(FDE)衡量预测轨迹准确度，具体公式如下；
行人：
Figure BDA0002398645230000061
Figure BDA0002398645230000062
车辆：
Figure BDA0002398645230000063
Figure BDA0002398645230000064
其中，*∈[fl，(ln)，rl，fr，(rn)，rr]，n∈[1，interval-1]。
附图说明
图1是实施本发明的流程图；
图2是所采集数据的场景示意图；
图3是初始行人数据格式示意图；
图4是初始车辆数据格式示意图。
具体实施方式
下面结合附图对本发明再进行进一步的描述。
如图2所示，通过标注软件在该交叉口环境下对右转车辆以及斑马线上的行人进行位置信息的采集。
如图3、4所示，将所采集位置信息导出至Microsoft Excel，得到及行人及车辆位置信息的初始数据。
将预处理后的车辆四轮坐标信息(x、y坐标信息)进一步处理，生成更多数据点，使数据足以体现车辆自身轮廓、形状。然后将车辆所有(x,y)数据点信息连接成一个车辆坐标信息矩阵。接下来，将行人坐标矩阵及车辆坐标矩阵嵌入权重后，通过非线性激活函数激活，此处采用Relu非线性函数。
将连续的时序信息，转化为一个个网格化后的格子，使信息成为离散的张量。每个网格的特征为：以目标(车辆/行人)为中心，N0×N0为大小。此时，当前目标以及周围的邻近目标，均被池化在网格中。车辆及行人的隐藏信息，就通过这张网格化的网格图实现了“共享”。池化后，嵌入权重并使用Relu非线性激活函数激活，就得到了车-人、人-人、人-车、车-车的池化张量输出。
将池化输出、目标当前位置信息、目标之前的位置信息、目标的隐藏信息，共同通过LSTM单元获得当前时刻行人及车辆的隐藏状态序列信息。然后将当前状态信息通过一个多层感知机结构转化到坐标空间，最终生成预测轨迹。
训练前，将训练集、测试集、验证集按照6:2:2的比例划分。在训练过程中，每隔10个epochs就用验证集验证一次模型训练效果，同时不断迭代、更新参数使得损失函数值不断降低。当损失函数值达到接近不变时，认为已经达到了最小化负对数似然损失函数的目的。最后使用测试集测试模型效果，输入8个观测点，生成12个未来的轨迹预测点，并且结合平均偏移误差(ADE)及最终偏移误差(FDE)的指标衡量模型精确程度。

Claims (2)

1.一种人车交互场景下行人与车辆的轨迹预测方法，其特征在于：包括以下步骤：
A、对所采集的数据进行预处理；
B、人工生成足够完全复现车辆形状的数据点；
B1、将行人横、纵坐标记为
Figure FDA0002398645220000011
具体公式如下：
Figure FDA0002398645220000012
B2、将车辆前左轮、前右轮、后左轮、后右轮的横、纵坐标分别记为
Figure FDA0002398645220000013
具体公式如下：
Figure FDA0002398645220000014
Figure FDA0002398645220000015
Figure FDA0002398645220000016
Figure FDA0002398645220000017
其中，fl表示front left，fr表示front right，rl表示rear left，rr表示rear right；
B3、计算车辆长度，并把行人长度记为LP，具体公式如下；
Figure FDA0002398645220000018
B4、计算车长单位向量，具体公式如下；
左边车长单位向量：
Figure FDA0002398645220000019
(
Figure FDA00023986452200000110
为单位向量)；
右边车长单位向量：
Figure FDA00023986452200000111
(
Figure FDA00023986452200000112
为单位向量)；
B5、获得总间隔数，具体公式如下：
Figure FDA00023986452200000113
B6、获得车长上所有点的向量，此处采用”pythonic”(python风格化)的流程，具体公式如下：
for n in range(1,interval):
Figure FDA00023986452200000114
Figure FDA0002398645220000021
B7、根据相似三角形，可得全部数据点坐标，并将全部坐标连接记为
Figure FDA0002398645220000022
具体公式如下：
Figure FDA0002398645220000023
其中，
Figure FDA0002398645220000024
表示左边车长上除前左轮和后左轮的所有点坐标，
Figure FDA0002398645220000025
表示右边车长上除前右轮和后右轮的所有点坐标，n∈[1，interval-1]；
C、将行人及车辆位置坐标通过激活函数激活，并且嵌入参数权重，具体公式如下：
Figure FDA0002398645220000026
Figure FDA0002398645220000027
其中，
Figure FDA0002398645220000028
为行人横、纵坐标，
Figure FDA0002398645220000029
为车辆四个顶点及车边长上所有数据点的横、纵坐标集合，Wep为行人坐标嵌入权重，Wev为车辆坐标嵌入权重，Φ(.)是非线性激活函数；
D、池化层结构；
D1、将目标周围网格化，判断当前状态属于车辆在行人所属网格里，行人在行人所属网格里，行人在车辆所属网格里还是车辆在车辆所属网格里，具体公式如下：
Figure FDA00023986452200000210
Figure FDA00023986452200000211
Figure FDA00023986452200000212
Figure FDA00023986452200000213
其中，
Figure FDA00023986452200000214
代表车辆在行人所属网格里，
Figure FDA00023986452200000215
代表行人在行人所属网格里，
Figure FDA00023986452200000216
代表行人在车辆所属网格里，
Figure FDA00023986452200000217
代表车辆在车辆所属网格里，
Figure FDA00023986452200000218
代表上一时刻行人的隐藏状态，
Figure FDA00023986452200000219
代表上一时刻车辆的隐藏状态；
D2、激活池化网图，具体公式如下：
Figure FDA0002398645220000031
Figure FDA0002398645220000032
Figure FDA0002398645220000033
Figure FDA0002398645220000034
其中，Wpv、Wpp、Wvp、Wvv分别为嵌入权重，Φ(.)是非线性激活函数；
E、通过长短期记忆单元经过池化层后的输出，转化为长短期记忆序列信息，生成预测轨迹序列；
E1、激活上一时刻行人及车辆的坐标，具体公式如下：
Figure FDA0002398645220000035
Figure FDA0002398645220000036
其中，
Figure FDA0002398645220000037
表示上一时刻行人的坐标被激活后的输出量，
Figure FDA0002398645220000038
表示上一时刻车辆的坐标被激活后的输出量，Wlp、Wlv分别为嵌入权重；
E2、通过LSTM单元获得当前时刻行人及车辆的隐藏状态序列信息，具体公式如下：
Figure FDA0002398645220000039
Figure FDA00023986452200000310
其中，
Figure FDA00023986452200000311
表示上一时刻行人的隐藏信息，
Figure FDA00023986452200000312
表示上一时刻车辆的隐藏信息，Wlstm-p、Wlstm-v分别为嵌入权重；
E3、将当前状态信息通过一个多层感知机结构转化到坐标空间，生成预测信息，具体公式如下：
Figure FDA00023986452200000313
Figure FDA00023986452200000314
Figure FDA0002398645220000041
其中，n∈[1，interval-1]，Wpred-p、Wpred-v分别为嵌入权重；
F、训练模型：
F1、将训练集、测试集、验证集按照6∶2∶2的比例划分。在训练过程中每隔10个轮次(epochs)就用验证集验证模型训练效果；
F2、在t时刻行人及车辆轨迹点坐标服从于二维正态分布，具体公式如下：
Figure FDA0002398645220000042
Figure FDA0002398645220000043
F3、训练过程中不断减小负对数似然损失函数，具体公式如下：
Figure FDA0002398645220000044
Figure FDA0002398645220000045
其中，Li表示第i个行人的轨迹，Lj表示第j辆车辆的轨迹；
G、用平均偏移误差(ADE)及最终偏移误差(FDE)衡量预测轨迹准确度，具体公式如下；
行人：
Figure FDA0002398645220000046
Figure FDA0002398645220000047
车辆：
Figure FDA0002398645220000048
Figure FDA0002398645220000049
其中，*∈[fl，(ln)，rl，fr，(rn)，rr]，n∈[1，interval-1]。
2.根据权利要求1所述的人车交互场景下行人与车辆的轨迹预测方法，其特征在于，所述的预处理包括：通过图像处理技术以及视频校准技术，主要采集某场景下右转车辆与斑马线上行人的运动轨迹，此处需要采集行人的(x,y)坐标以及车辆的前左轮、前右轮、后左轮、后右轮的(x,y)坐标；
对于行人来说，记录下当前采集时刻frame id以及行人编号ped id；将采集到的所有行人信息，转换为1个[行人数量,4]的矩阵——第1列代表采集时刻frame id，第2列代表行人编号pedid，第3列代表行人的横坐标x，第4列代表行人的纵坐标y；此时要通过重采样的方法，使相邻两个采集时刻之间的间隔为0.4s(即2.5Fps)；最后，按照采集时刻frame id从小到大自上而下排列；
对于车辆来说，记录下当前采集时刻frame id以及车辆编号veh id；将采集到的所有车辆信息，转换为1个[车辆数量,10]的矩阵——第1列代表采集时刻frame id，第2列代表车辆编号veh id，第3列代表车辆前左轮的横坐标fl_x(fl表示front left)，第4列代表车辆前左轮的纵坐标fl_y(fl表示front left)，第5列代表车辆前右轮的横坐标fr_x(fr表示front right)，第6列代表车辆前右轮的纵坐标fr_y(fr表示front right)，第7列代表车辆后左轮的横坐标rl_x(rl表示rear left)，第8列代表车辆后左轮的纵坐标rl_y(rl表示rear left)，第9列代表车辆后右轮的横坐标rr_x(rr表示rear right)，第10列代表车辆后右轮的纵坐标rr_y(rr表示rear right)；此时要通过重采样的方法，使相邻两个采集时刻之间的间隔0.4s(即2.5Fps)；最后，按照采集时刻frame id从小到大自上而下排列。
CN202010139715.0A 2020-03-03 2020-03-03 一种人车交互场景下行人与车辆的轨迹预测方法 Active CN111369053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010139715.0A CN111369053B (zh) 2020-03-03 2020-03-03 一种人车交互场景下行人与车辆的轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010139715.0A CN111369053B (zh) 2020-03-03 2020-03-03 一种人车交互场景下行人与车辆的轨迹预测方法

Publications (2)

Publication Number Publication Date
CN111369053A true CN111369053A (zh) 2020-07-03
CN111369053B CN111369053B (zh) 2023-04-07

Family

ID=71211627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010139715.0A Active CN111369053B (zh) 2020-03-03 2020-03-03 一种人车交互场景下行人与车辆的轨迹预测方法

Country Status (1)

Country Link
CN (1) CN111369053B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932882A (zh) * 2020-08-13 2020-11-13 广东飞达交通工程有限公司 一种基于图像识别的道路事故实时预警系统、方法和设备
CN112115550A (zh) * 2020-09-13 2020-12-22 西北工业大学 基于Mogrifier-BiGRU的飞行器机动轨迹预测方法
CN112721943A (zh) * 2021-01-20 2021-04-30 吉林大学 一种具有冲突消解功能的人机共驾横向控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919072A (zh) * 2019-02-28 2019-06-21 桂林电子科技大学 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法
US20190266418A1 (en) * 2018-02-27 2019-08-29 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
CN110599767A (zh) * 2019-09-04 2019-12-20 广东工业大学 一种基于网约车出行需求的长短期预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190266418A1 (en) * 2018-02-27 2019-08-29 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
CN109919072A (zh) * 2019-02-28 2019-06-21 桂林电子科技大学 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法
CN110599767A (zh) * 2019-09-04 2019-12-20 广东工业大学 一种基于网约车出行需求的长短期预测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932882A (zh) * 2020-08-13 2020-11-13 广东飞达交通工程有限公司 一种基于图像识别的道路事故实时预警系统、方法和设备
CN112115550A (zh) * 2020-09-13 2020-12-22 西北工业大学 基于Mogrifier-BiGRU的飞行器机动轨迹预测方法
CN112115550B (zh) * 2020-09-13 2022-04-19 西北工业大学 基于Mogrifier-BiGRU的飞行器机动轨迹预测方法
CN112721943A (zh) * 2021-01-20 2021-04-30 吉林大学 一种具有冲突消解功能的人机共驾横向控制方法
CN112721943B (zh) * 2021-01-20 2021-08-03 吉林大学 一种具有冲突消解功能的人机共驾横向控制方法

Also Published As

Publication number Publication date
CN111369053B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111369053B (zh) 一种人车交互场景下行人与车辆的轨迹预测方法
Modi et al. Estimation of energy consumption of electric vehicles using deep convolutional neural network to reduce driver’s range anxiety
CN111931902B (zh) 一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法
CN107421752B (zh) 一种智能汽车测试场景加速重构方法
CN110163187A (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN112232490B (zh) 一种基于视觉的深度模仿强化学习驾驶策略训练方法
Li et al. ParallelEye-CS: A new dataset of synthetic images for testing the visual intelligence of intelligent vehicles
CN109932730A (zh) 基于多尺度单极三维检测网络的激光雷达目标检测方法
CN106875424A (zh) 一种基于机器视觉的城市环境行驶车辆行为识别方法
CN112070729B (zh) 一种基于场景增强的anchor-free遥感图像目标检测方法及系统
He et al. Rail transit obstacle detection based on improved CNN
CN105513354A (zh) 基于视频的城市道路交通拥堵检测系统
CN110148296A (zh) 一种基于深度迁移学习的跨城市交通流量联合预测方法
CN111537990A (zh) 一种车道的标定方法、装置以及电子设备
CN111311009B (zh) 一种基于长短期记忆的行人轨迹预测方法
CN107985189A (zh) 面向高速驾驶环境下的驾驶员变道深度预警方法
Wang et al. A real-time object detector for autonomous vehicles based on YOLOv4
CN115206103B (zh) 一种基于平行仿真系统的可变限速控制系统
Wang et al. A parallel teacher for synthetic-to-real domain adaptation of traffic object detection
CN107315998A (zh) 基于车道线的车辆种类划分方法和系统
CN114620059B (zh) 一种自动驾驶方法及其系统、计算机可读存储介质
CN117313931A (zh) 一种基于火灾场景下地铁站台乘客疏散时间的预测方法
CN115861951B (zh) 一种基于双特征提取网络的复杂环境车道线精准检测方法
Chen et al. Research on object detection algorithm based on multilayer information fusion
CN113657036A (zh) 基于神经网络和物理模型的车辆动力学模拟实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant