CN115205335A - 行人轨迹预测方法、装置和电子设备 - Google Patents

行人轨迹预测方法、装置和电子设备 Download PDF

Info

Publication number
CN115205335A
CN115205335A CN202210849384.9A CN202210849384A CN115205335A CN 115205335 A CN115205335 A CN 115205335A CN 202210849384 A CN202210849384 A CN 202210849384A CN 115205335 A CN115205335 A CN 115205335A
Authority
CN
China
Prior art keywords
pedestrian
vehicle
track
sequence
historical track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210849384.9A
Other languages
English (en)
Inventor
魏崇山
李东晨
张艺浩
叶剑
徐修信
韩志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhitu Technology Co Ltd
Original Assignee
Suzhou Zhitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhitu Technology Co Ltd filed Critical Suzhou Zhitu Technology Co Ltd
Priority to CN202210849384.9A priority Critical patent/CN115205335A/zh
Publication of CN115205335A publication Critical patent/CN115205335A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种行人轨迹预测方法、装置和电子设备，包括：获取目标行人的行人历史轨迹数据和距离目标行人预设范围内的目标车辆的车辆历史轨迹数据；采用行人轨迹预测模型对行人历史轨迹数据和车辆历史轨迹数据进行行人轨迹预测，得到目标行人的预测轨迹，其中，行人轨迹预测模型为预先训练得到的。该方法通过引入目标行人的行人历史轨迹数据，和距离目标行人预设范围内的目标车辆的车辆历史轨迹数据，使得在预测行人轨迹时考虑到行人与其周围车辆之间的信息交互，提高了行人轨迹预测结果的精准度，有效缓解了现有的行人轨迹预测方法存在的缺乏行人与车辆之间的信息交互的技术问题。

Description

行人轨迹预测方法、装置和电子设备
技术领域
本发明涉及自动驾驶的技术领域，尤其是涉及一种行人轨迹预测方法、装置和电子设备。
背景技术
行人轨迹预测是自动驾驶领域的难点之一，特别是在开放道路或者交通路口等复杂的场景下，预测行人轨迹时需要考虑行人与行人、车辆以及环境的交互。目前现有的行人轨迹预测方法主要包括，基于传统机器学习模型的马尔可夫模型、动态贝叶斯网络模型等，或基于深度学习的多层感知机模型、长短期记忆模型、图神经网络等。
在通常状况下，行人轨迹的预测结果受车辆的影响较为明显，而目前的一些基于神经网络的模型大多以行人间的交互为主，很少考虑行人与车辆之间的信息交互。因此，如何在预测模型中加入行人与车辆的信息交互成为了行人轨迹预测方法的关键问题。
综上，现有的行人轨迹预测方法存在缺乏行人与车辆之间的信息交互的技术问题。
发明内容
本发明的目的在于提供一种行人轨迹预测方法、装置和电子设备，以缓解现有的行人轨迹预测方法存在缺乏行人与车辆之间的信息交互的技术问题。
第一方面，本发明提供的一种行人轨迹预测方法，包括：
获取目标行人的行人历史轨迹数据和距离所述目标行人预设范围内的目标车辆的车辆历史轨迹数据；
采用行人轨迹预测模型对所述行人历史轨迹数据和所述车辆历史轨迹数据进行行人轨迹预测，得到所述目标行人的预测轨迹，其中，所述行人轨迹预测模型为预先训练得到的。
进一步的，所述方法还包括：
获取行人历史轨迹序列和车辆历史轨迹序列，其中，所述车辆历史轨迹序列中的车辆历史轨迹数据为与所述行人历史轨迹序列对应的行人距离预设范围内的车辆历史轨迹数据；
根据所述行人历史轨迹序列确定正训练样本，并根据所述行人历史轨迹序列和所述车辆历史轨迹序列生成负训练样本，其中，所述正训练样本为与行人历史轨迹序列对应的行人未来轨迹序列，所述负训练样本为按预设采样条件获取的与所述行人历史轨迹序列对应的行人采样轨迹序列；
将所述行人历史轨迹序列、所述车辆历史轨迹序列、所述正训练样本、所述负训练样本作为训练样本集；
通过对比学习的方法，采用所述训练样本集对初始行人轨迹预测模型进行训练，得到所述行人轨迹预测模型。
进一步的，对所述初始行人轨迹预测模型进行训练时，采用的损失函数计算算式为Ltot＝LMSE+γLInfoNCE，其中，LMSE表示MSE Loss函数，γ为超参数，LInfoNCE表示InfoNCE Loss函数，MSE Loss函数的计算算式为
Figure BDA0003752742210000021
youtput表示所述行人轨迹预测模型输出的所述行人预测轨迹序列内的行人轨迹坐标序列，
Figure BDA0003752742210000022
表示真实的行人轨迹坐标序列，m表示所述行人轨迹预测模型输出的所述行人预测轨迹序列内的行人轨迹坐标的个数，InfoNCE Loss函数的计算算式为
Figure BDA0003752742210000031
Figure BDA0003752742210000032
表示第i个行人的预测轨迹序列，
Figure BDA0003752742210000033
Figure BDA0003752742210000034
表示第i个行人对应的正训练样本的行人未来轨迹序列，
Figure BDA0003752742210000035
表示第i个行人对应的负训练样本的行人采样轨迹序列，δt为间隔时间，τ为超参数，f(·)和ω(·)均为MLP层。
进一步的，根据所述行人历史轨迹序列和所述车辆历史轨迹序列生成负训练样本，包括：
在所述车辆历史轨迹序列中确定车辆当前位置，其中，所述车辆当前位置为所述车辆历史轨迹序列中末位的车辆历史轨迹数据；
从所述车辆当前位置开始，沿车辆速度方向对车辆未来轨迹序列进行采样，得到多个车辆坐标，其中，所述车辆未来轨迹序列为与所述行人未来轨迹序列对应的行人距离预设范围内的车辆未来轨迹序列；
分别获取与每个所述车辆坐标对应的行人位置的方向向量，并根据行人的速度计算行人在每个所述方向向量上的行人坐标，其中，所述行人位置为所述行人历史轨迹序列中与所述车辆当前位置对应的行人位置；
判断每个所述车辆坐标与其相对应的行人坐标之间的距离是否小于预设距离阈值，并将小于所述预设距离阈值的行人坐标组成的行人坐标序列作为与所述行人历史轨迹序列对应的行人采样轨迹序列。
进一步的，所述初始行人轨迹预测模型包括：第一LSTM层、第二LSTM层、注意力机制模块、池化层、第三LSTM层和MLP层；
所述第一LSTM层，用于提取所述行人历史轨迹序列的行人历史轨迹特征；
所述第二LSTM层，用于提取所述车辆历史轨迹序列的车辆历史轨迹特征；
所述注意力机制模块，用于获取所述第二LSTM层输出的所述车辆历史轨迹特征，并提取所述车辆历史轨迹特征中的主要车辆历史轨迹特征；
所述池化层，用于获取注意力机制模块输出的所述主要车辆历史轨迹特征，对所述主要车辆历史轨迹特征进行求和，得到特征矩阵
Figure BDA0003752742210000046
所述第三LSTM层，用于根据所述第一LSTM层输出的所述行人历史轨迹特征和所述池化层输出的所述特征矩阵
Figure BDA0003752742210000047
得到隐藏特征；
所述MLP层，用于根据所述第三LSTM层输出的所述隐藏特征，得到预测的未来轨迹。
进一步的，获取所述第二LSTM层输出的所述车辆历史轨迹特征，并提取所述车辆历史轨迹特征中的主要车辆历史轨迹特征，包括：
根据注意力机制计算算式
Figure BDA0003752742210000041
计算所述车辆历史轨迹特征中的所述主要车辆历史轨迹特征，式中，zi表示所述主要车辆历史轨迹特征，Q表示查询向量，K表示键向量，V表示值向量，dk表示所述键向量的维度，其中，所述
Figure BDA0003752742210000042
WQ、WK和WV表示所述注意力机制模块的参数矩阵，
Figure BDA0003752742210000043
表示所述第二LSTM层输出的所述车辆历史轨迹特征。
进一步的，获取注意力机制模块输出的所述主要车辆历史轨迹特征，对所述主要车辆历史轨迹特征进行求和，得到特征矩阵
Figure BDA0003752742210000044
包括：
建立大小为m×n的栅格地图；
分别对所述栅格地图的每个栅格区域内包含的所述主要车辆历史轨迹特征进行求和计算，并利用多个栅格区域的计算结果组合成所述特征矩阵
Figure BDA0003752742210000045
第二方面，本发明还提供了一种行人轨迹预测装置，包括：获取模块，用于获取目标行人的行人历史轨迹数据和距离所述目标行人预设范围内的目标车辆的车辆历史轨迹数据；
预测模块，用于采用行人轨迹预测模型对所述行人历史轨迹数据和所述车辆历史轨迹数据进行行人轨迹预测，得到所述目标行人的预测轨迹，其中，所述行人轨迹预测模型为预先训练得到的。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述第一方面任一项所述的方法。
在本发明实施例中，提供了一种行人轨迹预测方法，包括：获取目标行人的行人历史轨迹数据和距离目标行人预设范围内的目标车辆的车辆历史轨迹数据；采用行人轨迹预测模型对行人历史轨迹数据和车辆历史轨迹数据进行行人轨迹预测，得到目标行人的预测轨迹，其中，行人轨迹预测模型为预先训练得到的。通过上述描述可知，本发明的行人轨迹预测方法通过引入目标行人的行人历史轨迹数据，和距离目标行人预设范围内的目标车辆的车辆历史轨迹数据，使得在预测行人轨迹时考虑到目标行人与其周围车辆之间的信息交互。有效提高了后续行人轨迹预测模型对目标行人的未来轨迹预测的精准度，缓解了现有的行人轨迹预测方法存在的缺乏行人与车辆之间的信息交互的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种行人轨迹预测方法的流程图；
图2为本发明实施例提供的一种行人轨迹预测模型训练方法的流程图；
图3为本发明实施例提供的一种负训练样本生成方法的流程图；
图4为本发明实施例提供的一种求取特征矩阵的方法的流程图；
图5为本发明实施例提供的一种行人轨迹预测装置的示意图；
图6为本发明实施例提供的一种电子设备的示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
行人轨迹预测是自动驾驶领域的难点之一，特别是在开放道路或者交通路口等复杂的场景下，预测行人轨迹时需要考虑行人与行人、车辆以及环境的交互。但目前的一些基于神经网络的模型大多以行人间的交互为主，很少考虑行人与车辆之间的信息交互。因此，如何在预测模型中加入行人与车辆的信息交互成为了行人轨迹预测方法的关键问题。
基于此，本发明的行人轨迹预测方法通过获取目标行人的行人历史轨迹数据和距离目标行人预设范围内的目标车辆的车辆历史轨迹数据，采用预先训练好的行人轨迹预测模型，对行人历史轨迹数据和车辆历史轨迹数据进行行人轨迹预测，得到目标行人的预测轨迹，有效提高了行人轨迹预测的精准度，缓解了现有的行人轨迹预测方法存在的缺乏行人与车辆间信息交互的技术问题。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种行人轨迹预测方法进行详细介绍。
实施例一：
根据本发明实施例，提供了一种行人轨迹预测方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种行人轨迹预测方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取目标行人的行人历史轨迹数据和距离目标行人预设范围内的目标车辆的车辆历史轨迹数据；
具体的，获取待轨迹预测的目标行人的历史移动过程，其中，历史移动过程可以利用监控录像或其他传感器拍摄的图像获取，根据目标行人的历史移动过程获取目标行人的多个行人历史轨迹数据。同理，获取待轨迹预测的目标行人周围预设范围(100M)内的目标车辆的多个车辆历史轨迹数据，其中，行人历史轨迹数据和车辆历史轨迹数据为表示行人和车辆位置的多个点坐标。
步骤S104，采用行人轨迹预测模型对行人历史轨迹数据和车辆历史轨迹数据进行行人轨迹预测，得到目标行人的预测轨迹，其中，行人轨迹预测模型为预先训练得到的。
具体的，利用获取的行人历史轨迹数据和车辆历史轨迹数据预先训练行人轨迹预测模型，其中，行人轨迹预测模型为预先基于神将网络训练后的预测模型。而后，利用训练后的行人轨迹预测模型对待轨迹预测的目标行人的未来轨迹进行预测，得到目标行人的预测轨迹。
在本发明实施例中，提供了一种行人轨迹预测方法，包括：获取目标行人的行人历史轨迹数据和距离目标行人预设范围内的目标车辆的车辆历史轨迹数据；采用行人轨迹预测模型对行人历史轨迹数据和车辆历史轨迹数据进行行人轨迹预测，得到目标行人的预测轨迹，其中，行人轨迹预测模型为预先训练得到的。通过上述描述可知，本发明的行人轨迹预测方法通过引入目标行人的行人历史轨迹数据，和距离目标行人预设范围内的目标车辆的车辆历史轨迹数据，使得在预测行人轨迹时考虑到目标行人与其周围车辆之间的信息交互。有效提高了后续行人轨迹预测模型对目标行人的未来轨迹预测的精准度，缓解了现有的行人轨迹预测方法存在的缺乏行人与车辆之间的信息交互的技术问题。
上述内容对本发明的行人轨迹预测方法进行了简要介绍，下面对其中涉及到的具体内容进行详细描述。
在本发明的一个可选实施例中，参考图2，该方法还包括以下步骤：
步骤S201，获取行人历史轨迹序列和车辆历史轨迹序列，其中，车辆历史轨迹序列中的车辆历史轨迹数据为与行人历史轨迹序列对应的行人距离预设范围内的车辆历史轨迹数据；
具体的，将根据目标行人历史移动过程获取的目标行人的多个行人历史轨迹数据以序列的形式构成行人历史轨迹序列，同理，待轨迹预测的目标行人周围预设范围(DV<100M)内目标车辆的多个车辆历史轨迹数据以序列的形式构成车辆历史轨迹序列。其中，上述多个行人历史轨迹数据与多个车辆历史轨迹数据在时间上相互对应。
步骤S202，根据行人历史轨迹序列确定正训练样本，并根据行人历史轨迹序列和车辆历史轨迹序列生成负训练样本，其中，正训练样本为与行人历史轨迹序列对应的行人未来轨迹序列，负训练样本为按预设采样条件获取的与行人历史轨迹序列对应的行人采样轨迹序列；
具体的，为了提高行人轨迹预测模型的精准度，本实施例在训练行人轨迹预测模型时加入正训练样本和负训练样本作为训练的输入。其中，正训练样本为与行人历史轨迹序列内行人历史轨迹序列对应的行人未来轨迹序列。具体实现时，以当前待轨迹预测的目标行人的当前位置所对应的时间标签t为当前时间，在t以前的行人移动产生的轨迹序列为行人历史轨迹序列。相对应的，在t以后的与行人历史轨迹序列对应的行人的真实轨迹序列即为上述行人未来轨迹序列，负训练样本为按预设采样条件获取的在t以后的与行人历史轨迹序列相对应的行人采样轨迹序列。
步骤S203，将行人历史轨迹序列、车辆历史轨迹序列、正训练样本、负训练样本作为训练样本集；
具体的，在预先训练行人轨迹预测模型时，将前述行人历史轨迹序列、车辆历史轨迹序列、正训练样本和负训练样本组合成训练样本集，作为行人轨迹预测模型训练的输入。
步骤S204，通过对比学习的方法，采用训练样本集对初始行人轨迹预测模型进行训练，得到行人轨迹预测模型。
具体的，在进行行人轨迹预测模型的训练时，采用对比学习的训练方法，利用训练样本集对初始行人轨迹预测模型进行训练，得到行人轨迹预测模型。
在本发明的一个可选实施例中，对初始行人轨迹预测模型进行训练时，采用的损失函数计算算式为Ltot＝LMSE+γLInfoNCE，其中，LMSE表示MSE Loss函数，γ为超参数，LInfoNCE表示InfoNCE Loss函数，MSE Loss函数的计算算式为
Figure BDA0003752742210000091
youtput表示行人轨迹预测模型输出的行人预测轨迹序列内的行人轨迹坐标序列，
Figure BDA0003752742210000101
表示真实的行人轨迹坐标序列，m表示行人轨迹预测模型输出的行人预测轨迹序列内的行人轨迹坐标的个数，InfoNCE Loss函数的计算算式为
Figure BDA0003752742210000102
Figure BDA0003752742210000103
表示第i个行人的预测轨迹序列，
Figure BDA0003752742210000104
Figure BDA0003752742210000105
表示第i个行人对应的正训练样本的行人未来轨迹序列，
Figure BDA0003752742210000106
表示第i个行人对应的负训练样本的行人采样轨迹序列，δt为间隔时间，τ为超参数，f(·)和ω(·)均为MLP层。
具体的，在采用对比学习的方法训练行人轨迹预测模型的过程中，需要不断的对行人轨迹预测模型的训练结果进行评估，进而根据评估结果反馈行人轨迹预测模型的训练程度，实现对行人轨迹预测模型的进行迭代训练，最后完成对行人轨迹预测模型所基于的神经网络的所有参数矩阵的调整。而行人轨迹预测模型的评估通常是利用损失函数实现的，只有在行人轨迹预测模型输出的行人预测轨迹序列可以实现损失函数收敛时，才能表示当前行人轨迹预测模型达到最优状态，具有较高的预测精度。因此，本实施例中设计损失函数计算算式为Ltot＝LMSE+γLInfoNCE，其中，LMSE表示MSE Loss函数，具体的计算算式为
Figure BDA0003752742210000107
LInfoNCE表示InfoNCE Loss函数，具体的计算算式为
Figure BDA0003752742210000108
通过采用上述损失函数对行人轨迹预测模型进行评估，有效提高了训练后的模型的预测精度。
在本发明的一个可选实施例中，参考图3，根据行人历史轨迹序列和车辆历史轨迹序列生成负训练样本，包括：
步骤S301，在车辆历史轨迹序列中确定车辆当前位置，其中，车辆当前位置为车辆历史轨迹序列中末位的车辆历史轨迹数据；
为了提高行人轨迹预测模型的精准度，本实施例在行人轨迹预测模型的训练中加入负训练样本，其中，负训练样本为通过预设采样条件生成的行人采样轨迹序列。在具体进行采样时，需先确定出车辆历史轨迹序列中当前采样时刻t所对应的车辆的当前轨迹坐标，即确定出当前时刻车辆的具体位置。
步骤S302，从车辆当前位置开始，沿车辆速度方向对车辆未来轨迹序列进行采样，得到多个车辆坐标，其中，车辆未来轨迹序列为与行人未来轨迹序列对应的行人距离预设范围内的车辆未来轨迹序列；
具体的，确定出车辆的当前位置坐标后，沿车辆速度方向采样获取多个车辆的位置坐标。以采样12帧、每帧0.4S为例，在当前位置坐标基础上沿速度方向连续采样12帧后的位置坐标为
Figure BDA0003752742210000111
该坐标序列则表示该车辆以当前位置为起始点的，相对于当前时间t的未来0～4.8S的车辆未来轨迹序列。其中，该车辆未来轨迹序列内车辆未来轨迹数据的在时间上与行人未来轨迹序列内的行人未来轨迹相对应。
步骤S303，分别获取与每个车辆坐标对应的行人位置的方向向量，并根据行人的速度计算行人在每个方向向量上的行人坐标，其中，行人位置为行人历史轨迹序列中与车辆当前位置对应的行人位置；
具体的，利用上述采样得到的相对于当前时间t的未来的12个车辆位置坐标，分别在每个位置坐标处获取该位置坐标与当前时间t的行人位置坐标之间的方向向量，从而得到12个相对应的方向向量。
而后，在不同的方向向量上，利用行人的速度计算在每个方向向量上的行人坐标，从而得到12个行人的位置坐标
Figure BDA0003752742210000112
步骤S304，判断每个车辆坐标与其相对应的行人坐标之间的距离是否小于预设距离阈值，并将小于预设距离阈值的行人坐标组成的行人坐标序列作为与行人历史轨迹序列对应的行人采样轨迹序列。
具体的，分别判断12个车辆位置坐标中第n个车辆位置坐标
Figure BDA0003752742210000121
与其对应的行人位置坐标中的第m个行人位置坐标
Figure BDA0003752742210000122
之间的距离D，其中n＝m。将两个位置坐标之间的距离与预设距离阈值(Dneg＝2M)进行对比，并将所有距离小于预设距离阈值时对应的行人位置坐标组成的行人采样轨迹序列作为负训练样本。
在本发明的一个可选实施例中，初始行人轨迹预测模型包括：第一LSTM层、第二LSTM层、注意力机制模块、池化层、第三LSTM层和MLP层；
第一LSTM层，用于提取行人历史轨迹序列的行人历史轨迹特征；
第二LSTM层，用于提取车辆历史轨迹序列的车辆历史轨迹特征；
注意力机制模块，用于获取第二LSTM层输出的车辆历史轨迹特征，并提取车辆历史轨迹特征中的主要车辆历史轨迹特征；
池化层，用于获取注意力机制模块输出的主要车辆历史轨迹特征，对主要车辆历史轨迹特征进行求和，得到特征矩阵
Figure BDA0003752742210000124
第三LSTM层，用于根据第一LSTM层输出的行人历史轨迹特征和池化层输出的特征矩阵
Figure BDA0003752742210000125
得到隐藏特征；
MLP层，用于根据第三LSTM层输出的隐藏特征，得到预测的未来轨迹。
另外，获取第二LSTM层输出的车辆历史轨迹特征，并提取车辆历史轨迹特征中的主要车辆历史轨迹特征，包括：
根据注意力机制计算算式
Figure BDA0003752742210000123
计算车辆历史轨迹特征中的主要车辆历史轨迹特征，式中，zi表示主要车辆历史轨迹特征，Q表示查询向量，K表示键向量，V表示值向量，dk表示键向量的维度，其中，
Figure BDA0003752742210000131
WQ、WK和WV表示注意力机制模块的参数矩阵，
Figure BDA0003752742210000132
表示第二LSTM层输出的车辆历史轨迹特征。
具体的，本实施例对行人轨迹预测模型进行训练时，搭建的初始行人轨迹预测模型包括：第一LSTM(Long-Short Term Memory，长短期记忆模型)层、第二LSTM层、注意力机制模块、池化层、第三LSTM层和MLP(Multilayer Perceptron，多层感知机模型)层；
其中，第一LSTM层，用于提取行人历史轨迹序列的行人历史轨迹特征。具体实现时，以当前所需预测的行人轨迹坐标对应的时间标签为当前时间t，观察当前时间t前3.2S的行人历史轨迹并获取行人前3.2S历史轨迹所对应的多个历史轨迹数据。以帧为单位且平均每帧为0.4S，则前3.2S内获取到的历史轨迹数据为8帧，且该8帧历史轨迹数据构成了行人历史轨迹序列
Figure BDA0003752742210000133
以该行人历史轨迹序列作为第一LSTM层的输入，经过第一LSTM层进行特征编码，得到与行人历史轨迹数据对应的行人历史轨迹特征
Figure BDA0003752742210000134
式中，
Figure BDA0003752742210000135
表示第一LSTM层输出的行人历史轨迹特征，
Figure BDA0003752742210000136
表示行人历史轨迹数据，i表示第i个行人，Wh表示第一LSTM层的参数矩阵。
同理，第二LSTM层，用于提取车辆历史轨迹序列的车辆历史轨迹特征。具体实现时，同样以当前所需预测的行人轨迹坐标对应的时间标签为当前时间t，观察目标行人周围预设范围内(DV<100M)车辆前4S的历史轨迹并获取车辆前4S历史轨迹所对应的多个历史轨迹数据，并将多个历史轨迹数据构成车辆历史轨迹序列
Figure BDA0003752742210000137
以该车辆历史轨迹序列作为第二LSTM层的输入，经过第二LSTM层进行特征编码，得到与车辆历史轨迹数据对应的车辆历史轨迹特征
Figure BDA0003752742210000138
式中，
Figure BDA0003752742210000139
表示第二LSTM层输出的车辆历史轨迹特征，
Figure BDA0003752742210000141
表示车辆历史轨迹数据，j表示第j个行人，Wg表示第二LSTM层的参数矩阵。
第二LSTM层输出的车辆历史轨迹特征
Figure BDA0003752742210000142
将作为后续注意力机制模块的输入，通过注意力机制模块提取车辆历史轨迹特征中的主要车辆历史轨迹特征，从而用来强调车辆历史轨迹特征所对应的需要加强注意的车辆。具体实现时，利用注意力机制计算算式
Figure BDA0003752742210000143
计算车辆历史轨迹特征中的主要车辆历史轨迹特征。
上述注意力机制模块输出的主要车辆历史轨迹特征zi将作为后续池化层的输入，并通过池化层对主要车辆历史轨迹特征进行求和，得到特征矩阵
Figure BDA0003752742210000144
进一步的，将上述池化层输出的特征矩阵
Figure BDA0003752742210000145
和前述第一LSTM层输出的行人历史轨迹特征，经过concat函数合成一个向量，而后经过第三LSTM层输出隐藏特征
Figure BDA0003752742210000146
式中，
Figure BDA0003752742210000147
表示第三LSTM层输出的隐藏特征，Wl表示第三LSTM层的参数矩阵。最后以该隐藏特征作为MLP层的输入，得到MLP层输出的当前t时刻所需预测的目标行人的预测轨迹序列
Figure BDA0003752742210000148
式中，
Figure BDA0003752742210000149
表示行人预测轨迹序列，Wb表示MLP层的参数矩阵。
在本发明的一个可选实施例中，参考图4，获取注意力机制模块输出的主要车辆历史轨迹特征，对主要车辆历史轨迹特征进行求和，得到特征矩阵
Figure BDA00037527422100001410
包括：
步骤S401，建立大小为m×n的栅格地图；
具体的，以1M×1M的栅格大小，对行人和车辆所处的位置进行栅格划分，得到划分后的栅格数量为m×n的栅格地图。
步骤S402，分别对栅格地图的每个栅格区域内包含的主要车辆历史轨迹特征进行求和计算，并利用多个栅格区域的计算结果组合成特征矩阵
Figure BDA0003752742210000151
具体的，根据当前车辆位置对应的车辆位置坐标，利用判别函数1mn[x,y]判断车辆j是否处于栅格(m,n)的区域内。若车辆j处于栅格(m,n)的区域内，则判别函数输出1，否则判别函数输出0。而后，分别对栅格地图的每个栅格区域内包含的车辆j所对应的主要车辆历史轨迹特征进行求和计算，并将多个栅格区域的计算结果组合成特征矩阵
Figure BDA0003752742210000152
具体实现时，利用特征矩阵计算算式
Figure BDA0003752742210000153
实现特征矩阵求取，式中，Ni表示行人i周围预设范围内的车辆的集合，
Figure BDA0003752742210000154
表示车辆j在栅格地图内的位置坐标，
Figure BDA0003752742210000155
表示行人i在栅格地图内的位置坐标。
实施例二：
本发明实施例还提供了一种行人轨迹预测装置，该行人轨迹预测装置主要用于执行本发明实施例一中所提供的行人轨迹预测方法，以下对本发明实施例提供的行人轨迹预测装置做具体介绍。
图5是根据本发明实施例的一种行人轨迹预测装置的示意图，如图5所示，该装置主要包括：
获取模块10，用于获取目标行人的行人历史轨迹数据和距离目标行人预设范围内的目标车辆的车辆历史轨迹数据；
预测模块20，用于采用行人轨迹预测模型对行人历史轨迹数据和车辆历史轨迹数据进行行人轨迹预测，得到目标行人的预测轨迹，其中，行人轨迹预测模型为预先训练得到的。
在本发明实施例中，提供了一种行人轨迹预测装置，包括：获取目标行人的行人历史轨迹数据和距离目标行人预设范围内的目标车辆的车辆历史轨迹数据；采用行人轨迹预测模型对行人历史轨迹数据和车辆历史轨迹数据进行行人轨迹预测，得到目标行人的预测轨迹，其中，行人轨迹预测模型为预先训练得到的。通过上述描述可知，本发明的行人轨迹预测方法通过引入目标行人的行人历史轨迹数据，和距离目标行人预设范围内的目标车辆的车辆历史轨迹数据，使得在预测行人轨迹时考虑到目标行人与其周围车辆之间的信息交互。有效提高了后续行人轨迹预测模型对目标行人的未来轨迹预测的精准度，缓解了现有的行人轨迹预测方法存在的缺乏行人与车辆之间的信息交互的技术问题。
可选地，行人轨迹预测装置还用于获取行人历史轨迹序列和车辆历史轨迹序列，其中，车辆历史轨迹序列中的车辆历史轨迹数据为与行人历史轨迹序列对应的行人距离预设范围内的车辆历史轨迹数据；
根据行人历史轨迹序列确定正训练样本，并根据行人历史轨迹序列和车辆历史轨迹序列生成负训练样本，其中，正训练样本为与行人历史轨迹序列对应的行人未来轨迹序列，负训练样本为按预设采样条件获取的与行人历史轨迹序列对应的行人采样轨迹序列；
将行人历史轨迹序列、车辆历史轨迹序列、正训练样本、负训练样本作为训练样本集；
通过对比学习的方法，采用训练样本集对初始行人轨迹预测模型进行训练，得到行人轨迹预测模型。
可选地，行人轨迹预测装置还用于对初始行人轨迹预测模型进行训练时，采用的损失函数计算算式为Ltot＝LMSE+γLInfoNCE，其中，LMSE表示MSE Loss函数，γ为超参数，LInfoNCE表示InfoNCE Loss函数，MSE Loss函数的计算算式为
Figure BDA0003752742210000161
youtput表示行人轨迹预测模型输出的行人预测轨迹序列内的行人轨迹坐标序列，
Figure BDA0003752742210000162
表示真实的行人轨迹坐标序列，m表示行人轨迹预测模型输出的行人预测轨迹序列内的行人轨迹坐标的个数，InfoNCE Loss函数的计算算式为
Figure BDA0003752742210000171
Figure BDA0003752742210000172
表示第i个行人的预测轨迹序列，
Figure BDA0003752742210000173
Figure BDA0003752742210000174
表示第i个行人对应的正训练样本的行人未来轨迹序列，
Figure BDA0003752742210000175
表示第i个行人对应的负训练样本的行人采样轨迹序列，δt为间隔时间，τ为超参数，f(·)和ω(·)均为MLP层。
可选地，行人轨迹预测装置还用于在车辆历史轨迹序列中确定车辆当前位置，其中，车辆当前位置为车辆历史轨迹序列中末位的车辆历史轨迹数据；
从车辆当前位置开始，沿车辆速度方向对车辆未来轨迹序列进行采样，得到多个车辆坐标，其中，车辆未来轨迹序列与行人未来轨迹序列相对应；
分别获取与每个车辆坐标对应的行人位置的方向向量，并根据行人的速度计算行人在每个方向向量上的行人坐标，其中，行人位置为行人历史轨迹序列中与车辆当前位置对应的行人位置；
判断每个车辆坐标与其相对应的行人坐标之间的距离是否小于预设距离阈值，并将小于预设距离阈值的行人坐标组成的行人坐标序列作为与行人历史轨迹序列对应的行人采样轨迹序列。
可选地，初始行人轨迹预测模型包括：第一LSTM层、第二LSTM层、注意力机制模初始行人轨迹预测模型包括：第一LSTM层、第二LSTM层、注意力机制模块、池化层、第三LSTM层和MLP层；
第一LSTM层，用于提取行人历史轨迹序列的行人历史轨迹特征；
第二LSTM层，用于提取车辆历史轨迹序列的车辆历史轨迹特征；
注意力机制模块，用于获取第二LSTM层输出的车辆历史轨迹特征，并提取车辆历史轨迹特征中的主要车辆历史轨迹特征；
池化层，用于获取注意力机制模块输出的主要车辆历史轨迹特征，对主要车辆历史轨迹特征进行求和，得到特征矩阵
Figure BDA0003752742210000185
第三LSTM层，用于根据第一LSTM层输出的行人历史轨迹特征和池化层输出的特征矩阵
Figure BDA0003752742210000186
得到隐藏特征；
MLP层，用于根据第三LSTM层输出的隐藏特征，得到预测的未来轨迹。
可选地，行人轨迹预测装置还用于根据注意力机制计算算式
Figure BDA0003752742210000181
计算车辆历史轨迹特征中的主要车辆历史轨迹特征，式中，zi表示主要车辆历史轨迹特征，Q表示查询向量，K表示键向量，V表示值向量，dk表示键向量的维度，其中，
Figure BDA0003752742210000182
WQ、WK和WV表示注意力机制模块的参数矩阵，
Figure BDA0003752742210000183
表示第二LSTM层输出的车辆历史轨迹特征。
可选地，行人轨迹预测装置还用于建立大小为m×n的栅格地图；
分别对栅格地图的每个栅格区域内包含的主要车辆历史轨迹特征进行求和计算，并利用多个栅格区域的计算结果组合成特征矩阵
Figure BDA0003752742210000184
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
如图6所示，本申请实施例提供的一种电子设备600，包括：处理器601、存储器602和总线，所述存储器602存储有所述处理器601可执行的机器可读指令，当电子设备运行时，所述处理器601与所述存储器602之间通过总线通信，所述处理器601执行所述机器可读指令，以执行如上述行人轨迹预测方法的步骤。
具体地，上述存储器602和处理器601能够为通用的存储器和处理器，这里不做具体限定，当处理器601运行存储器602存储的计算机程序时，能够执行上述行人轨迹预测方法。
处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成上述方法的步骤。
对应于上述行人轨迹预测方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述行人轨迹预测方法的步骤。
本申请实施例所提供的行人轨迹预测装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
再例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种行人轨迹预测方法，其特征在于，包括：
获取目标行人的行人历史轨迹数据和距离所述目标行人预设范围内的目标车辆的车辆历史轨迹数据；
采用行人轨迹预测模型对所述行人历史轨迹数据和所述车辆历史轨迹数据进行行人轨迹预测，得到所述目标行人的预测轨迹，其中，所述行人轨迹预测模型为预先训练得到的。
2.根据权利要求1所述的行人轨迹预测方法，其特征在于，所述方法还包括：
获取行人历史轨迹序列和车辆历史轨迹序列，其中，所述车辆历史轨迹序列中的车辆历史轨迹数据为与所述行人历史轨迹序列对应的行人距离预设范围内的车辆历史轨迹数据；
根据所述行人历史轨迹序列确定正训练样本，并根据所述行人历史轨迹序列和所述车辆历史轨迹序列生成负训练样本，其中，所述正训练样本为与行人历史轨迹序列对应的行人未来轨迹序列，所述负训练样本为按预设采样条件获取的与所述行人历史轨迹序列对应的行人采样轨迹序列；
将所述行人历史轨迹序列、所述车辆历史轨迹序列、所述正训练样本、所述负训练样本作为训练样本集；
通过对比学习的方法，采用所述训练样本集对初始行人轨迹预测模型进行训练，得到所述行人轨迹预测模型。
3.根据权利要求2所述的行人轨迹预测方法，其特征在于，对所述初始行人轨迹预测模型进行训练时，采用的损失函数计算算式为Ltot＝LMSE+γLInfoNCE，其中，LMSE表示MSE Loss函数，γ为超参数，LInfoNCE表示InfoNCE Loss函数，MSE Loss函数的计算算式为
Figure FDA0003752742200000021
youtput表示所述行人轨迹预测模型输出的所述行人预测轨迹序列内的行人轨迹坐标序列，
Figure FDA0003752742200000022
表示真实的行人轨迹坐标序列，m表示所述行人轨迹预测模型输出的所述行人预测轨迹序列内的行人轨迹坐标的个数，InfoNCE Loss函数的计算算式为
Figure FDA0003752742200000023
Figure FDA0003752742200000024
表示第i个行人的预测轨迹序列，
Figure FDA0003752742200000025
Figure FDA0003752742200000026
表示第i个行人对应的正训练样本的行人未来轨迹序列，
Figure FDA0003752742200000027
表示第i个行人对应的负训练样本的行人采样轨迹序列，δt为间隔时间，τ为超参数，f(·)和ω(·)均为MLP层。
4.根据权利要求2所述的行人轨迹预测方法，其特征在于，根据所述行人历史轨迹序列和所述车辆历史轨迹序列生成负训练样本，包括：
在所述车辆历史轨迹序列中确定车辆当前位置，其中，所述车辆当前位置为所述车辆历史轨迹序列中末位的车辆历史轨迹数据；
从所述车辆当前位置开始，沿车辆速度方向对车辆未来轨迹序列进行采样，得到多个车辆坐标，其中，所述车辆未来轨迹序列为与所述行人未来轨迹序列对应的行人距离预设范围内的车辆未来轨迹序列；
分别获取与每个所述车辆坐标对应的行人位置的方向向量，并根据行人的速度计算行人在每个所述方向向量上的行人坐标，其中，所述行人位置为所述行人历史轨迹序列中与所述车辆当前位置对应的行人位置；
判断每个所述车辆坐标与其相对应的行人坐标之间的距离是否小于预设距离阈值，并将小于所述预设距离阈值的行人坐标组成的行人坐标序列作为与所述行人历史轨迹序列对应的行人采样轨迹序列。
5.根据权利要求2所述的行人轨迹预测方法，其特征在于，所述初始行人轨迹预测模型包括：第一LSTM层、第二LSTM层、注意力机制模块、池化层、第三LSTM层和MLP层；
所述第一LSTM层，用于提取所述行人历史轨迹序列的行人历史轨迹特征；
所述第二LSTM层，用于提取所述车辆历史轨迹序列的车辆历史轨迹特征；
所述注意力机制模块，用于获取所述第二LSTM层输出的所述车辆历史轨迹特征，并提取所述车辆历史轨迹特征中的主要车辆历史轨迹特征；
所述池化层，用于获取注意力机制模块输出的所述主要车辆历史轨迹特征，对所述主要车辆历史轨迹特征进行求和，得到特征矩阵Hi t；
所述第三LSTM层，用于根据所述第一LSTM层输出的所述行人历史轨迹特征和所述池化层输出的所述特征矩阵Hi t，得到隐藏特征；
所述MLP层，用于根据所述第三LSTM层输出的所述隐藏特征，得到预测的未来轨迹。
6.根据权利要求5所述的行人轨迹预测方法，其特征在于，获取所述第二LSTM层输出的所述车辆历史轨迹特征，并提取所述车辆历史轨迹特征中的主要车辆历史轨迹特征，包括：
根据注意力机制计算算式
Figure FDA0003752742200000031
计算所述车辆历史轨迹特征中的所述主要车辆历史轨迹特征，式中，zi表示所述主要车辆历史轨迹特征，Q表示查询向量，K表示键向量，V表示值向量，dk表示所述键向量的维度，其中，所述
Figure FDA0003752742200000032
WQ、WK和WV表示所述注意力机制模块的参数矩阵，
Figure FDA0003752742200000033
表示所述第二LSTM层输出的所述车辆历史轨迹特征。
7.根据权利要求5所述的行人轨迹预测方法，其特征在于，获取注意力机制模块输出的所述主要车辆历史轨迹特征，对所述主要车辆历史轨迹特征进行求和，得到特征矩阵
Figure FDA0003752742200000041
包括：
建立大小为m×n的栅格地图；
分别对所述栅格地图的每个栅格区域内包含的所述主要车辆历史轨迹特征进行求和计算，并利用多个栅格区域的计算结果组合成所述特征矩阵
Figure FDA0003752742200000042
8.一种行人轨迹预测装置，其特征在于，包括：
获取模块，用于获取目标行人的行人历史轨迹数据和距离所述目标行人预设范围内的目标车辆的车辆历史轨迹数据；
预测模块，用于采用行人轨迹预测模型对所述行人历史轨迹数据和所述车辆历史轨迹数据进行行人轨迹预测，得到所述目标行人的未来轨迹，其中，所述行人轨迹预测模型为预先训练得到的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述权利要求1至7中任一项所述的方法。
CN202210849384.9A 2022-07-19 2022-07-19 行人轨迹预测方法、装置和电子设备 Pending CN115205335A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210849384.9A CN115205335A (zh) 2022-07-19 2022-07-19 行人轨迹预测方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210849384.9A CN115205335A (zh) 2022-07-19 2022-07-19 行人轨迹预测方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN115205335A true CN115205335A (zh) 2022-10-18

Family

ID=83583044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210849384.9A Pending CN115205335A (zh) 2022-07-19 2022-07-19 行人轨迹预测方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN115205335A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116558541A (zh) * 2023-07-11 2023-08-08 新石器慧通（北京）科技有限公司 模型训练方法和装置、轨迹预测方法和装置
CN116654022A (zh) * 2023-07-25 2023-08-29 清华大学 基于多重交互的行人轨迹预测方法、系统、设备和介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116558541A (zh) * 2023-07-11 2023-08-08 新石器慧通（北京）科技有限公司 模型训练方法和装置、轨迹预测方法和装置
CN116558541B (zh) * 2023-07-11 2023-09-22 新石器慧通（北京）科技有限公司 模型训练方法和装置、轨迹预测方法和装置
CN116654022A (zh) * 2023-07-25 2023-08-29 清华大学 基于多重交互的行人轨迹预测方法、系统、设备和介质
CN116654022B (zh) * 2023-07-25 2023-10-20 清华大学 基于多重交互的行人轨迹预测方法、系统、设备和介质

Similar Documents

Publication Publication Date Title
CN115205335A (zh) 行人轨迹预测方法、装置和电子设备
CN105335955B (zh) 对象检测方法和对象检测装置
KR20190128724A (ko) 타겟 인식 방법, 장치, 저장 매체 및 전자 기기
WO2019040213A1 (en) ADAPTIVE REAL TIME DETECTION AND EXAMINATION NETWORK (ARDEN)
CN107845290B (zh) 交叉路口警报方法、处理系统、交叉路口警报系统及车辆
CN112084833B (zh) 图像识别装置
CN114323054B (zh) 自动驾驶车辆行驶轨迹的确定方法、装置及电子设备
US20220156483A1 (en) Efficient three-dimensional object detection from point clouds
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
CN113191318A (zh) 目标检测方法、装置、电子设备及存储介质
CN112052807B (zh) 车辆位置检测方法、装置、电子设备及存储介质
CN114462667A (zh) 一种基于sfm-lstm神经网络模型的过街行人轨迹预测方法
CN115661767A (zh) 一种基于卷积神经网络的图像前方车辆目标识别方法
WO2023273467A1 (zh) 真值数据确定、神经网络训练、行驶控制方法及装置
JP2019220054A (ja) 行動予測装置及び自動運転装置
CN115115964A (zh) 车载视频稳像方法、装置、车辆及存储介质
CN113281718B (zh) 一种基于激光雷达场景流估计的3d多目标跟踪系统及方法
CN104616317A (zh) 一种视频车辆跟踪有效性验证方法
Lim et al. Gaussian process auto regression for vehicle center coordinates trajectory prediction
JP2011008809A (ja) 移動物体認識方法及び装置
CN116501820A (zh) 车辆轨迹预测方法、装置、设备及存储介质
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
Lv et al. Traffic safety detection system by digital twins and virtual reality technology
CN112334945A (zh) 用于确定彼此对应的像点的方法、用于执行该方法的SoC、具有SoC的摄像机系统、控制设备和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination