CN113902776B - 目标行人轨迹预测方法、装置、电子设备及存储介质 - Google Patents

目标行人轨迹预测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113902776B
CN113902776B CN202111258477.6A CN202111258477A CN113902776B CN 113902776 B CN113902776 B CN 113902776B CN 202111258477 A CN202111258477 A CN 202111258477A CN 113902776 B CN113902776 B CN 113902776B
Authority
CN
China
Prior art keywords
target
main target
observation
auxiliary
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111258477.6A
Other languages
English (en)
Other versions
CN113902776A (zh
Inventor
杨天航
范圣印
李雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yihang Yuanzhi Technology Co Ltd
Original Assignee
Beijing Yihang Yuanzhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yihang Yuanzhi Technology Co Ltd filed Critical Beijing Yihang Yuanzhi Technology Co Ltd
Priority to CN202111258477.6A priority Critical patent/CN113902776B/zh
Publication of CN113902776A publication Critical patent/CN113902776A/zh
Application granted granted Critical
Publication of CN113902776B publication Critical patent/CN113902776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本公开提供了一种目标行人轨迹预测方法，包括：确定预测主目标及辅助观测目标，将预测主目标的观测轨迹转换为在预测主目标的自我视角坐标系中的观测轨迹以及在辅助观测目标的自我视角坐标系中的观测轨迹；计算预测主目标在各个重要视角下的运动趋势特征；分别计算主目标视角和各个辅助目标视角的未来轨迹隐含特征；分别进行关键特征提取，生成预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征；以及，对预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征进行解码处理，生成预测主目标的未来轨迹。本公开还提供一种目标行人轨迹预测装置、电子设备及可读存储介质。

Description

目标行人轨迹预测方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉技术领域及自动驾驶技术领域，本公开尤其涉及一种目标行人轨迹预测方法、装置、电子设备及存储介质。
背景技术
在自动驾驶场景中，对自主车辆周围的交通参与者进行观测，并根据观测数据预测其未来行为的能力十分重要。
完成精准的轨迹预测，能够帮助自动驾驶系统提高规划决策能力。当行人预测轨迹与车辆规划轨迹有重合时，能够提前改变规划路径实现避障，这进一步提升了自动驾驶的安全性能。目前，行人轨迹预测方法主要还是深度学习的路线，通过自动驾驶感知系统采集的大量数据，从中提取出待预测目标的轨迹序列，通过如循环神经网络(RNN)、长短时记忆网络(LSTM)、门控循环单元(GRU)等网络模型进行序列特征的提取，以上方法作为组件，嵌入到编码器-解码器的网络结构中，实现未来的轨迹预测。
至今行人轨迹预测的研究还有许多难点亟待解决，模型方法的学习能力和预测精度还有待进一步提高。
例如下列方案：
方案一：专利文献CN112766561A提出了一种基于注意力机制和生成对抗网络的轨迹预测方法，序列特征提取的主要部件使用LSTM，其在编码器和解码器中添加了注意力池化模块，为了刻画行人之间的运动影响，其将行人运动的速度矢量、距离矢量以及运动矢量的夹角也纳入考虑，并将以上矢量合并为特征矢量送入注意力模块进行权重分配。该方案使用注意力机制来获取行人轨迹交互特征是可取的，但是其特征的设计方案，即多个手工设计的矢量特征，其不同特征之间可能存在信息冗余，模型泛化能力下降。且使用参数较多的LSTM作为解码器，当存在特征维度过大时，可能会导致计算代价较高。
方案二：2020年发表于ECCV会议的论文“SimAug:Learning RobustRepresentations from Simulation for Trajectory Prediction”中使用了多视角输入的方法，将初始输入视角扩展到多个其他视角，从多个摄像头视角下的视频图像帧输入，选取最难预测的视角进行竞争增强处理。经过处理的输入与原视角输入进行组合，作为训练模型新的输入。而预测模型主要在经过网格划分后的场景中进行预测。此方法能够在不同视角作为输入的情况下，依然完成稳定的预测效果。其方案使用仿真数据，能够获得在多个摄像头视角下的轨迹位置信息，但是受到条件限制，在现实案例中很难获取这样的模型输入。
方案三：2017年发表于EMNLP会议的论文“Tensor Fusion Network forMultimodal Sentiment Analysis”中通过多模态融合的思想，将来自图像、文本、语音的三种模态下提取出的特征进行融合，以能够在不同的表现形式下实现不同类特征的互补性。其主要通过基于矩阵Tensor Fusion Network，一个典型的通过矩阵运算进行特征融合的多模态网络，对来自三种模态的数据的三个特征向量进行矩阵运算得到融合后的结果，此模型方法是较为简洁和有效的多模态融合方法。Tensor Fusion Network通过模态之间的张量外积计算不同模态的元素之间的相关性，但会极大的增加特征向量的维度，造成模型过大，难以训练。
现有技术中的行人轨迹预测方法主要存在以下问题：
(1)历史观测轨迹序列信息中特征提取不足。历史轨迹信息具有重要时空特征，在自动驾驶领域，需要更精确的预测能力、场景理解能力，现在的主要方法在场景的理解方面较为单一，都是以世界坐标系下统一的标准来考量轨迹坐标序列，并以一致的视角来考量轨迹序列信息。提高模型预测能力，需要更大程度的挖掘历史轨迹信息带来的隐含特征。
(2)缺乏真实社交场景的模拟。在真实的社交场景中，行人可能会更加关注部分主要目标的运动，从而来调整规划自己的未来轨迹。只是将场景中的所有轨迹信息通过模型来学习，显然会存在社交场景的不合理性。
(3)多种特征之间缺乏竞争学习。来自场景中不同目标的特征，由于特征的类别和维度都非常大，直接进行连接操作，会给模型带来具有大量冗余的特征输入，在最终生成预测轨迹时，很大程度上影响模型的精度。
发明内容
为了解决上述技术问题中的，本公开提供了一种目标行人轨迹预测方法、装置、电子设备及存储介质。
根据本公开的一个方面，提供一种目标行人轨迹预测方法，包括：S110、确定场景中的预测主目标，为所述预测主目标获取辅助观测目标，并至少获取所述预测主目标在世界坐标系中的观测轨迹，将所述预测主目标在世界坐标系中的所述观测轨迹分别转换为在所述预测主目标的自我视角坐标系中的观测轨迹以及在所述辅助观测目标的自我视角坐标系中的观测轨迹；
S120、计算观测最末帧时刻所述预测主目标在所述预测主目标的自我视角坐标系中的观测轨迹的主目标视角运动趋势特征以及在所述辅助观测目标的自我视角坐标系中的观测轨迹的辅助目标视角运动趋势特征；基于所述主目标视角运动趋势特征以及所述辅助目标视角运动趋势特征分别计算主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征；
S130、对所述预测主目标的所述主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征分别进行关键特征提取，生成所述预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征；以及，S140、对所述预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征进行解码处理，生成所述预测主目标的未来轨迹。
根据本公开的至少一个实施方式的目标行人轨迹预测方法，为所述预测主目标获取两个以上的辅助观测目标，所述辅助观测目标为可能与所述预测主目标产生路径冲突的目标。
根据本公开的至少一个实施方式的目标行人轨迹预测方法，步骤S110中，还获取所述辅助观测目标在世界坐标系中的观测轨迹。
根据本公开的至少一个实施方式的目标行人轨迹预测方法，步骤S110中，将所述预测主目标在世界坐标系中的所述观测轨迹分别转换为在所述预测主目标的自我视角坐标系中的观测轨迹以及在所述辅助观测目标的自我视角坐标系中的观测轨迹，包括：
基于所述预测主目标在世界坐标系中的观测轨迹以及所述辅助观测目标在世界坐标系中的观测轨迹分别建立预测主目标的自我视角坐标系以及各个辅助观测目标的自我视角坐标系，分别获取世界坐标系到预测主目标的自我视角坐标系、各个辅助观测目标的自我视角坐标系的变换矩阵；以及，
基于获取的世界坐标系到预测主目标的自我视角坐标系、各个辅助观测目标的自我视角坐标系的变换矩阵，将所述预测主目标在世界坐标系中的所述观测轨迹分别转换为在所述预测主目标的自我视角坐标系中的观测轨迹以及在所述辅助观测目标的自我视角坐标系中的观测轨迹。
根据本公开的至少一个实施方式的目标行人轨迹预测方法，步骤S110中，为所述预测主目标获取辅助观测目标，包括：
基于观测最末帧时刻所述预测主目标与场景中其他目标的距离因素以及朝向因素获取辅助观测目标。
根据本公开的至少一个实施方式的目标行人轨迹预测方法，步骤S110中，基于当前时刻所述预测主目标与场景中其他目标的距离因素以及朝向因素获取辅助观测目标，包括：
将当前时刻其他目标的观测位置映射至以所述预测主目标为原点的自我视角坐标系中；
获取所述预测主目标与各个其他目标之间的距离以及与各个其他目标之间的朝向差异；
将所述预测主目标与各个其他目标之间的距离以及所述预测主目标与各个其他目标之间的朝向差异进行加权求和，获得所述预测主目标与各个其他目标之间的路径冲突因素值；以及，
基于所述预测主目标与各个其他目标之间的路径冲突因素值获取预设数量的辅助观测目标。
根据本公开的至少一个实施方式的目标行人轨迹预测方法，步骤S120中，计算观测最末帧时刻所述预测主目标在所述预测主目标的自我视角坐标系中的观测轨迹的主目标视角运动趋势特征以及在所述辅助观测目标的自我视角坐标系中的观测轨迹的辅助目标视角运动趋势特征，包括：
S121、通过全连接层将所述预测主目标在所述预测主目标的自我视角坐标系中的观测轨迹以及在所述辅助观测目标的自我视角坐标系中的观测轨迹进行空域嵌入表示，分别获得所述预测主目标的主目标视角观测轨迹嵌入表示以及所述预测主目标的辅助目标视角观测轨迹嵌入表示；以及，
S122、将所述预测主目标的主目标视角观测轨迹嵌入表示以及所述预测主目标的辅助目标视角观测轨迹嵌入表示输入时间序列提取模块进行时域特征提取，以生成观测最末帧时刻所述预测主目标的主目标视角运动趋势特征以及辅助目标视角运动趋势特征。
根据本公开的至少一个实施方式的目标行人轨迹预测方法，步骤S120中，基于所述主目标视角运动趋势特征以及所述辅助目标视角运动趋势特征分别计算主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征，包括：
S123、将所述主目标视角运动趋势特征以及所述辅助目标视角运动趋势特征分别输入不同的条件变分自编码器，获取主目标视角未来轨迹隐含特征的分布均值参数和分布方差参数，以及获取辅助目标视角未来轨迹隐含特征的分布均值参数和分布方差参数；以及，
S124、基于所述主目标视角未来轨迹隐含特征的分布均值参数和分布方差参数获取主目标视角未来轨迹隐含特征，基于所述辅助目标视角未来轨迹隐含特征的分布均值参数和分布方差参数获取辅助目标视角未来轨迹隐含特征。
根据本公开的至少一个实施方式的目标行人轨迹预测方法，S124、基于所述主目标视角未来轨迹隐含特征的分布均值参数和分布方差参数获取主目标视角未来轨迹隐含特征，基于所述辅助目标视角未来轨迹隐含特征的分布均值参数和分布方差参数获取辅助目标视角未来轨迹隐含特征，包括：
对所述不同的条件变分自编码器中拟合的隐变量进行抽样，以获得所述主目标视角未来轨迹隐含特征以及所述辅助目标视角未来轨迹隐含特征。
根据本公开的至少一个实施方式的目标行人轨迹预测方法，步骤S130中，对所述预测主目标的所述主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征分别进行关键特征提取，生成所述预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征，包括：
S131、将竞争层参数矩阵分为m层，将所述主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征均分为m层，m≥3；以及，S132、将第m层矩阵参数分别与第m层主目标视角未来轨迹隐含特征、第m层辅助目标视角未来轨迹隐含特征进行矩阵运算，获得所述预测主目标的主目标视角隐含关键特征的集合以及辅助目标视角隐含关键特征的集合。
根据本公开的至少一个实施方式的目标行人轨迹预测方法，还包括S136、对所述预测主目标的主目标视角隐含关键特征的集合以及辅助目标视角隐含关键特征的集合进行矩阵连接操作，获得竞争融合特征。
根据本公开的至少一个实施方式的目标行人轨迹预测方法，S140、对所述预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征进行解码处理，生成所述预测主目标的未来轨迹，包括：
对所述竞争融合特征进行解码处理，生成所述预测主目标的未来轨迹。
根据本公开的至少一个实施方式的目标行人轨迹预测方法，所述解码处理为单向解码处理，包括：
将所述竞争融合特征输入至门控循环单元进行迭代处理，输出所述预测主目标的未来轨迹坐标的隐变量特征，基于所述预测主目标的未来轨迹坐标的隐变量特征生成所述预测主目标的未来轨迹。
根据本公开的至少一个实施方式的目标行人轨迹预测方法，所述解码处理为双向解码处理，包括：正向解码过程以及反向解码过程；
其中，所述正向解码过程包括：
将所述竞争融合特征作为正向解码器的门控循环单元的初始时刻隐状态输入，门控循环单元进行正向迭代输出，每个时刻的迭代输出不映射至轨迹空域表示，而是输入至反向解码器；
其中，所述反向解码过程包括：
将预测终点的嵌入向量作为反向解码器的门控循环单元的初始时刻隐状态输入，反向解码器按照预测帧长度的时间顺序进行反向迭代输出；
将正向解码器每个时刻的隐状态输出与对应时刻的反向解码器的隐状态输出进行拼接，通过全连接层映射至轨迹空域，以获得对应时刻的轨迹位置预测。
根据本公开的另一个方面，提供一种目标行人轨迹预测装置，包括：
获取模块，所述获取模块确定场景中的预测主目标，为所述预测主目标获取辅助观测目标，并至少获取所述预测主目标在世界坐标系中的观测轨迹；
坐标系变换模块，所述坐标系变换模块将所述预测主目标在世界坐标系中的所述观测轨迹分别转换为在所述预测主目标的自我视角坐标系中的观测轨迹以及在所述辅助观测目标的自我视角坐标系中的观测轨迹；
编码器，所述编码器计算观测最末帧时刻所述预测主目标在所述预测主目标的自我视角坐标系中的观测轨迹的主目标视角运动趋势特征以及在所述辅助观测目标的自我视角坐标系中的观测轨迹的辅助目标视角运动趋势特征；所述编码器基于所述主目标视角运动趋势特征以及所述辅助目标视角运动趋势特征分别计算主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征；
竞争融合模块，所述竞争融合模块对所述预测主目标的所述主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征分别进行关键特征提取，生成所述预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征；以及，
解码器，所述解码器对所述预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征进行解码处理，生成所述预测主目标的未来轨迹。
根据本公开的又一个方面，提供一种电子设备，包括：存储器，所述存储器存储执行指令；以及，处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行上述任一项所述的方法。
根据本公开的再一个方面，提供一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述任一项所述的方法。
附图说明
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
图1是本公开的一个实施方式的目标行人轨迹预测方法的流程示意图。
图2是本公开的一个实施方式的目标行人轨迹预测方法的辅助观测目标获取方法的流程示意图。
图3是预测主目标和辅助观测目标选取的示意图。
图4是本公开的一个实施方式的目标行人轨迹预测方法的运动趋势特征和未来轨迹隐含特征的计算流程示意图。
图5是本公开的一个实施方式的目标行人轨迹预测方法中的竞争融合特征在模型训练及模型推断过程中的方法流程图。
图6是本公开的一个实施方式的目标行人轨迹预测方法/装置中的竞争融合模块的训练示意图。
图7为本公开的一个实施方式的采用处理系统的硬件实现方式的目标行人轨迹预测装置的结构示意图。
附图标记说明
1000 目标行人轨迹预测装置
1002 获取模块
1004 坐标系变换模块
1006 编码器
1008 竞争融合模块
1010 解码器
1100 总线
1200 处理器
1300 存储器
1400 其他电路。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此，除非说明，否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外，在附图中，为了清楚和/或描述性的目的，可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时，可以以不同于所描述的顺序来执行具体的工艺顺序。例如，可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外，同样的附图标记表示同样的部件。
当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时，该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件，或者可以存在中间部件。然而，当部件被称作“直接在”另一部件“上“、“直接连接到”或“直接结合到”另一部件时，不存在中间部件。为此，术语“连接”可以指物理连接、电气连接等，并且具有或不具有中间部件。
本文使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。
图1是本公开的一个实施方式的目标行人轨迹预测方法的流程示意图。
参考图1，根据本公开的一个实施方式的目标行人轨迹预测方法S100，包括：
S110、确定场景中的预测主目标，为预测主目标获取辅助观测目标，并至少获取预测主目标在世界坐标系中的观测轨迹，将预测主目标在世界坐标系中的观测轨迹分别转换为在预测主目标的自我视角坐标系中的观测轨迹以及在辅助观测目标的自我视角坐标系中的观测轨迹；
S120、计算观测最末帧时刻(t＝tobs)预测主目标在预测主目标的自我视角坐标系中的观测轨迹的主目标视角运动趋势特征(hen_x)以及在辅助观测目标的自我视角坐标系中的观测轨迹的辅助目标视角运动趋势特征；基于主目标视角运动趋势特征以及辅助目标视角运动趋势特征分别计算主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征；
S130、对预测主目标的主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征分别进行关键特征提取，生成预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征；
S140、对预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征进行解码处理，生成预测主目标的未来轨迹。
本公开中描述的场景可以是车辆尤其是自动驾驶车辆的图像采集装置的视野范围内的场景，图像采集装置实时地对场景进行视频采集或者连续帧图像采集。
根据本公开的优选实施方式的目标行人轨迹预测方法S100，为预测主目标获取两个以上的辅助观测目标，辅助观测目标为可能与预测主目标产生路径冲突的目标。
优选地，步骤S110中，还获取辅助观测目标在世界坐标系中的观测轨迹。
在步骤S110中，对视频数据或者连续帧图像数据进行预处理，得到场景中满足长度要求的轨迹序列以及对应的行人识别ID。基于社交合理性考量，行人在运动过程中，注意力会附着与可能与其产生路径冲突的其他目标行人，因此选择预测主目标和辅助观测目标。根据选取的各个目标(预测主目标和辅助观测目标)历史观测轨迹，逐个计算世界坐标系到其自我视角坐标系的变换矩阵，将轨迹坐标转换到自我坐标系下，得到主视角和辅助视角下的轨迹序列。
其中，对视频数据或者连续帧图像数据进行预处理，首先需要从中检测出行人并进行跟踪，得到连续帧下的轨迹位置信息，并且全部在世界坐标系下进行表示。在同一场景中，行人观测轨迹序列为
Figure BDA0003324728970000111
表示在时间步长t＝1,...,tobs下的轨迹坐标，模型训练时输入真实轨迹
Figure BDA0003324728970000112
表示时间步长t＝tobs+1,...,tpred下的轨迹位置，同时预测的轨迹序列为
Figure BDA0003324728970000113
X，Y，
Figure BDA0003324728970000114
分别表示所有场景下行人的轨迹序列。其中下标i表示当前场景中第i个行人，上标t表示对应的时间刻度(帧时刻)，obs表示观测序列长度，pred表示预测序列长度。在进行数据预处理时，训练数据序列长度应至少满足大于或等于obs+pred，而进行预测推断时序列长度至少满足大于或等于obs，并根据场景的不同分别保存行人的识别号ped_idi，其中ped_id表示每个行人独有的ID号，以便区分不同行人的轨迹信息。
对于上述各个实施方式的目标行人轨迹预测方法S100，优选地，步骤S110中，为预测主目标获取辅助观测目标，包括：
基于观测最末帧时刻(t＝tobs)预测主目标与场景中其他目标的距离因素以及朝向因素获取辅助观测目标。
图2为本公开的一个实施方式的目标行人轨迹预测方法的辅助观测目标获取方法S112的流程示意图。
参考图2，更优选地，步骤S110中，基于当前时刻(t＝tobs)预测主目标与场景中其他目标的距离因素以及朝向因素获取辅助观测目标，包括：
S1121、将当前时刻(t＝tobs)其他目标的观测位置映射至以预测主目标为原点的自我视角坐标系(优选为极坐标系)中；
S1122、获取预测主目标与各个其他目标之间的距离以及与各个其他目标之间的朝向差异；
S1123、将预测主目标与各个其他目标之间的距离以及预测主目标与各个其他目标之间的朝向差异进行加权求和，获得预测主目标与各个其他目标之间的路径冲突因素值；以及，
S1124、基于预测主目标与各个其他目标之间的路径冲突因素值获取预设数量的辅助观测目标(例如选择2个辅助观测目标)。
其中，根据行人在社交场景中的观测习惯，通常通过距离和朝向分析重点的其他行人目标，对可能出现的路径冲突改变自己的预定轨迹，选取场景中的预测主目标和多个辅助观测目标也是依据此考量，首先在场景中选取预测主目标objtarget，预测主目标为场景中所有可见的目标行人，其中预测主目标的观测轨迹表示为Xtarget和Ytarget。明确主目标后，根据场景中不同行人在t＝tobs下的观测位置，将其映射至以预测主目标为原点的极坐标系网格中，同时以其他目标与预测主目标的距离和朝向，作为参考因素再选取辅助观测目标objass。其中预测目标与场景中第i个行人的路径冲突因素值为：
Figure BDA0003324728970000121
其中factor为选取辅助目标时的考虑因素(优选为路径冲突因素)，i为场景中第i个行人，
Figure BDA0003324728970000122
为t＝tobs下预测主目标与当前行人的相距距离，
Figure BDA0003324728970000123
为朝向差异。α1和α2为考量距离因素和朝向差异的参数，可以依据经验值选取。优选地，α1和α2分别取0.6和0.4。通过计算场景中所有行人和预测主目标的考虑因素，得到
Figure BDA0003324728970000124
其中N为场景中除主目标外其余所有行人。本公开从考虑因素中选取得分最高的n个行人作为对应的辅助观测目标，对应的观测轨迹表示为
Figure BDA0003324728970000125
优选地，本公开选取n＝2即只选取两个辅助观测目标。n的选择可根据实际情况下，例如依据数据集的行人密度以及满足要求的轨迹序列数量来具体选择。图3为预测主目标和辅助观测目标选取的示意图。
对于上述各个实施方式的目标行人轨迹预测方法S100，优选地，步骤S110中，将预测主目标在世界坐标系中的观测轨迹分别转换为在预测主目标的自我视角坐标系中的观测轨迹以及在辅助观测目标的自我视角坐标系中的观测轨迹，包括：
基于预测主目标在世界坐标系中的观测轨迹以及辅助观测目标在世界坐标系中的观测轨迹分别建立预测主目标的自我视角坐标系以及各个辅助观测目标的自我视角坐标系，分别获取世界坐标系到预测主目标的自我视角坐标系、各个辅助观测目标的自我视角坐标系的变换矩阵；以及，
基于获取的世界坐标系到预测主目标的自我视角坐标系、各个辅助观测目标的自我视角坐标系的变换矩阵，将预测主目标在世界坐标系中的观测轨迹分别转换为在预测主目标的自我视角坐标系中的观测轨迹以及在辅助观测目标的自我视角坐标系中的观测轨迹。
上述步骤作为步骤S111在步骤S112之前执行。
优选地，根据预测主目标和两个辅助观测目标的观测轨迹，各自建立自己的运动视角坐标系，首先明确某场景中目标行人的轨迹序列，随后以观测起始点即t＝tobs时的目标位置为原点，以出发位置到最后观测位置为矢量，作为目标运动坐标系的x轴，另一坐标轴为垂直方向。在世界坐标系到此运动坐标系下需要计算坐标系平移和旋转时的变换矩阵T：
Figure BDA0003324728970000131
其中，obj_i＝{view_target，view_a1，view_a2}标识三个不同视角，在本公开中上标或下标的obj_j均表示三个视角的标识集合。其中Δxobj_i和Δyobj_i为场景中目标运动视角坐标系原点与世界坐标系原点的差值，θi为目标运动视角坐标系与世界坐标系之间的逆时针旋转角度。具体计算公式如下：
Figure BDA0003324728970000132
Figure BDA0003324728970000133
基于公式(2)得到的变换矩阵T，可将场景中预测主目标objtarget的轨迹序列Xtarget和Ytarget，从世界坐标系分别转换到主目标和两个辅助目标的运动视角坐标系下，转换公式如下：
Figure BDA0003324728970000134
预测主目标的轨迹序列Xtarget和Ytarget通过转换矩阵{Ttarget，Tass1，Tass2}，被转换到三个不同视角的运动坐标系下，得到预测主目标在一个主目标视角和两个辅助视角共三个视角下的三个观测序列Xobj_i和未来轨迹序列Yobj_i。
图4为本公开的一个实施方式的目标行人轨迹预测方法的运动趋势特征和未来轨迹隐含特征的计算流程示意图。
参考图4，对于上述各个实施方式的目标行人轨迹预测方法S100，优选地，步骤S120中，计算观测最末帧时刻(t＝tobs)预测主目标在预测主目标的自我视角坐标系中的观测轨迹的主目标视角运动趋势特征以及在辅助观测目标的自我视角坐标系中的观测轨迹的辅助目标视角运动趋势特征，包括：
S121、通过全连接层将预测主目标在预测主目标的自我视角坐标系中的观测轨迹以及在辅助观测目标的自我视角坐标系中的观测轨迹进行空域嵌入表示，分别获得预测主目标的主目标视角观测轨迹嵌入表示以及预测主目标的辅助目标视角观测轨迹嵌入表示；以及，
S122、将预测主目标的主目标视角观测轨迹嵌入表示以及预测主目标的辅助目标视角观测轨迹嵌入表示输入时间序列提取模块(例如门控循环单元，GRU)进行时域特征提取，以生成观测最末帧时刻(t＝tobs)预测主目标的主目标视角运动趋势特征以及辅助目标视角运动趋势特征。
其中，优选地，预测主目标的轨迹序列首先通过全连接层进行空域嵌入表示，将坐标信息从二维扩展到更高维度，得到轨迹序列的嵌入表示eobs_x，如下式：
eobs_x＝φ(Xobj_i；We) (6)
其中，本公开中以φ(·)表示全连接层，We为全连接层的权重参数，Xobj_i为预测主目标在不同视角下的轨迹序列。同时对Yobj_i也进行相同操作得到eobs_y。
经过嵌入表示的特征
Figure BDA0003324728970000141
送入门控循环单元(GRU)中进行轨迹序列运动趋势特征的生成：
Figure BDA0003324728970000142
其中，
Figure BDA0003324728970000143
为每个视角每个时间步长下的轨迹嵌入特征，Wen为GRU的权重参数，
Figure BDA0003324728970000144
为每个时间步长下的隐状态输出，作为GRU的下一时刻输入，最终通过GRU迭代生成时刻t＝tobs时的观测序列运动趋势特征hen_x，对于三个重点视角则得到集合
Figure BDA0003324728970000145
同理对eobs_y也使用GRU迭代生成时刻t＝tpred时的未来序列运动趋势特征hen_y，对于三个重点视角则得到集合
Figure BDA0003324728970000146
对于上述实施方式的目标行人轨迹预测方法S100，优选地，步骤S120中，基于主目标视角运动趋势特征以及辅助目标视角运动趋势特征分别计算主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征，包括：
S123、将主目标视角运动趋势特征以及辅助目标视角运动趋势特征分别输入不同的条件变分自编码器，获取主目标视角未来轨迹隐含特征的分布均值参数和分布方差参数，以及获取辅助目标视角未来轨迹隐含特征的分布均值参数和分布方差参数；以及，
S124、基于主目标视角未来轨迹隐含特征的分布均值参数和分布方差参数获取主目标视角未来轨迹隐含特征，基于辅助目标视角未来轨迹隐含特征的分布均值参数和分布方差参数获取辅助目标视角未来轨迹隐含特征。
其中，优选地，示例性的三个视角下轨迹的时域特征分别送入不同的条件变分自编码器(CAVE)中，用于进行未来轨迹隐含特征的拟合生成，三个重要视角的轨迹运动特征分别通过多层感知机，来拟合未来轨迹隐含特征Z分布的主要参数，
Figure BDA0003324728970000151
Figure BDA0003324728970000152
以上是条件变分自编码器的后验概率网络，其中
Figure BDA0003324728970000153
为隐含特征Z的分布均值，
Figure BDA0003324728970000154
为分布方差，MLP表示多层感知机，Wμ和Wσ则表示多层感知机的参数。在训练时还需要进行识别网络的参数拟合：
Figure BDA0003324728970000155
Figure BDA0003324728970000156
其中
Figure BDA0003324728970000157
和
Figure BDA0003324728970000158
为识别网络概率分布参数，Wμ和Wσ表示多层感知机的参数。
针对三个重要视角的特征，这里的两个概率分布的参数(
Figure BDA0003324728970000159
和
Figure BDA00033247289700001510
)共三对，如
Figure BDA00033247289700001511
有
Figure BDA00033247289700001512
和
Figure BDA00033247289700001513
表示预测主目标、辅助目标视角下轨迹隐变量的不同分布。在训练时，条件变分自编码器通过KL散度来衡量两个网络分布的差异，qz_xy表示识别网络分布，pz_x表示后验概率分布。
对于上述实施方式的目标行人轨迹预测方法S100，优选地，S124、基于主目标视角未来轨迹隐含特征的分布均值参数和分布方差参数获取主目标视角未来轨迹隐含特征，基于辅助目标视角未来轨迹隐含特征的分布均值参数和分布方差参数获取辅助目标视角未来轨迹隐含特征，包括：
对不同的条件变分自编码器中拟合的隐变量进行抽样，以获得主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征。
优选地，在步骤S124中，对CAVE中拟合的隐变量进行抽样：
Figure BDA00033247289700001514
Figure BDA00033247289700001515
其中，ε为抽样变量满足ε～N(0,1)，经过抽样得到三个不同视角下，描述主目标未来轨迹分布的隐含待解码特征：
{Zview_target,Zview_a1,Zview_a2}，作为整个编码器最终的重点视角特征输出。
对于上述各个实施方式的目标行人轨迹预测方法S100，优选地，步骤S130中，对预测主目标的主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征分别进行关键特征提取，生成预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征，包括：
S131、将竞争层参数矩阵分为m层，将主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征均分为m层，m≥3；以及，
S132、将第m层矩阵参数分别与第m层主目标视角未来轨迹隐含特征、第m层辅助目标视角未来轨迹隐含特征进行矩阵运算，获得预测主目标的主目标视角隐含关键特征的集合以及辅助目标视角隐含关键特征的集合。
其中，在步骤S131中，优选地，初始化竞争层参数矩阵Acompete，竞争层参数矩阵的参数被分为m层，其中每m层的参数的初始化符合标准正态分布，其中m的选取可以根据模型输入数据的复杂程度以及隐含待解码特征的维度大小来具体确定，当隐含待解码特征的维度较大时，m的选取相应较大一些，以便更为精细的区分。优选地，通过交叉验证，本公开中选取m＝32，其中参数矩阵的维度大小为(m,latent_dim,compete_dim)，其中latent_dim为隐含关键特征的维度大小，compete_dim为隐含关键特征的输出维度大小。
其中，在步骤S132中，基于经过初始化后的竞争层参数矩阵Acompete和隐含待解码特征Zobj_i，通过对不同重要视角特征进行分层，其中分层的大小与矩阵参数分层一致，优选地，本公开中优选的分层大小m＝32，并与竞争层矩阵参数对应的部分进行矩阵乘积，实现对来自不同视角的隐含待解码特征做关键索引提取，生成得到隐含关键特征。对于每m个大小为(latent_dim,compete_dim)的参数，通过将不同的重点视角隐含关键特征与其进行矩阵运算：
Figure BDA0003324728970000161
其中，
Figure BDA0003324728970000162
为通过竞争层参数矩阵提取得到的主目标视角下的第m个隐含关键特征，其对应的参数矩阵为
Figure BDA0003324728970000163
Figure BDA0003324728970000164
表示三个视角下的各自m个隐含关键特征的集合。
对于上述实施方式的目标行人轨迹预测方法S100，优选地，还包括S136、对预测主目标的主目标视角隐含关键特征的集合以及辅助目标视角隐含关键特征的集合进行矩阵连接操作(concat操作)，获得竞争融合特征。
其中，在训练过程中，步骤S132～步骤S135的竞争融合模块的方法示意图参见图6。
图5中步骤S133～S135为模型(竞争融合模块)训练过程中的实施步骤，S136为训练和进行推断时要实施的步骤，其中推断预测过程中无步骤S133～S135的参与。
模型(竞争融合模块)训练过程中，在步骤S133中，基于上述步骤得到的m个部分关键特征集合
Figure BDA0003324728970000171
以及完整轨迹的运动趋势特征
Figure BDA0003324728970000172
进行关键特征的相似度评价。其中
Figure BDA0003324728970000173
的获得，对预测主目标在世界坐标系下的轨迹序列Xtarget和Ytarget，首先在时间维度上将两者拼接，得到包括观测和未来真实的完整轨迹序列Ltarget，随后经过与步骤S121和S122相同的操作，获得完整轨迹的运动趋势特征hen_L。其中，相似度的评分用于衡量不同重要视角下隐含待解码特征中对于未来轨迹预测的不可替代性。具体计算：
Figure BDA0003324728970000174
key＝φ(hen_L；Wk) (15)
hmap＝softmax(query*keyT) (16)
其中，query、key分别为
Figure BDA0003324728970000175
和未来轨迹序列时域特征
Figure BDA0003324728970000176
的线性表示，Wq、Wk分别为其全连接层操作的参数，softmax函数为归一化指数函数。其中hmap为每个关键部分特征与未来轨迹特征分布的相似度分数。
在步骤S134中，基于关键特征与未来轨迹分布的相似性计算分数，确定关键特征集合中通过激活函数softmax后输出响应值最大的为对应优胜特征，优选地，可设定一定的阈值σwin，在优胜特征经过softmax激活函数后的得分值大于阈值的对应特征，被标记为优胜特征，只有优胜标记的部分特征用于之后计算对应相似度误差，以完成对上文描述的竞争层参数矩阵的参数更新。
在步骤S135中，基于已经确定的优胜特征标记，需要在训练过程中更新对应特征部分的竞争层的参数矩阵。优选地，在整体模型的训练过程中，竞争层的输入为不同视角下的隐含待解码特征，预测模型的竞争模块将经过多次迭代更新参数，以能够稳定生成重要视角中的关键特征。
同时在训练和推断过程中，不同重要视角的隐含关键特征
Figure BDA0003324728970000177
用于计算相似度分数和对应误差，并进行参数更新。在竞争层的输出部分，各个经过竞争学习的隐含关键特征通过连接操作，得到最终的竞争层融合特征：
Figure BDA0003324728970000181
其中，hdecoder为最终的竞争层融合输出特征，concat操作为矩阵连接操作，
Figure BDA0003324728970000182
为通过竞争层计算后各个重要视角下的隐含关键特征。
对于上述实施方式的目标行人轨迹预测方法S100，优选地，S140、对预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征进行解码处理，生成预测主目标的未来轨迹，包括：
对竞争融合特征进行解码处理，生成预测主目标的未来轨迹。
对于上述实施方式的目标行人轨迹预测方法S100，优选地，解码处理为单向解码处理，包括：
将竞争融合特征输入至门控循环单元(GRU)进行迭代处理，输出预测主目标的未来轨迹坐标的隐变量特征，基于预测主目标的未来轨迹坐标的隐变量特征生成预测主目标的未来轨迹。
其中，优选地，未来轨迹坐标的隐变量特征由门控循环单元(GRU)迭代输出，并通过全连接层预测最终的位置坐标：
Figure BDA0003324728970000183
Figure BDA0003324728970000184
其中，
Figure BDA0003324728970000185
和
Figure BDA0003324728970000186
为GRU单元当前时刻和前一时刻的隐状态输出，在初始时刻时
Figure BDA0003324728970000187
Wf和Wde分别为全连接层和GRU解码器的权重参数，
Figure BDA0003324728970000188
为迭代过程中，预测主目标的位置坐标，Wd为全连接层的参数。经过t＝tobs+1,...,tpred的迭代后得到最终的预测主目标未来轨迹序列
Figure BDA0003324728970000189
最终模型的损失函数为真实轨迹与预测轨迹的L2误差。
对于上述实施方式的目标行人轨迹预测方法S100，优选地，解码处理为双向解码处理，包括：正向解码过程以及反向解码过程；
其中，正向解码过程包括：
将竞争融合特征作为正向解码器的门控循环单元(GRU)的初始时刻隐状态输入，门控循环单元(GRU)进行正向迭代输出，每个时刻的迭代输出不映射至轨迹空域表示，而是输入至反向解码器；
其中，反向解码过程包括：
将预测终点的嵌入向量作为反向解码器的门控循环单元(GRU)的初始时刻隐状态输入，反向解码器按照预测帧长度的时间顺序进行反向迭代输出；
将正向解码器每个时刻的隐状态输出与对应时刻的反向解码器的隐状态输出进行拼接，通过全连接层映射至轨迹空域，以获得对应时刻的轨迹位置预测。
其中，优选地，重要视角的竞争融合特征用于预测未来轨迹终点位置，同时未来轨迹位置通过正向和反向解码进行迭代输出。其中，终点位置坐标的空域嵌入向量作为轨迹反向解码的初始时刻隐状态输入，竞争融合特征作为轨迹正向解码的初始隐状态输入。
Figure BDA0003324728970000191
其中
Figure BDA0003324728970000192
为轨迹在tpred时的预测终点，WG为多层感知机的权重参数。在迭代输出的过程中，将轨迹终点位置初始化为
Figure BDA0003324728970000193
在模型的损失函数整体还需要添加终点的预测误差。正向解码过程中，解码器GRU的初始时刻隐状态输入为hdecoder，与单向解码不同，正向解码中GRU每个时刻迭代输出不映射至轨迹空域表示，而是作为反向解码器的一部分输入。反向解码器GRU的初始时刻隐状态输入为预测终点
Figure BDA0003324728970000194
的嵌入向量epred_G，反向解码器按t＝tpred,...,tobs+1的时间顺序进行反向迭代输出。正向解码器每个时刻的隐状态输出与对应时刻的反向解码器隐状态输出进行拼接，通过全连接层映射至轨迹空域，完成对应时刻的轨迹位置预测。优选地，实现具体公式：
Figure BDA0003324728970000195
Figure BDA0003324728970000196
Figure BDA0003324728970000197
Figure BDA0003324728970000198
其中，
Figure BDA0003324728970000199
和
Figure BDA00033247289700001910
是正向解码器的每个迭代时刻和前一时刻隐状态输出，其中正向解码器初始化时
Figure BDA00033247289700001911
其中
Figure BDA00033247289700001912
和
Figure BDA00033247289700001913
是反向解码器的每个迭代时刻和未来时刻隐状态输出，其中反向解码器初始化时
Figure BDA00033247289700001914
其中Wf和Wb为全连接层的权重参数，Wde_f和Wde_b为正向和反向解码器的权重参数。Wd为预测轨迹坐标的全连接层的权重参数，
Figure BDA0003324728970000201
为迭代过程中，预测主目标的位置坐标，经过反向解码其在t＝tpred,...,tobs+1的迭代后得到最终的预测主目标未来轨迹序列
Figure BDA0003324728970000202
其中，最终的模型误差为轨迹误差、终点误差和重要视角在拟合未来轨迹分布时的KL散度误差(概率分布差异误差)：
Figure BDA0003324728970000203
其中，k表示模型进行多轨迹推断时的当前轨迹编号，K为生成的轨迹数量。G为真实终点即
Figure BDA0003324728970000204
KLD表示各个重要视角下轨迹趋势特征与真实轨迹特征分布的差异损失(KL散度)。
通过上文对本公开的目标行人轨迹预测方法的描述可知，本公开的轨迹预测方法是一种通用的、泛化能力较强的行人轨迹预测方法，能够在复杂的行人交互场景中完成多轨迹的预测生成。本公开的目标行人轨迹预测方法针对现有技术中历史轨迹序列特征提取不足的问题，首先选取预测主目标和辅助观测目标，使用重点视角坐标系变换，对于场景中多个目标各自的运动，逐个建立自我视角坐标系，通过辅助观测目标的帮助，更好地分析预测主目标的轨迹变化趋势。对于现有技术中的缺乏真实社交场景模拟的问题，本公开的目标行人轨迹预测方法提出了场景中主目标和辅助目标的选取规则，同时在之后的模型输入中采用这种规则下的轨迹信息作为输入，并优选采用行人运动和社交因素加权的方式来设计。对于现有技术中多种特征之间缺乏竞争学习的问题，本公开提出采用竞争学习机制，能够将来自多个目标蕴含的特征，通过不断更新对应维度的权重参数矩阵，来对多种特征进行择优。
本公开的目标行人轨迹预测方法利用行人社交因素选取预测主目标和辅助观测目标，并在多个目标的视角坐标系下观测主目标，采用多个重点视角下的观测轨迹特征，通过竞争学习模块提取其中的关键特征部分并进行融合，最终形成了一种泛化能力强、场景建模合理、准确性高的行人轨迹预测方法。
本公开提出了基于行人运动和社交因素的场景建模方法，通过极坐标系映射和重点因素加权评分，设计选取预测主目标和辅助观测目标，此场景建模方法符合社交规律，提高了模型精度；本公开提出了采用多个重点目标视角下的轨迹特征，通过将选取的预测主目标以及辅助观测目标的轨迹转换到其自我视角坐标系下，分别计算得到多个重点视角下主目标的运动趋势特征，将主目标轨迹的运动趋势从不同角度进行表征；本公开的竞争学习模块，通过竞争机制更新提取特征的参数矩阵，计算得到预测主目标及辅助目标序列特征中的关键部分并进行融合，减少特征冗余，提高模型泛化能力。
本公开还提供一种目标行人轨迹预测装置1000，包括：
获取模块1002，获取模块1002确定场景中的预测主目标，为预测主目标获取辅助观测目标，并至少获取预测主目标在世界坐标系中的观测轨迹；
坐标系变换模块1004，坐标系变换模块1004将预测主目标在世界坐标系中的观测轨迹分别转换为在预测主目标的自我视角坐标系中的观测轨迹以及在辅助观测目标的自我视角坐标系中的观测轨迹；
编码器1006，编码器1006计算观测最末帧时刻(t＝tobs)预测主目标在预测主目标的自我视角坐标系中的观测轨迹的主目标视角运动趋势特征以及在辅助观测目标的自我视角坐标系中的观测轨迹的辅助目标视角运动趋势特征；编码器1006基于主目标视角运动趋势特征以及辅助目标视角运动趋势特征分别计算主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征；
竞争融合模块1008，竞争融合模块1008对预测主目标的主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征分别进行关键特征提取，生成预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征；以及，
解码器1010，解码器1010对预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征进行解码处理，生成预测主目标的未来轨迹。
图7示出了采用处理系统的硬件实现方式的目标行人轨迹预测装置1000的结构示意图。
该目标行人轨迹预测装置1000可以包括执行上述流程图中各个或几个步骤的相应模块。因此，可以由相应模块执行上述流程图中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其它电路1400连接。
总线1100可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本公开中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在存储器中。
应当理解，本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。
此外，在本公开各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。
本公开还提供了一种电子设备，包括：存储器，存储器存储执行指令；以及处理器或其他硬件模块，处理器或其他硬件模块执行存储器存储的执行指令，使得处理器或其他硬件模块执行上述的方法。
本公开还提供了一种可读存储介质，可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述的目标行人轨迹预测方法。
在本说明书的描述中，参考术语“一个实施方式/方式”、“一些实施方式/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的实施方式/方式或示例中。在本说明书中，对上述术语的示意性表述不必须的是相同的实施方式/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式/方式或示例以及不同实施方式/方式或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

Claims (10)

1.一种目标行人轨迹预测方法，其特征在于，包括：
S110、确定场景中的预测主目标，为所述预测主目标获取辅助观测目标，并至少获取所述预测主目标在世界坐标系中的观测轨迹，将所述预测主目标在世界坐标系中的所述观测轨迹分别转换为在所述预测主目标的自我视角坐标系中的观测轨迹以及在所述辅助观测目标的自我视角坐标系中的观测轨迹；
S120、计算观测最末帧时刻所述预测主目标在所述预测主目标的自我视角坐标系中的观测轨迹的主目标视角运动趋势特征以及在所述辅助观测目标的自我视角坐标系中的观测轨迹的辅助目标视角运动趋势特征；基于所述主目标视角运动趋势特征以及所述辅助目标视角运动趋势特征分别计算主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征；
S130、对所述预测主目标的所述主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征分别进行关键特征提取，生成所述预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征；以及
S140、对所述预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征进行解码处理，生成所述预测主目标的未来轨迹；
其中，步骤S130包括：
将竞争层参数矩阵分为m层，将所述主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征均分为m层，m≥3；
将第m层矩阵参数分别与第m层主目标视角未来轨迹隐含特征、第m层辅助目标视角未来轨迹隐含特征进行矩阵运算，获得所述预测主目标的主目标视角隐含关键特征的集合以及辅助目标视角隐含关键特征的集合；
对所述预测主目标的主目标视角隐含关键特征的集合以及辅助目标视角隐含关键特征的集合进行矩阵连接操作，获得竞争融合特征；
其中，步骤S140包括：
对所述竞争融合特征进行解码处理，生成所述预测主目标的未来轨迹。
2.根据权利要求1所述的目标行人轨迹预测方法，其特征在于，为所述预测主目标获取两个以上的辅助观测目标，所述辅助观测目标为可能与所述预测主目标产生路径冲突的目标。
3.根据权利要求1或2所述的目标行人轨迹预测方法，其特征在于，步骤S110中，还获取所述辅助观测目标在世界坐标系中的观测轨迹。
4.根据权利要求3所述的目标行人轨迹预测方法，其特征在于，步骤S110中，将所述预测主目标在世界坐标系中的所述观测轨迹分别转换为在所述预测主目标的自我视角坐标系中的观测轨迹以及在所述辅助观测目标的自我视角坐标系中的观测轨迹，包括：
基于所述预测主目标在世界坐标系中的观测轨迹以及所述辅助观测目标在世界坐标系中的观测轨迹分别建立预测主目标的自我视角坐标系以及各个辅助观测目标的自我视角坐标系，分别获取世界坐标系到预测主目标的自我视角坐标系、各个辅助观测目标的自我视角坐标系的变换矩阵；以及
基于获取的世界坐标系到预测主目标的自我视角坐标系、各个辅助观测目标的自我视角坐标系的变换矩阵，将所述预测主目标在世界坐标系中的所述观测轨迹分别转换为在所述预测主目标的自我视角坐标系中的观测轨迹以及在所述辅助观测目标的自我视角坐标系中的观测轨迹。
5.根据权利要求2所述的目标行人轨迹预测方法，其特征在于，步骤S110中，为所述预测主目标获取辅助观测目标，包括：
基于观测最末帧时刻所述预测主目标与场景中其他目标的距离因素以及朝向因素获取辅助观测目标。
6.根据权利要求5所述的目标行人轨迹预测方法，其特征在于，步骤S110中，基于当前时刻所述预测主目标与场景中其他目标的距离因素以及朝向因素获取辅助观测目标，包括：
将当前时刻其他目标的观测位置映射至以所述预测主目标为原点的自我视角坐标系中；
获取所述预测主目标与各个其他目标之间的距离以及与各个其他目标之间的朝向差异；
将所述预测主目标与各个其他目标之间的距离以及所述预测主目标与各个其他目标之间的朝向差异进行加权求和，获得所述预测主目标与各个其他目标之间的路径冲突因素值；以及
基于所述预测主目标与各个其他目标之间的路径冲突因素值获取预设数量的辅助观测目标。
7.根据权利要求1所述的目标行人轨迹预测方法，其特征在于，步骤S120中，计算观测最末帧时刻所述预测主目标在所述预测主目标的自我视角坐标系中的观测轨迹的主目标视角运动趋势特征以及在所述辅助观测目标的自我视角坐标系中的观测轨迹的辅助目标视角运动趋势特征，包括：
S121、通过全连接层将所述预测主目标在所述预测主目标的自我视角坐标系中的观测轨迹以及在所述辅助观测目标的自我视角坐标系中的观测轨迹进行空域嵌入表示，分别获得所述预测主目标的主目标视角观测轨迹嵌入表示以及所述预测主目标的辅助目标视角观测轨迹嵌入表示；以及
S122、将所述预测主目标的主目标视角观测轨迹嵌入表示以及所述预测主目标的辅助目标视角观测轨迹嵌入表示输入时间序列提取模块进行时域特征提取，以生成观测最末帧时刻所述预测主目标的主目标视角运动趋势特征以及辅助目标视角运动趋势特征。
8.一种目标行人轨迹预测装置，其特征在于，包括：
获取模块，所述获取模块确定场景中的预测主目标，为所述预测主目标获取辅助观测目标，并至少获取所述预测主目标在世界坐标系中的观测轨迹；
坐标系变换模块，所述坐标系变换模块将所述预测主目标在世界坐标系中的所述观测轨迹分别转换为在所述预测主目标的自我视角坐标系中的观测轨迹以及在所述辅助观测目标的自我视角坐标系中的观测轨迹；
编码器，所述编码器计算观测最末帧时刻所述预测主目标在所述预测主目标的自我视角坐标系中的观测轨迹的主目标视角运动趋势特征以及在所述辅助观测目标的自我视角坐标系中的观测轨迹的辅助目标视角运动趋势特征；所述编码器基于所述主目标视角运动趋势特征以及所述辅助目标视角运动趋势特征分别计算主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征；
竞争融合模块，所述竞争融合模块对所述预测主目标的所述主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征分别进行关键特征提取，生成所述预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征；以及
解码器，所述解码器对所述预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征进行解码处理，生成所述预测主目标的未来轨迹；
其中，所述编码器基于所述主目标视角运动趋势特征以及所述辅助目标视角运动趋势特征分别计算主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征，包括：
将竞争层参数矩阵分为m层，将所述主目标视角未来轨迹隐含特征以及辅助目标视角未来轨迹隐含特征均分为m层，m≥3；
将第m层矩阵参数分别与第m层主目标视角未来轨迹隐含特征、第m层辅助目标视角未来轨迹隐含特征进行矩阵运算，获得所述预测主目标的主目标视角隐含关键特征的集合以及辅助目标视角隐含关键特征的集合；
对所述预测主目标的主目标视角隐含关键特征的集合以及辅助目标视角隐含关键特征的集合进行矩阵连接操作，获得竞争融合特征；
其中，所述解码器对所述预测主目标的主目标视角隐含关键特征以及辅助目标视角隐含关键特征进行解码处理，生成所述预测主目标的未来轨迹，包括：
对所述竞争融合特征进行解码处理，生成所述预测主目标的未来轨迹。
9.一种电子设备，其特征在于，包括：
存储器，所述存储器存储执行指令；以及
处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行权利要求1至7中任一项所述的方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现权利要求1至7中任一项所述的方法。
CN202111258477.6A 2021-10-27 2021-10-27 目标行人轨迹预测方法、装置、电子设备及存储介质 Active CN113902776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111258477.6A CN113902776B (zh) 2021-10-27 2021-10-27 目标行人轨迹预测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111258477.6A CN113902776B (zh) 2021-10-27 2021-10-27 目标行人轨迹预测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113902776A CN113902776A (zh) 2022-01-07
CN113902776B true CN113902776B (zh) 2022-05-17

Family

ID=79026464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111258477.6A Active CN113902776B (zh) 2021-10-27 2021-10-27 目标行人轨迹预测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113902776B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210417A (zh) * 2019-06-05 2019-09-06 深圳前海达闼云端智能科技有限公司 一种行人运动轨迹的预测方法、终端及可读存储介质
CN110781838A (zh) * 2019-10-28 2020-02-11 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法
CN112487905A (zh) * 2020-11-23 2021-03-12 北京理工大学 一种车辆周边行人危险等级预测方法及系统
CN112734808A (zh) * 2021-01-19 2021-04-30 清华大学 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
CN112785628A (zh) * 2021-02-09 2021-05-11 成都视海芯图微电子有限公司 一种基于全景视角检测跟踪的轨迹预测方法及系统
CN113269114A (zh) * 2021-06-04 2021-08-17 北京易航远智科技有限公司 一种基于多隐变量预测器及关键点的行人轨迹预测方法
CN113538520A (zh) * 2021-08-02 2021-10-22 北京易航远智科技有限公司 行人轨迹预测方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3706034A1 (en) * 2019-03-06 2020-09-09 Robert Bosch GmbH Movement prediction of pedestrians useful for autonomous driving
CN113552867B (zh) * 2020-04-20 2023-07-18 华为技术有限公司 一种运动轨迹的规划方法及轮式移动设备
CN113269115B (zh) * 2021-06-04 2024-02-09 北京易航远智科技有限公司 一种基于Informer的行人轨迹预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210417A (zh) * 2019-06-05 2019-09-06 深圳前海达闼云端智能科技有限公司 一种行人运动轨迹的预测方法、终端及可读存储介质
CN110781838A (zh) * 2019-10-28 2020-02-11 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法
CN112487905A (zh) * 2020-11-23 2021-03-12 北京理工大学 一种车辆周边行人危险等级预测方法及系统
CN112734808A (zh) * 2021-01-19 2021-04-30 清华大学 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
CN112785628A (zh) * 2021-02-09 2021-05-11 成都视海芯图微电子有限公司 一种基于全景视角检测跟踪的轨迹预测方法及系统
CN113269114A (zh) * 2021-06-04 2021-08-17 北京易航远智科技有限公司 一种基于多隐变量预测器及关键点的行人轨迹预测方法
CN113538520A (zh) * 2021-08-02 2021-10-22 北京易航远智科技有限公司 行人轨迹预测方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Pedestrian Trajectory Prediction with MLP-social-GRU》;YANBO.Z等;《ICMLC 2021》;20210621;第368-372页 *
《基于数据关联的视频多目标跟踪关键技术研究》;刘沛鑫;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20200715(第07期);第I138-15页 *
《服务机器人人机共融导航系统设计与实现》;黄子杰;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20210815(第08期);第C035-205页 *

Also Published As

Publication number Publication date
CN113902776A (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
CN110472483B (zh) 一种面向sar图像的小样本语义特征增强的方法及装置
US11494937B2 (en) Multi-task multi-sensor fusion for three-dimensional object detection
CN112714896B (zh) 自知视觉-文本共接地导航代理
US20180124423A1 (en) Dynamic scene prediction with multiple interacting agents
KR20190113119A (ko) 합성곱 신경망을 위한 주의집중 값 계산 방법
CN115879535B (zh) 一种自动驾驶感知模型的训练方法、装置、设备和介质
CN112668602A (zh) 用于确定传感器的数据集的品质等级的方法、设备和机器可读的存储介质
CN113538520B (zh) 行人轨迹预测方法、装置、电子设备及存储介质
CN113111968A (zh) 图像识别模型训练方法、装置、电子设备和可读存储介质
CN115860102B (zh) 一种自动驾驶感知模型的预训练方法、装置、设备和介质
CN114997307A (zh) 一种轨迹预测方法、装置、设备及存储介质
CN114170680A (zh) 一种基于多细分特征控制的行人轨迹预测方法
CN113902776B (zh) 目标行人轨迹预测方法、装置、电子设备及存储介质
Lange et al. Lopr: Latent occupancy prediction using generative models
CN111680674B (zh) 基于自集成注意力机制的门厅人员监控方法
Lu et al. Monocular semantic occupancy grid mapping with convolutional variational auto-encoders
CN114581488A (zh) 基于第一人称视角视频的行人轨迹预测方法及装置
Bono et al. End-to-End (Instance)-Image Goal Navigation through Correspondence as an Emergent Phenomenon
Postnikov et al. Conditioned Human Trajectory Prediction using Iterative Attention Blocks
CN114742317A (zh) 车辆轨迹预测方法、装置、电子设备及存储介质
Sünderhauf et al. Beyond RatSLAM: Improvements to a biologically inspired SLAM system
CN113033582B (zh) 模型训练方法、特征提取方法及装置
CN113888601B (zh) 目标轨迹预测方法、电子设备及存储介质
KR102649899B1 (ko) 인공지능 모델 및 ar을 활용한 차량 수출 정보 및 차량 상태 모델링 정보 생성 방법, 장치 및 시스템
Wang Early Recognition of Human Actions: Challenges and Solutions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant