CN111401233A - 轨迹预测方法、装置、电子设备及介质 - Google Patents

轨迹预测方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN111401233A
CN111401233A CN202010177302.1A CN202010177302A CN111401233A CN 111401233 A CN111401233 A CN 111401233A CN 202010177302 A CN202010177302 A CN 202010177302A CN 111401233 A CN111401233 A CN 111401233A
Authority
CN
China
Prior art keywords
target object
historical
obtaining
value
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010177302.1A
Other languages
English (en)
Inventor
孙健华
蒋沁宏
卢策吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime Group Ltd
Original Assignee
Sensetime Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime Group Ltd filed Critical Sensetime Group Ltd
Priority to CN202010177302.1A priority Critical patent/CN111401233A/zh
Publication of CN111401233A publication Critical patent/CN111401233A/zh
Priority to PCT/CN2021/080016 priority patent/WO2021180130A1/zh
Priority to KR1020227018513A priority patent/KR20220087561A/ko
Priority to JP2022532611A priority patent/JP2023503527A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例提供一种轨迹预测方法、装置、电子设备及介质，其中，该轨迹预测方法包括：根据目标对象的历史轨迹数据，得到所述目标对象的个体表征向量；基于所述目标对象的历史轨迹数据、以及所述目标对象的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量；根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹。该方法提升了轨迹预测结果的准确性。

Description

轨迹预测方法、装置、电子设备及介质
技术领域
本公开涉及机器学习技术，具体涉及一种轨迹预测方法、装置、电子设备及介质。
背景技术
行人行走行为的分析与理解是计算机视觉和智能视频监控领域的一个重要研究方向，行走行为模型目前已经在很多领域有着重要的应用，如行走行为预测，行人检测与跟踪等。对人类行走行为的建模是一个复杂的问题，需要考虑内因和外因等很多重要的因素，一个高效的行人与行人之间交互关系的分析，对于行走行为的理解与预测是至关重要的。
目前，在行人行走行为预测任务中，大多数方法采用的是基于设计者人为主观定义的先验知识来衡量关系强弱，比如通过行人之间的相对距离的远近来映射行人之间的相互影响的程度，从而来建模行人间的交互。然而在实际场景下，考虑到行人很多情况下并没有对距离自己很近的人给予很强的关注，这一建模方法难以应对复杂的实际场景中形形色色的行人的行为，有很强的局限性。
发明内容
本公开实施例至少提供一种轨迹预测方法、装置、电子设备及介质。
第一方面，提供一种轨迹预测方法，所述方法包括：
根据目标对象的历史轨迹数据，得到所述目标对象的个体表征向量；
基于所述目标对象的历史轨迹数据、以及所述目标对象的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量；
根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹。
在一些实施例中，所述群体表征向量用于表示所述至少一个关联对象对所述目标对象的行为影响，所述目标对象的历史轨迹数据包括：所述目标对象在第一时间段内的历史轨迹数据；所述至少一个关联对象的历史轨迹数据包括：所述目标对象的至少一个关联对象在第二时间段内的历史轨迹数据，所述第二时间段与所述第一时间段至少部分重叠；所述至少一个关联对象与所述目标对象在同一场景中；所述根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹，包括：根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象在第三时间段内的预测轨迹，所述第三时间段包括第一时间段之后的一段时间。
在一些实施例中，所述根据目标对象的历史轨迹数据，得到目标对象的个体表征向量，包括：获取所述目标对象对应的环境信息的集合，所述集合包括分别对应不同时刻的多个环境信息；其中，环境信息包括所述目标对象的图像帧中预定区域的图像内容，所述预定区域包括所述目标对象在所述图像帧中的轨迹坐标；根据所述环境信息的集合，得到所述目标对象的环境特征；根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征；将所述环境特征与轨迹特征进行拼接，得到所述目标对象的个体表征向量。
在一些实施例中，所述目标对象的历史轨迹数据，包括：所述目标对象在全局坐标系下的多个轨迹坐标；所述方法还包括：在根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征之前，将所述历史轨迹数据由全局坐标系转换至个体相对坐标系，所述个体相对坐标系以所述目标对象的历史轨迹数据中的初始轨迹点为原点。
在一些实施例中，所述根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征，包括：通过编码网络对所述目标对象在第一时间段内的历史轨迹数据进行编码，得到所述目标对象的轨迹特征。
在一些实施例中，所述编码网络，包括：双向长短期记忆网络LSTM。
在一些实施例中，所述基于所述目标对象的历史轨迹数据、以及所述至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量，包括：根据所述目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到特征矩阵；将所述特征矩阵分别通过不同的全连接层映射到多个函数空间后，进行关系获取处理得到关系矩阵；将所述关系矩阵和所述特征矩阵进行融合，得到更新后的特征矩阵，以根据所述更新后的特征矩阵继续更新所述关系矩阵，直至达到预设的更新停止条件时，停止更新所述关系矩阵；根据更新过程中的多个所述关系矩阵，得到对象集合中的两两对象之间的交互关系值；其中，所述对象集合包括目标对象及其至少一个关系对象；所述交互关系值用于表征所述两两对象之间的行走行为相关程度；根据所述交互关系值确定所述目标对象的群体表征向量。
在一些实施例中，所述根据所述交互关系值确定所述目标对象的群体表征向量，包括：根据所述交互关系值，生成递归社会行为图，所述递归社会行为图中包括多个节点，且任两个节点之间具有连接边；其中，每一个节点对应所述目标对象和所述关联对象中的一个对象，所述节点的取值是所述节点对应对象的历史轨迹数据，所述两个节点间的连接边的取值是所述两个节点间的交互关系值；对所述递归社会行为图进行卷积处理，得到所述目标对象对应的节点的取值；所述取值作为所述目标对象的群体表征向量。
在一些实施例中，所述得到所述目标对象的个体表征向量，包括：通过第一编码网络根据所述历史轨迹数据得到个体表征向量；所述获得所述目标对象的群体表征向量，包括：通过第二编码网络获得所述目标对象的群体表征向量；所述根据目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹，包括：根据解码网络得到所述预测轨迹；所述方法还包括：在预测得到所述目标对象的预测轨迹之后，根据所述预测轨迹的预测值与真实值获得第一损失函数值；所述第一损失函数值根据指数均方误差损失函数得到；根据所述第一损失函数值，调整所述解码网络、第一编码网络和第二编码网络中至少一个网络的网络参数。
在一些实施例中，所述第二编码网络中还包括图生成器，所述图生成器用于根据目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到所述目标对象与至少一个关联对象两两之间的交互关系值；所述方法还包括：获取所述交互关系值的预测值与标签值之间的第二损失函数值，所述交互关系值的标签值用于表示所述交互关系值对应的两个对象是否属于同一组，其中，属于同一组的两个对象间的行走行为相关程度满足预设相关条件；根据所述第二损失函数值，调整所述图生成器中的网络参数。
在一些实施例中，所述方法还包括：在得到所述目标对象的预测轨迹之后，若所述目标对象的实际轨迹与所述预测轨迹不匹配，确定所述目标对象行为异常。
在一些实施例中，所述方法还包括：在得到所述目标对象的预测轨迹之后，按照所述目标对象的预测轨迹，进行路径规划处理。
第二方面，提供一种轨迹预测装置，所述装置包括：
个体表征模块，用于根据目标对象的历史轨迹数据，得到所述目标对象的个体表征向量；
群体表征模块，用于基于所述目标对象的历史轨迹数据、以及所述目标对象的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量；
预测处理模块，用于根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹。
在一些实施例中，所述群体表征向量用于表示所述至少一个关联对象对所述目标对象的行为影响，所述目标对象的历史轨迹数据包括：所述目标对象在第一时间段内的历史轨迹数据；所述至少一个关联对象的历史轨迹数据包括：所述目标对象的至少一个关联对象在第二时间段内的历史轨迹数据，所述第二时间段与所述第一时间段至少部分重叠；所述至少一个关联对象与所述目标对象在同一场景中；所述预测处理模块，具体用于根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象在第三时间段内的预测轨迹，所述第三时间段包括第一时间段之后的一段时间。
在一些实施例中，所述个体表征模块，包括：环境处理子模块，用于获取所述目标对象对应的环境信息的集合，所述集合包括分别对应不同时刻的多个环境信息；其中，环境信息包括所述目标对象的图像帧中预定区域的图像内容，所述预定区域包括所述目标对象在所述图像帧中的轨迹坐标；根据所述环境信息的集合，得到所述目标对象的环境特征；轨迹处理子模块，用于根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征；融合处理子模块，用于将所述环境特征与轨迹特征进行拼接，得到所述目标对象的个体表征向量。
在一些实施例中，所述目标对象的历史轨迹数据，包括：所述目标对象在全局坐标系下的多个轨迹坐标；所述装置还包括：坐标转换模块，用于在根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征之前，将所述历史轨迹数据由全局坐标系转换至个体相对坐标系，所述个体相对坐标系以所述目标对象的历史轨迹数据中的初始轨迹点为原点。
在一些实施例中，所述群体表征模块，包括：
关系获取子模块，用于：根据所述目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到特征矩阵；将所述特征矩阵分别通过不同的全连接层映射到多个函数空间后，进行关系获取处理得到关系矩阵；将所述关系矩阵和所述特征矩阵进行融合，得到更新后的特征矩阵，以根据所述更新后的特征矩阵继续更新所述关系矩阵，直至达到预设的更新停止条件时，停止更新所述关系矩阵；
交互获取子模块，用于根据更新过程中的多个所述关系矩阵，得到对象集合中的两两对象之间的交互关系值；其中，所述对象集合包括目标对象及其至少一个关系对象；所述交互关系值用于表征所述两两对象之间的行走行为相关程度；表征处理子模块，用于根据所述交互关系值确定所述目标对象的群体表征向量。
在一些实施例中，所述表征处理子模块，在用于根据所述交互关系值确定所述目标对象的群体表征向量时，包括：根据所述交互关系值，生成递归社会行为图，所述递归社会行为图中包括多个节点，且任两个节点之间具有连接边；其中，每一个节点对应所述目标对象和所述关联对象中的一个对象，所述节点的取值是所述节点对应对象的历史轨迹数据，所述两个节点间的连接边的取值是所述两个节点间的交互关系值；对所述递归社会行为图进行卷积处理，得到所述目标对象对应的节点的取值；所述取值作为所述目标对象的群体表征向量。
在一些实施例中，所述轨迹处理子模块，具体用于：根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征。
在一些实施例中，所述编码网络，包括：双向长短期记忆网络LSTM。
在一些实施例中，所述个体表征模块，具体用于通过第一编码网络根据目标对象的历史轨迹数据得到所述目标对象的个体表征向量；所述群体表征模块，具体用于通过第二编码网络基于所述目标对象的历史轨迹数据、以及所述目标对象的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量；所述预测处理模块，具体用于通过解码网络根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹；所述装置还包括：网络训练模块，用于在预测得到所述目标对象的预测轨迹之后，根据所述预测轨迹的预测值与真实值获得第一损失函数值；所述第一损失函数值根据指数均方误差损失函数得到；根据所述第一损失函数值，调整所述解码网络、第一编码网络和第二编码网络中至少一个网络的网络参数。
在一些实施例中，所述第二编码网络中还包括图生成器，所述图生成器用于根据目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到所述目标对象与至少一个关联对象两两之间的交互关系值；所述网络训练模块，还用于：获取所述交互关系值的预测值与标签值之间的第二损失函数值，所述交互关系值的标签值用于表示所述交互关系值对应的两个对象是否属于同一组，其中，属于同一组的两个对象间的行走行为相关程度满足预设相关条件；根据所述第二损失函数值，调整所述图生成器中的网络参数。
在一些实施例中，所述装置还包括：异常确定模块，用于在得到所述目标对象的预测轨迹之后，若所述目标对象的实际轨迹与所述预测轨迹不匹配，则确定所述目标对象行为异常。
在一些实施例中，所述装置还包括：路径处理模块，用于在得到所述目标对象的预测轨迹之后，按照所述目标对象的预测轨迹，进行路径规划处理。
第三方面，提供一种电子设备，所述设备包括：存储器、处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机指令，实现本公开任一实施例所述的轨迹预测方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的轨迹预测方法。
本公开实施例提供的轨迹预测方法、装置、电子设备及介质，通过综合了目标对象的个体表征向量和群体表征向量进行轨迹预测，并且在群体表征向量获取时是根据目标对象和关联对象的历史轨迹数据来确定，这种方式是基于历史轨迹数据这种客观的数据来获取群体表征向量，能够更准确的表征行人之间的交互影响，提升了轨迹预测结果的准确性。
附图说明
为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开至少一个实施例提供的一种轨迹预测方法的流程示意图；
图2示出了本公开至少一个实施例提供的另一种轨迹预测方法的流程图；
图3示出了本公开至少一个实施例提供的一种环境信息的示意图；
图4示出了本公开至少一个实施例提供的轨迹预测的网络框架图；
图5示出了本公开至少一个实施例提供的一种轨迹预测装置的结构示意图；
图6示出了本公开至少一个实施例提供的一种轨迹预测装置的结构示意图；
图7示出了本公开至少一个实施例提供的一种轨迹预测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开一个或多个实施例中的技术方案，下面将结合本公开一个或多个实施例中的附图，对本公开一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
本公开实施例提供一种轨迹预测方法，该方法可以用于对行人的行走行为进行预测，例如，可以根据行人已经走过的路径预测该行人未来的行走轨迹。
图1示例了该轨迹预测方法的流程图，如图1所示，该方法可以包括：
在步骤100中，根据目标对象的历史轨迹数据，得到所述目标对象的个体表征向量。
所述的目标对象可以是要进行轨迹预测的对象，例如，假如要根据行人P1的已走过路径预测P1之后的行走路径，则可以将P1称为目标对象。
示例性的，所述的目标对象的历史轨迹数据可以是该目标对象在第一时间段内的历史轨迹数据。例如，该历史轨迹数据可以对应行人P1在[1,Tobs]内的行走路径，该[1,Tobs]可以称为第一时间段。具体的，目标对象在第一时间段[1,Tobs]内的历史轨迹数据可以包括该目标对象在第一时间段内的轨迹坐标序列，该轨迹坐标序列中可以包括多个轨迹坐标。
例如，轨迹坐标
Figure BDA0002411237220000081
表示在时刻t的其中一个坐标，横坐标x，纵坐标y，i表示目标对象的标识。所述的第一时间段内可以包括多个时刻t，相应的具有分别对应各个时刻t的轨迹坐标，形成一个轨迹坐标序列。
实际实施中，可以是获取到一个视频Video，该视频的时长对应所述第一时间段，该视频可以包括多个图像帧，其中至少部分图像帧可以包括目标对象，在一种实现方式中，以每一个图像帧都包括所述的目标对象为例。可以通过检测跟踪算法对该视频进行预处理，提取到所述目标对象在每一个图像帧中的轨迹坐标，最终得到该目标对象在该视频中的历史轨迹数据。
本步骤中，可以根据目标对象在第一时间段内的历史轨迹数据进行处理，得到目标对象的个体表征向量，例如，可以是根据历史轨迹数据进行编码，得到所述个体表征向量。
在步骤102中，基于所述目标对象的历史轨迹数据、以及所述目标对象的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量。
示例性的，所述至少一个关联对象可以是在第一时间段内与目标对象在同一场景中的对象。例如，以上面的一个视频Video为例，该视频可以即所述的“场景”，在该同一个视频中除了包括目标对象之外，还包括其他对象。比如，目标对象可以是一个行人P1，那么在上述的视频中，每一个图像帧中不仅包括该行人P1，还包括行人P2和行人P3，该行人P2和P3则可以称为P1的关联对象。可见，行人P2和P3与P1同样都是存在于所述的视频Video中的每一个图像帧，这三个行人的历史轨迹数据也都是对应于同一个第一时间段。关联对象的历史轨迹数据的提取与目标对象相同，也是一个轨迹坐标序列。
本步骤中可以对目标对象和关联对象的历史轨迹数据进行编码，得到目标对象的群体表征向量。该群体表征向量可以用于表示所述至少一个关联对象对目标对象的行为影响，这种行为影响包括关联对象的历史轨迹数据对目标对象的轨迹预测的关联影响，比如，两个行人相向而行要在某一处聚合，那么这两个行人的行走路径是有关系的，可以根据其中一个行人的行走路径辅助预测另一个行人的行走路径。
在步骤104中，根据所述目标对象的个体表征向量和群体表征向量，预测所述目标对象的预测轨迹。
其中，可以根据目标对象的个体表征向量和群体表征向量，综合预测目标对象未来的行走轨迹，例如，所述的个体表征向量和群体表征向量可以都是通过编码处理得到，本步骤可以对个体表征向量和群体表征向量进行解码处理，预测目标对象的轨迹。
示例性的，如上述的可选性示例，目标对象的历史轨迹数据可以包括其在第一时间段[1,Tobs]内的轨迹坐标序列，该目标对象的关联对象的历史轨迹数据对应的轨迹时间段可以称为第二时间段，即关联对象在第二时间段内的历史轨迹数据，该第二时间段与所述第一时间段至少部分重叠，即关联对象和目标对象在同一场景中出现过。
在预测时，可以是预测该目标对象-行人P1在[Tobs+1,Tobs+pred]内的行走路径，可以将该[Tobs+1,Tobs+pred]称为第三时间段，即预测目标对象在第三时间段内的预测轨迹。该第三时间段包括第一时间段之后的一段时间，也即预测的是目标对象在第一时间段之后的一段时间的轨迹。
需要说明的是，步骤100和步骤102在执行顺序上没有先后限制，图1仅为一种示例性的实现方式，并不作为对步骤100和步骤102在执行顺序上的限定。即在执行过程中，可以先执行步骤100再执行步骤102，或是先执行步骤102再执行步骤100，当然也可以同时执行步骤100和步骤102。
本实施例的轨迹预测方法，综合了目标对象的个体表征向量和群体表征向量进行轨迹预测，并且在群体表征向量获取时是根据目标对象和关联对象的历史轨迹数据来确定，这种方式是基于历史轨迹数据这种客观的数据来获取群体表征向量，能够更准确的表征行人之间的交互影响，有助于提升轨迹预测结果的准确可靠性。
图2示例了另一种轨迹预测方法的流程图，该方法相对于图1所示的流程，对个体表征向量的获取过程进行了细化，以更准确全面的考虑目标对象的轨迹预测影响因素。如图2所示，该方法可以包括如下处理：
在步骤200中，获取目标对象对应的环境信息的集合。
其中，所述的集合中包括分别对应不同时刻的多个环境信息，其中，环境信息包括所述目标对象的图像帧中预定区域的图像内容，所述预定区域包括所述目标对象在所述图像帧中的轨迹坐标。比如，预定区域指的是以目标对象的轨迹坐标为中心的周围区域。示例性的，该环境信息可以是实时环境信息，采用实时环境信息可以通过与目标对象处于实时同一场景中的环境信息来预测对目标对象的轨迹影响，轨迹预测更加准确。如下的描述中，将以实时环境信息为例进行描述。
其中每一个实时环境信息是包括目标对象的轨迹坐标的一个图像块。例如，可以如下理解：对于获取到的目标对象在第一时间段内的多个图像帧，该多个图像帧分别对应第一时间段内的不同时刻t，每一个图像帧中都包括目标对象所在的轨迹坐标
Figure BDA0002411237220000111
该轨迹坐标可以表示目标对象在该图像帧中所处的位置；由该图像帧中截取一块图像块，该图像块中包括该目标对象的轨迹坐标，该图像块即可称为在时刻t该目标对象对应的实时环境信息。该图像块即上述目标对象所在的图像帧中预定区域的图像内容，目标对象在该图像帧中的轨迹坐标也包括在该预定区域中。
仍以上面的一个视频Video为例，该视频的时长对应所述第一时间段，并且该视频中包括多个图像帧，例如，该视频中包括8个图像帧，每一个图像帧对应一个时刻，t0、t1、t2、t3、t4、t5、t6、t7，其中的每一个时刻对应的图像帧中可以包括目标对象在内的多个对象。该目标对象在每一个图像帧中都有一个对应的轨迹坐标，则在该第一时间段内的历史轨迹数据是包括8个轨迹坐标的序列。
具体到其中一个图像帧来说，以该目标对象所在的轨迹坐标
Figure BDA0002411237220000112
为中心，该轨迹坐标的周边预定区域的信息就可以称为实时环境信息，例如，可以以所述轨迹坐标为中心划定一个100*100像素的图像块，这个图像块中的信息就可以称为实时环境信息。
请参见图3的示意，图3示意了一个对应时刻t0的图像帧，圆形的轨迹坐标31是目标对象在该时刻的轨迹坐标，方形的轨迹坐标32是另一个对象在该时刻的轨迹坐标，椭圆形的轨迹坐标33是又一个对象在该时刻的轨迹坐标。以轨迹坐标31为中心划定一个框型区域A，该区域A是目标对象在时刻t0对应的实时环境信息；同理，区域B是所述另一个对象在该时刻t0对应的实时环境信息，区域C是所述又一个对象在该时刻t0对应的实时环境信息。其中上述图3的框型区域的大小仅是示意，具体选择的区域大小可以自主设定。其中，上述不同对象对应的区域是相同的，同一对象在不同图像帧中的区域也是相同的。
如上，目标对象的历史轨迹数据中，其中每一个轨迹坐标都可以对应一个以该轨迹坐标为中心的图像块(image patch)，这个图像块可以称为实时环境信息。第一时间段中的各个时刻对应的实时环境信息可以组成一集合，该集合(patch set)可以表示如下：
Figure BDA0002411237220000121
其中，
Figure BDA0002411237220000122
表示集合中的其中一个对应时刻t的实时环境信息，i是目标对象的标识，该t为所述的第一时间段中的一个时刻，Si表示在第一时间段内的实时环境信息的集合，该集合中包括各个时刻t对应的实时环境信息。
在步骤202中，根据所述环境信息的集合，得到所述目标对象的环境特征。例如，可以对实时环境信息的集合进行编码，得到该环境特征。
在步骤204中，根据所述目标对象在第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征。
例如，如果目标对象的历史轨迹数据是在全局坐标系下的轨迹坐标，可以在进行编码之前，将该轨迹坐标由全局坐标系转换至个体相对坐标系，该个体相对坐标系以所述历史轨迹数据中的初始轨迹点为原点。这种坐标转换方法更好的关注了个体的行为，也便于在统计学上进行更准确的拟合。
本步骤中，例如，可以通过编码网络对目标对象在第一时间段内的历史轨迹数据进行编码，得到的编码结果可以称为目标对象的轨迹特征。示例性的，考虑到一个行人的历史时间段的轨迹与未来时间段的轨迹之间也可能会有相互影响，在对历史轨迹数据进行编码的过程中，该编码网络可以采用双向长短期记忆网络LSTM(Bidirectional Long-Short-Term-Memory，Bi-LSTM)。通过Bi-LSTM对目标对象在第一时间段内的历史轨迹数据进行编码，得到所述目标对象的轨迹特征。该方法能够更准确全面的表征目标对象的历史轨迹数据。
例如，可以将目标对象的个体相对坐标系下的轨迹坐标序列使用3层的Bi-LSTM进行编码，输出长度为96的一维张量，作为轨迹特征。
在步骤206中，将所述环境特征与轨迹特征进行拼接，得到所述目标对象的个体表征向量。
在步骤208中，基于所述目标对象的历史轨迹数据、以及所述目标对象的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量。
在步骤210中，根据所述目标对象的个体表征向量和群体表征向量，预测所述目标对象的预测轨迹。
本实施例的轨迹预测方法，不仅通过综合目标对象的个体表征向量和群体表征向量进行轨迹预测，在群体表征向量获取时根据目标对象和关联对象的历史轨迹数据来确定，更准确的表征行人之间的交互影响；并且，还通过在个体表征向量的获取过程中综合了对象的实时环境信息，使得对轨迹预测的影响因素考虑更加全面，进一步提升轨迹预测的准确度。
如下将通过一个编码-解码的网络框架，来详细描述本公开实施例的轨迹预测方法。其中，在该网络框架中，包括用于生成个体表征向量的第一编码网络、用于生成群体表征向量的第二编码网络、以及用于预测轨迹的解码网络。
请参见图4的示例，图4中包括第一编码网络41、第二编码网络42和解码网络43。其中，第一编码网络41可以根据目标对象的历史轨迹数据和对应的实时环境信息的集合进行编码，得到目标对象的个体表征向量；第二编码网络42可以根据目标对象及关联对象的历史轨迹数据进行编码，得到目标对象的群体表征向量。该个体表征向量和群体表征向量都输入解码网络43，由解码网络43进行解码处理，得到预测的目标对象的轨迹。
如下分别对第一编码网络41、第二编码网络42和解码网络43的处理进行详细说明。其中，请参见图4所示，首先，提供一个场景，该场景可以是一个视频Video，其中示例性的包括四个行人(图中的每一条轨迹线代表一个行人的行走轨迹，例如，轨迹线a、轨迹线b、轨迹线c和轨迹线d)，在该视频中的每一个图像帧中也均包括该四个行人。可以先通过检测跟踪算法对该场景进行预处理，提取出其中每一个行人的历史轨迹数据和实时环境信息的集合。
在如下的描述中，将以其中一个行人为例作为目标对象，描述其轨迹预测的过程，其他三个行人可以按照同样的方法进行轨迹预测，将不再描述。通过图4还可以看到，在解码网络43最终输出的结果中，这四个行人的轨迹相对于原有的轨迹已经多出了一段预测结果。以轨迹线a为例，轨迹线a(实线表示)向前继续延伸了一段轨迹线a1(虚线表示)，其中的轨迹线a即相当于行人在第一时间段的历史轨迹数据，而轨迹线a1相当于通过上述第一编码网络41、第二编码网络42和解码网络43的处理后，预测得到的行走轨迹。
第一编码网络编码输出个体表征向量
请结合图4所示，将目标对象在场景中的历史轨迹数据和实时环境信息的集合输入该第一编码网络41，其中，第一编码网络41可以包括两个子网络：子网络411和子网络412。
其中一个子网络411用于对目标对象的历史轨迹数据进行编码，得到目标对象的轨迹特征，该子网络411以Bi-LSTM为例。例如，该轨迹特征可以是一个输出长度为96的一维张量。实际实施中，本实施例不限制该轨迹特征的输出长度，也可以是96之外的其他数值。
另一个子网络412用于对目标对象的实时环境信息的集合进行编码，得到目标对象的环境特征。该子网络412以CNN为例，CNN可以对目标对象的实时环境信息的集合进行编码，可以通过全连接层对各个实时环境信息的编码结果进行整合，输出一个长度为4的一维张量，该一维张量即环境特征。本实施例不限制该环境特征的输出长度，也可以是4之外的其他数值。
可以将轨迹特征和环境特征进行拼接(concatenate操作)，得到目标对象的个体表征向量。
第二编码网络编码输出群体表征向量
请参见图4所示，图生成器421(RSBG Generator)用于接收目标对象及其关联对象的历史轨迹数据，并基于这些历史轨迹数据生成递归社会行为图(Recursive SocialBehavior Graph，RSBG)。该RSBG是用于表示目标对象及其关联对象之间关系的图，具体后续详述。
具体的，以场景中包括N个行人为例，该N个行人中其中包括目标对象。初始化的过程中，可以根据目标对象及其至少一个关联对象的历史轨迹数据(可以是全局坐标系下的轨迹坐标)整合得到一个特征矩阵F。该特征矩阵F是一个N行L列的矩阵，其中的每一行表示一个行人的特征，L列表示特征的数量，即每一个行人的特征中都包括L个特征，该L的取值例如可以是2Tobs，其中，Tobs为历史轨迹数据的长度。其中，2Tobs只是示例，本实施例不限制上述L的具体取值。
请参见如下公式(2)，使用两个不同的全连接层gs和go分别将矩阵F映射到两个不同的函数空间后进行关系获取处理，该关系获取处理可以包括用于根据上述转换后的特征矩阵计算对象之间关系的操作处理。例如，该关系获取处理可以是将其中一个特征矩阵转置后与另一个特征矩阵相乘，之后通过softmax函数归一化，得到关系矩阵R，该R矩阵大小为N*N。如下的公式(2)所示。实际实施中，关系获取处理不局限于该公式(2)的形式，比如，还可以采用softmax函数之外的其他归一化函数。
Figure BDA0002411237220000151
其中，k表示递归层的深度，比如，在k＝1的情况下，Rk表示第一次递归运算得到的关系矩阵，在k＝2的情况下，Rk表示第二次递归运算得到的关系矩阵，等。
请继续参见公式(3)：
Fk+1＝fc(Fk+RkFk)………(3)
如上公式(3)，可以将关系矩阵R和特征矩阵F进行融合，得到更深层的特征矩阵(也可以称为更新后的特征矩阵)。例如，将k层的R和F融合后，得到用于参与k+1次运算的F。其中，fc表示融合时使用的函数。
接着，返回重复执行公式(2)和公式(3)，即将Fk+1引入到公式(2)中，得到Rk+1，再将Fk+1和Rk+1引入公式(3)计算得到Fk+2。如此重复，不再赘述。当达到预设的更新停止条件时，停止更新该关系矩阵。例如，该更新停止条件可以是达到了预定的迭代次数。
在上述更新过程中可以得到多个关系矩阵，例如，抽取出一系列R1，…，Rk，k为递归层数。本实施例中，可以将这些关系矩阵取算术平均，得到总的关系矩阵R。该总的关系矩阵R也是N*N，该矩阵中的每一个值表示目标对象与至少一个关联对象两两之间的交互关系值。比如，以N是4为例，这四个行人可以是P1、P2、P3和P4，其中的P1是目标对象，P2至P4可以称为目标对象的关联对象。如下示例一个4*4的关系矩阵R。
Figure BDA0002411237220000161
其中，该关系矩阵中，由上到下的顺序看四个行，每一行分别对应“P1、P2、P3和P4”，由左到右的顺序看四个列，每一列分别对应“P1、P2、P3和P4”，例如，第一行第二列的取值“0.8”表示P1和P2之间的交互关系值。又例如，第三行第四列的取值“0.3”表示P3和P4之间的交互关系值。
其中的每一个R的取值，表示对象之间的交互关系值，该交互关系值可以是用于表征两两对象的行走行为相关程度。如上面的关系矩阵的示例，所述的两两对象既可以是目标对象与关联对象，也可以是关联对象与关联对象。所述的行走行为相关程度可以用于表示两个对象的行为之间有关系的概率，比如，两个对象的行走行为之间是80％的概率存在关系，或者只有20％的概率存在关系。所述的行为相关可以包括多种情况，例如，相似的目的地，相似的运动轨迹、相似的运动等中的一项或是多项的组合。例如，如果两个人相向而行，要在同一个地点集合相聚，这两个人属于同一组。又例如，一家几口人出行，行走轨迹和目的地基本一致，这一家人可看作同一组。再例如，人行横道绿灯通行时，绝大多数过马路的行人会表现出一种趋同的行走轨迹，这些人可视为同一组。行为相关也可以是上述示例之外的其他示例。
当根据上述交互关系值确定两个对象的行为相关时，也可以称这两个对象属于同一组(group)。比如，由上面示例的关系矩阵来看，其中的每一元素取值即为交互关系值，表示两个对象的行为相关程度。当该交互关系取值大于某个阈值时，就可以认为是同一组。示例性的，假设两个对象的交互关系值是0.8，大于阈值0.7，就可以认为两个对象是同一组。
基于上述得到的总的关系矩阵R，可以确定目标对象的群体表征向量。
具体的，例如，可以根据R生成递归社会行为图，所述递归社会行为图中包括多个节点，且任两个节点之间具有连接边；其中，每一个节点对应所述目标对象和所述关联对象中的一个对象，所述节点的取值是该节点对应对象的历史轨迹数据，所述两个节点间的连接边的取值是所述两个节点间的交互关系值。请参见如下的公式：
GRSB＝(V,ε)………(4)
V＝{vi＝ti|0≤i＜N}………(5)
Figure BDA0002411237220000171
其中，该递归社会行为图RSBG具有顶点ti，该顶点可以是对象标识是i的对象的历史轨迹数据(共有N个对象，该历史轨迹数据可以是个体相对坐标系下的轨迹坐标)，该递归社会行为图中的连接边的取值是Ra(i1,i2)，该Ra(i1,i2)表示在总的关系矩阵R的第i1行第i2列的取值，是对象i1和i2的交互关系值。
在生成图RSBG后，可以对该图进行图卷积处理，得到目标对象对应的节点的取值，所述取值作为目标对象的群体表征向量。例如，可以通过GCN(Graph ConvolutionalNetwork)进行图卷积处理，相关处理公式可以参见如下的公式7和公式8：
Figure BDA0002411237220000172
Figure BDA0002411237220000181
其中，m表示GCN的层数，fc表示全连接层的处理，例如，当使用一个两层的GCN网络的情况下，m＝2，可以按照公式(7)和公式(8)计算两次，比如，当m等1时计算得到
Figure BDA0002411237220000182
再将该
Figure BDA0002411237220000183
代入到公式中再计算一次最终得到
Figure BDA0002411237220000184
即目标对象(对象标识为i)的群体表征向量。
如上的计算过程，是通过特征矩阵和关系矩阵的递归计算和融合，最终得到总的关系矩阵R，并且，本实施例还利用图结构通过图卷积处理来得到行人之间的交互关系，得到的群体表征向量对行人之间交互影响的表征更准确。
解码网络解码输出预测轨迹
在获得了个体表征向量和群体表征向量后，可以将这两个向量输入解码网络43，该解码网络43可以将目标对象的个体表征向量和群体表征向量拼接后得到整体表征向量。该整体表征向量再作为LSTM的输入，LSTM就可以输出该目标对象在第二时间段内的预测轨迹。
上述的第一解码网络41、第二解码网络42和解码网络43也要先经过训练，再应用于对行人的轨迹预测。
在网络训练阶段，目标对象的预测轨迹可以具有预测值和真实值，根据所述预测值和真实值计算第一损失函数。例如，该第一损失函数的函数值可以根据如下公式(9)得到：
Figure BDA0002411237220000185
如上的公式(9)是一个指数L2 loss(Exponential L2 Loss)，该L2 loss也即均方误差损失函数，其中，t表示预测时间节点，i表示行人id，
Figure BDA0002411237220000186
表示真实值，
Figure BDA0002411237220000187
表示预测值，γ为超参数，实验中例如可以设定为20。该超参数γ可以随着预测的第二时间段的长度的不同而变化，比如，第二时间段的时长越长，该γ的取值可以越大。
通过使用指数L2 loss计算第一损失函数值，能够使得在预测轨迹时，预测的时间节点越远损失权重逐渐增加，从而在监督训练中同时兼顾了各个轨迹坐标的平均预测结果的准确性、以及目的地预测的准确性，使得轨迹预测更准确。
根据上述计算得到的第一损失函数值，可以反向调整所述解码网络、第一编码网络和第二编码网络中至少一个网络的网络参数。
其中，在训练阶段，当使用RSGB图进行图卷积的方式来获取行人之间的交互影响时，还可以预先获得场景中各个行人之间的真实的交互关系值，即关系矩阵R中的各个取值的标签值。该交互关系值的标签值用于表示所述交互关系值对应的两个对象是否属于同一组，其中，属于同一组的两个对象间的行走行为相关程度满足预设相关条件。该预设相关条件比如可以是上面示例的交互关系值的取值大于预设的阈值，例如，交互关系值是0.8，大于阈值0.7，则认为该交互关系值对应的两个对象的行走行为相关程度满足预设相关条件，则认为这两个属于同一组。当然，上述是交互关系值的标签值的含义，而在具体实施中，该标签值的确定可以采用专家鉴定的方式。比如，图4的场景中有4个行人，可以通过专家鉴定的方式确定这四个行人中任意两人之间的关系，即两个人之间是否属于同一组，若属于同一组，设置Ra(i1,i2)的标签值是1；若不属于同一组，设置Ra(i1,i2)的标签值是0。
在上面的描述中提到的由图生成器通过递归方式计算得到的总的关系矩阵R(例如，将递归过程中的多个关系矩阵平均后得到的R)是交互关系值的预测值。可以根据上述交互关系值的预测值与标签值计算第二损失函数值，例如，可以利用交叉熵计算该损失值。并根据所述第二损失函数值，调整图生成器中的网络参数，比如，该图生成器中包括多个全连接层，可以调整这些全连接层的网络参数。
本公开实施例的轨迹预测方法在得到预测的轨迹后，可以应用于多种场景：
例如，在预测得到所述目标对象的预测轨迹之后，若所述目标对象的实际轨迹与所述预测轨迹不匹配，确定所述目标对象行为异常。所述的不匹配可以是实际轨迹与预测轨迹不同，包括了实际轨迹与预测轨迹偏差较大的情况，比如，在确定两个轨迹偏差较大的情况下确定这两个轨迹不匹配。而轨迹偏差的衡量可以通过如下指标来衡量实际轨迹和预测轨迹之间的距离：ADE(Average Displacement Error)或者FDE(Final DisplacementError)，并可以通过对上述指标设定一定的阈值来判断两个轨迹偏差的程度是否较大。实际应用的其中一个示例可以是，对某个行人P2预测出他将要在路口左转，结果实际上他在路口右转了，可以确定该行人存在行为异常的风险。比如，在发现行人的行为异常后，那就表示该行人可能是非法人员(比如小偷)。
又例如，在预测得到所述目标对象的预测轨迹之后，根据所述目标对象的预测轨迹，进行路径规划处理。比如，在辅助智能机器人自助行走运动时，预测对面的某个行人的轨迹后，机器人可以根据预测的该行人的轨迹决策自己的下一步行动路线，比如，机器人可以修正自己的行走路线以防止与上述预测的行人相撞。此外，该方法还可以应用于其他智能行驶设备，该智能行驶设备可以根据预测的行人轨迹，修正或者规划自己下一步的行走路线，以避免与行人发生相撞。
本公开实施例提供了一种轨迹预测装置，该装置可以执行本公开任一实施例的轨迹预测方法。如下简单描述该装置，其各个模块的具体处理可以结合参见方法实施例。如图5所示，该装置可以包括：个体表征模块51、群体表征模块52和预测处理模块53。
个体表征模块51，用于根据目标对象的历史轨迹数据，得到所述目标对象的个体表征向量。
群体表征模块52，用于基于所述目标对象的历史轨迹数据、以及所述目标对象的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量。
预测处理模块53，用于根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹。
在一个例子中，所述群体表征向量用于表示所述至少一个关联对象对所述目标对象的行为影响；所述目标对象的历史轨迹数据包括：所述目标对象在第一时间段内的历史轨迹数据；所述至少一个关联对象的历史轨迹数据包括：所述目标对象的至少一个关联对象在第二时间段内的历史轨迹数据，所述第二时间段与所述第一时间段至少部分重叠；所述至少一个关联对象与所述目标对象在同一场景中。
所述预测处理模块53，具体用于根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象在第三时间段内的预测轨迹，所述第三时间段包括第一时间段之后的一段时间。
在一个例子中，如图6所示，其中的个体表征模块51可以包括：环境处理子模块511、轨迹处理子模块512和融合处理子模块513。
环境处理子模块511，用于获取所述目标对象对应的环境信息的集合，所述集合包括分别对应不同时刻的多个环境信息；其中，环境信息包括所述目标对象的图像帧中预定区域的图像内容，所述预定区域包括所述目标对象在所述图像帧中的轨迹坐标；根据所述环境信息的集合，得到所述目标对象的环境特征。
轨迹处理子模块512，用于根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征。
融合处理子模块513，用于将所述环境特征与轨迹特征进行拼接，得到所述目标对象的个体表征向量。
在一个例子中，所述目标对象的历史轨迹数据，包括：所述目标对象在全局坐标系下的多个轨迹坐标。所述装置还包括：坐标转换模块54，用于在根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征之前，将所述历史轨迹数据由全局坐标系转换至个体相对坐标系，所述个体相对坐标系以所述目标对象的历史轨迹数据中的初始轨迹点为原点。
在一个例子中，所述群体表征模块52可以包括：关系获取子模块521、交互获取子模块522和表征处理子模块523。
关系获取子模块521，用于：根据所述目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到特征矩阵；将所述特征矩阵分别通过不同的全连接层映射到多个函数空间后，进行关系获取处理得到关系矩阵；将所述关系矩阵和所述特征矩阵进行融合，得到更新后的特征矩阵，以根据所述更新后的特征矩阵继续更新所述关系矩阵，直至达到预设的更新停止条件时，停止更新所述关系矩阵。
交互获取子模块522，用于根据更新过程中的多个所述关系矩阵，得到对象集合中的两两对象之间的交互关系值；其中，所述对象集合包括目标对象及其至少一个关系对象；所述交互关系值用于表征所述两两对象之间的行走行为相关程度。
表征处理子模块523，用于根据所述交互关系值确定所述目标对象的群体表征向量。
在一个例子中，表征处理子模块523，在用于根据所述交互关系值确定所述目标对象的群体表征向量时，包括：根据所述交互关系值，生成递归社会行为图，所述递归社会行为图中包括多个节点，且任两个节点之间具有连接边；其中，每一个节点对应所述目标对象和所述关联对象中的一个对象，所述节点的取值是所述节点对应对象的历史轨迹数据，所述两个节点间的连接边的取值是所述两个节点间的交互关系值；对所述递归社会行为图进行卷积处理，得到所述目标对象对应的节点的取值；所述取值作为所述目标对象的群体表征向量。
在一个例子中，所述编码网络，包括：双向长短期记忆网络LSTM。
在一个例子中，如图7所示，所述个体表征模块51，具体用于通过第一编码网络根据目标对象的历史轨迹数据得到所述目标对象的个体表征向量；所述群体表征模块52，具体用于通过第二编码网络基于所述目标对象的历史轨迹数据、以及所述目标对象的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量；所述预测处理模块53，具体用于通过解码网络根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹；所述装置还包括：网络训练模块55，用于在预测得到所述目标对象的预测轨迹之后，根据所述预测轨迹的预测值与真实值获得第一损失函数值；所述第一损失函数值根据指数均方误差损失函数得到；根据所述第一损失函数值，调整所述解码网络、第一编码网络和第二编码网络中至少一个网络的网络参数。
在一个例子中，所述第二编码网络中还包括图生成器，所述图生成器用于根据目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到所述目标对象与至少一个关联对象两两之间的交互关系值；所述网络训练模块55，还用于：获取所述交互关系值的预测值与标签值之间的第二损失函数值，所述交互关系值的标签值用于表示所述交互关系值对应的两个对象是否属于同一组，其中，属于同一组的两个对象间的行走行为相关程度满足预设相关条件；根据所述第二损失函数值，调整所述图生成器中的网络参数。
在一个例子中，所述装置还包括：异常确定模块56，用于在得到所述目标对象的预测轨迹之后，若所述目标对象的实际轨迹与所述预测轨迹不匹配，则确定所述目标对象行为异常。
在一个例子中，所述装置还包括：路径处理模块57，用于在得到所述目标对象的预测轨迹之后，按照所述目标对象的预测轨迹，进行路径规划处理。
在一些实施例中，上述装置可以用于执行上文所述的对应任意方法，为了简洁，这里不再赘述。
本公开实施例还提供了一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机指令，实现本说明书任一实施例的轨迹预测方法。
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本说明书任一实施例的轨迹预测方法。
本领域技术人员应明白，本公开一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本公开一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开实施例还提供一种计算机可读存储介质，该存储介质上可以存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例描述的用于文字识别的神经网络的训练方法的步骤，和/或，实现本公开任一实施例描述的文字识别方法的步骤。
其中，本公开实施例所述的“和/或”表示至少具有两者中的其中一个，例如，“多和/或B”包括三种方案：多、B、以及“多和B”。
本公开中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本公开特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本公开中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本公开中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本公开中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本公开中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPG多(现场可编程门阵列)或多SIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PD多)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本公开包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本公开内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本公开一个或多个实施例的较佳实施例而已，并不用以限制本公开一个或多个实施例，凡在本公开一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开一个或多个实施例保护的范围之内。

Claims (20)

1.一种轨迹预测方法，其特征在于，所述方法包括：
根据目标对象的历史轨迹数据，得到所述目标对象的个体表征向量；
基于所述目标对象的历史轨迹数据、以及所述目标对象的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量；
根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹。
2.根据权利要求1所述的方法，其特征在于，所述群体表征向量用于表示所述至少一个关联对象对所述目标对象的行为影响，所述目标对象的历史轨迹数据包括：所述目标对象在第一时间段内的历史轨迹数据；所述至少一个关联对象的历史轨迹数据包括：所述目标对象的至少一个关联对象在第二时间段内的历史轨迹数据，所述第二时间段与所述第一时间段至少部分重叠；所述至少一个关联对象与所述目标对象在同一场景中；
所述根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹，包括：
根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象在第三时间段内的预测轨迹，所述第三时间段包括第一时间段之后的一段时间。
3.根据权利要求2所述的方法，其特征在于，所述根据目标对象的历史轨迹数据，得到目标对象的个体表征向量，包括：
获取所述目标对象对应的环境信息的集合，所述集合包括分别对应不同时刻的多个环境信息；其中，环境信息包括所述目标对象的图像帧中预定区域的图像内容，所述预定区域包括所述目标对象在所述图像帧中的轨迹坐标；
根据所述环境信息的集合，得到所述目标对象的环境特征；
根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征；
将所述环境特征与轨迹特征进行拼接，得到所述目标对象的个体表征向量。
4.根据权利要求3所述的方法，其特征在于，所述目标对象的历史轨迹数据，包括：所述目标对象在全局坐标系下的多个轨迹坐标；所述方法还包括：
在根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征之前，将所述历史轨迹数据由全局坐标系转换至个体相对坐标系，所述个体相对坐标系以所述目标对象的历史轨迹数据中的初始轨迹点为原点。
5.根据权利要求3所述的方法，其特征在于，所述根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征，包括：
通过编码网络对所述目标对象在第一时间段内的历史轨迹数据进行编码，得到所述目标对象的轨迹特征。
6.根据权利要求5所述的方法，其特征在于，所述编码网络，包括：双向长短期记忆网络LSTM。
7.根据权利要求1至6中任一所述的方法，其特征在于，所述基于所述目标对象的历史轨迹数据、以及所述至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量，包括：
根据所述目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到特征矩阵；
将所述特征矩阵分别通过不同的全连接层映射到多个函数空间后，进行关系获取处理得到关系矩阵；
将所述关系矩阵和所述特征矩阵进行融合，得到更新后的特征矩阵，以根据所述更新后的特征矩阵继续更新所述关系矩阵，直至达到预设的更新停止条件时，停止更新所述关系矩阵；
根据更新过程中的多个所述关系矩阵，得到对象集合中的两两对象之间的交互关系值；其中，所述对象集合包括目标对象及其至少一个关系对象；所述交互关系值用于表征所述两两对象之间的行走行为相关程度；
根据所述交互关系值确定所述目标对象的群体表征向量。
8.根据权利要求7所述的方法，其特征在于，所述根据所述交互关系值确定所述目标对象的群体表征向量，包括：
根据所述交互关系值，生成递归社会行为图，所述递归社会行为图中包括多个节点，且任两个节点之间具有连接边；其中，每一个节点对应所述目标对象和所述关联对象中的一个对象，所述节点的取值是所述节点对应对象的历史轨迹数据，所述两个节点间的连接边的取值是所述两个节点间的交互关系值；
对所述递归社会行为图进行卷积处理，得到所述目标对象对应的节点的取值；所述取值作为所述目标对象的群体表征向量。
9.根据权利要求1～8任一所述的方法，其特征在于，
所述得到所述目标对象的个体表征向量，包括：通过第一编码网络根据所述历史轨迹数据得到个体表征向量；
所述获得所述目标对象的群体表征向量，包括：通过第二编码网络获得所述目标对象的群体表征向量；
所述根据目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹，包括：根据解码网络得到所述预测轨迹；
所述方法还包括：
在预测得到所述目标对象的预测轨迹之后，根据所述预测轨迹的预测值与真实值获得第一损失函数值；所述第一损失函数值根据指数均方误差损失函数得到；
根据所述第一损失函数值，调整所述解码网络、第一编码网络和第二编码网络中至少一个网络的网络参数。
10.根据权利要求9所述的方法，其特征在于，所述第二编码网络中还包括图生成器，所述图生成器用于根据目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到所述目标对象与至少一个关联对象两两之间的交互关系值；
所述方法还包括：
获取所述交互关系值的预测值与标签值之间的第二损失函数值，所述交互关系值的标签值用于表示所述交互关系值对应的两个对象是否属于同一组，其中，属于同一组的两个对象间的行走行为相关程度满足预设相关条件；
根据所述第二损失函数值，调整所述图生成器中的网络参数。
11.根据权利要求1～10任一所述的方法，其特征在于，所述方法还包括：
在得到所述目标对象的预测轨迹之后，若所述目标对象的实际轨迹与所述预测轨迹不匹配，确定所述目标对象行为异常。
12.根据权利要求1～10任一所述的方法，其特征在于，所述方法还包括：
在得到所述目标对象的预测轨迹之后，按照所述目标对象的预测轨迹，进行路径规划处理。
13.一种轨迹预测装置，其特征在于，所述装置包括：
个体表征模块，用于根据目标对象的历史轨迹数据，得到所述目标对象的个体表征向量；
群体表征模块，用于基于所述目标对象的历史轨迹数据、以及所述目标对象的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量；
预测处理模块，用于根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹。
14.根据权利要求13所述的装置，其特征在于，所述群体表征向量用于表示所述至少一个关联对象对所述目标对象的行为影响，所述目标对象的历史轨迹数据包括：所述目标对象在第一时间段内的历史轨迹数据；所述至少一个关联对象的历史轨迹数据包括：所述目标对象的至少一个关联对象在第二时间段内的历史轨迹数据，所述第二时间段与所述第一时间段至少部分重叠；所述至少一个关联对象与所述目标对象在同一场景中；
所述预测处理模块，具体用于根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象在第三时间段内的预测轨迹，所述第三时间段包括第一时间段之后的一段时间。
15.根据权利要求14所述的装置，其特征在于，所述个体表征模块，包括：
环境处理子模块，用于获取所述目标对象对应的环境信息的集合，所述集合包括分别对应不同时刻的多个环境信息；其中，环境信息包括所述目标对象的图像帧中预定区域的图像内容，所述预定区域包括所述目标对象在所述图像帧中的轨迹坐标；根据所述环境信息的集合，得到所述目标对象的环境特征；
轨迹处理子模块，用于根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征；
融合处理子模块，用于将所述环境特征与轨迹特征进行拼接，得到所述目标对象的个体表征向量。
16.根据权利要求15所述的装置，其特征在于，所述目标对象的历史轨迹数据，包括：所述目标对象在全局坐标系下的多个轨迹坐标；所述装置还包括：
坐标转换模块，用于在根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征之前，将所述历史轨迹数据由全局坐标系转换至个体相对坐标系，所述个体相对坐标系以所述目标对象的历史轨迹数据中的初始轨迹点为原点。
17.根据权利要求13至16任一所述的装置，其特征在于，所述群体表征模块，包括：
关系获取子模块，用于：根据所述目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到特征矩阵；将所述特征矩阵分别通过不同的全连接层映射到多个函数空间后，进行关系获取处理得到关系矩阵；将所述关系矩阵和所述特征矩阵进行融合，得到更新后的特征矩阵，以根据所述更新后的特征矩阵继续更新所述关系矩阵，直至达到预设的更新停止条件时，停止更新所述关系矩阵；
交互获取子模块，用于根据更新过程中的多个所述关系矩阵，得到对象集合中的两两对象之间的交互关系值；其中，所述对象集合包括目标对象及其至少一个关系对象；所述交互关系值用于表征所述两两对象之间的行走行为相关程度；
表征处理子模块，用于根据所述交互关系值确定所述目标对象的群体表征向量。
18.根据权利要求17所述的装置，其特征在于，
所述表征处理子模块，在用于根据所述交互关系值确定所述目标对象的群体表征向量时，包括：根据所述交互关系值，生成递归社会行为图，所述递归社会行为图中包括多个节点，且任两个节点之间具有连接边；其中，每一个节点对应所述目标对象和所述关联对象中的一个对象，所述节点的取值是所述节点对应对象的历史轨迹数据，所述两个节点间的连接边的取值是所述两个节点间的交互关系值；对所述递归社会行为图进行卷积处理，得到所述目标对象对应的节点的取值；所述取值作为所述目标对象的群体表征向量。
19.一种电子设备，其特征在于，包括：存储器、处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机指令，实现权利要求1至12任一所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至12任一所述的方法。
CN202010177302.1A 2020-03-13 2020-03-13 轨迹预测方法、装置、电子设备及介质 Pending CN111401233A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010177302.1A CN111401233A (zh) 2020-03-13 2020-03-13 轨迹预测方法、装置、电子设备及介质
PCT/CN2021/080016 WO2021180130A1 (zh) 2020-03-13 2021-03-10 轨迹预测
KR1020227018513A KR20220087561A (ko) 2020-03-13 2021-03-10 궤적 예측
JP2022532611A JP2023503527A (ja) 2020-03-13 2021-03-10 軌跡予測方法、軌跡予測装置、電子機器、記録媒体及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010177302.1A CN111401233A (zh) 2020-03-13 2020-03-13 轨迹预测方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN111401233A true CN111401233A (zh) 2020-07-10

Family

ID=71428717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010177302.1A Pending CN111401233A (zh) 2020-03-13 2020-03-13 轨迹预测方法、装置、电子设备及介质

Country Status (4)

Country Link
JP (1) JP2023503527A (zh)
KR (1) KR20220087561A (zh)
CN (1) CN111401233A (zh)
WO (1) WO2021180130A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783738A (zh) * 2020-07-29 2020-10-16 中国人民解放军国防科技大学 一种通信辐射源异常运动轨迹检测方法
CN111798492A (zh) * 2020-07-16 2020-10-20 商汤国际私人有限公司 轨迹预测方法、装置、电子设备及介质
CN112541449A (zh) * 2020-12-18 2021-03-23 天津大学 一种基于无人机航拍视角的行人轨迹预测方法
CN112785075A (zh) * 2021-01-31 2021-05-11 江苏商贸职业学院 一种基于rfid定位的行人行为预测方法及系统
CN113033364A (zh) * 2021-03-15 2021-06-25 商汤集团有限公司 轨迹预测、行驶控制方法、装置、电子设备及存储介质
CN113177470A (zh) * 2021-04-28 2021-07-27 华中科技大学 行人轨迹预测方法、装置、设备及存储介质
CN113360094A (zh) * 2021-06-04 2021-09-07 重庆紫光华山智安科技有限公司 数据预测方法和装置、电子设备及存储介质
WO2021180130A1 (zh) * 2020-03-13 2021-09-16 商汤集团有限公司 轨迹预测
CN114154687A (zh) * 2021-11-17 2022-03-08 泰康保险集团股份有限公司 一种轨迹预测方法、装置、电子设备及存储介质
CN114239974A (zh) * 2021-12-21 2022-03-25 清华大学 多智能体的位置预测方法、装置、电子设备及存储介质
CN114722232A (zh) * 2022-04-18 2022-07-08 北京航迹科技有限公司 预测运动轨迹的方法、装置、设备和存储介质
CN115205330A (zh) * 2022-06-17 2022-10-18 中关村科学城城市大脑股份有限公司 轨迹信息生成方法、装置、电子设备和计算机可读介质
US20220410939A1 (en) * 2021-09-02 2022-12-29 Beijing Baidu Netcom Science Technology Co., Ltd. Collision detection method, electronic device, and medium
JP2023511765A (ja) * 2020-07-31 2023-03-22 センスタイム グループ リミテッド 軌道予測方法、装置、機器、記憶媒体およびプログラム
CN115938053A (zh) * 2022-12-06 2023-04-07 新疆天池能源有限责任公司 一种基于电子围栏的人员运动轨迹预测系统及其预测方法
CN117556376A (zh) * 2024-01-11 2024-02-13 宁波朗达工程科技有限公司 一种基于多源数据融合的船舶动态轨迹预测及跟踪方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114379595B (zh) * 2022-02-22 2023-04-07 无锡物联网创新中心有限公司 基于车辆行为特征与环境交互信息的车辆轨迹预测方法
CN114882426B (zh) * 2022-04-06 2024-10-01 华中科技大学 一种基于语义一致性的轨迹预测方法及装置
CN115071762B (zh) * 2022-08-22 2022-12-16 北京理工大学前沿技术研究院 面向城市场景下行人轨迹预测方法、模型及存储介质
CN118037764B (zh) * 2024-02-01 2024-09-20 淮阴工学院 一种多摄像头的室内行人异常轨迹预警方法、装置及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168342A (zh) * 2017-07-12 2017-09-15 哈尔滨工大智慧工厂有限公司 一种用于机器人路径规划的行人轨迹预测方法
CN108537818A (zh) * 2018-03-07 2018-09-14 上海交通大学 基于集群压力lstm的人群轨迹预测方法
CN109300144A (zh) * 2018-09-21 2019-02-01 中国矿业大学 一种融合社会力模型和卡尔曼滤波的行人轨迹预测方法
US20200082416A1 (en) * 2017-01-23 2020-03-12 Sony Corporation Information processing apparatus, information processing method, and computer program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558961B (zh) * 2017-09-25 2023-05-02 阿里巴巴集团控股有限公司 确定位置信息的方法和系统、存储介质、处理器以及装置
CN110516888B (zh) * 2019-09-02 2020-12-22 重庆紫光华山智安科技有限公司 轨迹预测方法、装置、电子设备和计算机可读存储介质
CN110610271B (zh) * 2019-09-17 2022-05-13 北京理工大学 一种基于长短记忆网络的多重车辆轨迹预测方法
CN111401233A (zh) * 2020-03-13 2020-07-10 商汤集团有限公司 轨迹预测方法、装置、电子设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200082416A1 (en) * 2017-01-23 2020-03-12 Sony Corporation Information processing apparatus, information processing method, and computer program
CN107168342A (zh) * 2017-07-12 2017-09-15 哈尔滨工大智慧工厂有限公司 一种用于机器人路径规划的行人轨迹预测方法
CN108537818A (zh) * 2018-03-07 2018-09-14 上海交通大学 基于集群压力lstm的人群轨迹预测方法
CN109300144A (zh) * 2018-09-21 2019-02-01 中国矿业大学 一种融合社会力模型和卡尔曼滤波的行人轨迹预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
欧阳俊: ""基于 GAN 和注意力机制的行人轨迹预测研究 "" *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021180130A1 (zh) * 2020-03-13 2021-09-16 商汤集团有限公司 轨迹预测
CN111798492A (zh) * 2020-07-16 2020-10-20 商汤国际私人有限公司 轨迹预测方法、装置、电子设备及介质
CN111798492B (zh) * 2020-07-16 2024-04-19 商汤国际私人有限公司 轨迹预测方法、装置、电子设备及介质
CN111783738A (zh) * 2020-07-29 2020-10-16 中国人民解放军国防科技大学 一种通信辐射源异常运动轨迹检测方法
JP2023511765A (ja) * 2020-07-31 2023-03-22 センスタイム グループ リミテッド 軌道予測方法、装置、機器、記憶媒体およびプログラム
JP7513726B2 (ja) 2020-07-31 2024-07-09 センスタイム グループ リミテッド 軌道予測方法、装置、機器、記憶媒体およびプログラム
CN112541449A (zh) * 2020-12-18 2021-03-23 天津大学 一种基于无人机航拍视角的行人轨迹预测方法
CN112785075A (zh) * 2021-01-31 2021-05-11 江苏商贸职业学院 一种基于rfid定位的行人行为预测方法及系统
CN112785075B (zh) * 2021-01-31 2022-11-25 江苏商贸职业学院 一种基于rfid定位的行人行为预测方法及系统
CN113033364A (zh) * 2021-03-15 2021-06-25 商汤集团有限公司 轨迹预测、行驶控制方法、装置、电子设备及存储介质
CN113033364B (zh) * 2021-03-15 2024-06-14 商汤集团有限公司 轨迹预测方法、行驶控制方法、装置、电子设备及存储介质
CN113177470A (zh) * 2021-04-28 2021-07-27 华中科技大学 行人轨迹预测方法、装置、设备及存储介质
CN113360094A (zh) * 2021-06-04 2021-09-07 重庆紫光华山智安科技有限公司 数据预测方法和装置、电子设备及存储介质
US20220410939A1 (en) * 2021-09-02 2022-12-29 Beijing Baidu Netcom Science Technology Co., Ltd. Collision detection method, electronic device, and medium
CN114154687A (zh) * 2021-11-17 2022-03-08 泰康保险集团股份有限公司 一种轨迹预测方法、装置、电子设备及存储介质
CN114239974A (zh) * 2021-12-21 2022-03-25 清华大学 多智能体的位置预测方法、装置、电子设备及存储介质
CN114722232A (zh) * 2022-04-18 2022-07-08 北京航迹科技有限公司 预测运动轨迹的方法、装置、设备和存储介质
CN114722232B (zh) * 2022-04-18 2023-12-12 北京航迹科技有限公司 预测运动轨迹的方法、装置、设备和存储介质
CN115205330A (zh) * 2022-06-17 2022-10-18 中关村科学城城市大脑股份有限公司 轨迹信息生成方法、装置、电子设备和计算机可读介质
CN115938053A (zh) * 2022-12-06 2023-04-07 新疆天池能源有限责任公司 一种基于电子围栏的人员运动轨迹预测系统及其预测方法
CN115938053B (zh) * 2022-12-06 2024-08-30 新疆天池能源有限责任公司 一种基于电子围栏的人员运动轨迹预测系统及其预测方法
CN117556376A (zh) * 2024-01-11 2024-02-13 宁波朗达工程科技有限公司 一种基于多源数据融合的船舶动态轨迹预测及跟踪方法
CN117556376B (zh) * 2024-01-11 2024-04-30 宁波朗达工程科技有限公司 一种基于多源数据融合的船舶动态轨迹预测及跟踪方法

Also Published As

Publication number Publication date
JP2023503527A (ja) 2023-01-30
KR20220087561A (ko) 2022-06-24
WO2021180130A1 (zh) 2021-09-16

Similar Documents

Publication Publication Date Title
CN111401233A (zh) 轨迹预测方法、装置、电子设备及介质
CN111091708B (zh) 车辆轨迹预测方法及装置
Sadeghian et al. Sophie: An attentive gan for predicting paths compliant to social and physical constraints
Cai et al. Environment-attention network for vehicle trajectory prediction
Chen et al. Vehicle trajectory prediction based on intention-aware non-autoregressive transformer with multi-attention learning for Internet of Vehicles
WO2018059300A1 (zh) 行走行为的预测方法和装置、数据处理装置和电子设备
CN113139446B (zh) 一种端到端自动驾驶行为决策方法、系统及终端设备
Cetintas et al. Unifying short and long-term tracking with graph hierarchies
CN111798492B (zh) 轨迹预测方法、装置、电子设备及介质
Saxena et al. D-GAN: Deep generative adversarial nets for spatio-temporal prediction
Khosravi et al. Crowd emotion prediction for human-vehicle interaction through modified transfer learning and fuzzy logic ranking
Saleh et al. Long-term recurrent predictive model for intent prediction of pedestrians via inverse reinforcement learning
CN111291690A (zh) 路线规划方法、路线规划装置、机器人及介质
CN115690153A (zh) 一种智能体轨迹预测方法及系统
CN114881339A (zh) 车辆轨迹预测方法、系统、计算机设备及存储介质
Oh et al. Hcnaf: Hyper-conditioned neural autoregressive flow and its application for probabilistic occupancy map forecasting
Zhang et al. ForceFormer: exploring social force and transformer for pedestrian trajectory prediction
CN111626098A (zh) 模型的参数值更新方法、装置、设备及介质
CN113807457A (zh) 确定路网表征信息的方法、装置、设备及存储介质
CN115620122A (zh) 神经网络模型的训练方法、图像重识别方法及相关设备
CN112215193A (zh) 一种行人轨迹预测方法及系统
CN116304969A (zh) 基于lstm-gnn考虑道路信息的车辆轨迹多模态预测方法
CN114792320A (zh) 轨迹预测方法、轨迹预测装置和电子设备
CN113119996B (zh) 一种轨迹预测方法、装置、电子设备及存储介质
CN114065870A (zh) 一种车辆轨迹生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240517

AD01 Patent right deemed abandoned