CN111767475A - 一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质 - Google Patents

一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111767475A
CN111767475A CN202010199619.5A CN202010199619A CN111767475A CN 111767475 A CN111767475 A CN 111767475A CN 202010199619 A CN202010199619 A CN 202010199619A CN 111767475 A CN111767475 A CN 111767475A
Authority
CN
China
Prior art keywords
position vector
historical
vector set
preset
target pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010199619.5A
Other languages
English (en)
Inventor
薛睿
鹿朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Geely Automobile Research Institute Ningbo Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Geely Automobile Research Institute Ningbo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Geely Automobile Research Institute Ningbo Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202010199619.5A priority Critical patent/CN111767475A/zh
Publication of CN111767475A publication Critical patent/CN111767475A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本申请一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质，该方法包括：将第一历史位置向量集合和第二历史位置向量集合输入目标行人轨迹预测模型中，得到预测位置向量集合；将真实位置向量集合和预测位置向量集合输入判别模型中，得到距离集合对应的损失值；若损失值不符合预设条件，基于损失值训练目标行人轨迹预测模型中的参数，直至损失值符合预设条件；第一历史位置向量集合由目标行人在多个历史预设时刻的第一历史位置向量构成，第二历史位置向量集合由每个周围行人对应的第二历史位置向量子集合构成的，如此，可以基于时间维度上和空间维度上的数据特征训练目标行人轨迹预测模型，可以提高目标行人轨迹预测模型预测能力。

Description

一种目标行人轨迹预测模型训练方法、装置、电子设备及存储 介质
技术领域
本申请涉及行人轨迹预测领域，特别涉及一种目标行人轨迹预测模型 训练方法、装置、电子设备及存储介质。
背景技术
行人的轨迹预测指根据行人历史的运动路径，预测其未来的轨迹，其 应用场景广泛，在智能驾驶、移动出行和服务机器人导航等领域中都有广 泛应用。
目前，相关技术中，行人的轨迹预测方法可以是将行人的历史运动轨 迹输入到已训练的模型中，输出行人的预测轨迹；模型训练的过程是：将 大量的行人的轨迹输入到模型中，对模型进行训练。但现有的许多行人轨 迹的预测方法往往采用手动设计许多函数对行人运动进行建模，这样的方 式使得模型无法充分学习数据的全部特征，只会侧重于人工设计的某一方 面的特征，如此，导致训练的模型的预测能力较弱。
发明内容
本申请实施例要解决的是现有技术中的训练的只会侧重于人工设计的 某一方面的特征的技术问题。
为解决上述技术问题，一方面，本申请实施例提供了一种目标行人轨 迹预测模型训练方法，该方法包括：
获取第一历史位置向量集合，第一历史位置向量集合由目标行人在多 个历史预设时刻的第一历史位置向量构成；
获取第二历史位置向量集合，第二历史位置向量集合由预设个周围行 人中每个周围行人在多个历史预设时刻的第二历史位置向量子集合构成；
获取真实位置向量集合，真实位置向量集合由目标行人在多个当前或 未来预设时刻的真实位置向量构成；
将第一历史位置向量集合和第二历史位置向量集合输入目标行人轨迹 预测模型中，得到预测位置向量集合，预测位置向量集合由目标行人在多 个当前或未来预设时刻的预测位置向量组成；
将真实位置向量集合和预测位置向量集合输入判别模型中，得到距离 集合对应的损失值；距离集合由真实位置向量集合中的每个真实位置与预 测位置向量集合中每个预测位置之间的距离构成；
若损失值不符合预设条件，基于损失值训练目标行人轨迹预测模型中 的参数，返回将第一历史位置向量集合和第二历史位置向量集合和获取真 实位置向量集合输入目标行人轨迹预测模型中的操作，直至损失值符合预 设条件；其中参数包括目标行人轨迹预测模型中与第一历史位置向量集合 和第一历史位置向量集合相关的权重系数。
另一方面，本申请实施例提供了一种目标行人轨迹预测模型训练装置， 该装置包括：
第一获取模块，用于获取第一历史位置向量集合，第一历史位置向量 集合由目标行人在多个历史预设时刻的第一历史位置向量构成；
第二获取模块，用于获取第二历史位置向量集合，第二历史位置向量 集合由预设个周围行人中每个周围行人在多个历史预设时刻的第二历史位 置向量子集合构成；
第三获取模块，用于获取真实位置向量集合，真实位置向量集合由目 标行人在多个当前或未来预设时刻的真实位置向量构成；
预测模块，用于将第一历史位置向量集合和第二历史位置向量集合输 入目标行人轨迹预测模型中，得到预测位置向量集合，预测位置向量集合 由目标行人在多个当前或未来预设时刻的预测位置向量组成；
损失值确定模块，用于将真实位置向量集合和预测位置向量集合输入 判别模型中，得到距离集合对应的损失值；距离集合由真实位置向量集合 中的每个真实位置与预测位置向量集合中每个预测位置之间的距离构成；
参数调整模块，用于若损失值不符合预设条件，返回将第一历史位置 向量集合和第二历史位置向量集合和获取真实位置向量集合输入目标行人 轨迹预测模型中的操作，训练目标行人轨迹预测模型中的参数，直至损失 值符合预设条件；其中参数包括目标行人轨迹预测模型中与第一历史位置 向量集合和第一历史位置向量集合相关的权重系数。
另一方面，本申请实施例提供了一种电子设备，该电子设备包括处理 器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指 令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执 行以实现如上述的目标行人轨迹预测模型训练方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，该存储介 质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指 令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述的 目标行人轨迹预测模型训练方法。
采用上述技术方案，本申请实施例所述的一种目标行人轨迹预测模型 训练方法、装置、电子设备及存储介质具有如下有益效果：
通过获取第一历史位置向量集合，第一历史位置向量集合由目标行人 在多个历史预设时刻的第一历史位置向量构成；获取第二历史位置向量集 合，第二历史位置向量集合由预设个周围行人中每个周围行人在多个历史 预设时刻的第二历史位置向量子集合构成；获取真实位置向量集合，真实 位置向量集合由目标行人在多个当前或未来预设时刻的真实位置向量构成； 将第一历史位置向量集合和第二历史位置向量集合输入目标行人轨迹预测 模型中，得到预测位置向量集合，预测位置向量集合由目标行人在多个当 前或未来预设时刻的预测位置向量组成；将真实位置向量集合和预测位置 向量集合输入判别模型中，得到距离集合对应的损失值；距离集合由真实 位置向量集合中的每个真实位置与预测位置向量集合中每个预测位置之间 的距离构成；若损失值不符合预设条件，基于损失值训练目标行人轨迹预 测模型中的参数，返回将第一历史位置向量集合和第二历史位置向量集合 和获取真实位置向量集合输入目标行人轨迹预测模型中的操作，直至损失 值符合预设条件；其中参数包括目标行人轨迹预测模型中与第一历史位置 向量集合和第一历史位置向量集合相关的权重系数。本申请实施例中，第 一历史位置向量集合由目标行人在多个历史预设时刻的第一历史位置向量 构成，第二历史位置向量集合由预设个周围行人中每个周围行人在多个历 史预设时刻的第二历史位置向量子集合构成的，第一历史位置向量集合由 目标行人在多个历史预设时刻的第一历史位置向量构成，第二历史位置向 量集合由每个周围行人对应的第二历史位置向量子集合构成的，如此，可 以基于时间维度上和空间维度上的数据特征训练目标行人轨迹预测模型， 可以提高目标行人轨迹预测模型预测能力。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述 中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅 是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性 劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种应用环境示意图；
图2是本申请实施例提供的一种目标行人轨迹预测模型训练方法的流 程示意图；
图3是本申请实施例提供的一种目标行人轨迹预测模型结构示意图；
图4是本申请实施例提供的一种目标行人轨迹预测模型训练方法的流 程示意图；
图5是本申请实施例提供的一种目标行人轨迹预测模型结构示意图的 数据传输示意图；
图6是本申请实施例提供的一种目标行人轨迹预测模型训练装置的结 构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进 行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例， 而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没 有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护 的范围。
此处所称的“一个实施例”或“实施例”是指可包含于本申请至少一 个实现方式中的特定特征、结构或特性。在本申请的描述中，需要理解的 是，术语“上”、“下”、“顶”、“底”等指示的方位或位置关系为基 于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而 不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第 二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明 所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以 明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第 二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。 应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请 的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
请参阅图1，图1是本申请实施例提供的一种应用场景的示意图，包括 数据获取模块101、轨迹预测模块102、判别模块103和参数调整模块104，
数据获取模块101获取第一历史位置向量集合，第一历史位置向量集 合由目标行人在多个历史预设时刻的第一历史位置向量构成；
数据获取模块101获取第二历史位置向量集合，第二历史位置向量集 合由预设个周围行人中每个周围行人在多个历史预设时刻的第二历史位置 向量子集合构成；
数据获取模块101获取真实位置向量集合，真实位置向量集合由目标 行人在多个当前或未来预设时刻的真实位置向量构成；
轨迹预测模块102将第一历史位置向量集合和第二历史位置向量集合 输入目标行人轨迹预测模型中，得到预测位置向量集合，预测位置向量集 合由目标行人在多个当前或未来预设时刻的预测位置向量组成；
判别模块103将真实位置向量集合和预测位置向量集合输入判别模型 中，得到距离集合对应的损失值；距离集合由真实位置向量集合中的每个 真实位置与预测位置向量集合中每个预测位置之间的距离构成；若损失值 不符合预设条件，返回将第一历史位置向量集合和第二历史位置向量集合 和获取真实位置向量集合输入目标行人轨迹预测模型中的操作，参数调整 模块104训练目标行人轨迹预测模型中的参数，直至损失值符合预设条件； 其中参数包括目标行人轨迹预测模型中与第一历史位置向量集合和第一历 史位置向量集合相关的权重系数。
本申请实施例中，数据获取模块101、轨迹预测模块102、判别模块103 和参数调整模块104可以被设置在同一个设备中，比如移动终端、计算机 终端、服务器或者类似的运算装置；可选的，数据获取模块101、轨迹预测 模块102、判别模块103和参数调整模块104可以被设置在多个设备中，该 多个设备处于一个系统中；可选的，数据获取模块101、轨迹预测模块102、 判别模块103和参数调整模块104可以被设置在一个平台上。因此，本申 请实施例的执行主体可以是移动终端、计算机终端、服务器或者类似的运 算装置；可以是某个系统，还可以是某个平台；
以下介绍本申请一种目标行人轨迹预测模型训练方法的具体实施例， 图2是一种目标行人轨迹预测模型训练方法的流程示意图，本说明书提供 了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可 以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步 骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服 务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行 执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该 方法可以包括：
S201:获取第一历史位置向量集合，第一历史位置向量集合由目标行人 在多个历史预设时刻的第一历史位置向量构成；
本申请实施例中，可以通过GPS获取第一历史位置向量集合；也可以 通过服务器提取图片中第一历史位置向量集合；也可以通过传感器获取第 一历史位置向量集合；
第一历史位置向量可以为在历史预设时刻，在一个标准坐标系下，x轴 坐标、y轴坐标和在该坐标下的速度组成的向量；
S202:获取第二历史位置向量集合，第二历史位置向量集合由预设个周 围行人中每个周围行人在多个历史预设时刻的第二历史位置向量子集合构 成；
本申请实施例中，第二历史位置向量可以为在历史预设时刻，在一个 标准坐标系下，x轴坐标、y轴坐标和在该坐标下的速度组成的向量；第二 历史位置向量集合由与预设个周围行人对应的第二历史位置向量子集合构 成，第二历史位置向量子集合为一个周围行人在多个历史预设时刻的第二 历史位置向量构成。
S203:获取真实位置向量集合，真实位置向量集合由目标行人在多个当 前或未来预设时刻的真实位置向量构成；
本申请实施例中，目标行人的数量可以为1个或者多个。
若目标行人的数量为1个，则第一历史位置向量集合由1目标行人在 多个历史预设时刻的第一历史位置向量构成；若目标行人的数量为2个， 则第一历史位置向量集合由2目标行人对应的第一历史位置向量子集合构 成；第一历史位置向量子集合由每个目标行人在多个历史预设时刻的第一 历史位置向量构成。
本申请实施例中，真实位置向量集合可以为目标行人在多个当前或未 来预设时刻，在一个标准坐标系下，x轴坐标、y轴坐标和在该坐标下的速 度组成的向量；
S204:将第一历史位置向量集合和第二历史位置向量集合输入目标行 人轨迹预测模型中，得到预测位置向量集合，预测位置向量集合由目标行 人在多个当前或未来预设时刻的预测位置向量组成；
S205:将真实位置向量集合和预测位置向量集合输入判别模型中，得到 距离集合对应的损失值；距离集合由真实位置向量集合中的每个真实位置 与预测位置向量集合中每个预测位置之间的距离构成；
S206:判断损失值是否符合预设条件，若否，则基于损失值训练目标行 人轨迹预测模型中的参数，转至步骤S201；直至损失值符合预设条件；其中 参数包括目标行人轨迹预测模型中与第一历史位置向量集合和第一历史位 置向量集合相关的权重系数。可选的，若否，则结束训练过程；
于一种可选的实施方式中，损失值为距离集合中的距离值大于预设距 离阈值的概率；预设条件问预设概率。
本申请实施例中，请参阅图3，图3是本申请实施例提供的一种目标行 人轨迹预测模型结构示意图，如图3所示，该目标行人轨迹预测模型包括 编码器模型301、注意力层模型302和解码器模型303；
编码器模型301的输出端与注意力层模型302的输入端连接；注意力 层模型302的输出端与解码器模型303的输入端连接；解码器模型303的 输出端与编码器模型301的输入端连接。
本申请实施例中，编码器模型301又叫做编码器层，注意力层模型302 又叫做注意力层，解码器模型303又叫做解码器层；
于一种可选的实施例中，编码器模型的输出端根据第一历史位置向量 集合和第二历史位置向量集合输出第一隐藏状态集合，在注意力层模型中， 该方法包括：
S401:
将第一隐藏状态集合中目标行人对应的第一隐藏状态进行加权融合处 理得到目标行人对应的第一注意力状态集合；
于一种可选的实施方式中，编码器模型为长短期记忆网络模型中的编 码器模型，第一隐藏状态集合为:
Figure BDA0002418912920000081
Figure BDA0002418912920000082
为目标行人和预设个 周围行人在多个历史预设时刻的第一历史位置向量。
第一隐藏状态集合为：
Figure BDA0002418912920000083
其中，i为整数，i大于等于1，i是目标行 人和预设个周围行人中每个行人对应的标号，用于区别预设个周围行人中 的不同行人，t为多个预设时刻中的每个时刻；
第一注意力状态集合为：
Figure BDA0002418912920000084
t为历史预设时刻，Tobs为历 史预设时刻的个数的上限值，j为多个历史预设时刻对应中每个历史预设时 刻对应的序号；j为正整数，
Figure BDA0002418912920000085
为第一权重系数；
Figure BDA0002418912920000086
为第二历史位置向量 子集合中多个历史预设时刻中每个历史预设时刻对应得编码器的输出；此 处的i为目标行人对应的标号。
S402:
将第一注意力状态集合中预设个周围行人对应的第一注意力状态进行 加权融合处理得到第三注意力状态集合；
于一种可选的实施方式中，
第三注意力状态集合为：
Figure BDA0002418912920000087
i为连续变化的整数；
Figure BDA0002418912920000088
是 第二权重系数；N为预设个周围行人数量，此处的j为预设个周围行人中每个行 人对应的标号，j≠i表示
Figure BDA0002418912920000091
为预设个周围行人对应的表达式。
Figure BDA0002418912920000092
其中，
Figure BDA0002418912920000093
函数A为相关性函数；
Figure BDA0002418912920000094
其中，B函数为带有RelU(线性整流函数，Rectified Linear Unit)非线性的多层感知机。
S403:将第一注意力状态集合和第三注意力状态集合输入解码器模型 中。
于一种可选的实施例中，如图5所示，图5是本申请实施例提供的一 种目标行人轨迹预测模型结构示意图的数据传输示意图；如图5所示：第 一历史位置向量集合X＝X1,X2,...,Xn，预测位置向量集合Y＝Y1,Y2,...,Yn。第 一历史位置向量集合中第一历史位置向量：行人i的历史位置信息为
Figure RE-GDA0002648577590000095
其中t＝1,...,tobs。真实位置向量集合
Figure RE-GDA0002648577590000096
其 中t＝tobs+1,...,tpred。预测的轨迹为
Figure RE-GDA0002648577590000097
Obs为observe，即未来轨迹从 可观测到的最后一帧的下一帧开始。Pred为prediction，表示预测轨迹最 远的时间点。
基于循环神经网络(Recurrent Neural Network,RNN)RNN的编码器， 通过长短期记忆网络模型LSTM中的编码器计算得到每个时间点，每个行人 运动包括目标行人和预设个周围行人，即多个历史预设时刻对应的每个行 人运动的隐藏状态：
Figure BDA0002418912920000098
注意力层既引入了时间维度上的变化对最终预测轨迹的影响，又将不 同行人之间的相互影响加入其中。利用注意力机制，加权融合历史所有时 间点，即多个历史预设时刻对应的行人运动的隐藏状态。原因在于，解码 器输出的预测轨迹实际上对于编码器的不同时间点的状态的关注是不一样 的，若不加入注意力层，解码器只能利用编码器的最后一层的输出结果进 行解析，这与实际情况不符。第一注意力状态集合中目标行人和预设个周围行人对应的第一注意力状态子集合加权融合的方式如下：
Figure BDA0002418912920000099
权重
Figure BDA0002418912920000101
由下面的计算公式得到：
Figure BDA0002418912920000102
其中，
Figure BDA0002418912920000103
函数A为相关性函数。
Figure BDA0002418912920000104
表示为解码器中的上一帧的隐藏层。
在空间层面上，我们用张量来描述不同行人之间的相互影响。张量Tt包 含了行人之间的空间影响的信息，即，由每个行人对应的
Figure BDA0002418912920000105
构成，若i为 与目标行人对应的一个预设值，
Figure BDA0002418912920000106
表示其他所有行人对行人i的影响，即：
Figure BDA0002418912920000107
第三注意力状态集合中每个目标行人和周围行人对应的第三注意力状 态加权融合的方式；
Figure BDA0002418912920000108
目标行人和周围行人的数量为N。观测的行人位置信息通过单层MLP(多 层感知机)转化为一个固定长度的向量，以作为编码器LSTM单元的输入。 构成张量Tt的每个元素
Figure BDA0002418912920000109
为带有时间维度特征的其他行人的上下文向量加 权平均获得。权重计算方式如下：
Figure BDA00024189129200001010
其中，B函数为带有ReLU(线性整流函数，Rectified Linear Unit) 非线性的多层感知机。
Figure BDA00024189129200001011
为t时刻行人i状态对应的向量，通过全连接的训练之后，再进行 softmax得到最终权重结果。
然后，将Ci和Tt输入到解码器层，预测位置向量集合。
解码器层的预测轨迹输出为：
Figure BDA00024189129200001012
本申请实施例还提供了一种目标行人轨迹预测模型训练装置，图6是 本申请实施例提供的一种目标行人轨迹预测模型训练装置的结构示意图， 如图6所示，该装置包括：
第一获取模块601，用于获取第一历史位置向量集合，第一历史位置向 量集合由目标行人在多个历史预设时刻的第一历史位置向量构成；
第二获取模块602，用于获取第二历史位置向量集合，第二历史位置向 量集合由预设个周围行人中每个周围行人在多个历史预设时刻的第二历史 位置向量子集合构成；
第三获取模块603，用于获取真实位置向量集合，真实位置向量集合由 目标行人在多个当前或未来预设时刻的真实位置向量构成；
预测模块604，用于将第一历史位置向量集合和第二历史位置向量集合 输入目标行人轨迹预测模型中，得到预测位置向量集合，预测位置向量集 合由目标行人在多个当前或未来预设时刻的预测位置向量组成；
损失值确定模块605，用于将真实位置向量集合和预测位置向量集合输 入判别模型中，得到距离集合对应的损失值；距离集合由真实位置向量集 合中的每个真实位置与预测位置向量集合中每个预测位置之间的距离构成；
参数调整模块606，用于若损失值不符合预设条件，基于损失值训练目 标行人轨迹预测模型中的参数，返回将第一历史位置向量集合和第二历史 位置向量集合和获取真实位置向量集合输入目标行人轨迹预测模型中的操 作，直至损失值符合预设条件；其中参数包括目标行人轨迹预测模型中与 第一历史位置向量集合和第一历史位置向量集合相关的权重系数。
本申请实施例中的装置与方法实施例基于同样的申请构思。
本申请的实施例还提供了一种电子设备，所述电子设备包括处理器和 存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指 令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所 述处理器加载并执行以实现上述目标行人轨迹预测模型训练方法。
本申请的实施例还提供了一种计算机可读存储介质，所述存储介质可 设置于服务器之中以保存用于实现方法实施例中一种图片识别方法相关的 至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至 少一段程序、该代码集或指令集由该处理器加载并执行以实现上述目标行 人轨迹预测模型训练方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网 络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介 质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随 机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘 等各种可以存储程序代码的介质。
由上述本申请提供的目标行人轨迹预测模型训练方法、装置、电子设 备及存储介质的实施例可见，本申请中通过获取第一历史位置向量集合， 第一历史位置向量集合由目标行人在多个历史预设时刻的第一历史位置向 量构成；获取第二历史位置向量集合，第二历史位置向量集合由预设个周 围行人中每个周围行人在多个历史预设时刻的第二历史位置向量子集合构 成；获取真实位置向量集合，真实位置向量集合由目标行人在多个当前或未来预设时刻的真实位置向量构成；将第一历史位置向量集合和第二历史 位置向量集合输入目标行人轨迹预测模型中，得到预测位置向量集合，预 测位置向量集合由目标行人在多个当前或未来预设时刻的预测位置向量组 成；将真实位置向量集合和预测位置向量集合输入判别模型中，得到距离 集合对应的损失值；距离集合由真实位置向量集合中的每个真实位置与预 测位置向量集合中每个预测位置之间的距离构成；若损失值不符合预设条件，返回将第一历史位置向量集合和第二历史位置向量集合和获取真实位 置向量集合输入目标行人轨迹预测模型中的操作，训练目标行人轨迹预测 模型中的参数，直至损失值符合预设条件；其中参数包括目标行人轨迹预 测模型中与第一历史位置向量集合和第一历史位置向量集合相关的权重系 数。本申请实施例中，第一历史位置向量集合由目标行人在多个历史预设 时刻的第一历史位置向量构成，第二历史位置向量集合由预设个周围行人中每个周围行人在多个历史预设时刻的第二历史位置向量子集合构成的， 第一历史位置向量集合由目标行人在多个历史预设时刻的第一历史位置向 量构成，第二历史位置向量集合由每个周围行人对应的第二历史位置向量 子集合构成的，如此，可以基于时间维度上和空间维度上的数据特征训练 目标行人轨迹预测模型，可以提高目标行人轨迹预测模型预测能力。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实 施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所 附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步 骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。 另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能 实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的 或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相 同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的 不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例， 所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以 通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可 以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存 储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申 请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在 本申请的保护范围之内。

Claims (10)

1.一种目标行人轨迹预测模型训练方法，其特征在于，所述方法包括：
获取第一历史位置向量集合，所述第一历史位置向量集合由目标行人在多个历史预设时刻的第一历史位置向量构成；
获取第二历史位置向量集合，所述第二历史位置向量集合由预设个周围行人中每个周围行人在多个历史预设时刻的第二历史位置向量子集合构成；
获取真实位置向量集合，所述真实位置向量集合由目标行人在多个当前或未来预设时刻的真实位置向量构成；
将第一历史位置向量集合和第二历史位置向量集合输入目标行人轨迹预测模型中，得到预测位置向量集合，所述预测位置向量集合由目标行人在多个当前或未来预设时刻的预测位置向量组成；
将真实位置向量集合和预测位置向量集合输入判别模型中，得到距离集合对应的损失值；所述距离集合由真实位置向量集合中的每个真实位置与预测位置向量集合中每个预测位置之间的距离构成；
若损失值不符合预设条件，基于损失值训练目标行人轨迹预测模型中的参数，返回将第一历史位置向量集合和第二历史位置向量集合和获取真实位置向量集合输入目标行人轨迹预测模型中的操作，直至损失值符合预设条件；其中所述参数包括目标行人轨迹预测模型中与所述第一历史位置向量集合和所述第一历史位置向量集合相关的权重系数。
2.根据权利要求1所述的目标行人轨迹预测模型训练方法，其特征在于，所述目标行人轨迹预测模型包括编码器模型、注意力层模型和解码器模型；
所述编码器模型的输出端与所述注意力层模型的输入端连接；
所述注意力层模型的输出端与所述解码器模型的输入端连接；
所述解码器模型的输出端与所述编码器模型的输入端连接。
3.根据权利要求2所述的目标行人轨迹预测模型训练方法，其特征在于，所述编码器模型的输出端根据第一历史位置向量集合和第二历史位置向量集合输出第一隐藏状态集合，在所述注意力层模型中，所述方法包括：
将第一隐藏状态集合中目标行人对应的第一隐藏状态进行加权融合处理得到目标行人对应的第一注意力状态集合；
将第一注意力状态集合中预设个周围行人对应的第一注意力状态进行加权融合处理得到第三注意力状态集合；
将第一注意力状态集合和第三注意力状态集合输入解码器模型中。
4.根据权利要求3所述的目标行人轨迹预测模型训练方法，其特征在于，所述第一隐藏状态集合为：
Figure FDA0002418912910000021
其中，i为整数，i大于等于1，i是目标行人和预设个周围行人中每个行人对应的标号，用于区别预设个周围行人中的不同行人，t为多个预设时刻中的每个时刻；
所述第一注意力状态集合为：
Figure FDA0002418912910000022
t为历史预设时刻，Tobs为历史预设时刻的个数的上限值，j为多个历史预设时刻对应中每个历史预设时刻对应的序号；j为正整数，
Figure FDA0002418912910000023
为第一权重系数；
Figure FDA0002418912910000024
为第二历史位置向量子集合中多个历史预设时刻中每个历史预设时刻对应得所述编码器的输出；此处的i为目标行人对应的标号。
第三注意力状态集合为：
Figure FDA0002418912910000025
i为连续变化的整数；
Figure FDA00024189129100000210
是第二权重系数；N为预设个周围行人数量，此处的j为预设个周围行人中每个行人对应的标号，j≠i表示
Figure FDA0002418912910000026
为预设个周围行人对应的表达式。
5.根据权利要求4所述的目标行人轨迹预测模型训练方法，其特征在于，
Figure FDA0002418912910000027
其中，
Figure FDA0002418912910000028
函数A为相关性函数；
Figure FDA0002418912910000029
其中，B函数为带有RelU(线性整流函数，Rectified Linear Unit)非线性的多层感知机。
6.根据权利要求4所述的目标行人轨迹预测模型训练方法，其特征在于，所述编码器模型为长短期记忆网络模型中的编码器模型。
7.根据权利要求1所述的目标行人轨迹预测模型训练方法，其特征在于，所述损失值为距离集合中的距离值大于预设距离阈值的概率；所述预设条件问预设概率。
8.一种目标行人轨迹预测模型训练装置，其特征在于，所述装置包括：
第一获取模块，用于获取第一历史位置向量集合，所述第一历史位置向量集合由目标行人在多个历史预设时刻的第一历史位置向量构成；
第二获取模块，用于获取第二历史位置向量集合，所述第二历史位置向量集合由预设个周围行人中每个周围行人在多个历史预设时刻的第二历史位置向量子集合构成；
第三获取模块，用于获取真实位置向量集合，所述真实位置向量集合由目标行人在多个当前或未来预设时刻的真实位置向量构成；
预测模块，用于将第一历史位置向量集合和第二历史位置向量集合输入目标行人轨迹预测模型中，得到预测位置向量集合，所述预测位置向量集合由目标行人在多个当前或未来预设时刻的预测位置向量组成；
损失值确定模块，用于将真实位置向量集合和预测位置向量集合输入判别模型中，得到距离集合对应的损失值；所述距离集合由真实位置向量集合中的每个真实位置与预测位置向量集合中每个预测位置之间的距离构成；
参数调整模块，用于若损失值不符合预设条件，基于损失值训练目标行人轨迹预测模型中的参数，返回将第一历史位置向量集合和第二历史位置向量集合和获取真实位置向量集合输入目标行人轨迹预测模型中的操作，直至损失值符合预设条件；其中所述参数包括目标行人轨迹预测模型中与所述第一历史位置向量集合和所述第一历史位置向量集合相关的权重系数。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一所述的目标行人轨迹预测模型训练方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7任一所述的目标行人轨迹预测模型训练方法。
CN202010199619.5A 2020-03-20 2020-03-20 一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质 Pending CN111767475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010199619.5A CN111767475A (zh) 2020-03-20 2020-03-20 一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010199619.5A CN111767475A (zh) 2020-03-20 2020-03-20 一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111767475A true CN111767475A (zh) 2020-10-13

Family

ID=72720794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010199619.5A Pending CN111767475A (zh) 2020-03-20 2020-03-20 一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111767475A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785075A (zh) * 2021-01-31 2021-05-11 江苏商贸职业学院 一种基于rfid定位的行人行为预测方法及系统
CN113077489A (zh) * 2021-04-21 2021-07-06 中国第一汽车股份有限公司 一种行人轨迹预测方法、装置、设备及储存介质
CN113255738A (zh) * 2021-05-06 2021-08-13 武汉象点科技有限公司 一种基于自注意力生成对抗网络的异常图像检测方法
CN113344056A (zh) * 2021-05-31 2021-09-03 北京邮电大学 一种人员移动性预测模型的训练方法及装置
CN113569980A (zh) * 2021-08-12 2021-10-29 中山大学 一种复杂环境下的行人移动轨迹在线预测方法及系统
CN114239974A (zh) * 2021-12-21 2022-03-25 清华大学 多智能体的位置预测方法、装置、电子设备及存储介质
CN114419105A (zh) * 2022-03-14 2022-04-29 深圳市海清视讯科技有限公司 多目标行人轨迹预测模型训练方法、预测方法及装置
CN115071704A (zh) * 2022-07-19 2022-09-20 小米汽车科技有限公司 轨迹预测方法、装置、介质、设备、芯片和车辆

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160300485A1 (en) * 2015-04-10 2016-10-13 Honda Motor Co., Ltd. Pedestrian path predictions
CN109508812A (zh) * 2018-10-09 2019-03-22 南京航空航天大学 一种基于深度记忆网络的航空器航迹预测方法
CN110163439A (zh) * 2019-05-24 2019-08-23 长安大学 一种基于注意力机制的城市规模出租车轨迹预测方法
CN110610271A (zh) * 2019-09-17 2019-12-24 北京理工大学 一种基于长短记忆网络的多重车辆轨迹预测方法
CN110737968A (zh) * 2019-09-11 2020-01-31 北京航空航天大学 基于深层次卷积长短记忆网络的人群轨迹预测方法及系统
CN110781838A (zh) * 2019-10-28 2020-02-11 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160300485A1 (en) * 2015-04-10 2016-10-13 Honda Motor Co., Ltd. Pedestrian path predictions
CN109508812A (zh) * 2018-10-09 2019-03-22 南京航空航天大学 一种基于深度记忆网络的航空器航迹预测方法
CN110163439A (zh) * 2019-05-24 2019-08-23 长安大学 一种基于注意力机制的城市规模出租车轨迹预测方法
CN110737968A (zh) * 2019-09-11 2020-01-31 北京航空航天大学 基于深层次卷积长短记忆网络的人群轨迹预测方法及系统
CN110610271A (zh) * 2019-09-17 2019-12-24 北京理工大学 一种基于长短记忆网络的多重车辆轨迹预测方法
CN110781838A (zh) * 2019-10-28 2020-02-11 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BHUJEL N , ET AL: "Pedestrian Trajectory Prediction Using RNN Encoder-Decoder with Spatio-Temporal Attentions", 《2019 IEEE 5TH INTERNATIONAL CONFERENCE ON MECHATRONICS SYSTEM AND ROBOTS (ICMSR)》 *
高志强等, 中国铁道出版社 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785075A (zh) * 2021-01-31 2021-05-11 江苏商贸职业学院 一种基于rfid定位的行人行为预测方法及系统
CN112785075B (zh) * 2021-01-31 2022-11-25 江苏商贸职业学院 一种基于rfid定位的行人行为预测方法及系统
CN113077489A (zh) * 2021-04-21 2021-07-06 中国第一汽车股份有限公司 一种行人轨迹预测方法、装置、设备及储存介质
CN113077489B (zh) * 2021-04-21 2024-03-15 中国第一汽车股份有限公司 一种行人轨迹预测方法、装置、设备及储存介质
CN113255738A (zh) * 2021-05-06 2021-08-13 武汉象点科技有限公司 一种基于自注意力生成对抗网络的异常图像检测方法
CN113344056B (zh) * 2021-05-31 2022-11-22 北京邮电大学 一种人员移动性预测模型的训练方法及装置
CN113344056A (zh) * 2021-05-31 2021-09-03 北京邮电大学 一种人员移动性预测模型的训练方法及装置
CN113569980A (zh) * 2021-08-12 2021-10-29 中山大学 一种复杂环境下的行人移动轨迹在线预测方法及系统
CN113569980B (zh) * 2021-08-12 2023-09-01 中山大学 一种复杂环境下的行人移动轨迹在线预测方法及系统
CN114239974A (zh) * 2021-12-21 2022-03-25 清华大学 多智能体的位置预测方法、装置、电子设备及存储介质
CN114419105A (zh) * 2022-03-14 2022-04-29 深圳市海清视讯科技有限公司 多目标行人轨迹预测模型训练方法、预测方法及装置
CN114419105B (zh) * 2022-03-14 2022-07-15 深圳市海清视讯科技有限公司 多目标行人轨迹预测模型训练方法、预测方法及装置
CN115071704B (zh) * 2022-07-19 2022-11-11 小米汽车科技有限公司 轨迹预测方法、装置、介质、设备、芯片和车辆
CN115071704A (zh) * 2022-07-19 2022-09-20 小米汽车科技有限公司 轨迹预测方法、装置、介质、设备、芯片和车辆

Similar Documents

Publication Publication Date Title
CN111767475A (zh) 一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质
KR102170199B1 (ko) 비교 세트를 사용한 입력 예시들 분류
KR20210024124A (ko) 목표 객체 검출 방법 및 장치, 전자 디바이스 및 기록 매체
US20190347285A1 (en) Electronic device for determining emotion of user and method for controlling same
WO2019229125A1 (en) Deep reinforcement learning with fast updating recurrent neural networks and slow updating recurrent neural networks
JP5346701B2 (ja) 学習制御システム及び学習制御方法
CN110234018B (zh) 多媒体内容描述生成方法、训练方法、装置、设备及介质
EP3899797A1 (en) Multi-agent reinforcement learning with matchmaking policies
JPWO2017154655A1 (ja) 群衆種類識別システム、群衆種類識別方法および群衆種類識別プログラム
CN111047088A (zh) 预测图像获取方法、装置、计算机设备和存储介质
CN117218498B (zh) 基于多模态编码器的多模态大语言模型训练方法及系统
CN114005178A (zh) 人物交互检测方法、神经网络及其训练方法、设备和介质
CN110955965A (zh) 一种考虑交互作用的行人运动预测方法及系统
CN113348465A (zh) 图像中对象的关联性预测方法、装置、设备和存储介质
CN114170688B (zh) 人物交互关系识别方法、装置、电子设备
KR20220098312A (ko) 이미지 내 관련 대상 검출 방법, 장치, 디바이스 및 기록 매체
CN115847422A (zh) 一种用于遥操作的姿态识别方法、装置及系统
CN116092055A (zh) 训练方法、获取方法、装置、设备及自动驾驶车辆
CN115222061A (zh) 基于持续学习的联邦学习方法以及相关设备
CN113435531B (zh) 零样本图像分类方法、系统、电子设备及存储介质
CN114715145A (zh) 一种轨迹预测方法、装置、设备及自动驾驶车辆
CN111814653B (zh) 一种视频中异常行为的检测方法、装置、设备及存储介质
CN111476144B (zh) 行人属性识别模型确定方法、装置及计算机可读存储介质
CN113269008A (zh) 一种行人轨迹预测方法、装置、电子设备及存储介质
CN111611917A (zh) 模型训练方法、特征点检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination