CN113269008A

CN113269008A - 一种行人轨迹预测方法、装置、电子设备及存储介质

Info

Publication number: CN113269008A
Application number: CN202010092933.3A
Authority: CN
Inventors: 曹开发; 胡悦
Original assignee: Zhejiang Geely Holding Group Co Ltd; Ningbo Geely Automobile Research and Development Co Ltd
Current assignee: Zhejiang Geely Holding Group Co Ltd; Ningbo Geely Automobile Research and Development Co Ltd
Priority date: 2020-02-14
Filing date: 2020-02-14
Publication date: 2021-08-17
Anticipated expiration: 2040-02-14
Also published as: CN113269008B

Abstract

本申请涉及一种行人轨迹预测方法、装置、电子设备及存储介质，该方法包括：获取行人的当前运动信息；获取行人的当前图像；基于已训练好的骨架序列模型从当前图像中获取行人的2D骨架序列；基于2D骨架序列从已构建好的3D姿态库确定行人的3D骨架序列；基于已训练好的行为动作预测模型对3D骨架序列进行动作识别，得到行人的行为动作预测信息，行为动作预测信息包括行人的动作类别、转动方向和转动角度；根据当前运动信息、行为动作预测信息以及未来预设时刻与当前时刻的时间差确定行人在未来预设时刻的位置；通过应用行人的2D骨架序列和3D骨架序列预测行人轨迹，而不依赖对行人轨迹预测精度影响并不大的环境等因素，可以提高行人轨迹预测的准确度。

Description

一种行人轨迹预测方法、装置、电子设备及存储介质

技术领域

本申请涉及智能驾驶领域，特别涉及一种行人轨迹预测方法、装置、电子设备及存储介质。

背景技术

行人的轨迹预测即指根据人过去一段时间和/或当前的轨迹预测出人未来一定时间内的轨迹。为了避免与人发生碰撞，驾驶员需要不断地预测附近行人的行为以便于能够规划出一条安全、舒适的行车轨迹。同样，自动驾驶汽车也需要预测其附近人的轨迹，以便于在意外发生之前就主动规划，而不是等到意外发生后才做出反应。这样做可以最大化的避免采取过激的行为，如急刹车、急转弯等。

现有方案中，基于模型与数据驱动的行人轨迹预测方法效果并不理想。基于模型的轨迹预测方法通常是使用手工制作的方式来为特定场景设置建模交互，忽略了很多有用信息，这有利于捕获简单的交互模型，并且无法应用到更复杂的场景。基于数据驱动的行人轨迹预测方法从网络结构不同可分为：RNN(LSTM)、GAN、CNN，从考虑不同的影响因素可分为：考虑人与人之间交互的Social LSTM、考虑行人背景环境的分层LSTM、考虑行人意图的SR-LSTM、考虑符合社会合理规范的Social GAN等。对于深度学习的行人轨迹预测算法，输入的行人背景环境是否会对新环境的行人轨迹预测造成影响、人与人之间的交互信息是否会影响现有的深度学习行人轨迹预测、行人的历史信息是否会使现有的深度学习轨迹预测精度提高，这些影响因素对现有的深度学习行人轨迹预测精度影响并不大。

人的决策过程比较主观灵活，即使在相同的场景，不同的人采取的决策也会不同，现有方案中的行人的轨迹预测忽略了行人本身的运动特征，如此，导致了行人轨迹预测准确度较低。

发明内容

本申请实施例要解决的是现有方案中的行人的轨迹预测忽略了行人本身的运动特征导致的行人轨迹预测准确度较低的技术问题。

为解决上述技术问题，一方面，本申请实施例提供了一种行人轨迹预测方法，该方法包括：

获取行人的当前运动信息，当前运动信息包括当前行人位置、当前行人的行走角度和当前行人速度；

获取行人的当前图像；

基于已训练好的骨架序列模型从当前图像中获取行人的2D骨架序列；2D骨架序列包括行人的骨架关键点坐标；

基于2D骨架序列从已构建好的3D姿态库确定行人的3D骨架序列；

基于已训练好的行为动作预测模型对3D骨架序列进行动作识别，得到行人的行为动作预测信息，行为动作预测信息包括行人的动作类别、转动方向和转动角度；

根据当前运动信息、行为动作预测信息以及未来预设时刻与当前时刻的时间差确定行人在未来预设时刻的位置。

另一方面提供了一种行人轨迹预测装置，该装置包括：

运动信息获取模块，用于获取行人的当前运动信息，当前运动信息包括当前行人位置、当前行人的行走角度和当前行人速度；

行人图像获取模块，用于获取行人的当前图像；

2D骨架序列确定模块，用于基于已训练好的骨架序列模型从当前图像中获取行人的2D骨架序列；2D骨架序列包括行人的骨架关键点坐标；

3D骨架序列确定模块，用于基于2D骨架序列从已构建好的3D姿态库确定行人的3D骨架序列；

动作识别模块，用于基于已训练好的行为动作预测模型对3D骨架序列进行动作识别，得到行人的行为动作预测信息，行为动作预测信息包括行人的动作类别、转动方向和转动角度；

未来预设时刻位置确定模块，用于根据当前运动信息、行为动作预测信息以及未来预设时刻与当前时刻的时间差确定行人在未来预设时刻的位置。

另一方面提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述的行人轨迹预测方法。

另一方面提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述的行人轨迹预测方法。

采用上述技术方案，本申请实施例提供的一种行人轨迹预测方法、装置、电子设备及存储介质具有如下有益效果：

本申请实施例中，通过获取行人的当前运动信息，当前运动信息包括当前行人位置、当前行人的行走角度和当前行人速度；获取行人的当前图像；基于已训练好的骨架序列模型从当前图像中获取行人的2D骨架序列；2D骨架序列包括行人的骨架关键点坐标；基于2D骨架序列从已构建好的3D姿态库确定行人的3D骨架序列；基于已训练好的行为动作预测模型对3D骨架序列进行动作识别，得到行人的行为动作预测信息，行为动作预测信息包括行人的动作类别、转动方向和转动角度；根据当前运动信息、行为动作预测信息以及未来预设时刻与当前时刻的时间差确定行人在未来预设时刻的位置；应用行人的2D骨架序列和3D骨架序列的行人本身的运动特征，而不依赖对行人轨迹预测精度影响并不大的环境等因素，在一定程度上提高了行人轨迹预测的准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种应用环境的示意图；

图2是本申请实施例提供的一种行人轨迹预测方法的流程示意图；

图3是本申请实施例提供的一种16个骨架关键点的结构示意图；

图4是本申请实施例提供的一种行人轨迹预测装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

此处所称的“一个实施例”或“实施例”是指可包含于本申请至少一个实现方式中的特定特征、结构或特性。在本申请的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，包括行人的当前运动信息获取模块101、2D骨架序列获取模块102、3D骨架序列确定模块103、动作识别模块104和未来预设时刻的位置确定模块105；行人的当前运动信息获取模块101获取行人的当前运动信息，当前运动信息包括当前行人位置、当前行人的行走角度和当前行人速度；2D骨架序列获取模块102获取行人的当前图像；并基于已训练好的骨架序列模型从当前图像中获取行人的2D骨架序列；2D骨架序列包括行人的骨架关键点坐标；3D骨架序列确定模块103基于2D骨架序列从已构建好的3D姿态库确定行人的3D骨架序列；动作识别模块104基于已训练好的行为动作预测模型对3D骨架序列进行动作识别，得到行人的行为动作预测信息，行为动作预测信息包括行人的动作类别、转动方向和转动角度；未来预设时刻的位置确定模块105根据当前运动信息、行为动作预测信息以及未来预设时刻与当前时刻的时间差确定行人在未来预设时刻的位置。

本申请实施例中，行人的当前运动信息获取模块101、2D骨架序列获取模块102、3D骨架序列确定模块103、动作识别模块104和未来预设时刻的位置确定模块105；可以被设置在同一个设备中，比如移动终端、计算机终端、服务器或者类似的运算装置；可选的，行人的当前运动信息获取模块101、2D骨架序列获取模块102、3D骨架序列确定模块103、动作识别模块104和未来预设时刻的位置确定模块105可以被设置在多个设备中，该多个设备处于一个系统中；可选的，行人的当前运动信息获取模块101、2D骨架序列获取模块102、3D骨架序列确定模块103、动作识别模块104和未来预设时刻的位置确定模块105可以被设置在一个平台上。因此，本申请实施例的执行主体可以是移动终端、计算机终端、服务器或者类似的运算装置；可以是某个系统，还可以是某个平台。

以下介绍本申请一种行人轨迹预测方法的具体实施例，图2是本申请实施例提供的一种行人轨迹预测方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法可以包括：

S201:获取行人的当前运动信息，当前运动信息包括当前行人位置、当前行人的行走角度和当前行人速度；

本申请实施例中，当前行人位置可以为行人在预设坐标系中的坐标。可以通过GPS获取当前行人位置；可以通过感测器获取当前行人的行走角度和当前行人速度；

S202:获取行人的当前图像；

本申请实施例中，可以通过摄像机设备获取行人的当前图像；

S203:基于已训练好的骨架序列模型从当前图像中获取行人的2D骨架序列；2D骨架序列包括行人的骨架关键点坐标；

本申请实施例中，行为动作预测模型可以为基于LSTM网络的人体骨架行为动作识别模型，为现有技术。

于一种可选的实施方式中，请参阅图3，图3是本申请实施例提供的一种16个骨架关键点的结构示意图；如图3所示：2D骨架序列包括行人的16个骨架关键点坐标，16个骨架关键点坐标为：

头部A坐标、颈部B坐标、右肩部C坐标、右肘部D坐标、右腕部E坐标、左肩部F坐标、左肘部G坐标、左腕部H坐标、右髋部I坐标、右膝部J坐标、右踝部K坐标、右脚趾部L坐标、左髋部M坐标、左膝部N坐标、左踝部O坐标、左脚趾部P坐标。

S204:基于2D骨架序列从已构建好的3D姿态库确定行人的3D骨架序列；

S205:基于已训练好的行为动作预测模型对3D骨架序列进行动作识别，得到行人的行为动作预测信息，行为动作预测信息包括行人的动作类别、转动方向和转动角度；

本申请实施例中，骨架序列模型可以为基于卷积神经网络的2D骨架序列获取模型，为现有技术。

本申请实施例中，行为动作预测信息包括行人的动作类别，如走路、跑步、静止；转动方向，如相对于当前行人位置的方向向左、向右，不变；转动角度，相对于当前行人位置的方向的转动角度，0度、20度、40度、60度等。

于一种可选的实施例中，该步骤可以包括：

基于已训练好的行为动作预测模型对3D骨架序列进行多次动作识别，得到行为动作预测信息集合和行为动作预测信息集合中每种行为动作预测信息的概率，将最大概率对应的行为动作预测信息确定为行人的行为动作预测信息。

比如说：基于已训练好的行为动作预测模型对3D骨架序列进行多次动作识别，得到行为动作预测信息集合：第一种行为预测信息为行走、方向为不变、角度为0度，第一种行为预测信息的概率是0.8；

第二种行为预测信息为行走、方向为不变、角度为0.1度，第一种行为预测信息的概率是0.7；

第三种行为预测信息为行走、方向为不变、角度为0.2度，第一种行为预测信息的概率是0.6；将最大概率对应的第一种行为预测信息确定为行人的行为动作预测信息。

S206:根据当前运动信息、行为动作预测信息以及未来预设时刻与当前时刻的时间差确定行人在未来预设时刻的位置。

本申请实施例中，该步骤可以包括:

当前t时刻的位置

定义行人的标识号为i，预测未来n步轨迹为F_i＝(P_i ^t+1，...,P_i ^t+n)，求取相对位置F_Δi，可以表示如下：

其中θ为当前行人的行走角度，为当前行人在预设坐标系下与一个预设方向的夹角，ψ为通过骨架序列进行行为识别得到行人下一个时刻转的转动角度，该转动角度为相对行走角度转动的角度，θ和ψ之和为行人在预设坐标系下与一个预设方向的夹角，v代表当前行人速度，t为未来预设时刻与当前时刻的时间差；

通过相对位置F_Δi，即可求出未来预设时刻的位置F_i，关系式如下：

F_i＝(P_i ^t+1，...,P_i ^t+n)＝(P_i ^t+F_Δi,...,P_i ^t-1+n+F_Δi)。

于一种可选的实施方式中，当前行人的行走角度可以由传感器检测行人在第一方向或者第二方向上的速度分量计算得到，可选的，第一方向和第二方向垂直，如当前行人的行走角度可以由传感器检测行人预设坐标中的X方向(第一方向)的速度分量，得到与X轴的夹角(行走角度)；当前行人的行走角度可以由传感器检测行人预设坐标中的Y方向(第二方向)的速度分量，得到与Y轴的夹角(行走角度)；。

本申请实施例还提供了一种行人轨迹预测装置，图4是本申请实施例提供的一种行人轨迹预测装置的结构示意图，如图4所示，该装置包括：

运动信息获取模块401，用于获取行人的当前运动信息，当前运动信息包括当前行人位置、当前行人的行走角度和当前行人速度；

行人图像获取模块402，用于获取行人的当前图像；

2D骨架序列确定模块403，用于基于已训练好的骨架序列模型从当前图像中获取行人的2D骨架序列；2D骨架序列包括行人的骨架关键点坐标；

3D骨架序列确定模块404，用于基于2D骨架序列从已构建好的3D姿态库确定行人的3D骨架序列；

动作识别模块405，用于基于已训练好的行为动作预测模型对3D骨架序列进行动作识别，得到行人的行为动作预测信息，行为动作预测信息包括行人的动作类别、转动方向和转动角度；

未来预设时刻位置确定模块406，用于根据当前运动信息、行为动作预测信息以及未来预设时刻与当前时刻的时间差确定行人在未来预设时刻的位置。

本申请实施例中的装置与方法实施例基于同样地申请构思。

本申请实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的行人轨迹预测方法。

本申请实施例还提供了一种存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的一种行人轨迹预测方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的行人轨迹预测方法、装置、电子设备及存储介质的实施例可见，本申请实施例中，通过获取行人的当前运动信息，当前运动信息包括当前行人位置、当前行人的行走角度和当前行人速度；获取行人的当前图像；基于已训练好的骨架序列模型从当前图像中获取行人的2D骨架序列；2D骨架序列包括行人的骨架关键点坐标；基于2D骨架序列从已构建好的3D姿态库确定行人的3D骨架序列；基于已训练好的行为动作预测模型对3D骨架序列进行动作识别，得到行人的行为动作预测信息，行为动作预测信息包括行人的动作类别、转动方向和转动角度；根据当前运动信息、行为动作预测信息以及未来预设时刻与当前时刻的时间差确定行人在未来预设时刻的位置；应用行人的2D骨架序列和3D骨架序列的行人本身的运动特征，而不依赖对行人轨迹预测精度影响并不大的环境等因素，在一定程度上提高了行人轨迹预测的准确度。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种行人轨迹预测方法，其特征在于，所述方法包括：

获取行人的当前运动信息，所述当前运动信息包括当前行人位置、当前行人的行走角度和当前行人速度；

获取行人的当前图像；

基于已训练好的骨架序列模型从所述当前图像中获取行人的2D骨架序列；所述2D骨架序列包括行人的骨架关键点坐标；

基于所述2D骨架序列从已构建好的3D姿态库确定行人的3D骨架序列；

基于已训练好的行为动作预测模型对所述3D骨架序列进行动作识别，得到行人的行为动作预测信息，所述行为动作预测信息包括行人的动作类别、转动方向和转动角度；

根据所述当前运动信息、所述行为动作预测信息以及未来预设时刻与当前时刻的时间差确定行人在未来预设时刻的位置。

2.根据权利要求1所述的行人轨迹预测方法，其特征在于，所述2D骨架序列包括行人的16个骨架关键点坐标，所述16个骨架关键点坐标为：

头部坐标、颈部坐标、右肩部坐标、右肘部坐标、右腕部坐标、左肩部坐标、左肘部坐标、左腕部坐标、右髋部坐标、右膝部坐标、右踝部坐标、右脚趾部坐标、左髋部坐标、左膝部坐标、左踝部坐标、左脚趾部坐标。

3.根据权利要求1所述的行人轨迹预测方法，其特征在于，根据所述当前运动信息、所述行为动作预测信息以及未来预设时刻与当前时刻的时间差确定行人在未来预设时刻的位置，包括：

当前t时刻的位置

定义行人的标识号为i，预测未来n步轨迹为F_i＝(P_i ^t ⁺¹，...,P_i ^t+n)，求取相对位置F_Δi，可以表示如下：

其中θ为当前行人的行走角度，ψ为通过骨架序列进行行为识别得到行人下一个时刻转的转动角度，v代表当前行人速度，t为未来预设时刻与当前时刻的时间差；

F_i＝(P_i ^t+1，...,P_i ^t+n)＝(P_i ^t+F_Δi,...,P_i ^t-1+n+F_Δi)。

4.根据权利要求3所述的行人轨迹预测方法，其特征在于，所述当前行人的行走角度由传感器检测行人在第一方向或者第二方向上的速度分量计算得到。

5.根据权利要求1所述的行人轨迹预测方法，其特征在于，所述基于已训练好的行为动作预测模型对所述3D骨架序列进行动作识别，得到行人的行为动作预测信息，包括：

基于已训练好的行为动作预测模型对所述3D骨架序列进行多次动作识别，得到行为动作预测信息集合和所述行为动作预测信息集合中每种行为动作预测信息的概率，将最大概率对应的行为动作预测信息确定为行人的行为动作预测信息。

6.根据权利要求3所述的行人轨迹预测方法，其特征在于，所述行为动作预测模型为基于LSTM网络的人体骨架行为动作识别模型。

7.根据权利要求4所述的行人轨迹预测方法，其特征在于，所述骨架序列模型为基于卷积神经网络的2D骨架序列获取模型。

8.一种行人轨迹预测装置，其特征在于，所述装置包括：

运动信息获取模块，用于获取行人的当前运动信息，所述当前运动信息包括当前行人位置、当前行人的行走角度和当前行人速度；

行人图像获取模块，用于获取行人的当前图像；

2D骨架序列确定模块，用于基于已训练好的骨架序列模型从所述当前图像中获取行人的2D骨架序列；所述2D骨架序列包括行人的骨架关键点坐标；

3D骨架序列确定模块，用于基于所述2D骨架序列从已构建好的3D姿态库确定行人的3D骨架序列；

动作识别模块，用于基于已训练好的行为动作预测模型对所述3D骨架序列进行动作识别，得到行人的行为动作预测信息，所述行为动作预测信息包括行人的动作类别、转动方向和转动角度；

未来预设时刻位置确定模块，用于根据所述当前运动信息、所述行为动作预测信息以及未来预设时刻与当前时刻的时间差确定行人在未来预设时刻的位置。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一所述的行人轨迹预测方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7任一所述的一种行人轨迹预测方法。