CN111797751B - 行人轨迹预测方法、装置、设备及介质 - Google Patents

行人轨迹预测方法、装置、设备及介质 Download PDF

Info

Publication number
CN111797751B
CN111797751B CN202010608431.1A CN202010608431A CN111797751B CN 111797751 B CN111797751 B CN 111797751B CN 202010608431 A CN202010608431 A CN 202010608431A CN 111797751 B CN111797751 B CN 111797751B
Authority
CN
China
Prior art keywords
pedestrian
historical
information
target
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010608431.1A
Other languages
English (en)
Other versions
CN111797751A (zh
Inventor
高延熹
吕颖
杨化伟
韩佳琪
庞竹吟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202010608431.1A priority Critical patent/CN111797751B/zh
Publication of CN111797751A publication Critical patent/CN111797751A/zh
Application granted granted Critical
Publication of CN111797751B publication Critical patent/CN111797751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了一种行人轨迹预测方法、装置、设备及介质。所述方法包括：确定当前时刻至少两个目标行人的历史运动轨迹信息与历史头部姿态信息；将所述至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，联合输入到预先训练的行人轨迹预测模型；以及，将单个目标行人的历史运动轨迹信息与历史头部姿态信息，单独输入到所述行人轨迹预测模型；通过所述行人轨迹预测模型，确定所述单个目标行人在当前时刻后预设时间段的预测运动轨迹，以辅助进行自动驾驶。采用本申请方案，会融合行人在当前时刻的历史头部姿态信息和历史运动轨迹信息，来对行人在当前时刻后的轨迹进行预测，能大幅度提高行人轨迹的预测准确度，进而提高自动驾驶的安全性。

Description

行人轨迹预测方法、装置、设备及介质
技术领域
本发明实施例涉及计算机视觉技术领域，尤其涉及一种行人轨迹预测方法、装置、设备及介质。
背景技术
随着技术的不断发展，无人车被应用于多种领域，能够减少人工操作，降低人力成本，提高自动化。而，在实际应用中，无人车对行人轨迹进行准确预测以实现及时避障变得更加重要。
目前，针对行人轨迹预测的方案，一类是深度学习之前基于传统概率预测方法将行人轨迹预测转化为概率预测，另一类是在深度学习之后使用长短期记忆网络来进行行人轨迹预测。然而，上述方案仅考虑了行人的位置，导致实际场景中行人轨迹预测准确率较低，无法满足实际需求。
发明内容
本发明实施例中提供了一种行人轨迹预测方法、装置、设备及介质，以实现根据行人历史轨迹和行人头部姿态准确预测行人轨迹。
第一方面，本发明实施例中提供了一种行人轨迹预测方法，包括：
确定当前时刻至少两个目标行人的历史运动轨迹信息与历史头部姿态信息；
将所述至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，联合输入到预先训练的行人轨迹预测模型；以及，将单个目标行人的历史运动轨迹信息与历史头部姿态信息，单独输入到所述行人轨迹预测模型；
通过所述行人轨迹预测模型，确定所述单个目标行人在当前时刻后预设时间段的预测运动轨迹，以辅助进行自动驾驶。
第二方面，本发明实施例中还提供了一种行人轨迹预测装置，包括：
信息确定模块，用于确定当前时刻至少两个目标行人的历史运动轨迹信息与历史头部姿态信息；
信息输入模块，用于将所述至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，联合输入到预先训练的行人轨迹预测模型；以及，将单个目标行人的历史运动轨迹信息与历史头部姿态信息，单独输入到所述行人轨迹预测模型；
轨迹预测模块，用于通过所述行人轨迹预测模型，确定所述单个目标行人在当前时刻后预设时间段的预测运动轨迹，以辅助进行自动驾驶。
第三方面，本发明实施例中还提供了一种电子设备，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如本发明任意实施例中提供的所述行人轨迹预测方法。
第四方面，本发明实施例中还提供了一种可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现如本发明任意实施例中提供的所述行人轨迹预测方法。
本发明实施例中提供了一种行人轨迹预测方法，可确定当前时刻至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，然后将至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，联合输入到预先训练的行人轨迹预测模型以及将单个目标行人的历史运动轨迹信息与历史头部姿态信息，单独输入到行人轨迹预测模型，通过行人轨迹预测模型预测单个目标行人在当前时刻后预设时间段的预测运动轨迹。采用本申请方案，会融合行人在当前时刻的历史头部姿态信息和历史运动轨迹信息，来对行人在当前时刻后的轨迹进行预测，因为历史头部姿态信息和历史运动轨迹信息的融合，能反映行人在当前时刻的丰富运动细节信息，因此能大幅度提高行人轨迹的预测准确度，进而提高自动驾驶的安全性。
上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例中提供的一种行人轨迹预测方法的流程图；
图2是本发明实施例中提供的另一种行人轨迹预测方法的流程图；
图3是本发明实施例中提供的一种行人轨迹预测的整体流程示意图；
图4是本发明实施例中提供的一种头部姿态检测的整体流程示意图；
图5是本发明实施例中提供的又一种行人轨迹预测方法的流程图；
图6是本发明实施例中提供的一种行人轨迹预测模型的网络模型结构示意图；
图7是本发明实施例中提供的一种行人轨迹预测装置的结构框图；
图8是本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
下面针对本申请中提供的行人轨迹预测方案，通过以下各个实施例及其可选方案进行详细阐述。
图1是本发明实施例中提供的一种行人轨迹预测方法的流程图。本发明实施例可适用于在自动驾驶过程中对行人轨迹进行预测的情况。该方法可由行人轨迹预测装置来执行，该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。该电子设备可为无人车以及机器人等自动驾驶设备。如图1所示，本申请实施例中提供的行人轨迹预测方法，可包括以下步骤S110-S120：
S110、确定当前时刻至少两个目标行人的历史运动轨迹信息与历史头部姿态信息。
在本实施例中，目标行人可为位于同一图像采集视场下，且需要参与进行行人轨迹预测的行人。为了获取行人的行人轨迹和头部姿态，可预先设置一定图像采集方向的车载图像采集设备，这样可在车载图像采集设备的图像采集视场采集到多个目标行人。对于每一个目标行人，目标行人在当前时刻均会存在一个历史运动轨迹信息与历史头部姿态信息。历史运动轨迹信息可为行人在距离当前时刻预设时长的历史时间段内的运动轨迹信息；历史头部姿态信息可为行人距离当前时刻预设时长的历史时间段内的头部姿态信息。
S120、将至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，联合输入到预先训练的行人轨迹预测模型；以及，将单个目标行人的历史运动轨迹信息与历史头部姿态信息，单独输入到行人轨迹预测模型。
在本实施例中，可将已采集且经过采样处理的图像序列进行分割，得到两部分图像子序列。其中，一个图像序列中包括多帧行人图像。将两部分图像子序列中时间在前的图像子序列指示的行人轨迹信息和头部姿态信息，作为训练输入信息；以及，将两部分图像子序列中时间在后的图像子序列指示的行人轨迹信息，作为预测输出的真值。基于上述两部分图像子序列可构成行人轨迹预测模型的训练样本，采用大量的训练样本可对行人轨迹预测模型进行训练得到训练完成的行人轨迹预测模型。其中，在对行人轨迹预测模型进行训练时，可采用Adam优化器，网络的损失函数如下：
Figure GDA0003705632760000051
其中，Tpred代表预测的时间步长，其具体可为两部分图像子序列中时间在后的图像子序列的序列时间长；Tobs代表输入的时间步长，其具体可为两部分图像子序列中时间在前的图像子序列的序列时间长；N代表目标行人个数，K代表采样轨迹数。
在本实施例中，仅依靠用于的历史运动轨迹进行轨迹预测，未考虑丰富的行人信息，会存在一定的缺陷，例如，行人在过马路时，行人看到车辆和未看到车辆时，会出现不同的轨迹。因此，本申请方案在通过行人轨迹预测模型对单个目标行人进行轨迹预测时，不仅需要考虑目标行人的历史运动轨迹，同时还需要融合目标行人自身丰富的历史头部姿态信息，这样才能提高行人轨迹预测的准确性。
在本实施例中，在确定至少两个目标行人的历史运动轨迹信息与历史头部姿态信息后，不仅需要将单个目标行人的历史运动轨迹信息与历史头部姿态信息，单独输入到行人轨迹预测模型；而且，还会将全部目标行人的历史运动轨迹信息与历史头部姿态信息作为总体信息，联合输入到行人轨迹预测模型，这样在通过行人轨迹预测模型预测行人轨迹时就会充分考虑行人间交互性，进而提高行人轨迹的预测准确性。
S130、通过行人轨迹预测模型，确定单个目标行人在当前时刻后预设时间段的预测运动轨迹，以辅助进行自动驾驶。
本发明实施例中提供了一种行人轨迹预测方法，采用本申请方案，会融合行人在当前时刻的历史头部姿态信息和历史运动轨迹信息，来对行人在当前时刻后的轨迹进行预测，因为历史头部姿态信息和历史运动轨迹信息的融合，能反映行人在当前时刻的丰富运动细节信息，因此能大幅度提高行人轨迹的预测准确度，进而提高自动驾驶的安全性。
图2是本发明实施例中提供的另一种行人轨迹预测方法的流程图，本实施例在上述实施例的基础上对前述实施例进行进一步优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图2所示，本申请实施例中提供的行人轨迹预测方法，可包括以下步骤S210-S240：
S210、获取在预设车载图像采集设备的采集视场下，距离当前时刻的历史时间段内的至少两帧历史行人图像。
在本实施例中，以预设的车载图像采集设备(例如，车载移动摄像头)为第一视角，在自动驾驶过程中，采用预设车载图像采集设备，可对出现在其采集视场下的行人进行图像采集操作，并对采集的行人图像进行保存。在对行人进行轨迹预测时，可获取在车载图像采集设备的采集视场下，采集的距离当前时刻的历史时间段内的至少两帧历史行人图像。对于获取的历史行人图像，可将历史行人图像中包括的至少部分行人，作为位于同一图像采集视场下需要参与进行行人轨迹预测的目标行人。
在本实施例中，可选地，可根据自动驾驶车速与车载图像采集设备的摄像头帧率的关系，对车载图像采集设备采集的历史行人图像进行采样处理，以剔除各帧历史行人图像中的相似图像，例如，可从采集的各帧历史行人图像中每隔5帧提取一帧历史行人图像，以实现将相似图像进行剔除。可选地，在对各帧历史行人图像进行采样剔除相似图像的过程中，可根据采集场景选择采样频率来对各帧历史行人图像进行下采样，用于剔除相似图像；例如，对于直道采集的历史行人图像，每隔n帧采样一帧；而，对于弯道采集的各帧历史行人图像，弯道的采样频率比直道低。
S220、基于多帧历史行人图像中目标行人的运动位置，确定至少两个目标行人的历史运动轨迹信息；以及确定至少两个目标行人的历史头部姿态信息。
在本实施例中，图3是本发明实施例中提供的一种行人轨迹预测的整体流程示意图。参见图3，在确定距离当前时刻的历史时间段内的至少两帧历史行人图像之后，可对获取的至少两帧历史行人图像中的每一帧历史行人图像进行头部姿态检测，得到每一帧历史行人图像中包括的各个目标行人的历史头部姿态角度信息，即可确定至少两个目标行人的历史头部姿态信息。同时，还可对获取的至少两帧历史行人图像中的每一帧历史行人图像进行行人检测跟踪，得到每一帧历史行人图像中包括的各个目标行人的历史行人轨迹坐标，即可确定至少两个目标行人的历史运动轨迹信息。
在本实施例的一种可选方案中，确定至少两个目标行人的历史头部姿态信息，可包括以下步骤A1-A2：
步骤A1、针对多帧历史行人图像中的每一帧历史行人图像，对历史行人图像进行人脸检测，确定历史行人图像中包括的目标行人的人脸图像。
步骤A2、基于目标行人的人脸图像进行头部姿态检测，得到目标行人的头部姿态角度，以获取至少两个目标行人的历史头部姿态信息。
在本实施例中，图4是本发明实施例中提供的一种头部姿态检测的整体流程示意图。参见图4，可基于PyramidBox网络对历史行人图像进行人脸检测，得到历史行人图像中目标行人的人脸检测框，通过扩充人脸检测框周围像素得到扩充之后带有背景信息的目标行人的人脸图像。进而，可将得到的目标行人的人脸图像输入到头部姿态检测网络，通过头部姿态检测网络对目标行人的人脸图像进行头部姿态检测，得到目标行人的历史头部姿态角度。其中，头部姿态检测网络是基于头部姿态估算网络FSA网络进行构建。这样，通过头部姿态检测网络对各目标行人的人脸图像进行头部姿态检测，就可得到各个目标行人的历史头部姿态角度。
示例性地，参见图4，将历史行人图像的图像尺寸调整到640*640，并将调整尺寸的历史行人图像输入到PyramidBox网络，得到人脸检测框，将人脸检测框扩充其周围像素点到80*80(车载摄像头因拍摄距离较远的人脸图像一般不会超过80*80)，处理之后的人脸图像输入头部姿态检测网络FSA，通过头部姿态检测网络FSA进行头部姿态检测，输出历史行人图像中包括目标行人的历史头部姿态角pitch,rool,yaw。
S230、将至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，联合输入到预先训练的行人轨迹预测模型；以及，将单个目标行人的历史运动轨迹信息与历史头部姿态信息，单独输入到行人轨迹预测模型。
S240、通过行人轨迹预测模型，确定单个目标行人在当前时刻后预设时间段的预测运动轨迹，以辅助进行自动驾驶。
本发明实施例中提供了一种行人轨迹预测方法，采用本申请方案，会融合行人在当前时刻的历史头部姿态信息和历史运动轨迹信息，来对行人在当前时刻后的轨迹进行预测，因为历史头部姿态信息和历史运动轨迹信息的融合，能反映行人在当前时刻的丰富运动细节信息，因此能大幅度提高行人轨迹的预测准确度，进而提高自动驾驶的安全性。
图5是本发明实施例中提供的又一种行人轨迹预测方法的流程图，本实施例在上述实施例的基础上对前述实施例进行进一步优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图5所示，本申请实施例中提供的行人轨迹预测方法，可包括以下步骤S510-S540：
S510、确定当前时刻在同一采集视角下至少两个目标行人的历史运动轨迹信息与历史头部姿态信息。
S520、将至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，联合输入到预先训练的行人轨迹预测模型；以及，将单个目标行人的历史运动轨迹信息与历史头部姿态信息，单独输入到行人轨迹预测模型。
S530、依据至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，通过行人轨迹预测模型中的主干网络得到目标行人交互特征；目标行人交互特征中融合有各个目标行人之间交互信息。
在本实施例中，参见图3，在多个行人进行行走时，行人自身的历史运动轨迹信息和历史头部姿态信息，会影响其将来的运动轨迹，同时行人之间的交互关系也会对影响其将来的运动轨迹。这里，在依据单个目标行人的历史运动轨迹和历史头部姿态信息进行轨迹预测时，会引入目标行人之间的交互性作为行人轨迹的辅助信息，以提高行人轨迹的预测准确性。为此，可在行人轨迹预测模型设置主干网络，通过主干网络对联合输入的各个目标行人的历史运动轨迹信息与历史头部姿态信息进行特征编码，再将编码之后的历史运动轨迹信息和历史头部姿态信息送入主干网络进行特征融合，以得到融合有各个目标行人之间交互信息的目标行人交互特征。
S540、依据目标行人交互特征以及单个目标行人的历史运动轨迹信息与历史头部姿态信息，通过行人轨迹预测模型中的分支网络，得到单个目标行人在当前时刻后预设时间段的预测运动轨迹，以辅助进行自动驾驶。
在本实施例中，参见图3，行人轨迹预测模型中还包括有用于对单个目标行人进行轨迹预测的分支网络。以目标行人交互特征以及单个目标行人的历史运动轨迹信息与历史头部姿态信息，作为行人轨迹预测模型中分支网络的输入信息，这样通过分支网络就能预测得到该单个目标行人在当前时刻后预设时间段的预测运动轨迹。
在本实施例中，行人轨迹预测模型可以包括多个分支网络，分支网络的数量可以与输入主干网络的目标行人的数量相同，这样可保证行人轨迹预测模型可并行对各个目标行人的运动轨迹进行预测。
在本实施例的一种可选方案中，通过行人轨迹预测模型中的主干网络得到目标行人交互特征，可包括以下步骤B1-B3：
步骤B1、采用主干网络中的全连接层子网络，分别对各个目标行人的历史运动轨迹信息与历史头部姿态信息分别进行编码，得到各个目标行人的历史运动轨迹编码特征与历史头部姿态编码特征。
在本实施例中，图6是本发明实施例中提供的一种行人轨迹预测模型的网络模型结构示意图。参见图6，在行人轨迹预测模型中的主干网络接收到联合输入的各个目标行人的历史运动轨迹信息与历史头部姿态信息之后，主干网络中的一层全连接层可分别对各个目标行人的历史运动轨迹信息进行编码，得到各个目标行人的历史运动轨迹编码特征。同时，主干网络中的一层全连接层还可分别对各个目标行人的历史头部姿态信息进行编码，得到各个目标行人的历史头部姿态编码特征。
步骤B2、将各个目标行人历史运动轨迹编码特征与历史头部姿态编码特征进行特征拼接，得到各个目标行人的编码特征拼接结果。
在本实施例中，参见图6，将属于同一个目标行人的历史运动轨迹编码特征与历史头部姿态编码特征携带相同的ID。针对每一个目标行人，将同一个目标行人的历史运动轨迹编码特征与历史头部姿态编码特征进行拼接，即可得到各个目标行人的编码特征拼接结果。其中，第i个目标行人的编码特征拼接结果可采用一个一维向量
Figure GDA0003705632760000121
表示。
步骤B3、依据各个目标行人的编码特征拼接结果，采用主干网络中的长短期记忆网络LSTM进行编码，得到目标行人交互特征。
在本实施例中，参见图6，可使用maxpooling方法处理当前时刻t所有目标行人的编码特征拼接结果
Figure GDA0003705632760000122
得到特征向量Vt，并使用长短期记忆网络LSTM网络对特征向量Vt进行编码，得到具有融合时空维度的具有各个目标行人之间交互信息的特征向量zt，即目标行人交互特征，并将目标行人交互特征作为行人轨迹预测模型中每个分支网络的输入。
采用本实施例的上述可选方案，可以从历史运动轨迹和历史头部姿态两个维度来得到各个目标行人之间的交互性，使得各个目标行人之间的交互性更符合实际情况，进而可以提高行人轨迹的预测精度。
在本实施例的一种可选方案中，通过行人轨迹预测模型中的分支网络得到单个目标行人在当前时刻后预设时间段的预测运动轨迹，可包括步骤C1-C3：
步骤C1、采用分支网络中的全连接层子网络，对单个目标行人的历史运动轨迹信息与历史头部姿态信息分别进行编码，得到单个目标行人的编码特征拼接结果。
在本实施例中，参见图6，在行人轨迹预测模型中的任一分支网络接收到单独输入的单个目标行人j的历史运动轨迹信息与历史头部姿态信息之后，分支网络中的一层全连接层可对该单个目标行人j的历史运动轨迹信息进行编码，得到该单个目标行人j的历史运动轨迹编码特征。同时，分支网络中的一层全连接层还可对该单个目标行人j的历史头部姿态信息进行编码，得到该单个目标行人j的历史头部姿态编码特征。进而，可将该单个目标行人j的历史头部姿态编码特征与该单个目标行人j的历史运动轨迹编码特征进行特征拼接，单个目标行人j的编码特征拼接结果，即特征向量
Figure GDA0003705632760000131
步骤C2、将目标行人交互特征与单个目标行人的编码特征拼接结果进行特征融合，得到单个目标行人的融合特征。
在本实施例中，参见图6，在行人轨迹预测模型中的分支网络，可将目标行人交互特征zt与单个目标行人j的编码特征拼接结果
Figure GDA0003705632760000132
进行点乘，以实现将目标行人交互特征与单个目标行人的编码特征拼接结果进行特征融合，得到单个目标行人j的融合特征
Figure GDA0003705632760000133
步骤C3、将单个目标行人的融合特征、单个目标行人在当前时刻相对上一时刻的行人位置变化信息以及单个目标行人在当前时刻相对上一时刻的头部姿态变化信息，输入到分支网络中的长短期记忆网络LSTM，获得单个目标行人的预测运动轨迹。
在本实施例中，参见图6，具体可将单个目标行人的融合特征
Figure GDA0003705632760000134
单个目标行人j在当前时刻行人坐标与前一时刻行人坐标的相对变化
Figure GDA0003705632760000135
单个目标行人j在当前时刻行人头部姿态与前一时刻行人头部姿态的变化
Figure GDA0003705632760000136
输入LSTM网络进行行人轨迹的预测，即可得到单个目标行人j在当前时刻后预设时间段的预测运动轨迹。
采用本实施例的上述可选方案，不仅结合行人头部姿态，以行人的真实世界坐标作为预测输入，来预测行人的未来真实轨迹，从而实现融合头部姿态进行行人轨迹预测，提高无人驾驶的安全性。同时，在对行人轨迹预测时，引入了行人之间的交互性，解决了无法考量行人之间交互性导致行人轨迹预测出现偏差的问题，进一步提高了预测精度。
本发明实施例中提供了一种行人轨迹预测方法，采用本申请方案，会融合行人在当前时刻的历史头部姿态信息和历史运动轨迹信息，来对行人在当前时刻后的轨迹进行预测，因为历史头部姿态信息和历史运动轨迹信息的融合，能反映行人在当前时刻的丰富运动细节信息，因此能大幅度提高行人轨迹的预测准确度，进而提高自动驾驶的安全性。
图7是本发明实施例中提供的一种行人轨迹预测装置的结构框图。本发明实施例可适用于在自动驾驶过程中对行人轨迹进行预测的情况。该装置可采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。该电子设备可为无人车以及机器人等自动驾驶设备。如图7所示，本申请实施例中提供的行人轨迹预测装置，可包括以下：信息确定模块710、信息输入模块720和轨迹预测模块730。其中：
信息确定模块710，用于确定当前时刻至少两个目标行人的历史运动轨迹信息与历史头部姿态信息；
信息输入模块720，用于将所述至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，联合输入到预先训练的行人轨迹预测模型；以及，将单个目标行人的历史运动轨迹信息与历史头部姿态信息，单独输入到所述行人轨迹预测模型；
轨迹预测模块730，用于通过所述行人轨迹预测模型，确定所述单个目标行人在当前时刻后预设时间段的预测运动轨迹，以辅助进行自动驾驶。
在上述实施例的基础上，可选地，信息确定模块710包括：
行人图像获取单元，用于获取在预设车载图像采集设备的采集视场下，距离当前时刻的历史时间段内的至少两帧历史行人图像；
历史信息确定单元，用于基于所述多帧历史行人图像中目标行人的运动位置，确定至少两个目标行人的历史运动轨迹信息；以及，确定至少两个目标行人的历史头部姿态信息。
在上述实施例的基础上，可选地，历史信息确定单元包括：
针对所述多帧历史行人图像中的每一帧历史行人图像，对所述历史行人图像进行人脸检测，确定所述目标行人的人脸图像；
基于所述目标行人的人脸图像进行头部姿态检测，得到所述目标行人的头部姿态角度，以获取至少两个目标行人的历史头部姿态信息。
在上述实施例的基础上，可选地，轨迹预测模块730包括：
交互信息确定单元，用于依据所述至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，通过所述行人轨迹预测模型中的主干网络得到目标行人交互特征；所述目标行人交互特征中融合有各个目标行人之间交互信息；
行人轨迹预测单元，用于依据所述目标行人交互特征以及单个目标行人的历史运动轨迹信息与历史头部姿态信息，通过所述行人轨迹预测模型中的分支网络得到所述单个目标行人的所述预测运动轨迹。
在上述实施例的基础上，可选地，交互信息确定单元包括：
采用所述主干网络中的全连接层子网络，分别对各个目标行人的历史运动轨迹信息与历史头部姿态信息分别进行编码，得到各个目标行人历史运动轨迹编码特征与历史头部姿态编码特征；
将各个目标行人历史运动轨迹编码特征与历史头部姿态编码特征进行特征拼接，得到各个目标行人的编码特征拼接结果；
依据各个目标行人的编码特征拼接结果，采用所述主干网络中的长短期记忆网络LSTM进行编码，得到所述目标行人交互特征。
在上述实施例的基础上，可选地，行人轨迹预测单元包括：
采用所述分支网络中的全连接层子网络，对所述单个目标行人的历史运动轨迹信息与历史头部姿态信息分别进行编码，得到单个目标行人的编码特征拼接结果；
将所述目标行人交互特征与所述单个目标行人的编码特征拼接结果进行特征融合，得到单个目标行人的融合特征；
将所述单个目标行人的融合特征、所述单个目标行人在当前时刻相对上一时刻的行人位置变化信息以及所述单个目标行人在当前时刻相对上一时刻的头部姿态变化信息，输入到所述分支网络中的长短期记忆网络LSTM，获得所述单个目标行人的所述预测运动轨迹。
本发明实施例中所提供的行人轨迹预测装置可执行上述本发明任意实施例中所提供的行人轨迹预测方法，具备执行该行人轨迹预测方法相应的功能和有益效果，详细过程参见前述实施例中行人轨迹预测方法的相关操作。
图8是本发明实施例中提供的一种电子设备的结构示意图。如图8所示结构，本发明实施例中提供的电子设备包括：一个或多个处理器810和存储装置820；该电子设备中的处理器810可以是一个或多个，图8中以一个处理器810为例；存储装置820用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器810执行，使得所述一个或多个处理器810实现如本发明实施例中任一项所述的行人轨迹预测方法。
该电子设备还可以包括：输入装置830和输出装置840。
该电子设备中的处理器810、存储装置820、输入装置830和输出装置840可以通过总线或其他方式连接，图8中以通过总线连接为例。
该电子设备中的存储装置820作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的行人轨迹预测方法对应的程序指令/模块。处理器810通过运行存储在存储装置820中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中行人轨迹预测方法。
存储装置820可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置820可进一步包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置830可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏等显示设备。
并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器810执行时，程序进行如下操作：
确定当前时刻至少两个目标行人的历史运动轨迹信息与历史头部姿态信息；
将所述至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，联合输入到预先训练的行人轨迹预测模型；以及，将单个目标行人的历史运动轨迹信息与历史头部姿态信息，单独输入到所述行人轨迹预测模型；
通过所述行人轨迹预测模型，确定所述单个目标行人在当前时刻后预设时间段的预测运动轨迹，以辅助进行自动驾驶。
当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器810执行时，程序还可以进行本发明任意实施例中所提供的行人轨迹预测方法中的相关操作。
本发明实施例中提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时用于执行行人轨迹预测方法，该方法包括：
确定当前时刻至少两个目标行人的历史运动轨迹信息与历史头部姿态信息；
将所述至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，联合输入到预先训练的行人轨迹预测模型；以及，将单个目标行人的历史运动轨迹信息与历史头部姿态信息，单独输入到所述行人轨迹预测模型；
通过所述行人轨迹预测模型，确定所述单个目标行人在当前时刻后预设时间段的预测运动轨迹，以辅助进行自动驾驶。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种行人轨迹预测方法，其特征在于，包括：
确定当前时刻至少两个目标行人的历史运动轨迹信息与历史头部姿态信息；
将所述至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，联合输入到预先训练的行人轨迹预测模型；以及，将单个目标行人的历史运动轨迹信息与历史头部姿态信息，单独输入到所述行人轨迹预测模型；
通过所述行人轨迹预测模型，确定所述单个目标行人在当前时刻后预设时间段的预测运动轨迹，以辅助进行自动驾驶；
通过所述行人轨迹预测模型，确定所述单个目标行人在当前时刻后预设时间段的预测运动轨迹，包括：
依据所述至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，通过所述行人轨迹预测模型中的主干网络得到目标行人交互特征；所述目标行人交互特征中融合有各个目标行人之间交互信息；
依据所述目标行人交互特征以及单个目标行人的历史运动轨迹信息与历史头部姿态信息，通过所述行人轨迹预测模型中的分支网络得到所述单个目标行人的所述预测运动轨迹。
2.根据权利要求1所述的方法，其特征在于，确定当前时刻至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，包括：
获取在预设车载图像采集设备的采集视场下，距离当前时刻的历史时间段内的至少两帧历史行人图像；
基于所述至少两帧历史行人图像中目标行人的运动位置，确定至少两个目标行人的历史运动轨迹信息；以及，确定至少两个目标行人的历史头部姿态信息。
3.根据权利要求2所述的方法，其特征在于，确定至少两个目标行人的历史头部姿态信息，包括：
针对所述至少两帧历史行人图像中的每一帧历史行人图像，对所述历史行人图像进行人脸检测，确定所述目标行人的人脸图像；
基于所述目标行人的人脸图像进行头部姿态检测，得到所述目标行人的头部姿态角度，以获取至少两个目标行人的历史头部姿态信息。
4.根据权利要求1所述的方法，其特征在于，通过所述行人轨迹预测模型中的主干网络得到目标行人交互特征，包括：
采用所述主干网络中的全连接层子网络，分别对各个目标行人的历史运动轨迹信息与历史头部姿态信息分别进行编码，得到各个目标行人历史运动轨迹编码特征与历史头部姿态编码特征；
将各个目标行人历史运动轨迹编码特征与历史头部姿态编码特征进行特征拼接，得到各个目标行人的编码特征拼接结果；
依据各个目标行人的编码特征拼接结果，采用所述主干网络中的长短期记忆网络LSTM进行编码，得到所述目标行人交互特征。
5.根据权利要求1所述的方法，其特征在于，通过所述行人轨迹预测模型中的分支网络得到所述单个目标行人的所述预测运动轨迹，包括：
采用所述分支网络中的全连接层子网络，对所述单个目标行人的历史运动轨迹信息与历史头部姿态信息分别进行编码，得到单个目标行人的编码特征拼接结果；
将所述目标行人交互特征与所述单个目标行人的编码特征拼接结果进行特征融合，得到单个目标行人的融合特征；
将所述单个目标行人的融合特征、所述单个目标行人在当前时刻相对上一时刻的行人位置变化信息以及所述单个目标行人在当前时刻相对上一时刻的头部姿态变化信息，输入到所述分支网络中的长短期记忆网络LSTM，获得所述单个目标行人的所述预测运动轨迹。
6.一种行人轨迹预测装置，其特征在于，包括：
信息确定模块，用于确定当前时刻至少两个目标行人的历史运动轨迹信息与历史头部姿态信息；
信息输入模块，用于将所述至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，联合输入到预先训练的行人轨迹预测模型；以及，将单个目标行人的历史运动轨迹信息与历史头部姿态信息，单独输入到所述行人轨迹预测模型；
轨迹预测模块，用于通过所述行人轨迹预测模型，确定所述单个目标行人在当前时刻后预设时间段的预测运动轨迹，以辅助进行自动驾驶；
轨迹预测模块包括：
交互信息确定单元，用于依据所述至少两个目标行人的历史运动轨迹信息与历史头部姿态信息，通过所述行人轨迹预测模型中的主干网络得到目标行人交互特征；所述目标行人交互特征中融合有各个目标行人之间交互信息；
行人轨迹预测单元，用于依据所述目标行人交互特征以及单个目标行人的历史运动轨迹信息与历史头部姿态信息，通过所述行人轨迹预测模型中的分支网络得到所述单个目标行人的所述预测运动轨迹。
7.一种电子设备，其特征在于，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现权利要求1-5中任一所述的行人轨迹预测方法。
8.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-5中任一所述的行人轨迹预测方法。
CN202010608431.1A 2020-06-29 2020-06-29 行人轨迹预测方法、装置、设备及介质 Active CN111797751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010608431.1A CN111797751B (zh) 2020-06-29 2020-06-29 行人轨迹预测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010608431.1A CN111797751B (zh) 2020-06-29 2020-06-29 行人轨迹预测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111797751A CN111797751A (zh) 2020-10-20
CN111797751B true CN111797751B (zh) 2023-01-06

Family

ID=72809576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010608431.1A Active CN111797751B (zh) 2020-06-29 2020-06-29 行人轨迹预测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111797751B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114426030B (zh) * 2020-10-29 2024-04-09 华为技术有限公司 一种行人穿行意图估计方法、装置、设备和汽车
CN114511999B (zh) * 2020-11-17 2023-09-01 宇通客车股份有限公司 一种行人行为预测方法及装置
CN112785075B (zh) * 2021-01-31 2022-11-25 江苏商贸职业学院 一种基于rfid定位的行人行为预测方法及系统
WO2022222034A1 (zh) * 2021-04-20 2022-10-27 深圳市锐明技术股份有限公司 行人运动轨迹的预测方法、装置、电子设备和存储介质
CN113077489B (zh) * 2021-04-21 2024-03-15 中国第一汽车股份有限公司 一种行人轨迹预测方法、装置、设备及储存介质
CN113177470B (zh) * 2021-04-28 2022-11-01 华中科技大学 行人轨迹预测方法、装置、设备及存储介质
CN113538763B (zh) * 2021-06-09 2023-10-27 青岛海信智慧生活科技股份有限公司 门禁打开方法、智能终端及服务器
CN114312829B (zh) * 2021-12-06 2024-04-23 广州文远知行科技有限公司 一种行人轨迹预测方法和装置、电子设备及存储介质
CN114821635A (zh) * 2022-03-31 2022-07-29 慧之安信息技术股份有限公司 基于深度学习的视图库布控报警方法
CN114758502B (zh) * 2022-04-29 2023-08-18 北京百度网讯科技有限公司 双车联合轨迹预测方法及装置、电子设备和自动驾驶车辆
CN115019206B (zh) * 2022-06-13 2023-02-03 北京拙河科技有限公司 一种飞机起落环境安全检测方法及系统
CN115273463A (zh) * 2022-07-04 2022-11-01 重庆长安汽车股份有限公司 行人目标横穿预测方法、装置、车辆及存储介质
CN115965944B (zh) * 2023-03-09 2023-05-09 安徽蔚来智驾科技有限公司 目标信息的检测方法、设备、驾驶设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102229146A (zh) * 2011-04-27 2011-11-02 北京工业大学 基于外骨骼人体姿态信息采集技术的遥控仿人机器人系统
CN110164183A (zh) * 2019-05-17 2019-08-23 武汉理工大学 一种在车车通信条件下考虑他车驾驶意图的安全辅助驾驶预警方法
CN111091591A (zh) * 2019-12-23 2020-05-01 百度国际科技（深圳）有限公司 一种碰撞检测方法、装置、电子设备及存储介质
WO2020127689A1 (de) * 2018-12-20 2020-06-25 Robert Bosch Gmbh VERFAHREN ZUM AUTOMATISIERTEN STEUERN EINES FAHRZEUGS AN EINEM FUßGÄNGERÜBERWEG, STEUERGERÄT

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10860023B2 (en) * 2018-06-25 2020-12-08 Mitsubishi Electric Research Laboratories, Inc. Systems and methods for safe decision making of autonomous vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102229146A (zh) * 2011-04-27 2011-11-02 北京工业大学 基于外骨骼人体姿态信息采集技术的遥控仿人机器人系统
WO2020127689A1 (de) * 2018-12-20 2020-06-25 Robert Bosch Gmbh VERFAHREN ZUM AUTOMATISIERTEN STEUERN EINES FAHRZEUGS AN EINEM FUßGÄNGERÜBERWEG, STEUERGERÄT
CN110164183A (zh) * 2019-05-17 2019-08-23 武汉理工大学 一种在车车通信条件下考虑他车驾驶意图的安全辅助驾驶预警方法
CN111091591A (zh) * 2019-12-23 2020-05-01 百度国际科技（深圳）有限公司 一种碰撞检测方法、装置、电子设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Andreas Møgelmose 等.Trajectory Analysis and Prediction for Improved Pedestrian Safety:Integrated Framework and Evaluations.《2015 IEEE Intelligent Vehicles Symposium (IV)》.2015, *
Multi-Modal Pedestrian Trajectory Prediction for Edge Agents Based on Spatial-Temporal Graph;XIANGYU ZOU 等;《Digital Object Identifier》;20200515;83321-83332 *
PyramidBox: A Context-assisted Single Shot Face Detector;Xu Tang 等;《https://arxiv.org/pdf/1803.07737.pdf》;20180817;1-21 *
空间机器人捕获运动目标的协调规划与控制方法;徐文福 等;《自动化学报》;20090930;第35卷(第9期);1216-1225 *
语音驱动虚拟说话人的自然头动生成;李冰锋 等;《第十二届全国人机语音通讯学术会议》;20131030;1-5 *

Also Published As

Publication number Publication date
CN111797751A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111797751B (zh) 行人轨迹预测方法、装置、设备及介质
EP3605394B1 (en) Method and apparatus for recognizing body movement
CN113506317B (zh) 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法
US20190042850A1 (en) Method and System for Detecting Actions in Videos using Contour Sequences
US11100646B2 (en) Future semantic segmentation prediction using 3D structure
CN111598951B (zh) 一种识别空间目标的方法、装置和存储介质
CN112056993B (zh) 一种清洁方法、装置、电子设备及计算机可读存储介质
CN109584299B (zh) 一种定位方法、定位装置、终端及存储介质
CN111988524A (zh) 一种无人机与摄像头协同避障方法、服务器及存储介质
CN112785628A (zh) 一种基于全景视角检测跟踪的轨迹预测方法及系统
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN113910224A (zh) 机器人跟随的方法、装置及电子设备
CN114071015B (zh) 一种联动抓拍路径的确定方法、装置、介质及设备
KR20210095925A (ko) 카메라 측위
CN111382695A (zh) 用于检测目标的边界点的方法和装置
CN114170556A (zh) 目标轨迹追踪方法及装置、存储介质、电子设备
CN114001736A (zh) 定位方法、定位装置、存储介质与电子设备
Shahbazi et al. Visual–inertial object tracking: Incorporating camera pose into motion models
CN112488069B (zh) 一种目标搜索方法和装置及设备
CN114445787A (zh) 非机动车重识别方法及相关设备
CN115311579A (zh) 一种弱对比度环境下无人机鲁棒检测方法、装置和设备
CN117389311B (zh) 无人机自主越障方法、装置、电子设备及存储介质
CN115290084B (zh) 基于弱尺度监督的视觉惯性组合定位方法和装置
CN115797412B (zh) 动态对象异常值并行检测方法、装置、系统、设备及介质
CN117765226B (zh) 一种轨迹预测方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant