CN114092751A - 一种轨迹预测方法和装置 - Google Patents

一种轨迹预测方法和装置 Download PDF

Info

Publication number
CN114092751A
CN114092751A CN202010658245.9A CN202010658245A CN114092751A CN 114092751 A CN114092751 A CN 114092751A CN 202010658245 A CN202010658245 A CN 202010658245A CN 114092751 A CN114092751 A CN 114092751A
Authority
CN
China
Prior art keywords
map
features
track
dimensional
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010658245.9A
Other languages
English (en)
Inventor
何皓
王乃岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusen Weilai Technology Co Ltd
Original Assignee
Beijing Tusen Weilai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusen Weilai Technology Co Ltd filed Critical Beijing Tusen Weilai Technology Co Ltd
Priority to CN202010658245.9A priority Critical patent/CN114092751A/zh
Priority to US17/369,787 priority patent/US20220011122A1/en
Priority to EP21184239.8A priority patent/EP3937079A1/en
Priority to AU2021240237A priority patent/AU2021240237A1/en
Priority to JP2021114281A priority patent/JP2022016419A/ja
Publication of CN114092751A publication Critical patent/CN114092751A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请公开一种轨迹预测方法和装置、存储介质和计算机程序，以解决已有技术中的轨迹预测方法存在的预测结果准确性低、可靠性低的问题。在运动主体在当前环境中执行运动的过程中，轨迹预测神经网络获取输入的当前轨迹数据、和当前环境的当前地图数据；将当前轨迹数据和当前地图数据表达为高维空间中的当前轨迹点集和当前地图点集；根据当前轨迹点集和当前地图点集提取得到全局场景特征，其中，全局场景特征具有当前环境的地图特征和轨迹特征；根据全局场景特征预测输出运动主体的多个预测轨迹点集以及每个预测轨迹点集对应的概率。

Description

一种轨迹预测方法和装置
技术领域
本申请涉及计算机技术领域，特别涉及一种轨迹预测方法和装置、存储介质和计算机程序。
背景技术
在人工智能得到研究和发展的基础上，很多技术领域结合人工智能得到了更广泛的应用和发展，例如机器人技术和无人驾驶技术。
在机器人领域和无人驾驶领域中，一个重要的环节就是轨迹预测。轨迹预测在很大程度上决定了无人驾驶系统的安全性能。以无人驾驶为例，在车辆行驶过程中，需要通过轨迹预测技术来实时地预测周围车辆在未来一段时间内的行驶轨迹，以便无人驾驶系统基于此预测结果做出安全的路径规划，从而避免碰撞发生。
发明内容
本申请实施例提供了一种轨迹预测方法和装置、存储介质和计算机程序，以解决已有技术中的轨迹预测方法存在的预测结果准确性低、可靠性低的问题。
根据本申请实施例的一个方面，提供了一种轨迹预测方法，包括：在运动主体在当前环境中执行运动的过程中，轨迹预测神经网络获取输入的当前轨迹数据、和当前环境的当前地图数据；其中，当前轨迹数据包括运动主体和当前环境中其它一个或多个运动物体在过去预定时间段内的多个轨迹点，每个轨迹点包括在一个对应时间点上的空间位置，当前地图数据包括在该预定时间段内当前环境中道路要素的多个地图点的空间位置；
将当前轨迹数据和当前地图数据表达为高维空间中的当前轨迹点集和当前地图点集，当前轨迹点集包括当前轨迹数据中每个轨迹点对应的高维轨迹点，当前地图点集包括当前地图数据中每个地图点对应的高维地图点；
根据当前轨迹点集和当前地图点集提取得到全局场景特征，其中，全局场景特征具有当前环境的地图特征和轨迹特征；
根据全局场景特征预测输出运动主体的多个预测轨迹点集以及每个预测轨迹点集对应的概率，每个预测轨迹点集均包括运动主体在未来预定时间段内多个时间点的空间位置。
根据本申请实施例的另一个方面，提供了一种轨迹预测装置，包括编码器和解码器；
编码器用于在运动主体在当前环境中执行运动的过程中，获取输入的当前轨迹数据、和当前环境的当前地图数据；其中，当前轨迹数据包括运动主体和当前环境中其它一个或多个运动物体在过去预定时间段内的多个轨迹点，每个轨迹点包括在一个对应时间点上的空间位置，当前地图数据包括在该预定时间段内当前环境中道路要素的多个地图点的空间位置；将当前轨迹数据和当前地图数据表达为高维空间中的当前轨迹点集和当前地图点集；根据当前轨迹点集和当前地图点集提取得到全局场景特征，其中，全局场景特征具有当前环境的地图特征和轨迹特征；
解码器用于根据全局场景特征预测输出运动主体的多个预测轨迹点集以及每个预测轨迹点集对应的概率，每个预测轨迹点集均包括运动主体在未来预定时间段内多个时间点的空间位置。
根据本申请实施例的另一个方面，提供了一种轨迹预测装置，包括至少一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，至少一个处理器执行至少一条机器可执行指令后执行如上所述的轨迹预测方法。
根据本申请实施例的另一个方面，提供了一种计算机程序，该计算机程序具有被配置用于执行以下轨迹预测处理的代码段，该处理包括如上所述的轨迹预测方法。
根据本申请实施例的另一个方面，提供了一种非易失性存储介质，该存储介质中存储有用于轨迹预测处理的计算机程序，该处理包括如上所述的轨迹预测方法。
根据本申请实施例提供的轨迹预测方法，能够在运动主体执行运动的实时过程中，将实时获取的当前轨迹数据和当前地图数据表达为高维空间中的当前轨迹点集和当前地图点集，根据当前轨迹点集和当前地图点集获取得到全局场景特征，全局场景特征具有当前环境的地图特征和轨迹特征，根据全局场景特征对运动主体在未来预定时间段内的轨迹进行预测。其中，将当前轨迹数据和当前地图数据表达为高维空间中的数据点集，能够获得同时具有时间特征和空间特征的数据点集；全局场景特征融合了当前环境的地图特征和轨迹特征，能够显著地提高特征提取的精度，进一步，基于高效和高精度的特征提取，能够显著提高轨迹预测结果的精度和准确性。
附图说明
附图用来提供对本申请的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请，并不构成对本申请的限制。
图1为本申请实施例提供的轨迹预测神经网络的训练方法的一种处理流程图；
图2a为本申请实施例提供的轨迹预测神经网络的一种结构示意图；
图2b为本申请实施例提供的轨迹预测神经网络的训练方法的另一种处理流程图；
图3为本申请实施例提供的轨迹预测神经网络的另一种结构示意图；
图4为图2b中步骤104a的处理过程流程图；
图5a为一个场景中的动态物体的示意图；
图5b为图5a所示场景中使用传统方法对动态物体的轨迹进行表达的示意图；
图5c为图5a所示场景中使用本申请实施例提供的方法对动态物体的轨迹进行表达的示意图；
图6为图2b中步骤106a的处理过程流程图；
图7a为图6中步骤1062a的处理过程流程图；
图7b为图7a中步骤621的处理过程流程图；
图8为一个示例中确定一个高维轨迹点的相邻高维地图点的示意图；
图9为一个示例中进行地图关系学习的传播示意图；
图10为图6中步骤1063a的处理过程流程图；
图11为本申请实施例提供的实时处理阶段中轨迹预测方法的一种处理流程图；
图12为图11中步骤1106的处理过程流程图；
图13为图12中步骤1062’的处理过程流程图；
图14为图12中步骤1063’的处理过程流程图；
图15为本申请实施例提供的轨迹预测神经网络的另一种结构示意图；
图16a为本申请实施例提供的轨迹预测神经网络的另一种结构示意图；
图16b为本申请实施例提供的轨迹预测神经网络的另一种结构示意图；
图17为本申请实施例提供的一次全局特征提取操作的一种流程图；
图18为本申请实施例提取的轨迹预测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
在机器人技术或者无人驾驶技术中，一个非常重要的技术就是，如何为机器人或者无人驾驶车辆做出安全可靠的路径规划。路径规划又依赖于准确有效地预测机器人或无人驾驶车辆所处环境中其它动态物体的运动轨迹。基于对动态物体运动轨迹准确有效的预测，才能对机器人或无人驾驶车辆做出安全可靠的路径规划。
在已有技术中，可以通过多种方法对物体的运动轨迹进行预测。
在一种基于历史轨迹数据的预测方法中，通过搭建神经网络，使用历史的轨迹数据对神经网络进行训练，得到可进行轨迹预测的神经网络。在这种方法中，神经网络执行的操作通常包括特征提取操作和预测操作，通过特征提取操作获得动态物体(例如车辆、摩托车、自行车或者行人)在过去一段时间内行驶轨迹的时间-空间特征(也即时空特征)，并通过预测操作基于已提取的时空特征预测车辆未来一段时间内的轨迹。特征提取操作通常先提取出多个时间点(或称为时间特征)，然后提取出每个时间点下各动态物体的空间特征，并将空间特征与时间特征相融合。
在上述特征提取操作中，空间特征提取是非常耗时的操作，这样的处理过程无法应用在实时的处理环境中。并且，不同时间点之间动态物体之间的空间联系或空间影响被抛弃了，导致特征提取操作无法模拟多个时间点之间的空间特征的复杂联系和影响。这样的预测过程只能带来不可靠的预测结果。进一步，该方法无法处理有噪声的输入数据。有噪声的输入数据通常是指某个动态物体的不完整的轨迹数据。该方法对于不完整的轨迹数据通常有两种处理，一种是删除该动态物体的全部轨迹数据，另一种是对不完整轨迹数据进行填充。这样的限制显然对预测结果的准确性和精度造成影响，并且使得上述方法无法应用在实时的应用环境中。
在另一种基于历史轨迹和道路信息的方法中，通常将环境中的高精度地图信息和不同的车辆的行驶轨迹用俯视视角的栅格化图像进行表示，将栅格化图像中的像素RGB值输入给神经网络，神经网络基于输入数据提取特征，并根据提取的特征进行轨迹预测。这种方法虽然能够保留轨迹信息和道路结构的信息，但是需要进行表示的场景面积较大，用图像表示会导致存储过量的冗余信息(例如，大量不存在车辆的地方都会对应到图像中的像素点)，进而导致后续神经网络的运算效率低的问题。
可见，已有技术中的轨迹预测方法存在预测操作耗时长、效率低、无法应用在实时处理环境中的问题，以及存在预测结果准确性低、可靠性低、效率低的问题。
有鉴于此，本申请实施例提供了一种轨迹预测方案，以解决部分或全部的上述问题。
本申请以无人驾驶技术为例，对本申请提供的轨迹预测方案进行说明。本领域技术人员可以理解的是，本申请提供的轨迹预测方案还可以应用在其他技术领域，例如机器人领域。
在本申请中，术语“车辆”在本申请中广泛地解释为包括任何移动物体，包括例如飞行器、船只、航天器、汽车、卡车、厢式货车、半挂车、摩托车、高尔夫球车、越野车辆、仓库运输车辆或农用车以及行驶在轨道上的运输工具，例如电车或火车以及其它有轨车辆。本申请中的“车辆”通常可以包括：动力系统、传感器系统、控制系统、外围设备和计算机系统。在其它实施例中，车辆可以包括更多、更少或者不同的系统。
其中，动力系统是为车辆提供动力运动的系统，包括：引擎/马达、变速器和车轮/轮胎、能源单元。
控制系统可以包括控制车辆及其组件的装置的组合，例如转向单元、节气门、制动单元等部件。
外围设备可以是允许车辆与外部传感器、其它车辆、外部计算设备和/或用户进行交互的设备，例如无线通信系统、触摸屏、麦克风和/或扬声器。
基于上述描述的车辆，无人驾驶车辆中还配置有传感器系统和无人驾驶控制装置。
传感器系统可以包括用于感测车辆所处环境的信息的多个传感器，以及改变传感器的位置和/或方向的一个或多个致动器。传感器系统可以包括全球定位系统传感器、惯性测量单元、无线电检测和测距(RADAR)单元、相机、激光测距仪、光检测和测距(LIDAR)单元和/或声学传感器等传感器的任何组合；传感器系统还可以包括监视车辆内部系统的传感器(例如O2监视器、燃油表、引擎温度计等)。
无人驾驶控制装置可以包括至少一个处理器和至少一个存储器。处理器可以包括中央处理器(CPU)和/或图像处理器(GPU)。存储器中存储有至少一条机器可执行指令，包括该至少一条机器可执行指令的程序产品可称为无人驾驶控制系统。无人驾驶控制系统可包括地图引擎、定位模块、感知模块、导航或路径模块、以及自动控制模块等多个模块，相应地处理器执行至少一条机器可执行指令可实现多种对应的功能，包括地图构建、定位、感知、导航或路径规划、以及车辆控制等功能。地图引擎和定位模块用于提供地图信息和定位信息。感知模块用于根据传感器系统获取到的信息和地图引擎提供的地图信息感知车辆所处环境的环境信息。导航或路径模块用于根据地图引擎、定位模块和感知模块的处理结果，为车辆规划行驶路径。自动控制模块将导航或路径模块等模块的决策信息输入解析转换成对车辆控制系统的控制命令输出，并通过车载网(例如通过CAN总线、局域互联网络、多媒体定向系统传输等方式实现的车辆内部电子网络系统)将控制命令发送给车辆控制系统中的对应部件，实现对车辆的自动控制；自动控制模块还可以通过车载网来获取车辆中各部件的信息。
在为车辆规划路径的过程中，需要通过轨迹预测技术来实时地预测周围的动态物体(例如车辆、摩托车、自行车或者行人)在未来一段时间内的行驶轨迹，以便无人驾驶系统基于此预测结果做出安全可靠的路径规划。
本申请实施例提供的一种基于学习的轨迹预测方案，该方案包括两个阶段，训练阶段和实时处理阶段。
在训练阶段，设置一个神经网络，该神经网络具有特定的网络结构，并具有初始的参数集。使用有监督的学习方法，训练神经网络根据历史的真实数据进行学习，在训练结果满足收敛条件的情况下，得到神经网络的参数集。该具有特定网络结构以及训练得到的参数集的神经网络，即为实现轨迹预测的神经网络，或称为轨迹预测神经网络。
在实时处理阶段，要对一个动态主体进行轨迹预测时，将动态主体和周围的动态物体的当前轨迹点集数据和当前环境的当前地图点集数据提供给轨迹预测神经网络，该神经网络对运动数据进行处理，并预测得出该动态主体的未来的多个轨迹点集、以及每个轨迹点集对应的概率。
下面通过多个实施例对本申请的技术方案进行说明。
训练得到轨迹预测神经网络
在训练阶段，构建一个神经网络，该神经网络可以包括多个网络层，并对该神经网络设置初始参数集。神经网络中的网络层的层数以及初始参数集可以根据应用场景的需要来进行具体设置。
本申请实施例中通过历史真实的第一轨迹数据和第二轨迹数据、以及历史地图数据对构建的神经网络进行训练。
在本申请的实施例中，第一轨迹数据和第二轨迹数据中包括运动主体以及周围一个或多个运动物体的多个轨迹点，每个轨迹点包括在一个对应时间点上的空间位置。该空间位置可以是二维位置、三维位置或者高维位置。例如，车辆在较为平坦的路面行驶的过程中，路面高程变化的幅度很小，高程信息可以被忽略，轨迹数据中可以只包括运动主体和运动物体的二维位置。在其他领域中，例如对于特殊用途的机器人，在运动过程中，可能存在较大幅度的高程变化，轨迹数据中可以包括运动主体和运动物体的三维位置。在其它的应用场景中，当存在或需要考虑其它维度的位置信息时，轨迹数据中还可以包括高维位置数据。为了简洁和方便起见，在本申请中均以二维位置为例进行解释和说明。本领域技术人员可以理解的是，当空间位置为三维位置或高维位置时，可以对三维位置或者高维位置进行相应的位置转换、坐标转换等处理，或者根据具体应用场景的需求进行相应的位置处理和坐标处理。
在本申请的实施例中，第一轨迹数据和第二轨迹数据是时间前后相邻的数据集，例如第一轨迹数据是第i个时间段的数据集，第二轨迹数据是第i+1个时间段的数据集。第i个时间段的时长为m，第i+1个时间段的时长为n，在一些实施例中，m与n可以是相等的，例如均包括3秒时长，在另一些实施例中，m与n也可以是不相等的，例如第i个时间段的时长为3秒，第i+1个时间段的时长为2秒。在第i个时间段中根据频率u得到多个时间点，在第i+1个时间段中根据频率v得到多个时间点，u和v可以是相等的，也可以是不相等的。
历史地图数据包括第一轨迹数据对应的时间段内(例如第i个时间段)运动主体所在环境中道路要素的多个地图点的空间位置。历史地图数据可以来自于车辆行驶过程中的高精度地图。道路要素可以是车道线、人行道、道路边缘、匝道、交叉路口、转盘等要素。本申请中对车道线等道路要素按照预定距离进行抽样，得到一系列的地图点，每个地图点记录有该点的空间位置。与上述轨迹点的空间位置相对应，地图点的空间位置也可以是二维位置、三维位置或者高维位置。
图1中示出了本申请实施例提供的轨迹预测神经网络的训练方法的处理流程，该训练处理包括多次迭代训练，一次迭代训练包括下列处理。
步骤102、将历史的第一轨迹数据和历史地图数据作为输入提供给神经网络。
步骤104、神经网络将第一轨迹数据和历史地图数据表达为高维空间中的第一轨迹点集和历史地图点集；
步骤106、根据第一轨迹点集、历史地图点集提取得到全局场景特征；其中，全局场景特征具有当前环境的地图特征和轨迹特征；
步骤108、根据全局场景特征预测输出运动主体的多个轨迹点集以及每个轨迹点集对应的概率，每个轨迹点集均包括运动主体在未来预定时间段内多个时间点的空间位置；
步骤110、对于输出的每一个轨迹点集，将该输出的轨迹点集和第二轨迹数据作为损失函数的输入，得到一个对应的损失函数的输出；
步骤112、判断全部损失函数的输出是否满足预设的收敛条件，在判断满足收敛条件的情况下，处理进行到步骤116，在判断不满足收敛条件的情况下，处理返回到步骤114；
步骤114、调整神经网络的参数，处理返回步骤102；
步骤116、确定训练完成、并获得训练完成的神经网络的参数集。
下面通过一个示例性实施例对图1所示的处理过程进行说明。
假设运动主体与运动物体的数量为N，第一轨迹数据中包括T个时间点，
Figure BDA0002577538470000091
表示运动主体或者运动物体n在时间点t的二维位置，t∈{1，…，T}，R2为二维空间的表示。运动主体或者一个运动物体n的轨迹数据可表示为Xn＝{Hn，Fn}，其中
Figure BDA0002577538470000092
表示该物体在过去时间点1到观察时间点T的历史位置，
Figure BDA0002577538470000093
表示该物体在未来的时间点T+1到时间点T+s的未来位置。Hn可以看作是第一轨迹点集，Fn可以看作是第二轨迹点集。
假设历史地图点集中包括
Figure BDA0002577538470000101
段车道线，第一轨迹数据对应的时间段为时间点1到观察时间点T，该段时间中第
Figure BDA0002577538470000102
段车道线的地图数据为
Figure BDA0002577538470000103
Figure BDA0002577538470000104
Figure BDA0002577538470000105
表示第
Figure BDA0002577538470000106
段车道线包括的
Figure BDA0002577538470000107
个抽样地图点的地图位置，
Figure BDA0002577538470000108
表示第
Figure BDA0002577538470000109
段车道线中抽样地图点
Figure BDA00025775384700001010
的地图位置。
轨迹预测的目的是通过
Figure BDA00025775384700001011
和地图数据
Figure BDA00025775384700001012
预测得到多模态分布的预测轨迹点集，该多模态分布的预测轨迹点集能够与
Figure BDA00025775384700001013
形成最佳匹配。
在该示例性实施例中，如图2a所示，神经网络的结构根据实现的功能可以包括编码器1和解码器2。在该示例性实施例中对神经网络的训练处理包括如图2b所示的过程：
步骤102a、将历史的第一轨迹数据和历史地图数据作为输入提供给编码器1。
步骤104a、编码器1将第一轨迹数据和历史地图数据表达为高维空间中的第一轨迹点集和历史地图点集；
步骤106a、编码器1根据第一轨迹点集和历史地图点集提取得到全局场景特征；其中，全局场景特征具有运动主体所在环境的地图特征和轨迹特征。
步骤108a、解码器2根据全局场景特征预测输出运动主体的多个轨迹点集以及每个轨迹点集对应的概率，每个轨迹点集均包括运动主体在未来预定时间段内多个时间点的空间位置。
步骤110、对于输出的每一个轨迹点集，将该输出的轨迹点集和第二轨迹点集作为损失函数的输入，得到一个对应的损失函数的输出；
步骤112、判断全部损失函数的输出是否满足预设的收敛条件，在判断满足收敛条件的情况下，处理进行到步骤116，在判断不满足收敛条件的情况下，处理返回到步骤114；
步骤114、调整神经网络的参数，处理返回步骤102a；
步骤116、确定训练完成、并获得训练完成的神经网络的参数集。
下面通过一些实施例中神经网络的结构设置，来说明上述步骤104a～108a的处理过程。
在一些实施例中，如图3所示，可以在编码器1中设置输入表示层11来实施步骤104a。如图4所示，步骤104a可以实施为如下的处理过程：
步骤1041a、输入表示层11用预定的无序的轨迹数据格式对第一轨迹数据进行表达，得到无序的第一轨迹点集；
步骤1042a、用预定的无序的地图数据格式对历史地图数据进行表达，得到无序的历史地图点集。
在步骤1041a中，预设的轨迹数据格式可以根据具体应用场景的需要而进行具体设置。在一个示例中，出于简洁和可扩展性考虑，可以使用如下公式(1)所示的轨迹数据格式对第一轨迹数据进行表示。
Figure BDA0002577538470000111
其中，n∈{1，…，N}为运动主体以及一个或多个运动物体，t∈{1，…，T}为多个时间点，
Figure BDA0002577538470000112
为物体n在时间t的二维位置(也即一个轨迹点)。
Figure BDA0002577538470000113
为物体n在时间t的空间位置
Figure BDA0002577538470000114
映射在高维空间中的一个对应点，P为映射在高维空间中的第一轨迹点集。
在步骤1042a中，使用如下的公式(2)所示的地图数据格式对历史地图点集进行表示。
Figure BDA0002577538470000115
其中，
Figure BDA0002577538470000116
为第
Figure BDA0002577538470000117
段车道线中抽样地图点
Figure BDA0002577538470000118
的地图位置，第
Figure BDA0002577538470000119
段车道线中包括
Figure BDA00025775384700001110
个抽样地图点，该历史地图点集中包括
Figure BDA00025775384700001111
段车道线。
Figure BDA00025775384700001112
为一个抽样地图点
Figure BDA00025775384700001113
映射在高维空间中的一个对应点，M为映射在高维空间中的历史地图点集。
在一个示例性场景中，输入表示层11使用公式(1)将第一轨迹数据中的数据映射到高维空间(例如时空坐标系)。在该场景中，如图5a所示，其中动态物体包括两个车辆、一个自行车和一个行人。图5b示出了用传统的表示方法对该场景中的动态物体的轨迹进行表达的情况，也即在二维空间坐标系中表达出物体的二维位置。在该二维空间坐标系中，每个数据点只具有空间特征。图5c示出了用本申请实施例提供的数据表达方法将该场景的第一轨迹点集表达在时空坐标系中的情况。在该坐标系中，x轴和y轴表示二维空间坐标轴，z轴是时间轴，该坐标系中的每个数据点同时具有时间特征和空间特征。
通过使用预定的无序的可扩展的数据格式对第一轨迹数据进行表达，可以将运动主体和运动物体的按时间顺序发生的位置数据映射到时空坐标系中，也即将有序的数据映射为离散的无序的点集。表达在时空坐标系中的高维第一轨迹点集不随第一轨迹数据的表达方式或表达顺序的改变而改变，并且不会由于一个物体存在缺失数据而导致该物体的数据无法表达。可见，通过将第一轨迹数据映射到高维空间中，可以克服已有技术中当输入数据存在噪声时需要额外处理的问题，能够提高处理存在缺失的输入数据的鲁棒性。
并且，通过预定的数据格式能够将第一轨迹数据中的全部数据统一表达在同一个高维空间(例如时空坐标系)中，将时间特征和空间特征统一到同一个表达中，使得后续的特征抽取处理能够抽取得到统一的、融合的时间特征和空间特征。
输入表示层11通过使用预定的无序的数据格式也即公式(2)对历史地图数据进行表达，能够将道路要素表达为高维空间(例如时空坐标系)中的离散的无序的点集。表达在时空坐标系中的地图点集不随道路数据的表达方式或者表达顺序的改变而改变，也不会由于道路要素中缺失数据而导致道路要素无法表达。
另一方面，通过将运动主体和运动物体的轨迹数据、以及道路要素的地图数据表达为高维空间中离散、无序的高维数据点集，相比于已有技术中通过栅格化图像表示高精度地图信息和不同的车辆的行驶轨迹，并将栅格化图像中的像素RGB值输入给神经网络提取特征，能够显著地减少神经网络处理的数据量，提高神经网络的处理速度和处理效率。
在一些实施例中，如图3所示，可以在编码器1中设置嵌入层12、关系学习层13、全局特征提取层14和特征输出层15来实施步骤106a。如图6所示，步骤106a可以实施为如下的处理过程：
步骤1061a、嵌入层12将第一轨迹点集嵌入到预定的高维空间中得到高维轨迹点特征；将历史地图点集嵌入到预定的高维空间中得到高维地图点特征。
嵌入操作的目的是将高维空间的高维轨迹点
Figure BDA0002577538470000131
映射为隐藏的轨迹特征
Figure BDA0002577538470000132
该轨迹特征能够统一数据的时间特征和空间特征。在一些实施例中，嵌入层12可以通过多层感知机(Multilayer Perceptron，MLP)来实现。MLP可以包括全连接的多层网络，网络中神经元的激活函数可以是ReLU激活函数。进一步，还可以在嵌入层的每一层之后设置一个批量归一化层(Batch Normalization，BN)。
为了方便说明，可通过下列公式(3)来表示将第一轨迹点集嵌入(或映射)到高维空间的操作。其中，MLPp为多层感知机。
Figure BDA0002577538470000133
同理，对历史地图点集的嵌入原理类似，可以通过下列公式(4)来将高维地图点
Figure BDA0002577538470000134
映射为地图特征
Figure BDA0002577538470000135
其中，MLPm为多层感知机。
Figure BDA0002577538470000136
嵌入操作将高维的第一轨迹点集和高维的历史地图点集嵌入到由多维度构成的高维空间，每一维度中的数据均包括时间特征和空间特征。
步骤1062a、关系学习层13根据第一轨迹点集、历史地图点集、高维轨迹点特征和高维地图点特征获取得到局部场景特征；该局部场景特征是具有局部地图信息的高维轨迹点特征；
在一个示例中，如图7a所示，步骤1062a可以实施为如下的处理过程：
步骤621、关系学习层13根据第一轨迹点集和历史地图点集确定得到每个高维轨迹点与该高维轨迹点周围预定多个高维地图点之间的多个地图空间关系；
在一个示例中，关系学习层13中可以设置进行计算处理的网络来实施步骤621，如图7b所示，步骤621的实施过程可以包括：
步骤S1、确定得到与一个高维轨迹点的欧式距离在预设的距离阈值内的预定数量的多个高维地图点。
在一个示例中，图8所示，(a)部分表示第一轨迹数据中的轨迹点、以及历史地图数据中的地图点，通过输入表示层11对第一轨迹数据和历史地图数据进行表示后，得到如(b)部分所示的高维轨迹点和高维地图点，通过步骤S1确定得到与一个高维轨迹点相邻的多个高维地图点，如(c)部分所示。
图9通过一个直观的表达来表示这种关联。在一个高维轨迹点
Figure BDA0002577538470000141
的预设距离内，具有四个邻近的高维地图点：
Figure BDA0002577538470000142
高维地图点指向高维轨迹点的箭头表示使用关系学习传播局部地图特征到轨迹特征、得到相对空间关系的过程，也即如下的步骤S2。
步骤S2、分别确定该高维轨迹点与该多个高维地图点中每个高维地图点之间的相对空间关系，一个相对空间关系包括该高维轨迹点和一个高维地图点的绝对位置和相对位置、以及该轨迹点和该地图点之间的相对距离和相对方向。
其中，
Figure BDA0002577538470000143
是高维轨迹点的绝对位置，
Figure BDA0002577538470000144
是高维地图点的绝对位置，
Figure BDA0002577538470000145
Figure BDA0002577538470000146
是高维轨迹点和高维地图点之间的相对位置，
Figure BDA0002577538470000147
是高维轨迹点与高维地图点之间的相对距离，
Figure BDA0002577538470000148
是高维轨迹点与高维地图点之间的相对方向，
Figure BDA0002577538470000149
Figure BDA00025775384700001410
是运动主体或运动物体n在时间点t上的速度。
一个高维轨迹点与一个高维地图点之间的相对空间关系
Figure BDA00025775384700001411
可以表示为如下的公式(5)：
Figure BDA00025775384700001412
步骤623、将一个高维轨迹点对应的每个相对空间关系分别嵌入到高维空间中得到高维地图空间关系，将每个高维地图空间关系与对应的高维地图点特征进行点乘得到一个加权地图特征；对该高维轨迹点的多个加权地图特征进行最大化处理、选取得到最大加权地图特征；
其中，将一个高维轨迹点对应的多个相对空间关系均嵌入到高维空间中，该操作可以参考上述公式(3)或(4)的嵌入操作，可以在关系学习层13中设置嵌入层(例如多层感知机MLP)来执行该嵌入操作。嵌入操作后可以得到多个高维地图空间关系，将多个高维地图空间关系分别与该高维轨迹点进行点乘之后得到多个点乘结果，也即多个加权地图特征，可以在关系学习层13中设置实现点乘计算的网络层来执行点乘操作。对这多个点乘结果进行最大化处理后可以得到最大加权地图特征，可以在关系学习层13中设置池化层(例如最大池化层或者平均池化层)来实现最大化处理。
步骤625、将最大加权地图特征与该高维轨迹点对应的高维轨迹点特征相加得到一个局部场景特征。
步骤623和步骤625的处理过程可以通过公式(6)来表示。
Figure BDA0002577538470000151
其中，
Figure BDA0002577538470000152
为局部场景特征，符号A表示最大化处理，MLPe为对相对空间关系进行嵌入处理，
Figure BDA0002577538470000153
为高维地图点特征，k为与一个轨迹点的欧式距离在预设的距离阈值内的地图点的预定个数。
通过如图7a的处理，可以将一个高维轨迹点周围多个高维地图点的地图信息传播到该高维轨迹点上，也即将一个高维轨迹点周围的局部地图信息传播到该高维轨迹点上，得到具有局部地图信息以及轨迹点的时空信息的局部场景特征。局部场景特征为后续得到精确度更高的预测轨迹点集提供数据基础。
步骤1063a、全局特征提取层14对局部场景特征和高维地图点特征分别执行全局特征提取操作，提取得到全局轨迹特征和全局地图特征。
在一个实施例中，如图10所示，步骤1063a可以实施为如下处理过程：
步骤631、对局部场景特征中的每个特征提取特征，并对提取的特征进行最大化处理、将选取得到的最大特征作为全局轨迹特征；
步骤633、对高维地图点特征中的每个特征提取特征，对提取的特征进行最大化处理、将选取得到的最大特征作为全局地图特征。
在得到了局部场景特征和高维地图点特征后，需要对数据的不同排列保持不变性。特征提取层对高维空间包括的各个维度的数据进行特征提取，得到包括融合了时间特征和空间特征的全局地图特征，以及融合了局部地图特征的全局轨迹特征；全局特征包括多维特征，每一维对应特征空间的一部分也即表达时空特征中的一部分。
在一些实施例中，全局特征提取层14可以包括一个池化层，通过一个池化层依次提取全局轨迹特征和全局地图特征，也可以包括两个并列的池化层，通过这两个池化层分别提取全局轨迹特征和全局地图特征。
步骤1064a、特征输出层15根据全局轨迹特征和全局地图特征确定得到全局场景特征。
其中，特征输出层15将全局轨迹特征和全局地图特征相加得到全局场景特征。该全局场景特征中包括全局地图特征和全局轨迹特征，为后续得到精确度更高的预测轨迹点集提供数据基础。
在解码器1确定得到全局场景特征之后，解码器2可以根据全局场景特征进行预测处理。
在一些实施例中，如3所示，可以在解码器2中设置多头解码器21和概率确定层22。
多头解码器21可以包括多个子解码器，子解码器可以是循环神经网络或者多层感知机。循环神经网络包括长短期记忆网络(Long-Short Term Memory，LSTM)或者门控循环单元GRU。在其他的一些实施例中，还可以选择随机解码器(Stochastic Decoder)。
每个子解码器具有特定的初始参数集，根据全局场景特征预测得到一个预测轨迹点集，则多头解码器21输出多个预测轨迹点集。
概率确定层22针对每个预测轨迹点集确定得到一个对应的概率。概率确定层22可以是一个分类器。
在上述步骤110中，对于输出的每一个轨迹点集，将该输出的轨迹点集和第二轨迹点集作为损失函数的输入，得到一个对应的损失函数的输出。
损失函数可以是高斯分布的负对数似然(Negative Log likelihood，NLL)函数。
通过上述的训练，可以得到神经网络的参数集，该具有训练得到的参数集、且具有特定结构的神经网络即为轨迹预测神经网络。通过该轨迹预测神经网络，能够在实时处理阶段，对输入的当前轨迹点集和当前地图点集进行处理，预测得到未来时间段的多个预测轨迹点集以及每个预测轨迹点集对应的概率。
通过上述训练过程，通过将历史的第一轨迹数据映射为高维空间中的第一轨迹点集、将历史地图数据映射为高维空间中的历史地图点集，将有序的轨迹数据转变为无序的数据点，能够克服数据噪声带来的后续影响，提高数据处理的鲁棒性；通过端到端的学习方式实现对轨迹数据和地图数据的特征提取，能够显著地提高特征提取操作的速度和效率，更好地满足应用场景的实时性需求；提取得到的全局场景特征具有全局轨迹特征和全局地图特征，全局轨迹特征融合了局部地图特征和轨迹特征，轨迹特征同时具有时间特征和空间特征；基于全局场景特征预测得到的预测轨迹点集，能够显著提高轨迹预测结果的精度和准确性。
实时处理阶段的轨迹预测
与图1所示的处理相对应，图11示出了在实时处理阶段通过轨迹预测神经网络对物体的运动轨迹进行预测的处理过程。
步骤1102、在运动主体在当前环境中执行运动的过程中，轨迹预测神经网络获取输入的当前轨迹数据、和当前环境的当前地图数据；其中，当前轨迹数据包括运动主体和当前环境中其它一个或多个运动物体在过去预定时间段内的多个轨迹点，每个轨迹点包括在一个对应时间点上的空间位置，当前地图数据包括在该预定时间段内当前环境中道路要素的多个地图点的空间位置；
步骤1104、将当前轨迹数据和当前地图数据表达为高维空间中的当前轨迹点集和当前地图点集，当前轨迹点集包括当前轨迹数据中每个轨迹点对应的高维轨迹点，当前地图点集包括当前地图数据中每个地图点对应的高维地图点；
步骤1106、根据当前轨迹点集和当前地图点集提取得到全局场景特征，其中，全局场景特征具有当前环境的地图特征和轨迹特征；
步骤1108、根据全局场景特征预测输出运动主体的多个预测轨迹点集以及每个预测轨迹点集对应的概率，每个预测轨迹点集均包括运动主体在未来预定时间段内多个时间点的空间位置。
下面通过一个示例性实施例对图11所示处理进行说明，在该示例中神经网络可以是如图3所示的神经网络。该神经网络中包括编码器1和解码器2。编码器1中包括输入表示层11、嵌入层12、关系学习层13、全局特征提取层14和特征输出层15。解码器2中包括多头解码器21和概率确定层22。
在上述步骤1102中，输入给轨迹预测神经网络的当前轨迹数据可以来自于上游模块，例如感知模块。感知模块从感知数据中选择出当前轨迹数据，并将当前轨迹数据提供给轨迹预测神经网络的编码器1。输入该轨迹预测神经网络的当前地图数据，可以是来自上游地图模块的高精度地图数据。
当前轨迹数据的设置可以具有与上述第一轨迹数据相同的设置，当前地图数据的设置可以具有与上述当前地图数据相同的设置。
上述步骤1104可以通过如图3所示的输入表示层11来执行步骤1104。
在该示例中，输入表示层11用预定的无序的轨迹数据格式对当前轨迹数据进行表达，得到映射在高维空间的无序的当前轨迹点集，轨迹数据格式可以是上述公式(1)所示的格式，当前轨迹点集包括当前轨迹数据中每个轨迹点对应的高维轨迹点；用预定的无序的地图数据格式对当前地图数据进行表达，得到映射在高维空间的无序的当前地图点集，地图数据格式可以是上述公式(2)所示的格式，当前地图点集包括当前地图数据中每个地图点对应的高维地图点。
步骤1104的具体处理过程可以参照上述步骤104a、公式(1)和公式(2)以及图4的处理。
在该示例中，上述步骤1106可以通过如图3所示的嵌入层12、关系学习层13、全局特征提取层14和特征输出层15，以及参考图6所示的处理来执行。如图12所示，步骤1106可以包括：
步骤1061’、嵌入层12将当前轨迹点集嵌入到预定的高维空间中得到高维轨迹点特征，将当前地图点集嵌入到预定的高维空间中得到高维地图点特征。嵌入层12的具体操作可以使用上述公式(3)和公式(4)、参照上述的步骤1061a的处理来实现。
步骤1062’、关系学习层13根据当前轨迹点集、当前地图点集、高维轨迹点特征和高维地图点特征获取得到局部场景特征，该局部场景特征是具有局部地图信息的高维轨迹点特征。关系学习层13的具体操作可以参考上述步骤1062a的处理来实现。
步骤1063’、全局特征提取层14对对局部场景特征和高维地图点特征分别执行全局特征提取操作，提取得到全局轨迹特征和全局地图特征。全局特征提取层14的具体操作可以参考上述步骤1063a来实现。
步骤1064’、特征输出层15根据全局轨迹特征和全局地图特征确定得到全局场景特征。特征输出层15的具体操作可以参考上述步骤1064a来实现。
示例性地，参考图7a和上述的步骤1062a，如图13所示，步骤1062’中关系学习层13的处理可以包括：
步骤621’、根据当前轨迹点集和当前地图点集确定得到每个高维轨迹点与该高维轨迹点周围预定多个高维地图点之间的多个相对空间关系；该处理可以参考图7b和上述步骤621的处理，包括：确定得到与一个高维轨迹点的欧式距离在预设的距离阈值内的预定数量的多个高维地图点；分别确定该高维轨迹点与该多个高维地图点中每个高维地图点之间的相对空间关系，一个相对空间关系包括该高维轨迹点和一个高维地图点的绝对位置和相对位置、以及该轨迹点和该地图点之间的相对距离和相对方向。相对空间关系的表达可以参考上述公式(5)。
步骤623’、将一个高维轨迹点对应的每个地图空间关系分别嵌入到高维空间中得到高维地图空间关系，将每个高维地图空间关系与对应的高维地图点特征进行点乘得到一个加权地图特征；对该高维轨迹点的多个加权地图特征进行最大化处理、选取得到最大加权地图特征；
步骤625’、将最大加权地图特征与该高维轨迹点对应的高维轨迹点特征相加得到一个局部场景特征。
步骤623’和步骤625’的操作可以参照上述步骤623和步骤625来实现。
一个高维轨迹点对应的局部场景特征可以使用上述公式(6)来表示。当前轨迹点集中的多个高维轨迹点，可以得到对应的多个局部场景特征。
示例性地，参考图10和上述步骤1063a，如图14所示，步骤1063’中全局特征提取层14的处理包括：
步骤631’、对局部场景特征中的每个特征提取特征，并对提取的特征进行最大化处理、将选取得到的最大特征作为全局轨迹特征；
步骤633’、对高维地图点特征中的每个特征提取特征，对提取的特征进行最大化处理、将选取得到的最大特征作为全局地图特征。
示例性地，参考上述步骤1064a，特征输出层15的处理可以包括：将全局轨迹特征和全局地图特征相加得到全局场景特征。
通过上述处理，将当前轨迹数据映射为高维空间中的当前轨迹点集、将当前地图数据映射为高维空间中的当前地图点集，将有序的轨迹数据转变为无序的数据点，能够克服数据噪声带来的后续影响，提高数据处理的鲁棒性；通过端到端的处理方式实现对轨迹数据和地图数据的特征提取，能够显著地提高特征提取操作的速度和效率，更好地满足应用场景的实时性需求；提取得到的全局场景特征具有全局轨迹特征和全局地图特征，全局轨迹特征融合了局部地图特征和轨迹特征，轨迹特征同时具有时间特征和空间特征，全局场景特征能够为轨迹预测提供准确有效的数据基础。
在该示例中，步骤1108的处理中，解码器21中的多头解码器21输出多个预测轨迹点集，概率确定层22针对每个预测轨迹点集确定一个对应的概率。
解码器2基于更为准确有效的全局场景特征能够预测得到精度更高、准确率更高的轨迹点集。
在其他的一些实施例中，基于上述任意一个实施例，还可以对第一轨迹数据、第二轨迹数据、当前轨迹数据中的数据项进行划分和扩展，将数据项划分为轨迹数据和属性数据。相应地，对输入表示层11使用的轨迹数据格式进行对应扩展。
在一个示例中，轨迹数据中可以包括物体在一个预定时间段中多个时间点的空间位置和速度。在这种情况下，基于预定数据格式的可扩展性，可以使用公式(7)对轨迹数据格式进行定义。
Figure BDA0002577538470000211
其中，
Figure BDA0002577538470000212
是物体在时间t的速度。
通过实验和测试结果表明，在轨迹数据中增加速度数据，能够进一步提高轨迹预测结果的精度。
在另一个示例性实施例中，轨迹点集中可以包括轨迹数据和属性数据。属性数据可以包括物体的类别数据，例如该物体是行人、自行车或车辆。在具体的应用场景中，物体的类别数据还可以是其它的属性，例如车辆的属性包括厢式货车、牵引车、半挂车等情形；还可以增加车灯的属性项，例如车前灯属性数据或车尾灯属性数据，通过车灯属性数据标识车灯是否开启；还可以增加。在这种情况下，可以用公式(8)进行轨迹数据格式定义。
Figure BDA0002577538470000213
其中，
Figure BDA0002577538470000214
表示物体的类别，该类别的值可以是预先设定的，例如车辆为1、行人为2、自行车为3。公式(8)中示例性地扩展了一项属性数据，根据具体应用场景的需求，还可以扩展多项属性数据。
属性数据中还可以包括物体的标识数据，例如物体是运动主体或者是周围的运动物体。在这种情况下，可以用公式(9)进行轨迹数据格式定义。
Figure BDA0002577538470000215
其中，id标识物体为运动主体或者周围的运动物体，例如该数据的值为1时表示物体n为运动主体，值为0时表示物体n为周围的运动物体。
由于预定的可扩展的数据格式可以根据应用场景的需要包括多个数据，从而数据格式的长度是可变的。在已有技术中，如果需要对输入数据增加或者减少数据项，需要研发人员对数据进行手工编排和微调，工作量巨大。本申请实施例提供可变长度的数据格式，只需要在数据格式中增加或减少数据项，就可以对数据进行后续处理，避免了手工编排带来的额外工作。
进一步，在轨迹数据中增加属性数据，能够训练轨迹预测网络对物体的属性进行学习和理解，提高轨迹预测的精度和准确性。
在其他的一些实施例中，基于上述任意一个实施例，还可以对历史地图数据和当前地图数据中的数据项进行划分和扩展。相应地，对输入表示层11使用的地图数据格式进行对应扩展。
在一个示例中，地图数据中还可以包括每个地图点与其所在的同一个道路要素上其它相邻地图点之间的位置差值。在这种情况下，基于预定数据格式的可扩展性，可以使用公式(10)对地图数据格式进行定义。
Figure BDA0002577538470000221
Figure BDA0002577538470000222
为地图点
Figure BDA0002577538470000223
与相邻前一个地图点
Figure BDA0002577538470000224
之间的位置差值，例如二维坐标的位置差值、或者三维坐标的位置差值。
通过设置相邻两个地图点之间的位置差值，能够在轨迹预测神经网络后续的处理中获得道路要素的多个地图点之间的方向性和连通性。
在该示例中，可以在嵌入层12处理得到高维地图点特征之后，也即在上述步骤1061a和上述步骤1061’之后，对高维地图点特征进行方向性和连通性的增强处理。相对应地，如图15所示，可以在如图3所示神经网络的基础上，在嵌入层12之后设置增强层12’。增强层12’可以是自注意力神经网络。
在另一个示例中，地图数据中还可以每个地图点的属性数据，属性数据包括该地图点所属的道路要素的类别，该地图点在所属道路要素在该预定时间段内包括的多个地图点中的序号。
在其它一些实施例中，在上述任一实施例的基础上，为了提取得到更为精确有效的全局轨迹特征和全局地图特征，可以进行多次的全局特征提取操作，也即在上述步骤1063a和上述步骤1063’中执行多次全局特征提取操作。相对应地，如图16a或图16b所示，在如图3或者如图15所示的神经网络的基础上，在全局特征提取层14中设置多个堆叠的子全局特征提取层141。
全局特征提取层14执行多次全局特征提取操作，每次全局特征提取操作包括：
相邻的前一个子全局特征提取层141对局部场景特征提取到的全局轨迹特征拼接到高维轨迹点特征之后，将拼接后的高维轨迹点特征输出给相邻的下一个子全局特征提取层141；
相邻的前一个子全局特征提取层141将对高维地图点特征提取到的全局地图特征拼接到高维地图点特征之后，将拼接后的高维地图点特征输出给相邻的下一个子全局特征提取层141。
图17示出了一次全局特征提取操作的示意图，针对点级别特征(也即局部场景特征或者高维地图点特征)进行全局特征提取，得到聚合的特征(也即一次提取得到的全局轨迹特征或者全局地图特征)，将该全局特征提取拼接到输入到该词全局特征提取操作的点级别特征之后，得到拼接后的局部场景特征和拼接后的高维地图点特征。将拼接后的局部场景特征和拼接后的高维地图点特征输入给下一个子全局特征提取层141，执行下一次全局特征提取操作。
编码器1中包括一个全局特征提取层14时，该全局特征提取层14能够提取到运动主体所在环境的第一序列信息，也即全局的时空特征，通过多个全局特征提取层14能够学习和提取出该环境中的第二序列信息，例如不同物体之间的相互影响。通过层叠的全局特征提取层14能够更深刻地理解个体物体和全局时空环境的状态及关系，从而层叠的特征层能够捕捉到多个物体之间的相互作用和影响。
例如，当前车减速后会影响后车相应地进行减速，通过层叠的特征层能够捕捉到这种作用和影响。
通过在编码器1中设置层叠的全局特征提取层14，能够提取出多个物体之间的相互作用和影响，提高神经网络对环境的学习和理解能力，从而能够进一步提高轨迹预测的准确性和精度。
本申请实施例还提供了一种轨迹预测装置，该装置可以是上述图2a、图3、图15、图16a或者图16b所示的结构，相应的网络结构参考上述的描述，并且相应地完成上述的轨迹预测的处理。
图18示出了一个示例的轨迹预测装置的结构，示例性地，该装置包括一个处理器81和一个存储器82。在实时处理过程中，处理器81执行存储82中存储的至少一条机器可执行指令，执行如图11至图14所示的处理。在训练过程中，处理器81执行存储82中存储的至少一条机器可执行指令，执行如图1、图2b、图4、图6、图7a、图7b、图10所示的处理。
本申请实施例还提供了一种计算机程序，该计算机程序具有被配置用于执行轨迹预测处理的代码段，该处理包括如图11至图14所示的处理，进一步还可以包括如图1、图2b、图4、图6、图7a、图7b、图10所示的处理。
本申请实施例还提供了一种存储介质，该存储介质中存储有用于轨迹预测处理的计算机程序，该处理包括如图11至图14所示的处理，进一步还可以包括如图1、图2b、图4、图6、图7a、图7b、图10所示的处理。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (29)

1.一种轨迹预测方法，其特征在于，包括：
在运动主体在当前环境中执行运动的过程中，轨迹预测神经网络获取输入的当前轨迹数据、和当前环境的当前地图数据；其中，当前轨迹数据包括运动主体和当前环境中其它一个或多个运动物体在过去预定时间段内的多个轨迹点，每个轨迹点包括在一个对应时间点上的空间位置，当前地图数据包括在该预定时间段内当前环境中道路要素的多个地图点的空间位置；
将当前轨迹数据和当前地图数据表达为高维空间中的当前轨迹点集和当前地图点集，当前轨迹点集包括当前轨迹数据中每个轨迹点对应的高维轨迹点，当前地图点集包括当前地图数据中每个地图点对应的高维地图点；
根据当前轨迹点集和当前地图点集提取得到全局场景特征，其中，全局场景特征具有当前环境的地图特征和轨迹特征；
根据全局场景特征预测输出运动主体的多个预测轨迹点集以及每个预测轨迹点集对应的概率，每个预测轨迹点集均包括运动主体在未来预定时间段内多个时间点的空间位置。
2.根据权利要求1所述的方法，其特征在于，轨迹预测神经网络将当前轨迹数据和当前地图数据表达为高维空间中的当前轨迹点集和当前地图点集，包括：
用预定的无序的轨迹数据格式对当前轨迹点集进行表达，得到无序的当前轨迹点集；
用预定的无序的地图数据格式对当前地图点集进行表达，得到无序的当前地图点集。
3.根据权利要求1所述的方法，其特征在于，轨迹预测神经网络根据当前轨迹点集和当前地图点集提取得到全局场景特征，包括：
将当前轨迹点集嵌入到预定的高维空间中得到高维轨迹点特征，将当前地图点集嵌入到预定的高维空间中得到高维地图点特征；
根据当前轨迹点集、当前地图点集、高维轨迹点特征和高维地图点特征获取得到局部场景特征，该局部场景特征是具有局部地图信息的高维轨迹点特征；
对局部场景特征和高维地图点特征分别执行全局特征提取操作，提取得到全局轨迹特征和全局地图特征；
根据全局轨迹特征和全局地图特征确定得到全局场景特征。
4.根据权利要求3所述的方法，其特征在于，轨迹预测神经网络还对高维轨迹点特征和高维地图点特征进行方向性和连通性的增强处理。
5.根据权利要求3所述的方法，其特征在于，根据当前轨迹点集、当前地图点集、高维轨迹点特征和高维地图点特征获取得到局部场景特征，包括：
根据当前轨迹点集和当前地图点集确定得到每个高维轨迹点与该高维轨迹点周围预定多个高维地图点之间的多个相对空间关系；
将一个高维轨迹点对应的每个地图空间关系分别嵌入到高维空间中得到高维地图空间关系，将每个高维地图空间关系与对应的高维地图点特征进行点乘得到一个加权地图特征；对该高维轨迹点的多个加权地图特征进行最大化处理、选取得到最大加权地图特征；
将最大加权地图特征与该高维轨迹点对应的高维轨迹点特征相加得到一个局部场景特征。
6.根据权利要求5所述的方法，其特征在于，根据当前轨迹点集和当前地图点集确定得到每个高维轨迹点与该高维轨迹点周围预定多个高维地图点之间的多个相对空间关系，包括：
确定得到与一个高维轨迹点的欧式距离在预设的距离阈值内的预定数量的多个高维地图点；
分别确定该高维轨迹点与该多个高维地图点中每个高维地图点之间的相对空间关系，一个相对空间关系包括该高维轨迹点和一个高维地图点的绝对位置和相对位置、以及该轨迹点和该地图点之间的相对距离和相对方向。
7.根据权利要求3所述的方法，其特征在于，对局部场景特征和高维地图点特征分别提取全局轨迹特征和全局地图特征，包括：
对局部场景特征中的每个特征提取特征，并对提取的特征进行最大化处理、将选取得到最大特征作为全局轨迹特征；
对高维地图点特征中的每个特征提取特征，对提取的特征进行最大化处理、将选取得到的最大特征作为全局地图特征。
8.根据权利要求3或7所述的方法，其特征在于，轨迹预测神经网络对局部场景特征和高维地图点特征分别提取全局轨迹特征和全局地图特征，包括：
轨迹预测神经网络执行多次全局特征提取操作，每一次全局特征提取操作包括：
将对局部场景特征提取到的全局轨迹特征拼接到高维轨迹点特征之后，将拼接后的高维轨迹点特征输出给下一次全局特征提取操作；
对高维地图点特征提取到的全局地图特征拼接到高维地图点特征之后，将拼接后的高维地图点特征输出给下一次全局特征提取操作。
9.根据权利要求3所述的方法，其特征在于，根据全局轨迹特征和全局地图特征确定得到全局场景特征，包括：
将全局轨迹特征和全局地图特征相加得到全局场景特征。
10.根据权利要求1所述的方法，其特征在于，当前轨迹数据还包括运动主体以及其它一个或多个运动物体在每个轨迹点上的速度。
11.根据权利要求1所述的方法，其特征在于，当前轨迹数据还包括：
运动主体以及每个运动物体的属性数据，属性数据包括运动主体和每个运动物体的物体类别数据。
12.根据权利要求11所述的方法，其特征在于，当运动主体或运动物体是车辆时，属性数据还包括以下一个或多个：前灯属性数据、尾灯属性数据。
13.根据权利要求1所述的方法，其特征在于，当前地图数据还包括：每个地图点与其所在的同一个道路要素上其它相邻地图点之间的位置差值。
14.根据权利要求13所述的方法，其特征在于，当前地图数据还包括：每个地图点的属性数据，属性数据包括该地图点所属的道路要素的类别，该地图点在所属道路要素在该预定时间段内包括的多个地图点中的序号。
15.根据权利要求1所述的方法，其特征在于，轨迹预测神经网络获取输入的当前轨迹数据和当前地图数据，包括：
从上游模块获取输入的当前轨迹数据和当前地图数据。
16.根据权利要求1所述的方法，其特征在于，训练得到轨迹预测神经网络的处理包括：
在训练阶段，根据历史的第一轨迹数据、第二轨迹数据以及历史地图数据对预设的神经网络进行多次迭代训练；其中，第一轨迹数据和第二轨迹数据是时间前后相邻的数据集，并且均包括运动主体以及周围一个或多个运动物体在预定时间段内的多个轨迹点，每个轨迹点包括在一个对应时间点上的空间位置；历史地图数据包括第一轨迹数据对应的时间段内运动主体所在环境中道路要素的多个地图点的空间位置；预设神经网络具有初始参数集；
一次迭代训练包括：
将第一轨迹数据和历史地图数据作为输入提供给神经网络；神经网络将第一轨迹数据和历史地图数据表达为高维空间中的第一轨迹点集和历史地图点集；根据第一轨迹点集和历史地图点集提取得到全局场景特征；其中，全局场景特征具有运动主体所在环境的地图特征和轨迹特征；根据全局场景特征预测输出运动主体的多个轨迹点集以及每个轨迹点集对应的概率，每个轨迹点集均包括运动主体在未来预定时间段内多个时间点的空间位置；
分别将输出的每个轨迹点集和对应的概率以及第二轨迹数据作为输入提供给一个对应的损失函数，得到该损失函数的输出；判断全部损失函数的输出是否满足预设的收敛条件；在判断满足收敛条件的情况下，确定训练完成、并获得训练后的神经网络的参数集；在判断不满足收敛条件的情况下，调整神经网络的参数，并执行下一次迭代训练。
17.一种轨迹预测装置，其特征在于，包括编码器和解码器；
编码器用于在运动主体在当前环境中执行运动的过程中，获取输入的当前轨迹数据、和当前环境的当前地图数据；其中，当前轨迹数据包括运动主体和当前环境中其它一个或多个运动物体在过去预定时间段内的多个轨迹点，每个轨迹点包括在一个对应时间点上的空间位置，当前地图数据包括在该预定时间段内当前环境中道路要素的多个地图点的空间位置；将当前轨迹数据和当前地图数据表达为高维空间中的当前轨迹点集和当前地图点集；根据当前轨迹点集和当前地图点集提取得到全局场景特征，其中，全局场景特征具有当前环境的地图特征和轨迹特征；
解码器用于根据全局场景特征预测输出运动主体的多个预测轨迹点集以及每个预测轨迹点集对应的概率，每个预测轨迹点集均包括运动主体在未来预定时间段内多个时间点的空间位置。
18.根据权利要求17所述的装置，其特征在于，编码器包括输入表示层；
编码器将当前轨迹数据和当前地图数据表达为高维空间中的当前轨迹点集和当前地图点集，包括：
输入表示层用预定的无序的轨迹数据格式对当前轨迹点集进行表达，得到无序的高维当前轨迹点集；用预定的无序的地图数据格式对当前地图点集进行表达，得到无序的当前地图点集。
19.根据权利要求17所述的装置，其特征在于，编码器包括嵌入层、地图关系学习层、全局特征提取层和特征输出层；
编码器根据当前轨迹点集和当前地图点集提取得到全局场景特征，包括：
嵌入层用于将当前轨迹点集嵌入到预定的高维空间中得到高维轨迹点特征，将当前地图点集嵌入到预定的高维空间中得到高维地图点特征；
地图关系学习层用于根据当前轨迹点集、当前地图点集、高维轨迹点特征和高维地图点特征获取得到局部场景特征，该局部场景特征是具有局部地图信息的高维轨迹点特征；
全局特征提取层用于对对局部场景特征和高维地图点特征分别执行全局特征提取操作，提取得到全局轨迹特征和全局地图特征；
特征输出层用于根据全局轨迹特征和全局地图特征确定得到全局场景特征。
20.根据权利要求19所述的装置，其特征在于，编码器还包括增强层；
增强层用于对高维轨迹点特征和高维地图点特征进行方向性和连通性的增强处理；增强层包括自注意力神经网络。
21.根据权利要求19所述的装置，其特征在于，地图关系学习层根据当前轨迹点集、当前地图点集、高维轨迹点特征和高维地图点特征获取得到局部场景特征，包括：
根据当前轨迹点集和当前地图点集确定得到每个高维轨迹点与该高维轨迹点周围预定多个高维地图点之间的多个相对空间关系；
将一个高维轨迹点对应的每个地图空间关系分别嵌入到高维空间中得到高维地图空间关系，将每个高维地图空间关系与对应的高维地图点特征进行点乘得到一个加权地图特征；对该高维轨迹点的多个加权地图特征进行最大化处理、选取得到最大加权地图特征；
将最大加权地图特征与该高维轨迹点对应的高维轨迹点特征相加得到一个局部场景特征。
22.根据权利要求21所述的装置，其特征在于，地图关系学习层根据当前轨迹点集和当前地图点集确定得到每个高维轨迹点与该轨迹点周围预定多个高维地图点之间的多个相对空间关系，包括：
确定得到与一个高维轨迹点的欧式距离在预设的距离阈值内的预定数量的多个高维地图点；
分别确定该高维轨迹点与该多个高维地图点中每个高维地图点之间的相对空间关系，一个相对空间关系包括该高维轨迹点和一个高维地图点的绝对位置和相对位置、以及该轨迹点和该地图点之间的相对距离和相对方向。
23.根据权利要求19所述的装置，其特征在于，全局特征提取层对局部场景特征和高维地图点特征分别提取全局轨迹特征和全局地图特征，包括：
对局部场景特征中的每个特征提取特征，并对提取的特征进行最大化处理、将选取得到最大特征作为全局轨迹特征；
对高维地图点特征中的每个特征提取特征，对提取的特征进行最大化处理、将选取得到的最大特征作为全局地图特征。
24.根据权利要求19或23所述的装置，其特征在于，全局特征提取层包括多个堆叠的子全局特征提取层；
相邻的前一个子全局特征提取层对局部场景特征提取到的全局轨迹特征拼接到高维轨迹点特征之后，将拼接后的高维轨迹点特征输出给相邻的下一个子全局特征提取层；
相邻的前一个子全局特征提取层将对高维地图点特征提取到的全局地图特征拼接到高维地图点特征之后，将拼接后的高维地图点特征输出给相邻的下一个子全局特征提取层。
25.根据权利要求19所述的装置，其特征在于，特征输出层根据全局轨迹特征和全局地图特征确定得到全局场景特征，包括：
特征输出层将全局轨迹特征和全局地图特征相加得到全局场景特征。
26.根据权利要求17所述的装置，其特征在于，解码器包括多头解码器和概率确定层；
多头解码器用于根据全局场景特征预测输出运动主体的多个预测轨迹点集；多头解码器包括多个循环神经网络或多层感知机，循环神经网络包括长短期记忆网络或门控循环单元；
概率确定层用于确定得到每个预测轨迹点集对应的概率。
27.一种轨迹预测装置，其特征在于，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令实现如权利要求1～16中任一项所述的方法。
28.一种计算机程序，其特征在于，该计算机程序具有被配置用于执行以下轨迹预测处理的代码段，该处理包括如权利要求1～16中任一项所述的方法。
29.一种非易失性存储介质，其特征在于，存储有至少一条机器可执行指令，至少一条机器可执行指令被处理器执行后实现如权利要求1～16中任一项所述的方法。
CN202010658245.9A 2020-07-09 2020-07-09 一种轨迹预测方法和装置 Pending CN114092751A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010658245.9A CN114092751A (zh) 2020-07-09 2020-07-09 一种轨迹预测方法和装置
US17/369,787 US20220011122A1 (en) 2020-07-09 2021-07-07 Trajectory prediction method and device
EP21184239.8A EP3937079A1 (en) 2020-07-09 2021-07-07 Trajectory prediction method and device
AU2021240237A AU2021240237A1 (en) 2020-07-09 2021-07-09 Trajectory prediction method and device
JP2021114281A JP2022016419A (ja) 2020-07-09 2021-07-09 軌跡予測方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010658245.9A CN114092751A (zh) 2020-07-09 2020-07-09 一种轨迹预测方法和装置

Publications (1)

Publication Number Publication Date
CN114092751A true CN114092751A (zh) 2022-02-25

Family

ID=77499589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010658245.9A Pending CN114092751A (zh) 2020-07-09 2020-07-09 一种轨迹预测方法和装置

Country Status (5)

Country Link
US (1) US20220011122A1 (zh)
EP (1) EP3937079A1 (zh)
JP (1) JP2022016419A (zh)
CN (1) CN114092751A (zh)
AU (1) AU2021240237A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114740889A (zh) * 2022-04-08 2022-07-12 南京航空航天大学 基于飞行状态划分的非合作无人机轨迹分布预测方法
CN116562487A (zh) * 2023-05-30 2023-08-08 武汉大学 顾及路口时空关联与历史出行语义的移动目的地预测方法
WO2024008086A1 (zh) * 2022-07-06 2024-01-11 华为技术有限公司 轨迹预测方法及其装置、介质、程序产品和电子设备

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11112796B2 (en) * 2017-08-08 2021-09-07 Uatc, Llc Object motion prediction and autonomous vehicle control
US11514293B2 (en) * 2018-09-11 2022-11-29 Nvidia Corporation Future object trajectory predictions for autonomous machine applications
US20230162374A1 (en) * 2021-11-19 2023-05-25 Shenzhen Deeproute.Ai Co., Ltd Method for forecasting motion trajectory, storage medium, and computer device
CN114418093B (zh) * 2022-01-19 2023-08-25 北京百度网讯科技有限公司 训练路径表征模型、输出信息的方法和装置
CN114442623B (zh) * 2022-01-20 2023-10-24 中国农业大学 一种基于时空图神经网络的农机作业轨迹田路分割方法
CN114217881B (zh) * 2022-02-23 2022-06-21 北京航空航天大学杭州创新研究院 任务卸载方法及相关装置
CN114595427B (zh) * 2022-03-10 2024-06-04 华南理工大学 基于非自回归模型的含缺失值车辆轨迹序列填补修复方法
CN114742280B (zh) * 2022-03-18 2023-01-13 北京百度网讯科技有限公司 路况预测方法及相应的模型训练方法、装置、设备及介质
CN114936331A (zh) * 2022-04-18 2022-08-23 北京大学 位置预测方法、装置、电子设备及存储介质
CN114889638B (zh) * 2022-04-22 2024-08-13 武汉路特斯汽车有限公司 一种自动驾驶系统中的轨迹预测方法及系统
CN114777797B (zh) * 2022-06-13 2022-09-30 长沙金维信息技术有限公司 用于自动驾驶的高精度地图视觉定位方法及自动驾驶方法
CN115082896B (zh) * 2022-06-28 2024-08-20 东南大学 基于拓扑图结构和深度自注意力网络的行人轨迹预测方法
CN115098613B (zh) * 2022-07-04 2024-09-06 苏州大学 一种轨迹数据的追踪与预测方法、装置及介质
CN114872735B (zh) * 2022-07-10 2022-10-04 成都工业职业技术学院 基于神经网络算法的自动驾驶物流车辆决策方法和装置
CN115512152B (zh) * 2022-09-08 2024-09-13 武汉大学 一种cnn和lstm神经网络组合的船舶轨迹分类方法及系统
CN115908507A (zh) * 2022-09-26 2023-04-04 清华大学 车辆轨迹恢复方法、设备、装置和存储介质
CN115578861B (zh) * 2022-10-14 2023-10-10 东南大学 一种基于嵌入式特征选择策略的高速公路交通流预测方法
CN115905434B (zh) * 2022-10-26 2023-10-13 南京航空航天大学 一种基于学习插值预测的道路网轨迹补全方法
CN115587641B (zh) * 2022-11-25 2023-04-07 浙江工业大学 一种基于多生成器的环境因素引导的台风多趋势预测方法
CN116238834B (zh) * 2022-12-08 2024-01-02 湖北凯乐仕通达科技有限公司 立体仓库系统的作业路径规划方法、装置及计算机设备
CN116907510B (zh) * 2023-07-19 2024-08-09 福建省昊立建设工程有限公司 一种基于物联网技术的智能化运动识别方法
CN117475090B (zh) * 2023-12-27 2024-06-11 粤港澳大湾区数字经济研究院(福田) 一种轨迹生成模型、轨迹生成方法、装置、终端及介质
CN117493424B (zh) * 2024-01-03 2024-03-22 湖南工程学院 一种不依赖地图信息的车辆轨迹预测方法
CN117688823B (zh) * 2024-02-04 2024-05-14 北京航空航天大学 一种岩土颗粒轨迹预测方法、电子设备及介质
CN118410408A (zh) * 2024-06-27 2024-07-30 科大讯飞股份有限公司 车辆轨迹预测方法、装置、相关设备及计算机程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180120843A1 (en) * 2016-11-03 2018-05-03 Mitsubishi Electric Research Laboratories, Inc. System and Method for Controlling Vehicle Using Neural Network
CN109716361A (zh) * 2016-09-08 2019-05-03 谷歌有限责任公司 执行触摸运动预测的深度机器学习
CN110275531A (zh) * 2019-06-21 2019-09-24 北京三快在线科技有限公司 障碍物的轨迹预测方法、装置及无人驾驶设备
CN111242351A (zh) * 2019-12-31 2020-06-05 上海师范大学 基于自编码器和gru神经网络的热带气旋轨迹预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109716361A (zh) * 2016-09-08 2019-05-03 谷歌有限责任公司 执行触摸运动预测的深度机器学习
US20180120843A1 (en) * 2016-11-03 2018-05-03 Mitsubishi Electric Research Laboratories, Inc. System and Method for Controlling Vehicle Using Neural Network
CN110275531A (zh) * 2019-06-21 2019-09-24 北京三快在线科技有限公司 障碍物的轨迹预测方法、装置及无人驾驶设备
CN111242351A (zh) * 2019-12-31 2020-06-05 上海师范大学 基于自编码器和gru神经网络的热带气旋轨迹预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘创;梁军;: "基于注意力机制的车辆运动轨迹预测", 浙江大学学报(工学版), no. 06 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114740889A (zh) * 2022-04-08 2022-07-12 南京航空航天大学 基于飞行状态划分的非合作无人机轨迹分布预测方法
WO2024008086A1 (zh) * 2022-07-06 2024-01-11 华为技术有限公司 轨迹预测方法及其装置、介质、程序产品和电子设备
CN116562487A (zh) * 2023-05-30 2023-08-08 武汉大学 顾及路口时空关联与历史出行语义的移动目的地预测方法
CN116562487B (zh) * 2023-05-30 2024-05-28 武汉大学 顾及路口时空关联与历史出行语义的移动目的地预测方法

Also Published As

Publication number Publication date
US20220011122A1 (en) 2022-01-13
JP2022016419A (ja) 2022-01-21
EP3937079A1 (en) 2022-01-12
AU2021240237A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
CN114092751A (zh) 一种轨迹预测方法和装置
US11501525B2 (en) Systems and methods for panoptic image segmentation
CN111860155B (zh) 一种车道线的检测方法及相关设备
US20210269065A1 (en) Perpendicular cut-in detection
US11699237B2 (en) Bounding box embedding for object identifying
CN111292366B (zh) 一种基于深度学习和边缘计算的视觉行车测距算法
US11385642B2 (en) Perpendicular cut-in training
US11537819B1 (en) Learned state covariances
EP4148599A1 (en) Systems and methods for providing and using confidence estimations for semantic labeling
US11590969B1 (en) Event detection based on vehicle data
CN115731531A (zh) 对象轨迹预测
US20230038578A1 (en) Systems and Methods for Image Based Perception
Guo et al. Road environment perception for safe and comfortable driving
US11603119B2 (en) Method and apparatus for out-of-distribution detection
CN114581865A (zh) 深度神经网络中的置信度测量
CN113496268B (zh) 一种轨迹预测方法和装置
US20230075425A1 (en) Systems and methods for training and using machine learning models and algorithms
US11966452B2 (en) Systems and methods for image based perception
US20230410469A1 (en) Systems and methods for image classification using a neural network combined with a correlation structure
US11158066B2 (en) Bearing only SLAM with cameras as landmarks
US12118445B1 (en) Temporal-based deformable kernels
EP4131174A1 (en) Systems and methods for image based perception
Tynyanyy et al. Studying the Capabilities of Neural Networks for Adaptive Driver Assistance Systems
CN118053062A (zh) 使用多个神经网络执行电子设备或车辆的感知任务的方法
Lyubimov et al. Implementation of Unmanned Control of Wheeled Robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination