CN113496268A - 一种轨迹预测方法和装置 - Google Patents
一种轨迹预测方法和装置 Download PDFInfo
- Publication number
- CN113496268A CN113496268A CN202010268918.XA CN202010268918A CN113496268A CN 113496268 A CN113496268 A CN 113496268A CN 202010268918 A CN202010268918 A CN 202010268918A CN 113496268 A CN113496268 A CN 113496268A
- Authority
- CN
- China
- Prior art keywords
- data
- motion
- time
- point set
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 114
- 238000013528 artificial neural network Methods 0.000 claims abstract description 66
- 238000000605 extraction Methods 0.000 claims abstract description 60
- 230000008569 process Effects 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 15
- 230000000306 recurrent effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000011144 upstream manufacturing Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种轨迹预测方法和装置，以解决已有技术中的轨迹预测方法存在的预测结果准确性低、可靠性低的问题。该方法包括：在运动主体执行运动的过程中，轨迹预测神经网络获取输入的当前运动数据集；其中，当前运动数据集包括运动主体和运动主体所在环境中一个或多个运动物体在过去预定时间段内的多个时间点的空间位置；将当前运动数据集表达为时空坐标系中的时空数据点集；对时空数据点集进行特征抽取得到全局时空特征，其中，全局时空特征中包括运动主体所在环境的时间特征和空间特征；根据全局时空特征预测输出运动主体的预测轨迹点集，预测轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种轨迹预测方法和装置。
背景技术
在人工智能得到研究和发展的基础上，很多技术领域结合人工智能得到了更广泛的应用和发展，例如机器人技术和无人驾驶技术。
在机器人领域和无人驾驶领域中，一个重要的环节就是轨迹预测。轨迹预测在很大程度上决定了无人驾驶系统的安全性能。以无人驾驶为例，在车辆行驶过程中，需要通过轨迹预测技术来实时地预测周围车辆在未来一段时间内的行驶轨迹，以便无人驾驶系统基于此预测结果做出安全的路径规划，从而避免碰撞发生。
发明内容
本申请实施例提供了一种轨迹预测方法和装置、存储介质和计算机程序，以解决已有技术中的轨迹预测方法存在的预测结果准确性低、可靠性低的问题。
根据本申请实施例的一个方面，提供了一种轨迹预测方法，包括：
在运动主体执行运动的过程中，轨迹预测神经网络获取输入的当前运动数据集；其中，当前运动数据集包括运动主体和运动主体所在环境中一个或多个运动物体在过去预定时间段内的多个时间点的空间位置；
将当前运动数据集表达为时空坐标系中的时空数据点集；对时空数据点集进行特征抽取得到全局时空特征，其中，全局时空特征中包括运动主体所在环境的时间特征和空间特征；
根据全局时空特征预测输出运动主体的预测轨迹点集，预测轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置。
根据本申请实施例的另一个方面，提供了一种轨迹预测装置，包括至少一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，至少一个处理器执行至少一条机器可执行指令后执行以下处理：
在运动主体执行运动的过程中，轨迹预测神经网络获取输入的当前运动数据集；其中，当前运动数据集包括运动主体和运动主体所在环境中一个或多个运动物体在过去预定时间段内的多个时间点的空间位置；
将当前运动数据集表达为时空坐标系中的时空数据点集；对时空数据点集进行特征抽取得到全局时空特征，其中，全局时空特征中包括运动主体所在环境的时间特征和空间特征；
根据全局时空特征预测输出运动主体的预测轨迹点集，预测轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置。
根据本申请实施例的另一个方面，提供了一种计算机程序，该计算机程序具有被配置用于执行以下轨迹预测处理的代码段，该处理包括：
在运动主体执行运动的过程中，轨迹预测神经网络获取输入的当前运动数据集；其中，当前运动数据集包括运动主体和运动主体所在环境中一个或多个运动物体在过去预定时间段内的多个时间点的空间位置；
将当前运动数据集表达为时空坐标系中的时空数据点集；对时空数据点集进行特征抽取得到全局时空特征，其中，全局时空特征中包括运动主体所在环境的时间特征和空间特征；
根据全局时空特征预测输出运动主体的预测轨迹点集，预测轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置。
根据本申请实施例的另一个方面，提供了一种存储介质，该存储介质中存储有用于轨迹预测处理的计算机程序，该处理包括：
在运动主体执行运动的过程中，轨迹预测神经网络获取输入的当前运动数据集；其中，当前运动数据集包括运动主体和运动主体所在环境中一个或多个运动物体在过去预定时间段内的多个时间点的空间位置；
将当前运动数据集表达为时空坐标系中的时空数据点集；对时空数据点集进行特征抽取得到全局时空特征，其中，全局时空特征中包括运动主体所在环境的时间特征和空间特征；
根据全局时空特征预测输出运动主体的预测轨迹点集，预测轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置。
根据本申请实施例提供的轨迹预测方法，能够在运动主体执行运动的实时过程中，根据实时获取的当前运动数据集，对运动主体在未来预定时间段内的轨迹进行预测；其中，特征提取处理提取得到统一的全局时空特征，能够显著地提高特征提取的精度，进一步，基于高效和高精度的特征提取，能够显著提高轨迹预测结果的精度和准确性。
附图说明
附图用来提供对本申请的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请，并不构成对本申请的限制。
图1为本申请实施例提供的轨迹预测神经网络的训练方法的一种处理流程图；
图2a为本申请实施例提供的轨迹预测神经网络的一种结构示意图；
图2b为本申请实施例提供的轨迹预测神经网络的训练方法的另一种处理流程图；
图2c为本申请实施例提供的轨迹预测神经网络的另一种结构示意图；
图3a一个场景中的动态物体的示意图；
图3b为图3a所示场景中使用传统方法对动态物体的轨迹进行表达的示意图；
图3c为图3a所示场景中使用本申请实施例提供的方法对动态物体的轨迹进行表达的示意图；
图4a为本申请实施例提供的轨迹预测神经网络的另一种结构示意图；
图4b为本申请实施例提供的轨迹预测方法中的特征抽取的处理流程图；
图5为本申请实施例提供的实时处理阶段中轨迹预测方法的一种处理流程图；
图6为本申请实施例提供的实时处理阶段中轨迹预测方法的另一种处理流程图；
图7为本申请实施例提供的轨迹预测神经网络的另一种结构示意图；
图8为本申请实施例提取的轨迹预测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
在机器人技术或者无人驾驶技术中，一个非常重要的技术就是，如何为机器人或者无人驾驶车辆做出安全可靠的路径规划。路径规划又依赖于准确有效地预测机器人或无人驾驶车辆所处环境中其它动态物体的运动轨迹。基于对动态物体运动轨迹准确有效的预测，才能对机器人或无人驾驶车辆做出安全可靠的路径规划。
在已有技术中，可以通过多种方法对物体的运动轨迹进行预测。一种方法是通过动力学模型来实现预测。但是动力学模型中通常假定物体都是匀速运动的，以及每个相邻的动态物体都具有相同长度的路径。这样的假设显然是与现实情况不符。根据这样的假设预测得到的轨迹的精度低，无法应对现实中多变的复杂情况。
另一种方法是基于学习的预测方法，该方法通过搭建神经网络，使用历史的轨迹数据对神经网络进行训练，得到可进行轨迹预测的神经网络。在这种方法中，神经网络执行的操作通常包括特征提取操作和预测操作，通过特征提取操作获得动态物体(例如车辆、摩托车、自行车或者行人)在过去一段时间内行驶轨迹的时间-空间特征(也即时空特征)，并通过预测操作基于已提取的时空特征预测车辆未来一段时间内的轨迹。特征提取操作通常先提取出多个时间点(或称为时间特征)，然后提取出每个时间点下各动态物体的空间特征，并将空间特征与时间特征相融合。
在上述特征提取操作中，空间特征提取是非常耗时的操作，这样的处理过程无法应用在实时的处理环境中。并且，不同时间点之间动态物体之间的空间联系或空间影响被抛弃了，导致特征提取操作无法模拟多个时间点之间的空间特征的复杂联系和影响。这样的预测过程只能带来不可靠的预测结果。
并且，上述两种预测方法都无法处理有噪声的输入数据。有噪声的输入数据通常是指某个动态物体的不完整的轨迹数据。上述两种方法对于不完整的轨迹数据通常有两种处理，一种是删除该动态物体的全部轨迹数据，另一种是对不完整轨迹数据进行填充。这样的限制显然对预测结果的准确性和精度造成影响，并且使得上述方法无法应用在实时的应用环境中。
可见，已有技术中的轨迹预测方法存在预测操作耗时长，无法应用在实时处理环境中，以及预测结果准确性低、可靠性低的问题。
有鉴于此，本申请实施例提供了一种轨迹预测方案，以解决部分或全部的上述问题。
本申请以无人驾驶技术为例，对本申请提供的轨迹预测方案进行说明。本领域技术人员可以理解的是，本申请提供的轨迹预测方案还可以应用在其他技术领域，例如机器人领域。
在本申请中，术语“车辆”在本申请中广泛地解释为包括任何移动物体，包括例如飞行器、船只、航天器、汽车、卡车、厢式货车、半挂车、摩托车、高尔夫球车、越野车辆、仓库运输车辆或农用车以及行驶在轨道上的运输工具，例如电车或火车以及其它有轨车辆。本申请中的“车辆”通常可以包括：动力系统、传感器系统、控制系统、外围设备和计算机系统。在其它实施例中，车辆可以包括更多、更少或者不同的系统。
其中，动力系统是为车辆提供动力运动的系统，包括：引擎/马达、变速器和车轮/轮胎、能源单元。
控制系统可以包括控制车辆及其组件的装置的组合，例如转向单元、节气门、制动单元等部件。
外围设备可以是允许车辆与外部传感器、其它车辆、外部计算设备和/或用户进行交互的设备，例如无线通信系统、触摸屏、麦克风和/或扬声器。
基于上述描述的车辆，无人驾驶车辆中还配置有传感器系统和无人驾驶控制装置。
传感器系统可以包括用于感测车辆所处环境的信息的多个传感器，以及改变传感器的位置和/或方向的一个或多个致动器。传感器系统可以包括全球定位系统传感器、惯性测量单元、无线电检测和测距(RADAR)单元、相机、激光测距仪、光检测和测距(LIDAR)单元和/或声学传感器等传感器的任何组合；传感器系统还可以包括监视车辆内部系统的传感器(例如O2监视器、燃油表、引擎温度计等)。
无人驾驶控制装置可以包括至少一个处理器和至少一个存储器。处理器可以包括中央处理器(CPU)和/或图像处理器(GPU)。存储器中存储有至少一条机器可执行指令，包括该至少一条机器可执行指令的程序产品可称为无人驾驶控制系统。无人驾驶控制系统可包括地图引擎、定位模块、感知模块、导航或路径模块、以及自动控制模块等多个模块，相应地处理器执行至少一条机器可执行指令可实现多种对应的功能，包括地图构建、定位、感知、导航或路径规划、以及车辆控制等功能。地图引擎和定位模块用于提供地图信息和定位信息。感知模块用于根据传感器系统获取到的信息和地图引擎提供的地图信息感知车辆所处环境的环境信息。导航或路径模块用于根据地图引擎、定位模块和感知模块的处理结果，为车辆规划行驶路径。自动控制模块将导航或路径模块等模块的决策信息输入解析转换成对车辆控制系统的控制命令输出，并通过车载网(例如通过CAN总线、局域互联网络、多媒体定向系统传输等方式实现的车辆内部电子网络系统)将控制命令发送给车辆控制系统中的对应部件，实现对车辆的自动控制；自动控制模块还可以通过车载网来获取车辆中各部件的信息。
在为车辆规划路径的过程中，需要通过轨迹预测技术来实时地预测周围的动态物体(例如车辆、摩托车、自行车或者行人)在未来一段时间内的行驶轨迹，以便无人驾驶系统基于此预测结果做出安全可靠的路径规划。
本申请实施例提供的一种基于学习的轨迹预测方案，该方案包括两个阶段，训练阶段和实时处理阶段。
在训练阶段，设置一个神经网络，该神经网络具有特定的网络结构，并具有初始的参数集。使用有监督的学习方法，训练神经网络对历史的真实数据进行学习，在训练结果满足收敛条件的情况下，得到神经网络的参数集。该具有特定网络结构以及训练得到的参数集的神经网络，即为实现轨迹预测的神经网络，或称为轨迹预测神经网络。
在实时处理阶段，要对一个动态主体进行轨迹预测时，将动态主体和周围的动态物体的运动数据提供给轨迹预测神经网络，该神经网络对运动数据进行处理，并预测得出该动态主体的未来轨迹。
下面通过多个实施例对本申请的技术方案进行说明。
训练得到轨迹预测神经网络
在训练阶段，构建一个神经网络，该神经网络可以包括多个网络层，并对该神经网络设置初始参数集。神经网络中的网络层的层数以及初始参数集可以根据应用场景的需要来进行具体设置。
本申请实施例中通过历史真实的第一运动数据集和第二运动数据集对构建的神经网络进行训练。
在本申请的实施例中，第一运动数据集和第二运动数据集中包括运动主体以及周围一个或多个运动物体的轨迹数据，轨迹数据可以包括在预定时间段内多个时间点的空间位置。该空间位置可以是二维位置、三维位置或者高维位置。例如，车辆在较为平坦的路面行驶的过程中，路面高程变化的幅度很小，高程信息可以被忽略，运动数据集中可以只包括运动主体和运动物体的二维位置。在其他领域中，例如对于特殊用途的机器人，在运动过程中，可能存在较大幅度的高程变化，运动数据集中可以包括运动主体和运动物体的三维位置。在其它的应用场景中，当存在或需要考虑其它维度的位置信息时，运动数据集中还可以包括高维位置数据。为了简洁和方便起见，在本申请中均以二维位置为例进行解释和说明。本领域技术人员可以理解的是，当空间位置为三维位置或高维位置时，可以对三维位置或者高维位置进行相应的位置转换、坐标转换等处理，或者根据具体应用场景的需求进行相应的位置处理和坐标处理。
在本申请的实施例中，第一运动数据集和第二运动数据集是时间前后相邻的数据集，例如第一运动数据集是第i个时间段的数据集，第二运动数据集是第i+1个时间段的数据集。第i个时间段的时长为m，第i+1个时间段的时长为n，在一些实施例中，m与n可以是相等的，例如均包括3秒时长，在另一些实施例中，m与n也可以是不相等的，例如第i个时间段的时长为3秒，第i+1个时间段的时长为2秒。在第i个时间段中根据频率u得到多个时间点，在第i+1个时间段中根据频率v得到多个时间点，u和v可以是相等的，也可以是不相等的。
图1中示出了本申请实施例提供的轨迹预测神经网络的训练方法的处理流程，该训练处理包括多次迭代训练，一次迭代训练包括下列处理。
步骤102、将历史的第一运动数据集作为输入提供给神经网络。
步骤104、神经网络将第一运动数据集表达为时空坐标系中的时空数据集；
步骤106、神经网络对时空数据点集进行特征抽取，得到全局时空特征，其中，全局时空特征中包括运动主体所在环境的融合的时间特征和空间特征；
步骤108、根据全局时空特征预测输出运动主体在未来预定时间段内的轨迹点集，轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置；
步骤110、将输出的轨迹点集和第二运动数据集作为损失函数的输入，得到损失函数的输出；
步骤112、判断损失函数的输出是否满足预设的收敛条件，在判断满足收敛条件的情况下，处理进行到步骤116，在判断不满足收敛条件的情况下，处理返回到步骤114；
步骤114、调整神经网络的参数，处理返回步骤102；
步骤116、确定训练完成、并获得训练完成的神经网络的参数集。
下面通过一个示例性实施例对图1所示的处理过程进行说明。
假设运动主体与运动物体的数量为N，第一运动数据集中的预定时间段包括T个时间点，
表示运动主体或者运动物体n在时间点t的二维位置。运动主体或者一个运动物体n的轨迹数据可表示为Xn＝{Hn，Fn}，其中
表示该物体在过去的时间点1到时间点t的历史位置，
表示该物体在未来的时间点t+1到时间点T的未来位置。轨迹预测的目的是使用
预测得到准确的
在该示例性实施例中，如图2a所示，神经网络的结构根据实现的功能可以包括编码器1和解码器2。在该示例性实施例中对神经网络的训练处理包括如图2b所示的过程：
步骤102a、将历史的第一运动数据集作为输入提供给编码器1。
步骤104a、编码器1将第一运动数据集表达为时空坐标系中的时空数据集；
在一些实施例中，可以在编码器1中设置一层或多层网络层来实施步骤104a的数据表达处理，该网络层可以被称为输入表示层11，如图2c所示。输入表示层11可以使用该预定的无序的数据格式对第一运动数据集进行表达，得到映射在时空坐标系中的无序的时空数据点集。
在一些实施例中，预设的数据格式可以根据具体应用场景的需要而进行具体设置。在一个示例中，出于简洁和可扩展性考虑，可以使用如下公式(1)所示的数据格式对第一运动数据集进行表示。
其中，n∈{1，...，N}为运动主体以及一个或多个运动物体，t∈{1，...，T}为多个时间点，
为物体n在时间t的二维位置。
图3示出了在一个场景中输入表示层11使用公式(1)将第一运动数据集中的数据映射到时空坐标系的示意图。在该场景中，如图3a所示，其中动态物体包括两个车辆、一个自行车和一个行人。图3b示出了用传统的表示方法对该场景中的动态物体的轨迹进行表达的情况，也即在二维空间坐标系中表达出物体的二维位置。在该二维空间坐标系中，每个数据点只具有空间特征。图3c示出了用本申请实施例提供的数据表达方法将该场景的第一运动数据集表达在时空坐标系中的情况。在该坐标系中，x轴和y轴表示二维空间坐标轴，z轴是时间轴，该坐标系中的每个数据点同时具有时间特征和空间特征。
通过使用预定的无序的可扩展的数据格式对第一运动数据集进行表达，可以将运动主体和运动物体的按时间顺序发生的位置数据映射到时空坐标系中，也即将有序的数据映射为离散的无序的点集。表达在时空坐标系中的数据点集不随第一运动数据集的表达方式或表达顺序的改变而改变，并且不会由于一个物体存在缺失数据而导致该物体的数据无法表达。可见，通过将第一运动数据集映射到时空坐标系中，可以克服已有技术中当输入数据存在噪声时需要额外处理的问题，能够提高处理存在缺失的输入数据的鲁棒性。
并且，通过预定的数据格式能够将运动数据集中的全部数据统一表达在同一个时空坐标系中，将时间特征和空间特征统一到同一个表达中，使得后续的特征抽取处理能够抽取得到统一的、融合的时间特征和空间特征。
步骤106a、编码器1对时空数据点集进行特征抽取得到全局时空特征，其中，全局时空特征中包括运动主体所在环境的时间特征和空间特征；
在一些实施例中，可以在编码器中设置一层或多层网络层来实施特征抽取处理，这些网络层根据处理可以被称为特征层12，如图2c所示。
在另外一些实施例中，针对映射在时空坐标系中无序的数据点集，可以将时空数据点集嵌入到高维空间中，并对嵌入到高维空间中的数据点集进行特征提取。相对应地，如图4a所示，可以在特征层12中设置嵌入层121和特征提取层122，并通过如图4b所示的处理实施特征抽取。图4b包括如下处理过程。
步骤1061a、嵌入层121将时空数据点集嵌入到预定的高维空间中，得到高维空间中的高维数据点集，高维数据点集中的每一维数据均包括时间特征和空间特征；
在将第一运动数据映射到时空坐标系中之后，嵌入操作的目的是将动态主体或者每个动态物体的运动数据
映射为隐藏的表达
该表达能够统一数据的时间特征和空间特征。
为了方便说明，可通过下列公式(2)来表示这种嵌入操作。
其中，
为嵌入层网络，Wε为嵌入权重。嵌入权重可以根据具体应用场景的需求而具体设定。
在一些实施例中，嵌入层可以通过多层感知机(Multilayer Perceptron，MLP)来实现。MLP可以包括全连接的多层网络，网络中神经元的激活函数可以是ReLU激活函数。进一步，还可以在嵌入层的每一层之后设置一个批量归一化层(Batch Normalization，BN)。
嵌入操作将时空数据点集嵌入到由多维度构成的高维空间，每一维度中的数据均包括时间特征和空间特征。
步骤1062a、特征提取层122对高维数据点集进行特征抽取，得到全局时空特征。
在将时空点集嵌入到高维空间后，需要对数据的不同排列保持不变性。特征提取层对高维空间包括的各个维度的数据进行特征提取，得到包括融合了时间特征和空间特征的全局时空特征；全局时空特征包括多维特征，每一维对应特征空间的一部分也即表达时空特征中的一部分。
在一些实施例中，特征提取层可以通过最大池化层或者平均池化层来实现。池化步幅可以根据具体应用场景的需求来相应设置。
步骤108a、解码器2根据全局时空特征预测输出运动主体在未来预定时间段内的轨迹点集，轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置。
其中，轨迹点集中包括的未来预定时间段的时长可以与第二运动数据集的时长相同。轨迹预测任务也可以包括确定性预测或者随机预测。
在一些实施例中，可以选择循环神经网络或者多层感知机来实现解码器2，并根据输入的全局时空特征来预测得到运动主体的未来轨迹序列。循环神经网络包括长短期记忆网络(Long-Short Term Memory，LSTM)或者门控循环单元GRU。在其他的一些实施例中，还可以选择随机解码器(Stochastic Decoder)。
步骤110a、将输出的轨迹点集和第二运动数据集作为损失函数的输入，得到损失函数的输出。
其中，在一些实施例中，损失函数可以是最小平方误差(LSE)函数，并且通过最小化所预测的每个时间点下的空间位置与第二预定数据集中对应时间点下的空间位置之间的l2损失来实现收敛。
步骤112a、判断损失函数的输出是否满足预设的收敛条件，在判断满足收敛条件的情况下，处理进行到步骤116a，在判断不满足收敛条件的情况下，处理进行到步骤114a。
步骤114a、调整编码器1的参数和解码器2的参数，处理返回步骤102a；
调整参数的处理，可以执行预设的自动调整，也可以接收输入的调整值、或者调整后的参数值；
步骤116a、确定训练完成、并获得训练完成的编码器1的参数集和解码器2的参数集。
通过上述的训练，可以得到神经网络的参数集，该具有训练得到的参数集、且具有特定结构的神经网络即为轨迹预测神经网络。通过该轨迹预测神经网络，能够在实时处理阶段，对输入的运动数据进行处理，预测得到未来时间段的轨迹数据。
在图1或图2b的训练过程中，通过将历史的第一运动数据集映射为时空坐标系中时空数据，将有序的轨迹数据转变为无序的数据点，能够克服数据噪声带来的后续影响，提高数据处理的鲁棒性；通过端到端的学习方式实现对时空数据集的特征提取，该处理相比于现有技术中通过层叠的多次时间特征和空间特征提取处理，能够显著地提高特征提取操作的速度和效率，更好地满足应用场景的实时性需求；特征提取处理提取得到统一的时空特征，相比于现有技术中分开提取时间特征和空间特征，并对时间特征和空间特征进行融合，能够显著地提高特征提取的精度；进一步，基于高效和高精度的特征提取，相比于现有技术，能够显著提高轨迹预测结果的精度和准确性。
实时处理阶段的轨迹预测
与图1所示的处理相对应，图5示出了在实时处理阶段通过轨迹预测神经网络对物体的运动轨迹进行预测的处理过程。
步骤502、在运动主体执行运动的过程中，轨迹预测神经网络获取输入的当前运动数据集；其中，当前运动数据集包括运动主体和运动主体所在环境中一个或多个运动物体在过去预定时间段内的多个时间点的空间位置；
步骤504、将当前运动数据集表达为时空坐标系中的时空数据点集；
步骤506、对时空数据点集进行特征抽取得到全局时空特征，其中，全局时空特征中包括运动主体所在环境的时间特征和空间特征；
步骤508、根据全局时空特征预测输出运动主体的预测轨迹点集，预测轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置。
下面通过一个示例性实施例对图5所示处理进行说明。
图5所示的处理可以通过结构如图2a或图4a所示的轨迹预测神经网络来执行，具体实施为如图6所示的处理过程：
步骤502a、在运动主体执行运动的过程中，编码器1获取输入的当前运动数据集；
其中，输入给轨迹预测神经网络的当前运动数据集可以是来自于上游模块，例如感知模块。感知模块从感知数据中选择出当前运动数据集，并将当前运动数据集提供给轨迹预测神经网络的编码器。
当前运动数据集的设置可以具有与上述第一运动数据集相同的设置。
步骤504a、编码器1将当前运动数据集表达为时空坐标系中的时空数据点集；
具体地，编码器可以是如图4a所示的结构，输入表示层11用预定的无序的数据格式对当前运动数据集进行表达，得到映射在时空坐标系中的无序的时空数据点集。预定的数据结构可以是如上述公式(1)所示的结构，步骤504a的处理可参照上述步骤104a来实现。
步骤506a、编码器1对时空数据点集进行特征抽取，得到全局时空特征；
具体地，编码器1可以是如图4a所示的结构，特征层12中的嵌入层121将时空数据点集嵌入到预定的高维空间中，得到高维空间中的高维数据点集，高维数据点集中的每一维数据均包括时间特征和空间特征；特征层12中的特征抽取层122对高维数据点集进行特征抽取，得到全局时空特征。该处理可以参照上述步骤106a以及图4b来实现。
步骤508a、解码器2根据全局时空特征预测输出运动主体的预测轨迹点集，预测轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置。
预测轨迹点集中未来预定时间段的时长可以与当前运动数据集的时长相同、也可以不同，未来预定时间段中得到多个时间点的频率与当前运动数据集得到多个时间点的频率可以相同或不同，可以根据具体应用场景的需求进行具体设置。
该处理步骤可参照上述步骤108a来实现。
通过图5或图6所示的处理，能够在运动主体执行运动的实时过程中，根据实时获取的当前运动数据集，对运动主体在未来预定时间段内的轨迹进行预测。通过将实时的当前运动数据集映射为时空坐标系中时空数据，将有序的轨迹数据转变为无序的数据点集，能够克服数据噪声带来的后续影响，提高数据处理的鲁棒性；通过端到端的学习方式实现对时空数据集的特征提取，该处理相比于现有技术中通过层叠的多次时间特征和空间特征提取处理，能够显著地提高特征提取操作的速度和效率，更好地满足应用场景的实时性需求；特征提取处理提取得到统一的时空特征，相比于现有技术中分开提取时间特征和空间特征，并对时间特征和空间特征进行融合，能够显著地提高特征提取的精度；进一步，基于高效和高精度的特征提取，相比于现有技术，能够显著提高轨迹预测结果的精度和准确性。
在上述任一实施例的基础上，在其他的一些实施例中，还可以对第一运动数据集、第二运动数据集、当前运动数据集中的数据项进行划分和扩展，将数据项划分为轨迹数据和属性数据。相应地，对输入表示层11使用的数据格式进行对应扩展。
在一个示例性实施例中，轨迹数据中可以包括物体在一个预定时间段中多个时间点的空间位置和速度。在这种情况下，基于预定数据格式的可扩展性，可以使用公式(3)对数据格式进行定义。
其中，
是物体在时间t的速度。
通过实验和测试结果表明，在轨迹数据中增加速度数据，能够进一步提高轨迹预测结果的精度。
在另一个示例性实施例中，运动数据集中可以包括轨迹数据和属性数据。属性数据可以包括物体的类别数据，例如该物体是行人、自行车或车辆。在具体的应用场景中，物体的类别数据还可以是其它的属性，例如车辆的属性包括厢式货车、牵引车、半挂车等情形；还可以增加车灯的属性项，例如车前灯属性数据或车尾灯属性数据，通过车灯属性数据标识车灯是否开启；还可以增加。在这种情况下，可以用公式(4)进行数据格式定义。
其中，
表示物体的类别，该类别的值可以是预先设定的，例如车辆为1、行人为2、自行车为3。公式(4)中示例性地扩展了一项属性数据，根据具体应用场景的需求，还可以扩展多项属性数据。
属性数据中还可以包括物体的标识数据，例如物体是运动主体或者是周围的运动物体。在这种情况下，可以用公式(5)进行数据格式定义。
其中，id标识物体为运动主体或者周围的运动物体，例如该数据的值为1时表示物体n为运动主体，值为0时表示物体n为周围的运动物体。
由于预定的可扩展的数据格式可以根据应用场景的需要包括多个数据，从而数据格式的长度是可变的。在已有技术中，如果需要对输入数据增加或者减少数据项，需要研发人员对数据进行手工编排和微调，工作量巨大。本申请实施例提供可变长度的数据格式，只需要在数据格式中增加或减少数据项，就可以对数据进行后续处理，避免了手工编排带来的额外工作。
进一步，在运动数据集中增加属性数据，能够训练轨迹预测网络对物体的属性进行学习和理解，提高轨迹预测的精度和准确性。
在上述任一实施例的基础上，在其它一些实施例中，还可以对轨迹预测神经网络的结构进行改进。
在一个示例实施例中，如图4b所示的编码器可以包括多个层叠的特征层12，每个特征层12均包括一个嵌入层121和一个特征提取层122，如图7所示。
根据如图7所示的特征层12，特征层12-1将输出的处理结果提供给特征层12-2，特征层12-2对输入的数据进行处理、并将处理结果输出给特征层12-3，以此类推，特征层12-n对输入的数据进行处理，将处理结果提供给解码器2。
编码器1中包括一个特征层12时，该特征层12能够提取到运动主体所在环境的第一序列信息，也即全局的时空特征，通过多个特征层12能够学习和提取出该环境中的第二序列信息，例如不同物体之间的相互影响。通过层叠的特征层12-1～12-n，多个嵌入层121-1～121-n能够更深刻地理解个体物体和全局时空环境的状态及关系，从而层叠的特征层能够捕捉到多个物体之间的相互作用和影响。
例如，当前车减速后会影响后车相应地进行减速，通过层叠的特征层能够捕捉到这种作用和影响。
通过在编码器中设置层叠的特征层，能够提取出多个物体之间的相互作用和影响，提高神经网络对环境的学习和理解能力，从而能够进一步提高轨迹预测的准确性和精度。
本申请实施例还提供了一种轨迹预测装置。该装置可以与上述的无人驾驶控制装置合一设置，也可以单独设置，具体根据应用场景的需求而设置。该装置包括至少一个处理器81和至少一个存储器82，至少一个存储器82中存储有至少一条机器可执行指令。至少一个处理器可以包括CPU和/或GPU，至少一个存储器可以包括
图8示出了一个示例的轨迹预测装置的结构，示例性地，该装置包括一个处理器81和一个存储器82。在实时处理过程中，处理器81执行存储器82中存储的至少一条机器可执行指令，执行如图5或图6所示的处理。在训练过程中，处理器81执行存储器82中存储的至少一条机器可执行指令，执行如图1或图2b所示的处理。
本申请实施例还提供了一种计算机程序，该计算机程序具有被配置用于执行轨迹预测处理的代码段，该处理包括如图1或2b所示的处理，进一步还可以包括图5或图6所示的处理。
本申请实施例还提供了一种存储介质，该存储介质中存储有用于轨迹预测处理的计算机程序，该处理包括如图1或2b所示的处理，进一步还可以包括图5或图6所示的处理。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (30)
1.一种轨迹预测方法，其特征在于，包括：
在运动主体执行运动的过程中，轨迹预测神经网络获取输入的当前运动数据集；其中，当前运动数据集包括运动主体和运动主体所在环境中一个或多个运动物体在过去预定时间段内的多个时间点的空间位置；
将当前运动数据集表达为时空坐标系中的时空数据点集；对时空数据点集进行特征抽取得到全局时空特征，其中，全局时空特征中包括运动主体所在环境的时间特征和空间特征；
根据全局时空特征预测输出运动主体的预测轨迹点集，预测轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置。
2.根据权利要求1所述的方法，其特征在于，轨迹预测神经网络包括编码器和解码器；
编码器将当前运动数据集表达为时空坐标系中的时空数据点集；对时空数据点集进行特征抽取，得到全局时空特征；
解码器根据全局时空特征预测输出运动主体的预测轨迹点集，预测轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置。
3.根据权利要求2所述的方法，其特征在于，编码器将当前运动数据集表达为时空坐标系中的时空数据点集，包括：
用预定的无序的数据格式对当前运动数据集进行表达，得到映射在时空坐标系中的无序的时空数据点集。
4.根据权利要求2所述的方法，其特征在于，对时空数据点集进行特征抽取，得到全局时空特征，包括：
将时空数据点集嵌入到预定的高维空间中，得到高维空间中的高维数据点集，高维数据点集中的每一维数据均包括时间特征和空间特征；
对高维数据点集进行特征抽取，得到全局时空特征。
5.根据权利要求3所述的方法，其特征在于，编码器包括输入表示层；
输入表示层用预定的无序的数据格式对当前运动数据集进行表达，得到映射在时空坐标系中的无序的时空数据点集。
6.根据权利要求4所述的方法，其特征在于，编码器包括嵌入层和特征抽取层；
嵌入层将时空数据点集嵌入到预定的高维空间中，得到高维空间中的高维数据点集，高维数据点集中的每一维数据均包括时间特征和空间特征；
特征抽取层对高维数据点集进行特征抽取，得到全局时空特征。
7.根据权利要求6所述的方法，其特征在于，编码器包括一个或多个层叠网络，每个层叠网络包括一个嵌入层和一个特征抽取层。
8.根据权利要求6所述的方法，其特征在于，嵌入层包括多层感知机。
9.根据权利要求6所述的方法，其特征在于，特征抽取层包括最大池化层或平均池化层。
10.根据权利要求2所述的方法，其特征在于，解码器包括循环神经网络或多层感知机，循环神经网络包括长短期记忆网络或门控循环单元。
11.根据权利要求1所述的方法，其特征在于，当前运动数据集还包括运动主体以及其它一个或多个运动物体在在过去预定时间段内的多个时间点的速度。
12.根据权利要求1所述的方法，其特征在于，当前运动数据集还包括：
运动主体以及每个运动物体的属性数据，属性数据包括运动主体和每个运动物体的物体类别数据。
13.根据权利要求12所述的方法，其特征在于，当运动主体或运动物体是车辆时，属性数据还包括以下一个或多个：前灯属性数据、尾灯属性数据。
14.根据权利要求1所述的方法，其特征在于，获取输入的当前运动数据集，包括：
从上游模块获取输入的当前运动数据集。
15.根据权利要求1所述的方法，其特征在于，训练得到轨迹预测神经网络的处理包括：
在训练阶段，根据历史的第一运动数据集和第二运动数据集对预设的神经网络进行多次迭代训练；其中，第一运动数据集和第二运动数据集是时间前后相邻的数据集，并且均包括运动主体以及周围一个或多个运动物体在预定时间段内多个时间点的空间位置；预设神经网络具有初始参数集；
一次迭代训练包括：
将第一运动数据集作为输入提供给神经网络；神经网络将第一运动数据集表达为时空坐标系中的时空数据集；对时空数据点集进行特征抽取得到全局时空特征，其中，全局时空特征中包括运动主体所在环境的时间特征和空间特征；根据全局时空特征预测输出运动主体的轨迹点集，轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置；
将输出的轨迹点集和第二运动数据集作为输入提供给损失函数，得到损失函数的输出；判断损失函数的输出是否满足预设的收敛条件；在判断满足收敛条件的情况下，确定训练完成、并获得训练后的神经网络的参数集；在判断不满足收敛条件的情况下，调整神经网络的参数，并执行下一次迭代训练。
16.根据权利要求15所述的方法，其特征在于，预设的神经网络包括编码器和解码器；
编码器将当前运动数据集表达为时空坐标系中的时空数据点集；对时空数据点集进行特征抽取，得到全局时空特征；
解码器根据全局时空特征预测输出运动主体在未来预定时间段内的预测轨迹点集，预测轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置。
17.根据权利要求16所述的方法，其特征在于，编码器将当前运动数据集表达为时空坐标系中的时空数据点集，包括：
用预定的无序数据格式对当前运动数据集进行表达，得到映射在时空坐标系中的无序的时空数据点集。
18.根据权利要求17所述的方法，其特征在于，对时空数据点集进行特征抽取，得到全局时空特征，包括：
将时空数据点集嵌入到预定的高维空间中，得到高维空间中的高维数据点集，高维数据点集中的每一维数据均包括时间特征和空间特征；
对高维数据点集进行特征抽取，得到全局时空特征。
19.根据权利要求17所述的方法，其特征在于，编码器包括输入表示层；
输入表示层用预定的无序的数据格式对当前运动数据集进行表达，得到映射在时空坐标系中的无序的时空数据点集。
20.根据权利要求18所述的方法，其特征在于，编码器包括嵌入层和特征抽取层；
嵌入层将时空数据点集嵌入到预定的高维空间中，得到高维空间中的高维数据点集，高维数据点集中的每一维数据均包括时间特征和空间特征；
特征抽取层对高维数据点集进行特征抽取，得到全局时空特征。
21.根据权利要求20所述的方法，其特征在于，编码器包括一个或多个层叠网络，每个层叠网络包括一个嵌入层和一个特征抽取层。
22.根据权利要求20所述的方法，其特征在于，嵌入层包括多层感知机。
23.根据权利要求20所述的方法，其特征在于，特征抽取层包括最大池化层或平均池化层。
24.根据权利要求16所述的方法，其特征在于，解码器包括循环神经网络或多层感知机，循环神经网络包括长短期记忆网络或门控循环单元。
25.根据权利要求15所述的方法，其特征在于，第一运动数据集和第二运动数据集还包括运动主体以及其它一个或多个运动物体在在过去预定时间段内的多个时间点的速度。
26.根据权利要求15所述的方法，其特征在于，第一运动数据集和第二运动数据集还包括：
运动主体以及每个运动物体的属性数据，属性数据包括运动主体和每个运动物体的物体类别数据。
27.根据权利要求26所述的方法，其特征在于，当运动主体或运动物体是车辆时，属性数据还包括以下一个或多个：前灯属性数据、尾灯属性数据。
28.一种轨迹预测装置，其特征在于，包括至少一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，至少一个处理器执行至少一条机器可执行指令后执行以下处理：
在运动主体执行运动的过程中，轨迹预测神经网络获取输入的当前运动数据集；其中，当前运动数据集包括运动主体和运动主体所在环境中一个或多个运动物体在过去预定时间段内的多个时间点的空间位置；
将当前运动数据集表达为时空坐标系中的时空数据点集；对时空数据点集进行特征抽取得到全局时空特征，其中，全局时空特征中包括运动主体所在环境的时间特征和空间特征；
根据全局时空特征预测输出运动主体的预测轨迹点集，预测轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置。
29.一种计算机程序，其特征在于，该计算机程序具有被配置用于执行以下轨迹预测处理的代码段，该处理包括：
在运动主体执行运动的过程中，轨迹预测神经网络获取输入的当前运动数据集；其中，当前运动数据集包括运动主体和运动主体所在环境中一个或多个运动物体在过去预定时间段内的多个时间点的空间位置；
将当前运动数据集表达为时空坐标系中的时空数据点集；对时空数据点集进行特征抽取得到全局时空特征，其中，全局时空特征中包括运动主体所在环境的时间特征和空间特征；
根据全局时空特征预测输出运动主体的预测轨迹点集，预测轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置。
30.一种存储介质，其特征在于，该存储介质中存储有用于轨迹预测处理的计算机程序，该处理包括：
在运动主体执行运动的过程中，轨迹预测神经网络获取输入的当前运动数据集；其中，当前运动数据集包括运动主体和运动主体所在环境中一个或多个运动物体在过去预定时间段内的多个时间点的空间位置；
将当前运动数据集表达为时空坐标系中的时空数据点集；对时空数据点集进行特征抽取得到全局时空特征，其中，全局时空特征中包括运动主体所在环境的时间特征和空间特征；
根据全局时空特征预测输出运动主体的预测轨迹点集，预测轨迹点集包括运动主体在未来预定时间段内多个时间点的空间位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010268918.XA CN113496268A (zh) | 2020-04-08 | 2020-04-08 | 一种轨迹预测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010268918.XA CN113496268A (zh) | 2020-04-08 | 2020-04-08 | 一种轨迹预测方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113496268A true CN113496268A (zh) | 2021-10-12 |
Family
ID=77995773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010268918.XA Pending CN113496268A (zh) | 2020-04-08 | 2020-04-08 | 一种轨迹预测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113496268A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913454A (zh) * | 2016-04-06 | 2016-08-31 | 东南大学 | 一种视频图像中运动目标的像素坐标轨迹预测方法 |
| CN108303108A (zh) * | 2017-12-05 | 2018-07-20 | 华南理工大学 | 一种基于车辆历史轨迹的个性化路线推荐方法 |
| KR101951595B1 (ko) * | 2018-05-18 | 2019-02-22 | 한양대학교 산학협력단 | 모듈형 순환 신경망 구조 기반 차량 경로 예측 시스템 및 방법 |
| CN109716361A (zh) * | 2016-09-08 | 2019-05-03 | 谷歌有限责任公司 | 执行触摸运动预测的深度机器学习 |
| CN110135314A (zh) * | 2019-05-07 | 2019-08-16 | 电子科技大学 | 一种基于深度轨迹预测的多目标跟踪方法 |
| CN110223318A (zh) * | 2019-04-28 | 2019-09-10 | 驭势科技（北京）有限公司 | 一种多目标轨迹的预测方法、装置、车载设备及存储介质 |
| CN110610271A (zh) * | 2019-09-17 | 2019-12-24 | 北京理工大学 | 一种基于长短记忆网络的多重车辆轨迹预测方法 |
| CN110781838A (zh) * | 2019-10-28 | 2020-02-11 | 大连海事大学 | 一种复杂场景下行人的多模态轨迹预测方法 |
| CN110795522A (zh) * | 2019-11-06 | 2020-02-14 | 中国人民解放军战略支援部队信息工程大学 | 一种移动用户轨迹位置的预测方法及装置 |
-
2020
- 2020-04-08 CN CN202010268918.XA patent/CN113496268A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913454A (zh) * | 2016-04-06 | 2016-08-31 | 东南大学 | 一种视频图像中运动目标的像素坐标轨迹预测方法 |
| CN109716361A (zh) * | 2016-09-08 | 2019-05-03 | 谷歌有限责任公司 | 执行触摸运动预测的深度机器学习 |
| CN108303108A (zh) * | 2017-12-05 | 2018-07-20 | 华南理工大学 | 一种基于车辆历史轨迹的个性化路线推荐方法 |
| KR101951595B1 (ko) * | 2018-05-18 | 2019-02-22 | 한양대학교 산학협력단 | 모듈형 순환 신경망 구조 기반 차량 경로 예측 시스템 및 방법 |
| CN110223318A (zh) * | 2019-04-28 | 2019-09-10 | 驭势科技（北京）有限公司 | 一种多目标轨迹的预测方法、装置、车载设备及存储介质 |
| CN110135314A (zh) * | 2019-05-07 | 2019-08-16 | 电子科技大学 | 一种基于深度轨迹预测的多目标跟踪方法 |
| CN110610271A (zh) * | 2019-09-17 | 2019-12-24 | 北京理工大学 | 一种基于长短记忆网络的多重车辆轨迹预测方法 |
| CN110781838A (zh) * | 2019-10-28 | 2020-02-11 | 大连海事大学 | 一种复杂场景下行人的多模态轨迹预测方法 |
| CN110795522A (zh) * | 2019-11-06 | 2020-02-14 | 中国人民解放军战略支援部队信息工程大学 | 一种移动用户轨迹位置的预测方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 孙亚圣等: "基于注意力机制的行人轨迹预测生成模型", 《计算机应用》, vol. 39, no. 3, pages 668 - 674 * |
| 欧阳俊等: "基于GAN和注意力机制的行人轨迹预测", 《激光与光电子学进展》, pages 141016 - 1 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114092751A (zh) | 一种轨迹预测方法和装置 | |
| CN111860493B (zh) | 一种基于点云数据的目标检测方法及装置 | |
| CN111292366B (zh) | 一种基于深度学习和边缘计算的视觉行车测距算法 | |
| US11527028B2 (en) | Systems and methods for monocular based object detection | |
| US20220227391A1 (en) | Systems and methods for scenario dependent trajectory scoring | |
| US11887323B2 (en) | Self-supervised estimation of observed vehicle pose | |
| US11100372B2 (en) | Training deep neural networks with synthetic images | |
| US20230153623A1 (en) | Adaptively pruning neural network systems | |
| CN114119625A (zh) | 点云数据的分割与分类 | |
| US11657635B2 (en) | Measuring confidence in deep neural networks | |
| CN113496268A (zh) | 一种轨迹预测方法和装置 | |
| US20230038578A1 (en) | Systems and Methods for Image Based Perception | |
| CN115731531A (zh) | 对象轨迹预测 | |
| US20220188621A1 (en) | Generative domain adaptation in a neural network | |
| US20230075425A1 (en) | Systems and methods for training and using machine learning models and algorithms | |
| US11462020B2 (en) | Temporal CNN rear impact alert system | |
| US11823465B2 (en) | Neural network object identification | |
| US11966452B2 (en) | Systems and methods for image based perception | |
| US11068749B1 (en) | RCCC to RGB domain translation with deep neural networks | |
| US11158066B2 (en) | Bearing only SLAM with cameras as landmarks | |
| US11443147B2 (en) | Systems and methods for object detection using stereovision information | |
| EP4131174A1 (en) | Systems and methods for image based perception | |
| US20220172062A1 (en) | Measuring confidence in deep neural networks | |
| CN118053062A (zh) | 使用多个神经网络执行电子设备或车辆的感知任务的方法 | |
| EP4111288A1 (en) | Perpendicular cut-in training |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |