CN115273015A - 一种预测方法、装置、智能驾驶系统和车辆 - Google Patents

Abstract

本申请提供了一种预测方法、装置和车辆，涉及智能驾驶技术领域。其中，所述方法包括：通过获取多帧图像和高精度地图，对多帧图像进行处理，得到每帧图像的特征，然后根据每帧图像的特征，提取出行人的时空特征和交互特征，从而得到更多的环境特征和增加了行人与周围环境的交互信息，使得后续预测行人的运动轨迹更加准确；再利用高精度地图提取出地图特征，使得最后结合行人的时空特征和行人的交互特征预测出的行人轨迹更加精准。

Description

一种预测方法、装置、智能驾驶系统和车辆

技术领域

本发明涉及智能驾驶技术领域，尤其涉及一种预测方法、装置、智能驾驶系统和车辆。

背景技术

随着智能化的发展和普及，车辆的智能驾驶成为当前比较热门的研究方向。智能驾驶系统根据功能需求，可分为定位、环境感知、路径规划和决策控制四个关键功能模块。其中，预测车辆即将行驶的道路、行人运动轨迹等预测功能主要集中在环境感知模块中。目前实现预测功能的预测算法有基于目标轨迹和地图进行预测、基于视觉图像进行预测等等。

对于现有的基于目标的历史轨迹和地图进行预测的算法，其利用历史轨迹的空间坐标点来预测未来轨迹。该算法实现预测功能需要大量的历史数据来支撑，如果车辆初次使用、车辆所处的位置为全新环境等情况，该算法预测结果会大打折扣；对于基于视觉图像进行预测的算法，由于拍摄的图像缺乏深度信息，以及行人的机动性强、速度低、目标小等缺陷，根据图像生成的行人的跟踪信息容易受噪音干扰，所以预测出的行人运动轨迹的精度比较低。因此，如何提高预测车辆或行人轨迹的准确性是目前亟需解决的问题。

发明内容

为了解决上述的问题，本申请的实施例提供了一种预测方法、装置、智能驾驶系统和车辆。

第一方面，本申请提供一种轨迹预测方法，其特征在于，包括：获取至少两帧三维点云图，该至少两帧三维点云图均包括第一目标和第二目标，该至少两帧三维点云图为进行坐标统一后获取的三维点云图；对该至少两帧三维点云图进行目标检测，获取该至少两帧三维点云图各自对应的特征图；根据该特征图，提取出该第一目标的位置特征和动态特征，该位置特征包括该第一目标在该特征图中的位置信息，该动态特征包括该特征图中对应的第一区域特征，该第一区域特征是根据该第一目标在该特征图中的位置信息确定；确定该第一目标的交互特征，该交互特征是通过将该第一目标的该位置特征和该动态特征与该第二目标的位置特征和动态特征输入神经网络模型得到；根据该第一目标的该位置特征和该动态特征、该第一目标的交互特征和该第一目标的地图特征，预测该第一目标的运动轨迹，该第一目标的地图特征是通过对存储的该第一目标当前位置设定范围内的地图进行编码得到的。

在该实施方式中，以第一目标为行人为例。通过获取多帧图像和高精度地图，对多帧图像进行处理，得到每帧图像的特征，然后根据每帧图像的特征，提取出行人的时空特征和交互特征，从而得到更多的环境特征和增加了行人与周围环境的交互信息，使得后续预测行人的运动轨迹更加准确；再利用高精度地图提取出地图特征，使得最后结合行人的时空特征和行人的交互特征预测出的行人轨迹更加精准。

在一种实施方式中，对该至少两帧三维点云图进行目标检测，获取该至少两帧三维点云图各自对应的特征图，包括：对该至少两帧三维点云图进行编码，提取出每一帧三维点云图中该第一目标和该第二目标的形状特征；构建该至少两帧三维点云图对应的特征图，该特征图包括该第一目标和该第二目标的形状特征。

在该实施方式中，三维点云图是一种占内存比较大的图像，通过将三维点云图像转换为占内存比较小的特征图，以便后续使用三维点云图中信息时，可以提升处理速度。

在一种实施方式中，该根据该特征图，提取出该第一目标的位置特征，包括：将该至少两帧三维点云图各自对应的特征图输入区域提取网络模型，得到该第一目标在每帧的特征图中的位置信息。

在一种实施方式中，该根据该特征图，提取出该第一目标的位置特征和动态特征，包括：根据该至少两帧三维点云图各自对应的特征图、该第一目标在每帧的特征图中的位置信息和拼接后的特征，确定该第一目标在该拼接后的特征图上的位置信息，该拼接后的特征图通过将该至少两帧三维点云图对应的特征图在特征维度上进行拼接得到；根据该第一目标在该拼接后的特征图上的位置信息，确定该第一目标在该拼接后的特征图上的历史运动轨迹；将该历史运动轨迹输入匀速模型，得到该第一目标在该拼接后的特征图上的第一区域；提取该拼接后的特征图中处在该第一区域内的特征。

在该实施方式中，通过增加目标行人周围设定范围内的环境特征，使得后续在对目标的未来轨迹预测更加精准。

在一种实施方式中，该确定该第一目标的交互特征，包括：确定第一类型目标，该第一类型目标为符合设定规则的目标，该至少两帧三维点云图均包括该第一类型目标，该第一类型目标包括该第二目标；将该第一目标和该第一类型目标的位置特征和动态特征输入该神经网络模型，得到该第一目标的交互特征。

在一种实施方式中，该将该第一目标和该第一类型目标的位置特征和动态特征输入该神经网络模型，得到该第一目标的交互特征，包括：将该第一目标和该第一类型目标的位置特征和动态特征输入该神经网络模型，得到目标与目标之间的交互特征；选择出该第一目标与该第一类型目标的交互特征；将该第一目标与该第一类型目标的交互特征输入该神经网络模型，得到该第一目标的交互特征。

在一种实施方式中，该至少两帧三维点云图为进行坐标统一后获取的三维点云图，包括：以目标三维点云图的坐标系为基准，将该至少两帧三维点云图中除该目标三维点云图外的其它三维点云图进行坐标转换。

在一种实施方式中，该根据该第一目标的该位置特征和该动态特征、该第一目标的交互特征和该第一目标的地图特征，预测该第一目标的运动轨迹，包括：将该第一目标的该空间特征、该第一目标的交互特征和该第一目标的地图特征在特征维度进行拼接，得到该第一目标的预测轨迹特征；将该第一目标的预测轨迹特征输入多层感知机，得到该第一目标的运动轨迹。

在该实施方式中，通过将得到的运动轨迹特征输入到MLP，降低运动轨迹特征的特征维度，以便缩短预测时间，减少冗余特征，噪声小，结果更加准确。

第二方面，本申请提供一种预测装置，包括：收发单元，用于获取至少两帧三维点云图，该至少两帧三维点云图均包括第一目标和第二目标，该至少两帧三维点云图为进行坐标统一后获取的三维点云图；处理单元，用于对该至少两帧三维点云图进行目标检测，获取该至少两帧三维点云图各自对应的特征图；根据该特征图，提取出该第一目标的位置特征和动态特征，该位置特征包括该第一目标在该特征图中的位置信息，该动态特征包括该特征图中对应的第一区域特征，该第一区域特征是根据该第一目标在该特征图中的位置信息确定；确定该第一目标的交互特征，该交互特征是通过将该第一目标的该位置特征和该动态特征与该第二目标的位置特征和动态特征输入神经网络模型得到；根据该第一目标的该位置特征和该动态特征、该第一目标的交互特征和该第一目标的地图特征，预测该第一目标的运动轨迹，该第一目标的地图特征是通过对存储的该第一目标当前位置设定范围内的地图进行编码得到的。

在一种实施方式中，该处理单元，具体用于对该至少两帧三维点云图进行编码，提取出每一帧三维点云图中该第一目标和该第二目标的形状特征；构建该至少两帧三维点云图对应的特征图，该特征图包括该第一目标和该第二目标的形状特征。

在一种实施方式中，该处理单元，具体用于将该至少两帧三维点云图各自对应的特征图输入区域提取网络模型，得到该第一目标在每帧的特征图中的位置信息。

在一种实施方式中，该处理单元，具体用于根据该至少两帧三维点云图各自对应的特征图、该第一目标在每帧的特征图中的位置信息和拼接后的特征，确定该第一目标在该拼接后的特征图上的位置信息，该拼接后的特征图通过将该至少两帧三维点云图对应的特征图在特征维度上进行拼接得到；根据该第一目标在该拼接后的特征图上的位置信息，确定该第一目标在该拼接后的特征图上的历史运动轨迹；将该历史运动轨迹输入匀速模型，得到该第一目标在该拼接后的特征图上的第一区域；提取该拼接后的特征图中处在该第一区域内的特征。

在一种实施方式中，该处理单元，具体用于确定第一类型目标，该第一类型目标为符合设定规则的目标，该至少两帧三维点云图均包括该第一类型目标，该第一类型目标包括该第二目标；将该第一目标和该第一类型目标的位置特征和动态特征输入该神经网络模型，得到该第一目标的交互特征。

在一种实施方式中，该处理单元，具体用于将该第一目标和该第一类型目标的位置特征和动态特征输入该神经网络模型，得到目标与目标之间的交互特征；选择出该第一目标与该第一类型目标的交互特征；将该第一目标与该第一类型目标的交互特征输入该神经网络模型，得到该第一目标的交互特征。

在一种实施方式中，该处理单元，具体用于以目标三维点云图的坐标系为基准，将该至少两帧三维点云图中除该目标三维点云图外的其它三维点云图进行坐标转换。

在一种实施方式中，该处理单元，具体用于将该第一目标的该空间特征、该第一目标的交互特征和该第一目标的地图特征在特征维度进行拼接，得到该第一目标的预测轨迹特征；将该第一目标的预测轨迹特征输入多层感知机，得到该第一目标的运动轨迹。

第三方面，本申请提供一种智能驾驶系统，包括至少一个处理器，该处理器用于执行存储器中存储的指令，以执行如第一方面各个可能实现的实施例。

第四方面，本申请提供一种车辆，包括：至少一个存储器，用于存储程序；至少一个处理器，用于执行该存储器存储的程序，当该存储器存储的程序被执行时，该处理器用于执行如第一方面各个可能实现的实施例。

第五方面，本申请提供一种计算机存储介质，该计算机存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行第一方面各个可能实现的实施例。

第六方面，本申请提供一种包含指令的计算机程序产品，当该指令在计算机上运行时，使得该计算机执行如第一方面各个可能实现的实施例。

附图说明

下面对实施例或现有技术描述中所需使用的附图作简单地介绍。

图1为本申请实施例提供的一种智能驾驶系统的架构示意图；

图2为本申请实施例提供的环境感知模块进行轨迹预测的架构示意图；

图3为本申请实施例提供的图像特征提取单元的架构示意图；

图4为本申请实施例提供的多帧特征图拼接示意图；

图5为本申请实施例提供的时空特征提取单元的架构示意图；

图6为本申请实施例提供的一种预测方法的流程示意图；

图7为本申请实施例提供的一种预测装置的架构示意图；

图8为本申请实施例提供的一种预测装置的架构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

智能驾驶系统，就是利用传感器检测周围环境和自身状态，如导航定位信息、道路信息、其他车辆和行人等障碍物信息、自身的位姿信息及运动状态信息等等，经过一定的决策规划算法后，精确的控制车辆行驶速度和转向，从而现实在不需要驾驶员的监控下即自动驾驶。如图1所示，根据智能驾驶系统100的功能需求，可将该系统100分为定位模块10、环境感知模块20、路径规划模块30和决策控制模块40。

定位模块10用于通过传感器系统中的全球定位系统(global positioningsystem，GPS)单元、惯性导航系统(inertial navigation system，INS)单元、里程计、摄像头、雷达等传感器采集的数据，获取车辆的位置和导航信息。

其中，定位技术按照定位的方式可分为绝对定位、相对定位和组合定位三种。绝对定位是指通过GPS实现，即通过卫星获得车辆在地球上的绝对位置和航向信息；相对定位是指根据车辆的初始位姿，通过INS、里程计等传感器获得加速度和角加速度信息，将其对时间进行积分，即可得到相对初始位姿的当前位姿信息；组合定位是指将绝对定位和相对定位结合，以弥补单一定位方式的不足。

环境感知模块20用于通过传感器系统中的GPS单元、INS单元、里程计、摄像头、雷达(激光雷达、毫米波雷达、超声波雷达等等)等传感器采集的数据，以及定位模块10获取的车辆的位置和导航信息，感知车辆周围的环境信息和车辆状态信息。

其中，环境信息可以包括道路的形状、方向、曲率、坡度、车道，交通标志，信号灯，其他车辆或行人的位置、大小、前进方向和速度等；车辆状态信息可以包括车辆的前进速度、加速度、转向角度、车身位置及姿态等。

路径规划模块30用于通过定位模块10获取的车辆的位置和导航信息，以及环境感知模块20感知的车辆周围的环境信息和车辆状态信息，为车辆规划合理的行驶路线。其中，根据路径规划的范围，可分为全局路径规划和局部路径规划。全局路径规划是指在已知全局地图的情况下，从车辆当前位置规划出一条到目的地的全局路径；局部路径规划指根据环境感知信息，在换道、转弯、躲避障碍物等情况下，实时规划出一条安全、平顺的行驶路径。

决策控制模块40包括决策功能和控制功能。其中，决策功能用于根据定位模块10、环境感知模块20和路径规划模块30得到数据，决定车辆选取哪条车道、是否换道、是否跟车行驶、是否绕行、是否停车等行为；控制功能用于执行决策功能下发的决策指令，控制车辆达到期望的速度和转向角度，以及对转向灯、喇叭、门窗等部件的控制。

本申请实施例中，对车辆周围的其它车辆和行人的轨迹进行预测过程，一般在环境感知模块20中实现，也可以在路径规划模块30中实现，具体根据预测结果使用场景来确定，在此不做限定。本申请下面将以环境感知模块20预测行人的运动轨迹为例来讲述本申请的技术方案。

如图2所示，环境感知模块20根据执行的功能，可分为图像特征提取单元201、目标特征提取单元202和地图特征提取单元203。

以传感器系统中激光雷达传感器为例。当车辆控制激光雷达传感器实时扫描车辆周围环境时，激光传感器发射激光束，并按照某种轨迹对车辆周围环境进行扫描，边扫描边记录到反射的激光点信息，得到大量的激光点，然后以一个扫描周期为一帧，得到多帧激光点云。由于激光照射到物体表面时，所反射的激光会携带方位、距离等信息，所以得到的每一帧激光点云都可以构建出车辆周围环境的三维点云图。

由于车辆处在运动状态，每一帧三维点云图是车辆处在不同位置下得到的，在得到多帧三维点云图后，可以将每帧三维点云图统一到同一个坐标系下。示例性地，车辆在得到多帧三维点云图后，根据加速度计、里程计、定位装置等传感器采集的加速度、移动的距离、定位等信息，计算出车辆获取每一帧三维点云图的位置信息，然后以最后一帧三维点云图(也即当前时刻获取的三维点云图)的坐标为基准，将在此之前获取的其它三维点云转换到当前时刻的三维点云坐标系上，使得所有帧的三维点云图统一在同一个坐标系下。

其中，多帧三维点云图在时序上为激光雷达连续获取的三维点云图，也可以通过设定间隔，每隔N帧(或每隔T秒)获取一帧激光雷达采集的三维点云图，得到多帧三维点云图。

图像特征提取单元201用于在接收到多帧三维点云图后，对每帧三维点云图进行目标检测，提取出每帧三维点云图中属于行人、车辆等物体的特征，将提取的特征构成特征图B_j，再根据特征图B_j，得到拼接后的特征图B和目标行人在每帧三维点云图对应特征图B_j上的位置信息。

如图3所示，图像特征提取单元201根据执行的功能，可分为点云特征编码器2011、点云拼接器2012和区域提取网络(region proposal network，RPN)单元2013。其中，点云特征编码器2011对每一帧的三维点云图进行编码，以提取出每一帧中三维点云图数据的点、线、面和圆柱体特征。根据本申请的应用场景为对行人的运动轨迹进行预测，以及影响目标行人未来运动轨迹的其它行人、车辆等物体，所以针对性地提取的特征还包括行人特征和车辆特征，并将提取出每一帧三维点云图中的行人特征和车辆特征构成特征图，记为B_j，其中，j表示帧的序号。

点云拼接器2012在得到每一帧三维点云图对应的特征图B_j后，将每一帧三维点云图对应的特征图B_j按照时间顺序，在特征维度C上进行拼接，得到拼接后的特征图B，如图4所示，以便后续对目标的历史轨迹进行提取。

RPN单元2013接收点云特征编码器2011提取的每一帧三维点云图对应的特征图B_j后，将特征图(B₁，B₂，……，B_j)输入RPN模型中，通过对目标行人的特征进行提取，得到目标行人特征在每个特征图B_j上的位置，并该在每个特征图B_j上的位置作为检测框(x，y，w，h，θ)，以便后续在拼接后的特征图B上检测出目标行人的位置信息。其中，(x，y)、w、h和θ分别表示检测框在特征图上的中心坐标、宽度、高度和角度。

目标特征提取单元202用于获取图像特征提取单元201提取的每一帧三维点云图对应的特征图B_j、目标行人在每帧特征图B_j上的检测框(x，y，w，h，θ)、拼接后的特征图B等数据，提取出目标行人在拼接后的特征图B的位置信息、目标行人在拼接后的特征图B上活动范围内的环境特征和目标行人与其它行人、车辆等物体之间的交互特征。

如图5所示，目标特征提取单元202包括空间特征单元2021和交互特征单元2022，空间特征单元2021包括位置特征单元20211和动态特征单元20212。其中，位置特征单元20211获取的位置特征，也即指每一帧三维点云图对应的特征图B_j上的检测框(x，y，w，h，θ)在拼接后的特征图B上的特征向量；动态特征单元20212获取的动态特征，也即指根据拼接后的特征图B上的目标行人的历史轨迹(x_j，y_j，θ_j)估计目标行人的活动范围，再根据目标行人的活动范围确定在特征图B上行人活动范围的特征向量。

位置特征单元20211在接收到每一帧三维点云图对应的特征图B_j、目标行人在每帧特征图B_j上的检测框(x，y，w，h，θ)和拼接后的特征图B，根据目标行人在每帧特征图B_j上的检测框(x，y，w，h，θ)和特征图B_j，在拼接后的特征图B上提取出各个检测框的位置，再将提取的各个检测框的位置在特征维度C上进行拼接，得到目标行人的位置特征。

动态特征单元20212得到在拼接后的特征图B上的各个检测框的位置后，连接各个检测框的位置，在拼接后的特征图B上得到目标的历史运动轨迹(x_j，y_j，θ_j)，然后将目标的历史运动轨迹(x_j，y_j，θ_j)输入到输入匀速模型，利用匀速模型估计出目标的可能活动的活动范围(x_max，x_min，y_max，y_min)，最后将处于活动范围内的拼接后的特征图B上特征作为动态特征。本申请通过增加目标行人周围的环境特征，使得后续在对目标的未来轨迹预测更加精准。

可选地，空间特征单元2021在得到位置特征和动态特征后，将位置特征和动态特征分别输入感兴趣区域排列(region of interest align，ROI Align)网络，通过利用双线性插值进行聚类处理后，再在特征维度C上进行拼接，得到拼接后的目标行人的空间特征，再通过残差网络(residual network，ResNet)模型进行处理，得到更为精准的目标行人的空间特征。

交互特征单元2022用于根据传感器系统采集的距离信息，先对行人和车辆进行分组。分组的方式可以采用距离的方式进行分组，如将距离传感器采集的区域均匀地划分成M个n×m大小的子区域，其它组以此类推，或者以目标行人为基准，筛选出距离目标行人的设定距离d1内的行人或车辆设为一组，距离目标行人的设定距离d2内的行人或车辆设为一组，其它组以此类推。本申请在此对分组方式不做限定。

交互特征单元2022在分组完成之后，确定出目标行人所在的分组，或确定筛选规则对应的分组，再计算该组内的行人与行人、行人与车辆之间的交互特征的过程中，将组内的各个行人的时空特征和各个车辆的时空特征(上文中虽然没有提到车辆的时空特征，其实现方式可以为与行人的时空特征过程相同，也可以直接获取导航路线等方式得到，在此不限)输入至图神经网络(graph neural network，GNN)模型，得到组内每个行人与行人、行人与车辆、车辆与车辆之间的交互特征。示例性地，交互特征单元2022将包括目标行人的一组内的各个行人的时空特征和各个车辆的时空特征作为GNN的节点f，然后通过公式(1)计算出各个节点f之间的交互特征v_ij。其中，公式(1)为：

其中，α和ψ为线性映射函数，i和j表示行人、车辆的序号。

交互特征单元2022在得到该组内各个行人与行人、行人与车辆、车辆与车辆之间的交互特征后，再选择出属于目标行人与其它行人和车辆的交互特征，然后将选择出的交互特征再次输入至GNN模型中，得到目标行人的交互特征。示例性地，交互特征单元2022将目标行人与一个行人或一辆车辆的交互特征v_ij作为一个节点，通过公式(2)计算出目标行人与组内行人和车辆之间的交互特征GNN(F)。其中，公式(2)为：

GNN(F)＝softmax(V)·F； (2)

其中，F表示节点f的集合，V表示节点f的交互特征集合

地图特征提取单元203先将高精度地图向量化，利用自注意力(self-attention)机制对向量化的高精度地图进行处理，选取出当前位置一定范围内要素的特征，如行人横道、非机动车道、路面、交通灯等要素的特征，然后再利用self-attention机制对选取出要素的特征进行编码，得到全局地图特征。示例性地，地图特征提取单元203将当前位置一定范围内的高精度地图通过公式(3)进行处理，选取出各个要素的特征，公式(3)为：

GNN(P)＝softmax(P_KP_Q)P_V； (3)

其中，P为GNN节点特征矩阵，P_K、P_Q、P_V均为其线性映射。

地图特征提取单元203再将选取出各个要素的特征作为全局特征的节点f，通过公式(1)对各个节点进行编码，得到全局地图特征。

最后，环境感知模块20在得到目标行人的空间特征、目标行人的交互特征和全局地图特征后，将其在特征维度C上进行拼接，得到一个特征维度比较高的行人预测轨迹特征，然后将该预测轨迹特征输入到多层感知机(multi-layer perception，MLP)中，通过内部的多个计算层提取，将输入的特征维度比较高的预测轨迹特征映射到一个数据集上，从而输出一个合理特征维度的特征向量，即为预测的目标行人运动轨迹。

本申请实施例中，在获取多帧三维点云图和高精度地图后，通过对多帧三维点云图进行处理，提取出目标行人的空间特征和交互特征，从而得到更多的环境特征和增加了目标行人与周围环境的交互信息，使得后续预测行人的运动轨迹更加准确；再利用高精度地图提取出地图特征，最后通过拼接目标行人的时空特征、目标行人的交互特征和地图特征，预测出目标行人的轨迹，该方案在准确度上有较大的提升，轨迹预测三秒内的平均距离误差为0.25m，优于现有的方法。而且，基于激光点云信息，在测距精度以及光线鲁棒性上相比于使用图像的算法有了较大的提升。

图6为本申请实施例提供的一种预测方法的流程示意图。如图6所示，本申请实施例提供了一种预测方法，具体实现过程如下：

步骤S601，获取至少两帧三维点云图。其中，至少两帧三维点云图中均包括第一目标和第二目标，甚至更多其它目标，，该目标可以为行人、车辆等物体。这里的“第一”、“第二”仅是对目标进行编号，并不包含任何特定含义。本申请以第一目标为进行轨迹预测的目标行人为例，以第二目标为代表的目标，是三维点云图中获取的其它可能会影响到目标行人后续运动轨迹的目标。

本申请以激光雷达传感器采集三维点云图为例当车辆控制激光雷达传感器实时扫描车辆周围环境时，激光传感器发射激光束，并按照某种轨迹对车辆周围环境进行扫描，边扫描边记录到反射的激光点信息，得到大量的激光点，然后以一个扫描周期为一帧，得到多帧激光点云。由于激光照射到物体表面时，所反射的激光会携带方位、距离等信息，所以得到的每一帧激光点云都可以构建出车辆周围环境的三维点云图。

由于车辆处在运动状态，每一帧三维点云图是车辆处在不同位置下得到的，在得到多帧三维点云图后，可以将每帧三维点云图统一到同一个坐标系下。示例性地，车辆在得到多帧三维点云图后，根据加速度计、里程计、定位装置等传感器采集的加速度、移动的距离、定位等信息，计算出车辆获取每一帧三维点云图的位置信息，然后以最后一帧三维点云图(也即当前时刻获取的三维点云图)的坐标为基准，将在此之前获取的其它三维点云转换到当前时刻的三维点云坐标系上，使得所有帧的三维点云图统一在同一个坐标系下。

其中，多帧三维点云图在时序上为激光雷达连续获取的三维点云图，也可以通过设定间隔，每隔N帧(或每隔T秒)获取一帧激光雷达采集的三维点云图，得到多帧三维点云图。

步骤S603，对至少两帧三维点云图进行目标检测，获取至少两帧三维点云图各自对应的特征图。

具体地，本申请在得到多帧三维点云图后，对每一帧的三维点云图进行编码，以提取出每一帧中三维点云图数据的点、线、面和圆柱体特征。根据本申请的应用场景为对行人的运动轨迹进行预测，以及影响目标行人未来运动轨迹的其它行人、车辆等物体，所以针对性地提取的特征还包括行人特征和车辆特征，并将提取出每一帧三维点云图中的行人特征和车辆特征构成特征图。

可选地，得到每一帧三维点云图对应的特征图B_j后，将每一帧三维点云图对应的特征图B_j按照时间顺序，在特征维度C上进行拼接，得到拼接后的特征图B，如图4所示，以便后续对目标的历史轨迹进行提取。

步骤S605，根据特征图，提取出第一目标的位置特征和动态特征。其中，第一目标为本申请预测轨迹的对象，可以为行人或车辆，在此以行人为例。

具体地，将每一帧三维点云图对应的特征图B_j输入RPN模型中，通过对目标行人的特征进行提取，得到目标行人特征在每个特征图B_j上的位置，并该在每个特征图B_j上的位置作为检测框(x，y，w，h，θ)，以便后续在拼接后的特征图B上检测出目标行人的位置信息。其中，(x，y)、w、h和θ分别表示检测框在特征图上的中心坐标、宽度、高度和角度。

在提取目标行人的位置特征过程中，根据目标行人在每帧特征图B_j上的检测框(x，y，w，h，θ)和特征图B_j，在拼接后的特征图B上提取出各个检测框的位置，再将提取的各个检测框的位置在特征维度C上进行拼接，得到目标行人的位置特征。

在提取目标行人的动态特征过程中，得到在拼接后的特征图B上的各个检测框的位置后，连接各个检测框的位置，在拼接后的特征图B上得到目标的历史运动轨迹(x_j，y_j，θ_j)，然后将目标的历史运动轨迹(x_j，y_j，θ_j)输入到输入匀速模型，利用匀速模型估计出目标的可能活动的活动范围(x_max，x_min，y_max，y_min)，最后将处于活动范围内的拼接后的特征图B上特征作为动态特征。本申请通过增加目标行人周围的环境特征，使得后续在对目标的未来轨迹预测更加精准。

可选地，在得到位置特征和动态特征后，将位置特征和动态特征分别输入ROIAlign网络模型，通过利用双线性插值进行聚类处理后，再在特征维度C上进行拼接，得到拼接后的目标行人的空间特征，再通过ResNet模型进行处理，得到更为精准的目标行人的空间特征。

步骤S607，确定第一目标的交互特征。

可选地，根据传感器系统采集的距离信息，先对行人和车辆进行分组。分组的方式可以采用距离的方式进行分组，如将距离传感器采集的区域均匀地划分成M个n×m大小的子区域，其它组以此类推，或者以目标行人为基准，筛选出距离目标行人的设定距离d1内的行人或车辆设为一组，距离目标行人的设定距离d2内的行人或车辆设为一组，其它组以此类推。本申请在此对分组方式不做限定。

在分组完成之后，确定出目标行人所在的分组，或确定筛选规则对应的分组，其中，该分组包括第二目标。在计算该组内的行人与行人、行人与车辆之间的交互特征的过程中，将组内的各个行人的时空特征和各个车辆的时空特征输入至GNN模型，得到组内每个行人与行人、行人与车辆、车辆与车辆之间的交互特征。在得到该组内各个行人与行人、行人与车辆、车辆与车辆之间的交互特征后，再选择出属于目标行人与其它行人和车辆的交互特征，然后将选择出的交互特征再次输入至GNN模型中，得到目标行人的交互特征。

步骤S609，根据第一目标的位置特征和动态特征、第一目标的交互特征和第一目标的地图特征，预测第一目标的运动轨迹。

在此之前，先对高精度地图进行处理，先将高精度地图向量化，利用self-attention机制对向量化的高精度地图进行处理，选取出当前位置一定范围内要素的特征，如行人横道、非机动车道、路面、交通灯等要素的特征，然后再利用self-attention机制对选取出要素的特征进行编码，得到全局地图特征。

在得到目标行人的空间特征、目标行人的交互特征和全局地图特征后，将其在特征维度C上进行拼接，得到一个特征维度比较高的行人预测轨迹特征，然后将该预测轨迹特征输入到MLP中，通过内部的多个计算层提取，将输入的特征维度比较高的预测轨迹特征映射到一个数据集上，从而输出一个合理特征维度的特征向量，即为预测的目标行人运动轨迹。

图7为本申请实施例提供的一种轨迹预测装置的结构示意图，该轨迹预测装置700可以计算设备或设备(例如，车辆、终端等等)，也可以是设备内的装置(例如，ISP或SoC)。并且可以实现如图1至图6所示的轨迹预测方法以及上述各可选实施例。如图7所示，轨迹预测装置700包括：收发单元701和处理单元702。

本申请中，轨迹预测装置700具体实现过程为：收发单元701用于获取至少两帧三维点云图，该至少两帧三维点云图均包括第一目标和第二目标，该至少两帧三维点云图为进行坐标统一后获取的三维点云图；处理单元702用于对该至少两帧三维点云图进行目标检测，获取该至少两帧三维点云图各自对应的特征图；根据该特征图，提取出该第一目标的位置特征和动态特征，该位置特征包括该第一目标在该特征图中的位置信息，该动态特征包括该特征图中对应的第一区域特征，该第一区域特征是根据该第一目标在该特征图中的位置信息确定；确定该第一目标的交互特征，该交互特征是通过将该第一目标的该位置特征和该动态特征与该第二目标的位置特征和动态特征输入神经网络模型得到；根据该第一目标的该位置特征和该动态特征、该第一目标的交互特征和该第一目标的地图特征，预测该第一目标的运动轨迹，该第一目标的地图特征是通过对存储的该第一目标当前位置设定范围内的地图进行编码得到的。

收发单元701用于执行上述轨迹预测方法中S601以及其中任一可选的示例。处理单元702，用于执行上述轨迹预测方法中S603、S605、S607和S609以及其中任一可选的示例。具体参见方法示例中的详细描述，此处不做赘述。

应理解的是，本申请实施例中的轨迹预测装置可以由软件实现，例如，具有上述功能的计算机程序或指令来实现，相应计算机程序或指令可以存储在终端内部的存储器中，通过处理器读取该存储器内部的相应计算机程序或指令来实现上述功能。或者，本申请实施例中的轨迹预测装置还可以由硬件来实现。其中处理单元702为处理器(如NPU、GPU、系统芯片中的处理器)，收发单元701为收发电路或接口电路。或者，本申请实施例中的轨迹预测装置还可以由处理器和软件模块的结合实现。

应理解，本申请实施例中的装置处理细节可以参考图1-图6示意的相关内容，本申请实施例将不再重复赘述。

图8为本申请实施例提供的另一种轨迹预测装置的结构示意图，该轨迹预测装置800可以计算设备或设备(例如，车辆、终端等等)，也可以是设备内的装置(例如，ISP或SoC)。并且可以实现如图1至图6所示的轨迹预测方法以及上述各可选实施例。如图8所示，轨迹预测装置800包括：处理器801，与处理器801耦合的接口电路802。应理解，虽然图8中仅示出了一个处理器和一个接口电路。轨迹预测装置800可以包括其他数目的处理器和接口电路。

本申请中，轨迹预测装置800具体实现过程为：接口电路802用于获取至少两帧三维点云图，该至少两帧三维点云图均包括第一目标和第二目标，该至少两帧三维点云图为进行坐标统一后获取的三维点云图；处理器801用于对该至少两帧三维点云图进行目标检测，获取该至少两帧三维点云图各自对应的特征图；根据该特征图，提取出该第一目标的位置特征和动态特征，该位置特征包括该第一目标在该特征图中的位置信息，该动态特征包括该特征图中对应的第一区域特征，该第一区域特征是根据该第一目标在该特征图中的位置信息确定；确定该第一目标的交互特征，该交互特征是通过将该第一目标的该位置特征和该动态特征与该第二目标的位置特征和动态特征输入神经网络模型得到；根据该第一目标的该位置特征和该动态特征、该第一目标的交互特征和该第一目标的地图特征，预测该第一目标的运动轨迹，该第一目标的地图特征是通过对存储的该第一目标当前位置设定范围内的地图进行编码得到的。

其中，接口电路802用于与终端的其他组件连通，例如存储器或其他处理器。处理器801用于通过接口电路802与其他组件进行信号交互。接口电路802可以是处理器801的输入/输出接口。

例如，处理器801通过接口电路802读取与之耦合的存储器中的计算机程序或指令，并译码和执行这些计算机程序或指令。应理解，这些计算机程序或指令可包括上述终端功能程序，也可以包括上述应用在终端内的轨迹预测装置的功能程序。当相应功能程序被处理器801译码并执行时，可以使得终端或在终端内的轨迹预测装置实现本申请实施例所提供的轨迹预测方法中的方案。

可选的，这些终端功能程序存储在轨迹预测装置800外部的存储器中。当上述终端功能程序被处理器801译码并执行时，存储器中临时存放上述终端功能程序的部分或全部内容。

可选的，这些终端功能程序存储在轨迹预测装置800内部的存储器中。当轨迹预测装置800内部的存储器中存储有终端功能程序时，轨迹预测装置800可被设置在本申请实施例的终端中。

可选的，这些终端功能程序的部分内容存储在轨迹预测装置00外部的存储器中，这些终端功能程序的其他部分内容存储在轨迹预测装置800内部的存储器中。

应理解，图7至图8任一所示的轨迹预测装置可以互相结合，图7至图8任一所示的轨迹预测装置以及各可选实施例相关设计细节可互相参考，也可以参考图6任一所示的轨迹预测方法以及各可选实施例相关设计细节。此处不再重复赘述。

本申请提供一种计算机可读存储介质，其上存储有计算机程序，当该计算机程序在计算机中执行时，令计算机执行上述任一项方法。

本申请提供一种计算设备，包括存储器和处理器，该存储器中存储有可执行代码，该处理器执行该可执行代码时，实现上述任一项方法。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

此外，本申请实施例的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如，计算机可读介质可以包括，但不限于:磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，压缩盘(compact disc，CD)、数字通用盘(digital versatiledisc，DVD)等)，智能卡和闪存器件(例如，可擦写可编程只读存储器(erasableprogrammable read-only memory，EPROM)、卡、棒或钥匙驱动器等)。另外，本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于，无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。

在上述实施例中，图7和图8中轨迹预测装置可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

应当理解的是，在本申请实施例的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

该功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者接入网设备等)执行本申请实施例各个实施例该方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上该，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (20)

1.一种轨迹预测方法，其特征在于，包括：

获取至少两帧三维点云图，所述至少两帧三维点云图均包括第一目标和第二目标，所述至少两帧三维点云图为进行坐标统一后获取的三维点云图；

对所述至少两帧三维点云图进行目标检测，获取所述至少两帧三维点云图各自对应的特征图；

根据所述特征图，提取出所述第一目标的位置特征和动态特征，所述位置特征包括所述第一目标在所述特征图中的位置信息，所述动态特征包括所述特征图中对应的第一区域特征，所述第一区域特征是根据所述第一目标在所述特征图中的位置信息确定；

确定所述第一目标的交互特征，所述交互特征是通过将所述第一目标的所述位置特征和所述动态特征与所述第二目标的位置特征和动态特征输入神经网络模型得到；

根据所述第一目标的所述位置特征和所述动态特征、所述第一目标的交互特征和所述第一目标的地图特征，预测所述第一目标的运动轨迹，所述第一目标的地图特征是通过对存储的所述第一目标当前位置设定范围内的地图进行编码得到的。

2.根据权利要求1所述的方法，其特征在于，对所述至少两帧三维点云图进行目标检测，获取所述至少两帧三维点云图各自对应的特征图，包括：

对所述至少两帧三维点云图进行编码，提取出每一帧三维点云图中所述第一目标和所述第二目标的形状特征；

构建所述至少两帧三维点云图对应的特征图，所述特征图包括所述第一目标和所述第二目标的形状特征。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述特征图，提取出所述第一目标的位置特征，包括：

将所述至少两帧三维点云图各自对应的特征图输入区域提取网络模型，得到所述第一目标在每帧的特征图中的位置信息。

4.根据权利要求1-3任意一项所述的方法，其特征在于，所述根据所述特征图，提取出所述第一目标的位置特征和动态特征，包括：

根据所述至少两帧三维点云图各自对应的特征图、所述第一目标在每帧的特征图中的位置信息和拼接后的特征，确定所述第一目标在所述拼接后的特征图上的位置信息，所述拼接后的特征图通过将所述至少两帧三维点云图对应的特征图在特征维度上进行拼接得到；

根据所述第一目标在所述拼接后的特征图上的位置信息，确定所述第一目标在所述拼接后的特征图上的历史运动轨迹；

将所述历史运动轨迹输入匀速模型，得到所述第一目标在所述拼接后的特征图上的第一区域；

提取所述拼接后的特征图中处在所述第一区域内的特征。

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述确定所述第一目标的交互特征，包括：

确定第一类型目标，所述第一类型目标为符合设定规则的目标，所述至少两帧三维点云图均包括所述第一类型目标，所述第一类型目标包括所述第二目标；

将所述第一目标和所述第一类型目标的位置特征和动态特征输入所述神经网络模型，得到所述第一目标的交互特征。

6.根据权利要求5所述的方法，其特征在于，所述将所述第一目标和所述第一类型目标的位置特征和动态特征输入所述神经网络模型，得到所述第一目标的交互特征，包括：

将所述第一目标和所述第一类型目标的位置特征和动态特征输入所述神经网络模型，得到目标与目标之间的交互特征；

选择出所述第一目标与所述第一类型目标的交互特征；

将所述第一目标与所述第一类型目标的交互特征输入所述神经网络模型，得到所述第一目标的交互特征。

7.根据权利要求1-6任意一项所述的方法，其特征在于，所述至少两帧三维点云图为进行坐标统一后获取的三维点云图，包括：

以目标三维点云图的坐标系为基准，将所述至少两帧三维点云图中除所述目标三维点云图外的其它三维点云图进行坐标转换。

8.根据权利要求1-7任意一项所述的方法，其特征在于，所述根据所述第一目标的所述位置特征和所述动态特征、所述第一目标的交互特征和所述第一目标的地图特征，预测所述第一目标的运动轨迹，包括：

将所述第一目标的所述空间特征、所述第一目标的交互特征和所述第一目标的地图特征在特征维度进行拼接，得到所述第一目标的预测轨迹特征；

将所述第一目标的预测轨迹特征输入多层感知机，得到所述第一目标的运动轨迹。

9.一种轨迹预测装置，其特征在于，包括：

收发单元，用于获取至少两帧三维点云图，所述至少两帧三维点云图均包括第一目标和第二目标，所述至少两帧三维点云图为进行坐标统一后获取的三维点云图；

处理单元，用于对所述至少两帧三维点云图进行目标检测，获取所述至少两帧三维点云图各自对应的特征图；

根据所述特征图，提取出所述第一目标的位置特征和动态特征，所述位置特征包括所述第一目标在所述特征图中的位置信息，所述动态特征包括所述特征图中对应的第一区域特征，所述第一区域特征是根据所述第一目标在所述特征图中的位置信息确定；

确定所述第一目标的交互特征，所述交互特征是通过将所述第一目标的所述位置特征和所述动态特征与所述第二目标的位置特征和动态特征输入神经网络模型得到；

根据所述第一目标的所述位置特征和所述动态特征、所述第一目标的交互特征和所述第一目标的地图特征，预测所述第一目标的运动轨迹，所述第一目标的地图特征是通过对存储的所述第一目标当前位置设定范围内的地图进行编码得到的。

10.根据权利要求9所述的装置，其特征在于，所述处理单元，具体用于

对所述至少两帧三维点云图进行编码，提取出每一帧三维点云图中所述第一目标和所述第二目标的形状特征；

构建所述至少两帧三维点云图对应的特征图，所述特征图包括所述第一目标和所述第二目标的形状特征。

11.根据权利要求9或10所述的装置，其特征在于，所述处理单元，具体用于

将所述至少两帧三维点云图各自对应的特征图输入区域提取网络模型，得到所述第一目标在每帧的特征图中的位置信息。

12.根据权利要求9-11任意一项所述的装置，其特征在于，所述处理单元，具体用于

根据所述至少两帧三维点云图各自对应的特征图、所述第一目标在每帧的特征图中的位置信息和拼接后的特征，确定所述第一目标在所述拼接后的特征图上的位置信息，所述拼接后的特征图通过将所述至少两帧三维点云图对应的特征图在特征维度上进行拼接得到；

根据所述第一目标在所述拼接后的特征图上的位置信息，确定所述第一目标在所述拼接后的特征图上的历史运动轨迹；

将所述历史运动轨迹输入匀速模型，得到所述第一目标在所述拼接后的特征图上的第一区域；

提取所述拼接后的特征图中处在所述第一区域内的特征。

13.根据权利要求9-12任意一项所述的装置，其特征在于，所述处理单元，具体用于

确定第一类型目标，所述第一类型目标为符合设定规则的目标，所述至少两帧三维点云图均包括所述第一类型目标，所述第一类型目标包括所述第二目标；

将所述第一目标和所述第一类型目标的位置特征和动态特征输入所述神经网络模型，得到所述第一目标的交互特征。

14.根据权利要求13所述的装置，其特征在于，所述处理单元，具体用于

将所述第一目标和所述第一类型目标的位置特征和动态特征输入所述神经网络模型，得到目标与目标之间的交互特征；

选择出所述第一目标与所述第一类型目标的交互特征；

将所述第一目标与所述第一类型目标的交互特征输入所述神经网络模型，得到所述第一目标的交互特征。

15.根据权利要求9-14任意一项所述的装置，其特征在于，所述处理单元，具体用于

以目标三维点云图的坐标系为基准，将所述至少两帧三维点云图中除所述目标三维点云图外的其它三维点云图进行坐标转换。

16.根据权利要求9-15任意一项所述的装置，其特征在于，所述处理单元，具体用于

将所述第一目标的所述空间特征、所述第一目标的交互特征和所述第一目标的地图特征在特征维度进行拼接，得到所述第一目标的预测轨迹特征；

将所述第一目标的预测轨迹特征输入多层感知机，得到所述第一目标的运动轨迹。

17.一种智能驾驶系统，包括至少一个处理器，所述处理器用于执行存储器中存储的指令，以执行如权利要求1-8任一所述的方法。

18.一种车辆，其特征在于，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行如权利要求1-8任一所述的方法。

19.一种计算机存储介质，所述计算机存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-8任一所述的方法。

20.一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-8任一所述的方法。

Images