CN114708723A

CN114708723A - 轨迹预测方法和装置

Info

Publication number: CN114708723A
Application number: CN202011493671.8A
Authority: CN
Inventors: 凌立; 周伟; 董卉
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2020-12-16
Filing date: 2020-12-16
Publication date: 2022-07-05
Anticipated expiration: 2040-12-16
Also published as: CN114708723B

Abstract

本申请提供了一种轨迹预测方法和装置，可以同时获取多个待预测目标的预测轨迹，减少轨迹预测的时间开销。该方法包括：获取第一鸟瞰视图BEV图像数据；该第一BEV图像数据包括道路信息、至少一个待预测目标的位置信息以及至少一个该待预测目标的历史轨迹信息；根据该第一BEV图像数据和编码模型，得到N个第一编码信息；其中，该编码模型用于对BEV图像数据划分N个区域，该N个第一编码信息为该N个区域的编码信息，该区域的编码信息用于表示该区域中待预测目标的轨迹预测情况，该待预测目标的轨迹预测情况与该BEV图像数据中的道路信息、该目标的位置信息和该目标的历史轨迹信息有关；解码多个该第一编码信息，得到至少一个该待预测目标的预测轨迹数据。

Description

轨迹预测方法和装置

技术领域

本申请涉及自动驾驶或者辅助驾驶领域，更具体地，涉及一种轨迹预测方法和装置。

背景技术

随着智能车辆的不断发展，轨迹预测在智能驾驶领域的作用正日益凸显，准确的轨迹预测结果可以显著提升下游模块，例如规划控制算法的性能。由于准确的轨迹预测需要借助尽可能丰富的当前场景信息，例如当前的道路信息，包括车道线、道路边缘和地面标识等，感知到的待预测目标的信息，包括待预测目标的位置、速度或加速度等信息。如何准确高效地描述这些信息成为获取准确的轨迹预测结果的关键。

目前，可以使用基于分类的卷积神经网络(deep convolutional neuralnetwork，DCNN)轨迹预测模型来进行轨迹预测，该方案针对每一个待预测目标分别生成一幅鸟瞰图(bird eye view，BEV)，并将待预测目标未来可能的轨迹通过多种类别来描述，之后将同一时刻的每一个待预测目标的BEV串行输入该基于分类的DCNN轨迹预测模型，根据模型输出结果确定待预测目标的预测轨迹。该方案需要串行预测待预测目标的轨迹，这样会造成严重的时间开销。

发明内容

本申请提供一种轨迹预测方法和装置，可以同时获取多个待预测目标的预测轨迹，减少轨迹预测的时间开销。

第一方面，提供了一种轨迹预测方法，包括：获取第一鸟瞰视图BEV图像数据；该第一BEV图像数据包括道路信息、至少一个待预测目标的位置信息以及至少一个该待预测目标的历史轨迹信息；根据该第一BEV图像数据和编码模型，得到N个第一编码信息；其中，该编码模型用于对BEV图像数据划分N个区域，该N个第一编码信息为该N个区域的编码信息，该区域的编码信息用于表示该区域中待预测目标的轨迹预测情况，该待预测目标的轨迹预测情况与该BEV图像数据中的道路信息、该目标的位置信息和该目标的历史轨迹信息有关；解码多个该第一编码信息，得到至少一个该待预测目标的预测轨迹数据。

在本申请实施例中，编码模型可对BEV图像数据进行区域划分，并使用编码模型对每个区域编码以进行特征提取，可以同时获得每个区域中的待预测目标的轨迹预测情况，使得使用一幅BEV图像数据同步预测多个待预测目标的轨迹成为可能，有利于减少时间开销。

结合第一方面，在第一方面的某些实现方式中，该第一编码信息中包括下述的至少一种：存在预测轨迹的概率、该预测轨迹的终点坐标信息、该预测轨迹的方向信息或该预测轨迹的长度信息。

应理解，第一编码信息是对编码模型对编码内容的预测结果，可以通过第一编码信息获得每个区域中待预测目标的轨迹预测情况。

结合第一方面，在第一方面的某些实现方式中，解码多个所述第一编码信息，得到至少一个该待预测目标的预测轨迹数据，包括：根据N个第一编码信息中的至少一个第二编码信息包括的该预测轨迹的方向信息、该预测轨迹的长度信息和该预测轨迹的终点位置，确定该第二编码信息对应的该预测轨迹的起始位置；其中，该第二编码信息包括的该存在预测轨迹的概率大于或等于概率阈值，该预测轨迹的终点位置是基于该第二编码信息中该预测轨迹的终点坐标信息确定的；在该待预测目标与该第二编码信息对应的该预测轨迹的起始位置之间的距离小于距离阈值的情况下，得到预测轨迹数据；其中，该预测轨迹数据包括该预测轨迹的终点位置、该预测轨迹的起始位置以及该待预测目标的标识。

本申请实施例中，通过将第一编码信息反解析的方式可以得到多个区域对应的多个待预测目标的轨迹预测数据，有利于同步获得多个待预测目标的预测轨迹，提升算法的实时性。

结合第一方面，在第一方面的某些实现方式中，N个区域的尺寸相同，且该区域的尺寸与第一尺寸的差距不超过尺寸阈值；其中，该第一尺寸为至少一个该待预测目标的最大尺寸、最小尺寸或平均尺寸。

应理解，区域的尺寸可以根据BEV图像数据包含的各类信息对应的真实横向距离和纵向距离而设置，通常以区域的尺寸近似待预测目标的尺寸为最优。本申请实施例中以待预测目标的最大尺寸、最小尺寸或平均尺寸为参考来约束该区域的尺寸，这样一定程度上有利于减小不同的待预测目标的预测轨迹发生碰撞的可能性，并且有利于提高轨迹预测结果的准确性。

结合第一方面，在第一方面的某些实现方式中，该第一BEV图像包括第一车辆的位置信息，所述第一车辆位于所述第一BEV图像的中心位置。

本申请实施例中采用以第一车辆为中心的BEV图像生成策略，相较于以待预测目标为中心的BEV图像生成策略，该策略有利于减小重复合成BEV图像造成的额外时间开销。

结合第一方面，在第一方面的某些实现方式中，该第一BEV图像包括第一车辆的位置信息；其中：若该第一车辆的行驶意图为直行，则该第一车辆位于该第一BEV图像的下方位置；若该第一车辆的行驶意图为左转，则该第一车辆位于该第一BEV图像的右方位置；和/或，若该第一车辆的行驶意图为右转，则该第一车辆位于该第一BEV图像的左方位置。

本申请实施例根据不同的感兴趣区域(region of interest，ROI)生成BEV图像，这样可以将ROI内的待预测目标筛选为受关注目标，可以对该ROI范围内的待预测目标进行更准确的轨迹预测，为下游模块提供更有价值的预测信息。

结合第一方面，在第一方面的某些实现方式中，该道路信息、该至少一个待预测目标的位置信息以及该至少一个所述待预测目标的历史轨迹信息是基于高精地图和自车定位信息、和/或该第一车辆的至少一个传感器获取的。

应理解，BEV图像的生成需要结合高精地图和第一车辆的定位信息，但在有些场景下是无法获得高精地图和定位信息的。因此，对于仅配置摄像头、雷达、激光雷达中的一种或多种单源传感器的第一车辆，需要采用计算机视觉技术生成BEV图像。

本申请实施例在功能受限和性能降级的场景下，仍然可以使用单源传感器来获取BEV图像数据制作数据集并且进行在线的轨迹预测，这样有利于提升本申请提供的轨迹预测方法的扩展性和普适性。

结合第一方面，在第一方面的某些实现方式中，该第一BEV图像数据还包括：环境语义信息；该环境语义信息用于表示环境中影响车辆行驶的信息；该目标的轨迹预测情况还与该BEV图像数据中的环境语义信息有关。

本申请实施例虑了可以实时获取的环境语义信息，通过在数据集中添加环境语义信息，有助于编码模型具备提取此类信息并区分不同环境语义信息的能力，提高对不同环境语义信息的分辨能力。

结合第一方面，在第一方面的某些实现方式中，该环境语义信息包括下述的至少一种：交通灯信息、潮汐车道信息、施工区域信息或实时车祸信息。

第二方面，提供了一种轨迹预测装置，包括：用于执行上述第一方面中任一种可能的实现方式中的方法。具体地，该装置包括用于执行上述第一方面中任一种可能的实现方式中的方法的模块。

第三方面，提供了另一种轨迹预测装置，包括处理器，该处理器与存储器耦合，可用于执行存储器中的指令，以实现上述第一方面中任一种可能实现方式中的方法。可选地，该装置还包括存储器。可选地，该装置还包括通信接口，处理器与通信接口耦合。

在一种实现方式中，该轨迹预测装置为车辆，当该轨迹预测装置为车辆时，通信接口可以是收发器，或，输入/输出接口。

在另一种实现方式中，该轨迹预测装置为配置车辆中的芯片。当轨迹预测装置为配置于车辆中的芯片时，通信接口可以是输入/输出接口。

第四方面，提供了一种处理器，包括：输入电路、输出电路和处理电路。处理电路用于通过输入电路接收信号，并通过输出电路发射信号，使得处理器执行上述第一方面中任一种可能实现方式中的方法。

第五方面，提供了一种控制装置，包括至少一个处理器和接口。该接口用于为至少一个处理器提供程序指令或者数据，该至少一个处理器用于执行该程序指令，以使得该控制装置执行上述第一方面中任一种可能实现方式中的方法。

可选地，上述第五方面中的控制装置还可以包括存储器。进一步，存储器可以与处理器集成在一起，或者存储器与处理器分离设置。

在具体实现过程中，存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(read only memory，ROM)，其可以与处理器集成在同一块芯片上，也可分别设置在不同芯片上，本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。

应理解，相关的数据交互过程例如发送指示信息可以为从处理器输出指示信息的过程，接收能力信息可以为处理器接收输入能力信息的过程。具体地，处理输出的数据可以输出给发射器，处理器接收的输入数据可以来自接收器。其中，发射器和接收器可以统称为收发器。

第六方面，提供了一种计算机程序产品，计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当计算机程序被运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。

第七方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序(也可以称为代码，或指令)当其在计算机上运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。

第八方面，提供一种终端，可以为运输工具或者智能设备(例如智能家居或者智能制造设备等)，含无人机、无人运输车、汽车或者机器人等，该运输工具或者智能设备包含上述第二方面、第三方面或第五方面任一种可能实现方式中的装置。

附图说明

图1是本申请实施例提供的一种车辆的功能框图；

图2是本申请实施例提供的一种场景鸟瞰视图；

图3是本申请实施例提供的一种以不同区域描述预测轨迹的示意图；

图4是本申请实施例提供的一种以原形轨迹描述预测轨迹的示意图；

图5是本申请实施例提供的一种待预测目标的预测轨迹的示意图；

图6是本申请实施例提供的一种轨迹预测方法的示意性流程图；

图7是本申请实施例提供的一种BEV图像划分区域的示意图；

图8是本申请实施例提供的一种真实运动轨迹信息图形化的示意图；

图9是本申请实施例提供的一种待预测目标的平面几何信息的示意图；

图10是本申请实施例提供的另一种轨迹预测方法的示意性流程图；

图11是本申请实施例提供的再一种轨迹预测方法的示意性流程图；

图12是本申请实施例提供的一种基于ROI的BEV图像生成示意图；

图13是本申请实施例提供的又一种轨迹预测方法的示意性流程图；

图14是本申请实施例提供的一种不同交通灯信息下的BEV图像生成示意图；

图15是本申请实施例提供的又一种轨迹预测方法的示意性流程图；

图16是本申请实施例提供的一种基于单源传感器的BEV图像生成示意图；

图17是本申请实施例提供的一种轨迹预测装置的示意性框图；

图18是本申请实施例提供的另一种轨迹预测装置的示意性框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

为了便于清楚描述本申请实施例的技术方案，先做出以下几点说明。

第一，在下文示出的实施例中，各术语及英文缩略语，如待预测目标、编码信息等，均为方便描述而给出的示例性举例，不应对本申请构成任何限定。本申请并不排除在已有或未来的协议中定义其它能够实现相同或相似功能的术语的可能。

第二，在下文示出的实施例中第一、第二以及各种数字编号仅为描述方便进行的区分，并不用来限制本申请实施例的范围。例如，区分不同的编码信息。

第三，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b和c中的至少一项(个)，可以表示：a，或b，或c，或a和b，或a和c，或b和c，或a、b和c，其中a，b，c可以是单个，也可以是多个。

本申请实施例的轨迹预测方法可以应用于自动驾驶、辅助驾驶、事故定责、车流量分析、安防或监控场景。

示例性地，在自动驾驶或者辅助驾驶场景，可以基于本申请实施例的轨迹预测方法，实现对待预测目标的运动轨迹进行预测，进而基于预测的轨迹制定自动驾驶或者辅助驾驶策略等。

示例性地，在事故定责场景，可以基于本申请实施例的轨迹预测方法，实现对待预测目标的运动轨迹进行预测，但当驾驶人员未按照预测的运动轨迹制定合理的驾驶策略，从而导致交通事故的发生时，可将预测的运动轨迹作为事故定责的依据之一。

示例性地，在车流量分析场景，可以基于本申请实施例的轨迹预测方法，实现对待预测目标的运动轨迹进行预测，进而进行流量疏导和交通信号灯调度等措施。

示例性地，在安防或监控场景，可以基于本申请实施例的轨迹预测方法，实现对肇事车辆的逃离轨迹的预测。

在一种可能的实现方式中，本申请实施例的二维场景还可以被扩展至三维场景，可以实现对无人机的轨迹预测。

示例性地，图1是本申请实施例提供的一种车辆100的功能框图。在一个实施例中，将车辆100配置为完全或部分地自动驾驶模式。例如，车辆100可以在处于自动驾驶模式中的同时控制自身，并且可通过人为操作来确定车辆及其周边环境的当前状态，确定周边环境中的至少一个其他车辆的可能行为，并确定该其他车辆执行可能行为的可能性相对应的置信水平，基于所确定的信息来控制车辆100。在车辆100处于自动驾驶模式中时，可以将车辆100置为在没有和人交互的情况下操作。

可选地，车辆100还可以为配置高级辅助驾驶系统(advanced driver assistancesystems，ADAS)的车辆，或者，车辆100还可以为配置智能驾驶系统的车辆，本申请实施例在此不做限制。

车辆100可包括各种子系统，例如行进系统102、传感器系统104、控制系统106、一个或多个外围系统108、电源110、计算机系统112和用户接口116。可选地，车辆100可包括更多或更少的子系统，并且每个子系统可包括多个元件。另外，车辆100的每个子系统和元件可以通过有线或者无线互连。

传感器系统104可包括感测关于车辆100周边的环境的信息的若干个传感器。例如，传感器系统104可包括定位系统122(定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，IMU)124、雷达126、激光测距仪128以及相机130。传感器系统104还可包括被监视车辆100的内部系统的传感器(例如，车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是自主车辆100的安全操作的关键功能。

定位系统122可用于估计车辆100的地理位置。IMU 124用于基于惯性加速度来感测车辆100的位置和朝向变化。在一个实施例中，IMU 124可以是加速度计和陀螺仪的组合。雷达126可利用无线电信号来感测车辆100的周边环境内的物体。在一些实施例中，除了感测物体以外，雷达126还可用于感测物体的速度和/或前进方向。激光测距仪128可利用激光来感测车辆100所位于的环境中的物体。在一些实施例中，激光测距仪128可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。相机130可用于捕捉车辆100的周边环境的多个图像。相机130可以是静态相机或视频相机。

控制系统106为控制车辆100及其组件的操作。控制系统106可包括各种元件，其中包括转向系统132、油门134、制动单元136、传感器融合算法138、计算机视觉系统140、路线控制系统142以及障碍物避免系统144。

计算机视觉系统140可以操作来处理和分析由相机130捕捉的图像以便识别车辆100周边环境中的物体和/或特征。所述物体和/或特征可包括交通信号、道路边界和障碍物。计算机视觉系统140可使用物体识别算法、运动中恢复结构(Structure from Motion，SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中，计算机视觉系统140可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。

路线控制系统142用于确定车辆100的行驶路线。在一些实施例中，路线控制系统142可结合来自传感器138、GPS 122和一个或多个预定地图的数据以为车辆100确定行驶路线。

障碍物避免系统144用于识别、评估和避免或者以其他方式越过车辆100的环境中的潜在障碍物。

车辆100部分或所有功能受计算机系统112控制。计算机系统112可包括至少一个处理器113，处理器113执行存储在例如数据存储装置114的非暂态计算机可读介质中的指令115。计算机系统112还可以是采用分布式方式控制车辆100的个体组件或子系统的多个计算设备。除了指令115以外，数据存储装置114还可存储数据，例如道路地图、路线信息，车辆的位置、方向、速度以及其它这样的车辆数据，以及其他信息。这种信息可在车辆100在自主、半自主和/或手动模式中操作期间被车辆100和计算机系统112使用。

用户接口116，用于向车辆100的用户提供信息或从其接收信息。可选地，用户接口116可包括在外围设备108的集合内的一个或多个输入/输出设备。

计算机系统112可基于从各种子系统(例如，行进系统102、传感器系统104和控制系统106)以及从用户接口116接收的输入来控制车辆100的功能。例如，计算机系统112可利用来自控制系统106的输入以便控制转向单元132来避免由传感器系统104和障碍物避免系统144检测到的障碍物。在一些实施例中，计算机系统112可操作来对车辆100及其子系统的许多方面提供控制。

可选地，上述这些组件中的一个或多个可与车辆100分开安装或关联。例如，数据存储装置114可以部分或完全地与车辆100分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。

可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图1不应理解为对本申请实施例的限制。

在道路行进的汽车，如上面的车辆100，可以识别其周围环境内的物体以确定对当前速度的调整。所述物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中，可以独立地考虑每个识别的物体，并且基于物体的各自的特性，如它的当前速度、加速度、与车辆的间距等，可以用来确定汽车所要调整的速度。

可选地，车辆100或者与车辆100相关联的计算设备(如图1的计算机系统112、计算机视觉系统140、数据存储装置114)可以基于所识别的物体的特性和周围环境的状态(例如，交通、雨、道路上的冰、等等)来预测所述识别的物体的行为。车辆100能够基于预测的所述识别的物体的行为来调整它的速度。换句话说，车辆100能够基于所预测的物体的行为来确定车辆将需要调整到(例如，加速、减速、或者停止)什么稳定状态。在这个过程中，也可以考虑其它因素来确定车辆100的速度，诸如，车辆100在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。

准确的轨迹预测需要借助尽可能丰富的当前场景信息，例如环境中的道路信息，道路信息包括车道线、道路边缘或地面标识等；例如车辆感知到的待预测目标的位置信息、速度信息或加速度信息等。如何高效地表达和描述这些场景信息成为解决轨迹预测问题的关键。

当前，轨迹预测方法在经历了基于传统运动学、机器学习算法(machinelearning，ML)、循环神经网络(recurrent neural net，RNN)、长短期记忆神经网络(longshort-term memory，LSTM)、强化学习(reinforcement learning，RL)之后，逐渐转向使用DCNN。DCNN的基本思想是将车辆感知到的当前场景信息通过图像进行表达，并借助DCNN强大的图像特征提取能力来识别或预测出待预测目标可能的行为和运动轨迹。

在轨迹预测方法中，除了对预测精度(例如，终点偏差)有要求之外，预测算法的实时性也是影响实际应用价值的重要指标之一。

在轨迹预测领域有两种常用的视图，一种是基于摄像头捕捉到的视频或图像的图像坐标系视图，另一种是由毫米波雷达、激光雷达检测得到的或基于高精地图得到的世界坐标系鸟瞰视图，即BEV。图像坐标系视图一般用于基于摄像头的感知任务，例如目标检测、车道线检测或实例分割等，但其感知结果一般需要通过透视变换，转换为世界坐标系信息提供给后续模块。而世界坐标系鸟瞰视图则因为尺度信息一致，即不存在近大远小、近处特征粒度更细等误差，因此更适用于整体的预测、规划和控制流程。

将世界坐标系的信息通过颜色表现出来即可生成BEV图像，表现形式在此不做限制，例如，基础的雷达点云可以认为是一种在固定背景色下将点云用另一种颜色进行标识的BEV。轨迹预测领域因为涉及不同类型的待预测目标、不同的道路结构以及各种类型的地面标识等各种丰富的场景信息，因此在生成BEV图像时需要注意以尽可能大的区分度来将不同的元素进行标识。

应理解，本申请实施例对BEV图像中各图例的颜色、粗细和形状等均不作任何限定，也可以采用阴影图例对灰度BEV图像进行填充。

在一种可能的实现方式中，可以使用基于分类的DCNN模型进行轨迹预测，核心思想是将车辆感知到的信息通过BEV进行描述，并分别将当前场景中的待预测目标置于BEV图像的中心位置，一个待预测目标对应一个BEV图像，再结合高精地图或传感器数据，绘制出待预测目标附近区域的道路信息和障碍物信息等。

示例性地，图2为本申请实施例提供的一种场景鸟瞰视图。如图2所示，该BEV图像中包括待预测目标、其他车辆、同向车道中心线、对向车道中心线、其他车道线、行人区域以及静态障碍物，此外，图2中的白色区域为待预测目标和其他车辆的可行驶区域。

同时，待预测目标未来可能的运动轨迹可以通过M种类别来进行描述。例如，图3为本申请实施例提供的一种以不同区域描述预测轨迹的示意图300。如图3所示，可以将可能的运动轨迹以M＝8个不同区域来描述。或者，图4为本申请实施例提供的一种以原型轨迹描述预测轨迹的示意图400。如图4所示，可以将可能的运动轨迹以M＝9种原型轨迹来描述。

在上述实现方式中，在绘制得到如图2所示的BEV图像之后，可以将该BEV图像数据输入一个已经训练好的基于分类的DCNN轨迹预测模型中，可以得到M种类别的概率。基于该概率分布再进行后处理，即可得到如图5所示的待预测目标的预测轨迹及其可能性。在图5中，以原型轨迹为例来对待预测目标的可能运动轨迹进行描述，共有三条候选原型轨迹，经过后处理后可确定图5中的黑色实线为最终的待预测目标的预测轨迹。

通常，同一场景下，车辆可能检测到多个待预测目标，而这多个待预测目标的轨迹可能均需要进行预测。然而，在上述使用基于分类的DCNN模型进行轨迹预测的方法中，对于每一个待预测目标，均需要生成以其为中心点的BEV图像，并且基于分类的DCNN模型需要串行预测每一个待预测目标的运动轨迹，这样会造成很大的时间开销。

有鉴于此，本申请实施例提出一种轨迹预测方法和装置，该方法可以将多个待预测目标在一幅BEV图像中进行描述，并将该BEV图像数据输入至编码模型中进行区域划分，得到多个区域，再分别对每一个区域进行编码并设计基于回归的损失函数，得到多个区域的编码信息，该编码信息可以表示该区域中待预测目标的轨迹预测情况。该方法可以同时获取多个待预测目标的预测轨迹，从而减少时间开销。

应理解，本申请提供的轨迹预测方法的步骤和/或流程可以由上述车辆100来执行，车辆100配置有雷达(长短距毫米波雷达、超声波雷达等)、摄像头(单目、双目、深度摄像头等)、激光雷达等传感器，可以获取高精地图并进行实时定位。此外，车辆100还包括车载电子控制单元(electronic control unit，ECU)和/或车载移动数据中心(mobile datacenter，MDC)等形式的智能驾驶融合感知模块。

示例性地，图6是本申请实施例提供的一种轨迹预测方法600的示意性流程图，方法600包括下列步骤：

S601，获取第一鸟瞰视图BEV图像数据；该第一BEV图像数据包括道路信息、至少一个待预测目标的位置信息以及至少一个待预测目标的历史轨迹信息。

在本申请实施例中，道路信息可以包括可行驶区域、同向车道中心线、对向车道中心线、其他车道线、行人区域或静态障碍物中的一种或多种。待预测目标的历史轨迹信息可以包括速度信息、方向信息、加速度信息或距离信息中的一种或多种。

应理解，待预测目标可以为道路环境中可以运动的动态目标，示例性地，该动态目标可以是汽车，可以是自行车，也可以是行人，本申请实施例在此不作限制。

S602，根据该第一BEV图像数据和编码模型，得到N个第一编码信息；其中，该编码模型用于对BEV图像数据划分N个区域，所述N个第一编码信息为所述N个区域的编码信息，该区域的编码信息用于表示该区域中待预测目标的轨迹预测情况，该待预测目标的轨迹预测情况与该BEV图像数据中的道路信息、该目标的位置信息和该目标的历史轨迹信息有关。

示例性地，可以采用变分自编码器、长短期记忆神经网络、DCNN等作为编码模型的网络结构为每个区域进行编码，本申请实施例在此不作限制。

S603，解码多个该第一编码信息，得到至少一个该待预测目标的预测轨迹数据。

本申请实施例通过对将BEV图像数据进行区域划分，并使用编码模型对每个区域编码以进行特征提取，可以同时获得每个区域中的待预测目标的轨迹预测情况，使得使用一幅BEV图像数据同步预测多个待预测目标的轨迹成为可能，有利于减少时间开销。

上述基于编码模型的轨迹预测方法分为离线训练阶段和在线使用阶段。在离线训练阶段，编码模型对BEV图像数据划分区域可以有多种划分方式，例如，可以划分为矩形，可以斜向划分，可以划分为同心圆，也可以无规则划分，划分出来的多个区域的尺寸可以相同也可以不相同，本申请实施例在此不做限制。

示例性地，图7为本申请实施例提供的一种BEV图像划分区域的示意图。如图7所示，该BEV图像中包括第一车辆、待预测目标、同向车道中心线、对向车道中心线、其他车道线、行人区域、静态障碍物以及可行驶区域。可以将一幅BEV图像以5×5的形式划分为25个尺寸相等的矩形区域。

作为一个可选的实施例，N个区域的尺寸相同，且该区域的尺寸与第一尺寸的差距不超过尺寸阈值；其中，该第一尺寸为至少一个该待预测目标中的最大尺寸、最小尺寸或平均尺寸。

应理解，区域的尺寸可以根据BEV图像数据包含的各类信息对应的真实横向距离和纵向距离而设置，通常以区域的尺寸近似待预测目标的尺寸为最优。

在本申请实施例中，可以至少一个待预测目标中的最大尺寸、最小尺寸或平均尺寸为参考来对BEV图像数据进行划分，得到N个尺寸相同的区域，这样一定程度上有利于减小不同的待预测目标的预测轨迹发生碰撞的可能性，并且有利于提高轨迹预测结果的准确性。

在离线的编码模型训练阶段，需要通过大量的数据集训练该编码模型，数据集中包括待预测目标未来若干秒(如1～5秒)的真实运动轨迹信息。在训练阶段，可以将待预测目标的真实运动轨迹信息以图形化的方式直观表示出来。示例性地，可以使用白色箭头的方式表示该真实运动轨迹信息，也可以使用一堆离散点表示该真实运动轨迹信息，也可以使用高斯分布对应的热点图表示该真实运动轨迹信息，本申请实施例对该真实运动轨迹信息的表现形式不做限制。

本申请实施例中的数据集制作流程为全自动化过程，无需人力介入，因此制作效率高，可适用于大规模车队进行的数据路采。

示例性地，图8为本申请实施例提供的一种真实运动轨迹信息图形化的示意图。如图8所示，为每一个待预测目标绘制了一条从当前位置到未来T秒位置的白色箭头，T可以根据实际需要，选取如1～5秒甚至更长的时间。

在编码模型对每个区域进行编码的过程中，编码内容中可以包括但不限于对该真实运动轨迹信息进行编码以提取特征的结果。示例性地，图9为本申请实施例提供的一种待预测目标的平面几何信息的示意图。如图9所示，可以采用最基本的平面几何信息为每个区域进行编码，每个区域的编码格式为B＝[Cdest，dx，dy，θ，L]，该编码长度F＝5。

其中，Cdest表示存在真实运动轨迹(即图9中每个区域存在白色箭头)的概率，若区域中存在该白色箭头，则该区域对应的Cdest＝1，若不存在该白色箭头，则该区域对应的Cdest＝0；dx表示该白色箭头的终点至该白色箭头的终点所处的区域的左上角的横向距离；dy表示该白色箭头的终点至该白色箭头的终点所处的区域的左上角的纵向距离；θ表示该白色箭头的起点与水平轴的夹角；L表示该白色箭头的长度。

应理解，编码格式以能准确描述各区域属性、能区分不同待预测目标的轨迹信息并且有助于后续准确地解码为准，本申请实施例对编码格式不做限制。

作为一个可选的实施例，该第一编码信息中包括下述的至少一种：存在预测轨迹的概率、该预测轨迹的终点坐标信息、该预测轨迹的方向信息或该预测轨迹的长度信息。

应理解，第一编码信息是对上述F＝5项编码内容的预测结果，在经过编码模型推理后，最终输出的特征尺寸为N×F，表示推理获得的N个区域的F项编码内容，可以将对每个区域推理得到的编码内容表示为B'＝[Cdest'，dx'，dy'，θ'，L']。

其中，Cdest'表示存在预测轨迹的概率，Cdest'∈(0,1)；dx'表示该预测轨迹的横向坐标信息；dy'表示推理得到的该该预测轨迹的纵向坐标信息；θ'表示该预测轨迹的方向信息；L'表示该预测轨迹的长度信息。

作为一个可选的实施例，方法600中的S603包括：根据N个第一编码信息中的至少一个第二编码信息包括的该预测轨迹的方向信息、该预测轨迹的长度信息和该预测轨迹的终点位置，确定该第二编码信息对应的该预测轨迹的起始位置；其中，该第二编码信息包括的该存在预测轨迹的概率大于概率阈值，该预测轨迹的终点位置是基于该第二编码信息中该预测轨迹的终点坐标信息确定的；在该待预测目标与该第二编码信息对应的该预测轨迹的起始位置小于距离阈值的情况下，得到预测轨迹数据；其中，该预测轨迹数据包括该预测轨迹的终点位置、该预测轨迹的起始位置以及该待预测目标的标识。

在本申请实施例中，首先需要确认每个区域中是否存在该预测轨迹，可以从N个区域对应的N个第一编码信息中选择出该存在预测轨迹的概率Cdest'大于或等于概率阈值的至少一个第二编码信息，可认为该第二编码信息对应的区域中存在预测轨迹。

基于该第二编码信息中的该预测轨迹的终点横向坐标信息dx'和该预测轨迹的终点横向坐标信息dy'，确定该预测轨迹的终点位置。

基于该第二编码信息中的该预测轨迹的方向信息θ'、该预测轨迹的长度信息L'和该预测轨迹的终点位置，确定该第二编码信息对应的该预测轨迹的起始位置。

当待预测目标与该预测轨迹的起始位置之间的距离小于距离阈值时，可以得到预测轨迹的数据。

示例性地，在如图7所示的划分区域的情况下，假设该划分的矩形区域的宽为W，该距离阈值为R，则距离阈值R≤W/2。以预测轨迹的起始位置为圆心，以R为查找半径查找待预测目标，若在该查找半径内存在待预测目标，则可以认为得到一条与该待预测目标关联的预测轨迹。

本申请实施例中，通过将第一编码信息反解析的方式可以获得待预测目标的预测轨迹。当第n(n∈{1，2，…，N})个区域的Cdest'大于或等于概率阈值时，可以认为存在预测轨迹；由于第n个区域的位置信息是先验的，因此可以根据dx'和dy'获得预测轨迹的终点位置，进而可再通过θ'和L'关联到预测轨迹的起始位置。这样便可以得到多个区域对应的多个待预测目标的轨迹预测数据，有利于同步获得多个待预测目标的预测轨迹，提升算法的实时性。

应理解，本申请实施例中采用的是基于回归的网络模型来进行轨迹预测，由于回归预测的待预测目标的预测轨迹一般处于可行驶区域内部，因此有利于降低预测轨迹的离道率(off-road rate)。

作为一个可选的实施例，该第一BEV图像包括第一车辆的位置信息，该第一车辆位于该第一BEV图像的中心位置。

示例性地，第一BEV图像数据中包括第一车辆的信息和多个待预测目标车辆的信息。本申请实施例中将需要执行轨迹预测动作的车辆称为第一车辆。

应理解，本申请实施例允许第一车辆在该第一BEV图像中的位置存在偏差，换言之，在以该中心位置为中心点的偏差范围之内，均可认为该第一车辆是位于该第一BEV图像的中心位置。

示例性地，图10是本申请实施例提供的另一种轨迹预测方法1000的示意性流程图。方法1000分为离线训练阶段和在线使用阶段，包括以下步骤：

S1010，获取道路信息以及待预测目标的历史轨迹信息。

S1020，以第一车辆为中心生成BEV图像。这样的生成策略有助于关注到位于第一车辆各个方位的待预测目标的运动轨迹情况。

S1030，对BEV图像进行区域划分，得到N个区域。

S1040，绘制各个待预测目标从当前位置到未来T秒位置的箭头。

S1050，通过DCNN网络模型获取各个区域的编码信息，并基于编码信息设置损失函数。

本申请实施例中以DCNN作为编码模型对N个区域进行编码。DCNN模型的骨干网络选取在此不做限制，保证最后输出的特征尺寸为N×F即可。

示例性地，可采用数据集中的真实值与对区域进行编码后获得的估计值来设置损失函数Loss，用公式表示如下：

其中，

表示第i个区域存在真实运动轨迹的概率，

表示第i个区域存在预测轨迹的概率，

表示第i个区域终点位置的损失函数，

表示第i个区域箭头方向的损失函数。

S1060，获取训练好的DCNN网络模型。

S1070，将第一车辆当前的BEV图像数据输入至训练好的DCNN网络模型中，获取待预测目标的预测轨迹。

上述图7至图10是以第一车辆位于该第一BEV图像的中心位置为例，详细介绍了本申请提出的轨迹预测方法的过程。下面将考虑结合第一车辆的导航和/或规划信息生成第一BEV图像以进行轨迹预测。

在图10的基础上，图11是本申请实施例提供的再一种轨迹预测方法1100的示意性流程图，包括如下步骤：

S1110，获取道路信息、待预测目标的历史轨迹信息以及导航和/或规划信息。

区别于方法1000，方法1100考虑了基于导航和/或规划信息的第一车辆的行驶意图，根据第一车辆不同的行驶意图生成不同的ROI。

S1120，结合ROI生成BEV图像。

本申请实施例根据不同的ROI生成BEV图像，这样可以将ROI区域内的待预测目标筛选为受关注目标，可以对该ROI范围内的待预测目标进行更准确的轨迹预测，为下游模块提供更有价值的预测信息。

S1130，对BEV图像进行区域划分，得到N个区域。

S1140，绘制各个待预测目标从当前位置到未来T秒位置的箭头。

S1150，通过DCNN网络模型获取各个区域的编码信息，并基于编码信息设置损失函数。

S1160，获取训练好的DCNN网络模型。

S1170，将第一车辆当前的BEV图像数据输入至训练好的DCNN网络模型中，获取待预测目标的预测轨迹。

在ADAS场景下，通常都可以实时获取到第一车辆当前的导航、决策或路径规划信息。当第一车辆的行驶意图不同时，第一车辆关注的目标范围也存在差异。例如，当第一车辆的行驶意图为直行时，ROI一般在第一车辆的前方位置，当第一车辆进行左变道或者左转向时，ROI一般在第一车辆的左前方或者左后方。

作为一个可选的实施例，该第一BEV图像包括第一车辆的位置信息；其中：若该第一车辆的行驶意图为直行，则该第一车辆位于该第一BEV图像的下方位置；若该第一车辆的行驶意图为左转，则该第一车辆位于该第一BEV图像的右方位置；和/或，若该第一车辆的行驶意图为右转，则该第一车辆位于该第一BEV图像的左方位置。

示例性地，图12为本申请实施例提供的一种基于ROI的BEV图像生成示意图。如图10所示，当第一车辆向左变道时，区别于图8中将第一车辆置于BEV图像的中心位置，图10是将第一车辆置于BEV图像的右后方位置，生成以第一车辆的左前方为中心的BEV图像，将更关注的待预测目标置于BEV图像的核心区域。

作为一个可选的实施例，第一BEV图像数据还包括：环境语义信息；该环境语义信息用于表示环境中影响车辆行驶的信息；目标的轨迹预测情况还与所述BEV图像数据中的环境语义信息有关。

作为一个可选的实施例，环境语义信息包括下述的至少一种：交通灯信息、潮汐车道信息、施工区域信息或实时车祸信息。

在图10的基础上，图13是本申请实施例提供的又一种轨迹预测方法1300的示意性流程图，包括以下步骤：

S1310，获取道路信息、待预测目标的历史轨迹信息以及环境语义信息。

S1320，结合环境语义信息生成BEV图像。

S1330，对BEV图像进行区域划分，得到N个区域。

S1340，绘制各个待预测目标从当前位置到未来T秒位置的箭头。

S1350，通过DCNN网络模型获取各个区域的编码信息，并基于编码信息设置损失函数。

S1360，获取训练好的DCNN网络模型。

S1370，将第一车辆当前的BEV图像数据输入至训练好的DCNN网络模型中，获取待预测目标的预测轨迹。

区别于方法1000，方法1300考虑了可以实时获取的环境语义信息。在ADAS场景下，影响交通参与者未来运动状态和运动轨迹的重要因素还包括了当前场景下的动态实时信息。通过在数据集中添加环境语义信息，有助于编码模型具备提取此类信息并区分不同环境语义信息的能力，提高对不同环境语义信息的分辨能力，例如，可以在路口提升对待预测目标加速或减速的预测能力，提升应急规避行为的预测准确率。

示例性地，以交通灯为例，图14为本申请实施例提供的一种不同交通灯信息下的BEV图像生成示意图。如图14所示，相较于图8而言，在数据集中增加了交通灯信息之后，可以将行人区域以绿灯标识的形式标注出来，以表示当前交通灯信号为绿灯；可以将行人区域以红灯标识的形式标注出来，以表示当前交通灯信号为红灯。

作为一个可选的实施例，道路信息、至少一个待预测目标的位置信息以及至少一个所述待预测目标的历史轨迹信息是基于高精地图和定位信息、和/或第一车辆的至少一个传感器获取的。

在图10的基础上，图15是本申请实施例提供的又一种轨迹预测方法1500的示意性流程图，包括以下步骤：

S1510，根据计算机视觉技术生成BEV图像。

S1520，对BEV图像进行区域划分，得到N个区域。

S1530，绘制各个待预测目标从当前位置到未来T秒位置的箭头。

S1540，通过DCNN网络模型获取各个区域的编码信息，并基于编码信息设置损失函数。

S1550，获取训练好的DCNN网络模型。

S1560，将第一车辆当前的BEV图像数据输入至训练好的DCNN网络模型中，获取待预测目标的预测轨迹。

区别于方法1000、方法1100和方法1300，方法1500可以在单源传感器场景下采用计算机视觉技术生成BEV图像。

应理解，BEV图像的生成需要结合高精地图和第一车辆的定位信息，但在有些场景下是无法获得高精地图和定位信息的，例如，进入隧道后定位信息缺失、部分地区没有对应的高精地图或部分车型不搭载此类功能等。因此，对于仅配置摄像头、雷达、激光雷达中的一种或多种单源传感器的第一车辆，需要采用计算机视觉技术生成BEV图像。

示例性地，图16是本申请实施例提供的一种基于单源传感器的BEV图像生成示意图。如图16所示，第一车辆的行驶意图为直行，将第一车辆置于BEV图像中心线偏下的位置。

通过视觉人车障碍物检测，获取待预测目标的历史轨迹信息和待预测目标当前的位置信息、速度信息和运动方向信息等。如图16所示，以待预测目标03为例，通过视觉人车障碍物检测功能，可以获取待预测目标03在T₁、T₂、T₃、T₄、T₅五个时间点的历史轨迹信息以及待预测目标03的当前位置信息、速度信息和运动方向信息等。

通过视觉车道线检测，获取当前道路信息中的车道线信息。并由车道线以及待预测目标的运动方向信息，获取同向车道中心线和对向车道中心线。

通过视觉实例分割，划分出可行驶区域和静态障碍物。

在离线的数据集制作过程中，由于可以检测到各个待预测目标未来T秒内的位置信息，因此可以将该位置信息映射到当前帧，以获取如图16所示的可以用于指示真实轨迹信息的白色箭头。

上述视觉人车障碍物检测、视觉车道线检测以及视觉实例分割属于计算机视觉技术在自动驾驶或者辅助驾驶领域中的应用，在只有单源传感器的情况下，可以使用计算机视觉技术来对当前道路环境进行感知、识别和理解。这样，通过获取的第一车辆的位置信息、待预测目标的历史轨迹信息、待预测目标当前的位置信息、待预测目标当前的速度信息、待预测目标当前的方向信息、车道线信息、可行驶区域以及静态障碍物等，便可以构成如图16所示的BEV图像。

应理解，上述实施例中描述的包括离线训练阶段和在线学习阶段的模型训练方式为一种可选的实施例，也可采取其他模型训练方式，例如，边训练边使用的模型训练方式，本申请实施例在此不做限制。

应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上文中结合图6至图16，详细描述了根据本申请实施例的轨迹预测方法，下面将结合图17和图18，详细描述根据本申请实施例的轨迹预测装置。

图17示出了本申请实施例提供的一种轨迹预测装置1700的示意性框图，该装置1700包括：获取模块1710和处理模块1720。

其中，获取模块1710用于：获取第一鸟瞰视图BEV图像数据；该第一BEV图像数据包括道路信息、至少一个待预测目标的位置信息以及至少一个该待预测目标的历史轨迹信息；获取模块1710还用于：根据该第一BEV图像数据和编码模型，得到N个第一编码信息；其中，该编码模型用于对BEV图像数据划分N个区域，并输出N个该区域的编码信息，该区域的编码信息用于表示该区域中待预测目标的轨迹预测情况，该待预测目标的轨迹预测情况与该BEV图像数据中的道路信息、该目标的位置信息和该目标的历史轨迹信息有关；处理模块1720用于：解码多个该第一编码信息，得到至少一个该待预测目标的预测轨迹数据。

可选地，该第一编码信息中包括下述的至少一种：存在预测轨迹的概率、该预测轨迹的终点坐标信息、该预测轨迹的方向信息或该预测轨迹的长度信息。

可选地，处理模块1720用于：根据N个第一编码信息中的至少一个第二编码信息包括的该预测轨迹的方向信息、该预测轨迹的长度信息和该预测轨迹的终点位置，确定该第二编码信息对应的该预测轨迹的起始位置；其中，该第二编码信息包括的该存在预测轨迹的概率大于或等于概率阈值，该预测轨迹的终点位置是基于该第二编码信息中该预测轨迹的终点坐标信息确定的；获取模块1710用于：在该待预测目标与该第二编码信息对应的该预测轨迹的起始位置之间的距离小于距离阈值的情况下，得到预测轨迹数据；其中，该预测轨迹数据包括该预测轨迹的终点位置、该预测轨迹的起始位置以及该待预测目标的标识。

可选地，N个区域的尺寸相同，且该区域的尺寸与第一尺寸的差距不超过尺寸阈值；其中，该第一尺寸为至少一个该待预测目标中的最大尺寸、最小尺寸或平均尺寸。

可选地，该第一BEV图像包括第一车辆的位置信息，所述第一车辆位于所述第一BEV图像的中心位置。

可选地，该第一BEV图像包括第一车辆的位置信息；其中：若该第一车辆的行驶意图为直行，则该第一车辆位于该第一BEV图像的下方位置；若该第一车辆的行驶意图为左转，则该第一车辆位于该第一BEV图像的右方位置；和/或，若该第一车辆的行驶意图为右转，则该第一车辆位于该第一BEV图像的左方位置。

可选地，该道路信息、该至少一个待预测目标的位置信息以及该至少一个所述待预测目标的历史轨迹信息是基于高精地图和自车定位信息、和/或该第一车辆的至少一个传感器获取的。

可选地，该第一BEV图像数据还包括：环境语义信息；该环境语义信息用于表示环境中影响车辆行驶的信息；该目标的轨迹预测情况还与该BEV图像数据中的环境语义信息有关。

可选地，该环境语义信息包括下述的至少一种：交通灯信息、潮汐车道信息、施工区域信息或实时车祸信息。

应理解，这里的装置1700以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在一个可选例子中，本领域技术人员可以理解，装置1700可以具体为上述实施例中的车辆100，或者，上述实施例中车辆100的功能可以集成在装置1700中，装置1700可以用于执行上述方法实施例中与车辆100对应的各个流程和/或步骤，为避免重复，在此不再赘述。

上述装置1700具有实现上述方法中车辆100执行的相应步骤的功能；上述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。例如，上述获取模块1710可以为通信接口，例如收发接口。

在本申请的实施例，图17中的装置1700也可以是芯片或者芯片系统，例如：片上系统(system on chip，SoC)。对应的，获取模块1710可以是该芯片的收发电路。

图18示出了本申请实施例提供的另一种轨迹预测装置1800的示意性框图。该装置1800包括处理器1810、收发器1820和存储器1830。其中，处理器1810、收发器1820和存储器1830通过内部连接通路互相通信，该存储器1830用于存储指令，该处理器1810用于执行该存储器1830存储的指令，以控制该收发器1820发送和/或接收信号。

应理解，装置1800可以具体为上述实施例中的车辆100，或者，上述实施例中车辆100的功能可以集成在装置1800中，装置1800可以用于执行上述方法实施例中与车辆100对应的各个步骤和/或流程。可选地，该存储器1830可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。该处理器1810可以用于执行存储器中存储的指令，并且该处理器执行该指令时，该处理器可以执行上述方法实施例中与车辆100对应的各个步骤和/或流程。

应理解，在本申请实施例中，该处理器1810可以是中央处理单元(centralprocessing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器执行存储器中的指令，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本申请还提供了一种控制装置，包括至少一个处理器和接口；该接口用于为至少一个处理器提供程序指令或者数据；至少一个处理器用于执行该程序指令，以使得控制装置完成上述方法的步骤。

可选地，上述控制装置还可以包括存储器。进一步，存储器可以与处理器集成在一起，或者存储器与处理器分离设置。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种轨迹预测方法，其特征在于，包括：

获取第一鸟瞰视图BEV图像数据；所述第一BEV图像数据包括道路信息、至少一个待预测目标的位置信息以及至少一个所述待预测目标的历史轨迹信息；

根据所述第一BEV图像数据和编码模型，得到N个第一编码信息；其中，所述编码模型用于对BEV图像数据划分N个区域，所述N个第一编码信息为所述N个区域的编码信息，所述区域的编码信息用于表示所述区域中待预测目标的轨迹预测情况，所述待预测目标的轨迹预测情况与所述BEV图像数据中的道路信息、所述目标的位置信息和所述目标的历史轨迹信息有关；

解码多个所述第一编码信息，得到至少一个所述待预测目标的预测轨迹数据。

2.根据权利要求1所述的方法，其特征在于，所述第一编码信息中包括下述的至少一种：存在预测轨迹的概率、所述预测轨迹的终点坐标信息、所述预测轨迹的方向信息或所述预测轨迹的长度信息。

3.根据权利要求2所述的方法，其特征在于，所述解码多个所述第一编码信息，得到至少一个所述待预测目标的预测轨迹数据，包括：

根据所述N个第一编码信息中的至少一个第二编码信息包括的所述预测轨迹的方向信息、所述预测轨迹的长度信息和所述预测轨迹的终点位置，确定所述第二编码信息对应的所述预测轨迹的起始位置；其中，所述第二编码信息包括的所述存在预测轨迹的概率大于或等于概率阈值，所述预测轨迹的终点位置是基于所述第二编码信息中所述预测轨迹的终点坐标信息确定的；

在所述待预测目标与所述第二编码信息对应的所述预测轨迹的起始位置之间的距离小于距离阈值的情况下，得到预测轨迹数据；其中，所述预测轨迹数据包括所述预测轨迹的终点位置、所述预测轨迹的起始位置以及所述待预测目标的标识。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述N个区域的尺寸相同，且所述区域的尺寸与第一尺寸的差距不超过尺寸阈值；其中，所述第一尺寸为至少一个所述待预测目标的最大尺寸、最小尺寸或平均尺寸。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述第一BEV图像包括第一车辆的位置信息，所述第一车辆位于所述第一BEV图像的中心位置。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述第一BEV图像包括第一车辆的位置信息；其中：

若所述第一车辆的行驶意图为直行，则所述第一车辆位于所述第一BEV图像的下方位置；

若所述第一车辆的行驶意图为左转，则所述第一车辆位于所述第一BEV图像的右方位置；和/或，

若所述第一车辆的行驶意图为右转，则所述第一车辆位于所述第一BEV图像的左方位置。

7.根据权利要求5或6任一项所述的方法，其特征在于，所述道路信息、所述至少一个待预测目标的位置信息以及所述至少一个所述待预测目标的历史轨迹信息是基于高精地图和自车定位信息、和/或所述第一车辆的至少一个传感器获取的。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述第一BEV图像数据还包括：环境语义信息；所述环境语义信息用于表示环境中影响车辆行驶的信息；

所述目标的轨迹预测情况还与所述BEV图像数据中的环境语义信息有关。

9.根据权利要求8所述的方法，其特征在于，所述环境语义信息包括下述的至少一种：交通灯信息、潮汐车道信息、施工区域信息或实时车祸信息。

10.一种轨迹预测装置，其特征在于，包括：

获取模块，用于获取第一鸟瞰视图BEV图像数据；所述第一BEV图像数据包括道路信息、至少一个待预测目标的位置信息以及至少一个所述待预测目标的历史轨迹信息；

所述获取模块还用于：根据所述第一BEV图像数据和编码模型，得到N个第一编码信息；其中，所述编码模型用于对BEV图像数据划分N个区域，所述N个第一编码信息为所述N个区域的编码信息，所述区域的编码信息用于表示所述区域中待预测目标的轨迹预测情况，所述待预测目标的轨迹预测情况与所述BEV图像数据中的道路信息、所述目标的位置信息和所述目标的历史轨迹信息有关；

处理模块，用于解码多个所述第一编码信息，得到至少一个所述待预测目标的预测轨迹数据。

11.根据权利要求10所述的装置，其特征在于，所述第一编码信息中包括下述的至少一种：存在预测轨迹的概率、所述预测轨迹的终点坐标信息、所述预测轨迹的方向信息或所述预测轨迹的长度信息。

12.根据权利要求11所述的装置，其特征在于，所述处理模块具体用于：

所述获取模块还用于：在所述待预测目标与所述第二编码信息对应的所述预测轨迹的起始位置之间的距离小于距离阈值的情况下，得到预测轨迹数据；其中，所述预测轨迹数据包括所述预测轨迹的终点位置、所述预测轨迹的起始位置以及所述待预测目标的标识。

13.根据权利要求10至12中任一项所述的装置，其特征在于，所述N个区域的尺寸相同，且所述区域的尺寸与第一尺寸的差距不超过尺寸阈值；其中，所述第一尺寸为至少一个所述待预测目标的最大尺寸、最小尺寸或平均尺寸。

14.根据权利要求10至13中任一项所述的装置，其特征在于，所述第一BEV图像包括第一车辆的位置信息，所述第一车辆位于所述第一BEV图像的中心位置。

15.根据权利要求10至13中任一项所述的装置，其特征在于，所述第一BEV图像包括第一车辆的位置信息；其中：

16.根据权利要求14或15任一项所述的装置，其特征在于，所述道路信息、所述至少一个待预测目标的位置信息以及所述至少一个所述待预测目标的历史轨迹信息是基于高精地图和自车定位信息、和/或所述第一车辆的至少一个传感器获取的。

17.根据权利要求10至16中任一项所述的装置，其特征在于，所述第一BEV图像数据还包括：环境语义信息；所述环境语义信息用于表示环境中影响车辆行驶的信息；

18.根据权利要求17所述的装置，其特征在于，所述环境语义信息包括下述的至少一种：交通灯信息、潮汐车道信息、施工区域信息或实时车祸信息。

19.一种控制装置，其特征在于，包括：

至少一个处理器和接口；

所述接口，用于为所述至少一个处理器提供程序指令或者数据；

所述至少一个处理器用于执行所述程序指令，以使得所述装置执行如权利要求1至9中任一项所述的方法。

20.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序包括用于实现如权利要求1至9中任一项所述的方法的指令。

21.一种终端，其包含上述权利要求10-19任一项所述的装置。