CN116300928A - 针对车辆的数据处理方法和数据处理模型的训练方法 - Google Patents

Abstract

本公开提供了一种针对车辆的数据处理方法和数据处理模型的训练方法、装置、设备、介质和自动驾驶车辆，涉及人工智能领域，具体涉及自动驾驶和计算机视觉等技术领域。针对车辆的数据处理方法的具体实现方案为：采用感知网络对场景数据和车辆的运动数据进行编码，得到车辆所在场景中环境要素的要素特征；场景数据基于车辆上的传感器采集的原始数据得到；采用聚合网络对要素特征和与车辆所在位置对应的地图数据进行聚合，得到聚合特征；以及采用解码网络对聚合特征进行解码，得到针对车辆的预测结果，其中，预测结果包括车辆的预测轨迹信息，以及以下信息中的至少之一：环境要素的结构化信息、环境要素在未来时刻的预测位置信息。

Description

针对车辆的数据处理方法和数据处理模型的训练方法

技术领域

本公开涉及人工智能领域，具体涉及自动驾驶和计算机视觉等技术领域，尤其涉及一种针对车辆的数据处理方法和针对车辆的数据处理模型的训练方法、装置、设备、介质和自动驾驶车辆。

背景技术

随着经济的发展和生活水平的提高，安全且便利地出行成为人们的主要需求之一，自动驾驶技术随之得到快速发展。目前，L2级别的自动驾驶技术已经日趋成熟，L4级别的自动驾驶技术也有望投入商业应用。

但L4级别的自动驾驶技术的商业化仍存在瓶颈，例如通行效率低、规划的路径精度较低。

发明内容

本公开旨在提供一种利于提高路径规划精度的针对车辆的数据处理方法和针对车辆的数据处理模型的训练方法、装置、设备和介质。

根据本公开的第一个方面，提供了一种针对车辆的数据处理方法，包括：采用感知网络对场景数据和车辆的运动数据进行编码，得到车辆所在场景中环境要素的要素特征；场景数据基于车辆上的传感器采集的原始数据得到；采用聚合网络对要素特征和与车辆所在位置对应的地图数据进行聚合，得到聚合特征；以及采用解码网络对聚合特征进行解码，得到针对车辆的预测结果，其中，预测结果包括车辆的预测轨迹信息，以及以下信息中的至少之一：环境要素的结构化信息、环境要素在未来时刻的预测位置信息。

根据本公开的第二个方面，提供了一种针对车辆的数据处理模型的训练方法，其中，数据处理模型包括感知网络、聚合网络和解码网络；方法包括：采用感知网络对样本数据包括的场景数据和车辆的运动数据进行编码，得到车辆所在场景中环境要素的要素特征；场景数据基于车辆上的传感器采集的原始数据得到；采用聚合网络对要素特征和样本数据包括的与车辆所在位置对应的地图数据进行集合，得到聚合特征；采用解码网络对聚合特征进行解码，得到针对车辆的预测结果；预测结果包括车辆的预测轨迹信息；以及根据车辆的预测轨迹信息和车辆的实际轨迹信息，对数据处理模型进行训练，其中，预测结果还包括以下信息中的至少之一：环境要素的结构化信息、环境要素在未来时刻的预测位置信息。

根据本公开的第三个方面，提供了一种针对车辆的预测装置，包括：编码模块，用于采用感知网络对场景数据和车辆的运动数据进行编码，得到车辆所在场景中环境要素的要素特征；场景数据基于车辆上的传感器采集的原始数据得到；聚合模块，用于采用聚合网络对要素特征和与车辆所在位置对应的地图数据进行聚合，得到聚合特征；以及解码模块，用于采用解码网络对聚合特征进行解码，得到针对车辆的预测结果，其中，预测结果包括车辆的预测轨迹信息，以及以下信息中的至少之一：环境要素的结构化信息、环境要素在未来时刻的预测位置信息。

根据本公开的第四个方面，提供了一种针对车辆的数据处理模型的训练装置，其中，数据处理模型包括感知网络、聚合网络和解码网络；装置包括：编码模块，用于采用感知网络对样本数据包括的场景数据和车辆的运动数据进行编码，得到车辆所在场景中环境要素的要素特征；场景数据基于车辆上的传感器采集的原始数据得到；聚合模块，用于采用聚合网络对要素特征和样本数据包括的与车辆所在位置对应的地图数据进行集合，得到聚合特征；解码模块，用于采用解码网络对聚合特征进行解码，得到针对车辆的预测结果；预测结果包括车辆的预测轨迹信息；以及第一训练模块，用于根据车辆的预测轨迹信息和车辆的实际轨迹信息，对数据处理模型进行训练，其中，预测结果还包括以下信息中的至少之一：环境要素的结构化信息、环境要素在未来时刻的预测位置信息。

根据本公开的第五个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的针对车辆的数据处理方法和/或针对车辆的数据处理模型的训练方法。

根据本公开的第六个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的针对车辆的数据处理方法和/或针对车辆的数据处理模型的训练方法。

根据本公开的第七个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上，所述计算机程序/指令在被处理器执行时实现本公开提供的针对车辆的数据处理方法和/或针对车辆的数据处理模型的训练方法。

根据本公开的第八个方面，提供了一种自动驾驶车辆，该自动驾驶车辆包括本公开第三个方面提供的针对车辆的数据处理装置。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的针对车辆的数据处理方法和针对车辆的数据处理模型的训练方法、装置的应用场景示意图；

图2是根据本公开实施例的针对车辆的数据处理方法的流程示意图；

图3是根据本公开实施例的得到场景数据的原理示意图；

图4是采用感知网络得到环境要素的要素特征的原理示意图；

图5是采用聚合网络进行信息聚合的原理示意图；

图6是根据本公开实施例的针对车辆的数据处理方法的实现原理框架图；

图7是根据本公开实施例的针对车辆的数据处理模型的训练方法的流程示意图；

图8是根据本公开实施例的针对车辆的预测装置的结构框图；

图9是根据本公开实施例的针对车辆的数据处理模型的训练装置的结构框图；以及

图10是用来实施本公开实施例的针对车辆的数据处理方法和/或针对车辆的数据处理模型的训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

无人驾驶技术主要依赖于感知(Perception)模块和规划控制(Planning&Control，PNC)模块的协同处理。其中，编码模块用于将摄像头、雷达等传感器获得的非结构化信息转换为结构化信息(Structured Representation)，这些结构化信息包括但不限于：障碍物信息、道路要素信息等。其中，障碍物信息可以包括：其他车辆的信息、行人信息、非机动车信息和石块等障碍物的信息等。道路要素信息可以包括：车道线信息、红绿灯信息和其他路面信息等。这些结构化信息需要和高精地图包含的信息进行匹配，以精准获得结构化信息所表示物体在高精地图上的位置，以将高精地图包含的信息与感知得到的结构化信息进行融合。PNC模块用于基于融合得到的结构化信息及结构化信息所表示物体的历史状态等进行预测、规划和控制。其中，预测主要是预测未来一段时间内周边物体的行动状态，规划主要是规划未来时段内主车的行动轨迹，控制则是将规划的行动轨迹转换为车辆的具体控制信号。

通常，预测和规划存在强耦合关系。如果按时间点(t＝0s，1s，2s，3s，…，Ts)展开，每个时间点周边物体和主车都存在多种移动的可能性。对于T个时间点，按时间点展开的可能性可以达到N^T种，其中，N为每个时间点平均的可能性种类。该种展开计算的规模非常庞大，使得预测和规划成为几乎不可能的任务。为了解决该问题，一些主流的方法将预测和规划进行了解耦合，即先进行预测，再根据预测结果进行规划。但该些主流方法忽略了周边物体会因为主车的决策不同导致后续变化的情况，因此，规划精度会有损失。

整体而言，当前基于感知-预测-规划的自动驾驶技术主要面临以下几类的瓶颈和问题。

第一类，误差累积的问题。在预测和规划的推导过程中，存在严重的误差累积问题。即随着时间的推导，推导结果的准确率会迅速下降，误差会以指数级扩大。再者，现有技术中，感知的输出信息必须符合预先定义好的结构化范式，一旦感知出错，规划和控制阶段没有修复的可能，只能在感知出错的基础上叠加新的问题。

第二类，依赖人工规则存在的鲁棒性差的问题。为了解决上述展开计算的规模非常庞大的问题，通常还利用大量的先验规则对可能性进行剪枝，以加快处理效率。但这些先验规则往往是基于专家经验设置的，可能存在缺乏针对大量长尾情况的、突发状况的规则。再者，针对多种情况设置的多个先验规则之间，可能会存在冲突和不一致的情况，这将使得路径优化的问题极其困难。

第三类，不能对预测和规划过程进行端到端的优化，无法同时保证自动驾驶的安全性、效率和舒适性。具体地，预测和规划耦合的方案，虽然可以进行整体优化，但由于展开成本难以接受，不得不对规划精度进行大幅度的妥协，从而无法保证安全性、效率和舒适性。基于规则的方法，则无法进行端到端优化，且仅能在一定程度上保证安全性，但无法保证舒适性和出行效率。

第四类，优化成本高。当前编码模块和预测规划模块的训练无法依赖于最终的驾驶信号，必须依赖于中间的结构化表达的真实标注。如此，训练过程需要大量感知数据的标注，标注成本高，且数据量也存在一定的限制。当前优化过程需要依赖高精地图，而高精地图的收集成本非常高，在实际使用中，经常会存在因临时修路等因素导致的高精地图完全不能匹配的问题，从而会导致现有的方案无法实施。

为了解决上述问题，本公开提供了一种针对车辆的数据处理方法和针对车辆的数据处理模型的训练方法、装置、设备和介质。以下先结合图1对本公开提供的方法和装置的应用场景进行描述。

图1是根据本公开实施例的针对车辆的数据处理方法和针对车辆的数据处理模型的训练方法、装置的应用场景示意图。

如图1所示，该实施例的应用场景100可以包括自动驾驶车辆110和服务器120。其中，自动驾驶车辆110上可以集成有自动驾驶系统，服务器120例如可以为用于向自动驾驶系统的运行提供支持的后台管理服务器。

在一实施例中，自动驾驶车辆110例如还可以集成有与自动驾驶系统通信连接的多种类型的传感器，例如视觉类摄像机和雷达类测距传感器等。其中，视觉类摄像机例如可以包括单目相机、双目立体视觉相机、全景视觉相机及红外相机等。雷达类测距传感器例如可以包括激光雷达、毫米波雷达、超声波雷达等。自动驾驶系统例如可以对多种类型的传感器所采集的数据进行处理，以确定自动驾驶车辆110的环境信息并进行自动驾驶车辆110的路径的规划。

例如，自动驾驶系统例如还可以从服务器120侧下载各种类型的地图，具体可以下载车道级地图130，并结合该车道级地图130和传感器所采集的数据进行自动驾驶车辆110周边环境的感知和路径的规划。

在一实施例中，服务器120例如还可以为自动驾驶系统提供数据处理模型140，自动驾驶系统可以根据该数据处理模型140对传感器所采集的数据进行处理，并结合车道级地图1 30进行环境的感知和路径的规划。例如，数据处理模型140可以以路径的规划(也可以称为轨迹的预测)作为主要任务，以环境的感知(例如周边环境中障碍物的检测等)作为辅助任务，同步的输出感知得到的周边环境的结构化信息和预测得到的车辆的轨迹信息。

在一实施例中，服务器120例如可以结合标注数据、闭环数据和开环数据进行数据处理模型140的训练。

在一实施例中，自动驾驶车辆110中的自动驾驶系统例如还可以将传感器采集的数据发送给服务器120，由服务器120进行自动驾驶车辆110周边环境的感知和路径的规划。随后，由服务器120将预测得到的轨迹信息下发给自动驾驶系统，由自动驾驶系统根据该轨迹信息确定针对自动驾驶车辆110的控制信号，并对自动驾驶车辆110进行控制。

需要说明的是，本公开提供的针对车辆的数据处理方法可以由自动驾驶车辆或自动驾驶车辆中的自动驾驶系统执行，也可以由服务器120执行。相应地，本公开提供的针对车辆的预测装置可以设置在自动驾驶车辆或自动驾驶车辆中的自动驾驶系统中，也可以设置在服务器120中。本公开提供的针对车辆的数据处理模型的训练方法可以由服务器120执行。相应地，本公开提供的针对车辆的数据处理模型的训练装置可以设置在服务器120中。

应该理解，图1中的自动驾驶车辆110和服务器120的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的自动驾驶车辆110和服务器120。

以下将结合图2～图6对本公开提供的针对车辆的数据处理方法进行详细描述。

图2是根据本公开实施例的针对车辆的数据处理方法的流程示意图。

如图2所示，该实施例的针对车辆的数据处理方法200可以包括操作S210～操作S230。

在操作S210，采用感知网络对场景数据和车辆的运动数据进行编码，得到车辆所在场景中环境要素的要素特征。

根据本公开的实施例，场景数据可以是基于车辆上的传感器在历史时刻下所采集的原始数据得到的。例如，该场景数据可以通过以下方式得到：将多个传感器在历史时刻下所采集的原始数据转换至统一坐标系下，将该统一坐标系下的数据作为场景数据。其中，多个传感器采集的原始数据可以包括：多个RGB摄像机在多个历史时刻拍摄到的图像数据

雷达点云数据/>

超声雷达数据/>

等。其中，i表示多个(例如N_rgb个)RGB相机中的第i个相机，t表示多个历史时刻中的某个时刻，N_lid表示激光雷达所能采集到的点云的个数，N_rad表示超声雷达所能检测到的距离个数。其中，统一坐标系例如可以为任意的二维坐标系或三维坐标系。在一实施例中，为了便于对多个传感器的数据进行融合，例如可以将统一坐标系选定为基于车辆构建的坐标系。

根据本公开的实施例，车辆的运动数据例如可以包括：表示车辆相邻两个历史时刻所发生的位置变化的数据、车辆在多个历史时刻中每个时刻的速度、基于各传感器构建的坐标系与基于车辆构建的坐标系之间的转换矩阵

其中，车辆在t时刻相对于(t-1)时刻所发生的位置变化的数据可以为旋转和位移矩阵/>

其中，基于车辆构建的坐标系可以包括鸟瞰俯视图(Bird’s Eye View，BEV)坐标系。

根据本公开的实施例，感知网络例如可以采用多传感器融合框架，例如，感知网络可以采用基于统一的BEV表征的多任务多传感器融合框架(Multi-Task Multi-SensorFusion with Unified Bird’s-Eye View Representation，BEVFusion)中的BEV编码器。通过采用BEV作为融合的统一表征，可以对几乎所有的感知数据都进行融合，且将原始数据转换至BEV坐标系的过程可以同时保持环境要素的几何结构和语义密度。

根据本公开的实施例，车辆所在场景中例如可以包括多个环境要素，则得到的要素特征可以包括多个环境要素中每个环境要素的要素特征。在场景数据包括多个历史时刻的数据的情况下，针对每个环境要素，得到的要素特征为特征序列的形式，特征序列中包括每个环境要素在每个历史时刻时的要素特征。

在操作S220，采用聚合网络对要素特征和与车辆所在位置对应的地图数据进行聚合，得到聚合特征。

与车辆所在位置对应的地图数据例如可以通过以下方式确定的地图数据：根据车辆的位置确定车道级地图中对应的地图位置；将该地图位置的预定范围内的指示车道线、人行道、红绿灯等的数据作为地图数据。其中，指示红绿灯的数据可以由点来表示，指示车道线、人行道的数据可以由线段来表示。

根据本公开的实施例，聚合网络例如可以包括卷积网络或者自注意力机制的网络。该实施例中，可以分别确定地图数据的嵌入特征和提示信息的嵌入特征，以分别得到地图特征和提示特征。例如，可以将地图数据中指示每个对象(可以为红绿灯、斑马线、车道线等)的数据经以序列形式输入嵌入层(Embedding layer)，由嵌入层输出嵌入特征序列，嵌入特征序列中的每个嵌入特征表示一个对象。该实施例可以将要素特征和地图特征同时输入聚合网络中，经由聚合网络处理后得到聚合特征。

在一实施例中，聚合特征例如可以包括与要素特征、地图特征和提示特征分别对应的聚合后要素特征和聚合后地图特征。

在操作S230，采用解码网络对聚合特征进行解码，得到针对车辆的预测结果。

根据本公开的实施例，解码网络例如可以根据预测任务所得到的预测结果的类型来进行选择。例如，在预测任务为多个的情况下，解码网络可以包括与多个预测任务分别对应的多个解码子网络。

例如，预测结果可以包括车辆的预测轨迹信息，则解码网络可以采用可以产生3D坐标的解码器，例如采用Transformer解码器。该实施例可以根据解码网络输出的一系列3D坐标作为预测轨迹信息，并将根据该一系列3D坐标拟合得到的轨迹作为预测轨迹。具体地，在聚合特征包括聚合后要素特征、聚合后地图特征和聚合后提示特征时，可以将该些聚合后的特征拼接后作为解码网络的输入，经由解码网络处理后，由解码网络输出预测轨迹信息。

例如，预测结果可以包括环境要素的结构化信息，则解码网络可以采用由全连接层和归一化层构成的网络结构。其中，全连接层用于对聚合特征进行处理从而得到环境要素的位置信息和环境要素的包围框信息(Bounding-Box)。归一化层例如可以用于得到环境要素的类别。具体地，例如可以将聚合特征输入全连接层，由全连接层输出3+3+X维的向量。其中，前3维元素表示环境要素在3D空间中的位置，中间的3维元素可以表示环境要素的包围框的长、宽、高。后X维元素经由归一化层处理后，可以得到针对多个预定类别的概率向量，概率向量包括环境要素为多个预定类别中每个类别的概率。

例如，预测结果可以包括环境要素在未来时刻的预测位置信息，则解码网络可以采用全连接层。具体地，可以将聚合特征输入全连接层，由全连接层输出一系列的3维向量P_t，1，l，P_t，2，l，…，P_t,T′，l，分别表示环境要素l在当前时刻t之后的(t+1)时刻、(t+2)时刻、…、(t+T’)时刻的预测位置。或者，输出的一系列的3维向量也可以表示未来时刻中多个非均匀时刻下环境要素的预测位置。

可以理解的是，上述预测结果及对应的解码网络的结构仅作为示例以利于理解本公开，本公开对此不做限定。上述感知网络、聚合网络和解码网络例如可以依次连接，从而构成端到端的数据处理模型。

在一实施例中，预测结果可以包括车辆的预测轨迹信息，还可以包括上述环境要素的结构化信息和环境要素在未来时刻的预测位置信息中的至少之一。该实施例可以将预测车辆的轨迹信息的任务作为数据处理的主要任务，将得到环境要素的结构化信息的任务和得到环境要素在未来时刻的预测位置信息的任务中的至少之一作为辅助任务。

本公开实施例通过经由解码网络得到预测轨迹信息，以及环境要素的结构化信息和环境要素在未来时刻的预测位置信息中的至少之一，可以实现预测阶段和规划阶段的并行执行。如此可以避免现有技术中先预测后规划的技术方案所存在的误差累积的情况。再者，感知得到的场景数据的特征会随着网络隐式地传递至用于预测车辆的轨迹信息的解码网络，因此，可以提高预测时所参考信息的准确性，利于提高预测得到的车辆的轨迹信息的精度。

另外，本公开实施例虽然可以采用端到端的模型结构，但由于上述辅助任务的预测结果的输出，可以提高采用的端到端模型架构的可解释性和可信度。同时，对于因未定义好某些环境要素的结构化表示行驶导致的环境要素识别失败的情形，可以通过采用端到端的模型架构的梯度的迭代而在一定程度上得到解决。

图3是根据本公开实施例的得到场景数据的原理示意图。

如图3所示，在一实施例300中，在基于车辆上的传感器310采集的原始数据320得到场景数据时，可以先将传感器310采集的原始数据320转换至BEV坐标系，从而得到像素数据330和深度数据340。例如，对于雷达点云数据

中的每个点云(x，y，z)∈x_lid，t，可以基于上文描述的车辆的运行数据中基于采集该雷达点云数据的传感器构建的坐标系与BEV坐标系之间的转换矩阵R_cam，i，t，采用以下公式(1)来将每个点云(x，y，z)映射至BEV坐标系中的像素点，从而得到像素数据330。相应地，深度数据340可以采用以下公式(2)来确定。

u，v＝R_cam，i，t·(x，y，z，1) 公式(1)

其中，x，y，z分别表示点云在基于采集该雷达点云数据的传感器构建的坐标系中的坐标位置，u，v表示映射得到的像素点在BEV坐标系中的坐标位置，d表示深度值。

通过映射，例如可以得到二维图像x_cam，t(u，v)和与二维图像对应的深度图x_d，t(u，v)＝d。在得到像素数据330和深度数据340之后，该实施例300可以在通道维度拼接像素数据330和深度数据340，从而得到感知数据350。例如，可以将x_i，t(u，v)与x_d，t(u，v)在通道维度拼接，得到作为感知数据350的四维数据

其中，W、H分别表示二维图像的像素宽度和像素高度，i表示多个传感器中的第i个传感器，t表示某个时刻，即，基于对第i个传感器在时刻t采集的原始数据可以得到感知数据x_merg，i,t。

在一实施例中，例如可以将该感知数据作为场景数据。

在一实施例中，在得到感知数据350后，还可以采用残差网络360来对感知数据350进行处理，将残差网络360处理得到的数据作为场景数据370。通过残差网络的处理，可以改变感知数据350的形状和通道数，避免端到端网络的梯度爆炸。可以理解的是，该残差网络360例如可以与上文描述的感知网络、聚合网络和解码网络构成整体的端到端网络架构，本公开对此不做限定。

例如，残差网络可以采用ResNet-101架构，感知数据x_merg,i,t经由残差网络处理得到的场景数据f_i，t例如可以采用以下公式(3)来表示。

可以理解的是，上述技术方案仅以对单个传感器采集的原始数据的处理为例，该实施例可以对多个传感器中每个传感器采集的原始数据均进行类似的处理，得到的所有数据可以构成序列形式的场景数据。

本公开实施例通过将传感器采集的原始数据转换至BEV坐标系，并保留点云数据的深度信息，可以提高得到的场景数据的精度。通过采用残差网络对拼接得到的数据进行处理，可以利于后续网络采用深度较大的结构，并因此利于提高得到的预测结果的精度。

图4是采用感知网络得到环境要素的要素特征的原理示意图。

在一实施例中，感知网络例如可以采用可变形自注意力(Deformable Attention)机制来对场景数据和运动数据进行编码，从而得到环境要素的要素特征。该方案可以使得感知网络能够专注于重点区域并捕获更多信息特征。

例如，可以由感知网络采用可变形自注意力机制来对预训练获得的查询数据、前文描述的场景数据和运动数据进行预定次数K的迭代编码，将K次迭代编码得到的数据作为环境要素的要素特征。其中，例如可以将随机分配的初始数据经过嵌入层处理后所得到的数据作为查询数据的初始值，在训练感知网络的过程中，通过不断调整嵌入层的网络参数，直至完成感知网络的训练。该实施例可以将初始数据经过调整完成的嵌入层的处理后所得到的数据作为预训练获得的查询数据。例如，初始数据的长度例如可以根据通常情况下，车辆周围的环境要素的最大数量来确定。最大数量越大，则初始数据的长度越长。

该实施例中，可以将预训练获得的查询数据作为查询特征query，根据场景数据和运动数据来得到键特征key和值特征value。随后，采用交叉自注意力机制对查询特征query、键特征key和值特征value进行处理，将处理得到的特征作为第一次迭代编码所得到的特征。随后，该实施例可以将第一次迭代编码所得到的特征作为query，并结合键特征key和值特征value进行第二次迭代编码。以此类推，经过K次迭代编码，得到环境要素的要素特征。可以理解的是，该K次迭代编码的原理与Transformer架构中迭代编码的原理类似，在此不再赘述。

在一实施例400中，如图4所示，感知网络可以采用通过时空变换器从多相机图像学习BEV表征的网络架构(Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers，BEVFormer)中所采用的可变形自注意力机制来进行迭代编码。例如，感知网络可以包括依次连接的K个编码子网络410，每个编码子网络包括可变形注意力机制层DeformAttn 411和映射-归一化层412(简称为FFN)。其中，映射-归一化层412可以由两个全连接层和归一化层依次连接构成。

相应地，在进行K次迭代的编码时，该实施例可以将查询数据401作为第1次迭代编码所采用的第1查询特征

将第1查询特征/>

运动数据R_car,t、R_cam,i,t 402和场景数据f_i，t 403输入K个编码子网络410中排在首位的编码子网络所包括的可变形自注意力层411中，以采用该可变形自注意力层411对输入的数据进行处理，实现第1次迭代编码。该实施例随后可以采用排在首位的编码子网络所包括的映射-归一化层对第1次迭代编码得到的特征和第1查询特征/>

进行处理，从而得到用于输入K个编码子网络410中第2个编码子网络的第2查询特征/>

404。随后，该实施例可以将该第2查询特征/>

404、运动数据R_car,t、R_cam,i,t 402和场景数据f_i，t 403输入第2个编码子网络所包括的可变形自注意力层，基于类似的原理实现第2次迭代编码。并通过采用第2个编码子网络所包括的映射-归一化层对第2次迭代编码得到的特征和第2查询特征/>

进行处理，从而得到用于输入K个编码子网络410中第3个编码子网络的第3查询特征/>

以此类推，可以将第(K-1)个编码子网络得到的第K查询特征/>

405、运动数据R_car,t、R_cam,i,t 402和场景数据f_i，t 403输入第K个编码子网络所包括的可变形自注意力层，基于类似的原理实现第K次迭代编码。并通过采用第K个编码子网络所包括的映射-归一化层对第K次迭代编码得到的特征和第K查询特征/>

进行处理，从而得到第(K+1)查询特征/>

406。该实施例中，可以将第(K+1)查询特征/>

406作为环境要素。

其中，对于K个编码子网络中第j个编码子网络，例如可以采用以下公式(4)来对输入的数据进行处理，从而得到第(j+1)查询特征

其中，φ()为基于输入的运动数据402中的R_cam,i,t等对第j查询特征进行的投影操作。其中，在通过DeformAttn层处理后，可以将得到的特征与第j查询特征进行拼接(即公式(4)中的“+”操作)。映射-归一化层先经由两个全连接层F对拼接得到的特征进行处理，随后采用归一化层N对两个全连接层F处理得到的特征进行归一化处理，从而得到查询特征

在一实施例中，环境要素可以包括第一类要素。其中，第一类要素可以包括传感器检测到的车辆周围的障碍物和/或道路要素。相应地，感知网络的作用可以为用于感知得到每个第一类要素的要素特征，预训练获得的查询数据可以包括针对第一类要素中每个要素的锚点(Anchor Point)的第一查询数据q_dyn，l，t。该第一类要素可以理解为动态(dynamic)要素。其中，障碍物可以包括其他车辆、行人、非机动车等。道路要素可以包括车道线、红绿灯等。其中，第一查询数据的个数L_dyn可以通常车辆周边障碍物的最大个数N_o和车辆周边道路要素的最大个数N_r之和来表示，即：L_dyn＝N_o+N_r。在该实施例中，经由感知网络处理后得到的要素特征例如可以包括障碍物的要素特征e_o，l，t 407和道路要素的要素特征e_r,l,t 408。其中，锚点通常指图形的几何中心。

在一实施例中，环境要素可以包括第二类要素，第二类要素可以包括预定路面网格中的每个单元格。其中，预定路面网格可以是基于针对车辆的预定范围内的区域构建的。相应地，感知网络的作用可以为用于感知得到每个第二类要素的要素特征，预训练获得的查询数据可以包括针对第二类要素中每个要素的锚点(Anchor Point)的第二查询数据q_stat，l，t，其中，第二类要素中每个要素的锚点可以理解为每个单元格的中心点。其中，第二查询数据的个数L_stat可以为预定路面网格包括的单元格总数，即L_stat＝W_B×H_B。其中，W_B、H_B分别为预定路面网格中每行包括的单元格数量和每列包括的单元格数量。可以理解的是，预定范围、单个单元格的尺寸等可以根据实际需求进行设定，本公开对此不做限定。在该实施例中，经由感知网络处理后得到的要素特征例如可以包括每个单元格的要素特征e_b,l,t409。

在环境要素既包括第一类要素，也包括第二类要素时，该实施例可以将查询数据统一表示为q_l，t，其中，l＝[1，2，...，L_stat，...，L_stat+L_dyn]。在该实施例中，经由感知网络处理后得到的要素特征例如可以包括障碍物的要素特征e_o，l，t 407和道路要素的要素特征e_r,l,t 408和每个单元格的要素特征e_b，l，t409。通过该方式，可以实现对环境要素的全面感知。例如，若查询数据包括L_stat+N_o+N_r个数据，则经过上述K次迭代编码得到的第(K+1)查询特征相应地包括与L_stat+N_o+N_r个数据分别对应的特征，该实施例可以将前L_stat个特征作为单元格的要素特征，即

其中，i1＝[1，2，...，L_stat]，将中间的N_o个特征作为障碍物的要素特征，即/>

其中，i2＝[1，2，...，N_o]，将最后的N_r个特征作为道路要素的要素特征，即/>

其中，i3＝[1，2，...，N_r]。

在一实施例中，上述得到的各个要素特征可以包括每个环境要素在历史上K个时刻下的特征，即，上述各要素特征中，t＝[0s，-1s，-2s，...，-Ms]。其中，t＝0s表示当前时刻。即，针对每个环境要素，可以得到一系列共计(M+1)个要素特征。

图5是采用聚合网络进行信息聚合的原理示意图。

在一实施例中，在采用聚合网络聚合数据时，还可以同时聚合针对车辆的提示数据。该提示数据例如可以包括路线信息、交通信息和响应于车辆中乘客的操作所得到的输入指令等。其中，路线信息例如可以为车辆的导航系统中所加载的车道级地图或导航地图给出的路线信息。交通信息例如可以包括车辆所在道路的限速信息等。响应于乘客操作所得到的输入指令例如可以包括指示“加快速度”、“平稳一些”等信息的指令。该实施例通过同时聚合提示数据，可以为预测过程提供更为丰富的信息，利于提高预测结果的精度。

例如，如图5所示，该实施例500中，聚合网络510可以同时对上文描述的方式得到的环境要素的要素特征、车辆所在位置对应的地图数据501和提示数据502进行聚合。

其中，要素特征例如可以包括上文描述的障碍物的要素特征e_o，l，0、…、e_o，l，-K 523，道路要素的要素特征e_r,l,0、…、e_r,l,-K 524，以及单元格的要素特征e_b,l,0、…、e_b，l，-K 525。

其中，可以采用上文描述的方式来确定地图数据501的地图特征521，即得到地图数据501的向量化表示e_m，l。类似地，可以采用确定地图数据的嵌入特征时对地图数据的处理方式类似的方式，对提示数据502中的路线信息所包括的各个点的位置进行处理，从而得到与路线信息对应的嵌入特征。可以对限速信息等进行离散化处理后再将离散化处理后的数据转换为嵌入向量，从而得到与限速信息对应的嵌入特征。可以对指示“加快速度”、“平稳一些”等信息的指令进行字或词粒度的分割，并对分割得到的序列进行嵌入处理，从而得到与指令对应的嵌入特征。该实施例将各种嵌入特征进行拼接后得到的特征作为提示数据502的提示特征522，即得到提示数据502的向量化表示e_p，l。

该实施例可以将地图特征521、提示特征522和各环境要素的要素特征523～525同时作为聚合网络510的输入，由聚合网络510聚合输入的要素特征、地图特征和提示特征，从而得到聚合特征。在一实施例中，聚合特征例如可以包括与地图特征521对应的聚合后地图特征

531，与提示特征522对应的聚合后提示特征/>

532，与障碍物的要素特征523对应的聚合后要素特征/>

533，与道路要素的要素特征524对应的聚合后要素特征/>

534，以及与单元格的要素特征525对应的聚合后要素特征/>

535。

在一实施例中，聚合网络510例如可以采用基于注意力机制构建的K’个聚合层构成的网络结构。例如，聚合网络510可以为K’级的Transformer级联网络。该实施例可以将要素特征、地图特征和提示特征输入K’级的Transformer级联网络，由K’级的Transformer级联网络中的第K’级网络输出聚合特征。

在一实施例中，聚合网络可以对输入的要素特征、地图特征和提示特征进行基于注意力机制的时间-空间维度的交替聚合，从而得到聚合特征。例如，聚合网络可以采用用于时空多代理预测的代理感知转换器(Agent-Aware Transformers for Socio-TemporalMulti-Agent Forecasting，AgentFormer)中对时间和空间维度进行联合建模的原理，来对输入的特征进行聚合。AgentFormer允许一个对象在某个时刻的状态直接影响另一个对象在未来时刻的状态。AgentFormer使用时间编码器来解决时间信息的丢失问题，该时间编码器将时间戳特征附加到每个输入特征上。对象感知注意力通过对输入特征进行不同的线性变换生成两组键特征和查询特征；一组键特征和查询特征用于计算对象间的注意力，而另一组键特征和查询特征用于计算对象内部的注意力。其中，时间编码器使用类似于原始Transformer中位置编码的编码器，根据输入特征的时间步长计算时间戳特征，时间戳使用与位置编码相同的正弦设计。通过进行时间-空间维度的交替聚合，可以对多种类型的特征进行时间和空间维度的建模，从而可以提高得到的聚合特征的表达能力，利于提高后续得到的预测结果的精度。

在一实施例中，可以对多个历史时刻(即时刻0s、…，-Ks)进行降采样，得到多个采样时刻。在聚合时，对环境要素在该多个采样时刻的特征、地图特征和提示特征进行聚合，从而得到聚合特征。其中，例如可以采用等间隔采样的方式进行降采样，或者采样间隔可以随着历史时刻与当前时刻之间的间隔逐渐增大。或者，可以采用与空间相关的时间采样方式，例如若车辆在某个历史时段内未发生位移，则可以仅针对该某个历史时段进行一个时刻的采样。通过对历史时刻进行采样，可以在保证得到的聚合特征的表达能力的同时，降低聚合成本，提高数据处理效率。可以理解的是，上述采样方式仅作为示例以利于理解本公开，本公开对此不做限定。

图6是根据本公开实施例针对车辆的数据处理方法的实现原理框架图。

如前所述，数据处理方法可以将预测车辆的轨迹信息的任务作为主要任务，将得到环境要素的结构化信息的任务和得到环境要素在未来时刻的预测位置信息的任务中的至少之一作为辅助任务。

在此基础上，如图6所示，该实施例的数据处理方法的实现原理600例如可以为：将场景数据611和运动数据612作为感知网络601的输入，由感知网络编码得到车辆所在场景中环境要素的要素特征。将要素特征、地图数据613(具体可以为表征地图数据的地图特征)和提示数据614(具体可以为表征提示数据的提示特征)输入聚合网络602，由聚合网络对输入的数据进行聚合，得到聚合特征。得到的聚合特征例如可以包括上文描述的与地图特征对应的聚合后地图特征

615，与提示特征对应的聚合后提示特征/>

616，与障碍物的要素特征对应的聚合后要素特征/>

617，与道路要素的要素特征对应的聚合后要素特征/>

618，以及与单元格的要素特征对应的聚合后要素特征/>

619。该实施例可以将聚合特征输入解码网络603，由解码网络输出与主要任务对应的车辆的预测轨迹信息621，以及与辅助任务对应的信息。与辅助任务对应的信息例如可以包括以下至少之一：与得到环境要素的结构化信息的任务对应的结构化信息622，与得到环境要素在未来时刻的预测位置信息的任务对应的预测位置信息623。

在一实施例中，环境要素可以包括上文描述的第一类要素，即包括上文描述的障碍物和道路要素，也可以包括上文描述的第二类要素，即预定路面网格中的每个单元格。上述的结构化信息622例如可以仅为每个第一类要素的结构化信息，这是由于预定路面网格中的每个单元格为虚拟构建的，而障碍物和道路要素是真实存在的。相应地，得到该结构化信息的任务可以理解为目标检测任务。相应地，解码网络603例如可以包括第一解码子网络，感知得到的要素特征中可以包括针对第一类要素的第一特征序列，该第一特征序列中包括每个第一类要素的要素特征，聚合特征可以包括与第一特征序列对应的第一聚合特征。该实施例中，可以采用第一解码子网络来对该第一聚合特征进行解码，从而得到每个第一类要素的结构化信息。例如，第一解码子网络可以采用上文描述的由全连接层和归一化层构成的网络结构。得到的结构化信息可以包括每个第一类要素在3D空间中的位置，该每个第一类要素的包围框的长、宽、高，以及每个第一类要素属于多个预定类别中每个类别的概率。

例如，对于障碍物和道路要素，可以区分为不同子类的第一类要素，该实施例可以针对每个子类的第一类要素设置一个解码子网络，以对每个子类的第一类要素进行精准分类。例如，针对障碍物的多个预定类别可以包括行人类别、车辆类别、非机动车类别等。针对道路要素的多个预定类别可以包括车道线类别、红绿灯类别、导流带类别等。

在一实施例中，得到环境要素在未来时刻的预测位置信息的任务例如可以主要用于得到障碍物的预测位置信息，这是由于道路要素的位置通常是固定不变的，且预定路面网格中的每个单元格为虚拟构建的。相应地，解码网络可以包括第三解码子网络。该实施例可以采用该第三解码子网络来对第一聚合特征中的目标特征进行解码，从而得到障碍物在未来时刻的预测位置信息。其中，目标特征即为第一聚合特征中与针对障碍物的第一特征序列对应的特征。其中，第三解码子网络例如可以采用全连接层。具体实现原理可以参见上文描述的得到环境要素在未来时刻的预测位置信息的原理，在此不再赘述。

在一实施例中，辅助任务例如还可以包括预测车辆当前的可行驶区域的任务。可行驶区域例如可以为车辆的预定范围内的可行驶区域。相应地，辅助任务可以基于预定路面网格中单元格的特征来实现。相应地，解码网络可以包括用于执行预测车辆当前的可行驶区域的任务的第二解码子网络，感知得到的要素特征包括针对每个单元格的第二特征序列，且聚合特征包括与第二特征序列对应的第二聚合特征。该实施例可以采用第二解码子网络来对第二聚合特征进行解码，从而得到每个单元格的可行驶信息，该可行驶信息可以包括表示该每个单元格可行驶的0，或者表示该每个单元格不可行驶的1。该实施例可以根据预定路面网格中所有单元格的可行驶信息，确定针对车辆的可行驶区域624。例如，可以将可行驶信息为0的所有单元格所在区域作为可行驶区域624。例如，第二解码子网络例如可以采用反卷积(DeConvolution)网络结构。该实施例将所有单元格的可行驶信息根据单元格的位置进行拼接，例如可以得到车辆的可行驶区域图I_driverable。

在一实施例中，辅助任务还可以包括行驶体验的预测任务，该行驶体验例如可以为车辆根据确定的预测轨迹信息行驶所带来的体验。通过行驶体验的预测任务的设置及训练，可以利于提高端到端模型预测得到的预测轨迹的合理性和准确性。相应地，解码网络例如可以包括第四解码子网络，该第四解码子网络例如可以用于对聚合网络得到的所有聚合特征进行解码，从而得到车辆的行驶体验信息625。通过对所有聚合特征进行处理，可以保证行驶体验信息的预测过程所考虑信息的全面性，利于提高预测得到的行驶体验信息的精度。其中，第四解码子网络例如可以采用自然语言处理领域中的解码器，例如，可以采用Transformer架构中的解码器。

例如，行驶体验信息625例如可以包括以下信息中的至少两个：是否违章的信息、是否发生碰撞的信息、是否需要行驶干预的信息和行驶舒适度信息等。例如，以是否需要行驶干预的信息为例，第四解码子网络例如可以输出一系列字符，该实施例可以根据该一系列字符中的特定字符来确定是否需要行驶干预。其中，特定字符例如可以为首字符，该特定字符的位置可以根据训练目标和实际需求进行设定，本公开对此不做限定。或者，该第四解码子网络可以为多分类子网络，根据分类结果可以确定是否需要行驶干预。例如，若分类结果中针对是否需要行驶干预的结果为1，则表示需要行驶干预。其中，行驶干预是指在自动驾驶车辆行驶过程中，是否需要人工干预车辆的行驶。

为了便于上述的针对车辆的数据处理方法的实施，本公开还提供了一种针对车辆的数据处理模型的训练方法，以下将结合图7对该训练方法进行详细描述。

图7是根据本公开实施例的针对车辆的数据处理模型的训练方法的流程示意图。

如图7所示，该实施例的针对车辆的数据处理模型的训练方法700可以包括操作S710～操作S740。数据处理模型例如可以包括上文描述的感知网络、聚合网络和解码网络。

在操作S710，采用感知网络对样本数据包括的场景数据和车辆的运动数据进行编码，得到车辆所在场景中环境要素的要素特征。

其中，样本数据可以包括某个时刻之前的历史时刻中的场景数据、车辆的运动数据。其中，场景数据基于车辆上的传感器采集的原始数据得到，具体根据车辆上的传感器在历史时刻下所采用的原始数据得到。可以理解的是，该操作S710的实现原理与上文描述的操作S210的实现原理类似，感知网络与上文描述的感知网络类似，在此不再赘述。

在操作S720，采用聚合网络对要素特征和样本数据包括的与车辆所在位置对应的地图数据进行集合，得到聚合特征。

根据本公开的实施例，样本数据包括的地图数据例如可以是根据车辆在历史时刻下的位置确定的。该样本数据中地图数据的确定原理可以与上文操作S220部分所提及的地图数据的确定原理类似，操作S720可以与上文描述的操作S220的实现原理类似，在此不再赘述。

在操作S730，采用解码网络对所述聚合特征进行解码，得到针对车辆的预测结果。

其中，预测结果包括车辆的预测轨迹信息，该预测轨迹信息可以根据某个时刻之后的多个时刻的预测位置信息拟合得到。

在一实施例中，预测结果还可以包括以下信息中的至少之一：环境要素的结构化信息、环境要素在未来时刻的预测位置信息。其中，未来时刻是指某个时刻之后的时刻。该某个时刻可以为当前时刻，或者当前时刻之前的任一时刻，本公开对此不做限定。

在一实施例中，操作S730的实现原理与上文描述的操作S230的实现原理类似，在此不再赘述。

在操作S740，根据车辆的预测轨迹信息和车辆的实际轨迹信息，对数据处理模型进行训练。

根据本公开的实施例，车辆的实际轨迹信息例如可以为仿真环境所得到的轨迹信息，也可以为车辆在某个时刻之后行驶的实际轨迹的信息。例如，该实际轨迹信息可以包括在对车辆进行开环控制的场景下所得到的轨迹。相应地，该实施例可以将对车辆进行开环控制的场景下得到的传感器采集的数据、运动数据记录下来，并引入地图数据，从而得到样本数据。可以理解的是，开环控制是指无反馈信息的系统控制方式。采用开环控制设计的人机系统，操作指令的设计十分重要，一旦出错，将产生无法挽回的损失。

在该实施例中，例如可以根据预测轨迹信息和实际轨迹信息，确定采用L2损失函数的损失值，将该损失值作为数据处理模型预测轨迹的损失值。并以最小化该损失值为目标，采用反向传播算法来对数据处理模型中的网络参数进行调整，实现对数据处理模型的训练。可以理解的是，上述损失函数仅作为示例以利于理解本公开，本公开对此不做限定。

例如，可以采用以下公式(5)来确定数据处理模型预测轨迹的损失值L_bc。其中，Y_t表示预测轨迹，

表示实际轨迹。

在一实施例中，预测结果例如还可以包括环境要素的结构化信息。其中的环境要素例如可以包括上文描述的第一类要素，即包括障碍物和道路要素中的至少之一。则在解码聚合特征时，可以采用上文描述的第一解码子网络对上文描述的第一聚合特征进行解码，从而得到每个第一类要素的结构化信息。在该实施例中，样本数据例如可以为标注数据，具体地，样本数据可以具有第一标注信息，该第一标注信息例如可以指示某个时刻的历史时刻下车辆所在场景中真实的第一类要素的结构化信息。可以理解的是，标注信息所指示的结构化信息例如可以表示真实的第一类要素的3D位置，真实的第一类要素的包围框的长、宽、高，以及真实的第一类要素的类别。预测得到的结构化信息包括预测的第一类要素的3D位置，预测的第一类要素的包围框的长、宽、高，以及预测的第一类要素属于多个预定类别中每个类别的概率值。

在该实施例中，例如还可以根据真实的第一类要素的结构化信息与预测的第一类要素的结构化信息之间的差异，来对数据处理模型进行训练，以利于提高数据处理模型执行得到结构化信息的辅助任务的精度，并因此利于提高数据处理模型预测车辆的行驶轨迹的精度。

例如，该实施例可以先根据第一标注信息指示的结构化信息与预测结果中的结构化信息，对真实的第一类要素与预测的第一类要素进行匹配，得到至少一个匹配要素对。例如，在匹配时，可以根据3D位置之间的距离先确定初始的匹配结果。随后根据初始的匹配结果中两个要素的包围框的交并比对初始的匹配结果进行筛选。例如，若真实的第一类要素的3D位置与预测的第一类要素的3D位置之间的距离小于预定阈值，则可以确定该真实的第一类要素与预测的第一类要素匹配，得到初始的匹配结果。若初始的匹配结果中，真实的第一类要素的包围框与预测的第一类要素的包括为之间的交并比小于预定交并比，则从初始的匹配结果中剔除包括该真实的第一类要素和该预测的第一类要素的匹配结果。最终，将留下的匹配的两个第一类要素作为一个匹配要素对。在得到匹配要素对后，该实施例可以针对每个匹配要素对，确定预测的第一类要素的结构化信息与真实的第一类要素的结构化信息之间的差异，将该差异作为针对每个匹配要素对的匹配差异。例如，该匹配差异例如可以由3D位置的差异、包围框的差异和类别的差异累加求和得到。例如，3D位置的差异例如可以根据3D位置之间的距离确定，包围框的差异例如可以根据交并比确定，类别的差异例如可以根据预测的第一类要素属于真实的结构化信息中类别的概率值来确定。该实施例中，例如可以采用L1损失函数来确定3D位置的差异所引起的损失值，采用交并比损失函数来确定包围框的差异所引起的损失值，采用交叉熵损失函数来确定类别的差异所引起的损失值。该实施例可以将三部分损失值归一化后求和，采用求和得到的损失值来表示针对每个匹配要素对的匹配差异。最后，该实施例可以将针对至少一个匹配要素对的至少一个匹配差异的和作为数据处理模型执行得到结构化信息的辅助任务的损失值，并根据该损失值对数据处理模型进行训练。

例如，若第一类要素包括障碍物和道路要素，则数据处理模型执行得到障碍物的结构化信息的辅助任务的损失值L_object可以采用以下公式(6)来表示。数据处理模型执行得到道路要素的结构化信息的辅助任务的损失值L_road可以采用以下公式(7)来表示。其中，

表示真实的障碍物的结构化信息，O_l，t表示预测的障碍物的结构化信息。/>

表示真实的道路要素的结构化信息，r_l，t表示预测的道路要素的结构化信息。在匹配得到的由真实的障碍物和预测的障碍物构成的障碍物对为多个的情况下，则将针对多个障碍物对的匹配差异求和，得到损失值L_object。类似地，在匹配得到的由真实的道路要素和预测的道路要素构成的道路要素对为多个的情况下，则将针对多个道路要素对的匹配差异求和，得到损失值L_road。

L_road＝∑_lΔ(r_l ^gt，r_l，t) 公式(7)

可以理解的是，标注数据可以是通过对在对车辆进行开环控制或闭环控制所得到的数据进行人工标注后得到的。

在一实施例中，预测结果例如还可以包括预测的可行驶区域。相应地，环境要素还可以包括上文描述的第二类要素。第二类要素包括预定路面网格中的每个单元格。则在解码聚合特征时，可以采用上文描述的第二解码子网络对上文描述的第二聚合特征进行解码，得到预测的每个单元格的可行驶信息。则根据预测的预定路面网格中所有单元格的可行驶信息，可以确定预测的针对车辆的可行驶区域。在该实施例中，样本数据例如可以为标注数据，具体地，样本数据可以具有第二标注信息，该第二标注信息指示车辆的预定范围内的可行驶区域。可以理解的是，标注指示的可行驶区域和预测的可行驶区域可以均为针对前述的某个时刻的。

该实施例中，例如还可以根据预测的可行驶区域与第二标注信息指示的可行驶区域之间的差异，来对数据处理模型进行训练，以利于提高数据处理模型执行预测可行驶区域的辅助任务的精度，并因此利于提高数据处理模型预测车辆的行驶轨迹的精度。

例如，第二标注信息指示的可行驶区域可以采用可行驶区域图I^gt表示，预测得到的可行驶区域可以采用可行驶区域图I_driverable表示，该实施例可以采用L2损失函数等来确定可行驶区域图I^gt与可行驶区域图I_driverable之间的差异，从而得到数据处理模型执行预测可行驶区域的辅助任务的损失L_driverable。例如，该损失L_driverable可以采用以下公式(8)得到。可以理解的是，上述L2损失函数仅作为示例以利于理解本公开，本公开对此不做限定。

L_driverable＝Δ(I^gt-I_driverable) 公式(8)

在一实施例中，预测结果例如还可以包括环境要素在未来时刻的预测位置信息。具体可以包括上文描述的第一类要素中的障碍物在未来时刻的预测位置信息。则在解码聚合特征时，可以采用上文描述的第三解码子网络来对第一聚合特征中的目标特征进行解码，从而得到障碍物在未来时刻的预测位置信息。在该实施例中，样本数据例如可以为开环数据，也可以为闭环数据，本公开对此不做限定。其中，闭环数据为对车辆进行闭环控制所产生的数据，闭环控制指作为被控的输出以一定方式返回到作为控制的输入端，并对输入端施加控制影响的一种控制关系。

相应地，该实施例还可以根据障碍物的预测位置信息和障碍物的真值位置信息之间的差异，来对数据处理模型进行训练，以利于提高数据处理模型执行预测障碍物位置的辅助任务的精度，并因此利于提高数据处理模型预测车辆的行驶轨迹的精度。

例如，该实施例中，可以将车辆检测得到的在前述某个时刻之后的未来时刻车辆周围的障碍物作为实际的障碍物，将周围障碍物的位置作为实际的障碍物的真值位置。并以预测到实际的障碍物的真值位置作为模型训练的目标之一。具体地，可以先根据多个预测的障碍物的预测位置和车辆检测的得到的多个实际的障碍物的真值位置，对多个预测的障碍物和多个实际的障碍物进行匹配，得到匹配的障碍物对。随后，根据匹配的障碍物对中预测的障碍物的预测位置与实际的障碍物的真值位置之间的差异，来对数据处理模型进行训练。其中，例如可以采用最大匹配方法来匹配未来时刻t+Δt的实际的障碍物和预测的障碍物。设定预测得到的时刻t+Δt下的多个预测的障碍物的预测位置包括N_o个预测的障碍物

的预测位置/>

检测得到的时刻t+Δt下的多个实际的障碍物的预测位置包括N_o’个预测的障碍物/>

的预测位置

该实施例例如可以采用以下公式(9)来得到数据处理模型执行预测障碍物位置的辅助任务的损失值L_future。其中，匹配的每个障碍物对中预测的障碍物的预测位置和实际的障碍物的真值位置之间的差异例如可以采用欧式距离或L1损失等来确定，本公开对此不做限定。该实施例可以针对匹配的多个障碍物对得到的差异之和，作为针对时刻t+Δt的损失值，该实施例可以将针对未来多个时刻的损失值之和，作为损失值L_future。

在一实施例中，预测结果例如还可以包括预测的车辆的行驶体验信息。则在解码聚合特征时，可以采用上文描述的第四解码子网络对聚合特征中的所有特征进行解码，得到预测的车辆的行驶体验信息。其中，预测的行驶体验信息可以包括以下信息中的至少两个：是否违章的预测信息、是否发生碰撞的预测信息、是否需要行驶干预的预测信息和行驶舒适度预测信息。在该实施例中，样本数据可以为闭环数据，即在对车辆进行闭环控制的场景下所得到的数据。例如可以通过将模型部署在自动驾驶车辆或仿真环境，通过收集自动驾驶车辆中传感器采集的原始数据、行驶干预信息等来得到样本数据。可以理解的是，该些预测的行驶体验信息可以是针对某个时刻之后的未来多个时刻中每个时刻的。

在该实施例中，例如可以根据是否需要行驶干预的预测信息与记录的行驶干预信息(即是否需要行驶干预的真值信息)之间的差异，来对数据处理模型进行训练。以提高数据处理模型执行预测是否需要干预的辅助任务的精度，并因此利于提高数据处理模型预测车辆的行驶轨迹的精度。

例如，是否需要行驶干预的真值信息可以采用i_t来表示，i_t的取值为0或1，分别表示不需要行驶干预和需要行驶干预。是否需要行驶干预的预测信息可以采用p_t来表示。p_t的取值原理与i_t的取值原理类似。该实施例可以采用以下公式(10)来确定数据处理模型执行预测是否需要干预的辅助任务的损失值L_int。其中，p_t与i_t之间的差异例如可以采用L1损失函数得到的损失值等来表示，本公开对此不做限定。

L_int＝Δ(p_t，i_t) 公式(10)

例如，该实施例还可以采用强化学习的原理来对数据处理模型进行训练，以避免梯度下降所带来的过拟合等。具体地，该实施例可以根据预测得到的至少两个行驶体验信息来确定针对数据处理模型的奖励值。随后结合该奖励值和是否需要行驶干预的真值信息，来确定奖励权重，最后根据该奖励权重对预测轨迹信息与实际轨迹信息之间的差异进行加权，从而确定数据处理模型的预测损失值。

其中，可以将预测的行驶体验信息包括的至少两个信息的加权和，作为针对数据处理模型的奖励值r_t。其中，可以理解的是，是否违章的预测信息、是否发生碰撞的预测信息、是否需要行驶干预的预测信息和行驶舒适度预测信息可以均采用数值来表示。例如，是否违章的预测信息y_traf的取值可以为0(表示未违章)和1(表示违章)，是否发生碰撞的预测信息y_col，t的取值可以为0(表示未发生碰撞)和1(表示发生碰撞)，行驶舒适度预测信息y_comf，t的取值越大，则行驶舒适度越低。例如，在i_t取值为0时，该实施例可以将奖励值与(1-i_t)的乘积，作为奖励权重。可以理解的是，奖励权重可以为负值，表示对预测结果的惩罚。在i_t取值为1时，该实施例则可以直接将i_t作为奖励权重。即在行驶干预的情况下，增加奖励权重。如此，通过强化学习，可以使得数据处理模型的预测结果趋于行驶干预的结果，利于提高数据处理模型预测得到的轨迹的精度。

例如，奖励值r_t可以采用以下公式(11)计算得到。其中，r_col、r_traf、r_comf、r_int分别表示是否发生碰撞的预测信息、是否违章的预测信息、行驶舒适度预测信息和是否需要行驶干预的预测信息的加权权重，例如，该些加权权重均为负数。可以理解的是，该些加权权重的取值可以根据实际需求进行设定。

r_t＝r_col*y_col，t+r_traf*y_traf，t+r_comf*y_comf，t+r_int*i_t 公式(11)

可以理解的是，考虑到是否需要行驶干预的真值信息通常可以记录得到，因此，该实施例可以采用记录的真值信息替换是否需要行驶干预的预测信息，用来计算奖励值。在一些实施例中，也可以将公示(11)中的i_t替换为p_t来进行奖励值的计算。

例如，在一实施例中，可以采用以下公式(11)来确定数据处理模型的预测损失值L_HIL。其中，γ为根据实际需求设定的超参数。t表示前述的某个时刻，t′表示未来时刻。r_t′表示根据预测得到的t′时刻的行驶体验信息得到的奖励值。

可以理解的是，在一实施例中，可以采用上述公式(5)～公式(10)和公式(12)得到的多个损失值中的至少两个损失值来对数据处理模型进行训练，也可以采用上述公式(5)～公式(10)和公式(12)得到的多个损失值同时对数据处理模型进行训练。

可以理解的是，采用本公开提供的方案，可以采用开环数据来对数据处理模型进行训练，此种情况下，可以采用的损失值例如可以包括上文描述的公式(5)所得到的损失值。通过对开环数据进行人工标注，则可以采用的损失值还可以包括上文描述的公式(6)～(8)中至少一个公式所确定的损失值。若采用闭环数据来对数据处理模型进行训练，则可以采用的损失值还可以包括上文描述的公式(9)～(10)和公式(12)中至少一个公式所确定的损失值。还可以理解的是，采用公式(5)、(9)、(10)和(12)所确定的损失值来训练数据处理模型，可以实现模型的自监督训练。

在同时考虑上述多个损失值时，该实施例可以在数据处理模型的训练前期，以总体损失值L最小化为目标进行模型的训练。总体损失L可以为上述多个损失值的加权和，加权权重可以根据实际需求进行设定。在仿真和真车试运行阶段中，还可以采用可持续学习的方式来对数据处理模型进行持续性地训练。其中，持续性地训练中，总体损失值可以为上述公式(9)、(10)、(12)确定的损失值的加权和。

即，采用本公开提供的方案，数据处理模型可以同时被开环数据、标注数据和闭环数据共同训练。在训练后期，可以完全依赖闭环数据进行训练。同时，仿真环境中障碍车辆的轨迹的预测也可以采用该实施例的数据处理模型，如此，可以使得仿真环境模拟到很多长尾case。相较于真车环境，仿真环境可以以更低地成本来模拟出真车中极少见、甚至无法预见的长尾case，该类长尾case对于数据处理模型在真实环境中的泛化性和鲁棒性具有重要意义。

可以理解的是，在训练过程中，采用聚合网络得到聚合特征的原理可以与上文针对图5所描述的原理类似。得到样本数据中场景数据的原理可以与上文描述的数据处理方法中得到场景数据的原理类似。编码得到要素特征的原理可以与上文针对图4描述的原理类似，在此不再赘述。

基于本公开提供的针对车辆的数据处理方法，本公开还提供了一种针对车辆的数据处理装置。以下将结合图8对该装置进行详细描述。

图8是根据本公开实施例的针对车辆的数据处理装置的结构框图。

如图8所示，该实施例的针对车辆的数据处理装置800可以包括第一编码模块810、第一聚合模块820和第一解码模块830。

第一编码模块810用于采用感知网络对场景数据和车辆的运动数据进行编码，得到车辆所在场景中环境要素的要素特征；场景数据基于车辆上的传感器采集的原始数据得到。在一实施例中，第一编码模块810可以用于执行上文描述的操作S210，在此不再赘述。

第一聚合模块820用于采用聚合网络对要素特征和与车辆所在位置对应的地图数据进行聚合，得到聚合特征。在一实施例中，第一聚合模块820可以用于执行上文描述的操作S220，在此不再赘述。

第一解码模块830用于采用解码网络对聚合特征进行解码，得到针对车辆的预测结果。其中，预测结果包括车辆的预测轨迹信息，以及以下信息中的至少之一：环境要素的结构化信息、环境要素在未来时刻的预测位置信息。在一实施例中，第一解码模块830可以用于执行上文描述的操作S230，在此不再赘述。

根据本公开的实施例，环境要素包括以下第一类要素中的至少之一：障碍物和道路要素；要素特征包括针对每个第一类要素的第一特征序列；聚合特征包括与第一特征序列对应的第一聚合特征；第一解码模块830包括：第一解码子模块，用于采用第一解码子网络对第一聚合特征进行解码，得到每个第一类要素的结构化信息，其中，预测结果包括每个第一类要素的结构化信息。

根据本公开的实施例，环境要素包括第二类要素，第二类要素包括预定路面网格中的每个单元格；预定路面网格是基于针对车辆的预定范围内区域构建的；要素特征包括针对每个单元格的第二特征序列；聚合特征包括与第二特征序列对应的第二聚合特征；第一解码模块830包括：第二解码子模块，用于采用第二解码子网络对第二聚合特征进行解码，得到每个单元格的可行驶信息；以及区域确定子模块，用于根据预定路面网格中所有单元格的可行驶信息，确定针对车辆的可行驶区域，其中，预测结果包括可行驶区域。

根据本公开的实施例，环境要素包括第一类要素中的障碍物；要素特征包括针对每个第一类要素的第一特征序列；聚合特征包括与第一特征序列对应的第一聚合特征；第一解码模块830包括：第三解码子模块，用于采用第三解码子网络对第一聚合特征中的目标特征进行解码，得到障碍物在未来时刻的预测位置信息，其中，目标特征为与针对障碍物的第一特征序列对应的第一聚合特征；预测结果包括障碍物在未来时刻的预测位置信息。

根据本公开的实施例，第一解码模块包括：第四解码子模块，用于采用第四解码子网络对聚合特征中的所有特征进行解码，得到车辆的行驶体验信息，其中，行驶体验信息包括以下信息中的至少两个：是否违章的信息、是否发生碰撞的信息、是否需要行驶干预的信息和行驶舒适度信息；预测结果包括行驶体验信息。

根据本公开的实施例，第一聚合模块820包括：第一确定子模块，用于确定地图数据的嵌入特征，得到地图特征；第二确定子模块，用于确定提示数据的嵌入特征，得到提示特征；以及聚合子模块，用于采用聚合网络聚合要素特征、地图特征和提示特征，得到聚合特征。

根据本公开的实施例，聚合子模块用于：采用聚合网络对要素特征、地图特征和提示特征进行基于注意力机制的时间-空间维度的交替聚合，得到聚合特征。

根据本公开的实施例，要素特征包括环境要素在多个历史时刻的多个特征；聚合子模块包括：降采样单元，用于对多个历史时刻进行降采样，得到多个采样时刻；以及聚合单元，用于采用聚合网络聚合环境要素在多个采样时刻的特征、地图特征和提示特征，得到聚合特征。

根据本公开的实施例，上述针对车辆的数据处理装置800还可以包括：数据转换模块，用于将车辆上的传感器采集的原始数据转换至鸟瞰俯视图坐标系，得到像素数据和深度数据；数据拼接模块，用于在通道维度拼接像素数据和深度数据，得到感知数据；以及数据处理模块，用于采用残差网络对感知数据进行处理，得到场景数据。

根据本公开的实施例，第一编码模块810用于由感知网络采用可变形自注意力机制对预训练获得的查询数据、场景数据和运动数据进行预定次数K的迭代编码，得到环境要素的要素特征，其中，K为大于1的自然数。

根据本公开的实施例，感知网络包括依次连接的K个编码子网络，每个编码子网络包括可变形自注意力机制层和映射-归一化层。第一编码模块810包括注意力处理子模块，用于将查询数据作为第1次迭代编码所采用的第1查询特征，采用K个编码子网络中第i个编码子网络包括的可变形自注意力机制层对第i查询特征、场景数据和运动数据进行处理，以实现第i次迭代编码；以及融合子模块，用于采用第i个编码子网络包括的映射-归一化层对第i次迭代编码得到的特征及第i查询特征进行处理，得到第(i+1)查询特征，其中，环境要素的要素特征包括第(K+1)查询特征，i为大于等于1且小于等于K的自然数。

根据本公开的实施例，查询数据包括：针对环境要素包括的第一类要素中每个要素的锚点的第一查询数据；第一类要素包括以下至少之一：障碍物和道路要素；以及针对环境要素包括的预定路面网格中每个单元格的中心点的第二查询数据，预定路面网格是基于针对车辆的预定范围内区域构建的。

基于本公开提供的针对车辆的数据处理装置，本公开还提供了一种自动驾驶车辆，该自动驾驶车辆包括该针对车辆的数据处理装置，自动驾驶车辆的车载系统例如可以根据针对车辆的数据处理装置得到的预测轨迹信息，来控制自动驾驶车辆中的动力系统，以实现自动驾驶车辆的自动驾驶。

基于本公开提供的针对车辆的数据处理模型的训练方法，本公开还提供了一种针对车辆的数据处理模型的训练装置。以下将结合图9对该装置进行详细描述。

图9是根据本公开实施例的针对车辆的数据处理模型的训练装置的结构框图。

如图9所示，该实施例的针对车辆的数据处理模型的训练装置900可以包括第二编码模块910、第二聚合模块920、第二解码模块930和第一训练模块940。数据处理模型包括感知网络、聚合网络和解码网络。

第二编码模块910用于采用感知网络对样本数据包括的场景数据和车辆的运动数据进行编码，得到车辆所在场景中环境要素的要素特征；场景数据基于车辆上的传感器采集的原始数据得到。在一实施例中，第二编码模块910可以用于执行上文描述的操作S710，在此不再赘述。

第二聚合模块920用于采用聚合网络对要素特征和样本数据包括的与车辆所在位置对应的地图数据进行集合，得到聚合特征。在一实施例中，第二聚合模块920可以用于执行上文描述的操作S720，在此不再赘述。

第二解码模块930用于采用解码网络对聚合特征进行解码，得到针对车辆的预测结果；预测结果包括车辆的预测轨迹信息。其中，预测结果还包括以下信息中的至少之一：环境要素的结构化信息、环境要素在未来时刻的预测位置信息。在一实施例中，第二解码模块930可以用于执行上文描述的操作S730，在此不再赘述。

第一训练模块940用于根据车辆的预测轨迹信息和车辆的实际轨迹信息，对数据处理模型进行训练。在一实施例中，第一训练模块940可以用于执行上文描述的操作S740，在此不再赘述。

根据本公开的实施例，环境要素包括以下第一类要素中的至少之一：障碍物和道路要素；要素特征包括针对预测的每个第一类要素的第一特征序列；聚合特征包括与第一特征序列对应的第一聚合特征；解码网络包括第一解码子网络。上述第二解码模块930包括：第一解码子模块，用于采用第一解码子网络对第一聚合特征进行解码，得到预测的每个第一类要素的结构化信息，其中，预测结果包括预测的每个第一类要素的结构化信息。

根据本公开的实施例，样本数据具有第一标注信息；第一标注信息指示车辆所在场景中真实的第一类要素的结构化信息；上述训练装置900还包括：要素匹配模块，用于根据第一标注信息指示的结构化信息和预测结果中的结构化信息，对真实的第一类要素与预测的第一类要素进行匹配，得到至少一个匹配要素对；匹配差异确定模块，用于针对至少一个匹配要素对中的每个匹配要素对：确定预测的第一类要素的结构化信息与真实的第一类要素的结构化信息之间的差异，作为针对每个匹配要素对的匹配差异；以及第二训练模块，用于根据针对至少一个匹配要素对的至少一个匹配差异，对数据处理模型进行训练。

根据本公开的实施例，环境要素包括第二类要素，第二类要素包括预定路面网格中的每个单元格；预定路面网格是基于针对车辆的预定范围内区域构建的；要素特征包括针对每个单元格的第二特征序列；聚合特征包括与第二特征序列对应的第二聚合特征；解码网络包括第二解码子网络。第二解码模块930包括：第二解码子模块，用于采用第二解码子网络对第二聚合特征进行解码，得到预测的每个单元格的可行驶信息；以及区域确定子模块，用于根据预测的预定路面网格中所有单元格的可行驶信息，确定预测的针对车辆的可行驶区域，其中，预测结果包括预测的可行驶区域。

根据本公开的实施例，样本数据具有第二标注信息；第二标注信息指示车辆的预定范围内的可行驶区域。上述训练装置900还包括：第三训练模块，用于根据预测的可行驶区域与第二标注信息指示的可行驶区域之间的差异，对数据处理模型进行训练。

根据本公开的实施例，环境要素包括第一类要素中的障碍物；要素特征包括针对每个第一类要素的第一特征序列；聚合特征包括与第一特征序列对应的第一聚合特征。上述解码网络包括第三解码子网络；上述第二解码模块930包括：第三解码子模块，用于采用第三解码子网络对第一聚合特征中的目标特征进行解码，得到障碍物在未来时刻的预测位置信息，其中，目标特征为与针对障碍物的第一特征序列对应的第一聚合特征；预测结果包括障碍物在未来时刻的预测位置信息。

根据本公开的实施例，预测位置信息包括多个预测的障碍物在未来时刻的预测位置。上述训练装置还包括：障碍物匹配模块，用于根据多个预测的障碍物的预测位置和车辆检测得到的多个实际的障碍物的真值位置，对多个预测的障碍物和多个实际的障碍物进行匹配，得到匹配的障碍物对；以及第四训练模块，用于根据匹配的障碍物对中预测的障碍物的预测位置与实际的障碍物的真值位置之间的差异，对数据处理模型进行训练。

根据本公开的实施例，解码网络包括第四解码子网络。上述第二解码模块930还包括：第四解码子模块，用于采用第四解码子网络对聚合特征中的所有特征进行解码，得到预测的车辆的行驶体验信息，其中，行驶体验信息包括以下信息中的至少两个：是否违章的预测信息、是否发生碰撞的预测信息、是否需要行驶干预的预测信息和行驶舒适度预测信息；预测结果包括预测的车辆的行驶体验信息。

根据本公开的实施例，预测的行驶体验信息包括是否需要行驶干预的预测信息。上述训练装置900还包括：第五训练模块，用于根据是否需要行驶干预的预测信息与是否需要行驶干预的真值信息之间的差异，对数据处理模型进行训练。

根据本公开的实施例，上述训练装置900还包括：奖励值确定模块，用于根据预测的行驶体验信息包括的至少两个信息的加权和，确定针对数据处理模型的奖励值；权重确定模块，用于根据奖励值和是否需要行驶干预的真值信息，确定奖励权重；损失值确定模块，用于根据奖励权重和预测轨迹信息与实际轨迹信息之间的差异，确定数据处理模型的预测损失值；以及第六训练模块，用于根据预测损失值对数据处理模型进行训练。

根据本公开的实施例，上述样本数据包括在对车辆进行闭环控制的场景下所得到的数据。

根据本公开的实施例，上述样本数据包括在对车辆进行开环控制的场景下所得到的数据。

根据本公开的实施例，上述第二聚合模块920包括：第一确定子模块，用于确定地图数据的嵌入特征，得到地图特征；第二确定子模块，用于确定提示数据的嵌入特征，得到提示特征；以及聚合子模块，用于采用聚合网络聚合要素特征、地图特征和提示特征，得到聚合特征。

根据本公开的实施例，聚合子模块用于：采用聚合网络对要素特征、地图特征和提示特征进行基于注意力机制的时间-空间维度交替聚合，得到聚合特征。

根据本公开的实施例，要素特征包括环境要素在多个历史时刻的多个特征；聚合子模块包括：降采样单元，用于对多个历史时刻进行降采样，得到多个采样时刻；以及聚合单元，用于采用聚合网络聚合环境要素在多个采样时刻的特征、地图特征和提示特征，得到聚合特征。

根据本公开的实施例，上述训练装置还包括：数据转换模块，用于将车辆上的传感器采集的原始数据转换至鸟瞰俯视图坐标系，得到像素数据和深度数据；数据拼接模块，用于在通道维度拼接像素数据和深度数据，得到感知数据；以及数据处理模块，用于采用残差网络对感知数据进行处理，得到样本数据包括的场景数据。

根据本公开的实施例，上述第二编码模块910用于：由感知网络采用可变形自注意力机制层对实时训练得到的查询数据、场景数据和运动数据进行预定次数K的迭代编码，得到环境要素的要素特征，其中，K为大于1的自然数。

根据本公开的实施例，感知网络包括依次连接的K个编码子网络，每个编码子网络包括可变形自注意力机制层和映射-归一化层；上述第二编码模块910包括：注意力处理子模块，用于将查询数据作为第1次迭代编码所采用的第1查询特征，采用K个编码子网络中第i个编码子网络包括的可变形自注意力机制层对第i查询特征、场景数据和运动数据进行处理，以实现第i次迭代编码；以及融合子模块，用于采用第i个编码子网络包括的映射-归一化层对第i次迭代编码得到的特征及第i查询特征进行处理，得到第(i+1)查询特征，其中，环境要素的要素特征包括第(K+1)查询特征，i为大于等于1且小于等于K的自然数。

根据本公开的实施例，查询数据包括：针对环境要素包括的第一类要素中每个要素的锚点的第一查询数据；第一类要素包括以下至少之一：障碍物和道路要素；以及针对环境要素包括的预定路面网格中每个单元格的中心点的第二查询数据，预定路面网格是基于针对车辆的预定范围内区域构建的。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图10示出了可以用来实施本公开实施例的针对车辆的数据处理方法和/或针对车辆的数据处理模型的训练方法的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如针对车辆的数据处理方法和/或针对车辆的数据处理模型的训练方法。例如，在一些实施例中，针对车辆的数据处理方法和/或针对车辆的数据处理模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的针对车辆的数据处理方法和/或针对车辆的数据处理模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行针对车辆的数据处理方法和/或针对车辆的数据处理模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (66)

1.一种针对车辆的数据处理方法，包括：

采用感知网络对场景数据和所述车辆的运动数据进行编码，得到所述车辆所在场景中环境要素的要素特征；所述场景数据基于所述车辆上的传感器采集的原始数据得到；

采用聚合网络对所述要素特征和与所述车辆所在位置对应的地图数据进行聚合，得到聚合特征；以及

采用解码网络对所述聚合特征进行解码，得到针对所述车辆的预测结果，

其中，所述预测结果包括所述车辆的预测轨迹信息，以及以下信息中的至少之一：所述环境要素的结构化信息、所述环境要素在未来时刻的预测位置信息。

2.根据权利要求1所述的方法，其中，所述环境要素包括以下第一类要素中的至少之一：障碍物和道路要素；所述要素特征包括针对每个第一类要素的第一特征序列；所述聚合特征包括与所述第一特征序列对应的第一聚合特征；所述采用解码网络对所述聚合特征进行解码，得到针对所述车辆的预测结果包括：

采用第一解码子网络对所述第一聚合特征进行解码，得到所述每个第一类要素的结构化信息，

其中，所述预测结果包括所述每个第一类要素的结构化信息。

3.根据权利要求1所述的方法，其中，所述环境要素包括第二类要素，所述第二类要素包括预定路面网格中的每个单元格；所述预定路面网格是基于针对所述车辆的预定范围内区域构建的；所述要素特征包括针对所述每个单元格的第二特征序列；所述聚合特征包括与所述第二特征序列对应的第二聚合特征；所述采用解码网络对所述聚合特征进行解码，得到针对所述车辆的预测结果包括：

采用第二解码子网络对所述第二聚合特征进行解码，得到所述每个单元格的可行驶信息；以及

根据所述预定路面网格中所有单元格的可行驶信息，确定针对所述车辆的可行驶区域，

其中，所述预测结果包括所述可行驶区域。

4.根据权利要求1所述的方法，其中，所述环境要素包括第一类要素中的障碍物；所述要素特征包括针对每个第一类要素的第一特征序列；所述聚合特征包括与所述第一特征序列对应的第一聚合特征；所述采用解码网络对所述聚合特征进行解码，得到针对所述车辆的预测结果包括：

采用第三解码子网络对所述第一聚合特征中的目标特征进行解码，得到所述障碍物在未来时刻的预测位置信息，

其中，所述目标特征为与针对所述障碍物的第一特征序列对应的第一聚合特征；所述预测结果包括所述障碍物在未来时刻的预测位置信息。

5.根据权利要求1所述的方法，其中，所述采用解码网络对所述聚合特征进行解码，得到针对所述车辆的预测结果包括：

采用第四解码子网络对所述聚合特征中的所有特征进行解码，得到所述车辆的行驶体验信息，

其中，所述行驶体验信息包括以下信息中的至少两个：是否违章的信息、是否发生碰撞的信息、是否需要行驶干预的信息和行驶舒适度信息；所述预测结果包括所述行驶体验信息。

6.根据权利要求1所述的方法，其中，所述采用聚合网络对所述要素特征和与所述车辆所在位置对应的地图数据进行聚合，得到聚合特征包括：

确定所述地图数据的嵌入特征，得到地图特征；

确定提示数据的嵌入特征，得到提示特征；以及

采用所述聚合网络聚合所述要素特征、所述地图特征和所述提示特征，得到所述聚合特征。

7.根据权利要求6所述的方法，其中，所述采用所述聚合网络聚合所述要素特征、所述地图特征和所述提示特征，得到所述聚合特征包括：

采用所述聚合网络对所述要素特征、所述地图特征和所述提示特征进行基于注意力机制的时间-空间维度的交替聚合，得到所述聚合特征。

8.根据权利要求6或7所述的方法，其中，所述要素特征包括所述环境要素在多个历史时刻的多个特征；所述采用所述聚合网络聚合所述要素特征、所述地图特征和所述提示特征，得到所述聚合特征包括：

对所述多个历史时刻进行降采样，得到多个采样时刻；以及

采用所述聚合网络聚合所述环境要素在所述多个采样时刻的特征、所述地图特征和所述提示特征，得到所述聚合特征。

9.根据权利要求1所述的方法，还包括：

将所述车辆上的传感器采集的原始数据转换至鸟瞰俯视图坐标系，得到像素数据和深度数据；

在通道维度拼接所述像素数据和所述深度数据，得到感知数据；以及

采用残差网络对所述感知数据进行处理，得到所述场景数据。

10.根据权利要求1或9所述的方法，其中，所述采用感知网络对场景数据和所述车辆的运动数据进行编码，得到所述车辆所在场景中环境要素的要素特征包括：

由所述感知网络采用可变形自注意力机制对预训练获得的查询数据、所述场景数据和所述运动数据进行预定次数K的迭代编码，得到所述环境要素的要素特征，

其中，K为大于1的自然数。

11.根据权利要求10所述的方法，其中，所述感知网络包括依次连接的K个编码子网络，每个编码子网络包括可变形自注意力机制层和映射-归一化层；所述采用可变形自注意力机制层对预训练获得的查询数据、所述场景数据和所述运动数据进行预定次数K的迭代编码包括：将所述查询数据作为第1次迭代编码所采用的第1查询特征；

采用所述K个编码子网络中的第i个编码子网络所包括的可变形自注意力机制层对第i查询特征、所述场景数据和所述运动数据进行处理，以实现第i次迭代编码；以及

采用所述第i个编码子网络所包括的映射-归一化层对第i次迭代编码得到的特征及所述第i查询特征进行处理，得到第(i+1)查询特征，

其中，所述环境要素的要素特征包括第(K+1)查询特征，i为大于等于1且小于等于K的自然数。

12.根据权利要求10所述的方法，其中，所述查询数据包括：

针对所述环境要素包括的第一类要素中每个要素的锚点的第一查询数据；所述第一类要素包括以下至少之一：障碍物和道路要素；以及

针对所述环境要素包括的预定路面网格中每个单元格的中心点的第二查询数据，所述预定路面网格是基于针对所述车辆的预定范围内区域构建的。

13.一种针对车辆的数据处理模型的训练方法，其中，所述数据处理模型包括感知网络、聚合网络和解码网络；所述方法包括：

采用所述感知网络对样本数据包括的场景数据和车辆的运动数据进行编码，得到所述车辆所在场景中环境要素的要素特征；所述场景数据基于所述车辆上的传感器采集的原始数据得到；

采用所述聚合网络对所述要素特征和所述样本数据包括的与所述车辆所在位置对应的地图数据进行集合，得到聚合特征；

采用所述解码网络对所述聚合特征进行解码，得到针对车辆的预测结果；所述预测结果包括所述车辆的预测轨迹信息；以及

根据所述车辆的预测轨迹信息和所述车辆的实际轨迹信息，对所述数据处理模型进行训练，

其中，所述预测结果还包括以下信息中的至少之一：所述环境要素的结构化信息、所述环境要素在未来时刻的预测位置信息。

14.根据权利要求13所述的方法，其中，所述环境要素包括以下第一类要素中的至少之一：障碍物和道路要素；所述要素特征包括针对预测的每个第一类要素的第一特征序列；所述聚合特征包括与所述第一特征序列对应的第一聚合特征；所述解码网络包括第一解码子网络；所述采用所述解码网络对所述聚合特征进行解码，得到针对所述车辆的预测结果包括：

采用所述第一解码子网络对所述第一聚合特征进行解码，得到预测的每个第一类要素的结构化信息，

其中，所述预测结果包括所述预测的每个第一类要素的结构化信息。

15.根据权利要求14所述的方法，其中，所述样本数据具有第一标注信息；所述第一标注信息指示所述车辆所在场景中真实的第一类要素的结构化信息；所述方法还包括：

根据所述第一标注信息指示的结构化信息和所述预测结果中的结构化信息，对真实的第一类要素与预测的第一类要素进行匹配，得到至少一个匹配要素对；

针对所述至少一个匹配要素对中的每个匹配要素对：确定预测的第一类要素的结构化信息与真实的第一类要素的结构化信息之间的差异，作为针对所述每个匹配要素对的匹配差异；以及

根据针对所述至少一个匹配要素对的至少一个匹配差异，对所述数据处理模型进行训练。

16.根据权利要求13所述的方法，其中，所述环境要素包括第二类要素，所述第二类要素包括预定路面网格中的每个单元格；所述预定路面网格是基于针对所述车辆的预定范围内区域构建的；所述要素特征包括针对所述每个单元格的第二特征序列；所述聚合特征包括与所述第二特征序列对应的第二聚合特征；所述解码网络包括第二解码子网络；所述采用所述解码网络对所述聚合特征进行解码，得到针对所述车辆的预测结果包括：

采用所述第二解码子网络对所述第二聚合特征进行解码，得到预测的所述每个单元格的可行驶信息；以及

根据预测的所述预定路面网格中所有单元格的可行驶信息，确定预测的针对所述车辆的可行驶区域，

其中，所述预测结果包括预测的可行驶区域。

17.根据权利要求16所述的方法，其中，所述样本数据具有第二标注信息；所述第二标注信息指示所述车辆的预定范围内的可行驶区域；所述方法还包括：

根据预测的可行驶区域与所述第二标注信息指示的可行驶区域之间的差异，对所述数据处理模型进行训练。

18.根据权利要求13所述的方法，其中，所述环境要素包括第一类要素中的障碍物；所述要素特征包括针对每个第一类要素的第一特征序列；所述聚合特征包括与所述第一特征序列对应的第一聚合特征；所述解码网络包括第三解码子网络；所述采用所述解码网络对所述聚合特征进行解码，得到针对所述车辆的预测结果包括：

采用所述第三解码子网络对所述第一聚合特征中的目标特征进行解码，得到障碍物在未来时刻的预测位置信息，

其中，所述目标特征为与针对所述障碍物的第一特征序列对应的第一聚合特征；所述预测结果包括障碍物在未来时刻的预测位置信息。

19.根据权利要求18所述的方法，其中，所述预测位置信息包括多个预测的障碍物在未来时刻的预测位置；所述方法还包括：

根据所述多个预测的障碍物的预测位置和所述车辆检测得到的多个实际的障碍物的真值位置，对所述多个预测的障碍物和所述多个实际的障碍物进行匹配，得到匹配的障碍物对；以及

根据所述匹配的障碍物对中预测的障碍物的预测位置与实际的障碍物的真值位置之间的差异，对所述数据处理模型进行训练。

20.根据权利要求13所述的方法，其中，所述解码网络包括第四解码子网络；所述采用所述解码网络对所述聚合特征进行解码，得到针对所述车辆的预测结果包括：

采用第四解码子网络对所述聚合特征中的所有特征进行解码，得到预测的所述车辆的行驶体验信息，

其中，所述行驶体验信息包括以下信息中的至少两个：是否违章的预测信息、是否发生碰撞的预测信息、是否需要行驶干预的预测信息和行驶舒适度预测信息；所述预测结果包括预测的所述车辆的行驶体验信息。

21.根据权利要求20所述的方法，其中，预测的行驶体验信息包括是否需要行驶干预的预测信息；所述方法还包括：

根据所述是否需要行驶干预的预测信息与是否需要行驶干预的真值信息之间的差异，对所述数据处理模型进行训练。

22.根据权利要求20或21所述的方法，还包括：

根据预测的行驶体验信息包括的至少两个信息的加权和，确定针对所述数据处理模型的奖励值；

根据所述奖励值和是否需要行驶干预的真值信息，确定奖励权重；

根据所述奖励权重和所述预测轨迹信息与所述实际轨迹信息之间的差异，确定所述数据处理模型的预测损失值；以及

根据所述预测损失值对所述数据处理模型进行训练。

23.根据权利要求18～22中任一项所述的方法，其中，所述样本数据包括在对所述车辆进行闭环控制的场景下所得到的数据。

24.根据权利要求13所述的方法，其中，所述样本数据包括在对所述车辆进行开环控制的场景下所得到的数据。

25.根据权利要求13所述的方法，其中，所述采用所述聚合网络对所述要素特征和所述样本数据包括的与所述车辆所在位置对应的地图数据进行集合，得到聚合特征包括：

确定所述地图数据的嵌入特征，得到地图特征；

确定提示数据的嵌入特征，得到提示特征；以及

采用所述聚合网络聚合所述要素特征、所述地图特征和所述提示特征，得到所述聚合特征。

26.根据权利要求25所述的方法，其中，所述采用所述聚合网络聚合所述要素特征、所述地图特征和所述提示特征，得到所述聚合特征包括：

采用所述聚合网络对所述要素特征、所述地图特征和所述提示特征进行基于注意力机制的时间-空间维度交替聚合，得到所述聚合特征。

27.根据权利要求25或26所述的方法，其中，所述要素特征包括所述环境要素在多个历史时刻的多个特征；所述采用所述聚合网络聚合所述要素特征、所述地图特征和所述提示特征，得到所述聚合特征包括：

对所述多个历史时刻进行降采样，得到多个采样时刻；以及

采用所述聚合网络聚合所述环境要素在所述多个采样时刻的特征、所述地图特征和所述提示特征，得到所述聚合特征。

28.根据权利要求13所述的方法，还包括：

将所述车辆上的传感器采集的原始数据转换至鸟瞰俯视图坐标系，得到像素数据和深度数据；

在通道维度拼接所述像素数据和所述深度数据，得到感知数据；以及

采用残差网络对所述感知数据进行处理，得到所述样本数据包括的所述场景数据。

29.根据权利要求13或28所述的方法，其中，所述采用所述感知网络对样本数据包括的场景数据和车辆的运动数据进行编码，得到所述车辆所在场景中环境要素的要素特征包括：

由所述感知网络采用可变形自注意力机制层对实时训练得到的查询数据、所述场景数据和所述运动数据进行预定次数K的迭代编码，得到所述环境要素的要素特征。

其中，K为大于1的自然数。

30.根据权利要求29所述的方法，其中，所述感知网络包括依次连接的K个编码子网络，每个编码子网络包括所述可变形自注意力机制层和映射-归一化层；所述采用可变形自注意力机制层对实时训练得到的查询数据、所述场景数据和所述运动数据进行预定次数K的迭代编码包括：将所述查询数据作为第1次迭代编码所采用的第1查询特征；

采用所述K个编码子网络中的第i个编码子网络所包括的可变形自注意力机制层对第i查询特征、所述场景数据和所述运动数据进行处理，以实现第i次迭代编码；以及

采用所述第i个编码子网络所包括的映射-归一化层对第i次迭代编码得到的特征及所述第i查询特征进行处理，得到第(i+1)查询特征，

其中，所述环境要素的要素特征包括第(K+1)查询特征，i为大于等于1且小于等于K的自然数。

31.根据权利要求29所述的方法，其中，所述查询数据包括：

针对所述环境要素包括的第一类要素中每个要素的锚点的第一查询数据；所述第一类要素包括以下至少之一：障碍物和道路要素；以及

针对所述环境要素包括的预定路面网格中每个单元格的中心点的第二查询数据，所述预定路面网格是基于针对所述车辆的预定范围内区域构建的。

32.一种针对车辆的数据处理装置，包括：

编码模块，用于采用感知网络对场景数据和所述车辆的运动数据进行编码，得到所述车辆所在场景中环境要素的要素特征；所述场景数据基于所述车辆上的传感器采集的原始数据得到；

聚合模块，用于采用聚合网络对所述要素特征和与所述车辆所在位置对应的地图数据进行聚合，得到聚合特征；以及

解码模块，用于采用解码网络对所述聚合特征进行解码，得到针对所述车辆的预测结果，

其中，所述预测结果包括所述车辆的预测轨迹信息，以及以下信息中的至少之一：所述环境要素的结构化信息、所述环境要素在未来时刻的预测位置信息。

33.根据权利要求32所述的装置，其中，所述环境要素包括以下第一类要素中的至少之一：障碍物和道路要素；所述要素特征包括针对每个第一类要素的第一特征序列；所述聚合特征包括与所述第一特征序列对应的第一聚合特征；所述解码模块包括：

第一解码子模块，用于采用第一解码子网络对所述第一聚合特征进行解码，得到所述每个第一类要素的结构化信息，

其中，所述预测结果包括所述每个第一类要素的结构化信息。

34.根据权利要求32所述的装置，其中，所述环境要素包括第二类要素，所述第二类要素包括预定路面网格中的每个单元格；所述预定路面网格是基于针对所述车辆的预定范围内区域构建的；所述要素特征包括针对所述每个单元格的第二特征序列；所述聚合特征包括与所述第二特征序列对应的第二聚合特征；所述解码模块包括：

第二解码子模块，用于采用第二解码子网络对所述第二聚合特征进行解码，得到所述每个单元格的可行驶信息；以及

区域确定子模块，用于根据所述预定路面网格中所有单元格的可行驶信息，确定针对所述车辆的可行驶区域，

其中，所述预测结果包括所述可行驶区域。

35.根据权利要求32所述的装置，其中，所述环境要素包括第一类要素中的障碍物；所述要素特征包括针对每个第一类要素的第一特征序列；所述聚合特征包括与所述第一特征序列对应的第一聚合特征；所述解码模块包括：

第三解码子模块，用于采用第三解码子网络对所述第一聚合特征中的目标特征进行解码，得到所述障碍物在未来时刻的预测位置信息，

其中，所述目标特征为与针对所述障碍物的第一特征序列对应的第一聚合特征；所述预测结果包括所述障碍物在未来时刻的预测位置信息。

36.根据权利要求32所述的装置，其中，所述解码模块包括：

第四解码子模块，用于采用第四解码子网络对所述聚合特征中的所有特征进行解码，得到所述车辆的行驶体验信息，

其中，所述行驶体验信息包括以下信息中的至少两个：是否违章的信息、是否发生碰撞的信息、是否需要行驶干预的信息和行驶舒适度信息；所述预测结果包括所述行驶体验信息。

37.根据权利要求32所述的装置，其中，所述聚合模块包括：

第一确定子模块，用于确定所述地图数据的嵌入特征，得到地图特征；

第二确定子模块，用于确定提示数据的嵌入特征，得到提示特征；以及

聚合子模块，用于采用所述聚合网络聚合所述要素特征、所述地图特征和所述提示特征，得到所述聚合特征。

38.根据权利要求37所述的装置，其中，所述聚合子模块用于：

采用所述聚合网络对所述要素特征、所述地图特征和所述提示特征进行基于注意力机制的时间-空间维度的交替聚合，得到所述聚合特征。

39.根据权利要求37或38所述的装置，其中，所述要素特征包括所述环境要素在多个历史时刻的多个特征；所述聚合子模块包括：

降采样单元，用于对所述多个历史时刻进行降采样，得到多个采样时刻；以及

聚合单元，用于采用所述聚合网络聚合所述环境要素在所述多个采样时刻的特征、所述地图特征和所述提示特征，得到所述聚合特征。

40.根据权利要求32所述的装置，还包括：

数据转换模块，用于将所述车辆上的传感器采集的原始数据转换至鸟瞰俯视图坐标系，得到像素数据和深度数据；

数据拼接模块，用于在通道维度拼接所述像素数据和所述深度数据，得到感知数据；以及

数据处理模块，用于采用残差网络对所述感知数据进行处理，得到所述场景数据。

41.根据权利要求32或40所述的装置，其中，所述编码模块用于：

由所述感知网络采用可变形自注意力机制对预训练获得的查询数据、所述场景数据和所述运动数据进行预定次数K的迭代编码，得到所述环境要素的要素特征，

其中，K为大于1的自然数。

42.根据权利要求41所述的装置，其中，所述感知网络包括依次连接的K个编码子网络，每个编码子网络包括可变形自注意力机制层和映射-归一化层；所述编码模块包括：

注意力处理子模块，用于将所述查询数据作为第1次迭代编码所采用的第1查询特征，采用所述K个编码子网络中的第i个编码子网络所包括的可变形自注意力机制层对第i查询特征、所述场景数据和所述运动数据进行处理，以实现第i次迭代编码；以及

融合子模块，用于采用所述第i个编码子网络所包括的映射-归一化层对第i次迭代编码得到的特征及所述第i查询特征进行处理，得到第(i+1)查询特征，

其中，所述环境要素的要素特征包括第(K+1)查询特征，i为大于等于1且小于等于K的自然数。

43.根据权利要求41所述的装置，其中，所述查询数据包括：

针对所述环境要素包括的第一类要素中每个要素的锚点的第一查询数据；所述第一类要素包括以下至少之一：障碍物和道路要素；以及

针对所述环境要素包括的预定路面网格中每个单元格的中心点的第二查询数据，所述预定路面网格是基于针对所述车辆的预定范围内区域构建的。

44.一种针对车辆的数据处理模型的训练装置，其中，所述数据处理模型包括感知网络、聚合网络和解码网络；所述装置包括：

编码模块，用于采用所述感知网络对样本数据包括的场景数据和车辆的运动数据进行编码，得到所述车辆所在场景中环境要素的要素特征；所述场景数据基于所述车辆上的传感器采集的原始数据得到；

聚合模块，用于采用所述聚合网络对所述要素特征和所述样本数据包括的与所述车辆所在位置对应的地图数据进行集合，得到聚合特征；

解码模块，用于采用所述解码网络对所述聚合特征进行解码，得到针对车辆的预测结果；所述预测结果包括所述车辆的预测轨迹信息；以及

第一训练模块，用于根据所述车辆的预测轨迹信息和所述车辆的实际轨迹信息，对所述数据处理模型进行训练，

其中，所述预测结果还包括以下信息中的至少之一：所述环境要素的结构化信息、所述环境要素在未来时刻的预测位置信息。

45.根据权利要求44所述的装置，其中，所述环境要素包括以下第一类要素中的至少之一：障碍物和道路要素；所述要素特征包括针对预测的每个第一类要素的第一特征序列；所述聚合特征包括与所述第一特征序列对应的第一聚合特征；所述解码网络包括第一解码子网络；所述解码模块包括：

第一解码子模块，用于采用所述第一解码子网络对所述第一聚合特征进行解码，得到预测的每个第一类要素的结构化信息，

其中，所述预测结果包括所述预测的每个第一类要素的结构化信息。

46.根据权利要求45所述的装置，其中，所述样本数据具有第一标注信息；所述第一标注信息指示所述车辆所在场景中真实的第一类要素的结构化信息；所述装置还包括：

要素匹配模块，用于根据所述第一标注信息指示的结构化信息和所述预测结果中的结构化信息，对真实的第一类要素与预测的第一类要素进行匹配，得到至少一个匹配要素对；

匹配差异确定模块，用于针对所述至少一个匹配要素对中的每个匹配要素对：确定预测的第一类要素的结构化信息与真实的第一类要素的结构化信息之间的差异，作为针对所述每个匹配要素对的匹配差异；以及

第二训练模块，用于根据针对所述至少一个匹配要素对的至少一个匹配差异，对所述数据处理模型进行训练。

47.根据权利要求44所述的装置，其中，所述环境要素包括第二类要素，所述第二类要素包括预定路面网格中的每个单元格；所述预定路面网格是基于针对所述车辆的预定范围内区域构建的；所述要素特征包括针对所述每个单元格的第二特征序列；所述聚合特征包括与所述第二特征序列对应的第二聚合特征；所述解码网络包括第二解码子网络；所述解码模块包括：

第二解码子模块，用于采用所述第二解码子网络对所述第二聚合特征进行解码，得到预测的所述每个单元格的可行驶信息；以及

区域确定子模块，用于根据预测的所述预定路面网格中所有单元格的可行驶信息，确定预测的针对所述车辆的可行驶区域，

其中，所述预测结果包括预测的可行驶区域。

48.根据权利要求47所述的装置，其中，所述样本数据具有第二标注信息；所述第二标注信息指示所述车辆的预定范围内的可行驶区域；所述装置还包括：

第三训练模块，用于根据预测的可行驶区域与所述第二标注信息指示的可行驶区域之间的差异，对所述数据处理模型进行训练。

49.根据权利要求44所述的装置，其中，所述环境要素包括第一类要素中的障碍物；所述要素特征包括针对每个第一类要素的第一特征序列；所述聚合特征包括与所述第一特征序列对应的第一聚合特征；所述解码网络包括第三解码子网络；所述解码模块包括：

第三解码子模块，用于采用所述第三解码子网络对所述第一聚合特征中的目标特征进行解码，得到障碍物在未来时刻的预测位置信息，

其中，所述目标特征为与针对所述障碍物的第一特征序列对应的第一聚合特征；所述预测结果包括障碍物在未来时刻的预测位置信息。

50.根据权利要求49所述的装置，其中，所述预测位置信息包括多个预测的障碍物在未来时刻的预测位置；所述装置还包括：

障碍物匹配模块，用于根据所述多个预测的障碍物的预测位置和所述车辆检测得到的多个实际的障碍物的真值位置，对所述多个预测的障碍物和所述多个实际的障碍物进行匹配，得到匹配的障碍物对；以及

第四训练模块，用于根据所述匹配的障碍物对中预测的障碍物的预测位置与实际的障碍物的真值位置之间的差异，对所述数据处理模型进行训练。

51.根据权利要求44所述的装置，其中，所述解码网络包括第四解码子网络；所述解码模块还包括：

第四解码子模块，用于采用第四解码子网络对所述聚合特征中的所有特征进行解码，得到预测的所述车辆的行驶体验信息，

其中，所述行驶体验信息包括以下信息中的至少两个：是否违章的预测信息、是否发生碰撞的预测信息、是否需要行驶干预的预测信息和行驶舒适度预测信息；所述预测结果包括预测的所述车辆的行驶体验信息。

52.根据权利要求51所述的装置，其中，预测的行驶体验信息包括是否需要行驶干预的预测信息；所述装置还包括：

第五训练模块，用于根据所述是否需要行驶干预的预测信息与是否需要行驶干预的真值信息之间的差异，对所述数据处理模型进行训练。

53.根据权利要求51或52所述的装置，还包括：

奖励值确定模块，用于根据预测的行驶体验信息包括的至少两个信息的加权和，确定针对所述数据处理模型的奖励值；

权重确定模块，用于根据所述奖励值和是否需要行驶干预的真值信息，确定奖励权重；

损失值确定模块，用于根据所述奖励权重和所述预测轨迹信息与所述实际轨迹信息之间的差异，确定所述数据处理模型的预测损失值；以及

第六训练模块，用于根据所述预测损失值对所述数据处理模型进行训练。

54.根据权利要求49～53中任一项所述的装置，其中，所述样本数据包括在对所述车辆进行闭环控制的场景下所得到的数据。

55.根据权利要求44所述的装置，其中，所述样本数据包括在对所述车辆进行开环控制的场景下所得到的数据。

56.根据权利要求44所述的装置，其中，所述聚合模块包括：

第一确定子模块，用于确定所述地图数据的嵌入特征，得到地图特征；

第二确定子模块，用于确定提示数据的嵌入特征，得到提示特征；以及

聚合子模块，用于采用所述聚合网络聚合所述要素特征、所述地图特征和所述提示特征，得到所述聚合特征。

57.根据权利要求56所述的装置，其中，所述聚合子模块用于：

采用所述聚合网络对所述要素特征、所述地图特征和所述提示特征进行基于注意力机制的时间-空间维度交替聚合，得到所述聚合特征。

58.根据权利要求56或57所述的装置，其中，所述要素特征包括所述环境要素在多个历史时刻的多个特征；所述聚合子模块包括：

降采样单元，用于对所述多个历史时刻进行降采样，得到多个采样时刻；以及

聚合单元，用于采用所述聚合网络聚合所述环境要素在所述多个采样时刻的特征、所述地图特征和所述提示特征，得到所述聚合特征。

59.根据权利要求44所述的装置，还包括：

数据转换模块，用于将所述车辆上的传感器采集的原始数据转换至鸟瞰俯视图坐标系，得到像素数据和深度数据；

数据拼接模块，用于在通道维度拼接所述像素数据和所述深度数据，得到感知数据；以及

数据处理模块，用于采用残差网络对所述感知数据进行处理，得到所述样本数据包括的所述场景数据。

60.根据权利要求44或59所述的装置，其中，所述编码模块用于：

由所述感知网络采用可变形自注意力机制层对实时训练得到的查询数据、所述场景数据和所述运动数据进行预定次数K的迭代编码，得到所述环境要素的要素特征，

其中，K为大于1的自然数。

61.根据权利要求60所述的装置，其中，所述感知网络包括依次连接的K个编码子网络，每个编码子网络包括所述可变形自注意力机制层和映射-归一化层；所述编码模块包括：

注意力处理子模块，用于将所述查询数据作为第1次迭代编码所采用的第1查询特征，采用所述K个编码子网络中的第i个编码子网络所包括的可变形自注意力机制层对第i查询特征、所述场景数据和所述运动数据进行处理，以实现第i次迭代编码；以及

融合子模块，用于采用所述第i个编码子网络所包括的映射-归一化层对第i次迭代编码得到的特征及所述第i查询特征进行处理，得到第(i+1)查询特征，

其中，所述环境要素的要素特征包括第(K+1)查询特征，i为大于等于1且小于等于K的自然数。

62.根据权利要求60所述的装置，其中，所述查询数据包括：

针对所述环境要素包括的第一类要素中每个要素的锚点的第一查询数据；所述第一类要素包括以下至少之一：障碍物和道路要素；以及

针对所述环境要素包括的预定路面网格中每个单元格的中心点的第二查询数据，所述预定路面网格是基于针对所述车辆的预定范围内区域构建的。

63.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～31中任一项所述的方法。

64.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～31中任一项所述的方法。

65.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上，所述计算机程序/指令在被处理器执行时实现根据权利要求1～31中任一项所述方法的步骤。

66.一种自动驾驶车辆，包括根据权利要求32～43中任一项所述的装置。

Images