CN117392181A - 运动信息的预测方法、计算机设备、存储介质及智能设备 - Google Patents

Abstract

本申请涉及自动驾驶技术领域，具体提供一种运动信息的预测方法、计算机设备、存储介质及智能设备，旨在解决准确地对通用类别的目标进行运动信息预测的问题。本申请提供的方法包括对三维点云进行栅格化处理形成多个三维的点云栅格；针对各点云栅格，分别对点云栅格的三维栅格特征进行多种不同尺度的下采样，获取每种尺度的三维采样特征，以及将每种尺度的三维采样特征分别转换成二维采样特征并对所有二维采样特征进行融合，形成点云栅格的二维栅格特征；根据各点云栅格的二维栅格特征进行运动信息预测，获取各点云栅格的运动信息。基于上述方法，可以准确得到点云栅格的运动信息，从而能够基于点云栅格的运动信息准确得到通用类别目标的运动信息。

Description

运动信息的预测方法、计算机设备、存储介质及智能设备

技术领域

本申请涉及自动驾驶技术领域，具体涉及一种运动信息的预测方法、计算机设备、存储介质及智能设备。

背景技术

在对车辆进行自动驾驶控制时通常会利用激光雷达等雷达设备采集车辆周围环境中的点云数据，根据点云数据感知环境中障碍物的语义、位置和运动信息等，再根据感知结果对车辆进行控制，以保证车辆安全。传统的目标检测、跟踪与预测方法仅能够对机动车和行人等特定类别的目标进行运动信息预测，无法对通用类别（全场景下的各种类别）的目标进行运动信息预测，从而影响车辆自动驾驶的驾驶安全。

相应地，本领域需要一种新的技术方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本申请，以提供解决或至少部分地解决如何准确地对通用类别的目标进行运动信息预测的技术问题的运动信息的预测方法、计算机设备、存储介质及智能设备。

在第一方面，提供一种运动信息的预测方法，所述方法包括：

对三维点云进行栅格化处理，以形成多个三维的点云栅格；

针对各点云栅格，分别对所述点云栅格的三维栅格特征进行多种不同尺度的下采样，以获取每种尺度的三维采样特征，以及

针对各点云栅格，将所述点云栅格的每种尺度的三维采样特征分别转换成所述每种尺度的二维采样特征，并对所述点云栅格的所有二维采样特征进行融合，以形成所述点云栅格的二维栅格特征；

根据各点云栅格的二维栅格特征进行运动信息预测，以分别获取各点云栅格的运动信息。

在上述运动信息的预测方法的一个技术方案中，所述运动信息包括运动速度和运动状态，在所述根据各点云栅格的二维栅格特征进行运动信息预测，以分别获取各点云栅格的运动信息之后，所述方法还包括：

根据所述运动状态获取静态的第一点云栅格，若所述第一点云栅格的运动速度不为零，则将所述第一点云栅格的运动速度修正成零。

在上述运动信息的预测方法的一个技术方案中，所述运动信息包括运动速度和运动状态，在所述根据各点云栅格的二维栅格特征进行运动信息预测，以分别获取各点云栅格的运动信息之后，所述方法还包括：

获取所述运动速度小于第一设定阈值的第二点云栅格，若所述第二点云栅格的运动状态是动态，则将所述第二点云栅格的运动状态修正成静态。

在上述运动信息的预测方法的一个技术方案中，所述根据各点云栅格的二维栅格特征进行运动信息预测，包括：

采用预设的运动信息预测网络，并根据各点云栅格的二维栅格特征进行运动信息预测；

其中，所述预设的运动信息预测网络通过以下方式训练得到：

对三维点云样本进行栅格化处理，以形成多个三维的点云栅格；

针对各点云栅格，分别获取所述点云栅格内各点云的速度，并根据所述各点云的速度设定所述点云栅格的运动信息标签；

根据所述三维点云样本以及各点云栅格的运动信息标签，对所述预设的运动信息预测网络进行训练。

在上述运动信息的预测方法的一个技术方案中，所述根据所述各点云的速度设定所述点云栅格的运动信息标签，包括：

获取所述点云栅格内所有点云的速度均值作为栅格速度，根据所述栅格速度设定所述点云栅格的运动速度标签。

在上述运动信息的预测方法的一个技术方案中，所述根据所述各点云的速度设定所述点云栅格的运动信息标签，包括：

获取所述点云栅格内所有点云的速度均值作为栅格速度；

根据所述栅格速度与第二设定阈值的比较结果，设定所述点云栅格的运动状态标签；

若所述栅格速度大于或等于所述第二设定阈值，则设定所述运动状态标签为动态标签；若所述栅格速度小于所述第二设定阈值，则设定所述运动状态标签为静态标签。

在上述运动信息的预测方法的一个技术方案中，所述运动信息包括运动速度和运动状态，所述对所述预设的运动信息预测网络进行训练，包括：

获取用于运动速度预测训练的第一损失函数；

获取用于运动状态预测训练的第二损失函数；

对所述第一损失函数与所述第二损失函数进行加权和计算，以形成目标损失函数；

采用所述目标损失函数，并根据所述三维点云样本以及各点云栅格的运动信息标签，对所述预设的运动信息预测网络进行训练。

在上述运动信息的预测方法的一个技术方案中，所述对所述点云栅格的所有二维采样特征进行融合，包括：

按照所述尺度由高至低的顺序，依次对每种尺度的二维采样特征进行融合，以使融合形成的所述二维栅格特征与最小尺度的二维采样特征的尺度相同。

在上述运动信息的预测方法的一个技术方案中，在对所述点云栅格的所有二维采样特征进行融合之前，所述方法还包括：

获取预设尺度的二维采样特征作为目标特征；

采用特征金字塔网络对所述目标特征进行特征提取，以获取新特征；

将所述新特征作为所述预设尺度的最终二维采样特征。

在上述运动信息的预测方法的一个技术方案中，所述采用特征金字塔网络对所述目标特征进行特征提取，包括：

采用特征金字塔网络对所述目标特征进行多种不同尺度的下采样，以获取每种尺度的下采样特征，以及

按照所述尺度由高至低的顺序，依次对每种尺度的下采样特征进行融合，将融合的结果作为所述新特征；

其中，所述新特征与所述目标特征的尺度相同。

在第二方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述运动信息预测方法的技术方案中任一项技术方案所述的方法。

在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述运动信息预测方法的技术方案中任一项技术方案所述的方法。

在第四方面，提供一种智能设备，该智能设备包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述运动信息预测方法的技术方案中任一项技术方案所述的方法。

本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本申请提供的运动信息的预测方法技术方案中，可以对三维点云进行栅格化处理以形成多个三维的点云栅格，针对各点云栅格，分别对点云栅格的三维栅格特征进行多种不同尺度的下采样，以获取每种尺度的三维采样特征，以及针对各点云栅格，将点云栅格的每种尺度的三维采样特征分别转换成每种尺度的二维采样特征，并对点云栅格的所有二维采样特征进行融合，以形成点云栅格的二维栅格特征。最后，根据各点云栅格的二维栅格特征进行运动信息预测，以分别获取各点云栅格的运动信息。基于上述实施方案，可以显著提高二维栅格特征的特征表达能力，从而提高了根据点云栅格的二维栅格特征进行运动信息预测的准确性。同时，上述实施方案可以获取到每一个点云栅格的运动信息，实现了栅格级别的运动信息预测，这样在进行目标检测时即使目标不是机动车和行人等特定类别，也可以根据目标占据的每一个点云栅格的运动信息，准确地获取到这个目标的运动信息，克服了现有技术中无法对通用类别的目标进行运动信息预测的缺陷。

附图说明

参照附图，本申请的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本申请的保护范围组成限制。其中：

图1是根据本申请的一个实施例的运动信息的预测方法的主要步骤流程示意图；

图2是根据本申请的一个实施例的在对二维采样特征进行融合之前对预设尺度的二维采样特征进行预处理的方法的主要步骤流程示意图；

图3是根据本申请的一个实施例的对二维采样特征进行融合的示意图；

图4是根据本申请的一个实施例的对预设的运动信息预测网络进行训练的方法的主要步骤流程示意图；

图5是根据本申请的另一个实施例的对预设的运动信息预测网络进行训练的方法的主要步骤流程示意图；

图6是根据本申请的一个实施例的对预设的运动信息预测网络进行训练以及采用预设的运动信息预测网络进行运动预测的综合示意图；

图7是根据本申请的一个实施例的计算机设备的主要结构示意图。

图8是根据本申请的一个实施例的智能设备的主要结构示意图。

附图标记列表：

11：存储装置；12：处理器；21：存储器；22：处理器。

具体实施方式

下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本申请的技术原理，并非旨在限制本申请的保护范围。

在本申请的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。

本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。

本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。本申请会以高度的勤勉义务对待用户的个人信息及其处理。

本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。

下面对本发明提供的运动信息预测方法的实施例进行说明。

参阅附图1，图1是根据本申请的一个实施例的运动信息预测方法的主要步骤流程示意图。如图1所示，本申请实施例中的运动信息预测方法主要包括下列步骤S101至步骤S104。

步骤S101：对三维点云进行栅格化处理，以形成多个三维的点云栅格。

三维点云可以是环境感知设备采集的点云，环境感知设备为能够采集三维点云的设备，其包括但不限于激光雷达、毫米波雷达等。三维点云的三维坐标系可以为环境感知设备的设备坐标系，如激光雷达坐标系。

在本实施例中可以采用点云处理技术领域中常规的栅格化处理方法对三维点云进行栅格化处理，将三维点云划分成多个点云栅格，每个点云栅格仍然是三维的。

步骤S102：针对各点云栅格，分别对点云栅格的三维栅格特征进行多种不同尺度的下采样，以获取每种尺度的三维采样特征。

三维栅格特征是指点云栅格的特征信息，该特征信息能够从整体上反映或表征点云栅格内所有三维点云的特征。在一些实施方式中，可以获取点云栅格内所有三维点云的特征均值，将该特征均值作为这个点云栅格的栅格特征。基于该实施方式可以便捷且准确地获取到能够从整体上反映或表征点云栅格内所有三维点云的特征的栅格特征。

在本实施例中可以采用点云处理技术领域中常规的下采样方法对点云栅格的三维栅格特征分别进行不同尺度的下采样。此外，本领域技术人员可以根据实际需求灵活地设定下采样的尺度，本实施例不作具体限定。例如，可以对三维栅格特征进行8倍、4倍和2倍尺度的下采样。

步骤S103：针对各点云栅格，将点云栅格的每种尺度的三维采样特征分别转换成每种尺度的二维采样特征，并对点云栅格的所有二维采样特征进行融合，以形成点云栅格的二维栅格特征。

在本实施例中可以将三维采样特征中高度这一维度的特征信息，与深度（channel）这一维度的信息进行合并，从而形成二维采样特征。也可以理解成是通过高度压缩，将三维采样特征转换成二维采样特征。在一些实施方式中可以采用预设的二维栅格特征提取网络，对三维采样特征进行上述高度压缩，得到二维采样特征。本实施方式不对二维栅格特征提取网络的网络结构和构建方法作具体限定，只要其可以通过高度压缩，将三维采样特征转换成二维采样特征即可。

在对点云栅格的所有二维采样特征进行融合时由于二维采样特征的尺度不同，因此可以将各二维采样特征都转换到同一尺度再进行融合，形成一个全新的二维采样特征。其中，融合的方法包括但不限于特征拼接、特征相加等等。

步骤S104：根据各点云栅格的二维栅格特征进行运动信息预测，以分别获取各点云栅格的运动信息。

由于二维栅格特征是融合了多种不同尺度的二维采样特征得到的，因此其特征信息实际上包含了多种层次的特征信息，具备较高的特征表达能力。因而，根据该二维栅格特征进行运动信息预测，能够显著提高运动信息预测的准确性，从而准确得到每一个点云栅格的运动信息。

在根据本申请实施例的一个应用场景中，车辆上安装有激光雷达，激光雷达可以采集周围环境中的三维点云。当需要对车辆进行自动驾驶控制时，可以采用根据本申请实施例的运动信息预测方法对激光雷达采集的三维点云进行运动信息预测得到每一个点云栅格的运动信息，进而再根据点云栅格的运动信息得到环境中每个障碍物的运动信息，根据障碍物的运动信息等规划车辆的行驶路径，控制车辆按照行驶路径自动驾驶。

下面对上述步骤S103和步骤S104作进一步说明。

一、对上述步骤S103进行说明。

在上述步骤S103的一些实施方式中，可以按照尺度由高至低的顺序，依次对每种尺度的二维采样特征进行融合，以使融合形成的二维栅格特征与最小尺度的二维采样特征的尺度相同。

在本实施方式中根据尺度的大小可以将尺度划分成最大尺度、最小尺度和中间尺度，中间尺度是位于最大、最小尺度之间的尺度。若尺度的数量为2，则只需划分成最大、最小尺度，不包含中间尺度。下面分别对最大、中间和最小尺度的二维采样特征的融合方式进行说明。

1、最大尺度的二维采样特征

在本实施方式中可以获取最大尺度的下一级尺度，根据这个下一级尺度对“最大尺度的二维采样特征”进行上采样，使得上采样的特征与这个下一级尺度的二维采样特征的尺度相同。再将该上采样的特征与这个下一级尺度的二维采样特征进行融合，将融合的结果作为这个下一级尺度的全新二维采样特征。

2、中间尺度的二维采样特征

在本实施方式中按照尺度由高至低的顺序，分别对每一个中间尺度的二维采样特征进行融合。

对于首个中间尺度（也即尺度最大的一个中间尺度）而言，根据上述第1点的描述可知，其会与“最大尺度的二维采样特征”的上采样的特征进行融合形成全新二维采样特征。在此之后，可以获取该首个中间尺度的下一级尺度（有可能仍然是一个中间尺度，也可能是最小尺度），根据这个下一级尺度对“首个中间尺度的二维采样特征”进行上采样，使得上采样的特征与这个下一级尺度的二维采样特征的尺度相同。再将该上采样的特征与这个下一级尺度的二维采样特征进行融合，将融合的结果作为这个下一级尺度的全新二维采样特征。

对于非首个中间尺度而言，其融合过程与上述首个中间尺度的融合过程类似，都是先根据下一级尺度对全新二维采样特征进行上采样，再与下一级尺度的二维采样特征进行融合，在此不再赘述。

3、最小尺度的二维采样特征

在本实施方式中可以根据该最小尺度对其上一级尺度（有可能是一个中间尺度，也可能是最大尺度）的二维采样特征（若上一级尺度为中间尺度，则该二维采样特征是通过上述第2点描述的方法得到的全新二维采样特征）进行上采样，使得上采样的特征与该最小尺度的二维采样特征的尺度相同，将上采样的特征与该最小尺度的二维采样特征进行融合，融合的结果就是要得到的二维栅格特征。需要说明的是，最后一个中间尺度的下一级尺度就是这个最小尺度，因此，在按照上述第2点完成最后一个中间尺度的融合之后，不用再按照第3点对最小尺度的二维采样特征再次进行融合。若不包含中间尺度，则在按照上述第1点完成最大尺度的融合之后，也不用再按照第3点对最小尺度的二维采样特征再次进行融合。

至此，完成了对每种尺度的二维采样特征的融合，并使得融合形成的二维栅格特征与最小尺度的二维采样特征的尺度相同。

在上述步骤S103的一些实施方式中，在对点云栅格的所有二维采样特征进行融合之前，还可以通过图2所示的下列步骤S201至步骤S203，对预设尺度的二维采样特征进行预处理，以增加更多层次的特征。

步骤S201：获取预设尺度的二维采样特征作为目标特征。

本领域技术人员可以根据实际需求从所有尺度中灵活地选取一个或多个尺度作为预设尺度。在一些优选实施方式中可以选取最大尺度作为该预设尺度。基于此，在上述步骤S103中按照尺度由高至低的顺序，依次对每种尺度的二维采样特征进行融合时，可以将对最大尺度的二维采样特征进行预处理增加的多层次特征，依次地与其余每种尺度的二维采样特征进行融合，提升最终融合形成的二维栅格特征的特征丰富程度。

步骤S202：采用特征金字塔网络（Feature Pyramid Network，FPN）对目标特征进行特征提取，以获取新特征。

在本实施方式中可以采用常规结构的特征金字塔网络，本实施方式不对其结构作具体限定，只要其能够对目标特征进行特征提取，得到富含多层次特征的新特征即可。

步骤S203：将新特征作为预设尺度的最终二维采样特征。

基于上述步骤S201至步骤S203所述的方法，可以在预设尺度的二维采样特征中增加更多层次的特征，提升最终融合形成的二维栅格特征的特征丰富程度，进而可以显著提高二维栅格特征的特征表达能力。

下面结合附图3对二维采样特征的融合过程进行简单说明。

如图3所示，稀疏S8特征、稀疏S4特征、稀疏S2特征分别表示对点云栅格的三维栅格特征进行8倍、4倍和2倍尺度的下采样之后得到的三维采样特征。稀疏S8特征、稀疏S4特征、稀疏S2特征分别经过高度压缩转换成二维采样特征E8、E4、E2（图3未示出），高度压缩的方法与前述步骤S103中高度压缩的方法相同，在此不再赘述。

对于8倍下采样尺度的二维采样特征E8，将其作为预设尺度的二维采样特征，采用特征金字塔网络对其进行特征提取得到新特征，即D8特征。二维采样特征E8的下一级尺度是4倍尺度，根据4倍尺度对D8特征进行上采样，将上采样的特征与二维采样特征E4进行融合，将融合的结果作为这个4倍尺度的全新二维采样特征，即D4特征。

对于4倍下采样尺度的D4特征，其下一级尺度是2倍尺度，根据2倍尺度对D4特征进行上采样，将上采样的特征与二维采样特征E2进行融合，将融合的结果作为这个2倍尺度的全新二维采样特征，即D2特征，D2特征也就是要得到的二维栅格特征。

下面对上述步骤S202作进一步说明。

在上述步骤S202的一些实施方式中，可以采用特征金字塔网络对目标特征进行多种不同尺度的下采样，以获取每种尺度的下采样特征，再按照尺度由高至低的顺序，依次对每种尺度的下采样特征进行融合，将融合的结果作为新特征，新特征与目标特征的尺度相同。

采用特征金字塔网络对目标特征得到的每一种尺度的下采样特征就是每一种层次的特征，因此通过获取多种尺度的下采样特征，就可以得到多种层次的特征。其中，下采样特征仍然是二维的，按照尺度由高至低的顺序，依次对每种尺度的下采样特征进行融合的方法，与前述步骤S103中按照尺度由高至低的顺序，依次对每种尺度的二维采样特征进行融合的方法相同，在此不再赘述。

二、对上述步骤S104进行说明。

在上述步骤S104的一些实施方式中，采用预设的运动信息预测网络，并根据各点云栅格的二维栅格特征进行运动信息预测，以分别获取各点云栅格的运动信息。在本实施方式中可以采用人工智能技术领域中常规结构的网络（如卷积神经网络等）构建运动信息预测网络，本实施方式不对其网络结构作具体限定。

在本实施方式中可以通过图4所示的下列步骤S301至步骤S304，训练得到预设的运动信息预测网络，以使得能够采用训练好的运动信息预测网络，根据各点云栅格的二维栅格特征进行运动信息预测。

步骤S301：对三维点云样本进行栅格化处理，以形成多个三维的点云栅格。在本实施方式中同样可以采用点云处理技术领域中常规的栅格化处理方法对三维点云样本进行栅格化处理，将三维点云样本划分成多个点云栅格，每个点云栅格仍然是三维的。

步骤S302：针对各点云栅格，分别获取点云栅格内各点云的速度。

步骤S303：针对各点云栅格，根据各点云的速度设定点云栅格的运动信息标签。

根据点云栅格内所有点云的速度可以确定点云栅格的整体速度，而根据速度又可以区分点云栅格处于静态还是动态，因此根据速度还可以确定点云栅格的运动状态。

在一些实施方式中，可以获取点云栅格内所有点云的速度均值作为栅格速度（该栅格速度能够反映或表征点云栅格内所有点云的速度情况），根据栅格速度设定点云栅格的运动速度标签。

进一步，在一些实施方式中，还可以根据上述栅格速度与第二设定阈值的比较结果，设定点云栅格的运动状态标签。具体地，若栅格速度大于或等于第二设定阈值，则表明此时栅格速度比较高，点云栅格处于动态，因此设定运动状态标签为动态标签；若栅格速度小于第二设定阈值，则表明此时栅格速度比较低，点云栅格处于静态，因此设定运动状态标签为静态标签。需要说明的是，本领域技术人员可以根据实际需求灵活地设定第二设定阈值的大小，本实施例不作具体限定。

步骤S304：根据三维点云样本以及各点云栅格的运动信息标签，对预设的运动信息预测网络进行训练。

在本实施方式中可以采用机器学习技术领域中常规的网络训练方法，根据三维点云样本以及各点云栅格的运动信息标签，对预设的运动信息预测网络进行训练。例如，将三维点云样本以及各点云栅格的运动信息标签输入至运动信息预测网络，通过前向传播计算网络的损失值，根据损失值计算网络参数的参数梯度，根据参数梯度反向传播更新网络参数，直至运动信息预测网络满足收敛条件后停止训练。

基于上述步骤S301至步骤S304所述的方法，可以根据点云栅格内每个点云的速度，准确得到点云栅格的运动信息标签，从而保证对预设的运动信息预测网络的训练能够可靠完成，使得训练好的运动信息预测网络具备较高的运动信息预测能力。

下面对上述步骤S304作进一步说明。

在步骤S304的一些实施方式中，运动信息可以包括运动速度和运动状态，并可以通过图5所示的下列步骤S3041至步骤S3043，对预设的运动信息预测网络进行训练。

步骤S3041：获取用于运动速度预测训练的第一损失函数。

在此步骤中，可以采用Smooth1损失函数构建该第一损失函数。

步骤S3042：获取用于运动状态预测训练的第二损失函数。

在此步骤中，可以采用交叉熵损失函数构建该第二损失函数。

Smooth1损失函数、交叉熵损失函数均为机器学习技术领域中的常规损失函数，本实施方式不对二者的具体函数解析式进行赘述。

步骤S3043：对第一损失函数与第二损失函数进行加权和计算，以形成目标损失函数。

例如，第一、第二损失函数分别是f1、f2，权重分别是w1、w2，通过加权和计算可以得到目标损失函数f=w1*f1+ w2*f2。

本领域技术人员可以根据实际需求灵活地设定两个损失函数各自对应的权重，本实施方式对此不作具体限定。在一些优选实施方式中，可以对运动速度预测与运动状态预测的重要性进行比较，为重要性较高的损失函数设置较大的权重，为重要性较低的损失函数设置较小的权重。

步骤S3044：采用目标损失函数，并根据三维点云样本以及各点云栅格的运动信息标签，对预设的运动信息预测网络进行训练。

在本实施方式中可以采用机器学习技术领域中常规的网络训练方法，使用目标损失函数，并根据三维点云样本以及各点云栅格的运动信息标签，对预设的运动信息预测网络进行训练。

基于上述步骤S3041至步骤S3043所述的方法，可以通过为不同运动信息（运动速度或运动状态）预测的损失函数设定不同的权重，来调整不同运动信息预测在目标损失函数计算得到的损失值中的占比，进而也就实现了运动信息预测网络对不同运动信息预测能力的调整。基于此，对于想要提高预测能力的运动信息，可以增大其损失函数的权重，反之则可以减小其损失函数的权重。

在根据本申请的一个实施例中，在通过前述步骤S104获取到各点云栅格的运动信息（包括运动速度和运动状态）之后，还可以通过下列步骤S105对点云栅格的运动信息进行修正。

步骤S105：根据运动状态获取静态的第一点云栅格，若第一点云栅格的运动速度不为零，则表明可能是由于激光雷达等设备在采集点云时发生了抖动等原因，导致原来是静态的点云栅格速度不为零，因此需要将第一点云栅格的运动速度修正成零。

此外，在步骤S105中，也可以获取运动速度小于第一设定阈值的第二点云栅格，若第二点云栅格的运动状态是动态，则表明同样可能是由于上述原因导致原本是静态的点云栅格被误预测成了动态，因此也需要将第二点云栅格的运动状态修正成静态。

需要说明的是，本领域技术人员可以根据实际需求灵活地设定第一设定阈值的大小，本实施例不作具体限定。

下面结合附图6，对预设的运动信息预测网络的训练以及采用预设的运动信息预测网络进行运动信息预测的过程进行简单说明。

如图6所示，在得到连续多帧激光雷达点云之后，先进行历史帧点云自车运动补偿。具体地，可以采用点云处理技术领域中常规的点云去畸变方法对上述连续多帧激光雷达点云进行点云去畸变，实现历史帧点云自车运动补偿。例如，可以将连续多帧激光雷达点云中历史帧激光雷达点云的坐标系转换到当前帧激光雷达点云的坐标系，从而将连续多帧激光雷达点云中每一帧激光雷达点云的坐标系统一。

在完成历史帧点云自车运动补偿之后，依次对其进行栅格化处理、多尺度三维栅格特征提取、二维栅格特征提取得到每一个点云栅格的二维栅格特征，将二维栅格特征输入到运动预测输出头进行运动信息预测（包括栅格运动速度预测和栅格动静态预测）得到运动信息，再对运动信息进行校正，得到校正后的栅格运动速度预测结果和校正后的栅格动静态预测结果。

此外，在完成历史帧点云自车运动补偿之后，还依次对其进行点云运动速度真值获取、二维栅格运动速度和动静态真值生成得到栅格运动速度和动静态真值，即点云栅格的运动信息标签。根据该运动信息标签和上述输出头输出的运动信息计算损失函数的损失值，根据损失值计算网络参数的参数梯度，根据参数梯度反向传播更新网络参数，完成一次训练。需要说明的是，点云运动速度真值获取、二维栅格运动速度和动静态真值生成这两个步骤可以在训练之前完成，开始训练之后直接使用激光雷达点云及其二维栅格运动速度和动静态真值即可。

其中，多尺度三维栅格特征提取的方法与前述步骤S102对点云栅格的三维栅格特征进行多种不同尺度的下采样，以获取每种尺度的三维采样特征的方法相同；二维栅格特征提取的方法与前述步骤S103获取点云栅格的二维栅格特征的方法相同。点云运动速度真值获取的方法与前述步骤S302获取点云栅格中各点云的速度的方法相同；二维栅格运动速度和动静态真值生成与前述步骤S303获取点云栅格的运动信息标签的方法相同。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本申请的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些调整之后的方案与本申请中描述的技术方案属于等同技术方案，因此也将落入本申请的保护范围之内。

本领域技术人员能够理解的是，本申请实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

本申请的另一方面还提供了一种计算机设备。

在根据本申请的一个计算机设备的实施例中，计算机设备主要包括存储装置和处理器，存储装置可以被配置成存储执行上述方法实施例的运动信息预测方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的运动信息预测方法的程序。本申请所述的计算机设备，可以包括运动信息预测等。参阅附图7，图7中示例性地示出了存储装置11和处理器12通过总线通信连接。为了便于说明，仅示出了与本实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。

在一些可能的实施方式中，计算机设备可以包括多个存储装置和多个处理器。上述多个处理器可以是部署于同一个设备上的处理器，例如上述计算机设备可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述计算机设备可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。

本申请的另一方面还提供了一种计算机可读存储介质。

在根据本申请的一个计算机可读存储介质的实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的运动信息预测方法的程序，该程序可以由处理器加载并运行以实现上述运动信息预测方法。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

本申请的另一方面还提供了一种智能设备。

在根据本申请的一个智能设备的实施例中，智能设备可以包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器中存储有计算机程序，计算机程序被至少一个处理器执行时实现上述任一实施例所述的方法。本申请所述的智能设备，可以包括驾驶设备、智能车、机器人等设备。参阅附图8，图8中示例性地示出了存储器21和处理器22通过总线通信连接。

在本申请的一些实施例中，智能设备还可以包括至少一个传感器，传感器用于感知信息。传感器与本申请提到的任何一种类型的处理器通信连接。可选地，智能设备还可以包括自动驾驶系统，自动驾驶系统用于引导智能设备自行行驶或辅助驾驶。处理器与传感器和/或自动驾驶系统通信，用于完成上述任一实施例所述的方法。

至此，已经结合附图所示的一个实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。

Claims (13)

1.一种运动信息的预测方法，其特征在于，所述方法包括：

对三维点云进行栅格化处理，以形成多个三维的点云栅格；

针对各点云栅格，分别对所述点云栅格的三维栅格特征进行多种不同尺度的下采样，以获取每种尺度的三维采样特征，以及

针对各点云栅格，将所述点云栅格的每种尺度的三维采样特征分别转换成所述每种尺度的二维采样特征，并对所述点云栅格的所有二维采样特征进行融合，以形成所述点云栅格的二维栅格特征；

根据各点云栅格的二维栅格特征进行运动信息预测，以分别获取各点云栅格的运动信息。

2.根据权利要求1所述的方法，其特征在于，所述运动信息包括运动速度和运动状态，在所述根据各点云栅格的二维栅格特征进行运动信息预测，以分别获取各点云栅格的运动信息之后，所述方法还包括：

根据所述运动状态获取静态的第一点云栅格，若所述第一点云栅格的运动速度不为零，则将所述第一点云栅格的运动速度修正成零。

3.根据权利要求1所述的方法，其特征在于，所述运动信息包括运动速度和运动状态，在所述根据各点云栅格的二维栅格特征进行运动信息预测，以分别获取各点云栅格的运动信息之后，所述方法还包括：

获取所述运动速度小于第一设定阈值的第二点云栅格，

若所述第二点云栅格的运动状态是动态，则将所述第二点云栅格的运动状态修正成静态。

4.根据权利要求1所述的方法，其特征在于，所述根据各点云栅格的二维栅格特征进行运动信息预测，包括：

采用预设的运动信息预测网络，并根据各点云栅格的二维栅格特征进行运动信息预测；

其中，所述预设的运动信息预测网络通过以下方式训练得到：

对三维点云样本进行栅格化处理，以形成多个三维的点云栅格；

针对各点云栅格，分别获取所述点云栅格内各点云的速度，并根据所述各点云的速度设定所述点云栅格的运动信息标签；

根据所述三维点云样本以及各点云栅格的运动信息标签，对所述预设的运动信息预测网络进行训练。

5.根据权利要求4所述的方法，其特征在于，所述根据所述各点云的速度设定所述点云栅格的运动信息标签，包括：

获取所述点云栅格内所有点云的速度均值作为栅格速度，根据所述栅格速度设定所述点云栅格的运动速度标签。

6.根据权利要求4所述的方法，其特征在于，所述根据所述各点云的速度设定所述点云栅格的运动信息标签，包括：

获取所述点云栅格内所有点云的速度均值作为栅格速度；

根据所述栅格速度与第二设定阈值的比较结果，设定所述点云栅格的运动状态标签；

若所述栅格速度大于或等于所述第二设定阈值，则设定所述运动状态标签为动态标签；若所述栅格速度小于所述第二设定阈值，则设定所述运动状态标签为静态标签。

7.根据权利要求4所述的方法，其特征在于，所述运动信息包括运动速度和运动状态，所述对所述预设的运动信息预测网络进行训练，包括：

获取用于运动速度预测训练的第一损失函数；

获取用于运动状态预测训练的第二损失函数；

对所述第一损失函数与所述第二损失函数进行加权和计算，以形成目标损失函数；

采用所述目标损失函数，并根据所述三维点云样本以及各点云栅格的运动信息标签，对所述预设的运动信息预测网络进行训练。

8.根据权利要求1所述的方法，其特征在于，所述对所述点云栅格的所有二维采样特征进行融合，包括：

按照所述尺度由高至低的顺序，依次对每种尺度的二维采样特征进行融合，以使融合形成的所述二维栅格特征与最小尺度的二维采样特征的尺度相同。

9.根据权利要求1或8所述的方法，其特征在于，在对所述点云栅格的所有二维采样特征进行融合之前，所述方法还包括：

获取预设尺度的二维采样特征作为目标特征；

采用特征金字塔网络对所述目标特征进行特征提取，以获取新特征；

将所述新特征作为所述预设尺度的最终二维采样特征。

10. 根据权利要求9所述的方法，其特征在于，所述采用特征金字塔网络对所述目标特征进行特征提取，包括：

采用特征金字塔网络对所述目标特征进行多种不同尺度的下采样，以获取每种尺度的下采样特征，以及

按照所述尺度由高至低的顺序，依次对每种尺度的下采样特征进行融合，将融合的结果作为所述新特征；

其中，所述新特征与所述目标特征的尺度相同。

11.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至10中任一项所述的运动信息的预测方法。

12.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至10中任一项所述的运动信息的预测方法。

13.一种智能设备，其特征在于，包括：

至少一个处理器；

以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现权利要求1至10中任一项所述的运动信息的预测方法。