CN115512175A - 模型训练、点云数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例提供了一种模型训练、点云数据处理方法、装置、设备及存储介质，涉及数据处理技术领域，上述方法包括：获得样本点云数据以及多种任务标注信息；将样本点云数据输入特征提取层，得到样本特征图；将样本特征图分别输入各个任务处理层，得到各个任务处理层进行任务处理的任务处理结果；根据任务处理结果以及任务标注信息，计算任务处理层进行任务处理的训练损失；按照各个任务处理层对应的训练损失，调整待训练模型的模型参数，实现对待训练模型的训练，得到点云数据处理模型。应用根据本发明实施例提供的模型训练方案训练得到的模型，能够实现对点云数据进行多任务处理。

Description

模型训练、点云数据处理方法、装置、设备及存储介质

技术领域

本发明涉及数据处理技术领域，特别是涉及一种模型训练、点云数据处理方法、装置、设备及存储介质。

背景技术

在自动驾驶场景中，车辆上安装的数据处理设备可以获得车辆上安装的激光雷达采集的车辆周围环境的点云数据，为了准确的对车辆行进路径规划、道路交通情况监控等操作，需要针对多种任务对点云数据进行处理。

鉴于上述情况，需要提供一种针对多任务的点云数据处理方案，以实现对点云数据进行多任务处理。

发明内容

本发明实施例的目的在于提供一种模型训练、点云数据处理方法、装置、设备及存储介质，以实现对点云数据进行多任务处理。具体技术方案如下：

第一方面，本发明实施例提供了一种模型训练方法，所述方法包括：

获得样本点云数据以及所述样本点云数据的多种任务标注信息；

将所述样本点云数据输入待训练模型中的特征提取层，得到所述样本点云数据的样本特征图，其中，所述待训练模型还包括：多个任务处理层；

将所述样本特征图分别输入各个任务处理层，得到各个任务处理层基于所述样本特征图进行任务处理的任务处理结果；

针对每一任务处理层，根据该任务处理层输出的任务处理结果以及该任务处理层所实现任务对应的任务标注信息，计算该任务处理层进行任务处理的训练损失；

按照各个任务处理层对应的训练损失，调整所述待训练模型的模型参数，实现对所述待训练模型的训练，得到点云数据处理模型。

本发明的一个实施例中，所述将所述样本点云数据输入待训练模型中的特征提取层，得到所述样本点云数据的样本特征图，包括：

将所述样本点云数据输入待训练模型中的特征提取层，得到所述特征提取层对所述样本点云数据进行以下处理后输出的样本特征图：

沿两个预设划分方向，对所述样本点云数据进行区域划分，得到所述样本点云数据中包括的多个点柱区域，其中，所述划分方向根据采集所述样本点云数据的激光雷达的参数确定；

在所得到的多个点柱区域中查找区域内数据点数量大于预设数量的有效点柱区域；

对各个有效点柱区域的点云数据进行特征提取，得到各个有效点柱区域对应的点云特征；

根据各个有效点柱区域在所述样本点云数据中的位置以及所对应的点云特征，得到伪图像，其中，所述伪图像的宽度维度、高度维度分别对应所述两个划分方向所在维度，所述伪图像的图像通道维度对应所述点云特征的深度维度，所述伪图像各像素点的像素值为：所述点云特征中与像素点位置对应的位置上的特征值；

对所述伪图像进行特征提取，得到伪图像的特征图，作为所述样本点云数据的样本特征图。

本发明的一个实施例中，所述待训练模型中包括以下任务处理层中至少两种：

用于实现对象识别任务的任务处理层、用于实现对象分类任务的任务处理层、用于实现对象速度预测任务的任务处理层、用于实现语义分割任务的任务处理层、用于实现车道线检测的任务处理层以及用于实现实例分割任务的任务处理层。

本发明的一个实施例中，在所述待训练模型包括用于实现对象识别任务的第一任务处理层的情况下，所述将所述样本特征图分别输入各个任务处理层，得到各个任务处理层基于所述样本特征图进行任务处理的任务处理结果，包括：

将所述样本特征图输入所述第一任务处理层，得到所述第一任务处理层对所述样本特征图进行如下处理后输出的任务处理结果：

按照各种预设对象类型对应的预设的特征变换系数，对所述样本特征图进行特征变换，得到变换后的各种预设对象类型对应的分类特征图；

针对每一对象类型，根据该对象类型对应的分类特征图中像素值大于预设阈值的像素点的位置，确定该对象类型的对象在所述样本点云数据中的对象中心点。

本发明的一个实施例中，在所述待训练模型包括用于实现对象速度预测任务的第二任务处理层的情况下，所述方法还包括：

将各个分类特征图输入所述第二任务处理层，得到所述第二任务处理层基于各个分类特征图预测的、所述样本点云数据对应的各个采集对象在所述样本点云数据采集时刻下的运动速度。

本发明的一个实施例中，在所述待训练模型包括用于实现对象分类任务的第三任务处理层的情况下，所述将所述样本特征图分别输入各个任务处理层，得到各个任务处理层基于所述样本特征图进行任务处理的任务处理结果，包括：

将所述样本特征图输入所述第三任务处理层，得到所述第三任务处理层对所述样本特征图进行如下处理后输出的任务处理结果：

针对每一有效点柱区域，将该有效点柱区域中每一数据点的信息和所述样本特征图中与该有效点柱区域对应的特征进行叠加，得到该有效点柱区域中各数据点的叠加信息；

针对每一数据点，对该数据点的叠加信息与预设转换矩阵进行矩阵点乘计算，得到计算结果，根据所述计算结果，在多个预设对象类型中确定该数据点对应的对象类型。

本发明的一个实施例中，所述按照各个任务处理层对应的训练损失，调整所述待训练模型的模型参数，包括：

针对每一任务处理层，根据连续多个已完成的训练迭代过程中该任务处理层对应的训练损失，确定该任务处理层对应的训练损失的权重系数，并对计算得到的该任务处理层对应的训练损失进行加权计算；

按照加权后的各个任务处理层对应的训练损失，调整所述待训练模型的模型参数。

第二方面，本发明实施例还提供了一种点云数据处理方法，所述方法包括：

获得待处理的目标点云数据；

将所述目标点云数据输入训练后的点云数据处理模型，得到所述点云数据处理模型中各任务处理层输出的任务处理结果，其中，所述点云数据处理模型为根据上述第一方面所述的训练方法训练得到的，所述点云数据处理模型包括特征提取层和多个任务处理层，一个任务处理层用于基于所述特征提取层提取的特征实现对点云数据进行一种处理任务。

第三方面，本发明实施例还提供了一种模型训练装置，所述装置包括：

样本获得模块，用于获得样本点云数据以及所述样本点云数据的多种任务标注信息；

特征提取模块，用于将所述样本点云数据输入待训练模型中的特征提取层，得到所述样本点云数据的样本特征图，其中，所述待训练模型还包括：多个任务处理层；

任务处理模块，用于将所述样本特征图分别输入各个任务处理层，得到各个任务处理层基于所述样本特征图进行任务处理的任务处理结果；

损失计算模块，用于针对每一任务处理层，根据该任务处理层输出的任务处理结果以及该任务处理层所实现任务对应的任务标注信息，计算该任务处理层进行任务处理的训练损失；

参数调整模块，用于按照各个任务处理层对应的训练损失，调整所述待训练模型的模型参数，实现对所述待训练模型的训练，得到点云数据处理模型。

本发明的一个实施例中，所述特征提取模块，具体用于：

将所述样本点云数据输入待训练模型中的特征提取层，得到所述特征提取层对所述样本点云数据进行以下处理后输出的样本特征图：

沿两个预设划分方向，对所述样本点云数据进行区域划分，得到所述样本点云数据中包括的多个点柱区域，其中，所述划分方向根据采集所述样本点云数据的激光雷达的参数确定；

在所得到的多个点柱区域中查找区域内数据点数量大于预设数量的有效点柱区域；

对各个有效点柱区域的点云数据进行特征提取，得到各个有效点柱区域对应的点云特征；

根据各个有效点柱区域在所述样本点云数据中的位置以及所对应的点云特征，得到伪图像，其中，所述伪图像的宽度维度、高度维度分别对应所述两个划分方向所在维度，所述伪图像的图像通道维度对应所述点云特征的深度维度，所述伪图像各像素点的像素值为：所述点云特征中与像素点位置对应的位置上的特征值；

对所述伪图像进行特征提取，得到伪图像的特征图，作为所述样本点云数据的样本特征图。

本发明的一个实施例中，所述待训练模型中包括以下任务处理层中至少两种：

用于实现对象识别任务的任务处理层、用于实现对象分类任务的任务处理层、用于实现对象速度预测任务的任务处理层、用于实现语义分割任务的任务处理层、用于实现车道线检测的任务处理层以及用于实现实例分割任务的任务处理层。

本发明的一个实施例中，在所述待训练模型包括用于实现对象识别任务的第一任务处理层的情况下，所述任务处理模块，具体用于：

将所述样本特征图输入所述第一任务处理层，得到所述第一任务处理层对所述样本特征图进行如下处理后输出的任务处理结果：

按照各种预设对象类型对应的预设的特征变换系数，对所述样本特征图进行特征变换，得到变换后的各种预设对象类型对应的分类特征图；

针对每一对象类型，根据该对象类型对应的分类特征图中像素值大于预设阈值的像素点的位置，确定该对象类型的对象在所述样本点云数据中的对象中心点。

本发明的一个实施例中，在所述待训练模型包括用于实现对象速度预测任务的第二任务处理层的情况下，所述装置还包括：

速度预测模块，用于将各个分类特征图输入所述第二任务处理层，得到所述第二任务处理层基于各个分类特征图预测的、所述样本点云数据对应的各个采集对象在所述样本点云数据采集时刻下的运动速度。

本发明的一个实施例中，在所述待训练模型包括用于实现对象分类任务的第三任务处理层的情况下，所述任务处理模块，具体用于：

将所述样本特征图输入所述第三任务处理层，得到所述第三任务处理层对所述样本特征图进行如下处理后输出的任务处理结果：

针对每一有效点柱区域，将该有效点柱区域中每一数据点的信息和所述样本特征图中与该有效点柱区域对应的特征进行叠加，得到该有效点柱区域中各数据点的叠加信息；

针对每一数据点，对该数据点的叠加信息与预设转换矩阵进行矩阵点乘计算，得到计算结果，根据所述计算结果，在多个预设对象类型中确定该数据点对应的对象类型。

本发明的一个实施例中，所述参数调整模块，具体用于：

针对每一任务处理层，根据连续多个已完成的训练迭代过程中该任务处理层对应的训练损失，确定该任务处理层对应的训练损失的权重系数，并对计算得到的该任务处理层对应的训练损失进行加权计算；

按照加权后的各个任务处理层对应的训练损失，调整所述待训练模型的模型参数。

第四方面，本发明实施例还提供了一种点云数据处理装置，所述装置包括：

目标获得模块，用于获得待处理的目标点云数据；

点云处理模块，用于将所述目标点云数据输入训练后的点云数据处理模型，得到所述点云数据处理模型中各任务处理层输出的任务处理结果，其中，所述点云数据处理模型为根据上述第一方面所述的训练方法训练得到的，所述点云数据处理模型包括特征提取层和多个任务处理层，一个任务处理层用于基于所述特征提取层提取的特征实现对点云数据进行一种处理任务。

第五方面，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第一方面或者第二方面所述的方法步骤。

第六方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面或者第二方面所述的方法步骤。

本发明实施例有益效果：

由以上可知，应用本发明实施例提供的方案训练模型时，待训练模型为包括特征提取层和多个任务处理层的模型，每一任务处理层能够基于特征提取层提取的特征进行任务处理，这样在模型训练过程中，每一任务处理层能够输出一种任务处理结果，根据各个任务处理层输出的任务处理结果和各个任务处理层所实现任务对应的任务标注信息，计算各个任务处理层进行任务处理的训练损失，按照各个任务处理层对应训练损失，调整待训练模型的模型参数，这样能够使得待训练模型能够学习到各个任务处理层所实现任务的特征，从而在模型训练结束后，训练得到的点云数据处理模型能够基于学习到的各个任务的特征，准确的对模型输入的点云数据进行多任务处理。因此，应用本发明实施例提供的模型训练方案，训练得到的点云数据模型不仅能够对点云数据进行多任务处理，而且能够提高对点云数据进行多任务处理的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1a为本发明实施例提供的第一种模型训练方法的流程示意图；

图1b为本发明实施例提供的第一种待训练模型的结构示意图；

图2为本发明实施例提供的第二种模型训练方法的流程示意图；

图3为本发明实施例提供的第三种模型训练方法的流程示意图；

图4为本发明实施例提供的第二种待训练模型的结构示意图；

图5为本发明实施例提供的一种点云数据处理方法的流程示意图；

图6为本发明实施例提供的第一种模型训练装置的结构示意图；

图7为本发明实施例提供的第二种模型训练装置的结构示意图；

图8为本发明实施例提供的一种点云数据处理装置的结构示意图；

图9为本发明实施例提供的一种模型训练方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本发明所获得的所有其他实施例，都属于本发明保护的范围。

参见图1a，图1a为本发明实施例提供的第一种模型训练方法的流程示意图，本实施例中，上述方法包括以下步骤S101-S105。

步骤S101：获得样本点云数据以及样本点云数据的多种任务标注信息。

其中，上述样本点云数据用于对待训练模型进行训练。

上述样本点云数据的每一种任务标注信息对应一种任务。任务不同，任务标注信息也就不同。

例如，对象分类任务对应的任务标注信息可以是样本点云数据中数据点所对应对象的类型，对象速度检测任务对应的任务标注信息可以是样本点云数据中数据点所对应对象的运动速度等。

具体的，在获得样本点云数据的任务标注信息时，可以预先得知待训练模型中包括的任务处理层所实现的任务，从而获得与所得知的任务相对应的任务标注信息。

步骤S102：将样本点云数据输入待训练模型中的特征提取层，得到样本点云数据的样本特征图。

其中，待训练模型还包括：多个任务处理层。

对上述任务处理层的描述可参见后续步骤S103，这里暂不详述。

具体的，上述待训练模型中的特征提取层用于提取模型输入的点云数据的特征，这样当样本点云数据输入特征提取层后，特征提取层可以提取样本点云数据的特征，得到样本点云数据的样本特征图。

步骤S103：将样本特征图分别输入各个任务处理层，得到各个任务处理层基于样本特征图进行任务处理的任务处理结果。

其中，一个任务处理层用于实现对点云数据进行一种任务的处理。

本发明的一个实施例中，待训练模型中包括以下任务处理层中至少两种：

用于实现对象识别任务的任务处理层、用于实现对象分类任务的任务处理层、用于实现对象速度预测任务的任务处理层、用于实现语义分割任务的任务处理层、用于实现车道线检测的任务处理层以及用于实现实例分割任务的任务处理层。

本方案中，每一任务处理层能够实现对点云数据进行一种任务处理，这样当应用本发明实施例提供的模型训练方案训练得到点云数据处理模型后，模型包括的任务处理层能够准确实现其所对应的处理任务，并且点云数据处理模型包括至少两种任务处理层，因此使用点云数据处理模型能够准确对点云数据进行多任务处理。

在待训练模型中，各个任务处理层分别与特征提取层相连，这样在特征提取层输出样本点云数据的样本特征图后，可以将样本特征图分别输入各个任务处理层，从而每一任务处理层可以基于样本特征图进行任务处理。

参见图1b，图1b为一种待训练模型的结构示意图，图1b中，待训练模型中包括特征提取层和三个任务处理层，这三个任务处理层分别与特征提取层连接，这样当特征提取层输出点云数据的特征后，可以将所提取的特征分别输入至这三个任务处理层。

图1b所示示意图仅为待训练模型的一种情况，在实际应用场景中，待训练模型包括的任务处理层的数量可以是两个、四个或者其他数量个，本发明实施例对此并不限定。

步骤S104：针对每一任务处理层，根据该任务处理层输出的任务处理结果以及该任务处理层所实现任务对应的任务标注信息，计算该任务处理层进行任务处理的训练损失。

根据任务处理层输出的任务处理结果以及任务处理层所实现任务对应的任务标注信息，可以通过现有的损失计算技术，计算任务处理层进行任务处理的训练损失。

例如，针对实现对象速度预测任务的任务处理层，该任务处理层输出的任务处理结果为模型预测的采集对象的对象速度，该采集对象为样本点云数据所采集的对象，该任务处理层所实现的对象速度预测任务对应的任务标注信息为采集对象的实际速度，根据模型预测的对象速度和实际速度，可以通过现有的损失计算技术，计算任务处理层进行任务处理的训练损失。

步骤S105：按照各个任务处理层对应的训练损失，调整待训练模型的模型参数，实现对待训练模型的训练，得到点云数据处理模型。

具体的，在获得各个任务处理层对应的训练损失后，可以按照各个训练损失，调整待训练模型的模型参数，并判断模型是否满足训练结束条件，若不满足，则返回上述步骤S101，重新获得样本点云数据以及任务标注信息，继续对待训练模型进行训练，直至模型满足训练结束条件，完成对待训练模型的训练，得到点云数据处理模型。

上述训练结束条件可以是训练迭代次数达到预设次数，上述训练结束条件还可以是计算得到的各任务处理层对应的训练损失小于预设阈值，上述训练结束条件还可以其他用于结束训练使用的条件，这里不再一一详述。

本发明的一个实施例中，在按照各个训练损失调整待训练模型的模型参数时，可以通过以下两种实现方式中任一种进行调整。

第一种实现方式中，可以分别按照各个训练损失，对待训练模型的模型参数进行多次调整。

第二种实现方式中，还可以根据所得到的各个训练损失，计算待训练模型的总训练损失，按照该总训练损失，调整待训练模型的模型参数。

例如，可以将各个训练损失相加，得到相加后的训练损失总和，作为总训练损失。

另外，在按照各个训练损失调整待训练模型的模型参数时，可以设置各个任务处理层对应的训练损失的权重系数，从而按照加权后的各个任务处理层对应的训练损失，调整待训练模型的模型参数。

本发明的一个实施例中，可以通过以下两种实现方式中的任一种设置训练损失的权重系数。

第一种实现方式中，可以通过后续图2所示实施例中步骤S105A设置训练损失的权重系数，这里暂不详述。

第二种实现方式中，可以预先得知用户对各个任务处理层所实现任务的精度要求，对于用户要求精度较高的任务处理层，可以将该任务处理层对应的训练损失的权重系数设置为较大的权重系数，对于用户要求精度较低的任务处理层，可以将该任务处理层对应的训练损失的权重系数设置为较小的权重系数。

由以上可知，应用本发明实施例提供的方案训练模型时，待训练模型为包括特征提取层和多个任务处理层的模型，每一任务处理层能够基于特征提取层提取的特征进行任务处理，这样在模型训练过程中，每一任务处理层能够输出一种任务处理结果，根据各个任务处理层输出的任务处理结果和各个任务处理层所实现任务对应的任务标注信息，计算各个任务处理层进行任务处理的训练损失，按照各个任务处理层对应训练损失，调整待训练模型的模型参数，这样能够使得待训练模型能够学习到各个任务处理层所实现任务的特征，从而在模型训练结束后，训练得到的点云数据处理模型能够基于学习到的各个任务的特征，准确的对模型输入的点云数据进行多任务处理。因此，应用本发明实施例提供的模型训练方案，训练得到的点云数据模型不仅能够对点云数据进行多任务处理，而且能够提高对点云数据进行多任务处理的准确性。

在模型训练过程中，由于不同任务的难以程度不同、对模型中不同任务处理层进行训练的数据量不同等原因，会导致待训练模型中不同任务处理层对应的训练损失的差异较大。例如，模型对一些任务处理层所实现任务的学习效率快，模型对另外一些任务处理层所实现任务的学习效率慢，这里将模型学习效率较快的任务称为简单任务，将模型学习效率较慢的任务称为困难任务。在按照训练损失调整模型参数时，可以对实现困难任务的任务处理层对应的训练损失分配一个较大的权重系数，对实现简单任务的任务处理层对应的训练损失分配一个较小的权重系数。

鉴于上述情况，本发明的一个实施例中，参见图2，提供了第二种模型训练方法的流程示意图，本实施例中，可以通过以下步骤S105A-S105B实现上述步骤S105。

步骤S105A：针对每一任务处理层，根据连续多个已完成的训练迭代过程中该任务处理层对应的训练损失，确定该任务处理层对应的训练损失的权重系数，并对计算得到的该任务处理层对应的训练损失进行加权计算。

具体的，针对每一任务处理层，可以通过以下两种实现方式中任一种确定该任务处理层对应的训练损失的权重系数。

第一种实现方式中，可以获得连续多个已完成训练迭代过程中该任务处理层对应的训练损失，并根据所获得的训练损失，得知训练损失变化趋势，从而根据训练损失变化趋势，确定该任务处理层对应的训练损失的权重系数。

例如，若任务处理层对应的训练损失在这多个训练迭代过程中收敛较快，则说明该任务处理层所实现的任务为简单任务，模型对该任务处理层所实现任务的学习效率较高，此时可以将该任务处理层对应的训练损失的权重系数设置为较小的权重系数，若任务处理层对应的训练损失在多个训练迭代过程中收敛较慢，则说明该任务处理层所实现的任务为困难任务，模型对该任务处理层所实现任务的学习效率较低，此时可以将该任务处理层对应的训练损失的权重系数设置为较大的权重系数。

第二种实现方式中，还可以结合训练损失的变化趋势以及训练损失的大小，共同确定训练损失的权重系数。

另外，上述各任务处理层对应的训练损失的权重系数可以是实时调节的。在训练过程中，可以实时获得最近的多个已完成训练迭代过程中的训练损失，从而根据所获得的训练损失确定权重系数。

例如，针对困难任务，当实现困难任务的任务处理层对应的训练损失收敛较慢，则可以设置较大的权重系数，随着对待训练模型进行不断训练，当实现困难任务的任务处理层对应的训练损失收敛加快时，可以减小所设置的权重系数。

步骤S105B：按照加权后的各个任务处理层对应的训练损失，调整待训练模型的模型参数，实现对待训练模型的训练，得到点云数据处理模型。

本步骤与上述步骤S105中调整待训练模型的模型参数的方式相同，这里不再赘述。

由以上可见，应用本发明实施例提供的方案训练模型时，连续多个已完成的训练迭代过程中的训练损失能够反映模型中各个任务处理层所实现任务的难易程度，因此，根据上述多个训练损失，能够准确确定任务处理层对应的训练损失的权重系数，这样按照加权后的训练损失调整待训练模型的模型参数，能够加快模型训练效率。

下面对特征提取层提取样本点云数据的样本特征图的具体实现方式进行说明。

本发明的一个实施例中，在将样本点云数据输入待训练模型中的特征提取层后，特征提取层可以执行以下步骤A-E，得到样本点云数据的样本特征图。

步骤A：沿两个预设划分方向，对样本点云数据进行区域划分，得到样本点云数据中包括的多个点柱区域。

其中，划分方向根据采集样本点云数据的激光雷达的参数确定。

激光雷达在采集样本点云数据时，通常需要预先构建点云空间，这样激光雷达在接收到外界反射回来的激光信息时，根据所接收的激光信息，在点云空间中生成各个数据点。

上述点云空间可以理解为按照激光雷达的参数确定的空间，上述划分方向可以理解为对点云空间进行划分的方向。在确定划分方向时，上述点云空间为三维空间，这样可以确定点云空间的其中两个维度方向为两个划分方向。

例如，上述点云空间可以表示为空间坐标系，上述划分方向可以是该空间坐标系的两个坐标轴方向。

具体的，由于上述样本点云数据通常为一定空间范围内的点云数据，因此，在沿划分方向对样本点云数据进行区域划分时，可以获得样本点云数据在两个划分方向对应的维度上的长度，根据所获得的两个维度长度，确定在这两个维度上进行划分的划分距离，从而依据所确定的划分距离，对样本点云数据进行区域划分，得到划分后的多个点柱区域。

步骤B：在所得到的多个点柱区域中查找区域内数据点数量大于预设数量的有效点柱区域。

其中，上述预设数量可以是人为设置的任一数量。

具体的，在将样本点云数据划分为多个点柱区域之后，可以分别确定每一点柱区域中包括的数据点的数量，从而在各个点柱区域中查找到区域内数据点数量大于预设数量的有效点柱区域。

在获得有效点柱区域时，除了可以采用上述步骤A-B所提供的方式外，还可以通过现有的点云点柱化处理技术对样本点云数据进行处理，从而得到样本点云数据内的有效点柱区域。

步骤C：对各个有效点柱区域的点云数据进行特征提取，得到各个有效点柱区域对应的点云特征。

具体的，可以通过现有的点云数据特征提取技术对各个有效点柱区域的点云数据进行特征提取。

例如，可以将有效点柱区域的点云数据输入至现有的pointnet网络，从而得到网络输出的点云数据的点云特征。采用pointnet网络，能够提取样本点云数据内有效点柱区域的全局特征，这里对采用pointnet网络提取点云特征的具体实现方式不再详述。

步骤D：根据各个有效点柱区域在样本点云数据中的位置以及所对应的点云特征，得到伪图像。

其中，伪图像的宽度维度、高度维度分别对应上述两个划分方向所在维度，伪图像的图像通道维度对应点云特征的深度维度，伪图像各像素点的像素值为：点云特征中与像素点位置对应的位置上的特征值。

有效点柱区域在样本点云数据中的位置可以表示为有效点柱区域在划分后的多个点柱区域中的位置。

例如，若在划分点柱区域时，沿点云空间的长度维度方向，对样本点云数据进行了两次划分，沿点云空间的宽度维度方向，对样本点云数据进行了三次划分，则可以得到3*4＝12个点柱区域，若有效点柱区域的位置信息为(1，2)，则表示有效点柱区域为在长度维度方向上为第一、在宽度维度方向上为第二的点柱区域。

每一点柱区域对应的点云特征的尺寸可以是1*1*c，其中，c为点云特征的深度维度上的维度值数量。

具体的，在确定有效点柱区域后，可以获得有效点柱区域在样本图像中的位置，并确定伪图像中与有效点柱区域相同位置的多个像素点，这样在得到有效点柱区域的点云数据的点云特征之后，可以将所确定的多个像素点的像素值赋值为点云特征中包括的各个特征值，并将伪图像中未赋值的像素点的像素值设置为0，从而得到伪图像。

在上述举例中，若有效点柱区域的位置信息为(1，2)，则可以将伪图像中宽度维度的维度值为1、高度维度的维度值为2、图像通道维度的维度值为任意维度值的多个像素点确定为与该有效点柱区域相同位置的像素点，此时，将该有效点柱区域对应的点云特征的c个特征值作为所确定的多个像素点的像素值。

由于点柱区域是沿预设的两个划分方向对样本点云数据进行划分得到的，因此，在对有效点柱区域的点云数据进行特征提取，根据各个有效区域的位置以及所对应的点云特征得到伪图像时，能够在不丢失除上述两个划分方向所在维度外的第三个维度的信息的情况下，实现将样本点云数据转换为伪图像。

步骤E：对伪图像进行特征提取，得到伪图像的特征图，作为样本点云数据的样本特征图。

具体的，得到伪图像之后，可以通过现有的特征提取技术提取伪图像的特征，并将伪图像的特征作为样本点云数据的样本特征图，这里对提取伪图像的特征的实现方式不再详述。

例如，使用resnet-18或者resnet-50主干网络对伪图像进行特征提取。使用resnet网络对伪图像进行特征提取不仅能够由浅到深提取出特征的语义信息，还能够防止在模型训练过程中出现梯度爆炸等情况，从而加快模型收敛速度。

由以上可见，应用本发明实施例提供的方案训练模型时，特征提取层对有效点柱区域的点云数据进行特征提取，得到有效点柱区域对应的点云特征，由于有效点云区域为区域内数据点数量大于预设数量的点柱区域，因此，有效点云区域的点云数据中包括丰富的数据点信息，这样提取得到的点云特征较为准确，并且，每一有效点柱区域对应的点云特征保留了除上述两个划分方向所在维度的第三个维度上的所有信息，这样根据各个有效点柱区域的位置以及所对应的点云特征，能够准确获得伪图像，对伪图像进行特征提取，将伪图像的特征图作为样本点云数据的样本特征图，能够提高样本特征图的准确性。

下面对不同任务处理层基于样本特征图进行任务处理的具体实现方式进行说明。

本发明的一个实施例中，在待训练模型包括用于实现对象识别任务的第一任务处理层的情况下，在将样本特征图输入第一任务处理层后，第一任务处理层可以执行以下步骤F-G，得到任务处理结果。

步骤F：按照各种预设对象类型对应的预设的特征变换系数，对样本特征图进行特征变换，得到变换后的各种预设对象类型对应的分类特征图。

由于上述对象识别任务通常是针对特定的对象类型的识别任务，因此，上述预设对象类型可以是对象识别任务期望识别出的对象的类型。

例如，上述对象类型可以是道路、车辆、路障等等。

上述变换系数的初始值可以是人为设置的，在模型训练过程中，可以根据训练损失，不断调整该变换系数。

对样本特征图进行特征变换，可以理解为按照预设特征变换系数，对样本特征图的图像通道维度上的特征进行压缩，得到各种预设对象类型对应的二维的分类特征图。

例如，若存在五种预设对象类型，上述样本特征图的尺寸为15*15*128，通过对样本特征图进行特征变换，可以将样本特征图转换为五张尺寸为15*15的分类特征图，每一张分类特征图对应一种对象类型。

具体的，可以通过以下两种实现方式中任一种对样本特征图进行特征变换。

第一种实现方式中，每一种对象类型可以对应一个特征变换系数，这样可以分别按照各个特征变换系数，对样本特征图进行多次特征变换，从而得到各种对象类型对应的分类特征图。

在上述举例中，五种对象类型可以对应五个尺寸为128*1的特征变换系数，这样分别按照这五个特征变换系数，对样本特征图进行五次特征变换，得到五种对象类型对应的分类特征图。

第二种实现方式中，各种对象类型可以对应一个特征变换系数，按照特征变换系数对样本特征图进行特征变换，可以将样本特征图压缩为图像通道维度上的维度值数量为对象类型数量的三维特征图，该三维特征图中图像通道维度上的每一维度值对应的二维特征图即为各种对象类型对应的分类特征图。

在上述举例中，五种对象类型可以对应一个尺寸为128*5的特征变换系数，这样按照特征变换系数，对样本特征图进行特征变换，利用得到尺寸为15*15*5的特征图，该特征图中图像通道维度上的每一维度值对应的二维特征图即为五种对象类型对应的分类特征图。

步骤G：针对每一对象类型，根据该对象类型对应的分类特征图中像素值大于预设阈值的像素点的位置，确定该对象类型的对象在样本点云数据中的对象中心点。

其中，上述预设阈值可以是人为设置的像素值。

分类特征图中像素点的像素值为该像素点位置上的特征值。

伪图像是根据各个有效点柱区域在样本点云数据中的位置以及点云特征获得的，伪图像中在宽度维度和高度维度上的各个像素点对应划分得到的各个点柱区域。样本特征图为伪图像的特征图，样本特征图和伪图像在宽度维度和高度维度这两个维度上的尺寸也可以相同，样本特征图在这两个维度上的各个特征与伪图像在这两个维度上的各个像素点相对应。特征变换仅是对样本特征图的图像通道维度的特征进行压缩，其他两个维度并未变化，对象类型对应的分类特征图在宽度维度和高度维度这两个维度上的尺寸与样本特征图在这两个维度上的尺寸相同，这两种特征图在这两个维度上的各个特征相对应。因此，对象类型对应的分类特征图中在宽度维度和高度维度上的各个特征对应划分得到的一个点柱区域。

例如，若沿样本点云数据的长度方向，将样本点云数据划分为w1个区域，沿样本点云数据的宽度方向，将样本点云数据划分为h1个区域，则所得到的伪图像的尺寸为w1*h1*c,c为点云特征的深度维度上的维度值数量。提取伪图像的特征，可以得到尺寸为w1*h1*c1的样本特征图，c1为样本特征图的深度维度上的维度值数量。对样本特征图进行特征变换，可以得到尺寸为w1*h1的分类特征图。

具体的，针对每一对象类型，可以在该对象类型对应的分类特征图中确定像素值大于预设阈值的像素点，从而根据分类特征图中像素点与点柱区域之间的对应关系以及所确定像素点的位置，确定该对象类型的对象的中心点所在的点柱区域。另外，在对样本特征图进行特征变换时，可以调整该对象类型对应的特征变换系数，使得该对象类型对应的分类特征图为双通道的特征图，根据每一通道所对应特征图中像素点大于预设阈值的像素点的位置，计算对象中心点的偏移量，从而可以根据所确定的对象中心点所在的点柱区域以及计算得到的偏移量，得到该对象类型的对象中心点，进而确定对象的位置。

由以上可见，应用本发明实施例提供的方案训练模型时，第一任务处理层用于实现对象识别任务，第一任务处理层可以按照特征变换系数，对样本特征图进行特征变换，得到对象类型对应的分类特征图，并根据分类特征图中像素值大于预设预设的像素点的位置，确定样本点云数据中的对象中心点。在模型训练过程中，可以不断优化第一任务处理层中的模型参数，这样能够提高第一任务处理层对样本特征图进行特征变换以及确定样本点云数据的对象中心点的准确性。因此，通过本发明实施例提供的方案训练模型，能够提高利用训练后得到的模型实现对象识别任务的准确性。

本发明的一个实施例中，参见图3，提供了第三种模型训练方法的流程示意图，本实施例中，在待训练模型包括用于实现对象速度预测任务的第二任务处理层的情况下，上述方法还包括以下步骤S106。

步骤S106：将各个分类特征图输入第二任务处理层，得到第二任务处理层基于各个分类特征图预测的、样本点云数据对应的各个采集对象在样本点云数据采集时刻下的运动速度，作为第二任务处理层的任务处理结果。

具体的，在将各分类特征图输入第二任务处理层后，第二任务处理层可以基于各个分类特征图，通过现有的速度预测技术预测样本点云数据对应的各个采集对象在样本点云数据采集时刻下的运动速度，这里不再详述。

例如，第二任务处理层可以采用现有的OD(Object Detection，目标探测)预测技术预测采集对象的运动速度。

由以上可见，应用本发明实施例提供的方案训练模型时，第二任务处理层用于实现对象速度预测任务。在模型训练过程中，可以不断优化第二任务处理层中的模型参数，这样能够提高第二任务处理层预测对象速度的准确性。因此，通过本发明实施例提供的方案训练模型，能够提高利用训练后得到的模型实现对象速度预测任务的准确性。

本发明的一个实施例中，在待训练模型包括用于实现对象分类任务的第三任务处理层的情况下，在将样本特征图输入第三任务处理层后，第三任务处理层可以执行以下步骤H-I，得到任务处理结果。

步骤H：针对每一有效点柱区域，将该有效点柱区域中每一数据点的信息和样本特征图中与该有效点柱区域对应的特征进行叠加，得到该有效点柱区域中各数据点的叠加信息。

其中，上述数据点的信息可以包括数据点在样本点云数据中的位置信息、颜色信息以及强度信息等。

例如，数据点的信息可以表示为(x，y，z，intensity)，其中，(x，y，z)为数据点的三维坐标，intensity为数据点的强度信息。

具体的，根据描述上述第一任务处理层的实施例中步骤G可以得知，样本特征图在宽度维度和高度维度这两个维度上的各个特征与伪图像在这两个维度上的各个像素点相对应，伪图像在宽度维度和高度维度上的各个像素点对应划分得到的各个点柱区域，因此，样本特征图在宽度维度和高度维度上的各个特征对应各个点柱区域。这样针对每一有效点柱区域，可以在样本特征图中确定与该有效点柱区域对应的尺寸为1*1*c的特征。将有效点柱区域中每一数据点的信息和所确定的特征进行叠加，可以理解为将数据点的信息与所确定的特征进行拼接，得到拼接后的数据点的叠加信息。

例如，若有效点柱区域内数据点的信息为(x，y，z，intensity)，则该信息为一种4维的信息，上述与有效点柱区域对应的特征1*1*c的特征，则该特征为一种c维的信息，为将数据点信息与特征进行叠加，可以得到一种4+c维的信息，作为数据点的叠加信息。

步骤I：针对每一数据点，对该数据点的叠加信息与预设转换矩阵进行矩阵点乘计算，得到计算结果，根据计算结果，在多个预设对象类型中确定该数据点对应的对象类型。

其中，上述预设转换矩阵的初始值可以是人为设置的，在模型训练过程中，可以根据训练损失，不断调整该转换矩阵。

具体的，可以预先对各个预设对象类型进行编码，这样在对各个数据点的叠加信息与转换矩阵进行矩阵点乘计算得到计算结果后，可以根据计算结果所示的编码确定各个数据点对应的对象类型。

例如，若存在三种对象类型k1、k2、k3，设置类型k1的编码为(0，0，1)，类型k2的编码为(0，1，0)，类型k3的编码为(1，0，0)。在获得数据点的4+c维的叠加信息之后，可以对4+c维的叠加信息与尺寸为(4+c，3)的转换矩阵进行矩阵点乘计算，得到3维的计算结果。若该计算结果为(0，0，1)，则可以确定该数据点对应的对象类型为类型K1；若该计算结果为(0，1，0)，则可以确定该数据点对应的对象类型为类型K2；若该计算结果为(1，0，0)，则可以确定该数据点对应的对象类型为类型K3。

由以上可见，应用本发明实施例提供的方案训练模型时，第三任务处理层用于实现对象分类任务，在模型训练过程中，可以不断优化第三任务处理层中的模型参数，这样能够提高第三任务处理层获得各有效点柱区域内各数据点的叠加信息以及进行矩阵点乘计算的准确性。因此，通过本发明实施例提供的方案训练模型，能够提高利用训练后得到的模型实现对象分类任务的准确性。

本发明的一个实施例中，参见图4，提供了第二种待训练模型的结构示意图，在图4所示待训练模型中，点云数据1可以称为point_valid1，PP网络层用于对尺寸为(N，4)的点云数据1进行点云点柱化处理，其中，N表示点云数据1中的数据点数量，4表示点云数据1中每一数据点具有一个4维信息(三维坐标和反射强度信息)；点柱特征提取层，也可称为pillar featrue Heatmap网络层，用于提取有效点柱区域的点云数据的点云特征；RPNresnet网络层用于根据各有效点柱区域的点云数据的点云特征，得到伪图像，并对伪图像进行特征提取，得到尺寸为(C，H，W)的特征图，C为特征图的深度维度，H为特征图的高度维度，W为特征图的宽度维度。获得上述特征图后，可以将特征图分别输入语义分割任务处理层和目标探测任务处理层，其中，语义分割任务处理层也可称为segmentHead任务处理层，目标探测任务处理层也可称为OD Head任务处理层。

在segmentHead任务处理层中，fv网络层用于从(C，H，W)的特征图中抽取各有效点柱区域对应位置的特征，得到各个有效点柱区域对应的特征，其中，每一有效点柱区域对应的特征的尺寸为1*1*C；点云特征叠加层，也可称为point_features网络层，用于针对每一有效点柱区域，将该有效点柱区域对应的特征分别与该有效点柱区域中各数据点的信息进行叠加，得到点云数据2，点云数据2也可称为point_valid2，point_valid2表示对各个有效点柱区域中数据点进行叠加后得到的点云全局特征(N，4+C)，MLP网络层为人工神经网络层，可以将尺寸为(N，4+C)的点云全局特征变换为尺寸为(N，NUM_C)的特征，其中，NUM_C可以是预先设置的任一维度值，MLP网络层用于基于各个数据点自身的信息以及各个数据点所在点柱区域对应的特征，计算表征各个数据点属于预设分类类型的分类特征，特征变换之后，在NUM_C所在维度上对尺寸为(N，NUM_C)的特征进行最大池化处理，得到(N，1)的处理结果，该处理结果可以理解为点云数据中每个数据点对应一个数值，根据该数值判断数据点对应的对象类型。

在OD Head任务处理层中，特征变换层，也可称为CONV网络层，用于利用尺寸为(192，H，W)的特征变换系数，对特征图进行特征变换，得到尺寸为(64，H，W)的特征图，变换得到的尺寸为(64，H，W)的特征图即为前述实施例的步骤F中提及的分类特征图，这样将尺寸为(64，H，W)的特征图输入网络预测层。网络预测层也可称为predict网络层，predict网络层可以根据变换后的特征图进行预测，得到对象所在的对象包围框Box、分数Scores、对象包围框所对应的对象的类型Class，其中，上述分数Scores可以理解为模型预测的该对象包围框Box和类型Class的置信度。

应用上述实施例提供的方案训练得到点云数据处理模型后，可以使用该模型对点云数据进行多任务处理。

本发明的一个实施例中，参见图5，提供了一种点云数据处理方法的流程示意图，上述方法包括以下步骤S501-S502。

步骤S501：获得待处理的目标点云数据。

其中，上述目标点云数据可以从激光雷达采集的整个点云数据中一定范围内的点云数据。

具体的，在激光雷达采集得到点云数据后，可以在所采集的点云数据中提取出预设区域中的点云数据，作为目标点云数据，也可以根据所采集点云数据中数据点的分布情况，将数据点分布密集的区域作为目标点云数据。

步骤S502：将目标点云数据输入训练后的点云数据处理模型，得到点云数据处理模型中各任务处理层输出的任务处理结果。

其中，点云数据处理模型为根据上述模型训练方法实施例中提供的训练方案训练得到的，点云数据处理模型包括特征提取层和多个任务处理层，一个任务处理层用于基于特征提取层提取的特征实现对点云数据进行一种处理任务。

上述特征提取层以及任务处理层的描述可参见上述模型训练方法实施例，这里不再赘述。

点云数据处理模型中包括特征提取层以及多个任务处理层，将目标点云数据输入点云数据处理模型后，模型中特征提取层可以提取目标点云数据的特征图，并将提取的特征图分别输入各个任务处理层，各个任务处理层可以基于输入的特征图进行任务处理，从而输出任务处理结果。

由以上可见，应用本发明实施例提供的方案处理点云数据时，点云数据处理模型中包括特征提取层和多个任务处理层，该点云数据处理模型经过训练后，模型中特征提取层可以学习到适用于各个任务处理层所实现任务的特征的特性，并且特征提取层还能够学习到单一任务下难以学习到多任务之间的特征关系，各个任务处理层能够学习到其所实现的任务的特性，这样将目标点云数据输入点云数据处理模型后，模型中各个网络层能够基于学习到的特性、特征关系，对目标点云数据进行准确处理，从而提高模型输出的任务处理结果的准确性。因此，应用本发明实施例提供的点云数据处理方案，不仅能够实现对点云数据进行多任务处理，而且能够提高多任务处理的准确性。

现有技术中，在对点云数据进行多种任务的处理时，通常针对每一种任务，采用针对该任务的特征提取方式提取点云数据的特征，基于提取的特征再进行该任务的后续处理，不同任务所使用的特征提取方法可能不同，而本方案中，各个任务处理层共享一个特征提取层提取出的特征，这样在进行多任务处理时，无需多次提取点云数据的特征，这样能够在保证对点云数据进行多任务处理，实现对空间复杂环境场景的解析和表征的情况下，还能够减小数据计算量和时间成本。

另外，上述点云数据处理模型中各个任务处理层为并列结构，各个任务处理层可以看做是相互独立的，因此，可以根据实际场景需求，增加或删减点云数据处理模型中包括的任务处理层，从而根据新的点云数据处理模型实现实际场景需求。由此可见，应用本发明实施例提供的点云数据处理方案，能够提高对点云数据进行多任务处理的可扩展性。

与上述模型训练方法相对应，本发明实施例还提供了一种模型训练装置。

本发明的一个实施例中，参见图6，提供了第一种模型训练装置，所述装置包括：

样本获得模块601，用于获得样本点云数据以及所述样本点云数据的多种任务标注信息；

特征提取模块602，用于将所述样本点云数据输入待训练模型中的特征提取层，得到所述样本点云数据的样本特征图，其中，所述待训练模型还包括：多个任务处理层；

任务处理模块603，用于将所述样本特征图分别输入各个任务处理层，得到各个任务处理层基于所述样本特征图进行任务处理的任务处理结果；

损失计算模块604，用于针对每一任务处理层，根据该任务处理层输出的任务处理结果以及该任务处理层所实现任务对应的任务标注信息，计算该任务处理层进行任务处理的训练损失；

参数调整模块605，用于按照各个任务处理层对应的训练损失，调整所述待训练模型的模型参数，实现对所述待训练模型的训练，得到点云数据处理模型。

由以上可知，应用本发明实施例提供的方案训练模型时，待训练模型为包括特征提取层和多个任务处理层的模型，每一任务处理层能够基于特征提取层提取的特征进行任务处理，这样在模型训练过程中，每一任务处理层能够输出一种任务处理结果，根据各个任务处理层输出的任务处理结果和各个任务处理层所实现任务对应的任务标注信息，计算各个任务处理层进行任务处理的训练损失，按照各个任务处理层对应训练损失，调整待训练模型的模型参数，这样能够使得待训练模型能够学习到各个任务处理层所实现任务的特征，从而在模型训练结束后，训练得到的点云数据处理模型能够基于学习到的各个任务的特征，准确的对模型输入的点云数据进行多任务处理。因此，应用本发明实施例提供的模型训练方案，训练得到的点云数据模型不仅能够对点云数据进行多任务处理，而且能够提高对点云数据进行多任务处理的准确性。

本发明的一个实施例中，所述特征提取模块602，具体用于：

将所述样本点云数据输入待训练模型中的特征提取层，得到所述特征提取层对所述样本点云数据进行以下处理后输出的样本特征图：

沿两个预设划分方向，对所述样本点云数据进行区域划分，得到所述样本点云数据中包括的多个点柱区域，其中，所述划分方向根据采集所述样本点云数据的激光雷达的参数确定；

在所得到的多个点柱区域中查找区域内数据点数量大于预设数量的有效点柱区域；

对各个有效点柱区域的点云数据进行特征提取，得到各个有效点柱区域对应的点云特征；

根据各个有效点柱区域在所述样本点云数据中的位置以及所对应的点云特征，得到伪图像，其中，所述伪图像的宽度维度、高度维度分别对应所述两个划分方向所在维度，所述伪图像的图像通道维度对应所述点云特征的深度维度，所述伪图像各像素点的像素值为：所述点云特征中与像素点位置对应的位置上的特征值；

对所述伪图像进行特征提取，得到伪图像的特征图，作为所述样本点云数据的样本特征图。

由以上可见，应用本发明实施例提供的方案训练模型时，特征提取层对有效点柱区域的点云数据进行特征提取，得到有效点柱区域对应的点云特征，由于有效点云区域为区域内数据点数量大于预设数量的点柱区域，因此，有效点云区域的点云数据中包括丰富的数据点信息，这样提取得到的点云特征较为准确，并且，每一有效点柱区域对应的点云特征保留了除上述两个划分方向所在维度的第三个维度上的所有信息，这样根据各个有效点柱区域的位置以及所对应的点云特征，能够准确获得伪图像，对伪图像进行特征提取，将伪图像的特征图作为样本点云数据的样本特征图，能够提高样本特征图的准确性。

本发明的一个实施例中，所述待训练模型中包括以下任务处理层中至少两种：

用于实现对象识别任务的任务处理层、用于实现对象分类任务的任务处理层、用于实现对象速度预测任务的任务处理层、用于实现语义分割任务的任务处理层、用于实现车道线检测的任务处理层以及用于实现实例分割任务的任务处理层。

本方案中，每一任务处理层能够实现对点云数据进行一种任务处理，这样当应用本发明实施例提供的模型训练方案训练得到点云数据处理模型后，模型包括的任务处理层能够准确实现其所对应的处理任务，并且点云数据处理模型包括至少两种任务处理层，因此使用点云数据处理模型能够准确对点云数据进行多任务处理。

本发明的一个实施例中，在所述待训练模型包括用于实现对象识别任务的第一任务处理层的情况下，所述任务处理模块603，具体用于：

将所述样本特征图输入所述第一任务处理层，得到所述第一任务处理层对所述样本特征图进行如下处理后输出的任务处理结果：

按照各种预设对象类型对应的预设的特征变换系数，对所述样本特征图进行特征变换，得到变换后的各种预设对象类型对应的分类特征图；

针对每一对象类型，根据该对象类型对应的分类特征图中像素值大于预设阈值的像素点的位置，确定该对象类型的对象在所述样本点云数据中的对象中心点。

由以上可见，应用本发明实施例提供的方案训练模型时，第一任务处理层用于实现对象识别任务，第一任务处理层可以按照特征变换系数，对样本特征图进行特征变换，得到对象类型对应的分类特征图，并根据分类特征图中像素值大于预设预设的像素点的位置，确定样本点云数据中的对象中心点。在模型训练过程中，可以不断优化第一任务处理层中的模型参数，这样能够提高第一任务处理层对样本特征图进行特征变换以及确定样本点云数据的对象中心点的准确性。因此，通过本发明实施例提供的方案训练模型，能够提高利用训练后得到的模型实现对象识别任务的准确性。

本发明的一个实施例中，参见图7，提供了第二种模型训练装置的结构示意图，本实施例中在所述待训练模型包括用于实现对象速度预测任务的第二任务处理层的情况下，所述装置还包括：

速度预测模块606，用于将各个分类特征图输入所述第二任务处理层，得到所述第二任务处理层基于各个分类特征图预测的、所述样本点云数据对应的各个采集对象在所述样本点云数据采集时刻下的运动速度，作为所述第二任务处理层的任务处理结果。

由以上可见，应用本发明实施例提供的方案训练模型时，第二任务处理层用于实现对象速度预测任务。在模型训练过程中，可以不断优化第二任务处理层中的模型参数，这样能够提高第二任务处理层预测对象速度的准确性。因此，通过本发明实施例提供的方案训练模型，能够提高利用训练后得到的模型实现对象速度预测任务的准确性。

本发明的一个实施例中，在所述待训练模型包括用于实现对象分类任务的第三任务处理层的情况下，所述任务处理模块603，具体用于：

将所述样本特征图输入所述第三任务处理层，得到所述第三任务处理层对所述样本特征图进行如下处理后输出的任务处理结果：

针对每一有效点柱区域，将该有效点柱区域中每一数据点的信息和所述样本特征图中与该有效点柱区域对应的特征进行叠加，得到该有效点柱区域中各数据点的叠加信息；

针对每一数据点，对该数据点的叠加信息与预设转换矩阵进行矩阵点乘计算，得到计算结果，根据所述计算结果，在多个预设对象类型中确定该数据点对应的对象类型。

由以上可见，应用本发明实施例提供的方案训练模型时，第三任务处理层用于实现对象分类任务，在模型训练过程中，可以不断优化第三任务处理层中的模型参数，这样能够提高第三任务处理层获得各有效点柱区域内各数据点的叠加信息以及进行矩阵点乘计算的准确性。因此，通过本发明实施例提供的方案训练模型，能够提高利用训练后得到的模型实现对象分类任务的准确性。

本发明的一个实施例中，所述参数调整模块605，具体用于：

针对每一任务处理层，根据连续多个已完成的训练迭代过程中该任务处理层对应的训练损失，确定该任务处理层对应的训练损失的权重系数，并对计算得到的该任务处理层对应的训练损失进行加权计算；

按照加权后的各个任务处理层对应的训练损失，调整所述待训练模型的模型参数。

由以上可见，应用本发明实施例提供的方案训练模型时，连续多个已完成的训练迭代过程中的训练损失能够反映模型中各个任务处理层所实现任务的难易程度，因此，根据上述多个训练损失，能够准确确定任务处理层对应的训练损失的权重系数，这样按照加权后的训练损失调整待训练模型的模型参数，能够加快模型训练效率。

与上述点云数据处理方法相对应，本发明实施例还提供了一种点云数据处理装置。

本发明的一个实施例中，参见图8，提供了一种点云数据处理装置的结构示意图，所述装置包括：

目标获得模块801，用于获得待处理的目标点云数据；

点云处理模块802，用于将所述目标点云数据输入训练后的点云数据处理模型，得到所述点云数据处理模型中各任务处理层输出的任务处理结果，其中，所述点云数据处理模型为根据上述模型训练方法实施例提供的训练方案训练得到的，所述点云数据处理模型包括特征提取层和多个任务处理层，一个任务处理层用于基于所述特征提取层提取的特征实现对点云数据进行一种处理任务。

由以上可见，应用本发明实施例提供的方案处理点云数据时，点云数据处理模型中包括特征提取层和多个任务处理层，该点云数据处理模型经过训练后，模型中特征提取层可以学习到适用于各个任务处理层所实现任务的特征的特性，并且特征提取层还能够学习到单一任务下难以学习到多任务之间的特征关系，各个任务处理层能够学习到其所实现的任务的特性，这样将目标点云数据输入点云数据处理模型后，模型中各个网络层能够基于学习到的特性、特征关系，对目标点云数据进行准确处理，从而提高模型输出的任务处理结果的准确性。因此，应用本发明实施例提供的点云数据处理方案，不仅能够实现对点云数据进行多任务处理，而且能够提高多任务处理的准确性。

现有技术中，在对点云数据进行多种任务的处理时，通常针对每一种任务，采用针对该任务的特征提取方式提取点云数据的特征，基于提取的特征再进行该任务的后续处理，不同任务所使用的特征提取方法可能不同，而本方案中，各个任务处理层共享一个特征提取层提取出的特征，这样在进行多任务处理时，无需多次提取点云数据的特征，这样能够在保证对点云数据进行多任务处理，实现对空间复杂环境场景的解析和表征的情况下，还能够减小数据计算量和时间成本。

另外，上述点云数据处理模型中各个任务处理层为并列结构，各个任务处理层可以看做是相互独立的，因此，可以根据实际场景需求，增加或删减点云数据处理模型中包括的任务处理层，从而根据新的点云数据处理模型实现实际场景需求。由此可见，应用本发明实施例提供的点云数据处理方案，能够提高对点云数据进行多任务处理的可扩展性。

本发明实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，

存储器903，用于存放计算机程序；

处理器901，用于执行存储器903上所存放的程序时，实现如下步骤：

获得样本点云数据以及所述样本点云数据的多种任务标注信息；

将所述样本点云数据输入待训练模型中的特征提取层，得到所述样本点云数据的样本特征图，其中，所述待训练模型还包括：多个任务处理层；

将所述样本特征图分别输入各个任务处理层，得到各个任务处理层基于所述样本特征图进行任务处理的任务处理结果；

针对每一任务处理层，根据该任务处理层输出的任务处理结果以及该任务处理层所实现任务对应的任务标注信息，计算该任务处理层进行任务处理的训练损失；

按照各个任务处理层对应的训练损失，调整所述待训练模型的模型参数，实现对所述待训练模型的训练，得到点云数据处理模型。

上述处理器901执行存储器903上存放的程序而实现模型训练的其他方案，与前述模型训练方法实施例中提及的方案相同，这里不再赘述。

上述处理器901，用于执行存储器903上所存放的程序时，还可以实现如下步骤：

获得待处理的目标点云数据；

将所述目标点云数据输入训练后的点云数据处理模型，得到所述点云数据处理模型中各任务处理层输出的任务处理结果，其中，所述点云数据处理模型为根据前述模型训练方法实施例中所述的训练方法训练得到的，所述点云数据处理模型包括特征提取层和多个任务处理层，一个任务处理层用于基于所述特征提取层提取的特征实现对点云数据进行一种处理任务。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一模型训练或者点云数据处理方法的步骤。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一模型训练或者点云数据处理方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种模型训练方法，其特征在于，所述方法包括：

获得样本点云数据以及所述样本点云数据的多种任务标注信息；

将所述样本点云数据输入待训练模型中的特征提取层，得到所述样本点云数据的样本特征图，其中，所述待训练模型还包括：多个任务处理层；

将所述样本特征图分别输入各个任务处理层，得到各个任务处理层基于所述样本特征图进行任务处理的任务处理结果；

针对每一任务处理层，根据该任务处理层输出的任务处理结果以及该任务处理层所实现任务对应的任务标注信息，计算该任务处理层进行任务处理的训练损失；

按照各个任务处理层对应的训练损失，调整所述待训练模型的模型参数，实现对所述待训练模型的训练，得到点云数据处理模型。

2.根据权利要求1所述的方法，其特征在于，所述将所述样本点云数据输入待训练模型中的特征提取层，得到所述样本点云数据的样本特征图，包括：

将所述样本点云数据输入待训练模型中的特征提取层，得到所述特征提取层对所述样本点云数据进行以下处理后输出的样本特征图：

沿两个预设划分方向，对所述样本点云数据进行区域划分，得到所述样本点云数据中包括的多个点柱区域，其中，所述预设划分方向根据采集所述样本点云数据的激光雷达的参数确定；

在所得到的多个点柱区域中查找区域内数据点数量大于预设数量的有效点柱区域；

对各个有效点柱区域的点云数据进行特征提取，得到各个有效点柱区域对应的点云特征；

根据各个有效点柱区域在所述样本点云数据中的位置以及所对应的点云特征，得到伪图像，其中，所述伪图像的宽度维度、高度维度分别对应所述两个划分方向所在维度，所述伪图像的图像通道维度对应所述点云特征的深度维度，所述伪图像各像素点的像素值为：所述点云特征中与像素点位置对应的位置上的特征值；

对所述伪图像进行特征提取，得到伪图像的特征图，作为所述样本点云数据的样本特征图。

3.根据权利要求1或2所述的方法，其特征在于，所述待训练模型中包括以下任务处理层中至少两种：

用于实现对象识别任务的任务处理层、用于实现对象分类任务的任务处理层、用于实现对象速度预测任务的任务处理层、用于实现语义分割任务的任务处理层、用于实现车道线检测的任务处理层以及用于实现实例分割任务的任务处理层。

4.根据权利要求1或2所述的方法，其特征在于，在所述待训练模型包括用于实现对象识别任务的第一任务处理层的情况下，所述将所述样本特征图分别输入各个任务处理层，得到各个任务处理层基于所述样本特征图进行任务处理的任务处理结果，包括：

将所述样本特征图输入所述第一任务处理层，得到所述第一任务处理层对所述样本特征图进行如下处理后输出的任务处理结果：

按照各种预设对象类型对应的预设的特征变换系数，对所述样本特征图进行特征变换，得到变换后的各种预设对象类型对应的分类特征图；

针对每一对象类型，根据该对象类型对应的分类特征图中像素值大于预设阈值的像素点的位置，确定该对象类型的对象在所述样本点云数据中的对象中心点。

5.根据权利要求4所述的方法，其特征在于，在所述待训练模型包括用于实现对象速度预测任务的第二任务处理层的情况下，所述方法还包括：

将各个分类特征图输入所述第二任务处理层，得到所述第二任务处理层基于各个分类特征图预测的、所述样本点云数据对应的各个采集对象在所述样本点云数据采集时刻下的运动速度。

6.根据权利要求1或2所述的方法，其特征在于，在所述待训练模型包括用于实现对象分类任务的第三任务处理层的情况下，所述将所述样本特征图分别输入各个任务处理层，得到各个任务处理层基于所述样本特征图进行任务处理的任务处理结果，包括：

将所述样本特征图输入所述第三任务处理层，得到所述第三任务处理层对所述样本特征图进行如下处理后输出的任务处理结果：

针对每一有效点柱区域，将该有效点柱区域中每一数据点的信息和所述样本特征图中与该有效点柱区域对应的特征进行叠加，得到该有效点柱区域中各数据点的叠加信息；

针对每一数据点，对该数据点的叠加信息与预设转换矩阵进行矩阵点乘计算，得到计算结果，根据所述计算结果，在多个预设对象类型中确定该数据点对应的对象类型。

7.根据权利要求1或2所述的方法，其特征在于，所述按照各个任务处理层对应的训练损失，调整所述待训练模型的模型参数，包括：

针对每一任务处理层，根据连续多个已完成的训练迭代过程中该任务处理层对应的训练损失，确定该任务处理层对应的训练损失的权重系数，并对计算得到的该任务处理层对应的训练损失进行加权计算；

按照加权后的各个任务处理层对应的训练损失，调整所述待训练模型的模型参数。

8.一种点云数据处理方法，其特征在于，所述方法包括：

获得待处理的目标点云数据；

将所述目标点云数据输入训练后的点云数据处理模型，得到所述点云数据处理模型中各任务处理层输出的任务处理结果，其中，所述点云数据处理模型为根据所述权利要求1-7中任一项所述的训练方法训练得到的，所述点云数据处理模型包括特征提取层和多个任务处理层，一个任务处理层用于基于所述特征提取层提取的特征实现对点云数据进行一种处理任务。

9.一种模型训练装置，其特征在于，所述装置包括：

样本获得模块，用于获得样本点云数据以及所述样本点云数据的多种任务标注信息；

特征提取模块，用于将所述样本点云数据输入待训练模型中的特征提取层，得到所述样本点云数据的样本特征图，其中，所述待训练模型还包括：多个任务处理层；

任务处理模块，用于将所述样本特征图分别输入各个任务处理层，得到各个任务处理层基于所述样本特征图进行任务处理的任务处理结果；

损失计算模块，用于针对每一任务处理层，根据该任务处理层输出的任务处理结果以及该任务处理层所实现任务对应的任务标注信息，计算该任务处理层进行任务处理的训练损失；

参数调整模块，用于按照各个任务处理层对应的训练损失，调整所述待训练模型的模型参数，实现对所述待训练模型的训练，得到点云数据处理模型。

10.一种点云数据处理装置，其特征在于，所述装置包括：

目标获得模块，用于获得待处理的目标点云数据；

点云处理模块，用于将所述目标点云数据输入训练后的点云数据处理模型，得到所述点云数据处理模型中各任务处理层输出的任务处理结果，其中，所述点云数据处理模型为根据所述权利要求1-7中任一项所述的训练方法训练得到的，所述点云数据处理模型包括特征提取层和多个任务处理层，一个任务处理层用于基于所述特征提取层提取的特征实现对点云数据进行一种处理任务。

11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7或权利要求8所述的方法步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7或权利要求8所述的方法步骤。

Images