CN115984827A - 点云感知方法、计算机设备及计算机可读存储介质 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，具体提供一种点云感知方法、计算机设备及计算机可读存储介质，旨在解决快速且准确地进行点云感知的问题。为此目的，本发明提供的方法包括根据每个感知任务的任务需求获取多个分别来自不同点云数据源的异源点云集，根据每个感知任务的重要程度分别确定每个感知任务的训练模式；采用异源点云集并按照每个感知任务的训练模式对多任务感知模型进行每个感知任务的任务训练；采用训练好的多任务感知模型，对待感知点云进行感知。通过上述方式，只需要在车辆上部署一个任务感知模型就可以快速且准确地完成点云感知，显著降低了对车辆计算资源和功耗的需求，有效保证了车辆的安全行驶。

Description

点云感知方法、计算机设备及计算机可读存储介质

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种点云感知方法、计算机设备及计算机可读存储介质。

背景技术

在控制车辆自动驾驶过程中通常会采集车辆周围的点云并对点云进行感知（比如检测障碍物、预测车辆轨迹等），进而再根据感知结果进行轨迹规划，以保证车辆能够安全行驶。目前常规的点云感知方法主要是采用神经网络等技术分别为每种感知任务构建一个单任务模型，再通过不同的单任务模型执行不同的感知任务。然而，在车辆上部署并运行多个单任务模型会对车辆的计算资源和功耗带来较大压力，从而无法快速且准确地进行点云感知，影响车辆的安全行驶。

相应地，本领域需要一种新的技术方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何快速且准确地进行点云感知的技术问题的点云感知方法、计算机设备及计算机可读存储介质。

在第一方面，提供一种点云感知方法，所述方法包括：

根据每个感知任务的任务需求，获取多个分别来自不同点云数据源的异源点云集；

根据每个感知任务的重要程度，分别确定每个感知任务的训练模式，以保证每个感知任务的训练效果达到相应重要程度的设定要求；

采用所述异源点云集并按照每个感知任务的训练模式，对多任务感知模型进行每个感知任务的任务训练；

采用训练好的多任务感知模型，对待感知点云进行感知。

在上述点云感知方法的一个技术方案中，“采用所述异源点云集并按照每个感知任务的训练模式，对多任务感知模型进行每个感知任务的任务训练”的步骤具体包括通过下列方式加载异源点云集：

设置多个数据加载器，所述数据加载器与所述异源点云集一一对应；

控制每个数据加载器分别加载各自对应的异源点云集中的点云；

其中，每个加载到的点云分别携带各自所属异源点云集的编号。

在上述点云感知方法的一个技术方案中，“控制每个数据加载器分别加载各自对应的异源点云集中的点云”的步骤具体包括：

采用循环采样的方法，依次控制每个数据加载器分别对各自对应的异源点云集进行点云采样，并对采样得到的点云分配索引；

控制每个数据加载器，根据点云的索引分别加载各自对应的异源点云集中的点云。

在上述点云感知方法的一个技术方案中，“控制每个数据加载器分别加载各自对应的异源点云集中的点云”的步骤还包括：

分别设定每个异源点云集的随机加载概率；

根据每个异源点云集的随机加载概率，控制每个数据加载器分别随机加载各自对应的异源点云集中的点云。

在上述点云感知方法的一个技术方案中，“控制每个数据加载器分别加载各自对应的异源点云集中的点云”的步骤还包括：

在采用多进程模式加载异源点云集时，采用进程锁机制，控制每个进程依次执行“控制每个数据加载器分别加载各自对应的异源点云集中的点云”的步骤。

在上述点云感知方法的一个技术方案中，“根据每个感知任务的重要程度，分别确定每个感知任务的训练模式，以保证每个感知任务的训练效果达到相应重要程度的设定要求”的步骤具体包括：

若感知任务的重要程度是高重要程度，则训练模式为整体训练模式；

若感知任务的重要程度是低重要程度，则训练模式为局部训练模式。

在上述点云感知方法的一个技术方案中，所述多任务感知模型包括主干网络和多个感知头网络，所述感知头网络与所述感知任务一一对应，所述主干网络用于提取点云特征，所述感知头网络用于根据点云特征进行点云感知，以完成相应的感知任务；

“采用所述异源点云集并按照每个感知任务的训练模式，对多任务感知模型进行每个感知任务的任务训练”的步骤还包括：

获取采用局部训练模式的感知任务，将所述感知任务对应的第一感知头网络冻结，以在训练时不调整所述第一感知头网络的参数；

采用所述异源点云集，对冻结了所述第一感知头网络的多任务感知模型进行第一阶段任务训练；

获取采用整体训练模式的感知任务，将所述感知任务对应的第二感知头网络与所述主干网络冻结，以在训练时不调整所述第二感知头网络与所述主干网络；

采用所述异源点云集，对冻结了所述第二感知头网络与所述主干网络的多任务感知模型进行第二阶段任务训练。

在上述点云感知方法的一个技术方案中，“采用所述异源点云集并按照每个感知任务的训练模式，对多任务感知模型进行每个感知任务的任务训练”的步骤还包括通过下列方式控制每个感知任务的损失函数：

针对每次迭代训练，获取当前迭代训练所用点云的标签类型，并判断所述点云的标签类型与每个感知任务需要使用的标签类型是否匹配；

若所述点云的标签类型与当前感知任务需要使用的标签类型匹配，则在当前迭代训练中启动所述当前感知任务的损失函数，以更新损失函数的损失值进行反向传播；

若所述点云的标签类型与当前感知任务需要使用的标签类型不匹配，则在当前迭代训练中不启动所述当前感知任务的损失函数，以不更新损失函数的损失值进行反向传播。

在上述点云感知方法的一个技术方案中，“根据每个感知任务的任务需求，获取多个分别来自不同点云数据源的异源点云集”的步骤具体包括：

根据每个感知任务对点云标签标注方式的需求，获取多个采用不同标签标注方式进行标签标注的第一点云数据源；

分别从每个第一点云数据源中获取一个异源点云集。

在上述点云感知方法的一个技术方案中，“根据每个感知任务的任务需求，获取多个分别来自不同点云数据源的异源点云集”的步骤还包括：

根据每个感知任务对点云数据类型的需求，获取多个不同数据类型的第二点云数据源；

分别从每个第二点云数据源中获取一个异源点云集。

在第二方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述点云感知方法的技术方案中任一项技术方案所述的方法。

在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述点云感知方法的技术方案中任一项技术方案所述的方法。

本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本发明提供的点云感知方法的技术方案中，可以通过下列方式训练多任务感知模型，再采用训练好的多任务感知模型对待感知点云进行感知：根据每个感知任务的任务需求，获取多个分别来自不同点云数据源的异源点云集，根据每个感知任务的重要程度分别确定每个感知任务的训练模式，以保证每个感知任务的训练效果达到相应重要程度对应的设定要求，采用异源点云集并按照每个感知任务的训练模式对多任务感知模型进行每个感知任务的任务训练。

通过上述方式，可以利用满足不同感知任务需求的异源点云集，对多任务感知模型进行不同感知任务的任务训练，使得该任务感知模型具备多种不同的点云感知能力，比如同时具备车辆检测能力和车道线分割能力等。而根据感知任务的重要程度确定其训练模式进行任务训练，可以平衡多任务感知模型的训练效果和训练效率。基于此，只需要在车辆上部署一个任务感知模型就可以快速且准确地完成点云感知，显著降低了对车辆计算资源和功耗的需求，有效保证了车辆的安全行驶。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，其中：

图1是根据本发明的一个实施例的点云感知方法的主要步骤流程示意图；

图2是根据本发明的一个实施例的加载异源点云集的方法的主要步骤流程示意图；

图3是根据本发明的一个实施例的采用多进程模式加载异源点云集的过程示意图；

图4是根据本发明的一个实施例的对多任务感知模型进行两阶段训练的主要步骤流程示意图；

图5是根据本发明的一个实施例的对多任务感知模型进行损失函数控制的主要步骤流程示意图；

图6是根据本发明的一个实施例的计算机设备的主要结构示意图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。

下面对本发明提供的点云感知方法的实施例进行说明。

参阅附图1，图1是根据本发明的一个实施例的点云感知方法的主要步骤流程示意图。如图1所示，本发明实施例中的点云感知方法主要包括下列步骤S101至步骤S104。

步骤S101：根据每个感知任务的任务需求，获取多个分别来自不同点云数据源的异源点云集。

点云可以是利用雷达（比如激光雷达）采集到的数据。

点云数据源是一个点云的集合，不同的点云数据源包含不同类型的点云。点云数据源中的点云作为样本，用于对多任务感知模型进行感知任务的任务训练。

异源点云集同样是一个点云的集合，不同异源点云集包含的点云来源于不同的点云数据源。在一些实施方式中，感知任务与异源点云集可以是一一对应的，即根据感知任务的任务需求，获取到一个满足该需求的异源点云集。而在一些实施方式中，感知任务也可以与多个异源点云集对应，即根据感知任务的任务需求获取满足该需求的多个异源点云集。在进行感知任务训练时可以采用与其对应的所有异源点云集中的点云进行训练。

以自动驾驶为例，感知任务可以包括指对点云数据进行物体检测和语义分割等任务。进一步，对于物体检测而言，按照不同的任务需求，感知任务又可以划分成检测物体（比如车辆、障碍物、行人）的位置、尺寸、轨迹等任务；对于语义分割而言，按照不同的任务需求，感知任务又可以划分成车辆语义分割任务、道路语义分割任务、建筑物语义分割任务等等。

步骤S102：根据每个感知任务的重要程度，分别确定每个感知任务的训练模式，以保证每个感知任务的训练效果达到相应重要程度对应的设定要求。

具体地，可以预先设置好不同重要程度与不同训练模式之间的对应关系，在确定好感知任务的重要程度之后，根据该对应关系获取相应的训练模式。需要说明的是，本领域技术人员可以根据实际需求灵活地设定每个感知任务的重要程度。比如障碍物位置检测任务的重要程度为高重要程度，建筑物语义分割任务的重要程度为低重要程度。本发明实施例不对感知任务重要程度的划分方法进行具体限定。

对于高重要程度的感知任务而言，训练效果的设定要求也会比较高，比如模型的精度大于设定的阈值等。对于低重要程度的感知任务而言，训练效果的设定要求也会比较低，比如模型的精度小于等于设定的阈值等。

在设置不同重要程度与不同训练模式之间的对应关系时，可以获取多种机器学习技术领域中常规的训练模式，按照训练效果对这些训练模式进行划分，将训练效果能够满足高重要程度的训练模式（训练效果较高的模式）与高重要程度建立对应关系，将训练效果不能满足高重要程度但能够满足低重要程度的训练模式（训练效果较低的模式）与低重要程度建立对应关系。训练效果较高的模式所需要的训练时间通常比较长，训练效果较低的模式所需的训练时间通常不会很长，因此，通过上述方法设置上述对应关系，既可以保证每个感知任务的训练效果达到相应重要程度的设定要求，还可以尽可能地减小完成所有感知任务训练的总时间，即有效地平衡了多任务感知模型的训练效果和训练效率。

在一个优选实施方式中，可以采用机器学习技术领域中的整体训练模式（fromscratch）与局部训练模式（finetune），将整体训练模式与高重要程度建立对应关系，将局部训练模式与低重要程度建立对应关系。基于此，在确定训练模式时，若感知任务的重要程度是高重要程度，则将其训练模式设定成整体训练模式；若感知任务的重要程度是低重要程度，则将其训练模式设定成局部训练模式。

步骤S103：采用异源点云集并按照每个感知任务的训练模式，对多任务感知模型进行每个感知任务的任务训练。

训练好的多任务感知模型能够执行多种感知任务，即具备了多种不同的点云感知能力。比如，同时具备车辆、障碍物、行人的检测能力。在本发明实施例中可以采用机器学习技术领域中常规的模型训练方法对多任务感知模型进行感知任务训练，本发明实施例对此不进行具体限定。例如，将上述异源点云集输入至多任务感知模型，通过前向传播计算模型的损失值，根据损失值计算模型参数的参数梯度，根据参数梯度反向传播更新模型参数，直至多任务感知模型满足收敛条件后停止训练。

步骤S104：采用训练好的多任务感知模型，对待感知点云进行感知。

待感知点云可以是雷达采集到的一帧点云，在得到雷达采集的每帧点云之后，将每帧点云分别输入至多任务感知模型，多任务感知模型可以对每帧点云分别执行不同的感知任务，并输出感知结果。比如，同时输出每帧点云中是否包含目标的类别（比如车辆、障碍物、行人），也可以进一步输出目标的位置等信息。

基于上述步骤S101至步骤S104所述的方法，可以利用一个多任务感知模型同时对点云执行多种不同的感知任务，显著降低了对车辆计算资源和功耗的需求，能够快速且准确地得到各个感知任务的结果，有利于提高车辆自动驾驶的安全性。

下面分别对上述步骤S101和步骤S103作进一步说明。

一、对步骤S101进行说明。

对于不同的感知任务需求而言，其所需要的点云类型可能不同。在上述步骤S101的一些实施方式中，可以将对点云类型的需求进一步划分成对点云标签标注方式的需求和对点云数据类型的需求。下面分别对根据这两种需求获取异源点云集的方法进行说明。

（一）对点云标签标注方式的需求

根据前述实施例的描述可知，点云数据源中的点云作为样本，用于对多任务感知模型进行感知任务的任务训练。因此，点云数据源中的点云除了包含点云自身以外，还包含标签，即样本标签。比如，样本标签可以是在一帧点云上标注车辆的边界框。标签标注方式是指对点云进行标签标注的具体方法。比如，标签标注方式可以包括：标注目标的边界框、标注目标的轨迹、对一帧点云逐点标注等。

在本实施方式中可以根据每个感知任务对点云标签标注方式的需求，获取多个采用不同标签标注方式进行标签标注的第一点云数据源，然后分别从每个第一点云数据源中获取一个异源点云集。

（二）对点云数据类型的需求

点云数据类型包括但不限于：单帧点云，多单点云形成的时序点云等等。本领域技术人员可以根据实际需求灵活地设定点云数据类型的具体形式，本发明实施例对此不进行具体限定。

在本实施方式中可以根据每个感知任务对点云数据类型的需求，获取多个不同数据类型的第二点云数据源，然后分别从每个第二点云数据源中获取一个异源点云集。

在一些实施方式中，也可以同时从第一点云数据源和第二点云数据源中获取异源点云集。

二、对步骤S103进行说明。

下面结合附图2至附图5，分别对训练多任务感知模型时的异源点云集的加载方法、训练流程和损失函数的控制方法进行说明。

（一）异源点云集的加载方法

在机器学习技术领域中常规的数据加载方法主要是通过一个加载器进行加载，只能加载一个数据集的数据。而在本发明实施例中需要同时加载多个异源点云集的点云进行模型训练。对此，为了保证能够同时加载多个异源点云集，在上述步骤S103的一些实施方式中可以通过图2所示的下列步骤S201至步骤S202，来加载异源点云集。

步骤S201：设置多个数据加载器，数据加载器与异源点云集一一对应，即每个数据加载器分别用于加载各自对应的异源点云集。

步骤S202：控制每个数据加载器分别加载各自对应的异源点云集中的点云。每个加载到的点云分别携带各自所属异源点云集的编号。

基于上述步骤S201至步骤S202所述的方法，可以同时加载多个异源点云集，还可以避免在加载过程中发生混淆。此外，通过使加载到的点云分别携带各自所属异源点云集的编号，有利于在对多任务模型同时进行不同感知任务的任务训练时能够根据该编号准确地使用不同异源点云集中的点云进行相应的感知任务训练。

下面对上述步骤S202作进一步说明。

在加载一个集合中的点云时通常会先给每个点云分配索引，再根据索引加载各个点云。而在机器学习技术领域中常规的数据加载方法是先通过一个采样器对数据集中的数据进行采样并分配索引，再通过一个加载器根据每个数据的索引加载每个数据。在上述步骤S202的一些实施方式中，同样可以设置一个采样器，通过这个采样器对每个异源点云集进行点云采样，并对采样得到的点云分配索引，进而再控制每个数据加载器，根据点云的索引分别加载各自对应的异源点云集中的点云。

由于本发明实施例要同时加载多个异源点云集的点云进行模型训练，如果通过一个采样器对多个异源点云集进行点云采样与分配索引，会增加采样器的设计难度，进而可能会影响采样与分配索引的可靠性。

对此，在上述步骤S202的一些实施方式中，可以采用循环采样的方法，依次控制每个数据加载器分别对各自对应的异源点云集进行点云采样，并对采样得到的点云分配索引，然后再控制每个数据加载器，根据点云的索引分别加载各自对应的异源点云集中的点云。

需要说明的是，循环采样的方法为数据采样技术领域中的常规采样方法，本发明实施例不对循环采样的具体过程进行赘述。例如，在本发明实施例中可以设定一个时钟频率，按照该时钟频率依次控制每个数据加载器分别对各自对应的异源点云集进行点云采样并分配索引。

在上述步骤S202的一些实施方式中，还可以分别设定每个异源点云集的随机加载概率，再根据每个异源点云集的随机加载概率，控制每个数据加载器分别随机加载各自对应的异源点云集中的点云。通过这种方式，可以灵活地调节每个异源点云集的加载比例，即从每个异源点云集中加载的点云，占据从所有异源点云集中加载的点云总和的比例。

例如，根据前述实施例中步骤S101的描述可知，可以根据感知任务的任务需求获取满足该需求的多个异源点云集，在进行感知任务训练时要采用与其对应的所有异源点云集中的点云进行训练。对此，若采用上述实施方式加载点云，就可以根据每个异源点云集的重要程度，灵活地调节每个异源点云集的加载比例。对于高重要程度的异源点云集，可以增大随机概率，以提高加载比例；对于低重要程度的异源点云集，可以减小随机概率，以降低加载比例。

在上述步骤S202的一些实施方式中，为了提高点云加载的效率，可以采用多进程模式加载异源点云集。但是，由于本发明实施例要同时加载多个异源点云集的点云进行模型训练，如果多进程同时进行可能无法保证对同一个异源点云集进行点云采样的有序性。对此，在采用多进程模式加载异源点云集时，采用进程锁机制，控制每个进程依次执行步骤S202。

参阅附图3，图3示例性示出了采用多进程模式加载异源点云集的过程。其中，Mp_work0、Mp_work1和Mp_work3分别表示一个进程。在每个进程中，都设置有一个随机选择器和三个加载器。随机选择器可以用于设定每个异源点云集的随机加载概率，加载器即前述实施例中的数据加载器，每个加载器均可以根据每个异源点云集的随机加载概率，控制每个数据加载器分别随机加载各自对应的异源点云集中的点云。在加载异源点云集时，采用进程锁机制，依次控制Mp_work0、Mp_work1和Mp_work3执行上述过程。

下面对图3中的Transform模块进行简单说明。

Transform模块可以根据加载到的点云携带的异源点云集的编号，根据加载到的点云执行相应的transform pipeline。transform pipeline可以理解成是感知任务训练的实现过程。如图3所示，在生成数据队列、批量数据校对和获取批量数据之后，可以将批量数据输入多任务感知模型进行前向传播，通过损失函数计算损失值，根据损失值获取多任务感知模型的参数梯度，根据参数梯度反向传播更新模型的参数。其中，不同的感知任务具有不同的损失函数，即具有不同的反向传播。前向传播和一个反向传播就可以形成一个transform pipeline。

需要说明的是，图3是采用一个GPU（graphics processing unit）进行模型训练的示意图。当采用多个GPU进行模型训练时，对每个GPU都可以按照图3所示的模型训练方法进行配置。本发明实施例对此不进行赘述。

（二）多任务感知模型的训练流程

在一些实施方式中，多任务感知模型的模型结构可以划分成主干网络和感知头网络两部分。具体地，在本实施方式中，多任务感知模型可以包括主干网络和多个感知头网络，感知头网络与感知任务一一对应，主干网络用于提取点云特征，感知头网络用于根据点云特征进行点云感知，以完成相应的感知任务。例如，多任务感知模型包括一个主干网络、两个分别用于车辆检测和行人检测的感知头网络。

根据前述步骤S102的描述可知，感知任务的训练模式可以包括整体训练模式与局部训练模式。基于上述多任务感知模型的模型结构，在上述步骤S103的一些实施方式中，可以按照整体训练模式与局部训练模式，并通过图4所示的下列步骤S301至步骤S304，对多任务感知模型进行两阶段训练。

步骤S301：获取采用局部训练模式的感知任务，将感知任务对应的第一感知头网络冻结，以在训练时不调整第一感知头网络的参数。

步骤S302：采用异源点云集，对冻结了第一感知头网络的多任务感知模型进行第一阶段任务训练。也就是说，在第一阶段任务训练中，调整主干网络和除了第一感知头网络以外其他感知头网络的参数。

步骤S303：获取采用整体训练模式的感知任务，将感知任务对应的第二感知头网络与主干网络冻结，以在训练时不调整第二感知头网络与主干网络。

需要说明的是，此步骤是对完成了第一阶段任务训练的多任务感知模型，进行第二感知头网络与主干网络冻结。

步骤S304：采用异源点云集，对冻结了第二感知头网络与主干网络的多任务感知模型进行第二阶段任务训练。也就是说，在第二阶段任务训练中，调整第一感知头网络的参数。

以车辆检测和行人检测两个感知任务为例对上述过程进行说明。其中，车辆检测的训练模式是整体训练模式，行人检测的训练模式是局部训练模式。在第一阶段任务训练中，冻结行人检测的第一感知头网络，对主干网络和车辆检测的第二感知头网络进行参数调整；在第一阶段任务训练中，冻结主干网络和车辆检测的第二感知头网络，对行人检测的第一感知头网络进行参数调整。

基于上述步骤S301至步骤S304所述的方法，可以实现对不同感知任务的整体训练和局部训练，有效地平衡了多任务感知模型的训练效果和训练效率。

（三）损失函数的控制方法

再次参阅附图3，在对多任务感知模型进行训练时会依次使用多个批量数据进行迭代训练，每次迭代训练所使用的批量数据（一个batch）可能无法包含每个感知任务所需要的标签。比如，在对多任务感知模型进行车辆检测和行人检测两个感知任务的训练时，某次迭代训练所使用的批量数据仅包含车辆的标签（比如在一帧点云上车辆的边界框）。此时，将无法利用上述批量数据计算行人检测的损失函数的损失值进行反向传播，从而无法在本次迭代训练中完成行人检测学习。

对此，在本发明实施例中可以通过稀疏损失函数的方式，异步地更新每个感知任务损失函数的损失值进行反向传播。具体而言，可以通过图5所示的下列步骤S401至步骤S403，来控制每个感知任务的损失函数。

步骤S401：针对每次迭代训练，获取当前迭代训练所用点云的标签类型，并判断点云的标签类型与每个感知任务需要使用的标签类型是否匹配。在一些实施方式中，若点云的标签类型与感知任务需要使用的标签类型相同，则可以判定二者是匹配的，否则二者不匹配。

针对每个感知任务，若点云的标签类型与当前感知任务需要使用的标签类型匹配，则转至步骤S402；否则，转至步骤S403。例如，若点云的标签类型是车辆检测类标签，感知任务需要使用的标签类型也是车辆检测类标签，那么二者就是匹配的；若感知任务需要使用的标签类型也是行人检测类标签，那么二者就是不匹配的。

步骤S402：在当前迭代训练中启动当前感知任务的损失函数，以更新损失函数的损失值进行反向传播，

步骤S403：在当前迭代训练中不启动当前感知任务的损失函数，以不更新损失函数的损失值进行反向传播。

基于上述步骤S401至步骤S403所述的方法，可以避免在迭代训练时，由于迭代训练所使用的批量数据不包含某些感知任务所需要的标签，导致无法对这些感知任务进行训练，即发生无效学习的情况。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些调整之后的方案与本发明中描述的技术方案属于等同技术方案，因此也将落入本发明的保护范围之内。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种计算机设备。

参阅附图6，图6是根据本发明的一个计算机设备实施例的主要结构示意图。如图6所示，本发明实施例中的计算机设备主要包括存储装置和处理器，存储装置可以被配置成存储执行上述方法实施例的点云感知方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的点云感知方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。

在本发明实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，计算机设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的点云感知方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的点云感知方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的点云感知方法，即每个处理器分别执行上述方法实施例的点云感知方法的不同步骤，来共同实现上述方法实施例的点云感知方法。

上述多个处理器可以是部署于同一个设备上的处理器，例如上述计算机设备可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述计算机设备可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。

进一步，本发明还提供了一种计算机可读存储介质。

在根据本发明的一个计算机可读存储介质的实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的点云感知方法的程序，该程序可以由处理器加载并运行以实现上述点云感知方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (12)

1.一种点云感知方法，其特征在于，所述方法包括：

根据每个感知任务的任务需求，获取多个分别来自不同点云数据源的异源点云集；

根据每个感知任务的重要程度，分别确定每个感知任务的训练模式，以保证每个感知任务的训练效果达到相应重要程度的设定要求；

采用所述异源点云集并按照每个感知任务的训练模式，对多任务感知模型进行每个感知任务的任务训练；

采用训练好的多任务感知模型，对待感知点云进行感知。

2.根据权利要求1所述的点云感知方法，其特征在于，“采用所述异源点云集并按照每个感知任务的训练模式，对多任务感知模型进行每个感知任务的任务训练”的步骤具体包括通过下列方式加载异源点云集：

设置多个数据加载器，所述数据加载器与所述异源点云集一一对应；

控制每个数据加载器分别加载各自对应的异源点云集中的点云；

其中，每个加载到的点云分别携带各自所属异源点云集的编号。

3.根据权利要求2所述的点云感知方法，其特征在于，“控制每个数据加载器分别加载各自对应的异源点云集中的点云”的步骤具体包括：

采用循环采样的方法，依次控制每个数据加载器分别对各自对应的异源点云集进行点云采样，并对采样得到的点云分配索引；

控制每个数据加载器，根据点云的索引分别加载各自对应的异源点云集中的点云。

4.根据权利要求2所述的点云感知方法，其特征在于，“控制每个数据加载器分别加载各自对应的异源点云集中的点云”的步骤还包括：

分别设定每个异源点云集的随机加载概率；

根据每个异源点云集的随机加载概率，控制每个数据加载器分别随机加载各自对应的异源点云集中的点云。

5.根据权利要求2所述的点云感知方法，其特征在于，“控制每个数据加载器分别加载各自对应的异源点云集中的点云”的步骤还包括：

在采用多进程模式加载异源点云集时，采用进程锁机制，控制每个进程依次执行“控制每个数据加载器分别加载各自对应的异源点云集中的点云”的步骤。

6.根据权利要求1所述的点云感知方法，其特征在于，“根据每个感知任务的重要程度，分别确定每个感知任务的训练模式，以保证每个感知任务的训练效果达到相应重要程度的设定要求”的步骤具体包括：

若感知任务的重要程度是高重要程度，则训练模式为整体训练模式；

若感知任务的重要程度是低重要程度，则训练模式为局部训练模式。

7.根据权利要求6所述的点云感知方法，其特征在于，

所述多任务感知模型包括主干网络和多个感知头网络，所述感知头网络与所述感知任务一一对应，所述主干网络用于提取点云特征，所述感知头网络用于根据点云特征进行点云感知，以完成相应的感知任务；

“采用所述异源点云集并按照每个感知任务的训练模式，对多任务感知模型进行每个感知任务的任务训练”的步骤还包括：

获取采用局部训练模式的感知任务，将所述感知任务对应的第一感知头网络冻结，以在训练时不调整所述第一感知头网络的参数；

采用所述异源点云集，对冻结了所述第一感知头网络的多任务感知模型进行第一阶段任务训练；

获取采用整体训练模式的感知任务，将所述感知任务对应的第二感知头网络与所述主干网络冻结，以在训练时不调整所述第二感知头网络与所述主干网络；

采用所述异源点云集，对冻结了所述第二感知头网络与所述主干网络的多任务感知模型进行第二阶段任务训练。

8.根据权利要求1所述的点云感知方法，其特征在于，“采用所述异源点云集并按照每个感知任务的训练模式，对多任务感知模型进行每个感知任务的任务训练”的步骤还包括通过下列方式控制每个感知任务的损失函数：

针对每次迭代训练，获取当前迭代训练所用点云的标签类型，并判断所述点云的标签类型与每个感知任务需要使用的标签类型是否匹配；

若所述点云的标签类型与当前感知任务需要使用的标签类型匹配，则在当前迭代训练中启动所述当前感知任务的损失函数，以更新损失函数的损失值进行反向传播；

若所述点云的标签类型与当前感知任务需要使用的标签类型不匹配，则在当前迭代训练中不启动所述当前感知任务的损失函数，以不更新损失函数的损失值进行反向传播。

9.根据权利要求1所述的点云感知方法，其特征在于，“根据每个感知任务的任务需求，获取多个分别来自不同点云数据源的异源点云集”的步骤具体包括：

根据每个感知任务对点云标签标注方式的需求，获取多个采用不同标签标注方式进行标签标注的第一点云数据源；

分别从每个第一点云数据源中获取一个异源点云集。

10.根据权利要求1所述的点云感知方法，其特征在于，“根据每个感知任务的任务需求，获取多个分别来自不同点云数据源的异源点云集”的步骤还包括：

根据每个感知任务对点云数据类型的需求，获取多个不同数据类型的第二点云数据源；

分别从每个第二点云数据源中获取一个异源点云集。

11.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至10中任一项所述的点云感知方法。

12.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至10中任一项所述的点云感知方法。

Images