CN115984801A - 点云目标检测方法、计算机设备、存储介质及车辆 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，具体提供一种点云目标检测方法、计算机设备、存储介质及车辆，旨在解决提高目标检测容错能力的问题。为此目的，本发明提供的点云目标检测方法包括：获取点云训练数据，将点云训练数据中的一部分作为噪声候选数据并将另外一部分作为常规训练数据；对噪声候选数据加入噪声，以形成噪声训练数据；采用常规训练数据与噪声训练数据，对预设模型进行点云目标检测训练，以获取点云目标检测模型；采用点云目标检测模型，对点云帧进行目标检测。通过在点云训练数据中加入噪声，可以提高目标检测容错能力，保证了目标检测的可靠性与准确性。

Description

点云目标检测方法、计算机设备、存储介质及车辆

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种点云目标检测方法、计算机设备、存储介质及车辆。

背景技术

在对车辆进行自动驾驶控制时通常会利用雷达采集车辆周围的点云，对点云进行目标检测，以确定车辆周围是否存在其他车辆和行人等。

目前常规的点云目标检测方法主要是先训练得到一个点云目标检测模型，然后利用这个点云目标检测模型对雷达采集的点云帧进行目标检测。但是，在利用点云目标检测模型进行目标检测的过程中，各种硬件（比如雷达）和相关软件算法可能会发生不稳定运行，这会导致目标检测模型输出的检测结果也不稳定，从而无法准确且可靠地完成目标检测。

相应地，本领域需要一种新的技术方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决提高目标检测的容错能力的技术问题的点云目标检测方法、计算机设备、存储介质及车辆。

在第一方面，提供一种点云目标检测方法，包括：

获取点云训练数据，将所述点云训练数据中的一部分作为噪声候选数据并将另外一部分作为常规训练数据；

对所述噪声候选数据加入噪声，以形成噪声训练数据；

采用所述常规训练数据与所述噪声训练数据，对预设模型进行点云目标检测训练，以获取点云目标检测模型；

采用所述点云目标检测模型，对点云帧进行目标检测。

在上述点云目标检测方法的一个技术方案中，“对所述噪声候选数据加入噪声，以形成噪声训练数据”的步骤具体包括：

获取所述噪声候选数据在三维空间的姿态和位置；

分别对所述姿态和/或所述位置加入噪声，以形成所述噪声训练数据。

在上述点云目标检测方法的一个技术方案中，“分别对所述姿态和/或所述位置加入噪声，以形成所述噪声训练数据”的步骤具体包括通过下列方式对所述姿态加入噪声：

根据所述噪声候选数据的姿态，分别获取所述噪声候选数据围绕三维空间中每个维度坐标轴进行旋转的角度；

在所述噪声候选数据围绕三维空间中每个维度坐标轴进行旋转的角度上，分别随机增加一个噪声角度。

在上述点云目标检测方法的一个技术方案中，“在所述噪声候选数据围绕三维空间中每个维度坐标轴进行旋转的角度上，分别随机增加一个噪声角度”的步骤具体包括：

分别获取每个维度坐标轴对应的噪声角度范围；

从每个维度坐标轴对应的噪声角度范围内，分别随机选取一个噪声角度，增加至所述噪声候选数据围绕每个维度坐标轴进行旋转的角度上。

在上述点云目标检测方法的一个技术方案中，“分别对所述姿态和/或所述位置加入噪声，以形成所述噪声训练数据”的步骤具体包括通过下列方式对所述位置加入噪声：

根据所述噪声候选数据的位置，分别获取所述噪声候选数据在三维空间中每个维度坐标轴上的坐标；

分别对所述噪声候选数据在三维空间中每个维度坐标轴上的坐标，随机增加一个噪声距离。

在上述点云目标检测方法的一个技术方案中，“分别对所述噪声候选数据在三维空间中每个维度坐标轴上的坐标，随机增加一个噪声距离”的步骤具体包括：

分别获取每个维度坐标轴对应的噪声距离范围；

从每个维度坐标轴对应的噪声距离度范围内，分别随机选取一个噪声距离，增加至所述噪声候选数据在每个维度坐标轴上的坐标。

在上述点云目标检测方法的一个技术方案中，“采用所述点云目标检测模型，对点云帧进行目标检测”的步骤具体包括：

采用所述点云目标检测模型中的三维稀疏卷积网络，对所述点云帧进行特征提取；

采用所述点云目标检测模型中的俯视图卷积网络，对所述三维稀疏卷积网络提取到的特征再次进行特征提取；

采用所述点云目标检测模型中的目标检测头网络，对所述俯视图卷积网络提取到的特征进行目标检测。

在第二方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述点云目标检测方法的技术方案中任一项技术方案所述的点云目标检测方法。

在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述点云目标检测方法的技术方案中任一项技术方案所述的点云目标检测方法。

在第四方面，提供一种车辆，该车辆包括上述计算机设备的技术方案所述的计算机设备。

本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本发明提供的点云目标检测方法的技术方案中，可以将点云训练数据中的一部分作为噪声候选数据并将另外一部分作为常规训练数据，对噪声候选数据加入噪声以形成噪声训练数据，采用常规训练数据与噪声训练数据，对预设模型进行点云目标检测训练，以获取点云目标检测模型。最后，采用点云目标检测模型对点云帧进行目标检测。通过在点云训练数据中加入噪声，可以提高点云目标检测模型的容错能力，即使硬件（比如雷达）和相关软件算法发生不稳定运行的情况，点云目标检测模型输出的检测结果也可以保持稳定，保证了目标检测的可靠性与准确性。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：

图1是根据本发明的一个实施例的点云目标检测方法的主要步骤流程示意图；

图2是根据本发明的一个实施例的对噪声候选数据加入噪声，形成噪声训练数据的方法的主要步骤流程示意图；

图3是根据本发明的一个实施例的采用点云目标检测模型对点云帧进行目标检测的方法的主要步骤流程示意图；

图4是根据本发明的一个实施例的计算机设备的主要结构示意图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。

下面对本发明提供的点云目标检测方法的实施例进行说明。

参阅附图1，图1是根据本发明的一个实施例的点云目标检测方法的主要步骤流程示意图。如图1所示，本发明实施例中的点云目标检测方法主要包括下列步骤S101至步骤S104。

步骤S101：获取点云训练数据，将点云训练数据中的一部分作为噪声候选数据并将另外一部分作为常规训练数据。

点云训练数据是用于对预设模型进行点云目标检测训练，使得该预设模型具备点云目标检测能力的点云数据。

点云训练数据可以是利用雷达（比如激光雷达）采集到的点云数据，在点云数据中可以提前标注好目标检测框的位置以及目标检测框所表示目标的类别，形成数据标签。在对预设模型进行点云目标检测训练时可以根据点云数据及其标签信息对预设模型进行训练。

以车辆和弱势道路使用者（Vulnerable Road User，VRU）检测为例，可以在点云数据中提前标注好每个目标检测框的位置，以及每个目标检测框的类别是车辆还是VRU。在标注好上述信息形成数据标签之后，可以采用点云数据及其数据标签对预设模型进行车辆和VRU的检测训练，使得预设模型具备车辆和VRU的检测能力。

在本发明实施例中可以从点云训练数据中随机抽取预设比例的数据作为噪声候选数据，将剩余的数据作为常规训练数据。本领域技术人员可以根据实际需求灵活地设定预设比例的具体数值，本发明实施例对此不进行具体限定。

步骤S102：对噪声候选数据加入噪声，以形成噪声训练数据。

具体地，可以在噪声候选数据中加入一些随机噪声，将加入了随机噪声的数据作为噪声训练数据。

步骤S103：采用常规训练数据与噪声训练数据，对预设模型进行点云目标检测训练，以获取点云目标检测模型。

在本发明实施例中可以采用机器学习技术领域中常规的模型训练方法对预设模型进行点云目标检测训练，本发明实施例对此不进行具体限定。例如，将上述常规训练数据与噪声训练数据输入至预设模型，通过前向传播计算模型的损失值，根据损失值计算模型参数的参数梯度，根据参数梯度反向传播更新模型参数，直至预设模型满足收敛条件后停止训练，将训练完成的模型作为点云目标检测模型。

以车辆和VRU检测为例，通过上述方法可以训练得到能够对点云数据分别进行车辆和VRU检测的点云目标检测模型。

步骤S104：采用点云目标检测模型，对点云帧进行目标检测。

点云帧可以是雷达采集到的一帧点云数据，在得到雷达采集的每帧点云数据之后，将每帧点云数据分别输入至点云目标检测模型，点云目标检测模型可以对每帧点云数据分别进行目标检测，并输出每帧点云数据中是否包含目标（比如车辆），也可以进一步输出目标的位置等信息。

基于上述步骤S101至步骤S104所述的方法，可以在点云目标检测模型的训练阶段，通过在点云训练数据中加入噪声的方式，提高点云目标检测模型的容错能力，这样在采用点云目标检测模型对点云帧进行目标检测时，无论硬件（比如雷达）和相关软件算法是否发生不稳定运行的情况，都可以得到准确和可靠地的目标检测结果。在将上述方法应用于车辆自动驾驶时，能够有效地保证车辆自动驾驶的稳定性与安全性。

下面分别对上述步骤S102和步骤S104作进一步说明。

一、对上述步骤S102进行说明。

点云训练数据可以是利用雷达（比如激光雷达）向环境进行扫描得到的每个环境反射点的点云数据，该点云数据可以包括环境反射点在三维坐标系（比如雷达坐标系）中的位置和/或姿态，也可以包括激光反射强度（Intensity）。由于目标的位姿对检测结果的影响比较大，因此，在对噪声候选数据加入噪声时可以对噪声候选数据的位姿加入一些噪声，提高对点云数据位姿的容错能力。

具体而言，在上述步骤S102的一些实施方式中，可以通过图2所示的步骤S1021至步骤S1022，对噪声候选数据加入噪声。

步骤S1021：获取噪声候选数据在三维空间的姿态和位置。

三维空间可以是点云数据采集装置（比如激光雷达）的装置坐标系形成的三维空间（比如激光雷达坐标系形成的三维空间），也可以是在将装置坐标系转换至其他三维坐标系（比如车体坐标系）后，由该其他三维坐标系形成的三维空间。

步骤S1022：分别对姿态和/或位置加入噪声，以形成噪声训练数据。具体地，可以在姿态和/或位置中分别加入一些随机噪声，将加入了随机噪声的数据作为噪声训练数据。

基于上述步骤S1021至步骤S1022所述的方法，对噪声候选数据加入噪声，可以提高在目标检测时对点云数据位姿的容错能力，保证目标检测的准确性和可靠性。

下面分别对上述步骤S1021和步骤S1022进行说明。

（一）对步骤S1021进行说明。

下面分别对姿态和位置的噪声加入方法进行说明。

1、姿态的噪声加入方法

为了进一步提高在目标检测时对点云数据位姿的容错能力，可以通过下列步骤11至步骤12，对噪声候选数据的姿态加入噪声。

步骤11：根据噪声候选数据的姿态，分别获取噪声候选数据围绕三维空间中每个维度坐标轴进行旋转的角度。

以车体坐标系形成的三维空间为例，可以分别获取噪声候选数据在车体坐标系的X轴、Y轴和Z轴进行旋转的角度，即Pitch角、Yaw角和Roll角。

步骤12：在噪声候选数据围绕三维空间中每个维度坐标轴进行旋转的角度上，分别随机增加一个噪声角度。

在一些实施方式中，可以分别获取每个维度坐标轴对应的噪声角度范围，然后从每个维度坐标轴对应的噪声角度范围内，分别随机选取一个噪声角度，增加至噪声候选数据围绕每个维度坐标轴进行旋转的角度上。每个维度坐标轴对应的噪声角度范围可以相同，也可以不同，本领域技术人员可以根据实际需求灵活地设定各个维度坐标轴对应的噪声角度范围的具体数值，本实施方式对此不进行具体限定。此外，在本实施方式中可以采用数据处理技术领域中常规的随机选取方法，从噪声角度范围中随机选取一个噪声角度，本实施方式对此也不进行具体限定。

基于上述步骤11至步骤12所述的方法，可以对每个方向的姿态都加入一些噪声，这样对于每个方向的姿态都具备容错能力，进一步提高了在目标检测时对点云数据姿态的容错能力。

2、位置的噪声加入方法

为了进一步提高在目标检测时对点云数据位置的容错能力，可以通过下列步骤21至步骤22，对噪声候选数据的姿态加入噪声。

步骤21：根据噪声候选数据的位置，分别获取噪声候选数据在三维空间中每个维度坐标轴上的坐标。

以车体坐标系形成的三维空间为例，可以分别获取噪声候选数据在车体坐标系的X轴、Y轴和Z轴的坐标。

步骤22：分别对噪声候选数据在三维空间中每个维度坐标轴上的坐标，随机增加一个噪声距离。

以车体坐标系形成的三维空间为例，可以在车体坐标系的X轴、Y轴和Z轴的坐标上分别随机增加一个噪声距离dx、dy和dz。

在一些实施方式中，可以分别获取每个维度坐标轴对应的噪声距离范围，然后从每个维度坐标轴对应的噪声距离度范围内，分别随机选取一个噪声距离，增加至噪声候选数据在每个维度坐标轴上的坐标。每个维度坐标轴对应的噪声距离范围可以相同，也可以不同，本领域技术人员可以根据实际需求灵活地设定各个维度坐标轴对应的噪声距离范围的具体数值，本实施方式对此不进行具体限定。此外，在本实施方式中可以采用数据处理技术领域中常规的随机选取方法，从噪声距离范围中随机选取一个噪声距离，本实施方式对此也不进行具体限定。

基于上述步骤21至步骤22所述的方法，可以对每个方向的位置都加入一些噪声，这样对于每个方向的位置都具备容错能力，进一步提高了在目标检测时对点云数据位置的容错能力。

二、对上述步骤S104进行说明。

在本发明实施例中点云目标检测模型可以包括特征提取网络和目标检测头网络，特征提取网络可以用于提取点云帧的特征，目标检测头网络可以用于对点云帧的特征进行目标检测。具体地，特征提取网络可以包括三维稀疏卷积网络和俯视图卷积网络，三维稀疏卷积网络可以用于提取点云帧的三维特征并将该三维特征输入至俯视图卷积网络，俯视图卷积网络可以用于对输入的三维特征再次进行特征提取，得到点云帧的二维特征并将该二维特征输入至目标检测头网络，目标检测头网络可以对该二维特征进行目标检测。在一些实施方式中，可以对不同类型的目标设定不同的目标检测头网络，每个目标检测头网络分别用于检测不同类型的目标。以车辆和VRU为例，可以设置两个目标检测头网络，一个用于检测车辆，另一个用于检测VRU。

基于上述点云目标检测模型的模型结构，在上述步骤S104的一些实施方式中，可以通过图3所示的下列步骤S1041至步骤S1043，对点云帧进行目标检测。

步骤S1041：采用点云目标检测模型中的三维稀疏卷积网络，对点云帧进行特征提取。

步骤S1042：采用点云目标检测模型中的俯视图卷积网络，对三维稀疏卷积网络提取到的特征再次进行特征提取。

步骤S1043：采用点云目标检测模型中的目标检测头网络，对俯视图卷积网络提取到的特征进行目标检测。

基于上述步骤S1041至步骤S1043所述的方法，可以从三维和二维不同的角度获取点云帧的特征，通过三维的角度提取特征可以获取目标的形状信息，通过二维的角度提取特征可以提高目标检测的效率并准确获取目标的位置等信息，利用包含上述信息的特征进行目标检测，能够显著提高目标检测的准确性与效率。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，调整之后的方案与本发明中描述的技术方案属于等同技术方案，因此也将落入本发明的保护范围之内。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种计算机设备。

参阅附图4，图4是根据本发明的一个计算机设备实施例的主要结构示意图。如图4所示，本发明实施例中的计算机设备主要包括存储装置和处理器，存储装置可以被配置成存储执行上述方法实施例的点云目标检测方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的点云目标检测方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。

在本发明实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，计算机设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的点云目标检测方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的点云目标检测方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的点云目标检测方法，即每个处理器分别执行上述方法实施例的点云目标检测方法的不同步骤，来共同实现上述方法实施例的点云目标检测方法。

上述多个处理器可以是部署于同一个设备上的处理器，例如上述计算机设备可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器。

进一步，本发明还提供了一种计算机可读存储介质。

在根据本发明的一个计算机可读存储介质的实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的点云目标检测方法的程序，该程序可以由处理器加载并运行以实现上述点云目标检测方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，本发明还提供了一种车辆。

在根据本发明的一个车辆的实施例中，车辆可以包括上述计算机设备实施例所述的计算机设备。在本实施例中车辆可以是自动驾驶车辆、无人车等车辆。此外，按照动力源类型划分，本实施例中车辆可以是燃油车、电动车、电能与燃油混合的混动车或使用其他新能源的车辆等。

至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种点云目标检测方法，其特征在于，所述方法包括：

获取点云训练数据，将所述点云训练数据中的一部分作为噪声候选数据并将另外一部分作为常规训练数据；

对所述噪声候选数据加入噪声，以形成噪声训练数据；

采用所述常规训练数据与所述噪声训练数据，对预设模型进行点云目标检测训练，以获取点云目标检测模型；

采用所述点云目标检测模型，对点云帧进行目标检测。

2.根据权利要求1所述的点云目标检测方法，其特征在于，“对所述噪声候选数据加入噪声，以形成噪声训练数据”的步骤具体包括：

获取所述噪声候选数据在三维空间的姿态和位置；

分别对所述姿态和/或所述位置加入噪声，以形成所述噪声训练数据。

3.根据权利要求2所述的点云目标检测方法，其特征在于，“分别对所述姿态和/或所述位置加入噪声，以形成所述噪声训练数据”的步骤具体包括通过下列方式对所述姿态加入噪声：

根据所述噪声候选数据的姿态，分别获取所述噪声候选数据围绕三维空间中每个维度坐标轴进行旋转的角度；

在所述噪声候选数据围绕三维空间中每个维度坐标轴进行旋转的角度上，分别随机增加一个噪声角度。

4.根据权利要求3所述的点云目标检测方法，其特征在于，“在所述噪声候选数据围绕三维空间中每个维度坐标轴进行旋转的角度上，分别随机增加一个噪声角度”的步骤具体包括：

分别获取每个维度坐标轴对应的噪声角度范围；

从每个维度坐标轴对应的噪声角度范围内，分别随机选取一个噪声角度，增加至所述噪声候选数据围绕每个维度坐标轴进行旋转的角度上。

5.根据权利要求2所述的点云目标检测方法，其特征在于，“分别对所述姿态和/或所述位置加入噪声，以形成所述噪声训练数据”的步骤具体包括通过下列方式对所述位置加入噪声：

根据所述噪声候选数据的位置，分别获取所述噪声候选数据在三维空间中每个维度坐标轴上的坐标；

分别对所述噪声候选数据在三维空间中每个维度坐标轴上的坐标，随机增加一个噪声距离。

6.根据权利要求5所述的点云目标检测方法，其特征在于，“分别对所述噪声候选数据在三维空间中每个维度坐标轴上的坐标，随机增加一个噪声距离”的步骤具体包括：

分别获取每个维度坐标轴对应的噪声距离范围；

从每个维度坐标轴对应的噪声距离度范围内，分别随机选取一个噪声距离，增加至所述噪声候选数据在每个维度坐标轴上的坐标。

7.根据权利要求1所述的点云目标检测方法，其特征在于，“采用所述点云目标检测模型，对点云帧进行目标检测”的步骤具体包括：

采用所述点云目标检测模型中的三维稀疏卷积网络，对所述点云帧进行特征提取；

采用所述点云目标检测模型中的俯视图卷积网络，对所述三维稀疏卷积网络提取到的特征再次进行特征提取；

采用所述点云目标检测模型中的目标检测头网络，对所述俯视图卷积网络提取到的特征进行目标检测。

8.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的点云目标检测方法。

9.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的点云目标检测方法。

10.一种车辆，其特征在于，所述车辆包括权利要求8所述的计算机设备。

Images