CN116168384A - 点云目标检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种点云目标检测方法、装置、电子设备及存储介质，其中方法包括：通过雷达、相机采集三维点云数据、二维图像；通过3D稀疏点特征提取模块、3D稀疏体素特征提取模块对三维点云数据提取3D点级特征、3D体素特征；通过2D特征提取模块提取初始透视图的2D透视特征；通过2D特征提取模块对归一化图像数据提取2D像素特征；通过多模态特征融合模块将3D点级特征、3D体素特征、2D透视特征、2D像素特征进行融合，得到最终融合特征；通过预测模块对最终融合特征进行计算，得到障碍物目标的三维信息。这样，深度融合多种特征，最终由丰富的融合特征来预测场景中障碍物目标的3D边界检测框，达到更鲁棒的检测效果。

Description

点云目标检测方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种点云目标检测方法、装置、电子设备及存储介质。

背景技术

现有点云目标检测方案包括基于原始点处理的点云目标检测方案、基于网格体素化处理的点云目标检测方案、基于二维视图的点云目标检测方案，这些常见方案是将点云数据按某种特定形态进行处理，容易造成点云特征的表征不充分。此外，也有基于单模态处理的点云与2D图像融合方案，此类方案在融合图像和点云的过程中，特征融合效果比较差，无法从根本上增加特征的丰富性来挖掘点云与图像的真实数据特征。

发明内容

为了解决上述技术问题，本发明实施例提供了一种点云目标检测方法、装置、电子设备及存储介质。

第一方面，本发明实施例提供了一种点云目标检测方法，包括：

通过雷达采集三维点云数据，通过相机采集二维图像，获取所述三维点云数据与所述二维图像的映射关系；

通过3D稀疏点特征提取模块对所述三维点云数据提取3D点级特征；

通过3D稀疏体素特征提取模块对所述三维点云数据提取3D体素特征；

对所述三维点云数据按照雷达视角进行透视投影，得到初始透视图，通过2D特征提取模块提取所述初始透视图的2D透视特征；

对所述二维图像进行归一化处理，得到归一化图像数据，通过所述2D特征提取模块对所述归一化图像数据提取2D像素特征；

通过多模态特征融合模块根据所述映射关系将所述3D点级特征、所述3D体素特征、所述2D透视特征、所述2D像素特征进行融合，得到最终融合特征；

通过预测模块对所述最终融合特征进行计算，得到障碍物目标的三维信息。

根据本公开的一种具体实施方式，所述获取所述三维点云数据与所述二维图像的映射关系的步骤，包括：

根据所述雷达和所述相机之间的标定参数确定所述二维图像的像素点与三维点云数据的三维点之间的映射关系。

根据本公开的一种具体实施方式，所述通过3D稀疏点特征提取模块对所述三维点云数据提取3D点级特征的步骤，包括：

通过所述3D稀疏点特征提取模块对所述三维点云数据进行定点降采样处理，得到固定数量的稀疏点云，作为表征当前场景的有效三维点云数据；

通过点云降采样、点云分组、特征提取和特征聚合得到稀疏点云的特征作为所述场景的有效三维点云数据的3D点级特征。

根据本公开的一种具体实施方式，所述通过3D稀疏体素特征提取模块对所述三维点云数据提取3D体素特征的步骤，包括：

从所述三维点云数据中提取感兴趣区域点云；

对所述感兴趣区域点云进行体素划分处理，得到有效的三维稀疏体素点云，所述有效的三维稀疏体素点云的属性包含初始特征和空间的三维索引坐标位置，所述初始特征为每个三维体素中所有点的三个坐标值和反射率值的平均值；

通过所述3D稀疏体素特征提取模块对所述有效的三维稀疏体素点云提取3D体素特征。

根据本公开的一种具体实施方式，所述通过所述3D稀疏体素特征提取模块对所述有效的三维稀疏体素点云提取3D体素特征的步骤，包括：

确定所述有效的三维稀疏体素点云的各三维点的三维坐标信息均值，并确定所述有效的三维稀疏体素点云的各三维点的反射率均值，将所述三维坐标信息均值和所述反射率均值作为所述有效的三维稀疏体素点云的初始化3D体素特征，将所述初始化3D体素特征输入所述3D稀疏体素特征提取模块；

通过所述3D稀疏体素特征提取模块根据所述有效的三维稀疏体素点云的三维坐标信息确定特征输出坐标信息，根据所述有效的三维稀疏体素点云的三维坐标信息和所述特征输出坐标信息对所述初始化体素特征进行卷积运算，得到所述3D体素特征。

根据本公开的一种具体实施方式，所述对所述三维点云数据按照雷达视角进行透视投影，得到初始透视图的步骤，包括：

计算所述三维点云数据的各三维点与雷达之间的欧式距离、俯仰角度；

根据各三维点对应的欧式距离、俯仰角度、所在线束和三维坐标信息将各三维点映射至预设2D透视图上，得到所述初始透视图。

根据本公开的一种具体实施方式，所述通过多模态特征融合模块根据所述映射关系将所述3D点级特征、所述3D体素特征、所述2D透视特征、所述2D像素特征进行融合，得到最终融合特征的步骤，包括：

将所述3D体素特征按不同分辨率查找每个有效体素中心位置附近的关键3D点，将所述3D体素特征与所述关键3D点的3D点级特征进行聚合，得到第一聚合特征，通过所述多模态特征融合模块对所述第一聚合特征进行特征融合，得到第一融合特征，将所述第一融合特征作为所述关键3D点的修正特征；

根据所述映射关系计算所述关键3D点分别在所述初始透视图和所述二维图像中的第一映射位置和第二映射位置；

根据所述第一映射位置和所述第二映射位置确定所述关键3D点对应的2D透视特征和2D像素特征；

将所述关键3D点对应的修正特征、2D透视特征和2D像素特征进行聚合，得到第二聚合特征，通过所述多模态特征融合模块的特征经神经网络层对所述第二聚合特征进行特征融合，得到关键3D点的最终融合特征。

第二方面，本发明实施例提供了点云目标检测装置，包括：

获取模块，用于通过雷达采集三维点云数据，通过相机采集二维图像，获取所述三维点云数据与所述二维图像的映射关系；

第一提取模块，用于通过3D稀疏点特征提取模块对所述三维点云数据提取3D点级特征；

第二提取模块，用于通过3D稀疏体素特征提取模块对所述三维点云数据提取3D体素特征；

第三提取模块，用于对所述三维点云数据按照雷达视角进行透视投影，得到初始透视图，通过2D特征提取模块提取所述初始透视图的2D透视特征；

第四提取模块，用于对所述二维图像进行归一化处理，得到归一化图像数据，通过所述2D特征提取模块对所述归一化图像数据提取2D像素特征；

处理模块，用于通过多模态特征融合模块根据所述映射关系将所述3D点级特征、所述3D体素特征、所述2D透视特征、所述2D像素特征进行融合，得到最终融合特征；

预测模块，用于通过预测模块对所述最终融合特征进行计算，得到障碍物目标的三维信息。

第三方面，本发明实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行第一方面所提供的点云目标检测方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面所提供的点云目标检测方法。

上述本申请提供的点云目标检测方法、装置、电子设备及存储介质，通过雷达采集三维点云数据，通过相机采集二维图像，获取所述三维点云数据与所述二维图像的映射关系；通过3D稀疏点特征提取模块对所述三维点云数据提取3D点级特征；通过3D稀疏体素特征提取模块对所述三维点云数据提取3D体素特征；对所述三维点云数据按照雷达视角进行透视投影，得到初始透视图，通过2D特征提取模块提取所述初始透视图的2D透视特征；对所述二维图像进行归一化处理，得到归一化图像数据，通过所述2D特征提取模块对所述归一化图像数据提取2D像素特征；通过多模态特征融合模块根据所述映射关系将所述3D点级特征、所述3D体素特征、所述2D透视特征、所述2D像素特征进行融合，得到最终融合特征；通过预测模块对所述最终融合特征进行计算，得到障碍物目标的三维信息。这样，现有目标检测方案中针对点云特征挖掘不充分问题，充分利用点云多模态与图像两种不同表述特征，深度融合3D点级特征、3D体素特征、2D透视特征和2D像素特征，最终由丰富的融合特征来预测场景中障碍物目标的3D边界检测框，提高障碍物目标的检测准确度，达到更鲁棒的检测效果。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本申请实施例提供的点云目标检测方法的一流程示意图；

图2示出了本申请实施例提供的多模态特征融合模型的一结构示意图；

图3示出了本申请实施例提供的点云目标检测装置的一结构示意图。

图标：201-三维点云数据；202-标定参数；203-二维图像；204-3D稀疏点特征提取模块；205-三维体素点云；206-初始透视图；207-归一化处理；208-3D稀疏体素特征提取模块；209-2D特征提取模块；210-多模态特征融合模块；211-模型预测头；212-最终预测结果；300-点云目标检测装置；301-获取模块；302-第一提取模块；303-第二提取模块；304-第三提取模块；305-第四提取模块；306-处理模块；307-预测模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

现有点云目标检测方案包括以下几种：第一种是基于原始点处理的点云目标检测方案，直接在原始点云上进行处理，先对点云进行定点采样，基于一定点数的点云场景，通过分层降采样与分组、上采样与插值等聚合特征的方式进行特征的提取，得到每个点的语义特征，以此完成点云场景中前后背景分割，产生目标检测框。该方案一定程度上保留了原始点云的特征，但对点云总体数量、分组半径、采样比例和插值点数参数比较敏感，无法通过神经网络直接确定这些参数对检测的影响，受限于采集点云局部特征。

第二种是基于网格体素化处理的点云目标检测方案，将原始点云划分为若干个三维网格，计算每个三维网格内的点云的坐标与反射率均值，并将其作为当前网格的初始化特征，然后由3D稀疏卷积主干(backbone)网络提取三维3D体素特征，并基于提取的三维3D体素特征进行聚合，最终完成点云场景的目标检测。该方案一定程度上丢弃了原始点的信息，且三维网格尺寸的大小比较影响网络的检测性能，单纯基于体素化特征会在局部区域处特征不够鲁棒。

第三种是基于二维视图的点云目标检测方案，直接将3D激光雷达按照特定映射规则投影至2D平面，如投影至鸟瞰图或透视图，用基于2D图像的检测方案提取点云视图的特征，此类方法总会丢失某一维度的特征信息，对于3D目标检测十分不友好。

上述几种常见方案是将点云数据按某种特定形态进行处理，容易造成点云特征的表征不充分。此外，也有基于单模态处理的点云与2D图像融合方案，此类方案在融合图像和点云的过程中，特征融合效果比较差，无法从根本上增加特征的丰富性来挖掘点云与图像的真实数据特征。为解决上述问题，本实施例提供了一种点云目标检测方法、装置、电子设备及存储介质，下面进行说明。

实施例1

本公开实施例提供一种点云目标检测方法。

具体的，参见图1，该点云目标检测方法包括以下步骤：

步骤S101，通过雷达采集三维点云数据，通过相机采集二维图像，获取所述三维点云数据与所述二维图像的映射关系。

在本实施例中，该电影目标检测方法可以应用与配置有雷达和相机的电子设备，电子设备可以安装在智能车辆、机器人等智能设备上，辅助智能设备进行障碍物检测。具体的，雷达可以为激光雷达，相机可以为数码相机。

在本实施例中，三维点云数据的点云属性有三维坐标信息和反射率，三维点云数据可以用N×4表示，N表示三维点的数量，4表示通道数，4个通道分别为三维坐标xyz和反射率(intensity)对应的值。所述雷达和所述相机之间的标定参数可以用4×4的刚体旋转矩阵表示，所述雷达和所述相机之间的标定参数为雷达坐标系到二维图像坐标系的转换矩阵。二维图像的图像属性有像素点的RGB三通道值，二维图像可以用H×W×3，H和W表示图像的长和宽，3表示RGB三通道。

在本实施例中，对三维点云数据可以采用以下步骤S102、步骤S103和步骤S104的处理方式。需要说明的是，步骤S102、步骤S103和步骤S104可以按照图1所示的顺序执行，也可以按照其他先后顺序执行，还可以同时执行，图1所示的先后顺序仅用作示例说明，不构成对步骤S102、步骤S103和步骤S104的执行顺序的限定。

在一实施方式中，步骤S101中的获取所述三维点云数据与所述二维图像的映射关系的步骤，包括：

根据所述雷达和所述相机之间的标定参数确定所述二维图像的像素点与三维点云数据的三维点之间的映射关系。

步骤S102，通过3D稀疏点特征提取模块对所述三维点云数据提取3D点级特征。

在本实施例中，3D稀疏点(sparsepoint)特征提取模块对雷达采集的原始的三维点云数据提取3D点级特征，可以将3D点级特征作为每个场景的三维点云数据的三维点的语义特征。

在一实施方式中，步骤S102包括：

通过所述3D稀疏点特征提取模块对所述三维点云数据进行定点降采样处理，得到固定数量的稀疏点云，作为表征当前场景的有效三维点云数据；

通过点云降采样、点云分组、特征提取和特征聚合得到稀疏点云的特征作为所述场景的有效三维点云数据的3D点级特征。

请参阅图2，雷达采集三维点云数据201、相机采集的二维图像203，并确定雷达和所述相机之间的标定参数202。三维点云数据201进行3个方面的处理，下面对三维点云数据201的第一方面处理过程进行说明。三维点云数据201的第一方面处理包括：将三维点云数据201进行定点降采样，在定点降采样过程中，保留三维点云数据201中的感兴趣区域内较远区域稀疏的点，丢弃较近密集区域部分点，方便接下来的3D稀疏点(sparse point)特征提取模块采样计算特征。

举例来说，比如感兴趣区域为前后80m，左右50m，稀疏点(3Dsparse point)特征提取模块先进行定点降采样，丢弃较近区域前后40m和左右30m区域内的部分点，保留较远区域前后40m左右20m区域内的所有点，将整体点云降采样至固定点数，若感兴趣区域内有30000个点，则实际可选择保留20000个点即可作为所述场景的有效三维点云数据。将这些有效三维点云依次做点云降采样来降低点云的分辨率，求不同分辨率下的降采样点云的3D语义特征。首先将这些有效三维点进行降采样，降采样后的点云中每个点分别作为球形分组的核心点，取每个点周围一定半径内的其他点作为一个分组，通过设计的神经网络层提取每个分组的点云特征，并通过聚合操作将一定数量的分组点特征聚集到每个球形分组的核心点上，作为降采样后每个三维点的3D点级特征。这里根据点云的分辨率可设定不同的降采样点数，如10000、5000、2500、1250等，根据每次的降采样点数设定不同的球形分组半径，如5cm、10cm、20cm、30cm等，每次降采样可设定不同的聚合点数，如16、32等，计算不同分辨率下的3D点级特征。

步骤S103，通过3D稀疏体素特征提取模块对所述三维点云数据提取3D体素特征。

在本实施例中，对感兴趣区域内三维点云进行网格划分预处理，由于三维点云场景中存在大部分空白区域，因此预处理的结果仅保存网格里有实际点的三维体素点云，即有效三维体素，每个体素点云对应空间中一个三维网格。由3D稀疏体素(sparsevoxel)特征提取模块对三维体素点云提取3D体素特征，作为每个三维体素点云的局部特征，同时作为点的局部区域特征。

在一实施方式中，步骤S103包括：

从所述三维点云数据中提取感兴趣区域点云；

对所述感兴趣区域点云进行体素划分处理，得到有效的三维稀疏体素点云，所述有效的三维稀疏体素点云的属性包含初始特征和空间的三维索引坐标位置，所述初始特征为每个三维体素中所有点的三个坐标值和反射率值的平均值；

通过所述3D稀疏体素特征提取模块对所述有效的三维稀疏体素点云提取3D体素特征。

在一实施方式中，所述通过所述3D稀疏体素特征提取模块对所述有效的三维稀疏体素点云提取3D体素特征的步骤，包括：

确定所述有效的三维稀疏体素点云的各三维点的三维坐标信息均值，并确定所述有效的三维稀疏体素点云的各三维点的反射率均值，将所述三维坐标信息均值和所述反射率均值作为所述有效的三维稀疏体素点云的初始化3D体素特征，将所述初始化3D体素特征输入所述3D稀疏体素特征提取模块；

通过所述3D稀疏体素特征提取模块根据所述有效的三维稀疏体素点云的三维坐标信息确定特征输出坐标信息，根据所述有效的三维稀疏体素点云的三维坐标信息和所述特征输出坐标信息对所述初始化体素特征进行卷积运算，得到所述3D体素特征。

需要说明的是，所述有效的三维稀疏体素点云的坐标位置是指网格的三维坐标索引，比如点云数据范围为x:0-40m，y:0-40m，z:0-2m，网格大小设置为(0.1m，0.1m，0.1m)，那么会划分为400*400*20个体素，体素内存在点的称为有效体素，有效体素的特征就是将内部的点xyz实际坐标和反射率进行相加求均值，有效体素的坐标位置由三维空间的索引表示，比如(0.05，0.05，0.05)这个点的所在体素的坐标位置就是(0，0，0)。

请再次参阅图2，下面结合图2对三维点云数据201的第二方面处理进行说明。三维点云数据201的第二方面处理包括：对三维点云数据201进行三维网格体素化，设定三维网格的固定尺寸，将感兴趣内的三维点云划分为H0×W0×L0个体素，其中，H0、W0、L0分别表示体素的长宽高，H0×W0×L0表示划分的体素数量，即获得多个三维体素点云205。对每个体素内的三维点求其4个通道的均值作为该体素的初始化3D体素特征，初始化3D体素特征表示为M×4，M表示有效体素数量，4表示体素的初始化特征通道数，对应的坐标位置为M×3，M表示有效体素数量，3表示体素的整形坐标通道。将3D体素特征和体素坐标输入3D稀疏体素(sparse voxel)特征提取模块208中，根据有效体素所在位置的坐标计算可能输出的特征坐标位置，根据有效输入体素的三维坐标位置、卷积核的尺寸、卷积核的步长和其他属性信息，计算其对应的有效输出体素特征的三维坐标位置，根据坐标映射对特征进行卷积运算，最终生成3D体素特征，3D体素特征表示为N×C1，其中，N表示输出有效个数，C1表示输出通道数，设定不同大小的步长，计算多尺度下的点云3D体素特征。C1是输出特征，一般设置为256、128，可以根据经验设置。

步骤S104，对所述三维点云数据按照雷达视角进行透视投影，得到初始透视图，通过2D特征提取模块提取所述初始透视图的2D透视特征。

在本实施例中，对雷达采集的原始的三维点云数据按雷达视角进行透视投影，得到初始透视图，初始透视图的初始特征为点的距离、角度和线束信息，基于2D特征提取模块提取初始透视图的点云特征，作为雷达视角下三维点云数据的局部结构化特征。

在一实施方式中，步骤S104中对所述三维点云数据按照雷达视角进行透视投影，得到初始透视图的步骤，包括：

计算所述三维点云数据的各三维点与雷达之间的欧式距离、俯仰角度；

根据各三维点对应的欧式距离、俯仰角度、所在线束和三维坐标信息将各三维点映射至预设2D透视图上，得到所述初始透视图。

请再次参阅图2，下面结合图2对三维点云数据201的第三方面处理过程进行说明。三维点云数据201的第三方面处理包括：计算三维点云数据的每个三维点距离雷达的欧式距离，计算三维点云数据的每个三维点与雷达之间的俯仰角度，根据其所在线束、俯仰角度、欧式距离和三维坐标将点云映射至固定尺寸大小的预设2D透视图上，生成初始透视图206，初始透视图表示为H1×W1×5，H1和W1分别表示图像的长宽，5表示特征的通道数_，每个通道依次表示雷达观测距离、x坐标、y坐标、z坐标、雷达观测俯仰角度。2D特征提取模块209对初始透视图206进行深度特征提取，得到点云的2D透视特征，2D透视特征表示为H1×W1×C2，其中，H1和W1表示图像长宽，C2表示输出特征通道_，一般可以设置为512或256。

步骤S105，对所述二维图像进行归一化处理，得到归一化图像数据，通过所述2D特征提取模块对所述归一化图像数据提取2D像素特征。

在本实施例中，二维图像先进行归一化处理，由2D特征提取模块提取像素级特征作为二维图像特征，前述的语义特征、局部区域特征、局部结构化特征、二维图像特征这四种特征共同反映了当前场景下的三维点云数据的语义信息。

请再次参阅图2，下面结合图2对二维图像的归一化处理进行说明。具体的，统计二维图像203的像素点均值和缩放因子，归一化处理207具体包括：将二维图像203的像素点的像素值减去像素点均值得到差值，将差值除以缩放因子得到商值，归一化图像数据的图像尺寸为H2×W2×3，其中，H2和W2分别表示图像的长宽，3表示RGB通道数。2D特征提取模块209对归一化图像数据进行深度特征提取，得到归一化图像数据的2D像素特征，2D像素特征的尺寸为H2×W2×C3，其中，H2和W2分别表示图像长宽，C3表示输出特征通道数，一般可以设置为512或256。

步骤S106，通过多模态特征融合模块根据所述映射关系将所述3D点级特征、所述3D体素特征、所述2D透视特征、所述2D像素特征进行融合，得到最终融合特征。

在本实施例中，多模态特征融合模块接收3D点级特征、3D体素特征、2D透视特征、2D像素特征，这些特征可以在不同尺度下进行融合处理，融合原则是通过相机与雷达的标定参数，确定像素点与点云的映射关系，先将3D体素特征则与原始的三维点云数据的三维点进行分组匹配，融合3D体素特征至原始的三维点云数据中相匹配的三维点上，然后实现3D点级特征、2D透视特征与2D像素特征的融合，得到最终融合特征，将融合特征图作为三维点云数据的精细化特征。

在一实施方式中，步骤S106包括：

将所述3D体素特征按不同分辨率查找每个有效体素中心位置附近的关键3D点，将所述3D体素特征与所述关键3D点的3D点级特征进行聚合，得到第一聚合特征，通过所述多模态特征融合模块对所述第一聚合特征进行特征融合，得到第一融合特征，将所述第一融合特征作为所述关键3D点的修正特征；

根据所述映射关系计算所述关键3D点分别在所述初始透视图和所述二维图像中的第一映射位置和第二映射位置；

根据所述第一映射位置和所述第二映射位置确定所述关键3D点对应的2D透视特征和2D像素特征；

将所述关键3D点对应的修正特征、2D透视特征和2D像素特征进行聚合，得到第二聚合特征，通过所述多模态特征融合模块的特征经神经网络层对所述第二聚合特征进行特征融合，得到关键3D点的最终融合特征。

请再次参阅图2，下面结合图2对多模态特征融合模块210的处理流程进行说明。具体的，多模态特征融合模块210分别从3D稀疏点特征提取模块204、3D稀疏体素特征提取模块208、2D特征提取模块209接收3D点级特征、3D体素特征、2D透视特征、2D像素特征，多模态特征融合模块210先将3D体素特征按不同分辨率查找每个有效体素中心位置附近的关键3D点，将3D体素特征与关键3D点的3D点级特征进行聚合，得到第一聚合特征，多模态特征融合模块210的神经网络层对第一聚合特征进行特征融合，得到第一融合特征，将第一融合特征作为关键3D点的局部特征。

此外，计算关键3D点分别在初始透视图和二维图像中的第一映射位置和第二映射位置，根据第一映射位置和第二映射位置确定所述关键3D点对应的2D透视特征和2D像素特征，将关键3D点的局部特征、2D透视特征和2D像素特征聚合，得到第二聚合特征，通过多模态特征融合模块210的神经网络层对第二聚合特征进行融合处理，得到关键3D点的最终融合特征，关键3D点的最终融合特征表示为K×C4大小的特征图，K表示有效关键3D点数量，C4表示融合特征通道数。需要补充说明的是，在本实施例中，对数据进行聚合可以理解为简单的连接(concatenate)操作，特征融合指通过conv/bn/relu层进行特征的深度融合，是两个不同的处理过程。

步骤S107，通过预测模块对所述最终融合特征进行计算，得到障碍物目标的三维信息。

在一实施方式中，多模态特征融合模块将融合特征输出至预测模块，预测模块预测障碍物的三维信息，最终网络输出检测到的障碍物目标的三维信息。

请再次参阅图2，下面结合图2对预测模块的处理流程进行说明。具体的，预测模块包括模型预测头211，模型预测头211主要是对障碍物目标的信息进行预测，模型预测头211包括类别预测、3D边界框信息的预测、朝向预测，对预测结果和预设的先验框(anchor)进行后处理计算，最终通过非极大值抑制(Non-MaximumSuppression，NMS)操作获取最终预测结果212，最终预测结果212包括障碍物目标的三维信息。

本实施例公开的目标检测方法，通过雷达采集三维点云数据，通过相机采集二维图像，获取所述三维点云数据与所述二维图像的映射关系；通过3D稀疏点特征提取模块对所述三维点云数据提取3D点级特征；通过3D稀疏体素特征提取模块对所述三维点云数据提取3D体素特征；对所述三维点云数据按照雷达视角进行透视投影，得到初始透视图，通过2D特征提取模块提取所述初始透视图的2D透视特征；对所述二维图像进行归一化处理，得到归一化图像数据，通过所述2D特征提取模块对所述归一化图像数据提取2D像素特征；通过多模态特征融合模块根据所述映射关系将所述3D点级特征、所述3D体素特征、所述2D透视特征、所述2D像素特征进行融合，得到最终融合特征；通过预测模块对所述最终融合特征进行计算，得到障碍物目标的三维信息。这样，现有目标检测方案中针对点云特征挖掘不充分问题，充分利用点云多模态与图像两种不同表述特征，深度融合3D点级特征、3D体素特征、2D透视特征和2D像素特征，最终由丰富的融合特征来预测场景中障碍物目标的3D边界检测框，提高障碍物目标的检测准确度，达到更鲁棒的检测效果。

实施例2

本公开实施例还提供了一种点云目标检测装置。

具体的，请参阅图3，点云目标检测装置300包括：

获取模块301，用于通过雷达采集三维点云数据，通过相机采集二维图像，获取所述三维点云数据与所述二维图像的映射关系；

第一提取模块302，用于通过3D稀疏点特征提取模块对所述三维点云数据提取3D点级特征；

第二提取模块303，用于通过3D稀疏体素特征提取模块对所述三维点云数据提取3D体素特征；

第三提取模块304，用于对所述三维点云数据按照雷达视角进行透视投影，得到初始透视图，通过2D特征提取模块提取所述初始透视图的2D透视特征；

第四提取模块305，用于对所述二维图像进行归一化处理，得到归一化图像数据，通过所述2D特征提取模块对所述归一化图像数据提取2D像素特征；

处理模块306，用于通过多模态特征融合模块根据所述映射关系将所述3D点级特征、所述3D体素特征、所述2D透视特征、所述2D像素特征进行融合，得到最终融合特征；

预测模块307，用于通过预测模块对所述最终融合特征进行计算，得到障碍物目标的三维信息。

在一实施方式中，获取模块301，还用于根据所述雷达和所述相机之间的标定参数确定所述二维图像的像素点与三维点云数据的三维点之间的映射关系。

在一实施方式中，第一提取模块302，还用于通过所述3D稀疏点特征提取模块对所述三维点云数据进行定点降采样处理，得到固定数量的稀疏点云，作为表征当前场景的有效三维点云数据；

通过点云降采样、点云分组、特征提取和特征聚合得到稀疏点云的特征作为所述场景的有效三维点云数据的3D点级特征。

在一实施方式中，第二提取模块303，还用于从所述三维点云数据中提取感兴趣区域点云；

对所述感兴趣区域点云进行体素划分处理，得到有效的三维稀疏体素点云，所述有效的三维稀疏体素点云的属性包含初始特征和空间的三维索引坐标位置，所述初始特征为每个三维体素中所有点的三个坐标值和反射率值的平均值；

通过所述3D稀疏体素特征提取模块对所述有效的三维稀疏体素点云提取3D体素特征。

在一实施方式中，第二提取模块303，还用于确定所述有效的三维稀疏体素点云的各三维点的三维坐标信息均值，并确定所述有效的三维稀疏体素点云的各三维点的反射率均值，将所述三维坐标信息均值和所述反射率均值作为所述有效的三维稀疏体素点云的初始化3D体素特征，将所述初始化3D体素特征输入所述3D稀疏体素特征提取模块；

通过所述3D稀疏体素特征提取模块根据所述有效的三维稀疏体素点云的三维坐标信息确定特征输出坐标信息，根据所述有效的三维稀疏体素点云的三维坐标信息和所述特征输出坐标信息对所述初始化体素特征进行卷积运算，得到所述3D体素特征。

在一实施方式中，第三提取模块304，还用于计算所述三维点云数据的各三维点与雷达之间的欧式距离、俯仰角度；

根据各三维点对应的欧式距离、俯仰角度、所在线束和三维坐标信息将各三维点映射至预设2D透视图上，得到所述初始透视图。

在一实施方式中，第四提取模块305，用于将所述3D体素特征按不同分辨率查找每个有效体素中心位置附近的关键3D点，将所述3D体素特征与所述关键3D点的3D点级特征进行聚合，得到第一聚合特征，通过所述多模态特征融合模块对所述第一聚合特征进行特征融合，得到第一融合特征，将所述第一融合特征作为所述关键3D点的修正特征；

根据所述映射关系计算所述关键3D点分别在所述初始透视图和所述二维图像中的第一映射位置和第二映射位置；

根据所述第一映射位置和所述第二映射位置确定所述关键3D点对应的2D透视特征和2D像素特征；

将所述关键3D点对应的修正特征、2D透视特征和2D像素特征进行聚合，得到第二聚合特征，通过所述多模态特征融合模块的特征经神经网络层对所述第二聚合特征进行特征融合，得到关键3D点的最终融合特征。

本实施例提供的点云目标检测装置，通过雷达采集三维点云数据，通过相机采集二维图像，获取所述三维点云数据与所述二维图像的映射关系；通过3D稀疏点特征提取模块对所述三维点云数据提取3D点级特征；通过3D稀疏体素特征提取模块对所述三维点云数据提取3D体素特征；对所述三维点云数据按照雷达视角进行透视投影，得到初始透视图，通过2D特征提取模块提取所述初始透视图的2D透视特征；对所述二维图像进行归一化处理，得到归一化图像数据，通过所述2D特征提取模块对所述归一化图像数据提取2D像素特征；通过多模态特征融合模块根据所述映射关系将所述3D点级特征、所述3D体素特征、所述2D透视特征、所述2D像素特征进行融合，得到最终融合特征；通过预测模块对所述最终融合特征进行计算，得到障碍物目标的三维信息。这样，现有目标检测方案中针对点云特征挖掘不充分问题，充分利用点云多模态与图像两种不同表述特征，深度融合3D点级特征、3D体素特征、2D透视特征和2D像素特征，最终由丰富的融合特征来预测场景中障碍物目标的3D边界检测框，提高障碍物目标的检测准确度，达到更鲁棒的检测效果。

实施例3

本公开实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行实施例1所提供的点云目标检测方法。

本公开实施例还提供的电子设备可以实现实施例1所提供的点云目标检测方法的步骤，为避免重复，在此不做赘述。

实施例4

本公开实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行实施例1所提供的点云目标检测方法。

本公开实施例还提供的计算机可读存储介质可以实现实施例1所提供的点云目标检测方法的步骤，为避免重复，在此不做赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种点云目标检测方法，其特征在于，包括：

通过雷达采集三维点云数据，通过相机采集二维图像，获取所述三维点云数据与所述二维图像的映射关系；

通过3D稀疏点特征提取模块对所述三维点云数据提取3D点级特征；

通过3D稀疏体素特征提取模块对所述三维点云数据提取3D体素特征；

对所述三维点云数据按照雷达视角进行透视投影，得到初始透视图，通过2D特征提取模块提取所述初始透视图的2D透视特征；

对所述二维图像进行归一化处理，得到归一化图像数据，通过所述2D特征提取模块对所述归一化图像数据提取2D像素特征；

通过多模态特征融合模块根据所述映射关系将所述3D点级特征、所述3D体素特征、所述2D透视特征、所述2D像素特征进行融合，得到最终融合特征；

通过预测模块对所述最终融合特征进行计算，得到障碍物目标的三维信息。

2.根据权利要求1所述的方法，其特征在于，所述获取所述三维点云数据与所述二维图像的映射关系的步骤，包括：

根据所述雷达和所述相机之间的标定参数确定所述二维图像的像素点与三维点云数据的三维点之间的映射关系。

3.根据权利要求1所述的方法，其特征在于，所述通过3D稀疏点特征提取模块对所述三维点云数据提取3D点级特征的步骤，包括：

通过所述3D稀疏点特征提取模块对所述三维点云数据进行定点降采样处理，得到固定数量的稀疏点云，作为表征当前场景的有效三维点云数据；

通过点云降采样、点云分组、特征提取和特征聚合得到稀疏点云的特征作为所述场景的有效三维点云数据的3D点级特征。

4.根据权利要求1所述的方法，其特征在于，所述通过3D稀疏体素特征提取模块对所述三维点云数据提取3D体素特征的步骤，包括：

从所述三维点云数据中提取感兴趣区域点云；

对所述感兴趣区域点云进行体素划分处理，得到有效的三维稀疏体素点云，所述有效的三维稀疏体素点云的属性包含初始特征和空间的三维索引坐标位置，所述初始特征为每个三维体素中所有点的三个坐标值和反射率值的平均值；

通过所述3D稀疏体素特征提取模块对所述有效的三维稀疏体素点云提取3D体素特征。

5.根据权利要求4所述的方法，其特征在于，所述通过所述3D稀疏体素特征提取模块对所述有效的三维稀疏体素点云提取3D体素特征的步骤，包括：

确定所述有效的三维稀疏体素点云的各三维点的三维坐标信息均值，并确定所述有效的三维稀疏体素点云的各三维点的反射率均值，将所述三维坐标信息均值和所述反射率均值作为所述有效的三维稀疏体素点云的初始化3D体素特征，将所述初始化3D体素特征输入所述3D稀疏体素特征提取模块；

通过所述3D稀疏体素特征提取模块根据所述有效的三维稀疏体素点云的三维坐标信息确定特征输出坐标信息，根据所述有效的三维稀疏体素点云的三维坐标信息和所述特征输出坐标信息对所述初始化体素特征进行卷积运算，得到所述3D体素特征。

6.根据权利要求1所述的方法，其特征在于，所述对所述三维点云数据按照雷达视角进行透视投影，得到初始透视图的步骤，包括：

计算所述三维点云数据的各三维点与雷达之间的欧式距离、俯仰角度；

根据各三维点对应的欧式距离、俯仰角度、所在线束和三维坐标信息将各三维点映射至预设2D透视图上，得到所述初始透视图。

7.根据权利要求1所述的方法，其特征在于，所述通过多模态特征融合模块根据所述映射关系将所述3D点级特征、所述3D体素特征、所述2D透视特征、所述2D像素特征进行融合，得到最终融合特征的步骤，包括：

将所述3D体素特征按不同分辨率查找每个有效体素中心位置附近的关键3D点，将所述3D体素特征与所述关键3D点的3D点级特征进行聚合，得到第一聚合特征，通过所述多模态特征融合模块对所述第一聚合特征进行特征融合，得到第一融合特征，将所述第一融合特征作为所述关键3D点的修正特征；

根据所述映射关系计算所述关键3D点分别在所述初始透视图和所述二维图像中的第一映射位置和第二映射位置；

根据所述第一映射位置和所述第二映射位置确定所述关键3D点对应的2D透视特征和2D像素特征；

将所述关键3D点对应的修正特征、2D透视特征和2D像素特征进行聚合，得到第二聚合特征，通过所述多模态特征融合模块的特征经神经网络层对所述第二聚合特征进行特征融合，得到关键3D点的最终融合特征。

8.一种点云目标检测装置，其特征在于，所述装置包括：

获取模块，用于通过雷达采集三维点云数据，通过相机采集二维图像，获取所述三维点云数据与所述二维图像的映射关系；

第一提取模块，用于通过3D稀疏点特征提取模块对所述三维点云数据提取3D点级特征；

第二提取模块，用于通过3D稀疏体素特征提取模块对所述三维点云数据提取3D体素特征；

第三提取模块，用于对所述三维点云数据按照雷达视角进行透视投影，得到初始透视图，通过2D特征提取模块提取所述初始透视图的2D透视特征；

第四提取模块，用于对所述二维图像进行归一化处理，得到归一化图像数据，通过所述2D特征提取模块对所述归一化图像数据提取2D像素特征；

处理模块，用于通过多模态特征融合模块根据所述映射关系将所述3D点级特征、所述3D体素特征、所述2D透视特征、所述2D像素特征进行融合，得到最终融合特征；

预测模块，用于通过预测模块对所述最终融合特征进行计算，得到障碍物目标的三维信息。

9.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行权利要求1至7中任一项所述的点云目标检测方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的点云目标检测方法。

Images