CN111144242A - 一种三维目标检测方法、装置及终端 - Google Patents

Abstract

本申请适用于自动驾驶领域，提供一种三维目标检测方法、装置及终端，其中方法包括：基于将前方道路的目标点云数据分割得到的体积元素中的点，生成与每一体积元素相对应的体素特征表示；基于体素特征表示，利用稀疏卷积神经网络进行特征提取，得到路况特征图；基于路况特征图，利用区域建议网络，处理得到具有不同尺寸的初步特征图，对设定数量的初步特征图进行合并得到特征融合图，并根据特征融合图，输出标识有物体区域边框的回归图及物体类别概率评分图；根据回归图及物体类别概率评分图，得到前方道路中的物体所在位置及物体所属类别，提高了目标检测准确率及检测速度。

Description

一种三维目标检测方法、装置及终端

技术领域

本申请属于自动驾驶领域，尤其涉及一种三维目标检测方法、装置及终端。

背景技术

在自动驾驶领域，快速和准确的识别目标及进行目标定位是一个重要任务，目前对三维目标检测的研究主要集中在端到端的卷积神经网络上。

而随着三维空间中，数据信息维数的增加为目标检测任务带来了计算量的大幅度增加，这使得现有端到端的信息处理很难达到应用中所需的检测速度，及使得在三维空间中对物体进行检测和位置估计时，目标检测准确率降低，影响自动驾驶的安全性。

发明内容

本申请实施例提供了一种三维目标检测方法、装置及终端，以解决现有技术中随着三维空间中数据信息维数的增加，物体检测准确率及检测速度降低的问题。

本申请实施例的第一方面提供了一种三维目标检测方法，包括：

将前方道路的目标点云数据分割为体积元素，并基于分割得到的体积元素中的点，生成与每一所述体积元素相对应的体素特征表示；

基于所述体素特征表示，利用稀疏卷积神经网络进行特征提取，得到路况特征图；

基于所述路况特征图，利用区域建议网络，处理得到具有不同尺寸的初步特征图，对设定数量的所述初步特征图进行合并得到特征融合图，并根据所述特征融合图，输出标识有物体区域边框的回归图及物体类别概率评分图；

根据所述回归图及所述物体类别概率评分图，得到前方道路中的物体所在位置及物体所属类别。

本申请实施例的第二方面提供了一种三维目标检测装置，包括：

生成模块，用于将前方道路的目标点云数据分割为体积元素，并基于分割得到的体积元素中的点，生成与每一所述体积元素相对应的体素特征表示；

特征提取模块，用于基于所述体素特征表示，利用稀疏卷积神经网络进行特征提取，得到路况特征图；

区域建议模块，用于基于所述路况特征图，利用区域建议网络，处理得到具有不同尺寸的初步特征图，对设定数量的所述初步特征图进行合并得到特征融合图，并根据所述特征融合图，输出标识有物体区域边框的回归图及物体类别概率评分图；

获取模块，用于根据所述回归图及所述物体类别概率评分图，得到前方道路中的物体所在位置及物体所属类别。

本申请实施例的第三方面提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法的步骤。

本申请的第五方面提供了一种计算机程序产品，当所述计算机程序产品在终端上运行时，使得所述终端执行上述第一方面所述方法的步骤。

由上可见，本申请实施例中，通过将主要框架分为三个部分，第一部分是点云的体素化，它用于将点云分割成体素以及将每个体素的点集转换为一个相同维度的特征向量；在第二部分中，由稀疏卷积组成的中间层进一步从体素化中提取特征；在第三个部分中，通过卷积和反卷积层传递特征图，从而预测物体的目标类别和物体边框。整个过程中，将多尺度信息和三维空间信息结合起来，实现快速而高效的在三维空间中对物体进行检测和位置估计，提高了目标检测准确率及检测速度，且具有较强的鲁棒性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种三维目标检测方法的流程图一；

图2是本申请实施例提供的特征融合过程图示；

图3是本申请实施例提供的一种三维目标检测方法的流程图二；

图4是本申请实施例提供的一种三维目标检测装置的结构图；

图5是本申请实施例提供的一种终端的结构图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

具体实现中，本申请实施例中描述的终端包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端。然而，应当理解的是，终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

终端支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

参见图1，图1是本申请实施例提供的一种三维目标检测方法的流程图一。如图1所示，一种三维目标检测方法，该方法包括以下步骤：

步骤101，将前方道路的目标点云数据分割为体积元素，并基于分割得到的体积元素中的点，生成与每一所述体积元素相对应的体素特征表示。

该目标点云数据为从前方道路的三维空间中的原始点云数据中裁剪得到。具体地，该目标点云数据及原始点云数据均是三维空间中的一些点组成。具体地，该些点云数据为雷达激光点云数据。

在将目标点云数据分割为体积元素时，对应地，从原始点云数据中裁剪得到的目标点云数据可以为裁剪的长方体形空间中的点云数据，从该长方体形空间中的目标点云数据分割为一个个的小长方体形，实现体积元素的分割。基于该一个个小长方体空间中的点，生成与每一体积元素相对应的体素特征表示。

其中，该体素特征表示具体为体素特征向量。该体素特征表示的生成可以是基于与体素(即体积元素)相对应的小长方体形空间中的点的点参数进行计算得到，例如为对该些点的点参数进行求平均值、求方差、求和等等计算操作，计算后的点参数即得到体素特征表示。

在具体实现时，首先，将点云的有效区域裁剪成一个标准长方体，是为了方便后续的体素化，即后续会将点云数据分割为多个长宽高相同的小长方体。

假设点云数据沿着三维空间Z、Y、X轴的取值范围分别是D、W、H，并且体素的大小相应地是v_d、v_h、v_w，(这里体素即一个长方体块，v_d、v_h、v_w分别代表长宽高)，则体素化后的目标点云数据就转化为D′＝D/v_d、H′＝H/v_h、W′＝W/v_w，即存在D′×H′×W′个体素块。对每个体素块，直接提取体素内点的参数值的特征向量，具体可以是提取体素内点的点参数的均值作为该体素的特征向量。这样做减少了需要训练的参数，大大提高了计算的效率，并且使得该网络结构更简单、更稳定。

步骤102，基于所述体素特征表示，利用稀疏卷积神经网络进行特征提取，得到路况特征图。

在体素化之后，该方法用稀疏卷积网络基于前述得到的体素特征表示，来进行对三维空间的物体进行特征提取，得到路况特征图，且可减少内存使用，也使得检测速度更快。

其中，具体地，该体素特征表示中包括：点的三维坐标及反射率。

对应地，作为一可选的实施方式，所述基于所述体素特征表示，利用稀疏卷积神经网络进行特征提取，得到路况特征图，包括：

基于所述体素特征表示中，所述点的三维坐标中的高度维度参数，设置所述稀疏卷积神经网络中的卷积步长，其中，所述高度维度参数的大小与所述卷积步长的大小正相关；

基于所述体素特征表示，按照设置后的所述卷积步长，利用所述稀疏卷积神经网络进行特征提取，得到所述路况特征图。该进行特征提取，例如为高度维度信息、宽度维度信息、深度维度信息、色彩、纹理等等特征的提取。

考虑到三维场景中高度远小于宽度和深度，且涵盖的信息量较少，因此可沿高度维度设置较大的步长，这样，四维张量转化为不含高度信息的三维张量，即实际上变成了带有通道的二维特征图。将密集的二维特征映射作为输入与采用三维特征张量作为输入相比，网络表现更好。

稀疏卷积网络的应用过程中，以二维为例，对于空间位置为(u,v)的元素，我们使用l和m分别表示输入通道和输出通道，用F_u,v,l,m代表滤波后的元素，I_u，v，1表示图像元素。卷积后的输出可以表示如下：

其中x，y表示输出位置，u₀，v₀表示卷积核内的偏移量，P(x,y)是输出位置(x,y)与输入位置(u,v)的映射。使用通用矩阵乘法算法，Y_x,y,m可由下式给出：

其中F_*,l,m是

的通用矩阵表示，

是通过通用矩阵乘法算法构建的矩阵，

为将相关参数替换后的I_u,v,l。对于图像中的稀疏数据，我们使用输入索引i代替(u,v)，输出索引j代替(x,y)，将等式(1)可以改写如下：

Y′_j,_m＝∑_i∈P′(j)∑_lF_k,l,mI′_i,l (3)；

其中k是对应于u₀，v₀的偏置结果的核偏移量；Y′_j,m为将相关参数替换后的Y_x,y,m；P′(j)为将相关参数替换后的P(x,y)；其中P′(j)是用于获取输入索引i和核偏移量k的函数；I′是稀疏数据图像元素。I′_i,l为将相关参数替换后的I_u,v,l。综上所述，通过上述函数给出等式(1)的新形式：

考虑到数据的稀疏性，需尽可能避免冗余计算。使用R_k,j代替i和j之间的对应关系，其中，R_k,j是基于给定的核偏移量k和输出索引j来指定输入索引i的矩阵。因此可以将等式(3)转换为下面的公式：

该等式(5)在具体进行卷积计算时进行使用，将步骤101中得到的体素特征表示，具体为前述实施方式中得到的特征向量作为输入，通过稀疏卷积神经网络中的卷积计算进一步提取特征，得到路况特征图。

步骤103，基于所述路况特征图，利用区域建议网络，处理得到具有不同尺寸的初步特征图，对设定数量的所述初步特征图进行合并得到特征融合图，并根据所述特征融合图，输出标识有物体区域边框的回归图及物体类别概率评分图。

其中，该区域建议网络中结合了特征融合网络的特征融合处理操作。先得到特征融合图，再在该特征融合图基础上，处理得到边框回归图及物体类别概率评分图。

该回归图用于指示物体所在位置，该物体类别概率评分图用于指示物体所属类别，例如为车辆、行人、植被、动物等等。

该过程中，结合了特征融合网络的处理特性。

具体地，结合图2所示，作为一可选的实施方式，所述基于所述路况特征图，利用区域建议网络，处理得到具有不同尺寸的初步特征图，对设定数量的所述初步特征图进行合并得到特征融合图，包括：

通过所述区域建议网络中的卷积层，对所述路况特征图A进行卷积处理，分别得到第一尺寸的第一初步特征图B和第二尺寸的第二初步特征图C；

将所述第二初步特征图C进行卷积处理得到相同尺寸的第三初步特征图D；

将所述第三初步特征图D进行反卷积处理，并将反卷积处理后的所述第三初步特征与所述第一初步特征图B进行合并，得到所述第一尺寸的第四初步特征图E；

将所述第四初步特征图E进行反卷积处理，并将反卷积处理后的所述第四初步特征与所述路况特征图A进行合并，得到与所述路况特征图尺寸相同的第五初步特征图F；

将所述第三初步特征图、所述第四初步特征图的尺寸调整为与所述第五初步特征图相同尺寸大小，并将所述第三初步特征图、所述第四初步特征图与所述第五初步特征图进行合并，得到所述特征融合图。

其中，先将路况特征图A以设定大小的卷积核进行卷积处理，得到第一初步特征图B，再在第一初步特征图B的基础上采用所述设定大小的卷积核进行卷积处理得到第二初步特征图C。将第三初步特征图D进行反卷积处理，与，将第四初步特征图E进行反卷积处理时的卷积核大小、步长相同。

在处理过程中，卷积层的特征图通过1*1的卷积传递到自顶向下的路径上，通过反卷积将特征图进行上采样，与从上述层的特征图连接起来。然后将自上而下路径的特征图变换为相同大小，通过串联进行合并。接着，通过两个1×1卷积层生成预测结果，通过变换输出通道，输出标识有物体区域边框的回归图及物体类别概率评分图。该过程中，实现在提取特征时将多分辨率和多特征层次间信息的多向融合，使模型更适合点云数据。

其中，图2中，conv表示二维卷积，1×1、3×3表示卷积核的大小，deconv2×表示步长为2的反卷积，deconv4×表示步长为4的反卷积，deconv1×表示步长为1的反卷积。

该过程，使用改进的区域建议网络，在特征融合过程中，不仅仅使用某一层特征，而是将每层特征进行融合，实现更优的三维目标检测。

其中，从点云数据开始，处理得到标识有物体区域边框的回归图及物体类别概率评分图的过程中，三维目标检测的损失函数定义如下：

Loss＝λ₁L_cls+λ₂(L_reg-LD+L_reg-θ)+λ₃L_dir

其中，L_cls为分类损失，L_reg-LD为位置和维数回归损失，L_reg-θ为角度损失，L_dir为方向损失。λ₁、λ₂、λ₃是常数权重。在训练过程中，采用自适应矩估计(Adam)优化算法，初始学习率为0.0002，动量为0.9。

步骤104，根据所述回归图及所述物体类别概率评分图，得到前方道路中的物体所在位置及物体所属类别。

基于该标识有物体区域边框的回归图及物体类别概率评分图，可以识别出前方道路中的物体的所在位置及物体所属类别。

本申请实施例中的该方法的主要框架可分为三个部分，第一部分是点云的体素化，它用于将点云分割成体素以及将每个体素的点集转换为一个相同维度的特征向量；在第二部分中，由稀疏卷积组成的中间层进一步从体素化中提取特征；在第三个部分中，通过卷积和反卷积层传递特征图，从而预测物体的目标类别和物体边框。整个过程中，将多尺度信息和三维空间信息结合起来，实现快速而高效的在三维空间中对物体进行检测和位置估计，提高了目标检测准确率及检测速度，且具有较强的鲁棒性。

本申请实施例中还提供了三维目标检测方法的不同实施方式。

参见图3，图3是本申请实施例提供的一种三维目标检测方法的流程图二。如图2所示，一种三维目标检测方法，该方法包括以下步骤：

步骤301，将前方道路的目标点云数据分割为均等的体积元素，每一所述体积元素均对应有一点集，所述点集中的点具有点参数。

该过程中实现目标点云数据的体素化。所谓体素化就是将这目标点云数据分割为一个个小长方体，体素的点集中的点指的就是在一个体素所对应的小长方体内所包含的点。

步骤302，分别在不同的所述点集中选取目标点，并分别计算所述目标点的点参数的平均值。

点云数据中每个点都有其数据形式的表示，将一个体素中的点(即一个点集中的点)的不同点参数分别取均值即为特征向量。

具体地，作为一可选的实施方式，所述分别在不同的所述点集中选取目标点，包括：

获取每个所述点集中点的数量；若存在点的数量小于或等于选取数量值的点集，则选取该点集中所有的点作为目标点；若存在点的数量大于所述选取数量值的点集，则从该点集中随机选取所述选取数量值的点作为所述目标点。

具体地，在具体实施过程中，当一个体素对应一个非空点集时，将该非空点集定义为：V＝{P_i＝[x_i,y_i,z_i,r_i]^T∈R⁴}_i＝1…t，其中x_i,y_i,z_i为点i的笛卡尔坐标，r_i为反射率，T为点集中点的个数，t为从点集中随机选取的点的个数(t≤T)。但是，当体素中点的个数少于或等于设置的点的随机选取数值时，则选用点集中所有的点。

步骤303，将分别计算的所述目标点的点参数的平均值，确定为不同的所述体积元素所对应的所述体素特征表示。

之后，计算体素所对应点集中的点的参数的平均值作为其特征表示：

与其他体素特征提取网络相比，使用更小的体素，用点集的均值代替体素级特征。

步骤304，基于所述体素特征表示，利用稀疏卷积神经网络进行特征提取，得到路况特征图。

该步骤的实现过程与前述实施例中步骤102的实现过程相同，此处不再赘述。

步骤305，基于所述路况特征图，利用区域建议网络，处理得到具有不同尺寸的初步特征图，对设定数量的所述初步特征图进行合并得到特征融合图，并根据所述特征融合图，输出标识有物体区域边框的回归图及物体类别概率评分图。

该步骤的实现过程与前述实施例中步骤103的实现过程相同，此处不再赘述。

步骤306，根据所述回归图及所述物体类别概率评分图，得到前方道路中的物体所在位置及物体所属类别。

该步骤的实现过程与前述实施例中步骤104的实现过程相同，此处不再赘述。

本申请实施例中，主要框架可分为三个部分，第一部分是点云的体素化，它用于将点云分割成体素以及将每个体素的点集转换为一个相同维度的特征向量；在第二部分中，由稀疏卷积组成的中间层进一步从体素化中提取特征；在第三个部分中，通过卷积和反卷积层传递特征图，从而预测物体的目标类别和物体边框。整个过程中，将多尺度信息和三维空间信息结合起来，实现快速而高效的在三维空间中对物体进行检测和位置估计，提高了目标检测准确率及检测速度，且具有较强的鲁棒性。

参见图4，图4是本申请实施例提供的一种三维目标检测装置的结构图，为了便于说明，仅示出了与本申请实施例相关的部分。

所述三维目标检测装置400包括：

生成模块401，用于将前方道路的目标点云数据分割为体积元素，并基于分割得到的体积元素中的点，生成与每一所述体积元素相对应的体素特征表示；

特征提取模块402，用于基于所述体素特征表示，利用稀疏卷积神经网络进行特征提取，得到路况特征图；

区域建议模块403，用于基于所述路况特征图，利用区域建议网络，处理得到具有不同尺寸的初步特征图，对设定数量的所述初步特征图进行合并得到特征融合图，并根据所述特征融合图，输出标识有物体区域边框的回归图及物体类别概率评分图；

获取模块404，用于根据所述回归图及所述物体类别概率评分图，得到前方道路中的物体所在位置及物体所属类别。

所述生成模块401具体用于：

将前方道路的目标点云数据分割为均等的体积元素，每一所述体积元素均对应有一点集，所述点集中的点具有点参数；

分别在不同的所述点集中选取目标点，并分别计算所述目标点的点参数的平均值；

将分别计算的所述目标点的点参数的平均值，确定为不同的所述体积元素所对应的所述体素特征表示。

所述生成模块401还具体用于：

获取每个所述点集中点的数量；

若存在点的数量小于或等于选取数量值的点集，则选取该点集中所有的点作为目标点；

若存在点的数量大于所述选取数量值的点集，则从该点集中随机选取所述选取数量值的点作为所述目标点。

其中，所述体素特征表示中包括：点的三维坐标及反射率。

所述特征提取模块402，具体用于：

基于所述体素特征表示中，所述点的三维坐标中的高度维度参数，设置所述稀疏卷积神经网络中的卷积步长，其中，所述高度维度参数的大小与所述卷积步长的大小正相关；

基于所述体素特征表示，按照设置后的所述卷积步长，利用所述稀疏卷积神经网络进行特征提取，得到所述路况特征图。

其中，所述区域建议模块403，具体用于：

通过所述区域建议网络中的卷积层，对所述路况特征图进行卷积处理，分别得到第一尺寸的第一初步特征图和第二尺寸的第二初步特征图；

将所述第二初步特征图进行卷积处理得到相同尺寸的第三初步特征图；

将所述第三初步特征图进行反卷积处理，并将反卷积处理后的所述第三初步特征与所述第一初步特征图进行合并，得到所述第一尺寸的第四初步特征图；

将所述第四初步特征图进行反卷积处理，并将反卷积处理后的所述第四初步特征与所述路况特征图进行合并，得到与所述路况特征图尺寸相同的第五初步特征图；

将所述第三初步特征图、所述第四初步特征图的尺寸调整为与所述第五初步特征图相同尺寸大小，并将所述第三初步特征图、所述第四初步特征图与所述第五初步特征图进行合并，得到所述特征融合图。

本申请实施例提供的三维目标检测装置能够实现上述三维目标检测方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

图5是本申请实施例提供的一种终端的结构图。如该图所示，该实施例的终端5包括：至少一个处理器50(图5中仅示出一个)、存储器51以及存储在所述存储器51中并可在所述至少一个处理器50上运行的计算机程序52，所述处理器50执行所述计算机程序52时实现上述任意各个方法实施例中的步骤。

所述终端5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端5可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是终端5的示例，并不构成对终端5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端还可以包括输入输出设备、网络接入设备、总线等。

所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51可以是所述终端5的内部存储单元，例如终端5的硬盘或内存。所述存储器51也可以是所述终端5的外部存储设备，例如所述终端5上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述终端5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的终端和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序产品来实现，当计算机程序产品在终端上运行时，使得所述终端执行时实现可实现上述各个方法实施例中的步骤。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种三维目标检测方法，其特征在于，包括：

将前方道路的目标点云数据分割为体积元素，并基于分割得到的体积元素中的点，生成与每一所述体积元素相对应的体素特征表示；

基于所述体素特征表示，利用稀疏卷积神经网络进行特征提取，得到路况特征图；

基于所述路况特征图，利用区域建议网络，处理得到具有不同尺寸的初步特征图，对设定数量的所述初步特征图进行合并得到特征融合图，并根据所述特征融合图，输出标识有物体区域边框的回归图及物体类别概率评分图；

根据所述回归图及所述物体类别概率评分图，得到前方道路中的物体所在位置及物体所属类别。

2.根据权利要求1所述的三维目标检测方法，其特征在于，所述将前方道路的目标点云数据分割为体积元素，并基于分割得到的体积元素中的点，生成与每一所述体积元素相对应的体素特征表示，包括：

将前方道路的目标点云数据分割为均等的体积元素，每一所述体积元素均对应有一点集，所述点集中的点具有点参数；

分别在不同的所述点集中选取目标点，并分别计算所述目标点的点参数的平均值；

将分别计算的所述目标点的点参数的平均值，确定为不同的所述体积元素所对应的所述体素特征表示。

3.根据权利要求2所述的三维目标检测方法，其特征在于，所述分别在不同的所述点集中选取目标点，包括：

获取每个所述点集中点的数量；

若存在点的数量小于或等于选取数量值的点集，则选取该点集中所有的点作为目标点；

若存在点的数量大于所述选取数量值的点集，则从该点集中随机选取所述选取数量值的点作为所述目标点。

4.根据权利要求1所述的三维目标检测方法，其特征在于，所述体素特征表示中包括：点的三维坐标及反射率。

5.根据权利要求4所述的三维目标检测方法，其特征在于，所述基于所述体素特征表示，利用稀疏卷积神经网络进行特征提取，得到路况特征图，包括：

基于所述体素特征表示中，所述点的三维坐标中的高度维度参数，设置所述稀疏卷积神经网络中的卷积步长，其中，所述高度维度参数的大小与所述卷积步长的大小正相关；

基于所述体素特征表示，按照设置后的所述卷积步长，利用所述稀疏卷积神经网络进行特征提取，得到所述路况特征图。

6.根据权利要求1所述的三维目标检测方法，其特征在于，所述基于所述路况特征图，利用区域建议网络，处理得到具有不同尺寸的初步特征图，对设定数量的所述初步特征图进行合并得到特征融合图，包括：

通过所述区域建议网络中的卷积层，对所述路况特征图进行卷积处理，分别得到第一尺寸的第一初步特征图和第二尺寸的第二初步特征图；

将所述第二初步特征图进行卷积处理得到相同尺寸的第三初步特征图；

将所述第三初步特征图进行反卷积处理，并将反卷积处理后的所述第三初步特征与所述第一初步特征图进行合并，得到所述第一尺寸的第四初步特征图；

将所述第四初步特征图进行反卷积处理，并将反卷积处理后的所述第四初步特征与所述路况特征图进行合并，得到与所述路况特征图尺寸相同的第五初步特征图；

将所述第三初步特征图、所述第四初步特征图的尺寸调整为与所述第五初步特征图相同尺寸大小，并将所述第三初步特征图、所述第四初步特征图与所述第五初步特征图进行合并，得到所述特征融合图。

7.一种三维目标检测装置，其特征在于，包括：

生成模块，用于将前方道路的目标点云数据分割为体积元素，并基于分割得到的体积元素中的点，生成与每一所述体积元素相对应的体素特征表示；

特征提取模块，用于基于所述体素特征表示，利用稀疏卷积神经网络进行特征提取，得到路况特征图；

区域建议模块，用于基于所述路况特征图，利用区域建议网络，处理得到具有不同尺寸的初步特征图，对设定数量的所述初步特征图进行合并得到特征融合图，并根据所述特征融合图，输出标识有物体区域边框的回归图及物体类别概率评分图；

获取模块，用于根据所述回归图及所述物体类别概率评分图，得到前方道路中的物体所在位置及物体所属类别。

8.根据权利要求7所述的三维目标检测装置，其特征在于，所述生成模块具体用于：

将前方道路的目标点云数据分割为均等的体积元素，每一所述体积元素均对应有一点集，所述点集中的点具有点参数；

分别在不同的所述点集中选取目标点，并分别计算所述目标点的点参数的平均值；

将分别计算的所述目标点的点参数的平均值，确定为不同的所述体积元素所对应的所述体素特征表示。

9.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。

Images