CN113496160A - 三维物体检测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了三维物体检测方法、装置、电子设备和存储介质，涉及计算机视觉领域。具体实现方案为：通过获取三维点云图；获取三维点云图之中每个三维点的特征信息；根据每个三维点的特征信息获取每个三维点的类别概率；根据每个三维点的类别概率对三维点云图之中的三维点进行分类以生成多个前景点；对多个前景点进行空间编码以将多个前景点进行聚集；根据聚集之后的多个前景点进行聚集以生成待识别物体的三维包围框；以及根据待识别物体的三维包围框对待识别物体进行三维物体检测。由此，同时进行三维物体检测与实例级别物体分割，有效地提高物体检测的实用性与有效性。

Description

三维物体检测方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机技术领域的计算机视觉技术领域，尤其涉及一种三 维物体检测方法、装置、电子设备和存储介质。

背景技术

目前，三维物体检测与分割在自动驾驶场景有着广泛的应用场景，比 如自动驾驶的感知模组，高精地图的制作与无人车的自定位等方面都有着 广泛的应用前景。

相关技术中，三维物体检测方式都是将物体描述成一个包围框 Bounding box，这种表述被广泛的应用于基于深度学习的框架下，然而， 有限的三维包围框来描述一个物体，不能给出物体细节描述，存在不同类 别的两个物体的三维包围框相同的情况。

发明内容

提供了一种用于三维物体检测的方法、装置、设备以及存储介质。

根据第一方面，提供了一种三维物体检测方法，包括：

获取三维点云图；

获取所述三维点云图之中每个三维点的特征信息；

根据所述每个三维点的特征信息获取所述每个三维点的类别概率；

根据所述每个三维点的类别概率对所述三维点云图之中的三维点进 行分类以生成多个前景点；

对所述多个前景点进行空间编码以将所述多个前景点进行聚集；

根据聚集之后的所述多个前景点进行聚集以生成待识别物体的三维 包围框；以及

根据所述待识别物体的三维包围框对所述待识别物体进行三维物体 检测。

作为本申请实施例的第一种可能的实现方式，通过以下公式对所述三 维点进行分类：

其中，k为类别的个数，y_i所述三维点的第i类别，p_i为所述第i个 类别的类别概率，γ∈(0,+∞)为参数，α_i∈[0,1]为第i类别的权重参数，i为 正整数。

作为本申请实施例的第二种可能的实现方式，所述对所述多个前景点 进行空间编码以将所述多个前景点进行聚集，包括：

获取待识别物体的中心点的位置信息、待识别物体的形状尺寸信息以 及待识别物体的朝向信息；

根据所述中心点的位置信息、所述形状尺寸信息和所述朝向信息对所 述多个前景点进行空间编码以将所述多个前景点向所述中心点聚集。

作为本申请实施例的第三种可能的实现方式，通过以下公式对所述多 个前景点进行空间编码：

其中，c_x,c_y,c_z为所述中心点的位置信息，l，w，h为所述形状 尺寸信息，θ为所述朝向信息，

为所述前景点的回归目标标 签。

作为本申请实施例的第四种可能的实现方式，在所述根据聚集之后的 所述多个前景点进行聚集以生成待识别物体的三维包围框之后，还包括：

对所述三维包围框进行扩展；

获取扩展之后的所述三维包围框之中的三维点；

根据扩展之后的所述三维包围框之中的三维点的特征信息对所述三 维包围框进行修正。

根据第二方面，提供了一种三维物体检测装置，包括：

第一获取模块，用于获取三维点云图；

第二获取模块，用于获取所述三维点云图之中每个三维点的特征信息；

第三获取模块，用于根据所述每个三维点的特征信息获取所述每个三 维点的类别概率；

分类模块，用于根据所述每个三维点的类别概率对所述三维点云图之 中的三维点进行分类以生成多个前景点；

聚集模块，用于对所述多个前景点进行空间编码以将所述多个前景点 进行聚集；

生成模块，用于根据聚集之后的所述多个前景点进行聚集以生成待识 别物体的三维包围框；以及

检测模块，用于根据所述待识别物体的三维包围框对所述待识别物体 进行三维物体检测。

作为本申请实施例的第一种可能的实现方式，所述聚集模块，具体用 于：

获取待识别物体的中心点的位置信息、待识别物体的形状尺寸信息以 及待识别物体的朝向信息；

根据所述中心点的位置信息、所述形状尺寸信息和所述朝向信息对所 述多个前景点进行空间编码以将所述多个前景点向所述中心点聚集。

作为本申请实施例的第二种可能的实现方式，所述的三维物体检测装 置，还包括：

扩展模块，用于对所述三维包围框进行扩展；

第四获取模块，用于获取扩展之后的所述三维包围框之中的三维点；

修正模块，用于根据扩展之后的所述三维包围框之中的三维点的特征 信息对所述三维包围框进行修正。

本申请第三方面实施例提出了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被 所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实 施例所述的三维物体检测方法。

本申请第四方面实施例提出了一种存储有计算机指令的非瞬时计算 机可读存储介质，所述计算机指令用于使所述计算机执行第一方面实施例 所述的三维物体检测方法。

上述申请中的一个实施例具有如下优点或有益效果：通过获取三维点 云图；获取三维点云图之中每个三维点的特征信息；根据每个三维点的特 征信息获取每个三维点的类别概率；根据每个三维点的类别概率对三维点 云图之中的三维点进行分类以生成多个前景点；对多个前景点进行空间编 码以将多个前景点进行聚集；根据聚集之后的多个前景点进行聚集以生成 待识别物体的三维包围框；以及根据待识别物体的三维包围框对待识别物 体进行三维物体检测。由此，同时进行三维物体检测与实例级别物体分割， 有效地提高物体检测的实用性与有效性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键 或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下 的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例提供的三维物体检测方法的流程示意图；

图2是根据本申请第一实施例提供的三维物体的示例图；

图3是根据本申请第二实施例提供的三维物体检测方法的流程示意图；

图4是根据本申请第三实施例提供的三维物体检测方法的流程示意图；

图5a是根据本申请实施例提供的二维物体检测的示例图；

图5b是根据本申请实施例提供的实例分割的示例图；

图6是根据本申请实施例提供的自动驾驶场景中的三维物体检测结果 的示例图；

图7是根据本申请第四实施例提供的三维物体检测装置的结构示意图；

图8是根据本申请第五实施例提供的三维物体检测装置的结构示意图；

图9是用来实现本申请实施例的三维物体检测的方法的电子设备的框 图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实 施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本 领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和 修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的 描述中省略了对公知功能和结构的描述。

下面参考附图描述本申请实施例的三维物体检测方法、装置、电子设 备和存储介质。

图1是根据本申请第一实施例提供的三维物体检测方法的流程示意图。

基于背景技术描述，现有技术将物体检测问题转换成为了一个三维包 围框的回归问题，基于这种三维包围框的描述方法并不能完整的描述物体 的信息，比如说，不同类别的两个物体存在三维包围框是相同，从而影响 三维物体检测的实用性和有效性。

本申请提出一种三维物体检测方法，通过获取三维点云图；获取三维 点云图之中每个三维点的特征信息；根据每个三维点的特征信息获取每个 三维点的类别概率；根据每个三维点的类别概率对三维点云图之中的三维 点进行分类以生成多个前景点；对多个前景点进行空间编码以将多个前景 点进行聚集；根据聚集之后的多个前景点进行聚集以生成待识别物体的三 维包围框；以及根据待识别物体的三维包围框对待识别物体进行三维物体 检测。由此，同时进行三维物体检测与实例级别物体分割，有效地提高物 体检测的实用性与有效性。

如图1所示，该三维物体检测方法可以包括以下步骤：

步骤101，获取三维点云图。

在实际应用中，获取三维信息的传感器一般有双目相机、RGB深度相 机和激光雷达等。

本申请实施例中，可以通过激光雷达传感器等设备进行扫描获取三维 点云图，可以理解的是，本申请处理的是一帧激光雷达扫描的三维点云图 比如Venodyne64线点云。

步骤102，获取三维点云图之中每个三维点的特征信息。

具体地，可以通过相关神经网络来获取三维点云图之中每个三维点的 特征信息，比如pointnet++网络(扩展的三维点云网络)、稀疏卷积网络，edge-conv(边缘卷积层)网络等都可以用来进行特征提取。

可以理解的是，在每个三维点的特征信息的时候，前几层网络的感受 野比较的小，所以获取的信息都是这个点周围的局部信息；在获取每个三 维点的特征信息过程中，可以用随机降采样来减少点的数目，同时点与点 之间的距离也增加了，后来的感受野也会变大，所以这时候的特征信息可 以认为是全局的特征信息。

步骤103，根据每个三维点的特征信息获取每个三维点的类别概率。

步骤104，根据每个三维点的类别概率对三维点云图之中的三维点进 行分类以生成多个前景点。

具体地，首先对每个三维点的特征信息进行分析得到每个三维点的类 别概率。

其中，根据每个三维点的类别概率对三维点云图之中的三维点进行分 类以生成多个前景点的方式有很多种，举例说明如下：

第一种示例，通过预设公式根据每个三维点的类别概率对三维点云图 之中的三维点进行分类以生成多个前景点。

举例而言，通过以下公式对所述三维点进行分类：

其中，k为类别的个数，y_i所述三维点的第i类别，p_i为所述第i个 类别的类别概率，γ∈(0,+∞)为参数，α_i∈[0,1]为第i类别的权重参数，i为 正整数。

第二种示例，直接通过预设算法对每个三维点的类别概率进行处理完 成对三维点云图之中的三维点进行分类以生成多个前景点。

也就是说，根据每个三维点的类别概率对三维点云图之中的三维点进 行分类，实现可以将前景和背景分开，后续物体检测时候只用考虑前景点。

步骤105，对多个前景点进行空间编码以将多个前景点进行聚集。

步骤106，根据聚集之后的多个前景点进行聚集以生成待识别物体的 三维包围框。

步骤107，根据待识别物体的三维包围框对待识别物体进行三维物体 检测。

可以理解的是，本申请中点云语义分割的目的是将前景和背景分开， 后续物体检测时候只用考虑前景点。

因此，对多个前景点进行空间编码以将多个前景点进行聚集，作为一 种可能实现方式，获取待识别物体的中心点的位置信息、待识别物体的形 状尺寸信息以及待识别物体的朝向信息，根据中心点的位置信息、形状尺 寸信息和朝向信息对多个前景点进行空间编码以将多个前景点向中心点 聚集。

具体地，进行空间编码之后，所有的前景点都被聚集到物体的中心， 可以利用简单的mean-shift(均值偏移)聚集算法将属于同一个物体的三 维点聚集在一起。

举例而言，1、随机选择一个前景点作为起始中心点(center)；2、 找出以中心点为中心半径为的区域中出现的所有数据点，认为这些点同属 于一个聚类C，同时在该聚类中记录数据点出现的次数加1；3、以center 为中心点，计算从center开始到集合M中每个元素的向量，将这些向量 相加，得到向量(shift)；4、center＝center+shift，即center沿 着向量的方向移动，移动距离是||shift||；5、重复步骤2、3、4，直到 向量很小(即迭代到收敛)，记住此时的center，这个迭代过程中遇到的 点都应该归类到簇C；6、如果收敛时当前簇C的center与其它已经存在 的簇C2中心的距离小于阈值，那么把C2和C合并，数据点出现次数也对 应合并，否则，把C作为新的聚类；7、重复1、2、3、4、5直到所有的 点都被标记为已访问；8、根据每个类，对每个点的访问频率，取访问频 率最大的那个类，作为当前点集的所属类。

进一步地，根据聚集之后的多个前景点进行聚集以生成待识别物体的 三维包围框，并根据待识别物体的三维包围框对待识别物体进行三维物体 检测，也就是说可以生成三维点云图中所有前景物体的三维包围框，以及 所有物体所包含的点云。

举例而言，以pointnet++网络为骨干网络为例，如图2所示，对每一 个三维点进行特征信息提取，在pointnet++网络中的抽样和分组操作的作 用下，局部特征信息和全局特征信息都将被提取到，也就是说，通过pointnet++网络，局部特征信息和全局特征信息都能够在网络中进行学习。

在图2中，紧接骨干网络，网络分两支，一支进行点云的语义分割即 将前景和背景分开，之后物体检测时候只用考虑前景点；一支进行点云的 空间编码(spatialembedding)，空间编码包含物体的中心点，长宽高 以及物体的朝向，在训练的过程中，物体的语义信息以及空间编码信息都 有真值，都可以应用监督学习进行直接学习。

可以理解的是，上述处理的输出可以输入到一个深度分类网络得到每 一个待识别物体的三维包围框，为每一个物体产生一个唯一的三维包围框。

本申请实施例的三维物体检测方法，通过获取三维点云图；获取三维 点云图之中每个三维点的特征信息；根据每个三维点的特征信息获取每个 三维点的类别概率；根据每个三维点的类别概率对三维点云图之中的三维 点进行分类以生成多个前景点；对多个前景点进行空间编码以将多个前景 点进行聚集；根据聚集之后的多个前景点进行聚集以生成待识别物体的三 维包围框；以及根据待识别物体的三维包围框对待识别物体进行三维物体 检测。由此，同时进行三维物体检测与实例级别物体分割，有效地提高物 体检测的实用性与有效性。

图3是根据本申请第二实施例提供的三维物体检测方法的流程示意图， 如图3，包括：

步骤201，获取三维点云图。

步骤202，获取三维点云图之中每个三维点的特征信息。

步骤203，根据每个三维点的特征信息获取每个三维点的类别概率。

需要说明的是步骤201-步骤203与步骤101-步骤103相同，具体描 述参见步骤101-步骤103，此处不再详述。

步骤204，通过预设公式根据每个三维点的类别概率对三维点云图之 中的三维点进行分类以生成多个前景点。

步骤205，获取待识别物体的中心点的位置信息、待识别物体的形状 尺寸信息以及待识别物体的朝向信息，根据中心点的位置信息形状尺寸信 息和朝向信息对多个前景点进行空间编码以将多个前景点向所述中心点 聚集。

其中，通过以下公式对多个前景点进行空间编码：

其中，c_x,c_y,c_z为中心点的位置信息，l，w，h为形状尺寸信息

比如长宽高，θ为朝向信息即待识别物体的朝向角度，比如车头朝向

角度，

为所述前景点的回归目标标签。

具体地，可以将三维点的特征信息编码在空间，也就是说，只要将所 有的前景点都聚集到物体的中心，就很容易将不同的物体分割开来。

本申请实施例中，通过空间编码以将多个前景点向中心点聚集的实例 级分割，相比于在特征上进行特征转换，空间编码的方法也是利用深度学 习网络将属于同一个物体的点聚合在一起，不属于同一个物体的点推开。

因此，在空间编码之后，对于每一个物体，前景点都比较集中，在这 种情况下，利用一个固定的阈值就可以进行聚集操作。

步骤206，根据聚集之后的多个前景点进行聚集以生成待识别物体的 三维包围框。

步骤207，根据待识别物体的三维包围框对待识别物体进行三维物体 检测。

需要说明的是步骤206-步骤207与步骤106-步骤107相同，具体描 述参见步骤106-步骤107，此处不再详述。

由此，同时进行三维物体检测与实例级别物体分割，有效地提高物体 检测的实用性与有效性。

图4是根据本申请第三实施例提供的三维物体检测方法的流程示意图， 如图4，在步骤106之后，还包括：

步骤301，对三维包围框进行扩展。

步骤302，获取扩展之后的三维包围框之中的三维点。

步骤303，根据扩展之后的三维包围框之中的三维点的特征信息对三 维包围框进行修正。

具体地，将三维包围框进行稍微放大，可以获取更多的三维点，从而 可以获取更多的三维点来提取更多特征信息，然后在扩展之后的三维包围 框的基础上再对三维包围框进行修正。

具体地，获取扩展之后的三维包围框之中的三维点，比如点云数目够 多于一定数值比如256个，可以随机256个点，如果不够256个点，可以 用重复采样的方法添加到256个点，结合利用point net++对256个点云 进行提取特征信息，然后在扩展之后的三维包围框的基础上再对三维包围 框进行修正，能够大大的减少衰减的范围，从而能提高衰减的精度。

其中，在进行包围框修正的过程，每一个待识别物体包括中心点的位 置信息c_x,c_y,c_z，形状尺寸信息l，w，h，朝向信息θ。

因此，三维包围框的回归损失为：

其中，B_g为真实的三维包围框；B_d为预测的三维包围框，LoU为损失 函数。

由此，通过对三维包围框进行修正，进一步提高三维物体检测效率和 实用性。

为了本领域人员更加清楚上述实施例的过程，下面结合图5和图6, 进行举例描述。

具体地，本申请可以同时进行三维物体检测与实例级别物体分割，实 例分割在包围框的基础上，为每一个物体增加了一个掩码(mask)来表述 包围框里面的像素点属于前景物体还是背景物体，图5列举了一个简单的 二维物体检测与实例分割的示例，如图5a所示，物体包围框包含了很多 背景点在里面，并且有一些物体是重叠的，实例物体分割很好的解决了这 个问题，因为是像素级别的分割，所以物体与物体之间的边缘更加的清晰。

可以理解的是，本申请利用深度学习网络将图像像素点转换到一个特 征空间，这个转换的过程以以下的目标作为优化函数，属于同一个物体的 像素点，在特征空间被拉到一起，属于不同物体的像素点在特征空间被推 开，最终，在学习到的特征空间里，利用聚集算法将不同的物体聚集到不 同的类，即利用深度学习将各个三维点转换到特征空间，然后在特征空间 进行物体分割。

具体地，本申请可以进行三维物体的检测，同时也能进行三维点云的 实例分割，图6给出了一个简单的自动驾驶场景中的基于点云的三维物体 检测与实例分割的结果，如图6所示，有背景点，前景物体，方框表示的 三维物体检测的检测结果以及真值(图6中的背景点，前景物体，方框表 示的三维物体检测的检测结果以及真值未部分指示)，其中，为了进一步 清楚显示，可以通过比如红色框表示三维物体检测的检测结果，绿色的框 表示为真值，另外，背景点可以用白色来描述的，其他的颜色表示前景物 体，不同的颜色来描述不同的物体。

由此，同时优化三维物体框检测与实力级别物体分割网络，可以同时 考虑局部的逐点信息与空间的全局信息，空间编码的方式来生成物体的实 例，对于每一个物体只产生一个实例，减少在预测过程中的预测时间将损 失函数应用于三维物体检测，能有效的提高三维物体框的检测精度。

为了实现上述实施例，本申请提出了一种三维物体检测装置。

图7是根据本申请第四实施例提供的三维物体检测装置的结构示意图。

如图7所示，该三维物体检测装置400，可以包括：第一获取模块401、 第二获取模块402、第三获取模块403、分类模块404、聚集模块405、生 成模块406和检测模块407。

第一获取模块401，用于获取三维点云图。

第二获取模块402，用于获取所述三维点云图之中每个三维点的特征 信息。

第三获取模块403，用于根据所述每个三维点的特征信息获取所述每 个三维点的类别概率。

分类模块404，用于根据所述每个三维点的类别概率对所述三维点云 图之中的三维点进行分类以生成多个前景点。

聚集模块405，用于对所述多个前景点进行空间编码以将所述多个前 景点进行聚集。

生成模块406，用于根据聚集之后的所述多个前景点进行聚集以生成 待识别物体的三维包围框。以及

检测模块407，用于根据所述待识别物体的三维包围框对所述待识别 物体进行三维物体检测。

作为一种可能的情况，聚集模块405，具体用于：获取待识别物体的 中心点的位置信息、待识别物体的形状尺寸信息以及待识别物体的朝向信 息；根据所述中心点的位置信息、所述形状尺寸信息和所述朝向信息对所 述多个前景点进行空间编码以将所述多个前景点向所述中心点聚集。

作为一种可能的情况，如图8所示，在图7的基础上，还包括：扩展 模块408、第四获取模块409和修正模块410。

其中，扩展模块408，用于对所述三维包围框进行扩展。

第四获取模块409，用于获取扩展之后的所述三维包围框之中的三维 点。

修正模块410，用于根据扩展之后的所述三维包围框之中的三维点的 特征信息对所述三维包围框进行修正。

需要说明的是，前述对三维物体检测方法实施例的解释说明也适用于 该实施例的三维物体检测装置，此处不再赘述。

本申请实施例的三维物体检测装置，通过获取三维点云图；获取三维 点云图之中每个三维点的特征信息；根据每个三维点的特征信息获取每个 三维点的类别概率；根据每个三维点的类别概率对三维点云图之中的三维 点进行分类以生成多个前景点；对多个前景点进行空间编码以将多个前景 点进行聚集；根据聚集之后的多个前景点进行聚集以生成待识别物体的三 维包围框；以及根据待识别物体的三维包围框对待识别物体进行三维物体 检测。由此，同时进行三维物体检测与实例级别物体分割，有效地提高物 体检测的实用性与有效性。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储 介质。

如图9所示，是根据本申请实施例的三维物体检测的方法的电子设备 的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、 台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算 机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸 如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算 装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示 例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图9所示，该电子设备包括：一个或多个处理器901、存储器902， 以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不 同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方 式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存 储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示 设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以 将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样， 可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务 器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器 901为例。

存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中， 所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处 理器执行本申请所提供的三维物体检测的方法。本申请的非瞬时计算机可 读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提 供的三维物体检测的方法。

存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时 软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的三维 物体检测的方法对应的程序指令/模块(例如，附图7所示的第一获取模 块401、第二获取模块402、第三获取模块403、分类模块404、聚集模块 405、生成模块406和检测模块407)。处理器901通过运行存储在存储器 902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应 用以及数据处理，即实现上述方法实施例中的三维物体检测的方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可 存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据 三维物体检测的电子设备的使用所创建的数据等。此外，存储器902可以 包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘 存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存 储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器 可以通过网络连接至三维物体检测的电子设备。上述网络的实例包括但不 限于互联网、企业内部网、局域网、移动通信网及其组合。

三维物体检测的方法的电子设备还可以包括：输入装置903和输出装 置904。处理器901、存储器902、输入装置903和输出装置904可以通过 总线或者其他方式连接，图9中以通过总线连接为例。

输入装置903可接收输入的数字或字符信息，以及产生与三维物体检 测的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、 小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹 球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置 (例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子 体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集 成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和 /或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多 个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处 理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通 用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出 装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个 输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编 程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、 和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可 读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给 可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、 光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信 号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器 指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术， 该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线 管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠 标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算 机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的 反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉 反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如， 作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、 或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器 的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处 描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部 件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络 的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此 并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具 有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过获取三维点云图；获取三维点云 图之中每个三维点的特征信息；根据每个三维点的特征信息获取每个三维 点的类别概率；根据每个三维点的类别概率对三维点云图之中的三维点进 行分类以生成多个前景点；对多个前景点进行空间编码以将多个前景点进 行聚集；根据聚集之后的多个前景点进行聚集以生成待识别物体的三维包 围框；以及根据待识别物体的三维包围框对待识别物体进行三维物体检测。 由此，同时进行三维物体检测与实例级别物体分割，有效地提高物体检测 的实用性与有效性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或 删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地 执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望 的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术 人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、 子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和 改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种三维物体检测方法，其特征在于，包括：

获取三维点云图；

获取所述三维点云图之中每个三维点的特征信息；

根据所述每个三维点的特征信息获取所述每个三维点的类别概率；

根据所述每个三维点的类别概率对所述三维点云图之中的三维点进行分类以生成多个前景点；

对所述多个前景点进行空间编码以将所述多个前景点进行聚集；

根据聚集之后的所述多个前景点进行聚集以生成待识别物体的三维包围框；以及

根据所述待识别物体的三维包围框对所述待识别物体进行三维物体检测。

2.如权利要求1所述的三维物体检测方法，其特征在于，通过以下公式对所述三维点进行分类：

其中，k为类别的个数，y_i所述三维点的第i类别，p_i为所述第i个类别的类别概率，

为参数，α_i∈[0,1]为第i类别的权重参数，i为正整数。

3.如权利要求1所述的三维物体检测方法，其特征在于，对所述多个前景点进行空间编码以将所述多个前景点进行聚集，包括：

获取待识别物体的中心点的位置信息、待识别物体的形状尺寸信息以及待识别物体的朝向信息；

根据所述中心点的位置信息、所述形状尺寸信息和所述朝向信息对所述多个前景点进行空间编码以将所述多个前景点向所述中心点聚集。

4.如权利要求3所述的三维物体检测方法，其特征在于，通过以下公式对所述多个前景点进行空间编码：

其中，c_x,c_y,c_z为所述中心点的位置信息，l，w，h为所述形状尺寸信息，θ为所述朝向信息；

为所述前景点的回归目标标签。

5.如权利要求1所述的三维物体检测方法，其特征在于，在所述根据聚集之后的所述多个前景点进行聚集以生成待识别物体的三维包围框之后，还包括：

对所述三维包围框进行扩展；

获取扩展之后的所述三维包围框之中的三维点；

根据扩展之后的所述三维包围框之中的三维点的特征信息对所述三维包围框进行修正。

6.一种三维物体检测装置，其特征在于，包括：

第一获取模块，用于获取三维点云图；

第二获取模块，用于获取所述三维点云图之中每个三维点的特征信息；

第三获取模块，用于根据所述每个三维点的特征信息获取所述每个三维点的类别概率；

分类模块，用于根据所述每个三维点的类别概率对所述三维点云图之中的三维点进行分类以生成多个前景点；

聚集模块，用于对所述多个前景点进行空间编码以将所述多个前景点进行聚集；

生成模块，用于根据聚集之后的所述多个前景点进行聚集以生成待识别物体的三维包围框；

检测模块，用于根据所述待识别物体的三维包围框对所述待识别物体进行三维物体检测。

7.如权利要求6所述的三维物体检测装置，其特征在于，所述聚集模块，具体用于：

获取待识别物体的中心点的位置信息、待识别物体的形状尺寸信息以及待识别物体的朝向信息；

根据所述中心点的位置信息、所述形状尺寸信息和所述朝向信息对所述多个前景点进行空间编码以将所述多个前景点向所述中心点聚集。

8.如权利要求6所述的三维物体检测装置，其特征在于，还包括：

扩展模块，用于对所述三维包围框进行扩展；

第四获取模块，用于获取扩展之后的所述三维包围框之中的三维点；

修正模块，用于根据扩展之后的所述三维包围框之中的三维点的特征信息对所述三维包围框进行修正。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。

Images