CN113256574A - 一种三维目标检测方法 - Google Patents

Abstract

本发明公开了一种三维目标检测方法，包括如下步骤：S1、基于语义分割获得目标在二维图像上的二维掩码；S2、将二维掩码投射至三维空间中；S3、通过孤立森林算法计算三维空间中的非目标点云并将其剔除；S4、确定所述目标的位置。本方法解决了单独使用激光雷达处理数据量大且无法实现实时运算的问题；还解决了单独使用摄像头时对于三维目标的距离、姿态信息估算准确率不足的问题，通过本方法可以准确估算出目标的位置姿态。

Description

一种三维目标检测方法

技术领域

本发明属于图像检测领域，尤其涉及一种三维目标检测方法。

背景技术

三维目标检测是环境感知、目标检测、自动驾驶、自动导航、无 人机器人领域中的关键问题。目前在自动驾驶领域主要使用两种传感 器，相机和激光雷达。单独使用激光雷达处理数据量大，即使在雷达 帧率低的情况下也无法实现实时运算；单独使用摄像头时对于三维目 标的距离、姿态信息估算准确率不足。

发明内容

本发明为解决上述问题，提供一种三维目标检测方法，通过预测 二维掩码和剔除非目标点云，准确估算出目标的位置姿态。

一种三维目标检测方法，包括如下步骤：

S1、基于语义分割获得目标在二维图像上的二维掩码；

S2、将二维掩码投射至三维空间中；

S3、通过孤立森林算法计算三维空间中的非目标点云并将其剔除；

S4、确定目标的位置。

优选的，步骤S1中获取二维掩码的方式包括：通过神经网络分 割分支预测二维图像的二维掩码，在神经网络分割分支时，将ROI Pooling层替换成ROI Align层。

优选的，步骤S2包括：

S201、分割二维掩码形成的边界框；

S202、通过视椎体结构形式将边界框内的二维空间映射到三维空 间中；

S203、将三维空间内所有的点云作为目标的点集合。

优选的，步骤S3中的孤立森林包括t个孤立树，每棵孤立树都 为二叉树结构，目标的点集合为X，X＝{x₁,x₂,x₃…x_n}，

其中， x_i为目标的点集合X的子集，x_i＝{x_i1,x_i2,x_i3…,x_im}，n为目标的点集合 中点的个数；m为X子集中点的个数。

优选的，步骤S3包括如下步骤：

S301、从检测数据集X中随机选取Ψ个子样本点形成X的子集 x_i，并放入孤立树的根节点；

S302、随机在m维度中选则一个指定维度q，在指定维度q的节 点数据中随机选择一个在指定维度q的最大值和最小值之间的切割点 p，即：

min(q)<p<max(q) (1)；

S303、将指定维度q里面小于分割点p的数据划分到当前节点的 左孩子，将指定维度q里面大于分割点p的数据划分到当前节点的右 孩子；

S304、递归步骤S303和S304，不断构造新的孩子节点，直到孩 子节点中只有一个数据或孩子节点已到达限定高度或孩子节点上的 样本特征完全相同。

优选的，步骤S4为：通过轴向平行包围盒AAB法或有朝向包围 盒OBB法得到目标点云的外包围立方体，根据外包围立方体确定目 标的位置。

一种三维目标检测系统，包括：语义分割模块、投射模块、计算 模块、位置确定模块；

语义分割模块用于获得目标在二维图像上的二维掩码，并将二维 掩码传送至投射模块中；

投射模块用于将二维掩码投射至三维空间中；

计算模块通过孤立森林算法计算三维目标中非目标点云并将非 目标点云剔除；

位置确定模块用于确定目标的位置。

优选的，语义分割模块通过神经网络分割分支的方法对二维图像 的二维掩码进行预测，位置确定模块通过轴向平行包围盒AAB法或 有朝向包围盒OBB法确定目标的位置。

优选的，投射模块通过视椎体结构形式将二维掩码形成的边界框 投射至三维空间中。

优选的，孤立森林包括t个孤立树，每棵孤立树都为二叉树结构， 目标的点集合为X，X＝{x₁,x₂,x₃…x_n}，

其中，x_i为目标的点 集合X的子集，x_i＝{x_i1,x_i2,x_i3…,x_im}，n为目标的点集合中点的个数； m为X子集中点的个数。

在本发明中的有益效果：本明发提出的一种三维目标检测方法， 通过预测二维图像的二维掩码，将二维掩码映射到三维空间中，然后 通过孤立森林算法找到非目标点云并去除实现估算出目标的位置姿 态，此方法有效的解决了单独使用激光雷达处理数据量大且无法实现 实时运算的问题；还解决了单独使用摄像头时对于三维目标的距离、 姿态信息估算准确率不足的问题。

附图说明

图1为本发明一种实施例的方法流程图；

图2为本发明一种实施例的孤立森林示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本 发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整 地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不 是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没 有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发 明保护的范围。

由于现有技术存在单独使用激光雷达处理数据量大，无法实现实 时运算的问题；以及单独使用摄像头对于三维目标的距离、姿态信息 信息估计准确率不足的问题。所以本发明提供了一种三维目标检测方 法，通过预测二维掩码和剔除非目标点云，准确估算出目标的位置姿 态，同时解决了实时运算和准确率不足的问题。

如图1所示，一种三维目标检测方法，包括如下步骤：

S1、基于语义分割获得目标在二维图像上的二维掩码；通过使用 神经网络MaskR-CNN分割分支预测二维掩码，其中，在Mask R-CNN 分割分支的过程中，将ROI Pooling层替换成ROI Align层，使得特 征图与原图准确的对准。在区域推荐的过程中，减少了因量化而损失 的像素偏移，一定程度上使得获取到的二维掩码更加准确。其中，将 ROI Pooling层替换成ROI Align层为现有技术，不做赘述。

S2、将二维掩码投射至三维空间中，根据相机成像原理，由于二 维图像没有深度信息，所以通过映射关系实现二维图像与空间中的点 云对应，使得二维掩码投射至三维空间中，具体包括如下步骤：

S201、分割二维掩码形成的边框；

S202、通过视椎体结构形式将二维掩码边框内的二维空间映射到 三维空间中

S203、将三维空间内所有的点云作为目标的点集合。

S3、通过孤立森林算法计算三维空间中的非目标点云并将其剔除； 建立孤立森林并通过孤立森林算法求出非目标点云。算出非目标点云 的原因为：由于分割得到的二维掩码无法做到与二维轮廓重合，所以 投影到三维空间中，夹杂部分非目标点云，非目标点云为异常点云， 异常点云都会沿着视线方向分布且与目标的距离较远，非目标点云会 严重影响物体位置的判断，所以需要将非目标点云进行去除。所以本 发明建立了孤立森林。

设孤立森林包括t个孤立树，每棵孤立树都为二叉树结构，目标 的点集合为X，X＝{x₁,x₂,x₃…x_n}，

其中，x_i为目标的点集合 X的子集，x_i＝{x_i1,x_i2,x_i3…,x_im}，n为目标的点集合中点的个数；m为 X子集中点的个数。

步骤S3包括如下步骤：

S301、从检测数据集X中随机选取Ψ个子样本点形成X的子集x_i，并放入孤立树的根节点；

S302、随机在m维度中选则一个指定维度q，在指定维度q的节 点数据中随机选择一个在指定维度q的最大值和最小值之间的切割点 p，即：

min(q)<p<max(q) (1)；

S303、将指定维度q里小于分割点p的数据划分到当前节点的左 孩子，将指定维度q里大于分割点p的数据划分到当前节点的右孩子；

S304、递归步骤S303和S304，不断构造新的孩子节点，直到孩 子节点中只有一个数据或孩子节点已到达限定高度或孩子节点上的 样本特征完全相同。

最后，根据步骤S304的结果去除非目标点云。

优选的一种实施方式，如图2中，假设a、b、c为指定维度q中 的数据，通过孤立森林后，由于仅有a中的第二个坐标小于分割点p 中的第二个坐标，所以a已经早早被b和c孤立，所以a为非目标点 云，所以需要将a去除。也就是将a点剔除。

本明发提出的一种三维目标检测方法，通过预测二维图像的二维 掩码，将二维掩码映射到三维空间中，然后通过孤立森林算法找到非 目标点云并去除实现估算出目标的位置姿态，此方法有效的解决了单 独使用激光雷达处理数据量大且无法实现实时运算的问题；还解决了 单独使用摄像头时对于三维目标的距离、姿态信息估算准确率不足的 问题。

本发明第二方面提供了一种三维目标检测系统，包括：语义分割 模块、投射模块、计算模块、位置确定模块；语义分割模块用于获得 目标在二维图像上的二维掩码，并将二维掩码传送至投射模块中；投 射模块用于将二维掩码投射至三维空间中；计算模块通过孤立森林算 法计算三维目标中非目标点云并将非目标点云剔除；位置确定模块用 于确定目标的位置。

优选的，语义分割模块通过神经网络分割分支的方法对二维图像 的二维掩码进行预测，位置确定模块通过轴向平行包围盒AAB法或 有朝向包围盒OBB法确定目标的位置。

优选的一种实施例，投射模块通过视椎体结构形式将二维掩码形 成的边界框投射至三维空间中。

优选的一种实施例，孤立森林包括t个孤立树，每棵孤立树都为 二叉树结构，目标的点集合为X，X＝{x₁,x₂,x₃…x_n}，

其中， x_i为目标的点集合X的子集，x_i＝{x_i1,x_i2,x_i3…,x_im}，n为目标的点集合 中点的个数；m为X子集中点的个数。

以上实施例不局限于该实施例自身的技术方案，实施例之间可以 相互结合成新的实施例。以上实施例仅用以说明本发明的技术方案而 并非对其进行限制，凡未脱离本发明精神和范围的任何修改或者等同 替换，其均应涵盖在本发明技术方案的范围内。

Claims (10)

1.一种三维目标检测方法，其特征在于，包括如下步骤：

S1、基于语义分割获得目标在二维图像上的二维掩码；

S2、将所述二维掩码投射至三维空间中；

S3、通过孤立森林算法计算所述三维空间中的非目标点云并将其剔除；

S4、根据所述三维空间中的目标点云确定所述目标的位置。

2.根据权利要求1所述的一种三维目标检测方法，其特征在于，所述步骤S1中获取二维掩码的方式包括：通过神经网络分割分支预测所述二维图像的二维掩码，在所述神经网络分割分支时，将ROIPooling层替换成ROIAlign层。

3.根据权利要求1所述的一种三维目标检测方法，其特征在于，所述步骤S2包括：

S201、分割所述二维掩码形成的边界框；

S202、通过视椎体结构形式将所述边界框内的二维空间映射到所述三维空间中；

S203、将所述三维空间内所有的点云作为目标的点集合。

4.根据权利要求1所述的一种三维目标检测方法，其特征在于，所述步骤S3中的孤立森林包括t个孤立树，每棵孤立树都为二叉树结构，所述目标的点集合为X，X＝{x₁,x₂,x₃…x_n}，

其中，x_i为所述目标的点集合X的子集，x_i＝{x_i1,x_i2,x_i3…,x_im}，n为所述目标的点集合中点的个数；m为X子集中点的个数。

5.根据权利要求4所述的一种三维目标检测方法，其特征在于，所述步骤S3包括如下步骤：

S301、从所述检测数据集X中随机选取Ψ个子样本点形成X的子集x_i，并放入所述孤立树的根节点；

S302、随机在所述m维度中选则一个指定维度q，在所述指定维度q的节点数据中随机选择一个在所述指定维度q的最大值和最小值之间的切割点p，即：

min(q)<p<max(q) (1)；

S303、将指定维度q里小于所述分割点p的数据划分到当前节点的左孩子，将指定维度q里大于所述分割点p的数据划分到当前节点的右孩子；

S304、递归步骤S303和S304，不断构造新的孩子节点，直到孩子节点中只有一个数据或孩子节点已到达限定高度或孩子节点上的样本特征完全相同。

6.根据权利要求1所述的一种三维目标检测方法，其特征在于，所述步骤S4为：通过轴向平行包围盒AAB法或有朝向包围盒OBB法得到目标点云的外包围立方体，根据所述外包围立方体确定所述目标的位置。

7.一种三维目标检测系统，其特征在于，包括：语义分割模块、投射模块、计算模块、位置确定模块；

所述语义分割模块用于获得目标在二维图像上的二维掩码，并将所述二维掩码传送至所述投射模块中；

所述投射模块用于将所述二维掩码投射至三维空间中；

所述计算模块通过孤立森林算法计算所述三维目标中非目标点云并将所述非目标点云剔除；

所述位置确定模块用于确定所述目标的位置。

8.根据权利要求7所述的一种三维目标检测系统，其特征在于，所述语义分割模块通过神经网络分割分支的方法对所述二维图像的二维掩码进行预测，所述位置确定模块通过轴向平行包围盒AAB法或有朝向包围盒OBB法确定所述目标的位置。

9.根据权利要求7所述的一种三维目标检测系统，其特征在于，所述投射模块通过视椎体结构形式将所述二维掩码形成的边界框投射至三维空间中。

10.根据权利要求7所述的一种三维目标检测系统，其特征在于，所述孤立森林算法的孤立森林包括t个孤立树，每棵孤立树都为二叉树结构，所述目标的点集合为X，X＝{x₁,x₂,x₃…x_n}，

其中，x_i为所述目标的点集合X的子集，x_i＝{x_i1,x_i2,x_i3…,x_im}，n为所述目标的点集合中点的个数；m为X子集中点的个数。

Images