CN110390302A - 一种三维目标检测方法 - Google Patents

Abstract

本发明公开了一种三维目标检测方法，包括以下步骤：利用二维目标检测算法在原始图像上提取目标的候选边界框；将所述候选边界框对应的深度图像区域转化为视锥体点云；对所述视锥体点云进行实例分割，获得感兴趣的目标点云；通过神经网络回归目标的三维边界框。本发明通过二维目标检测算法提取边界框后再回归到三维边界，能够提升目标检测的速度和精度，检测过程中既可以利用二维信息的特征也可以利用三维信息的特征来检测有遮挡的目标。

Description

一种三维目标检测方法

技术领域

本发明涉及目标检测技术领域，特别涉及一种三维目标检测方法。

背景技术

相对于二维上语义理解任务，三维上的语义理解任务更具有挑战且很有意义。三维目标检测在自动驾驶以及增强现实中发挥着极其重要的作用。一方面，三维目标检测可以知道目标的大致大小以及位置，对于自动驾驶来说可谓是至关重要；另一方面，在增强现实技术中需要对真实世界和虚拟世界进行结合以及互动时，对于目标的位置变化以及大小的计算尤其重要。在自动驾驶发展道路上急需一种快速且准确的目标检测算法，来保证交通的安全性和智能驾驶的可靠性。

目前，三维目标检测的算法主要基于点云，图像或者深度图像数据以及三维数据的一些重新表示的数据的基础上来处理，主要方法有：通过神经网络分别提取颜色信息和深度信息特征建立模型将二维信息的结果转化三维空间；直接利用三维点云进行目标特征提取以及检测。

近几年，深度学习的发展十分迅速，在二维上利用深度学习进行目标检测的速度和精度等方面都有很大的提升，因此驱动了利用大量数据来进行数理统计的方法来学习潜在特征。相对于二维目标检测，三维目标检测具有更大的挑战且检测精度相对落后，因此如何提高检测的速度以及检测精度是业界需要努力的方向。

发明内容

本发明的目的在于提供一种一种三维目标检测方法，其能够提高检测速度，同时能够提升检测精度。

为实现上述目的，本发明采用以下技术方案：

一种三维目标检测方法，包括以下步骤：

S1、利用二维目标检测算法在原始图像上提取目标的候选边界框；

S2、将所述候选边界框对应的深度图像区域转化为视锥体点云；

S3、对所述视锥体点云进行实例分割，获得感兴趣的目标点云；

S4、通过神经网络回归目标的三维边界框。

进一步地，所述步骤S2包括以下分步骤：

S21、提取所述候选边界框对应的深度图像区域，得到候选区域；

S22、通过相机投影矩阵将候选区域转化为视锥体，并收集所述视锥体内的所有点形成所述视锥体点云。

优选地，所述步骤S3中的实例分割通过以下方法实现：

利用两层EdgeConv卷积网络学习视锥体点云的局部和全局特征，并对每个点进行判断是否属于感兴趣的目标。

进一步地，所述步骤S4包括以下分步骤：

S41、计算所述目标点云的质心坐标值；

S42、将目标点云中的每个点的坐标值减去所述质心坐标值，将目标点云转化为局部坐标系；

S43、针对转化为局部坐标系的目标点云，利用神经回归目标的三维边界框。

优选地，所述步骤S43中的利用神经回归目标的三维边界框通过以下方法实现：

通过T-Net神经网络学习目标点云的质心与目标真实中心的残差，来预测目标的真正中心；预先定义目标的边界框大小以及角度参数，通过边界框网络回归目标的三维边界框大小以及角度。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

本发明通过二维目标检测算法提取边界框后再回归到三维边界，能够提升目标检测的速度和精度，检测过程中既可以利用二维信息的特征也可以利用三维信息的特征来检测有遮挡的目标。本发明通过考虑点云之间的联系，利用图卷积网络来学习目标的局部特征，有更好的实例分割细粒度，能更好的学习三维目标的边界框。本发明可以用于室内和室外场景的目标检测，对于小目标的召回率更高。

附图说明

图1为本发明的流程示意图；

图2示出了实例分割采用的卷积网络。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

请参阅图1，本发明公开了一种三维目标检测方法，其包括以下步骤：

S1、利用二维目标检测算法在原始图像上提取目标的候选边界框。

原始图像为深度深度图像，候选边界框为二维边界框。提取候选边界框的目的是在其边界框内的部分提取到点云。二维目标检测算法采用现有的检测算法，只要能够实现获取目标的二维边界框目的即可，本发明不做具体限定。

S2、将候选边界框对应的深度图像区域转化为视锥体点云。该步骤通过以下分步骤实现：

S21、提取候选边界框对应的深度图像区域，得到候选区域。

S22、通过相机投影矩阵将候选区域转化为视锥体(有深度传感器指定的近平面和远平面)，并收集视锥体内的所有点形成视锥体点云。投影矩阵在采集图像数据以及三维信息时已经给出，因此可以根据投影矩阵来截取候选区域的深度信息并将其转化为点云。

S3、对视锥体点云进行实例分割，获得感兴趣的目标点云。实例分割具体通过以下方法实现：

利用两层EdgeConv卷积网络学习视锥体点云的局部和全局特征，并对每个点进行判断是否属于感兴趣的目标。

采用分割算法的目的是为了分割出感兴趣的目标点云，因此分割的效果将影响最终回归目标的三维边界框。利用深度学习直接在原始点云上进行分类分割在近几年得到快速的发展，然而在实例分割上还有许多挑战。许多分割算法并没有考虑到点云之间的相关性，导致实例分割的细粒度很差。因此，在考虑点之间的几何相关性后，利用图卷积神经网络进行实例分割能有更好的分割细粒度。

神经网络模块EdgeConv直接使用点云作为输入，可以获取足够多的局部信息，可用于分类分割任务。如图2所示，我们将其扩展到实例分割，通过将局部信息和全局信息结合起来来判断候选区域的点云中每个点是否属于感兴趣目标来进行实例分割。在考虑点之间的几何相关信息后，实例分割的效果有了显著提升，分割出来的目标有更好的完整度。

因为视锥体可能朝向不同方向，可能导致点云的位置变化很大，所以在进行实例分割之前，需要将视锥体点云归一化，使视锥体的中心轴线和图像平面正交。

S4、通过神经网络回归目标的三维边界框。该步骤通过以下分步骤实现：

S41、计算目标点云的质心坐标值。

S42、将目标点云中的每个点的坐标值减去质心坐标值，将目标点云转化为局部坐标系。通过坐标系转换能够有效的提升置换不变性。

S43、针对转化为局部坐标系的目标点云，利用神经回归目标的三维边界框。通过T-Net神经网络学习目标点云的质心与目标真实中心的残差，来预测目标的真正中心；预先定义目标的边界框大小以及角度参数，通过边界框网络回归目标的三维边界框大小以及角度。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种三维目标检测方法，其特征在于，包括以下步骤：

S1、利用二维目标检测算法在原始图像上提取目标的候选边界框；

S2、将所述候选边界框对应的深度图像区域转化为视锥体点云；

S3、对所述视锥体点云进行实例分割，获得感兴趣的目标点云；

S4、通过神经网络回归目标的三维边界框。

2.如权利要求1所述的一种三维目标检测方法，其特征在于，所述步骤S2包括以下分步骤：

S21、提取所述候选边界框对应的深度图像区域，得到候选区域；

S22、通过相机投影矩阵将候选区域转化为视锥体，并收集所述视锥体内的所有点形成所述视锥体点云。

3.如权利要求1所述的一种三维目标检测方法，其特征在于，所述步骤S3中的实例分割通过以下方法实现：

利用两层EdgeConv卷积网络学习视锥体点云的局部和全局特征，并对每个点进行判断是否属于感兴趣的目标。

4.如权利要求1、2或3所述的一种三维目标检测方法，其特征在于，所述步骤S4包括以下分步骤：

S41、计算所述目标点云的质心坐标值；

S42、将目标点云中的每个点的坐标值减去所述质心坐标值，将目标点云转化为局部坐标系；

S43、针对转化为局部坐标系的目标点云，利用神经回归目标的三维边界框。

5.如权利要求4所述的一种三维目标检测方法，其特征在于，所述步骤S43中的利用神经回归目标的三维边界框通过以下方法实现：

通过T-Net神经网络学习目标点云的质心与目标真实中心的残差，来预测目标的真正中心；预先定义目标的边界框大小以及角度参数，通过边界框网络回归目标的三维边界框大小以及角度。