CN112529917A - 一种三维目标分割方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种三维目标分割方法、装置、设备和存储介质。其中，三维目标分割方法包括：利用目标检测方式获取目标对象在待检测图像上的像素点集合；目标检测方式为配置目标掩码预测分支的检测网络实现的检测方式；根据像素点集合确定对应的目标空间点集合；根据目标空间点集合对待检测图像所对应的三维目标进行分割。本发明实施例根据目标对象在待检测图像上的像素点集合确定对应的目标空间点集合，根据目标空间点集合对三维目标进行分割，解决现有方法计算量较大，实时性较差，近距离或粘连物体难以准确分割的问题，实现了对三维目标的快速检测和分割。

Description

一种三维目标分割方法、装置、设备和存储介质

技术领域

本发明实施例涉及检测技术，尤其涉及一种三维目标分割方法、装置、设备和存储介质。

背景技术

伴随着工业的发展和社会的进步，汽车已经称为当下主要的交通工具。随着人们对更安全，更舒适，更智能的驾驶体验的追求，自动驾驶技术应运发展起来，计算机技术、人工智能技术及传感器技术的飞速发展，也为此提供了强有力的保障。早期的自动驾驶车辆通常以摄像头作为主要传感器，基于视觉的目标检测虽然具有直观性的优点，但却无法获取深度信息，即环境的空间信息，所以单一视觉的部署方案存在着不可忽视的缺陷。随着传感器技术的发展，激光雷达开始逐渐被应用作为自动驾驶的传感器，与摄像头、超声波雷达等一起共同构成自动驾驶系统中的传感器部署方案。激光雷达可以获取空间的三维信息并且精度较高，获取目标在空间中的三维位置信息，对自动驾驶的决策及控制至关重要。

目前，空间三维信息主要是由激光雷达获取的点云数据，激光雷达物体识别的任务是根据输入的激光点云，输出目标物体的三维包围框，包含中心点的坐标，包围框的尺寸、朝向角等信息。对点云进行空间三维目标的检测，主要有两种方法：其一，采用传统的点云处理方法，对点云数据进行分割，主要方法有聚类，基于欧式距离的点云分割，基于RANSAC的目标分割等，针对近距离或粘连的两个或多个目标，激光雷达扫描所得的点云间无明显的间隔，通常是成为一个整体的状态，面对这种情况，传统的点云分割方法无法将单个目标独立的分割出来，即这种方法具有效率低，无法准确分割近距离目标的缺点；其二，常用的三维目标检测方法，是直接对获取的点云进行基于深度学习的目标检测，通过深度学习网络对点云数据进行训练，对激光雷达点云物体直接进行识别。基于深度学习的目标检测，根据模型输入的形式可以分为纯点云输入、将点云转换为体素网格作为输入，前者由于数据量过大，对计算能力及内存的要求较高，故可用作室内小范围场景，不适合用于室外道路场景。后者虽然通过划分体素网格的方法在一定程度上减少的数据量，但3D卷积的时间成本过高，导致这种方法不具备实时性，自然不适于自动驾驶的应用需求。此外，直接对点云进行深度学习，点云数据集的预处理及标注工作量较大，且模型训练的结果直接影响目标检测的性能，即具有计算量大，耗时高，缺乏实时性、检测结果较差的缺点。

发明内容

有鉴于此，本发明提供一种三维目标分割方法、装置、设备和存储介质，解决了近距离目标的准确分割问题，实现了对三维目标的快速检测和分割。

第一方面，本发明实施例提供了一种三维目标分割方法，包括：

利用目标检测方式获取目标对象在待检测图像上的像素点集合；所述目标检测方式为配置目标掩码预测分支的检测网络实现的检测方式；

根据所述像素点集合确定对应的目标空间点集合；

根据所述目标空间点集合对所述待检测图像所对应的三维目标进行分割。

进一步的，所述三维目标分割方法，还包括：

通过第一标定方式标定相机内部参数，以及通过第二标定方式标定相机与激光雷达之间的外部参数。

进一步的，所述利用目标检测方式获取目标对象在待检测图像上的像素点集合，包括：

利用卷积神经网络提取待检测图像所对应的特征图；

获取所述特征图上的至少两个感兴趣区域ROI，作为候选ROI；

对所述候选ROI进行筛选，得到目标ROI；

对所述目标ROI进行全卷积神经网络操作，生成每个目标对象对应的掩码；

根据所述掩码和所述待检测图像之间的对应关系，得到目标对象在待检测图像上的像素点集合。

进一步的，根据所述像素点集合确定对应的目标空间点集合，包括：

根据预先标定的所述相机内部参数，将所述像素点集合转换到相机坐标系下的空间点集合；

根据预先标定的所述相机与激光雷达之间的外部参数，将所述相机坐标系下的空间点集合转换到的目标空间点集合。

进一步的，所述相机内部参数的标定过程，包括：

启动相机并播放视频流；

在相机的视野范围内移动标定板，直至移动至目标位置为止；

将相机当前的内部参数作为相机的标定参数。

进一步的，所述相机与激光雷达之间的外部参数的标定过程，包括：

在目标图像中随机查找一个与点云数据中的点相匹配的像素点；

依次点击所述目标图像中的像素点和像素点所对应的3D点，构成一组点对，直至构成预设组数的点对；

根据所述预设组数的点对得到旋转矩阵和平移向量，并作为相机与激光雷达之间的外部参数。

进一步的，所述对所述候选ROI进行筛选，得到目标ROI，包括：

将所述候选ROI输入至候选区域网络RPN；

利用所述RPN网络对所述候选ROI进行二值分类和包围框回归，得到目标ROI。

第二方面，本发明实施例还提供了一种三维目标分割装置，包括：

获取模块，用于利用目标检测方式获取目标对象在待检测图像上的像素点集合；所述目标检测方式为配置目标掩码预测分支的检测网络实现的方式；

确定模块，用于根据所述像素点集合确定对应的目标空间点集合；

分割模块，用于根据所述目标空间点集合对所述待检测图像所对应的三维目标进行分割。

第三方面，本发明实施例还提供了一种三维目标分割设备，包括：存储器，以及一个或多个主控制器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个主控制器执行，使得所述一个或多个主控制器实现如本发明实施例中任一所述的三维目标分割方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的三维目标分割方法。

本发明实施例利用目标检测方式获取目标对象在待检测图像上的像素点集合；目标检测方式为配置目标掩码预测分支的检测网络实现的检测方式；根据像素点集合确定对应的目标空间点集合；根据目标空间点集合对待检测图像所对应的三维目标进行分割。本发明实施例根据目标对象在待检测图像上的像素点集合确定对应的目标空间点集合，根据目标空间点集合对三维目标进行分割，解决现有方法计算量较大，实时性较差，近距离或粘连物体难以准确分割的问题，实现了对三维目标的快速检测和分割。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例一提供的一种三维目标分割方法的流程图；

图2是本发明实施例二提供的一种三维目标分割方法的流程图；

图3是本发明实施例三提供的一种三维目标分割方法的流程图；

图4是本发明实施例四提供的一种三维目标分割方法的流程图；

图5是本发明实施例四提供的目标检测方式的流程图；

图6是本发明实施例四提供的相机与激光雷达联合标定示意图；

图7是本发明实施例四提供的另一种三维目标分割方法流程图；

图8是本发明实施例五提供的一种三维目标分割装置的结构示意图；

图9是本发明实施例六提供的一种三维目标分割设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例一

图1是本发明实施例一提供的一种三维目标分割方法的流程图，本实施例可适用于结合图像实例分割三维目标的情况，该方法可以由本发明实施例中的三维目标分割装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：

S110、利用目标检测方式获取目标对象在待检测图像上的像素点集合；目标检测方式为配置目标掩码预测分支的检测网络实现的检测方式。

其中，目标对象指的是需要进行空间三维分割的实物。待检测图像指的是获取的目标对象所内嵌的二维图像，即在待检测图像中包含目标对象。在实际操作过程中，二维图像可以是彩色图像，也可以是灰度图像，对此并不进行限定。待检测图像的获取方式可以是通过具有拍摄功能的设备获取。比如，具备拍摄功能的设备可以为相机、智能手机、拍立得等。优选的，本实施例中的设备是相机。本实施例中仅对待检测图像的获取方式进行举例说明，而非限定。其中检测网络指的是基于深度学习的目标检测网络，但这种检测网络返回的结果是目标对象的类别信息及包围框的位置信息，只能获得目标对象大致的中心位置，无法对目标对象进行精确的分割。因此，在本实施例中，为原本的检测网络增加了目标掩码预测网络分支，以实现对目标对象进行精确的分割。

具体的，以设备是相机为例进行说明。通过相机拍摄目标实物对象，将拍摄到的二维图像作为待检测图像。将待检测图像输入到配置目标掩码预测分支的检测网络中去，获取待检测图像对应的特征图，对特征图中的每个点设定感兴趣区域(Region Of Interest，ROI)个数，以获取设定个数的候选ROI，将候选的ROI输入区域生成网络(Region ProposalNetwork，RPN)网络进行二值分类和包围框的回归，过滤掉不完整以及非目标对象的ROI。对剩下的ROI进行全卷积神经网络操作，可以理解为先将原图和特征图的像素对应起来，然后将特征图和固定的特征对应起来，除了对这些ROI进行分类和包围框回归操作外，对每一个ROI进行全卷积神经网络操作，生成每个目标对应的掩码，实现分割任务。通过对掩码和原图进行运算，即可获得目标对象对应的像素点集合。

S120、根据像素点集合确定对应的目标空间点集合。

其中，目标空间点集合指的是目标对象的三维空间点集合。在实施例中，三维空间点集合可以通过激光雷达获取。与像素点集合对应的目标空间点集合指的是目标对象的二维图像上的像素点集合与目标对象三维空间点集合相对应的空间点集合。

具体的，通过激光雷达获取目标实物对象的三维空间点集合。在本实施例中，通过激光雷达获取三维空间点集合的方式为现有技术，在此不做具体限定。为了将目标对象的二维图像的中像素点集合与三维空间点集合对应起来，需要对相机以及激光雷达进行标定。在实际操作过程中，可以通过对相机内部参数的标定，将相机拍摄的二维图像的图像坐标系下的像素点集合转换到相机坐标系下，以及通过相机与激光雷达间的外部参数标定，将相机坐标系下的目标对象的空间点变换到激光雷达坐标系下。通过对相机内部参数的标定和相机与激光雷达间的外部参数标定，可以建立二维图像所对应像素点集合与三维立体所对应三维空间点集合之间的对应关系，从而根据目标对象的像素点集合确定对应的目标对象的三维空间点集合中的目标空间点集合。

S130、根据目标空间点集合对待检测图像所对应的三维目标进行分割。

具体的，通过上述步骤对相机和激光雷达进行联合标定，建立了二维图像像素点集合与三维空间点集合的对应关系，由此可以由检测到的目标对象的像素点集合得到对应的目标空间点集合。根据对应关系，在对待检测图像进行分割时，可以对应的实现对目标空间点集合的分割，进一步实现对三维目标的分割。

示例性的，目标对象为草坪上休息的人。当然，目标对象可以为草坪上休息的所有人。首先，通过相机获取当前草坪场景的二维图像，利用目标检测的方式获取目标对象(即人)的像素点集合。通过激光雷达获取相同草坪场景下的三维空间点集合。这里的三维空间点集合包含了当前草坪场景中的所有事物的空间点集合。通过对相机内部参数的标定和相机与激光雷达间的外部参数标定，可以建立二维图像中目标对象的像素点集合与三维空间点集合的对应关系。也就是说，基于对应关系，可以根据目标对象的像素点集合确定草坪场景的三维空间点集合中目标对象的目标空间点集合，实现对三维空间点集合的分割。

本发明实施例利用目标检测方式获取目标对象在待检测图像上的像素点集合；目标检测方式为配置目标掩码预测分支的检测网络实现的检测方式；根据像素点集合确定对应的目标空间点集合；根据目标空间点集合对待检测图像所对应的三维目标进行分割。本发明实施例根据目标对象在待检测图像上的像素点集合确定对应的目标空间点集合，根据目标空间点集合对三维目标进行分割，解决现有方法计算量较大，实时性较差，近距离或粘连物体难以准确分割的问题，实现了对三维目标的快速检测和分割。

实施例二

图2是本发明实施例二提供的一种三维目标分割方法的流程图，本实施例可适用于结合图像实例分割三维目标的情况，本实施例以上述实施例为基础进行了优化，未在本实施例中详尽描述的技术细节可参见上述任意实施例。在本实施例中，利用目标检测方式获取目标对象在待检测图像上的像素点集合，包括：利用卷积神经网络提取待检测图像所对应的特征图；获取特征图上的至少两个感兴趣区域ROI，作为候选ROI；对候选ROI进行筛选，得到目标ROI；对目标ROI进行全卷积神经网络操作，生成每个目标对象对应的掩码；根据掩码和待检测图像之间的对应关系，得到目标对象在待检测图像上的像素点集合。

如图2所示，本实施例的方法具体包括如下步骤：

S210、利用卷积神经网络提取待检测图像所对应的特征图。

具体的，将待检测图像输入卷积神经网络中，通过卷积神经网络识别待检测图像的特征，并提取待检测图像所对应的特征图。

S220、获取特征图上的至少两个感兴趣区域ROI，作为候选ROI。

其中，候选ROI指的是可能包含目标对象的ROI。

具体的，预先设定感兴趣区域个数，将特征图分割为预设个数的ROI，将这些ROI作为候选ROI。在本实施例中，对特征图像的分割方式为随机的。因此，所获取的ROI可能是没有包含目标对象的区域，也可能是包含不完整目标对象的区域。

S230、对候选ROI进行筛选，得到目标ROI。

具体的，将候选ROI输入至候选区域网络RPN；利用RPN网络对候选ROI进行二值分类和包围框回归，得到目标ROI。

其中，目标ROI指的是包含完整目标对象的ROI。

具体的，为了将候选ROI中没有包含目标对象的ROI或者包含不完整目标对象的ROI去除掉，本实施例中利用RPN网络对候选ROI进行了二值分类和包围框回归，得到了包含有完整目标对象的ROI。

S240、对目标ROI进行全卷积神经网络操作，生成每个目标对象对应的掩码。

其中，本实施例中的卷积神经网路是配置了目标掩码预测分支的检测网络，目标掩码预测分支是一个作用于每一个ROI的小的全卷积神经网络，以像素为单位预测分割掩码。

具体的，将通过上述步骤S230获得的目标ROI输入目标掩码预测分支，目标掩码预测分支对每一个目标ROI进行全卷积神经网络操作，生成每个目标ROI对应的掩码。每个包围框都预测了所有分类的掩码,其中掩码不是0就是1,预测的掩码与类别预测的包围框是对应的。

S250、根据掩码和待检测图像之间的对应关系，得到目标对象在待检测图像上的像素点集合。

S260、根据像素点集合确定对应的目标空间点集合。

S270、根据目标空间点集合对待检测图像所对应的三维目标进行分割。

本发明实施例的技术方案，通过配置了目标掩码预测分支的检测网络对待检测图像进行目标检测，以实现对目标对象精确的分割。

实施例三

图3是本发明实施例三提供的一种三维目标分割方法的流程图，本实施例可适用于结合图像实例分割三维目标的情况，本实施例以上述实施例为基础进行了优化，未在本实施例中详尽描述的技术细节可参见上述任意实施例。在本实施例中，三维目标分割方法的方法，还包括：通过第一标定方式标定相机内部参数，以及通过第二标定方式标定相机与激光雷达之间的外部参数。根据像素点集合确定对应的目标空间点集合，包括：根据预先标定的相机内部参数，将像素点集合转换到相机坐标系下的空间点集合；根据预先标定的相机与激光雷达之间的外部参数，将相机坐标系下的空间点集合转换到的目标空间点集合。

如图3所示，本实施例的方法具体包括如下步骤：

S310、利用目标检测方式获取目标对象在待检测图像上的像素点集合。

S320、通过第一标定方式标定相机内部参数，以及通过第二标定方式标定相机与激光雷达之间的外部参数。

具体的，相机内部参数的标定过程，包括：启动相机并播放视频流；在相机的视野范围内移动标定板，直至移动至目标位置为止；将相机当前的内部参数作为相机的标定参数。

其中，视频流指的是录像模式。标定板指的是用来标定的参考目标，可以是参考目标人，也可以是参考目标物。

具体的，本实施例中是采用现有的Autoware软件来进行相机内部标定。Authorware是一种解释型、基于流程的图形编程语言，Authorware软件被用于创建互动的程序，整合了声音、文本、图形、简单动画，以及数字电影。在整个标定过程中需要借助棋盘格建立坐标对应关系。首先标定相机内部参数，开启相机的录像模式播放视频流。固定相机不动，在相机视野范围内移动标定板，同时调整相机的内部参数，直至检测到清晰的参考目标人，对相机参数进行标注，并保存标定结果。

进一步的，相机与激光雷达之间的外部参数的标定过程，包括：在目标图像中随机查找一个与点云数据中的点相匹配的像素点；依次点击目标图像中的像素点和像素点所对应的3D点，构成一组点对，直至构成预设组数的点对；根据预设组数的点对得到旋转矩阵和平移向量，并作为相机与激光雷达之间的外部参数。

其中，目标图像指的是相机坐标系下的目标对象的图像。点云数据可以是通过激光雷达获取的目标对象的三维坐标，其中也可以含有颜色信息或者反射强度信息。

具体的，本实施例中是采用现有的Rviz软件来可视化传感器的数据和状态信息。首先，通过激光雷达获取目标对象的点云数据，将点云数据传输到预先安装有Rviz软件的处理设备中去。处理智能设备可以是计算机，也可以是具备数据处理功能的终端等。然后，开启Rviz软件显示通过激光雷达获得的点云数据和已通过相机内部参数矫正过的目标图像，在目标图像中随机寻找一个可以匹配点云数据中的点的像素点，依次点击目标图像中的像素点和Rviz软件中对应的3D点，构成一组点对，直至构成预设组数的点对。其中，优选预设组数为9组。最后，可以利用最近点迭代算法ICP，对像素点-空间点点对进行操作，得到一个旋转矩阵R及一个平移向量共同组成变换矩阵，用于将相机坐标系下的像素点变换到激光雷达坐标系下。在本实施例中，并不限定于利用ICP对像素点-空间点点对进行操作，仅用来举例说明。

S330、根据预先标定的相机内部参数，将像素点集合转换到相机坐标系下的空间点集合。

具体的，利用上述步骤中获取的相机内部参数，将目标对象的二维图像上的像素点集合转换到相机坐标系下的空间点集合。

S340、根据预先标定的相机与激光雷达之间的外部参数，将相机坐标系下的空间点集合转换到的目标空间点集合。

具体的，利用上述步骤中获取的相机与激光雷达之间的外部参数变换矩阵，将相机坐标系下的空间点集合乘以变换矩阵，转换到激光雷达坐标系下的目标空间点集合。

S350、根据目标空间点集合对待检测图像所对应的三维目标进行分割。

本发明实施例的技术方案，通过第一标定方式和第二标定方式建立了相机与激光雷达之间的坐标转换关系。通过转换关系能够将对二维图像的目标检测分割对应转换到三维空间中，以此实现对三维目标的检测和分割。

实施例四

图4是本发明实施例四提供的一种三维目标分割方法的流程图，本实施例为上述实施例中三维目标分割方法的一种实例应用，但不限于此。具体的，参考图4，该三维目标分割方法具体包括如下步骤：

如图4所示，本实施例的方法具体包括如下步骤：

S410、对待检测图像进行目标检测，获取目标对象对应的像素点集合。

具体的，现有技术中对图像进行目标检测的方式有很多，大部分是基于深度学习的目标检测方法。通过该检测方法返回的结果都是目标的类别信息及包围框的位置信息，仅能获得目标大致的中心位置，无法对目标进行精确的分割。因此在本实施例中，需要对目标进行实例分割，为原本的检测网络增加目标掩码预测网络分支，并行于当前的边界框识别工作。图5是本发明实施例四提供的目标检测方式的流程图。首先，对相机采集的二维图像进行预处理，将预处理好的待检测图像输入到神经网络(即CNN)中获取对应的特征图；接着，对特征图中的每个点设定预定个的ROI以获取多个候选ROI；将这些候选的ROI送入RPN网络进行二值分类和包围框的回归，过滤掉一部分候选的ROI；然后，对剩下的ROI进行ROIAlign操作，即先将原图和特征图的像素对应起来，然后将特征图和固定的特征对应起来，即得到固定尺寸特征图(比如，7*7)；最后，除了对这些ROI进行分类和包围框回归操作外，对每一个ROI进行全卷积神经网络操作，生成每个目标对应的掩码(Mask)，实现分割任务。通过对Mask和原图进行运算，即可获得目标对应的像素集合。

S420、通过标定建立像素点集合与目标空间点集合的映射关系。

具体的，通过上述步骤可以获取在待检测图像上的像素点集合，要根据二维图像像素点集合获取目标对象在三维空间对应的点，就必须建立二维图像像素点集合与三维空间点的对应关系。本实施例中采用标定的方式来实现这一目的。

在一实施例中，图6是本发明实施例四提供的相机与激光雷达联合标定示意图。其中，标定主要分为两个部分，一个是相机内部参数的标定，用于将二维图像坐标系下的像素点转换到相机坐标系下的空间点，另一个则是相机与激光雷达间的外部参数的标定，用于将相机坐标系下的空间点变换到激光雷达坐标系下。对相机内部参数的标定采用的是Autoware软件，标定过程中需要借助棋盘格建立坐标对应关系。首先标定相机内部参数，开启相机播放视频流，在相机视野范围内移动标定板，直至检测到清晰的图像即可进行标注，并保存标定结果。对相机和激光雷达的间的外部参数标定采用的是Rviz软件。打开Rviz软件显示激光雷达获得的点云和已通过相机内部参数矫正过的目标图像，在目标图像中寻找一个可以匹配点云中的点的像素点，依次点击目标图像中的像素点和Rviz中对应的3D点，至少寻找9组这样的像素点-空间点点对进行操作，即可完成外部参数的标定，得到一个旋转矩阵R及一个平移向量，可以共同组成变换矩阵，用于将相机坐标系下的点变换到激光雷达坐标系下。

S430、获取目标对象的三维点云数据。

具体的，通过步骤S410对待检测图像上的目标对象进行目标检测并获取目标对应的像素点集合，通过步骤S420建立了二维图像像素点与激光雷达坐标系的三维空间点间的转换关系，由此可以由每个检测到的目标的像素点去索引得到目标对象对应的目标空间点集合，实现对目标对象点云的准确分割。获取目标对象对应的点云后，后续就可以进行特征检测、配准等操作获取更多目标的空间信息，提升三维空间检测性能。

图7是本发明实施例四提供的另一种三维目标分割方法流程图，如图7所示，首先对视觉系统采集到的图像进行基于深度学习的目标检测，实现实例分割，获取每个检测到的目标对应的像素信息，之后通过标定求解视觉系统与激光雷达系统之间的转换关系，建立二维像素点到三维空间的映射，根据每个目标对应的像素点集合获取对应的三维空间点的集合，实现对目标准确有效的三维分割。

本发明实施例四提供的三维目标分割方法，在上述实施例的基础上进行应用举例。首先对待检测图像进行目标检测实现实例分割，然后根据标定建立相机与激光雷达间的坐标转换关系，由检测到的目标对象对应的像素点集合去分割点云中对应的空间点。实现了三维目标的快速检测，解决近距离目标的准确分割问题。

实施例五

图8是本发明实施例五提供的一种三维目标分割装置的结构示意图。如图8所示，该三维目标分割装置具体包括：获取模块510、确定模块520和分割模块530。

其中，获取模块510，用于利用目标检测方式获取目标对象在待检测图像上的像素点集合；目标检测方式为配置目标掩码预测分支的检测网络实现的方式；

确定模块520，用于根据像素点集合确定对应的目标空间点集合；

分割模块530，用于根据目标空间点集合对待检测图像所对应的三维目标进行分割。

本发明实施例通过获取模块利用目标检测方式获取目标对象在待检测图像上的像素点集合；目标检测方式为配置目标掩码预测分支的检测网络实现的方式；通过确定模块根据像素点集合确定对应的目标空间点集合；通过分割模块根据目标空间点集合对待检测图像所对应的三维目标进行分割。本发明实施例根据目标对象在待检测图像上的像素点集合确定对应的目标空间点集合，根据目标空间点集合对三维目标进行分割，解决现有方法计算量较大，实时性较差，近距离或粘连物体难以准确分割的问题，实现了对三维目标的快速检测和分割。

在上述实施例的基础上，所述装置还包括标定模块，用于通过第一标定方式标定相机内部参数，以及通过第二标定方式标定相机与激光雷达之间的外部参数。

在上述实施例的基础上，获取模块510，包括：

特征图获取单元，用于利用卷积神经网络提取待检测图像所对应的特征图。

候选ROI获取单元，用于获取特征图上的至少两个感兴趣区域ROI，作为候选ROI。

目标ROI确定单元，用于对候选ROI进行筛选，得到目标ROI。

掩码生成单元，用于对目标ROI进行全卷积神经网络操作，生成每个目标对象对应的掩码。

像素点集合确定单元，用于根据掩码和待检测图像之间的对应关系，得到目标对象在待检测图像上的像素点集合。

在上述实施例的基础上，确定模块520，包括：

第一转换单元，用于根据预先标定的相机内部参数，将像素点集合转换到相机坐标系下的空间点集合。

第二转换单元，用于根据预先标定的相机与激光雷达之间的外部参数，将相机坐标系下的空间点集合转换到的目标空间点集合。

进一步的，相机内部参数的标定过程，包括：

启动相机并播放视频流；

在相机的视野范围内移动标定板，直至移动至目标位置为止；

将相机当前的内部参数作为相机的标定参数。

进一步的，相机与激光雷达之间的外部参数的标定过程，包括：

在目标图像中随机查找一个与点云数据中的点相匹配的像素点；

依次点击目标图像中的像素点和像素点所对应的3D点，构成一组点对，直至构成预设组数的点对；

根据预设组数的点对得到旋转矩阵和平移向量，并作为相机与激光雷达之间的外部参数。

进一步的，目标ROI确定单元，还用于将候选ROI输入至候选区域网络RPN；利用RPN网络对候选ROI进行二值分类和包围框回归，得到目标ROI。

本实施例所提供的三维目标分割装置可执行本发明任意实施例所提供的三维目标分割方法，具备执行三维目标分割方法相应的功能模块和有益效果。

实施例六

图9是本发明实施例六提供的一种三维目标分割设备的结构示意图。如图9所示，该设备包括主控制器610、存储器620、输入装置630和输出装置640；设备中主控制器610的数量可以是一个或多个，图9中以一个主控制器610为例；设备中的主控制器610、存储器620、输入装置和630输出装置640可以通过总线或其他方式连接，图9中以通过总线连接为例。

存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的三维目标分割方法对应的程序模块(例如，三维目标分割装置中的获取模块510、确定模块520和分割模块530)。主控制器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的三维目标分割方法。

存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于主控制器610远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置630可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。

实施例七

本发明实施例七还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种三维目标分割方法，该方法包括：

利用目标检测方式获取目标对象在待检测图像上的像素点集合；目标检测方式为配置目标掩码预测分支的检测网络实现的检测方式；

根据像素点集合确定对应的目标空间点集合；

根据目标空间点集合对待检测图像所对应的三维目标进行分割。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的三维目标分割方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述三维目标分割装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种三维目标分割方法，其特征在于，包括：

利用目标检测方式获取目标对象在待检测图像上的像素点集合；所述目标检测方式为配置目标掩码预测分支的检测网络实现的检测方式；

根据所述像素点集合确定对应的目标空间点集合；

根据所述目标空间点集合对所述待检测图像所对应的三维目标进行分割。

2.根据权利要求1所述的方法，其特征在于，所述方法，还包括：

通过第一标定方式标定相机内部参数，以及通过第二标定方式标定相机与激光雷达之间的外部参数。

3.根据权利要求1所述的方法，其特征在于，所述利用目标检测方式获取目标对象在待检测图像上的像素点集合，包括：

利用卷积神经网络提取待检测图像所对应的特征图；

获取所述特征图上的至少两个感兴趣区域ROI，作为候选ROI；

对所述候选ROI进行筛选，得到目标ROI；

对所述目标ROI进行全卷积神经网络操作，生成每个目标对象对应的掩码；

根据所述掩码和所述待检测图像之间的对应关系，得到目标对象在待检测图像上的像素点集合。

4.根据权利要求2所述的方法，其特征在于，根据所述像素点集合确定对应的目标空间点集合，包括：

根据预先标定的所述相机内部参数，将所述像素点集合转换到相机坐标系下的空间点集合；

根据预先标定的所述相机与激光雷达之间的外部参数，将所述相机坐标系下的空间点集合转换到的目标空间点集合。

5.根据权利要求2所述的方法，其特征在于，所述相机内部参数的标定过程，包括：

启动相机并播放视频流；

在相机的视野范围内移动标定板，直至移动至目标位置为止；

将相机当前的内部参数作为相机的标定参数。

6.根据权利要求2所述的方法，其特征在于，所述相机与激光雷达之间的外部参数的标定过程，包括：

在目标图像中随机查找一个与点云数据中的点相匹配的像素点；

依次点击所述目标图像中的像素点和像素点所对应的3D点，构成一组点对，直至构成预设组数的点对；

根据所述预设组数的点对得到旋转矩阵和平移向量，并作为相机与激光雷达之间的外部参数。

7.根据权利要求3所述的方法，其特征在于，所述对所述候选ROI进行筛选，得到目标ROI，包括：

将所述候选ROI输入至候选区域网络RPN；

利用所述RPN网络对所述候选ROI进行二值分类和包围框回归，得到目标ROI。

8.一种三维目标分割装置，其特征在于，包括：

获取模块，用于利用目标检测方式获取目标对象在待检测图像上的像素点集合；所述目标检测方式为配置目标掩码预测分支的检测网络实现的方式；

确定模块，用于根据所述像素点集合确定对应的目标空间点集合；

分割模块，用于根据所述目标空间点集合对所述待检测图像所对应的三维目标进行分割。

9.一种三维目标分割设备，其特征在于，包括：存储器，以及一个或多个主控制器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个主控制器执行，使得所述一个或多个主控制器实现如权利要求1-7中任一所述的三维目标分割方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的三维目标分割方法。

Images