CN116112656A - 一种获取点云图的方法 - Google Patents

Abstract

一种获取点云图的方法，其特征在于，所述方法包括：通过2D摄像头拍摄获得2D图像；通过3D TOF摄像图获得3D点云图；根据所述2D图像确定目标像素位置；将所述目标像素位置对应到所述3D点云图中，得到非理想点云图；对所述非理想点云图进行补全，得到理想点云图；通过如此的方法可以解决现有的点云物体目标检测中点云图不理想的问题。

Description

一种获取点云图的方法

技术领域

本申请涉及探测技术领域，特别涉及一种获取点云图的方法。

背景技术

与传统摄像头相比，深度摄像头(又可称为深度相机或者3D摄像头)可检测出图像中每个点离摄像头的距离，即可检测出拍摄空间的景深距离，如此可更便于还原真实场景，实现场景建模等应用。典型的，深度摄像头可采用结构光、双目视觉或者光飞行时间法(Time Of Flight，TOF)三种方案。

利用TOF技术成像的设备被称为TOF相机(或TOF摄像头)，TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器(TOF芯片)、控制电路以及处理电路等几部单元组成。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。

TOF技术采用主动光探测方式，与一般光照需求不一样的是，TOF照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量，因此，TOF相机的测量结果受被测物体性质的影响很大，即受被测物体的反射率影响很大，因此在实际使用中，TOF镜头得到的点云质量往往不是很好，尤其是一些低反射率的面，往往得不到实际反映物体特征的点云，鉴于这种情况，亟需一种方法实现较好的点云物体目标检测。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种获取点云图的方法，以解决现有的点云物体目标检测中点云图不理想的问题。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种获取点云图的方法，其特征在于，所述方法包括：

通过2D摄像头拍摄获得2D图像；

通过3D TOF摄像图获得3D点云图；

根据所述2D图像确定目标像素位置；

将所述目标像素位置对应到所述3D点云图中，得到非理想点云图；

对所述非理想点云图进行补全，得到理想点云图。

可选的，所述2D摄像头与所述3D摄像头视场角一样；

可选的，所述2D摄像头与所述3D摄像头平行放置，间距为L；

可选的，将所述3D点云图尺寸变换到与所述2D图像尺寸大小相同；

可选的，所述3D点云图的划分网格与所述2D图像的划分网络大小相同；

可选的，通过对所述2D图像进行图像检测和分割确定所述目标像素的位置；

可选的，通过变分关联点云补全网络对所述非理想点云图进行补全；

可选的，所述2D摄像头获得的2D图像与所述3D摄像头拍摄的图像之间的水平偏差为L。

本申请的有益效果是：

一种获取点云图的方法，其特征在于，所述方法包括：

通过2D摄像头拍摄获得2D图像；

通过3D TOF摄像图获得3D点云图；

根据所述2D图像确定目标像素位置；

将所述目标像素位置对应到所述3D点云图中，得到非理想点云图；

对所述非理想点云图进行补全，得到理想点云图；通过如此的方法可以解决现有的点云物体目标检测中点云图不理想的问题。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为现有技术提供的一种基于2D图像的检测和分割对应出的点云图；

图2a为本申请实施列提供的一种所示为不理想的点云图；

图2b为本申请实施列提供的一种经过变分关联点云补全网络的方法补全后的点云图；

图3a所示为本申请实施例提供的一种2D图像的示意图；

图3b为本申请实施例提供的图3a所示图像对应的3D点云图；

图4为本申请实施例提供的一种在探测过程中获得理想点云图的方法。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

图1为现有技术提供的一种基于2D图像的检测和分割对应出的点云图；现有技术基于2D图像去做目标物体的检测和实例分割，目前普遍使用的2D图像检测和分割的方式是基于注意力机制的神经网络方法。通过现有技术在2D图像中标注的像素位置，标注过程中的位置变换关系，将2D图像的像素位置对应到点云图中，以实现目标物体的点云呈现，如图1所示为基于2D图像的检测和分割对应出的点云图。从图1所示的点云图可以明显的看出，由于点云的缺失，椅子的部分并没有密集的点云呈现，所呈现的三维效果并不理想。

所以亟需一种方法来解决基于2D图像的检测和分割对应出的点云图不理想的问题。在本申请中使用变分关联点云补全网络的方法来对点云进行补全。该方法基于深度学习的方式，暴力的对缺失点云的目标物体进行密集点云恢复，具体步骤如下：

1)变分关联点云补全网络的方法由概率模型网络和关系增强网络两个子网络级联构成；

2)概率模型网络基于残缺点云生成一个粗略的点云形状框架，然后再由关系增强网络结合前阶段生成的粗略框架和残缺点云观测，推测具有相关性的结构，以实现最后生成点云细节特征的增强；

3)概率模型网络是一个双通道的网络结构，包含一个重建通道和一个补全通道，重建通道对完整的点云形状做自编码和解码以回复完整形状，而补全通道通过相似的网络做编码和解码以补全完整形状。两个通道间有多个共享模块，在训练时候，重建通道在网络梯度和形状分布两个层面上引导补全通道的学习和收敛，在测试时，重建通道不再使用，网络只输入残缺点云，

4)通过概率模型网络，就编码生成了粗略的点云形状框架，但是缺少了很多细节信息。理想的点云补全不仅应当能保留观测到的点云细节信息，还应当根据关联性的结构(比如，人造物体的对称，阵列，以及光滑表面)推测未知的点云的细部特征。于是，综合考虑生成的粗略点云形状框架和残缺点云，以进一步增强生成完整点云的细节特征。启发于2D图像中基于自注意力的操作可以有效学习图像特征的关联，致力于探索各种基于自注意力的操作对于点云特征的学习。

5)基于提出的多个新颖且强力的点云学习模块，诸如PSA，PSK和R-PSK模块，我们构建了关系增强网络网络架构。PSA模块利用点云的自注意力机制，自适应地学习点云局部邻近点之间的关联。PSK模块通过并联多个不同尺度的PSA模块，可以自适应地选取由不同尺度感受野编码得到的特征。此外，通过额外添加的残差链接，得到最终的R-PSK模块，而它是关系增强网络的基本运算块。

6)关系增强网络中使用到的各个基于关系的点云特征学习模块；

最终的输出结果作为整个系统的点云输出结果。如图2a所示为不理想的点云图，图2b为经过变分关联点云补全网络的方法补全后的点云图，从图2a-图2b可以看出变分关联点云补全网络的方法能够很好的补全不理想的点云图。

但是在实际探测过程中TOF拍摄获得的点云图包括的目标物体太多，即便通过点云图补全的方法也无法识别出特定的目标物体。如图3a所示为本申请实施例提供的一种2D图像的示意图，图3b为本申请实施例提供的图3a所示图像对应的3D点云图。其中图3b的3D点云图是通过3D TOF摄像头直接拍摄获得的，从图3b可以看出基本无法识别出目标物体，所以亟需一种方法在探测过程中可以获得理想点云图。

图4为本申请实施例提供的一种在探测过程中获得理想点云图的方法。如图4所示，采用TOF镜头获取目标物体的在特定拍摄角度下的完整3D点云呈现。同时安装2D镜头与3D TOF镜头，2D镜头用来获取2D图像，3D TOF镜头用于获取3D点云图像。获取2D图像的目的是用来补偿3D TOF传感器所带来的的低反射率点云缺失问题，以尽可能获取高质量的目标物体的点云呈现。在安装的时候为了后续2D图像和3D点云图的对应方便，两个镜头之间的位置可以平行放置，间距L。

为了方便两个镜头成像之间的对应关系，假定两个镜头的视场角角度一样。

由于TOF镜头的点云呈现图为场景中的实际大小尺寸，这里将TOF点云图大小尺寸变换到与2D图像的尺寸一样，即H*W，也按照2D图像的像素大小网格进行划分，这样，两者的图像就实现了一一对应，若场景需要，要实现密集点云，则可以选择高分辨率的2D镜头，在像素网格内的点云以255像素值填充，否则为0；

由于2D镜头与TOF镜头之间有平行的L距离，所以两者所呈现的图像之间也有L之间的水平偏差，这点需要注意；

如图4所示的获得理想点云图的方法，首先2D摄影头拍摄获得2D图像，3D TOF摄像头拍摄获得3D点云图，其中2D图像与3D点云图对应。通过对2D图像检测和分割可以确定目标物体的像素位置；然后将目标像素的位置对应到3D点云图中，得到目标物体的3D点云图，这时候得到的3D点云图是不理想的，有很多的缺失。通过图2a-2b所示的实施例中的方法，对目标物体的不理想点云图进行补全就可以得到目标物体理想的点云图，使用目标物体理想的点云图进行后续的数据处理。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种获取点云图的方法，其特征在于，所述方法包括：

通过2D摄像头拍摄获得2D图像；

通过3D TOF摄像图获得3D点云图；

根据所述2D图像确定目标像素位置；

将所述目标像素位置对应到所述3D点云图中，得到非理想点云图；

对所述非理想点云图进行补全，得到理想点云图。

2.如权利要求1所述的获取点云图的方法，其特征在于，所述2D摄像头与所述3D摄像头视场角一样。

3.如权利要求1所述的获取点云图的方法，其特征在于，所述2D摄像头与所述3D摄像头平行放置，间距为L。

4.如权利要求1所述的获取点云图的方法，其特征在于，将所述3D点云图尺寸变换到与所述2D图像尺寸大小相同。

5.如权利要求1所述的获取点云图的方法，其特征在于，所述3D点云图的划分网格与所述2D图像的划分网络大小相同。

6.如权利要求1所述的获取点云图的方法，其特征在于，通过对所述2D图像进行图像检测和分割确定所述目标像素的位置。

7.如权利要求1所述的获取点云图的方法，其特征在于，通过变分关联点云补全网络对所述非理想点云图进行补全。

8.如权利要求3所述的获取点云图的方法，其特征在于，所述2D摄像头获得的2D图像与所述3D摄像头拍摄的图像之间的水平偏差为L。

Images