CN108399609B - 一种三维点云数据的修补方法、装置和机器人 - Google Patents

Abstract

本申请提供了一种三维点云数据的修补方法、装置和机器人，该修补方法和装置应用于机器人，具体为采集特定的目标物体的相互对应的第一三维点云数据和第二三维点云数据，第一三维点云数据的数据质量低于第二三维点云数据的数据质量，且第一三维点云数据的数据质量与采集设备能够得到的三维点云数据的数据质量相同或相近；利用第一三维点云数据和第二三维点云数据进行神经网络模型训练，将得到的目标函数作为点云修补器；将采集设备得到原始三维点云数据输入点云修补器，得到修补后的目标三维点云数据。这样，利用得到的点云修补器可以使机器人能够得到较高质量的三维点云数据，突破了硬件设备的限制，解决了采集设备的三维点云数据质量较差的问题。

Description

一种三维点云数据的修补方法、装置和机器人

技术领域

本发明涉及机器人技术领域，特别是涉及一种三维点云数据的修补方法、装置和机器人。

背景技术

随着摄像头成本的降低和性能的不断提升，基于视觉的目标感知成为机器人传感器技术领域的一个重要方向，成为机器人本体执行其他相关动作的基础技术。特别是随着三维成像传感器的普及，以三维点云数据为代表的深度信息的处理需求日益强烈。

然而，目前由于设备成本、能耗、体积和处理速度等方面的制约，导致很多机器人的采集设备得到的三维点云数据质量较差，特别是物体部分残缺比较严重。

发明内容

有鉴于此，本发明提供了一种三维点云数据的修补方法、装置和机器人，以解决机器人的采集设备得到的三维点云数据质量较差的问题。

为了解决上述问题，本申请提供了如下技术方案：

一种三维点云数据的修补方法，应用于机器人，包括步骤：

采集特定的目标物体的相互对应的第一三维点云数据和第二三维点云数据，所述第一三维点云数据的数据质量低于所述第二三维点云数据的数据质量，且所述第一三维点云数据的数据质量与所述采集设备能够得到的三维点云数据的数据质量相同或相近；

利用所述第一三维点云数据和所述第二三维点云数据进行神经网络模型训练，将得到的目标函数作为点云修补器；

将所述采集设备得到原始三维点云数据输入所述点云修补器，得到修补后的目标三维点云数据。

可选的，所述采集相互对应的第一三维点云数据和第二三维点云数据步骤，包括：

获取标准深度相机采集的景深数据；

对所述景深数据进行坐标换算，得到点云格式数据；

对所述点云格式数据进行体素化，得到所述第一三维点云数据或第二三维点云数据。

可选的，所述利用所述第一三维点云数据和所述第二三维点云数据进行神经网络模型训练，包括步骤：

将所述第一三维点云数据作为输入、将所述第二三维点云数据作为输出对预选的神经网络模型进行训练，得到所述点云修补器。

可选的，所述利用所述第一三维点云数据和所述第二三维点云数据进行神经网络模型训练步骤，还包括：

利用所述第二三维点云数据的真实性指标数据对所述点云修补器做进一步训练，得到所述点云修补器的误差指标。

可选的，还包括步骤：

引入多种高质量三维点云数据对所述点云修补器进行反馈学习，得到高质量点云修补器；

将所述多种高质量三维点云数据和所述高质量点云修补器针对所述多种高质量三维点云数据输出的三维点云数据样本进行记录，构成体素数据库。

可选的，所述高质量三维点云数据为真实物体的真实三维点云数据或所述点云修补器修补得到的三维点云数据。

一种三维点云数据的修补装置，应用于机器人，包括：

数据采集模块，用于采集特定的目标物体的第一三维点云数据和第二三维点云数据，所述第一三维点云数据的数据质量低于所述第二三维点云数据的数据质量，且所述第一三维点云数据的数据质量与所述采集设备能够得到的三维点云数据的数据质量相同或相近；

模型训练模块，用于利用所述第一三维点云数据和所述第二三维点云数据进行神经网络模型训练，将得到的目标函数作为点云修补器；

修补执行模块，用于将所述采集设备得到原始三维点云数据输入所述点云修补器，得到修补后的目标三维点云数据。

可选的，所述数据采集模块包括：

数据获取单元，用于获取标准深度相机采集的景深数据；

第一转换单元，用于对所述景深数据进行坐标换算，得到点云格式数据；

第二转换单元，用于对所述点云格式数据进行体素化，得到所述第一三维点云数据或第二三维点云数据。

可选的，所述模型训练模块包括：

第一训练单元，用于将所述第一三维点云数据作为输入、将所述第二三维点云数据作为输出对预选的神经网络模型进行训练，得到所述点云修补器。

可选的，所述模型训练模块还包括：

第二训练单元，用于利用所述第二三维点云数据的真实性指标数据对所述点云修补器做进一步训练，得到所述点云修补器的误差指标。

可选的，还包括：

反馈训练模块，用于利用引入的所述目标物体的真实体素数据对所述点云修补器进行反馈训练，得到高质量点云修补器。

数据库构建模块，用于将所述多种高质量三维点云数据和所述高质量点云修补器针对所述多种高质量三维点云数据输出的三维点云数据样本进行记录，构成体素数据库。

一种机器人，设置有如上所述的修补装置。

从上述技术方案可以看出，本发明提供了一种三维点云数据的修补方法、装置和机器人，该修补方法和装置应用于机器人，具体为采集特定的目标物体的相互对应的第一三维点云数据和第二三维点云数据，第一三维点云数据的数据质量低于第二三维点云数据的数据质量，且第一三维点云数据的数据质量与采集设备能够得到的三维点云数据的数据质量相同或相近；利用第一三维点云数据和第二三维点云数据进行神经网络模型训练，将得到的目标函数作为点云修补器；将采集设备得到原始三维点云数据输入点云修补器，得到修补后的目标三维点云数据。这样，利用得到的点云修补器可以使机器人能够利用所采集的较低质量的三维点云数据得到较高质量的三维点云数据，突破了硬件设备的限制，解决了采集设备得到三维点云数据质量较差的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种三维点云数据的修补方法的步骤流程图；

图2为本申请实施例提供的另一种三维点云数据的修补方法的步骤流程图；

图3为本申请实施例提供的一种三维点云数据的修补装置的结构框图；

图4为本申请实施例提供的另一种三维点云数据的修补装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1为本申请实施例提供的一种三维点云数据的修补方法的步骤流程图。

如图1所示，本实施例提供的三维点云数据的修补方法应用于机器人，具体用于对机器人通过采集设备得到的三维点云数据进行修补，具体包括如下步骤：

S101：采集目标物体的第一三维点云数据和第二三维点云数据。

对于特定的、即用户选定的目标物体，在机器人处于特定的位置时，获取机器人的采集设备针对该目标物体所采集的第一三维点云数据和第二三维点云数据。

第一三维点云数据和第二三维点云数据的区别在于两者的数据质量不同，本实施例中第一三维点云数据的数据质量较低，较为粗糙，其构建的物体部分会有缺损，导致对物体识别是较为困难甚至出错；

而第二三维点云数据为针对相应目标物体的高数据质量的点云数据，其数据质量起码高于该第一三维点云数据。其来源为利用相对于机器人的采集设备更高端更精密的设备进行采集所得，也可以是通过对原始较为粗糙的三维点云数据进行后期修补所得，例如进行人工修补所得。

对于本实施例中三维点云数据的获取，无论是对第一三维点云数据还是第二三维点云数据，均可以通过如下步骤实现：

1)利用现有的独立的或者机器人的采集设备，如标准深度相机进行采集，得到相应的景深数据。

2)对原始景深数据通过坐标变换的方法，处理为点云格式数据。

3)对点云格式数据进行体素化，得到相应的三维点云数据，具体到本实施例中，得到相应的第一三维点云数据或者第二三维点云数据。即在给定分辨率的情况下，用三维体素表达空间中每个体素中是否存在点云，其是一个二值的空间网络结构。

S102：利用第一三维点云数据和第二三维点云数据训练点云修补器。

即利用第一三维点云数据和第二三维点云数据训练相应的神经网络模型，从而得到相应的目标函数，并将该目标函数作为对三维点云数据进行修补的点云修补器。

具体来说，是将第一三维点云数据作为神经网络模型的输入，将第二三维点云数据作为该神经网络模型的输出，通过训练得到具体的神经网络模型，即利用该模型得到低质量三维点云数据与高质量三维点云数据之间的误差，并使得到的点云修补器能够根据该误差对低质量三维点云数据进行修补，得到高质量三维点云数据。

另外，本实施例还可以引入第二三维点云数据、即高质量三维点云的真实性指标数据对点云修补器进行进一步训练，这里进一步训练得到的目标函数修补后的样本分布于真实采集的高质量点云样本分布间的某个距离，例如测地距离等。最后，可以将个体修补误差、以及修补后数据与真实高质量数据整体样本分布误差进行综合，作为模型学习目标函数。

S103：利用点云修补器对采集设备得到的原始三维点云数据进行修补。

在得到上述点云修补器后，可以将该点云修补器在该机器人中进行实践应用，即在机器人的采集设备得到低质量的原始三维点云数据后，对该数据进行修补，得到高质量的目标三维点云数据，以使机器人对相应物体进行识别，并根据识别结果作出相应反馈。

从上述技术方案可以看出，本实施例提供了一种三维点云数据的修补方法，该修补方法应用于机器人，具体为采集特定的目标物体的相互对应的第一三维点云数据和第二三维点云数据，第一三维点云数据的数据质量低于第二三维点云数据的数据质量，且第一三维点云数据的数据质量与采集设备能够得到的三维点云数据的数据质量相同或相近；利用第一三维点云数据和第二三维点云数据进行神经网络模型训练，将得到的目标函数作为点云修补器；将采集设备得到原始三维点云数据输入点云修补器，得到修补后的目标三维点云数据。这样，利用得到的点云修补器可以使机器人能够利用所采集的较低质量的三维点云数据得到较高质量的三维点云数据，突破了硬件设备的限制，解决了采集设备得到三维点云数据质量较差的问题。

另外，本实施例还包括如下步骤，如图2所示：

S104：引入多种高质量三维点云数据对点云修补器进行训练。

该多种高质量三维点云数据为利用高质量设备获取的或者经过人工加工的三维点云数据，或者是通过本实施例提供的点云修补器对低质量三维点云数据进行修补得到的数据。在引入上述高质量三维点云数据后对该点云修补器进行反馈学习，进而使其生成的三维点云数据样本分布逼近输入的高质量数据，且因其本身的多样性使三维点云数据样本也具有更好的多样性。

S105：将高质量三维点云数据和三维点云数据样本记入体素数据库。

将上述随机生成的高质量三维点云数据记录，同时记录点云修补器对高质量点云数据进行修补后的三维点云数据样本，共同构成仿真生成的体素数据库，供后续应用使用。

通过上述进一步的处理，从而得到相应的体素数据库供后续使用，如自动分拣机器人等应用提供有力的基础感知数据库。

实施例二

图3为本申请实施例提供的一种三维点云数据的修补装置的结构框图。

如图3所示，本实施例提供的三维点云数据的修补装置应用于机器人，具体用于对机器人通过采集设备得到的三维点云数据进行修补，该装置具体包括数据采集模块10、模型训练模块20和修补执行模块30。

数据采集模块用于采集目标物体的第一三维点云数据和第二三维点云数据。

对于特定的、即用户选定的目标物体，在机器人处于特定的位置时，获取机器人的采集设备针对该目标物体所采集的第一三维点云数据和第二三维点云数据。

第一三维点云数据和第二三维点云数据的区别在于两者的数据质量不同，本实施例中第一三维点云数据的数据质量较低，较为粗糙，其构建的物体部分会有缺损，导致对物体识别是较为困难甚至出错；

而第二三维点云数据为针对相应目标物体的高数据质量的点云数据，其数据质量起码高于该第一三维点云数据。其来源为利用相对于机器人的采集设备更高端更精密的设备进行采集所得，也可以是通过对原始较为粗糙的三维点云数据进行后期修补所得，例如进行人工修补所得。

该模块具体包括数据获取单元、第一转换单元和第二转换单元，实际用于对本实施例中三维点云数据进行获取，无论是对第一三维点云数据还是第二三维点云数据，。

数据获取单元用于利用现有的独立的或者机器人的采集设备，如标准深度相机进行采集，得到相应的景深数据。

第一转换单元用于对原始景深数据通过坐标变换的方法，处理为点云格式数据。

第二转换单元用于对点云格式数据进行体素化，得到相应的三维点云数据，具体到本实施例中，得到相应的第一三维点云数据或者第二三维点云数据。即在给定分辨率的情况下，用三维体素表达空间中每个体素中是否存在点云，其是一个二值的空间网络结构。

模型训练模块用于利用第一三维点云数据和第二三维点云数据训练点云修补器。

即利用第一三维点云数据和第二三维点云数据训练相应的神经网络模型，从而得到相应的目标函数，并将该目标函数作为对三维点云数据进行修补的点云修补器。

具体来说，该模块包括第一训练单元，该单元用于将第一三维点云数据作为神经网络模型的输入，将第二三维点云数据作为该神经网络模型的输出，通过训练得到具体的神经网络模型，即利用该模型得到低质量三维点云数据与高质量三维点云数据之间的误差，并使得到的点云修补器能够根据该误差对低质量三维点云数据进行修补，得到高质量三维点云数据。

另外，该模块还包括第二训练单元，该单元具体用于利用引入的第二三维点云数据、即高质量三维点云的真实性指标数据对点云修补器进行进一步训练，这里进一步训练得到的目标函数修补后的样本分布于真实采集的高质量点云样本分布间的某个距离，例如测地距离等。最后，可以将个体修补误差、以及修补后数据与真实高质量数据整体样本分布误差进行综合，作为模型学习目标函数。

修补执行模块用于利用点云修补器对采集设备得到的原始三维点云数据进行修补。

在得到上述点云修补器后，可以将该点云修补器在该机器人中进行实践应用，即在机器人的采集设备得到低质量的原始三维点云数据后，对该数据进行修补，得到高质量的目标三维点云数据，以使机器人对相应物体进行识别，并根据识别结果作出相应反馈。

从上述技术方案可以看出，本实施例提供了一种三维点云数据的修补装置，该修补装置应用于机器人，具体为采集特定的目标物体的相互对应的第一三维点云数据和第二三维点云数据，第一三维点云数据的数据质量低于第二三维点云数据的数据质量，且第一三维点云数据的数据质量与采集设备能够得到的三维点云数据的数据质量相同或相近；利用第一三维点云数据和第二三维点云数据进行神经网络模型训练，将得到的目标函数作为点云修补器；将采集设备得到原始三维点云数据输入点云修补器，得到修补后的目标三维点云数据。这样，利用得到的点云修补器可以使机器人能够利用所采集的较低质量的三维点云数据得到较高质量的三维点云数据，突破了硬件设备的限制，解决了采集设备得到三维点云数据质量较差的问题。

另外，本实施例的修补装置还包括反馈训练模块40和数据库构建模块50，如图4所示：

反馈训练模块用于利用引入的多种高质量三维点云数据对点云修补器进行训练。

该多种高质量三维点云数据为利用高质量设备获取的或者经过人工加工的三维点云数据，或者是通过本实施例提供的点云修补器对低质量三维点云数据进行修补得到的数据。在引入上述高质量三维点云数据后对该点云修补器进行反馈学习，进而使其生成的三维点云数据样本分布逼近输入的高质量数据，且因其本身的多样性使三维点云数据样本也具有更好的多样性。

数据库构建模块用于将高质量三维点云数据和三维点云数据样本记入体素数据库。

将上述随机生成的高质量三维点云数据记录，同时记录点云修补器对高质量点云数据进行修补后的三维点云数据样本，共同构成仿真生成的体素数据库，供后续应用使用。

通过上述进一步的处理，从而得到相应的体素数据库供后续使用，如自动分拣机器人等应用提供有力的基础感知数据库。

实施例三

本实施例提供了一种机器人，该机器人设置有如上一实施例所提供的三维点云数据的修补装置。该装置具体用于具体为采集特定的目标物体的相互对应的第一三维点云数据和第二三维点云数据，第一三维点云数据的数据质量低于第二三维点云数据的数据质量，且第一三维点云数据的数据质量与采集设备能够得到的三维点云数据的数据质量相同或相近；利用第一三维点云数据和第二三维点云数据进行神经网络模型训练，将得到的目标函数作为点云修补器；将采集设备得到原始三维点云数据输入点云修补器，得到修补后的目标三维点云数据。这样，利用得到的点云修补器可以使机器人能够利用所采集的较低质量的三维点云数据得到较高质量的三维点云数据，突破了硬件设备的限制，解决了采集设备得到三维点云数据质量较差的问题。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种三维点云数据的修补方法，应用于机器人及其感知与控制设备，其特征在于，包括步骤：

采集特定的目标物体的相互对应的第一三维点云数据和第二三维点云数据，所述第一三维点云数据的数据质量低于所述第二三维点云数据的数据质量，且所述第一三维点云数据的数据质量与采集设备能够得到的三维点云数据的数据质量相同或相近；

利用所述第一三维点云数据和所述第二三维点云数据进行神经网络模型训练，将得到的目标函数作为点云修补器；

将所述采集设备得到原始三维点云数据输入所述点云修补器，得到修补后的目标三维点云数据。

2.如权利要求1所述的修补方法，其特征在于，所述采集特定的目标物体的相互对应的第一三维点云数据和第二三维点云数据步骤，包括：

获取标准深度相机采集的景深数据；

对所述景深数据进行坐标换算，得到点云格式数据；

对所述点云格式数据进行体素化，得到所述第一三维点云数据或第二三维点云数据。

3.如权利要求1所述的修补方法，其特征在于，所述利用所述第一三维点云数据和所述第二三维点云数据进行神经网络模型训练，包括步骤：

将所述第一三维点云数据作为输入、将所述第二三维点云数据作为输出对预选的神经网络模型进行训练，得到所述点云修补器。

4.如权利要求3所述的修补方法，其特征在于，所述利用所述第一三维点云数据和所述第二三维点云数据进行神经网络模型训练步骤，还包括：

利用所述第二三维点云数据的真实性指标数据对所述点云修补器做进一步训练，得到所述点云修补器的误差指标。

5.如权利要求1～4任一项所述的修补方法，其特征在于，还包括步骤：

引入多种高质量三维点云数据对所述点云修补器进行反馈学习，得到高质量点云修补器；

将所述多种高质量三维点云数据和所述高质量点云修补器针对所述多种高质量三维点云数据输出的三维点云数据样本进行记录，构成体素数据库。

6.如权利要求5所述的修补方法，其特征在于，所述高质量三维点云数据为真实物体的真实三维点云数据或所述点云修补器修补得到的三维点云数据。

7.一种三维点云数据的修补装置，应用于机器人及其感知与控制设备，其特征在于，包括：

数据采集模块，用于采集特定的目标物体的第一三维点云数据和第二三维点云数据，所述第一三维点云数据的数据质量低于所述第二三维点云数据的数据质量，且所述第一三维点云数据的数据质量与采集设备能够得到的三维点云数据的数据质量相同或相近；

模型训练模块，用于利用所述第一三维点云数据和所述第二三维点云数据进行神经网络模型训练，将得到的目标函数作为点云修补器；

修补执行模块，用于将所述采集设备得到原始三维点云数据输入所述点云修补器，得到修补后的目标三维点云数据。

8.如权利要求7所述的修补装置，其特征在于，所述数据采集模块包括：

数据获取单元，用于获取标准深度相机采集的景深数据；

第一转换单元，用于对所述景深数据进行坐标换算，得到点云格式数据；

第二转换单元，用于对所述点云格式数据进行体素化，得到所述第一三维点云数据或第二三维点云数据。

9.如权利要求7所述的修补装置，其特征在于，所述模型训练模块包括：

第一训练单元，用于将所述第一三维点云数据作为输入、将所述第二三维点云数据作为输出对预选的神经网络模型进行训练，得到所述点云修补器。

10.如权利要求9所述的修补装置，其特征在于，所述模型训练模块还包括：

第二训练单元，用于利用所述第二三维点云数据的真实性指标数据对所述点云修补器做进一步训练，得到所述点云修补器的误差指标。

11.如权利要求7～10任一项所述的修补装置，其特征在于，还包括：

反馈训练模块，用于利用引入多种高质量三维点云数据对所述点云修补器进行反馈训练，得到高质量点云修补器；

数据库构建模块，用于将所述多种高质量三维点云数据和所述高质量点云修补器针对所述多种高质量三维点云数据输出的三维点云数据样本进行记录，构成体素数据库。

12.一种机器人，其特征在于，设置有如权利要求7～11任一项所述的修补装置。

Images