CN109685848A - 一种三维点云与三维传感器的神经网络坐标变换方法 - Google Patents

Abstract

一种三维点云与三维传感器的神经网络坐标变换方法，涉及物体位姿三维感知领域，其特征在于，包含如下具体步骤：步骤1：针对已知物体模型点云进行数据增强处理，得到训练数据集；步骤2：使用设计的神经网络对所述训练数据集进行离线训练，得到训练完成的神经网络训练模型；步骤3：对三维传感器拍摄获得的场景点云进行预处理，得到第一场景点云，采用所述训练完成的神经网络训练模型对所述第一场景点云进行预测，获得预测的位置姿态参数和预测的坐标变换矩阵。通过本发明的实施，能够快速、稳定、高效地基于现有三维传感器扫描的场景点云，得到目标物体的位置和姿态信息。

Description

一种三维点云与三维传感器的神经网络坐标变换方法

技术领域

本发明涉及物体位姿三维感知领域，尤其涉及一种三维点云与三维传感器的神经网络坐标变换方法。

背景技术

在工业机器人自动化生产线上，工业机器人需要执行物料的上下料，装配，加工等任务。传统的办法是使用二维工业相机等进行物料的定位。但是利用二维工业相机难以对具有复杂三维几何形状的散乱零部件进行精确定位，因此需要引入环境数据的三维信息。随着现代传感器技术的进步发展，近年来涌现出种类型的三维传感器，能够采集环境中的物体三维点云数据，通过提取这类三维点云信息，可以得到三维环境中物体的完整位置信息，可以应用在各种复杂的三维工业自动化场景中。并且随着算法和硬件效率的提升，利用智能化的计算方法对三维环境中的物体进行识别和定位已经取得一定进展，能够应用在工业自动化场景中，得到生产效率的提升。

采用三维传感器进行环境物料感知的缺点是，由于三维传感器只能采集到场景物体的前半部分点云，会造成部分点云缺失，还有由于三维传感器采集原理而造成的点云噪声的增加和点云分布不均等问题。为了能够从三维传感器采集获得的点云数据中提取出物体的三维位置姿态信息，往往需要从点云数据中提取出各类复杂的特征。如2010年，德国慕尼黑工业大学提出了一种使用点对特征的三维点云坐标变换方法，可以从该特征中得到三维传感器采集的点云中的物体位置姿态信息。但是，由于手工提取点云数据中的各种特征费时费力，且难以得到最优的特征组合，因此，对于点云含有缺失、噪声、分布不均等缺陷无法进行精确的定位计算，造成最终坐标变换的误差波动较大，对各式三维传感器采集获得的点云数据缺陷的适应性不强。

神经网络是人工智能领域的重要研究方向，近年来广泛应用于二维图像、声音、文本等数字信息，进行信息处理，具有适应性强，鲁棒性高等优点。为了从部分缺失的三维点云中获取三维物体的位置和姿态，采用带有分岔支路的神经网络模型对三维传感器采集的点云进行自动特征提取。其中利用分岔支路对有部分缺失、噪声、和分布不均的缺陷场景点云进行坐标变换预测，网络主干路作为点云物体的分类预测。从整个训练过程来看，训练时输入增强后的模型点云数据，输出结果为岔路上的位置和姿态参数，并定义神经网络的训练损失为输出点云与实际点云的位置姿态偏差值与类别偏差值之和。训练完毕后使用场景点云进行输入，并由神经网络分岔支路上输出的位置和姿态参数作为输出的变换坐标，得到三维点云三维传感器间的坐标变换矩阵。

因此，本领域的技术人员致力于开发一种三维点云与三维传感器的神经网络坐标变换方法，能够快速、稳定、高效地基于现有三维传感器扫描的场景点云，得到目标物体的位置和姿态信息。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是在三维传感器采集的环境点云具有部分缺失和含有噪声的情况下，如何快速、稳定地提取物体的三维位置和姿态信息。

为实现上述目的，本发明提供了一种三维点云与三维传感器的神经网络坐标变换方法，包含如下具体步骤：

步骤1：针对已知物体模型点云进行数据增强处理，得到训练数据集；

步骤2：使用设计的神经网络对所述训练数据集进行离线训练，得到训练完成的神经网络训练模型；

步骤3：对三维传感器拍摄获得的场景点云进行预处理，得到第一场景点云，采用所述训练完成的神经网络训练模型对所述第一场景点云进行预测，获得预测的位置姿态参数和预测的坐标变换矩阵。

进一步地，所述步骤1包括如下步骤：

步骤1.1：采用随机坐标变换法和高斯噪声扰动法，对所述物体模型点云进行变换，得到点云P′；

步骤1.2：采用点云网格平面投影法，得到所述点云P′的点云样本；

步骤1.3：重复步骤1.1和步骤1.2，得到所述物体模型点云的所述点云P′的点云样本集，通过随机取点降采样的方法，使得所述点云样本集的各个点云样本的点数相同，进而得到所述训练数据集。

进一步地，所述步骤1.1包括如下步骤：

步骤1.1.1：使用所述随机坐标变换法对所述物体模型点云进行离线数据增强，根据随机数生成器生成一个七维向量N，所述N包括三维平移向量t和四元数向量q，所述q是由正规化方程处理后的标准旋转四元数向量：

式中a、b、c为实数；

步骤1.1.2：将所述N作为所述物体模型点云与三维传感器之间的坐标变换关系参数；将所述q经过计算，获得旋转矩阵R：

步骤1.1.3：根据所述R和所述t获得坐标变换矩阵T：

步骤1.1.4：采用高斯噪声扰动法对所述物体模型点云的每个点添加随机高斯噪声扰动，得到原始点云P，使用矩阵乘法将所述原始点云P：

变换成经过坐标变换后的点云P′：

进一步地，所述步骤1.2包括如下步骤：

步骤1.2.1：使用点云网格平面投影法，在三维空间中随机生成一个距离点云中心足够远的第一平面，使点云中的所有点处于所述第一平面的一边，所述第一平面的方程：

Ax+By+Cz+D＝0；

步骤1.2.2：使用间隔为1mm的栅格对所述第一平面进行均匀划分，得到划分后的网格平面，将所述点云P′的所有点(x,y,z)投影至所述网格平面上，得到所述网格平面上的三维坐标(x',y',z')：

计算所述点云P′上的点(x,y,z)到所述网格平面的距离L：

步骤1.2.3：取所述点云P′中投影至所述网格平面上同一个网格中的所有点中距离所述网格平面最近的点，作为所述网格的可视前部点，并将投影到所述网格中的其余所述点舍弃；提取所有网格的可视前部点，进而得到所述点云P′的点云样本。

进一步地，所述步骤2包括如下步骤：

步骤2.1：配置所述神经网络；

步骤2.2：设置所述神经网络的损失函数和超参数；

步骤2.3：利用所述训练数据集对所述神经网络进行训练，得到所述训练完成后的神经网络训练模型。

进一步地，所述步骤2.1中的所述神经网络的包括主干路和分岔支路，所述主干路的输出配置为点云模型的分类信息，所述分岔支路的输出配置为点云模型的位置和姿态信息，所述分岔支路从所述主干路中引出，并在输出信息后汇入所述主干路。

进一步地，所述步骤2.2中所述神经网络的所述损失函数设置为输出点云与实际点云的位置姿态偏差值与类别偏差值之和：

l＝a[||t'-t||₂+βmin(||q'-q_2'||q'+q||₂)]+l_c，

式中α为位置姿态损失系数、β为旋转向量损失系数、l_c为输出点云的类别和实际点云的类别偏差的交叉熵损失。

进一步地，所述步骤3中的预处理方法为通过随机取点降低采样的方法，得到所述第一场景点云，所述第一场景点云的点的数目和所述训练数据集的点云的点的数目相同。

进一步地，所述步骤3中所述坐标变换矩阵可以通过预测的所述位置姿态参数与所述场景点云进行矩阵运算获得。

进一步地，所述步骤2.2中所述超参数包括学习率、学习率衰减参数、学习率下降步数。

与现有技术相比，通过本发明的实施，可以达到以下明显的技术效果：

1)本发明提供的一种三维点云与三维传感器的神经网络坐标变换方法，具有适应三维传感器采集的环境点云部分缺失和含有噪声的工作环境，可以快速地进行三维目标物体的位置和姿态计算。

2)本发明提供的一种三维点云与三维传感器的神经网络坐标变换方法，可以用于三维物体的位置姿态校正后的分类识别，对三维物体的分类识别具有较高精度。

3)本发明提供的一种三维点云与三维传感器的神经网络坐标变换方法，引入了神经网络的方法，克服了现有方法手工提取点云数据中的各种特征费时费力，且难以得到最优的特征组合的不足，能够快速、稳定、高效地基于现有三维传感器扫描的场景点云，得到目标物体的位置和姿态信息。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明一种三维点云与三维传感器的神经网络坐标变换方法的流程图；

图2是本发明采用的一种神经网络结构示意图；

图3是本发明一个优选实施例中的坐标变换网络结构示意图；

图4是本发明一个优选实施例中点云的分类网络结构示意图；

图5是本发明一个优选实施例所用第一号物体的三维模型点云示意图；

图6是本发明一个优选实施例所用第二号物体的三维模型点云示意图；

图7是本发明一个优选实施例所用第三号物体的三维模型点云示意图；

图8是本发明一个优选实施例所用第四号物体的三维模型点云示意图；

图9是本发明一个优选实施例所用第五号物体的三维模型点云示意图；

图10是本发明一个优选实施例所用第六号物体的三维模型点云示意图；

图11是本发明一个优选实施例所用第七号物体的三维模型点云示意图；

图12是本发明一个优选实施例所用第八号物体的三维模型点云示意图；

图13是本发明实施例对图5至图8中所用物体三维模型点云进行坐标变换的结果示意图；

图14是本发明实施例对图9至图12中所用物体三维模型点云进行坐标变换的结果示意图。

其中，1-点云模型，2-卷积层，3-池化层，4-全连接层，5-坐标变换参数，6-分类参数。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，为本发明一种三维点云与三维传感器的神经网络坐标坐标变换方法的流程图，包含如下具体步骤：

步骤1、将4个物体模型点云进行点云数据增强，增强后获得每个物体的3000个点云模型的训练数据集，共计12000个物体点云模型的训练数据集。

具体步骤如下：

步骤1.1：使用随机坐标变换法对物体模型点云进行离线数据增强，根据随机数生成器生成一个七维向量N，向量N包括三维平移向量t和四元数向量q，q是由正规化方程处理后的标准旋转四元数向量：

其中a、b、c为实数；

步骤1.2：将N作为物体模型点云与三维传感器之间的坐标变换关系参数；将q经过计算，获得旋转矩阵R：

步骤1.3：根据R和t获得坐标变换矩阵T：

步骤1.4：采用高斯噪声扰动法对物体模型点云的每个点添加随机高斯噪声扰动，得到原始点云P，使用矩阵乘法将原始点云P：

变换成经过坐标变换后的点云P′：

步骤1.5：使用点云网格平面投影法，在三维空间中随机生成一个距离点云中心足够远的第一平面，使点云中的所有点处于第一平面的一边，第一平面的方程：

Ax+By+Cz+D＝0；

步骤1.6：使用间隔为1mm的栅格对第一平面进行均匀划分，得到划分后的网格平面，将点云P′的所有点(x,y,z)投影至网格平面上，得到网格平面上的三维坐标(x',y',z')：

计算点云P′上的点(x,y,z)到网格平面的距离L：

步骤1.7：取点云P′中投影至网格平面上同一个网格中的所有点中距离网格平面最近的点，作为该网格的可视前部点，并将投影到该网格中的其余点舍弃；提取所有网格的可视前部点，进而得到所述点云P′的一个点云样本。

步骤1.8：重复步骤1.1和步骤1.7，得到各个物体模型点云的点云P′的点云样本集，通过随机取点降采样的方法，使得点云样本集的各个点云样本的点数相同，进而得到该物体模型的训练数据集。

通过上述方法可以获得每个物体模型的3000个点云模型的训练数据集，共计12000个物体点云模型的训练数据集。

步骤2、将训练数据集输入神经网络系统进行训练。

如图2所示，为本发明一个优选实施例的神经网络结构示意图，用于训练的神经网络包括主干路和分岔支路，图2中虚线部分是神经网络的分岔支路，其余部分是神经网络的主干路；神经网络的主干路的输出配置为点云模型的分类信息，分岔支路的输出配置为点云模型的位置和姿态信息，分岔支路从主干路中引出，并在输出信息后汇入主干路，使用分岔支路预测的变换坐标与原始三维点云运算形成校正过后的点云模型，并根据校正过后的点云模型进行神经网络分类预测。

如图3所示，为本发明一个优选实施例的训练物体模型的点云包括四个物体点云模型1；点云模型1分别通过卷积层2，池化层3和全连接层4后得到坐标变换参数5。本发明可以在对三维点云与三维传感器间的坐标变换使用神经网络进行计算求解。基于点云模型1与三维传感器的坐标变换结果如图4所示，点云模型1分别通过卷积层2，池化层3和全连接层4后得到点云分类参数6。

配置神经网络的损失函数如下：损失函数设置为输出点云与实际点云的位置姿态偏差值与类别偏差值之和：

l＝a[||t'-t||₂+βmin(||q'-q||_2'q'+q||₂)]+l_c，

其中α为位置姿态损失系数、β为旋转向量损失系数、l_c为输出点云的类别和实际点云的类别偏差的交叉熵损失。

配置神经网络的超参数：学习率、学习率衰减参数、学习率下降步数。

步骤3：对三维传感器拍摄获得的场景点云通过随机取点降低采样的方法，得到第一场景点云，第一场景点云的点的数目和训练数据集的点云的点的数目相同，采用所述训练完成的神经网络训练模型对第一场景点云进行预测，获得预测的位置姿态参数和预测的坐标变换矩阵。

如表1所示，表1为真实坐标变换参数的三维平移向量t，四元数向量q和神经网络预测坐标变换参数三维平移向量t’，四元数向量q’的对比数据。

表1

从获得的坐标变换参数根据下式计算出相应的旋转矩阵R：

根据预测获得的旋转矩阵R和三维平移向量获得三维点云和三维传感器的坐标变换矩阵T：

使用矩阵乘法将原始点云P：

变换成经过坐标变换后的点云P′：

图13是本发明实施例对图5至图8中所用物体三维模型点云进行坐标变换的结果示意图；图13中箭头左侧表示物体的三维模型点云与真实物体三维模型点云的初始状态，箭头右侧表示物体的三维模型点云经过所述的神经网络坐标变换方法计算后与真实物体三维模型点云的重合状态。

图14是本发明实施例对图9至图12中所用物体三维模型点云进行坐标变换的结果示意图；图14中箭头左侧表示物体的三维模型点云与真实物体三维模型点云的初始状态，箭头右侧表示物体的三维模型点云经过所述的神经网络坐标变换方法计算后与真实物体三维模型点云的重合状态。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种三维点云与三维传感器的神经网络坐标变换方法，其特征在于，包含如下具体步骤：

步骤1：针对已知物体模型点云进行数据增强处理，得到训练数据集；

步骤2：使用设计的神经网络对所述训练数据集进行离线训练，得到训练完成的神经网络训练模型；

步骤3：对三维传感器拍摄获得的场景点云进行预处理，得到第一场景点云，采用所述训练完成的神经网络训练模型对所述第一场景点云进行预测，获得预测的位置姿态参数和预测的坐标变换矩阵。

2.如权利要求1所述的一种三维点云与三维传感器的神经网络坐标变换方法，其特征在于，所述步骤1包括如下步骤：

步骤1.1：采用随机坐标变换法和高斯噪声扰动法，对所述物体模型点云进行变换，得到点云P′；

步骤1.2：采用点云网格平面投影法，得到所述点云P′的点云样本；

步骤1.3：重复步骤1.1和步骤1.2，得到所述物体模型点云的所述点云P′的点云样本集，通过随机取点降采样的方法，使得所述点云样本集的各个点云样本的点数相同，进而得到所述训练数据集。

3.如权利要求2所述的一种三维点云与三维传感器的神经网络坐标变换方法，其特征在于，所述步骤1.1包括如下步骤：

步骤1.1.1：使用所述随机坐标变换法对所述物体模型点云进行离线数据增强，根据随机数生成器生成一个七维向量N，所述N包括三维平移向量t和四元数向量q，所述q是由正规化方程处理后的标准旋转四元数向量：

式中a、b、c为实数；

步骤1.1.2：将所述N作为所述物体模型点云与三维传感器之间的坐标变换关系参数；将所述q经过计算，获得旋转矩阵R：

步骤1.1.3：根据所述R和所述t获得坐标变换矩阵T：

步骤1.1.4：采用高斯噪声扰动法对所述物体模型点云的每个点添加随机高斯噪声扰动，得到原始点云P，使用矩阵乘法将所述原始点云P：

变换成经过坐标变换后的点云P′：

4.如权利要求2所述的一种三维点云与三维传感器的神经网络坐标变换方法，其特征在于，所述步骤1.2包括如下步骤：

步骤1.2.1：使用点云网格平面投影法，在三维空间中随机生成一个距离点云中心足够远的第一平面，使点云中的所有点处于所述第一平面的一边，所述第一平面的方程：

Ax+By+Cz+D＝0；

步骤1.2.2：使用间隔为1mm的栅格对所述第一平面进行均匀划分，得到划分后的网格平面，将所述点云P′的所有点(x,y,z)投影至所述网格平面上，得到所述网格平面上的三维坐标(x',y',z')：

计算所述点云P′上的点(x,y,z)到所述网格平面的距离L：

步骤1.2.3：取所述点云P′中投影至所述网格平面上同一个网格中的所有点中距离所述网格平面最近的点，作为所述网格的可视前部点，并将投影到所述网格中的其余所述点舍弃；提取所有网格的可视前部点，进而得到所述点云P′的点云样本。

5.如权利要求1所述的一种三维点云与三维传感器的神经网络坐标变换方法，其特征在于，所述步骤2包括如下步骤：

步骤2.1：配置所述神经网络；

步骤2.2：设置所述神经网络的损失函数和超参数；

步骤2.3：利用所述训练数据集对所述神经网络进行训练，得到所述训练完成后的神经网络训练模型。

6.如权利要求5所述的一种三维点云与三维传感器的神经网络坐标变换方法，其特征在于，所述步骤2.1中的所述神经网络的包括主干路和分岔支路，所述主干路的输出配置为点云模型的分类信息，所述分岔支路的输出配置为点云模型的位置和姿态信息，所述分岔支路从所述主干路中引出，并在输出信息后汇入所述主干路。

7.如权利要求5所述的一种三维点云与三维传感器的神经网络坐标变换方法，其特征在于，所述步骤2.2中所述神经网络的所述损失函数设置为输出点云与实际点云的位置姿态偏差值与类别偏差值之和：

式中α为位置姿态损失系数、β为旋转向量损失系数、l_c为输出点云的类别和实际点云的类别偏差的交叉熵损失。

8.如权利要求1所述的一种三维点云与三维传感器的神经网络坐标变换方法，其特征在于，所述步骤3中的预处理方法为通过随机取点降低采样的方法，得到所述第一场景点云，所述第一场景点云的点的数目和所述训练数据集的点云的点的数目相同。

9.如权利要求1所述的一种三维点云与三维传感器的神经网络坐标变换方法，其特征在于，所述步骤3中所述坐标变换矩阵可以通过预测的所述位置姿态参数与所述场景点云进行矩阵运算获得。

10.如权利要求5所述的一种三维点云与三维传感器的神经网络坐标变换方法，其特征在于，所述步骤2.2中所述超参数包括学习率、学习率衰减参数、学习率下降步数。