CN114055781B - 基于点体素相关场的燃油箱焊接机械臂自适应校正方法 - Google Patents

Abstract

本发明基于点体素相关场的燃油箱焊接机械臂自适应校正方法，属于机器视觉三维点云重建领域。本发明使用工业相机采集到的塑料燃油箱的三维点云数据，首先，通过一种学习分层特征的平移不变网络网络架构提取点云特征分层点云特征学习，解决点云信息的无序性问题，其次，构建塑料燃油箱的点体素相关场，基于超体素聚类实现焊接区域分割，最后，对该处的点云进行稠密重建获取待焊接处的位置及角度信息，从而对焊接机器臂的焊接深度和焊接角度进行调整。利用构建点体素相关场分割点云进行分类重建的方式对塑料燃油箱的自适应焊接深度校正能够降低计算量，提高塑料燃油箱焊接自动化能力，保障汽车用塑料燃油箱的焊接质量。

Description

基于点体素相关场的燃油箱焊接机械臂自适应校正方法

技术领域

本发明属于机器视觉三维点云重建技术领域，具体涉及一种基于点体素相关场的燃油箱焊接机械臂自适应校正方法。

背景技术

在工业制造技术领域，通常会涉及焊接工序，塑料燃油箱配件在本体上焊接是通过热板焊接，通过开始设定塑料燃油箱焊接进给深度来实现塑料燃油箱的打孔焊接，由于塑料燃油箱的之前生产工序及塑料燃油箱的打孔焊接生产线的安装部分会导致塑料燃油箱所需要的焊接进给深度存在差异，因此会导致塑料燃油箱的虚焊，焊接余量不均匀，焊接位姿不准确等问题，最终，影响产品质量和使用寿命，因此，为了提高塑料燃油箱的焊接质量，需要对塑料燃油箱的焊接深度进行提取。

目前的塑料燃油箱的焊接深度矫正方式主要有控制进给深度余量、超声波定位、图像检测三种。控制进给余量是通过对焊接深度设置一个定值能够满足大多数塑料燃油箱的焊接需要，该方式成本低，操作简单，但是该方式会导致大多数塑料燃油箱焊接进给深度不是最佳深度，仅能满足焊接需求。超声波检测技术超声波定精度较高，可达到厘米级，且结构简单，但是超声波受多径效应和非视距传播影响很大，且超声波频率受多普勒效应和温度影响，传统的工业生产中对超声波的影响较大，超声波定位技术不再适用。图像检测在效率、成本等方面具有显著优势，当前国内外用于机器视觉检测技术主要有单目视觉检测和双目立体视觉检测，其中最常用的是双目立体视觉检测。现有塑料燃油箱生产厂家大多采用控制进给余量的方法，该方法难以满足现有自动化生产的要求。塑料燃油箱配件在本体上焊接定位校正方法存在，虚焊，焊接余量不均匀，焊接位姿不准确等问题。采用基于点体素相关场用于汽车塑料燃油箱的自适应焊接深度校正方法具有较高的精度和良好的适应性。

2017年，龙超祥等人提出一种基于机器人3D视觉的汽车油箱焊接定位方法及系统(公布号：CN109421043A)，该方法通过3D相机把位姿偏差值发送给机器人，修正机器人的焊接位姿。该方法通过微调机器人末端的焊接装置有效提高塑料燃油箱的焊接质量，但是对于焊接深度仍然需要传感器来确定，不适用于塑料燃油箱焊接生产线的焊接深度校正。

2018年，段吉安等人提出了一种基于机器视觉定位的激光焊接装置及视觉定位方法(授权公告号：CN 109365998)，该方法通过使用采用机器视觉自动定位摄取的图像信息，通过焊接控制系统的工控机操作定位对准，算法处理可靠并且执行速度快，视觉定位的精准度高。其缺点是需人为的设定二值化参数，对于焊接处色差不大的情况无法识别，不适用于塑料燃油箱焊接生产线的焊接深度校正。

2019年，杨铭凯等人提出一种基于自学习的自动焊接及缺陷检测方法(授权公告号：CN110636715)，通过开始的人工标定准备前期数据进行学习并对后续的检测过程中的数据对参数进行不断的学习实现自动焊接及缺陷检测的过程。其缺点是前期的数据准备花费的时间较多，前期的网络学习准确率较低并且后期不断自学习的过程中对硬件要求不断提高，不适用于塑料燃油箱焊接生产线的焊接深度校正。

综上所述现有的焊接深度校正方法存在自动化程度低、对硬件要求高、方法复杂等缺点，不能适用于塑料燃油箱生产线的焊接深度校正。

发明内容

本发明的目的在于提供一种基于点体素相关场的燃油箱焊接机械臂自适应校正方法，该方法通过对整体点云的分类处理，对不同处的点云进行分类处理，能够降低计算量，提高塑料燃油箱焊接自动化能力，保障汽车用塑料燃油箱的焊接质量。

实现本发明目的的技术解决方案为：

一种基于点体素相关场的燃油箱焊接机械臂自适应校正方法，包括以下步骤：

步骤1：初始化机械臂位置并获取塑料燃油箱三维信息；

步骤2：构建点体素相关场分割焊接区域并进行重建；

步骤3：对焊接机械臂进行位姿调整。

进一步地，所述步骤1具体包括：

塑料燃油箱柔性焊接生产线的机械臂焊接结束后，对焊接件进行加热的地方定为机械臂的初始位置，由该位置计算焊接面的相对位置信息，塑料燃油箱柔性焊接生产线的机械臂前段的焊接组件上装有相机模块，在机械臂的移动过程中相机模块对塑料燃油箱的点进行采集，获取塑料燃油箱的三维点云场景流数据，对获取的点云场景流按相邻帧进行划分，获取数据集D，即为塑料燃油箱三维信息。

进一步地，所述步骤2具体包括：

步骤21：分层点云特征学习；

步骤22：构建点云的点体素相关场；

步骤23：基于超体素聚类实现焊接区域分割；

步骤24：点云场内对焊接区域进行重建。

进一步地，所述步骤21具体包括：通过点云描述局部相关性，由于点云是由不规则和无序的点组成的，通过pointnet++网络架构提取点云特征，

将每个点映射到高维空间中，在经过最大池化函数运算后，接着通过多层感知器γ获取得到点云的全局特征，其中对于给定的数据集D，对其中的无序点云集合进行处理，函数f定义为：

f(x₁,x₂,...,x_n)＝γ(MAX(h(x₁),…,h(x_n))) (1)

其中，f为获取的全局特征，γ为多层感知器，h是特征提取层，{x₁,x₂,…,x_n}为数据集D中的无序点云集合，MAX为取极大值函数，

通过点云的分层特征学习解决点云的无序化问题；

所述步骤22具体包括：构建包含数据集D中所有点云的大立方体，将整个大立方体按照一个一个体素进行分割成多个小立方体，包含点云中的点的小立方体即为体素，根据已输入的点云数据集D，分别计算出XYZ三个方向点云数据坐标的最大值与最小值的差值，然后根据XYZ三个方向的三个差值来确定体素的长宽高，计算完成后，计算机自动建立出初始体素，所建立的初始体素中已包含所有的点云数据，将初始体素建立好之后，初始体素分解为256*256*256个体积较小的体素并建立三维模型，通过bresenham剔除初始体素中的无效体素，生成体素云；

所述步骤23具体包括：利用网格化操作来对步骤22获得的体素云进行筛选，保留位于燃油箱表面上的种子体素，为聚类算法进行初始化，对于每个种子体素，建立一个半径为R的搜索区域，计算该种子体素在该区域半径R下的体素数目，删除表面与搜索范围内相交区域内体素数目小于固定阈值的种子体素，

对体素数据进行聚类，其中体素数据在37维特征空间下的特征向量定义为：

F＝[x,y,z,c,FPFH_1,2,...,33] (2)

其中，x,y,z是空间三维坐标；c表示体素数据的曲率值；FPFH_1,2,...,33为快速点特征直方图(Fast Point Feature Histograms，FPFH)，该直方图是由33个浮点数组成的特征向量，

利用流约束的聚类算法对体素数据进行过分割处理,获取待焊接处的点云区域，构建该点云区域的数据集D'；

所述步骤24具体包括：通过体素分割出待焊接处的点云区域，对该处点云进行稠密化处理。

进一步地，所述步骤3具体包括：

由步骤24获得的稠密化点云定义打孔的面为焊接面，则另外的面为非焊接面，从非焊接面获取圆柱体的母线方向，对比塑料燃油箱打孔焊接机械臂的焊接件轴线方向，能够进行角度调整，计算焊接面点云坐标与焊接件下表面的距离差，即为塑料燃油箱焊接机械臂的进给深度。

本发明与现有技术相比，其显著优点为：

本发明通过构建塑料燃油箱的点体素相关场，将体素信息进行处理，判断塑料燃油箱的待焊接位置，对该处的点云进行稠密重建获取待焊接处的位置及角度信息，从而对焊接机器臂的焊接深度和焊接角度进行调整，降低了计算量，提高了塑料燃油箱焊接自动化能力，保障了汽车用塑料燃油箱的焊接质量。

下面结合附图和具体实施方式对本发明作进一步的详细描述。

附图说明

图1为本发明基于点体素相关场的燃油箱焊接机械臂自适应校正方法流程图。

具体实施方式

结合图1，一种基于点体素相关场的燃油箱焊接机械臂自适应校正方法，包括以下步骤：

步骤1：初始化机械臂位置并获取塑料燃油箱三维信息；

步骤2：构建点体素相关场分割焊接区域并进行重建；

步骤3：对焊接机械臂进行位姿调整。

进一步地，所述步骤1具体包括：

塑料燃油箱柔性焊接生产线的机械臂焊接结束后，对焊接件进行加热的地方定为机械臂的初始位置，由该位置计算焊接面的相对位置信息，塑料燃油箱柔性焊接生产线的机械臂前段的焊接组件上装有相机模块，在机械臂的移动过程中相机模块对塑料燃油箱的点进行采集，获取塑料燃油箱的三维点云场景流数据，对获取的点云场景流按相邻帧进行划分，获取数据集D，即为塑料燃油箱三维信息。

进一步地，所述步骤2具体包括：

步骤21：分层点云特征学习；

步骤22：构建点云的点体素相关场；

步骤23：基于超体素聚类实现焊接区域分割；

步骤24：点云场内对焊接区域进行重建。

进一步地，所述步骤21具体包括：通过点云描述局部相关性，由于点云是由不规则和无序的点组成的，通过pointnet++网络架构提取点云特征，无序性是指点云中每个点的排列顺序不影响它在空间中对整体结构和形状的表示，大多数对点云的处理方法是先将点云数据映射为二维图像组或是栅格化后再进行后续处理，但是这样的处理方法往往会引起更加复杂的计算，而Pointnet++网络架构可以将点云数据直接作为网络的输入，并提取点云特征，

由于在高维空间中包含有冗余信息，可以将每个点映射到高维空间中，从而对很多有意义的信息进行了保留，在经过最大池化函数运算后，接着通过多层感知器γ获取得到点云的全局特征，其中对于给定的数据集D，对其中的无序点云集合进行处理，函数f定义为：

f(x₁,x₂,...,x_n)＝γ(MAX(h(x₁),…,h(x_n))) (1)

其中，f为获取的全局特征，γ为多层感知器，h是特征提取层，{x₁,x₂,…,x_n}为数据集D中的无序点云集合，MAX为取极大值函数。

通过点云的分层特征学习解决点云的无序化问题；

所述步骤22具体包括：构建包含数据集D中所有点云的大立方体，将整个大立方体按照一个一个体素进行分割成多个小立方体，包含点云中的点的小立方体即为体素，根据已输入的点云数据集D，分别计算出XYZ三个方向点云数据坐标的最大值与最小值的差值，然后根据XYZ三个方向的三个差值来确定体素的长宽高，计算完成后，计算机自动建立出初始体素，所建立的初始体素中已包含所有的点云数据，将初始体素建立好之后，初始体素分解为256*256*256个体积较小的体素并建立三维模型，通过bresenham剔除初始体素中的无效体素，生成体素云；

所述步骤23具体包括：利用网格化操作来对步骤22获得的体素云进行筛选，保留位于燃油箱表面上的种子体素，为聚类算法进行初始化，对于每个种子体素，建立一个半径为R的搜索区域，计算该种子体素在该区域半径R下的体素数目，删除表面与搜索范围内相交区域内体素数目小于固定阈值的种子体素，

对体素数据进行聚类，其中体素数据在37维特征空间下的特征向量定义为：

F＝[x,y,z,c,FPFH_1,2,...,33] (2)

其中，x,y,z是空间三维坐标；c表示体素数据的曲率值；FPFH_1,2,...,33为快速点特征直方图(Fast Point Feature Histograms，FPFH)，该直方图是由33个浮点数组成的特征向量，37维特征主要是应用于对焊接机械臂到焊接面距离的计算，下面迭代的时候，要选择该距离最短的的点作为标记对象。

利用流约束的聚类算法对体素数据进行过分割处理,获取待焊接处的点云区域，构建该点云区域的数据集D'；

所述步骤24具体包括：通过体素分割出待焊接处的点云区域，对该处点云进行稠密化处理。

进一步地，所述步骤3具体包括：

由步骤24获得的稠密化点云定义打孔的面为焊接面，则另外的面为非焊接面，从非焊接面获取圆柱体的母线方向，对比塑料燃油箱打孔焊接机械臂的焊接件轴线方向，能够进行角度调整，计算焊接面点云坐标与焊接件下表面的距离差，即为塑料燃油箱焊接机械臂的进给深度。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界。

Claims (2)

1.一种基于点体素相关场的燃油箱焊接机械臂自适应校正方法，其特征在于，包括以下步骤：

步骤1：初始化机械臂位置并获取塑料燃油箱三维信息；

所述步骤1具体包括：

塑料燃油箱柔性焊接生产线的机械臂焊接结束后，对焊接件进行加热的地方定为机械臂的初始位置，由该位置计算焊接面的相对位置信息，塑料燃油箱柔性焊接生产线的机械臂前段的焊接组件上装有相机模块，在机械臂的移动过程中相机模块对塑料燃油箱的点进行采集，获取塑料燃油箱的三维点云场景流数据，对获取的点云场景流按相邻帧进行划分，获取数据集D，即为塑料燃油箱三维信息；

步骤2：构建点体素相关场分割焊接区域并进行重建；

所述步骤2具体包括：

步骤21：分层点云特征学习；

步骤22：构建点云的点体素相关场；

步骤23：基于超体素聚类实现焊接区域分割；

步骤24：点云场内对焊接区域进行重建；

所述步骤21具体包括：通过点云描述局部相关性，由于点云是由不规则和无序的点组成的，通过pointnet++网络架构提取点云特征，

将每个点映射到高维空间中，在经过最大池化函数运算后，接着通过多层感知器γ获取得到点云的全局特征，其中对于给定的数据集D，对其中的无序点云集合进行处理，函数f定义为：

f(x₁,x₂,...,x_n)＝γ(MAX(h(x₁),···,h(x_n))) (1)

其中，f为获取的全局特征，γ为多层感知器，h是特征提取层，{x₁,x₂,···,x_n}为数据集D中的无序点云集合，MAX为取极大值函数，

通过点云的分层特征学习解决点云的无序化问题；

所述步骤22具体包括：构建包含数据集D中所有点云的大立方体，将整个大立方体按照一个一个体素进行分割成多个小立方体，包含点云中的点的小立方体即为体素，根据已输入的点云数据集D，分别计算出XYZ三个方向点云数据坐标的最大值与最小值的差值，然后根据XYZ三个方向的三个差值来确定体素的长宽高，计算完成后，计算机自动建立出初始体素，所建立的初始体素中已包含所有的点云数据，将初始体素建立好之后，初始体素分解为256*256*256个体积较小的体素并建立三维模型，通过bresenham剔除初始体素中的无效体素，生成体素云；

所述步骤23具体包括：利用网格化操作来对步骤22获得的体素云进行筛选，保留位于燃油箱表面上的种子体素，为聚类算法进行初始化，对于每个种子体素，建立一个半径为R的搜索区域，计算该种子体素在该区域半径R下的体素数目，删除表面与搜索范围内相交区域内体素数目小于固定阈值的种子体素，

对体素数据进行聚类，其中体素数据在37维特征空间下的特征向量定义为：

F＝[x,y,z,c,FPFH_1,2,...,33] (2)

其中，x,y,z是空间三维坐标；c表示体素数据的曲率值；FPFH_1,2,...,33为快速点特征直方图，该直方图是由33个浮点数组成的特征向量，

利用流约束的聚类算法对体素数据进行过分割处理,获取待焊接处的点云区域，构建该点云区域的数据集D'；

所述步骤24具体包括：通过体素分割出待焊接处的点云区域，对该处点云进行稠密化处理；

步骤3：对焊接机械臂进行位姿调整。

2.根据权利要求1所述的基于点体素相关场的燃油箱焊接机械臂自适应校正方法，其特征在于，所述步骤3具体包括：

由步骤24获得的稠密化点云定义打孔的面为焊接面，则另外的面为非焊接面，从非焊接面获取圆柱体的母线方向，对比塑料燃油箱打孔焊接机械臂的焊接件轴线方向，能够进行角度调整，计算焊接面点云坐标与焊接件下表面的距离差，即为塑料燃油箱焊接机械臂的进给深度。