CN115770988A - 一种基于点云环境理解的焊接机器人智能示教方法 - Google Patents

Abstract

本发明提出了一种基于点云环境理解的焊接机器人智能示教方法，包括以下步骤：包括以下步骤：步骤一：机械臂搭载点云相机在多个位姿拍照，获取点云数据并进行点云拼接，对场景进行重建；步骤二：对点云数据进行滤波处理；步骤三：提取焊缝空间位置信息，计算焊接过程中焊接姿态；步骤四：引导机械臂到达初始焊接位置；步骤五：激光器对焊缝坡口精确识别实现对机器人的精确引导及误差修正。以此完成对焊接机器人的智能示教过程。

Description

一种基于点云环境理解的焊接机器人智能示教方法

技术领域

本发明涉及机器人技术领域，具体涉及一种基于点云环境理解的焊接机器人智能示教方法。

背景技术

随着智能制造的发展，焊接机器人由于其高效性在当今工业中的应用越发广泛，其中焊缝跟踪技术具有非接触、速度快、精度高等优点，是智能焊接技术的关键。目前市面上的焊接机器人，绝大多数依旧是使用传统的“示教-再现”型的“盲人”机器人，此类型的机器人对环境的一致性要求严格，焊接路径与相关参数都是预先设置的，适用于大型生产线中固定结构零件生产。但在实际加工过程中，焊接件常常因为存在变形、变散热、变间隙、变错边、工件加工误差和装配误差等因素造成焊缝位置的变化；同时在一些中小企业中，由于对一些非结构化的焊接零件加工频繁，“示教-再现”型焊接机器人无法适用于该非结构化场景，由此引出了在焊接机器人中对机器视觉的应用。但目前其对视觉的应用，也多局限于小场景下通过激光对简单焊缝的跟踪，或者由工业相机单纯的对焊件进行拍照后再继续处理。在激光扫描焊接应用中，虽然可以解决精度问题及部分焊接区域的自动跟踪，但在初始位置检测及保持合理焊接位姿等操作上仍需人工设定，无法达到完全的自主焊接目的；工业相机拍照后处理焊接方式虽然可以获得焊缝的全局位置，但由于相机本身精度以及与机器人的手眼标定精度等问题，无法达到精确焊接的效果。以上方法，均无法实现面向一些复杂的、非结构化的焊接场景。

发明内容

本部分的目的在于概述本发明的实施例的一些方面及简要介绍一些实施例。在本部分及本申请的说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

针对以上问题，本发明提出了一种基于点云环境理解的焊接机器人智能示教方法。由点云相机对焊接件的拍照，生成点云信息，通过对点云数据的处理，得到空间中焊缝的轮廓位置及焊接过程起止点，并计算焊接过程中位姿调整策略，引导机械臂到达焊接位置。通过设计激光传感器，对焊缝坡口的焊接点进行精确识别，引导机械臂进行焊接作业并进行实时误差补偿。

本发明解决其技术问题所采用的技术方案是：一种基于点云环境理解的焊接机器人智能示教方法，包括以下步骤：步骤一：机械臂搭载点云相机在多个位姿拍照，获取点云数据并进行点云拼接，对场景进行重建；步骤二：对点云数据进行滤波处理；步骤三：提取焊缝空间位置信息，计算焊接过程中焊接姿态；步骤四：引导机械臂到达初始焊接位置；步骤五：激光器对焊缝坡口精确识别实现对机器人的精确引导及误差修正。以此完成对焊接机器人的智能示教过程。

进一步地，步骤一包括：本发明的研究对象为工业焊接领域中的焊接机器人智能示教问题，由机械臂搭载点云相机，在多个位姿下，对焊件场景进行拍照，通过小孔成像原理对每个位姿下场景点云进行重建。通过点云相机与机械臂的手眼标定，确定相机与机械臂之间的坐标转换关系，将每个位姿下获取的场景点云都转换到机械臂基座标系下，并跟据最近点迭代(ICP)的方法，对场景点云进行拼接，得到完整的焊件点云信息。

进一步地，步骤二包括：对获取的点云数据进行处理，由于相机视野问题，容易造成点云信息的过多获取，获得工作范围外的点云信息；同时，受环境影响，也容易产生一定的点云噪声影响。针对这些问题，在本步骤中，通过限幅滤波的方式，将点云数据限定于焊件工作台上，并通过对离群点的去除，对噪声进行抑制，获得合理的焊件点云信息。

进一步地，步骤三包括：通过对点云语义的分割，确定各个焊接块的语义信息，并通过语义计算及点云边界提取相结合的方式，对焊缝的空间位置进行提取。通过对焊缝点云的排序及柔顺处理，取一定步长的点云点作为计算点，根据等效轴角计算关系，确定机械臂焊接作业过程中的位姿调整关系，以保证焊接工艺的可靠性。

进一步地，步骤四包括：根据得到的焊缝点云，计算焊接过程的起始点作为机械臂引导点，自动引导机械臂到达初始作业位置。

进一步地，步骤五包括：通过设计激光传感器，对焊缝坡口的焊接点位进行精确识别，并通过激光器光平面标定及激光器手眼标定的方式，确定激光器与机械臂末端的坐标转换矩阵。将识别到的焊接点通过激光器的手眼标定矩阵及机械臂逆运动学关系计算到机械臂基座标系下，并将识别点与点云数据对齐，确定位姿转换点位，保证焊接的准确性。

本发明的有益效果是，提出了一种基于点云环境理解的焊接机器人智能示教方法，解决了当前工业加工领域焊接机器人的问题，在成本一定的情况下，提高了焊接效率，经实验，可以适应一些非结构化场景的自动焊接作业需求，提高了机器人的适应性及焊接效率，摒弃了传统人工示教模式的不足。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述性中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明流程图；

图2为本发明系统构成部分图；

图3为本发明工作场景实例图；

图4为机械臂多位姿拍照示意图；

图5为本发明焊件点云信息；

图6为本发明点云滤波后提取的焊缝边界；

图7为本发明等效轴角坐标转换原理图；

图8为本发明等效轴角计算原理图；

图9为本发明激光器结构图；

图10为本发明激光原始图；

图11为本发明激光获取特征点图；

具体实施方式

参照图1、图2，一种基于点云环境理解的焊接机器人智能示教方法，包括以下步骤：包括以下步骤：步骤一：机械臂搭载点云相机在多个位姿拍照，获取点云数据并进行点云拼接，对场景进行重建；步骤二：对点云数据进行滤波处理；步骤三：提取焊缝空间位置信息，计算焊接过程中焊接姿态；步骤四：引导机械臂到达初始焊接位置；步骤五：激光器对焊缝坡口精确识别实现对机器人的精确引导及误差修正。以此完成对焊接机器人的智能示教过程。图2为本系统的具体组成部分，整套系统由相机、激光传感器、焊接机器人、示教器、机器人控制器和计算机组成。

参照图3、图4，步骤一包括：本发明的研究对象为工业焊接领域中的焊接机器人智能示教问题，由机械臂搭载点云相机，在多个位姿下通过小孔成像原理对场景点云进行重建。通过点云相机与机械臂的手眼标定，确定相机与机械臂之间的坐标转换关系，将每个位姿下获取的场景点云都转换到机械臂基座标系下，并跟据最近点迭代(ICP)的方法，对场景点云进行拼接，得到完整的焊件点云信息。

参照图5步骤二包括：对获取的点云数据进行处理，由于相机视野问题，容易造成点云信息的过多获取，获得工作范围外的点云信息；同时，受环境影响，也容易产生一定的点云噪声影响。针对这些问题，在本步骤中，通过限幅滤波的方式，将点云数据限定于焊件工作台上，并通过对离群点的去除，对噪声进行抑制，获得合理的焊件点云信息，终得到的焊件效果如图5示。

参照图6、图7、图8，步骤三包括：通过对点云语义的分割，确定各个焊接块的语义信息，并通过语义计算及点云边界提取相结合的方式，对焊缝的空间位置进行提取。图5焊缝的提取，主要采用边界提取的方法，通过对焊接平台平面的语义计算和对曲面聚类的计算，得到两块相对独立点云信息，并求取相交位置即为焊缝点云。通过对焊缝点云的排序及柔顺处理，采用高斯滤波的方式对焊缝边界进行噪声抑制并去除离群点，即可得到处理后的焊缝点云信息。根据处理后点云信息，计算焊接机器人焊接过程中的位姿变换关系。具体过程如图7所示，设p1点坐标为(x1，y1，z1)，p2点坐标为(x2，y2，z2)，p3点坐标为(x3，y3，z3)。由此求出三点间的两个方向向量a＝p2-p1＝(x2-x1，y2-y1，z2-z1)，b＝p3-p2＝(x3-x2，y3-y2，z3-z2)。通过两向量间的关系，即可对p2点的等效轴角关系进行计算，如公式所示：

通过等效轴角关系计算旋转矩阵可得

得到p2点的等效轴角变换关系，根据机器人学相关知识，该矩阵右乘p2点当前位姿，即可得到p2应改变的实时位姿。依此递推进行运算，即可得到每一点的实时位姿，从而达到位姿实时调整的目的，为后续激光传感器引导提供初始参考。

步骤四包括：根据得到的焊缝点云，计算焊接过程的起始点作为机械臂引导点，自动引导机械臂到达初始作业位置。

参照图9、图10、图11，步骤五包括：通过设计激光传感器，对焊缝坡口的焊接点位进行精确识别，并通过激光器光平面标定及激光器手眼标定的方式，确定激光器与机械臂末端的坐标转换矩阵。将识别到的焊接点通过激光器的手眼标定矩阵及机械臂逆运动学关系计算到机械臂基座标系下，并将激光器识别点与点云数据对齐，确定位姿转换点位，保证焊接的准确性。

经实验验证，基于点云环境理解的焊接机器人智能示教方法，适用于非结构化的焊接作业场景，可以达到自动识别、焊接的目的，对非结构化焊件的焊接作业的作业效率有一定的提高。点云数据的初步运算可以有效地为焊接作业提供初始位姿引导信息，激光传感器可以有效弥补点云精度问题，可以达到实际应用的效果。

以上所述，仅为本发明的具体实施例，不能以其限定发明实施的范围，所以其等同组件的置换，或依本发明专利保护范围所作的等同变化与修饰，都应仍属于本专利涵盖的范畴。另外，本发明中的技术特征与技术特征之间、技术特征与技术方案之间、技术方案与技术方案之间均可以自由组合使用。

Claims (8)

1.一种基于点云环境理解的焊接机器人智能示教方法，其特征在于：包括以下步骤：步骤一：机械臂搭载点云相机在多个位姿拍照，获取点云数据并进行点云拼接，对场景进行重建；步骤二：对点云数据进行滤波处理；步骤三：提取焊缝空间位置信息，计算焊接过程中焊接姿态；步骤四：引导机械臂到达初始焊接位置；步骤五：激光器对焊缝坡口精确识别实现对机器人的精确引导及误差修正。

2.根据权利要求1所述的一种基于点云环境理解的焊接机器人智能示教方法，其特征在于：步骤一包括：本发明的研究对象为工业焊接领域中的焊接机器人智能示教问题，由机械臂搭载点云相机，在多个位姿下，对焊件场景进行拍照，通过小孔成像原理对每个位姿下场景点云进行重建。

3.根据权利要求2所述的一种基于点云环境理解的焊接机器人智能示教方法，其特征在于：通过点云相机与机械臂的手眼标定，确定相机与机械臂之间的坐标转换关系，将每个位姿下获取的场景点云都转换到机械臂基座标系下，并跟据最近点迭代(ICP)的方法，对场景点云进行拼接，得到完整的焊件点云信息。

4.据权利要求1所述的一种基于点云环境理解的焊接机器人智能示教方法，其特征在于：步骤二包括：对获取的点云数据进行处理，由于相机视野问题，容易造成点云信息的过多获取，获得工作范围外的点云信息；同时，受环境影响，也容易产生一定的点云噪声影响，针对这些问题，通过限幅滤波的方式，将点云数据限定于焊件工作台上，并通过对离群点的去除，对噪声进行抑制，获得合理的焊件点云信息。

5.根据权利要求1所述的一种基于点云环境理解的焊接机器人智能示教方法，其特征在于：步骤三包括：通过对点云语义的分割，确定各个焊接块的语义信息，并通过语义计算及点云边界提取相结合的方式，对焊缝的空间位置进行提取。

6.根据权利要求5所述的一种基于点云环境理解的焊接机器人智能示教方法，其特征在于：通过对焊缝点云的排序及柔顺处理，取一定步长的点云点作为计算点，根据等效轴角计算关系，确定机械臂焊接作业过程中的位姿调整关系，以保证焊接工艺的可靠性。

7.根据权利要求1所述的一种基于点云环境理解的焊接机器人智能示教方法，其特征在于：步骤四包括：根据得到的焊缝点云，计算焊接过程的起始点作为机械臂引导点，自动引导机械臂到达初始作业位置。

8.根据权利要求1所述的一种基于点云环境理解的焊接机器人智能示教方法，其特征在于：步骤五包括：通过设计激光传感器，对焊缝坡口的焊接点位进行精确识别，并通过激光器光平面标定及激光器手眼标定的方式，确定激光器与机械臂末端的坐标转换矩阵。将识别到的焊接点通过激光器的手眼标定矩阵及机械臂逆运动学关系计算到机械臂基座标系下，并将识别点与点云数据对齐，确定位姿转换点位，保证焊接的准确性。

Images