CN118023797A - 一种基于指示引导的自动焊接系统及方法 - Google Patents

Abstract

本发明具体涉及一种基于指示引导的自动焊接系统及方法，系统包括焊接机器人，所述焊接机器人一端具有焊枪；焊接指示枪，用于以特定位姿指向目标焊接点；视觉子系统，用于采集所述焊接指示枪，确定目标焊接点的位姿，并根据焊接指示枪指示的目标焊接点的位姿和焊枪位姿生成所述焊接机器人的运动轨迹；视觉子系统能在焊接指示枪的辅助下，获取焊接的目标位置和姿态，进而使得焊接机器人能够在焊接指示枪的引导下完成焊接。在执行焊接任务时，由人工指示的方式确认焊接点，避免了对工件特征的识别，因此，更容易胜任复杂工件的焊接任务。

Description

一种基于指示引导的自动焊接系统及方法

技术领域

本发明涉及自动焊接技术领域，更具体的说是涉及一种基于指示引导的自动焊接系统及方法。

背景技术

传统的人工焊接，焊接质量一致性差、工人劳动强度较大、焊接对人眼危害大等问题突出，且长时间的焊接作业难以实现较好的焊接一致性。

传统的自动焊接系统采用结构光、线激光等视觉方式对焊接件进行自动识别，通过自动识别焊缝特征，系统进行路径规划后实现自动焊接，但是实际产线上，由于钢构件表面反光较强，结构光等视觉系统需要在较好的角度进行检测才能获得完整的特征信息，受工件本身的二次反射和环境光影响较大，通常不能准确无误的进行自动焊接。

由于传统的自动焊接系统采用单相机，在没有外部相机探测的情况下，焊接过程中路径规划无法实时进行避障，容易撞到。因此，复杂工件的自动焊接难以实现，大场景的自动焊接也难以实现。

传统的焊接路径指示方式经常采用人工示教等方式，操作复杂，速度慢，工人不容易掌握。

因此，如何优化对复杂工件和大型工件的自动焊接方式，提高精确度以及避免焊件表面反光带来的环境影响是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于指示引导的自动焊接系统及方法，能够在焊接指示枪的辅助引导下实现焊接位置和姿态的确认，避免了对工件特征的识别，进而更容易胜任复杂工件的焊接任务。

为了实现上述目的，本发明采用如下技术方案：

一种基于指示引导的自动焊接系统，包括：

焊接机器人，所述焊接机器人一端具有焊枪；

焊接指示枪，用于以特定位姿指向目标焊接点；

视觉子系统，用于采集所述焊接指示枪图像，确定目标焊接点的位姿，并根据焊接指示枪指示的目标焊接点的位姿和焊枪位姿生成所述焊接机器人的运动轨迹。

优选的，所述焊接机器人包括：机械臂、所述焊枪和载物平台；

所述机械臂的一端固定在所述载物平台上，另一端连接所述焊枪；

所述载物平台用于置放焊件。

优选的，所述视觉子系统设置于所述载物平台上或者机械臂上。

优选的，所述视觉子系统包括壳体、相机、闪光灯和区域指示灯；所述相机和所述闪光灯设置于所述壳体内部；所述区域指示灯设置于所述壳体上，用于通过发射可见光，用于指示所述相机的图像采集区域。

优选的，所述焊接指示枪包括指示部件和视觉定位部件；所述指示部件与所述视觉定位部件固定连接；

所述指示部件与焊件的目标焊接点接触；

当所述指示部件与焊件的目标焊接点接触时，所述视觉子系统采集所述视觉定位部件的图像，通过识别所述视觉定位部件上的标记点，并通过预先标定的视觉定位部件标定参数，计算所述指示部件的位置和姿态。

优选的，所述视觉定位部件包括视觉定位板，所述视觉定位板的一端连接所述指示部件；所述视觉定位板的表面用于设置所述标记点，所述标记点采用高亮材料或装置制成，所述视觉定位板连接有手持部。

优选的，所述标记点上附着有特定形状、特征点或不同颜色的标记；

所述特定形状包括圆环、棋盘格或条纹；所述特征点包括角点、线交点或纹理。

优选的，所述手持部为腔体结构，所述手持部的腔体内安装有充电接口、信号发射单元、指示开关和电源总开关。

一种基于指示引导的自动焊接方法，包括以下步骤：

通过焊接指示枪以特定姿态指向目标焊接点；

获取一张或者多张所述焊接指示枪的图像，识别所述焊接指示枪的位置和姿态，得到一个或者多个第一位姿；

根据机械臂关节角度得到第二位姿；

生成由所述第二位姿到所述第一位姿的运动轨迹；将第一位姿生成的运动轨迹通过手眼标定转换到机器人坐标系；

控制焊接机器人按照运动轨迹运动到目标焊接点，并根据一个或者多个第一位姿连线生成的运动轨迹，执行自动焊接。

优选的，所述识别所述焊接指示枪的位置和姿态，包括：

识别所述焊接指示枪中多个标记点，确认各个标记点对应标记点相机图像的像素坐标；采用PNP算法计算所述焊接指示枪的位置和姿态。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于指示引导的自动焊接系统及方法，视觉子系统除了能够根据焊接机器人的图像获得焊接机器人的当前位置和姿态外，还能在焊接指示枪的辅助下，获取焊接的目标位置和姿态，进而使得焊接机器人能够在焊接指示枪的引导下完成焊接。在执行焊接任务时，由人工指示的方式确认焊接点，避免了对工件特征的识别，因此，更容易胜任复杂工件的焊接任务；本发明适用于“眼在手外”和“眼在手上”的两种安装方式，可以轻松移动整套焊接机器人，进而可以实现大型焊接件的焊接；本发明中利用焊接指示枪中的标记点与视觉子系统中的相机进行标定，相机采集标记点图像即可实现引导，进而可以适用于各种反射材质表面。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的一种基于指示引导的自动焊接系统原理图。

图2为本发明中的焊接机器人的结构示意图。

图3为本发明中的视觉子系统的结构示意图。

图4为本发明中的焊接指示枪的俯视图。

图5为本发明中的焊接指示枪的正视图。

其中，1-机械臂，2-焊枪，3-视觉子系统，31-壳体，32-相机，33-闪光灯；4-载物平台；5-指示部件，6-视觉定位部件，7-手持部，8-充电接口，9-信号发射单元，10-指示开关，11-电源总开关。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1，一种基于指示引导的自动焊接系统，包括：焊接机器人，所述焊接机器人一端具有焊枪；焊接指示枪，用于以特定位姿指向目标焊接点；视觉子系统，用于采集所述焊接指示枪的图像，确定目标焊接点的位姿，并根据目标焊接点的位姿和焊枪位姿生成所述焊接机器人的运动轨迹。还包括驱动组件，用于接收运动轨迹对应的控制信号进而驱动焊接机器人执行自动焊接。

通过预先的坐标系标定工作，能够得到视觉子系统3中的相机坐标系与机械臂及焊枪运动坐标系间的转换矩阵、以及相机坐标系与焊接指示枪运动坐标系间的转换矩阵。进而通过相机坐标系实现了焊接指示枪和机械臂及焊枪运动坐标系的统一。当视觉子系统3采集到焊接指示枪图像后，结合坐标转换关系，在同一坐标系下规划初始位姿至目标焊点位姿的运动轨迹。

在本实施例中，视觉子系统能在焊接指示枪的辅助下，获取焊接的目标位置和姿态，进而使得焊接机器人能够在焊接指示枪的引导下完成焊接。在执行焊接任务时，由人工指示的方式确认焊接点，避免了对工件特征的识别，因此，更容易胜任复杂工件的焊接任务。

此外，本实施例中视觉子系统还可以通过多次在焊接件的不同目标焊接点采集焊接指示枪的图像，得到目标焊接点姿态的变化情况，得到目标焊接轨迹，进而生成符合目标焊接轨迹的运行轨迹来引导焊接机器人运动，实现对焊接件不同焊接点的自动焊接。

如图2，为了进一步实施上述技术方案，本发明一种方案是将视觉子系统布置于焊接机器人之外。使焊接机器人的运动不会影响到视觉子系统，实现“眼在手外”的布置。焊接机器人包括：机械臂1、焊枪2和载物平台4；机械臂1的一端固定在载物平台4上，另一端连接焊枪2；此外，载物平台4还用于置放焊件；为了实现“眼在手外”，将视觉子系统安装在载物平台上。

为了提高焊接工作的灵活性，载物平台4可以设置为移动平台；机械臂1为六轴机械臂。

为了进一步实施上述技术方案，视觉子系统3包括壳体31、相机32和闪光灯33；相机32和闪光灯设置于壳体31的内部；壳体31上设置有区域指示靶标34，区域指示灯34标用于发射可见光，用于指示相机32的图像采集区域。其中，壳体31上设置的区域指示靶标34为多个，分别布置于相机32镜头侧壳体31的边缘或角落。

为了进一步实施上述技术方案，焊接指示枪包括指示部件5和视觉定位部件6；指示部件5与视觉定位部件6固定连接；指示部件5通过与焊件接触指示焊接位置和姿态。

当指示部件进行指示时，视觉子系统采集视觉定位部件的图像，通过识别视觉定位部件上的标记点，并通过预先标定的标定参数，计算指示部件的位置和姿态。

视觉定位部件6包括视觉定位板，视觉定位板的一端连接指示部件5；视觉定位板的表面用于设置标记点，标记点由全反射材料制成，通过贴合的方式设置在视觉定位板的表面；视觉定位板连接有手持部7；手持部7为腔体结构，手持部的腔体内安装有充电接口8、信号发射单元9、指示开关10和电源总开关11；信号发射单元3可采用ESP32等芯片。焊接指示枪在焊接目标处点击指示开关11并发送指令至视觉子系统3，视觉子系统3接收到指令后采集视觉定位板的图像信息，根据图像信息确定目标焊接点的位置和姿态；然后设置焊接参数，最后按照指示枪指引的点位进行路径规划。

其中，对于目标焊接点位置的计算，步骤包括：构建焊接指示枪坐标系，计算得到焊接指示枪坐标系与相机之间的位姿为R，t。同时，获取指示部件5与焊件接触的端部在焊接指示枪坐标系中位置是(x,y,z)，则计算此刻在相机坐标系的位置为R*(x,y,z)+t；其中，R表示焊接指示枪坐标系与相机坐标系之间的旋转变换矩阵，t表示焊接指示枪坐标系与相机坐标系之间的平移变换矩阵。

识别指示部件5进行指示时的视觉定位部件6所处的位姿，需要对相机坐标系和视觉定位板坐标系进行预先标定，通过标定记录视觉子系统3中相机32的内参和焊接指示枪在不同角度下的外参，根据标定好的参数，采用PNP算法计算位姿。焊接指示枪和相机的标定的流程如下：

S11：准备视觉定位板：首先需要准备一个视觉定位板，通常选择的是棋盘格视觉定位板，因为它有明显的特征点，易于识别。确保视觉定位板是平整的并且特征点可以被清晰识别。

S12：采集图像：使用单目相机采集包含视觉定位板的多幅图像。在整个过程中，需要保持视觉定位板在不同的位置和角度，以便捕捉到不同视角下的视觉定位板图像。

S13：提取角点：对于每幅图像，需要利用图像处理方法提取出视觉定位板上的角点信息。这些角点将用于后续的标定计算，其中的角点即标记点点。

S14：计算内部参数：使用提取的角点数据，通过相机标定的数学模型(如针孔相机模型)来计算相机的内参数，包括焦距、主点位置等。

S15：计算畸变参数：校正相机的镜头畸变，包括径向畸变和切向畸变等。

S16：计算外部参数：通过内参和图像上的角点信息，计算相机的外部参数，包括相机姿态(位置和方向)。

S17：评估标定结果：使用标定结果对图像进行畸变校正，验证标定结果的准确性。

为了区分标记点，可以采用多种方式。可以添加特殊形状标记：如圆环、棋盘格、条纹等特殊形状的标记点，这些形状可以更易于检测和识别的特征。也可以在自然场景中加入特征点：利用自然场景中的特征点作为标记点，如角点、线交点、纹理等。颜色标记：利用不同颜色的标记点进行区分，如红色、蓝色、绿色等，可以通过颜色分割算法进行识别。

此外，为了实现对焊枪位置和姿态的指引，还需要预先对焊枪和视觉子系统进行手眼标定，标定步骤如下：

S21：将相机固定在机械臂外的位置，且确认机械臂的运动不会撞到相机。

S22：采集数据，移动机械臂末端到不同位置(至少4个，更多更好)，在每个位置记录相机坐标系到机械臂基座坐标系的变换矩阵(\mathbf{A}_i)和相机从其初始位置的变换矩阵(\mathbf{B}_i)。

S23：参数求解。X为需求解的手眼标定矩阵，求解公式如下：

视觉定位板上的点在视觉定位板坐标系下坐标值为P1，在机械臂末端坐标系下的坐标为P3。在位姿1下的转换关系：

P1TcwXTeb＝P3(1)

变换位姿，在位姿2下的转换关系：

P1Tcw’XTeb’＝P3(2)

(2)式中Teb、Teb’可以通过机器人位姿输出获得，Tcw、Tcw’可以通过标定相机外参获得。通过两式合并可以得到；

TcwXTeb＝Tcw’XTeb’(3)

进一步转换成：

TcwXTcw’-1＝TebXTeb’-1(4)

公式(4)能理解成AX＝XB的形式，A＝TcwXTcw’-1,B＝TebXTeb’-1,A、B都为已知数，通过多次变换机器人位姿，对手眼标定方程AX＝XB求解，即可得到手眼转换矩阵X的值。

应用标定参数：一旦标定完成并且验证通过，就可以将获得的内参和外参参数用于焊接笔位姿调整应用中。通过获取焊接指示枪的姿态和位置，可以将该焊接指示枪的位置信息下发给机械臂上的焊枪，从而引导机械臂上的焊枪完成焊接任务。

优化与校正：

使用收集到的数据，通过迭代优化算法(如梯度下降法、遗传算法等)，不断调整(\mathbf{X})，最小化误差函数。

优化完成后，获得的(\mathbf{X})即为相机坐标系到机械臂基座坐标系的变换矩阵。

数据采集的多样性和精度直接影响标定结果的准确性。标定过程可能需要反复迭代，特别是在机械系统的精度和相机的分辨率限制下。本发明使用视觉定位板上便于图像识别的标记点来提高相机观测的精度。

为了进一步实施上述技术方案，视觉子系统还用于进行标定并存储标定参数。

实施例2

基于同一发明构思，本发明实施例公开一种基于指示引导的自动焊接方法，包括以下步骤：

S1：通过焊接指示枪以特定姿态指向目标焊接点。

S2：获取焊接指示枪的图像，识别焊接指示枪的位置和姿态，得到一个或者多个第一位姿在S2中，每获取一个第一位姿，即可确认焊接轨迹中的一个轨迹点，将多个第一位姿对应的轨迹点连线生成焊接轨迹。

S3：根据机械臂的各轴的角度，得到第二位姿。

S4：生成由第二位姿到第一位姿的运动轨迹。将由多个第一位姿表示的焊接轨迹通过手眼标定转换到机器人坐标系。具体的，结合相机的内参采用PNP算法将采集到的像素坐标转换至相机坐标系下，然后结合预先标定时得到的机器人-相机坐标系转换矩阵，转换至机器人坐标系。此外，还可采用行业公知的其他计算方式实现坐标系转换。

S5：控制焊接机器人按照运动轨迹运动到目标焊接点，并根据S2生成的运动轨迹，执行自动焊接。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于指示引导的自动焊接系统，其特征在于，包括：

焊接机器人，所述焊接机器人一端具有焊枪；

焊接指示枪，用于以特定位姿指向目标焊接点；

视觉子系统，用于采集所述焊接指示枪图像，确定目标焊接点的位姿，并根据焊接指示枪指示的目标焊接点的位姿和焊枪位姿生成所述焊接机器人的运动轨迹。

2.根据权利要求1所述的一种基于指示引导的自动焊接系统，其特征在于，所述焊接机器人包括：机械臂、所述焊枪和载物平台；

所述机械臂的一端固定在所述载物平台上，另一端连接所述焊枪；

所述载物平台用于置放焊件。

3.根据权利要求2所述的一种基于指示引导的自动焊接系统，其特征在于，所述视觉子系统设置于所述载物平台上或者机械臂上。

4.根据权利要求1或3所述的一种基于指示引导的自动焊接系统，其特征在于，所述视觉子系统包括壳体、相机、闪光灯和区域指示灯；所述相机和所述闪光灯设置于所述壳体内部；所述区域指示灯设置于所述壳体上，用于通过发射可见光，指示所述相机的图像采集区域。

5.根据权利要求1所述的一种基于指示引导的自动焊接系统，其特征在于，所述焊接指示枪包括指示部件和视觉定位部件；所述指示部件与所述视觉定位部件固定连接；

所述指示部件与焊件的目标焊接点接触；

当所述指示部件与焊件的目标焊接点接触时，所述视觉子系统采集所述视觉定位部件的图像，通过识别所述视觉定位部件上的标记点，并通过预先标定的视觉定位部件标定参数，计算所述指示部件的位置和姿态。

6.根据权利要求5所述的一种基于指示引导的自动焊接系统，其特征在于，所述视觉定位部件包括视觉定位板，所述视觉定位板的一端连接所述指示部件；所述视觉定位板的表面用于设置所述标记点，所述标记点采用高亮材料或装置制成，所述视觉定位板连接有手持部。

7.根据权利要求6所述的一种基于指示引导的自动焊接系统，其特征在于，所述标记点上附着有特定形状、特征点或不同颜色的标记；

所述特定形状包括圆环、棋盘格或条纹；所述特征点包括角点、线交点或纹理。

8.根据权利要求6所述的一种基于指示引导的自动焊接系统，其特征在于，所述手持部为腔体结构，所述手持部的腔体内安装有充电接口、信号发射单元、指示开关和电源总开关。

9.一种基于指示引导的自动焊接方法，其特征在于，包括以下步骤：

通过焊接指示枪以特定姿态指向目标焊接点；

获取一张或者多张所述焊接指示枪的图像，识别所述焊接指示枪的位置和姿态，得到一个或者多个第一位姿；

根据机械臂关节角度得到第二位姿；

生成由所述第二位姿到所述第一位姿的运动轨迹；将第一位姿生成的运动轨迹通过手眼标定转换到机器人坐标系；

控制焊接机器人按照运动轨迹运动到目标焊接点，并根据一个或者多个第一位姿连线生成的运动轨迹，执行自动焊接。

10.根据权利要求9所述的一种基于指示引导的自动焊接方法，其特征在于，所述识别所述焊接指示枪的位置和姿态，包括：

识别所述焊接指示枪中多个标记点，确认各个标记点对应标记点相机图像的像素坐标；采用PNP算法计算所述焊接指示枪的位置和姿态。