CN117102725B - 一种钢混组合结构连接件焊接方法及系统 - Google Patents

Abstract

本发明提供的一种钢混组合结构连接件焊接方法及系统，是通过待加工构件图纸中的标靶点世界坐标、钢混组合结构连接件相对坐标进行坐标系转换为世界坐标，引导机械臂上的工业三维相机补充缺失的Z轴信息以及待焊接点的朝向信息，从而解算并调整机械臂末端姿态，机械臂沿着调整后的方向移动，完成对钢混组合结构连接件焊接。相比于现有技术，本发明能智能提取二维Dwg图纸加工信息，兼容三维构件和二维构件表面的钢混组合结构连接件自动化焊接，同时内置的焊接路径规划算法能够以不同方向的焊接顺序适应不同类型的构件，实现焊接工程自动化，有效降低人工、自动化设备成本，提高钢混组合结构连接件焊接效率。

Description

一种钢混组合结构连接件焊接方法及系统

技术领域

本发明涉及金属加工技术领域，特别是涉及一种用于钢混组合结构连接件的焊接方法及系统，重点关注剪力钉的自动化焊接。

背景技术

在钢混组合结构存在大量的连接件，又称之为剪力钉、焊钉、栓钉，其用于连接混凝土构件和钢构件，保证二者整体受力。特别是在核电机组结构模块、钢板组合梁等预加工构件中存在大量剪力钉，经调研每个项目平均消耗25万颗剪力钉。现有技术中，一般对剪力钉采用人工焊接的方式，人工焊接流程中首先需要划线，这一步骤需要花费整个焊接流程一半的时间。采用工人手持半自动焊枪，需要弯腰完成划线、焊接剪力钉等过程，剪力钉焊接量大，重复劳动强度高，而焊接所需的电压，电流大，安全风险高。同时，现有自动化焊接剪力钉的设备，需要根据二维图纸重新建立一个三维模型提供具体的三维加工信息，才能开始进行焊接。建立的这个三维模型是一种特殊的输入“格式”，不同的加工设备会出现读取不兼容的问题，同时这个三维模型别无他用，降低了生产效率；同时现有的剪力钉自动化焊接曲面和平面焊接设备割裂，不能在同一台设备上兼容三维构件和二维构件表面剪力钉自动化焊接，并且造价高昂。

因此，提供一种从二维Dwg图纸到兼容三维构件和二维构件，且内置的焊接路径规划算法能够以不同的焊接顺序适应不同类型的构件的剪力钉焊接方法及系统是本领域技术人员亟待解决的问题。

发明内容

本发明的目的在于提供一种钢混组合结构连接件焊接方法及系统，该方法逻辑清晰，安全、有效、可靠且操作简便，能从二维Dwg图纸到兼容三维构件和二维构件，且内置的焊接路径规划算法能够以不同的焊接顺序适应不同类型的构件，实现焊接工程自动化，有效降低人工成本，提高钢混组合结构连接件焊接效率。

基于以上目的，本发明提供的技术方案如下：

一种钢混组合结构连接件焊接方法，包括如下步骤：

以待加工构件钢混组合结构连接件布置图纸中标靶点的二维坐标为参照，获取钢混组合结构连接件待焊接点的二维相对坐标；

通过机械臂末端搭载的工业三维相机采集所述标靶点的像素坐标及深度信息，转化为所述标靶点的相机坐标；

根据所述标靶点的相机坐标和预设变换矩阵，获取所述标靶点的平面世界坐标；

根据所述标靶点的平面世界坐标和所述钢混组合结构连接件待焊接点的二维相对坐标，获取待焊接点的平面世界坐标；

根据所述待焊接点的平面世界坐标，获取平面焊接路径；

根据所述平面焊接路径，移动搭载工业三维相机的机械臂末端至所述待焊接点上方，获取所述待焊接点的世界坐标系下的三维笛卡尔坐标，并拟合所述待焊接点的法线方向；

根据所述待焊接点的世界坐标系下的三维笛卡尔坐标和所述待焊接点的法线方向，调整所述机械臂末端姿态；

根据所述平面焊接路径，以调整后的机械臂末端姿态，控制机械臂在所述待焊接点，沿所述待焊接点的法线方向进行钢混组合结构连接件焊接。

优选地，所述以待加工构建钢混组合结构连接件标靶点的二维坐标为参照，获取钢混组合结构连接件待焊接点的二维相对坐标，包括如下步骤：

在钢混组合结构连接件布置图纸中将所述标靶点以圆形表示，取A、B、C和D四个所述标靶点成矩形排布；

以标靶点A为坐标原点，AB为X轴，AD为Y轴，建立Cad平面坐标系；

获取每个钢混组合结构连接件的所述待焊接点相对于所述坐标原点的二维相对坐标。

优选地，所述通过机械臂末端搭载的工业三维相机采集所述标靶点的像素坐标及深度信息，转化为所述标靶点的相机坐标，包括如下步骤：

在待加工构件上与在钢混组合结构连接件布置图纸中相同位置放置A、B和D三个圆形标靶；

对工业三维相机进行内参标定，获得内参矩阵；

通过内参标定后的工业三维相机捕捉所述圆形标靶的标靶点的像素坐标及深度信息，根据所述内参矩阵转化为所述标靶点的相机坐标。

优选地，所述根据所述标靶点的相机坐标和预设变换矩阵，获取所述标靶点的平面世界坐标，包括如下步骤：

调用相机坐标系到机械臂末端坐标系的第一变换矩阵；

根据预设规则获取所述机械臂末端坐标系至机械臂基坐标系的第二变换矩阵；

将世界坐标系设置在机械臂行走第七轴，获取所述机械臂基坐标系到世界坐标系的第三变换矩阵；

根据所述第一变换矩阵、所述第二变换矩阵和所述第三变换矩阵，获取所述相机坐标系到所述世界坐标系的第四变换矩阵，具体为：

；

根据所述第四变换矩阵和所述标靶点的相机坐标，获取所述标靶点的平面世界坐标；

其中，所述预设坐标系转换矩阵包括：所述第一变换矩阵、所述第二变换矩阵和所述第三变换矩阵。

优选地，所述根据所述标靶点的平面世界坐标和所述钢混组合结构连接件待焊接点的二维相对坐标，获取待焊接点的平面世界坐标，具体为：

在实际加工构件上，定义标靶点A、B、C、D的平面世界坐标分别为，以AB为X轴，AD为Y轴构建Cad平面坐标系，A点为Cad平面坐标系原点，待焊接点E在所述平面世界坐标系中的坐标为/>；

根据预设公式，获取所述待焊接点的平面世界坐标；

所述预设公式为：

；

所述待焊接点的平面世界坐标为：

。

优选地，所述根据所述待焊接点的平面世界坐标，获取平面焊接路径，具体为：

根据所述钢混组合结构连接件待焊接点的平面世界坐标和强化学习的路径规划算法，分别为X轴方向和Y轴方向赋予预设权重因子，以获取所述平面焊接路径。

优选地，所述根据所述平面焊接路径，移动搭载工业三维相机的机械臂末端至所述待焊接点上方，获取所述待焊接点的世界坐标系下的三维笛卡尔坐标，并拟合所述待焊接点的法线方向，包括如下步骤：

移动搭载工业三维相机的机械臂末端在所述待焊接点上方，通过工业三维相机，采集所述待焊接点附近转化为世界坐标的点云数据；

根据所述点云数据与所述待焊接点的平面世界坐标，补充所述待焊接点的Z轴世界坐标，以获取所述待焊接点的世界坐标系下的三维笛卡尔坐标；

根据所述待焊接点的世界坐标系下的三维笛卡尔坐标，获取所述待焊接点附近的法线向量，采用NearestNeighbors算法拟合所述待焊接点附近的法线向量，以获取所述待焊接点的法线方向。

优选地，所述根据所述待焊接点的世界坐标系下的三维笛卡尔坐标和所述待焊接点的法线方向，调整所述机械臂末端姿态，包括如下步骤：

根据待焊接点的三维笛卡尔坐标，确定机械臂末端应达到空间坐标；

根据所述待焊接点的法线方向，获取与所述待焊接点的法线方向相反的归一化后的法向量；

判断机械臂基坐标系Z轴方向向量和所述归一化后的法向量的位置关系；

若所述机械臂基坐标系Z轴方向向量和所述归一化后的法向量既不重合也不相反，则根据预设旋转矩阵获取并调整机械臂末端姿态。

优选地，所述机械臂末端姿态，具体为：

定义旋转轴矢量为，旋转角定义为/>，令/>；

则预设旋转矩阵为；

；

则机械臂末端姿态为。

一种钢混组合结构连接件焊接系统，包括：

焊接点二维坐标模块，用于以待加工构件钢混组合结构连接件布置图纸中标靶点的二维坐标为参照，获取钢混组合结构连接件待焊接点的二维相对坐标；

标靶点相机坐标模块，用于通过机械臂末端搭载的工业三维相机采集所述标靶点的像素坐标及深度信息，利用内参矩阵转化为所述标靶点的相机坐标；

标靶点平面世界坐标模块，用于根据所述标靶点的相机坐标和预设变换矩阵，获取所述标靶点的平面世界坐标；

焊接点平面世界坐标模块，用于根据所述标靶点的平面世界坐标和所述钢混组合结构连接件待焊接点的二维相对坐标，获取待焊接点的平面世界坐标；

平面焊接路径模块，用于根据所述待焊接点的平面世界坐标，获取平面焊接路径；

焊接点三维坐标和法线模块，用于根据所述平面焊接路径，移动机械臂末端搭载的工业三维相机至所述待焊接点上方，获取所述待焊接点的世界坐标系下的三维笛卡尔坐标，并拟合所述待焊接点的法线方向；

机械臂末端姿态模块，用于根据所述待焊接点的世界坐标系下的三维笛卡尔坐标和所述待焊接点的法线方向，调整所述机械臂末端姿态；

焊接模块，用于根据所述平面焊接路径，以调整后的机械臂末端姿态，控制机械臂在所述待焊接点，沿所述待焊接点的法线方向进行钢混组合结构连接件焊接。

本发明提供的钢混组合结构连接件焊接方法，是通过以待加工构件钢混组合结构连接件布置图纸中标靶点的二维坐标为参照，获取钢混组合结构连接件待焊接点的二维相对坐标；通过机械臂末端搭载的工业三维相机采集所述标靶点的像素坐标及深度信息，转化为所述标靶点的相机坐标；根据所述标靶点的相机坐标和预设变换矩阵，获取所述标靶点的平面世界坐标；根据所述标靶点的平面世界坐标和所述钢混组合结构连接件待焊接点的二维相对坐标，获取待焊接点的平面世界坐标；根据所述待焊接点的平面世界坐标，获取平面焊接路径；根据所述平面焊接路径，移动机械臂末端至所述待焊接点上方，获取所述待焊接点的世界坐标系下的三维笛卡尔坐标，并拟合所述待焊接点的法线方向；根据所述待焊接点的世界坐标系下的三维笛卡尔坐标和所述待焊接点的法线方向，调整所述机械臂末端姿态；根据所述平面焊接路径，以调整后的机械臂末端姿态，控制机械臂在所述待焊接点，沿所述待焊接点的法线方向进行钢混组合结构连接件焊接；

本发明通过待加工构件图纸中的标靶点世界坐标、钢混组合结构连接件相对坐标进行坐标系转换为世界坐标，引导机械臂上的工业三维相机补充缺失的Z轴信息以及待焊接点的朝向信息，从而解算并调整机械臂末端姿态，机械臂沿着调整后的方向移动，完成对钢混组合结构连接件焊接。相比于现有技术，本发明能智能提取二维Dwg图纸加工信息，兼容三维构件和二维构件表面的钢混组合结构连接件自动化焊接，同时内置的焊接路径规划算法能够以不同的焊接顺序适应不同类型的构件，实现焊接工程自动化，有效降低人工、自动化设备成本，提高钢混组合结构连接件焊接效率。

本发明还提供了一种钢混组合结构连接件焊接系统，由于该系统与该方法解决相同的技术问题，属于相同的技术构思，理应具有相同的有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种钢混组合结构连接件焊接方法的流程图；

图2为本发明实施例提供的步骤S1的流程图；

图3为本发明实施例提供的步骤S2的流程图；

图4为本发明实施例提供的步骤S3的流程图；

图5为本发明实施例提供的步骤S6的流程图；

图6为本发明实施例提供的步骤S7的流程图；

图7为本发明实施例提供的获取并调整机械臂末端姿态的流程图；

图8为本发明实施例提供的一种钢混组合结构连接件焊接系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例采用递进的方式撰写。

本发明实施例提供了一种钢混组合结构连接件焊接方法及系统。主要解决现有技术中，现有技术中人工成本较高，钢混组合结构连接件焊接效率较低以及自动化焊接设备需要额外建立三维信息模型才能进行焊接，影响生产进度的技术问题。以钢混组合结构连接件的一种——剪力钉为代表，说明本发明的具体实施过程，如下：

如图1所示，一种钢混组合结构连接件焊接方法，包括如下步骤：

一种钢混组合结构连接件焊接方法，包括如下步骤：

S1.以待加工构件剪力钉布置图纸中标靶点的二维坐标为参照，获取剪力钉待焊接点的二维相对坐标；

S2.通过机械臂末端搭载的工业三维相机采集标靶点的像素坐标及深度信息，转化为标靶点的相机坐标；

S3.根据标靶点的相机坐标和预设变换矩阵，获取标靶点的平面世界坐标；

S4.根据标靶点的平面世界坐标和剪力钉待焊接点的二维相对坐标，获取待焊接点的平面世界坐标；

S5.根据待焊接点的平面世界坐标，获取平面焊接路径；

S6.根据平面焊接路径，移动搭载三维工业相机的机械臂末端至待焊接点上方，获取待焊接点的世界坐标系下的三维笛卡尔坐标，并拟合待焊接点的法线方向；

S7.根据待焊接点的世界坐标系下的三维笛卡尔坐标和待焊接点的法线方向，调整机械臂末端姿态；

S8.根据平面焊接路径，以调整后的机械臂末端姿态，控制机械臂在待焊接点，沿待焊接点的法线方向进行剪力钉焊接。

步骤S1中，基于.Net框架，采用C#编程语言对AutoCAD进行开发，提取待焊接构件剪力钉布置图中的标靶点A的Cad坐标，再以标靶点A为原点，获取剪力钉待焊接点的二维相对坐标；

剪力钉一般的形状为圆柱状，因此在在平面图纸上用圆形表达，然而在三维曲面的投影并不是圆形。但是工程师绘制图纸时却是用圆形来表示剪力钉的投影形状，圆心与剪力钉实际的焊接位置重合；

步骤S2中，通过机械臂末端搭载的工业三维相机提取与Dwg图纸中对应的标靶点的像素坐标及深度信息，转化为标靶点的相机坐标；

步骤S3中，通过预设变换矩阵将标靶点的相机坐标，转换为标靶点的平面世界坐标；

步骤S4中，根据步骤S1中获取的剪力钉待焊接点的二维相对坐标，以及标靶点的平面世界坐标，计算获取待焊接点的平面世界坐标；

步骤S5中，通过待焊接点的平面世界坐标结合强化学习算法，获取平面焊接路径；

步骤S6中，按照平面焊接路径，移动搭载工业三维相机的机械臂末端到待焊接点的上方，通过工业三维相机获取待焊接点的世界坐标系下的三维笛卡尔坐标，同时拟合该点法线向量方向；

步骤S7中，根据待焊接点的世界坐标系下的三维笛卡尔坐标以及三维笛卡尔坐标处的法线向量方向，解算机械臂末端剩余的三个欧拉转角姿态，并以此调整机械臂末端姿态；

步骤S8中，按照平面焊接路径，以调整后的机械臂末端这姿态，控制机械臂在待焊接点沿待焊接点的法线向量方向进行剪力钉焊接。

如图2所示，优选地，步骤S1，包括如下步骤：

A1.在剪力钉布置图纸中将标靶点以圆形表示，取A、B、C和D四个标靶点成矩形排布；

A2.以标靶点A为坐标原点，AB为X轴，AD为Y轴，建立Cad二维坐标系；

A3.获取每个剪力钉的待焊接点相对于坐标原点的二维相对坐标。

步骤A1至A3中，在剪力钉布置图纸中取3个标靶点ABD，在剪力钉布置图纸即Dwg图纸绘制时，将四个标靶点A点（左下），B点（左上），C点（右上）D点（右下）绘制在待加工的构件剪力钉布置图纸上，但是只使用ABD三个标靶点，形成矩形排布，以圆形表示。提取圆形的坐标，将A点设为坐标原点，AB为X轴，AD为Y轴，构建Cad平面坐标系，获取剪力钉待焊接点的二维相对于标靶点A的二维相对坐标（即剪力钉待焊接点在Cad二维空间中的平面坐标减去标靶点A的平面坐标）。

如图3所示，优选地，步骤S2，包括如下步骤：

B1.在待加工构件上与在剪力钉布置图纸中相同位置放置A、B和D三个圆形标靶；

B2.对工业三维相机进行内参标定，获得内参矩阵；

B3.通过内参标定后的工业三维相机捕捉圆形标靶的标靶点的像素坐标及深度信息，根据内参矩阵转化为标靶点的相机坐标。

步骤B1中，在生产线实际加工构件上与待加工构件Dwg图纸中相同位置处放置A、B、D三个圆形标靶；

步骤B2至步骤B3中，利用工业三维相机对标靶进行目标识别获取像素坐标以及深度信息时，需要对相机进行内参标定，否则拍摄的照片会有畸变，像素坐标偏差较大。通过内参标定过程得到的内参矩阵可以将相机坐标系下的坐标，转换为像素坐标，反之亦可。

内参标定过程是将相机视野内物体透视投影为理想图像坐标系，将理想图像坐标系畸变校正为真实图像坐标系，将真实图像坐标系数字化图像为像素坐标系；

通过内参校准后的相机才能准确的捕捉对应目标点像素坐标后，进一步提取对应目标点的深度信息，转化为标靶点的相机坐标。

如图4所示，优选地，步骤S3，包括如下步骤：

C1.调用相机坐标系到机械臂末端坐标系的第一变换矩阵；

C2.根据预设规则获取机械臂末端坐标系至机械臂基坐标系的第二变换矩阵；

C3.将世界坐标系设置在机械臂行走第七轴，获取机械臂基坐标系到世界坐标系的第三变换矩阵；

C4.根据第一变换矩阵、第二变换矩阵和第三变换矩阵，获取相机坐标系到世界坐标系的第四变换矩阵，具体为：

；

C5.根据第四变换矩阵和标靶点的相机坐标，获取标靶点的平面世界坐标；

其中，预设坐标系转换矩阵包括：第一变换矩阵、第二变换矩阵和第三变换矩阵。

需要说明的是，步骤S3具体是：通过工业相机中内参标定过程得到的内参矩阵，将步骤B3中工业相机捕捉的圆形标靶的标靶点的像素坐标及深度信息转换为相机坐标；

在本实施例中：相机标定好的内参矩阵和像素坐标与相机坐标系下的坐标转换关系分别是，其中与/>分别代表像素坐标和相机坐标系下的坐标：

具体是引导机械臂上搭载的工业三维相机垂直向下拍摄待加工构件上的标靶RGB图像，随后将RGB图像灰度化，通过Hough算法检测圆形标靶中心，提取标靶圆形中心像素坐标及该点的深度信息，利用内参矩阵将像素坐标转换为相机坐标；

再通过步骤C5中的第四变换矩阵，将标靶点相机坐标转换为标靶点A、B、D的平面世界坐标；

步骤C1至步骤C4为获取第四变换矩阵的过程；

步骤C1中，采用眼在手上的标定方式获取相机坐标系到机械臂末端的变换矩阵。此变换矩阵的获得方法在机器人学中较为成熟，有编写好的程序可供调用，故不赘述；

步骤C2中，机械臂末端至机械臂基坐标系的变换矩阵，可以由机械臂末端在机械臂基坐标系的位姿（通过机械臂提供的API接口可以实时调用）计算可得，如下：

考虑到矩阵相乘的维度问题，空间点坐标定义引入第四个维度，添加1表示齐次坐标，则机械臂末端执行器坐标下坐标列向量为。对于机械臂执行器的末端实时姿态/>，该姿态表示机械臂基座标系原点相对于机械臂末端执行器标系原点平移/>，绕机械臂基座标系坐标轴旋转固定角，方能使机械臂基坐标系与机械臂末端执行器的坐标重合。

因此两坐标系之间转换的平移矩阵，绕X轴的旋转矩阵/>，绕Y轴的旋转矩阵/>，绕Z轴的旋转矩阵/>分别如下所示，而总的旋转矩阵为/>

因此对于机械臂末端执行器坐标系下的一点，在机械臂基坐标系下的表达形式为/>；

步骤C3中，同时考虑机械臂行走第七轴，将世界坐标系设在机械臂行走第七轴末端。若世界坐标系与机械臂行走第七轴的坐标轴方向一致，那么机械臂基坐标系到世界坐标系的变换矩阵仅是一个平移变换矩阵，与/>的推导极为类似，故不赘述；

步骤C4中，通过第一变换矩阵、第二变换矩阵和第三变换矩阵组合，形成第四变换矩阵；

步骤C5中，结合第四变换矩阵和标靶点的相机坐标，计算得到标靶点的平面世界坐标；

在本实施例中，相机坐标系中的任意一点用世界坐标系表示为：，通过标靶点的相机坐标和上述规则，将标靶点的相机坐标转换为平面世界坐标。

优选地，步骤S4，具体为：

定义标靶点A、B、C、D的平面世界坐标分别为，以AB为X轴，AD为Y轴构建Cad平面坐标系，A点为Cad平面坐标系原点，待焊接点E在平面世界坐标系中的坐标为/>；

根据预设公式，获取待焊接点的平面世界坐标；

预设公式为：

待焊接点的平面世界坐标为：

。

在本实施例中，现已获得标靶点A、B、D的平面世界坐标以及Dwg图纸中剪力钉待焊接点的二维相对坐标，根据这两组关系，可以解算剪力钉待焊接点的平面世界坐标，具体为：

定义标靶点A、B、D的平面世界坐标分别为，以AB为X轴，AD为Y轴构建Cad坐标系，A点为Cad坐标系原点，所定义的Cad坐标系坐标轴方向与Cad的绘图空间世界坐标系一致，方便计算剪力钉待焊接点相对于Cad坐标系原点的相对坐标，待焊接点E在Cad坐标系中的二维相对坐标为/>；以A点为Cad坐标系原点，待焊接点E现仅知道待焊接点Cad坐标系中的相对坐标，而在世界坐标系中的坐标为/>是未知的，需要通过Cad2World变换矩阵解算。

平面世界坐标系X轴方向向量，Y轴方向向量为/>，Cad坐标系的在平面世界坐标系中X轴的方向向量/>，Y轴的方向向量，的则Cad2World变换矩阵与待焊接点E在世界坐标系中的坐标为/>分别为：

；

Cad2World变换矩阵的完整表达式为：

优选地，步骤S5，具体为：

根据剪力钉待焊接点的平面世界坐标和强化学习的路径规划算法，分别为X轴方向和Y轴方向赋予预设权重因子，以获取平面焊接路径。

需要说明的是，获得剪力钉待焊接点的平面世界坐标后，可以进行平面路径规划，便于引导搭载工业三维相机的机械臂末端移动到待焊接点上方，通过工业三维相机捕获转化为世界坐标的点云数据，补充缺失的三维信息。

在本实施例中，根据剪力钉待焊接点的平面世界坐标和强化学习的路径规划算法，分别为X轴方向和Y轴方向赋予预设权重因子，其目的是通过权重因子控制剪力钉沿不同方向焊接的优先级。若X轴方向的权重因子大于Y轴方向的权重因子，那么焊接完起始点后，会优先选择在X轴方向的且最近的待焊接点，反之则反；

二维构件常见的形式是工字钢梁，沿构件横向焊接的趋势大于沿纵向焊接的趋势，而三维曲面钢板则与之相反。采用了基于强化学习的路径规划算法，通过赋予XY方向的不同权重，可以实现不同的焊接顺序偏好，以满足生产实际需求，兼容不同类型的构件。

如图5所示，优选地，步骤S6，包括如下步骤：

D1.移动搭载工业三维相机的机械臂末端在待焊接点上方，通过工业三维相机，采集待焊接点附近转化为世界坐标的点云数据；

D2.根据点云数据与待焊接点的平面世界坐标，补充待焊接点的Z轴世界坐标，以获取待焊接点的世界坐标系下的三维笛卡尔坐标；

D3.根据待焊接点的世界坐标系下的三维笛卡尔坐标，获取待焊接点附近的法线向量，采用NearestNeighbors算法拟合待焊接点附近的法线向量，以获取待焊接点的法线方向。

步骤D1至步骤D3中，根据平面路径规划结果，可以引导搭载工业三维相机的机械臂末端移动到待焊接点上方垂直向下，通过工业三维相机捕捉待焊接点附近转化为世界坐标系下的点云数据。所采用的工业三维相机捕获深度信息的范围是20cm-100cm，一般三维曲面构件的起伏不会超过100cm，因此控制相机垂直向下捕获点云信息时与最低点保持距离在80cm左右，既能保证深度信息精度最高，又不会与构件发生碰撞。

因为待焊接点的平面世界坐标是已知的，当捕获点云数据后，通过匹配点云数据的XY坐标与待焊接点的平面世界坐标，选择一个平面坐标最接近点云坐标作为待焊接点的真实三维坐标，以此补充缺失的Z轴世界坐标，故可以获得完整的世界坐标系下的三维笛卡尔坐标。

同时取待焊接点周围20个点采用NearestNeighbors算法拟合该点法线向量方向，因为实际构件中剪力钉待焊接点的朝向向外，若拟合的向量Z轴分量小于零，则取Z轴分量的相反数，保证剪力钉待焊接点的法线朝向与真实构件一致。

如图6所示，优选地，步骤S7，包括如下步骤：

E1.根据待焊接点的三维笛卡尔坐标，确定机械臂末端应达到空间坐标；

E2.根据待焊接点的法线方向，获取与待焊接点的法线方向相反的归一化后的法向量；

E3.判断机械臂基坐标系Z轴方向向量和归一化后的法向量的位置关系；

E4.若机械臂基坐标系Z轴方向向量和归一化后的法向量既不重合也不相反，则根据预设旋转矩阵获取并调整机械臂末端姿态。

步骤E1至步骤E4中，是根据待焊接点处曲面的法线，解算机械臂末端剩余的三个欧拉转角姿态。此部分问题简化为：在待焊接点处以反向的法向量方向为Z轴建立一个目标点局部坐标系，该局部坐标系的旋转位姿即为机械臂末端的旋转位姿，而机械臂末端的旋转姿态为机械臂基坐标系绕自身坐标轴旋转的固定角，且机械臂末端的坐标系Z轴方向与机械臂第六关节腕部的中心轴线是重合的。因此简化为旋转机械臂基坐标系才能使其XYZ轴与待焊接点局部坐标系的XYZ轴重合的旋转固定角解算的问题，即可使机械臂末端朝向待焊接点曲面的反向法线方向。如图7所示：即判断机械臂基坐标系Z轴方向向量和反向归一化后的法向量之间的位置关系，当两者不重合或相反时，通过预设旋转矩阵获取并调整机械臂末端姿态。

优选地，机械臂末端姿态，具体为：

定义旋转轴矢量为，旋转角定义为/>，令/>；/>

则预设旋转矩阵为

；

则机械臂末端姿态为。

如图8所示，一种钢混组合结构连接件焊接系统，包括：

焊接点二维坐标模块，用于以待加工构件剪力钉布置图纸中标靶点的二维坐标为参照，获取剪力钉待焊接点的二维相对坐标；

标靶点相机坐标模块，用于通过机械臂末端搭载的工业三维相机采集标靶点的像素坐标及深度信息，转化为标靶点的相机坐标；

标靶点平面世界坐标模块，用于根据标靶点的相机坐标和预设变换矩阵，获取标靶点的平面世界坐标；

焊接点平面世界坐标模块，用于根据标靶点的平面世界坐标和剪力钉待焊接点的二维相对坐标，获取待焊接点的平面世界坐标；

平面焊接路径模块，用于根据待焊接点的平面世界坐标，获取平面焊接路径；

焊接点三维坐标和法线模块，用于根据平面焊接路径，移动搭载工业三维相机的机械臂末端至待焊接点上方，获取待焊接点的世界坐标系下的三维笛卡尔坐标，并拟合待焊接点的法线方向；

机械臂末端姿态模块，用于根据待焊接点的世界坐标系下的三维笛卡尔坐标和待焊接点的法线方向，调整机械臂末端姿态；

焊接模块，用于根据平面焊接路径，以调整后的机械臂末端姿态，控制机械臂在待焊接点，沿待焊接点的法线方向进行剪力钉焊接。

本发明还公开了一种钢混组合结构连接件焊接系统，是通过待加工构件钢混组合结构连接件（剪力钉）布置图纸中标靶点的二维坐标为参照，获取剪力钉待焊接点的二维相对坐标，并将剪力钉待焊接点的二维相对坐标发送至焊接点平面世界坐标模块，将剪力钉标靶点的二维坐标发送至标靶点相机坐标模块；通过标靶点相机坐标模块根据标靶点的二维坐标，采集标靶点的像素坐标及深度信息，作为标靶点的相机坐标，并将标靶点的相机坐标发送至标靶点平面世界坐标模块；通过标靶点平面世界坐标模块，根据标靶点的相机坐标和预设变换矩阵，获取标靶点的平面世界坐标，并将标靶点的平面世界坐标发送至焊接点平面世界坐标；通过标靶点平面世界坐标模块，根据标靶点的平面世界坐标和剪力钉待焊接点的二维相对坐标，计算获取待焊接点的平面世界坐标，并将待焊接点的平面世界坐标发送至平面焊接路径模块；通过平面焊接路径模块，根据待焊接点的平面世界坐标，获取平面焊接路径，并将平面焊接路径发送至焊接点三维坐标和法线模块和焊接模块；通过焊接点三维坐标和法线模块根据平面焊接路径，移动搭载工业三维相机的机械臂末端至待焊接点上方，通过工业三维相机获取待焊接点的世界坐标系下的三维笛卡尔坐标，并拟合待焊接点的法线方向，并将待焊接点的世界坐标系下的三维笛卡尔坐标和法线方向发送至机械臂末端姿态模块；通过机械臂末端姿态模块根据待焊接点的世界坐标系下的三维笛卡尔坐标和法线方向调整机械臂末端姿态；通过焊接模块，根据平面焊接路径，以调整后的机械臂末端姿态，控制机械臂在待焊接点，沿待焊接点的法线方向进行剪力钉焊接。

在本申请所提供的实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

另外，在本发明各实施例中的各功能模块可以全部集成在一个处理器中，也可以是各模块分别单独作为一个器件，也可以两个或两个以上模块集成在一个器件中；本发明各实施例中的各功能模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令及相关的硬件来完成，前述的程序指令可以存储于计算机可读取存储介质中，该程序指令在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

应当理解，本申请中如若使用了“系统”、“装置”、“单元”和/或“模块”，仅是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

本申请中如若使用了流程图，则该流程图是用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

以上对本发明所提供的一种剪力钉焊接方法及系统进行了详细介绍。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种钢混组合结构连接件焊接方法，其特征在于，包括如下步骤：

以待加工构件钢混组合结构连接件布置图纸中标靶点的二维坐标为参照，获取钢混组合结构连接件待焊接点的二维相对坐标；

通过机械臂末端搭载的工业三维相机采集所述标靶点的像素坐标及深度信息，转化为所述标靶点的相机坐标；

根据所述标靶点的相机坐标和预设变换矩阵，获取所述标靶点的平面世界坐标；

根据所述标靶点的平面世界坐标和所述钢混组合结构连接件待焊接点的二维相对坐标，获取待焊接点的平面世界坐标；

根据所述待焊接点的平面世界坐标，获取平面焊接路径；

根据所述平面焊接路径，移动搭载工业三维相机的机械臂末端至所述待焊接点上方，获取所述待焊接点的世界坐标系下的三维笛卡尔坐标，并拟合所述待焊接点的法线方向；

根据所述待焊接点的世界坐标系下的三维笛卡尔坐标和所述待焊接点的法线方向，调整所述机械臂末端的姿态；

控制机械臂在所述待焊接点的上方，以机械臂末端调整后的姿态，根据所述平面焊接路径，沿所述待焊接点的法线方向进行钢混组合结构连接件焊接；

所述以待加工构件钢混组合结构连接件布置图纸中标靶点的二维坐标为参照，获取钢混组合结构连接件待焊接点的二维相对坐标，包括如下步骤：

在钢混组合结构连接件布置图纸中将所述标靶点以圆形表示，取A、B、C和D四个所述标靶点成矩形排布；

以标靶点A为坐标原点，AB为X轴，AD为Y轴，建立Cad平面坐标系；

获取每个钢混组合结构连接件的所述待焊接点相对于所述坐标原点的二维相对坐标;

所述通过机械臂末端搭载的工业三维相机采集所述标靶点的像素坐标及深度信息，转化为所述标靶点的相机坐标，包括如下步骤：

在待加工构件上与在钢混组合结构连接件布置图纸中相同位置放置A、B和D三个圆形标靶；

对工业三维相机进行内参标定，获得内参矩阵；

通过内参标定后的工业三维相机捕捉所述圆形标靶的标靶点的像素坐标及深度信息，根据所述内参矩阵转化为所述标靶点的相机坐标。

2.如权利要求1所述的钢混组合结构连接件焊接方法，其特征在于，所述根据所述标靶点的相机坐标和预设变换矩阵，获取所述标靶点的平面世界坐标，包括如下步骤：

调用相机坐标系到机械臂末端坐标系的第一变换矩阵；

根据预设规则获取所述机械臂末端坐标系至机械臂基坐标系的第二变换矩阵;

将世界坐标系设置在机械臂行走第七轴，获取所述机械臂基坐标系到世界坐标系的第三变换矩阵;

根据所述第一变换矩阵、所述第二变换矩阵和所述第三变换矩阵，获取所述相机坐标系到所述世界坐标系的第四变换矩阵,具体为：

;

根据所述第四变换矩阵和所述标靶点的相机坐标，获取所述标靶点的平面世界坐标；

其中，所述预设变换矩阵包括：所述第一变换矩阵、所述第二变换矩阵和所述第三变换矩阵。

3.如权利要求2所述的钢混组合结构连接件焊接方法，其特征在于，所述根据所述标靶点的平面世界坐标和所述钢混组合结构连接件待焊接点的二维相对坐标，获取待焊接点的平面世界坐标，具体为：

在实际加工构件上，定义标靶点A、B、C、D的平面世界坐标分别为，以AB为X轴，AD为Y轴构建Cad平面坐标系，A点为Cad平面坐标系原点，待焊接点E在所述平面世界坐标系中的坐标为/>;

根据预设公式，获取所述待焊接点的平面世界坐标;

所述预设公式为：

;

所述待焊接点的平面世界坐标为:

。

4.如权利要求3所述的钢混组合结构连接件焊接方法，其特征在于，所述根据所述待焊接点的平面世界坐标，获取平面焊接路径，具体为：

根据所述钢混组合结构连接件待焊接点的平面世界坐标和强化学习的路径规划算法，分别为X轴方向和Y轴方向赋予预设权重因子，以获取所述平面焊接路径。

5.如权利要求4所述的钢混组合结构连接件焊接方法，其特征在于，所述根据所述平面焊接路径，移动搭载工业三维相机的机械臂末端至所述待焊接点上方，获取所述待焊接点的世界坐标系下的三维笛卡尔坐标，并拟合所述待焊接点的法线方向，包括如下步骤：

移动搭载工业三维相机的机械臂末端在所述待焊接点上方，通过工业三维相机，采集所述待焊接点附近转化为世界坐标的点云数据；

根据所述点云数据与所述待焊接点的平面世界坐标，补充所述待焊接点的Z轴世界坐标，以获取所述待焊接点的世界坐标系下的三维笛卡尔坐标；

根据所述待焊接点的世界坐标系下的三维笛卡尔坐标，获取所述待焊接点附近的法线向量，采用NearestNeighbors算法拟合所述待焊接点附近的法线向量，以获取所述待焊接点的法线方向。

6.如权利要求5所述的钢混组合结构连接件焊接方法，其特征在于，所述根据所述待焊接点的世界坐标系下的三维笛卡尔坐标和所述待焊接点的法线方向，调整所述机械臂末端姿态，包括如下步骤：

根据待焊接点的三维笛卡尔坐标，确定机械臂末端应达到空间坐标；

根据所述待焊接点的法线方向，获取与所述待焊接点的法线方向相反的归一化后的法向量；

判断机械臂基坐标系Z轴方向向量和所述归一化后的法向量的位置关系；

若所述机械臂基坐标系Z轴方向向量和所述归一化后的法向量既不重合也不相反，则根据预设旋转矩阵获取并调整机械臂末端姿态。

7.如权利要求6所述的钢混组合结构连接件焊接方法，其特征在于，所述机械臂末端姿态，具体为：

定义旋转轴矢量为，旋转角定义为/>，令/>；

则预设旋转矩阵为

；

；

则机械臂末端姿态为。

8.一种钢混组合结构连接件焊接系统，其特征在于，包括：

焊接点二维坐标模块，用于以待加工构件钢混组合结构连接件布置图纸中标靶点的二维坐标为参照，获取钢混组合结构连接件待焊接点的二维相对坐标；

标靶点相机坐标模块，用于通过机械臂末端搭载的工业三维相机采集所述标靶点的像素坐标及深度信息，转化为所述标靶点的相机坐标；

标靶点平面世界坐标模块，用于根据所述标靶点的相机坐标和预设变换矩阵，获取所述标靶点的平面世界坐标；

焊接点平面世界坐标模块，用于根据所述标靶点的平面世界坐标和所述钢混组合结构连接件待焊接点的二维相对坐标，获取待焊接点的平面世界坐标；

平面焊接路径模块，用于根据所述待焊接点的平面世界坐标，获取平面焊接路径；

焊接点三维坐标和法线模块，用于根据所述平面焊接路径，移动搭载工业三维相机的机械臂末端至所述待焊接点上方，获取所述待焊接点的世界坐标系下的三维笛卡尔坐标，并拟合所述待焊接点的法线方向；

机械臂末端姿态模块，用于根据所述待焊接点的世界坐标系下的三维笛卡尔坐标和所述待焊接点的法线方向，调整所述机械臂末端的姿态；

焊接模块，用于控制机械臂在所述待焊接点的上方，以机械臂末端调整后的姿态，根据所述平面焊接路径，沿所述待焊接点的法线方向进行钢混组合结构连接件焊接；

所述焊接点二维坐标模块，具体用于在钢混组合结构连接件布置图纸中将所述标靶点以圆形表示，取A、B、C和D四个所述标靶点成矩形排布；以标靶点A为坐标原点，AB为X轴，AD为Y轴，建立Cad平面坐标系；获取每个钢混组合结构连接件的所述待焊接点相对于所述坐标原点的二维相对坐标；

所述标靶点相机坐标模块，具体用于在待加工构件上与在钢混组合结构连接件布置图纸中相同位置放置A、B和D三个圆形标靶；对工业三维相机进行内参标定，获得内参矩阵；通过内参标定后的工业三维相机捕捉所述圆形标靶的标靶点的像素坐标及深度信息，根据所述内参矩阵转化为所述标靶点的相机坐标。