CN112659123B - 一种基于线结构光视觉的双机器人曲线焊接协同规划方法 - Google Patents

一种基于线结构光视觉的双机器人曲线焊接协同规划方法 Download PDF

Info

Publication number
CN112659123B
CN112659123B CN202011465559.3A CN202011465559A CN112659123B CN 112659123 B CN112659123 B CN 112659123B CN 202011465559 A CN202011465559 A CN 202011465559A CN 112659123 B CN112659123 B CN 112659123B
Authority
CN
China
Prior art keywords
robot
welding
curve
coordinate system
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011465559.3A
Other languages
English (en)
Other versions
CN112659123A (zh
Inventor
洪磊
王保升
杨小兰
王俭朴
闫注文
王玉国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202011465559.3A priority Critical patent/CN112659123B/zh
Publication of CN112659123A publication Critical patent/CN112659123A/zh
Application granted granted Critical
Publication of CN112659123B publication Critical patent/CN112659123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Manipulator (AREA)

Abstract

本发明是基于线结构光视觉的双机器人曲线焊接协同规划方法，该方法先标定双机器人协同焊接系统各部件相对位姿关系矩阵，通过被测焊缝的线结构光条纹图像处理，提取曲线焊缝点组的图像特征，并建立焊缝曲线及其两侧曲面的三维结构特征模型。依据特征模型建立焊缝离散控制点微分旋转运动矢量在主机器人基坐标系和末端坐标系之间的变换关系，得出主机器人关节角最小范数解序列，通过主从机器人闭环运动链得出实现焊缝跟踪的从机器人关节角序列。该方法解决了主机器人船型焊工艺规划和从机器人焊枪姿态控制问题，能在不依赖于曲线焊缝具体尺寸形状条件下，通过线结构光视觉检测全面描述曲线焊缝结构特征，实现满足船型焊要求的双机器人协同焊接规划。

Description

一种基于线结构光视觉的双机器人曲线焊接协同规划方法
技术领域
本发明涉及机器人焊接自动化技术领域，具体的说是一种基于线结构光视觉的双机器人曲线焊接协同规划方法。
背景技术
在焊接工程实践领域，存在许多不同形状管件相互交叉的结构，形成复杂的空间相贯曲线焊缝，这类空间曲线的焊接加工任务已广泛存在于汽车、船舶、石油、钢结构、各类压力容器等制造行业之中。由于空间曲线焊缝形态结构的多样性，单机器人的可操作性存在明显不足，而双机器人通过协同操作，具有很高的适应性和灵活性，因此可以完成复杂的空间曲线焊接规划任务。由于待焊工件形状、尺寸及相贯形式的不同，使得机器人焊接规划需要依赖工件自身精确的结构模型，但由于工件装配误差等不确定性因素的影响，待焊工件通常会偏离精确的理论结构模型，使得双机器人协同曲线焊接存在较大误差，因此，研究一种通用精确的空间曲线焊接双机器人协同规划方法有着重要的意义。
国内外学者针对空间曲线焊接规划问题做了一定研究。石磊等在焊接学报,2015,36(6):5-8发表的文章“主管旋转式相贯曲线自动焊接模型与仿真”对主管旋转式相贯曲线自动焊接规划进行了研究，该方法采用空间曲线解析表达式表示焊缝模型，模型计算效率高，但仅针对马鞍型等特定形式的相贯曲线，通用性不足，对于不规则工件偏心交方式形成的复杂焊缝曲线，难以形成精确的解析表达式，且无法修正由于工件装配问题所导致的实际偏差。
Chen C.L等在国际期刊Robotics and Computer-Integrated Manufacturing,2013,29(4):41-48 上发表文章“An approach to the path planning of tube-sphereintersection welds with the robot dedicated to J-groove joints”对J型相贯曲线焊接规划进行了研究，该方法采用特定接触式测量头获取多个曲线采样点，再应用多项式函数拟合曲线法建立数学模型，该方法修正了工件装配的偏差，使焊缝位置模型更为精确，但对焊接姿态角度缺乏描述，且接触式测量的操作效率较低。
中国发明专利“一种基于任务解耦的多机器人协作焊接路径的生成方法”(授权公告号 CN105302062 B)，公布了一种任务解耦的多机器人协作焊接路径的生成方法，该方法建立了统一的多机器人协作焊接模型，可实现多机器人协作焊接的任务规划。但该方法用于构建主机器人运动轨迹的离线化焊点是按机器人示教方法获取的，存在人工示教耗时长，规划效率低的问题。同时方法中所提焊缝特征仅指焊缝位置特征，未包括构成焊缝的工件曲面轮廓特征，对焊接规划时的焊枪姿态控制缺少描述。
引入视觉检测全面快速地获取焊缝位置和工件曲面轮廓特征，对于提高空间曲线焊缝的模型精度，实现双机器人高效率精确协同规划是必要的。视觉检测方法在曲线焊接规划方面已有一定的研究成果，中国发明专利申请“一种基于焊缝工业机器人姿态的曲线焊缝跟踪方法”(申请公布号CN108907408A)公开了一种基于焊缝工业机器人姿态的曲线焊缝跟踪方法，提出选取焊缝部位的边界点建立空间坐标系，通过特征识别相机对焊缝特征进行坐标化，进行焊缝点位置坐标表示。但该方法仅提出检测焊缝位置点，未涉及检测局部焊缝点周边结构的特征，且没有提出具体的焊缝特征识别步骤。中国发明专利申请“一种多机器人焊接的多角度调整控制方法”(申请公布号CN111451671A)公开了一种多机器人焊接的多角度调整控制方法，使得焊接机器人根据焊缝位置进行实时角度调整，但该方法也仅涉及视觉摄像头辅助定位焊缝位置，对焊枪姿态控制同样缺乏描述，同时对多机器人如何实施角度调整的协同问题缺乏必要的步骤说明。
综上所述，目前机器人协同焊接方法存在的主要问题体现在：(1)工件的焊缝模型主要应用空间几何法构建，依赖于工件的具体形状和相贯形式，方法不具备普适性，且忽略了工件加工装配误差等不确定因素的影响，焊缝理论模型与实际存在误差。(2)轨迹规划限于焊缝点位置规划，且示教等接触式位置检测方法效率较低，而采用的视觉方法缺少对焊缝周边工件结构轮廓特征的检测，所构建的规划模型没有明确焊枪姿态控制，没有构建出满足船型焊等焊接工艺要求的规划方法。
发明内容
本发明要解决的技术问题是提供一种基于线结构光视觉的双机器人曲线焊接协同规划方法，能够实现在不依赖于曲线焊缝具体尺寸形状条件下，通过线结构光视觉检测全面描述曲线焊缝结构特征，进而完成满足船型焊工艺要求的双机器人协同焊接的规划。
为解决上述技术问题，本发明采用的技术方案为：
一种基于线结构光视觉的双机器人曲线焊接协同规划方法，其特征在于：通过线结构光视觉检测全面描述曲线焊缝结构特征，实现双机器人协同焊接，具体步骤如下：
步骤1，标定双机器人协同焊接系统各部件相对位姿关系矩阵；
步骤2，基于线结构光视觉检测提取曲线焊缝图像特征；
步骤3，建立焊缝曲线及其两侧曲面变化三维特征模型；
步骤4，根据离散焊缝控制点微分运动生成主机器人运动轨迹规划；
步骤5，根据主从机器人闭环运动链生成从机器人运动轨迹规划。
所述的步骤1中，标定双机器人协同焊接系统各部件相对位姿关系矩阵的具体步骤如下：
步骤1.1，通过主、从机器人工具中心点TCP六点法示教标定主、从机器人工具TCP位姿关系矩阵分别为
Figure BDA0002834040320000031
和
Figure BDA0002834040320000032
步骤1.2，通过手眼关系标定从机器人-相机位姿关系矩阵
Figure BDA0002834040320000033
步骤1.3，通过立体棋盘格标定板标定主、从机器人基坐标系之间位姿关系矩阵
Figure BDA0002834040320000034
所述的步骤2中，提取曲线焊缝图像特征的具体步骤如下：
步骤2.1，对焊缝接口线结构光条纹图像处理，提取条纹单像素中心线；
步骤2.2，基于最大曲率变化分析提取相贯曲线局部焊缝点组图像特征；
步骤2.3，控制从机器人运动，通过结构光分段扫描待焊工件的不同区域，分别进行各焊缝点的图像处理和局部图像特征提取，得到各焊缝特征点组的图像坐标
Figure BDA0002834040320000035
(i＝1～ N)，N表示不同区域焊缝点图像采集数。
所述的步骤3中，建立焊缝曲线及其两侧曲面变化三维特征模型的具体步骤如下：
步骤3.1，进行相机-线结构光传感器参数标定，获取相机内参数和线结构光平面参数；
步骤3.2，计算各焊缝特征点组在对应相机坐标系下的三维坐标
Figure BDA0002834040320000036
(i＝1～N)；
步骤3.3，计算各焊缝特征点组在主机器人末端坐标系下的三维坐标
Figure BDA0002834040320000037
(i＝1～ N)；
步骤3.4，建立主机器人末端坐标系下的焊缝曲线及其两侧曲面变化特征方程；具体为：对步骤3.3中形成的三个特征点集合{Pi e1}，
Figure BDA0002834040320000038
和{Wi e1}(i＝1～N)采用Bspline曲线拟合分别建立焊缝曲线方程
Figure BDA0002834040320000039
和对应形成焊缝的两侧曲面变化特征曲线方程
Figure BDA00028340403200000310
和
Figure BDA00028340403200000311
焊缝曲线方程
Figure BDA00028340403200000312
特征曲线方程
Figure BDA00028340403200000313
和
Figure BDA00028340403200000314
均相对于主机器人末端坐标系；
步骤3.5，构建离散化的焊缝控制点坐标系；具体为：离散化焊缝曲线方程，确定离散焊缝控制点位置坐标序列；离散化两曲面变化特征曲线方程，得到离散后的曲面特征点序列
Figure BDA00028340403200000315
建立焊缝控制点指向对应的两曲面特征点方向矢量、控制点处切矢量与控制点坐标系各坐标轴方向矢量的运算关系，计算控制点坐标系各坐标轴的方向矢量，构建各离散焊缝控制点旋转矩阵
Figure BDA0002834040320000041
由
Figure BDA0002834040320000042
和
Figure BDA0002834040320000043
形成位姿矩阵序列
Figure BDA0002834040320000044
(k＝1～Nt)，Nt为离散控制点数。
所述的步骤4中，生成主机器人运动轨迹规划的具体步骤如下：
步骤4.1，根据步骤3.5得到的各离散焊缝控制点旋转矩阵
Figure BDA0002834040320000045
生成焊缝控制点坐标系相对主机器人末端的微分旋转运动矢量
Figure BDA0002834040320000046
其序列为：
Figure BDA0002834040320000047
δ0为规划设置的绕主机器人基坐标系Z轴的微分旋转运动分量，绕X、Y轴分量设置为0；
步骤4.2，生成焊缝控制点坐标系相对主机器人基坐标系的微分旋转运动矢量
Figure BDA0002834040320000048
步骤4.3，生成主机器人末端相对于主机器人基坐标系的旋转矩阵
Figure BDA0002834040320000049
步骤4.4，生成主机器人末端相对于主机器人基坐标系的微分旋转运动矢量
Figure BDA00028340403200000410
步骤4.5，生成主机器人末端的初始位姿矩阵
Figure BDA00028340403200000411
及其对应的初始关节角
Figure BDA00028340403200000412
步骤4.6，生成主机器人末端运动轨迹对应的关节角序列
Figure BDA00028340403200000413
具体为：构建主机器人对应微分旋转运动的雅可比矩阵为
Figure BDA00028340403200000414
由迭代式得到关节角序列如下：
Figure BDA00028340403200000415
其中，Nt为离散控制点数，
Figure BDA00028340403200000416
表示对
Figure BDA00028340403200000417
取伪逆运算，
Figure BDA00028340403200000418
由步骤4.4得到，
Figure BDA00028340403200000419
表示第k步的关节角微分运动矢量；由此得到主机器人关节角最小范数解序列。
所述的步骤5中，生成从机器人运动轨迹规划的具体步骤如下：
步骤5.1，构建主从机器人闭环运动链，生成从机器人末端位姿矩阵序列
Figure BDA00028340403200000420
(k＝1～Nt)，其中,Nt为离散控制点数，
Figure BDA00028340403200000421
由步骤1.1得到，
Figure BDA00028340403200000422
由步骤1.3得到；根据步骤4.6得到的主机器人关节角序列
Figure BDA00028340403200000423
通过主机器人运动学正解得到
Figure BDA00028340403200000424
Figure BDA00028340403200000425
由步骤3.5得到；
步骤5.2，由生成的从机器人末端位姿矩阵序列
Figure BDA00028340403200000426
通过从机器人运动学反解得到对应的从机器人关节角序列
Figure BDA00028340403200000427
(k＝1～Nt)，其中，Nt为离散控制点数。
该种基于线结构光视觉的双机器人曲线焊接协同规划方法能够达到的有益效果为：第一，构建了一种基于线结构光视觉的曲线焊缝结构模型，建模方法不依赖于具体的相贯尺寸、形状和相贯方式，模型具有同时反映焊缝位置和焊缝周边工件结构轮廓特征的整体表征性，可根据该模型直接构建曲线焊缝控制点与主机器人末端的位姿关系，解决了几何建模法的局限，满足了建模的通用性。
第二，构建了一种基于曲线焊缝视觉结构建模的主、从机器人协同规划方法。该方法将船型焊工艺要求表达为焊缝控制点的微分旋转运动矢量，建立了离散焊缝控制点微分旋转运动矢量在主机器人基坐标系和末端坐标系之间的变换关系，得出了主机器人关节角最小范数解序列，并通过主从机器人闭环运动链得出实现焊缝跟踪的从机器人关节角序列。该方法解决了主机器人船型焊工艺规划和从机器人焊枪姿态控制问题，实现了主、从机器人曲线焊接的协同优化规划。
附图说明
图1为本发明一种基于线结构光视觉的双机器人曲线焊接协同规划方法的流程图。
图2为本发明一种基于线结构光视觉的双机器人曲线焊接协同规划方法中双机器人协同焊接系统组成示意图。
图3为本发明一种基于线结构光视觉的双机器人曲线焊接协同规划方法中双机器人协同焊接系统各坐标系及位姿变换关系示意图。
图4为本发明一种基于线结构光视觉的双机器人曲线焊接协同规划方法中线结构光曲线焊缝图像局部特征点组示意图。
图5为本发明一种基于线结构光视觉的双机器人曲线焊接协同规划方法中焊缝曲线及其两侧曲面变化特征方程示意图。
图6为本发明一种基于线结构光视觉的双机器人曲线焊接协同规划方法中焊缝控制点坐标系的构建示意图。
图7为本发明一种基于线结构光视觉的双机器人曲线焊接协同规划方法中实现船型焊姿态时的主从机器人闭环运动链示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述。
双机器人协同焊接系统组成如附图2所示，包括主机器人1、从机器人2、线结构光视觉检测装置3、被焊工件4等部分。主机器人1末端固定夹持被焊工件4，带动被焊工件4运动使其焊缝在焊接时保持呈船型焊姿态；从机器人2末端安装焊枪5用于焊接，同时其末端固定安装线结构光视觉检测装置3，检测装置3包括工业相机3-1和线结构光传感器3-2，线结构光传感器3-2发射出的线结构光投射到曲线焊缝接口上，在焊接工件表面形成线结构光条纹6，工业相机采集线结构光条纹6的图像用于检测曲线焊缝的结构特征。
在该种双焊接机器人的结构基础上，根据图1所示的总体流程图，实施步骤如下：
步骤1，标定双机器人协同焊接系统各部件相对位姿关系矩阵。
双机器人协同焊接系统各坐标系及位姿变换关系示意图如附图3所示，{B1}表示主机器人基坐标系，同时作为世界坐标系。{B2}表示从机器人基坐标系，{E1},{E2}分别表示主、从机器人末端坐标系，{T1}表示夹持工具坐标系，{T2}表示焊枪工具坐标系，{C}表示工业相机坐标系，{S}表示焊缝控制点坐标系。在各坐标系之间的位姿变换关系中，主、从机器人基坐标系之间，主机器人末端坐标系与被焊工件基坐标系之间、从机器人末端坐标系与相机坐标系之间，以及从机器人末端与焊枪工具坐标系之间均为固定位姿关系。通过下述标定方法获取各自对应的位姿变换关系矩阵，具体步骤如下：
步骤1.1：标定主、从机器人工具TCP位姿关系矩阵；
根据上述定义，{T1}相对于{E1}的位姿关系矩阵为
Figure BDA0002834040320000061
{T2}相对于{E2}的位姿关系矩阵为
Figure BDA0002834040320000062
和
Figure BDA0002834040320000063
分别通过主、从机器人工具中心点TCP“六点法”示教标定得到。
步骤1.2：标定从机器人-相机位姿关系矩阵；
{C}相对于{E2}的位姿关系矩阵为
Figure BDA0002834040320000064
由“眼在手上”的从机器人与相机手眼关系标定得到。
步骤1.3：标定主、从机器人基坐标系之间位姿关系矩阵，具体为：
在双机器人工作空间重叠区域中设置立体棋盘格标定板，标定点Ik是立体标定板中的任意一点，通过机器人示教，获取点Ik在{B1}和{B2}的坐标分别为
Figure BDA0002834040320000065
和
Figure BDA0002834040320000066
满足：
Figure BDA0002834040320000067
其中，
Figure BDA0002834040320000068
分别表示{B2}相对于{B1}的旋转矩阵和平移矢量。
从立体标定板上取N个标定点Ik(k＝1～N)并示教提取对应在{B1}和{B2}的坐标，建立如基于最小二乘的标定模型H：
Figure BDA0002834040320000069
采用奇异值分解算法对上述标定模型H进行求解，得到双机器人基坐标之间的旋转矩阵
Figure BDA00028340403200000610
和平移矢量
Figure BDA00028340403200000611
进而得到主从机器人基坐标系间的齐次坐标变换矩阵
Figure BDA00028340403200000612
进一步的，该方法通过线结构光视觉建模方法直接构建相贯曲线焊缝与主机器人末端的位姿关系，不需要建立工件基坐标系，无需标定主机器人-被焊工件基坐标系之间位姿关系矩阵。
步骤2，基于线结构光视觉检测提取曲线焊缝图像特征；具体步骤如下：
步骤2.1，对焊缝接口线结构光条纹图像处理，提取条纹单像素中心线；
调整从机器人运动使线结构光条纹垂直于焊缝接口后，采集被测焊缝接口的结构光条纹图像，采用基于二值形态学光条细化算法提取线结构光条纹中心线。
步骤2.2，基于最大曲率变化分析提取相贯曲线局部焊缝点组图像特征；
线结构光条纹在构成焊缝的两个相贯管焊件上形成两个曲边，结构光条纹中心线图像上两曲边对应焊缝两侧工件曲面轮廓，曲边的交点对应焊缝位置点。依据焊缝条纹中心线的曲率变化特征，采用最大曲率分析法提取特征。曲率分析法在经过步骤2.1得到的单像素宽度细化图像基础上实现。具体步骤为：
第一步，将条纹中心线上所有点按像素坐标大小顺序排列，记为Pi(i＝1～n)，形成具有n 个点的条纹结构光点集；
第二步，以Bspline曲线拟合条纹中心线进行曲率变化分析，搜索曲率最大值kmax及其对应的点序nmax。曲率最大值对应结构光条纹中心线曲边交点Pu；
第三步，提取单个局部焊缝特征点组(Pu,Mu,Wu)的图像坐标：
如图4所示，选择Pu及其邻近区域等距的两点Mu,Wu共同构成曲线焊缝单个局部位置的特征点组(Pu,Mu,Wu)，其对应的相机坐标为
Figure BDA0002834040320000071
取点序nmax邻近前后两侧的局部区域n0点集的端点Pnmax,Pnmax-n0和Pnmax+n0，其中，前区域：nmax-n0～nmax，后区域：nmax～nmax+n0。以前、后两个区域点集分别拟合直线L1和L2，对应焊缝特征点所在位置在两侧待焊件上形成的两角线，两角线的交点作为焊缝点图像坐标Pu。进一步得到Mu,Wu:
Figure BDA0002834040320000072
其中，s1和s2表示直线L1和L2的方向矢量，λ表示距离参数，由此得到特征点组(Pu,Mu,Wu)的图像坐标。以上是局部单个焊缝点的图像特征提取过程。
步骤2.3，控制从机器人末端运动，通过结构光分段扫描待焊工件的不同区域，按步骤2-1和2-2分别进行各焊缝点的图像处理和局部图像特征提取，得到N个焊缝特征点组的图像坐标，记为
Figure BDA0002834040320000081
(i＝1～N)。
步骤3，建立焊缝曲线及其两侧曲面变化三维特征模型，具体步骤如下：
步骤3.1，进行相机-线结构光传感器参数标定，获取相机内参数和线结构光平面参数；
工业相机-结构光传感器参数包括相机内参数和线结构光平面参数两部分。通过采集不同姿态下的棋盘格靶标图像，形成无结构光照射的棋盘格图像组和有结构光照射的棋盘格图像组。由无结构光照射的棋盘格图像组通过张正友标定法进行相机内参数标定，得到内参数矩阵K。
对有结构光照射的棋盘格图像组，通过步骤2.1的线结构光条纹图像处理方法得到线结构光条纹中心线，并与棋盘格各行列线求交计算标定点坐标，再通过标定点平面拟合得到结构光平面π相对于相机坐标系的平面参数方程ax+by+cz+1＝0，其中，(a,b,c)为平面参数。
步骤3.2，计算各焊缝特征点组在对应相机坐标系下的三维坐标
Figure BDA0002834040320000082
(i＝1～N)；
将步骤2.3得到的N个焊缝图像特征点组
Figure BDA0002834040320000083
转换到对应的相机坐标系下，记为
Figure BDA0002834040320000084
(i＝1～N)，具体步骤为：
第一步，计算图像特征点组对应的归一化相机坐标
Figure BDA0002834040320000085
为：
Figure BDA0002834040320000086
其中，K为相机内参数矩阵，i＝1～N。
第二步，计算图像特征点组对应的相机坐标
Figure BDA0002834040320000087
为：
Figure BDA0002834040320000088
其中，(a,b,c)为光平面方程参数，
Figure BDA0002834040320000089
和
Figure BDA00028340403200000810
分别为特征点组归一化相机坐标
Figure BDA00028340403200000811
的x、y分量，i＝1～N。
步骤3.3，计算各焊缝特征点组在主机器人末端坐标系下的三维坐标
Figure BDA00028340403200000812
Figure BDA0002834040320000091
其中，
Figure BDA0002834040320000092
为从机器人手眼变换矩阵，
Figure BDA0002834040320000093
为主、从机器人基坐标系位姿关系矩阵，
Figure BDA0002834040320000094
和
Figure BDA0002834040320000095
分别由步骤1.2和1.3得到。
Figure BDA0002834040320000096
(i＝1～N)为第i次图像采集时对应的从机器人位姿矩阵
Figure BDA0002834040320000097
由从机器人运动学正解得到。
Figure BDA0002834040320000098
为主机器人位姿矩阵，在图像采集时保持不变，由主机器人运动学正解得到。
步骤3.4，建立主机器人末端坐标系下的焊缝曲线及其两侧曲面变化特征方程；
如图5所示，通过特征点组
Figure BDA0002834040320000099
形成三个特征点集合{Pi e1}，
Figure BDA00028340403200000910
和{Wi e1} (i＝1～N)。对上述三个点集,采用Bspline曲线拟合分别建立三个曲线参数方程，记为
Figure BDA00028340403200000911
Figure BDA00028340403200000912
和
Figure BDA00028340403200000913
其中，
Figure BDA00028340403200000914
对应焊缝曲线方程，
Figure BDA00028340403200000915
和
Figure BDA00028340403200000916
分别对应形成焊缝的两侧曲面变化特征曲线方程，上述方程均相对于主机器人末端坐标系。
步骤3.5，构建离散化的焊缝控制点坐标系；
焊缝控制点坐标系由焊缝形态结构模型约束，焊缝控制点坐标系{S}(OS-XSYSZS)的构建示意图如图6所示，具体步骤为：
第一步，离散化焊缝曲线方程，确定离散焊缝控制点位置坐标；
焊缝曲线方程
Figure BDA00028340403200000917
通过时间平均插值方法实现从整体离散到局部控制点序列
Figure BDA00028340403200000918
(u＝kt0,k＝1～Nt)，其中Nt为离散控制点数，t0为单位时间常数，
Figure BDA00028340403200000919
作为控制点坐标系位置矢量
Figure BDA00028340403200000920
即
Figure BDA00028340403200000921
第二步，离散化两曲面变化特征曲线方程，得到离散后的曲面特征点序列；
两曲面变化特征曲线方程
Figure BDA00028340403200000922
和
Figure BDA00028340403200000923
分别通过时间平均插值方法实现从整体离散化，得到离散后曲面特征点序列
Figure BDA00028340403200000924
和
Figure BDA00028340403200000925
(u＝kt0,k＝1～Nt),其中Nt为离散控制点数，t0为单位时间常数，所得序列与焊缝控制点序列
Figure BDA00028340403200000926
点数相同，次序对应。
第三步，计算控制点坐标系各坐标轴的近似方向矢量；
控制点指向对应的两曲面特征点的方向矢量nM和nW分别为
Figure BDA00028340403200000927
其中，||·||表示向量取模运算，下同。
控制点坐标系在X、Y和Z轴上的方向矢量分别为nS,oS和aS。在步骤2.1图像采集时，通过机器人运动使结构光条纹近似垂直焊缝接口，nM和nW两矢量所张成的平面近似为OS处的主法平面7，因此nS近似垂直于由nM和nW张成平面8。另一方面，根据主法面二分法，aS近似处于nM和nW两矢量形成的角平分线方向上。nS和aS的近似方向矢量nS0和aS0为
Figure BDA0002834040320000101
第四步，计算控制点坐标系坐标轴的方向矢量；
nS为焊缝曲线在控制点OS处的切矢量，取焊缝曲线方程
Figure BDA0002834040320000102
在OS处的一阶导数方向，计算
Figure BDA0002834040320000103
由nS0旋转至nS的旋转轴矢量为
Figure BDA0002834040320000104
记
Figure BDA0002834040320000105
旋转角为
Figure BDA0002834040320000106
构建nS0和nS矢量旋转矩阵
Figure BDA0002834040320000107
为
Figure BDA0002834040320000108
其中，
Figure BDA0002834040320000109
aS0经过相同旋转至aS，再由右旋定则确定oS，各坐标轴方向矢量
Figure BDA00028340403200001010
Figure BDA00028340403200001011
oS＝aS×nS。由此，焊缝控制点坐标系相对于主机器人末端坐标系的变换矩阵为
Figure BDA00028340403200001012
其中
Figure BDA00028340403200001013
(i＝x,y,z)分别为对应矢量的分量，则旋转矩阵
Figure BDA00028340403200001014
步骤4，根据离散焊缝控制点微分运动生成主机器人运动轨迹规划；具体步骤如下：
步骤4.1，生成焊缝控制点坐标系相对主机器人末端的微分旋转运动矢量
Figure BDA00028340403200001015
根据离散焊缝控制点旋转矩阵
Figure BDA0002834040320000111
得旋转微分算子
Figure BDA0002834040320000112
k＝1～Nt-1,Nt为离散控制点数，下同。令
Figure BDA0002834040320000113
Figure BDA0002834040320000114
计算为:
Figure BDA0002834040320000115
步骤4.2，生成焊缝控制点坐标系相对主机器人基坐标系的微分旋转运动矢量
Figure BDA0002834040320000116
根据双机器人焊接工艺，主机器人夹持待焊工件实现船型焊姿态，则要求焊缝俯仰角
Figure BDA0002834040320000117
焊缝回转角θ＝180°，焊缝偏转角φ不受焊接工艺要求。由此，相对于主机器人基坐标系{B1}的焊缝成型姿态矩阵
Figure BDA0002834040320000118
其中cφ＝cosφ，sφ＝sinφ。令微分旋转运动矢量
Figure BDA0002834040320000119
Figure BDA00028340403200001110
由下式计算：
Figure BDA00028340403200001111
即
Figure BDA00028340403200001112
δ0为规划设置的绕主机器人基坐标系Z轴的微分旋转运动分量，绕X、 Y轴分量均为0。
步骤4.3，生成主机器人末端相对于主机器人基坐标系的旋转矩阵
Figure BDA00028340403200001113
由不同坐标系之间微分运动转换建立关系：
Figure BDA00028340403200001114
由
Figure BDA00028340403200001115
旋转至
Figure BDA00028340403200001116
的旋转轴矢量为
Figure BDA00028340403200001117
记mk＝(mxk,myk,mzk)，旋转角为
Figure BDA00028340403200001118
构建各离散焊缝控制点对应的
Figure BDA00028340403200001119
为：
Figure BDA00028340403200001120
其中，cαk＝cos αk，sαk＝sin αk。
步骤4.4，生成主机器人末端相对于主机器人基坐标系的微分旋转运动矢量
Figure BDA00028340403200001121
根据4.3得旋转微分算子
Figure BDA00028340403200001122
令
Figure BDA00028340403200001123
Figure BDA00028340403200001124
计算为:
Figure BDA0002834040320000121
步骤4.5，生成主机器人末端的初始位姿矩阵
Figure BDA0002834040320000122
及其对应的初始关节角
Figure BDA0002834040320000123
在主、从机器人末端共同可达的工作空间内设置一点为焊缝起始点在主机器人基坐标系下的位置，记为
Figure BDA0002834040320000124
Figure BDA0002834040320000125
其中，
Figure BDA0002834040320000126
为焊缝起点在主机器人末端系下的位置，由步骤3-4得到。
Figure BDA0002834040320000127
由步骤4.3得到。由此
Figure BDA0002834040320000128
根据初始位姿矩阵
Figure BDA0002834040320000129
由主机器人运动学反解得到对应的初始关节角
Figure BDA00028340403200001210
步骤4.6，生成主机器人末端运动轨迹对应的关节角序列
Figure BDA00028340403200001211
构建主机器人对应微分旋转运动的雅可比矩阵为
Figure BDA00028340403200001212
由下列迭代式得到关节角序列为：
Figure BDA00028340403200001213
其中，
Figure BDA00028340403200001214
表示对
Figure BDA00028340403200001215
取伪逆运算，
Figure BDA00028340403200001216
由步骤4-4得到，
Figure BDA00028340403200001217
表示第k步的关节角微分运动矢量。由上式得到主机器人关节角的最小范数解序列。
步骤5，根据主从机器人闭环运动链生成从机器人运动轨迹规划，具体步骤如下：
步骤5.1：构建主从机器人闭环运动链，生成从机器人末端位姿矩阵
Figure BDA00028340403200001218
如图7所示，实现从机器人曲线焊接轨迹跟踪，需满足主从机器人闭环运动链为：
Figure BDA00028340403200001219
上式等号左侧为从机器人运动链，等号右侧为主机器人运动链，两者构成闭环。由闭环运动链关系得到从机器人末端位姿矩阵序列
Figure BDA00028340403200001220
Figure BDA00028340403200001221
其中，
Figure BDA00028340403200001222
为从机器人工具焊枪TCP位姿关系矩阵，
Figure BDA00028340403200001223
为主、从机器人基坐标系之间位姿关系矩阵，
Figure BDA00028340403200001224
和
Figure BDA00028340403200001225
分别由步骤1.1和1.3得到。
Figure BDA00028340403200001226
为主机器人末端位姿矩阵序列，根据步骤4-6得到的主机器人关节角序列
Figure BDA00028340403200001227
通过主机器人运动学正解得到
Figure BDA00028340403200001228
Figure BDA00028340403200001229
表示焊缝控制点坐标系相对于主机器人末端坐标系变换矩阵序列，由步骤3.5得到。
步骤5.2：生成从机器人末端运动轨迹对应的关节角序列
Figure BDA00028340403200001230
根据生成的从机器人末端位姿矩阵
Figure BDA0002834040320000131
由从机器人运动学反解得到对应的从机器人关节角序列
Figure BDA0002834040320000132
(k＝1～Nt)。
至此，完成了双机器人曲线焊接的协同规划。由上述具体实施过程可见，本发明实现了在不依赖于曲线焊缝具体尺寸形状条件下，通过线结构光视觉检测全面描述曲线焊缝结构特征，进而实现满足船型焊工艺要求的双机器人协同焊接规划的方案，解决了主机器人船型焊工艺规划和从机器人焊枪姿态控制问题。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (3)

1.一种基于线结构光视觉的双机器人曲线焊接协同规划方法，其特征在于：通过线结构光视觉检测装置全面描述曲线焊缝结构特征，实现双机器人协同焊接，具体步骤如下：
步骤1，标定双机器人协同焊接系统各部件相对位姿关系矩阵；具体为:
步骤1.1，通过TCP六点法示教标定主、从机器人工具TCP位姿关系矩阵分别为
Figure FDA0003738733890000011
和
Figure FDA0003738733890000012
步骤1.2，通过手眼关系标定从机器人-相机位姿关系矩阵
Figure FDA0003738733890000013
步骤1.3，通过立体棋盘格标定板标定主、从机器人基坐标系位姿关系矩阵
Figure FDA0003738733890000014
步骤2，基于线结构光视觉检测装置提取曲线焊缝图像特征；具体为：
步骤2.1，对焊缝接口线结构光条纹图像处理，提取条纹单像素中心线；
步骤2.2，基于最大曲率变化分析法提取相贯曲线局部焊缝点组图像特征，其中相贯曲线指的是线结构光条纹在构成焊缝的两个相贯管焊件上形成的两个曲边；步骤2.3，控制从机器人运动，通过结构光视觉检测装置分段扫描待焊工件的不同区域，分别进行各焊缝点的图像处理和局部图像特征提取，得到各焊缝特征点组的图像坐标(Pi u,Mi u,Wi u)(i＝1～N)，N表示不同区域焊缝点图像采集数；
步骤3，建立焊缝曲线及其两侧曲面变化三维特征模型；具体为：
步骤3.1，进行相机-线结构光传感器参数标定，获取相机内参数和线结构光传感器平面参数；
步骤3.2，计算各焊缝特征点组在对应相机坐标系下的三维坐标
Figure FDA0003738733890000015
步骤3.3，计算各焊缝特征点组在主机器人末端坐标系下的三维坐标
Figure FDA0003738733890000016
N)；
步骤3.4，建立主机器人末端坐标系下的焊缝曲线及其两侧曲面变化特征方程；具体为：根据步骤3.3中的三维坐标
Figure FDA0003738733890000017
形成的三个特征点集合{Pi e1}，
Figure FDA0003738733890000018
和{Wi e1}(i＝1～N)，采用Bspline曲线拟合分别建立焊缝曲线方程
Figure FDA0003738733890000019
和对应形成焊缝的两侧曲面变化特征曲线方程
Figure FDA00037387338900000110
和
Figure FDA00037387338900000111
其中焊缝曲线方程
Figure FDA00037387338900000112
特征曲线方程
Figure FDA00037387338900000113
和
Figure FDA00037387338900000114
均相对于主机器人末端坐标系；
步骤3.5，构建离散化的焊缝控制点坐标系；具体为：离散化焊缝曲线方程，确定离散焊缝控制点位置坐标序列
Figure FDA00037387338900000115
其中Nt为离散控制点数，t0为单位时间常数，
Figure FDA00037387338900000116
作为控制点坐标系位置矢量
Figure FDA00037387338900000117
即
Figure FDA00037387338900000118
离散化两曲面变化特征曲线方程，得到离散后的两侧曲面特征点序列
Figure FDA0003738733890000021
和
Figure FDA0003738733890000022
建立焊缝控制点指向对应的两侧曲面特征点方向矢量、焊缝控制点处切矢量与焊缝控制点坐标系各坐标轴方向矢量的运算关系，计算焊缝控制点坐标系各坐标轴的方向矢量，构建各离散焊缝控制点旋转矩阵
Figure FDA0003738733890000023
由
Figure FDA0003738733890000024
和
Figure FDA0003738733890000025
形成位姿矩阵序列
Figure FDA0003738733890000026
步骤4，根据离散焊缝控制点微分运动生成主机器人运动规划轨迹；
步骤5，根据主从机器人闭环运动链生成从机器人运动规划轨迹。
2.如权利要求1所述的一种基于线结构光视觉的双机器人曲线焊接协同规划方法，其特征在于：所述的步骤4中，生成主机器人运动规划轨迹的具体步骤如下：
步骤4.1，根据步骤3.5得到的各离散焊缝控制点旋转矩阵
Figure FDA0003738733890000027
生成焊缝控制点坐标系相对主机器人末端坐标系的微分旋转运动矢量
Figure FDA0003738733890000028
其序列为：
Figure FDA0003738733890000029
δ0为规划设置的绕主机器人基坐标系Z轴的微分旋转运动分量，绕X、Y轴分量设置为0；
步骤4.2，生成焊缝控制点坐标系相对主机器人基坐标系的微分旋转运动矢量
Figure FDA00037387338900000210
步骤4.3，生成主机器人末端相对于主机器人基坐标系的旋转矩阵
Figure FDA00037387338900000211
步骤4.4，生成主机器人末端相对于主机器人基坐标系的微分旋转运动矢量
Figure FDA00037387338900000212
步骤4.5，生成主机器人末端的初始位姿矩阵
Figure FDA00037387338900000213
及其对应的初始关节角
Figure FDA00037387338900000214
步骤4.6，生成主机器人末端运动轨迹对应的关节角序列
Figure FDA00037387338900000215
具体为：构建主机器人对应微分旋转运动的雅可比矩阵为
Figure FDA00037387338900000216
由迭代式得到关节角序列如下：
Figure FDA00037387338900000217
其中，Nt为离散控制点数，
Figure FDA00037387338900000218
表示对
Figure FDA00037387338900000219
取伪逆运算，
Figure FDA00037387338900000220
由步骤4.4得到，
Figure FDA00037387338900000221
表示第k步的关节角微分运动矢量；由此得到主机器人关节角最小范数解序列。
3.如权利要求2所述的一种基于线结构光视觉的双机器人曲线焊接协同规划方法，其特征在于：所述的步骤5中，生成从机器人运动规划轨迹的具体步骤如下：
步骤5.1，构建主从机器人闭环运动链，生成从机器人末端位姿矩阵序列
Figure FDA00037387338900000222
其中,Nt为离散控制点数，
Figure FDA00037387338900000223
由步骤1.1得到，
Figure FDA00037387338900000224
由步骤1.3得到；根据步骤4.6得到的主机器人关节角序列
Figure FDA00037387338900000225
通过主机器人运动学正解得到
Figure FDA0003738733890000031
由步骤3.5得到；
步骤5.2，由生成的从机器人末端位姿矩阵序列
Figure FDA0003738733890000032
通过从机器人运动学反解得到对应的从机器人关节角序列
Figure FDA0003738733890000033
其中，Nt为离散控制点数。
CN202011465559.3A 2020-12-14 2020-12-14 一种基于线结构光视觉的双机器人曲线焊接协同规划方法 Active CN112659123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011465559.3A CN112659123B (zh) 2020-12-14 2020-12-14 一种基于线结构光视觉的双机器人曲线焊接协同规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011465559.3A CN112659123B (zh) 2020-12-14 2020-12-14 一种基于线结构光视觉的双机器人曲线焊接协同规划方法

Publications (2)

Publication Number Publication Date
CN112659123A CN112659123A (zh) 2021-04-16
CN112659123B true CN112659123B (zh) 2022-08-16

Family

ID=75405677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011465559.3A Active CN112659123B (zh) 2020-12-14 2020-12-14 一种基于线结构光视觉的双机器人曲线焊接协同规划方法

Country Status (1)

Country Link
CN (1) CN112659123B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113211449B (zh) * 2021-06-10 2022-06-17 哈工大机器人集团股份有限公司 一种基于路径分析的机器人校准方法及其系统
CN113524183B (zh) * 2021-07-14 2023-01-24 广东智源机器人科技有限公司 相对位置获得方法、机械臂控制方法以及机械臂系统
CN113547196A (zh) * 2021-07-27 2021-10-26 天津大学 一种双侧搅拌摩擦焊接装备的主从镜像同步运动控制方法
CN113798634B (zh) * 2021-08-18 2022-09-06 中国科学院自动化研究所 空间环形焊缝示教与焊缝跟踪方法、系统及设备
CN113664831B (zh) * 2021-08-25 2023-11-10 山东大学 一种获取焊缝点云信息的焊接机器人系统及方法
CN113977160B (zh) * 2021-11-23 2022-10-18 山东大学 一种基于三维视觉的焊枪位姿规划方法及系统
CN114043087B (zh) * 2021-12-03 2022-10-04 厦门大学 一种三维轨迹激光焊接焊缝跟踪姿态规划方法
CN114309886B (zh) * 2021-12-21 2024-09-27 上海申博信息系统工程有限公司 一种基于协同自适应的曲面焊接设备控制方法及系统
CN114193041A (zh) * 2021-12-31 2022-03-18 南京工程学院 一种多传感器融合的双机械臂焊接装置及焊接方法
CN114347038A (zh) * 2022-02-17 2022-04-15 西安建筑科技大学 一种交汇管道双臂协作焊接机器人及控制系统
CN114833825B (zh) * 2022-04-19 2024-06-14 深圳市大族机器人有限公司 协作机器人控制方法、装置、计算机设备和存储介质
CN115106617A (zh) * 2022-06-30 2022-09-27 中国水利水电夹江水工机械有限公司 一种窄小空间内长焊缝扫描及跟踪方法
CN115270348B (zh) * 2022-08-08 2023-11-07 佛山职业技术学院 一种获取制造工艺的方法及存储介质
CN115179302B (zh) * 2022-09-13 2022-12-13 北京石油化工学院 一种涉核环境下寻位-规划-纠偏的焊接机器人控制方法
CN116213884B (zh) * 2023-05-10 2023-08-22 南京理工大学 管-法兰微分阵列式划分及自适应焊接路径规划方法
CN116275780B (zh) * 2023-05-19 2023-08-15 苏州益发特科技有限公司 一种基于视觉识别的圆形管件相贯线焊接路径规划方法
CN117884754B (zh) * 2024-03-14 2024-06-04 陇东学院 特种加工机器人系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101966617B (zh) * 2010-08-30 2012-11-28 东南大学 用于焊接机器人连续运动的激光视觉焊件特征检测方法
CN105783726B (zh) * 2016-04-29 2018-06-19 无锡科技职业学院 一种基于线结构光视觉检测的曲线焊缝三维重建方法
KR20170142379A (ko) * 2016-06-17 2017-12-28 대우조선해양 주식회사 영상처리를 이용한 용접로봇의 용접선 인식장치
CN106425181A (zh) * 2016-10-24 2017-02-22 南京工业大学 一种基于线结构光的曲线焊缝焊接技术
CN111189393B (zh) * 2020-01-21 2021-10-01 北京卫星制造厂有限公司 一种三维薄壁结构焊缝的高精度全局视觉测量方法

Also Published As

Publication number Publication date
CN112659123A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN112659123B (zh) 一种基于线结构光视觉的双机器人曲线焊接协同规划方法
CN112518072B (zh) 一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法
CN111745267A (zh) 一种基于激光位移传感器的坡口焊缝实时跟踪系统及方法
CN113001535B (zh) 机器人工件坐标系自动校正系统与方法
CN108481323B (zh) 基于增强现实的机器人运动轨迹自动编程系统及方法
Gao et al. Automatic motion planning for complex welding problems by considering angular redundancy
CN113798634B (zh) 空间环形焊缝示教与焊缝跟踪方法、系统及设备
CN112847353B (zh) 一种基于离线编程软件的多段焊缝轨迹修正方法
CN111496344B (zh) 一种基于激光传感器的v型坡口信息处理方法
Zhou et al. Autonomous acquisition of seam coordinates for arc welding robot based on visual servoing
Chen et al. Seam tracking of large pipe structures for an agile robotic welding system mounted on scaffold structures
CN116872216B (zh) 一种基于有限时间控制的机器人视觉伺服作业方法
CN110450150A (zh) 轨迹跟踪控制方法及轨迹跟踪系统
CN106891111A (zh) 一种用于膜式水冷壁销钉焊接的机器人闭环加工系统
CN112719702A (zh) 一种复杂管路智能装配与焊接一体化装置及方法
CN116175035B (zh) 一种基于深度学习的钢结构高空焊接机器人智能焊接方法
CN114347038A (zh) 一种交汇管道双臂协作焊接机器人及控制系统
Dharmawan et al. Robot base placement and kinematic evaluation of 6R serial manipulators to achieve collision-free welding of large intersecting cylindrical pipes
CN110456729B (zh) 一种轨迹跟踪控制方法及轨迹跟踪系统
CN110455272A (zh) 轨迹跟踪系统中的传感系统
Tsoy et al. Estimation of 4-DoF manipulator optimal configuration for autonomous camera calibration of a mobile robot using on-board templates
Tsai et al. An automatic golf head robotic welding system using 3D machine vision system
CN117681197B (zh) 一种基于钢结构3d模型的6轴机器人取料视觉分料算法
Zhao Multi-Layer and Multi-Channel Welding Trajectory Control Method of Welding Robot.
Klingenberg et al. Industrial Camera-Aided Trajectory Planning for Robotic Welding on Reflective Surfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant