CN112959329A - 一种基于视觉测量的智能控制焊接系统 - Google Patents

一种基于视觉测量的智能控制焊接系统 Download PDF

Info

Publication number
CN112959329A
CN112959329A CN202110366806.2A CN202110366806A CN112959329A CN 112959329 A CN112959329 A CN 112959329A CN 202110366806 A CN202110366806 A CN 202110366806A CN 112959329 A CN112959329 A CN 112959329A
Authority
CN
China
Prior art keywords
welding
robot
coordinate system
camera
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110366806.2A
Other languages
English (en)
Other versions
CN112959329B (zh
Inventor
王化明
陆苗
王心成
朱雄伟
邰凤阳
于金龙
沈颖
叶剑锋
赵新闯
易文韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110366806.2A priority Critical patent/CN112959329B/zh
Publication of CN112959329A publication Critical patent/CN112959329A/zh
Application granted granted Critical
Publication of CN112959329B publication Critical patent/CN112959329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/04—Automatically aligning, aiming or focusing the laser beam, e.g. using the back-scattered light
    • B23K26/044—Seam tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/005—Manipulators for mechanical processing tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Plasma & Fusion (AREA)
  • Automation & Control Theory (AREA)
  • Laser Beam Processing (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于视觉测量的智能控制焊接系统，该系统的动作执行模块包括用于携带焊枪移动和焊接操作的机器人，以及用于承载焊件的变位机；单目立体视觉测量模块包括第一工业相机、用于设置在焊件上以标识焊缝的标记发光条；所述线激光视觉传感器模块包括用于向焊件的焊接位点发射激光条纹的线激光发射器、摄像焦点正对激光条纹所照射焊接位点的第二工业相机；第一工业相机、第二工业相机、线激光发射器均安装在机器人的执行末端上；该系统的控制单元控制执行单元。本发明提出了基于模型和单目双工位立体视觉的两种焊缝粗定位方法，解决了焊缝精定位和在线跟踪需要人工示教起点工作的问题，适用于绝大多数焊件与场景。

Description

一种基于视觉测量的智能控制焊接系统
技术领域
本发明属于机器人焊接技术领域，尤其涉及一种基于视觉测量的智能控制焊接系统。
背景技术
焊接技术作为工业生产中十分重要的工艺手段之一，在多个领域具有广泛应用。随着计算机技术、人工智能等科学技术的迅猛发展，工业现场对焊接技术的自动化、智能化水平的要求不断提高，以焊接机器人为主体的自动化焊接加工系统的使用越来越多。但受限于当前机器人的智能化水平，大多数机器人实施焊接作业时主要采用“示教再现”和离线编程两种方式，主要存在两个弊端：
(1)柔性差、工作量大，只适用于单一的焊接环境或工件，若改变二者其一，则需要重新示教；
(2)适应性差，在焊接过程中缺少对焊缝变化(如：工件装夹误差、振动移位、焊接热变形等导致的误差)的自动测量与调节能力，机器人示教或离线编程轨迹与实际焊缝轨迹间存在较大误差，影响焊接质量与精度。
基于以上背景，通过视觉传感器实时感知焊缝变化，并控制机器人做出相应的调整，可以有效提高焊接的质量与精度，将基于激光三角测量原理的视觉传感技术更好的应用在焊缝识别、定位与跟踪过程中具有很强的研究意义与价值。目前，基于激光视觉传感器实现焊接跟踪的方法仍存在以下缺陷：
(1)激光视觉传感器采集图像的质量受焊接过程中的弧光和飞溅影响，易造成测量精度的降低；
(2)在确定焊缝初始点时，仍需要人工干预，调整机器人抵达初始点附近；
(3)对于存在不连续或者多道焊缝的焊件，无法自主识别各焊缝空间位置；
(4)在焊接过程中，针对折线和曲线型焊缝，焊枪的前进方向和姿态需进行实时调整，以满足焊缝始终位于传感器视野范围内的条件。
因此，研发一种新的焊缝定位和跟踪方法，以至少解决上述一个或多个问题具有重大意义。
发明内容
本发明的目的在于提供一种基于视觉测量的智能控制焊接系统，旨在解决上述背景技术中现有技术的不足之处。
本发明是这样实现的，一种基于视觉测量的智能控制焊接系统，该系统包括执行单元以及控制所述执行单元工作的控制单元；其中，
所述执行单元包括动作执行模块、线激光视觉传感器模块、以及单目立体视觉测量模块；所述动作执行模块包括用于携带焊枪移动和焊接操作的机器人，以及用于承载焊件的变位机；所述单目立体视觉测量模块包括第一工业相机、用于设置在焊件上以标识焊缝的标记发光条；所述线激光视觉传感器模块包括用于向焊件的焊接位点发射激光条纹的线激光发射器、摄像焦点正对激光条纹所照射焊接位点的第二工业相机；所述第一工业相机、第二工业相机、线激光发射器均安装在机器人的执行末端上；
该控制单元对执行单元的控制方法包括以下步骤：
S1、焊缝粗定位：通过第一相机采集图像，将该图像进行处理以获取待焊工件的空间位置信息，根据该信息确定焊缝起始点坐标，根据当前焊枪位置坐标与所述焊缝起始点坐标生成运动路径，根据该运动路径指令控制机器人带动激光条纹移动至焊缝起始点；
S2、焊缝精定位：对焊缝位置信息进行离散化处理，将所得离散的焊缝点生成运动路径，根据该运动路径指令控制机器人带动线激光视觉传感器对焊件进行扫描，获得焊件表面在机器人的基坐标系下的有序点云，通过该有序点云获得焊缝精准位置信息；
S3、焊缝在线跟踪：根据所述焊缝精准位置信息控制机器人带动线激光条纹移动至焊缝起始点，通过第二相机采集焊缝实时激光条纹图像信息，对采集的图像进行处理和特征点提取以得到焊缝点位姿信息并建立焊枪实时位姿，将焊缝段信息依次写入指定数据缓冲区且在读取任务指令后控制机器人带动焊枪运动。
优选地，在步骤S1中，所述根据当前焊枪位置坐标与所述焊缝起始点坐标生成运动路径的方法包括：基于焊件的三维模型的焊缝粗定方法，以及基于单目双工位立体视觉的焊缝粗定位方法；其中，
所述基于焊件的三维模型的焊缝粗定方法包括以下步骤：
A1、基于NXOpen Api对NX软件二次开发，设计相关插件用来提取焊件三维模型中的焊缝路径；
A2、使用NX建立焊件三维模型，并规定尺寸单位及工件坐标系；
A3、手动选取焊件模型中的焊缝特征，生成包含焊缝路径信息的.TXT文件并保存；
A4、将焊件、变位机及机器人模型导入3ds Max中，经模型渲染和优化处理后输出；
A5、标定获取工件坐标系、机器人基坐标系、变位机坐标系的位置转换关系；
A6、Unity 3D加载渲染后的模型，并根据标定结果布置仿真场景，进行焊缝路径的运动仿真；
所述基于单目双工位立体视觉的焊缝粗定位方法包括以下步骤：
B1、设置第一相机参数、沿焊缝布置发光条以削弱周围环境对粗定位方法的限制；
B2、标定焊枪、第一相机及其与机器人组成的eye-in-hand手眼系统；
B3、控制机器人移动，使第一相机以两个不同的位姿采集发光条图像，并记录对应的焊枪位姿矩阵；
B4、提取标记发光条中心像素坐标，基于双目测量模型实现空间点、直线和圆弧曲线的三维重建，求解焊缝起终点空间坐标及焊缝路径信息。
优选地，在步骤B4中，标记发光条中心像素坐标的提取包括以下具体步骤：
B4.1、对线激光视觉传感器模块采集到的激光条纹图像进行包括畸变矫正、滤波、感兴趣区域提取在内的预处理；
B4.2、对感兴趣区域的图像进行图像分割，分离激光条纹图像；
B4.3、基于灰度重心法提取激光条纹中心亚像素坐标：
Figure BDA0003007435270000041
其中：ui,vj分别为第i行的像素坐标和第j列的像素坐标，fij为第i行j列的像素点的灰度值；
在步骤B4中，基于双目测量模型实现空间点、直线和圆弧曲线的三维重建具体包括以下步骤：
B4.4、设世界坐标系与机器人基坐标系重合，则所述步骤B3中两个不同位姿处的相机投影矩阵满足：
Figure BDA0003007435270000042
其中：M1、M2为相机投影矩阵，Min为相机内参矩阵，
Figure BDA0003007435270000043
为焊枪工具坐标系相对机器人基坐标系的转换矩阵，
Figure BDA0003007435270000044
为相机坐标系相对焊枪工具坐标系的转换矩阵；
B4.5、由相机成像模型可得：
Figure BDA0003007435270000045
Figure BDA0003007435270000051
其中：Pw为空间点在世界坐标系即机器人基坐标系下的齐次坐标，Pu1、Pu2为空间点Pw在两个位姿相机成像平面的像素齐次坐标，zc1、zc2为空间点在相机坐标系下的深度信息；
B4.6、联立式(2)、(3)和(4)，使用最小二乘法求解方程可求解出空间点坐标Pw：
Figure BDA0003007435270000052
在步骤B4中，基于双目测量模型的直线、圆弧曲线焊缝的三维重建包括以下具体步骤：
B4.7、最小二乘法拟合成像直线或圆弧曲线：
Figure BDA0003007435270000053
B4.8、结合式(3)所示相机成像模型，基于空间平面或曲面求交，实现直线或圆弧曲线的三维重建：
Figure BDA0003007435270000054
其中：[ai bi 1]、Si分别为投影直线、投影圆弧曲线参数方程系数组成的矩阵，[XwYw Zw 1]T为任一空间点P的齐次坐标，[u v 1]T为空间点P在相机成像平面上投影点的齐次坐标。
优选地，所述步骤S2包括以下具体步骤：
S21、标定线激光平面、线激光视觉传感器与机器人构成的Eye-in-Hand手眼系统；
S22、设置传感器参数，根据焊缝粗定位信息，控制机器人运动调节激光条纹到达焊缝初始点；
S23、离散化粗定位获取的焊缝路径，并求解离散点位姿作为扫描依据；
S24、建立视觉检测模型与运动控制模块间坐标系转换模型，扫描获得焊件表面在机器人基坐标系下的有序点云，基于结构光点云处理求解焊缝路径。
优选地，在步骤S21中，所述标定线激光平面包括以下具体步骤：
C1、距离传感器适当高度处指定平面Ⅰ、Ⅱ，在两个平面内各采集一组标定板图像和激光条纹图像；
C2、基于第二相机标定求解平面Ⅰ、Ⅱ参数方程；
C3、提取激光条纹中心像素坐标，结合步骤C2求解激光条纹中心在相机坐标系下的坐标；
C4、拟合步骤C3中的坐标，求解出第二相机坐标系下激光平面的方程Ax+By+Cz+D＝0；
在步骤S24中，所述视觉检测模型与运动控制模块间坐标系转换模型具体为：
(A)线激光视觉传感器测量模型：
Figure BDA0003007435270000061
Axc+Byc+Czc+D＝0 (9)
(B)线激光视觉传感器与机器人的手眼模型为：
Figure BDA0003007435270000071
其中：PB、PC分别为空间点在机器人基坐标下、相机坐标系下的齐次坐标，
Figure BDA0003007435270000072
为机器人末端坐标系相对基坐标系的方位，
Figure BDA0003007435270000073
为焊枪工具坐标系相对机器人末端坐标系的方位，
Figure BDA0003007435270000074
为相机坐标系相对焊枪工具坐标系的方位；
在步骤S24中，所述线激光点云处理包括：提取点云感兴趣区域、去除点云离散点、提取焊缝特征点序列。
优选地，在步骤S3中，焊缝段信息包括：该轨迹段的起点坐标、终点坐标、焊枪实时位姿、用来判断是否是焊缝跟踪的初始轨迹段或末尾轨迹段的标志符；
所述步骤S3包括以下具体步骤：
S31、根据焊缝粗定位信息，控制机器人运动调节激光条纹到达焊缝初始点；
S32、设置焊缝跟踪参数，线激光视觉传感器模块采集激光条纹图像，经图像处理和坐标转换获取激光条纹中心点云；
S33、根据常见类型焊缝(对接/角接/搭接等)的几何特征，基于激光条纹中心点云提取焊缝特征点；
S34、求解特征点所固联的坐标系相对机器人基坐标系的姿态变换，建立跟踪过程中焊枪的实时位姿；
S35、定时将相邻焊缝特征点位姿信息传输至机器人，利用直线插补、圆弧过渡的方式实现相邻检测点间的运动，机器人将接收到的焊缝段信息依次写入指定数据缓冲区，等待控制任务读取；
S36、重复步骤S32至S35，基于乒乓RAM实现控制单元和机器人间焊缝段信息数据流的存储与处理，引导机器人实现焊缝在线跟踪，直至运动至焊缝终点后停止。
优选地，在步骤S32中，焊缝跟踪参数包括：焊接参数、图像采集周期、数据发送周期和运动控制周期，所述焊接参数包括焊接速度、焊接电压、焊接电流、保护气流量、送丝速度；
在步骤S32中，所述激光条纹中心点云的生成包括以下具体步骤：
D1、对线激光视觉传感器模块采集到的激光条纹图像进行包括畸变矫正、滤波、感兴趣区域提取在内的预处理；
D2、对感兴趣区域的图像进行图像分割，分离激光条纹图像；
D3、基于灰度重心法提取激光条纹中心亚像素坐标；
D4、利用激光平面与第二工业相机间的关系解算激光条纹中心各像素点在第二工业相机坐标系下对应点的三维坐标，生成激光条纹中心点云；
在步骤S33中，焊缝特征点提取算法包括以下内容：
E1、RANSAC直线点云分割、最小二乘法直线拟合；
E2、点云向拟合直线的投影：
Figure BDA0003007435270000081
Figure BDA0003007435270000082
其中：式(11)为空间直线参数方程，(xi,yi,zi)、(xq,yq,zq)分别为空间点及其投影点；
E3、空间直线求交：
Figure BDA0003007435270000083
p＝p1+kv1 (14)
其中：p为空间直线交点坐标，p1、p2分别为两空间直线上任一点坐标，v1、v2分别为两空间直线方向向量；
在步骤S34中，跟踪过程中焊枪实时位姿求解的包括以下具体步骤：
F1、为保证焊枪接近矢量ZT能反映当前焊件平面的倾斜度，将焊件所在平面法向量作为ZT；
F2、根据相邻焊缝特征点及其拟合求解的焊缝段轨迹方程，求解焊枪前进方向矢量XT；
F3、由右手法则求解焊枪法线矢量YT＝ZT×XT，建立焊枪实时位姿为：
Figure BDA0003007435270000091
在步骤S36中，基于乒乓RAM实现控制单元和机器人间焊缝段信息数据流的存储与处理包括以下具体步骤：
G1、在第一个数据缓存周期，将焊缝轨迹段信息缓存至RAMA；
G2、第二个缓存周期，将焊缝轨迹段信息缓存至RAM B，同时将RAMA上一周期缓存的数据输出用于控制机器人运动；
G3、在第三个缓存周期，将输入数据流缓存到RAMA，同时将RAM B上一周期缓存的数据输出用于控制机器人运动；
在步骤S36中，除UI界面主线程外，定义两个线程来完成步骤S2至S6，其中：图像处理线程用于处理激光条纹图像、生成激光条纹中心点云、接收焊枪工具坐标系实时位姿矩阵、提取、保存和传输焊缝特征点实时位姿；运动控制线程用于读取工具坐标系实时位姿、接收焊缝特征点实时位姿，并向控制模块发送相应的运动控制指令。
相比于现有技术的缺点和不足，本发明具有以下有益效果：
(1)本发明提出了基于模型和单目双工位立体视觉的两种焊缝粗定位方法，解决了焊缝精定位和在线跟踪需要人工示教起点工作的问题，适用于绝大多数焊件与场景；
(2)本发明单目相机立体视觉测量组件通过覆盖整个焊件，确定了焊缝空间位置信息；线激光视觉传感器模块覆盖局部焊缝，在小视场内采集实时激光条纹图像，经上位机处理获得焊缝信息；然后通过机器人运动控制模型对焊枪的运动轨迹进行规划，便于应对焊接过程的装夹误差、受热变形，以提高焊接的精度。
附图说明
图1是本发明基于视觉测量的智能控制焊接系统的结构示意图；
图2是本发明系统中线激光视觉传感器模块的放大结构示意图；
图3是本发明系的工作原理示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例公开了一种基于视觉测量的智能控制焊接系统，如图1、图2所示，该系统包括执行单元以及控制所述执行单元工作的控制单元；其中，所述执行单元包括动作执行模块、线激光视觉传感器模块3、以及单目立体视觉测量模块；所述动作执行模块包括用于携带焊枪移动和焊接操作的机器人1，以及用于承载焊件5的变位机6；所述单目立体视觉测量模块包括第一工业相机4、用于设置在焊件上以标识焊缝的标记发光条(图中省略视图)；所述线激光视觉传感器模块包括用于向焊件的焊接位点发射激光条纹的线激光发射器8、摄像焦点正对激光条纹所照射焊接位点的第二工业相机7；所述第一工业相机、第二工业相机、线激光发射器均安装在机器人的执行末端上。
在本发明实施例中，焊枪设置在工业机器人的末端执行器上，线激光视觉传感器模块与单目立体视觉测量模块的工业相机均设置在焊枪2枪头的上方，为降低焊接过程中弧光和飞溅的影响，在线激光视觉传感器模块靠近焊枪的一侧设置挡光板11。
在本发明实施例中，控制单元包括上位机与控制模块，上位机安装在PC机上，通过网线分别与控制模块、工业相机通过不同的GigE接口连接，上位机所做的工作包括系统标定、图像处理、焊缝特征点提取与位姿计算、数据缓存和人机交互等，控制模块主要用于下达指令。
在本发明实施例中，激光视觉传感器模块的测量视场较单目立体视觉测量模块小，单目立体视觉测量模块视场覆盖整个焊缝；线激光视觉传感器模块的长度方向视场覆盖局部焊缝长度，宽度方向视场若为V型坡口焊缝，需完全覆盖，若为其他类型焊缝需覆盖焊缝拐点并留有余量。
在本发明实施例中，线激光视觉传感器模块的第二工业相机与线激光发射器的相对位置固定，窄带滤光片10设置在工业相机镜头正前方；为减小线激光视觉传感器的横向尺寸，利用反光镜9实现线激光平面与工业相机光轴中心所在直线呈α角度，一般α角度范围在15～35°。
在本发明实施例中，待焊工件上的焊缝为V形坡口对接焊缝，焊件总体尺寸约为300*200*20mm，设线激光视觉传感器模块最佳工作范围为150mm、激光平面与第二工业相机光轴中心所在直线夹角α为20°。为尽量减小图像处理的数据量、提高数据处理时间，确定单目立体视觉测量模块的视场约为350mm×260mm，线激光视觉传感器模块的视场激光条纹长度方向为60mm，宽度方向为45mm。结合测量精度要求，确定单目立体视觉测量模块使用分辨率2592×1944、帧率14fps的CCD相机，搭配6mm定焦镜头、线激光视觉传感器模块使用分辨率1280×960、帧率30fps的CCD相机，搭配12mm定焦镜头。
本发明实施例中，激光发射器作为线激光视觉传感器模块的主动光源，为减小强弧光对激光条纹图像产生的干扰，选择弧光强度较弱的波段(440～480nm\610～700nm\850～950nm)作为激光的波长，结合相机的光谱响应波段(390nm-650mm)，选择中心波长650nm、功率30mW、线宽可调的半导体线激光发射器，相对应的选择中心波长650nm的窄带滤光片以减小大部分电弧光对视觉成像的干扰。
结合上述执行单元，本发明系统中的控制单元还涉及到对上述执行单元的信息处理与指令下达，也就是对执行单元的控制方法，结合图3理解，该方法包括以下步骤：
S1、焊缝粗定位：通过第一相机采集图像，将该图像进行处理以获取待焊工件的空间位置信息，根据该信息确定焊缝起始点坐标，根据当前焊枪位置坐标与所述焊缝起始点坐标生成运动路径，根据该运动路径指令控制机器人带动激光条纹移动至焊缝起始点
在步骤S1中，单目视觉测量模块中的第一工业相机对当前焊件所采集的图像经GigE接口将采集到的数据传输到上位机中，上位机基于双目测量模型对所接收的图像进行处理，获取待焊工件的空间位置信息，并根据上述信息确定焊缝起始点坐标发送至控制模块，控制模块根据当前焊枪位置坐标与焊缝起始点坐标规划运动路径后，生成相对应的运控控制命令，控制机器人将线激光条纹移动至焊缝起始点，实现基于单目双工位立体视觉的焊缝粗定位。
在实际的操作中，上述根据当前焊枪位置坐标与所述焊缝起始点坐标生成运动路径的方法包括两种途径：(1)基于焊件三维模型的焊缝粗定位方法，以及(2)基于单目双工位立体视觉的焊缝粗定位方法；其中，
(1)基于焊件三维模型的焊缝粗定位方法包括以下步骤：
A1、基于NXOpen Api对NX软件二次开发，设计相关插件用来提取焊件三维模型中的焊缝路径；
A2、使用NX建立焊件三维模型，并规定尺寸单位及工件坐标系；
A3、手动选取焊件模型中的焊缝特征，生成包含焊缝路径信息的.TXT文件并保存；
A4、将焊件、变位机及机器人模型导入3ds Max中，经模型渲染和优化处理后输出；
A5、标定获取工件坐标系、机器人基坐标系、变位机坐标系的位置转换关系；
A6、Unity 3D加载渲染后的模型，并根据标定结果布置仿真场景，进行焊缝路径的运动仿真；
(2)基于单目双工位立体视觉的焊缝粗定位方法包括以下步骤：
B1、设置第一相机参数、沿焊缝布置发光条以削弱周围环境对粗定位方法的限制；
B2、标定焊枪、第一相机及其与机器人组成的eye-in-hand手眼系统；
B3、控制机器人移动，使第一相机以两个不同的位姿采集发光条图像，并记录对应的焊枪位姿矩阵；
B4、提取标记发光条中心像素坐标，基于双目测量模型实现空间点、直线和圆弧曲线的三维重建，求解焊缝起终点空间坐标及焊缝路径信息。
在步骤B4中，标记发光条中心像素坐标的提取包括以下具体步骤：
B4.1、对线激光视觉传感器模块采集到的激光条纹图像进行包括畸变矫正、滤波、感兴趣区域提取在内的预处理；
B4.2、对感兴趣区域的图像进行图像分割，分离激光条纹图像；
B4.3、基于灰度重心法提取激光条纹中心亚像素坐标：
Figure BDA0003007435270000131
其中：ui,vj分别为第i行的像素坐标和第j列的像素坐标，fij为第i行j列的像素点的灰度值；
此外，在步骤B4中，基于双目测量模型实现空间点、直线和圆弧曲线的三维重建具体包括以下步骤：
B4.4、设世界坐标系与机器人基坐标系重合，则所述步骤B3中两个不同位姿处的相机投影矩阵满足：
Figure BDA0003007435270000132
其中：M1、M2为相机投影矩阵，Min为相机内参矩阵，
Figure BDA0003007435270000133
为焊枪工具坐标系相对机器人基坐标系的转换矩阵，
Figure BDA0003007435270000134
为相机坐标系相对焊枪工具坐标系的转换矩阵；
B4.5、由相机成像模型可得：
Figure BDA0003007435270000135
Figure BDA0003007435270000141
其中：Pw为空间点在世界坐标系即机器人基坐标系下的齐次坐标，Pu1、Pu2为空间点Pw在两个位姿相机成像平面的像素齐次坐标，zc1、zc2为空间点在相机坐标系下的深度信息；
B4.6、联立式(2)、(3)和(4)，使用最小二乘法求解方程可求解出空间点坐标Pw：
Figure BDA0003007435270000142
在步骤B4中，基于双目测量模型的直线、圆弧曲线焊缝的三维重建包括以下具体步骤：
B4.7、最小二乘法拟合成像直线或圆弧曲线：
Figure BDA0003007435270000143
B4.8、结合式(3)所示相机成像模型，基于空间平面或曲面求交，实现直线或圆弧曲线的三维重建：
Figure BDA0003007435270000144
其中：[ai bi 1]、Si分别为投影直线、投影圆弧曲线参数方程系数组成的矩阵，[XwYw Zw 1]T为任一空间点P的齐次坐标，[u v 1]T为空间点P在相机成像平面上投影点的齐次坐标。
S2、焊缝精定位：对焊缝位置信息进行离散化处理，将所得离散的焊缝点生成运动路径，根据该运动路径指令控制机器人带动线激光视觉传感器对焊件进行扫描，获得焊件表面在机器人的基坐标系下的有序点云，通过该有序点云获得焊缝精准位置信息
在步骤S2中，线激光条纹移动至焊缝起始点，且单目立体视觉测量模块获取的焊缝位置信息经上位机离散化处理后，控制模块根据离散的焊缝点规划运动路径并生成控制指令，控制机器人带动线激光视觉传感器模块对焊件进行扫描，获得焊件表面在机器人基坐标系下的的有序点云，经上位机处理获得焊缝精准位置信息，实现焊缝精定位。
具体的，步骤S2包括以下具体步骤：
S21、标定线激光平面、线激光视觉传感器与机器人构成的Eye-in-Hand手眼系统
在步骤S21中，所述标定线激光平面包括以下具体步骤：
C1、距离传感器适当高度处指定平面Ⅰ、Ⅱ，在两个平面内各采集一组标定板图像和激光条纹图像
C2、基于第二相机标定求解平面Ⅰ、Ⅱ参数方程
C3、提取激光条纹中心像素坐标，结合步骤C2求解激光条纹中心在相机坐标系下的坐标；
C4、拟合步骤C3中的坐标，求解出第二相机坐标系下激光平面的方程Ax+By+Cz+D＝0；
S22、设置传感器参数，根据焊缝粗定位信息，控制机器人运动调节激光条纹到达焊缝初始点
S23、离散化粗定位获取的焊缝路径，并求解离散点位姿作为扫描依据
S24、建立视觉检测模型与运动控制模块间坐标系转换模型，扫描获得焊件表面在机器人基坐标系下的有序点云，基于线激光点云处理求解焊缝路径
在步骤S24中，所述视觉检测模型与运动控制模块间坐标系转换模型具体为：
(A)线激光视觉传感器测量模型：
Figure BDA0003007435270000161
Axc+Byc+Czc+D＝0 (9)
(B)线激光视觉传感器与机器人的手眼模型为：
Figure BDA0003007435270000162
其中：PB、PC分别为空间点在机器人基坐标下、相机坐标系下的齐次坐标，
Figure BDA0003007435270000163
为机器人末端坐标系相对基坐标系的方位，
Figure BDA0003007435270000164
为焊枪工具坐标系相对机器人末端坐标系的方位，
Figure BDA0003007435270000165
为相机坐标系相对焊枪工具坐标系的方位；
在步骤S24中，所述结构光点云处理包括：提取点云感兴趣区域、去除点云离散点、提取焊缝特征点序列。
S3、焊缝在线跟踪：根据所述焊缝精准位置信息控制机器人带动线激光条纹移动至焊缝起始点，通过第二相机采集焊缝实时激光条纹图像信息，对采集的图像进行处理和特征点提取以得到焊缝点位姿信息并建立焊枪实时位姿，将焊缝段信息依次写入指定数据缓冲区且在读取任务指令后控制机器人带动焊枪运动
在步骤S3中，线激光条纹移动至焊缝起始点，线激光视觉传感器模块开始采集焊缝实时激光条纹图像信息，并将采集到的图像传输到上位机中进行图像处理和特征点提取，得到焊缝点位姿信息，并建立焊枪实时位姿。上位机定时将相邻焊缝特征点位姿信息传输至控制模块，控制模块将接收到的焊缝段信息依次写入指定数据缓冲区，等待控制任务读取并控制焊枪运动，实现焊缝在线跟踪。
具体的，在步骤S3中，焊缝段信息包括：该轨迹段的起点坐标、终点坐标、焊枪实时位姿、用来判断是否是焊缝跟踪的初始轨迹段或末尾轨迹段的标志符；
该步骤S3包括以下具体步骤：
S31、根据焊缝粗定位信息，控制机器人运动调节激光条纹到达焊缝初始点；
S32、设置焊缝跟踪参数，线激光视觉传感器模块采集激光条纹图像，经图像处理和坐标转换获取激光条纹中心点云；
在步骤S32中，焊缝跟踪参数包括：焊接参数、图像采集周期、数据发送周期和运动控制周期，所述焊接参数包括焊接速度、焊接电压、焊接电流、保护气流量、送丝速度；
在步骤S32中，所述激光条纹中心点云的生成包括以下具体步骤：
D1、对线激光视觉传感器模块采集到的激光条纹图像进行包括畸变矫正、滤波、感兴趣区域提取在内的预处理；
D2、对感兴趣区域的图像进行图像分割，分离激光条纹图像；
D3、基于灰度重心法提取激光条纹中心亚像素坐标；
D4、利用激光平面与第二工业相机间的关系解算激光条纹中心各像素点在第二工业相机坐标系下对应点的三维坐标，生成激光条纹中心点云；
S33、根据常见类型焊缝(对接/角接/搭接等)的几何特征，基于激光条纹中心点云提取焊缝特征点；
在步骤S33中，焊缝特征点提取算法包括以下内容：
E1、RANSAC直线点云分割、最小二乘法直线拟合；
E2、点云向拟合直线的投影：
Figure BDA0003007435270000171
Figure BDA0003007435270000172
其中：式(11)为空间直线参数方程，(xi,yi,zi)、(xq,yq,zq)分别为空间点及其投影点；
E3、空间直线求交：
Figure BDA0003007435270000181
p＝p1+kv1 (14)
其中：p为空间直线交点坐标，p1、p2分别为两空间直线上任一点坐标，v1、v2分别为两空间直线方向向量；
S34、求解特征点所固联的坐标系相对机器人基坐标系的姿态变换，建立跟踪过程中焊枪的实时位姿；
在步骤S34中，跟踪过程中焊枪实时位姿求解的包括以下具体步骤：
F1、为保证焊枪接近矢量ZT能反映当前焊件平面的倾斜度，将焊件所在平面法向量作为ZT；
F2、根据相邻焊缝特征点及其拟合求解的焊缝段轨迹方程，求解焊枪前进方向矢量XT；
F3、由右手法则求解焊枪法线矢量YT＝ZT×XT，建立焊枪实时位姿为：
Figure BDA0003007435270000182
S35、定时将相邻焊缝特征点位姿信息传输至机器人，利用直线插补、圆弧过渡的方式实现相邻检测点间的运动，机器人将接收到的焊缝段信息依次写入指定数据缓冲区，等待控制任务读取；
S36、重复步骤S32至S35，基于乒乓RAM实现控制单元和机器人间焊缝段信息数据流的存储与处理，引导机器人实现焊缝在线跟踪，直至运动至焊缝终点后停止；
在步骤S36中，基于乒乓RAM实现控制单元和机器人间焊缝段信息数据流的存储与处理包括以下具体步骤：
G1、在第一个数据缓存周期，将焊缝轨迹段信息缓存至RAMA；
G2、第二个缓存周期，将焊缝轨迹段信息缓存至RAM B，同时将RAM A上一周期缓存的数据输出用于控制机器人运动；
G3、在第三个缓存周期，将输入数据流缓存到RAM A，同时将RAM B上一周期缓存的数据输出用于控制机器人运动；
在步骤S36中，除UI界面主线程外，定义两个线程来完成步骤S2至S6，其中：图像处理线程用于处理激光条纹图像、生成激光条纹中心点云、接收焊枪工具坐标系实时位姿矩阵、提取、保存和传输焊缝特征点实时位姿；运动控制线程用于读取工具坐标系实时位姿、接收焊缝特征点实时位姿，并向控制模块发送相应的运动控制指令。
在本发明实施例中，单目立体视觉测量模块视场覆盖整个焊件，线激光视觉传感器模块视场覆盖待焊接焊缝局部，在小视场内提高焊缝定位和跟踪精度，从而弥补了被动立体视觉的环境适应性问题。此外，通过单目立体视觉模块采集焊件图像，获取焊件的空间位置信息，并控制机器人运动至焊缝初始点；通过线激光视觉传感器扫描焊件实现焊缝精定位，减小焊件由于装夹引起的误差；通过线激光视觉传感器实时采集焊缝激光条纹图像、并通过上位机实时计算实际焊缝点位姿，最后通过控制模块控制机器人关节角度变化，从而实现焊缝在线跟踪，减小焊接过程中工件由于受热变形所引起的误差，提高焊接质量与精度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于视觉测量的智能控制焊接系统，其特征在于，该系统包括执行单元以及控制所述执行单元工作的控制单元；其中，
所述执行单元包括动作执行模块、线激光视觉传感器模块、以及单目立体视觉测量模块；所述动作执行模块包括用于携带焊枪移动和焊接操作的机器人，以及用于承载焊件的变位机；所述单目立体视觉测量模块包括第一工业相机、用于设置在焊件上以标识焊缝的标记发光条；所述线激光视觉传感器模块包括用于向焊件的焊接位点发射激光条纹的线激光发射器、摄像焦点正对激光条纹所照射焊接位点的第二工业相机；所述第一工业相机、第二工业相机、线激光发射器均安装在机器人的执行末端上；
该控制单元对执行单元的控制方法包括以下步骤：
S1、焊缝粗定位：通过第一相机采集图像，将该图像进行处理以获取待焊工件的空间位置信息，根据该信息确定焊缝起始点坐标，根据当前焊枪位置坐标与所述焊缝起始点坐标生成运动路径，根据该运动路径指令控制机器人带动激光条纹移动至焊缝起始点；
S2、焊缝精定位：对焊缝位置信息进行离散化处理，将所得离散的焊缝点生成运动路径，根据该运动路径指令控制机器人带动线激光视觉传感器对焊件进行扫描，获得焊件表面在机器人的基坐标系下的有序点云，通过该有序点云获得焊缝精准位置信息；
S3、焊缝在线跟踪：根据所述焊缝精准位置信息控制机器人带动线激光条纹移动至焊缝起始点，通过第二相机采集焊缝实时激光条纹图像信息，对采集的图像进行处理和特征点提取以得到焊缝点位姿信息并建立焊枪实时位姿，将焊缝段信息依次写入指定数据缓冲区且在读取任务指令后控制机器人带动焊枪运动。
2.如权利要求1所述的基于视觉测量的智能控制焊接系统，其特征在于，在步骤S1中，所述根据当前焊枪位置坐标与所述焊缝起始点坐标生成运动路径的方法包括：基于焊件的三维模型的焊缝粗定方法，以及基于单目双工位立体视觉的焊缝粗定位方法；其中，
所述基于焊件的三维模型的焊缝粗定方法包括以下步骤：
A1、基于NXOpen Api对NX软件二次开发，设计相关插件用来提取焊件三维模型中的焊缝路径；
A2、使用NX建立焊件三维模型，并规定尺寸单位及工件坐标系；
A3、手动选取焊件模型中的焊缝特征，生成包含焊缝路径信息的.TXT文件并保存；
A4、将焊件、变位机及机器人模型导入3ds Max中，经模型渲染和优化处理后输出；
A5、标定获取工件坐标系、机器人基坐标系、变位机坐标系的位置转换关系；
A6、Unity 3D加载渲染后的模型，并根据标定结果布置仿真场景，进行焊缝路径的运动仿真；
所述基于单目双工位立体视觉的焊缝粗定位方法包括以下步骤：
B1、设置第一相机参数、沿焊缝布置发光条以削弱周围环境对粗定位方法的限制；
B2、标定焊枪、第一相机及其与机器人组成的eye-in-hand手眼系统；
B3、控制机器人移动，使第一相机以两个不同的位姿采集发光条图像，并记录对应的焊枪位姿矩阵；
B4、提取标记发光条中心像素坐标，基于双目测量模型实现空间点、直线和圆弧曲线的三维重建，求解焊缝起终点空间坐标及焊缝路径信息。
3.如权利要求2所述的基于视觉测量的智能控制焊接系统，其特征在于，在步骤B4中，标记发光条中心像素坐标的提取包括以下具体步骤：
B4.1、对线激光视觉传感器模块采集到的激光条纹图像进行包括畸变矫正、滤波、感兴趣区域提取在内的预处理；
B4.2、对感兴趣区域的图像进行图像分割，分离激光条纹图像；
B4.3、基于灰度重心法提取激光条纹中心亚像素坐标：
Figure FDA0003007435260000031
其中：ui,vj分别为第i行的像素坐标和第j列的像素坐标，fij为第i行j列的像素点的灰度值；
在步骤B4中，基于双目测量模型实现空间点、直线和圆弧曲线的三维重建具体包括以下步骤：
B4.4、设世界坐标系与机器人基坐标系重合，则所述步骤B3中两个不同位姿处的相机投影矩阵满足：
Figure FDA0003007435260000032
其中：M1、M2为相机投影矩阵，Min为相机内参矩阵，
Figure FDA0003007435260000033
为焊枪工具坐标系相对机器人基坐标系的转换矩阵，
Figure FDA0003007435260000034
为相机坐标系相对焊枪工具坐标系的转换矩阵；
B4.5、由相机成像模型可得：
Figure FDA0003007435260000035
Figure FDA0003007435260000036
其中：Pw为空间点在世界坐标系即机器人基坐标系下的齐次坐标，Pu1、Pu2为空间点Pw在两个位姿相机成像平面的像素齐次坐标，zc1、zc2为空间点在相机坐标系下的深度信息；
B4.6、联立式(2)、(3)和(4)，使用最小二乘法求解方程可求解出空间点坐标Pw：
Figure FDA0003007435260000041
在步骤B4中，基于双目测量模型的直线、圆弧曲线焊缝的三维重建包括以下具体步骤：
B4.7、最小二乘法拟合成像直线或圆弧曲线：
Figure FDA0003007435260000042
B4.8、结合式(3)所示相机成像模型，基于空间平面或曲面求交，实现直线或圆弧曲线的三维重建：
Figure FDA0003007435260000043
其中：[ai bi 1]、Si分别为投影直线、投影圆弧曲线参数方程系数组成的矩阵，[Xw YwZw 1]T为任一空间点P的齐次坐标，[u v 1]T为空间点P在相机成像平面上投影点的齐次坐标。
4.如权利要求1所述的基于视觉测量的智能控制焊接系统，其特征在于，所述步骤S2包括以下具体步骤：
S21、标定线激光平面、线激光视觉传感器与机器人构成的Eye-in-Hand手眼系统；
S22、设置传感器参数，根据焊缝粗定位信息，控制机器人运动调节激光条纹到达焊缝初始点；
S23、离散化粗定位获取的焊缝路径，并求解离散点位姿作为扫描依据；
S24、建立视觉检测模型与运动控制模块间坐标系转换模型，扫描获得焊件表面在机器人基坐标系下的有序点云，基于线激光点云处理求解焊缝路径。
5.如权利要求4所述的基于视觉测量的智能控制焊接系统，其特征在于，在步骤S21中，所述标定线激光平面包括以下具体步骤：
C1、距离传感器适当高度处指定平面Ⅰ、Ⅱ，在两个平面内各采集一组标定板图像和激光条纹图像；
C2、基于第二相机标定求解平面Ⅰ、Ⅱ参数方程；
C3、提取激光条纹中心像素坐标，结合步骤C2求解激光条纹中心在相机坐标系下的坐标；
C4、拟合步骤C3中的坐标，求解出第二相机坐标系下激光平面的方程Ax+By+Cz+D＝0；
在步骤S24中，所述视觉检测模型与运动控制模块间坐标系转换模型具体为：
(A)线激光视觉传感器测量模型：
Figure FDA0003007435260000051
Axc+Byc+Czc+D＝0 (9)
(B)线激光视觉传感器与机器人的手眼模型为：
Figure FDA0003007435260000052
其中：PB、PC分别为空间点在机器人基坐标下、相机坐标系下的齐次坐标，
Figure FDA0003007435260000061
为机器人末端坐标系相对基坐标系的方位，
Figure FDA0003007435260000062
为焊枪工具坐标系相对机器人末端坐标系的方位，
Figure FDA0003007435260000063
为相机坐标系相对焊枪工具坐标系的方位；
在步骤S24中，所述线激光点云处理包括：提取点云感兴趣区域、去除点云离散点、提取焊缝特征点序列。
6.如权利要求1所述的基于视觉测量的智能控制焊接系统，其特征在于，在步骤S3中，焊缝段信息包括：该轨迹段的起点坐标、终点坐标、焊枪实时位姿、用来判断是否是焊缝跟踪的初始轨迹段或末尾轨迹段的标志符；
所述步骤S3包括以下具体步骤：
S31、根据焊缝粗定位信息，控制机器人运动调节激光条纹到达焊缝初始点；
S32、设置焊缝跟踪参数，线激光视觉传感器模块采集激光条纹图像，经图像处理和坐标转换获取激光条纹中心点云；
S33、根据常见类型焊缝(对接/角接/搭接等)的几何特征，基于激光条纹中心点云提取焊缝特征点；
S34、求解特征点所固联的坐标系相对机器人基坐标系的姿态变换，建立跟踪过程中焊枪的实时位姿；
S35、定时将相邻焊缝特征点位姿信息传输至机器人，利用直线插补、圆弧过渡的方式实现相邻检测点间的运动，机器人将接收到的焊缝段信息依次写入指定数据缓冲区，等待控制任务读取；
S36、重复步骤S32至S35，基于乒乓RAM实现控制单元和机器人间焊缝段信息数据流的存储与处理，引导机器人实现焊缝在线跟踪，直至运动至焊缝终点后停止。
7.如权利要求6所述的基于视觉测量的智能控制焊接系统，其特征在于，在步骤S32中，焊缝跟踪参数包括：焊接参数、图像采集周期、数据发送周期和运动控制周期，所述焊接参数包括焊接速度、焊接电压、焊接电流、保护气流量、送丝速度；
在步骤S32中，所述激光条纹中心点云的生成包括以下具体步骤：
D1、对线激光视觉传感器模块采集到的激光条纹图像进行包括畸变矫正、滤波、感兴趣区域提取在内的预处理；
D2、对感兴趣区域的图像进行图像分割，分离激光条纹图像；
D3、基于灰度重心法提取激光条纹中心亚像素坐标；
D4、利用激光平面与第二工业相机间的关系解算激光条纹中心各像素点在第二工业相机坐标系下对应点的三维坐标，生成激光条纹中心点云；
在步骤S33中，焊缝特征点提取算法包括以下内容：
E1、RANSAC直线点云分割、最小二乘法直线拟合；
E2、点云向拟合直线的投影：
Figure FDA0003007435260000071
Figure FDA0003007435260000072
其中：式(11)为空间直线参数方程，(xi,yi,zi)、(xq,yq,zq)分别为空间点及其投影点；
E3、空间直线求交：
Figure FDA0003007435260000073
p＝p1+kv1 (14)
其中：p为空间直线交点坐标，p1、p2分别为两空间直线上任一点坐标，v1、v2分别为两空间直线方向向量；
在步骤S34中，跟踪过程中焊枪实时位姿求解的包括以下具体步骤：
F1、为保证焊枪接近矢量ZT能反映当前焊件平面的倾斜度，将焊件所在平面法向量作为ZT；
F2、根据相邻焊缝特征点及其拟合求解的焊缝段轨迹方程，求解焊枪前进方向矢量XT；
F3、由右手法则求解焊枪法线矢量YT＝ZT×XT，建立焊枪实时位姿为：
Figure FDA0003007435260000081
在步骤S36中，基于乒乓RAM实现控制单元和机器人间焊缝段信息数据流的存储与处理包括以下具体步骤：
G1、在第一个数据缓存周期，将焊缝轨迹段信息缓存至RAMA；
G2、第二个缓存周期，将焊缝轨迹段信息缓存至RAM B，同时将RAMA上一周期缓存的数据输出用于控制机器人运动；
G3、在第三个缓存周期，将输入数据流缓存到RAMA，同时将RAM B上一周期缓存的数据输出用于控制机器人运动；
在步骤S36中，除UI界面主线程外，定义两个线程来完成步骤S2至S6，其中：图像处理线程用于处理激光条纹图像、生成激光条纹中心点云、接收焊枪工具坐标系实时位姿矩阵、提取、保存和传输焊缝特征点实时位姿；运动控制线程用于读取工具坐标系实时位姿、接收焊缝特征点实时位姿，并向控制模块发送相应的运动控制指令。
CN202110366806.2A 2021-04-06 2021-04-06 一种基于视觉测量的智能控制焊接系统 Active CN112959329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110366806.2A CN112959329B (zh) 2021-04-06 2021-04-06 一种基于视觉测量的智能控制焊接系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110366806.2A CN112959329B (zh) 2021-04-06 2021-04-06 一种基于视觉测量的智能控制焊接系统

Publications (2)

Publication Number Publication Date
CN112959329A true CN112959329A (zh) 2021-06-15
CN112959329B CN112959329B (zh) 2022-03-11

Family

ID=76279936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110366806.2A Active CN112959329B (zh) 2021-04-06 2021-04-06 一种基于视觉测量的智能控制焊接系统

Country Status (1)

Country Link
CN (1) CN112959329B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113579467A (zh) * 2021-07-30 2021-11-02 李伟明 一种用于焊接机器人的焊缝识别方法、装置及存储介质
CN113628214A (zh) * 2021-10-14 2021-11-09 武汉逸飞激光股份有限公司 焊接点位的获取方法、装置、焊接设备及可读存储介质
CN113670202A (zh) * 2021-08-25 2021-11-19 杭州思看科技有限公司 三维扫描系统和三维扫描方法
CN113751934A (zh) * 2021-10-15 2021-12-07 安迅捷智能机器人(宁夏)有限责任公司 定位系统及焊接系统、焊接方法、焊接形变测量方法
CN113927165A (zh) * 2021-10-20 2022-01-14 中北大学 一种机器人填丝激光熔覆缺陷快速定位修复方法与系统
CN114043045A (zh) * 2021-11-29 2022-02-15 苏州全视智能光电有限公司 一种基于激光视觉的圆孔自动塞焊方法及装置
CN114140439A (zh) * 2021-12-03 2022-03-04 厦门大学 基于深度学习的激光焊接焊缝特征点识别方法及装置
CN114193172A (zh) * 2022-01-07 2022-03-18 南京航空航天大学 一种电弧增材与冲击强化复合制造装置的协同控制方法
CN114192948A (zh) * 2021-12-21 2022-03-18 唐山英莱科技有限公司 一种低示教量扫描多种短焊缝的方法
CN114289934A (zh) * 2021-09-27 2022-04-08 西安知象光电科技有限公司 一种基于三维视觉的大型结构件自动化焊接系统及方法
CN114309934A (zh) * 2021-12-29 2022-04-12 北京航星机器制造有限公司 一种框架蒙皮箱体类结构激光自动焊接方法
CN114473277A (zh) * 2022-01-26 2022-05-13 浙江大学台州研究院 一种用于取线和焊接的高精度定位装置以及方法
CN114654468A (zh) * 2022-04-12 2022-06-24 东莞理工学院 基于视觉的焊接机器人控制系统
CN114654465A (zh) * 2022-03-29 2022-06-24 湘潭大学 一种基于线激光结构光视觉传感的焊缝跟踪提取方法
CN114734136A (zh) * 2022-04-20 2022-07-12 上海柏楚电子科技股份有限公司 激光加工机床和激光加工方法
CN114871585A (zh) * 2022-05-13 2022-08-09 南京航空航天大学 一种多激光耦合的三维复杂曲面多尺度结构制造设备及方法
CN114986050A (zh) * 2022-06-10 2022-09-02 山东大学 一种基于ros系统的焊接机器人系统及工作方法
CN115026483A (zh) * 2022-07-29 2022-09-09 哈尔滨科能熔敷科技股份有限公司 一种锅炉水冷壁管焊缝识别焊接方法
CN115056239A (zh) * 2022-07-06 2022-09-16 山东大学 一种膜式壁机器人激光熔覆方法及系统
CN115097792A (zh) * 2022-07-01 2022-09-23 上海智能制造功能平台有限公司 一种脉冲激光器和机器人协调控制系统、方法及终端
CN115280964A (zh) * 2022-08-19 2022-11-04 江苏大学 一种茎叶蔬菜收获机自动作业行驶方法及系统和收获机
CN115488503A (zh) * 2022-09-23 2022-12-20 广州卫亚汽车零部件有限公司 一种基于机器人焊接的曲线轨迹的寻位方法和系统
CN115847833A (zh) * 2023-03-02 2023-03-28 苏州富润泽激光科技有限公司 一种基于机器视觉的塑料激光焊接系统
CN116149327A (zh) * 2023-02-08 2023-05-23 广州番禺职业技术学院 一种实时跟踪的前瞻路径规划系统、方法及装置
CN117260100A (zh) * 2023-11-23 2023-12-22 江苏恒康电力科技有限公司 一种变电站电力设备铁附件智能定位焊接系统
WO2024016354A1 (en) * 2022-07-22 2024-01-25 Abb Schweiz Ag Method for adjusting robot path, computing device, and computer readable storage medium
CN117718985A (zh) * 2024-02-07 2024-03-19 西安中科光电精密工程有限公司 一种基于智能三维视觉的搜排爆机器人
CN117948885A (zh) * 2024-03-27 2024-04-30 中科慧远人工智能(烟台)有限公司 基于生产线的位姿测量方法、装置和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002239957A (ja) * 2001-02-19 2002-08-28 Honda Motor Co Ltd 多関節ロボットの姿勢決定方法およびプログラム
CN110524580A (zh) * 2019-09-16 2019-12-03 西安中科光电精密工程有限公司 一种焊接机器人视觉组件及其测量方法
CN110524583A (zh) * 2019-09-16 2019-12-03 西安中科光电精密工程有限公司 基于嵌入式平台的焊缝寻位跟踪3d视觉传感器及跟踪方法
CN111390915A (zh) * 2020-04-17 2020-07-10 上海智殷自动化科技有限公司 一种基于ai的自动焊缝路径识别方法
CN111429522A (zh) * 2020-03-11 2020-07-17 云南大学 利用共面圆的公共极点极线性质标定摄像机的方法和系统
CN111612848A (zh) * 2020-04-30 2020-09-01 重庆见芒信息技术咨询服务有限公司 机器人弧焊轨迹自动生成方法及系统
CN112518072A (zh) * 2020-11-23 2021-03-19 南京工程学院 一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002239957A (ja) * 2001-02-19 2002-08-28 Honda Motor Co Ltd 多関節ロボットの姿勢決定方法およびプログラム
CN110524580A (zh) * 2019-09-16 2019-12-03 西安中科光电精密工程有限公司 一种焊接机器人视觉组件及其测量方法
CN110524583A (zh) * 2019-09-16 2019-12-03 西安中科光电精密工程有限公司 基于嵌入式平台的焊缝寻位跟踪3d视觉传感器及跟踪方法
CN111429522A (zh) * 2020-03-11 2020-07-17 云南大学 利用共面圆的公共极点极线性质标定摄像机的方法和系统
CN111390915A (zh) * 2020-04-17 2020-07-10 上海智殷自动化科技有限公司 一种基于ai的自动焊缝路径识别方法
CN111612848A (zh) * 2020-04-30 2020-09-01 重庆见芒信息技术咨询服务有限公司 机器人弧焊轨迹自动生成方法及系统
CN112518072A (zh) * 2020-11-23 2021-03-19 南京工程学院 一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113579467A (zh) * 2021-07-30 2021-11-02 李伟明 一种用于焊接机器人的焊缝识别方法、装置及存储介质
CN113670202A (zh) * 2021-08-25 2021-11-19 杭州思看科技有限公司 三维扫描系统和三维扫描方法
CN114289934A (zh) * 2021-09-27 2022-04-08 西安知象光电科技有限公司 一种基于三维视觉的大型结构件自动化焊接系统及方法
CN113628214A (zh) * 2021-10-14 2021-11-09 武汉逸飞激光股份有限公司 焊接点位的获取方法、装置、焊接设备及可读存储介质
CN113751934B (zh) * 2021-10-15 2024-05-28 安迅捷智能机器人(宁夏)有限责任公司 定位系统及焊接系统、焊接方法、焊接形变测量方法
CN113751934A (zh) * 2021-10-15 2021-12-07 安迅捷智能机器人(宁夏)有限责任公司 定位系统及焊接系统、焊接方法、焊接形变测量方法
CN113927165A (zh) * 2021-10-20 2022-01-14 中北大学 一种机器人填丝激光熔覆缺陷快速定位修复方法与系统
CN114043045A (zh) * 2021-11-29 2022-02-15 苏州全视智能光电有限公司 一种基于激光视觉的圆孔自动塞焊方法及装置
CN114140439A (zh) * 2021-12-03 2022-03-04 厦门大学 基于深度学习的激光焊接焊缝特征点识别方法及装置
CN114192948A (zh) * 2021-12-21 2022-03-18 唐山英莱科技有限公司 一种低示教量扫描多种短焊缝的方法
CN114309934A (zh) * 2021-12-29 2022-04-12 北京航星机器制造有限公司 一种框架蒙皮箱体类结构激光自动焊接方法
CN114193172A (zh) * 2022-01-07 2022-03-18 南京航空航天大学 一种电弧增材与冲击强化复合制造装置的协同控制方法
CN114473277A (zh) * 2022-01-26 2022-05-13 浙江大学台州研究院 一种用于取线和焊接的高精度定位装置以及方法
CN114473277B (zh) * 2022-01-26 2024-04-05 浙江大学台州研究院 一种用于取线和焊接的高精度定位装置以及方法
CN114654465A (zh) * 2022-03-29 2022-06-24 湘潭大学 一种基于线激光结构光视觉传感的焊缝跟踪提取方法
CN114654468A (zh) * 2022-04-12 2022-06-24 东莞理工学院 基于视觉的焊接机器人控制系统
CN114734136A (zh) * 2022-04-20 2022-07-12 上海柏楚电子科技股份有限公司 激光加工机床和激光加工方法
CN114871585A (zh) * 2022-05-13 2022-08-09 南京航空航天大学 一种多激光耦合的三维复杂曲面多尺度结构制造设备及方法
CN114986050A (zh) * 2022-06-10 2022-09-02 山东大学 一种基于ros系统的焊接机器人系统及工作方法
CN115097792A (zh) * 2022-07-01 2022-09-23 上海智能制造功能平台有限公司 一种脉冲激光器和机器人协调控制系统、方法及终端
CN115056239A (zh) * 2022-07-06 2022-09-16 山东大学 一种膜式壁机器人激光熔覆方法及系统
US20240009772A1 (en) * 2022-07-06 2024-01-11 Shandong Dingsheng Intelligent Technology Co., Ltd Robot-based laser cladding method and system for membrane wall
US11969826B2 (en) * 2022-07-06 2024-04-30 Chengrui ZHANG Robot-based laser cladding method and system for membrane wall
WO2024016354A1 (en) * 2022-07-22 2024-01-25 Abb Schweiz Ag Method for adjusting robot path, computing device, and computer readable storage medium
CN115026483B (zh) * 2022-07-29 2023-08-29 哈尔滨科能熔敷科技股份有限公司 一种锅炉水冷壁管焊缝识别焊接方法
CN115026483A (zh) * 2022-07-29 2022-09-09 哈尔滨科能熔敷科技股份有限公司 一种锅炉水冷壁管焊缝识别焊接方法
CN115280964B (zh) * 2022-08-19 2024-03-19 江苏大学 一种茎叶蔬菜收获机自动作业行驶方法及系统和收获机
CN115280964A (zh) * 2022-08-19 2022-11-04 江苏大学 一种茎叶蔬菜收获机自动作业行驶方法及系统和收获机
CN115488503B (zh) * 2022-09-23 2023-08-15 广州卫亚汽车零部件有限公司 一种基于机器人焊接的曲线轨迹的寻位方法和系统
CN115488503A (zh) * 2022-09-23 2022-12-20 广州卫亚汽车零部件有限公司 一种基于机器人焊接的曲线轨迹的寻位方法和系统
CN116149327B (zh) * 2023-02-08 2023-10-20 广州番禺职业技术学院 一种实时跟踪的前瞻路径规划系统、方法及装置
CN116149327A (zh) * 2023-02-08 2023-05-23 广州番禺职业技术学院 一种实时跟踪的前瞻路径规划系统、方法及装置
CN115847833A (zh) * 2023-03-02 2023-03-28 苏州富润泽激光科技有限公司 一种基于机器视觉的塑料激光焊接系统
CN117260100A (zh) * 2023-11-23 2023-12-22 江苏恒康电力科技有限公司 一种变电站电力设备铁附件智能定位焊接系统
CN117260100B (zh) * 2023-11-23 2024-03-08 江苏恒康电力科技有限公司 一种变电站电力设备铁附件智能定位焊接系统
CN117718985A (zh) * 2024-02-07 2024-03-19 西安中科光电精密工程有限公司 一种基于智能三维视觉的搜排爆机器人
CN117948885A (zh) * 2024-03-27 2024-04-30 中科慧远人工智能(烟台)有限公司 基于生产线的位姿测量方法、装置和系统
CN117948885B (zh) * 2024-03-27 2024-06-11 中科慧远人工智能(烟台)有限公司 基于生产线的位姿测量方法、装置和系统

Also Published As

Publication number Publication date
CN112959329B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN112959329B (zh) 一种基于视觉测量的智能控制焊接系统
CN110524580B (zh) 一种焊接机器人视觉组件及其测量方法
CN206263418U (zh) 一种六自由度焊接机器人线激光实时焊缝跟踪系统
CN111745267A (zh) 一种基于激光位移传感器的坡口焊缝实时跟踪系统及方法
CN104400279B (zh) 基于ccd的管道空间焊缝自动识别与轨迹规划的方法
CN104588838B (zh) 一种焊枪自动跟踪控制并在线修正系统及其控制方法
CN104384765B (zh) 基于三维模型与机器视觉的自动焊接方法
US7034249B2 (en) Method of controlling the welding of a three-dimensional structure
Fang et al. Robot path planning optimization for welding complex joints
CN109604777A (zh) 基于激光结构光的焊缝视觉跟踪系统及方法
CN109676243A (zh) 基于双线激光结构光的焊缝识别与跟踪系统及方法
CN113102880A (zh) 一种基于视觉示教的线激光焊缝自动跟踪系统及方法
CN113634964B (zh) 一种大型构件龙门式机器人焊接装备及焊接工艺
CN114043087B (zh) 一种三维轨迹激光焊接焊缝跟踪姿态规划方法
CN111618396A (zh) 基于视觉表征的多层多道焊接装置及焊接方法
CN108637435A (zh) 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法
Chen et al. The autonomous detection and guiding of start welding position for arc welding robot
Hou et al. A teaching-free welding method based on laser visual sensing system in robotic GMAW
CN110480128A (zh) 一种六自由度焊接机器人线激光实时焊缝跟踪方法
CN114289934B (zh) 一种基于三维视觉的大型结构件自动化焊接系统及方法
CN111028340B (zh) 精密装配中的三维重构方法、装置、设备及系统
KR19980036424A (ko) 아크용접공정에서 용접선 자동추적을 위한 비젼처리기법
CN114434059B (zh) 复合机器人和三维视觉的大型结构件自动焊接系统及方法
CN1600488A (zh) 焊缝自主跟踪方法
Zhou et al. Autonomous acquisition of seam coordinates for arc welding robot based on visual servoing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant