CN113118604B - 基于机器人手眼视觉反馈的高精度凸焊误差补偿系统 - Google Patents

基于机器人手眼视觉反馈的高精度凸焊误差补偿系统 Download PDF

Info

Publication number
CN113118604B
CN113118604B CN202110442438.5A CN202110442438A CN113118604B CN 113118604 B CN113118604 B CN 113118604B CN 202110442438 A CN202110442438 A CN 202110442438A CN 113118604 B CN113118604 B CN 113118604B
Authority
CN
China
Prior art keywords
welding
robot
image
coordinate
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110442438.5A
Other languages
English (en)
Other versions
CN113118604A (zh
Inventor
刘超
周德鑫
杨艺
熊振华
盛鑫军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110442438.5A priority Critical patent/CN113118604B/zh
Publication of CN113118604A publication Critical patent/CN113118604A/zh
Application granted granted Critical
Publication of CN113118604B publication Critical patent/CN113118604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K11/00—Resistance welding; Severing by resistance heating
    • B23K11/14—Projection welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K11/00—Resistance welding; Severing by resistance heating
    • B23K11/30—Features relating to electrodes
    • B23K11/31—Electrode holders and actuating devices therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/005—Manipulators for mechanical processing tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于机器视觉、图像处理与机器人控制领域，尤其是一种基于机器人手眼视觉反馈的高精度凸焊误差补偿系统，针对现有的机器人螺母凸焊工艺中，由于工件自身制造误差导致的机器人示教焊接轨迹偏差问题，现提出如下方案，其包括深度相机、焊接设备、凸焊电极、焊接机器人、目标焊孔，所述深度相机和凸焊电极均设于焊接设备的一侧，目标焊孔位于凸焊电极的下方，焊接机器人位于焊接设备的外侧，通过深度相机采集工件焊接点区域的RGB图像和深度图像；提取RGB图像的焊孔ROI区域，并进行Canny边缘检测，获取边缘图像，本发明有效解决了工件制造导致的焊接轨迹误差，提高了机器人自动化螺母凸焊工艺的焊接精度和质量。

Description

基于机器人手眼视觉反馈的高精度凸焊误差补偿系统
技术领域
本发明涉及机器视觉、图像处理与机器人控制技术领域，尤其涉 及基于机器人手眼视觉反馈的高精度凸焊误差补偿系统。
背景技术
在机器人自动化螺母凸焊领域，目前广泛采用示教-再现的焊接 模式，即首先针对焊接对象的焊接点位预先对焊接机器人进行示教和 离线编程，然后控制机器人抓取工件沿固定的焊接路径和焊接参数进 行焊接。
现有的焊接模式对工件本身的一致性有较高要求，工件的加工误 差会导致焊接孔位和标准的孔位偏离。因此机器人抓取工件按照标准 孔位示教得到的轨迹进行焊接过程中，工件的焊孔无法与凸焊设备的 焊枪对准，严重影响焊接精度和质量。
发明内容
本发明的目的是为了解决现有技术中存在机器人螺母凸焊工艺 中，由于工件自身制造误差导致的机器人示教焊接轨迹偏差的缺点， 而提出的基于机器人手眼视觉反馈的高精度凸焊误差补偿系统。
为了实现上述目的，本发明采用了如下技术方案：
基于机器人手眼视觉反馈的高精度凸焊误差补偿系统，包括深度 相机、焊接设备、凸焊电极、焊接机器人、目标焊孔，所述深度相机 和凸焊电极均设于焊接设备的一侧，目标焊孔位于凸焊电极的下方， 焊接机器人位于焊接设备的外侧。
优选的，所述深度相机和焊接机器人构建手眼视觉反馈系统，对 焊孔图像进行椭圆识别并求解中心点像素坐标，计算求解获得的椭圆 中心点坐标和标定的焊接中心点坐标的像素偏差，将图像空间的像素 偏差映射到焊接机器人笛卡尔空间，得到焊接机器人TCP坐标微调 量，并控制焊接机器人执行坐标微调操作。
优选的，所述坐标微调包括以下步骤：
S1、在凸焊设备焊接工作区域安装固定双目结构光相机，搭建机 器人手眼视觉反馈系统；
S2、对RGB图像进行焊孔ROI提取，获取焊孔图像；
S3、对焊孔ROI图像进行Canny边缘检测，获取边缘图像；
S4、对焊孔ROI边缘图像进行轮廓提取，得到连通轮廓的像素点 集合，对轮廓进行椭圆识别求解椭圆中心点坐标；
S5、计算求解获得的椭圆中心点坐标和标定的焊接中心点坐标的 像素偏差；
S6、标定焊接机器人和相机的手眼关系矩阵，焊接机器人和凸焊 设备工具坐标系的空间变换矩阵，利用标定结果将图像空间的像素偏 差映射到机器人笛卡尔空间，得到机器人TCP坐标微调量，并控制焊 接机器人执行坐标微调操作；
S7、重复执行反馈-微调的误差补偿过程，直到像素偏差小于阈 值或焊接机器人的微调量小于阈值，即完成误差补偿，焊接机器人继 续执行后续凸焊作业。
优选的，所述S1中，在凸焊设备焊接工作区域安装固定双目结 构光相机，搭建机器人手眼视觉反馈系统，机器人抓取零件凸焊时， 通过深度相机采集零件RGB图像和深度图像。
优选的，所述S2中，对RGB图像进行焊孔ROI提取，获取焊孔 图像，将深度图像转换为3D点云并对焊孔ROI点云进行RANSAC平面 拟合，获取平面方程。
与现有技术相比，本发明的有益效果在于：
通过引入视觉传感器和机器人构建手眼视觉反馈系统，提出了基 于边缘轮廓和概率霍夫变换的工件焊孔椭圆识别算法，得到焊孔的椭 圆中心参数，通过机器人手眼关系构建图像空间到机器人笛卡尔空间 的映射关系，将焊孔的图像偏差转换到机器人末端TCP微调量，实现 焊接误差的在线补偿；
本发明有效解决了工件制造导致的焊接轨迹误差，提高了机器人 自动化螺母凸焊工艺的焊接精度和质量。
附图说明
图1为本发明提出的基于机器人手眼视觉反馈的高精度凸焊误 差补偿系统的结构示意图；
图2为基于连通轮廓和概率霍夫变换的快速椭圆拟合算法流程 图；
图3为本发明提出的基于机器人手眼视觉反馈的高精度凸焊误 差补偿系统的3点法椭圆参数求解方法图示；
图4为本发明提出的基于机器人手眼视觉反馈的高精度凸焊误 差补偿系统的整体流程图。
图中：1深度相机、2焊接设备、3凸焊电极、4焊接机器人、5 目标焊孔。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方 案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部 分实施例，而不是全部的实施例。
参照图1-4，基于机器人手眼视觉反馈的高精度凸焊误差补偿系 统，包括深度相机1、焊接设备2、凸焊电极3、焊接机器人4、目标 焊孔5，深度相机1和凸焊电极3均设于焊接设备2的一侧，目标焊 孔5位于凸焊电极3的下方，焊接机器人4位于焊接设备2的外侧。
系统工作过程如下：
1、首先对机器人自动化螺母凸焊系统进行离线标定，需要标定 的参数有手眼相机的内参矩阵K，相机坐标系{C}在机器人坐标系{B} 下的6D变换关系
Figure BDA0003035501830000041
以及按照示教轨迹进行焊接点对准时提取的焊 孔椭圆中心点像素坐标标定值p0＝[u0,v0,1]T，椭圆中心提取方法见后续 步骤；
2、机器人抓取工件按照示教轨迹到达焊接目标点后，利用深 度相机采集焊接工作区域的RGB图像和深度图像；
3、从RGB图像中提取焊孔ROI区域，然后对焊孔ROI图像进 行Canny边缘检测，并提取边缘图像的8邻域连通轮廓集合。对于集 合中的每一个连通轮廓Pi＝{p1,p2,p3,...,pm}，统计其轮廓长度L，轮廓面 积S以及轮廓最小外界矩形的长宽比R。根据这些特征对连通轮廓进 行筛选，仅保留特征在阈值范围内的轮廓作为候选椭圆轮廓，即 Lmin≤L≤Lmax，Smin≤S≤Smax，Rmin≤R≤Rmax；
4、连通轮廓拟合的椭圆方程可以表示为 A(x-x0)2+2B(x-x0)(y-y0)+C(y-y0)2＝1，其中需要求解的参数为椭圆 中心点坐标x0＝(x0,y0)、椭圆长短轴以及旋转角度相关的参数(A,B,C)；
5、对候选的连通轮廓Pi＝{p1,p2,p3,...,pm}随机采样，生成N组像素 点三元组(x1,x2,x3)，定义为x1＝(x1,y1)、x2＝(x2,y2)和x3＝(x3,y3)，同时 在像素点邻域内用最小二乘法拟合其边缘切向向量d1,d2,d3；
6、计算像素点x1,x2和x2,x3的中心点像素坐标m12,m23，计算切向量 d1,d2和d2,d3的延长线的交点t12,t23，则椭圆的中心点点即为直线m12t12和m23t23的交点。进一步设求解得到的椭圆中心像素坐标为 x0＝(x0,y0)，如图3；
7、将随机抽样的像素点x1,x2,x3坐标平移到图像坐标系原点， 平移后的椭圆方程可以表示为：Ax2+2Bxy+Cy2＝1。我们将坐标带入 椭圆表达式可以得到线性方程：
Figure BDA0003035501830000051
求解该方程组，得到和椭圆长短轴以及旋转角度相关的参数 (A,B,C)；
8、将得到的参数(A,B,C)代入方程AC-B2＞0，验证是否满足构 成椭圆方程的条件；
9、将满足条件的参数组合(A,B,C,x0,y0)放到累加器中，并将其 对应的累计得分加一；
10、重复上述步骤5--9，如果新拟合的椭圆参数和累加器中 已有的接近，即参数之间的偏差小于设定的阈值：
Figure BDA0003035501830000061
则将累加器中(A,B,C,x0,y0)的投票数加一，否则直接将该组参 数
Figure BDA0003035501830000062
放到累加器中并将其累计得分置为1。直到遍历完成 所有的N个像素三元组，将累加器中最高得分的椭圆参数作为拟合结 果；
11、首先将像素坐标p＝[u,v,1]T转换到相机坐标系下。设相机 的内参矩阵为K，相机内参矩阵通过棋盘格标定得到。设相机坐标系 下椭圆的中心点坐标为pC＝[x,y,z]T，根据相机模型有pC＝z·K-1·p；
12、利用RANSAC拟合方法对焊孔ROI点云进行平面拟合，获 取焊孔ROI区域的平面方程：nT·PC+d＝0；
13、根据步骤11获得的相机坐标系下的椭圆中心点坐标，求 得椭圆中心点的深度值z＝-d/(nT·K-1·p)，从而得到相机坐标系下的坐 标pC＝-K-1pnTK-1p/d，根据手眼标定关系得到焊孔中心在机械臂基座 坐标系下的坐标
Figure BDA0003035501830000063
14、将相机坐标系下的椭圆中心点坐标代入
Figure BDA0003035501830000064
可以 得到从图像空间到机器人笛卡尔空间的非线性映射关系
Figure BDA0003035501830000071
15、计算当前焊孔的图像位置和标准值的偏差Δp＝p-p0；
16、将偏差值代入步骤14求得的非线性映射关系，可以得到 机器人TCP坐标的微调量为：
Figure BDA0003035501830000072
17、重复执行反馈-微调的误差补偿过程，直到像素偏差小于 阈值或机器人的微调量小于阈值，即完成误差补偿，机器人继续执行 后续凸焊作业。
本发明在传统的机器人凸焊系统中引入视觉传感器，并利用视觉 传感器和机器人构建手眼系统，基于视觉检测技术实现机器人和外部 环境的感知和交互，能够有效引导机器人实现自精度更高的操作，通 过机器人手眼视觉反馈构建焊接误差补偿系统，实现机器人高精度自 动化凸焊工艺。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范 围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技 术范围内，根据本发明的技术方案及其发明构思加以等同替换或改 变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.基于机器人手眼视觉反馈的高精度凸焊误差补偿系统，包括深度相机(1)、焊接设备(2)、凸焊电极(3)、焊接机器人(4)、目标焊孔(5)，其特征在于，所述深度相机(1)和凸焊电极(3)均设于焊接设备(2)的一侧，目标焊孔(5)位于凸焊电极(3)的下方，焊接机器人(4)位于焊接设备(2)的外侧；
所述深度相机(1)和焊接机器人(4)构建手眼视觉反馈系统，对焊孔图像进行椭圆识别并求解中心点像素坐标，计算求解获得的椭圆中心点坐标和标定的焊接中心点坐标的像素偏差，将图像空间的像素偏差映射到焊接机器人(4)笛卡尔空间，得到焊接机器人(4)TCP坐标微调量，并控制焊接机器人(4)执行坐标微调操作。
2.根据权利要求1所述的基于机器人手眼视觉反馈的高精度凸焊误差补偿系统，其特征在于，所述坐标微调包括以下步骤：
S1、在凸焊设备焊接工作区域安装固定双目结构光相机，搭建机器人手眼视觉反馈系统；
S2、对RGB图像进行焊孔ROI提取，获取焊孔图像；
S3、对焊孔ROI图像进行Canny边缘检测，获取边缘图像；
S4、对焊孔ROI边缘图像进行轮廓提取，得到连通轮廓的像素点集合，对轮廓进行椭圆识别求解椭圆中心点坐标；
S5、计算求解获得的椭圆中心点坐标和标定的焊接中心点坐标的像素偏差；
S6、标定焊接机器人(4)和相机的手眼关系矩阵，焊接机器人(4)和凸焊设备工具坐标系的空间变换矩阵，利用标定结果将图像空间的像素偏差映射到机器人笛卡尔空间，得到机器人TCP坐标微调量，并控制焊接机器人(4)执行坐标微调操作；
S7、重复执行反馈-微调的误差补偿过程，直到像素偏差小于阈值或焊接机器人(4)的微调量小于阈值，即完成误差补偿，焊接机器人(4)继续执行后续凸焊作业。
3.根据权利要求2所述的基于机器人手眼视觉反馈的高精度凸焊误差补偿系统，其特征在于，所述S1中，在凸焊设备焊接工作区域安装固定双目结构光相机，搭建机器人手眼视觉反馈系统，机器人抓取零件凸焊时，通过深度相机(1)采集零件RGB图像和深度图像。
4.根据权利要求2所述的基于机器人手眼视觉反馈的高精度凸焊误差补偿系统，其特征在于，所述S2中，对RGB图像进行焊孔ROI提取，获取焊孔图像，将深度图像转换为3D点云并对焊孔ROI点云进行RANSAC平面拟合，获取平面方程。
CN202110442438.5A 2021-04-23 2021-04-23 基于机器人手眼视觉反馈的高精度凸焊误差补偿系统 Active CN113118604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110442438.5A CN113118604B (zh) 2021-04-23 2021-04-23 基于机器人手眼视觉反馈的高精度凸焊误差补偿系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110442438.5A CN113118604B (zh) 2021-04-23 2021-04-23 基于机器人手眼视觉反馈的高精度凸焊误差补偿系统

Publications (2)

Publication Number Publication Date
CN113118604A CN113118604A (zh) 2021-07-16
CN113118604B true CN113118604B (zh) 2022-02-08

Family

ID=76779438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110442438.5A Active CN113118604B (zh) 2021-04-23 2021-04-23 基于机器人手眼视觉反馈的高精度凸焊误差补偿系统

Country Status (1)

Country Link
CN (1) CN113118604B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744343B (zh) * 2021-08-09 2023-12-05 佛山智能装备技术研究院 基于结构光传感器的手眼标定方法、系统及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3219790A (en) * 1964-07-30 1965-11-23 Kenneth L Johnson Fastener and electrode therefor
JP2017100142A (ja) * 2015-11-30 2017-06-08 株式会社特電 自動ナット溶接装置
CN205464784U (zh) * 2016-03-31 2016-08-17 联伟汽车零部件(重庆)有限公司 一种用于立点凸焊的自动补偿装置
CN205869697U (zh) * 2016-07-18 2017-01-11 长沙卡斯马汽车系统有限公司 一种机器人自动凸焊精确定位的装置
CN106945047A (zh) * 2017-04-27 2017-07-14 上海新朋联众汽车零部件有限公司 焊接机器人误差补偿控制系统及其控制方法
CN109093238A (zh) * 2017-06-21 2018-12-28 天津玛斯特车身装备技术有限公司 视觉系统在机器人凸焊项目中的应用
CN109186457B (zh) * 2018-09-14 2021-02-12 天津玛特检测设备有限公司 一种双目的零件识别方法和装置及使用该装置的生产线
DE102019106458A1 (de) * 2019-03-13 2020-09-17 ese-robotics GmbH Verfahren zur Ansteuerung eines Industrieroboters
CN110539109B (zh) * 2019-08-28 2024-04-09 广东工业大学 一种基于单双目视觉的机器人自动焊接系统及方法
CN112620908A (zh) * 2020-12-28 2021-04-09 武汉智艾德科技有限公司 一种基于机器人与视觉匹配的自动凸焊系统及方法

Also Published As

Publication number Publication date
CN113118604A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN112223285B (zh) 一种基于组合测量的机器人手眼标定方法
CN111604598B (zh) 一种机械臂进给式激光刻蚀系统的对刀方法
CN107767423B (zh) 一种基于双目视觉的机械臂目标定位抓取方法
CN111267095B (zh) 一种基于双目视觉的机械臂抓取控制方法
CN110906863B (zh) 一种用于线结构光传感器的手眼标定系统及标定方法
CN107192331A (zh) 一种基于双目视觉的工件抓取方法
CN109794963B (zh) 一种面向曲面构件的机器人快速定位方法
CN112614098B (zh) 一种基于增强现实的毛坯定位与加工余量分析方法
CN113118604B (zh) 基于机器人手眼视觉反馈的高精度凸焊误差补偿系统
CN113211431A (zh) 基于二维码修正机器人系统的位姿估计方法
CN112109072B (zh) 一种大型稀疏特征托盘精确6d位姿测量和抓取方法
CN108161930A (zh) 一种基于视觉的机器人定位系统及方法
CN113334380A (zh) 基于双目视觉的机器人视觉标定方法、控制系统及装置
JPH0780790A (ja) 三次元物体把持システム
CN117885096A (zh) 一种控制机器人末端焊枪的焊接作业的方法及装置
CN113554713A (zh) 飞机蒙皮移动机器人制孔视觉定位及检测方法
CN117428777A (zh) 一种拆袋机器人的手眼标定方法
CN117300464A (zh) 一种基于结构光相机的相贯线焊缝检测和轨迹优化系统及方法
CN113160326B (zh) 一种基于重建坐标系的手眼标定方法及装置
CN113828439B (zh) 图案喷涂检测系统
CN113359461B (zh) 一种适用于仿生眼系统的运动学标定方法
CN113240751B (zh) 一种机器人末端相机的标定方法
CN114043488A (zh) 一种多光刀视觉辅助的机器人检测系统示教自动纠偏方法
CN112164018B (zh) 一种机器视觉校准系统及其校准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant