CN111571596B - 利用视觉修正冶金接插装配作业机器人误差的方法及系统 - Google Patents

利用视觉修正冶金接插装配作业机器人误差的方法及系统 Download PDF

Info

Publication number
CN111571596B
CN111571596B CN202010456206.0A CN202010456206A CN111571596B CN 111571596 B CN111571596 B CN 111571596B CN 202010456206 A CN202010456206 A CN 202010456206A CN 111571596 B CN111571596 B CN 111571596B
Authority
CN
China
Prior art keywords
robot
working position
camera
cylindrical rod
tail end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010456206.0A
Other languages
English (en)
Other versions
CN111571596A (zh
Inventor
陈卫东
周坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010456206.0A priority Critical patent/CN111571596B/zh
Publication of CN111571596A publication Critical patent/CN111571596A/zh
Application granted granted Critical
Publication of CN111571596B publication Critical patent/CN111571596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明提供了一种利用视觉修正冶金接插装配作业机器人误差的方法及系统，包括：步骤M1：利用视觉获取并记录期望检测工作位机器人的圆柱杆末端中心点在图像中的位置，示教获取所有冶金技术探针所对应的机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位姿并记录；步骤M2：机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置利用机器人检测工作位与期望检测工作位的平面坐标偏差进行修正；步骤M3：机器人偏差修正后，完成轴孔对齐和接插装配工作。本发明使用视觉修正机器人回转附加轴所带来的误差，方法简单高效，显著提高了装配作业系统的可靠性和准确性。

Description

利用视觉修正冶金接插装配作业机器人误差的方法及系统
技术领域
本发明涉及涉及冶金机器人接插装配作业领域，具体地，涉及一种利用视觉修正冶金接插装配作业机器人误差的方法及系统。
背景技术
轴孔接插装配任务是工业中很常见的一种任务类型，它具有重复且繁琐的特性，非常适合使用自动化设备如机器人来替代人工，这样既可以降低生产成本又可以提高效率。使用示教的方式依赖于机器人自身的精度，但往往工业机器人由于作业范围大及制造误差等原因导致重复定位精度无法满足长期工作要求。使用力觉或视觉的方法完成精确对准，往往耗时较长也依赖于算法的精度。
专利文献CN103348228B公开了一种接触杆到冶金技术的探针中的自动插入方法及装置，该方法设计了一种专用仓架放置待接插工件，借助机械定心装置完成点定位功能，将工件头部拓展成漏斗形状方便长轴圆柱杆插入，在后面挡板处挖槽构成止挡件，借助该挡件防止探针沿着纵轴方向移动。但该方法依赖机械装置和较好的机器人重复定位精度，如果系统误差较大，显然这种方式并不适合，从而降低了整个过程的可靠性。
专利文献CN107186460A公开了一种工业机器人进行轴孔装配的方法及系统，该方法要求机器人所有关节均有关节力矩传感器，通过实时测量接触力向量并与设定值比较计算误差，通过阻抗控制的方式实现轴孔装配。虽然对接触力向量要求严格的任务适应较好，但整个过程的搜孔及插入过程耗时较长，且设定的参考力向量未考虑圆柱杆形变带来的误差，以及力传感器成本较高，降低了该系统的可靠性适用性。
专利文献CN109382828A(申请号：201811275792.8)公开了一种基于示教学习的机器人轴孔装配系统及方法，系统包括机械臂、六维力/力矩传感器、被动柔性RCC装置以及PC上位机，机械臂为多轴机械臂，六维力/力矩传感器安装在机械臂末端，被动柔性RCC装置安装在六维力/力矩传感器上，被动柔性RCC装置上安装有用于夹持待装配部件的夹持工具，PC上位机与机械臂和六维力/力矩传感器可进行实时通信。首先人工示教记录人完成装配任务数据，采用学习算法训练装配技能模型，然后机械臂在PC上位机的控制指令下，携带销零件进行轴孔装配，PC上位机搭建的控制系统基于ROS平台。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种利用视觉修正冶金接插装配作业机器人误差的方法及系统。
根据本发明提供的一种利用视觉修正冶金接插装配作业机器人误差的方法，包括：
步骤M1：利用视觉获取并记录期望检测工作位机器人的圆柱杆末端中心点在图像中的位置，示教获取所有冶金技术探针所对应的机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置并记录；
步骤M2：机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置利用机器人检测工作位与期望检测工作位的平面坐标偏差进行修正；
步骤M3：机器人偏差修正后，完成轴孔对齐和接插装配工作。
优选地，所述步骤M1包括：
步骤M1.1：设置具有预设结构的仓架放置冶金技术探针，并在仓架中央空隙区域安装固定相机，使相机光轴垂直于地面或者仓架所在的水平面；
步骤M1.2：使用示教的方式控制包含附加轴的机器人移动到预设的期望检测工作位，记录当前的机器人圆柱杆末端在基坐标系{B}的位置pdes和/或机器人对应的关节位置qdes；调整相机相关参数使得机器人圆柱杆末端在当前位置清晰成像，并记录当前机器人圆柱杆末端中心点和/或机器人对应的关节在相机图像中的位置；
步骤M1.3：建立相机坐标系{C}和工作平面坐标系{O}，使用相机标定板放置在机器人圆柱杆所在的平面，对期望检测工作位的工作平面进行标定，得到齐次变换矩阵
Figure BDA0002509467470000021
然后使用相机标定板标定相机的内参得到Mcam；
步骤M1.4：使用示教的方式保持机器人附加轴不再转动，控制机器人移动到机器人圆柱杆末端与冶金技术探针轴孔对齐的位置，记录当前机器人接插工作位在基坐标系{B}操作空间位姿ipins和/或机器人的关节位置iqins；
步骤M1.5：按照预设排列顺序记录仓架上所有放置的冶金技术探针所对应的机器人接插工作位的操作空间位姿{1pins,2pins,...,npins}和/或机器人对应的关节空间位置{1qins,2qins,...,nqins}。
优选地，所述步骤M2包括：
步骤M2.1：控制机器人移动到检测工作位，通过图像处理的方法提取当前机器人圆柱杆末端中心点在相机图像中的位置，并记录中心点在相机图像中的位置；
步骤M2.2：根据检测工作位与期望检测工作位的机器人圆柱杆末端中心点的相机图像中的位置，使用视觉测量算法计算检测工作位与期望检测工作位的在工作平面的坐标偏差；
步骤M2.3：误差修正算法将示教得到的接插工作位的操作空间位姿和/或关节空间位置与转换数据格式的检测工作位与期望检测工作位的在工作平面坐标偏差相加得到机器人修正后的接插工作位操作空间位姿和/或关节空间位置。
优选地，所述步骤M3包括：
将机器人修正后的接插工作位操作空间位姿和/或关节空间位置按照预设通信格式发送给机器人控制器，机器人控制器使用相应运动指令来控制机器人移动到修正后的接插工作位操作空间位姿和/或关节空间位姿完成对齐任务，从而完成接插装配任务。
优选地，所述步骤M2.1包括：
步骤M2.1.1：控制机器人移动到检测工作位，采集当前机器人圆柱杆末端中心点在相机图像中的位置的RGB图像进行灰度变换得到灰度图；
步骤M2.1.2：对灰度图使用阈值分割的方法，得到分割后的图像；
步骤M2.1.3：对分割后的图像进行边缘提取，得到圆柱杆的轮廓；
步骤M2.1.4：对轮廓进行直线拟合，根据一定的约束选取圆柱杆末端直线并得到中心点。
优选地，所述步骤M2.2包括：
步骤M2.2.1：提取机器人位于期望检测工作位圆柱杆末端中心点在相机图像坐标系中的坐标为(u,v)，计算机器人圆柱杆末端中心点在相机归一化平面坐标系的齐次坐标[x,y,1]T；
Figure BDA0002509467470000031
步骤M2.2.2：设检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(X,Y)，表达式如下：
Figure BDA0002509467470000041
其中，齐次变换矩阵
Figure BDA0002509467470000042
齐次变换矩阵表示工作平面坐标系到相机坐标系的齐次变换矩阵，其中，mij表示矩阵的第i行，第j列的元素，Mcam表示相机的内参矩阵；
步骤M2.2.3：根据提取的期望检测工作位状态下的圆柱杆末端中心点在图像坐标系中的坐标，求得期望检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(Xt,Yt)；
步骤M2.2.4：根据检测工作位与期望检测工作位的末端中心点的在工作平面坐标系的坐标，得到检测工作位与期望检测工作位的平面坐标偏差向量为d＝(Xt-X,Yt-Y)
优选地，所述步骤M2.3包括：
步骤M2.3.1：将视觉测量算法计算得到的平面坐标偏差向量d转化为相应的操作空间位姿pdelta和/或关节空间位置qdelta数据；
步骤M2.3.2：根据待接插冶金技术探针接插工作位示教的操作空间位姿ipins和/或机器人的关节空间位置iqins，与相应的操作空间位姿pdelta和/或关节空间位置qdelta数据相加得到机器人实际的接插工作位的操作空间位姿ipcorrect和/或机器人关节空间位置iqcorrect
根据本发明提供的一种利用视觉修正冶金接插装配作业机器人误差的系统，包括：
模块M1：利用视觉获取并记录期望检测工作位机器人的圆柱杆末端中心点在图像中的位置，示教获取所有冶金技术探针所对应的机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置并记录；
模块M2：机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置利用机器人检测工作位与期望检测工作位的平面坐标偏差进行修正；
模块M3：机器人偏差修正后，完成轴孔对齐和接插装配工作。
优选地，所述模块M1包括：
模块M1.1：设置具有预设结构的仓架放置冶金技术探针，并在仓架中央空隙区域安装固定相机，使相机光轴垂直于地面或者仓架所在的水平面；
模块M1.2：使用示教的方式控制包含附加轴的机器人移动到预设的期望检测工作位，记录当前的机器人圆柱杆末端在基坐标系{B}的位置pdes和/或机器人对应的关节位置qdes；调整相机相关参数使得机器人圆柱杆末端在当前位置清晰成像，并记录当前机器人圆柱杆末端中心点和/或机器人对应的关节在相机图像中的位置；
模块M1.3：建立相机坐标系{C}和工作平面坐标系{O}，使用相机标定板放置在机器人圆柱杆所在的平面，对期望检测工作位的工作平面进行标定，得到齐次变换矩阵
Figure BDA0002509467470000051
然后使用相机标定板标定相机的内参得到Mcam；
模块M1.4：使用示教的方式保持机器人附加轴不再转动，控制机器人移动到机器人圆柱杆末端与冶金技术探针轴孔对齐的位置，记录当前机器人接插工作位在基坐标系{B}操作空间位姿ipins和/或机器人的关节位置iqins；
模块M1.5：按照预设排列顺序记录仓架上所有放置的冶金技术探针所对应的机器人接插工作位的操作空间位姿{1pins,2pins,...,npins}和/或机器人对应的关节空间位置{1qins,2qins,...,nqins}；
所述模块M2包括：
模块M2.1：控制机器人移动到检测工作位，通过图像处理的方法提取当前机器人圆柱杆末端中心点在相机图像中的位置，并记录中心点在相机图像中的位置；
模块M2.2：根据检测工作位与期望检测工作位的机器人圆柱杆末端中心点的相机图像中的位置，使用视觉测量算法计算检测工作位与期望检测工作位的在工作平面的坐标偏差；
模块M2.3：误差修正算法将示教得到的接插工作位的操作空间位姿和/或关节空间位置与转换数据格式的检测工作位与期望检测工作位的在工作平面坐标偏差相加得到机器人修正后的接插工作位操作空间位姿和/或关节空间位置；
所述模块M3包括：
将机器人修正后的接插工作位操作空间位姿和/或关节空间位置按照预设通信格式发送给机器人控制器，机器人控制器使用相应运动指令来控制机器人移动到修正后的接插工作位操作空间位姿和/或关节空间位姿完成对齐任务，从而完成接插装配任务。
优选地，所述模块M2.1包括：
模块M2.1.1：控制机器人移动到检测工作位，采集当前机器人圆柱杆末端中心点在相机图像中的位置的RGB图像进行灰度变换得到灰度图；
模块M2.1.2：对灰度图使用阈值分割的方法，得到分割后的图像；
模块M2.1.3：对分割后的图像进行边缘提取，得到圆柱杆的轮廓；
模块M2.1.4：对轮廓进行直线拟合，根据一定的约束选取圆柱杆末端直线并得到中心点；
所述模块M2.2包括：
模块M2.2.1：提取机器人位于期望检测工作位圆柱杆末端中心点在相机图像坐标系中的坐标为(u,v)，计算机器人圆柱杆末端中心点在相机归一化平面坐标系的齐次坐标[x,y,1]T；
Figure BDA0002509467470000061
模块M2.2.2：设检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(X,Y)，表达式如下：
Figure BDA0002509467470000062
其中，齐次变换矩阵
Figure BDA0002509467470000063
齐次变换矩阵表示工作平面坐标系到相机坐标系的齐次变换矩阵，其中，mij表示矩阵的第i行，第j列的元素，Mcam表示相机的内参矩阵；
模块M2.2.3：根据提取的期望检测工作位状态下的圆柱杆末端中心点在图像坐标系中的坐标，求得期望检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(Xt,Yt)；
模块M2.2.4：根据检测工作位与期望检测工作位的末端中心点的在工作平面坐标系的坐标，得到检测工作位与期望检测工作位的平面坐标偏差向量为d＝(Xt-X,Yt-Y)；
所述模块M2.3包括：
模块M2.3.1：将视觉测量算法计算得到的平面坐标偏差向量d转化为相应的操作空间位姿pdelta和/或关节空间位置qdelta数据；
模块M2.3.2：根据待接插冶金技术探针接插工作位示教的操作空间位姿ipins和/或机器人的关节空间位置iqins，与相应的操作空间位姿pdelta和/或关节空间位置qdelta数据相加得到机器人实际的接插工作位的操作空间位姿ipcorrect和/或机器人关节空间位置iqcorrect
与现有技术相比，本发明具有如下的有益效果：
1、本发明使用视觉与示教结合的方式来修正机器人回转附加轴所带来的误差，降低了对附加轴精度的要求；
2、本发明只使用了视觉和相关算法辅助的手段，方法简单高效，系统维护成本和硬件成本大大降低，而且有效提高了系统的鲁棒性和适应性。
3、本发明设计了合理的工作流程，避免了对所使用圆柱杆、冶金探针和仓架的结构依赖，维持了非自动化工艺流程使用工具的原貌，大大降低了生产成本；
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为包含附加轴的冶金作业机器人示意图；
图2为仓架正面示意图；
图3为机器人使用的圆柱杆示意图；
图4为冶金技术探针示意图；
图5为利用视觉修正冶金接插装配作业机器人误差算法流程图。
Figure BDA0002509467470000071
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种利用视觉修正冶金接插装配作业机器人误差的方法及系统，在示教的基础上使用视觉来修正机器人回转附加轴误差导致的圆柱杆位置与期望位置的平面坐标偏差，然后控制机器人修正偏差，完成轴孔对齐和接插装配工作。
一种利用视觉修正冶金接插装配作业机器人误差的方法及系统所需的装置包括包含回转附加轴的工业机器人、用于获取图像的工业相机4、外部计算机、标定板、特定结构的仓架5、使用的圆柱杆2和待接插装配的冶金技术探针3。工业相机采集图像并利用所得图像计算圆柱杆的位置偏差，特定结构的仓架用于放置冶金技术探针，标定板用于标定相机内参和圆柱杆的工作平面坐标系相对于相机坐标系的外参，外部计算机用来执行相关的算法并作为与机器人控制器通信的主体。
本发明提供了一种利用视觉修正冶金接插装配作业机器人误差的方法及系统，用来完成机器人携带的圆柱杆2与仓架5上放置的冶金技术探针3的接插装配任务。所述工作位均表示机器人携带的圆柱杆末端到达数字表示区域时的机器人位置，所述工作平面表示与机器人回转附加轴旋转所形成平面平行并位于圆柱杆下方的平面，所述位姿(或位置)表示操作空间的位姿(或关节空间的关节位置)，只考虑机器人的回转附加轴1带来的工作平面位置误差。该系统包括离线工作和在线工作部分。离线工作包括示教携带圆柱杆2的机器人移动到期望检测工作位，记录圆柱杆末端中心点在上方相机4中的图像位置，并标定该工作位圆柱杆所在工作平面的坐标系相对于相机坐标系的外参和相机4内参，最后按指定顺序示教并记录放置在仓架上的所有冶金技术探针接插工作位7的位姿(或位置)。在线工作包括首先机器人移动到检测工作位6，使用视觉测量算法计算检测工作位与期望检测工作位在工作平面的坐标偏差，然后误差修正算法将示教得到的接插工作位7的位姿(或位置)与转换数据格式的工作平面的坐标偏差相加得到机器人修正后的位姿(或位置)，并将计算的结果按照约定的通信格式发送给机器人控制器，最后控制器使用相应运动指令来控制机器人移动到接插工作位7。
实施例1
根据本发明提供的一种利用视觉修正冶金接插装配作业机器人误差的方法，包括：
步骤M1：利用视觉获取并记录期望检测工作位机器人的圆柱杆末端中心点在图像中的位置，示教获取所有冶金技术探针所对应的机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置并记录；
步骤M2：机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置利用机器人检测工作位与期望检测工作位的平面坐标偏差进行修正；
步骤M3：机器人偏差修正后，完成轴孔对齐和接插装配工作。
具体地，所述步骤M1包括：
步骤M1.1：如图2所示，设置具有预设结构的仓架放置冶金技术探针，并在仓架中央空隙区域安装固定相机，使相机光轴垂直于地面或者仓架所在的水平面；
步骤M1.2：如图1、图3所示，使用示教的方式控制包含附加轴的机器人移动到预设的期望检测工作位，记录当前的机器人圆柱杆末端在基坐标系{B}的位置pdes和/或机器人对应的关节位置qdes；调整相机相关参数使得机器人圆柱杆末端在当前位置清晰成像，并记录当前机器人圆柱杆末端中心点和/或机器人对应的关节在相机图像中的位置；
步骤M1.3：建立相机坐标系{C}和工作平面坐标系{O}，使用相机标定板放置在机器人圆柱杆所在的平面，对期望检测工作位的工作平面进行标定，得到齐次变换矩阵
Figure BDA0002509467470000091
然后使用标定板标定相机的内参得到Mcam(假设相机是小孔成像模型)；
步骤M1.4：如图4所示，使用示教的方式保持机器人附加轴不再转动，控制机器人移动到机器人圆柱杆末端与冶金技术探针轴孔对齐的位置，记录当前机器人接插工作位在基坐标系{B}操作空间位姿ipins和/或机器人的关节位置iqins；
步骤M1.5：按照预设排列顺序记录仓架上所有放置的冶金技术探针所对应的机器人接插工作位的操作空间位姿{1pins,2pins,...,npins}和/或机器人对应的关节空间位置{1qins,2qins,...,nqins}。
具体地，所述步骤M2包括：
步骤M2.1：控制机器人移动到检测工作位，通过图像处理的方法提取当前机器人圆柱杆末端中心点在相机图像中的位置，并记录中心点在相机图像中的位置；
步骤M2.2：根据检测工作位与期望检测工作位的机器人圆柱杆末端中心点的相机图像中的位置，使用视觉测量算法计算检测工作位与期望检测工作位的在工作平面的坐标偏差；
步骤M2.3：误差修正算法将示教得到的接插工作位的操作空间位姿和/或关节空间位置与转换数据格式的检测工作位与期望检测工作位的在工作平面坐标偏差相加得到机器人修正后的接插工作位操作空间位姿和/或关节空间位置。
具体地，所述步骤M3包括：
将机器人修正后的接插工作位操作空间位姿和/或关节空间位置按照预设通信格式发送给机器人控制器，机器人控制器使用相应运动指令来控制机器人移动到修正后的接插工作位操作空间位姿和/或关节空间位姿完成对齐任务，从而完成接插装配任务。
接插步骤：修正过偏差的机器人此时位于接插工作位，视觉测量的结果有一定的误差，因此此时轴孔并不一定完全对齐，只要在一定的误差区域范围内，就可以控制机器人完成对齐和接插任务，重复进行上述整个过程，直至仓架放置的所有冶金技术探针使用完毕。
具体地，所述步骤M2.1包括：
步骤M2.1.1：将采集的RGB图像进行灰度变换得到灰度图；
步骤M2.1.2：对灰度图使用阈值分割的方法，得到分割后的图像；
步骤M2.1.3：对分割后的图像进行边缘提取，得到圆柱杆的轮廓；
步骤M2.1.4：对轮廓进行直线拟合，根据一定的约束选取圆柱杆末端直线并得到中心点。
具体地，所述步骤M2.2包括：
步骤M2.2.1：提取的机器人圆柱杆末端中心点在相机图像坐标系中的坐标为(u,v)，计算机器人圆柱杆末端中心点在相机归一化平面坐标系的齐次坐标[x,y,1]T；
Figure BDA0002509467470000101
步骤M2.2.2：设检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(X,Y)，表达式如下：
Figure BDA0002509467470000102
其中，齐次变换矩阵
Figure BDA0002509467470000103
齐次变换矩阵表示工作平面坐标系到相机坐标系的齐次变换矩阵，其中，mij表示矩阵的第i行，第j列的元素，Mcam表示相机的内参矩阵；
步骤M2.2.4：根据提取的圆柱杆末端中心点在图像坐标系中的坐标，求得期望检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(Xt,Yt)；
步骤M2.2.5：根据检测工作位与期望检测工作位的末端中心点的在工作平面坐标系的坐标，得到检测工作位与期望检测工作位的平面坐标偏差向量为d＝(Xt-X,Yt-Y)
具体地，所述步骤M2.3包括：
步骤M2.3.1：将视觉测量算法计算得到的平面坐标偏差向量d转化为相应的操作空间位姿pdelta和/或关节空间位置qdelta数据；
步骤M2.3.2：根据待接插冶金技术探针接插工作位示教的操作空间位姿ipins和/或机器人的关节空间位置iqins，与相应的操作空间位姿pdelta和/或关节空间位置qdelta数据相加得到机器人实际的接插工作位的操作空间位姿ipcorrect和/或机器人关节空间位置iqcorrect
根据本发明提供的一种利用视觉修正冶金接插装配作业机器人误差的系统，包括：
模块M1：利用视觉获取并记录期望检测工作位机器人的圆柱杆末端中心点在图像中的位置，示教获取所有冶金技术探针所对应的机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置并记录；
模块M2：机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置利用机器人检测工作位与期望检测工作位的平面坐标偏差进行修正；
模块M3：机器人偏差修正后，完成轴孔对齐和接插装配工作。
具体地，所述模块M1包括：
模块M1.1：设置具有预设结构的仓架放置冶金技术探针，并在仓架中央空隙区域安装固定相机，使相机光轴垂直于地面或者仓架所在的水平面；
模块M1.2：使用示教的方式控制包含附加轴的机器人移动到预设的期望检测工作位，记录当前的机器人圆柱杆末端在基坐标系{B}的位置pdes和/或机器人对应的关节位置qdes；调整相机相关参数使得机器人圆柱杆末端在当前位置清晰成像，并记录当前机器人圆柱杆末端中心点和/或机器人对应的关节在相机图像中的位置；
模块M1.3：建立相机坐标系{C}和工作平面坐标系{O}，使用相机标定板放置在机器人圆柱杆所在的平面，对期望检测工作位的工作平面进行标定，得到齐次变换矩阵
Figure BDA0002509467470000111
然后使用标定板标定相机的内参得到Mcam(假设相机是小孔成像模型)；
模块M1.4：使用示教的方式保持机器人附加轴不再转动，控制机器人移动到机器人圆柱杆末端与冶金技术探针轴孔对齐的位置，记录当前机器人接插工作位在基坐标系{B}操作空间位姿ipins和/或机器人的关节位置iqins；
模块M1.5：按照预设排列顺序记录仓架上所有放置的冶金技术探针所对应的机器人接插工作位的操作空间位姿{1pins,2pins,...,npins}和/或机器人对应的关节空间位置{1qins,2qins,...,nqins}。
具体地，所述模块M2包括：
模块M2.1：控制机器人移动到检测工作位，通过图像处理的方法提取当前机器人圆柱杆末端中心点在相机图像中的位置，并记录中心点在相机图像中的位置；
模块M2.2：根据检测工作位与期望检测工作位的机器人圆柱杆末端中心点的相机图像中的位置，使用视觉测量算法计算检测工作位与期望检测工作位的在工作平面的坐标偏差；
模块M2.3：误差修正算法将示教得到的接插工作位的操作空间位姿和/或关节空间位置与转换数据格式的检测工作位与期望检测工作位的在工作平面坐标偏差相加得到机器人修正后的接插工作位操作空间位姿和/或关节空间位置。
具体地，所述模块M3包括：
将机器人修正后的接插工作位操作空间位姿和/或关节空间位置按照预设通信格式发送给机器人控制器，机器人控制器使用相应运动指令来控制机器人移动到修正后的接插工作位操作空间位姿和/或关节空间位姿完成对齐任务，从而完成接插装配任务。
接插模块：修正过偏差的机器人此时位于接插工作位，视觉测量的结果有一定的误差，因此此时轴孔并不一定完全对齐，只要在一定的误差区域范围内，就可以控制机器人完成对齐和接插任务，重复进行上述整个过程，直至仓架放置的所有冶金技术探针使用完毕。
具体地，所述模块M2.1包括：
模块M2.1.1：将采集的RGB图像进行灰度变换得到灰度图；
模块M2.1.2：对灰度图使用阈值分割的方法，得到分割后的图像；
模块M2.1.3：对分割后的图像进行边缘提取，得到圆柱杆的轮廓；
模块M2.1.4：对轮廓进行直线拟合，根据一定的约束选取圆柱杆末端直线并得到中心点。
具体地，所述模块M2.2包括：
模块M2.2.1：提取的机器人圆柱杆末端中心点在相机图像坐标系中的坐标为(u,v)，计算机器人圆柱杆末端中心点在相机归一化平面坐标系的齐次坐标[x,y,1]T；
Figure BDA0002509467470000131
模块M2.2.2：设检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(X,Y)，表达式如下：
Figure BDA0002509467470000132
其中，齐次变换矩阵
Figure BDA0002509467470000133
齐次变换矩阵表示工作平面坐标系到相机坐标系的齐次变换矩阵，其中，mij表示矩阵的第i行，第j列的元素，Mcam表示相机的内参矩阵；
模块M2.2.4：根据提取的圆柱杆末端中心点在图像坐标系中的坐标，求得期望检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(Xt,Yt)；
模块M2.2.5：根据检测工作位与期望检测工作位的末端中心点的在工作平面坐标系的坐标，得到检测工作位与期望检测工作位的平面坐标偏差向量为d＝(Xt-X,Yt-Y)。
具体地，所述模块M2.3包括：
模块M2.3.1：将视觉测量算法计算得到的平面坐标偏差向量d转化为相应的操作空间位姿pdelta和/或关节空间位置qdelta数据；
模块M2.3.2：根据待接插冶金技术探针接插工作位示教的操作空间位姿ipins和/或机器人的关节空间位置iqins，与相应的操作空间位姿pdelta和/或关节空间位置qdelta数据相加得到机器人实际的接插工作位的操作空间位姿ipcorrect和/或机器人关节空间位置iqcorrect
实施例2
实施例2是实施例1的变化例
实施实例只提及机器人操作空间控制方式，但机器人关节空间控制方式依然属于本发明的保护范围。
根据本发明提供的一种利用视觉修正冶金接插装配作业机器人误差的方法及系统，包括以下步骤：
如图5所示，离线工作步骤：在具有特定结构的仓架上摆放冶金技术探针并在合适位置安装固定相机，选用相机型号为acA2500-20gc，镜头型号为LM25FC。然后示教携带圆柱杆的机器人移动到期望检测工作位，记录此时圆柱杆末端中心点在图像中的位置，并使用标定板标定相机内参和此时圆柱杆的工作平面所在的坐标系相对于相机坐标系的外参，然后按照一定顺序示教放置在仓架上的所有冶金技术探针的位置并记录；
在线工作步骤：控制机器人移动到检测工作位，使用图像处理的方法提取圆柱杆末端中心点，再使用视觉测量算法计算检测工作位与期望检测工作位的在工作平面的坐标偏差，然后误差修正算法将示教得到的接插工作位的操作空间位姿(或关节空间位置)与转换数据格式的工作平面的坐标偏差相加得到机器人修正后的操作空间位姿(或关节空间位置)，并将计算的结果按照约定的通信格式发送给机器人控制器，最后控制器使用相应运动指令来控制机器人移动到接插工作位完成对齐任务，在该工作位继续完成接插装配任务。重复进行上述整个过程，直至仓架放置的所有冶金技术探针使用完毕
具体地，所述的离线工作步骤包括：
仓架设置和相机安装步骤：设置具有特定结构的仓架放置测温取样器，并在仓架中央空隙区域安装固定相机，尽量使相机光轴垂直于地面或者仓架的所在的水平面，建立相机坐标系{C}，按照一定地顺序对仓架上放置的冶金技术探针进行编号，分别记为{S1,S2,…,Sn}；
示教期望检测工作位步骤：使用示教的方式控制包含附加轴的机器人移动到期望检测工作位Pref，记录此时的机器人末端在基坐标系{B}的位姿pdes；然后调整相机相关参数使得圆柱杆在该位置能够清晰成像，并记录此时圆柱杆末端中心点在图像坐标系中的坐标(ut,vt)；
标定步骤：建立相机坐标系{C}和工作平面坐标系{O}，使用合适的相机标定板放置在上一步骤圆柱杆所在的平面，对期望检测工作位的工作平面进行标定，得到齐次变换矩阵
Figure BDA0002509467470000141
然后使用标定板标定相机的内参得到Mcam；
示教接插工作位步骤：使用示教的方式保持机器人附加轴固定，控制机器人移动到圆柱杆末端到期望的对齐位置，记录此时机器人在基坐标系{B}位姿ipins，按照一定的排列顺序重复以上步骤，记录仓架上所有放置的冶金技术探针{S1,S2,…,Sn}所对应的机器人位姿{1pins,2pins,...,npins}。
具体地，所述的在线工作步骤包括：
位置偏差计算与修正步骤：控制机器人移动到示教过的检测工作位Pr'ef，由于机器人回转附加轴带来的误差，此次检测工作位与期望检测工作位是不重合的，体现在图像上就是与期望检测工作位记录的圆柱杆末端的图像位置不同。通过图像处理的方法提取圆柱杆末端中心点的在图像中的位置，使用视觉测量算法计算此工作位与期望检测工作位的平面坐标偏差，然后误差修正算法将示教得到的接插工作位的操作空间位姿(或关节空间位置)与转换数据格式的工作平面的坐标偏差相加得到机器人修正后的操作空间位姿(或关节空间位置)，并将计算的结果按照约定的通信格式发送给机器人控制器，最后控制器使用相应运动指令来控制机器人移动到接插工作位完成对齐任务在检测工作位修正圆柱杆的位置，从而移动到接插工作位。
接插步骤：修正过偏差的机器人此时位于接插工作位，视觉测量的结果有一定的误差，因此此时轴孔并不一定完全对齐，只要在一定的误差区域范围内，就可以控制机器人完成对齐和接插任务，重复进行上述整个过程，直至仓架放置的所有冶金技术探针使用完毕。
优选地，所述的位置偏差计算与修正步骤包括：
图像处理步骤：将相机采集到的图像使用图像处理的方法提取图像中圆柱杆末端中心点，并记录中心点在图像中的位置；
视觉测量算法步骤：根据检测工作位位与期望检测工作位的末端中心点的图像位置，使用视觉测量算法计算出检测工作位与期望检测工作位的平面坐标偏差；
误差修正算法步骤：误差修正算法将示教得到的接插工作位的操作空间位姿(或关节空间位置)与转换数据格式的工作平面的坐标偏差相加得到机器人修正后的操作空间位姿(或关节空间位置)，并将计算的结果按照约定的通信格式发送给机器人控制器，最后控制器使用相应运动指令来控制机器人移动到接插工作位完成对齐任务。该步骤的控制方式可以选择在操作空间或者关节空间完成。该具体实施实例中选择操作空间的控制方法完成修正步骤。
优选地，所述的图像处理步骤包括：
a.将采集的RGB图像Irgb进行灰度变换得到灰度图Igray；
b.对灰度图Igray使用阈值分割的方法，得到分割后的图像Iotsu；
c.对分割后的图像进行边缘提取，得到圆柱杆的轮廓；
d.对轮廓进行直线拟合，例如使用霍夫直线变换得到轮廓的拟合直线，根据实际情形，设定直线长度阈值Tlen筛选出末端边缘直线，然后可以得到圆柱杆末端中线点在图像坐标系的坐标(u,v)；
优选地，所述的视觉测量算法步骤包括：
a.标定步骤中使用标定板标定工作平面可以得到齐次变换矩阵
Figure BDA0002509467470000161
该矩阵表示工作平面所在坐标系到相机坐标系的齐次变换矩阵，其中mij表示矩阵的第i行，第j列的元素，还有相机的内参矩阵Mcam；
b.提取的圆柱杆末端中心点在图像坐标系中的坐标为(u,v)，然后根据下式计算出该点在相机归一化平面坐标系的齐次坐标[x,y,1]T；
Figure BDA0002509467470000162
c.设检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(X,Y)，它可以通过下式解方程组求得；
Figure BDA0002509467470000163
d.同理，可以求得期望检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(Xt,Yt)，则可以得到工作平面坐标偏差向量为d＝(Xt-X,Yt-Y)。
优选地，所述的误差修正算法(操作空间)步骤包括：
a.机器人末端在检测工作位时的在基坐标系下的位姿为preal＝[Xr,Yr,Zr,A,B,C]T，其中A，B，C分别表示绕Z，Y，X轴的旋转角度，Xr,Yr,Zr分别表示在X，Y，Z轴的坐标。根据得到的工作平面坐标偏差向量d，将其转化为操作空间位姿数据格式为pdelta＝[Xt-X,Yt-Y,0,0,0,0]T；
b.根据示教得到的所有放置在仓架上的冶金技术探针所对应的机器人末端在基坐标系{B}的位姿{1pins,2pins,...,npins}，可以计算出机器人实际的接插工作位在操作空间的位姿为ipcorrect＝i pins+ipdelta(ipdelta为第i个冶金技术探针对应的接插任务的位姿偏差)；
c.将上一步骤计算得到的位姿数据按照约定的字节格式发送给机器人控制器，控制器按照格式解析消息报文后，调用相应的控制程序并填入位姿数据来控制机器人运动到接插工作位，完成误差修正。
此实施实例中约定的字节格式具体如下表所示：
Figure BDA0002509467470000164
Figure BDA0002509467470000171
控制器在收到消息报文后，按照约定字节格式的方式解析消息，并使用相应的运动指令控制机器人运动。实施实例使用的机器人为KUKA KR210,控制柜型号为KRC4。可以使用的运动指令有PTP，LIN，CIRC。这里使用的运动指令为PTP(Point-to-Point)。
本发明提供了一种利用视觉修正冶金接插装配作业机器人误差的方法及系统，采用结合示教和视觉测量的方式来修正机器人作业系统误差，方法简单高效，显著提高了装配作业系统的可靠性和准确性。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种利用视觉修正冶金接插装配作业机器人误差的方法，其特征在于，包括：
步骤M1：利用视觉获取并记录期望检测工作位机器人的圆柱杆末端中心点在图像中的位置，示教获取所有冶金技术探针所对应的机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置并记录；
步骤M2：利用机器人检测工作位与期望检测工作位的平面坐标偏差对机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置进行修正；
步骤M3：机器人偏差修正后，完成轴孔对齐和接插装配工作；
所述步骤M1包括：
步骤M1.1：设置具有预设结构的仓架放置冶金技术探针，并在仓架中央空隙区域安装固定相机，使相机光轴垂直于地面或者仓架所在的水平面；
步骤M1.2：使用示教的方式控制包含附加轴的机器人移动到预设的期望检测工作位，记录当前的机器人圆柱杆末端在基坐标系{B}的位置pdes和/或机器人对应的关节位置qdes；调整相机相关参数使得机器人圆柱杆末端在当前位置清晰成像，并记录当前机器人圆柱杆末端中心点和/或机器人对应的关节在相机图像中的位置；
步骤M1.3：建立相机坐标系{C}和工作平面坐标系{O}，使用相机标定板放置在机器人圆柱杆所在的平面，对期望检测工作位的工作平面进行标定，得到齐次变换矩阵
Figure FDA0003825510470000011
然后使用相机标定板标定相机的内参得到Mcam；
步骤M1.4：使用示教的方式保持机器人附加轴不再转动，控制机器人移动到机器人圆柱杆末端与冶金技术探针轴孔对齐的位置，记录当前机器人接插工作位在基坐标系{B}操作空间位姿ipins和/或机器人的关节位置iqins；其中，i表示第i个接插工作位；
步骤M1.5：按照预设排列顺序记录仓架上所有放置的冶金技术探针所对应的机器人接插工作位的操作空间位姿{1pins,2pins,...,npins}和/或机器人对应的关节空间位置{1qins,2qins,...,nqins}，其中n表示共计n个冶金技术探针所对应的机器人接插工作位；
所述步骤M2包括：
步骤M2.1：控制机器人移动到检测工作位，通过图像处理的方法提取当前机器人圆柱杆末端中心点在相机图像中的位置，并记录中心点在相机图像中的位置；
步骤M2.2：根据检测工作位与期望检测工作位的机器人圆柱杆末端中心点的相机图像中的位置，使用视觉测量算法计算检测工作位与期望检测工作位的在工作平面的坐标偏差；
步骤M2.3：误差修正算法将示教得到的接插工作位的操作空间位姿和/或关节空间位置与转换数据格式的检测工作位与期望检测工作位的在工作平面坐标偏差相加得到机器人修正后的接插工作位操作空间位姿和/或关节空间位置。
2.根据权利要求1所述的利用视觉修正冶金接插装配作业机器人误差的方法，其特征在于，所述步骤M3包括：
将机器人修正后的接插工作位操作空间位姿和/或关节空间位置按照预设通信格式发送给机器人控制器，机器人控制器使用相应运动指令来控制机器人移动到修正后的接插工作位操作空间位姿和/或关节空间位姿完成对齐任务，从而完成接插装配任务。
3.根据权利要求1所述的利用视觉修正冶金接插装配作业机器人误差的方法，其特征在于，所述步骤M2.1包括：
步骤M2.1.1：控制机器人移动到检测工作位，采集当前机器人圆柱杆末端中心点在相机图像中的位置的RGB图像进行灰度变换得到灰度图；
步骤M2.1.2：对灰度图使用阈值分割的方法，得到分割后的图像；
步骤M2.1.3：对分割后的图像进行边缘提取，得到圆柱杆的轮廓；
步骤M2.1.4：对轮廓进行直线拟合，根据一定的约束选取圆柱杆末端直线并得到中心点。
4.根据权利要求1所述的利用视觉修正冶金接插装配作业机器人误差的方法，其特征在于，所述步骤M2.2包括：
步骤M2.2.1：提取机器人位于期望检测工作位圆柱杆末端中心点在相机图像坐标系中的坐标为(u,v)，计算机器人圆柱杆末端中心点在相机归一化平面坐标系的齐次坐标[x,y,1]T；
Figure FDA0003825510470000021
步骤M2.2.2：设检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(X,Y)，表达式如下：
Figure FDA0003825510470000022
其中，齐次变换矩阵
Figure FDA0003825510470000023
齐次变换矩阵表示工作平面坐标系到相机坐标系的齐次变换矩阵，其中，mij表示矩阵的第i行，第j列的元素，Mcam表示相机的内参矩阵；
步骤M2.2.3：根据提取的期望检测工作位状态下的圆柱杆末端中心点在图像坐标系中的坐标，求得期望检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(Xt,Yt)；
步骤M2.2.4：根据检测工作位与期望检测工作位的末端中心点的在工作平面坐标系的坐标，得到检测工作位与期望检测工作位的平面坐标偏差向量为d＝(Xt-X,Yt-Y)。
5.根据权利要求1所述的利用视觉修正冶金接插装配作业机器人误差的方法，其特征在于，所述步骤M2.3包括：
步骤M2.3.1：将视觉测量算法计算得到的平面坐标偏差向量d转化为相应的操作空间位姿pdelta和/或关节空间位置qdelta数据；
步骤M2.3.2：根据待接插冶金技术探针接插工作位示教的操作空间位姿ipins和/或机器人的关节空间位置iqins，与相应的操作空间位姿pdelta和/或关节空间位置qdelta数据相加得到机器人实际的接插工作位的操作空间位姿ipcorrect和/或机器人关节空间位置iqcorrect。
6.一种利用视觉修正冶金接插装配作业机器人误差的系统，其特征在于，包括：
模块M1：利用视觉获取并记录期望检测工作位机器人的圆柱杆末端中心点在图像中的位置，示教获取所有冶金技术探针所对应的机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置并记录；
模块M2：利用机器人检测工作位与期望检测工作位的平面坐标偏差对机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置进行修正；
模块M3：机器人偏差修正后，完成轴孔对齐和接插装配工作；
所述模块M1包括：
模块M1.1：设置具有预设结构的仓架放置冶金技术探针，并在仓架中央空隙区域安装固定相机，使相机光轴垂直于地面或者仓架所在的水平面；
模块M1.2：使用示教的方式控制包含附加轴的机器人移动到预设的期望检测工作位，记录当前的机器人圆柱杆末端在基坐标系{B}的位置pdes和/或机器人对应的关节位置qdes；调整相机相关参数使得机器人圆柱杆末端在当前位置清晰成像，并记录当前机器人圆柱杆末端中心点和/或机器人对应的关节在相机图像中的位置；
模块M1.3：建立相机坐标系{C}和工作平面坐标系{O}，使用相机标定板放置在机器人圆柱杆所在的平面，对期望检测工作位的工作平面进行标定，得到齐次变换矩阵
Figure FDA0003825510470000041
然后使用相机标定板标定相机的内参得到Mcam；
模块M1.4：使用示教的方式保持机器人附加轴不再转动，控制机器人移动到机器人圆柱杆末端与冶金技术探针轴孔对齐的位置，记录当前机器人接插工作位在基坐标系{B}操作空间位姿ipins和/或机器人的关节位置iqins；
模块M1.5：按照预设排列顺序记录仓架上所有放置的冶金技术探针所对应的机器人接插工作位的操作空间位姿{1pins,2pins,...,npins}和/或机器人对应的关节空间位置{1qins,2qins,...,nqins}，其中n表示共计n个冶金技术探针所对应的机器人接插工作位；
所述模块M2包括：
模块M2.1：控制机器人移动到检测工作位，通过图像处理的方法提取当前机器人圆柱杆末端中心点在相机图像中的位置，并记录中心点在相机图像中的位置；
模块M2.2：根据检测工作位与期望检测工作位的机器人圆柱杆末端中心点的相机图像中的位置，使用视觉测量算法计算检测工作位与期望检测工作位的在工作平面的坐标偏差；
模块M2.3：误差修正算法将示教得到的接插工作位的操作空间位姿和/或关节空间位置与转换数据格式的检测工作位与期望检测工作位的在工作平面坐标偏差相加得到机器人修正后的接插工作位操作空间位姿和/或关节空间位置；
所述模块M3包括：
将机器人修正后的接插工作位操作空间位姿和/或关节空间位置按照预设通信格式发送给机器人控制器，机器人控制器使用相应运动指令来控制机器人移动到修正后的接插工作位操作空间位姿和/或关节空间位姿完成对齐任务，从而完成接插装配任务。
7.根据权利要求6所述的利用视觉修正冶金接插装配作业机器人误差的系统，其特征在于，所述模块M2.1包括：
模块M2.1.1：控制机器人移动到检测工作位，采集当前机器人圆柱杆末端中心点在相机图像中的位置的RGB图像进行灰度变换得到灰度图；
模块M2.1.2：对灰度图使用阈值分割的方法，得到分割后的图像；
模块M2.1.3：对分割后的图像进行边缘提取，得到圆柱杆的轮廓；
模块M2.1.4：对轮廓进行直线拟合，根据一定的约束选取圆柱杆末端直线并得到中心点；
所述模块M2.2包括：
模块M2.2.1：提取机器人位于期望检测工作位圆柱杆末端中心点在相机图像坐标系中的坐标为(u,v)，计算机器人圆柱杆末端中心点在相机归一化平面坐标系的齐次坐标[x,y,1]T；
Figure FDA0003825510470000051
模块M2.2.2：设检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(X,Y)，表达式如下：
Figure FDA0003825510470000052
其中，齐次变换矩阵
Figure FDA0003825510470000053
齐次变换矩阵表示工作平面坐标系到相机坐标系的齐次变换矩阵，其中，mij表示矩阵的第i行，第j列的元素，Mcam表示相机的内参矩阵；
模块M2.2.3：根据提取的期望检测工作位状态下的圆柱杆末端中心点在图像坐标系中的坐标，求得期望检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(Xt,Yt)；
模块M2.2.4：根据检测工作位与期望检测工作位的末端中心点的在工作平面坐标系的坐标，得到检测工作位与期望检测工作位的平面坐标偏差向量为d＝(Xt-X,Yt-Y)；
所述模块M2.3包括：
模块M2.3.1：将视觉测量算法计算得到的平面坐标偏差向量d转化为相应的操作空间位姿pdelta和/或关节空间位置qdelta数据；
模块M2.3.2：根据待接插冶金技术探针接插工作位示教的操作空间位姿ipins和/或机器人的关节空间位置iqins，与相应的操作空间位姿pdelta和/或关节空间位置qdelta数据相加得到机器人实际的接插工作位的操作空间位姿ipcorrect和/或机器人关节空间位置iqcorrect。
CN202010456206.0A 2020-05-26 2020-05-26 利用视觉修正冶金接插装配作业机器人误差的方法及系统 Active CN111571596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010456206.0A CN111571596B (zh) 2020-05-26 2020-05-26 利用视觉修正冶金接插装配作业机器人误差的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010456206.0A CN111571596B (zh) 2020-05-26 2020-05-26 利用视觉修正冶金接插装配作业机器人误差的方法及系统

Publications (2)

Publication Number Publication Date
CN111571596A CN111571596A (zh) 2020-08-25
CN111571596B true CN111571596B (zh) 2022-11-11

Family

ID=72116403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010456206.0A Active CN111571596B (zh) 2020-05-26 2020-05-26 利用视觉修正冶金接插装配作业机器人误差的方法及系统

Country Status (1)

Country Link
CN (1) CN111571596B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113437690B (zh) * 2021-06-25 2022-10-14 贵州长通电气有限公司 高压配电柜智能化装配系统
CN113927265B (zh) * 2021-10-19 2023-05-09 西北工业大学 一种用于人机协作装配的末端执行器及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5572103A (en) * 1993-09-14 1996-11-05 Fanuc, Ltd. Robot teaching program correction method
CN102785246A (zh) * 2012-08-24 2012-11-21 电子科技大学 一种可实现自动轨迹修正的机器人标定方法
CN104476549A (zh) * 2014-11-20 2015-04-01 北京卫星环境工程研究所 基于视觉测量的机械臂运动路径补偿方法
CN109159114A (zh) * 2018-08-16 2019-01-08 郑州大学 Scara机械手固定相机视觉系统手眼标定的高精度方法
CN109318234A (zh) * 2018-11-09 2019-02-12 哈尔滨工业大学 一种适用于视觉伺服插拔作业的标定方法
CN109341532A (zh) * 2018-11-05 2019-02-15 航天材料及工艺研究所 一种面向自动装配的基于结构特征的零件坐标标定方法
CN109848999A (zh) * 2019-03-29 2019-06-07 北京理工大学 布线机器人的机械臂校准方法及装置
CN109911481A (zh) * 2019-01-03 2019-06-21 上海交通大学 面向冶金机器人接插的仓架目标视觉识别定位方法和系统
CN111127568A (zh) * 2019-12-31 2020-05-08 南京埃克里得视觉技术有限公司 一种基于空间点位信息的相机位姿标定方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5572103A (en) * 1993-09-14 1996-11-05 Fanuc, Ltd. Robot teaching program correction method
CN102785246A (zh) * 2012-08-24 2012-11-21 电子科技大学 一种可实现自动轨迹修正的机器人标定方法
CN104476549A (zh) * 2014-11-20 2015-04-01 北京卫星环境工程研究所 基于视觉测量的机械臂运动路径补偿方法
CN109159114A (zh) * 2018-08-16 2019-01-08 郑州大学 Scara机械手固定相机视觉系统手眼标定的高精度方法
CN109341532A (zh) * 2018-11-05 2019-02-15 航天材料及工艺研究所 一种面向自动装配的基于结构特征的零件坐标标定方法
CN109318234A (zh) * 2018-11-09 2019-02-12 哈尔滨工业大学 一种适用于视觉伺服插拔作业的标定方法
CN109911481A (zh) * 2019-01-03 2019-06-21 上海交通大学 面向冶金机器人接插的仓架目标视觉识别定位方法和系统
CN109848999A (zh) * 2019-03-29 2019-06-07 北京理工大学 布线机器人的机械臂校准方法及装置
CN111127568A (zh) * 2019-12-31 2020-05-08 南京埃克里得视觉技术有限公司 一种基于空间点位信息的相机位姿标定方法

Also Published As

Publication number Publication date
CN111571596A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
JP4021413B2 (ja) 計測装置
US9517563B2 (en) Robot system using visual feedback
KR102226986B1 (ko) 자동화 장치 및 위치 검출 장치
US20200298411A1 (en) Method for the orientation of an industrial robot, and industrial robot
JP7153085B2 (ja) ロボットキャリブレーションシステム及びロボットキャリブレーション方法
CN107073719B (zh) 机器人和机器人系统
US8923602B2 (en) Automated guidance and recognition system and method of the same
US5297238A (en) Robot end-effector terminal control frame (TCF) calibration method and device
EP3542969B1 (en) Working-position correcting method and working robot
CN113001535B (zh) 机器人工件坐标系自动校正系统与方法
US20110320039A1 (en) Robot calibration system and calibrating method thereof
US20080154428A1 (en) Device, method, program and recording medium for robot offline programming
CN108789404A (zh) 一种基于视觉的串联机器人运动学参数标定方法
CN111571596B (zh) 利用视觉修正冶金接插装配作业机器人误差的方法及系统
CN109781164B (zh) 一种线激光传感器的静态标定方法
KR20080088165A (ko) 로봇 캘리브레이션 방법
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN111993422B (zh) 基于无标定视觉的机器人轴孔对准控制方法
JP2004243215A (ja) シーラー塗布装置のロボットティーチング方法及びシーラー塗布装置
JP2018051634A (ja) ロボット制御装置、ロボット、ロボットシステムおよび姿勢特定装置
CN115446847A (zh) 用于提高机器人系统的3d眼手协调准确度的系统和方法
JP2682763B2 (ja) ロボット機体の作動誤差の自動測定方法
Zhang et al. Vision-guided robotic assembly using uncalibrated vision
CN116652939A (zh) 一种并联机器人无标定视觉伺服柔顺控制方法
CN114918916A (zh) 基于智能制造的生产监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant