CN114174006B - 机器人手眼标定方法、装置、计算设备、介质以及产品 - Google Patents

机器人手眼标定方法、装置、计算设备、介质以及产品 Download PDF

Info

Publication number
CN114174006B
CN114174006B CN201980098348.XA CN201980098348A CN114174006B CN 114174006 B CN114174006 B CN 114174006B CN 201980098348 A CN201980098348 A CN 201980098348A CN 114174006 B CN114174006 B CN 114174006B
Authority
CN
China
Prior art keywords
calibration
robot arm
camera
calibration plate
tail end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980098348.XA
Other languages
English (en)
Other versions
CN114174006A (zh
Inventor
贺银增
陈颀潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Ltd China
Original Assignee
Siemens Ltd China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Ltd China filed Critical Siemens Ltd China
Publication of CN114174006A publication Critical patent/CN114174006A/zh
Application granted granted Critical
Publication of CN114174006B publication Critical patent/CN114174006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

一种机器人手眼标定方法、装置、计算设备、介质以及产品。方法包括：控制机器人手臂(102)末端的标定装置(108)移动至标定板(112)，当机器人手臂(102)上的力传感器(104)检测到标定装置的末端(110)与标定板(112)的接触达到预定大小的力时，机器人手臂(102)停止移动，标定装置的末端(110)在其与标定板(112)的接触位置处进行标记，机器人手臂(102)在垂直于标定板(112)的方向上向上移动至机器人手臂(102)末端处于预定高度的位置处停止，在该位置处，机器人手臂(102)末端的相机(106)对标定板(112)上的标记进行拍摄，记录标记在相机坐标系下的坐标，并且记录机器人手臂(102)停止在该位置处时，标定装置的末端(110)在机器人坐标系下的坐标；根据所记录的标定板(112)上的至少三个标记在相机坐标系下的坐标和对应的标定装置的末端(110)在机器人坐标系下的坐标来计算标定变换矩阵。

Description

机器人手眼标定方法、装置、计算设备、介质以及产品
技术领域
本公开通常涉及机器人领域，更具体地，涉及机器人手眼标定方法、装置、计算设备、介质以及产品。
背景技术
在工业应用领域中，机器人需要依靠手眼系统执行机械加工、安装等任务。手眼系统是由相机和机器人手臂构成的视觉系统，其中，相机相当于人的眼睛，机器人手臂末端相当于人的手。
视觉定位引导机器人手臂执行任务，首先要将相机坐标和机器人坐标进行标定，使视觉定位的相机坐标转换为机器人坐标，以完成视觉的引导，其中手眼标定是视觉引导机器人手臂的关键所在。
目前这个手眼标定过程通常是通过人工来完成，机器人需要由相机示教。具体地，在机器人手臂末端安装一个标定针，手动操作机器人手臂移动至标定板的九个点的位置。由于相机坐标系和机器人坐标系中的目标位置都要收集来计算标定数据，这需要开发者的大量工作；此外，由于标定针的精度会影响标定精度，且手动操作机器人手臂移动至九个点的精度要求较高，标定精度受人为因素影响较大且标定的时间较长，因此，传统的手眼标定的方法存在标定过程复杂、标定效率低且标定精度受人为因素影响较大的问题。
另外，由于相机的成像平面不完全平行于标定板也会影响标定的精度。
因此，需要一种具有较高测量精度的自动手眼标定的方法。
发明内容
在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于上述，本公开提供了一种具有较高测量精度的自动手眼标定的方法。在本公开的技术方案中，在机器人手臂上引入了一个力传感器，利用该力传感器可以实现自动手眼标定。
根据本公开的一个方面，提供了机器人手眼标定方法，包括：坐标记录步骤：控制机器人手臂末端的标定装置移动至标定板，当机器人手臂上的力传感器检测到所述标定装置的末端与所述标定板的接触达到预定大小的力时，所述机器人手臂停止移动，所述标定装置的末端在其与所述标定板的接触位置处进行标记，所述机器人手臂在垂直于所述标定板的方向上向上移动至所述机器人手臂末端处于预定高度的位置处停止，在该位置处，所述机器人手臂末端的相机对所述标定板上的标记进行拍摄，记录所述标记在相机坐标系下的坐标，并且记录在所述机器人手臂停止在该位置处时，所述标定装置的末端在机器人坐标系下的坐标；移动控制步骤：控制所述机器人手臂在所述标定板上方平移至少两次，在每次移动之后都执行所述坐标记录步骤；以及变换矩阵计算步骤：根据所记录的所述标定板上的至少三个标记在所述相机坐标系下的坐标和对应的所述标定装置的末端在所述机器人坐标系下的坐标来计算标定变换矩阵。
以这样的方式，通过控制机器人手臂末端的标定装置在标定板上依次进行标记至少三次，针对每一个标记，分别用相机进行拍摄，记录每一个标记在相机坐标系下的坐标以及拍摄标记时标定装置的末端在相机坐标系下的坐标来计算标定变换矩阵，其中，通过采用一个力传感器来检测标定装置的末端与标定板的接触，使得机器人手臂可以知道何时停止移动，何时进行标记，通过这样的方式，可以在没有人为操作的情况下，自动完成机器人的手眼标定的过程。
可选地，在上述方面的一个示例中，在执行所述机器人坐标记录步骤之前，所述方法还包括平行校正步骤：利用所述力传感器来校正所述相机的成像平面与所述标定板的平面平行。
可选地，在上述方面的一个示例中，所述平行校正步骤包括：利用所述力传感器获取所述机器人手臂末端的力矩；以及基于所述力矩调整所述所述机器人手臂末端的姿态以使得设置在所述机器人手臂末端的所述相机的成像平面与所述标定板的平面平行。
以这样的方式，可以实现相机的成像平面与标定板的平面平行，从而减小由于相机的成像平面与标定板的平面不平行所引起的标定误差，提高手眼标定的精确度。
可选地，在上述方面的一个示例中，所述预定高度根据所述相机的焦距预先设定，以使得所述标定板上的标记在所述相机的成像平面上清晰成像。
以这样的方式，可以使得相机在进行拍摄时与标定板之间保持合适的距离，来确保相机成像的清晰度，从而进一步提高标定精确度。
根据本公开的另一方面，提供了机器人手眼标定装置，包括：一个坐标记录单元，所述坐标记录单元控制机器人手臂末端的标定装置移动至标定板，当机器人手臂上的力传感器检测到所述标定装置的末端与所述标定板接触达到预定大小的力时，所述机器人手臂停止移动，所述标定装置的末端在其与所述标定板的接触位置处进行标记，所述机器人手臂在垂直于所述标定板的方向上向上移动至所述机器人手臂末端处于预定高度的位置处停止，在该位置处，所述机器人手臂末端的相机对所述标定板上的标记进行拍摄，记录所述标记在相机坐标系下的坐标，并且记录在所述机器人手臂停止在该位置处时，所述标定装置的末端在机器人坐标系下的坐标；一个移动控制单元，所述移动控制单元控制所述标定装置在所述标定板上方移动至少两次，在每次移动之后都执行所述坐标记录步骤；以及一个变换矩阵计算单元，所述变换矩阵计算单元根据所记录的所述标定板上的至少三个标记在所述相机坐标系下的坐标和对应的所述标定装置的末端在所述机器人坐标系下的坐标来计算标定变换矩阵。
以这样的方式，通过控制机器人手臂末端的标定装置在标定板上依次进行标记，针对每一个标记，分别用相机进行拍摄，记录每一个标记在相机坐标系下的坐标以及拍摄标记时标定装置的末端在相机坐标系下的坐标来计算标定变换矩阵，其中，通过采用一个力传感器来检测标定装置的末端与标定板的接触，使得机器人手臂可以知道何时停止移动，何时进行标记，通过这样的方式，可以在没有人为操作的情况下，自动完成机器人的手眼标定的过程。
可选地，在上述方面的一个示例中，机器人手眼标定装置还包括：一个平行校正单元，所述平行校正单元利用所述力传感器来校正所述相机的成像平面与所述标定板的平面平行。
可选地，在上述方面的一个示例中，所述平行校正单元进一步被配置为：利用所述力传感器获取所述机器人手臂末端的力矩；以及基于所述力矩调整所述所述机器人手臂末端的姿态以使得设置在所述机器人手臂末端的所述相机的成像平面与所述标定板的平面平行。
以这样的方式，可以实现相机的成像平面与标定板的平面平行，从而减小由于相机的成像平面与标定板的平面不平行所引起的标定误差，提高手眼标定的精确度。
可选地，在上述方面的一个示例中，所述预定高度根据所述相机的焦距预先设定，以使得所述标定板上的标记在所述相机的成像平面上清晰成像。
以这样的方式，可以使得相机在进行拍摄时与标定板之间保持合适的距离，来确保相机成像的清晰度，从而进一步提高标定精确度。
根据本公开的另一方面，提供了机器人手臂，包括：一个力传感器；一个相机；一个标定装置，其中，所述力传感器检测所述标定装置的末端与标定板的接触的力的大小以及获取机器人手臂的力矩。
通过采用一个力传感器来检测标定装置的末端与标定板的接触，使得机器人手臂可以知道何时停止移动，何时进行标记，通过这样的方式，可以在没有人为操作的情况下，自动完成机器人的手眼标定的过程。
根据本公开的另一方面，提供了一种计算设备，包括：至少一个处理器；以及与所述至少一个处理器耦合的一个存储器，所述存储器用于存储指令，当所述指令被所述至少一个处理器执行时，使得所述处理器执行如上所述的方法。
根据本公开的另一方面，提供了一种非暂时性机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行如上所述的方法。
附图说明
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。以下附图仅旨在于对本发明做示意性说明和解释，并不限定本发明的范围。
图1示出了根据本公开的一个实施例的机器人手臂的示意图；
图2示出了根据本公开的一个实施例的机器人手眼标定方法的示例性过程的流程图；
图3是示出图2中的方框S208中的操作的一种示例性过程的流程图；
图4是示出了根据本公开的一个实施例的机器人手眼标定装置的示例性配置的框图；以及
图5示出了根据本公开的实施例的对机器人进行手眼标定的计算设备的方框图。
附图标记
102：机器人手臂
104：力传感器
106：相机
108：标定装置
110：标定装置的末端
112：标定板
200：机器人手眼标定方法
S201、S202、S204、S206、S302、S304：步骤
400：机器人手眼标定装置
401：平行校正单元
402：坐标记录单元
404：移动控制单元
406：变换矩阵计算单元
500：计算设备
502：处理器
504：存储器
具体实施方式
现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。
如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。
本公开提供了一种具有较高测量精度的机器人自动手眼标定的方法。在本公开的技术方案中，在机器人手臂上引入了一个力传感器，利用该力传感器可以实现自动手眼标定。
图1示出了根据本公开的一个实施例的机器人的示意图。在图1中，102是机器人手臂，104是设置在机器人手臂上的力传感器，106是设置在机器人手臂末端的相机，108是设置在机器人手臂末端的标定装置，110是标定装置108的末端，112是标定板。
其中，相机106固定在机器人手臂102的末端的适当位置，标定装置108固定在机器人手臂102的末端的适当位置，可以通过本领域技术人员了解的工具坐标系标定程序来获取标定装置的末端110与机器人手臂102末端的相对位置。力传感器104安装在机器人手臂102与标定装置108之间。可以理解，图1是设置有一个力传感器的机器人手臂的示意图，其中各部件之间的关系只是示意性的，本领域技术人员可以根据需要来设置各部件之间的位置关系，而不限于图1所示。
力传感器104可以用于检测标定装置的末端110与标定板112的接触力的大小，在检测到接触的力达到预定大小时，机器人手臂将停止移动，标定工具的末端110可以在标定板112上在这个接触位置处进行标记。然后通过记录至少三个标记在相机坐标系下的坐标和进行拍摄时标定装置的末端在机器人坐标系下的坐标可以计算标定变换矩阵，从而实现机器人的手眼标定。
下面结合附图来描述根据本公开实施例的机器人手眼标定方法和装置。
图2示出了根据本公开的一个实施例的机器人手眼标定方法200的示例性过程的流程图。
首先，在方框S202中，执行坐标记录步骤，控制机器人手臂末端的标定装置移动至标定板，当机器人手臂上的力传感器检测到所述标定装置的末端与所述标定板接触达到预定大小的力时，所述机器人手臂停止移动，所述标定装置的末端在其与所述标定板的接触位置处进行标记，所述机器人手臂在垂直于所述标定板的方向上向上移动至预定高度的位置处停止，在该位置处，所述机器人手臂末端的相机对所述标定板上的标记进行拍摄，记录所述标记在相机坐标系下的坐标，并且记录在所述机器人手臂停止在该位置处时，所述标定装置的末端在机器人坐标系下的坐标。
具体地，设置在机器人手臂102上的力传感器104可以用于检测标定装置108的末端110与标定板112的接触的力的大小，在力传感器104检测到标定装置108的末端110与标定板112的接触达到预定大小的力时，机器人手臂102将停止移动，此时标定装置108的末端110可以在标定板112上标记这个接触位置。
这里的预定大小的接触力可以使得标定装置108的末端恰好在标定板112进行适当的标记，可以由技术人员根据经验预先设定这个预定大小。
在进行标记之后，机器人手臂102离开标定板112，在垂直于所述标定板112的方向上向上移动至预定高度的位置处停止，在该位置处，由相机106对标定板112上的标记进行拍摄。
这里的预定高度可以根据相机的焦距预先设定，以使得所述标定板上的标记能够在所述相机的成像平面上清晰成像。
由于机器人通常采用的工业镜头不是自动对焦的，需要手动对焦。这意味着在某个距离上的物体拍的最清晰。离镜头太近或太远，图像都不清晰。另一方面，在不同距离下，物体在CCD/CMOS成像尺寸是不同的(反映为两个像素对应的物理距离不一样)，只有在固定距离下，手眼标定才有意义。
相机106固定在机器人手臂102末端的适当位置处，相机106相对于机器人手臂102末端的二维位置是可以通过标定获取的。要使得相机106的镜头与标定板112之间保持适当的距离，主要是通过精确地计算来确定机器人手臂102末端和标定板112之间的距离。在一个示例中，可以用测量值来验证，通过调整拍照高度来保证标定板始终处于相机的焦平面上(即成像清晰)。
因此，根据相机106的焦距预先设定预定高度，机器人手臂102在预定高度处停止，可以使得相机102在与标定板11之间保持适当距离的位置处进行拍摄，来确保相机成像的清晰度，从而可以进一步提高标定精确度。
接着，记录该标记在相机坐标系下的坐标，以及在相机拍摄该标记时，即机器人手臂停止在预定高度的位置处时，标定装置的末端在机器人坐标系下的坐标。
通过方框S202中的操作，可以获得用于进行机器人的手眼标定的分别在相机坐标系下和机器人坐标系下的一组坐标。
接着，在方框S204中，控制机器人手臂在所述标定板上方平移至少两次，在每次移动之后都执行方框S202中的操作。
通过移动机器人手臂，然后分别执行S202中的操作，总共可以获得用于进行机器人的手眼标定的分别在相机坐标系下和机器人坐标系下的至少三组坐标。
最后，在方框S206中，根据所记录的所述标定板上的至少三个标记在所述相机坐标系下的坐标和对应的所述标定装置的末端在所述机器人坐标系下的坐标来计算标定变换矩阵。
本领域技术人员可以理解基于这三组坐标来计算变换矩阵的具体过程，在此不再赘述。
在根据本实施例的方法中，通过控制机器人手臂末端的标定装置在标定板上依次进行标记至少三次，针对每一个标记，分别用相机进行拍摄，记录每一个标记在相机坐标系下的坐标以及拍摄标记时标定装置的末端在相机坐标系下的坐标来计算标定变换矩阵。其中，采用了一个力传感器来检测标定装置的末端与标定板的接触，使得机器人手臂可以知道何时停止移动，何时进行标记，通过这样的方式，可以在没有人为操作的情况下，自动完成机器人的手眼标定的过程。
在一个示例中，在进行手眼标定的过程之前，该方法还可以包括方框S201中的平行校正步骤：利用所述力传感器来校正所述相机的成像平面与所述标定板的平面平行。
具体地，如图3所示，可以通过以下过程来实现方框S201中的操作。
首先，在方框S302中，利用所述力传感器104获取所述机器人手臂102末端的力矩。
接着，在方框S304中，基于所述力矩调整所述所述机器人手臂102末端的姿态以使得设置在机器人手臂102末端的相机106的成像平面与标定板112的平面平行。
具体地，可以根据传感器获取的力矩值，通过算法调整机器人手臂末端的姿态，使得力矩值达到设定值，来保证设置在机器人手臂末端的相机的成像平面与标定板平面平行。
也就是说，在进行机器人手眼标定之前，先通过平行校正步骤来确定机器人手臂末端的姿态使得机器人手臂末端上的相机的成像平面与标定板平面平行。在此后移动机器人手臂时都保持机器人手臂的姿态不变，而仅在x、V、z方向上移动。
通过采用图3所示的方式来实现相机的成像平面与标定板的平行，可以减小由于相机的成像平面与标定板不平行所引起的标定误差，从而可以提高手眼标定的精确度。
图4是示出了根据本公开的一个实施例的机器人手眼标定装置400的示例性配置的框图。
如图4所示，机器人手眼标定装置400包括：一个坐标记录单元402、一个移动控制单元404和一个变换矩阵计算单元406。
其中，机器人坐标记录单元402控制机器人手臂末端的标定装置移动至标定板，当机器人手臂上的力传感器检测到所述标定装置的末端与所述标定板接触达到预定大小的力时，所述机器人手臂停止移动，所述标定装置的末端在其与所述标定板的接触位置处进行标记，所述机器人手臂在垂直于所述标定板的方向上向上移动至所述机器人手臂末端处于预定高度的位置处停止，在该位置处，所述机器人手臂末端的相机对所述标定板上的标记进行拍摄，记录所述标记在相机坐标系下的坐标，并且记录在所述机器人手臂停止在该位置处时，所述标定装置的末端在机器人坐标系下的坐标。
其中，所述预定高度根据所述相机的焦距预先设定，以使得所述标定板上的标记在所述相机的成像平面上清晰成像。
移动控制单元404控制所述标定装置在所述标定板上方移动至少两次。
变换矩阵计算单元406根据所记录的所述标定板上的至少三个标记在所述相机坐标系下的坐标和对应的所述标定装置的末端在所述机器人坐标系下的坐标来计算标定变换矩阵。
在一个示例中，机器人手眼标定装置400还可以包括一个平行校正单元401，所述平行校正单元401利用所述力传感器来校正所述相机的成像平面与所述标定板的平面平行。
具体地，所述平行校正单元401可以被配置为：利用所述力传感器获取所述机器人手臂末端的力矩；以及基于所述力矩调整所述所述机器人手臂末端的姿态以使得设置在所述机器人手臂末端的所述相机的成像平面与所述标定板的平面平行。
机器人手眼标定装置400的各个部分的操作和功能的细节例如可以与参照结合图1-3所描述的本公开的机器人手眼标定方法的实施例的相关部分相同或类似，这里不再详细描述。
在此需要说明的是，图4所示的机器人手眼标定装置400及其组成单元的结构仅仅是示例性的，本领域技术人员可以根据需要对图4所示的结构框图进行修改。
如上参照图1到图4，对根据本公开的实施例的机器人手眼标定方法和装置进行了描述。上面的机器人手眼标定装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。
在本公开中，机器人手眼标定装置400可以利用计算设备实现。图5示出了根据本公开的实施例的对机器人进行手眼标定的计算设备500的方框图。根据一个实施例，计算设备500可以包括至少一个处理器502，处理器502执行在计算机可读存储介质(即，存储器504)中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。
在一个实施例中，在存储器504中存储计算机可执行指令，其当执行时使得至少一个处理器502完成以下动作：控制机器人手臂末端的标定装置移动至标定板，当机器人手臂上的力传感器检测到所述标定装置的末端与所述标定板的接触达到预定大小的力时，所述机器人手臂停止移动，所述标定装置的末端在其与所述标定板的接触位置处进行标记，所述机器人手臂在垂直于所述标定板的方向上向上移动至所述机器人手臂末端处于预定高度的位置处停止，在该位置处，所述机器人手臂末端的相机对所述标定板上的标记进行拍摄，记录所述标记在相机坐标系下的坐标，并且记录在所述机器人手臂停止在该位置处时，所述标定装置的末端在机器人坐标系下的坐标；控制所述机器人手臂在所述标定板上方平移至少两次，在每次移动之后都执行所述坐标记录步骤；以及根据所记录的所述标定板上的至少三个标记在所述相机坐标系下的坐标和对应的所述标定装置的末端在所述机器人坐标系下的坐标来计算标定变换矩阵。
应该理解，在存储器504中存储的计算机可执行指令当执行时使得至少一个处理器502进行本公开的各个实施例中以上结合图1-4描述的各种操作和功能。
根据一个实施例，提供了一种非暂时性机器可读介质。该非暂时性机器可读介质可以具有机器可执行指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本公开的各个实施例中以上结合图1-4描述的各种操作和功能。
根据一个实施例，提供了一种计算机程序产品，包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行本公开的各个实施例中以上结合图1-4描述的各种操作和功能。
上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。
本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (11)

1.机器人手眼标定方法，包括：
坐标记录步骤：控制机器人手臂末端的标定装置移动至标定板，当机器人手臂上的力传感器检测到所述标定装置的末端与所述标定板的接触达到预定大小的力时，所述机器人手臂停止移动，所述标定装置的末端在其与所述标定板的接触位置处进行标记，所述机器人手臂在垂直于所述标定板的方向上向上移动至所述机器人手臂末端处于预定高度的位置处停止，在该位置处，所述机器人手臂末端的相机对所述标定板上的标记进行拍摄，记录所述标记在相机坐标系下的坐标，并且记录在所述机器人手臂停止在该位置处时，所述标定装置的末端在机器人坐标系下的坐标；
移动控制步骤：控制所述机器人手臂在所述标定板上方平移至少两次，在每次移动之后都执行所述坐标记录步骤；以及
变换矩阵计算步骤：根据所记录的所述标定板上的至少三个标记在所述相机坐标系下的坐标和对应的所述标定装置的末端在所述机器人坐标系下的坐标来计算标定变换矩阵。
2.如权利要求1所述的方法，其中，在执行所述坐标记录步骤之前，所述方法还包括：
平行校正步骤：利用所述力传感器来校正所述相机的成像平面与所述标定板的平面平行。
3.如权利要求2所述的方法，其中，所述平行校正步骤包括：
利用所述力传感器获取所述机器人手臂末端的力矩；以及
基于所述力矩调整所述所述机器人手臂末端的姿态以使得设置在所述机器人手臂末端的所述相机的成像平面与所述标定板的平面平行。
4.如权利要求1-3中任意一项所述的方法，其中，所述预定高度根据所述相机的焦距预先设定，以使得所述标定板上的标记在所述相机的成像平面上清晰成像。
5.机器人手眼标定装置(400)，包括：
一个坐标记录单元(402)，所述坐标记录单元(402)控制机器人手臂末端的标定装置移动至标定板，当机器人手臂上的力传感器检测到所述标定装置的末端与所述标定板接触达到预定大小的力时，所述机器人手臂停止移动，所述标定装置的末端在其与所述标定板的接触位置处进行标记，所述机器人手臂在垂直于所述标定板的方向上向上移动至所述机器人手臂末端处于预定高度的位置处停止，在该位置处，所述机器人手臂末端的相机对所述标定板上的标记进行拍摄，记录所述标记在相机坐标系下的坐标，并且记录在所述机器人手臂停止在该位置处时，所述标定装置的末端在机器人坐标系下的坐标；
一个移动控制单元(404)，所述移动控制单元(404)控制所述标定装置在所述标定板上方移动至少两次，在每次移动之后都执行所述坐标记录步骤；以及
一个变换矩阵计算单元(406)，所述变换矩阵计算单元(408)根据所记录的所述标定板上的至少三个标记在所述相机坐标系下的坐标和对应的所述标定装置的末端在所述机器人坐标系下的坐标来计算标定变换矩阵。
6.如权利要求5所述的装置(400)，其中，还包括：
一个平行校正单元(408)，所述平行校正单元(408)利用所述力传感器来校正所述相机的成像平面与所述标定板的平面平行。
7.如权利要求6所述的装置(400)，其中，所述平行校正单元(401)进一步被配置为：
利用所述力传感器获取所述机器人手臂末端的力矩；以及
基于所述力矩调整所述所述机器人手臂末端的姿态以使得设置在所述机器人手臂末端的所述相机的成像平面与所述标定板的平面平行。
8.如权利要求5-7中任意一项所述的装置(400)，其中，所述预定高度根据所述相机的焦距预先设定，以使得所述标定板上的标记在所述相机的成像平面上清晰成像。
9.计算设备(500)，包括：
至少一个处理器(502)；以及
与所述至少一个处理器(502)耦合的一个存储器(504)，所述存储器用于存储指令，当所述指令被所述至少一个处理器(502)执行时，使得所述处理器(502)执行如权利要求1到4中任意一项所述的方法。
10.一种非暂时性机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得机器执行如权利要求1到4中任意一项所述的方法。
11.一种计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行根据权利要求1至4中任意一项所述的方法。
CN201980098348.XA 2019-07-19 2019-07-19 机器人手眼标定方法、装置、计算设备、介质以及产品 Active CN114174006B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/096906 WO2021012122A1 (zh) 2019-07-19 2019-07-19 机器人手眼标定方法、装置、计算设备、介质以及产品

Publications (2)

Publication Number Publication Date
CN114174006A CN114174006A (zh) 2022-03-11
CN114174006B true CN114174006B (zh) 2024-03-05

Family

ID=74192388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980098348.XA Active CN114174006B (zh) 2019-07-19 2019-07-19 机器人手眼标定方法、装置、计算设备、介质以及产品

Country Status (4)

Country Link
US (1) US20220258352A1 (zh)
EP (1) EP3988254A4 (zh)
CN (1) CN114174006B (zh)
WO (1) WO2021012122A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112958960B (zh) * 2021-02-08 2023-01-24 革点科技(深圳)有限公司 一种基于光学靶标的机器人手眼标定装置
CN113269674B (zh) * 2021-05-12 2023-03-10 深圳群宾精密工业有限公司 一种利用机器人坐标对固定3d图像空间自动拼接的方法
CN114441807B (zh) * 2021-07-22 2023-07-07 荣耀终端有限公司 一种接线方法及系统
CN113715016B (zh) * 2021-08-17 2023-05-09 嘉兴市敏硕智能科技有限公司 一种基于3d视觉的机器人抓取方法、系统、装置及介质
US20230075185A1 (en) * 2021-09-09 2023-03-09 Ford Global Technologies, Llc Method and system for positioning a moveable robotic system
CN114012718B (zh) * 2021-10-18 2023-03-31 阿里云计算有限公司 数据处理方法
CN115122333A (zh) * 2022-07-20 2022-09-30 上海节卡机器人科技有限公司 机器人标定方法、装置、电子设备及存储介质
CN117103286B (zh) * 2023-10-25 2024-03-19 杭州汇萃智能科技有限公司 一种机械手手眼标定方法、系统和可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010149267A (ja) * 2008-12-26 2010-07-08 Yaskawa Electric Corp ロボットのキャリブレーション方法および装置
CN102310409A (zh) * 2010-07-05 2012-01-11 株式会社安川电机 机器人装置及基于机器人装置的把持方法
JP2012040634A (ja) * 2010-08-18 2012-03-01 Ihi Corp 力制御ロボットのキャリブレーション装置と方法
JP2012091280A (ja) * 2010-10-27 2012-05-17 Mitsubishi Electric Corp 座標系校正方法及びロボットシステム
CN103192386A (zh) * 2012-01-06 2013-07-10 沈阳新松机器人自动化股份有限公司 基于图像视觉的洁净机器人自动化标定方法
JP2014184530A (ja) * 2013-03-25 2014-10-02 Toyota Motor Corp 教示システム及び教示修正方法
WO2014161603A1 (en) * 2013-04-05 2014-10-09 Abb Technology Ltd A robot system and method for calibration
CN106272424A (zh) * 2016-09-07 2017-01-04 华中科技大学 一种基于单目相机和三维力传感器的工业机器人抓取方法
TW201805129A (zh) * 2016-08-08 2018-02-16 達觀科技有限公司 機械手臂校正系統的校正方法
CN107808401A (zh) * 2017-10-30 2018-03-16 大族激光科技产业集团股份有限公司 机械臂末端的单相机的手眼标定方法
DE102018200154A1 (de) * 2017-01-12 2018-07-12 Fanuc Corporation Kalibrationsvorrichtung, Kalibrationsverfahren und Programm für einen visuellen Sensor
CN108972567A (zh) * 2017-05-31 2018-12-11 西门子（中国）有限公司 机械臂防碰撞系统、方法及存储介质
CN109671122A (zh) * 2018-12-14 2019-04-23 四川长虹电器股份有限公司 手眼相机标定方法及装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969108A (en) * 1988-04-08 1990-11-06 Cincinnati Milacron Inc. Vision seam tracking method and apparatus for a manipulator
US5014183A (en) * 1988-10-31 1991-05-07 Cincinnati Milacron, Inc. Method and means for path offsets memorization and recall in a manipulator
EP0576843A2 (en) * 1992-06-24 1994-01-05 Siemens Corporate Research, Inc. A method and apparatus for orienting a camera
JP3560670B2 (ja) * 1995-02-06 2004-09-02 富士通株式会社 適応的認識システム
IL113496A (en) * 1995-04-25 1999-09-22 Cognitens Ltd Apparatus and method for recreating and manipulating a 3d object based on a 2d projection thereof
US20010053204A1 (en) * 2000-02-10 2001-12-20 Nassir Navab Method and apparatus for relative calibration of a mobile X-ray C-arm and an external pose tracking system
CA2369845A1 (en) * 2002-01-31 2003-07-31 Braintech, Inc. Method and apparatus for single camera 3d vision guided robotics
KR100468857B1 (ko) * 2002-11-21 2005-01-29 삼성전자주식회사 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법
EP1744676B1 (en) * 2004-04-15 2015-07-22 The Johns Hopkins University Ultrasound calibration and real-time quality assurance based on closed form formulation
EP2023812B1 (en) * 2006-05-19 2016-01-27 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
WO2008076910A1 (en) * 2006-12-15 2008-06-26 The Board Of Trustees Of The Leland Stanford Junior University Image mosaicing systems and methods
ATE452379T1 (de) * 2007-10-11 2010-01-15 Mvtec Software Gmbh System und verfahren zur 3d-objekterkennung
US8559699B2 (en) * 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
TWI408037B (zh) * 2010-12-03 2013-09-11 Ind Tech Res Inst 機械手臂的定位方法及校正方法
CN104169965B (zh) * 2012-04-02 2018-07-03 英特尔公司 用于多拍摄装置系统中图像变形参数的运行时调整的系统、方法和计算机程序产品
WO2013173574A1 (en) * 2012-05-16 2013-11-21 The Johns Hopkins University Imaging system and method for use of same to determine metric scale of imaged bodily anatomy
JP6108860B2 (ja) * 2013-02-14 2017-04-05 キヤノン株式会社 ロボットシステム及びロボットシステムの制御方法
JP6468741B2 (ja) * 2013-07-22 2019-02-13 キヤノン株式会社 ロボットシステム及びロボットシステムの校正方法
US20160081668A1 (en) * 2013-08-27 2016-03-24 The Johns Hopkins University System and Method For Medical Imaging Calibration and Operation
JP6335460B2 (ja) * 2013-09-26 2018-05-30 キヤノン株式会社 ロボットシステムの制御装置及び指令値生成方法、並びにロボットシステムの制御方法
WO2015161297A1 (en) * 2014-04-17 2015-10-22 The Johns Hopkins University Robot assisted ultrasound system
WO2016023224A1 (en) * 2014-08-15 2016-02-18 SZ DJI Technology Co., Ltd. System and method for automatic sensor calibration
US10285760B2 (en) * 2015-02-04 2019-05-14 Queen's University At Kingston Methods and apparatus for improved electromagnetic tracking and localization
CN105844670B (zh) * 2016-03-30 2018-12-18 广东速美达自动化股份有限公司 水平机器人移动相机多点移动标定方法
CN109219785B (zh) * 2016-06-03 2021-10-01 深圳市大疆创新科技有限公司 一种多传感器校准方法与系统
US10059005B2 (en) * 2016-06-22 2018-08-28 Quanta Storage Inc. Method for teaching a robotic arm to pick or place an object
US10556347B2 (en) * 2016-11-01 2020-02-11 Brachium, Inc. Vision guided robot path programming
US10661442B2 (en) * 2017-02-03 2020-05-26 Abb Schweiz Ag Calibration article for a 3D vision robotic system
JP6964989B2 (ja) * 2017-02-09 2021-11-10 キヤノン株式会社 制御方法、ロボットシステム、物品の製造方法、プログラム、及び記録媒体
US10369698B1 (en) * 2019-03-07 2019-08-06 Mujin, Inc. Method and system for performing automatic camera calibration for robot control

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010149267A (ja) * 2008-12-26 2010-07-08 Yaskawa Electric Corp ロボットのキャリブレーション方法および装置
CN102310409A (zh) * 2010-07-05 2012-01-11 株式会社安川电机 机器人装置及基于机器人装置的把持方法
JP2012040634A (ja) * 2010-08-18 2012-03-01 Ihi Corp 力制御ロボットのキャリブレーション装置と方法
JP2012091280A (ja) * 2010-10-27 2012-05-17 Mitsubishi Electric Corp 座標系校正方法及びロボットシステム
CN103192386A (zh) * 2012-01-06 2013-07-10 沈阳新松机器人自动化股份有限公司 基于图像视觉的洁净机器人自动化标定方法
JP2014184530A (ja) * 2013-03-25 2014-10-02 Toyota Motor Corp 教示システム及び教示修正方法
WO2014161603A1 (en) * 2013-04-05 2014-10-09 Abb Technology Ltd A robot system and method for calibration
TW201805129A (zh) * 2016-08-08 2018-02-16 達觀科技有限公司 機械手臂校正系統的校正方法
CN106272424A (zh) * 2016-09-07 2017-01-04 华中科技大学 一种基于单目相机和三维力传感器的工业机器人抓取方法
DE102018200154A1 (de) * 2017-01-12 2018-07-12 Fanuc Corporation Kalibrationsvorrichtung, Kalibrationsverfahren und Programm für einen visuellen Sensor
CN108972567A (zh) * 2017-05-31 2018-12-11 西门子（中国）有限公司 机械臂防碰撞系统、方法及存储介质
CN107808401A (zh) * 2017-10-30 2018-03-16 大族激光科技产业集团股份有限公司 机械臂末端的单相机的手眼标定方法
CN109671122A (zh) * 2018-12-14 2019-04-23 四川长虹电器股份有限公司 手眼相机标定方法及装置

Also Published As

Publication number Publication date
EP3988254A1 (en) 2022-04-27
EP3988254A4 (en) 2023-02-01
WO2021012122A1 (zh) 2021-01-28
CN114174006A (zh) 2022-03-11
US20220258352A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
CN114174006B (zh) 机器人手眼标定方法、装置、计算设备、介质以及产品
CN113825980B (zh) 机器人手眼标定方法、装置、计算设备以及介质
JP6812095B2 (ja) 制御方法、プログラム、記録媒体、ロボット装置、及び物品の製造方法
US10112301B2 (en) Automatic calibration method for robot systems using a vision sensor
JP5850962B2 (ja) ビジュアルフィードバックを利用したロボットシステム
US9193073B1 (en) Robot calibration apparatus for calibrating a robot arm
JP5233601B2 (ja) ロボットシステム、ロボット制御装置およびロボット制御方法
KR20230070188A (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
JP4837116B2 (ja) 視覚センサを備えたロボットシステム
JP2015182144A (ja) ロボットシステムおよびロボットシステムの校正方法
CN104924309A (zh) 机器人系统、机器人系统的校准方法及位置修正方法
JP6235664B2 (ja) ロボットの機構パラメータを校正するために使用される計測装置
CN110276799B (zh) 一种坐标标定方法、标定系统及机械臂
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
US20190118394A1 (en) Control apparatus, robot system, method for operating control apparatus, and storage medium
JP2019098409A (ja) ロボットシステムおよびキャリブレーション方法
JPWO2018163450A1 (ja) ロボット制御装置およびキャリブレーション方法
JP2019077026A (ja) 制御装置、ロボットシステム、制御装置の動作方法及びプログラム
US10849261B2 (en) Surface mounter and method of correcting recognition error
EP3878606A1 (en) Alignment device
JP6565367B2 (ja) 位置補正システム
US20230032421A1 (en) Robot system
CN214684758U (zh) 可校正振镜打标偏移的雷射打标系统
KR100640743B1 (ko) 로봇을 이용한 레이저 비젼 시스템 교정방법
US20170328706A1 (en) Measuring apparatus, robot apparatus, robot system, measuring method, control method, and article manufacturing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant