CN113825980B - 机器人手眼标定方法、装置、计算设备以及介质 - Google Patents

机器人手眼标定方法、装置、计算设备以及介质 Download PDF

Info

Publication number
CN113825980B
CN113825980B CN201980096398.4A CN201980096398A CN113825980B CN 113825980 B CN113825980 B CN 113825980B CN 201980096398 A CN201980096398 A CN 201980096398A CN 113825980 B CN113825980 B CN 113825980B
Authority
CN
China
Prior art keywords
camera
robot arm
calibration plate
laser
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980096398.4A
Other languages
English (en)
Other versions
CN113825980A (zh
Inventor
贺银增
陈颀潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Ltd China
Original Assignee
Siemens Ltd China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Ltd China filed Critical Siemens Ltd China
Publication of CN113825980A publication Critical patent/CN113825980A/zh
Application granted granted Critical
Publication of CN113825980B publication Critical patent/CN113825980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本公开涉及机器人手眼标定方法、装置、计算设备以及介质。机器人手眼标定方法包括：坐标记录步骤：控制机器人手臂末端依次移动至标定板上方的至少三个预定位置，在每一个预定位置处：控制设置在机器人手臂上的激光器在在所述标定板上投影，记录投影时机器人手臂末端端点在机器人坐标系下的坐标，并且控制机器人手臂末端上的相机对所述标定板上的投影进行拍摄并记录该投影在相机坐标系下的坐标；以及变换矩阵计算步骤：根据所记录的所述标定板上的至少三个投影在所述相机坐标系下的坐标和每次投影时所述机器人手臂末端端点在所述机器人坐标系下的坐标来计算标定变换矩阵。

Description

机器人手眼标定方法、装置、计算设备以及介质
技术领域
本公开通常涉及机器人领域，更具体地，涉及机器人手眼标定方法、装置、计算设备以及介质。
背景技术
在工业应用领域中，机器人需要依靠手眼系统执行机械加工、安装等任务。手眼系统是由相机和机器人手臂构成的视觉系统，其中，相机相当于人的眼睛，机器人手臂末端相当于人的手。
视觉定位引导机器人手臂执行任务，首先要将相机坐标和机器人坐标进行标定，使视觉定位的相机坐标转换为机器人坐标，以完成视觉的引导，其中手眼标定是视觉引导机器人手臂的关键所在。
目前这个手眼标定过程通常是通过人工来完成，机器人需要由相机示教。具体地，在机器人手臂末端安装一个标定针，手动操作机器人手臂移动至标定板的九个点的位置。由于相机坐标系和机器人坐标系中的目标位置都要收集来计算标定数据，这需要开发者的大量工作；此外，由于标定针的精度会影响标定精度，且手动操作机器人手臂移动至九个点的精度要求较高，标定精度受人为因素影响较大且标定的时间较长，因此，传统的手眼标定的方法存在标定过程复杂、标定效率低且标定精度受人为因素影响较大的问题。
另外，由于标定工具中心点不完全垂直于标定板也会影响标定的精度。
因此，需要一种具有较高测量精度的自动手眼标定的方法。
发明内容
在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于上述，本公开提供了一种具有较高测量精度的自动手眼标定的方法。在本公开的技术方案中，在机器人手臂上引入了一个激光器，利用该激光器可以实现自动手眼标定。
根据本公开的一个方面，提供了机器人手眼标定方法，包括：坐标记录步骤：控制机器人手臂末端依次移动至标定板上方的至少三个预定位置，在每一个预定位置处：控制设置在机器人手臂上的激光器在在所述标定板上投影，记录投影时机器人手臂末端端点在机器人坐标系下的坐标，并且控制机器人手臂末端上的相机对所述标定板上的投影进行拍摄并记录该投影在相机坐标系下的坐标；以及变换矩阵计算步骤：根据所记录的所述标定板上的至少三个投影在所述相机坐标系下的坐标和每次投影时所述机器人手臂末端端点在所述机器人坐标系下的坐标来计算标定变换矩阵。
以这样的方式，通过用程序控制激光器在标定板上分别进行至少三次投影，并分别用相机拍摄这些投影，基于所记录的这三个投影分别在相机坐标系下的坐标和投影时机器人手臂末端端点在机器人坐标系下的坐标来计算标定变换矩阵，可以在没有人为操作的情况下，自动完成手眼标定的过程。
可选地，在上述方面的一个示例中，所述激光器包括激光测距部件和激光投影部件，其中，所述激光投影部件用于在所述标定板上投影。
可选地，在上述方面的一个示例中，所述激光测距部件的激光束前进方向与所述相机的光轴平行，以及所述激光投影部件的激光束前进方向与所述相机的光轴平行。
可选地，在上述方面的一个示例中，在执行所述机器人坐标记录步骤之前，所述方法还包括：平行校正步骤：利用所述激光器的激光测距部件来校正所述机器人手臂末端上的相机的成像平面与所述标定板的平面平行。
可选地，在上述方面的一个示例中，所述平行校正步骤包括：控制所述机器人手臂末端在所述标定板上方跟随平行于所述相机的成像平面的平面上移动到不共线的三个点；基于所述三个点计算出所述机器人手臂末端的运动平面；利用所述激光测距部件计算所述运动平面与所述标定板的夹角，从而获得所述成像平面与所述标定板的夹角；以及根据所计算的夹角调整所述机器人手臂末端的姿态，使得设置在所述机器人手臂末端的所述相机的成像平面与所述标定板平行。
以这样的方式，可以实现相机的成像平面与标定板的平面平行，从而减小由于相机的成像平面与标定板的平面不平行所引起的标定误差，提高手眼标定的精确度。
可选地，在上述方面的一个示例中，在执行所述机器人坐标记录步骤之前，所述方法还包括：距离调整步骤：用所述激光测距部件测量所述相机与所述标定板之间的距离，并且调整所述相机与所述标定板之间保持预定距离，其中，所述预定距离根据所述相机的焦距预先设定，以使得所述标定板上的投影在所述相机的成像平面上清晰成像。
以这样的方式，可以使得相机在进行拍摄时与标定板之间保持合适的距离，来确保相机成像的清晰度，从而进一步提高标定精确度。
根据本公开的另一方面，提供了机器人手眼标定装置，包括：坐标记录单元，所述坐标记录单元控制机器人手臂末端依次移动至标定板上方的至少三个预定位置，在每一个预定位置处：控制设置在机器人手臂上的激光器在所述标定板上投影，记录投影时机器人手臂末端端点在机器人坐标系下的坐标，并且控制机器人手臂末端上的相机对所述标定板上的投影进行拍摄并记录该投影在相机坐标系下的坐标；以及变换矩阵计算单元，所述变换矩阵计算单元根据所记录的所述标定板上的至少三个投影在所述相机坐标系下的坐标和每次投影时所述机器人手臂末端在所述机器人坐标系下的坐标来计算标定变换矩阵。
可选地，在上述方面的一个示例中，所述激光器包括激光测距部件和激光投影部件，其中，所述激光投影部件用于在所述标定板上投影。
可选地，在上述方面的一个示例中，所述激光测距部件的激光束前进方向与所述相机的光轴平行，以及所述激光投影部件的激光束前进方向与所述相机的光轴平行。
可选地，在上述方面的一个示例中，机器人手眼标定装置还包括：一个平行校正单元，所述平行校正单元控制所述激光器的激光测距部件来校正所述机器人手臂末端上的相机的成像平面与所述标定板的平面平行。
可选地，在上述方面的一个示例中，所述平行校正单元进一步被配置为：控制所述机器人手臂末端在所述标定板上方跟随平行于所述相机的成像平面的平面上移动到不共线的三个点；基于所述三个点计算出所述机器人手臂末端的运动平面；利用所述激光测距部件计算所述运动平面与所述标定板的夹角，从而获得所述成像平面与所述标定板的夹角；以及根据所计算的夹角调整所述机器人手臂末端的姿态，使得设置在所述机器人手臂末端的所述相机的成像平面与所述标定板平行。
可选地，在上述方面的一个示例中，机器人手眼标定装置还包括：一个距离调整单元，所述距离调整单元控制所述激光测距部件测量所述相机与所述标定板之间的距离，并且调整所述相机与所述标定板之间保持预定距离，其中，所述预定距离根据所述相机的焦距预先设定，以使得所述标定板上的投影在所述相机的成像平面上清晰成像。
根据本公开的另一方面，提供了机器人手臂，包括：一个激光器；以及一个相机；其中，所述激光器包括激光测距部件和激光投影部件，所述激光投影部件用于在标定板上投影，所述激光测距部件用于校正所述相机的成像平面与所述标定板的平面平行。
根据本公开的另一方面，提供了一种计算设备，包括：至少一个处理器；以及与所述至少一个处理器耦合的一个存储器，所述存储器用于存储指令，当所述指令被所述至少一个处理器执行时，使得所述处理器执行如上所述的方法。
根据本公开的另一方面，提供了一种非暂时性机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的方法。
附图说明
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。以下附图仅旨在于对本发明做示意性说明和解释，并不限定本发明的范围。
图1示出了根据本公开的一个实施例的机器人手臂的示意图；
图2示出了根据本公开的一个实施例的机器人手眼标定方法的示例性过程的流程图；
图3是示出图2中的方框S206中的操作的一种示例性过程的流程图；
图4是示出了根据本公开的一个实施例的机器人手眼标定装置的示例性配置的框图；以及
图5示出了根据本公开的实施例的对机器人进行手眼标定的计算设备的方框图。
附图标记
102：机器人
104：激光器
106：相机
108：标定板。
200：机器人手眼标定方法
S202、S204、S206、S208、S302、S304、S306、S308：步骤
400：机器人手眼标定装置
402：坐标记录单元
404：变换矩阵计算单元
406：平行校正单元
408：距离调整单元
500：计算设备
502：处理器
504：存储器
具体实施方式
现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。
如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。
本公开提供了一种具有较高测量精度的自动手眼标定的方法。在本公开的技术方案中，在机器人手臂上引入了一个激光器，利用该激光器可以实现自动手眼标定。
图1示出了根据本公开的一个实施例的机器人的示意图。在图1中，102是机器人手臂，104是设置在机器人手臂末端的激光器，106是设置在机器人手臂末端的相机，108是标定板。
其中，激光器104包括激光测距部件和激光投影部件，激光投影部件用于在标定板108上投影，激光测距部件用于校正相机106的成像平面与所述标定板108的平面平行。
其中，激光器104可以是激光测距部件和激光投影部件两个激光器部件集成在一起，也可以是由一个即有测距功能也有投影功能的激光器来实现。
可以理解，图1是设置有一个激光器的机器人手臂的示意图，其中各部件之间的关系只是示意性的，本领域技术人员可以根据需要来设置各部件之间的位置关系，而不限于图1所示。
现在结合附图来描述根据本公开实施例的机器人手眼标定方法和装置。
图2示出了根据本公开的一个实施例的机器人手眼标定方法200的示例性过程的流程图。
首先，在方框S202中，执行坐标记录步骤，控制机器人手臂末端依次移动至标定板上方的至少三个预定位置，在每一个预定位置处：控制设置在机器人手臂上的激光器在在所述标定板上投影，记录投影时机器人手臂末端端点在机器人坐标系下的坐标，并且控制机器人手臂末端上的相机对所述标定板上的投影进行拍摄并记录该投影在相机坐标系下的坐标。
在根据本公开的一个实施例中，激光器包括激光测距部件和激光投影部件，其中，激光投影部件用于在标定板上投影。
其中，所述激光测距部件的激光束前进方向与所述相机的光轴平行，以及所述激光投影部件的激光束前进方向与所述相机的光轴平行。
其中，所记录的投影在相机坐标系下的坐标是投影的几何中心的坐标。
通过该步骤，可以记录标定板上的至少三个投影在相机坐标系下和每次投影时所述机器人手臂末端端点在机器人坐标系下的至少三组坐标。
其中，可以通过程序来控制机器人手臂末端依次移动到至少三个预定位置，这三个预定位置被设定为不共线，且这三个预定位置所形成的平面平行于相机的成像平面。
此外，设定预定位置时还可以考虑在机器人合理的活动范围内，即不应该设定到机器人到达不了或不易到达的地方；三点之间的距离需要考虑标定板的大小，即不要过大而超过标定板，也不要过小而影响标定的精度。优选地，可以将三点的之间跨越的距离约为标定板长宽的三分之二。
然后，在方框S204中，执行变换矩阵计算步骤，根据所记录的所述标定板上的至少三个投影在所述相机坐标系下的坐标和每次投影时所述机器人手臂末端在所述机器人坐标系下的坐标来计算标定变换矩阵。
本领域技术人员可以理解基于这三组坐标来计算变换矩阵的具体过程本领域技术人员，在此不再赘述。
在根据本实施例的方法中，通过用程序控制激光器在标定板上分别进行至少三次投影，并分别用相机拍摄这些投影，基于所记录的这三个投影分别在相机坐标系下的坐标和投影时机器人手臂末端端点在机器人坐标系下的坐标来计算标定变换矩阵，可以在没有人为操作的情况下，自动完成手眼标定的过程。
在一个示例中，在进行手眼标定的过程之前，根据本公开的方法还可以包括方框S206中的平行校正步骤，利用所述激光器的激光测距部件来校正所述机器人手臂末端上的相机的成像平面与所述标定板的平面平行。
具体地，如图3所示，可以通过以下过程来实现方框S206中的操作。
首先，在方框S302中，控制所述机器人手臂末端在所述标定板上方跟随平行于所述相机的成像平面的平面上移动到不共线的三个点。
接着，在方框S304中，基于所述三个点计算出所述机器人手臂末端的运动平面。
在方框S306中，利用所述激光测距部件计算所述运动平面与所述标定板的夹角，从而获得所述成像平面与所述标定板的夹角。
最后，在方框S308中，根据所计算的夹角调整所述机器人手臂末端的姿态，使得设置在所述机器人手臂末端的所述相机的成像平面与所述标定板平行。
也就是说，在进行机器人手眼标定之前，先通过平行校正步骤来确定机器人手臂末端的姿态使得机器人手臂末端上的相机的成像平面与标定板平面平行。在此后移动机器人手臂进行手眼标定时都保持机器人手臂的姿态不变，而仅在x、y、z方向上移动。
通过采用图3所示的方式来实现相机的成像平面与标定板的平行，可以减小由于相机的成像平面与标定板不平行所引起的标定误差，从而可以提高手眼标定的精确度。
在一个示例中，根据本公开的方法还可以包括方框S208中的距离调整步骤：用所述激光测距部件测量所述相机与所述标定板之间的距离，并且调整所述相机与所述标定板之间保持预定距离，其中，所述预定距离根据所述相机的焦距预先设定，以使得所述标定板上的投影在所述相机的成像平面上清晰成像。
由于机器人通常采用的工业镜头不是自动对焦的，需要手动对焦。这意味着在某个距离上的物体拍的最清晰。离镜头太近或太远，图像都不清晰。另一方面，在不同距离下，物体在CCD/CMOS成像尺寸是不同的(反映为两个像素对应的物理距离不一样)，只有在固定距离下，标定才有意义。因此，通过上述方框S210中的操作使得相机与标定板之间保持预定距离，来确保相机成像的清晰度，可以进一步提高标定精确度。
图4是示出了根据本公开的一个实施例的机器人手眼标定装置400的示例性配置的框图。
如图4所示，机器人手眼标定装置400包括：一个坐标记录单元402和一个变换矩阵计算单元404。
其中，机器人坐标记录单元402控制机器人手臂末端依次移动至标定板上方的至少三个预定位置，在每一个预定位置处：控制设置在机器人手臂上的激光器在所述标定板上投影，记录投影时机器人手臂末端端点在机器人坐标系下的坐标，并且控制机器人手臂末端上的相机对所述标定板上的投影进行拍摄并记录该投影在相机坐标系下的坐标。
变换矩阵计算单元404根据所记录的所述标定板上的至少三个投影在所述相机坐标系下的坐标和每次投影时所述机器人手臂末端在所述机器人坐标系下的坐标来计算标定变换矩阵。
在根据本公开的一个实施例中，激光器包括激光测距部件和激光投影部件，其中，激光投影部件用于在标定板上投影。
其中，所述激光测距部件的激光束前进方向与所述相机的光轴平行，以及所述激光投影部件的激光束前进方向与所述相机的光轴平行。
在一个示例中，机器人手眼标定装置400还可以包括一个平行校正单元406，所述平行校正单元406控制所述激光器的激光测距部件来校正所述机器人手臂末端上的相机的成像平面与所述标定板的平面平行。
具体地，所述平行校正单元406可以被配置为：控制所述机器人手臂末端在所述标定板上方跟随平行于所述相机的成像平面的平面上移动到不共线的三个点；基于所述三个点计算出所述机器人手臂末端的运动平面；利用所述激光测距部件计算所述运动平面与所述标定板的夹角，从而获得所述成像平面与所述标定板的夹角；以及根据所计算的夹角调整所述机器人手臂末端的姿态，使得设置在所述机器人手臂末端的所述相机的成像平面与所述标定板平行。
在另一个示例中，机器人手眼标定装置400还可以包括一个距离调整单元408，所述距离调整单元408控制所述激光测距部件测量所述相机与所述标定板之间的距离，并且调整所述相机与所述标定板之间保持预定距离，其中，所述预定距离根据所述相机的焦距预先设定，以使得所述标定板上的投影在所述相机的成像平面上清晰成像。
机器人手眼标定装置400的各个部分的操作和功能的细节例如可以与参照结合图1-3所描述的本公开的机器人手眼标定方法的实施例的相关部分相同或类似，这里不再详细描述。
在此需要说明的是，图4所示的机器人手眼标定装置400及其组成单元的结构仅仅是示例性的，本领域技术人员可以根据需要对图4所示的结构框图进行修改。
如上参照图1到图4，对根据本公开的实施例的机器人手眼标定方法和装置进行了描述。上面的机器人手眼标定装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。
在本公开中，机器人手眼标定装置400可以利用计算设备实现。图5示出了根据本公开的实施例的对机器人进行手眼标定的计算设备500的方框图。根据一个实施例，计算设备500可以包括至少一个处理器502，处理器502执行在计算机可读存储介质(即，存储器504)中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。
在一个实施例中，在存储器504中存储计算机可执行指令，其当执行时使得至少一个处理器502完成以下动作：控制机器人手臂末端依次移动至标定板上方的至少三个预定位置，在每一个预定位置处：控制设置在机器人手臂上的激光器在在所述标定板上投影，记录投影时机器人手臂末端端点在机器人坐标系下的坐标，并且控制机器人手臂末端上的相机对所述标定板上的投影进行拍摄并记录该投影在相机坐标系下的坐标；以及根据所记录的所述标定板上的至少三个投影在所述相机坐标系下的坐标和每次投影时所述机器人手臂末端端点在所述机器人坐标系下的坐标来计算标定变换矩阵。
应该理解，在存储器504中存储的计算机可执行指令当执行时使得至少一个处理器502进行本公开的各个实施例中以上结合图1-4描述的各种操作和功能。
根据一个实施例，提供了一种非暂时性机器可读介质。该非暂时性机器可读介质可以具有机器可执行指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本公开的各个实施例中以上结合图1-4描述的各种操作和功能。
根据一个实施例，提供了一种计算机程序产品，包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行本公开的各个实施例中以上结合图1-4描述的各种操作和功能。
上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。
本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (11)

1.机器人手眼标定方法，包括：
坐标记录步骤：控制机器人手臂末端依次移动至标定板上方的至少三个预定位置，在每一个预定位置处：控制设置在机器人手臂上的激光器在在所述标定板上投影，记录投影时机器人手臂末端端点在机器人坐标系下的坐标，并且控制机器人手臂末端上的相机对所述标定板上的投影进行拍摄并记录该投影在相机坐标系下的坐标；以及
变换矩阵计算步骤：根据所记录的所述标定板上的至少三个投影在所述相机坐标系下的坐标和每次投影时所述机器人手臂末端端点在所述机器人坐标系下的坐标来计算标定变换矩阵；
在执行所述坐标记录步骤之前，所述方法还包括：
平行校正步骤：利用所述激光器的激光测距部件来校正所述机器人手臂末端上的相机的成像平面与所述标定板的平面平行；
所述平行校正步骤包括：
控制所述机器人手臂末端在所述标定板上方跟随平行于所述相机的成像平面的平面上移动到不共线的三个点；
控制所述机器人手臂末端在所述标定板上方跟随平行于所述相机的成像平面的平面；基于所述三个点计算出所述机器人手臂末端的运动平面；
利用所述激光测距部件计算所述运动平面与所述标定板的夹角，从而获得所述成像平面与所述标定板的夹角；以及
根据所计算的夹角调整所述机器人手臂末端的姿态，使得设置在所述机器人手臂末端的所述相机的成像平面与所述标定板平行；
其中移动机器人手臂进行手眼标定时都保持机器人手臂末端的姿态不变。
2.如权利要求1所述的方法，其中，所述激光器包括激光测距部件和激光投影部件，其中，所述激光投影部件用于在所述标定板上投影。
3.如权利要求2所述的方法，其中，所述激光测距部件的激光束前进方向与所述相机的光轴平行，以及所述激光投影部件的激光束前进方向与所述相机的光轴平行。
4.如权利要求1-3中任意一项所述的方法，其中，在执行所述坐标记录步骤之前，所述方法还包括：距离调整步骤：用所述激光测距部件测量所述相机与所述标定板之间的距离，并且调整所述相机与所述标定板之间保持预定距离，其中，所述预定距离根据所述相机的焦距预先设定，以使得所述标定板上的投影在所述相机的成像平面上清晰成像。
5.机器人手眼标定装置(400)，包括：
坐标记录单元(402)，所述坐标记录单元(402)控制机器人手臂末端依次移动至标定板上方的至少三个预定位置，在每一个预定位置处：控制设置在机器人手臂上的激光器在所述标定板上投影，记录投影时机器人手臂末端端点在机器人坐标系下的坐标，并且控制机器人手臂末端上的相机对所述标定板上的投影进行拍摄并记录该投影在相机坐标系下的坐标；以及
变换矩阵计算单元(404)，所述变换矩阵计算单元(404)根据所记录的所述标定板上的至少三个投影在所述相机坐标系下的坐标和每次投影时所述机器人手臂末端在所述机器人坐标系下的坐标来计算标定变换矩阵；
还包括：
一个平行校正单元(406)，所述平行校正单元(406)控制所述激光器的激光测距部件来校正所述机器人手臂末端上的相机的成像平面与所述标定板的平面平行；
所述平行校正单元(406)进一步被配置为：
控制所述机器人手臂末端在所述标定板上方跟随平行于所述相机的成像平面的平面上移动到不共线的三个点；
基于所述三个点计算出所述机器人手臂末端的运动平面；
利用所述激光测距部件计算所述运动平面与所述标定板的夹角，从而获得所述成像平面与所述标定板的夹角；以及
根据所计算的夹角调整所述机器人手臂末端的姿态，使得设置在所述机器人手臂末端的所述相机的成像平面与所述标定板平行；
其中移动机器人手臂进行手眼标定时都保持机器人手臂末端的姿态不变。
6.如权利要求5所述的装置(400)，其中，所述激光器包括激光测距部件和激光投影部件，其中，所述激光投影部件用于在所述标定板上投影。
7.如权利要求6所述的装置(400)，其中，所述激光测距部件的激光束前进方向与所述相机的光轴平行，以及所述激光投影部件的激光束前进方向与所述相机的光轴平行。
8.如权利要求5-7中任意一项所述的装置(400)，还包括：
一个距离调整单元(408)，所述距离调整单元(408)控制所述激光测距部件测量所述相机与所述标定板之间的距离，并且调整所述相机与所述标定板之间保持预定距离，其中，所述预定距离根据所述相机的焦距预先设定，以使得所述标定板上的投影在所述相机的成像平面上清晰成像。
9.机器人手臂(102)，包括：
一个激光器(104)；以及
一个相机(106)；
其中，所述激光器(104)包括激光测距部件和激光投影部件，所述激光投影部件用于在标定板(108)上投影，所述激光测距部件用于校正所述相机(106)的成像平面与所述标定板(108)的平面平行；
其中所述激光测距部件，被配置为控制所述机器人手臂末端在所述标定板上方跟随平行于所述相机的成像平面的平面上移动到不共线的三个点；基于所述三个点计算出所述机器人手臂末端的运动平面；利用所述激光测距部件计算所述运动平面与所述标定板的夹角，从而获得所述成像平面与所述标定板的夹角；以及根据所计算的夹角调整所述机器人手臂末端的姿态，使得设置在所述机器人手臂末端的所述相机的成像平面与所述标定板平行；
其中移动机器人手臂进行手眼标定时都保持机器人手臂末端的姿态不变。
10.计算设备(500)，包括：
至少一个处理器(502)；以及
与所述至少一个处理器(502)耦合的一个存储器(504)，所述存储器用于存储指令，当所述指令被所述至少一个处理器(502)执行时，使得所述处理器(502)执行如权利要求1到4中任意一项所述的方法。
11.一种非暂时性机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得机器执行如权利要求1到4中任意一项所述的方法。
CN201980096398.4A 2019-07-19 2019-07-19 机器人手眼标定方法、装置、计算设备以及介质 Active CN113825980B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/096908 WO2021012124A1 (zh) 2019-07-19 2019-07-19 机器人手眼标定方法、装置、计算设备、介质以及产品

Publications (2)

Publication Number Publication Date
CN113825980A CN113825980A (zh) 2021-12-21
CN113825980B true CN113825980B (zh) 2024-04-09

Family

ID=74192603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980096398.4A Active CN113825980B (zh) 2019-07-19 2019-07-19 机器人手眼标定方法、装置、计算设备以及介质

Country Status (4)

Country Link
US (1) US20220250248A1 (zh)
EP (1) EP3974779A4 (zh)
CN (1) CN113825980B (zh)
WO (1) WO2021012124A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907682B (zh) * 2021-04-07 2022-11-25 歌尔光学科技有限公司 一种五轴运动平台的手眼标定方法、装置及相关设备
CN113664835B (zh) * 2021-09-15 2022-10-14 杭州景吾智能科技有限公司 机器人自动手眼标定方法与系统
CN113843792B (zh) * 2021-09-23 2024-02-06 四川锋准机器人科技有限公司 一种手术机器人的手眼标定方法
CN115488883B (zh) * 2022-09-06 2023-11-07 群青华创(南京)智能科技有限公司 机器人手眼标定方法、装置及系统
CN116038701B (zh) * 2022-12-30 2023-12-05 北京中科原动力科技有限公司 一种四轴机械臂的手眼标定方法及装置
CN116160454A (zh) * 2023-03-28 2023-05-26 重庆智能机器人研究院 机器人末端平面视觉“手-眼”标定算法模型

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012105727A1 (en) * 2011-01-31 2012-08-09 Agency For Defense Development Device, system and method for calibration of camera and laser sensor
CN105157725A (zh) * 2015-07-29 2015-12-16 华南理工大学 一种二维激光视觉传感器和机器人的手眼标定方法
CN105303560A (zh) * 2015-09-22 2016-02-03 中国计量学院 机器人激光扫描式焊缝跟踪系统标定方法
CN106335061A (zh) * 2016-11-11 2017-01-18 福州大学 一种基于四自由度机器人的手眼关系标定方法
CN106595700A (zh) * 2015-10-15 2017-04-26 南京理工大学 基于三点坐标测量的靶道空间基准标定方法
CN107253190A (zh) * 2017-01-23 2017-10-17 梅卡曼德（北京）机器人科技有限公司 一种高精度机器人手眼相机自动标定的装置及其使用方法
CN109153125A (zh) * 2016-05-31 2019-01-04 西门子股份公司 用于定向工业机器人的方法和工业机器人
CN109671122A (zh) * 2018-12-14 2019-04-23 四川长虹电器股份有限公司 手眼相机标定方法及装置
CN109794938A (zh) * 2019-02-01 2019-05-24 南京航空航天大学 一种适用于曲面结构的机器人制孔误差补偿装置及其方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152550A (ja) * 2008-12-24 2010-07-08 Canon Inc 作業装置及びその校正方法
US20130338525A1 (en) * 2012-04-24 2013-12-19 Irobot Corporation Mobile Human Interface Robot
EP2981397B1 (en) * 2013-04-05 2017-06-14 ABB Schweiz AG A robot system and method for calibration
US10162352B2 (en) * 2013-05-13 2018-12-25 The Boeing Company Remotely operated mobile stand-off measurement and inspection system
US20160260250A1 (en) * 2015-03-05 2016-09-08 Dejan Jovanovic Method and system for 3d capture based on structure from motion with pose detection tool
US9807292B2 (en) * 2015-06-30 2017-10-31 Abb Schweiz Ag Technologies for pan tilt unit calibration
EP3356090B1 (en) * 2015-09-29 2020-12-23 Koninklijke Philips N.V. Automatic robotic arm calibration to camera system using a laser
US10076842B2 (en) * 2016-09-28 2018-09-18 Cognex Corporation Simultaneous kinematic and hand-eye calibration
CN107465868B (zh) * 2017-06-21 2018-11-16 珠海格力电器股份有限公司 基于终端的物体识别方法、装置及电子设备
US10791275B2 (en) * 2017-09-25 2020-09-29 The Boeing Company Methods for measuring and inspecting structures using cable-suspended platforms
US11274929B1 (en) * 2017-10-17 2022-03-15 AI Incorporated Method for constructing a map while performing work
CN109900251A (zh) * 2017-12-07 2019-06-18 广州映博智能科技有限公司 一种基于视觉技术的机器人定位装置及方法
US10633066B2 (en) * 2018-03-27 2020-04-28 The Boeing Company Apparatus and methods for measuring positions of points on submerged surfaces
US10634632B2 (en) * 2018-04-25 2020-04-28 The Boeing Company Methods for inspecting structures having non-planar surfaces using location alignment feedback
CN109278044A (zh) * 2018-09-14 2019-01-29 合肥工业大学 一种手眼标定及坐标转换方法
US20210129339A1 (en) * 2019-11-05 2021-05-06 Elementary Robotics, Inc. Calibration and zeroing in robotic systems

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012105727A1 (en) * 2011-01-31 2012-08-09 Agency For Defense Development Device, system and method for calibration of camera and laser sensor
CN105157725A (zh) * 2015-07-29 2015-12-16 华南理工大学 一种二维激光视觉传感器和机器人的手眼标定方法
CN105303560A (zh) * 2015-09-22 2016-02-03 中国计量学院 机器人激光扫描式焊缝跟踪系统标定方法
CN106595700A (zh) * 2015-10-15 2017-04-26 南京理工大学 基于三点坐标测量的靶道空间基准标定方法
CN109153125A (zh) * 2016-05-31 2019-01-04 西门子股份公司 用于定向工业机器人的方法和工业机器人
CN106335061A (zh) * 2016-11-11 2017-01-18 福州大学 一种基于四自由度机器人的手眼关系标定方法
CN107253190A (zh) * 2017-01-23 2017-10-17 梅卡曼德（北京）机器人科技有限公司 一种高精度机器人手眼相机自动标定的装置及其使用方法
CN109671122A (zh) * 2018-12-14 2019-04-23 四川长虹电器股份有限公司 手眼相机标定方法及装置
CN109794938A (zh) * 2019-02-01 2019-05-24 南京航空航天大学 一种适用于曲面结构的机器人制孔误差补偿装置及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Robotic Hand-Eye Calibration Based on Active Vision;HUANG CHAOXING 等;2015 8TH INTERNATIONAL SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE AND DESIGN (ISCID);第1卷;第55-59页 *
一种固定视点的机器人手眼关系标定方法;谢小鹏;彭泽林;;中国测试;第44卷(第06期);第1-5、16页 *

Also Published As

Publication number Publication date
WO2021012124A1 (zh) 2021-01-28
CN113825980A (zh) 2021-12-21
US20220250248A1 (en) 2022-08-11
EP3974779A4 (en) 2023-01-11
EP3974779A1 (en) 2022-03-30

Similar Documents

Publication Publication Date Title
CN113825980B (zh) 机器人手眼标定方法、装置、计算设备以及介质
CN114174006B (zh) 机器人手眼标定方法、装置、计算设备、介质以及产品
US10112301B2 (en) Automatic calibration method for robot systems using a vision sensor
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
TWI672206B (zh) 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統
KR102280663B1 (ko) 비전 가이드 로봇 암 교정 방법
JP6167622B2 (ja) 制御システムおよび制御方法
US9221176B2 (en) Robot system and method for controlling the same
JP6812095B2 (ja) 制御方法、プログラム、記録媒体、ロボット装置、及び物品の製造方法
CN108700408B (zh) 三维形状数据及纹理信息生成系统、方法及拍摄控制方法
JP2015182144A (ja) ロボットシステムおよびロボットシステムの校正方法
WO2018163450A1 (ja) ロボット制御装置およびキャリブレーション方法
CN110276799B (zh) 一种坐标标定方法、标定系统及机械臂
US11358290B2 (en) Control apparatus, robot system, method for operating control apparatus, and storage medium
CN110722558B (zh) 机器人的原点校正方法、装置、控制器和存储介质
US10569418B2 (en) Robot controller for executing calibration, measurement system and calibration method
US10875186B2 (en) Robot system
EP3602214B1 (en) Method and apparatus for estimating system error of commissioning tool of industrial robot
US11951637B2 (en) Calibration apparatus and calibration method for coordinate system of robotic arm
JP2019077026A (ja) 制御装置、ロボットシステム、制御装置の動作方法及びプログラム
CN105527980B (zh) 双目视觉系统目标跟踪控制方法
CN214684758U (zh) 可校正振镜打标偏移的雷射打标系统
CN112743546B (zh) 机器人手眼标定位姿选择方法、装置、机器人系统及介质
US20170328706A1 (en) Measuring apparatus, robot apparatus, robot system, measuring method, control method, and article manufacturing method
KR100640743B1 (ko) 로봇을 이용한 레이저 비젼 시스템 교정방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant