CN113613850B - 一种坐标系校准方法、装置和计算机可读介质 - Google Patents

一种坐标系校准方法、装置和计算机可读介质 Download PDF

Info

Publication number
CN113613850B
CN113613850B CN201980094555.8A CN201980094555A CN113613850B CN 113613850 B CN113613850 B CN 113613850B CN 201980094555 A CN201980094555 A CN 201980094555A CN 113613850 B CN113613850 B CN 113613850B
Authority
CN
China
Prior art keywords
actuator
coordinate system
axis
coordinates
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980094555.8A
Other languages
English (en)
Other versions
CN113613850A (zh
Inventor
梁栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Ltd China
Original Assignee
Siemens Ltd China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Ltd China filed Critical Siemens Ltd China
Publication of CN113613850A publication Critical patent/CN113613850A/zh
Application granted granted Critical
Publication of CN113613850B publication Critical patent/CN113613850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39024Calibration of manipulator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39057Hand eye calibration, eye, camera on hand, end effector

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

涉及工业机器人技术领域,尤其涉及一种坐标系校准方法、装置和计算机可读介质。本发明实施例提供的一种坐标校准方法包括:在执行器处于以实际的执行器坐标系的z”轴为轴旋转达到三个不同位置时分别控制与摄像头对工作台上的目标物体拍照;将三个位置处时所拍摄照片中目标物体的位置合并一张照片中,确定照片中目标物体的三个位置所在圆周的圆心P3在摄像头坐标系下的坐标;使执行器沿着z”轴移动且末端触碰工作台,标记触碰点作为点P2;控制执行器沿着z”轴返回第一位置处并控制摄像头拍照;根据照片中P2的位置确定P2在摄像头坐标系下的坐标;根据在摄像头坐标系下P2和P3的坐标,以及执行器从第一位置延z”轴移动的距离,确定z”轴与理论上的执行器坐标系的z轴之间偏离的程度。具有操作简单的优点。

Description

一种坐标系校准方法、装置和计算机可读介质
技术领域
本发明涉及工业机器人技术领域,尤其涉及一种坐标系校准方法、装置和计算机可读介质。
背景技术
“eye on hand”机器人是指摄像头(眼)安装在机械臂所连接的执行器(手,比如一个夹持器)上,而非安装在机器人旁边。为了实现执行器自动执行操作过程中与摄像头之间相互配合,需要确定执行器坐标系和摄像头坐标系之间的转换关系,即进行手-眼校准。
图1示出了目前使用的一种手-眼校准的方法。该方法中,用户30控制机械臂21沿着设定的路径经过工作台40上的各个点,在移动过程中控制摄像头10对工作台40上一个目标物体60进行拍照。然后根据在机械臂21移动过程中执行器20的位置以及拍照所记录的目标物体60的坐标来确定两个坐标系之间的转换关系。
目前手眼校准方法应用的一个假设的前提条件是,执行器坐标系的z轴与工作台40垂直。如果不满足这个前提条件,就会引入误差。
发明内容
本发明实施例提供了一种坐标系校准方法、装置和计算机可读介质,用于确定上述执行器坐标系的z轴与工作台不垂直所引入的误差。
第一方面,提供一种坐标系校准方法。该方法可包括:在一个机械臂上所固定连接的执行器处于第一位置、第二位置和第三位置时,分别控制与所述执行器固定连接的摄像头对机械臂所操作的工作台上放置的目标物体拍照,其中,所述第二位置和所述第三位置是所述执行器以实际的执行器坐标系的z”轴为轴从所述第一位置旋转到的两个位置;将所述执行器处于所述第二位置和所述第三位置处时所拍摄照片中目标物体的位置合并到所述执行器处于所述第一位置处时所拍摄照片中;确定合并位置后的照片中目标物体的三个位置所在圆周的圆心P3在摄像头坐标系下的坐标;控制所述机械臂使得所述执行器沿着所述z”轴移动且所述执行器的末端触碰所述工作台,标记所述执行器触碰所述工作台上的点作为点P2;控制所述机械臂使得所述执行器沿着所述z”轴返回所述第一位置处并控制所述摄像头拍照;根据照片中P2的位置确定P2在摄像头坐标系下的坐标;根据在摄像头坐标系下P2和P3的坐标,以及执行器从所述第一位置延所述z”轴移动的距离,确定所述z”轴与理论上的执行器坐标系的z轴之间偏离的程度。
第二方面,提供一种坐标系校准装置,包括:一个控制模块,被配置为:在一个机械臂上所固定连接的执行器处于第一位置、第二位置和第三位置时,分别控制与所述执行器固定连接的摄像头对机械臂所操作的工作台上放置的目标物体拍照,其中,所述第二位置和所述第三位置是所述执行器以实际的执行器坐标系的z”轴为轴从所述第一位置旋转到的两个位置;一个照片处理模块,被配置为:将所述执行器处于所述第二位置和所述第三位置处时所拍摄照片中目标物体的位置合并到所述执行器处于所述第一位置处时所拍摄照片中;一个计算模块,被配置为:确定合并位置后的照片中目标物体的三个位置所在圆周的圆心P3在摄像头坐标系下的坐标;所述控制模块,还被配置为:控制所述机械臂使得所述执行器沿着所述z”轴移动且所述执行器的末端触碰所述工作台,标记所述执行器触碰所述工作台上的点作为点P2,以及控制所述机械臂使得所述执行器沿着所述z”轴返回所述第一位置处并控制所述摄像头拍照;所述计算模块,还被配置为:根据照片中P2的位置确定P2在摄像头坐标系下的坐标,以及根据在摄像头坐标系下P2和P3的坐标,以及执行器从所述第一位置延所述z”轴移动的距离,确定所述z”轴与理论上的执行器坐标系的z轴之间偏离的程度。
第三方面,提供一种坐标系校准装置,包括:至少一个存储器,被配置为存储计算机可读代码;至少一个处理器,被配置为调用所述计算机可读代码,执行下述步骤:在一个机械臂上所固定连接的执行器处于第一位置、第二位置和第三位置时,分别控制与所述执行器固定连接的摄像头对机械臂所操作的工作台上放置的目标物体拍照,其中,所述第二位置和所述第三位置是所述执行器以实际的执行器坐标系的z”轴为轴从所述第一位置旋转到的两个位置;将所述执行器处于所述第二位置和所述第三位置处时所拍摄照片中目标物体的位置合并到所述执行器处于所述第一位置处时所拍摄照片中;确定合并位置后的照片中目标物体的三个位置所在圆周的圆心P3在摄像头坐标系下的坐标;控制所述机械臂使得所述执行器沿着所述z”轴移动且所述执行器的末端触碰所述工作台,标记所述执行器触碰所述工作台上的点作为点P2;控制所述机械臂使得所述执行器沿着所述z”轴返回所述第一位置处并控制所述摄像头拍照;根据照片中P2的位置确定P2在摄像头坐标系下的坐标;根据在摄像头坐标系下P2和P3的坐标,以及执行器从所述第一位置延所述z”轴移动的距离,确定所述z”轴与理论上的执行器坐标系的z轴之间偏离的程度。
第四方面,一种计算机可读介质,所述计算机可读介质上存储有计算机可读指令,所述计算机可读指令在被处理器执行时,使所述处理器执行下述步骤:在一个机械臂上所固定连接的执行器处于第一位置、第二位置和第三位置时,分别控制与所述执行器固定连接的摄像头对机械臂所操作的工作台上放置的目标物体拍照,其中,所述第二位置和所述第三位置是所述执行器以实际的执行器坐标系的z”轴为轴从所述第一位置旋转到的两个位置;将所述执行器处于所述第二位置和所述第三位置处时所拍摄照片中目标物体的位置合并到所述执行器处于所述第一位置处时所拍摄照片中;确定合并位置后的照片中目标物体的三个位置所在圆周的圆心P3在摄像头坐标系下的坐标;控制所述机械臂使得所述执行器沿着所述z”轴移动且所述执行器的末端触碰所述工作台,标记所述执行器触碰所述工作台上的点作为点P2;控制所述机械臂使得所述执行器沿着所述z”轴返回所述第一位置处并控制所述摄像头拍照;根据照片中P2的位置确定P2在摄像头坐标系下的坐标;根据在摄像头坐标系下P2和P3的坐标,以及执行器从所述第一位置延所述z”轴移动的距离,确定所述z”轴与理论上的执行器坐标系的z轴之间偏离的程度。
上述方案具有操作简单、容易,高效的优点,能够准确有效地确定误差。仅需控制机械臂移动和旋转有限次数,且无需精确地控制执行器移动的距离和角度,这意味着操作更容易,无需设置大量参数,对操作者的要求较低。
对于上述任一方面,可选地,还可确定P2在理论上的执行器坐标系下的坐标,并根据确定的坐标计算得到所述z”轴的偏离方向。
对于上述任一方面,可选地,还可确定一个操作位置在所述摄像头坐标系下的坐标;将所述操作位置在所述摄像头坐标系下的坐标转换为理论上的执行器坐标系下的坐标;根据所述z”轴与所述z轴偏离的程度,以及所述z”轴的偏离方向,以及所述操作位置在理论上的执行器坐标系下的坐标,确定在实际的执行器坐标系下所述操作位置的坐标。其中,根据误差确定在实际的执行器坐标系下准确的操作位置,能够保证执行器操作的准确性。
附图说明
图1示出了一种手眼校准的方法。
图2为本发明实施例中控制机械臂移动并拍照的场景,以及摄像头坐标系、理论上的执行器坐标系和实际的执行器坐标系。
图3示出了本发明实施例要求解的两个误差参数。
图4示出了执行器处于第一位置时拍摄的照片中目标物体和摄像头的位置、摄像头的视野范围、P2点和P3点。
图5示出了控制执行器旋转并拍摄照片中目标物体、摄像头的位置以及摄像头的视野范围、P2点和P3点。
图6示出了本发明实施例中确定P3点位置的方法。
图7和图8示出本发明实施例提供的误差处理的方法。
图9为本发明实施例提供的坐标系校准方法的流程图。
图10为本发明实施例提供的坐标系校准装置的一种结构示意图。
图11为本发明实施例提供的坐标系校准装置的另一种结构示意图。
附图标记列表:
Figure GPA0000310866990000061
具体实施方式
现在将参考示例实施方式讨论本文描述的主题。应该理解,讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题,并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下,对所讨论的元素的功能和排列进行改变。各个示例可以根据需要,省略、替代或者添加各种过程或组件。例如,所描述的方法可以按照与所描述的顺序不同的顺序来执行,以及各个步骤可以被添加、省略或者组合。另外,相对一些示例所描述的特征在其它例子中也可以进行组合。
如本文中使用的,术语“包括”及其变型表示开放的术语,含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义,无论是明确的还是隐含的。除非上下文中明确地指明,否则一个术语的定义在整个说明书中是一致的。
如图2所示,本发明实施例中,机械臂21的执行器20上安装有摄像头10。用户30可通过示教器50控制机械臂21的移动,带动执行器20在工作台40上操作。在工作台40上放置一个目标物体60,该目标物体60在摄像头10的拍摄范围内。理论上的执行器坐标系61的三个轴分别为x轴、y轴和z轴;摄像头坐标系62的三个轴分别为x’轴、y’轴和z’轴;实际的执行器坐标系63的三个轴分别为x”轴、y”轴和z”轴。
在图2中,理论上的执行器坐标系61的z轴与工作台40垂直,但实际的执行器坐标系63的z”轴并不与工作台40垂直,这就造成了图3所示的误差α和β。图3中,P1点为执行器20的末端(通常是执行器20的TCP所在位置)在空间中的位置,P2点为执行器20从图3中所示位置沿着实际的执行器坐标系61的z”轴移动,执行器20的末端触碰到工作台40上的点,P3点为执行器20从图3所示位置沿着理论上的执行器坐标系61的z轴移动,执行器20的末端触碰到工作台40上的点,即P1在工作台40上的投影。
如图2所示,β是实际的执行器坐标系63的z”轴与理论上的执行器坐标系61的z轴之间的夹角,而α是实际的执行器坐标系63的z”轴在工作台40所在平面的投影,即为向量
Figure GPA0000310866990000071
与理论上执行器坐标系61的x轴之间的逆时针方向的夹角,用于表示z”轴偏离的方向。这里采用了z”轴在工作台40所在平面的投影与x轴之间的夹角来表示该方向,在具体实施时,也可采用z”轴在工作台40所在平面的投影与y轴之间的夹角或其他方式等来表示该方向。。本发明实施例中,可通过获取图3所示的d和h,根据sinβ=d/h来计算β。
本发明实施例中,假定已知理论上的执行器坐标系61与摄像头坐标系62之间的转换关系,那么对于理论上的执行器坐标系61下的任何一个坐标,根据该转换关系即可获知其在摄像头坐标系62下的坐标。
本发明实施例中,控制机械臂21移动,进而带动与机械臂21连接的执行器20的移动,使得执行器20移动到不同的位置,并在每一个位置处控制摄像头10拍摄照片,其中在每个位置处均保证目标物体60在摄像头10的视野范围内。并且,当执行器20移动到一个位置处,控制摄像头10拍照之前,先控制摄像头10相对于工作台40进行校准,使得摄像头10拍摄得到的照片与摄像头10的光轴与工作台40垂直时的效果一致,这样就保证了校准后摄像头坐标系62的z’与工作台40垂直。
首先设定一个第一位置71作为原始位置,在空间上,该第一位置71对应于执行器20的末端即TCP位于图3中的P1点,该P1点沿着理论上执行器坐标系61的z轴投影到工作台40上的点为P3点,该P1点沿着实际的执行器坐标系61的z”轴投影到工作台40的点为P2点,如图3中所示。
当执行器20处于第一位置71时控制摄像头10拍照,照片中摄像头10位于位置81、目标物体60位于位置82、P2点位于位置85,摄像头10的视野范围为范围84。相对于该照片,P3点位于位置83,如图4所示。
然后控制机械臂21使得执行器20以实际的执行器20的z”轴为轴旋转到第二位置72和第三位置73,并控制摄像头10分别在执行器20旋转到第二位置72和第三位置73时拍照。在旋转过程中目标物体60保持不动。其中,当执行器20移动到第二位置72处时,拍摄的照片中摄像头10的位置变为位置81’,摄像头10的视野范围变为范围84’,P2点位于位置85’(由于执行器20以z”旋转,因此P2点在空间上的位置保持不变);当执行器20移动到第三位置73处时,拍摄的照片中摄像头10的位置变为位置81”,摄像头10的视野范围变为范围84”,P2点位于位置85”。
将在第二位置72处所拍摄的照片以及在第三位置73处所拍摄的照片中目标物体60的位置合并到在第一位置71处所拍摄的照片中,在第一位置71、第二位置72和第三位置73下,目标物体60在照片中的位置分别为位置82、位置82’和位置82”。由于在每一个位置拍照之前,均会控制摄像头10相对于工作台40进行校准,因此,这里可以认为摄像头10以经过P3且与工作台40垂直的直线为轴旋转,因此在每一个位置处拍摄的照片中,目标物体60在图片中所处的位置与P3点距离相同。因此,在合并位置后的照片中,目标物体60所处的三个位置,即位置82、位置82’和位置82”在以P3为圆心的圆周上,如图7所示。那么根据摄像头坐标系62下位置82、位置82’和位置82”的坐标可以得到P3点即位置83在摄像头坐标系62下的坐标(Cx,Cy)。
控制执行器20移动,使得执行器20从第一位置71处沿着z”轴移动,并使得执行器20的末端即TCP触碰工作台40,即到达第四位置74处,此时执行器坐标系61的末端即TCP触碰的工作台40上的点即为P2。那么执行器20的TCP移动的距离即为图3中的h。。然后控制执行器20移动,使得执行器20沿着z”轴返回至第一位置71,并控制摄像头10拍照。照片中具有P2点在工作台40上的位置,确定该位置在摄像头坐标系62中的坐标(Cxt,Cyt),因此d可以通过下述公式(1)得到:
Figure GPA0000310866990000081
那么,前述的角β可通过下述公式(2)得到:
Figure GPA0000310866990000082
接下来确定误差α。
本发明实施例中,α为向量
Figure GPA0000310866990000083
为和理论上的执行器坐标系61的x轴之间的逆时针方向的夹角。根据前面标记的P2在摄像头坐标系62中的坐标(Cxt,Cyt),依据已知的理论上的执行器坐标系61与摄像头坐标系62之间的转换关系,可以得到P2在理论上的执行器坐标系61下的坐标(Txr,Tyr,Tzr)。由于P3是执行器20在第一位置71时,其TCP点沿着理论上的执行器坐标系61的z轴投影到工作台40所在平面上的点,因此,而P3在理论上的执行器坐标系61下的坐标为(0,0,Tzr),因此,角度α可以通过下面的公式(3)计算得到:
Figure GPA0000310866990000091
以上,介绍了如何确定误差α和β。那么在得到误差α和β之后,如何控制机械臂21进行操作,即在实际的执行器坐标系63的z”轴不与工作台40垂直的情况下,也能够在工作台40上准确操作,比如抓取一个放置在工作台40的目标物体60。这就需要进行下述的误差处理。
具体地,将这两个参数α和β用作机械臂21的内部参数。比如:如果摄像头10计算出一个抓取位置在摄像头坐标系62下的坐标,并根据已知的摄像头坐标系62与理论上的执行器坐标系61之间的转换关系,转换为理论上的执行器坐标系61下的坐标(X,Y,Z),那么,真正的抓取位置(Xr,Yr,Zr)中,Zr可以通过下面的公式(4)计算得到(如图8所示):
Figure GPA0000310866990000092
如图9所示,理论上目标物体60所在的位置为位置86,而由于误差导致的目标物体60实际所在的位置为位置86’,那么可以通过下面的公式(5)和公式(6)分别计算得到Xr和Yr:
Xr=X-d.sinα…公式(5)
Yr=Y-d.cosα…公式(6)
总结上述的过程如图9所示,本发明实施例提供了一种坐标系校准方法,该方法可用于确定由于实际的执行器坐标系的z轴与工作台不垂直所引入的误差。如图9所示,该方法可包括如下步骤:
S901:在一个机械臂21上所固定连接的执行器20处于第一位置71、第二位置72和第三位置73时,分别控制与执行器20固定连接的摄像头10对机械臂21所操作的工作台40上放置的目标物体60拍照,其中,第二位置72和第三位置73是执行器20以实际的执行器坐标系63的z”轴为轴从第一位置71旋转到的两个位置;
S902:将执行器20处于第二位置72和第三位置73处时所拍摄照片中目标物体60的位置合并到执行器20处于第一位置71处时所拍摄照片中;
S903:确定合并位置后的照片中目标物体60的三个位置所在圆周的圆心P3在摄像头坐标系62下的坐标;
S904:控制机械臂21使得执行器20沿着z”轴移动且执行器20的末端触碰工作台40,标记执行器20触碰工作台40上的点作为点P2;
S905:控制机械臂21使得执行器20沿着z”轴返回第一位置71处并控制摄像头10拍照;
S906:根据照片中P2的位置确定P2在摄像头坐标系62下的坐标;
S907:根据在摄像头坐标系62下P2和P3的坐标,以及执行器20从第一位置71延z”轴移动的距离,确定z”轴与理论上的执行器坐标系61的z轴之间偏离的程度;
S908:确定P2在理论上的执行器坐标系61下的坐标,并根据确定的坐标计算得到z”轴的偏离方向。
S909:确定一个操作位置在摄像头坐标系62下的坐标,并将操作位置在摄像头坐标系62下的坐标转换为理论上的执行器坐标系61下的坐标;
S910:根据z”轴与z轴偏离的程度,以及z”轴的偏离方向,以及操作位置在理论上的执行器坐标系61下的坐标,确定在实际的执行器坐标系63下操作位置的坐标。
该方法的其他可选实现方式可参考图2~图8以及对应的描述,这里不再赘述。其中,对于步骤S909和步骤S910而言,在已知误差的前提下,该方法可单独实施,并不依赖于前面的步骤S901~S908。
如图10所示,本发明实施例还提供了一种坐标系校准装置100,包括:
一个控制模块1001,被配置为:在一个机械臂21上所固定连接的执行器20处于第一位置71、第二位置72和第三位置73时,分别控制与执行器20固定连接的摄像头10对机械臂21所操作的工作台40上放置的目标物体60拍照,其中,第二位置72和第三位置73是执行器20以实际的执行器坐标系63的z”轴为轴从第一位置71旋转到的两个位置;
一个照片处理模块1002,被配置为:将执行器20处于第二位置72和第三位置73处时所拍摄照片中目标物体60的位置合并到执行器20处于第一位置71处时所拍摄照片中;
一个计算模块1003,被配置为:确定合并位置后的照片中目标物体60的三个位置所在圆周的圆心P3在摄像头坐标系62下的坐标;
控制模块1001,还被配置为:控制机械臂21使得执行器20沿着z”轴移动且执行器20的末端触碰工作台40,标记执行器20触碰工作台40上的点作为点P2,以及控制机械臂21使得执行器20沿着z”轴返回第一位置71处并控制摄像头10拍照;
计算模块1003,还被配置为:根据照片中P2的位置确定P2在摄像头坐标系62下的坐标,以及根据在摄像头坐标系62下P2和P3的坐标,以及执行器20从第一位置71延z”轴移动的距离,确定z”轴与理论上的执行器坐标系61的z轴之间偏离的程度。
可选地,计算模块1003,还被配置为:确定P2在理论上的执行器坐标系61下的坐标;根据确定的坐标计算得到z”轴的偏离方向。
可选地,计算模块1003,还被配置为:确定一个操作位置在摄像头坐标系62下的坐标;将操作位置在摄像头坐标系62下的坐标转换为理论上的执行器坐标系61下的坐标;根据z”轴与z轴偏离的程度,以及z”轴的偏离方向,以及操作位置在理论上的执行器坐标系61下的坐标,确定在实际的执行器坐标系63下操作位置的坐标。
该装置100的其他可选实现方式可参考图2~图8以及对应的描述,其中,控制模块1001用于移动机械臂以及控制摄像头拍照等,照片处理模块1002用于对摄像头拍摄的图片进行处理,计算模块1003用于计算误差等。在已知误差的前提下,计算模块1003可单独实施确定操作位置在实际的执行器坐标系63下的坐标的方案,并不依赖于用于确定误差的方案。
图11为本发明实施例提供的坐标系校准装置100的另一种结构示意图。如图11所示,在此结构下,坐标系校准装置100可包括至少一个存储器1004,用于存放计算机可读代码;至少一个处理器1005,被配置为执行至少一个存储器1004存储的计算机可读代码,执行前述坐标系校准方法。其中,图10中示出的各个模块可视为存储器1004中存储的计算机可读代码编写的程序模块,当这些程序模块被处理器1005调用时,能够执行前述坐标系校准方法。
此外,上述各模块也可视为由硬件和软件组合而实现的各个功能模块,坐标系校准装置100在执行坐标系校准方法时涉及的各种功能。上述各模块还也可视为由硬件实现的各个功能模块,用于实现坐标系校准装置100在执行坐标系校准方法时涉及的各种功能,比如预先将该方法中涉及的各流程的控制逻辑烧制到诸如现场可编程门阵列(Field-Programmable Gate Array,FPGA)芯片或复杂可编程逻辑器件(Complex ProgrammableLogic Device,CPLD)中,而由这些芯片或器件执行上述各模块的功能,具体实现方式可依工程实践而定。
在具体实现时,该坐标系校准装置100可以作为示教器50的一部分功能来实现。基于示教器50已实现的功能来控制机械臂21的移动以及摄像头10拍摄照片。参数计算等操作亦可利用示教器50已有的处理能力来完成。
此外,本发明实施例还提供一种计算机可读介质,该计算机可读介质上存储有计算机可读指令,计算机可读指令在被处理器执行时,使处理器执行前述的坐标系校准方法。计算机可读介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选地,可以由通信网络从服务器计算机上或云上下载计算机可读指令。
需要说明的是,上述各流程和各系统结构图中不是所有的步骤和模块都是必须的,可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的,可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构,也可以是逻辑结构,即,有些模块可能由同一物理实体实现,或者,有些模块可能分由多个物理实体实现,或者,可以由多个独立设备中的某些部件共同实现。

Claims (12)

1.一种坐标系校准方法,其特征在于,包括:
在一个机械臂(21)上所固定连接的执行器(20)处于第一位置(71)、第二位置(72)和第三位置(73)时,分别控制与所述执行器(20)固定连接的摄像头(10)对机械臂(21)所操作的工作台(40)上放置的目标物体(60)拍照,其中,所述第二位置(72)和所述第三位置(73)是所述执行器(20)以实际的执行器坐标系(63)的z”轴为轴从所述第一位置(71)旋转到的两个位置;
将所述执行器(20)处于所述第二位置(72)和所述第三位置(73)处时所拍摄照片中目标物体(60)的位置合并到所述执行器(20)处于所述第一位置(71)处时所拍摄照片中;
确定合并位置后的照片中目标物体(60)的三个位置所在圆周的圆心P3在摄像头坐标系(62)下的坐标;
控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴移动且所述执行器(20)的末端触碰所述工作台(40),标记所述执行器(20)触碰所述工作台(40)上的点作为点P2;
控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴返回所述第一位置(71)处并控制所述摄像头(10)拍照;
根据照片中P2的位置确定P2在摄像头坐标系(62)下的坐标;
根据在摄像头坐标系(62)下P2和P3的坐标,以及执行器(20)从所述第一位置(71)延所述z”轴移动的距离,确定所述z”轴与理论上的执行器坐标系(61)的z轴之间偏离的程度。
2.如权利要求1所述的方法,其特征在于,还包括:
确定P2在理论上的执行器坐标系(61)下的坐标;
根据确定的坐标计算得到所述z”轴的偏离方向。
3.如权利要求2所述的方法,其特征在于,
确定一个操作位置在所述摄像头坐标系(62)下的坐标;
将所述操作位置在所述摄像头坐标系(62)下的坐标转换为理论上的执行器坐标系(61)下的坐标;
根据所述z”轴与所述z轴偏离的程度,以及所述z”轴的偏离方向,以及所述操作位置在理论上的执行器坐标系(61)下的坐标,确定在实际的执行器坐标系(63)下所述操作位置的坐标。
4.一种坐标系校准装置(100),其特征在于,包括:
一个控制模块(1001),被配置为:在一个机械臂(21)上所固定连接的执行器(20)处于第一位置(71)、第二位置(72)和第三位置(73)时,分别控制与所述执行器(20)固定连接的摄像头(10)对机械臂(21)所操作的工作台(40)上放置的目标物体(60)拍照,其中,所述第二位置(72)和所述第三位置(73)是所述执行器(20)以实际的执行器坐标系(63)的z”轴为轴从所述第一位置(71)旋转到的两个位置;
一个照片处理模块(1002),被配置为:将所述执行器(20)处于所述第二位置(72)和所述第三位置(73)处时所拍摄照片中目标物体(60)的位置合并到所述执行器(20)处于所述第一位置(71)处时所拍摄照片中;
一个计算模块(1003),被配置为:确定合并位置后的照片中目标物体(60)的三个位置所在圆周的圆心P3在摄像头坐标系(62)下的坐标;
所述控制模块(1001),还被配置为:控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴移动且所述执行器(20)的末端触碰所述工作台(40),标记所述执行器(20)触碰所述工作台(40)上的点作为点P2,以及控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴返回所述第一位置(71)处并控制所述摄像头(10)拍照;
所述计算模块(1003),还被配置为:根据照片中P2的位置确定P2在摄像头坐标系(62)下的坐标,以及根据在摄像头坐标系(62)下P2和P3的坐标,以及执行器(20)从所述第一位置(71)延所述z”轴移动的距离,确定所述z”轴与理论上的执行器坐标系(61)的z轴之间偏离的程度。
5.如权利要求4所述的装置(100),其特征在于,所述计算模块(1003),还被配置为:
确定P2在理论上的执行器坐标系(61)下的坐标;
根据确定的坐标计算得到所述z”轴的偏离方向。
6.如权利要求5所述的装置(100),其特征在于,所述计算模块(1003),还被配置为:
确定一个操作位置在所述摄像头坐标系(62)下的坐标;
将所述操作位置在所述摄像头坐标系(62)下的坐标转换为理论上的执行器坐标系(61)下的坐标;
根据所述z”轴与所述z轴偏离的程度,以及所述z”轴的偏离方向,以及所述操作位置在理论上的执行器坐标系(61)下的坐标,确定在实际的执行器坐标系(63)下所述操作位置的坐标。
7.一种坐标系校准装置(100),其特征在于,包括:
至少一个存储器(1004),被配置为存储计算机可读代码;
至少一个处理器(1005),被配置为调用所述计算机可读代码,执行下述步骤:
在一个机械臂(21)上所固定连接的执行器(20)处于第一位置(71)、第二位置(72)和第三位置(73)时,分别控制与所述执行器(20)固定连接的摄像头(10)对机械臂(21)所操作的工作台(40)上放置的目标物体(60)拍照,其中,所述第二位置(72)和所述第三位置(73)是所述执行器(20)以实际的执行器坐标系(63)的z”轴为轴从所述第一位置(71)旋转到的两个位置;
将所述执行器(20)处于所述第二位置(72)和所述第三位置(73)处时所拍摄照片中目标物体(60)的位置合并到所述执行器(20)处于所述第一位置(71)处时所拍摄照片中;
确定合并位置后的照片中目标物体(60)的三个位置所在圆周的圆心P3在摄像头坐标系(62)下的坐标;
控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴移动且所述执行器(20)的末端触碰所述工作台(40),标记所述执行器(20)触碰所述工作台(40)上的点作为点P2;
控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴返回所述第一位置(71)处并控制所述摄像头(10)拍照;
根据照片中P2的位置确定P2在摄像头坐标系(62)下的坐标;
根据在摄像头坐标系(62)下P2和P3的坐标,以及执行器(20)从所述第一位置(71)延所述z”轴移动的距离,确定所述z”轴与理论上的执行器坐标系(61)的z轴之间偏离的程度。
8.如权利要求7所述的装置(100),其特征在于,所述处理器(1005)还被配置为执行如下步骤:
确定P2在理论上的执行器坐标系(61)下的坐标;
根据确定的坐标计算得到所述z”轴的偏离方向。
9.如权利要求8所述的装置(100),其特征在于,所述处理器(1005)还被配置为执行如下步骤:
确定一个操作位置在所述摄像头坐标系(62)下的坐标;
将所述操作位置在所述摄像头坐标系(62)下的坐标转换为理论上的执行器坐标系(61)下的坐标;
根据所述z”轴与所述z轴偏离的程度,以及所述z”轴的偏离方向,以及所述操作位置在理论上的执行器坐标系(61)下的坐标,确定在实际的执行器坐标系(63)下所述操作位置的坐标。
10.一种计算机可读介质,其特征在于,所述计算机可读介质上存储有计算机可读指令,所述计算机可读指令在被处理器执行时,使所述处理器执行下述步骤:
在一个机械臂(21)上所固定连接的执行器(20)处于第一位置(71)、第二位置(72)和第三位置(73)时,分别控制与所述执行器(20)固定连接的摄像头(10)对机械臂(21)所操作的工作台(40)上放置的目标物体(60)拍照,其中,所述第二位置(72)和所述第三位置(73)是所述执行器(20)以实际的执行器坐标系(63)的z”轴为轴从所述第一位置(71)旋转到的两个位置;
将所述执行器(20)处于所述第二位置(72)和所述第三位置(73)处时所拍摄照片中目标物体(60)的位置合并到所述执行器(20)处于所述第一位置(71)处时所拍摄照片中;
确定合并位置后的照片中目标物体(60)的三个位置所在圆周的圆心P3在摄像头坐标系(62)下的坐标;
控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴移动且所述执行器(20)的末端触碰所述工作台(40),标记所述执行器(20)触碰所述工作台(40)上的点作为点P2;
控制所述机械臂(21)使得所述执行器(20)沿着所述z”轴返回所述第一位置(71)处并控制所述摄像头(10)拍照;
根据照片中P2的位置确定P2在摄像头坐标系(62)下的坐标;
根据在摄像头坐标系(62)下P2和P3的坐标,以及执行器(20)从所述第一位置(71)延所述z”轴移动的距离,确定所述z”轴与理论上的执行器坐标系(61)的z轴之间偏离的程度。
11.如权利要求10所述的介质,其特征在于,所述计算机可读指令在被所述处理器执行时,还使所述处理器执行下述步骤:
确定P2在理论上的执行器坐标系(61)下的坐标;
根据确定的坐标计算得到所述z”轴的偏离方向。
12.如权利要求11所述的介质,其特征在于,所述计算机可读指令在被所述处理器执行时,还使所述处理器执行下述步骤:
确定一个操作位置在所述摄像头坐标系(62)下的坐标;
将所述操作位置在所述摄像头坐标系(62)下的坐标转换为理论上的执行器坐标系(61)下的坐标;
根据所述z”轴与所述z轴偏离的程度,以及所述z”轴的偏离方向,以及所述操作位置在理论上的执行器坐标系(61)下的坐标,确定在实际的执行器坐标系(63)下所述操作位置的坐标。
CN201980094555.8A 2019-06-17 2019-06-17 一种坐标系校准方法、装置和计算机可读介质 Active CN113613850B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/091575 WO2020252632A1 (zh) 2019-06-17 2019-06-17 一种坐标系校准方法、装置和计算机可读介质

Publications (2)

Publication Number Publication Date
CN113613850A CN113613850A (zh) 2021-11-05
CN113613850B true CN113613850B (zh) 2022-08-12

Family

ID=74036900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980094555.8A Active CN113613850B (zh) 2019-06-17 2019-06-17 一种坐标系校准方法、装置和计算机可读介质

Country Status (4)

Country Link
US (1) US11820024B2 (zh)
EP (1) EP3967459A4 (zh)
CN (1) CN113613850B (zh)
WO (1) WO2020252632A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233777A1 (en) * 2019-05-17 2020-11-26 Telefonaktiebolaget Lm Ericsson (Publ) Technique for parameter conversion between a robotic device and a controller for the robotic device
US20220339790A1 (en) * 2021-04-23 2022-10-27 Divergent Technologies, Inc. Robot calibration
CN113894786B (zh) * 2021-10-28 2023-02-07 福建省海峡智汇科技有限公司 一种基于深度学习双目相机的双轮差速机器人避障方法
CN114833832B (zh) * 2022-05-11 2023-06-20 厦门微亚智能科技有限公司 一种机器人手眼标定方法、装置、设备及可读存储介质
JP2023175167A (ja) * 2022-05-30 2023-12-12 セイコーエプソン株式会社 キャリブレーション方法およびロボットシステム
CN115414117B (zh) * 2022-08-31 2023-05-09 北京长木谷医疗科技有限公司 骨科手术机器人执行末端位置坐标的确定方法及装置
CN116572255B (zh) * 2023-07-10 2023-10-20 北京集度科技有限公司 坐标原点的标定方法、标定装置及介质
CN116734774B (zh) * 2023-08-09 2023-11-28 合肥安迅精密技术有限公司 贴装头r轴对z轴的旋转精度测试、补偿方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104354167A (zh) * 2014-08-29 2015-02-18 广东正业科技股份有限公司 一种机器人手眼标定方法及装置
CN106426172A (zh) * 2016-10-27 2017-02-22 深圳元启智能技术有限公司 一种工业机器人工具坐标系的标定方法与系统
CN107160380A (zh) * 2017-07-04 2017-09-15 华南理工大学 一种基于scara机械手的相机标定和坐标变换的方法
CN107813313A (zh) * 2017-12-11 2018-03-20 南京阿凡达机器人科技有限公司 机械臂运动的校正方法和装置
CN108942927A (zh) * 2018-06-29 2018-12-07 齐鲁工业大学 一种基于机器视觉的像素坐标与机械臂坐标统一的方法
CN109754421A (zh) * 2018-12-31 2019-05-14 深圳市越疆科技有限公司 一种视觉标定方法、装置及机器人控制器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2700965B2 (ja) * 1991-07-04 1998-01-21 ファナック株式会社 自動キャリブレーション方式
CN101807247B (zh) * 2010-03-22 2012-07-18 中国农业大学 果蔬采摘点微调定位方法
FI20115326A0 (fi) 2011-04-05 2011-04-05 Zenrobotics Oy Menetelmä sensorin mittausten mitätöimiseksi poimintatoiminnon jälkeen robottijärjestelmässä
CN102289824B (zh) * 2011-07-06 2013-04-24 湖南大学 冷凝器管口图像的平面质心定位方法
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
CN106291278B (zh) 2016-08-03 2019-01-15 国网山东省电力公司电力科学研究院 一种基于多视觉系统的开关柜局部放电自动检测方法
JP6707485B2 (ja) * 2017-03-22 2020-06-10 株式会社東芝 物体ハンドリング装置およびその較正方法
TWI672206B (zh) * 2018-12-19 2019-09-21 財團法人工業技術研究院 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104354167A (zh) * 2014-08-29 2015-02-18 广东正业科技股份有限公司 一种机器人手眼标定方法及装置
CN106426172A (zh) * 2016-10-27 2017-02-22 深圳元启智能技术有限公司 一种工业机器人工具坐标系的标定方法与系统
CN107160380A (zh) * 2017-07-04 2017-09-15 华南理工大学 一种基于scara机械手的相机标定和坐标变换的方法
CN107813313A (zh) * 2017-12-11 2018-03-20 南京阿凡达机器人科技有限公司 机械臂运动的校正方法和装置
CN108942927A (zh) * 2018-06-29 2018-12-07 齐鲁工业大学 一种基于机器视觉的像素坐标与机械臂坐标统一的方法
CN109754421A (zh) * 2018-12-31 2019-05-14 深圳市越疆科技有限公司 一种视觉标定方法、装置及机器人控制器

Also Published As

Publication number Publication date
US11820024B2 (en) 2023-11-21
EP3967459A1 (en) 2022-03-16
CN113613850A (zh) 2021-11-05
EP3967459A4 (en) 2022-12-28
WO2020252632A1 (zh) 2020-12-24
US20220168896A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
CN113613850B (zh) 一种坐标系校准方法、装置和计算机可读介质
KR102532072B1 (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
CN111331592B (zh) 机械手臂工具中心点校正装置及其方法以及机械手臂系统
JP5949242B2 (ja) ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
JP5850962B2 (ja) ビジュアルフィードバックを利用したロボットシステム
JP6370038B2 (ja) 位置姿勢計測装置及び方法
WO2016079967A1 (en) Robot and robot system
US9519736B2 (en) Data generation device for vision sensor and detection simulation system
JP2017037642A (ja) 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法
JP6324025B2 (ja) 情報処理装置、情報処理方法
CN111801198A (zh) 一种手眼标定方法、系统及计算机存储介质
JP2019115974A (ja) ビジョンベース操作システムのキャリブレーション及びオペレーション
JP2008254150A (ja) ロボットの教示装置及び教示方法
US20130111731A1 (en) Assembling apparatus and method, and assembling operation program
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2015031601A (ja) 3次元計測装置及び方法並びにプログラム
CN113795358B (zh) 一种坐标系校准方法、装置和计算机可读介质
Sreenath et al. Monocular tracking of human hand on a smart phone camera using mediapipe and its application in robotics
JP6628170B1 (ja) 計測システム及び計測方法
JP2005186193A (ja) ロボットのキャリブレーション方法および三次元位置計測方法
JP2020196081A (ja) ビジュアルサーボシステム
JP6766229B2 (ja) 位置姿勢計測装置及び方法
EP4382258A1 (en) Robot control device, robot control system, and robot control method
KR100784734B1 (ko) 산업용 로봇 시스템의 타원 보간방법
CN116079715A (zh) 一种手眼标定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant