CN109227532B - 机器人的控制装置及其系统、机器人及摄像机的校正方法 - Google Patents

机器人的控制装置及其系统、机器人及摄像机的校正方法 Download PDF

Info

Publication number
CN109227532B
CN109227532B CN201810737483.1A CN201810737483A CN109227532B CN 109227532 B CN109227532 B CN 109227532B CN 201810737483 A CN201810737483 A CN 201810737483A CN 109227532 B CN109227532 B CN 109227532B
Authority
CN
China
Prior art keywords
coordinate system
camera
arm
pattern
transformation matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810737483.1A
Other languages
English (en)
Other versions
CN109227532A (zh
Inventor
稻积满广
野田贵彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN109227532A publication Critical patent/CN109227532A/zh
Application granted granted Critical
Publication of CN109227532B publication Critical patent/CN109227532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

一种机器人的控制装置及其系统、机器人及摄像机的校正方法。机器人的控制装置具备摄像机校正执行部，建立含有臂的手前端坐标系和摄像机的摄像机坐标系之间的坐标变换矩阵的摄像机的参数。摄像机校正执行部能够算出拍摄校正用图案的图案图像时的臂坐标系与图案坐标系的关系，使用所述臂坐标系和所述图案坐标系的关系、拍摄图案图像时的臂的位姿以及图案图像，估计臂的手前端坐标系和摄像机的摄像机坐标系之间的坐标变换矩阵。

Description

机器人的控制装置及其系统、机器人及摄像机的校正方法
技术领域
本发明涉及机器人的摄像机的校正(标定)。
背景技术
为使机器人进行高级处理，有时在机器人设置具有眼的功能的摄像机。作为摄像机的设置方法，有将摄像机和机器人臂独立设置的方法和将摄像机设置在机器人臂的方法(hand eye；手眼)。手眼具有能够获得更宽的视野，而且能够确保作业手前端部的视野等优点。
专利文献1中，记载有利用在臂设置有摄像机的机器人系统的坐标系的校正方法。也如专利文献1中记载的那样，在利用在臂设置的摄像机的情况下，必须解开关于摄像机坐标系和机器人坐标系之间未知的变换矩阵X的所谓的AX＝XB问题，存在难以校正摄像机的问题。AX＝XB问题的解法需要非线性最优化处理，而且，没有取得最优解的保证。为回避AX＝XB问题，专利文献1中记载了通过对机器人的动作加上限制，将求解坐标系的变换矩阵的问题线性化的技术。
专利文献1：日本特开2012-91280号公报
但是，在上述专利文献1中记载的技术中，存在作为处理结果而求出的变换矩阵依存于使用图像的校正用图案的位置估计的精度的技术问题。即，为了提高校正用图案的位置估计的精度，机器人的动作幅度越大越有利，但机器人的大幅度动作有动作精度变低的问题。另一方面，为了提高机器人的动作精度，优选减小动作幅度，但在这种情况下存在使用图像的校正图案的位置估计的精度变低的问题。因此，希望能够用与专利文献1不同的方法，容易地进行对在臂设置的摄像机校正的技术。
发明内容
本发明旨在为解决上述问题的至少一部分，能够通过以下方式(aspect)实现。
(1)根据本发明的第一方式，提供了一种控制装置，控制具备设置有摄像机的臂的机器人。该控制装置具备：臂控制部，控制所述臂；摄像机控制部，控制所述摄像机；以及摄像机校正执行部，估计所述臂的手前端坐标系和所述摄像机的摄像机坐标系之间的坐标变换矩阵，建立含有所述坐标变换矩阵的所述摄像机的参数，所述摄像机控制部使所述摄像机拍摄所述摄像机的校正用图案的图案图像，所述摄像机校正执行部能够算出拍摄所述图案图像时的所述臂的臂坐标系和所述校正用图案的图案坐标系的关系，使用所述臂坐标系与所述图案坐标系的关系、拍摄所述图案图像时的所述臂的位姿和所述图案图像，估计所述坐标变换矩阵。
通过该控制装置能够确定从拍摄图案图像时的臂的位姿到臂坐标系与手前端坐标系的关系。而且，由于摄像机校正执行部能够算出臂坐标系和图案坐标系的关系，如果加上这些关系，再利用从摄像机拍摄的图案图像中获得的图案坐标系和摄像机坐标系的关系，能够估计手前端坐标系和摄像机坐标系之间的坐标变换矩阵。其结果为，能够建立含有其坐标变换矩阵的摄像机的参数，能够通过摄像机进行对象物的位置检测。
(2)所述控制装置中，所述摄像机校正执行部还可以根据拍摄所述图案图像时的所述臂的位姿，算出所述臂坐标系和所述手前端坐标系之间的第一变换矩阵，算出或估计所述图案坐标系和所述臂坐标系之间的第二变换矩阵，根据所述图案图像，估计所述摄像机坐标系和所述图案坐标系之间的第三变换矩阵，根据所述第一变换矩阵、所述第二变换矩阵以及所述第三变换矩阵，算出所述坐标变换矩阵。
通过该控制装置能够根据臂的位姿算出第一变换矩阵。而且，摄像机校正执行部算出或估计表示臂坐标系和图案坐标系的坐标变换的第二变换矩阵，此外，根据图案图像估计第三变换矩阵，所以，从这些变换矩阵中能够容易地求出含有手前端坐标系和摄像机坐标系之间的坐标变换矩阵的摄像机的参数。
(3)所述控制装置中，所述机器人还可以具有第二臂,所述第二臂构成为所述校正用图案能够以预先设定的设置状态而被设置，所述摄像机校正执行部根据拍摄所述图案图像时的所述第二臂的位姿，算出所述图案坐标系和所述臂坐标系之间的所述第二变换矩阵。
通过该控制装置，能够根据第二臂的位姿算出第二变换矩阵，所以，能够容易地求出手前端坐标系和摄像机坐标系之间的坐标变换矩阵。
(4)所述控制装置中，所述摄像机控制部还可以所述摄像机控制部使相对于所述臂独立配置的固定摄像机拍摄所述校正用图案的第二图案图像，所述摄像机校正执行部根据所述第二图案图像，估计所述图案坐标系和所述臂坐标系之间的所述第二变换矩阵。
通过该控制装置，能够根据第二图案图像估计第二变换矩阵，所以，能够容易地求出手前端坐标系和摄像机坐标系之间的坐标变换矩阵。
(5)所述控制装置中，所述固定摄像机还可以为立体摄像机。
通过该控制装置，能够根据立体摄像机拍摄的第二图案图像高精度地估计第二变换矩阵，所以，能够高精度地求出手前端坐标系和摄像机坐标系之间的坐标变换矩阵。
(6)根据本发明的第二方式，提供一种控制装置，控制具备设置有摄像机的臂的机器人，所述控制装置具备处理器，所述处理器使所述摄像机拍摄所述摄像机的校正用图案的图案图像，算出拍摄所述图案图像时的所述臂的臂坐标系和所述校正用图案的图案坐标系的关系，使用拍摄所述图案图像时的所述臂的位姿和所述图案图像，估计所述臂的手前端坐标系和所述摄像机的摄像机坐标系之间的坐标变换矩阵。
通过该控制装置，能够根据拍摄图案图像时的臂的位姿确定臂坐标系与手前端坐标系的关系。而且，能够算出臂坐标系和图案坐标系的关系，所以，如果加上这些关系，再利用从摄像机拍摄的图案图像中获得的图案坐标系和摄像机坐标系的关系，能够估计手前端坐标系和摄像机坐标系之间的坐标变换矩阵。其结果为，能够建立含有其坐标变换矩阵的摄像机的参数，能够通过使用摄像机进行对象物的位置检测。
(7)本发明的第三方式为机器人，与所述控制装置连接。
通过本机器人，能够容易地估计手前端坐标系和摄像机坐标系之间的坐标变换矩阵。
(8)本发明的第四方式为机器人系统，具备机器人和与所述机器人连接的所述控制装置。
通过本机器人系统，能够容易地估计手前端坐标系和摄像机坐标系之间的坐标变换矩阵。
(9)根据本发明的第五方式，提供了一种摄像机的校正方法，在具备设置有摄像机的臂的机器人中进行所述摄像机的校正，通过所述摄像机拍摄所述摄像机的校正用图案的图案图像，算出拍摄所述图案图像时的所述臂的臂坐标系和所述校正用图案的图案坐标系之间的关系，使用拍摄所述图案图像时的所述臂的位姿和所述图案图像，估计所述臂的手前端坐标系和所述摄像机的摄像机坐标系之间的坐标变换矩阵。
通过本方法，能够根据拍摄图案图像时的臂的位姿确定臂坐标系与手前端坐标系的关系。而且，能够算出臂坐标系和图案坐标系的关系，所以，如果加上这些关系，再利用从摄像机拍摄的图案图像中获得的图案坐标系和摄像机坐标系的关系，能够估计手前端坐标系和摄像机坐标系之间的坐标变换矩阵。其结果为，能够建立含有其坐标变换矩阵的摄像机的参数，通过使用摄像机进行对象物的位置检测。
本发明能够通过上述以外各种方式实现。例如，能够通过以实现控制装置功能为目的的计算机程序和记录其计算机程序的非暂时性记录介质(non-transitory storagemedium)等方式实现。
附图说明
图1是示出机器人系统的概念图。
图2是示出机器人和控制装置的功能的框图。
图3是示出第一实施方式的机器人的坐标系的说明图。
图4是示出第一实施方式的处理顺序的流程图。
图5是示出第二实施方式的机器人的坐标系的说明图。
图6是示出第二实施方式的处理顺序的流程图。
图7是示出第三实施方式的机器人的坐标系的说明图。
附图标记说明
100、100A…机器人；110…基座；120…身体部；130…肩部；140…颈部；150…头部；160、160L、160R…臂；170、170L、170R…固定摄像机；175、175L、175R…手眼；180L、180R…手；190L、190R…力觉传感器；200…控制装置；210…处理器；211…臂控制部；212…摄像机控制部；213…摄像机校正执行部；214…变换矩阵估计部；220…主存储器；230…非易失性存储器；231…程序命令；232…摄像机内部参数；233…摄像机外部参数；240…显示控制部；250…显示部；260…I/O接口；400…校正用图案。
具体实施方式
A.机器人系统的结构
图1为一实施方式的机器人系统的概念图。本机器人系统具备机器人100和控制装置200。本机器人100是利用摄像机对作业对象进行识别、自由调整力度、能在进行自主判断的同时进行作业的自主型机器人。而且，机器人100也能够作为根据预先建立的示教数据执行作业的示教再现机器人而进行工作。
机器人100具备：基座110、身体部120、肩部130、颈部140、头部150、和两个臂160L、160R。手180L、180R可装卸地安装在臂160L、160R上。手180L、180R是握住工件或道具的末端执行器。摄像机170L、170R设置在头部150。这些摄像机170L、170R是与臂160L、160R独立设置位姿不变化的固定摄像机。作为摄像机的手眼175L、175R设置在臂160L、160R的手腕部。能够在臂160L、160R设置摄像机170L、170R、手眼175L及175R的校正用图案400。以下，为了区别手眼175L、175R，将设置在头部150的摄像机170L、170R称为“固定摄像机170L、170R”。
臂160L、160R的手腕部还设置有力觉传感器190L、190R。力觉传感器190L、190R是检测针对手180L、180R给工件带来的力的反作用力和力矩的传感器。作为力觉传感器190L、190R，例如，能够使用能够同时检测三轴平移方向的分力和绕三轴旋转的分力矩等六个分量的六轴力觉传感器。另外，能够省略力觉传感器190L、190R。
臂160L、160R、摄像机170L、170R、手眼175L、175R、手180L、180R和力觉传感器190L、190R的附图标记末尾附加的字符“L”、“R”分别为“左”、“右”的意思。如果不需要区分，使用省略了字符“L”、“R”附图标记进行说明。
控制装置200具有：处理器210、主存储器220、非易失性存储器230、显示控制部240、显示部250和I/O接口260。这些各个部通过总线连接。处理器210例如是微型处理器或者处理器电路。控制装置200通过I/O接口260与机器人100连接。另外，控制装置200也能够容纳在机器人100的内部。
作为控制装置200的结构，能够采用图1所示的结构以外的多种结构。例如，从图1的控制装置200移除处理器210和主存储器220，也能够将处理器210和主存储器220设置在与该控制装置200可通信地连接的其他装置中。这种情况下，该其他装置和控制装置200组成的装置整体作为机器人100的控制装置发挥功能。在其他的实施方式中，控制装置200也能够具有两个以上的处理器210。在另外其他的实施方式中，也能够通过多个能够相互通信地连接的装置来实现控制装置200。在这些各种实施方式中，控制装置200由具备一个以上的处理器210的装置或装置组而构成。
图2是示出机器人100和控制装置200的功能的框图。控制装置200的处理器210，通过执行非易失性存储器230中预先存储的各种程序命令231，分别实现臂控制部211、摄像机控制部212、摄像机校正执行部213的功能。摄像机校正执行部213具有变换矩阵估计部214。但是，也能够通过硬件电路实现这些211～214各个部的功能的一部分或者全部。关于这些211～214各个部的功能在后面叙述。非易失性存储器230中除程序命令231以外，还存储有摄像机内部参数232和摄像机外部参数233等。这些参数232、233分别包含有各种固定摄像机170的参数和手眼175的参数。另外，在本实施方式中，假定固定摄像机170的参数232、233为已知，手眼175的参数232、233为未知。在后面叙述的校正处理中，生成手眼175的参数232、233。关于这些参数232、233在更后面叙述。
B.机器人的坐标系和坐标变换
图3是示出机器人100的臂160的结构和各种坐标系的说明图。在两个臂160L、160R分别设置有七个关节J1～J7。关节J1、J3、J5、J7为旋转关节，关节J2、J4、J6为弯曲关节。另外，图1的身体部120和肩部130之间虽然设置有旋转关节，但在图3中省略图示。每个关节上设置有为使其工作的致动器和为检测旋转角度的位置检测器。
在臂160的手前端设定有工具中心点TCP(Tool Center Point)。典型地，为了控制工具中心点TCP的位姿而执行机器人100的控制。另外，位姿(position and attitude)的意思是由三维坐标系的三个坐标值和绕各坐标轴的旋转所规定的状态。
在臂160L、160R上能够以预先设定的设置状态设置校正用图案400。在图3的例子中，在右臂160R的手前端部固定有在左臂160L的手眼175L的校正(标定)中使用的校正用图案400。在右臂160R赋予校正用图案400时，也能够取下右臂160R的手180R。左臂160L的手180L也是同样的。
手眼175L的校正为对手眼175L的内部参数和外部参数的估计处理。内部参数为手眼175L及其透镜系统的固有参数，例如含有射影变换参数和失真参数等。外部参数为计算手眼175L和机器人100的臂160L之间的相对位姿时使用的参数，含有表示臂160L的手前端坐标系ΣT1和手眼坐标系ΣE之间的平移和旋转的参数。但是，外部参数也能够由作为表示手前端坐标系ΣT1以外的目标坐标系和手眼坐标系ΣE之间的平移和旋转的参数构成。目标坐标系为根据机器人坐标系Σ0求出的坐标系即可。例如，也可选择相对机器人坐标系Σ0具有固定的已知相对位姿的坐标系，或与臂160L的关节的操作量相应的由与机器人坐标系Σ0的相对位姿确定的坐标系作为目标坐标系。外部参数相当于“含有臂的手前端坐标系和摄像机的摄像机坐标系之间的坐标变换矩阵的摄像机参数”。
图3中作为与机器人100相关的坐标系，描述如下坐标系。
(1)机器人坐标系Σ0：以机器人100的基准点为坐标原点的坐标系。
(2)臂坐标系ΣA1、ΣA2：以臂160L、160R的基准点A1、A2为坐标原点的坐标系。
(3)手前端坐标系ΣT1、ΣT2：以臂160L、160R的TCP(工具中心点)为坐标原点的坐标系。
(4)图案坐标系ΣP：以校正用图案400上的预定的位置为坐标原点的坐标系。
(5)手眼坐标系ΣE：在手眼175设定的坐标系。
臂坐标系ΣA1、ΣA2和手前端坐标系ΣT1、ΣT2在左臂160L和右臂160R上各自分别设定。以下，将与左臂160L相关的坐标系也称为“第一臂坐标系ΣA1”、“第一手前端坐标系ΣT1”，将与右臂160R相关的坐标系称为“第二臂坐标系ΣA2”、“第二手前端坐标系ΣT2”。另外，臂坐标系ΣA1、ΣA2和机器人坐标系Σ0的相对位姿为已知。手眼坐标系ΣE也在手眼175L、175R各自分别设定。在以下的说明中，由于以左臂160L的手眼175L为校正对象，作为手眼坐标系ΣE使用左臂160L的手眼175L的坐标系。另外，在图3中，为方便图示，各个坐标系的原点被描述为在与实际位置偏离的位置。
一般地，用以下所示的齐次变换矩阵AHB(Homogeneous transformation matrix)表示从某坐标系ΣA向其他坐标系ΣB的变换、或在这些坐标系中的位姿变换。
(表达式1)
其中，R为旋转矩阵(Rotation matrix)，T为平移矢量(Translation vector)，Rx、Ry、Rz为旋转矩阵R的列分量。以下，将齐次变换矩阵AHB称为“坐标变换矩阵AHB”、“变换矩阵AHB”或仅称为“变换AHB”。变换的符号“AHB”的左侧的上标的字符“A”表示变换前的坐标系，右侧的下标的字符“B”表示变换后的坐标系。另外，变换AHB也可认为是表示从坐标系ΣA观测的坐标系ΣB的基向量的分量和原点位置。
变换AHB的逆矩阵AHB -1(＝BHA)由以下表达式给出。
(表达式2)
旋转矩阵R具有以下重要性质。
＜旋转矩阵R的性质1＞
旋转矩阵R为标准正交矩阵，其逆矩阵R-1与转置矩阵RT相等。
＜旋转矩阵R的性质2＞
旋转矩阵R的三个列的分量Rx、Ry、Rz与从原坐标系ΣA观测的旋转后的坐标系ΣB的三个基向量的分量相等。
在对某坐标系ΣA依次实施变换AHB、BHC的情况下，合成的变换AHC为将各变换AHB、BHC依次在右侧相乘而得到的。
(表达式3)
AHc＝AHB·BHc (3).
而且，关于旋转矩阵R，和表达式(3)同样的关系也成立。
(表达式4)
ARc＝ARB·BRc (4).
C.坐标变换的AX＝XB问题
在图3中，坐标系ΣA1、ΣT1、ΣE、ΣP之间，以下的变换成立。
(1)变换A1HT1(可计算)：从第一臂坐标系ΣA1到第一手前端坐标系ΣT1的变换。
(2)变换T1HE(未知)：从第一手前端坐标系ΣT1到手眼坐标系ΣE的变换。
(3)变换EHP(可估计)：从手眼坐标系ΣE到图案坐标系ΣP的变换。
(4)变换PHA1(未知)：从图案坐标系ΣP到第一臂坐标系ΣA1的变换。
上述的四个变换A1HT1、T1HE、EHP、PHA1中，变换A1HT1为从第一臂坐标系ΣA1到第一手前端坐标系ΣT1的变换。第一手前端坐标系ΣT1示出第一臂160L的TCP的位姿。通常，求解TCP相对第一臂坐标系ΣA1的位姿的处理称为正运动学，如果臂160L的几何学形状和各关节的操作量(旋转角度)确定的话即可计算。就是说，该变换A1HT1为可计算的变换。
变换T1HE为从第一手前端坐标系ΣT1到手眼坐标系ΣE的变换。该变换T1HE为未知，求解该变换T1HE即相当于手眼175的校正(标定)。
变换EHP为从手眼坐标系∑E到图案坐标系∑P的变换，利用手眼175拍摄校正用图案400，通过对其图像进行图像处理能够估计。能够通过使用为进行摄像机校正的标准软件(例如OpenCV或MATLAB的摄像机标定函数)来执行该变换EHP的估计处理。
变换PHA1为从图案坐标系∑P到第一臂坐标系∑A1的变换。该变换PHA1为未知。
由于如果按顺序历经上述的变换A1HT1、T1HE、EHP、PHA1，会回到最初的第一臂坐标系∑A1，使用恒等变换I以下的表达式得以成立。
(表达式5)
A1HT1·T1HE·EHP·PHA1＝I (5).
如果在表达式(5)的两边，从左边按顺序乘以各变换的逆矩阵A1HT1 -1、T1HE -1、EHP -1则能够得到以下表达式。
(表达式6)
PHA1＝EHP -1·T1HE -1·A1HT1 -1 (6).
在表达式(6)中，能够通过使用摄像机标定函数来估计变换EHP，变换A1HT1为可计算。从而，若变换T1HE为已知，则右边能够计算，能够得知左边的变换PHA1。
另一方面，若变换T1HE为未知，则表达式(6)的右边不能计算，需要其他处理。例如，考虑图3中左臂160L的两个姿势i、j，在各情况下上述表达式(5)成立，成为以下表达式。
(表达式7)
A1HT1(i)·T1HE·EHP(i)·PHA1＝I (7a)
A1HT1(j)·T1HE·EHP(j)·PHA1＝I (7b).
表达式(7a)、(7b)的两边各自从右边乘以变换PHA1的逆矩阵PHA1 -1，能够得到以下表达式。
(表达式8)
A1HT1(i)·T1HE·EHP(i)＝PHA1 -1 (8a)
A1HT1(j)·T1HE·EHP(j)＝PHA1 -1 (8b).
表达式(8a)、(8b)的右边虽为未知但由于是相同的变换，以下表达式成立。
(表达式9)
A1HT1(i)·T1HE·EHP(i)＝A1HT1(j)·T1HE·EHP(j) (9).
若在表达式(9)的两边从左边乘以A1HT1(j)-1、右边乘以EHP(i)-1，则成为以下表达式。
(表达式10)
(A1HT1(j)-1·A1HT1(i))·T1HE＝T1HE·(EHP(j)·EHP(i)-1) (10).
此时，若表达式(10)的左边和右边的括号中的变换的乘积分别记作A、B，未知的变换T1HE记作X、则能够得到以下表达式。
(表达式11)
AX＝XB (11).
这就是作为AX＝XB问题而被熟知的处理，为解未知矩阵X，需要非线性的最优化处理。但是，该非线性最优化处理，存在无法保证向最优解收敛的问题。
如以下详述，在第一实施方式中，利用能够任意控制设置有校正用图案400的第二臂160R，通过计算从第二臂160R的位姿到第二臂坐标系∑A2和图案坐标系ΣP的关系，估计第一手前端坐标系ΣT1和手眼坐标系ΣE之间的变换T1HE或者EHT1。其结果，能够确定手眼175的外部参数。
为进行这样的处理，在第一实施方式中，除上述变换A1HT1、T1HE、EHP、PHA1以外，利用以下变换。
(5)变换A1HA2(已知)：从第一臂坐标系ΣA1到第二臂坐标系ΣA2的变换。
(6)变换A2HT2(可计算)：从第二臂坐标系ΣA2到第二手前端坐标系ΣT2的变换。
(7)变换T2HP(已知)：从第二手前端坐标系ΣT2到图案坐标系ΣP的变换。
假定从第二手前端坐标系ΣT2到图案坐标系ΣP的变换T2HP为已知。如果在臂160R的手腕部设置的用于校正用图案400的夹具(例如凸缘)经过高精度地设计、制造，则能够根据其设计数据确定该变换T2HP。或者，也能够由固定摄像机170拍摄在臂160R的手腕部设置的校正用图案400，估计从其图案图像到摄像机坐标系ΣC和图案坐标系ΣP的变换CHP，利用该变换CHP，预先求解从第二手前端坐标系ΣT2到图案坐标系ΣP的变换T2HP。
D.第一实施方式的处理顺序
图4示出第一实施方式的手眼175的校正处理的顺序的流程图。机器人100具有的两个手眼175R、175L虽然各自分别被校正，但以下不做特别区别而称为“手眼175”。以下说明的校正处理由图2示出的臂控制部211、摄像机控制部212和摄像机校正执行部213协作执行。即，由臂控制部211控制臂160来实现校正用图案400的位姿变更操作。而且，由摄像机控制部212控制利用手眼175、摄像机170的拍摄。由摄像机校正执行部213确定手眼175的内部参数与外部参数。而且，在对手眼175的外部参数的确定中，由变换矩阵估计部214进行各种矩阵与矢量的估计。
步骤S110和步骤S120是确定手眼175的内部参数的处理。首先，在步骤S110中，使用手眼175以多个位姿拍摄校正用图案400。这些多个位姿由于是用于确定手眼175的内部参数的，能够采用任意位姿。以下，由手眼175拍摄而获取的校正用图案400的图像称为“图案图像”。步骤S120中，摄像机校正执行部213使用步骤S110获取的多个图案图像，估计手眼175的内部参数。如前述那样，手眼175的内部参数为手眼175以及其透镜系统的固有参数，含有例如射影变换参数和失真参数等。能够通过使用进行摄像机校正的标准软件(例如OpenCV和MATLAB的摄像机标定函数)执行内部参数的估计。
步骤S130～S170为估计手眼175的外部参数的处理。步骤S130中，使用手眼175以特定位姿拍摄校正用图案400。另外，在上述步骤S110中，由于以多个位姿拍摄了校正用图案400，也能够利用这些多个位姿中的一个作为“特定的位姿”。这种情况下，能够省略步骤S130。以下，将校正用图案400采取特定的位姿的机器人100的状态仅称为“特定位姿状态”。
在步骤S140中，算出特定位姿状态下的第一臂坐标系ΣA1和第一手前端坐标系ΣT1之间的变换A1HT1或者T1HA1。能够通过臂160L的正运动学算出该变换A1HT1或者T1HA1。
在步骤S150中，算出特定位姿状态下的第一臂坐标系ΣA1和图案坐标系ΣP之间的变换A1HP或者PHA1。例如能够由以下表达式算出变换A1HP。
(表达式12)
A1HP＝A1HA2·A2HT2.T2HP (12).
表达式(12)的右边的三个变换A1HA2、A2HT2、T2HP中第一个变换A1HA2和第三个变换T2HP是固定的，通过第二臂160R的位姿算出第二个变换A2HT2。
如此，在步骤S150中，根据特定位姿状态下的第二臂160R的位姿，算出第一臂坐标系ΣA1和图案坐标系ΣP之间的变换A1HP或者PHA1。即，摄像机校正执行部213能够算出特定位姿状态下的第一臂坐标系ΣA1和图案坐标系ΣP的关系。
在步骤S160中，使用特定位姿状态下手眼175拍摄的图案图像，估计手眼坐标系ΣE和图案坐标系ΣP之间的变换EHP或者PHE。能够通过利用步骤S120中获得的内部参数，使用估计摄像机的外部参数的标准软件(例如OpenCV的函数“FindExtrinsicCameraParams2”)来执行该估计。
在步骤S170中，算出第一手前端坐标系和手眼坐标系的变换T1HE、EHT1。例如关于变换T1HE，在图3中以下表达式成立。
(表达式13)
T1HE＝T1HA1·A1HA2·A2HT2·T2HP·PHE (13).
表达式(13)的右边的五个变换中，由步骤S140算出第一个变换T1HA1。第二个变换A1HA2为已知。能够通过臂160R的正运动学算出第三个变换A2HT2。第四个变换T2HP为已知。第五个变换PHE由步骤S160估计。从而，第一手前端坐标系ΣT1和手眼坐标系ΣE的变换T1HE能够按照式(13)算出。
以此方式获得的齐次变换矩阵T1HE或者EHT1作为手眼175的外部参数233存储在非易失性存储器230中。如果利用手眼175的外部参数233和内部参数232，能够执行使用手眼175的各种检测处理或控制。另外，作为手眼175的外部参数233，能够采用能够算出机器人坐标系Σ0和手眼坐标系ΣE之间的坐标变换的各种参数。
如此，第一实施方式中，使用在拍摄图案图像时的臂160的位姿和图案图像，能够估计第一手前端坐标系ΣT1和手眼坐标系ΣE之间的坐标变换矩阵T1HE。特别地，在第一实施方式中，摄像机校正执行部213在步骤S140中，根据拍摄图案图像时的臂160的位姿，算出第一臂坐标系ΣA1和第一手前端坐标系ΣT1之间的第一变换矩阵A1HT1或者T1HA1。而且，在步骤S150中，算出图案坐标系ΣP和第一臂坐标系ΣA1之间的第二变换矩阵A1HP或者PHA1。此外，在步骤S160中，根据图案图像估计手眼坐标系ΣE和图案坐标系ΣP之间的第三变换矩阵EHP或者PHE。然后，在步骤S170中，根据这些变换矩阵，算出第一手前端坐标系ΣT1和手眼坐标系ΣE之间的坐标变换矩阵T1HE或者EHT1。从而，能够容易地获得含有第一手前端坐标系ΣT1和手眼坐标系ΣE之间的坐标变换矩阵T1HE或者EHT1的手眼175的外部参数。
E.第二实施方式
图5是示出第二实施方式的机器人100的坐标系的说明图。与第一实施方式的图3不同的是，以使用固定摄像机170估计固定摄像机170的摄像机坐标系ΣC和图案坐标系ΣP之间的变换CHP或者PHC替代了第二手前端坐标系ΣT2到图案坐标系ΣP的变换T2HP为已知的这一点。图1以及图2中所示的机器人100的结构与第一实施方式相同。
作为固定摄像机170，使用两个摄像机170L、170R中的一个或两个。但是，如果两个摄像机170L、170R作为立体摄像机利用，能够更正确地估计校正用图案400的位姿。另外，在第二实施方式中，关于摄像机170，假定已经预先校正完成且其内部参数和外部参数为已确定。而且，假定第一臂坐标系ΣA1和摄像机坐标系ΣC之间的变换A1HC为已知。
图6是示出第二实施方式中手眼175的校正处理的顺序的流程图。只有图4的步骤S150被含有三个步骤S151～S153的步骤S150a置换这一点与第一实施方式的图4不同，其他步骤相同。
步骤S151中，使用固定摄像机170以特定的位姿拍摄校正用图案400。该特定的位姿为与在步骤S130中特定的位姿相同。在步骤S152中，使用特定位姿状态下固定摄像机170拍摄的图案图像(第二图案图像)，估计摄像机坐标系ΣC和图案坐标系ΣP之间的变换CHP或者PHC。例如，如果利用立体摄像机作为固定摄像机，由于能够根据校正用图案400拍摄的图案图像来确定图案坐标系ΣP的位姿，能够估计摄像机坐标系ΣC和图案坐标系ΣP之间的变换CHP或者PHC。另一方面，在使用一个固定摄像机170的情况下，能够通过使用估计摄像机的外部参数的标准软件(例如OpenCV的函数“FindExtrinsicCameraParams2”)估计摄像机坐标系ΣC和图案坐标系ΣP之间的变换CHP或者PHC。
在步骤S153中，算出特定位姿状态下的第一臂坐标系ΣA1和图案坐标系ΣP之间的变换A1HP或者PHA1。例如，能够由以下表达式算出变换A1HP。
(表达式14)
A1HP＝A1HC·cHP (14)。
表达式(14)的右边的两个变换中，第一个变换A1HC为已知。在步骤S152中估计第二个变换CHP。
如此，在第二实施方式中，在步骤S150a中，能够根据固定摄像机170拍摄的第二图案图像，估计第一臂坐标系ΣA1和图案坐标系ΣP之间的变换A1HP或者PHA1。即，摄像机校正执行部213能够估计特定位姿状态下的第一臂坐标系ΣA1和图案坐标系ΣP的关系。
第一臂坐标系ΣA1和图案坐标系ΣP之间的变换A1HP或者PHA1如果被确定，则和第一实施方式同样，通过步骤S160、S170的处理，能够求出含有第一手前端坐标系ΣT1和手眼坐标系ΣE的齐次变换矩阵T1HE或者EHT1的手眼175的外部参数。
如此，在第二实施方式中，也能够使用拍摄图案图像时的臂160的位姿和图案图像，估计第一手前端坐标系ΣT1和手眼坐标系ΣE之间的坐标变换矩阵T1HE。特别地，在第二实施方式中，在步骤S150a中，用相对于臂160独立配置的固定摄像机170拍摄校正用图案400的第二图案图像，根据该第二图案图像，估计图案坐标系ΣP和第一臂坐标系ΣA1之间的第二变换矩阵A1HP或者PHA1。即，由于能够根据第二图案图像估计第二变换矩阵A1HP或者PHA1，能够容易地求解第一手前端坐标系ΣT1和手眼坐标系ΣE之间的坐标变换矩阵T1HE或者EHT1。
F.第三实施方式
图7是示出第三实施方式的机器人100a的坐标系的说明图。与第二实施方式的图6不同之处在于，机器人100a是具有一个臂160的单臂机器人、以及固定摄像机170为与机器人100a独立设置。和第二实施方式同样，假定臂坐标系ΣA1和摄像机坐标系ΣC之间的变换A1HC为已知。由于第三实施方式的处理顺序与第二实施方式的图6的处理顺序相同，省略说明。
第三实施方式也和第二实施方式同样，能够使用拍摄图案图像时的臂160的位姿和图案图像，来估计手前端坐标系ΣT和手眼坐标系ΣE之间的坐标变换矩阵T1HE或者EHT1。而且，能够求出含有此坐标变换矩阵T1HE或者EHT1的手眼175的外部参数。
本发明不限于上述实施方式、实施例或变形例，能够在不脱离其宗旨的范围内以各种结构实现。例如，为解决上述问题的一部分或全部，或者为达成上述效果的一部分或全部，能够对发明内容中记载的与各方式中技术特征相对应的实施方式、实施例或变形例适当地进行替换或组合。而且，除非其技术特征在本说明书中被说明为必须，能够适当地去除。

Claims (6)

1.一种控制装置，其特征在于，
控制具备设置有摄像机的臂的机器人，
所述控制装置具备：
臂控制部，控制所述臂；
摄像机控制部，控制所述摄像机，所述摄像机控制部使所述摄像机拍摄所述摄像机的校正用图案的图案图像；以及
摄像机校正执行部，估计所述臂的臂坐标系与所述校正用图案的图案坐标系的关系以及所述臂的手前端坐标系和所述摄像机的摄像机坐标系之间的坐标变换矩阵，建立含有所述坐标变换矩阵的所述摄像机的参数，
所述摄像机校正执行部能够算出拍摄所述图案图像时的所述臂坐标系和所述图案坐标系的关系，使用拍摄所述图案图像时的所述臂的位姿和所述图案图像，估计所述坐标变换矩阵，
所述摄像机校正执行部根据拍摄所述图案图像时的所述臂的位姿，算出所述臂坐标系和所述手前端坐标系之间的第一变换矩阵，算出或估计所述图案坐标系和所述臂坐标系之间的第二变换矩阵，根据所述图案图像，估计所述摄像机坐标系和所述图案坐标系之间的第三变换矩阵，根据所述第一变换矩阵、所述第二变换矩阵以及所述第三变换矩阵，算出所述坐标变换矩阵。
2.根据权利要求1所述的控制装置，其特征在于，
所述机器人具有第二臂,所述第二臂构成为所述校正用图案能够以预先设定的设置状态而被设置，
所述摄像机校正执行部根据拍摄所述图案图像时的所述第二臂的位姿，算出所述图案坐标系和所述臂坐标系之间的所述第二变换矩阵。
3.根据权利要求1所述的控制装置，其特征在于，
所述摄像机控制部使相对于所述臂独立配置的固定摄像机拍摄所述校正用图案的第二图案图像，
所述摄像机校正执行部根据所述第二图案图像，估计所述图案坐标系和所述臂坐标系之间的所述第二变换矩阵。
4.根据权利要求3所述的控制装置，其特征在于，
所述固定摄像机为立体摄像机。
5.一种机器人系统，其特征在于，
所述机器人系统具备：
所述机器人；以及
与所述机器人连接的权利要求1至4中任一项所述的控制装置。
6.一种摄像机的校正方法，其特征在于，
在具备设置有摄像机的臂的机器人中进行所述摄像机的校正，
通过所述摄像机拍摄所述摄像机的校正用图案的图案图像，算出拍摄所述图案图像时的所述臂的臂坐标系和所述校正用图案的图案坐标系之间的关系，使用拍摄所述图案图像时的所述臂的位姿和所述图案图像，估计所述臂的手前端坐标系和所述摄像机的摄像机坐标系之间的坐标变换矩阵，
在所述坐标变换矩阵的估计中，
根据拍摄所述图案图像时的所述臂的位姿，算出所述臂坐标系和所述手前端坐标系之间的第一变换矩阵，算出或估计所述图案坐标系和所述臂坐标系之间的第二变换矩阵，根据所述图案图像，估计所述摄像机坐标系和所述图案坐标系之间的第三变换矩阵，根据所述第一变换矩阵、所述第二变换矩阵以及所述第三变换矩阵，算出所述坐标变换矩阵。
CN201810737483.1A 2017-07-11 2018-07-06 机器人的控制装置及其系统、机器人及摄像机的校正方法 Active CN109227532B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017135107A JP7003462B2 (ja) 2017-07-11 2017-07-11 ロボットの制御装置、ロボットシステム、並びに、カメラの校正方法
JP2017-135107 2017-07-11

Publications (2)

Publication Number Publication Date
CN109227532A CN109227532A (zh) 2019-01-18
CN109227532B true CN109227532B (zh) 2023-08-29

Family

ID=65000615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810737483.1A Active CN109227532B (zh) 2017-07-11 2018-07-06 机器人的控制装置及其系统、机器人及摄像机的校正方法

Country Status (3)

Country Link
US (1) US20190015989A1 (zh)
JP (1) JP7003462B2 (zh)
CN (1) CN109227532B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6740288B2 (ja) * 2018-07-13 2020-08-12 ファナック株式会社 物体検査装置、物体検査システム、及び検査位置を調整する方法
US11691279B2 (en) 2019-04-25 2023-07-04 Berkshire Grey Operating Company, Inc. Systems and methods for maintaining vacuum hose life in hose routing systems in programmable motion systems
KR20210004553A (ko) * 2019-07-05 2021-01-13 삼성전자주식회사 전자 장치, 이를 이용한 스테레오 영상 복원 방법 및 컴퓨터로 읽을 수 있는 기록 매체
CN110480631A (zh) * 2019-07-19 2019-11-22 五邑大学 一种应用于搬运机器人的目标搬运方法及其搬运机器人
JP7343329B2 (ja) * 2019-08-05 2023-09-12 ファナック株式会社 ワーク選定及びロボット作業を同時に行うロボット制御システム
CN111055289B (zh) * 2020-01-21 2021-09-28 达闼科技（北京）有限公司 机器人的手眼标定方法、装置、机器人及存储介质
CA3170703A1 (en) 2020-02-06 2021-08-12 Berkshire Grey Operating Company, Inc. Systems and methods for camera calibration with a fiducial of unknown position on an articulated arm of a programmable motion device
JP2021146445A (ja) * 2020-03-19 2021-09-27 セイコーエプソン株式会社 校正方法
CN113858265B (zh) * 2020-06-30 2023-07-18 上海微创数微医疗科技有限公司 机械臂的位姿误差的检测方法及系统
CN112936301B (zh) * 2021-01-26 2023-03-03 深圳市优必选科技股份有限公司 一种机器人手眼标定方法、装置、可读存储介质及机器人
CN113664836B (zh) * 2021-09-15 2023-10-10 上海交通大学 手眼标定方法、机器人、介质及电子设备
CN114543669B (zh) * 2022-01-27 2023-08-01 珠海亿智电子科技有限公司 机械臂校准方法、装置、设备及存储介质
CN115439528B (zh) * 2022-04-26 2023-07-11 亮风台（上海）信息科技有限公司 一种获取目标对象的图像位置信息的方法与设备
US11992959B1 (en) 2023-04-03 2024-05-28 Guangdong University Of Technology Kinematics-free hand-eye calibration method and system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0475887A (ja) * 1990-07-19 1992-03-10 Fanuc Ltd 視覚センサのキャリブレーション方法
JPH08210816A (ja) * 1995-02-03 1996-08-20 Fanuc Ltd ロボット−視覚センサシステムにおいてセンサ座標系とロボット先端部の関係を定める座標系結合方法
JP2005028468A (ja) * 2003-07-08 2005-02-03 National Institute Of Advanced Industrial & Technology ロボットの視覚座標系位置姿勢同定方法、座標変換方法および装置
JP2010172986A (ja) * 2009-01-28 2010-08-12 Fuji Electric Holdings Co Ltd ロボットビジョンシステムおよび自動キャリブレーション方法
JP2011011321A (ja) * 2009-07-06 2011-01-20 Fuji Electric Holdings Co Ltd ロボットシステム及びロボットシステムのキャリブレーション方法
JP2012091280A (ja) * 2010-10-27 2012-05-17 Mitsubishi Electric Corp 座標系校正方法及びロボットシステム
CN103372862A (zh) * 2012-04-12 2013-10-30 精工爱普生株式会社 机器人系统及其校准方法、机器人、校准装置及数码相机
JP2016052695A (ja) * 2014-09-03 2016-04-14 キヤノン株式会社 ロボット装置、およびロボット装置の制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60151711A (ja) * 1984-01-19 1985-08-09 Hitachi Ltd ロボツト手先視覚座標系較正方式
JPH1063317A (ja) * 1996-08-13 1998-03-06 Fanuc Ltd ロボット−視覚センサシステムにおける座標系結合方法
JPH1133962A (ja) * 1997-07-18 1999-02-09 Yaskawa Electric Corp ロボットの三次元位置センサのキャリブレーション 方法とその装置
JP5093058B2 (ja) 2008-11-04 2012-12-05 株式会社デンソーウェーブ ロボットの座標の結合方法
KR101465652B1 (ko) * 2013-04-12 2014-11-28 성균관대학교산학협력단 로봇 핸드와 로봇 핸드에 부착된 카메라의 캘리브레이션 방법 및 장치
JP6468741B2 (ja) * 2013-07-22 2019-02-13 キヤノン株式会社 ロボットシステム及びロボットシステムの校正方法
JP6335460B2 (ja) 2013-09-26 2018-05-30 キヤノン株式会社 ロボットシステムの制御装置及び指令値生成方法、並びにロボットシステムの制御方法
CN103759716B (zh) 2014-01-14 2016-08-17 清华大学 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
JP6206560B2 (ja) * 2015-09-28 2017-10-04 株式会社リコー システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0475887A (ja) * 1990-07-19 1992-03-10 Fanuc Ltd 視覚センサのキャリブレーション方法
JPH08210816A (ja) * 1995-02-03 1996-08-20 Fanuc Ltd ロボット−視覚センサシステムにおいてセンサ座標系とロボット先端部の関係を定める座標系結合方法
JP2005028468A (ja) * 2003-07-08 2005-02-03 National Institute Of Advanced Industrial & Technology ロボットの視覚座標系位置姿勢同定方法、座標変換方法および装置
JP2010172986A (ja) * 2009-01-28 2010-08-12 Fuji Electric Holdings Co Ltd ロボットビジョンシステムおよび自動キャリブレーション方法
JP2011011321A (ja) * 2009-07-06 2011-01-20 Fuji Electric Holdings Co Ltd ロボットシステム及びロボットシステムのキャリブレーション方法
JP2012091280A (ja) * 2010-10-27 2012-05-17 Mitsubishi Electric Corp 座標系校正方法及びロボットシステム
CN103372862A (zh) * 2012-04-12 2013-10-30 精工爱普生株式会社 机器人系统及其校准方法、机器人、校准装置及数码相机
JP2016052695A (ja) * 2014-09-03 2016-04-14 キヤノン株式会社 ロボット装置、およびロボット装置の制御方法

Also Published As

Publication number Publication date
JP7003462B2 (ja) 2022-01-20
US20190015989A1 (en) 2019-01-17
CN109227532A (zh) 2019-01-18
JP2019014030A (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
CN109227532B (zh) 机器人的控制装置及其系统、机器人及摄像机的校正方法
CN109227601B (zh) 控制装置、机器人、机器人系统及校正方法
JP7035657B2 (ja) ロボットの制御装置、ロボット、ロボットシステム、並びに、カメラの校正方法
JP6966582B2 (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
CN108453701B (zh) 控制机器人的方法、示教机器人的方法和机器人系统
JP6429473B2 (ja) ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
JP7062911B2 (ja) ロボットシステム
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
US9884425B2 (en) Robot, robot control device, and robotic system
WO2012127845A1 (en) Robot control apparatus, robot control method, program, and recording medium
JP5365379B2 (ja) ロボットシステム及びロボットシステムのキャリブレーション方法
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
US20220331964A1 (en) Device and method for controlling a robot to insert an object into an insertion
US20190035108A1 (en) Control Device for Robot, Robot, Robot System, and Method of Confirming Abnormality Of Robot
JP6578671B2 (ja) ロボット、ロボットの制御方法、及びロボットの制御装置
CN115446847A (zh) 用于提高机器人系统的3d眼手协调准确度的系统和方法
JP7483455B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
JP2021091070A (ja) ロボット制御装置
Park et al. Robot-based Object Pose Auto-annotation System for Dexterous Manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant