CN115397634A - 取得机器人的控制坐标系中的视觉传感器的位置的装置、机器人系统、方法以及计算机程序 - Google Patents

取得机器人的控制坐标系中的视觉传感器的位置的装置、机器人系统、方法以及计算机程序 Download PDF

Info

Publication number
CN115397634A
CN115397634A CN202180027827.XA CN202180027827A CN115397634A CN 115397634 A CN115397634 A CN 115397634A CN 202180027827 A CN202180027827 A CN 202180027827A CN 115397634 A CN115397634 A CN 115397634A
Authority
CN
China
Prior art keywords
posture
coordinate system
vision sensor
robot
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180027827.XA
Other languages
English (en)
Inventor
小洼恭平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN115397634A publication Critical patent/CN115397634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

以往，为了测量控制坐标系中的视觉传感器的位置，需要使视觉传感器相对于标识的相对姿势变化，但存在在姿势变化后标识从视觉传感器的视野偏离的可能性。取得控制坐标系(C2)中的视觉传感器(14)的位置的装置(18、16)的处理器使机器人(12)动作，使视觉传感器(14)或标识的姿势变化第一姿势变化量，基于在姿势变化的前后视觉传感器(14)拍摄到的标识的图像数据，取得控制坐标系(C2)中的视觉传感器(14)的位置作为试测量位置，使机器人(12)动作，使姿势变化比第一姿势变化量大的第二姿势变化量，基于在姿势变化前后视觉传感器(14)拍摄到的标识的图像数据，取得控制坐标系(C2)中的视觉传感器(14)的位置作为主测量位置。

Description

取得机器人的控制坐标系中的视觉传感器的位置的装置、机 器人系统、方法以及计算机程序
技术领域
本发明涉及取得机器人的控制坐标系中的视觉传感器的位置的装置、机器人系统、方法以及计算机程序。
背景技术
以往，已知基于由视觉传感器拍摄标识而得到的图像数据来测量视觉传感器在机器人的控制坐标系中的位置以及姿势的装置(例如，专利文献1以及2)。
现有技术文献
专利文献
专利文献1：日本特开2005-201824号公报
专利文献2：日本特开2005-300230号公报
发明内容
发明所要解决的课题
以往，为了测量视觉传感器在控制坐标系中的位置，需要使视觉传感器相对于标识的相对姿势变化(例如，使视觉传感器或标识绕预定的轴旋转)。在该情况下，存在标识偏离视觉传感器的视野的情况。
用于解决课题的手段
在本公开的一方式中，取得用于控制使视觉传感器和标识相对移动的机器人的控制坐标系中的视觉传感器的位置的装置具备处理器，该处理器进行如下处理：使机器人动作，使视觉传感器或标识的姿势变化第一姿势变化量；基于使姿势变化第一姿势变化量前后视觉传感器拍摄到的标识的图像数据，取得控制坐标系中的视觉传感器的位置作为试测量位置；使机器人动作，使姿势向基于试测量位置确定的姿势变化方向变化比第一姿势变化量大的第二姿势变化量；以及基于使姿势变化第二姿势变化量前后视觉传感器拍摄到的标识的图像数据，取得控制坐标系中的视觉传感器的位置作为主测量位置。
在本公开的一方式中，在取得用于控制使视觉传感器和标识相对移动的机器人的控制坐标系中的视觉传感器的位置的方法中，处理器进行如下处理：使机器人动作，使视觉传感器或标识的姿势变化第一姿势变化量；基于使姿势变化第一姿势变化量前后视觉传感器拍摄到的标识的图像数据，取得控制坐标系中的视觉传感器的位置作为试测量位置；使机器人动作，使姿势向基于试测量位置确定的姿势变化方向变化比第一姿势变化量大的第二姿势变化量；以及基于使姿势变化第二姿势变化量前后视觉传感器拍摄到的标识的图像数据，取得控制坐标系中的视觉传感器的位置作为主测量位置。
发明效果
根据本公开，通过使视觉传感器的姿势变化比较小的姿势变化量，来估算控制坐标系中的视觉传感器的试测量位置，接着，通过使视觉传感器的姿势变化更大的姿势变化量，来求出控制坐标系中的视觉传感器的主测量位置。根据该结构，能够防止在姿势变化后标识从视觉传感器的视野偏离，并且能够取得表示控制坐标系中的视觉传感器的准确的位置的主测量位置。
附图说明
图1是一实施方式的机器人系统的图。
图2是图1所示的机器人系统的框图。
图3表示标识的一例。
图4是表示取得控制坐标系中的视觉传感器的位置的方法的一例的流程图。
图5是表示图4中的步骤S1的一例的流程图。
图6表示视觉传感器拍摄标识而得到的图像数据的一例。
图7是表示图4中的步骤S2的一例的流程图。
图8是表示图4中的步骤S3的一例的流程图。
图9是其他实施方式的机器人系统的图。
图10表示设置于图9所示的机器人的标识。
具体实施方式
以下，基于附图对本公开的实施方式进行详细说明。此外，在以下说明的各种实施方式中，对相同的要素标注相同的附图标记，并省略重复的说明。首先，参照图1以及图2，对一实施方式的机器人系统10进行说明。机器人系统10具备机器人12、视觉传感器14、控制装置16以及示教装置18。
在本实施方式中，机器人12是垂直多关节机器人，具有机器人基座20、旋转体22、机器人手臂24以及手腕部26。机器人基座20固定于作业单元的地板。旋转体22以能够绕铅垂轴旋转的方式设置于机器人基座20。机器人手臂24具有：下臂部28，其以能够绕水平轴转动的方式设置于旋转体22；以及上臂部30，其以能够转动的方式设置于该下臂部28的前端部。
手腕部26具有：手腕基座32，其以能够转动的方式与上臂部30的前端部连结；以及手腕凸缘34，其以能够绕轴线A转动的方式设置于该手腕基座32。手腕凸缘34是以轴线A为中心轴的圆筒状的部件，在其前端侧具有安装面34a。手腕部26使手腕凸缘34绕轴线A转动。
在安装面34a上可装卸地安装有对工件进行作业的末端执行器(未图示)。末端执行器是机器人手、焊枪、激光加工头或涂料涂敷器等，对工件进行预定的作业(工件处理、焊接、激光加工或涂敷等)。
在机器人12的各构成要素(即，机器人基座20、旋转体22、机器人手臂24以及手腕部26)中分别内置有伺服电动机36(图2)。伺服电动机36根据来自控制装置16的指令来驱动机器人12的各可动要素(即，旋转体22、机器人手臂24以及手腕部26)。
在机器人12中设定有机器人坐标系C1(图1)。机器人坐标系C1是用于控制机器人12的各可动要素的动作的控制坐标系，固定在3维空间内。在本实施方式中，机器人坐标系C1以其原点配置于机器人基座20的中心且其z轴与旋转体22的旋转轴一致的方式对机器人12进行设定。
另一方面，如图1所示，在机器人12的指尖(具体而言，手腕凸缘34)设定有机械接口(以下，简称为“MIF”)坐标系C2。MIF坐标系C2是用于控制机器人坐标系C1中的手腕凸缘34(或者末端执行器)的位置以及姿势的控制坐标系。在本实施方式中，MIF坐标系C2以其原点配置于手腕凸缘34的安装面34a的中心且其z轴与轴线A一致的方式设定于机器人12的指尖。
在使手腕凸缘34(末端执行器)移动时，处理器40在机器人坐标系C1中设定MIF坐标系C2，并控制机器人12的各伺服电动机36，以使手腕凸缘34(末端执行器)配置成由所设定的MIF坐标系C2表示的位置以及姿势。这样，处理器40能够将手腕凸缘34(末端执行器)定位于机器人坐标系C1中的任意的位置以及姿势。
视觉传感器14例如是照相机或3维视觉传感器，具有接收被摄体像并进行光电变换的摄像传感器(CCD、CMOS等)、以及对被摄体像进行聚光并使摄像传感器聚焦的光学透镜(聚光透镜、聚焦透镜等)等。视觉传感器14拍摄物体，并将拍摄到的图像数据向控制装置16发送。在本实施方式中，视觉传感器14相对于手腕凸缘34固定在预定的位置。
在视觉传感器14中设定有传感器坐标系C3。传感器坐标系C3是规定视觉传感器14拍摄到的图像数据的各像素的坐标的坐标系，被以其原点配置在视觉传感器14的拍摄传感器的受光面(或光学透镜)的中心，其x轴和y轴配置成与该拍摄传感器的横向和纵向平行，且其z轴与视觉传感器14的视线(或光轴)O一致的方式对该视觉传感器14进行设定。
控制装置16控制机器人12和视觉传感器14的动作。具体而言，控制装置16是具有处理器40、存储器42以及I/O接口44的计算机。处理器40具有CPU或GPU等，经由总线46与存储器42及I/O接口44可通信地连接。处理器40一边与存储器42及I/O接口44进行通信，一边向机器人12及视觉传感器14发送指令，控制机器人12及视觉传感器14的动作。
存储器42具有RAM或ROM等，暂时或永久地存储各种数据。I/O接口44例如具有以太网(注册商标)端口、USB端口、光纤连接器或HDMI(注册商标)端子等，在来自处理器40的指令下，以无线或有线的方式与外部设备进行数据的通信。上述的伺服电动机36和视觉传感器14以能够通过无线或有线进行通信的方式与I/O接口44连接。
示教装置18例如是用于示教用于使机器人12执行预定的作业的动作的手持式装置(示教器、或者平板型的终端装置等)。具体而言，示教装置18是具有处理器50、存储器52、I/O接口54、输入装置56以及显示装置58的计算机。处理器50具有CPU或GPU等，经由总线60与存储器52、输入装置56、显示装置58以及I/O接口54可通信地连接。
存储器52具有RAM或ROM等，暂时或永久地存储各种数据。I/O接口54例如具有以太网(注册商标)端口、USB端口、光纤连接器或HDMI(注册商标)端子等，在来自处理器50的指令下，以无线或有线的方式与外部设备进行数据的通信。I/O接口54通过有线或无线与控制装置16的I/O接口44连接，控制装置16与示教装置18能够相互通信。
输入装置56具有按钮、开关、键盘或触摸面板等，受理操作者的输入操作，将所输入的信息发送到处理器50。显示装置58具有LCD或有机EL显示器等，在来自处理器50的指令下显示各种信息。操作员通过操作输入装置56而能够对机器人12进行点动(jog)操作，对机器人12示教动作。
在本实施方式中，MIF坐标系C2与传感器坐标系C3的位置关系未被校准，是未知的。然而，在基于视觉传感器14拍摄到的图像数据使机器人12执行针对工件的作业的情况下，需要使用于控制机器人12的控制坐标系(即，机器人坐标系C1、MIF坐标系C2)中的视觉传感器14的位置(即，传感器坐标系C3的原点位置)以及姿势(即，传感器坐标系C3的各轴方向)为已知。
在本实施方式中，示教装置18基于视觉传感器14拍摄到的标识ID的图像数据，取得控制坐标系(机器人坐标系C1、MIF坐标系C2)中的视觉传感器14的位置以及姿势的数据。图3表示标识ID的一例。在本实施方式中，标识ID设置于构造物B的上表面，由圆线C和相互正交的2条直线D以及E构成。标识ID例如以使用了涂料的图案、或者形成于构造物B的上表面的刻印(凹凸)等能够视觉识别的形态设置于构造物B。
接下来，参照图4，对取得控制坐标系(机器人坐标系C1、MIF坐标系C2)中的视觉传感器14的位置以及姿势的数据的方法进行说明。图4所示的流程在示教装置18的处理器50从操作员、上位控制器或计算机程序CP接收到动作开始指令时开始。此外，处理器50也可以按照计算机程序CP来执行图4所示的流程。该计算机程序CP也可以预先保存在存储器52中。
在步骤S1中，处理器50执行姿势取得过程(process)。参照图5对该步骤S1进行说明。在步骤S11中，处理器50使机器人12动作，将视觉传感器14相对于标识ID配置成初始位置PS0和初始姿势OR0。
预先决定初始位置PS0和初始姿势OR0，使得将视觉传感器14配置成初始位置PS0和初始姿势OR0时标识ID进入视觉传感器14的视野。该初始位置PS0以及初始姿势OR0的数据(即，表示机器人坐标系C1中的MIF坐标系C2的原点的坐标以及各轴的方向的数据)由计算机程序CP预先规定，并存储在存储器52中。
在步骤S12中，处理器50使视觉传感器14动作来拍摄标识ID，取得此时的标识ID相对于视觉传感器14的相对位置。具体而言，处理器50使配置于初始位置PS0以及初始姿势OR0的视觉传感器14进行动作，通过该视觉传感器14来取得标识ID的图像数据JD0。
处理器50经由控制装置16从视觉传感器14取得图像数据JD0，并存储于存储器52。此外，处理器50也可以不经由控制装置16而从视觉传感器14直接取得图像数据JD0。在该情况下，I/O接口54能够通过有线或无线与视觉传感器14可通信地连接。
接着，处理器50取得表示拍摄到图像数据JD0时的标识ID相对于视觉传感器14的相对位置的数据。在此，能够根据配置成可将标识ID纳入视野的任意的位置PSn以及姿势ORn的视觉传感器14拍摄到的图像数据JDn，求出拍摄到该图像数据JDn时的标识ID相对于视觉传感器14的相对位置数据。以下对该方法进行说明。
图6表示配置于任意的位置PSn以及姿势ORn的视觉传感器14拍摄到的图像数据JDn的例子。如图6所示，在本实施方式中，传感器坐标系C3的原点配置于图像数据JDn的中心(具体而言，位于中心的像素)。然而，传感器坐标系C3的原点也可以配置于图像数据JDn的任何已知的位置(像素)。
处理器50对图像数据JDn进行解析，确定该图像数据JDn中映现的标识ID的直线D以及E的交点F。然后，处理器50取得传感器坐标系C3中的交点F的坐标(xn，yn)来作为表示图像数据n中的标识ID的位置的数据。
另外，处理器50对图像数据JDn进行解析，确定该图像数据JDn中映现的标识ID的圆C。然后，处理器50取得传感器坐标系C3中的圆C的面积(或者，圆C的图像区域内所包含的像素数)作为表示图像数据JDn中映现的标识ID的尺寸ISn(单位[像素(pixel)])的数据。
另外，处理器50取得实际空间中的标识ID的尺寸RS(单位[mm])、视觉传感器14的光学透镜的焦距FD以及视觉传感器14的拍摄传感器的尺寸SS(单位[mm/pixel])。将这些尺寸RS、焦距FD和尺寸SS预先存储在存储器52中。
然后，处理器50使用所取得的坐标(xn，yn)、尺寸ISn、尺寸RS、焦距FD以及尺寸SS，取得向量(Xn，Yn，Zn)。在此，Xn能够根据Xn＝xn×ISn×SS/RS的式(1)求出。另外，Yn能够根据Yn＝yn×ISn×SS/RS的式(2)求出。另外，Zn能够根据Zn＝ISn×SS×FD/RS的式(3)求出。
该向量(Xn，Yn，Zn)是从拍摄到图像数据JDn时的视觉传感器14(即，传感器坐标系C3的原点)到标识ID(具体而言，交点F)的向量，是表示标识ID相对于视觉传感器14的相对位置(或者，传感器坐标系C3的坐标)的数据。
这样，处理器50基于图像数据JDn中的标识ID的位置(xn，yn)、图像数据JDn中映现的标识ID的尺寸ISn、实际空间中的该标识ID的尺寸RS、焦距FD、以及拍摄传感器的尺寸SS，来取得拍摄到图像数据JDn时的标识ID相对于视觉传感器14的相对位置数据(Xn，Yn，Zn)。在该步骤S12中，处理器50取得拍摄到图像数据JD0时的标识ID相对于视觉传感器14的相对位置数据(X0，Y0，Z0)。
在步骤S13中，处理器50使机器人12动作，使视觉传感器14平移移动。在此，机器人12使指尖“平移移动”是指，机器人12不改变指尖的姿势而使该指尖移动。在本实施方式中，处理器50在使视觉传感器14配置成初始姿势OR0的状态下，通过机器人12使视觉传感器14从初始位置PS0向该时间点(即，初始位置PS0以及初始姿势OR0)的MIF坐标系C2的x轴方向平移移动预定的距离δx(例如，δx＝5mm)。其结果，视觉传感器14相对于标识ID配置成位置PS1和姿势OR0。
在步骤S14中，与上述的步骤S12同样地，处理器50使视觉传感器14动作来拍摄标识ID，取得此时的标识ID相对于视觉传感器14的相对位置。具体而言，处理器50通过配置成位置PS1以及姿势OR0的视觉传感器14来取得标识ID的图像数据JD1，并取得该图像数据JD1中映现的标识ID的交点F的坐标(x1，y1)以及尺寸IS1。
然后，处理器50使用所取得的坐标(x1，y1)以及尺寸IS1和上述的式(1)～(3)，取得拍摄到图像数据JD1时的标识ID相对于视觉传感器14的相对位置数据(X1，Y1，Z1)。之后，处理器50通过机器人12使视觉传感器14恢复到初始位置PS0和初始姿势OR0。
在步骤S15中，处理器50使机器人12动作，使视觉传感器14平移移动。具体而言，处理器50在将视觉传感器14配置成初始姿势OR0的状态下，通过机器人12的动作使视觉传感器14从初始位置PS0向MIF坐标系C2的y轴方向平移移动预定的距离δy(例如，δy＝5mm)。其结果，视觉传感器14相对于标识ID配置成位置PS2和姿势OR0。
在步骤S16中，与上述的步骤S12同样地，处理器50使视觉传感器14动作来拍摄标识ID，取得此时的标识ID相对于视觉传感器14的相对位置。具体而言，处理器50通过配置成位置PS2以及姿势OR0的视觉传感器14来取得标识ID的图像数据JD2，并取得该图像数据JD2中映现的标识ID的交点F的坐标(x2，y2)以及尺寸IS2。
然后，处理器50使用所取得的坐标(x2，y2)以及尺寸IS2和上述的式(1)～(3)，取得拍摄到图像数据JD2时的标识ID相对于视觉传感器14的相对位置数据(X2，Y2，Z2)。之后，处理器50通过机器人12使视觉传感器14恢复到初始位置PS0和初始姿势OR0。
在步骤S17中，处理器50使机器人12动作，使视觉传感器14平移移动。具体而言，处理器50在将视觉传感器14配置成初始姿势OR0的状态下，通过机器人12的动作使视觉传感器14从初始位置PS0向MIF坐标系C2的z轴方向平移移动预定的距离δz(例如，δz＝5mm)。其结果，视觉传感器14相对于标识ID配置成位置PS3和姿势OR0。
在步骤S18中，与上述的步骤S12同样地，处理器50使视觉传感器14动作来拍摄标识ID，取得此时的标识ID相对于视觉传感器14的相对位置。具体而言，处理器50通过配置成位置PS3以及姿势OR0的视觉传感器14来取得标识ID的图像数据JD3，并取得该图像数据JD3中映现的标识ID的交点F的坐标(x3，y3)以及尺寸IS3。
然后，处理器50使用所取得的坐标(x3，y3)以及尺寸IS3和上述的式(1)～(3)，取得拍摄到图像数据JD3时的标识ID相对于视觉传感器14的相对位置数据(X3，Y3，Z3)。之后，处理器50通过机器人12使视觉传感器14恢复到初始位置PS0和初始姿势OR0。
在步骤S19中，处理器50取得表示控制坐标系中的视觉传感器14的姿势的数据。具体而言，处理器50使用在步骤S12、S14、S16以及S18中取得的相对位置数据(Xn，Yn，Zn)(n＝0，1，2，3)，取得以下的数式所示的矩阵M1。
[数式1]
Figure BDA0003883990770000091
该矩阵M1是表示MIF坐标系C2中的视觉传感器14(或传感器坐标系C3)的姿势(W、P、R)的旋转矩阵。该旋转矩阵能够用所谓的滚动(roll)、俯仰(pitch)以及偏航(yaw)这3个参数来表示。这里，姿势(W，P，R)中的坐标W相当于“偏航”的值，坐标P相当于“俯仰”的值，坐标R相当于“滚动”的值。这些姿势的坐标W、P以及R能够根据矩阵M1求出。
这样，处理器50取得MIF坐标系C2中的视觉传感器14的姿势数据(W、P、R)，并存储于存储器52。该姿势数据(W，P，R)规定MIF坐标系C2中的传感器坐标系C3的各轴的方向(即，视线O)。此外，MIF坐标系C2的坐标和机器人坐标系C1的坐标能够经由已知的变换矩阵相互变换，因此MIF坐标系C2中的姿势数据(W，P，R)能够变换为机器人坐标系C1的坐标(W’，P’，R’)。
在此，以在步骤S11、S13、S15及S17中配置视觉传感器14的所有位置及姿势中标识ID进入视觉传感器14的视野的方式，确定初始位置PS0及初始姿势OR0和上述的距离δx、δy及δz。例如，操作员以视觉传感器14的视线O通过标识ID的圆C的内侧的方式确定初始位置PS0以及初始姿势OR0。
初始位置PS0及初始姿势OR0处的视觉传感器14的视线O与标识ID的位置关系例如能够根据视觉传感器14、机器人12及构造物B的图形数据(CAD数据等)的设计值等来推定。由此，能够将图像数据JD0中映现的标识ID配置于传感器坐标系C3的原点附近。此外，距离δx、δy以及δz也可以是相互不同的值。
再次参照图4，在步骤S2中，处理器50执行试测量过程。以下，参照图7对步骤S2进行说明。在步骤S21中，处理器50通过使视觉传感器14旋转移动使该视觉传感器14的姿势变化。具体而言，处理器50首先在该时间点(初始位置PS0以及初始姿势OR0)的MIF坐标系C2中设定参照坐标系C4。
在本实施方式中，处理器50在MIF坐标系C2中设定参照坐标系C4，使其原点配置于MIF坐标系C2的原点，其姿势(各轴的方向)与在上述的步骤S19中取得的姿势(W，P，R)一致。因此，参照坐标系C4的x轴、y轴以及z轴的方向分别与传感器坐标系C3的x轴、y轴以及z轴平行。
接着，处理器50使机器人12动作，使视觉传感器14(即，手腕凸缘)从初始位置PS0以及初始姿势OR0绕参照坐标系C4的z轴(即，与视线O的方向平行的轴)旋转姿势变化量θ1(第一姿势变化量)，由此配置成位置PS4以及姿势OR1。该姿势变化量θ1作为角度由操作员预先确定(例如，θ1＝5°)，并存储于存储器52。这样，处理器50使视觉传感器14的姿势从初始姿势OR0变化为姿势OR1。
在步骤S22中，与上述的步骤S12同样地，处理器50使视觉传感器14动作来拍摄标识ID，取得此时的标识ID相对于视觉传感器14的相对位置。具体而言，处理器50通过配置成位置PS4以及姿势OR1的视觉传感器14来取得标识ID的图像数据JD4，并取得该图像数据JD4中映现的标识ID的交点F的坐标(x4，y4)以及尺寸IS4。
然后，处理器50使用所取得的坐标(x4，y4)以及尺寸IS4和上述的式(1)～(3)，取得拍摄到图像数据JD4时的标识ID相对于视觉传感器14的相对位置数据(X4，Y4，Z4)。之后，处理器50通过机器人12使视觉传感器14恢复到初始位置PS0和初始姿势OR0。
在步骤S23中，处理器50通过使视觉传感器14旋转移动使该视觉传感器14的姿势变化。具体而言，处理器50使机器人12动作，使视觉传感器14从初始位置PS0及初始姿势OR0绕参照坐标系C4的x轴或y轴(即，与视线O的方向正交的轴)旋转姿势变化量θ2(第一姿势变化量)，由此配置成位置PS5及姿势OR2。该姿势变化量θ2作为角度由操作员预先确定(例如，θ2＝5°)，并存储于存储器52。这样，处理器50使视觉传感器14的姿势从初始姿势OR0向姿势OR2变化。
在步骤S24中，与上述的步骤S12同样地，处理器50使视觉传感器14动作来拍摄标识ID，取得此时的标识ID相对于视觉传感器14的相对位置。具体而言，处理器50通过配置成位置PS5以及姿势OR2的视觉传感器14来取得标识ID的图像数据JD5，并取得该图像数据JD5中映现的标识ID的交点F的坐标(x5，y5)以及尺寸IS5。
然后，处理器50使用所取得的坐标(x5，y5)以及尺寸IS5和上述的式(1)～(3)，取得拍摄到图像数据JD5时的标识ID相对于视觉传感器14的相对位置数据(X5，Y5，Z5)。之后，处理器50通过机器人12使视觉传感器14恢复到初始位置PS0和初始姿势OR0。
在步骤S25中，处理器50取得视觉传感器14的试测量位置。在此，若将MIF坐标系C2中的、参照坐标系C4的原点(在本实施方式中为MIF坐标系C2的原点)到位置未知的传感器坐标系C3的原点为止的向量设为(ΔX1，ΔY1，ΔZ1)，则以下的式(4)以及(5)成立。
[数式2]
Figure BDA0003883990770000111
[数式3]
cosθ2·Y0-sinθ2·(Z0+ΔZ1)＝Y5…式(5)
处理器50通过对上述的式(4)以及(5)求解，能够推定MIF坐标系C2中的参照坐标系C4的原点到未知的传感器坐标系C3的原点为止的向量(ΔX1，ΔY1，ΔZ1)。该向量(ΔX1、ΔY1、ΔZ1)是表示MIF坐标系C2中的视觉传感器14(传感器坐标系C3的原点)的估算位置的数据。在该步骤S25中，处理器50取得试测量位置作为MIF坐标系C2的坐标(xT，yT，zT)。在本实施方式中，xT＝ΔX1，yT＝ΔY1，zT＝ΔZ1。
通过在上述的步骤S21中使视觉传感器14向绕参照坐标系C4的z轴的方向旋转的动作，根据上述的式(4)求出试测量位置(xT，yT，zT)中的(xT，yT)＝(ΔX1，ΔY1)。试测量位置(xT，yT)＝(ΔX1，ΔY1)表示MIF坐标系C2中的视线O的估算位置(换言之，传感器坐标系C3的原点的与视线O正交的平面内的估算位置)。
另一方面，通过在上述的步骤S23中使视觉传感器14向绕参照坐标系C4的x轴或y轴的方向旋转的动作，根据上述的式(5)求出试测量位置(xT，yT，zT)中的zT(＝ΔZ1)。试测量位置zT(＝ΔZ1)表示MIF坐标系C2中的视觉传感器14(或传感器坐标系C3的原点)的沿着视线O的方向的估算位置。
如上所述，处理器50基于姿势变化量θ1以及θ2、在使姿势变化之前(即，初始姿势OR0)拍摄到图像数据JD0时的相对位置数据(X0，Y0，Z0)、在使姿势变化之后(即，姿势OR1，OR2)拍摄到图像数据JD4，JD5时的相对位置数据(X4，Y4，Z4)、(X5，Y5，Z5)取得试测量位置(xT，yT，zT)。处理器50将未知的传感器坐标系C3的原点的MIF坐标系C2的坐标更新为所取得的试测量位置(xT，yT，zT)，并存储于存储器52。
再次参照图4，处理器50在步骤S3中执行主测量过程。参照图8对该步骤S3进行说明。在步骤S31中，处理器50通过使视觉传感器14旋转移动使该视觉传感器14的姿势变化。
具体而言，处理器50首先将在该步骤S31中为了使视觉传感器14的姿势变化而使该视觉传感器14移动的方向DR1(姿势变化方向)确定为绕在步骤S25中更新了原点位置的传感器坐标系C3的z轴的方向。该时间点的MIF坐标系C2中的传感器坐标系C3的原点位置是试测量位置(xT，yT，zT)，因此该传感器坐标系C3的z轴是配置于该试测量位置(xT，yT，zT)的与视线O的方向平行的轴。这样，处理器50基于试测量位置(xT，yT，zT)来确定姿势变化方向DR1。
接着，处理器50使机器人12动作，使视觉传感器14从初始位置PS0以及初始姿势OR0向姿势变化方向DR1(绕传感器坐标系C3的z轴的方向)旋转姿势变化量θ3(第二姿势变化量)，由此配置成位置PS6以及姿势OR3。该姿势变化量θ3作为比上述的姿势变化量θ1大的(θ3＞θ1)角度由操作员预先决定(例如，θ3＝180°)，并存储于存储器52。
在步骤S32中，与上述的步骤S12同样地，处理器50使视觉传感器14动作来拍摄标识ID，取得此时的标识ID相对于视觉传感器14的相对位置。具体而言，处理器50通过配置成位置PS6以及姿势OR3的视觉传感器14来取得标识ID的图像数据JD6，并取得该图像数据JD6中映现的标识ID的交点F的坐标(x6，y6)以及尺寸IS6。
然后，处理器50使用所取得的坐标(x6，y6)以及尺寸IS6和上述的式(1)～(3)，取得拍摄到图像数据JD6时的标识ID相对于视觉传感器14的相对位置数据(X6，Y6，Z6)。之后，处理器50通过机器人12使视觉传感器14恢复到初始位置PS0和初始姿势OR0。
在步骤S33中，处理器50通过使视觉传感器14旋转移动使该视觉传感器14的姿势变化。具体而言，处理器50首先使用试测量位置(xT，yT，zT)和在上述步骤S12中取得的相对位置数据(X0，Y0，Z0)来确定姿势基准位置RP。
更具体而言，处理器50在上述的步骤S11(即，初始位置PS0以及初始姿势OR0)中设定的MIF坐标系C2中，将姿势基准位置RP确定为从传感器坐标系C3的原点的试测量位置(xT，yT，zT)离开向量(X0，Y0，Z0)的位置(即，MIF坐标系C2的坐标(xT+X0，yT+Y0，zT+Z0)的位置)。
在这样确定了姿势基准位置RP的情况下，初始位置PS0以及初始姿势OR0的MIF坐标系C2中的、姿势基准位置RP相对于试测量位置(xT，yT，zT)的相对位置与在步骤S12中拍摄到图像数据JD0时的标识ID相对于视觉传感器14的相对位置(X0，Y0，Z0)相同。这样，以试测量位置(xT，yT，zT)为基准来确定姿势基准位置RP，由此能够将该姿势基准位置RP配置在标识ID的交点G的附近。
接着，处理器50在该时间点(即，初始位置PS0以及初始姿势OR0)的MIF坐标系C2中设定参照坐标系C5。具体而言，处理器50在MIF坐标系C2中设定参照坐标系C5，使其原点配置于姿势基准位置RP，其姿势(各轴的方向)与在上述的步骤S19中取得的姿势(W，P，R)一致。因此，参照坐标系C5的x轴、y轴以及z轴的方向分别与传感器坐标系C3的x轴、y轴以及z轴平行。
接着，处理器50将在该步骤S33中为了使视觉传感器14的姿势变化而使该视觉传感器14移动的方向DR2(姿势变化方向)确定为绕参照坐标系C5的x轴或y轴的方向。参照坐标系C5的x轴或y轴是配置于姿势基准位置RP的与视线O的方向正交的轴。如上所述，处理器50基于试测量位置(xT，yT，zT)来确定姿势基准位置RP，并以设定于该基准位置RP的参照坐标系C5为基准来确定姿势变化方向DR2。
接着，处理器50使机器人12动作，使视觉传感器14从初始位置PS0和初始姿势OR0向姿势变化方向DR2(绕参照坐标系C5的x轴或y轴的方向)旋转姿势变化量θ4(第二姿势变化量)，由此配置成位置PS7以及姿势OR4。该姿势变化量θ4作为比上述的姿势变化量θ2大的(θ4＞θ2)角度而由操作员预先决定(例如，θ4＝30°)，并存储于存储器52。
在步骤S34中，与上述的步骤S12同样地，处理器50使视觉传感器14动作来拍摄标识ID，取得此时的标识ID相对于视觉传感器14的相对位置。具体而言，处理器50通过配置成位置PS7以及姿势OR4的视觉传感器14来取得标识ID的图像数据JD7，并取得该图像数据JD7中映现的标识ID的交点F的坐标(x7，y7)以及尺寸IS7。
然后，处理器50使用所取得的坐标(x7，y7)以及尺寸IS7和上述的式(1)～(3)，取得拍摄到图像数据JD7时的标识ID相对于视觉传感器14的相对位置数据(X7，Y7，Z7)。
在步骤S35中，处理器50基于相对位置数据(X0，Y0，Z0)、(X6，Y6，Z6)以及(X7，Y7，Z7)，取得视觉传感器14的主测量位置。在此，若将在步骤S25中取得的、MIF坐标系C2中的试测量位置(xT，yT，zT)到准确的传感器坐标系C3的原点位置为止的、与该传感器坐标系C3的z轴(即，视线O)正交的平面内的向量设为(ΔX2，ΔY2)，则以下的式(6)成立。
[数式4]
Figure BDA0003883990770000151
另外，若将MIF坐标系C2中的姿势基准位置RP(xT+X0，yT+Y0，zT+Z0)(即，在步骤S34中设定的参照坐标系C5的原点位置)到准确的传感器坐标系C3的原点位置为止的、该传感器坐标系C3的z轴(即，视线O)的方向的向量设为ΔZ2，则以下的式(7)成立。
[数式5]
cosθ4·Y0-sinθ4·(Z0+ΔZ2)＝Y7…式(7)
处理器50通过对上述的式(6)以及(7)进行求解，能够求出MIF坐标系C2中的向量(ΔX2，ΔY2)以及向量ΔZ2。该向量(ΔX2，ΔY2)表示MIF坐标系C2中的视线O的准确的位置(换言之，传感器坐标系C3的原点的、与视线O正交的平面内的位置)。另外，向量ΔZ2表示MIF坐标系C2中的视觉传感器14(或传感器坐标系C3的原点)的沿着视线O的方向上的准确的位置。
根据这些ΔX2、ΔY2以及ΔZ2，能够准确地求出MIF坐标系C2中的传感器坐标系C3的原点的位置(xR、yR、zR)作为主测量位置。这样，在该步骤S35中，处理器50基于姿势变化量θ3以及θ4、在使姿势变化前(即初始姿势OR0)拍摄到图像数据JD0时的相对位置数据(X0，Y0，Z0)、以及在使姿势变化后(即姿势OR3，OR4)拍摄到图像数据JD6，JD7时的相对位置数据(X6，Y6，Z6)、(X7，Y7，Z7)，取得主测量位置(xR，yR，zR)。
处理器50将MIF坐标系中的传感器坐标系C3的原点的坐标从在步骤S25中估算出的试测量位置(xT，yT，zT)更新为主测量位置(xR，yR，zR)，并存储于存储器52。该主测量位置(xR，yR，zR)高精度地表示MIF坐标系中的视觉传感器14的位置(具体而言，传感器坐标系C3的原点坐标)，表示MIF坐标系C2与传感器坐标系C3的位置关系。
这样，能够对控制坐标系(机器人坐标系C1、MIF坐标系C2)校准传感器坐标系C3，控制装置16能够识别控制坐标系中的视觉传感器14的位置以及姿势。因此，控制装置16能够基于视觉传感器14拍摄到的工件(未图示)的图像数据，取得机器人坐标系C1中的工件的位置，并通过安装于机器人12的指尖的末端执行器准确地对工件进行作业。
如上所述，在本实施方式中，处理器50在步骤S2的试测量过程中，使视觉传感器14的姿势变化第一姿势变化量θ1、θ2，估算控制坐标系(MIF坐标系C2)中的视觉传感器14的试测量位置(xT，yT，zT)，在步骤S3的主测量过程中，使视觉传感器14的姿势变化更大的姿势变化量θ2、θ4，由此求出主测量位置(xR，yR，zR)。
在此，假设不执行试测量过程和主测量过程，而在第一次测量中求出控制坐标系中的视觉传感器14的位置，则需要在第一次测量过程中使视觉传感器14的姿势变化较大的姿势变化量θ2、θ4。这是因为，若不使视觉传感器14的姿势大幅变化，则控制坐标系中的视觉传感器14的位置的测量精度会降低。然而，当在第一次测量过程中使视觉传感器14的姿势大幅变化时，存在标识ID偏离姿势变化后的视觉传感器14的视野而无法拍摄标识ID的可能性。
因此，在本实施方式中，将测量控制坐标系中的视觉传感器14的位置的过程分为试测量过程和主测量过程，在试测量过程的步骤S21和S23中，使视觉传感器14的姿势变化比较小的第一姿势变化量θ1、θ2。由此，能够防止在姿势变化后标识ID偏离视觉传感器14的视野，并且能够估算视觉传感器14的试测量位置(xT，yT，zT)。
然后，在步骤S3的主测量过程中，在步骤S31和S33中使视觉传感器14的姿势向基于试测量位置(xT，yT，zT)确定的姿势变化方向DR1、DR2变化更大的第二姿势变化量θ3、θ4。根据该结构，能够防止在姿势变化后标识ID偏离视觉传感器14的视野，并且能够求出控制坐标系(MIF坐标系C2)中的视觉传感器14的准确的位置(xR，yR，zR)。
另外，在本实施方式中，处理器50在上述的步骤S33中，基于试测量位置(xT，yT，zT)确定姿势基准位置RP，将绕配置于该姿势基准位置RP的参照坐标系C5的x轴或y轴的方向确定为姿势变化方向DR2。根据该结构，能够更有效地防止在执行步骤S33时标识ID偏离视觉传感器14的视野。
并且，处理器50以使姿势基准位置RP相对于试测量位置(xT，yT，zT)的相对位置与拍摄到图像数据JD0时的标识ID相对于视觉传感器14的相对位置(X0，Y0，Z0)一致的方式，决定该姿势基准位置RP。根据该结构，能够将姿势基准位置RP配置在标识ID的交点G的附近，因此能够更有效地防止在执行步骤S33时标识ID从视觉传感器14的视野偏离。
另外，在本实施方式中，处理器50取得相对位置数据(Xn，Yn，Zn)，并基于该相对位置数据(Xn，Yn，Zn)来取得试测量位置(xT，yT，zT)以及主测量位置(xR，yR，zR)。根据该结构，不需要使视觉传感器14拍摄到的图像数据JDn中的标识ID(交点F)的位置(传感器坐标系C3的坐标)与预定的位置(例如中心)对位的过程，就能够取得控制坐标系中的视觉传感器14的位置(试测量位置、主测量位置)。因此，能够实现作业的迅速化。
此外，在上述的步骤S21中，处理器50也可以对该机器人坐标系C1设定参照坐标系C4，以使其原点配置于机器人坐标系C1的原点。在该情况下，处理器50也能够根据参照坐标系C4的原点位置来变更上述的式(4)～(7)，由此求出试测量位置以及主测量位置。
另外，在上述的实施方式中，作为控制坐标系，例示了机器人坐标系C1以及接口坐标系C2。然而，作为控制坐标系，能够设定世界坐标系C6、工件坐标系C7以及用户坐标系C8等其他坐标系。世界坐标系C6是规定机器人12进行作业的作业单元的3维空间的坐标系，相对于机器人坐标系C1固定。工件坐标系C7是规定成为机器人12的作业对象的工件在机器人坐标系C1(或者世界坐标C7)中的位置以及姿势的坐标系。
用户坐标系C8是操作员为了控制机器人12而任意设定的坐标系。例如，操作员能够将用户坐标系C8设定为MIF坐标系C2的已知的位置以及姿势。即，将该情况下的用户坐标系C8的原点配置在MIF坐标系C2中的已知的坐标(xC，yC，zC)。
作为一例，对MIF坐标系C2设定用户坐标系C8，以使其原点成为比MIF坐标系C2的原点更接近视觉传感器14的摄像传感器的受光面(或光学透镜)的中心、即传感器坐标系C3的原点应配置的位置的位置。
在此，视觉传感器14的拍摄传感器的受光面(或光学透镜)的中心相对于配置有MIF坐标系C2的原点的安装面34a的中心的位置能够根据视觉传感器14的规格、以及视觉传感器14相对于机器人12(手腕凸缘34)的安装位置等信息来推定。或者，操作员例如也可以从视觉传感器14以及机器人12的图形数据(CAD数据等)取得视觉传感器14的拍摄传感器的受光面的中心相对于安装面34a的中心的位置的设计值。
参照这样的推定值或设计值，操作员预先设定用户坐标系C8的坐标(xC，yC，zC)，使用户坐标系C8的原点配置在视觉传感器14的拍摄传感器的受光面(或光学透镜)的中心。在该情况下，在上述的步骤S21中，处理器50也可以在MIF坐标系C2中设定参照坐标系C4，使其原点配置于用户坐标系C8的原点(xC，yC，zC)，其姿势(各轴的方向)与在步骤S19中取得的姿势(W，P，R)一致。
而且，处理器50也可以通过机器人12的动作，使视觉传感器14绕该参照坐标系C4的z轴旋转。另外，处理器50也可以在步骤S23中使视觉传感器14绕该参照坐标系C4的x轴或y轴旋转。根据该结构，能够将参照坐标系C4的原点配置在接近传感器坐标系C3的原点的准确位置(xR，yR，zR)的位置，因此能够有效地防止在步骤S21和S23中标识ID偏离视觉传感器14的视野。
此外，在上述的实施方式中，对机器人12使视觉传感器14移动的情况进行了叙述。然而，机器人12也可以使标识ID相对于视觉传感器14移动。将这样的方式示于图9。图9所示的机器人系统10’与上述的机器人系统10在视觉传感器14以及标识ID的配置上不同。
具体而言，在机器人系统10’中，视觉传感器14固定设置于构造物B的上表面，另一方面，如图10所示，在机器人12的手腕凸缘34的安装面34a设置有标识ID。在机器人系统10’中，示教装置18的处理器50也能够通过执行图4、图5、图7以及图8所示的流程来取得控制坐标系中的视觉传感器14的位置。
以下，对机器人系统10’的动作进行说明。参照图5，在步骤S11中，处理器50使机器人12动作，将标识ID(即，手腕凸缘34)相对于视觉传感器14配置成初始位置PS0以及初始姿势OR0。此时，标识ID进入视觉传感器14的视野。在步骤S12中，处理器50通过视觉传感器14拍摄标识ID来取得图像数据JD0，并取得标识ID相对于视觉传感器14的相对位置数据(X0，Y0，Z0)。
在步骤S13中，处理器50使标识ID从初始位置PS0以及初始姿势OR0向机器人坐标系C1的x轴方向平移移动预定的距离δx。在步骤S14中，处理器50通过视觉传感器14拍摄标识ID来取得图像数据JD1，并取得标识ID相对于视觉传感器14的相对位置数据(X1，Y1，Z1)。
在步骤S15中，处理器50使标识ID从初始位置PS0以及初始姿势OR0向机器人坐标系C1的y轴方向平移移动预定的距离δy。在步骤S16中，处理器50通过视觉传感器14拍摄标识ID来取得图像数据JD2，并取得标识ID相对于视觉传感器14的相对位置数据(X2，Y2，Z2)。
在步骤S17中，处理器50使标识ID从初始位置PS0以及初始姿势OR0向机器人坐标系C1的z轴方向平移移动预定的距离δz。在步骤S18中，处理器50通过视觉传感器14拍摄标识ID来取得图像数据JD3，并取得标识ID相对于视觉传感器14的相对位置数据(X3，Y3，Z3)。在步骤S19中，处理器50使用相对位置数据(Xn，Yn，Zn)(n＝0，1，2，3)求出矩阵M1，从该矩阵M1取得视觉传感器14的姿势数据(W，P，R)。
参照图7，在步骤S21中，处理器50通过使标识ID旋转移动使该标识ID的姿势变化。具体而言，处理器50首先在该时间点(初始位置PS0以及初始姿势OR0)的MIF坐标系C2中，将参照坐标系C4设定为其原点配置于MIF坐标系C2的原点，其姿势(各轴的方向)与在步骤S19中取得的姿势(W、P、R)一致。接着，处理器50使机器人12动作，使标识ID从初始位置PS0以及初始姿势OR0绕参照坐标系C4的z轴(即，与视线O的方向平行的轴)旋转姿势变化量θ1。
在步骤S22中，处理器50使视觉传感器14动作来拍摄标识ID，取得此时的标识ID相对于视觉传感器14的相对位置数据(X4、Y4、Z4)。在步骤S23中，处理器50使机器人12动作，使标识ID从初始位置PS0以及初始姿势OR0绕参照坐标系C4的x轴或者y轴(即，与视线O的方向正交的轴)旋转姿势变化量θ2。
在步骤S24中，处理器50使视觉传感器14动作来拍摄标识ID，取得此时的标识ID相对于视觉传感器14的相对位置数据(X5、Y5、Z5)。在步骤S25中，处理器50取得视觉传感器14的试测量位置。具体而言，处理器50使用相对位置数据(X0，Y0，Z0)、(X4，Y4，Z4)以及(X5，Y5，Z5)和上述的式(4)以及(5)，计算出MIF坐标系C2中的参照坐标系C4的原点到未知的传感器坐标系C3的原点为止的向量(ΔX1，ΔY1，ΔZ1)。
然后，处理器50从向量(ΔX1，ΔY1，ΔZ1)取得视觉传感器14(传感器坐标系C3的原点)的位置作为MIF坐标系C2的坐标(xT，yT，zT)，取得将该MIF坐标系C2的坐标(xT，yT，zT)变换为机器人坐标系C1后的坐标(xT’，yT’，zT’)作为机器人坐标系C1中的视觉传感器14的试测量位置。该试测量位置(xT’、yT’、zT’)表示机器人坐标系C1中的视觉传感器14的估算位置。
参照图8，在步骤S31中，处理器50通过使标识ID旋转移动使该标识ID的姿势变化。具体而言，处理器50将在该步骤S31中为了使标识ID的姿势变化而使该标识ID移动的方向DR1(姿势变化方向)确定为绕在步骤S25中更新了原点位置的传感器坐标系C3的z轴的方向。
该时间点的机器人坐标系C1中的传感器坐标系C3的原点位置是试测量位置(xT’，yT’，zT’)，因此该传感器坐标系C3的z轴是配置于该试测量位置(xT’，yT’，zT’)的与视线O的方向平行的轴。这样，处理器50基于试测量位置(xT’、yT’、zT’)来确定姿势变化方向DR1。接着，处理器50使机器人12动作，使标识ID从初始位置PS0以及初始姿势OR0向姿势变化方向DR1(绕传感器坐标系C3的z轴的方向)旋转姿势变化量θ3(第二姿势变化量)。
在步骤S32中，处理器50使视觉传感器14动作来拍摄标识ID，取得此时的标识ID相对于视觉传感器14的相对位置数据(X6、Y6、Z6)。在步骤S33中，处理器50通过使标识ID旋转移动使该标识ID的姿势变化。
具体而言，处理器50首先将在该步骤S33中为了使标识ID的姿势变化而使该标识ID移动的方向DR2(姿势变化方向)确定为绕在步骤S25中更新了原点位置的传感器坐标系C3的x轴或y轴的方向。该时间点的机器人坐标系C1中的传感器坐标系C3的原点位置是试测量位置(xT’，yT’，zT’)，因此该传感器坐标系C3的x轴或y轴是配置于该试测量位置(xT，yT，zT)的与视线O正交的轴。
这样，处理器50基于试测量位置(xT’、yT’、zT’)来确定姿势变化方向DR2。接下来，处理器50使机器人12动作，使标识ID从初始位置PS0以及初始姿势OR0向姿势变化方向DR2(绕传感器坐标系C3的x轴或者y轴的方向)旋转姿势变化量θ4(第二姿势变化量)。
在步骤S34中，处理器50使视觉传感器14动作来拍摄标识ID，取得此时的标识ID相对于视觉传感器14的相对位置数据(X7、Y7、Z7)。在步骤S35中，处理器50取得视觉传感器14的主测量位置。
具体而言，处理器50使用相对位置数据(X0，Y0，Z0)、(X6，Y6，Z6)以及(X7，Y7，Z7)和上述的式(6)以及(7)，根据在步骤S25中求出的机器人坐标系C1中的试测量位置(xT’、yT’、zT’)，来计算出准确的到传感器坐标系C3的原点为止的向量(ΔX2，ΔY2，ΔZ2)。然后，处理器50根据向量(ΔX2，ΔY2，ΔZ2)取得机器人坐标系C1中的视觉传感器14(传感器坐标系C3的原点)的位置作为主测量位置(xR’，yR’，zR’)。
这样，在机器人系统10’中，处理器50取得试测量位置(xT’，yT’，zT’)和主测量位置(xR’，yR’，zR’)。根据本实施方式，与上述的实施方式同样地，能够防止在步骤S21、S23、S31、S33中标识ID从视觉传感器14的视野偏离。
此外，在图8所示的流程中，处理器50也可以在步骤S32之后，使用相对位置数据(X0，Y0，Z0)以及(X6，Y6，Z6)和上述的式(6)，求出向量(ΔX2，ΔY2)，并根据该向量(ΔX2，ΔY2)取得MIF坐标系C2中的MIF坐标系C2中的视线O的主测量位置(xR，yR)。然后，处理器50根据视线O的主测量位置(xR，yR)，将试测量位置(xT，yT，zT)更新为试测量位置(xR，yR，zT)。
接着，在图8中的步骤S33中，处理器50使用更新后的试测量位置(xR，yR，zT)和在步骤S12中取得的相对位置数据(X0，Y0，Z0)来确定姿势基准位置RP。具体而言，处理器50在初始位置PS0以及初始姿势OR0的MIF坐标系C2中，将姿势基准位置RP确定为从更新后的试测量位置(xR，yR，zT)离开向量(X0，Y0，Z0)的位置(即，MIF坐标系C2的坐标(xR+X0，yR+Y0，zT+Z0)的位置)。
根据该结构，更新后的试测量位置(xR，yR，zT)中的坐标(xR，yR)表示MIF坐标系中的视线O的准确的位置，因此能够将姿势基准位置RP更准确地设定于标识ID的交点F。因此，能够更有效地防止在步骤S33中标识ID偏离视觉传感器14的视野。
另外，在上述的实施方式中，对以初始位置PS0以及初始姿势OR0为起点执行步骤S21、S23、S31以及S33的情况进行了叙述，但不限于此，也可以在步骤S3或者S4的开始时间点，使视觉传感器14配置于与初始位置PS0以及初始姿势OR0不同的第二初始位置PS0_2以及第二初始姿势OR0_2来拍摄标识ID的图像，基于图像数据来取得相对位置数据(X0_2、Y0_2、Z0_2)。在该情况下，处理器50在步骤S25或S35中，基于相对位置数据(X0_2，Y0_2，Z0_2)取得试测量位置或主测量位置。
此外，在上述的实施方式中，对处理器50基于相对位置(Xn，Yn，Zn)来取得控制坐标系中的视觉传感器14的位置的情况进行了叙述。然而，本发明的概念也能够应用于例如通过专利文献1以及2所记载的方法来取得控制坐标系中的视觉传感器14的位置的方式。
以下，对取得视觉传感器14的位置的其他方法进行说明。首先，处理器50一边通过机器人12使视觉传感器14或标识ID移动，一边通过视觉传感器14拍摄标识ID，执行使拍摄到的图像数据JDn中的标识ID(交点F)的位置(传感器坐标系C3的坐标)与预定位置(例如，图像中心)对位的对位过程PP。然后，处理器50取得完成了对位过程PP的时间点的机器人坐标系C1中的MIF坐标系C2的原点的坐标CD1(初始位置)。
接着，处理器50在使视觉传感器14或标识ID从初始位置平移移动后，再次利用视觉传感器14拍摄标识ID，执行上述的对位过程PP，取得此时的机器人坐标系C1中的MIF坐标系C2的原点的坐标CD2。处理器50从坐标CD1以及CD2取得机器人坐标系C1中的视觉传感器14的视线O的方向(即，姿势)。
接着，作为试测量过程，处理器50使视觉传感器14或标识ID从初始位置向绕与所取得的视线O的方向平行的轴的方向旋转姿势变化量θ1后，利用视觉传感器14拍摄标识ID，执行上述的对位过程PP。然后，处理器50取得此时的机器人坐标系C1中的MIF坐标系C2的原点的坐标CD3。然后，处理器50根据坐标CD1以及CD3，求出机器人坐标系C1中的视线O的位置TP1。
接着，作为试测量过程，处理器50使视觉传感器14或标识ID从初始位置向绕配置于位置TP1的与视线O正交的轴的方向旋转姿势变化量θ2后，利用视觉传感器14拍摄标识ID，执行上述的对位过程PP，取得此时的机器人坐标系C1中的MIF坐标系C2的原点的坐标CD4。
然后，处理器50根据坐标CD1以及CD4，求出机器人坐标系C1中的视觉传感器14(传感器坐标系C3的原点)的、沿着视线O的方向的位置TP2。根据这些位置TP1以及TP2，能够取得机器人坐标系C1中的视觉传感器14(传感器坐标系C3的原点)的试测量位置(xT’、yT’、zT’)。
接着，作为主测量过程，处理器50将姿势变化方向确定为绕配置在试测量位置(xT’，yT’，zT’)的与视线O的方向平行的轴的方向，在使视觉传感器14或标识ID从初始位置向该姿势变化方向旋转了姿势变化量θ3(＞θ1)后，利用视觉传感器14拍摄标识ID，执行上述的对位过程PP。然后，处理器50取得此时的机器人坐标系C1中的MIF坐标系C2的原点的坐标CD5，根据坐标CD1以及CD5，求出机器人坐标系C1中的视线O的位置TP3。
接着，作为主测量过程，处理器50将姿势变化方向确定为绕配置于试测量位置(xT’，yT’，zT’)的与视线O正交的轴的方向，使视觉传感器14或标识ID从初始位置向该姿势变化方向旋转了姿势变化量θ4(＞θ2)后，执行上述的对位过程PP。然后，处理器50取得此时的机器人坐标系C1中的MIF坐标系C2的原点的坐标CD6。
然后，处理器50根据坐标CD1以及CD6，求出机器人坐标系C1中的视觉传感器14(传感器坐标系C3的原点)的、沿着视线O的方向的位置TP4。根据这些位置TP3以及TP4，能够取得机器人坐标系C1中的视觉传感器14(传感器坐标系C3的原点)的主测量位置(xR’、yR’、zR’)。
在该方法中，处理器50也基于在使姿势变化之前视觉传感器14拍摄到的标识ID的图像数据(在用于求出初始位置的对位过程PP中拍摄到的图像数据)和在使姿势变化之后视觉传感器14拍摄到的标识ID的图像数据(在用于求出坐标CD3、CD4以及CD5的对位过程PP中拍摄到的图像数据)，取得控制坐标系中的视觉传感器14的位置。通过该方法，处理器50也能够取得控制坐标系中的视觉传感器14的位置(试测量位置、主测量位置)。
另外，在上述的实施方式中，对示教装置18取得控制坐标系中的视觉传感器14的位置以及姿势的数据的情况进行了叙述。但是，控制装置16也可以取得控制坐标系中的视觉传感器14的位置以及姿势的数据。在该情况下，控制装置16的处理器40按照计算机程序CP执行图4所示的流程。
或者，与示教装置18以及控制装置16不同的装置也可以取得控制坐标系中的视觉传感器14的位置以及姿势的数据。在该情况下，该其他装置具备处理器，该处理器按照计算机程序CP执行图4所示的流程。
此外，标识ID不限于上述实施方式那样的人工图案，例如，也可以将形成于保持构造B或手腕凸缘34的孔、边缘、凹凸部、尖端等视觉上能够识别的任何视觉特征用作标识。另外，机器人12不限于垂直多关节机器人，也可以是水平多关节机器人或并联机器人等能够使视觉传感器14和标识ID相对移动的任何类型的机器人。以上，通过实施方式对本公开进行了说明，但上述的实施方式并不限定请求专利保护的范围所涉及的发明。
符号说明
10、10’机器人系统
12机器人
14视觉传感器
16控制装置
18示教装置。

Claims (9)

1.一种取得用于控制使视觉传感器和标识相对移动的机器人的控制坐标系中的所述视觉传感器的位置的装置，其特征在于，
所述装置具备处理器，
该处理器进行如下处理：
使所述机器人动作，使所述视觉传感器或所述标识的姿势变化第一姿势变化量；
基于使所述姿势变化所述第一姿势变化量前后所述视觉传感器拍摄到的所述标识的图像数据，取得所述控制坐标系中的所述视觉传感器的位置作为试测量位置；
使所述机器人动作，使所述姿势向基于所述试测量位置确定的姿势变化方向变化比所述第一姿势变化量大的第二姿势变化量；以及
基于使所述姿势变化所述第二姿势变化量前后所述视觉传感器拍摄到的所述标识的图像数据，取得所述控制坐标系中的所述视觉传感器的位置作为主测量位置。
2.根据权利要求1所述的装置，其特征在于，
所述处理器进行如下处理：
预先取得所述控制坐标系中的所述视觉传感器的视线的方向；
为了使所述姿势变化所述第一姿势变化量，以使所述视觉传感器或所述标识向绕与所述视线的方向平行的轴的方向旋转的方式使所述机器人动作；
将绕配置于所述试测量位置的所述平行的轴的方向确定为所述姿势变化方向；
为了使所述姿势变化所述第二姿势变化量，以使所述视觉传感器或所述标识向所述姿势变化方向旋转的方式使所述机器人动作；以及
取得所述控制坐标系中的所述视线的位置作为所述试测量位置以及所述主测量位置。
3.根据权利要求1所述的装置，其特征在于，
所述处理器进行如下处理：
预先取得所述控制坐标系中的所述视觉传感器的视线的方向；
为了使所述姿势变化所述第一姿势变化量，以使所述视觉传感器或所述标识向绕与所述视线的方向正交的轴的方向旋转的方式使所述机器人动作；
将绕配置于基于所述试测量位置而确定的姿势基准位置的所述正交的轴的方向确定为所述姿势变化方向；
为了使所述姿势变化所述第二姿势变化量，以使所述视觉传感器或所述标识向所述姿势变化方向旋转的方式使所述机器人动作；以及
作为所述试测量位置以及所述主测量位置，取得所述控制坐标系中的所述视觉传感器的所述视线的方向的所述位置。
4.根据权利要求3所述的装置，其特征在于，
所述处理器进行如下处理：
基于在使所述姿势变化所述第二姿势变化量之前所述视觉传感器拍摄到的所述图像数据，取得拍摄到该图像数据时的所述标识相对于所述视觉传感器的相对位置；以及
以所取得的所述相对位置与所述姿势基准位置相对于所述试测量位置的相对位置相同的方式，以所述试测量位置为基准来确定所述姿势基准位置。
5.根据权利要求1～4中的任一项所述的装置，其特征在于，
所述视觉传感器具有：
摄像传感器，其接收被摄体像；以及
光学透镜，其使所述摄像传感器对所述被摄体像进行对焦，
所述处理器进行如下处理：
根据所述图像数据中的所述标识的位置、该图像数据中映现的所述标识的尺寸、实际空间中的该标识的尺寸、所述光学透镜的焦距以及所述摄像传感器的尺寸，取得拍摄该图像数据时的所述标识相对于所述视觉传感器的相对位置；
根据所述第一姿势变化量、在使所述姿势变化所述第一姿势变化量之前拍摄到所述图像数据时的所述相对位置以及在使所述姿势变化所述第一姿势变化量之后拍摄到所述图像数据时的所述相对位置，取得所述试测量位置；以及
根据所述第二姿势变化量、在使所述姿势变化所述第二姿势变化量之前拍摄到所述图像数据时的所述相对位置以及在使所述姿势变化所述第二姿势变化量之后拍摄到所述图像数据时的所述相对位置，取得所述主测量位置。
6.根据权利要求1～5中的任一项所述的装置，其特征在于，
所述装置是所述机器人的示教装置或控制装置。
7.一种机器人系统，其特征在于，具备：
视觉传感器；
机器人，其使所述视觉传感器和标识相对地移动；以及
权利要求1～6中任一项所述的装置。
8.一种取得用于控制使视觉传感器和标识相对移动的机器人的控制坐标系中的所述视觉传感器的位置的方法，其特征在于，
处理器进行如下处理：
使所述机器人动作，使所述视觉传感器或所述标识的姿势变化第一姿势变化量；
基于使所述姿势变化所述第一姿势变化量前后所述视觉传感器拍摄到的所述标识的图像数据，取得所述控制坐标系中的所述视觉传感器的位置作为试测量位置；
使所述机器人动作，使所述姿势向基于所述试测量位置确定的姿势变化方向变化比所述第一姿势变化量大的第二姿势变化量；以及
基于使所述姿势变化所述第二姿势变化量前后所述视觉传感器拍摄到的所述标识的图像数据，取得所述控制坐标系中的所述视觉传感器的位置作为主测量位置。
9.一种计算机程序，其特征在于，
使所述处理器执行权利要求8所述的方法。
CN202180027827.XA 2020-04-13 2021-04-06 取得机器人的控制坐标系中的视觉传感器的位置的装置、机器人系统、方法以及计算机程序 Pending CN115397634A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-071864 2020-04-13
JP2020071864 2020-04-13
PCT/JP2021/014676 WO2021210456A1 (ja) 2020-04-13 2021-04-06 ロボットの制御座標系における視覚センサの位置を取得する装置、ロボットシステム、方法、及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
CN115397634A true CN115397634A (zh) 2022-11-25

Family

ID=78083921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180027827.XA Pending CN115397634A (zh) 2020-04-13 2021-04-06 取得机器人的控制坐标系中的视觉传感器的位置的装置、机器人系统、方法以及计算机程序

Country Status (5)

Country Link
US (1) US20230339117A1 (zh)
JP (1) JPWO2021210456A1 (zh)
CN (1) CN115397634A (zh)
DE (1) DE112021002301T5 (zh)
WO (1) WO2021210456A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024164288A1 (en) * 2023-02-10 2024-08-15 Abb Schweiz Ag Method and system for calibrating sensor with respect to robot

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114986522B (zh) * 2022-08-01 2022-11-08 季华实验室 一种机械臂的定位方法、抓取方法、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH054180A (ja) * 1991-06-27 1993-01-14 Toyota Autom Loom Works Ltd ハンドアイ付き多軸ロボツトの座標系整合方法
JP4021413B2 (ja) 2004-01-16 2007-12-12 ファナック株式会社 計測装置
JP4191080B2 (ja) 2004-04-07 2008-12-03 ファナック株式会社 計測装置
JP2018001332A (ja) * 2016-06-30 2018-01-11 セイコーエプソン株式会社 ロボット、制御装置、及びロボットシステム
JP7003463B2 (ja) * 2017-07-11 2022-01-20 セイコーエプソン株式会社 ロボットの制御装置、ロボットシステム、並びに、カメラの校正方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024164288A1 (en) * 2023-02-10 2024-08-15 Abb Schweiz Ag Method and system for calibrating sensor with respect to robot

Also Published As

Publication number Publication date
JPWO2021210456A1 (zh) 2021-10-21
DE112021002301T5 (de) 2023-03-23
WO2021210456A1 (ja) 2021-10-21
US20230339117A1 (en) 2023-10-26

Similar Documents

Publication Publication Date Title
CN111482959B (zh) 机器人运动视觉系统的自动手眼标定系统与方法
JP4191080B2 (ja) 計測装置
JP6126183B2 (ja) ターゲットマークを撮像するカメラを備えたロボットシステム
US8406923B2 (en) Apparatus for determining pickup pose of robot arm with camera
JP4021413B2 (ja) 計測装置
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP3946711B2 (ja) ロボットシステム
US8447097B2 (en) Calibration apparatus and method for assisting accuracy confirmation of parameter for three-dimensional measurement
US9884425B2 (en) Robot, robot control device, and robotic system
JP2018012184A (ja) 制御装置、ロボットおよびロボットシステム
JP2013036987A (ja) 情報処理装置及び情報処理方法
US20180178389A1 (en) Control apparatus, robot and robot system
US20170339335A1 (en) Finger camera offset measurement
JP6869159B2 (ja) ロボットシステム
JP2019069493A (ja) ロボットシステム
JP2018051634A (ja) ロボット制御装置、ロボット、ロボットシステムおよび姿勢特定装置
CN115397634A (zh) 取得机器人的控制坐标系中的视觉传感器的位置的装置、机器人系统、方法以及计算机程序
CN110712194A (zh) 物体检查装置、物体检查系统以及调整检查位置的方法
KR20130075712A (ko) 레이저비전 센서 및 그 보정방법
JP7112528B2 (ja) 作業座標作成装置
JP2678002B2 (ja) 視覚付きロボットの座標系較正方法
WO2022124232A1 (ja) 画像処理システム及び画像処理方法
WO2022176928A1 (ja) 教示装置
CN116419827A (zh) 机器人控制装置以及机器人系统
JP7509535B2 (ja) 画像処理装置、ロボットシステム、及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination