CN107073719A

CN107073719A - 机器人和机器人系统

Info

Publication number: CN107073719A
Application number: CN201580049974.1A
Authority: CN
Inventors: 原田笃; 山口如洋; 石毛太郎; 安田光; 安田光一; 赤羽和重
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2014-11-21
Filing date: 2015-11-13
Publication date: 2017-08-18
Anticipated expiration: 2035-11-13
Also published as: EP3221095B1; US10525597B2; TW201618913A; CN107073719B; EP3221095A4; TWI670153B; WO2016079967A1; US20180243911A1; EP3221095A1

Abstract

一种机器人包括接收校准启动指令的指令接收单元以及臂，当接收校准启动指令时，臂改变指示参考点的标记与捕获单元之间的位置关系，其中，基于标记在捕获单元与标记之间的位置关系改变之后被捕获单元捕获的图像，来执行对捕获单元的坐标系和机器人的坐标系的校准。

Description

机器人和机器人系统

技术领域

本发明涉及机器人和机器人系统。

背景技术

在现有技术中，用机器人视觉控制机器人需要校准机器人坐标系和捕获单元的坐标系的处理。在校准期间，在机器人坐标系和捕获单元的坐标系中的每一个中指定参考点在安装有机器人的空间中的位置，并且获取用于将参考点在一个坐标系中表示的位置变换成参考点在另一坐标系中表示的位置的矩阵。根据PTL 1中公开的技术，通过以下方式来执行校准：通过移动臂以触摸三个参考点、然后通过利用由臂移动至预定位置的捕获单元来捕获指示参考点的标记并且通过检测捕获单元的坐标系中的参考点，来教导机器人坐标系中的参考点。

引用列表

专利文献

[PTL 1]：JP-A-8-210816

发明内容

技术问题

根据PTL 1中所公开的技术，由操作者对臂进行操作以触摸三个参考点，需要对参考点的位置的教导。然而，在视觉上指定臂是否触摸到参考点的同时准确地操作臂并非易事。也就是说，PTL 1中所公开的技术具有不易于准确地教导参考点的位置的问题。另一个问题是，当在准确地教导多个参考点的位置的情况下执行校准时，延长了校准所需的必要时间。随着校准目标机器人的数量增加，该问题变得更严重。

本发明的一些方面的优点是便利对捕获单元的坐标系和机器人的坐标系的校准。

问题的解决方案

根据本发明的一个方面的机器人包括：指令接收单元，该指令接收单元接收校准启动指令；以及臂，当接收到校准启动指令时，该臂改变指示参考点的标记与捕获单元之间的位置关系，其中，在捕获单元与标记之间的位置关系改变之后，基于其中标记被捕获单元捕获的图像来执行对捕获单元的坐标系和机器人的坐标系的校准。

根据本发明的另一方面的机器人包括：臂，该臂自动地将指示三个或更多个参考点的标记与捕获单元之间的位置关系改变成以下状态中的至少一个：第一状态，在该第一状态下，包括三个或更多个参考点的平面与捕获单元的光轴垂直；第二状态，在该第二状态下，捕获单元聚焦于指示三个或更多个参考点中至少之一的标记；第三状态，在该第三状态下，捕获单元的光轴穿过平面上的第一点；第四状态，在该第四状态下，捕获单元的光轴穿过平面上的第二点；以及第五状态，在该第五状态下，捕获单元的光轴穿过平面上的第三点，其中，在第三状态、第四状态和第五状态下，基于其中标记被捕获单元捕获的图像来执行对捕获单元的坐标系和机器人的坐标系的校准。

根据本发明的这些方面，校准启动指令可以将捕获单元与标记之间的位置关系改变成可以捕获校准捕获单元的坐标系和机器人的坐标系所必需的图像的状态。因此，便利对捕获单元的坐标系和机器人的坐标系的校准。

校准启动指令是如下指令就足够了，该指令指定启动臂的定时以执行将捕获单元与标记之间的位置关系改变成可以捕获对捕获单元的坐标系和机器人的坐标系进行校准所必需的图像的状态的操作。校准启动指令可以不包括指定了臂的位置或姿态的改变量的目标值。标记是指示机器人坐标系中的参考点的标记就足够了。例如，诸如写在平板上的点或圆这样的二维图形可以用作标记。具有三维形状的对象(例如臂的末端部分)也可以用作标记。标记可以被布置在臂中或可以被布置在固定于安装有机器人的空间中的对象(例如工作台)中。当标记被布置在臂中(包括臂是标记的情况)时，捕获单元固定于机器人坐标系中。当标记固定于机器人坐标系中时，捕获单元被布置在臂中。

本发明的各方面中公开的每个单元的功能由具有由其配置指定的功能的硬件资源、具有由程序指定的功能的硬件资源或其组合来实现。每个单元的功能不限于由物理上彼此独立的硬件资源来实现。

根据本发明的另一方面的机器人包括：指令接收单元，该指令接收单元接收校准启动指令；以及臂，该臂能够安装其中布置有指示参考点的标记的工具，并且该臂在接收到校准启动指令时改变标记与捕获单元之间的位置关系，其中标记被布置在该工具面向臂的一面上，并且在捕获单元与标记之间的位置关系改变之后，基于其中标记被捕获单元捕获的图像来执行对捕获单元的坐标系和机器人的坐标系的校准。

根据本发明的又一方面的机器人包括：臂，该臂能够安装其中布置有指示三个或更多个参考点的标记的工具，并且该臂自动地将标记与捕获单元之间的位置关系改变成以下状态中的至少一个：第一状态，在该第一状态下，具有三个或更多个参考点的平面与捕获单元的光轴垂直；第二状态，在该第二状态下，捕获单元聚焦于指示三个或更多个参考点中至少之一的标记上；第三状态，在该第三状态下，捕获单元的光轴穿过平面上的第一点；第四状态，在该第四状态下，捕获单元的光轴穿过平面上的第二点；以及第五状态，在该第五状态下，捕获单元的光轴穿过平面上的第三点，其中标记被布置在工具的面向臂的一面上，并且在第三状态、第四状态和第五状态下基于其中标记被捕获单元捕获的图像来执行对捕获单元的坐标系和机器人的坐标系的校准。

根据本发明的这些方面，校准启动指令可以将捕获单元与标记之间的位置关系改变成可以捕获对捕获单元的坐标系和机器人的坐标系进行校准所必需的图像的状态。因此，便利对捕获单元的坐标系和机器人的坐标系的校准。

在机器人中，当接收到校准启动指令时，臂可以将位置关系改变成预定状态，并且当位置关系处于预定状态下时，可以基于其中标记被捕获单元捕获的图像执行校准。

在机器人中，臂可以获取基于其中标记被捕获单元捕获的图像而推导的目标值并且基于该目标值将位置关系改变成预定状态。

在机器人中，校准启动指令可以不包括用于将位置关系改变成预定状态的目标值。

在机器人中，预定状态可以包括捕获单元聚焦于标记上的状态。

在机器人中，当接收校准启动指令时，臂可以获取基于从其中标记被捕获单元捕获的图像中剪切出的局部图像推导的目标值，并且基于该目标值将位置关系改变成捕获单元聚焦于标记上的状态。

在机器人中，臂可以通过以下方式来使捕获单元聚焦于标记上：在与具有三个或更多个参考点的平面垂直的第一方向上改变捕获单元与标记之间的位置关系，然后在与第一方向相反的第二方向上改变捕获单元与标记之间的位置关系。

在机器人中，预定状态可以包括具有三个或更多个参考点的平面与捕获单元的光轴垂直的状态。

在机器人中，预定状态可以包括具有捕获单元的光轴穿过平面的不同位置的三个或更多个状态。

在机器人中，捕获单元可以被布置在臂中。

在机器人中，捕获单元可以被布置成能够沿重力方向从臂的上方捕获臂。

在机器人中，捕获单元可以被布置成能够沿重力方向从臂的下方捕获臂。

根据本发明的又另一方面的机器人系统包括机器人，该机器人包括：指令接收单元，该指令接收单元接收校准启动指令；及臂，当接收校准启动指令时，该臂改变指示参考点的标记与捕获单元之间的位置关系；以及校准装置，该校准装置在捕获单元与标记之间的位置关系改变之后，基于其中标记被捕获单元捕获的图像来执行对捕获单元的坐标系和机器人的坐标系的校准，其中，当标记相对于臂的位置固定时，捕获单元被布置在固定于臂在其中移动的坐标系中的一个点处，并且当标记相对于臂在其中移动的坐标系的位置固定时，捕获单元被布置在相对于臂固定的一个点处。

在机器人中，臂可以自动地将位置关系改变成第一状态、第二状态、第三状态、第四状态和第五状态。

在机器人中，臂可以获取基于其中标记被捕获单元捕获的图像推导的目标值，并且基于该目标值自动地改变位置关系。

附图说明

图1A是根据本发明的实施方式的示意性透视图；

图1B是根据本发明的实施方式的框图；

图2是根据本发明的实施方式的平面图；

图3是根据本发明的实施方式的示意性透视图；

图4是根据本发明的实施方式的流程图；

图5是根据本发明的实施方式的流程图；

图6是根据本发明的实施方式的流程图；

图7是根据本发明的实施方式的示意图；

图8A是示出根据本发明的实施方式的图像的图；

图8B是示出根据本发明实施方式的图像的图；

图8C是示出根据本发明实施方式的图像的图；

图8D是示出根据本发明的实施方式的图像的图；

图9是根据本发明的实施方式的流程图；

图10是根据本发明的实施方式的示意性透视图；

图11是根据本发明的实施方式的流程图；

图12是根据本发明的实施方式的示意性透视图；

图13是根据本发明的实施方式的示意性平面图；

图14是根据本发明的实施方式的示意图；

图15A是根据本发明的实施方式的示意图；

图15B是根据本发明的实施方式的示意图；

图16是根据本发明的实施方式的示意性透视图；

图17A是根据本发明的实施方式的平面图；

图17B是根据本发明的实施方式的侧视图；

图18是根据本发明的实施方式的流程图；

图19A是示出根据本发明的实施方式的图像的平面图；

图19B是示出根据本发明的实施方式的图像的平面图；

图19C是根据本发明的实施方式的坐标图；

图20A是根据本发明的实施方式的描述图；

图20B是根据本发明的实施方式的坐标图。

具体实施方式

在下文中，将参照附图来描述本发明的实施方式。每个附图中的相应组成部分用相同的附图标记来表示并且将不提供其重复描述。

1.第一实施方式

1-1.概要

如图1A和1B所示，作为本发明的本实施方式的机器人系统设置有机器人1、捕获单元2和作为校准装置的个人计算机(PC)3。

机器人1是在其臂中设置有六个旋转轴构件121、122、123、124、125和126的六轴机器人。将安装有用于操作工件的各种类型的工具的旋转轴构件126的末端的中心称为工具中心点(TCP)。TCP的位置和姿态用作各种类型工具的位置和姿态的参考。在机器人1被控制时使用的机器人1的坐标系是由x轴、y轴和z轴限定的三维正交坐标系，其中，x轴和y轴是水平的，而z轴的正方向被设置成垂直向下的方向。绕z轴的旋转由u来表示，绕y轴的旋转由v来表示，而绕x轴的旋转由w来表示。在机器人坐标系中，长度的单位为毫米，而角度的单位为度。

捕获单元2是用于识别与透镜201的光轴垂直的参考面中的工件的大小、形状和位置的捕获单元。捕获单元2的坐标系是从捕获单元2输出的图像的坐标系并且由B轴和C轴来限定，其中，B轴的正方向被设置成图像的水平向右方向的B轴，而C轴的正方向被设置成图像的竖直向下方向的C轴来限定。在捕获单元2的坐标系中，长度的单位是像素，而角度的单位为度。捕获单元2的坐标系是二维正交坐标系，在该坐标系中，根据透镜201的光学特性(焦距、失真等)和区域图像传感器202的像素的数量和大小，对与捕获单元2的光轴垂直的真实世界空间中的平面的坐标系进行非线性变换。因此，需要将捕获单元2的坐标系与机器人1的坐标系关联(即校准)的处理，以基于捕获单元2输出的图像来识别工件的大小、形状和位置并且基于识别结果来控制机器人1。

PC 3连接至机器人1和捕获单元2。用于对机器人1的坐标系和捕获单元2的坐标系进行校准的校准程序被安装在PC 3上。操作者启动校准程序以执行校准并且将校准启动指令输入到PC 3中。校准启动指令是校准程序启动校准处理的简单触发器并且不包括用于操作机器人1的目标值。为了校准捕获单元2的坐标系，根据现有技术，需要复杂的准备，例如将捕获单元2的光轴设置成准确地垂直于包括三个或更多个参考点的平面，或通过触摸具有TCP的点来准确地教导三个或更多个参考点。在没有准确地进行这些准备的情况下，校准失败，并且操作者可能通过意识到校准失败而发现准备是不准确的。因此，在现有技术中需要大量的时间用于校准。

根据下面描述的本发明的实施方式，通过在不执行校准的状态下使用机器人视觉(由捕获单元2捕获的图像)来自动执行校准准备。自动执行的校准准备包括将捕获单元2的光轴设置成与包括三个或更多个参考点的参考平面垂直并且使捕获单元2聚焦于参考平面上的操作。因此，通过仅在没有限定参考点与捕获单元之间的准确位置关系的状态下输入校准启动指令，可以很容易地校准机器人1的坐标系和捕获单元2的坐标系。1-2.配置

如图1A简单地示出的，机器人1设置有基台110和臂111、112、113、114和115。基台110支承第一臂111的旋转轴构件121。第一臂111与旋转轴构件121一起相对于基台110绕旋转轴构件121的中心轴旋转。第一臂111支承第二臂112的旋转轴构件122。第二臂112与旋转轴构件122一起相对于第一臂111绕旋转轴构件122的中心轴旋转。第二臂112支承第三臂113的旋转轴构件123。第三臂113与旋转轴构件123一起相对于第二臂112绕旋转轴构件123的中心轴旋转。第三臂113支承第四臂114的旋转轴构件124。第四臂114与旋转轴构件124一起相对于第三臂113绕旋转轴构件124的中心轴旋转。第四臂114支承第五臂115的旋转轴构件125。第五臂115与旋转轴构件125一起相对于第四臂114绕旋转轴构件125的中心轴旋转。第五臂115支承旋转轴构件126。图2示出其工具安装面的工具卡盘1261被布置在作为操纵器的末端的旋转轴构件126中。用于操作工件的各种类型的工具安装在工具卡盘1261中。如图2所示，工具卡盘1261的安装面被分成四个部分，工具的轴插入工具卡盘1261的中心部分中。工具卡盘1261的安装面的中心对应于TCP。

如图1B所示，机器人1设置有驱动旋转轴构件121的电动机131、驱动旋转轴构件122的电动机132、驱动旋转轴构件123的电动机133、驱动旋转轴构件124的电动机134、驱动旋转轴构件125的电动机135、驱动旋转轴构件126的电动机136和控制电动机131至136的控制单元14。电动机131至136是臂111至115的组成部分。电动机131至136是通过反馈来被控制使得目标值与当前值之差为零的伺服电动机。控制单元14从PC 3获取指示TCP的位置和姿态的目标值，并且基于指示TCP的位置和姿态的目标值来推导电动机131至136的目标值。

捕获单元2是设置有透镜201、区域图像传感器202、未示出的AD转换器等的数字捕获单元。如图1A所示，捕获单元2被布置在安装有工件的台(工作台)9上的预定位置处，使得捕获单元2可以在竖直向上的方向中捕获图像。本实施方式中被校准的机器人视觉是瞄准预定参考平面的二维机器人视觉。因此，优选地使用具有浅景深(短焦距)和小F值的单焦透镜作为透镜201。

PC 3是设置有未示出的处理器、由DRAM构成的未示出的主存储器、未示出的输入-输出机构、由非易失性存储器构成的未示出的外部存储器、显示器、用作指令接收单元30的键盘等。PC 3通过利用处理器执行存储在外部存储器上的校准程序而用作指令接收单元30、图像获取单元31、目标值推导单元32、输出单元33和校准单元34。

图像获取单元31指示捕获单元2捕获图像，并且根据来自捕获单元2的指令获取其中指示参考点的标记被捕获的图像。本实施方式中使用的参考点是在图3所示的与旋转轴构件126垂直的平面上的任意位置和姿态中的九个格点P1、P2、P3、P4、P5、P6、P7、P8和P9。本实施方式中的包括相对于旋转轴构件126在任意位置和姿态中限定的参考点P1至P9的平面被称为参考平面。参考点P1至P9之间的相对位置关系在机器人坐标系中是固定的。然而，当旋转轴构件126在自动校准期间移动时，参考点P1至P9在捕获单元2的固定视觉内移动。也就是说，在校准期间，根据旋转轴构件126的位置和姿态(x、y、z、u、v、w)限定参考面的X轴和Y轴被限定，并且参考点的坐标由X轴坐标和Y轴坐标限定。X轴和Y轴垂直于旋转轴构件126的中心轴并且彼此之间垂直。当参考平面被限定时，TCP被设置成参考平面的原点。校准完成时的参考平面是机器人视觉的目标。由于参考平面是固定于旋转轴构件126上的坐标系，因此参考平面的坐标系与机器人坐标系之间的关系是线性的。在本实施方式中，图2所示的工具卡盘1261的安装面被用作指示参考点P1至P9的标记。

目标值推导单元32保持工具卡盘1261的安装面的模板。工具卡盘1261的安装面的模板用于通过分析从捕获单元2获取的图像来检测捕获单元2的坐标系中的参考点坐标。目标值推导单元32基于捕获单元2所捕获的图像来推导用于将捕获单元2与参考点P1至P9之间的位置关系改变成预定状态的目标值。特别地，目标值推导单元32基于捕获单元2所捕获的图像推导与预定状态对应的参考点P1至P9的位置和姿态，作为TCP的目标值。预定状态为如下状态。

×垂直状态：参考平面与捕获单元2的光轴垂直的状态

×聚焦状态：捕获单元2聚焦于参考平面的状态

垂直状态包括低精度垂直状态和高精度垂直状态。低精度垂直状态由基于在捕获单元2不聚焦于参考平面上的状态下捕获的图像而推导的目标值来定义。高精度垂直状态由下述的“倾斜指数”的阈值来限定。聚焦状态由作为聚焦指数的图像清晰度来限定。在本实施方式中，将最大化图像的预定区域(局部图像)的清晰度的状态设置成聚焦状态。然而，聚焦状态可以具有通过对聚焦指数设置阈值而得到的范围。

输出单元33通过将由目标值推导单元32推导的目标值输出至机器人1的控制单元14，将捕获单元2与参考点P1至P9之间的位置关系改变成垂直状态和聚焦状态。

1-3.自动校准

1-3-1.总体流程

接下来，将参照图4来描述使用上述机器人系统的自动校准的总体流程。

由机器人系统执行的自动校准在操作者将校准启动指令输入PC 3中时被启动，随后在不需要操作者的任何操作的情况下完成。在输入校准启动指令之前操作者所需要做的是以下简单的操作：将机器人系统的环境信息输入PC 3中，并且通过所谓的快速进给将TCP移动到捕获单元2的光轴大致地通过操纵器末端处的旋转轴构件126的状态。也就是说，操作者在输入校准启动指令之前不需要执行任何复杂的操作。环境信息包括区域图像传感器202的像素的数量和大小以及透镜201的焦距。虽然在本实施方式中使用工具卡盘1261的安装面作为指示参考点的标记，但当其上展示指示参考点的标记的板等被安装在工具卡盘1261上时，需要输入标记相对于TCP的位置和姿态。

当将校准启动指令被输入PC 3中时(步骤S1)，PC 3执行低精度倾斜校正(步骤S2)。在低精度倾斜校正中，设置与TCP在输入校准启动指令时的位置和姿态相对应的参考面。接下来，当TCP位于所设置的参考平面上的九个参考点处并且在捕获单元2的坐标系中检测到指示九个参考点的TCP的位置时，由捕获单元2捕获图像。然后，基于检测结果，推导用于将参考平面设置成垂直于捕获单元2的光轴(垂直状态)的目标值。推导的目标值被输入机器人1中。当臂111至115基于目标值移动时，参考平面变得大致垂直于捕获单元2的光轴，即为低精度垂直状态。

接下来，PC 3执行焦点调整(步骤S3)。在焦点调整中，在低精度垂直状态下使TCP沿与参考平面垂直的方向移动的同时，由捕获单元2来捕获图像，并且搜索使图像中被捕获的工件卡盘1261的清晰度最大化的聚焦状态。接下来，基于搜索结果来推导聚焦状态的目标值。将推导的目标值输入机器人1中。当臂111至115基于目标值移动时，这引起聚焦状态。

接下来，PC 3执行高精度的倾斜校正(步骤S4)。在高精度倾斜校正中，在低精度垂直状态和聚焦状态下的参考平面以微小角度倾斜的同时，由捕获单元2来捕获图像。基于其中工具卡盘1261被捕获作为指示同一参考平面中的多个参考点的标记的多个图像来推导参考平面的倾斜指数。参考平面的倾斜指数是与由捕获单元2的光轴和参考平面形成的角度与90度之间的差正相关的值。基于推导的倾斜指数来推导垂直状态下的目标值。将推导的目标值输入机器人1中。当臂111至115基于目标值移动时，这引起高精度的垂直状态。

接下来，PC 3执行九点校准(步骤S5)。在九点校准中，在参考平面的坐标系中以及捕获单元2的坐标系中，基于属于高精度垂直状态下的参考平面的九个参考点的坐标来推导用于校准机器人坐标系和捕获单元2坐标系的最终变换方程。

如前面的概要中所描述的，作为校准装置的PC 3自动地控制机器人1并且设置作为机器人视觉的目标的参考平面，使得参考平面垂直于捕获单元2的光轴，并且使得捕获单元2通过依次执行低精度倾斜校正、焦点调整和高精度倾斜校正来聚焦于参考平面上。然后，PC 3对所设置的参考平面执行九点校准。

1-3-2.低精度倾斜校正

接下来，将参照图5详细地描述低精度倾斜校正。

首先，目标值推导单元32设置参考平面并且推导用于将TCP作为标记移动到属于所设置的参考平面的九个参考点的目标值。接下来，输出单元33将目标值输出至机器人1的控制单元14，并且图像获取单元31获取在TCP位于来自捕获单元2的每个参考点时捕获的9个图像(步骤S21)。基于工具卡盘1261在输入校准启动指令时的位置和姿态(TCP的位置和姿态)来推导TCP向其移动的参考点。特别地，例如，将中心参考点P5设置成TCP在输入校准启动指令时的位置，并且利用输入校准启动指令时与旋转轴构件126垂直的平面作为参考平面来推导其他参考点。输出单元33将机器人坐标系中的如此推导的九个参考点的坐标输出至控制单元14作为目标值。

将通过使用图7和图8A至8D来描述由捕获单元2捕获的九个图像。图7示意性地示出了参考平面F(n)相对于捕获单元2的位置和姿态。F(0)是在步骤S21中捕获的参考平面。当每次将作为标记的TCP移动至九个参考点P1到P9时捕获图像时，从捕获单元2获取的每个图像中的工具卡盘1261的位置根据参考点P1到P9的位置而不同。例如，如图8A所示，当在九个图像中的每个图像中展示的工具卡盘1261被共同表示在一个图像中时，工具卡盘1261被展示为非格点。聚焦的程度没有反映在图8A至图8D中。从n个图像中获取的参考点的信息大致与从一个图像中获取的参考点的信息相同，其中，在所述n个图像中，每个参考点处的标记在机器人移动至被设置在如标记指示的机器人坐标系中的同一平面中的每个参考点之后由固定在机器人坐标系中的捕获单元来捕获，而在所述一个图像中，在指示n个参考点的标记所附着的板由机器人以特定位置和姿态来保持的同时，捕获附着在板上的标记。机器人坐标系与捕获单元的坐标系之间的严格对应关系反映在前一信息中，并且捕获单元的坐标系与通过组合机器人坐标系和标记所附着的板的坐标系而构成的坐标系之间的对应关系反映在后一信息中。机器人坐标系和标记所附着的板的坐标系之间不一定具有线性关系。因此，前一信息优选地被用于严格校准机器人坐标系和捕获单元的坐标系。

接下来，目标值推导单元32对当TCP位于每个参考点处时所捕获的九个图像进行分析，并且检测每个图像中的工具卡盘1261的安装面的中心位置(步骤S22)。也就是说，目标值推导单元32检测捕获单元2的坐标系中的九个参考点的位置。

接下来，目标值推导单元32基于参考点在参考平面的坐标系中的坐标和参考点在捕获单元2的坐标系中的坐标来推导捕获单元2的坐标系与机器人坐标系之间的对应关系(步骤S23)。特别地，目标值推导单元32推导用于将捕获单元2的坐标系变换成机器人坐标系的变换矩阵。获取这样的变换矩阵与相对于在步骤S21设置的参考平面对捕获单元2的坐标系和机器人坐标系进行校准相同。然而，变换矩阵是基于在捕获单元2没有聚焦于参考点P1到P9的情况下所捕获的图像来推导的。因此，变换矩阵不与参考平面相对于捕获单元2的光轴的姿态或参考点P1至P9的位置准确地对应。

接下来，目标值推导单元32基于在步骤S23中推导的变换矩阵来推导用于将参考平面移动至参考平面与捕获单元2的光轴垂直并且捕获单元2的光轴穿过中心参考点P5的位置和姿态的目标值。所推导的目标值由输出单元33输出到机器人1的控制单元14(步骤S24)。通过根据所输入的目标值移动臂111至115，参考平面具有参考平面与捕获单元2的光轴大致垂直并且捕获单元2的光轴大致穿过中心参考点P5的位置和姿态。也就是说，当低精度倾斜校正结束时，捕获单元2与参考点P1至P9之间的位置关系变成低精度垂直状态。

1-3-3.焦点调整

接下来，将参照图6详细地描述焦点调整。

首先，目标值推导单元32存储TCP的当前位置和姿态(步骤S31)。也就是说，如图7所示，在低精度倾斜校正结束时与参考平面F(1)对应的TCP的位置和姿态被存储。

接下来，目标值推导单元32推导在焦点调整期间获取的图像中捕获工具卡盘1261的区域，并且基于低精度倾斜校正期间推导的参考点在参考平面的坐标系中的坐标和参考点在捕获单元2的坐标系统中的坐标，来推导从捕获单元2到工具卡盘1261的距离(步骤S32)。

接下来，图像获取单元31从捕获单元2获取图像(步骤S33)。此时，图像获取单元31获取在步骤S32中推导的区域中捕获工具卡盘1261的图像。

接下来，目标值推导单元32基于从捕获单元2获取的图像推导捕获单元2的聚焦指数(步骤S34)。作为聚焦指数，可以使用通过如下获取的值：在某个区域中使其中捕获工具卡盘1261的区的差分(清晰度)的总和标准化。将用于推导聚焦指数的目标区域设置成其中捕获工具卡盘1261的图像的区域作为由图8B中的虚线围绕的区域。也就是说，基于从其中由捕获单元2捕获作为标记的工具卡盘1261的图像中剪切出的局部图像来推导聚焦指数。

接下来，目标值推导单元32确定在焦点调整时由捕获单元2捕获的图像的数量是否达到限定数量(步骤S35)。

当在焦点调整中由捕获单元2捕获的图像的数量未达到限定数量时，目标值推导单元32将TCP在与参考平面垂直的方向上朝向捕获单元2移动一预定距离(步骤S36)，并且从步骤S33重复该过程。也就是说，如图7所示，参考平面连同机器人1的TCP一起移动到F(2)、F(3)、F(4)......，直至捕获的图像的数量达到限定数量为止。由捕获单元2相对于每个参考平面捕获图像，并且针对每个捕获的图像推导聚焦指数。随着工具卡盘1261接近捕获单元2，工具卡盘1261被捕获的区域变大，并且很快工具卡盘1261不适合如图8C所示的图像。因此，用于推导聚焦指数的目标区域被设置成随着工具卡盘1261接近捕获单元2而变大，并且在其中工具卡盘1261被捕获的区域与图像的边缘接触之后变成整个图像。当利用这样设置的区域推导聚焦指数时，通常聚焦指数逐渐增加，而如果聚焦指数是清晰度，则聚焦指数随后逐渐减小。

当在焦点调整中由捕获单元2捕获的图像的数量达到限定数量时，目标值推导单元32基于聚焦指数来推导聚焦状态的目标值，并且输出单元33将推导的目标值输出至机器人1(步骤S37)。特别地，例如，推导用于将TCP移动到获取在步骤S34中推导的多个聚焦指数之中的最大聚焦指数的位置的目标值。当将推导的目标值输出至机器人1时，参考平面被设置成相对于捕获单元2的聚焦状态。通常，在臂111至115移动使得TCP在与参考平面垂直的方向上移动远离捕获单元2的情况下，由于参考平面从图7中的F(7)移动至F(5)因此引起聚焦状态。

如上所述，在焦点调整中，基于从其中在使参考点沿与参考平面垂直的第一方向朝向捕获单元2接近之后捕获作为标记的工具卡盘1261的图像中剪切出的局部图像，来推导聚焦状态的目标值。臂111至115基于推导的目标值将参考点与捕获单元2之间的位置关系改变成聚焦状态。由于在低精度垂直状态下执行焦点调整，因此参考平面垂直于捕获单元2的光轴。因此，在垂直于参考平面的方向上移动参考点与在与捕获单元2的光轴平行的方向上改变捕获单元2和参考点大致相同。

1-3-4.高精度倾斜校正

接下来，将参考图9详细地描述高精度倾斜校正。

首先，目标值推导单元32推导当前倾斜指数H¹(步骤S401)。在参考平面的坐标系和捕获单元2的坐标系中，通过使用中心参考点P5和中心参考点P5附近的四个参考点P2、P4、P6和P8的坐标来推导倾斜指数，中心参考点P5以及四个参考点P2、P4、P6和P8均属于相同参考平面。在参考平面垂直于捕获单元2的光轴并且捕获单元2的光轴通过中心参考点P5的情况下由捕获单元捕获的图像(参考图8D)中，工具卡盘1261与每个参考点之间的距离d1、d2、d3和d4相同。假定参考点Pn的坐标表示为p(n)，建立以下等式。

u₁＝u₂

v₁＝v₂

(其中，u₁＝p(5)-p(4)、u₂＝p(6)-p(5)、v₁＝p(5)-p(2)

并且v₂＝p(8)-p(5))

当参考平面从垂直状态绕连接参考点P2和参考点P8的直线旋转时，v₁与v₂之差根据旋转角度而增大。当参考平面从垂直状态绕连接参考点P4和参考点P6的直线旋转时，u₁与u₂之差根据旋转角度而增大。因此，可以将下面的等式H_x和H_y用作倾斜指数。

H_x＝|u₁-u₂|

H_y＝|v₁-v₂|

接下来，目标值推导单元32将推导的倾斜指数H_x和H_y与预定阈值进行比较并且确定倾斜指数H_x和H_y是否小于或等于预定阈值(步骤S402)。当倾斜指数H_x和H_y小于或等于预定阈值时，高精度倾斜校正成功结束。

当倾斜指数H_x和H_y不小于或等于预定阈值时，目标值推导单元32确定执行下述步骤S411的倾斜校正的次数是否小于预定阈值(步骤S403)。当执行倾斜校准的次数不小于预定阈值时，高精度倾斜校正未成功结束。当高精度倾斜校正未成功结束时，自动校准可以结束或可以从低精度倾斜校正再次被执行。

当执行倾斜校正的次数小于预定阈值时，目标值推导单元32将TCP的当前姿态存储为姿态(1)(步骤S404)。

接下来，目标值推导单元32推导用于使参考平面绕Y轴旋转d度的目标值，并且输出单元33将推导的目标值输出至机器人(步骤S405)。角度d是根据在高精度垂直状态下允许的误差而预先确定的微小角度。接下来，目标值推导单元32根据目标值在与TCP一起旋转的参考平面中设置新的参考点，并且通过对当TCP位于每个新的参考点处时所捕获的图像进行分析来推导倾斜指数H²(步骤S406)。特别地，目标值推导单元32推导用于将TCP移动至属于旋转后的新参考平面的参考点P2、P4、P5、P6和P8的目标值。输出单元33将推导的目标值输出至机器人1。图像获取单元31获取当TCP位于来自捕获单元2的每个参考点处时所捕获的图像。目标值推导单元32通过以与步骤S401相同的方式分析如此获取的图像而推导倾斜指数H²。因此，相对于绕Y轴从与姿态(1)对应的参考平面旋转d度的参考平面来推导倾斜指数H²。接下来，输出单元33输出用于使TCP返回至机器人1的姿态(1)的目标值(步骤S407)。

接下来，目标值推导单元32推导用于使参考平面绕X轴旋转d度的目标值，并且输出单元33将推导的目标值输出至机器人(步骤S408)。接下来，目标值推导单元32根据目标值在与TCP一起旋转的参考平面中设置新的参考点，并且通过对当TCP位于每个新的参考点处时所捕获的图像进行分析来推导倾斜指数H³(步骤S409)。因此，相对于绕X轴从与姿态(1)对应的参考平面旋转d度的参考平面来推导倾斜指数H³。

接下来，目标值推导单元32基于倾斜指数H¹、H²和H³推导倾斜校正量DV和DW(步骤S410)。通过以下等式来推导倾斜校正量DV和DW。

[数学式.1]

因此，

接下来，目标值推导单元32基于推导的倾斜校正量DV和DW来推导目标值，并且输出单元33将推导的目标值输出至机器人(步骤S411)。因此，参考平面通过臂111至115的移动绕X轴旋转DV并且绕Y轴旋转DW。

在高精度倾斜校正中，从步骤S401到步骤S411的上述处理在步骤S402中作出肯定确定之后以高精度垂直状态结束，或重复直到在步骤S403中做出否定确定为止。

1-3-5.九点校准

接下来，将描述九点校准。当高精度倾斜校正成功时，参考平面准确地垂直于捕获单元2的光轴。这意味着，可以基于在完成高精度倾斜校正期间获取的参考点的坐标，相对于参考平面中的旋转分量和缩放分量来校准机器人坐标系和捕获单元2的坐标系。在九点校准中，通过向参考平面上的任意点添加透镜201的失真来准确地校准机器人坐标系和捕获单元2的坐标系。也就是说，在九点校准中，通过使用九个参考点在机器人坐标系中的坐标和九个参考点在捕获单元2的坐标系中的坐标来推导用于非线性地校正机器人坐标系与捕获单元2的坐标系之间的线性关系的参数。具体地，输出单元33将用于使TCP移动至9个参考点的目标值输出至机器人1以使臂111至115移动，并且图像获取单元31获取其中位于每个参考点处的工具卡盘1261被捕获的九个图像。校准单元34通过分析每个图像来检测工具卡盘1261所指示的参考点。接下来，校准单元34基于输出单元33输出至机器人1的目标值的坐标和通过分析图像而获取的参考点的坐标，来推导用于最终校准的校正参数。由于用于推导在这种非线性校准中使用的参数的参考点的数量更大，因此校准的精度提高。

1-4.修改示例

无需质疑，如果捕获单元2的位置和姿态在机器人坐标系中固定，则可以用上述方法来校准捕获单元2的坐标系和机器人坐标系。例如，可以通过将捕获单元2固定至房间的墙壁使得捕获单元2的光轴为水平，来设置垂直参考平面。或者，例如，可以通过将捕获单元2沿竖直向下的方向固定至房间的天花板来设置水平参考平面。

2.第二实施方式

在本实施方式中将描述捕获单元22被安装在机器人1的可移动部分上的机器人系统。在本实施方式中，如图10所示，假设捕获单元22通过支柱等固定至臂111，使得捕获单元22的光轴平行于旋转轴构件126。在第一实施方式中，在机器人坐标系中移动参考点以校准固定在机器人坐标系中的捕获单元2的机器人视觉的同时，对作为校准目标的参考平面进行设置。关于这一点，在本实施方式中，在由机器人1移动捕获单元22使得捕获单元22的光轴与作为校准目标的参考平面垂直的状态下执行校准，这是因为作为校准目标的参考平面从第一实施方式起固定在机器人坐标系中。

在下文中，参照图11来描述捕获单元22被安装在机器人1的可移动部分上的机器人系统的自动校准。在假设捕获单元22的光轴与旋转轴构件126大致平行的情况下执行本实施方式的自动校准。需要在输入校准启动指令之前的准备步骤中将捕获单元22相对于臂115的捕获位置和捕获姿态设置成环境信息。捕获位置是捕获单元22的光轴与区域图像传感器202相交的位置。捕获姿态是捕获单元22的光轴的姿态。被设置为与臂115有关的环境信息的捕获单元22的捕获位置和捕获姿态不一定要与在启动自动校准时捕获单元22在臂115中的安装状态严格对应。

在固定在如图12所示的机器人坐标系中的九个参考点P21至P29上执行本实施方式的自动校准。参考点P21至P29是在可以任意设置的一个参考平面中所包含的格点。因此，在准备步骤中，附着有图13所示的标记41至49的标记板4被固定在如图10所示的台9上。标记板4是具有圆形轮廓的九个标记41至49被附着在平坦面中的预定格点处的板。标记板4上的每个标记41至49的中心位置通过固定于标记板4的二维坐标系(标记坐标系)中的目标值推导单元32来保持。每个标记41至49的中心被限定为参考点P21至P29。标记是具有使参考点通过从其中标记被捕获的图像检测标记而被指定的形式的标记就足够了。也就是说，标记具有这样的形式就足够了，可以利用该形式相对于标记的图形来几何地限定特定点的位置。与标记分离的点可以被限定为参考点。可以根据一个标记限定多个参考点。或者，一个参考点可以由多个分离的标记来限定。

当指令接收单元30接收到校准启动指令(步骤S1)时，执行低精度倾斜校正(步骤S2)。由于附着在标记板4上的标记41至49指示9个参考点，因此在本实施方式的低精度倾斜校正中，机器人1不需要移动到每个参考点。当在可以由捕获单元22捕获整个标记板4的状态下接收校准启动指令时，图像获取单元31获取其中从捕获单元22捕获9个标记41至49的一个图像。目标值推导单元32分析一个获取的图像并且在捕获单元22的坐标系中对标记41至49所指示的九个参考点进行检测。接下来，目标值推导单元32基于参考点在捕获单元22的坐标系中的坐标、被输入作为环境信息的捕获单元22的捕获位置和捕获姿态以及标记41至49在标记坐标系中的坐标，来推导捕获单元22的坐标系与机器人坐标系之间的对应关系。特别地，目标值推导单元32推导用于相对于标记41至49所位于的参考平面将捕获单元22的坐标系变换成机器人坐标系的变换矩阵。然而，此处是基于当捕获单元22不聚焦于标记41至49上时捕获的图像来推导变换矩阵的。因此，变换矩阵不与捕获单元22相对于参考点P21至P29的捕获位置和捕获姿态准确地对应。接下来，目标值推导单元32基于推导的变换矩阵来推导用于将臂115移动至捕获单元22的光轴与标记板4垂直并且捕获单元22的光轴穿过中心标记45的中心的位置和姿态的目标值。目标值推导单元32通过输出单元33将推导的目标值输出至机器人1的控制单元14。通过根据输入的目标值来移动臂111至115，捕获单元22的光轴变得大致垂直于标记板4并且通过中心标记45的大致中心。也就是说，当低精度倾斜校正结束时，捕获单元22与参考平面之间的位置关系变成低精度垂直状态。

接下来，执行焦点调整(步骤S3)。除了移动臂115使得其中捕获标记板4的中心标记45的区域的清晰度被最大化而不是移动TCP使得其中工具卡盘1261被捕获的区域的清晰度最大化之外，本实施方式的焦点调整与第一实施方式的焦点调整相同。当焦点调整结束时，捕获单元22与参考点P25之间的位置关系变成聚焦状态。

接下来，执行捕获单元姿态校正(步骤S6)。捕获单元姿态校正是通过校正环境信息对被设置成环境信息的捕获单元22的捕获姿态与捕获单元22的实际捕获姿态之间的差异进行校正的处理。下面将描述捕获单元姿态校正的细节。

接下来，执行高精度倾斜校正(步骤S4)。除了以下点之外，高精度倾斜校正与第一实施方式的高精度倾斜校正相同。将在第一实施方式中使用的五个参考点之中的中心参考点P5设置为捕获单元22的当前捕获位置。此外，在第一实施方式中使用的五个参考点中的剩余四个参考点P2、P4、P6和P8，在与捕获单元22的光轴垂直并且包括捕获单元22的当前捕获位置的平面上绕捕获单元22的当前捕获位置、以90度的间隔被设置为捕获单元22的捕获位置。在设置这五个捕获位置中使用捕获单元22的、作为在步骤S4中校正的环境信息的捕获位置和捕获姿态以及臂115的当前位置和姿态。其光轴与包括五个捕获位置的平面垂直的捕获单元22捕获如上设置的五个捕获位置处的标记板4，并且图像获取单元31获取五个图像。目标值推导单元32通过分析五个图像来在捕获单元22的坐标系中检测标记板4的中心标记45的中心。通过使用如此检测的标记45的中心的五个坐标而不是使用在第一实施方式的高精度校正中检测到的五个参考点的坐标，执行与第一实施方式的高精度倾斜校正相同的高精度倾斜校正。通过执行这样的高精度倾斜校正，推导与捕获单元22的光轴垂直于标记板4并且通过标记45的中心的状态对应的目标值。当推导的目标值被输入至机器人1中时，臂111至115基于输入的目标值而移动，并且捕获单元22的光轴通过标记45的中心并变得垂直于标记板4。也就是说，当高精度倾斜校正成功结束时，参考点P21至P29与捕获单元22之间的位置关系变成高精度垂直状态。

将详细地描述步骤S6的捕获单元姿态校正。例如，捕获单元22在捕获单元22的光轴与图14的虚线对应的上述捕获位置P2、P5和P8处的捕获位置和捕获姿态被设置为环境信息。此外，实际上，假设捕获单元22被安装在臂115中，使得捕获位置P2、P5和P8处的捕获单元22的光轴与不垂直于参考平面F的实线A2、A5和A8对应。在这种情况下，假设通过利用位于捕获位置P2、P5和P8处的捕获单元22捕获标记板4来执行高精度倾斜校正。然而，即使当臂111至115基于在高精度倾斜校正时推导的目标值进行操作时，捕获单元22的光轴也不会变成垂直于标记板4。原因在于倾斜指数是基于由捕获单元22从垂直于“与错误环境信息对应的捕获单元22的光轴”的平面上的五个捕获位置捕获的五个图像来被推导的，而在假设中心标记45被捕获单元22从垂直于“捕获单元22的实际光轴”的平面上的五个捕获位置捕获五次的情况下执行高精度倾斜校正。因此，在高精度校正之前需要执行与“捕获单元22的实际光轴”和“与环境信息对应的捕获单元22的光轴”匹配的校正。在高精度校正之前所需要进行的校正是捕获单元姿态校正。

在捕获单元姿态校正中，捕获单元22以捕获单元22的光轴与包括上述五个捕获位置P2、P4、P5、P6和P8的平面垂直的捕获姿态(基于要校正的环境信息的捕获姿态)从这些捕获位置捕获图像，并且从五个图像中的每一个检测标记板4的中心标记45的中心。接下来，通过使用如此检测的标记45的中心的五个坐标，而不是使用在第一实施方式的高精度校正中检测到的五个参考点的坐标，推导与第一实施方式相同的倾斜校正量DV和DW。当通过使用推导的校正量DV和DW来校正作为环境信息的捕获单元22的捕获姿态时，“捕获单元22的实际光轴”可以和“与环境信息对应的捕获单元22的光轴”匹配。

在高精度倾斜校正成功结束之后执行九点校准(步骤S5)。在本实施方式的九点校准中，替代在TCP移动至第一实施方式的九个参考点P1至P9的同时从捕获单元22所捕获的图像中检测捕获单元22的坐标系中的每个参考点的位置，根据从当前捕获位置和捕获姿态处于高精度垂直状态下的捕获单元22获取的图像，将九个标记41至49的中心检测为参考点P21至P29。然后，推导用于将在捕获单元22的坐标系中检测到的参考点P21至P29的坐标变换成机器人坐标系中的参考点P21至P29的坐标的最终变换方程。

3.第三实施方式

通过将指示安装有各种工具的工具卡盘1261的位置和姿态(即，TCP的位置和姿态)的目标值输入到机器人1中来控制机器人1的状态。因此，为了对安装在工具卡盘1261或其他部件上的工具的位置和姿态进行控制，有必要预先将工具相对于TCP的位置和姿态设置为环境信息、将工具的位置和姿态变换成与TCP对应的位置和姿态、并且将目标值输入到机器人1中。在本实施方式中，将描述用于通过使用机器人的视觉来检测以及自动设置各种类型的工具相对于TCP的位置和姿态的方法。通过使用机器人视觉来检测各种类型的工具相对于TCP的位置和姿态需要假设可以相对于参考平面对机器人坐标系和捕获单元的坐标系进行校准。因此，在本实施方式中，假设对与如第一实施方式中描述为固定至台9的捕获单元2的光轴相垂直的参考平面F进行设置，并且针对所设置的参考平面F上的九个参考点完成校准。在这种状态下，将参照图15A和图15B来描述用于通过使用机器人视觉相对于TCP来检测位置和姿态相对于TCP固定的工具的位置和姿态的方法。在本实施方式中，“工具相对于TCP的位置和姿态”由用于从TCP的位置和姿态(x、y、z、u、v、w)中指定工具在参考平面上的位置和姿态的偏移(DX、DY、DU)来表示。TCP的位置和姿态(x、y、z、u、v、w)是机器人坐标系，而偏移(DX、DY、DU)是参考平面的坐标系。然而，如上所述，机器人坐标系和参考平面的坐标系具有线性关系。因此，在机器人坐标系和参考平面的坐标系中的任一坐标系中限定工具的位置和姿态均不存在几何问题。符号DU是围绕与参考平面垂直的Z轴的旋转分量。

首先，通过在维持TCP的中心轴垂直于参考平面的TCP的姿态的同时以平行方式移动TCP，来使由工具标记指示的工具的参考点移动到参考平面上。此时，工具卡盘1261的中心轴可以以平行方式移动，或工具卡盘1261可以绕其中心轴旋转(因为DU被包括在偏移中)。工具标记是指示参考点的工具标记就足够了。工具也可以用作工具标记。在本实施方式中，作为工具标记的标签附着在工具上。标签是形状和大小均已知的标签就足够了。参考点是相对于工具固定的点就足够了。当工具的参考点移动到参考平面时，可以通过快速进给来移动TCP，或者可以通过使用机器人视觉来自动移动TCP。具体地，由于工具标记的形状和大小是已知的，因此基于工具标记在移动之前被捕获的图像来指定工具标记相对于参考平面移动之前的位置。然后，推导用于将工具标记从相对于参考平面指定的工具标记位置移动至参考平面的TCP的目标值，并且将所推导的目标值输出至机器人1。此外，通过重复捕获和移动处理，由工具标记指示的工具的参考点可以被准确地定位在坐标平面上。

接下来，当工具的参考点被定位在参考平面上时，由捕获单元2来捕获工具标记，并且在捕获单元2的坐标系中对由工具标记指示的参考点的位置进行检测。然后，基于在捕获时从TCP向下到参考平面的垂足的坐标和检测到的参考点的坐标，来推导用于根据TCP在机器人坐标系中的位置和姿态(x₀、y₀、z₀、u₀、v₀、w₀)而指定工具在参考平面上的位置和姿态的偏移量(DX、DY、DU)。

作为环境信息所必需的捕获单元22的位置和姿态通过例如利用第二实施方式的捕获单元22作为工具推导偏移量(DX、DY、DU)来被指定。因此，替代使用户设置捕获单元22的位置和姿态，可以自动检测捕获单元22的位置和姿态，并且可以将捕获单元22的检测到的位置和姿态自动设置为环境信息。然后，可以通过使用其环境信息被如此自动设置的捕获单元22来校准捕获单元22的坐标系和机器人坐标系。也就是说，对机器人坐标系进行的校准以及对固定在机器人坐标系中的捕获单元2的坐标系和固定至机器人1的可移动部分的捕获单元22的坐标系中的每个坐标系进行的校准，可以仅通过输入校准启动指令自动地完成。此外，当添加除捕获单元2和捕获单元22之外的捕获单元时，可以通过利用捕获单元22捕获附加捕获单元来校准附加捕获单元的坐标系和机器人坐标系。也就是说，可以通过例如利用标记板4操作机器人来自动校准多个捕获单元的坐标系和机器人坐标系。

当需要针对多个工具T1和T2的环境信息时，可以针对每个工具推导用于指定工具的位置和姿态的偏移量。也就是说，可以通过将工具T1移动到如图15A所示的参考平面F来推导工具T1的偏移量，并且可以通过将工具T2移动到如图15B所示的参考平面F来推导工具T2的偏移量。尽管到目前为止描述了设置一个最终校准的参考平面的示例，但也可以设置两个或更多个校准的参考平面。例如，可以设置与工具T1对应的参考平面和与工具T2对应的参考平面，并且可以校准每个参考平面和机器人坐标系。

4.第四实施方式

在本实施方式中，如图1A简单所示，机器人1设置有臂11和基台110。臂11由臂111、112、113、114和115构成。在下文中，与第一实施方式相同的构成构件将用相同的附图标记来表示，并且将不提供或将简化对相同的构成构件的描述。基台110被配置成不在图1A所示的xyz坐标系中移动就足够了。例如，基台110可以被配置成包括直接支承臂11的基座和在基座固定至其上部的情况下被安装在地板上的框架，可以被配置成与台9整合的结构、或可以被配置成与台9、带式传送机的框架或安装有另一机器人的单元整合的结构。

在本实施方式中，捕获单元2被布置在固定于图1所示的xyz坐标系中的点处，并且当机器人1被控制时被使用。也就是说，在本实施方式中，捕获单元2被布置在固定于臂11在其中移动的坐标系中的点处。只要捕获单元2被布置在固定于臂11在其中移动的坐标系中的点处，就可以执行第一实施方式中所描述的自动校准。例如，捕获单元2可以固定至其中安装有机器人1的房间的墙壁、天花板或地板、可以固定至机器人1的基台110、或者可以固定至机器人1固定于其中的单元的框架。

4-1.修改示例

只要捕获单元2被布置在固定至臂11在其中移动的坐标系中的点处，就可以执行第一实施方式中所描述的自动校准。例如，可以通过将捕获单元2固定至房间的墙壁使得捕获单元2的光轴为水平，来设置竖直参考平面。或者，例如，捕获单元2可以固定至其中安装有机器人1的房间的地板。捕获单元2可以固定至机器人1的基台110。捕获单元2可以固定至机器人1固定于其上的单元的框架。捕获单元2可以固定至被布置在机器人1上的诸如传送带这样的装置。当捕获单元2固定至诸如传送带这样的外部装置时，便利使机器人1与外部装置对齐以协作式地操作机器人1和外部装置。当捕获单元2被布置在固定于臂11在其中移动的坐标系中的点处时，如第一实施方式中所描述的，通过利用臂11将标记定位在用于控制机器人1的xyz坐标系中的特定点处来执行自动校准。在这种情况下，标记可以被固定至臂11的任何部分。例如，虽然在上述实施方式中使用TCP作为标记，但标记可以固定至第一臂111、第二臂112、第三臂113、第四臂114和第五臂115中的任一臂。

5.第五实施方式

在本实施方式中将描述将捕获单元22安装在作为机器人1的可移动部分的臂11上的机器人系统。在本实施方式中，如图10所示，假设捕获单元22通过支柱等被固定至臂111，使得捕获单元22的光轴与旋转轴构件126平行。在下文中，与第二实施方式的构成构件相同的构成构件将用相同的附图标记来表示，并且将不提供或将简化对相同的构成构件的描述。

5-1.修改示例

无需质疑，如果捕获单元2固定至臂11，则可以使用上述方法来校准捕获单元2的坐标系和机器人坐标系。也就是说，只要捕获单元2被布置在固定至第一臂111、第二臂112、第三臂113、第四臂114和第五臂115中的任一臂的点处，就可以执行在第一实施方式中描述的自动校准。

当捕获单元2被布置在相对于臂11固定的点处时，如第二实施方式中所描述的，通过将标记固定至用于控制机器人1的xyz坐标系(臂在其中移动的坐标系)中的特定点来执行自动校准。在这种情况下，标记可以固定至用于控制机器人1的xyz坐标系中的任何点。标记可以固定至其中安装有机器人1的房间的地板。标记可以固定至机器人1的基台110。标记可以固定至其中固定有机器人1的单元的框架。标记可以固定至布置在机器人1上的诸如传送带这样的装置。当标记器固定至诸如传送带这样的外部装置时，便利使机器人1与外部装置对齐以协作事地操作机器人1和外部装置。

6.第六实施方式

在本实施方式中，将提供对机器人系统以及用于校准机器人坐标系和捕获单元2的坐标系的方法的描述，在该机器人系统中，如图16所示，在第四实施方式中安装在竖直向上的方向上的捕获单元2、以捕获单元2可以捕获臂11的姿态而被布置在臂11之上。现在，假设捕获单元2沿竖直向下的方向被安装在如图16所示的臂11的可能运动范围之上，并且假设机器人1在由捕获单元2捕获工件的同时对臂11之下的工件执行处理。在这种情况下，在工具卡盘1261的工具安装面朝下的情况下处理工件。然而，在该状态下，在第一实施方式中用作标记的工具卡盘1261的工具安装面无法被捕获单元2捕获。因此，在本实施方式中，为了获取校准捕获单元2的坐标系和机器人坐标系所必需的图像，标记工具50被安装在工具卡盘1261上，其中在该标记工具50上布置有在工具卡盘1261的工具安装面向下的同时可以由捕获单元2捕获的标记51。然后，在推导标记工具50相对于TCP的偏移量之后，以与第一实施方式的方式相同的方式执行对捕获单元2的坐标系和机器人坐标系的校准。

如图17A和17B所示，标记工具50设置有平板部52和安装部53。平板部52是平板。安装部53是垂直于平板部52布置的柱。安装部53是插入工具卡盘1261中且如图17B中的虚线所示固定至工具卡盘1261的部分。当安装部53正确地安装在工具卡盘1261上时，安装部53的中心线与平板部52的交叉点与TCP匹配。当安装部53安装在工具卡盘1261上时，指示参考点的标记51形成在平板部52的面向工具卡盘1261的一面(即，平板部52的布置有安装部53的一面)上。标记51是具有同心形状并且附接至标记工具50的面向工具卡盘1261的一面的密封件。标记51的中心MC是参考点。假定可以从由捕获单元2捕获的图像数据中检测参考点，则标记51可以具有任何形式。当工具的参考点具有能通过图像识别检测的形式时，不必使用指示参考点的标记。

将相对于TCP固定的坐标系中的标记中心MC所指示的参考点的坐标设置为偏移量。也就是说，工具的参考点的坐标被设置为在具有与TCP对应的原点、平行于旋转轴构件126的转轴的一个轴以及与该一个轴正交的两个轴并且与旋转轴构件126一起旋转的坐标系中的工具的偏移量。将标记工具50的柱状安装部53插入工具卡盘1261中达预定深度是容易的。因此，在本实施方式中，假设与旋转轴构件126的转轴平行的一个轴的偏移分量被设置为预定值，并且另外两个轴的偏移分量被推导且通过下述工具设置处理来设置。

固定在机器人坐标系中的捕获单元2可以通过使用这样的标记工具50来捕获相对于TCP移动的标记51。因此，如果还可以指定标记51相对于TCP的偏移量，则可以以与第一实施方式相同的方式来自动校准机器人坐标系和捕获单元2的坐标系。

在下文中，将参照图18来描述用于指定标记中心MC相对于TCP的位置的工具设置处理。

通过由操作者输入至PC 3的工具设置启动指令来启动工具设置处理。在启动之后，在不向操作者请求任何操作或进行简单的操作的情况下，完成工具设置处理。在输入工具设置启动指令之前请求操作者将标记工具50的安装部53正确地安装在工具卡盘1261上、利用快速进给操作将TCP移动至可以由捕获单元2捕获标记51的位置、并且设置标记工具50在与旋转轴构件126的转轴平行的一个轴的方向上相对于TCP的偏移分量。

当指令接收单元30根据操作者对工具设置启动指令的输入而获取工具设置启动指令(步骤S71)时，PC 3移动TCP，使得标记中心MC被定位在由捕获单元2捕获的图像的中心处(步骤S72)。具体细节如下。当输入工具设置启动指令时，图像获取单元31指示捕获单元2捕获图像并从捕获单元2获取图像数据(1)。接下来，目标值推导单元32从所获取的图像数据(1)中检测标记中心MC在捕获单元2的坐标系中的位置。在标记中心MC的检测中使用预先准备的标记51的模板。接下来，目标值推导单元32指示捕获单元2在TCP在x轴的方向和y轴的方向中的每一个方向上平移预定距离的状态下捕获图像，并且从捕获单元2获取图像数据(2)。接下来，目标值推导单元32从所获取的图像数据(2)中检测标记中心MC在捕获单元2的坐标系中的位置。接下来，目标值推导单元32推导坐标变换矩阵，该坐标变换矩阵基于在捕获图像数据(1)时TCP在机器人坐标系中的坐标、从图像数据(1)检测到的标记中心MC在捕获单元2的坐标系中的坐标、在捕获图像数据(2)时TCP在机器人坐标系中的的坐标以及从图像数据(2)检测到的标记中心MC在捕获单元2的坐标系中的坐标，将目标在图像坐标系中的位移变换成目标在机器人坐标系中的位移。接下来，目标值推导单元32通过推导从图像数据(2)检测到的标记中心MC到图像的中心的位移并且通过利用坐标变换矩阵将推导的位移变换成机器人坐标系的x轴和y轴的方向上的位移，来推导用于将标记中心MC定位到由捕获单元2捕获的图像的中心的TCP的目标值。接下来，输出单元33通过将推导的目标值输出到控制单元14来移动臂11。因此，TCP在x轴的方向和y轴的方向中的每一个方向上平移，并且捕获单元2、TCP和标记中心MC之间的位置关系变成第一状态。因此，如图19A所示，标记中心MC被定位在由捕获单元2捕获的图像的中心。由捕获单元2捕获的图像的中心是将图像坐标系与机器人坐标系相关联的参考点。标记中心MC是当标记中心MC定位于图像中心时与工作空间中的参考点对应的点。

当标记中心MC定位于由捕获单元2捕获的图像的中心时，PC 3改变臂11的姿态，使得TCP在图像坐标系中绕图像的中心旋转(步骤S73)。具体细节如下。目标值推导单元32通过使用在步骤S72中推导的坐标变换矩阵来推导标记中心MC在机器人坐标系中的x坐标和y坐标。由于标记中心MC定位于图像的中心，因此通过利用坐标变换矩阵将图像的中心坐标变换成机器人坐标系中的坐标，来推导标记中心MC在机器人坐标系中的x坐标和y坐标。接下来，目标值推导单元32推导用于在xy平面上使TCP绕标记中心MC旋转预定角度的目标值。接下来，输出单元33通过将推导的目标值输出至控制单元14来移动臂11。具体地，例如，当旋转轴构件124的转轴在工具设置处理期间始终保持与z轴平行时，可以通过在使旋转轴构件124旋转预定角度(例如30度)之后使旋转轴构件121、122、123、125和126旋转，沿垂直于z轴的方向平移TCP。因此，如图19C所示，TCP绕标记中心MC旋转预定角度，并且捕获单元2、TCP和标记中心MC之间的位置关系从第一状态转换成第二状态。在转换期间，TCP绕图像坐标系中的图像的中心旋转，如图19A至图19B所示。可以在以下范围内预先确定旋转角度，在该范围内，标记工具50被安装在具有在捕获单元2能够捕获到旋转之后改变的位置和姿态的工具卡盘1261上。

图像的中心对应于透镜201的光轴。因此，与从图像的中心分离的位置相比，透镜201的失真较小。因此，即使在如本实施方式中未准确地校准机器人坐标系和图像坐标系时，图像的中心与作为TCP在图像坐标系中的旋转中心的参考点之间的关系仍是较少失真的。然而，由于在本实施方式中TCP绕参考点旋转就足够了，因此即使当参考点与图像上的特定点之间的关系失真时，只要特定点不移动，就不会有问题。因此，与TCP绕其旋转的参考点对应的点可以不是图像的中心。

当TCP在图像坐标系中绕图像的中心旋转时，PC 3基于TCP在执行步骤S72之后的位置和TCP在步骤S73中的位置来推导并设置标记中心MC相对于TCP的偏移量(步骤S74)。此处，将参照图19C来描述机器人坐标系中的第一状态和第二状态。在从第一状态到第二状态的转换期间，TCP绕标记中心MC旋转而不在z方向上移动。在此期间，TCP绘制绕标记中心MC的圆弧轨迹。弧的半径等于从TCP到标记中心MC的距离，并且弧的中心角等于TCP从第一状态旋转到第二状态的角。因此，校准单元34通过用标记中心MC的x坐标和y坐标、弧的中心角q和弧的半径r表示第一状态和第二状态中的TCP的x坐标和y坐标来求解联立方程，并且推导标记中心MC在机器人坐标系中的x坐标和y坐标。TCP在第一状态下和第二状态下的x坐标和y坐标是已知的，并且机器人坐标系与固定至旋转轴构件126的坐标系(固定至TCP的坐标系)之间的对应关系也是已知的。因此，校准单元34基于TCP在第一状态和第二状态中的一个状态下的x坐标和y坐标和标记中心MC的x坐标和y坐标，来推导并设置标记工具50在与旋转轴构件126的转轴垂直的两个轴的方向上相对于TCP的偏移分量。

尽管本实施方式假设捕获单元2的捕获方向A平行于机器人坐标系的z轴，但如图20A所示，即使当捕获单元2的捕获方向A不平行于机器人坐标系的z轴时，仍可以毫无问题地推导标记工具50的偏移量。原因是TCP从第一状态旋转到第二状态绕平行于z轴的轴而不是绕平行于捕获方向A的轴旋转，并且量可以通过求解机器人坐标系中的方程而不是在步骤S74中推导偏移量时使用图像中的TCP的坐标来推导偏移量。也就是说，即使当捕获单元2的捕获方向A不平行于如图20A所示的机器人坐标系的z轴时，机器人坐标系中的TCP与标记中心MC之间的关系仍与捕获单元2的捕获方向A平行于如图20B所示的机器人坐标系的z轴的情况相同。

在到目前为止所描述的工具设置处理中，在除了平行于旋转轴构件126的转轴的一个轴之外的剩余两个轴中的标记工具50相对于TCP的偏移量，可以通过仅将TCP移动至标记M可以被捕获单元2利用快速进给操作捕获的位置来自动推导和设置。因此，可以在短时间内容易地设置偏移量。当工具设置处理结束时，可以以与第一实施方式相同的方式自动校准捕获单元2的坐标系和机器人坐标系。根据本实施方式，即使在捕获单元2被布置在捕获单元2无法捕获安装有工具的工具卡盘1261的位置和姿态中的情况下，捕获单元2的坐标系和机器人坐标系也可以被自动校准，这是因为标记51形成在标记工具50的面向工具卡盘1261的一面上。

在本实施方式中，在将安装部53正确地安装在工具卡盘1261上时，安装部53的中心线与平板部52的交叉点与TCP匹配，并且其上形成有标记51的面是平的。因此，当安装部53正确地安装在工具卡盘1261上时，标记51位于与旋转轴构件126的转轴垂直且包括TCP的平面上。然而，标记51可以不位于与旋转轴构件126的转轴垂直且包括TCP的平面上。

7.其他实施方式

显然，本发明的技术范围不限于上述实施方式，并且可以在不脱离本发明的主旨的情况下在一定程度上对本发明进行各种修改。

例如，可以通过利用鼠标的点击操作、显示器上的点击操作或语音来接收校准启动指令。

可以改变在上述实施方式中描述的低精度倾斜校正、焦点调整和高精度倾斜校正的顺序。可以在低精度倾斜校正之前执行焦点调整，或者可以不执行低精度倾斜校正、焦点调整和高精度倾斜校正中的任一个。此外，可以存在至少一个处理，该至少一个处理获取基于其中在不执行校准时由捕获单元捕获标记的图像而推导的目标值，并且基于该目标值将捕获单元与参考点之间的位置关系改变成预定状态。例如，可以通过快速进给来执行用于将捕获单元聚焦于参考点上的机器人操作，并且可以基于根据图像而推导的目标值执行仅高精度倾斜校正。

可以基于在高精度倾斜校正时获取的三个或更多个参考点的坐标来校准机器人坐标系和捕获单元的坐标系，而不进行九点校准。也就是说，可以通过使用借由高精度倾斜校正在参考平面上设置的三个或更多个参考点来校准捕获单元的坐标系和机器人坐标系、可以通过使用八个或更少的参考点来校准捕获单元的坐标系和机器人坐标系、或者可以通过使用十个或更多个参考点来校准捕获单元的坐标系和机器人坐标系。

用于将机器人改变成预定姿态的目标值可以包括在校准启动指令中。例如，在预先确定捕获单元或标记板被固定在台上的位置的情况下，用于在不使用机器人视觉的情况下将机器人移动至参考平面大致面向捕获单元的位置处的目标值可以包括在校准启动指令中。

除了六轴机器人之外，本发明还可以应用于竖直多关节机器人，并且可以应用于其中臂的所有旋转轴均平行的标量机器人。本发明可以应用于使用两个或更多个捕获单元的三维机器人视觉。也就是说，当本发明应用于对机器人坐标系和用于实现三维机器人视觉的多个捕获单元的坐标系的校准时，可以通过校准启动指令将每个捕获单元与标记之间的位置关系改变成为校准捕获单元的坐标系和机器人坐标系所必需的图像能够被捕获的状态。

附图标记列表

1：机器人

2：捕获单元

3：PC

4：标记板

9：台(工作台)

11：臂

14：控制单元

22：捕获单元

30：指令接收单元

31：图像获取单元

32：目标值推导单元

33：输出单元

34：校准单元

41至49：标记

50：标记工具

51：标记

52：平板部

53：安装部

110：基台

111：第一臂(臂)

112：第二臂(臂)

113：第三臂(臂)

114：第四臂(臂)

115：第五臂(臂)

121至126：旋转轴构件

131至136：电动机

201：透镜

202：区域图像传感器

1261：工具卡盘

F：参考平面

P1到P9：参考点

P21至P29：参考点

Claims

1.一种机器人，包括：

指令接收单元，所述指令接收单元接收校准启动指令；以及

臂，当接收到所述校准启动指令时，所述臂改变指示参考点的标记与捕获单元之间的位置关系，

其中，基于所述标记在所述捕获单元与所述标记之间的位置关系改变之后被所述捕获单元捕获的图像，来执行对所述捕获单元的坐标系和所述机器人的坐标系的校准。

2.根据权利要求1所述的机器人，

其中，当接收到所述校准启动指令时，所述臂将所述位置关系改变成预定状态，并且

当所述位置关系处于所述预定状态时，基于所述标记被所述捕获单元捕获的所述图像来执行所述校准。

3.根据权利要求2所述的机器人，

其中，所述臂获取基于所述标记被所述捕获单元捕获的所述图像而推导的目标值，并且基于所述目标值将所述位置关系改变成所述预定状态。

4.根据权利要求2或3所述的机器人，

其中，所述校准启动指令不包括用于将所述位置关系改变成所述预定状态的目标值。

5.根据权利要求1至4中任一项所述的机器人，

其中，所述预定状态包括所述捕获单元聚焦于所述标记的状态。

6.根据权利要求5所述的机器人，

其中，当接收到所述校准启动指令时，所述臂获取基于从所述标记被所述捕获单元捕获的所述图像中剪切出的局部图像而推导的目标值，并且基于所述目标值将所述位置关系改变成所述捕获单元聚焦于所述标记的状态。

7.根据权利要求5或6所述的机器人，

其中，所述臂通过以下方式来使所述捕获单元聚焦于所述标记：在与具有三个或更多个参考点的平面垂直的第一方向上改变所述捕获单元与所述标记之间的位置关系，然后在与所述第一方向相反的第二方向上改变所述捕获单元与所述标记之间的位置关系。

8.根据权利要求1至7中任一项所述的机器人，

其中，所述预定状态包括具有三个或更多个参考点的平面与所述捕获单元的光轴垂直的状态。

9.根据权利要求8所述的机器人，

其中，所述预定状态包括具有所述捕获单元的光轴穿过所述平面的不同位置的三个或更多个状态。

10.根据权利要求1至9中任一项所述的机器人，

其中，所述捕获单元被布置在所述臂中。

11.根据权利要求1至9中任一项所述的机器人，

其中，所述标记被布置在所述臂中。

12.一种机器人系统，包括：

机器人，所述机器人包括：

指令接收单元，所述指令接收单元接收校准启动指令；及

臂，当接收到所述校准启动指令时，所述臂改变指示参考点的标记与捕获单元之间的位置关系；以及

校准装置，所述校准装置基于所述标记在所述捕获单元与所述标记之间的位置关系改变之后被所述捕获单元捕获的图像，来执行对所述捕获单元的坐标系和所述机器人的坐标系的校准。

13.一种机器人，包括：

臂，所述臂自动地将指示三个或更多个参考点的标记与捕获单元之间的位置关系改变成以下中至少之一：

第一状态，在所述第一状态下，具有三个或更多个参考点的平面与所述捕获单元的光轴垂直；

第二状态，在所述第二状态下，所述捕获单元聚焦于指示三个或更多个参考点中至少之一的所述标记；

第三状态，在所述第三状态下，所述捕获单元的光轴穿过所述平面上的第一点；

第四状态，在所述第四状态下，所述捕获单元的光轴穿过所述平面上的第二点；以及

第五状态，在所述第五状态下，所述捕获单元的光轴穿过所述平面上的第三点，

其中，基于所述标记在所述第三状态、所述第四状态和所述第五状态下被所述捕获单元捕获的图像，来执行对所述捕获单元的坐标系和所述机器人的坐标系的校准。

14.根据权利要求13所述的机器人，

其中，所述臂自动地将所述位置关系改变成所述第一状态、所述第二状态、所述第三状态、所述第四状态和所述第五状态。

15.根据权利要求13或14所述的机器人，

其中，所述臂获取基于所述标记被所述捕获单元捕获的图像而推导的目标值，并且基于所述目标值自动地改变所述位置关系。