CN111070204B - 机器人系统、机器人的校准治具、机器人的校准方法 - Google Patents

Abstract

本发明提供机器人系统、机器人的校准治具、机器人的校准方法。该治具包括分别附带图案的N个(N为4以上的整数)平面，非基准法线向量相对于基准法线向量所成的角度θ满足以下的式(1)及式(2)，基准法线向量与N个平面中的一个平面即治具基准面垂直，并具有从治具基准面朝着立体照相机所配置的空间的朝向，非基准法线向量与N个平面中的不同于治具基准面的非基准平面垂直，并具有从非基准平面朝着立体照相机所配置的空间的朝向，‑90°＜θ＜90°…(1)，θ≠0…(2)，与N个平面中的N‑1个非基准平面对应的非基准法线向量相对于基准法线向量具有相互不同的朝向，并且彼此具有相对于基准法线向量不对称的朝向。

Description

机器人系统、机器人的校准治具、机器人的校准方法

技术领域

本发明涉及对机器人进行校准的技术。

背景技术

目前，作为确定用于将通过照相机对目标物进行拍摄而得到的照相机坐标系中的位置与配置有该目标物的三维空间的空间坐标系中的位置建立关联的校准参数的方法，存在专利文献1的方法。在专利文献1的技术中，在立方体的治具中，为了得到表示与治具的位置姿势对应的六自由度的对应关系的信息，进行如下处理。即，在彼此相邻的三个面中，在一面设置四个图形“+”的标签，在其它两面分别设置四个图形“-”的标签，并对各标签附加编号。通过照相机对治具的上述三面进行拍摄。基于所得到的图像数据，对图像上的标签的图形进行识别，求出三维空间内的治具的朝向。根据专利文献1的技术，不通过人工就能够求出三维空间内的治具的朝向。因此，能够自动地建立治具上的各标签在照相机坐标上的位置与空间坐标上的位置的关联。结果，能够使用两坐标上的位置在短时间内设定校准参数。

专利文献1：日本特开平6-243236号公报

但是，在专利文献1的技术中，通过一次拍摄而被得到图像的、相对于照相机具有相互不同的朝向的治具的面的数量是三个。因此，在专利文献1的技术中，在通过一次拍摄得到的信息中，无法准确地确定将通过照相机对目标物进行拍摄而得到的照相机坐标系中的位置与配置有该目标物的三维空间的空间坐标系中的位置建立关联的参数。即，在专利文献1的技术中，需要改变治具或照相机的姿势，重复进行治具的拍摄。因此，参数的校准需要时间。

发明内容

根据本公开的一方面，提供一种用于校准将根据使用立体照相机得到的图像确定的位置与三维空间中的位置建立关联的参数的治具。在将N设为4以上的整数时，该治具包括附带图案的N个平面，非基准法线向量相对于基准法线向量所成的角度θ满足以下的式(1)及式(2)，所述基准法线向量与治具基准面垂直，并具有从所述治具基准面朝着所述立体照相机所配置的空间的朝向，所述治具基准面是所述N个平面中的一个平面，所述非基准法线向量与所述N个平面中的不同于所述治具基准面的非基准平面垂直，并具有从所述非基准平面朝着所述立体照相机所配置的空间的朝向，

-90°＜θ＜90°…(1)

θ≠0…(2)

与所述N个平面中的N-1个所述非基准平面对应的所述非基准法线向量相对于所述基准法线向量具有相互不同的朝向，并且彼此不具有相对于所述基准法线向量对称的朝向。

根据本公开的另一方面，提供一种机器人系统，其包括：臂，处理目标物；立体照相机，对所述目标物进行拍摄；控制部，基于通过所述立体照相机得到的图像，对所述臂进行控制；以及治具，用于校准将根据使用立体照相机得到的图像确定的位置与三维空间中的位置建立关联的参数。在将N设为4以上的整数时，所述治具包括附带图案的N个平面，非基准法线向量相对于基准法线向量所成的角度θ满足以下的式(1)及式(2)，所述基准法线向量与治具基准面垂直，并具有从所述治具基准面朝着所述立体照相机所配置的空间的朝向，所述治具基准面是所述N个平面中的一个平面，所述非基准法线向量与所述N个平面中的不同于所述治具基准面的非基准平面垂直，并具有从所述非基准平面朝着所述立体照相机所配置的空间的朝向，

-90°＜θ＜90°…(1)

θ≠0…(2)

与所述N个平面中的N-1个所述非基准平面对应的所述非基准法线向量相对于所述基准法线向量具有相互不同的朝向，并且彼此不具有相对于所述基准法线向量对称的朝向。

根据本公开的又一方面，提供一种用于校准将根据使用立体照相机得到的图像确定的位置与三维空间中的位置建立关联的参数的校准方法。所述校准方法具备：(a)将治具配置在预定的位置的工序，在将N设为4以上的整数时，所述治具包括附带图案的N个平面，非基准法线向量相对于基准法线向量所成的角度θ满足以下的式(1)及式(2)，所述基准法线向量与治具基准面垂直，并具有从所述治具基准面朝着所述立体照相机所配置的空间的朝向，所述治具基准面是所述N个平面中的一个平面，所述非基准法线向量与所述N个平面中的不同于所述治具基准面的非基准平面垂直，并具有从所述非基准平面朝着所述立体照相机所配置的空间的朝向，

-90°＜θ＜90°…(1)

θ≠0…(2)

与所述N个平面中的N-1个所述非基准平面对应的所述非基准法线向量相对于所述基准法线向量具有相互不同的朝向，并且彼此不具有相对于所述基准法线向量对称的朝向；(b)通过所述立体照相机对所述治具进行拍摄的工序；以及(c)基于通过所述立体照相机得到的各所述平面的图案的图像和所述预定的位置确定将根据使用所述立体照相机得到的图像确定的位置与基于所述预定的位置得到的位置建立关联的参数并进行保存的工序。

附图说明

图1是示出第一实施方式的机器人系统1的框图。

图2是示出机器人100和治具400的说明图。

图3是示出治具400的主视图。

图4是从平面440、450侧沿第一方向D1观察治具400时的侧视图。

图5是从平面420侧沿第二方向D2观察治具400时的侧视图。

图6是示出对参数CP进行校准的处理的流程图。

图7是示出治具400B的立体图。

图8是示出变形例的标记F1的俯视图。

图9是示出变形例的标记F2的俯视图。

图10是示出变形例的标记F3的俯视图。

图11是示出由多个处理器构成机器人的控制装置的一例的概念图。

图12是示出由多个处理器构成机器人的控制装置的其它例的概念图。

附图标记说明

1 机器人系统 25 控制部

100 机器人 110 基台

120 躯干部 130 肩部

140 颈部 150 头部

160L 臂 160R 臂

170 立体照相机 170L、170R 照相机

175 立体照相机 175L、175R 照相机

180L、180R 末端执行器 200 动作控制装置

210 处理器 220 主存储器

230 非易失性存储器 240 显示控制部

250 显示部 260 I/O接口

300 示教装置 310 处理器

320 主存储器 330 非易失性存储器

340 显示控制部 350 显示部

360 I/O接口 400、400B 治具

410 治具基准面(平面) 410B 治具基准面(平面)

420～470 平面 420B～470B 平面

500 作业台 700、710 个人计算机

800 云服务 D1 第一方向

D2 第二方向 F1 标记

F11 区域 F12 圆环

F13 区域 F14 圆环

F2 标记 F21 圆

F22 区域 F23 圆环

F3 标记 F31 正五边形

F32 区域 F33 区域

L1、L3 与第一方向D1平行的边 L1B 与第一方向D1平行的边

L2、L4 与第二方向D2平行的边 L2B 与第二方向D2平行的边

Ln1 基准法线 Ln1B 基准法线

Ln2～Ln7 法线 Ln2B～Ln7B 法线

Lo2、Lo6、Lo7 边 MK 标记

P1～P4 作业台500上的位置 PN1～PN7 图案

PN1B～PN7B 图案 RC 机器人坐标系

RX 角度位置 RY 角度位置

RZ 角度位置 θ2～θ7 法线Ln2～Ln7相对于基准法线Ln1的角度

V1 规定基准法线 Ln1 的朝向的基准法线向量

V2～V7 规定法线 Ln2～Ln7 的朝向的非基准法线向量。

具体实施方式

A.第一实施方式

图1是示出第一实施方式的机器人系统1的框图。第一实施方式的机器人系统1具备机器人100、动作控制装置200、示教装置300和治具(jig)400。机器人100由动作控制装置200控制而进行动作。动作控制装置200对机器人100进行控制，在机器人100中实现由示教装置300示教的动作。在本说明书中，也将动作控制装置200和示教装置300统称为控制部25。治具400被用于校准将根据使用机器人100具备的立体照相机得到的图像确定的位置与三维空间中的位置建立关联的参数CP。参数CP保存在动作控制装置200中。

参数CP包括外部参数和内部参数。外部参数表示照相机的外部的坐标系与照相机的坐标系的关系。外部参数也表示构成立体照相机的两个照相机的坐标系的关系。内部参数表示照相机的光学中心和焦距。通过参数CP，能够将根据使用立体照相机得到的图像确定的位置转换为三维空间中的位置。

图2是示出机器人100和治具400的说明图。机器人100具备基台110、躯干部120、肩部130、颈部140、头部150和两个臂160L、160R。在设置机器人100时，将基台110配置在设置场所的地板上。基台110与躯干部120连接，支承躯干部120。躯干部120与肩部130连接，支承肩部130。

头部150经由颈部140与肩部130连接。头部150具备照相机170L、170R、175L、175R。照相机170L、170R在头部150中配置在左右对称的位置，构成一组立体照相机170。照相机175L、175R在头部150中配置在左右对称的位置，构成一组立体照相机175。两组立体照相机170、175能够分别对机器人100的作业区域进行拍摄。立体照相机175是用于拍摄比立体照相机170的拍摄范围窄的范围的立体照相机。立体照相机175的视角包含在立体照相机170的视角中。

臂160L、160R与肩部130连接。臂160L、160R是所谓的六轴机械臂。在臂160L的前端安装有末端执行器180L。在臂160R的前端安装有末端执行器180R。臂160L被动作控制装置200控制，能够将末端执行器180L以任意的朝向配置在作业空间内的任意位置。臂160R被动作控制装置200控制，能够将末端执行器180R以任意的朝向配置在作业空间内的任意位置。末端执行器180L、180R能够对作业目标物进行预定的处理。

作业台500是载置机器人100进行作业的目标物的台座。作业台500的上表面与机器人坐标系RC的XY平面平行。为了使技术理解容易，在图1中用虚线示出作业台500。

在本实施方式中，将以机器人100的基台110的位置为基准，规定设置有机器人100的空间的坐标系表述为机器人坐标系RC。机器人坐标系RC是由在水平面上相互正交的X轴和Y轴以及将竖直向上作为正方向的Z轴规定的三维正交坐标系。在本说明书中，在简称为“X轴”的情况下，表示机器人坐标系RC中的X轴。在简称为“Y轴”的情况下，表示机器人坐标系RC中的Y轴。在简称为“Z轴”的情况下，表示机器人坐标系RC中的Z轴。机器人坐标系RC中的任意位置都能够由X轴方向的位置DX、Y轴方向的位置DY和Z轴方向的位置DZ确定。

在本实施方式中，通过角度位置RX表示绕X轴的旋转位置。通过角度位置RY表示绕Y轴的旋转位置。通过角度位置RZ表示绕Z轴的旋转位置。机器人坐标系RC中的任意姿势能够通过绕X轴的角度位置RX、绕Y轴的角度位置RY、绕Z轴的角度位置RZ表现。在本说明书中，在表述为“位置”的情况下，除了狭义的位置之外，也意指姿势。

治具400配置在机器人100进行作业的作业空间内的多个场所，由立体照相机170、175进行拍摄，用于对参数CP进行校准。在本实施方式中，治具400配置在作业台500上的预定的位置P1～P4，由立体照相机170、175进行拍摄。作业台500上的位置P1～P4是包含在立体照相机175的视角、即拍摄范围内的位置。作业台500上的位置P1～P4的坐标在机器人坐标系RC中是已知的。

立体照相机175的视角包含在立体照相机170的视角中。因此，作业台500上的位置P1～P4是位于包含于立体照相机170、175两者的视角、即拍摄范围的范围内的位置。将立体照相机175的视角投影在作业台500上时的形状是四边形。位置P1～P4位于该作业台500上的四边形的拍摄范围的四个顶点附近。通过采用这种方式，能够在拍摄范围内的更广的区域对参数CP进行校准，以便能够基于照相机的图像准确地确定位置。

如图1所示，动作控制装置200是具备处理器210、主存储器220、非易失性存储器230、显示控制部240、显示部250和I/O接口260的计算机。这些各部经由总线连接。处理器210例如是微处理器或处理器电路。动作控制装置200经由I/O接口260与机器人100连接。在动作控制装置200中安装有用于进行机器人100的控制的控制程序。在动作控制装置200中，这些硬件资源与控制程序协同工作。

示教装置300是具备处理器310、主存储器320、非易失性存储器330、显示控制部340、显示部350和I/O接口360的计算机。这些各部经由总线连接。处理器310例如是微处理器或处理器电路。示教装置300经由I/O接口360与动作控制装置200连接。在示教装置300中安装有用于向动作控制装置200示教目标位置的示教程序。在示教装置300中，这些硬件资源与示教程序协同工作。

图3是示出治具400的主视图。治具400包括分别附带图案PN1～PN7的7个平面410～470。在平面410～470中，也将平面410称为治具基准面410。治具基准面410是在治具400被配置在作业台500上的位置P1～P4并由立体照相机170、175进行拍摄时配置成与机器人坐标系的XY平面平行的平面。示教装置300的处理器310基于通过立体照相机170、175得到的图像中的治具基准面410的图案，能够确定治具基准面410在机器人坐标系中的位置及朝向。

治具基准面410具有具备沿第一方向D1的边L1、L3和沿第二方向D2的边L2、L4的长方形的外形。治具基准面410上附带的图案PN1包括沿第一方向D1和相对于第一方向D1垂直的第二方向D2等间隔配置的多个标记MK。各标记MK是带有与标记MK以外的部分不同的颜色的圆圈。沿第一方向D1配置的标记MK的数量与沿第二方向D2配置的标记MK的数量不同。更具体地，沿第一方向D1配置的标记MK的数量是7个，沿第二方向D2配置的标记MK的数量是9个。即，多个标记MK配置成9行×7列的矩阵状。

通过治具基准面410具备等间隔地排列配置成奇数个×奇数个的标记MK，从而用户能够容易地掌握治具基准面410的中心。

其它平面420～470也分别具有与治具基准面410相同的构成。治具基准面410在边L1处与平面420连接。治具基准面410在边L3处与平面430连接。治具基准面410在边L2处与平面440、450连接。治具基准面410在边L4处与平面460、470连接。需要指出，在本说明书中，“平面A在边X处与其它平面B连接”的意思是指，具有边X的面A与具有边Y的其它面B以边X与边Y平行的方式相互连接。

通过这样配置各平面410～470，相比7个平面并排配置成一列的方式、7个平面在互相垂直的两个方向上配置成两列、且配置在该两列中的平面通过位于各个列的端部的治具基准面410连接的方式，能够缩小治具400的外形的最大尺寸。结果，治具400的处理变容易。

图4是从平面440、450侧沿第一方向D1观察治具400时的侧视图。图5是从平面420侧沿第二方向D2观察治具400时的侧视图。不过，为了使技术理解容易，在图5中省略了平面420。另外，为了使技术理解容易，在图4及图5中，对于将平面420～470固定于治具基准面410的结构省略了图示。需要指出，图4及图5并没有表示各部的准确的尺寸。

平面420～470的法线Ln2～Ln7相对于基准法线Ln1具有相互不同的角度θ2～θ7。平面420～470以各自的法线Ln2～Ln7相对于治具基准面410的法线即基准法线Ln1所成的角度θ2～θ7均满足以下的式(1)及式(2)的方式固定于治具基准面410。平面420～470的法线Ln2～Ln7相对于基准法线Ln1相互不对称。

-90°＜θ＜90°…(1)

θ≠0…(2)

其中，θ是θ2～θ7。

需要指出，在本说明书中，平面B的法线B相对于平面A的法线A所成的角度表示，与平面A垂直且具有从平面A朝着平面A中附带图案的一侧的空间的朝向的法线向量A和与平面B垂直且具有从平面B朝着平面B中附带图案的一侧的空间的朝向的法线向量B所成的角度。另外，从平面A朝着平面A中附带图案的一侧的空间是指，在用将平面A延长而得的平面分割包括平面A的三维空间时，相对于平面A配置有所述立体照相机170、175一侧的空间。

另外，直线A与直线B相对于直线C“对称”的意思是指，在将直线A与直线B分别平行移动至与直线C上的同一点交叉时，直线A、直线B和直线C位于同一平面内，且直线A相对于直线C所成的角与直线B相对于直线C所成的角相等。直线A与直线B相对于直线C“不对称”的意思是指，即使将直线A和直线B中的一方或双方平行移动也无法相对于直线C取得那样的关系。

与平面420～470对应的法线向量V2～V7相对于治具基准面410的基准法线向量V1具有相互不同的朝向，并且彼此不具有相对于基准法线向量V1对称的朝向(参照图4及图5)。

相对于治具400，在各平面420～470中附带图案PN2～PN7的一侧，其法线Ln2～Ln7与治具基准面410的法线Ln1相交时(参照图4及图5)，各法线Ln2～Ln7相对于基准法线Ln1所成的角度θ2～θ7取正值。相对于治具400，在各平面420～470中附带图案PN2～PN7的一侧的相反侧，其法线Ln2～Ln7与治具基准面410的法线Ln1相交时，各法线Ln2～Ln7相对于基准法线Ln1所成的角度θ2～θ7取负值。

由于满足式(1)，所以平面420～470所附带的图案能够从与治具基准面410正对的朝向进行拍摄。因此，能够以一次拍摄对全部平面410～470进行拍摄。

由于满足式(2)，所以平面420～470与治具基准面410不平行。因此，平面420～470在通过照相机拍摄到的图像中能够提供与治具基准面410不同的信息。另外，平面420～470的法线Ln2～Ln7彼此相对于基准法线Ln1不对称。因此，平面420～470在通过照相机拍摄到的图像中能够提供相互不同的信息。

在第一实施方式中，各法线Ln2～Ln7相对于基准法线Ln1所成的角度θ2～θ7比0大且比90°小。在第一实施方式中，θ2～θ7具体为10°～20°的角度。

图6是示出对参数CP进行校准的处理的流程图。图6的处理在制得机器人100和动作控制装置200后且将它们从工厂出货之前执行。需要指出，在机器人100和动作控制装置200被出货并被设置在进行使用的场所之后，也能够再次执行图6的处理。

在步骤S100中，用户在作业台500上的位置P1～P4中的任一个位置配置治具400。此时，相对于在步骤S200中进行拍摄的立体照相机所配置的地点，以能够通过立体照相机拍摄平面410～470的朝向配置治具400。以治具基准面410与机器人坐标系的XY平面平行的朝向配置治具400。

作业台500上的位置P1～P4的坐标在机器人坐标系RC中是已知的。此外，平面420～470相对于治具基准面410的相对位置及相对角度也是已知的。因此，在机器人坐标系RC中，平面410～470的位置及朝向是已知的。

在步骤S200中，用户利用进行参数CP的校准的对象即立体照相机对治具400进行拍摄。用户例如用立体照相机170对治具400进行拍摄。作为步骤S200的处理结果，相对于立体照相机170具有相互不同的朝向的7个平面410～470的图案PN1～PN7被拍摄。

在步骤S300中，进行校准将根据使用立体照相机得到的图像确定的位置与三维空间中的位置建立关联的参数CP的处理。更具体地，示教装置300的处理器310首先进行图像识别，基于通过立体照相机得到的包括标记MK的图案PN1～PN7的图像，确定包括多个标记MK的平面410～470的位置及朝向。

在平面410～470中，在纵向上排列的标记MK的数量与在横向上排列的标记MK的数量不同。因此，示教装置300的处理器310能够基于在各平面内沿互相垂直的两个方向排列的标记MK的数量，而不基于各个标记的形状，并且不依赖于来自用户的输入，来确定各平面410～470的朝向。

此外，能够基于在各平面内沿互相垂直的两个方向排列的标记MK的间隔的应变(日语表述：ひずみ)情况，而不基于各个标记的形状，来确定各平面410～470的法线Ln1～Ln7的朝向。各平面410～470的位置能够基于通过立体照相机得到的图像内的各平面410～470的图像的位置确定。

在步骤S300中，进行将根据使用立体照相机得到的图像确定的平面410～470的位置与三维空间中的机器人坐标系RC的位置建立关联的参数CP的校准。校准后的参数CP通过示教装置300的处理器310保存在示教装置300的主存储器320及动作控制装置200的非易失性存储器230中。

由于治具400具备上述这样的结构，因此在三维空间中，能够将治具400配置成使得相对于立体照相机所配置的地点具有独立的角度的7个平面能够由立体照相机一次拍摄(参照图6的S100)。因此，能够高效地进行将根据使用立体照相机得到的图像确定的位置与三维空间中的位置建立关联的参数CP的校准。与此相对地，在立方体的治具中，由于能够同时拍摄的面是3面，因此为了得到足以进行参数CP的校准的信息，有必要改变治具的朝向来进行多次拍摄。因此，无法高效地进行参数CP的校准。

需要指出，这里为了使技术理解容易，对在位置P1～P4中的一个位置配置治具来执行步骤S100～S300进行了说明。但是，也可以在位置P1～P4的位置执行了步骤S100、S200的处理后，进行步骤S300的处理。

此外，这里为了使技术理解容易，对使用一个立体照相机170执行步骤S100～S300进行了说明。可以在像这样地针对立体照相机170确定了参数CP之后，通过使用立体照相机175执行步骤S100～S300而针对立体照相机175确定参数CP。需要指出，也可以使用立体照相机170、175进行步骤S100、S200的处理，之后进行步骤S300的处理。

在本实施方式中，也将规定基准法线Ln1的朝向的向量V1称为“基准法线向量”。也将其它平面420～470称为“非基准平面”。也将规定法线Ln2～Ln7的朝向的向量V2～V7称为“非基准法线向量”。也将边L1、L3称为“第一边”。也将边L2、L4称为“第二边”。

B.第二实施方式

在第一实施方式中，治具400的平面420～470以其法线Ln2～Ln7在各平面420～470中附带图案PN1～PN7的一侧与治具基准面410的法线Ln1相交的朝向配置于治具400(参照图3～图5)。但是，在第二实施方式中，治具具备的治具基准面以外的各面相对于治具基准面以与第一实施方式不同的朝向进行配置。第二实施方式的机器人系统的其它方面与第一实施方式的机器人系统相同。

图7是示出治具400B的立体图。治具400B包括分别附带图案PN1B～PN7B的7个平面410B～470B。在平面410B～470B中，也将平面410B称为治具基准面410B。治具基准面410B的结构与治具基准面410(参照图2)相同。治具基准面410B在外形的各边L1B～L4B处与其它平面420B～470B连接。

治具400B的平面420B～470B以其法线Ln2B～Ln7B在各平面420B～470B中附带图案PN1B～PN7B的一侧的相反侧与治具基准面410B的基准法线Ln1B相交的朝向配置在治具400B中。结果，在第二实施方式中，各法线Ln2B～Ln7B相对于基准法线Ln1B所成的角比0小且比-90°大。在图7中，为了使技术理解容易，仅示出平面410B、420B、460B、470B的法线Ln1B、Ln2B、Ln6B、Ln7B。在第二实施方式中，θ2～θ7具体为-20°～-40°的角度。

其它平面420B～470B分别具有梯形或长方形的外形。平面420B～470B分别具备沿第一方向D1和第二方向D2以及与第一方向D1或第二方向D2垂直的方向排列的多个标记MK，其中，第一方向D1和第二方向D2沿着治具基准面410B的两边。在各平面410B～470B中，标记MK的大小不同。在各平面410B～470B中，沿第一方向D1和第二方向D2排列的标记MK的数量与沿垂直于第一方向D1和第二方向D2的方向排列的标记MK的数量不同。

在平面420B～470B的平行的两边中，离治具基准面410B较远的边Lo2～Lo7位于共同的一个平面内。结果，治具400B能够以平面420B～470B的边Lo2～Lo7朝下的方式稳定地配置在作业台500上。在图7中，为了使技术理解容易，仅示出平面420B、460B、470B的边Lo2B、Lo6、Lo7。

作为这样的方式，在图6的步骤S100中，用户也能够相对于在步骤S200中进行拍摄的立体照相机所配置的地点，将治具400B配置于作业台500上的位置P1～P4，以便平面410B～470B能够由立体照相机一次拍摄。其结果，能够高效地进行将根据使用立体照相机得到的图像确定的位置与三维空间中的位置建立关联的参数CP的校准。

在本实施方式中，也将规定基准法线Ln1B的朝向的向量V1B称为“基准法线向量”。也将其它平面420B～470B称为“非基准平面”。也将规定法线Ln2B～Ln7B的朝向的向量V2B～V7B称为“非基准法线向量”。也将沿第一方向D1的边L1B、L3B称为“第一边”。也将沿第二方向D2的边L2B、L4B称为“第二边”。

C.标记的形状的变形例

在第一及第二实施方式中，标记MK是带有与标记MK以外的部分不同的颜色的圆圈。但是，标记的形状也能够采用其它方式。

图8是示出变形例的标记F1的俯视图。标记F1由共享中心的大小两个圆环F12、F14构成。圆环F12、F14具有与圆环F14外侧的区域不同的同一种颜色。圆环F12内的区域F11以及圆环F12与圆环F14之间的区域F13具有与圆环F14外侧的区域相同的颜色。

图9是示出变形例的标记F2的俯视图。标记F2由圆F21以及与圆F21共享中心且包围圆F21的圆环F23构成。圆F21和圆环F23具有与圆环F23外侧的区域不同的同一种颜色。圆F21与圆环F23之间的区域F22具有与圆环F23外侧的区域相同的颜色。

根据标记F1、F2，相比第一实施方式的标记MK，能够通过图像识别更准确地确定各标记的中心点。

图10是示出变形例的标记F3的俯视图。标记F3由正五边形的区域F31以及与区域F31共享中心且包围区域F31的宽度大致一定的区域F33构成。区域F31和区域F33具有与区域F33外侧的区域不同的同一种颜色。正五边形的区域F31与区域F33之间的区域F32具有与区域F33外侧的区域相同的颜色。

根据标记F3，通过图像识别，能够确定各标记的朝向。因此，在平面的图案中标记以纵横数量相同的方式进行排列的方式中，示教装置300的处理器310也能够确定平面的朝向。

D.机器人系统的变形例

(1)图11是示出由多个处理器构成机器人的控制装置的一例的概念图。在该例中，除了机器人100及其动作控制装置200之外，还画出了个人计算机700、710和通过LAN等网络环境提供的云服务800。个人计算机700、710分别包括处理器和存储器。此外，在云服务800中也能够利用处理器和存储器。处理器执行计算机可执行的命令。利用这多个处理器的一部分或全部，能够实现包括动作控制装置200及示教装置300的控制部25。此外，存储各种信息的存储部也能够利用这多个存储器的一部分或全部来实现。

(2)图12是示出由多个处理器构成机器人的控制装置的其它例子的概念图。在该例中，机器人100的动作控制装置200被容纳在机器人100中这一点与图11不同。在该例中，也能够利用多个处理器的一部分或全部来实现包括动作控制装置200及示教装置300的控制部25。此外，存储各种信息的存储部也能够利用多个存储器的一部分或全部来实现。

E.其它方式

E1.其它方式1

(1)在上述第一实施方式中，标记MK的形状是圆圈(参照图3的PN1)。但是，治具的各平面附带的标记也可以是其它形状(参照图8～图10)。标记只要是以与标记周围的区域不同的颜色形成的区域即可。不过，优选治具的各平面附带的标记是能够求得其重心的形状。标记在治具的各平面附带的图案中既可以以相同的朝向进行配置，也可以以多个不同的朝向进行配置。

(2)在上述第一实施方式中，多个标记MK沿第一方向D1及第二方向D2等间隔地配置。但是，多个标记沿第一方向D1的间隔与沿第二方向D2的间隔也可以不同。此外，沿相同方向配置的多个标记的间隔也可以不同。

(3)在上述第一实施方式中，在各平面上配置的图案是相同的。但是，在各平面上配置的图案也可以有至少一部分包括不同的图案。

(4)在上述第一实施方式中，治具400包括7个平面410～470(参照图3及图7)。但是，治具具有的平面也可以是4个、5个、8个等其它数量。不过，治具具有的平面优选是4个以上，更优选是6个以上，进一步优选是7个以上。根据治具具有的平面为4个以上的方式，能够通过一次拍摄确定内部参数以外的参数CP。根据治具具有的平面为6个以上的方式，能够通过一次拍摄确定包括内部参数的全部参数CP。此外，根据治具具有的平面为7个以上的方式，能够使所确定的参数的精度更高。

(5)在上述第一实施方式中，治具400的平面420～470相对于治具基准面410，以在各平面420～470中附带图案PN1～PN7的一侧，其法线Ln2～Ln7与治具基准面410的法线Ln1相交的朝向进行配置(参照图3～图5)。在第二实施方式中，治具400B的平面410B～470B相对于治具基准面410B，以在各平面420B～470B中附带图案PN1B～PN7B的一侧的相反侧，其法线Ln2B～Ln7B与治具基准面410B的法线Ln1B相交的朝向进行配置(参照图7)。

但是，也可以是：相对于治具基准面以不同的朝向配置的其它面的一部分以其法线在附带图案的一侧与治具基准面的基准法线相交的朝向进行配置，其它面的另一部分以其法线在附带图案的一侧的相反侧与治具基准面的基准法线相交的朝向进行配置。

(6)在上述第一实施方式中，对在作业台500上的已知位置P1～P4配置治具400来进行治具400的拍摄及参数的校准处理进行了说明(参照图1及图6)。但是，治具的配置及拍摄也可以通过其它方法进行。

例如，也可以是如下方式：通过配置在机器人100的臂160L、160R前端的末端执行器中的一方或双方保持治具400，并将其配置在作业空间内的一个以上的位置，来进行治具400的拍摄及参数的校准处理。在这样的方式中，基于臂160L、160R的关节的角度位置，也能够确定机器人坐标系RC中的治具400的位置及朝向。因此，根据这样的方式，也能够校准将根据使用立体照相机170、175拍摄得到的图像确定的位置与三维空间中的位置建立关联的参数CP。如果采用这样的方式，能够准确地校准将表示臂的关节的角度位置的参数的组合与根据使用立体照相机得到的图像确定的位置建立关联的参数。

(7)在上述实施方式中，治具基准面410、410B在对治具400、400B进行拍摄时，与机器人坐标系RC的XY平面平行地配置(参照图2及图7)。但是，治具基准面在治具拍摄时也可以不配置成与三维空间的坐标系的XY平面平行。治具基准面在治具拍摄时能够以任意的朝向配置。

(8)在上述第一实施方式中，对在位置P1～P4配置治具400来进行治具400的拍摄及参数的校准处理进行了说明(参照图1及图6)。但是，配置治具的场所的数量可以是一处、三处等其它数量。不过，优选在作业空间内的多处配置治具进行拍摄，来进行参数的校准。通过进行这样的处理，能够在作业空间内的更多的场所对参数进行校准，以便能够基于照相机准确地进行确定。

(9)在上述第一实施方式中，位置P1～P4位于其作业台500上的四边形的拍摄范围的4个顶点附近。但是，配置治具的位置也可以是其它位置。不过，配置治具以用于拍摄的位置优选包括位于立体照相机的拍摄范围的端部附近的位置。例如，配置治具以用于拍摄的位置优选包括隔着立体照相机的拍摄范围的中心点配置在相反侧的一个以上的组的位置。通过采用这样的方式，能够在作业空间内的更广的区域对参数进行校准，以便能够基于照相机准确地进行确定。此外，配置治具以用于拍摄的位置优选包括进行机器人作业的可能性高的位置。通过采用这样的方式，能够对参数进行校准，以便在实际进行作业的场所准确地确定位置。

(10)在上述第一实施方式中，治具400由立体照相机170或立体照相机175进行拍摄(参照图2及图6的S200)。但是，也可以是如下方式：机器人100的臂160L、160R上分别具备照相机，在图6的S200中，通过这些照相机中的一方或双方对治具进行拍摄。在这样的方式中，也能够基于安装有照相机的臂160L、160R的关节的角度位置，确定照相机坐标系。因此，根据这样的方式，也能够校准将根据使用照相机拍摄得到的图像确定的位置与三维空间中的位置建立关联的参数。

需要指出，在通过设置于机器人100的臂160L、160R的照相机双方来对治具进行拍摄的方式中，优选将基于通过各个照相机得到的图像的结果进行比较，以使双方的结果的偏差最小的方式来确定参数。

(11)在上述第一实施方式中，为了使技术理解容易，对进行一次图6的处理进行了说明。但是，也可以采用进行多次图6的处理来确定参数的方式。通过进行这样的处理，能够提高所得到的参数的精度。

E2.其它方式2

(1)在上述第一实施方式中，在治具400具有的全部平面410～470中，沿第一方向D1配置的标记MK的数量与沿第二方向D2配置的标记MK的数量不同。但是，在治具具有的一部分平面中，沿第一方向D1配置的标记MK的数量与沿第二方向D2配置的标记MK的数量也可以相同。

(2)在上述第一实施方式中，在治具400具有的全部平面410～470中，图案PN1～PN7包括沿第一方向D1和第二方向D2配置的多个标记。但是，在治具具有的一部分平面中，也可以采用不包括那样的标记的方式。例如，在治具具有的一部分平面中，也可以设置有包括被配置成放射状的多个标记的图案。

E3.其它方式3

在上述第一实施方式中，治具基准面410包括多个标记MK，并具有具备沿第一方向D1的边L1和沿第二方向D2的边L2的长方形的外形(参照图3)。但是，治具基准面410也可以采用不包括多个标记MK的方式。配置在平面上的图案例如也可以是包括连续的一个图案的方式。此外，治具基准面410也可以具有五边形、六边形等长方形以外的外形。

E4.其它方式4

在上述第一实施方式中，治具400在与具有长方形的外形的治具基准面410的各边并排的位置配置有其它平面420～470(参照图3～图5)。在第二实施方式的治具400B中也是同样(参照图7)。但是，治具具有的各平面例如也可以配置成一列。

E5.其它方式5

在上述第一实施方式中，治具400在与具有长方形的外形的治具基准面410的各边并排的位置配置有其它平面420～470(参照图3～图5)。在第二实施方式的治具400B中也是同样(参照图7)。但是，治具具有的各平面例如也可以采用分别配置成一列的多个平面在各列的端部处互相连接的方式。

F.进一步的其它方式

本公开不局限于上述实施方式，在不脱离其宗旨的范围内，可以以各种方式实现。例如，本公开也可以通过以下方式来实现。为了解决本发明的技术问题的一部分或全部、或者为了达到本发明的效果的一部分或全部，以下记载的各方式中的技术特征所对应的上述实施方式中的技术特征可以适当地进行替换、组合。此外，该技术特征只要是在本说明书中未作为必要特征进行说明，则可以适当地进行删除。

(1)根据本公开的一方式，提供一种用于校准将根据使用立体照相机得到的图像确定的位置与三维空间中的位置建立关联的参数的治具。在将N设为4以上的整数时，该治具包括附带图案的N个平面，非基准法线向量相对于基准法线向量所成的角度θ满足以下的式(1)及式(2)，所述基准法线向量与所述N个平面中的一个平面即治具基准面垂直，并具有从所述治具基准面朝着所述立体照相机所配置的空间的朝向，所述非基准法线向量与所述N个平面中的不同于所述治具基准面的非基准平面垂直，并具有从所述非基准平面朝着所述立体照相机所配置的空间的朝向，

-90°＜θ＜90°…(1)

θ≠0…(2)

与所述N个平面中的N-1个所述非基准平面对应的所述非基准法线向量相对于所述基准法线向量具有相互不同的朝向，并且彼此不具有相对于所述基准法线向量对称的朝向。

通过采用这样的方式，在三维空间中，能够将治具配置成使得相对于配置有立体照相机的地点具有独立的角度的4个以上的平面能由立体照相机进行拍摄。因此，相比立方体的治具，能够更高效地进行将根据使用立体照相机得到的图像确定的位置与三维空间中的位置建立关联的参数的校准。

(2)在上述方式的治具中，也可以采用以下方式：在所述N个平面中的一个以上的平面中，所述图案包括沿第一方向和相对于所述第一方向垂直的第二方向配置的矩阵状的多个标记，沿所述第一方向配置的所述标记的数量与沿所述第二方向配置的所述标记的数量不同。

通过采用这样的方式，基于对治具进行拍摄而得到的图像进行图像识别，从而能够不基于标记的形状来确定包括多个标记的平面的朝向。因此，能够高效地进行校准。

(3)在上述方式的治具中，也可以采用以下方式：所述治具基准面包括所述多个标记，并具有具备沿所述第一方向的第一边和沿所述第二方向的第二边的长方形的外形。

通过采用这样的方式，在三维空间内配置治具时，用户能够容易地使第一方向和第二方向中的一方与希望方向一致，并使第一方向和第二方向中的另一方与垂直于希望方向的方向一致。因此，能够高效地进行校准。

(4)在上述方式的治具中，也可以采用以下方式：所述治具基准面在所述第一边处与一个以上的所述非基准平面连接，并在所述第二边处与未与所述第一边连接的一个以上的所述非基准平面连接。

通过采用这样的方式，相比N个平面配置成一列的方式，能够缩小治具的外形的最大尺寸，使治具的处理变得容易。

在上述方式的治具中，也可以采用以下方式：所述治具基准面在沿所述第一方向的两边处与所述其它平面中的一个以上的平面连接，并在沿所述第二方向的两边处与所述其它平面中的另外的一个以上的平面连接。

通过采用这样的方式，相比N个平面在互相垂直的两个方向上配置成两列、且配置在该两列中的平面通过位于各个列的端部的治具基准面连接的方式，能够缩小包含在其它平面中的各平面与治具基准面的距离。因此，能够更准确地进行校准。

(5)根据本公开的其它方式，提供一种机器人系统。该机器人系统包括：处理目标物的臂、对所述目标物进行拍摄的立体照相机、基于通过所述立体照相机得到的图像对所述臂进行控制的控制部、以及用于校准将根据使用所述立体照相机得到的图像确定的位置与三维空间中的位置建立关联的参数的治具。在将N设为4以上的整数时，所述治具包括附带图案的N个平面，非基准法线向量相对于基准法线向量所成的角度θ满足以下的式(1)及式(2)，所述基准法线向量与所述N个平面中的一个平面即治具基准面垂直，并具有从所述治具基准面朝着所述立体照相机所配置的空间的朝向，所述非基准法线向量与所述N个平面中的不同于所述治具基准面的非基准平面垂直，并具有从所述非基准平面朝着所述立体照相机所配置的空间的朝向，

-90°＜θ＜90°…(1)

θ≠0…(2)

与所述N个平面中的N-1个所述非基准平面对应的所述非基准法线向量相对于所述基准法线向量具有相互不同的朝向，并且彼此不具有相对于所述基准法线向量对称的朝向。

(6)在上述方式的机器人系统中，也可以采用以下方式：在所述N个平面中的一个以上的平面中，所述图案包括沿第一方向和相对于所述第一方向垂直的第二方向配置的矩阵状的多个标记，沿所述第一方向配置的所述标记的数量与沿所述第二方向配置的所述标记的数量不同。

(7)根据本公开的其它方式，提供一种校准将根据使用立体照相机得到的图像确定的位置与三维空间中的位置建立关联的参数的方法。该方法具备：

(a)将治具配置在预定的位置的工序，在将N设为4以上的整数时，所述治具包括附带图案的N个平面，非基准法线向量相对于基准法线向量所成的角度θ满足以下的式(1)及式(2)，所述基准法线向量与所述N个平面中的一个平面即治具基准面垂直，并具有从所述治具基准面朝着所述立体照相机所配置的空间的朝向，所述非基准法线向量与所述N个平面中的不同于所述治具基准面的非基准平面垂直，并具有从所述非基准平面朝着所述立体照相机所配置的空间的朝向，

-90°＜θ＜90°…(1)

θ≠0…(2)

与所述N个平面中的N-1个所述非基准平面对应的所述非基准法线向量相对于所述基准法线向量具有相互不同的朝向，并且彼此不具有相对于所述基准法线向量对称的朝向；

(b)通过所述立体照相机对所述治具进行拍摄的工序；以及

(c)基于通过所述立体照相机得到的所述各平面的图案的图像和所述预定的位置确定将根据使用所述立体照相机得到的图像确定的位置与基于所述预定的位置得到的位置建立关联的参数并进行保存的工序。

(8)在上述方式的校准方法中，也可以采用以下方式：在所述N个平面中的一个以上的平面中，所述图案包括沿第一方向和相对于所述第一方向垂直的第二方向配置的矩阵状的多个标记，沿所述第一方向配置的所述标记的数量与沿所述第二方向配置的所述标记的数量不同，所述工序(c)包括基于通过所述立体照相机得到的包括所述标记的所述图案的图像来确定包括所述多个标记的所述平面的朝向的工序。

通过采用这样的方式，能够不基于标记的形状来确定包括多个标记的平面的朝向。因此，能够高效地进行校准。

本公开也可以以机器人系统、机器人的校准治具、机器人的校准方法以外的各种方式实现。例如，能够以实现治具的制造方法、校准方法的计算机程序、记录有该计算机程序的非暂时性的记录介质等方式实现。

上述本公开的各方式所具有的多个构成要素并非全部都是必须的，为了解决上述技术问题的一部分或全部，或者为了达到本说明书中记载的效果的一部分或全部，针对上述多个构成要素中的一部分构成要素，可以适当地进行其变更、删除、与新的其它构成要素替换、删除限定内容的一部分。此外，为了解决上述技术问题的一部分或全部，或者为了达到本说明书中记载的效果的一部分或全部，也可以将上述本公开的一方式中包含的技术特征的一部分或全部与上述本公开的其它方式中包含的技术特征的一部分或全部组合而形成本公开的独立的一方式。

Claims (8)

1.一种治具，其特征在于，用于校准将根据使用立体照相机得到的图像确定的位置与三维空间中的位置建立关联的参数，

在将N设为4以上的整数时，所述治具包括附带图案的N个平面，

非基准法线向量相对于基准法线向量所成的角度θ满足以下的式(1)及式(2)，所述基准法线向量与治具基准面垂直，并具有从所述治具基准面朝着所述立体照相机所配置的空间的朝向，所述治具基准面是所述N个平面中的一个平面，所述非基准法线向量与所述N个平面中的不同于所述治具基准面的非基准平面垂直，并具有从所述非基准平面朝着所述立体照相机所配置的空间的朝向，

-90°＜θ＜90°…(1)

θ≠0…(2)

与所述N个平面中的N-1个所述非基准平面对应的所述非基准法线向量相对于所述基准法线向量具有相互不同的朝向，并且彼此不具有相对于所述基准法线向量对称的朝向。

2.根据权利要求1所述的治具，其特征在于，

在所述N个平面中的一个以上的平面中，所述图案包括沿第一方向和相对于所述第一方向垂直的第二方向配置的矩阵状的多个标记，沿所述第一方向配置的所述标记的数量与沿所述第二方向配置的所述标记的数量不同。

3.根据权利要求2所述的治具，其特征在于，

所述治具基准面包括所述多个标记，并具有具备沿所述第一方向的第一边和沿所述第二方向的第二边的长方形的外形。

4.根据权利要求3所述的治具，其特征在于，

所述治具基准面在所述第一边处与一个以上的所述非基准平面连接，并在所述第二边处与未与所述第一边连接的一个以上的所述非基准平面连接。

5.一种机器人系统，其特征在于，包括：

臂，处理目标物；

立体照相机，对所述目标物进行拍摄；

控制部，基于通过所述立体照相机得到的图像，对所述臂进行控制；以及

治具，用于校准将根据使用所述立体照相机得到的图像确定的位置与三维空间中的位置建立关联的参数，

在将N设为4以上的整数时，所述治具包括附带图案的N个平面，

非基准法线向量相对于基准法线向量所成的角度θ满足以下的式(1)及式(2)，所述基准法线向量与治具基准面垂直，并具有从所述治具基准面朝着所述立体照相机所配置的空间的朝向，所述治具基准面是所述N个平面中的一个平面，所述非基准法线向量与所述N个平面中的不同于所述治具基准面的非基准平面垂直，并具有从所述非基准平面朝着所述立体照相机所配置的空间的朝向，

-90°＜θ＜90°…(1)

θ≠0…(2)

与所述N个平面中的N-1个所述非基准平面对应的所述非基准法线向量相对于所述基准法线向量具有相互不同的朝向，并且彼此不具有相对于所述基准法线向量对称的朝向。

6.根据权利要求5所述的机器人系统，其特征在于，

在所述N个平面中的一个以上的平面中，所述图案包括沿第一方向和相对于所述第一方向垂直的第二方向配置的矩阵状的多个标记，沿所述第一方向配置的所述标记的数量与沿所述第二方向配置的所述标记的数量不同。

7.一种校准方法，其特征在于，用于校准将根据使用立体照相机得到的图像确定的位置与三维空间中的位置建立关联的参数，所述校准方法具备：

(a)将治具配置在预定的位置的工序，在将N设为4以上的整数时，所述治具包括附带图案的N个平面，非基准法线向量相对于基准法线向量所成的角度θ满足以下的式(1)及式(2)，所述基准法线向量与治具基准面垂直，并具有从所述治具基准面朝着所述立体照相机所配置的空间的朝向，所述治具基准面是所述N个平面中的一个平面，所述非基准法线向量与所述N个平面中的不同于所述治具基准面的非基准平面垂直，并具有从所述非基准平面朝着所述立体照相机所配置的空间的朝向，

-90°＜θ＜90°…(1)

θ≠0…(2)

与所述N个平面中的N-1个所述非基准平面对应的所述非基准法线向量相对于所述基准法线向量具有相互不同的朝向，并且彼此不具有相对于所述基准法线向量对称的朝向；

(b)通过所述立体照相机对所述治具进行拍摄的工序；以及

(c)基于通过所述立体照相机得到的各所述平面的图案的图像和所述预定的位置确定将根据使用所述立体照相机得到的图像确定的位置与基于所述预定的位置得到的位置建立关联的参数并进行保存的工序。

8.根据权利要求7所述的校准方法，其特征在于，

在所述N个平面中的一个以上的平面中，所述图案包括沿第一方向和相对于所述第一方向垂直的第二方向配置的矩阵状的多个标记，沿所述第一方向配置的所述标记的数量与沿所述第二方向配置的所述标记的数量不同，

工序(c)包括基于通过所述立体照相机得到的包括所述标记的所述图案的图像来确定包括所述多个标记的所述平面的朝向的工序。

Images