CN109648605B

CN109648605B - 机器人系统

Info

Publication number: CN109648605B
Application number: CN201811179872.3A
Authority: CN
Inventors: 原田智纪
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2017-10-11
Filing date: 2018-10-10
Publication date: 2023-03-21
Anticipated expiration: 2038-10-10
Also published as: EP3470182A2; JP2019069493A; US11090810B2; US20190105781A1; CN109648605A; EP3470182A3; EP3470182B1; JP7062911B2

Abstract

一种机器人系统，具备：机器人，具有机器人臂和第一相机；第二相机，与所述机器人分开设置；以及控制装置，对所述机器人和所述第二相机进行控制。第一相机是预先校正完毕的，作为其校正数据的第一校正数据是已知的。控制装置(i)利用第一相机对校正用图案进行拍摄而获取第一图案图像，并利用第二相机对校正用图案进行拍摄而获取第二图案图像，(ii)使用第一图案图像、第二图案图像、以及作为针对第一相机的已知的校正数据的第一校正数据，执行求出作为第二相机的校正数据的第二校正数据的校正处理。

Description

机器人系统

技术领域

本发明涉及机器人系统，特别是涉及机器人系统的相机的校正(校准)。

背景技术

为了使机器人执行高级的处理，有时在机器人设置相机而使机器人具有眼睛的功能。作为相机的设置方法，有将相机与机器人臂分开设置的方法、和将相机设置于机器人臂的方法(称为“手端相机(hand-endcamera)”)。

在专利文献1中，公开有利用手端相机以及设置于机器人的外部的外部相机的机器人系统。在该现有技术中，为了进行外部相机的校正，使机器人臂移动至多个校正用的位置姿势，在各个位置姿势利用手端相机和外部相机双方来对校正用的记号进行拍摄，使用其拍摄结果执行外部相机的校正。

现有技术文献

专利文献

专利文献1：日本特开2016-52695号公报

然而，在上述专利文献1所记载的技术中，必须在机器人臂的前端设置手端相机，存在以下问题，即在机器人臂的前端以外的位置设置机器人相机的情况下无法应用。另外，为了进行外部相机的校正，需要将手端相机设定于多个位置姿势，因此使机器人臂的动作成为必需，其结果，存在校正需要相当长的时间的问题。因此，期望能够利用与专利文献1不同的方法而容易地进行外部相机的校正的技术。

发明内容

本发明是为了解决上述技术问题的至少一部分而作成的，能够作为以下的方式(aspect)来实现。

(1)根据本发明的第一方式，提供一种机器人系统，具备：机器人，具有机器人臂和第一相机；第二相机，与所述机器人分开设置；以及控制装置，对所述机器人和所述第二相机进行控制，所述控制装置具备处理器，所述第二相机设置为，在利用所述第一相机对进行使用所述机器人臂的作业的作业区域进行拍摄的状态下，利用所述第二相机对成为所述第一相机的视野范围外的校正位置进行拍摄，所述处理器进行以下处理：(a)在执行所述作业区域中的所述作业之前，驱动所述机器人的关节，以使得利用所述第一相机对所述校正位置进行拍摄，(b)利用所述第一相机对设置于所述校正位置的校正用图案进行拍摄而获取第一图案图像，并利用所述第二相机对设置于所述校正位置的校正用图案进行拍摄而获取第二图案图像，(c)使用所述第一图案图像、所述第二图案图像以及作为针对所述第一相机的已知的校正数据的第一校正数据，执行求出作为所述第二相机的校正数据的第二校正数据的校正处理，(d)在执行所述校正处理后，利用所述第一相机对所述作业区域进行拍摄且执行所述作业区域中的作业，并在所述第二相机的视野中进行基于所述第二相机的拍摄且在所述第二相机的视野中执行使用所述机器人臂的动作。

根据该机器人系统，在作业区域中的作业的开始前，通过在作业区域外的位置利用第一相机和第二相机双方对校正用图案进行拍摄，从而能够容易地执行第二相机的校正。另外，在第二相机的校正处理后，在利用第一相机对作业区域进行拍摄同时执行作业时，如果在第二相机的视野中进行使用第二相机的拍摄同时机器人进行与作业区域中的作业不同的动作，则能够使用校正完毕的第二相机正确地拍摄该动作。

(2)在上述机器人系统中，也可以是，所述机器人的所述关节是使所述第一相机相对于所述机器人的基台转动的扭转关节。

根据该机器人系统，能够仅通过扭转关节的动作来切换利用第一相机拍摄作业区域中的作业的状态、和为了第二相机的校正而利用第一相机拍摄校正用图案的状态。因此，在作业区域中的作业的开始前，能够容易地执行第二相机的校正。

(3)在上述机器人系统中，也可以是，所述第二相机的视野包括供给在所述作业区域的作业中使用的部件的部件供给区域，所述第二相机的视野中的使用所述机器人臂的动作是利用所述机器人臂拾起所述部件的动作。

根据该机器人系统，在与作业区域不同的其他位置供给部件时，不需要利用第一相机拍摄该部件，而能够利用第二相机对部件进行拍摄同时利用机器人臂将部件拾起。

(4)根据本发明的第二方式，提供一种机器人系统，具备：机器人，具有机器人臂和第一相机；第二相机，与所述机器人分开设置；以及控制装置，对所述机器人和所述第二相机进行控制，所述机器人构成为，在多个作业区域之间移动，并在各作业区域中进行使用所述机器人臂的作业，所述第二相机包括设置成对所述多个作业区域进行拍摄的多个第二相机，每当所述机器人移动而到达所述多个作业区域中的一个作业区域时，所述控制装置进行以下处理：(a)利用所述第一相机对设置于该作业区域的校正用图案进行拍摄而获取第一图案图像，并利用所述第二相机对设置于该作业区域的校正用图案进行拍摄而获取第二图案图像，(b)使用所述第一图案图像、所述第二图案图像以及作为针对所述第一相机的已知的校正数据的第一校正数据，执行求出作为所述第二相机的校正数据的第二校正数据的校正处理，(c)在执行所述校正处理后，利用所述第一相机和所述第二相机对该作业区域进行拍摄且执行该作业区域中的作业。

根据该机器人系统，在多个作业区域的各个作业区域中的作业的开始前，通过利用第一相机和第二相机双方对校正用图案进行拍摄，从而能够容易地执行第二相机的校正。另外，在第二相机的校正处理后，能够使用第一相机和第二相机双方对该作业区域进行拍摄，因此能够正确地拍摄该作业区域中的作业。

(5)在上述机器人系统中，也可以是，所述机器人构成为，也移动至所述多个作业区域以外的位置。

根据该机器人系统，在使用移动自由度高的机器人的情况下，也能够容易地执行第二相机的校正。

(6)在上述机器人系统中，也可以是，所述第一相机是3D相机，所述第二相机是2D相机。

根据该机器人系统，第一相机是立体相机那样的3D相机，因此即使第二相机为2D相机，也能够正确地进行第二相机的校正。

(7)在上述机器人系统中，也可以是，所述第一相机设置于所述机器人的不是所述机器人臂的部位。

根据该机器人系统，能够利用设置于机器人的基台、壳体等那样的不是机器人臂的部位的第一相机容易地进行第二相机的校正。

(8)在上述机器人系统中，也可以是，所述第一相机设置于所述机器人臂。

根据该机器人系统，能够利用设置于机器人臂的第一相机容易地进行第二相机的校正。

(9)在上述机器人系统中，也可以是，所述控制装置在所述校正用图案的拍摄前，在能够利用所述第一相机和所述第二相机对所述校正用图案进行拍摄的位置，使用所述机器人臂设置所述校正用图案。

根据该机器人系统，使用机器人臂来设置校正用图案，因此能够仅在为了校正而需要的情况下设置校正用图案。

(11)根据本发明的第三方式，提供一种机器人系统，具备：机器人，具有机器人臂和第一相机；第二相机，与所述机器人分开设置；以及控制装置，对所述机器人和所述第二相机进行控制，所述控制装置具备处理器，所述机器人构成为，在多个作业区域之间移动，并在各作业区域中进行使用所述机器人臂的作业，所述第二相机包括设置成对所述多个作业区域进行拍摄的多个第二相机，每当所述机器人移动而到达所述多个作业区域中的一个作业区域时，所述处理器进行以下处理：(a)利用所述第一相机对设置于该作业区域的校正用图案进行拍摄而获取第一图案图像，并利用所述第二相机对设置于该作业区域的校正用图案进行拍摄而获取第二图案图像，(b)使用所述第一图案图像、所述第二图案图像以及作为针对所述第一相机的已知的校正数据的第一校正数据，执行求出作为所述第二相机的校正数据的第二校正数据的校正处理，(c)在执行所述校正处理后，利用所述第一相机和所述第二相机对该作业区域进行拍摄且执行该作业区域中的作业。

根据本发明的又一其他方式，提供一种机器人系统，具备：机器人，具有机器人臂和第一相机；第二相机，与所述机器人分开设置；以及控制装置，对所述机器人和所述第二相机进行控制。第一相机是预先校正完毕的，作为其校正数据的第一校正数据是已知的。控制装置(i)利用第一相机对校正用图案进行拍摄而获取第一图案图像，并利用第二相机对校正用图案进行拍摄而获取第二图案图像，(ii)使用第一图案图像、第二图案图像、以及作为针对第一相机的已知的校正数据的第一校正数据，执行求出作为第二相机的校正数据的第二校正数据的校正处理。校正用图案优选包括多个校正用标记。也可以是，机器人的第一相机设置在不是机器人臂的部位，例如设置在机器人的头部。

根据该机器人系统，通过利用第二相机和预先校正完毕的第一相机双方来拍摄校正用图案，从而能够容易地执行第二相机的校正。

本发明也能够通过上述以外的各种方式来实现。例如，也能够通过机器人系统的控制装置、用于实现该控制装置的功能的计算机程序、记录该计算机程序的非暂时性记录介质(non-transitory storage medium)等方式来实现。

附图说明

图1是第一实施方式的机器人系统的概念图。

图2是示出具有多个处理器的控制装置的一例的概念图。

图3是示出具有多个处理器的控制装置的其他例子的概念图。

图4是示出机器人与控制装置的功能的框图。

图5是示出第一实施方式的机器人的坐标系的说明图。

图6是示出机器人在作业区域进行作业的状态的说明图。

图7是示出进行第二相机的校正的状态的说明图。

图8是示出校正用图案的一例的图。

图9是示出第一实施方式的校正处理的步骤的流程图。

图10是第二实施方式的机器人系统的概念图。

图11是示出在第一作业区域中进行第二相机的校正的状态的说明图。

图12是示出在第二作业区域中进行第二相机的校正的状态的说明图。

图13是示出第二实施方式的校正处理的步骤的流程图。

附图标记说明：

100…机器人；110…基台；120…躯干部；130…肩部；140…颈部；150…头部；160、160L、160R…臂(机器人臂)；162…马达；170、170L、170R…相机(机器人相机、第一相机)；175、175L、175R…手眼；180L、180R…手；190L、190R…力传感器；200…控制装置；210…处理器；211…关节控制部；212…相机控制部；213…相机校正执行部；214…变换矩阵推断部；220…主存储器；230…非易失性存储器；231…程序命令；232…机器人相机参数；233…外部相机参数；240…显示控制部；250…显示部；260…I/O接口；300、301、302…外部相机(第二相机)；320、321、322…零件供给器；330、331、332…校正用图案；340…无人输送车；400、410…个人计算机；500…云服务器。

具体实施方式

A.第一实施方式

图1是第一实施方式的机器人系统的概念图。该机器人系统具备：机器人100、控制装置200以及与机器人100分开设置的外部相机300。该机器人100是利用相机识别作业对象、自由地调节力、一边自主地判断一边进行作业的自主机器人。另外，机器人100也可以作为按照预先生成的示教数据来执行作业的示教再现型机器人而进行动作。

机器人100具备：基台110、躯干部120、肩部130、颈部140、头部150以及两个机器人臂160L、160R。在机器人臂160L、160R以能够拆装的方式安装有手180L、180R。这些手180L、180R是把持工件、工具的末端执行器。在头部150设置有相机170L、170R。这些相机170L、170R与机器人臂160L、160R分开地设置。在机器人臂160L、160R的腕部设置有作为手端相机的手眼(Hand eye)175L、175R。

以下，也将设置于头部150的相机170L、170R称为“机器人相机”或者“第一相机170”。另外，也将与机器人100分开设置的外部相机300称为“第二相机”。在本实施方式中，机器人相机170作为立体相机那样的3D相机(三维相机)而构成，外部相机300作为2D相机(二维相机)而构成。此外，也可以将外部相机300作为3D相机而构成。

在机器人臂160L、160R的腕部还设置有力传感器190L、190R。力传感器190L、190R是检测与手180L、180R对工件施加的力相对的反作用力、力矩的传感器。作为力传感器190L、190R，例如能够使用六轴力传感器，该六轴力传感器能够同时检测三个轴向的平移力分量和绕三个轴的旋转力矩分量这六个分量。此外，力传感器190L、190R可以省略。

在机器人臂160L、160R、机器人相机170L、170R、手眼175L、175R、手180L、180R以及力传感器190L、190R的附图标记的末尾附加的“L”“R”字符分别指的是“左”“右”。在不需要区别它们的情况下，使用省略了“L”“R”的字符的附图标记进行说明。

控制装置200具有：处理器210、主存储器220、非易失性存储器230、显示控制部240、显示部250以及I/O接口260。上述各部经由总线而连接。处理器210例如是微处理器或处理器电路。控制装置200经由I/O接口260与机器人100及第二相机300连接。此外，也可以将控制装置200收纳于机器人100的内部。

作为控制装置200的结构，可以采用图1所示的结构以外的各种结构。例如，也可以从图1的控制装置200去除处理器210和主存储器220，并在以能够通信的方式与该控制装置200连接的其他装置设置处理器210和主存储器220。在这种情况下，使组合了该其他装置与控制装置200的装置整体作为机器人100的控制装置发挥功能。在其他实施方式中，控制装置200也可以具有两个以上处理器210。在又一其他实施方式中，控制装置200也可以通过以彼此能够通信的方式连接的多个装置来实现。在上述各种实施方式中，控制装置200作为具备一个以上的处理器210的装置或装置组而构成。

图2是示出由多个处理器构成机器人的控制装置的一例的概念图。在该例子中，除了机器人100及其控制装置200以外，还描绘有个人计算机400、410、以及通过LAN等网络环境而提供的云服务器500。个人计算机400、410分别包括处理器和存储器。另外，在云服务器500中也能够利用处理器和存储器。能够利用上述多个处理器的一部分或全部来实现机器人100的控制装置。

图3是示出由多个处理器构成机器人的控制装置的其他例子的概念图。在该例子中，机器人100的控制装置200储存于机器人100中这点与图2不同。在该例子中，也能够利用多个处理器的一部分或全部来实现机器人100的控制装置。

图4是示出机器人100和控制装置200的功能的框图。控制装置200的处理器210通过执行预先储存于非易失性存储器230的各种程序命令231，分别实现关节控制部211、相机控制部212以及相机校正执行部213的功能。关节控制部211通过对设置于机器人100内的各个关节的马达162进行控制，从而驱动关节。相机控制部212对机器人相机170和外部相机300分别进行控制从而执行拍摄。相机校正执行部213具有执行外部相机300的校正处理的功能，并且包括变换矩阵推断部214。其中，也可以利用硬件电路来实现上述各部211～214的功能的一部分或全部。关于上述各部211～214的功能，在后文进行叙述。

在非易失性存储器230中，除了程序命令231之外，还存储有机器人相机参数232和外部相机参数233。机器人相机参数232是机器人相机170的校正数据，包括用于进行机器人相机170的相机坐标系与机器人坐标系的坐标变换的各种参数。外部相机参数233是外部相机300的校正数据，包括用于进行外部相机300的相机坐标系与机器人坐标系的坐标变换的各种参数。机器人相机参数232是已知的，预先储存于非易失性存储器230。外部相机参数233通过执行后述的校正处理而生成。

图5是示出机器人100的机器人臂160的结构与各种坐标系的说明图。在两个臂160L、160R分别设置有七个关节J1～J7。关节J1、J3、J5、J7是扭转关节，关节J2、J4、J6是弯曲关节。关节J0是设置于图1的躯干部120与肩部130之间的扭转关节。该关节J0相当于能够使机器人相机170相对于机器人100的基台110转动的扭转关节。在各个关节设置有用于使其动作的致动器(图4的马达162)、和用于检测旋转角度的位置检测器。

在臂160的手端设定有工具中心点TCP(Tool Center Point)。工具中心点TCP能够根据作业内容而设定于任意的位置。为了控制工具中心点TCP的位置姿势而执行通常的机器人100的控制。此外，位置姿势(positionand orientation)指的是由三维坐标系中的三个坐标值以及绕各坐标轴的旋转而规定的状态。

图5中作为与机器人系统相关的坐标系而描绘出以下的坐标系。

(1)机器人坐标系Σ₀：以机器人100的基准点作为坐标原点的坐标系

(2)手端坐标系Σ_T1、Σ_T2：以臂160L、160R的TCP(工具中心点)作为坐标原点的坐标系

(3)机器人相机坐标系Σ_RC：以机器人相机170的预定位置作为坐标原点的坐标系

(4)外部相机坐标系Σ_FC：外部相机300的二维图像的图像坐标系

在本实施方式中，对于外部相机坐标系Σ_FC以外的坐标系，假定为预先校正完毕，且彼此的坐标变换矩阵是已知的。另外，将外部相机坐标系Σ_FC与其他坐标系的关系假定为未知。此外，在图5中，为了方便图示，将各个坐标系的原点描绘于从实际的位置偏离的位置。

图6是示出机器人100在作业区域进行作业的状态的平面配置的说明图。此处，省略了机器人臂的图示，作为机器人100的结构，仅描绘了基台110和机器人相机170。另外，与关节J0的转动对应地用虚线描绘机器人相机170移动的轨迹。

机器人相机170的视野RCV是包含作业区域WKA的区域。机器人100在该作业区域WKA内使用两个机器人臂160L、160R进行特定的作业。特定的作业例如是部件的组装。

在机器人100的右侧设定有部件供给区域PFA。该部件供给区域PFA是与作业区域WKA不同的区域。部件供给区域PFA也可以与作业区域WKA部分地重叠，但在图6的例子中，设定为两者完全不重合。在与部件供给区域PFA邻接的位置设置有用于对部件供给区域PFA供给部件PP的零件供给器320。机器人100能够使用右臂160R拾起被供给至部件供给区域PFA内的部件PP。外部相机300的视野FCV设定于包含部件供给区域PFA的区域。优选外部相机300以总是能够拍摄相同视野FCV的方式将其位置和姿势预先固定。

在机器人100在作业区域WKA进行作业的状态下，机器人相机170无法拍摄部件供给区域PFA，但能够利用外部相机300对部件供给区域PFA进行拍摄。在机器人100在作业区域WKA使用两个臂160L、160R进行特定的作业的状态下，在需要新的部件PP时，能够不使关节J0动作而仅使用一个臂160R将部件PP从部件供给区域PFA拾起而拿到作业区域WKA。此时，利用外部相机300对部件供给区域PFA进行拍摄，因此不需要利用机器人相机170拍摄该部件PP，能够利用臂160R正确地拾起新的部件PP。

图7是示出进行外部相机300的校正的状态的说明图。该状态是从图6所示的作业状态使关节J0旋转从而机器人相机170的视野(省略图示)与外部相机300的视野FCV重叠的状态。在两个相机170、300的视野重叠的位置设置有用于外部相机300的校正的校正用图案330。关于校正用图案330的例子，在后文进行叙述。将设置有该校正用图案330的位置称为“校正位置”。在本实施方式中，在机器人100在作业区域WKA进行作业的状态下，设置有校正用图案330的校正位置是成为机器人相机170的视野范围外的位置，且是能够利用外部相机300进行拍摄的位置。

图8是示出校正用图案330的一例的图。校正用图案330包括用于相机校正的多个校正用标记CM。在图8的例子中，在平板状的校正用板之上描绘有九个校正用标记CM。另外，在该例子中，各个校正用标记CM由黑白的重叠的圆构成，将其中心点识别为校正用标记CM的位置。其中，作为校正用标记CM的形状，能够使用单纯的圆形、正方形等各种形状。另外，在图8的例子中，除了校正用标记CM以外，还显示有表示用于识别各个校正用标记CM的编号的记号NM、用于表示校正用图案330整体的外周位置的四个记号BM。其中，能够省略校正用标记CM以外的其他记号。该校正用图案330包括多个校正用标记CM，因此不需要为了外部相机300的校正而将校正用图案330设置于多个位置进行拍摄，具有仅利用一次拍摄即可的优点。

图9是示出第一实施方式的外部相机300的校正处理的步骤的流程图。该校正处理在作业区域WKA的作业的开始前通过相机校正执行部213(图4)来进行。在步骤S110中，将机器人100的状态设定为机器人相机170能够拍摄校正位置的状态(图7)。在步骤S120中，在校正位置设置校正用图案330。将校正用图案330设置于校正位置的动作可以由作业者进行，或者也可以由机器人100的臂160进行。若使用臂160设置校正用图案330，则能够仅在为了校正而需要的情况下自动地设置校正用图案330。

在步骤S130中，利用机器人相机170和外部相机300分别对校正用图案330进行拍摄，分别获取校正用图案330的图案图像。该图案图像是图8所示的校正用图案330的图像其本身。

在步骤S140中，根据由机器人相机170拍摄到的图案图像，推断多个校正用标记CM的位置。在本实施方式中，机器人相机170是3D相机，因此根据由机器人相机170拍摄到的图案图像，能够推断机器人相机坐标系Σ_RC(图5)中校正用标记CM的三维位置。另外，机器人相机170为校正完毕的，机器人相机参数232包含机器人相机坐标系Σ_RC与机器人坐标系Σ₀的坐标变换矩阵。因此，在步骤S140中，使用该坐标变换矩阵来计算校正用标记CM在机器人坐标系Σ₀中的三维位置。

在步骤S150中，根据由外部相机300拍摄到的图案图像，分别检测多个校正用标记CM的位置。在本实施方式中，外部相机300为2D相机，因此根据由外部相机300拍摄到的图案图像，可检测外部相机坐标系Σ_FC(图5)中校正用标记CM的二维位置。

在步骤S160中，使用步骤S140、S150中获得的多个校正用图案CM的位置、和机器人相机170的已知的校正数据(机器人相机参数232)，执行求出外部相机300的校正数据(外部相机参数233)的处理。此外，在该校正处理中，需要使在步骤S140中求出的校正用标记CM的位置、与在步骤S150中求出的校正用标记CM的位置建立关联。在图8所示的例子中，校正用图案330包含表示对各个校正用标记CM进行识别的编号的记号NM，因此能够使用该记号NM进行建立关联。也可以取代于此，作业者手动地进行建立关联。其中，若将表示对各个校正用标记CM进行识别的编号的记号NM设置于校正用图案330内，则可自动地进行建立关联，从这点上是优选的。

求解校正数据的处理包括推断下式的坐标变换矩阵R的处理。

[公式1]

∑₀(x，y，z)＝R·∑_FC(u，v)…(1)

这里，Σ₀(x,y,z)是机器人坐标系Σ₀的三维坐标值，Σ_FC(u,v)是外部相机坐标系Σ_FC的二维坐标值。

坐标变换矩阵R是所谓的P矩阵的伪逆矩阵。P矩阵是利用通常的相机的校正而推断的矩阵，是将三维空间的坐标变换为二维的图像坐标的矩阵。若记载(1)式的坐标变换矩阵R的要素，则如下式。

[公式2]

这里，k是比例因子(已知)。此外，也可以将比例因子k乘以矩阵R的要素R_ij而使k＝1。

与通常的P矩阵同样地，坐标变换矩阵R的自由度为11，根据六组以上的测定结果能够推断矩阵R。因此，校正用图案330优选包含六个以上校正用标记CM。此外，这样的坐标变换矩阵R的推断通过变换矩阵推断部214(图4)来执行。在外部相机300为3D相机的情况下，坐标变换矩阵R成为四行四列的齐次变换矩阵。

在机器人坐标系Σ₀的xy平面与外部相机坐标系Σ_FC的uv平面平行的情况下，坐标变换矩阵R的运算更简单，运算精度也提高，因此优选使两者平行。

在外部相机300的校正结束后，在步骤S170中，使用外部相机300和机器人相机170执行作业。具体而言，使关节J0旋转而从图7的状态变更为图6的状态，机器人100在作业区域WKA中使用两个臂160L、160R进行特定的作业，在需要新的部件PP时，无需使关节J0动作而仅使用一个臂160R将部件PP从部件供给区域PFA拾起而拿到作业区域WKA。此时，部件供给区域PFA由外部相机300进行拍摄，因此能够利用臂160R正确地拾起新的部件PP。

如上所述，在第一实施方式中，在作业区域WKA中的作业的开始前，通过在作业区域WKA外的位置利用机器人相机170和外部相机300双方来对校正用图案330进行拍摄，从而能够容易地执行外部相机300的校正。另外，在外部相机300的校正处理后，在利用机器人相机170对作业区域WKA进行拍摄同时执行作业时，如果在外部相机300的视野中进行使用了外部相机300的拍摄同时机器人100进行与作业区域WKA中的作业不同的动作，则能够使用校正完毕的外部相机300而正确地拍摄该动作。

另外，在第一实施方式中，能够仅通过扭转关节J0的动作来切换利用机器人相机170拍摄作业区域WKA中的作业的状态(图6)、和为了外部相机300的校正而利用机器人相机170拍摄校正用图案330的状态(图7)。因此，能够在作业区域WKA中的作业的开始前容易地执行外部相机300的校正。

B.第二实施方式

图10是第二实施方式的机器人系统的概念图。与图1所示的第一实施方式就以下两点不同：机器人100载置在无人输送车340上而能够自由行驶这点、以及设置有两个外部相机301、302这点。机器人100本身的结构与第一实施方式相同。无人输送车340和外部相机301、302连接于控制装置200(图1)，并被控制装置200控制。

图11以及图12是示出第二实施方式的机器人100与作业区域的关系的说明图。这里，设定有第一作业区域WKA1和第二作业区域WKA2两个作业区域。第一外部相机301具有包含第一作业区域WKA1的视野，对第一作业区域WKA1进行拍摄。第二外部相机302具有包含第二作业区域WKA2的视野，对第二作业区域WKA2进行拍摄。在机器人100于各个作业区域WKA1、WKA2进行作业时，通过无人输送车340使机器人100移动至该作业区域之前。两个作业区域WKA1、WKA2以无法通过一个外部相机301(或者302)、一组机器人相机170同时对作业区域WKA1、WKA2双方进行拍摄的程度分开。此外，机器人100进行作业的作业区域的数量不局限于两个，也能够设定为三个以上。

在各个作业区域WKA1、WKA2的附近分别设置有校正用图案331、332。第一校正用图案331用于校正第一外部相机301而使用。第二校正用图案332用于校正第二外部相机302而使用。这些校正用图案331、332与图8所示的校正用图案330相同。此外，也可以替代使用两个校正用图案331、332，而使用一个校正用图案330来进行两个外部相机301、302的校正。此时，在进行一个外部相机301或者302的校正时，在其附近配置有校正用图案330。

在与各个作业区域WKA1、WKA2邻接的位置还设置有零件供给器321、322。其中，可以省略零件供给器321、322。

图11所示的状态是在第一作业区域中进行第一外部相机301的校正的状态。图12是在第二作业区域中进行第二外部相机302的校正的状态。每当机器人100移动而到达多个作业区域WKA1、WKA2中的一个作业区域时，控制装置200执行以下进行说明的外部相机301或者302的校正处理。

图13是示出第二实施方式的外部相机301、302的校正处理的步骤的流程图。与图9所示的第一实施方式的处理程序的不同仅为步骤S210，其他步骤与图9实质上相同。

在步骤S210中，机器人100移动至一方的作业区域WKA1或WKA2之前的作业位置。在步骤S120中，在校正位置设置校正用图案331或332。如图11以及图12所示那样，在两个作业区域WKA1、WKA2的附近预先设置有校正用图案331、332的情况下，步骤S120能够省略。也可以取代于此，将校正用图案331或332设置于校正位置的动作可以由作业者进行，或者也可以由机器人100的臂160进行。若使用臂160来设置校正用图案331或者332，则能够仅在为了校正而需要的情况下自动地设置校正用图案。

步骤S130～S170的处理与图9中说明的处理相同。其中，在步骤S170中，在与未使关节J0旋转而进行了外部相机301或者302的校正的状态相同的状态下，使用校正过的外部相机301或302和机器人相机170来执行作业。即，每当机器人100移动而到达多个作业区域WKA1、WKA2中的一个作业区域时，执行对该作业区域进行拍摄的外部相机301或者302的校正处理，在校正处理结束后开始作业。

如上所述，在第二实施方式中，在多个作业区域WKA1、WKA2的各个作业区域中的作业的开始前，通过利用机器人相机170和外部相机301(或者302)双方对校正用图案331(或者332)进行拍摄，从而能够容易地执行外部相机301(或者302)的校正。另外，在外部相机301(或者302)的校正处理后，能够使用机器人相机170和外部相机301(或者302)双方对该作业区域进行拍摄，因此能够正确地拍摄该作业区域的作业。例如，在机器人100的作业中，机器人相机170的视野的一部分被机器人臂160遮挡，存在成为无法通过机器人相机170拍摄部件、工件的状态的可能性。在这样的情况下，也使用外部相机301(或者302)对作业区域进行拍摄，因此能够更可靠地进行部件、工件的拍摄。

此外，在第二实施方式中，作为机器人100的移动单元而利用了无人输送车340，但也可以利用无人输送车340以外的移动单元使机器人100移动。例如，也可以在机器人100的基台110设置移动单元。在这些情况下，优选以使机器人100能够移动至多个作业区域的近前的作业位置以外的位置的方式构成移动单元。在这种情况下，也能够使用移动的自由度高的机器人100，容易执行外部相机的校正。

C.其他实施方式

在上述的实施方式中，作为机器人相机，使用设置于机器人100的头部150的相机170，但也可以在除此以外的部位设置机器人相机。例如，也可以将设置于不是机器人臂160的部位的相机作为机器人相机来使用，进行外部相机的校正。若这样，则能够利用设置于机器人100的基台110、壳体等那样的不是机器人臂160的部位的相机，容易进行外部相机的校正。或者，也可以将设置于机器人臂160的相机(手眼175)作为机器人相机来使用，进行外部相机的校正。在上述任一个情况下，若作为机器人相机而使用能够构成为3D相机的相机，则外部相机的校正处理更容易。

另外，在上述的实施方式中，使用具有两个臂160R、160L的双臂机器人，但也能够使用具有一个臂的机器人。另外，机器人的关节的数量、种类也能够任意变更。

另外，在上述的实施方式中，一个校正用图案包括所有外部相机的校正所需要的多个校正用标记CM，但也可以多个校正用标记CM分为多个校正用图案而配置。此时，多个校正用图案由机器人相机和外部相机双方进行拍摄。

本发明不局限于上述的实施方式、实施例、变形例，能够在不脱离其主旨的范围内以各种结构来实现。例如，为了解决上述课题的一部分或全部、或者为了实现上述效果的一部分或全部，能够将与发明内容的栏所记载的各方式中的技术特征对应的实施方式、实施例、变形例中的技术特征适当地进行更换、组合。另外，若其技术特征不是本说明书中必须的，则能够适当地删除。

Claims

1.一种机器人系统，其特征在于，具备：机器人，具有机器人臂和第一相机；第二相机，与所述机器人分开设置；以及控制装置，对所述机器人和所述第二相机进行控制，

所述控制装置具备处理器，

所述第二相机设置为，在利用所述第一相机对进行使用所述机器人臂的作业的作业区域进行拍摄的状态下，利用所述第二相机对成为所述第一相机的视野范围外的校正位置进行拍摄，

所述处理器进行以下处理：

(a)在执行所述作业区域中的所述作业之前，驱动所述机器人的关节，以使得利用所述第一相机对所述校正位置进行拍摄，

(b)利用所述第一相机对设置于所述校正位置的校正用图案进行拍摄而获取第一图案图像，并利用所述第二相机对设置于所述校正位置的校正用图案进行拍摄而获取第二图案图像，

(c)使用所述第一图案图像、所述第二图案图像以及作为针对所述第一相机的已知的校正数据的第一校正数据，执行求出作为所述第二相机的校正数据的第二校正数据的校正处理，

(d)在执行所述校正处理后，利用所述第一相机对所述作业区域进行拍摄且执行所述作业区域中的作业，并在所述第二相机的视野中进行基于所述第二相机的拍摄且在所述第二相机的视野中执行使用所述机器人臂的动作。

2.根据权利要求1所述的机器人系统，其特征在于，

所述机器人的所述关节是使所述第一相机相对于所述机器人的基台转动的扭转关节。

3.根据权利要求1所述的机器人系统，其特征在于，

所述第二相机的视野包括供给在所述作业区域的作业中使用的部件的部件供给区域，

所述第二相机的视野中的使用所述机器人臂的动作是利用所述机器人臂拾起所述部件的动作。

4.根据权利要求1所述的机器人系统，其特征在于，

所述第一相机是3D相机，

所述第二相机是2D相机。

5.根据权利要求1所述的机器人系统，其特征在于，

所述第一相机设置于所述机器人的不是所述机器人臂的部位。

6.根据权利要求1所述的机器人系统，其特征在于，

所述第一相机设置于所述机器人臂。

7.根据权利要求1所述的机器人系统，其特征在于，

在所述校正用图案的拍摄前，所述控制装置在能够利用所述第一相机和所述第二相机对所述校正用图案进行拍摄的位置，使用所述机器人臂设置所述校正用图案。