CN100415460C - 机械手系统 - Google Patents

Abstract

在第一机械手(R1)上搭载视觉传感器的照相机，在第二机械手(R2)上设置特征部。使机械手(R1、R2)取第一初始状态(G1)，从该状态移动机械手(R1)或者(R2)使特征部的图像成为目标位置/大小(G2)，存储当前位置P1、Q1(G3)。以下，改变初始状态的各机械手位置，同时重复N次(N≥3)(G4)。根据重复N次得到的P1...PN和Q1...QN，求表示从∑b向∑b’的坐标变换的行列式T。取一台或者两台机械手控制装置都可以。由此，以高精度简单地执行求机械手之间的相对位置的校准作业，削减伴随夹具使用的成本。

Description

机械手系统

技术领域

本发明涉及一种包含多个机械手的机械手系统，更详细地讲，涉及一种简单而且高精度进行与在该机械手系统中包含的机械手之间的相对位置有关的校准的技术。本发明所涉及的机械手系统，例如在通过使多个机械手协调动作进行工件的搬运或者对工件的加工那样的应用中十分有用。

背景技术

作为使用产业用机械手的系统的一个类型，有通过在两台机械手之间的协调动作进行必要的作业(搬运，加工等)的系统。在这样的系统中，需要从动机械手根据先导机械手的位置计算成为移动目标的位置。为正确进行这一计算，必须预先了解在各机械手上设定的机械手坐标系的相对位置关系。

以这样的意图预先求两台机械手之间的坐标系的相对位置关系是用于在机械手之间进行坐标系结合的一种校准。作为用于在这一机械手之间进行坐标系结合的校准如果遵照一般已知的代表性方法的话，则首先要在各个机械手的臂前端部安装定位用的夹具(jig)。然后，依顺序使各机械手移动到在两机械手可能到达的范围内准备的3个或3个以上位置的3维空间中的位置，此时根据各机械手得到的当前位置的数据，可以求表示在两机械手上设定的机械手坐标系的相对位置关系。

作为把机械手移动到3个或3个以上3维空间中的位置的方法有直接使机械手彼此(在各机械手的前端部安装的夹具的尖端彼此)接触的方法，还有在互相离开机械手的地方准备固定的校准用夹具，各机械手(在前端部安装的夹具的尖端)通过使其夹具接触而间接接触的方法。

但是，对于一般的机械手，未发现详细公布上述方法的文献。此外，关于机械手和定位器的校准，在特开平8-129408号公报中有所记载。根据该记载，提出了使机械手和定位器直接接触的方法。

在上述现有的机械手之间的校准方法中，存在几个问题。其中作为现有方法需要定位用的夹具这一点，由于成本和操作者的负担，问题很大。即无论通过直接接触还是间接接触进行校准的场合，都需要在各个机械手前端部准备定位用的夹具，首先会产生夹具相关的费用。另外，在通过间接接触进行校准的方法中，除必须准备固定的夹具以外，要考虑其后的维护的话，该夹具不仅在示教时、就是在机械手系统运行时也需要总是固定，在多个机械手系统中共用很困难。再有，为得到校准的精度，必须准备大尺寸的夹具。

另外，在通过直接接触进行校准的方法中，需要考虑使在两台机械手之间的距离离开的情况下夹具的尖端不弯曲那样的机械手前端部的夹具的刚性。此外也有示教的问题。无论在直接接触还是间接接触的校准方法中，为计算安装夹具的两机械手的坐标系彼此的相对位置，需要使3维空间中的3个或3个以上的地方的两台机械手定位到同一位置、存储各机械手的位置，但是为提高精度，在尽可能宽的范围内设置3个示教位置，需要对机械手进行示教，以使在各处定位、夹具正确一致。在这一示教中，除要求正确性外，因为是通过接触的方法，所以存在由于常有的误操作(夹具给进错误)使夹具与其他物体碰撞引起破损事故的危险。

这样使用现有的夹具的方法，因为无论何种都会加大使用者的负担，因此强烈要求改进。本发明的目的是消除存在于求在各机械手上设定的机械手坐标系间的相对位置的校准中的这些问题，减轻使用者的负担，而且能够实现高精度的校准。

发明内容

本发明通过导入下述方法解决上述问题，在作为被校准对象的两台机械手的一方上搭载包含受光设备的计量装置，另一方面，在另一方的机械手上搭载准备有特征部的物体，组合通过计量装置对特征部的计量(包含位置的2维特征量的计量)和两台机械手的相对移动，取得校准中所需要的数据。

更具体说，在本发明的第一实施例中，适用于包含设定第一机械手坐标系的第一机械手和设定第二机械手坐标系的第二机械手的机械手系统，其特征在于具有：在上述第一机械手或者在该第一机械手上安装的物体上搭载的、包含受光设备的计量装置；将上述第一机械手至少定位在三个互相不同的第一机械手初始位置的第一机械手定位部件；将上述第二机械手与各上述第一机械手初始位置对应而定位在互相不同的第二机械手初始位置的第二机械手定位部件；使用上述受光设备捕捉在上述第二机械手或者在该第二机械手上安装的物体上的可成像于上述受光设备的受光面上的特征部、检测特征部在上述受光设备的受光面上形成的图像的特征部检测部件；根据利用该特征部检测部件的上述特征部的检测结果，求上述第二机械手的平移量使上述特征部在上述受光面上形成的图像的位置和大小与预先确定的目标值一致的第二机械手平移量计算部件；根据利用该第二机械手平移量计算部件求得的上述第二机械手的平移量使上述第二机械手平移的第二机械手移动部件；取得并存储该平移后的上述第二机械手的位置信息的位置信息存储部件；和在上述第一机械手利用上述第一机械手定位部件定位在各上述第一机械手初始位置的状态下，使上述第二机械手从与各该第一机械手初始位置对应的上述第二机械手初始位置，根据利用上述第二机械手平移量计算部件的上述平移量的计算结果通过上述第二机械手移动部件进行平移，根据在每次结束该平移时利用上述位置信息存储部件存储的上述第二机械手的位置信息和上述第一机械手初始位置的信息，计算上述第一机械手坐标系和上述第二机械手坐标系的相对位置的相对位置计算部件。

这里，在上述机械手系统中，可以还包括在上述第二机械手的上述平移后、在取得并存储上述第二机械手的位置前，判定特征部在上述受光设备的受光面上形成的图像的上述受光面上的位置和大小是否在规定的误差内与上述目标值一致的一致判定部件(第二实施例)。

另外，也可以具有在通过上述一致判定部件不能判定在上述规定的误差内一致的场合利用上述第二机械手定位部件使上述第二机械手再次定位在第二机械手初始位置的部件(第三实施例)。

下面，有关第四实施例的机械手系统，包含设定第一机械手坐标系的第一机械手和设定第二机械手坐标系的第二机械手，其特征在于具有：在上述第一机械手或者在该第一机械手上安装的物体上搭载的、包含受光设备的计量装置；将上述第二机械手至少定位在三个互相不同的第二机械手初始位置的第二机械手定位部件；将上述第一机械手与各上述第二机械手初始位置对应而定位在互相不同的第一机械手初始位置的第一机械手定位部件；使用上述受光设备捕捉在上述第二机械手或者在该第二机械手上安装的物体上的可成像于上述受光设备的受光面上的特征部、检测特征部在上述受光设备的受光面上形成的图像的特征部检测部件；根据利用该特征部检测部件的上述特征部的检测结果求上述第一机械手的平移量使上述特征部在上述受光面上形成的图像的位置和大小与预先确定的目标值一致的第一机械手平移量计算部件；根据利用该第一机械手平移量计算部件求得的上述第一机械手的平移量使上述第一机械手平移的部件；取得并存储该平移后的上述第一机械手的位置信息的位置信息存储部件；和在上述第二机械手利用上述第二机械手定位部件定位在各上述第二机械手初始位置的状态下，使上述第一机械手从与各该第二机械手初始位置对应的上述第一机械手初始位置，根据利用上述第一机械手平移量计算部件的上述平移量的计算结果通过上述第一机械手移动部件进行平移，根据在每次结束该平移时利用上述位置信息存储部件存储的上述第一机械手的位置信息和上述第二机械手初始位置的信息，计算上述第一机械手坐标系和上述第二机械手坐标系的相对位置的相对位置计算部件。

这里，在机械手系统中，可以还包括在上述第一机械手的上述平移后、在取得并存储上述第一机械手的位置前，判定特征部在上述受光设备的受光面上形成的图像的上述受光面上的位置和大小是否在规定的误差内与上述目标值一致的一致判定部件(第五实施例)。另外，也可以具有在通过上述一致判定部件不能判定在上述规定的误差内一致的场合利用上述第一机械手定位部件使上述第一机械手再次定位在第一机械手初始位置的部件(第六实施例)。

于是，在涉及以上任一发明的机械手系统中，可以把上述第一机械手和上述第二机械手连接在各自的机械手控制装置上，使用通信部件连接两机械手控制装置之间(第七实施例)。或者也可以把上述第一机械手和上述第二机械手连接在同一机械手控制装置上(第八实施例)。另外，上述计量装置的搭载，也可以在计算上述第一机械手和上述第二机械手的相对位置时临时执行(第九实施例)。再有，关于上述特征部，也可以在计算上述第一机械手和上述第二机械手的相对位置时临时设置(第十实施例)。在上述计量装置上装备的受光设备典型的是拍摄2维图像的照相机(第十一实施例)，但也可以选用PSD(Position Sensing Detector：位置检测型检测器)(第十二实施例)。

根据本发明，求机械手间的相对位置的校准作业成为以非接触式、确保精度，而且简单地进行。其结果，在同时使用多个机械手的机械手系统中，可以减轻用户负担的示教成本以及与夹具的使用关联的成本。

根据由附图所示的本发明的示教实施例的详细说明，本发明的这些以及其他的目的、特征和优点将十分明显。

附图说明

图1是表示在本发明的实施例中的全体结构的概略的图。

图2是表示实施例中使用的机械手控制装置的块结构的例图。

图3是表示实施例中使用的图像处理装置的块结构的例图。

图4是记述在实施例中执行的准备步骤的概要的流程图。

图5是表示目标值设定用基准状态中的特征部的位置和照相机的搭载位置的关系的图。

图6是表示目标值设定用基准状态中的特征部的图像的例图。

图7是说明在实施例中执行的校准步骤的流程图。

图8是说明实施例中使特征部的位置和大小与图像上目标值一致地移动的图。

图9是说明实施例中使特征部的位置和大小与图像上目标值一致的移动步骤的流程图。

图10是表示取一台机械手控制装置的变形例的图。

图11是记述求从∑f’看的特征部代表点的位置Sf’的步骤的概略的流程图。

图12是使用监视器画面表示使特征部代表点移动到规定点M的情况的图。

图13是与步骤T4相关联的处理的说明图。

图14a是与步骤T8的处理相关联的说明图，表示通过旋转移动的坐标系∑v1的移动的情况。

图14b是与步骤T8的处理相关联的说明图，表示旋转移动和坐标系∑v2的位置的关系。

图15是与求Sf’的处理相关联的说明图。

图16是记述求从∑f看的特征部代表点的位置Vf的步骤的概略的流程图。

图17是与步骤T4’的处理相关联的说明图。

图18a是与步骤T8’的处理相关联的说明图，表示通过旋转移动的坐标系∑v1的移动的情况。

图18b是与步骤T8’的处理相关联的说明图，表示旋转移动和坐标系∑v2的位置的关系。

图19是与求特征部代表点的3维位置的处理相关联的说明图。

具体实施方式

下面，顺序参照附图说明本发明的实施例。首先，图1是表示在本发明的一个实施例中的全体结构的概略图。在该图中，作为校准对象的机械手是机械手R1和机械手R2，连接到各自的机械手控制装置5、6上。

一个机械手(这里是第一机械手)R1的臂前端部上安装照相机4。照相机4例如是CCD照相机，是公知的具有通过拍摄用受光面(CCD阵列面上)检测2维图像的功能的受光设备。此外，如后所述，作为受光设备也可以使用PSD(Position Sensing Detector：位置检测型检测器)。照相机4连接到具有由LCD、CRT等构成的监视器3的图像处理装置2。

在另一个机械手(这里是第二机械手)R2的臂前端部上准备特征部30。该特征部30，可以是在机械手R2上原来具有的特征部(例如螺栓的头部、螺栓孔、机体上印刷的标记等)，也可以安装描绘用于校准的标记等的物体。另外，也可以在机械手R2的臂前端部上新描绘用于校准的特征部30。符号31是代表特征部30的位置的点(特征部代表点)。如后所述，在本实施例中，特征部30取具有圆形轮廓的标记，特征部代表点31取该圆形轮廓的中心点。

此外，该特征部30只要在后述的校准作业的执行中固定的话就足够了，在校准开始前或结束后取出完全无碍。这一事实对于在机械手R1上安装的照相机4也同样，照相机4只要在校准作业的执行中固定的话就足够了，在校准开始前或结束后自由取出。当然，在校准结束后还把照相机4原样安装在机械手R1上，为了本来的作业(处理等)把照相机4作为视觉传感器的头部使用也行。另外，在为了校准而描绘特征部30的场合，在校准结束后将其拆除也无不可。

在机械手R1上，设定在机械手底座上固定的机械手坐标系∑b和在工具安装面上固定的机械接口坐标系∑f(图1中省略图示；参照图5)，在机械手控制装置5内，从执行校准以前，可以随时知道该机械接口坐标系(∑f)的原点的位置、姿势(当前位置)。

同样，在机械手R2上，设定在机械手底座上固定的机械手坐标系∑b’和在工具安装面上固定的机械接口坐标系∑f’(图1中省略图示；参照图5)，在机械手控制装置6内，从执行校准以前，可以随时知道该机械接口坐标系(∑f’)的原点的位置、姿势(当前位置)。

机械手控制装置5具有如图2所示的公知的块结构。亦即，在连接主CPU(以下简单称CPU)11的总线17上，并联连接由RAM、ROM、非易失性存储器等组成的存储器12、示教操作盘用接口13、通信接口14、伺服控制部15、外部装置用的输入输出接口16。

伺服控制部15的伺服控制器#1～#n(n是机械手R1的轴数，这里取n＝6)，接收经为进行机械手R1的控制的运算处理(轨道计划生成和基于此的插补、逆变换等)生成的移动指令，合并从附属各轴的脉冲编码器(省略图示)接受的反馈信号、向伺服放大器输出转矩指令。

各伺服放大器A1～An根据各转矩指令给各轴的伺服电动机供给电流驱动其运转。通信接口14通过通信线路分别连接图像处理装置2以及第二机械手R2的机械手控制装置6(参照图1)的通信接口(省略图示)，通过这些通信线路，在图像处理装置2以及机械手控制装置6之间进行与后述的计量相关联的指令、计量结果数据以及各机械手R1、R2的当前位置数据等的收发。

机械手控制装置6的结构和功能因为和机械手控制装置5相同，所以省略详细说明。但是示教操作盘用接口和示教操作盘在机械手控制装置6中省略。亦即在示教操作盘用接口13上连接的示教操作盘18为机械手R1、R2共用，操作员通过该示教操作盘18的手工操作，执行各机械手R1、R2的动作程序(根据需要包含协调动作的动作程序)的生成、修正、登录、或者在各种参数的设定以外示教的动作程序的再生运行、进给等。支持机械手R1、R2以及机械手控制装置5、6的基本功能的系统程序存储在存储器12的ROM中。

另外，根据应用示教的机械手的动作程序(例如工件处理的程序)以及关联设定数据，被适当分配存储在机械手控制装置5的存储器12的非易失性存储器以及机械手控制装置6的同样的存储器(省略图示)中。

另外，用于后述的各种处理(关联校准的机械手移动以及和为此的图像处理装置的通信的处理)的程序、参数等数据也存储在存储器12非易失性存储器中。存储器12的RAM用作临时存储主CPU11执行的各种运算处理中的数据的存储区域。机械手控制装置6内的存储器的RAM也用作临时存储机械手控制装置6的主CPU(省略图示)执行的各种运算处理中的数据的存储区域。

图像处理装置2具有图3所示的公知的块结构。亦即，图像处理装置2具有由微处理器组成的CPU20，在CPU20上通过总线50分别连接ROM21、图像处理处理器22、照相机接口23、监视器接口24、输入输出设备(I/O)、帧存储器(图像存储器)26、非易失性存储器27、RAM28以及通信接口29。

在照相机接口23上连接作为拍摄部件的照相机(这里是照相机4；参照图1)，通过照相机接口23在送出拍摄指令时，通过在照相机4上设定的电子快门功能进行拍摄，通过照相机接口23把影像信号以灰度色标的形式存储在帧存储器26中。在监视器接口24上连接监视器(这里是监视器3；参照图1)，根据需要显示照相机正在拍摄的图像、在帧存储器26中存储的过去的图像、接受通过图像处理处理器22处理的图像等。

下面说明以上述结构和功能为前提，使用本发明的技术思想，求在第一机械手R1上设定的机械手坐标系∑b和在第二机械手R2上设定的机械手坐标系∑b’相对的位置姿势关系的步骤。此外，受光设备，作为在图像处理装置2上连接的照相机(CCD照相机)来说明，但是，如上所述，不用说也可以置换为适宜的其他受光设备和适合它们的信号处理装置。

首先，使用图4的流程图中所示的步骤执行必要的准备。各步骤的要点如下所记。

步骤F1；

移动机械手R1、R2的一方或者两方，作为“目标值设定用基准状态”。这里，在目标值设定用基准状态中，只要是在照相机4的视野中以适当的大小捕捉特征部30得到的状态，一般，机械手R1、R2的位置可以任意决定。例如，使用示教操作盘18进给移动机械手R1、R2的一方或者两方，使照相机4和特征部30隔开适当的距离，在几乎正对的状态下(参照图1)定位机械手R1和/或机械手R2，将该状态作为“目标值设定用基准状态”。

图5是表示目标值设定用基准状态中的特征部30的位置和照相机的搭载位置的关系的图。图中40表示连接照相机4的透镜中心和特征部代表点31的直线(视线)。另外，Vf表示从在机械手R1的工具安装面上固定的机械接口坐标系∑f看特征部代表点31的位置(行列式)，Sf’表示从在机械手R2的工具安装面上固定的机械接口坐标系∑f’看特征部代表点31的位置(行列式)。

步骤F2；

在目标值设定用基准状态下，使用照相机4执行拍摄，检测包含在特征部30的画面上的位置的2维特征量。在本实施例中，检测特征部30的受光画面上的位置(特征部代表点31的受光画面上的位置)和大小，作为“目标值”存储(设定)。图6表示目标值设定用基准状态中的特征部30的图像的例子。这里，因为把圆形的特征部30和照相机4几乎正对的状态定为目标值设定用基准状态，所以大体在画面的中央形成了圆形的像30c。31c是其中心点。此外，一般考虑照相机4斜着看圆形的特征部30的可能性，“特征部30的受光面上的大小”用“特征部30的受光面上的最大直径(沿椭圆长轴的直径)”代表。

步骤F3；

关于在第二机械手R2上安装的特征部30，使用照相机4以及图像处理装置2测量从在机械手R2的工具安装面上固定的机械接口坐标系∑f’看的位置，亦即看特征部代表点31的位置(行列式)Sf’。在该计量中，可以利用在特愿2004-113451号的说明书/附图中记载的方法。其要点后述。

步骤F4；

关于在第二机械手R2上安装的特征部30，使用照相机4以及图像处理装置2测量从机械手R1的机械手坐标系∑b看的位置，亦即看特征部代表点31的位置(行列式)，存储结果。在该计量中，可以利用在特愿2004-9848号的说明书/附图中记载的方法。其要点后述。

步骤F5；

根据步骤F4的结果和在得到该结果时的机械手R1的当前位置(在∑b上的∑f的位置)，求从在机械手R1的工具安装面上固定的机械接口坐标系∑f看的特征部30的位置，亦即看特征部代表点31的位置(行列式)Vf并存储，结束准备作业。

在以上的准备下，以图7的流程图所示步骤执行。各步骤的要点如下所记。

步骤G1；把第一机械手R1和第二机械手R2移动到第一初始状态的各位置。第一初始状态的各位置(机械手R1的第一初始位置和机械手R2的第一初始位置)，和后述的第二、第三初始位置一样，只要是在照相机4的视野中以适当的大小捕捉特征部30得到的初始状态，一般，可以在3维空间内任意决定。一般，在初始状态下，照相机4和特征部30成为从对应上述的目标值的位置(在本实施例中受光面中央附近；参照图6)稍微偏离的位置。这里，设通过使用照相机4拍摄得到在监视器3中图8中用符号30a表示那样的特征部(图像)位置的状态为第一初始状态。符号31a是30a的中心位置(特征部代表点的位置)。在向初始状态的移动中，例如可以利用使用示教操作盘18的进给移动。

步骤G2；从第一初始状态，移动第一机械手R1，以使得到上述目标值。图8中的符号30b表示对应目标值的特征部30的图像。符号31b是特征部30的图像30b的中心位置(特征部代表点的位置)。

该移动方法比较简单。例如，可以在最初对于∑f的X、Y、Z的各方向，试分别移动一定的量，观察在各图像上在哪个方向上移动有多大程度的变化，导出第一机械手R1(∑f)的3维空间内的移动量和图像上的目标值变化(图像上的移动量的变化和大小的变化)的关系，使机械手R1移动。

因为该方法自身众所周知，所以省略详细说明。图9示出在使特征部30的图像上的位置和大小与目标值一致之前的流程图。首先，进行最初拍摄，检测特征部(步骤S1)。检查检测结果在位置、大小方面对于目标值是否在预先设定的误差范围内(步骤S2)，如在误差范围内则结束处理。例如，如果关于位置、大小的目标值的偏离都在0.1％或以下，则认为在误差范围内。

不在误差范围内的情况下，以当前的检测结果为基础，决定第一机械手R1的移动量(步骤S3)。此外，该移动作为不改变∑f的姿势的平移决定其移动量。接着，执行该决定的平移(步骤S4)，返回步骤S1。通过重复以上的步骤，最终可以使检测结果吻合目标值。

步骤G3；达到目标值的话，对于第一机械手R1和第二机械手R2两者都取入其当前位置，进行存储。分别用P1、Q1表示这些机械手R1、R2的当前位置。

步骤G4；改变步骤G1中的初始状态的各位置，同时重复N次(N≥3)上述步骤G1～步骤G3。例如在N＝3的场合，可以分别选择关于机械手R1的3个初始位置、关于机械手R2的3个初始位置，生成3种初始状态。但是，使关于机械手R1的3个初始位置以及关于机械手R2的3个初始位置的哪一个都不在一直线上排列。

步骤G5；根据通过N次重复得到的机械手R1的位置P1...PN和机械手R2的位置Q1...QN，求表示从∑b到∑b’的坐标变换的行列式T。为此应该解的方程式如下决定。

即，关于上述各位置的集合Pi，Qi(i＝1～N)，因为成立下式，所以通过将其作为联立方程式求解，可以得到T。

T*Qi*Sf’＝Pi*Vf

这里，Sf’以及Vf的数据使用在上述的准备作业中已存储的值。

此外，这样的联立方程式的解法众所周知，这里不详细涉及。另外，在这里向目标值实现的机械手的移动取设置特征部30的机械手R1的移动，但是因为移动照相机或移动计量对象是相对的，所以不需要特别说明可以通过用移动机械手R2达到目标值的同样的方法来计算T。另外，迄今说明了使用通信线路连接各个装置的结构，但是，如在图10中用符号1所示，也可以取1台机械手控制装置，通过1台机械手控制装置来控制第一机械手和第二机械手两者。在这一场合，当然不需要在两台机械手控制装置的场合下必要的机械手控制装置之间的通信线路。此外，在图10中，省略了连接照相机4及机械手控制装置1的图像处理装置的图示。

最后，说明上述的、求“从机械手R2的机械接口坐标系∑f’看特征部代表点31的位置(行列式)Sf’”、和“从机械手R1的机械手坐标系∑b看特征部代表点31的位置(行列式)Vf”的方法的要点。首先，叙述Sf’的求法。

在图5中，记载有照相机4的视线40。视线40是从照相机4的代表点(例如透镜中心)朝向特征部代表点31的直线。关联视线40，在图5中记载坐标系∑v。即，设坐标系∑v是表示从照相机4的代表点(例如透镜中心)朝向特征部代表点31的视线40的坐标系，原点在视线40上，1个坐标轴(例如Z轴)与视线40一致。另外，如所述，∑f是在机械手R1的工具安装面上固定的机械接口的坐标系，∑f’是在机械手R2的工具安装面上固定的机械接口的坐标系。

图11的流程图表示求从∑f’看的特征部代表点31的位置Sf’的步骤的概略。此外，在图11的流程图中，设“机械手”指机械手R2。

[关于步骤T1、T2]

在求使用上述结构的特征部代表点31的相对位置的场合，“求视线40”成为基本操作。一般，公知用于求视线的所谓的照相机校准的方法，但是这里不需要那样的方法。即，为不依赖照相机校准的方法获得关于视线40的信息，使在特征部代表点31的受光面上的位置朝向(到达)受光面上的规定地方那样来移动机械手的处理成为基本的处理。这里，“受光面上的规定地方”具体说例如如“受光面上的中心点(几何学重心位置)”，因为作为“规定的点”预先被定义，所以在下面称这一处理为“规定点移动处理”。

首先在步骤T1，移动机械手R2朝向照相机4把特征部代表点31收在视野中的适当的初始位置(定位机械手到初始位置)。接着，执行如下述的规定点移动处理(步骤T2)。即，使用受光设备(照相机，PSD等)捕捉的特征部代表点31在朝向“受光面上的规定点”那样的方向上移动工具30(利用机械手移动)，实际上，执行在受光面上在规定的误差内使特征部代表点31与规定点一致的处理。

使用在步骤F2中存储的“目标值”作为“受光面上的规定点”。图12是表示使用监视器画面表示使特征部代表点31与“目标值”一致的情况的图。在该图中，设定监视器3的画面，以使点M与“目标值”对应。当前，设机械手R2处于定位在适当的初始位置的状态，特征部30、特征部代表点31的像30d、31d在图示那样的位置显现。

在这一场合，像31d在画面上朝向点M在斜左下方向移动的方向上移动机械手R2应该是不错的。这是和为实现上述目标值移动机械手是同样的移动，比较简单，具体说，例如可以执行试在机械接口坐标系∑f’的XY平面内任意的几个方向(多个方向)上移动机械手R2，每次观察特征部代表点的像31d在图像上在哪个方向上移动，求机械手R2的移动方向和图像上的特征部代表点的移动方向的关系、以及机械手的移动量和图像上的特征部代表点的移动量的关系的步骤。

因为根据这样的方法求移动方向以及移动量这件事自身众所周知，因此省略详细说明。另外，在以下的说明中，假设到这里的准备已经完成。使通过照相机4拍摄的特征部代表点(像31d)和图像上的规定点M一致的处理，因为和图9的流程图中所示的相同，因此极简单地记述。

首先，执行特征部30的拍摄，在图像处理装置2内求特征部代表点31的图像上的位置31d。接着，判断该位置是否在预先设定的误差范围内与图像上的规定点M一致。如果在误差范围内一致(像31e与点M一致)，则结束规定点移动处理。如果不在误差范围内，则计算把像31d在图像上移动到规定点M(像31e)的机械手平移指令(坐标系∑f’的姿势一定)。据此移动机械手R2，移动结束的话再检查一致度。以下同样，在做出“一致”的判断前重复上述循环。

[关于步骤T3]

以上是“规定点移动处理”，在该处理结束的时刻，亦即如果从拍摄在图12中用符号31d表示的特征部代表点的图像的机械手的初始位置，通过上述规定点移动处理，如果结束向获得在规定点M用符号31e表示的特征部代表点像的机械手位置的移动的话，则取得机械手坐标系∑b’上的坐标系∑f’的位置Qf1，并存储。

[关于步骤T4]

下面，前进到求视线40的方向的处理。视线40，在规定点M显现特征部代表点像的状态下，是连接相当于规定点M的照相机拍摄面上的点M和特征部代表点31的直线。这里，该直线对于表示机械手的机械接口的坐标系∑f’求朝向哪个方向。为此首先通过步骤T4的处理使机械手R2平移。图13是关联这一处理的说明图，在该图中，坐标系∑v1是为求视线40的方向考虑的坐标系，设满足下面的条件。

(I)坐标系∑f’和坐标系∑v1具有同一原点。

(II)坐标系∑v1的Z轴方向和视线40的方向一致。

该坐标系∑v1的Z轴，求在规定点移动处理结束时在坐标系∑f’上朝向哪个方向。更具体说，考虑求表示坐标系∑f’上的坐标系∑v1的姿势的欧拉角(W，P，R)内的(W，P)分量。

为此，首先执行的是该步骤T4的平移。在该移动中，不改变工具的姿势使机械手向特征部代表点31和照相机的距离不同的位置平移(参照箭头A)。图13中的符号30a、30b表示移动前、移动后的工具。

[关于步骤T5、T6]

一执行通过步骤T4的平移，当然，一般特征部代表点31的像就再次从规定点M离开。因此，再次执行规定点移动处理(步骤T5)。关于规定点移动处理如在步骤T2中说明的一样，使特征部代表点31的像从规定点M再次回到误差范围内的位置。在步骤T5结束后，取得并存储机械手坐标系∑b’上的坐标系∑f’的位置Qf2(步骤T6)。

[关于步骤T7]

连接在上述步骤T3得到的Qf1和在上述步骤T6得到的Qf2的直线表示视线40的方向。设在步骤T4的机械手移动前的∑f’上看到的从Qf1向Qf2的相对移动量为dX、dY、dZ，则可以使用下式计算表示坐标系∑f’上的坐标系∑v1的姿势的欧拉角(W，P，R)。由此，通过决定坐标系∑v1，其Z轴方向表示视线40的方向。

(公式1)

$W={\tan }^{-1}\left(\frac{-\mathrm{dY}}{\sqrt{{\left(\mathrm{dX}\right)}^2+{\left(\mathrm{dZ}\right)}^2}}\right)$

$P={\tan }^{-1}\left(\frac{\mathrm{dX}}{\mathrm{dZ}}\right)$

R＝0

[关于步骤T8、T9、T10、T11]

在步骤T7是求视线40的方向，下面前进到求视线40的位置的处理。图14a、14b是关联这一处理的说明图，在图14b中，设坐标系∑v2是表示视线40的位置和方向的坐标系，对应作为图5中的坐标系∑v表记的内容，满足下面的条件。

(III)坐标系∑v2在视线40上具有原点。

(IV)坐标系∑v2的Z轴方向和视线40的方向一致。

视线40的方向已经作为坐标系∑v1(参照图14a)的Z轴求得，坐标系∑v2的Z轴方向和坐标系∑v1的Z轴方向相同。为求得原点位置，使机械手向把Qf1围绕坐标系∑v1的Z轴旋转180度的位置移动(步骤T8)，接着再次执行规定点移动处理(步骤T9)。图14a合并记载该旋转移动(参照箭头B)、通过规定点移动处理的移动结束后的状态，在图14b中，表示坐标系∑v2的原点位置。坐标系∑v2的原点位置由旋转移动前后的坐标系∑f的中点给出。

于是，取得并存储旋转移动结束后的机械手位置Qf3(步骤T10)。然后，求该Qf1和Qf3的中点作为坐标系∑v2的原点位置。

然后，把在通过步骤T8的机械手移动前的坐标系∑f’上看去的从Qf1到Qf3的相对移动量作为dX、dY、dZ，使用下式求在坐标系∑f’上看的坐标系∑v2的原点(X，Y，Z)。因为坐标系∑v2的姿势和坐标系∑v1的姿势相同，结果，成为求通过步骤T8的机械手移动前的坐标系∑f’上看的坐标系∑v2的位置、姿势(步骤T11)。

(公式2)

$X=\frac{\mathrm{dX}}{2}$

$Y=\frac{\mathrm{dY}}{2}$

$Z=\frac{\mathrm{dZ}}{2}$

[关于步骤T12、T13、T14、T15]

最后，利用视线40的位置、姿势，执行求特征部代表点的位置的处理。图15是关联这点的说明图。使机械手倾斜移动到把Qf1围绕坐标系∑v2的Y轴倾斜的位置(步骤T12)。然后再次执行规定点移动处理(步骤T13)。图15一起表示该处理结束后的状态和工具30b(坐标系∑v2移动到坐标系∑v2’)。此外，符号30a表示倾斜移动前的特征部。取得步骤T13结束后的机械手位置Qf4(步骤T14)，进行存储。

这里，从机械手定位Qf4时的∑f’看的∑v2’用V表示，机械手定位Qf1时的∑v2表示为

Qf4^-1·Qf1·V

求两者的Z轴的交点的话，其成为位于机械手位置Qf4的特征部代表点31的位置(坐标系∑b’上的位置)。通过使用机械手位置Qf4将其变换为Sf’，可以求坐标系∑b’的特征部代表点31的位置Sf’(步骤T15)。

下面叙述求Vf的方法。求从∑f看的特征部代表点31的位置Vf的步骤的概略在图16的流程图中表示。此外，设在图16的流程图中“机械手”指机械手R1。另外，为方便起见，和图11的流程图共用一部分记号，但是希望注意这些仅在图16的流程图内及其说明中有效。

[关于步骤T1’、T2’]

规定点移动处理，因为以和上述步骤T1、T2同样的处理进行所以省略详细说明，但是总之，使受光设备在用受光设备(照相机，PSD等)捕捉的特征部代表点31在朝向“受光面上的规定点”那样的方向上移动，实际上，是在受光面上在规定的误差内使特征部代表点31与规定点一致的处理。使用在步骤F2中存储的“目标值”作为“受光面上的规定点”(规定点M)。

[关于步骤T3’]

在规定点移动处理结束的时刻，亦即如果在向在规定点M获得特征部代表点像的机械手位置的移动结束后，取得并存储机械手坐标系∑b上的坐标系∑f的位置Qf1。

[关于步骤T4’]

下面，前进到求视线40的方向的处理。视线40，是在规定点M显现特征部代表点像的状态下，连接相当于规定点M的照相机拍摄面上的点M和特征部代表点31的直线。这里，该直线对于表示机械手R1的机械接口的坐标系∑f求朝向哪个方向。为此首先通过步骤T4’的处理使机械手R1平移。

图17是关联这一处理的说明图，在该图中，坐标系∑v1是为求视线40的方向考虑的坐标系，设满足下面的条件。

(I)坐标系∑f和坐标系∑v1具有同一原点。

(II)坐标系∑v1的Z轴方向和视线40的方向一致。

该坐标系∑v1的Z轴，求在规定点移动处理结束时在坐标系∑f上朝向哪个方向。更具体说，考虑求表示坐标系∑f上的坐标系∑v1的姿势的欧拉角(W，P，R)内的(W，P)分量。

为此，首先执行的是该步骤T4’的平移。在该移动中，不改变照相机的姿势使机械手R1向照相机和特征部代表点31的距离不同的位置平移(参照箭头A)。图17中的符号4a、4b表示移动前、移动后的照相机。

[关于步骤T5’、T6’]

一执行通过步骤T4’的平移，当然，一般特征部代表点31的像就再次从规定点M离开。因此，再次执行规定点移动处理(步骤T5’)。关于规定点移动处理已经说明，使特征部代表点31的像从规定点M再次回到误差范围内的位置。在步骤T5’结束后，取得并存储机械手坐标系∑b上的坐标系∑f的位置Qf2(步骤T6’)。

[关于步骤T7’]

连接在上述步骤T3’得到的Qf1和在上述步骤T6’得到的Qf2的直线表示视线40的方向。设在步骤T4’的机械手R1移动前的∑f上看到的从Qf1向Qf2的相对移动量为dX、dY、dZ，则可以使用下式计算表示坐标系∑f上的坐标系∑v1的姿势的欧拉角(W，P，R)。由此，通过决定坐标系∑v1，其Z轴方向表示视线40的方向。

(公式3)

$W={\tan }^{-1}\left(\frac{-\mathrm{dY}}{\sqrt{{\left(\mathrm{dX}\right)}^2+{\left(\mathrm{dZ}\right)}^2}}\right)$

$P={\tan }^{-1}\left(\frac{\mathrm{dX}}{\mathrm{dZ}}\right)$

R＝0

[关于步骤T8’、T9’、T10’、T11’]

在步骤T7’是求视线40的方向，下面前进到求视线40的位置的处理。图18a、18b是关联这一处理的说明图，在图18b中，设坐标系∑v2是表示视线40的位置和方向的坐标系，对应作为图5中的坐标系∑v表记的内容，满足下面的条件。

(III)坐标系∑v2在视线40上具有原点。

(IV)坐标系∑v2的Z轴方向和视线40的方向一致。

视线40的方向已经作为坐标系∑v1(参照图18a)的姿势的Z轴求得，坐标系∑v2的Z轴方向和坐标系∑v1的Z轴方向相同。为求得原点位置，使机械手向把Qf1围绕坐标系∑v1的Z轴旋转180度的位置移动(步骤T8’)，接着再次执行规定点移动处理(步骤T9’)。图18a合并记载该旋转移动(参照箭头B)、通过规定点移动处理的移动结束后的状态，在图18b中，表示坐标系∑v2的原点位置。坐标系∑v2的原点位置由旋转移动前后的坐标系∑f的中点给出。

于是，取得并存储旋转移动结束后的机械手R1的位置Qf3(步骤T10’)。然后，求该Qf1和Qf3的中点作为坐标系∑v2的原点位置。

把在通过步骤T8’的机械手R1移动前的坐标系∑f上看去的从Qf1到Qf3的相对移动量作为dX、dY、dZ，使用下式求在坐标系∑f上看的坐标系∑v2的原点(X，Y，Z)。因为坐标系∑v2的姿势和坐标系∑v1的姿势相同，结果，成为求通过步骤T8’的机械手R1移动前的坐标系∑f上看的坐标系∑v2的位置、姿势(步骤T11’)。

(公式4)

$X=\frac{\mathrm{dX}}{2}$

$Y=\frac{\mathrm{dY}}{2}$

$Z=\frac{\mathrm{dZ}}{2}$

[关于步骤T12’、T13’、T14’、T15’]

最后，利用视线40的位置、姿势，执行求特征部代表点的3维位置的处理。图19是关联这点的说明图。使机械手R1倾斜移动到把Qf1围绕坐标系∑v2的Y轴倾斜的位置(步骤T12’)。

然后再次执行规定点移动处理(步骤T13’)。图19一起表示该处理结束后的状态和视线40b(坐标系∑v2移动到坐标系∑v2’)。此外，视线40a表示倾斜移动前的视线，视线40b表示倾斜移动后的视线。在步骤T13，结束后取得机械手R1的位置Qf4(步骤T14’)，进行存储。

这里，从机械手R1定位Qf1时(参照步骤T3’)的∑f看的∑v2用V表示，另一方面，机械手定位Qf4时的∑v2’表示为

Qf1^-1·Qf4·V。

从这些公式求两者的Z轴的交点的话，其成为机械手位置Qf1的特征部代表点(被测定目标)31的3维位置。通过使用机械手位置将其变换为Vf，可以求从坐标系∑f看的特征部代表点31的位置Vf(步骤T15’)。

在本发明中，是以机械手位置Qf1中的特征部30的在受光面上的大小和在步骤F2中存储的“大小目标值”相同为前提的。

这样根据本发明，可以不需要校准夹具进行求机械手之间的相对位置的校准作业。而且，在本发明中，校准作业是非接触式，可以确保精度，而且简单地执行。其结果，在同时使用多个机械手的机械手系统中可以减轻关联用户负担的示教成本以及使用夹具的成本。

虽然以示教实施例表示和说明了本发明，但是熟悉本技术领域的人应该理解，在上述实施例内或者对其可以进行上述和各种改变、删减和添加，而不离开本发明的精神和范围。

Claims (12)

1. 一种机械手系统，具有设定第一机械手坐标系(∑b)的第一机械手(R1)和设定第二机械手坐标系(∑b’)的第二机械手(R2)，其特征在于，包括：

在上述第一机械手(R1)或者在该第一机械手(R1)上安装的物体上搭载的、包含受光设备(4)的计量装置，

把上述第一机械手(R1)至少定位在三个互相不同的第一机械手初始位置的第一机械手定位部件(5)，

将上述第二机械手(R2)与各上述第一机械手初始位置对应而定位在互相不同的第二机械手初始位置的第二机械手定位部件(6)，

使用上述受光设备(4)捕捉在上述第二机械手(R2)或者在该第二机械手(R2)上安装的物体上的可成像于上述受光设备的受光面上的特征部(30)、检测特征部(30)在上述受光设备(4)的受光面上形成的图像的特征部检测部件(11)，

根据利用该特征部检测部件的上述特征部的检测结果，计算上述第二机械手(R2)的平移量使上述特征部(30)在上述受光面上形成的图像的位置和大小与预先确定的目标值一致的第二机械手平移量计算部件(11)，

根据利用该第二机械手平移量计算部件求得的上述第二机械手(R2)的平移量使上述第二机械手(R2)平移的第二机械手移动部件(6)，

取得并存储该平移后的上述第二机械手(R2)的位置信息的位置信息存储部件(12)；和

在上述第一机械手(R1)利用上述第一机械手定位部件(5)定位在各上述第一机械手初始位置的状态下，使上述第二机械手(R2)从与各该第一机械手初始位置对应的上述第二机械手初始位置，根据利用上述第二机械手平移量计算部件(11)的上述平移量的计算结果通过上述第二机械手移动部件(6)进行平移，根据在每次结束该平移时利用上述位置信息存储部件(12)存储的上述第二机械手(R2)的位置信息和上述第一机械手初始位置的信息，计算上述第一机械手坐标系(∑b)和上述第二机械手坐标系(∑b’)的相对位置的相对位置计算部件(11)。

2. 根据权利要求1所述的机械手系统，其特征在于，还包括在上述第二机械手(R2)的上述平移后、在取得并存储上述第二机械手(R2)的位置前，判定特征部(30)在上述受光设备(4)的受光面上形成的图像的上述受光面上的位置和大小在规定的误差内是否与上述目标值一致的一致判定部件(11)。

3. 根据权利要求2所述的机械手系统，其特征在于，还包括在通过上述一致判定部件不能判定在上述规定的误差内一致的情况下利用上述第二机械手定位部件(6)使上述第二机械手(R2)再次定位在第二机械手初始位置的部件(11)。

4. 一种机械手系统，具有设定第一机械手坐标系(∑b)的第一机械手(R1)和设定第二机械手坐标系(∑b’)的第二机械手(R2)，其特征在于，包括：

在上述第一机械手(R1)或者在该第一机械手(R1)上安装的物体上搭载的、包含受光设备(4)的计量装置，

将上述第二机械手(R2)至少定位在三个互相不同的第二机械手初始位置的第二机械手定位部件(6)，

将上述第一机械手(R1)与各上述第二机械手初始位置对应而定位在互相不同的第一机械手初始位置上的第一机械手定位部件(5)，

使用上述受光设备(4)捕捉在上述第二机械手(R2)或者在该第二机械手(R2)上安装的物体上的可成像于上述受光设备的受光面上的特征部(30)、检测特征部(30)在上述受光设备(4)的受光面上形成的图像的特征部检测部件(11)，

根据利用该特征部检测部件的上述特征部的检测结果，计算上述第一机械手(R1)的平移量使上述特征部(30)在上述受光面上形成的图像的位置和大小与预先确定的目标值一致的第一机械手平移量计算部件(11)，

根据利用该第一机械手平移量计算部件求得的上述第一机械手(R1)的平移量使上述第一机械手(R1)平移的第一机械手移动部件(5)，

取得并存储该平移后的上述第一机械手(R1)的位置信息的位置信息存储部件(12)，和

在上述第二机械手(R2)利用上述第二机械手定位部件(6)定位在各上述第二机械手初始位置的状态下，使上述第一机械手(R1)从与各该第二机械手初始位置对应的上述第一机械手初始位置，根据利用上述第一机械手平移量计算部件(11)的上述平移量的计算结果通过上述第一机械手移动部件(5)进行平移，根据在每次结束该平移时利用上述位置信息存储部件(12)存储的上述第一机械手(R1)的位置信息和上述第二机械手初始位置的信息，计算上述第一机械手坐标系(∑b)和上述第二机械手坐标系(∑b’)的相对位置的相对位置计算部件(11)。

5. 根据权利要求4所述的机械手系统，其特征在于，还包括在上述第一机械手(R1)的上述平移后、在取得并存储上述第一机械手(R1)的位置前，判定特征部(30)在上述受光设备(4)的受光面上形成的图像的上述受光面上的位置和大小是否在规定的误差内与上述目标值一致的一致判定部件(11)。

6. 根据权利要求5所述的机械手系统，其特征在于，包括在通过上述一致判定部件不能在上述规定的误差内判定一致的情况下利用上述第一机械手定位部件(5)使上述第一机械手(R1)再次定位在第一机械手初始位置的部件(11)。

7. 根据权利要求1或4所述的机械手系统，其特征在于，上述第一机械手(R1)连接在第一机械手控制装置(5)上，另一方面，上述第二机械手(R2)连接在和上述第一机械手控制装置(5)不同的第二机械手控制装置(6)上，

上述第一机械手控制装置(5)和上述第二机械手控制装置(6)使用通信部件连接。

8. 根据权利要求1或4所述的机械手系统，其特征在于，上述第一机械手(R1)和上述第二机械手(R2)连接在同一机械手控制装置(1)上。

9. 根据权利要求1或4所述的机械手系统，其特征在于，在计算上述第一机械手(R1)和上述第二机械手(R2)的相对位置时临时搭载上述计量装置。

10. 根据权利要求1或4所述的机械手系统，其特征在于，在计算上述第一机械手(R1)和上述第二机械手(R2)的相对位置时临时设置上述特征部(30)。

11. 根据权利要求1或4所述的机械手系统，其特征在于，上述受光设备(4)是拍摄2维图像的照相机。

12. 根据权利要求1或4所述的机械手系统，其特征在于，上述受光设备(4)是位置检测型检测器。

Images