CN104889973A - 机械手、机械手系统、控制装置以及控制方法 - Google Patents

Abstract

本发明涉及机械手、机械手系统、控制装置、以及控制方法。机械手包括手部、以及使手部动作的控制部。控制部基于包括手部和第1物体的拍摄图像，通过手部使第1物体以第1物体的规定位置为中心旋转，来使第1物体相对于第2物体相对移动。

Description

机械手、机械手系统、控制装置以及控制方法

技术领域

本发明涉及机械手、机械手系统、控制装置、以及控制方法。

本申请基于2014年3月7日提出的日本专利申请2014－045752号主张优先权，并在此引用其内容。

背景技术

正在研究、开发基于由力传感器取得的信息、即与作用于机械手的把持部、把持部所把持的操作对象的力相关的信息、以及由拍摄部拍摄到的拍摄图像，来进行机械手的顺应运动控制的技术。

与此相关联，例如已知有一种如下所述的控制装置：在使机械手进行将操作对象和组装对象组装成规定的状态的组装作业的情况下，通过从拍摄图像逐次取得对操作对象定义的顺应运动控制的坐标轴的朝向，即使在作业中操作对象的姿势变化，也控制机械手，以保持初始状态下的对于顺应运动控制的各轴设定的运动特性，进行良好的组装作业。而且，已知有一种在这样的控制装置中，通过根据施加于操作对象的旋转力矩，将操作对象进行旋转运动时的旋转中心设定为操作对象的规定位置，来控制机械手以便进行良好的组装作业的方法(参照非专利文献1)。

非专利文献1：Proceedings of the 2001 IEEE/RSJ InternationalConference on Intelligent Robots and Systems,pp.1477-1482,2001.

然而，在现有的方法中，若因在作业中操作对象与组装对象接触，导致旋转中心的位置与把持部和操作对象的相对位置一起变化，则存在无法检测出该旋转中心的位置的变化，不能进行良好的组装作业的情况。

发明内容

因此，本发明鉴于上述现有的方法的问题而完成的，提供能够进行良好的组装作业的机械手、机械手系统、控制装置、以及控制方法。

本发明的一个方式涉及的机械手包括手部、以及使上述手部动作的控制部，上述控制部基于包括上述手部和第1物体的拍摄图像，通过上述手部使上述第1物体以上述第1物体的规定位置为中心旋转，来使上述第1物体相对于第2物体相对移动。

通过该构成，机械手基于包括手部和第1物体的拍摄图像，通过手部使第1物体以第1物体的规定位置为中心旋转，使第1物体相对于第2物体相对移动。因此，机械手能够进行良好的组装作业。

另外，本发明的一个方式也可以采用如下的构成，在机械手中，上述规定位置是与上述第1物体一起移动的坐标原点，上述控制部除了使上述第1物体旋转以外，还使上述第1物体平移。

通过该构成，机械手将旋转的情况下的旋转中心作为与第1物体一起移动的坐标原点，通过旋转和平移使第1物体相对于第2物体相对移动。因此，机械手能够进行良好的组装作业。

另外，本发明的一个方式也可以采用如下的构成，在机械手中，上述控制部基于上述拍摄图像来进行视觉伺服控制。

通过该构成，机械手基于拍摄图像进行视觉伺服控制。因此，由于机械手能够使第1物体相对于第2物体逐次相对移动，所以结果能够进行高精度的良好的组装作业。

上述控制部也可以采用如下的构成：按照上述规定位置以及对各轴向设定的运动特性来进行顺应运动控制。

通过该构成，机械手按照规定位置以及对各轴向设定的运动特性来进行顺应运动控制。因此，机械手能够不破坏第2物体地对于第2物体组装第1物体。

另外，本发明的一个方式也可以使用如下的构成，在机械手中，上述控制部基于上述拍摄图像，导出在上述手部设定的位置与在上述第1物体设定的位置的相对位置关系，基于上述导出的位置关系来更新上述规定位置。

通过该构成，机械手基于拍摄图像，导出在手部设定的位置与在第1物体设定的位置的相对位置关系，基于导出的位置关系来更新规定位置。因此，即使手部与规定位置的位置关系因外力而偏移，机械手也能够以偏移后的规定位置为中心使第1物体相对于第2物体相对移动，结果，能够进行良好的组装作业。

另外，本发明的一个方式也可以采用如下的构成，在机械手中，上述控制部基于上述导出的位置关系、以及在上述第1物体设定的位置与上述规定位置的相对位置关系，来更新上述规定位置。

通过该构成，机械手导出在手部设定的位置与在第1物体设定的位置的相对位置关系，基于导出的位置关系、以及在第1物体设定的位置与规定位置的相对位置关系来更新规定位置。因此，即使手部与规定位置的位置关系因外力而偏移，机械手也能够经由在第1物体设定的位置，间接地根据在手部设定的位置与规定位置的相对位置关系，来识别偏移后的规定位置，结果，能够以偏移后的规定位置为中心使第1物体相对于第2物体相对移动。

另外，本发明的一个方式也可以采用如下的构成，机械手具备表示对作用于上述手部的外力进行检测的力传感器的位置的标记，上述拍摄图像还包括上述标记，在机械手中，在上述手部设定的位置由上述力传感器的位置表示，上述控制部基于从上述拍摄图像检测出的上述标记的位置，导出在上述手部设定的位置与上述规定位置的相对位置关系，并基于上述导出的在上述手部设定的位置与上述规定位置的相对位置关系，来更新上述规定位置。

通过该构成，机械手基于对从拍摄图像检测出的力传感器的位置进行表示的标记的位置，导出在手部设定的位置与规定位置的相对位置关系，并基于导出的在手部设定的位置与规定位置的相对位置关系，来更新规定位置。因此，即使在力传感器被机械手的臂部的部件覆盖的情况下，机械手也能够将表示力传感器的标记的位置作为标识，来识别第1物体的位置，结果，能够进行良好的组装作业。

另外，本发明的一个方式也可以采用如下的构成，机械手具备对作用于上述手部的外力进行检测的力传感器，在上述手部设定的位置由上述力传感器的位置表示，在机械手中，上述控制部基于上述力传感器的初始状态下的位置以及姿势，导出在上述手部设定的位置与上述规定位置的相对位置关系，并基于上述导出的在上述手部设定的位置与上述规定位置的相对位置关系来更新上述规定位置。

通过该构成，机械手基于力传感器的初始状态下的位置以及姿势，导出在手部设定的位置与规定位置的相对位置关系，并基于导出的在手部设定的位置与规定位置的相对位置关系来更新规定位置。因此，即使包括力传感器的机械手的臂部从拍摄部的视角偏移的情况下，机械手也能够识别第1物体的位置，结果，能够进行良好的组装作业。

另外，本发明的一个方式是机械手系统，包括具备手部的机械手、以及拍摄上述手部和第1物体的拍摄部，上述机械手基于由上述拍摄部拍摄到的包括上述手部和上述第1物体的拍摄图像，使上述第1物体以上述第1物体的规定位置为中心旋转，来使上述第1物体相对于第2物体相对移动。

通过该构成，机械手系统基于包括手部和第1物体的拍摄图像，使第1物体以第1物体的规定位置为中心旋转，来使第1物体相对于第2物体相对移动。因此，机械手系统能够通过机械手进行良好的组装作业。

另外，本发明的一个方式是使具备手部的机械手动作的控制装置，基于包括上述手部和第1物体的拍摄图像，通过上述机械手使上述第1物体以上述第1物体的规定位置为中心旋转，来使上述第1物体相对于第2物体相对移动。

通过该构成，控制装置基于包括手部和第1物体的拍摄图像，通过机械手使第1物体以第1物体的规定位置为中心旋转，来使第1物体相对于第2物体相对移动。因此，控制装置能够通过机械手进行良好的组装作业。

另外，本发明的一个方式是使具备手部的机械手动作的控制方法，包括：取得包括上述手部和第1物体的拍摄图像的步骤；和基于上述拍摄图像，使上述第1物体以上述第1物体的规定位置为中心旋转，来使上述第1物体相对于第2物体相对移动的步骤。

通过该构成，控制方法基于拍摄图像使第1物体以第1物体的规定位置为中心旋转，来使第1物体相对于第2物体相对移动。因此，控制方法能够进行良好的组装作业。

综上所述，机械手、机械手系统、控制装置、以及控制方法基于包括手部和第1物体的拍摄图像，通过手部使第1物体以第1物体的规定位置为中心旋转，来使第1物体相对于第2物体相对移动。因此，机械手、机械手系统、控制装置、以及控制方法能够进行良好的组装作业。

附图说明

图1是表示第1实施方式所涉及的机械手系统1的一个例子的构成图。

图2是表示在机械手系统1中使用的坐标系的一个例子的图。

图3是表示控制装置30的硬件构成的一个例子的图。

图4是表示控制装置30的功能构成的一个例子的图。

图5是表示控制装置30用于控制机械手20以使其将操作对象M和组装对象O组装的处理的流程的一个例子的流程图。

图6是表示第2实施方式所涉及的机械手系统2的一个例子的构成图。

图7是示意性地表示由第3实施方式所涉及的机械手系统1进行的规定的作业的一个例子的图。

图8是表示控制装置30的控制部36用于使机械手20动作以便利用扳手M1拧紧螺栓O1的处理的流程的一个例子的流程图。

具体实施方式

<第1实施方式>

以下，参照附图对本发明的第1实施方式进行说明。图1是表示第1实施方式所涉及的机械手系统1的一个例子的构成图。机械手系统1具备拍摄部10、机械手20、以及控制装置30。

拍摄部10例如是具备将汇聚的光转换为电信号的作为拍摄元件的CCD(Charge Coupled Device：点和耦合器件)、CMOS(ComplementaryMetal Oxide Semiconductor：互补金属氧化物半导体)等的照相机。另外，拍摄部10是由2台照相机构成的立体相机，不过例如也可以由3台以上的照相机构成，还可以是通过1台照相机来拍摄二维图像的构成。

拍摄部10通过线缆与控制装置30连接成能够进行通信。经由线缆的有线通信例如根据以太网(注册商标)、USB(Universal Serial Bus：通用串行总线)等标准来进行。此外，拍摄部10和控制装置30也可以是通过利用Wi－Fi(注册商标)等通信标准进行的无线通信而连接的构成。

拍摄部10将包括机械手20、机械手20的把持部HND所把持的操作对象M、通过机械手20组装操作对象M的组装对象O的范围设置为能够拍摄的位置。操作对象M例如是通过以规定的状态向组装对象O组装，来形成一个工业产品的部件。其中，在以下的说明中，以操作对象M预先被机械手20的把持部HND把持为前提。

如图1所示，组装对象O在能够通过机械手20组装操作对象M的范围内，通过夹具等被预先设置于远离机械手20的位置。

机械手20例如是具备把持部HND(末端执行器)、力传感器22、臂部ARM(机械手)、以及未图示的多个致动器的单臂机械手。此外，机械手系统1也可以不是具备单臂机械手的构成，而是具备双臂机械手的构成。关于机械手系统1具备双臂机械手的构成的实施例，将在第2实施方式中进行说明。

机械手20的臂为6轴垂直多关节型，能够通过支承台、臂部ARM、以及把持部HND利用致动器实现的联合的动作来进行6轴自由度的动作。此外，机械手20的臂也可以是以5自由度(5轴)以下来动作的部件，还可以是以7自由度(7轴)以上来动作的部件。以下，对通过具备把持部HND以及臂部ARM的臂而进行的机械手20的动作进行说明。其中，把持部HND是手部(hand)的一个例子。

机械手20例如通过线缆与控制装置30连接成能够进行通信。经由线缆的有线通信例如根据以太网(注册商标)、USB等标准来进行。此外，机械手20和控制装置30也可以通过根据Wi－Fi(注册商标)等通信标准进行的无线通信来连接。另外，在机械手系统1中，如图1所示，机械手20成为与设置于机械手20的外部的控制装置30连接的构成，但也可以代替该构成而构成为控制装置30被内置于机械手20。

机械手20的把持部HND具备能够把持物体的爪部。

力传感器22设置于机械手20的把持部HND与臂部ARM之间，检测作用于把持部HND(或者把持部HND所把持的操作对象M)的力、力矩。力传感器22将表示检测到的力、力矩的信息通过通信向控制装置30输出。表示由力传感器22检测到的力、力矩的信息例如被用于由控制装置30执行的机械手20的顺应运动控制等。

机械手20从控制装置30取得基于操作对象M、组装对象O、力传感器22各个的相对位置关系的控制信号，基于取得的控制信号来对操作对象M进行规定的作业。规定的作业例如是使机械手20的把持部HND所把持的操作对象M从当前位置移动而组装于组装对象O的作业等。

控制装置30进行控制以使机械手20进行规定的作业。更具体而言，控制装置30基于由拍摄部10拍摄到的拍摄图像、即拍摄到包括机械手20、机械手20的把持部HND所把持的操作对象M、以及被机械手20组装操作对象M的组装对象O的范围的拍摄图像，来导出操作对象M、组装对象O以及力传感器22的相对位置关系。

然后，控制装置30基于导出的相对位置关系来控制机械手20以使机械手20进行规定的作业。即，控制装置30通过把持部HND以及臂部ARM使操作对象M相对于组装对象O相对移动，来控制机械手20以使操作对象M组装到组装对象O。

另外，控制装置30在使操作对象M相对于组装对象O相对移动时，存在控制机械手20以便机械手20使由把持部HND把持的操作对象M旋转的情况。该情况下，控制装置30控制机械手20以使操作对象M以设定于操作对象M的规定位置(以下称为旋转中心位置)为中心旋转。其中，以下将旋转中心位置处的操作对象M的姿势称为旋转中心姿势。

在该控制中，即使在操作对象M与力传感器22的相对位置以及姿势(相对位置关系)变化了的情况下，控制装置30也从由拍摄部10拍摄到的拍摄图像中检测相对的位置关系变化之后的旋转中心位置以及旋转中心姿势。基于检测出的旋转中心位置以及旋转中心姿势，控制装置30总是以设定于操作对象M的旋转中心位置为中心，并以旋转中心姿势为基准来使操作对象M旋转。其中，旋转中心位置由用户设定为操作对象M上的任意的位置。另外，虽然旋转中心姿势设为旋转中心位置处的操作对象M的姿势，但如果是与操作对象M的姿势相对应的姿势，则也可以不与操作对象M的姿势一致。

这里，参照图2对在机械手系统1中使用的坐标系进行说明。图2是例示在机械手系统1中使用的坐标系的图。其中，在以下的说明中，以“_”之后记载的文字表示“_”近前的文字的下标的方式来进行说明。如图2所示，机械手系统1的控制装置30使用7个三维正交坐标系，即拍摄部坐标系Σ_c、作业坐标系Σ_w、工具坐标系Σ_t、重心坐标系Σ_g、操作对象坐标系Σ_m、外力坐标系Σ_e、以及组装对象坐标系Σ_o，来进行用于以机械手20进行规定的作业的方式加以控制的处理。这7个坐标系的原点以及坐标轴的方向由用户设定(存储或者登记)于控制装置30。

这7个坐标系的原点均被设定成跟随对象X而移动，以便表示对象X(在当前情况为拍摄部10、机械手20的支承台、力传感器22、操作对象M的重心、操作对象M的旋转中心、操作对象M、组装对象O)的位置。另外，这7个坐标系的坐标轴的方向均被设定成跟随对象X的姿势变化而移动，以便表示对象X的姿势。此外，用户也可以在能够将对象X的位置与坐标系的原点的位置建立关联，并且能够将对象X的倾斜度与坐标系的方向建立关联的前提下，将对于对象X设定的坐标系的原点的位置和坐标轴的方向设定为任意的位置和方向。

拍摄部坐标系Σ_c是表示拍摄部10的位置(例如，将拍摄元件上预先决定的位置作为原点)以及姿势的坐标系。

作业坐标系Σ_w是表示机械手20的支承台的位置以及姿势的坐标系。

工具坐标系Σ_t是被设定为力传感器22的位置(例如，将力传感器22的重心、表示力传感器22的位置的标记的位置作为原点)以及姿势的坐标系。其中，在本实施方式中，为了简化说明，工具坐标系Σ_t表示力传感器22的位置以及姿势，并且表示把持部HND的位置以及姿势。一般，表示力传感器21的位置以及姿势的传感器坐标系不与表示把持部HND的位置以及姿势的手指尖(把持部)坐标系一致，控制装置30使用作业坐标系与传感器坐标系的相对位置关系、以及传感器坐标系与手指尖坐标系的相对位置关系，来计算作业坐标系与手指尖坐标系的相对位置关系，基于计算出的作业坐标系与手指尖坐标系的相对位置关系来进行机械手20的控制。

重心坐标系Σ_g是表示操作对象M的重心的位置以及姿势的坐标系。

操作对象坐标系Σ_m是表示操作对象M(例如，在初始状态下最远离把持部HND的操作对象M上的位置等)的位置以及姿势的坐标系。

外力坐标系Σ_e是定义作用于对象物的外力以及外力矩的坐标系。另外，在本说明书中，使定义基于顺应运动控制的运动的坐标系与外力坐标系Σ_e一致。即，基于顺应运动控制的旋转运动以外力坐标系Σ_e的姿势作为基准，由外力坐标系Σ_e的围绕原点的旋转表示。不过，这些也可以不一致，用户能够任意地配置。此外，以下只要不需要进行区别，便将作用于对象物的外力(即，由力传感器检测到的外力)简称为力，将外力矩(即，由力传感器检测到的力矩)称为力矩。如上所述，旋转中心位置能够由用户设定为任意的位置，但在本实施方式中，对被设定为操作对象M上的规定位置的情况进行说明。

组装对象坐标系Σ_o是表示组装对象O(例如，最接近操作对象M的组装对象O上的位置)的位置以及姿势的坐标系。

在以下的说明中，由于坐标系跟随对象X而移动，所以将坐标系a中的坐标系b的原点的位置作为设定有坐标系b的对象X的位置来进行说明。例如，将作业坐标系Σ_w中的操作对象坐标系Σ_m的原点的位置称为作业坐标系Σ_w中的操作对象M的位置。与此相同，将坐标系a中的坐标系b的姿势作为设定有坐标系b的对象X的姿势进行说明。例如，将作业坐标系Σ_w中的操作对象坐标系Σ_m的姿势称为作业坐标系Σ_w中的操作对象M的姿势。

这里，在记载更具体的说明之前，表示对控制装置30进行的处理进行说明所使用的公式的表示方法。首先，在以下的说明中，以“＾”之后记载的文字表示“＾”近前的文字的上标来进行说明。另外，将附注有“(→)”的最近前的文字作为向量来进行说明。另外，将附注有“(＾)”的最近前的文字作为矩阵来进行说明。

在这些表示方法下，在坐标系a中，将表示设定有坐标系b的对象X的位置的向量表示为位置向量p_b＾a(→)。如以下的公式(1)所示，位置向量p_b＾a(→)由坐标系b中的对象X的x坐标x＾b、y坐标y＾b、z坐标z＾b定义。

$\stackrel{\&RightArrow;}{p_b^a}=\left[\begin{array}{ccc}{x}_b^a& y_b^a& z_b^a\end{array}\right]...\left(1\right)$

与位置向量的表示方法相同，将表示在坐标系a中设定有坐标系b的对象X的姿势的向量表示为姿势向量o_b＾a(→)。如以下的公式(2)所示，姿势向量o_b＾a(→)使用欧拉角(α_b＾a，β_b＾a，γ_b＾a)将其分量如以下的公式(2)那样表示。

$\stackrel{\&RightArrow;}{o_b^a}=\left[\begin{array}{ccc}{\mathrm{\&alpha;}}_b^a& {\mathrm{\&beta;}}_b^a& {\mathrm{\&gamma;}}_b^a\end{array}\right]...\left(2\right)$

这里，欧拉角为了使坐标系a的x轴、y轴以及z轴分别与坐标系b的x轴、y轴以及z轴一致而被定义为绕坐标系a的z轴、y轴以及x轴旋转的角度，分别表示为γ_b＾a、β_b＾a以及α_b＾a。

将使由坐标系b的姿势表示的对象X的位置、姿势旋转为由坐标系a的姿势表示的对象X的位置、姿势时的旋转矩阵表示为旋转矩阵R_b＾a(＾)。其中，上述的欧拉角与旋转矩阵之间存在以下所示的公式(3)的关系。

$\begin{array}{c}\stackrel{\&RightArrow;}{o}\left(\hat{R}\right)=\left[a\tan (R_{33}/-R_{23})a\sin \left(R_{13}\right)a\tan (-R_{32}/R_{13})\right]\\ \hat{R}\left(\stackrel{\&RightArrow;}{o}\right)=\left[\begin{array}{ccc}\cos \mathrm{\&beta;}\cos \mathrm{\&gamma;}& -\cos \mathrm{\&beta;}\sin \mathrm{\&gamma;}& \sin \mathrm{\&beta;}\\ \sin \mathrm{\&alpha;}\sin \mathrm{\&beta;}\cos \mathrm{\&gamma;}+\cos \mathrm{\&alpha;}\sin \mathrm{\&gamma;}& -\sin \mathrm{\&alpha;}\sin \mathrm{\&beta;}\sin \mathrm{\&gamma;}+\cos \mathrm{\&alpha;}\cos \mathrm{\&gamma;}& -\sin \mathrm{\&alpha;}\cos \mathrm{\&beta;}\\ -\cos \mathrm{\&alpha;}\sin \mathrm{\&beta;}\cos \mathrm{\&gamma;}+\sin \mathrm{\&alpha;}\sin \mathrm{\&gamma;}& \cos \mathrm{\&alpha;}\sin \mathrm{\&beta;}\sin \mathrm{\&gamma;}+\sin \mathrm{\&alpha;}\cos \mathrm{\&gamma;}& \cos \mathrm{\&alpha;}\cos \mathrm{\&beta;}\end{array}\right]\end{array}...\left(3\right)$

这里，由上述的公式(1)～(3)表示的向量能够通过以下的变换式(4)～(6)来切换尾标的上下。

${\stackrel{\&RightArrow;}{o}}_a^b=\stackrel{\&RightArrow;}{o}\left({\left[\hat{R}\left({\stackrel{\&RightArrow;}{o}}_b^a\right)\right]}^T\right)...\left(4\right)$

${\stackrel{\&RightArrow;}{p}}_a^b={\left[{\hat{R}}_b^a\right]}^T(-{\stackrel{\&RightArrow;}{p}}_b^a)...\left(5\right)$

${\hat{R}}_a^b={\left[{\hat{R}}_b^a\right]}^T...\left(6\right)$

这里，[R_b＾a(＾)]＾T表示R_a＾b的转置矩阵。即，旋转矩阵的尾标能够通过对旋转矩阵进行转置而更换，向量的尾标能够通过旋转矩阵来更换。其中，以下除了必要的情况以外，都将表示在坐标系a中设定有坐标系b的对象X的位置的位置向量p_b＾a(→)简称为坐标系a中的对象X的位置。例如，将表示对在拍摄部坐标系Σ_c中所示的组装对象O设定的组装对象坐标系Σ_o的原点的位置的位置向量p_o＾c(→)简称为拍摄部坐标系Σ_c中的组装对象O的位置。

与位置的情况相同，以下除了必要的情况以外，都将表示在坐标系a中设定有坐标系b的对象X的姿势的姿势向量o_b＾a(→)简称为坐标系a中的对象X的姿势。例如，将对在拍摄部坐标系Σ_c中所示的组装对象O设定的组装对象坐标系Σ_o的姿势的姿势向量o_o＾c(→)简称为拍摄部坐标系Σ_c中的组装对象O的姿势。

接下来，参照图3对控制装置30的硬件构成进行说明。图3是表示控制装置30的硬件构成的一个例子的图。控制装置30例如具备CPU(Central Processing Unit：中央处理器)31、存储部32、输入受理部33、以及通信部34，经由通信部34与拍摄部10、机械手20等进行通信。这些构成要素经由总线Bus彼此连接成能够进行通信。CPU31执行储存于存储部32的各种程序。

存储部32例如包括HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态硬盘)、EEPROM(Electrically ErasableProgrammable Read－Only Memory：带电可擦可编程只读存储器)、ROM(Read－Only Memory：只读存储器)、RAM(Random AccessMemory：随机存取存储器)等，储存控制装置30处理的各种信息、图像、程序。此外，存储部32也可以代替内置于控制装置30的存储装置，而是通过USB等数字输入输出端口等连接的外置型存储装置。

输入受理部33例如是键盘、鼠标、触摸板、其他的输入装置。此外，输入受理部33也可以作为显示部发挥作用，并且还可以构成为触摸面板。

通信部34例如构成为包括USB等数字输入输出端口、以太网端口等。

接下来，通过参照图4，来对控制装置30的功能构成进行说明。图4是表示控制装置30的功能构成的一个例子的图。控制装置30具备存储部32、输入受理部33、图像取得部35、以及控制部36。这些功能部中的一部分或者全部例如通过CPU31执行存储于存储部32的各种程序来实现。另外，这些功能部中的一部分或者全部也可以是LSI(LargeScale Integration：大规模集成电路)、ASIC(Application SpecificIntegrated Circuit：专用集成电路)等硬件功能部。

控制装置30通过在视觉伺服(Visual Servo)的循环中组装顺应运动控制，来以不破坏操作对象M地成为组装了操作对象M和组装对象O的状态的方式使操作对象M相对于组装对象O相对移动。更具体而言，控制装置30使用视觉伺服技术来控制机械手20，以使操作对象M成为与预先存储于存储部32的模板图像(例如，操作对象M和组装对象O被组装了的状态的CAD(Computer Aided Design：计算机辅助设计)图像)相同的状态。

此时，控制装置30检测由拍摄部10拍摄到的拍摄图像中的操作对象M与力传感器22的相对位置关系，在基于检测到的相对位置关系，通过顺应运动控制控制机械手20时，逐次决定规定该动作的旋转中心位置以及旋转中心姿势。而且，控制装置30控制机械手20，以便在使机械手20进行使操作对象M旋转的动作时，以旋转中心位置为中心，使操作对象M以旋转中心姿势为基准来进行旋转。另外，控制装置30控制机械手20，以便在机械手20使操作对象M平移时，以旋转中心姿势为基准来平移。

另外，控制装置30具备未图示的计时部，在由计时部计时而达到的时刻，从图像取得部35取得由拍摄部10拍摄到的拍摄图像，在与此相同的时刻，从机械手20的力传感器22取得表示由力传感器22检测到的力以及力矩的信息。

图像取得部35取得由拍摄部10拍摄到的拍摄图像。图像取得部35向控制部36输出取得到的拍摄图像。

控制部36具备目标导出部39、旋转中心位置计算部41、外力计算部43、负荷缓和动作量计算部45、移动动作量计算部46、动作结束判定部47、以及机械手控制部49。

目标导出部39根据由图像取得部35取得的拍摄图像，检测拍摄部坐标系Σ_c中的组装对象O的位置以及姿势。

另外，目标导出部39基于拍摄部坐标系Σ_c中的组装对象O的位置以及姿势，来导出组装结束后的拍摄部坐标系Σ_c中的操作对象M的位置以及姿势。目标导出部39在进行该导出时，基于上述的模板图像来检测组装结束后的操作对象M的位置以及姿势。以下，将目标导出部39导出的组装结束后的拍摄部坐标系Σ_c中的操作对象M的位置以及姿势称为目标位置以及姿势。

旋转中心位置计算部41根据由图像取得部35取得到的拍摄图像，来检测拍摄部坐标系Σ_c中的操作对象M的当前位置以及姿势。另外，旋转中心位置计算部41检测工具坐标系Σ_t中的拍摄部10的位置以及姿势。另外，旋转中心位置计算部41基于检测到的拍摄部坐标系Σ_c中的操作对象M的当前位置以及姿势、工具坐标系Σ_t中的拍摄部10的位置以及姿势、以及由用户预先设定的操作对象坐标系Σ_m中的旋转中心位置以及旋转中心姿势，来计算工具坐标系Σ_t中的旋转中心位置以及旋转中心姿势。

另外，旋转中心位置计算部41根据正向运动学来计算作业坐标系Σ_w中的力传感器22的位置以及姿势。另外，旋转中心位置计算部41基于计算出的工具坐标系Σ_t中的旋转中心位置以及旋转中心姿势、和作业坐标系Σ_w中的力传感器22的位置以及姿势，来计算外力坐标系Σ_e中的机械手20的支承台的位置以及姿势。

外力计算部43基于由旋转中心位置计算部41计算出的外力坐标系Σ_e中的机械手20的支承台的位置以及姿势，来计算将从力传感器22取得的作用于把持部HND的力以及力矩、即在工具坐标系Σ_t中表示的力以及力矩在外力坐标系Σ_e中表示的力以及力矩。

负荷缓和动作量计算部45基于由外力计算部43计算出的力、力矩、即在外力坐标系Σ_e中表示的力以及力矩，来计算为了使作用于机械手20的把持部HND所把持的操作对象M的力缓和而移动操作对象M的缓和动作量、即外力坐标系Σ_e中的缓和动作量。这里，缓和动作量是指使操作对象M向检测到的力所作用的方向平移的微小移动量(以下，称为微小缓和移动量)、和使操作对象M向检测出的力矩的方向旋转的微小旋转量(以下，称为微小缓和旋转量)。负荷缓和动作量计算部45基于计算出的外力坐标系Σ_e中的缓和动作量，来计算作业坐标系Σ_w中的缓和动作量。

移动动作量计算部46在拍摄部坐标系Σ_c中计算出由把持部HND使操作对象M移动以使操作对象M的位置以及姿势与由目标导出部39计算出的目标位置以及姿势一致的目标动作量。目标动作量是指用于使操作对象M向目标位置平移的微小移动量(以下，称为微小目标移动量)、和用于使操作对象M向目标姿势旋转的微小旋转量(以下，称为微小目标旋转量)。移动动作量计算部46基于计算出的拍摄部坐标系Σ_c中的目标动作量，来计算作业坐标系Σ_w中的目标动作量。

动作结束判定部47基于由负荷缓和动作量计算部45计算出的作业坐标系Σ_w中的缓和动作量、以及由移动动作量计算部46计算出的作业坐标系Σ_w中的目标动作量，来判定机械手20将操作对象M组装到组装对象O的作业是否结束。此外，动作结束判定部47也可以仅基于由移动动作量计算部46计算出的作业坐标系Σ_w中的目标动作量，来判定机械手20将操作对象M组装到组装对象O的作业是否结束。

机械手控制部49基于由负荷缓和动作量计算部45计算出的作业坐标系Σ_w中的缓和动作量、以及由移动动作量计算部46计算出的作业坐标系Σ_w中的目标动作量，来计算作业坐标系Σ_w中的力传感器22应该移动的位置以及姿势。而且，机械手控制部49控制机械手20，以使力传感器22的位置以及姿势与计算出的作业坐标系Σ_w中的力传感器22应该移动的位置以及姿势一致。

以下，通过参照图5，来对控制装置30用于使机械手20动作以便组装操作对象M和组装对象O的处理进行说明。图5是表示控制装置30用于使机械手20动作以便组装操作对象M和组装对象O的处理流程的一个例子的流程图。

首先，控制装置30设定由用户经由输入受理部33输入的位置和姿势，即操作对象M和组装对象O的组装结束了的状态的操作对象坐标系Σ_m中的组装对象O的位置p_o＾m(→)和姿势o_o＾m(→)(步骤S100)。

接下来，控制装置30设定由用户经由输入受理部33输入的旋转中心位置和旋转中心姿势，即操作对象坐标系Σ_m中的旋转中心位置p_e＾m(→)和旋转中心姿势o_e＾m(→)(步骤S110)。

步骤S100到步骤S110是由用户进行的对控制装置30的初始设定。从此开始，对在步骤S110之后开始拍摄部10的拍摄，控制部36从图像取得部35取得拍摄图像的情况进行说明。

在控制部36取得了拍摄图像之后，控制装置30的目标导出部39基于由图像取得部35取得的拍摄图像，来检测拍摄部坐标系Σ_c中的组装对象O的位置p_o＾c(→)和姿势o_o＾c(→)(步骤S120)。

接下来，目标导出部39基于在步骤S100中设定的操作对象M和组装对象O的组装结束后的状态的操作对象坐标系Σ_m中的组装对象O的位置p_o＾m(→)以及姿势o_o＾m(→)、和在步骤S120中检测到的拍摄部坐标系Σ_c中的组装对象O的位置p_o＾c(→)以及姿势o_o＾c(→)，并根据以下所示的公式(7)，来计算操作对象M和组装对象O的组装结束后的状态的操作对象M的目标位置和姿势，即拍摄部坐标系Σ_c中的操作对象M的目标位置p_m＾c(d)(→)和姿势o_m＾c(d)(→)(步骤S130)。

$\begin{array}{c}{\stackrel{\&RightArrow;}{p}}_m^c\left(d\right)={\stackrel{\&RightArrow;}{p}}_o^c+{\hat{R}}_o^c{\stackrel{\&RightArrow;}{p}}_m^o\\ {\hat{R}}_m^c\left(d\right)={\hat{R}}_o^c{\hat{R}}_m^o\end{array}...\left(7\right)$

这里，拍摄部坐标系Σ_c中的操作对象M的目标位置p_m＾c(d)(→)以及姿势o_m＾c(d)(→)的“(d)”是为了与在步骤S140中由旋转中心位置计算部41检测到的拍摄部坐标系Σ_c中的操作对象M的位置p_m＾c(→)以及姿势o_m＾c(→)区别而附注的标号。

步骤S120到步骤S130的处理是用于控制部36基于拍摄部10与组装对象O的相对位置以及姿势、和操作对象M与组装对象O的组装结束后的状态的操作对象M与组装对象O的相对位置关系(位置以及姿势)，间接地计算出操作对象M和组装对象O的组装结束后的状态的操作对象M与拍摄部10的相对位置以及姿势的处理。

接下来，旋转中心位置计算部41根据取得到的拍摄图像，来检测拍摄部坐标系Σ_c中的操作对象M的位置p_m＾c(→)和姿势o_m＾c(→)(步骤S140)。

接下来，旋转中心位置计算部41根据取得到的拍摄图像，来检测工具坐标系Σ_t中的拍摄部10的位置p_c＾t(→)和姿势o_c＾t(→)(步骤S150)。

接下来，旋转中心位置计算部41基于在步骤S140中计算出的拍摄部坐标系Σ_c中的操作对象M的位置p_m＾c(→)以及姿势o_m＾c(→)、和在步骤S150中计算出的工具坐标系Σ_t中的拍摄部10的位置p_c＾t(→)以及姿势o_c＾t(→)，并根据以下所示的公式(8)，来计算工具坐标系Σ_t中的旋转中心的位置p_e＾t(→)和姿势o_e＾t(→)(步骤S160)。

$\begin{array}{c}{\stackrel{\&RightArrow;}{p}}_e^t={\stackrel{\&RightArrow;}{p}}_c^t+{\hat{R}}_c^t({\stackrel{\&RightArrow;}{p}}_m^c+{\hat{R}}_m^c{\stackrel{\&RightArrow;}{p}}_e^m)\\ {\hat{R}}_e^t={\hat{R}}_c^t{\hat{R}}_m^c{\hat{R}}_e^m\end{array}...\left(8\right)$

这里，步骤S160的处理是检测力传感器22与上述的旋转中心位置以及旋转中心姿势的相对位置关系的变化的处理。在步骤S160中计算出的工具坐标系Σ_t中的旋转中心的位置p_e＾t(→)和姿势o_e＾t(→)与在之前的程序中计算出的值不同的情况表示力传感器22与旋转中心位置以及旋转中心姿势的相对位置关系因外力而变化。通过控制部36检测该变化，即使相对于力传感器22的旋转中心位置以及旋转中心姿势因外力而变化，也能够基于相对于变化后的力传感器22的旋转中心位置以及旋转中心姿势，控制成机械手20总是以旋转中心位置为中心，并以旋转中心姿势为基准使操作对象M进行旋转。

接下来，旋转中心位置计算部41基于正向运动学，来计算作业坐标系Σ_w中的力传感器22的位置p_t＾w(→)和姿势o_t＾w(→)(步骤S170)。

接下来，旋转中心位置计算部41基于在步骤S160中计算出的工具坐标系Σ_t中的旋转中心位置p_e＾t(→)和旋转中心姿势o_e＾t(→)、以及在步骤S170中计算出的作业坐标系Σ_w中的力传感器22的位置p_t＾w(→)及姿势o_t＾w(→)，并根据以下所示的公式(9)，来计算外力坐标系Σ_e中的机械手20的支承台的位置p_w＾e(→)和姿势o_w＾e(→)(步骤S180)。

$\begin{array}{c}{\stackrel{\&RightArrow;}{p}}_w^e={\stackrel{\&RightArrow;}{p}}_t^e+{\hat{R}}_t^e{\stackrel{\&RightArrow;}{p}}_w^t\\ {\hat{R}}_w^e={\hat{R}}_t^e{\hat{R}}_w^t\end{array}...\left(9\right)$

这里，控制部36通过步骤S180的处理，来计算外力坐标系Σ_e中的机械手20的支承台的位置p_w＾e(→)和姿势o_w＾e(→)，由此能够通过下一步骤S190的处理基于作用于力传感器22的力以及力矩来计算作用于旋转中心位置的力以及力矩。

接下来，外力计算部43基于由力传感器22检测出的力和力矩，即工具坐标系Σ_t中的力f＾t(→)和力矩m＾t(→)，并根据以下所示的牛顿·欧拉方程式(10)，来计算外力坐标系Σ_e中的力(即，作用于旋转中心位置的力)f＾e(→)和力矩(即，在旋转中心位置产生的力矩)m＾e(→)(步骤S190)。

$\begin{array}{c}{\stackrel{\&RightArrow;}{f}}^e={\hat{R}}_w^e\{{\hat{R}}_t^w{\stackrel{\&RightArrow;}{f}}^t-m\hat{E}(\stackrel{\&RightArrow;}{g}-{\stackrel{\stackrel{..}{\&RightArrow;}}{p}}_c^w)\}\\ {\stackrel{\&RightArrow;}{m}}^e={\hat{R}}_w^e\{\hat{I}{\stackrel{\stackrel{..}{\&RightArrow;}}{o}}_c^w+{\stackrel{.}{\stackrel{\&RightArrow;}{o}}}_c^w\&times;\hat{I}{\stackrel{.}{\stackrel{\&RightArrow;}{o}}}_c^w+{\hat{R}}_t^w({\stackrel{\&RightArrow;}{m}}^t+{\stackrel{\&RightArrow;}{p}}_e^t\&times;{\stackrel{\&RightArrow;}{f}}^t-{\stackrel{\&RightArrow;}{p}}_g^t\&times;{\hat{R}}_w^t\stackrel{\&RightArrow;}{g})\}\end{array}...\left(10\right)$

这里，上述的公式(10)中的上段公式表示了作用于操作对象M的旋转中心位置的外力的分量f＾e(→)由从力传感器22所检测出的力的分量f＾t(→)减去了因重力引起的分量mE(＾)g(→)和因机械手20的臂部ARM的惯性运动引起的分量mE(＾)p_c＾w(→)(··)而得到的分量来表示。其中，附注了“(··)”的最近前的文字表示对于时间进行了二次微分后的变量。另外，矩阵E(＾)是单位矩阵，向量g(→)是表示重力加速度的向量，标量m表示操作对象M的质量。

与上述的上段公式同样，下段公式表示了通过作用于操作对象M的外力而在旋转中心产生的力矩m＾e由以下的分量表示：从将扭转力矩的分量I(＾)o_c＾w(→)(··)、由科里奥利力引起的力矩的分量o_c＾w(→)(·)×I(＾)o_c＾w(→)(·)、由力传感器22检测出的力矩m＾t(→)、因由力传感器22检测出的力的分量f＾t(→)引起的力矩的分量p_e＾t(→)×f＾t(→)相加的合计值减去了因重力引起的力矩的分量p_g＾t(→)×mR_w＾t(＾)g(→)而得到的分量。

接下来，负荷缓和动作量计算部45基于在步骤S190中计算出的外力坐标系Σ_e中的力f＾e(→)以及力矩m＾e(→)，并根据以下所示的公式(11)，来计算外力坐标系Σ_e中的操作对象M的缓和动作量的微小缓和移动量Δp＾e(→)和微小缓和旋转量Δo＾e(→)(步骤S200)。

$\begin{array}{c}\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{P}}^e=\frac{1}{{\hat{M}}_p{s}^2+{\hat{D}}_{p}s+{\hat{K}}_p}{\stackrel{\&RightArrow;}{F}}^e\\ \mathrm{\&Delta;}{\stackrel{\&RightArrow;}{O}}^e=\frac{1}{{\hat{M}}_o{s}^2+{\hat{D}}_{o}s+{\hat{K}}_o}{\stackrel{\&RightArrow;}{M}}^e\end{array}...\left(11\right)$

这里，步骤S200中使用的公式(11)的ΔP＾e(→)以及ΔO＾e(→)是分别对Δp＾e(→)以及Δo＾e(→)进行了拉普拉斯变换后的量。另外，公式(11)根据在设定于操作对象M的旋转中心位置承受外力时，决定应该向使该外力缓和的方向移动的动作量(微小移动量以及微小旋转量)的运动模型而不同。在本实施方式中，采用了如上述的公式(11)所示，由与微小移动量相关的惯性质量矩阵M_p(＾)、阻尼系数矩阵D_p(＾)、弹簧乘数矩阵K_p(＾)、以及与微小旋转量相关的惯性质量矩阵M_o(＾)、阻尼系数矩阵D_o(＾)、弹簧乘数矩阵K_o(＾)表示的运动模型。根据这样的运动模型进行的控制被称为顺应运动控制中的阻抗控制。其中，标量s是拉普拉斯变换所使用的变量。作为顺应运动控制，并不局限于阻抗控制，例如也可以应用刚度控制或阻尼控制。

接下来，负荷缓和动作量计算部45基于在步骤S200中计算出的外力坐标系Σ_e中的操作对象M的缓和动作量，并根据以下所示的公式(12)，来计算微小缓和移动量Δp_t＾w(i)(→)和微小缓和旋转量Δo_t＾w(i)(→)作为作业坐标系Σ_w中的力传感器22的缓和动作量(步骤S210)。

$\begin{array}{c}\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{p}}_t^w\left(i\right)={\hat{R}}_e^w[\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{p}}^e+\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{o}}^e\&times;p_t^e]\\ \mathrm{\&Delta;}{\hat{R}}_t^w\left(i\right)={\hat{R}}_e^w\hat{R}\left(\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{o}}^e\right){\hat{R}}_w^e\end{array}...\left(12\right)$

这里，作为缓和动作量的微小缓和移动量Δp_t＾w(i)(→)和微小缓和旋转量Δo_t＾w(i)(→)中的“(i)”是用于区别缓和动作量和目标动作量的标号。控制部36的机械手控制部49能够基于通过步骤S200到步骤S210的处理由负荷缓和动作量计算部45计算出的作业坐标系Σ_w中的缓和动作量控制机械手20，以使力传感器22的位置以及姿势移动到作用于旋转中心位置的力以及力矩被缓和的位置。

接下来，移动动作量计算部46基于在步骤S130中计算出的操作对象M和组装对象O的组装结束后的状态的拍摄部坐标系Σ_c中的操作对象M的目标位置p_m＾c(d)(→)以及姿势o_m＾c(d)(→)、和在步骤S140中检测出的拍摄部坐标系Σ_c中的操作对象M的位置p_m＾c(→)与姿势o_m＾c(→)，并根据以下所示的公式(13)，来计算用于使操作对象M向目标位置以及姿势移动的目标动作量、即微小目标移动量Δp_m＾c(→)和微小目标旋转量Δo_m＾c(→)作为拍摄部坐标系Σ_c中的目标动作量(步骤S220)。

$\begin{array}{c}\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{p}}_m^c\left(v\right)={\hat{K}}_p({\stackrel{\&RightArrow;}{p}}_m^c\left(d\right)-{\stackrel{\&RightArrow;}{p}}_m^c)\\ \mathrm{\&Delta;}{\stackrel{\&RightArrow;}{o}}_m^c\left(v\right)={\hat{K}}_o\stackrel{\&RightArrow;}{o}\left({\hat{R}}_m^c\left(d\right){\left({\hat{R}}_m^c\right)}^{-1}\right)\end{array}...\left(13\right)$

接下来，移动动作量计算部46基于在步骤S220中计算出的拍摄部坐标系Σ_c中的操作对象M的目标动作量，并根据以下所示的公式(14)，来计算微小目标移动量Δp_t＾w(v)(→)和微小目标旋转量Δo_t＾w(v)(→)作为作业坐标系Σ_w中的力传感器22的目标动作量(步骤S230)。

这里，作为目标动作量的微小目标移动量Δp_t＾w(v)(→)和微小目标旋转量Δo_t＾w(v)(→)中的“(v)”是用于区别目标动作量和缓和动作量的标号。

接下来，动作结束判定部47计算如以下所示的公式(15)那样加上了在步骤S210中计算出的缓和动作量和在步骤S230中计算出的目标动作量后的合计微小移动量Δp_t＾w(→)以及合计微小旋转量Δo_t＾w(→)(步骤S240)。

$\begin{array}{c}\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{p}}_t^w=\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{p}}_t^w\left(i\right)+\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{p}}_t^w\left(v\right)\\ \mathrm{\&Delta;}{\hat{R}}_t^w=\hat{R}\left(\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{o}}_t^w\left(v\right)\right)\hat{R}\left(\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{o}}_t^w\left(i\right)\right)\end{array}...\left(15\right)$

接下来，动作结束判定部47判定在步骤S240中计算出的合计微小移动量Δp_t＾w(→)以及合计微小旋转量Δo_t＾w(→)双方是否小于针对各自设定的规定阈值(步骤S250)。其中，上述的针对各自设定的规定阈值被分别独立设定。动作结束判定部47在判定为合计微小移动量Δp_t＾w(→)以及合计微小旋转量Δo_t＾w(→)双方小于针对各自设定的规定阈值的情况(步骤S250－是)下，判断为无需再移动操作对象M而结束处理。

另一方面，在动作结束判定部47判定为合计微小移动量Δp_t＾w(→)以及合计微小旋转量Δo_t＾w(→)中的任意一方或者双方不小于针对各自设定的规定阈值的情况(步骤S250－否)下，机械手控制部49基于在步骤S210中计算出的缓和动作量和在步骤S230中计算出的目标动作量，根据以下所示的公式(16)，来计算作业坐标系Σ_w中的力传感器22的目标位置p_t＾w(d)(→)以及姿势o_t＾w(d)(→)(步骤S260)。

$\begin{array}{c}{\stackrel{\&RightArrow;}{p}}_t^w\left(d\right)={\stackrel{\&RightArrow;}{p}}_t^w+\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{p}}_t^w\\ {\hat{R}}_t^w\left(d\right)={\hat{R}}_t^w\hat{R}\left(\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{o}}_t^w\right)\end{array}...\left(16\right)$

此外，动作结束判定部47也可以取代对在步骤S240中计算出的合计微小移动量Δp_t＾w(→)以及合计微小旋转量Δo_t＾w(→)双方是否小于针对各自设定的规定阈值进行判定的构成，而构成为判定在步骤S230中计算出的微小目标移动量Δp_t＾w(v)(→)和微小目标旋转量Δo_t＾w(v)(→)双方是否小于针对各自设定的规定阈值。另外，动作结束判定部47也可以构成为根据使机械手20进行的规定的作业的性质，并使用由Δp_t＾w(→)(i)、Δo_t＾w(i)、Δp_t＾w(→)(v)以及Δo_t＾w(v)构成的任意的函数，来判定从上述函数得到的值是否小于规定阈值(是否需要进一步移动操作对象M)。

接下来，机械手控制部49控制机械手20来使力传感器22移动，以便力传感器22的位置以及姿势与在步骤S260中计算出的作业坐标系Σ_w中的力传感器22的目标位置p_t＾w(d)(→)以及姿势o_t＾w(d)(→)一致(步骤S270)。控制部36进行控制，以便通过将步骤S120～步骤S270的处理反复进行到根据步骤S250的判定而判断为无需进一步移动操作对象M为止，使得机械手20进行规定的作业。

此外，旋转中心位置计算部41也可以构成为在步骤S150到步骤S180的处理中，例如在力传感器22被设置于臂部ARM的内部而从外部看不到，无法通过拍摄部10拍摄力传感器22的情况下，具备表示上述的力传感器22的位置的标记，还可以构成为基于由用户设定的力传感器22与旋转中心位置以及旋转中心姿势的初始状态下的相对位置关系，根据以下所示的公式(17)～公式(19)，逐次计算外力坐标系Σ_e中的力传感器22的位置p_t＾e(→)和姿势o_t＾e(→)。

$\begin{array}{c}\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{p}}^m\left(t\right)={\hat{R}}_c^m\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{P}}_m^c\left(t\right)\\ {\hat{R}}^m\left(t\right)={\hat{R}}_c^m{\hat{R}}_m^{\stackrel{\&CenterDot;}{c}}\left(t\right){\hat{R}}_m^c\\ \mathrm{\&Delta;}{\stackrel{\&RightArrow;}{o}}^m\left(t\right)=\stackrel{\&RightArrow;}{o}\left({\hat{R}}^m\left(t\right)\right)\end{array}...\left(18\right)$

$\begin{array}{c}{\stackrel{\&RightArrow;}{p}}_t^e\left(t\right)=\left[\right[\hat{R}\left(\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{o}}^e\right){\hat{R}}_m^e\left]{\hat{R}}^m\left(t\right)\right[\hat{R}\left(\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{o}}^e\right){\hat{R}}_m^e{]}^{-1}{]}^{-1}[{\stackrel{\&RightArrow;}{p}}_t^e(t-1)-\hat{R}\left(\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{o}}^e\right){\hat{R}}_m^e[\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{p}}^m\left(t\right)+\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{o}}^m\left(t\right)\&times;({\stackrel{\&RightArrow;}{p}}_e^m-\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{p}}^e)\left]\right]\\ {\hat{R}}_t^e\left(t\right)={\left[\right[\hat{R}\left(\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{o}}^e\right){\hat{R}}_m^e\left]{\hat{R}}^m\left(t\right){\left[\hat{R}\left(\mathrm{\&Delta;}{\stackrel{\&RightArrow;}{o}}^e\right){\hat{R}}_m^e\right]}^{-1}\right]}^{-1}{\hat{R}}_t^e(t-1)\\ {\stackrel{\&RightArrow;}{o}}_t^e\left(t\right)=\stackrel{\&RightArrow;}{o}\left({\hat{R}}_t^e\left(t\right)\right)\end{array}...\left(19\right)$

上述的公式(17)～公式(19)是通过从根据拍摄图像检测出的操作对象M的移动量减去机械手20自身移动的量，来计算力传感器22与操作对象M的相对位置关系偏移的量的公式。其中，由控制部36基于机械手20的初始状态来计算机械手20自身移动的量。对使用由用户设定的力传感器22与旋转中心位置及旋转中心姿势的初始状态下的相对位置关系以及上述的公式(17)～(19)的构成而言，由于即使在操作对象M和力传感器22未收容在拍摄部10的拍摄范围的情况下、即即便使用表示力传感器22的位置的标记也无法检测力传感器22的位置的情况下，能够追踪操作对象M的位置以及姿势和力传感器22的位置以及姿势，所以是有用的。

旋转中心位置计算部41通过进行使用了上述的公式(17)～公式(19)的逐次计算，即使在无法通过拍摄部10拍摄力传感器22的情况下，也能够与可通过拍摄部10拍摄传感器22的情况同样地进行步骤S150到步骤S180的处理。结果，控制部36能够基于力传感器22与设定于操作对象M的规定位置的相对位置关系，来控制机械手20以使机械手20进行规定的作业。其中，无法通过拍摄部10拍摄力传感器22的情况例如是力传感器22被臂部ARM的部件覆盖的情况、包括力传感器22的臂部ARM从拍摄部10的视角偏离这样的情况等。

如以上说明那样，第1实施方式所涉及的机械手系统1的机械手20基于包括把持部HND和操作对象M的拍摄图像，通过把持部HND使操作对象M以操作对象M的旋转中心位置为中心进行旋转，来使操作对象M相对于组装对象O相对移动。因此，机械手能够进行良好的组装作业。

另外，机械手20将进行旋转的情况下的旋转中心作为与操作对象M一起移动的坐标原点，通过旋转和平移使操作对象M相对于组装对象O相对移动。因此，机械手能够进行良好的组装作业。

另外，由于机械手20能够使操作对象M相对于组装对象O逐次相对移动，所以结果能够进行高精度的良好的组装作业。

另外，机械手20按照规定位置以及在各轴向设定的运动特性来进行顺应运动控制。因此，机械手20能够不破坏组装对象O地对于组装对象O组装操作对象M。

另外，机械手20基于拍摄图像，导出在把持部HND设定的位置与在操作对象M设定的位置的相对位置关系，基于导出的位置关系来更新旋转中心位置。因此，即使把持部HND与旋转中心的位置关系因外力而偏移，机械手20也能以偏移后的旋转中心为中心使操作对象M相对于组装对象O相对移动，结果，能够进行良好的组装作业。

另外，机械手20导出在把持部HND设定的位置与在操作对象M设定的位置的相对位置关系，并基于所导出的位置关系、和在操作对象M设定的位置与旋转中心位置的相对位置关系来更新旋转中心位置。因此，即使把持部HND与旋转中心位置的位置关系因外力而偏移，机械手20也能够经由在操作对象M设定的位置，间接地根据在把持部HND设定的位置与旋转中心位置的相对位置关系，来识别偏移后的旋转中心位置，结果，能够以偏移后的旋转中心位置为中心使操作对象M相对于组装对象O相对移动。

另外，机械手20基于从拍摄图像检测出的表示力传感器22的位置的标记的位置，来导出在把持部HND设定的位置与旋转中心位置的相对位置关系，基于所导出的在把持部HND设定的位置与旋转中心位置的相对位置关系，来更新旋转中心位置。因此，即使在力传感器22被机械手20的臂部ARM的部件覆盖的情况下，机械手20也能够将表示力传感器22的标记的位置作为标识，来识别操作对象M的位置，结果，能够进行良好的组装作业。

另外，机械手20基于力传感器22的初始状态下的位置以及姿势，来导出在把持部HND设定的位置与旋转中心位置的相对位置关系，并基于导出的在把持部HND设定的位置与旋转中心位置的相对位置关系，更新旋转中心位置。因此，即使在包括力传感器22的机械手20的臂部ARM从拍摄部10的视角偏移的情况下，机械手20也能够识别出操作对象M的位置，结果，能够进行良好的组装作业。

＜第2实施方式＞

以下，参照附图对本发明的第2实施方式进行说明。第2实施方式涉及的机械手系统2不是具备单臂机械手作为机械手20的构成，而是具备双臂机械手作为机械手25的构成。其中，在第2实施方式中，对与第1实施方式相同的构成部件标注相同的符号。

图6是表示第2实施方式所涉及的机械手系统2的一个例子的构成图。机械手系统2具备拍摄部10、机械手25、以及控制装置30。

在第2实施方式中，组装对象O通过夹具等被设置于工作台等台上，利用作为双臂机械手的机械手25的任意一个臂，通过在第1实施方式中说明的规定的作业组装操作对象M。此外，组装对象O也可以被机械手25的把持部HND2把持，通过把持部HND1进行第1实施方式中说明的规定的作业。另外，该情况下，把持部HND1和把持部HND2的作用也可以相反。

如图6所示，机械手25例如是在各个臂具备把持部HND1、把持部HND2、力传感器22、臂部ARM1、臂部ARM2、未图示的多个致动器的双臂机械手。

机械手25的各臂为6轴垂直多关节型，一个臂能够通过支承台、臂部ARM1、以及把持部HND1基于致动器实现的联合的动作来进行6轴自由度的动作，另一个臂能够通过支承台、臂部ARM2、以及把持部HND2基于致动器实现的联合的动作来进行6轴自由度的动作。此外，机械手20的各臂也可以是以5自由度(5轴)以下来进行动作的部件，还可以是以7自由度(7轴)以上来进行动作的部件。

机械手25通过具备把持部HND1以及臂部ARM1的臂进行在第1实施方式中说明的由控制装置30控制的动作，但也可以通过具备把持部HND2以及臂部ARM2的臂来进行相同的动作。其中，把持部HND1、把持部HND2分别是手部的一个例子。机械手25例如通过线缆与控制装置30连接成能够进行通信。经由线缆的有线通信例如根据以太网(注册商标)、USB等标准来进行。此外，机械手25和控制装置30也可以通过利用Wi－Fi(注册商标)等通信标准进行的无线通信来连接。

另外，机械手25构成为如图6所示那样机械手25被搭载于机械手25的内部的控制装置30控制，但也可以取代该构成，而是控制装置30设置于机械手25的外部的构成。

如以上说明那样，第2实施方式涉及的机械手系统2的机械手25是双臂机械手，由于通过双臂机械手的2个臂中的任意一方或者双方，进行在第1实施方式中说明的规定的作业，所以能够得到与第1实施方式相同的效果。

＜第3实施方式＞

以下，参照附图对本发明的第3实施方式进行说明。其中，在第3实施方式中，对与第1实施方式相同的构成部标注相同的符号。作为规定的作业，第3实施方式涉及的机械手系统1例如将把持部HND所把持的扳手(操作对象M的一个例子)与螺栓(组装对象O的一个例子)组装，然后通过所把持的扳手来拧紧螺栓。

这里，参照图7对第3实施方式涉及的机械手系统1所进行的规定的作业进行说明。图7是示意性地表示通过第3实施方式所涉及的机械手系统1进行的规定的作业的一个例子的图。图7(A)中表示机械手20所把持的扳手M1被组装于螺栓O1之前的规定的初始位置的状态。机械手系统1使扳手M1移动到图7(A)中的由单点划线表示的扳手VM1的位置(螺栓O1的正前面的位置)。这里，在机械手系统1中预先设定有表示扳手VM1的状态的图像，机械手系统1通过在第1实施方式中参照图5说明的处理来移动把持部HND，以实现该状态。图7(B)中表示通过机械手20将扳手M1组装到螺栓O1后的状态。机械手系统1通过上述的参照图5而说明的处理，将把持部HND从图7(A)所示的扳手VM1的状态移动到图7(B)所示的扳手M1与螺栓O1被组装了的状态。这里，在机械手系统1中预先设定有表示图7(B)所示的状态的扳手M1和螺栓O1的图像，机械手系统1通过在第1实施方式中参照图5而说明的处理来移动把持部HND，以实现该状态。

图7(C)中表示通过机械手20所把持的扳手M1使螺栓O1旋转60°的情况。在机械手系统1中预先设定有表示旋转后的状态(例如，在图7(C)中由单点划线所示的扳手VM2和螺栓VO1的状态)的图像，机械手系统1基于上述的参照图5而说明的处理来移动把持部HND，以实现该状态。其中，在图7(B)中，由于螺栓O1和螺栓VO1是正六边形，所以被重合表示。

图7(D)中表示通过机械手20所把持的扳手M1使螺栓O1旋转后的状态。在成为图7(D)所示的通过扳手M1使螺栓O1旋转了的状态时，机械手系统1将扳手M1撤离到距离螺栓O1规定距离的位置。这里，在机械手系统1中预先设定有表示扳手M1移动到距离螺栓O1规定距离的位置的状态的图像，机械手系统1通过在第1实施方式中参照图5而说明的处理来移动把持部HND，以实现该状态。然后，机械手系统1将把持部HND移动到成为扳手M1从距离螺栓O1规定距离的位置移动到初始位置的状态。机械手系统1通过反复执行进行图7(A)～图7(D)所示的动作的处理，来利用扳手M1拧紧螺栓O1。

以下，通过参照图8，来对控制装置30的控制部36用于使机械手20动作以便利用扳手M1拧紧螺栓O1的处理进行说明。图8是表示控制装置30的控制部36用于使机械手20动作以便利用扳手M1拧紧螺栓O1的处理的流程的一个例子的流程图。

以下，设机械手系统1已经进行了图5所示的步骤S100到步骤S110的处理来进行说明。首先，控制部36通过初始配置处理，将机械手20的把持部HND移动至把持部HND所把持的扳手M1被配置于上述的规定的初始位置为止(步骤S300)。这里，初始配置处理是指图5所示的步骤S120到步骤S270的处理。

接下来，控制部36通过组装处理来组装扳手M1和螺栓O1(步骤S310)。这里，组装处理是指通过图5所示的步骤S120到步骤S270的处理，将把持部HND移动至扳手M1和螺栓O1成为图7(B)所示的状态来组装扳手M1和螺栓O1的处理。

接下来，控制部36通过螺栓紧固准备处理，进行将把持扳手M1的把持部HND移动到扳手M1和螺栓O1成为图7(D)所示的状态的准备(步骤S320)。这里，螺栓紧固准备处理是指计算用于通过图5所示的步骤S120到步骤S240的处理移动把持部HND来利用扳手M1使螺栓O1旋转的合计微小移动量和合计微小旋转量的处理。

接下来，控制部36通过判定在步骤S320中根据上述的公式(10)计算出的力矩(相当于紧固扭矩)是否是规定值以上，来判定螺栓O1的紧固是否结束(步骤S330)。在判定为计算出的力矩是规定值以上的情况(步骤S330－是)下，控制部36判定为螺栓O1的紧固结束，结束处理。另一方面，在判定为计算出的力矩小于规定值的情况(步骤S330－否)下，控制部36判定在步骤S320中根据上述的公式(15)计算出的合计微小移动量以及合计微小旋转量双方是否分别小于针对各自设定的规定阈值(步骤S340)。

在判定为合计微小移动量以及合计微小旋转量双方为针对各自设定的规定阈值以上的情况(步骤S340－否)下，控制部36判定为扳手M1和螺栓O1未达到图7(D)所示的状态，基于在步骤S320中计算出的缓和动作量以及目标动作量，计算作业坐标系Σ_w中的力传感器22的目标位置以及姿势(步骤S360)。接下来，为了使力传感器22的位置以及姿势与在步骤S360中计算出的作业坐标系Σ_w中的力传感器22的目标位置以及姿势一致，控制部36控制机械手20以使力传感器22移动，由此利用扳手M1使螺栓O1进一步旋转(步骤S370)。其中，由于步骤S360是与步骤S260相同的处理，步骤S370是与步骤S270相同的处理，所以省略这些步骤的详细说明。另一方面，在判定为合计微小移动量以及合计微小旋转量双方小于针对各自设定的规定阈值的情况(步骤S340－是)下，控制部36判定为扳手M1和螺栓O1达到了图7(D)所示的状态，使扳手M1离开螺栓O1(步骤S350)，然后，进行步骤S300的处理。

如以上说明那样，第3实施方式涉及的机械手系统1能够基于在第1实施方式中由图5说明的处理、以及与相当于紧固扭矩的力矩对应的步骤S330的处理，来组合基于视觉伺服的控制、和基于力传感器的顺应运动控制，利用把持部HND所把持的扳手M1可靠地拧紧螺栓O1。

此外，也可以将用于实现以上说明的装置(例如，机械手系统1、2)中的任意的构成部的功能的程序记录到计算机可读取的记录介质，使计算机系统读取该程序来执行。此外，这里所说的“计算机系统”是指包括OS(Operating System：操作系统)、外围设备等硬件的装置。另外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM(Read OnlyMemory：只读存储器)、CD(Compact Disk)－ROM等便携式介质、内置于计算机系统的硬盘等存储装置。并且，“计算机可读取的记录介质”还包括如经由因特网等网络、电话线路等通信线路发送程序的情况下的成为服务器、客户端的计算机系统内部的易失性存储器(RAM：Random Access Memory：随机存取存储)那样将程序保持一定时间的介质。

另外，上述的程序也可以从将该程序储存到存储装置等的计算机系统，经由传输介质、或者通过传输介质中的传输波传输到其他的计算机系统。这里，传输程序的“传输介质”是指具有如因特网等网络(通信网)、电话线路等通信线路(通信线)那样传输信息的功能的介质。

另外，上述的程序也可以是用于实现上述的功能的一部分的程序。并且，上述的程序还可以是能够以与已经记录于计算机系统的程序的组合来实现上述功能的程序、所谓的差分文件(差分程序)。

符号说明

1、2...机械手系统；10...拍摄部；20、25...机械手；22...力传感器；30...控制装置；31...CPU；32...存储部；33...输入受理部；34...通信部；35...图像取得部；36...控制部；39...目标导出部；41...旋转中心位置计算部；43...外力计算部；45...负荷缓和动作导出部；46...移动动作量计算部；47...动作结束判定部；49...机械手控制部。

Claims (12)

1.一种机械手，其特征在于，

包括手部、和使所述手部动作的控制部，

所述控制部基于包括所述手部和第1物体的拍摄图像，通过所述手部使所述第1物体以所述第1物体的规定位置为中心旋转，来使所述第1物体相对于第2物体相对移动。

2.根据权利要求1所述的机械手，其特征在于，

所述规定位置是与所述第1物体一起移动的坐标原点，

所述控制部除了使所述第1物体旋转以外，还使所述第1物体平移。

3.根据权利要求1或者2所述的机械手，其特征在于，

所述控制部基于所述拍摄图像来进行视觉伺服控制。

4.根据权利要求1～3中任意一项所述的机械手，其特征在于，

所述控制部按照所述规定位置以及在各轴向设定的运动特性来进行顺应运动控制。

5.根据权利要求1～4中任意一项所述的机械手，其特征在于，

所述控制部基于所述拍摄图像，导出在所述手部设定的位置与在所述第1物体设定的位置的相对位置关系，并基于所述导出的位置关系来更新所述规定位置。

6.根据权利要求5所述的机械手，其特征在于，

所述控制部基于所述导出的位置关系、和在所述第1物体设定的位置与所述规定位置的相对位置关系来更新所述规定位置。

7.根据权利要求1～6中任意一项所述的机械手，其特征在于，

所述机械手具备表示在所述手部设定的位置的标记，

所述拍摄图像还包括所述标记，

所述控制部基于从所述拍摄图像检测出的所述标记的位置，导出在所述手部设定的位置与所述规定位置的相对位置关系，并基于所述导出的在所述手部设定的位置与所述规定位置的相对位置关系来更新所述规定位置。

8.根据权利要求7所述的机械手，其特征在于，

所述控制部在检测所述标记以及所述第1物体的位置及姿势时，基于拍摄到所述标记的第1拍摄图像、拍摄到所述第1物体的第2拍摄图像、以及拍摄了所述第1拍摄图像的第1照相机与拍摄了所述第2拍摄图像的第2照相机之间的相对位置关系，来更新所述规定位置。

9.根据权利要求1～6中任意一项所述的机械手，其特征在于，

所述控制部基于在所述手部设定的初始状态下的位置，导出在所述手部设定的位置与所述规定位置的相对位置关系，并基于所述导出的在所述手部设定的位置与所述规定位置的相对位置关系来更新所述规定位置。

10.一种机械手系统，其特征在于，包括：

机械手，其具备手部；以及

拍摄部，其拍摄所述手部和第1物体，

所述机械手基于由所述拍摄部拍摄到的包括所述手部和所述第1物体的拍摄图像，使所述第1物体以所述第1物体的规定位置为中心旋转，来使所述第1物体相对于第2物体相对移动。

11.一种控制装置，使具备手部的机械手动作，其特征在于，

基于包括所述手部和第1物体的拍摄图像，通过所述机械手使所述第1物体以所述第1物体的规定位置为中心旋转，来使所述第1物体相对于第2物体相对移动。

12.一种控制方法，使具备手部的机械手动作，其特征在于，包括：

取得包括所述手部和第1物体的拍摄图像的步骤；以及

基于所述拍摄图像使所述第1物体以所述第1物体的规定位置为中心旋转，来使所述第1物体相对于第2物体相对移动的步骤。