CN108621125B - 物体操纵装置及其校准方法 - Google Patents

Abstract

本发明的实施方式涉及物体操纵装置及其校准方法。例如，获得具备由执行器执行的操纵的精度更高的机械手的物体操纵装置。在实施方式的物体操纵装置中，校准处理部基于第一照相机所拍摄的图像取得第一方向的第一误差，并且基于由传感器获得的检测结果取得与第一方向交叉的第二方向的第二误差，基于第一误差以及第二误差取得对于可动部的位置的指示值的指示校准值。

Description

物体操纵装置及其校准方法

本申请以日本专利申请2017－055536(申请日：3/22/2017)为基础，享受该申请的优先权的利益。本申请通过参照该申请而包含该申请的所有内容。

技术领域

实施方式涉及物体操纵(handling)装置及其校准方法。

背景技术

以往，公知具备具有执行器(effector)的机械臂(robot arm)等机械手(manipulator)的物体操纵装置。

发明内容

例如，若能够获得具备由执行器执行的访问(access)的精度更高的机械手的物体操纵装置，则很有益。

实施方式的物体操纵装置例如具备：底座、机械手、第一照相机、传感器、机械手控制部、校准处理部。机械手设于底座，并具有可动部以及设于该可动部并作用于物体的执行器。第一照相机以及传感器设于机械手。机械手控制部以使可动部移动至与指示值对应的位置的方式控制机械手。校准处理部基于第一照相机所拍摄的图像取得第一方向的第一误差，并且基于由传感器获得的检测结果取得与第一方向交叉的第二方向的第二误差，基于第一误差以及第二误差取得对于指示值的指示校准值。

一种校准方法，通过物体操纵装置来执行，该物体操纵装置具备：底座；机械手，设于上述底座，并具有可动部；第一照相机，设于上述机械手；传感器，设于上述机械手；以及校准处理部，执行上述可动部的位置的校准处理，上述校准方法包括：上述第一照相机拍摄上述底座的规定位置，上述传感器检测物理量，上述校准处理部基于上述第一照相机的拍摄结果以及上述传感器的检测结果，执行校准处理。

根据上述构成的物体操纵装置，能够具备由执行器执行的访问的精度更高的机械手。

附图说明

图1为包含实施方式的物体操纵装置的物体操纵系统的示意性且示例性的立体图。

图2为实施方式的控制器的示意性且示例性的框图。

图3A为表示实施方式的手部的构成的示意性且示例性的侧视图(部分剖面图)，为表示吸附垫突出的状态的图。

图3B为表示实施方式的手部的构成的示意性且示例性的侧视图(部分剖面图)，为表示吸附垫突出且倾斜的状态的图。

图3C为表示实施方式的手部的构成的示意性且示例性的侧视图(部分剖面图)，为表示吸附垫被收纳的状态的图。

图3D为表示实施方式的手部的构成的示意性且示例性的、从与图3C的视线正交的方向观察的侧视图(部分剖面图)，为表示吸附垫被收纳的状态的图。

图4为实施方式的另一个手部的示意性且示例性的立体图，为表示指部关闭的状态的图。

图5A为表示图4的指部打开的状态的图。

图5B为表示图4的指部打开的状态的图，为从与图5A不同的方向观察的图。

图6为实施方式的手部控制部的框图。

图7A为表示图4的手部的动作顺序的一个例子的示意性且示例性的侧视图。

图7B为表示图4的手部的动作顺序的一个例子的示意性且示例性的侧视图，为表示图7A的下一阶段的图。

图7C为表示图4的手部的动作顺序的一个例子的示意性且示例性的侧视图，为表示图7B的下一阶段的图。

图7D为表示图4的手部的动作顺序的一个例子的示意性且示例性的侧视图，为表示图7C的下一阶段的图。

图7E为表示图4的手部的动作顺序的一个例子的示意性且示例性的侧视图，为表示图7D的下一阶段的图。

图8为实施方式的又一个手部的示意性且示例性的侧视图。

图9为表示包含实施方式的物体操纵装置的系统的基本动作的一个例子的流程图。

图10表示包含实施方式的物体操纵装置的系统的基本动作的另外一个例子的流程图。

图11为实施方式的信息取得系统的示意性且示例性的立体图。

图12为表示储存于实施方式的物体数据库的物体信息的表。

图13为表示储存于实施方式的抓持数据库的抓持信息的表。

图14为表示通过信息取得系统取得物体信息的顺序的示例性的流程图。

图15为实施方式的抓持基本系统模型的示意图。

图16为实施方式的抓持方法基本数据的示意图。

图17为表示通过实施方式的信息取得系统取得的抓持信息的自动生成的顺序的一部分的示意图。

图18A为表示实施方式的物体操纵装置的自动校准(auto calibration)的顺序的示例性的流程图。

图18B为实施方式的底座坐标系与机械手坐标系之间的平面误差的说明图。

图18C为表示设有通过实施方式的照相机拍摄的校准图案的机械手的图像的示意图。

图19A为表示基于实施方式的物体数据库以及抓持数据库并由手部实现的操纵的顺序的示例性的流程图。

图19B为表示基于实施方式的物体数据库以及抓持数据库并由手部实现的操纵的顺序的示例性的流程图，为表示图19A的后续的图。

图20A为表示实施方式的动作经由点的示意性且示例性的图，为表示初始位置、对象物以及输送目标位置的图。

图20B为表示实施方式的动作经由点的示意性且示例性的图，为表示从初始位置至抓持目标位置的动作经由点的图。

图20C为表示实施方式的动作经由点的示意性且示例性的图，为表示从提升位置至抓持释放位置的动作经由点的图。

图21A为实施方式的机械手控制部的示意性且示例性的框图。

图21B为实施方式的图像特征量目标值的示意性且示例性的说明图。

图21C为实施方式的机械手控制部的另一个例子的示意性且示例性的框图。

图21D为表示实施方式的机械手控制部的参数变更的顺序的流程图。

图22A为表示图19A的状态变更动作的顺序的流程图。

图22B为表示图19A的状态变更动作的与图22A不同的顺序的示例性的流程图。

图23为表示图19B的抓持搜索动作的顺序的示例性的流程图。

图24为表示图19B的重试(retry)动作的顺序的示例性的流程图。

图25A为表示执行实施方式的学习动作或数据库的生成的顺序的示例性的流程图。

图25B为表示实施方式的学习/数据库生成模式下的抓持以及输送的顺序的示例性的流程图。

图26为在实施方式的多个物体操纵装置间共用学习数据的学习系统的示例性的概略构成图。

图27为表示与图1的物体操纵系统不同的实施方式的系统的示意性且示例性的构成图。

图28为实施方式的机械手的示意性且示例性的剖面图。

图29为表示图28的机械手的一个连杆(link)的量的示意图。

图30为一般的速度控制系统的框图。

图31为表示由物理参数的微调(fine-tuning)产生的效果的图。

图32为实施方式的机械手控制部的观测器(observer)的示例性的框图。

图33为具有图32的观测器的机械手控制部的框图。

图34为表示实施方式的机械手控制部的另一个例子的框图。

图35为表示实施方式的观测器的另一个例子的框图。

图36为表示实施方式的观测器的又一个例子的框图。

图中：

1、1A 物体操纵装置

2 臂部(可动部)

20 机械手

21 照相机(第一照相机)

30 底座

33 照相机(第二照相机)

50 处理部(载置部)

51 标记(第一标记)

71 标记(第二标记)

110 机械手控制部

101j 自动校准部(校准处理部)

200 手部(执行器、可动部)

200g 接触传感器(传感器)

200h 力传感器(传感器)

200i 位移传感器(传感器)

X 方向(第一方向)

Y 方向(第一方向)

Z 方向(第二方向)

δx、δy 偏移(第一误差)

δz 偏移(第二误差)

具体实施方式

以下，公开本发明的示例性的实施方式。以下所示的实施方式的构成和控制(技术特征)以及由该构成和控制所带来的作用以及结果(效果)为一个例子。此外，以下举例示出的实施方式的多个构成等中包含相同的构成元素。以下，对相同的构成元素赋予共同的符号，省略重复的说明。

[系统的构成]

图1为包含实施方式的物体操纵装置1(操纵机器人)的物体操纵系统(机器人操纵系统)的立体图。

物体操纵装置1为输送物体P的装置。物体P例如为商品、物品、零部件等，其大小、硬度等规格是各种各样的。物体P也可称为对象物、输送物等。

如图1所示，物体操纵装置1具有控制器100、机械手20、底座30、输送机构40、处理部50、移动机构6等。底座30构成为能够通过移动机构6在地板或地面上移动自如，该移动机构6包含多方向移动轮、旋转轮、履带、驱动电机等，由此，固定于底座30的控制器100、机械手20、输送机构40、处理部50也能够与底座30一体地在地板或地面上移动自如。

输送机构40为与机械手20分开设置的物体P的输送装置。具体地讲，输送机构40具有辊或传送带等，通过控制器100来控制其动作，由此，能够在物体操纵装置1内的规定位置与物体操纵装置1外的规定位置之间输送物体P。例如，在机械手20将物体P搬入物体操纵装置1的情况下，该搬入后，输送机构40能够将该物体P搬出至物体操纵装置1外。另一方面，在机械手20将物体P从物体操纵装置1搬出的情况下，该搬出前，输送机构40能够将该物体P搬入至物体操纵装置1。此外，如图1所示，输送机构40能够在物体被容纳于箱体B的状态下或以箱体B为单位地输送物体P。

处理部50设于底座30上，用于物体P的暂时保持、载置、保管等。处理部50可称为作业场所、作业空间、作业区域、作业台、缓冲区等。在处理部50设有多个标记51。标记51为由照相机21、33等进行的拍摄的目标，用于物体P的输送、后述的校准等。此外，在处理部50可设有RF-ID读写器、条形码阅读器、各种传感器等(不图示)。照相机21为第一照相机的一个例子，照相机33为第二照相机的一个例子。此外，处理部50为载置部的一个例子，标记51为第一标记的一个例子。

此外，在底座30，除了真空泵1a和电池1b以外，还可装备不图示的储气瓶、压缩机、用户接口、安全机构等。真空泵1a例如在机械手20吸附物体P的情况下产生用于该吸附的空气或气体的负压。电池1b例如为真空泵1a或机械手20被电机驱动的情况下的该电机等的电源。储气瓶和压缩机例如可用于机械手20被空气压驱动的情况下的空气或气体的正压的生成、吸附的释放处理、电磁阀的驱动等。此外，储气瓶和压缩机与喷射器连接，由此，也可用于负压的生成。用户接口例如为操作按钮、开关、键盘等。安全机构例如为光幕、碰撞检测器等。

机械手20具有臂部2和手部200。臂部2为所谓多关节或多轴机器人臂部，例如通过多个伺服电机被驱动。此外，臂部2例如也可以为垂直多关节式、水平多关节式、多个直动机器人组合式的机器人等。此外，在臂部2设有力传感器等各种传感器(不图示)。此外，手部200例如为通过由吸附、卡锁(jamming)、夹入等实现的多指机构来抓持物体P(对象物)的机构。手部200可称为抓持机构、执行器、末梢执行器。手部200例如具有小型执行机构、用于获得灵活性的弹性机构200e(弹性部，图3A等)等。此外，在手部200设有照相机21、力传感器等各种传感器(不图示)等。关于手部200的详细构成，将在后面记述。弹性机构200e也可称为弹性关节。臂部2以及手部200为可动部的一个例子。

作业台70例如为架子(rack)、搁架(shelf)、进行组装作业的工作台等，提供由物体操纵装置1实现的物体P的搬出目的地或者搬入源头的场所。在作业台70设有标记71。标记71为由照相机21、33等进行的拍摄的目标，用于物体P的输送、后述的校准等。此外，在系统也可包含与物体操纵装置1分开的机器人8等。标记71为第二标记的一个例子。

[控制器的构成]

图2为控制器100的框图。如图2所示，控制器100除了具有运算处理部101、各种数据库以外，还具有主存储部(不图示)、辅助存储部(不图示)等。在数据库中例如具有物体数据库102a(物体DB)、抓持数据库102b(抓持DB)、机器人数据库102c(机器人DB)、环境数据库102d(环境DB)等。此外，主存储部例如为ROM、RAM等，辅助存储部例如为HDD、SSD等。数据库也可以为辅助存储部的一部分。

运算处理部101具有：机械手控制部110、图像处理部101a、信号处理部101b、计划生成部101c、抓持/动作计划生成部101d、状态监视部101e、错误检测部101f、学习控制部101g、物体辨别部101h等。此外，机械手控制部110包含臂部控制部120、手部控制部140等。

图像处理部101a对各种图像传感器信息进行处理，生成动作计划和动作控制、错误检测和学习所需的信息。

信号处理部101b对各种传感器信息执行信号放大处理、模拟数字转换处理、噪声去除、特征信息的提取、状态变化的判断处理等信号处理。

计划生成部101c以用户输入信息和系统的状态、各种传感器信息为基础，生成并管理物体操纵装置1的作业计划。

抓持/动作计划生成部101d生成关于由机械手20实现的物体P的抓持、移载动作的动作计划。作为一个例子，在进行物体P的抓持时，进行以下处理：计算出从现在的手部200的位置至可抓持物体P的位置而不与周围环境干渉的手部200的移动经由点。该情况下，抓持/动作计划生成部101d也可以计算出包含位置信息、时间信息、速度信息、加速度信息等的动作计划。

臂部控制部120主要控制臂部2的动作。臂部控制部120包含指尖轨道生成部121、轴角生成部122、姿势监视部123、驱动控制部124等。

指尖轨道生成部121生成用于控制机械手20(手部200)的指尖的动作轨道的指尖轨道信息。指尖轨道信息例如为尽量不对臂部2施加载荷而能够实现顺畅移动的指尖的轨道的信息，可包含位置信息、时间信息、速度信息、加速度信息等。

轴角生成部122生成为了机械手20(手部200)的指尖按照指尖轨道信息移动而使臂部2的各关节的角度变化的电机(不图示)的角度信息。角度信息例如可以包含角度信息、时间信息、角速度信息、角加速度信息等。

姿势监视部123监视机械手20中所包含的多个轴驱动部(不图示)的位置，计算出机械手20的姿势。

驱动控制部124按照由轴角生成部122生成的角度信息，控制机械手20的电机的动作(位置)，进而控制机械手20的动作(位置、姿势等)。

状态监视部101e基于根据从姿势监视部123获得的信息所取得的姿势信息，生成例如表示动作中、停止中、动作结束等机械手20的动作状态的动作状态信息。

错误检测部101f测定物体操纵装置1的状态、作业计划的实施状态、驱动控制状态、物体P的抓持状态、物体P的输送的状态等，并感测错误。

学习控制部101g控制以下学习功能：用于机械手20的振动抑制等动作精度提高的机器人模型学习；用于物体P的抓持性能提高的抓持控制参数学习；抓持数据库学习；用于作业计划的实施性能提高的错误感测学习等。

物体辨别部101h基于包含由图像处理部101a处理的物体P的图像的图像处理结果，辨别物体P。

数据库信息生成更新部101i(DB信息生成更新部)生成并更新储存于物体数据库102a的物体信息以及储存于抓持数据库102b的抓持信息。关于数据库信息生成更新部101i的处理，在后面详细地进行记述。

自动校准部101j执行自动校准。关于自动校准，将在后面详细记述。自动校准部101j为校准处理部的一个例子。

在物体数据库102a储存有物体P的属性信息。以下，将物体P的属性信息称为物体信息。此外，在抓持数据库102b按物体P储存有与抓持该物体的控制相关的各种信息。关于物体数据库102a以及抓持数据库102b，将在后面详细记述。

在机器人数据库102c保存有：物体操纵装置1的构造、各部分的规格(例如，尺寸、重量、转动惯量等)、各驱动部(电机等)的性能各因素(例如，动作范围、速度、转矩性能等)。

在环境数据库102d保存有物体操纵装置1所对应的作业台70的信息、物体操纵装置1的动作范围和周围的干渉物等周围环境信息。

[手部的构成例1]

图3A～图3D为表示手部200A(200)的构成例的侧视图(部分剖面图)。图3A～图3D中所示的手部200A具有吸附垫200a、指部200b等多个抓持机构。此外，吸附垫200a可以由卡锁机构等构成。即，手部200A能够通过多个不同的抓持方法来抓持物体P。此外，控制器100的手部控制部140能够在抓持物体P时选择使用适合该物体P的抓持机构。另外，指部200b为平行移动的多指指部、多关节指部。

如图3B所示，手部200A构成为能够通过控制器100的手部控制部140控制姿势可变机构200d来改变吸附垫200a的姿势(角度)。由此，手部200A能够更可靠地抓持物体P。

手部200A具有弹性机构200e以及卡锁部200c。通过弹性机构200e以及卡锁部200c，从手部200A施加于物体P的力得到抑制。此外，手部200A具有对弹性机构200e的可弹性变形状态和不可弹性变形状态进行切换的离合器200f。由此，在抓持并输送物体P的状态下，通过离合器200f来限制弹性机构200e的可相对位移的二处的相对位移，由此，能够抑制由弹性机构200e的弹性引起的手部200A的振动。卡锁部200c例如以覆盖弹性伸缩机构的方式设置，通过进行由卡锁实现的状态的固定化，能够与离合器200f同样地限制伸缩部的相对位移，并抑制由弹性引起的手部200A的振动。

在手部200A设有接触传感器200g、力传感器200h、位移传感器200i(例如，非接触激光位移计)。而且，设于手部200A的照相机21例如为能够检测距离信息的照相机(例如，RGBD传感器)。由此，控制器100的臂部控制部120和手部控制部140基于由这些传感器、照相机获得的检测结果来控制电机等控制对象，由此，能进一步抑制从手部200对物体P施加的力。

此外，将吸附垫200a构成为可在突出位置pa(图3A、图3B)与收纳位置pb(图3C、图3D)之间移动，由此，能够对由吸附垫200a实现的能够抓持物体P的状态(图3A、图3B)和由指部200b实现的能够抓持物体P的状态(图3C、图3D)进行切换。

[手部的构成例2]

图4、图5A以及图5B为表示手部200B(200)的构成例的立体图。图4表示指部200b关闭的状态，图5A以及图5B表示指部200b打开的状态，图5B为从与图5A不同的方向观察的图。

手部200B具有经由导向装置200k分别可平行移动地设于底座200j的二个指部200b。导向装置200k例如具有轨道和滑块，能够以可沿着直线状的轨道移动的方式引导指部200b，并在该轨道上的多个位置进行定位。通过这样的构成，多个指部200b能够改变彼此的距离(间隔)。另外，由导向装置200k实现的指部200b的引导方向为与臂部2的顶端部分的长尺寸方向的交叉方向(正交方向)。

手部200B具有旋转直动转换机构200m。旋转直动转换机构200m为将容纳于底座200j内的电机(不图示)的旋转转换为直线运动的机构，例如为齿条齿轮。通过这样的构成，由控制器100的手部控制部140对电机进行控制，由此，能够控制指部200b的位置、即二个指部200b的距离(间隔)。在本实施方式中，旋转直动转换机构200m与各指部200b对应地设置。不过，旋转直动转换机构200m并不限定于此，可采用各种构成和方式。作为一个例子，旋转直动转换机构200m具有与电机联动旋转的小齿轮和与该小齿轮啮合的彼此平行的二个齿条，可以是齿条使各指部200b沿着导向装置200k平行移动的构成，作为另一个例子，旋转直动转换机构200m也可以是具有通过电机旋转的内螺纹螺母和止转于底座200j且直线运动的外螺纹轴的螺纹机构。此外，在电机与旋转直动转换机构200m之间夹有减速机构、旋转方向转换机构等。

指部200b具有在沿着导向装置200k被引导的移动底座200b1可弹性伸缩地支承有顶端部200b2的浮动构造(弹性伸缩构造)。顶端部200b2经由弹性机构200e以可在指部200b的延伸方向移动的方式被支承于移动底座200b1。相对于移动底座200b1的顶端部200b2的移动方向为臂部2的顶端部分的长尺寸方向。位移传感器200i测定移动底座200b1与顶端部200b2的相对位移。另外，位移传感器200i也可以是编码器、超声波传感器、可变电阻、静电电容传感器、脉冲编码器、光纤传感器等。在本实施方式中，指部200b的形状为尖头且为板状，而且弹性机构200e和位移传感器200i与指部200b的顶端分离地配置。通过这样的构成，能够获得指部200b容易进入狭窄间隙等的效果。

图6为手部控制部140的框图。手部控制部140具有：指令(command)生成部140a、目标值生成部140b、驱动控制部140c、判断部140d、驱动器140e。

指令生成部140a根据从抓持/动作计划生成部101d(图2)经由计划生成部101c(图2)输入的动作命令，生成在各作业步骤中所需的动作顺序来作为动作指令。抓持/动作计划生成部101d、计划生成部101c以及指令生成部140a能够在各自的运算处理时参照物体数据库102a和抓持数据库102b。关于物体数据库102a以及抓持数据库102b的利用，将在后面详细记述。另外，动作命令为关于机械手20的臂部2、手部200的一系列动作的命令，例如以程序的形式被保持。此外，动作命令可以是通过作业人员触碰在不图示的用户接口所显示的命令指令而被发出，也可以通过作业人员的声音指示而被发出。

目标值生成部140b从指令生成部140a接受对电机等驱动部(可动部)的动作指令的指令。目标值生成部140b计算出驱动部的目标值并生成关于驱动部的驱动的目标指令值。

驱动控制部140c从目标值生成部140b接受驱动部的目标指令值，并根据目标指令值生成用于对驱动部进行驱动的驱动指示。

判断部140d从信号处理部101b接受由各种传感器获得的检测结果，并从指令生成部140a接受动作指令。判断部140d基于由各种传感器获得的检测结果和动作指令，判断是否为已得到与动作指令对应的动作的状况，并能够根据该状况对指令生成部140a发出返回值指令(校正指令)。此外，判断部140d能够根据该状况对驱动控制部140c发出驱动停止指令。

驱动器140e从驱动控制部140c接受驱动部的驱动指令，生成驱动部的驱动输出。即，驱动部通过驱动器140e被驱动。

[手部的动作例]

图7A～图7E为表示手部200B的动作顺序的一个例子的示意图。如图7A所示，随着由臂部控制部120控制的臂部2的动作，设于该臂部2的顶端部的手部200B从物体P的上方下降至规定位置。此时，手部200B的二个指部200b为关闭状态。

此时，如图7A所示，臂部控制部120能够基于由计划生成部101c做出的计划、由照相机21拍摄的图像、各种传感器的检测结果等来控制臂部2的驱动部，在与物体P的上方分离的规定位置使机械手20停止下降。

接着，如图7B所示，手部控制部140基于由计划生成部101c做出的计划、由照相机21拍摄的图像、各种传感器的检测结果等，以使二个指部200b的间隔比物体P的宽度稍宽的方式控制手部200B的驱动部。

接着，如图7C所示，臂部控制部120基于由计划生成部101c做出的计划、由照相机21拍摄的图像、各种传感器的检测结果等，以使手部200B下降至抓持物体P的规定位置(抓持位置)的方式控制臂部2的驱动部。

接着，如图7D所示，手部控制部140基于由计划生成部101c做出的计划、由照相机21拍摄的图像、各种传感器的检测结果等，以使二个指部200b的间隔变窄且二个指部200b抓持物体P的方式控制手部200B的驱动部。

接着，如图7E所示，臂部控制部120基于由计划生成部101c做出的计划、由照相机21拍摄的图像、各种传感器的检测结果等，以手部200B在抓持物体P的状态下上升至抓持位置的上方的规定位置的方式控制臂部2的驱动部。

臂部控制部120以及手部控制部140能够按照由计划生成部101c预先做出的计划执行臂部2以及手部200B的一系列动作。此外，臂部控制部120以及手部控制部140例如也可以在根据由照相机21拍摄的图像和传感器的检测结果等能够判断出手部200B已与物体P或处理部50接触的情况下，适当地执行在该接触位置使臂部2停止下降并使臂部2稍向上方移动等、与照相机和传感器等的结果对应的臂部2以及手部200B的控制。另外，不管是何种物体P的抓持方式，都能够执行下降、抓持以及上升的手部200B的一系列动作。

[手部的构成例3]

图8为表示手部200C(200)的构成例的立体图。如图8所示，在手部200C，在指部200b的顶端部设有吸附垫200a。该情况下，手部控制部140能够根据物体P或者根据其他的状况来选择由吸附垫200a实现的物体P的抓持或者由指部200b实现的物体P的抓持。此外，该情况下，如图3B的手部200A所示，吸附垫200a优选经由姿势可变机构200d可旋转地设于指部200b。

[系统的基本动作1(向作业台供给零部件)]

图9为示出系统的基本动作的一个例子的流程图。在此，举例示出如下情况：输送机构40按零部件筐将容纳于作为箱体B的零部件筐的、作为物体P的零部件取得(搬入)至物体操纵装置1内，机械手20将该零部件向作业台70搬出。

首先，在控制器100，若系统被启动或者被复位并且从上级系统接受动作指示(S101)，则控制器100首先执行初始校准动作(S102)。该情况下，如果没有特殊问题，控制器100会通知上级系统没有问题。由此，开始基于从上级系统对控制器100发出的向作业台70供给零部件的指示或者当初已接受的动作指示(供给指示)的控制。另外，关于初始校准动作，将在后面详细记述。

接着，控制器100控制输送机构40，以便容纳有零部件(供给对象零部件)的零部件筐从物体操纵装置1外的规定位置、例如零部件架被输送至物体操纵装置1内的规定位置(S103)。

接着，控制器100控制设于底座30的支柱32的照相机33(图1)，以便拍摄零部件筐(S104)。

接着，控制器100基于由照相机33拍摄的图像，执行零部件筐内有无供给对象零部件的确认和零部件筐内该零部件的位置、姿势以及抓持位置的计算(S105)。

接着，控制器100控制机械手20，以便抓持零部件筐内的供给对象零部件(S106)。

接着，控制器100基于由照相机21、33拍摄的图像、各种传感器的检测结果等，确认由手部200实现的供给对象零部件的抓持状态(S107)。

接着，控制器100基于由照相机21、33拍摄的图像等，确认作业台70(输送目的地)是否处于可供给零部件的状态(S108)。

接着，控制器100控制机械手20，以便以规定姿势将手部200所抓持的零部件配置于作业台70的指定位置(S109)。

若一系列作业结束，则控制器100控制机械手20，以便将其移动至待机位置(S110)。

[系统的基本动作2(从作业台取出零部件)]

图10为示出系统的基本动作的另一个例子的流程图。在此，举例示出以下情况：机械手20从作业台70取得(搬入)作为物体P的零部件至物体操纵装置1内，输送机构40将该零部件向物体操纵装置1外搬出。

首先，在控制器100，若系统被启动或者被复位并且从上级系统接受动作指示(S201)，则控制器100首先控制机械手20，以便手部200向作业台70附近的规定位置移动(S202)。

接着，控制器100基于由手部200的照相机21拍摄的标记71的图像等来辨别作业台70的位置以及姿势，并基于该辨别结果，执行虚拟作业空间(运算空间)内的作业台70的位置数据的校正(S203)。

接着，控制器100控制手部200的照相机21，以便对存在于作业台70的零部件(取出对象零部件)进行拍摄，并通过对所拍摄的图像的图像处理等来辨别该零部件(S204)。

接着，控制器100控制机械手20，以便抓持存在于作业台70的取出对象零部件(S205)。

接着，控制器100基于由照相机21、33拍摄的图像、各种传感器的检测结果等，确认由手部200实现的取出对象零部件的抓持状态(S206)。

接着，控制器100基于由照相机21、33拍摄的图像、各种传感器的检测结果等，确认输送目的地的状态(S207)。

接着，控制器100控制机械手20，以便以规定姿势将手部200所抓持的零部件配置于物体操纵装置1的指定位置(S208)。该情况的指定位置例如为输送机构40上。

接着，控制器100确认取出对象零部件的状态和条形码等。进而，对物体数据库102a进行更新(S209)。

接着，控制器100控制输送机构40，以便容纳有零部件(供给对象零部件)的零部件筐从物体操纵装置1内的规定位置被输送至物体操纵装置1外的规定位置、例如零部件架(S210)。

[信息取得系统的构成]

图11为信息取得系统300的立体图。图11所示的信息取得系统300具备：滑动台301、旋转台302、位置调整机构303、传感器臂部304、滑动机构305、RGB照相机306、距离图像照相机307、激光传感器308、照明臂部309、照明灯310、控制器320等。

控制器320控制各部分，以便RGB照相机306从物体P的各方向拍摄图像，且距离图像照相机307从物体P的各方向拍摄距离图像。物体P载于旋转台302上。位置调整机构303改变旋转台302的高度方向的位置，滑动台301改变旋转台302的水平方向的位置。传感器臂部304被可转动地支承于位置调整机构303。在这样的构成下，控制器320设定或者调整滑动台301的水平位置、旋转台302的角度、位置调整机构303的伸缩度、传感器臂部304的角度，由此，能够变更由RGB照相机306以及距离图像照相机307实现的物体P的拍摄方向以及拍摄距离。另外，以下，有时将滑动台301、旋转台302、位置调整机构303以及传感器臂部304称为可动机构。由激光传感器308获得的距离的测定结果能够用于由距离图像照相机307拍摄的测定距离的校准。此外，控制器320能够调整由照明灯310获得的照明条件。

控制器320基于所拍摄的图像、由传感器获得的检测结果，生成物体P的物体信息。所生成的物体信息储存于物体数据库102a。此外，控制器320能够基于物体P的物体信息，生成用于抓持该物体P的抓持信息。所生成的抓持信息储存于抓持数据库102b。此外，控制器320能够在抓持信息中附加储存所输入或者接收的信息等、可抓持物体P的位置或姿势、表示抓持难易度等的抓持评分、执行抓持时的可压入量、用于判断抓持的阈值等。

此外，信息取得系统300具备用于输入由操作者执行的操作的用户接口(不图示)。此外，信息取得系统300可具有重量传感器并且具有其他传感器(不图示)。此外，信息取得系统300可构成为能够装接覆盖整体的罩(不图示)。

[物体数据库以及抓持数据库]

图12为表示储存于物体数据库102a的物体信息的表。在储存于物体数据库102a的物体信息中例如可包含：物体ID号码、物体名信息、项目类别信息、多方向二维图像信息、三维图像信息、详细CAD模型信息、简易CAD模型信息、条形码信息、物体判断用识别器信息、重量信息、抓持时的特性信息(例如，柔软、易损坏、会变形等)、拍摄条件信息等。在此，物体判断用识别器信息例如为用于物体的判别的分类器、识别器、模式匹配用的词典等的信息。此外，拍摄条件信息为表示拍摄日期、环境、拍摄器材等的信息。

图13为表示储存于抓持数据库102b的抓持信息的表。在储存于抓持数据库102b的抓持信息中例如可包含：物体ID号码、物体名信息、抓持形状类别信息、抓持方法信息、抓持位置信息、抓持评分信息、搜索范围信息、压入量信息、抓持判断信息、输送姿势信息、容许速度信息等。在抓持数据库102b中，按抓持方法设定有抓持位置信息、抓持评分信息、搜索范围信息、压入量信息、抓持判断信息、输送姿势信息、容许速度信息等。由图12、13可知，储存于物体数据库102a的物体信息和储存于抓持数据库102b的抓持信息通过物体ID号码、物体名信息而彼此建立关联。

[由信息取得系统实现的物体信息的取得顺序]

图14为表示由信息取得系统300实现的、取得物体信息的顺序的流程图。打开罩，在旋转台302上设置物体P(S301)，若从用户接口等输入物体名ID号码或者物体名信息，则控制器320将开始执行取得物体信息的处理的指示输出至信息取得系统300的各部分(S302)。

接着，执行设置物体P的位置的调整(S303)。在S303，例如，控制器320基于物体P的RGB照相机306和距离图像照相机307的临时拍摄图像，使可动机构工作来调整物体P的位置，使物体P的重心假定位置与拍摄中心一致。

接着，控制器320取得由重量传感器获得的物体P的重量的检测结果，基于该检测结果来计测物体P的重量(S304)。

接着，控制器320分步骤地改变可动机构、例如旋转台302和传感器臂部304的位置(角度)，并控制RGB照相机306和距离图像照相机307，以便在各位置(角度)执行拍摄(S305)。此外，这时，控制器320在各步骤预先取得由激光传感器308获得的距离的计测结果。

接着，根据需要，控制器320在物体P翻转的状态下执行与步骤S305相同的拍摄。物体P的翻转可以是操作者来进行，在能够使用机械手20或其他机器人8等装置的状况下，也可以是控制器320利用该装置来执行(S306)。

若拍摄结束，则控制器320自动生成登录至物体数据库102a的一次物体信息(S307)。在此，所谓一次物体信息例如为物体P的项目类别信息、多方向二维图像信息、三维图像信息、详细CAD模型信息、简易CAD模型信息、条形码信息、物体判断用识别器信息等。关于一次物体信息的自动生成，将在后面详细记述。

接着，控制器320将自动生成的一次物体信息显示于用户接口的输出部(显示器等)，并基于由用户接口的输入部(键盘等)获得的操作者的修正指示以及输入数据，修正一次物体信息(S308)。

接着，控制器320基于所修正的一次物体信息，自动生成一次抓持信息(S309)。在此，所谓一次抓持信息为关于物体P的抓持的抓持形状类别信息、抓持方法信息、抓持位置信息、抓持评分信息、搜索范围信息、压入量信息、抓持判断信息、输送姿势信息、容许速度信息等。关于一次抓持信息的自动生成，将在后面详细记述。

接着，控制器320将自动生成的一次抓持信息显示于用户接口的输出部(显示器等)，并基于由用户接口的输入部(键盘等)获得的操作者的修正指示以及输入数据，修正一次抓持信息(S310)。

接着，控制器320对物品判断用识别器信息等与学习相关的处理进行更新(S311)。

接着，控制器320将所修正的一次物体信息更新登录于物体数据库102a，并且将所修正的一次抓持信息更新登录至抓持数据库102b(S312)。

[信息取得系统中的物体信息的自动生成]

在一次物体信息中，例如能够通过将所获得的多方向二维图像信息、由该多方向二维图像信息重建而获得的三维图像信息、从距离图像信息等获得的点云(point cloud)数据这样的三维点云信息转换为STL、STEP这样的三维的面信息或点云信息来取得详细CAD模型信息。

进而，对所获得的详细CAD模型信息的重心以及该重心的基准坐标进行定义。基准坐标例如可以以物体P被置于信息取得系统300后的姿势为基准。具体地讲，例如可以应用将物体P的外切长方形的最大面的法线方向的反方向设为Z轴、将沿着最大面的长边的方向设为Y轴、将沿着短边的方向设为X轴等的规则。

此外，例如能够通过削减所获得的详细CAD模型的顶点信息或将三维点云信息适用于立方体或圆柱等少数的基本形来取得简易CAD模型信息，以作为数据尺寸被削减的信息。

此外，对于条形码信息，通过图像处理从所获得的多方向二维图像信息提取条形码区域，通过对条形码信息进行解析，能够获得对象项目的ID等信息。该情况下，条形码信息与表示物体P的条形码区域的存在位置和存在方向的信息、表示详细CAD模型信息或者简易CAD模型信息的条形码区域的存在位置和存在方向的信息建立关联地被储存于物体数据库102a，或者条形码信息包含该信息地被储存于物体数据库102a。

此外，项目类别信息在制造现场为螺纹和螺母、连结零部件、保护零部件等表示零部件的类别的分类，在成品的物流现场为衣物或文具、电子设备这样的表示物品的类别的分类，能够根据图像信息或CAD模型信息并使用类别辨别技术来确定。

此外，例如能够根据所获得的多方向二维图像信息、三维图像信息、物体名信息等，通过使用SIFT、HOG或Haar－like这样的二维图像的特征量或使用了SHOT这样的三维形状数据的特征量的方法、深层学习等使用了神经网络的方法等，生成物体判断用识别信息、即用于物体的判别的分类器、识别器、模式匹配用的词典等的信息。

[信息取得系统中的抓持信息的自动生成]

图15为抓持基本系统模型的示意图，图16为抓持方法基本数据的示意图。此外，图17为表示由信息取得系统300实现的抓持信息的自动生成的顺序的一部分的示意图。

为了生成抓持信息，控制器320(数据库信息生成部)预先具有：作为物体模型的基本系统的图15中举例示出的抓持基本系统模型；定义了对于抓持基本系统模型的基本的抓持方法的图16中举例示出的抓持方法基本系统数据。抓持基本系统模型以及抓持方法基本系统数据可以记载于程序中，也可以作为数据库登录于辅助存储部等。

如图15所示，抓持基本系统模型例如为长方体Mo1、平板Mo2、方杆Mo3、圆筒Mo4、圆杆Mo5等形状数据。抓持方法基本数据中，对于抓持基本系统模型的各面或特征点，定义了由手部200实现的吸附Me11～Me12、夹入Me22～Me24、抓住等可抓持的抓持方法。在图16的例子中，对于长方体Mo1，定义为：能够对长方体Mo1的各面进行由吸附垫方式实现的吸附Me11和能够进行夹入相对的各面的夹入Me21。另外，图15、16只不过是一个例子，当然也可以定义图15以外的抓持基本系统模型和图16所示的抓持方法以外的抓持方法基本数据。

如图17所示，抓持类别信息例如通过形状(例如，长方体型、平板型、复合型等)或构造材质(例如，硬度、易碎性、柔软性、多孔性等)来分类。抓持类别的形状能够通过进行物体信息的CAD模型信息与抓持基本系统模型的匹配处理，并适用最接近的抓持基本系统模型来确定。抓持类别的构造材质信息能够通过根据物体信息的RGBD图像信息的类别辨别、根据项目类别信息的再分类来确定。

如图17所示，抓持方法信息例如能够通过根据抓持类别的形状信息参照抓持方法基本数据来确定。另外，在由抓持方法基本数据定义的方向因形状的组合而隐藏的情况等之下，排除在抓持方法之外。

与抓持方法信息同样地，抓持位置信息能够通过针对由抓持类别的形状信息定义的对象物的基本姿势计算出抓持位置的坐标值和抓持姿势来确定，其中，在该抓持位置进行由抓持方法基本数据定义的各抓持方法下的抓持。

对于各抓持方法，能够按照由与抓持位置的形状的组合所规定的规则计算出抓持评分信息。该规则例如为：在由吸附垫实现的吸附的情况下，如果进行吸附的平面部的面积大，则提高评分；在CAD模型的平面部存在微小的凹凸的情况下，则降低评分；如果构造材质信息为如塑料那样的不透气材质，则提高评分；如果构造材质信息为多孔质那样的透气材质，则降低评分等。能够通过将这些信息作为学习数据的识别器来确定抓持评分。可以认为抓持评分是抓持的成功概率的指标。

搜索范围信息是在抓持作业中产生抓持失败判断时利用于对象物的再搜索的信息，由抓持类别的形状所确定的物体P的尺寸越小，搜索范围设定得越小，尺寸越大，搜索范围设定得越大。

压入量信息为在抓持判断时定义手部200的压入量的信息，根据抓持类别的构造材质信息，材质越硬，压入量设定得越小，材质越软，压入量设定得越大。

抓持判断信息为进行抓持判断时的阈值，例如，吸附中，在将吸附时的负压(压力)用于抓持判断的情况下，根据形状信息、构造材质信息预测为抓持位置的泄漏流量少时，维持较大的负压，因此，增大作为吸附的判断基准的负压的绝对值。在预测为存在泄漏流量时，压力难以下降，因此，减小作为吸附的判断基准的负压的绝对值。该情况下，如果能够充分确保吸引的流量，则也能够进行物体P的抓持。此外，在夹持的情况下，例如，在材质硬的情况下，将夹持时对指部200b的反作用力设定得高，在材质柔软的情况下，将对指部200b的反作用力设定得低。这样一来，通过根据物体P的特性来改变抓持状态的判断值，能够稳定地抓持更多种类的物体P。

另外，信息取得系统300的控制器320所执行的上述处理可以由物体操纵装置1的数据库信息生成更新部101i执行。即，物体操纵装置1也是信息取得系统300的一个例子。该情况下，通过手部200(机械手20)的照相机21，从多个方向、多个距离对载置于处理部50上的物体P进行拍摄。该情况下，也可以使用机械手20来改变处理部50处的物体P的姿势。然后，通过运算处理部101，执行与由控制器320执行的上述处理相同的处理。

[物体操纵装置的特征功能]

物体操纵装置1具有以下(1)～(5)的特征功能。以下，依次说明这些功能。

(1)将手动校准抑制到最小限度的自动校准功能

(2)实现由具有弹性关节的手部执行的、基于物体数据库以及抓持数据库的物体的灵活操纵的抓持功能

(3)对于机构/感应的误差、环境的变化，依次对目标进行调整，可靠地捕捉对象物的、模型库的实时视觉反馈控制功能

(4)经常监控作业状态，执行最合适的作业顺序的选择、错误恢复的错误恢复功能

(5)通过作业中的参数学习来适应使用环境的学习控制功能

[(1)自动校准]

图18A为表示物体操纵装置1的自动校准的顺序的流程图。此外，图18B为底座坐标系S1与机械手坐标系S2之间的平面误差的说明图，图18C为表示设有由照相机21拍摄的校准图案CP的机械手20的图像的示意图。

自动校准是由运算处理部101的自动校准部101j执行的。自动校准部101j自动地把握图1所示的底座坐标系S1、机械手坐标系S2以及装置外坐标系S3间的偏移，执行用于获得误差少的检测结果以及控制结果的校准。另外，作为前提，处理部50的标记51的位置作为设计信息在底座坐标系S1是已知的。此外，各坐标系S1、S2、S3的原点的位置和坐标轴的方向并不限于图1所示的内容。

自动校准部101j首先基于设于手部200的照相机21的摄影图像来检测处理部50和机械手20的平面误差。具体而言，自动校准部101j控制机械手20，以便成为假想为处理部50的标记51的设计上的位置与手部200的照相机21的视野的中心点或规定的假想点重叠的位置以及姿势。该情况下，设为照相机21的光轴与标记51正交的姿势。然后，如图18B所示，根据由照相机21拍摄标记51所得的图像，计测中心点或规定的假想点Pt与标记51的XY平面(方向X以及方向Y)的偏移δx、δy(平面误差)。方向X以及方向Y为第一方向的一个例子。在照相机21为距离图像照相机的情况下，不仅能够取得标记51的XY平面位置，也能取得Z方向位置。通过取得Z方向位置，能够缩小下一步骤(S502)中的、由机械手20引起的进深位置误差的搜索范围。另外，距离图像照相机的信息根据其方向位置精度有所不同。一般而言，由于在进深方向精度低，因此难以仅通过距离图像照相机的信息得到足够的精度。偏移δx、δy为第一误差的一个例子(S501)。

接着，自动校准部101j基于接触传感器200g、力传感器200h、位移传感器200i等的检测结果来检测处理部50和机械手20的进深位置误差。具体而言，自动校准部101j首先控制机械手20，以便手部200的顶端部或者设于手部200的测头(不图示)从自标记51的设计上的位置向减少XY平面中由S501获得的偏移δ1的方向以及距离移动后的位置开始移动至在与该XY平面正交的方向Z偏移规定量的位置。接着，自动校准部101j控制机械手20，以便手部200的顶端部或者测头移动至与标记51接触的位置。与标记51的接触能够根据接触传感器200g、力传感器200h、位移传感器200i等的检测结果辨别。自动校准部101j在手部200的顶端部或者测头与标记51接触的位置使机械手20停止，取得在该停止位置的机械手坐标系S2中的位置(进深位置、Z方向的位置)。关于多个标记51，执行上述处理并取得机械手坐标系S2中的Z方向位置，进而计算出与各标记51的设计中的Z方向的位置的偏移δz(进深误差)。方向Z为第二方向的一个例子。偏移δz为第二误差的一个例子(S502)。

接着，自动校准部101j在底座坐标系S1对机械手坐标系S2进行校准。具体而言，自动校准部101j获得多个标记51的偏移δx、δy以及δz成为最少的第一校正矩阵、即计算出操作值的第一校正矩阵，该操作值用于相对于机械手20(手部200)的代表部位的底座坐标系S1中的位置以及姿势的指令值，获得与该指令值极接近的代表部位的实际位置以及姿势。在此，获得第一校正矩阵是底座坐标系S1中的机械手坐标系S2的校准的一个例子。第一校正矩阵为指示校准值(第一指示校准值)的一个例子(S503)。

接着，自动校准部101j在底座坐标系S1对底座30的照相机33的位置以及姿势进行校准。在该处理中，重要的是：机械手坐标系S2相对于底座坐标系S1是已经校准过的。具体而言，自动校准部101j首先控制机械手20，以便设于图18C所示的机械手20(臂部2或者手部200)的校准图案CP进入照相机33的视野内。接着，自动校准部101j控制机械手20，以便校准图案CP移动至设定于该视野内的多个规定位置，并控制照相机33，以便在各个场所拍摄校准图案CP。接着，自动校准部101j基于从由照相机33拍摄的校准图案CP的拍摄结果获得的位置以及姿势和通过设计本来应该从校准图案CP的由照相机33拍摄的拍摄结果获得的位置以及姿势，计算出在底座坐标系S1中的照相机33的内部光学系统的坐标系的原点以及姿势。照相机的内部光学系统的坐标系被称为照相机坐标系，原点以及姿势一般被称为外部参数，其值能够通过透视投影矩阵的估计方法等计算出。在此，通过该公知的方法，获得用于获得照相机33在底座坐标系S1中的实际的位置以及姿势的第二校正矩阵。这样一来，通过对底座坐标系S1中的照相机33的位置以及姿势进行校准，并根据之后由照相机33拍摄的结果，能够正确地计算出拍摄对象物的位置以及姿势。第二校正矩阵为图像校准值的一个例子(S504)。

接着，自动校准部101j经过以下所示的S505以及S506的顺序，在底座坐标系S1对作业台70(装置外)的位置以及姿势进行校准(S507)。在该处理中，依然重要的是：机械手坐标系S2相对于底座坐标系S1是已经校准过的。具体而言，首先，自动校准部101j基于设于手部200的照相机21的拍摄图像来检测作业台70和机械手20的平面误差。具体而言，自动校准部101j控制机械手20，以便作业台70的标记71进入照相机21的视野内。接着，根据由照相机21获得的标记71以及其周边部的特征点信息，计算出作业台70的大致的位置以及姿势。接着，自动校准部101j控制机械手20，以便成为假想为标记71的设计上的位置与手部200的照相机21的视野的中心点或规定的假想点重叠的位置以及姿势。该情况下，设为照相机21的光轴与标记71正交的姿势。然后，根据由照相机21拍摄标记71所得的图像，计测中心点或规定的假想点与标记71的XY平面的偏移(平面误差)(S505)。另外，在本实施方式中，照相机21拍摄了标记71的图像，但照相机33也可以拍摄标记71的图像。在使用照相机33的情况下，重要的是：照相机33的位置以及姿势在底座坐标系S1中被校准。

接着，自动校准部101j基于接触传感器200g、力传感器200h、位移传感器200i等的检测结果来检测处理部50和机械手20的进深位置误差。具体而言，自动校准部101j首先控制机械手20，以便手部200的顶端部或者设于手部200的测头(不图示)从标记71的设计上的位置移动至在与XY平面正交的Z方向偏移了规定量的位置。接着，自动校准部101j控制机械手20，以便手部200的顶端部或者测头移动至与标记71接触的位置。与标记71的接触能够根据接触传感器200g、力传感器200h、位移传感器200i等的检测结果辨别。自动校准部101j在手部200的顶端部或者测头与标记71接触的位置使机械手20停止，取得在该停止的位置在底座坐标系S1中的位置(进深位置、Z方向的位置)。关于多个标记71，执行上述处理并取得底座坐标系S1中的Z方向位置，进而计算出与各标记71的设计上的Z方向的位置之间的偏移(S506)。

接着，自动校准部101j在底座坐标系S1中对作业台70的位置以及姿势进行校准。具体而言，自动校准部101j获得多个标记71的平面方向的偏移以及进深方向的偏移成为最少的第三校正矩阵、即计算出操作值的第三校正矩阵，该操作值用于相对于作业台70的代表部位的底座坐标系S1中的位置以及姿势的指令值，获得与该指令值极接近的代表部位的实际的位置以及姿势。在此，获得第三校正矩阵是底座坐标系S1中的作业台70的位置以及姿势的校准的一个例子。第三校正矩阵为指示校准值(第二指示校准值)的一个例子(S507)。

根据本实施方式，自动校准部101j能够根据指令值、照相机21所拍摄的图像以及由传感器获得的检测结果，比较容易或者更高精度地取得指示校准值(第一指示校准值、第二指示校准值)，因此，能够减少相对于指令值的误差。而且，自动校准部101j能够根据多个指令值和照相机33与各该指令值对应地拍摄的多个图像，比较容易或者更高精度地取得图像校准值，因此，能够减少从图像获得的位置的误差。此外，优选物体操纵装置1例如在起动时或在规定的时刻或以时间间隔自动地执行由自动校准部101j实现的校准处理。这样的自动校准在弹性机构200e等弹性部或弹性关节设于臂部2或手部200的物体操纵装置1中是有益的。本实施方式中，在使用照相机图像以及力传感器200h等多个传感器进行坐标系的校准的情况下，更优先地活用各精度高的方向的信息。由此，能够进行更精细的坐标系的校准。另外，本实施方式中，对由照相机图像获得的误差计算的方向与力传感器200h的误差计算的方向相互正交的情况进行了说明，但这些方向如果有正交分量，则在非完全正交的情况下也是有效的。

[(2)基于数据库的灵活操纵]

图19A以及图19B为表示基于物体数据库以及抓持数据库并由手部200实现的灵活操纵的顺序的流程图。此外，图20A～20C为表示动作经由点的图，图20A为表示初始位置p0、对象物(零部件、物体)以及输送目标位置pe的图，图20B为表示从初始位置p0至抓持目标位置p3的动作经由点的图，图20C为表示从提升位置p4至抓持释放位置p6的动作经由点的图。在此，作为一个例子，示出运算处理部101(图2)以从作为箱体B的零部件筐取出作为物体P的零部件的方式控制各部分时的顺序。

运算处理部101控制照相机21以及机械手20，以便照相机21对零部件(物体P)的周边进行拍摄。在此，也可以拍摄多个零部件的图像(S601)。

接着，物体辨别部101h对由照相机21拍摄的零部件的图像和物体数据库102a的物体信息进行比较，确定所拍摄的零部件。物体辨别部101h从物体数据库102a取得该零部件的物体ID号码(S602)。

接着，运算处理部101对由上级所指示的作为对象物的零部件的物体ID号码和由S602确定的零部件的物体ID号码进行比较，判断在所辨别的零部件中是否包含对象物(S603)。

在所辨别的零部件中不存在对象物的情况下(S603中为“否”)，变更照明条件、手部200的照相机21的拍摄姿势等某种拍摄条件，由底座30的照相机33或者手部200的照相机21实施再拍摄(S604)，返回到S602。

在所辨别的零部件中存在对象物的情况下(S603中为“是”)，物体辨别部101h进行所拍摄的三维信息与物体数据库102a的CAD模型信息的匹配，计算出所辨别的物品的姿势。此时，也可以实施零部件筐的姿势、对象物以外的零部件的姿势的计算等(S605)。

接着，抓持/动作计划生成部101参照储存于抓持数据库102b的抓持信息，计算出所辨别的零部件的抓持方法以及抓持点的候补。在此，抓持数据库102b中包含有对于零部件的多个抓持方法、多个抓持点以及各自的抓持评分等，抓持/动作计划生成部101d基于所辨别的零部件的位置姿势信息、零部件筐的位置姿势信息，执行抓持评分的再计算、抓持点的选择等。具体地讲，在配置于所辨别的零部件的各面的抓持点中，提高朝向零部件筐的开口部方向的抓持点的评分等(S606)。

接着，抓持/动作计划生成部101d执行从手部200的初始位置p0至输送目标位置pe的、图20A～20C所示的动作经由点的计算。动作经由点例如为用于使手部200插入零部件筐(箱体B)的插入准备位置p1、由手部200抓持零部件(物体P)之前的抓持前位置p2、用于进行零部件的抓持动作的抓持目标位置p3、从零部件筐将所抓持的零部件提起的提升位置p4、用于将手部200插入作业台70的空间的作业台进入位置p5、用于将对象物置于作业台70的规定位置的抓持释放位置p6等。对于插入准备位置p1，根据零部件筐的位置姿势的辨别结果，考虑并计算出易于通过手部200的照相机21确认零部件筐的手部200的位置、易于移至抓持目标位置p3的位置。对于抓持前位置p2，考虑并计算出在法线方向与抓持目标位置p3稍许分离的位置等能够通过大致直线动作到达抓持目标位置p3的位置。对于作业台进入位置p5，根据作业台70的位置姿势的辨别结果，考虑并计算出易于通过手部200的照相机21确认作业台70的手部200的位置、易于移至抓持释放位置p6的位置。以零部件的抓持释放时，零部件进入规定的位置的方式，计算出抓持释放位置p6(S607)。

接着，指尖轨道生成部121利用动作经由点信息、物体操纵装置1的形状、表示零部件筐或零部件等的外部环境的状态的信息，一边避免干渉，一边生成手部200从所希望的动作经由点通过的指尖轨道。具体地讲，能够使用RRT或PRM的方法计算出指尖轨道(S608)。

在此，在不能计算出有效的轨道的情况下(S609中为否)，运算处理部101确认是否存在下一个抓持点候补，在不存在下一个抓持点候补的情况下(S610中为“否”)，作业移至状态变更动作F22(图22A、图22B，在后面详细记述)。在存在下一个抓持点候补的情况下(S610中为“是”)，运算处理部101设定该下一个抓持点候补，执行S607的处理。

在S608中计算出了有效的轨道的情况下(S609中为“是”)，机械手控制部110将手部200从初始位置移动至插入准备位置p1。在此，移动可以是沿着预先确定的轨道移动，也可以是以由手部照相机或手部200的照相机21等获得的零部件筐的位置姿势为基础，一边通过后述的视觉反馈伺服对轨道进行修正一边移动(S612)。

接着，机械手控制部110将手部200从插入准备位置p1移动至抓持前位置p2。此时，可以以由手部200的照相机21或底座30的照相机33等获得的零部件的特征点信息为基础，一边通过后述的视觉反馈伺服对轨道进行修正一边移动(S613)。

接着，运算处理部101在根据由手部200的照相机21或底座30的照相机33等获得的零部件和手部200的观测信息计算出相对于抓持目标位置p3的位置以及姿势的误差的情况下，对抓持目标位置p3以及此时的姿势进行修正(S614)。

接着，机械手控制部110将手部200从抓持前位置p2移动至抓持目标位置p3(S615)。

接着，手部控制部140开始抓持动作。具体地讲，在通过吸附方式进行抓持的情况下，扫描电磁阀等，使得产生吸附力。在由二指或多指手部实现的夹持的情况下，开始关闭手指的动作(S616)。

接着，信号处理部101b实施抓持动作状态的各种传感器信息的处理，计划生成部101c监视抓持动作状态信息。具体地讲，抓持动作状态信息为吸附时的真空压力或流量、接触传感器的传感器值、弹性关节部的位移传感器值、抓持机构驱动部的转矩、抓持动作处理时间等。抓持动作状态的确认利用储存于抓持数据库102b的抓持判断信息来进行。在超过抓持目标位置p3而进一步继续抓持动作的情况下，利用抓持数据库102b的压入量信息(S617)。

接着，状态监视部101e基于抓持动作状态信息，判断是否成为抓持确认状态。具体地讲，抓持确认状态为：在吸附时真空压力达到规定值的状态；通过接触传感器确认到接触的状态；位移传感器值、转矩值达到所希望的值的状态。这里的判断的阈值利用登录于抓持数据库102b的抓持判断信息(S618)。

状态监视部101若检测出抓持确认状态(S618中为“是”)，则判断抓持状态的结果。具体地讲，在吸附时可以通过真空压力进行判断，在二指时可以通过二指的间隔等进行判断(S619)。

在抓持状态的结果的判断中，判断为未能抓持零部件的情况下(S620中为“否”)，移至S621。在S621，确认在现在的抓持点是否已经实施抓持点附近搜索处理。在搜索已经实施的情况下(S621中为“是”)，设定下一个抓持点候补(S622)。在未实施的情况下(S621中为“否”)，实施抓持搜索动作F23。

在S620中为“是”的情况下，机械手控制部110将手部200向拔出方向移动(S623)。

接着，运算处理部101再次确认抓持状态，如果抓持状态不稳定或者未能抓持、即如果是不能输送的状态(S624中为“否”)，则移至重试动作F24(图24、在后面详细记述)。另外，用于抓持状态确认的阈值根据对象物或抓持方法等而有所不同，因此，利用抓持数据库102b的抓持判断信息。

S624的判断中，在能够输送的情况下(S624中为“是”)，机械手控制部110将手部200的姿势转换为输送姿势。此时，适合输送的姿势、抓持的状态根据零部件而有所不同，因此，参考抓持数据库102b的输送姿势信息来决定。具体地讲，由抓持数据库102b指定的姿势在吸附的情况下是难以对零部件和吸附垫200a施加力矩的、吸附垫200a朝下的姿势，在夹持的情况下是多指的一部分支承零部件的下部的姿势。在任何情况下，为了抑制输送时的振动，可以通过控制离合器200f来固定弹性机构200e，设为非弹性状态(S625)。

接着，机械手控制部110保持输送姿势地移动至作业台进入位置p5。在此，在保持抓持状态的移动中存在使所抓持的零部件掉落的风险，因此，使用抓持数据库102b的容许速度信息，将输送速度抑制到容许速度以下，由此，能够一边最大限度地缩短输送时间，一边实现稳定的输送。这里的输送速度能够根据抓持状态而变更。这一点能够通过在抓持数据库102b的抓持判断信息中设定多个等级并且设定与该等级对应的多个输送容许速度来实现。例如，在吸附方式的情况下，能够利用吸附压来作为抓持判断信息。作为一个例子，对于某个零部件，在吸附压为－40kPa以下的情况下，能够充分地进行吸附抓持，因此，将输送容许速度设定为500mm/sec。在吸附压为－40kPa～－30kPa的情况下，将输送速度设定为200mm/sec。在吸附压为－30kPa～－15kPa的情况下，将输送容许速度设为200mm/sec(S626)。另外，输送状态的容许值无需仅根据速度来设定，也可以根据加速度、加加速度(jerk)来设定。此外，在吸附压大于－15kPa的情况下，不能获得充分的吸附抓持状态，在S624判断为不能输送(S624中为“否”)，移至重试动作等。

运算处理部101控制手部200的照相机21，以便拍摄作业台70的输送目的地位置的周边(S627)。接着，运算处理部101基于来自上级的指示和拍摄结果，修正零部件的抓持释放位置p6(S628)。接着，机械手控制部110使手部200向抓持释放位置p6移动，手部控制部140解除零部件的抓持，将零部件置于由上级指示的输送目标位置pe(S629)。由此，一系列的处理结束。

[(3)实时视觉反馈控制]

图21A为机械手控制部111(110)的框图。图21B为图像特征量目标值的说明图。机械手控制部111的特征是：具有对使用非线性动力学模型的电机111e的控制量进行校正的反馈系统和使用图像特征量的基于特征量的控制器这两方或者任一方。

在机械手控制部111，若从计划生成部101c获得零部件(物体P)的抓持位置等手部200的移动目标的位置信息，则图像特征量生成器111a利用物体数据库102a等的物体信息，生成用于达成向抓持目标位置p3的移动的图像特征量目标值。具体地讲，图像特征量目标值是如图21B所示手部200到达抓持目标位置p3时从手部200的照相机21等的照相机传感器获得的零部件图像的特征点的配置信息等。另外，在图21B中，为了便于理解而示出特征量像，实际上特征点的坐标、特征点间的距离等数值性的信息即可。这能够通过从保存于物体数据库102a的零部件的各面的图像或特征量信息提取所需要的面的信息，或者对从CAD模型信息生成或者取出的信息进行视角转换等来生成。

基于特征量的控制器111b将图像特征量目标值和从手部200的照相机21等的照相机传感器获得的图像特征量的误差作为输入，计算出电机111e的控制量。基于特征量的控制器111b能够通过使用图像雅可比(Jacobian)并使用一般的PI控制系统来构成。

所计算出的电机111e控制量的值通过物体操纵装置1的非线性动力学模型补偿器111d来补偿。关于使用非线性动力学模型的控制量的补偿方法的详细内容，将在后面记述。在此，非线性动力学模型中不仅含有关于物体操纵装置1的信息，还含有关于重量等抓持的零部件的模型或零部件的抓持位置等抓持状态的信息。

按照所补偿的控制量驱动电机111e，使臂部2移动，执行将手部200移动至规定位置等的任务。图像特征量计算器111f使用从手部200的照相机21等的照相机传感器获得的输出图像，计算相对于目标的图像特征量。

在图21A的机械手控制部111，机械手20以由手部200的照相机21观测的图像相对于抓持目标位置p3一致的方式进行动作，因此，即使在机械手20的机构参数或照相机参数中存在稍许误差，最终也能够抑制误差，将手部200移动至正确的位置。此外，即使零部件移动，也能够与零部件的移动相配合地使手部200追随。而且，机械手控制部111具有非线性动力学模型补偿器111d。由此，对臂部2的挠曲、振动进行补偿，手部200能够更正确地追随。在使用照相机图像的控制系统中，若臂部2振动，则图像信息波动较大，因此，难以实现稳定的控制，但在本系统中，通过由非线性动力学模型补偿器111d实现的振动抑制，能够实现稳定的控制。

而且，在图21A的机械手控制部111，通过非线性动力学模型参数管理部111g，能够根据零部件(物体P)的抓持状态，对非线性动力学模型补偿器111d所使用的非线性动力学模型进行切换。通常，在使用非线性动力学模型的基于模型的控制系统中，手部200抓持或释放物体，由此，若臂部2的载荷变化，则模型与现实的差变大，控制系统变得不稳定。但是，在机械手控制部111，通过根据所辨别出的物体信息、抓持的状态的信息来切换非线性动力学模型，即使在抓持输送作业等工序中，也能够实现稳定的控制。另外，在此，使用零部件的特征点作为表示抓持目标位置p3的信息，但也可以利用作业台70、处理部50的标记51、零部件筐(箱体B)的特征点。

图21C为表示机械手控制部111A(110)的其他例子的框图。在未获得目标图像、特征点的情况下，代替图21A的基于特征量的控制器111b而利用图21C那样的通常的PI控制系统的PI控制器111h。现在位置计算器111i根据手部200的照相机21等的输出图像计算出现在位置。即使是机械手控制部111A这样的控制系统，通过充分的校准，也能够实现比较稳定的动作，此外，通过非线性动力学模型补偿器111d，能够实现更正确的控制。

图21D为表示机械手控制部111的参数变更的顺序的流程图。在此，示出从零部件筐将作为物体P的零部件抓持输送至作业台70时的顺序。

运算处理部101控制底座30的照相机33，以便拍摄零部件周边(S701)。

接着，物体辨别部101h利用由底座30的照相机33拍摄的图像和物体数据库102a的物体信息，确定所拍摄的零部件的物体ID信息(S702)。

接着，物体辨别部101h进行所拍摄的三维信息与物体数据库102a的CAD模型信息的匹配，计算出所辨别的零部件的姿势。此时，也可以执行零部件筐的姿势、零部件以外的物体的姿势计算(S703)。

接着，抓持/动作计划生成部101d参照抓持数据库102b，计算出对所辨别的零部件的抓持方法以及抓持位置(S704)。

接着，机械手控制部111(110)与所计算出的抓持方法相配合地实施手部200的状态的转换动作。具体地讲，所进行的动作是：在计算出为吸附方式的情况下，使吸附垫200a突出的动作，在计算出为由指部200b实现的夹持方式的情况下，收纳吸附垫200a的动作等(S705)。

接着，非线性动力学模型参数管理部111g与由S705设定的手部200的状态相配合地设定在非线性动力学模型补偿器111d所使用的动力学模型的模型参数。将通过事先学习所确定的参数用作所设定的模型参数。此外，在未进行事先学习的情况下，也可以在该定时对控制系统施加随机信号等来进行参数学习(S706)。

接着，机械手控制部111使用所设定的模型参数来控制机械手20，以便手部200移动至插入准备位置p1。在此，由于设定了最合适的模型，因此，即使以最高速度使机械手20移动，也能够实现稳定的动作。而且，通过实施活用了零部件筐的特征点的、基于特征量的控制，能够更正确地将零部件筐移动至插入准备位置p1(S707)。

接着，机械手控制部111控制机械手20，以便手部200从插入准备位置p1向抓持前位置p2移动。通过实施活用了零部件的特征点信息的、基于特征量的控制，能够更正确地向抓持前位置p2移动(S708)。

接着，机械手控制部111控制机械手20，以便手部200以中速从抓持前位置p2向抓持目标位置p3移动。此时，即使因零部件的辨别的偏差等的影响，手部200与对象的物体P、周边的物体P接触，但由于在手部200具有弹性部，因此，弹性部吸收冲击，不会损伤物体P。此外，在弹性部吸收冲击、压入力期间，位移传感器200i、接触传感器200g对接触进行判断，通过阻止机械手20的动作或者使机械手20在释放力量的方向移动，能够避免物体P、手部200的破损(S709)。

接着，手部控制部140控制手部200，以便抓持零部件。在此，能够正确地检测接触状态，因此能够稳定地抓持零部件(S710)。

接着，非线性动力学模型参数管理部111g与抓持方法、抓持位置以及零部件的特性相配合地设置动力学模型。抓持方法以及抓持位置、抓持对象的物体的特性能够根据物体数据库102a、抓持数据库102b计算出，而且，也可以根据实际地进行抓持动作的传感器信息，对正确的抓持位置进行校正。在非线性动力学模型参数管理部111g，具有事先在多个顶端载荷的重量、重心偏置等的条件下所学习的模型参数，根据所指定的抓持方法以及抓持位置、抓持对象的物体的特性来进行最合适的模型参数的选择，或者通过使用条件比较接近的多个模型参数的插值(日文原文：内挿)等来确定最合适的参数(S711)。

接着，机械手控制部111控制机械手20，以便从零部件筐拔出所抓持的零部件(S712)。

接着，机械手控制部111参照抓持数据库102b，基于输送容许值信息，控制机械手20，以便以输送容许速度输送零部件。此时，通过将设于输送目的地的作业台70的标记71活用为特征点，能够获得更正确的特征点量，因此，能够实施稳定的基于特征量的控制(S713)。

接着，机械手控制部111将零部件配置于作业台70的输送目标位置pe(S714)。

接着，手部控制部140对手部200的状态进行转换，以便形成初始状态(S715)。

接着，非线性动力学模型参数管理部111g与手部200的状态相配合地设定模型参数(S716)。

接着，机械手控制部111控制机械手20，以便手部200以最高速度移动至初始位置p0(S717)。

[(4)错误恢复]

图22A为表示图19A的状态变更动作F22的顺序的流程图。关于图19A的状态变更动作F22，运算处理部101首先控制机械手20、输送机构40，以使零部件筐(箱体B)的位置、姿势变化(S801)。接着，返回到图19A的S601(S802)。通过这样的状态变更的恢复，物体操纵装置1与作为抓持对象的零部件(物体P)的位置关系变化，因此，能够设定到抓持零部件为止的路线的概率、即能够抓持零部件的概率提高。

图22B为表示图19A的状态变更动作F22的与图22A不同的顺序的流程图。关于图19A的状态变更动作F22，在该例子中，运算处理部101首先计算出零部件的周边、例如与零部件或根据零部件筐的图像上的中心、图像计算出的假想重心分离的位置中，手部200能够接触到的可接触位置。这个位置能够通过根据三维点群等距离图像照相机的信息计算出零部件(物体P)的外形位置并且计算出到此为止的路线来求出(S901)。接着，机械手控制部110控制机械手20，以便对手部200的顶端部的可接触位置施加规定的力。此时，手部200具有弹性机构200e以及力传感器h，机械手控制部110能够控制所施加的力的大小和加速度等，因此，能够施加规定的力而不使零部件受到损伤(S902)。接着，机械手控制部110使手部200返回到初始位置p0(S903)。然后，返回到图19A的S601(S904)。该顺序中，在S902，力量施加于零部件或者其周边，由此，物品的配置状态变化。通过这样的状态变更的恢复，物体操纵装置1与作为抓持对象的物品的位置关系也会变化，生成朝向物品抓持位置的路线的可能性提高。

图23为表示图19B的抓持搜索动作F23的顺序的流程图。图19B的S621之后，机械手控制部110控制机械手20，以便手部200暂时移动至与抓持目标位置p3分离规定距离的位置(S1001)。运算处理部101对抓持目标位置p3的周边进行拍摄(S1002)。在根据拍摄结果判断为实现了包含作为抓持对象的零部件(物体P)的图像等满足规定条件的有效拍摄的情况下(S1003中为“是”)，运算处理部101计算出抓持目标位置p3(S1005)。另一方面，S1003中，在未能判断为实现了满足规定条件的有效拍摄的情况下(S1003中为“否”)，运算处理部101使用包含于抓持数据库102b的搜索范围信息，将从已经计算出的抓持目标位置p3起的由搜索范围信息指定的范围内且从该抓持目标位置错开规定距离的位置设定为新的抓持目标位置p3(S1004)。S1004或S1005之后，返回到图19A的S607。在S607，对于由S1004或者S1005设定的新的抓持目标位置p3，计算出动作经由点(S1006)。在搜索范围信息中，与零部件(物体P)相配合地指定有高效率的搜索范围。具体地讲，例如，零部件(物体P)越小，搜索范围设定得越窄，并且搜索范围与抓持目标位置p3的偏置距离(步长(日文原文：ステップ距離))设定得越小，换言之，零部件越大，搜索范围设定得越大，并且搜索范围与抓持目标位置p3的偏置距离(步长)也设定得大。通过这样的抓持搜索恢复，能够设定到抓持处理零部件为止的路线的概率、即能够抓持零部件的概率提高。

图24为表示图19B的重试动作F24的顺序的流程图。图19B的S624中，在判断为处于不能输送的状态的情况下，机械手控制部110控制机械手20，以便将手部200向零部件筐(箱体B)移动规定距离，在零部件筐上使零部件(物体P)的抓持释放。由此，能够将零部件送回至零部件筐内(S1101)。然后，返回到图19A的S601(S1102)。

[(5)作业中的参数学习控制]

图25A为表示执行学习动作、数据库的生成的顺序的流程图。物体操纵装置1中具备利用物体数据库102a和抓持数据库102b这样的数据库或学习结果的物体辨别部101h等，对事先制作好的学习数据进行活用。但是，在处理各种物体的情况下，有时也会处理学习数据不充分或者不存在的物体。在那样的情况下，图25A所示的顺序是有效的。

首先，运算处理部101从上级的系统接收关于特定的物体的抓持/输送的指令(S1201)。接着，学习控制部101g(图2)基于物体的物体ID号码，从物体数据库102a取得关于该物体的物体信息，并且从抓持数据库102b取得关于该物体的抓持信息(S1202)。

接着，学习控制部101g判断关于该物体的物体信息或者抓持信息是否充分(S1203)，在判断为充分的情况下(S1203中为“是”)，机械手控制部110通过图19A、19B所示的通常模式，执行物体的抓持以及输送(S1205)。另一方面，S1203中，在判断为信息不充分的情况下(S1203中为“否”)，运算处理部101控制各部分，以便通过学习/数据库生成模式执行抓持以及输送。关于通过学习/数据库生成模式实现的抓持以及输送，将在后面详细记述(S1204)。

若抓持以及输送的处理结束(S1206)，则学习控制部101g针对通过学习/数据库生成模式执行了抓持以及输送的情况以及通过通常模式执行了抓持以及输送的情况这双方，更新学习数据以及物体数据库102a和抓持数据库102b。这里的更新处理例如是如下处理：即使在通过通常模式执行了抓持以及输送的情况下，也将抓持的成功或失败、经由点生成的成功或失败等结果作为报酬信息，对与所选择的抓持位置、抓持方法等建立了关联的评分信息进行更新等(S1207)。

图25B为表示学习/数据库生成模式下的抓持以及输送的顺序的流程图。首先，图像处理部101a从由底座30的照相机33拍摄零部件筐所得的图像取得物体ID号码以及项目类别信息，物体辨别部101h检查在物体数据库102a中是否包含有与物体ID号码以及项目类别信息一致的内容(S1301)。在物体数据库102a中存在相一致的内容的情况下，设为抓持以及输送的处理对象。接着，运算处理部101实施存储于物体数据库102a的物体的周边的三维图像信息与抓持基本系统模型的匹配，选择一致率最高的抓持基本系统模型(S1302)。然后，抓持/动作计划生成部101d从抓持基本系统模型参照抓持方法基本数据，计算出抓持方法以及底座坐标系S1中的抓持位置(S1303)。接着，机械手控制部110控制机械手20，以便执行比通常抓持模式低的速度下的抓持以及输送(S1304)。

在上级装置指示进行学习/数据库制作模式下的处理的情况下或在到上级装置所指定的处理的完成时刻之前有充足的时间的情况下，学习控制部101g设为执行详细学习，移至S1307(S1305中为“是”)。

在S1305中为“否”的情况下，保持低速的状态，执行向规定位置的抓持以及输送(S1306)。

S1307之后是详细学习模式。首先，在S1307中，机械手控制部110以比通常低的速度将物体P输送至处理部50并载置于该处理部50上(S1307)。接着，运算处理部101对于载置于处理部50上的物体P，通过与图14所示相同的顺序，取得物体信息(S1308)。接着，运算处理部101通过设于手部200的照相机21，取得物体P的RGB图像以及距离图像(S1309)。接着，机械手控制部110控制机械手20，以使物体的姿势翻转(S1310)。接着，运算处理部101控制各部分，以便设于手部200的照相机21从多方向拍摄物体P，获得RGB图像以及距离图像(S1311)。接着，数据库信息生成更新部101i根据所拍摄的图像信息生成三维图像信息、详细CAD模型信息以及简易CAD模型信息等物体信息(S1312)。此外，数据库信息生成更新部101i根据简易CAD模型信息、所拍摄的多方向图像，生成抓持信息(S1313)。

接着，运算处理部101实施抓持的测试。具体地讲，例如，试行多个抓持方法，确认抓持的成功或失败，删除失败的抓持方法的数据。此外，使用抓持成功吸附时的真空压等，生成抓持判断信息(S1314)。

接着，数据库信息生成更新部101i将由S1314生成的抓持信息写入抓持数据库102b，由此，对该抓持数据库102b进行更新(S1315)。

接着，机械手控制部110控制手部200，以便基于所更新的抓持数据库102b的抓持信息来抓持物体P，学习控制部101g在手部200已抓持物体P的状态下，对机械手控制部110执行供给非线性动力学模型学习用的测试信号的处理。然后，基于所执行的结果，更新物体数据库102a以及抓持数据库102b(S1316)。然后，机械手控制部110控制机械手20，以便向规定的位置抓持并输送物体P(S1317)。

图26为在多个物体操纵装置1共有学习数据的学习系统400的概略构成图。上述学习动作不仅学习物体辨别用的数据，还学习用于抓持的数据、用于输送的数据，因此，组合条件多，需要更多的学习数据。这一点，如图26所示，通过在多个物体操纵装置1共有学习数据，能够进行更高速的学习。此外，在该学习系统400中，还会生成机械手20(机器人)的动作用的学习数据，因此，不仅在新的物体成为抓持/输送的对象的情况下，而且在新的机器人被导入的情况下，也能够活用学习数据，更迅速地实现稳定的抓持以及输送。

图27中示出与图1的物体操纵系统不同的系统的构成图。在图27的系统中，物体操纵装置1A不具备移动机构6而是固定地设置，并且作业台70A具备移动机构6A。通过这样的系统，物体操纵装置1A也能够执行与上述相同的自动校准，并且能够同样地执行其他处理。

[非线性动力学模型的学习和振动抑制]

图28为机械手20A的剖面图。该机械手20A具有：架台501、第一连杆503、第一电机504、第一减速器505、第一编码器506、第二连杆508、第二电机509、第二减速器510、第二编码器511。在架台501的上部装配有第一连杆503的一端，在第一连杆503的另一端装配有第二连杆508。在第二连杆508的顶端附加载荷512。在此，载荷512是物体操纵装置1的手部200或者手部200与抓持中的物体合在一起的部分。

控制器100A通过第一电机504以及第一编码器506与具有弹簧特性的第一减速器505的组合，以第一轴502作为中心，使第一连杆503相对于架台501水平回转。此外，控制器100A通过第二电机509以及第二编码器511与具有弹簧特性的第二减速器510的组合，以第二轴507为中心，使第二连杆508相对于第一连杆503水平回转。

图29为表示该机械手的一个连杆的量的示意图。这被称为双惯性系统。参照图28以及图29，该机械手可以作为具有弹性关节(弹性机构、弹性部)的串联双连杆臂部来进行非线性动力学模型化。在图29中，关于记述一个连杆的量的非线性动力学模型所需的物理参数、转动惯量、摩擦系数以及弹性系数等，示出第一轴来作为代表。在该图29中，连杆530通过电机520并经由减速器525而被驱动控制。作为关于第一轴的物理参数，电机520的转矩输入由u₁表示，电机520的转动惯量由m_M1表示，电机520的旋转角、即由编码器检测出的输出由θ_M1表示，电机520的粘性摩擦系数由d_M1表示，电机520的库伦动摩擦系数由f_M1表示，减速器525的衰减系数由d_G1表示，减速器525的弹性系数由k_G1表示，连杆530的转动惯量由m_L1表示，连杆530的粘性摩擦系数由d_L1表示，连杆530的旋转角由θ_L1表示。

关于具有弹性关节的串联双连杆臂部的非线性动力学模型，如下的电机侧由算式(1)赋予，连杆侧由算式(2)赋予。

其中，

θ_M＝[θ_M1，θ_M2]^T：电机的旋转速度(下标1、2为轴的号码)

θ_L＝[θ_L1，θ_L2]^T：连杆的旋转速度

α＝[α₁，α₂]^T：连杆的并进加速度

M_L(θ_L)∈R^2×2：连杆惯性行列

c_L(dθ_L/dt，θ_L)∈R^2×1：离心力以及科里奥利力矢量

M_M＝diag(m_M1，m_M2)：电机以及减速器高速档惯性

D_M＝diag(d_M1，d_M2)：电机轴粘性摩擦系数

D_L＝diag(d_L1，d_L2)：连杆轴粘性摩擦系数

K_G＝diag(k_G1，k_G2)：减速器弹性系数

D_G＝diag(d_G1，d_G2)：减速器衰减系数

N_G＝diag(n_G1，n_G2)：减速比(n_G1，n_G2≤1)

f_M＝[f_M1，f_M2]^T：电机轴的库伦动摩擦转矩

E＝diag(e₁，e₂)：转矩/电压(电流指令值)常数

u＝[u₁，u₂]^T：输入电压(向电机的电流控制系统的指令值)。

在此，算式(1)中的sgn(a)表示符号函数，根据a为正、负、零的值，sgn(a)分别取1、－1、0的值。

此外，diag(a，b)表示将a以及b作为对角元素的对角矩阵。

在此，若将α、β、γ设为由连杆的长度、重心位置、质量、惯性构成的基本参数，则连杆的惯性矩阵如算式(3)所示。

上述基本参数的详细内容如以下的算式(4)所示。

α＝m₁l_g1 ²+I_z1+m₂l₁ ²

β＝m₂l_g2 ²+l_z2 (4)

γ＝m₂l₁l_g1

其中，

l_i：各连杆的长度(i为轴的号码)

m_i：各连杆的质量

l_gi：各连杆的重心位置(连杆在长尺寸方向左右对称)

l_zi：各连杆绕重心的转动惯量。

若顶端的载荷512变化，则附加有该顶端的载荷512的连杆的质量m₂变化，基本参数α、β、γ均变化。

关于离心力以及科里奥利力矢量，如算式(5)所示。

关于电机角速度控制系统，以将PI(比例以及积分)控制作为FF－I－P(前馈－积分－比例)控制而设为二自由度PI控制的算式(6)为基本构成。

其中，

dθ_MRi/dt：电机的角速度目标值(i为轴的号码)

dθ_Mi/dt：电机的角速度

k_FVi：电机的角速度目标值前馈控制增益

k_IVi：电机的角速度偏差积分反馈控制增益

k_PVi：电机的角速度比例反馈控制增益

u_i：输入电压(向电机的电流控制系统的指令值(转矩输入))。

图30为一般的速度控制系统的框图。如图30所示,该二自由度PI速度控制系统构成为级联连接于位置控制系统(P控制)的内侧的控制系统。另外，在图30中示出关于第一轴的二自由度PI速度控制系统。

以下，聚焦于除了位置控制系统的电机的角速度控制系统，假定控制周期足够短，由此说明电机的角度控制系统是连续系统。

首先，将图28所示的二连杆臂部的顶端的载荷512例如设为5kg，使用公知的识别法来估计算式(1)中所出现的物理参数(以下，设为还包含基本参数α、β、γ)。作为该识别法，例如，可使用考虑了机器人模型的关节刚性的日本特表2003－533162号公报等的识别法等。

接着，将这些估计的物理参数与电机速度控制增益一同代入表示动力学模型的算式(1)以及表示速度反馈控制规律的算式(6)。由此，构筑串联双连杆臂部的速度控制系统的时间响应模拟器，确认是否与机器人实机的时间响应良好地匹配。

如果通过上述的识别法高精度地估计出物理参数，则这些时间响应应该会良好地匹配。如果稍有偏差，则使用由使用了上述时间响应模拟器的非线性最小2乘法(麦夸特(Levenberg Marquardt)法等)实现的优化计算，对物理参数进行微调。图31为表示由物理参数的微调所获得的效果的图。例如，在图31的上侧示出优化之前，下侧示出优化之后的角速度阶跃响应。在图31中，横轴表示时间，纵轴表示角速度，实线表示机器人实机的响应，虚线表示由模拟器做出的响应结果。从优化后的下侧的曲线图可知，通过对物理参数进行优化，能够使模拟器与机器人实机的角速度阶跃响应良好地匹配。

因此，在本实施方式中，构成根据由上述编码器计测的电机的角速度估计连杆的角速度的观测器，不仅反馈电机的角速度的计测值，还反馈连杆的角速度的估计值，由此，一边抑制机械指尖端的振动一边使机械指尖端高精度地动作。在以下的实施方式中，着眼于受到速度控制的机器人实机与模拟的时间响应的良好匹配，构成发挥了物理参数的高估计精度的观测器。以下，对各实施方式的观测器加以说明。

(基于非线性动力学模型的机械手控制部(1))

图32为机械手控制部112的观测器600的框图。该实施方式的观测器600具有：第一以及第二轴的PI控制器601、602；二连杆臂部的非线性动力学模型603；以及对非线性动力学模型603的输出进行积分的积分器604a、604b、604c、604d、605a、605b、605c、605d。PI控制器601基于驱动第一轴的电机的速度dθ_M1/dt与驱动第一轴的电机的旋转速度的估计值的偏差进行PI控制。PI控制器602基于驱动第二轴的电机的速度dθ_M2/dt与驱动第二轴的电机的旋转速度的估计值的偏差进行PI控制。二连杆臂部的非线性动力学模型603基于作为PI控制器601的输出与第一轴的操作量u₁之和的第一输入τ₁以及作为PI控制器602的输出与第二轴的操作量u₂之和的第二输入τ₂，基于非线性动力学模型603进行第一以及第二连杆的角加速度的估计并且分别驱动第一以及第二连杆的电机的角加速度的估计，并输出所估计的角加速度。

积分器604a对从非线性动力学模型603输出的第一连杆的角加速度的估计值进行积分，输出角速度的估计值。积分器604b对积分器604a的输出进行积分，输出第一连杆的旋转角的估计值。积分器604c对从非线性动力学模型603输出的、驱动第一连杆的电机的角加速度的估计值进行积分，输出上述电机的角速度的估计值。积分器604d对积分器604c的输出进行积分，输出驱动第一连杆的电机的旋转角的估计值。

积分器605a对从非线性动力学模型603输出的第二连杆的角加速度的估计值进行积分，输出角速度的估计值。积分器605b对积分器605a的输出进行积分，输出第二连杆的旋转角的估计值。积分器605c对从非线性动力学模型603输出的、驱动第二连杆的电机的角加速度的估计值进行积分，输出上述电机的角速度的估计值。积分器605d对积分器605c的输出进行积分，输出驱动第二连杆的电机的旋转角的估计值。

这些第一以及第二连杆的角加速度的估计值、第一以及第二连杆的角速度的估计值、驱动第一以及第二连杆的电机的角速度的估计值以及电机的旋转角的估计值分别从观测器600输出。

此外，在该观测器600中，基于第一连杆的角速度的估计值、设于第一连杆与驱动该第一连杆的电机之间的减速器的减速比n_G1以及驱动第一连杆的电机的角速度的估计值，对第一连杆的扭转角速度的估计值进行运算，输出该估计值。同样地，基于第二连杆的角速度的估计值、设于第二连杆与驱动该第二连杆的电机之间的减速器的减速比n_G2以及驱动第二连杆的电机的角速度的估计值，对第二连杆的扭转角速度的估计值进行运算，输出该估计值。

该实施方式的观测器600完整地内置有机械手的非线性动力学模型603，是PI控制器601、602的观测器增益直接使用机械手的各轴的已有速度控制系统的PI控制增益的模拟器。即，PI控制器601、602的观测器增益是与速度控制等效的观测器增益。此外，由于具有积分控制，因此，还内置有使输出估计值的静差(日文原文：定常偏差)为零的功能。然后，完全不存在观测器的安装中的近似以及增益调整所需的工程成本。

基于非线性动力学模型603的PI控制型观测器由使算式(1)变形后的算式(7)中所示的二阶微分形式来表示。另外，在算式(7)中，记号“＾”表示估计值。

其中，

dθ_M/dt＝[dθ_M1/dt,dθ_M2/dt]^T：向观测器的电机角速度输入

u＝[u₁,u₂]^T：向观测器的输入(电机电流指令值)

K_PV＝diag(k_PV1，k_PV2)：速度偏差比例控制增益

K_IV＝diag(k_IV1，k_IV2)：速度偏差积分控制增益

τ＝[τ₁,τ₂]^T：向观测器的输入(电机电流指令值)。

在此，PI控制器601、602的观测器增益选择与机器人实机的速度环的FF－I－P控制(二自由度PI控制)的P和I的增益相同的增益。该情况下，仅考虑观测器的追随性能的一个自由度即可，因此，设定为FF＝P、即将前馈系统作为比例系统的PI控制。该系统是增益固定的非线性观测器的一种。此外，由于具有积分控制，因此，输出估计值的静差为零，还内置有作为干扰去除观测器的功能。

将由算式(7)表示的状态观测器安装于控制器100A，实时地使用图32所示的积分器进行二次积分，由此，能够进行状态的估计。另外，实际的积分通过数值积分来进行。

再者，在双惯性系统的角速度控制中，如果对电机的角速度和连杆的角速度、电机与连杆的轴扭转角速度的三个状态量进行反馈，则能够进行任意的极点配置，能够自如地设定快速响应性(控制系统追随目标值的速度)和衰减率。但是，由于伴有现有PI控制系统的再调整，所以难以移动。因此，作为向PI控制系统的输入，首先，仅对从观测器600输出的轴扭转角速度(连杆角速度与电机角速度的差)的估计值进行状态反馈。在该轴扭转角速度的反馈中，可以预见仅使衰减率增加而不使PI控制的增益交叉频率变化的效果。因此，能够容易地进行在现场的手动调整，所以，特别易于导入产业用机器人的控制装置。

图33为具有图32的观测器600的机械手控制部112(110)的框图。对观测器600输入电机角速度(编码器差分)和向电机驱动器的输入电压(电流指令值)。由该PI控制型的观测器600获得的、关于第一以及第二连杆的轴扭转角速度的估计值的状态反馈部701、702、703、704能够以插入算式(7)所示的二自由度PI控制(FF－I－P控制)的形式实现，成为算式(8)所示的控制规律。

对于该轴扭转角速度的估计值的状态反馈控制增益k_TVi(i＝1，2)，一边观察时间响应波形一边容易地进行手动调整。此外，使用基于具有弹性关节的机械手的正确的非线性动力学模型的观测器，因此，在由串联连杆构成的机械手的振动抑制控制中，只通过仅第一轴的状态反馈也具有足够的效果。另外，在图33中示出用于高惯性化的连杆角加速度的反馈常数计算部705，关于该反馈常数计算部705的功能，将在后面记述。

在本实施方式中示出指尖载荷轻的情况下用于使连杆侧的惯性看起来大的高惯性化控制。其控制规律是在算式(8)中增加了连杆角加速度的估计值的负反馈(图33的状态反馈部703、704)，如算式(9)所示。

在这里，角加速度的估计值的状态反馈控制增益k_AVi具有连杆的转动惯量的维度(dimension)，有可能能够对机械手的顶端载荷的惯性变动的量Δm进行补偿。例如，若算式(3)的惯性矩阵接受Δm的变动(减少)，则基本参数α、β、γ分别如算式(10)所示地变为α’、β’、γ’。

α’＝α―Δm

β’＝β－Δm (10)

γ’＝γ－Δm

在这里，将算式(10)所示的机械手的顶端载荷的惯性变动后的α’、β’、γ’代入算式(3)的惯性矩阵的(1，1)成分，若考虑减速比n_G1，则如算式(11)所示。

k_AV1＝(2+2cos(θ_L2))Δm×n_G1 (11)

通过该算式(11)，能够计算出第一轴的角加速度的估计值的状态反馈控制增益。算式(11)是用于图33所示的高惯性化的连杆角加速度的反馈常数计算部705的功能。

(基于非线性动力学模型的机械手控制部(2))

图34为机械手控制部113(110)的框图。机械手控制部113具有由高惯性化以及恒定惯性化实现的连杆角加速度的反馈控制及其增益计算功能。

上述惯性的下降不仅在臂部顶端的载荷的质量轻时发生，也在机械手的姿势变化时发生。在双连杆机械手中，例如，若第二轴的角度变大，则绕第一轴的惯性下降。因此，对于由姿势变化引起的惯性的下降，考虑通过连杆角加速度的反馈来补偿。

在双连杆机械手的情况下，若考虑惯性从算式(3)所示的惯性矩阵的(1，1)成分的最大值下降的量，则如算式(12)所示。

k_AV1＝2γ(1－cos(θ_L2))n_G1 (12)

通过该算式(12)，能够计算出第一轴的连杆角加速度的反馈控制增益。通过该反馈，使惯性保持固定而不管臂部的姿势如何，即实现恒定惯性化控制，并获得与上述高惯性化控制同等的振动抑制效果。

该恒定惯性化控制可以与实施方式的高惯性化控制并用，若将算式(11)与算式(12)融合起来，则如算式(13)所示。

k_AV1＝[(2+2cos(θ_2L))Δm+2γ(1－cos(θ_L2))]n_G1 (13)

通过该算式(13)，能够计算出由第一轴的高惯性化以及恒定惯性化控制实现的连杆角加速度的反馈控制增益。这是基于图34所示的高惯性化以及恒定惯性化控制的连杆角加速度的反馈常数计算部705A的功能。

而且，若关注算式(3)所示的惯性矩阵的非对角元素，则关于(1，2)成分和(2，1)成分，由高惯性化以及恒定惯性化控制实现的连杆角加速度的反馈控制增益k_BV1、k_BV2分别能够通过算式(14)、(15)计算出来。

k_BV1＝[(1+cos(θ_2L))Δm+γ(1－cos(θ_L2))]n_G1 (14)

k_BV2＝[(1+cos(θ_2L))Δm+γ(1－cos(θ_L2))]n_G1 (15)

若使用这些k_BV1、k_BV2，将第二轴的角加速度对第一轴的反馈、第一轴的角加速度对第二轴的反馈加入算式(9)，则如算式(16)所示。

这样一来，能够得到增加了广义的高惯性化以及恒定惯性化控制的振动抑制控制系统。图34为增加了高惯性化以及恒定惯性化控制的振动抑制控制系统整体的框图。

图35为另一个观测器600A的框图。该实施方式的观测器600A具有在图32的观测器600中新设置了物理参数切换部606的构成。如图35所示，该实施方式的观测器600A针对顶端载荷的变动和与之相伴的摩擦力的变动，通过物理参数切换部606进行非线性动力学模型603的物理参数集的切换(增益调度)，振动抑制性能变得稳健而不管机器人的顶端载荷以及摩擦力的变动如何。为了明确地切换物理参数集，例如，安装“Payload(5kg)”这样的机器人语言，在顶端载荷变化的定时使用即可。另外，作为物理参数集，例如可以列举出质量、转动惯量、摩擦系数、弹性系数等。

在图35所示的例子中，物理参数切换部606需要即5、4、3、2、1、0kg的顶端载荷所需的六种物理参数集。但是，只要高精度地预先估计5kg的物理参数集，则能够通过由上述非线性最小二乘法实现的优化方法，生成顶端载荷4kg的物理参数集。以相同的方法，能够根据4kg的物理参数集生成3kg的物理参数集，根据3kg的物理参数集生成2kg的物理参数集，根据2kg的物理参数集生成1kg的物理参数集，根据1kg的物理参数集生成0kg的物理参数集。

图36为又一个观测器600B的框图。该实施方式的观测器600B具有在图32所示的实施方式的观测器600新设置了表存储部607、阶跃(step)响应数据比较部608和物理参数优化部609的构成。该实施方式的观测器600B可以偏离5kg、4kg、3kg、2kg、1kg、0kg的顶端载荷的数值。在图36中，准备有按预先取得的顶端载荷的质量(5kg、4kg、3kg、2kg、1kg、0kg)的速度阶跃响应数据和储存此时的物理参数集的表存储部607。

首先，取得具有未知的顶端载荷的实机的速度阶跃响应数据。接着，在阶跃响应数据比较部608对所取得的速度阶跃响应数据与储存于表存储部607的、按顶端载荷的速度阶跃响应数据进行比较。然后，基于该比较结果，与实机的速度阶跃响应数据对应的顶端载荷从储存于表存储部607的顶端载荷，例如5kg、4kg、3kg、2kg、1kg、0kg中选择最接近的顶端载荷，选择对应于该所选择的顶端载荷的物理参数集作为初始值。在选择与对应于实机的速度阶跃响应数据的顶端载荷最接近的顶端载荷时，例如选择实机的速度阶跃响应数据与储存于表存储部607的各顶端载荷的速度阶跃响应数据之差的平方和最小的顶端载荷。

而且，使用被选择作为上述初始值的物理参数集，并通过物理参数优化部609进行优化计算。该优化计算与由上述非线性最小二乘法实现的方法完全相同。通过以上方法，对于未知的顶端载荷，也能够获得高精度的物理参数集，因此，能够构筑高精度的观测器，并能够提供有效的振动抑制控制。

另外，可以将上述的实施方式总结为以下的技术方案。

技术方案1

一种物体操纵装置，具备：

底座；

机械手，设于上述底座，并具有可动部以及设于该可动部且作用于物体的执行器；

第一照相机，设于上述机械手；

传感器，设于上述机械手；

机械手控制部，以使上述可动部移动至与指示值对应的位置的方式控制上述机械手；以及，

校准处理部，基于上述第一照相机所拍摄的图像，取得第一方向的第一误差，并且基于由上述传感器获得的检测结果，取得与上述第一方向交叉的第二方向的第二误差，基于上述第一误差以及上述第二误差，取得对于上述指示值的指示校准值。

技术方案2

在技术方案1的物体操纵装置中，具备：

第二照相机，设于上述底座，

上述校准处理部基于上述第二照相机拍摄上述可动部所得的多个图像，取得对于从上述第二照相机的图像获得的位置的图像校准值。

技术方案3

在技术方案1或2的物体操纵装置中，

上述校准处理部基于上述第一照相机拍摄上述底座的规定位置所得的图像，取得上述第一误差。

技术方案4

在技术方案3的物体操纵装置中，具备：

第一标记，设于上述底座，

上述校准处理部基于上述第一照相机拍摄上述第一标记所得的图像，取得第一指示校准值。

技术方案5

在技术方案4的物体操纵装置中，

上述校准处理部基于上述可动部与上述第一标记接触的状态下的上述传感器的检测结果，取得上述第二误差。

技术方案6

在技术方案5的物体操纵装置中，

上述传感器为接触传感器或力传感器。

技术方案7

在技术案4～6的物体操纵装置中，具备：

载置部，载置上述物体，

上述第一标记设于上述载置部或者与上述载置部邻接设置。

技术方案8

在技术方案1～7的物体操纵装置中，

上述校准处理部基于上述第一照相机拍摄物体操纵装置外的规定位置所得的图像，取得第二指示校准值。

技术方案9

在技术方案8的物体操纵装置中，

上述校准处理部基于上述第一照相机拍摄第二标记所得的图像，取得上述第二指示校准值，上述第二标记设于上述物体操纵装置外的、上述执行器的访问对象物。

技术方案10

一种物体操纵装置，具备：

底座；

机械手，设于上述底座，具有可动部；

第一照相机，设于上述机械手；

传感器，设于上述机械手；以及

校准处理部，基于上述第一照相机的对上述底座的规定位置的拍摄结果以及上述传感器的检测结果，执行上述可动部的位置的校准处理。

技术方案11

一种通过物体操纵装置来执行的校准方法，该物体操纵装置具备：底座；机械手，设于上述底座，并具有可动部；第一照相机，设于上述机械手；传感器，设于上述机械手；以及，校准处理部，执行上述可动部的位置的校准处理，上述校准方法包括：

上述第一照相机拍摄上述底座的规定位置，

上述传感器检测物理量，

上述校准处理部基于上述第一照相机的拍摄结果以及上述传感器的检测结果，执行校准处理。

Claims (9)

1.一种物体操纵装置，具备：

底座；

机械手，设于上述底座，具有可动部以及设于该可动部且作用于物体的执行器；

第一照相机，设于上述机械手；

传感器，设于上述机械手；

机械手控制部，以使上述可动部移动至与指示值对应的位置的方式控制上述机械手；

第二照相机，设于上述底座；以及

校准处理部，基于上述第一照相机所拍摄到的图像，取得第一方向的第一误差，并且基于上述传感器的检测结果，取得与上述第一方向交叉的第二方向的第二误差，基于上述第一误差以及上述第二误差，取得对于指示值的指示校准值，该指示校准值用于相对于与上述底座对应的第一坐标系而对与上述机械手对应的第二坐标系进行校准，基于上述第二照相机拍摄上述可动部所得的多个图像，取得图像校准值，该图像校准值用于将从上述第二照相机的图像获得的位置校准为在上述第一坐标系中的位置。

2.根据权利要求1所述的物体操纵装置，其中，

上述校准处理部基于上述第一照相机拍摄上述底座的规定位置所得的图像，取得上述第一误差。

3.根据权利要求2所述的物体操纵装置，

具备设于上述底座的第一标记，

上述校准处理部基于上述第一照相机拍摄上述第一标记所得的图像，取得第一指示校准值。

4.根据权利要求3所述的物体操纵装置，其中，

上述校准处理部基于上述可动部与上述第一标记接触的状态下的上述传感器的检测结果，取得上述第二误差。

5.根据权利要求4所述的物体操纵装置，其中，

上述传感器为接触传感器或力传感器。

6.根据权利要求3至5中任一项所述的物体操纵装置，

具备载置上述物体的载置部，

上述第一标记设于上述载置部或者与上述载置部邻接设置。

7.根据权利要求1至5中任一项所述的物体操纵装置，其中，

上述校准处理部基于上述第一照相机拍摄物体操纵装置外的规定位置所得的图像，取得第二指示校准值。

8.根据权利要求7所述的物体操纵装置，其中，

上述校准处理部基于上述第一照相机拍摄第二标记所得的图像，取得上述第二指示校准值，上述第二标记设于上述物体操纵装置外的、上述执行器的访问对象物。

9.一种校准方法，通过物体操纵装置来执行，该物体操纵装置具备：底座；机械手，设于上述底座，并具有可动部；第一照相机，设于上述机械手；传感器，设于上述机械手；机械手控制部，以使上述可动部移动至与指示值对应的位置的方式控制上述机械手；第二照相机，设于上述底座；以及校准处理部，执行上述可动部的位置的校准处理，上述校准方法包括：

上述第一照相机拍摄上述底座的规定位置，

上述传感器检测物理量，

上述校准处理部，基于上述第一照相机所拍摄到的图像，取得第一方向的第一误差，并且基于上述传感器的检测结果，取得与上述第一方向交叉的第二方向的第二误差，基于上述第一误差以及上述第二误差，取得对于指示值的指示校准值，该指示校准值用于相对于与上述底座对应的第一坐标系而对与上述机械手对应的第二坐标系进行校准，基于上述第二照相机拍摄上述可动部所得的多个图像，取得图像校准值，该图像校准值用于将从上述第二照相机的图像获得的位置校准为在上述第一坐标系中的位置。

Images