CN115194756A

CN115194756A - 机器学习装置以及机器人系统

Info

Publication number: CN115194756A
Application number: CN202210384648.8A
Authority: CN
Inventors: 山本洋介
Original assignee: Denso Wave Inc
Current assignee: Denso Wave Inc
Priority date: 2021-04-13
Filing date: 2022-04-13
Publication date: 2022-10-18
Also published as: JP2022162857A; US20220324103A1

Abstract

本发明实现能够适当地抓持低反作用力且不定形的对象物的机器人系统。机器人系统具备：机器人(20)，具有设置有一组可动爪的手部，通过由这些可动爪夹持制件来抓持该制件；以及控制装置(70)，控制机器人。在控制装置中设置有：上级控制器(80)，控制机器人以执行向抓持位置配置手部的配置动作以及在该抓持位置使可动爪向彼此靠近侧移位的抓持动作；以及机器学习装置(90)，在抓持制件的情况下分别取得设定的停止基准数据、表示配置在抓持位置的手部的各可动爪与制件的距离的距离数据、以及表示在抓持动作前后的制件的变形量的比较数据，通过使用了这些停止基准数据、距离数据以及比较数据的机器学习来构建用于设定抓持动作的动作方式的模型。

Description

机器学习装置以及机器人系统

技术领域

本发明涉及机器学习装置以及机器人系统。

背景技术

在机器人系统中存在能够通过由设置在机器人的臂的顶端的一组可动爪(抓持部)夹紧对象物(制件)来抓持该对象物的机器人系统。在这种机器人系统中，例如提出一种机器人系统，其构成为检测可动爪用的电机的电流值的变化和来自对象物的反作用力等，在检测的值达到预先设定的基准值的情况下停止可动爪(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2014-24134号公报

发明内容

本发明所要解决的技术问题

在此，与作为对象物设想由金属和合成树脂构成的工业制品的情况相比，在作为对象物设想奶油泡芙、大福、面包等的食品的情况下，对象物的形状的偏差大(不定形)且抓持时来自对象物的反作用力变小(低反作用力)。在如上述那样通过一组可动爪来以夹紧的方式抓持对象物的情况下，一个可动爪比其他可动爪先碰到对象物从而施加在对象物上的压力局部地变高，或者被一个可动爪按压的对象物可能在该对象物的载置面上滑动。特别是对于奶油泡芙等的对象物由于形状的偏差大，因此设想在根据由图像等确定的对象物的位置配置抓持部时，容易在各可动爪与对象物的距离中产生差异。在产生这种差异的情况下，各可动爪碰到对象物的时机产生偏差。而且，对于奶油泡芙等的对象物由于柔软，因此例如可能被可动爪按压而伴随变形的同时在载置面上滑动，有可能提高损伤(包含过度的变形)的可能性。这样对象物损伤构成制造工序等中降低成品率的的主要原因，有可能在通过机器人系统的应用来实现制造效率的提高等方面造成障碍。这样，在适当地抓持低反作用力且不定形的对象物方面在机器人系统所涉及的结构中还存在改善的余地。

本发明是鉴于上述情况而提出的，其主要目的在于实现一种能够适当地抓持低反作用力且不定形的对象物的机器人系统。

用于解决技术问题的技术方案

以下，记载用于解决上述技术问题的技术方案。

在第一技术方案中，提供一种机器人系统，其具备：

机器人(机器人20)，具有设置有一组可动爪(可动爪38a、38b)的抓持部(手部38)，通过由这些可动爪夹持对象物(制件W)来抓持该对象物；以及

控制装置(控制装置70)，控制所述机器人以执行将所述抓持部配置到使所述对象物位于所述一组可动爪之间的规定位置(抓持位置)的配置动作以及在该规定位置使这些可动爪向彼此靠近侧移位的抓持动作，

所述控制装置构成为，在所述抓持动作中来自所述对象物的反作用力成为基准值的情况或者所述一组可动爪的相对距离成为基准值的情况下停止所述一组可动爪的所述移位，

其中，在所述抓持部配置在所述规定位置的状况下，能够执行通过使所述抓持部移位来调整所述一组可动爪相对于所述对象物的位置的调整动作，

停止所述抓持动作的所述基准值为可变值，

具备模型构建部(机器学习装置90)，所述模型构建部在抓持所述对象物的情况下取得表示设定的所述基准值的停止基准数据、表示配置在所述规定位置的所述抓持部的各可动爪与所述对象物的距离的距离数据、以及表示所述抓持动作的执行之前所述对象物的状态与进行该抓持动作之后该对象物的状态的差异的比较数据(例如制件W的变形量)，通过使用了这些停止基准数据、距离数据以及比较数据的机器学习来构建用于设定包含所述调整动作以及所述抓持动作在内的规定动作的动作方式的模型(动作设定模型)，

所述控制装置具有：

取得部(数据取得部85)，在所述抓持部配置在所述规定位置的情况下，取得表示该抓持部的各可动爪与所述对象物的距离的所述距离数据；以及

设定部(控制部84)，设定所述机器人的所述规定动作的动作方式，

所述设定部能够根据通过所述取得部来取得的所述距离数据、与通过所述模型构建部来构建的所述模型设定所述规定动作的动作方式。

在通过一组可动爪来抓持对象物(奶油泡芙、大福、面包等)的结构中，在配置抓持部以使对象物位于可动爪之间的情况下，有可能在各可动爪与对象物的距离中产生差异。在形状的偏差大的对象物(不定形的对象物)中这种差异越显著。而且，在产生这种差异的情况下，各可动爪碰到对象物的时机产生偏差。在此，在对象物柔软的情况下，即在反作用力小的情况下，有可能由于这种时机的偏差对象物损伤的可能性变高。在此，在本技术方案中，通过使用了停止基准数据、距离数据、以及比较数据的机器学习来构建用于包含调整动作以及抓持动作的规定动作的动作方式的设定的模型。通过这种结构，不仅能够设定最佳基准值，还能够实现根据抓持部的配置状况适当地调整可动爪的位置的结构。也就是说，能够对抑制起因于上述时机的偏差的对象物的损伤，且能够适当地抓持低反作用力且不定形的对象物的机器人系统的实现做出贡献。此外，设想对于对象物的损伤除了上述的时机的偏差的情况之外，还可以在未适当地设定基准值的情况下等也发生，另一方面难以根据上述比较数据确定损伤的主要原因。因此，优选地能够通过将停止基准数据、距离数据、以及比较数据的各数据作为机器学习用的输入数据来对规定动作(调整动作、抓持动作)的优化做出贡献。

另外，就“比较数据”而言，只要能够确定对象物的损伤的程度，其可以是任意的，例如可以设为表示形状的变化的数据和表示重量的变化的数据。

另外，对于本技术方案所示的“规定动作的动作方式”，包含调整动作的可否的设定和调整时的可动爪的移位量的设定。

在第二技术方案中，所述模型构建部作为所述比较数据取得表示执行所述抓持动作之前所述对象物的形状与进行该抓持动作之后该对象物的形状的差异的数据。

在低反作用力的对象物损害的情况下，产生重量的变化和形状的变化。其中，在大多数产生重量的变化的情况下形状也一并变化，因此能够通过将形状作为比较对象来适当地向机器学习反应对象物的损伤的程度。

在第三技术方案中，所述模型构建部取得表示执行所述抓持动作之前的所述对象物的形状的形状数据、以及表示所述对象物的基准方向(例如连结对象物的图像中最长的两点的方向：长度方向)与所述一组可动爪夹持该对象物的方向的关系的方向数据，并将所述停止基准数据、所述距离数据、所述比较数据、所述形状数据、以及所述方向数据相对应关联地进行所述机器学习。

在抓持低反作用力且不定形的对象物的情况下，上述时机的偏差和重量的影响有可能根据从哪个方向夹持而不同。换言之，有可能根据夹持方向在不需要调整的对象物与各可动爪的位置关系等中产生不同。因此，如本技术方案所示，只要是在第一技术方案等所示的各种数据中追加形状数据以及方向数据并进行机器学习的结构，能够进一步适当地发挥第一技术方案所示的效果。

在第四技术方案中，在所述一组可动爪中碰到所述对象物的部分呈面状，

所述模型构建部取得表示执行所述抓持动作之前的所述对象物的形状的形状数据、以及表示在抓持所述对象物的状态下的所述一组可动爪与所述对象物的接触面积的接触面积数据，并将所述停止基准数据、所述距离数据、所述比较数据、所述形状数据、以及所述接触面积数据相对应关联地进行所述机器学习。

在抓持低反作用力且不定形的对象物的情况下，有可能根据接触面积而对对象物的影响产生差异。换言之，有可能根据接触面积在不需要调整的对象物与各可动爪的位置关系等中产生不同。因此，如本技术方案所示，只要是在第一技术方案等所示的各种数据中追加形状数据以及接触面积数据并进行机器学习的结构，能够进一步适当地发挥第一技术方案所示的效果。

在第五技术方案中，所述控制装置构成为，在执行所述抓持动作的情况下，以成为设定的速度的方式使所述一组可动爪移位，

所述速度为可变值，

所述模型构建部取得表示各所述可动爪朝向所述对象物移位时的移位速度的速度数据，并将所述停止基准数据、所述距离数据、所述比较数据、以及所述速度数据相对应关联地进行所述机器学习。

在产生上述时机的偏差的情况下，有可能根据可动爪的移位速度而对对象物的影响产生差异。换言之，有可能根据移位速度而在不需要调整的对象物与各可动爪的位置关系等中产生不同。因此，如本技术方案所示，只要是在第一技术方案等所示的各种数据中追加速度数据并进行机器学习的结构，能够进一步适当地发挥第一技术方案所示的效果。

在第六技术方案中，所述模型构建部取得表示执行所述抓持动作之前的所述对象物的位置的位置数据，并将所述停止基准数据、所述距离数据、所述比较数据、以及所述位置数据相对应关联地进行所述机器学习。

对于机器人系统，能够通过对供给的对象物的位置设置某种程度的允许范围来提高该系统的便利性。不过，在设置这种范围的情况下，根据对象物被供给至该范围内的哪个位置，有可能在执行该对象物的抓持动作的情况下的可动爪的触碰方法等中产生不同。因此，如本技术方案所示，只要是在第一技术方案等所示的各种数据中追加位置数据并进行机器学习的结构，能够进一步适当地发挥第一技术方案所示的效果。

在第七技术方案中，所述模型构建部取得表示抓持所述对象物时的所述机器人的姿势的姿势数据，并将所述停止基准数据、所述距离数据、所述比较数据、以及所述姿势数据相对应关联地进行所述机器学习。

对于机器人，根据抓持对象物时的姿势，有可能在可动爪对于对象物的触碰方法等中产生不同。因此，如本技术方案所示，只要是在第一技术方案等所示的各种数据中追加姿势数据并进行机器学习的结构，能够进一步适当地发挥第一技术方案所示的效果。

在第八技术方案中，所述模型构建部取得表示所述机器人的周边的环境的环境数据，并将所述停止基准数据、所述距离数据、所述比较数据、以及所述环境数据相对应关联地进行所述机器学习。

对于奶油泡芙、大福、面包等的低反作用力且不定形的对象物，硬度可以根据温度和湿度等的环境条件变化。换言之，有可能根据环境条件在不需要调整的对象物与各可动爪的位置关系等中产生不同。因此，如本技术方案所示，只要是在第一技术方案等所示的各种数据中追加环境数据并进行机器学习的结构，能够进一步适当地发挥第一技术方案所示的效果。

在第九技术方案中，所述设定部构成为，在通过所述取得部来取得的所述距离数据为表示通过所述模型来规定的范围内的距离的数据的情况下，将动作方式设定为不调整所述一组可动爪与所述对象物的相对位置就抓持该对象物，而在通过所述取得部来取得的所述距离数据为表示通过所述模型来规定的范围外的距离的数据的情况下，将动作方式设定为调整所述一组可动爪与所述对象物的相对位置之后抓持该对象物。

能够期待通过机器学习来优化对否需要位置调整的辨认。这些在抑制对象物的损伤，并且提高基于机器人系统的对象物的搬运效率等方面是优选的。

在第十技术方案中，提供一种机器人系统，其具备：

其中，在所述抓持部配置在所述规定位置的状况下，能够通过使所述抓持部移位来调整所述一组可动爪相对于所述对象物的位置，

具备模型构建部(机器学习装置90)，所述模型构建部取得表示配置在所述规定位置的所述抓持部的各可动爪与所述对象物的距离的距离数据、以及表示所述抓持动作的执行之前所述对象物的状态与进行该抓持动作之后该对象物的状态的差异的比较数据，通过使用了这些距离数据以及比较数据的机器学习来构建用于设定所述规定位置处的所述抓持部的位置调整的方式的模型，

所述控制装置具有：

设定部，根据通过所述取得部来取得的所述距离数据、与通过所述模型构建部来构建的所述模型设定所述位置调整的方式。

在通过一组可动爪来抓持对象物(奶油泡芙、大福、面包等)的结构中，在配置抓持部以使对象物位于可动爪之间的情况下，有可能在各可动爪与对象物的距离中产生差异。在形状的偏差大的对象物(不定形的对象物)中这种差异越显著。在产生这种差异的情况下，各可动爪碰到对象物的时机产生偏差。在此，在对象物柔软的情况下，即在反作用力小的情况下，顾虑根据这种时机的偏差对象物损伤的可能性变高。在此，在本技术方案中，通过使用了距离数据以及比较数据的机器学习来构建用于位置调整的方式的设定的模型。通过这种结构，能够实现根据抓持部的配置状况适当地调整可动爪的位置的结构。也就是说，能够对抑制起因于上述时机的偏差的对象物的损伤，且能够适当地抓持低反作用力且不定形的对象物的机器人系统的实现做出贡献。

在第十一技术方案中，提供一种机器学习装置，其适用于机器人系统，所述机器人系统具备：机器人(机器人20)，具有设置有一组可动爪(可动爪38a、38b)的抓持部(手部38)，通过由这些可动爪夹持对象物(制件W)来抓持该对象物；以及控制装置(控制装置70)，控制所述机器人以执行将所述抓持部配置到所述对象物位于所述一组可动爪之间的规定位置(抓持位置)的配置动作以及在该规定位置使这些可动爪向彼此靠近侧移位的抓持动作，所述控制装置构成为，在所述抓持动作中来自所述对象物的反作用力成为基准值的情况或者所述一组可动爪的相对距离成为基准值的情况下停止所述一组可动爪的所述移位，在所述抓持部配置在所述规定位置的状况下，能够执行通过使所述抓持部移位来调整所述一组可动爪相对于所述对象物的位置的调整动作，

其中，停止所述抓持动作的所述基准值为可变值，

具备模型构建部(机器学习装置90)，所述模型构建部在抓持所述对象物的情况下取得表示设定的所述基准值的停止基准数据、表示配置在所述规定位置的所述抓持部的各可动爪与所述对象物的距离的距离数据、以及表示所述抓持动作的执行之前所述对象物的状态与进行该抓持动作之后该对象物的状态的差异的比较数据(例如制件W的变形量)，通过使用了这些停止基准数据、距离数据以及比较数据的机器学习来构建用于的定包含所述调整动作以及所述抓持动作在内的规定动作的动作方式的模型。

根据本技术方案所示的结构，通过使用了停止基准数据、距离数据、以及比较数据的机器学习来构建用于规定动作(调整动作、抓持动作)的动作方式的设定的模型。如果是这种结构，不仅能够设定最佳基准值，还能够实现根据抓持部的配置状况适当地调整可动爪的位置的结构。也就是说，能够对抑制起因于各可动爪碰到对象物的时机的偏差的对象物的损伤，且能够适当地抓持低反作用力且不定形的对象物的结构的实现做出贡献。此外，设想对于对象物的损伤除了上述的时机的偏差以外还可以在未适当地设定基准值的情况下等也发生，另一方面难以根据上述比较数据确定损伤的主要原因。因此，优选地能够通过将停止基准数据、距离数据、以及比较数据的各数据作为机器学习用的输入数据来对抓持动作的优化做出贡献。

在第十二技术方案中，提供一种机器人系统，其具备：

其中，能够调整所述抓持动作中作为所述一组可动爪移位的方向的夹持方向，

停止所述抓持动作的所述基准值为可变值，

具备模型构建部(机器学习装置90)，所述模型构建部取得表示抓持所述对象物的情况下设定的所述基准值的停止基准数据、表示进行所述抓持动作之前的所述对象物的形状的形状数据、表示所述对象物的基准方向(例如连结对象物的图像中最长的两点的方向：长度方向)与所述夹持方向的关系的方向数据、以及表示所述抓持动作的执行之前所述对象物的状态与进行该抓持动作之后该对象物的状态的差异的比较数据(例如制件W的变形量)，通过使用了这些停止基准数据、形状数据、方向数据以及比较数据的机器学习来构建用于设定所述配置动作以及所述抓持动作的各动作方式的模型，

所述控制装置具有取得所述抓持动作的执行之前的所述对象物的所述形状数据的取得部，能够根据通过所述取得部来取得的所述形状数据与通过所述模型构建部来构建的所述模型设定所述配置动作以及所述抓持动作的各动作方式。

在本技术方案中，通过使用了停止基准数据、形状数据、方向数据、以及比较数据的机器学习来构建用于夹持方向的设定的模型。作为这种结构，不仅能够设定最佳基准值，还能够根据对象物的形状实现适当地调整夹持方向的结构。也就是说，能够对抑制对象物的损伤，且能够适当地抓持低反作用力且不定形的对象物的机器人系统的实现做出贡献。此外，对于对象物的损伤不仅是在未适当地设定夹持方向的情况而且在未适当地设定基准值的情况等下也可能发生，另一方面认为难以根据上述比较数据确定损伤的主要原因。因此，优选地能够通过将停止基准数据、形状数据、方向数据、以及比较数据的各数据作为机器学习用的输入数据来对配置动作以及抓持动作的优化做出贡献。

附图说明

图1是示出第一实施方式中的机器人的概略图。

图2是示出机器人系统的电结构的框图。

图3是示出机器人的动作方式的概略图。

图4是示出向抓持位置配置手部时的流程的概略图。

图5是主控制装置的功能框图。

图6是示出输入数据的种类的概略图。

图7是示出动作设定模型构建用的神经网络的概略图。

图8中的(a)是示出通过上级控制器的CPU来执行的动作方式设定处理的流程图，(b)是示出通过上级控制器的CPU来执行的位置调整处理的流程图。

图9是示出通过机器学习装置的CPU来执行的学习处理的流程图。

图10是示出第四实施方式中的输入数据的概略图。

图11是示出第五实施方式中的输入数据的概略图。

附图标记说明

10：机器人系统

20：机器人

38：手部

38a、38b：可动爪

42：编码器

45：力传感器

46：距离传感器

65：相机

70：控制装置

80：上级控制器

81：CPU

90：机器学习装置

91：CPU

92：存储器

CP：基准点

TP：目标位置

Xa、Xb：距离

W：制件

具体实施方式

<第一实施方式>

以下，参照附图对具体化在食品工厂等中使用的机器人系统的第一实施方式进行说明。

如图1所示，机器人系统10具备作为垂直多关节型的产业用机器人的机器人20、以及控制该机器人20的动作控制器60，这些机器人20以及动作控制器60彼此可通信地连接而成。机器人20包括机器人本体30以及附属于该机器人本体30的伺服放大器50。

机器人本体30具有：基部31，固定于地板等；肩部32，被基部31支撑；下臂部33，被肩部32支撑；第一上臂部34，被下臂部33支撑；第二上臂部35，被第一上臂部34支撑；手腕部36，被第二上臂部35支撑；以及凸缘部37，被手腕部36支撑。

在基部31以及肩部32形成有连结这些基部31以及肩部32的第一关节部J1，肩部32能够以第一关节部J1的连结轴AX1为中心在水平方向上转动。在肩部32以及下臂部33形成有连结这些肩部32以及下臂部33的第二关节部J2，下臂部33能够以第二关节部J2的连结轴AX2为中心在上下方向上转动。在下臂部33以及第一上臂部34形成有连结这些下臂部33以及第一上臂部34的第三关节部J3，第一上臂部34能够以第三关节部J3的连结轴AX3为中心在上下方向上转动。在第一上臂部34以及第二上臂部35形成有连结这些第一上臂部34以及第二上臂部35的第四关节部J4，第二上臂部35能够以第四关节部J4的连结轴AX4为中心在扭转方向上转动。在第二上臂部35以及手腕部36形成有连结这些第二上臂部35以及手腕部36的第五关节部J5，手腕部36能够以第五关节部J5的连结轴AX5为中心在上下方向上转动。在手腕部36以及凸缘部37形成有连结这些手腕部36以及凸缘部37的第六关节部J6，凸缘部37能够以第六关节部J6的连结轴AX6为中心在扭转方向上转动。

肩部32、下臂部33、第一上臂部34、第二上臂部35、手腕部36、以及凸缘部37通过排列成一连串来构成机器人本体30中的臂，在作为该臂的顶端部的凸缘部37安装有作为末端执行器的手部38。此外，上述连结轴AX1、AX4、AX6相对于臂的长度方向平行，连结轴AX2、AX3、AX5与该长度方向正交。

在各关节部J1～J6分别配设有作为使这些关节部J1～J6转动的驱动部的电机41(具体而言伺服马达)。电机41连接到伺服放大器50，该伺服放大器50根据从上述动作控制器60接收的指令进行电机41的驱动控制。

在此，参照图2，对机器人系统10的电结构进行补充说明。在机器人系统10中与动作控制器60一并包含构成“控制装置”或者“控制单元”的主控制装置70。主控制装置70包括：上级控制器80，对于动作控制器60进行动作指示；以及机器学习装置90，根据制件W的形状和配置等的各种条件学习(所谓的机器学习)适当的抓持动作等。在上级控制器80中设置有CPU81、以及存储器82，所述存储器82具有存储有各种控制程序和固定值数据的ROM以及执行控制程序时能够临时存储各种数据等的RAM。对于机器学习装置90，也与上级控制器80同样地设置有CPU91和存储器92等的硬件。在存储器92中包含存储作为学习用的软件的学习算法等的ROM(未图示，作为机器学习用的非暂时性计算机可读记录介质发挥功能)、以及存储学习用的各种输入数据的RAM。

因此，通过CPU91即计算机(运算处理器)的处理，或者，与其处理一起在功能上构建后述的各种要素94(95、96)、97、98、99(参照图5)。

动作控制器60接收来自设置于主控制装置70的上级控制器80的动作指示并从程序存储部读取与该动作指示相对应的动作程序且根据读取的动作程序确定动作目标位置(以下，称为目标位置或者控制点)。之后，生成圆滑地连接确定的目标位置与机器人20的臂(各可动部)的当前位置的目标轨迹，依次向伺服放大器50发送作为细化该目标轨迹的位置的插值位置。

在伺服放大器50中设置有位置控制部、速度控制部、电流控制部以及存储各种信息的存储部。在位置控制部连接有附属于电机41的编码器42。在位置控制部中根据编码值检测电机41的旋转位置(即臂的姿势)。在位置控制部以及速度控制部中，根据检测到的旋转位置与包含在从动作控制器60接收的指令中的插值位置的偏差计算各电机41的目标扭矩以及目标旋转速度。电流控制部根据计算出的目标扭矩以及目标旋转速度决定向各电机41供给的电力(电流、电压、脉冲)，向各电机41进行电力供给。

接下来，参照图3，对机器人20的基本动作进行说明。机器人20与传送带S1一并构成食品工厂中的生产线的一部分。在传送带S1上流通经过制造工序(加工工序)的食品、具体而言奶油泡芙和指形点心等的柔软且形态的偏差大的制品(以下，称为制件W)，机器人20负责装箱这些制品的装箱工序。具体而言，在传送带S1上排列设置有台S2，在该台S2上配设有能够收容制件W的盒C。传送带S1构成为，使经过制造工序的制件W向机器人20的正面的规定区域移动，在该制件W被机器人20搬运制件至盒C的情况下，将下一个制件W送至该规定区域。在本实施方式中，制件W相当于“对象物”或者“抓持对象”。

机器人系统10具有固定在建筑物的顶棚部的相机65(参照图1)，通过相机65拍摄的图像被发送至上级控制器80。在上级控制器80中通过图像分析确定配置在上述规定区域的制件W的情况下，为了在能够抓持该制件W的抓持位置(相当于“规定位置”)配置手部38而变更机器人20的姿势(相当于“配置动作”)。这样通过在抓持位置配置手部38，来使制件W位于该手部38的可动爪38a、38b之间(参照图3中的(a))。

如图3中的(a)→图3中的(b)所示，在向抓持位置配置之后，手部38的两个可动爪38a、38b分别向彼此靠近侧移位。在可动爪38a、38b中配设有检测来自制件W的反作用力的力传感器45(例如压力传感器)(参照图1)，通过该力传感器45检测到的反作用力被发送至上级控制器80。在通过力传感器45检测到的反作用力达到基准(将在后面进行说明的停止基准反作用力)的情况下可动爪38a、38b的移位停止，制件W的夹紧完成。在制件的夹紧完成之后，如图3中的(b)→图3中的(c)所示，以抓持制件W的状态变更机器人20的姿势且该制件W被搬运至盒C。在将制件W收容在盒C中之后，如图3中的(c)→图3中的(d)所示，使各可动爪38a、38b移位(恢复)至初始位置并释放制件W，机器人20恢复至待机位置。

在此，参照图4，对将手部38配置在抓持位置的情况的流程进行补充说明。在向规定区域供给新的制件W的时机拍摄规定区域。该图像数据被发送至上级控制器80，上级控制器80根据取得的图像数据提取制件W的外形，根据提取的外形将制件W的虚拟中心(临时中心)设定为作为上述目标位置之一的目标位置TP。而且，设定机器人20的动作方式(各种控制点)，使得作为用于配置手部38的机器人侧的基准的基准点CP与目标位置TP一致。该设定的动作方式被发送至动作控制器60，在动作控制器60中根据该动作方式以及机器人20的当前的姿势决定该机器人20的动作轨迹。

此外，可动爪38a、38b中相对置的对置面均呈与可动爪38a、38b的开闭方向正交的平面状，基准点CP规定为距两个可动爪38a、38b(对置面)的距离为等距离的位置。

在此，在本实施方式中设想的制件W是奶油泡芙和指形点心等的食品，与工业制品相比形状的偏差大。而且，对于从基准点CP到外周为止的距离也可以是各种各样。因此，即使通过变更机器人20的姿势使基准点CP与目标位置TP一致而向制件W位于两个可动爪38a、38b之间的抓持位置配置手部38，从一侧的可动爪38a到制件W为止的距离Xa、与从另一侧的可动爪38b到制件W为止的距离Xb不一定一致。

在图4中的(b)所示的例子中，手部38偏倚成从可动爪38b至制件W为止的距离Xb比从可动爪38a至制件W为止的距离Xa短。在从该状态使各可动爪38a、38b向彼此靠近侧移位的情况下，可动爪38碰到制件W的时机、与可动爪38b碰到制件W的时机不同。具体而言，如图4中的(c)所示，在可动爪38a碰到制件W之前可动爪38b碰到制件W。

对于制件W由于反作用力小，因此设想由于可动爪38b碰到制件W而发生较大变形，或者由于被可动爪38b按压而在传送带S1的载置面上向可动爪38a侧滑动。这种情况可以成为导致制件W的损伤(包含过度的变形)的主要原因。这些导致制造工序中的成品率的降低，有可能在通过机器人系统10来实现制造效率的提高方面造成障碍。在本实施方式中，作为特征之一，能够通过机器学习来适当地抓持制件W从而打消这种顾虑。以下，参照图5以及图6，对本实施方式中的特征结构进行说明。图5是示出主控制装置70的功能的功能框图，图6是示出向机器学习装置90输入的输入数据的概略图。

在上级控制器80中设置有执行存储在存储器82中的控制用程序的控制部84、以及从机器人20和相机65取得各种数据的数据取得部85。数据取得部85通过该控制部84的动作与机器人20的设备协作且在功能上被构建。由此，数据取得部85在功能上包含：图像数据取得部86，从相机65取得上述规定区域的图像；姿势数据取得部87，从编码器42取得表示机器人20的姿势(例如抓持动作之前的姿势和抓持制件W时的姿势)的姿势数据；距离数据取得部88，从设置于各可动爪38a、38b的距离传感器46(参照图1)取得表示手部38配置在抓持位置的状态(将在后面进行说明的调整之前)下的制件W与各可动爪38a、38b的各距离的距离数据；以及反作用力数据取得部89，从力传感器45取得表示通过手部38来抓持制件W时来自制件W的反作用力的反作用力数据。

控制部84根据图像数据取得部86取得的图像数据确定在上述规定区域中配置制件W的位置(目标位置TP)，并将该位置作为制件位置数据存储于存储器82。另外，根据抓持动作之前取得的图像数据提取制件W的抓持动作之前的形状并将该形状作为形状数据存储在存储器82中，根据抓持动作之后(释放之后)取得的图像数据提取制件W的抓持动作之后(释放之后)的形状并将该形状作为形状数据存储在存储部82中。抓持动作之后的图像数据的取得时机是释放制件W之后经过规定时间(例如能够期待制件W自力恢复的时间)的时机，但是该规定时间也可以通过机器学习来估计。

另外，根据抓持动作之前的形状数据确定制件W的类型(奶油泡芙、指形点心等)，并将确定的类型作为类型数据存储在存储部82。在上级控制器80中，使用这些数据的一部分控制机器人20，并将这些数据的一部分作为输入数据提供至机器学习装置90。对于向机器学习装置90提供的输入数据大致分为状态数据与标签数据。

在机器学习装置90中设置有根据上级控制器80作为各种状态数据取得制件位置数据、抓持制件W时(配置在抓持位置的状态)的姿势数据、抓持前后的各形状数据、以及类型数据的状态观测部97。这些数据存储在学习部94的数据存储部95。另外，在状态观测部97中，通过模板匹配来比较抓持动作之前的形状数据以及抓持动作之后(释放之后)的形状数据并计算以抓持动作为契机的制件W的变形量(损害)。表示该变形量的数据(比较数据)也存储在学习部94的数据存储部95。此外，在本实施方式中，构成为机器学习装置90自身计算→存储比较数据，但是不局限于此。比较数据也可以构成为用户向机器学习装置90提供(输入)。另外，在机器学习装置90中设置有从上级控制器80取得各种标签数据的标签数据取得部98。标签数据取得部98取得表示作为停止基准设定的基准反作用力的停止基准数据以及上述距离数据，并存储在数据存储部95。

此外，输入到机器学习装置90的各种输入数据的获取源不局限于上级控制器80。例如，也可以是不经由上级控制器80而从机器人20或相机65直接获取输入数据的结构。

机器学习装置90的学习部94将上述各种状态数据以及标签数据相对应关联地学习，通过该学习来构建表示状态数据与标签数据的相关性的模型(动作设定模型)。该动作设定模型存储在学习部94的学习模型存储部96，根据新取得的输入数据进行更新。通过重复动作设定模型的更新，根据状况学习抓持(搬运)的成功率变高且制件W的损害(变形量)变小的停止基准反作用力和位置调整基准距离。而且，构成为在学习进展汇总的数量的数据被反映在动作设定模型的情况下允许该动作设定模型的使用。

在机器学习装置90的结果输出部99中，根据允许使用的动作设定模型与机器人20的动作控制用的数据(制件位置数据、抓持动作之前的姿势数据、抓持动作之前的形状数据、类型数据)向上级控制器80提示适当的停止基准反作用力的估计结果，或者根据允许使用的动作设定模型与机器人20的动作控制用的数据(制件位置数据、抓持制件W时的姿势数据、抓持动作之前的形状数据、类型数据)向上级控制器80提示适当的位置调整基准距离。在此，本实施方式所示的适当的停止基准反作用力是指，能够抓持制件W且能够将基于抓持动作的制件W的损害(变形量)抑制到最小限度的最小的估计值，适当的位置调整基准距离是指，触碰时机的偏差的影响(损害)为0或者大致为0的各可动爪38a、38b至制件W为止的距离之差的估计值。

此外，在本实施方式中，成功地抓持制件W的情况下的各种输入数据积存在数据存储部95，另一方面，制件W的抓持失败的情况下的各种输入数据不存储在数据存储部95而消除。

以上详细说明的机器学习装置90作为学习部94中执行的学习算法应用所谓的有教师的学习。有教师的学习是学习根据执行条件与对应于此的执行结果的已知的数据集(所谓的教师数据)识别暗示执行条件与执行结果的相关性的特征从而估计估计相对于新的执行条件的执行结果的模型的方法。

在该有教师的学习中，在动作设定模型的构建中使用神经网络。以下，参照图7对神经网络的概要进行说明。此外，为了便于说明，在图7中，例示了输入数据的种类为四个，输出数据的种类为三个的三层神经网路，但是输入数据的数量、输出数据的数量、中间层的数量不局限于此。

神经网络是多个节点N的集合体。各节点N与其他多个节点N连接，在连接的节点N之间设定有权重w。节点的集合体大致分为，作为接收各种输入数据的输入的输入层D1发挥功能的集合体(节点N11～N14)、作为使用权重w2执行运算的中间层D2发挥功能的集合体(节点N21～N23)、作为对输出数据进行输出的输出层D3发挥功能的集合体(节点N31～N33)。根据输入数据x的种类设定输入层D1的节点数，根据输出数据y的种类设定输出层D3的节点数。

在本实施方式所示的机器学习装置90中，将制件位置数据、抓持动作之前的姿势数据、抓持制件W时的姿势数据、抓持动作之前的形状数据、类型数据、比较数据、停止基准数据、距离数据的各数据作为输入数据x，学习部94通过进行按照上述神经网络的多层结构的运算，作为适当的输出数据y估计适当的停止基准反作用力以及位置调整基准距离。此外，在神经网络的动作模式中存在进行上述的学习的学习模式、以及价值预测模式，例如能够通过学习模式来学习权重w，并使用学习的权重w通过价值预测模式来判断行动的价值。

接下来，参照图8，对通过上级控制器80的CPU81来定期地执行的动作方式设定处理以及位置调整用处理进行说明。

在动作方式设定处理中，首先，从相机65取得图像数据(步骤S11)，根据取得的图像数据制作(提取)抓持动作之前的制件W的形状数据(步骤S12)。接下来，根据形状数据设定制件W的位置数据、即目标位置TP(步骤S13)。之后，取得待机中(配置动作之前)的机器人20的姿势数据(步骤S14)，根据目标位置TP以及姿势数据设定动作轨迹生成用的控制点(步骤S15)。之后，取得表示根据图像数据识别的制件W的类型的类型数据(步骤S16)，根据该类型数据设定上述停止基准反作用力(步骤S17)。在步骤S17的处理中，在允许动作设定模型的使用的情况下根据该动作设定模型决定停止基准反作用力，在不允许动作设定模型的使用的情况下根据预先设定的候选范围决定(选择)停止基准反作用力。

在位置调整用处理中，首先，判断是否为手部38配置在抓持位置的时机(步骤S21)。在不是配置在抓持位置的时机的情况下直接结束该位置调整用处理。在手部38配置在抓持位置的情况下，取得表示机器人20的姿势的姿势数据、以及表示制件W与各可动爪38a、38b的各距离的距离数据(步骤S22)。之后，判断是否允许动作设定模型的使用(步骤S23)。在不允许动作设定模型的使用的情况下，直接结束该位置调整用处理。也就是说，在不允许动作设定模型的使用的情况下避免位置调整。在允许动作设定模型的使用的情况下，确认是否需要位置调整(步骤S24)。在这次的距离的差异未超过位置调整基准距离的情况下判断为不进行位置调整(步骤S25：否)，直接结束该位置调整用处理。在这次的距离的差异超过位置调整基准距离的情况下判断为进行位置调整(步骤S25：是)，决定位置调整的细节(步骤S26)。具体而言，为了调整手部38的位置以使制件W与各可动爪38a、38b的各距离的差异为0，而决定使该手部38移位的方向、以及其移位量。根据该决定的方向以及移位量，执行动作轨迹修正处理。具体而言，为了将机器人20的动作轨迹修改为基于位置调整的动作轨迹而再设定各控制点。再设定的控制点被发送至动作控制器60。

接下来，参照图9的流程图，对通过机器学习装置90的CPU91来定期地执行的学习处理进行说明。

在学习处理中，首先，判断是否为制件W向盒C的搬运动作的整个工序完成并恢复到待机姿势的时机(步骤S31)。在不是该时机的情况下，直接结束该学习处理。在该时机的情况下，从上级控制器80取得各种状态数据(步骤S32)。具体而言，取得制件位置数据、抓持动作之前的姿势数据、抓持制件W时的姿势数据、抓持动作之前的形状数据、类型数据、抓持动作之后的规定区域的图像数据。接下来，从上级控制器80取得各种标签数据(步骤S33)。具体而言，取得停止基准数据以及距离数据。

之后，分析抓持动作之后的规定区域的图像，判断是否在该规定区域留有制件W、即制件W的搬运(抓持)是否成功(步骤S34)。在制件W的搬运失败的情况下，不将取得的各种输入数据存储在数据存储部95、即不作为机器学习的输入数据利用就消除，结束该学习处理。

相对于此，在制件W的搬运(抓持)成功的情况下，计算制件W的变形量。具体而言，比较抓持动作之前的制件W的形状数据、与抓持动作之后(释放之后)的制件W的形状数据，计算制件W的变形量(损害)并制作比较数据(步骤S35)。之后，在数据存储部95保存制件位置数据、姿势数据、形状数据、类型数据、比较数据、停止基准数据、以及距离数据，并根据新取得的数据更新动作设定模型。在之后，积存数据直至至少允许上述使用，重复动作设定模型的更新。此外，无需每次新取得数据就执行动作设定模型的更新，也可以构成为在积存的数据量达到基准量的情况下更新(构建)动作设定模型。

根据以上详细说明的第一实施方式，能够期待以下的优异的效果。

在本实施方式中，通过使用了包含停止基准数据、距离数据、以及比较数据的各种输入数据的机器学习来构建用于机器人20的动作(位置调整动作以及抓持动作)的动作方式的设定的动作设定模型。根据这种结构能够如下结构：不仅能够设定可动爪38a、38b所涉及的适当的停止基准，还能够根据手部38的配置状况适当地调整该手部38的位置。也就是说，能够对抑制起因于各可动爪38a、38b碰到制件W的时机的偏差的制件W的损伤，且能够适当地抓持低反作用力且不定形的制件W的机器人系统的实现做出贡献。

在低反作用力的制件W损伤的情况下，产生重量的变化和形状的变化。其中，在产生重量的变化的多数情况下，形状也一同变化，因此通过将形状作为在抓持动作前后比较的对象能够适当地将制件W的损伤的程度反映至机器学习。

对于机器人系统10，能够通过对被供给的制件W的位置设置某种程度的允许范围(上述规定区域)来提高该系统的便利性。不过，在设置这种范围的情况下，根据制件W被供给至该范围内的哪个位置，有可能在执行该制件W的抓持动作的情况下的可动爪38a、38b的触碰方式等中产生不同。另外，机器人20根据抓持制件W时的姿势，有可能可动爪38a、38b对于制件W的触碰方式等中产生不同。因此，只要是将表示制件W的位置的制件位置数据和表示机器人20的姿势的姿势数据添加到输入数据进行机器学习的结构，能够对适当地抓持低反作用力且不定形的制件W的机器人系统的实现做出贡献。

<第二实施方式>

在上述第一实施方式中例示了通过有教师的学习来构建动作设定模型的结构，但是也能够将用于构建动作设定模型的学习方式设为强化学习。

在通过强化学习来构建动作设定模型的情况下，可以构成为，当抓持动作之前的制件W的形状与抓持动作之后(释放之后)的制件W的形状的差异在基准量(在本实施方式中5％)以内时增加报酬，在超过基准量的情况下减少报酬。另外，在上述第二实施方式中，仅将成功地抓持制件W的情况下的数据作为学习用的输入数据，但是也可以构成为对抓持的成功与否也设定报酬，失败时的数据也作为输入数据。在这种情况下，例如也可以构成为在成功地抓持制件W的情况下增加报酬，在制件W的抓持失败的情况下减少报酬。能够通过使成功地抓持制件W的情况下的报酬比形状的差异在基准量以内的情况下赋予的报酬多，来实现抓持的成功为优先的结构。

与不进行位置调整的情况相比，在进行上述的位置调整的情况下，虽然微小但是搬运效率降低。另外，在进行位置调整的情况下手部38的移位量越大搬运效率越低。因此，能够通过引用强化学习设定搬运效率所涉及的报酬，来兼顾制件W的保护与搬运效率的提高。例如，能够通过进行位置调整的情况下的手部38的移位量越小越是增加报酬，越大越减少报酬的结构，即使是在需要位置调整的情况下也能够将手部38的移位量抑制到必要最小限度。此外，取而代之地，也能够构成为，将从机器人20的动作开始至动作结束为止的所需时间数据追加为输入数据，所需时间越短越是增加报酬，所需时间越长越是减少报酬。

<第三实施方式>

在上述第一实施方式等中，构成为在通过力传感器45检测到的反作用力达到停止基准的情况下停止可动爪38a、38b。制件W的反作用力越小，越难以顺利地检测反作用力。因此，对于反作用力极小的制件W，可以将停止可动爪38a、38b的基准从反作用力改为两个可动爪38a、38b的相对距离(间隔或者宽度)、即两个可动爪38a、38b向夹持方向的移位量。

在这种结构的情况下，也可以在允许动作设定模型的使用的情况下使用各种数据与该动作设定模型设定作为停止基准的基准相对距离，在不允许动作设定模型的使用的情况下根据预先设定的候选范围决定(选择)停止基准反作用力。而且，学习中也可以将表示进行抓持动作时的相对距离的数据作为上述停止基准数据，并将该相对距离作为学习用输入数据。

<第四实施方式>

对于上述第一实施方式等所示的制件W(特别是奶油泡芙和大福)，形状为不定形，根据从哪个方向夹紧该制件W而有可能在抓持结束之后的制件W的恢复力中产生差异。也就是说，根据从哪个方向夹持，上述时机的偏差和载荷的影响有可能不同。换言之，根据夹持方向有可能在无需调整的对象物与各可动爪38a、38b的位置关系等中产生不同。另外，与在某个方向上夹紧的情况相比，在从其他方向夹紧的情况下变形量(损害)有可能减少。在本实施方式中，考虑这种情况，作为特征之一，将表示夹持方向的夹持方向数据追加至输入数据。以下，参照图10，对该输入数据进行说明。此外，夹持方向是指，在抓持动作中可动爪38a、38b移位的方向。

拍摄配置在规定区域的制件W的图像，从相机65输入至上级控制器80。在上级控制器80中，参照表示根据该拍摄的图像制作(提取)的制件W的外形的形状数据，设定制件W中的基准方向。具体而言，确定外形线上的两个点中距离最大的两个点，并将连结这两个点的直线的方向设定为基准方向。学习中，作为表示相对于该基准方向本次的夹持方向为那种关系的数据取得夹持方向。详细而言，夹持方向数据是表示相对于基准方向的夹持方向的角度的数据。这样，通过将夹持方向追加到输入数据，将夹持方向的影响反映到构建的动作设定模型。因此，在根据方向数据以及动作设定模型确定动作方式的情况下，被设定的停止基准反作用力和位置调整基准距离是考虑了加紧方向的数据。

此外，在本实施方式中，决定外形线上的两个点中距离最大的两个点，并将连结这两个点的直线的方向设定为基准方向，但是取而代之地，也能够决定外形线上的两个点中距离最小的两个点，并将连结这两个点的直线方向设定为基准方向。

另外，在上述第四实施方式中，考虑夹持方向来设定停止基准反作用力和位置调整基准距离，但是也可以取而代之地，构成为在允许动作设定模型的使用的情况下使用各种数据(制件W的形状数据)与该动作设定模型设定夹持方向。也就是说，也可以构成为将手部38的朝向设定成能够使停止基准反作用力小且位置调整基准距离大的夹持方向。

<第五实施方式>

对于上述第一实施方式等所示的制件W，形状的偏差大且反作用力小。在抓持这种制件W的情况下，有可能根据制件W与可动爪38a、38b的接触面积而在对制件W的影响中产生差异。换言之，根据接触面积有可能在不需要调整的制件W与各可动爪38a、38b的位置关系等中产生不同。另外，根据接触面积的大小而制件W的变形量(损害)有可能减少。在本实施方式中，考虑这种情况，作为特征之一，在输入数据中追加表示接触面积的接触面积数据。以下，参照图11，对该输入数据进行说明。

在可动爪38a、38b中的对置面分别配设有片状的接触传感器47a、47b。基于接触传感器47a、47b的检测结果发送至上级控制器，在上级控制器80中根据该检测结果确定制件W与可动爪38a、38b的接触面积。在以相同的强度夹紧制件W的情况下，接触面积越大，越能够减轻制件W中的局部负荷。也就是说，接触面积越大越可以适当地保护制件W。

表示接触面积的接触面积数据被提供至机器学习装置90，机器学习装置90将该接触面积数据作为输入数据保存在数据存储部95，并使用该接触面积数据构建动作设定模型。通过由机器学习确定制件W的形状与接触面积的关系，根据动作设定模型以及制件W的形状估计接触面积，能够根据该估计的接触面积设定停止基准反作用力和位置调整基准距离。

另外，在上述第五实施方式中，考虑被估计的接触面积设定停止基准反作用力和位置调整基准距离，但是取而代之地，也可以构成为在允许动作设定模型的使用的情况下使用各种数据(制件W的形状数据)与该动作设定模型设定接触面积适当的夹持方向(参照第四实施方式)。也就是说，也可以构成为，将手部38的朝向设定成能够使停止基准反作用力小且位置调整基准距离大的夹持方向。

<其他实施方式>

此外，不局限于上述各实施方式的记载内容例如也可以如以下那样实施。另外，也可以将以下各结构单独地应用于上述各实施方式，还可以组合一部分或者全部应用于上述各实施方式。另外，也能够任意组合全部或者一部分上述各实施方式所示的各种结构。在这种情况下，优选保证作为组合的对象的各结构的技术意义(发挥的效果)。

也能够将上述各实施方式所示的动作设定模型分别独立地构建为位置调整用的模型(位置调整模型)与停止基准设定用的模型(抓持模型)。

此外，在上述各实施方式中，构成为将作为机器人20的动作的一部分的抓持动作以及位置调整动作作为“规定动作”，通过机器学习来构建用于设定该规定动作的模型，但是也可以变更这些，通过机器学习来构建用于设定包含手部38的配置动作、手部3的位置调整动作、以及制件W的抓持动作在内的机器人20的整个动作的模型。

在上述各实施方式中，构成为使机器人系统10监视制件W的抓持的成功与否和损伤程度，但是也可以不局限于此。例如，也可以构成为工作人员监视抓持的成功与否和损伤程度，并向机器学习装置90输入该监视结果。

也可以向学习用的输入数据添加表示机器人20的周边的环境的环境数据(温度数据和湿度数据)。对于奶油泡芙等的低反作用力且不定形的抓持对象，硬度可能根据温度和湿度等的环境条件变化。换言之，有可能在根据环境条件，不需要调整的抓持对象与各可动爪38a、38b的位置关系等中产生不同。因此，如本变形例所示，只要是向各实施方式所示的各种输入数据追加环境数据并进行机器学习的结构，能够期待位置调整动作和抓持动作的进一步的优化。

在上述各实施方式中，使执行抓持动作时的可动爪38a、38b的移位速度恒定，但是也可以不局限于此。也可以将移位速度作为可变参数，并将表示在抓持制件W时移位速度的速度数据添加到学习用的输入数据。在产生上述时机的偏差的情况下，有可能根据可动爪38a、38b的移位速度而在对抓持对象的影响中产生差异。换言之，根据移位速度而有可能在不需要调整的对象物与各可动爪38a、38b的位置关系等中产生不同。因此，如本变形例所示，只要是在各实施方式所示的各种输入数据中追加速度数据并进行机器学习的结构，能够期待抓持动作的进一步的优化。

也可以附加通过基于表示抓持动作之前的制件W的形状的形状数据、表示设定的目标位置TP的制件位置数据、以及表示将手部38配置在抓持位置的情况下的各可动爪38a、38b与制件W的距离的距离数据的机器学习来构建用于目标位置TP的设定的目标点设定模型的结构。只要目标位置TP的设定精度提高，就能够减少上述位置调整的机会，对搬送效率的提高作出贡献。

在上述各实施方式中，构成为在进行位置调整的情况下移动抓持部，但是也可以不局限于此。例如，也可以是使与制件W的距离较大的一侧的可动爪靠近制件W从而对齐距离的结构，或者还可以是使与制件W的距离较小的一侧的可动爪远离制件W从而对齐距离的结构。不过，在这种结构中，可能成为制件W向一侧的可动爪侧偏倚的位置抓持的状态。这在实现抓持功能的稳定化、和向盒C的配置作业的效率化方面不是优选的。也就是说，如上述各实施方式所示，在不是移动可动爪38a、38b而是移动手部38来进行位置调整的结构中存在技术意义。

在上述各实施方式中，例示了通过抓持动作之前的制件W的形状数据与抓持动作之后的制件W的形状数据的比较来确定制件W的形状的变化量(损害量)的结构，但是不局限于此。也可以取而代之地或者追加地构成为，使用重量传感器等监视制件W的重量，通过比较抓持动作之前的制件W的重量与抓持动作之后的制件W的重量来确定制件W的重量的变化量。也就是说，作为向机器学习装置90的输入数据的比较数据，也可以是表示重量差的数据。

在上述各实施方式中，采用在工厂的顶棚部固定相机65的结构，但是也可以是将该相机65安装在机器人本体30(例如臂)的结构。

在上述各实施方式中，构成为通过两个可动爪38a、38b来抓持制件W，但是可动爪的数量是任意的。例如，既可以是三个，也可以是四个以上。

在上述各实施方式中，通过上级控制器80以及机器学习装置90构成主控制装置70，但是这些上级控制器80以及机器学习装置90也可以独立地设置。另外，也可以将相当于机器学习装置90的结构设置在云端上。

在上述各实施方式中，作为机器人20的抓持对象例示了奶油泡芙和指形点心，但是不局限于此。也可以将反作用力小且形状的偏差大的其他食品、例如大福和面包作为机器人20的抓持对象。另外，抓持对象不局限于加工食品，也能够在将橘子和西红柿等的水果与蔬菜作为抓持对象的情况下，适当地保护这些抓持对象。

Claims

1.一种机器人系统，具备：

机器人，具有设置有一组可动爪的抓持部，通过由这些可动爪夹持对象物来抓持该对象物；以及

控制装置，控制所述机器人以执行将所述抓持部配置到使所述对象物位于所述一组可动爪之间的规定位置的配置动作、以及在该规定位置使这些可动爪向彼此靠近侧移位的抓持动作，

停止所述抓持动作的所述基准值为可变值，

具备模型构建部，所述模型构建部在抓持所述对象物的情况下取得表示设定的所述基准值的停止基准数据、表示配置在所述规定位置的所述抓持部的各可动爪与所述对象物的距离的距离数据、以及表示所述抓持动作的执行之前所述对象物的状态与进行该抓持动作之后该对象物的状态的差异的比较数据，通过使用了这些停止基准数据、距离数据以及比较数据的机器学习来构建用于设定包含所述调整动作以及所述抓持动作在内的规定动作的动作方式的模型，

所述控制装置具有：

取得部，在所述抓持部配置在所述规定位置的情况下，取得表示该抓持部的各可动爪与所述对象物的距离的所述距离数据；以及

设定部，设定所述机器人的所述规定动作的动作方式，

所述设定部能够根据通过所述取得部取得的所述距离数据、与通过所述模型构建部构建的所述模型设定所述规定动作的动作方式。

2.根据权利要求1所述的机器人系统，其中，

所述模型构建部作为所述比较数据取得表示执行所述抓持动作之前所述对象物的形状与进行该抓持动作之后该对象物的形状的差异的数据。

3.根据权利要求1或2所述的机器人系统，其中，

所述模型构建部取得表示执行所述抓持动作之前的所述对象物的形状的形状数据、以及表示所述对象物的基准方向与所述一组可动爪夹持该对象物的方向的关系的方向数据，并将所述停止基准数据、所述距离数据、所述比较数据、所述形状数据、以及所述方向数据相对应关联地进行所述机器学习。

4.根据权利要求1或2所述的机器人系统，其中，

在所述一组可动爪中碰到所述对象物的部分呈面状，

5.根据权利要求1或2所述的机器人系统，其中，

所述控制装置构成为，在执行所述抓持动作的情况下，以成为设定的速度的方式使所述一组可动爪移位，

所述速度为可变值，

6.根据权利要求1或2所述的机器人系统，其中，

所述模型构建部取得表示执行所述抓持动作之前的所述对象物的位置的位置数据，并将所述停止基准数据、所述距离数据、所述比较数据、以及所述位置数据相对应关联地进行所述机器学习。

7.根据权利要求1或2所述的机器人系统，其中，

所述模型构建部取得表示抓持所述对象物时的所述机器人的姿势的姿势数据，并将所述停止基准数据、所述距离数据、所述比较数据、以及所述姿势数据相对应关联地进行所述机器学习。

8.根据权利要求1或2所述的机器人系统，其中，

所述模型构建部取得表示所述机器人的周边的环境的环境数据，并将所述停止基准数据、所述距离数据、所述比较数据、以及所述环境数据相对应关联地进行所述机器学习。

9.根据权利要求1或2所述的机器人系统，其中，

所述设定部构成为，在通过所述取得部取得的所述距离数据为表示通过所述模型规定的范围内的距离的数据的情况下，将动作方式设定为不调整所述一组可动爪与所述对象物的相对位置就抓持该对象物，而在通过所述取得部取得的所述距离数据为表示通过所述模型规定的范围外的距离的数据的情况下，将动作方式设定为调整所述一组可动爪与所述对象物的相对位置之后抓持该对象物。

10.一种机器人系统，具备：

具备模型构建部，所述模型构建部取得表示配置在所述规定位置的所述抓持部的各可动爪与所述对象物的距离的距离数据、以及表示所述抓持动作的执行之前所述对象物的状态与进行该抓持动作之后该对象物的状态的差异的比较数据，通过使用了这些距离数据以及比较数据的机器学习来构建用于设定所述规定位置处的所述抓持部的位置调整的方式的模型，

所述控制装置具有：

设定部，根据通过所述取得部取得的所述距离数据、与通过所述模型构建部构建的所述模型设定所述位置调整的方式。

11.一种机器学习装置，其适用于机器人系统，所述机器人系统具备：机器人，具有设置有一组可动爪的抓持部，通过由这些可动爪夹持对象物来抓持该对象物；以及控制装置，控制所述机器人以执行将所述抓持部配置到使所述对象物位于所述一组可动爪之间的规定位置的配置动作、以及在该规定位置使这些可动爪向彼此靠近侧移位的抓持动作，所述控制装置构成为，在所述抓持动作中来自所述对象物的反作用力成为基准值的情况或者所述一组可动爪的相对距离成为基准值的情况下停止所述一组可动爪的所述移位，在所述抓持部配置在所述规定位置的状况下，能够执行通过使所述抓持部移位来调整所述一组可动爪相对于所述对象物的位置的调整动作，

其中，停止所述抓持动作的所述基准值为可变值，

具备模型构建部，所述模型构建部在抓持所述对象物的情况下取得表示设定的所述基准值的停止基准数据、表示配置在所述规定位置的所述抓持部的各可动爪与所述对象物的距离的距离数据、以及表示所述抓持动作的执行之前所述对象物的状态与进行该抓持动作之后该对象物的状态的差异的比较数据，通过使用了这些停止基准数据、距离数据以及比较数据的机器学习来构建用于设定包含所述调整动作以及所述抓持动作在内的规定动作的动作方式的模型。