CN109483573B - 机器学习装置、机器人系统以及机器学习方法 - Google Patents

Abstract

本发明提供一种机器学习装置、机器人系统以及机器学习方法。即使针对没有示教与机械手的组合的移载对象，也能够选择用于移载的机械手。机器学习装置(10)，具有：状态观测单元(11)，其取得拍摄了移载对象(51、52)而得的拍摄数据中的至少一部分数据作为输入数据；标签取得单元(12)，其取得为了移载所述移载对象(51、52)而装配于机器人(40)的把持单元(41)有关的信息作为标签；学习单元(13)，其将所述状态观测单元(11)取得的输入数据与标签取得单元(12)取得的标签的组作为训练数据来进行监督学习，由此构筑输出适合于所述移载的把持单元(41)有关的信息的学习模型。

Description

机器学习装置、机器人系统以及机器学习方法

技术领域

本发明涉及进行针对利用机器人进行的移载的机器学习的、机器学习装置、机器人系统以及机器学习方法。

背景技术

在工厂等中，通过装配于机器人的机械手来把持工件，由此移载工件。在通过机器人来移载工件时，需要根据工件的形状、重量和材质这样的工件的特性来选择适当规格的机械手。

例如在专利文献1或专利文献2中公开了用于辅助这样的机械手的选择的技术。

在专利文献1中公开了这样的技术：根据要移载的工件的形态数据来选择要使用的机械手，根据选择出的机械手的数据和要移载的工件的数据来示教机械手把持工件的位置。

此外，在专利文献2中公开了这样的技术：能够应对晶片盒等的自动移载装置通过使控制装置具有存储了与移载对象物对应的多种机械手与移载对象物的关系的数据，来进行机械手的自动选择。

现有技术文献

专利文献1：日本特开2009-119589号公报

专利文献2：日本特开平11-114857号公报

在上述专利文献1或专利文献2等所公开的技术中，通过将表示工件的形状和大小的工件形态数据与用于移载的机械手关联起来而事先进行示教，由此能够选择机械手。

参照图1对该示教的示例进行说明。图1是示意性地表示了设为移载对象的工件与用于移载的机械手的对应的图。

例如，如图1的(A)所示，在对汽车用驱动轴等立体形状的工件进行移载的情况下，选择用于夹持工件的两股的机械手是合适的。该情况下，通过事先示教该工件的形态数据、与两股的机械手的组合，能够自动进行机械手的选择。

此外，例如，如图1的(B)所示，在对小包装等的平面状的工件进行移载的情况下，选择吸附式的机械手是合适的。该情况下，通过事先示教该工件的形态数据与吸附式的机械手的组合，可以自动进行机械手的选择。

这样，如果作为移载对象的工件是固定形态的工业产品，则能够通过事先示教作为移载对象的工件的形态数据与用于移载的机械手的组合，来进行用于移载的机械手的选择。

但是，作为移载对象的工件未必限定是固定形态的工业产品。例如如图1的(C)所示，有时设为移载对象的工件是蔬菜或水果等。由于蔬菜或水果等不同于工业产品而在形态上存在偏差，因此重量或形状的个体差异较大，难以事先准备形态数据。此外，即使假设工件是固定形状的工业产品，在其种类多的情况下，也难以事先针对所有工业产品准备形态数据。

这样的情况下，无法事先示教作为移载对象的工件的形态数据与用于移载的机械手的组合。

发明内容

因此，本发明的目的在于提供一种机器学习装置、机器人系统以及机器学习方法，即使针对没有示教与机械手的组合的移载对象，也能够选择用于移载的机械手。

(1)本发明的机器学习装置(例如，后述的机器学习装置10)，具有：状态观测单元(例如，后述的状态观测部11)，其取得拍摄了移载对象(例如，后述的第一移载对象51或者第二移载对象52)而得的拍摄数据中的至少一部分数据作为输入数据；标签取得单元(例如，后述的标签取得部12)，其取得为了移载所述移载对象而装配于机器人的把持单元(例如，后述的机械手41)有关的信息作为标签；以及学习单元(例如，后述的学习部13)，其将所述状态观测单元取得的输入数据与标签取得单元取得的标签的组作为训练数据来进行监督学习，由此构筑输出将适合于所述移载的把持单元有关的信息的学习模型。

(2)可以将上述(1)所记载的机器学习装置设置成，所述标签取得单元还取得表示所述把持单元把持了所述移载对象的位置和姿势的信息作为标签。

(3)可以将上述(1)或(2)所记载的机器学习装置设置成，所述标签取得单元取得用于识别成功移载所述移载对象的把持单元的信息作为标签。

(4)可以将上述(3)所记载的机器学习装置设置成，用于识别所述把持单元的信息是赋予给所述把持单元的每一个个体的字符或数字或者它们的组合构成的信息。

(5)可以将上述(4)所记载的机器学习装置设置成，所述机器学习装置还具有：输出提示单元(例如，后述的输出提示部15)，在将所述拍摄数据新输入到构筑出的所述学习模型时，所述输出提示单元根据所述学习模型的输出，提示用于移载移载对象的把持单元的识别信息，该移载对象是通过新输入的所述拍摄数据而被拍摄的。

(6)可以将上述(1)或(2)所记载的机器学习装置设置成，所述标签取得单元取得表示成功移载所述移载对象的把持单元的物理特征的物理信息作为标签。

(7)可以将上述(6)所记载的机器学习装置设置成，所述机器学习装置还具有：输出提示单元(例如，后述的输出提示部15)，在将所述拍摄数据新输入到构筑出的所述学习模型时，所述输出提示单元根据所述学习模型的输出，提示表示用于移载移载对象的把持单元的物理特征的物理信息，该移载对象是通过新输入的所述拍摄数据而被拍摄的。

(8)可以将上述(1)或(2)所记载的机器学习装置设置成，所述状态观测单元除了取得所述拍摄数据之外，还取得装配于所述机器人的把持单元的识别信息作为输入数据，所述标签取得单元取得表示是否成功移载所述移载对象的信息作为标签。

(9)可以将上述(8)所记载的机器学习装置设置成，所述机器学习装置还具有：输出提示单元(例如，后述的输出提示部15)，在将所述拍摄数据和装配于所述机器人的把持单元的识别信息重新输入到构筑出的所述学习模型时，所述输出提示单元根据所述学习模型的输出来提示推定信息，该推定信息是关于通过与新输入的所述识别信息对应的把持单元移载新输入的所述拍摄数据中的移载对象时是否成功与否的信息。

(10)本发明的机器人系统，其具有上述(1)～(9)中任一项所述的机器学习装置、拍摄单元(例如，后述的视觉传感器30)、装配了把持单元的机器人(例如，后述的机器人40)，所述状态观测单元取得所述拍摄单元对设置于移载源的移载对象中至少一部分移载对象进行拍摄而生成的拍摄数据作为所述输入数据，所述标签取得单元取得为了移载所述移载对象而装配于所述机器人的把持单元有关的信息作为标签。

(11)本发明的机器学习方法，其由机器学习装置(例如，后述的机器学习装置10)执行，所述机器学习方法具有以下步骤：状态观测步骤，取得拍摄了移载对象(例如，后述的第一移载对象51或者第二移载对象52)而得的拍摄数据中的至少一部分数据作为输入数据；标签取得步骤，取得为了移载所述移载对象而装配于机器人的把持单元有关的信息作为标签；以及学习步骤，将通过所述状态观测步骤取得的输入数据与通过标签取得步骤取得的标签的组作为训练数据来进行监督学习，由此构筑输出适合于所述移载的把持单元有关的信息的学习模型。

发明效果

根据本发明，即使针对没有示教与机械手的组合的移载对象，也能够选择用于移载的机械手。

附图说明

图1是用于对选择适合工件的机械手进行说明的示意图。

图2是表示本发明的实施方式的结构的示意图。

图3是表示本发明的实施方式中的机器学习装置的功能块的框图。

图4是表示本发明的实施方式中的构筑学习模型时的动作的流程图。

图5是表示本发明的实施方式中的利用学习模型时的动作的流程图。

图6A是表示本发明的第二实施方式中的输入图像的影像的影像图。

图6B是表示本发明的第二实施方式中的机械手的截面图像的影像的影像图。

图7是表示本发明的第三实施方式中的构筑学习模型时的动作的流程图。

符号说明

1 机器人系统

10 机器学习装置

11 状态观测部

12 标签取得部

13 学习部

14 学习模型存储部

15 输出提示部

20 机器人控制装置

30 视觉传感器

40 机器人

41 机械手

51 第一移载对象

52 第二移载对象

61 移载源架台

62 移载目的地架台

具体实施方式

接下来，参照附图对本发明的实施方式进行详细说明。

<各实施方式的概略>

以下，对第一实施方式、第二实施方式和第三实施方式这三个实施方式进行说明。这些各实施方式在基本的结构、进行机器学习的方面是共通的，但是设为机器学习的对象的信息各不相同。因此，首先对这三个实施方式的概略进行说明。

在第一实施方式中，将设为移载对象的工件的图像的至少一部分作为输入数据，将用于确定可以实际移载该工件的机械手的识别信息作为标签来进行机器学习。并且，通过利用由该机器学习构筑出的学习模型，能够选择与设为移载对象的工件对应的机械手。

此外，在第二实施方式中，将设为移载对象的工件的图像的至少一部分作为输入数据，将可以实际移载该工件的机械手的物理信息作为标签来进行机器学习。这里，所谓机械手的物理信息例如是表示机械手的形状、大小、以及材质等机械手的物理特征的信息。并且，通过利用由该机器学习构筑出的学习模型，能够输出形态数据，所述形态数据表示与设为移载对象的工件对应的机械手的形状和大小。

并且，在第三实施方式中，将设为移载对象的工件的图像的至少一部分、和用于确定尝试实际移载该工件的机械手的识别信息或物理信息作为输入数据，将尝试实际移载该工件的成功与否的结果作为标签来进行机器学习。并且，通过利用由该机器学习构筑出的学习模型，能够判定设为移载对象的工件与进行移载的机械手的组合的成功与否。

这样，各实施方式通过进行机器学习来构筑学习模型。并且，各实施方式通过利用构筑出的学习模型，即使针对没有示教形态数据的移载对象，也能够选择用于进行移载的机械手。

以上是三个实施方式的概略。接下来，对各实施方式各自的详细情况进行说明。另外，针对在各实施方式中共通的部分省略重复的说明。

<第一实施方式>

参照图2，对本实施方式涉及的机器人系统1的结构进行说明。机器人系统1具有：机器学习装置10、机器人控制装置20、视觉传感器30、机器人40、机械手41、第一移载对象51、第二移载对象52、移载源架台61以及移载目的地架台62。预先对各机械手赋予识别信息(例如，A、B这样的字母等字符或100、200这样的数字、或者它们的组合)。

在本实施方式中，机器人40将平面状的移载对象(相当于图中的第一移载对象51和第二移载对象52)从移载源架台61移载至移载目的地架台62。这里，各移载对象大小存在个体差异。例如，第二移载对象52比第一移载对象51大。因此，需要选择适合移载对象的大小的机械手41。因此，在本实施方式中，通过进行机器学习，能够从可以进行移载的大小不同的多种机械手41中选择适合移载对象的大小的机械手41。另外，不仅大小，移载对象也可以存在形状等个体差异。

机器学习装置10是进行上述机器学习的装置。关于机器学习装置10的详细情况，参照图3的功能框图在后面进行叙述。

机器人控制装置20是用于控制机器人40的动作的装置。机器人控制装置20根据用于使机器人40进行规定动作的动作程序，来生成用于控制机器人40的动作的信号。并且，机器人控制装置20将生成的信号输出给机器人40。机器人40根据该信号，对机器人40的手臂或装配于手臂的机械手41这样的可动部进行驱动。

由此，机器人40能够进行规定作业。在本实施方式中，机器人40作为规定作业，例如将第一移载对象51或第二移载对象52从移载源架台61移载至移载目的地架台62。

此外，机器人控制装置20从视觉传感器30取得拍摄移载对象的至少一部分而得的图像数据(以下，称为“移载对象图像数据”)。机器人控制装置20通过针对移载对象图像数据进行图像解析，来确定移载对象的位置或姿势或堆积状态。例如在移载对象拍摄数据是黑白图像时，通过提取图像上的亮度变化大的点即边缘点来进行图像解析。此外，作为进行这样的图像解析的方法，例如可以利用一般化哈夫变换等。

并且，机器人控制装置20根据由图像解析确定的、移载对象的位置或姿势或堆积状态来控制机器人40而进行移载。

机器人控制装置20与机器学习装置10以能够通信的方式连接。并且，机器人控制装置20针对机器学习装置10发送用于机器学习的各种信息。例如，机器人控制装置20发送移载对象图像数据、识别用于移载的机械手41的信息、表示移载的成功与否的信息作为用于机器学习的信息。关于使用了这些信息的机器学习的详细情况在后面叙述。

视觉传感器30是对移载对象图像数据进行拍摄的视觉传感器。视觉传感器30设置于可以拍摄移载源架台61上的移载对象的至少一部分的位置。另外，也可以将视觉传感器30设置于机器人40的手臂等可动部。

视觉传感器30为了拍摄移载对象的至少一部分，具有CCD(Charge-CoupledDevice)照相机或CMOS(Complementary Metal Oxide Semiconductor)照相机等照相机。这些照相机拍摄的移载对象图像数据可以是二维彩色图像，也可以是二维灰度图像，可以是距离图像，还可以是三维点组。由视觉传感器30拍摄到的移载对象拍摄数据被输出给机器人控制装置20。

机器人40是根据机器人控制装置20的控制进行动作的机器人。机器人40具有用于以铅直方向的轴为中心旋转的基部、以及进行移动和旋转的手臂。此外，用于把持移载对象的机械手41被装配于该手臂。

另外，关于机器人40或机械手41的具体结构，由于是本领域技术人员公知的，因此这里省略详细说明。

接下来，参照图3对机器学习装置10具有的各功能块进行说明。另外，在图3中将图2所示的机器人系统1中的、机器学习装置10以外的结构要素一并作为环境100而图示出来。

机器学习装置10将移载对象拍摄数据作为输入数据，将用于确定能够实际移载该移载对象的机械手41的识别信息作为标签来进行机器学习。并且，通过利用由该机器学习构筑出的学习模型，能够选择与设为移载对象的工件对应的机械手。

为了构筑这样的学习模型，机器学习装置10具有：状态观测部11、标签取得部12、学习部13、学习模型存储部14以及输出提示部15。

状态观测部11是从环境100所包含的机器人控制装置20取得输入数据，针对学习部13输出所取得的输入数据的部。这里，本实施方式中的输入数据如上所述是移载对象拍摄数据。另外，状态观测部11可以将所取得的一个移载对象拍摄数据的全部作为输入数据输出给学习部13，但是也可以将所取得的一个移载对象拍摄数据的一部分作为输入数据输出给学习部13。也就是说，可以将所取得的一个移载对象拍摄数据的至少一部分输出。

例如，状态观测部11通过进行图像解析，从与移载对象拍摄数据对应的图像内检测出拍摄了移载对象的至少一部分的部分。并且，状态观测部11可以只将检测出的拍摄了移载对象的至少一部分的部分切除(剪切)，只将与该切除的图像对应的部分的移载对象拍摄数据作为输入数据输出给学习部13。由此，能够更准确地确定移载对象，因此，有可能可以提高学习部13的学习的精度，因此是优选的。

标签取得部12是从环境100所包含的机器人控制装置20中取得标签，将所取得的标签输出给学习部13的部分。这里，本实施方式中的标签是用于确定实际对移载对象进行移载成功的机械手41的识别信息。例如通过用于识别机械手41的型号或ID等识别信息来实现识别信息。更详细来说，像本实施方式的说明开头所述那样，机械手41的识别信息例如通过A、B这样的字母等字符或100、200这样的数字、或者它们的组合来实现。

机械手41的识别信息，例如被从通过针对视觉传感器30拍摄到的图像进行图像解析而确认了移载对象移载成功的机器人控制装置20发送给标签取得部12。

学习部13受理该输入数据与标签的组作为训练数据，使用该训练数据，进行训练学习，由此，构筑学习模型。

例如，学习部13进行使用了神经网络的训练学习。该情况下，学习部13将训练数据所包含的输入数据与标签的组提供给将感知器组合而构成的神经网络，进行对神经网络所包含的各感知器的权重值进行变更这样的正向传播，使神经网络的输出与标签相同。例如，在本实施方式中，进行正向传播，使神经网络输出的机械手41的识别信息与标签的机械手41的识别信息相同。

然后，学习部13在这样进行了正向传播(forward propagation)之后，通过称为反传播法(back propagation，也称为误差反传播法。)的方法调整权重值，降低各感知器的输出的误差。更详细来说，学习部13计算神经网络的输出与标签的误差，修正权重值，以降低计算出的误差。

学习部13像这样学习训练数据的特征，归纳性地获得用于从输入推定结果的学习模型。

如上所述，学习部13不利用移载失败的机械手41的识别信息作为标签，只将移载成功的机械手41的识别信息作为标签，进行利用了神经网络的机器学习。由此学习部13构筑将适合对移载对象进行移载的机械手41的识别信息输出的学习模型。

其中，多个机械手41针对一个移载对象各自尝试了移载的结果是，有时多个机械手41移载成功。该情况下，对与一个移载对象对应的一个移载对象拍摄数据这样的输入数据，生成各不相同的标签成组的多个训练数据。在使用这样的各不相同的标签成组的训练数据来进行学习时，不清楚将哪个标签作为正解来进行学习是适当的，可能无法适当进行学习。

因此，在本实施方式中，在机械手41移载成功时，进行针对该移载的评价，计算评价值。并且，将进行了评价值最高的移载的机械手41的识别信息作为标签生成训练数据。由此，学习部13能够对移载成功的机械手41中评价最高的机械手41进行学习。因此，学习部13能够构筑将认为最适合对移载对象进行移载的最佳的机械手41的识别信息输出的学习模型。

评价的基准没有特别限定，例如，以从开始移载到结束移载的所需时间越短评价值越高为宜。此外，以在也能够准确地移载到其他应该移载的位置时，评价值更高为宜。此外，还可以沿着另外其他的基准来进行评价。并且，在沿着多个基准将评价值相加，对它们进行合计的情况下，在合计时，可以针对基准对各自的评价值附加权重值之后进行合计。

评价值的计算例如这样进行：机器人控制装置20根据针对视觉传感器30拍摄到的图像进行图像解析而获得的图像解析结果、机器人40的手臂或机械手41的控制信息，测定到结束移载为止的所需时间。

对包括该评价值的计算等在内的学习时的动作，参照图4在后面进行叙述。

另外，在本实施方式中，将移载对象图像数据这样的图像数据作为输入数据来进行学习。因此，学习部13可以使用适合于以图像数据为对象的学习的神经网络即卷积神经网络(CNN：Convolutional Neural Network)来进行学习。

卷积神经网络为具有卷积层、池化层、全连接层、以及输出层的结构。

在卷积层(convolution layer)中，为了进行边缘提取等特征提取，对输入的图像数据增加规定参数的过滤器。该过滤器中的规定参数相当于神经网络的权重，通过重复上述的正向传播或反向传播来继续学习。

在池化层(pooling layer)中，为了允许物体的位置偏移，使从卷积层输出的图像模糊。由此，即使物体的位置发生变动也可以视为是相同的物体。

通过将这些卷积层和池化层组合，能够从图像中提取特征量。

在全连接层(fully connected layer)中，将通过卷积层和池化层取出了特征部分的图像数据与一个节点结合，将通过激活函数而进行了变换的值输出。这里，激活函数是将不足0的输出值全部设为0的函数，作为表示某个阈值以上的部分的某个信息用于输出给输出层。

在输出层中，使用用于进行多级分类的函数即Soft Max函数概率性地变换来自全连接层的输出，根据该概率输出机械手41的识别信息。另外，重复正向传播或反向传播降低输出与标签的误差这方面即使是卷积神经网络也一样。

学习部13通过利用以上那样的结构的卷积神经网络来进行学习从而构筑学习模型。

另外，使用了上述神经网络的训练数据是监督学习的一例，学习部13除此之外例如还可以进行使用了隐马尔科夫模型的监督学习。

学习部13构筑出的学习模型输出给学习模型存储部14和后述的输出提示部15。

学习模型存储部14是对学习部13构筑出的学习模型进行存储的存储部。另外，在构筑出学习模型之后，在取得新的训练数据时，通过针对学习模型存储部14存储的学习模型进一步进行监督学习，适当更新一次构筑出的学习模型。

此外，也可以与其他机器学习装置10之间共享学习模型存储部14存储的学习模型。如果在多个机器学习装置10间共享学习模型，则能够利用各机器学习装置10分散地进行监督学习，因此，能够提升监督学习的效率。

输出提示部15是提示学习部13的输出的部分。如上所述，在本实施方式中，通过学习部13构筑出的学习模型，可以将适合移载移载对象的机械手41的识别信息输出，因此，输出提示部15通过将该学习部13输出的内容例如显示于画面上来提示用户。

此外，输出提示部15可以将学习部13输出的内容发送给机器学习装置10所包含的机器人控制装置20。并且，接收到这些内容的机器人控制装置20可以将输出的内容例如显示于画面上来提示用户。并且，在机器人系统1中包含自动更换机械手41的装置那样的情况下，标签取得部12可以针对进行该自动更换的装置发送学习部13输出的内容。

由此，更换机械手41的用户或装置能够对适合移载对象的机械手41进行更换。

以上，对机器学习装置10所包含的功能块进行了说明。

为了实现这些功能块，机器学习装置10具有CPU(Central Processing Unit：中央处理单元)等运算处理装置。此外，机器学习装置10还具有存储了应用软件或OS(OperatingSystem，操作系统)等各种控制用程序的HDD(Hard Disk Drive：硬盘驱动器)等辅助存储装置、在运算处理装置执行程序之后临时存储所需的数据的RAM(Random Access Memory：随机存取存储器)这样的主存储装置。

然后，在机器学习装置10中，运算处理装置从辅助存储装置读入应用软件或OS，一边在主存储装置展开读入的应用软件或OS，一边进行根据了这些应用软件或OS的运算处理。此外，根据该运算结果来控制各装置具有的各种硬件。由此，实现本实施方式的功能块。也就是说，本实施方式可以通过硬件与软件协作来实现。

作为具体例，机器学习装置10可以通过对一般的个人计算机装入用于实现本实施方式的应用软件来实现。

其中，关于机器学习装置10，随着监督学习的运算量增多，例如，将GPU(GraphicsProcessing Units：图形处理单元)搭载于个人计算机，通过称为GPGPU(General-Purposecomputing on Graphics Processing Units：通用图形处理单元)的技术，可以在将GPU用于随着监督学习的运算处理时可以高速处理。并且，为了进行更高速的处理，还可以使用多台搭载了这样的GPU的计算机来构筑计算机集群，通过该计算机集群所包含的多台计算机来进行并列处理。

接下来，参照图3的流程图，对机器学习装置10进行的监督学习时的动作进行说明。

在步骤S11中，机器人控制装置20选择一个移载对象。例如选择图2所示的第一移载对象51或第二移载对象52中的某一个。例如根据从视觉传感器30取得的移载对象图像数据的解析结果，通过确定可以把持那样的位置和姿势的移载对象来进行选择。另外，也可以根据用户的操作来进行选择。

在步骤S12中，机器人控制装置20存储移载对象图像数据设为机器学习中的输入数据。

在S13中，机器人控制装置20选择一个装配于机器人40的机械手41。选择可以从机器人控制装置20能够选择的机械手41中随机选择，也可以根据用户的操作来进行。选择出的机械手41装配于自动更换机械手41的装置或者通过用户装配于机器人40的手臂。

在步骤S14中，机器人控制装置20通过控制机器人40的手臂、装配于当前机器人40的手臂的机械手41，由此尝试移载对象的移载。

在步骤S15中，机器人控制装置20判定通过步骤S14尝试的移载是否成功。

在移载成功时，在步骤S16中判定为是，处理向步骤S17前进。在步骤S17中，机器人控制装置20计算评价值，将计算出的评价值、与移载成功的机械手41的识别信息对应起来存储。另外，关于评价值的计算方法如上所述。

另一方面，在移载失败时，在步骤S16中判定为否，处理向步骤S18前进。这样的话，如上所述在学习部13中，不利用移载失败的机械手41的识别信息作为标签，只利用移载成功的机械手41的识别信息作为标签。另外，当在步骤S16中否时，通过本次处理的步骤S12取得的输入数据也不用作训练数据。因此，机器人控制装置20废弃该输入数据。

在步骤S18中，机器人控制装置20判定是否将机械手41更换为新的机械手。当存在针对在步骤S11中选择出的移载对象设为学习对象的机械手41时，在步骤S18中判定为是，处理返回到步骤S13。并且，再次进行上述步骤S13以后的处理。另一方面，当不存在设为学习对象的机械手时，在步骤S18中判定为否，处理向步骤S19前进。

在步骤S19中，机器人控制装置20将在步骤S17中存储的、分别与移载成功的机械手41的识别信息对应起来的评价值进行比较。并且，将与最高的评价值对应起来的机械手41的识别信息作为标签发送给机器学习装置10。机器学习装置10的标签取得部12取得该标签。此外，机器人控制装置20将在步骤S12中存储的移载对象图像数据作为输入数据发送给机器学习装置10。机器学习装置10的状态观测部11取得该输入数据。由此，机器人控制装置20获得一个训练数据。

在步骤S20中，机器人控制装置20判定是否变更移载对象。当存在设为学习对象的移载对象时，在步骤S20中判定为是，处理返回到步骤S11。并且，通过步骤S11选择新的移载对象，再次重复以后的处理。

另一方面，当不存在设为学习对象的移载对象时，在步骤S20中判定为否，处理向步骤S21前进。

在步骤S21中，学习部13根据在步骤S19中取得的移载对象图像数据和标签构成的训练数据，来执行监督学习。关于监督学习的方法，作为学习部13的说明如上所述。在满足规定条件之前重复该监督学习。例如，以神经网络的输出与标签的误差的值为规定值以下、或以预先设定的次数重复监督学习为条件，在满足了这些条件的情况下学习结束。

在步骤S22中，学习部13将通过步骤S21中的学习而构筑出的学习模型存储于学习模型存储部14。

通过以上说明的动作，学习部13可以构筑将适合移载移载对象的机械手41的识别信息输出的学习模型。

另外，上述动作可以作为用于构筑学习模型的处理来进行，但是也可以在工厂等处机器人40平常运转时进行。

此外，上述监督学习可以在蓄积了多个移载对象的训练数据之后通过批量学习来进行，但是也可以通过在线学习或小批量学习来进行监督学习。

所谓在线学习是进行机器学习装置10涉及的加工，每当制作训练数据时，立即进行监督学习这样的学习方法。此外，所谓批量学习是这样的学习方法：进行机器学习装置10涉及的加工，在重复制作训练数据的期间，收集与重复对应的多个训练数据，使用收集到的所有训练数据进行监督学习。并且，所谓小批量学习是在线学习、与批量学习的中间的、蓄积某种程度训练数据时进行监督学习这样的学习方法。

接下来，参照图5的流程图对利用这样构筑出的学习模型时的动作进行说明。

在步骤S31中，机器人控制装置20选择一个移载对象。例如选择图2所示的第一移载对象51或者第二移载对象52中的某一个。例如根据从视觉传感器30取得的移载对象图像数据的解析结果，通过确定可以把持那样的位置和姿势的移载对象来进行选择。另外，也可以根据用户的操作来进行选择。

在步骤S32中，机器人控制装置20将移载对象图像数据发送给机器学习装置10。机器学习装置10取得接收到的移载对象图像数据设为构筑出的学习模型的输入数据。

在步骤S33中，在机器学习装置10中，通过步骤S32取得的输入数据通过学习部13被输入给学习模型。并且，从学习部13的学习模型向输出提示部15输出适合移载移载对象的机械手41的识别信息。输出提示部15将该机械手41的识别信息输出给环境100所包含的自动更换机械手41的装置或用户。在输出给用户的情况下，输出提示部15例如针对机器人控制装置20发送一个机械手41的识别信息。并且，将接收到的机械手41的识别信息显示于机器人控制装置20自身具有的显示部(未图示)。

在步骤S34中，提示了机械手41的识别信息的、自动更换机械手41的装置或用户将与该识别信息对应的机械手41装配于机器人40的手臂。并且，机器人控制装置20通过驱动机器人40的手臂、或装配于该手臂的机械手41，来对移载对象进行移载。

通过以上说明的动作，能够利用适合移载移载对象的机械手41来进行移载。

这里，在本实施方式中，由于利用了通过机器学习而构筑出的学习模型，因此即使针对未知的移载对象，也可以提示适合移载的机械手41。也就是说，即使针对没有示教与机械手的组合的移载对象，也能够选择用于移载的机械手。

由此，即使针对重量或形状的个体差异大，难以事先示教形态数据的工件，也可以自动进行机械手的选择，因此，可以降低移载失败率。此外，可以削减机械手更换的工数。

<第二实施方式>

以上对第一实施方式进行了说明。接下来，对第二实施方式进行说明。另外，第二实施方式与第一实施方式关于基本的结构和动作共通，因此，关于这些方面的重复说明省略。

第二实施方式与第一实施方式的不同在于：在机器学习中设为标签的信息。在第一实施方式中，将移载成功的机械手41的识别信息作为标签。与之相对地，在第二实施方式中，将移载成功的机械手41的物理信息作为标签。这里，所谓机械手41的物流信息时表示机械手的物理特征的信息，例如是表示机械手41的形状、大小、和材质等的机械手41的物理特征的信息。另外，输入数据是移载对象图像数据这方面与第一实施方式一样。

在本实施方式中，作为机械手41的物理信息，例如使用通过CAD(Computer-AidedDesign)确定形状和大小的参数。例如，利用表示机械手41的形状、机械手41各部位的尺寸等的参数。该情况下，不会利用机械手41的形状本身作为参数，可以预先按形状的种类来定义机械手41的形状，可以利用指定该定义出的形状种类的参数。所谓形状的种类例如是从外侧夹持移载对象的机械手、从内侧夹持移载对象的机械手、通过真空吸附来吸附移载对象的机械手、以及通过静电来吸附移载对象的机械手等种类。此外，关于夹持移载对象的手指数、移载对象吸附的部分的数量也可以定义为种类的一部分。

将这样的机械手41的物理信息作为标签，将移载对象图像数据作为输入数据，参照图4来进行构筑上述学习模型的处理。由此，在本实施方式中，可以构筑将确定机械手41的物理信息的数据输出的学习模型，所述机械手适合移载移载对象。

接下来，参照图5的流程图、图6A和图6B的影像图来对利用这样构筑出的学习模型的情况进行说明。另外，关于图5的流程图中的动作，作为第一实施方式的说明在上面进行了叙述，因此，省略重复说明。

在步骤S31中，机器人控制装置20选择一个移载对象。

在步骤S32中，机器人控制装置20将移载对象图像数据发送给机器学习装置10。机器学习装置10取得接收到的移载对象图像数据设为构筑出的学习模型的输入数据。这里，图6A示意性地表示成为输入数据的移载对象图像数据。在图6A中图示移载对象51。

在步骤S33中，在机器学习装置10中，通过步骤S32取得的输入数据通过学习部13输入到学习模型。并且，从学习部13的学习模型向输出提示部15输出适合移载移载对象的机械手41的物理信息。输出提示部15将该机械手41的物理信息即CAD的参数发送给搭载了CAD的装置(未图示)。搭载了该CAD的装置根据机械手41的物理信息即CAD的参数，显示机械手41的形状和大小。例如，如图6B所示，对机械手41把持了工件的状态的截面图像进行显示。该形状和大小为适合把持图6A所示的移载对象51的形状和大小。

参照该显示的用户，例如根据该形状和大小，可以选择适当的机械手41。此外，知晓：当不存在与该形状和大小对应的机械手41时，设计该形状和大小的机械手即可。也就是说，本实施方式可以在设计适合移载对象的机械手41的场面等有效利用。该情况下，进行实际移载而不生成输入数据或标签，可以通过在计算机上进行模拟而生成输入数据或标签。

在步骤S34中，用户针对机器人40的手臂装配设计制作出的机械手41。并且，机器人控制装置20通过驱动机器人40的手臂、或装配于该手臂的机械手41，对移载对象进行移载。

通过以上说明的动作，能够利用适合移载移载对象的机械手41来进行移载。

这里，在本实施方式中，由于利用了通过机器学习而构筑出的学习模型，因此即使针对未知的移载对象，也可以提示适合移载的机械手41的形状和大小。也就是说，即使针对没有示教与机械手的组合的移动对象，也能够选择用于移载的机械手。

<第三实施方式>

接下来，对第三实施方式进行说明。另外，第三实施方式与上述各实施方式关于基本的结构和动作共通，因此，这些方面的重复说明省略。

第三实施方式与上述各实施方式的不同在于：在机器学习中设为输入数据的信息与设为标签的信息。

这里，在上述各实施方式中，将移载对象图像数据作为输入数据。

此外，在第一实施方式中，将移载成功的机械手41的识别信息作为标签。并且，在第二实施方式中，将移载成功的机械手41的物理信息作为标签。

相反，在本实施方式中，将移载对象图像数据、与尝试对移载对象进行移载的机械手41的识别信息或者物理信息的组合作为输入数据。

此外，在本实施方式中，将表示尝试的移载成功，或者失败的信息(即，表示移载的成功与否的信息)作为标签。

这样，在上述各实施方式中，针对只将移载成功时的信息作为训练数据来进行学习，在本实施方式中，不同点在于：不论移载的成功与否，都将成功时的信息和失败时的信息双方的信息作为训练数据来进行学习。

这样，将移载对象图像数据与尝试对移载对象进行移载的机械手41的识别信息或者物理信息的组合作为输入数据，将表示移载的成功与否的信息作为标签，参照图4来进行构筑上述学习模型的处理。由此，在本实施方式中，在将移载对象图像数据与尝试对移载对象进行移载的机械手41的识别信息或者物理信息的组合输入时，可以构筑将该组合涉及的移载的成功与否的推定结果输出的学习模型。另外，在本实施方式中，不论移载的成功与否都设为训练数据。此外，在本实施方式中，不论评价值都设为训练数据。因此，省略图4的步骤S16与步骤S17的处理。

接下来，参照图5的流程图对利用这样构筑出的学习模型的情况进行说明。另外，关于图5的流程图中的动作，作为各实施方式的说明在上面进行了叙述，因此省略重复说明。

在步骤S31中，机器人控制装置20选择一个移载对象。

在步骤S32中，机器人控制装置20将移载对象图像数据与尝试对移载对象进行移载的机械手41的识别信息或者物理信息的组合发送给机器学习装置10。机器学习装置10取得接收到的移载对象图像数据与识别信息或者物理信息的组合设为构筑出的学习模型的输入数据。

在步骤S33中，在机器学习装置10中，通过步骤S32取得的输入数据通过学习部13输入到学习模型。并且，从学习部13的学习模型向输出提示部15输出输入数据中的组合涉及的移载的成功与否的推定结果。输出提示部15针对环境100所包含的用户输出该成功与否的推定结果。例如，针对机器人控制装置20发送机械手41的识别信息或者物理信息。并且，将成功与否的推定结果显示于机器人控制装置20自身具有的显示部(未图示)。这里，当在提示的成功与否的推定结果中，推定为失败时，用户将与通过步骤S32作为输入数据的机械手41不同的机械手41的识别信息或者物理信息作为输入数据再次进行步骤S32和33。

在步骤S34中，用户当在成功与否的推定结果中，推定为成功时，将通过步骤S32作为输入数据的机械手41的识别信息或者物理信息对应的机械手41装配于机器人40的手臂。并且，机器人控制装置20通过驱动机器人40的手臂、装配于该手臂的机械手41，对移载对象进行移载。

通过以上说明的动作，能够利用适合移载移载对象的机械手41来进行移载。

这里，在本实施方式中，由于利用了通过机器学习而构筑出的学习模型，因此即使针对未知的移载对象，也可以提示作为移载成功的机械手41的成功与否的推定结果。由此，即使针对没有示教与机械手的组合的移载对象，也能够选择用于移载的机械手。

<硬件与软件的协作>

另外，上述机器人系统1所包含的各装置的每一个，可以通过硬件、软件或者它们的组合来实现。此外，通过上述机器热系统所包含的各装置的每一个的协作进行的机器学习方法也可以通过硬件、软件或者它们的组合来实现。这里，所谓通过软件来实现表示计算机通过读入程序来执行从而实现。

可以使用各种类型的非临时性的计算机可读介质(non-transitory computerreadable medium)来存储程序而提供给计算机。非临时性的计算机可读介质包含各种类型的有实体的存储介质(tangible storage medium)。非临时性的计算机可读介质的示例包含：磁存储介质(例如，软盘、磁带、硬盘驱动器)、磁-光存储介质(例如，光磁盘)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半导体存储器(例如，掩膜ROM、PROM(ProgrammableROM：可编程ROM)、EPROM(Erasable PROM：可擦写PROM)、闪存ROM、RAM(random accessmemory))。此外，可以通过各种类型的临时性的计算机可读介质(transitory computerreadable medium)将程序供给到计算机。临时性的计算机可读介质的示例包含电气信号、光信号、以及电磁波。临时性的计算机可读介质可以经由电线和光纤等有线通信路、或者无线通信路将程序供给到计算机。

<实施方式的变形>

此外，上述各实施方式是本发明的最佳实施方式，但是并非将本发明的范围只限定于上述实施方式，能够进行组合了各实施方式的形态、或不脱离本发明的精神的范围内施加了各种变更的形态的实施。

<标签的变形例>

在上述第一实施方式中，将用于确定实际移载移载对象成功的机械手41的识别信息作为标签。此外，在第二实施方式中，将表示机械手41的物理特征的物理信息作为标签。并且，在第三实施方式中，将尝试通过机械手41来实际移载工件的成功与否的结果作为标签。

在这些各实施方式中，作为标签还可以包含尝试实际移载移载对象时的、机械手41涉及的移载对象的把持位置或把持姿势。

由此，在第一实施方式或第二实施方式中，还包含实际移载成功时的把持位置或把持姿势地进行机器学习，可以构筑学习模型。通过利用该学习模型，不仅可以简单地自动选择用于移载的机械手41，或掌握机械手41的物理信息，关于通过该机械手41以怎样的方式来把持移载对象而使得移载成功也可以自动判别，能够进一步提升便利性。

此外，在第三实施方式中，还包含实际移载成功时的把持位置或把持姿势、以及实际移载失败时的把持位置或把持姿势地进行机器学习，可以构筑学习模型。通过利用该学习模型，不仅可以简单地自动选择用于移载的机械手41，或掌握机械手41的物理信息，关于通过该机械手41以怎样的方式把持移动对象和移载成功或失败也可以自动判别，能够进一步提升便利性。

<学习时的动作的变形例>

在上述第一实施方式和第二实施方式中，像参照图3所说明那样，假设存在多个移载成功的机械手41的情况，将进行了评价值最高的移载的机械手41的识别信息作为标签来生成训练数据。在本变形例中，不需要该评价，使动作简略化。

在上述各实施方式中，当如图4所示移载成功时，在通过步骤S17计算评价值之后，重复更换其他的机械手41来尝试移载。因此，在各实施方式中，对于一个移载对象存在多个移载成功的机械手41。因此，将评价值进行比较来选择一个机械手41，将该机械手41的识别信息作为标签。

相反，在本变形例中，如图7所示，在针对一个移载对象通过某一机械手41使得移载成功时，不尝试其他的机械手41的移载而进行步骤S19的处理。也就是说，在本变形例中，针对一个移载对象移载成功的机械手41为一个。因此，不进行评价值的比较，将该机械手41的识别信息设为识别信息。

由此，能够针对一个移载对象制作一个训练数据，可以与各实施方式一样进行机器学习。

另外，在本变形例中，假设移载失败时，在步骤S16中判断为否，通过步骤S18与各实施方式一样地，判定是否进行机械手的更换，尝试其他机械手41的移载。因此，如果通过某一机械手41使得移载成功，则能够制作训练数据。

<其他变形例>

在上述各实施方式中，将机器学习装置10与机器人控制装置20作为分开的装置，但是也可以将这些装置作为一体来实现。

此外，在上述各实施方式中，图示为机器人控制装置20与机器学习装置10处于附近，但是它们也可以位于经由LAN(Local Area Network：局域网)或互联网等网络的远方。

此外，一台机器学习装置10可以与多台机器人控制装置20连接。并且，一台机器学习装置10也可以根据从该多台机器人控制装置20的每一个取得的训练数据来进行机器学习。

在上述实施方式中，想定为将一张图像的移载对象图像数据作为一个训练数据的输入数据，但是也可以将多张图像的移载对象图像数据作为一个训练数据的输入数据。

Claims (11)

1.一种机器学习装置，其特征在于，具有：

状态观测单元，其取得拍摄了移载对象而得的拍摄数据中的至少一部分数据作为输入数据；

标签取得单元，其取得用于识别成功移载所述移载对象的把持单元的信息作为标签，其中，所述把持单元为了移载所述移载对象而装配于机器人上；以及

学习单元，其将所述状态观测单元取得的输入数据与标签取得单元取得的标签的组作为训练数据来进行监督学习，由此构筑学习模型，该学习模型输出用于识别适合于所述移载的把持单元的信息，

所述学习模型将拍摄了任意的移载对象而得的拍摄数据中的至少一部分数据作为输入数据，将用于识别适合于移载所述移载对象的把持单元的信息作为输出数据。

2.根据权利要求1所述的机器学习装置，其特征在于，

所述标签取得单元还取得表示所述把持单元把持所述移载对象的位置和姿势的信息作为标签。

3.根据权利要求1或2所述的机器学习装置，其特征在于，

用于识别所述把持单元的信息是赋予给所述把持单元的每一个个体的字符或数字或者它们的组合构成的信息。

4.根据权利要求3所述的机器学习装置，其特征在于，

所述机器学习装置还具有：输出提示单元，在将所述拍摄数据新输入到构筑出的所述学习模型时，所述输出提示单元根据所述学习模型的输出，提示用于移载移载对象的把持单元的识别信息，该移载对象是通过新输入的所述拍摄数据而被拍摄的。

5.一种机器学习装置，其特征在于，具有：

状态观测单元，其取得拍摄了移载对象而得的拍摄数据中的至少一部分数据作为输入数据；

标签取得单元，其取得表示成功移载所述移载对象的把持单元的物理特征的物理信息作为标签，其中，所述把持单元为了移载所述移载对象而装配于机器人上；以及

学习单元，其将所述状态观测单元取得的输入数据与标签取得单元取得的标签的组作为训练数据来进行监督学习，由此构筑学习模型，该学习模型输出表示适合于所述移载的把持单元的物理特征的物理信息，

所述学习模型将拍摄了任意的移载对象而得的拍摄数据中的至少一部分数据作为输入数据，将表示适合于移载所述移载对象的把持单元的物理特征的物理信息作为输出数据。

6.根据权利要求5所述的机器学习装置，其特征在于，

所述机器学习装置还具有：输出提示单元，在将所述拍摄数据新输入到构筑出的所述学习模型时，所述输出提示单元根据所述学习模型的输出，提示表示用于移载移载对象的把持单元的物理特征的物理信息，该移载对象是通过新输入的所述拍摄数据而被拍摄的。

7.一种机器学习装置，其特征在于，具有：

状态观测单元，其取得拍摄了移载对象而得的拍摄数据中的至少一部分数据作为输入数据，所述状态观测单元除了取得所述拍摄数据之外还取得用于识别把持单元的信息作为输入数据，其中，所述把持单元为了移载所述移载对象而装配于机器人上；

标签取得单元，其取得表示所述把持单元是否成功移载所述移载对象的信息作为标签；以及

学习单元，其将所述状态观测单元取得的输入数据与所述标签取得单元取得的标签的组作为训练数据来进行监督学习，由此构筑学习模型，该学习模型输出用于识别适合于所述移载的把持单元的信息，

所述学习模型将拍摄了任意的移载对象而得的拍摄数据中的至少一部分数据、以及用于识别为了移载所述移载对象而装配于机器人的把持单元的信息作为输入数据，将关于由所述把持单元移载所述移载对象时是否成功的推定结果作为输出数据。

8.根据权利要求7所述的机器学习装置，其特征在于，

所述机器学习装置还具有：输出提示单元，在将所述拍摄数据和装配于所述机器人的把持单元的识别信息重新输入到构筑出的所述学习模型时，所述输出提示单元根据所述学习模型的输出来提示推定信息，该推定信息是关于通过与新输入的所述识别信息对应的把持单元移载新输入的所述拍摄数据中的移载对象时是否成功的信息。

9.一种机器人系统，其具有权利要求1～4中任一项所述的机器学习装置、拍摄单元、装配了把持单元的机器人，其特征在于，

所述状态观测单元取得所述拍摄单元对设置于移载源的移载对象中至少一部分移载对象进行拍摄而生成的拍摄数据作为所述输入数据，

所述标签取得单元取得用于识别为了移载所述移载对象而装配于所述机器人的把持单元的信息作为标签。

10.一种机器人系统，其具有权利要求5或6所述的机器学习装置、拍摄单元、装配了把持单元的机器人，其特征在于，

所述状态观测单元取得所述拍摄单元对设置于移载源的移载对象中至少一部分移载对象进行拍摄而生成的拍摄数据作为所述输入数据，

所述标签取得单元取得表示为了移载所述移载对象而装配于所述机器人的把持单元的物理特征的物理信息作为标签。

11.一种机器学习方法，其由机器学习装置执行，其特征在于，所述机器学习方法具有以下步骤：

状态观测步骤，取得拍摄了移载对象而得的拍摄数据中的至少一部分数据作为输入数据；

标签取得步骤，取得用于识别成功移载所述移载对象的把持单元的信息作为标签，其中，所述把持单元为了移载所述移载对象而装配于机器人上；以及

学习步骤，将所述状态观测步骤取得的输入数据与标签取得步骤取得的标签的组作为训练数据来进行监督学习，由此构筑学习模型，该学习模型输出用于识别适合于所述移载的把持单元的信息，

所述学习模型将拍摄了任意的移载对象而得的拍摄数据中的至少一部分数据作为输入数据，将用于识别适合于移载所述移载对象的把持单元的信息作为输出数据。

Images