CN115087522A - 机器学习方法及机器人系统 - Google Patents

Abstract

本机器学习方法是对具备手部(11)的机器人(10)的动作进行学习的机器学习方法，该手部(11)从将多个工件(W)以散装的状态收容的容器(C)中取出工件，并将工件设置为成为所决定的设置状态，该机器学习方法包括如下步骤：对利用手部将设置完成后的处于所决定的设置状态的工件去除的反向过程动作进行学习的步骤；及基于将工件去除的反向过程动作的学习结果来学习工件的设置顺序的步骤。

Description

机器学习方法及机器人系统

技术领域

本发明涉及机器学习方法及机器人系统，特别涉及对机器人的动作进行学习的机器学习方法及机器人系统，所述机器人利用手部从将多个工件以散装的状态收容的容器中取出工件，并利用手部设置所取出的工件。

背景技术

以往，已知有对机器人的动作进行学习的机器学习方法，所述机器人利用手部从将多个工件以散装的状态收容的容器中取出工件，并利用手部设置所取出的工件。这种方法例如在日本特开2017-30135号公报中被公开。

在上述日本特开2017-30135号公报中公开了一种对机器人的动作进行学习的机器学习方法，所述机器人利用手部从将多个工件以散装的状态收容的容器中取出工件，并利用手部将所取出的工件设置于输送机或作业台。在该机器学习方法中，对利用手部从容器中取出工件的最佳的动作进行学习。

现有技术文献

专利文献

专利文献1：日本特开2017-30135号公报

发明内容

发明所要解决的课题

但是，在上述日本特开2017-30135号公报所记载的机器学习方法中，对利用手部从容器中取出工件的最佳的动作进行学习，另一方面，未考虑利用手部设置(载置)工件的动作。因此，有时会发生重新保持利用手部所取出的工件的情况。其结果是，存在难以实现工件取出后的设置作业的效率化的问题。

本发明是为了解决如上所述的课题而完成的，本发明的目的之一在于提供一种机器学习方法及机器人系统，能够实现工件取出后的设置作业的效率化。

用于解决课题的技术方案

为了实现上述目的，本发明的第一方面的机器学习方法是对具备手部的机器人的动作进行学习的机器学习方法，该手部从将多个工件以散装的状态收容的容器中取出工件，并将工件设置为成为所决定的设置状态，该机器学习方法包括：对利用手部将设置完成后的处于所决定的设置状态的工件去除的反向过程动作进行学习的步骤；及基于将工件去除的反向过程动作的学习结果来学习工件的设置顺序的步骤。

在本发明的第一方面的机器学习方法中，设置如下步骤：对利用手部将设置完成后的处于所决定的设置状态的工件去除的反向过程动作进行学习的步骤；及基于将工件去除的反向过程动作的学习结果来学习工件的设置顺序的步骤。由此，能够考虑设置取出后的工件的动作来决定工件的设置顺序。其结果是，能够抑制发生利用手部取出的工件的重新保持的情况。即，能够不对利用手部取出的工件进行重新保持而直接设置(载置)。由此，能够实现工件取出后的设置作业的效率化。

在上述第一方面的机器学习方法中，优选地，对将工件去除的反向过程动作进行学习的步骤包括如下步骤：反复进行利用手部将工件去除的反向过程动作，直到处于所决定的设置状态的工件的全部或一部分消失为止。如果这样构成，则能够通过反复进行利用手部将工件去除的反向过程动作直到处于所决定的设置状态的工件的全部或一部分消失为止，来学习工件的反向过程动作。其结果是，能够充分地考虑设置取出后的工件的动作来决定工件的设置顺序。

在该情况下，优选地，对将工件去除的反向过程动作进行学习的步骤包括如下步骤：一边变更将工件去除的顺序，一边反复进行利用手部将工件去除的反向过程动作，直到处于所决定的设置状态的工件的全部或一部分消失为止。如果这样构成，则能够学习多个设置顺序。其结果是，能够增加设置顺序的选项，并且能够掌握效率高的设置顺序。

在上述一边变更将工件去除的顺序一边反复进行将工件去除的反向过程动作的结构中，优选地，学习工件的设置顺序的步骤包括如下步骤：基于将工件去除的反向过程动作的学习结果来学习多个设置顺序，并且学习多个设置顺序的优先级。如果这样构成，则能够基于多个设置顺序的优先级，容易地选择效率高的设置顺序。其结果是，能够容易地实现工件取出后的设置作业的效率化。

在上述反复进行将工件去除的反向过程动作的结构中，优选地，对将工件去除的反向过程动作进行学习的步骤包括如下步骤：在设定了将工件去除的顺序的一部分的状态下，反复进行利用手部将工件去除的反向过程动作，直到处于所决定的设置状态的工件的全部或一部分消失为止。如果这样构成，则能够与设定了将工件去除的顺序的一部分相应地，限定将工件去除的顺序。其结果是，能够与限定了将工件去除的顺序相应地缩短学习所需的时间。

在上述第一方面的机器学习方法中，优选地，还包括如下步骤：基于将工件去除的反向过程动作的学习结果，对由手部保持的工件的保持位置进行学习。如果这样构成，则能够考虑设置工件的动作来决定工件的保持位置。其结果是，能够进一步抑制发生利用手部取出的工件的重新保持的情况。由此，能够进一步实现工件取出后的设置作业的效率化。

在该情况下，优选地，对工件的保持位置进行学习的步骤包括如下步骤：考虑包含工件的保持禁止部位和工件的附近的障碍物中的至少任一个的制约条件，对工件的保持位置进行学习。如果这样构成，则能够将能够避开工件的保持禁止部位和工件的附近的障碍物等的位置作为工件的保持位置来学习。其结果是，能够学习适当的工件的保持位置。

在上述第一方面的机器学习方法中，优选地，还包括如下步骤：基于将工件去除的反向过程动作的成功概率，向用户通知重新查看手部和设置工件的夹具托盘中的至少一个。如果这样构成，用户能够重新查看手部和设置工件的夹具托盘等。其结果是，能够抑制继续使用不适当的手部和设置工件的夹具托盘等的情况。

在上述第一方面的机器学习方法中，优选地，对将工件去除的反向过程动作进行学习的步骤包括如下步骤：对利用手部将多种工件去除的反向过程动作进行学习。如果这样构成，即使在处理多种工件的情况下，也能够实现工件取出后的设置作业的效率化。

为了实现上述目的，本发明的第二方面的机器人系统具备：机器人，具备手部，该手部从将多个工件以散装的状态收容的容器中取出工件，并将工件设置为成为所决定的设置状态；机器学习装置，学习机器人的动作；及控制装置，基于机器学习装置的学习结果来控制机器人的动作，机器学习装置构成为，对利用手部将设置完成后的处于所决定的设置状态的工件去除的反向过程动作进行学习，并且基于将工件去除的反向过程动作的学习结果来学习工件的设置顺序。

在本发明的第二方面的机器人系统中，将机器学习装置构成为，对利用手部将设置完成后的处于所决定的设置状态的工件去除的反向过程动作进行学习，并且基于将工件去除的反向过程动作的学习结果来学习工件的设置顺序。由此，与上述第一方面的机器学习方法同样地，能够实现工件取出后的设置作业的效率化。

在上述第二方面的机器人系统中，优选地，机器学习装置构成为，基于将工件去除的反向过程动作的学习结果，对由手部保持的工件的保持位置进行学习。如果这样构成，则能够考虑设置工件的动作来决定工件的保持位置。其结果是，能够进一步抑制发生利用手部取出的工件的重新保持的情况。由此，能够进一步实现工件取出后的设置作业的效率化。

在该情况下，优选地，机器学习装置构成为，选择能够从容器中取出工件且能够设置工件的工件的保持位置。如果这样构成，则能够可靠地抑制发生利用手部取出的工件的重新保持的情况。由此，能够可靠地实现工件取出后的设置作业的效率化。

在上述选择能够从容器中取出工件且能够设置工件的工件的保持位置的结构中，优选地，机器学习装置构成为，基于工件的取出成功概率，提取能够从容器中取出工件的工件的保持位置，并且基于工件的设置成功概率，提取能够设置工件的工件的保持位置。如果这样构成，则能够容易地提取出能够从容器中取出工件且能够设置工件的工件的保持位置。

发明效果

根据本发明，如上所述，能够提供一种机器学习方法及机器人系统，能够实现工件取出后的设置作业的效率化。

附图说明

图1是表示本发明的一个实施方式的机器人系统的框图。

图2是用于说明本发明的一个实施方式的机器人对工件的设置的示意图。

图3是用于说明本发明的一个实施方式的反向过程动作的一例的流程图。

图4是用于说明本发明的一个实施方式的基于反向过程动作的学习结果的工件的设置顺序的学习的示意图。

图5是用于说明本发明的一个实施方式的基于反向过程动作的学习结果的工件的保持位置的学习的示意图。

图6是用于说明本发明的一个实施方式的反向过程动作的成功概率低的情况的示意图。

图7是用于说明本发明的一个实施方式的反向过程动作的成功概率低的情况下的向用户的通知的示意图。

图8是用于说明本发明的一个实施方式的学习和执行动作的流程图。

具体实施方式

以下，基于附图对将本发明具体化的实施方式进行说明。

参照图1，对本发明的一个实施方式的机器人系统100的结构进行说明。

(机器人系统的结构)

本实施方式的机器人系统100构成为，从将多个工件W以散装的状态收容的容器(箱柜)C中取出工件W，并将工件W设置于夹具托盘P1以成为所决定的设置状态S。工件W没有特别限定，例如是螺钉和螺母等小型的元件。如图1所示，机器人系统100具备机器人10、机器学习装置20、控制装置30和摄像装置40。

如图2所示，机器人10是对工件W进行作业的机械臂。具体而言，机器人10是垂直多关节机器人。机器人10包括手部(末端执行器)11。手部11构成为，从容器C中取出工件W，并将所取出的工件W设置于夹具托盘P1。手部11构成为，通过反复进行工件W从容器C的取出和所取出的工件W向夹具托盘P1的设置，从而将工件W设置于夹具托盘P1以成为所决定的设置状态S。手部11具有用于保持(把持)工件W的多个爪部11a。

如图1所示，机器学习装置20是对机器人10的动作进行学习(机器学习)的装置。具体而言，机器学习装置20是包括处理器和存储器的个人计算机。作为由机器学习装置20进行的机器学习，没有特别限定，例如能够采用带教师的学习、无教师的学习和强化学习等。在本实施方式中，作为由机器学习装置20进行的机器学习，采用了强化学习。

机器学习装置20包括状态量观测部21、动作结果取得部22、学习部23、决策部24和显示部25。另外，状态量观测部21、动作结果取得部22、学习部23和决策部24被图示为软件性的功能块。状态量观测部21、动作结果取得部22、学习部23和决策部24既可以由一个硬件电路(GPU(Graphics Processing Unit：图形处理单元)等)构成，也可以由多个硬件电路构成。

状态量观测部21构成为观测机器人10及工件W的状态量。具体而言，状态量观测部21基于来自摄像装置40的输出数据来观测机器人10及工件W的状态量。由状态量观测部21观测的状态量例如包括手部11的位置、手部11的姿势和工件W的位置等。动作结果取得部22构成为取得机器人10的动作结果。具体而言，动作结果取得部22构成为，基于来自摄像装置40的输出数据来取得机器人10的动作结果。由动作结果取得部22取得的动作结果例如包括利用手部11将工件W去除的反向过程动作(后述)的动作结果等。

学习部23构成为对机器人10的动作进行学习。具体而言，学习部23构成为，基于状态量观测部21的观测结果和动作结果取得部22的取得结果来学习机器人10的动作。另外，关于学习部23的学习的详细情况将在后面叙述。决策部24构成为决定机器人10的动作。具体而言，决策部24构成为，基于学习部23的学习结果来决定机器人10的动作。显示部25构成为显示设定画面和通知画面等。显示部25例如是包含液晶面板的液晶显示部。

控制装置30是包括对机器人10的动作进行控制的控制电路的装置。具体而言，控制装置30构成为，基于机器学习装置20的学习结果来控制机器人10的动作。控制装置30构成为，基于来自决策部24的输出数据来控制机器人10的关节及手部11的动作。另外，控制装置30构成为控制摄像装置40的动作。

摄像装置40是包括对机器人10和工件W等进行摄像的照相机的装置。摄像装置40作为用于取得包含机器人10和工件W等的三维位置信息的三维数据的三维数据取得装置而设置。摄像装置40例如构成为对将工件W去除的反向过程动作时(后述)的手部11和工件W、从容器C中取出工件W的动作时的手部11和工件W等进行摄像。另外，如图2所示，摄像装置40设置于机器人10的臂的前端。另外，摄像装置40设置于手部11的附近。

(工件的设置动作)

接着，对工件W的设置动作进行说明。

如图2所示，机器人10基于控制装置30(参照图1)的指令来进行工件W的设置动作。首先，机器人10利用手部11进行从容器C中取出工件W的动作。具体而言，机器人10利用手部11进行保持容器C内的工件W并将其取出到容器C外的动作。

然后，机器人10利用手部11进行将所取出的工件W设置于夹具托盘P1的动作。具体而言，机器人10利用手部11进行使工件W移动至夹具托盘P1的所决定的位置并将工件W设置于夹具托盘P1的所决定的位置的动作。

此时，在不能以保持的姿势将工件W从容器C直接设置于夹具托盘P1的情况下，机器人10利用手部11进行将工件W一度设置于临时放置托盘P2并重新保持的动作。临时放置托盘P2是成为用于临时放置工件W的缓冲区的托盘。临时放置托盘P2设置于夹具托盘P1的附近。

然后，机器人10反复进行利用手部11从容器C中取出工件W的动作和将利用手部11所取出的工件W设置于夹具托盘P1的动作，直到夹具托盘P1成为所决定的设置状态S为止。然后，当夹具托盘P1成为所决定的设置状态(最终状态)S时，将包含处于所决定的设置状态S的工件W的夹具托盘P1交接到下一工序。

另外，在图2中，为了方便，图示了四种工件W一个一个地设置于夹具托盘P1的例子。但是，不限于该例子。例如，可以是一种工件W在夹具托盘P1设置多个，也可以是四种以外的多种工件W在夹具托盘P1各设置一个或多个。

(机器人的动作的学习)

接着，对机器人10的动作的学习进行说明。

机器学习装置20对机器人10的动作进行学习，该机器人10适于从将多个工件W以散装的状态收容的容器C中取出工件W，并将工件W设置于夹具托盘P1以成为所决定的设置状态S。

在此，在本实施方式中，如图3所示，机器学习装置20构成为，对利用手部11将设置完成后的处于所决定的设置状态(最终状态)S的工件W从夹具托盘P1中去除的反向过程动作进行学习。机器学习装置20构成为，在机器人10处理多种工件W的情况下，对利用手部11将多种工件W从夹具托盘P1中去除的反向过程动作进行学习。另外，机器学习装置20构成为，在机器人10处理一种工件W的情况下，对利用手部11将一种工件W从夹具托盘P1中去除的反向过程动作进行学习。

另外，机器学习装置20构成为，反复进行利用手部11将工件W从夹具托盘P1中去除的反向过程动作，直到处于所决定的设置状态S的工件W全部消失为止。另外，机器学习装置20构成为，基于将工件W去除的反向过程动作的学习结果来学习工件W的设置顺序，另外，将工件W从夹具托盘P1中去除的反向过程动作包括利用手部11保持设置于夹具托盘P1的工件W的动作和使由手部11保持的工件W从夹具托盘P1离开的动作。另外，所谓将工件W从夹具托盘P1中去除的反向过程动作，意味着将工件W设置于夹具托盘P1的正向过程动作的相反的动作。

在此，参照图3来说明将工件W从夹具托盘P1中去除的反向过程动作的学习、和基于反向过程动作的学习结果的设置顺序的学习的一例。这里，说明去除A工件W、B工件W、C工件W和D工件W这四个工件W的例子。

首先，在步骤S1中，机器学习装置20取得全部工件W(A工件W、B工件W、C工件W和D工件W)存在于夹具托盘P1的状态(设置状态S)下的、每个工件W的反向过程动作的成功概率。即，机器学习装置20取得A工件W、B工件W、C工件W和D工件W的反向过程动作的成功概率。该成功概率的取得能够通过使用了三维数据的模拟、实际的机器人10的动作、及将它们并用等来进行。

然后，在步骤S2中，机器学习装置20利用手部11将成功概率高的B工件W从夹具托盘P1中去除一个，并取得剩余的三个工件W(A工件W、C工件W和D工件W)存在于夹具托盘P1的状态下的、每个工件W的反向过程动作的成功概率。即，机器学习装置20取得A工件W、C工件W和D工件W的反向过程动作的成功概率。

然后，在步骤S3中，机器学习装置20利用手部11将成功概率高的C工件W从夹具托盘P1中去除一个，并取得剩余的两个工件W(A工件W和D工件W)存在于夹具托盘P1的状态下的、每个工件W的反向过程动作的成功概率。即，机器学习装置20取得A工件W和D工件W的反向过程动作的成功概率。

然后，在步骤S4中，机器学习装置20利用手部11将A工件W从夹具托盘P1中去除一个，并取得最后一个工件W(D工件W)存在于夹具托盘P1的状态下的、最后的工件W的反向过程动作的成功概率。即，机器学习装置20取得D工件W的反向过程动作的成功概率。

在图3所示的例子中，基于反向过程动作的成功概率，按照B工件W、C工件W、A工件W、D工件W的顺序，将工件W从夹具托盘P1中去除。在该情况下，机器学习装置20对作为适合于将工件W设置于夹具托盘P1以成为所决定的设置状态S的设置顺序的反向顺序进行学习。即，机器学习装置20将按照D工件W、A工件W、C工件W、B工件W的顺序将工件W设置于夹具托盘P1的情况作为适合于将工件W设置于夹具托盘P1以成为所决定的设置状态S的设置顺序进行学习。

参照图4来说明将工件W去除的反向过程动作的学习、和基于反向过程动作的学习结果的设置顺序的学习的更详细的情况。另外，图4的顺序1～4分别与图3的步骤S1～S4对应。另外，在图4中，为了便于图示，省略了按顺序1选择了D工件W的情况下的图示。

如图4所示，机器学习装置20构成为，一边变更将工件W去除的顺序，一边反复进行利用手部11将工件W从夹具托盘P1中去除的反向过程动作，直到处于所决定的设置状态S的工件W全部消失为止。此时，机器学习装置20构成为，对于反向过程动作的成功概率为阈值以下的工件W，不进行学习。由此，能够提高学习的效率。阈值没有特别限定，但在图4所示的例子中设为50％。

另外，机器学习装置20构成为能够设定将工件W从夹具托盘P1中去除的顺序的一部分。在该情况下，机器学习装置20构成为，在设定了将工件W从夹具托盘P1中去除的顺序的一部分的状态下，反复进行利用手部11将工件W从夹具托盘P1中去除的反向过程动作，直到处于所决定的设置状态S的工件W全部消失为止。设定的顺序例如可以是最初、最后及中途的任一个。设定的顺序能够由用户指定。

例如，在将A工件W设定为最初从夹具托盘P1中去除的工件W(即，最后设置于夹具托盘P1的工件W)的情况下，机器学习装置20在满足最初将A工件W从夹具托盘P1中去除的条件的同时，反复进行利用手部11将工件W从夹具托盘P1中去除的反向过程动作，直到处于所决定的设置状态S的工件W全部消失为止。同样地，在将B工件W设定为最后从夹具托盘P1中去除的工件W(即，最初设置于夹具托盘P1的工件W)的情况下，机器学习装置20在满足最后将B工件W从夹具托盘P1中去除的条件的同时，反复进行利用手部11将工件W从夹具托盘P1中去除的反向过程动作，直到处于所决定的设置状态S的工件W全部消失为止。

另外，机器学习装置20构成为，基于将工件W去除的反向过程动作的学习结果来学习多个设置顺序，并且学习多个设置顺序的优先级。具体而言，机器学习装置20构成为，基于反向过程动作的成功概率来取得多个设置顺序的分数，并且基于所取得的多个设置顺序的分数来学习多个设置顺序的优先级。设置顺序的分数没有特别限定，例如可以采用设置顺序的每个反向过程动作的成功概率的积与和等。在该情况下，分数越大，优先级越高。另外，优先级越高的设置顺序，是越适于将工件W设置于夹具托盘P1以成为所决定的设置状态S的设置顺序。

另外，机器学习装置20构成为，将优先级最高的设置顺序作为默认的设置顺序进行学习。另外，在图4所示的例子中，存在多个(四个)分数最大(优先度最高)的设置顺序。在该情况下，机器学习装置20构成为，例如基于用户的指定，将优先级最高的多个设置顺序中的任一设置顺序作为默认的设置顺序进行学习。

另外，在本实施方式中，如图5所示，机器学习装置20构成为，基于将工件W从夹具托盘P1中去除的反向过程动作的学习结果，对由手部11保持的工件W的保持位置进行学习。另外，由手部11保持的工件W的保持位置是包含工件W的保持位置和手部11的保持姿势的概念。即，所谓对由手部11保持的工件W的保持位置进行学习，意味着对工件W的保持位置和手部11的保持姿势进行学习。

具体而言，机器学习装置20构成为，考虑包含工件W的保持禁止部位和工件W附近的障碍物的制约条件，对工件W的保持位置进行学习。所谓工件W的保持禁止部位，例如是工件W的插入于夹具托盘P1的部位(如果保持则无法将工件W设置于夹具托盘P1的部位)、和原本就禁止了保持本身的部位等。另外，工件W附近的障碍物例如是工件W附近的其他工件W和工件W附近的墙壁等。

机器学习装置20构成为，基于将工件W从夹具托盘P1中去除的反向过程动作的学习结果，对在反向过程动作中能够由手部11保持的工件W的保持位置、和在反向过程动作中不能由手部11保持的工件W的保持位置进行学习。换言之，机器学习装置20构成为，基于将工件W从夹具托盘P1中去除的反向过程动作的学习结果，对在正向过程动作中能够将工件W设置于夹具托盘P1的工件W的保持位置和在正向过程动作中不能将工件W设置于夹具托盘P1的工件W的保持位置进行学习。

另外，在本实施方式中，如图6及图7所示，机器学习装置20构成为，基于将工件W从夹具托盘P1中去除的反向过程动作的成功概率，向用户通知重新查看手部11和夹具托盘P1。具体而言，机器学习装置20构成为，在最初将工件W从夹具托盘P1中去除的情况下，全部工件W的反向过程动作的成功概率为阈值以下时，向用户通知重新查看手部11和夹具托盘P1。阈值没有特别限定，例如能够设为100％。另外，机器学习装置20构成为，通过在显示部25显示通知，从而将手部11和夹具托盘P1的重新查看通知给用户。

(学习和执行动作)

接着，参照图8，基于流程图来说明机器人系统100的学习和执行动作。这里，说明通过使用了三维数据的模拟来进行学习的例子。

如图8所示，首先，在步骤S11中，进行三维数据的创建。具体而言，进行工件W、手部11、及未设置工件W的状态下的夹具托盘P1的三维数据的创建。三维数据的创建没有特别限定，例如可以通过读入CAD数据、及利用三维形状测定器测定形状等来进行。另外，作为三维形状测定器，可以准备专用的测定器，但也可以使用机器人系统100的摄像装置40。

然后，在步骤S12中，进行设置完工件W后的夹具托盘P1的三维数据的创建。即，进行以设置状态S设置有工件W的夹具托盘P1的三维数据的创建。三维数据的创建与步骤S11同样地，可以通过读入CAD数据、及利用三维形状测定器测定形状等来进行。另外，与步骤S11同样地，作为三维形状测定器，也可以使用机器人系统100的摄像装置40。

然后，在步骤S13中，利用将工件W从夹具托盘P1中去除的反向过程动作进行学习。在步骤S13中，如上所述，进行如下步骤：对利用手部11将设置完成后的处于所决定的设置状态S的工件W从夹具托盘P1中去除的反向过程动作的步骤；基于将工件从夹具托盘P1中去除的反向过程动作的学习结果，学习工件W的设置顺序的步骤；及基于将工件W从夹具托盘P1中去除的反向过程动作的学习结果，学习工件W的保持位置的步骤。这些学习通过使用了在步骤S11和S12中所创建的三维数据的模拟来进行。

另外，在不通过模拟，而是通过实际使机器人10动作来进行学习的情况下，实际准备以设置状态S设置有工件W的夹具托盘P1。然后，通过对准备好的夹具托盘P1进行反向过程动作来进行学习。此时，一边进行摄像装置40的摄像，一边进行反向过程动作。由此，能够基于来自摄像装置40的输出数据，利用状态量观测部21来观测反向过程动作中的手部11的位置、手部11的姿势和工件W的位置等。另外，能够基于来自摄像装置40的输出数据，利用动作结果取得部22来取得利用手部11将工件W去除的反向过程动作的动作结果(成功与否)。

然后，在步骤S14中，执行基于机器学习装置20的学习结果的工件W的设置。具体而言，在步骤S14中，进行如下步骤：利用手部11从容器C中取出工件W，并将工件W设置于夹具托盘P1以成为所决定的设置状态S。此时，机器学习装置20基于反向过程动作的学习结果来选择设置顺序。基本上，机器学习装置20将默认的设置顺序作为要执行的设置顺序来选择。但是，在不能以默认的设置顺序进行设置的情况下，机器学习装置20将学习到的设置顺序中的默认的设置顺序以外的设置顺序作为要执行的设置顺序来选择。在该情况下，机器学习装置20将学习到的默认的设置顺序以外的设置顺序中的优先级高且能够进行设置的设置顺序作为要执行的设置顺序来选择。

另外，机器学习装置20基于反向过程动作的学习结果和容器C内的工件W的收容状态，选择从容器C中取出工件W时的工件W的保持位置。容器C内的工件W的收容状态能够基于对容器C内的工件W进行摄像所得的来自摄像装置40的输出数据来取得。机器学习装置20选择能够从容器C中取出工件W且能够将工件W设置于夹具托盘P1的工件W的保持位置。

具体而言，机器学习装置20基于工件W的取出成功概率，提取能够从容器C中取出工件W的工件的保持位置，并且基于工件W的设置成功概率，提取能够设置工件W的工件W的保持位置。工件W的取出成功概率能够基于对容器C内的工件W进行摄像所得的来自摄像装置40的输出数据来取得。另外，能够预先学习工件W从容器C的取出动作。如果预先学习，则能够高精度地取得工件W的取出成功概率。另外，工件W的设置成功概率能够基于学习到的反向过程动作的成功概率来取得。机器学习装置20从提取出的能够从容器C中取出工件W的工件W的保持位置和提取出的能够设置工件W的工件W的保持位置之中，选择能够从容器C中取出工件W且能够将工件W设置于夹具托盘P1的工件W的保持位置。

另外，机器学习装置20将所选择的信息发送到控制装置30。然后，控制装置30基于来自机器学习装置20的信息来控制机器人10的动作。然后，机器人10基于控制装置30的指令，从将多个工件W以散装的状态收容的容器C中取出工件W，并将工件W设置于夹具托盘P1以成为所决定的设置状态S。

另外，也可以基于从容器C中取出工件W并将工件W设置于夹具托盘P1的正向过程动作的结果，进一步对机器学习装置20的学习结果进行校正。例如，可以在从容器C中取出工件W并将工件W放置于夹具托盘P1的动作失败的情况下，基于正向过程动作的结果，对基于反向过程动作的学习结果的工件W的保持位置的信息进行校正。另外，例如，可以在从容器C中取出工件W并将工件W设置于夹具托盘P1的动作失败的情况下，基于正向过程动作的结果，对基于反向过程动作的学习结果的设置顺序的分数(优先级)的信息进行校正。

(本实施方式的效果)

在本实施方式中，能够得到如下的效果。

在本实施方式中，如上所述，在机器学习方法中设置如下步骤：对利用手部11将设置完成后的处于所决定的设置状态S的工件W去除的反向过程动作进行学习的步骤；及基于将工件W去除的反向过程动作的学习结果来学习工件W的设置顺序的步骤。由此，能够考虑设置取出后的工件W的动作来决定工件W的设置顺序。其结果是，能够抑制发生利用手部11取出的工件W的重新保持的情况。即，能够不对利用手部11所取出的工件W进行重新保持而直接设置(载置)。由此，能够实现工件W取出后的设置作业的效率化。

另外，在本实施方式中，如上所述，对将工件W去除的反向过程动作进行学习的步骤包括如下步骤：反复进行利用手部11将工件W去除的反向过程动作，直到处于所决定的设置状态S的工件W的全部或一部分消失为止。由此，能够通过反复进行利用手部11将工件W去除的反向过程动作直到处于所决定的设置状态S的工件W的全部或一部分消失为止，来学习工件W的反向过程动作。其结果是，能够充分地考虑设置取出后的工件W的动作来决定工件W的设置顺序。

另外，在本实施方式中，如上所述，对将工件W去除的反向过程动作进行学习的步骤包括如下步骤：一边变更将工件W去除的顺序，一边反复进行利用手部11将工件W去除的反向过程动作，直到处于所决定的设置状态S的工件W的全部或一部分消失为止。由此，能够学习多个设置顺序。其结果是，能够增加设置顺序的选项，并且能够掌握效率高的设置顺序。

另外，在本实施方式中，如上所述，学习工件W的设置顺序的步骤包括如下步骤：基于将工件W去除的反向过程动作的学习结果来学习多个设置顺序，并且学习多个设置顺序的优先级。由此，能够基于多个设置顺序的优先级，容易地选择效率高的设置顺序。其结果是，能够容易地实现工件W取出后的设置作业的效率化。

另外，在本实施方式中，如上所述，对将工件W去除的反向过程动作进行学习的步骤包括如下步骤：在设定了将工件W去除的顺序的一部分的状态下，反复进行利用手部11将工件W去除的反向过程动作，直到处于所决定的设置状态S的工件W的全部或一部分消失为止。由此，能够与设定了将工件W去除的顺序的一部分相应地，限定将工件W去除的顺序。其结果是，能够与限定了将工件W去除的顺序相应地缩短学习所需的时间。

另外，在本实施方式中，如上所述，机器学习方法包括如下步骤：基于将工件W去除的反向过程动作的学习结果，对由手部11保持的工件W的保持位置进行学习。由此，能够考虑设置工件W的动作来决定工件W的保持位置。其结果是，能够发生进一步抑制利用手部11取出的工件W的重新保持的情况。由此，能够进一步实现工件W取出后的设置作业的效率化。

另外，在本实施方式中，如上所述，对工件W的保持位置进行学习的步骤包括如下步骤：考虑包含工件W的保持禁止部位和工件W的附近的障碍物的制约条件，对工件W的保持位置进行学习。由此，能够将能够避开工件的保持禁止部位和工件的附近的障碍物等的位置作为工件的保持位置来学习。其结果是，能够学习适当的工件W的保持位置。

另外，在本实施方式中，如上所述，机器学习方法包括如下步骤：基于将工件W去除的反向过程动作的成功概率，向用户通知重新查看手部11和设置工件W的夹具托盘P1。由此，用户能够重新查看手部11和设置工件W的夹具托盘等。其结果是，能够抑制继续使用不适当的手部11和设置工件W的夹具托盘等的情况。

另外，在本实施方式中，如上所述，对将工件W去除的反向过程动作进行学习的步骤包括如下步骤：对利用手部11将多种工件W去除的反向过程动作进行学习。由此，即使在处理多种工件W的情况下，也能够实现工件W取出后的设置作业的效率化。

另外，在本实施方式中，如上所述，机器学习装置20构成为，选择能够从容器C中取出工件W且能够设置工件W的工件W的保持位置。由此，能够可靠地抑制发生利用手部11取出的工件W的重新保持的情况。由此，能够可靠地实现工件W取出后的设置作业的效率化。

另外，在本实施方式中，如上所述，机器学习装置20构成为，基于工件W的取出成功概率，提取能够从容器C中取出工件W的工件W的保持位置，并且基于工件W的设置成功概率，提取能够设置工件W的工件W的保持位置。由此，能够容易地提取出能够从容器C中取出工件W且能够设置工件W的工件W的保持位置。

(变形例)

另外，应当认为本次公开的实施方式在所有方面均是例示，而不是限制性的。本发明的范围并不是由上述的实施方式的说明示出，而是由要求保护的范围示出，而且包括与要求保护的范围等同的含义和范围内的所有改变(变形例)。

例如，在上述实施方式中，示出了将工件设置于夹具托盘以成为所决定的设置状态的例子，但本发明并不限于此。在本发明中，也可以将工件设置于组装品以成为所决定的设置状态(组装状态)。在该情况下，机器学习装置对将处于所决定的设置状态(组装状态)的工件从组装品中去除的反向过程动作进行学习。

另外，在上述实施方式中，示出了机器人是垂直多关节机器人的例子，但本发明并不限于此。在本发明中，机器人只要是能够从容器中取出工件并设置所取出的工件的机器人，则可以是任何机器人。例如，机器人也可以是垂直多关节机器人以外的水平多关节机器人等机器人。

另外，在上述实施方式中，示出了摄像装置作为三维数据取得装置而设置的例子，但本发明并不限于此。在本发明中，也可以将摄像装置以外的三维激光扫描装置等作为三维数据取得装置而设置。

另外，在上述实施方式中，示出了摄像装置设置于机器人的臂的前端的结构的例子，但本发明并不限于此。在本发明中，摄像装置也可以设置于机器人以外的部位。例如，也可以将支承摄像装置的支承构件设置于机器人的作业部位的附近。在该情况下，优选摄像装置以能够从上方对机器人和容器进行摄像的方式支承于支承构件。

另外，在上述实施方式中，示出了手部构成为具有多个爪部并把持工件的例子，但本发明并不限于此。在本发明中，手部只要能够保持工件，则可以以任意方式构成。例如，手部可以构成为利用来自负压产生装置的负压来吸附工件，也可以构成为利用电磁铁的磁力来吸附工件。

另外，在上述实施方式中，示出了机器学习装置构成为反复进行利用手部将工件去除的反向过程动作直到处于所决定的设置状态的工件全部消失为止的例子，但本发明并不限于此。在本发明中，机器学习装置也可以构成为，反复进行利用手部将工件去除的反向过程动作，直到处于所决定的设置状态的工件的一部分消失为止。

另外，在上述实施方式中，示出了机器学习装置构成为对于反向过程动作的成功概率为阈值以下的工件不进行学习的例子，但本发明并不限于此。在本发明中，机器学习装置也可以构成为与反向过程动作的成功概率无关地针对所有工件进行学习。

另外，在上述实施方式中，示出了机器学习装置构成为能够设定将工件去除的顺序的一部分的例子，但本发明并不限于此。在本发明中，机器学习装置也可以不构成为能够设定将工件去除的顺序的一部分。

另外，在上述实施方式中，示出了机器学习装置考虑包含工件的保持禁止部位和工件的附近的障碍物这两者的制约条件，对工件的保持位置进行学习的例子，但本发明并不限于此。在本发明中，机器学习装置也可以构成为，考虑仅包含工件的保持禁止部位和工件的附近的障碍物中的任一方的制约条件，对工件的保持位置进行学习。

另外，在上述实施方式中，示出了机器学习装置基于将工件去除的反向过程动作的成功概率，将手部和夹具托盘这两者的重新查看通知给用户的例子，但本发明并不限于此。在本发明中，机器学习装置也可以构成为，基于将工件去除的反向过程动作的成功概率，仅将手部和夹具托盘中的任一方的重新查看通知给用户。

标号说明

10 机器人

11 手部

20 机器学习装置

30 控制装置

100 机器人系统

C 容器

P1 夹具托盘

S 所决定的设置状态

W 工件。

Claims (13)

1.一种机器学习方法，是对具备手部的机器人的动作进行学习的机器学习方法，所述手部从将多个工件以散装的状态收容的容器中取出所述工件，并将所述工件设置为成为所决定的设置状态，其中，所述机器学习方法包括如下步骤：

对利用所述手部将设置完成后的处于所述所决定的设置状态的所述工件去除的反向过程动作进行学习的步骤；及

基于将所述工件去除的反向过程动作的学习结果来学习所述工件的设置顺序的步骤。

2.根据权利要求1所述的机器学习方法，其中，

所述对将工件去除的反向过程动作进行学习的步骤包括如下步骤：反复进行利用所述手部将所述工件去除的反向过程动作，直到处于所述所决定的设置状态的所述工件的全部或一部分消失为止。

3.根据权利要求2所述的机器学习方法，其中，

所述对将工件去除的反向过程动作进行学习的步骤包括如下步骤：一边变更将所述工件去除的顺序，一边反复进行利用所述手部将所述工件去除的反向过程动作，直到处于所述所决定的设置状态的所述工件的全部或一部分消失为止。

4.根据权利要求3所述的机器学习方法，其中，

所述学习工件的设置顺序的步骤包括如下步骤：基于将所述工件去除的反向过程动作的学习结果来学习多个设置顺序，并且学习所述多个设置顺序的优先级。

5.根据权利要求2至4中任一项所述的机器学习方法，其中，

所述对将工件去除的反向过程动作进行学习的步骤包括如下步骤：在设定了将所述工件去除的顺序的一部分的状态下，反复进行利用所述手部将所述工件去除的反向过程动作，直到处于所述所决定的设置状态的所述工件的全部或一部分消失为止。

6.根据权利要求1至5中任一项所述的机器学习方法，其中，

还包括如下步骤：基于将所述工件去除的反向过程动作的学习结果，对由所述手部保持的所述工件的保持位置进行学习。

7.根据权利要求6所述的机器学习方法，其中，

所述对工件的保持位置进行学习的步骤包括如下步骤：考虑包含所述工件的保持禁止部位和所述工件的附近的障碍物中的至少任一个的制约条件，对所述工件的保持位置进行学习。

8.根据权利要求1至7中任一项所述的机器学习方法，其中，

还包括如下步骤：基于将所述工件去除的反向过程动作的成功概率，向用户通知重新查看所述手部和设置所述工件的夹具托盘中的至少一个。

9.根据权利要求1至8中任一项所述的机器学习方法，其中，

所述对将工件去除的反向过程动作进行学习的步骤包括如下步骤：对利用所述手部将多种所述工件去除的反向过程动作进行学习。

10.一种机器人系统，具备：

机器人，具备手部，该手部从将多个工件以散装的状态收容的容器中取出所述工件，并将所述工件设置为成为所决定的设置状态；

机器学习装置，学习所述机器人的动作；及

控制装置，基于所述机器学习装置的学习结果来控制所述机器人的动作，

所述机器学习装置构成为，对利用所述手部将设置完成后的处于所述所决定的设置状态的所述工件去除的反向过程动作进行学习，并且基于将所述工件去除的反向过程动作的学习结果来学习所述工件的设置顺序。

11.根据权利要求10所述的机器人系统，其中，

所述机器学习装置构成为，基于将所述工件去除的反向过程动作的学习结果，对由所述手部保持的所述工件的保持位置进行学习。

12.根据权利要求11所述的机器人系统，其中，

所述机器学习装置构成为，选择能够从所述容器中取出所述工件且能够设置所述工件的所述工件的保持位置。

13.根据权利要求12所述的机器人系统，其中，

所述机器学习装置构成为，基于所述工件的取出成功概率，提取能够从所述容器中取出所述工件的所述工件的保持位置，并且基于所述工件的设置成功概率，提取能够设置所述工件的所述工件的保持位置。

Images