CN110046538A - 抓握装置、抓握系统、确定方法、学习装置、模型和方法 - Google Patents

Abstract

本公开内容涉及抓握装置、学习装置、学习模型、抓握系统、确定方法和学习方法。抓握装置(1)包括：图像数据获取单元(16)；机器人手臂(11)；控制单元(12)；抓握位置确定单元(18)，其被配置成使用由图像数据获取单元(16)获取的处于折叠且堆叠状态的被拍摄柔性物体的图像数据来确定该图像数据中的柔性物体的某部分是否适合被抓握。控制单元(12)控制机器人手臂(11)，以使位于堆叠的柔性物体顶部的柔性物体的顶面的端部变形。抓握位置确定单元(18)使用其顶面的端部已经变形的被拍摄柔性物体的图像数据来确定某部分是否适合被抓握。

Description

抓握装置、抓握系统、确定方法、学习装置、模型和方法

技术领域

本公开内容涉及抓握装置、学习装置、学习模型、抓握系统、确定方法和学习方法。

背景技术

已知一种使用机器学习来抓握物体的技术。例如，在Marcus Gualtieri、Andreasten Pas、Kate Saenko和Robert Platt，“High precision grasp pose detection indense clutter(密集杂波中的高精度抓握姿势检测)”，arXiv preprint arXiv：1603.01564,2016中，抓握装置生成抓握姿势的候选者，使得夹具和物体的点组彼此接触并且足够的物体点组处于夹具中。然后，该抓握装置使用CNN(卷积神经网络)确定所生成的抓握姿势候选是否适合抓握。

发明内容

当使用图像数据的机器学习用于确定处于折叠且堆叠状态的柔性物体的抓握位置时，可能难以确定合适的抓握位置。发明人已经发现，由于在处于上述状态下的柔性物体的侧表面上出现规则的堆叠图案，并且适于被抓握的部分的图像与不适合被抓握的部分的图像之间的差异是不够的，故难以确定合适的抓握位置。

第一示例性方面是一种抓握装置，包括：图像数据获取单元，其被配置成获取被拍摄的物体的图像数据；抓握单元，其被配置成抓握物体；控制单元，其被配置成控制抓握单元的运动；以及抓握位置确定单元，其被配置成使用由图像数据获取单元获取的处于折叠且堆叠状态的被拍摄柔性物体的图像数据来确定该图像数据中的柔性物体的某部分是否适合被抓握，其中，控制单元控制抓握单元，以使位于堆叠的柔性物体顶部的柔性物体的顶面的端部变形，并且抓握位置确定单元使用其顶面的端部已经变形的被拍摄柔性物体的图像数据来确定某部分是否适合被抓握。

在该抓握装置中，柔性物体的顶面的端部可以通过抓握单元变形。由于被组合成一个端部的端部的变形形式与未被组合成一个端部的端部的变形形式不同，故在适合被抓握的部分的图像与不适合被抓握的部分的图像之间产生大的差异。因而，利用该抓握装置，可以确定合适的抓握位置。

在上述示例性方面中，抓握装置还包括接触位置确定单元，其被配置成使用在顶面的端部变形之前的被拍摄柔性物体的图像数据来确定为了使顶面的端部变形该柔性物体与抓握单元接触的位置，该图像数据由图像数据获取单元获取，其中，为了使顶面的端部变形，控制单元可以执行控制，使得抓握单元在由接触位置确定单元确定的接触位置处使柔性物体位移。

利用这种结构，可以自主地执行用于使柔性物体的顶面的端部变形的控制。

在上述示例性方面中，控制单元可以控制抓握单元，以通过使抓握单元按压柔性物体来使顶面的端部变形。

利用这种结构，可以容易地使顶面的端部变形。

另外，另一示例性方面是一种学习装置，包括：训练数据获取单元，其被配置成获取包括被拍摄的物体的图像数据的训练数据；以及学习计算单元，其被配置成使用由训练数据获取单元获取的训练数据来执行机器学习的计算，其中，图像数据是处于折叠且堆叠状态的柔性物体的图像数据，并且包括其顶面的端部已经从规则的堆叠图案形状变形的柔性物体的第一图像数据和第二图像数据，第一图像数据是顶面的通过折叠柔性物体而被组合成一个端部的端部的图像数据，第二图像数据是顶面的通过折叠柔性物体未被组合成一个端部的端部的图像数据，并且学习计算单元使用训练数据进行计算以学习柔性物体的适合被抓握的部分。

在该学习装置中，使用已经从规则的堆叠图案形状变形的柔性物体的图像数据来执行学习。由于被组合成一个端部的端部的变形形式与未被组合成一个端部的端部的变形形式不同，故可以使用在其之间具有大的差异以供用于学习的第一和第二图像数据来执行学习。因而，根据该学习装置，可以学习合适的抓握位置。

另外，另一示例性方面是一种学习模型，其用于使计算机起作用以基于被拍摄的物体的图像数据将物体的某部分的抓握适合性输出为量化值，其中，使用包括被拍摄的物体的图像数据的训练数据来学习构成学习模型的神经网络的加权系数，训练数据中包括的图像数据是处于折叠且堆叠状态的柔性物体的图像数据，并且包括其顶面的端部已经从规则的堆叠图案形状变形的柔性物体的第一图像数据和第二图像数据，第一图像数据是顶面的通过折叠柔性物体而被组合成一个端部的端部的图像数据，第二图像数据是顶面的通过折叠柔性物体未被组合成一个端部的端部的图像数据，并且学习模型使计算机起作用，以针对被输入到神经网络的输入层的处于折叠且堆叠状态的柔性物体的图像数据根据加权系数执行计算，并且从神经网络的输出层输出图像数据中的柔性物体的某部分是否适合被抓握。

在该模型中，使用已经从规则的堆叠图案形状变形的柔性物体的图像数据来执行学习。由于被组合成一个端部的端部的变形形式与未被组合成一个端部的端部的变形形式不同，故在用于学习的第一图像数据与第二图像数据之间存在大的差异。因而，根据该学习模型，可以确定合适的抓握位置。

另外，另一方面是一种抓握系统，包括：图像拾取设备，其被配置成拍摄周围物体；图像数据获取单元，其被配置成获取由图像拾取设备拍摄的图像数据；抓握单元，其被配置成抓握物体；控制单元，其被配置成控制抓握单元的运动；以及抓握位置确定单元，其被配置成使用由图像数据获取单元获取的处于折叠且堆叠状态的被拍摄柔性物体的图像数据来确定该图像数据中的柔性物体的某部分是否适合被抓握，其中，控制单元控制抓握单元，以使柔性物体的顶面的端部变形，并且抓握位置确定单元使用其顶面的端部已经变形的被拍摄柔性物体的图像数据来确定某部分是否适合被抓握。

在该抓握系统中，柔性物体的顶面的端部可以通过抓握单元变形。由于而被组合成一个端部的端部的变形形式与未被组合成一个端部的端部的变形形式不同，故在适合被抓握的部分的图像与不适合被抓握的部分的图像之间产生大的差异。因而，根据该抓握系统，可以确定合适的抓握位置。

另外，另一示例性方面是一种确定方法，其用于控制抓握单元以使处于折叠且堆叠状态的多个柔性物体的顶面的端部变形，以及使用其顶面的端部已经变形的被拍摄柔性物体的图像数据来确定图像数据中的柔性物体的某部分是否适合而被抓握。

在该确定方法中，柔性物体的顶面的端部可以通过抓握单元变形。由于被组合成一个端部的端部的变形形式与未被组合成一个端部的端部的变形形式不同，故在适合被抓握的部分的图像与不适合被抓握的部分的图像之间产生大的差异。因而，根据该确定方法，可以确定合适的抓握位置。

另外，另一示例性方面是一种学习方法，包括：获取包括被拍摄的物体的图像数据的训练数据；以及使用所获取的训练数据执行机器学习的计算以确定柔性物体的适合被抓握的部分，其中，图像数据是处于折叠且堆叠状态的柔性物体的图像数据，并且包括其顶面的端部已经从规则的堆叠图案形状变形的柔性物体的第一图像数据和第二图像数据，第一图像数据是顶面的通过折叠柔性物体而被组合成一个端部的端部的图像数据，并且第二图像数据是顶面的通过折叠柔性物体未被组合成一个端部的端部的图像数据。

在该学习方法中，使用从规则的堆叠图案形状变形的柔性物体的图像数据来执行学习。由于被组合成一个端部的端部的变形形式与未被组合成一个端部的端部的变形形式不同，故可以使用在其之间具有足够差异以用于学习的第一和第二图像数据来执行学习。因而，根据该学习方法，可以学习合适的抓握位置。

根据本公开内容，可以提供能够确定处于折叠且堆叠状态的柔性物体的合适抓握位置的抓握装置、学习装置、学习模型、抓握系统、确定方法和学习方法。

根据下文中给出的详细描述和附图，将更全面地理解本公开内容的上述和其他目的、特征和优点，并且附图仅以说明的方式给出，因此不应被视为限制本公开内容。

附图说明

图1是示出折叠的柔性物体的外观的示例的示意图；

图2A示出了处于折叠且堆叠状态的柔性物体；

图2B示出了处于折叠且堆叠状态的柔性物体；

图2C示出了处于折叠且堆叠状态的柔性物体；

图3是示出根据实施方式的抓握装置的示意性配置的框图；

图4是示出机器人手臂的示意性配置的框图；

图5是示出由根据实施方式的抓握装置执行的学习处理的流程的流程图；

图6是示出在根据本实施方式的抓握装置抓握要被抓握的物体时执行的处理的流程的流程图；

图7是示出图6中所示的S21的细节(即步骤S21，接触位置的确定)的流程图；

图8示出了柔性物体被端部执行器按压的状态；以及

图9是示出包括图像拾取设备、服务器和抓握装置的抓握系统的示意图。

具体实施方式

根据本实施方式的抓握装置1抓握其形状易于变形的柔性物体，例如布和纸制品。抓握装置1特别地抓握位于处于折叠且堆叠状态的多个柔性物体顶部的柔性物体。注意，取决于由抓握装置1抓握的部分，柔性物体的外观状态从折叠状态变为展开状态。也就是说，当要抓握的部分不适合抓握时，抓握装置1不能在保持柔性物体的折叠状态的同时提起柔性物体。

图1是示出折叠的柔性物体90的外观的示例的示意图。注意，图1示出了被折叠成四折的柔性物体90的外观作为示例。柔性物体90的四个侧端具有如图1所示的不同特征。端部91是通过折叠柔性物体而被组合成一个端部的端部，并且其他端部是通过折叠柔性物体未被组合成一个端部的端部。也就是说，端部91是在柔性物体的外观中出现一个折叠的端部，而相比之下，其他端部是在柔性物体的外观中出现多个折叠或者没有出现折叠的端部。换句话说，端部91是在柔性物体的外观中出现一个边缘的端部，而相比之下，其他端部是在柔性物体的外观中出现两个或更多个边缘(当柔性物体如图1所示被折叠成四折时，具体地为两个或者四个边缘)的端部。也就是说，端部91是封闭端部，并且相比之下，除了端部91以外的端部是开口端部。

当抓握位置靠近端部91时，在保持柔性物体90的折叠状态的同时提起柔性物体90相对容易。然而，当抓握位置靠近除了端部91以外的端部时，在保持柔性物体90的折叠状态的同时提起柔性物体90相对困难。例如，在从柔性物体90的横向侧插入端部执行器并且折叠的柔性物体的上侧和下侧被夹持并抓握的情况下，当抓握位置靠近端部91时，容易抓握通过折叠柔性物体生成的整组多个片。然而，当抓握位置靠近除了端部91以外的端部时，只能抓握该组片中的一部分。当仅夹持并抓握该组片中的一部分时，不能保持折叠状态。如上所述，为了在保持柔性物体的折叠状态的同时提起柔性物体，需要选择合适的抓握位置。在该实施方式中，通过使用图像的机器学习来识别图像中所示的柔性物体的某部分是否处于适于被抓握的位置，即是否靠近通过折叠柔性物体而被组合成一个端部的端部。然而，当使用这种方法执行识别时，存在以下问题。

图2A至图2C示出了处于折叠且堆叠状态的柔性物体。具体地，图2A至图2C示出了多个折叠的布巾92被堆叠的状态。注意，在图2A中，标记92a示出通过折叠布巾92而被组合成一个端部的端部，并且在图2B和图2C中，标记92b和92c示出开口端(即，未被组合成一个端部的端部)。类似的规则的堆叠图案出现在图2A至图2C中的每一个中。因而，难以区分图2A中所示的端部和图2B或图2C中所示的端部。据此，难以识别合适的抓握位置。因此，抓握装置不能容易地在保持柔性物体的折叠状态的同时提起位于堆叠的柔性物体顶部的柔性物体。由于上述原因，在该实施方式中，公开了用于在保持柔性物体的折叠状态的情况下提起柔性物体的以下技术。注意，在以下的实施方式中，柔性物体被折叠以便使端部组合成一个端部。例如，可以通过一次或更多次地重复对折——例如将其折叠成两折、将其折叠成四折或者将其折叠成八折来折叠。在这种情况下，在第(n+1)次折叠时，可以折叠柔性物体，使得生成与在第n次折叠时生成的折叠垂直或平行的折叠。注意，上述折叠柔性物体的方法是示例，并不限于此。

在下文中将参照附图描述根据本公开内容的实施方式。

图3是示出根据本实施方式的抓握装置1的示意性配置的框图。通过图3所示的配置，抓握装置1执行：[1]用于基于柔性物体的图像数据生成学习模型的学习处理；[2]用于使用学习模型确定适合被抓握的部分的确定处理。注意，当抓握装置1被认为是用于执行学习处理的装置时，抓握装置1也可以被称为学习装置。

抓握装置1包括：图像拾取设备10、机器人手臂11、控制单元12、训练数据获取单元13、学习计算单元14、模型存储单元15、图像数据获取单元16、接触位置确定单元17以及抓握位置确定单元18。

图像拾取设备10是用于拍摄周围物体的装置，并且在该实施方式中，更具体地，它是用于生成三维图像信息的装置。作为图像拾取设备10的具体配置，可以采用任何配置。例如，图像拾取设备10可以是立体摄像机。另外，图像拾取设备10可以包括飞行时间距离传感器例如激光测距仪，或者可以包括使用投影点图案以测量距离的光编码系统等的距离传感器。如上所述，图像拾取设备10的具体配置可以是任何配置，并且不限于根据上述技术中任何一种的配置。

机器人手臂11是用于抓握物体的抓握部分的具体示例。如图4所示，机器人手臂11包括例如：多个连杆111、用于可旋转地耦接每个连杆111的关节部分(腕关节、肘关节、肩关节等)112以及用于抓握目标物体的端部执行器113。

在每个关节部分112中，提供诸如用于检测关于每个关节部分112的旋转信息的编码器的旋转传感器114、诸如用于驱动每个关节部分112的伺服马达的致动器115以及用于检测每个关节部分112的操作力的力传感器116。力传感器116例如是用于检测每个关节部分112的扭矩的扭矩传感器等。在每个关节部分112中设置有减速机构。端部执行器113例如由多个手指部分等组成，并且可以通过用手指部分握住夹持目标物体来抓握它。用于驱动端部执行器113的致动器117和用于检测端部执行器113的操作力的力传感器118设置在端部执行器113中。

控制单元12控制机器人手臂11的操作。控制单元12基于由接触位置确定单元17或抓握位置确定单元18执行的处理的结果来计算机器人手臂11的轨迹。控制单元12根据计算的轨迹移动机器人手臂11。具体地，例如，控制单元12通过基于来自旋转传感器114以及力传感器116和118的输出控制致动器115和117来反馈控制机器人手臂11。

训练数据获取单元13获取包括被拍摄的物体的图像数据的训练数据。训练数据获取单元13可以读取以获取预先存储在存储设备例如抓握装置1的存储器中的训练数据，或者可以获取从其他装置发送的训练数据。学习计算单元14使用由训练数据获取单元13获取的训练数据来执行机器学习的计算。包括在训练数据中的图像数据例如是二维图像数据，但是可以替代地是三维图像数据。

现在将描述在该实施方式中使用的训练数据。在该实施方式中，包括在训练数据中的图像数据是处于折叠且堆叠状态的柔性物体的图像数据，尤其是其顶面的端部已经从规则的堆叠图案形状变形的柔性物体的图像数据。更具体地，在该实施方式中，使用在从侧面方向按压位于堆叠的柔性物体顶部的柔性物体的顶面的端部的情况下拍摄的图像数据。另外，作为这样的图像数据，用于训练数据的图像数据包括以下两种类型的图像数据。注意，两种类型的图像数据中的一种被称为第一图像数据并且另一种被称为第二图像数据。

第一图像数据是被拍摄的通过折叠柔性物体而被组合成一个端部的变形端部的图像数据。也就是说，第一图像数据是下述拍摄图像数据，在该拍摄图像数据中通过折叠柔性物体而被组合成一个端部的端部由于来自侧面方向的按压力而变形。在训练数据中，指示它是适合被抓握的部分的图像数据的标签与第一图像数据相关联。第二图像数据是被拍摄的通过折叠柔性物体未被组合成一个端部的变形端部的图像数据。也就是说，第二图像数据是下述拍摄图像数据，在该拍摄图像数据中除了通过折叠柔性物体而被组合成一个端部的端部以外的端部由于来自侧面方向的按压力而变形。在训练数据中，指示它是不适合被抓握的部分的图像数据的标签与第二图像数据相关联。注意，第一和第二数据可以是从图像数据中剪切的部分图像数据。

学习计算单元14通过使用上述训练数据进行计算以学习柔性物体中的适合被抓握的部分。在该实施方式中，作为机器学习模型，使用CNN(卷积神经网络)。更具体地，能够输出图像中的适合或不适合被抓握的部分的坐标位置以及该部分的抓握适合性的CNNYOLO v2被用作机器学习模型。注意，可以使用能够基于被拍摄的物体的图像数据将物体的某部分的抓握适合性输出为量化值的其他神经网络，或者可以使用其他机器学习模型。在该实施方式中，学习计算单元14特别地使用训练数据计算参数值例如神经网络的加权系数。学习计算单元14在使用训练数据完成计算之后将学习模型存储在模型存储单元15中。

据此，将用于使计算机起作用以基于被拍摄的物体的图像数据将物体的某部分的抓握适合性输出为量化值的以下学习模型被存储在模型存储单元15中。也就是说，使用包括被拍摄的物体的图像数据的训练数据来学习构成该学习模型的神经网络的加权系数。注意，该图像数据包括上述第一图像数据和第二图像数据。然后，该学习模型使计算机起作用，以针对被输入到神经网络的输入层的处于折叠且堆叠状态的柔性物体的图像数据根据加权系数执行计算，并从神经网络的输出层输出图像数据中的柔性物体的某部分是否适合被抓握。注意，可以将其中未拍摄处于折叠且堆叠状态的柔性物体的图像数据输入到输入层。如上所述，存储在模型存储单元15中的学习模型用作程序模块。

图像数据获取单元16获取被拍摄的物体的图像数据。图像数据获取单元16获取例如在折叠和堆叠状态下拍摄的柔性物体的图像数据。在该实施方式中，图像数据获取单元16获取由图像拾取设备10拍摄的图像数据。然而，图像数据获取单元16可以读取以获取预先存储在存储设备诸如抓握装置1的存储器中的图像数据，或者可以获取从其他装置发送的图像数据。注意，在该实施方式中，尽管获取三维图像数据以控制机器人手臂11，但是在仅确定合适的抓握位置时这并不总是必需的。也就是说，即使利用二维图像数据，也可以通过学习模型确定合适的抓握位置。

接触位置确定单元17确定用以使要使用机器人手臂11——更具体地，端部执行器113——抓握的柔性物体变形的接触位置。更具体地，接触位置确定单元17确定用以使堆叠的柔性物体的顶面的端部变形的接触位置。也就是说，接触位置确定单元17确定在机器人手臂11使要抓握的柔性物体位移时要抓握的柔性物体中的与机器人手臂11的接触位置。在该实施方式中，要抓握的物体在其被机器人手臂11(端部执行器113)按压时位移。因而，在该实施方式中，接触位置确定单元17确定用于机器人手臂11按压要被抓握的柔性物体的接触位置。接触位置确定单元17使用由图像数据获取单元16获取的在柔性物体的顶面的端部被机器人手臂11变形之前的被拍摄柔性物体的图像数据来确定接触位置。注意，稍后将参照流程图描述确定接触位置的细节。

抓握位置确定单元18使用由图像数据获取单元16获取的图像数据来确定图像数据中的柔性物体的某部分是否适合被抓握。也就是说，抓握位置确定单元18使用处于折叠且堆叠状态的被拍摄柔性物体的图像数据来确定该图像数据中的柔性物体的某部分是否适合被抓握。注意，抓握位置确定单元18更具体地使用其顶面的端部已经变形的柔性物体的拍摄图像数据来执行确定。另外，在那时，抓握位置确定单元18使用存储在模型存储单元15中的学习模型。也就是说，根据该实施方式的抓握位置确定单元18将预先设置有包括加权系数的参数的上述CNN应用于由图像数据获取单元16获取的图像数据。另外，抓握位置确定单元18确定适合和不适合被抓握的区域，并且输出适合被抓握的区域。

如上所述，控制单元12控制机器人手臂11。控制单元12特别地在确定抓握位置时控制机器人手臂11，以使位于堆叠的柔性物体顶部的柔性物体的顶面的端部变形。具体地，控制单元12控制机器人手臂11，使得通过机器人手臂11以预定力在由接触位置确定单元17确定的接触位置处按压来使柔性物体的端部变形。在该实施方式中，控制单元12控制机器人手臂11的端部执行器113，以从侧面方向按压位于堆叠的柔性物体顶部的柔性物体的顶面的端部，该端部是由接触位置确定单元17确定的接触位置。由于用于变形的运动仅仅是按压运动，故可以容易地执行变形。

注意，在该实施方式中，如上所述，柔性物体的端部从横向方向被按压。然而，当确定抓握位置时，机器人手臂11可以使柔性物体位移的其他位置。例如，控制单元12可以控制机器人手臂11，以从上方按压与位于堆叠的柔性物体顶部的柔性物体的顶面的端部相距预定距离的位置。另外，在该实施方式中，控制单元12控制机器人手臂11，以在接触位置处按压柔性物体。然而，控制单元12可以通过除了由机器人手臂11执行用于使柔性物体的端部变形的上述运动之外的其他运动来使柔性物体位移。例如，柔性物体的端部的变形可以通过由于其他运动例如在由接触位置确定单元17确定的接触位置处拉动柔性物体而引起的位移来执行。注意，用于创建学习模型的训练数据(即，在学习计算单元14中使用的训练数据)中包括的图像数据是通过使用与在确定抓握位置时由机器人手臂11执行的变形方法相同的变形方法变形的柔性物体的图像数据。

另外，控制单元12控制机器人手臂11，以在由抓握位置确定单元18确定为用于抓握的合适区域的抓握位置处抓握要被抓握的柔性物体。在该实施方式中，控制单元12控制机器人手臂11，以从横向方向夹持柔性物体的被确定为适合被抓握的区域的端部并抓握柔性物体。然而，控制单元12可以从任何方向夹持适合被抓握的端部的附近并抓握柔性物体。

例如，包括存储在存储设备——例如，抓握装置1中包括的存储器——中的各种指令的程序由包括在抓握装置1中的处理器执行，使得实现控制单元12、训练数据获取单元13、学习计算单元14、图像数据获取单元16、接触位置确定单元17和抓握位置确定单元18。另外，模型存储单元15由存储设备例如包括在抓握装置1中的存储器组成。注意，处理器可以是CPU(中央处理单元)、MPU(微处理单元)、GPU(图形处理单元)或其他类型的处理器。存储器可以是易失性存储器或非易失性存储器。

接下来，将参照流程图描述抓握装置1的运动。

图5是示出由抓握装置1执行的学习处理的流程的流程图。

在学习处理中，在步骤10(S10)中，训练数据获取单元13首先获取训练数据。在步骤10中获取的训练数据包括已与标签相关联的上述第一和第二图像数据。

接下来，在步骤11(S11)中，学习计算单元14使用在步骤10中获取的训练数据来执行用于学习确定适合被抓握的部分的CNN的预定计算。

接下来，在步骤12(S12)中，模型存储单元15存储学习模型，该学习模型的参数值通过在步骤11中执行的计算的完成来确定。

图6是示出在抓握装置1抓握要被抓握的物体时执行的处理的流程的流程图。

当执行抓握时，在步骤20(S20)中，图像数据获取单元16首先获取由图像拾取设备10拍摄的物体的图像数据。

接下来，在步骤21(S21)中，接触位置确定单元17确定用于使要被抓握的柔性物体变形的接触位置。在该实施方式中，接触位置确定单元17具体地通过图7的流程图中所示的处理来确定接触位置。

下面将参照图7的流程图描述由接触位置确定单元17执行的处理的细节。

首先，在步骤210(S210)中，接触位置确定单元17检测其上放置有要被抓握的柔性物体的平面。也就是说，接触位置确定单元17对由图像数据获取单元16获取的图像数据执行预定图像分析以检测平面。

接下来，在步骤211(S211)中，接触位置确定单元17执行图像分析，从而检测存在于高于在步骤210中检测到的平面的图像侧的块。另外，从该图像剪裁检测到的块。

接下来，在步骤212(S212)中，接触位置确定单元17对在步骤211中剪裁的块的图像执行预定边缘检测。通过该边缘检测检测到的边缘对应于要被抓握的物体(堆叠的柔性物体)的轮廓。

接下来，在步骤213(S213)中，接触位置确定单元17将堆叠的柔性物体的上表面的端部确定为接触位置。为了执行上述操作，接触位置确定单元17具体地将在步骤212中检测到的边缘中的存在于位置中的最高位置(即，最上位置)中的边缘的位置确定为接触位置。

如上所述，当确定接触位置时，处理进入步骤22(参见图6)。

在步骤22(S22)中，为了使要被抓握的物体的端部变形，控制单元12控制机器人手臂11，使得端部执行器113从横向方向按压在步骤21中确定的接触位置(参见图8)。

接下来，在步骤23(S23)中，图像数据获取单元16获取由图像拾取设备10拍摄的物体的图像数据。注意，在步骤23中获取的图像数据中，拍摄已经通过步骤22的处理变形的要被抓握的物体。由端部执行器113挤压的布制品等的变形即使在端部执行器113从其释放之后也得以保持。因而，在步骤23中，可以获取在端部执行器113从柔性物体释放的状态下拍摄的图像数据。

在步骤24(S24)中，抓握位置确定单元18对适合被抓握的位置执行确定。也就是说，抓握位置确定单元18使用所学习的模型确定在步骤23中获取的图像数据中的要被抓握的物体的部分是否适合被抓握。当找到适合被抓握的位置时(步骤25(S25)中的“是”)，处理进行到步骤26。当没有找到适合被抓握的位置时(步骤25中的“否”)，处理返回到步骤20。当处理返回到步骤20时，例如针对从与先前时间的方向不同的方向拍摄的图像数据重复在步骤20之后执行的处理。因此，对于其他侧的端部类似地执行关于适合被抓握的位置的确定。

在步骤26(S26)中，为了抓握要被抓握的物体，控制单元12控制机器人手臂11，使得端部执行器113从横向方向夹持在步骤24中被确定为适合被抓握的位置。

利用具有上述配置的抓握装置1，当确定抓握位置时，可以通过机器人手臂11使柔性物体的顶面的端部变形。被组合成一个端部的端部的变形形式与未被组合成一个端部的变形形式不同。也就是说，抓握位置确定单元18使用示出取决于某部分是否适合被抓握而不同的状态的图像数据来执行确定。因而，抓握位置确定单元18可以确定合适的抓握位置。另外，抓握装置1包括上述接触位置确定单元17。因而，可以自主地确定用于变形的接触位置。也就是说，在抓握装置1中，控制单元12根据由接触位置确定单元17确定的接触位置执行控制，使得抓握装置1自主地使柔性物体变形。

注意，本公开内容不限于上述实施方式，并且在不脱离本公开内容的精神的情况下可以进行各种修改。例如，在上述实施方式中，抓握装置1包括图3中所示的所有部件，而这些部件中的一些可以包括在其他装置中。例如，可以配置如图9所示的系统。

图9是示出包括图像拾取设备10、服务器3和抓握装置4的抓握系统2的示意图。在图9所示的抓握系统2中，图像拾取设备10安装在空间中而不是在抓握装置4中。另外，服务器3包括图3所示的部件中的训练数据获取单元13、学习计算单元14、模型存储单元15和抓握位置确定单元18，并且图3所示的其他部件包括在抓握装置4中。在这种情况下，例如，包括存储在存储设备——例如抓握装置4中包括的存储器中——的各种指令的程序由包括在抓握装置4中的处理器执行，使得实现控制单元12、图像数据获取单元16和接触位置确定单元17。另外，例如，包括存储在存储设备——例如服务器3中包括的存储器中——的各种指令的程序由包括在服务器3中的处理器执行，使得实现训练数据获取单元13、学习计算单元14和抓握位置确定单元18。另外，模型存储单元15由存储设备例如包括在服务器3中的存储器组成。图像数据在图像拾取设备10与抓握装置4之间发送和接收。也就是说，抓握装置4的图像数据获取单元16获取从图像拾取设备10发送并由抓握装置4接收的图像数据。另外，在服务器3与抓握装置4之间，用于由抓握位置确定单元18执行的处理所需的图像数据被发送和接收，并且由抓握位置确定单元18执行的处理的结果也被发送和接收。

注意，图9示出了执行分布式处理的装置的示例，并且其他配置或其他装置可以用于分布式处理。系统不限于图3和图9中所示的配置示例，并且例如系统可以被配置使得服务器执行由学习计算单元14执行的处理，并且抓握装置执行由抓握位置确定单元18执行的处理。相反，系统可以被配置使得抓握装置执行由学习计算单元14执行的处理，并且服务器执行由抓握位置确定单元18执行的处理。

可以使用任何类型的非暂态计算机可读介质来存储上述程序并将其提供给计算机。非暂态计算机可读介质包括任何类型的有形存储介质。非暂态计算机可读介质的示例包括磁存储介质(例如软盘、磁带、硬盘驱动器等)、光磁存储介质(例如，磁光盘)、CD-ROM(光盘只读存储器)、CD-R(可记录光盘)、CD-R/W(可重写光盘)和半导体存储器(如掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM、RAM(随机存取存储器)等)。可以使用任何类型的暂态计算机可读介质将程序提供给计算机。暂态计算机可读介质的示例包括电信号、光信号和电磁波。暂态计算机可读介质可以经由有线通信线路(例如电线和光纤)或无线通信线路将程序提供给计算机。

根据如此描述的公开内容，将明显的是本公开内容的实施方式可以以多种方式变化。不应将这些变化视为脱离本公开内容的精神和范围，并且对于本领域的技术人员而言明显的所有这些修改旨在包括在所附权利要求书的范围内。

Claims (8)

1.一种抓握装置，包括：

图像数据获取单元，其被配置成获取被拍摄的物体的图像数据；

抓握单元，其被配置成抓握物体；

控制单元，其被配置成控制所述抓握单元的运动；以及

抓握位置确定单元，其被配置成使用由所述图像数据获取单元获取的处于折叠且堆叠状态的被拍摄柔性物体的图像数据来确定该图像数据中的所述柔性物体的某部分是否适合被抓握，其中，

所述控制单元控制所述抓握单元，以使位于堆叠的柔性物体顶部的柔性物体的顶面的端部变形，并且

所述抓握位置确定单元使用其顶面的端部已经变形的所述被拍摄柔性物体的图像数据来确定某部分是否适合被抓握。

2.根据权利要求1所述的抓握装置，还包括接触位置确定单元，其被配置成使用在所述顶面的端部变形之前的所述被拍摄柔性物体的图像数据来确定为了使所述顶面的端部变形所述柔性物体与所述抓握单元接触的位置，该图像数据由所述图像数据获取单元获取，其中，

为了使所述顶面的端部变形，所述控制单元执行控制，使得所述抓握单元在由所述接触位置确定单元确定的接触位置处使所述柔性物体位移。

3.根据权利要求1或2所述的抓握装置，其中，

所述控制单元控制所述抓握单元，以通过使所述抓握单元按压所述柔性物体来使所述顶面的端部变形。

4.一种学习装置，包括：

训练数据获取单元，其被配置成获取包括被拍摄的物体的图像数据的训练数据；以及

学习计算单元，其被配置成使用由所述训练数据获取单元获取的所述训练数据来执行机器学习的计算，其中，

所述图像数据是处于折叠且堆叠状态的柔性物体的图像数据，并且包括其顶面的端部已经从规则的堆叠图案形状变形的所述柔性物体的第一图像数据和第二图像数据，

所述第一图像数据是所述顶面的通过折叠所述柔性物体而被组合成一个端部的端部的图像数据，

所述第二图像数据是所述顶面的通过折叠所述柔性物体未被组合成一个端部的端部的图像数据，并且

所述学习计算单元使用所述训练数据进行计算以学习所述柔性物体的适合被抓握的部分。

5.一种计算机可读介质，其存储用于使计算机起作用以基于被拍摄的物体的图像数据来将物体的某部分的抓握适合性输出为量化值的学习模型，其中，

使用包括所述被拍摄的物体的所述图像数据的训练数据来学习构成所述学习模型的神经网络的加权系数，

所述训练数据中包括的所述图像数据是处于折叠且堆叠状态的柔性物体的图像数据，并且包括其顶面的端部已经从规则的堆叠图案形状变形的所述柔性物体的第一图像数据和第二图像数据，

所述第一图像数据是所述顶面的通过折叠所述柔性物体而被组合成一个端部的端部的图像数据，

所述第二图像数据是所述顶面的通过折叠所述柔性物体未被组合成一个端部的端部的图像数据，并且

所述学习模型使计算机起作用，以针对被输入至所述神经网络的输入层的处于折叠且堆叠状态的所述柔性物体的图像数据根据所述加权系数执行计算，并且从所述神经网络的输出层输出所述图像数据中的所述柔性物体的某部分是否适合被抓握。

6.一种抓握系统，包括：

图像拾取设备，其被配置成拍摄周围物体；

图像数据获取单元，其被配置成获取由所述图像拾取设备拍摄的图像数据；

抓握单元，其被配置成抓握物体；

控制单元，其被配置成控制所述抓握单元的运动；以及

抓握位置确定单元，其被配置成使用由所述图像数据获取单元获取的处于折叠且堆叠状态的被拍摄柔性物体的图像数据来确定该图像数据中的所述柔性物体的某部分是否适合被抓握，其中，

所述控制单元控制所述抓握单元，以使所述柔性物体的顶面的端部变形，并且

所述抓握位置确定单元使用其顶面的端部已经变形的所述被拍摄柔性物体的图像数据来确定某部分是否适合被抓握。

7.一种确定方法，其用于控制抓握单元以使处于折叠且堆叠状态的多个柔性物体的顶面的端部变形，以及

使用其顶面的端部已经变形的被拍摄柔性物体的图像数据来确定所述图像数据中的所述柔性物体的某部分是否适合被抓握。

8.一种学习方法，包括：

获取包括被拍摄的物体的图像数据的训练数据；以及

使用所获取的训练数据执行机器学习的计算以确定柔性物体的适合被抓握的部分，其中，

所述图像数据是处于折叠且堆叠状态的柔性物体的图像数据，并且包括其顶面的端部已经从规则的堆叠图案形状变形的所述柔性物体的第一图像数据和第二图像数据，

所述第一图像数据是所述顶面的通过折叠所述柔性物体而被组合成一个端部的端部的图像数据，并且

所述第二图像数据是所述顶面的通过折叠所述柔性物体未被组合成一个端部的端部的图像数据。