CN104608149B - 用机器人来取出散装物品的装置以及方法 - Google Patents

Abstract

本发明涉及用机器人来取出散装物品的装置以及方法。本发明的物品取出装置构成为：通过三维测定机对散装于三维空间的多个物品的表面位置进行测定来取得物品三维点的位置信息，从这些多个三维点中求出连接彼此处于附近的三维点而成的连接集合，根据属于连接集合的三维点的位置信息确定物品的位置以及姿势，求出能够取出物品的机械手位置姿势，对机器人进行控制以使机械手向机械手位置姿势移动从而取出物品。在确定物品的姿势时，通过属于所述连接集合的三维点的主成分分析计算出连接集合的主成分方向，根据该主成分方向确定物品的姿势。

Description

用机器人来取出散装物品的装置以及方法

技术领域

本发明涉及对散装于三维空间的物品的位置以及姿势进行识别、并使用机器人来取出识别出的物品的物品取出装置以及物品取出方法。

背景技术

作为这种装置，目前已知有如下装置：针对通过照相机拍摄散装物品而得的二维图像和通过三维测定机测定而得的三维点集合，使用模式匹配(pattern matching)来识别物品的位置。这样的装置例如记载于日本特开2004－295223号公报(JP2004－295223A)以及日本特开2011－179909号公报(JP2011－179909A)。并且，还已知了如下装置：使用立体拍摄得到的两幅图像计算出旋转体的三维姿势。该装置例如记载于日本特开2011－022084号公报(JP2011－022084A)。

在JP2004－295223A记载的装置中，从对预先处于基准三维相对姿势的物品进行拍摄而得的二维图像制作出二维模型模式(model pattern)，对二维模型模式实施二维几何学变换而制作出多个变换二维模型模式，使用多个变换二维模型模式来对物品的二维图像进行二维模式匹配。

在JP2011－179909A记载的装置中，事先从CAD模型等取得物品的三维模型模式，另一方面通过三维测定机来测定三维空间中的物品的表面而取得三维点集合(距离图像)，在由从三维点集合提取出的边缘包围的部分区域分割三维点集合。然后，首先将部分区域之一设定为物品区域，重复针对该物品区域的三维模型模式的匹配处理和将其他部分区域增加到物品区域的更新处理这两个处理，由此测量出物品的位置以及姿势。

在JP2011－022084A记载的装置中，通过一对照相机从不同方向拍摄旋转体来取得一对图像，对每一对图像通过主成分分析计算出旋转体的主成分轴来设定旋转体的中心轴，并使用一对图像通过三角测量原理来求出中心轴的三维信息，从而计算出旋转体的姿势。

然而，JP2004－295223A以及JP2011－179909A记载的装置需要预先按物品品种制作出二维模型模式或三维模型模式，需要工作量。并且，JP2011－022084A记载的装置由于使用立体拍摄而得的两幅图像来计算出旋转体的姿势，因此需要准备一对照相机，装置结构变大。

发明内容

作为本发明的一方式的物品取出装置具有：机器人，其具有能够保持物品的机械手；三维测定机，其对散装于三维空间的多个物品的表面位置进行测定，取得物品表面的多个三维点的位置信息；连接集合运算部，其从由三维点测定机取得的多个三维点中求出连接彼此处于附近的三维点而成的连接集合；物品确定部，其根据属于连接集合的三维点的位置信息确定物品的位置以及姿势；机械手位置姿势运算部，其用于求出机械手位置姿势，该机械手位置姿势是能够取出由物品确定部确定的物品的机械手的位置以及姿势；以及机器人控制部，其对机器人进行控制以使机械手向由机械手位置姿势运算部求出的机械手位置姿势移动从而取出物品，物品确定部通过属于连接集合的三维点的主成分分析计算出连接集合的主成分方向，并根据该主成分方向确定物品的姿势。

另外，本发明的另一方式是一种物品取出方法，使用具有能够保持物品的机械手的机器人，取出散装于三维空间的物品，所述物品取出方法特征在于，通过三维测定机对散装于三维空间的多个物品的表面位置进行测定来取得物品表面的多个三维点的位置信息，从由三维点测定机取得的多个三维点中，求出连接彼此处于附近的三维点而成的连接集合，根据属于连接集合的三维点的位置信息，确定物品的位置以及姿势，求出能够取出确定了位置以及姿势的物品的机械手的位置以及姿势即机械手位置姿势，对机器人进行控制以使机械手向求出的机械手位置姿势移动从而取出物品，在确定物品的姿势时，通过属于连接集合的三维点的主成分分析计算出连接集合的主成分方向，并根据该主成分方向确定物品的姿势。

附图说明

通过与附图相关的以下实施方式的说明来明确本发明的目的、特征以及优点。这些图中：

图1是表示本发明的一实施方式涉及的物品取出装置的概略结构的图，

图2是表示通过图1的机器人控制装置执行的处理的一例的流程图，

图3是表示通过图1的三维测定机取得的三维点集合的一例的图，

图4是表示从图3的三维点集合求出的连接集合的一例的图，

图5是说明连接集合的概念图，

图6是表示求出连接集合的处理的详细情况的流程图，

图7是表示连接集合的惯性主轴的一例的图，

图8是表示与在集装箱内散装的多个物品对应的连接集合的惯性主轴的一例的图，

图9是表示代表连接集合的代表位置姿势的一例的图，

图10是表示与图9的代表位置姿势对应的机械手位置姿势的一例的图，

图11是表示图10的机械手位置姿势的带有号码的一例的图，

图12是表示本发明的实施方式涉及的物品取出装置的动作的一例的图，

图13是表示继图12中的动作之后的动作的一例的图，

图14是表示继图13中的动作之后的动作的一例的图，

图15是表示继图14中的动作之后的动作的一例的图，

图16是表示继图15中的动作之后的动作的一例的图，

图17是表示继图16中的动作之后的动作的一例的图，

图18是表示图1的机器人控制装置的内部结构的方框图。

具体实施方式

以下，参照图1～图18来对本发明的实施方式涉及的物品取出装置进行说明。图1是表示本发明的一实施方式涉及的物品取出装置10的概略结构的图。物品取出装置10具有：三维测定机11、机器人12、以及与三维测定机11和机器人12连接并控制机器人12的机器人控制装置13。机器人12具有安装于臂部12a的末端部的机械手14。在机器人12的侧方配置有集装箱16。另外，在图1中一并表示XYZ的正交三轴坐标系。Z方向是铅直方向，X方向以及Y方向是水平方向。

在上方开口的集装箱16内散装有多个物品20。本实施方式的物品取出装置10从散装了该多个物品20的状态识别应该取出的物品20的位置以及姿势、从集装箱16中通过机械手14保持并取出识别出的物品20。更进一步，通过机器人12的动作将取出的物品20搬运到设置于集装箱16的侧方的输出装置17，从而排出物品20。多个物品20在图1中表示为彼此相同的圆柱形形状，但是也可以是圆柱形形状以外的形状，还可以是包括多个品种的形状。另外，在以下有时为了将由机械手14保持的物品20与集装箱16内的其他物品进行区分而用符号21(参照图14)来进行表示。

机械手14设置于旋转轴14b的末端部，具有形成为两股的磁铁式的一对把持部14a。一对把持部14a相对于通过旋转轴14b的中心的轴线14c呈现出对称形状、能够使轴线14c在中心沿箭头A方向旋转(参照图12)。磁铁是电磁石式的，通过机器人控制装置13能够自如地接通(工作)以及断开(不工作)。另外，机械手14与物品20的形状和集装箱16的结构对应地适当变更，机械手14的结构不限于图1的结构。

将把持部14a的姿势控制成沿着圆柱形形状的物品20的外周面(轴线14c的方向以及箭头A方向的旋转角度)，并且接近应该取出的物品20，通过接通电磁石来保持物品20。然后，操作机器人12使机械手14上升。由此，保持的物品21被取出到比其他物品20靠上方的位置(参照图14)。此时，机械手14相对于物品21的相对姿势是一定的，在移动到输出装置17的上方之前的期间，使机械手14变更为与输出装置17的形状对应的姿势(例如物品21的中心轴朝向Y轴方向的姿势)。由此，能够相对于输出装置17以一定的姿势将物品21从机械手14移开。

三维测定机11配置于集装箱16的中央部上方，对散装于集装箱16内的多个物品20中的、露出的物品20的表面进行测定，从而取得多个三维点的位置信息(三维信息)。三维测定机11的测定范围需要包括集装箱16，但是若测定范围过大则导致测定分辨率的降低。因此，测定范围与集装箱16的占有范围等同，例如优选与集装箱16的占有范围一致。另外，在图1中，三维测定机11被固定于专用的台架15，但是也可以将三维测定机11安装到机器人12的末端部。三维测定机11与机器人控制装置13通过通信电缆等通信单元而彼此连接，能够彼此进行通信。

作为三维测定机11能够利用各种非接触方式的测定机。例如，列举：扫描激光狭缝光的方式、扫描激光点光的方式、使用投影仪等装置将图形光投影到物品的方式、以及利用光从投光器射出之后到通过物品表面进行反射而射入到受光器为止的飞行时间的方式等。

三维测定机11以距离图像或三维图这样的形式来表现所取得的三维信息。所谓距离图像是以图像形式表现三维信息，通过图像的各像素的亮度和颜色来表现该图像上的位置高度或来自三维测定机11的距离。另一方面，所谓三维图是将三维信息表现为测定出的三维坐标值(x、y、z)的集合。在本实施方式中，将具有距离图像中的各像素或三维图中的三维坐标值的点称为三维点，将由多个三维点构成的集合称为三维点集合。三维点集合是由三维测定机11测定出的三维点整体的集合，能够通过三维测定机11取得。

机械手14能够把持并取出物品20，保持以及释放所取出的物品20，但是作为其可能的机械手形态例如列举：吸引喷嘴、吸附用磁石、吸附垫或卡盘等。通过机器人12的动作来控制机械手14的位置姿势。

图2是表示通过机器人控制装置13执行的处理、特别是物品取出涉及的处理的一例的流程图。以下，一边参照图2的流程以及关联的附图一边对物品取出装置10进行的动作进行说明。

例如在通过操作未图示的操作开关而输入物品20的取出开始指令时开始图2的处理。首先，在步骤S1中，通过三维测定机11来测定散装于三维空间的多个物品20的表面从而取得三维点集合30。图3是表示通过三维测定机11取得的三维点集合30与构成三维点集合30的三维点31的一例的图。在图3中，用黑点来表示三维点31，三维点集合30表示为被包括全部黑点的虚线包围的区域。

接下来，在步骤S2中，从三维点集合30求出1以上的连接集合32。图4是表示从三维点集合30求出的连接集合32的一例的图。在图4中，连接集合32表示为被虚线包围的区域。即，在图4中，示出了四个连接集合32。

这里所谓的连接集合32是三维点集合30的部分集合，在任意的三维点(第1三维点)31的附近存在与该三维点31不同的其他三维点(第2三维点)31，在该情况下，连接集合32是连接第1三维点31与第2三维点31而成的集合。即，所谓连接集合32是对彼此存在于附近的三维点进行连接而成的三维点的集合。图5是说明连接集合32的概念的图。在图5中，当相邻的第1三维点31与第2三维点31之间的距离为预定值以内时，将第1三维点31与第2三维点31彼此连接。

例如如图5所示，通过三维测定机11来测定多个三维点31(用311～317来表示)，当其中的、311与312、312与313、313与314、以及315与316分别存在于预定距离内时，将它们彼此进行连接。该情况下，由于经312与313也连接311与314，因此311～314构成同一个连接集合321。另一方面，由于315和316不与311～314中的任一个连接，因此构成其他的连接集合322。由于317也不与311～316中的任一个连接，因此只由317构成连接集合323。

在通过三维测定机11来测定散装的物品20的表面时，同一物品20上的相邻的三维点31(例如图5的313、314)彼此位于近距离。相反，在物品20的边界部相邻的三维点(例如图5的314、315)的位置变化得大。因此，三维点313、314属于同一连接集合32，而三维点314、315彼此属于不同的连接集合32。因此，通过与物品20和三维测定机11对应地适当设定构成连接集合32的三维点间的距离、连接集合32的最小点数、最大点数等，能够将连接集合32视为单一的物品20的表面形状。即，单一的连接集合32相对于单一的物品20一对一地对应，能够通过连接集合32来确定物品20。

图6是更详细地表示用于求出连接集合32的处理(连接集合运算处理)，即图2的步骤S2的处理的流程图。首先，在步骤S21中，将表示不属于任何连接集合32的标签号码0作为最初的标签号码分配给属于三维点集合30的所有三维点31。以下，用31(j)来表示分配了作为自然数的标签号码j的三维点31。标签号码j是与连接集合32对应地分配的号码，如果分配非0的相同标签号码j，则属于相同的连接集合32。接下来，在步骤S22中，为了求出第一连接集合32而将标签号码j设为1(j←1)。

接下来，在步骤S23中，选择出是属于三维点集合30的三维点31的、标签号码是0的任意三维点31(0)。在步骤S24中，判定是否选择了标签号码是0的三维点31(0)，判定为肯定时向步骤S25前进。当没有选择三维点31(0)时，属于三维点集合30的所有的三维点31属于某一个连接集合32。该情况下，否定步骤S24，连接集合运算处理结束，向图2的步骤S3前进。

在步骤S25中，准备用于存储标签号码是j的三维点31(j)的列表Lj。在步骤S26中，在向通过步骤S24选择出的三维点31(0)分配了标签号码j之后，将该三维点31(j)追加到列表Lj。在步骤S27中，对取得自然数值的变量K给予初始值1(k←1)。k是用于指定在列表Lj中包含的三维点31(j)的号码。另外，在列表Lj中追加的三维点31(j)与追加的顺序并列。

在步骤S28中，判定在列表Lj的第k三维点31(j)的附近是否存在标签号码是0的三维点31(0)。当步骤S28判定为肯定时向步骤S29前进，判定为否定时，跳过步骤S29向步骤S30前进。在步骤S29中，在向判定为存在于列表Lj的第k三维点31(j)的附近的所有三维点31(0)分配了标签号码j之后，将这些三维点31(j)追加到列表Lj的最后。在步骤S30中，向变量k追加1(k←k+1)。

在步骤S31中判定k的值是否比存储于列表Lj的三维点31(j)的数(要素数N)大。当k比要素数N大时，针对存储于列表Lj的所有N个的三维点31(j)的附近判定的处理结束，处于列表Lj内的三维点31(j)附近的三维点已经被存储于同一的列表Lj内。因此，结束将三维点31(j)追加到列表Lj的处理，向步骤S32前进。除此以外的情况，由于针对列表Lj内的所有三维点31(j)附近判定的处理没有结束，因此返回到步骤S28，重复向列表Lj追加三维点31(j)的处理。

在步骤S32中，向标签号码j追加1(j←j+1)，返回到步骤S23。以后，重复与步骤S23～步骤S32同样的处理、求出与下一标签号码j对应的连接集合32。

参照图5对以上的连接集合运算处理进行具体的说明。在连接集合运算处理的开始时，所有的三维点311～317不属于连接集合32，三维点311～317的标签号码是0(步骤S21)。自该状态起，为了制作出标签号码1的连接集合32，例如在选择三维点313时(步骤S23)，将标签号码1分配给了该三维点313之后(313(1))，将三维点313存储到标签号码1的列表L1的第一个(步骤S26)。

接下来，判定在列表L1的第1三维点313的附近是否存在标签号码0的三维点31(0)(步骤S28)。该情况下，由于存在标签号码0的三维点312、314，因此分别将标签号码1分配给这些三维点312、314(312(1)、314(1))，并分别追加到列表L1的第二以及第三(步骤S29)。由此列表L1的要素数N为3。

然后，变量k为2(＜N)(步骤S30)，判定在列表L1的第2三维点312的附近是否存在标签号码0的三维点31(0)(步骤S28)。该情况下，由于存在标签号码0的三维点311，因此将标签号码1分配给该三维点311(311(1))，并追加到列表L1的第四(步骤S29)。由此列表L1的要素数N为4。

然后，变量k为3(＜N)(步骤S30)，判定在列表L1的第3三维点314的附近是否存在标签号码0的三维点31(步骤S28)。该情况下，由于在三维点314的附近不存在标签号码0的三维点31，因此要素数N为4不变k为4(步骤S30)，判定在列表L1的第4三维点311的附近是否存在标签号码0的三维点31(0)(步骤S28)。该情况下，由于在三维点311的附近不存在标签号码0的三维点31，因此要素数N为4不变k为5(步骤S30)。

此时，由于变量k比要素数N大，因此结束标签号码1的列表L1的制作，将标签号码设为2(步骤S32)，重复同样的处理。在重复的处理中，例如将标签号码2分配给标签号码0的三维点315、316，将三维点315(2)、316(2)追加到列表L2，将标签号码3分配给标签号码0的三维点317，将三维点317(3)追加到列表L3。由此，由于标签号码0的三维点31不存在，因此否定步骤S24，结束连接集合运算处理，向图2的步骤S3前进。

在步骤S3中，对通过步骤S2求出的各连接集合32的位置进行运算。该情况下的连接集合32的位置是代表连接集合32的位置，例如将属于连接集合32的三维点31的重心位置作为连接集合32的位置来进行运算。在重心位置的计算中，可以利用属于连接集合32的所有三维点31，另外，也可以引入离群值对策等处理来利用选别出的三维点31。

作为离群值对策，例如在开始时将属于连接集合32的所有的三维点31用于重心计算来运算出重心位置，在通过用于重心计算的三维点31中存在与重心位置的距离为预定距离以上的三维点31的情况下，从用于重心计算的三维点31按与重心位置的距离从大到小的顺序来除去预定比例的三维点31。然后将余下的三维点31用于重心计算而再次计算出重心位置。重复该处理直到用于重心计算的所有的三维点31从重心位置到收敛于预定距离内为止。

接下来，在步骤S4中，针对各连接集合32进行主成分分析，运算出连接集合32的惯性主轴33。例如，首先，对通过步骤S2求出的连接集合32的重心位置与构成该重心位置和连接集合32的三维点31之差进行运算，运算出相对于连接集合32的重心位置的协方差矩阵(covariance matrix)。接下来，对协方差矩阵的固有矢量进行运算。由于连接集合32是三维空间中的三维点31的集合，因此求出三个固有矢量。将与三个固有矢量对应的三个固有值中的、固有值为最大的轴，即连接集合32所包括的三维点31的方差为最大的方向的轴，计算为连接集合32的惯性主轴33。

图7是表示惯性主轴33的一例的图。如图7所示，在圆柱形形状的物品20的表面上，长度方向的三维点31的方差为最大。因此，与通过物品20的中心的中线轴线L0平行地、与最大固有值对应地显现出第一主成分。该第一主成分的方向L1为惯性主轴33的方向。图中，L2表示继第一主成分之后三维点31的方差变大的第二主成分的方向。第二主成分方向L2与第一主成分方向L1正交。L3表示与第一主成分方向L1和第二主成分方向L2两者正交的第三主成分的方向。这三个主成分与三个固有值对应。

图8是表示与散装于集装箱内的多个物品20对应的连接集合32的惯性主轴33的一例的俯视图。如图8所示，由于在每个物品20设定惯性主轴33，因此利用惯性主轴33能够确定物品20的姿势。

当通过步骤S4运算出惯性主轴33时，向步骤S5前进，根据属于同一连接集合32的三维点31的位置，对由构成连接集合32的三维点31构成的平面或曲面进行运算。能够使用连接集合32所包括的所有的三维点31利用最小二乘法来求出平面或曲面。另外，也可以进行某种离群值对策来求出平面或曲面。作为离群值对策的方法有：M推定法，RANSAC、LMedS、霍夫变换等几种方法。通过引入霍夫变换等处理，即使在连接集合32跨越多个物品20的表面的情况下，也能够从其中提取并识别出一个平面。

在步骤S6中，对作为代表各种连接集合32的位置以及姿势的代表位置姿势34进行运算。图9是表示代表位置姿势34的一例的图。通过与直角交叉的一对箭头34a、34b来表示代表位置姿势34。一对箭头34a、34b的交点，即代表位置姿势34的位置(代表位置)是通过步骤S3求出的连接集合32的重心位置，箭头34a、34b的朝向表示代表位置姿势34的姿势。另外，在图9中，为了方便起见，通过两个箭头34a、34b来表示代表位置姿势34，但是代表位置姿势34并非二维空间而是三维空间，实际上通过三维的直角坐标系来表示。并非限定于直角坐标系，能够通过各种坐标系来表示代表位置姿势34。

当通过步骤S6运算出代表位置姿势34时，对通过步骤S5求出的平面或曲面的连接集合32的代表位置中的法线矢量进行运算。该法线矢量相当于代表位置姿势34的箭头34b。另一方面，箭头34a相当于通过步骤S4求出的惯性主轴33的朝向。通过使用代表位置姿势34不仅能够确定物品20的位置，还能够确定物品20的延伸方向以及物品20的倾斜，即物品20的姿势。

在步骤S6中，对属于连接集合32的三维点31存在的区域面积进行运算，如图9所示，不从面积比预定值小的连接集合32a取得代表位置姿势34。即，只针对判定为表面充分露出的连接集合32求出代表位置姿势34，没有求出代表位置姿势34的连接集合32不作为物品取出对象。由此，能够防止机械手14接近上表面的一部分被其他物品20覆盖的里面的物品20，能够抑制机械手14与取出对象以外的物品20发生冲突。

接下来，通过步骤7对与各代表位置姿势34对应的机械手位置姿势35进行运算。图10是表示与代表位置姿势34对应的机械手位置姿势35的一例的图。机械手位置姿势35与代表位置姿势34同样地用直角交叉的一对箭头35a、35b表示。

机械手位置姿势35的位置(箭头35a、35b的交点)以及姿势(箭头35a、35b的方向)的求出方法分别具有如下几种方法。关于位置，例如存在将代表位置姿势34的位置直接设为机械手位置姿势35的位置的方法。作为其他示例，还存在如下方法：将从代表位置姿势34的位置沿预定的坐标轴36(例如Z轴)的朝向移动了预定长度的位置设为机械手位置姿势35的位置。关于姿势，例如存在将代表位置姿势34的姿势直接设为机械手位置姿势35的姿势的方法。作为其他示例，还存在如下方法：在代表位置姿势34的位置靠近集装箱16的箱壁时，以避免箱壁与机械手14的冲突为目的，向远离箱壁的方向倾斜机械手14。

在图10中，将使代表位置姿势34沿预定的坐标轴36的方向平行移动的预定长度的部分作为机械手位置姿势35。因此，代表位置姿势34的箭头34a、34b，即连接集合32的惯性主轴33的方向以及成为连接集合32的面的法线矢量的方向、和机械手位置姿势35的箭头35a、35b彼此平行。

在步骤S8中，对各机械手位置姿势35编号为P1、P2、···、Pn。其中，n是机械手位置姿势35的个数。图11是表示标号了的机械手位置姿势34的图，按坐标值相对于预定坐标轴36的降序即从处于高位的部分按顺序进行编号。编号的顺序除了坐标值的降序之外，也可以是成为连接集合32的面的面积的从大到小顺序等，还可以是根据取得的三维点集合通过任意方法决定的顺序。另外，在图11中，n＝3。

在步骤S9中，针对取得自然数值的变量j施加初始值。即，成为j←1。变量j用于机械手位置姿势35的号码的指定。

在步骤S10中，将控制信号输出给机器人驱动用的致动器(电动马达)，如图12所示，使机械手14移动到机械手位置姿势Pj(例如P1)。此时，将控制信号输出给机械手驱动用的致动器、使机械手14的旋转轴14b的轴线14c与法线矢量(图10的箭头35b的位置以及方向)一致，并且以轴线14c为中心使旋转轴14b旋转，以使一对把持部14a相对于图10的箭头35a位于对称位置。由此，在沿着物品20的长度方向的惯性主轴33的两侧配置一对把持部14a，针对应该取出的物品20能够将机械手14设为预定的相对位置姿势。

在步骤S11中，将用于保持物品20的控制信号输出给机械手驱动用的致动器。由此，如图13所示，通过机械手14的把持部14a来把持物品20的外周面。由于一对把持部14a配置成相对于物品20的中心轴线L0(图7)对称，因此能够通过把持部14a来稳定地保持物品20。该情况下，例如当把持部14a具有吸引喷嘴时，使真空泵工作，通过吸引力来吸引、保持物品20。当把持部14a具有吸附用磁石时，使电流流过电磁线圈而使磁石工作，通过磁力来吸附、保持物品20。当把持部14a为卡盘时，通过打开或关闭卡盘来保持物品20。

接下来，如图14所示，通过步骤S12将控制信号输出给机器人驱动用的致动器、使保持了物品21的机械手14沿着预定方向，例如机械手位置姿势35的箭头35b方向(图10)，或预定的坐标轴36的方向上升。通过使机械手14沿预定方向上升，利用机器人12的动作使机械手14移动时，能够避免物品21或把持部14a与其他的物品20的冲突。

在步骤S13中，判定由把持部14a保持物品21是否成功。关于该判定，例如当把持部14a具有吸附用磁石时，只要通过接近传感器来判定物品21是否存在、根据判定结果来判定保持是否成功即可。当把持部14a具有吸引喷嘴时，只要根据吸引时空气的流量和压力的变化来判定保持是否成功即可。当把持部14a具有卡盘时，只要通过开闭确认传感器来确认卡盘的开闭状态、判定保持是否成功即可。当判定为保持成功时，向步骤S14前进、当判定为保持没有成功时向步骤S15前进。

在步骤S15中，判定j≥n是否成立。该判定是在n个(图14中为三个)机械手位置姿势35中是否存在机械手14未达到的部分的判定。当判定为j＜n时，由于机械手14未达到机械手位置姿势Pj+1，因此通过步骤S16设定j←j+1，返回到步骤S10。并且，如图15所示，利用机器人12的动作使机械手14向下一机械手位置姿势Pj(例如P2)移动。接下来，将用于保持物品20的控制信号输出给机器人驱动用的致动器，如图16所示，保持下一物品21(步骤S11)。当通过步骤S15判定为j≥n时，由于机械手14达到n个机械手位置姿势35的全部，因此向步骤S16前进。

在步骤S14中，将控制信号输出给机器人驱动用致动器，如图17所示，使机械手14相对于输出装置17以成为预定的相对位置姿势的方式移动到输出装置17的上方。例如，如图17所示，在输出装置17具有沿斜下方延伸的投射机(shooter)时，将机械手14的位置姿势控制成使物品21的中心轴线L0朝向投射机的延伸方向。然后，将控制信号输出给把持部驱动用致动器、从把持部14a取出物品21。另外，输出装置17也可以不是投射机而是传送带等。通过以上一循环的处理结束。

根据本实施方式能够得到如下的作用效果。

(1)在本实施方式中，通过三维测定机11来测定散装于三维空间的多个物品20的表面位置从而取得多个三维点31的位置信息(步骤S1)，从所述多个三维点31中求出连接彼此处于附近的三维点31而成的连接集合32(步骤S2)，根据属于连接集合32的三维点31的位置信息，确定物品20的位置以及姿势(步骤S6)，求出能够取出物品20的机械手位置姿势35(步骤S7)，更进一步，控制机器人12以使机械手14向机械手位置姿势35移动而取出物品20(步骤S10～步骤S12)。

由此，能够不通过模式匹配等就确定物品20的位置以及姿势。因此不需要制作物品20的模型模式，即使是多品种和不规则形状的物品20也能够容易地识别出其位置以及姿势，能够保持物品20。另外，也不针对追加的新品种的物品20追加模型模式，就能够识别出其位置以及姿势，从而能够避免物品20的位置姿势的识别失败和错误识别或物品20的取出损耗和冲突等问题、使机械手14高速向处于上方的易于取出的物品20移动从而高效地取出物品20。另外，由于通过连接集合32来确定物品20的位置以及姿势，所以也能够使用具有立体拍摄以外的测定方式的三维测定机，因此能够通过各种各样的装置结构来获得作用效果。

(2)在确定物品20的姿势时，通过属于连接集合32的三维点31的主成分分析来计算出连接集合32的主成分方向(惯性主轴33的方向)，根据该主成分方向来确定物品的姿势。由此，能够确定圆柱形形状等物品20的长度方向的朝向以及倾斜，能够使用具有两股形形状的把持部14a的机械手14来稳定地保持物品20。并且，考虑到主成分方向通过机械手14来把持物品20，因此能够以预定的姿势将把持的物品20配置到台座或投射机等输出装置，能够容易地进行物品20的输出工序。与此相对地，当不考虑主成分方向时，就需要通过照相机等来确认物品20的把持姿势，输出工序变得复杂。

(3)根据连接集合32的重心位置与属于连接集合32的三维点31之差，计算出相对于连接集合32的重心位置的协方差矩阵，使用该协方差矩阵的固有值为最大的固有矢量来计算主成分方向，因此，主成分方向与物品20的长度方向良好地一致，能够高精度地确定物品20的姿势。

(4)根据连接集合32的重心位置求出代表连接集合32的位置，并且根据主成分方向求出代表连接集合32的姿势(步骤S6)，与代表连接集合32的位置以及姿势即代表位置姿势34对应地求出机械手位置姿势35(步骤S7)。由此在物品20的表面倾斜的情况下，能够与该倾斜匹配地计算出代表位置姿势34，能够与物品20的倾斜匹配地倾斜机械手14，从而能够稳定地保持物品20。

(5)能够通过属于连接集合32的三维点的主成分分析来计算出连接集合32的第一主成分方向、第二主成分方向以及第三主成分方向，根据第一主成分方向、第二主成分方向以及第三主成分方向求出机械手位置姿势35。这样，通过考虑三个主成分方向，能够利用把持部14a容易地把持复杂形状的物品20。

(6)由于连接彼此处于预定距离内的三维点31而构成了连接集合32(图6)，因此能够从散装的多个物品20中识别出各个物品20。因此，在物品20被重叠地配置于集装箱16内的情况下，或由于物品表面的乱反射等而不能光学性地取得三维点31的位置数据等情况下，即使是在三维点集合30的数据中存在缺陷，也能够识别出物品20的位置以及姿势。

另外，从通过三维点测定机11取得的多个三维点31中求出连接彼此处于附近的三维点31而成的连接集合32，根据属于连接集合32的三维点31的位置信息确定物品20的位置以及姿势，求出能够取出确定了的物品20的机械手位置姿势35，控制机器人12以使机械手14向求出的机械手位置姿势35移动而取出物品20，进而在确定物品20时，通过属于连接集合32的三维点31的主成分分析计算出连接集合32的主成分方向，根据该主成分方向确定物品20的姿势，只要是如上方式则取出散装于三维空间的物品20的物品取出方法的结构就可以是任何结构。

图18是表示图1的机器人控制装置13的内部结构的方框图。机器人控制装置13具有：连接集合运算部131、物品确定部132、机械手位置姿势运算部133、以及机器人控制部134。

当在连接集合运算部131中运算连接集合32时，例如针对每一个一维以上三维以下的预定坐标系规定预定距离，关于预定坐标系只在第1三维点31和第2三维点31的距离分别是预定距离内的情况下，判定为第1三维点31和第2三维点31彼此处于附近，可以将两者进行连接。即，只要是从通过三维点测定机11取得的多个三维点31中求出连接彼此处于附近的三维点31而成的连接集合32，则连接集合运算部131的结构不限于上述的结构。

在上述实施方式中，根据连接集合32的重心位置与属于连接集合32的三维点31之差，计算出相对于连接集合32的重心位置的协方差矩阵，使用该协方差矩阵的固有值为最大的固有矢量来计算主成分方向(惯性主轴33)，但只要是通过属于连接集合32的三维点31的主成分分析计算出连接集合32的主成分方向，根据该主成分方向确定物品20的姿势，则物品确定部132的结构不限于此。

在上述实施方式中，通过连接集合32的重心位置确定物品20的代表位置，通过连接集合32的惯性主轴33和构成连接集合32的面的法线矢量确定了物品20的代表姿势(图9的箭头34a、34b)，但是也可以根据通过主成分分析得到的连接集合32的第一主成分方向L1、第二主成分方向L2以及第三主成分方向L3，确定物品20的代表位置姿势34和机械手位置姿势35。例如，也可以使表示代表位置姿势34的图9的箭头34b与第二主成分防线L2一致，根据第二主成分方向L2求出机械手位置姿势35(图10的箭头35b)。由此不需要图2的步骤S5的处理。

在上述实施方式中，考虑到长方形形状的物品20延伸的方向以及倾斜，将通过一对把持部14a能够把持物品20的机械手14的位置姿势设为机械手位置姿势35，但是本发明的物品取出装置能够应用到各种形状的物品。因此，机械手位置姿势35的设定能够与物品20的形状对应地适当变更，求出能够取出物品20的机械手位置姿势35的机械手位置姿势运算部133的结构不限于上述结构。

在上述实施方式中，通过机械手14来保持集装箱16内的物品20，将保持的物品21搬运到输出装置17，但是也可以将物品21搬运到输出装置17以外。因此，只要是控制机器人12以使机械手14向由机械手位置姿势运算部133求出的机械手位置姿势35移动从而取出物品20，则机器人控制部134的结构可以是任何结构。

能够任意地组合上述实施方式与变形例的一个或多个。

根据本发明，当对散装于三维空间的物品的位置以及姿势进行识别时，从通过三维点测定机取得的多个三维点的位置信息中求出连接集合，使用连接集合确定物品的位置以及姿势。特别是，通过属于连接集合的三维点的主成分分析来计算出连接集合的主成分方向，根据该主成分方向来确定物品的姿势。因此，不需要制作物品的模型模式就能够容易地识别出物品的位置以及姿势。此外，还可利用通过立体拍摄而取得图像的类型的三维测定机以外的设备，能够增加装置的变化。

以上，与该最佳实施方式相关联地对本发明进行了说明，但本领域技术人员应当理解在不脱离后述的权利要求书的公开范围的情况下还能够进行各种修改以及变更。

Claims (5)

1.一种物品取出装置，其特征在于，具有：

机器人(12)，其具有能够保持物品(20)的机械手(14)；

三维测定机(11)，其对散装于三维空间的多个物品的表面位置进行测定，取得物品表面的多个三维点(31)的位置信息；

连接集合运算部(131)，其从由所述三维测定机取得的多个三维点中，求出连接彼此处于附近的三维点(31)而成的连接集合(32)；

物品确定部(132)，其根据属于所述连接集合的三维点的位置信息，确定物品的位置以及姿势；

机械手位置姿势运算部(133)，其用于求出机械手位置姿势(35)，该机械手位置姿势(35)是能够取出由所述物品确定部确定的物品的所述机械手的位置以及姿势；以及

机器人控制部(134)，其对所述机器人进行控制以使所述机械手向由所述机械手位置姿势运算部求出的机械手位置姿势移动从而取出所述物品，

所述物品确定部通过属于所述连接集合的三维点的主成分分析计算出所述连接集合的主成分方向(L1)，并根据该主成分方向确定所述物品的姿势。

2.根据权利要求1所述的物品取出装置，其特征在于，

所述物品确定部根据所述连接集合的重心位置与属于所述连接集合的三维点之差计算出相对于所述连接集合的重心位置的协方差矩阵，使用该协方差矩阵的固有值为最大的固有矢量来计算所述主成分方向。

3.根据权利要求1或2所述的物品取出装置，其特征在于，

所述物品确定部根据所述连接集合的重心位置求出代表所述连接集合的位置，并且根据所述主成分方向求出代表所述连接集合的姿势，

所述机械手位置姿势运算部根据代表所述连接集合的位置以及姿势即代表位置姿势(34)求出所述机械手位置姿势。

4.根据权利要求3所述的物品取出装置，其特征在于，

所述物品确定部通过属于所述连接集合的三维点的主成分分析来计算出所述连接集合的第一主成分方向(L1)、第二主成分方向(L2)以及第三主成分方向(L3)，

所述机械手位置姿势运算部根据所述第一主成分方向、所述第二主成分方向以及所述第三主成分方向求出所述机械手位置姿势。

5.一种物品取出方法，使用具有能够保持物品(20)的机械手(14)的机器人(12)，取出散装于三维空间的物品，其特征在于，

通过三维测定机(11)对散装于三维空间的多个物品的表面位置进行测定来取得物品表面的多个三维点(31)的位置信息，

从由所述三维测定机取得的多个三维点中，求出连接彼此处于附近的三维点(31)而成的连接集合(32)，

根据属于所述连接集合的三维点的位置信息，确定物品的位置以及姿势，求出能够取出确定了位置以及姿势的物品的所述机械手的位置以及姿势即机械手位置姿势(35)，

对所述机器人进行控制以使所述机械手向求出的机械手位置姿势移动从而取出所述物品，

在确定所述物品的姿势时，通过属于所述连接集合的三维点的主成分分析计算出所述连接集合的主成分方向(L1)，并根据该主成分方向确定所述物品的姿势。