CN104608150A - 通过机器人取出放置在三维空间中的物品的装置及方法 - Google Patents

Abstract

本发明提供一种通过机器人取出放置在三维空间中的物品的装置及方法。物品取出装置被构成为：根据由三维测定机取得的多个三维点的位置信息以及由照相机取得的图像数据，从多个三维点中选择相互在近旁的第一以及第二三维点，根据这些三维点的位置信息和图像数据，取得包含与三维点对应的图像上的点的部分图像区域中的图像梯度信息，根据三维点的位置信息和图像梯度信息判定第一以及第二三维点是否在相同物品上，当判定为在相同物品上时，使相同连接集合包括第一以及第二三维点。

Description

通过机器人取出放置在三维空间中的物品的装置及方法

技术领域

本发明涉及一种识别放置在三维空间中的物品的位置以及姿势，使用机器人取出所识别的物品的物品取出装置以及物品取出方法。

背景技术

作为该类型的装置，当前已知的有：针对通过照相机拍摄放置在三位空间中的物品而得到的二维图像或通过三位测定机进行测定而得到的三维点集合，使用图案匹配识别物品的位置的装置。例如在日本特开2004-295223号公报(JP2004-295223A)以及日本特开2011-179909号公报(JP2011-179909A)中记载了这样的装置。此外，已知的还有：使用通过照相机拍摄放置在三位空间中的物品而得到的图像数据，提取图像中的物品的装置。例如，在日本特开2010-039999号公报(JP2010-039999A)中记载了该装置。

在JP2004-295223A所记载的装置中，根据预先拍摄处于基准三维相对姿势的物品而得到的二维图像来生成二维模型模式，对二维模型模式实施二维几何学转换来生成多个转换二维模型模式，使用多个转换二维模型模式针对物品的二维图像进行二维模式匹配。

在JP2011-179909A所记载的装置中，事先根据CAD模型等取得物品的三维模型模式，另一方面通过三维测定机测定三维空间中的物品的表面来取得三维点集合(距离图像)，在由从三维点集合提取的边缘包围的部分区域分割三维点集合。然后，最初设定部分区域的一个作为物品区域，通过反复进行针对该物品区域的三维模型模式的匹配处理和将其他部分区域追加为物品区域的更新处理的两个处理，测量物品位置以及姿势。

在JP2010-039999A所记载的装置中，通过照相机的拍摄动作取得包含物品的区域的彩色图像和距离图像，并在显示部显示取得的图像。当用户指示将该显示图像中的物品的一部分作为前景区域进行时，根据彩色图像的颜色信息和从距离图像得到的距离信息，设定物品以外的区域作为背景区域，提取图像中的物品。

然而，JP2004-295223A以及JP2011-179909A所记载的装置需要预先生成每个物品-品种的二维模型模式或三维模型模式，因此需要工夫。尤其，当物品为多品种时，需要生成与品种数量对应的模型模式，因此需要较多的工夫。

此外，JP2010-039999A所记载的装置为了提取图像中的物品需要用户的指示作业，因此需要工夫。尤其，当物品为多品种时，需要与品种数量对应的指示作业，因此需要较多的工夫。

发明内容

作为本发明的一个方式的物品取出装置，具备：机器人，其具有可保持物品的机械手；三维测定机，其测定放置在三维空间中的多个物品的表面位置，取得多个三维点的位置信息；照相机，其拍摄包括多个物品的区域，取得图像数据；连接集合运算部，其根据由三维测定机取得的多个三维点的位置信息以及由照相机取得的图像数据，从多个三维点中求出连接相互在近旁的三维点而构成的连接集合；物品确定部，其根据属于连接集合的三维点的位置信息，确定物品的位置以及姿势；机械手位置姿势运算部，其求出可取出由物品确定部确定的物品的机械手的位置以及姿势即机械手位置姿势；以及机器人控制部，其对机器人进行控制，以便向由机械手位置姿势运算部求出的机械手位置姿势移动机械手来取出物品。连接集合运算部具有：三维点选择部，其从由三维测定机取得的多个三维点中选择相互在近旁的第一三维点和第二三维点；梯度信息取得部，其根据由照相机取得的图像数据，取得包含分别与第一三维点以所述第二三维点对应的图像上的点的部分图像区域中的、表示物品表面的梯度状态的图像梯度信息；以及判定部，其根据第一三维点的位置信息、第二三维点的位置信息以及由梯度信息取得部取得的图像梯度信息，判定第一三维点和第二三维点是否在相同物品上，当通过判定部判定为第一三维点和第二三维点在相同物品上时，将第一三维点和第二三维点包括在相同的连接集合中。

此外，本发明的其他方式是使用具有可保持物品的机械手的机器人，取出放置在三维空间中的物品的物品取出方法，通过三维测定机测定放置在所述三维空间中的多个物品的表面位置，取得多个三维点的位置信息；通过照相机拍摄包括多个物品的区域来取得图像数据，根据由三维测定机取得的多个三维点的位置信息以及由照相机取得的图像数据，从该多个三维点中求出连接相互在近旁的三维点而构成的连接集合；根据属于连接集合的三维点的位置信息，确定物品的位置以及姿势；求出可取出位置以及姿势被确定的物品的机械手的位置以及姿势即机械手位置姿势；对机器人进行控制，以便向机械手位置姿势移动机械手来取出物品。当求出连接集合时，从由所述三维测定机取得的多个三维点中选择相互在近旁的第一三维点和第二三维点，根据由照相机取得的图像数据，取得包含分别与第一三维点以及第二三维点对应的图像上的点的部分图像区域中的、表示物品的表面的梯度状态的图像梯度信息，根据第一三维点的位置信息、第二三维点的位置信息以及图像梯度信息，判定第一三维点和第二三维点是否在相同物品上，当判定为第一三维点和第二三维点在相同物品上时，将第一三维点和第二三维点包括在相同的连接集合中。

附图说明

通过与附图关联的以下的实施方式的说明，使本发明的目的、特征以及优点更加明确。在附图中，

图1是表示本发明的一实施方式的物品取出装置的概要结构的图。

图2是表示在图1的机器人控制装置中执行的处理的一例的流程图。

图3是表示通过图1的三维测定机取得的三维点集合的一例的图。

图4是表示通过图1的照相机拍摄的图像的一例的图。

图5是表示从图3的三维点集合求出的连接集合的一例的图。

图6是说明连接集合的概念图。

图7是表示基于属于图6的各连接集合的三维点的位置的代表位置姿势的一例的图。

图8是表示与图7的代表位置姿势对应的机械手位置姿势的一例的图。

图9是表示图8的机械手位置姿势的编号的一例的图。

图10是表示本发明的实施方式的物品取出装置的动作的一例的图。

图11是表示继续图10的动作的动作的一例的图。

图12是表示求出图2的连接集合的处理的细节的流程图。

图13是表示图12的近旁判定处理的细节的流程图。

图14是表示在物品的表面上测定出的三维点的一例的图。

图15是表示与图14的三维点对应的图像上的二维点的一例的图。

图16是表示与图14的三维点对应的图像上的二维点的其他例的图。

图17是表示图1的机器人控制装置的内部结构的框图。

具体实施方式

以下，参照图1～图17对本发明的实施方式的物品取出装置进行说明。图1是表示本发明的一实施方式的物品取出装置10的概要结构的图。物品取出装置10具有：三维测定机11、照相机12、机器人13以及与三维测定机11和机器人13连接来控制机器人13的机器人控制装置14。机器人13具有安装在臂13a的前端部的机械手15。在机器人13的侧方配置有托盘16。另外，在图1中，一起示出了XYZ的正交三轴坐标系统。Z方向是铅垂方向、X方向以及Y方向是水平方向。

在托盘16上配置多个物品20。本实施方式的物品取出装置10从配置了该多个物品20的状态识别应当取出的物品20的位置以及姿势，通过机械手15取出并保持被识别出的物品20，通过机器人13的动作向预定位置搬送。在图1中，将多个物品20表示成相互相同形状，但也可以包括不同形状的多个品种。另外，以下有时为了与托盘16上的其他物品相区别而以不同的符号21表示通过机械手15保持的物品20(参照图11)。

三维测定机11被配置在托盘16的中央部上方，测定被放置在托盘16上的物品20中的露出的物品20的表面，来取得多个三维点的位置信息(三维信息)。三维测定机11的测定范围需要包括托盘16，但测定范围过大时会导致测定分辨率的下降。因此，优选测定范围与托盘16的占据范围等同，例如使测定范围与托盘16的占据范围一致。另外，在图1中，将三维测定机11固定在专用的支架17上，但也可以将三维测定机11固定在机器人13的前端部。三维测定机11与机器人控制装置14通过通信电缆等通信部相互连接，相互间能够进行通信。

作为三维测定机11可以利用各种非接触方式的测定机。例如，可以列举两台照相机的立体声方式、扫描激光狭缝光的方式、扫描激光光点的方式、使用投影机等装置将模式光投影到物品上的方式以及利用光从投光器射出后在物体表面反射而入射到受光器为止的飞行时间的方式等。

三维测定机11以距离图像或三维地图的形式表现取得的三维信息。距离图像以图像形式表现三维信息，通过图像的各像素的亮度或颜色表示该图像上的位置的高度或来自三维测定机11的距离。另一方面，三维地图作为被测定出的三维坐标值(x，y，z)的集合来表现三维信息。在本实施方式中，将具有距离图像中的各像素或三维地图中的三维坐标值的点称为三维点，将由多个三维点构成的集合称为三维点集合。三维点集合是由三维测定机11测定出的全体三维点的集合，能够通过三维测定机11取得。

照相机12具有CCD等拍摄元件，被配置在托盘16的中央部上方，拍摄放置在托盘16上的物品20。照相机12的拍摄区域需要包括托盘16，但若拍摄区域过大则导致拍摄分辨率下降。因此，优选拍摄区域与托盘16的占据范围等同，例如使拍摄区域与托盘16的占据范围一致。另外，在图1中，将照相机12固定在专用的支架17上，但可以将照相机12固定在机器人13的前端部。照相机12与机器人控制装置14通过通信电缆等通信部相互连接，相互间能够进行通信。

预先校准照相机12，通过使用校准数据能够求出由三维测定机11测定出的三维点与由照相机12拍摄的图像上的点(二维点)的对应关系。即，能够求出三维点相当于照相机图像的哪个点，由此能够得到与确定的三维点对应的图像数据。

机械手15能够取出并保持物品20，作为可进行这些的机械手的形态，例如可列举吸嘴、吸附用磁铁，吸附垫或卡盘等。通过机器人13动作控制机械手15的位置姿势。

图2是表示在机器人控制装置14中执行的处理的一例，尤其表示物品取出的处理的一例的流程图。以下，参照图2的流程图以及关联的附图，对基于物品取出装置10的动作进行说明。

例如通过未图示的操作开关的操作，输入物品20的取出开始指令时开始图2的处理。首先，通过三维测定机11测定配置在三维空间中的多个物品20的表面，取得三维点集合30(步骤S1)。图3是表示通过三维测定机11取得的三维点集合30和构成三维点集合30的三维点31的一例的图。在图3中，用黑圆点表示三维点31，三维点集合30表示由虚线包围的包含全体黑圆点的区域。

接着，通过照相机12拍摄包含多个物品20的区域来取得图像40(步骤S2)。图4是表示通过照相机12拍摄的图像40的一例的示意图。在图4中，示出了表示托盘16的托盘图像41和表示物品20的物品图像42。

接着，从三维点集合30求出一个以上的连接集合32(步骤S3)。图5是表示从三维点集合30求出连接集合32的一例的图。在图5中，将连接集合32表示成用虚线包围的区域。即，在图5中，示出了两个连接集合32。

在这里所说的连接集合32是三维点集合30的部分集合，当在任意的三维点(第一三维点)31的近旁存在与该三维点31不同的其他三维点(第二三维点)31时，连接集合32是连接第一三维点31与第二三维点31而形成的集合。图6是说明连接集合32的概念的图。在图6中，当相邻的第一三维点31与第二三维点31之间的距离在预定值以内时，相互连接第一三维点31与第二三维点31。

即，如图6所示，通过三维测定机11测定出多个三维点31(以311～317表示)，当其中的311与312、312与313、313与314以及315与316分别存在于预定距离内时，将这些相互连接。此时，经由312和313连接311与314，因此311～314构成相同的连接集合321。另一方面，315与316没有与311～314的任一个连接，因此构成其他的连接集合322。317没有与任一个三维点连接，因此不构成连接集合。

在本实施方式中，以针对单一的物品20对应单一的连接集合32的方式，即物品20与连接集合32以一对一对应的方式构建连接集合32。由此，通过连接集合32能够确定物品20。此时，不仅使用来自三维测定机11的测定数据，还使用来自照相机12的图像数据求出连接集合32，但对求出该连接集合32的具体处理，后面进行说明(图13)。

接着，根据属于相同的连接集合32的三维点31的位置，求出代表各连接集合32的代表位置姿势33(步骤S4)。连接集合32确定物品20露出的表面，因此代表位置姿势33成为代表物品20的位置以及姿势。图7是表示根据属于连接集合32的三维点31的位置计算出的代表位置姿势33的一例的图。通过交叉为直角的一对箭头33a、33b表示代表位置姿势33，但这是由于通过正交坐标系统表示了代表位置姿势33。另外，在图7中，通过两个箭头33a、33b表示代表位置姿势33，但代表位置姿势33不是二维空间中的位置姿势，而是三维空间中的位置姿势。

代表位置姿势33的求取方法有几种方法。首先，作为第一例子，有将属于连接集合32的三维点31的重心位置与预定的姿势(例如将箭头33a朝向铅垂方向上方的姿势)组合来作为代表位置姿势33的方法。重心位置的计算可以利用属于连接集合32的所有的三维点31，另外，也可以导入离群值对策等处理，利用选择的三维点31。作为离群值对策，例如，首先在重心计算中利用属于连接集合32的所有的三维点31来求出重心位置，当在重心计算中利用的三维点31中存在与重心位置的距离在预定值以上的三维点31时，从在重心计算中利用的三维点31中按照与重心位置的距离从到大小的顺序去除预定比例的三维点31。然后，在重心计算中利用剩余的三维点31来重新计算重心位置。重复该处理，直到将在重心计算中利用的所有的三维点31收纳在从重心位置到预定距离内为止即可。

作为第二例子，有：求出与属于连接集合32的三维点31外接的长方形(外接长方形)，将外接长方形的中心的位置姿势设成代表位置姿势33的方法。为了求出外接长方形，首先，在三维空间内使用连接集合32包含的所有的三维点31求出平面，将连接集合32包含的所有的三维点31投影到该平面上。接着，计算将被投影的所有的三维点31包含在内部的凸多边形，求出与计算出的凸多边形外接的长方形。可以使用属于连接集合32的所有三维点31，通过最小二乘法求出平面，另外，也可以导入任何离群值对策的处理求出平面。作为离群值对策方法，有：M推定法、随机抽样一致性算法(RANSAC：RANdomSAmple Consensus)、LMedS、霍夫(Hough)变换等几种方法。作为计算凸多边形的方法，有恩达(Andrew)算法等方法。作为计算与凸多边形外接的长方形的方法，有旋转卡壳(Rotating calipers)法等。图7表示按照第一例子求出代表位置姿势33的情况。

接着，求出与每个代表位置姿势33对应的机械手位置姿势34(步骤S5)。图8是表示与代表位置姿势33对应的机械手位置姿势34的一例的图。与代表位置姿势33相同地，通过交叉为直角的一对箭头34a、34b表示机械手位置姿势34。

关于机械手位置姿势34的位置(箭头34a、34b的交点)以及姿势(箭头34a、34b的方向)的计算方法，分别有几种方法。关于位置，例如有将代表位置姿势33的位置直接设成机械手位置姿势34的位置的方法。作为其他例子，将从代表位置姿势33的位置沿着预定的坐标轴35(例如Z轴)的方向仅移动预定长度的位置设成机械手位置姿势34的位置的方法。在后者的例子中，图8表示位置。关于姿势，例如有将代表位置姿势33的姿势直接设成机械手位置姿势34的姿势的方法。作为其他例子，有：将绕代表位置姿势33的预定的坐标轴35旋转预定角度的姿势设成机械手位置姿势34的姿势的方法。在前者的例子中，图8表示姿势。

接着，将每个机械手位置姿势34编号成P1、P2、……Pn(步骤S6)。但是，n是机械手位置姿势34的个数。图9是表示已编号的机械手位置姿势34的图，按照针对预定的坐标轴35的坐标值的降序，也就是说，从在高位置的物品按照顺序进行编号。如图9所示，当针对坐标轴35的坐标值为相同值时，按照针对与坐标轴35正交的预定坐标轴36(例如X轴)的坐标值的降序进行编号。另外，在图9中n＝2。

接着，对取自然数值的变量k赋予初始值。即，设成k←1(步骤S7)。变量k用于指定机械手位置姿势34的编号。

接着，如图10所示，向机器人驱动用的制动器(电动机)输出控制信号，通过机器人13的动作使机械手15向机械手位置姿势Pk移动(步骤S8)。对于变量的初始值k＝1，Pk＝P1。

接着，向机械手驱动用的制动器输出用于保持物品20的控制信号，如图11所示，在机械手15的下端面保持物品21(步骤S9)。例如，当机械手15具有吸嘴时，使真空泵动作，通过吸引力吸引、保持物品21。当机械手15具有吸附用磁铁时，使电磁线圈流过电流来使磁铁动作，通过磁力吸附、保持物品21。当机械手15为卡盘时，通过打开或关闭卡盘来保持物品21。

接着，判定基于机械手15的物品21的保持是否成功(步骤S10)。当机械手15具有吸嘴时，该判定根据吸引时的空气的流量或压力的变化来判定保持是否成功即可。当机械手15具有吸附用磁铁时，通过近接传感器来判定是否存在物品21，根据物品21存在与否判定保持是否成功即可。当机械手15具有卡盘时，通过开关确认传感器确认卡盘的开关状态，判定保持是否成功即可。当判定保持成功时，进入步骤S11。而当判定保持没有成功时，进入步骤S12。

在步骤S12，判定变量k是否小于n。该判定是在n个(图11中为2个)机械手位置姿势34中是否存在机械手15还没有到达的物品的判定。当判定k＜n时，机械手15还没有到达机械手位置姿势Pk+1，因此设成k←k+1(步骤S13)，返回到步骤S8。当在步骤S12判定并非k＜n时，机器人15到达了全部n个机械手位置姿势34，因此返回步骤S1。

在步骤S11，向机器人驱动用制动器输出控制信号，将机械手15移动至预定位置。由此，通过机器人13的动作将物品21搬送至预定位置。之后，向机械手驱动用制动器输出控制信号，从机械手15取下物品21。至此，一个周期的处理结束。

至此，通过机器人控制装置14中的处理，通过三维测定机11测定多个物品20的表面位置，取得由多个三维点31构成的三维点集合30(步骤S1)，从三维点集合30求出连接相互近旁的三维点31而构成的连接集合32(步骤S3)，根据属于连接集合32的三维点31的位置信息，求出可取出物品20的机械手15的位置姿势(机械手位置姿势34)(步骤S4、步骤S5)，并且控制机器人12，以便将机械手15移动至所求出的机械手位置姿势34来取出托盘16上的物品20(步骤S8～步骤S11)。

在此，连接集合32反映物品表面的位置以及姿势(倾向)，因此通过使用连接集合32，不用通过模式匹配或用户的指示作业等，也能够确定物品20的位置以及姿势，因此，无需生成物品20的模型模式，即使是形状不同的多种物品20也能够容易地识别物品20的位置以及姿势，来保持物品20。此外，对于追加的新品种的物品20，无需模型模式的追加或用户的指示作业等，也能够容易地识别物品的位置以及姿势。

但是，当邻接地配置多个相同形状的物品20时，有可能在相互不同的物品20上测定第一三维点31和第二三维点31。此时，计算出第一三维点31和第二三维点31之间的距离，当该距离在预定值内时，如果构成为设第一三维点31和第二三维点31相互位于近旁，第一三维点31和第二三维点31属于相同的连接集合32，则跨越多个物品20构成连接集合32。为了避免这种情况，在本实施方式中，按照以下的方式运算连接集合32。

图12、图13是用于求出作为本实施方式的特征性结构的连接集合32的处理(连接集合运算处理)的一例，即具体地表示图2的步骤S3中的处理的流程图。

首先，在图12的步骤S21，对属于三维点集合30的所有的三维点31分配表示不属于任何连接集合32的标签序号0，作为初始的标签序号。在以下，则以31(j)表示分配了自然数即标签序号j的三维点31。标签序号j是对应于连接集合32而分配的序号，若分配了不为0的相同的标签序号j，则属于相同的连接集合32。接着，在步骤S22，为了求出第一连接集合32，将标签序号j设为1(j←1)。

接着，在步骤S23，选择属于三维点集合30的三维点31，且标签序号为0的任意的三维点31(0)。在步骤S24，判定是否选择了标签序号为0的三维点31(0)，当被肯定时进入步骤S25。当没有选择三维点31(0)时，属于三维点集合30的所有的三维点31属于任何连接集合32。此时，步骤S24被否定，连接集合运算处理结束，进入图2的步骤S4。

在步骤S25，生成用于存储标签序号为j的三维点31(j)的列表Lj。在步骤S26，向在步骤S24被选择的三维点31(0)分配标签序号j后，将该三维点31(j)追加到列表Lj。在步骤S27，针对取自然数值的变量m，赋予初始值1(m←1)。m是指定列表Lj包含的三维点31(j)的序号。另外，在列表Lj中，将追加的三维点31(j)按照追加的顺序进行排列。

在步骤S30，判定存在于相同物品20上的标签序号0的三维点31(0)是否存在于列表Lj的第m三维点31(j)的近旁，进行将判定为存在的三维点31(0)追加到列表Lj的处理(近旁判定处理)。

图13是详细地表示步骤S30的近旁判定处理的流程图。在步骤S30A，选择列表Lj的第m三维点31(j)。在步骤S30B，使用在步骤S2取得的图像40，计算出与在步骤S30A选择的三维点31(j)对应的图像40上的二维点51(j)。此时，通过使用预先设定的照相机12的校准数据，能够计算出与三维点31(j)对应的二维点51(j)。

在步骤S30C，运算近旁三维点集合，该近旁三维点集合是集合了所有的标签序号为0的三维点31(0)，即在步骤S30 A选择的三维点31(j)的近旁的三维点(近旁三维点310(0))的结合。例如，近旁三维点310(0)是具有与所选择的三维点31(j)的x坐标以及y坐标的差在预定值以下的x坐标以及y坐标的点。另外，可以将具有与所选择的三维点31(j)的x坐标、y坐标以及z坐标的差在预定值以下的x坐标、y坐标以及z坐标的点作为近旁三维点310(0)，也可以将欧几里得距离在预定值内的点作为近旁三维点310(0)。近旁三维点310(0)是被预想为存在于相同物品上的三维点31(j)，成为标签序号为j的三维点31(j)的候补。

在步骤S30D，将属于近旁三维点集合的所有的近旁三维点310(0)编号成310(1)、310(2)、……310(n)。在步骤S30E，针对取自然数值的变量i赋予初始值1。即，设成i←1。在步骤S30F，选择已编号的近旁三维点310(i)。在步骤S30G，使用照相机12的校准数据，计算出与近旁三维点310(i)对应的图像40上的点即近旁二维点510(i)。

在步骤S30H，取得包括在步骤S30B计算出的图像40上的二维点51(j)和在步骤S30G计算出的图像40上的二维点510(i)的区域(局部图像区域)的图像梯度信息。局部图像区域例如是从连接二维点51(j)与二维点510(i)的线段起在预定距离以内的区域。图像梯度信息是例如将部分图像区域通过索贝尔滤波器(Sobel filter)滤波器等进行滤波而得到的滤波图像中的、恒定对比度(亮度)以上的像素值的信息。即，取得表示邻接的像素的亮度的陡峭的变化的物理量作为图像梯度信息。也能够使用局部图像区域内的亮度最小的像素值与亮度最大的像素值的差作为图像梯度信息。通过这样的图像的明暗变化量，能够确定物品20的表面的梯度状态。

在步骤S30I，根据在步骤S30H取得的图像梯度信息，判定在步骤S30A选择的三维点31(j)和步骤S30F选择的近旁三维点310(i)彼此是否在相同的物品20上。例如，该判定通过判定三维点31(j)与近旁三维点310(i)之间的距离是否在预定值Δd以下，并且局部图像区域内的图像的明暗变化量是否在预定值以下来进行。关于三维点31(j)与近旁三维点310(i)的距离，例如对一维以上三维以下的预定坐标系统分别预先决定预定距离Δd，判定在所有的预定坐标系统中，三维点31(j)与近旁三维点310(i)之间的距离是否在预定值Δd以下即可。

当步骤S30I被肯定时进入步骤S30J，当步骤S30I被否定时跳过步骤S30J进入步骤S30K。在步骤S30J，向在步骤S30F选择的近旁三维点310(i)分配标签序号j，将近旁三维点310(i)作为三维点31(j)而追加到列表Lj的最后。在步骤S30K，向变量i追加1(i←i+1)。在步骤S30L，判定是否针对所有的近旁三维点310(1)～310(n)进行了步骤S30I的判定，即判定变量i是否大于n。当步骤S30L被否定时返回步骤S30F，重复与上述相同的处理。当步骤S30L被肯定时，结束近旁判定处理(步骤S30)，进入图12的步骤S31。

在步骤S31，向变量m追加1(m←m+1)。在步骤S32，判定m的值是否大于在列表Lj存储的三维点31(j)的数量(要素数量N)。当m大于要素数量N时，针对在列表Lj存储的N个的所有的三维点31(j)的近旁判定处理结束，已经将在列表Lj内的三维点31(j)的近旁的三维点存储到相同的列表Lj内。因此，结束向列表Lj追加三维点31(j)的处理，进入步骤S33。在除此以外的情况，针对列表Lj内的所有三维点31(j)的近旁判定处理没有结束，因此返回步骤S30，重复向列表Lj追加三维点31(j)的处理。

在步骤S33，向标签序号j追加1(j←j+1)，返回步骤S23。以后，重复与步骤S23～步骤S32相同的处理，求出与下次的标签序号j对应的连接集合32。

参照图6以及图14～图16，具体地说明以上的连接集合运算处理。开始连接集合运算处理时，图6所示的所有的三维点311～317不属于连接集合32，三维点311～317的标签序号为0(步骤S21)。从该状态生成标签序号1的连接集合32，因此例如选择三维点314时(步骤S23)，向该三维点314分配标签序号1后(314(1))，将三维点314存储到标签序号1的列表L1的第一个(步骤S26)。

接着，判定在列表L1的第一个三维点314的近旁、即与三维点314被测定的物品20相同的物品上是否存在标签序号0的三维点31(0)(步骤S30)。例如，如图14所示，假设在物品20表面上测定三维点313～315，313与314以及314与315分别仅隔着预定距离Δd以下的相同距离。此时，如图15所示，计算出与各三维点313～315对应的二维点513～515，作为图像40上的二维点51(步骤S30G)。其中，二维点513、514分别与相同物品上的三维点313、314对应，因此包含二维点513、514的局部图像区域521中的图像的明暗变化量在预定值以内。因此，判定三维点313、314存在于相同物品上(步骤S30I)，向三维点313分配标签序号1(313(1))，追加到列表L1的第二个(步骤S30J)。由此，连接三维点314与三维点315，列表L1的要素数量N成为2。

另一方面，二维点514、515分别与不同物品上的三维点314、315对应，因此如图16所示，包括二维点513、514的局部图像区域522中的图像的明暗变化量超过预定值。因此，判定三维点314、315不在相同物品上，不将三维点315追加到与三维点314相同的列表L1中。当针对在三维点314的近旁的所有的近旁三维点310(0)的近旁判定处理结束时，m成为2(＜N)(步骤S31)，与上述相同地，判定在列表L1的第二个三维点313的近旁、即与被测定三维点313的物品20相同的物品上，是否存在标签序号0的三维点31(0)(步骤S30)。

当m大于要素数量N时，结束标签序号1的列表L1的生成，将标签序号设成2(步骤S33)，重复相同的处理。在重复处理中，例如向标签序号0的三维点315分配标签序号2，将三维点315(2)、316(2)追加到列表L2中，向标签序号0的三维点317分配标签序号3，将三维点317(3)追加到列表L3中。由此，标签序号0的三维点31不存在，因此骤S24被否定，结束连接集合运算处理。

根据本实施方式，能够得到如下的作用效果。

(1)根据机器人控制装置14中的处理，从通过三维测定机11取得的多个三维点31中，选择相互在近旁的第一三维点31和第二三维点31(步骤S30A、步骤S30F)，根据由照相机12取得的图像数据，取得包括分别与第一三维点31以及第二三维点31对应的图像上的点(二维点51)的局部图像区域中的、表示物品20的表面梯度状态的图像梯度信息(步骤S30H)，根据第一三维点31和第二三维点31的三维位置信息以及取得的图像梯度信息，判定第一三维点31和第二三维点31是否在相同物品上(步骤S30I)，并且当判定第一三维点31和第二三维点31在相同物品上时，向这些三维点31分配相同的标签序号j，将这些包含在相同的连接集合32中。

因此，例如即使邻接地配置了相同形状的多个物品20的情况下，也无需跨多个物品20运算连接集合32，就能够将单一的物品20与单一的连接集合32对应起来。因此，能够根据连接集合32高精度地识别物品20，能够正确地进行物品取出作业。

(2)通过机器人控制装置14中的处理，计算出分别与第一三维点31和第二三维点31对应的图像上的二维点51(步骤S30B、步骤30G)，根据这些二维点51确定局部图像区域，当局部图像区域中的梯度状态没有变化时，判定第一三维点31和第二三维点31在相同物品上(步骤S30I)。因此，能够良好地判定第一三维点31和第二三维点31是否在相同物品上。

(3)此时，根据照相机12的校准数据能够取得各二维点51，因此能够容易地求出与三维点31对应的图像上的二维点51。

(4)使用部分图像区域中的图像的明暗变化量信息作为图像梯度信息，因此能够高精度地判断物品20的表面梯度状态。

(5)当通过三维测定机11测定出的第一三维点31与第二三维点31之间的距离在预定值Δd以下，并且局部图像区域中的图像的明暗变化量在预定值以下时，判定第一三维点31和第二三维点31在相同物品上。由此，能够高精度地判定多个三维点31是否在相同物品上。

(6)通过机器人控制装置14中的处理，根据属于连接集合32的三维点31的位置，求出代表连接集合32的位置以及姿势即代表位置姿势33(步骤S4)，根据该代表位置姿势33求出机械手位置姿势34(步骤S5)。由此，能够根据机械手15的种类等，恰当地设定物品20与机械手15的位置关系。

(7)通过机器人控制装置14中的处理，当组合属于连接集合32的所有的三维点31的重心位置与该重心位置中的预定的姿势来求出代表位置姿势33时，能够稳定地通过机械手15保持物品20。

(8)通过机器人控制装置14中的处理，当组合包括属于连接集合32的所有的三维点31的外接长方形的中心位置与预定的姿势来求出代表位置姿势33时，即使通过三维测定机11测量的物品上的三维点31中存在缺损，也能够稳定地运算物品20的中心作为代表位置姿势33，能够稳定地通过机械手15保持物品20。

另外，当求出连接集合32时，从由三维测定机11取得的多个三维点31中选择相互在近旁的第一三维点31和第二三维点31，根据由照相机12取得的图像数据，取得包括分别与第一三维点31以及第二三维点31对应的图像上的点51的局部图像区域中的、表示物品20的表面的梯度状态的图像梯度信息，根据第一三维点31和第二三维点31的三维位置信息以及取得的图像梯度信息，判定第一三维点31和第二三维点31是否在相同物品上，当判定第一三维点31和第二三维点31在相同物品上时，只要相同的连接集合包括第一三维点31和第二三维点31，则物品取出方法的结构可以采用任何形式。

图17是表示图1的机器人控制装置14的内部结构的框图。机器人控制装置14具有：连接集合运算部141、物品确定部142、机械手位置姿势运算部143以及机器人控制部144。连接集合运算部141具有：三维点选择部141A、梯度信息取得部141B以及判定部141C。

另外，在上述实施方式中，运算从第一三维点31起在预定距离内的近旁三维点310作为第二三维点31(步骤S30C)，但若选择相互在近旁的第一三维点31和第二三维点31，则三维点选择部141A的结构可以采用任何形式。

在上述实施方式中，取得局部图像区域中的图像的明暗变化量信息作为图像梯度信息(步骤S30H)，但若表示物品20的表面的梯度状态，则图像梯度信息可以采用任何形式，梯度信息取得部141B的结构并不局限于上述的结构。在上述实施方式中，通过判定局部图像区域内的图像的明暗变化量是否在预定值以下(步骤S30I)，来判定第一三维点31和第二三维点31是否在相同物品上，但若根据第一三维点31和第二三维点31的三维位置信息以及由梯度信息取得部141B取得的图像梯度信息，来判定第一三维点31和第二三维点31是否在相同物品上，则判定部141C的结构并不局限于上述的结构。即，若根据由三维测定机11取得的三维点的三维位置信息以及由照相机12取得的图像数据，从由三维测定机11取得的多个三维点31中求出连接相互在近旁的三维点31而构成的连接集合32，则连接集合运算部141的结构也可以采用任何形式。

在上述实施方式中，根据属于连接集合32的三维点31的位置信息，运算代表连接集合32的代表位置姿势33(步骤S3)，但若确定通过连接集合32表示的物品20的位置以及姿势，则物品确定部142的结构并不局限于上述的结构。在此，代表连接集合32的位置以及姿势是代表物品20的位置以及姿势，确定物品20的位置以及姿势表示求出代表物品的位置以及姿势来确定物品20的配置。在上述实施方式中，根据代表位置姿势33运算机械手位置姿势34(步骤S4)，但若求出可取出被确定的物品20的机械手位置姿势34作为代表位置姿势33，则机械手位置姿势运算部143结构并不局限于上述的结构。当对机器人13进行控制以便向机械手位置姿势34移动机械手14来取出物品20时，机器人控制部144的结构也可以采用任何形式。

能够任意地组合上述实施方式与变形例的一个或多个。

根据本发明，当识别放置在三维空间中的物品的位置以及姿势时，根据由照相机取得的图像数据取得图像梯度信息，使用通过三维测定机测定出的三维点的三维位置信息以及图像梯度信息求出多个三维点的连接集合，使用连接集合确定物品的位置以及姿势。因此，不需要生成物品模型模式，并且也不需要用户的指示作业，就能够容易地识别物品的位置以及姿势。

以上，关联恰当的实施方式对本发明进行了说明，但本领域的技术人员理解在不脱离权利要求的公开范围的情况下能够进行各种修正以及变更。

Claims (8)

1.一种物品取出装置，其特征在于，具备：

机器人(13)，其具有可保持物品(20)的机械手(15)；

三维测定机(11)，其测定放置在三维空间中的多个物品的表面位置，取得多个三维点(31)的位置信息；

照相机(12)，其拍摄包括所述多个物品的区域，取得图像数据；

连接集合运算部(141)，其根据由所述三维测定机取得的多个三维点的位置信息以及由所述照相机取得的图像数据，从该多个三维点中求出连接相互在近旁的三维点而构成的连接集合(32)；

物品确定部(142)，其根据属于所述连接集合的三维点的位置信息，确定物品的位置以及姿势；

机械手位置姿势运算部(143)，其求出可取出由所述物品确定部确定的物品的所述机械手的位置以及姿势即机械手位置姿势(34)；以及

机器人控制部(144)，其对所述机器人进行控制，以便向由所述机械手位置姿势运算部求出的机械手位置姿势移动所述机械手来取出所述物品，

所述连接集合运算部具有：

三维点选择部(141A)，其从由所述三维测定机取得的多个三维点中选择相互在近旁的第一三维点(31)和第二三维点(31)；

梯度信息取得部(141B)，其根据由所述照相机取得的图像数据，取得包含分别与所述第一三维点以及所述第二三维点对应的图像上的点的部分图像区域中的、表示物品表面的梯度状态的图像梯度信息；以及

判定部(141C)，其根据所述第一三维点的位置信息、所述第二三维点的位置信息以及由所述梯度信息取得部取得的所述图像梯度信息，判定所述第一三维点和所述第二三维点是否在相同物品上，

当通过所述判定部判定为所述第一三维点和所述第二三维点在相同物品上时，将所述第一三维点和所述第二三维点包括在相同的连接集合中。

2.根据权利要求1所述的物品取出装置，其特征在于，

所述梯度信息取得部取得分别与所述第一三维点以及所述第二三维点对应的图像中的点，即用于确定所述部分图像区域的第一二维点(51)以及第二二维点(51)，

当所述第一三维点与所述第二三维点之间的距离在预定值以下，并且所述部分图像区域中的图像的明暗变化量在预定值以下时，所述判定部判定为所述第一三维点与所述第二三维点在相同物品上。

3.根据权利要求2所述的物品取出装置，其特征在于，

所述梯度信息取得部根据所述照相机的校准数据，取得所述第一二维点以及所述第二二维点。

4.根据权利要求1～3中的任一项所述的物品取出装置，其特征在于，

所述物品确定部根据属于所述连接集合的三维点的位置信息，求出代表所述连接集合的位置以及姿势即代表位置姿势(33)，

所述机械手位置姿势运算部根据该代表位置姿势求出所述机械手位置姿势。

5.根据权利要求4所述的物品取出装置，其特征在于，

所述物品确定部将属于所述连接集合的所有的三维点的重心位置与在该重心位置处的预定姿势进行组合，求出所述代表位置姿势。

6.根据权利要求4所述的物品取出装置，其特征在于，

所述物品确定部将包括属于所述连接集合的所有三维点的外接长方形的中心位置与预定的姿势进行组合，求出所述代表位置姿势。

7.根据权利要求1～6中的任一项所述的物品取出装置，其特征在于，

所述三维测定机具有所述照相机。

8.一种物品取出方法，其使用具有可保持物品(20)的机械手(15)的机器人(13)，取出放置在三维空间中的物品，其特征在于，

通过三维测定机(11)测定放置在所述三维空间中的多个物品的表面位置，取得多个三维点(31)的位置信息；

通过照相机(12)拍摄包括所述多个物品的区域来取得图像数据；

根据由所述三维测定机取得的多个三维点(31)的位置信息以及由所述照相机取得的图像数据，从该多个三维点中求出连接相互在近旁的三维点而构成的连接集合(32)；

根据属于所述连接集合的三维点的位置信息，确定物品的位置以及姿势；

求出可取出所述位置以及姿势被确定的物品的所述机械手的位置以及姿势即机械手位置姿势(34)；

对所述机器人进行控制，以便向所述机械手位置姿势移动所述机械手来取出所述物品；

当求出所述连接集合时，

从由所述三维测定机取得的多个三维点中选择相互在近旁的第一三维点(31)和第二三维点(31)；

根据由所述照相机取得的图像数据，取得包含分别与所述第一三维点以及所述第二三维点对应的图像上的点的部分图像区域中的、表示物品的表面的梯度状态的图像梯度信息；

根据所述第一三维点的位置信息、所述第二三维点的位置信息以及所述图像梯度信息，判定所述第一三维点和所述第二三维点是否在相同物品上，

当判定为所述第一三维点和所述第二三维点在相同物品上时，将所述第一三维点和所述第二三维点包括在相同的连接集合中。