CN103659838B - 用机器人取出散装物品的装置和方法 - Google Patents

Abstract

本发明提供一种用机器人取出散装物品的装置和方法。本发明的物品取出装置具备：三维测定机，其测定在三维空间中散装的多个物品的表面位置，取得多个三维点的位置信息；连结集合计算部，其从取得的多个三维点中，求出将相互位于近旁的三维点连结而得的连结集合；物品确定部，其根据属于连结集合的三维点的位置信息，确定物品的位置和姿势；机械手位置姿势计算部，其求出能够取出所确定的物品的机械手的位置和姿势即机械手位置姿势；机器人控制部，其对机器人进行控制使得机械手向该机械手位置姿势移动而取出物品。

Description

用机器人取出散装物品的装置和方法

技术领域

本发明涉及一种物品取出装置和物品取出方法，识别在三维空间中散装的物品的位置和姿势，用机器人取出识别出的物品。

背景技术

作为这种装置，以前已知针对用照相机摄像散装的物品所得的二维图像、通过三维测定机测定所得的三维点集合，利用图案匹配来识别物品的位置的装置。

例如，在日本特开2004-295223号公报（JP2004-295223A）记载的装置中，预先根据摄像处于基准三维相对姿势的物品所得的二维图像生成二维模型图案，对二维模型图案实施二维的几何学变换，生成多个变换二维模型图案，使用多个变换二维模型图案，对物品的二维图像进行二维图案匹配。

另外，例如在日本特开2011-179909号公报（JP2011-179909A）记载的装置中，事先从CAD模型等取得物品的三维模型图案，另一方面用三维测定机测定三维空间中的物品的表面，取得三维点集合（距离图像），将三维点集合分割为被从三维点集合提取的边沿围住的部分区域。另外，首先将一个部分区域设定为物品区域，重复进行三维模型图案与该物品区域的匹配处理、向物品区域追加其他部分区域的更新处理的2个处理，由此测量物品的位置和姿势。

但是，JP2004-295223A和JP2011-179909A所记载的装置必须预先对每个物品-品种生成二维模型图案或三维模型图案，需要时间。特别在物品有多品种的情况下，必须生成品种数量的模型图案，需要极大的时间。另外，在不定形的物品的情况下，原本就无法生成模型图案，无法适用。

发明内容

根据本发明的一个形式，物品取出装置具备：机器人，其具有能够保持物品的机械手；三维测定机，其测定在三维空间中散装的多个物品的表面位置，取得多个三维点的位置信息；连结集合计算部，其从通过三维点测定机取得的多个三维点中，求出将相互位于近旁的三维点连结起而得的连结集合；物品确定部，其根据属于连结集合的三维点的位置信息，确定物品的位置和姿势；机械手位置姿势计算部，其求出能够取出由物品确定部确定的物品的机械手的位置和姿势即机械手位置姿势；机器人控制部，其对机器人进行控制使得机械手向由机械手位置姿势计算部求出的机械手位置姿势移动来取出物品。

另外，根据本发明的其他形式，是一种物品取出方法，其使用具有能够保持物品的机械手的机器人，取出在三维空间中散装的物品，该物品取出方法用三维测定机测定散装的多个物品的表面位置，取得多个三维点的位置信息，从通过三维点测定机取得的多个三维点中，求出将相互位于近旁的三维点连结而得的连结集合，根据属于连结集合的三维点的位置信息，确定物品的位置和姿势，求出能够取出位置和姿势已确定的物品的机械手的位置和姿势即机械手位置姿势，对机器人进行控制使得机械手向机械手位置姿势移动来取出物品。

附图说明

通过与附图关联的以下的实施方式的说明，能够进一步了解本发明的目的、特征、优点。在该附图中，

图1是表示本发明的一个实施方式的物品取出装置的概要结构的图。

图2是表示通过图1的机器人控制装置执行的处理的一个例子的流程图。

图3是表示通过图1的三维测定机取得的三维点集合的一个例子的图。

图4是表示从图3的三维点集合中求出的连结集合的一个例子的图。

图5是表示基于图4的各连结点集合的三维点的位置的代表位置姿势的一个例子的图。

图6是表示与图5的代表位置姿势对应的机械手位置姿势的一个例子的图。

图7是表示图6的机械手位置姿势的编号的一个例子的图。

图8是表示与构成图1的物品取出装置的机械手的保持部对应的编号的一个例子的图。

图9是表示本发明的实施方式的物品取出装置的动作的一个例子的图。

图10是表示接着图9的动作的一个例子的图。

图11是表示接着图10的动作的一个例子的图。

图12是表示接着图11的动作的一个例子的图。

图13是表示接着图12的动作的一个例子的图。

图14是表示求出图2的连结集合的处理的详细的流程图。

图15是说明连结集合的概念图。

图16是表示图1的机器人控制装置的内部结构的框图。

具体实施方式

以下，参照图1～图16说明本发明的实施方式的物品取出装置。图1是表示本发明的一个实施方式的物品取出装置10的概要结构的图。物品取出装置10具有三维测定机11、机器人12、与三维测定机11和机器人12连接而控制机器人12的机器人控制装置13。机器人12具有安装在臂12a的前端部的机械手14。在机器人12的侧方配置有容器16。另外，在图1中，同时表示了XYZ的正交3轴坐标系。Z方向是铅垂方向，X方向和Y方向是水平方向，容器16被表示在XZ平面上。

在上方开放的容器16内，散装有多个物品20。本实施方式的物品取出装置10从该多个物品20散装的状态识别应该取出的物品20的位置和姿势，从容器16中用机械手14取出所识别出的物品20并保持，通过机器人12的动作向容器16外的预定位置输送。多个物品20被表示为相互相同的形状，但也可以是不定形的，还可以包含多个品种。另外，以下，有时为了与容器16内的其他物品区别而将用机械手14保持的物品20称为保持物品21（参照图11）。

机械手14具有能够通过未图示的升降机构升降的一对保持部14a。保持部14a通常如图1所示处于上升状态。在从该上升状态下降而保持物品20后，再次上升。由此，保持物品21被取出到其他物品20的上方（保持部14a上升的方向），在通过机器人12的动作输送保持物品21时，能够避免保持物品21、机械手14与容器16内的其他物品20的冲撞。

三维测定机11被配置在容器16的中央部分上方，测定在容器16内散装的物品20中的露出的物品20的表面，取得多个三维点的位置信息（三维信息）。三维测定机11的测定范围必须包含容器16，但如果测定范围过大则造成测定分辨率的降低。因此，理想的是测定范围与容器16的占有范围同等，例如与容器16的占有范围一致。另外，在图1中，三维测定机11被固定在专用的架台15上，但也可以将三维测定机11安装在机器人12的前端部。通过通信电缆等通信部将三维测定机11和机器人控制装置13相互连接起来，使得能够相互通信。

作为三维测定机11，能够利用各种非接触方式的三维测定机11。例如，可以列举照相机2台的立体方式、扫描激光狭缝光的方式、扫描激光点光的方式、使用投影仪等装置将图案光投影到物品的方式、利用从光从投光器出射到在物品表面反射而入射到受光器为止的飞行时间的方式等。

三维测定机11用距离图像或三维图表这样的形式表现所取得的三维信息。距离图像是指以图像形式表现三维信息的图像，通过图像的各像素的亮度、颜色来表示该图像上的位置的高度或离三维测定机11的距离。另一方面，三维图表是指将三维信息表现为所测定的三维坐标值（x，y，z）的集合。在本实施方式中，将距离图像中的各像素、三维图表中的具有三维坐标值的点称为三维点，将由多个三维点构成的集合称为三维点集合。三维点集合是用三维测定机11测定的三维点全体的集合，能够通过三维测定机11取得。

机械手14能够取出物品20、并且保持，但作为机械手的可能的形式，例如可以列举吸嘴、吸附用磁铁、吸附垫、或夹盘等。机械手14通过机器人12的动作控制其位置姿势。

图2是表示通过机器人控制装置13执行的处理、特别是与物品取出相关的处理的一个例子的流程图。以下，参照图2的流程图和关联的附图，说明物品取出装置10的动作。

例如如果通过未图示的操作开关的操作，输入了物品20的取出开始指令，则开始图2的处理。首先，用三维测定机11测定在三维空间中散装的多个物品20的表面，取得三维点集合30（步骤S1）。图3是表示用三维测定机11取得的三维点集合30、构成三维点集合30的三维点31的一个例子的图。在图中，用黑圈表示三维点31，将三维点集合30表示为包含黑圈全体的用虚线围住的区域。

接着，根据三维点集合30求出一个以上的连结集合32（步骤S2）。图4是表示根据三维点集合30求出的连结集合32的一个例子的图。在图1中，将连结集合32表示为用虚线围住的区域。即，在图4中，表示出4个连结集合32。

此处所述的连结集合32是指三维点集合30的部分集合，在任意的三维点（第一三维点）31的近旁存在与该三维点31不同的其他三维点（第二三维点）31的情况下，是将第一三维点31和第二三维点31连结起来所得的集合。例如，如图15所示测定多个三维点31（用311～317表示），在311和312、312和313、313和314、315和316分别存在于预定距离内的情况下，它们被相互连结。在该情况下，311和314也经由312和313被连结，311～314构成同一连结集合321。另一方面，315和316与311～314的任意一个都不连结，因此构成其他的连结集合322。317与311～316的任意一个都不连结，因此只有317构成连结集合323。即，连结集合32是指将相互存在于近旁的三维点连结所得的三维点的集合。

在通过三维测定机11测定散装的物品20的平面的情况下，同一物品20上的相邻的三维点31（例如图4的31a、31b）相互位于近距离。与此相对，在物品20的边界部，相邻的三维点（例如图4的31b、31c）的位置有很大变化。因此，相对于三维点31a、31b属于同一连结集合32，三维点31b、31c属于相互不同的连结集合32，能够根据连结集合32确定物品20。另外，将在后面说明求出连结集合32的具体处理（图14）。

接着，根据属于同一连结集合32的三维点31的位置，求出代表各个连结集合32的代表位置姿势33（步骤S3）。连结集合32用于确定物品20露出的表面，因此代表位置姿势33为代表物品20的位置和姿势。即，步骤S3是使用连结集合32确定物品20的位置和姿势的处理，由此能够识别物品20的位置和姿势。另外，根据由三维测定机11取得的三维点31的位置信息确定物品20的位置和姿势。即，根据测定物品20的露出部得到的三维点31，通过计算求出。因此，即使物品20的配置相同，如果露出状况不同，所确定的物品20的位置和姿势也不同。即，物品20的位置和姿势并不与物品20的配置对应地唯一地被确定，而与物品20的表面的露出状况对应地被确定。

图5是表示根据属于连结集合32的三维点31的位置而计算出的代表位置姿势33的一个例子的图。用交叉成直角的一对箭头33a、33b表示代表位置姿势33，这是因为用正交坐标系表示代表位置姿势33。在图5中，用2个箭头33a、33b表示代表位置姿势33。但代表位置姿势33并不是二维空间中的，而是三维空间中的位置姿势。

代表位置姿势33的求出方法有若干个方法。首先，作为第一个例子，有组合属于连结集合32的三维点31的重心位置和预定的姿势（例如箭头33a朝向铅垂方向上方的姿势）而作为代表位置姿势33的方法。在重心位置的计算中，可以利用属于连结集合32的全部三维点31，也可以另外导入异常值对策等处理，利用挑选出的三维点31。作为异常值对策，例如首先在重心计算中利用属于连结集合32的全部的三维点31而求出重心位置，在重心计算中利用的三维点31中存在与重心位置的距离为预定距离以上的三维点31的情况下，按照与重心位置的距离从大到小的顺序，从在重心计算中利用的三维点31中除去预定比例的三维点31。然后，在重心计算中利用剩余的三维点31重新计算重心位置。重复进行该处理直到在重心计算中利用的全部三维点31从重心位置收敛到预定距离内为止即可。

作为第二例子，有以下的方法，即根据属于连结集合32的三维点31的位置求出平面，组合该平面上的1个点（例如成为重心的点）的位置和基于该平面的法线方向的姿势作为代表位置姿势33。平面可以使用属于连结集合32的全部三维点31通过最小二乘法求出，也可以另外导入任意的异常值对策的处理而求出。作为异常值对策的方法，有M推定法、RANSAC、LMedS、霍夫变换等若干个方法。通过使用霍夫变换等处理，在连结集合32跨过多个物品20的表面的情况下，也能够从其中提取一个平面而识别。

连结集合32跨过多个物品20的表面的情况是物品20的边界部的三维点31（例如图4的31b、31c）相互位于近距离的情况，在该情况下，三维点31b、31c属于同一连结集合32。另外，进行霍夫变换来判定连结集合32内的多个三维点31是否位于同一平面上，如果判定为位于相互不同的平面上，则也可以将连结集合32分割为与各平面对应的连结集合（例如包含三维点31b的连结集合32和包含三维点31c的连结集合32）。由此，能够修正连结集合32，对每个物品20高精度地求出连结集合32。

作为第三个例子，有以下的方法，即根据属于连结集合32的三维点31的位置求出曲面，组合该曲面上的一个点（例如与重心最近的曲面上的点）的位置和基于该位置处的曲面的法线方向的姿势作为代表位置姿势33。曲面可以使用属于连结集合32的全部三维点31通过最小二乘法求出，也可以另外导入任意的异常值对策的处理而求出。作为异常值对策的方法，有M推定法、RANSAC、LMedS、霍夫变换等若干个方法。通过使用霍夫变换等处理，在连结集合32跨过多个物品的表面的情况下，也能够从其中提取一个平面而识别。

作为第四个例子，有以下的方法，即根据属于连结集合32的各三维点31的位置求出孔，将该孔的位置和姿势（穿设孔的方向）作为代表位置姿势33。该方法在物品20设置有孔的情况下有效。如果表示一个例子，则首先判定在连结集合32内是否有预定面积以上的不存在三维点31的封闭区域（三维点不存在区域），如果判定为有三维点不存在区域，则假定该三维点不存在区域是孔。接着，求出位于孔的边缘的三维点31的重心位置，将其作为孔的位置。进而，根据位于孔的边缘的三维点31的位置求出平面，将基于该平面的法线方向的姿势作为孔的姿势。

图5表示了通过上述4个例子中的第二个例子求出代表位置姿势33的情况。在步骤S3中，计算存在属于连结集合32的三维点31的区域的面积，不从面积小于预定值的连结集合32（图4的32a）取得代表位置姿势33。即，只针对被判断为表面充分露出的连结集合32，求出代表位置姿势33。没有求出代表位置姿势33的连结集合32a不成为物品取出的对象。由此，能够防止机械手14接近由连结集合32a表示的物品20、即上面的一部分被其他物品20覆盖的深侧的物品20，能够抑制机械手14和取出对象以外的物品20冲撞。

接着，求出与各个代表位置姿势33对应的机械手位置姿势34（步骤S4）。图6是表示与代表位置姿势33对应的机械手位置姿势34的一个例子的图。机械手位置姿势34与代表位置姿势33同样地用交叉成直角的一对箭头34a、34b表示。

机械手位置姿势34的位置（箭头34a、34b的交点）以及姿势（箭头34a、34b的方向）的求出方法分别有若干个方法。关于位置，例如有直接将代表位置姿势33的位置作为机械手位置姿势34的位置的方法。作为其他的例子，还有将相对于代表位置姿势33的位置沿着预定的坐标轴35（例如Z轴）的方向移动了预定长度后的位置作为机械手位置姿势34的位置的方法。图6在后者的例子中表示位置。关于姿势，例如有直接将代表位置姿势33的姿势作为机械手位置姿势34的姿势的方法。作为其他的例子，还有以下的方法，即在代表位置姿势33的位置接近容器16的壁的情况下，为了避免壁和机械手14的冲撞的目的，使机械手14向从壁离开的方向倾斜。图6在前者的例子中表示姿势。

接着，对各个机械手位置姿势34编号为P1、P2、……、Pn（步骤S5）。其中，n是机械手位置姿势34的个数。图7是表示被编号的机械手位置姿势34的图，按照与预定的坐标轴35对应的坐标值的降序、即从位于高的位置开始顺序地编号。另外，在图7中，表示n=3的例子。

接着，对机械手14的保持部14a编号为H1、H2、……、Hm（步骤S6）。其中，m是保持部14a的个数。图8表示被编号的保持部14a，在图8中，表示m=2的例子。

接着，向取自然数值的变量j、k赋予初始值。即，将1代入到j（j←1），将1代入到k（k←1）（步骤S7）。变量j用于指定保持部14a的编号，变量k用于指定机械手位置姿势34的编号。以下，用Hj表示与变量j对应的保持部14a，用Pk表示与变量k对应的机械手位置姿势34。

接着，如图9所示，向保持部Hj驱动用的致动器（电动机或汽缸）输出控制信号，使保持部Hj下降，并且向机器人驱动用的致动器（电动机）输出控制信号，通过机器人12的动作使保持部Hj向机械手位置姿势Pk移动（步骤S8）。针对变量的初始值j=1、k=1，Hj=H1、Pk=P1。

接着，向保持部Hj驱动用的致动器输出用于保持物品20的控制信号，如图10所示，在保持部Hj的下端面保持物品20（保持物品21）（步骤S9）。例如，在保持部Hj具有吸引嘴的情况下，使真空泵动作，通过吸引力吸引、保持保持物品21。在保持部Hj具有吸附用磁铁的情况下，在电磁线圈中流过电流而使磁铁动作，通过磁力吸附、保持保持物品21。在保持部Hj是夹盘的情况下，通过使夹盘打开或闭合，来保持保持物品21。

接着，如图11所示，向保持部Hj驱动用的致动器输出控制信号，使保持了保持物品21的保持部Hj上升（步骤S10）。在使保持部Hj上升，从而通过机器人12的动作使机械手14移动时，能够避免保持物品21、保持部Hj与其他物品20的冲撞。

接着，判定保持部Hj对保持物品21的保持是否成功（步骤S11）。例如在保持部Hj具有吸引嘴的情况下，根据吸引时的空气的流量、压力的变化来判定保持是否成功即可。在保持部Hj具有吸附用磁铁的情况下，通过接近传感器判定是否存在保持物品21，根据其存在与否来判定保持是否成功即可。在保持部Hj具有夹盘的情况下，通过开闭确认传感器确认夹盘的开闭状态，判定保持是否成功即可。如果判定为保持成功，则前进到步骤S12。如果判定为保持不成功，则前进到步骤S14。

在步骤S12中，判定是否j<m。该判定是在m个（在图11中是2个）保持部Hj中是否存在还没有保持物品21的保持部Hj的判定。如果判定为j<m，则保持部Hj+1还没有保持保持物品21，因此将j加1而j←j+1（步骤S13），前进到步骤S14。如果判定为不是j<m，则全部的保持部Hj保持了保持物品21，因此前进到步骤S16。

在步骤S14中，判定是否k<n。该判定是在n个（在图11中是3个）机械手位置姿势34中是否存在保持部Hj还未到达的判定。如果判定为k<n，则保持部Hj还未到达机械手位置姿势Pk+1，因此将k加1而k←k+1（步骤S15），返回到步骤S8。然后，如图12所示，使下一个保持部Hj下降，同时通过机器人12的动作移动到下一个机械手位置姿势Pk。另外，图12是Hj=H2、Pk=P2的例子。接着，向该保持部Hj输出物品吸附用的控制信号，如图13所示，保持下一个保持物品21（步骤S9）。如果在步骤S14中判定为不是k<n，则保持部Hj到达了全部n个机械手位置姿势34，因此前进到步骤S16。

在步骤S16中，向机器人驱动用致动器输出控制信号，使机械手14移动到预定位置。由此，通过机器人12的动作将保持物品21输送到预定位置。然后，向保持部Hj驱动用致动器输出控制信号，从保持部Hj卸下保持物品21。至此，1个周期的处理结束。另外，与有未到达的机械手位置姿势34无关（k<n），在通过全部的保持部Hj保持了保持物品21的情况下（j≥m），在步骤S16将保持物品21输送到预定位置而从保持部Hj卸下后，将保持部Hj的编号j设为初始值1，重复进行步骤S8以后的处理。

在此，说明用于求出连结集合32的处理、即图2的步骤S2的具体处理。图14是表示用于求出连结集合32的处理（连结集合计算处理）的一个例子的流程图。

首先，在步骤S21中，作为初始的标签编号，向属于三维点集合30的全部三维点31分配表示哪个连结集合32都不属于的标签编号0。以下，用31（j）表示被分配了作为自然数的标签编号j的三维点31。标签编号j是与连结集合32对应地分配的编号，如果分配了不是0的相同的标签编号j，则属于同一连结集合32。接着，在步骤S22中，为了求出第一个连结集合32，将标签编号j设为1（j←1）。

接着，在步骤S23中，选择属于三维点集合30的三维点31、即标签编号是0的任意的三维点31（0）。在步骤S24中，判定是否选择了标签编号是0的三维点31（0），如果是肯定的，则前进到步骤S25。在没有选择三维点31（0）的情况下，属于三维点集合30的全部三维点31属于任意一个连结集合32。在该情况下，步骤S24是否定的，连结集合计算处理结束，前进到图2的步骤S3。

在步骤S25中，准备用于存储标签编号是j的三维点31（j）的列表Lj。在步骤S26中，向在步骤S24中选择出的三维点31（0）分配标签编号j后，向列表Lj追加该三维点31（j）。在步骤S27中，向取自然数值的变量k赋予初始值1（k←1）。k是指定包含在列表Lj中的三维点31（j）的编号。另外，假设在列表Lj中按照所追加的顺序排列所追加的三维点31（j）。

在步骤S28中，判定在列表Lj的第k个三维点31（j）的近旁是否存在标签编号是0的三维点31（0）。如果步骤S28是肯定的，则前进到步骤S29，如果是否定的，则跳过步骤S29前进到步骤S30。在步骤S29中，在向被判定为存在于列表Lj的第k个三维点31（j）的近旁的全部三维点31（0）分配标签编号j后，向列表Lj的最后追加这些三维点31（j）。在步骤S30中，向变量k追加1（k←k+1）。

在步骤S31中，判定k的值是否大于存储在列表Lj中的三维点31（j）的个数（要素数N）。在k比要素数N大的情况下，对存储在列表Lj中的全部N个三维点31（j）的近旁判定的处理结束，列表Lj内的位于三维点31（j）的近旁的三维点已经被存储在同一列表Lj内。因此，向列表Lj追加三维点31（j）的处理结束，前进到步骤S32。在除此以外的情况下，对列表Lj内的全部三维点31（j）的近旁判定处理没有结束，因此返回到步骤S28，重复进行向列表Lj追加三维点31（j）的处理。

在步骤S32中，向标签编号j追加1（j←j+1），返回到步骤S23。以后，重复进行与步骤S23～步骤S32相同的处理，求出与下一个标签编号j对应的连结集合32。

参照图15具体说明以上的连结集合计算处理。在连结集合计算处理开始时，全部的三维点311～317不属于连结集合32，三维点311～317的标签编号是0（步骤S21）。根据该状态生成标签编号1的连结集合32，因此例如如果选择了三维点313（步骤S23），则在向该三维点313分配了标签编号1后（313（1）），将三维点313存储在标签编号1的列表L1的第一个中（步骤S26）。

接着，判定在列表L1的第一个三维点313的近旁，是否存在标签编号0的三维点31（0）（步骤S28）。在该情况下，存在标签编号0的三维点312、315，因此分别向这些三维点312、314分配标签编号1（312（1）、314（1）），分别追加到列表L1的第2个和第3个（步骤S29）。由此，列表L1的要素数N为3。

然后，k成为2（<N）（步骤S30），判定在列表L1的第2个三维点312的近旁是否存在标签编号0的三维点31（0）（步骤S28）。在该情况下，存在标签编号0的三维点311，因此向该三维点311分配标签编号1（311（1）），追加到列表L1的第4个（步骤S29）。由此，列表L1的要素数N成为4。

然后，k成为3（<N）（步骤S30），判定在列表L1的第3个三维点314的近旁是否存在标签编号0的三维点31（步骤S28）。在该情况下，在三维点314的近旁不存在标签编号0的三维点31，因此要素数N保持4，k成为4（步骤S30），判定在列表L1的第4个三维点311的近旁是否存在标签编号0的三维点31（0）（步骤S28）。在该情况下，在三维点311的近旁不存在标签编号0的三维点31，因此要素数N保持4，k成为5（步骤S30）。

这时，k比要素数N大，因此结束标签编号1的列表L1的生成，将标签编号设为2（步骤S32），重复进行同样的处理。在重复的处理中，例如向标签编号0的三维点315、316分配标签编号2，向列表L2追加三维点315（2）、316（2），向标签编号0的三维点317分配标签编号3，向列表L3追加三维点317（3）。由此，不存在标签编号0的三维点31，因此步骤S24是否定的，结束连结集合计算处理。

在以上的处理中，在求出连结集合32时，通过具有作为近旁判定部130（图16）的功能的机器人控制装置13内的处理，判定在三维点31的近旁是否存在三维点31（步骤S28）。在近旁判定部中，例如预先与XYZ的三维的坐标系对应地确定预定距离a，在属于三维点集合30的第一三维点31（例如图15的311）和第二三维点31（例如图15的312）之间的距离D为预定距离a以内的情况下，判定为在第一三维点311的近旁存在第二三维点312即可。在不是XYZ的三维的坐标系，而与XY的二维的坐标系和Z的一维的坐标系对应地分别确定预定距离xya、za，求出与XY的二维的坐标系和Z的一维的坐标系有关的三维点311、312之间的距离Dxy、Dz，该距离Dxy、Dz分别在预先确定的预定值xya、za以内时，判定为在第一三维点311的近旁存在第二三维点312即可。

在用距离图像的形式表示三维点集合30，纵横等间隔地排列距离图像的各像素时，近旁判定部例如可以如下这样进行三维点之间的近旁判定。即，定义成为距离图像的各像素的亮度的尺度的一维坐标系，针对一维坐标系，定义与预定距离对应地表示亮度的差的阈值。在第一三维点和第二三维点是在距离图像上相邻的像素，并且对应的像素之间的亮度的差为阈值以内时，判定为在第一三维点的近旁有第二三维点即可。

根据本实施方式，能够起到以下这样的作用效果。

（1）用三维测定机11测定在三维空间中散装的物品20的表面位置，取得多个三维点31的位置信息。进而，通过机器人控制装置13中的处理，求出从三维点集合30中将相互位于近旁的三维点31连结起来所得的连结集合32（步骤S2），根据属于连结集合32的三维点31的位置信息，求出能够取出物品20的机械手14（保持部14a）的位置姿势（机械手位置姿势34）（步骤S3～步骤S4），控制机器人12使得机械手14移动到所求出的机械手位置姿势34，从容器内取出物品21（步骤S8～步骤S10）。

这样求出的连结集合32反映了朝向三维测定机11露出的物品表面的位置和姿势（倾斜），能够与图案匹配等无关地确定物品20的位置和姿势。因此，不需要生成物品20的模型图案，即使是多品种、不定形的物品20，也能够容易地识别其位置和姿势，保持物品20。另外，对于追加的新品种的物品20，也能够不追加模型图案地识别其位置和姿势，能够避免物品20的位置姿势的识别失败、错误识别、或物品20的取出失败、冲撞等问题。其结果是能够使机械手14高速地向位于上方的容易取出的物品20移动而高效地取出物品20。

与此相对，例如在使用物品的二维模型图案通过二维图案匹配识别物品的位置的方法（第一比较例子的方法）中，必须生成二维模型图案，需要时间。特别在物品有多品种的情况下，必须生成品种数量的模型图案，需要极大的时间。进而，在第一比较例子的方法中，与本实施方式相比存在以下这样的问题点。散装的物品20为各种姿势，在进行与各姿势对应的二维图案匹配的情况下，例如必须利用实施二维几何学变换所得的变换二维模型图案，但该方法只能应用于平面的物品。如果要将二维图案匹配应用于普通的立体物品，则考虑到在几何学变换中无法完全补足的观点的多样性，即使只针对物品的一个品种也必须从正、反、横、斜的几个方向生成二维模型图案。进而，如果考虑到对多品种的对应，则必须生成乘以品种数的巨大数量的二维模型图案，需要极大的时间。另外，在不定形的物品的情况下，无法生成二维模型图案，因此无法识别其位置。散装的物品20由于照明的命中情况差、或留下其他物品20的影子、或物品20发生了超乎设想以上的倾斜，因此摄像条件差。因此，有可能产生物品20的位置姿势的识别失败、错误识别，或位于上方的应该取出的物品的位置识别失败，或位于下方的物品的位置先被识别。如果朝向被误识别的物品位置姿势、位于下方的物品位置地控制机器人12的机械手14的位置姿势，则有可能造成取出物品20失败而装置的操作效率降低，或机械手14与物品20冲撞而使它们损伤。如果要避免损伤，则必须延迟机器人12的移动速度，操作效率恶化。

另外，例如在使用物品的三维模型图案通过三维图案匹配识别物品的位置的方法（第二比例例子的方法）中，也必须生成三维模型图案，需要时间。特别在物品有多品种的情况下，必须生成品种数量的模型图案，需要极大的时间。进而，在第二比较例子的方法中，与本实施方式相比，存在以下这样的问题点。不定形的物品无法生成三维模型图案，因此无法识别其位置。散装的物品20在无法取得不朝向三维测定机11一侧的三维点31的基础上，还对倾斜较大的相邻的物品产生障碍，因此摄像条件差。因此，越是能够通过三维图案匹配确定物品的三维姿势，则越是难以得到质/量都充分的三维点集合，有可能产生物品的位置姿势的识别失败、错误识别，或位于上方的应该取出的物品的位置识别失败，或位于下方的物品的位置先被识别。如果朝向被误识别的物品位置姿势、位于下方的物品位置地控制机器人12的机械手14的位置姿势，则有可能造成取出物品20失败而装置的操作效率降低，或机械手14与物品20冲撞而使它们损伤。如果要避免损伤，则必须降低机器人12的移动速度，操作效率恶化。

（2）通过机器人控制装置13中的处理，判定属于三维点集合30的任意三维点31（第一三维点）和与之不同的其他三维点31（第二三维点）之间的与预定的坐标系（例如XYZ坐标系）有关的距离D是否为预先确定的预定距离a以内，如果判定为预定距离a以内，则向第一三维点31和第二三维点31分配相同的标签编号j，将它们连结起来（步骤S28、步骤S29）。因此，能够容易并且高精度地生成表示各物品20的表面的位置姿势的连结集合32。另外，与将三维点集合30分割为由从三维点集合30中提取出的边沿围住的局部区域的方法相比，在三维点集合30的数据有缺陷的情况下，也能够识别能够稳定地保持物品20的面的位置和姿势。

（3）通过机器人控制装置13中的处理，根据属于连结集合32的三维点31的位置，求出代表连结集合32的位置和姿势即代表位置姿势33，与该代表位置姿势33对应地求出机械手位置姿势34（步骤S3、步骤S4）。由此，能够与机械手14的种类等对应地适当地设定物品20与机械手14之间的位置关系。

（4）通过机器人控制装置13中的处理（步骤S3），如果要组合属于连结集合32的三维点31的重心位置和该重心位置处的预定的姿势而求出代表位置姿势，则能够用机械手14稳定地保持保持物品21。如果要根据属于连结集合32的三维点31的位置求出平面或曲面，组合所求出的平面或曲面上的一个点的位置和基于平面或曲面的法线方向的姿势来求出代表位置姿势33，则在物品20的表面倾斜的情况下，能够与该倾斜一致地计算代表位置姿势33。

（5）针对表面有孔的物品20，根据属于连结集合32的三维点31的位置求出孔，将该孔的位置和姿势（孔的方向）作为代表位置姿势33，由此能够使用保持部14a是夹盘的机械手14，通过内径把持来保持物品20。

另外，只要用三维测定机11测定散装的多个物品20的表面位置，取得多个三维点31的位置信息，从多个三维点31中求出将相互位于近旁的三维点31连结起来所得的连结集合32，根据属于连结集合32的三维点31的位置信息，确定能够取出的物品20的位置和姿势，求出与该位置姿势对应的机械手位置姿势34，控制机器人12使得机械手14移动到机械手位置姿势34而取出物品20（保持物品21），则物品取出方法的结构可以是任意的。

图16是表示图1的机器人控制装置13的内部结构的框图。机器人控制装置13具备连结集合计算部13A、物品确定部13B、机械手位置姿势计算部13C、机器人控制部13D。连结集合计算部13A具备近旁判定部130。

在上述实施方式中，在机械手14中设置有2个保持部14a，但也可以设置3个以上的保持部14a，还可以只设置1个。在属于三维点集合30的第一三维点31（例如图15的311）和第二三维点31（例如图15的312）之间的与预定的坐标系有关的距离处于预定距离内时，将第一三维点311和第二三维点312连结起来而计算连结集合32（步骤S2），但只要求出将相互位于近旁的三维点31、31连结起来所得的连结集合32，则连结集合计算部13A的结构不限于上述的结构。

根据属于连结集合32的三维点31的位置信息，计算代表连结集合32的代表位置姿势33（步骤S3），但只要确定通过连结集合32表示的物品20的位置和姿势，则物品确定部13B的结构并不限于上述的结构。在此，代表连结集合32的位置和姿势也是代表物品20的位置和姿势，确定物品20的位置和姿势就意味着求出代表物品的位置和姿势而确定物品20的配置。

在上述实施方式中，根据代表位置姿势33计算机械手位置姿势34（步骤S4），但只要求出能够取出作为代表位置姿势33而确定的物品20的机械手位置姿势34，则机械手位置姿势计算部13C的结构并不限于上述的结构。只要控制机器人12使得机械手14向机械手位置姿势34移动而取出物品20，则机器人控制部13D的结构可以是任意的。

即，上述的物品取出装置10的结构（图1）是一个例子，作为连结集合计算部13A（步骤S2）、物品确定部13B（步骤S3）、机械手位置姿势计算部13C（步骤S4）、机器人控制部13D（步骤S8～步骤S10）的机器人控制装置13的结构并不限于上述的结构。

可以任意地组合上述实施方式和变形例子的一个或多个。

根据本发明，在识别在三维空间中散装的物品的位置和姿势时，根据通过三维点测定机取得的多个三维点的位置信息求出连结集合，使用连结集合确定物品的位置和姿势。因此，不生成物品的模型图案就能够识别物品的位置和姿势，即使是多品种、不定形的物品，也能够容易地识别其位置和姿势，保持物品。特别适合于具有平面状或平缓的曲面状的面的物品的位置和姿势的识别和保持。

以上，与其适合的实施方式关联地说明了本发明，但本技术领域的技术人员应该了解能够在不脱离后述的权利要求的公开范围内进行各种修正和变更。

Claims (8)

1.一种物品取出装置，其特征在于，具备：

机器人，其具有能够保持物品的机械手；

三维测定机，其测定在三维空间中散装的多个物品的表面位置，取得多个三维点的位置信息；

连结集合计算单元，其从通过上述三维点测定机取得的多个三维点中，求出将相互位于近旁的三维点连结而得的连结集合；

物品确定单元，其根据属于上述连结集合的三维点的位置信息，求出代表上述连结集合的位置和姿势即代表位置姿势，来确定物品的位置和姿势；

机械手位置姿势计算单元，其求出能够取出由上述物品确定单元确定的物品的上述机械手的位置和姿势即机械手位置姿势，该机械手位置姿势与上述代表位置姿势对应；

机器人控制单元，其对上述机器人进行控制使得上述机械手向由上述机械手位置姿势计算单元求出的机械手位置姿势移动而取出上述物品，

其中，上述物品确定单元在求出上述代表位置姿势的过程中，计算属于上述连结集合的三维点的区域的面积，并且如果所述面积小于预定值，则不从该连结集合求出代表位置姿势，以及没有求出代表位置姿势的该连结集合不成为上述物品的取出的对象。

2.根据权利要求1所述的物品取出装置，其特征在于，

由上述三维测定机取得的多个三维点构成三维点集合，

上述连结集合计算单元具有近旁判定部，该近旁判定部判定与预定的坐标系有关的第一三维点和第二三维点之间的距离是否为预定距离以内，如果由该近旁判定部判定为上述第一三维点和上述第二三维点之间的距离为上述预定距离以内，则将上述第一三维点和上述第二三维点连结起来，其中上述第一三维点和第二三维点属于上述三维点集合。

3.根据权利要求1或2所述的物品取出装置，其特征在于，

上述物品确定单元组合属于上述连结集合的三维点的重心位置和该重心位置处的预定的姿势来求出上述代表位置姿势。

4.根据权利要求1或2所述的物品取出装置，其特征在于，

上述物品确定单元根据属于上述连结集合的三维点的位置求出平面，组合该平面上的一个点的位置和基于该平面的法线方向的姿势来求出上述代表位置姿势。

5.根据权利要求1或2所述的物品取出装置，其特征在于，

上述物品确定单元根据属于上述连结集合的三维点的位置求出曲面，组合该曲面上的一个点的位置和基于该曲面在该位置处的法线方向的姿势来求出上述代表位置姿势。

6.根据权利要求1或2所述的物品取出装置，其特征在于，

在上述物品中存在孔的情况下，上述物品确定单元根据属于上述连结集合的三维点的位置求出该孔的位置和姿势，并组合这些孔的位置和姿势来求出上述代表位置姿势，其中上述孔是预定面积以上的且不存在三维点的封闭区域。

7.根据权利要求1或2所述的物品取出装置，其特征在于，

上述机械手具有吸嘴、电磁铁、吸附垫、夹盘中的任意一个。

8.一种物品取出方法，其使用具有能够保持物品的机械手的机器人，取出在三维空间中散装的物品，其特征在于，

用三维测定机测定散装的多个上述物品的表面位置，取得多个三维点的位置信息，

从通过上述三维点测定机取得的多个三维点中，求出将相互位于近旁的三维点连结而得的连结集合，

根据属于上述连结集合的三维点的位置信息，求出代表上述连结集合的位置和姿势即代表位置姿势，来确定物品的位置和姿势，

求出能够取出上述位置和姿势已确定的物品的上述机械手的位置和姿势即机械手位置姿势，该机械手位置姿势与上述代表位置姿势对应，

对上述机器人进行控制使得上述机械手向上述机械手位置姿势移动而取出上述物品，

其中，在上述求出上述代表位置姿势的步骤中，计算属于上述连结集合的三维点的区域的面积，并且如果所述面积小于预定值，则不从该连结集合求出代表位置姿势，以及没有求出代表位置姿势的该连结集合不成为上述物品的取出的对象。