CN104608126B - 用机器人取出散装物品的装置和方法 - Google Patents

Abstract

本发明的物品取出装置构成为设定包含处于开放状态的把持部的实体区域、其内侧的把持区域的把持部模型，设定把持部的位置和姿势的候选即位置姿势候选，根据通过三维测定机取得的物品表面的位置信息和把持部模型，假设将把持部配置为各个位置姿势候选而通过各位置姿势候选计算把持部对物品的把持成功可能性，根据把持成功可能性，从位置姿势候选中选择位置姿势候选，设定为把持部位置姿势，控制机器人使得将把持部向把持部位置姿势移动而取出物品。

Description

用机器人取出散装物品的装置和方法

技术领域

本发明涉及一种使用具有把持部的机器人取出散装在三维空间中的物品的物品取出装置和物品取出方法。

背景技术

作为这种装置，目前已知以下的装置，即针对用三维测定机测定散装的物品所得到的三维点集合，使用三维匹配处理识别物品的位置。例如在日本特开2011-179909号公报(JP2011-179909A)中记载了该装置。另外，还已知以下的装置，即用三维测定机测定散装的物品，抽出通过把持部能够把持的区域。例如在日本特开2011-093058号公报(JP2011-093058A)中记载了该装置。

在日本JP2011-179909A记载的装置中，事先根据CAD模型等取得物品的三维模型图案，另一方面用三维测定机测定三维空间中的物品的表面，取得三维点集合(距离图像)，将三维点集合分割为由从三维点集合抽出的边沿包围住的部分区域。另外，首先将部分区域的一个设定为物品区域，重复进行对该物品区域的三维模型图案的匹配处理、向物品区域追加其他部分区域的更新处理的2个处理，由此测量物品的位置和姿势。

在日本JP2011-093058A记载的装置中，预先存储由通过把持机构确定的把持机构区域、根据把持机构所把持的对象物的把持部分来确定的把持部分区域而构成的把持区域，在大小与把持区域相等的区域、即大小与把持部分区域相等的区域整体中存在物体，但抽出在大小与把持机构区域相等的区域中不存在物体的区域作为可把持区域。

但是，JP2011-179909A记载的装置需要预先对物品的每一个品种生成三维模型图案，要花费时间。特别在物品有多个品种的情况下，需要生成品种数量的模型图案，需要很大的时间。另外，在不定形的物品的情况下，起初就无法生成模型图案而无法应用。进而，在将把持部移动到根据物品的位置姿势确定的取出位置时，把持部有可能与其他物品冲撞。

另外，日本JP2011-093058A记载的装置需要预先设定物品的把持部分区域。进而，根据物品的形状和姿势，有时不会把持部分区域在三维测定机侧露出，在该情况下，难以取出物品。

发明内容

作为本发明的一个形式的物品取出装置具备：机器人，其具有能够开闭的把持部；三维测定机，其测定散装在三维空间中的多个物品的表面位置，取得多个三维点的位置信息；把持部模型设定部，其设定包含处于开放状态的把持部的实体部分的区域即实体区域、实体区域的内侧的把持区域的把持部模型；位置姿势候选设定部，其设定1个以上的位置姿势候选作为把持部的位置和姿势的候选；把持可能性计算部，其根据通过三维测定机取得的位置信息和在把持部模型设定部中设定的把持部模型，假设将把持部配置为通过位置姿势候选设定部设定的各个位置姿势候选而通过各位置姿势候选计算把持部对物品的把持成功可能性；位置姿势设定部，其根据通过把持可能性计算部计算出的把持成功可能性，从通过位置姿势候选设定部设定的位置姿势候选中选择1个以上的位置姿势候选，设定为把持部位置姿势；机器人控制部，其控制机器人使得把持部向通过位置姿势设定部设定的把持部位置姿势移动而取出物品。

另外，本发明的另一个形式是，一种使用具有可开闭的把持部的机器人取出散装在三维空间中的物品的物品取出方法，其特征在于，用三维测定机测定多个物品的表面位置，取得多个三维点的位置信息，设定包含位于开放状态的把持部的实体部分的区域即实体区域、实体区域的内侧的把持区域的把持部模型，设定1个以上的位置姿势候选作为把持部的位置和姿势的候选，根据通过三维测定机取得的位置信息和把持部模型，假设将上述把持部配置为各个上述位置姿势候选而通过各位置姿势候选计算上述把持部对物品的把持成功可能性，根据把持成功可能性，从位置姿势候选中选择1个以上的位置姿势候选，设定为把持部位置姿势，控制机器人使得把持部向所设定的把持部位置姿势移动而取出物品。

附图说明

根据与附图关联的以下的实施方式的说明来进一步了解本发明的目的、特征以及优点。

图1是表示本发明的一个实施方式的物品取出装置的概要结构的图。

图2是表示图1的抓取器的概要结构的立体图。

图3A是示意地表示图1的抓取器的动作的图。

图3B是示意地表示图3A中的动作的后续动作的图。

图4是表示通过图1的机器人控制装置执行的处理的一个例子的流程图。

图5是表示通过图1的三维测定机取得的三维点集合的一个例子的图。

图6是说明把持成功可能性的计算公式的图。

图7A是表示配置在抓取器模型的把持区域中的物品的一个姿势的图。

图7B是表示配置在抓取器模型的把持区域中的物品的另一个姿势的图。

图8是对图1的容器进行模型化所得的图。

图9是表示抓取器位置姿势的一个例子的图。

图10是表示本发明的实施方式的物品取出装置的动作的一个例子的图。

图11是表示图10中的动作的后续动作的一个例子的图。

图12是表示图11中的动作的后续动作的一个例子的图。

图13是表示图4的步骤S2和步骤S3的变形例子的流程图。

图14是表示在预定方向上对通过三维测定机取得的三维点进行正映射所得的正映射图像的一个例子的图。

图15是表示将抓取器模型投影到正映射图像上所得的过滤图像的一个例子的图。

图16是表示容器内的物品的各种姿势和抓取器位置姿势的图。

图17是表示图1的机器人控制装置的内部结构的框图。

图18是表示连结集合的一个例子的图。

具体实施方式

以下，参照图1～图18说明本发明的实施方式的物品取出装置。图1是表示本发明的一个实施方式的物品取出装置10的概要结构的图。物品取出装置10具备三维测定机11、机器人12、与三维测定机11和机器人12连接而控制三维测定机11和机器人12的机器人控制装置13。机器人12具备安装在摇臂12a的前端部的抓取器14。容器16配置在机器人12的侧方。此外，在图1中，同时表示出XYZ的正交三轴坐标系。Z方向是垂直方向，X方向和Y方向是水平方向，在XZ平面上表示容器16。

在上方开放的容器16内散装有多个物品17。本实施方式的物品取出装置10决定能够把持物品17的抓取器14的位置和姿势(位置姿势)，控制机器人12使得抓取器14移动到所决定的位置姿势。进而，在该位置姿势下通过抓取器14把持物品17，通过机器人12的动作从容器16内取出物品17，输送到容器16外的预定位置。在图1中将多个物品17表示为相互相同的形状，但也可以是包含不定形和多个品种的情况。

三维测定机11被配置在容器16的中央部上方，测定散装在容器16内的物品17中的露出的物品17的表面，取得多个三维点的位置信息(三维信息)。三维测定机11的测定范围必须包含容器16，但如果测定范围过大，则导致测定分辨率的降低。因此，理想的是测定范围与容器16的占有范围等同，例如与容器16的占有范围一致。此外，在图1中，将三维测定机11固定在专用的架台15上，但也可以将三维测定机11安装在机器人12的前端部。三维测定机11和机器人控制装置13通过通信电缆等通信单元相互连接，使得能够相互进行通信。

作为三维测定机11，可以利用各种非接触方式的三维测定机。例如，可以列举2台照相机的立体方式、扫描激光狭缝光的方式、扫描激光点光的方式、使用投影仪等装置将图案光投影到物品上的方式、利用从光从投光器出射后到在物品表面反射而入射到受光器为止的飞行时间的方式等。

三维测定机11通过距离图像或三维图表这样的形式表现所取得的三维信息。距离图像是指以图像形式表现三维信息的图像，通过图像的各像素的亮度、颜色来表示该图像上的位置的高度或相对于三维测定机11的距离。另一方面，三维图表是指将三维信息表现为测定出的三维坐标值(x，y，z)的集合的图表。在本实施方式中，将距离图像中的各像素、三维图表中的具有三维坐标值的点称为三维点，将由多个三维点构成的集合称为三维点集合。三维点集合是通过三维测定机11进行测定的三维点全体的集合，能够通过三维测定机11取得。

图2是表示抓取器14的概要结构的立体图。抓取器14具有固定在机器人臂12a的前端部的轴部141、设置在轴部141的下端部的板部142、设置在板部142的两端部的一对把持爪143。轴部141沿着通过其中心的轴线L1延伸，板部142沿着与轴线L1垂直的轴线L2延伸。一对把持爪143分别具有与轴线L1平行的长度L、与轴线L2平行的厚度T、和分别与轴线L1和轴线L2垂直的轴线L3平行的宽度W，呈现相对于轴线L1相互对称的形状。把持爪143能够沿着板部142的下面与轴线L2平行地移动，由此把持爪143、143之间的距离D发生变化。将一对把持爪143把持物品17时所需要的相对于把持爪143的前端的长度、即与轴线L1平行的长度设为把持深度La。

在图中，如果将相对于轴线L1、L2、L3交叉的点位于预定距离的下方的点、例如轴线L1和把持爪143的底面交叉的点P0作为抓取器14的基准点，则根据基准点P0的位置坐标(x，y，z)决定抓取器14的位置。如果将轴线L1和Z轴、L2和X轴、以及L3和Y轴(图1)分别平行的姿势作为抓取器14的基准姿势，则抓取器14能够以轴线L1为中心从基准姿势旋转预定角度Ψ(例如-90°≤Ψ≤90°)，能够以轴线L2为中心旋转预定角度φ(例如-30°≤φ≤30°)，能够以轴线L3为中心旋转预定角度θ(例如-30°≤θ≤30°)。因此，根据角度φ、θ、Ψ决定抓取器14的姿势。即，根据由并进3个方向(x，y，z)以及旋转3个方向(φ、θ、Ψ)构成的6个方向(x、y、z、φ、θ、Ψ)的6个自由度决定三维空间中的抓取器14的位置姿势。

图3A、图3B分别是示意地表示抓取器14的把持爪143的动作的图。作为一个例子，物品17具有圆板部171、从圆板部171的中心部垂直地竖立的圆柱部172。在把持物品17时，例如如图3A所示，在把持爪143的开放状态下，将一对把持爪143配置在物品(圆柱部172)的两侧。如图3B所示，从该状态开始，使一对把持爪143相互接近，用一对把持爪143把持物品17。此外，在上下反转地配置物品17时，能够用把持爪143夹持圆板部171。

在本实施方式中，预先在机器人控制装置13中将图3A所示那样的开放状态的把持爪143设定为抓取器模型20。抓取器模型20包含一对把持爪143存在的实体部分的区域即实体区域SP1、实体区域SP1的内侧的把持区域SP2。控制处于开放状态的抓取器14的位置姿势，使得将物品17配置在把持区域SP2中，由此能够把持物品17。

图4是表示通过机器人控制装置13执行的处理、特别是物品取出相关的处理的一个例子的流程图。以下，参照图4的流程图和关联的附图来说明物品取出装置10的动作。

例如如果通过未图示的操作开关的操作，输入了物品17的取出开始指令，则开始图4的处理。首先，在步骤S1中，通过三维测定机11测定散装在三维空间中的多个物品17的表面，取得三维点集合30。图5是表示通过三维测定机11取得的三维点集合30、构成三维点集合30的三维点31的一个例子的图。在图中，用黑圈表示三维点31，将三维点集合30表示为包含黑圈全体的用虚线围住的区域。

接着，在步骤S2中，设定三维空间中的抓取器14的位置姿势的候选即1个以上的把持位置姿势候选。通过表示抓取器14的位置姿势的6个自由度、即位置坐标(x、y、z)以及角度(φ、θ、Ψ)表示把持位置姿势候选，将6个自由度(x、y、z、φ、θ、Ψ)中的1个以上的自由度设定为参数。

例如在将x设为参数(x1、x2、……)，将y、z、φ、θ、Ψ设为固定值(y0、z0、φ0、θ0、Ψ0)的情况下，首先，设定x可取的范围(探索范围)Δx。可以通过属于三维点集合30的三维点31的x坐标的最小值xmin和最大值xmax，给出探索范围Δx(xmin≤x≤xmax)。此外，也可以预先在机器人控制装置13中设定探索范围Δx。接着，设定把持位置姿势候选的x方向的间距(探索间隔)px。对于探索间隔px，既可以预先设定，也可以将范围Δx除以预定数来求出。由此，在x方向上等间隔地设定把持位置姿势候选(x1、y0、z0、φ0、θ0、Ψ0)、(x2、y0、z0、φ0、θ0、Ψ0)、……。

在将y、z、φ、θ、Ψ作为参数的情况下，也与上述同样地进行。但是，对于φ、θ、Ψ的探索范围，设定为抓取器自身可取的范围、即-30°≤φ≤30°、-30°≤θ≤30°、-90°≤Ψ≤90°即可。在将6个自由度中的多个自由度(例如x、y)作为参数的情况下，通过以x为参数的把持位置姿势候选和以y为参数的把持位置姿势候选的组合来给出把持位置姿势候选。例如，在以x为参数的把持位置姿势候选有5点，以y为参数的把持位置姿势候选有4点的情况下，把持位置姿势候选全体为5×4＝20点。此外，在将x和y作为参数，将z设为固定值的情况下，也可以从测量到的三维点31中选择满足预定条件的z。例如，可以在相对于(x，y)处于预定距离内的三维点31中，将位于最高位置的三维点31的z坐标作为把持位置姿势候选的z坐标。

在步骤S3中，计算在将抓取器14配置在步骤S2中所设定的各个把持位置姿势候选时的、物品17的把持成功的可能性、即把持成功可能性E。根据三维点31的位置信息和预先设定的抓取器模型20，例如在0～1.0的范围内计算把持成功可能性E，数值越大则表示越能够把持物品17的可能性越高。例如可以根据存在于把持区域SP2内的全部三维点31的重心位置，根据下式(I)计算把持成功可能性E。

$E=1.0-\frac{|\stackrel{\‾}{p}-\stackrel{\‾}{g}|}{D1}...\left(I\right)$

上式(I)的向量p是如图6所示，到把持区域SP2的上面的中心位置40的向量，向量g是到存在于把持区域SP2内的三维点31的重心位置41的向量。D1是从把持区域SP2上面的中心位置40到离把持区域SP2内最远的点42为止的距离。根据上式(I)，三维点31的重心位置41越是接近把持区域SP2上面的中心位置40，则把持成功可能性E越高。即，在该情况下，把持物品17的部分的长度变长，并且能够用一对把持爪143从两侧均等地把持物品17，因此把持成功可能性E高。

此外，在计算把持成功可能性E的情况下，也可以对X、Y、Z的每个轴求出存在于把持区域SP2内的三维点31的重心位置41和把持区域SP2的上面的中心位置40之间的距离来计算E。即，也可以不使用欧几里德距离，而使用曼哈坦距离来计算把持成功可能性E。这时，也使用曼哈坦距离计算D1。

也可以根据存在于把持区域SP2内的三维点31的分布，根据下式(II)计算把持成功可能性E。

$E=1.0-\frac{{\mathrm{\Σ}}_{d=1}^N|\mathrm{zi}-z0|}{N\·D2}...\left(\mathrm{II}\right)$

上式(II)的N是存在于把持区域SP2内的三维点31的个数，z0是把持区域SP2内的全部三维点31的重心的z坐标，zi是存在于把持区域SP2内的第i个三维点31的z坐标，D2是把持区域SP2的高度(z方向的长度)。对于上式(II)，如果存在于把持区域SP2内的物品17的上面是平面，则考虑容易把持物品17这一点，根据上式(II)，物品17的上面越是平面，则把持成功可能性E越高。例如，图7A的状态与图7B的状态相比，把持成功可能性E高。此外，在上式(II)中，也可以使用z坐标的分散值，也可以根据z坐标以外(例如x坐标或y坐标)的分布，计算把持成功可能性E。

也可以根据通过上式(I)求出的把持成功可能性(用E1表示)和通过上式(II)求出的把持成功可能性(用E2表示)的和(E1+E2)计算把持成功可能性E，也可以根据其他多个评价公式计算把持成功可能性E。在该情况下，可以预先设定加权系数，将各评价公式乘以预定的加权系数，来计算把持成功可能性E。

在计算把持成功可能性E时，判定三维点31是否存在于实体区域SP1内，在存在一个三维点31时，也可以将把持成功可能性E设为0。由此，在用抓取器14把持物品17时，能够防止其他物品17与抓取器(把持爪143)冲撞。因此，把持物品17而造成损坏的可能性降低，还能够防止物品17、抓取器14的破损。

在预先在机器人控制装置13中设定容器16的模型(容器模型)而计算把持成功可能性E时，也可以使用容器模型来判定抓取器14和容器16有无冲撞。图8是表示容器模型16的一个例子的图。如图8所示，容器模型16包含容器16存在的实体部分的区域即实体区域SP3。针对各个位置姿势候选，判定在抓取器14的实体区域SP1内是否存在容器16的实体区域SP3，在存在实体区域SP3时，将把持成功可能性E设为0即可。由此，在用抓取器14把持物品17时，能够防止抓取器14与容器16冲撞，能够防止抓取器14、容器16的破损。

在步骤S4中，根据在步骤S3中计算出的把持成功可能性E，从在步骤S2中设定的把持位置姿势候选中选择1个以上的把持位置姿势候选，设定为抓取器14的把持位置姿势(抓取器位置姿势)。例如，选择把持成功可能性E为最大的把持位置姿势候选，设定为抓取器位置姿势。也可以在三维空间或预定的二维平面中，选择把持成功可能性E为极大的把持位置姿势候选，设定为抓取器位置姿势。

在步骤S5中，对各个抓取器位置姿势编号为P1、P2、……Pn。其中，n是抓取器位置姿势的个数。图9是表示编号后的抓取器位置姿势的图，按照与预定的坐标轴35对应的坐标值的降序、即从处于高的位置(z坐标大)的数据开始顺序地编号。此外，在图9中，n＝3。也可以不按照坐标值的降序，而从把持成功可能性E大的数据开始顺序地进行编号。

在图9中，分别用一对箭头A1、A2表示抓取器位置姿势P1、P2、P3，一对箭头A1、A2的交点表示抓取器位置姿势，箭头A1、A2的方向表示抓取器位置姿势的姿势。抓取器位置姿势的位置例如是图2的抓取器14的轴线L1和把持爪143的底面交叉的点(基准点P0)。另外，抓取器位置姿势的姿势(箭头A1、A2的方向)是与图2的抓取器14的轴线L1、L2平行的方向。此外，在三维空间中表示抓取器位置姿势，因此也对抓取器位置姿势定义轴线L3的方向。

在步骤S6中，对取自然数值的变量k赋予初始值。即，k←1。变量k用于指定抓取器位置姿势Pk的编号。

在步骤S7中，向机器人驱动用的致动器(电动机)输出控制信号，如图10所示，使抓取器14移动到抓取器位置姿势Pk(例如P1)。由此，一对把持爪143被配置为在应该取出的物品17的两侧夹住物品17。

在步骤S8中，向抓取器驱动用的致动器输出用于把持物品17的控制信号。由此，如图11所示，用把持爪143把持物品17。按照与预定的坐标轴35对应的降序对抓取器位置姿势Pk进行编号，(步骤S5)，因此应该取出的物品17为位于容器16的最高位置的物品17，在抓取器14的移动过程中，能够降低抓取器14与物品17冲撞的可能性。此外，如果从把持成功可能性E大的数据开始顺序地编号，则从能够把持的可能性高的物品17开始进行取出，能够抑制由于物品17的崩塌等而物品17的累积状态变化的情况。

接着，在步骤S9中，向机器人驱动用的致动器输出控制信号，如图12所示，保持把持物品17的状态而使抓取器14沿着预定方向、例如预定的坐标轴35(图9)的方向上升预定量。

在步骤S10中，判定在物品17的上升位置是否通过抓取器14成功把持了物品17。例如，在抓取器14中设置检测重量的重量检测器，而检测值为预定值以上的情况下，判定为把持成功了。此外，也可以通过接近传感器判定是否存在物品17，判定把持是否成功了。也可以在抓取器14的前端设置开关，根据开关的开和关来判定把持是否成功了。如果判定为把持成功，则前进到步骤S11，如果判定为把持不成功，则跳过步骤S11，前进到步骤S12。

在步骤S11中，向机器人驱动用致动器输出控制信号，通过机器人12的动作将物品17输送到预定位置，从抓取器14取下物品17。

在步骤S12中，将k加1，为k←k+1，进而在步骤S13中判定是否为k<n。该判定是在n个(在图9中是3个)抓取器位置姿势Pk中是否存在抓取器14还未到达的情况的判定。如果判定为k<n，则抓取器14还未到达抓取器位置姿势Pk，因此返回到步骤S7。使抓取器14向下一个抓取器位置姿势Pk(例如P2)移动，把持物品17。如果在步骤S13中判定为k≥n，则抓取器14到达了n个抓取器位置姿势Pk的全部，因此结束处理。

以上，在步骤S2中设定把持位置姿势候选，在步骤S3中计算各个把持位置姿势候选的把持成功可能性E，但例如也可以如下这样进行这些处理。图13是表示图4的步骤S2和步骤S3的变形例子的流程图。

首先，在步骤S21中，向预定方向投影(正映射)通过三维测定机11取得的三维点31，生成投影面(称为正映射图像)。图14是表示正映射图像50的一个例子的图。正映射的方向是用抓取器14把持物品17时的抓取器14的接近方向(例如-Z方向)。在图14中，分别将三维点31a、31b、31c投影到与XY平面平行的正映射图像50上。

在此，与正映射图像50的各个三维点31a、31b、31c对应的像素分别具有相当于各个三维点31a、31b、31c的z坐标的像素值(在图14中，为“1”、“3”、“9”)。预先设定正映射图像50的像素的大小(x、y方向的长度)。也可以设定像素的大小使得图像50的像素数成为预定值。关于把持位置姿势候选的姿势，将围绕x轴的旋转角以及围绕Y轴的旋转角θ设定为固定值(例如0)，将围绕Z轴的旋转角Ψ设为参数。因此，在各像素中以预定的角度间距使旋转角Ψ变更预定次数的情况下，把持位置姿势候选整体成为(正映射图像50的像素数)×(Ψ的变更次数)。

在步骤S22中，将与把持位置姿势候选的各个姿势对应的抓取器模型20(图3A)投影(正映射)到正映射图像50上，生成过滤图像60。在本变形例子中，与旋转角Ψ的变更一致地生成与旋转角Ψ的变更次数(Ψ的候选数)相同个数的过滤图像60。图15是表示过滤图像60的一个例子的图。图中的D相当于一对把持爪143之间的距离，T和W相当于把持爪143的厚度和宽度(参照图2)。过滤图像60包含与抓取器模型20的实体区域SP1对应的实体区域61、与把持区域SP2对应的把持图像62。

在步骤S23中，使用过滤图像60，计算各个把持位置姿势候选的高度za。例如，使过滤图像60的中心和与把持位置姿势候选对应的正映射图像50上的像素的中心一致，将这时的从把持图像62所包含的正映射图像50中的最大像素值Zb减去把持深度La(图2)所得的值(Zb-La)设为把持位置姿势候选的高度za。

在步骤S24中，与步骤S3同样，计算与各个把持位置姿势候选对应的把持成功可能性E。在该情况下，判定过滤图像60中的包含在实体图像61内的正映射图像50中的最大像素值是否大于把持位置姿势候选的高度za。在最大像素值比za大的情况下，把持爪143的下端与物品17冲撞，因此将把持成功可能性E设为0。由此，能够高速地计算把持成功可能性E，能够短时间地判断抓取器14和物品17有无干扰。

此外，在图4的步骤S2中，根据(x、y、z、φ、θ、Ψ)的6个自由度设定抓取器14的位置姿势候选，但在能够调整抓取器14的开放量d、即一对把持爪143之间的距离D的情况下，也可以将开放量d作为追加的参数而设定把持位置姿势候选。在该情况下，抓取器14的位置姿势为(x、y、z、φ、θ、Ψ、d)的7个自由度。

图16是表示将开放量d作为参数的把持位置姿势候选的一个例子的平面图。在图16中，以相互不同的姿势表示3个物品17A、17B、17C。即，物品17A的圆柱部172朝向下方，物品17B的圆柱部172朝向上方，物品17的圆柱部172朝向侧方。针对物品17A，放大抓取器14的开放量d，由此能够稳定地把持物品17A。另外，针对物品17B、17C，缩小开放量d，由此把持爪143能够与其他物品17没有干扰地把持物品17B、17C。此外，在将开放量d作为参数的情况下，把持位置姿势候选变多，因此理想的是如图14所示那样使用正映射图像50设定把持位置姿势候选。由此，能够高速地计算把持成功可能性E。在该情况下，根据开放量d生成增减了把持图像62的大小的过滤图像60即可。这时，所生成的过滤图像60的张数为Ψ的候选数×开放量d的候选数。

根据本实施方式，能够起到以下这样的作用效果。

(1)通过三维测定机11测定散装在三维点空间中的多个物品17的表面位置，取得多个三维点31的位置信息(步骤S1)，设定包含处于开放状态的抓取器14的实体区域SP1和把持区域SP2的抓取器模型20，设定1个以上的把持位置姿势候选作为抓取器14的位置和姿势的候选(步骤S2)，根据通过三维测定机11取得的位置信息和抓取器模型20，计算将抓取器14配置在各个把持位置姿势候选上时的物品17的把持成功可能性E(步骤S3)，根据把持成功可能性E，从位置姿势候选中选择1个以上的位置姿势候选，设定为抓取器位置姿势(步骤S4)，控制机器人12使得将抓取器14向该抓取器位置姿势移动而取出物品17(步骤S7～步骤S13)。由此，不预先输入物品17的信息，就能够用抓取器把持并取出散装的物品17。不需要输入物品17的信息，因此即使是多品种、不定形的物品17，也能够自动地取出物品17。

与此相对，例如在使用物品的三维模型图案通过三维图案匹配来识别物品的位置的方法(第一比较例子的方法)中，必须生成三维模型图案，需要花费时间。特别在物品有多品种的情况下，需要生成多品种量的模型图案，需要花费大量的时间。进而，在将第一比较例子的方法与本实施方式比较的情况下，存在以下这样的问题点。对于不定形的物品，无法生成三维模型图案，因此无法识别其位置。对于散装的物品17，无法取得不面向三维测定机11一侧的三维点31，进而有很大倾斜或被邻近的物品妨碍，因此摄影条件差。因此，越是能够通过三维图案匹配决定物品的三维姿势，则越是难以得到质、量都充分的三维点集合，有可能产生物品的位置姿势的识别失败和错误识别，或者对于位于上方的应该取出的物品的位置的识别失败，而先识别出位于下方的物品的位置。如果着眼于错误识别出的物品位置姿势、位于下方的物品位置而控制机器人12的抓取器14的位置姿势，则有可能在取出时损坏物品17而装置的作业效率下降，或者抓取器14与物品17冲撞而使它们损伤。如果要避免损伤，则必须减慢机器人12的移动速度，工作效率恶化。

另外，例如在使用把持物品的部分区域即把持部分区域识别物品的位置姿势，设定把持位置姿势的方法(第二比较例子的方法)中，用户需要预先指示物品的把持部分区域，需要花费时间。另外，根据物品的形状和姿势，把持部分区域有时不在三维测定机侧露出，在该情况下，无法识别物品，难以取出物品。如果要与物品的位置姿势无关地识别物品，则必须指示多个把持部分区域，需要很多的时间。进而，在第二比较例子的方法中，对于不定形的物品无法指示把持部分区域，因此无法取出不定形的物品。

(2)如果根据把持区域SP2的上面的中心位置40和存在于把持区域SP2内的三维点31的重心位置41之间的距离，计算把持成功可能性E(上式(I))，则能够将能够用一对把持爪143深深地把持物品17的位置姿势、并且能够将能够在一对把持爪143的中央部把持的位置姿势设定为抓取器位置姿势。因此，能够稳定地把持物品17。如果根据把持区域SP2内的三维点31的分布、例如平面度计算把持成功可能性E(上式(II))，则能够把持物品17的更容易把持的部分。

(3)如果判定把持位置姿势候选的抓取器14的实在区域SP1和物品17或容器16之间有无干扰，在干扰的情况下将把持成功可能性E设为0，则能够避免抓取器14和物品17或容器16之间的冲撞。由此，能够稳定地取出物品17，并且能够防止抓取器14和物品17以及容器16的损伤。

与此相对，例如在识别物品的位置姿势，只根据该位置姿势求出抓取器位置姿势的情况下(例如第一比较例子的方法)，在使抓取器移动到抓取器位置姿势的情况下，有可能其他物品与抓取器干扰，无法把持作为把持对象的物品。另外，还有可能抓取器与物品、容器冲撞，使抓取器、物品、容器破损。

(4)通过在投影了三维点31和抓取器模型20的图像50上进行抓取器14的把持位置姿势候选的设定和把持成功可能性E的计算(图13)，能够高速地设定抓取器位置姿势。在该情况下，使用分别正映射了三维点31和抓取器模型20的图像50和过滤图像60进行处理，因此还具有以下这样的优点。在通常的有视点的距离图像上，相邻的像素在实空间上的间隔不固定。即，实空间上的对象物越是从像素离开，则对象物越是缩小地出现在像素上。因此，无法根据像素间的距离处理实空间上的抓取器14的大小，必须根据距离图像上的大小表现抓取器模型。但是，如果在距离图像上表现抓取器14的大小，则欠缺正确性，进而难以设定抓取器位置姿势。对此，通过使用正映射图像50，能够使相邻的像素之间的距离保持为实空间上的距离，而能够在使用抓取器模型20的设定中直接使用实空间的单位，因此抓取器位置姿势的设定简易。

(5)在能够调整抓取器14的开放量的情况下，将使抓取器14向物品17接近时的抓取器14的开放量d作为参数来设定把持位置姿势候选，由此能够根据物品17的累积状态来求出使抓取器14的开放量d最优的抓取器位置姿势。由此，能够使抓取器14不与应该取出的物品17(对象物品)以外的物品17干扰，从而更准确地取出物品17。

此外，只要通过三维测定机11测定多个物品17的表面位置，取得多个三维点31的位置信息，设定包含处于开放状态的抓取器14的实体部分的区域即实体区域SP1、实体区域SP1的内侧的把持区域SP2的抓取器模型20，设定1个以上的位置姿势候选作为抓取器14的位置和姿势的候选，根据通过三维测定机11取得的位置信息和抓取器模型20，计算将抓取器14配置为各个位置姿势候选时的抓取器14对物品17的把持成功可能性E，根据把持成功可能性E，从位置姿势候选中选择1个以上的位置姿势候选而设定为抓取器位置姿势，控制机器人12使得抓取器14向所设定的抓取器位置姿势移动而取出物品17，则使用具有能够开闭的抓取器14的机器人12取出散装在三维空间中的物品的物品取出方法的结构可以是任意的。

图17是表示图1的机器人控制装置13的内部结构的框图。机器人控制装置13具备把持模型设定部131、位置姿势候选设定部132、把持可能性计算部133、位置姿势设定部134、机器人控制部135。

在上述实施方式中，通过具有一对(2个手指)的把持爪的抓取器14来把持物品17，但抓取器14也可以是3个手指以上，把持物品17的可开闭的把持部的结构并不限于上述结构。因此，设定包含处于开放状态的把持部的实体部分的区域即实体区域、实体区域的内侧的把持区域的把持部模型的把持模型设定部131的结构也并不限于上述结构。

在上述实施方式中，位置姿势候选设定部132将6个方向的自由度(x、y、z、φ、θ、Ψ)中的1个以上的自由度作为参数，或将抓取器14的开放量d作为参数，设定抓取器14的位置姿势候选(步骤S2)，设定1个以上的位置姿势候选作为把持部的位置和姿势的候选，该位置姿势候选设定部132的结构并不限于此。

例如，也可以通过由机器人控制装置13构成的连结集合计算部，从通过三维测定机11测定的多个三维点31中求出将相互位于近旁的三维点31连结起来而成的1个以上的连结集合，根据各连结集合设定抓取器14的位置姿势候选。例如在相邻的第一三维点31和第二三维点31之间的距离为预定值以内时，将第一三维点31和第二三维点31相互连结起来，由此构成连结集合。

图18是表示连结集合32的一个例子的图。如图18所示，通过三维测定机11测定多个三维点31(用311～317表示)，其中，在预定距离内分别存在311和312、312和313、313和314、以及315和316时，将他们相互连结起来。在该情况下，还经由312和313将311和314连结起来，因此311～314构成相同的连结集合321。另一方面，315和316与311～314的任意一个都不连结，因此构成其他的连结集合322。317与311～316的任意一个都不连结，因此只由317构成连结集合323。

在通过三维测定机11测定散装的物品17的表面的情况下，同一物品17上的相邻的三维点31(例如图18的313、314)相互位于近距离上。与此相对，在物品17的边界部相邻的三维点(例如图18的314、315)的位置有很大变化。因此，与三维点313、314属于同一连结集合32相对，三维点314、315属于相互不同的连结集合32。通过适当地设定构成连结集合32的三维点之间的最大距离、连结集合32的最小点数、最大点数等，能够将连结集合32看作为单一物品17的表面形状。

在根据连结集合32设定抓取器14的把持位置姿势候选的情况下，例如将构成各连结集合32的三维点31的重心位置作为把持位置姿势候选的把持位置候选。另外，在该把持位置候选中使姿势变化、或在把持位置候选中组合预定的姿势，设定把持位置姿势候选。此外，也可以在以连结集合32的重心位置为中心的预定范围(探索范围)内设定把持位置姿势候选，也可以将构成连结集合32的三维点31所存在的区域作为探索范围而设定把持位置姿势候选。

在上述实施方式中，根据通过三维测定机11而取得的三维点31的位置信息和抓取器模型20(把持部模型)，使用预定的计算公式(公式(I)、公式(II))，计算将抓取器14配置在各个把持位置姿势候选上时的物品17的把持成功可能性E，但把持可能性计算部133的结构并不限于此。也可以判定物品17是否存在于抓取器模型20的实体区域SP1中，将判定为存在物品17的把持位置姿势候选的把持成功可能性E设为0，但也可以降低把持成功可能性E而不设为0。

在上述实施方式中，判定在抓取器14的实体区域SP1内是否存在容器模型161的实体区域SP3，在存在实体区域SP3时将把持成功可能性E设为0，但也可以降低把持成功可能性E而不设为0。容器16(容纳部)的形状可以采用各种形状，作为设定容纳部的模型即容纳部模型的容纳部模型设定部的机器人控制装置13的结构可以是任意的。

在上述实施方式(图13)中，对通过三维测定机11测定的多个三维点31进行正映射而生成正映射图像50，在正映射图像50上设定位置姿势候选，根据该位置姿势候选和在正映射图像50上正映射的过滤图像60，计算把持成功可能性E，但也可以在正映射以外将三维点31投影到图像上。即，如果根据将三维点31投影到平面上所得的投影点设定位置姿势候选，根据将抓取器模型20等把持部模型投影到平面上所得的过滤像素60等的投影模型、投影点，计算把持成功可能性E，则该实施方式能够进行各种变形。

在上述实施方式中，将通过把持可能性计算部133计算出的把持成功可能性E为最大或极大的把持位置姿势候选设定为抓取器位置姿势，但只要根据通过把持可能性计算部133计算出的把持成功可能性E，从通过位置姿势候选设定部132设定的位置姿势候选中选择1个以上的位置姿势候选，设定为把持部位置姿势，则位置姿势设定部134的结构可以是任意的。

在上述实施方式中，用箭头A1、A2表示抓取器位置姿势(图9)，使抓取器14移动到该抓取器位置姿势，但只要控制机器人12使得抓取器14向通过位置姿势设定部134设定的抓取器位置姿势(把持部位置姿势)移动而取出物品17，则机器人控制部135的结构可以是任意的。

可以任意地组合上述实施方式和变形例子的1个或多个。

根据本发明，设定把持部的位置姿势候选，并且计算位置姿势候选的物品的把持成功可能性，根据把持成功可能性从位置姿势候选中选择1个以上的位置姿势候选，设定为把持部位置姿势。因此，不需要输入物品的信息，就能够与物品的形状、姿势无关地容易地把持物品。

以上，与其适合的实施方式关联地说明了本发明，但本技术领域的技术人员应该理解能够不脱离后述的权利要求的公开范围而进行各种修正和变更。

Claims (11)

1.一种物品取出装置，其特征在于，具备：

机器人，其具有能够开闭的把持部；

三维测定机，其测定散装在三维空间中的多个物品的表面位置，取得多个三维点的位置信息；

把持部模型设定部，其设定包含实体区域和把持区域的把持部模型，其中，上述实体区域是处于开放状态的上述把持部的实体部分的区域，上述把持区域是该实体区域的内侧的区域；

位置姿势候选设定部，其设定1个以上的位置姿势候选作为上述把持部的位置和姿势的候选；

把持可能性计算部，其根据通过上述三维测定机取得的上述位置信息和由上述把持部模型设定部所设定的上述把持部模型，根据通过上述三维测定机取得的上述位置信息中的存在于上述把持区域中的上述三维点的上述位置信息，计算将上述把持部配置为通过上述位置姿势候选设定部设定的各个上述位置姿势候选时上述把持部对物品的把持成功可能性；

位置姿势设定部，其根据通过上述把持可能性计算部计算出的上述把持成功可能性，从通过上述位置姿势候选设定部设定的上述位置姿势候选中选择1个以上的位置姿势候选，设定为把持部位置姿势；

机器人控制部，其控制上述机器人使得将上述把持部向通过上述位置姿势设定部设定的上述把持部位置姿势进行移动而取出上述物品。

2.根据权利要求1所述的物品取出装置，其特征在于，

上述把持可能性计算部根据存在于上述把持区域中的三维点的重心位置，计算上述把持成功可能性。

3.根据权利要求1或2所述的物品取出装置，其特征在于，

上述位置姿势候选设定部将由确定上述把持部的位置姿势的并进3个方向和旋转3个方向构成的6个方向的自由度中的1个以上的自由度作为参数，设定上述位置姿势候选。

4.根据权利要求3所述的物品取出装置，其特征在于，

上述位置姿势候选设定部进而将上述把持部的开放量作为参数，设定上述位置姿势候选。

5.根据权利要求1或2所述的物品取出装置，其特征在于，

所述物品取出装置还具备：连结集合计算部，其从通过上述三维测定机测定出的上述多个三维点中，求出将相互位于近旁的三维点连结起来而成的连结集合，

上述位置姿势候选设定部根据通过上述连结集合计算部计算出的上述连结集合，设定上述位置姿势候选。

6.根据权利要求1或2所述的物品取出装置，其特征在于，

上述位置姿势候选设定部根据将通过上述三维测定机测定出的上述多个三维点投影到平面上所得的投影点，设定上述位置姿势候选，

上述把持可能性计算部根据将上述把持部模型设定部所设定的上述把持部模型投影到上述平面上所得的投影模型和上述投影点，计算上述把持成功可能性。

7.根据权利要求1或2所述的物品取出装置，其特征在于，

上述把持可能性计算部根据通过上述三维测定机取得的上述位置信息、由上述把持部模型设定部所设定的上述把持部模型，针对通过上述位置姿势候选设定部设定的各个上述位置姿势候选，判定物品是否存在于上述把持部模型的上述实体区域中，降低被判定为存在物品的位置姿势候选的把持成功可能性、或设为0。

8.根据权利要求1或2所述的物品取出装置，其特征在于，

所述物品取出装置还具备：容纳部模型设定部，其设定容纳上述多个物品的容纳部的模型即容纳部模型，

上述把持可能性计算部根据通过上述容纳部模型设定部取得的上述容纳部模型、由上述把持部模型设定部所设定的上述把持部模型，针对通过上述位置姿势候选设定部设定的各个上述位置姿势候选，判定上述容纳部模型是否存在于上述把持部模型的上述实体区域中，降低被判定为存在上述容纳部模型的位置姿势候选的把持成功可能性、或设为0。

9.根据权利要求1或2所述的物品取出装置，其特征在于，

上述位置姿势设定部从通过上述位置姿势候选设定部设定的上述位置姿势候选中选择由上述把持可能性计算部计算出的把持成功可能性为最大的位置姿势候选，设定为上述把持部位置姿势。

10.根据权利要求1或2所述的物品取出装置，其特征在于，

上述位置姿势设定部从通过上述位置姿势候选设定部设定的上述位置姿势候选中选择由上述把持可能性计算部计算出的把持成功可能性为极大的位置姿势候选，设定为上述把持部位置姿势。

11.一种物品取出方法，其使用具有可开闭的把持部的机器人取出散装在三维空间中的物品，该物品取出方法的特征在于，

用三维测定机测定多个物品的表面位置，取得多个三维点的位置信息，

设定包含实体区域和把持区域的把持部模型，其中，上述实体区域是处于开放状态的上述把持部的实体部分的区域，上述把持区域是该实体区域的内侧的区域，

设定1个以上的位置姿势候选作为上述把持部的位置和姿势的候选，

根据通过上述三维测定机取得的上述位置信息和上述把持部模型，根据通过上述三维测定机取得的上述位置信息中的存在于上述把持区域中的上述三维点的上述位置信息，计算将上述把持部配置为各个上述位置姿势候选时上述把持部对物品的把持成功可能性，

根据上述把持成功可能性，从上述位置姿势候选中选择1个以上的位置姿势候选，设定为把持部位置姿势，

控制上述机器人使得将上述把持部向所设定的上述把持部位置姿势进行移动而取出上述物品。