CN103568014B - 利用机械手取出散装的物品的装置以及方法 - Google Patents

利用机械手取出散装的物品的装置以及方法 Download PDF

Info

Publication number
CN103568014B
CN103568014B CN201310316918.2A CN201310316918A CN103568014B CN 103568014 B CN103568014 B CN 103568014B CN 201310316918 A CN201310316918 A CN 201310316918A CN 103568014 B CN103568014 B CN 103568014B
Authority
CN
China
Prior art keywords
mentioned
article
hand
point
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310316918.2A
Other languages
English (en)
Other versions
CN103568014A (zh
Inventor
组谷英俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN103568014A publication Critical patent/CN103568014A/zh
Application granted granted Critical
Publication of CN103568014B publication Critical patent/CN103568014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/375673-D vision, stereo vision, with two cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39476Orient hand relative to object
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects

Abstract

本发明提供利用机械手取出散装的物品的装置以及方法。该物品取出装置具备:机械手,其具有能够保持物品的手部;三维测定机,其测定散装于三维空间的多个物品的表面位置,获取由多个三维点构成的三维点集合;极大点选择部,其从三维点集合选择出相对于规定的坐标轴的坐标值极大的极大点;运算部,其基于所选择出的极大点,求出能够取出极大点附近的物品的手部的包括目标位置以及目标姿势的手部位置姿势;机械手控制部,其控制机械手,以使手部向所求出的手部位置姿势移动,并且从手部位置姿势取出物品。

Description

利用机械手取出散装的物品的装置以及方法
技术领域
本发明涉及对散装于三维空间的物品的位置进行识别并使用机械手取出识别出的物品的物品取出装置以及物品取出方法。
背景技术
作为这种装置,以往已知有如下装置,该装置针对利用照相机拍摄散装的物品而得的二维图像、利用三维测定机测定而得的三维点集合,使用图案匹配来识别物品的位置。
在日本特开2004-295223号公报(JP2004-295223A)中记载有如下装置,即,根据预先拍摄处于基准相对姿势的物品而得的二维图像制作二维模型图案,对二维模型图案实施二维的几何学变换,制作多个变换二维模型图案,使用多个变换二维模型图案,针对物品的二维图像进行二维图案匹配。
在日本特开2009-128191号公报中(JP2009-128191A)中记载有如下装置,即,测定三维空间中的物品的表面,获取三维点集合,基于该三维点集合求出物品的三维特征,进行物品的三维特征和预先制作的三维模型图案的三维图案匹配。
但是,JP2004-295223A以及JP2009-128191A所记载的装置需要预先按照每一品种制作二维模型图案或三维模型图案,需要时间。尤其,在物品为多品种的情况下,需要制作与品种数量对应的模型图案,需要过多的时间。在为非定形的物品的情况下,原本就不能够制作模型图案,不能够应用。
发明内容
本发明的一实施方式是物品取出装置,具备:机械手,其具有能够保持物品的手部;三维测定机,其测定散装于三维空间的多个物品的表面位置,获取由多个三维点构成的三维点集合;极大点选择部,其从三维点集合选择出相对于规定的坐标轴的坐标值极大的三维点作为极大点;运算部,其基于通过极大点选择部所选择出的极大点,求出能够取出极大点附近的物品的手部的包括目标位置以及目标姿势的手部位置姿势;以及机械手控制部,其控制机械手,以使手部向通过运算部求出的手部位置姿势移动,并且从手部位置姿势取出物品。
另外,本发明的其他的实施方式是使用具有能够保持物品的手部的机械手来取出散装于三维空间的物品的物品取出方法,利用三维测定机测定散装的多个物品的表面位置,获取由多个三维点构成的三维点集合;从三维点集合选择出相对于规定的坐标轴的坐标值极大的三维点作为极大点;基于所选择出的极大点,求出能够取出极大点附近的物品的手部的包括目标位置以及目标姿势的手部位置姿势;对上述机械手进行控制,以使上述手部向所求出的手部位置姿势移动,并且从手部位置姿势取出物品。
附图说明
通过与附图相关联的以下的实施方式的说明,本发明的目的、特征以及优点进一步明确。在该附图中,
图1是表示本发明的一实施方式的物品取出装置的概要构成的图。
图2是表示由图1的机械手控制装置执行的处理的一个例子的流程图。
图3是表示利用图1的三维测定机获取的三维点集合的一个例子的图。
图4是表示从图3的三维点集合选择出的极大点的一个例子图。
图5是表示与图4的各极大点对应地求出的极大点附近集合的一个例子的图。
图6是表示基于属于图5的极大点附近集合的三维点的位置的代表位置的一个例子的图。
图7是表示与图6的代表位置对应的手部位置姿势的一个例子的图。
图8是表示图7的手部位置姿势的标注编号的一个例子的图。
图9是表示对构成图1的物品取出装置的手部的保持部标注编号的一个例子的图。
图10是表示本发明的实施方式的物品取出装置的动作的一个例子的图。
图11是表示继图10之后的动作的一个例子的图。
图12是表示继图11之后的动作的一个例子的图。
图13是表示继图12之后的动作的一个例子的图。
图14是表示继图13之后的动作的一个例子的图。
图15是表示构成连结集合的处理的一个例子的流程图。
图16是表示连结集合的具体例的图。
图17是表示图1的机械手控制装置的内部结构的框图。
具体实施方式
图1是表示本发明的一实施方式的物品取出装置10的概要构成的图。物品取出装置10具有三维测定机11、机械手12、与三维测定机11和机械手12连接并控制机械手12的机械手控制装置13。机械手12具有安装于臂12a的前端部的手部14。
在上方敞开的容器16内散装有多个物品20。本实施方式的物品取出装置10根据该多个物品20被散装的状态来识别应取出的物品20的位置,利用手部14从容器16中取出识别出的物品20并保持,通过机械手12的动作搬运至容器16外的规定位置。在图1中,将多个物品20表示成彼此相同的形状,但也可以不是一定的形状,还可以包括多个品种。另外,以下为了使利用手部14保持的物品20区别于容器16内的其他物品,有时将其称为保持物品21(参照图11)。
手部14具有通过未图示的升降机构能够升降的一对保持部14a。如图1所示,保持部14a通常处于上升状态。从该上升状态下降并保持物品20后再次上升,使保持物品21沿铅垂方向上升。由此,将保持物品21取出至比其他物品20靠上方,在通过机械手12的动作搬运保持物品21时,能够避免保持物品21、手部14与容器16内的其他物品20的碰撞。
三维测定机11被配置在容器16的中央部上方,测定散装于容器16内的物品20中的露出的物品20的表面,获取多个三维点的位置信息(三维信息)。三维测定机11的测定范围需要包括容器16,但由于过大也导致测定分辨率的降低,所以优选正好包括容器16的占有范围的程度。另外,在图示的例子中,将三维测定机11固定在专用的架台15上,但也可以安装在机械手12的前端部。三维测定机11和机械手控制装置13通过通信电缆等通信部相互连接,能够相互通信。
作为三维测定机11能够利用各种非接触方式的测定机。例如能够列举2台照相机的立体方式、扫描激光线光的方式、扫描激光点光的方式、使用投影仪等装置向物品投射图案光的方式、利用光从投光器射出后到在物品表面反射而入射至受光器的飞行时间的方式等。
三维测定机11以距离图像或三维图的形式表现获取的三维信息。所谓距离图像是以图像形式表现三维信息的图像,是根据图像的各像素的亮度、颜色来表示该图像上的位置的高度或距三维测定机11的距离的图像。另一方面,所谓三维图是以测定出的三维坐标值(x,y,z)的集合来表现三维信息的图。在本实施方式中,将具有距离图像中的各像素、三维图中的三维坐标值的点称为三维点,将由多个三维点构成的集合称作三维点集合。三维点集合是利用三维测定机11测定出的三维点全体的集合,能够通过三维测定机11获取。
手部14能够取出且保持物品20,但作为能够取出且保持物品20的手部的方式例如能够列举吸嘴、吸附用磁铁或吸盘等。另外,通过机械手12的动作控制手部14的位置姿势。
图2是表示由机械手控制装置13执行的处理的一个例子的流程图。以下,参照图2的流程图以及关联的附图,对物品取出装置10的动作进行说明。
例如若通过未图示的操作开关的操作输入物品20的取出开始指令,则开始图2的处理。首先,利用三维测定机11测定散装于三维空间的多个物品20的表面,获取三维点集合30(步骤S1)。图3是表示利用三维测定机11获取的三维点集合30、和构成三维点集合30的三维点31的一个例子的图。在图中,以黑圆表示三维点31,以虚线围起的黑圆全体表示三维点集合30。
接下来,从三维点集合30选择出一个以上的极大点32(步骤S2)。图4是表示三维点集合30和从三维点集合30选择出的极大点32的一个例子的图。在图中,以双重黑圆表示极大点32。极大点32是属于三维点集合30的三维点31中、相对于规定的坐标轴40的坐标值成为极大的点。在本实施方式中,与取出物品20的方向对应,将坐标轴40例如设定成铅垂向上的方向(Z轴方向)、即设定成与重力相反的方向。
接下来,求出与各极大点32对应的极大点附近集合33(步骤S3)。图5是表示与各个极大点32对应地求出的极大点附近集合33的一个例子的图,以虚线表示极大点附近集合33。极大点附近集合33是图3的三维点集合30的部分集合,并且是与各个极大点32对应的集合,分别包括极大点32。
极大点附近集合33的求出方法有几种方法。首先,作为第一个例子,有如下方法,即、仅由对应的极大点32构成各极大点附近集合33。作为第二个例子,有如下方法,即、由距对应的极大点32处于规定距离内的全部的三维点31构成各极大点附近集合33。作为第三个例子,有如下方法,即、由包括极大点32的连结集合构成极大点附近集合33。
若叙述数学定义,则这里所说的连结集合是三维点31的集合,在该集合由多个三维点31构成的情况下,在属于该集合的任意的三维点31的规定距离内存在与该三维点31不同且属于该集合的其他的三维点31。另外,在仅由一个三维点31构成的情况下(在规定距离内没有其他三维点31的情况下),仅由该三维点31构成连结集合。
对连结集合更具体地进行说明。图16是表示连结集合的具体例子的图。在图16中,由三维点311~314构成连结集合321,由三维点315、316构成连结集合322,由三维点317构成连结集合323。即,三维点311和312、312和313、313和314、315和316分别处于规定距离内,相互连结。另一方面,在三维点317的规定距离内不存在其他的三维点31,仅由三维点317构成连结集合323。另外,随后表示实际构成连结集合的处理的一个例子。
作为第四个例子,有如下方法,即、由包括极大点32的三维点31形成平面,由构成该平面的三维点31构成极大点附近集合33。具体而言,由极大点32和位于极大点32的附近的三维点31形成平面。在该情况下,仅由位于极大点32的附近的三维点中、距平面处于规定距离内的三维点31构成极大点附近集合33。
作为第五个例子,有如下方法,即、由包括极大点32的三维点31的连结集合形成平滑的曲面,由构成该曲面的三维点31构成极大点附近集合33。在该情况下,例如,关于属于连结集合的全部的三维点31,在使用从该三维点31加上按照与其靠近的顺序选择出的其他3个三维点31后的4个三维点31,以曲率半径为规定值以上的方式形成曲面的情况下,由该4个三维点31构成极大点附近集合33。另外,图5表示上述5个例子中、由第三个例子构成极大点附近集合33的情况。即,示出了如下情况,即、在有彼此位于规定距离内的多个三维点31的情况下,依次连结这些三维点(311~314、315和316),在没有位于规定距离内的其他的三维点的情况下,利用仅由该三维点(317)构成的连结集合来构成极大点附近集合33。
接下来,对与各极大点附近集合33对应的代表位置34进行运算(步骤S4)。图6是表示基于属于极大点附近集合33的三维点31的位置计算出的代表位置34的一个例子的图。图中,以×标记表示代表位置34。在图6中,求出属于极大点附近集合33的多个三维点31的位置的平均位置(平均坐标),将其作为代表位置34。另外,代表位置的求出方法并不局限于此,例如也可以将与各极大点附近集合33对应的极大点32的位置设为代表位置34。
接下来,对与各代表位置34对应的手部位置姿势35进行运算(步骤S5)。图7是表示与代表位置34对应的手部位置姿势35的一个例子的图。以弯曲成直角的两箭头表示手部位置姿势35,这是为了以坐标系表示位置姿势。在图7中,只示出2个箭头,所以看上去位置姿势是二维空间,但实际上是三维空间。
手部位置姿势35的位置成分以及姿势成分的求出方法分别各有几种。关于位置成分,例如有将代表位置34设为手部位置姿势35的位置成分的方法。作为其他例子,也有将从代表位置34的位置沿规定的坐标轴40的方向移动了规定长度的位置设为手部位置姿势35的位置成分的方法。图7在后者的例子中表示位置成分。关于姿势成分,例如有与代表位置34无关,将规定姿势设为手部位置姿势35的姿势成分的方法。作为其他例子,也有如下方法,即、在代表位置34的位置靠近容器16的壁的情况下,出于避免壁和手部的碰撞的目的,使手部向远离壁的方向倾斜。图7在前者的例子中表示姿势成分。
接下来,将各手部位置姿势35编号为P1,P2,…,Pn(步骤S6)。其中,n是手部位置姿势35的个数。图8是表示编号后的手部位置姿势35的图,按照相对于规定坐标轴40的坐标值的降序进行编号,即从处于高位置的位置姿势开始按顺序编号。另外,在图8中,n=3。
接下来,将手部14的保持部14a编号为H1,H2,…,Hm(步骤S7)。其中,m是手部的个数。图9表示编号后的保持部14a,在图9中,m=2。
接下来,对取自然数值的变量j、k赋予初始值。即,将1代入j(j←1),将1代入k(k←1)(步骤S8)。变量j用于指定保持部14a的编号,变量k用于指定手部位置姿势35的编号。以下,用Hj来表示与变量j对应的保持部14a,用Pk来表示与变量k对应的手部位置姿势35。
接下来,如图10所示,向保持部Hj驱动用的促动器输出控制信号,使保持部Hj下降,并且向机械手驱动用的促动器输出控制信号,通过机械手12的动作,使保持部Hj向手部位置姿势Pk移动(步骤S9)。相对于变量的初始值j=1,k=1,是Hj=H1,Pk=P1。
接下来,向保持部Hj输出用于吸引或吸附物品20的控制信号,如图11所示,在保持部Hj的下端面吸引或吸附物品20(保持物品21),并对其进行保持(步骤S10)。例如,在保持部Hj具有吸嘴的情况下,使真空泵动作,利用吸引力吸引保持物品21,并对其进行保持。另外,在保持部Hj具有吸附用磁铁的情况下,使电流流过电磁线圈,从而使磁铁动作,利用磁力吸附保持物品21,并对其进行保持。
接下来,如图12所示,使保持了保持物品20的保持部Hj上升(步骤S11)。通过使保持部Hj上升,在通过机械手12的动作使手部14移动时,能够避免保持物品21、保持部Hj和其他物品20的碰撞。
接下来,判定由保持部Hj进行的保持物品21的保持是否成功(步骤S12)。例如,在保持部Hj具有吸嘴的情况下,根据吸引时的空气流量、压力变化来判定是否成功保持即可。另外,在保持部Hj具有吸附用磁铁的情况下,利用接近传感器判定是否存在保持物品21,根据其是否存在来判定是否保持成功即可。在成功保持的情况下,进入步骤S13。在未成功保持的情况下,进入步骤S15。
在步骤S13中,判定是否j<m。该判定是在m个(在图12中为2个)保持部Hj中是否存在尚未保持保持物品21的保持部14a的判定。在j<m的情况下,由于保持部Hj+1尚未保持保持物品21,所以使j加1,设为j←j+1(步骤S14),进入步骤S15。在不是j<m的情况下,由于全部的保持部Hj保持有保持物品21,所以进入步骤S17。
在步骤S15中,判定是否k<n。该判定是在n个(在图12中为3个)手部位置姿势35中是否存在保持部Hj尚未到达的手部位置姿势的判定。在k<n的情况下,由于保持部Hj尚未到达手部位置姿势Pk+1,所以使k加1,设为k+1(步骤S16),返回步骤S9。并且,如图13所示,一边使下一个保持部Hj下降,一边通过机械手12的动作向下一个手部位置姿势Pk移动。另外,图13是Hj=H2,Pk=P2的例子。接下来,向该保持部Hj输出物品吸附用的控制信号,如图14所示,保持下一个保持物品21(步骤S10)。在不是k<n的情况下,由于保持部Hj到达n个手部位置姿势35的全部,所以进入步骤S17。
在步骤S17中,向机械手用促动器输出控制信号,通过机械手12的动作将保持物品21搬运至规定位置,从保持部Hj取下保持物品21。到此,1个周期的处理结束。另外,尽管存在尚未到达的手部位置姿势35(k<n),但在利用全部的保持部Hj保持保持物品21的情况下(j≥m),在步骤S17将保持物品21搬运至规定位置,并从保持部Hj取下后,使保持部Hj的编号j为初始值1,重复步骤S9以后的处理。
在上述的1个周期中,为了按照手部位置姿势35的编号顺序使手部14移动时容易高速移动,如图8所示,以相对于规定坐标轴40的坐标值成为降序的方式对手部位置姿势35进行编号,从而降低了手部14在移动中与物品20发生碰撞的顾虑。除此而外,也可以针对相对于规定坐标轴40的坐标值,计算各极大点附近集合33所包括的三维点31的平均值,按照该平均值和与平均值对应的手部位置姿势35的差从大到小的顺序对手部位置姿势35进行编号。由此,能够降低手部14到达手部位置姿势35时与附近物品20发生碰撞的顾虑。
作为极大点附近集合33的求出方法的第三个例子,叙述了由包括极大点32的连结集合构成极大点附近集合33的方法,以下使用图15的流程图,对构筑包括1个极大点32的连结集合的处理的一个例子进行说明。首先,作为初始值,将1代入取自然数值的变量i(i←1),将三维点的集合A设为A←{极大点32},将三维点的集合B设为B←{极大点32}(步骤T1)。接下来,将集合了距集合B内的三维点处于规定距离内且不属于集合A的全部的三维点c后的集合重新设为集合B(步骤T2)。针对初始值,集合距极大点32处于规定距离内且与极大点32不同的全部的三维点c。接下来,判定是否i<规定次数(步骤T3)。该判定是重复计算的次数i是否达到规定次数的判定。在i<规定次数的情况下,由于重复计算的次数尚未达到规定次数,所以进入步骤T4。在不是i<规定次数的情况下,由于重复计算的次数已经达到规定次数,所以进入步骤T6。
在步骤T4中,判定是否B≠φ。该判定是集合A是否具有应重新添加的三维点的判定。在B≠φ的情况下,应对集合A添加集合B,设为A←A∪B(步骤T5),返回步骤T2。在不是B≠φ的情况下,由于集合A没有应重新添加的三维点,所以进入步骤T6。在步骤T6中,将集合A作为连结集合输出,结束构筑连结集合的处理。另外,用于重复计算的次数i的判定的规定次数用于以适当的次数中止重复计算。若将规定次数i设定较小,则能够防止虽只制作小的连结集合但处理时间增大。相反,若将规定次数i设定较大,则虽然处理时间增大,但能够制作较大的连结集合。
根据本实施方式,能够起到以下的作用效果。
(1)利用三维测定机11测定散装于三维空间的物品20的表面位置,获取由多个三维点31构成的三维点集合30(步骤S1),从三维点集合30选择出相对于规定的坐标轴40的坐标值极大的1个以上的三维点31作为极大点32(步骤S2),基于选择出的极大点32,求出能够取出极大点32的附近物品20的手部14(保持部14a)的包括目标位置以及目标姿势的手部位置姿势35(步骤S3~步骤S5),控制机械手10以使手部14向求出的手部位置姿势35移动,并且从手部位置姿势35取出物品21(步骤S9~步骤S11)。
因此,无需制作物品20的模型图案,即便是多品种、非定形的物品20,也容易识别其位置,能够保持物品20。另外,不对追加的新品种的物品20追加模型图案就能够识别其位置,能够避免物品20的位置姿势的识别失败、误识别、或物品20的取出损坏、碰撞等问题。其结果,能够使手部14高速地向处于上方的容易取出的物品20移动,能够高效地取出物品20。
与此相对,例如在使用物品的二维模型图案,通过二维图案匹配来识别物品的位置的方法(第一比较例的方法)中,需要制作二维模型图案,花费时间。尤其,在物品为多品种的情况下,需要制作与品种数量对应的模型图案,需要过多的时间。另外,在与本实施方式比较的情况下,第一比较例的方法存在以下问题点。在散装的物品为各种姿势且进行与各姿势对应的二维图案匹配的情况下,例如需要利用实施二维几何学变换得到的变换二维模型图案,但该方法能够对应的只限于平面的物品。若想要在通常的立体物品中应用二维图案匹配,则需要考虑在几何学变换中不能完全弥补的见解的多样性,即便只是单品种物品,也需要从表、背、横、斜和几个方向制作二维模型图案。另外,若考虑多品种的对应,则需要制作乘以品种数量后的庞大数量的二维模型图案,需要过多的时间。另外,在非定形的物品的情况下,由于不能够制作二维模型图案,所以不能够识别其位置。散装的物品的照明的照射状态不好、拍摄其他物品、物品比设想更倾斜,往往拍摄条件不好。因此,存在产生物品的位置姿势的识别失败、误识别、或者处于上方的重要物品的位置识别失败,处于下方的物品的位置被先识别的顾虑。若以误识别出的物品的位置姿势、处于下方的物品的位置为目标来控制机械手的手部的位置姿势,则不仅损坏地取出物品使装置的作业效率降低,还存在手部和物品发生碰撞而使它们损伤的顾虑。若想避免损伤,不得不使机械手的移动速度变慢,作业效率恶化。
另外,例如在使用物品的三维模型图案且通过三维图案匹配来识别物品的位置的方法(第二比较例的方法)中,也需要制作三维模型图案,需要时间。尤其,在物品为多品种的情况下,需要制作与品种数量对应的模型图案,需要过多的时间。另外,在与本实施方式相比较的情况下,第二比较例的方法有以下问题点。由于不能够制作非定形的物品的三维模型图案,所以不能够识别其位置。不能够获取散装的物品的未朝向三维测定机侧的三维点,而且散装的物品倾斜较大或被临近的物品妨碍,往往拍摄条件不好。因此,越是能够通过三维图案匹配来决定物品的三维姿势,也是难以获得量、质均充分的三维点集合,存在产生物品的位置姿势的识别失败、误识别、或者处于上方的关键物品的位置识别失败、处于下方的物品的位置被先识别的顾虑。若以误识别出的物品的位置姿势、处于下方的物品的位置为目标来控制机械手的手部的位置姿势,则不仅损伤地取出物品,从而使装置的作业效力降低,还存在手部和物品发生碰撞而使它们损伤的顾虑。若想要避免损伤,不得不使机械手的移动速度变慢,作业效率恶化。
(2)在求手部位置姿势35的情况下,求出三维点集合30的部分集合,即包括选择出的极大点32的三维点31的集合的极大点附近集合33,并且基于极大点附近集合33所包括的三维点31的位置,求出以极大点附近集合33为代表的代表位置34,与代表位置34对应地求出手部位置姿势35。由此,能够使用极大点32以各种方法设定手部位置姿势35。
(3)在手部14设置多个保持部14a,判定该多个保持部14a中是否具有未保持物品20的空的保持部14a(步骤S13),若判定为有空的保持部14a,则使该空的保持部14a向多个手部位置姿势35中的保持部14a尚未到达的未到达手部位置姿势依次移动,从该未到达手部位置姿势取出物品21。由此,能够高效利用多个保持部14a,能够高效进行物品20的取出作业。
(4)在物品20有容易成为极大点的端部且与该端部连续地连接的面、边与该端部本身相比容易保持的情况下,通过代替极大点32的位置而利用作为连结集合的极大点附近集合33的位置,能够保持容易保持的面、边。
另外,利用三维测定机11测定散装的多个物品20的表面位置,获取由多个三维点31构成的三维点集合30,从三维点集合30选择相对于规定坐标轴40的坐标值极大的1个以上的三维点31作为极大点32,基于选择出的极大点32,求出能够取出极大点32的附近的物品20的手部14(保持部14a)的包括目标位置以及目标姿势的手部位置姿势35,若控制机械手12以使手部14向求出的手部位置姿势35移动,并且从手部位置姿势35取出物品20(保持物品21),则物品取出方法的构成可以任意。
在上述实施方式中,利用手部14吸引或吸附物品并对其进行保持,但也可以通过吸引、吸附以外取出并保持物品20,手部14的方式并不局限于上述的方式。也可以在手部14上设置3个以上保持部14a,也可以只设置1个。图17是表示图1的机械手控制装置13的内部结构的框图。机械手控制装置13具有极大点选择部13A、运算部13B以及机械手控制部13C。运算部13B具有第一运算部131、第二运算部132以及第三运算部133。上述的物品取出装置10的构成(图1)是一个例子,作为极大点选择部13A(步骤S2)、运算部13B、即作为第一运算部131(步骤S3)、第二运算部132(步骤S4)、第三运算部133(步骤S5)、以及机械手控制部13C(步骤S9~步骤S11)的机械手控制装置13的构成并不局限于上述。
能够任意组合上述实施方式和变形例的1个或多个。
根据本发明,在识别散装于三维空间的物品的位置时,不利用基于图案匹配的位置姿势识别,而利用三维点集合的极大点的位置,通过机械手的手部保持极大点附近的物品。因此,无需制作物品的模型图案,即便是多品种、非定形的物品也容易识别出其位置,能够保持物品。
以上,与其优选实施方式相关联地对本发明进行了说明。但本领域技术人员知道不脱离权利要求书的公开范围,能够进行各种修正以及变更。

Claims (9)

1.一种物品取出装置,其特征在于,具备:
机械手(12),其具有能够保持物品的手部(14);
三维测定机(11),其测定散装于三维空间的多个物品(20)的表面位置,获取由多个三维点(31)构成的三维点集合(30);
极大点选择机构(13A),其从上述三维点集合选择出相对于规定的坐标轴(40)的坐标值极大的一个以上三维点(31)作为极大点(32);
运算机构(13B),其基于通过上述极大点选择机构所选择出的上述极大点,求出能够取出上述极大点附近的物品的上述手部的包括目标位置以及目标姿势的手部位置姿势(35);以及
机械手控制机构(13C),其控制上述机械手,以使上述手部向通过上述运算机构所求出的上述手部位置姿势移动,并且从上述手部位置姿势取出上述物品。
2.根据权利要求1所述的物品取出装置,其特征在于,
上述运算机构具有:
第一运算部(131),其求出极大点附近集合(33),该极大点附近集合是上述三维点集合的部分集合,并且是包括通过上述极大点选择机构所选择出的上述极大点的三维点的集合;
第二运算部(132),其基于上述第一运算部所求出的上述极大点附近集合(33)所包括的上述三维点的位置,求出代表上述极大点附近集合的代表位置(34);
第三运算部(133),其与上述第二运算部所求出的上述代表位置对应地求出上述手部位置姿势。
3.根据权利要求1所述的物品取出装置,其特征在于,
上述手部具有分别能保持物品的多个保持部(14a),
上述运算机构求出多个上述手部位置姿势,
上述机械手控制机构判定上述多个保持部中是否有未保持物品的空的保持部(14a),若判定为有上述空的保持部,则控制上述机械手,以使上述空的保持部依次向上述多个手部位置姿势中的上述保持部尚未到达的未到达手部位置姿势移动,并且从该未到达手部位置姿势取出上述物品。
4.根据权利要求2所述的物品取出装置,其特征在于,
上述手部具有分别能保持物品的多个保持部(14a),
上述运算机构求出多个上述手部位置姿势,
上述机械手控制机构判定上述多个保持部中是否有未保持物品的空的保持部(14a),若判定为有上述空的保持部,则控制上述机械手,以使上述空的保持部依次向上述多个手部位置姿势中的上述保持部尚未到达的未到达手部位置姿势移动,并且从该未到达手部位置姿势取出上述物品。
5.根据权利要求1~4中任一项所述的物品取出装置,其特征在于,
上述机械手控制机构控制上述机械手,以便利用上述手部取出上述物品,并且利用上述机械手搬运所取出的上述物品。
6.根据权利要求2所述的物品取出装置,其特征在于,
在上述极大点附近集合由多个三维点构成的情况下,属于该极大点附近集合的任意的三维点的规定距离内存在与该三维点不同且属于该极大点附近集合的三维点。
7.根据权利要求1~4、6中任一项所述的物品取出装置,其特征在于,
上述手部具有吸嘴、吸附用磁铁或吸盘中的任意一个。
8.根据权利要求5所述的物品取出装置,其特征在于,
上述手部具有吸嘴、吸附用磁铁或吸盘中的任意一个。
9.一种物品取出方法,使用具有能够保持物品的手部(14)的机械手(12)来取出散装于三维空间的物品(20),其特征在于,
利用三维测定机(11)测定散装的多个物品的表面位置,获取由多个三维点(31)构成的三维点集合(30);
从上述三维点集合选择出相对于规定的坐标轴(40)的坐标值极大的三维点(31)作为极大点(32);
基于所选择出的上述极大点,求出能够取出上述极大点附近的物品的上述手部的包括目标位置以及目标姿势的手部位置姿势(35);
对上述机械手进行控制,以使上述手部向所求出的上述手部位置姿势移动,并且从上述手部位置姿势取出上述物品。
CN201310316918.2A 2012-07-26 2013-07-25 利用机械手取出散装的物品的装置以及方法 Active CN103568014B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012165553A JP5642738B2 (ja) 2012-07-26 2012-07-26 バラ積みされた物品をロボットで取出す装置及び方法
JP2012-165553 2012-07-26

Publications (2)

Publication Number Publication Date
CN103568014A CN103568014A (zh) 2014-02-12
CN103568014B true CN103568014B (zh) 2015-08-12

Family

ID=49912311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310316918.2A Active CN103568014B (zh) 2012-07-26 2013-07-25 利用机械手取出散装的物品的装置以及方法

Country Status (4)

Country Link
US (1) US9079310B2 (zh)
JP (1) JP5642738B2 (zh)
CN (1) CN103568014B (zh)
DE (1) DE102013012068B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105665304A (zh) * 2016-02-01 2016-06-15 先驱智能机械(深圳)有限公司 物体的抓取与分拣系统及分拣盘

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5929854B2 (ja) * 2013-07-31 2016-06-08 株式会社安川電機 ロボットシステムおよび被加工物の製造方法
JP5877857B2 (ja) 2014-03-10 2016-03-08 ファナック株式会社 ワークの取出工程をシミュレーションするロボットシミュレーション装置
FR3020303B1 (fr) * 2014-04-25 2016-07-15 Sileane Procede et installation de prehension automatique d'un objet.
JP5778311B1 (ja) * 2014-05-08 2015-09-16 東芝機械株式会社 ピッキング装置およびピッキング方法
CN104647373B (zh) * 2014-12-19 2016-03-02 广州达意隆包装机械股份有限公司 码垛机器人的搬运系统及码垛机器人的搬运方法
JP6088563B2 (ja) * 2015-02-10 2017-03-01 ファナック株式会社 位置及び姿勢の変換演算機能を備えたワーク取出しロボットシステム、及びワーク取出し方法
EP3261809B1 (en) * 2015-02-25 2022-09-21 Dematic Corp. Automated order fulfillment system and method
DE102016009030B4 (de) 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
JP6240689B2 (ja) 2015-07-31 2017-11-29 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
JP6522488B2 (ja) * 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
CN105128009A (zh) * 2015-08-10 2015-12-09 深圳百思拓威机器人技术有限公司 具有精确感测物体形状位姿的仿生机器人及其感测方法
CN105499155A (zh) * 2016-02-01 2016-04-20 先驱智能机械(深圳)有限公司 物体的抓取与分拣方法及分拣盘
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
CN106269548A (zh) * 2016-09-27 2017-01-04 深圳市创科智能技术有限公司 一种物体自动分拣方法及其装置
CN107009358B (zh) * 2017-04-13 2020-06-02 武汉库柏特科技有限公司 一种基于单相机的机器人无序抓取装置及方法
JP6487495B2 (ja) * 2017-05-19 2019-03-20 ファナック株式会社 ワーク取出しシステム
JP6860432B2 (ja) * 2017-06-09 2021-04-14 川崎重工業株式会社 ワークの認識装置及びワークを認識する方法
JP6695843B2 (ja) 2017-09-25 2020-05-20 ファナック株式会社 装置、及びロボットシステム
JP6806045B2 (ja) * 2017-12-11 2021-01-06 株式会社ダイフク 物品搬送設備
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
JP6725587B2 (ja) 2018-05-18 2020-07-22 ファナック株式会社 バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法
US11926057B2 (en) 2018-06-14 2024-03-12 Yamaha Hatsudoki Kabushiki Kaisha Robot system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101396829A (zh) * 2007-09-29 2009-04-01 株式会社Ihi 机器人装置的控制方法以及机器人装置
CN101772402A (zh) * 2007-07-27 2010-07-07 丰田自动车株式会社 工件传送装置及工件设置方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4305130A (en) * 1979-05-29 1981-12-08 University Of Rhode Island Apparatus and method to enable a robot with vision to acquire, orient and transport workpieces
US4402053A (en) * 1980-09-25 1983-08-30 Board Of Regents For Education For The State Of Rhode Island Estimating workpiece pose using the feature points method
US4985846A (en) * 1989-05-11 1991-01-15 Fallon Patrick J Acoustical/optical bin picking system
JP3300682B2 (ja) * 1999-04-08 2002-07-08 ファナック株式会社 画像処理機能を持つロボット装置
JP2001300878A (ja) * 2000-04-19 2001-10-30 Daihatsu Motor Co Ltd パレット内バラ積みワークの取出方法
AU2003239171A1 (en) * 2002-01-31 2003-09-02 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
US6898484B2 (en) * 2002-05-01 2005-05-24 Dorothy Lemelson Robotic manufacturing and assembly with relative radio positioning using radio based location determination
JP2004160567A (ja) * 2002-11-11 2004-06-10 Fanuc Ltd 物品取出し装置
JP3805302B2 (ja) * 2002-12-13 2006-08-02 ファナック株式会社 ワーク取出し装置
JP3805310B2 (ja) * 2003-01-30 2006-08-02 ファナック株式会社 ワーク取出し装置
SE524818C2 (sv) * 2003-02-13 2004-10-05 Abb Ab En metod och ett system för att programmera en industrirobot att förflytta sig relativt definierade positioner på ett objekt
JP3842233B2 (ja) 2003-03-25 2006-11-08 ファナック株式会社 画像処理装置及びロボットシステム
JP3834307B2 (ja) * 2003-09-29 2006-10-18 ファナック株式会社 ロボットシステム
JP3930490B2 (ja) * 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
SE529377C2 (sv) * 2005-10-18 2007-07-24 Morphic Technologies Ab Publ Metod och arrangemang för att lokalisera och plocka upp föremål från en bärare
JP4087874B2 (ja) * 2006-02-01 2008-05-21 ファナック株式会社 ワーク取り出し装置
JP4153528B2 (ja) * 2006-03-10 2008-09-24 ファナック株式会社 ロボットシミュレーションのための装置、プログラム、記録媒体及び方法
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
JP4199264B2 (ja) * 2006-05-29 2008-12-17 ファナック株式会社 ワーク取り出し装置及び方法
JP4238256B2 (ja) * 2006-06-06 2009-03-18 ファナック株式会社 ロボットシミュレーション装置
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
JP5092711B2 (ja) 2007-11-22 2012-12-05 株式会社Ihi 物体認識装置およびロボット装置
EP2075096A1 (de) * 2007-12-27 2009-07-01 Leica Geosystems AG Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
JP4835616B2 (ja) * 2008-03-10 2011-12-14 トヨタ自動車株式会社 動作教示システム及び動作教示方法
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
US8265376B2 (en) * 2008-07-21 2012-09-11 Cognitens Ltd. Method and system for providing a digital model of an object
JP5201411B2 (ja) * 2008-11-21 2013-06-05 株式会社Ihi バラ積みピッキング装置とその制御方法
JP5714232B2 (ja) * 2009-03-12 2015-05-07 オムロン株式会社 キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法
EP2255930A1 (de) * 2009-05-27 2010-12-01 Leica Geosystems AG Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
US8472698B2 (en) * 2009-11-24 2013-06-25 Mitsubishi Electric Research Laboratories, Inc. System and method for determining poses of objects
JP2011167815A (ja) * 2010-02-19 2011-09-01 Ihi Corp 物体認識ロボットシステム
JP5382621B2 (ja) * 2010-06-03 2014-01-08 株式会社安川電機 移載装置
JP4938115B2 (ja) * 2010-07-27 2012-05-23 ファナック株式会社 ワーク取出し装置およびワーク取出し方法
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
JP5630208B2 (ja) * 2010-10-25 2014-11-26 株式会社安川電機 形状計測装置、ロボットシステムおよび形状計測方法
JP5767464B2 (ja) * 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2012135820A (ja) * 2010-12-24 2012-07-19 Ihi Corp 自動ピッキング装置及び自動ピッキング方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101772402A (zh) * 2007-07-27 2010-07-07 丰田自动车株式会社 工件传送装置及工件设置方法
CN101396829A (zh) * 2007-09-29 2009-04-01 株式会社Ihi 机器人装置的控制方法以及机器人装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105665304A (zh) * 2016-02-01 2016-06-15 先驱智能机械(深圳)有限公司 物体的抓取与分拣系统及分拣盘

Also Published As

Publication number Publication date
US20140031985A1 (en) 2014-01-30
DE102013012068A1 (de) 2014-01-30
US9079310B2 (en) 2015-07-14
JP2014024142A (ja) 2014-02-06
CN103568014A (zh) 2014-02-12
JP5642738B2 (ja) 2014-12-17
DE102013012068B4 (de) 2015-11-12

Similar Documents

Publication Publication Date Title
CN103568014B (zh) 利用机械手取出散装的物品的装置以及方法
CN103659838B (zh) 用机器人取出散装物品的装置和方法
CN104608136B (zh) 用机器人取出散乱堆积的物品的装置以及方法
CN103568024B (zh) 利用机械手取出散装物品的装置
JP5897532B2 (ja) 三次元空間に置かれた物品をロボットで取出す装置及び方法
CN112091970B (zh) 具有增强的扫描机制的机器人系统
US10353383B2 (en) Simulator, simulation method, and simulation program
CN104608149B (zh) 用机器人来取出散装物品的装置以及方法
JP5788460B2 (ja) バラ積みされた物品をロボットで取出す装置及び方法
JP5558585B2 (ja) ワーク取り出し装置
CN111683798B (zh) 工件拾取装置以及工件拾取方法
CN104842361A (zh) 具有3d箱体定位功能的机器人系统
JP6765741B1 (ja) 非一時的コンピュータ可読記憶媒体、ロボットシステムを動作させる方法及び物体移送システム
CN111483750A (zh) 机器人系统的控制方法以及控制装置
JP2022552626A (ja) ロボットシステムシミュレーションエンジン
CN109081026A (zh) 基于激光测距雷达定位引导的机器人拆垛系统及方法
CN113580149A (zh) 基于关键点预测网络的无序混叠工件抓取方法和系统
US11911919B2 (en) Method and computing system for performing grip region detection
CN116135736A (zh) 一种立库托盘动态定位方法及电动夹爪装置
CN110238851A (zh) 一种移动机器人及其快速标定方法和系统
CN107492198A (zh) 一种支持多种冷热食物包形状商品的自动销售装置及其使用方法
CN111470244B (zh) 机器人系统的控制方法以及控制装置
CN110271001A (zh) 机器人识别方法、控制方法、装置、存储介质及主控设备
JP7191354B2 (ja) ロボットツール及びその動作方法
WO2023073780A1 (ja) 学習データの生成装置および学習データの生成方法、並びに学習データを使用する機械学習装置および機械学習方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant