CN105415370B - 物品取出装置 - Google Patents

物品取出装置 Download PDF

Info

Publication number
CN105415370B
CN105415370B CN201510589938.6A CN201510589938A CN105415370B CN 105415370 B CN105415370 B CN 105415370B CN 201510589938 A CN201510589938 A CN 201510589938A CN 105415370 B CN105415370 B CN 105415370B
Authority
CN
China
Prior art keywords
mentioned
hand
article
external force
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510589938.6A
Other languages
English (en)
Other versions
CN105415370A (zh
Inventor
后藤健文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN105415370A publication Critical patent/CN105415370A/zh
Application granted granted Critical
Publication of CN105415370B publication Critical patent/CN105415370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1633Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/02Arm motion controller
    • Y10S901/09Closed loop, sensor feedback controls arm movement
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/30End effector
    • Y10S901/31Gripping jaw
    • Y10S901/32Servo-actuated
    • Y10S901/34Servo-actuated force feedback
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)

Abstract

根据本发明所涉及的物品取出装置,构成为在通过手来保持物品时,使机器人或上述手执行仿形动作,使得由设置于臂与手之间的力传感器检测出的作用于手的外力接近由力目标值设定部设定的外力的目标值。

Description

物品取出装置
技术领域
本发明涉及一种通过机器人来取出被散乱堆放的物品的物品取出装置。
背景技术
通过机器人来取出被散乱堆放的物品的物品取出装置是公知的。在物品取出装置中,基于由照相机拍摄得到的物品的二维图像或者使用三维测定器而得到的三维点集合,来在视觉上识别物品的装载状态(参照日本JP2011-179909A和JP2011-093058A)。
在日本JP2011-179909A中,公开了利用对象物体的距离图像来估计对象物体的位置和姿势的位置姿势测量装置。在该公知技术所涉及的位置姿势测量装置中,将表示物体模型与物体区域之间的距离的信息同表示部分区域群中的未被设定为物体区域的部分区域与物体模型之间的距离的信息进行比较,根据比较的结果对物体区域附加新的部分区域来更新物体区域,并且将物体模型与更新后的物体区域的三维点群相关联,来估计对象物体的位置和姿势。
在日本JP2011-093058A中公开了如下技术:从放置了位置和姿势未知的对象物的供给部的三维信息提取包括能够利用机器人的把持机构来把持的对象物的把持区域。根据该公知技术,根据对象物的供给部的三维测量数据来生成供给部的三维信息,使用预先存储的包括把持机构区域和把持部分区域的把持区域,从三维信息提取在把持部分区域整体中存在物体、在把持机构区域中不存在物体的区域,来作为可把持区域。
然而,如日本JP2011-179909A和JP2011-093058A所记载的公知技术那样,在基于使用视觉传感器获取到的视觉信息来检测物品的位置和姿势或者手的把持位置姿势的情况下,经常存在发生误检测、检测失败或检测误差的担忧。例如,在通过具有一对爪的夹手来夹持物品的情况下,若手的中心与物品的中心发生偏离,则只有手的一方的爪与物品接触而无法使手闭合。在该情况下,在另一方的爪与物品之间形成间隙,因此物品的保持失败的可能性高。另外,如果想要强制地使手闭合,则存在以下担忧:对机器人或手施加过负荷,或者因过剩的力而导致物品损伤。
在日本JP2000-263481A中公开了如下技术:将探测动作的异常的传感器设置于机械手(manipulator),在机械手取出物品时传感器探测到动作的异常时,停止取出动作,使机械手暂时退避,利用视觉识别装置再次执行物品的检测。
然而,在日本JP2000-263481A所公开的公知技术中,需要在每次探测到异常时都使机械手退避,因此存在以下情况:尽管实际上存在能够取出的物品,仍然结束取出动作。例如,存在以下情况:为了防止手与周围的物品或容器发生干扰,而使开放位置处的手的中心偏离于物品的中心。在如日本JP2000-263481A所公开的那样的技术中,在手的中心与物品的中心发生偏离的情况下探测为存在异常而中断物品的取出。从结果上来说,尽管潜在地存在能够取出的物品,仍然中断取出工序。
因而,寻求一种能够基于由视觉传感器获取的视觉信息来稳定地取出物品的物品取出装置。
发明内容
根据本申请的第一发明提供如下一种物品取出装置:利用视觉传感器来检测被散乱堆放的物品,并且基于由上述视觉传感器获取的视觉信息来通过机器人逐个地取出上述物品,上述机器人具备:手,其设置于臂的前端,能够保持上述物品;以及力传感器,其能够检测作用于上述手的外力,该物品取出装置具备:视觉信息处理部,其基于由上述视觉传感器获取的视觉信息,获取上述手的能够保持上述物品的位置和姿势来作为保持位置姿势;力目标值设定部,其设定在保持上述物品时作用于上述手的外力的目标值;以及保持动作部,其使上述机器人进行动作以使上述手移动到上述保持位置姿势,并且使上述手进行动作以保持上述物品,其中,上述保持动作部构成为:在通过上述手来保持上述物品时使上述机器人或上述手执行仿形动作(日语:倣い動作),使得由上述力传感器检测出的外力接近上述外力的目标值。
根据本申请的第二发明提供如下一种物品取出装置:在第一发明所涉及的物品取出装置中,上述力传感器构成为对在上述机器人使上述手移动到上述保持位置姿势时上述手与上述物品接触而产生的反作用力进行检测,上述保持动作部构成为:在由上述力传感器检测出的上述反作用力超过预先决定的第一阈值时,使上述机器人停止,并且使上述手进行动作以保持上述物品。
根据本申请的第三发明提供如下一种物品取出装置:在第一发明或第二发明所涉及的物品取出装置中,上述力传感器构成为将作用于上述手的外力分解为与手坐标系的各坐标轴相关的分量来获取,该手坐标系是位置和姿势相对于上述手被固定的坐标系,上述力目标值设定部构成为将上述外力的目标值分解为与上述手坐标系的各坐标轴相关的分量来设定,上述保持动作部构成为:基于由上述力目标值设定部设定的上述外力的目标值,来使上述机器人或上述手执行上述仿形动作。
根据本申请的第四发明提供如下一种物品取出装置:在第一发明至第三发明中的任一发明所涉及的物品取出装置中,上述保持动作部构成为:在通过上述手来保持上述物品时,在由上述力传感器检测出的上述外力超过预先决定的第二阈值时,中断通过上述手进行的上述物品的保持动作,并且使上述手进行动作以从上述手中释放上述物品。
根据本申请的第五发明提供如下一种物品取出装置:在第一发明至第四发明中的任一发明所涉及的物品取出装置中,上述物品取出装置还具备:存储部,其将由上述力传感器检测出的上述外力与通过上述手保持的上述物品的个数相互关联地存储为第一存储信息;以及物品个数判别部,其基于上述第一存储信息以及在通过上述手取出上述物品时由上述力传感器检测出的上述外力,来判别通过上述手保持的上述物品的个数。
根据本申请的第六发明提供如下一种物品取出装置:在第一发明至第四发明中的任一发明所涉及的物品取出装置中,上述物品取出装置还具备:存储部,其在上述被散乱堆放的物品包含不同种类的物品的情况下,将由上述力传感器检测出的上述外力与通过上述手保持的上述物品的种类相互关联地存储为第二存储信息;以及物品种类判别部,其基于上述第二存储信息以及在通过上述手取出上述物品时由上述力传感器检测出的上述外力,来判别通过上述手保持的上述物品的种类。
根据本申请的第七发明提供如下一种物品取出装置:在第一发明至第六发明中的任一发明所涉及的物品取出装置中,上述手是通过开闭来保持上述物品的夹手,上述保持动作部构成为:通过对上述手的开闭量进行控制来执行通过上述手进行的上述物品的保持动作,并且使上述机器人或上述手执行仿形动作使得在使上述手开闭而上述手与上述物品接触时由上述力传感器检测出的外力接近上述外力的目标值。
这些以及其它本发明的目的、特征以及优点通过参照涉及附图所示的本发明的例示性的实施方式的详细说明会变得更明确。
附图说明
图1是表示一个实施方式所涉及的物品取出装置的概要图。
图2是一个实施方式所涉及的物品取出装置的功能框图。
图3是表示由一个实施方式所涉及的物品取出装置来执行的一系列工序的流程图。
图4A是说明仿形动作的图。
图4B是说明仿形动作的图。
图5A是说明仿形动作的图。
图5B是说明仿形动作的图。
图6A是说明仿形动作的图。
图6B是说明仿形动作的图。
图7A是说明保持位置姿势的更新处理的图。
图7B是说明保持位置姿势的更新处理的图。
图8是其它实施方式所涉及的物品取出装置的功能框图。
图9是表示被保持的物品的个数与检测出的外力之间的关系的曲线图。
图10是另一实施方式所涉及的物品取出装置的功能框图。
具体实施方式
下面,参照附图来说明本发明的实施方式。对于图示的结构要素适当变更了比例尺以助于理解本发明。另外,对相同或对应的结构要素使用相同的参照标记。
图1是表示一个实施方式所涉及的物品取出装置10的概要图。物品取出装置10具备:机器人2,其在臂22的前端具备手21;机器人控制装置(也简单称为“控制装置”。)3,其经由通信线缆13而与机器人2连接,发送对机器人2进行控制的控制信号;以及视觉传感器4,其固定于台架41,对散乱堆放于容器11内的物品12进行检测。物品取出装置10用于基于由视觉传感器4获取的视觉信息来通过机器人2逐个地取出物品12。
机器人2例如是图示那样的6轴垂直多关节机器人。然而,机器人2也可以是具有任意的其它结构的机器人。手21例如是形成为如下那样的夹手(chuck hand):能够通过对设置成彼此相对的一对爪21a的开闭量进行控制来保持或释放物品12。这些爪21a被任意的动力源、例如电动马达或液压式致动器驱动。或者,手21也可以是形成为能够保持物品12的其它类型的手,例如吸引喷嘴、吸附用磁体、吸附盘等。
在机器人2与手21之间安装有力传感器23。力传感器23用于检测作用于手21的外力。由力传感器23检测出的外力的信息经由未图示的通信线缆等通信手段被发送到控制装置3。
力传感器23例如是能够获取关于6轴的信息的6轴力传感器。或者,力传感器23也可以是能够获取关于3轴的信息的3轴力传感器。使用3轴力传感器来测定作用于手21的外力的方法例如被记载于日本JP2012-137421A中。
收容物品12的容器11具有在上方开口的箱状的形态,使得能够通过机器人2进行存取。物品12在容器11内被不规则地配置。在图1所示的实施方式中,同一种类的物品12配置于容器11内。然而,物品取出装置10也可以取出尺寸或形状不同的多个种类的物品。
固定于容器11的上方的视觉传感器4例如被设置为将由容器11形成的物品12的收容空间的大致整体纳入其拍摄范围内。视觉传感器4例如是二维照相机或各种三维测定器。三维测定器例如是使用2台照相机的立体方式。或者,三维测定器也可以是以下方式等:利用激光狭缝光束来扫描被散乱堆放的物品12的方式;使用投影仪等装置将图案光投影到物品12的方式;测量从投光器射出的光在物品12的表面被反射后入射到受光器为止的飞行时间的方式。在未图示的其它实施方式中,视觉传感器4也可以与手21一起设置于机器人2的臂22的前端。
由视觉传感器4获取到的视觉信息经由任意的通信手段、例如通信线缆14被发送到控制装置3。在其它实施方式中,也可以与对机器人2进行控制的控制装置3相独立地设置对由视觉传感器4获取到的视觉信息进行处理的追加的控制装置。
控制装置3是具备CPU、ROM、RAM等硬件结构的数字计算机。控制装置3还具备与键盘、鼠标等输入设备以及液晶显示器等显示单元之间发送接收信号和数据的接口。
图2是物品取出装置10的功能框图。如图所示,物品取出装置10的控制装置3具备视觉信息处理部31、力目标值设定部32、力测定部33、保持动作部34以及机器人控制部35。
视觉信息处理部31基于由视觉传感器4获取的视觉信息来计算手21的能够保持物品12的位置和姿势(下面也称为“保持位置姿势”。)。视觉信息处理部31例如也可以通过将预先存储的物品12的模型与视觉信息进行对照来确定物品12的位置和姿势,并求出相对于所确定出的物品12的位置和姿势的手21的位置和姿势。或者,视觉信息处理部31也可以不确定物品12的位置和姿势,而直接求出能够通过手21保持物品12的位置和姿势。由视觉信息处理部31求出的保持位置姿势被输入到机器人控制部35。
力测定部33与力传感器23协作,来测定作用于手21的外力。从由力传感器23测定出的力减去因手21自身而施加到力传感器23的力来求出作用于手21的外力。能够基于预先存储的手21的质量特性(mass property)来计算因手21而施加到力传感器23的力。
力目标值设定部32设定在通过手21保持物品12时同时执行的仿形动作中使用的力目标值和相关的控制参数。例如由操作者借助与控制装置3连接的输入设备来设定力目标值和控制参数。
保持动作部34生成通过手21保持物品12时所需的控制信号。例如,保持动作部34对机器人控制部35发送信号,来使手21的爪21a开闭,由此保持或释放物品12。另外,本实施方式所涉及的保持动作部34构成为如后所述那样使机器人2或手21执行仿形动作。
机器人控制部35按照规定的程序或检测信息来使机器人动作。例如,机器人控制部35使手21移动到由视觉信息处理部31计算出的保持位置姿势。另外,机器人控制部35按照从保持动作部34输入的信号,对机器人2和手21进行控制来执行物品12的保持动作。
根据本实施方式所涉及的物品取出装置10,在执行物品12的保持动作时,使机器人2或手21执行仿形动作,使得由力测定部33测定出的外力接近由力目标值设定部32设定的力目标值。具体地说,物品取出装置10通过执行以下述的特性方程式(数式1)来表现的力控制,来执行仿形动作。
···(数式1)
M:虚拟惯性系数,D:虚拟粘性系数,K:虚拟弹性系数,
F:作用于臂前端的力,x:手前端的当前位置,
xd:进行保持动作前的手前端的位置
即,通过以满足数式1的特性方程式的方式使机器人2或手21动作,来控制手21的前端的位置,从而执行仿形动作。
图4A和图4B示出按照本实施方式进行仿形动作的手21的行为。图示的手21是通过爪21a来夹持物品12这种类型的手。图4A示出配置于根据视觉信息得到的保持位置姿势的手21。在该状态下,手21的中心轴线C1偏离于物品12的中心轴线C2。在该状态下即使让手21上升,也无法从容器11取出物品12。另外,即使单纯试图使爪21a闭合,由于力仅作用于与物品12接触的右侧的爪21a,因此也存在机器人2或手21中产生过负荷的担忧。一般的夹手是通过使一对爪向相反方向移动来使爪开闭的,因此有可能引起这种状况。
与此相对地,在本实施方式所涉及的物品取出装置10中,在执行保持动作时执行仿形动作。因而,如图4B所示,在执行保持动作时,使手21向作用于手21的外力的作用方向移动。即,手21进行移动使得手21的中心轴线C1与物品12的中心轴线C2一致。因而,物品12成为被一对爪21a无间隙地夹持的状态,能够实现稳定的保持状态。另外,一边执行仿形动作一边使机器人2和手21动作,因此能够防止机器人2和手21中产生过负荷。
在图5A和图5B中示出手21是吸附手的情况的例子。在图5A所示的保持位置姿势下,在手21的吸入部21c与物品12之间产生了间隙。因此,存在无法产生足够的吸引力而不能保持物品12的担忧。当在这种状态下作为保持动作而吸入部21c进行吸气时,图示那样的扭矩T作用于手21。
当在扭矩T进行作用的状态下使机器人2或手21执行仿形动作时,手21的姿势被变更使得在手21的吸入部21c与物品12之间不存在间隙(图5B的状态)。由此,物品12被手21稳定地保持。
另外,根据本实施方式所涉及的物品取出装置10,在仿形动作中,执行力控制使得由力测定部33检测出的力接近由力目标值设定部32设定的力目标值。例如将力目标值分解为与手坐标系的各坐标轴相关的分量来设定。手坐标系是位置和姿势相对于手21被固定的坐标系。在该情况下,力测定部33构成为能够将作用于手21的外力分解为与手坐标系的各坐标轴相关的分量来测定。
一般来说,能够通过执行以下面的数式2的特性方程式来表现的力控制,来执行仿形动作使得作用于手21的外力接近力目标值。
···(数式2)
Fd:预先设定的作用于手的外力的目标值
图6A示出被配置于保持位置姿势的手21。在使图6A的保持位置姿势下的手21的爪21a闭合的情况下,仅通过爪21a的前端来保持物品12。因此,爪21a与物品12的接触面积小,无法稳定地保持物品12。
因此,根据本实施方式,将手坐标系的Z轴方向(图6A的箭头的方向)上的力目标值设定得小(例如-1N)。这样一来,通过在保持动作时执行的仿形动作,手21一边沿物品12的表面(图6B的箭头的方向)移动,一边使爪21a闭合。其结果,爪21a与物品12的接触面积增大,能够稳定地保持物品12。
此外,通过对力目标值进行调整地执行的仿形动作,未必能够稳定地执行所有的保持动作。例如,由于数式1和数式2的包含虚拟粘性系数的项,仿形动作相对于作用于手21的外力延迟。虚拟粘性系数的项虽然具有使仿形动作鲁棒(Robust)的效果,但是根据情况,也有可能存在仿形动作延迟而过剩的外力作用于手21的情况。为了防止产生过剩的外力,也可以构成为在进行仿形动作时(即保持动作时)由力测定部33测定出的外力超过预先决定的阈值时,保持动作部34中断保持动作。在该情况下,保持动作部34中断保持动作,并且使手21进行动作以释放物品12。由此,能够防止机器人2和手21中产生过负荷,并且能够防止物品12破损。
图3是表示在物品取出装置10中执行的一系列工序的流程图。首先,在步骤S301中,为了探测物品12的装载状态,使用视觉传感器4来获取容器11内的物品12的视觉信息。在视觉传感器4是二维照相机的情况下,执行物品12的拍摄。在视觉传感器4是三维测定器的情况下,获取物品12的距离图像。
在步骤S302中,视觉信息处理部31基于在步骤S301中获取到的视觉信息,来计算手21的保持位置姿势。接着,在步骤S303中,机器人控制部35使机器人2进行动作以将手21移动到保持位置姿势。
在步骤S303中执行的接近动作中,也可以基于手21与物品12接触而产生的反作用力来更新保持位置姿势。能够根据由力测定部33测定出的外力来求出作用于手21的反作用力。即,在机器人2使手21向保持位置姿势移动时,在作用于手21的力超过了预先决定的阈值时,判定为手21与物品12发生了接触。当判定为手21与物品12发生了接触时,结束机器人2的接近动作。
图7A示出由视觉信息处理部31计算出的手21的保持位置姿势。如果使手21移动到以虚线表示的保持位置姿势,则导致手21与位于应该取出的物品12a的周围的物品12b发生干扰。在这种情况下,有时判定为手21无法保持物品12而中断物品取出工序。
因此,通过监视作用于手21的外力,将如图7B所示那样手21与物品12b发生了接触的位置作为更新后的保持位置姿势来执行接近动作。在该情况下,在比基于视觉信息计算出的保持位置姿势靠上方的位置处保持物品12a,因此能够执行保持动作。
再次参照图3,在步骤S304中,保持动作部34通过机器人2和手21来执行物品12的保持动作。此时,按照前述的数式1或数式2使机器人2或手21执行仿形动作。
在步骤S305中,使机器人2进行动作以使保持着物品12的手21移动,来从容器11取出物品12。进一步使机器人2进行动作来将由机器人2取出的物品载置到规定的位置(例如输送机)。根据图3所示的流程图,物品取出装置10在每次要取出物品12时都获取物品12的视觉信息。然而,也可以根据获取到的视觉信息对多个物品12分别计算保持位置姿势。在该情况下,物品取出装置10构成为在取出1个物品12之后,不返回到步骤S301,而是返回到步骤S303来连续地取出下一个物品12。
根据前述的物品取出装置10,能够起到如下的有利的效果。
(1)在保持物品12时,使机器人2或手21执行仿形动作,因此即使在根据视觉信息计算出的保持位置姿势下无法保持物品12的情况下,也能够稳定地保持物品12。
(2)利用力测定部33来测定在手21与物品12发生了接触时手21所受到的反作用力,由此检测手21与物品12发生了接触的位置。将检测出的接触位置用作手21的保持位置姿势,因此即使在根据视觉信息计算出的保持位置姿势下无法保持物品12的情况下,也能够继续进行物品12的取出工序。
(3)在由力测定部33测定出的外力超过预先决定的阈值时,中断物品12的保持动作。由此,能够防止机器人2或手21中产生过负荷,而且能够防止物品12破损。
图8是其它实施方式所涉及的物品取出装置10的功能框图。在本实施方式中,控制装置3除了具备与图2相关联地前述的结构以外,还具备存储部36和物品个数判别部37。
物品取出装置10形成为从容器11逐个地取出物品12。然而,存在同时保持2个以上的物品12的情况。相反地,还存在物品12的保持失败的情况。因此,在本实施方式中,基于由力测定部33测定出的外力的检测值,来判定是否正确地执行了物品12的保持动作。
另外,与加减速相应的惯性力作用于手21,因此难以在移动过程中正确地测定由手21保持的物品12的质量。虽然只要使机器人2停止就能够测定物品12的质量,但是由于导致循环时间的增大而并不期望。
图9是表示与由手21保持着的物品12的个数相应地检测出的外力的曲线图。图9的横轴表示时间经过,纵轴表示由力测定部33测定出的外力。图9的实线是在保持有1个物品12时作用于手21的外力的数据,虚线是在同时保持有2个物品12时作用于手21的外力的数据,点线是在没有保持物品12时作用于手21的外力的数据。
如图所示,在机器人2的动作过程中获取的外力的数据含有比较大的噪声。因此,例如将从t1到t2的测定期间的平均值M0~M2作为基准来判别物品12的个数。即,在作用于手21的外力包含在以平均值M0为基准的两箭头A0所示的区域内的情况下,视为手21不能保持物品12。另外,在外力包含在以平均值M1为基准的两箭头A1所示的区域内的情况下,视为手21保持有1个物品12。另外,在外力包含在以平均值M2为基准的箭头A2所示的范围内的情况下,视为手21保持有2个以上的物品12。
存储部36存储如参照图9来前述的表示由手21保持的物品12的个数与作用于手21的外力之间的关系的数据。
物品个数判别部37参照存储部36中存储的数据,根据由力测定部33测定出的外力来判别由手21保持着的物品12的个数。
根据本实施方式,能够在机器人2的动作过程中判定是否逐个地正确地保持着物品12。由此,能够不增大循环时间地判别由手21保持着的物品12的个数。在由物品个数判别部37判定为保持有2个以上的物品12时,使机器人2进行动作以抖落物品12,或者对机器人2进行控制以重新保持物品12。在判定为没有保持物品12的情况下,也重新执行物品12的保持动作。因而,能够稳定地取出物品12。
图10是另一实施方式所涉及的物品取出装置10的功能框图。在本实施方式中,控制装置3除了具备与图2相关联地前述的结构以外,还具备存储部36和物品种类判别部38。
本实施方式中,物品取出装置10形成为基于力测定部33的测定结果,不仅能够判别物品12的个数,还能够判别物品12的种类。因而,在该情况下,存储部36存储表示由手21保持的物品12的种类与作用于手21的外力之间的关系性的数据。而且,物品种类判别部38参照存储部36中存储的数据,来判别由手21保持着的物品12的种类。
发明的效果
根据本发明,在通过手来保持物品的工序中,基于力传感器的检测值而机器人或手进行仿形动作。由此,能够防止手或机器人中产生过负荷或者物品的保持失败,从而能够稳定地取出物品。
以上,说明了本发明的各种实施方式,但只要是本领域技术人员就能够理解通过其它实施方式也能够实现本发明所意图的作用效果。特别是,能够不脱离本发明的范围地删除或置换前述的实施方式的结构要素,或者进一步附加公知的手段。另外,对在本说明书中明示或暗示地公开的多个实施方式的特征进行任意地组合也能够实施本发明,这对本领域技术人员来说是不言而喻的。

Claims (7)

1.一种物品取出装置,利用视觉传感器来检测被散乱堆放的物品,并且基于由上述视觉传感器获取的视觉信息来通过机器人逐个地取出上述物品,
上述机器人具备:
手,其设置于臂的前端,能够保持上述物品;以及
力传感器,其能够检测作用于上述手的外力,
该物品取出装置具备:
视觉信息处理部,其基于由上述视觉传感器获取的视觉信息,获取上述手的能够保持上述物品的位置和姿势来作为保持位置姿势;
力目标值设定部,其设定在保持上述物品时作用于上述手的外力的目标值;以及
保持动作部,其使上述机器人进行动作以使上述手移动到上述保持位置姿势,并且使上述手进行动作以保持上述物品,
其中,上述保持动作部构成为:在通过上述手来保持上述物品时使上述机器人或上述手执行仿形动作,使得由上述力传感器检测出的外力接近上述外力的目标值。
2.根据权利要求1所述的物品取出装置,其特征在于,
上述力传感器构成为对在上述机器人使上述手移动到上述保持位置姿势时上述手与上述物品接触而产生的反作用力进行检测,
上述保持动作部构成为:在由上述力传感器检测出的上述反作用力超过预先决定的第一阈值时,使上述机器人停止上述手向上述保持位置姿势的移动,并且使上述手进行动作以保持上述物品。
3.根据权利要求1或2所述的物品取出装置,其特征在于,
上述力传感器构成为将作用于上述手的外力分解为与手坐标系的各坐标轴相关的分量来获取,该手坐标系是位置和姿势相对于上述手被固定的坐标系,
上述力目标值设定部构成为将上述外力的目标值分解为与上述手坐标系的各坐标轴相关的分量来设定,
上述保持动作部构成为:基于由上述力目标值设定部设定的上述外力的目标值,来使上述机器人或上述手执行上述仿形动作。
4.根据权利要求1或2所述的物品取出装置,其特征在于,
上述保持动作部构成为:在通过上述手来保持上述物品时,在由上述力传感器检测出的上述外力超过预先决定的第二阈值时,中断通过上述手进行的上述物品的保持动作,并且使上述手进行动作以从上述手中释放上述物品。
5.根据权利要求1或2所述的物品取出装置,其特征在于,
上述物品取出装置还具备:
存储部,其将由上述力传感器检测出的上述外力与通过上述手保持的上述物品的个数相互关联地存储为第一存储信息;以及
物品个数判别部,其基于上述第一存储信息以及在通过上述手取出上述物品时由上述力传感器检测出的上述外力,来判别通过上述手保持的上述物品的个数。
6.根据权利要求1或2所述的物品取出装置,其特征在于,
上述物品取出装置还具备:
存储部,其在上述被散乱堆放的物品包含不同种类的物品的情况下,将由上述力传感器检测出的上述外力与通过上述手保持的上述物品的种类相互关联地存储为第二存储信息;以及
物品种类判别部,其基于上述第二存储信息以及在通过上述手取出上述物品时由上述力传感器检测出的上述外力,来判别通过上述手保持的上述物品的种类。
7.根据权利要求1或2所述的物品取出装置,其特征在于,
上述手是通过开闭来保持上述物品的夹手,
上述保持动作部构成为:通过对上述手的开闭量进行控制来执行通过上述手进行的上述物品的保持动作,并且使上述机器人或上述手执行仿形动作使得在使上述手开闭而上述手与上述物品接触时由上述力传感器检测出的外力接近上述外力的目标值。
CN201510589938.6A 2014-09-16 2015-09-16 物品取出装置 Active CN105415370B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-188050 2014-09-16
JP2014188050A JP5905549B1 (ja) 2014-09-16 2014-09-16 バラ積みされた物品を取出す物品取出装置

Publications (2)

Publication Number Publication Date
CN105415370A CN105415370A (zh) 2016-03-23
CN105415370B true CN105415370B (zh) 2017-05-10

Family

ID=55406199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510589938.6A Active CN105415370B (zh) 2014-09-16 2015-09-16 物品取出装置

Country Status (4)

Country Link
US (1) US9694499B2 (zh)
JP (1) JP5905549B1 (zh)
CN (1) CN105415370B (zh)
DE (1) DE102015115115B4 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3216571B1 (en) * 2014-11-06 2022-03-30 FUJI Corporation Component supplying device
JP6711591B2 (ja) * 2015-11-06 2020-06-17 キヤノン株式会社 ロボット制御装置およびロボット制御方法
JP2017196705A (ja) * 2016-04-28 2017-11-02 セイコーエプソン株式会社 ロボット、及びロボットシステム
US10221015B2 (en) * 2016-06-27 2019-03-05 Amazon Technologies, Inc. Automated item singulation
US20180021949A1 (en) * 2016-07-20 2018-01-25 Canon Kabushiki Kaisha Robot apparatus, robot controlling method, program, and recording medium
CN106078784A (zh) * 2016-07-29 2016-11-09 苏州高通机械科技有限公司 一种玩具收纳装置及其机械手
CN106166018A (zh) * 2016-07-29 2016-11-30 苏州高通机械科技有限公司 一种新型玩具收纳装置
US10597235B2 (en) 2016-10-20 2020-03-24 Intelligrated Headquarters, Llc Carton unloader tool for jam recovery
US10315866B2 (en) * 2016-10-20 2019-06-11 Intelligrated Headquarters, Llc 3D-2D vision system for robotic carton unloading
JP7047249B2 (ja) * 2017-01-10 2022-04-05 オムロン株式会社 画像処理システム、画像処理装置、ワークのピックアップ方法、および、ワークのピックアッププログラム
JP6453922B2 (ja) * 2017-02-06 2019-01-16 ファナック株式会社 ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法
JP6823502B2 (ja) * 2017-03-03 2021-02-03 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6889574B2 (ja) * 2017-03-03 2021-06-18 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6876476B2 (ja) * 2017-03-17 2021-05-26 株式会社東芝 保持機構、移載装置及びハンドリングロボットシステム
DE102017118985B4 (de) * 2017-04-23 2019-10-02 Franka Emika Gmbh Schraubvorrichtung
JP6487495B2 (ja) * 2017-05-19 2019-03-20 ファナック株式会社 ワーク取出しシステム
JP6902208B2 (ja) * 2017-11-14 2021-07-14 オムロン株式会社 把持方法、把持システム及びプログラム
JP6676030B2 (ja) * 2017-11-20 2020-04-08 株式会社安川電機 把持システム、学習装置、把持方法、及び、モデルの製造方法
JP7093629B2 (ja) * 2017-12-26 2022-06-30 川崎重工業株式会社 ピペットにチップを装着する方法
CN108127666B (zh) * 2017-12-29 2020-12-25 深圳市越疆科技有限公司 一种机械臂的抓取方法、系统及机械臂
CN108214491A (zh) * 2017-12-29 2018-06-29 深圳市越疆科技有限公司 一种机器人执行工步切换方法、装置及终端设备
CN108115688B (zh) * 2017-12-29 2020-12-25 深圳市越疆科技有限公司 一种机械臂的抓取控制方法、系统及机械臂
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
JP6912415B2 (ja) * 2018-04-10 2021-08-04 ファナック株式会社 ハンド制御装置およびハンド制御システム
US11407111B2 (en) * 2018-06-27 2022-08-09 Abb Schweiz Ag Method and system to generate a 3D model for a robot scene
CN109079786B (zh) * 2018-08-17 2021-08-27 上海非夕机器人科技有限公司 机械臂抓取自学习方法及设备
JP6508691B1 (ja) * 2018-10-15 2019-05-08 株式会社Mujin 制御装置、作業ロボット、プログラム、及び、制御方法
CN109731793A (zh) * 2018-12-17 2019-05-10 上海航天电子有限公司 一种小批量片式散料器件智能分拣设备
US10335947B1 (en) * 2019-01-18 2019-07-02 Mujin, Inc. Robotic system with piece-loss management mechanism
US11741566B2 (en) 2019-02-22 2023-08-29 Dexterity, Inc. Multicamera image processing
US10549928B1 (en) 2019-02-22 2020-02-04 Dexterity, Inc. Robotic multi-item type palletizing and depalletizing
WO2020172579A1 (en) 2019-02-22 2020-08-27 Dexterity, Inc. Robotic handling of soft products in non-rigid packaging
US11312581B2 (en) * 2019-04-16 2022-04-26 Abb Schweiz Ag Object grasp system and method
US11359958B2 (en) * 2019-05-13 2022-06-14 Kindred Systems Inc. Multiple object detection
JP2021171838A (ja) 2020-04-21 2021-11-01 株式会社東芝 ピッキング装置、制御装置、及びプログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1052445A (zh) 1989-12-12 1991-06-26 杭州电子工业学院 三感觉机械手
JP2555822B2 (ja) * 1991-10-30 1996-11-20 日本電装株式会社 山積み部品の高速ピッキング装置
JP2000263481A (ja) 1999-03-12 2000-09-26 Meidensha Corp ビンピッキング装置
US7443115B2 (en) * 2002-10-29 2008-10-28 Matsushita Electric Industrial Co., Ltd. Apparatus and method for robot handling control
US7477969B2 (en) * 2003-10-02 2009-01-13 W.E.T. Automotive Systems Ag Temperature conditioned assembly having a controller in communication with a temperature sensor
US20100168919A1 (en) * 2006-03-24 2010-07-01 Matsushita Electric Industrial Co, Ltd. Control method and control system for manipulator
JP4199264B2 (ja) * 2006-05-29 2008-12-17 ファナック株式会社 ワーク取り出し装置及び方法
JP4600445B2 (ja) * 2007-07-23 2010-12-15 トヨタ自動車株式会社 ロボットハンド装置
JP5088187B2 (ja) * 2008-03-18 2012-12-05 株式会社Ihi ロボット設置方法及びロボット生産システム
JP5458807B2 (ja) 2009-10-30 2014-04-02 富士電機株式会社 対象物把持領域抽出装置および対象物把持領域抽出装置を用いたロボットシステム
JP5480667B2 (ja) 2010-02-26 2014-04-23 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、プログラム
JP5321532B2 (ja) * 2010-04-28 2013-10-23 株式会社安川電機 ロボットキャリブレーション装置及びキャリブレーション方法
JP5505138B2 (ja) * 2010-07-05 2014-05-28 株式会社安川電機 ロボット装置およびロボット装置による把持方法
JP5558585B2 (ja) 2010-11-17 2014-07-23 三菱電機株式会社 ワーク取り出し装置
DE102010051935A1 (de) 2010-11-19 2012-05-24 Daimler Ag Verfahren zum Entnehmen eines Bauteils
JP5215378B2 (ja) 2010-12-27 2013-06-19 ファナック株式会社 3軸力センサを用いて力制御をおこなうロボットの制御装置
JP5834478B2 (ja) * 2011-05-10 2015-12-24 セイコーエプソン株式会社 ロボット
JP5846479B2 (ja) * 2011-08-23 2016-01-20 株式会社Ihi ロボットとその制御方法
JP5892459B2 (ja) * 2011-08-25 2016-03-23 株式会社Ihi 組立ロボットとその制御方法
JP5383760B2 (ja) * 2011-09-09 2014-01-08 ファナック株式会社 ワーク質量測定機能を備えたロボット
WO2013042667A1 (ja) 2011-09-20 2013-03-28 株式会社イシダ 質量測定装置
DE102012012988A1 (de) 2012-06-29 2014-04-17 Liebherr-Verzahntechnik Gmbh Vorrichtung zur automatisierten Handhabung von Werkstücken
JP6323993B2 (ja) * 2012-08-28 2018-05-16 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
JP2014140934A (ja) 2013-01-24 2014-08-07 Fanuc Ltd 力センサを備える電動ハンド
JP5698789B2 (ja) * 2013-04-18 2015-04-08 ファナック株式会社 ワークを搬送するロボットの制御装置
US10046140B2 (en) * 2014-04-21 2018-08-14 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems

Also Published As

Publication number Publication date
US20160075031A1 (en) 2016-03-17
JP5905549B1 (ja) 2016-04-20
CN105415370A (zh) 2016-03-23
DE102015115115A1 (de) 2016-03-17
DE102015115115B4 (de) 2019-03-21
JP2016059983A (ja) 2016-04-25
US9694499B2 (en) 2017-07-04

Similar Documents

Publication Publication Date Title
CN105415370B (zh) 物品取出装置
US20230008540A1 (en) Robotic system with automated package scan and registration mechanism and methods of operating the same
JP5616478B1 (ja) ワークを搬送するロボットを備えるロボットシステム
US10800033B2 (en) Robot control apparatus, robot control method, robot system, and storage medium
CN109074513B (zh) 用于机器人抓握的深度机器学习方法和装置
US9393693B1 (en) Methods and systems for determining and modeling admissible gripper forces for robotic devices
US9604364B2 (en) Picking apparatus and picking method
US9233469B2 (en) Robotic system with 3D box location functionality
CN101152720B (zh) 工件取出装置
CN104057447B (zh) 机器人拾取系统以及被加工物的制造方法
JP6541397B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11794343B2 (en) System and method for height-map-based grasp execution
CN112060087A (zh) 一种用于机器人抓取场景的点云碰撞检测方法
US20190283251A1 (en) Transporter, transport system, and controller
JP2018187687A (ja) 物品取出システム
JP2016078180A (ja) 異常原因推定装置、ピッキング装置及びピッキング装置における異常原因推定方法
JP2021013996A5 (ja) 情報処理方法、ロボットシステム、物品の製造方法、プログラム、記録媒体、および情報処理装置
JP6632224B2 (ja) 把持制御装置、把持制御方法及びプログラム
US20120191240A1 (en) Methods and apparatus for removing an item from a conveyor system
JP2020121346A (ja) ワーク移載システム及びその方法
US20240132303A1 (en) Robotic systems with dynamic motion planning for transferring unregistered objects
US20230286165A1 (en) Systems and methods for robotic system with object handling
EP3240645B1 (en) Sliding transport of rolled product with adaptation of friction
Yu et al. Estimation of mass and center of mass of unknown cylinder-like object using passing-CM Lines
JP2021091036A (ja) ピッキングロボット、ピッキング方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant