CN109927058A - 抓握装置、抓握判定方法和抓握判定程序 - Google Patents

抓握装置、抓握判定方法和抓握判定程序 Download PDF

Info

Publication number
CN109927058A
CN109927058A CN201811473303.XA CN201811473303A CN109927058A CN 109927058 A CN109927058 A CN 109927058A CN 201811473303 A CN201811473303 A CN 201811473303A CN 109927058 A CN109927058 A CN 109927058A
Authority
CN
China
Prior art keywords
unit
hand unit
hand
decision
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811473303.XA
Other languages
English (en)
Other versions
CN109927058B (zh
Inventor
池田拓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN109927058A publication Critical patent/CN109927058A/zh
Application granted granted Critical
Publication of CN109927058B publication Critical patent/CN109927058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/08Gripping heads and other end effectors having finger members
    • B25J15/10Gripping heads and other end effectors having finger members with three or more finger members
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39469Grip flexible, deformable plate, object and manipulate it
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39527Workpiece detector, sensor mounted in, near hand, gripper
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39571Grip, grasp non rigid material, piece of cloth
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40583Detect relative position or orientation between gripper and currently handled object

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

本公开内容提供了一种抓握装置、抓握判定方法和抓握判定程序。抓握装置在对被抓握时变形的目标物体执行抓握动作之后将手单元置于静止;执行判定操作,该判定操作使臂单元移动并使整个手单元移位,使得目标物体的未被手单元抓握的一部分可以覆盖特定部位;以及在开始判定操作之后观察单元不再能观察到特定部位的情况下,判定手单元已经成功地抓握目标物体。

Description

抓握装置、抓握判定方法和抓握判定程序
技术领域
本公开内容涉及抓握装置、抓握判定方法和抓握判定程序。
背景技术
已知用于判定机器人手部是否可以抓握目标物体的技术(例如,参见日本未审查专利申请公布No.2013-10155)。
发明内容
当要被机器人手部抓握的物体是刚体时,可以通过监测抓握部分的压力和抓握宽度来判定是否成功地执行了抓握。然而,例如,对于在被抓握时变形的目标物体例如由于重力而垂下或下垂的织物,难以通过使用现有判定技术精确地判定机器人手部是否已经成功地抓握物体。
将参考本公开内容来描述用于判定机器人手部是否已经成功地抓握在被抓握时变形的目标物体的技术。
第一示例性方面是一种抓握装置,该抓握装置包括:臂单元;手单元,其能够抓握在被抓握时变形的目标物体,手单元连接至臂单元;观察单元,其能够观察手单元的第二部位,观察单元设置在手单元的第一部位中;抓握控制单元,其被配置成使手单元执行抓握目标物体的抓握动作;以及判定单元,其被配置成:执行判定操作,该判定操作使臂单元移动并使整个手单元移位,使得目标物体的未被手单元抓握的一部分可以在抓握控制单元在使手单元执行抓握动作之后已经将手单元置于静止的状态下覆盖第二部位,以及在开始判定操作之后观察单元不再能观察到第二部位的情况下,判定手单元已经成功地抓握目标物体。
通过使用如上所述的目标物体变形的特征来执行判定操作,可以精确地判定抓握目标物体的成功或失败。在这种情况下,第二部位优选地设置在手单元的面向地板表面方向的表面上。当如上所述设置第二部位的情况下,即使在提起目标物体的简单判定操作中,目标物体也会垂下,并且从而置于第一部位与第二部位之间。因此,可以更容易地执行抓握判定。
另外,第二部位可以根据手单元的姿势来被重置。手单元可以在相对于目标物体改变其姿势的同时执行抓握动作。因此,通过根据抓握目标物体的手单元的姿势来改变第二部位,可以更精确地执行抓握判定。
另外,观察单元可以是用于拍摄第二部位的图像的图像拾取单元。通过使用从图像拾取单元输出的图像,可以在没有在第二部位上放置有源元件的情况下观察到第二部位。相反,观察单元可以是光接收传感器,并且可以在第二部位中设置有发光单元。当第二部位通过判定操作被目标物体覆盖时,光接收传感器不能接收从发射单元发出的光。因此,可以利用更简单的装置结构执行抓握判定。
判定操作可以被配置成包括提起整个手单元的操作和使整个手单元相对于臂单元转动的操作中的至少一个。即使通过如上所述的简单操作,也可以精确地执行抓握判定。
另外,判定单元可以在与判定操作相对应的操作被包括在控制手单元的控制操作中的情况下执行抓握判定。例如,当运送被抓握物体的控制操作包括与预定判定操作相对应的操作(例如,与预定判定操作相同的操作)时,判定单元可以在控制操作被执行的情况下执行抓握判定,而无需费事地独立执行判定操作。通过使用如上所述的控制操作,可以减少完成由抓握装置执行的任务所需的时间。
另外,在抓握装置包括被配置成识别要被手单元抓握的物体的识别单元的情况下,判定单元可以在识别单元将要被抓握的物体识别为变形的物体时执行抓握判定。利用这样的结构,可以根据目标物体适当地执行抓握判定。
另外,判定单元可以通过使用另一判定方法在不能判定目标物体是否已经被成功地抓握的情况下执行抓握判定。例如,当要被抓握的物体中的大多数是刚体时,首先通过使用针对刚体的判定方法来执行抓握判定。通过以逐步方式执行抓握判定,可以提高可靠性和速度。
另外,第二示例性方面是一种用于抓握装置的抓握判定方法,所述抓握装置包括:臂单元;手单元,其能够抓握在被抓握时变形的目标物体,手单元连接至臂单元;以及观察单元,其能够观察手单元的第二部位,观察单元设置在手单元的第一部位中,所述抓握判定方法包括:通过手单元执行抓握目标物体的抓握动作;执行判定操作,该判定操纵使臂单元移动并使整个手单元移位,使得目标物体的未被手单元抓握的一部分可以在手单元在抓握动作已经被执行之后被置于静止的状态下覆盖第二部位;以及在开始判定操作之后观察单元不再能观察到第二部位的情况下,判定手单元已经成功地抓握目标物体。
另外,第三示例性方面是在抓握装置中执行的抓握判定程序,所述抓握装置包括:臂单元;手单元,其能够抓握在被抓握时变形的目标物体,手单元连接至臂单元;以及观察单元,其能够观察手单元的第二部位,观察单元设置在手单元的第一部位中,抓握判定程序使抓握装置中的计算机执行以下操作:执行抓握目标物体的抓握动作;执行判定操作,该判定操作使臂单元移动并使整个手单元移位,使得目标物体的未被手单元抓握的一部分可以在手单元在抓握动作已经被执行之后被置于静止的状态下覆盖第二部位;以及在开始判定操作之后观察单元不再能观察到第二部位的情况下,判定手单元已经成功地抓握目标物体。
在以上第二示例性方面和第三示例性方面中,类似于第一示例性方面,可以精确地判定抓握目标物体的成功或失败。
根据下文中给出的详细描述和附图,本公开内容的以上及其他目的、特征和优点将变得更全面地被理解,下文中给出的详细描述和附图仅通过说明方式给出的,并且因此不被视为限制本公开内容。
附图说明
图1是包括抓握装置的移动机器人100的外部透视图;
图2是移动机器人的控制框图;
图3示出了手单元开始抓握动作的状态;
图4示出了手单元抓握目标物体的状态;
图5是用于描述第一判定操作的图;
图6是用于描述第二判定操作的图;
图7是用于描述第三判定操作的图;
图8是用于描述第一递送处理的流程图;
图9是用于描述第二递送处理的流程图;
图10是示出手单元的另一示例的外部透视图;以及
图11是示出手单元的另一示例的外部透视图。
具体实施方式
在下文中,尽管将参考本公开内容的实施方式来描述本公开内容,但是本公开内容不限于以下实施方式。另外,以下实施方式中描述的所有部件对于解决问题的手段不一定是必不可少的。
图1是包括根据该实施方式的抓握装置的移动机器人100的外部透视图。在图1中,xy平面是移动机器人100的行进表面,并且z轴正方向是天顶方向。移动机器人100主要由滑架单元110、主单元120、构成抓握装置的臂单元130和手单元140构成。
滑架单元110在圆柱形壳体中支持两个驱动轮111和一个脚轮112,两个驱动轮111和一个脚轮112中的每一个在行进表面上接地。两个驱动轮111被设置成使得两个驱动轮111的旋转轴线的中心彼此重合。通过使用马达(未示出)来独立地且旋转地驱动每个驱动轮111。脚轮112是从动轮并且被设置成使得从滑架单元110沿竖直方向延伸的转轴远离轮的旋转轴线枢转地支持轮子。另外,脚轮112遵循滑架单元110的移动方向。例如,移动机器人100在两个驱动轮111以相同的速度沿相同方向旋转时直行,并且在两个驱动轮111以相同的速度沿相反方向旋转时绕穿过滑架单元110的两个驱动轮111的中心的竖轴旋转。
主单元120支持臂单元130并且包括形成用户接口的一部分的显示面板123。显示面板123是例如液晶面板,并且显示人物的面部并且示出关于移动机器人100的信息。显示面板123在显示表面上具有触摸面板并且可以接收来自用户的输入指令。
主单元120包括第一图像拾取单元121,第一图像拾取单元121设置在其可以观察臂单元130和手单元140的运动范围的位置处。第一图像拾取单元121包括作为例如CMOS图像传感器的图像拾取器件和图像数据生成单元。另外,第一图像拾取单元121输出通过拍摄臂单元130和手单元140的操作空间的图像而生成的图像数据。另外,在主单元120中设置有控制单元190。控制单元190包括控制单元、存储器等,这将在后面描述。
由主单元120支持的臂单元130是臂单元的示例,并且具有例如在图1中示出的两个连杆,并且可以通过设置在相应连杆的基端处的驱动马达(未示出)而作出各种姿势。手单元140连接至臂单元130的远端,并且整个手单元140可以通过驱动马达(未示出)绕着与臂单元130的远端连杆的延伸方向平行的旋转轴线旋转。手单元140是手单元的示例,并且包括由在其远端处的马达(未示出)驱动的第一手指140a和第二手指140b。第一手指140a和第二手指140b可以通过移动以如通过虚线箭头所指示地彼此靠近并且抓握目标物体来抓握。
在手单元140的预定位置处作为第一部位设置有第二拾取单元141。另外,在手单元140的预定位置处作为第二部位设置有标志142。第一部位设置在如下位置处,在该位置处要被安装的第二图像拾取单元可以观察到标志142。第二部位设置在面向地板表面方向(图1中的坐标系中的z轴负方向)的表面上。在该实施方式中,第一部位设置在第一手指140a和第二手指140b的支持基部的下表面上,并且第二部位设置在第二手指140b的下表面上。
第二图像拾取单元141是观察单元的示例,并且包括作为例如CMOS图像传感器的图像拾取器件和图像数据生成单元。另外,第二图像拾取单元141输出通过拍摄标志142附近的空间的图像而生成的图像数据。标志142是例如作为十字形等以便容易地在图像中被识别的标记。另外,印有标记的印章可以附着至第二部位或者直接印在第二部位上。标志142可以是其图像可以由第二图像拾取单元141拍摄并且可以在拍摄的图像中识别的任何标志。
图2是移动机器人100的控制框图。控制单元200例如是CPU,并且容置在主单元120的控制单元190中。驱动轮单元210包括驱动电路和用于驱动驱动轮111的马达,并且设置在滑架单元110中。控制单元200将驱动信号发送至驱动轮单元210以控制驱动轮111的旋转。
除了参照图1描述的结构之外,臂单元130还包括用于驱动马达的驱动电路、用于观察移动量的编码器等。控制单元200将驱动信号发送至臂单元130以控制臂的动作和姿势。除了参照图1描述的结构之外,手单元140还包括用于驱动马达的驱动电路、用于观察移动量的编码器等。控制单元200将驱动信号发送至手单元140以控制手部的动作和姿势。
传感器单元220包括用于检测移动时的障碍物以及来自外部的接触的各种传感器,并且以分布的方式设置在滑架单元110和主单元120中。控制单元200将控制信号发送至传感器单元220以驱动各种传感器并且获得来自传感器的输出。
如上所述,第一图像拾取单元121用于观察臂单元130和手单元140的动作范围,并且根据来自控制单元200的图像拍摄指令来拍摄图像。第一图像拾取单元121将生成的图像数据递送至控制单元200。如上所述,第二图像拾取单元141用于观察标志142附近的空间,并且根据来自控制单元200的图像拍摄指令来拍摄图像。第二图像拾取单元141将生成的图像数据递送至控制单元200。
存储器230是非易失性存储介质,并且例如,使用固态硬盘(solid state drive)。除了机器人控制程序之外,存储器230还存储用于控制移动机器人100的各种参数值、函数、查找表等。机器人控制程序包括用于控制构成抓握装置的臂单元130和手单元140的抓握控制程序。用户接口240是显示面板123或例如发出合成语音的扬声器等,以及是用于根据控制单元200的控制向用户提供信息并从用户接收指令的用户接口。
控制单元200用作用于执行与控制有关的各种计算的功能计算单元。抓握控制单元201控制抓握目标物体的抓握动作。判定单元202判定手单元140是否成功地抓握目标物体。稍后将详细描述这些操作的具体计算。
图3示出了手单元140开始抓握动作的状态。注意,假设手单元140试图抓握的目标物体是放置在桌子910上的毛巾900。毛巾900是在被抓握时其整体形状在重力影响下变形的目标物体的示例。除了织物之外,上述目标物体还包括纸、皮革、线缆等。
手单元140以第一手指140a和第二手指140b打开的姿势靠近毛巾900,并且分别设置有第二图像拾取单元141和标志142的第一部位和第二部位面向地板表面方向(在这种情况下,桌子的上表面方向)。具体地,抓握控制单元201使用从第一图像拾取单元121获得的图像数据来判定毛巾900的可以抓握的一部分。然后,抓握控制单元201将手单元140调节到上述状态,并且朝向判定的可以被抓握的部分向前(图3中的加粗箭头所指示的方向)驱动臂单元130。
在图3所示的状态之后,图4示出了手单元140抓握作为目标物体的毛巾900的状态。当抓握控制单元201识别出毛巾900的可以抓握的部分容纳在打开的第一手指140a和第二手指140b之间时,抓握控制单元201沿通过加粗箭头指示的方向驱动每个手指并且使其抓握毛巾900的可以被抓握的部分。
如上所述的动作是用于抓握目标物体的抓握动作。由于目标物体的其形状变形的特性,因此在大多数情况下,控制单元200仍然没有实际识别出在该阶段处是否已经成功地执行了抓握。因此,在该实施方式中,控制单元200执行用于判定是否已经成功地抓握目标物体的判定操作。判定操作通过使臂单元130移动来使整个手单元移位,使得目标物体的未被手单元140抓握的部分可以在手单元140在抓握动作被执行之后置于静止的状态下覆盖第二部位。下面将描述判定操作的若干示例。
图5是用于描述第一判定操作的图。第一判定操作是提起整个手单元140的操作。判定单元202控制臂单元130以将已经完成抓握动作的手单元140如由加粗箭头所指示的向上(z轴正方向)移动。当手单元140已经成功地抓握毛巾900时,毛巾900从桌子910的上表面被提起,并且毛巾的比由第一手指140a和第二手指140b抓握的部分低的部分垂下。然后,垂下的部分置于第二图像拾取单元141与标志142之间,使得从第二图像拾取单元141不能观察到标志142。判定单元202利用该现象。也就是说,当在此之前可观察到的标志142不再能被观察到时,判定单元202判定手单元140已经成功地抓握毛巾900作为第一判定操作的结果。具体地,判定单元202在执行判定操作之后将图像拾取信号发送至第二图像拾取单元141,分析相应得到的图像数据,并且检查标志142不在图像中。注意,第一判定操作不限于完全向上地提升目标物体的操作,而是可以根据情况等替代为斜向地提起目标物体的操作。
图6是用于描述第二判定操作的图。第二判定操作是使整个手单元140相对于臂单元130转动的操作。判定单元202控制臂单元130以使已经完成抓握动作的手单元140沿通过加粗箭头指示的方向转动。也就是说,当手单元140已经成功地抓握毛巾900时,判定单元202使手单元140转动,使得毛巾900的从手单元垂下或者缠绕手单元的部分覆盖标志142。当在此之前可观察到的标志142不再能被观察到时,判定单元202判定手单元140已经成功地抓握毛巾900作为第二判定操作的结果。具体地,判定单元202在执行判定操作之后将图像拾取信号发送至第二图像拾取单元141,分析相应得到的图像数据,并且检查标志142不在得到的图像中。注意,在第二判定操作中,当标志142设置在第一手指140a的下表面上时,手单元140优选地沿与通过图6中的加粗箭头所指示的方向相反的方向转动。另外,根据桌子910与手单元140之间的距离短等各种情况,手单元140可以在暂时与桌子910分离之后被转动。
图7是用于描述第三判定操作的图。第三判定操作是使整个手单元140沿平行于桌子910的表面的方向摆动的操作。判定单元202控制臂单元130以使已经完成抓握动作的手单元140沿通过加粗箭头指示的方向往复运动若干次。当手单元140已经成功地抓握毛巾900时,毛巾900的从手单元垂下的部分摆动,使得其间歇地置于第二图像拾取单元141与标志142之间。当在此之前可观察到的标志142在开始第三判定操作之后间歇地或连续地不再能被观察到时,判定单元202判定手单元140已经成功地抓握毛巾900。具体地,判定单元202在开始判定操作之后将图像拾取信号发送至第二图像拾取单元141,分析作为结果得到的图像数据,并且检查标志142间歇地或连续地不在图像中。
上面描述了三种判定操作。然而,当标志142在通过判定操作得到的图像数据中时,判定单元202可以判定没有成功地执行抓握或者抓握的情况未知。当判定单元202判定没有成功地执行抓握时,控制单元200再次执行抓握操作。当判定单元202判定抓握的情况未知时,其可以通过执行另一判定操作来再次执行判定,或者使用其他更严格的判定方法来执行判定。另外,判定操作不限于以上三种操作,而是可以是通过使臂单元130移动来使整个手单元移位以使得目标物体的未被手单元140抓握的一部分可以在手单元140在抓握动作被执行之后被置于静止的状态下覆盖第二部位的任何操作。
注意,在以上说明中,“下表面”意指可以在手单元140执行抓握动作时面向地板表面方向的表面,并且不意指始终面向地板表面方向的表面。如上所述,由于手单元140可以相对于臂单元130的远端连杆转动,因此第一部位和第二部位可以在抓握动作期间或者在物体的递送期间面向除地板表面方向之外的方向。另外,“面向地板表面方向的表面”不意指这样的表面限于与地板表面完全相对的表面,而是可以替代为其法线在重力方向上具有分量的任何表面。在任何情况下,当要被抓握的物体的一部分由于重力而垂下时,物体可以置于第一部位与第二部位之间。
接下来,将描述由移动机器人100递送的物体的递送处理。图8是用于描述第一递送处理的流程图。图8所示的流程与递送任务的包括抓握动作的部分相对应,并且从当移动机器人100到达要被递送的物体附近时的点开始。要被递送的物体是在被抓握时在重力的影响下其整个形状变形的物体。
在步骤S101中,抓握控制单元201对于要被递送的物体执行抓握动作。具体地,抓握控制单元201执行与参照图3和图4描述的动作类似的动作。当抓握控制单元201已经完成抓握动作时,处理进行至步骤S102,并且控制单元200开始在递送任务中定义的递送操作。
控制单元200开始递送操作,并且在预定时段内判定与判定操作相对应的操作是否被包括在递送操作中(步骤S103)。例如,提起要被递送的物体的操作通常包括在一般递送操作中。在这种情况下,判定单元202判定递送操作包括与上述第一判定操作相对应的操作,并且将提起要被递送的物体的该操作用作判定操作。也就是说,当判定单元202在预定时段内判定与判定操作相同的操作被包括在将被执行的递送操作中时,判定单元202尝试通过将该操作用作判定操作来减少完成递送任务所需的时间,并且从而跳过专用判定操作的执行。另一方面,当判定单元202在预定时段内判定与判定操作相对应的操作未包括在递送操作中时,判定单元202执行专用判定操作(步骤S104)。
判定单元202进行至步骤S105并且执行抓握判定。具体地,如上所述,判定单元202检查是否不再能观察到在此之前可观察到的标志142。然后,判定单元202进行至步骤S106,在不再能观察到标志142时判定已经成功地抓握要被递送的物体,并且进行至步骤S107。否则,判定单元202返回至步骤S101并且再次执行抓握控制。在这种情况下,判定单元202可以强制地从步骤S103进行至步骤S104并且被控制以便执行与先前判定操作不同的判定操作。注意,当判定单元202已经以预定次数返回至步骤S101并且执行抓握控制时,可以停止上述一系列处理。当控制单元200进行至步骤S107时,控制单元200执行剩余的递送任务以完成一系列处理。
图9是用于描述与第一递送处理不同的第二递送处理的流程图。图9所示的流程与包括抓握动作的递送任务的部分相对应,并且从当移动机器人100到达要被递送的物体附近时的点开始。
控制单元200在步骤S201中识别要被递送的物体。具体地,控制单元200获得第一图像拾取单元121的图像数据,以通过使用图像识别技术来识别要被递送的物体。当控制单元200已经完成识别时,控制单元200进行至步骤S202并且对要被递送的物体执行抓握动作。具体地,控制单元200执行与参照图3和4描述的动作类似的动作。当控制单元200已经完成抓握动作时,控制单元200进行至步骤S203,并且判定要被递送的物体是否是在被抓握时在重力的影响下其整个形状变形的物体而作为在步骤S201中执行的识别的结果。当控制单元200判定物体是在被抓握时变形的物体时,控制单元200进行至步骤S204。同时,当控制单元200判定物体不是在被抓握时变形的物体时,控制单元200进行至步骤S206。
当处理进行至步骤S204时,判定单元202执行判定操作。然后,判定单元202进行至步骤S205,并且,作为第一抓握判定,判定单元202检查在此之前可观察到的标志142是否不再能被观察到。当不再能观察到标志142时,判定单元202判定已经成功地执行抓握。
当处理进行至步骤S206时,判定单元202执行第二抓握判定。第二抓握判定是对刚体的抓握判定。已知许多用于刚体的抓握判定的技术。例如,当设置在第一手指140a中的压力传感器指示等于或大于预定值的值并且第一手指140a和第二手指140b彼此分离时,判定单元202判定已经成功地执行了抓握。
当处理从步骤S205或步骤S206进行至步骤S207时,在判定单元202判定已经成功执行了对要被递送的物体的抓握的情况下,控制单元200进行至步骤S208。否则,控制单元200返回至步骤S202并且再次执行抓握控制。此时,当控制单元200进行至步骤S204时,控制单元200可以被控制以便执行与先前的判定操作不同的判定操作。注意,当控制单元200已经以预定次数返回至步骤S202并且执行了抓握控制时,可以停止上述一系列处理。当控制单元200进行至步骤S208时,控制单元200执行剩余的递送任务以完成一系列处理。
注意,递送处理不限于上述两个处理,并且可以以各种其他方式来配置。例如,当基于要被递送的物体是刚体的假设在没有预先识别要被转送的物体的情况下使用用于抓握刚体的判定方法并且然后不能通过使用该方法来判定物体已经被抓握时,可以使用通过执行判定操作来执行抓握判定的上述判定方法。
在上述实施方式中,目标物体的未被手单元140抓握的部分“覆盖”第二部位的事实不限于目标物体的一部分与第二部位物理接触的情况,并且包括以下状态:其中,第二部位由于该第二部位被目标物体的置于第一部位与第二部位之间的空间中的部分覆盖而不再能从第一部位被观察到。另外,在上述实施方式中,标志142被设置为标记。然而,替代使用标志,作为观察单元的第二图像拾取单元141可以使用手单元140中的第二部位的形状本身作为要被识别的对象。也就是说,使用在第二部位未被目标物体的一部分覆盖时观察到的轮廓作为要被识别的对象,并且当该轮廓不再能从图像数据中提取时,判定不再能观察到第二部位。通过如上所述定义要被识别的对象,可以节省提供专用标志142的时间和麻烦。
接下来,将描述手单元的修改示例。图10是示出手单元340的另一示例的外部透视图。与上述手单元140类似地,手单元340包括第一手指140a和第二手指140b。然而,与手单元140不同,在手单元340中,在第一部位中设置光接收传感器343,而非第二图像拾取单元141,并且在第二部位中设置发射红外光的LED 344,而非标志142。注意,与图3等中类似,在图10中,示出了桌子910和毛巾900,以便于理解与要被抓握的物体的相对位置关系。
光接收传感器343是观察单元的示例,并且LED 344是发光单元的示例。光接收传感器343通过接收从LED 344发射的光来观察第二部位的情况。光接收传感器343和LED 344两者均被调节成使得在设置在第二部位中的LED 344被目标物体覆盖时光接收传感器343不能接收到从LED 444发射的光。
如上所述,通过分别在第一部位和第二部位中设置光接收单元和发光单元,可以通过判定操作来判定是否已经成功地执行了目标物体的抓握。设置有光接收单元和发光单元的以上结构比使用图像拾取单元的结构更简单,并且因此可以降低抓握装置的成本。
图11是示出手单元440的另一示例的外部透视图。手单元440是利用三个爪抓握目标物体的爪式手单元。具体地,如图11所示,手单元440包括第一爪440a、第二爪440b和第三爪440c,并且第一爪440a、第二爪440b和第三爪440c可以通过移动各自的远端来抓握目标物体,以便如通过虚线箭头所指示地彼此靠近,并且由此将目标物体保持在其中。类似于手单元140,可以通过驱动马达(未示出)绕着与臂单元130的远端连杆的延伸方向平行的旋转轴线来转动手单元440。手单元440被转动,以便根据要被抓握物体的姿势等容易地伸出爪。注意,类似于图3等,在图11中,示出了桌子910和毛巾900,以便可以理解与要被抓握物体的相对位置关系。
在手单元440的基体中设置有第一光接收传感器445a、第二光接收传感器445b和第三光接收传感器445c,该基体以可移动的方式支持这三个爪。第一光接收传感器445a设置在第一爪440a的基端附近,第二光接收传感器445b设置在第二爪440b的基端附近,并且第三光接收传感器445c设置在第三爪440c的基端附近。另外,第一LED 446a设置在第一爪440a的远端,第二LED 446b设置在第二爪440b的远端,并且第三LED 446c设置在第三爪440c的远端。第一光接收传感器445a被调节成接收从第一LED 446a发射的光并且不接收从另外LED发射的光。第二光接收传感器445b被调节成接收从第二LED 446b发射的光并且不接收从另外LED发射的光。第三光接收传感器445c被调节成接收从第三LED 446c发射的光并且不接收从另外LED发射的光。
判定单元202在执行判定操作时判定哪个LED可以被要被抓握的物体的一部分覆盖,并且将设置有该LED的部位重置为第二部位。也就是说,由于手单元440可以在抓握操作中转动,因此判定单元202在判定操作中判定哪个LED面向下表面方向。然后,判定单元202通过检查被调节成接收从该LED发出的光的光接收传感器是否可以在判定操作已经开始之后接收发射的光来判定是否已经成功地执行了抓握。
如上所述,可以在手单元中设置发光单元和光接收单元的多个组合,并且可以预先判定发光单元和光接收单元的哪个组合被用于根据手单元的姿势进行抓握判定。注意,代替发光单元和光接收单元的组合,如手单元140,可以提供图像拾取单元和标志的组合。利用这样的结构,可以将上述判定方法应用于各种类型的手单元。
在上述实施方式中,第一部位和第二部位处于相对位置关系,并且因此它们各自的位置可以彼此交换。例如,标志142和第二拾取图像单元141的各自的位置可以彼此交换。另外,通过设置多个标志,还可以根据要被执行的判定操作来改变观察哪个标志。
另外,在上述实施方式中,已经描述了用于递送要被递送的物体的移动机器人100包括抓握装置的示例。然而,抓握装置可以是不包括移动机构等的独立装置。在这种情况下,在抓握装置中设置有控制抓握装置所需的控制单元。
可以使用任何类型的非暂态计算机可读介质来存储程序并且将程序提供至计算机。非暂态计算机可读介质包括任何类型的有形存储介质。非暂态计算机可读介质的示例包括磁存储介质(例如,软盘、磁带、硬盘驱动器等)、光磁存储介质(例如,磁光盘)、CD-ROM(致密盘只读存储器)、CD-R(可记录致密盘)、CD-R/W(可重写致密盘)和半导体存储器(例如,掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪速ROM、RAM(随机存取存储器)等)。可以使用任何类型的暂态计算机可读介质将程序提供至计算机。暂态计算机可读介质的示例包括电信号、光信号和电磁波。暂态计算机可读介质可以经由有线通信线路(例如,电线和光纤)或无线通信线路将程序提供至计算机。
根据如此描述的本公开内容,将明显的是,本公开内容的实施方式可以以多种方式变化。不应将这样的变化视为脱离本公开内容的精神和范围,并且如对于本领域技术人员而言将明显的是,所有这样的修改意在包括在所附权利要求的范围内。

Claims (12)

1.一种抓握装置,包括:
臂单元;
手单元,其能够抓握在被抓握时变形的目标物体,所述手单元连接至所述臂单元;
观察单元,其能够观察所述手单元的第二部位,所述观察单元设置在所述手单元的第一部位中;
抓握控制单元,其被配置成使所述手单元执行抓握所述目标物体的抓握动作;以及
判定单元,其被配置成:执行判定操作,所述判定操作使所述臂单元移动并整个手单元移位,使得所述目标物体的未被所述手单元抓握的部分能够在所述抓握控制单元在使所述手单元执行抓握动作之后已经将所述手单元置于静止的状态下覆盖所述第二部位;以及在开始所述判定操作之后所述观察单元不再能观察到所述第二部位的情况下,判定所述手单元已经成功地抓握所述目标物体。
2.根据权利要求1所述的抓握装置,其中,所述第二部位设置在所述手单元的面向地板表面方向的表面上。
3.根据权利要求2所述的抓握装置,其中,所述第二部位根据所述手单元的姿势被重置。
4.根据权利要求1至3中任一项所述的抓握装置,其中,所述观察单元是用于拍摄所述第二部位的图像的图像拾取单元。
5.根据权利要求1至3中任一项所述的抓握装置,其中,所述观察单元是光接收传感器,并且在所述第二部位中设置有发光单元。
6.根据权利要求1至5中任一项所述的抓握装置,其中,所述判定操作包括提起所述整个手单元的操作。
7.根据权利要求1至6中任一项所述的抓握装置,其中,所述判定操作包括相对于所述臂单元转动所述整个手单元的操作。
8.根据权利要求1至7中任一项所述的抓握装置,其中,所述判定单元在与所述判定操作相对应的操作被包括在控制所述手单元的控制操作中的情况下执行抓握判定。
9.根据权利要求1至8中任一项所述的抓握装置,包括识别单元,所述识别单元被配置成识别要被所述手单元抓握的目标物体,其中,
所述判定单元在所述识别单元将要被抓握的所述目标物体识别为变形的目标物体时执行抓握判定。
10.根据权利要求1至9中任一项所述的抓握装置,其中,所述判定单元通过使用另一判定方法在不能判定所述目标物体是否已经被成功地抓握的情况下执行抓握判定。
11.一种用于抓握装置的抓握判定方法,所述抓握装置包括:
臂单元;
手单元,其能够抓握在被抓握时变形的目标物体,所述手单元连接至所述臂单元;以及
观察单元,其能够观察所述手单元的第二部位,所述观察单元设置在所述手单元的第一部位中,
所述抓握判定方法包括:
通过所述手单元执行抓握所述目标物体的抓握动作;
执行判定操作,所述判定操作使所述臂单元移动并使整个手单元移位,使得所述目标物体的未被所述手单元抓握的部分能够在所述手单元在抓握动作已经被执行之后被置于静止的状态下覆盖所述第二部位;以及
在开始所述判定操作之后所述观察单元不再能观察到所述第二部位的情况下,判定所述手单元已经成功地抓握所述目标物体。
12.一种在抓握装置中执行的抓握判定程序,所述抓握装置包括:
臂单元;
手单元,其能够抓握在被抓握时变形的目标物体,所述手单元连接至所述臂单元;以及
观察单元,其能够观察所述手单元的第二部位,所述观察单元设置在所述手单元的第一部位中,
所述抓握判定程序使所述抓握装置中的计算机进行如下操作:
执行抓握所述目标物体的抓握动作;
执行判定操作,所述判定操作使所述臂单元移动并使整个手单元移位,使得所述目标物体的未被所述手单元抓握的一部分能够在所述手单元在抓握动作已经被执行之后被置于静止的状态下覆盖所述第二部位;以及
在开始所述判定操作之后所述观察单元不再能观察到所述第二部位的情况下,判定所述手单元已经成功地抓握所述目标物体。
CN201811473303.XA 2017-12-05 2018-12-04 抓握装置、抓握判定方法和抓握判定程序 Active CN109927058B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-233509 2017-12-05
JP2017233509A JP6881268B2 (ja) 2017-12-05 2017-12-05 把持装置、把持判定方法および把持判定プログラム

Publications (2)

Publication Number Publication Date
CN109927058A true CN109927058A (zh) 2019-06-25
CN109927058B CN109927058B (zh) 2022-03-04

Family

ID=64082881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811473303.XA Active CN109927058B (zh) 2017-12-05 2018-12-04 抓握装置、抓握判定方法和抓握判定程序

Country Status (4)

Country Link
US (1) US11141866B2 (zh)
EP (1) EP3495099B1 (zh)
JP (1) JP6881268B2 (zh)
CN (1) CN109927058B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT202000019570A1 (it) 2020-08-06 2022-02-06 Univ Degli Studi Di Siena Sistema di presa con accoppiamento magnetico per la manipolazione robotica
US11745347B2 (en) * 2021-03-19 2023-09-05 Nvidia Corp. Method for assessing the quality of a robotic grasp on 3D deformable objects
GB2606991A (en) * 2021-03-31 2022-11-30 Alumatlq As Electrolytic cell lid handling system and method of use

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6042587U (ja) * 1983-08-31 1985-03-26 日本電気株式会社 ロボツトハンドセンサ−
JPH01264794A (ja) * 1988-04-11 1989-10-23 Toshiba Corp 物体把持装置
US20010045755A1 (en) * 1998-04-18 2001-11-29 Schmalz Gmbh Gripper system, in particular vacuum gripper system
JP2003053689A (ja) * 2001-08-10 2003-02-26 Shibaura Mechatronics Corp 部品供給装置及び部品検出方法
DE102009001894A1 (de) * 2009-03-26 2010-09-30 Ifm Electronic Gmbh Robotersystem mit 3D-Kamera
CN102189366A (zh) * 2010-03-01 2011-09-21 株式会社神户制钢所 夹紧确认系统、焊接机器人系统、夹紧工具控制装置及夹紧确认方法
CN102198659A (zh) * 2010-03-24 2011-09-28 索尼公司 夹取判断装置和夹取判断方法
CN102773865A (zh) * 2011-05-10 2012-11-14 精工爱普生株式会社 机械手以及机器人
JP2013010155A (ja) * 2011-06-28 2013-01-17 Canon Inc 対象物把持装置、対象物把持装置の制御方法、およびプログラム
WO2013080536A2 (en) * 2011-11-30 2013-06-06 Canon Kabushiki Kaisha Grip apparatus, control method for the grip apparatus, and robot manipulator
CN103753585A (zh) * 2014-01-10 2014-04-30 南通大学 一种基于视觉图像分析的机械手及抓紧力智能调节方法
CN204604340U (zh) * 2015-05-14 2015-09-02 宋国丰 能很好判断夹持效果的机械手
CN104908051A (zh) * 2014-03-12 2015-09-16 发那科株式会社 取出工件的机器人系统和判定工件把持状态的判定方法
CN104942803A (zh) * 2014-03-26 2015-09-30 精工爱普生株式会社 机器人控制装置、机器人、机器人系统、示教方法及程序
CN105563502A (zh) * 2016-02-25 2016-05-11 渤海大学 一种力/位混合柔顺控制的夹持装置、手操设备以及夹持装置和手操设备的控制方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08323678A (ja) 1995-05-25 1996-12-10 Sanyo Electric Co Ltd 柔軟物体把持装置
JP2002036159A (ja) 2000-07-21 2002-02-05 Kansai Tlo Kk ロボットハンドの制御方法
JP3703411B2 (ja) 2001-07-19 2005-10-05 ファナック株式会社 ワーク取り出し装置
WO2006006624A1 (ja) * 2004-07-13 2006-01-19 Matsushita Electric Industrial Co., Ltd. 物品保持システム、ロボット及びロボット制御方法
JP4835616B2 (ja) * 2008-03-10 2011-12-14 トヨタ自動車株式会社 動作教示システム及び動作教示方法
JP5281377B2 (ja) * 2008-12-04 2013-09-04 トヨタ自動車株式会社 ロボット装置
JP2012152860A (ja) * 2011-01-26 2012-08-16 Toyota Motor Corp 把持装置およびその制御方法
US9014850B2 (en) * 2012-01-13 2015-04-21 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and computer-program products for evaluating grasp patterns, and robots incorporating the same
JP6486114B2 (ja) * 2015-01-16 2019-03-20 株式会社東芝 荷役装置
JP6586968B2 (ja) * 2017-02-01 2019-10-09 トヨタ自動車株式会社 移動ロボット、移動ロボットの制御方法および制御プログラム
JP6652079B2 (ja) * 2017-02-01 2020-02-19 トヨタ自動車株式会社 記憶装置、移動ロボット、記憶方法及び記憶プログラム
JP6897376B2 (ja) * 2017-07-11 2021-06-30 トヨタ自動車株式会社 移動計画装置、移動ロボット、および移動計画プログラム
JP7207207B2 (ja) * 2019-07-09 2023-01-18 トヨタ自動車株式会社 演算装置、機械学習方法及び制御プログラム

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6042587U (ja) * 1983-08-31 1985-03-26 日本電気株式会社 ロボツトハンドセンサ−
JPH01264794A (ja) * 1988-04-11 1989-10-23 Toshiba Corp 物体把持装置
US20010045755A1 (en) * 1998-04-18 2001-11-29 Schmalz Gmbh Gripper system, in particular vacuum gripper system
JP2003053689A (ja) * 2001-08-10 2003-02-26 Shibaura Mechatronics Corp 部品供給装置及び部品検出方法
DE102009001894A1 (de) * 2009-03-26 2010-09-30 Ifm Electronic Gmbh Robotersystem mit 3D-Kamera
CN102189366A (zh) * 2010-03-01 2011-09-21 株式会社神户制钢所 夹紧确认系统、焊接机器人系统、夹紧工具控制装置及夹紧确认方法
CN102198659A (zh) * 2010-03-24 2011-09-28 索尼公司 夹取判断装置和夹取判断方法
CN102773865A (zh) * 2011-05-10 2012-11-14 精工爱普生株式会社 机械手以及机器人
JP2013010155A (ja) * 2011-06-28 2013-01-17 Canon Inc 対象物把持装置、対象物把持装置の制御方法、およびプログラム
WO2013080536A2 (en) * 2011-11-30 2013-06-06 Canon Kabushiki Kaisha Grip apparatus, control method for the grip apparatus, and robot manipulator
US20140324218A1 (en) * 2011-11-30 2014-10-30 Canon Kabushiki Kaisha Grip apparatus, control method for the grip apparatus, and robot manipulator
CN103753585A (zh) * 2014-01-10 2014-04-30 南通大学 一种基于视觉图像分析的机械手及抓紧力智能调节方法
CN104908051A (zh) * 2014-03-12 2015-09-16 发那科株式会社 取出工件的机器人系统和判定工件把持状态的判定方法
CN104942803A (zh) * 2014-03-26 2015-09-30 精工爱普生株式会社 机器人控制装置、机器人、机器人系统、示教方法及程序
CN204604340U (zh) * 2015-05-14 2015-09-02 宋国丰 能很好判断夹持效果的机械手
CN105563502A (zh) * 2016-02-25 2016-05-11 渤海大学 一种力/位混合柔顺控制的夹持装置、手操设备以及夹持装置和手操设备的控制方法

Also Published As

Publication number Publication date
CN109927058B (zh) 2022-03-04
US20190168397A1 (en) 2019-06-06
EP3495099A1 (en) 2019-06-12
EP3495099B1 (en) 2020-04-29
JP2019098478A (ja) 2019-06-24
US11141866B2 (en) 2021-10-12
JP6881268B2 (ja) 2021-06-02

Similar Documents

Publication Publication Date Title
CN109927058A (zh) 抓握装置、抓握判定方法和抓握判定程序
CN109891342B (zh) 在金属加工工业中基于室内人员定位的制造控制
US10495880B2 (en) Controlling of lifting device
US9544552B2 (en) Pickup system and pickup method
CN109906198A (zh) 用于起重机、施工机械和/或工业卡车的遥控装置
CN111481231B (zh) 超声检测控制方法、装置、及计算机可读存储介质
CN104583884B (zh) 具有单独控制设备的用于尺寸的测量和特征参量的测量装置
US11787037B2 (en) Behavior estimation apparatus, behavior estimation method, and behavior estimation program
US20180218585A1 (en) Handling Device And Method For Operating A Handling Device
JP7027601B2 (ja) ロボット制御装置、ロボット制御方法及びロボット
KR102380694B1 (ko) 드론 조종기 및 그 제어방법
CN108415675A (zh) 信息处理设备、信息处理系统和信息处理方法
KR20160144424A (ko) 매니퓰레이터와 입력 툴을 이용하여 대상물을 핸들링하는 방법
CN114604763A (zh) 用于智能塔吊吊钩导向的电磁定位装置及方法
EP3659509A1 (en) X-ray imaging device, x-ray detector, and x-ray imaging system
JP5278955B2 (ja) 福祉用ロボット装置のロボットアーム操作方法
JP2012156834A (ja) リモコン装置及びプログラム
CN108572804A (zh) 图像形成系统及其控制方法以及计算机可读取的存储介质
JP5659787B2 (ja) 操作環境モデル構築システム、および操作環境モデル構築方法
JP6265784B2 (ja) 姿勢推定システム、プログラムおよび姿勢推定方法
JP2019218198A (ja) 操作支援システム
EP4072130A1 (en) Work assisting server and work assisting system
JPH1129299A (ja) 車両の位置認識装置及び位置認識方法並びに物品の保管装置
JP2016221602A (ja) ロボット、制御装置およびプログラム
JP2020192658A (ja) ロボットシステムおよび可搬型教示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant