CN103302665B - 机器人设备、控制机器人设备的方法 - Google Patents

机器人设备、控制机器人设备的方法 Download PDF

Info

Publication number
CN103302665B
CN103302665B CN201310066315.1A CN201310066315A CN103302665B CN 103302665 B CN103302665 B CN 103302665B CN 201310066315 A CN201310066315 A CN 201310066315A CN 103302665 B CN103302665 B CN 103302665B
Authority
CN
China
Prior art keywords
gripping portion
capture
crawl section
robot device
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310066315.1A
Other languages
English (en)
Other versions
CN103302665A (zh
Inventor
川浪康范
坪井利充
泽田务
永野雅邦
鸭田明宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103302665A publication Critical patent/CN103302665A/zh
Application granted granted Critical
Publication of CN103302665B publication Critical patent/CN103302665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37567—3-D vision, stereo vision, with two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39536—Planning of hand motion, grasping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40298—Manipulator on vehicle, wheels, mobile
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45108—Aid, robot for aid to, assist human disabled
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/09—Closed loop, sensor feedback controls arm movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种机器人设备、控制机器人设备的方法以及计算机程序。该机器人设备包括：抓取部，被配置为抓取物体；识别部，被配置为识别物体的可抓取部分和交付区域部分；抓取计划部，被配置为计划抓取部的路径，以通过交付区域部分将物体交付给接受者；以及抓取控制部，被配置为根据计划的路径，控制通过抓取部抓取物体的操作。

Description

机器人设备、控制机器人设备的方法
技术领域
本说明书公开的技术涉及机器人设备、控制机器人设备的方法以及计算机程序，机器人设备参与用户日常生活中的活动，以进行例如像家务劳动、福利服务、护理、帮助服务等等生活支持。更具体地，该技术涉及与用户进行物体的交付互动的机器人设备、控制机器人设备的方法以及计算机程序。
背景技术
迄今为止，被设计用于执行固定任务并安装在工厂里等等的机器人设备已经普及。但是，近年来，正在实现能够进行各种各样工作的机器人设备。后一情况中的机器人设备被应用于例如像福利服务、护理、帮助服务的各种场合，并将期望物体带给生理上的残疾人员等等，以将物体交付给该人员。
但是，即使机器人设备以容易接收的方式(或者以物体的容易接收的姿态)抓取物体，并试图交付物体，接受者用户有时候也会发现难以接收物体。此外，存在如果无意交付，待交付的物体涉及危险的情况，例如对于切削工具、一杯热饮等等情况。
例如，对于交付物品的方法和设备已经给出提议，其中向人员提供用于机器人接收物品的容易方式，并通过容易方式将物品从人员交付给机器人，而不需要使用可视装置(例如，参见日本未审专利申请公开No.2007-21588)。此外，对于机器人抓取控制设备已经给出提议，机器人抓取控制设备控制机械手，从而从人员接收物品(例如，参见日本未审专利申请No.2005-219161)。相对地，对于将物品从机器人交付给人员这一点还没有给出提议。此外，在交付物品的该方法中，必须向目标物品贴附无线标签，进而，必须使得物品更靠近或者接触读取装置，以检查位置关系并向人员显示位置关系，然后在人员的指示位置交付物品。因此，为了实现物品的交付，必须执行各种装置和程序，因此可以想到可应用情形有限。
此外，对于考虑抓取和交付时接受者的舒适性而将日用品建模的技术 已经给出提议(例如，参见Yamanobe等人的“Grasping of daily commodities in consideration of comfortability of recipient at the time of handing over”，(日本机器人学会第29届年会(2011年9月7日至9日)))。在该技术中，已经给出描述，通过结构描述语言格式描述关于例如杯子等等日用品的每个基元(例如操作部、夹持部等等)的信息，确定每个基元的优先级以选择基元，并且考虑对于接受者的影响，在确定物体的位置之后应当做出抓取位置和姿态的计划。但是，对于做出抓取方案的方法还没有任何具体公开。
发明内容
希望提供一种出色的机器人设备、控制机器人设备的方法以及计算机程序，其能够与用户进行物体的交付互动，不对用户施加额外负担，不危害用户。
根据本公开的实施例，提供一种机器人设备，包括：抓取部，被配置为抓取物体；识别部，被配置为识别物体的可抓取部分和交付区域部分；抓取计划部，被配置为计划抓取部的路径，以通过交付区域部分将物体交付给接受者；以及抓取控制部，被配置为根据计划的路径，控制通过抓取部抓取物体的操作。
在上述实施例中，机器人设备可进一步包括成像部，其中，识别部被配置为基于对通过成像部捕获的物体的图像的图像识别结果，识别物体的可抓取部分和交付区域部分。
在上述实施例中，识别部被配置为基于对通过成像部捕获的物体的图像的图像识别结果，将使得接收物体的用户能够容易地接收物体的部分识别为交付区域部分，并将抓取部能够抓取、但是用户难以接收的部分识别为可抓取部分。
在上述实施例中，识别部被配置为进一步将物体的不能够由抓取部夹持的部分识别为不可抓取部分。
在上述实施例中，抓取计划部被配置为计划抓取部的路径，以通过借助于可抓取部分抓取物体、并且借助于交付区域部分交付物体来将物体交付给接受者。
在上述实施例中，如果抓取计划部不能计划抓取部的路径用于以良好的姿态交付物体的可抓取部分，则抓取计划部被配置为计划抓取部的路 径，以改变为以良好的姿态夹持物体的可抓取部分，然后通过交付区域部分将物体交付给接受者。
在上述实施例中，如果抓取计划部不能计划抓取部的路径用于以良好的姿态交付物体的可抓取部分，则抓取计划部被配置为计划抓取部的路径，以通过交付区域部分抓取物体，然后改变为以良好的姿态夹持物体的可抓取部分，然后通过交付区域部分交付物体。
在上述实施例中，其中，如果抓取计划部不能以良好的姿态抓取物体的可抓取部分，则抓取计划部被配置为计划抓取部的路径，以通过交付区域部分抓取物体，并通过可抓取部分将物体交付给接受者。
在上述实施例中，当即使改变为夹持物体时，抓取计划部也不能以良好的姿态抓取物体的可抓取部分，则抓取计划部被配置为计划抓取部的路径，以通过交付区域部分抓取物体，并通过可抓取部分将物体交付给接受者。
在上述实施例中，抓取计划部被配置为向通过可抓取部分交付物体给其的接受者给予警告。
在上述实施例中，如果抓取计划部不能计划抓取部的路径，以通过交付区域部分或者通过可抓取部分交付物体，则抓取计划部被配置为给予不能向接受者交付物体的警告。
根据本公开的实施例，提供一种控制机器人设备的方法，包括：识别将由抓取部抓取的物体的可抓取部分和交付区域部分；对抓取部的路径进行抓取计划，以通过交付区域部分将物体交付给接受者；以及根据计划的路径，控制通过抓取部抓取物体的操作。
根据本公开的实施例，提供一种以计算机可读格式描述的计算机程序，用于使得计算机用作包括以下的设备：识别部，被配置为识别将由抓取部抓取的物体的可抓取部分和交付区域部分；抓取计划部，被配置为计划抓取部的路径，以通过交付区域部分将物体交付给接受者；以及抓取控制部，被配置为根据计划的路径，控制通过抓取部抓取物体的操作。
上述计算机程序是在计算机可读格式中限定的计算机程序，因此在计算机上实现预定处理。为了以其他方式进行，通过将上述计算机程序安装在计算机上，在计算机上进行协作操作。因此，可以获得与上述机器人设备相同的工作效果。
通过本说明书公开的技术，可以提供一种出色的机器人设备、控制机 器人设备的方法以及计算机程序，能够与用户进行物体的交付合作，不对用户施加额外负担，不危害用户。
通过本说明书公开的技术，可以考虑通过物体的接受者接收的容易性，安全有效地实现从机器人设备到人员的物体交付合作。
此外，通过本说明书公开的技术，如果确定难以交付物体，机器人设备可以预先通知接受者，从而减少给予接受者的不适感。
此外，通过本说明书公开的技术，可以低成本实现机器人设备与人员之间的交付合作，不需要使用诸如无线标签、读取装置等等装置。
通过基于下述实施例和附图的详细描述，本说明书公开的技术的其他目的、特征和优点将进一步变得明显。
附图说明
图1是示出可应用本说明书公开的技术的机器人设备的外观的示意图；
图2是示意性示出可应用本说明书公开的技术的机器人设备的关节的自由度的配置的示意图；
图3是示意性示出图1所示机器人设备的控制系统的配置的示意图；
图4是示出将剪刀分区的示例的示意图；
图5是示出将塑料瓶分区的示例的示意图；
图6是示出将杯子分区的示例的示意图；
图7是示出将刀子分区的示例的示意图；
图8A是示出为了使机器人设备交付物体的处理程序的流程图；
图8B是示出为了使机器人设备交付物体的处理程序的流程图；
图9是示出其中将抓取物体坐标系统Σobj1赋予杯子(其为待抓取物体)的可抓取部分的状态的示意图；
图10是示出其中将抓取坐标系统Σhd赋予机器人设备使用的用于抓取物体的抓取部的状态的示意图；
图11是示出其中用基元形状(圆柱)代替杯子的可抓取部分的示例的示意图；
图12是示出其中将赋予机器人设备的抓取部的抓取坐标系统Σhd重叠在赋予杯子的可抓取部分的抓取物体坐标系统Σobj1上的状态的示意图；
图13是示出其中将抓取物体坐标系统Σobj2赋予杯子(其为待抓取物体)的交付区域部分的状态的示意图；
图14是示出赋予用户手掌的交付坐标系统Σrv与分别赋予刀子(其为待交付物体)的可抓取部分和交付区域部分的抓取物体坐标系统Σobj1和Σobj2之间的关系的示意图；
图15是示出赋予用户手掌的交付坐标系统Σrv与赋予杯子(其为待交付物体)的抓取物体坐标系统Σobj1和Σobj2之间的关系的示意图；
图16是示出其中将抓取物体坐标系统Σobj1赋予拼图(其为在进行交付操作时必须保持姿态的物体)的状态的示意图；
图17是示出其中将抓取物体坐标系统Σobj1赋予盛满食物的盘子(其为在进行交付操作时必须保持姿态的物体)的状态的示意图；
图18是示出用于通过容易的交付方式向用户交付物体的处理程序的流程图；以及
图19是示出向用户交付物体的机器人设备的功能配置的流程图。
具体实施方式
下面，参照附图详细描述本说明书中公开的技术的实施例。
图1示出可应用本说明书公开的技术的机器人设备100的外观。机器人设备100具有链接结构，其中多个链接通过关节连接，并且各个关节分别通过致动器操作。此外，图2示意性示出机器人设备100的关节的自由度的配置。图1和图2所示的机器人设备100安装在每时每刻动态变化的周围环境中，例如在家庭等等中，并进行像家务劳动、护理等等生活支持。但是，也可将机器人设备100安装在工厂等中，并执行固定任务。
图1和图2所示的机器人设备100是双臂式，并在基部设置有彼此相对的两个驱动轮101R和101L作为移动器件。驱动轮101R和101L分别由驱动轮致动器102R和102L驱动，驱动轮致动器102R和102L各自绕俯仰轴(pitch axis)旋转。就此而言，在图2中，附图标记151、152、153是实际上不存在的欠致动关节，并关于底面分别对应于机器人设备 100在X方向上(前后方向)的平移自由度、在Y方向上(左右方向)的平移自由度以及绕偏航轴的旋转自由度，从而表示机器人设备100在虚拟世界中的移动。
移动器件通过腰关节连接到上体。移动器件通过绕俯仰轴旋转的腰关节俯仰轴致动器103驱动。上体包括通过颈关节连接的左右两个臂部与头部。左右臂部的每一个在肩关节有三个自由度，在肘关节有两个自由度，在腕关节有两个自由度，因此总共有七个自由度。肩关节的三个自由度通过肩关节俯仰轴致动器104R/L、肩关节翻滚轴致动器105R/L以及肩关节偏航轴致动器106R/L驱动。肘关节的两个自由度通过肘关节俯仰轴致动器107R/L和肘关节偏航轴致动器108R/L驱动。腕关节的两个自由度通过腕关节翻滚轴致动器109R/L和腕关节俯仰轴致动器110R/L驱动。此外，颈关节的两个自由度通过颈关节俯仰轴致动器111和颈关节翻滚轴致动器112驱动。此外，左臂部或右臂部端部的手关节的一个自由度通过手关节翻滚轴致动器113R/L的对应致动器驱动。在本公开中，通过驱动手关节翻滚轴致动器113R/L，可以用手实现物体的抓取操作。
就此而言，虽然图1和图2所示的机器人设备100设置有具有两个相对轮子的移动器件，但是本说明书中公开的技术要点不限于具有两个相对轮子的移动器件。例如，也可以以相同的方式将本说明书中公开的技术应用于设置有具有腿部的移动器件的机器人设备，或者没有设置移动器件的机器人设备。
用于测量关节角度的编码器、用于产生转矩的电机、用于驱动电机的电流控制式电机驱动器以及用于获得充足生成力的减速齿轮附接于每个轴的致动器。此外，每个致动器设置有微型计算机，用于进行致动器的驱动控制(图2中均未示出)。
例如在主机(附图中未示出)上进行机器人设备100的动态计算，并生成各个致动器的转矩或关节角度的控制目标值。控制目标值被发送给为致动器设置的控制微型计算机，并分别用于通过控制微型计算机控制致动器。此外，通过力控制方法或者位置控制方法控制各个关节致动器。
图3示意性示出用于控制图1所示机器人设备100的功能配置。机器人设备100包括控制单元310、输入/输出部320以及驱动部330，控制单元310对全部操作以及其他数据处理进行整体控制。下面，给出各部的描述。
输入/输出部320包括相机321、对应于机器人设备100眼睛的三维传感器322以及对应于机器人设备100耳朵的麦克风323等等作为输入部。此外，输入/输出部320包括对应于机器人设备100嘴巴的扬声器324作为输出部。这里，相机321包括诸如CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体)等等的图像传感装置。此外，三维传感器322是能够测量物体的三维位置和姿态的装置，其例如包括立体相机、激光测距机、Kinect(注册商标)等等。此外，例如允许机器人设备100接收通过来自麦克风323的用户的音频输入的任务指令。但是，机器人设备100可包括通过有线连接、无线连接或者通过记录介质等等的其他任务的指令的输入器件(附图中未示出)。
此外，输入/输出部320包括无线通信部325。经由诸如Wi-Fi等等通信路径，允许机器人设备100通过无线通信部325与用户的指令终端(平板终端等等，图3中未示出)进行数据通信。
驱动部330是用于实现机器人设备100每个关节的自由度的功能模块，并在各个关节包括为每个轴(例如翻滚轴、俯仰轴和偏航轴等等)设置的多个驱动单元。每个驱动单元包括电机331、编码器332和驱动器333的组合，电机331进行绕预定轴的旋转操作，编码器332检测电机331的旋转位置，驱动器333基于速度编码器332的输出，适应性地控制电机331的旋转位置和旋转速度。
控制单元310包括识别部311、驱动控制部312和环境地图313。
识别部311基于从输入部(例如输入/输出部320中的相机321和范围传感器322)获得的信息，识别周围环境。例如，识别部311基于通过估计相机321位置的自身位置估计处理而获得的相机321的位置和姿态信息，以及通过从相机321的捕获图像检测物体的图像识别处理而获得的物体信息，预先建立和更新环境地图313。
驱动控制部312控制输入/输出部320的输出部以及驱动部330的驱动。例如，为了使机器人设备100实现任务，驱动控制部312对驱动部330进行控制。这里提及的通过机器人设备100实现的任务包括与用户的物理交互，例如对用户指令的物体的交付等等。为了实现合作，机器人设备100驱动该驱动轮致动器102R和102L以及臂部的各个关节致动器。
机器人设备100例如应用于生活支持，并将期望物体带给生理残疾人员等等，以将物体交付给该人员。但是，即使机器人设备以容易接收的方 式(或者以物体容易接收的姿态)抓取物体，并试图交付物体，接受者用户有时候也会发现难以接收物体。因此，在本实施例中，考虑通过物体的接受者接收物体的容易度，使得从机器人设备100到人员的物体交付交互安全和有效。此外，如果确定难以交付物体，机器人设备100预先将困难通知接受者，从而减少给接受者带来的不适感。
在本实施例中，考虑交付时接收的容易度，将待抓取的各个物体的抓取区域分为可抓取部分、交付区域部分和不可抓取部分。交付区域部分是物体的、允许接收物体的用户容易地接收的部分。可抓取部分是对于机器人设备100抓取而言容易的部分，但是对于用户接收而言困难的部分。不可抓取部分是对于机器人设备100和用户两者的抓取都困难的部分。可将用于每个物体种类的这些区域信息放入数据库。
图4示出其中将剪刀(待抓取的物体的示例)分为可抓取部分401、交付区域部分402和不可抓取部分403的区域的示例。如图所示，手柄变为交付区域部分402，背部变为可抓取部分401，而附接于手柄的带子易于弯曲，不能夹持(或者为了保持交付区域部分402的位置而难以夹持)，因此变为不可抓取部分403。就此而言，要作为不可抓取部分处理的区域的其他示例包括设置在物体表面上的粘附性区域，以及容易受损害影响的区域，例如像透镜，其只是被触摸，就容易受损坏影响。
此外，图5示出其中将塑料瓶分为可抓取部分501和交付区域部分502的示例。如图5所示，塑料瓶的肩部和底部变为可抓取部分501，而瓶子中间的主体部分变为交付区域部分502。此外，图6示出其中将杯子分为可抓取部分601和交付区域部分602的示例。如图6所示，杯子的圆柱形主体部分变为可抓取部分601，而手柄部分变为交付区域部分602。此外，图7示出其中将刀子分为可抓取部分701和交付区域部分702的示例。如图7所示，刀刃部分变为可抓取部分701，而手柄部分变为交付区域部分702。
如果交付物体的机器人设备100通过可抓取部分夹持物体，而接收物体的用户通过交付区域部分接收物体，对于用户而言就容易接收，并且因此是有效和安全的工作。但是，对于机器人设备100而言如果因为物体的形状、位置、姿态等等难以抓取物体的可抓取部分，机器人设备100就验证是否能够抓取交付区域部分。并且如果能够抓取交付区域部分的话，机器人设备100就通过交付区域部分代替可抓取部分抓取物体。
如果机器人设备100具有双臂，就可以改变为双手来夹持物体，而如 果机器人设备100具有单手，机器人设备100可以临时放置物体，然后可以改变夹持物体。如果机器人设备100已经通过交付区域部分抓取交付的物体，则机器人设备100就验证是否可以从夹持交付区域部分改变为夹持可抓取部分。并且如果可以的话，机器人设备100改变为以良好姿态夹持可抓取部分，然后将物体交付给接受者。此外，如果难以改变夹持物体，机器人设备100就发送难以交付的消息给用户，并尝试以良好姿态通过交付区域部分来交付物体，或者通过可抓取部分将物体交付给用户。此外，如果对于机器人设备而言不能够通过交付区域部分抓取物体，机器人设备100就发送不能够抓取或者不能够交付的消息给用户。
就此而言，这里提及的“用户”对应于“接收方”，并且除了接收人员的情况之外，还包括接收机器人。
此外，例如可以通过从扬声器324输出声音，发送消息给用户，但是也可以通过其他方式通知用户。
图19示出交付物体给用户的机器人设备100的功能配置。图19所示的机器人设备100包括控制部1、图像处理部2、成像部3、物体识别部4、抓取计划部5、抓取控制部6以及抓取部7。
控制部1、图像处理部2、物体识别部4、抓取计划部5以及抓取控制部6对应于图3中的控制单元310。控制部1完全控制机器人设备100的整体操作。图像处理部2和物体识别部4对应于识别部311，而抓取计划部5和抓取控制部6对应于驱动控制部312。此外，成像部3对应于相机321，而抓取部7主要包括机器人设备100的双臂。
成像部3捕获待交付给用户的物体以及作为交付接受者的用户的手掌等等的图像。图像处理部2对于通过成像部3捕获的图像进行图像处理。
物体识别部4根据捕获的图像的图像处理结果识别待交付给用户的物体，并将物体分为可抓取部分、交付区域部分和不可抓取部分等等。此外，物体识别部4将抓取坐标系统Σobj1和Σobj2(随后描述)分别赋予可抓取部分和交付区域部分。此外，物体识别部4根据捕获的图像的图像处理结果识别作为物体接受者的用户的手掌，并赋予交付坐标系统Σhd(随后描述)。如上所述，当物体识别部4进行处理，分区并赋予坐标系统时，物体识别部4可以参考物体数据库8。数据库8存储用于每个物体种类的区域信息、赋予各个区域的抓取坐标系统的原点和姿态、区域范围、交付矢量(随后描述)等等。
抓取计划部5基于通过物体识别部4的识别结果(例如物体和用户的手掌等等)做出用于向用户交付物体的抓取部7的位置和姿态的路径方案。
抓取计划部5计划抓取部7的位置和姿态的路径，从而基本上通过抓取部7夹持物体的可抓取部分，并通过物体的交付区域部分将物体交付给用户。但是，如果因为物体的形状、位置、姿态等等，难以通过抓取部7抓取物体的可抓取部分时，抓取计划部5灵活地计划路径。例如，抓取计划部5计划临时夹持物体的交付区域部分，之后，夹持物体的可抓取部分，并将物体的交付区域部分交付给用户。或者，抓取计划部5计划将物体的可抓取部分交付给用户，等等。此外，如果抓取计划部5不可以计划对于用户而言容易接收物体的抓取部7的路径，或者如果抓取计划部5难以计划在第一位置交付物体的抓取部7的路径，则抓取计划部5向用户发送陈述该情况的消息。
就此而言，对于确定抓取物体时抓取部7的姿态的方法可采用任何方法。例如，可以应用日本专利申请No.2011-262202说明书中公开的方法，该申请已经转让给本申请人。
此外，抓取控制部6根据计划的路径控制抓取部7的操作，实现向用户交付物体。就此而言，对于根据确定的抓取姿态控制抓取部7的操作的方法可采用任何方法。例如，可以应用日本专利申请No.2011-262202说明书中公开的方法，该申请已经转让给本申请人。
图8A和图8B以流程图的形式示出机器人设备100交付物体的处理程序。
首先，关闭指示通过可抓取部分抓取物体的标志(步骤S801)。
接着，在相机321的捕获图像中识别待交付的物体的图像(步骤S802)，并确定物体(步骤S803)。
接着，将捕获的图像中包括的物体的区域分为可抓取部分、交付区域部分以及不可抓取部分(步骤S804)，并将不可抓取部分从抓取目标排除(步骤S805)。
接着，根据步骤S803确定的物体的形状以及物体的当前位置和姿态，核实是否可以通过可抓取部分抓取该物体(步骤S806)。
这里，如果可以通过可抓取部分抓取待交付的物体(步骤S806中“是”)，打开指示通过可抓取部分抓取物体的标志(步骤S807)，并进一 步确定机器人设备100是否可以以良好的姿态抓取物体的可抓取部分(步骤S808)。
并且如果可以以良好的姿态通过可抓取部分抓取物体(步骤S808中“是”)，机器人设备100通过可抓取部分抓取物体(步骤S809)，并通过容易方式交付物体，用于用户接收(步骤S810)。
另一方面，如果机器人设备100不能够通过可抓取部分抓取待交付的物体(步骤S806中“否”)，并且不能够以良好的姿态通过可抓取部分抓取物体(步骤S808中“否”)，则确定是否可以以良好的姿态通过交付区域部分代替可抓取部分抓取物体(步骤S811)。
如果可以以良好的姿态抓取物体的交付区域部分(步骤S811中“是”)，机器人设备100暂时通过交付区域部分抓取物体(步骤S812)。之后，做出确定，机器人设备100是否可以改变为以良好的姿态通过可抓取部分夹持物体(步骤S813)。
如果机器人设备100可以改变为以良好的姿态通过可抓取部分夹持物体(步骤S813中“是”)，机器人设备100改变为以良好的姿态通过可抓取部分夹持物体，然后以容易接收的方式将物体交付给用户(步骤S810)。
此外，如果机器人设备100不可以改变为以良好的姿态通过可抓取部分夹持物体(步骤S813中“否”)，机器人设备100向用户发送消息，难以交付物体，然后执行物体的交付(步骤S814)。
此外，如果机器人设备100不能够以良好的姿态抓取物体的交付区域部分(步骤S811中“否”)，则确定是否将标志设置为打开(步骤S816)。
这里，打开标志的状态((步骤S816中“是”)指示当前能够以不正确的姿态抓取物体的可抓取部分，从而机器人设备100以不正确的姿态抓取物体的可抓取部分(步骤S817)。之后，机器人设备100确定是否能够改变为以良好的姿态通过可抓取部分夹持物体(步骤S813)。如果能够改变为通过可抓取部分夹持物体(步骤S813中“是”)，则机器人设备100改变为以良好的姿态通过可抓取部分夹持物体，并以容易的交付方式将物体交付给用户(步骤S810)。此外，如果机器人设备100不能够改变为以良好的姿态通过可抓取部分夹持物体(步骤S813中“否”)，机器人设备100向用户发送消息，难以交付物体，并执行物体的交付(步骤S814)。
此外，不打开的标志的状态(步骤S816中“否”)指示机器人设备 100不可以抓取物体的可抓取部分(即使以不正确的姿态)，并且不可以以良好的姿态抓取交付区域部分。在这种情况下，做出确定，机器人设备100是否可以抓取物体的交付区域部分(如果不是以良好的姿态)(步骤S818)。
如果机器人设备100可以抓取物体的交付区域部分(如果不是以良好的姿态)(步骤S818中“是”)，机器人设备100暂时抓取物体的交付区域部分(步骤S819)。之后，做出确定，机器人设备100是否可以改变为以良好的姿态通过可抓取部分夹持物体(步骤S813)。并且如果机器人设备100可以改变为以良好的姿态通过可抓取部分夹持物体(步骤S813中“是”)，机器人设备100改变为以良好的姿态通过可抓取部分夹持物体。此外，如果机器人设备100不可以改变为以良好的姿态通过可抓取部分夹持物体(步骤S813中“否”)，机器人设备100向用户发送消息，难以交付物体，然后执行物体的交付(步骤S814)。
此外，如果机器人设备100不可以通过可抓取部分或者通过交付区域部分抓取物体(步骤S818中“否”)，机器人设备100发送消息，不可以抓取物体(步骤S820)，然后终止处理。
就此而言，如果机器人设备100像本实施例中一样包括双臂(或者三臂或更多)，可以在双臂的情况下改变为利用双手夹持物体。此外，在机器人设备为单臂的情况下，可以用一只手临时放置物体，然后改变夹持。
图9示出其中将抓取物体坐标系统Σobj1赋予杯子(其为待抓取物体)的可抓取部分的状态。抓取物体坐标系统Σobj1位于物体的中心点，并表示向用户交付物体时的良好姿态。
此外，图10示出其中将抓取坐标系统Σhd赋予机器人设备100使用的用于抓取物体的抓取部状态的示意图。图10所示的抓取部就像钳子，并且可抓取物体的尺寸根据钳子的宽度等等来确定。在图10中，将抓取坐标系统Σhd赋予抓取部的抓取中心点，并且示出了抓取部试图抓取物体的方向，也就是交付方向矢量X。
当机器人设备100根据相机321捕获的图像识别杯子(其为待抓取物体)的图像时，将抓取物体坐标系统Σobj1赋予杯子的可抓取部分的中心点，如图9所示。此外，为了简化确定是否可抓取的处理，通过图像处理，以基元形状代替可抓取部分。这里提及的基元形状是简单的几何形状，例如像圆柱、多边棱柱、圆锥体、多边棱椎等等。图11示出其中用圆柱代 替杯子的可抓取部分的示例。
在图8A所示流程图的步骤S806中，对基元形状与抓取部的可抓取尺寸进行比较。如果基元形状小于抓取部的可抓取尺寸，则确定物体的可抓取部分是可抓取的。
此外，图12示出其中将赋予机器人设备100的抓取部的抓取坐标系统Σhd重叠在赋予杯子的可抓取部分的抓取物体坐标系统Σobj1上的状态。在图8A所示流程图的步骤S808中，如果可以形成抓取物体坐标系统Σobj1、或者下述交付矢量，以及不大于赋予杯子的姿态值的抓取坐标系统Σhd的每个单元矢量(x,y,z)，则确定可抓取部分是以良好的姿态可抓取的。
此外，图13示出其中将抓取物体坐标系统Σobj2赋予杯子(其为待抓取物体)的交付区域部分的状态。在图8A所示流程图的步骤S811中，如果可以形成抓取物体坐标系统Σobj2，或者下述交付矢量，以及不大于赋予杯子的姿态值的抓取坐标系统Σhd的每个单元矢量(x,y,z)，则确定交付区域部分是以良好的姿态可抓取的。
此外，如果机器人设备100根据相机321捕获的图像识别作为接受者的用户的手掌的图像，则机器人设备100将交付坐标系统Σrv赋予它的中心点。但是，如果将能够检测姿态的传感器(例如陀螺仪等等)附接于用户的手掌，就可以基于它的传感器值给出交付坐标系统Σrv。
在执行物体的交付时，机器人设备100以接近通过给予抓取物体坐标系统Σobj1或Σobj2(在通过可抓取部分抓取物体的情况下是Σobj1，而在通过交付区域部分抓取物体的情况下是Σobj2)以及交付坐标系统Σrv的矢量形成的矢量的方式，交付物体。图14示出赋予用户手掌的交付坐标系统Σrv与分别赋予刀子(刀子是待交付物体)的可抓取部分和交付区域部分的抓取物体坐标系统Σobj1和Σobj2之间的关系。
此外，图15示出赋予用户手掌的交付坐标系统Σrv与赋予杯子(其为待交付物体)的抓取物体坐标系统Σobj1和Σobj2之间的关系。如果待交付物体是杯子，并且杯子包含饮料，则必须增加限制条件：在交付操作过程中应当将杯子保持水平，也就是说，应当使抓取物体坐标系统保持恒定，这不同于笔的情况。如图15所示，对于这样的物体，将表示交付物体的方向的“交付矢量”以及表示物体的垂直方向的“垂直方向矢量”给予抓取物体坐标系统Σobj1。并且，以通过交付矢量和垂直方向矢量确定的姿 态执行交付，而不管交付坐标系统Σrv。交付矢量可以是一个矢量、多个矢量，或者可以做出面定义。
此外，当进行交付操作时必须保持物体姿态的另一示例可包括拼图(参见图16)以及上面盛有食物的盘子(参见图17)。图16和图17示出其中赋予抓取物体坐标系统Σobj1的状态。在拼图的情况下，必须是垂直方向正确、保持水平方向并且交付方向是一定的方向，因此给出多个交付矢量。另一方面，在上面盛有食物的盘子的情况下，只要垂直方向正确并保持水平方向就足够了，因此给出定义面的交付矢量，以及以无关于交付坐标系统Σrv的矢量姿态来执行交付。
如上所述，将关于用于每个物体类别的可抓取部分、交付区域部分以及不可抓取部分的区域信息放在数据库中。在该数据库中，除了区域信息之外，还针对每个物体类别存储赋予每个区域的抓取坐标系统的原点位置和姿态、区域范围、交付矢量。如同有饮料的玻璃杯的情况，在必须无关于用户的交付坐标系统Σrv地确定交付姿态的物体的情况，交付矢量是必须的。
通过流程图的形式，图18示出利用在图8A所示的流程图中的步骤S810中在物体上设置的用于每个区域的抓取坐标系统和交付矢量、通过容易的交付方式向用户交付物体的处理程序。
首先，确定机器人设备100是否沿着交付矢量抓取物体(步骤S1801)。
这里，如果机器人设备100沿着交付矢量抓取物体(步骤S1801中“是”)，则机器人设备100保持当前抓取姿态的同时进行交付操作，而与作为接受者的用户的交付坐标系统Σrv无关(步骤S1802)。
另一方面，如果机器人设备100不沿着交付矢量抓取物体(步骤S1801中“否”)，则机器人设备100确定作为接受者的用户的交付坐标系统Σrv(步骤S1803)。机器人设备100例如根据通过相机321捕获的图像识别作为接受者的用户的手掌的图像，并在其中心点确定交付坐标系统Σrv。或者，如果机器人设备100根据通过相机321捕获的图像识别作为接受者的用户的手掌，则机器人设备100在其中心点确定交付坐标系统Σrv。
并且，机器人设备100交付物体，使得抓取部的抓取坐标系统Σhd的X轴方向(也就是说，交付方向矢量)与通过物体(交付区域部分)的抓取物体坐标系统Σobj2和用户的交付坐标系统Σrv形成的矢量匹配(步骤S1804)。
以这种方式，通过本实施例，可以考虑通过物体的接受者接收的容易度，安全有效地实现从机器人设备100到人员的物体交付交互。此外，如果确定难以交付物体，则机器人设备100可以通过预先通知接受者，减少接受者的不适感。
就此而言，可以配置本说明书中公开的技术如下。
(1)一种机器人设备，包括：抓取部，被配置为抓取物体；识别部，被配置为识别物体的可抓取部分和交付区域部分；抓取计划部，被配置为计划抓取部的路径，以通过交付区域部分将物体交付给接受者；以及抓取控制部，被配置为根据计划的路径，控制通过抓取部抓取物体的操作。
(2)根据(1)的机器人设备，进一步包括成像部，其中，识别部被配置为基于对通过成像部捕获的物体的图像的图像识别结果，识别物体的可抓取部分和交付区域部分。
(3)根据(1)的机器人设备，其中，识别部被配置为基于对通过成像部捕获的物体的图像的图像识别结果，将使得接收物体的用户能够容易地接收物体的部分识别为交付区域部分，并将抓取部能够抓取、但是用户难以接收的部分识别为可抓取部分。
(4)根据(3)的机器人设备，其中，识别部被配置为进一步将物体的不能够由抓取部夹持的部分识别为不可抓取部分。
(5)根据(1)的机器人设备，其中，抓取计划部被配置为计划抓取部的路径，以通过借助于可抓取部分抓取物体、并且借助于交付区域部分交付物体来将物体交付给接受者。
(6)根据(5)的机器人设备，其中，如果抓取计划部不能计划抓取部的路径用于以良好的姿态交付物体的可抓取部分，则抓取计划部被配置为计划抓取部的路径，以改变为以良好的姿态夹持物体的可抓取部分，然后通过交付区域部分将物体交付给接受者。
(7)根据(5)的机器人设备，其中，如果抓取计划部不能计划抓取部的路径用于以良好的姿态交付物体的可抓取部分，则抓取计划部被配置为计划抓取部的路径，以通过交付区域部分抓取物体，然后改变为以良好的姿态夹持物体的可抓取部分，然后通过交付区域部分交付物体。
(8)根据(5)的机器人设备，其中，如果抓取计划部不能以良好的姿态抓取物体的可抓取部分，则抓取计划部被配置为计划抓取部的路径，以通过交付区域部分抓取物体，并通过可抓取部分将物体交付给接受者。
(9)根据(6)或(7)的机器人设备，其中，当即使改变为夹持物体时，抓取计划部也不能以良好的姿态抓取物体的可抓取部分，则抓取计划部被配置为计划抓取部的路径，以通过交付区域部分抓取物体，并通过可抓取部分将物体交付给接受者。
(10)根据(8)或(9)的机器人设备，其中，抓取计划部被配置为向通过可抓取部分交付物体给其的接受者给予警告。
(11)根据(5)至(9)任何一个的机器人设备，其中，如果抓取计划部不能计划抓取部的路径，以通过交付区域部分或者通过可抓取部分交付物体，则抓取计划部被配置为给予不能向接受者交付物体的警告。
(12)根据(5)的机器人设备，其中，如果抓取计划部不能计划以良好的姿态通过可抓取部分抓取物体的路径，则抓取计划部被配置为计划抓取部的路径，以改变为以良好的姿态由可抓取部分抓取物体，然后通过交付区域部分将物体交付给接受者。
(13)根据(5)的机器人设备，其中，如果抓取计划部不能计划以良好的姿态通过可抓取部分抓取物体的路径，则抓取计划部被配置为计划抓取部的路径，以通过交付区域部分抓取物体，然后改变为以良好的姿态由可抓取部分抓取物体，然后通过交付区域部分将物体交付给接受者。
(14)根据(5)的机器人设备，其中，如果抓取计划部不能以良好的姿态通过可抓取部分抓取物体，则抓取计划部被配置为计划抓取部的路径，以通过交付区域部分抓取物体，并通过可抓取部分将物体交付给接受者。
(15)根据(12)或(13)的机器人设备，其中，当即使通过改变抓取计划部也不能以良好的姿态通过可抓取部分抓取物体，则抓取计划部被配置为计划抓取部的路径，以通过交付区域部分抓取物体，并通过可抓取部分将物体交付给接受者。
(16)根据(5)的机器人设备，其中，如果抓取计划部不能计划抓取部的路径用于以良好的姿态抓取物体的可抓取部分，则抓取计划部被配置为计划抓取部的路径，以改变为以良好的姿态夹持物体的可抓取部分，然后通过交付区域部分将物体交付给接受者。
(17)根据(5)的机器人设备，其中，如果抓取计划部不能计划抓取部的路径用于以良好的姿态抓取物体的可抓取部分，则抓取计划部被配置为计划抓取部的路径，以通过交付区域部分抓取物体，然后改变为以良 好的姿态夹持物体的可抓取部分，然后通过交付区域部分交付物体。
(18)根据(5)的机器人设备，其中，如果抓取计划部不能计划以良好的姿态通过物体的可抓取部分抓取物体，则抓取计划部被配置为计划抓取部的路径，以通过交付区域部分抓取物体，并通过可抓取部分将物体交付给接受者。
(19)根据(16)或(17)的机器人设备，其中，当即使改变为夹持物体时，抓取计划部也不能计划以良好的姿态通过物体的可抓取部分抓取物体，则抓取计划部被配置为计划抓取部的路径，以通过交付区域部分抓取物体，并通过可抓取部分将物体交付给接受者。
(20)一种控制机器人设备的方法，包括步骤：识别将由抓取部抓取的物体的可抓取部分和交付区域部分；对抓取部的路径进行抓取计划，以通过交付区域部分将物体交付给接受者；以及根据计划的路径，控制通过抓取部抓取物体的操作。
(21)一种以计算机可读格式描述的计算机程序，用于使得计算机用作包括以下的设备：识别部，被配置为识别将由抓取部抓取的物体的可抓取部分和交付区域部分；抓取计划部，被配置为计划抓取部的路径，以通过交付区域部分将物体交付给接受者；以及抓取控制部，被配置为根据计划的路径，控制通过抓取部抓取物体的操作。
上面，参照特定实施例对本说明书中公开的技术给出了详细描述。但是显然，在不脱离本说明书中公开的技术的精神和范围的情况下，本领域技术人员可以对实施例做出修改和替代。
简言之，通过示例对本说明书中公开的技术给出了描述。但是，不应当以限制的方式解释本说明书的描述。为了确定本说明书中公开的技术要点，应当考虑所附权利要求书。
本公开包含的主题涉及2012年3月9日在日本专利局提交的日本优先权专利申请JP 2012-053108的主题，这里通过参考将其全部内容合并于此。

Claims (11)

1.一种机器人设备，包括：
抓取部，被配置为抓取物体；
识别部，被配置为识别所述物体的可抓取部分和交付区域部分；
抓取计划部，被配置为计划所述抓取部的路径，以通过所述交付区域部分将所述物体交付给接受者；以及
抓取控制部，被配置为根据计划的路径，控制通过所述抓取部抓取所述物体的操作，
其中，所述识别部被配置为基于对通过成像部捕获的所述物体的图像的图像识别结果，将使得接收所述物体的用户能够容易地接收所述物体的部分识别为所述交付区域部分，并将所述抓取部能够抓取、但是用户难以接收的部分识别为可抓取部分，
其中，所述抓取计划部被配置为计划所述抓取部的路径，以通过借助于所述可抓取部分抓取所述物体、并且借助于所述交付区域部分交付所述物体来将所述物体交付给所述接受者，以及
其中，如果所述抓取计划部不能计划所述抓取部的路径用于以良好的姿态抓取所述物体的所述可抓取部分，则所述抓取计划部被配置为计划所述抓取部的路径以通过所述交付区域部分抓取所述物体。
2.根据权利要求1所述的机器人设备，
其中，所述识别部被配置为进一步将所述物体的不能够由所述抓取部夹持的部分识别为不可抓取部分。
3.根据权利要求1所述的机器人设备，
其中，在通过所述交付区域部分抓取所述物体之后，以良好的姿态夹持所述物体的所述可抓取部分，然后通过所述交付区域部分交付所述物体。
4.根据权利要求1所述的机器人设备，
其中，在通过所述交付区域部分抓取所述物体之后，通过所述可抓取部分将所述物体交付给所述接受者。
5.根据权利要求4所述的机器人设备，
其中，所述抓取计划部被配置为向通过所述可抓取部分交付所述物体给其所述接受者给予警告。
6.根据权利要求1所述的机器人设备，
其中，如果所述抓取计划部不能计划所述抓取部的路径，以通过所述交付区域部分或者通过所述可抓取部分交付所述物体，则所述抓取计划部被配置为给予不能向所述接受者交付所述物体的警告。
7.一种机器人设备，包括：
抓取部，被配置为抓取物体；
识别部，被配置为识别所述物体的可抓取部分和交付区域部分；
抓取计划部，被配置为计划所述抓取部的路径，以通过所述交付区域部分将所述物体交付给接受者；以及
抓取控制部，被配置为根据计划的路径，控制通过所述抓取部抓取所述物体的操作，
其中，所述识别部被配置为基于对通过成像部捕获的所述物体的图像的图像识别结果，将使得接收所述物体的用户能够容易地接收所述物体的部分识别为所述交付区域部分，并将所述抓取部能够抓取、但是用户难以接收的部分识别为可抓取部分，
其中，所述抓取计划部被配置为计划所述抓取部的路径，以通过借助于所述可抓取部分抓取所述物体、并且借助于所述交付区域部分交付所述物体来将所述物体交付给所述接受者，
其中，如果所述抓取计划部不能计划所述抓取部的路径用于以良好的姿态抓取所述物体的所述可抓取部分，则所述抓取计划部被配置为计划所述抓取部的路径，以改变为以良好的姿态夹持所述物体的所述可抓取部分，然后通过所述交付区域部分将所述物体交付给所述接受者，以及
其中，如果改变为夹持所述物体时，所述抓取计划部也不能计划以良好的姿态通过所述物体的所述可抓取部分抓取所述物体，则所述抓取计划部被配置为计划所述抓取部的路径，以通过所述交付区域部分抓取所述物体，并通过所述可抓取部分将所述物体交付给所述接受者。
8.根据权利要求7所述的机器人设备，
其中，所述识别部被配置为进一步将所述物体的不能够由所述抓取部 夹持的部分识别为不可抓取部分。
9.根据权利要求7所述的机器人设备，
其中，如果所述抓取计划部不能计划所述抓取部的路径，以通过所述交付区域部分或者通过所述可抓取部分交付所述物体，则所述抓取计划部被配置为给予不能向所述接受者交付所述物体的警告。
10.一种控制机器人设备的方法，包括：
识别将由抓取部抓取的物体的可抓取部分和交付区域部分；
对所述抓取部的路径进行抓取计划，以通过所述交付区域部分将所述物体交付给接受者；以及
根据计划的路径，控制通过所述抓取部抓取所述物体的操作，
其中，接收所述物体的用户能够容易地接收所述物体的部分被识别为所述交付区域部分，并且所述抓取部能够抓取、但是用户难以接收的部分识被别为可抓取部分，
其中，计划所述抓取部的路径，以通过借助于所述可抓取部分抓取所述物体、并且借助于所述交付区域部分交付所述物体来将所述物体交付给所述接受者，以及
其中，如果不能计划所述抓取部的路径用于以良好的姿态抓取所述物体的所述可抓取部分，则计划所述抓取部的路径以通过所述交付区域部分抓取所述物体。
11.一种控制机器人设备的方法，包括：
识别将由抓取部抓取的物体的可抓取部分和交付区域部分；
对所述抓取部的路径进行抓取计划，以通过所述交付区域部分将所述物体交付给接受者；以及
根据计划的路径，控制通过所述抓取部抓取所述物体的操作，
其中，接收所述物体的用户能够容易地接收所述物体的部分被识别为所述交付区域部分，并且所述抓取部能够抓取、但是用户难以接收的部分识被别为可抓取部分，
其中，计划所述抓取部的路径，以通过借助于所述可抓取部分抓取所述物体、并且借助于所述交付区域部分交付所述物体来将所述物体交付给所述接受者，
其中，如果不能计划所述抓取部的路径用于以良好的姿态抓取所述物体的所述可抓取部分，则计划所述抓取部的路径以改变为以良好的姿态夹持所述物体的所述可抓取部分，然后通过所述交付区域部分将所述物体交付给所述接受者，以及
其中，如果改变为夹持所述物体时也不能计划以良好的姿态通过所述物体的所述可抓取部分抓取所述物体，则计划所述抓取部的路径以通过所述交付区域部分抓取所述物体，并通过所述可抓取部分将所述物体交付给所述接受者。
CN201310066315.1A 2012-03-09 2013-03-01 机器人设备、控制机器人设备的方法 Active CN103302665B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012053108A JP2013184273A (ja) 2012-03-09 2012-03-09 ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
JP2012-053108 2013-03-09

Publications (2)

Publication Number Publication Date
CN103302665A CN103302665A (zh) 2013-09-18
CN103302665B true CN103302665B (zh) 2016-12-07

Family

ID=49128599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310066315.1A Active CN103302665B (zh) 2012-03-09 2013-03-01 机器人设备、控制机器人设备的方法

Country Status (3)

Country Link
US (3) US9205559B2 (zh)
JP (1) JP2013184273A (zh)
CN (1) CN103302665B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201309156D0 (en) * 2013-05-21 2013-07-03 Univ Birmingham Grasp modelling
WO2015153739A1 (en) * 2014-04-01 2015-10-08 University Of South Florida Systems and methods for planning a robot grasp based upon a demonstrated grasp
US9469028B2 (en) * 2014-09-30 2016-10-18 Toyota Jidosha Kabushiki Kaisha Robotic handover system natural for humans
DE102014223167A1 (de) * 2014-11-13 2016-05-19 Kuka Roboter Gmbh Bestimmen von objektbezogenen Greifräumen mittels eines Roboters
US9694496B2 (en) * 2015-02-26 2017-07-04 Toyota Jidosha Kabushiki Kaisha Providing personalized patient care based on electronic health record associated with a user
US10089575B1 (en) 2015-05-27 2018-10-02 X Development Llc Determining grasping parameters for grasping of an object by a robot grasping end effector
WO2018036443A1 (zh) * 2016-08-26 2018-03-01 陈胜辉 一种物料抓取方法、装置及系统、以及测力装置、物料箱
JP2018034242A (ja) 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム
JP6662746B2 (ja) * 2016-10-07 2020-03-11 ファナック株式会社 機械学習部を備えた作業補助システム
CN106530297B (zh) * 2016-11-11 2019-06-07 北京睿思奥图智能科技有限公司 基于点云配准的物体抓取区域定位方法
WO2019028528A1 (en) * 2017-08-11 2019-02-14 Bucher Municipal Pty Ltd WASTE COLLECTION SYSTEM
US10967507B2 (en) * 2018-05-02 2021-04-06 X Development Llc Positioning a robot sensor for object classification
US10471591B1 (en) 2018-06-01 2019-11-12 X Development Llc Object hand-over between robot and actor
DE112018007727B4 (de) * 2018-06-14 2022-10-06 Yamaha Hatsudoki Kabushiki Kaisha Robotersystem
WO2020071080A1 (ja) * 2018-10-05 2020-04-09 ソニー株式会社 情報処理装置、制御方法及びプログラム
CN109573526A (zh) * 2018-12-29 2019-04-05 北京艾瑞思机器人技术有限公司 搬运控制方法及搬运机器人
US11185978B2 (en) 2019-01-08 2021-11-30 Honda Motor Co., Ltd. Depth perception modeling for grasping objects
JP7162581B2 (ja) * 2019-10-29 2022-10-28 本田技研工業株式会社 学習方法及び制御装置
CA3115408A1 (en) * 2020-04-17 2021-10-17 Oshkosh Corporation Refuse vehicle with spatial awareness
KR102557033B1 (ko) * 2021-12-02 2023-07-19 주식회사 씨랩 탄성 그리퍼를 구비한 수중드론 로봇암
JP2023130891A (ja) * 2022-03-08 2023-09-21 株式会社安川電機 ロボットシステム、プランニングシステム、ロボット制御方法、およびプランニングプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1293752A (zh) * 1999-03-19 2001-05-02 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取系统
CN1498731A (zh) * 2002-10-29 2004-05-26 ���µ�����ҵ��ʽ���� 机器人抓持控制装置及机器人抓持控制方法
CN1528571A (zh) * 2003-09-29 2004-09-15 上海大学 多边形对象多指抓取规划方法与装置
CN1982000A (zh) * 2005-12-12 2007-06-20 本田技研工业株式会社 自主移动机器人以及自主移动机器人的物品运送方法
JP4461797B2 (ja) * 2003-12-19 2010-05-12 株式会社安川電機 移動ロボット
CN101890720A (zh) * 2004-07-13 2010-11-24 松下电器产业株式会社 物品保持系统、机器人以及机器人控制方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325468A (en) * 1990-10-31 1994-06-28 Sanyo Electric Co., Ltd. Operation planning system for robot
WO2004103864A1 (ja) * 2003-05-21 2004-12-02 Matsushita Electric Industrial Co., Ltd. 物品管理システム、物品管理サーバ、物品管理方法
JP2005219161A (ja) 2004-02-05 2005-08-18 Matsushita Electric Ind Co Ltd ロボット把持制御装置及びロボット把持制御システム
JP3920317B2 (ja) * 2004-08-02 2007-05-30 松下電器産業株式会社 物品運搬用ロボット
JP4317518B2 (ja) * 2004-12-14 2009-08-19 本田技研工業株式会社 物品運搬システム
JP4288510B2 (ja) 2005-07-12 2009-07-01 独立行政法人産業技術総合研究所 人からロボットへの物品受け渡し方法及び装置
JP5448326B2 (ja) * 2007-10-29 2014-03-19 キヤノン株式会社 把持装置および把持装置制御方法
JP5402697B2 (ja) * 2009-10-26 2014-01-29 株式会社安川電機 ロボット装置及びワーク取り出しシステム並びにワーク取り出し方法
JP2011200948A (ja) * 2010-03-24 2011-10-13 Sony Corp 把持判別装置および把持判別方法
KR101789756B1 (ko) * 2010-12-29 2017-11-20 삼성전자주식회사 로봇 및 그 제어방법
CN105313127A (zh) * 2014-06-02 2016-02-10 精工爱普生株式会社 机器人、机器人的控制方法以及机器人的控制装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1293752A (zh) * 1999-03-19 2001-05-02 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取系统
CN1498731A (zh) * 2002-10-29 2004-05-26 ���µ�����ҵ��ʽ���� 机器人抓持控制装置及机器人抓持控制方法
CN1528571A (zh) * 2003-09-29 2004-09-15 上海大学 多边形对象多指抓取规划方法与装置
JP4461797B2 (ja) * 2003-12-19 2010-05-12 株式会社安川電機 移動ロボット
CN101890720A (zh) * 2004-07-13 2010-11-24 松下电器产业株式会社 物品保持系统、机器人以及机器人控制方法
CN1982000A (zh) * 2005-12-12 2007-06-20 本田技研工业株式会社 自主移动机器人以及自主移动机器人的物品运送方法

Also Published As

Publication number Publication date
US10093020B2 (en) 2018-10-09
CN103302665A (zh) 2013-09-18
JP2013184273A (ja) 2013-09-19
US11072068B2 (en) 2021-07-27
US9205559B2 (en) 2015-12-08
US20130245822A1 (en) 2013-09-19
US20190009409A1 (en) 2019-01-10
US20160082590A1 (en) 2016-03-24

Similar Documents

Publication Publication Date Title
CN103302665B (zh) 机器人设备、控制机器人设备的方法
CN103302664B (zh) 机器人设备以及用于控制机器人设备的方法
EP3580626B1 (en) Systems and methods for robotic mobile platforms
US10703272B2 (en) Vehicle device, and non-transitory tangible computer readable medium
EP2898384B1 (en) Self tracking system and its operation method
CN103128736B (zh) 机器人装置、其控制方法和计算机程序
CN106575437B (zh) 信息处理装置、信息处理方法以及程序
JP6589604B2 (ja) ティーチング結果表示システム
JP6645142B2 (ja) ロボット安全システム
JP2013022705A (ja) ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム
TW201007200A (en) Automatic ultrasonic and computer-vision navigation device and method using the same
US11260750B2 (en) Mobile sensor apparatus for a head-worn visual output device usable in a vehicle, and method for operating a display system
CN110888428A (zh) 移动机器人、远程终端、计算机可读介质、控制系统、控制方法
US20190095711A1 (en) Systems and methods for generating three dimensional skeleton representations
JP6150429B2 (ja) ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法
JP2017094466A (ja) ロボットモニタシステム
JP2023076451A (ja) 表示装置
JP2018005653A (ja) 移動ロボットおよび移動制御システム
JP2017007033A (ja) ロボット
CN108700885B (zh) 一种飞行控制方法、遥控装置、遥控系统
WO2020130006A1 (ja) 情報投影システム、制御装置、及び情報投影方法
KR101628117B1 (ko) 보행 패턴 분석 시스템 및 방법
CN113467731A (zh) 显示系统、信息处理装置和显示系统的显示控制方法
CN109968366A (zh) 一种多功能家用机器人
JP2017100205A (ja) バーチャルフェンス表示システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant