CN103302664B - 机器人设备以及用于控制机器人设备的方法 - Google Patents

机器人设备以及用于控制机器人设备的方法 Download PDF

Info

Publication number
CN103302664B
CN103302664B CN201310066198.9A CN201310066198A CN103302664B CN 103302664 B CN103302664 B CN 103302664B CN 201310066198 A CN201310066198 A CN 201310066198A CN 103302664 B CN103302664 B CN 103302664B
Authority
CN
China
Prior art keywords
robot device
information
user
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310066198.9A
Other languages
English (en)
Other versions
CN103302664A (zh
Inventor
近藤玄大
宮本敦史
清水悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103302664A publication Critical patent/CN103302664A/zh
Application granted granted Critical
Publication of CN103302664B publication Critical patent/CN103302664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40099—Graphical user interface for robotics, visual robot user interface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40298—Manipulator on vehicle, wheels, mobile
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45108—Aid, robot for aid to, assist human disabled

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了机器人设备、用于控制机器人设备的方法以及计算机程序。所述机器人设备包括：输出单元，其在屏幕上显示包括对象的图像；输入单元，其接收由用户执行的用于指定与包括图像中的对象的近似范围有关的信息的操作；对象提取单元，其基于由输入单元接收到的指定提取关于对象的二维轮廓的信息；以及位置和姿势估计单元，其基于关于二维轮廓的信息估计关于对象的三维位置和姿势的信息。

Description

机器人设备以及用于控制机器人设备的方法
技术领域
本公开涉及识别环境中的对象和握持对象的机器人设备、用于控制机器人设备的方法以及计算机程序，更具体地，本公开涉及识别环境中的对象并基于通过指令终端等来自用户的指令执行握持操作的机器人设备、用于控制机器人设备的方法以及计算机程序。
背景技术
机器人设备用在工厂等中。这种机器人设备中的大多数被设计来完成有规律的任务。这些年来，正在实现能够执行各种类型的工作的机器人设备。后者的机器人设备例如应用于福利、护理以及帮助领域，并且依照用户的要求将期望的对象递送给残疾人等。
此处，为了握持对象，机器人设备具有识别环境中的目标对象的能力。然而，机器人设备难以在各种情况下保持高的识别能力。此外，当要握持微小对象诸如针或者药(药丸)时，甚至难以在环境中发现这种对象。
控制系统通常用在其中用户使用指令终端等指示机器人设备执行操作的领域中。因此，可以使用如下方法，其中用户通过指令终端告知机器人设备要握持哪个对象。
例如，已经提出了这样的操作指令系统：其中用于多个主要形状模型的握持模式被提前存储在数据库中，并且当用户利用指令终端指定对应于待握持对象的主要形状模型时，机器人设备使得所指定的主要形状模型适配关于对于待握持对象获得的三维位置的数据并搜索数据库以选择用于待握持对象的握持模式(例如，参考日本未审查专利申请公报No.2009-214212)。
然而，在上述操作指令系统中，假定提前准备了存储主要形状模型的数据库，并且难以处理不匹配注册到数据库中的主要形状模型的对象。此外，虽然在适配期间仅通过三维形状测量获得关于对象的三维位置的数据，但是三维形状测量的精确度通常较低，因此可能作出不正确的判定并且难以获得关于对于握持对其难以限定主要形状的诸如针或药(药丸)之类的微小对象来说足够精确的三维位置的数据。相应地，可能不会有效地执行握持操作。此外，利用指令终端选择主要形状模型的操作是复杂的，因此用户可能甚至避免使用操作指令系统。
发明内容
期望提供一种能够识别环境中的对象并且基于通过指令终端等来自用户的指令正确地执行握持操作的有效的机器人设备、用于控制机器人设备的方法以及计算机程序。
还期望提供一种能够识别环境中的各种对象包括微小对象并基于来自用户的少量指令正确地执行握持操作的有效的机器人设备、用于控制机器人设备的方法以及计算机程序。
鉴于上面的问题，根据本公开的第一实施例的技术为一种机器人设备，其包括：输出单元，其在屏幕上显示包括对象的图像；输入单元，其接收由用户执行的用于指定与包括所述图像中的所述对象的近似范围有关的信息的操作；对象提取单元，其基于由所述输入单元接收到的指定提取关于所述对象的二维轮廓的信息；以及位置和姿势估计单元，其基于关于二维轮廓的所述信息估计关于所述对象的三维位置和姿势的信息。
根据本公开的第二实施例的技术，根据第一实施例的机器人设备还包括图像拾取单元。输出单元在所述屏幕上显示由所述图像拾取单元捕获的图像。
根据本公开的第三实施例的技术，根据第一实施例的机器人设备还包括：握持单元；握持计划单元，其基于关于所述对象的所述三维位置和姿势的所估计的信息计划用于握持所述对象的所述握持单元的轨迹；以及握持控制单元，其依照所计划的轨迹控制通过所述握持单元执行的对于所述对象的握持操作。
根据本公开的第四实施例的技术，在根据第一实施例的机器人设备中，包括所述输出单元和所述输入单元的终端装置执行与包括所述握持单元的所述机器人设备的无线通信。
根据本公开的第五实施例技术，在根据第一实施例的机器人设备中，所述输入单元为集成到所述输出单元的所述屏幕中的触摸面板。用户通过触摸所述触摸面板指定包括所述对象的所述近似范围。
根据本公开的第六实施例的技术，根据第五实施例的机器人设备被配置为使得用户通过在所述触摸面板上显示的所述捕获图像中绘制围绕所述对象的区域来指定包括所述对象的所述范围。
根据本公开的第七实施例的技术，根据第五实施例的机器人设备配置为使得用户通过在所述触摸面板上显示的所述捕获图像中触摸包括所述对象的范围的大致中心，同时利用所述用户触摸所述范围的大致中心的时间段来提供所述范围的半径，指定包括所述对象的所述范围。
根据本公开的第八实施例的技术，根据第五实施例的机器人设备被配置为使得用户通过在所述触摸面板上显示的所述捕获图像中绘制围绕所述对象的矩形区域的对角线来指定包括所述对象的所述范围。
根据本公开的第九实施例的技术，根据第一实施例的机器人设备被配置为使得输出单元在所述屏幕上显示关于由所述对象提取单元提取的所述对象的二维轮廓的信息，并且当所述用户通过所述输入单元已经核准了关于二维轮廓的所述信息时，执行对于所述对象的握持操作。
根据本公开的第十实施例的技术，根据第九实施例的机器人设备被配置为使得当所述用户还未核准关于二维轮廓的所述信息时，所述输入单元接收来自所述用户的第二指定，并且所述对象提取单元基于所述第二指定再次提取关于所述对象的二维轮廓的所述信息。
根据本公开的第十一实施例的技术，根据第十实施例的机器人设备被配置为使得输入单元再次接收与包括所述对象的近似范围相关的所述信息作为所述第二指定。
根据本公开的第十二实施例的技术，根据第十实施例的机器人设备被配置为使得输入单元接收对于第一次指定的包括所述对象的所述近似范围的附加指定，作为所述第二指定。
根据本公开的第十三实施例的技术，在根据第十实施例的机器人设备中，输入单元接收在第一次指定的包括所述对象的所述近似范围中包括的多个对象之间的边界线的指定，作为所述第二指定。对象提取单元从所述边界线的两侧提取关于对象的二维轮廓的信息，并且所述输出单元在所述屏幕上显示关于所述对象的二维轮廓的所提取的信息。当用户通过所述输入单元已经选择了待握持对象并且核准了关于二维轮廓的所述信息时，执行对于所述对象的所述握持操作。
根据本公开的第十四实施例的技术为用于控制机器人设备的方法。所述方法包括在屏幕上显示包括对象的图像；接收由用户执行的用于指定与包括所述图像中的所述对象的近似范围相关的信息的操作；基于输入中接收到的指定提取关于所述对象的二维轮廓的信息；以及基于关于二维轮廓的所述信息估计关于所述对象的三维位置和姿势的信息。
根据本公开的第十五实施例的技术是以计算机可读形式描述的计算机程序。计算机程序使得计算机能够用作包括下列单元的设备：输出单元，其在屏幕上显示包括对象的图像；输入单元，其接收由用户执行的用于指定与包括所述图像中的所述对象的近似范围有关的信息的操作；对象提取单元，其基于由所述输入单元接收的指定提取关于所述对象的二维轮廓的信息；以及位置和姿势估计单元，其基于关于二维轮廓的所述信息估计关于所述对象的三维位置和姿势的信息。
根据本公开的第十五实施例的计算机程序以使得在计算机上实现特定处理的方式定义以计算机可读形式描述的计算机程序。换句话讲，通过在计算机上安装根据本公开的第十五实施例的计算机程序，在计算机上实现协作操作，并且能够产生与根据本公开的第一实施例的机器人设备相同的操作效果。
根据本文中公开的技术，机器人设备能够基于来自用户的指令握持各种对象而无需提前注册这些对象。具体而言，能够在环境中识别难以自动识别的微小对象和薄的对象并且能够基于由用户进行的较少次数的指定正确地执行握持操作。
此外，根据本文中公开的技术，用户能够通过利用指令终端指定对象的近似轮廓的简单操作告知机器人设备哪个对象将被握持，因此任何人能够简单且快速地执行指定操作。
此外，根据本文中公开的技术，即使在通过单个处理难以识别的待握持对象的情况下，用户也能够通过对于错误识别的结果重复地指定待握持对象等的边界线来使得机器人设备识别待握持对象。
本文中公开的技术的其它特征和优点将从基于下面描述的实施例和附图的详细描述中变得明显。
附图说明
图1为图示了能够应用本文中公开的技术的机器人设备的外观的图；
图2为示意地图示了能够应用本文中公开的技术的机器人设备的关节自由度的构造的图；
图3为示意地图示了图1图示的机器人设备的控制系统的构造的图；
图4为示意地图示了包括机器人设备和指令终端的控制系统的功能构造的图；
图5A为图示了当机器人设备利用来自指令设备的指令信息握持对象时控制系统的通信序列的示例的图；
图5B为图示了当机器人设备利用来自指令设备的指令信息握持对象时的控制系统的通信序列的示例的图；
图6为图示了已经由机器人设备获得并由指令终端显示的捕获图像的示例的图；
图7A为图示了在指令终端的输出单元的显示屏幕上显示的捕获图像中用户通过绘制作为待握持对象的笔周围的区域指定包括笔的近似范围的状态的图；
图7B为图示了在指令终端的输出单元的显示屏幕上显示的捕获图像中用户通过保持触摸作为握持目标的笔的大致中心指定包括笔的近似范围的状态的图；
图7C为图示了在指令终端的输出单元的显示屏幕上显示的捕获图像中用户通过绘制作为待握持对象的笔周围的矩形区域的对角线指定包括笔的近似范围的状态的图；
图7D为图示了包括表示在图7A至7C图示的输入方法的图标的用于选择输入方法的选项板的图；
图8A为图示了在由用户指定的区域中提取的待握持对象详细轮廓被叠加在is在显示屏上显示的捕获图像上的状态的图；
图8B为图示了用于基于显示的轮廓信息确定是否对待握持对象执行握持操作的对话框的图；
图9为图示了包括作为待握持对象的笔以及错误地包括笔旁边的擦除器的提取的轮廓的图；
图10为图示了用户指定使作为待握持对象的笔与包括多个对象的轮廓中的另一对象分开的边界线的状态的图；
图11A为图示了通过使作为待握持对象的笔与笔旁边的擦除器分开获得的轮廓被叠加在显示屏上显示的捕获图像上的状态的图；
图11B为图示了用于基于显示的轮廓信息确定是否对待握持对象执行握持操作的对话框的图；以及
图12为图示了根据从捕获图像中的指定的轮廓估计待握持对象的位置和姿势的处理的图。
具体实施方式
下文中将参照附图详细描述这里公开的技术的实施例。
图1图示了可以应用这里公开的技术的机器人设备100的外观。机器人设备100具有其中多个部分通过关节彼此连接的链接结构，并且由致动器操作每个关节。图2示意地图示了机器人设备100的关节的自由度的配置。图示的机器人设备100布置在每一时刻动态变化的周围环境中，诸如家中，并且支持每日例行的事务诸如家务和护理，但是也能够替代地布置在工厂等中并执行有规律的任务。
图示的机器人设备100为双臂类型并且包括作为运动单元的在基部中彼此面对的两个从动轮101R和101L。从动轮101R和101L由沿俯仰方向（pitchdirection）旋转的从动轮致动器102R和102L驱动。在图2中，欠驱动的（underactuated）关节151、152和153实际上不存在，并且分别对应于机器人设备100相对于地面在X方向（纵向）上的平移自由度、在Y方向（横向）上的平移自由度、在偏航方向上的旋转自由度。欠驱动的关节151、152和153表示机器人设备100在虚拟世界中的运动。
运动单元通过腰部关节被连接到上主体。腰部关节由在俯仰方向上旋转的腰部关节俯仰轴致动器103驱动。上主体包括通过颈关节连接的左右臂单元和头部单元。左右臂单元每一个包括具有三个自由度的肩关节、具有两个自由度的肘关节以及具有两个自由度的腕关节，也就是说，左右臂单元每一个具有总共七个自由度。每个具有三个自由度的肩关节由肩关节俯仰轴致动器104R和104L、肩关节滚动轴致动器105R和105L、以及肩关节偏航轴致动器106R和106L驱动。每个具有两个自由度的肘关节由肘关节俯仰轴致动器107R和107L以及肘关节偏航轴致动器108R和108L驱动。每个具有两个自由度的腕关节由腕关节滚动轴致动器109R和109L以及腕关节俯仰轴致动器110R和110L驱动。具有两个自由度的颈关节由颈关节俯仰轴致动器111和颈关节偏航轴致动器112驱动。手关节设置在左右臂单元的端部并且每个具有一个自由度，手关节由手关节滚动轴致动器113R和113L驱动。在本实施例中，能够通过驱动手关节滚动轴致动器113R和113L由机器人设备100的手来握持对象。
尽管图示的机器人设备100包括由面对彼此的两个轮构造的运动单元，但是这里公开的技术的范围不限于由面对彼此的两个轮构造的运动单元。例如，这里公开的技术还可以应用于包括腿型运动单元的机器人设备或不包括运动单元的机器人设备。
沿着每个轴的致动器每个包括用于测量关节角度的编码器、用于产生扭矩的电机、用于驱动电机的电流控制电机驱动器、以及用于获得足够的产生力的减速机。此外，每个致动器设置有用于执行其驱动控制的控制微型计算机（图2中未图示前述任一个）。
例如由主机（未图示）执行机器人设备100的动态计算，并产生每个关节致动器的扭矩或关节角度的控制目标值。控制目标值被发送至为致动器设置的控制微型计算机并用于由控制微型计算机执行的致动器的控制。此外，使用力控制方法或位置控制方法来控制每个关节致动器。
图3示意地图示了图1中图示的机器人设备100的控制系统的构造。机器人设备100包括执行整体操作的集成控制和其它类型的数据处理的控制单元310、输入/输出单元320和驱动单元330。下面将描述每个部件。
输入/输出单元320包括对应于机器人设备100的眼睛的相机321、三维传感器322和对应于机器人设备100的耳朵的麦克风323作为输入部。输入/输出单元320包括对应于机器人设备100的嘴部的扬声器324作为输出部。此处，相机321包括诸如电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）器件的图像检测装置。三维传感器322为能够测量对象的三维位置和姿势的装置，例如由立体相机、激光测距仪、Kinect（注册商标）等构造。机器人设备100能够例如通过用户利用麦克风323的音频输入来接收任务输入。然而，机器人设备100可包括另一个输入部（未图示），该输入部通过有线通信、无线通信、记录介质等接收任务的输入。
输入/输出单元320包括无线通信部325。机器人设备100能够通过通信路径诸如Wi-Fi（注册商标）利用无线通信部325与用户的指令终端（平板终端等，图3中未图示）执行数据通信。
驱动单元330为用于实现机器人设备100的关节的自由度的功能模块，并且包括为关节的轴设置的多个驱动部，所述轴即为滚动轴、俯仰轴和偏航轴。每个驱动部被构造为包括沿着特定轴执行旋转操作的电机331、检测电机331的旋转位置的编码器332，以及基于编码器332的输出来自适应地控制电机331的旋转位置和旋转速度的驱动器333之间的组合。
控制单元310包括识别部311、驱动控制部312和环境地图313。
识别部311基于从诸如相机321和三维传感器322的输入/输出单元320的输入部获得的信息来识别周围环境。例如，识别部311基于关于相机321的位置和姿势的信息和关于对象的信息来创建和更新环境地图313，所述关于相机321的位置和姿势的信息是通过估计相机321的位置的用于估计位置的处理获得的，所述关于对象的信息是通过从由相机321捕获的图像检测对象的用于识别图像的处理获得的。
驱动控制部312控制输入/输出单元320的输出部以及驱动单元330的驱动。例如，驱动控制部312控制驱动单元330以使得机器人设备100实现任务。由机器人设备100实现的任务包括与用户的物理交互，诸如由用户指定的对象的递送，并且从动轮致动器102R和102L以及臂单元的关节制动器被驱动以实现所述交互。
机器人设备100例如应用于支持日常例行事务，并依照用户要求将期望的对象递送至残疾人等。此处，为了握持对象，机器人设备100具有识别环境中的目标对象的能力。在本实施例中，通过利用用户对于机器人设备100指定包括相机图像中所示的对象的近似范围的方法来实现握持三维形状测量难以识别的微小对象和薄的对象的能力。
图4图示了包括机器人设备100和指令终端200的控制系统的功能构造。
指令终端200包括通信单元411、信息处理单元412、输出单元413和输入单元414。
通信单元411能够通过通信路径诸如Wi-Fi执行与机器人设备100等的数据通信。
当指令终端200为平板终端时，输出单元413为扁平的显示装置诸如液晶显示器（LCD），输入单元414为集成到输出单元413的显示屏中的触摸面板。用户能够通过用他/她的手指或笔触摸显示屏来执行输入操作。
信息处理单元412执行利用操作系统的处理并在通信单元411和输入单元414或输出单元413之间传送信息。
在机器人设备100中，通信单元421对应于无线通信部325，图像拾取单元423对应于相机321，三维测量单元424对应于三维传感器322。图像处理单元422对应于控制单元310的识别部311，握持计划单元426和握持控制单元427对应于驱动控制部312。握持单元428主要由机器人设备100的两个臂构造。
可以安装至少一个相机作为图像拾取单元423。当如下面所述安装两个相机时，利用指令终端200能够执行利用左右图像的指定。作为图像拾取单元423的相机不是必须安装在机器人设备100上，可以是作为布置在机器人设备100外部并捕获工作环境的图像的环境相机。然而，假定确定了相机坐标系和世界坐标系之间的关系，而不论相机是否安装在机器人设备100上。
为了估计相机捕获的图像中的待握持目标对象的位置和姿势，图4中图示的控制系统将相机坐标系转换成世界坐标系。在下面的描述中，假设确定了两个坐标系之间的关系。
在机器人设备100中，图像拾取单元423捕获环境的图像。捕获图像由图像处理单元422获得并且之后通过通信单元421传送至指令终端200。在指令终端200中，用户在输出单元413上显示的捕获图像中通过输入单元414指定包括待握持对象的近似范围。通过通信单元411将该指定信息传送至机器人设备100。在机器人设备100中，对象提取单元425提取由指定信息指示的范围内的待握持对象的详细的轮廓。握持计划单元426基于由三维测量单元424执行的测量结果来确定待握持对象的姿势，并且计划用于握持在该姿势下的对象的臂单元的轨迹。之后，握持控制单元427依照实现对象的握持的计划轨迹控制握持单元428的操作。
三维测量单元424例如由立体相机、激光测距仪、Kinect等构造，并且三维测量单元424的测量精度通常较低。在本实施例中，通过利用由对象提取单元425基于指定信息提取的二维轮廓信息，能够提高估计对象的三维位置和姿势的精度。
可替代地，机器人设备100可以向指令终端200反馈关于基于来自指令终端200的用于指定包括对象的近似范围的第一指定提取的待握持对象的轮廓信息。在这种情况下，在指令终端200中，所提取的对象轮廓显示在输出单元413上。在核准对象的轮廓之后，用户通过指令终端200指令机器人设备100握持对象。在机器人设备100中，响应于握持对象的指令，握持计划单元426估计待握持对象的三维位置和姿势，并计划握持该姿势下的对象的臂单元的轨迹。握持控制单元427依照计划的轨迹实现对象的握持。
另一方面，如果用户不核准基于第一指定提取的对象的轮廓，则用户执行第二指定以标识待握持对象。基于用于指定包括待握持对象的近似范围的第一指定难以提取对象的轮廓的情况的示例为待握持对象之外的对象被包括在指定的范围内的情况。因此，用户指定由机器人设备100提取的轮廓内的对象之间的边界线作为第二指定。该指定信息通过通信单元411被传送至机器人设备100。在机器人设备100中，对象提取单元425在指定的边界线的左边和右边再次提取对象的轮廓，并将关于左右对象的轮廓信息反馈回指令终端200。之后，在机器人设备100中，当从指令终端200接收到由用户发布的握持对象的指令时，握持计划单元426确定待握持对象的三维位置和姿势，并计划握持在该姿势下的对象的臂单元的轨迹。握持控制单元427依照计划的轨迹实现对象的握持。
在图4图示的控制系统中，指令终端200可以被认为是机器人设备100的一部分。此外，尽管在图4中指令终端200与机器人设备100分开并且被配置为通过无线通信连接到机器人设备100的终端设备，但是代替地，与指令终端200具有相同功能的“指令单元”可以被集成到机器人设备100中。
图5A图示了当机器人设备100利用来自指令终端200的指定信息握持对象时的控制系统的通信序列的示例。
当接收到由其图像拾取单元423捕获的图像时（S5201），机器人设备100通过通信单元421将图像传送至指令终端200。
在指令终端200中，当通信单元411已经接收到从机器人设备100传送的图像时，输出单元413在显示屏上显示图像（S5101）。图6图示了已经由机器人设备100获得并显示在输出单元413的显示屏上的捕获图像的示例。在地板上的作为待握持对象的笔的捕获图像为图6图示的示例。
指令终端200在显示从机器人设备100接收到的捕获图像的同时，等待从用户到输入单元414的输入（S5102）。
用户能够例如通过输入单元414输入关于待握持对象的指令，所述输入单元414为集成到输出单元413的显示屏中的触摸面板。在本实施例中，假设用户在显示的捕获图像中指定了包括待握持对象的近似范围的操作。
此处，存在使得用户能够在触摸面板上指定包括对象的近似范围的一些方法。
图7A图示了用户在指令终端200的输出单元413的显示屏上显示的捕获图像中通过绘制围绕作为握持目标的笔的区域指定包括笔的近似范围的状态。在这种情况下，关于由用户的手指在触摸面板上绘制的分段的信息为指示对象的区域的指定信息。
图7B图示了用户通过保持触摸包括作为待握持对象的笔的范围的大致中心来指定包括笔的近似范围的状态。当用户保持触摸范围的大致中心时，以由用户的手指触摸的点作为其中心的圆形区域（圆的半径）在显示屏上逐渐扩大。在这种情况下，关于用户在触摸面板上触摸的区域的中心的坐标和基于用户开始触摸区域的时间计算的区域的半径的信息为指示对象的区域的指定信息。因此，当圆形区域的尺寸变为期望的那样包括笔时，用户可从触摸面板释放他/她的手指。
图7C图示了在捕获的区域中用户通过绘制作为待握持对象的笔周围的矩形区域的对角线来指定包括笔的近似范围的状态。在这种情况下，关于由用户绘制的对角线的端部处的点的坐标的信息为指示对象的区域的指定信息。
图7A至7C图示的输入方法中的一种可以用在指令终端200中，但是用户可通过使用如图7D图示的包括表示输入方法的图标的调色板（选项板）任意地选择输入方法。
例如，当用户已经执行了，图7A至7C中图示的操作中的一个（S5103）并且向输入单元414输入了指示对象的区域的指定信息（S5104）时，指令终端200通过通信单元411将指定信息传送至机器人设备100。
在机器人设备100中，当接收到指示包括待握持对象的近似区域的指定信息时，对象提取单元425从指定的区域提取待握持对象的详细轮廓（S5202）。不具体限制用于提取对象的轮廓的方法。例如，可以使用在公众可获得的文献“'GrabCut'-InteractiveForegroundExtractionusingIteratedGraphCuts”,MicrosoftResearchCambridge04中公开的方法。
机器人设备100通过通信单元421将在S5202中估计的关于待握持对象的轮廓信息与捕获图像一起传送至指令终端200。在指令终端200中，输出单元413在其显示屏上显示待握持对象的传送的轮廓（S5105）。图8A图示了在由用户指定的区域中提取的待握持对象的详细轮廓叠加在显示屏上显示的捕获图像上的状态。指令终端200之后等待，直到用户确定是否利用该轮廓握持待握持对象（S5106）。如图8B所图示的，用于确定用户是否核准或准许由机器人设备100执行的握持操作的对话框显示在输出单元413显示了待握持对象的详细轮廓的显示屏幕上。在图示的对话框中，消息“握持对象”与按钮“是”和“否”一起显示。
在指令终端200中，如果用户例如通过在对话框中选择“是”核准由机器人设备100提取的对象的详细轮廓（S5108），则指令终端200指示机器人设备100通过通信单元411握持待握持对象。
在机器人设备100中，当通信单元421已经接收到执行指令时，握持计划单元426基于图像拾取单元423的相机坐标系和世界坐标系之间的关系从提取的轮廓估计待握持对象的位置和姿势（S5203）。然而，下面将描述用于估计待握持对象的位置和姿势的处理的细节。
接下来，握持计划单元426基于S5203中估计的待握持对象的位置和姿势确定当握持单元428握持待握持对象时握持单元428的姿势（S5204）。可以使用任意方法来确定握持单元428握持待握持对象时的握持单元428的姿势。例如，可以使用已经被转让给本申请人的日本专利申请No.2011-262202中公开的方法。
接下来，握持控制单元427依照由握持计划单元426计划的轨迹控制握持单元428的操作并实现对象的握持（S5205）。可以依照确定的握持姿势使用任意方法来控制握持单元428的操作。例如，可以使用已经转让给本申请人的日本专利申请No.2011-262202中公开的方法。
另一方面，如果在机器人设备100提取的对象的轮廓中存在问题并且用户在图8B中图示的对话框中选择“否”，则下面的两种方法中的一种可以用作后续处理。一种方法是指令终端200返回到S5103中的处理并且用户再次指定包括对象的近似范围。另一种方法是用户利用关于第一指定的信息执行第二指定。
在后面的方法中，用户指定已经由机器人设备100提取并且包括多个对象的轮廓中的多个对象之间的边界线作为第二指定。图9图示了包括作为待握持对象的笔以及错误地包括笔旁边的擦除器的提取的轮廓。在这种情况下，如图10所图示的，用户指定分开作为待握持对象的笔与包括多个对象的轮廓中的另外的对象的边界线。
图5B图示了在指令终端200的S5108中的处理中用户还未核准基于第一指定提取的对象的轮廓时的通信序列的示例。
如果在S5108中的处理中用户没有核准轮廓，则指令终端200再次等待从用户到输入单元414的输入（S5111）。
用户通过输入单元414指定由机器人设备100提取的包括待握持对象的轮廓中的对象之间的边界线。也就是说，如图10中图示的，用户用他/她的手指绘制分开作为待握持对象的笔与包括多个对象的轮廓中的另外的对象的边界线（S5112）。
当用户已经将指示对象之间的边界线的指定信息输入到输入单元414（S5113）时，指令终端200通过通信单元411将指定信息传送至机器人设备100。在机器人设备100中，图像处理单元422再次提取指定的边界线左右处的对象的轮廓，并且将关于左右对象的轮廓信息与捕获图像一起反馈回指令终端200（S5211）。
在指令终端200中，输出单元413在其显示屏上显示再次传送的对象的轮廓（S5114）。图11A图示了通过分开作为待握持对象的笔与笔旁边的擦除器而获得的轮廓被叠加在显示屏上显示的捕获图像上的状态。
指令终端200随后等待直到用户确定握持哪个对象（S5115）。用户在输出单元413再次显示对象的轮廓的显示屏上选择待握持对象（S5116）。因此，如图11B中所示，仅选择的对象的轮廓留下（在图11B图示的示例中，仅已经被选择的笔的轮廓留下而擦除器的轮廓被去除），并且显示用于确定用户是否核准或准许由机器人设备100执行的握持操作的对话框。在图示的对话框中，消息“握持对象”与按钮“是”和“否”一起显示。在指令终端200中，如果用户例如通过在对话框中选择“是”核准由机器人设备100提取的对象的详细轮廓（S5117），则指令终端200通过通信单元411指示机器人设备100握持待握持对象。
在机器人设备100中，当通信单元421已经接收到执行指令时，握持计划单元426基于图像拾取单元423的相机坐标系和世界坐标系之间的关系从提取的轮廓估计待握持对象的位置和姿势（S5212）。然而，在下面将描述用于估计待握持对象的位置和姿势的处理的细节。
之后，握持计划单元426基于S5203中估计的待握持对象的位置和姿势确定当握持单元428握持待握持对象时握持单元428的姿势（S5204），并且握持控制单元427依照由握持计划单元426计划的轨迹控制握持单元428的操作以实现对象的握持（S5205）（如上面所述）。
最后，将结合图12描述用于从在捕获图像中指定的轮廓中估计待握持对象的位置和姿势的S5203和S5212中的处理。然而，假设确定了世界坐标系和相机坐标系之间的坐标转换公式。
如图12中所述的，由（XW，YW，ZW）表示世界坐标系，并由（XC，YC，ZC）表示相机坐标系。可以将捕获图像中的轮廓看作是图像平面即位于与相机坐标系的原点C相距焦距f处的平面ZC=f上的点AC（XA C，YA C，ZA C）的集合。
获得经过原点C和图像平面上的点AC的集合的线的等式。接下来，在世界坐标系中获得线的等式和待握持对象相交的点AW（XA W，YA W，ZA W）的集合。点AW（XA W，YA W，ZA W）的集合表示待握持对象在世界坐标系中的轮廓，并因此表示待握持对象的位置和姿势。
如上所述，根据本实施例，机器人设备100能够基于由用户指定包括待握持对象的近似区域握持各种对象，而无需提前注册这些对象。具体地，能够在环境中识别难以自动识别的微小对象和薄的对象并且能够在由用户指定较少次数的基础上正确地执行握持操作。
用户能够通过利用指令终端200指定对象的近似轮廓的简单操作告知机器人设备100将要握持哪个对象，因此任何人能够简单且快速地执行指定操作。
此外，在本实施例中，即使当待握持对象为仅通过指定包括对象的近似区域难以识别的对象，用户仍能够通过指定已经被错误地识别并且包括多个对象的轮廓中的多个对象之间的边界线使得机器人设备100识别待握持对象。
本文公开的技术可以具有下列构造。
（1）一种机器人设备，包括：输出单元，其在屏幕上显示包括对象的图像；输入单元，其接收由用户执行的用于指定与包括所述图像中的所述对象的近似范围有关的信息的操作；对象提取单元，其基于由所述输入单元接收到的指定提取关于所述对象的二维轮廓的信息；以及位置和姿势估计单元，其基于关于二维轮廓的所述信息估计关于所述对象的三维位置和姿势的信息。
（2）根据（1）所述的机器人设备，还包括：图像拾取单元。所述输出单元在所述屏幕上显示由所述图像拾取单元捕获的图像。
（3）根据（1）所述的机器人设备，还包括：握持单元；握持计划单元，其基于关于所述对象的所述三维位置和姿势的所估计的信息计划用于握持所述对象的所述握持单元的轨迹；以及握持控制单元，其依照所计划的轨迹控制通过所述握持单元执行的对于所述对象的握持操作。
（4）根据（1）所述的机器人设备。包括所述输出单元和所述输入单元的终端装置执行与包括所述握持单元的所述机器人设备的无线通信。
（5）根据（1）所述的机器人设备。所述输入单元为集成到所述输出单元的所述屏幕中的触摸面板。所述用户通过触摸所述触摸面板指定包括所述对象的所述近似范围。
（6）根据（5）所述的机器人设备。所述用户通过在所述触摸面板上显示的所述捕获图像中绘制围绕所述对象的区域来指定包括所述对象的所述范围。
（7）根据（5）所述的机器人设备。所述用户通过在所述触摸面板上显示的所述捕获图像中触摸包括所述对象的范围的大致中心，同时利用所述用户触摸所述范围的大致中心的时间段来提供所述范围的半径，指定包括所述对象的所述范围。
（8）根据（5）所述的机器人设备。所述用户通过在所述触摸面板上显示的所述捕获图像中绘制围绕所述对象的矩形区域的对角线来指定包括所述对象的所述范围。
（9）根据（1）所述的机器人设备。所述输出单元在所述屏幕上显示关于由所述对象提取单元提取的所述对象的二维轮廓的信息。当所述用户通过所述输入单元已经核准了关于二维轮廓的所述信息时，执行对于所述对象的握持操作。
（10）根据（9）所述的机器人设备。当所述用户还未核准关于二维轮廓的所述信息时，所述输入单元接收来自所述用户的第二指定。所述对象提取单元基于所述第二指定再次提取关于所述对象的二维轮廓的所述信息。
（11）根据（10）所述的机器人设备。所述输入单元再次接收与包括所述对象的近似范围相关的所述信息作为所述第二指定。
（12）根据（10）所述的机器人设备。所述输入单元接收对于第一次指定的包括所述对象的所述近似范围的附加指定，作为所述第二指定。
（13）根据（10）所述的机器人设备。所述输入单元接收在第一次指定的包括所述对象的所述近似范围中包括的多个对象之间的边界线的指定，作为所述第二指定。所述对象提取单元从所述边界线的两侧提取关于对象的二维轮廓的信息，并且所述输出单元在所述屏幕上显示关于所述对象的二维轮廓的所提取的信息。当所述用户通过所述输入单元已经选择了待握持对象并且核准了关于二维轮廓的所述信息时，执行对于所述对象的所述握持操作。
（14）一种用于控制机器人设备的方法，所述方法包括：在屏幕上显示包括对象的图像；接收由用户执行的用于指定与包括所述图像中的所述对象的近似范围相关的信息的操作；基于输入中接收到的指定提取关于所述对象的二维轮廓的信息；以及基于关于二维轮廓的所述信息估计关于所述对象的三维位置和姿势的信息。
（15）一种以计算机可读形式描述的计算机程序，所述计算机程序使得计算机用作包括如下内容的设备：输出单元，其在屏幕上显示包括对象的图像；输入单元，其接收由用户执行的用于指定与包括所述图像中的所述对象的近似范围有关的信息的操作；对象提取单元，其基于由所述输入单元接收的指定提取关于所述对象的二维轮廓的信息；以及位置和姿势估计单元，其基于关于二维轮廓的所述信息估计关于所述对象的三维位置和姿势的信息。
本公开包括与2012年3月8日向日本专利局提交的日本在先专利申请JP2012-051629中公开的主题相关的主题，其全部内容通过引用合并于此。
本领域的技术人员应当理解的是，根据设计需要和其它因素，可出现各种修改、组合、子组合和改变，只要它们处于所附的权利要求或其等同物的范围内。

Claims (13)

1.一种机器人设备，包括：
输出单元，其在屏幕上显示包括对象的图像；
输入单元，其接收由用户执行的用于指定与包括所述图像中的所述对象的近似范围有关的信息的操作；
对象提取单元，其基于由所述输入单元接收到的指定提取关于所述对象的二维轮廓的信息；以及
位置和姿势估计单元，其基于关于二维轮廓的所述信息估计关于所述对象的三维位置和姿势的信息；
其中所述输出单元在所述屏幕上显示由所述对象提取单元提取的关于所述对象的二维轮廓的信息，以及
其中当所述用户通过所述输入单元已经核准了关于二维轮廓的所述信息时，执行对于所述对象的握持操作。
2.根据权利要求1所述的机器人设备，还包括：
图像拾取单元，
其中所述输出单元在所述屏幕上显示由所述图像拾取单元捕获的图像。
3.根据权利要求1所述的机器人设备，还包括：
握持单元；
握持计划单元，其基于关于所述对象的所述三维位置和姿势的所估计的信息计划用于握持所述对象的所述握持单元的轨迹；以及
握持控制单元，其依照所计划的轨迹控制通过所述握持单元执行的对于所述对象的握持操作。
4.根据权利要求3所述的机器人设备，
其中包括所述输出单元和所述输入单元的终端装置执行与包括所述握持单元的所述机器人设备的无线通信。
5.根据权利要求2所述的机器人设备，
其中所述输入单元为集成到所述输出单元的所述屏幕中的触摸面板，并且
其中所述用户通过触摸所述触摸面板指定包括所述对象的所述近似范围。
6.根据权利要求5所述的机器人设备，
其中所述用户通过在所述触摸面板上显示的所捕获的图像中绘制围绕所述对象的区域来指定包括所述对象的所述范围。
7.根据权利要求5所述的机器人设备，
其中所述用户通过在所述触摸面板上显示的所捕获的图像中触摸包括所述对象的范围的大致中心，同时利用所述用户触摸所述范围的大致中心的时间段来提供所述范围的半径，指定包括所述对象的所述范围。
8.根据权利要求5所述的机器人设备，
其中所述用户通过在所述触摸面板上显示的所捕获的图像中绘制围绕所述对象的矩形区域的对角线来指定包括所述对象的所述范围。
9.根据权利要求1所述的机器人设备，
其中，当所述用户还未核准关于二维轮廓的所述信息时，所述输入单元接收来自所述用户的第二指定，并且
其中所述对象提取单元基于所述第二指定再次提取关于所述对象的二维轮廓的所述信息。
10.根据权利要求9所述的机器人设备，
其中所述输入单元再次接收与包括所述对象的近似范围相关的所述信息作为所述第二指定。
11.根据权利要求9所述的机器人设备，
其中所述输入单元接收对于第一次指定的包括所述对象的所述近似范围的附加指定，作为所述第二指定。
12.根据权利要求9所述的机器人设备，
其中所述输入单元接收在第一次指定的包括所述对象的所述近似范围中包括的多个对象之间的边界线的指定，作为所述第二指定，
其中所述对象提取单元从所述边界线的两侧提取关于对象的二维轮廓的信息，并且所述输出单元在所述屏幕上显示关于所述对象的二维轮廓的所提取的信息，以及
其中当所述用户通过所述输入单元已经选择了待握持对象并且核准了关于二维轮廓的所述信息时，执行对于所述对象的所述握持操作。
13.一种用于控制机器人设备的方法，所述方法包括：
在屏幕上显示包括对象的图像；
接收由用户执行的用于指定与包括所述图像中的所述对象的近似范围相关的信息的操作；
基于输入中接收到的指定提取关于所述对象的二维轮廓的信息；以及
基于关于二维轮廓的所述信息估计关于所述对象的三维位置和姿势的信息；
其中在所述屏幕上显示所提取的关于所述对象的二维轮廓的信息，以及
其中当所述用户已经核准了关于二维轮廓的所述信息时，执行对于所述对象的握持操作。
CN201310066198.9A 2012-03-08 2013-03-01 机器人设备以及用于控制机器人设备的方法 Active CN103302664B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012051629A JP2013184257A (ja) 2012-03-08 2012-03-08 ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
JP2012-051629 2012-03-08

Publications (2)

Publication Number Publication Date
CN103302664A CN103302664A (zh) 2013-09-18
CN103302664B true CN103302664B (zh) 2016-04-13

Family

ID=49114801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310066198.9A Active CN103302664B (zh) 2012-03-08 2013-03-01 机器人设备以及用于控制机器人设备的方法

Country Status (3)

Country Link
US (4) US8996176B2 (zh)
JP (1) JP2013184257A (zh)
CN (1) CN103302664B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013184257A (ja) 2012-03-08 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
JP2014069251A (ja) * 2012-09-28 2014-04-21 Dainippon Screen Mfg Co Ltd 作業部制御装置、作業ロボット、作業部制御方法、および作業部制御プログラム
US9056396B1 (en) * 2013-03-05 2015-06-16 Autofuss Programming of a robotic arm using a motion capture system
JP5788460B2 (ja) 2013-11-05 2015-09-30 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
CN105792996B (zh) * 2013-11-28 2017-07-25 三菱电机株式会社 机器人系统以及机器人系统的控制方法
JP5850958B2 (ja) * 2014-01-24 2016-02-03 ファナック株式会社 ワークを撮像するためのロボットプログラムを作成するロボットプログラミング装置
JP5939267B2 (ja) * 2014-03-05 2016-06-22 株式会社安川電機 ロボット監視システム、ロボット監視装置、ロボット監視方法、ロボット監視モジュール、およびロボット監視プログラム
JP6450960B2 (ja) * 2014-03-20 2019-01-16 セイコーエプソン株式会社 ロボット、ロボットシステム及び教示方法
JP6427972B2 (ja) * 2014-06-12 2018-11-28 セイコーエプソン株式会社 ロボット、ロボットシステム及び制御装置
US9636825B2 (en) * 2014-06-26 2017-05-02 Robotex Inc. Robotic logistics system
US9687983B1 (en) 2016-05-11 2017-06-27 X Development Llc Generating a grasp pose for grasping of an object by a grasping end effector of a robot
JP6598741B2 (ja) * 2016-07-21 2019-10-30 三菱電機ビルテクノサービス株式会社 画像処理装置及びプログラム
JP6392817B2 (ja) * 2016-08-04 2018-09-19 ファナック株式会社 シミュレーション装置
JP6742196B2 (ja) * 2016-08-24 2020-08-19 Cyberdyne株式会社 生体活動検出装置および生体活動検出システム
JP2018034242A (ja) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム
JP2018126810A (ja) * 2017-02-06 2018-08-16 川崎重工業株式会社 ロボットシステム及びロボット対話方法
JP7062406B2 (ja) * 2017-10-30 2022-05-16 株式会社東芝 情報処理装置及びロボットアーム制御システム
JP6882147B2 (ja) * 2017-11-28 2021-06-02 シュナイダーエレクトリックホールディングス株式会社 操作案内システム
EP3738726B1 (en) * 2018-01-10 2023-08-23 Sony Group Corporation Animal-shaped autonomous moving body, method of operating animal-shaped autonomous moving body, and program
CN110293554A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 机器人的控制方法、装置和系统
US11409276B2 (en) * 2018-08-17 2022-08-09 Michael Isakov Method and system for controlling robots within in an interactive arena and generating a virtual overlayed
EP3738725B1 (en) * 2019-05-15 2022-02-16 Omron Corporation Measurement system, measurement device, measurement method, and measurement program
KR20190104483A (ko) * 2019-08-21 2019-09-10 엘지전자 주식회사 로봇 시스템 및 그 제어 방법
JP7276108B2 (ja) * 2019-12-13 2023-05-18 トヨタ自動車株式会社 遠隔操作システム及び遠隔操作方法
JP7342676B2 (ja) 2019-12-13 2023-09-12 トヨタ自動車株式会社 遠隔操作システム及び遠隔操作方法
EP4112241A4 (en) * 2020-02-25 2023-04-19 NEC Corporation CONTROL DEVICE, ORDER METHOD AND RECORDING MEDIA
JPWO2022014312A1 (zh) * 2020-07-16 2022-01-20

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1293752A (zh) * 1999-03-19 2001-05-02 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取系统
US8447863B1 (en) * 2011-05-06 2013-05-21 Google Inc. Systems and methods for object recognition

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7036094B1 (en) * 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
AU2003239171A1 (en) * 2002-01-31 2003-09-02 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
CA2369845A1 (en) * 2002-01-31 2003-07-31 Braintech, Inc. Method and apparatus for single camera 3d vision guided robotics
JP3930490B2 (ja) * 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
EP1766580A2 (en) * 2004-07-14 2007-03-28 Braintech Canada, Inc. Method and apparatus for machine-vision
US8126260B2 (en) * 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
WO2009110242A1 (ja) * 2008-03-06 2009-09-11 パナソニック株式会社 マニピュレータおよびその制御方法
JP4835616B2 (ja) 2008-03-10 2011-12-14 トヨタ自動車株式会社 動作教示システム及び動作教示方法
US20100179689A1 (en) * 2009-01-09 2010-07-15 National Taiwan University Of Science And Technology Method of teaching robotic system
US8781629B2 (en) * 2010-09-22 2014-07-15 Toyota Motor Engineering & Manufacturing North America, Inc. Human-robot interface apparatuses and methods of controlling robots
JP2013111726A (ja) 2011-11-30 2013-06-10 Sony Corp ロボット装置及びその制御方法、並びにコンピューター・プログラム
JP2013184257A (ja) 2012-03-08 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1293752A (zh) * 1999-03-19 2001-05-02 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取系统
US8447863B1 (en) * 2011-05-06 2013-05-21 Google Inc. Systems and methods for object recognition

Also Published As

Publication number Publication date
JP2013184257A (ja) 2013-09-19
US20150202777A1 (en) 2015-07-23
US8996176B2 (en) 2015-03-31
US20170072569A1 (en) 2017-03-16
US20180215045A1 (en) 2018-08-02
US9962839B2 (en) 2018-05-08
US10384348B2 (en) 2019-08-20
US20130238131A1 (en) 2013-09-12
CN103302664A (zh) 2013-09-18
US9527214B2 (en) 2016-12-27

Similar Documents

Publication Publication Date Title
CN103302664B (zh) 机器人设备以及用于控制机器人设备的方法
CN103302665B (zh) 机器人设备、控制机器人设备的方法
JP6942177B2 (ja) ロボットが学習した経路を自律的に走行するように初期化するためのシステムおよび方法
US10328575B2 (en) Method for building a map of probability of one of absence and presence of obstacles for an autonomous robot
KR101575597B1 (ko) 로봇 청소 시스템 및 로봇 청소기의 제어방법
US10169880B2 (en) Information processing apparatus, information processing method, and program
CN111055281A (zh) 一种基于ros的自主移动抓取系统与方法
CN108137096B (zh) 用于停放车辆的系统
JP5895569B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
CN110037621A (zh) 移动装置、清洁机器人及其控制方法
KR101901042B1 (ko) 측위 평면에서 로봇의 위치를 찾기 위한 방법
US20210103290A1 (en) System and Method for Probabilistic Multi-Robot SLAM
JP6589604B2 (ja) ティーチング結果表示システム
US20190095711A1 (en) Systems and methods for generating three dimensional skeleton representations
JP6919882B2 (ja) 人推定システムおよび推定プログラム
CN113675923A (zh) 充电方法、充电装置及机器人
JP6164319B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US20220292702A1 (en) Image processor, imaging device, robot and robot system
JP2017100205A (ja) バーチャルフェンス表示システム
US20240051134A1 (en) Controller, robot system and learning device
JP2013173209A (ja) ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
CN110069065B (zh) 一种基于激光导航与图片识别的agv站点定位系统
CN118061828A (zh) 自动充电的检测方法及装置、电子设备和存储介质
KR20230053430A (ko) 로봇의 자세 측정 방법 및 이를 이용한 로봇 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant