CN109983433A - 评价机器人抓取 - Google Patents

评价机器人抓取 Download PDF

Info

Publication number
CN109983433A
CN109983433A CN201780044288.4A CN201780044288A CN109983433A CN 109983433 A CN109983433 A CN 109983433A CN 201780044288 A CN201780044288 A CN 201780044288A CN 109983433 A CN109983433 A CN 109983433A
Authority
CN
China
Prior art keywords
crawl
article
robot arm
data
arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780044288.4A
Other languages
English (en)
Inventor
L·奥德纳
L·亨托夫特
Y·唐泽
M·凯克
R·豪伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN109983433A publication Critical patent/CN109983433A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/008—Gripping heads and other end effectors with sticking, gluing or adhesive means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/06—Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616—Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/082—Grasping-force detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0009—Gripping heads and other end effectors comprising multi-articulated fingers, e.g. resembling a human hand
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/026—Acoustical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4189—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40537—Detect if robot has picked up more than one piece from bin; interlocked parts
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Manipulator (AREA)

Abstract

用于评价机器人抓取技术的方法和系统。根据各种实施例的该系统可包括：仓库管理系统，用于检索和存储物品；机器人操作臂，用于抓取物品；以及分析模块，配置为接收关于机器人操作臂的第一抓取尝试的数据并分析所接收的数据以确定机器人操作臂是否成功抓取物品。

Description

评价机器人抓取
相关申请的交叉引用
本申请要求2016年7月18日提交的共同未决的美国临时申请第62/363,446号的权益，其全部公开内容通过引用并入本文，具有与在本文中完整阐述时相同的作用。
技术领域
本文描述的实施例大体上涉及机器人操作臂以及用于操作机器人操作臂的方法，且更具体地但非排他地，涉及用于评价机器人抓取的系统、装置和方法。
背景技术
基础设施系统(比如仓库)通常接收、运输和存储物品。一直到近期，大多数物品的移动都是由人类工人手动处理。然而，最近，越来越多地用机器人设备处理这些任务。
这些任务可能涉及货到拣货员的工作流程，其中一些运输装置(例如，传送带)将带有一个或多个物品的箱子或其他容器装置送至机器拣货员设备。然后，机器拣货员设备可以从容器中拣选物品并将物品放置在另一个位置(例如，在另一个容器中以便运送到另一个位置)。
这些任务可以附加地或替代地涉及拣货员到货物的工作流程。在这些工作流程中，物品最初可能位于仓库内的某个位置(例如，盒子中、货架上等等)。机器拣货员设备可以行进到物品，拣选物品并将物品携带到另一个位置以进行进一步处理或运输。
这些拣选系统和方法可用在分配环境中或用在需要将物品移入/移出各种位置的环境中。这些环境可能包括仓库环境、零售商店以及制造和装配工厂。
这些机器拣选系统的成本远低于人工拣选。因此，无论何处何地，使用机器人方法都有经济效益。此外，由于移动的机械附近人较少，这些自动化系统提高了安全性。
然而，这些系统的开发和部署通常具有挑战性，因为机器拣选系统不能可靠地抓取所有物品。因此，需要一种独立评价机器拣选设备的拣选尝试的方法、系统和装置。
发明内容
本发明内容是用于以简化的形式介绍一些概念，这些概念将在下面的具体实施方式部分中进一步描述。本发明内容不旨在确定或排除所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
在一个方面，实施例涉及评价机器人抓取技术的方法。该方法包括向仓库管理系统发出命令以检索用于由机器人操作臂抓取的物品；向机器人操作臂发出至少一条指令，该指令在执行时使机器人操作臂尝试抓取所检索的物品；从至少一个传感器装置接收关于抓取尝试的数据；以及使用执行存储在存储器上的指令的分析模块分析所接收的数据以确定机器人操作臂是否成功抓取物品。
在一些实施例中，该方法还包括向机器人操作臂发出至少一个指令，该指令在执行时使机器人操作臂基于分析模块确定机器人操作臂未成功抓取物品而尝试抓取所检索的物品。
在一些实施例中，该方法还包括使用分析模块向机器人操作臂发出至少第二指令，其中所述第二指令包含至少部分基于所接收的传感器数据的校正动作。
在一些实施例中，执行抓取尝试包括使用机器手装置执行抓取尝试。
在一些实施例中，执行抓取尝试包括使用抽吸装置执行抓取尝试。
在一些实施例中，执行抓取尝试包括使用粘合装置执行抓取尝试。
在一些实施例中，所接收的关于抓取尝试的数据包括重量数据。
在一些实施例中，所接收的关于抓取尝试的数据包括压力数据。
在一些实施例中，所接收的关于抓取尝试的数据包括力数据。
在一些实施例中，所接收的关于抓取尝试的数据包括图像数据。
在一些实施例中，仓库管理系统通过使用物品运输装置将物品从第一位置运输到第二位置来检索物品，以便机器人操作臂能够在第二位置处执行抓取尝试。在一些实施例中，该方法还包括在机器人操作臂在第二位置处执行抓取尝试后使用物品运输装置将物品从第二位置运输到第一位置。在一些实施例中，第一位置为物品存储位置。
在一些实施例中，该方法还包括使用操作臂运输装置将机器人操作臂从第一位置运输到第二位置，使得机器人操作臂能够在第二位置处执行抓取尝试。在一些实施例中，该方法还包括在机器人操作臂在第二位置处执行抓取尝试后使用操作臂运输装置将机器人操作臂从第二位置运输到第一位置。
在一些实施例中，该方法还包括将关于抓取尝试的数据存储至数据库模块中。
在一些实施例中，向仓库管理系统发出命令包括在周末期间发出命令。
在一些实施例中，向仓库管理系统发出命令包括在夜间发出命令。
在一些实施例中，向仓库管理系统发出命令包括在空闲时段发出命令。
根据另一方面，各实施例涉及一种用于评价机器人抓取技术的系统。该系统包括用于抓取物品的机器人操作臂；用于检索和存储物品的仓库管理系统；以及执行存储在存储器中的指令的分析模块，以：从至少一个传感器装置接收关于机器人操作臂的第一抓取尝试的数据，并分析所接收的数据以确定机器人操作臂是否成功抓取物品。
在一些实施例中，机器人操作臂配置为基于分析模块确定机器人操作臂未成功抓取物品而执行第二抓取尝试。
在一些实施例中，机器人操作臂配置为执行第二抓取尝试，其包含至少部分基于所接收的传感器数据的校正动作。
在一些实施例中，所述机器人操作臂包括用于执行抓取尝试的机器手装置。
在一些实施例中，所述机器人操作臂包括用于执行抓取尝试的抽吸装置。
在一些实施例中，所述机器人操作臂包括用于执行抓取尝试的粘合装置。
在一些实施例中，所接收的数据包括重量数据。
在一些实施例中，所接收的数据包括压力数据。
在一些实施例中，所接收的数据包括力数据。
在一些实施例中，所接收的数据包括图像数据。
在一些实施例中，仓库管理系统包括配置为将物品从第一位置运输到第二位置的物品运输装置，以便机器人操作臂能够在第二位置处执行第一抓取尝试。
在一些实施例中，物品运输装置进一步配置为在机器人操作臂执行第一抓取尝试后将物品从第二位置运输到第一位置。在一些实施例中，第一位置为物品存储位置。
在一些实施例中，所述系统还包括配置为将机器人操作臂从第一位置运输到第二位置的操作臂运输装置，以便机器人操作臂能够在第二位置处执行抓取尝试。在一些实施例中，操作臂运输装置进一步配置为在机器人操作臂执行抓取尝试后将机器人操作臂从第二位置运输到第一位置。
在一些实施例中，所述系统还包括用于存储关于抓取尝试的数据的数据库模块。
在一些实施例中，所述机器人操作臂在周末期间抓取物品。
在一些实施例中，所述机器人操作臂在夜间时段抓取物品。
在一些实施例中，所述机器人操作臂在空闲时段抓取物品。
附图说明
参考以下附图描述本发明的非限制性和非穷举性实施例，其中除非另有说明，否则相同的附图标记在各个视图中指代相同的部分。
图1是根据一个实施例的机器人操作臂的照片；
图2示出了根据一个实施例的用于评价机器人抓取技术的系统；
图3示出了根据一个实施例的机器人操作臂；
图4示出了根据另一实施例的机器人操作臂；
图5描绘了根据一个实施例的物品到拣货员的工作流程的流程图；
图6描绘了根据一个实施例的拣货员到物品的工作流程的流程图；
图7描绘了根据一个实施例的抓取测试工作流程的流程图；
图8描绘了根据一个实施例的参数优化过程的流程图；以及
图9描绘了根据一个实施例的评价机器人抓取技术的方法的流程图。
具体实施方式
下面参考附图更全面地描述各个实施例，各附图形成本发明的一部分并且示出了具体的示例性实施例。但是本公开的概念可以以许多不同的形式实现，并且不应该被解释为限于本文阐述的实施例；相反，这些实施例是作为全面和完整公开的一部分提供的，以向本领域技术人员详细表述本公开的概念、技术和实施方式的范围。各实施例可以实现为方法、系统或装置。因此，各实施例可以采用的形式有硬件实现、完全软件实现或软件和硬件组合实现。因此，以下详细描述不应被视为具有限制意义。
说明书中引用“一个实施例”或“实施例”表示与描述该实施例有关的特定特征、结构或特性包括在根据本公开的至少一个示例性实现或技术中。在说明书中各处出现的短语“在一个实施例中”不一定都指的是同一实施例。
下文描述的一些部分是根据存储在计算机存储器内的非瞬态信号操作的符号表示来描述的。这些描述和表示由数据处理领域的技术人员使用，以最有效地将他们工作的实质传达给本领域其他技术人员。这种操作通常需要物理量的物理操纵。通常，尽管不是必须的，但是这些量可以采取能够进行存储、传输、组合、比较和以其他方式控制的电信号、磁信号或光信号的形式。有时为了方便，主要是由于习惯用法的原因，将这些信号称为比特、数值、元素、符号、字符、术语、数字等。此外，有时为了方便也将需要对物理量进行物理操纵的某些步骤的布置称为模块或代码装置，但是不代表不再具备其一般性。
但是所有这些和类似术语都与适当的物理量有关，仅仅是应用于这些量的方便标签。除非从以下讨论中显而易见的明确说明，否则应当理解的是，在整个说明书中，利用诸如“处理”或“电脑运算”或“计算”或“确定”或“显示”等术语的讨论指的是计算机系统或类似电子计算装置的动作和过程，其操纵和变换表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理(电子)量的数据。本公开的部分包括可以以软件、固件或硬件实现的过程和指令，当以软件实现时，可以下载以驻留在各种操作系统所使用的不同平台上并且可以从所述不同平台操作。
本公开还涉及用于执行本文操作的设备。该设备可以为所需目的而专门构造，或者它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中，例如但不限于任何类型的磁盘(包括软盘、光盘、CD-ROM、磁光盘)、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、专用集成电路(ASIC)或适用于存储电子指令的任何类型的介质，并且每种可以耦合到计算机系统总线。此外，说明书中提到的计算机可以包括单个处理器或者可以是采用多个处理器设计以提高计算能力的架构。
本文出现的程序和显示并非固有地与任何特定计算机或其他设备相关。各种通用系统也可以与本文教导的程序一起使用，或者可以证明其方便用于构造更专用的设备以执行一个或多个方法步骤。在下面的描述中讨论了各种这些系统的结构。另外，可以使用足以实现本公开的技术和实施方式的任何特定编程语言。可以使用各种编程语言来实现如本文所讨论的本公开。
此外，本说明书中使用的语言主要是出于可读性和指导目的而选择的，并非选择用于描述或限制所公开的主题。因此，本公开旨在说明而非限制本文所讨论的概念的范围。
本文描述的各种实施例涉及用于评价机器人抓取技术的系统、方法和装置。这些机器人操作臂可以位于诸如仓库设施之类的设施内，并且可以被分配与抓取、移动或以其他方式与设施中的物品交互相关的各种任务。
本文描述的各种实施例的特征可用于通过分析所接收的传感器数据确定机器人操作臂是否成功抓取物品来评价机器人抓取技术。这可以帮助改进由机器人操作臂实现的各种技术并扩展其操作能力。
尽管是以仓库设施的背景进行描述，但是本文描述的各种实施例的特征可以在任何其他类型的环境中实现和/或用于需要抓取、操作或以其他方式将物品移动到各个位置和/或从各个位置移动物品的任何其他类型的应用。例如，各种实施例的特征可以在零售环境、建筑环境以及政府或军事行动中实施。
本文描述的机器人操作臂可以指用于抓取、拣选、操作、移动或以其他方式与物品交互的任何种类的机器人装置。在一些实施例中，这些机器人操作臂可包括由一个或多个致动器(例如，气动或液压)和/或伸缩节段控制的一系列臂装置，其可操作地配置有末端执行器装置以抓住物品。例如，图1示出了具有臂装置104和末端执行器106的机器人操作臂102的照片100。在该实施例中，末端执行器106可以配置为手装置。而且，图1中示出了用于收集关于物品和机器人操作臂102周围的环境的图像数据的传感器装置108。
机器人操作臂可以与基础设施管理系统对接以检索物品并进行抓取尝试。例如，机器人操作臂可以发送并且基础设施管理系统可以接收用于训练的特定物品的请求。所述基础设施管理系统可以通过将所请求的物品递送到操作臂来响应该请求。然后，机器人操作臂可以对所请求的物品执行一次或多次抓取尝试。然后，在操作臂执行抓取尝试后，可以将物品返回到其递送位置或基础设施管理系统。因此，该方法提供了各种方式用于选择要抓取的物品、与基础设施管理系统对接、执行抓取尝试以及分析和利用抓取尝试结果。
图2示出了根据一个实施例的用于训练评价机器人抓取技术的系统200；系统200可以包括通过一个或多个网络208与机器人操作臂204和基础设施管理系统206通信的拣选协调系统202。
网络208可以使用各种类型的网络连接来链接各种装置。网络208可以包括或对接到任意一种或多种互联网、内联网、个域网(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、存储区域网络(SAN)、帧中继连接、高级智能网络(AIN)连接、同步光纤网络(SONET)连接、数字T1、T3、E1或E3线路、数字数据服务(DDS)连接、数字用户线(DSL)连接、以太网连接、综合业务数字网(ISDN)线、拨号端口(如V.90、V.34或V.34bis)模拟调制解调器连接、电缆调制解调器、异步传输模式(ATM)连接、光纤分布式数据接口(FDDI)连接、铜缆分布式数据接口(CDDI)连接或光/DWDM网络。
所述网络208还可以包括、包含或对接任意一种或多种无线应用协议(WAP)链路、Wi-Fi链路、微波链路、通用分组无线服务(GPRS)链路、全球移动通信系统G(SM)链路、码分多址(CDMA)链路或时分多址(TDMA)链路(比如蜂窝电话信道)、全球定位系统(GPS)链路、蜂窝数字分组数据(CDPD)链路、Research in Motion,Limited(RIM)的双工寻呼类型装置、蓝牙无线电链路或基于IEEE 802.11的链路。
所述拣选协调系统202可以充当联网(例如，基于云)的系统，其能监视、指示、管理和/或维护多个机器人操作臂204。例如，所述拣选协调系统202可以在适当时间提供任何软件更新，并且可以类似地监视系统200的各种组件的功能。所述拣选协调系统202还可以收集抓取数据和传感器数据，并且可以分析所收集的数据以改善机器人操作臂204的未来性能。
机器人操作臂204可与图1的机器人操作臂102类似。所示出的机器人操作臂204配置有一个或多个臂装置210、一个或多个末端执行器212、处理器214、存储器216、传感器装置218、运输装置220和接口222。
所述臂装置210可以定位末端执行器212以抓取物品。所述臂装置210可包括一个或多个机械或电激活部件，比如致动器(例如，液压或气动)或伸缩节段。在这些实施例中，所述机器人操作臂204可配置有任何所需的容器、阀、泵、致动器等。
一个或多个末端执行器212可以可操作地附接到臂装置210。在一些实施例中，比如在图1的照片100中，末端执行器212可以配置为具有多个“手指”部件的手装置，用于抓取物品或以其他方式与物品交互。
在其他实施例中，末端执行器212可以配置为抽吸装置。在这些实施例中，所述抽吸装置可与任何所需的管、泵等等可操作地连接，以产生抓取物品所需的抽吸力。
在其他实施例中，所述末端执行器212可以配置为一个或多个磁性装置。在这些实施例中，所述机器人操作臂204可配置带有任何所需的螺线管或电气装置，以产生抓取物品所需的磁力。这些实施例当然适用于其中有磁性物品的那些应用。
在其他实施例中，所述末端执行器212可以配置带有粘合剂物质或材料。例如，所述末端执行器212可以配置带有钩环紧固件，以抓住物品。
以上配置仅是示例性的。可以使用其他类型的末端执行器和配置，无论是现在可得的还是以后发明，只要可以实现本文描述的各种实施例的特征即可。
处理器214可以是能够执行存储在存储器216上的指令以控制机器人操作臂204执行一次或多次抓取尝试的任何硬件装置。处理器214可以是微处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或其他类似装置。在一些实施例中，例如依赖于一个或多个ASIC的实施例，所述部分通过软件提供的功能可以替代地配置为ASIC的设计，且因此可以省略相关的软件。
存储器216可以是L1、L2、L3高速缓存、RAM存储器或硬盘配置。如上所述，存储器112可以包括非易失性存储器(比如闪存、EPROM、EEPROM、ROM和PROM)或易失性存储器(比如静态或动态RAM)。存储器216的确切配置/类型当然可以改变，只要用于至少执行抓取尝试的指令可以由处理器214执行即可。
机器人操作臂204可以配置有一个或多个传感器装置218，以至少收集关于机器人操作臂的环境(包括位于其中的物品)的数据以及抓取尝试的结果。即，抓取尝试是否成功。
该传感器数据可包括的数据有：关于待抓取物品的位置、物品的方向(例如，物品是否在其侧面等)、物品的形状、物品的尺寸或其他可能有助于执行抓取尝试的数据。传感器装置218还可以收集有助于确定抓取尝试是否成功的数据。
在一些实施例中，传感器装置218可以包括一个或多个相机，比如立体相机或电荷耦合器件相机。在其他实施例中，传感器装置218可包括相对于机器人操作臂204和物品可操作地定位的LIDAR相机装置。在其他实施例中，传感器装置218可以包括红外或SONAR成像装置。机器人操作臂204(即，处理器214)还可以包括或以其他方式执行任何所需的计算机视觉或其他图像处理工具。
除了图像采集装置之外或代替图像采集装置，传感器装置218可包括压力或压电传感器装置或适当定位的标尺。这些类型的传感器装置218可以实现为机器人操作臂204的一部分(例如，利用末端执行器装置212)，以测量由物品引起的任何力。例如，如果末端执行器212抓取物品并且抓起物品，则配置有末端执行器212的任何压电传感器上的力可以增加到指示末端执行器212已经抓取并且抓起物品。如果没有检测到这样的力，则可以得出结论，末端执行器212通过执行特定的抓取策略没有抓取到或没有抓起该物品。
运输装置220可以使机器人操作臂204能够移动到环境内的各个位置以及从环境内的各个位置移动。例如，机器人操作臂204可包括多个轮子和发动机，使其能够在仓库内行进，以从不同位置收集物品。例如，图3描绘了诸如仓库的环境中的机器人操作臂302的照片300。还能看出机器人操作臂302配置有运输装置304。运输装置304使机器人操作臂302能够在整个环境中行进，以在各个位置处执行抓取尝试。
接口222可以使机器人操作臂204与拣选协调系统202和基础设施管理系统206对接。这样，机器人操作臂204可以与其他系统组件交换指令以及提供关于抓取尝试的数据。
根据各种实施例，所述基础设施管理系统206可以包括或以其他方式执行与训练机器人操作臂204相关的各种子系统。这些子系统可以包括自动存储和检索系统(ASRS)224、仓库控制软件226、仓库管理系统(WMS)228，以及仓库软件和自动化系统(WSAS)230。
ASRS 224可以是用于移动货物的自动系统，其通常依赖于可以装载或卸载物品的站点之间的传送机或输送机。这种系统通常可以包括一组存储架和带有能将箱子移入和移出货架的穿梭车的起重机。
为了取得物品，系统200可以从分配的存储位置检索它们并将它们移动到交互位置。所述交互位置可以是可以从盒子、箱子、架子等拣选/抓取物品的位置。
WCS 226可以控制这些站点并且可以命令ASRS系统224存储物品，以供稍后检索和/或通过接口从存储中检索货物。所述接口可以是一系列逻辑线、串行端口、并行端口或网络架构(比如CAN、以太网、Modbus等)。另外，可以通过该接口发送针对某些物品的标识信息，以使ASRS 224将特定物品传送到站点或将物品传送到存储处。
WCS 226可以包括或以其他方式执行控制较低级别任务的软件。这些任务可以包括从WMS 228接收命令并将它们转换成其他系统组件可操作的控制信号。例如，WCS 226可以发出命令，例如打开哪个传送带，向哪里传送穿梭车取回货柜，发出信号激活界面灯等。
WMS 228可以包括管理库存和存储资源的软件系统。这通常可以包括处理传入订单、跟踪和触发补充、将库存传输到交互点等。
WSAS 230可以包括硬件和软件或以其他方式执行用于管理仓库操作的软件。这些可以包括WCS 226和WMS 228，以及其他自动化硬件。
在一些实施例中，所述拣选协调系统202可以控制系统200的操作以及启动/停止测试程序。然而，在其他实施例中，操作者(比如仓库雇员)可以控制系统200的各种组件的操作。操作者可以使用例如联网计算机或基于云的服务发布命令。
测试(即，训练)程序可以在非活动时间进行。例如，仓库环境在一天或一周的某部分时间用于活动的商业分配任务。在其他时间段，仓库可能处于非活动状态，这时没有现场物流操作。
在这些不活动时间段，所述拣选协调系统202可以将对进行测试的特定物品的请求发送到基础设施管理系统204。具体地，可以将这些请求传送到ASRS 224和WMS 228。
可以有许多标准或因素影响机器人操作臂204对哪个物品或哪些类型的物品进行测试。例如，拣选协调系统202可以选择抓取错误率高于平均值的物品。或者，拣选协调系统202可以选择在预定时间段内尚未测试的物品。可以存在许多不同因素，它们单独考虑或组合考虑时会影响选择哪个或哪些类型的物品进行测试。当然，在一些实施例中，可以选择物品以完成订单。
可以将请求传送到WMS 228。然后，WMS 228可以向ASRS 224发送适当的命令，然后ASRS 224可以将箱子或其他类型的物品货箱移动到交互点。
在本申请的上下文中，“交互点”可以指机器人操作臂204执行抓取尝试的位置。在“货物到拣货员”的工作流程中，物品可以在交互点从第一位置(例如存储点)移动到机器人操作臂204。
例如，图4示出了交互点400，其中物品的盒子402经由传送带的运输系统406被送至机器人操作臂404。一旦物品位于交互点400处，机器人操作臂404可以执行抓取尝试并将它们放置在货箱408中以进行装运或进一步存储。
如上所述，机器人操作臂204还可以行进到交互点抓取物品。为此，机器人操作臂204可以配置运输装置220，比如图3中示出的那些。
一旦机器人操作臂204和待抓取的物品位于交互点，机器人操作臂204可根据抓取策略执行一次或多次抓取尝试。机器人操作臂204可以执行若干抓取尝试，以确定特定抓取策略的有效性。
在本申请的上下文中，“抓取策略”(grasping strategy)或“抓取策略”(graspstrategy)可以指定义机器人操作臂204如何执行抓取尝试的步骤、运动、施加的力、方法和其他特征。这些动作还可以包括感测动作、信号处理动作、规划、执行、验证以及所有这些动作的参数。
再参考图2，拣选协调系统202可以配置能执行存储在存储器234上的指令的处理器232，以提供分析模块236。拣选协调系统202的处理器232可以与上述机器人操作臂204的处理器214具有类似配置。
处理器232可以执行存储在存储器234上的指令以提供分析模块236，用于生成由机器人操作臂204执行的抓取策略。例如，分析模块236可以定义抓取策略的各种参数，比如臂装置210和末端执行器212如何接近物品，末端执行器212应该打开其“手”多宽，应该如何处理图像，末端执行器212应该产生多大的力来抓住物品等等。然后可以将定义所生成的抓取策略的参数和指令传送到机器人操作臂204执行。
系统200以及(换句话说)拣选协调系统202可以使用多个标准来确定何时执行抓取尝试。它可以从操作员接收显式命令以开始/停止执行抓取尝试，和/或它可以使用可设置时间窗口，例如在夜间或在其他非活动时间段。它还可以使用本地评价标准，例如在空闲期间或当它从WMS 228接收到库存更新时，以及其他标准。机器人操作臂204还可以根据需要执行抓取尝试以完成订单。
类似地，系统200可以基于各种标准中止任何测试、抓取尝试和数据收集程序，例如来自ASRS 224或WMS 228的特定中断信号。然后，系统200可以返回执行主分发拣选操作。当目标物品已经被放入系统200以进行订单履行时，系统200还可以适时对该目标物品进行测试。
为了执行测试程序，拣选协调系统202可以与ASRS 224通信，以指示待收集的物品。系统202还可以传达在可抓取性测试程序中使用的若干不同的货箱布置。这包括调用相同的货箱或另一个货箱作为拣选物品的目的地。
附加地或替代地，机器人操作臂204可以在整个数据收集程序中将相同货箱保持在交互点处。然后可以拣选物品，确定抓取成功和/或稳定性，并将物品返回到同一货箱。这是有利的，因为它简化了将物品退回库存的程序。
图5示出了根据一个实施例的货到拣货员工作流程的流程图500。在该实施例中，拣选协调系统202可以向仓库软件和自动化系统232发出一个或多个物品请求。具体地，任何请求可以由适当的仓库软件502接收，其也可以接收商业订单。
该请求可以指示仓库内物品的位置。附加地或替代地，仓库软件502可以搜索图2的数据库模块238，了解所请求物品的位置。然后，任何适合的货到拣货员自动化系统504可以将所请求物品从第一位置(例如，存储点)传输到第二位置(例如，交互点)到机器人操作臂204。在该实施例中，机器人操作臂204是固定的拣选机器人。
拣选协调系统202可以在任何时候将抓取策略传达给机器人操作臂204。一旦物品被带到机器人操作臂204，机器人操作臂204就可以执行该策略。
图6示出了拣货员到货物工作流程的流程图600。在该实施例中，拣选协调系统202可以向仓库软件和自动化系统232发出一个或多个物品请求。具体地，任何请求可以由适当的仓库软件602接收，其也可以接收商业订单。
该请求可以指示仓库内物品的位置。附加地或替代地，仓库软件602可以搜索图2的数据库模块238，了解所请求物品的位置。然后，拣货员到货物调度器604可以命令机器人操作臂行进到物品。如图2所示，机器人操作臂204可以配置运输装置，以将机器人操作臂204从第一位置运输到存储物品的第二位置(例如，交互点)。
拣选协调系统202可以在任何时候将拣选策略传达给机器人操作臂204。一旦机器人操作臂204(在该实施例中是移动拣选机器人)行进到物品，则机器人操作臂204就可以执行抓取尝试。
应注意，也可手动将物品拿给机器人操作臂204——固定式或移动式。操作员可以向操作臂204提供多箱或多个货箱的待拣选/待测试物品，或者操作员可以将操作臂204引导到货架、箱子的存储架或类似的存储装置上的多个位置。
可以通过拣选协调系统202、机器人操作臂204、仓库软件和自动化系统230或由操作员选择待抓取的物品。机器人操作臂204可以将物品送回到其原始货箱，或者作为可抓取尝试的一部分将它们转移到新货箱。操作员可以将或可以不将关于物品的信息传送给机器人操作臂204，并且可以手动或自动地将收集的数据传送给拣选协调系统202和/或基础设施管理系统206。然后可以将该数据与任何合适的数据库或基于云的拣选协调系统202集成，用于改进未来的拣选操作。
然后，机器人操作臂204可以对任何数量的物品执行抓取尝试略。通常，执行涉及机器人操作臂对容器中的物品成像，执行任何所需的感测、信号或图像处理以定义要抓取的一个或多个物品，尝试根据一个或多个参数抓取物品，评价抓取尝试(例如，确定物品是否被成功提起)，并且可选地摇动末端执行器212和物品以确定干扰下的稳定性。
在一些实施例中，抓取策略可以仅涉及执行部分抓取程序。例如，一些抓取策略可能仅需要该程序的成像部分，用于了解使用所选择的传感器装置218对特定物品进行成像的效果有多好。这些部分抓取策略还可以包括信号和/或图像处理步骤以及抓取规划情况，以评价相应组件可以执行的有多好。
在一些实施例中，抓取策略可以包括抓住物品但不提起物品。这可以提供与触觉传感器信号有关的有用信息。在其他实施例中，抓取策略还可以涉及提起物品。为了确定物品是否被提起，可以对末端执行器进行成像，以查看物品是否被成功提起。
附加地或替代地，配置有末端执行器212或臂装置210的任何传感器装置218可以检测物品重量。同样，可以将物品放在为此目的提供的秤上。或者，可以在源货箱或目标货箱下方或上方放置传感器装置，以检测物品是否已从其上移除或放置在其上。
在一些实施例中，机器人操作臂204可以配置用于对物品进行非适于抓握探查(non-prehensile probing)。在本申请的上下文中，“非适于抓握探查”指的是在没有抓取意图的情况下触摸物品的行为。非适于抓握探查可用于生成物品的附加视图或确认物品校准和/或物体刚度或材料。
在一些实施例中，抓取策略可涉及“搅拌”货箱或倾斜货箱中的物品，以确定物品彼此之间以及与容器壁如何相互影响。而且，使用传感器装置218检测和定位条形码或其他标记可以提供关于目标物品移动的信息。
机器人操作臂204及其传感器装置218可以在测试期间收集各种数据。该数据可以包括与物品以及抓取尝试相关的图像数据，比如抓取尝试是否成功。该图像数据可以包括单色、彩色、高光谱，深度/点云和其他类型的数据以及上述的组合。收集的图像数据类型当然可以根据传感器装置218的类型和配置变化。
传感器装置(比如加速计、联合编码器以及电位计)可以收集关于臂装置210和运输装置220的空间位置和运动的数据。位于机器人操作臂204中或以其他方式配置在机器人操作臂204中的传感器装置(比如力-扭矩传感器或触觉传感器)可以收集关于所施加的力和物品质量的数据。
另外，系统200包括配置于机器人操作臂204上或在机器人操作臂204外部的扫描仪，用于收集物品的几何信息。这些扫描仪可以基于三角测量、立体成像等工作。这些扫描仪或其他类型的传感器装置218可以收集与抓取成功率相关的数据以及用于抓取稳定性估计的数据。
收集的关于抓取尝试的结果的数据可以存储在数据库模块238中和/或传送到拣选协调系统202和基础设施管理系统206。分析模块236可以进一步处理该数据，以描述预期的机器人操作臂204的未来性能特征。例如，在给定特定抓取策略的情况下，该数据可以提供关于特定物品的拣选时间、错误率等建议。
还可以将该数据传送给操作员或其他感兴趣的各方，以通知操作员抓取失败以及导致这种失败的原因。然后这些信息可以帮助提高性能。例如，在将来可以更频繁地选择具有相对较高错误率的物品或抓取策略进行测试，并且可以改变未来的抓取策略或其参数以努力提高性能。可以改变的参数可以包括例如视觉分割、模型构建、抓取位置选择/规划、抓取控制等等。
图7描绘了示出测试期间的数据流的流程图700。具体地，图7示出了在物品选择和数据收集期间，分析模块236可以执行一个或多个优化算法以优化抓取策略的参数。
在步骤702中，拣选协调系统202基于存储在数据库模块238中的统计数据选择一个或多个用于物品进行测试。注意，在图7中，拣选协调系统202可以收集与库存单位(SKU)相关的统计数据并基于库存单位(SKU)请求物品。SKU可以指特定物品或物品类型的标识名称。
可以基于先前的抓取尝试结果选择一个或多个SKU。例如，如果特定SKU(即，物品)具有高错误率(即，具有相对较少次数的成功抓取)，则该物品可以是用于测试的合适候选者。
步骤704涉及重复拣选物品或以其他方式重复尝试抓取物品。重复尝试可以根据由一个或多个参数定义的抓取策略。
步骤706涉及在接收到由抓取尝试产生的新数据时更新一个或多个参数。理想情况下，更新的参数将有助于提高抓取性能。
例如，一个特定的抓取策略可以具有经过训练学习的分类器，其能基于传感器数据预测抓取是否会失败。可以基于新的拣选尝试及其成功率来调整所述分类器的参数。可以在处理器214和/或232上本地执行或者在本地设施中的组件上执行任何所需的分析。
或者，可以将数据上载到中央服务器或云服务器，进行远程分析和数据挖掘。例如，这些服务器可以由机器人操作臂供应商提供和/或由ASRS 224或WMS 228操作员提供。
本文描述的实施例可以利用各种机器学习方法来更新这些抓取策略参数。在一些实施例中，规划模块236可以针对所收集的数据计算关于某些参数(例如，手指位置)的价值函数的梯度(例如，成功的概率)。该方法称为(随机)梯度下降，如图8流程图800所描述的。
在图8中，算法参数由⊙表示，并且当前置信度参数会影响对成功概率的估计，该当前置信度参数可能与物品被抓取或尝试被抓取的次数有关。一旦执行了抓取尝试，就可以将预测值与真实值进行比较(无论物品是否被成功抓取)，并且可以通过计算该函数的导数来更新适当的参数。
这些基于梯度的方法在深度学习中很常见，其能相对容易地实现给定的现有自动微分工具(例如，)，并且不需要每个参数的完整贝叶斯模型。无论如何，可以使用其他优化算法来更新参数。例如，可以使用诸如马尔可夫链、蒙特卡罗模拟以及变分推理和进化策略等技术。
注意，基于现有参数可以快速估计新规划策略的参数。当遇到与已经测试的物品类似的新物品时，这是有利的。
例如，如果来自特定公司的新蜂窝电话发布了并且包括与早期机型类似的包装，则成功抓取新机型所需的抓取策略将与该早期机型所需的抓取策略类似。因此，可以使用用于该早期机型的抓取策略以及与其相关的其他信息作为起点。
这种知识迁移，通常称为迁移学习，可用于“引导”新策略。然后可以将早期物品的属性嵌入低维表示量度中。类似物品的参数从而可以依赖于这些量度作为新参数和新物品的起始值。
这些自举技术必然能减少训练时间。此外，这些技术可用于快速选择具有与在先策略类似参数的新开发规划策略元素(例如，新的图像分割算法)的参数。
除了上述技术之外，可以使用其他机器学习方法来实现本文描述的各种特征。这些包括分类技术(比如聚类和支持向量机)以及估计技术(比如卡尔曼滤波器和最大似然法)。
图9描绘了根据一个实施例的评价机器人抓取技术的方法900的流程图。可以执行该方法900以确定例如哪种抓取技术或策略至少可能对特定物品产生成功的抓取尝试。附加地或替代地，可以执行该方法900以确定抓取尝试是否成功，且如果不成功，则确定应该执行的后续抓取尝试。
步骤902涉及向仓库管理系统发出命令以检索用于由机器人操作臂抓取的物品。在一些实施例中，图2的拣选协调系统202包括可以配置为通过一个或多个网络208向仓库管理系统228发出这种类型的命令。
该命令的时机可以是许多标准的函数。例如，并且如上所述，拣选协调系统202可以发出该命令以在不活动期间启动抓取尝试以测试对特定物品的特定抓取策略。或者，拣选协调系统202可以发出这种类型的命令以实现商业订单。仓库管理系统可以类似于图2的仓库管理系统228，且可以配置为通过检索命令中识别的物品来响应这种发出的命令。
方法900可以结合货物到拣货员的工作流程或拣货员到货物的工作流程来执行。因此，在前一种类型的工作流程中，拣选协调系统和/或仓库管理系统可以向任何适当的运输装置(例如，搁架单元、传送带等)发出命令信号以将物品从第一位置带到在交互点处的机器人操作臂。在后一种类型的工作流程中，仓库管理系统和/或拣选协调系统可以向机器人操作臂发出命令信号，以指示机器人操作臂从第一位置行进到在交互点处的物品。
步骤904涉及向机器人操作臂发出至少一个指令，该指令在被执行时使机器人操作臂尝试抓取所检索的物品。该命令可以由拣选协调系统202发出。该命令可以包括定义机器人操作臂如何执行抓取尝试的参数。例如，如果机器人操作臂的末端执行器为手持装置，则其中一个参数可以定义为在执行抓取尝试前末端执行器应打开的宽度。
步骤906包括从至少一个传感器装置接收关于抓取尝试的数据。当机器人操作臂执行抓取尝试时机器人操作臂和/或机器人操作臂周围的环境可以配置有一个或多个传感器装置。无论是配置有机器人操作臂还是配置在机器人操作臂外部，这些传感器装置可以可操作地定位以收集指示抓取尝试是否成功的数据。
这些传感器装置可以包括与任何所需的计算机视觉或图像处理工具、扭矩力传感器、红外传感器、温度计、热电偶、压力传感器、压电传感器、体重秤等结合使用的相机设备。该传感器装置列表仅仅是示例性的。任何类型的传感器装置，不论现在就可用的还是以后发明的，只要它/它们可以收集数据用于确定抓取尝试是否成功即可。
步骤908涉及使用执行存储在存储器中的指令的分析模块分析所接收的数据以确定机器人操作臂是否成功抓取了物品。在本申请的上下文中，抓取尝试是否“成功”可取决于各种标准。例如，在一些实施例中，仅当机器人操作臂抓住物品、提起物品并将物品放置在特定位置(例如，物品在抓取尝试前的位置或在抓取尝试前与物品的位置不同的位置)时，抓取尝试才被认为是成功的。。在其他实施例中，仅当机器人操作臂抓取到物品、提起物品并且摇动物品而不丢掉物品的情况下，才可以认为抓取尝试是成功的。在其他实施例中，如果机器人操作臂仅接触物品，就可以认为抓取尝试是成功的。以上定义成功抓取尝试的标准的列举仅仅是示例性的，并且可以预期到可以考虑其他标准。
如上所述，分析模块可以配置为分析来自一个或多个传感器装置的输入以确定抓取尝试是否成功。依赖于分析的传感器装置的类型可取决于成功抓取的标准。相反，所使用的传感器装置的类型可能影响分析的执行方式和使用的标准。
如果成功抓取尝试的标准包括从一位置提起物品并将物品放置在另一位置，则传感器装置可以包括一系列标度以检测物品重量。标度可以配置有例如搁架单元或具有物品原始位置。物品从物品的原始位置提起后，可以通过原始位置的称来检测重量的变化。称可以与诸如图2的分析模块236之类的系统组件可操作地通信。因此，这种重量的变化可以确认物品已从原始位置提起。
机器人操作臂和/或第二位置也可以配置有重量秤。因此，在第二位置处检测到的重量增加可以指示该物品已被放置在第二位置。因此，在第一位置处检测到的重量减少与在第二位置处检测到的重量增加相结合表明抓取尝试成功。重量秤或压力传感器装置可以类似地配置有机器人操作臂，例如末端执行器。
计算机视觉分析工具还可以分析由传感器装置收集的图像以确定抓取尝试的结果。例如，图2的分析模块236可以实施SIFT或SURF图像分析工具以确定抓取尝试是否成功。如果分析模块236通过分析的图像检测到物品已留在物品的原始位置，则分析模块可以确定抓取尝试不成功。
诸如扭矩传感器或力传感器等其他类型的传感器装置可以配置有臂装置或末端执行器。一旦末端执行器尝试抓取物品，施加在这些传感器上的力应随着与物品的接触而增大。如果没有检测到压力/力的这种增大，则图2的分析模块可以确定末端执行器没有抓取到物品且抓取尝试不成功。
以上关于各种类型的传感器数据的分析的讨论仅仅是示例性的。
可以预期，分析模块可以执行用于分析各种类型的数据的其他技术，以确定抓取尝试是否成功。
步骤910是可选的，且包括向机器人操作臂发出至少一个指令，该指令在执行时使机器人操作臂基于分析模块确定机器人操作臂未成功抓取物品时尝试抓取所检索的物品。换句话说，如果机器人操作臂未成功抓取物品，则机器人操作臂可执行一个或多个后续抓取尝试。在这些实施例中，机器人操作臂可以执行预定次数的抓取尝试或直到机器人操作臂执行成功的抓取尝试。
关于尝试的数据，例如为什么特定抓取尝试会成功或未成功的数据，可以传送到拣选协调系统202。该数据可以存储在数据库模块238中和/或由操作员分析以帮助改进未来的抓取尝试。
以上讨论的方法、系统和装置是示例性的。各种配置可以适当地省略、替换或添加各种步骤或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行所述方法，并且可以添加、省略或组合各种步骤。而且，描述的关于某些配置的特征可以以各种其他配置进行组合。可以以类似的方式组合所述配置的不同方面和元件。此外，技术是发展的，因此，许多元件是示例性的，并不用于限制本公开或权利要求的范围。
例如，以上参考根据本公开的实施例的方法、系统和计算机程序产品的框图和/或操作示意图描述了本公开的实施例。方框中的功能/动作可以不按任何流程图所示的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能/动作。另外地或替代地，并非需要完成和/或执行任何流程图中所示的所有框。例如，如果给定的流程图具有包含功能/动作的五个块，则可能的情况有五个块中仅有三个被完成和/或执行。在该示例中，可以完成和/或执行五个块中的三个中的任何一个。
一个值超过(或大于)第一阈值的语句等同于该值等于或超过略大于第一阈值的第二阈值(例如，在相关系统的分辨率中第二阈值是大于第一阈值的一个值)的语句。一个值小于第一阈值(或在第一阈值内)的语句等同于该值小于或等于略小于第一阈值的第二阈值(例如，在相关系统的分辨率中第二阈值是小于第一阈值的一个值)的语句。
在描述中给出了具体细节以提供对示例性配置(包括实现)的前面理解。但是可以在没有这些具体细节的情况下实践所述配置。例如，已经示出了公知的电路、程序、算法、结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例性配置，并且不限制权利要求的范围、适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对各元件的功能和布置进行各种改变。
已经描述了若干种示例性配置，可以使用各种修改、替代构造和等同构造而不脱离本公开的精神。例如，以上元件可以是更大系统的组件，其中其他规则可以优先于或以其他方式修改本公开的各种实现或技术的应用。而且，可以在考虑上述元件之前、期间或之后进行许多步骤。
已经提供了本申请的说明和图示，本领域技术人员可以设想落入本申请讨论的总体发明构思内的变型、修改和替换实施例，其不脱离所附权利要求的范围。

Claims (38)

1.一种评价机器人抓取技术的方法，所述方法包括：
向仓库管理系统发出命令以检索用于由机器人操作臂抓取的物品；
向机器人操作臂发出至少一个指令，该指令在被执行时使机器人操作臂尝试抓取所检索的物品；
从至少一个传感器装置接收关于抓取尝试的数据；以及
使用执行存储在存储器上的指令的分析模块分析所接收的数据以确定机器人操作臂是否成功抓取物品。
2.根据权利要求1所述的方法，还包括向机器人操作臂发出至少一个指令，该指令在执行时使机器人操作臂基于分析模块确定机器人操作臂未成功抓取物品而尝试抓取所检索的物品。
3.根据权利要求1所述的方法，还包括使用分析模块向机器人操作臂发出至少第二指令，其中所述第二指令包含至少部分基于所接收的传感器数据的校正动作。
4.根据权利要求1所述的方法，其中执行抓取尝试包括使用机器手装置执行抓取尝试。
5.根据权利要求1所述的方法，其中执行抓取尝试包括使用抽吸装置执行抓取尝试。
6.根据权利要求1所述的方法，其中执行抓取尝试包括使用粘合装置执行抓取尝试。
7.根据权利要求1所述的方法，其中所接收的关于抓取尝试的数据包括重量数据。
8.根据权利要求1所述的方法，其中所接收的关于抓取尝试的数据包括压力数据。
9.根据权利要求1所述的方法，其中所接收的关于抓取尝试的数据包括力数据。
10.根据权利要求1所述的方法，其中所接收的关于抓取尝试的数据包括图像数据。
11.根据权利要求1所述的方法，其中仓库管理系统通过使用物品运输装置将物品从第一位置运输到第二位置来检索物品，以便机器人操作臂能够在第二位置处执行抓取尝试。
12.根据权利要求11所述的方法，还包括在机器人操作臂在第二位置处执行抓取尝试后使用物品运输装置将物品从第二位置运输到第一位置。
13.根据权利要求11所述的方法，其中所述第一位置为物品存储位置。
14.根据权利要求1所述的方法，还包括使用操作臂运输装置将机器人操作臂从第一位置运输到第二位置，使得机器人操作臂能够在第二位置处执行抓取尝试。
15.根据权利要求14所述的方法，还包括在机器人操作臂在第二位置处执行抓取尝试后使用操作臂运输装置将机器人操作臂从第二位置运输到第一位置。
16.根据权利要求1所述的方法，还包括将关于抓取尝试的数据存储至数据库模块中。
17.根据权利要求1所述的方法，其中向仓库管理系统发出命令包括在周末期间发出命令。
18.根据权利要求1所述的方法，其中向仓库管理系统发出命令包括在夜间时段发出命令。
19.根据权利要求1所述的方法，其中向仓库管理系统发出命令包括在空闲时段发出命令。
20.一种用于评价机器人抓取技术的系统，所述系统包括：
用于抓取物品的机器人操作臂；
用于检索和存储物品的仓库管理系统；以及
执行存储在存储器中的指令的分析模块，以：
接收来自至少一个传感器装置的关于机器人操作臂的第一抓取尝试的数据，以及
分析接收的数据以确定机器人操作臂是否成功抓取物品。
21.根据权利要求20所述的系统，其中机器人操作臂配置为基于分析模块确定机器人操作臂未成功抓取物品而执行第二抓取尝试。
22.根据权利要求20所述的系统，其中机器人操作臂配置为执行第二抓取尝试，其包含至少部分基于所接收的传感器数据的校正动作。
23.根据权利要求20所述的系统，其中所述机器人操作臂包括用于执行抓取尝试的机器手装置。
24.根据权利要求20所述的系统，其中所述机器人操作臂包括用于执行抓取尝试的抽吸装置。
25.根据权利要求20所述的系统，其中所述机器人操作臂包括用于执行抓取尝试的粘合装置。
26.根据权利要求20所述的系统，其中所接收的数据包括重量数据。
27.根据权利要求20所述的系统，其中所接收的数据包括压力数据。
28.根据权利要求20所述的系统，其中所接收的数据包括力数据。
29.根据权利要求20所述的系统，其中所接收的数据包括图像数据。
30.根据权利要求20所述的系统，其中仓库管理系统包括配置为将物品从第一位置运输到第二位置的物品运输装置，以便机器人操作臂能够在第二位置处执行第一抓取尝试。
31.根据权利要求30所述的系统，其中物品运输装置进一步配置为在机器人操作臂执行第一抓取尝试后将物品从第二位置运输到第一位置。
32.根据权利要求30所述的系统，其中所述第一位置为物品存储位置。
33.根据权利要求20所述的系统，还包括配置为将机器人操作臂从第一位置运输到第二位置的操作臂运输装置，以便机器人操作臂能够在第二位置处执行抓取尝试。
34.根据权利要求33所述的系统，其中操作臂运输装置进一步配置为在机器人操作臂执行抓取尝试后将机器人操作臂从第二位置运输到第一位置。
35.根据权利要求20所述的系统，还包括用于存储关于抓取尝试的数据的数据库模块。
36.根据权利要求20所述的系统，其中所述机器人操作臂在周末期间抓取物品。
37.根据权利要求20所述的系统，其中所述机器人操作臂在夜间时段抓取物品。
38.根据权利要求20所述的系统，其中所述机器人操作臂在空闲时段抓取物品。
CN201780044288.4A 2016-07-18 2017-07-18 评价机器人抓取 Pending CN109983433A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662363446P 2016-07-18 2016-07-18
US62/363,446 2016-07-18
PCT/US2017/042674 WO2018017616A1 (en) 2016-07-18 2017-07-18 Assessing robotic grasping

Publications (1)

Publication Number Publication Date
CN109983433A true CN109983433A (zh) 2019-07-05

Family

ID=60992559

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780044288.4A Pending CN109983433A (zh) 2016-07-18 2017-07-18 评价机器人抓取
CN201780044291.6A Pending CN109997108A (zh) 2016-07-18 2017-07-18 训练机器人操作臂

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780044291.6A Pending CN109997108A (zh) 2016-07-18 2017-07-18 训练机器人操作臂

Country Status (6)

Country Link
US (2) US11173602B2 (zh)
EP (2) EP3485369A4 (zh)
JP (2) JP7145843B2 (zh)
CN (2) CN109983433A (zh)
CA (2) CA3029968A1 (zh)
WO (2) WO2018017616A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111591650A (zh) * 2020-04-30 2020-08-28 南京理工大学 一种智能抱夹式agv货物搬运辅助装置和方法
CN114845842A (zh) * 2019-10-24 2022-08-02 辉达公司 触觉抓取策略的强化学习
CN115436081A (zh) * 2022-08-23 2022-12-06 中国人民解放军63653部队 一种散落沾染物的模拟装置及目标捡拾性能测试方法

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108495738B (zh) 2015-09-01 2022-01-04 伯克希尔格雷股份有限公司 用于提供动态机器人控制系统的系统和方法
US11370128B2 (en) 2015-09-01 2022-06-28 Berkshire Grey Operating Company, Inc. Systems and methods for providing dynamic robotic control systems
CA3169689C (en) 2016-01-08 2024-04-02 Berkshire Grey Operating Company, Inc. Systems and methods for acquiring and moving objects
EP3414060B1 (en) 2016-02-08 2022-05-25 Berkshire Grey Operating Company, Inc. Systems and methods for providing processing of a variety of objects employing motion planning
KR102567525B1 (ko) * 2016-11-17 2023-08-16 삼성전자주식회사 이동 로봇 시스템, 이동 로봇 및 이동 로봇 시스템의 제어 방법
ES2964823T3 (es) 2016-11-28 2024-04-09 Berkshire Grey Operating Company Inc Sistema de singulación de objetos para su procesamiento
ES2957704T3 (es) 2017-03-06 2024-01-24 Berkshire Grey Operating Company Inc Sistemas y métodos para mover eficientemente una variedad de objetos
CA3056782C (en) 2017-03-20 2023-03-14 Berkshire Grey, Inc. Systems and methods for processing objects including a zone gantry system
EP3612473A1 (en) * 2017-04-18 2020-02-26 Alert Innovation Inc. Picking workstation with mobile robots & machine vision verification of each transfers performed by human operators
EP3615460A1 (en) 2017-04-24 2020-03-04 Berkshire Grey, Inc. Systems and methods for providing singulation of objects for processing using object movement redistribution
US10562181B2 (en) * 2017-07-03 2020-02-18 X Development Llc Determining and utilizing corrections to robot actions
US11106967B2 (en) 2017-07-03 2021-08-31 X Development Llc Update of local features model based on correction to robot action
US11065761B2 (en) 2017-07-25 2021-07-20 Dematic Corp. Robotic picking training technique
EP4299260A3 (en) 2017-08-02 2024-04-10 Berkshire Grey Operating Company, Inc. Systems and methods for acquiring and moving objects having complex outer surfaces
US10899011B2 (en) * 2018-11-14 2021-01-26 Fetch Robotics, Inc. Method and system for selecting a preferred robotic grasp of an object-of-interest using pairwise ranking
JP6676030B2 (ja) * 2017-11-20 2020-04-08 株式会社安川電機 把持システム、学習装置、把持方法、及び、モデルの製造方法
US10792810B1 (en) * 2017-12-14 2020-10-06 Amazon Technologies, Inc. Artificial intelligence system for learning robotic control policies
US10800040B1 (en) 2017-12-14 2020-10-13 Amazon Technologies, Inc. Simulation-real world feedback loop for learning robotic control policies
US10981272B1 (en) * 2017-12-18 2021-04-20 X Development Llc Robot grasp learning
US10754318B2 (en) 2017-12-21 2020-08-25 X Development Llc Robot interaction with objects based on semantic information associated with embedding spaces
US11097418B2 (en) * 2018-01-04 2021-08-24 X Development Llc Grasping of an object by a robot based on grasp strategy determined using machine learning model(s)
US10926408B1 (en) 2018-01-12 2021-02-23 Amazon Technologies, Inc. Artificial intelligence system for efficiently learning robotic control policies
WO2019143710A1 (en) 2018-01-17 2019-07-25 Berkshire Grey, Inc. Systems and methods for efficiently moving a variety of objects
US20190246858A1 (en) * 2018-02-13 2019-08-15 Nir Karasikov Cleaning robot with arm and tool receptacles
US10843333B2 (en) 2018-03-05 2020-11-24 Berkshire Grey, Inc. Systems and methods for processing objects, including automated re-circulating processing stations
US10766149B2 (en) 2018-03-23 2020-09-08 Amazon Technologies, Inc. Optimization-based spring lattice deformation model for soft materials
US10919151B1 (en) * 2018-03-23 2021-02-16 Amazon Technologies, Inc. Robotic device control optimization using spring lattice deformation model
US11169536B2 (en) 2018-04-09 2021-11-09 SafeAI, Inc. Analysis of scenarios for controlling vehicle operations
US11561541B2 (en) 2018-04-09 2023-01-24 SafeAI, Inc. Dynamically controlling sensor behavior
US11467590B2 (en) * 2018-04-09 2022-10-11 SafeAI, Inc. Techniques for considering uncertainty in use of artificial intelligence models
US11625036B2 (en) 2018-04-09 2023-04-11 SafeAl, Inc. User interface for presenting decisions
WO2020021307A1 (en) * 2018-07-25 2020-01-30 Dematic Corp. Robotic picking training technique
US20200094401A1 (en) * 2018-09-21 2020-03-26 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for automatic learning of product manipulation
US10810687B2 (en) * 2018-10-10 2020-10-20 Advanced Intelligent Systems Inc. Systems and methods for automated article transportation and management thereof
US10399778B1 (en) * 2018-10-25 2019-09-03 Grey Orange Pte. Ltd. Identification and planning system and method for fulfillment of orders
CN109333536A (zh) * 2018-10-26 2019-02-15 北京因时机器人科技有限公司 一种机器人及其物体抓取方法和装置
AT521997B1 (de) * 2018-11-21 2021-11-15 Tgw Logistics Group Gmbh Optimierungsverfahren zur Verbesserung der Zuverlässigkeit einer Warenkommissionierung mit einem Roboter
USD946068S1 (en) 2018-11-21 2022-03-15 Thk Co., Ltd. Robot arm apparatus
JP6738112B2 (ja) * 2019-01-14 2020-08-12 株式会社Ｍｕｊｉｎ ロボットシステムの制御装置及び制御方法
US11046518B2 (en) 2019-01-14 2021-06-29 Mujin, Inc. Controller and control method for robot system
CA3123057A1 (en) * 2019-01-31 2020-08-06 RightHand Robotics, Inc. Gripping device modalities
WO2020172579A1 (en) 2019-02-22 2020-08-27 Dexterity, Inc. Robotic handling of soft products in non-rigid packaging
CN113840694A (zh) * 2019-03-11 2021-12-24 右手机器人股份有限公司 拾取操作的物品扰动
JP7175808B2 (ja) * 2019-03-18 2022-11-21 株式会社東芝 ハンドリングシステムおよびロボット管理システム
WO2020219480A1 (en) 2019-04-25 2020-10-29 Berkshire Grey, Inc. Systems and methods for maintaining vacuum hose life in hose routing systems in programmable motion systems
CA3145402A1 (en) * 2019-06-24 2020-12-30 Berkshire Grey, Inc. Shipping tray for use in a packaging fulfillment system
DE102019117117A1 (de) * 2019-06-25 2020-12-31 Fresenius Medical Care Deutschland Gmbh Verfahren zum automatisierten Prüfen eines Medizingeräts sowie automatisiertes Testsystem für ein Medizingerät
US11724880B2 (en) 2019-07-29 2023-08-15 Nimble Robotics, Inc. Storage systems and methods for robotic picking
US11738447B2 (en) 2019-07-29 2023-08-29 Nimble Robotics, Inc. Storage systems and methods for robotic picking
JP6742040B1 (ja) * 2019-08-28 2020-08-19 株式会社ＤａｉｌｙＣｏｌｏｒ ロボット制御装置
GB2600843B (en) * 2019-08-28 2022-11-09 Daily Color Inc Robot control device
JP6792898B1 (ja) * 2020-07-21 2020-12-02 株式会社ＤａｉｌｙＣｏｌｏｒ ロボット制御装置
US11772262B2 (en) * 2019-10-25 2023-10-03 Dexterity, Inc. Detecting slippage from robotic grasp
CN111091290B (zh) * 2019-12-17 2020-07-28 广东工业大学 一种基于迁移学习的手机装配工艺知识框架模型构建方法
US11331799B1 (en) * 2019-12-31 2022-05-17 X Development Llc Determining final grasp pose of robot end effector after traversing to pre-grasp pose
CN111178299B (zh) * 2019-12-31 2023-04-07 深圳市商汤科技有限公司 图像处理方法、装置、电子设备和存储介质
US11951636B1 (en) * 2020-01-28 2024-04-09 Embodied Intelligence Inc. Methods of collecting data through test interactions
CA3170703A1 (en) 2020-02-06 2021-08-12 Berkshire Grey Operating Company, Inc. Systems and methods for camera calibration with a fiducial of unknown position on an articulated arm of a programmable motion device
US11511419B2 (en) * 2020-05-01 2022-11-29 Intrinsic Innovation Llc Task planning for measurement variances
CN113649993B (zh) * 2020-05-12 2022-10-14 深圳市海柔创新科技有限公司 物品取出装置、搬运机器人及物品取出方法
US11559885B2 (en) * 2020-07-14 2023-01-24 Intrinsic Innovation Llc Method and system for grasping an object
WO2022020176A1 (en) 2020-07-22 2022-01-27 Berkshire Grey, Inc. Systems and methods for object processing using a vacuum gripper that provides object retention by evacuation
CA3189565A1 (en) 2020-07-22 2022-01-27 Berkshire Grey Operating Company, Inc. Systems and methods for object processing using a passively collapsing vacuum gripper
US10978205B1 (en) * 2020-09-21 2021-04-13 James E. Beecham Robots, social robot systems, focusing software development for social robot systems, testing and uses thereof
SE2030325A1 (en) * 2020-10-28 2021-12-21 Zenrobotics Oy Waste sorting robot and method for detecting faults
US20220135329A1 (en) * 2020-10-29 2022-05-05 Berkshire Grey, Inc. Systems and methods for automated packaging and processing for shipping with object pose analysis
EP4237356A1 (en) * 2020-10-30 2023-09-06 Berkshire Grey Operating Company, Inc. Systems and methods for sku induction, decanting and automated- eligibility estimation
JP2022090523A (ja) * 2020-12-07 2022-06-17 東急建設株式会社 ロボットハンド、ロボットアーム及び制御システム
US11932129B2 (en) 2020-12-21 2024-03-19 Nimble Robotics, Inc. Mobile robot having pneumatic charging system
US11717963B2 (en) * 2021-02-18 2023-08-08 Sanctuary Cognitive Systems Corporation Systems, devices, and methods for grasping by multi-purpose robots
JP7323869B2 (ja) * 2021-02-24 2023-08-09 株式会社ウエーブ 面ファスナーテープの貼付方法および貼付装置
CA203911S (en) * 2021-06-03 2023-05-31 Macdonald Dettwiler & Associates Inc Robotic end effector and end of arm tool
CA203910S (en) * 2021-06-03 2023-05-30 Macdonald Dettwiler & Associates Inc Robotic end effector and end of arm tool
NO20210970A1 (en) * 2021-08-09 2023-02-10 Pickr As System for retrieving at least one object from a storage system and filling at least one container
DE112021008069T5 (de) * 2021-09-15 2024-05-23 Yamaha Hatsudoki Kabushiki Kaisha Bildverarbeitungsvorrichtung, Komponentengreifsystem, Bildverarbeitungsverfahren und Komponentengreifverfahren

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040195318A1 (en) * 2003-04-07 2004-10-07 Kia Silverbrook Automatic packaging system
US20070187183A1 (en) * 2000-07-12 2007-08-16 Michael Saigh System, method and process for computer controlled delivery of classified goods and services through an amalgamated drive-thru complex
WO2010096850A1 (de) * 2009-02-26 2010-09-02 Ih Tech Sondermaschinenbau U. Instandhaltung Gmbh Verfahren und vorrichtung zum robotergesteuerten greifen und bewegen von objekten
CN101917956A (zh) * 2008-08-29 2010-12-15 Pcas病患护理自动化服务公司 用于分配药物的自动设备
US20130151007A1 (en) * 2010-06-24 2013-06-13 Zenrobotics Oy Method for the selection of physical objects in a robot system
US20150073589A1 (en) * 2013-09-09 2015-03-12 Dematic Corp. Autonomous mobile picking
US20150332213A1 (en) * 2013-07-25 2015-11-19 IAM Robotics, LLC Autonomous mobile bin storage and retrieval system
WO2016100235A1 (en) * 2014-12-16 2016-06-23 Amazon Technologies, Inc. Robotic grasping of items in inventory system

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61206709A (ja) * 1985-03-07 1986-09-13 Motoda Electronics Co Ltd トレ−配送装置
US4704694A (en) 1985-12-16 1987-11-03 Automation Intelligence, Inc. Learned part system
US5501498A (en) 1988-08-31 1996-03-26 The Trustees Of The University Of Pennsylvania Methods and apparatus for mechanically intelligent grasping
JPH10111701A (ja) * 1996-10-05 1998-04-28 Ricoh Co Ltd 学習型自動セル装置と学習方法
JP2002239956A (ja) * 2001-02-19 2002-08-28 Honda Motor Co Ltd 多関節ロボットのティーチングデータ作成方法
JP4007204B2 (ja) * 2003-01-30 2007-11-14 松下電器産業株式会社 ロボットシステム
JP2006102881A (ja) * 2004-10-06 2006-04-20 Nagasaki Prefecture 把持ロボット装置
JP4199264B2 (ja) * 2006-05-29 2008-12-17 ファナック株式会社 ワーク取り出し装置及び方法
JP2008296330A (ja) 2007-05-31 2008-12-11 Fanuc Ltd ロボットシミュレーション装置
JP4835616B2 (ja) 2008-03-10 2011-12-14 トヨタ自動車株式会社 動作教示システム及び動作教示方法
US20090306825A1 (en) 2008-04-21 2009-12-10 Ying Li Manipulation system and method
KR20120027253A (ko) 2009-04-23 2012-03-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 물체-학습 로봇 및 방법
KR20110015765A (ko) * 2009-08-10 2011-02-17 삼성전자주식회사 로봇의 경로계획장치 및 그 방법
KR102015307B1 (ko) 2010-12-28 2019-08-28 삼성전자주식회사 로봇 및 그 제어 방법
US8380652B1 (en) 2011-05-06 2013-02-19 Google Inc. Methods and systems for autonomous robotic decision making
JP2013022705A (ja) 2011-07-25 2013-02-04 Sony Corp ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム
JP5623358B2 (ja) 2011-09-06 2014-11-12 三菱電機株式会社 ワーク取り出し装置
US9014857B2 (en) 2012-01-13 2015-04-21 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and computer-program products for generating grasp patterns for use by a robot
US9014850B2 (en) * 2012-01-13 2015-04-21 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and computer-program products for evaluating grasp patterns, and robots incorporating the same
JP5895569B2 (ja) 2012-02-08 2016-03-30 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
EP2817712B1 (en) * 2012-02-21 2020-08-05 Amazon Technologies, Inc. System and method for automatic picking of products in a materials handling facility
US9092698B2 (en) 2012-06-21 2015-07-28 Rethink Robotics, Inc. Vision-guided robots and methods of training them
EP2716591B1 (en) * 2012-10-03 2015-05-13 Montajes de Maquinaria de Precision, S.A. System for the automatic loading and unloading of trucks and containers
US9095978B2 (en) * 2012-12-07 2015-08-04 GM Global Technology Operations LLC Planning a grasp approach, position, and pre-grasp pose for a robotic grasper based on object, grasper, and environmental constraint data
JP2014141313A (ja) 2013-01-22 2014-08-07 ＪＢ−Ｃｒｅａｔｅ株式会社 商品自動ピッキングシステム
US9333649B1 (en) 2013-03-15 2016-05-10 Industrial Perception, Inc. Object pickup strategies for a robotic device
FR3020303B1 (fr) * 2014-04-25 2016-07-15 Sileane Procede et installation de prehension automatique d'un objet.
CA3157891A1 (en) * 2014-07-11 2016-01-14 Dematic Corp. Picking station with automated warehouse
US9272417B2 (en) * 2014-07-16 2016-03-01 Google Inc. Real-time determination of object metrics for trajectory planning
US9205558B1 (en) * 2014-07-16 2015-12-08 Google Inc. Multiple suction cup control
US9802309B2 (en) 2014-07-24 2017-10-31 X Development Llc Methods and systems for generating instructions for a robotic system to carry out a task
JP6660102B2 (ja) 2014-08-27 2020-03-04 キヤノン株式会社 ロボット教示装置およびその制御方法、ロボットシステム、プログラム
US9465390B2 (en) * 2014-11-11 2016-10-11 Google Inc. Position-controlled robotic fleet with visual handshakes
DE102016009030B4 (de) 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
US10023393B2 (en) 2015-09-29 2018-07-17 Amazon Technologies, Inc. Robotic tossing of items in inventory system
US9821458B1 (en) * 2016-05-10 2017-11-21 X Development Llc Trajectory planning with droppable objects

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070187183A1 (en) * 2000-07-12 2007-08-16 Michael Saigh System, method and process for computer controlled delivery of classified goods and services through an amalgamated drive-thru complex
US20040195318A1 (en) * 2003-04-07 2004-10-07 Kia Silverbrook Automatic packaging system
CN101917956A (zh) * 2008-08-29 2010-12-15 Pcas病患护理自动化服务公司 用于分配药物的自动设备
WO2010096850A1 (de) * 2009-02-26 2010-09-02 Ih Tech Sondermaschinenbau U. Instandhaltung Gmbh Verfahren und vorrichtung zum robotergesteuerten greifen und bewegen von objekten
US20130151007A1 (en) * 2010-06-24 2013-06-13 Zenrobotics Oy Method for the selection of physical objects in a robot system
US20150332213A1 (en) * 2013-07-25 2015-11-19 IAM Robotics, LLC Autonomous mobile bin storage and retrieval system
US20150073589A1 (en) * 2013-09-09 2015-03-12 Dematic Corp. Autonomous mobile picking
WO2016100235A1 (en) * 2014-12-16 2016-06-23 Amazon Technologies, Inc. Robotic grasping of items in inventory system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114845842A (zh) * 2019-10-24 2022-08-02 辉达公司 触觉抓取策略的强化学习
CN111591650A (zh) * 2020-04-30 2020-08-28 南京理工大学 一种智能抱夹式agv货物搬运辅助装置和方法
CN115436081A (zh) * 2022-08-23 2022-12-06 中国人民解放军63653部队 一种散落沾染物的模拟装置及目标捡拾性能测试方法
CN115436081B (zh) * 2022-08-23 2023-10-10 中国人民解放军63653部队 一种目标捡拾性能测试方法

Also Published As

Publication number Publication date
JP7069110B2 (ja) 2022-05-17
EP3485370A1 (en) 2019-05-22
CA3029834A1 (en) 2018-01-25
JP2019531908A (ja) 2019-11-07
JP7145843B2 (ja) 2022-10-03
WO2018017612A1 (en) 2018-01-25
CA3029968A1 (en) 2018-01-25
US11173602B2 (en) 2021-11-16
EP3485369A1 (en) 2019-05-22
US20190361672A1 (en) 2019-11-28
US20190358810A1 (en) 2019-11-28
CN109997108A (zh) 2019-07-09
EP3485370A4 (en) 2020-03-25
CA3029834C (en) 2024-04-16
WO2018017616A1 (en) 2018-01-25
US11338436B2 (en) 2022-05-24
JP2019531907A (ja) 2019-11-07
EP3485369A4 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
CN109983433A (zh) 评价机器人抓取
US11407589B2 (en) Systems and methods for learning to extrapolate optimal object routing and handling parameters
US20200254622A1 (en) Machine learning device, robot system, and machine learning method for learning workpiece picking operation
CN108025438B (zh) 联网的机器人操纵器
DE102016015873B3 (de) Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
CN107866809B (zh) 学习最优物品把持路径的机器学习装置以及机器学习方法
DE102020104468A1 (de) Robotersystem mit objektidentifizierungs- und handhabungsmechanismus und verfahren zu seinem betrieb
US10919151B1 (en) Robotic device control optimization using spring lattice deformation model
CN109747897A (zh) 基于用户订单的物品装箱方法、装置及控制系统
EP3925910A1 (en) Handling system and control method
CN114291482B (zh) 在物料搬运环境中的基于LiDAR的监测
EP4011509A2 (en) Method, apparatus, and computer program product for automatically performing sorting operations
Poss et al. Perceptionbased intelligent materialhandling in industrial logistics environments
CA3029968C (en) Training robotic manipulators
CN113811426A (zh) 物品特征适配技术
Poss Applications of Object Detection in Industrial Contexts Based on Logistics Robots
Rymarczyk et al. The use of artificial intelligence in automated in-house logistics centres
US20240010430A1 (en) Item processing systems and methods employing parameter exploration
Dolezel et al. Suitable ASP U-Net training algorithms for grasping point detection of nontrivial objects
CN117415807A (zh) 一种多用途移动机器人的取货方法及其系统
CN117709852A (zh) 仓库管理方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190705