CN110370279B - 具有物体识别和处理机制的机器人系统及其操作方法 - Google Patents

具有物体识别和处理机制的机器人系统及其操作方法 Download PDF

Info

Publication number
CN110370279B
CN110370279B CN201910669156.1A CN201910669156A CN110370279B CN 110370279 B CN110370279 B CN 110370279B CN 201910669156 A CN201910669156 A CN 201910669156A CN 110370279 B CN110370279 B CN 110370279B
Authority
CN
China
Prior art keywords
source
entry
detectable
target
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910669156.1A
Other languages
English (en)
Other versions
CN110370279A (zh
Inventor
J·J·M·罗德古斯
叶旭涛
余锦泽
出杏光鲁仙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mujin Technology
Original Assignee
Mujin Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mujin Technology filed Critical Mujin Technology
Priority to CN202310473435.7A priority Critical patent/CN116494233A/zh
Publication of CN110370279A publication Critical patent/CN110370279A/zh
Application granted granted Critical
Publication of CN110370279B publication Critical patent/CN110370279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02Storage devices
    • B65G1/04Storage devices mechanical
    • B65G1/137Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • B65G47/91Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/915Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers provided with drive systems with rotary movements only
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • B65G47/91Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/917Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers control arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02Articles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G57/00Stacking of articles
    • B65G57/02Stacking of articles by adding to the top of the stack
    • B65G57/03Stacking of articles by adding to the top of the stack from above
    • B65G57/04Stacking of articles by adding to the top of the stack from above by suction or magnetic devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G59/00De-stacking of articles
    • B65G59/02De-stacking from the top of the stack
    • B65G59/04De-stacking from the top of the stack by suction or magnetic devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Automation & Control Theory (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明涉及具有物体识别和处理机制的机器人系统及其操作方法。机器人系统包括:控制单元,配置为接收包括物体条目的物体集合,物体条目与物体源的源物体对应,每个物体条目由物体条目特性描述;接收表示物体源的可检测源物体的可检测物体特性的传感器信息;基于可检测物体特性与物体条目特性之间的特性相关性计算可检测源物体与物体条目之间的物体匹配概率;基于每个可检测源物体的与物体条目的特定实例对应的物体匹配概率之间的比较为每个可检测源物体生成物体身份近似;从可检测源物体中选择目标物体;基于与物体身份近似对应的物体条目的物体条目特性生成物体处理策略以从物体源传送目标物体;更新物体集合以指示目标物体已从物体源中移除。

Description

具有物体识别和处理机制的机器人系统及其操作方法
技术领域
本技术一般而言针对机器人系统,并且更具体而言针对用于识别和处理物体的系统、过程和技术。
背景技术
现代机器人和自动化正在提供在工业背景(诸如制造设施、接收和配送中心以及仓库)中支持的功能的不断增加的层级。现有技术中的研究和发展可以采取无数不同的方向。
当用户随着机器人系统的成长而变得越来越有能力时,新旧范例开始利用这一新技术空间。存在利用这些新能力(诸如机器人系统自主处理各种物体的能力)来提高或增强机器人系统的自动化的许多技术方案。但是,没有向用户提供依赖于机器人系统以一致的方式准确且高效地从物体的集合中识别物体的选项。
因此,对具有用于操作物体处理单元的物体处理机制的机器人系统的需求仍然存在。鉴于不断增加的商业竞争压力,以及不断增长的消费者期望和市场中有意义的产品差异化的逐渐减少的机会,找到这些问题的答案越来越重要。此外,降低成本、提高效率和性能以及满足竞争压力的需求对寻找这些问题的答案的关键必要性增加了甚至更大的紧迫性。
已经长期寻求对这些问题的解决方案,但是先前的发展尚未教导或建议任何解决方案,并且因此,本领域技术人员长期以来仍未得到这些问题的解决方案。
发明内容
本发明的实施例提供了一种机器人系统,包括:控制单元,被配置为:接收包括一个或多个物体条目的物体集合,其中:物体条目与物体源的源物体对应,物体条目中的每一个由一个或多个物体条目特性描述;接收表示物体源的可检测源物体的一个或多个可检测物体特性的传感器信息;基于可检测源物体的可检测物体特性与物体条目的物体条目特性之间的特性相关性,计算可检测源物体与物体条目之间的物体匹配概率;基于可检测源物体中的每一个的与物体条目的特定实例对应的物体匹配概率之间的比较,为可检测源物体中的每一个生成物体身份近似;从可检测源物体中选择目标物体;基于与物体身份近似对应的物体条目的物体条目特性生成物体处理策略,用于由物体处理单元实施以从物体源传送目标物体;更新物体集合以指示与物体条目的具体实例对应的目标物体已从物体源中移除;以及存储单元204,耦合到控制单元,被配置为存储物体集合。
本发明的实施例提供了一种机器人系统的操作方法,包括:接收包括一个或多个物体条目的物体集合,其中:物体条目与物体源的源物体对应,物体条目中的每一个由一个或多个物体条目特性描述;接收表示物体源的可检测源物体的一个或多个可检测物体特性的传感器信息;基于可检测源物体的可检测物体特性与物体条目的物体条目特性之间的特性相关性,计算可检测源物体与物体条目之间的物体匹配概率;基于可检测源物体中的每一个的与物体条目的特定实例对应的物体匹配概率之间的比较,为可检测源物体中的每一个生成物体身份近似;从可检测源物体中选择目标物体;基于与物体身份近似对应的物体条目的物体条目特性生成物体处理策略,用于由物体处理单元实施以从物体源传送目标物体;以及更新物体集合,以指示与物体条目的具体实例对应的目标物体已从物体源中移除。
本发明的实施例提供了一种包括可由用于机器人系统的控制电路执行的指令的非瞬态计算机可读介质,所述指令包括:接收物体条目的物体集合,其中:物体条目与物体源的源物体对应,每个物体条目由一个或多个物体条目特性描述;接收表示物体源的可检测源物体的一个或多个可检测物体特性的传感器信息;基于可检测源物体的可检测物体特性与物体条目的物体条目特性之间的特性相关性,计算可检测源物体与物体条目之间的物体匹配概率;基于与物体条目的特定实例对应的每个可检测源物体的物体匹配概率之间的比较,为每个可检测源物体生成物体身份近似;从可检测源物体中选择目标物体;基于与物体身份近似对应的物体条目的物体条目特性生成物体处理策略,用于由物体处理单元实施以从物体源传送目标物体;以及更新物体集合以指示与物体条目的具体实例对应的目标物体已从物体源中移除。
除了上述那些之外或代替上述那些,本发明的某些实施例具有其它步骤或元件。参考附图根据阅读以下详细描述,这些步骤或元件对于本领域技术人员将变得清楚。
附图说明
图1是具有物体处理机制的机器人系统可以在其中操作的示例环境。
图2是图示根据本发明的一个或多个实施例的机器人系统的框图。
图3是根据本发明的一个或多个实施例的在识别物体源的源物体时的机器人系统的示例。
图4是图示根据本发明的一个或多个实施例的在执行物体处理任务时的机器人系统的示例的顶视图。
图5是根据本发明的一个或多个实施例的操作图1的机器人系统的方法的流程图。
图6是本发明的实施例中的机器人系统的操作的方法的流程图。
具体实施方式
在以下描述中,阐述了许多具体细节,以提供对当前公开的技术的透彻理解。在其它实施例中,可以在没有这些具体细节的情况下实践这里介绍的技术。在其它情况下,没有详细描述诸如具体函数或例程之类的公知特征,以避免不必要地模糊本公开。本说明书中对“实施例”、“一个实施例”等的引用意味着所描述的特定特征、结构、材料或特点包括在本公开的至少一个实施例中。因此,本说明书中这些短语的出现不一定都是指同一个实施例。另一方面,这些引用也不一定是相互排斥的。此外,特定特征、结构、材料或特点可以在一个或多个实施例中以任何合适的方式组合。
要理解的是,图中所示的各种实施例仅仅是说明性表示。另外,示出系统的实施例的附图是半图解的,并且未按比例绘制,并且特别地,其中一些维度是为了呈现的清楚并且在绘图中被夸大示出。类似地,虽然为了便于描述,附图中的视图一般示出相似的朝向,但是图中的这种描绘在大多数情况下是任意的。一般而言,本发明可以以任何朝向操作。
描述结构或过程的若干细节是众所周知的并且常常与机器人系统和子系统相关联,但是会不必要地模糊所公开的技术的一些重要方面,为了清楚起见,在以下描述中未阐述这些细节。而且,虽然以下公开内容阐述了本技术的不同方面的若干实施例,但是若干其它实施例可以具有与本节中描述的那些不同的配置或不同的部件。因而,所公开的技术可以具有其它实施例,这些其它实施例具有附加元素或没有下面描述的若干元素。
下面描述的本公开的许多实施例或方面可以采取计算机可执行的或控制器可执行的指令的形式,包括由可编程的计算机或控制器执行的例程。相关领域的技术人员将认识到的是,所公开的技术可以在除下面示出和描述的计算机或控制器系统之外的计算机或控制器系统上实践。本文描述的技术可以体现在专用计算机或数据处理器中,所述专用计算机或数据处理器被具体地编程、配置或构造为执行下面描述的计算机可执行指令中的一个或多个。因而,一般本文使用的术语“计算机”和“控制器”指的是任何数据处理器,并且可以包括互联网装置和手持设备,包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的或可编程的消费性电子产品、网络计算机、迷你计算机等。由这些计算机和控制器处理的信息可以以任何合适的显示介质(包括液晶显示器(LCD))呈现。用于执行计算机可执行的或控制器可执行的任务的指令可以存储在任何合适的计算机可读介质(包括硬件、固件或硬件和固件的组合)中或上。指令可以包含在任何合适的存储器设备中,包括例如闪存驱动器、USB设备和/或其它合适的介质。
术语“耦合”和“连接”及其派生词可以在本文中用于描述部件之间的结构关系。应当理解的是,这些术语并不旨在作为彼此的同义词。更确切地说,在特定实施例中,“连接”可以用于指示两个或更多个元件彼此直接接触。除非在上下文中另外使其显而易见,否则术语“耦合”可以用于指示两个或更多个元件彼此或者直接或者间接地(在它们之间具有其他中间元件)接触,或者两个或更多个元件彼此共同操作或交互(例如,如在因果关系中,诸如用于信号传输/接收或用于函数调用),或两者兼有。
以下的实施例以足够的细节进行描述,以使本领域技术人员能够制造和使用本发明。应当理解的是,基于本公开,其它实施例将是明显的,并且可以在不背离本发明的实施例的范围的情况下进行系统、过程或机械改变。
现在参考图1,其中示出了具有物体处理机制的机器人系统100可以在其中操作的示例环境。机器人系统100的操作环境可以包括被配置为执行一个或多个任务的一个或多个结构,诸如机器人或机器人设备。可以通过各种结构来实践或实施物体处理机制的各方面。
在图1中所示的示例中,机器人系统100可以包括仓库、配送中心或运送枢纽中的卸载单元102、传送单元104、运输单元106、装载单元108或其组合。机器人系统100中的单元中的每一个可以被配置为执行一个或多个任务。这些任务可以按顺序组合以执行实现目标的操作,例如,诸如从车辆(诸如卡车、拖车、货车或火车车辆)卸载物体以存储在仓库中,或者从存储地点卸载物体并将它们装载到车辆上以运送。在另一个示例中,任务可以包括将物体从一个地点(诸如集装箱、箱子、笼子、篮子、架子、平台、托盘或传送带)移动到另一个地点。单元中的每一个可以被配置为执行一系列动作(诸如操作其中的一个或多个部件)以执行任务。
在一些实施例中,任务可以包括与目标物体112的交互,诸如物体的操纵、移动、重定向或其组合。目标物体112是将由机器人系统100处理的物体。更具体而言,目标物体112可以是许多物体之中被机器人系统100作为操作或任务的目标的具体物体。例如,目标物体112可以是机器人系统100已经选择或正在被处理、操纵、移动、重定向或其组合的物体。作为示例,目标物体112可以包括盒子、箱子、管子、包裹、束、各类单独物品或者可以由机器人系统100处理的任何其它物体。
作为示例,任务可以包括将目标物体112从物体源114传送到任务地点116。物体源114是用于存储物体的容器。物体源114可以包括许多配置和形式。例如,物体源114可以是具有或不具有壁的平台,诸如托盘、架子或传送带,物体可以放置或堆叠在该平台上。作为另一示例,物体源114可以是具有壁或盖子的部分或完全封住的容器,诸如箱子、笼子或篮子,物体可以放置在该容器中。在一些实施例中,部分或完全封住的物体源114的壁可以是透明的,或者可以包括各种尺寸的开口或间隙,使得包含在其中的物体的部分可以通过壁可见或部分可见。
图1图示了可以由机器人系统100的各个单元在处理目标物体112时执行的可能功能和操作的示例,并且要理解的是,环境和条件可以与下文描述的那些不同。例如,卸载单元102可以是车辆卸载机器人,其被配置为将目标物体112从载体(诸如卡车)中的地点传送到传送带上的地点。而且,传送单元104(诸如码垛机器人)可以被配置为将目标物体112从传送带上的地点传送到运输单元106上的地点,诸如用于将目标物体112装载到运输单元106上的托盘上。在另一个示例中,传送单元104可以是物品拣选机器人,其被配置为将目标物体112从一个集装箱传送到另一个集装箱。在完成操作时,运输单元106可以将目标物体112从与传送单元104相关联的区域传送到与装载单元108相关联的区域,并且装载单元108可以传送目标物体112,诸如通过将承载目标物体112的托盘从传送单元104移动到存储地点(诸如架子上的地点)。下面描述了关于任务和相关联的动作的细节。
出于说明的目的,在运送中心的上下文中描述了机器人系统100;但是,要理解的是,机器人系统100可以被配置为在其它环境中或出于其它目的执行任务,诸如为了制造、组装、包装、医疗保健或其它类型的自动化。还要理解的是,机器人系统100可以包括图1中未示出的其它单元,诸如操纵器、服务机器人、模块化机器人。例如,在一些实施例中,机器人系统100可以包括用于将物体从笼子、推车或托盘传送到传送机或其它托盘上的卸垛单元、用于将物体从一个集装箱传送到另一个集装箱的集装箱切换单元、用于包裹物体的包装单元、用于根据物体的一个或多个特点对物体进行分组的分类单元、用于根据物体的一个或多个特点不同地操纵物体(诸如分类、分组和/或传送)的物品拣选单元,或其组合。
现在参考图2,其中示出了图示根据本发明的一个或多个实施例的机器人系统100的框图。在一些实施例中,例如,机器人系统100可包括电子设备、电气设备或其组合,诸如控制单元202、存储单元204、通信单元206、系统接口208、一个或多个致动设备212、一个或多个运输马达214、一个或多个传感器单元216或其组合,它们彼此耦合,与上面图1中描述的单元或机器人中的一个或多个集成或耦合,或其组合。
控制单元202可以以多种不同方式实现。例如,控制单元202可以是处理器、专用集成电路(ASIC)、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)、或其组合。控制单元202可以执行软件210以提供机器人系统100的智能。
控制单元202可以包括控制接口240。控制接口240可以用于控制单元202与机器人系统100中的其它功能单元之间的通信。控制接口240还可以用于机器人系统100外部的通信。控制接口240可以从其它功能单元或从外部源接收信息,或者可以将信息发送到其它功能单元或外部目的地。外部源和外部目的地指的是机器人系统100外部的源和目的地。
控制接口240可以以不同的方式实现,并且可以包括不同的实现,这取决于哪些功能单元或外部单元与控制接口240接合。例如,控制接口240可以用压力传感器、惯性传感器、微机电系统(MEMS)、光学电路系统、波导、无线电路系统、有线电路系统、应用编程接口或其组合来实现。
存储单元204可以存储软件210、主数据246或其组合。出于说明的目的,存储单元204被示为单个元件,但要理解的是,存储单元204可以是存储元件的分布。同样出于说明的目的,机器人系统100被示为具有作为单层次存储系统的存储单元204,但是要理解的是,机器人系统100可以具有以不同配置的存储单元204。例如,存储单元204可以用不同的存储技术形成,从而形成包括不同级别的高速缓存、主存储器、旋转介质或离线存储装置的存储器层级系统。
存储单元204可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合。例如,存储单元204可以是非易失性存储装置,诸如非易失性随机存取存储器(NVRAM)、闪存、盘存储装置,或易失性存储装置,诸如静态随机存取存储器(SRAM)。作为另一个示例,存储单元204可以是包括非易失性存储器的非瞬态计算机介质,诸如硬盘驱动器、NVRAM、固态存储设备(SSD)、紧凑盘(CD)、数字视频盘(DVD)或通用串行总线(USB)闪存设备。软件210可以存储在非瞬态计算机可读介质上,以由控制单元202执行。
存储单元204可以包括控制接口240。控制接口240可以用于存储单元204与机器人系统100中的其它功能单元之间的通信。控制接口240还可以用于机器人系统100外部的通信。控制接口240可以从其它功能单元或从外部源接收信息,或者可以将信息发送到其它功能单元或外部目的地。外部源和外部目的地指的是机器人系统100外部的源和目的地。
控制接口240可以包括不同的实现,这取决于哪些功能单元或外部单元与存储单元204接合。控制接口240可以用类似于实现控制接口240的技术来实现。
在一个实施例中,存储单元204可以用于进一步存储和提供对处理结果、预定数据、阈值或其组合的访问。例如,存储单元204可以存储包括一个或多个目标物体104(例如,盒子、盒子类型、箱子、箱子类型、产品或其组合)的描述的主数据246。在一个实施例中,主数据246可以包括预期要由机器人系统100操纵的一个或多个目标物体104的维度、形状(例如,用于潜在姿势的模板或用于认出处于不同姿势的一个或多个目标物体104的计算机生成的模型)、颜色方案、图像、识别信息(例如,条形码、快速响应(QR)码、标志)、预期地点、预期重量或其组合。
在一个实施例中,主数据246还可以包括关于机器人系统100可遇到或处理的一个或多个物体的与操纵相关的信息。例如,物体的与操纵相关的信息可以包括物体中的每一个上的质心位置、预期的传感器测量值(例如,与一个或多个动作、调动或其组合对应的力、扭矩、压力、或接触测量值)。
通信单元206可以实现去往和来自机器人系统100的外部通信。例如,通信单元206可以使机器人系统100能够通过通信路径218(诸如有线或无线网络)与其它机器人系统或单元、外部设备(诸如外部计算机)、外部数据库、外部机器、外部外围设备或其组合通信。
通信路径218可以跨越并表示各种网络和网络拓扑。例如,通信路径218可以包括无线通信、有线通信、光通信、超声通信或其组合。例如,卫星通信、蜂窝通信、蓝牙、红外数据协会标准(lrDA)、无线保真(WiFi)和微波接入全球互通(WiMAX)是可以包括在通信路径218中的无线通信的示例。线缆、以太网、数字用户线(DSL)、光纤线路、光纤到户(FTTH)和普通老式电话服务(POTS)是可以包括在通信路径218中的有线通信的示例。另外,通信路径218可以遍历多个网络拓扑和距离。例如,通信路径218可以包括直接连接、个域网(PAN)、局域网(LAN)、城域网(MAN)、广域网(WAN)或其组合。机器人系统100可以通过通信路径218在各个单元之间发送信息。例如,可以在控制单元202、存储单元204、通信单元206、系统接口208、致动设备212、运输马达214、传感器单元216或其组合之间发送信息。
通信单元206还可以用作通信枢纽,从而允许机器人系统100用作通信路径218的一部分,并且不限于成为通信路径218的端点或终端单元。通信单元206可以包括用于与通信路径218交互的有源和无源部件,诸如微电子器件或天线。
通信单元206可以包括通信接口248。通信接口248可以用于通信单元206与机器人系统100中的其它功能单元之间的通信。通信接口248可以从其它功能单元或从外部源接收信息,或者可以将信息发送到其它功能单元或外部目的地。外部源和外部目的地指的是机器人系统100外部的源和目的地。
通信接口248可以包括不同的实现,这取决于哪些功能单元与通信单元206接合。通信接口248可以用类似于控制接口240的实现的技术来实现。
用户接口216可以包括输入设备和输出设备。用户接口216的输入设备的示例可以包括小键盘、触摸板、软键、键盘、麦克风、用于接收远程信号的传感器、用于接收运动命令的相机,或其任何组合,以提供数据和通信输入。输出设备的示例可以包括显示接口250。显示接口250可以是任何图形用户界面,诸如显示器、投影仪、视频屏幕或其任何组合。
控制单元202可以操作用户接口216以呈现或接收由机器人系统100生成的信息。控制单元202可以操作用户接口216以呈现由机器人系统100生成的信息。控制单元202还可以执行用于机器人系统100的其它功能的软件210。控制单元202还可以执行软件210,以经由通信单元206与通信路径218交互。
机器人系统100可以包括在关节处连接以进行运动(诸如旋转位移、平移位移或其组合)的物理或结构构件,诸如机器人操纵臂。结构构件和关节可以形成动力链,该动力链被配置为取决于机器人系统100的用途或操作来操纵端部执行器(诸如抓取器)以执行一个或多个任务,诸如抓取、自旋或焊接。机器人系统100可以包括被配置为围绕对应关节或在对应关节处驱动、操纵、移位、重定向(或其组合)结构构件的致动设备212,诸如马达、致动器、线、人造肌肉、电活性聚合物或其组合。在一些实施例中,机器人系统100可以包括被配置为成将对应的单元从一个地方运输到另一个地方的运输马达214。
机器人系统100可以包括传感器单元216,传感器单元216被配置为获得用于执行任务和操作的信息,诸如用于操纵结构构件或用于运输机器人单元。传感器单元216可以包括被配置为检测或测量机器人系统100的一个或多个物理特性(诸如状态、条件、一个或多个结构构件或关节的地点、关于物体或周围环境的信息或其组合)的设备。作为示例,传感器单元216可以包括成像设备222、系统传感器224、接触传感器226或其组合。
在一些实施例中,传感器单元216可以包括一个或多个成像设备222。成像设备222是被配置为检测周围环境的设备。例如,成像设备222可以包括二维相机、三维相机,两者都可以包括视觉和红外能力、激光雷达、雷达、其它距离测量设备和其它成像设备的组合。成像设备222可以生成检测到的环境的表示(诸如数字图像或点云),用于实现用于自动检查、机器人引导或其它机器人应用的机器/计算机视觉。如下面进一步详细描述的,机器人系统100可以经由控制单元202处理数字图像、点云或其组合,以识别图1的目标物体112、目标物体112的姿势或其组合。为了操纵目标物体112,机器人系统100可以捕获和分析指定区域(诸如卡车内部、集装箱内部或传送带上物体的拾取地点)的图像,以识别目标物体112和其图1的物体源114。类似地,机器人系统100可以捕获和分析另一个指定区域(诸如用于将物体放置在传送带上的下落地点、用于将物体放置在集装箱内的地点,或者托盘上的出于堆叠目的的地点)的图像,以识别图1的任务地点116。
在一些实施例中,传感器单元216可以包括系统传感器224。系统传感器224是监视机器人单元的设备。例如,系统传感器224可以包括检测和监视结构构件(诸如机器人臂和端部执行器、机器人单元的对应关节或其组合)的位置的单元或设备。作为另一个示例,机器人系统100可以使用系统传感器224来跟踪在执行任务期间结构构件和关节的地点、朝向或其组合。系统传感器224的示例可以包括加速度计、陀螺仪或位置编码器。
在一些实施例中,传感器单元216可以包括被配置为测量与多个物理结构或表面之间的直接接触相关联的特点的接触传感器226,诸如压力传感器、力传感器、应变仪、压阻/压电传感器、电容传感器、弹阻传感器、扭矩传感器、线性力传感器或其它触觉传感器。例如,接触传感器226可以测量与目标物体112上的端部执行器的抓取对应的特点,或者测量目标物体112的重量。因而,接触传感器226可以输出接触测度,该接触测度表示与抓取器和目标物体112之间的接触或附接的程度相对应的量化测度,诸如测得的力或扭矩。例如,接触测度可以包括与由端部执行器施加到目标物体112的力相关联的一个或多个力或扭矩读数。关于接触测度的细节描述如下。
现在参考图3,其中示出了根据本发明的一个或多个实施例的在确定物体源114的源物体302的身份时的机器人系统100的示例。根据如图1中描述的物体源114的配置,源物体302是包含在物体源114内或物体源114上的物体的集合。源物体302可以是各种各样的和各种类别的物品或物体,它们在许多特性(诸如形状、尺寸、颜色、组成和内容)方面彼此相似或不同。例如,如图3中所示,源物体302的范围可包括一叠均匀布置的盒子或一堆无序的各类物品,每个都以随机姿势定位。源物体302可以包括目标物体112。而且,出于说明的目的,物体源114被示为托盘,但是要理解的是,物体源114可以是如图1中所描述的用于源物体302的任何形式的容器。例如,在一个实施例中,对于没有一个或多个侧面、横向保持结构、盖子或其组合的配置,物体源114的源物体302可以堆叠在物体源114上。在另一个实施例中,对于包括侧面、横向保持结构、盖子或其组合的配置,源物体114的源物体302可以存储在源物体114内。
源物体302中的每一个可以包括在物体集合304中。物体集合304是关于物体的信息的布置。该信息的布置可以包括目标物体112的物理特点、属性和特性。在一些实施例中,物体集合304可以包括单个特性、特点或属性,或描述单个物体的特性、特点或属性的组。在另一个实施例中,物体集合304可以是共享彼此共同的一个或多个特性、特点或属性的物体的组或子组,诸如物体集合304中具有相同形状或具有相同的表面标记的源物体302的实例。照此,单个物体可以包括在物体集合304的一个或多个实例中,并且物体源302的单个实例可以与物体集合302的多个实例相关联。在另一实施例中,物体集合304可以是与物体源114的特定实例相关联的源物体302中的每一个的注册表。例如,作为源物体302的注册表的物体集合304可以包括物体条目306。物体条目306是与源物体302的特定实例对应的数据条目。物体集合304可以包括物体条目306中的一个或多个,其中物体条目306中的每一个与包含在物体源114中或物体源114上的源物体302的具体实例对应。
物体条目306中的每一个可以包括一个或多个物体条目特性308。物体条目特性308是物体条目306的描述。更具体而言,物体条目特性308可以是物体条目306的物理特点、属性和特性的描述。物体条目特性308可以是描述物体条目306和源物体302的对应实例的各种各样的特性,包括:唯一标识符310,诸如条形码或QR码;物体类别,诸如产品或物品类型;形状轮廓312,其可以包括表面轮廓和三维形状描述,诸如矩形盒子、圆柱形管或不均匀形状;物体维度314,诸如长度、宽度、高度、直径或其组合;表面设计方案316,诸如着色、标记、图像、标志和图案;物体重量318,其是重量的测度并且可以包括重量分布和质心;外部材料组成320,诸如塑料、纸板或金属;物体表面纹理;可变形特点,其可以包括物体刚度322、变形模式324、变形程度326或其组合。
物体刚度322是物体的表面刚度的描述。更具体而言,物体刚度322可以描述当压力施加到物体表面时(诸如当被挤压或撞击时)物体将变形的量。
变形模式324是当力施加到物体时物体的形状将如何改变的描述。例如,变形模式324可以描述当从静止状态抬起时源物体302之一的形状将如何改变。作为具体示例,变形模式324可以指示当源物体302从静止状态抬离表面时该物体的部分是否会下垂或弯曲。
变形程度326是当力施加到物体时物体将经历的形状扭曲的量。例如,变形程度326可以包括当源物体302之一从静止状态抬离表面并悬浮在空气中时维度改变的测度,诸如伸长的最大长度。
在一些实施例中,物体条目特性308可以被归类为特性类型。例如,物体条目特性308的特性类型可以包括成像特性和接触特性。成像特性是可以通过图2的成像设备222确定的物体条目特性308的实例。例如,成像类型特性可以包括唯一标识符310、形状轮廓312、物体维度314、表面设计方案316或其组合。接触特性是可以通过图2的接触传感器226确定的物体条目特性308的实例,诸如物体重量318、外部材料组成320、物体刚性322或其组合。
在一些实施例中,可以利用物体处理单元328来实现任务。物体处理单元328是被配置为执行命令以使物体处理任务自动化的机器。例如,物体处理单元328可以是被配置为操纵物体的机器人,诸如码垛机器人、卸垛机器人或箱子或架子拣选机器人。作为另一个示例,图1的卸载单元102、图1的传送单元104、图1的运输单元106可以是物体处理单元328的示例。一般而言,物体处理单元328可以在物体源114附近以执行任务。
物体处理单元328可以包括连接到机器人臂330的端部执行器332。机器人臂330可以包括被配置为操纵端部执行器332的结构构件、构件之间的关节或其组合。端部执行器332是物体处理单元328的接触物体、维持物体(或其组合)的部分。例如,图3图示了维持目标物体112的端部执行器332。
端部执行器332可以通过操作图2的致动设备212来操纵,该致动设备212连接到机器人臂330的结构构件、机器人臂330的关节或其组合。可以通过操作与端部执行器332的一个或多个部分相关联或附接到端部执行器332的一个或多个部分上的致动设备212中的一个或多个致动设备来操作端部执行器332抓住或释放物体。端部执行器332可以包括抓取设备334,抓取设备334是被配置为抓取和释放物体的设备,从而将物体固定、附着到端部执行器332或从端部执行器332释放物体。
在一些实施例中,抓取设备334可以是收缩抓取器或吸附抓取器,其被配置为通过吸引力维持物体或使物体附着,诸如通过在抓取设备334和物体之间形成和保持真空条件来实现。例如,抓取设备334可以包括吸盘336的集合,其被配置为接触目标物体112的表面并在吸盘336和该表面之间的空间中形成/保持真空条件。当通过机器人臂330使抓取设备334下降时,可以产生真空条件,从而将吸盘336压靠在目标物体112的表面上并推出相对表面之间气体。当机器人臂330提升抓取设备334时,吸盘336内的空间与周围环境之间的压力的差异可以使目标物体112保持附接到吸盘336。因而,抓取设备334抓取或附接在目标物体112上的程度可以基于成功产生并维持真空条件的吸盘336的数量。
在一些实施例中,抓取设备334可以是冲击式抓取器(未示出),其被配置为通过直接冲击物理地抓取目标物体112。例如,抓取设备334可以包括抓取器爪(未示出),抓取器爪被配置为基于在目标物体112上施加反向或压缩力来抓取目标物体112。可以基于抓取器爪和目标物体112的接触表面之间的产生的摩擦来抓取目标物体112。为了说明的目的,抓取设备334被示为吸盘336的集合,但是要理解的是,抓取设备334可以替代地是冲击抓取器。
物体处理单元328可以包括传感器单元216中的一个或多个。例如,成像设备222中的一个或多个、系统传感器224中的一个或多个、接触传感器226中的一个或多个或其组合可以附接到物体处理单元328或与物体处理单元328集成。在一些实施例中,成像设备222的实例可以附接到端部执行器332,以从端部执行器332的角度提供成像信息。在一些实施例中,成像设备222可以被配置为用作物体扫描仪,诸如条形码扫描仪或QR码扫描仪,其可以扫描目标物体112的唯一标识符。
在一些实施例中,物体处理单元328可以包括图2的系统传感器224,该系统传感器224附接到物体处理单元328的各种部件(诸如机器人臂330的结构构件和关节、端部执行器332或其组合)或与物体处理单元328的各种部件集成。例如,系统传感器224可以被配置为检测位置以跟踪机器人臂330、端部执行器332或其组合的地点和朝向。
在一些实施例中,物体处理单元328可以包括图2的接触传感器226,诸如力、压力、扭矩和/或其它触觉传感器,接触传感器226附接到抓取设备334或与抓取设备334集成。例如,接触传感器226可以包括触摸或触觉传感器,触摸或触觉传感器被配置为指示所感测的表面是否接触另一个表面,和/或被配置为确定接触另一个表面的表面区域的尺寸。在另一个示例中,接触传感器226可以包括压力传感器,压力传感器被配置为测量压力,诸如吸盘336内的真空条件。在另一个示例中,接触传感器226可以包括线性力传感器,线性力传感器被配置为测量由抓取设备334承受或支撑的目标物体112的重量,如虚线箭头所示。在又一个示例中,接触传感器226可以包括扭矩传感器,扭矩传感器被配置为测量抓取设备334、机器人臂330或其组合上的扭矩。
在一些实施例中,机器人系统100可以包括围绕物体源114定位的成像设备222中的一个或多个。例如,成像设备222可以定向在物体源114或包括物体源114的区域处。在一些实施例中,成像设备222可以被配置为用作物体扫描仪,诸如条形码扫描仪或QR码扫描仪,其可以扫描目标物体112的唯一标识符310。
机器人系统100可以包括、利用(或其组合)传感器单元216(包括成像设备222、系统传感器224、接触传感器226或其组合)中的一个或多个,以生成物体源114、源物体302或其组合的传感器信息340。例如,传感器信息340可以包括物体源114、源物体302或其组合的成像传感器信息342、接触传感器信息344或其组合。成像传感器信息342的示例可以包括成像数据,诸如物体源114的捕获图像或点云/深度图。接触传感器信息344的示例可以包括压力、力、扭矩测度或其组合。
一般而言,诸如当物体源114首次呈现给机器人系统100时,最初,机器人系统100不知道特定物体源114的源物体302的身份。更具体而言,机器人系统100不知道关于源物体302的哪个实例与注册物体306的具体实例对应。机器人系统100可以分析传感器信息340以从源物体302识别可检测源物体350。可检测源物体350是源物体302的实例,其位于物体源114中或物体源114上使得传感器单元216能够收集关于源物体302的信息。更具体而言,可检测源物体350是源物体302的实例,其能够被物体处理单元328的包括传感器单元216的部分接触、在传感器单元216的视野的范围内或在传感器单元216的视野中或其组合。例如,可检测源物体350可以是在外部定位或布置在物体源114上或物体源114中的源物体302的实例。如图3中所示,标记“II,IV,V和VI”的源物体302可以是可检测源物体302,因为它们是可由成像设备222感知的,而标记“VII”和“VIII”的源物体302是不可由成像设备222感知的,因为它们被源物体302的其它实例阻挡。下面将描述关于可检测源物体350的识别的细节。
机器人系统100可以分析传感器信息340以识别可检测源物体350的一个或多个可检测物体特性352。一般而言,可检测物体特性352可以是关于可检测源物体350的物理特性的信息,所述物理特性通过分析传感器信息340导出。例如,可检测物体特性352可以包括成像特性354、接触特性356或其组合。
成像特性354是可检测源物体350的从成像传感器信息342导出的特性。例如,成像特性354可以包括唯一标识符310、形状轮廓312、物体维度314、表面设计方案316、可检测源物体350在物体源114上或物体源114中的地点或相对位置、可检测源物体350的姿势或其组合。
接触特性356是可检测源物体350的从接触传感器信息344导出的特性。可检测源物体302的示例可以包括物体刚度322、外部材料组成320、物体表面纹理、物体重量318、质心或其组合。
一般而言,仅基于可检测物体特性352识别可检测源物体350会产生不确定和不准确的结果。此外,将可检测源物体350中的每一个的可检测物体特性352的有限数量的可用实例与由机器人系统100处理的所有可能物体的主列表相匹配会是时间和处理资源的低效消耗。
为此,机器人系统100可以基于物体集合304为可检测源物体350生成物体身份近似360。物体身份近似360是关于可检测源物体350可能是哪个物体条目306的近似。例如,物体身份近似360可以包括可检测源物体350最可能是的物体条目306的指示符。已经发现的是,通过将可检测源物体350中的每一个的可能身份从物体的主列表内的所有可能物体限制到仅物体集合304的物体条目306,使用物体集合304来生成物体身份近似360提高了识别可检测源物体350的效率和速度。例如,在一些实现中,机器人系统100可以基于可检测物体特性352和物体集合304(并且更具体而言物体集合304中的物体条目306的物体条目特性308)而生成物体身份近似360。作为具体示例,当可检测物体特性352中的一个或多个与物体条目特性308中的一个或多个匹配时,可检测源物体350之一的物体身份近似360可以与物体条目306之一对应。因此,已经发现的是,可以基于物体集合304的物体条目306识别可检测源物体350的机器人系统100可以通过限制每个可检测源物体350的可能身份的数量来提高操作的效率、速度和准确性。
在一些情况下,取决于可检测物体特性352的识别出的数量和物体条目特性308的数量,可检测源物体350可以潜在地包括物体身份近似360的多于一个实例,这指示与物体条目306的多个实例的匹配。在这些情况下,可检测源物体350的物体身份近似360与物体条目306之一对应的程度可以由物体匹配概率362指示。物体匹配概率362是对物体身份近似360的确定性的程度的测度。更具体而言,物体匹配概率362可以是对可检测物体特性352与物体条目特性308之间的相关性确定性的测度。例如,物体匹配概率362的较高值与物体身份近似360的较高确定性相关。
在一些实施例中,物体匹配概率362可以基于可检测源物体350与物体条目特性308之间的特性相关性364来计算。特性相关性364是可检测源物体350之一的可检测物体特性352的具体实例是否与物体条目306之一的物体条目特性308的对应实例匹配的指示符。一般而言,当可检测物体特性352与物体条目特性308的对应实例匹配时,可检测物体特性352之一的特性相关性364可以被确定为正,而当可检测物体特性352与物体条目特性308的对应实例不匹配时,可检测物体特性352之一的特性相关性364可以被确定为负。作为具体示例,当可检测源物体350的可检测物体特性352与物体条目306的物体条目特性308二者都是盒子时,特性相关性364可以指示形状轮廓312的匹配。
在一些实施例中,机器人系统100可以计算可检测源物体350的物体匹配概率362,以考虑物体条目特性308中的一个或多个的唯一性。例如,唯一标识符310是物体条目特性308的实例,其提供可以使机器人系统100能够将源物体302之一与源物体302的其它实例区分开的高程度的唯一性。相反,例如,如果物体条目306中的每一个包括盒子的形状轮廓312,那么形状轮廓312的物体条目特性308将具有低程度的唯一性。作为另一个示例,机器人系统100可以考虑物体条目特性308的组或组合的唯一性。例如,当物体条目306中的每一个包括盒子的形状轮廓312时,物体维度314、表面设计方案316或物体条目特性308的其它实例的组合可以进行组合以使物体条目306之一与物体条目306的另一个实例区分开。
在一些情况下,可检测源物体302中的每一个可以与物体条目306中一个以上的物体条目匹配,其中匹配中的每一个可以具有物体匹配概率362的不同值。物体匹配概率362的不同值由标记“II”的可检测源物体350示出,如所示的,标记“II”的可检测源物体350与物体集合304中的“物体B”的物体匹配概率362为“10%”并且与物体集合中的“物体C”的物体匹配概率362为“70%”,而标记“III”的可检测源物体350被示出,标记“III”的可检测源物体350与“物体B”的物体匹配概率362为“60%”并且与“物体C”的物体匹配概率362为“30%”。一般而言,与注册物体304的具体实例对应的物体匹配概率362将随着可检测源物体350的更多可检测物体特性352变得可用(诸如由于暴露于传感器单元216或由传感器单元216进行的测量)而增加。
机器人系统100可以从物体源114的可检测源物体350中选择目标物体112作为要由物体处理单元328执行的任务的目标。例如,机器人系统100可以根据预定顺序、规则的集合、物体轮廓的模板或其组合来选择目标物体112。作为具体示例,根据表示相对于图像设备222的已知地点的距离和位置的点云/深度图,机器人系统100可以将目标物体112选择为端部执行器332可访问的可检测源物体350的实例,诸如位于源物体302顶部的可检测源物体350的实例。在另一个具体示例中,机器人系统100可以将目标物体112选择为位于角落或边缘处并且具有暴露于物体处理单元328或可由物体处理单元328访问的两个或更多个表面的可检测源物体350的实例。在另一个具体示例中,机器人系统100可以在不干扰或移位源物体302的其它实例或最小程度地干扰或移位源物体302的其它实例的情况下根据预定图案(诸如从左到右或者相对于参考地点从最近到最远)来选择目标物体112。目标物体112可以由可检测物体特性352描述。
在一些实施例中,机器人系统100可以基于传感器信息340的附加实例来核实物体身份近似360。例如,机器人系统100可以利用接触传感器信息344来确定成像设备222不可能或不能有效确定的可检测物体特性352的实例,诸如物体重量318、物体刚度322、外部材料组成320或其组合。为了继续该示例,机器人系统100可以使用基于接触传感器信息344的可检测物体特性352,以可能地将物体匹配概率362增加到将物体身份近似360核实或肯定地识别为物体条目306的对应实例的确定性的程度。作为具体示例,目标物体114的物体重量318可以在物体处理单元328对目标物体114的提升操作期间根据接触传感器信息344来确定,该接触传感器信息344可以用于增加与具有如目标物体114的物体重量318的对应值的物体条目306中的一个或多个的物体匹配概率362。
在另一个示例中,在唯一标识符310先前已被模糊或不可扫描的情况下,机器人系统100可以利用成像设备222的另一实例来扫描唯一标识符。由于唯一标识符310特定于物体条目306的特定实例,因此扫描可检测源物体350的唯一标识符310将物体匹配概率362增加到将物体身份近似360核实为物体条目306的对应实例的确定性的程度。一般而言,传感器信息340的附加实例可以通过物体处理单元328和目标物体112之间的直接接触或在物体处理单元328和目标物体112之间的直接接触后获得。例如,机器人系统100可以通过利用物体处理单元328操纵目标物体112以将唯一标识符310暴露于成像设备222来确定唯一标识符310的可检测物体特性352。
一般而言,机器人系统100可以使用物体身份近似360针对目标物体114及源物体302的其它实例的核实来增加可检测源物体350的剩余实例的物体身份近似360的准确性。例如,如图3中所示,标记为“物体I”的目标物体114已经利用物体身份近似360肯定地识别为物体集合304中的“物体A”,并且因此,已经消除了可检测源物体350“II”和“III”作为“物体A”的物体身份近似360的可能性。下面将讨论关于物体身份近似360的核实的细节。
机器人系统100可以包括系统操作单元366。系统操作单元366是提供分析信息和生成执行机器人系统100的操作的指令的功能的单元。例如,系统操作单元336可以生成用于操作物体处理单元328、传感器单元216或其组合的指令。作为另一个示例,系统操作单元336可以接收并分析信息(诸如物体集合304和传感器信息340),以识别可检测源物体350,生成物体身份近似360,以及如上所述的其它功能。在一些实施例中,系统操作单元336可以包括图2的单元(诸如控制单元202、存储单元204、通信单元206、系统接口208或其组合)中的一个或多个。
在一些实施例中,系统操作单元336可以通过通信路径218与机器人系统100中的其它单元(诸如物体处理单元328、传感器单元216、系统操作单元336的其它实例,或者它们的组合)接合。例如,系统操作单元336可以包括通信单元206的实例,以将操作指令发送到物体处理单元328,从传感器单元216接收传感器信息340,从系统操作单元336的另一个实例接收物体集合304,或其组合。
出于说明的目的,机器人系统100被示为具有耦合到物体处理单元328和传感器单元216的系统操作单元366的单个实例,但要理解的是,机器人系统100可以包括系统操作单元366的以不同配置的多于一个实例。例如,在一些实施例中,机器人系统100可以包括系统操作单元366的耦合到传感器单元216的实例和系统操作单元366的耦合到物体处理单元328的另一个实例。下面将描述关于系统操作单元366的功能的附加细节。
现在参考图4,其中是图示根据本发明的一个或多个实施例的机器人系统100在执行物体处理任务440时的示例的顶视图。物体处理任务440表示由机器人系统100执行的实现目标的一系列动作,该机器人系统100可以包括物体处理单元328。如图4中的虚线箭头所示,例如,物体处理任务440可以包括将目标物体112从物体源114移动到任务地点116,但要理解的是,物体处理任务440在范围上可以是不同的,诸如根据图3的物体条目特性308通过将源物体302传送到任务地点116的不同实例来对图3的源物体302进行分类。
作为具体示例,物体处理任务440可以包括串行或并行执行的一个或多个操作,诸如扫描物体源114、识别可检测源物体350、确定可检测源物体350的图3的物体身份近似360,以及从物体源114中选择目标物体112,如上面图3中所描述的。作为另一个具体示例,物体处理任务440可以包括执行物体处理策略442、实施误差检测规程444、执行任务运动计划450或其组合。
物体处理策略442是用于根据图3的物体条目特性308的对应实例来控制物体处理单元328如何与目标物体112交互的操作参数集合。例如,物体处理策略442的各种操作参数可以包括:在哪里以及如何抓取目标物体112;如何运输和移动目标物体112;目标物体的所需的间隙;当将目标物体112从物体源114运输到任务地点116时的路径;或其组合。用于生成物体处理策略442的物体条目特性308的示例可以包括:图3的物体维度314;图3的物体重量318;图3的物体刚度322;图3的变形模式324;图3的变形程度326;图3的物体内容;或其组合。
一般而言,在不参考图3的物体集合304的情况下,基于图3的接触传感器信息344、图3的成像传感器信息342或其组合为图3的可检测源物体350生成物体处理策略442未考虑目标物体112的不能仅通过图3的传感器信息340容易地确定的特性,诸如物体内容、物体刚度322、变形模式324或变形程度326。但是,已经发现的是,基于与物体集合304的物体条目306相关的物体身份近似360来生成物体处理策略442使得机器人系统100能够优化物体处理策略442,以考虑更宽范围的可检测物体特性352。
作为示例,在物体维度314的物体条目特性308的情况下,物体处理策略442可以包括设置目标物体112的移动的范围的边界、目标物体112的移动的模式或其组合的指令。例如,物体处理策略442可以包括在目标物体112的旋转或移动期间根据物体维度314提供目标物体112的间隙的指令,以防止目标物体112的部分无意地接触其它物体或结构。
作为示例,在物体重量318的物体条目特性308的情况下,物体处理策略442可以包括限制最大速度以及加速和减速的速率的指令。例如,高于指定重量限制的物体可以以比低于指定重量限制的物体更低的速度来处理。类似地,例如,高于指定重量限制的物体的加速和减速的速率可以比低于重量限制的物体更加平缓。
作为示例,在物体刚度322的物体条目特性308的情况下,物体处理策略442可以包括限制可以由物体处理单元328的抓取设备334施加到目标物体112的抓取压力的量的指令。例如,物体处理策略442可以包括对当接触目标物体112时由端部执行器332施加的接触压力或者由图3的抓取设备334施加的力的量的限制。
作为示例,在变形模式324的物体条目特性308的情况下,物体处理策略442可以包括关于目标物体112上的抓取位置的指令,以限制或最小化目标物体112的形状变形(诸如弯曲或下垂)的量。例如,物体处理策略442可以包括在质心附近而非在远离质心的边缘附近抓住或提升目标物体112的指令,以最小化目标物体112的弯曲或下垂。
作为示例,在变形程度326的物体条目特性308的情况下,物体处理策略442可以包括当处理目标物体112时为适应预期的形状改变(诸如伸长)的量的所增加的运动的范围。例如,物体处理策略442可以包括当移动目标物体112时增加目标物体112从静止状态从物体源114抬起或抬离物体源114的高度的指令,以提供附加的间隙。
作为示例,在物体内容的物体条目特性308的情况下,物体处理策略442可以包括限制可能对速度或运动敏感的物体的最大速度的指令。例如,与非易碎物体或固体物体相比,诸如易碎物体或液体之类的物体内容可以以更低的速度处理。
在另一个实现中,对于物体内容的物体条目特性308,作为示例,物体处理策略442可以包括针对对于速度或运动的快速或突然改变敏感的物体限制加速和减速的速率的指令。例如,物体内容(诸如易碎物体或液体)可以以限制动量的突然或急剧改变的加速的速率来处理。
误差检测规程444是在物体处理任务440期间检测到误差时由机器人系统100采取的动作。例如,当检测到物体条目特性308中的一个或多个与可检测物体特性352中的一个或多个之间的不一致时,可以实施误差检测规程444。更具体而言,误差检测规程444可以在物体身份近似360已被核实为物体条目306的具体实例(诸如图3的唯一标识符310的匹配),但是物体条目特性308中的一个或多个与可检测物体特性352中的一个或多个不一致的情况下被实施。触发误差检测规程444的不一致的示例可以包括物体集合304中的注册物体306的物体重量318与如图2的接触传感器226所确定的目标物体112的物体重量318之间的差异。
在一些实施例中,误差检测规程444可以包括在误差检测时停止执行物体处理任务440。在一些实施例中,误差检测规程444可以包括替换物体源114中或物体源114上的目标物体112。在一些实施例中,误差检测规程444可以包括将目标物体112运输到指定地点以检查目标物体112。在一些实施例中,误差检测规程444可以包括请求操作员输入。例如,机器人系统100可以生成操作员通知器,以警告另一个系统或人类操作员发生误差检测。
任务运动计划450与将由对应单元实施以执行物体处理任务440的一个或多个动作对应。在图4中所示的情况下,任务运动计划450用于将目标物体112从物体源114传送到任务地点116。例如,用于物体处理单元328的任务运动计划450可以包括将端部执行器332定位以拾取、抓取目标物体112、提升目标物体112、将目标物体112从物体源114上方传送到任务地点116上方、降低目标物体112,以及释放目标物体112。在任务运动计划450的执行期间,任务运动计划450可以结合物体处理策略442。
在一些实施例中,任务运动计划450可以包括用于操作机器人臂330、端部执行器332或其组合的图2的致动设备212中的一个或多个的一系列命令或设置。例如,任务运动计划450可以包括将抓取器放置在物体源114周围的特定地点处、根据物体处理策略442使用端部执行器332接合并抓住目标物体112、将端部执行器332放置在任务地点116周围的特定地点处以及从端部执行器332释放目标物体112的命令或设置。
在一些实施例中,系统操作单元366可以生成操作物体处理单元328的指令。例如,系统操作单元336可以生成物体处理策略442,计算任务运动计划450,调用误差检测规程444或其它相关联的功能。
现在参考图5,其中示出了根据本发明的一个或多个实施例的操作图1的机器人系统100的方法500的流程图。方法500可以用于根据图3的物体集合304来识别图1的目标物体112、实施目标物体112的粒度控制和操纵或其组合。方法500可以基于执行存储在图2的存储单元204中的一个或多个中的指令、利用图2的控制单元202中的一个或多个或其组合来实施。另外,关于图2的单元(诸如控制单元202、存储单元204和通信单元206)描述方法500的以下描述,但要理解的是,该方法可以由图3的系统操作单元336的一个或多个实例实施,这些实例可以包括各种组合和数量的控制单元202、存储单元204和通信单元206。
在框502处,机器人系统100可以接收物体集合304。例如,机器人系统100可以接收与物体源114的特定实例相关联的物体集合304。在一个实施例中,机器人系统100的控制单元202可以通过通信单元206或通过访问存储单元204而被提供物体集合304。
在框504处,机器人系统100可以分析物体集合304以识别图3的物体条目特性308中的一个或多个的唯一性。例如,控制单元202可以将唯一标识符310识别为物体条目特性308的实例,其提供可以使机器人系统100能够识别可检测源物体350之一的高程度的唯一性。在另一个示例中,控制单元202可以识别对物体集合304中的物体条目306的许多其它实例当中的物体条目306的子集或组而言唯一的物体条目特性308的分组或组合。相反,在许多物体条目306当中共同的物体条目特性308的实例可以具有低程度的唯一性。例如,当所有物体条目306的形状轮廓312是盒子时,控制单元202可以确定形状轮廓312的物体条目特性308具有低程度的唯一性。
可以动态地分析物体条目特性308或物体条目特性308的组的唯一性。例如,当从物体源114移除源物体302时,控制单元202可以重新分析注册物体特性308,以确定物体条目特性308的附加分组或组合是否已随着源物体302的剩余实例的数量减少而变得越来越唯一。
在框506中,机器人系统100可以生成扫描物体源114、源物体302或其组合的扫描指令,以生成图3的传感器信息340。在一个实现中,机器人系统100的控制单元202可以将扫描指令(诸如通过通信单元206)发送到传感器单元216,以生成关于物体源114的传感器信息340。例如,机器人系统100可以实现控制单元202以生成扫描指令,以利用位于物体源114周围并指向物体源114的图2的成像设备222来生成图3的成像传感器信息342。在实施例中,控制单元202可以诸如通过通信单元206从成像设备222接收成像传感器信息342。在一些实施例中,控制单元202可以接收成像传感器信息342,该成像传感器信息342可以包括从物体源114暴露的源物体302的一个或多个面向外的表面的数字图像、点云、深度图或其组合。作为另一个具体示例,成像传感器信息342可以包括热成像信息、x射线成像信息、二维映射、三维映射或其组合。在另一个实现中,控制单元202可以从成像设备222的多个实例接收成像传感器信息202作为原始的、未处理的或部分处理的成像信息,其可以由控制单元202分析以生成点云、深度图、二维图、三维图或其组合。
在框508中,机器人系统100可以分析成像传感器信息342以识别可检测源物体350。例如,在一个实现中,控制单元202可以分析成像传感器信息342以利用图案识别机制、识别物体轮廓(诸如周边边缘或表面)的规则的集合或其组合来识别可检测源物体350。为了继续该示例,控制单元202可以进一步将轮廓的分组(诸如根据预定规则、姿势模板或其组合)识别为与可检测源物体350对应。为了进一步举例,控制单元202可以识别与图案对应的物体轮廓(诸如相同的值或者在物体线上以已知的速率或图案在颜色、亮度、深度、地点或其组合的方面变化)的分组。而且,例如,控制单元202可以根据在图2的主数据246中定义的预定形状或姿势模板来识别物体轮廓的分组。作为具体示例,控制单元202可以将作为图3的成像特性354的成像传感器信息342映射到可检测物体特性352中的一个或多个,诸如图3的唯一标识符310、图3的形状轮廓312、图3的物体维度314、图3的表面设计方案316、可检测源物体350在物体源114上或物体源114中的地点或相对位置、可检测源物体350的姿势或其组合。
在框510中,机器人系统100可以确定图3的在可检测源物体350的可检测物体特性352与物体条目306的物体条目特性308之间的特性相关性364。在示例实现中,控制单元202可以将可检测源物体350的具体实例的可检测物体特性352之一与可检测源物体302中的每一个的物体条目特性308进行比较,以确定特性相关性364为指示匹配的正还是指示不匹配的负。为了继续该示例实现,对于可检测源物体302的具体实例,控制单元202可以重复可检测物体特性352中的每一个与物体集合304中的物体条目306中的每一个的物体条目特性308之间的比较。作为具体示例,对于可检测源物体302的具体实例,控制单元202可以将可检测物体特性352的一个实例(诸如形状轮廓312)与物体集合304中的物体条目306中的每一个的形状轮廓312进行比较,以确定特性相关性364是正还是负。例如,如果可检测源物体350和注册物体306都是盒子,那么控制单元202可以确定形状轮廓312的特性相关性364为正。为了继续该具体示例,控制单元202可以继续对可检测源物体302的具体实例的可检测物体特性352的每个当前可用实例与物体集合304中的物体条目306中的每一个的物体条目特性308的对应实例的迭代比较。
在框512中,机器人系统100可以计算可检测源物体350的物体匹配概率362。例如,控制单元202可以基于可检测物体特性352与物体集合304中的物体条目306的物体条目特性308之间的特性相关性364来计算物体匹配概率362。在一些实施例中,控制单元202可以基于可检测物体特性352与物体条目306的物体条目特性308之间的特性相关性364的正实例的数量来将物体匹配概率362计算为百分比。例如,在一个实现中,对于物体条目306的特定实例,控制单元202可以将物体匹配概率362计算为特性相关性364的正实例的数量相对于包括在物体集合302中的物体条目特性308的总数量的百分比。作为具体示例,在机器人系统100确定可检测源物体350的实例包括特性相关性364的两个正实例并且物体条目306包括物体条目特性308的四个实例的情况下,控制单元202可以将物体匹配概率362计算为50%。
在一些实施例中,控制单元202可以计算可检测源物体350的物体匹配概率362,以考虑物体条目特性308中的一个或多个的唯一性的程度。例如,当计算物体匹配概率362时,具有更高程度的唯一性的物体集合特性308(诸如唯一标识符310)的某些实例或组合可以被加权得高于具有更低程度的唯一性的物体集合特性308(诸如在许多物体条目306中共同的那些)。作为具体示例,对于可检测源物体350的实例的唯一标识符310与物体条目306之一的唯一标识符310之间的特性相关性364的正实例,控制单元202可以将物体匹配概率362计算为高百分比值。
在一些实施例中,当在可检测物体特性308中的一个或多个与物体条目特性308的对应实例之间存在特性相关性364的负实例时,控制单元202可以将物体匹配概率362计算为零匹配概率。可检测源物体350的具体实例与物体条目302的具体实例之间的零匹配概率的物体匹配概率362指示了可检测源物体350的具体实例不与物体条目302的具体实例对应。作为示例,当在可检测源物体350的唯一标识符310、形状轮廓312、物体维度314、表面设计方案316或其组合与物体条目306的具体实例的物体条目特性308的对应实例之间存在特性相关性364的负实例时,控制单元202可以将物体匹配概率362计算为零匹配概率。作为具体示例,当与具有盒子的形状轮廓312的物体条目306的实例进行比较时,具有管的形状轮廓312的可检测源物体350可被计算为具有作为零匹配概率的物体匹配概率362。
在一些情况下,即使确定了可检测物体特性352的一些实例与物体条目特性308之间的特性相关性364的正实例,控制单元202也可以将物体匹配概率362计算为零匹配概率。例如,当控制单元202确定可检测物体特性352之一的特性相关性362的负实例时,即使确定特性相关性364的正实例,控制单元202也可以计算物体匹配概率362的零匹配概率。在另一个示例中,当机器人系统100确定与物体条目306之一对应的源物体302的实例已从物体源114移除时,即使确定特性相关性364的正实例,控制单元也202可以计算物体匹配概率362的零匹配概率,并且因此可检测源物体350不能与物体条目306的特定实例匹配。
在框516中,机器人系统100可以为可检测源物体350生成图3的物体身份近似360。在一些实施例中,控制单元202可以基于可检测源物体350的物体匹配概率362来生成物体身份近似360。在一些实施例中,对于可检测源物体350之一,控制单元202可以基于特定于可检测源物体350的该实例的物体匹配概率362的所生成实例的数量来生成物体身份近似360的多个实例。例如,在一些情况下,机器人系统100可以基于特性相关性364的当前可用实例来生成物体匹配概率362的多个实例,这指示与物体条目306的多个实例的匹配。在这些情况下,控制单元202可以针对物体匹配概率362的每个生成的实例来生成物体身份近似360的实例,并根据物体匹配概率362的对应值对物体身份近似360中的每一个进行排名。在一些实施例中,控制单元202可以生成物体身份近似360,作为与具有最高值的物体匹配概率362对应的物体条目306的实例,因为物体匹配概率362的更高值可以与物体身份近似360的更高确定性相关。
在一些实施例中,控制单元202可以基于可检测源物体350中的每一个的物体匹配概率362的比较来为可检测源物体350生成物体身份近似360。作为示例,可检测源物体350中的每一个的物体匹配概率362的比较可以特定于物体条目306的特定实例。在示例性实现中,对于包括与物体条目306的具体实例不是零匹配概率的物体匹配概率362的可检测源物体350中的每一个,控制单元202可以比较物体匹配概率362并生成物体身份近似360,以将包括与物体条目306的具体实例对应的物体匹配概率362的最高值的可检测源物体350识别为物体条目306的该具体实例。
为了说明该示例,参考如图3中所示的假设情况,关于“物体B”的物体条目306的特定实例,控制单元202可以比较可检测源物体350“物体II”的“10%”的物体匹配概率362,以及可检测源物体350“物体III”的“60%”的物体匹配概率362。类似地,关于“物体C”的物体条目306的特定实例,控制单元202可以比较可检测源物体350“物体II”的“70%”的物体匹配概率362,以及可检测源物体350“物体III”的“30%”的物体匹配概率362。为了继续说明,为了在可检测源物体350“物体II”和“物体III”的物体匹配概率362之间进行比较,控制单元202可以将“物体II”的物体身份近似360生成为“物体B”的物体条目306并且将“物体III”的物体身份近似360生成为“物体C”的物体条目306。
在框518中,机器人系统100可以从物体源114的可检测源物体350中选择目标物体112。例如,控制单元202可以根据预定顺序、规则的集合、物体轮廓的模板或其组合来选择目标物体112。作为具体示例,控制单元202可以根据表示相对于成像设备222的已知地点的距离或位置的点云、深度图或其组合来将目标物体112选择为端部执行器332可访问的可检测源物体350的实例,诸如位于源物体302顶部的可检测源物体350的实例。作为具体示例,控制单元202可以将目标物体112选择为位于角落或边缘处并且具有两个或更多个暴露的表面的可检测源物体350的实例。作为另一示例,优选地在不干扰或移位源物体302的其它实例的情况下,控制单元202可以根据预定图案(诸如从左到右或相对于参考地点从最近到最远)来选择目标物体112。
在框520中,机器人系统100可以针对目标物体112生成图4的物体处理策略442。在一些实施例中,控制单元202可以将物体处理策略442生成为根据检测到的物体特性352、物体条目特性308或其组合的对应实例来控制图3的物体处理单元328如何与目标物体112交互的操作参数集合。例如,在由物体处理单元328处理时,控制单元202可以应用与目标物体112的物体身份近似360相关的物体条目特性308,特别是对于控制单元202还没有关于其的信息的物体条目特性308的实例,诸如接触特性356。在一些实施例中,在目标物体112包括物体身份近似360的多个实例的情况下,控制单元202可以生成物体处理策略442的与物体身份近似360中的每一个对应的多个实例。
在一个实现中,对于图3的物体维度314的物体条目特性308,控制单元202可以将物体处理策略442生成为设置目标物体112的移动的范围的边界和移动的模式的指令。例如,控制单元202可以生成物体处理策略442,以包括在旋转或移动时根据物体维度314提供间隙的指令,以防止目标物体112的部分无意地接触其它物体或结构。
在另一个实现中,对于图3的物体重量318的物体条目特性308,控制单元202可以将物体处理策略442生成为限制最大速度以及加速和减速的速率的指令。例如,高于指定重量限制的目标物体112的实例可以以比低于指定重量限制的其它物体更低的速度来处理。类似地,例如,高于指定重量限制的目标物体112的实例的加速和减速的速率可以比低于重量限制的其它物体更加平缓。
在进一步的实现中,对于图3的物体刚度322的物体条目特性308,控制单元202可以将物体处理策略442生成为限制可以由物体处理单元328的抓取设备334施加到目标物体112的抓取压力的量的指令。例如,物体处理策略442可以包括对当接触目标物体112时由端部执行器332施加的接触压力或者由抓取设备334施加的力的量的限制。
在又一实现中,对于图3的变形模式324的物体条目特性308,控制单元202可以将物体处理策略442生成为关于目标物体112上的抓取位置的指令,以限制或最小化目标物体112的形状变形(诸如弯曲或下垂)的量。例如,物体处理策略442可以包括在质心附近而非在边缘附近抓住或提升目标物体112的指令,以最小化目标物体112的弯曲或下垂。
在又一实现中,对于图3的变形程度326的物体条目特性308,控制单元202可以将物体处理策略442生成为包括当处理目标物体112时为适应预期的形状改变(诸如伸长)的量的所增加的运动的范围。例如,物体处理策略442可以包括当移动目标物体112时增加目标物体112从静止状态从物体源114抬起或抬离物体源114的高度或距离的指令,以提供附加的间隙来考虑目标物体112的伸长。
在另一个实现中,对于物体内容的物体条目特性308,控制单元202可以将物体处理策略442生成为限制可能对速度或运动的快速改变敏感的物体的最大速度以及加速和减速的速率的指令。例如,物体内容(诸如易碎物体或液体)可以以限制动量的突然或急剧改变的速度和加速的速率来处理。
在框522处,机器人系统100可以计算图4的任务运动计划450,用于执行目标物体112的物体处理任务440。例如,控制单元202可以基于计算针对图2的致动设备212的一系列命令或设置或其组合来计算任务运动计划450,致动设备212将操作图3的机器人臂330、图3的端部执行器332(包括抓取设备334)或其组合。对于物体处理任务440的一些实例,控制单元202可以计算将操纵机器人臂330、端部执行器332或其组合以将目标物体112从物体源114传送到任务地点116的顺序和设置值。例如,控制单元202可以实施运动计划机制,其可以包括过程、函数、等式、算法、计算机生成的/可读的模型或其组合,以根据一个或多个约束、目标、规则或其组合计算空间中的路径。作为具体示例,控制单元202可以使用A*算法、D*算法、其它基于网格的搜索或其组合来计算用于将目标物体112从物体源114移动到任务地点116的空间路径。运动计划机制可以使用另外的过程、函数或等式和/或转换表来将路径转换成用于致动设备212的一系列命令或设置或其组合。在使用运动计划机制时,控制单元202可以计算将操作机器人臂330和端部执行器332以使目标物体112遵循计算出的路径的顺序。在一些实施例中,在目标物体112包括物体身份近似360的多个实例的情况下,控制单元202可以计算与物体身份近似360中的每一个对应的任务运动计划450的多个实例。
在判定框524处,机器人系统100可以执行物体识别近似360的补充检验。例如,控制单元202可以生成可检测物体特性352的附加实例,诸如通过与图2的接触传感器226接合来生成图3的接触传感器信息344(诸如扭矩或力的测量)以在目标物体112的初始提升期间计算物体重量318。在另一个示例中,如果目标物体112的唯一标识符310存在但尚未被扫描,那么控制单元202可以与成像设备222接合,以在操纵或处理目标物体112期间识别和扫描唯一标识符310。在一些实施例中,控制单元202可以使用可检测物体特性352的附加实例来更新物体识别近似360或实施图4的误差检测规程444。例如,控制单元212可以通过确定可检测物体特性352的附加实例(诸如接触特性356或成像特性354的附加实例)与物体条目特性308之间的特性相关性364来调节目标物体112的物体识别近似360中的每一个的物体匹配概率362。作为具体示例,在目标物体112包括具有物体匹配概率362的相等值的两个物体识别近似值360,但是物体条目306的对应实例的物体重量318不同的情况下,控制单元202可以使用物体重量318的接触特性356来确定特性相关性364并重新计算物体匹配概率362。在一些实施例中,控制单元202可以基于对物体识别近似360的更新来修正物体处理策略442、任务运动计划450或其组合。
在框526中,机器人系统100可以确定是否需要实施图4的误差检测规程444。例如,当控制单元202检测到物体条目特性308中的一个或多个与目标物体112的可检测物体特性352中的一个或多个之间的不一致时,机器人系统100可以实施误差检测规程444。更具体而言,控制单元202可以在物体身份近似360已被核实为物体条目306的具体实例(诸如唯一标识符310的匹配)但是物体条目特性308中的一个或多个与可检测物体特性352中的一个或多个不一致(诸如物体集合304中的物体条目306的物体重量318与由接触传感器226确定的目标物体112的物体重量318之间的差异)的情况下实施误差检测规程444。
在一些实施例中,机器人系统100可以实施误差检测规程444以在误差检测(诸如检测到的可检测物体特性352与注册的物体特性306之间的不一致)时停止执行物体处理任务440。在一些实施例中,机器人系统100可以实施误差检测规程444,以使用图3的物体处理单元328替换物体源114中或物体源114上的目标物体112或将目标物体112返回到物体源114。在一些实施例中,机器人系统100可以实施误差检测规程444,以使用物体处理单元328将目标物体112运输到指定地点以进行检查。在一些实施例中,误差检测规程444可以包括请求操作员输入。例如,机器人系统100可以生成操作员通知器,以通过通信单元206、系统接口208或其组合警告人类操作员发生误差检测。在一些实施例中,根据如以上实施例中描述的误差检测规程444的物体,控制单元202可以生成用于操作误差检测规程444的指令,作为任务运动计划450的另一实例。
在框528中,机器人系统100可以开始执行任务运动计划450。例如,机器人系统100可以通过将任务运动计划450或任务运动计划450的增量部分通过通信单元206发送到物体处理单元328来开始执行任务运动计划450,以根据一系列命令或设置或其组合来操作机器人臂330的致动设备212、端部执行器332或其组合。
在判定框530中,机器人系统100可以确定物体处理任务440是否已经完全执行到最后。例如,控制单元202与物体处理单元328接合,以确定物体处理任务440中的所有动作和命令是否已经针对目标物体112完成,或者可替代地在误差检测的情况下,确定误差检测规程444是否已经完成。在一些实现中,当控制单元202已经核实物体处理任务440已经完成时,控制单元202可以更新物体集合304以指示与物体条目306之一对应的目标物体112已经从物体源114中被移除并且机器人系统100可以对源物体302的新实例重复方法500。
已经发现的是,更新物体集合304以反映与物体条目306之一对应的源物体302之一的移除提高了机器人系统100执行物体处理任务440的后续迭代的能力。更新物体集合304以考虑目标物体112的移除减少了可以与源物体302的剩余实例匹配的物体条目306的可能实例的数量,并且可以进一步细化物体身份近似360,从而改进物体识别和机器人系统100的操作的准确性。
关于通过图2的控制单元202、存储单元204、通信单元206和图2的系统接口208的单个实例的实现描述了方法500的流程图的框图,但要理解的是,流程图可以由机器人系统100不同地实现。例如,可以对框进行划分以由系统操作单元366的不同实例的单元实现。作为具体示例,可以对框进行划分,使得系统操作单元366的一个实例可以实现与源物体302的识别相关的框,而系统操作单元366的不同的实例可以实现与执行物体处理任务440相关联的框。在一个实施例中,与源物体302的识别相关的框可以包括接收物体集合框502、集合分析框504、生成源信息框506、检测物体框508、确定特性相关性框510、计算概率框512、生成物体身份近似框516或其组合。在另一个实现中,与执行物体处理任务440相关联的框可以包括选择物体框518、生成物体处理策略框520、计算任务运动计划框522、核实识别判定框524、实施误差处理框526、执行计划框528、任务完成判定框530或其组合。
现在参考图6,其中示出了本发明的实施例中的机器人系统100的操作方法600的流程图。方法600包括:在框602中,接收包括一个或多个物体条目的物体集合,其中:物体条目与物体源的源物体对应,物体条目中的每一个由一个或多个物体条目特性描述;在框604中,接收表示物体源的可检测源物体的一个或多个可检测物体特性的传感器信息;在框606中,基于可检测源物体的可检测物体特性与物体条目的物体条目特性之间的特性相关性,计算可检测源物体与物体条目之间的物体匹配概率;在框608中,基于可检测源物体中的每一个的与物体条目的特定实例对应的物体匹配概率之间的比较,为可检测源物体中的每一个生成物体身份近似;在框610中,从可检测源物体中选择目标物体;在框612中,基于与物体身份近似对应的物体条目的物体条目特性生成物体处理策略,用于由物体处理单元实施以从物体源传送目标物体;以及在框614中,更新物体集合,以指示与物体条目的具体实例对应的目标物体已从物体源中移除。
结果得到的方法、过程、装置、设备、产品和/或系统具有成本效益、高度通用、准确、灵敏以及有效,并且可以通过使已知部件适应准备好的、高效的和经济的制造、应用和利用来实现。本发明的实施例的另一个重要方面是它有价值地支持和服务于降低成本、简化系统和提高性能的历史趋势。
因此,本发明的实施例的这些和其它的有价值的方面将技术的状态进一步提升到至少下一个级别。
虽然已经结合具体的最佳模式描述了本发明,但要理解的是,鉴于前面的描述,许多替代方案、修改和变体对于本领域技术人员来说将是清楚的。因而,旨在涵盖落入所包括的权利要求的范围内的所有这些替代方案、修改和变体。本文阐述或附图中示出的所有内容将以说明性和非限制性的意义解释。

Claims (20)

1.一种机器人系统,包括:
控制单元,被配置为:
接收包括一个或多个物体条目的物体集合,其中:
物体条目与物体源的源物体对应,
物体条目中的每一个由一个或多个物体条目特性描述;
接收表示物体源的可检测源物体的一个或多个可检测物体特性的传感器信息;
基于可检测源物体的可检测物体特性与物体条目的物体条目特性之间的特性相关性,计算所述可检测源物体与所述物体条目之间的物体匹配概率,其中所述物体匹配概率是至少部分地基于与物体条目的每个物体条目特性相关联的唯一性而计算的,具有较高程度的唯一性的物体条目特性比具有较低程度的唯一性的物体条目特性具有更高的权重;
基于可检测源物体中的每一个的与所述物体条目的特定实例对应的物体匹配概率之间的比较,为可检测源物体中的每一个生成物体身份近似;
从可检测源物体中选择目标物体;
基于与物体身份近似对应的物体条目的物体条目特性生成物体处理策略,用于由物体处理单元实施以从所述物体源传送所述目标物体;
更新所述物体集合,以指示与物体条目的具体实例对应的所述目标物体已从所述物体源中移除;
响应于所述目标物体从所述物体源中被移除,更新与所述物体集合的物体条目的物体条目特性相关联的唯一性的程度;以及
存储单元204,耦合到所述控制单元,被配置为存储所述物体集合。
2.如权利要求1所述的系统,其中所述控制单元被配置为生成所述物体处理策略,包括根据高于重量阈值的物体重量的物体条目特性来生成限制速度、加速的速率或其组合的物体处理策略。
3.如权利要求1所述的系统,其中所述控制单元被配置为生成所述物体处理策略,包括根据物体刚度的物体条目特性来生成限制由所述物体处理单元施加到所述目标物体的抓取压力的物体处理策略。
4.如权利要求1所述的系统,其中所述控制单元被配置为生成所述物体处理策略,包括根据变形模式的物体条目特性来生成确定所述目标物体上的抓取位置的物体处理策略,以最小化所述目标物体的形状变形。
5.如权利要求1所述的系统,其中所述控制单元被配置为生成所述物体处理策略,包括根据变形程度的物体条目特性来生成增加所述目标物体从所述物体源提升的量的物体处理策略,以适应所述目标物体的预期的伸长量。
6.如权利要求1所述的系统,其中所述控制单元被配置为当检测到物体条目特性与所述目标物体的可检测物体特性之间的不一致时实施误差检测规程。
7.如权利要求1所述的系统,其中所述控制单元被配置为生成用于将所述目标物体从所述物体源传送到任务地点的任务运动计划。
8.一种机器人系统的方法,包括:
接收包括一个或多个物体条目的物体集合,其中:
物体条目与物体源的源物体对应,
物体条目中的每一个由一个或多个物体条目特性描述;
接收表示物体源的可检测源物体的一个或多个可检测物体特性的传感器信息;
基于可检测源物体的可检测物体特性与物体条目的物体条目特性之间的特性相关性,计算所述可检测源物体与所述物体条目之间的物体匹配概率,其中所述物体匹配概率是至少部分地基于与物体条目的每个物体条目特性相关联的唯一性而计算的,具有较高程度的唯一性的物体条目特性比具有较低程度的唯一性的物体条目特性具有更高的权重;
基于可检测源物体中的每一个的与物体条目的特定实例对应的物体匹配概率之间的比较,为可检测源物体中的每一个生成物体身份近似;
从可检测源物体中选择目标物体;
基于与物体身份近似对应的物体条目的物体条目特性生成物体处理策略,用于由物体处理单元实施以从所述物体源传送所述目标物体;
更新所述物体集合,以指示与物体条目的具体实例对应的所述目标物体已从所述物体源中移除;以及
响应于所述目标物体从所述物体源中被移除,更新与所述物体集合的物体条目的物体条目特性相关联的唯一性的程度。
9.如权利要求8所述的方法,其中生成所述物体处理策略包括根据高于重量阈值的物体重量的物体条目特性来生成限制速度、加速的速率或其组合的物体处理策略。
10.如权利要求8所述的方法,其中生成所述物体处理策略包括根据物体刚度的物体条目特性来生成限制由所述物体处理单元施加到所述目标物体的抓取压力的物体处理策略。
11.如权利要求8所述的方法,其中生成所述物体处理策略包括根据变形模式的物体条目特性来生成确定所述目标物体上的抓取位置的物体处理策略,以最小化所述目标物体的形状变形。
12.如权利要求8所述的方法,其中生成所述物体处理策略包括根据变形程度的物体条目特性来生成增加所述目标物体从所述物体源提升的量的物体处理策略,以适应所述目标物体的预期的伸长量。
13.如权利要求8所述的方法,还包括当检测到物体条目特性与所述目标物体的可检测物体特性之间的不一致时实施误差检测规程。
14.如权利要求8所述的方法,还包括生成用于将所述目标物体从所述物体源传送到任务地点的任务运动计划。
15.一种非瞬态计算机可读介质,包括能够由机器人系统的控制单元执行的指令,所述指令包括:
接收物体条目的物体集合,其中:
物体条目与物体源的源物体对应,
物体条目中的每一个由一个或多个物体条目特性描述;
接收表示物体源的可检测源物体的一个或多个可检测物体特性的传感器信息;
基于可检测源物体的可检测物体特性与物体条目的物体条目特性之间的特性相关性,计算所述可检测源物体与所述物体条目之间的物体匹配概率,其中所述物体匹配概率是至少部分地基于与物体条目的每个物体条目特性相关联的唯一性而计算的,具有较高程度的唯一性的物体条目特性比具有较低程度的唯一性的物体条目特性具有更高的权重;
基于可检测源物体中的每一个的与物体条目的特定实例对应的物体匹配概率之间的比较,为可检测源物体中的每一个生成物体身份近似;
从可检测源物体中选择目标物体;
基于与物体身份近似对应的物体条目的物体条目特性生成物体处理策略,用于由物体处理单元实施以从所述物体源传送所述目标物体;
更新所述物体集合,以指示与物体条目的具体实例对应的所述目标物体已从所述物体源中移除;以及
响应于所述目标物体从所述物体源中被移除,更新与所述物体集合的物体条目的物体条目特性相关联的唯一性的程度。
16.如权利要求15所述的非瞬态计算机可读介质,其中生成所述物体处理策略包括根据高于重量阈值的物体重量的物体条目特性来生成限制速度、加速的速率或其组合的物体处理策略。
17.如权利要求15所述的非瞬态计算机可读介质,其中生成所述物体处理策略包括根据物体刚度的物体条目特性来生成限制由所述物体处理单元施加到所述目标物体的抓取压力的物体处理策略。
18.如权利要求15所述的非瞬态计算机可读介质,其中生成所述物体处理策略包括根据变形模式的物体条目特性来生成确定所述目标物体上的抓取位置的物体处理策略,以最小化所述目标物体的形状变形。
19.如权利要求15所述的非瞬态计算机可读介质,其中生成所述物体处理策略包括根据变形程度的物体条目特性来生成增加所述目标物体从所述物体源提升的量的物体处理策略,以适应所述目标物体的预期的伸长量。
20.如权利要求15所述的非瞬态计算机可读介质,还包括当检测到物体条目特性与所述目标物体的可检测物体特性之间的不一致时实施误差检测规程。
CN201910669156.1A 2019-04-03 2019-07-24 具有物体识别和处理机制的机器人系统及其操作方法 Active CN110370279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310473435.7A CN116494233A (zh) 2019-04-03 2019-07-24 具有物体识别和处理机制的机器人系统及其操作方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/374,617 US10583560B1 (en) 2019-04-03 2019-04-03 Robotic system with object identification and handling mechanism and method of operation thereof
US16/374,617 2019-04-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310473435.7A Division CN116494233A (zh) 2019-04-03 2019-07-24 具有物体识别和处理机制的机器人系统及其操作方法

Publications (2)

Publication Number Publication Date
CN110370279A CN110370279A (zh) 2019-10-25
CN110370279B true CN110370279B (zh) 2023-05-09

Family

ID=68255213

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310473435.7A Pending CN116494233A (zh) 2019-04-03 2019-07-24 具有物体识别和处理机制的机器人系统及其操作方法
CN201910669156.1A Active CN110370279B (zh) 2019-04-03 2019-07-24 具有物体识别和处理机制的机器人系统及其操作方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310473435.7A Pending CN116494233A (zh) 2019-04-03 2019-07-24 具有物体识别和处理机制的机器人系统及其操作方法

Country Status (4)

Country Link
US (2) US10583560B1 (zh)
JP (3) JP6617237B1 (zh)
CN (2) CN116494233A (zh)
DE (1) DE102020104468A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10423150B2 (en) * 2015-02-12 2019-09-24 Fetch Robotics, Inc. System and method for order fulfillment using robots
US11200531B1 (en) * 2018-05-14 2021-12-14 Amazon Technologies, Inc. Self-identifying overpackage for robotic retrieval
US11045952B2 (en) * 2018-11-28 2021-06-29 BITO Robotics, Inc. System and method for autonomously loading cargo into vehicles
US11148289B1 (en) 2019-01-08 2021-10-19 Amazon Technologies, Inc. Entanglement end effector for autonomous object retrieval
US11738447B2 (en) * 2019-07-29 2023-08-29 Nimble Robotics, Inc. Storage systems and methods for robotic picking
US11518573B2 (en) * 2020-02-14 2022-12-06 Dell Products L.P. Palletizing containers for charging electronic devices contained therein
US11577395B2 (en) * 2020-02-17 2023-02-14 Toyota Research Institute, Inc. Systems for determining location using robots with deformable sensors
CN113145477A (zh) * 2020-08-28 2021-07-23 武汉联州科技有限公司 一种基于大数据的辊筒输送线多重检测系统
DE102020135010B4 (de) 2020-12-29 2024-05-08 Franka Emika Gmbh Massedaten-Schätzung einer externen Last für einen Robotermanipulator
CN112651347B (zh) * 2020-12-29 2022-07-05 嘉兴恒创电力集团有限公司博创物资分公司 一种基于双光谱成像的吸烟行为样本生成的方法与系统
DE102020135011B3 (de) 2020-12-29 2022-03-03 Franka Emika Gmbh Bilderkennung zum angepassten Ausführen eines Steuerprogramms eines Robotermanipulators
EP4035845A1 (de) * 2021-01-28 2022-08-03 Siemens Aktiengesellschaft Handhaben von stückgütern mittels einer sauggreifvorrichtung
CN113307042B (zh) * 2021-06-11 2023-01-03 梅卡曼德(北京)机器人科技有限公司 基于传送带的物体拆垛方法、装置、计算设备及存储介质
JP2023039105A (ja) * 2021-09-08 2023-03-20 株式会社ダイフク 荷卸し装置
JP2023039104A (ja) * 2021-09-08 2023-03-20 株式会社ダイフク 荷卸し装置
US20230191608A1 (en) * 2021-12-22 2023-06-22 AMP Robotics Corporation Using machine learning to recognize variant objects
CN115187769A (zh) * 2022-07-11 2022-10-14 杭州海康机器人技术有限公司 一种定位方法及装置
CN115321090B (zh) * 2022-10-17 2023-01-13 中国民航大学 机场行李自动接取方法、装置、设备、系统及介质
CN115648224A (zh) * 2022-12-22 2023-01-31 北京钢铁侠科技有限公司 一种基于双深度相机识别定位的机械臂抓取方法
CN117548359B (zh) * 2024-01-09 2024-03-19 北京环宇宏业科技开发有限公司 一种基于图像分析的节能环保分拣装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6070169A (en) * 1998-02-12 2000-05-30 International Business Machines Corporation Method and system for the determination of a particular data object utilizing attributes associated with the object
TW201702917A (zh) * 2015-07-08 2017-01-16 台灣色彩與影像科技股份有限公司 區域的監控方法
CN107000208A (zh) * 2014-12-16 2017-08-01 亚马逊技术股份有限公司 库存系统中物品的机器人抓取
CN108351637A (zh) * 2015-09-11 2018-07-31 伯克希尔格雷股份有限公司 用于识别和处理各种物体的机器人系统和方法
CN108491799A (zh) * 2018-03-23 2018-09-04 海深科技(宁波)有限公司 一种基于图像识别的智能售货柜商品管理方法及系统
WO2018183819A2 (en) * 2017-03-30 2018-10-04 Soft Robotics, Inc. Servo-pneumatic control systems for soft robotic actuators

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006102881A (ja) * 2004-10-06 2006-04-20 Nagasaki Prefecture 把持ロボット装置
US7931197B2 (en) * 2005-09-20 2011-04-26 Rockwell Automation Technologies, Inc. RFID-based product manufacturing and lifecycle management
WO2008076942A1 (en) 2006-12-15 2008-06-26 Braintech Canada, Inc. System and method of identifying objects
US8280837B2 (en) * 2009-05-28 2012-10-02 GM Global Technology Operations LLC Contact state estimation for multi-finger robot hands using particle filters
US9102055B1 (en) 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
JP5847117B2 (ja) 2013-05-28 2016-01-20 東芝テック株式会社 認識辞書作成装置及び認識辞書作成プログラム
US9427874B1 (en) 2014-08-25 2016-08-30 Google Inc. Methods and systems for providing landmarks to facilitate robot localization and visual odometry
JP6711591B2 (ja) * 2015-11-06 2020-06-17 キヤノン株式会社 ロボット制御装置およびロボット制御方法
ES2924496T3 (es) 2016-02-08 2022-10-07 Berkshire Grey Operating Company Inc Sistemas y métodos para proporcionar el procesamiento de una variedad de objetos empleando planificación de movimiento
US10071856B2 (en) * 2016-07-28 2018-09-11 X Development Llc Inventory management
JP6692247B2 (ja) * 2016-08-04 2020-05-13 株式会社東芝 物品保持装置および物品保持方法
JP2018027581A (ja) * 2016-08-17 2018-02-22 株式会社安川電機 ピッキングシステム
JP6707485B2 (ja) 2017-03-22 2020-06-10 株式会社東芝 物体ハンドリング装置およびその較正方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6070169A (en) * 1998-02-12 2000-05-30 International Business Machines Corporation Method and system for the determination of a particular data object utilizing attributes associated with the object
CN107000208A (zh) * 2014-12-16 2017-08-01 亚马逊技术股份有限公司 库存系统中物品的机器人抓取
TW201702917A (zh) * 2015-07-08 2017-01-16 台灣色彩與影像科技股份有限公司 區域的監控方法
CN108351637A (zh) * 2015-09-11 2018-07-31 伯克希尔格雷股份有限公司 用于识别和处理各种物体的机器人系统和方法
WO2018183819A2 (en) * 2017-03-30 2018-10-04 Soft Robotics, Inc. Servo-pneumatic control systems for soft robotic actuators
CN108491799A (zh) * 2018-03-23 2018-09-04 海深科技(宁波)有限公司 一种基于图像识别的智能售货柜商品管理方法及系统

Also Published As

Publication number Publication date
US10987807B2 (en) 2021-04-27
JP7290280B2 (ja) 2023-06-13
JP6621164B1 (ja) 2019-12-18
CN110370279A (zh) 2019-10-25
JP2020168710A (ja) 2020-10-15
DE102020104468A1 (de) 2020-10-08
JP2020168709A (ja) 2020-10-15
CN116494233A (zh) 2023-07-28
US10583560B1 (en) 2020-03-10
US20200316774A1 (en) 2020-10-08
JP2020168711A (ja) 2020-10-15
JP6617237B1 (ja) 2019-12-11

Similar Documents

Publication Publication Date Title
CN110370279B (zh) 具有物体识别和处理机制的机器人系统及其操作方法
CN110329710B (zh) 具有机器人臂吸附控制机制的机器人系统及其操作方法
JP7349094B2 (ja) ピースロス管理メカニズムを有するロボットシステム
JP2021030439A (ja) 物体を把持および保持するためのロボットマルチグリッパアセンブリおよび方法
JP2021030431A (ja) 物体を把持および保持するためのロボットマルチグリッパアセンブリおよび方法
US10766141B1 (en) Robotic system with a coordinated transfer mechanism
JP2021045811A (ja) ハンドリング装置、ハンドリング方法及びプログラム
JP2023024933A (ja) 画像ベースのサイジングメカニズムを備えたロボットシステム及びロボットシステムを操作するための方法
CN111618852B (zh) 具有协调转移机构的机器人系统
JP7398763B2 (ja) 重なり処理機構を備えたロボットシステム及びその操作方法
JP7218881B1 (ja) 物体更新機構を備えたロボットシステム及びロボットシステムを操作するための方法
US20230286140A1 (en) Systems and methods for robotic system with object handling
CN115258510A (zh) 具有物体更新机制的机器人系统和用于操作所述机器人系统的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant