CN110936386B - 用于处理物体的机器人系统及对其进行包装和处理的方法 - Google Patents

用于处理物体的机器人系统及对其进行包装和处理的方法 Download PDF

Info

Publication number
CN110936386B
CN110936386B CN201910890872.2A CN201910890872A CN110936386B CN 110936386 B CN110936386 B CN 110936386B CN 201910890872 A CN201910890872 A CN 201910890872A CN 110936386 B CN110936386 B CN 110936386B
Authority
CN
China
Prior art keywords
information
electronic package
package information
product
robotic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910890872.2A
Other languages
English (en)
Other versions
CN110936386A (zh
Inventor
奚伟
程辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingbangda Trade Co Ltd
Beijing Jingdong Qianshi Technology Co Ltd
JD com American Technologies Corp
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
JD com American Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd, JD com American Technologies Corp filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Publication of CN110936386A publication Critical patent/CN110936386A/zh
Application granted granted Critical
Publication of CN110936386B publication Critical patent/CN110936386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/005—Manipulators for mechanical processing tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/06—Gripping heads and other end effectors with vacuum or magnetic holding means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/01—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39473—Autonomous grasping, find, approach, grasp object, sensory motor coordination
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39484—Locate, reach and grasp, visual guided grasping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39543—Recognize object and plan hand shapes in grasping movements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Abstract

提供了一种用于处理待包装为产品的物体的机器人系统、包装方法以及对其进行处理的方法。物体具有多个表面，在物体的表面上设置多个电子包装信息标签以用于存储产品的信息。每个表面设置有电子包装信息标签之一。产品的信息包括物体的位置、取向和物理特征的信息。在操作中，机器人系统控制感测设备检测和捕获物体上的电子包装信息标签之一以获得捕获的图像，以及处理捕获的图像以获得产品的信息。基于产品的信息，机器人系统控制机器人抓取设备执行用于处理物体的机器人操纵。

Description

用于处理物体的机器人系统及对其进行包装和处理的方法
相关申请的交叉引用
在本公开的描述中引用和讨论了一些参考文献，可以包括专利、专利申请和各种出版物。提供对这些参考文献的引用和/或讨论仅仅是为了阐明本公开的描述，而不是承认任何这些参考文献是相对于本文所述公开内容的“现有技术”。本说明书中引用和讨论的所有参考文献均以引用方式整体并入本文中，其程度如同每篇参考文献单独通过引用并入的程度相同。
技术领域
本发明总体上涉及机器人技术，并且更具体地涉及用于对包括其包装的物体/产品进行处理的机器人系统、包装方法及对其进行处理的方法。
背景技术
本文提供的背景技术描述是出于总体上介绍本发明的上下文的目的。在此背景技术部分描述的程度上当前指定的发明人的工作以及描述中的在提交时可以不被描述为现有技术的方面既不明确也不暗示地被认为是针对本发明的现有技术。
现有的产品包装主要针对的是传统的实体店，在实体店中消费者浏览和检查他或她亲自购买的产品。在这种场景中，产品包装需要对消费者有吸引力。机器可读信息(例如，条形码)连同法律法规通常要求的关于产品的其他详细信息一起印刷在背面上。为了通过计算机读取条形码，特别是当产品的姿态可以任意时，开发了复杂设备，而这样的复杂设备昂贵且通常不可靠。
因此，需要解决本领域中的上述缺陷和不足。
发明内容
本发明的一个方面涉及一种包装方法，该包装方法包括：提供物体作为待包装的产品；以及在物体的多个表面上设置多个电子包装信息标签，用于存储包括操纵和运输产品所需的信息在内的产品的信息，其中每个表面上设置有电子包装信息标签中的至少一个电子包装信息标签，产品的信息包括但不限于物体的位置、取向、物理特征、处理指令、运输指令等信息。
本发明的另一方面涉及一种用于处理作为产品的物体的机器人系统。机器人系统包括多个机器人抓取设备、多个感测设备和控制器。每个机器人抓取设备被配置为抓取一种或多种类型的物体，并且多个抓取设备被联合配置为抓取附加类型物体。在物体的多个表面上设置多个电子包装信息标签以用于存储产品的信息。每个表面上设置有电子包装信息标签之一。产品的信息包括物体的位置、取向和物理特征的信息。每个感测设备被配置为获得产品的信息。控制器被配置为执行以下操作：控制感测设备中的一个或多个感测设备检测物体上的电子信息标签之一，并且将该标签捕获到处理系统中(例如，图像)；处理图像以获得产品的信息；以及基于产品的信息，控制机器人抓取设备之一执行用于处理物体的机器人操纵。
本发明的另一方面涉及一种使用机器人系统处理物体的方法，该方法包括：提供物体作为产品，其中在物体的多个表面上设置多个电子包装信息标签以用于存储产品的信息，表面中的每个表面上设置有电子包装信息标签中的一个电子包装信息标签，并且产品的信息包括物体的位置、取向和物理特征的信息；控制机器人系统的感测设备检测和捕获物体上的电子包装信息标签之一，以获得捕获的图像；处理捕获的图像以获得产品的信息；以及基于产品的信息，控制机器人系统的机器人抓取设备执行用于处理物体的机器人操纵。
在某些实施例中，感测设备中的每个感测设备是相机，并且机器人抓取设备中的每个机器人抓取设备是吸力设备、机器人臂、夹持器或电粘附设备。
在某些实施例中，设置在表面中的每个表面上的一个电子包装信息标签是以不同的相对位置设置在其上的，具有不同的大小或具有不同的形状。
在某些实施例中，电子包装信息标签中的每个电子包装信息标签是二维码形式，所述二维码具有第一区域和第二区域。在一个实施例中，第一区域是中间区域，并且第二区域是外部区域。
在某些实施例中，电子包装信息标签中的每个电子包装信息标签的第一区域被设计用于容易检测和鲁棒姿态估计，并且电子包装信息标签中的每个电子包装信息标签的第二区域存储物体的物理特征的信息，其中物体的物理特征包括：物体的尺寸；物体的重量；物体的重量分布；物体的属性；物体的产品信息；以及物体的位置和取向。
在某些实施例中，电子包装信息标签中的每个电子包装信息标签是一维条形码或水印标签的形式。
在某些实施例中，电子包装信息标签中的每个电子包装信息标签存储用于处理物体的机器人操纵的信息或规范。
在某些方面中，本发明涉及一种包装方法。该方法包括以下步骤：
提供物体作为待包装的产品；以及
在物体的至少一个表面的每个角上设置电子包装信息标签以用于存储产品的信息，其中产品的信息包括物体的位置、取向和物理特征的信息。
在某些实施例中，电子包装信息标签位于物体或包装的所有表面的每个角处。在其他实施例中，电子包装信息标签位于物体中的被配置为由机器人操纵的一个或多个表面的每个角处。
在某些实施例中，电子包装信息标签包括Apriltag或QR码，并且电子包装信息标签包括物体的尺寸、订单ID、重量、重量分布和产品信息。在某些实施例中，电子包装信息标签包括可以施加的最大速度、最大力、物体的易碎性、属性、湿度和温度。
在某些实施例中，物体中的可由机器人操作的每个表面还设置有表面点，用于将表面确定为可操作表面并用于确定物体的几何中心。
在某些方面中，本发明涉及一种用于处理物体(例如，如上所述的物体)的机器人系统。该系统包括：多个机器人抓取设备，每个机器人抓取设备被配置为抓取物体；多个感测设备，每个感测设备被配置为获得产品的信息；以及控制器，被配置为控制机器人抓取设备和感测设备。
在某些实施例中，控制器被配置为执行以下操作：控制感测设备之一检测和捕获物体上的电子包装信息标签之一，以获得捕获的图像，并且检测电子包装信息标签的位置；处理捕获的图像以获得产品的信息；以及基于产品的信息和电子包装信息标签的位置，控制机器人抓取设备之一执行用于处理物体的机器人操纵。
在某些实施例中，感测设备中的每个感测设备是相机，并且机器人抓取设备中的每个机器人抓取设备是吸力设备、机器人臂、夹持器或电粘附设备。
根据以下结合附图对优选实施例的描述，本发明的这些以及其他方面将变得显而易见，此外可以在不脱离本发明的新颖构思的精神和范围的情况下在本文中各种变化和修改。
附图说明
附图示出了本发明的一个或多个实施例，并与书面描述一起用于解释本发明的原理。在任何可能的情况下，贯穿附图，相同的附图标记用于指代相同或类似的实施例的元件。
图1是根据本发明的某些实施例的使用包装方法被包装为产品的物体的示意图。
图2A是根据本发明的某些实施例的电子包装信息标签的示意图，其中电子包装(e-package)信息标签是二维码。
图2B是根据本发明的某些实施例的另一电子包装信息标签的示意图。
图2C是根据本发明的某些实施例的不同形式的电子包装信息标签的示例的示意图。
图3A是示出了根据本发明的某些实施例的物体的重量分布的示意图。
图3B是根据本发明的某些实施例的测量产品的重量分布的示意图。
图4是根据本发明的某些实施例的机器人系统的示意图。
图5是根据本发明的一个实施例的机器人系统的控制器的示意图。
图6是示出了根据本发明的一个实施例的使用机器人系统处理物体的方法的流程图。
图7是根据本发明的一个实施例的使用包装方法被包装为产品的物体的示意图。
图8A至图8C是根据本发明的某些实施例的标签的位置的示意图。
图9A是根据本发明的一个实施例的一堆物体的示意图。
图9B是图9A的圆圈部分的放大图。
具体实施方式
现在将在下文中参考附图更全面地描述本发明，在附图中，示出了本发明的示例性实施例。然而，本发明可以按多种不同形式来具体化，并且不应当被解释为受到本文阐述的实施例的限制。更确切地说，提供这些实施例使得本发明将全面和完整，并且将本发明的范围充分传达给本领域技术人员。贯穿附图，相似的附图标记指代相似的元件。
本说明书中使用的术语通常在本领域、在本发明的上下文中、以及在使用每个术语的特定上下文中具有其普通含义。用于描述本发明的某些术语在下文或说明书中的其他地方讨论，以向从业者提供关于本发明的描述的附加指导。为方便起见，可以突出显示某些术语，例如使用斜体和/或引号。突出显示的使用对术语的范围和含义没有影响；术语的范围和含义在相同的上下文中是相同的，无论其是否被突出显示。应当认识到，可以以多于一种的方式说相同的事情。因此，备选的语言和同义词可以用于本文所讨论的任何一个或多个术语，并且对于术语是否在本文中详细阐述或讨论也没有任何特殊意义。提供了某些术语的同义词。一个或多个同义词的叙述不排除其他同义词的使用。本说明书中任何地方的示例(包括本文中讨论的任何术语的示例)的使用仅是说明性的，并且决不限制本发明或任何示例性术语的范围和含义。同样地，本发明不限于本说明书中给出的各种实施例。
应理解，当元件称作在另一元件“之上”时，该元件可以直接在该另一元件之上，或者可以存在介于其间的中间元件。相反，当元件称作“直接”在另一元件“之上”时，不存在中间元件。如本文中所使用的术语“和/或”包括相关列出项目中的一个或多个的任何和所有组合。
应理解，尽管本文中可以使用术语“第一”、“第二”、“第三”等来描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应受这些术语限制。这些术语仅用于将一个元件、组件、区域、层或部分与另一元件、组件、区域、层或部分进行区分。因此，在不脱离本发明的教导的情况下，以下讨论的第一元件、组件、区域、层或者部分可以被称为第二元件、组件、区域、层或者部分。
本文中所使用的术语仅仅是出于描述具体实施例的目的，而不是旨在限制本发明。如本文中使用的，单数形式“一”、“一个”和“所述”旨在还包括复数形式，除非上下文明确地给出相反的指示。还应理解，当在本说明书中使用时，术语“包括”和/或“包括有”、或“包含”和/或“包含有”、或“有”和/或“具有”指定了存在所陈述的特征、区域、整数、步骤、操作、元件和/或组件，但是不排除存在或另外还有一个或多个其他特征、区域、整数、步骤、操作、元件、组件和/或其组合。
此外，在本文中可以使用诸如“下”或“底”、“上”或“顶”以及“左”和“右”的相对术语来描述一个元件与图示另一元件的关系。应理解，除了附图中所示的取向(orientation)之外，相对术语旨在包含设备的不同取向。例如，如果翻转一幅图中的设备，则被描述为位于其它元件的“下”侧的元件将取向为在其它元件的“上”侧上。因此，示例性术语“下”可以包含“下”和“上”的两种取向，这取决于图的特定取向。类似地，如果翻转一幅图中的元件，则被描述为位于其它元件的“下方”或“下面”的元件将取向为在其它元件的“上方”。因此，示例性术语“下方”或“下面”可以包含上方和下方两种取向。
除非另外定义，否则本文使用的所有术语(包括技术和科学术语)具有本发明所属领域的普通技术人员通常所理解的相同含义。还将理解的是，诸如在常用词典中定义的术语应被解释为其含义与在相关技术和本发明的上下文中的含义相同，而不应将其解释为理想的或过于正式的含义，除非本文明确如此定义。
将结合附图对本发明的实施例进行描述。根据如本文所具体化和广泛描述的本发明的目的，在某些方面中，本发明涉及用于处理待包装为产品的物体的机器人系统、包装方法以及对其进行处理的方法。
目前，随着互联网购物的蓬勃发展，越来越多的人在线浏览和购买他们的产品，这使得产品的实际包装的外观对于购买决定来说不太重要。另一方面，互联网购物需要高效且低成本的物流网络，其越来越依赖于机器人来操纵和运输货物。因此，在本发明的某些实施例中，发明人公开了一种新的产品包装方法(也称为“电子包装”)，其是针对互联网购物和无人或辅助物流操作的需求而设计的。
图1是根据本发明的某些实施例的使用包装方法被包装为产品的物体的示意图。如图1所示，提供物体100以被包装为产品，以待处理和递送。物体100为长方体盒的形状，具有六个表面110。每个表面110具有设置在其上的电子包装信息标签120，用于存储产品信息。换句话说，对于物体100的六个表面110，存在六个电子包装信息标签120。这些标签的形状、大小和位置可以变化。例如，电子包装信息标签120中的每一个可以独立地为矩形、正方形、椭圆形的形状，在大小方面与其他电子包装信息标签相同或不同，或者位于对应表面110的四个角之一、中心或任何预先设计的位置中的一个位置中。在这种情况下，无论物体的姿态(即，位置和/或取向)如何，只要物体100没有被完全或大部分遮挡，六个电子包装信息标签120中的至少一些电子包装信息标签将是可见的并且是可感测的或可扫描的。因此，仅具有一个感测、扫描、成像或其他信息收集设备的机器人系统可以从一个方向安装，并且利用电子包装信息标签120中的一个电子包装信息标签从物体100获得产品信息。
存储在电子包装信息标签120中的每一个电子包装信息标签中的产品信息可以包括但不限于物体100的位置、取向和物理特征的信息，以及用于处理物体100的详细的机器人操纵规范的信息(例如，相对于标签的中心在哪里施加吸盘，以便拾取物体)。存储在电子包装信息标签120中的信息的细节可以在下文中描述。
在某些实施例中，对于物体100的六个表面110中的每个表面，设置在每个表面110上的电子包装信息标签120可以设置在其上的不同的相对位置处。在这种情况下，电子包装信息标签120的不同的相对位置可以用于识别物体100的位置和取向。例如，在如图1所示的顶表面上，电子包装信息标签120位于左上角。在面向前的两个侧表面上(如图1所示)，左侧的侧表面上的电子包装信息标签120位于底侧，面向右侧的侧表面上的电子包装信息标签120位于左侧。后侧表面和底表面上的其他三个电子包装信息标签120也可以位于不同的相对位置处。因此，可以通过被编码到标签中的索引或电子包装信息标签120的不同相对位置来识别六个表面110中的每个表面，使得可以基于表面110的布置确定物体100的位置和取向。在某些实施例中，每个电子包装信息标签120在对应侧表面中的相对位置可以用于帮助检测该对应侧表面的边缘。例如，标签120可以包含产品边界的位置信息，并且通过检测和解码标签120中的该信息，系统知道产品边界应该在哪里而不需要检测边缘。在某些实施例中，每个电子包装信息标签120包括对应侧表面的标识，因此可以通过简单地读取信息标签120来检测侧表面。
图2A是根据本发明的某些实施例的电子包装信息标签的示意图。如图2A所示，电子包装信息标签200为二维码的形式。具体地，电子包装信息标签200包括可以用于存储不同的信息的两个区域，即第一区域210和第二区域220。在某些实施例中，第一区域210存储用于识别电子包装信息标签200的信息。例如，第一区域210可以具有简单的图案，使得可以容易地检测和捕获第一区域210，并且还可以快速且可靠地估计第一区域210或整个电子包装信息标签200的姿态。姿态的估计可以包括确定第一区域210的旋转、距离、歪斜，在某些实施例中，第一区域的姿态还可以用于估计整个电子包装信息标签200或产品的姿态。在某些实施例中，第二区域220具有更复杂的图案，并且包括包含该物体的产品的信息。如图2A所示，第一区域是中间区域210，第二区域是外部区域220。例如，电子包装信息标签200的中间区域210可以是易于计算机检测和估计标签的姿态的专门设计的图案；以及电子包装信息标签200的外部区域220可以用于存储物体100的物理特征的信息和物体100的位置和取向的信息，这些信息可以用于用以处理物体100的机器人操纵。物体100的物理特征的示例可以包括但不限于物体100的尺寸；物体100的重量；物体100的重量分布；物体100的属性；以及物体100的产品信息。
应当注意，第一区域可以位于电子包装信息标签200的中心、四个角之一或任何其他预定或已知区域中。图2B是根据本发明的某些实施例的另一电子包装信息标签的示意图，其中第一区域210位于电子包装信息标签的左上角。
应当注意，电子包装信息标签200的格式不限于如图2A和图2B中所示的二维码。例如，图2C是根据本发明的某些实施例的不同形式的电子包装信息标签的示例的示意图。如图2C所示，每个电子包装信息标签可以包括多个二维代码230和2400以形成标签。可以使用的其他形式的电子包装信息标签包括但不限于一维条形码或水印标签、或者可以携带物体100的物流操作所需的信息的任何其他计算机可读或可扫描的信息存储格式。
在某些实施例中，物体100的重量分布可以被描述为质心(或重心)的相对位置。图3A是示出了根据本发明的某些实施例的物体的重量分布的示意图。具体地，图3A示出了物体300的顶视图，其中锤子310(以虚线示出)被包装为产品而处于盒子中。由于锤子310的头部(其比锤子310的手柄重得多)位于盒子的左侧，因此物体300的质心330位于表面320的中心的相对左侧。在这种情况下，设置在表面上的电子包装信息标签200可以设置有物体300的质心330的位置的信息，来作为重量分布的信息。应该注意，从物体300的不同视角(即，不同表面)看，质心330的相对位置可以不同。换句话说，存储在设置在物体的不同表面上的电子包装信息标签200中的信息可以设置有不同的信息，以反映不同取向下的重量分布的不同信息。
图3B是根据本发明的某些实施例的测量产品的重量分布的示意图。如图3B所示，秤盘(scale)350包括四个秤盘A、B、C和D。四个秤盘A、B、C和D由刚性顶板360覆盖。为了测量重量分布，将物体300移动到顶板360上。由四个秤盘A、B、C和D测量的重量分别为Fa、Fb、Fc和Fd。四个秤盘的总重量是Fa、Fb、Fc和Fd的和，命名为Fabcd。Fa和Fb的和命名为Fab，Fb和Fc的和命名为Fbc，Fc和Fd的和命名为Fcd，Fd和Fa的和命名为Fad。秤盘的长度定义为L(在连接秤盘A和D的线与连接秤盘B和C的线之间)，秤盘的宽度定义为W(在连接秤盘A和B的线与连接秤盘C和D线之间)。L的长度可以与W相同、小于或大于W，这取决于秤盘所需的空间和要称重的物体300的大小。沿长度方向投影在顶板360上的物体300的质心被计算为到连接A和D的线的距离为L×Fbc/F adcd，或者到连接B和C的线的距离为L×Fad/Fadcd。沿宽度方向投影在顶板360上的物体300的质心被计算为到连接A和B的线的距离为W×Fcd/Fadcd，或者到连接C和D的线的距离为W×Fab/Fadcd。因此，计算出了投射在顶板360上的物体300的质心(由实心圆圈M示出)。相比较低，通过物体300的3D几何结构计算物体300的几何中心。投射在顶板360上的几何中心被示出为空心圆圈G。在某些实施例中，处于当前底表面上的物体300的布置是用于操纵的主要位置，通过将点M向上延伸物体300的高度H的一半来估计3D的物体300的质心。在某些实施例中，也可以将物体300翻转三次以测量质心的三个投影，并且使用质心的三个投影来更精确地估计质心。
如上所述，物体100的位置和取向的信息以及物体100的物理特征的信息可以用于执行用于处理物体的机器人操纵。例如，特定物体100可以具有被标记为“顶表面”的一个表面，顶表面优选地面向上。然而，物体100的实际姿态可能不理想，并且“顶表面”可能不是面向上的。在这种情况下，机器人系统可以获得物体100的位置、取向和物理特征的信息，并且通过翻转物体100来执行用于处理物体的机器人操纵，使得物体的姿态为处于优选位置，在该优选位置下顶表面面向上。涉及机器人操纵的其他示例可以包括但不限于抓取设备(即，吸盘、机器人臂、夹持器或电粘附设备)的类型、将这些设备施加到物体100上的位置、可以施加到包装的最大速度和最大力、或利用产品进行存储、堆叠、取消堆叠(unstack)和装盒的优选方式。
在某些实施例中，可以是这样的：替代使用物体100的位置、取向和物理特征的信息来指示用于处理物体的机器人操纵，电子包装信息标签200可以直接存储用于处理物体的机器人操纵的信息。
在本发明的另一方面中，可以提供一种机器人系统。例如，图4是根据本发明的某些实施例的机器人系统的示意图。如图4所示，机器人系统400包括一个或多个感测设备410、一个或多个机器人抓取设备420和控制器430，其可以用于处理物体100。感测设备410中的每一个感测设备可以是相机，其用于获得产品信息。机器人抓取设备420中的每一个可以是吸力设备、机器人臂、夹持器、电粘附设备或能够抓取物体以执行用于处理物体100的机器人操纵的任何其他抓取设备。控制器430连接到感测设备410和机器人抓取设备420，以便控制感测设备410和机器人抓取设备420。物体100可以是被包装为产品的物体，如图1所示。在操作中，感测设备410检测并捕获物体100的标签信息(例如，图像)，并且将捕获的标签信息发送给控制器430。控制器430基于标签信息产生指令并将指令发送给机二器人抓取设备420。响应于所接收的指令，机器人抓取设备420对物体100执行某些操作。
图5是根据本发明的一个实施例的机器人系统的控制器的示意图。如图5所示，图5中所示的控制器500可以是计算设备，其包括处理器512、存储器514和存储计算机可执行代码518的存储设备516。
处理器512控制控制器510的操作。在某些实施例中，处理器512可以是中央处理单元(CPU)。存储器514可以是易失性存储器(例如，随机存取存储器(RAM))，用于存储控制器510的操作期间的数据和信息。在某些实施例中，存储器514可以是易失性存储器阵列。在某些实施例中，控制器510可以在多于一个的处理器512和/或多于一个的存储器114上运行。
存储设备516是用于存储控制器510的计算机可执行代码518的非易失性数据存储介质或设备。存储设备516的示例可以包括闪存、存储器卡、USB驱动器或其他类型的非易失性存储设备(例如，硬盘驱动器、软盘、光盘驱动器或任何其他类型的数据存储设备)。在某些实施例中，控制器110可以具有多于一个的存储设备516。
计算机可执行代码518包括代码或指令，所述代码或指令当在处理器512处执行时，可以执行某些特征以控制如图4所示的感测设备410和机器人抓取设备420的操作。具体地，这些特征的示例可以包括但不限于控制感测设备410之一检测和捕获物体上的电子包装信息标签之一，以获得捕获的图像；处理捕获的图像以获得产品信息；以及基于产品信息，控制机器人抓取设备420之一执行用于处理物体100的机器人操纵。
在某些实施例中，如图5所示的控制器500可以用于执行用于处理物体100的机器人操纵。例如，图6是示出了根据本发明的一个实施例的使用机器人系统处理物体的方法的流程图。在某些实施例中，如图6所示的方法可以在如图4和图5所示的机器人系统上实现。应特别注意，除非在本发明中另有说明，否则该方法的步骤可以以不同的顺序布置，因此不限于如图6所示的顺序。
如图6所示，当提供了如图4所示的机器人系统400时，在过程610处，可以提供物体100作为产品，其中可以在物体100的多个表面上设置多个电子包装信息标签200。然后，在过程620处，控制器430可以控制感测设备410检测和捕获物体100上的电子包装信息标签200之一，以便获得捕获的图像。在过程630处，控制器430可以处理捕获的图像以获得产品信息。在某些实施例中，捕获的图像可以包括在物体100的不同表面上的多于一个的电子包装信息标签200，使得控制器430可以获得全面信息以用于用以处理物体的机器人操纵。当获得了产品信息时，在过程640处，控制器430可以控制机器人抓取设备420基于产品信息执行用于处理物体100的机器人操纵。在某些实施例中，感测设备410还可以被配置为获得标签的倾斜角度和从感测设备410到标签上的不同点的距离方差(distance variance)，并且处理这些信息以确定包装的姿态。在某些实施例中，电子包装信息标签200中的一个或多个电子包装信息标签可以包括第一区域和第二区域。第一区域是预定区域，并且具有特殊图案，使得第一区域容易被感测设备410检测到。此外，第一区域的设计还使得能够鲁棒地估计第一区域或电子包装信息标签200的姿态。第一区域通常具有容易检测和快速姿态估计的简单图案。相比之下，第二区域可以更复杂，并且包括物体和产品的详细信息。
总之，使用如在本发明的某些实施例中描述的机器人系统和方法，在未来的物流系统中可以主要由机器人高效处理包装物，并且可以降低这种机器人系统的成本和复杂性。
在某些实施例中，互联网购物需要高效履行能力和低成本物流网络。作为实现这一目标的一种方式，机器人抓取用于高效地操纵包裹，例如机器人手或吸盘。作为示例，带吸盘的Delta机器人可以用于在拾取工作时抓取物体。当包装上有足够光滑的较大表面时，可以通过将吸盘施加到包装的质心来确保成功的抓取。然而，内部为任意产品的包装的质心很难计算，特别是使用计算机视觉系统。因此，经常使用包装的几何中心而不是真正的质心，并且定义包装的形状对于找到几何中心是重要的。在某些情况下，还存在另一种可能性，即在运输过程期间包装物(package)被无序地堆垛，这意味着包装物将不水平放置。为了在这种用例下更好地抓取包装，需要获得包装的姿态和位置的信息。
在某些实施例中，提供了一种新的包装设计，以便更容易地进行边缘检测，从而精确地计算几何中心并更好地地方化(localize)和定位无序的包装物。图7是根据本发明的另一方面的使用包装方法被包装为产品的物体的示意图。如图7所示，物体700为长方体盒的形状，具有六个表面710。每个表面710具有四个电子包装信息标签720，它们分别位于对应表面710的四个角处。在图7所示的示例中，物体700的前表面具有分别位于前表面的四个角处的四个电子包装信息标签722、724、726和728。在某些实施例中，每个表面还设置有表面点715。每个表面点715可以位于对应表面的几何中心处，或者位于对应表面的几何中心周围。在某些实施例中，表面点的位置对于每个表面是特殊的，以帮助确定物体700的取向和位置。在某些实施例中，电子包装信息标签720被印刷为Apriltag或QR码。
在某些实施例中，对于每个表面710，四个电子包装信息标签720被设计为四个不同的取向：左上标签、右上标签、左下标签和右下标签，每个标签与四个角中的一个角相对应。因此，如果仅检测到一个电子包装信息标签，则鉴于包装没有被完全或大部分遮挡，无论包装的姿态如何，计算机视觉系统都可以知道包装的确切姿态(位置、取向等)。
图8A至图8C示意性地示出了在物体表面的一个角处的标签的各种位置说明。如图8A所示，电子包装信息标签820A位于对应表面的一个角处，标签的两个侧线与对应角的两个边缘线对齐且实质上重叠。通过这种类型的设计，通过检测标签820A可以容易且精确地定义表面的边缘。在某些实施例中，如图8B所示，电子包装信息标签820B位于对应表面的一个角处，标签的两个侧线与对应角的两个边缘线平行。标签820B的顶线与角的顶边缘线之间的距离d1与标签820B的左侧线与角的左边缘线之间的距离d2基本相同。通过在标签和边缘之间具有小的距离，防止标签820B由于角的小变形而被遮挡。在某些实施例中，如图8C所示，电子包装信息标签820C位于对应表面的一个角处，标签的两个侧线与对应角的两个边缘线平行。标签820C的顶线与角的顶边缘线之间的距离为d3，标签820C的左侧线与角的左边缘线之间的距离为d4。距离d3和距离d4彼此不同，使得视觉系统可以简单地通过检测距离d3和距离d4来识别角。实际上，物体上的每个标签可以具有到对应角的两个对应边缘线的特定距离，使得可以简单地通过它们到两个边缘的距离来识别每个标签。此外，也可以将距离信息与存储在标签中的信息组合，以便为产品的操作提供足够的信息。在某些实施例中，该信息具有一些冗余，以便可以由图4所示的控制器430执行对信息的有效性的检查。
在某些实施例中，Apriltag或QR码可以携带履行所需的信息和物流操作所需的信息两者，例如包装的尺寸、订单ID、重量、重量分布、产品信息等。
在某些实施例中，每个标签还可以包含可以施加到包装的最大速度、最大力、易碎性、属性、湿度、温度等，以更好地确保递送质量。
在某些实施例中，计算机视觉系统可以检测每个印刷标签的位置和取向，并基于印刷标签的位置和取向来构造包装的几何形状。例如，包装的几何形状是预定的，并存储在产品数据库中。当检测到标签相对于包装表面的位置和取向时，然后基于所检测的标签和所存储的包装几何信息来确定包装的位置和取向。在一个实施例中，在包装的每侧的四个角上印刷Apriltag。在另一实施例中，仅在适合于操纵者抓取或拾取包装的主表面上印刷Apriltag。
在某些实施例中，计算机视觉系统基于所检测的图7所示的表面点715来确定可操作平面的边缘和每个平面的几何中心。每个表面点715可以位于对应表面的几何中心处，或者位于对应表面的几何中心周围。在某些实施例中，几何中心的位置对于每个表面是特殊的，以帮助确定物体700的取向和位置。
在某些实施例中，计算机视觉系统可以通过检测所有边缘来知道包装的六个自由度姿态，以确定整体形状并知道包装的精确位置。
根据本发明的某些实施例，该设计对操作如图9A所示的一大堆包装物特别有用。图9A是根据本发明的一个实施例的一堆物体的示意图。如图9A所示，平台950的表面上聚集有多个包装物900。包装物900中的一些彼此紧密相邻，并且一些包装物可能与其他包装物具有小的距离。当两个不同包装物900的两个边缘彼此接触并对齐时，难以确定那些相邻边缘。根据本发明的某些实施例，借助于四个角处的标签，容易地将这些边缘彼此区分。例如，如图9B所示，三个物体902、904和906具有彼此对齐的边缘。通过确定位于角处的对应标签、标签的大小和位置以及存储在标签中的信息，可以识别和区分那些物体902、904和906的相邻边缘。然后，可以使用所定义的边缘信息来合适地操纵那些物体。
总之，通过使用这种新的包装设计以更容易地检测所有边缘，包装物可以被大部分本地化、定位并保证以用于更有效的操纵，并且还可以降低这种复杂机器人系统的成本。
仅出于说明和描述的目的呈现了本发明的示例性实施例的前述描述，并且不旨在穷举或将本发明限制于所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。
选择和描述实施例是为了说明本发明的原理及其实际应用，以使得本领域其他技术人员能够利用本发明和各种实施例以及适合于预期的特定用途的各种修改。在不脱离本发明的精神和范围的情况下，备选实施例对于本发明所属领域的技术人员将变得显而易见。因此，本发明的范围由随附权利要求、而不是以上实施例和本文描述的示例性实施例来限定。

Claims (19)

1.一种包装方法，包括：
提供物体作为待包装的产品；以及
在所述物体的多个表面上设置多个电子包装信息标签以用于存储所述产品的信息，其中，所述表面中的每个表面上设置有所述电子包装信息标签中的至少一个电子包装信息标签，并且所述产品的信息包括所述物体的位置、取向和物理特征的信息；
其中，设置在所述表面中的每个表面上的所述至少一个电子包装信息标签是以不同的相对位置设置在其上的，所述电子包装信息标签设置在所述表面上的相对位置用于表征所述物体的位置和取向；
其中，所述电子包装信息标签中的每个电子包装信息标签是二维码形式，所述二维码具有第一区域和第二区域，所述电子包装信息标签中的每个电子包装信息标签的所述第一区域被设计用于容易检测和鲁棒姿态估计，所述电子包装信息标签中的每个电子包装信息标签的所述第二区域存储所述物体的物理特征的信息。
2.根据权利要求1所述的包装方法，其中，设置在所述表面中的每个表面上的所述至少一个电子包装信息标签具有不同的大小或不同的形状。
3.根据权利要求1所述的包装方法，其中，所述物体的物理特征包括：
所述物体的尺寸；
所述物体的重量；
所述物体的重量分布；
所述物体的属性；
所述物体的产品信息；以及
所述物体的位置和取向。
4.根据权利要求1所述的包装方法，其中，所述电子包装信息标签中的每个电子包装信息标签是一维条形码或水印标签的形式。
5.根据权利要求1所述的包装方法，其中，所述电子包装信息标签中的每个电子包装信息标签存储用于处理所述物体的机器人操纵的信息。
6.一种机器人系统，用于处理权利要求1中提供的所述物体，包括：
多个机器人抓取设备，每个机器人抓取设备被配置为抓取所述物体；
多个感测设备，每个感测设备被配置为获得产品的信息；以及
控制器，被配置为控制所述机器人抓取设备和所述感测设备，
其中，所述控制器被配置为执行以下操作：
控制所述感测设备之一检测和捕获所述物体上的电子包装信息标签之一，以获得捕获的图像；
处理所述捕获的图像以获得所述产品的信息，其中，所述产品的信息包括所述物体的位置、取向和物理特征的信息；以及
基于所述产品的信息，控制所述机器人抓取设备之一执行用于处理所述物体的机器人操纵；
其中，设置在所述物体的表面中的每个表面上的所述至少一个电子包装信息标签是以不同的相对位置设置在其上的，所述电子包装信息标签设置在所述表面上的相对位置用于表征所述物体的位置和取向；
其中，所述电子包装信息标签中的每个电子包装信息标签是二维码形式，所述二维码具有第一区域和第二区域，所述电子包装信息标签中的每个电子包装信息标签的所述第一区域被设计用于容易检测和鲁棒姿态估计，所述电子包装信息标签中的每个电子包装信息标签的所述第二区域存储所述物体的物理特征的信息。
7.根据权利要求6所述的机器人系统，其中，所述感测设备中的每个感测设备是相机，并且所述机器人抓取设备中的每个机器人抓取设备是吸力设备、机器人臂、夹持器或电粘附设备。
8.一种使用机器人系统处理物体的方法，包括：
提供所述物体作为产品，其中在所述物体的多个表面上设置多个电子包装信息标签以用于存储所述产品的信息，所述表面中的每个表面上设置有所述电子包装信息标签中的至少一个电子包装信息标签，并且所述产品的信息包括所述物体的位置、取向和物理特征的信息；
控制所述机器人系统的感测设备检测和捕获所述物体上的所述电子包装信息标签之一，以获得捕获的图像；
处理所述捕获的图像以获得所述产品的信息；以及
基于所述产品的信息，控制所述机器人系统的机器人抓取设备执行用于处理所述物体的机器人操纵；
其中，设置在所述表面中的每个表面上的所述至少一个电子包装信息标签是以不同的相对位置设置在其上的，所述电子包装信息标签设置在所述表面上的相对位置用于表征所述物体的位置和取向；
其中，所述电子包装信息标签中的每个电子包装信息标签是二维码形式，所述二维码具有第一区域和第二区域，所述电子包装信息标签中的每个电子包装信息标签的所述第一区域被设计用于容易检测和鲁棒姿态估计，所述电子包装信息标签中的每个电子包装信息标签的所述第二区域存储所述物体的物理特征的信息。
9.根据权利要求8所述的方法，其中，所述感测设备是相机，并且所述机器人抓取设备是吸力设备、机器人臂、夹持器或电粘附设备。
10.根据权利要求8所述的方法，其中，设置在所述表面中的每个表面上的所述至少一个电子包装信息标签具有不同的大小或具有不同的形状。
11.根据权利要求8所述的方法，其中，所述物体的物理特征包括：
所述物体的尺寸；
所述物体的重量；
所述物体的重量分布；
所述物体的属性；
所述物体的产品信息；以及
所述物体的位置和取向。
12.根据权利要求8所述的方法，其中，所述电子包装信息标签中的每个电子包装信息标签是一维条形码或水印标签的形式。
13.根据权利要求8所述的方法，其中，所述电子包装信息标签中的每个电子包装信息标签存储用于处理所述物体的所述机器人操纵的信息。
14.一种包装方法，包括：
提供物体作为待包装的产品；以及
在所述物体的至少一个表面的每个角上设置电子包装信息标签以用于存储所述产品的信息，其中所述产品的信息包括所述物体的位置、取向和物理特征的信息，其中，每个角上设置的电子包装信息标签，距离与该电子包装信息标签对应的角的边缘的距离为特定距离，所述特定距离适用于识别与所述特定距离对应的电子包装信息标签；
其中，设置在所述表面中的每个表面上的所述至少一个电子包装信息标签是以不同的相对位置设置在其上的，所述电子包装信息标签设置在所述表面上的相对位置用于表征所述物体的位置和取向；
其中，所述电子包装信息标签中的每个电子包装信息标签是二维码形式，所述二维码具有第一区域和第二区域，所述电子包装信息标签中的每个电子包装信息标签的所述第一区域被设计用于容易检测和鲁棒姿态估计，所述电子包装信息标签中的每个电子包装信息标签的所述第二区域存储所述物体的物理特征的信息。
15.根据权利要求14所述的包装方法，其中，所述电子包装信息标签包括Apriltag或QR码，并且所述电子包装信息标签包括所述物体的尺寸、订单ID、重量、重量分布和产品信息。
16.根据权利要求14所述的包装方法，其中，所述电子包装信息标签包括能够施加的最大速度、最大力、所述物体的易碎性、属性、湿度和温度。
17.根据权利要求15所述的包装方法，其中，所述物体的能够由机器人操作的每个表面还设置有表面点，用于将所述表面确定为能够操作的表面并用于确定所述物体的几何中心。
18.一种机器人系统，用于处理权利要求14中提供的所述物体，包括：
多个机器人抓取设备，每个机器人抓取设备被配置为抓取所述物体；
多个感测设备，每个感测设备被配置为获得所述产品的信息；以及
控制器，被配置为控制所述机器人抓取设备和所述感测设备，
其中，所述控制器被配置为执行以下操作：
控制所述感测设备之一检测和捕获所述物体上的所述电子包装信息标签之一，以获得捕获的图像，并且检测所述电子包装信息标签的位置；
处理所述捕获的图像以获得所述产品的信息；以及
基于所述产品的信息和所述电子包装信息标签的位置，控制所述机器人抓取设备之一执行用于处理所述物体的机器人操纵。
19.根据权利要求18所述的机器人系统，其中，所述感测设备中的每个感测设备是相机，并且所述机器人抓取设备中的每个机器人抓取设备是吸力设备、机器人臂、夹持器或电粘附设备。
CN201910890872.2A 2018-09-21 2019-09-19 用于处理物体的机器人系统及对其进行包装和处理的方法 Active CN110936386B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/137,673 US10817764B2 (en) 2018-09-21 2018-09-21 Robot system for processing an object and method of packaging and processing the same
US16/137,673 2018-09-21

Publications (2)

Publication Number Publication Date
CN110936386A CN110936386A (zh) 2020-03-31
CN110936386B true CN110936386B (zh) 2023-01-31

Family

ID=69885277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910890872.2A Active CN110936386B (zh) 2018-09-21 2019-09-19 用于处理物体的机器人系统及对其进行包装和处理的方法

Country Status (2)

Country Link
US (1) US10817764B2 (zh)
CN (1) CN110936386B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6810173B2 (ja) * 2019-01-29 2021-01-06 日本金銭機械株式会社 物体把持システム
TWI806006B (zh) * 2021-02-20 2023-06-21 緯創資通股份有限公司 熱影像定位方法及其系統
US11731282B2 (en) * 2021-03-03 2023-08-22 Dishcare Inc. Dish handling robot
US11514394B1 (en) * 2021-05-18 2022-11-29 Ford Global Technologies, Llc Package sorting platform sensory system
CN113989248A (zh) * 2021-11-01 2022-01-28 江苏昱博自动化设备有限公司 一种流水生产线用产品自动搬运系统及其搬运方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103250056A (zh) * 2010-11-12 2013-08-14 简.探针公司 用于在某过程中跟踪物品的系统和方法
CN105459136A (zh) * 2015-12-29 2016-04-06 上海帆声图像科技有限公司 机器人视觉抓取方法
US9826213B1 (en) * 2015-09-22 2017-11-21 X Development Llc Generating an image-based identifier for a stretch wrapped loaded pallet based on images captured in association with application of stretch wrap to the loaded pallet

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9926198D0 (en) * 1999-11-05 2000-01-12 Claricom Ltd Improvements in printer systems
JP5136302B2 (ja) * 2008-03-27 2013-02-06 株式会社デンソーウェーブ 二次元コード、二次元コード生成方法、二次元コードを表示させるコンピュータ読み取り可能なプログラム、二次元コードを利用した認証方法、及び二次元コードを利用した情報提供方法
KR101226751B1 (ko) * 2011-02-18 2013-01-25 (주)앤드웍스 디지털기기로 해독되는 정보를 포함한 디자인코드 패턴 및 그 운영시스템
US10832015B2 (en) * 2011-03-10 2020-11-10 Joseph A. Hattrup Trust Dated July 16, 1996, As Amended On-the-fly marking systems for consumer packaged goods
WO2013115801A1 (en) * 2012-01-31 2013-08-08 Hewlett-Packard Development Company, L.P. Identification mark with a predetermined color difference
JP6050473B2 (ja) * 2012-03-15 2016-12-21 エスセーアー・ハイジーン・プロダクツ・アーベー 保管位置におけるアイテムの位置決めを補助するための方法
US9016559B2 (en) * 2012-04-26 2015-04-28 United Parcel Service Of America, Inc. Arranging for shipment of a package without generating a shipping label
CN103412428B (zh) * 2013-07-24 2016-01-27 北京京东方光电科技有限公司 一种对位系统
US11716211B2 (en) * 2016-10-01 2023-08-01 James L. Schmeling 3D-printed packaging with blockchain integration
US9492923B2 (en) * 2014-12-16 2016-11-15 Amazon Technologies, Inc. Generating robotic grasping instructions for inventory items
US9754341B2 (en) * 2015-03-20 2017-09-05 Digimarc Corporation Digital watermarking and data hiding with narrow-band absorption materials
US20190090955A1 (en) * 2016-03-01 2019-03-28 Mirus Llc Systems and methods for position and orientation tracking of anatomy and surgical instruments
CN110036162B (zh) * 2016-09-30 2021-04-02 新加坡-Eth研究中心 用于将物体放置在表面上的系统和方法
TWI614103B (zh) * 2016-10-21 2018-02-11 和碩聯合科技股份有限公司 機械手臂定位方法及應用其的系統
US10430657B2 (en) * 2016-12-12 2019-10-01 X Development Llc Object recognition tool
WO2018135063A1 (ja) * 2017-01-17 2018-07-26 国立研究開発法人産業技術総合研究所 マーカとマーカを用いた姿勢推定方法及び位置姿勢推定方法
DE102017109211A1 (de) * 2017-04-28 2018-10-31 Multivac Sepp Haggenmüller Se & Co. Kg Siegelvorrichtung
US10699147B2 (en) * 2017-06-22 2020-06-30 BITO Robotics, Inc. Systems and methods for fast identification and processing of an image area of interest
US10666929B2 (en) * 2017-07-06 2020-05-26 Matterport, Inc. Hardware system for inverse graphics capture
US10460222B2 (en) * 2017-11-22 2019-10-29 Newtonoid Technologies, L.L.C. Graphically encoded icons having intrinsic attributes embedded therein and systems and methods for using same
US11620809B2 (en) * 2018-09-11 2023-04-04 Dilili Labs, Inc. Robust fiducial marker for flexible surfaces

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103250056A (zh) * 2010-11-12 2013-08-14 简.探针公司 用于在某过程中跟踪物品的系统和方法
US9826213B1 (en) * 2015-09-22 2017-11-21 X Development Llc Generating an image-based identifier for a stretch wrapped loaded pallet based on images captured in association with application of stretch wrap to the loaded pallet
CN105459136A (zh) * 2015-12-29 2016-04-06 上海帆声图像科技有限公司 机器人视觉抓取方法

Also Published As

Publication number Publication date
US10817764B2 (en) 2020-10-27
US20200094414A1 (en) 2020-03-26
CN110936386A (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
CN110936386B (zh) 用于处理物体的机器人系统及对其进行包装和处理的方法
JP7411932B2 (ja) 自動パッケージ登録システム、デバイス、および方法
US9707682B1 (en) Methods and systems for recognizing machine-readable information on three-dimensional objects
JP7349094B2 (ja) ピースロス管理メカニズムを有するロボットシステム
JP6805465B2 (ja) センサ誘導式ロボットを用いたボックスの位置特定、分離、およびピッキング
US9424470B1 (en) Systems and methods for scale invariant 3D object detection leveraging processor architecture
WO2016060716A2 (en) Real-time determination of object metrics for trajectory planning
JP7175487B1 (ja) 画像ベースのサイジングメカニズムを備えたロボットシステム及びロボットシステムを操作するための方法
JP7126667B1 (ja) 深さベースの処理メカニズムを伴うロボットシステム及びロボットシステムを操作するための方法
JP3849581B2 (ja) 物品認識システム
JP7218521B2 (ja) ピッキングシステム
JP7218881B1 (ja) 物体更新機構を備えたロボットシステム及びロボットシステムを操作するための方法
JP7398763B2 (ja) 重なり処理機構を備えたロボットシステム及びその操作方法
CN115258510A (zh) 具有物体更新机制的机器人系统和用于操作所述机器人系统的方法
CN115609569A (zh) 具有基于图像的尺寸确定机制的机器人系统及其操作方法
TW202319946A (zh) 學習資料的生成裝置及學習資料的生成方法、以及使用學習資料的機械學習裝置及機械學習方法
CN115570556A (zh) 具有基于深度的处理机制的机器人系统及其操作方法
JP2023524607A (ja) ロボット多面グリッパアセンブリ及びその操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210513

Address after: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing

Applicant after: Beijing Jingbangda Trading Co.,Ltd.

Applicant after: JD.com American Technologies Corp.

Address before: 100086 8th Floor, 76 Zhichun Road, Haidian District, Beijing

Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: JD.com American Technologies Corp.

Effective date of registration: 20210513

Address after: Room a1905, 19th floor, building 2, yard 18, Kechuang 11th Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd.

Applicant after: JD.com American Technologies Corp.

Address before: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant before: Beijing Jingbangda Trading Co.,Ltd.

Applicant before: JD.com American Technologies Corp.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant