CN112585064B - 软包装、处理软包装的机器人系统和方法 - Google Patents
软包装、处理软包装的机器人系统和方法 Download PDFInfo
- Publication number
- CN112585064B CN112585064B CN201980053736.6A CN201980053736A CN112585064B CN 112585064 B CN112585064 B CN 112585064B CN 201980053736 A CN201980053736 A CN 201980053736A CN 112585064 B CN112585064 B CN 112585064B
- Authority
- CN
- China
- Prior art keywords
- rigid
- flexible package
- robotic
- package
- gripping member
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/0009—Gripping heads and other end effectors comprising multi-articulated fingers, e.g. resembling a human hand
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
- B65D33/00—Details of, or accessories for, sacks or bags
- B65D33/06—Handles
- B65D33/08—Hand holes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39109—Dual arm, multiarm manipulation, object handled in cooperation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39571—Grip, grasp non rigid material, piece of cloth
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Manipulator (AREA)
- Bag Frames (AREA)
Abstract
软包装包括:包装主体,由柔软的可变形材料制成;以及多个刚性夹持部件,设置在包装主体的外围或拐角处。每个刚性夹持部件包括刚性环结构,刚性环结构被构造为由机器人装置夹持。通过以下步骤使用机器人系统处理该软包装:控制机器人系统的计算机视觉系统捕捉软包装的图像;处理软包装的图像,以识别刚性夹持部件的位置;以及控制机器人系统的机器人装置来抓取刚性夹持部件。
Description
交叉引用
本申请要求于2018年9月21日提交的题为“软包装、处理软包装的机器人系统和方法”的美国申请No.16/137,744的优先权,其全部内容通过引用并入本文。
技术领域
本公开总体上涉及机器人及包装技术,更具体地,涉及一种软包装、处理软包装的机器人系统和方法。
背景技术
在本公开的描述中引用和讨论了一些可能包括专利、专利申请和各种出版物的参考文献。提供对此类参考文献的引用和/或讨论仅是为了阐明本公开的描述,而不是承认任何此类参考文献是本文中所描述的公开的“现有技术”。在本说明书中引用和讨论的所有参考文献均通过引用将其全部内容并入本文,其程度与每个参考文献通过引用单独并入的程度相同。
本文提供的背景技术描述是为了从总体上呈现本公开的背景的目的。在该背景技术部分中所描述的范围内,当前署名的发明人的工作以及在递交申请时可能无法视为现有技术的描述内容,既未明确也未暗示将其作为本公开的现有技术。
当前,互联网购物需要高效的完成能力和低成本的物流网络。因此,机器人技术是通过机器人手或吸盘操纵包装的有效方法。例如,一些机器人系统(例如,Delta机器人)在拣货作业中使用吸盘来抓取物体。在这种情况下,如果每个包装上都有足够大的光滑表面,则很容易用吸盘来抓取固体箱包装。然而,对于软包装,其上可能没有足够大的光滑表面来保证成功拣货。在这种情况下,可以使用除吸盘以外的装置来抓取物体,例如,钩挂型夹持器或其他抓取装置。
然而,软包装在包装和随后的移动过程中可能会变形,并且如果没有足够大的光滑表面、固体部分或悬挂孔来可靠地抓取和/或钩取,机器人将很难抓取具有不同形状的软包装。
因此,在本领域中存在解决上述缺陷和不足的未解决的需求。
发明内容
在某些方面,本公开涉及一种软包装,包括:包装主体,由柔软的可变形材料制成;以及多个刚性夹持部件,设置在所述包装主体的外围。在某些实施例中,刚性夹持部件设置在包装主体的多个拐角处。在某些实施例中,每个刚性夹持部件包括刚性环结构,所述刚性环结构被构造为由机器人装置夹持。
在某些实施例中,包装主体具有实质矩形形状。
在某些实施例中,刚性环结构是磁性的。
在某些实施例中,每个刚性夹持部件还包括视觉引导结构,所述视觉引导结构被构造为由计算机视觉系统检测。
在某些实施例中,视觉引导结构是彩色结构。
在某些实施例中,视觉引导结构是其上具有计算机可识别码的标签。
在某些实施例中,计算机可识别码是条形码、水印、快速响应QR码或Apriltag码。
在某些实施例中,机器人装置是夹持装置或吊钩装置。
在某些实施例中,夹持装置具有可扩展夹持部件,所述可扩展夹持部件被构造为可在常规状态和扩展状态之间切换;当所述可扩展夹持部件处于所述常规状态时,所述可扩展夹持部件的尺寸小于所述刚性环结构的内部尺寸,以使所述可扩展夹持部件被构造为插入到所述刚性环结构中;以及当所述可扩展夹持部件处于所述常规状态时,扩展所述可扩展夹持部件的尺寸以适配于所述刚性环结构的内部尺寸,以使所述可扩展夹持部件被构造为夹持所述刚性环结构。
本公开的一些方面涉及一种处理软包装的机器人系统。机器人系统包括:控制器;以及多个机器人装置,每个机器人装置被构造为抓取所述软包装;其中,所述软包装包括:包装主体,由柔软的可变形材料制成;以及多个刚性夹持部件,设置在所述包装主体的外围,其中,每个刚性夹持部件包括刚性环结构,所述刚性环结构被构造为由所述多个机器人装置中的一个机器人装置夹持;以及计算机视觉系统,被构造为捕捉所述软包装的图像并识别所述软包装的所述刚性夹持部件的位置。在某些实施例中,刚性夹持部件设置在包装主体的多个拐角处。在一些实施例中,包装主体具有实质矩形形状并具有四个拐角。
在某些实施例中,计算机视觉系统包括相机和控制器,所述相机被构造为捕捉所述软包装的图像,所述控制器被构造为处理由所述相机捕捉的所述软包装的图像并识别所述软包装的所述刚性夹持部件的位置。
在某些实施例中,每个机器人装置是夹持装置或吊钩装置。
在某些实施例中,每个刚性夹持部件还包括视觉引导结构,所述视觉引导结构被构造为由所述计算机视觉系统检测。
在某些实施例中,视觉引导结构是彩色结构。
在某些实施例中,视觉引导结构是其上具有计算机可识别码的标签,所述计算机可识别码是条形码、水印、快速响应QR码或Apriltag码。
在某些实施例中,控制器被构造为:控制所述机器人装置抓取所述软包装的至少两个刚性夹持部件的刚性环结构,以使所述软包装的至少两个刚性夹持部件的每个刚性环结构被所述多个机器人装置中的一个机器人装置抓取;以及控制所述机器人装置抓取所述软包装的至少两个刚性夹持部件,以翻转所述软包装。
在本公开的另一方面,一种使用机器人系统处理软包装的方法包括:提供所述软包装,其中,所述软包装包括:包装主体,由柔软的可变形材料制成;以及多个刚性夹持部件,设置在所述包装主体的外围,其中,每个刚性夹持部件包括刚性环结构,所述刚性环结构被构造为由所述机器人系统的所述多个机器人装置中的一个机器人装置夹持;控制所述机器人系统的计算机视觉系统以捕捉所述软包装的图像;处理软包装的图像,以识别所述刚性夹持部件的位置;以及控制所述机器人系统的所述机器人装置抓取所述刚性夹持部件。
在某些实施例中,刚性夹持部件设置在包装主体的多个拐角处。在一些实施例中,包装主体具有矩形形状并具有四个拐角。
在某些实施例中,每个机器人装置是夹持装置或吊钩装置。
在某些实施例中,每个刚性夹持部件还包括视觉引导结构,所述视觉引导结构被构造为由所述计算机视觉系统检测。
在某些实施例中,该方法还包括:控制所述机器人系统的所述机器人装置抓取所述软包装的至少两个刚性夹持部件的刚性环结构,以使所述软包装的至少两个刚性夹持部件的每个刚性环结构由所述多个机器人装置中的一个机器人装置抓取;以及控制所述机器人装置抓取所述软包装的至少两个刚性夹持部件,以翻转所述软包装。
根据以下结合附图及其说明文字对优选实施例的描述,本公开的这些和其他方面将变得显而易见,尽管在不脱离本公开的新颖构思的精神和范围的情况下,其中的变化和修改可能被影响。
附图说明
附图示出了本公开的一个或多个实施例,与书面描述一起用于解释本公开的原理。贯穿附图,尽可能使用相同的附图标记指代实施例的相同或相似元件。
图1A是根据本公开的一个实施例的夹持装置的示意图,其中夹持装置处于夹持状态。
图1B是图1A所示的夹持装置处于关闭状态的示意图。
图1C是图1A所示的夹持装置处于打开状态的示意图。
图2A是根据本公开的一个实施例的软包装的示意图,其中软包装处于扁平的空状态。
图2B是图2A所示的软包装在包装状态下的示意图。
图2C是图2A或图2B的刚性夹持部件的示意图。
图2D是根据本公开另一个实施例的软包装的示意图,其中每个刚性夹持部件包括标签。
图3是根据本公开的一个实施例的机器人系统的示意图。
图4是根据本公开的一个实施例的机器人系统的控制器的示意图。
图5是示出根据本公开的一个实施例的使用机器人系统处理软包装的方法的流程图。
图6是根据本公开的一个实施例的多个待处理的软包装的示意图。
具体实施方式
以下示例中更具体地描述了本公开,这些示例仅旨在举例说明,其中的许多修改和变化对本领域技术人员而言是显而易见的。现在详细描述本公开的各种实施例。参考附图,贯穿附图,相同的数字表示相同的部件。如本文的说明中及整个权利要求中所使用的,“一”、“一个”和“所述”的含义包括复数形式,除非上下文另外明确指出。此外,如本文的说明及整个权利要求中所使用的,“在...中”的含义包括“在...中”和“在...上”,除非上下文另外明确指出。此外,为了方便读者,在说明中可能使用标题或副标题,这不会影响本公开的范围。另外,以下对本说明中使用的一些术语进行更具体地定义。
本说明书中使用的术语在本公开的上下文中以及在使用各术语的特定上下文中通常具有其本领域的普通含义。在下文或说明书的其他位置讨论了用于描述本公开的一些术语,以向从业者提供关于本公开的描述的附加指导。应当理解,可以以一种以上的方式陈述同一事物。因此,备选的语言和同义词可用于本文讨论的任何一个或多个术语,术语是否在此阐述或讨论也没有任何特殊意义。在此提供了某些术语的同义词,但一个或多个同义词的列举不排除使用其他同义词。在本说明书中任何位置使用的示例,包括在此讨论的任何术语的示例,仅是示例性的,绝不限制本公开或任何示例性术语的范围和含义。同样,本公开不限于本说明书中给出的各种实施例。
应当理解,当称一个元件在另一元件“上”时,该元件可以直接在该另一元件上,或者在它们之间可以存在中间元件。相反,当称一个元件“直接在”另一个元件“上”时,则不存在中间元件。如本文所使用的,术语“和/或”包括一个或多个相关联的所列项目的任意和所有组合。
应当理解,尽管本文可以使用术语第一、第二、第三等来描述各种元件、部件、区域、层和/或部分,但是这些元件、部件、区域、层和/或部分不应受这些术语的限制。这些术语仅用于区分一个元件、部件、区域、层或部分与另一元件、部件、区域、层或部分。因此,在不脱离本公开的教导的情况下,下面讨论的第一元件、部件、区域、层或部分可以被称为第二元件、部件、区域、层或部分。
此外,相对术语,例如“下部”或“底部”以及“上部”或“顶部”,在本文中可用于描述如附图中所示的一个元件与另一元件的关系。应当理解,除附图中描绘的取向外,相对术语还旨在涵盖装置的不同取向。例如,如果将附图之一中的装置翻转,则描述为在其他元件的“下”侧的元件将定向在其他元件的“上”侧。因此,根据附图的特定取向,示例性术语“下部”可包含“下部”和“上部”这两个取向。类似地,如果将其中一个附图中的装置翻转,则描述为在其他元件“之下”或“下方”的元件将定向为在其他元件“之上”。因此,示例性术语“在...之下”或“在...下方”可以包含上方和下方两个取向。
本文中使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员通常理解的相同含义,除非另外定义。还应当理解,诸如在常用词典中定义的术语应被解释为具有与它们在相关领域和本公开的上下文中的含义一致的含义,而不应以理想化或过于刻板的方式来解释,除非在本文中明确定义。
如本文所使用的,“大约”、“左右”、“大致”或“接近”应通常是指在给定值或范围的百分之二十以内,优选地为百分之十以内,更优选地为百分之五以内。这里给出的数值是近似的,意指如果没有明确说明,则可以对术语“大约”、“左右”、“大致”或“接近”进行推断。
如本文所使用的,“多个”是指两个或更多个。
如本文所使用的,术语“包括”、“包含”、“承载”、“具有”、“含有”、“涉及”等应被理解为开放式的,即意指包括但不限于。
如本文所使用的,短语“A、B和C中的至少一个”应被解释为表示使用非排他性逻辑“或”的逻辑(A或B或C)。应当理解,在不改变本公开的原理的情况下,可以以不同的顺序(或同时)执行方法内的一个或多个步骤。
如本文所使用的,术语“模块”可以指代以下各项的一部分或包括专用集成电路(ASIC)、电子电路、组合逻辑电路、现场可编程门阵列(FPGA)、执行代码的处理器(共享的、专用的或处理器组)、提供上述功能的其他合适的硬件部件、或上述一些或全部的组合,例如在片上系统中。术语“模块”可以包括存储由处理器执行的代码的存储器(共享的、专用的或存储器组)。
如本文所使用的,术语“代码”可以包括软件、固件和/或微代码,并且可以指代程序、例程、功能、类和/或对象。如上文所使用的,术语“共享”是指可以使用单个(共享)处理器执行来自多个模块的一些或全部代码。另外,来自多个模块的一些或全部代码可以由单个(共享)存储器存储。如上文所使用的,术语“组”是指可以使用一组处理器执行来自单个模块的一些或全部代码。另外,可以使用一组存储器存储来自单个模块的一些或全部代码。
如本文所使用的,术语“接口”通常指代在部件之间的交互点处用于在部件之间执行数据通信的通信工具或装置。通常,接口可以适用于硬件和软件,并且可以是单向接口或双向接口。物理硬件接口的示例可以包括电连接器、总线、端口、缆线、终端和其他I/O设备或部件。与接口通信的部件例如可以是计算机系统的多个部件或外围设备。
如上所述,夹持装置可以用于抓取物体。例如,图1A至图1C示出了根据本公开的某些实施例的夹持装置。如图1A所示,夹持装置100由基座110和两个臂状部件120形成,每个臂状部件120由可以相对于基座110旋转的多个可移动部分形成。图1A示出了处于夹持状态的夹持装置100,其中臂状部件120可以形成特定角度以在由臂状部件120形成的空间内夹持物体130。相比之下,图1B示出了处于关闭状态的夹持装置100,图1C示出了处于打开状态的夹持装置100。
然而,软包装可以由允许任意改变软包装的形状的柔软的、可变形的材料形成。在这种情况下,没有用于如图1A至图1C所示的夹持装置100夹持软包装的固定表面。因此,为了确保成功夹持,本公开的一个方面提供了一种具有刚性夹持部件的软包装。
图2A和图2B示出了根据本公开的某些实施例的软包装。如图2A所示,软包装200包括:包装主体210和四个刚性夹持部件220。包装主体210在扁平的空状态下为大致矩形形状。四个刚性夹持部件220设置在包装主体210的四个拐角处。包装主体210由柔软的可变形材料制成,因此允许包装主体210在包装过程中发生变形。图2B示出了处于包装状态的软包装,其中包装主体210变形以将物体包装在其中。相比之下,每个刚性夹持部件220由“刚性”材料形成,意味着刚性夹持部件220的刚度比可变形材料好得多,使得刚性夹持部件220可以不像包装主体210一样容易变形。在这种情况下,刚性夹持部件220为机器人系统的交互提供了相对坚固的部分。如图2A所示,每个刚性夹持部件220是刚性环结构,用于被机器人装置(例如,图1A至图1C所示的夹持装置100)或任何其他夹持装置或吊钩装置夹持。
在操作中,软包装的包装主体210上可能没有足够大的安装表面来保证成功夹持。然而,每个刚性夹持部件220的刚性环结构可以提供多个夹持结构或钩挂结构,以供机器人系统夹持或钩挂在其中。例如,机器人系统可以包括多个机器人装置(每个机器人装置可以是夹持装置100,或任何其他夹持装置或吊钩装置),可以操作每个机器人装置以夹持或钩住对应的一个刚性夹持部件220的刚性环结构,从而实现对软包装200的拾取。
在某些实施例中,每个刚性夹持部件220的刚性环结构可以是磁性的,使得夹持装置100可以容易地对刚性环结构的位置进行检测。
在图2A所示的实施例中,包装主体210在扁平的空状态下呈大致矩形形状。在某些实施例中,包装主体210可以具有圆形形状或椭圆形形状,刚性环结构沿圆形或椭圆形形状的包装主体210的外围分布。圆形或椭圆形包装主体210上的刚性环结构的数量可以是两个、三个、四个或四个以上,刚性环结构优选沿包装主体210的外围均匀分布。在某些实施例中,包装主体210可以具有三角形形状、梯形形状或其他多边形形状,并且多个刚性环结构优选地位于包装主体210的外围,例如,包装主体210的拐角。
在该实施例中,刚性环结构形成圆形孔。在其他实施例中,刚性环结构可以具有椭圆形或多边形形状。在某些实施例中,多边形形状包括三角形、矩形或梯形、五边形、六边形、八边形、十二边形等。在某些实施例中,当刚性环结构具有五边形或六边形形状时,根据机器人操作装置的形状,机器人操作装置或机器人臂可以容易地拾起刚性环结构,并牢固地握住刚性环结构。
在某些实施例中,每个刚性夹持部件220还可以包括视觉引导结构,该视觉引导结构被构造为由机器人系统的计算机视觉系统进行检测,使得计算机视觉系统可以确定每个刚性夹持部件220的位置。在某些实施例中,视觉引导结构可以是彩色结构,具有与包装主体210不同的颜色,使得计算机视觉系统更容易识别出视觉引导结构。例如,如图2C所示,刚性夹持部件220划分为四个部分,每部分具有特定的红色、蓝色、绿色和黄色,从而使得视觉系统容易地识别出刚性夹持部件220。为了有效地辅助系统的操作,刚性夹持部件220的颜色数量可以是1至3种或大于4种,同一软包装200的刚性夹持部件220可以具有相同的颜色图案或不同的颜色图案。在某些实施例中,实现视觉引导结构的简单方式是为每个刚性夹持部件220提供彩色环结构,使得彩色环结构既可以用作刚性环结构,也可以用作彩色视觉引导结构。
备选地,刚性环结构和视觉引导结构可以是分开的结构。例如,图2D示出了根据本公开的不同实施例的软包装200'。如图2D所示的软包装200'与如图2A所示的软包装200之间的差异在于,每个刚性夹持部件220不仅包括刚性环结构,还包括其上具有计算机可识别码的标签225。在某些实施例中,标签225也必须是刚性且不容易变形的,以使得其上的计算机可识别码可以是普遍可识别的。如图2D所示,标签225上的计算机可识别码是快速响应(QR)码,该快速响应(QR)码可以包含有软包装200'的信息,使得计算机视觉系统可以通过扫描QR码来识别软包装200'的信息。另外,标签225还可以帮助计算机视觉系统更准确地定位对应刚性夹持部件220的刚性环结构。在某些实施例中,标签225上的计算机可识别码也可以是条形码、水印、Apriltag码或任何其他形式的计算机可识别码。每个拐角中的标签225可以彼此相同或不同。当四个拐角中的标签225彼此不同时,每个标签225可以包括与对应拐角相对应的特定信息。
应当注意,尽管图2D示出了标签225形成在包装主体210上,标签225的位置可以改变。例如,在某些实施例中,标签225可以是从包装主体210延伸的部分。
如上所述,处理软包装200的机器人装置不限于如图1A至图1C所示的夹持装置100。在某些实施例中,夹持装置可以是可扩展的夹持装置,具有构造为可在常规状态和扩展状态之间切换的可扩展夹持部件。当可扩展夹持部件处于常规状态时,可扩展夹持部件的尺寸小于每个刚性夹持部件220的刚性环结构的内部尺寸,以使可扩展夹持部件被构造为插入到刚性环结构中。当可扩展夹持部件处于常规状态时,扩展可扩展夹持部件的尺寸以适配于每个刚性夹持部件220的刚性环结构的内部尺寸,以使可扩展夹持部件被构造为夹持刚性环结构。可扩展夹持装置的示例可以在市场上获得。例如,IDG扩展夹持器,其是一种气动夹持器,可以扩展其中的三个小型指部以抓住孔型物品。或者,可扩展夹持装置例如是通过压缩弹性扩展器或使气囊膨胀来抓住孔的扩展夹持器。因此,可以使用刚性夹持部件220中的一个或两个刚性夹持部件220来执行对软包装的操作。在其他实施例中,也可以使用三个或全部四个刚性夹持部件220以使用机器人或夹持器来操作软包装200。
在本公开的另一方面,提供了一种机器人系统以处理如上所述的软包装。例如,图3是根据本公开的一个实施例的机器人系统的示意图。如图3所示,机器人系统300包括控制器310、多个机器人装置320和计算机视觉系统330。控制器310用于控制机器人装置320和计算机视觉系统330以处理软包装,该软包装可以是如以上任一实施例中所述的软包装200。每个机器人装置320可以是夹持装置100,或任何其他夹持装置或吊钩装置。计算机视觉系统330可以是扫描装置,扫描装置可以包括用于捕捉软包装200的图像的相机,扫描装置还可以包括用于识别软包装200的刚性夹持部件220的位置的对应软件部件,例如,图像识别软件。控制器310连接到机器人装置320和计算机视觉系统330,以便控制机器人装置320处理软包装200,并控制计算机视觉系统330识别软包装200的刚性夹持部件220的位置。
图4是根据本公开的一个实施例的机器人系统的控制器的示意图。如图4所示,控制器400可以是计算装置,包括处理器412、存储器414和存储有计算机可执行代码418的存储装置416。
处理器412对控制器410的操作进行控制。在某些实施例中,处理器412可以是中央处理单元(CPU)。存储器414可以是易失性存储器,例如随机存取存储器(RAM),用于在控制器410操作期间存储数据和信息。在某些实施例中,存储器414可以是易失性存储器阵列。在某些实施例中,控制器410可以在一个以上处理器412和/或一个以上存储器414上运行。
存储装置416是非易失性数据存储介质或用于存储控制器410的计算机可执行代码418的装置。存储装置516例如可以包括闪存、存储卡、USB驱动器或其他类型的非易失性存储装置,例如,硬盘驱动器、软盘、光盘驱动器或任何其他类型的数据存储装置。在某些实施例中,控制器410可以具有一个以上的存储装置416。
计算机可执行代码418包括代码或指令,当在处理器412处执行该代码或指令时,可以执行某些特征,以控制如图3所示的机器人装置320和计算机视觉系统330的操作。具体地,这些特征的示例可以包括但不限于控制机器人装置320抓取软包装200的一个或多个刚性夹持部件220的刚性环结构;控制计算机视觉系统330捕捉软包装200的图像;以及处理软包装的图像以识别刚性夹持部件220的位置。
应当注意,在对软包装200进行处理时,软包装200并不总是单独出现。例如,多个软包装200可以由如图3所示的机器人系统300累积并一起处理。在这种情况下,可以将待处理的每个软包装200放入包装堆中。由于在堆放和运输过程中所有软包装200都可能被无序堆放,因此一些软包装200可能变形或被其他包装或物体夹在闭塞位置,以使并非所有四个刚性夹持部件220都能露出。在这种情况下,对于每个软包装200,只要软包装200没有完全埋在堆中,就可能使软包装200的至少一个拐角露出,以由机器人系统300的计算机视觉系统330检测到。因此,软包装200可以提供至少一个刚性夹持部件220,以由机器人系统300抓取。换句话说,在软包装200的所有四个拐角均具有刚性夹持部件220的情况下,可以更好地保证软包装200被成功抓取。此外,在某些实施例中,如果机器人系统300的计算机视觉系统330未检测到四个刚性夹持部件220中的一些刚性夹持部件,则机器人系统300可以识别出软包装200的至少一部分被遮挡。如果机器人系统300检测到多个软包装200被遮挡,则机器人系统300可以确定软包装200被无序堆放。
在某些实施例中,机器人系统300可以被构造为控制机器人装置320执行对软包装200的翻转动作。例如,如果机器人系统300的控制器400确定软包装200具有至少两个可识别的刚性夹持部件220,则机器人系统300可以使用该至少两个可识别的刚性夹持部件220来进行软包装200的翻转。具体地,控制器400可以控制机器人装置320抓取软包装200的至少两个可识别刚性夹持部件220的刚性环结构,使得至少两个可识别刚性夹持部件220的每个刚性环结构被一个机器人装置320抓取。换句话说,软包装200被至少两个机器人装置320抓取。然后,控制器400可以控制抓取软包装200的至少两个刚性夹持部件220的至少两个机器人装置320翻转软包装200。
在本公开的另一方面,可以使用如图3所示的机器人系统300和如图4所示的控制器400来执行处理软包装的方法。例如,图5是根据本公开的一个实施例的使用机器人系统处理软包装的方法的流程图。在某些实施例中,如图5所示的方法可以在如图3所示的机器人系统300和如图4所示的控制器400上实现,由如图5所示的方法处理的软包装可以是上述任一实施例所述的软包装200。需要特别指出的是,除非在本公开中另有陈述,否则该方法的步骤可以以不同的顺序排列,因此并不限于图5所示的顺序。
如图5所示,当提供如图4所示的机器人系统300时,在过程510处,可以提供软包装200以进行处理。软包装200可以包括柔软的、可变形的包装主体210和多个刚性夹持部件220。然后,在过程520处,控制器400可以控制计算机视觉系统330来捕捉软包装200的图像。在某些实施例中,每个刚性夹持部件220还可以包括视觉引导结构,例如彩色结构或标签,该视觉引导结构容易被计算机视觉系统330检测到。在过程530处,控制器400可以处理软包装200的图像以识别软包装200的刚性夹持部件220的位置。一旦识别出软包装200的刚性夹持部件220的位置,在过程540处,控制器400就可以控制机器人装置320抓取刚性夹持部件220。
在对多个软包装或对软包装与刚性包装的混合包装进行操作期间,软包装的一个或多个拐角可能被其他包装挡住。图6是根据本公开的一个实施例的待处理的多个软包装的示意图。返回参考图3的描述并且如图6所示,多个软包装600堆叠在平台650上。每个软包装600具有四个刚性夹持部件620。然而,每个软包装600露出的供机器人操作的刚性夹持部件620的数量是变化的。基于每个软包装的尺寸、取向及其在堆叠中的位置,每个软包装露出的刚性夹持部件620可以是一个、两个、三个或四个。因此,根据本公开的一些实施例,可能每个软包装600至少具有一个暴露在外部的刚性夹持部件620,使得如图3所示的机器人可以容易地使用一个、两个、三个或四个露出的刚性夹持部件620拾起任意一个软包装。
前述对本公开的示例性实施例的描述仅出于说明和描述的目的给出,而并不旨在穷举或将本公开限制为所公开的精确形式。根据以上教导,可以进行许多修改和变化。
选择和描述实施例是为了解释本公开的原理及其实际应用,以便使本领域的其他技术人员能够利用本公开和各种实施例并进行各种修改,以适合于预期的特定用途。在不脱离本公开的精神和范围的情况下,备选实施例对于本公开所属领域的技术人员是显而易见的。因此,本公开的范围由所附权利要求限定,而不是前述描述和其中描述的示例性实施方式限定。
Claims (15)
1.一种软包装,包括:
包装主体,由柔软的可变形材料制成;以及
多个刚性夹持部件,设置在所述包装主体的外围,所述刚性夹持部件作为所述机器人装置夹持所述软包装的固定表面,
其中,每个刚性夹持部件包括刚性环结构,所述刚性环结构是磁性的,所述刚性环结构被构造为由机器人装置夹持;每个刚性夹持部件还包括视觉引导结构,所述视觉引导结构被构造为由计算机视觉系统检测,所述视觉引导结构是其上具有计算机可识别码的标签,所述标签是刚性且不容易变形的材质。
2.根据权利要求1所述的软包装,其中,所述包装主体具有实质矩形形状,并且所述刚性夹持部件设置在所述包装主体的四个拐角处。
3.根据权利要求1所述的软包装,其中,所述视觉引导结构是彩色结构。
4.根据权利要求1所述的软包装,其中,所述计算机可识别码是条形码、水印、快速响应QR码或Apriltag码。
5.根据权利要求1所述的软包装,其中,所述机器人装置是夹持装置或吊钩装置。
6.根据权利要求5所述的软包装,其中:
所述夹持装置具有可扩展夹持部件,所述可扩展夹持部件被构造为可在常规状态和扩展状态之间切换;
当所述可扩展夹持部件处于所述常规状态时,所述可扩展夹持部件的尺寸小于所述刚性环结构的内部尺寸,以使所述可扩展夹持部件被构造为插入到所述刚性环结构中;以及
当所述可扩展夹持部件处于所述常规状态时,扩展所述可扩展夹持部件的尺寸以适配于所述刚性环结构的内部尺寸,以使所述可扩展夹持部件被构造为夹持所述刚性环结构。
7.一种处理软包装的机器人系统,包括:
控制器;以及
多个机器人装置,每个机器人装置被构造为抓取所述软包装;其中,所述软包装包括:
包装主体,由柔软的可变形材料制成;以及
多个刚性夹持部件,设置在所述包装主体的外围,所述刚性夹持部件作为所述机器人装置夹持所述软包装的固定表面,
其中,每个刚性夹持部件包括刚性环结构,所述刚性环结构是磁性的,所述刚性环结构被构造为由所述多个机器人装置中的一个机器人装置夹持;每个刚性夹持部件还包括视觉引导结构,所述视觉引导结构被构造为由所述计算机视觉系统检测,所述视觉引导结构是其上具有计算机可识别码的标签,所述标签是刚性且不容易变形的材质;以及
计算机视觉系统,被构造为捕捉所述软包装的图像并识别所述软包装的所述刚性夹持部件的位置。
8.根据权利要求7所述的机器人系统,其中,所述计算机视觉系统包括相机和控制器,所述相机被构造为捕捉所述软包装的图像,所述控制器被构造为处理由所述相机捕捉的所述软包装的图像并识别所述软包装的所述刚性夹持部件的位置。
9.根据权利要求7所述的机器人系统,其中,每个机器人装置是夹持装置或吊钩装置。
10.根据权利要求7所述的机器人系统,其中,所述视觉引导结构是彩色结构。
11.根据权利要求7所述的机器人系统,其中,所述计算机可识别码是条形码、水印、快速响应QR码或Apriltag码。
12.根据权利要求7所述的机器人系统,其中,所述控制器被构造为:
控制所述机器人装置抓取所述软包装的至少两个刚性夹持部件的刚性环结构,以使所述软包装的至少两个刚性夹持部件的每个刚性环结构被所述多个机器人装置中的一个机器人装置抓取;以及
控制所述机器人装置抓取所述软包装的至少两个刚性夹持部件,以翻转所述软包装。
13.一种使用机器人系统处理软包装的方法,包括:
提供所述软包装,其中,所述软包装包括:
包装主体,由柔软的可变形材料制成;以及
多个刚性夹持部件,设置在所述包装主体的外围,所述刚性夹持部件作为所述机器人装置夹持所述软包装的固定表面,
其中,每个刚性夹持部件包括刚性环结构,所述刚性环结构是磁性的,所述刚性环结构被构造为由所述机器人系统的所述多个机器人装置中的一个机器人装置夹持;每个刚性夹持部件还包括视觉引导结构,所述视觉引导结构被构造为由所述计算机视觉系统检测,所述视觉引导结构是其上具有计算机可识别码的标签,所述标签是刚性且不容易变形的材质;
控制所述机器人系统的计算机视觉系统以捕捉所述软包装的图像;
处理所述软包装的图像,以识别所述刚性夹持部件的位置;以及
控制所述机器人系统的所述机器人装置抓取所述刚性夹持部件。
14.根据权利要求13所述的方法,其中,每个机器人装置是夹持装置或吊钩装置。
15.根据权利要求13所述的方法,还包括:
控制所述机器人系统的所述机器人装置抓取所述软包装的至少两个刚性夹持部件的刚性环结构,以使所述软包装的至少两个刚性夹持部件的每个刚性环结构由所述多个机器人装置中的一个机器人装置抓取;以及
控制所述机器人装置抓取所述软包装的至少两个刚性夹持部件,以翻转所述软包装。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/137,744 | 2018-09-21 | ||
US16/137,744 US11241795B2 (en) | 2018-09-21 | 2018-09-21 | Soft package, robot system for processing the same, and method thereof |
PCT/CN2019/101611 WO2020057309A1 (en) | 2018-09-21 | 2019-08-20 | Soft package, robot system for processing the same, and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112585064A CN112585064A (zh) | 2021-03-30 |
CN112585064B true CN112585064B (zh) | 2023-04-04 |
Family
ID=69885275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980053736.6A Active CN112585064B (zh) | 2018-09-21 | 2019-08-20 | 软包装、处理软包装的机器人系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11241795B2 (zh) |
EP (1) | EP3853139A4 (zh) |
JP (1) | JP7214849B2 (zh) |
CN (1) | CN112585064B (zh) |
WO (1) | WO2020057309A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210299866A1 (en) * | 2020-12-23 | 2021-09-30 | Intel Corporation | Robotic manipulation planning based on probalistic elastoplastic deformation material point method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2037822A1 (en) * | 1990-03-28 | 1991-09-29 | Knud N. Kristensen | Easily gripped pouch |
US5169198A (en) * | 1991-04-19 | 1992-12-08 | Volk Investment Co. | Handle for bagged items |
CN1474770A (zh) * | 2000-11-29 | 2004-02-11 | 带有抓手和折叠部件的可打开的组合装置 | |
DE102007028680A1 (de) * | 2007-06-21 | 2008-12-24 | Elau Elektronik-Automations-Ag | Gruppierungsstation |
CN105234951A (zh) * | 2015-10-28 | 2016-01-13 | 苏州博众精工科技有限公司 | 一种智能化引导式机械手视觉系统及其工作方法 |
CN206087773U (zh) * | 2016-08-25 | 2017-04-12 | 天津华今集团有限公司 | 一种便于搬运的编织袋 |
WO2017140920A1 (es) * | 2016-02-17 | 2017-08-24 | LYTZHOFT, Lone | Robot paralelo e instalación para paletización de sacos |
CN108046968A (zh) * | 2017-12-14 | 2018-05-18 | 河南智金网络技术有限公司 | 一种工业炸药自动包装生产线 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US1645259A (en) * | 1925-12-22 | 1927-10-11 | Less Carload Lots Company | Transportation car and container |
US3618174A (en) * | 1970-02-04 | 1971-11-09 | Herbert Schainholz | Magnetic fastener |
US7654595B2 (en) * | 2002-06-24 | 2010-02-02 | Panasonic Corporation | Articulated driving mechanism, method of manufacturing the mechanism, and holding hand and robot using the mechanism |
JP2004160567A (ja) * | 2002-11-11 | 2004-06-10 | Fanuc Ltd | 物品取出し装置 |
JP4711609B2 (ja) | 2003-07-31 | 2011-06-29 | 富士フイルム株式会社 | 複数のバーコードが表示された物品 |
US7313464B1 (en) * | 2006-09-05 | 2007-12-25 | Adept Technology Inc. | Bin-picking system for randomly positioned objects |
US8032986B2 (en) * | 2007-06-07 | 2011-10-11 | Patricia Lawrence | Self enclosed disposable carry handle |
US20100209019A1 (en) * | 2009-01-23 | 2010-08-19 | Confoy Robert E | Shipping package that converts into a backpack |
US8353416B2 (en) * | 2009-04-24 | 2013-01-15 | Mcf Distributing Llc | Bottom-dumping flexible debris container |
US20110081102A1 (en) | 2009-10-07 | 2011-04-07 | Wen-Tsan Wang | Recycling bag |
US8382176B2 (en) * | 2011-05-31 | 2013-02-26 | Arturo Meza | Vault cover mover |
US9978036B1 (en) * | 2011-09-14 | 2018-05-22 | Express Scripts Strategic Development, Inc. | Methods and systems for unit of use product inventory |
JP5266377B2 (ja) * | 2011-12-19 | 2013-08-21 | ファナック株式会社 | 物品の姿勢を修正する機能を備えた取出し装置 |
JP5620445B2 (ja) * | 2012-09-13 | 2014-11-05 | ファナック株式会社 | 選択条件に基づいてロボットの保持位置姿勢を決定する物品取出装置 |
AT514162A1 (de) * | 2013-04-09 | 2014-10-15 | Knapp Ag | Lager- und Kommissioniersystem zum vollautomatisierten Erkennen und Kommissionieren von Artikeln |
US9259844B2 (en) * | 2014-02-12 | 2016-02-16 | General Electric Company | Vision-guided electromagnetic robotic system |
JP6364836B2 (ja) * | 2014-03-14 | 2018-08-01 | セイコーエプソン株式会社 | ロボット、ロボットシステム、及び制御装置 |
WO2016003989A2 (en) * | 2014-07-01 | 2016-01-07 | MAGUIRE, Francis J. | Modified end face panel for a flexible insert for a container and tensioning method |
US9193073B1 (en) * | 2014-10-15 | 2015-11-24 | Quanta Storage Inc. | Robot calibration apparatus for calibrating a robot arm |
JP6559413B2 (ja) * | 2014-11-13 | 2019-08-14 | 株式会社東芝 | 移載装置及び荷物取出方法 |
JP6415291B2 (ja) * | 2014-12-09 | 2018-10-31 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP6486114B2 (ja) * | 2015-01-16 | 2019-03-20 | 株式会社東芝 | 荷役装置 |
CA3039352A1 (en) * | 2016-11-02 | 2018-05-11 | Tonejet Limited | Printing apparatus |
AT519452B1 (de) * | 2017-01-18 | 2018-07-15 | Tgw Logistics Group Gmbh | Verfahren und Vorrichtung zum Kommissionieren von Waren |
CN108537841B (zh) * | 2017-03-03 | 2021-10-08 | 株式会社理光 | 一种机器人拾取的实现方法、装置及电子设备 |
JP2018169660A (ja) * | 2017-03-29 | 2018-11-01 | セイコーエプソン株式会社 | オブジェクト姿勢検出装置、制御装置、ロボットおよびロボットシステム |
JP6538751B2 (ja) * | 2017-05-18 | 2019-07-03 | ファナック株式会社 | プログラミング装置及びロボット制御方法 |
CN110785268B (zh) * | 2017-06-28 | 2023-04-04 | 谷歌有限责任公司 | 用于语义机器人抓取的机器学习方法和装置 |
JP6916520B2 (ja) | 2017-09-29 | 2021-08-11 | 株式会社イシダ | 製袋包装用フィルム |
US10471597B1 (en) * | 2017-11-01 | 2019-11-12 | Amazon Technologies, Inc. | Adaptive perception for industrial robotic systems |
US10766149B2 (en) * | 2018-03-23 | 2020-09-08 | Amazon Technologies, Inc. | Optimization-based spring lattice deformation model for soft materials |
US10967507B2 (en) * | 2018-05-02 | 2021-04-06 | X Development Llc | Positioning a robot sensor for object classification |
US11407111B2 (en) * | 2018-06-27 | 2022-08-09 | Abb Schweiz Ag | Method and system to generate a 3D model for a robot scene |
-
2018
- 2018-09-21 US US16/137,744 patent/US11241795B2/en active Active
-
2019
- 2019-08-20 WO PCT/CN2019/101611 patent/WO2020057309A1/en unknown
- 2019-08-20 EP EP19863435.4A patent/EP3853139A4/en active Pending
- 2019-08-20 CN CN201980053736.6A patent/CN112585064B/zh active Active
- 2019-08-20 JP JP2021515138A patent/JP7214849B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2037822A1 (en) * | 1990-03-28 | 1991-09-29 | Knud N. Kristensen | Easily gripped pouch |
US5169198A (en) * | 1991-04-19 | 1992-12-08 | Volk Investment Co. | Handle for bagged items |
CN1474770A (zh) * | 2000-11-29 | 2004-02-11 | 带有抓手和折叠部件的可打开的组合装置 | |
DE102007028680A1 (de) * | 2007-06-21 | 2008-12-24 | Elau Elektronik-Automations-Ag | Gruppierungsstation |
CN105234951A (zh) * | 2015-10-28 | 2016-01-13 | 苏州博众精工科技有限公司 | 一种智能化引导式机械手视觉系统及其工作方法 |
WO2017140920A1 (es) * | 2016-02-17 | 2017-08-24 | LYTZHOFT, Lone | Robot paralelo e instalación para paletización de sacos |
CN206087773U (zh) * | 2016-08-25 | 2017-04-12 | 天津华今集团有限公司 | 一种便于搬运的编织袋 |
CN108046968A (zh) * | 2017-12-14 | 2018-05-18 | 河南智金网络技术有限公司 | 一种工业炸药自动包装生产线 |
Also Published As
Publication number | Publication date |
---|---|
JP2022500322A (ja) | 2022-01-04 |
CN112585064A (zh) | 2021-03-30 |
EP3853139A1 (en) | 2021-07-28 |
WO2020057309A1 (en) | 2020-03-26 |
US20200094415A1 (en) | 2020-03-26 |
JP7214849B2 (ja) | 2023-01-30 |
US11241795B2 (en) | 2022-02-08 |
EP3853139A4 (en) | 2022-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10124489B2 (en) | Locating, separating, and picking boxes with a sensor-guided robot | |
KR20210087065A (ko) | 자동 패키지 등록 시스템, 장치 및 방법 | |
CN113351522B (zh) | 物品分拣方法、装置及系统 | |
Stoyanov et al. | No more heavy lifting: Robotic solutions to the container unloading problem | |
CN108495738A (zh) | 用于提供动态机器人控制系统的系统和方法 | |
US11938618B2 (en) | Systems and methods for object processing using a passively folding vacuum gripper | |
CN109648562B (zh) | 箱体抓取控制方法、箱体放置控制方法、相关装置及系统 | |
CN110936386B (zh) | 用于处理物体的机器人系统及对其进行包装和处理的方法 | |
CN112585064B (zh) | 软包装、处理软包装的机器人系统和方法 | |
CN108127666B (zh) | 一种机械臂的抓取方法、系统及机械臂 | |
CN112802107A (zh) | 基于机器人的夹具组的控制方法及装置 | |
CN116133805A (zh) | 用于使用通过护罩反转提供对象保持的真空夹持器进行对象处理的系统和方法 | |
CN114083529A (zh) | 基于扫码和姿态控制的机器人拣选系统、方法、终端和介质 | |
JP2023524607A (ja) | ロボット多面グリッパアセンブリ及びその操作方法 | |
US10821611B1 (en) | Multi-zone end effector | |
US20230071488A1 (en) | Robotic system with overlap processing mechanism and methods for operating the same | |
JP2023027373A (ja) | 把持機構を備えたロボットシステム、及び関連するシステムと方法 | |
CN114952842A (zh) | 基于抓取机械手的无序抓取方法、装置及存储介质 | |
CN217147902U (zh) | 一种岛津瓶转运装置 | |
JP7560411B2 (ja) | ロボットシステム及びロボットシステムの制御方法 | |
CN118528247A (zh) | 用于规划对象放置的方法、装置和计算机可读存储介质 | |
CN118613353A (zh) | 用于物体检测和拾取顺序确定的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |