CN113727926B - 机器人多物品型码垛和卸垛 - Google Patents

Abstract

公开了用于使用机器人臂来码垛或卸垛不同物品的技术。在各种实施例中，接收与要被堆叠在目的地位置上或目的地位置中的多个物品相关联的数据。至少部分地基于接收的数据来生成用于将物品堆叠在目的地位置上或目的地位置中的计划。所述计划至少部分地通过控制机器人的机器人臂来实现，以根据所述计划拾取物品并将它们堆叠在容器上或容器中，包括通过针对每个物品：使用一个或多个一阶传感器来将物品移动到在目的地位置处针对该物品的目的地位置的第一近似值；以及使用一个或多个二阶传感器来将物品紧贴到最终位置中。

Description

机器人多物品型码垛和卸垛

其他申请的交叉引用

本申请要求2019年2月22日提交的题为ROBOTIC MULTI-ITEM TYPE PALLETIZING& DEPALLETIZING的美国临时专利申请第62/809,389号的优先权，该美国临时专利申请出于所有目的通过引用被并入本文中。

背景技术

装运（shipping）和配送中心、仓库、装运码头、航空货运码头、大箱子商店和装运和接收非同质的物品组的其他活动使用策略，诸如在箱子、板条箱（crates）、容器、传送带中和在托盘上包装和拆包不同物品等。将不同的物品包装在箱子、板条箱中、托盘上等使得得到的物品组能够由重型起重装备（诸如叉车、起重机等）搬运（handle），并且使得能够更高效地包装物品以用于存储（例如，在仓库中）和/或装运（例如，在卡车、货舱（cargo hold）等中）。

在一些上下文中，物品在大小、重量、密度、体积、刚性、包装的强度等方面中可能是如此不同，使得任何给定的物品或物品组可能具有或可能不具有将使得那些物品能够支持可能需要被包装（例如，在箱子、容器、托盘等中）的给定其他物品的大小、重量、重量的分布等的属性。在组装托盘或其他组不同的物品时，必须仔细选择和堆叠物品，以确保码垛（palletize）的堆叠不倒塌、倾斜或以其他方式变得不稳定（例如，使得无法被诸如叉车等的装备搬运）并避免物品损坏。

当前，托盘通常通过手来堆叠和/或拆包。人类工人例如基于装运发票或清单等选择要堆叠的物品，并且例如使用人类判断和直觉来选择较大和较重的物品以放置在底部。然而，在一些情况下，物品仅仅经由传送机或其他机构到达和/或从箱柜（bin）中以所列出的次序来选择等，从而导致不稳定的码垛或以其他方式的包装组。

在许多环境中，由于物品的种类、例如要在给定的托盘上包装的物品的次序、数量和混合的变化，以及多种类型和位置的容器和/或进给机构，机器人的使用变得更具挑战性，物品必须从所述容器和/或进给机构拾取以被放置在托盘或其他容器上。

附图说明

在以下详细描述和附图中公开了本发明的各种实施例。

图1是图示用于码垛和/或卸垛（depalletize）异质物品的机器人系统的实施例的图。

图2是图示用于码垛和/或卸垛的过程的实施例的流程图。

图3A是图示如在用于码垛和/或卸垛异质物品的机器人系统的实施例中组装的托盘的示例的图。

图3B是图示如在用于码垛和/或卸垛异质物品的机器人系统的实施例中组装的托盘的示例的图。

图4A是图示在用于码垛和/或卸垛异质物品的机器人系统的实施例中将物品放置在托盘上的示例的图。

图4B是图示在用于码垛和/或卸垛异质物品的机器人系统的实施例中将物品放置在托盘上的示例的图。

图4C是图示在用于码垛和/或卸垛异质物品的机器人系统的实施例中将物品放置在托盘上的示例的图。

图5是图示用于将物品放置在托盘上的过程的实施例的流程图。

图6是图示用于将物品放置在托盘上的过程的实施例的流程图。

图7是图示用于将物品放置在托盘上的过程的实施例的流程图。

图8是图示用于确定用于将物品放置在托盘上的策略的过程的实施例的流程图。

图9是图示用于码垛和/或卸垛异质物品的机器人系统中的基于抽吸的末端执行器的实施例的框图。

图10是图示用于码垛和/或卸垛异质物品的机器人系统中的抓取器式末端执行器的实施例的框图。

图11是图示用于将物品顺从地移动到目的地位置的过程的实施例的流程图。

图12是图示用于改变机器人臂对物品的抓取的过程的实施例的流程图。

图13是图示用于使用机器人臂来确定要堆叠在托盘上的物品的属性的过程的实施例的流程图。

图14是图示用于使用机器人臂来检测和响应如堆叠在托盘上的一组物品中的不稳定性的过程的实施例的流程图。

具体实施方式

本发明可以以多种方式实现，所述方式包括作为过程；装置；系统；物质的组成；在计算机可读存储介质上实现的计算机程序产品；和/或处理器，诸如被配置成执行在耦合到处理器的存储器上存储和/或由耦合到处理器的存储器提供的指令的处理器。在本说明书中，可以将这些实现或本发明可以采取的任何其他形式称为技术。通常，可以在本发明的范围内变更所公开的过程的步骤的次序。除非另外说明，否则被描述为被配置成执行任务的诸如处理器或存储器的组件可以被实现为被临时配置成在给定时间执行任务的通用组件或被制造为执行任务的特定组件。如本文中所使用的，术语‘处理器’指代被配置成处理数据（诸如计算机程序指令）的一个或多个设备、电路和/或处理核心。

下面提供了本发明的一个或多个实施例的详细描述以及说明本发明的原理的附图。结合这样的实施例描述了本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求限制，并且本发明包括许多替代方案、修改和等同物。在以下描述中阐述了许多具体细节，以便提供对本发明的透彻理解。这些细节被提供用于示例的目的，并且本发明可以根据权利要求来实施，而无需这些具体细节中的一些或所有。为了清楚的目的，没有详细描述与本发明相关的技术领域中已知的技术材料，使得不会不必要地模糊本发明。

公开了用于编程地使用包括一个或多个机器人（例如，在操作末端处具有抽吸、抓取器和/或其他末端执行器的机器人臂）的机器人系统来码垛/卸垛和/或以其他方式包装和/或拆包任意组的非同质物品（例如，不同的大小、形状、重量、重量分布、刚性、易碎性等）的技术。

在各种实施例中，3D相机、力传感器和其他传感器被用于检测和确定要拾取和/或放置的物品的属性。可以使用从物品类型特定模型导出的策略来抓取和放置其类型被（例如，以例如如由编程地确定的置信度得分所指示的足够的置信度）确定的物品。使用不特定于给定物品类型的策略来拾取和放置无法被标识的物品。例如，可以使用这样的模型，该模型使用大小、形状和重量信息。

在各种实施例中，物品类型、相应属性和抓取策略的库被用于确定和实现用于拾取和放置每个物品的策略。在一些实施例中，库是动态的。例如，库可以被扩充以添加新遇到的物品和/或关于物品学习的附加属性，诸如在给定上下文中起作用或不起作用的抓取策略。在一些实施例中，如果机器人系统被卡住，则可以调用人类干预。机器人系统可以被配置成基于人类遥操作者如何介入以使用机器人臂以例如经由遥操作来拾取和放置物品，来观看（例如，使用传感器）和学习（例如，更新库和/或模型）。在一些实施例中，遥操作可以包括更高级形式的反馈，诸如人类指示机器人应该在其处抓取对象的2D RGB图像中的特定点。

在一些实施例中，如本文中公开的机器人系统可以参与收集和存储（例如，添加到库）属性和/或策略的过程中，以标识和拾取/放置未知或新发现类型的物品。例如，系统可以以多种角度和/或位置保持物品，以使得3D相机和/或其他传感器能够生成传感器数据，以扩充和/或创建表征物品类型的库条目，并存储如何标识和拾取/放置该类型的物品的模型。

在各种实施例中，制定了用于在托盘或其他容器或位置上拾取和放置物品的高级计划。例如，基于传感器信息来应用策略，以通过根据计划拾取和放置各个物品来实现计划。可能触发与计划的偏离和/或重新规划，例如机器人系统被卡住，（例如，通过计算机视觉、力传感器等）检测到托盘上的物品的堆叠已经变得不稳定等。可以基于已知信息（例如，传送机上可见的接下来的N个物品、发票或清单上的接下来的N个物品等）来形成部分计划，并在接收到附加信息（例如，接下来的物品可见等）时进行调整。在一些情况下，系统被配置成中间集结（stage）（例如，放置在一旁（set aside），在可及范围内）被确定为不太可能适合被堆叠在系统当前正在构建的层或容器（诸如托盘或容器中的较低（或较高）层等）中的物品。一旦知道了关于要拾取/放置的接下来的物品的更多信息，就生成并实现考虑中间集结（缓冲）物品和接下来的物品的策略。

图1是图示用于码垛和/或卸垛异质物品的机器人系统的实施例的图。在所示的示例中，系统100包括机器人臂102。在该示例中，机器人臂102是静止的，但是在各种替代实施例中，机器人臂102可以是完全或部分移动的，例如，安装在轨道上，在机动底盘上完全移动等。如所示，机器人臂102被用于从传送带（或其他源）104拾取任意和/或不同的物品，并将它们堆叠在托盘或其他容器106上。在所示的示例中，容器106包括在四个角处具有轮并且在四个侧面中的三个侧面上至少部分封闭的托盘或底座，有时被称为三面“辊托盘”、“辊笼”和/或“辊”或“笼”“台车（trolley）”。在其他实施例中，可以使用具有更多、更少和/或没有侧面的辊或无轮托盘。在一些实施例中，图1中未示出的其他机器人可以被用于将容器106推入到要被装载/卸载的位置中和/或推入到卡车或要运输的其他目的地等中。

在所示的示例中，机器人臂102配备有抽吸型末端执行器108。末端执行器108具有多个吸盘110。机器人臂102被用于将末端执行器108的吸盘110定位在要拾取的物品上方，如所示，并且真空源提供抽吸以抓取物品，将其从传送机104提起，并将其放置在容器106上的目的地位置处。

在各种实施例中，安装在末端执行器108上的3D或其他相机112中的一个或多个和安装在其中部署了机器人系统100的空间中的相机114、116被用于生成图像数据，该图像数据用于标识传送机104上的物品和/或确定用于在容器106上抓取、拾取/放置和堆叠物品的计划。在各种实施例中，未示出的附加的传感器，例如在传送机104和/或机器人臂102中和/或与传送机104和/或机器人臂102相邻实现的重量或力传感器、吸盘110的x-y平面中和/或z方向（垂直方向）上的力传感器等，可以被用于标识、确定其属性、抓取、拾取、移动通过确定的轨迹、和/或将传送机104和/或其他源和/或中间集结区上的物品放置在容器106上或容器106中的目的地位置中，在所述传送机104和/或其他源和/或中间集结区中，物品可以例如由系统100定位和/或重新定位。

在所示的示例中，相机112被安装在末端执行器108的主体的侧面上，但是在一些实施例中，相机112和/或附加的相机可以被安装在其他位置中，诸如末端执行器108的主体的下侧上，例如从吸盘110之间的位置指向下方，或者被安装在机器人臂102的节段或其他结构或者其他位置上。在各种实施例中，诸如112、114和116的相机可以被用于读取文本、徽标、照片、绘图、图像、标记、条形码、QR码或其他编码和/或图形信息或在传送机104上可见和/或包括传送机104上的物品的内容。

进一步参考图1，在所示的示例中，系统100包括控制计算机118，在该示例中，该控制计算机118被配置成经由无线通信（但是在各种实施例中以有线和无线通信中的一种或两者）与诸如机器人臂102、传送机104、执行器108的元件以及诸如相机112、114和116和/或重量、力和/或图1中未示出的其他传感器的传感器通信。在各种实施例中，控制计算机118被配置成使用来自传感器（诸如相机112、114和116和/或重量、力和/或图1中未示出的其他传感器）的输入来查看、标识和确定要被装载到容器106中和/或从容器106卸载的物品的一个或多个属性。在各种实施例中，控制计算机118使用存储在控制计算机118上和/或对控制计算机118而言可访问的库中的物品模型数据以例如基于图像和/或其他传感器数据来标识物品和/或其属性。控制计算机118使用对应于物品的模型来确定和实现用于将物品与其他物品一起堆叠在目的地（诸如容器106）中/上的计划。在各种实施例中，物品属性和/或模型被用于确定用于在目的地位置（例如，作为用于将物品堆叠在容器106中/上的规划/重新规划过程的部分，确定将物品放置在其处的确定位置）中抓取、移动和放置物品的策略。

在所示的示例中，控制计算机118被连接到“按需”遥操作设备122。在一些实施例中，如果控制计算机118无法以完全自动化模式进行，例如，无法确定用于抓取、移动和放置物品的策略和/或以使得控制计算机118不具有用于以完全自动化模式完成拾取和放置物品的策略的方式失败，则控制计算机118提示人类用户124进行干预，例如，通过使用遥操作设备122来操作机器人臂102和/或末端执行器108来抓取、移动和放置物品。

图2是图示用于码垛和/或卸垛的过程的实施例的流程图。在各种实施例中，图2的过程200由包括用于码垛和/或卸垛异质物品的机器人系统的控制计算机（诸如图1的控制计算机118）来执行。在所示的示例中，在202处，接收指示将一组不同物品（即，该组包括两种或更多种不同类型的物品）拾取和放置到诸如托盘的容器/从诸如托盘的容器拾取和放置该组不同物品的高级目标的数据。例如，诸如图1的控制计算机118的控制计算机可以接收输入，以将到达传送机104上的物品装载到容器106上。在一些实施例中，可以接收明确指示预期和/或期望装载的物品的输入，诸如发票或清单。

在204处，执行规划（或重新规划）以基于在202处接收的高级目标和可用的传感器信息来生成用于拾取/放置物品的计划。例如，在图1中所示的示例中，可以使用由相机112、114和116中的一个或多个生成的3D或其他图像数据，以及来自图1中未示出的传感器（例如，重量传感器）的传感器数据来标识和确定计划，以拾取、放置经由传送机104到达的物品并将其堆叠在容器106上。

在一些实施例中，系统可以至少部分地基于发票或其他列表来制定计划。可以基于物品大小、重量、密度、重量分布、刚性、物品和/或其箱子或其他包装的容量来生成用于堆叠物品的计划，以支撑堆叠在物品的顶部上的重量等。在一些实施例中，控制计算机控制物品诸如经由传送机104以其到达装载位置处的次序。在一些实施例中，物品可能以先验未知的次序到达和/或物品的列表可能是未知的。在一些这样的实施例中，相机（例如，112、114、116）和/或其他传感器被用于标识物品和/或它们的属性，生成/更新用于将物品堆叠在托盘或其他容器（例如，容器106）上的计划，和/或根据在204处确定的堆叠计划来确定用于抓取、拾取、移动每个物品并将每个物品放置在其相应位置中的策略。

在206处，根据在204处确定和/或更新的计划，物品被拾取（例如，在图1中所示的示例中，从传送机104抓取），通过（预定/规划的）轨迹移动到靠近物品要被放置在其中的位置，并放置在目的地处。

在各种实施例中，包装计划可以包括可堆叠托盘、板条箱、箱子、箱柜或其他容器的规划使用，以将较小和/或不规则形状的物品分组并包装为更容易堆叠的单元。在一些实施例中，在卸垛操作中，如本文中公开的机器人系统被配置成识别这样的容器，如果需要的话打开它们，并且通过移除各个物品来清空它们。一旦清空，容器就被移动到中间集结位置，在各种实施例中，其他机器人和/或人类工人可以从该中间集结位置取回它们并将它们移开。

在所示的示例中，（重新）规划和计划实现（204，206）继续，直到完成高级目标（202）（208），过程200在此结束。在各种实施例中，重新规划（204）可以由诸如未预期和/或无法被标识的物品的到达、指示属性的传感器读数具有不同于基于物品标识和/或相关联的物品模型信息所预期的值等的条件来触发。意外状况的其他示例包括但不限于，确定预期物品丢失、重新评估物品标识并确定物品不同于如最初标识的物品、检测与如所标识的物品不一致的物品重量或其他属性、掉落或需要重新抓取物品、确定稍后到达的物品太重而不能被堆叠在如由原始和/或当前计划所考虑的一个或多个其他物品上、以及检测如堆叠在容器上的该组物品中的不稳定性。

图3A是图示如在用于码垛和/或卸垛异质物品的机器人系统的实施例中组装的托盘的示例的图。在各种实施例中，根据计算机确定的（和/或更新的）计划，如堆叠在托盘302上的图3A中所示的物品可能已经由机器人系统（诸如图1的系统100）堆叠，如图2的过程200中那样。

在所示的示例中，物品304、306和308被堆叠在第一（最底部）层中，其中物品310、312、314和316被堆叠在物品304、306和308的顶部的层中。物品318和320已经被堆叠在顶部上。

在各种实施例中，基于物品标识和/或属性，例如如基于图像、重量和/或其他传感器数据确定和/或测量的物品标识和/或属性，如所示的物品可能已经被选择和指定要被放置，如图3A中所示。例如，基于物品304、306和308的（相对）大小、重量、刚性、强度和/或用于支撑堆叠在顶部上的重量的（物品和/或包装的）能力的其他指示，物品304、306和308可能已经被放置在底层中，如所示的那样。

在各种实施例中，通过应用一个或多个试探法、算法或其他工具和/或技术来确定每个物品的放置、方向等。例如，至少部分地通过确定整个托盘内和/或当前被堆叠和/或布置的层中的位置来添加每个物品，以便提供相对（更）平坦的顶表面来形成下一层的基础，最小化堆叠表面积，最小化当前层周长等。在各种实施例中，可以使用以下试探法中的一个或多个：放置接下来的物品以维持质心靠近于托盘的中心；为后续物品维持针对机器人臂的清楚运动路径；维持相机对所有顶层箱子或未装箱物品的可见性；等。

在所示的示例中，物品310和312是圆形的（至少在横截面上），并且在一些实施例中，在选择用于放置它们的位置时将考虑它们的形状。例如，物品310和312被其他相邻物品约束在其中的内部位置可以被选择在层的边缘或末端上的位置上，如图3A中所示。

在各种实施例中，物品318和320可能已经基于一个或多个属性（诸如它们的重量（或密度）、支撑堆叠在它们的顶部上的重量的能力等）被选择放置在顶部上。

图3B是图示如在用于码垛和/或卸垛异质物品的机器人系统的实施例中组装的托盘的示例的图。在该示例中，包括在如图3A中所示的示例中的物品314被省略。在各种实施例中，如图3B中所示的用于堆叠物品的计划可以由控制计算机（诸如图1的控制计算机118）生成。在所示的示例中，算法生成的计划可以认为堆叠在物品310、312上的物品318处于稳定位置中。例如，可能没有计算的关于任何点或轴的净力矩将导致控制计算机确定如所示的位置是不稳定的。然而，在实践中，例如，在将物品放置在托盘302上时稍微偏离计划可能导致物品318一旦堆叠在物品310、312上就不处于稳定位置中。在一些实施例中，用于放置物品318的机器人臂和末端执行器（例如，抽吸、抓取器）包括用于检测不稳定性的传感器和逻辑。例如，图像数据可以被处理，并且可以指示物品向右倾斜，如所示的那样。或者，在释放物品318之前，末端执行器中的力传感器可以被用于检测物品如果被释放将不稳定。例如，在各种实施例中，如果物品在被压下但尚未释放时让路（give way）（或不均匀地提供阻力），则系统确定物品是不稳定的。

在各种实施例中，对意外不稳定性的检测触发响应动作。例如，其他物品（例如，如图3A中的物品314）可以被放置就位，以进一步支撑不稳定的物品。或者，物品可以被移动到不同的附近位置（例如，在所示的示例中紧贴（snug）左侧），以看看该物品在新位置中是否稳定。在各种实施例中，如果自动化处理未能确定解决方案，则可以（例如，经由遥操作、手动等）触发人类干预。

图4A是图示在用于码垛和/或卸垛异质物品的机器人系统的实施例中将物品放置在托盘上的示例的图。在所示的示例中，位置402已经被确定以将物品（图4A中未示出）放置在托盘404上与先前放置的物品406相邻的位置中。例如，位置402可能已经基于物品属性（大小、重量、尺寸等）被确定，如图2的204中所示。

图4B是图示在用于码垛和/或卸垛异质物品的机器人系统的实施例中将物品放置在托盘上的示例的图。在所示的示例中，物品408已经被移动到预期位置402处或靠近预期位置402的位置的一阶精度（a first order of accuracy）。在该示例中，物品408具有稍微不规则的外部纹理，这可能已经导致在位置402处或靠近位置402的物品的不完美拾取和/或放置。在一些实施例中，关于位置402、托盘404、物品406和物品408中的一个或多个的接收的图像数据和/或其他传感器数据中的变化和/或不一致可能已经导致物品408的不完美放置，如图4B中所示。

图4C是图示在用于码垛和/或卸垛异质物品的机器人系统的实施例中将物品放置在托盘上的示例的图。在所示的示例中，物品408已经被紧贴到规划位置402处或靠近规划位置402的位置中达到二阶精度。在各种实施例中，二阶传感器，诸如在机器人臂和/或末端执行器中/上实现的力传感器，被用于将物品紧贴到堆叠中的更紧密配合的位置中。例如，机器人臂可以被用于将物品（诸如物品408）紧贴到与相邻物品（例如物品406）和/或其他结构（诸如侧壁）更靠近和（更完全）接触的位置（例如，在具有一个或多个侧壁的托盘或台车的情况下）。

在一些实施例中，诸如物品408的物品可以被更靠近地紧贴到相邻的物品、侧壁等，并且可能导致物品最终位于与原始计划不完全一致的位置中。在一些实施例中，期望并优选紧贴放置在层内，以最大化可用空间的使用，并通过将相邻物品彼此耦合以及（如适用）耦合到相邻结构（诸如侧壁），来最大化稳定性。

图5是图示用于将物品放置在托盘上的过程的实施例的流程图。在各种实施例中，过程500由诸如图1的控制计算机118的控制计算机来执行，例如，以根据计划来拾取和放置连续的物品。

在所示的示例中，在502处，针对要拾取和放置的接下来的物品确定放置位置和到达该位置的轨迹。例如，预定的（例如，根据计划）和/或动态确定的（例如，基于物品标识、传感器数据、先前放置的物品的位置等）位置和将物品移动到该位置的轨迹可以被确定。在504处，使用一个或多个一阶传感器（例如，图像数据）来以一阶精度将物品移动到目的地位置（例如，如图4B中所示的示例）。在506处，一个或多个二阶传感器（例如，力传感器）被用于将物品紧贴就位（如图4C中）和/或检测不稳定性（如图3B中）或其他意外状况。如果在508处确定物品已经被成功放置，则在510处，对于接下来的物品处理继续，关于该接下来的物品执行过程500的下一次迭代。如果在508处确定物品尚未被成功放置（例如，物品未处于如由图像数据确定的预期位置中，物品不稳定，堆叠不稳定等），则在512处，系统经由自动化处理再次尝试牢固地放置物品（例如，如果用于尝试这样做的另外的策略是可用的），和/或调用人类干预（例如，经由按需遥操作），直到在508处确定物品已经被成功放置。

在各种实施例中，如本文中公开的用于码垛/卸垛的机器人系统被配置成动态地制定和/或更新用于放置和堆叠物品的计划。例如，要放置的接下来的（一个或多个）物品可能提前不知道，并且可能需要对计划的调整。例如，如果软的和/或易碎的物品已经被放置或规划被放置在较低层中，并且检测到较重的物品将到达（接下来），则该计划可以被动态地调整以缓冲（在中间集结区中放置在一旁）软的和/或易碎的物品，从而允许较重的物品首先被放置在较低层中。在一些实施例中，如果软的和/或易碎的物品已经被放置（例如，在托盘上），则物品可以被移动到缓冲（中间集结）区，以允许较重的物品被放置在它们的位置中的较低的层中。

图6是图示用于将物品放置在托盘上的过程的实施例的流程图。在各种实施例中，过程600由控制计算机（诸如图1的控制计算机118）基于传感器数据（诸如由相机112、114和116和/或重量或其他传感器生成的图像数据）来执行。在所示的示例中，在602处，接收关于要添加到托盘或其他容器的接下来的N个物品的数据。例如，可以接收图像、重量、形状、物品标识、发票、光学或其他扫描仪输出和/或其他数据。

在604处，基于在602处接收的数据和/或先前确定的数据，制定和/或更新用于拾取、移动和包装/堆叠物品的计划。例如，可以在604处基于接下来的N个物品的属性、缓冲（中间集结）区中的M个（零个或更多个）物品的属性以及已经放置和当前布置在托盘上的物品P（零个或更多个）来制定和/或更新计划。例如，如果N个物品包括比缓冲区中的M个物品更重但比已经在托盘上的P个物品更轻的物品，则计划可以被更新以将后面跟着（暂时地）M个物品的接下来的N个物品放置在缓冲区中。相反，如果N个物品比缓冲区中的M个物品和已经在托盘上的P个物品两者更大且更重，则P个物品可以被移动到缓冲区，并且N个物品被放置在底层中。

在606处，（例如，根据需要从传送机或其他源、缓冲区或中间集结区和/或托盘）拾取物品以实现计划。如果计划的实现导致在608处确定高级目标已经完成（例如，放置了所有物品），则过程结束。否则，数据的接收、更新计划以及根据计划拾取/放置（602、604、606）继续，直到完成（608）。

图7是图示用于将物品放置在托盘上的过程的实施例的流程图。在各种实施例中，过程700由控制计算机（诸如图1的控制计算机118）基于传感器数据（诸如由相机112、114和116生成的图像数据）来执行。在各种实施例中，过程700被用于例如基于如至少部分地基于图像数据确定的物品大小和形状来动态地确定物品属性和放置。

在所示的示例中，在702处接收并处理图像数据。例如，可以接收和合并来自两个或更多个相机的图像数据，以生成三维空间中的合成点集。

在704处，在702处接收和处理的图像数据被拟合到模型。例如，可以将合成点集与包括物品模型的库的相应数据进行比较，并且可以确定“最佳拟合”或“最佳匹配”模型。

在706处，例如使用来自最佳拟合模型的数据来填充图像数据中的间隙，并且针对物品确定边界容器（例如，在所有维度上是矩形或几乎如此的物品的边界“框”）。

可选地，在708处，边界容器的图形描绘被叠加在物品的合成和/或原始图像（例如，原始视频）上，以例如向监视操作的人类用户提供合成显示。

在710处，在704处确定的模型和在706处确定的边界容器被用于确定要在其处放置物品（例如，在托盘上）的目的地位置。在一些实施例中，边界容器可以被显示在确定的放置位置中，例如，在用于拾取和放置物品的操作的视觉显示和/或表示中。

图8是图示用于确定用于将物品放置在托盘上的策略的过程的实施例的流程图。在各种实施例中，过程800由控制计算机（诸如图1的控制计算机118）来执行。在所示的示例中，在802处，接收并处理物品数据。物品数据的示例包括但不限于图像数据、光学或其他扫描仪输出、物品重量等。

在804处，进行将物品数据与模型（例如包括物品模型的库的模型）匹配的尝试。例如，可以读取物品或其包装上的标记来标识物品并查找物品特定模型。在一些实施例中，传感器读数可以指向不同的方向上。在一些实施例中，可以从考虑中移除异常值和/或随机选择的传感器数据，以确定剩余数据是否可以与物品模型匹配（例如，以规定的置信度）。如果是，则丢弃来自该传感器的传感器数据，并且在806处确定已经找到匹配。

如果基于在802处接收的数据，在806处确定已经找到与物品特定模型的匹配，则在808处使用基于该模型的策略来确定用于抓取、拾取、移动和/或放置物品的策略。

如果在806处确定无法找到与物品特定模型的匹配，则在810处确定物品的大小、重量、形状和/或其他属性，并尝试将其和与该大小、重量、形状等的物品相关联的模型进行匹配。如果在812处确定已经找到与这样的模型的匹配，则在814处使用确定的模型来确定用于抓取、拾取、移动和/或放置物品的策略。否则，在816处，触发人类干预，例如以手动地输入策略和/或要映射到策略的物品标识，和/或通过遥操作手动地完成关于物品的操作的全部或部分等。

在818处，确定处理物品是否已经生成了关于物品和/或物品类型的附加或新信息。如果是，则在820处，新信息被用于生成和/或更新针对物品和/或物品类型的模型。如果尚未开发新的信息和/或一旦这样的信息已经被反映在（一个或多个）任何适用的模型中，则过程结束。

在一些实施例中，对新物品或物品类型的检测触发发现过程，在该发现过程中，可以确定和更全面或更精确地确定物品的属性。例如，系统可以使用机器人臂来拾取物品并将其保持在不同的位置中和/或不同的取向处，以生成要用于对物品进行建模或更完整地建模的物品的（附加的）图像或视图。

在各种实施例中，如本文中公开的用于码垛和/或卸垛异质物品的机器人系统包括机器人臂，该机器人臂在操作末端处具有基于抽吸的、抓取器型执行器或其他末端执行器。各种实施例中的末端执行器可以包括用于码垛和/或卸垛如本文中公开的异质物品的一个或多个传感器。例如，末端执行器可以包括用于促进物品的一阶拾取和放置的图像传感器，以及用于促进将物品紧贴就位（例如与其他物品、侧壁和/或其他结构相邻）的一个或多个力传感器。在另一示例中，在一些实施例中，基于抽吸的末端执行器可以包括气压传感器，以检测何时已经对于对象表面进行牢固抓取和/或检测何时对象失去接触或剪断（shear off）。

图9是图示用于码垛和/或卸垛异质物品的机器人系统中的基于抽吸的末端执行器的实施例的框图。在各种实施例中，图9的机器人臂末端执行器900可以被用于实现图1的末端执行器108。

在所示的示例中，末端执行器900包括经由可旋转的耦合器附接到机器人臂904的主体或壳体902。在一些实施例中，壳体902和机器人臂904之间的连接可以包括由控制计算机（诸如图1的控制计算机118）控制的机动关节。末端执行器900进一步包括抽吸或其他气动管线906，其穿过机器人臂904延伸到壳体902中，以向抽吸控制模块908提供真空源。在各种实施例中，控制模块908例如通过通信接口914经由无线和/或有线通信被连接到末端执行器900的外部的控制计算机，例如图1的控制计算机118。控制模块908包括电子和/或机电元件，其可操作以向包括末端执行器900的吸盘910、912提供抽吸力，例如，以通过抽吸将末端执行器附接到要使用末端执行器900拾取、移动和放置的物品。

在所示的示例中，安装在壳体902的侧面上的相机916提供末端执行器900下方的视场的图像数据。多个力传感器918、920、922、924、926和928分别测量施加到吸盘910和912的力。在各种实施例中，力测量结果经由通信接口914被传送到外部和/或远程控制计算机。在各种实施例中使用传感器读数，以使得机器人臂904和末端执行器900能够被用于将物品紧贴到与其他物品和/或侧壁或其他结构相邻的位置中，和/或检测不稳定性（例如，在当仍处于抽吸下但在物品预期被放置在其中并且是稳定的位置中时，关于物品被压下的后推力不足）。在各种实施例中，水平安装的力传感器对（例如，918和922、924和928）在x-y平面中成直角放置，以使得能够确定所有水平方向上的力。

图10是图示用于码垛和/或卸垛异质物品的机器人系统中的抓取器式末端执行器的实施例的框图。在各种实施例中，图10的机器人臂末端执行器1000可以被用于实现图1的末端执行器108。

在所示的示例中，末端执行器1000包括经由可旋转的耦合器附接到机器人臂1004的主体或壳体1002。在一些实施例中，壳体1002和机器人臂1004之间的连接可以包括由控制计算机（诸如图1的控制计算机118）控制的机动关节。末端执行器1000进一步包括抓取器，该抓取器包括铰接的手指（digit）1010和1012以及穿过机器人臂1004延伸到壳体1002中以向抓取器控制模块1008提供电力的电源线1006。在各种实施例中，控制模块1008例如通过通信接口1014经由无线和/或有线通信被连接到末端执行器1000的外部的控制计算机，例如图1的控制计算机118。控制模块1008包括电子和/或机电元件，其可操作以操纵抓取器手指1010、1012，例如，以使用末端执行器1000来抓取要被拾取、移动和放置的物品。

在所示的示例中，安装在壳体1002的侧面上的相机1016提供末端执行器1000下方的视场的图像数据。多个力传感器1018、1020、1022、1024、1026和1028分别测量施加到手指1010和1012的安装点的力。在各种实施例中，力测量结果经由通信接口1014被传送到外部和/或远程控制计算机。在各种实施例中使用传感器读数，以使得机器人臂1004和末端执行器1000能够被用于将物品紧贴到与其他物品和/或侧壁或其他结构相邻的位置中，和/或检测不稳定性（例如，在当仍处于抽吸下但在物品预期被放置在其中并且是稳定的位置中时，关于物品被压下的后推力不足）。

虽然在图9中示出了抽吸型执行器，并且在图10中示出了抓取器型执行器，但是在各种实施例中，一个或多个其他和/或不同类型的末端执行器可以被用于机器人系统中，以码垛/卸垛异质物品，如本文中所公开的那样。

在各种实施例中，用于在托盘或其他容器上拾取和堆叠物品和/或卸垛物品的计划考虑了要由机器人臂移动每个物品通过其的轨迹。例如，大箱子比小物品需要更多的空隙（clearance）。此外，稍后放置的物品必须被移动通过避免与先前放置的物品碰撞等的轨迹。

在一些实施例中，传感器被用于检测与其他物品、容器和/或环境的碰撞，并通过轨迹的“顺从”调整来继续自动化操作。例如，在一些实施例中，如果撞到墙壁或其他结构中，机器人臂减小力并调整轨迹以沿着障碍物跟随，直到它避开障碍物。

图11是图示用于将物品顺从地移动到目的地位置的过程的实施例的流程图。在各种实施例中，图11的过程1100可以由控制计算机（诸如图1的控制计算机118）至少部分地基于来自传感器的传感器读数来实现，所述传感器包括和/或以其他方式与机器人臂、末端执行器和/或环境相关联。

在所示的示例中，在1102处，抓取物品，并且物品开始沿着规划的轨迹移动。如果接收到意外的或阈值传感器值（1104），则可以调整抓取和/或轨迹中的一个或两者（1106）。例如，如果检测到物品从原始抓取中滑出，则机器人臂可以被用于放下物品并更牢固地重新抓取。如果确定（例如，基于力传感器、图像数据、两者等）物品已经撞到障碍物，则可以调整轨迹以沿着和/或围绕障碍物移动物品。例如，可以偏离最初规划的轨迹，以便将力传感器读数维持在阈值以下。一旦没有检测到相反的力，如果可能的话，就可以恢复原始轨迹，和/或可以计算并遵循新的下一段轨迹。

如果没有遇到（另外的）意外传感器值（1104），则物品继续沿着其轨迹到达其目的地（1108）。

图12是图示用于改变机器人臂对物品的抓取的过程的实施例的流程图。在各种实施例中，图12的过程1200可以由控制计算机（诸如图1的控制计算机118）至少部分地基于来自传感器的传感器读数来实现，所述传感器包括和/或以其他方式与机器人臂、末端执行器和/或环境相关联。在1202处，系统（例如，基于力/扭矩传感器和/或其他数据的控制计算机）检测到物品尚未在其重心处或靠近其重心被抓取。例如，力和/或扭矩传感器可能检测到末端执行器在其处被附接到机器人臂的连接点周围的大于阈值的扭矩。或者，图像数据可以指示在机器人臂和末端执行器的抓取中物品未处于基本水平位置中。在1204处，物品被放下（例如，在缓冲区或中间集结区中，或者在它从其处被拾取的位置中等）并且抓取被调整（例如，物品被释放并且在不同的位置处被重新抓取）。在1206处，系统恢复沿着轨迹将物品移动到目的地放置位置。

图13是图示用于使用机器人臂来确定要堆叠在托盘上的物品的属性的过程的实施例的流程图。在各种实施例中，图13的过程1300可以由控制计算机（诸如图1的控制计算机118）来实现。在所示的示例中，机器人臂和/或末端执行器被用于探测物品以确定物品的一个或多个属性，例如物品有多软、多重、多密等。例如，如果物品给予轻微压力，则确定它是柔软的。如果对于其大小而言物品是轻的，如基于图像数据所确定的那样，则确定该物品是较小密度的。如果在1304处已经确定物品是软的和/或较小密度的，则如果需要的话，在1306处缓冲该物品，以将其放置在堆叠的上层中。如果在1304处没有确定物品是软的或较小密度的，则在1306处将物品添加到堆叠而不缓冲。

图14是图示用于使用机器人臂来检测和响应如堆叠在托盘上的一组物品中的不稳定性的过程的实施例的流程图。在各种实施例中，图14的过程1400可以由控制计算机（诸如图1的控制计算机118）来实现。在各种实施例中，过程1400被用于例如基于内部（例如，力）和/或外部（例如，图像）传感器数据来检测堆叠不稳定性。

在所示的示例中，在1402处监视堆叠稳定性。例如，环境中的相机可以被用于检测堆叠已经开始倾斜、破碎、滑动等。或者，机器人臂和/或末端执行器上的力传感器可以被用于检测堆叠或其一部分已经变得不稳定。如果在1404处确定堆叠已经变得不稳定，则在1406处例如以塑料来自动包裹（wrapped）部分堆叠，以防止滑动并加强堆叠的稳定性和结构。如果在1404处没有（再次）确定堆叠已经变得不稳定，并且在任何情况下，一旦整个堆叠（例如，托盘或其他容器）已经完成（1408），就在1410处自动包裹堆叠和/或其剩余的未包裹部分，并且过程结束。

在各种实施例中，本文中公开的技术使得任意组异质物品能够在没有人类干预或有最少人类干预的情况下被机器人系统码垛和/或卸垛。

尽管出于理解的清楚的目的，已经相当详细地描述了前述实施例，但是本发明不限于所提供的细节。有许多实现本发明的替代方式。所公开的实施例是说明性的而非限制性的。

Claims (20)

1.一种机器人系统，包括：

通信接口；以及

处理器，其耦合到通信接口，并且被配置成：

经由通信接口接收与要被堆叠在目的地位置上或目的地位置中的多个物品相关联的数据，其中所述多个物品包括第一多个物品；

至少部分地基于接收的数据，生成用于将物品堆叠在目的地位置上或目的地位置中的计划；

至少部分地通过控制机器人臂来实现计划，以根据计划来拾取物品并将它们堆叠在目的地位置上或目的地位置中，包括通过针对每个物品：

使用一个或多个一阶传感器来将物品移动到在目的地位置处针对该物品的目的地位置的第一近似值；以及

使用一个或多个二阶传感器来将物品紧贴到最终位置中；

经由通信接口接收与第二多个物品相关联的数据；

使用与第一多个物品相关联的数据和与第二多个物品相关联的数据来动态地确定用于将包括第一多个物品和第二多个物品的物品堆叠在目的地位置上或目的地位置中的调整计划；以及

实现所述调整计划，其中为了实现所述调整计划，所述处理器被配置成：

从目的地位置的第一位置移除已经被放置在目的地位置上或目的地位置中的第一多个物品中的一个或多个物品；

将一个或多个移除的物品放置在缓冲区中；以及

将第二多个物品中的一个或多个物品放置在目的地位置的第一位置处。

2.如权利要求1所述的系统，其中，目的地位置包括托盘、箱子或其他容器。

3.如权利要求1所述的系统，其中，与多个物品相关联的数据包括针对至少物品的子集的传感器数据。

4.如权利要求3所述的系统，其中，传感器数据包括图像数据、重量数据、力数据、大小数据、尺寸数据中的一个或多个。

5.如权利要求1所述的系统，其中，与多个物品相关联的数据包括针对至少物品的子集的物品数据。

6.如权利要求5所述的系统，其中，物品数据包括光学或其他扫描仪输出。

7.如权利要求1所述的系统，其中，处理器被配置成至少部分地通过针对至少物品的子集的每个来确定针对所述物品的对应模型来生成计划，并且使用模型来确定关于所述物品的计划。

8.如权利要求7所述的系统，其中，处理器被进一步配置成检测新的物品属性，并生成和存储更新物品模型的库的数据以反映新的物品属性。

9.如权利要求1所述的系统，其中，处理器被进一步配置成使用机器人臂来确定至少物品的子集的属性。

10.如权利要求1所述的系统，其中，处理器被进一步配置成检测关于一个或多个物品的不稳定性，并调整一个或多个物品的计划和放置中的一个或两者，以使得到的物品的堆叠更稳定。

11.如权利要求1所述的系统，其中，处理器被进一步配置成检测关于包括多个物品的子集的部分堆叠的不稳定性，并且响应于检测到不稳定性而自动地包裹所述部分堆叠。

12.如权利要求1所述的系统，其中，处理器被进一步配置成检测到正被移动到容器上或容器中的目的地位置的物品已经遇到了障碍物，并调整物品的轨迹以沿着或围绕障碍物前进。

13.一种用于控制机器人的方法，包括：

经由通信接口接收与要被堆叠在目的地位置上或目的地位置中的多个物品相关联的数据，其中所述多个物品包括第一多个物品；

使用处理器至少部分地基于接收的数据来生成用于将物品堆叠在目的地位置上或目的地位置中的计划；

使用处理器以至少部分地通过控制机器人的机器人臂来实现计划，以根据计划拾取物品并将它们堆叠在目的地位置上或目的地位置中，包括通过针对每个物品：

使用一个或多个一阶传感器来将物品移动到在目的地位置处针对该物品的目的地位置的第一近似值；以及

使用一个或多个二阶传感器来将物品紧贴到最终位置中；

接收与第二多个物品相关联的数据；

使用与第一多个物品相关联的数据和与第二多个物品相关联的数据来动态地确定用于将包括第一多个物品和第二多个物品的物品堆叠在目的地位置上或目的地位置中的调整计划；以及

实现所述调整计划，其中实现所述调整计划包括：

从目的地位置的第一位置移除已经被放置在目的地位置上或目的地位置中的第一多个物品中的一个或多个物品；

将一个或多个移除的物品放置在缓冲区中；以及

将第二多个物品中的一个或多个物品放置在目的地位置的第一位置处。

14.如权利要求13所述的方法，其中，目的地位置包括托盘、箱子或其他容器。

15.如权利要求13所述的方法，其中，与多个物品相关联的数据包括针对至少物品的子集的传感器数据。

16.如权利要求15所述的方法，其中，传感器数据包括图像数据、重量数据、力数据、大小数据、尺寸数据中的一个或多个。

17.如权利要求13所述的方法，其中，与多个物品相关联的数据包括针对至少物品的子集的物品数据。

18.如权利要求13所述的方法，其中，处理器被配置成至少部分地通过针对至少物品的子集中的每个来确定针对所述物品的对应模型来生成计划，并且使用模型来确定关于所述物品的计划。

19.如权利要求13所述的方法，检测关于包括多个物品的子集的部分堆叠的不稳定性，并且响应于检测到不稳定性而自动地包裹所述部分堆叠。

20.一种用于控制机器人的计算机程序产品，所述计算机程序产品在非暂时性计算机可读介质中实现，并且包括用于以下操作的计算机指令：

接收与要被堆叠在目的地位置上或目的地位置中的多个物品相关联的数据，其中所述多个物品包括第一多个物品；

至少部分地基于接收的数据生成用于将物品堆叠在目的地位置上或目的地位置中的计划；

至少部分地通过控制机器人的机器人臂来实现计划，以根据计划来拾取物品并将它们堆叠在容器上或容器中，包括通过对于每个物品：

使用一个或多个一阶传感器来将物品移动到在目的地位置处针对该物品的目的地位置的第一近似值；以及

使用一个或多个二阶传感器来将物品紧贴到最终位置中；

接收与第二多个物品相关联的数据；

使用与第一多个物品相关联的数据和与第二多个物品相关联的数据来动态地确定用于将包括第一多个物品和第二多个物品的物品堆叠在目的地位置上或目的地位置中的调整计划；以及

实现所述调整计划，其中实现所述调整计划包括：

从目的地位置的第一位置移除已经被放置在目的地位置上或目的地位置中的第一多个物品中的一个或多个物品；

将一个或多个移除的物品放置在缓冲区中；以及

将第二多个物品中的一个或多个物品放置在目的地位置的第一位置处。

Images