CN117715845A - 用于规划和适应机器人系统的物品操纵的系统和方法 - Google Patents

Abstract

一个实施例涉及机器人包装搬运系统，包括：a.包括远侧部分和近侧基座部分的机械臂；b.联接到机械臂的远侧部分的末端执行器；c.与机械臂的远侧部分几何邻近地就位的置放结构；d.与一个或多个包装接触并与机械臂的远侧部分几何邻近地就位的拾取结构；e.被定位和定向成捕获关于拾取结构和一个或多个包装的图像信息的第一成像装置；f.第一计算系统，其可操作地联接到机械臂和第一成像装置并且配置成从第一成像装置接收图像信息，并且至少部分地基于图像信息来命令机械臂的移动；其中第一计算系统配置成操作机械臂和末端执行器以进行从拾取结构抓取所述一个或多个包装中的目标包装，并释放目标包装以搁置在置放结构上；并且其中末端执行器包括第一吸盘组件，其联接到可操作地联接到第一计算系统的可控启用的真空负载，第一吸盘组件限定第一内部捕获腔室，第一内部捕获腔室配置成使得进行对目标包装的抓取包括当真空负载在目标包装附近被可控地启用时，将目标包装的一部分拉入第一内部捕获腔室中并用第一内部捕获腔室至少部分地封装目标包装的一部分。

Description

用于规划和适应机器人系统的物品操纵的系统和方法

相关申请的交叉引用

本申请要求2021年5月27日提交的美国临时专利申请第63/193,775号的优先权和利益，其公开内容通过引用整体结合于此。

技术领域

本发明总体涉及机器人领域，并且更具体地，涉及一种新型实用的用于规划和适应机器人系统的物品操纵的系统和方法。更具体地，本发明涉及用于管理和处理包装的机器人系统和方法。

背景技术

许多行业正在采用各种形式的自动化。机器人系统尤其是机械臂越来越多地被用于帮助人工任务的自动化。然而，集成机器人自动化所涉及的成本和复杂性限制了这种采用。

由于可能用途的多样性，许多机器人系统或者是高度定制的和为特定实施而独特设计的，或者是非常通用的机器人系统。高度专业化的方案只能在有限的应用中使用。通用系统通常需要大量的集成工作来为特定的实现进行编程和设置。这可能既费钱又费时。

使问题进一步复杂化的是，机器人系统的许多潜在用途具有不断变化的条件。传统上，机器人被设计和配置用于工业和制造环境中的各种用途。这些机器人系统通常执行重复性很强且定义明确的任务。然而，电子商务的增长导致对自动化形式的更多需求，这些自动化形式必须处理高度变化或未知的条件。许多机器人系统不能处理/搬运各种各样的物品和/或不断变化的各种物品，这使得这种机器人系统对于由电子商务产生的产品处理/搬运任务来说不是好的方案。因此，在机器人领域需要创造一种新的有用的系统和方法来用于规划和适应机器人系统的物品操纵。本发明提供了这种新的有用的系统和方法。

附图说明

图1示出了机器人包装搬运系统配置的示意图；

图2示出了可更换的末端执行器配置的实施例；

图3示出了与末端执行器头部接合的头部选择器的实施例；

图4示出了与具有横向支承件的末端执行器头部接合的头部选择器的实施例；

图5示出了具有多个可选末端执行器的末端执行器头部的实施例；

图6示出了具有多个可选末端执行器的末端执行器头部的实施例；

图7A-7G示出了机器人包装搬运配置的实施例的各个方面；

图8A-8B示出了吸盘组件末端执行器的各个方面；

图9A-9B示出了吸盘组件末端执行器的各个方面；

图10A-10F示出了置放结构配置的实施例的各个方面；

图11A-11C示出了以一个或多个相互联接的计算系统为特征的机器人包装搬运配置的实施例的各个方面；

图12示出了可用于实现主题配置的各方面的计算体系结构/计算构架的实施例；

图13-19示出了方法的各种实施例；

图20A和20B示出了合成数据的图像。

发明内容

一个实施例涉及一种用于规划和适应机器人系统的物品操纵的系统和方法，其用于在与物品交互时使用动态规划来控制机器人系统。该系统和方法优选采用机器人抓取规划结合动态工具选择。该系统和方法还可以被动态地配置到一环境中，这使得该系统和方法的工作站实现能够被快速地集成和设置在新的环境中。

该系统和方法优选地被操作以便优化或以其他方式增强自动化的物品相关任务性能的吞吐量。这个具有挑战性的问题可替代地被框架化为增加或最大化每单位任务中成功的抓取和物品操纵任务。例如，该系统和方法可以提高机器人系统从第一区域(例如，货柜)拾取物品、将物品移动到新的位置或取向、并将物品放置在第二区域的能力。

在一个特定的变型中，该系统和方法使用可选择和/或可互换的末端执行器来平衡动态工具选择，以改进物品的操纵。在这种多工具变型中，该系统和方法可以利用各种不同的末端执行器头部，这些末端执行器头部可以在设计和能力上有所不同。如图7和图8所示，该系统和方法可以使用具有一组选择性启用的末端执行器的多工具。在另一种变型中，该系统和方法可以使用可更换的末端执行器头部，其中使用中的末端执行器可以在一组兼容的末端执行器之间更换。

通过全程优化，该系统和方法能够实现独特的机器人能力。该系统和方法可以快速规划各种末端执行器元件，并动态决定何时更换末端执行器头部和/或如何使用所选工具。该系统和方法优选考虑切换工具的时间成本和机器人系统不同动作的预测成功概率。

由该系统和方法实现的独特机器人能力可用于允许多种工具和更专业的工具用作末端执行器。此外，这些能力可以使机器人系统对于遇到各种各样的物品的环境或场景和/或当使用工具的自动选择是有益的时，适应性更强并且更容易配置。在电子商务应用中，可能存在许多情况，其中机器人系统用于例如在分拣退回的产品时，或者在由工人或机器人合并产品以进行订单处理时收集不同类型的物品。

该系统和方法优选用于抓取物品并执行至少一个物品操纵任务。物品操纵任务的一个优选序列可包括抓取物品(例如，拾取物品)、将物品移动到新位置、以及放置物品，其中该系统和方法的机器人系统作为取放系统操作。该系统和方法可替代地应用于各种其他物品处理任务，例如物品检查、物品分拣、执行制造任务和/或其他合适的任务。虽然该系统和方法主要是在取放应用的背景下描述的，但是这里描述的系统和方法的变型可以类似地应用于任何合适的使用情况和应用。

该系统和方法在需要处理多种物品的情况下和/或对于需要处理的物品的至少一个子集很少或没有先验信息可用的情况下特别有用。

该系统和方法可用于各种使用情况和场景。该系统和方法的机器人取放实现可用于仓库、产品处理设施和/或其他环境中。例如，用于完成装运订单的仓库可能必须处理和搬运各种各样的产品。搬运这些产品的机器人系统通常将没有可用的3D CAD或模型，很少或没有先前的图像数据，并且没有关于条形码位置的明确信息。该系统和方法可以解决这些挑战，从而可以搬运各种各样的产品。

该系统和方法可以提供许多潜在的好处。该系统和方法不限于总是提供这样的好处，并且仅作为该系统和方法如何投入使用的示例性表示来呈现。益处的列表并不旨在穷举，并且可以附加地或替代地存在其他益处。

作为一个潜在的好处，该系统和方法可以用于提高机器人系统的吞吐量。抓取规划和动态工具选择可用于自动改变操作和利用不同末端执行器的能力来选择特定物品。该系统和方法可以优选地减少或者甚至最小化花费在更换工具上的时间，同时增加或者甚至最大化物品操纵成功率(例如，成功地抓取物品)。

作为另一个潜在的好处，该系统和方法可以更可靠地与物品交互。预测建模可用于更成功地与物品交互。在执行物品任务(如拾取和放置物品)时，更换工具所增加的灵活性可进一步用于提高成功的机会。

作为一个相关的潜在好处，该系统和方法可以自动化的方式更有效地与产品一起工作。一般来说，机器人系统将对物品进行一些处理，作为对抓取的物品采取的一些其他动作的中间步骤。例如，可以抓住产品，扫描条形码，然后基于条形码标识符将产品放入适当的箱或货柜中。通过更可靠地选择物品，该系统和方法可以减少失败尝试的次数。这可以导致更快的搬运物品的时间，从而提高处理物品的效率。

作为另一个潜在的好处，该系统和方法可以适用于各种环境。在一些变型中，使用这里描述的配置方法，该系统和方法可以被容易且有效地配置用于新环境。作为另一个方面，多工具变型能够搬运多种物品。该系统和方法可以不依赖于在为特定站点/位置设置之前收集大量数据或信息。这样，使用该系统和方法的取放机器人系统可以被移动到新的仓库中，并且开始搬运该仓库的产品，而无需冗长的配置过程。此外，该系统和方法可搬运多种类型的物品。该系统和方法优选地非常适合于需要搬运的产品种类和类型多种多样的情况。但是，在物品多样性较低的情况下，该系统和方法的实例可能同样有用。

作为一个相关的好处，当该系统和方法学习并适应特定设施所遇到的物品时，该系统和方法还可以随着时间的推移学习并提高性能。

另一个实施例涉及一种机器人包装搬运系统，包括：包括远侧部分和近侧基座部分的机械臂；联接到所述机械臂的远侧部分的末端执行器；与所述机械臂的远侧部分几何邻近地就位的置放结构；与一个或多个包装接触并与所述机械臂的远侧部分几何邻近地就位的拾取结构；被定位和定向成捕获关于所述拾取结构和一个或多个包装的图像信息的第一成像装置；和第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动；其中所述第一计算系统配置成操作所述机械臂和末端执行器以进行从拾取结构抓取所述一个或多个包装中的目标包装，并释放目标包装以搁置在置放结构上；其中所述末端执行器包括第一吸盘组件，所述第一吸盘组件联接到可控启用的真空负载，所述可控启用的真空负载可操作地联接到所述第一计算系统，所述第一吸盘组件限定第一内部捕获腔室，所述第一内部捕获腔室配置成使得进行对所述目标包装的抓取包括当所述真空负载在所述目标包装附近被可控制地启用时，将所述目标包装的一部分拉入所述第一内部捕获腔室中并用所述第一内部捕获腔室至少部分地封装所述目标包装的一部分。

另一实施例涉及一种机器人包装搬运系统，包括：包括远侧部分和近侧基座部分的机械臂；联接到所述机械臂的远侧部分的末端执行器；与所述机械臂的远侧部分几何邻近地就位的置放结构；与一个或多个包装接触并与所述机械臂的远侧部分几何邻近地就位的拾取结构；被定位和定向成捕获关于所述拾取结构和一个或多个包装的图像信息的第一成像装置；第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动；其中所述第一计算系统配置成操作所述机械臂和末端执行器以进行从拾取结构抓取所述一个或多个包装中的目标包装，并释放目标包装以搁置在置放结构上；其中所述末端执行器包括第一吸盘组件，所述第一吸盘组件联接到可控启用的真空负载，所述真空负载可操作地联接到所述第一计算装置，所述第一吸盘组件限定第一内部腔室、第一外部密封唇和第一真空可渗透的远侧壁构件，所述第一内部腔室、所述第一外部密封唇和所述第一真空可渗透的远侧壁构件共同构造成使得在于所述真空负载被可控地启用的情况下进行对所述目标包装的抓取时，所述外部密封唇能变得可移除地联接到所述目标包装的至少一个表面，同时所述真空可渗透的远侧壁构件防止所述目标包装的所述表面过度突出到吸盘组件的内部腔室中。

另一实施例涉及一种机器人包装搬运系统，包括：包括远侧部分和近侧基座部分的机械臂；联接到所述机械臂的远侧部分的末端执行器；与所述机械臂的远侧部分几何邻近地就位的置放结构；与一个或多个包装接触并与所述机械臂的远侧部分几何邻近地就位的拾取结构；

被定位和定向成捕获关于所述拾取结构和一个或多个包装的图像信息的第一成像装置；第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动；其中所述第一计算系统配置成操作所述机械臂和末端执行器以进行从所述拾取结构抓取所述一个或多个包装中的目标包装，并释放所述目标包装以搁置在所述置放结构上；其中所述末端执行器包括第一吸盘组件，所述第一吸盘组件联接到可控启用的真空负载，所述可控启用的真空负载可操作地联接到所述第一计算系统，所述第一吸盘组件配置成使得进行抓取包括当所述真空负载在所述目标包装附近被可控地启用时接合所述目标包装；其中计算装置配置成在进行抓取之前至少部分地基于由计算装置操作的神经网络的运行时使用来分析多个候选抓取，以选择要被执行的执行抓取，以从所述拾取结构移出所述目标包装，所述神经网络使用从合成数据开发的视图来训练，所述合成数据包括合成拾取结构所包含的一个或多个合成包装的三维模型的渲染图像。

另一实施例涉及一种机器人包装搬运系统，包括：包括远侧部分和近侧基座部分的机械臂；联接到所述机械臂的远侧部分的末端执行器；与所述机械臂的远侧部分几何邻近地就位的置放结构；与一个或多个包装接触并与所述机械臂的远侧部分几何邻近地就位的拾取结构；被定位和定向成捕获关于所述拾取结构和一个或多个包装的图像信息的第一成像装置；第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动；其中所述第一计算系统配置成操作所述机械臂和末端执行器以进行从所述拾取结构抓取所述一个或多个包装中的目标包装，并释放所述目标包装以搁置在所述置放结构上；其中所述末端执行器包括第一吸盘组件，所述第一吸盘组件联接到可控启用的真空负载，所述可控启用的真空负载可操作地联接到所述第一计算系统，所述第一吸盘组件配置成使得进行抓取包括当所述真空负载在所述目标包装附近被可控地启用时接合所述目标包装；其中所述系统还包括第二成像装置，所述第二成像装置可操作地联接到所述第一计算系统，并且被定位和定向成在已经使用所述末端执行器进行抓取之后捕获所述目标包装的一个或多个图像，以通过围绕所述目标包装拟合3-D矩形棱柱并估计所述矩形棱柱的长-宽-高(L-W-H)来估计所述目标包装的外部尺寸界限，并且利用拟合的3-D矩形棱柱来估计所述目标包装相对于所述末端执行器的位置和取向；其中所述第一计算系统配置成操作所述机械臂和所述末端执行器，以便以相对于所述置放结构的特定位置和取向将所述目标包装放置在所述置放结构上。

另一实施例涉及一种系统，包括：机器人取放机，所述机器人取放机包括致动系统和可更换的末端执行器系统，该可更换的末端执行器系统配置成有利于在多个末端执行器头部之间进行选择和切换；感测系统；以及在对所述机器人取放机的控制中使用的抓取规划处理流水线。

另一实施例涉及一种用于机器人包装搬运的方法，包括：a.提供包括远侧部分和近侧基座部分的机械臂、联接到所述机械臂的远侧部分的末端执行器、与所述机械臂的远侧部分几何邻近地就位的置放结构、与一个或多个包装接触并与所述机械臂的远侧部分几何邻近地就位的拾取结构、被定位和定向成捕获关于所述拾取结构和一个或多个包装的图像信息的第一成像装置、和第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动，其中所述末端执行器包括第一吸盘组件，所述第一吸盘组件联接到可控启用的真空负载，所述可控启用的真空负载可操作地联接到所述第一计算系统，所述第一吸盘组件限定第一内部捕获腔室；以及b.利用所述第一计算系统来操作所述机械臂和末端执行器以进行从所述拾取结构抓取所述一个或多个包装中的目标包装，并释放所述目标包装以搁置在所述置放结构上；其中进行对所述目标包装的抓取包括当所述真空负载在所述目标包装附近被可控地启用时，将所述目标包装的一部分拉入所述第一内部捕获腔室中并用所述第一内部捕获腔室至少部分地封装所述目标包装的一部分。

另一实施例涉及一种用于机器人包装搬运的方法，包括：a.提供包括远侧部分和近侧基座部分的机械臂、联接到所述机械臂的远侧部分的末端执行器、与所述机械臂的远侧部分几何邻近地就位的置放结构、与一个或多个包装接触并与所述机械臂的远侧部分几何邻近地就位的拾取结构、被定位和定向成捕获关于所述拾取结构和一个或多个包装的图像信息的第一成像装置、和第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动；以及b.利用所述第一计算系统来操作所述机械臂和末端执行器以进行从所述拾取结构抓取所述一个或多个包装中的目标包装，并释放所述目标包装以搁置在所述置放结构上；其中所述末端执行器包括第一吸盘组件，所述第一吸盘组件联接到可控启用的真空负载，所述可控启用的真空负载可操作地联接到所述第一计算装置，所述第一吸盘组件限定第一内部腔室、第一外部密封唇和第一真空可渗透的远侧壁构件，第一内部腔室、第一外部密封唇和第一真空可渗透的远侧壁构件共同构造成使得在于所述真空负载被可控地启用的情况下进行对所述目标包装的抓取时，所述外部密封唇能变得可移除地联接到所述目标包装的至少一个表面，同时所述真空可渗透的远侧壁构件防止所述目标包装的所述表面过度突出到吸盘组件的内部腔室中。

另一实施例涉及一种用于机器人包装搬运的方法，包括：a.提供包括远侧部分和近侧基座部分的机械臂、联接到所述机械臂的远侧部分的末端执行器、与所述机械臂的远侧部分几何邻近地就位的置放结构、与一个或多个包装接触并与所述机械臂的远侧部分几何邻近地就位的拾取结构、被定位和定向成捕获关于所述拾取结构和一个或多个包装的图像信息的第一成像装置、和第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动；以及b.利用所述第一计算系统来操作所述机械臂和末端执行器以进行从所述拾取结构抓取所述一个或多个包装中的目标包装，并释放所述目标包装以搁置在所述置放结构上；其中所述末端执行器包括第一吸盘组件，所述第一吸盘组件联接到可控启用的真空负载，所述可控启用的真空负载可操作地联接到所述第一计算系统，所述第一吸盘组件配置成使得进行抓取包括当所述真空负载在所述目标包装附近被可控地启用时接合所述目标包装；其中计算装置配置成在进行抓取之前至少部分地基于由计算装置操作的神经网络的运行时使用来分析多个候选抓取，以选择要被执行的执行抓取，以从所述拾取结构移出所述目标包装，所述神经网络使用从合成数据开发的视图来训练，所述合成数据包括合成拾取结构所包含的一个或多个合成包装的三维模型的渲染图像。

另一实施例涉及一种用于机器人包装搬运的方法，包括：a.提供包括远侧部分和近侧基座部分的机械臂、联接到所述机械臂的远侧部分的末端执行器、与所述机械臂的远侧部分几何邻近地就位的置放结构、与一个或多个包装接触并与所述机械臂的远侧部分几何邻近地就位的拾取结构、被定位和定向成捕获关于所述拾取结构和一个或多个包装的图像信息的第一成像装置、和第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动；以及b.利用所述第一计算系统来操作所述机械臂和末端执行器以进行从所述拾取结构抓取所述一个或多个包装中的目标包装，并释放所述目标包装以搁置在所述置放结构上；其中所述末端执行器包括第一吸盘组件，所述第一吸盘组件联接到可控启用的真空负载，可控启用的真空负载可操作地联接到第一计算系统，第一吸盘组件配置成使得进行抓取包括当所述真空负载在所述目标包装附近被可控地启用时接合所述目标包装；c.提供第二成像装置，所述第二成像装置可操作地联接到所述第一计算系统，并且被定位和定向成在已经使用所述末端执行器进行抓取之后捕获所述目标包装的一个或多个图像，以通过围绕所述目标包装拟合3-D矩形棱柱并估计所述矩形棱柱的长-宽-高(L-W-H)来估计所述目标包装的外部尺寸界限，并且利用拟合的3-D矩形棱柱来估计所述目标包装相对于所述末端执行器的位置和取向；以及d.利用第一计算系统来操作所述机械臂和末端执行器，以便以相对于所述置放结构的特定位置和取向将所述目标包装放置在所述置放结构上。

另一实施例涉及一种方法，包括：a.收集物品所在区域的图像数据；b.规划抓取，其包括通过抓取质量模型评估图像数据以生成一组候选抓取计划、处理候选抓取计划并选择抓取计划；c.用机器人系统执行所选的抓取计划；以及d.执行物品交互任务。

具体实施方式

序列号如下的下列美国专利申请通过引用整体结合于此：17/220,679-公开号2021/0308874；17/220,694-公布号2021/0308875；17/404,748-公开号2022/0048707；和17/468,220-公开号2022/0072587。

参考图1，用于规划和适应物品操纵的系统可包括：具有致动系统(8)和可更换的末端执行器系统(4)的机器人取放机(2)；用于对机器人取放机的控制的感测系统和抓取规划处理流水线(6)。该系统和方法还可包括工作站配置模块，其用于动态定义机器人系统的环境配置。该系统优选地用于其中一个区域中的一组物品需要以某种方式被处理或操纵的情况。

在许多取放型应用中，该系统用于其中在环境中以某种方式呈现一组物品(例如，产品)的情况。物品可存储和呈现在货柜、手提箱/搬运箱、袋子、盒子和/或其他储存元件中。物品也可通过一些物品供应系统如传送带来呈现。该系统可另外需要操纵物品以将物品放置在这种储存元件中，例如通过将物品从货柜移动到该物品专用的盒子中。类似地，该系统可用于将物品移动到装袋机系统或另一个物品操纵系统如传送带。

该系统可在集成工作站中实现，其中工作站是其中物理集成了多种不同元件的单个单元。然而，计算基础设施和资源的某些部分可以是远程的，并且可通过通信网络来访问。在一个示例中，集成工作站包括具有物理联接的感测系统的机器人取放机(2)。通过这种方式，集成工作站可移动和固定到位，并且开始对环境中的物品进行操作。替代地，该系统可实现为协同操作的离散部件的集合。例如，在一种实施方式中，感测系统可从机器人取放机物理地移除。下面描述的工作站配置模块可用于这种工作站的定制配置和设置。

机器人取放机用作用于与物品相互作用的自动化系统。机器人取放机(2)优选包括致动系统(8)和末端执行器(4)，末端执行器(4)用于临时物理联接(例如，抓取或附着)到物品并执行对该物品的一些操纵。致动系统用于移动末端执行器，并且当联接到一个或多个物品时，在空间中移动和定向物品。优选地，机器人取放机用于拾取物品、操纵物品(移动和/或重新定向物品)，然后在完成时放置物品。这里，机器人取放机更一般地被称为机器人系统。可使用多种不同的机器人系统。在一个优选实施方式中，机器人系统是使用基于压力的吸盘末端执行器的关节臂。机器人系统可包括多种不同的特征或设计。

致动系统(8)用于在空间中平移末端执行器。致动系统将优选将末端执行器移动到多个不同的位置，以便与多个不同的物品相互作用。致动系统可附加地或替代地用于沿着特定路径移动末端执行器和被抓取的物品，定向末端执行器和/或被抓取的物品，和/或提供对末端执行器的任何合适的操纵。一般地，致动系统用于末端执行器的粗略移动。

致动系统(8)可以是用于促进末端执行器移动的各种类型的机器中的一种。在一个优选变型中，致动系统是机器人关节臂，其包括通过互连的臂段联接的多个致动自由度。如图1所示，被致动的机械臂的一个优选变型是包括六个自由度的六轴线机械臂。替代地，致动系统可以是具有较少自由度的机械臂，例如4轴线或5轴线机械臂，或者具有附加关节自由度的机械臂，例如7轴线机械臂。

在其他变型中，致动系统可以是任何种类的机器人系统，如直角坐标型(Cartesian)机器人、圆柱坐标型机器人、球形机器人、SCARA机器人、并联机器人(如Delta机器人)，和/或用于受控致动的机器人系统的任何其他变型。

致动系统(8)优选包括末端臂段。末端臂段优选是从致动系统的最后被致动的自由度延伸的刚性结构。在关节式机械臂中，最后一个臂段联接到末端执行器(4)。如下所述，末端臂段的末端可包括头部选择器，该头部选择器是可更换的末端执行器系统的一部分。

在一种变型中，末端臂段可额外包括或连接至至少一个顺应性关节。

顺应性关节用作至少一个附加自由度，其优选位于末端执行器附近。顺应性关节优选地位于致动系统的末端臂段的远端，其中顺应性关节可以起到“腕”关节的作用。顺应性关节优选地在末端执行器与物品相互作用的位置附近提供补充的灵活性，这在与物品相互作用的各种情况下是有用的。

在系统的多工具更换变型中，顺应性关节优选位于头部选择器部件之前，以使每个可附接的末端执行器头部能够以可控的顺应性使用。替代地，一个或多个多重末端执行器可以具有顺应性关节。

在多头部工具变型中，顺应性关节可集成到多头部末端执行器的共享附接点/附着部位中。以这种方式，连接的末端执行器的使用可在顺应性关节处共享共同的自由度。替代地，多头部末端执行器的一个或多个多重末端执行器可包括顺应性关节。这样，每个单独的末端执行器可具有独立的顺应性。

顺应性关节优选为可控顺应性关节，其中可选择性地使关节以至少部分顺应的方式移动。当以顺应的方式移动时，顺应性关节可优选地响应外力而致动。优选地，顺应性关节具有可控的旋转自由度，使得顺应性关节可以响应外力而旋转。另外，优选地，顺应性关节可以选择性地以受控方式致动。在一个优选的变型中，可控顺应性关节具有一个旋转自由度，当以顺应模式接合时，该可控顺应性关节能自由旋转(至少在某个角度范围内)，当以受控模式接合时，该可控顺应性关节可被致动，从而以受控方式旋转。顺应的线性致动可以附加地或替代地被设计成顺应性关节。对于可变或部分顺应形式的致动，顺应性关节可以附加地或替代地被控制，其中顺应性关节可被致动，但是对特定阈值以上的力是顺应的。

末端执行器(4)用于促进与物品的直接相互作用。优选地，该系统用于抓取物品，其中抓取描述了与物品物理联接以进行物理操纵。可控抓取优选地使得末端执行器能够选择性地与物品连接/联接(“抓取”或“拾取”)，并且选择性地与物品断开连接/断开联接(“放下”或“放置”)。末端执行器可以通过吸力、夹紧物品、施加磁场和/或通过任何合适的力可控地“抓取”物品。在此，该系统主要描述为基于吸力抓取物品，但是在此描述的变型不一定限于基于吸力的末端执行器。

在一个优选变型中，末端执行器(4)包括连接到压力系统的末端执行器抽吸头部(24，可更简明地称为抽吸头部)。抽吸头部优选包括一个或多个吸盘(26、28、30、32)。吸盘可具有各种尺寸、硬度、形状和其他配置。抽吸头部配置的一些例子可包括单个吸盘配置、四吸盘配置和/或其他变型。抽吸头部的尺寸、材料、几何形状也可针对不同应用进行改变。压力系统通常将包括通过一个或多个软管连接到抽吸头部的至少一个真空泵。

在一个优选的变型中，系统的末端执行器包括多头部末端执行器工具，该工具包括多个可选末端执行器头部，如示例变型图5(34)和图6(24)所示。每个末端执行器头部可连接到单独控制的压力系统。该系统可选择性地启动一个或多个压力系统以使用多头部末端执行器工具的一个或多个末端执行器进行抓取。优选地，基于来自抓取规划模型的动态控制输入来选择和使用末端执行器头部。压力系统也可以替代地使用可控阀来对气流进行重新定向。不同的末端执行器优选是间隔开的。它们可在基本相同的方向上倾斜，但是末端执行器可以替代地在非平行方向上从末端臂段向外指向。

如图5的剖视图所示，多头部末端执行器工具的一个示例性变型为双头部抓具(34)。这种变型可专门用于到达深货柜或容器的角落内，以及拾起小物品(例如，像铅笔一样的小物品)以及较大的物品(例如箱)。在一种变型中，每个夹头末端执行器能够在弹簧机构上线性滑动。末端执行器头部可联接到软管，软管连接到压力系统。软管可螺旋缠绕在中心轴上(以允许移动)，从而将抽吸头部连接到真空发生器。

如图6所示，多头部末端执行器工具(24)的另一个示例性变型可为四头部式多头部抓具。如该变型所示，各种传感器如照相机或条形码读取器可集成到多头部末端执行器工具中，如在掌部中所示。可选择吸盘末端执行器头部以具有广泛的应用(例如，一个用于小箱，一个用于大箱，一个用于松散的塑料袋，一个用于较硬的塑料袋)。多个抓具的组合可拾取不同尺寸的物品。在一些变型中，该多头部末端执行器工具可通过弹簧柱塞连接到机器人，以允许定位误差。

在该系统的另一个优选变型中，该系统可包括可更换的末端执行器系统，该系统使得能够更换末端执行器。可更换的末端执行器系统优选地包括集成到致动系统的远端(例如，末端臂段)的头部选择器(36)、一组末端执行器头部和头部保持装置(38)，或用于所谓的“工具切换”的工具保持器。优选地，基于来自抓取规划模型的动态控制输入来选择和使用末端执行器头部。头部选择器和末端执行器头部优选地在选择器和头部的附接部位处连接在一起。一个或多个末端执行器头部可在不使用时储存在头部保持装置(38)中。头部保持装置还可在储存期间对储存的末端执行器头部进行定向，以便于选择。头部保持装置还可部分地限制末端执行器头部在至少一个方向上的运动，以便于与头部选择器的附接或分离。

头部选择器系统用于选择性地附接和拆卸多个末端执行器头部。末端执行器头部用作与物品接合的物理部位。末端执行器可针对不同的情况进行专门配置。在一些变型中，头部选择器系统可与多头部末端执行器工具结合使用。例如，一个或多个末端执行器头部可通过头部选择器系统拆卸和更换。

可更换的末端执行器系统可使用多种设计来改变末端执行器。在一种变型中，可更换的末端执行器是被动变型，其中末端执行器头部在不使用受控机构的情况下附接到机器人系统和从机器人系统分离。在被动变型中，机器人系统的致动和/或气压控制能力可用于接合和脱离不同的末端执行器头部。静态磁体(44，46)、物理固定装置(48)(螺纹、分度/对准结构、摩擦配合或卡扣配合固定装置)和/或其他静态机构也可用于临时连接末端执行器头部和头部选择器。

在另一种变型中，可更换的末端执行器为主动系统，其使用一些启用机制(例如，机械、机电、电磁等)与所选的末端执行器头部接合和脱离。这里，描述中主要使用被动变型，但是系统和方法的变型可以类似地与主动变型或替代变型一起使用。

可更换的末端执行器系统的一个优选变型设计为与使用带抽吸头部末端执行器的压力系统的机器人系统一起使用。头部选择器还可起到将压力引导至末端执行器头部的作用。头部选择器可包括限定的内部通孔，使得压力系统联接到末端执行器头部。末端执行器头部通常是抽吸头部。如图2所示，一组末端执行器抽吸头部可具有多种设计。

头部选择器和/或末端执行器头部可包括界定限定的通孔的密封件(40，42)元件。该密封件能够使压力系统加强头部选择器和末端执行器头部的连接。当末端执行器用于拾取物品时，该力将被启用，并且当加载了外部物品时，该力将帮助末端执行器头部保持附着。

密封件(40，42)优选地集成到头部选择器的附接面中，但密封件可以附加地或替代地集成到末端执行器头部中。密封件可以是O形环、垫圈或其他密封元件。优选地，密封件沿着附接面的外边缘定位。外边缘优选地是沿着附接面的位置，其中与外部部分相比，在内部部分上具有更大的附接面。例如，在一个实施方式中，密封件可被定位成使得超过75％的表面积在内部部分中。这可增加压力系统可在其上施加力的表面积。

磁体(44，46)可用在可更换的末端执行器系统中，以有助于被动附接。磁体优选集成到头部选择器中和/或末端执行器头部组中。在优选的变型中，磁体被集成到头部选择器和末端执行器头部中。替代地，磁体可集成到头部选择器和末端执行器头部中的一者中，而另一者具有铁磁金属件来代替磁体。

在一个实施方式中，磁体具有在附接方向上对齐的单个磁极(例如，一磁体的北极在头部选择器上指向外，另一磁体的南极在每个末端执行器头部上指向外)。在头部选择器和末端执行器头部中使用相反的磁极可增加吸引力。

磁体可以附着部位的中心为中心或者围绕附着部位的中心对齐。在一种实施方式中，磁体可以围绕中心和限定的空腔，空气可通过该空腔流动用于基于压力的末端执行器。在另一个变型中，多个磁体可围绕附接点/附着部位的中心定位，这可用于促进头部选择器和末端执行器头部之间的一些对准。在一种变型中，磁体可关于中心偏心不对称和/或使用改变磁极对准来进一步促进头部选择器和末端执行器头部之间的期望对准。

在一种实施方式中，当不与物品接合(例如，不在压力下)时，磁体可以提供末端执行器头部的初始安置和保持，并且当保持物品时，密封件和/或压力系统可以提供主要吸引力。

可更换的末端执行器系统可包括以包括以下的多种不同方式起作用的多个不同结构元件：包括在加载期间提供加固、在附接时促进更好的物理联接、在附接时(和/或当在头部保持装置中时)对准末端执行器头部、或者为系统提供其他特征。

在一种结构元件变型中，头部选择器和末端执行器头部可包括如图3所示的互补配准结构。配准结构可以是头部选择器和/或末端执行器的附接面的突出或凹陷特征结构。在一种变型中，配准结构是凹槽或齿。配准结构可用于限制头部选择器和末端执行器头部如何附接。头部选择器和该组末端执行器头部可包括一组配准结构或多个配准结构对。配准结构可附加地或替代地防止末端执行器头部的旋转。以类似的方式，配准结构能够通过头部选择器和末端执行器头部的联接来传递扭矩。

在另一个结构元件变型中，可更换的末端执行器系统可包括集成到头部选择器和末端执行器头部之一或两者中的横向支承结构(50)。横向支承结构用于提供结构支承并限制旋转(例如，围绕与末端臂段的限定的中心轴线相垂直的轴线的旋转)。当末端执行器水平定位并保持物品时，横向支承结构优选地提供支承。横向支承结构可以防止或减轻抓取物品时施加的扭矩导致末端执行器头部被拉掉的情况。

横向支承结构(50)可以是延伸结构件，其具有与头部选择器和/或末端臂段的表面接合的形状。横向支承结构可在头部选择器和末端执行器头部(4)中的一者或两者上。优选地，互补的横向支承结构是头部选择器和末端执行器臂的主体的一部分。在一种变型中，当如图4所示连接时，末端执行器和头部选择器的互补横向支承结构以互补的方式接合。

可具有单个横向支承结构。利用单个横向支承结构，机器人系统可以沿着主轴线主动定位横向支承结构，从而在移动物品时受益于横向支承。该变型中的机器人系统可包括位置跟踪和规划配置，以适当地拾取物品并定向末端执行器头部，使得横向支承结构被适当地定位以提供期望的支承。在一些情况下，这可以仅用于选择的物品(例如，大的和/或重的物品)。在另一种变型中，可具有一组横向支承结构。该组横向支承结构可以围绕周界定位，从而提供一定程度的横向支承，而不管末端执行器头部的旋转取向如何。例如，可具有围绕周边均匀分布的三个或四个横向支承结构。在另一种变型中，可具有围绕末端执行器部件边缘的连续支承结构。

头部保持装置/保持器或工具保持装置/保持器(38)用于在不使用时保持末端执行器头部。在一种变型中，保持器是具有一组限定的开口槽的支架，该一组限定的开口槽可保持多个末端执行器头部。在一种实施方式中，保持器包括开口的槽，使得末端执行器头部可滑入该槽中。保持器槽还可围绕末端执行器头部的颈部接合，使得机器人系统可垂直拉动，以将头部选择器从当前末端执行器头部脱离。相反，当选择新的末端执行器头部时，致动系统可将头部选择器移动到末端执行器头部的开口周围的近似位置，将末端执行器头部滑出保持器槽，并且磁性元件将末端执行器头部拉到头部选择器上。

头部保持装置可包括转位结构，当接合时，该转位结构将末端执行器头部移动到期望的位置。如果可更换的末端执行器系统的特征需要末端执行器的取向处于已知位置，则可使用这种方法。

感测系统用于收集物品和环境的数据。感测系统优选地包括成像系统，其用于收集图像数据。该成像系统优选地包括至少一个在第一区域中具有视场的成像装置(10)。第一区域可以是预期物品交互的地方。该成像系统可另外包括多个成像装置(12，14，16，18)，例如数码相机传感器，用于从不同区域、重叠区域和/或不同非重叠区域的多个视角收集图像数据。该组成像装置(例如，一个成像装置或多个成像装置)可包括视觉成像装置(例如，照相机)。该组成像装置可附加地或替换地包括其他类型的成像装置，诸如深度相机。可附加地或替代地使用其他合适类型的成像装置。

成像系统优选地捕获物品将被初始定位和移动到的位置的俯视图或鸟瞰图。更一般地，收集的图像数据来自机器人系统将接近和抓取物品的大致方向。在一种变型中，被呈现用于处理的物品集合以基本上无组织的集合呈现。例如，各种物品的集合可临时储存在箱/盒或搬运箱中(以堆叠和/或无组织的捆的形式)。在其他变型中，可以基本上有组织或系统的方式呈现物品。在一种变型中，物品可放置在建造的输送机上，该输送机在机器人系统的范围内移动。在该变型中，物品可与相邻物品基本/显著分离，使得每个物品可被单独处理/搬运。

该系统优选地包括抓取规划处理流水线(6)，其用于确定如何从一组物品中抓取物品，以及可选地用什么工具抓取物品。处理流水线可由启发式模型、条件检查、统计模型、机器学习或其他基于数据的建模和/或其他过程组成。在一个优选变型中，流水线包括图像数据分割器，抓取质量模型用于生成候选抓取计划的初始集合，然后是使用候选抓取计划集合的一个或多个抓取计划选择过程。

图像数据分割器可分割图像数据以生成一个或多个图像掩码。该组图像掩码可包括物品掩码、物品集合掩码(例如，分割多个货柜、手提箱/搬运箱、货架等)、物品特征掩码(例如条形码掩码)和/或其他合适类型的掩码。图像掩码可用在抓取质量模型和/或抓取计划选择过程中。

抓取质量模型用于将图像数据和可选的其他输入数据转换成一组候选抓取计划的输出。抓取质量模型可包括深度神经网络、支持向量机、随机森林和/或其他机器学习模型的参数。在一种变型中，训练抓取质量模型可包括或者是卷积神经网络(CNN)。抓取质量模型的参数通常将被优化以充分地最大化(或以其他方式增强)训练数据集的性能，该训练数据集可包括一组图像、图像上一组点的抓取计划、以及这些抓取计划的抓取结果(例如，成功或失败)。

在一个示例性实施方式中，抓取质量CNN是被训练的模型，使得对于图像数据(例如，视觉或深度)的输入，该模型可输出表征独特工具、姿态(用于使抓取居中的位置和/或取向)和成功概率的张量/向量。抓取规划模型和/或额外的处理模型可额外地集成物品选择顺序、基于材料的工具选择和/或其他决策因素的建模。

训练数据集可包括手动或自动标记的真实或合成图像。在一种变型中，模拟现实迁移学习可用于训练抓取质量模型。合成图像可通过使用具有随机化纹理的数千个3D物品模型的数据库在模拟中生成虚拟场景并使用来自图形的技术渲染场景的虚拟图像来创建。

抓取计划选择过程优选地从抓取质量模型中评估该组候选抓取计划，并选择要执行的抓取计划。优选地，选择单个抓取计划，尽管在一些变型中，例如如果有多个机器人系统同时操作，可选择多个抓取计划并协调执行以避免干扰。抓取计划选择过程可评估最佳候选抓取计划的成功概率，并且如果一些最佳候选抓取计划是针对不是当前附接的工具的工具，则评价更换工具的时间影响。

在一些变型中，该系统可包括工作站配置模块。工作站配置模块可以是被实现为存储在数据存储介质上的机器可解释指令的软件，当由一个或多个计算机处理器执行时，该指令使得工作站配置输出指导环境条件定义的用户界面。配置工具可作为末端执行器被附加，并用于标记和定位各种环境物品的关键特征的坐标。

该系统还可包括到各种环境实现的系统的API接口。该系统可包括到外部系统的API接口，外部系统例如为仓库管理系统(WMS)、仓库控制系统(WCS)、仓库执行系统(WES)和/或可用于接收关于物品位置和身份的指令和/或信息的任何合适的系统。在另一个变型中，可具有到各种订单请求的API接口，其可用于确定如何为不同的订单将产品集合打包到箱中。

[***********]

参照图7A-7F，示出了机器人包装搬运配置的各个方面。参考图7A，具有多个元件的中心框架(64)可用于联接各种部件，例如机械臂(54)、置放结构(56)、拾取结构(62)和计算机壳(60)。如前述引用的参考文献中所述，置放结构的可移动部件(58)可用于从置放结构(56)捕获物品，并将它们传送到系统(52)内的各种其他位置。图7B示出了系统(52)实施例的更近视图，其中所示的拾取结构(62)包括限定由底部和多个壁界定的包装容纳体积的货柜，并且可限定开放的进入孔以适应机械臂的一部分的进入和离开，以及由成像装置(66)观察。在其他实施例中，拾取结构可包括固定表面，例如工作台、可移动表面如传送带系统、或托盘。参考图7C，该系统可包括多个成像装置，其配置成捕获操作的各个方面的图像。这种成像装置可包括单色、灰度或彩色装置，并且可包括深度相机装置，诸如由Intel公司以商标名RealSense(RTM)出售的那些装置。第一成像装置(66)可固定地联接到框架(64)的元件，并且可被定位和定向以捕获图像，其中视场(80)向下定向到拾取结构(62)中，如图7C所示。第二成像装置(66)可联接到框架(64)的元件，并且被定位和定向以捕获与机械臂(54)的末端执行器(4)有关的图像信息，以及与被捕获或抓取的包装有关的图像信息，该包装可在成功抓取之后可移除地联接到末端执行器(4)。这种图像信息可用于估计所抓取的物品或包装的外部尺寸界限，例如通过围绕目标包装拟合3-D矩形棱柱并估计矩形棱柱的长-宽-高(L-W-H)的方式进行估计。该3-D矩形棱柱用于估计目标包装相对于末端执行器的位置和取向。成像装置可由相互联接/耦合的计算系统(60)自动触发。计算系统可配置成通过在目标包装的运动期间捕获目标包装的图像序列并在图像序列内分析目标包装的变形来估计目标包装是否可变形，例如通过在机械臂对包装进行运动或加速期间观察包装在图像区域内的运动(即，刚性包装将具有通常与加速度和运动一起一致运动的区域；顺应性可具有与加速度和运动不一致的区域)来估计。如图7C和7D所示，各种附加的成像装置(74，76，78)可被定位和定向以提供视场(84，86，88)，这在观察机械臂(54)和相关包装的活动中是有用的。

参考图7E，真空负载源(90)，例如加压空气或气体源，其可以可控地(例如通过例如利用用于闭环控制的集成压力和/或速度传感器被可操作地联接/耦合到计算系统的机电可控输入阀)循环通过文丘里配置，并且可操作地联接(例如通过导管)到末端执行器组件，以产生用于吸盘组件和基于吸力的末端执行器(4)的受控真空负载。

图7F示出了具有末端执行器组件(24)的机械臂(54)的更近视图，末端执行器组件(24)包括两个吸盘组件(26，28)，这两个吸盘组件(26，28)配置成帮助抓取包装，如在前述引用的参考文献中进一步描述的。参考图8A、8B和7G，示出了吸盘组件(26)的一个实施例，显示了联接到外壳(92)的真空连接器(104)，该外壳可包括波纹管结构，该波纹管结构包括在弯曲边缘处联接的多个可折叠壁部分；这种波纹管结构可包括从由聚乙烯、聚丙烯、橡胶和热塑性弹性体组成的组中选择的材料。相互联接的内部结构(94)可包括壁构件(114)，例如如图所示的大致圆筒(cynindrically)形状的壁构件，以及近侧基部构件(112)，该近侧基部构件可以限定穿过其中的多个入口孔(102)；它还可包括远侧壁构件(116)，该远侧壁构件限定具有内部结构孔的环状部分、多个过渡空气通道(108)和外部密封唇构件(96)；它还可以限定内部腔室(100)。间隙(106)可被限定在外壳构件(92)的和内部结构(94)的一部分之间，使得来自真空源的真空倾向于使用规定的路径通过内部腔室(100)以及相关联的入口孔(102)和过渡空气通道抽吸空气，该路径配置成有助于抓取，同时还防止某些包装表面过度突出通常不符合要求的包装。

参见图9A和9B，如在上述引用的参考文献中所述，对于顺应性包装或其一部分，该系统可构造成将顺应性部分(122)向上拉入内部腔室(100)中，以确保相对有把握地抓住顺应性包装，例如达到包装部分(122)至少部分地封装包装部分(122)的程度，如图9B所示。

参照图10A-10F，如上所述，置放结构(56)可包括部件(58)，该部件可旋转地和/或可拆卸地联接到置放结构(56)的其余部分，以帮助从置放结构(56)分配物品。如图10C所示，置放结构(56)可包括格栅状或中断的表面配置(128)，其具有保持斜面(132)，保持斜面(132)构造成适应互补部件(58)的可旋转和/或可移除的接合，如图10D所示，互补部件(58)可具有分叉或中断的结构(126)以接合另一个置放结构部件(56)。图10F示意性地示出了结构(56，58)之间的可移动和可旋转接合的方面，如在前述并入的参考文献中所述。

参考图11A的系统(52)配置，如上所述，诸如VLSI计算机的计算系统可以容纳在计算系统外壳结构(60)内。图11b示出了图11A的系统的视图，但是外壳被显示为透明的，以示出联接在内部的计算系统(134)。参考图11C，在其他实施例中，附加的计算资源可以可操作地联接(142、144、146)(例如通过固定网络连接，或者无线连接，例如IEEE 802.11标准下的配置)；例如，该系统可包括附加的VLSI计算机(136)，和/或可位于一个或多个远程/非本地(148)位置的、某些基于云计算的计算机资源(138)。

参考图12，为该系统的一种实施方式的示例性计算机架构图。在一些实现中，该系统在通过通信信道和/或网络通信的多个设备中实现。在一些实现中，系统的元素在单独的计算装置中实现。在一些实施方式中，两个或更多个系统元件在相同的装置中实现。该系统和该系统的一部分可集成到可充当该系统的或者在该系统内的计算装置或系统中。

通信信道1001与处理器1002A-1202N、存储器(例如，随机存取存储器(RAM))1003、只读存储器(ROM)1004、处理器可读存储介质1005、显示装置1006、用户输入装置1007和网络装置1008连接。如图所示，计算机基础设施可以用于连接机器人系统1101、传感器系统1102、抓取规划流水线1103和/或其他合适的计算装置。

处理器1002A-1002N可采用多种形式，如CPU(中央处理单元)、GPU(图形处理单元)、微处理器、ML/DL(机器学习/深度学习)处理单元，如张量处理单元、FPGA(现场可编程门阵列)、定制处理器和/或任何合适类型的处理器。

处理器1002A-1002N和主存储器1003(或某些子组合)可构成处理单元1010。在一些实施例中，处理单元包括通信联接到RAM、ROM和机器可读存储介质中的一者或多者的一个或多个处理器；处理单元的一个或多个处理器经由总线接收由RAM、ROM和机器可读存储介质中的一者或多者存储的指令；并且一个或多个处理器执行接收到的指令。在一些实施例中，处理单元是ASIC(专用集成电路)。在一些实施例中，处理单元是SoC(片上系统)。在一些实施例中，处理单元包括系统的一个或多个元件。

网络装置1008可提供一个或多个有线或无线接口，用于在系统和/或其他装置(如外部系统的装置)之间交换数据和命令。这种有线和无线接口包括例如通用串行总线(USB)接口、蓝牙接口、Wi-Fi接口、以太网接口、近场通信(NFC)接口等。

包括用于软件程序(如操作系统、应用程序和装置驱动程序)的配置的计算机和/或机器可读可执行指令可从处理器可读存储介质1005、ROM 1004或任何其他数据存储系统存储在存储器1003中。

当由一个或多个计算机处理器执行时，相应的机器可执行指令可由(处理单元1010的)处理器1002A-1002N中的至少一者通过通信信道1001访问，然后由处理器1002A-1002N中的至少一者执行。由软件程序创建或使用的数据、数据库、数据记录或其他存储形式的数据也可以存储在存储器1003中，并且这种数据在软件程序的机器可执行指令的执行期间由处理器1002A-1002N中的至少一者访问。

处理器可读存储介质1005为硬盘驱动器、闪存驱动器、DVD、CD、光盘、软盘、闪存、固态驱动器、ROM、EEPROM、电子电路、半导体存储装置等中的一种(或两种或更多种的组合)。处理器可读存储介质1005可包括操作系统、软件程序、装置驱动程序和/或其他合适的子系统或软件。

如本文所用，第一、第二、第三等用于表征和区分各种元件、部件、区域、层和/或区段。这些元件、部件、区域、层和/或区段不应受这些术语的限制。数字术语的使用可用于将一个元件、部件、区域、层和/或区段与另一个元件、部件、区域、层和/或区段区分开来。除非上下文明确指出，否则这种数字术语的使用并不意味着顺序或次序。在不脱离这里的实施例和变型的教导的情况下，这些数字参考可以互换使用。

[***********]

如图13所示，用于规划和适应机器人系统的物品操纵的方法可包括：收集物品所在区域的图像数据S110；规划抓取S200，包括通过抓取质量模型评估图像数据以生成一组候选抓取计划S210；和处理候选抓取计划并选择抓取计划S220；用机器人系统执行所选择的抓取计划S310；以及执行物品交互任务S320。抓取质量模型优选地集成了一组不同机器人工具的抓取质量，因此抓取计划的选择可触发工具的改变。对于取放机器人，这可包括基于所选的抓取计划改变末端执行器头部。

在图14所示的更详细的实现中，该方法可包括训练抓取质量模型S120；配置机器人系统工作站S130；接收物品交互任务请求S140；和触发收集物品所在区域的图像数据S110；规划抓取S200，其包括将图像数据分割为感兴趣的掩码区域S202；通过抓取质量模型评估图像数据以生成一组候选抓取计划S210；以及处理候选抓取计划并选择抓取计划S220；用机器人系统执行所选抓取计划S310；以及执行物品交互任务S320。

该方法可由诸如这里描述的系统之类的系统来实现，但该方法也可替代地由任何合适的系统来实现。

在一个变型中，该方法可包括训练抓取质量卷积神经网络S120，该抓取质量卷积神经网络用于构建数据驱动模型，该数据驱动模型用于对给定图像数据集的不同抓取计划进行评分。

抓取质量模型可包括深度神经网络、支持向量机、随机森林和/或其他机器学习模型的参数。在一种变型中，训练抓取质量模型可包括或者是卷积神经网络(CNN)。抓取质量模型的参数通常将被优化以充分地最大化(或以其他方式增强)训练数据集的性能，该数据集可包括一组图像、图像上一组点的抓取计划、以及这些抓取计划的抓取结果(例如，成功或失败)。

在一个示例性实施方式中，训练抓取质量CNN，使得对于图像数据(例如，视觉或深度)的输入，模型可以输出表征独特工具、姿态(用于使抓取居中的位置和/或取向)和成功概率的张量/向量。

训练数据集可包括手动或自动标记的真实或合成图像。在一种变型中，模拟现实迁移学习可用于训练抓取质量模型。合成图像可以通过使用具有随机化纹理的数千个3D物品模型的数据库在模拟中生成虚拟场景并使用来自图形的技术渲染场景的虚拟图像来创建。

抓取质量模型还可以将其他特征或抓取规划评分集成到模型中。在一个变型中，抓取质量模型将物品选择顺序集成到模型中。例如，可以使用上述度量来训练CNN，但是也可优先选择大物品，以便在下面显示较小物品，并且潜在地显示其他更高概率的抓取点。在其他变型中，可以集成各种算法试探法或过程来考虑物品尺寸、物品材料、物品特征(如条形码)或其他特征。

在该方法的执行过程中，随着物品的图像数据被收集、抓取计划被执行以及物品交互结果被确定，抓取质量模型可以另外被更新和改进。在一些变型中，可以提供抓取质量模型，其中抓取质量模型的训练和/或更新可以不由执行该方法的实体来执行。

在一种变型中，该方法可包括配置机器人系统工作站S130，其用于设置机器人系统工作站以进行操作。配置机器人系统工作站优选地包括配置环境特征相对于机器人系统的放置。例如，在仓库的例子中，配置机器人系统工作站包括设置放物墙、一组货架、箱、出捆机、传送带或物品可能位于或将要放置的其他区域的坐标位置。

在一种变型中，配置机器人系统可包括机器人系统接收用作末端执行器的配置工具的手动操纵，以限定各种几何形状。用户界面可以优选地引导用户通过该过程。例如，在用户界面中，可以在菜单中呈现一组标准环境物品。在选择物品之后，可以呈现指令，指导用户通过用配置末端执行器进行的一组测量。

配置还可以定义环境中已定义物品的属性。这可以提供在避免碰撞、定义如何在不同区域规划移动以及基于相关环境物品与物品交互方面有用的信息。环境物品可以被定义为静态的，以指示环境物品不移动。环境物品可以被定义为移动的。对于一些移动环境物品，也可以定义移动环境物品预期所在的区域。例如，机器人系统工作站可以配置成理解物品箱可能出现的大致区域以及预期箱的尺寸。还可以配置各种物品特定的特征，例如移动部件(例如门、箱盖)的大小和尺寸。例如，可以配置输送机的位置以及输送机路径。机器人系统可以另外与合适的API集成，以具有关于输送机状态的数据。

在一种变型中，该方法可包括接收物品交互任务请求S140，其用于使一些信号启动机器人系统的物品交互；它们的请求可以指定物品位于何处，并且更典型地，物品集合位于何处。该请求还可以提供指令或者以其他方式指定对该物品采取的动作。可以通过API接收物品交互任务请求。在一种实施方式中，可以使用外部系统，例如仓库管理系统(WMS)、仓库控制系统(WCS)、仓库执行系统(WES)和/或任何合适的系统来指导交互，例如指定哪个搬运箱应该用于物品拣选。

在一种变型中，该方法可包括接收一个或多个请求。请求可以围绕预期的用例来形成。在一个示例中，请求可以是指定一组物品的分组的订单请求。订单请求中指定的物品通常需要装箱(bod)、打包或以其他方式组合在一起，以便进一步的订单处理。物品的选择可以至少部分地基于请求集、请求的优先级以及这些订单的计划履行。例如，具有可以从一个或多个具有高置信度的货柜中选择的两个物品的订单可先于来自这样的订单请求的物品地被系统选择用于物品拾取和放置，即该订单请求的物品此时未被识别拾取能力或者在拾取能力上具有较低置信度。

包括收集物品所在区域的图像数据的框S110用于观察和感测要由机器人系统搬运以进行处理的物品。在一些使用情况下，该组物品将包括一种或多种类型的产品。收集图像数据优选地包括使用相机系统收集视觉图像数据。在一种变型中，可以使用单个相机/摄像机。在另一种变型中，可以使用多个相机/摄像机。收集图像数据可以附加地或替换地包括从特定区域收集深度图像数据或其他形式的2D或3D数据。

在一个优选实施方式中，收集图像数据包括从顶部上方或空中视角捕捉图像数据。更一般地，从机器人系统将接近和抓取物品的大致方向收集图像数据。优选地，响应于诸如物品交互任务请求的某种信号来收集图像数据。替代地，可以连续或周期性地处理图像数据，以自动检测何时应该采取行动。

包括规划抓取的框S200用于确定抓取哪个物品、如何抓取物品以及可选地使用哪个工具。规划抓取可以利用抓取规划模型来密集地生成不同的抓取选项，并基于置信度和/或其他度量对它们进行评分。在一种变型中，规划抓取可包括：将图像数据分割成感兴趣的掩码区域S202；通过神经网络架构评估图像数据以生成一组候选抓取计划S210；以及处理候选抓取计划并选择抓取计划S220。优选地，在规划抓取中使用的建模试图增加物品交互吞吐量。这可以解决在使用当前工具的成功概率与切换到成功概率更高的工具的时间成本之间进行平衡的挑战。

包括将图像数据分割成感兴趣的掩码区域的框S202用于生成在框S210中评估图像数据时使用的掩码。优选地，从所提供的图像数据输入中生成一个或多个分割掩码。分割图像数据可包括将图像数据分割成物品掩码。分割图像数据可以附加地或替代地包括将图像数据分割成物品集合(例如，在搬运箱、货柜、货架等上分割)。分割图像数据可以附加地或替代地包括将图像数据分割成物品特征掩码。物品特征掩码可以用于分割检测或预测的物品特征，例如条形码或其他物品元素。在一些用例中，希望避免抓持特定的特征或者努力抓住特定的特征。

包括通过抓取质量模型评估图像数据以生成一组候选抓取计划的框S210用于根据一组输入数据输出一组抓取选项。图像数据优选地是抓取质量模型的一个输入。来自框S202的一个或多个分割掩码可以另外被提供作为输入。替代地，分割掩码可以用于消除或选择图像数据的一部分，以获得其中候选抓取应该被评估处。

优选地，通过抓取质量模型评估图像数据包括通过抓取质量CNN架构评估图像数据。抓取质量CNN可以针对图像数据中的多个位置密集地预测每个工具的抓取质量，以及如果要执行抓取，成功的概率是多少。输出优选地是表征工具、姿态(用于集中抓取的位置和/或取向)和成功概率的张量/向量的图。

如上所述，抓取质量CNN可以模拟物品选择顺序，因此输出也可以根据反映物品顺序的训练数据对抓取计划评分。在另一个变型中，物品材料规划可以集成到抓取质量CNN中，或者作为在确定抓取中使用的附加规划模型。材料规划过程可以将图像数据分类为用于搬运不同材料的物品集合的图。在选择新工具时，可以使用材料规划过程来处理图像数据。例如，如果材料规划模型指示大量塑料袋包装的物品，那么可以基于来自材料模型的分类材料属性触发工具改变。

包括处理候选抓取计划和选择抓取计划的框S220用于在优先化候选抓取计划和/或选择候选抓取计划时应用各种试探法和/或建模。抓取质量模型的输出优选地被馈送到对不同因素进行加权的后续处理阶段。可以评估候选抓取计划的具有高成功概率的子集。替代地，所有抓取计划可以替代地在S220中处理。

选择候选抓取计划的一部分是部分基于工具更换的时间成本和成功抓取概率的变化来选择抓取计划。这可以考虑物品的当前状态，也可以考虑之前的活动和潜在的未来活动。在一个优选变型中，当前工具状态和抓取历史(例如，给定工具的抓取成功历史)可以作为输入提供。例如，如果给定工具有多次失败，则这可以通知选择具有不同工具的抓取计划。在处理候选抓取计划时，可能会偏向于使用/保持相同的工具。更换工具需要时间，因此成功抓取概率的变化要与更换工具的时间成本进行权衡。

在规划抓取时，可额外估计一些附加的启发式条件，例如碰撞检查、特征避免和其他抓取启发式条件。在多头部末端执行器工具变型中，碰撞检查可额外地考虑由未使用的末端执行器头部潜在地引起的碰撞和阻碍。

包括用机器人系统执行所选择的抓取计划的框S310用于控制机器人系统以所选择的抓取计划中指定的方式抓取物品。

因为抓取计划优选地与不同的工具相关联，所以使用抓取计划的指示工具执行所选的抓取计划可包括选择和/或改变工具。

在多头部末端执行器工具变型中，指示的工具(或多个工具)可以被适当地启用或用作与物品对准的目标点。由于末端执行器头部可能偏离末端臂段的中心轴线，致动系统的运动规划优选地修改致动，以将正确的头部适当地对准在期望的位置。

在可更换工具变型中，如果当前工具不同于所选抓取计划的工具，则机器人系统使用工具更换系统来更换工具，然后执行抓取计划。如果当前工具与所选抓取计划中指示的工具相同，则机器人系统移动以直接执行抓取计划。

当执行抓取计划时，致动系统将工具(例如，末端执行器抽吸头部)移动到位并执行抓取动作。在基于压力的取放机的情况下，执行抓取动作包括启动压力系统。在抓取过程中，机器人系统的工具(即末端执行器)将与物品联接。然后，可移动和操纵该物品以进行后续交互。根据机器人系统和末端执行器的类型，抓取可通过各种抓取机构和/或末端执行器来执行。

在框S200中没有识别出/认定合适的抓取计划的情况下，该方法可包括抓取和重新定向物品以呈现其他抓取计划选项。在重新定向之后，可以重新评估物品的场景，以检测合适的抓取计划。在某些情况下，可能会重新定向多个物品。附加地或替代地，机器人系统可以配置成扰乱物品的集合，以扰乱多个物品的位置，目的是揭示合适的抓取点。

一旦物品被抓住，它优选地从该组物品中被提取，然后被转移到另一个位置和/或取向，其功能是为下一阶段移动和定向物品。

如果在执行抓取计划之后(例如，当抓取物品时或在执行物品交互任务期间)，物品掉落或以其他方式脱离机器人系统，则可以记录失败。这种数据甚至可以用于更新系统，并且该方法可包括重新评估物品集合以获得新的抓取计划。类似地，成功抓取的数据记录也可以用于更新系统和抓取质量建模以及其他抓取规划过程。

包括执行物品交互任务的框S320使用具有被抓取物品的机器人系统来执行任何物品操纵。物品交互任务可包括将物品放置在目标目的地(例如，放置在另一个货柜或箱中)、在放置物品之前改变物品的取向、移动物品以进行一些物品操作(例如，诸如条形码扫描)、和/或执行任何合适的动作或一组动作。在一个示例中，执行物品交互任务可包括扫描物品上的条形码或其他识别标记以检测物品标识符，然后基于物品标识符将物品放置在目的地位置。当在用于履行装运订单的设施中使用时，通过条形码信息获得的产品ID用于查找相应的订单，然后确定哪个容器映射到该订单，然后可以将该物品放置在该容器中。重复执行时，一个订单的多个产品可以装入同一个容器中。在其他应用中，可以执行其他合适的后续步骤。在物品交互任务期间的抓取失败会导致重新抓取物品和/或返回到物品集合以规划和执行新的物品交互。重新抓取物品可包括修改的抓取规划过程，该过程集中在掉落物品掉落的部位处的单个物品上。

[****]

参考图15-19，示出了各种方法配置。参考图15，一个实施例包括：提供包括远侧部分和近侧基座部分的机械臂、联接到机械臂的远侧部分的末端执行器、与机械臂的远侧部分几何邻近地就位的置放结构、与一个或多个包装接触并与机械臂的远侧部分几何邻近地就位的拾取结构、被定位和定向成捕获关于拾取结构和一个或多个包装的图像信息的第一成像装置、和第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动，其中所述末端执行器包括第一吸盘组件，所述第一吸盘组件联接到可控启用的真空负载，所述真空负载可操作地联接到所述第一计算系统，所述第一吸盘组件限定第一内部捕获腔室(402)；以及利用第一计算系统来操作机械臂和末端执行器，以进行从拾取结构抓取一个或多个包装中的目标包装，并释放目标包装以搁置在置放结构上，其中，进行目标包装的抓取包括当真空负载在目标包装附近被可控地启用时，用第一内部捕获腔室拉入并至少部分地封装目标包装的一部分(404)。

参考图16，一个实施例包括：提供包括远侧部分和近侧基座部分的机械臂、联接到机械臂的远侧部分的末端执行器、与机械臂的远侧部分几何邻近地就位的置放结构、与一个或多个包装接触并与机械臂的远侧部分几何邻近地就位的拾取结构、被定位和定向成捕获关于拾取结构和一个或多个包装的图像信息的第一成像装置、第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动(408)；以及利用第一计算系统来操作机械臂和末端执行器，以进行从拾取结构抓取一个或多个包装中的目标包装，并释放目标包装以搁置在置放结构上；其中所述末端执行器包括第一吸盘组件，该第一吸盘组件联接到可控启用的真空负载，该真空负载可操作地联接到所述第一计算装置，所述第一吸盘组件限定第一内部腔室、第一外部密封唇和第一真空可渗透的远侧壁构件，它们被共同构造成使得在于真空负载被可控地启用的情况下进行对目标包装的抓取时，外部密封唇可以可移除地联接到目标包装的至少一个表面，同时真空可渗透的远侧壁构件防止目标包装的所述表面过度突出到吸盘组件的内部腔室中。

参考图17，一个实施例包括：提供包括远侧部分和近侧基座部分的机械臂、联接到机械臂的远侧部分的末端执行器、与机械臂的远侧部分几何邻近地就位的置放结构、与一个或多个包装接触并与机械臂的远侧部分几何邻近地就位的拾取结构、被定位和定向成捕获关于拾取结构和一个或多个包装的图像信息的第一成像装置、第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动(414)；以及利用第一计算系统来操作机械臂和末端执行器，以进行从拾取结构抓取一个或多个包装中的目标包装，并释放目标包装以搁置在置放结构上(416)；其中所述末端执行器包括第一吸盘组件，所述第一吸盘组件联接到可控启用的真空负载，所述真空负载可操作地联接到所述第一计算系统，所述第一吸盘组件配置成使得进行抓取包括当所述真空负载在所述目标包装附近被可控启用时接合所述目标包装；其中计算装置配置成在进行抓取之前至少部分地基于由计算装置操作的神经网络的运行时使用来分析多个候选抓取，以选择要被执行的执行抓取，以从拾取结构移出目标包装，该神经网络使用从合成数据开发的视图来训练，该合成数据包括合成拾取结构所包含的一个或多个合成包装的三维模型的渲染图像。

参考图18，一个实施例包括：提供包括远侧部分和近侧基座部分的机械臂、联接到机械臂的远侧部分的末端执行器、与机械臂的远侧部分几何邻近地就位的置放结构、与一个或多个包装接触并与机械臂的远侧部分几何邻近地就位的拾取结构、被定位和定向成捕获关于拾取结构和一个或多个包装的图像信息的第一成像装置、第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动(420)；利用第一计算系统来操作机械臂和末端执行器，以进行从拾取结构抓取一个或多个包装中的目标包装，并释放目标包装以搁置在置放结构上(422)；其中所述末端执行器包括第一吸盘组件，该第一吸盘组件联接到可控启用的真空负载，该真空负载可操作地联接到所述第一计算系统，所述第一吸盘组件配置成使得进行抓取包括当所述真空负载在所述目标包装附近被可控启用时接合所述目标包装；提供第二成像装置，该第二成像装置可操作地联接到第一计算系统，并且被定位和定向成在已经使用末端执行器进行抓取之后捕获目标包装的一个或多个图像，以通过围绕目标包装拟合3-D矩形棱柱并估计所述矩形棱镜的L-W-H来估计目标包装的外部尺寸界限，并且利用拟合的3-D矩形棱柱来估计目标包装相对于末端执行器的位置和取向(424)；以及利用第一计算系统来操作机械臂和末端执行器，以便以相对于置放结构的特定位置和特定取向将目标包装放置在置放结构上(426)。

参考图19，一个实施例包括收集关于所在区域的图像数据(430)；规划抓取(432)，其包括通过抓取质量模型评估图像数据以生成一组候选抓取计划、处理候选抓取计划并选择抓取计划；用机器人系统执行所选抓取计划(434)；以及执行物品交互任务(436)。

[***********]

参考图20A和20B，示出了两个合成训练图像(152，154)，每个合成训练图像以包含多个合成包装(160，162)的合成拾取结构箱(156，158)为特征。可以创建并利用合成体积来创建大量的合成图像数据，如图20A和20B所示，以快速训练神经网络，从而促进机械臂从拾取结构拾取目标包装并将它们放置在置放结构上的自动操作。可以从多个观察向量和位置创建视图，并且也可以改变合成体积。例如，可以使用从合成数据开发的视图来训练神经网络，该合成数据包括由合成拾取结构包含的一个或多个合成包装的三维模型的渲染彩色图像；它也可以使用从合成数据开发的视图来训练，该合成数据包括由合成拾取结构包含的一个或多个合成包装的三维模型的渲染深度图像；也可以使用从合成数据开发的视图来训练它，所述合成数据包括由合成拾取结构包含的一个或多个随机化合成包装的三维模型的渲染图像；它也可以使用合成数据来训练，其中合成包装在颜色纹理方面随机化；此外，还可以使用合成数据来训练它，其中合成包装在从由反射、漫射、半透明、透明、金属性和微表面散射组成的组中选择的基于物理的渲染映射方面随机化；此外，可以使用从合成数据开发的视图来训练神经网络，所述合成数据包括合成拾取结构所包含的处于随机位置和随机取向的一个或多个合成包装的三维模型的渲染图像。

第一计算系统可配置成使得进行抓取包括分析多个候选抓取以选择要被执行的执行抓取来从拾取结构中移出目标包装。分析多个候选抓取可包括检查目标包装上的、预测第一吸盘组件能够与目标包装的表面形成密封接合的位置。分析多个候选抓取可包括检查目标包装上的、预测第一吸盘组件能够从多个不同的末端执行器接近取向与目标包装的表面形成密封接合的位置。分析多个候选抓取包括检查目标包装上的、预测第一吸盘组件能够从多个不同的末端执行器接近位置与目标包装的表面形成密封接合的位置。第一吸盘组件可包括第一外部密封唇，其中与表面的密封接合包括第一外部密封唇与表面的基本完全接合。检查目标包装上的、预测第一吸盘组件能够与目标包装的表面形成密封接合的位置可以纯几何方式进行。第一计算系统可配置成基于从由以下各项组成的组中选择的候选抓取因素来选择执行抓取：估计的所需时间；估计的所需计算；和估计的抓取成功率。

该系统可配置成使得单个神经网络能够预测多种类型的末端执行器或工具配置(即，吸盘组件数量的各种组合；还有各种接近矢量)的抓取。为了系统处理速度的利益(即，在各种实施例中，对于用于邮寄的包装，可能希望使速度优先于基于扭矩或负载的分析)，该系统可特别地配置成不分析相对于目标包装的扭矩和负载，例如在机械臂或其他构件处的扭矩和负载。

如上所述，在各种实施例中，为了随机化合成/模拟训练数据中的项目的视觉外观，该系统可以配置成随机化用于构建视觉表示的多个属性(包括但不限于：颜色纹理，其可包括可以应用于三维模型的基础红-绿-蓝值；也可以利用可应用于表面的基于物理的渲染图，包括但不限于反射、漫射、半透明、透明、金属性和/或微表面散射。

[***********]

这里描述了本发明的各种示例性实施例。在非限制性的意义上参考这些例子。提供它们是为了说明本发明更广泛的适用方面。在不脱离本发明的真实精神和范围的情况下，可以对所描述的发明进行各种改变，并且可以替换等同物。此外，可以进行许多修改以使特定情况、材料、物质组成、过程、过程动作或步骤适应本发明的目的、精神或范围。此外，本领域技术人员将会理解，在不脱离本发明的范围或精神的情况下，这里描述和示出的每个单独的变型具有离散的部件和特征，这些部件和特征可以容易地与任何其他几个实施例的特征分离或组合。所有这些修改都在与本公开相关的权利要求的范围内。

本发明包括可以使用主题装置执行的方法。该方法可包括提供这种合适的装置的动作。这种提供可由终端用户来执行。换句话说，“提供”动作仅仅要求终端用户获得、访问、接近、定位、设置、激活/启用、加电或以其他方式提供主题方法中的必要装置。本文所述的方法可以逻辑上可能的所述事件的任何顺序以及所述事件的顺序来执行。

上面已经阐述了本发明的示例性方面以及关于材料选择和制造的细节。至于本发明的其他细节，这些可以结合上面引用的专利和出版物来理解，并且是本领域技术人员通常已知或理解的。就通常或逻辑上采用的附加动作而言，这对于本发明的基于方法的方面也是如此。

此外，尽管已经参照可选地结合各种特征的几个示例描述了本发明，但是本发明不限于针对本发明的每个变型所描述或指出的内容。在不脱离本发明的真实精神和范围的情况下，可以对所描述的发明进行各种改变，并且可以替换等同物(无论是在此引用的还是为了简洁起见而未包括的)。此外，在提供数值范围的情况下，应该理解的是，在该范围的上限和下限之间的每个中间值以及在该所述范围内的任何其它所述值或中间值都包含在本发明内。

此外，可以设想，所描述的本发明变型的任何可选特征可以被独立地提出和要求保护，或者与这里描述的任何一个或多个特征相结合。对单数项目的引用包括存在多个相同项目的可能性。更具体地说，如本文和相关权利要求中所使用的，单数形式“一”、“一种”、“所述”和“该”包括复数物品，除非另有具体说明。换句话说，冠词的使用允许“至少一个”在与本公开相关的以上描述中的以及与本公开相关的权利要求中的主题项目。还应注意，这样的权利要求可以被起草为排除任何可选元素。因此，该陈述旨在用作与权利要求要素的叙述或“负面”限制的使用相关的诸如“单独地/唯一地”、“仅”等排他性术语的使用的前提基础。

在不使用这种排他性术语的情况下，与本公开相关联的权利要求中的术语“包括”将允许包括任何额外的元素，而不管在这种权利要求中是否列举了给定数量的元素，或者特征的添加是否可以被视为改变了在这种权利要求中阐述的元素的性质。除了在此特别定义的以外，在此使用的所有技术和科学术语在保持权利要求有效性的同时，被赋予尽可能广泛的通常理解的含义。

本发明的范围不限于所提供的示例和/或主题说明书，而是仅由与本公开相关联的权利要求语言的范围来限定。

Claims (203)

1.一种机器人包装搬运系统，包括：

a.包括远侧部分和近侧基座部分的机械臂；

b.联接到所述机械臂的远侧部分的末端执行器；

c.与所述机械臂的远侧部分几何邻近地就位的置放结构；

d.与一个或多个包装接触并与所述机械臂的远侧部分几何邻近地就位的拾取结构；

e.被定位和定向成捕获与所述拾取结构和一个或多个包装相关的图像信息的第一成像装置；

f.第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动；

其中所述第一计算系统配置成操作所述机械臂和末端执行器以进行从拾取结构抓取所述一个或多个包装中的目标包装，并释放所述目标包装以搁置在所述置放结构上；并且

其中所述末端执行器包括第一吸盘组件，所述第一吸盘组件联接到可控启用的真空负载，所述可控启用的真空负载可操作地联接到所述第一计算系统，所述第一吸盘组件限定第一内部捕获腔室，所述第一内部捕获腔室配置成使得进行对所述目标包装的抓取包括：当所述真空负载在所述目标包装附近被可控地启用时，将所述目标包装的一部分拉入所述第一内部捕获腔室中并通过所述第一内部捕获腔室至少部分地封装所述目标包装的一部分。

2.根据权利要求1所述的系统，还包括框架结构，所述框架结构构造成将所述机械臂固定地联接到所述置放结构。

3.根据权利要求2所述的系统，其中，所述拾取结构可移除地联接到所述框架结构。

4.根据权利要求1所述的系统，其中，所述置放结构包括安置托盘。

5.根据权利要求4所述的系统，其中，所述安置托盘包括第一可旋转联接构件和第二可旋转联接构件，所述第一可旋转联接构件和所述第二可旋转联接构件构造成当处于相对于彼此的第一旋转构型时形成基本平坦的托盘基部表面，并且当处于相对于彼此的第二旋转构型时形成升降叉式构型。

6.根据权利要求4所述的系统，其中，所述安置托盘可操作地联接到一个或多个致动器，所述致动器配置成可控制地改变所述安置托盘的至少一部分的取向，所述一个或多个致动器可操作地联接到所述第一计算系统。

7.根据权利要求1所述的系统，其中，所述拾取结构包括从由货柜、托盘、固定表面和可移动表面组成的组中选择的元件。

8.根据权利要求7所述的系统，其中，所述拾取结构包括货柜，所述货柜构造成限定由底部和多个壁界定的包装容纳容积，以及开放的进入孔，所述开放的进入孔构造成允许所述机械臂的至少所述远侧部分的进出。

9.根据权利要求8所述的系统，其中，所述第一成像装置配置成通过所述开放的进入孔捕获与所述拾取结构和一个或多个包装相关的图像信息。

10.根据权利要求1所述的系统，其中，所述第一成像装置包括深度相机。

11.根据权利要求1所述的系统，其中，所述第一成像装置配置成捕获彩色图像数据。

12.根据权利要求2所述的系统，其中，所述第一计算系统包括可操作地联接到所述框架结构的VLSI计算机。

13.根据权利要求1所述的系统，其中，所述第一计算系统包括相互联接的计算装置的网络，所述相互联接的计算装置的网络的至少一个计算装置相对于所述机械臂远程定位。

14.根据权利要求1所述的系统，还包括可操作地联接到所述第一计算系统的第二计算系统。

15.根据权利要求14所述的系统，其中，所述第二计算系统相对于所述第一计算系统远程定位，并且所述第一计算系统和第二计算系统经由计算机网络可操作地联接。

16.根据权利要求1所述的系统，其中，所述第一计算系统配置成使得进行抓取包括分析多个候选抓取，以选择要被执行的执行抓取，以从所述拾取结构移出所述目标包装。

17.根据权利要求16所述的系统，其中，分析多个候选抓取包括检查所述目标包装上的、预测所述第一吸盘组件能够与所述目标包装的表面形成密封接合的位置。

18.根据权利要求17所述的系统，其中，分析多个候选抓取包括检查所述目标包装上的、预测所述第一吸盘组件能够从多个不同的末端执行器接近取向与所述目标包装的表面形成密封接合的位置。

19.根据权利要求17所述的系统，其中，分析多个候选抓取包括检查所述目标包装上的、预测所述第一吸盘组件能够从多个不同的末端执行器接近位置与所述目标包装的表面形成密封接合的位置。

20.根据权利要求17所述的系统，其中，所述第一吸盘组件包括第一外部密封唇，其中与表面的密封接合包括所述第一外部密封唇与表面的基本完全接合。

21.根据权利要求17所述的系统，其中，检查所述目标包装上的、预测所述第一吸盘组件能够与所述目标包装的表面形成密封接合的位置以纯几何方式进行。

22.根据权利要求16所述的系统，其中，所述第一计算系统配置成基于从由以下各项组成的组中选择的候选抓取因素来选择所述执行抓取：估计的所需时间；估计的所需计算；以及估计的抓取成功率。

23.根据权利要求1所述的系统，其中，所述第一吸盘组件包括波纹管结构。

24.根据权利要求23所述的系统，其中，所述波纹管结构包括利用弯曲边缘邻接地联接的多个壁部分。

25.根据权利要求24所述的系统，其中，所述波纹管结构包括选自由聚乙烯、聚丙烯、橡胶和热塑性弹性体组成的组的材料。

26.根据权利要求1所述的系统，其中，所述第一吸盘组件包括外壳和联接至所述外壳的内部结构。

27.根据权利要求26所述的系统，其中，所述第一吸盘组件的内部结构包括联接至近侧基部构件的壁构件。

28.根据权利要求27所述的系统，其中，所述壁构件包括具有近端和远端的大致圆筒形形状，其中所述近侧基部构件与所述壁构件的近端形成大致圆形的界面。

29.根据权利要求27所述的系统，其中，所述近侧基部构件限定出贯穿其中的一个或多个入口孔，所述一个或多个入口孔构造成根据所述可控启用的真空负载的启用而允许空气经其流过。

30.根据权利要求29所述的系统，其中，所述内部结构还包括远侧壁构件，所述远侧壁构件包括构造成限定进入所述内部捕获腔室的通路的结构孔环状部分，以及一个或多个过渡空气通道，所述过渡空气通道构造成根据所述可控启用的真空负载的启用而允许空气经其流过。

31.根据权利要求30所述的系统，其中，所述一个或多个入口孔和所述一个或多个过渡空气通道用于允许规定的空气流通过所述捕获腔室，以促进所述第一吸盘组件与所述目标包装的可释放联接。

32.根据权利要求1所述的系统，其中，所述一个或多个包装选自由以下各项组成的组：袋、“塑料袋”、“聚乙烯袋”、基于纤维的袋、基于纤维的封套、气泡包装袋、气泡包装封套、“吉菲”袋、“吉菲”封套、和基本刚性的立方体结构。

33.根据权利要求32所述的系统，其中，所述一个或多个包装包括基于纤维的袋，所述基于纤维的袋包括纸复合材料或聚合物复合材料。

34.根据权利要求32所述的系统，其中，所述一个或多个包装包括基于纤维的封套，所述基于纤维的封套包括纸复合材料或聚合物复合材料。

35.根据权利要求32所述的系统，其中，所述一个或多个包装包括基本刚性的立方体结构，所述基本刚性的立方体结构包括箱。

36.根据权利要求1所述的系统，其中，所述末端执行器包括第二吸盘组件，所述第二吸盘组件联接至所述可控启用的真空负载。

37.根据权利要求36所述的系统，其中，所述第二吸盘组件限定第二内部捕获腔室，所述第二内部捕获腔室构造成当所述真空负载在所述目标包装附近被可控地启用时将所述目标包装的一部分拉入所述第二内部捕获腔室并且至少部分地封装所述目标包装的一部分。

38.根据权利要求1所述的系统，还包括第二成像装置，所述第二成像装置可操作地联接到所述第一计算系统，并且被定位和定向成在已经使用所述末端执行器进行抓取之后捕获所述目标包装的一个或多个图像。

39.根据权利要求38所述的系统，其中，所述第一计算系统和第二成像装置配置成捕获所述一个或多个图像，使得能估计所述目标包装的外部尺寸界限。

40.根据权利要求39所述的系统，其中，所述第一计算系统配置成利用所述一个或多个图像、通过围绕所述目标包装拟合3-D矩形棱柱并估计所述矩形棱柱的长-宽-高来确定所述目标包装的尺寸界限。

41.根据权利要求40所述的系统，其中，所述第一计算系统配置成利用所拟合的3-D矩形棱柱来估计所述目标包装相对于所述末端执行器的位置和取向。

42.根据权利要求38所述的系统，还包括第三成像装置，所述第三成像装置可操作地联接到所述第一计算系统，并且被定位和定向成在已经使用所述末端执行器进行抓取之后捕获所述目标包装的一个或多个图像。

43.根据权利要求38所述的系统，其中，所述第二成像装置和第一计算系统还配置成通过在所述目标包装的运动期间捕获所述目标包装的图像序列并在所述图像序列内分析所述目标包装的变形来估计所述目标包装是否是可变形的。

44.根据权利要求38所述的系统，其中，所述第一计算系统和第二成像装置配置成在已经使用所述末端执行器进行抓取之后捕获和利用所述一个或多个图像，以估计是否通过所进行的抓取收获了多个包装或零个包装。

45.根据权利要求44所述的系统，其中，所述第一计算系统配置成在确定了已利用所进行的抓取收获了多个包装或零个包装后中止抓取。

46.根据权利要求1所述的系统，其中，所述末端执行器包括工具切换头部部分，所述工具切换头部部分构造成利用安装在所述机械臂的远侧部分的几何邻近区域内的工具保持器可控地联接到所述第一吸盘组件和与所述第一吸盘组件可控地脱离联接。

47.根据权利要求46所述的系统，其中，所述工具保持器构造成保持并可移除地联接至一个或多个附加吸盘组件或一个或多个其他包装接口工具，使得所述第一计算装置能配置成利用所述工具切换头部部分进行工具切换。

48.一种机器人包装搬运系统，包括：

a.包括远侧部分和近侧基座部分的机械臂；

b.联接到所述机械臂的远侧部分的末端执行器；

c.与所述机械臂的远侧部分几何邻近地就位的置放结构；

d.与一个或多个包装接触并与所述机械臂的远侧部分几何邻近地就位的拾取结构；

e.被定位和定向成捕获与所述拾取结构和一个或多个包装相关的图像信息的第一成像装置；

f.第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动；

其中所述第一计算系统配置成操作所述机械臂和末端执行器以进行从拾取结构抓取所述一个或多个包装中的目标包装，并释放所述目标包装以搁置在所述置放结构上；并且

其中所述末端执行器包括第一吸盘组件，所述第一吸盘组件联接到可控启用的真空负载，所述可控启用的真空负载可操作地联接到第一计算装置，所述第一吸盘组件限定第一内部腔室、第一外部密封唇和第一真空可渗透的远侧壁构件，所述第一内部腔室、所述第一外部密封唇和所述第一真空可渗透的远侧壁构件共同构造成使得在于所述真空负载被可控地启用的情况下进行对所述目标包装的抓取时，所述外部密封唇能变得可移除地联接到所述目标包装的至少一个表面，同时所述真空可渗透的远侧壁构件防止所述目标包装的所述表面过度突出到吸盘组件的内部腔室中。

49.根据权利要求48所述的系统，还包括框架结构，所述框架结构构造成将所述机械臂固定地联接到所述置放结构。

50.根据权利要求49所述的系统，其中，所述拾取结构可移除地联接到所述框架结构。

51.根据权利要求48所述的系统，其中，所述置放结构包括安置托盘。

52.根据权利要求51所述的系统，其中，所述安置托盘包括第一可旋转联接构件和第二可旋转联接构件，所述第一可旋转联接构件和所述第二可旋转联接构件构造成当处于相对于彼此的第一旋转构型时形成基本平坦的托盘基部表面，并且当处于相对于彼此的第二旋转构型时形成升降叉式构型。

53.根据权利要求51所述的系统，其中，所述安置托盘可操作地联接到一个或多个致动器，所述致动器配置成可控制地改变所述安置托盘的至少一部分的取向，所述一个或多个致动器可操作地联接到所述第一计算系统。

54.根据权利要求48所述的系统，其中，所述拾取结构包括从由货柜、托盘、固定表面和可移动表面组成的组中选择的元件。

55.根据权利要求54所述的系统，其中，所述拾取结构包括货柜，所述货柜构造成限定由底部和多个壁界定的包装容纳容积，以及开放的进入孔，所述开放的进入孔构造成允许所述机械臂的至少所述远侧部分的进出。

56.根据权利要求55所述的系统，其中，所述第一成像装置配置成通过所述开放的进入孔捕获与所述拾取结构和一个或多个包装相关的图像信息。

57.根据权利要求48所述的系统，其中，所述第一成像装置包括深度相机。

58.根据权利要求48所述的系统，其中，所述第一成像装置配置成捕获彩色图像数据。

59.根据权利要求49所述的系统，其中，所述第一计算系统包括可操作地联接到所述框架结构的VLSI计算机。

60.根据权利要求48所述的系统，其中，所述第一计算系统包括相互联接的计算装置的网络，所述相互联接的计算装置的网络的至少一个计算装置相对于所述机械臂远程定位。

61.根据权利要求48所述的系统，还包括可操作地联接到所述第一计算系统的第二计算系统。

62.根据权利要求61所述的系统，其中，所述第二计算系统相对于所述第一计算系统远程定位，并且所述第一计算系统和第二计算系统经由计算机网络可操作地联接。

63.根据权利要求48所述的系统，其中，所述第一计算系统配置成使得进行抓取包括分析多个候选抓取，以选择要被执行的执行抓取，以从所述拾取结构移出所述目标包装。

64.根据权利要求63所述的系统，其中，分析多个候选抓取包括检查所述目标包装上的、预测所述第一吸盘组件能够与所述目标包装的表面形成密封接合的位置。

65.根据权利要求64所述的系统，其中，分析多个候选抓取包括检查所述目标包装上的、预测所述第一吸盘组件能够从多个不同的末端执行器接近取向与所述目标包装的表面形成密封接合的位置。

66.根据权利要求64所述的系统，其中，分析多个候选抓取包括检查所述目标包装上的、预测所述第一吸盘组件能够从多个不同的末端执行器接近位置与所述目标包装的表面形成密封接合的位置。

67.根据权利要求64所述的系统，其中，所述第一吸盘组件包括第一外部密封唇，其中与表面的密封接合包括所述第一外部密封唇与表面的基本完全接合。

68.根据权利要求64所述的系统，其中，检查所述目标包装上的、预测所述第一吸盘组件能够与所述目标包装的表面形成密封接合的位置以纯几何方式进行。

69.根据权利要求63所述的系统，其中，所述第一计算系统配置成基于从由以下各项组成的组中选择的候选抓取因素来选择所述执行抓取：估计的所需时间；估计的所需计算；以及估计的抓取成功率。

70.根据权利要求48所述的系统，其中，所述第一吸盘组件包括波纹管结构。

71.根据权利要求70所述的系统，其中，所述波纹管结构包括利用弯曲边缘邻接地联接的多个壁部分。

72.根据权利要求71所述的系统，其中，所述波纹管结构包括选自由聚乙烯、聚丙烯、橡胶和热塑性弹性体组成的组的材料。

73.根据权利要求48所述的系统，其中，所述第一吸盘组件包括外壳和联接至所述外壳的内部结构。

74.根据权利要求73所述的系统，其中，所述第一吸盘组件的内部结构包括联接至近侧基部构件的壁构件。

75.根据权利要求74所述的系统，其中，所述壁构件包括具有近端和远端的大致圆筒形形状，其中所述近侧基部构件与所述壁构件的近端形成大致圆形的界面。

76.根据权利要求74所述的系统，其中，所述近侧基部构件限定出贯穿其中的一个或多个入口孔，所述一个或多个入口孔构造成根据所述可控启用的真空负载的启用而允许空气经其流过。

77.根据权利要求76所述的系统，其中，所述真空可渗透的远侧壁构件包括构造成限定进入所述内部腔室的通路的结构孔环状部分，以及一个或多个过渡空气通道，所述过渡空气通道构造成根据所述可控启用的真空负载的启用而允许空气经其流过。

78.根据权利要求77所述的系统，其中，所述一个或多个入口孔和所述一个或多个过渡空气通道用于允许规定的空气流通过所述捕获腔室，以促进所述第一吸盘组件与所述目标包装的可释放联接。

79.根据权利要求48所述的系统，其中，所述一个或多个包装选自由以下各项组成的组：袋、“塑料袋”、“聚乙烯袋”、基于纤维的袋、基于纤维的封套、气泡包装袋、气泡包装封套、“吉菲”袋、“吉菲”封套、和基本刚性的立方体结构。

80.根据权利要求79所述的系统，其中，所述一个或多个包装包括基于纤维的袋，所述基于纤维的袋包括纸复合材料或聚合物复合材料。

81.根据权利要求79所述的系统，其中，所述一个或多个包装包括基于纤维的封套，所述基于纤维的封套包括纸复合材料或聚合物复合材料。

82.根据权利要求79所述的系统，其中，所述一个或多个包装包括基本刚性的立方体结构，所述基本刚性的立方体结构包括箱。

83.根据权利要求48所述的系统，其中，所述末端执行器包括第二吸盘组件，所述第二吸盘组件联接至所述可控启用的真空负载。

84.根据权利要求83所述的系统，其中，所述第二吸盘组件限定第二内部腔室、第二外部密封唇和第二真空可渗透的远侧壁构件，所述第二内部腔室、所述第二外部密封唇和所述第二真空可渗透的远侧壁构件共同构造成使得在于所述真空负载被可控地启用的情况下进行对所述目标包装的抓取时，所述外部密封唇能变得可移除地联接到所述目标包装的至少一个表面，同时所述真空可渗透的远侧壁构件防止所述目标包装的所述表面过度突出到吸盘组件的内部腔室中。

85.根据权利要求48所述的系统，还包括第二成像装置，所述第二成像装置可操作地联接到所述第一计算系统，并且被定位和定向成在已经使用所述末端执行器进行抓取之后捕获所述目标包装的一个或多个图像。

86.根据权利要求85所述的系统，其中，所述第一计算系统和第二成像装置配置成捕获所述一个或多个图像，使得能估计所述目标包装的外部尺寸界限。

87.根据权利要求86所述的系统，其中，所述第一计算系统配置成利用所述一个或多个图像、通过围绕所述目标包装拟合3-D矩形棱柱并估计所述矩形棱柱的长-宽-高来确定所述目标包装的尺寸界限。

88.根据权利要求87所述的系统，其中，所述第一计算系统配置成利用所拟合的3-D矩形棱柱来估计所述目标包装相对于所述末端执行器的位置和取向。

89.根据权利要求85所述的系统，还包括第三成像装置，所述第三成像装置可操作地联接到所述第一计算系统，并且被定位和定向成在已经使用所述末端执行器进行抓取之后捕获所述目标包装的一个或多个图像。

90.根据权利要求85所述的系统，其中，所述第二成像装置和第一计算系统还配置成通过在所述目标包装的运动期间捕获所述目标包装的图像序列并在所述图像序列内分析所述目标包装的变形来估计所述目标包装是否是可变形的。

91.根据权利要求85所述的系统，其中，所述第一计算系统和第二成像装置配置成在已经使用所述末端执行器进行抓取之后捕获和利用所述一个或多个图像，以估计是否通过所进行的抓取收获了多个包装或零个包装。

92.根据权利要求91所述的系统，其中，所述第一计算系统配置成在确定了已利用所进行的抓取收获了多个包装或零个包装后中止抓取。

93.根据权利要求48所述的系统，其中，所述末端执行器包括工具切换头部部分，所述工具切换头部部分构造成利用安装在所述机械臂的远侧部分的几何邻近区域内的工具保持器可控地联接到所述第一吸盘组件和从所述第一吸盘组件可控地脱离联接。

94.根据权利要求93所述的系统，其中，所述工具保持器构造成保持并可移除地联接至一个或多个附加吸盘组件或一个或多个其他包装接口工具，使得所述第一计算装置能配置成利用所述工具切换头部部分进行工具切换。

95.一种机器人包装搬运系统，包括：

a.包括远侧部分和近侧基座部分的机械臂；

b.联接到所述机械臂的远侧部分的末端执行器；

c.与所述机械臂的远侧部分几何邻近地就位的置放结构；

d.与一个或多个包装接触并与所述机械臂的远侧部分几何邻近地就位的拾取结构；

e.被定位和定向成捕获与所述拾取结构和一个或多个包装相关的图像信息的第一成像装置；

f.第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动；

其中所述第一计算系统配置成操作所述机械臂和末端执行器以进行从所述拾取结构抓取所述一个或多个包装中的目标包装，并释放所述目标包装以搁置在所述置放结构上；并且

其中所述末端执行器包括第一吸盘组件，所述第一吸盘组件联接到可控地启用的真空负载，所述可控地启用的真空负载可操作地联接到所述第一计算系统，所述第一吸盘组件配置成使得，进行抓取包括：当所述真空负载在所述目标包装附近被可控地启用时接合所述目标包装；并且

其中计算装置配置成在进行抓取之前至少部分地基于由计算装置操作的神经网络的运行时的使用来分析多个候选抓取，以选择要被执行的执行抓取，以从所述拾取结构移出所述目标包装，

所述神经网络使用从合成数据开发的视图来训练，所述合成数据包括合成拾取结构所包含的一个或多个合成包装的三维模型的渲染图像。

96.根据权利要求95所述的系统，还包括框架结构，所述框架结构构造成将所述机械臂固定地联接到所述置放结构。

97.根据权利要求96所述的系统，其中，所述拾取结构可移除地联接到所述框架结构。

98.根据权利要求95所述的系统，其中，所述置放结构包括安置托盘。

99.根据权利要求98所述的系统，其中，所述安置托盘包括第一可旋转联接构件和第二可旋转联接构件，所述第一可旋转联接构件和所述第二可旋转联接构件构造成当处于相对于彼此的第一旋转构型时形成基本平坦的托盘基部表面，并且当处于相对于彼此的第二旋转构型时形成升降叉式构型。

100.根据权利要求98所述的系统，其中，所述安置托盘可操作地联接到一个或多个致动器，所述致动器配置成可控制地改变所述安置托盘的至少一部分的取向，所述一个或多个致动器可操作地联接到所述第一计算系统。

101.根据权利要求95所述的系统，其中，所述拾取结构包括从由货柜、托盘、固定表面和可移动表面组成的组中选择的元件。

102.根据权利要求101所述的系统，其中，所述拾取结构包括货柜，所述货柜构造成限定由底部和多个壁界定的包装容纳容积，以及开放的进入孔，所述开放的进入孔构造成允许所述机械臂的至少所述远侧部分的进出。

103.根据权利要求102所述的系统，其中，所述第一成像装置配置成通过所述开放的进入孔捕获与所述拾取结构和一个或多个包装相关的图像信息。

104.根据权利要求95所述的系统，其中，所述第一成像装置包括深度相机。

105.根据权利要求95所述的系统，其中，所述第一成像装置配置成捕获彩色图像数据。

106.根据权利要求95所述的系统，其中，所述第一计算系统包括单个VLSI计算机。

107.根据权利要求95所述的系统，其中，所述第一计算系统包括相互联接的计算装置的网络，所述相互联接的计算装置的网络的至少一个计算装置相对于所述机械臂远程定位。

108.根据权利要求95所述的系统，还包括可操作地联接到所述第一计算系统的第二计算系统。

109.根据权利要求108所述的系统，其中，所述第二计算系统相对于所述第一计算系统远程定位，并且所述第一计算系统和第二计算系统经由计算机网络可操作地联接。

110.根据权利要求95所述的系统，其中，所述神经网络使用从合成数据开发的视图来训练，所述合成数据包括合成拾取结构所包含的一个或多个合成包装的三维模型的渲染彩色图像。

111.根据权利要求95所述的系统，其中，所述神经网络使用从合成数据开发的视图来训练，所述合成数据包括合成拾取结构所包含的一个或多个合成包装的三维模型的渲染深度图像。

112.根据权利要求95所述的系统，其中，所述神经网络使用从合成数据开发的视图来训练，所述合成数据包括合成拾取结构所包含的一个或多个随机化合成包装的三维模型的渲染图像。

113.根据权利要求112所述的系统，其中，所述合成包装在颜色纹理方面随机化。

114.根据权利要求112所述的系统，其中，所述合成包装在从由反射、漫射、半透明、透明、金属性和微表面散射组成的组中选择的基于物理的渲染映射方面随机化。

115.根据权利要求95所述的系统，其中，所述神经网络使用从合成数据开发的视图来训练，所述合成数据包括合成拾取结构所包含的处于随机位置和随机取向的一个或多个合成包装的三维模型的渲染图像。

116.根据权利要求95所述的系统，其中，所述第一计算系统配置成使得进行抓取包括分析多个候选抓取，以选择要被执行的执行抓取，以从所述拾取结构移出所述目标包装。

117.根据权利要求116所述的系统，其中，分析多个候选抓取包括检查所述目标包装上的、预测所述第一吸盘组件能够与所述目标包装的表面形成密封接合的位置。

118.根据权利要求117所述的系统，其中，分析多个候选抓取包括检查所述目标包装上的、预测所述第一吸盘组件能够从多个不同的末端执行器接近取向与所述目标包装的表面形成密封接合的位置。

119.根据权利要求117所述的系统，其中，分析多个候选抓取包括检查所述目标包装上的、预测所述第一吸盘组件能够从多个不同的末端执行器接近位置与所述目标包装的表面形成密封接合的位置。

120.根据权利要求117所述的系统，其中，所述第一吸盘组件包括第一外部密封唇，其中与表面的密封接合包括所述第一外部密封唇与表面的基本完全接合。

121.根据权利要求117所述的系统，其中，检查所述目标包装上的、预测所述第一吸盘组件能够与所述目标包装的表面形成密封接合的位置以纯几何方式进行。

122.根据权利要求116所述的系统，其中，所述第一计算系统配置成基于从由以下各项组成的组中选择的候选抓取因素来选择所述执行抓取：估计的所需时间；估计的所需计算；以及估计的抓取成功率。

123.根据权利要求95所述的系统，其中，所述第一吸盘组件包括波纹管结构。

124.根据权利要求123所述的系统，其中，所述波纹管结构包括利用弯曲边缘邻接地联接的多个壁部分。

125.根据权利要求124所述的系统，其中，所述波纹管结构包括选自由聚乙烯、聚丙烯、橡胶和热塑性弹性体组成的组的材料。

126.根据权利要求95所述的系统，其中，所述第一吸盘组件包括外壳和联接至所述外壳的内部结构。

127.根据权利要求126所述的系统，其中，所述第一吸盘组件的内部结构包括联接至近侧基部构件的壁构件，所述壁构件和所述近侧基部构件限定出内部腔室。

128.根据权利要求127所述的系统，其中，所述壁构件包括具有近端和远端的大致圆筒形形状，其中所述近侧基部构件与所述壁构件的近端形成大致圆形的界面。

129.根据权利要求127所述的系统，其中，所述近侧基部构件限定出贯穿其中的一个或多个入口孔，所述一个或多个入口孔构造成根据所述可控启用的真空负载的启用而允许空气经其流过。

130.根据权利要求129所述的系统，其中，所述内部结构还包括远侧壁构件，所述远侧壁构件包括构造成限定进入所述内部腔室的通路的结构孔环状部分，以及一个或多个过渡空气通道，所述过渡空气通道构造成根据所述可控启用的真空负载的启用而允许空气经其流过。

131.根据权利要求130所述的系统，其中，所述一个或多个入口孔和所述一个或多个过渡空气通道用于允许规定的空气流通过所述内部腔室，以促进所述第一吸盘组件与所述目标包装的可释放联接。

132.根据权利要求95所述的系统，其中，所述一个或多个包装选自由以下各项组成的组：袋、“塑料袋”、“聚乙烯袋”、基于纤维的袋、基于纤维的封套、气泡包装袋、气泡包装封套、“吉菲”袋、“吉菲”封套、和基本刚性的立方体结构。

133.根据权利要求132所述的系统，其中，所述一个或多个包装包括基于纤维的袋，所述基于纤维的袋包括纸复合材料或聚合物复合材料。

134.根据权利要求132所述的系统，其中，所述一个或多个包装包括基于纤维的封套，所述基于纤维的封套包括纸复合材料或聚合物复合材料。

135.根据权利要求132所述的系统，其中，所述一个或多个包装包括基本刚性的立方体结构，所述基本刚性的立方体结构包括箱。

136.根据权利要求95所述的系统，其中，所述末端执行器包括第二吸盘组件，所述第二吸盘组件联接至所述可控启用的真空负载。

137.根据权利要求136所述的系统，其中，所述第二吸盘组件限定第二内部腔室，所述第二内部腔室构造成当所述真空负载在所述目标包装附近被可控地启用时将所述目标包装的一部分拉入其中并且至少部分地封装所述目标包装的一部分。

138.根据权利要求95所述的系统，还包括第二成像装置，所述第二成像装置可操作地联接到所述第一计算系统，并且被定位和定向成在已经使用所述末端执行器进行抓取之后捕获所述目标包装的一个或多个图像。

139.根据权利要求138所述的系统，其中，所述第一计算系统和第二成像装置配置成捕获所述一个或多个图像，使得能估计所述目标包装的外部尺寸界限。

140.根据权利要求139所述的系统，其中，所述第一计算系统配置成利用所述一个或多个图像、通过围绕所述目标包装拟合3-D矩形棱柱并估计所述矩形棱柱的长-宽-高来确定所述目标包装的尺寸界限。

141.根据权利要求140所述的系统，其中，所述第一计算系统配置成利用所拟合的3-D矩形棱柱来估计所述目标包装相对于所述末端执行器的位置和取向。

142.根据权利要求138所述的系统，还包括第三成像装置，所述第三成像装置可操作地联接到所述第一计算系统，并且被定位和定向成在已经使用所述末端执行器进行抓取之后捕获所述目标包装的一个或多个图像。

143.根据权利要求138所述的系统，其中，所述第二成像装置和第一计算系统还配置成通过在所述目标包装的运动期间捕获所述目标包装的图像序列并在所述图像序列内分析所述目标包装的变形来估计所述目标包装是否是可变形的。

144.根据权利要求138所述的系统，其中，所述第一计算系统和第二成像装置配置成在已经使用所述末端执行器进行抓取之后捕获和利用所述一个或多个图像，以估计是否通过所进行的抓取收获了多个包装或零个包装。

145.根据权利要求144所述的系统，其中，所述第一计算系统配置成在确定了已利用所进行的抓取收获了多个包装或零个包装后中止抓取。

146.根据权利要求95所述的系统，其中，所述末端执行器包括工具切换头部部分，所述工具切换头部部分构造成利用安装在所述机械臂的远侧部分的几何邻近区域内的工具保持器可控地联接到所述第一吸盘组件和从所述第一吸盘组件可控地脱离联接。

147.根据权利要求146所述的系统，其中，所述工具保持器构造成保持并可移除地联接至一个或多个附加吸盘组件或一个或多个其他包装接口工具，使得所述第一计算装置能配置成利用所述工具切换头部部分进行工具切换。

148.一种机器人包装搬运系统，包括：

a.包括远侧部分和近侧基座部分的机械臂；

b.联接到所述机械臂的远侧部分的末端执行器；

c.与所述机械臂的远侧部分几何邻近地就位的置放结构；

d.与一个或多个包装接触并与所述机械臂的远侧部分几何邻近地就位的拾取结构；

e.被定位和定向成捕获关于所述拾取结构和一个或多个包装的图像信息的第一成像装置；

f.第一计算系统，所述第一计算系统可操作地联接到所述机械臂和所述第一成像装置，并且配置成从所述第一成像装置接收图像信息，并且至少部分地基于所述图像信息来命令所述机械臂的移动；

其中所述第一计算系统配置成操作所述机械臂和末端执行器以进行从所述拾取结构抓取所述一个或多个包装中的目标包装，并释放所述目标包装以搁置在所述置放结构上；并且

其中所述末端执行器包括第一吸盘组件，所述第一吸盘组件联接到可控启用的真空负载，所述可控启用的真空负载可操作地联接到所述第一计算系统，所述第一吸盘组件配置成使得，进行抓取包括：当所述真空负载在所述目标包装附近被可控地启用时接合所述目标包装；

其中所述系统还包括第二成像装置，所述第二成像装置可操作地联接到所述第一计算系统，并且被定位和定向成在已经使用所述末端执行器进行抓取之后捕获所述目标包装的一个或多个图像，以通过围绕所述目标包装拟合3-D矩形棱柱并估计所述矩形棱柱的长-宽-高来估计所述目标包装的外部尺寸界限，并且利用拟合的3-D矩形棱柱来估计所述目标包装相对于所述末端执行器的位置和取向；

其中所述第一计算系统配置成操作所述机械臂和所述末端执行器，以便以相对于所述置放结构的特定位置和特定取向将所述目标包装放置在所述置放结构上。

149.根据权利要求148所述的系统，还包括框架结构，所述框架结构构造成将所述机械臂固定地联接到所述置放结构。

150.根据权利要求149所述的系统，其中，所述拾取结构可移除地联接到所述框架结构。

151.根据权利要求148所述的系统，其中，所述置放结构包括安置托盘。

152.根据权利要求151所述的系统，其中，所述安置托盘包括第一可旋转联接构件和第二可旋转联接构件，所述第一可旋转联接构件和所述第二可旋转联接构件构造成当处于相对于彼此的第一旋转构型时形成基本平坦的托盘基部表面，并且当处于相对于彼此的第二旋转构型时形成升降叉式构型。

153.根据权利要求151所述的系统，其中，所述安置托盘可操作地联接到一个或多个致动器，所述致动器配置成可控制地改变所述安置托盘的至少一部分的取向，所述一个或多个致动器可操作地联接到所述第一计算系统。

154.根据权利要求148所述的系统，其中，所述拾取结构包括从由货柜、托盘、固定表面和可移动表面组成的组中选择的元件。

155.根据权利要求154所述的系统，其中，所述拾取结构包括货柜，所述货柜构造成限定由底部和多个壁界定的包装容纳容积，以及开放的进入孔，所述开放的进入孔构造成允许所述机械臂的至少所述远侧部分的进出。

156.根据权利要求155所述的系统，其中，所述第一成像装置配置成通过所述开放的进入孔捕获与所述拾取结构和一个或多个包装相关的图像信息。

157.根据权利要求148所述的系统，其中，所述第一成像装置包括深度相机。

158.根据权利要求148所述的系统，其中，所述第一成像装置配置成捕获彩色图像数据。

159.根据权利要求148所述的系统，其中，所述第一计算系统包括单个VLSI计算机。

160.根据权利要求148所述的系统，其中，所述第一计算系统包括相互联接的计算装置的网络，所述相互联接的计算装置的网络的至少一个计算装置相对于所述机械臂远程定位。

161.根据权利要求148所述的系统，还包括可操作地联接到所述第一计算系统的第二计算系统。

162.根据权利要求161所述的系统，其中，所述第二计算系统相对于所述第一计算系统远程定位，并且所述第一计算系统和第二计算系统经由计算机网络可操作地联接。

163.根据权利要求148所述的系统，其中，所述第一计算系统配置成使得进行抓取包括分析多个候选抓取，以选择要被执行的执行抓取，以从所述拾取结构移出所述目标包装。

164.根据权利要求163所述的系统，其中，分析多个候选抓取包括检查所述目标包装上的、预测所述第一吸盘组件能够与所述目标包装的表面形成密封接合的位置。

165.根据权利要求164所述的系统，其中，分析多个候选抓取包括检查所述目标包装上的、预测所述第一吸盘组件能够从多个不同的末端执行器接近取向与所述目标包装的表面形成密封接合的位置。

166.根据权利要求164所述的系统，其中，分析多个候选抓取包括检查所述目标包装上的、预测所述第一吸盘组件能够从多个不同的末端执行器接近位置与所述目标包装的表面形成密封接合的位置。

167.根据权利要求164所述的系统，其中，所述第一吸盘组件包括第一外部密封唇，其中与表面的密封接合包括所述第一外部密封唇与表面的基本完全接合。

168.根据权利要求164所述的系统，其中，检查所述目标包装上的、预测所述第一吸盘组件能够与所述目标包装的表面形成密封接合的位置以纯几何方式进行。

169.根据权利要求163所述的系统，其中，所述第一计算系统配置成基于从由以下各项组成的组中选择的候选抓取因素来选择所述执行抓取：估计的所需时间；估计的所需计算；以及估计的抓取成功率。

170.根据权利要求148所述的系统，其中，所述第一吸盘组件包括波纹管结构。

171.根据权利要求170所述的系统，其中，所述波纹管结构包括利用弯曲边缘邻接地联接的多个壁部分。

172.根据权利要求171所述的系统，其中，所述波纹管结构包括选自由聚乙烯、聚丙烯、橡胶和热塑性弹性体组成的组的材料。

173.根据权利要求148所述的系统，其中，所述第一吸盘组件包括外壳和联接至所述外壳的内部结构。

174.根据权利要求173所述的系统，其中，所述第一吸盘组件的内部结构包括联接至近侧基部构件的壁构件，所述壁构件和所述近侧基部构件限定出内部腔室。

175.根据权利要求174所述的系统，其中，所述壁构件包括具有近端和远端的大致圆筒形形状，其中所述近侧基部构件与所述壁构件的近端形成大致圆形的界面。

176.根据权利要求174所述的系统，其中，所述近侧基部构件限定出贯穿其中的一个或多个入口孔，所述一个或多个入口孔构造成根据所述可控启用的真空负载的启用而允许空气经其流过。

177.根据权利要求176所述的系统，其中，所述内部结构还包括远侧壁构件，所述远侧壁构件包括构造成限定进入所述内部腔室的通路的结构孔环状部分，以及一个或多个过渡空气通道，所述过渡空气通道构造成根据所述可控启用的真空负载的启用而允许空气经其流过。

178.根据权利要求177所述的系统，其中，所述一个或多个入口孔和所述一个或多个过渡空气通道用于允许规定的空气流通过所述内部腔室，以促进所述第一吸盘组件与所述目标包装的可释放联接。

179.根据权利要求148所述的系统，其中，所述一个或多个包装选自由以下各项组成的组：袋、“塑料袋”、“聚乙烯袋”、基于纤维的袋、基于纤维的封套、气泡包装袋、气泡包装封套、“吉菲”袋、“吉菲”封套、和基本刚性的立方体结构。

180.根据权利要求179所述的系统，其中，所述一个或多个包装包括基于纤维的袋，所述基于纤维的袋包括纸复合材料或聚合物复合材料。

181.根据权利要求179所述的系统，其中，所述一个或多个包装包括基于纤维的封套，所述基于纤维的封套包括纸复合材料或聚合物复合材料。

182.根据权利要求179所述的系统，其中，所述一个或多个包装包括基本刚性的立方体结构，所述基本刚性的立方体结构包括箱。

183.根据权利要求148所述的系统，其中，所述末端执行器包括第二吸盘组件，所述第二吸盘组件联接至所述可控启用的真空负载。

184.根据权利要求183所述的系统，其中，所述第二吸盘组件限定第二内部腔室，所述第二内部腔室构造成当所述真空负载在所述目标包装附近被可控地启用时将所述目标包装的一部分拉入其中并且至少部分地封装所述目标包装的一部分。

185.根据权利要求148所述的系统，还包括第三成像装置，所述第三成像装置可操作地联接到所述第一计算系统，并且被定位和定向成在已经使用所述末端执行器进行抓取之后捕获所述目标包装的一个或多个图像。

186.根据权利要求148所述的系统，其中，所述第二成像装置和第一计算系统还配置成通过在所述目标包装的运动期间捕获所述目标包装的图像序列并在所述图像序列内分析所述目标包装的变形来估计所述目标包装是否是可变形的。

187.根据权利要求148所述的系统，其中，所述第一计算系统和第二成像装置配置成在已经使用所述末端执行器进行抓取之后捕获和利用所述一个或多个图像，以估计是否通过所进行的抓取收获了多个包装或零个包装。

188.根据权利要求187所述的系统，其中，所述第一计算系统配置成在确定了已利用所进行的抓取收获了多个包装或零个包装后中止抓取。

189.根据权利要求148所述的系统，其中，所述末端执行器包括工具切换头部部分，所述工具切换头部部分构造成利用安装在所述机械臂的远侧部分的几何邻近区域内的工具保持器可控地联接到所述第一吸盘组件和从所述第一吸盘组件可控地脱离联接。

190.根据权利要求189所述的系统，其中，所述工具保持器构造成保持并可移除地联接至一个或多个附加吸盘组件或一个或多个其他包装接口工具，使得所述第一计算装置能配置成利用所述工具切换头部部分进行工具切换。

191.根据权利要求148所述的系统，其中，所述第一计算系统配置成操作所述机械臂和末端执行器，以将目标包装放置在所述置放结构上，使得能迫使所述目标包装进入包括所述置放结构的斜面中。

192.根据权利要求148所述的系统，其中，所述第一计算系统配置成操作所述机械臂和末端执行器，以将所述目标包装放置在所述置放结构上，使得所述目标包装被有意地基于所述目标包装的一边缘被置放，使得所述目标包装将以优选的取向和位置倾倒在所述置放结构的表面上。

193.根据权利要求148所述的系统，其中，所述第一计算系统配置成操作所述机械臂和末端执行器，以将所述目标包装放置在所述置放结构上，使得所述目标包装跨所述置放结构的表面扫过，以相对于所述表面保持基本平坦。

194.一种系统，包括：

a.机器人取放机，所述机器人取放机包括致动系统和可更换的末端执行器系统，所述可更换的末端执行器系统配置成有利于在多个末端执行器头部之间进行选择和切换；

b.感测系统；以及

c.在对所述机器人取放机的控制中使用的抓取规划处理流水线。

195.根据权利要求194所述的系统，其中，所述可更换的末端执行器系统包括集成到所述致动系统的远端的头部选择器、一组末端执行器头部、和头部保持装置，其中所述头部选择器在相应的附接面与所述一组末端执行器头部之一附接。

196.根据权利要求195所述的系统，其中，所述可更换的末端执行器系统还包括至少一个磁体，所述磁体外接所述头部选择器和执行器头部之一的中心，以提供所述末端执行器头部的初始安置和保持。

197.根据权利要求196所述的系统，其中，所述一组末端执行器头部中的每个末端执行器头部和所述头部选择器中的至少一者包括沿相应附接面的外边缘定位的密封件。

198.根据权利要求195所述的系统，其中，所述头部选择器和所述一组末端执行器头部包括互补的配准结构。

199.根据权利要求195所述的系统，其中，所述头部选择器和所述一组末端执行器头部包括横向支承结构几何形状，所述横向支承结构几何形状被选择成有助于抓取顺应性包装。

200.根据权利要求195所述的系统，其中，该一组末端执行器头部包括一组抽吸式末端执行器。

201.根据权利要求195所述的系统，其中，所述致动系统包括关节臂。

202.根据权利要求194所述的系统，其中，所述抓取计划流水线包括一个或多个处理器，所述处理器包括机器可读指令，所述机器可读指令在被执行时使所述一个或多个处理器：

a.收集物品所在区域的图像数据；

b.计划抓取，其包括通过抓取质量模型评估图像数据以生成一组候选抓取计划、处理候选抓取计划并选择抓取计划；

c.用所述机器人取放机执行所选的抓取计划；以及

d.执行与目标包装相关的物品交互任务。

203.根据权利要求202所述的系统，其中，通过抓取质量模型评估图像数据以生成一组候选抓取计划包括：将图像数据分割成感兴趣的掩码区域，以及通过神经网络架构评估图像数据和感兴趣的掩码区域，以生成对处于图像数据中多个位置处的一组工具的抓取质量以及相关联的成功概率的密集预测。