CN118046418A - 机器人系统传送单位单元及其操作方法 - Google Patents

Abstract

本公开涉及机器人系统传送单位单元及其操作方法。提供了一种机器人系统和快速部署方法。机器人系统可包括控制系统和与该控制系统通信的传送单位单元，用于促进将物体从源传送到目的地。传送单位单元可以在被配置成接收物体和与物体相互作用的部署配置、其中传送单位单元缩回到自身中的缩回配置和用于经由运输单元移动传送单位单元的运输配置之间转换。传送单位单元可包括单元底板、用于支撑机器人的机械臂底座、用于接收或提供至少一个目标物体的输送系统、用于接收传感器系统的传感器底座、以及单位外壳，该单位外壳被安装到传送单位单元的单元底板上以促进传送单位单元的运输以及位置之间的转换。

Description

机器人系统传送单位单元及其操作方法

相关申请的交叉引用

本申请要求题为“ROBOTIC SYSTEM AND METHOD OF OPERATION THEREOF”并于2022年11月16日提交的美国临时申请No.63/426,010以及题为“ROBOTIC SYSTEM ANDMETHOD OF OPERATION THEREOF”并于2023年10月12日提交的美国临时申请No.63/589,735的权益，其全部内容通过引用并入本文。

技术领域

本技术一般地针对机器人系统，并且更具体地针对用于操作和部署其的系统、过程和技术。

背景技术

随着机器人不断提高的性能和降低的成本，许多机器人(例如，被配置为自动/自主地执行物理动作的机器)现在被广泛地用于各种不同的领域。机器人例如可以用来在制造和/或组装、打包和/或包装、运输和/或装运等时执行各种任务(例如操纵或传送物体以穿过空间)。在执行任务时，机器人可以复制人类动作，从而取代或减少否则在执行危险或重复性任务所需的人类参与。

然而，尽管技术有进步，机器人常常缺乏复制执行更大和/或更复杂的任务所需的人类交互所必需的复杂度。另外，机器人常常缺乏快速运输和部署到工作环境内的多个位置的能力。因此，仍然需要用于管理机器人之间的操作和/或交互的改进技术和系统，并且进一步仍然需要机器人系统的提高的移动性以允许在工作环境内快速重定位。

发明内容

在实施例中，提供了一种用于部署机器人系统的传送单位单元。该传送单位单元可包括用于传送物体的传送单位单元，该传送单位单元与控制系统通信并且在被配置为在传送单位单元内接收托盘的部署配置和其中传送单位单元缩回到自身中的缩回配置之间是可转换的，该传送单位单元还包括：单元底板；该单元底板上的机械臂底座，用于附接机械臂；邻近该机械臂底座的输送系统，用于接收目标物体；传感器底座，其被附接到单元底板，用于包括传感器阵列的传感器系统；以及单位外壳，其被安装到传送单位单元的单元底板，以促进传送单位单元的运输、以及传送单位单元在部署配置和缩回配置之间的转换。

在实施例中，提供了一种用于部署机器人系统的传送单位单元。该传送单位单元可包括：用于传送物体的单元底板，该传送单位单元在被配置为接收和固定托盘的部署配置和其中传送单位单元缩回到自身中的缩回配置之间是可转换的；机械臂底座，用于接收机械臂；输送系统，用于接收目标物体；传感器底座，用于接收包括传感器阵列的传感器系统；以及单位外壳，其被安装到单元底板，以促进传送单位单元的运输、以及传送单位单元在部署配置和缩回配置之间的转换。

在实施例中，提供了一种用于机器人系统的快速部署和集成的方法。该方法可包括：定位具有单元底板的传送单位单元并将其部署为被配置为接收和固定包含多个物体的托盘的部署配置；固定处于部署配置下的传送单位单元以使得传送单位单元被稳定，以支撑传送单位单元；经由传感器系统来感测包含在托盘上的多个物体，该传感器系统包括被附接到传送单位单元的传感器底座的传感器阵列；控制传送单位单元的机械臂与从包含在托盘上的多个物体中感测到的目标物体相互作用；以及将目标物体从托盘传送到传送单位单元的输送系统。

附图说明

图1A示出了根据本文实施例的用于执行或促进物体的检测、识别和取得的系统。

图1B示出了根据本文实施例的用于执行或促进物体的检测、识别和取得的系统的实施例。

图1C示出了根据本文实施例的用于执行或促进物体的检测、识别和取得的系统的另一实施例。

图1D示出了根据本文实施例的用于执行或促进物体的检测、识别和取得的系统的又另一实施例。

图2A是示出与本文实施例一致的计算系统的框图，该计算系统被配置为执行或促进物体的检测、识别和取得。

图2B是示出与本文实施例一致的计算系统的实施例的框图，该计算系统被配置为执行或促进物体的检测、识别和取得。

图2C是示出与本文实施例一致的计算系统的另一实施例的框图，该计算系统被配置为执行或促进物体的检测、识别和取得。

图2D是示出与本文实施例一致的计算系统的又另一实施例的框图，该计算系统被配置为执行或促进物体的检测、识别和取得。

图2E是由系统处理并与本文实施例一致的图像信息的示例。

图2F是由系统处理并与本文实施例一致的图像信息的另一示例。

图3A示出了根据本文实施例的用于操作机器人系统的示例性环境。

图3B示出了与本文实施例一致的用于由机器人系统检测、识别和取得物体的示例性环境。

图3C示出了根据本文实施例的机器人系统和传送单位单元可以在其中操作的示例性环境。

图4是示出根据本技术的一个或多个实施例的机器人系统的实施例的框图。

图5示出了根据本文实施例的实施机器人系统的传送单位单元的实施例。

图6示出了图5的传送单位单元的单元底板和机械臂底座的实施例。

图7示出了图5的传送单位单元的传感器系统的实施例。

图8示出了图5的传送单位单元的正视图。

图9A示出了根据本文实施例的图5的传送单位单元在部署配置下的透视图。

图9B示出了根据本文实施例的图5的传送单位单元在部署配置下的另一透视图。

图10A示出了根据本文实施例的图5的传送单位单元在部署配置下的侧视图。

图10B示出了根据本文实施例的图5的传送单位单元在缩回配置下的侧视图。

图10C示出了根据本文实施例的图5的传送单位单元在部分缩回配置下的侧视图。

图11A示出了根据本文实施例的运输配置下的传送单位单元和相应运输单元或车辆的透视图。

图11B示出了图11A的运输配置下的传送单位单元和运输单元或车辆的另一透视图。

图12提供了一流程图，该流程图示出了根据本文实施例的用于快速部署和集成机器人系统的方法和操作的总体流程。

具体实施方式

本文描述了用于具有协调传送机构的机器人系统的系统和方法。根据一些实施例配置的机器人系统(例如，各自执行一个或多个指定任务的设备的集成系统)通过协调多个单元(例如，机器人)的操作自主地执行集成任务。卸垛机器人被配置用于与可运输的盒或框架结构集成，该可运输的盒或框架结构可以向仓库或其他工作环境提供自动化，而无需对仓库/工作环境基础设施进行调整。可运输的框架结构可以在一天内交付、定位、部署和运行，以提供工作环境自动化，而不需要过多的成本支出或部署时间。更具体地，可运输的框架结构和集成机器人可被确定尺寸以适合于标准集装箱内，以实现如本文进一步详述的这种快速交付、定位、部署和操作方面。

在下文中，阐述了许多具体细节以提供对当前公开的技术的透彻理解。在其它实施例中，可以在没有这些具体细节的情况下实践这里介绍的技术。在其它实例中，未详细描述诸如特定功能或例程之类的公知特征，以避免不必要地模糊本公开。本描述中对“实施例”、“一个实施例”或类似物的提及意味着正在描述的特定特征、结构、材料或特性包括在本公开的至少一个实施例中。因此，此类短语在本说明书中的出现不一定全部指同一实施例。另一方面，这样的提及也不一定是相互排斥的。另外，特定特征、结构、材料或特性可以以任何合适的方式组合在一个或多个实施例中。要理解的是，图中所示的各种实施例仅仅是说明性的表示，并不一定是按比例绘制的。

本申请指的是系统和机器人系统。如本文所讨论的机器人系统可包括机器人致动器组件(例如，机械臂、机械抓持器等)、各种传感器(例如，照相机等)、以及各种计算或控制系统。如本文所讨论的，计算系统或控制系统可被称为“控制”各种机器人组件，诸如机械臂、机械抓持器、相机等。这样的“控制”可以指对机器人组件的各种致动器、传感器和其它功能方面的直接控制和与机器人组件的各种致动器、传感器和其它功能方面的交互。例如，计算系统可以通过发出或提供使各种电机、致动器和传感器引起机器人移动的所有所需信号来控制机械臂。这样的“控制”还可以指向另一机器人控制系统发出抽象或间接的命令，该另一机器人控制系统随后将这样的命令转换成用于引起机器人移动的必要信号。例如，计算系统可以通过发出描述机械臂应该移动到的轨迹或目的地位置的命令来控制机械臂，并且与机械臂相关联的另一机器人控制系统可以接收和解释这样的命令，然后向机械臂的各种致动器和传感器提供必要的直接信号以引起所需的移动。

为了清楚起见，描述公知且经常与机器人系统和子系统相关联但是可能不必要地模糊所公开的技术的一些重要方面的结构或过程的若干细节在以下描述中未被阐述。而且，尽管以下公开阐述了本技术的不同方面的若干实施例，但是若干其它实施例可具有与本节中描述的不同的配置或不同的部件。因此，所公开的技术可具有带有附加要素或没有下面描述要素中的若干要素的其它实施例。

下面描述的本公开的许多实施例或方面可以采取计算机可执行指令或控制器可执行指令的形式，包括由可编程计算机或控制器执行的例程。相关技术领域的技术人员将理解，所公开的技术可在除下面示出并描述的那些之外的计算机或控制器系统上实践或用除下面示出并描述的那些之外的计算机或控制器系统来实践。本文描述的技术可以体现在专用计算机或数据处理器中，该专用计算机或数据处理器被专门编程、配置或构造为执行下文描述的计算机可执行指令中的一个或多个。因此，本文一般使用的术语“计算机”和“控制器”是指任何数据处理器，并且可以包括因特网电器和手持设备(包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器或可编程的消费电子产品、网络计算机、小型计算机等)。由这些计算机和控制器处理的信息可以呈现在包括液晶显示器(LCD)的任何合适的显示介质上。用于执行计算机可执行任务或控制器可执行任务的指令可以存储在任何合适的计算机可读介质中或其上，包括硬件、固件或硬件和固件的组合。指令可以包含在任何合适的存储器设备中，包括例如闪存驱动器、USB设备和/或其它合适的介质。

术语“耦合”和“连接”，连同它们的派生词，可以在本文中用于描述组件之间的结构关系。应当理解，这些术语不打算作为彼此的同义词。而是，在特定实施例中，“连接”可以用于表明两个或更多个元件彼此直接接触。除非在上下文中另有说明，否则术语“耦合”可以用于表明两个或多个元件直接或间接(它们之间有其它居间元件)彼此接触，或者两个或多个元件相互协作或相互作用(例如，在因果关系中，诸如用于信号发送/接收或用于函数调用)，或者两者兼有。

本文中对由计算系统进行的图像分析的任何提及可根据或使用空间结构信息来执行，该空间结构信息可包括深度信息，该深度信息描述各种位置相对于选定点的相应深度值。深度信息可用于识别物体或估计如何在空间上布置物体。在一些实例中，空间结构信息可包括或可用于生成点云，该点云描述物体的一个或多个表面的位置。空间结构信息仅仅是可能的图像分析的一种形式，并且可以按照本文描述的方法使用本领域技术人员已知的其他形式。

图1A示出了系统1000，系统1000可包括计算系统或计算机系统1100和相机1200。在该示例中，相机1200可被配置为生成图像信息，该图像信息描述或以其他方式表示相机1200所处的环境，或者更具体地表示相机1200的视野(也称为相机视野)中的环境。环境可以例如是仓库、制造工厂、零售空间或其他场所。在这样的实例中，图像信息可以表示位于此类场所的物体，诸如盒、仓、箱、板条箱、托盘或其他容器。系统1000可被配置成生成、接收和/或处理图像信息，诸如通过使用图像信息来区分相机视野中的个体物体，以基于图像信息执行物体识别或物体登记，和/或基于图像信息执行机器人交互规划，如在下面更详细讨论的(术语“和/或”和“或”在本公开中可互换地使用)。机器人交互规划可用于例如控制场所处的机器人以促进机器人与容器或其它物体之间的机器人交互。计算系统1100和相机1200可以位于同一处所或可以位于彼此远程。例如，计算系统1100可以是托管在远离仓库或零售空间的数据中心中的云计算平台的一部分，并且可以经由网络连接与相机1200通信。

在实施例中，相机1200(其也可被称为图像感测设备)可以是2D相机和/或3D相机。例如，图1B示出了系统1500A(其可以是系统1000的实施例)，系统1500A包括计算系统1100以及相机1200A和相机1200B，两者都可以是相机1200的实施例。在该示例中，相机1200A可以是被配置为生成2D图像信息的2D相机，2D图像信息包括或形成描述相机视野中的环境的视觉外观的2D图像。相机1200B可以是被配置为生成3D图像信息的3D相机(也称为空间结构感测相机或空间结构感测设备)，3D图像信息包括或形成关于相机视野中的环境的空间结构信息。空间结构信息可包括深度信息(例如，深度图)，其描述各种位置(诸如相机1200B的视野中的各种物体的表面上的位置)相对于相机1200B的相应深度值。在相机的视野中或在物体的表面上的这些位置也可被称为物理位置。该示例中的深度信息可用于估计如何在三维(3D)空间中在空间上布置物体。在一些实例中，空间结构信息可包括或可用于生成点云，该点云描述相机1200B的视野中的物体的一个或多个表面上的位置。更具体地说，空间结构信息可以描述物体的结构(也称为物体结构)上的各种位置。

在实施例中，系统1000可以是机器人操作系统，用于促进机器人与相机1200的环境中的各种物体之间的机器人交互。例如，图1C示出了机器人操作系统1500B，其可以是图1A和图1B的系统1000/1500A的实施例。机器人操作系统1500B可包括计算系统1100、相机1200和机器人1300。如上所述，机器人1300可用于与相机1200的环境中的一个或多个物体进行交互，诸如与盒、板条箱、仓、托盘或其他容器进行交互。例如，机器人1300可被配置为从一个位置拾取容器并将它们移动到另一个位置。在一些情况下，机器人1300可用于执行其中一组容器或其它物体被卸载并移动到例如传送带的卸垛操作。在一些实现中，相机1200可附接到机器人1300或下面讨论的机器人/机械臂306。这也称为手中相机或手持相机解决方案。相机1200可附接到机器人1300/306。机器人1300/306然后可移动到各种拾取区域以生成关于那些区域的图像信息。在一些实现中，相机1200可以与机器人1300/306分开。例如，相机1200可被安装到仓库的天花板或诸如传送单位单元104的其它结构，如下面进一步描述的，并且可以相对于该结构保持固定。在一些实现中，可以使用多个相机1200，包括与机器人1300/306分开的多个相机1200和/或与正在结合手中相机1200使用的机器人1300/306分开的相机1200。在一些实现中，一个或多个相机1200可以安装或固定到与用于物体操纵的机器人1300/306分开的专用机器人系统，诸如机械臂、起重机架或配置用于相机移动的其他自动化系统。在整个说明书中，可以讨论“控制”相机1200。对于手中相机解决方案，对相机1200的控制还包括对相机1200被安装或附接到的机器人1300/306的控制。

在实施例中，图1A-1C的计算系统1100可以形成或集成到机器人1300/306中，其也可被称为机器人控制器。机器人控制系统可以包括在系统1500B中，并且被配置为例如生成用于机器人1300/306的命令，诸如用于控制机器人1300/306与容器或其它物体之间的机器人交互的机器人交互移动命令。在这样的实施例中，计算系统1100可以被配置为基于例如由相机1200生成的图像信息来生成这样的命令。例如，计算系统1100可被配置为基于图像信息确定运动规划，其中该运动规划可旨在用于例如抓持或以其他方式抓握物体。计算系统1100可以生成一个或多个机器人交互运动命令以执行运动规划。

在实施例中，计算系统1100可以形成视觉系统的一部分或是视觉系统的一部分。视觉系统可以是生成例如视觉信息的系统，该视觉信息描述机器人1300/306所处的环境，或者，替代地或除此之外，描述相机1200所处的环境。该视觉信息可包括上面讨论的3D图像信息和/或2D图像信息，或者一些其它图像信息。在一些场景中，如果计算系统1100形成视觉系统，则该视觉系统可以是上面讨论的机器人控制系统的一部分或者可以与机器人控制系统分开。如果视觉系统与机器人控制系统分开，则视觉系统可被配置为输出描述机器人1300/306所处环境的信息。该信息可被输出到机器人控制系统，机器人控制系统可以从视觉系统接收这样的信息并且基于该信息执行运动规划和/或生成机器人交互移动命令。下面详述关于视觉系统的进一步信息。

在实施例中，计算系统1100可以经由直接连接(诸如经由专用有线通信接口(诸如RS-232接口、通用串行总线(USB)接口)和/或经由本地计算机总线(诸如外围组件互联(PCI)总线)提供的连接)与相机1200和/或与机器人1300/306通信。在实施例中，计算系统1100可以经由网络与相机1200和/或与机器人1300/306通信。该网络可以是任何类型和/或形式的网络，诸如个人区域网络(PAN)、局域网(LAN)(例如，内联网)、城域网(MAN)、广域网(WAN)或因特网。该网络可以利用不同的技术和协议层或协议堆栈，包括例如以太网协议、因特网协议套件(TCP/IP)、ATM(异步传输模式)技术、SONET(同步光网络)协议或SDH(同步数字层次结构)协议。

在实施例中，计算系统1100可以直接与相机1200和/或与机器人1300/306传达信息，或者可以经由中间存储设备、或更一般地中间非暂时性计算机可读介质进行通信。例如，图1D示出了系统1500C，其可以是系统1000/1500A/1500B的实施例，系统1500C包括非暂时性计算机可读介质1400，非暂时性计算机可读介质1400可以位于计算系统1100的外部，并且可以充当用于存储例如由相机1200生成的图像信息的外部缓冲器或储存库。在这样的示例中，计算系统1100可以从非暂时性计算机可读介质1400检索图像信息或以其他方式从非暂时性计算机可读介质1400接收图像信息。非暂时性计算机可读介质1400的示例包括电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或其任何合适的组合。非暂时性计算机可读介质可以形成例如计算机软盘、硬盘驱动器(HDD)、固态驱动器(SDD)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式紧凑盘只读存储器(CD-ROM)、数字多功能盘(DVD)和/或记忆棒。

如上所述，相机1200可以是3D相机和/或2D相机。2D相机可被配置为生成2D图像，诸如彩色图像或灰度图像。3D相机可以例如是深度感测相机，诸如飞行时间(TOF)相机或结构光相机，或任何其它类型的3D相机。在一些情况下，2D相机和/或3D相机可包括图像传感器，诸如电荷耦合器件(CCD)传感器和/或互补金属氧化物半导体(CMOS)传感器。在实施例中，3D相机可包括激光器、激光雷达设备、红外设备、明/暗传感器、运动传感器、微波检测器、超声检测器、雷达检测器、或被配置成捕获深度信息或其他空间结构信息的任何其他设备。

如上所述，图像信息可以由计算系统1100处理。在实施例中，计算系统1100可以包括或被配置为服务器(例如，具有一个或多个服务器刀片、处理器等)、个人计算机(例如，台式计算机、膝上型计算机等)、智能电话、平板计算设备和/或其他任何其他计算系统。在实施例中，计算系统1100的任何或所有功能可被执行为云计算平台的一部分。计算系统1100可以是单个计算设备(例如，台式计算机)，或者可包括多个计算设备。

图2A提供了示出计算系统1100的实施例的框图。本实施例中的计算系统1100包括至少一个处理电路1110和一个或多个非暂时性计算机可读介质1120。在一些实例中，处理电路1110可包括处理器(例如，中央处理单元(CPU)、专用计算机和/或板载服务器)，其被配置为执行存储在非暂时性计算机可读介质1120(例如，计算机存储器)上的指令(例如，软件指令)。在一些实施例中，处理器可以包括在可操作地耦合到其它电子/电气设备的单独/独立控制器中。处理器可以实施程序指令以控制其他设备/与其他设备接口，从而导致计算系统1100执行动作、任务和/或操作。在实施例中，处理电路1110包括一个或多个处理器、一个或多个处理内核、可编程逻辑控制器(“PLC”)、专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)、其任意组合、或任何其他处理电路。

在实施例中，作为计算系统1100的一部分的非暂时性计算机可读介质1120可以是上面讨论的中间非暂时性计算机可读介质1400的替代或补充。非暂时性计算机可读介质1120可以是存储设备，诸如电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或其任何合适的组合，例如，诸如计算机软盘、硬盘驱动器(HDD)、固态驱动器(SDD)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式紧凑盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、其任意组合、或任何其它存储设备。在一些实例中，非暂时性计算机可读介质1120可包括多个存储设备。在某些实现中，非暂时性计算机可读介质1120被配置为存储由相机1200生成并由计算系统1100接收的图像信息。在一些实例中，非暂时性计算机可读介质1120可存储用于执行本文所讨论的方法和操作的一个或多个物体识别模板。非暂时性计算机可读介质1120可替代地或附加地存储计算机可读程序指令，这些计算机可读程序指令当由处理电路1110执行时导致处理电路1110执行这里描述的一个或多个方法。

图2B描述了计算系统1100A，计算系统1100A是计算系统1100的实施例并且包括通信接口1130。通信接口1130可被配置为例如接收由图1A-1D的相机1200生成的图像信息。可以经由中间非暂时性计算机可读介质1400或上面讨论的网络或者经由相机1200与计算系统1100/1100A之间的更直接的连接来接收该图像信息。在实施例中，通信接口1130可被配置为与图1C的机器人1300或如本文进一步描述的机器人306进行通信。如果计算系统1100位于机器人控制系统的外部，则计算系统1100的通信接口1130可被配置为与机器人控制系统进行通信。通信接口1130还可以被称为通信组件或通信电路，并且可以包括例如被配置为通过有线或无线协议执行通信的通信电路。作为示例，通信电路可包括RS-232端口控制器、USB控制器、以太网控制器、Bluetooth控制器、PCI总线控制器、任何其他通信电路或其组合。

在计算系统1100B的实施例中，如图2C中所示，非暂时性计算机可读介质1120可包括被配置为存储本文所讨论的一个或多个数据对象的存储空间1125。例如，存储空间可存储物体识别模板、检测假设、图像信息、物体图像信息、机械臂移动命令、以及本文所讨论的计算系统可能需要访问的任何附加数据对象。

在实施例中，处理电路1110可以由存储在非暂时性计算机可读介质1120上的一个或多个计算机可读程序指令编程。例如，图2D示出了作为计算系统1100/1100A/1100B的实施例的计算系统1100C，其中处理电路1110由包括物体识别模块1121、运动规划和控制模块1129以及物体操纵规划和控制模块1126在内的一个或多个模块编程。上述模块中的每一个可以表示被配置为当在本文描述的处理器、处理电路、计算系统等中的一者或多者上实例化时执行某些任务的计算机可读程序指令。上述模块中的每一个可彼此协同操作以实现本文描述的功能。本文描述的功能的各个方面可以由上面描述的软件模块中的一个或多个来执行，并且软件模块及其描述不应被理解为限制本文公开的系统的计算结构。例如，尽管可以相对于特定模块描述特定任务或功能，但该任务或功能也可以根据需要由不同模块执行。另外，本文描述的系统功能可以由配置有不同的功能分解或功能分配的不同软件模块集合来执行。

在实施例中，物体识别模块1121可被配置为如在整个公开中所讨论的那样获取和分析图像信息。本文中关于图像信息讨论的方法、系统和技术可以使用物体识别模块1121。物体识别模块还可被配置用于与物体识别相关的物体识别任务，如本文所讨论的。

运动规划和控制模块1129可被配置为规划和执行机器人的移动。例如，运动规划和控制模块1129可与本文描述的其它模块进行交互，以针对物体取得操作和针对相机放置操作来规划机器人3300的运动。本文中关于机械臂运动和轨迹讨论的方法、系统和技术可以由运动规划和控制模块1129执行。

在实施例中，运动规划和控制模块1129可被配置为规划机器人运动和机器人轨迹以考虑软物体的运载。如本文所讨论的，软物体可具有在运动期间下垂、下凹、挠曲、弯曲等的倾向。这样的倾向可以由运动规划和控制模块1129来解决。例如，在提升操作期间，可能预期软物体将下凹或挠曲，导致机械臂(以及关联的抓持设备，如下面描述)上的力以不可预测的方式变化、改动或改变。因此，运动规划和控制模块1129可被配置为包括提供更大程度的反应性的控制参数，从而允许机器人系统更快速地调整以适应负载的变化。在另一示例中，软物体可能由于内部动量而在移动期间预期摆动或挠曲(例如，预测的挠曲行为)。这样的移动可以由运动规划和控制模块1129通过计算物体的预测的挠曲行为来进行调整。在又另一个示例中，运动规划和控制模块1129可被配置为当物体存放在目的地时预测或以其他方式解释被运输的软物体的变形或改变的形状。软物体的挠曲或变形(例如，挠曲行为)可能导致与同一物体在最初被抬起时具有的不同形状、占用空间等的物体。因此，运动规划和控制模块1129可被配置为在将物体放下时预测或以其他方式考虑这样的变化。

物体操纵规划和控制模块1126可被配置为规划和执行机械臂或末端执行器装置的物体操纵活动，例如，抓握和释放物体以及执行机械臂命令以辅助和促进这样的抓握和释放。如下面所讨论的，双抓持器和可调节的多点抓持设备可能需要一系列集成和协调的操作来抓握、提升和运输物体。这样的操作可以由物体操纵规划和控制模块1126协调，以确保双抓持器和可调节的多点抓持设备的平稳操作。

参考图2E、图2F、图3A和图3B，解释了与可被执行用于图像分析的物体识别模块1121有关的方法。图2E和图2F示出了与图像分析方法相关联的示例图像信息，而图3A和图3B示出了与图像分析方法相关联的示例机器人环境。本文中涉及由计算系统进行的图像分析的提及可以根据空间结构信息或使用空间结构信息来执行，该空间结构信息可包括深度信息，该深度信息描述各种位置相对于选定点的相应深度值。深度信息可用于识别物体或估计如何在空间上布置物体。在一些实例中，空间结构信息可包括或可用于生成点云，该点云描述物体的一个或多个表面的位置。空间结构信息仅仅是可能的图像分析的一种形式，并且可以按照本文描述的方法使用本领域技术人员已知的其他形式。

在实施例中，计算系统1100可获得表示相机1200的相机视野(例如，视野3200)中的物体的图像信息。在一些实例中，物体可以是来自相机1200的视野中的开始/源位置114中的多个物体的至少一个目标物体112，如下所述。下面描述的用于获得图像信息的步骤和技术在下面可被称为图像信息捕获操作5002。在一些实例中，物体可以是来自相机1200的视野3200中的多个物体中的一个物体。图像信息2600、2700可以在物体处于(或已经处于)相机视野3200中时由相机(例如，相机1200)生成并且可以描述相机1200的视野3200中的单独物体中的一个或多个。物体外观从相机1200的视点描述物体的外观。如果在相机视野中存在多个物体，则相机可根据需要生成表示这多个物体或单个物体的图像信息(与单个物体有关的此类图像信息可被称为物体图像信息)。图像信息可以在物体组处于(或已经处于)相机视场中时由相机(例如，相机1200)生成，并且可包括例如2D图像信息和/或3D图像信息。

作为示例，图2E描绘了第一组图像信息，或者更具体地说，2D图像信息2600，其如上所述由相机1200生成并且表示图3A中位于物体3550上的物体3410A/3410B/3410C/3410D，物体3550可以例如是其上放置有物体3410A/3410B/3410C/3410D的托盘。更具体地，2D图像信息2600可以是灰度或彩色图像并且可以从相机1200的视点描述物体3410A/3410B/3410C/3410D/3550的外观。在一个实施例中，2D图像信息2600可以对应于彩色图像的单色通道(例如，红色、绿色或蓝色色彩通道)。如果相机1200设置在物体3410A/3410B/3410C/3410D/3550上方，那么2D图像信息2600可以表示物体3410A/3410B/3410C/3410D/3550的各个顶面的外观。在图2E的示例中，2D图像信息2600可包括也称为图像部分或物体图像信息的各个部分2000A/2000B/2000C/2000D/2550，它们表示物体3410A/3410B/3410C/3410D/3550的各个表面。在图2E中，2D图像信息2600的每个图像部分2000A/2000B/2000C/2000D/2550可以是图像区域，或者更具体地是像素区域(如果图像由像素形成)。2D图像信息2600的像素区域中的每个像素可被表征为具有由一组坐标[U，V]描述的位置并且可以具有相对于相机坐标系或某个其他坐标系的值，如图2E和图2F所示。像素中的每一个还可具有强度值，诸如在0和255或0和1023之间的值。在另外的实施例中，像素中的每一个可包括各种格式的与像素相关联的任何附加信息(例如，色调、饱和度、强度、CMYK、RGB等)。

如上所述，图像信息在一些实施例中可以是图像的全部或一部分，诸如2D图像信息2600。在示例中，计算系统1100可被配置为从2D图像信息2600中提取图像部分2000A以仅获得与相应物体3410A相关联的图像信息。在图像部分(诸如图像部分2000A)针对单个物体的情况下，其可被称为物体图像信息。物体图像信息不需要仅包含关于它所针对的物体的信息。例如，它所针对的物体可以靠近一个或多个其它物体、在一个或多个其它物体下方、在一个或多个其它物体上方或以其它方式位于一个或多个其它物体的附近。在这种情况下，物体图像信息可包括关于它所针对的物体以及到一个或多个邻近物体的信息。计算系统1100可以通过基于2D图像信息2600和/或图2F所示的3D图像信息2700执行图像分割或其它分析或处理操作来提取图像部分2000A。在一些实现中，图像分割或其他处理操作可包括检测物体的物理边缘(例如，物体的边缘)在2D图像信息2600中出现的图像位置并使用此类图像位置来识别物体图像信息，该物体图像信息限于表示相机视野(例如，视野3200)中的单独物体并且基本上排除其它物体。通过“基本上排除”，意思是图像分割或其他处理技术被设计和配置为从物体图像信息中排除非目标物体，但理解的是，可能产生错误，可能存在噪声，并且各种其他因素可能导致包含其他物体的部分。

图2F描述了其中图像信息是3D图像信息2700的示例。更具体地，3D图像信息2700可包括例如深度图或点云，该深度图或点云指示物体3410A/3410B/3410C/3410D/3550的一个或多个表面(例如，顶表面或其它外表面)上的各种位置的相应深度值。在一些实现中，用于提取图像信息的图像分割操作可以涉及检测物体的物理边缘(例如，盒的边缘)在3D图像信息2700中出现的图像位置并使用此类图像位置来识别限于表示相机视野(例如，3410A)中的单独物体的图像部分(例如，2730)。

相应深度值可以相对于生成3D图像信息2700的相机1200或者可以相对于某个其它参考点。在一些实施例中，3D图像信息2700可包括点云，该点云包括相机视野(例如，视野3200)中的物体的结构上的各个位置的相应坐标。在图2F的示例中，点云可包括描述物体3410A/3410B/3410C/3410D/3550的各个表面的位置的相应坐标集合。坐标可以是3D坐标，诸如[X Y Z]坐标，并且可以具有相对于相机坐标系或某个其他坐标系的值。例如，3D图像信息2700可包括也称为图像部分的第一图像部分2710，其指示物体3410D的表面上的也被称为物理位置的一组位置2710₁-2710_n的相应深度值。另外，3D图像信息2700还可包括第二、第三、第四和第五部分2720、2730、2740和2750。这些部分然后可以进一步指示可以分别由2720₁-2720_n、2730₁-2730_n、2740₁-2740_n和2750₁-2750_n表示的一组位置的相应深度值。这些图仅仅是示例，并且可以使用任何数量的具有相应图像部分的物体。类似于如上所述，获得的3D图像信息2700在一些实例中可以是由相机生成的第一组3D图像信息2700的一部分。在图2E的示例中，如果获得的3D图像信息2700表示图3A的物体3410A，那么3D图像信息2700可被缩小为仅指图像部分2710。类似于2D图像信息2600的讨论，识别出的图像部分2710可以属于单独物体并且可被称为物体图像信息。因此，本文所使用的物体图像信息可包括2D和/或3D图像信息。

在实施例中，可以由计算系统1100作为获得图像信息的一部分来执行图像归一化操作。图像归一化操作可涉及变换由相机1200生成的图像或图像部分，以生成变换后的图像或变换后的图像部分。例如，如果所获得的可包括2D图像信息2600、3D图像信息2700或两者的组合的图像信息可以经历图像归一化操作，以试图导致在与视觉描述信息相关联的视点、物体位置、照明条件方面改变图像信息。这样的归一化可被执行以促进图像信息和模型(例如，模板)信息之间的更精确的比较。视点可以指物体相对于相机1200的姿势，和/或当相机1200生成表示物体的图像时相机1200正在观看物体的角度。如本文所使用的，“姿势”可以指物体位置和/或取向。

例如，可以在其中目标物体处于相机视野3200中的物体识别操作期间生成图像信息。相机1200可以在目标物体具有相对于相机的特定姿势时生成表示目标物体的图像信息。例如，目标物体可以具有使其顶表面垂直于相机1200的光轴的姿势。在这样的示例中，由相机1200生成的图像信息可以表示特定视点，诸如目标物体的顶视图。在一些实例中，当相机1200在物体识别操作期间正在生成图像信息时，可以用诸如照明强度的特定照明条件生成图像信息。在这样的实例中，图像信息可表示特定照明强度、照明颜色或其它照明条件。

在实施例中，图像归一化操作可涉及调整由相机生成的场景的图像或图像部分，以便使该图像或图像部分更好地匹配与物体识别模板的信息相关联的视点和/或照明条件。该调整可涉及变换该图像或图像部分以生成与物体识别模板的视觉描述信息相关联的物体姿势或照明条件中的至少一个相匹配的变换后图像。

视点调整可涉及场景的图像的处理、翘曲(warp)和/或移位，使得图像表示与可包括在物体识别模板内的视觉描述信息相同的视点。处理例如可包括改变图像的颜色、对比度或照明，场景的翘曲可包括改变图像的大小、尺寸或比例，并且图像的移位可包括改变图像的位置、取向或旋转。在示例实施例中，处理、翘曲和/或移位可用于改变场景的图像中的物体，以具有与物体识别模板的视觉描述信息匹配或更好地对应的取向和/或大小。如果物体识别模板描述了某个物体的正面视图(例如，顶视图)，则场景的图像可被翘曲以便也表示场景中的物体的正面视图。

本文中执行的物体识别和图像归一化方法的进一步方面在2020年8月12日提交的美国申请No.16/991,510和2020年8月12日提交的美国申请No.16/991,466中进行更详细描述，这些申请中的每一个通过引用并入本文。

在各种实施例中，术语“计算机可读指令”和“计算机可读程序指令”用于描述被配置为执行各种任务和操作的软件指令或计算机代码。在各种实施例中，术语“模块”广义地指被配置为导致处理电路1110执行一个或多个功能任务的软件指令或代码的集合。这些模块和计算机可读指令可被描述为当处理电路或其它硬件组件正在执行这些模块或计算机可读指令时执行各种操作或任务。

图3A-3B示出了示例性环境，其中经由计算系统1100利用在非暂时性计算机可读介质1120上存储的计算机可读程序指令以增加物体识别、检测和取得操作和方法的效率。由计算系统1100获得并在图3A中例示的图像信息影响系统的决策过程和对存在于物体环境内的机器人3300的命令输出。

图3A-3B示出了可以在其中执行本文描述的过程和方法的示例环境。图3A描绘了具有系统3000(其可以是图1A-1D中的系统1000/1500A/1500B/1500C的实施例)的环境，系统3000至少包括计算系统1100、机器人3300和相机1200。相机1200可以是相机1200的实施例并且可被配置为生成图像信息，该图像信息表示相机1200的相机视野3200中的场景5013，或者更具体地表示相机视野3200中的物体(诸如盒)，诸如物体3410A、3410B、3410C和3410D。在一个示例中，物体3410A-3410D中的每一个可以例如是诸如盒或板条箱之类的容器，而物体3400可以例如是其上放置有容器的托盘。另外，物体3410A-3410D中的每一个还可以是包含单独物体5012的容器。每个物体5012可以例如是棒、杆、齿轮、螺栓、螺母、螺钉、钉子、铆钉、弹簧、联动件、齿轮或任何其他类型的物理物体，以及多个物体的组件。为了本公开的目的，关于图3A-3B描述的物体3410A/3410B/3410C/3410D/3400和/或单独物体5012可以与本文中关于图3C-12描述的至少一个目标物体112同义。图3A示出了包括物体5012的多个容器的实施例，而图3B示出了包括物体5012的单个容器的实施例。

在实施例中，图3A的系统3000可包括一个或多个光源。光源可以例如是发光二极管(LED)、卤素灯或任何其它光源，并且可被配置成朝向物体3410A-3410D的表面发射可见光、红外辐射或任何其它形式的光。在一些实现中，计算系统1100可被配置为与光源进行通信以控制光源何时被激活。在其它实现中，光源可以独立于计算系统1100操作。

在实施例中，系统3000可以包括一个相机1200或多个相机1200，包括被配置为生成2D图像信息的2D相机和被配置为生成3D图像信息的3D相机。一个相机1200或多个相机1200可以安装或固定到机器人3300，可以在环境内固定，并且/或者可以固定到与用于物体操纵的机器人3300分开的专用机器人系统，诸如机械臂、起重机架或被配置用于相机移动的其他自动化系统。图3A示出了具有固定相机1200和手持相机1200的示例，而图3B示出了仅具有固定相机1200的示例。2D图像信息(例如，彩色图像或灰度图像)可以描述一个或多个物体(诸如相机视野3200中的物体3410A/3410B/3410C/3410D或物体5012)的外观。例如，2D图像信息可以捕获或以其他方式表示布置在物体3410A/3410B/3410C/3410D和5012的各个外表面(例如，顶表面)上的视觉细节，和/或那些外表面的轮廓。在实施例中，3D图像信息可以描述物体3410A/3410B/3410C/3410D和5012中的一个或多个的结构，其中物体的结构也可被称为物体结构或物体的物理结构。例如，3D图像信息可包括深度图，或更一般地包括深度信息，深度信息可以描述相机视野3200中的各种位置相对于相机1200或相对于某个其它参考点的相应深度值。对应于相应深度值的位置可以是相机视野3200中的各种表面上的位置(也称为物理位置)，诸如物体3410A/3410B/3410C/3410D/3400和5012的各个顶表面上的位置。在一些实例中，3D图像信息可包括点云，该点云可包括描述物体3410A/3410B/3410C/3410D/3400和5012或相机视野3200中的一些其他物体的一个或多个外表面上的各种位置的多个3D坐标。

在图3A和图3B的示例中，机器人3300(其可以是机器人1300的实施例)可包括机器人臂3320，其具有附接到机器人基座3310的一端并具有附接到末端执行器装置3330(诸如机器人抓持器)或由末端执行器装置3330形成的另一端。机器人基座3310可用于安装机器人臂3320，而机器人臂3320或更具体地说末端执行器装置3330可用于与机器人3300的环境中的一个或多个物体相互作用。该相互作用(也称为机器人交互)可包括例如抓持或以其他方式拾取物体3410A-3410D和5012中的至少一个。例如，机器人交互可以是识别物体5012、检测物体5012和从容器取回物体5012的物体拾取操作的一部分。末端执行器装置3330可具有吸盘或用于抓握或抓取物体5012的其它组件。末端执行器装置3330可以被配置为使用吸盘或其它抓握组件通过与物体的单个面或表面(例如，经由顶面)的接触来抓握或抓取物体。

机器人3300还可包括被配置为获得用于实现任务的信息的附加传感器，诸如用于操纵结构构件和/或用于运输机器人单元。传感器可以包括被配置为检测或测量机器人3300的一个或多个物理属性(例如，一个或多个结构构件/其关节的状态、状况和/或位置)和/或周围环境的一个或多个物理属性的设备。传感器的一些示例可以包括加速度计、陀螺仪、力传感器、应变计、触觉传感器、扭矩传感器、位置编码器等。

图3C是具有协调传送机构的机器人系统100可在其中操作的示例环境的图示。机器人系统100的特征可以是上面讨论的系统1000、1500A、1500B、1500C和3000的组件的示例。环境可以是具有需要与机器人系统100交互或经由机器人系统100移动的物体的任何位置，例如，仓库、制造工厂、零售空间或其他场所。在实施例中，物体可包括盒、仓、板条箱、或具有或不具有托盘的任何其它容器。或者，物体可包括呈现在盒、箱、板条箱或容器内的单独件，其中每个单独件可以经由机器人系统100(诸如在件拾取操作中)与之相互作用。机器人系统100可以包括被配置为执行一个或多个任务的一个或多个单元(例如，机器人臂或机器人306、运输单元106、传送单位单元104、或传送单位单元104外部的任何其他系统)，和/或与这一个或多个单元进行通信。协调传送机构的方面可以由各种单元实践或实施。图3C仅出于示例目的示出了包括机器人306的一个传送单位单元104和一个运输单元106(表示为叉车)。在实施例中，机器人臂306可以是上面关于图1A-3B讨论的任何机械臂的示例。

对于图3C中示出的示例，机器人系统100在其中操作的示例环境可包括传送单位单元104(例如，机器人单元或封闭环境，该机器人单元或封闭环境可以包括配置用于码垛/卸垛和/或件拾取操作的机器人)、运输单元或车辆106(例如，输送机、自动导引车辆(AGV)、自主移动机器人(AMR)、叉式升降机、货架运输机器人等，用于在环境内移动传送单位单元104)、可由机器人系统100访问并包含至少一个目标物体112的开始/源位置114、用于经由机器人系统100放置该至少一个目标物体112的任务/目的地位置116、或其组合。将在本文中更详细地描述传送单位单元104的细节。机器人系统100中的机器人306中的每一个可被配置为执行一个或多个任务。这些任务可以按顺序组合以执行实现目标的操作，诸如从开始/源位置114装载或卸载物体(诸如卡车、货车或仓库中用于存储的托盘、从输送机系统310在队列中馈送物体、或从存储位置装载或卸载物体并为存储或装运做好准备)。在一些实施例中，任务可以包括通过机器人306将至少一个目标物体112放置在任务/目的地位置116上(例如，在托盘之上、在仓/笼/盒/箱内部和/或在输送机单元上)。机器人系统100可以导出单独的放置位置/取向，计算相应的运动规划，或其组合，用于放置和/或堆叠至少一个目标物体112。单元中的每一个可以被配置为执行一系列动作(例如，操作其中的一个或多个组件)以执行任务。

在一些实施例中，任务可以包括操纵(例如，移动和/或重新定向)至少一个目标物体112(例如，与正在执行的任务对应的包、盒、箱、笼、托盘、或单独物体等中的一个)。例如，任务可以是将至少一个目标物体112从开始/源位置114码垛或卸垛到任务/目的地位置116。在码垛任务的示例中，卸载单元(未示出；例如，拆箱机器人)可以被配置为将至少一个目标物体112从运输工具(例如，卡车)中的位置转移到输送机110上的位置，输送机110可与如本文进一步描述的传送单位单元104集成。另外，传送单位单元104可以被配置为将至少一个目标物体112从一个位置(例如，输送机、托盘、或仓)传送到另一个位置(例如，托盘、仓等)。传送单位单元104可以被配置为将至少一个目标物体112从开始/源位置114传送到任务/目的地位置116。

在一些实施例中，任务可以是对包含至少一个目标物体112的托盘进行卸垛。例如，运输单元或车辆106可以将装载有至少一个目标物体112的托盘运输到传送单位单元104，传送单位单元104可以被配置为将至少一个目标物体112从托盘传送到另一个位置(例如，另一个托盘、仓、输送机等)。在另外的实施例中，任务可包括任何类型的机器人拾取或放置任务。

为了说明的目的，在包装和/或装运中心的上下文中描述机器人系统100；然而，理解的是，机器人系统100可以被配置为在其他环境中执行任务/用于其他目的，诸如用于制造、组装、存储/囤积、保健和/或其他类型的自动化。还理解的是，机器人系统100可以包括未在图3C中示出的其他单元，诸如操纵器、服务机器人、模块化机器人等。例如，在一些实施例中，机器人系统100可以包括用于将物体从笼车或托盘传送到输送机上或其他托盘上的卸垛单元、用于将物体从一个容器转移到另一个容器的容器切换单元、用于包装/装箱物体的包装单元、根据物体的一个或多个特性对物体进行分组的分拣单元、根据物体的一个或多个特性以不同方式操纵(例如，分拣、分组和/或传送)物体的零拣单元、或其组合。

图4是示出根据本技术的一个或多个实施例的可以与传送单位单元104包括在一起的机器人系统100的方面的框图。在一些实施例中，例如，机器人系统100(例如，在上面描述的单元和/或机器人中的一个或多个处)可包括电子/电气设备，诸如一个或多个控制单元/处理器202、一个或多个存储单元204、一个或多个通信单元206、一个或多个系统接口/输入输出设备208、一个或多个致动单元212、一个或多个运输电机214、一个或多个传感器单元/传感器216、或其组合。各种设备可以经由在图4中表示为通信路径218的有线连接和/或无线连接彼此耦合或以其他方式相互通信。例如，机器人系统100可以包括总线，诸如系统总线、外围组件互连(PCI)总线或PCI-Express总线、超传输或工业标准架构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线或电气和电子工程师协会(IEEE)标准1394总线(也称为“火线”)。另外，例如，机器人系统100可以包括桥接器、适配器、处理器或用于提供设备之间的有线连接的其它信号相关设备。无线连接可以基于例如蜂窝通信协议(例如，3G、4G、LTE、5G等)、无线局域网(LAN)协议(例如，无线保真(Wi-Fi))、对等或设备到设备通信协议(例如，蓝牙、近场通信(NFC)等)、物联网(IoT)协议(例如，NB-IoT、LTE-M等)、和/或其他无线通信协议。出于本申请的目的，先前描述的系统1000/1500A/1500B/1500C/1100/1100A/1100B/3000/100(或它们的组件)中的任何一个可以与如本文进一步描述的传送单位单元104集成。

控制单元或处理器202可以包括被配置为执行在存储单元204(例如，计算机存储器)上存储的指令(例如，软件指令)的数据处理器(例如，中央处理单元(CPU)、专用计算机、和/或板载服务器)。控制单元或处理器202可包括用于经由终端用户进行交互的控制接口240。在一些实施例中，控制单元202可以包括在单独的/独立的控制器中，该控制器可操作地耦合到在图4中示出的其他电子/电气设备和/或在图3A-3C中示出的机器人单元。控制单元202可以实现程序指令以控制其他设备/与其他设备进行接口连接，从而使机器人系统100执行动作、任务和/或操作。程序指令还可经由与控制接口240的用户交互来实现。控制单元202可以由本文所讨论的计算系统中的任何一个来实现。

存储单元204可以包括其上存储有程序指令(例如，软件)的非暂时性计算机可读介质。存储单元204的一些示例可以包括易失性存储器(例如，高速缓存和/或随机存取存储器(RAM))和/或非易失性存储器(例如，闪存和/或磁盘驱动器)。存储单元204的其它示例可以包括便携式存储器和/或云存储设备。存储单元204可以由本文所讨论的计算机可读介质中的任一种来实现。

在一些实施例中，存储单元204可以用于进一步存储处理结果和/或预定数据/阈值并提供对处理结果和/或预定数据/阈值的访问。例如，存储单元204可以存储主数据246，主数据246包括可由机器人系统100操纵的物体(例如，盒、箱和/或产品)的描述。在一个或多个实施例中，主数据246可以包括预期由机器人系统100操纵的物体的尺寸、形状(例如，潜在姿势的模板和/或用于识别处于不同姿势的物体的计算机生成的模型)、颜色方案、图像、识别信息(例如，条形码、快速响应(QR)码、徽标等，和/或其预期位置)、预期重量、其他物理/视觉特性或其组合。在一些实施例中，主数据246可以包括关于物体的操纵相关信息，诸如每个物体上的质心(CoM)位置、与一个或多个动作/操纵相对应的预期传感器测量结果(例如，力、扭矩、压力和/或接触测量结果)、或其组合。

通信单元206可以包括被配置为经由网络与外部或远程设备进行通信的电路。例如，通信单元206可以包括接收器、发射器、调制器/解调器(调制解调器)、信号检测器、信号编码器/解码器、连接器端口、网卡等。通信单元206可以被配置为根据一个或多个通信协议(例如，因特网协议(IP)、无线通信协议等)来发送、接收和/或处理电信号。通信单元206还可包括通信接口248，用于经由终端用户与之交互，用于根据所述一个或多个通信协议来发送、接收和/或处理电信号。在一些实施例中，机器人系统100可以使用通信单元206在机器人系统100的单元之间交换信息和/或与机器人系统100外部的系统或设备交换信息(例如，用于报告、数据收集、分析和/或故障排除目的)。

系统接口208可以包括诸如显示接口250之类的用户接口设备，其被配置为向人类操作者传达信息和/或从人类操作者接收信息。例如，系统接口208可以包括显示器210和/或其他输出设备(例如，扬声器、触觉电路、或触觉反馈设备等)，用于向人类操作者传达信息。另外，系统接口208可以包括控制或接收设备，诸如键盘、鼠标、触摸屏、麦克风、用户界面(UI)传感器(例如，用于接收运动命令的相机)、可穿戴输入设备等。在一些实施例中，机器人系统100可以使用系统接口208来在执行动作、任务、操作或其组合时与人类操作者交互。

机器人系统100的机器人或机械臂306(其可以是机器人3300的示例)可包括物理或结构构件(例如，机械操纵臂)，这些物理或结构构件在关节处被连接以用于运动(例如，旋转和/或平移位移)。结构构件和关节可以形成被配置为操纵末端执行器(例如，抓持器)的动力学链，该末端执行器被配置为根据机器人系统100的使用/操作来执行一个或多个任务(例如，抓持、旋转、焊接等)。机器人或机械臂360可包括远端306a，臂的末端是工具或设置在其上的末端执行器装置544。末端执行器装置544可被配置用于与至少一个目标物体112相互作用。机器人系统100可以包括致动单元212(例如，电机、致动器、电线、人造肌肉、电活性聚合物等)，其被配置为在相应的关节附近或在相应的关节处驱动或操纵(例如，移位和/或重新定向)结构构件。在一些实施例中，机器人系统100可以包括被配置为将相应的单元/底盘从一个地方运输到另一个地方的运输电机214。

机器人系统100可以包括传感器单元216，传感器单元216被配置为获取用于实施任务的信息，诸如用于操纵结构构件和/或用于运输机器人单元。传感器单元216可以包括被配置为检测或测量机器人系统100的一个或多个物理性质(例如，一个或多个结构构件/其关节的状态、状况和/或位置)和/或周围环境的一个或多个物理性质的设备。传感器单元216的一些示例可以包括加速度计、陀螺仪、力传感器、应变计、触觉传感器、扭矩传感器、位置编码器等。

在一些实施例中，例如，传感器单元216可以包括一个或多个被配置为检测周围环境的成像设备222(例如，视觉和/或红外相机、2D和/或3D成像相机、诸如激光雷达或雷达的距离测量设备等)。成像设备222可以生成可经由机器/计算机视觉进行处理(例如，用于自动检查、机器人引导或其他机器人应用)的检测到的环境的表示，诸如数字图像和/或点云。如上面更详细描述的，机器人系统100(经由，例如，控制单元202)可以处理数字图像和/或点云以识别图3C的至少一个目标物体112、图3C的开始/源位置114、图3C的任务/目的地位置116、至少一个目标物体112的姿势、关于开始/源位置114和/或姿势的置信度度量、或其组合。

为了操纵至少一个目标物体112，机器人系统100(经由，例如，上面描述的各种电路/设备)可以捕获并分析指定区域(例如，拾取位置，诸如在卡车内部或在传送带上)的图像数据以识别至少一个目标物体112及其开始/源位置114。类似地，机器人系统100可以捕获并分析另一指定区域(例如，用于在输送机上放置物体的放置位置、用于在容器内部放置物体的位置、或用于堆叠目的的托盘上的位置)的图像数据以识别任务/目的地位置116。例如，成像设备222可以包括被配置为生成拾取区域的图像数据的一个或多个相机和/或被配置为生成任务区域(例如，放置区域)的图像数据的一个或多个相机。基于图像数据，如下所述，机器人系统100可以确定开始/源位置114、任务/目的地位置116、相关联的姿势、打包/放置位置、和/或其他处理结果。

在一些实施例中，例如，传感器单元216可以包括位置传感器224(例如，位置编码器、电位计等)，位置传感器224被配置为检测机器人系统100的结构构件(例如，机械臂和/或末端执行器)和/或相应关节的位置。机器人系统100可以使用位置传感器224来在执行任务期间跟踪结构构件和/或关节的位置和/或取向。机器人系统100可以包括传送单位单元104。如下面在图5中示出，传送单位单元104是用于传送物体的机器人单元，其可集成如图4所示的机器人系统100。

图5示出了与本文实施例一致的传送单位单元。在一些实施例中，传送单位单元104可以是用于接收和传送物体的便携式自包含机器人单元。传送单位单元104可以与控制系统308通信，并且可以在被配置为接收并在传送单位单元104内固定开始/源位置114(例如，包含至少一个目标物体112的托盘)的部署配置410和其中传送单位单元104缩回到自身中的缩回配置412(如本文中关于图10B进一步描述的)之间是可转换的。在实施例中，传送单位单元104可以可转换到部分缩回配置412A(如本文中关于图10C进一步描述的)，其中传送单位单元104至少部分地缩回到自身中，如本文中更详细描述的。如在图5-9B中进一步示出，传送单元单位单元104可包括单元底板302、被配置用于接收具有末端执行器装置544的机器人或机械臂306的机械臂底座304、控制系统308、被配置用于接收至少一个目标物体112(或在实施例中提供该至少一个目标物体112)的输送系统310、被配置用于接收包括传感器阵列542的传感器系统312的传感器底座540、以及被安装到传送单位单元104的单元底板302以便于传送单位单元104的运输的单位外壳320，其将在下面详细描述。

单元底板302可以是具有平坦表面的基本上水平(即，在单元底板302的水平轴或顶部平面表面的五度角内)的结构或平台，该平坦表面由以下构成：金属(例如，钢、铝等)或任何其他材料(例如，碳纤维)或足以支撑机器人306、输送系统310、传感器底座540、控制系统308、单位外壳320和任何其他特征并足以在传送单位单元104分别在部署配置410、缩回配置412和运输配置414之间转换期间和在机器人系统100操作期间保持其结构完整性的材料的组合。单元底板302可以形成为任何平行六面体形状，其中顶面302c包括平面表面，该平面表面具有足以包含机械臂底座304、机器人或机械臂306、控制系统308、输送系统310、传感器底座540和/或单位外壳320或在其上安装机械臂底座304、机器人或机械臂306、控制系统308、输送系统310、传感器底座540和/或单位外壳320的区域。

单元底板302的垂直定向的侧面或边缘302a可以包括开口/口袋303，开口/口袋303被配置用于接收叉式升降机或其它运输单元106的尖齿，以使得能够提升和运输传送单位单元104。开口/口袋303可以围绕传送单位单元104的重心定位以在运输/移动传送单位单元104时使稳定性最大化。开口/口袋303可以是设置在单元底板302的边缘302a上的槽，这些槽由足以在叉式升降机的尖齿插入并提升传送单位单元104时保持完整性的任何材料形成。或者，叉式升降机可以通过在单元底板302下方滑动其尖齿来提升和运输传送单位单元104。

如图6所示，在实施例中，单元底板302包括基座延伸部432，基座延伸部432可以是由金属或足以在机器人系统100操作期间促进传送单位单元104平衡的任何其它材料构成的柱。基座延伸部432可以从单元底板302的边缘302a延伸。每个基座延伸部432可以以与单元底板302的附加边缘302a基本平行(即，在5度角内)的方式延伸。在实施例中，基座延伸部432可以基本上彼此平行。基座延伸部432可以在基座延伸部432的每个柱之间限定容器放置区域430，使得基座延伸部432至少部分地限定容器放置区域430的边界，其在实施例中可以用作用于接收和定位物体的容器(诸如托盘、推车、机架或类似物)的开始/源位置114。

基座延伸部432被形成或配置为在传送单位单元104处于部署配置410(也在图10A中例示)时和或在机器人或机器人臂306的操作或运动期间提供稳定性和/或平衡以支撑传送单位单元104。基座延伸部432还可以从单元底板302的边缘302a可拆卸或以其它方式可移动以减小传送单位单元104在处于缩回配置412和/或用于运输和/或存储的运输配置414时的占用空间。例如，基座延伸部432可以以铰链方式连接到单元底板302的边缘302a，并且被配置为朝向单元底板302折叠以减小传送单位单元在处于缩回配置412时的占用空间。或者，基座延伸部432可被配置为要么通过手动相互作用(例如，将基座延伸部432推入单元底板302中)要么通过自动相互作用(例如，电动滑轮系统或轨道系统)缩回到单元底板302中。

单元底板302还可包括由至少一个导轨318限定的有效载荷导向器319，如图5和图8所示。有效载荷导向器319可以与基座延伸部432和/或底板边缘302a可分离或与基座延伸部432和/或底板边缘302a成一体，所以有效载荷导向器319可以由与底板302和/或基座延伸部432相同的材料(即，金属或任何其他足够材料)构成。有效载荷导向器319可被配置为在任何容器和/或物体(诸如托盘、推车、机架或类似物)被移动到容器放置区域430中时对其进行引导、固定和/或居中。有效载荷导向器319可包括两个导轨318，这两个导轨318具有成角度的部分以提供漏斗状区，以协助将有效载荷引导到容器放置区域430中。有效载荷导向器319可具有邻近单元底板302的边缘302a定位的第三导轨318。

在实施例中，单元底板302和/或基座延伸部432包括无锚支撑特征316，无锚支撑特征316可包括从基座延伸部432和/或单元底板302的底表面302b延伸的一个或多个摩擦增加组件。更具体地，无锚支撑特征316可包括橡胶垫/脚、吸盘、磁铁、粘合条或包括粗糙表面的任何其它材料。通过使用无锚支撑特征316，传送单位单元104不需要经由螺栓或锚固机构固定到设施地板。传送单位单元104的无锚点支撑特征316因此可以使能传送单位单元104的立即部署。

单位外壳320(其各方面在图8-9B中示出)可包括由基本上(即，在5度内)垂直地从单元底板302延伸的多个柱320a、320b、320c等构成的包围传送单位单元104的框架。柱320a、320b、320c可以在其顶部部分处通过梁322联接在一起(如图5所示)。在一些实施例中，柱320a、320b、320c等可以与单元底板302成角度地布置。单元外壳320还可包括附接到立柱320a、320b、320c等中的每一个立柱并设置在立柱320a、320b、320c等中的每一个立柱之间的栅栏结构321，使得该栅栏结构321包括可分离的部分，这些可分离的部分可移动以暴露或覆盖传送单位单元的部分，如图9A所示。栅栏结构321可包括可被移动或重新定位以暴露和覆盖传送单位单元104的部分(诸如输送系统310)的部分或面板。根据本文描述的实施例，栅栏结构321可以是网状、塑料、金属丝、链环、或片状面板结构的大小和尺寸以配合在多个立柱320a、320b、320c等之间，这多个立柱被配置为包围机械臂底座304，机器人或机械臂306，和/或位于容器放置区域430、开始/源位置114、或任务/目的地位置116中的至少一个目标物体112。在实施例中，栅栏结构321部分的邻近输送系统310的输送机110的一部分可包括槽或开口，以容纳延伸越过单位外壳320的周界的输送机，如下面进一步讨论的。

如图3C、图5和图8-9B所示，传送单位单元104的输送系统310包括输送机110或动态平台(即，闭环传送系统，诸如连接到两个或更多个滑轮以促进闭环带的移动的闭环传送带)，其可被安装到单元底板302并且被配置为可延伸超过单元底板302的边缘或周界的外部。或者，输送系统310可包括重力馈送平台(即，成角度的/倾斜的平台，其包括低摩擦表面、滚轴或具有径向结构的任何其它类型的旋转/滚动结构)或斜坡。一般而言，输送系统310可以是被配置用于将放置在其上的物体从输送系统310的一端平移到输送系统310的相对端的任何系统。

输送系统310可被配置为将在其上接收到的至少一个目标物体112平移或移动到在传送单位单元104的单位外壳320外部的地点或位置。输送机110或输送系统310的动态平台被配置用于使从机器人或机械臂306接收到的至少一个目标物体112沿其长度(例如，在由两个或更多个滑轮促进的移动方向上)移动。输送系统310还可用作任务/目的地位置116，该任务/目的地位置116被配置用于在采用本文进一步描述的方法或操作的同时由机器人306放置至少一个目标物体112。在实施例中，输送系统310可以代替地被配置为将在其上接收到的至少一个目标物体112平移或移动到在传送单位单元104的单位外壳320内部的地点或位置。输送机110或输送系统310的动态平台被配置用于使从外部源接收到的至少一个目标物体112沿其长度(例如，在由两个或更多个滑轮促进的移动方向上)移动。输送系统还可用作开始/源位置114，该开始/源位置114被配置用于在采用本文进一步描述的方法或操作的同时将至少一个目标物体112提供给机器人系统100以经由机器人306与之相互作用。

例如在图5-6中示出的机械臂底座304可以是凳子状或盒形结构、框架或是具有从单元底板302的顶表面302c延伸的基本上(即，在顶表面302c的平面的五度角内)平坦表面的升高平台，并且可以由足以支撑机器人或机械臂306的重量的任何材料(诸如钢或其他结构金属)构成。机械臂底座304的表面可以基本上平行于底板的顶表面302c的平面表面。机械臂底座304可以在单元底板302的顶表面302c上沿着一边或偏离中心定位，以容纳机械臂306的运动的间隙。机械臂底座304可被定位成允许机器人或机械臂306在由传送单位单元104的内容积(即，单元底板302外加基座延伸部432的长度、单元底板302沿底板边缘302a的宽度和单位外壳320的高度的乘积)限定的操作区域内无阻碍地移动。机器人或机器人臂306本身可以平移到从机器人基座到机器人远端306a的其由机器人或机器人臂306的延伸长度的半径限定的全延伸长度。机器人或机器人臂306因此可以能够在期望机器人306与传送单位单元104外部的物体相互作用的场景中延伸到由传送单位单元104的体积限定的操作区域之外。在实施例中，机械臂底座304可以与单元底板302成一体(即，与其模制在一起、焊接到其上或以其它方式形成在其上)。或者，机械臂底座304可以经由工业粘合剂、螺栓、螺钉、铆钉等固定到单元底板302。在实施例中，机器人或机器人臂306可以与传送单位单元104一起供应，或者可以替代地由终端用户供应。因此，机械臂底座304可被配置作为用于机器人或机器人臂306或者用于传感器系统312的通用底座，如下面进一步描述的。

机械臂306可包括具有附属物的末端执行器装置544，这些附属物被配置用于抓取、抓握、拾取或以其他方式与至少一个目标物体112相互作用，末端执行器装置544被布置在机器人或机械臂306的远端。末端执行器装置544可以是配置用于操纵物体的工具。例如，末端执行器装置544可以是任何形式的抓持器，诸如基于手或爪的抓持器或基于真空或抽吸的抓持器。图7和图8将末端执行器装置544图示为具有单个抓持表面，但理解的是，末端执行器装置544可以具有多于一个抓持表面，诸如具有配置用于从顶表面和垂直表面(即，侧表面)抓持物体的L形配置。

传送单位单元104还包括传感器系统312。图7示出了传感器系统312的示例，传感器系统312可以是各种传感器硬件、软件以及配置为生成图像信息和/或将数据传达给如先前关于图4描述的机器人系统100的相应组件的组合。传感器系统312可包括附接到传感器底座540的传感器阵列542。传感器阵列542可以是传感器和/或被配置用于检测物体的外围设备的任意组合，诸如二维相机、三维相机、扫描仪、照明阵列或类似物。传感器底座540可以是实心柱或结构，或者是一对实心柱或结构，包括附接结构以将传感器阵列542固定到其上，并且还可以可附接到单元底板302或者可附接到单位外壳320。传感器底座540还可以是可调节的，即沿其垂直轴可转移的，以增加或减少高度。例如，传感器底座540可以缩回以将其高度降低到单位外壳320的顶部(即单位外壳320的垂直轴顶点)的高度以下，以在处于缩回配置412或运输配置414时促进传送单位单元104的运输。相应地，传感器底座540可被延伸以将其高度增加到允许传感器阵列542的期望传感器视野的位置。可选地，传感器底座540可包括机构或被结构化以便调整传感器阵列542的水平位置(即，沿其水平轴)。如图5和图7所示，传送单位单元104被示出包括定位在容器放置区域430或开始/源位置114(或在实施例中，任务/目的地位置116)上方的传感器系统312；然而理解的是，要么作为替代布置要么以组合方式，传送单位单元104可以包括定位在输送系统310上方的传感器系统312(其在实施例中可以同时用作开始/源位置114或任务/目的地位置116)。在实施例中，传感器系统312可以与传送单位单元104一起供应，或者可以替代地由终端用户供应。因此，传感器底座540可被配置作为用于机器人或机器人臂306或者用于传感器系统312的通用底座。

在一些实施例中，控制系统308可包括上面在图4中描述的系统和元件(或本文描述的任何其他计算系统)，用于控制传送单位单元104内的组件和系统，诸如输送系统310、传感器系统312(其可包括传感单元216和相对组件，即成像设备222、系统传感器224和接触传感器226，如本文中先前关于在图4中例示的机器人系统100描述的)和机器人306，以及与传送单位单元外部的系统的通信，传送单位单元外部的系统诸如是被配置用于与图3C的运输单元或车辆106进行协调的仓库管理系统(未示出)，以及被配置为在环境内提供或移动物体以经由机器人系统100(未示出)与之相互作用的任何其他单元。控制系统308可为传送单位单元104提供智能，包括根据经由传感器系统312接收到的传感器信息生成检测结果和/或用于抓握、运输和放置至少一个目标物体112的运动规划。控制系统308可包括物理和电气控制系统，诸如用于传送单位单元104中的组件的电源和电路、空气/气体/真空/气动系统以及使能自给自足操作的其它系统。例如，控制系统308可包括空气源(例如空气压缩机和真空鼓风机)、无线网络连接和支持、和/或控制逻辑和组件集成。将物理和电气控制系统集成到控制系统308中提供了消除对部署设施的依赖的益处。

图9A和图9B示出了部署配置或部署配置410下的传送单位单元104的操作期间的视图，其中传送单位单元104(其可并入如图4例示的机器人系统100的特征)能够与物体相互作用并将物体从开始/源位置114(例如，根据实施例的容器放置区域430或输送系统310的输送机110)传送到任务/目的地位置116(例如，根据实施例的容器放置区域430或输送系统310的输送机110中的另一者)。当在部署配置410下时，传送单位单元104可以经由如本文先前描述的无锚支撑特征316而被固定就位。例如，图9A和图9B描绘了位于容器放置区域430(作为开始/源位置114)处的托盘，其上堆叠有物体。在托盘位于开始/源位置114的卸垛操作中，机器人或机械臂306可以将至少一个目标物体112从托盘或容器放置区域430传送到输送系统310的输送机110(即，任务/目的地位置116)。或者，在码垛操作中，机器人或机械臂306可以将至少一个目标物体112从输送机110或输送系统310(即，开始/源位置114)传送到位于容器放置区域430或位于任务/目的地位置116的托盘。

图10A示出了如本文先前描述的部署配置410下的传送单位单元104的另一示例，而图10B是缩回配置412下的传送单位单元104的一个示例。在缩回配置412中，传送单位单元104的元件和结构可以缩回到传送单位单元104中并且/或者传送单位单元104可以缩回到自身中。“缩回到传送单位单元中”或“缩回到自身中”可指传送单位单元104被配置成使得没有元件或特征延伸高于单位外壳320的柱320a、320b、320c并且使得传送单位单元104的总体占用空间减小到如由单元底板302的顶表面302c的面积限定的单元底板302的占用空间的20％以内、10％以内、5％以内、或2％以内。为了完成缩回，基座延伸部432可被缩回，以使得传送单位单元104的总体占用空间减小到如由单元底板302的顶表面302c的面积限定的单元底板302的占用空间的10％以内、5％以内或2％以内。基座延伸部432朝向单元底板302的边缘302a折叠或以其它方式缩回或被从单元底板302完全移除以减小传送单位单元104的占用空间。另外，在缩回配置412中，输送系统310缩回到单位外壳320中，传感器系统312经由传感器底座540缩回到在单位外壳320顶部以下的位置(即，在其峰值垂直轴以下，如本文先前描述的)，并且机器人306被定位成使得其不延伸到单位外壳320上方。在缩回配置412中，梁322可被移除、部分移除或重新对齐以允许基座延伸部432的缩回。

在实施例中，虽然在缩回配置412中，传送单位单元104还可以经由运输单元106与之交互，以将传送单位单元104配置为运输配置414，该运输配置414允许环境周围的传送单位单元104到另一位置的可携带性和快速部署和集成，在该另一位置处，传送单位单元104可被重新配置为部署配置410和/或重新配置到存储空间中，如本文先前描述并且关于图11A和图11B进一步描述的。

在实施例中，传送单位单元104可以处于如图10C所示的部分缩回配置412A，其中输送系统310缩回到单位外壳320中并被其覆盖，但是传感器系统312仍延伸超过单位外壳320的顶部，并且基座延伸部432仍附接到单元底板302或从单元底板302延伸。在实施例中，部分缩回配置412A可包括以任何附加组合(未示出)的传送单位单元104的仅一些组件的部分缩回，使得少于所有的输送系统310、传感器系统312和基座延伸部432缩回到单位外壳320中或被从单位外壳320移除。图10C所示的部分缩回配置412A因此意味着仅仅是传送单位单元104部分缩回到自身中的一个可能场景的示例，并且不意味着被解释为部分缩回配置412A的唯一实施例。部分缩回配置412A在如下场景下可能是有用的：其中传送单位单元104需要在环境内从一个位置快速运输到另一个位置，并且期望从不缩回所有输送系统310、传感器系统312和基座延伸部432节省的时间。

图11A和图11B示出了运输配置414下的传送单位单元104，其中传送单位单元104被装载到运输单元106(在图11A和图11B中例示为叉式升降机)上。运输配置414可指传送单位单元104处于缩回配置412或部分缩回配置412A并被装载到运输单元106上以进行传送。可以在传送单位单元104至少部分地缩回到自身中并且正被运输单元106相互作用(例如，叉式升降机具有其在单元底板302的开口303中的尖齿，并且已经将传送单位单元104抬离地面以将其围绕环境移动)时实现运输配置414。尽管当传送单位单元104处于如上所述并在图10B中例示的完全缩回配置412时可能发生传送单位单元104的运输的最佳安全性和稳定性，但在一些实施例中，例如，在输送系统310未缩回到单位外壳320中或被其覆盖的情况下，在传感器系统312未缩回到单位外壳320的顶部以下的位置(即，在其峰值垂直轴以下)，并且/或者在基座延伸部未被折叠或被从单元底板302移除的情况下，可以在部分缩回配置412A(如在图10C中例示)下传送或移动传送单位单元104。在图11A和图11B所示的示例中，传送单位单元104处于运输配置414，而传送单位单元处于如图10C所示的部分缩回配置412A，因为传感器系统312和基座延伸部432没有完全缩回到传送单位单元104中。

图11A和图11B进一步描绘了可以在运输配置414中围绕环境运输传送单位单元104的多种方式。例如，图11A示出了由在单元底板302外部的运输单元106(在本示例中为叉式升降机)通过将叉式升降机的尖齿插入位于单元底板302的边缘上的开口303(如关于图6示出和描述的)中来拾取传送单位单元104。或者，图11B示出了由在单元底板302内部的运输单元106(在本示例中为叉式升降机)主要通过将叉式升降机的尖齿插入位于基座延伸部432之间的开口303(在容器放置区域430内，如关于图6示出和描述的)中来拾取传送单位单元104。其它的运输配置414仍然是可能的，尽管不一定在图内描绘，因为运输单元106可以在底板302的任何可用侧上经由底板302拾取和移动传送单位单元104。在更进一步的实施例中，运输单元106可包括被配置为移动传送单位单元104的AGV或AMR。

图12提供了一个流程图，该流程图示出了用于快速部署和集成机器人系统100的方法2000和操作2010/2020/2030/2040/2050的总体流程。快速部署和集成机器人系统的方法2000可包括本文描述的子方法和操作的特征的任意组合。该方法可包括部署操作2010、感测操作2020、轨迹生成操作2030、轨迹执行操作2040和缩回操作2050中的任一者或全部。部署操作2010可以是方法2000中的第一步骤。感测操作2020、轨迹生成操作2030和轨迹执行操作2040可提供进一步的步骤并且在方法2000期间被执行多次。缩回操作2050可以是方法2000中在感测操作2020、轨迹生成操作2030和轨迹执行操作2040完成之后的最后步骤。感测操作2020、轨迹生成操作2030和轨迹执行操作2040中的每一个都可以在用于从开始/源位置114检测、识别、取得和运输至少一个目标物体112的机器人操作的上下文中执行。在实施例中，方法2000可包括在下面更详细描述的操作2010/2020/2030/2040/2050中的任一者期间与传送单位单元104外部的系统(例如诸如仓库管理系统)进行通信。

在部署操作2010中，方法2000可以首先包括用于在环境内定位传送单位单元104的寻找/定位步骤2011，以便发起装载步骤2012，以及使具有单元底板302的传送单位单元104进入部署配置410的部署/固定步骤2014，其中，当在部署配置410下时，传送单位单元104和/或机器人系统100被配置为接收和固定包含多个物体的托盘。

定位或寻找传送单位单元104可包括确定传送单位单元104在环境内的位置，诸如仓库。传送单位单元104可以通过远程跟踪或识别过程(诸如GPS)进行定位，例如经由通信单元206传送到机器人系统100。定位传送单位单元104还可包括在识别出传送单位单元104在环境内的位置之后自动控制或手动驱动运输单元106到传送单位单元104的已知位置。装载步骤2012可包括将传送单位单元104装载到运输车辆或运输单元106上，以便在运输配置414下运输到期望位置(即，开始/源位置114)。

在实施例中，将传送单位单元104装载到运输单元106上进入运输配置414可包括经由在单元底板302的开口/口袋中接收的叉式升降机的尖齿来接收或提升单元底板302，如本文先前描述的。或者，将传送单位单元104装载到运输单元106上可包括在输送机、自动导引车辆(AGV)、自主移动机器人(AMR)或能够将传送单位单元104围绕环境移动到开始/源位置114的任何其他类型的动态结构上接收传送单位单元104。

部署操作2010的部署/固定步骤2014可包括将传送单位单元104定位、降低和/或固定到部署配置410中的期望位置，使得传送单位单元104被稳定以在机器人系统100操作期间支撑传送单位单元104。在实施例中，在部署配置410下固定传送单位单元104可包括使用如本文先前描述的无锚支撑特征316来固定或稳定传送单位单元104。如上面所讨论的，无锚支撑特征316可具有摩擦诱导性质，其防止传送单位单元104在操作期间的滑动、移位或一般位移。

在感测操作2020中，方法2000可包括经由如本文先前关于图2D-3C描述的传感器系统312来感测或检测在托盘或开始/源位置114上包含的多个物体当中的至少一个目标物体112。在实施例中，感测操作2020可包括目标识别步骤2022，其可包括识别开始/源位置114(诸如托盘、输送机、仓库地板上的指定区域等)内的至少一个目标物体112。目标识别步骤2022可以利用本文先前关于系统1000/1500A/1500B/1500C/1100/1100A/1100B/3000/100描述的获取图像信息过程的任何实施例。在感测操作2020的实施例中，感测开始/源位置114内的至少一个目标物体112可包括如本文先前描述的具有附接到传送单位单元104的传感器底座540的传感器阵列542的传感器系统312。传感器底座540可具有用于检测至少一个目标物体112的传感器和/或外围设备的任意组合，诸如安装在其上的二维相机、三维相机、扫描仪、照明阵列或类似物。传感器底座540还可以沿其垂直轴调整到用于最佳感测开始/源位置114内的至少一个目标物体112的位置，如本文先前描述的。

在轨迹生成操作2030中，方法2000可包括计算机器人臂或机器人306和/或末端执行器装置544的规划轨迹。计算规划轨迹可包括确定机器人臂或机器人306和/或末端执行器装置544朝向开始/源位置114和/或至少一个目标物体112的轨迹路径。例如，机器人系统100可将开始/源位置114标识为容器放置区域314，其可包括包含至少一个目标物体112的托盘，或至少一个目标物体112的堆叠或堆。在实施例中，开始/源位置114可被机器人系统100识别为输送系统310。例如，机器人系统100可将开始/源位置114识别为输送系统310的输送机110，其可以在输送机沿其长度在朝向传送单位单元104或在传送单位单元104内的方向上移动至少一个目标物体112时，在队列中呈现至少一个目标物体112。在计算规划轨迹时，一旦机器人臂或机器人306和/或末端执行器装置544在开始/源位置114附近，机器人系统100还可以计算末端执行器装置544朝向至少一个目标物体112的轨迹。机器人系统100还可以计算末端执行器装置544朝向由机器人系统100识别的至少一个目标物体112的接近轨迹以用于相互作用。计算接近轨迹还可包括计算末端执行器装置544的抓持以用于拾取、抓握或以其他方式与至少一个目标物体112相互作用。

在实施例中，轨迹生成操作2030可包括一旦至少一个目标物体112被拾取、抓握或以其他方式经由末端执行器装置544相互作用就计算机器人臂或机器人306和/或末端执行器装置544从开始/源位置114到任务/目的地位置116的返回轨迹。例如，计算机器人臂或机器人306和/或末端执行器装置544的返回轨迹可包括确定从作为开始/源位置114的容器放置区域430朝向作为任务/目的地位置116的输送系统310的轨迹。计算出的返回轨迹可包括邻近输送系统310的输送机110结束的轨迹路径。计算返回轨迹还可包括确定避免与传送单位单元104的其它组件(诸如单位外壳320、传感器系统312、输送系统310、单元底板302和/或如本文描述的任何其他相关组件)碰撞的机器人臂或机器人306的轨迹。换句话说，计算返回轨迹可包括确定由传送单位单元104的内容积(即，单元底板302外加基座延伸部432的长度、单元底板302沿底板边缘302a的宽度和单位外壳320的高度的乘积)限定的操作区域内的轨迹。计算出的返回轨迹还可包括一旦机器人臂或机器人306和/或末端执行器装置544邻近输送机110就经由末端执行器装置544释放至少一个目标物体112。在实施例中，计算机器人臂或机器人306和/或末端执行器装置544的返回轨迹可包括确定从作为开始/源位置114的输送系统310朝向作为任务/目的地位置116的容器放置区域430的轨迹。计算出的返回轨迹可包括邻近容器放置区域430或设置在容器放置区域430内的托盘结束的轨迹路径。计算出的返回轨迹还可包括一旦机器人臂或机器人306和/或末端执行器装置544邻近容器放置区域430就经由末端执行器装置544释放至少一个目标物体112。在仍然其它实施例中，轨迹生成操作2030可包括计算机器人臂或机器人306和/或末端执行器装置544朝向开始/源位置114的规划轨迹、一旦机器人臂或机器人306和/或末端执行器装置544在开始/源位置114附近就计算末端执行器装置544朝向至少一个目标物体112的接近轨迹、计算机器人臂或机器人306和/或末端执行器装置544朝向任务/目的地位置116的返回轨迹，并且一旦持有至少一个目标物体112的末端执行器装置544在任务/目的地位置116附近或邻近任务/目的地位置116就计算至少一个目标物体112的释放。

在轨迹执行操作2040中，方法2000可包括控制传送单位单元104的机器人臂或机器人306和/或末端执行器装置544朝向开始/源位置114，以与从包含在开始/源位置114上的多个物体当中感测到的至少一个目标物体112相互作用，如在轨迹生成操作2030期间确定的。方法2000可包括控制传送单位单元104内的机器人臂或机器人306和/或末端执行器装置544朝向作为开始/源位置114的容器放置区域314，其可包括包含至少一个目标物体112的托盘。在实施例中，该方法可包括控制传送单位单元104内的机器人臂或机器人306和/或末端执行器装置544朝向作为包含至少一个目标物体112的开始/源位置114的输送系统310。轨迹执行操作2040还可包括控制开始/源位置114内的末端执行器装置544拾取、抓握由机器人系统100识别出的至少一个目标物体112或以其他方式与该至少一个目标物体112相互作用，以传送到源/目的地位置116。轨迹执行操作2040还可包括传送步骤2042，用于将至少一个目标物体112经由机器人臂或机器人306和/或末端执行器装置544从开始/源位置114传送到源/目的地位置116，如由轨迹生成操作2030确定的。例如，机器人臂或机器人306和/或末端执行器装置544可将至少一个目标物体112从容器放置区域314、或从容器放置区域314内的包含至少一个目标物体112的托盘传送到传送单位单元104的输送系统310。

在缩回操作2050中，方法2000可包括将传送单位单元104缩回成其中传送单位单元104缩回到自身中的缩回配置412，如本文先前描述的。将传送单位单元104缩回成缩回配置412可包括将输送系统310、单元底板302和/或传感器底座540缩回到传送单位单元104中，如本文先前描述的。当在缩回配置412中时，传送单位单元104还可被配置成运输配置414，运输配置414允许传送单位单元104的可携带性和快速部署和集成。在缩回配置412中，输送系统310缩回到单位外壳320中并被其覆盖，传感器系统312缩回到在单位外壳320顶部以下的位置(即，在其峰值垂直轴以下，如本文先前描述的)，并且/或者基座延伸部432折叠到单元底板302的边缘302a中或被从单元底板302完全移除。缩回操作2050还可包括装载步骤2052，装载步骤2052包括将传送单位单元104从缩回配置412转换为运输配置414，在运输配置414中，缩回的传送单位单元104如本文先前所述与运输单元106相互作用或被装载到运输单元106上，以在环境内移动传送单位单元。更具体地，运输单元106可将传送单位单元104移动到另一容器放置区域314以用于进一步执行本文描述的方法2000。或者，一旦本文描述的方法2000的所有操作完成，或者在环境内没有另外的物体用于经由机器人系统100与之相互作用，运输单元106可将传送单位单元104移动到存储区或存储位置。

一般而言，本文描述的方法2000可用于机器人系统的快速部署和集成，以用于将目标物体(例如，与正在执行的任务相对应的包、盒、箱、笼、托盘等中的一个)从开始/源位置操纵(例如，移动和/或重新定向)到任务/目的地位置。例如，运输单元(例如，叉式升降机)可被配置为将包括机器人系统的传送单位单元从一个位置运输到开始/源位置(例如，在仓库中)。然后可以将传送单位单元扩展成被配置用于与开始/源位置中的目标物体进行机器人系统交互的部署配置。机器人系统可被配置为将目标物体从开始/源位置(例如，输送机、托盘、容器放置区域、或仓)传送到任务/目的地位置(例如，输送机、托盘、容器放置区域、或仓等)。在完成操作时，传送单位单元可缩回到缩回或压实位置，以准备好经由运输单元进一步运输到另一开始/源位置，或运输到存储位置。上面描述了关于任务和关联动作的详情。

以上对所公开技术的示例的具体实施方式并不旨在穷举或将所公开技术限制为上面公开的精确形式。虽然上面为了说明目的描述了所公开技术的具体示例，但是在所公开技术的范围内各种等效修改是可能的，如相关领域技术人员将认识到的。例如，虽然过程或块以给定的顺序呈现，但是替代实现可以以不同的顺序执行具有步骤的例程，或者采用具有块的系统，并且一些过程或块可被删除、移动、添加、细分、组合和/或修改以提供替代或子组合。这些过程或块中的每一个可以以各种不同的方式实现。另外，虽然过程或块有时被示出为串联地执行，但是这些过程或块可以代替地并行地执行或实施，或者可以在不同的时间执行。另外，本文提到的任何具体数字仅是示例；替代实现可以采用不同的值或范围。

可以鉴于以上具体实施方式对所公开的技术进行这些和其它改变。虽然具体实施方式描述了所公开的技术的某些示例以及所设想的最佳模式，但所公开的技术可以以许多方式实践，无论以上描述在文本中多么详细地出现。系统的细节在其具体实现中可有相当大的变化，同时仍被本文公开的技术所涵盖。如上所述，在描述所公开技术的某些特征或方面时使用的特定术语不应被视为暗示该术语在本文中被重新定义为仅限于与该术语相关联的所公开技术的任何特定特性、特征或方面。因此，本发明不受限制，除非由所附权利要求限制。一般而言，以下权利要求中使用的术语不应被解释为将所公开的技术限制于说明书中公开的具体示例，除非以上具体实施方式部分明确地定义了这样的术语。

对于相关领域的普通技术人员将显而易见的是，可以对本文描述的方法和应用进行其他合适的修改和适应而不背离任何实施例的范围。上面描述的实施例是说明性的示例，并且不应解释为本公开限于这些特定的实施例。应当理解，本文公开的各种实施例可以以与描述和附图中具体呈现的组合不同的组合进行组合。还应理解的是，取决于示例，本文描述的任何过程或方法的某些行为或事件可以以不同的顺序执行，可以被添加、合并或完全排除(例如，所有所描述的行为或事件可能不是执行方法或过程所必需的)。此外，尽管出于清楚的目的，本文实施例的某些特征被描述为由单个组件、模块或单元执行，但应当理解，本文描述的特征和功能可以由组件、单元或模块的任意组合执行。因此，各种变化和修改可以受到本领域技术人员的影响，而不背离如在所附权利要求中限定的本发明的精神或范围。

另外的实施例包括：

实施例1.一种机器人系统，包括：控制系统；用于传送物体的传送单位单元，该传送单位单元与控制系统通信，并且在被配置为接收该传送单位单元内的托盘的部署配置和其中该传送单位单元缩回到自身中的缩回配置之间是可转换的，该传送单位单元还包括：单元底板；该单元底板上的机械臂底座，用于附接机械臂；邻近该机械臂底座的输送系统，用于接收目标物体；传感器底座，其被附接到单元底板，用于包括传感器阵列的传感器系统；以及单位外壳，其被安装到传送单位单元的单元底板，以促进传送单位单元的运输、以及传送单位单元在部署配置和缩回配置之间的转换。

实施例2.实施例1的机器人系统，其中，传送单位单元的缩回配置包括输送系统、单元底板和传感器底座缩回到传送单位单元中。

实施例3.实施例1的机器人系统，其中，单元底板包括基座延伸部，这些基座延伸部从单元底板的边缘延伸并在基座延伸部之间形成容器放置区域，这些基座延伸部被形成为提供稳定性和/或平衡，以在处于部署配置时支撑传送单位单元。

实施例4.实施例3的机器人系统，其中，基座延伸部从单元底板的边缘可拆卸，以减少传送单位单元在处于缩回配置时的占用空间。

实施例5.实施例3的机器人系统，其中，基座延伸部以铰链方式连接到单元底板的边缘，以允许基座延伸部朝向单元底板折叠，以减少传送单位单元在处于缩回配置时的占用空间。

实施例6.实施例1的机器人系统，其中，单元底板包括无锚支撑特征，这些无锚支撑特征包括从单元底板的底面延伸的一个或多个摩擦增加组件。

实施例7.实施例1的机器人系统，其中，机械臂还包括远端，该远端带有设置在其上的末端执行器装置，该末端执行器装置被配置用于与目标物体相互作用。

实施例8.实施例1的机器人系统，其中，输送系统被安装到单元底板并且可延伸超过单元底板的边缘，输送系统还包括用于移动从机械臂接收到的目标物体的动态平台。

实施例9.实施例1的机器人系统，其中，单位外壳还包括：围绕传送单位单元的框架，该框架包括从单元底板基本上垂直延伸的立柱，以及栅栏，其被附接到每个立柱并在每个立柱之间，使得该栅栏包括可分离部分，这些可分离部分可移动以暴露或覆盖传送单位单元的部分。

实施例10.一种用于部署机器人系统的传送单位单元，该传送单位单元包括：用于传送物体的单元底板，该传送单位单元在被配置为接收和固定托盘的部署配置和其中传送单位单元缩回到自身中的缩回配置之间是可转换的；机械臂底座，用于接收机械臂；输送系统，用于接收目标物体；传感器底座，用于接收包括传感器阵列的传感器系统；以及单位外壳，其被安装到单元底板，以促进传送单位单元的运输、以及传送单位单元在部署配置和缩回配置之间的转换。

实施例11.实施例10的传送单位单元，其中，单元底板还包括基座延伸部，这些基座延伸部从单元底板的边缘延伸并在基座延伸部之间形成容器放置区域，这些基座延伸部被配置为提供稳定性和/或平衡以在处于部署配置时在机械臂的操作和运动期间支撑传送单位单元。

实施例12.实施例11的传送单位单元，其中，基座延伸部从单元底板的边缘可拆卸，以减少传送单位单元在处于缩回配置时的占用空间。

实施例13.实施例11的传送单位单元，其中，基座延伸部以铰链方式连接到单元底板的边缘，以允许基座延伸部朝向单元底板折叠，以减少传送单位单元在处于缩回配置时的占用空间。

实施例14.实施例10的传送单位单元，其中，单元底板还提供无锚支撑特征，这些无锚支撑特征包括从单元底板的底面延伸的一个或多个摩擦增加组件。

实施例15.实施例10的传送单位单元，其中，输送系统被安装到单元底板并且可延伸超过单元底板的边缘，输送系统还包括用于移动从机械臂接收到的目标物体的动态平台。

实施例16.实施例10的传送单位单元，其中，传感器阵列包括二维相机、三维相机、扫描仪和/或照明阵列的任意组合。

实施例17.实施例10的传送单位单元，其中，单位外壳包括围绕传送单位单元的框架，该框架包括从单元底板基本上垂直延伸的立柱，并且单位外壳还包括栅栏，该栅栏被附接到每个立柱并在每个立柱之间，使得该栅栏包括可分离部分，这些可分离部分可移动以暴露或覆盖传送单位单元的部分。

实施例18.一种用于机器人系统的快速部署和集成的方法，包括：定位具有单元底板的传送单位单元并将其部署为被配置为接收和固定包含多个物体的托盘的部署配置；固定处于部署配置的传送单位单元以使得传送单位单元被稳定，以支撑传送单位单元；经由传感器系统来感测包含在托盘上的多个物体，该传感器系统包括被附接到传送单位单元的传感器底座的传感器阵列；控制传送单位单元的机械臂与从包含在托盘上的多个物体中感测到的目标物体相互作用；以及将目标物体从托盘传送到传送单位单元的输送系统。

实施例19.实施例18的方法，还包括：在运输配置下将具有单元底板的传送单位单元装载到运输车辆上；以及将传送单位单元部署为部署配置。

实施例20.实施例18的方法，还包括：将传送单位单元缩回成其中传送单位单元缩回到自身中的缩回配置；将传送单位单元从缩回配置转换成运输配置；以及经由运输车辆移动传送单位单元。

实施例21.实施例18的方法，还包括控制传送单位单元的机械臂，并与传送单位单元外部的系统通信。

Claims (20)

1.一种机器人系统，包括：

控制系统；

传送单位单元，其用于传送物体，该传送单位单元与所述控制系统通信，并且在被配置为接收该传送单位单元内的托盘的部署配置和其中该传送单位单元缩回到自身中的缩回配置之间是可转换的，该传送单位单元还包括：

单元底板；

机械臂底座，其定位在所述单元底板上，用于附接机械臂；

输送系统，其定位在所述单元底板上并邻近所述机械臂底座，用于接收目标物体；

传感器底座，其被附接到所述单元底板，用于包括传感器阵列的传感器系统；以及

单位外壳，其被安装到所述传送单位单元的单元底板，以促进所述传送单位单元的运输、以及所述传送单位单元在所述部署配置和所述缩回配置之间的转换。

2.如权利要求1所述的机器人系统，其中，所述传送单位单元的缩回配置包括所述输送系统、所述单元底板和所述传感器底座缩回到所述传送单位单元中。

3.如权利要求1所述的机器人系统，其中，所述单元底板包括从所述单元底板的边缘延伸的基座延伸部，并在基座延伸部之间形成容器放置区域，所述基座延伸部被形成为提供稳定性和/或平衡，以在所述部署配置时支撑所述传送单位单元。

4.如权利要求3所述的机器人系统，其中，所述基座延伸部从所述单元底板的边缘可拆卸，以减少所述传送单位单元在所述缩回配置时的占用空间。

5.如权利要求3所述的机器人系统，其中，所述基座延伸部以铰链方式连接到所述单元底板的边缘，以允许所述基座延伸部朝向所述单元底板折叠，以减少所述传送单位单元在缩回配置时的占用空间。

6.如权利要求1所述的机器人系统，其中，所述单元底板包括无锚支撑特征，所述无锚支撑特征包括从所述单元底板的底面延伸的一个或多个摩擦增加组件。

7.如权利要求1所述的机器人系统，其中，所述机械臂还包括远端，该远端带有设置在其上的末端执行器装置，该末端执行器装置被配置用于与目标物体相互作用。

8.如权利要求1所述的机器人系统，其中，所述输送系统被安装到所述单元底板并且可延伸超过所述单元底板的边缘，所述输送系统还包括用于移动从所述机械臂接收到的目标物体的动态平台。

9.如权利要求1所述的机器人系统，其中，所述单位外壳还包括：

围绕所述传送单位单元的框架，该框架包括从所述单元底板基本上垂直延伸的立柱，以及

栅栏，其被附接到每个立柱并在每个立柱之间，使得该栅栏包括可分离部分，这些可分离部分可移动以暴露或覆盖所述传送单位单元的部分。

10.一种用于部署机器人系统的传送单位单元，该传送单位单元包括：

单元底板，其用于传送物体，所述传送单位单元在被配置为接收和固定托盘的部署配置和其中所述传送单位单元缩回到自身中的缩回配置之间是可转换的；

机械臂底座，其定位在所述单元底板上，用于附接机械臂；

输送系统，其定位在所述单元底板上并邻近所述机械臂底座，用于接收目标物体；

传感器底座，其被附接到所述单元底板，用于接收包括传感器阵列的传感器系统；以及

单位外壳，其被安装到所述单元底板，以促进所述传送单位单元的运输、以及所述传送单位单元在所述部署配置和所述缩回配置之间的转换。

11.如权利要求10所述的传送单位单元，其中，所述单元底板还包括从所述单元底板的边缘延伸的基座延伸部，并在基座延伸部之间形成容器放置区域，所述基座延伸部被配置为提供稳定性和/或平衡，以在所述部署配置时在所述机械臂的操作和运动期间支撑所述传送单位单元。

12.如权利要求11所述的传送单位单元，其中，所述基座延伸部从所述单元底板的边缘可拆卸，以减少所述传送单位单元在所述缩回配置时的占用空间。

13.如权利要求11所述的传送单位单元，其中，所述基座延伸部以铰链方式连接到所述单元底板的边缘，以允许所述基座延伸部朝向所述单元底板折叠，以减少所述传送单位单元在缩回配置时的占用空间。

14.如权利要求10所述的传送单位单元，其中，所述单元底板还提供无锚支撑特征，所述无锚支撑特征包括从所述单元底板的底面延伸的一个或多个摩擦增加组件。

15.如权利要求10所述的传送单位单元，其中，所述输送系统被安装到所述单元底板并且可延伸超过所述单元底板的边缘，所述输送系统还包括用于移动从所述机械臂接收到的目标物体的动态平台。

16.如权利要求10所述的传送单位单元，其中，所述传感器阵列包括二维相机、三维相机、扫描仪和/或照明阵列的任意组合。

17.如权利要求10所述的传送单位单元，其中，所述单位外壳包括围绕所述传送单位单元的框架，该框架包括从所述单元底板基本上垂直延伸的立柱，并且所述单位外壳还包括栅栏，该栅栏被附接到每个立柱并在每个立柱之间，使得该栅栏包括可分离部分，这些可分离部分可移动以暴露或覆盖所述传送单位单元的部分。

18.一种用于机器人系统的快速部署和集成的方法，包括：

将具有单元底板的传送单位单元部署为被配置为接收和固定包含多个物体的托盘的部署配置；

固定所述部署配置下的所述传送单位单元以使得所述传送单位单元被稳定，以支撑所述传送单位单元；

经由包括被附接到所述传送单位单元的传感器底座的传感器阵列的传感器系统来感测包含在所述托盘上的多个物体；

控制所述传送单位单元的机械臂与从包含在所述托盘上的多个物体中感测到的目标物体相互作用；以及

将所述目标物体从所述托盘传送到所述传送单位单元的输送系统。

19.如权利要求18所述的方法，还包括：

在运输配置下将具有单元底板的传送单位单元装载到运输车辆上；以及

将所述传送单位单元部署为所述部署配置。

20.如权利要求18所述的方法，还包括：

将所述传送单位单元缩回成其中所述传送单位单元缩回到自身中的缩回配置；

将所述传送单位单元从所述缩回配置转换成运输配置；以及

经由运输车辆移动所述传送单位单元。