CN111498213B - 具有动态打包机制的机器人系统 - Google Patents

Abstract

一种用于操作机器人系统的方法，包括：确定代表目标物体的离散化物体模型；确定代表任务位置的离散化平台模型；基于代表所述任务位置的实时传感器数据来确定高度量度；以及基于以下来动态地导出放置位置：(1)将所述离散化物体模型与所述离散化平台模型重叠以便将物体堆叠在所述任务位置处，并且(2)基于所述高度量度来计算与所述重叠相关联的放置分数。

Description

具有动态打包机制的机器人系统

本申请是中国申请CN202010205039.2的分案申请，该申请日期为2020年3月20日，发明名称为“具有动态打包机制的机器人系统”。

相关申请的交叉引用

本申请包含与Rosen N.Diankov和Denys Kanunikov的标题为“AROBOTIC SYSTEMWITH PACKING MECHANISM”的同时提交的美国专利申请有关的主题，所述美国专利申请被转让给Mujin公司，由代理人案卷号131837-8005.US01标识，并且以引用的方式整体并入本文。

本申请包含与Rosen N.Diankov和Denys Kanunikov的标题为“AROBOTIC SYSTEMWITH ERROR DETECTION AND DYNAMIC PACKING MECHANISM”的同时提交的美国专利申请有关的主题，所述美国专利申请被转让给Mujin公司，由代理人案卷号131837-8007.US01标识，并且以引用的方式整体并入本文。

本申请包含与Roscn N.Diankov和Denys Kanunikov的标题为“ROBOTIC SYSTEMFOR PROCESSING PACKAGES ARRIVING OUT OF SEQUENCE”的同时提交的美国专利申请有关的主题，所述美国专利申请被转让给Mujin公司，由代理人案卷号131837-8008.US01标识，并且以引用的方式整体并入本文。

本申请包含与Rosen N.Diankov和Denys Kanunikov的标题为“ROBOTIC SYSTEMFOR PALLETIZING PACKAGES USING REAL-TIME PLACEMENT SIMULATION”的同时提交的美国专利申请有关的主题，所述美国专利申请被转让给Mujin公司，由代理人案卷号131837-8009.US01标识，并且以引用的方式整体并入本文。

技术领域

本技术总体涉及机器人系统，并且更具体地，涉及用于基于动态计算对物体进行打包的系统、过程和技术。

背景技术

随着性能的不断增强和成本的降低，许多机器人(例如，被配置来自动地/自主地执行物理动作的机器)现在广泛用于许多领域。例如，机器人可用于在制造和/组装、打包和/或包装、运输和/或装运等中执行多种任务(例如，跨空间操纵或搬运物体)。在执行任务时，机器人可复制人类动作，从而替代或减少执行危险或重复性任务原本所需的人类参与。

然而，尽管技术不断进步，但机器人往往缺乏复制执行更复杂任务所需的人类敏感性和/或适应性所必需的复杂程度。例如，机器人往往缺乏在所执行动作中考虑可能由多种真实世界因素造成的偏差或不确定性的控制粒度和灵活性。因此，仍然需要用于控制和管理机器人的多方面以不管多种真实世界因素如何都完成任务的改进的技术和系统。

附图说明

图1是具有动态打包机制的机器人系统可在其中操作的示例性环境的图示。

图2是示出根据本技术的一个或多个实施方案的机器人系统的框图。

图3A是根据本技术的一个或多个实施方案的离散化物体的图示。

图3B是根据本技术的一个或多个实施方案的离散化打包平台的图示。

图4A是根据本技术的一个或多个实施方案的支撑计算的图示。

图4B是根据本技术的一个或多个实施方案的支撑指标的图示。

图5是示出由根据本公开的一个或多个实施方案的机器人系统执行的示例性放置的俯视图。

图6A是示出根据本公开的一个或多个实施方案的第一示例性方法的廓线图。

图6B是示出根据本公开的一个或多个实施方案的第二示例性方法的廓线图。

图7是根据本技术的一个或多个实施方案的用于操作图1的机器人系统的流程图。

具体实施方式

本文描述用于动态地对物体(例如，包裹和/或盒)打包的系统和方法。根据一些实施方案配置的机器人系统(例如，执行一个或多个指定任务的装置的集成系统)通过动态地导出物体的最佳存储位置并将它们分别堆叠来提供提高的打包和存储效率。

传统系统使用离线打包模拟器来预定打包顺序/布置。传统打包模拟器处理预定或估计的一组箱的物体信息(例如，箱形状/大小)以生成打包计划。一旦确定打包计划，它就规定和/或要求物体(例如，货盘、仓、笼、盒等)在目的地处的具体放置位置/姿势、放置的预限定顺序和/或预定运动计划。根据预定打包计划，传统打包模拟器导出匹配或实现打包计划的源要求(例如，物体的顺序和/或放置)。因为在传统系统中打包计划是离线研发的，因此计划是独立于实际打包操作/条件、物体到达和/或其他系统实现方式的。因此，总体操作/实现方式将需要所接收包裹(例如，在起始/拾取位置处)遵循匹配预定打包计划的固定顺序。这样，传统系统无法适应所接收包裹的实时条件和/或偏差(例如，不同顺序、位置和/或取向)、未预料到的错误(例如，碰撞和/或丢件)、实时打包要求(例如，所接收订单)和/或其他实时因素。

此外，因为传统系统根据严格预定计划/顺序对物体进行分组和打包，所以它们要求源位置处的所有物体：(1)具有相同的尺寸/类型和/或(2)根据已知顺序到达。例如，传统系统将需要物体(通过例如输送机)根据固定顺序到达拾取位置。另外，例如，传统系统将需要将拾取位置处的物体根据预定姿势放置在指定位置处。这样，传统系统需要(即，在打包操作之前)根据预定顺序/布置来对源处的物体进行排序和/或放置的一个或多个操作。通常，传统系统需要顺序缓冲器(其花费超过一百万美元)来根据预定顺序/姿势对源处的物体进行排序和/或放置。

与传统系统相比，本文所述的机器人系统可在系统操作期间动态地(例如，在物体到达或被标识时和/或在初始地开始一个或多个操作(诸如实际打包操作)之后)导出物体的放置位置。在一些实施方案中，机器人系统可基于触发事件发起/实施放置的动态导出，所述触发事件诸如重新评估定时、打包/操纵错误(例如，碰撞事件或丢件事件)、未识别的物体(例如，在源和/或目的地处)、已经放置的包裹的位置/取向的变化、和/或其他动态条件的发生。在一些实施方案中，放置位置可在机器人系统缺少关于到达物体的先前信息(诸如用于接收先前未知物体和/或用于以随机/未知顺序接收物体)时动态地导出。在动态地导出放置位置时，机器人系统可利用包括例如可用/到达物体、物体特性和/或要求、放置要求和/或其他实时因素的多种实时条件(例如，当前存在或持续的条件)。

机器人系统可基于离散化机制(例如，过程、电路、函数和/或例程)来导出放置位置。例如，机器人系统可使用离散化机制根据离散化单元(即，一个离散区域/空间)来描述物体的物理大小/形状和/或目标位置。机器人系统可生成使用离散化单元来描述预期物体的离散化物体廓线和/或描述目标位置(例如，货盘顶部上的表面和/或仓/箱/盒内部的空间/底表面)的离散化目的地廓线。因此，机器人系统可将连续的真实世界空间/区域变换成计算机可读数字信息。此外，离散化数据可允许降低用于描述包裹占位面积和用于比较多种包裹放置的计算复杂性。例如，代替真实世界的小数，包裹尺寸可对应于整数个离散化单元，这使得数学计算更容易。

在一些实施方案中，机器人系统可检查放置平台的离散化单元以确定物体放置可能性。例如，机器人系统可使用放置平台上的所放置物体的深度测量值或高度。机器人系统可确定深度量度以便以/根据离散化单元确定高度。机器人系统可根据对应于将要放置的物体的离散化单元的分组来评估深度量度。机器人系统可确定分组内的最大高度以用于评估放置可能性。换句话说，机器人系统可确定所测试放置位置是否提供足够的支撑，使得所放置物体可相对平坦地(例如，根据预定阈值和/或条件)放置。下文描述关于动态放置导出的细节。

因此，机器人系统可基于实时条件来提高动态地导出物体放置的效率、速度和准确性。例如，本文所述的系统可在真实世界条件呈现出与预期条件相关联的不确定性和/或与预期条件的偏差时导出放置位置。这样，机器人系统可对未知物体和/或随机到达(即，没有已知/预定顺序)的物体进行接收和打包。

此外，机器人系统可通过消除一个或多个操作、机器(例如，顺序缓冲器)和/或人工辅助(而这些在传统系统中原本是对源处的物体进行排序或放置和/或打包操作(例如，错误处理)所必需的)来降低总成本。通过在物体变得可用时(例如，基于物体到达和/或触发事件)动态地导出放置位置，机器人系统消除了连同相关联机器/人类操作对包裹进行重新组织或定序的需要。

在以下描述中，阐述许多具体细节来提供对当前所公开技术的透彻理解。在其他实施方案中，此处所引入的技术可在没有这些具体细节的情况下实践。在其他情况下，不详细描述诸如具体函数或例程的公知特征，以便避免不必要地使本公开晦涩难懂。此说明中对“实施方案”、“一个实施方案”或类似用语的引用意指所描述的特定特征、结构、材料或特性包括在本公开的至少一个实施方案中。因此，本说明书中此类短语的出现不一定都指代同一实施方案。另一方面，此类引用也不一定相互排斥。此外，特定特征、结构、材料或特性可以任何合适的方式在一个或多个实施方案中加以组合。应理解，图中所示的多种实施方案仅是说明性代表并且不一定按比例绘制。

出于简洁的目的，在以下描述中年未阐述描述公知且往往与机器人系统和子系统相关联并且可能不必要地使所公开技术的一些重要方面晦涩难懂的结构或过程的若干细节。此外，虽然以下公开内容阐述本技术的不同方面的若干实施方案，但若干其他实施方案可具有不同于此章节中所述的那些的配置或组成部分。因此，所公开的技术可具有带有附加元件或没有下文所述元件中的若干的其他实施方案。

下文所述的本公开的许多实施方案或方面可呈计算机或处理器可执行指令(包括由可编程计算机或处理器执行的例程)的形式。相关领域技术人员应理解，所公开的技术可在下文所示和所述的那些之外的计算机或处理器系统上实践。本文所述的技术可在专门编程、配置或构造为执行下文所述的计算机可执行指令中的一者或多者的专用计算机或数据处理器中体现。因此，如本文一般所用的术语“计算机”和“处理器”指代任何数据处理器并且可包括互联网用具和手持式装置(包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的或可编程消费者电子器件、网络计算机、迷你计算机等)。由这些计算机和处理器处理的信息可在任何合适的显示介质(包括液晶显示器(LCD))处呈现。用于执行计算机或处理器可执行任务的指令可存储在任何合适的计算机可读介质(包括硬件、固件，或硬件和固件的组合)中或上。指令可包含在任何合适的存储器装置(包括例如闪存驱动器和/或其他合适的介质)中。

术语“耦接”和“连接”以及它们的派生词可在本文中用来描述组成部分之间的结构关系。应理解，这些术语并不意图作为彼此的同义词。而是，在特定实施方案中，“连接”可用于表示两个或更多个元件彼此直接接触。除非在上下文中另外阐明，否则术语“耦接”可用于表示两个或更多个元件彼此直接或间接(在其间具有其他干预元件)接触，或者两个或更多个元件彼此配合或交互(例如，如呈因果关系，诸如用于信号传输/接收或用于函数调用)，或两者。

合适的环境

图1是具有动态打包机制的机器人系统100可在其中操作的示例性环境的图示。机器人系统100可包括被配置来执行一个或多个任务的一个或多个单元(例如，机器人)和/或与所述一个或多个单元通信。动态打包机制的多方面可由多种单元来实践或实现。

对于图1所示的示例，机器人系统100可包括位于仓库或分配/装运枢纽中的卸载单元102、搬运单元104(例如，码垛机器人和/或拾件机器人)、运输单元106、装载单元108、或它们的组合。机器人系统100中的单元中的每一个可被配置来执行一个或多个任务。任务可按顺序组合以执行实现目标(诸如从卡车或货车卸载物体并将它们存储在仓库中，或者从存储位置卸载物体并将它们准备用于装运)的操作。在一些实施方案中，任务可包括将物体放置在目标位置上(例如，放置在货盘顶部上和/或仓/笼/盒/箱内部)。如下文详细描述，机器人系统100可导出单独的放置位置/取向，计算对应运动计划或它们的组合以用于放置和/或堆叠物体。单元中的每一个被配置来执行一系列动作(例如，操作其中的一个或多个组成部分)以执行任务。

在一些实施方案中，任务可包括将目标物体112(例如，对应于正在执行的任务的包裹、盒、箱、笼、货盘等中的一者)从起始/源位置114操纵(例如，移动和/或重新定向)到任务/目的地位置116。例如，卸载单元102(例如，拆箱机器人)可被配置来将目标物体112从载具(例如，卡车)中的位置搬运到输送带上的位置。另外，搬运单元104可被配置来将目标物体112从一个位置(例如，输送带、货盘或仓)搬运到另一位置(例如，货盘、仓等)。再如，搬运单元104(例如，码垛机器人)可被配置来将目标物体112从源位置(例如，货盘、拾取区域和/或输送机)搬运到目的地货盘。在完成操作时，运输单元106可将目标物体112从与搬运单元104相关联的区域搬运到与装载单元108相关联的区域，并且装载单元108可将目标物体112(通过例如移动承载目标物体112的货盘)从搬运单元104搬运到存储位置(例如，架子上的位置)。下文描述关于任务和相关联动作的细节。

出于说明性目的，机器人系统100是在装运中心的上下文中描述的；然而，应理解，机器人系统100可被配置来在其他环境中/出于其他目的(诸如用于制造、组装、包装、健康护理和/或其他类型的自动化)执行任务。还应理解，机器人系统100可包括图1未示出的其他单元，诸如操纵器、服务机器人、模块化机器人等。例如，在一些实施方案中，机器人系统100可包括用于将物体从笼车或货盘搬运到输送机或其他货盘上的去码垛单元、用于将物体从一个容器搬运到另一个的容器交换单元、用于包裹物体的包装单元、用于根据物体的一个或多个特性对它们进行分组的分类单元、用于根据物体的一个或多个特性以不同方式对物体进行操纵(例如，分类、分组和/或搬运)的拾件单元、或它们的组合。

合适的系统

图2是示出根据本技术的一个或多个实施方案的机器人系统100的框图。在一些实施方案中，例如，机器人系统100(例如，在上文所述的单元和/或机器人中的一者或多者处)可包括电子/电气装置，诸如一个或多个处理器202、一个或多个存储装置204、一个或多个通信装置206、一个或多个输入-输出装置208、一个或多个致动装置212、一个或多个运输马达214、一个或多个传感器216、或它们的组合。多种装置可通过有线连接和/或无线连接彼此耦接。例如，机器人系统100可包括总线，诸如系统总线、外围组成部分互连(PCI)总线或PCI快速总线、超传输或工业标准架构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线，或电子电器工程师协会(IEEE)标准1394总线(也称为“火线”)。另外，例如，机器人系统100可包括桥接器、适配器、处理器，或用于在装置之间提供有线连接的其他信号相关的装置。无线连接可基于例如蜂窝通信协议(例如，3G、4G、LTE、5G等)、无线局域网(LAN)协议(例如，无线保真(Wi-Fi))、对等或装置间通信协议(例如，蓝牙、近场通信(NFC)等)、物联网(IoT)协议(例如，NB-IoT、LET-M等)和/或其他无线通信协议。

处理器202可包括被配置来执行存储在存储装置204(例如，计算机存储器)上的指令(例如，软件指令)的数据处理器(例如，中央处理单元(CPU)、专用计算机和/或机载服务器)。在一些实施方案中，处理器202可包括在可操作地耦接到图2所示的其他电子/电气装置和/或图1所示的机器人单元的单独/独立控制器中。处理器202可实施控制其他装置/与其交互的程序指令，从而致使机器人系统100执行动作、任务和/或操作。

存储装置204可包括其上存储有程序指令(例如，软件)的非暂时性计算机可读介质。存储装置204的一些示例可包括易失性存储器(例如，高速缓存和/或随机存取存储器(RAM))和/或非易失性存储器(例如，闪速存储器和/或磁盘驱动器)。存储装置204的其他示例可包括便携式存储器和/或云存储装置。

在一些实施方案中，存储装置204可用于进一步存储处理结果和/或预定数据/阈值并提供对它们的访问。例如，存储装置204可存储包括对可由机器人系统100操纵的物体(例如，盒、箱和/或产品)的描述的主数据252。在一个或多个实施方案中，主数据252可包括预期由机器人系统100操纵的物体的尺寸、形状(例如，潜在姿势的模板和/或用于识别呈不同姿势的物体的计算机生成的模型)、颜色方案、图像、标识信息(例如，条形码、快速响应(QR)码、标志等和/或其预期位置)、预期重量、其他物理/视觉特性、或它们的组合。在一些实施方案中，主数据252可包括关于物体的操纵相关的信息，诸如物体中的每一个上的质心(CoM)位置、对应于一个或多个动作/操作的预期传感器测量值(例如，针对力、扭矩、压力和/或接触测量)、或它们的组合。另外，例如，存储装置204可存储物体跟踪数据254。在一些实施方案中，物体跟踪数据254可包括所扫描或所操纵物体的记录。在一些实施方案中，物体跟踪数据254可包括物体在一个或多个位置(例如，指定拾取或投放位置和/或输送带)处的成像数据(例如，照片、点云、现场视频馈送等)。在一些实施方案中，物体跟踪数据254可包括物体在一个或多个位置处的位置和/或取向。

通信装置206可包括被配置来通过网络与外部或远程装置通信的电路。例如，通信装置206可包括接收器、发射器、调制器/解调器(调制解调器)、信号检测器、信号编码器/解码器、连接器端口、网卡等。通信装置206可被配置来根据一种或多种通信协议(例如，互联网协议(IP)、无线通信协议等)发送、接收和/或处理电信号。在一些实施方案中，机器人系统100可使用通信装置206来在机器人系统100的单元之间交换信息和/或与在机器人系统100外部的系统或装置交换信息(例如，出于报告、数据采集、分析和/或故障排除目的)。

输入-输出装置208可包括被配置来将信息传达给人类操作员和/或从人类操作员接收信息的用户接口装置。例如，输入-输出装置208可包括显示器210和/或用于将信息传达给人类操作员的其他输出装置(例如，扬声器、触觉电路、或触觉反馈装置等)。另外，输入-输出装置208可包括控制或接收装置，诸如键盘、鼠标、触摸屏、传声器、用户接口(UI)传感器(例如，用于接收运动命令的摄像机)、可穿戴输入装置等。在一些实施方案中，机器人系统100可使用输入-输出装置208来在执行动作、任务、操作或它们的组合时与人类操作员交互。

机器人系统100可包括在关节处连接以用于运动(例如，旋转和/或平移位移)的物理或结构构件(例如，机器人操纵器臂)。结构构件和关节可形成被配置来操纵端部执行器(例如，夹持器)的动力链，所述端部执行器被配置来根据机器人系统100的用途/操作来执行一个或多个任务(例如，夹持、自旋、焊接等)。机器人系统100可包括被配置来关于对应关节或在对应关节处对结构构件进行驱动或操纵(例如，移位和/或重新定向)的致动装置212(例如，马达、致动器、线材、人工肌肉、电活性聚合物等)。在一些实施方案中，机器人系统100可包括被配置来到处运输对应单元/底架的运输马达214。

机器人系统100可包括被配置来获得用于实施任务(诸如操纵结构构件和/或运输机器人单元)的信息的传感器216。传感器216可包括被配置来检测或测量机器人系统100的一个或多个物理特性(例如，其一个或多个结构构件/关节的状态、状况和/或位置)和/或周围环境的一个或多个物理特性的装置。传感器216的一些示例可包括加速度计、陀螺仪、力传感器、应变计、触觉传感器、扭矩传感器、位置编码器等。

在一些实施方案中，例如，传感器216可包括被配置来检测周围环境的一个或多个成像装置222(例如，视觉和/或红外摄像机、2D和/或3D成像摄像机、诸如激光雷达或雷达的距离测量装置等)。成像装置222可生成所检测环境的可通过机器/计算机视觉来处理(例如，用于自动化检查、机器人引导或其他机器人应用)的代表，诸如数字图像和/或点云。如下文更详细描述，机器人系统100(通过例如处理器202)可处理数字图像和/或点云，以标识图1的目标物体112、图1的起始位置114、图1的任务位置116、目标物体112的姿势、关于起始位置114和/或姿势的置信度量度、或它们的组合。

对于操纵目标物体112，机器人系统100(通过例如上文所述的多种电路/装置)可捕获并分析指定区域(例如，拾取位置，诸如卡车内部或输送带上)的图像数据，以标识目标物体112及其起始位置114。类似地，机器人系统100可捕获并分析另一指定区域(例如，用于将物体放置在输送机上的投放位置、用于将物体放置在容器内部的位置，或货盘上用于堆叠目的的位置)的图像数据，以标识任务位置116。例如，成像装置222可包括被配置来生成拾取区域的图像数据的一个或多个摄像机和/或被配置来生成任务区域(例如，投放区域)的图像数据的一个或多个摄像机。如下文所述，基于图像数据，机器人系统100可确定起始位置114、任务位置116、相关联姿势、打包/放置位置和/或其他处理结果。下文描述关于动态打包算法的细节。

在一些实施方案中，例如，传感器216可包括被配置来检测机器人系统100的结构构件(例如，机器人臂和/或端部执行器)和/或对应关节的位置的位置传感器224。机器人系统100可使用位置传感器224来在任务的执行期间跟踪结构构件和/或关节的位置和/或取向。

离散化模型

图3A和图3B是根据本技术的一个或多个实施方案的用于对物体进行计划和打包的离散化数据的图示。图3A示出离散化物体并且图3B示出用于物体打包的离散化打包平台。

在一些实施方案中，图1的机器人系统100可包括预期物体的存储在图2的主数据252中的预定离散化模型/代表。在一些实施方案中，机器人系统100(通过例如图2的处理器202)可通过将真实世界物体(例如，包裹、货盘和/或与任务相关联的其他物体)的连续表面/边缘映射到离散对应物(例如，单位长度和/或单位面积)中动态地生成离散化模型。例如，机器人系统100可离散化由图2的一个或多个成像装置222捕获的目标物体112和/或货盘顶表面的图像数据(例如，俯视图图像和/或点云数据)。换句话说，机器人系统100可离散化图1的起始位置114、输送机上起始位置114之前的位置和/或图1的任务位置116的图像数据。机器人系统100可基于标识图像数据中的物体/货盘的外周边，然后根据单位尺寸/面积划分外周边内的区域来离散化。在一些实施方案中，可根据坐标方案和/或预定调整因子/方程，基于物体/货盘相对于成像装置222的大小和/或位置，针对图像数据对单位尺寸/面积进行缩放或映射。

如图3A所示，机器人系统100的一些实施方案可使用离散化物体模型302来对物体(例如，目标物体112)的放置位置进行计划/导出。离散化物体模型302(使用点划线示出)可根据离散化单元(例如，单位长度)代表到达或传入的物体(例如，包裹、盒、箱等)的外部物理尺寸、形状、边缘、表面、或它们的组合(使用短划线示出)。离散化物体模型302可代表已经如上文所述地成像并离散化的预期/已知物体和/或非预期的/未知物体。

如图3B所示，机器人系统100的一些实施方案可使用一个或多个离散化平台模型304(例如，图1的任务位置116的离散化代表)来对物体的堆叠放置进行计划/导出。离散化平台模型304可根据离散化单元代表放置区域340(例如，任务位置116的物理尺寸、形状或它们的组合，诸如任务位置116的顶表面、放置在其上的包裹的顶表面、或它们的组合)。在一个或多个实施方案中，离散化平台模型304可诸如通过实时更新来代表放置区域340的实时条件。例如，关于俯视图，离散化平台模型304初始地可代表将要接收并直接接触物体的货盘的顶表面、仓或盒的内部底表面等。当机器人系统100放置物体时，放置区域340可改变成包括所放置包裹的顶表面(例如，用于堆叠包裹)，并且可更新离散化平台模型304以反映所述变化。

在一些实施方案中，离散化平台模型304可以是基于一个或多个标准大小货盘(例如，1.1m乘1.1m货盘)的俯视图的。因此，离散化平台模型304可对应于沿着根据机器人系统100所利用的网格系统的水平平面(例如，x-y平面)的放置区域的像素化2D代表。在一些实施方案中，离散化物体模型302可包括预期或到达的物体的俯视图(例如，x-y平面)。因此，离散化物体模型302可对应于物体的像素化2D代表。

用于生成离散化模型的离散化单元可包括由系统操作员、系统设计者、预定输入/设定、次序或它们的组合设定的长度。在一些实施方案中，机器人系统100可使用单位像素310(例如，具有根据离散化单元的一个或多个尺寸的多边形，诸如正方形)来描述目标物体(通过例如离散化物体模型302)和装载平台/表面(通过例如离散化平台模型304)的面积/表面。因此，机器人系统100可沿着x-y轴将物体和装载平台以2D像素化。在一些实施方案中，单位像素310(例如，离散化单元)的大小可根据物体的尺寸和/或装载平台的尺寸而改变。单位像素310的大小还可进行调整(通过例如预设规则/方程和/或操作员选择)，以平衡所需资源(例如，计算时间、所需存储器等)与打包准确性。例如，当单位像素310的大小减小时，计算时间和打包准确性可增加。因此，使用可调整的单位像素310的打包任务(例如，目标包裹和打包平台)的离散化提供码垛包裹的增加的灵活性。机器人系统100可根据实时需求、情境、图案和/或环境来控制计算资源/时间与打包准确性之间的平衡。

在一些实施方案中，机器人系统100针对离散化物体模型302可包括单位像素310的与物体仅部分地重叠以使得单位像素310延伸超出物体的实际周边边缘的实例。在其他实施方案中，机器人系统100可将单位像素310的超过平台表面的实际尺寸的部分重叠实例从离散化平台模型304排除，使得离散化物体模型302中的单位像素310重叠和/或包含在平台表面的实际周边边缘内。

作为说明性示例，图3A示出代表目标物体112的离散化物体模型的第一模型取向332和第二模型取向334。在一些实施方案中，机器人系统100可将离散化模型中的一个(即，被捕获/存储为第一模型取向332)沿着成像平面旋转预定量。如图3A所示，机器人系统100可将离散化物体模型302绕垂直轴(进出或垂直于图示的平面延伸)并且沿着水平平面(例如，沿着x轴和y轴代表)旋转90度来得到第二模型取向334。机器人系统100可使用不同的取向来测试/评估物体的对应放置。

基于离散化数据/代表，机器人系统100可动态地导出目标物体112的放置位置350。如图3B所示，机器人系统100可动态地导出放置位置350，即使在放置区域340上已放置一个或多个物体(例如，在图3B中示出为具有斜纹填充的物体)之后也如此。另外，放置位置350的动态导出可在目标物体112被卸载/下架、注册、扫描、成像或它们的组合之后/同时发生。例如，机器人系统100可在运输目标物体112(通过例如输送机)时、在图2的成像装置222生成目标物体112的图像数据之后、或它们的组合，动态地导出放置位置350。

动态地导出物体的放置位置350为装运/包装环境提供增加的灵活性和减少的人力劳动。机器人系统100可使用物体和货盘的离散化实时图像/深度图(即，包括已经放置的物体)来测试和评估不同的放置位置和/或取向。因此，当不知道物体的到达顺序/次序时和/或当发生非预期的事件时(例如，丢件事件和/或碰撞事件)，即使当物体不可识别时(例如，对于新的/非预期的物体和/或计算机视觉错误)，机器人系统100仍可在没有任何操作员干预的情况下对物体进行打包。

出于说明性目的，放置位置350在图3B中示出为与已经放置的物体相邻(即，与之放置在相同的水平层/高度上)，诸如直接位于货盘上/接触货盘。然而，应理解，放置位置350可位于已经放置的物体的顶部上。换句话说，机器人系统100可导出用于将目标物体112堆叠在货盘上已经存在的一个或多个物体之上和/或顶部上的放置位置350。如下文详细描述，机器人系统100可在导出放置位置350时评估已经放置的物体的高度，以确保当物体堆叠在已经放置的物体顶部上时物体被充分支撑。

在一些实施方案中，机器人系统100可在导出放置位置350时标识物体边缘362。物体边缘362可包括图像数据中代表已经放置在货盘上的物体的边缘和/或侧面的线。在一些实施方案中，物体边缘362可对应于暴露的边缘(例如，不与另一物体/边缘直接接触/相邻)，使得它们限定放置在任务位置116上的一个或一组物体(例如，一层物体)的周边。

如下文更详细描述，机器人系统100可根据一组放置规则、条件、参数、要求等导出放置位置350。在一些实施方案中，机器人系统100可基于评估/测试一个或多个候选位置360来导出放置位置350。候选位置360可对应于在多种位置和/或取向下覆盖在离散化平台模型304顶部上的离散化物体模型302。因此，候选位置360可包括可能将目标物体112放置成与一个或多个物体边缘362相邻和/或可能将目标物体112堆叠在已经放置的物体中的一个或多个上。机器人系统100可根据多种参数/条件(诸如支撑量度/条件、与支撑物体的易碎性评级(例如，诸如对于堆叠在其上的包装的最大支撑重量)相比的支撑重量、空间/打包影响、或它们的组合)来评估候选位置360中的每一个。机器人系统100可使用一个或多个放置规则(诸如无碰撞要求、堆叠稳定性、客户指定的规则/优先级、包裹间隔要求或其不存在、总装载包裹的最大化、或它们的组合)来进一步评估候选位置360。

实时放置表面更新

图4A和图4B示出根据本技术的一个或多个实施方案的支撑计算和支撑指标的多方面。在一些实施方案中，如图4A所示，图1的机器人系统100可基于将图1的目标物体112的图3A的离散化物体模型302重叠在图1的任务位置116的离散化平台模型304之上来生成图3B的候选位置360。此外，机器人系统100可在生成候选位置360时在离散化平台模型304上迭代地移动离散化物体模型302。例如，机器人系统100可通过将根据一个或多个取向(例如，图3A的第一模型取向332和/或图3A的第二模型取向334)的对应离散化物体模型302放置在离散化平台模型304的预定初始位置(例如，角落)处来生成候选位置360的初始实例。对于候选位置360的下一个实例，机器人系统100可根据预定方向/模式来将对应于另一/下一个物体的离散化物体模型302移动预定距离(例如，图3B的一个或多个单位像素310)。

当候选位置360与已经放置在任务位置116处的一个或多个物体重叠时，机器人系统100可计算并评估由已经放置的物体提供的支撑量度。为了计算并评估支撑量度，机器人系统100可使用图2的成像装置222中的一个或多个来实时地确定图3B的放置区域340的高度/等高线。在一些实施方案中，机器人系统100可使用来自位于任务位置116上方的成像装置222中的一个或多个的深度量度(例如，点云值)。在一些实施方案中，机器人系统100可具有对应于地面和/或平台(例如，货盘)表面的竖直位置的预定高度/位置值，诸如平台表面在设施地表面上方的高度。在一些实施方案中，机器人系统100可使用深度量度来计算平台、所放置物体或它们的组合的一个或多个暴露顶表面的高度/等高线。在一些实施方案中，机器人系统100可对任务位置116进行成像并且实时地(诸如在将物体运输到平台和/或将物体放置在平台上之后)更新一个或多个暴露顶表面的高度。

在一些实施方案中，如图4A所示，机器人系统100可将离散化平台模型304更新成包括高度量度402。机器人系统100可根据离散化平台模型304中的离散像素(例如，单位像素310)中的每一个来确定高度量度402。例如，机器人系统100可将高度量度402确定为放置区域340的由对应单位像素310代表的表面部分的最大高度。

对于与已经放置的物体中的一个或多个重叠的候选位置360中的每一个，机器人系统100可基于高度量度402评估放置可能性。在一些实施方案中，机器人系统100可基于标识在候选位置360中的每一个中重叠的高度量度402的最高值来评估放置可能性。机器人系统100可进一步标识位于候选位置360中的每一个中的其他高度量度402，其中高度量度402在相对于高度量度402的最高量度的差值阈值的限度内。合格单元/像素可代表可为堆叠物体提供支撑以使得所堆叠物体保持基本上平坦/水平的位置。

如图4A所示，对于候选位置360中的第一个(离散化平台模型304的左上角)，最高高度量度可以是0.3(即，300毫米(mm)高)。对于预定为0.02(代表例如20mm)的差值阈值，机器人系统100可将前四个离散化单元/像素标识为满足差值阈值。机器人系统100可使用所标识/合格单元/像素来评估/代表支撑程度。

图4B示出支撑计算的另一示例。图4B示出图3的候选位置360中的一个，其中离散化物体模型302(使用实心较粗轮廓线示出)覆盖在离散化平台模型304的左上角。机器人系统100可计算/利用作为用于评估候选位置360的参数的多种支撑参数410。例如，支撑参数410可包括离散化尺寸412、重叠面积414、高度差阈值416、支撑阈值418、最大高度420、高度下限422、合格计数424，一组支撑区域轮廓线426、支撑区域大小428、支撑比430、质心(CoM)位置432、或它们的组合。

离散化尺寸412可根据图3A的单位像素310来描述图1的目标物体112的物理尺寸(例如，长度、宽度、高度、周长等)。例如，离散化尺寸412可包括形成离散化物体模型302的周边边缘的单位像素310的量。重叠面积414可描述由目标物体112占据的区域(例如，沿着水平平面的占位面积大小)，这可类似地根据单位像素310来代表。换句话说，重叠面积414可对应于离散化物体模型302内的单位像素310的量。对于图4B所示的示例，目标物体112可具有六个像素乘七个像素的离散化尺寸412，这对应于42个像素的重叠面积414。

高度差阈值416和支撑阈值418可对应于用于处理和/或验证候选位置360的限度。可由操作员和/或订单预定和/或调整的高度差阈值416可代表与用于接触和/或支撑放置在顶部上的包裹的另一参考高度的允许偏差(例如，对应于由离散化物体模型302重叠的区域中的高度量度402的最高实例的最大高度420)。换句话说，可使用高度差阈值416来限定可接触和/或支撑放置在其上的包裹的表面高度范围。这样，相对于最大高度420，高度下限422可对应于重叠面积414内可为所堆叠包裹提供支撑的高度的下限。对于图4B所示的示例，高度差阈值416可以是0.02。当最大高度420是0.2时，高度下限422可以是0.18。因此，在将目标物体112放置在候选位置360处时，机器人系统100可估计高度大于0.18的表面/像素将接触目标物体112和/或为目标物体112提供支撑。

因此，在一个或多个实施方案中，机器人系统100可根据高度差阈值416来对重叠面积414内的单位像素310进行分类。例如，机器人系统100可将具有满足高度差阈值416的高度(即，大于或等于高度下限422的值)的单位像素310分类为支撑位置442(例如，代表能够在其上堆叠物体的表面的单位像素310的分组，诸如图4B中通过阴影像素代表的)。机器人系统100可将其他单位像素310分类为不合格位置444(例如，高度低于高度下限422的像素)。

支撑阈值418可代表基于支撑位置442的充分性来评估候选位置360的限度。例如，支撑阈值418可用于评估与支撑位置442相关联的量、比、面积、位置、或它们的组合。在一些实施方案中，可使用支撑阈值418来确定候选位置360的合格计数424(例如，支撑位置442的量)是否足以支撑目标物体112。

在一个或多个实施方案中，可使用支撑阈值418来评估与支撑位置442相关联的支撑区域(例如，可如可由高度阈值确定的为堆叠在其上的物体提供支撑的单位像素360)。例如，机器人系统100可基于跨或围绕不合格位置444延伸以连接支撑位置442的最外部/周边实例的角落的扩边和/或确定线来确定支撑区域轮廓线426。因此，支撑区域轮廓线426可排除不合格位置444。因此，支撑区域轮廓线426可基于支撑位置442的周边实例来限定支撑区域的周边。由于支撑区域轮廓线426可延伸跨过和/或包括不合格位置444，因此支撑区域大小428(例如，支撑区域内的单位像素310的量)可大于合格计数424。这样，支撑区域大小428有效地代表提供支撑的最外边缘/角落之间的间隔。因为较宽的支撑是优选的(例如，其中支撑区域轮廓线426的部分大于物体的重叠面积414以减少悬垂和/或提高稳定性)，支撑阈值418可以对应于支撑区域310中单位像素的最小数目(例如，用于评估支撑区域轮廓线426)，从而有效地评估提供支撑的最外边缘/角落之间的间隔。

在一些实施方案中，支撑阈值418可用于评估可基于将合格计数424和/或支撑区域大小428与重叠面积414进行比较来计算的支撑比430。例如，支撑比430可包括合格计数424与重叠面积414之间的比，用于代表水平稳定性、支撑重量浓度、或它们的组合。另外，支撑比430可包括支撑区域大小428与重叠面积414之间的比，用于代表目标物体112下方的支撑边缘/角落之间的相对宽度。

此外，机器人系统100可基于目标物体112的CoM位置432来进一步评估候选位置360。在一些实施方案中，机器人系统100可从图2的主数据252访问目标物体112的CoM位置432和/或基于夹持和/或提升目标物体112来动态地估计CoM位置432。一旦进行访问/估计，机器人系统100就可将CoM位置432与支撑区域轮廓线426进行比较。机器人系统100可要求候选位置360在支撑区域轮廓线426内包括CoM位置432并且消除/取消不满足这种要求的候选位置360的资格。在一个或多个实施方案中，机器人系统100可基于CoM位置432与支撑区域轮廓线426之间的间隔距离(例如，沿着x轴和/或y轴)来计算并评估放置分数。

机器人系统100可使用支撑参数410来评估约束/要求。例如，机器人系统100可消除/取消不满足支持阈值418、CoM位置阈值(例如，在支持区域轮廓线426内包括CoM位置432的要求)和/或其他堆叠规则的候选位置的资格。另外，机器人系统100可使用支撑参数410来根据预定权重和/或方程计算候选位置360(例如，满足约束的位置)的放置分数。如下文详细描述，机器人系统100可使用计算的放置分数来根据预定偏好(例如，如权重/方程所反映)对候选位置360进行排名。

物体放置操作

图5是示出由根据本公开的一个或多个实施方案的机器人系统100执行的示例性放置的俯视图。在一些实施方案中，机器人系统100可包括机器人臂502(例如，图1的搬运单元104的一部分，诸如码垛机器人)和/或与之通信，所述机器人臂502被配置来从起始位置114搬运目标物体112并将其放置在任务位置116处的所导出放置位置350处。例如，机器人系统100可操作机器人臂502以从输送机上的指定位置/部分夹持并拾取目标物体112，并且将目标物体112放置在货盘上。

机器人系统100可例如在目标物体112到达设施和/或起始位置114时和/或在初始地开始一个或多个操作(诸如打包操作)之后动态地导出放置位置350。机器人系统100可基于或考虑一个或多个不确定性因素来动态地导出放置位置350，所述不确定性因素诸如打包计划(例如，用于代表针对包括目标物体112的一组物体导出的在任务位置116处的放置位置350的计划)的不存在、到达物体的错误(例如，当物体与预期/已知物体或顺序不匹配时)、或它们的组合。机器人系统100还可基于或考虑目的地处的诸如归因于先前放置的物体508(例如，货盘上的不可识别和/或非预期的包裹)和/或先前放置的物体508中的一个或多个的移位的一个或多个不确定性来动态地导出放置位置350。

在一些实施方案中，机器人系统100可基于通过图2的传感器216(例如，图2的成像装置222)中的一个或多个动态地采集的数据(例如，图像数据和/或测量数据)来动态地导出放置位置350。例如，机器人系统100可包括位于起始位置114和/或传入路径(例如，输送机)上方的源传感器504(例如，3D相机)和/或与之通信。机器人系统100可使用来自源传感器504的数据来生成和/或访问图3A的离散化物体模型302。在一个或多个实施方案中，机器人系统100可使用源传感器504对物体进行成像和/或测量物体的一个或多个尺寸。机器人系统100可将图像和/或测量值与图2的主数据252进行比较，以标识传入物体。基于标识，机器人系统100可访问与物体相关联的离散化物体模型302。在一个或多个实施方案中，机器人系统100可基于如上文所述根据单位像素310划分图像/尺寸来动态地生成离散化物体模型302。

另外，机器人系统100可包括位于任务位置116上方的目的地传感器506(例如，3D相机)和/或与之通信。机器人系统100可使用来自目的地传感器506的数据来确定并动态地更新图3B的离散化平台模型304。在一个或多个实施方案中，机器人系统100可对放置区域(例如，任务位置116，诸如货盘)的一个或多个尺寸进行成像和/或测量。机器人系统100可使用图像和/或测量值来标识、访问和/或生成离散化平台模型304，这类似于上文针对离散化物体模型302所述。此外，机器人系统100可使用来自目的地传感器506的数据(例如，深度图)来确定图4A的高度量度402。因此，机器人系统100可使用高度量度402来实时地更新放置区域340和离散化平台模型304。例如，机器人系统100可诸如在将目标物体112放置在放置位置350之后根据先前放置的物体508更新高度量度402。

机器人系统100可导出用于将目标物体112搬运到图3B的放置位置350和/或候选位置360中的每一个的接近路径510。接近路径510可对应于用于操纵目标物体112/跨空间将目标物体112从起始位置114搬运到对应候选位置360的运动计划。接近路径510可呈跨水平方向和/或竖直方向延伸的3D形式。

接近路径评估

图6A和图6B是示出根据本公开的一个或多个实施方案的用于放置图1的目标物体112的示例性方法的廓线图。图6A和图6B示出用于将目标物体112在图3B的对应候选位置360处放置在任务位置116(例如，货盘)上的先前放置的物体508中的一个之上的图5的接近路径510。

图1的机器人系统100可基于被示为F-1至F-5的虚线框的接近增量602导出接近路径510。接近增量602可包括目标物体112在3D空间中沿着对应接近路径510的顺序位置。换句话说，接近增量602可对应于用于跟随对应接近路径510的目标物体112的采样位置。接近增量602可根据对应接近路径510的路径段604来对准。路径段604可对应于接近路径510中的线性段/方向。路径段604可包括用于将目标物体112放置在对应候选位置360处的最终段606。最终段606可包括竖直(例如，向下)方向。

为了导出接近路径510，机器人系统100可标识可能潜在地成为障碍物610(例如，诸如当将目标物体112放置在候选位置360处时的潜在障碍物)的先前放置的物体508中的任一者。在一个或多个实施方案中，机器人系统100可将潜在障碍物610标识为与连接起始位置114与对应候选位置360的水平线611(例如，沿着x-y平面的直线)重叠的先前放置的物体508的一个或多个实例。机器人系统100可进一步将一个或多个潜在障碍物610标识为与围绕水平线导出的通道613(诸如基于导出平行于水平线并与水平线重叠且具有基于目标物体112的一个或多个尺寸(例如，宽度、长度和/或高度)的宽度的通道)重叠的先前放置的物体508的一个或多个实例。如图6A和图6B所示，起始位置114可在候选位置360的右侧。因此，机器人系统100可将在右侧的先前放置的物体标识为潜在障碍物610。

在一些实施方案中，机器人系统100可基于图4A的高度量度402来验证潜在障碍物610。例如，机器人系统100可利用大于或等于候选位置360的高度量度的高度量度402中的一个或多个来验证/标识潜在障碍物610。机器人系统100可消除高度量度402小于候选位置360的高度量度的作为潜在障碍物610的先前放置的物体508。在一个或多个实施方案中，机器人系统100可基于与候选位置360的高度和/或潜在障碍物610的高度相关联的模糊性来标识/消除潜在障碍物610。

在一些实施方案中，机器人系统100可以相反次序(诸如从候选位置360开始并且在图5的起始位置114处结束)导出接近路径510。因此，机器人系统100可首先(例如，在其他段之前)导出最终段606以避开潜在障碍物610。例如，机器人系统100可基于将接近增量602的高度迭代地增加预定距离来确定接近增量602(例如，首先是‘F-1’，然后是‘F-2’等)。对于每次迭代，机器人系统100可计算并分析所确定接近增量602(例如，其底表面/边缘)与潜在障碍物610(例如，其顶表面/边缘)之间的矢量612。机器人系统100可继续增加接近增量602的高度，直到矢量612表示所确定接近增量602高于潜在障碍物610和/或通过间隙阈值614(例如，对于目标物体112在潜在障碍物610的最高点上方以避免目标物体112与潜在障碍物610之间的接触或碰撞的最小竖直间隔的要求)清除潜在障碍物610为止。当所确定接近增量602满足间隙阈值614或者用于随后迭代时，机器人系统100可沿着水平方向(例如，朝向起始位置114)将对应接近增量602调整预定距离。因此，机器人系统100可基于候选位置360和满足间隙阈值614的接近增量602导出最终段606和/或后续路径段604，以导出接近路径510。

一旦导出，机器人系统100就可使用接近路径510来评估对应候选位置360。在一些实施方案中，机器人系统100可根据接近路径510计算放置分数。例如，机器人系统100可根据偏好(例如，根据对应于预定放置偏好的一个或多个权重)针对最终/竖直段606的较短长度/距离来计算放置分数。因此，在比较图6A与图6B的接近路径510时，机器人系统100可优选图6B所示的具有较短长度的最终/竖直段606的路径。在一个或多个实施方案中，机器人系统100可包括与用于消除或取消候选位置360的资格的接近路径510(例如，用于最终/竖直段606)相关联的约束，诸如最大限度。

在一些实施方案中，机器人系统100可根据其他碰撞/障碍相关参数进一步评估对应候选位置360。例如，机器人系统100可根据候选位置360与先前放置的物体508中的一个或多个之间的水平间隔616来评估候选位置360。水平间隔616中的每一个可以是沿着水平方向(例如，x-y平面)在对应候选位置360与先前放置的物体508的相邻实例之间的距离(例如，最短距离)。机器人系统100可基于水平间隔616计算候选位置360的放置分数，这类似于上文针对接近路径510所述。另外，机器人系统100可基于水平间隔616(诸如当水平间隔616未达到最小要求时)消除或取消候选位置360的资格。下文论述关于放置分数计算和/或用于消除候选位置360的约束的细节。

操作流程

图7是根据本技术的一个或多个实施方案的用于操作图1的机器人系统100的方法700的流程图。方法700可用于动态地导出图1的任务位置116上图3B的放置位置350，以用于放置图1的目标物体112。方法700可基于利用图2的处理器202中的一个或多个执行存储在图2的存储装置204中的一个或多个上的指令来实施。

在框702处，机器人系统100可标识实时包装条件。例如，如框732处所示，机器人系统100可实时地分析图1的传入物体和/或任务位置116。机器人系统100可接收并分析来自图2的传感器216的传感器数据。在一些实施方案中，机器人系统100可接收(例如，从图5的源传感器504)并分析代表处于或正接近图1的起始位置114的图1的目标物体112的源传感器数据。另外，机器人系统100可接收(例如，从图5的目的地传感器506)并分析代表与任务位置116和/或其上的图5的先前放置的物体508相关联的放置区域(例如，其上的图3B的放置区域340)的目的地传感器数据。

在一些实施方案中，诸如框734处所示，机器人系统100可分析传感器数据以确定一个或多个不确定性因素。例如，机器人系统100可将传感器数据与先前导出的(通过例如离线计算和/或适用设施处的实时计算)打包计划进行比较，所述计划指定传入物体(包括目标物体112)的放置位置。因此，不确定性的一些实例可基于传感器数据和打包计划中的不匹配或者相关联到达顺序。

在针对传感器数据分析不确定性时，如框736处所示，机器人系统100可处理传感器数据(例如，图像和/或深度图)以标识/估计边缘。例如，机器人系统100可诸如使用Sobel滤波器处理传感器数据，以识别目标物体112、任务位置116、先前放置的物体508或它们的组合的边缘。机器人系统100可使用边缘来标识代表单独的物体和/或其尺寸的区域。

在一些实例中，不匹配可包括源自将源传感器数据与图2的主数据252、与打包计划相关联的访问/到达顺序或它们的组合进行比较的源匹配错误。源匹配错误可源自例如错误地标识(例如，当源传感器数据不对应于打包计划中的任何物体和/或主数据252时)传入物体和/或源自传入物体在顺序之外并且不匹配打包计划的预期到达/访问顺序。此外，不匹配可包括源自将目的地传感器数据与打包计划进行比较的目的地匹配错误。目的地匹配错误可由例如先前放置的物体508中的一个或多个处于未预料到的位置(即，与打包计划不匹配)(诸如由于包裹的移位)引起。其他示例可包括用于任务位置116的容器在到达时未完全打开以接收包裹和/或其中具有非预期的物品。

在一个或多个实施方案中，机器人系统100可基于其他触发项来确定不确定性。例如，机器人系统100可基于打包计划的不存在来确定不确定性。另外，例如，机器人系统100可基于操作状态或事件来确定不确定性，所述作状态或事件诸如碰撞事件(例如，当机器人单元和/或物体碰撞时)、物体丢失事件(例如，当物体在运输/操纵期间掉落时)、物体移位事件(例如，当物体在放置之后移位时)、或它们的组合。如下文更详细描述，机器人系统100可响应于和/或补偿不确定性而针对目标物体112动态地导出图3的放置位置350。

在框704处，机器人系统100可生成和/或访问代表传入包裹(包括例如目标物体112)和/或任务位置116(诸如货盘和/或笼)的离散化模型(例如，图3A的离散化物体模型302和/或图3B的离散化平台模型304)。

机器人系统100可基于实时传感器数据(例如，源传感器数据和/或目的地传感器数据)确定(例如，生成和/或访问)离散化模型(例如，离散化物体模型302和/或离散化平台模型304)。在一些实施方案中，机器人系统100可基于源传感器数据来标识物体(诸如目标物体112)的物体类型(例如，传入物体的标识或类别)。机器人系统100可在如上文所述地检查不确定性时搜索主数据252以使成像表面与对应于物体类型的表面图像相匹配。在一些实施方案中，机器人系统100还可在检查不确定性时基于传感器数据(例如，源传感器数据)估计所感测物体(例如，传入物体、目标物体112、货盘、笼等)的一个或多个尺寸或长度。机器人系统100可使用标识信息来访问存储在图2的存储装置和/或另一装置(例如，通过图2的通信装置206访问的存储装置、数据库和/或包裹供应者的服务器)中的离散化模型。例如，机器人系统100可使用标识信息(例如，表面图像和/或估计的尺寸)来搜索主数据252，以找到并访问匹配的离散化模型。

在一些实施方案中，机器人系统100可实时地(诸如直接响应于接收到源传感器数据和/或确定不确定性)生成离散化模型。为了动态地生成离散化模型，机器人系统100可根据图3B的单位像素310划分传感器数据和/或对应物理尺寸(例如，针对传入物体、货盘顶表面等)。换句话说，机器人系统100可基于根据对应传感器数据将单位像素310叠覆在代表目标物体112和/或任务位置116的区域之上来生成离散化模型。单位像素310可(由例如制造商、下单客户和/或操作员)预定为诸如1mm或1/16英寸(in)或更大(例如，5mm或20mm)。在一些实施方案中，单位像素310可以是基于包裹中的一个或多个和/或平台的尺寸或大小(例如，百分比或分数)。

在框706处，机器人系统100可导出一组候选位置(例如，图3B的候选位置360)，以用于将目标物体112放置在任务位置116处/之上。机器人系统100可基于将目标物体112的离散化物体模型302在任务位置116中/之上的对应位置处重叠在离散化平台模型304之上来导出候选位置360。候选位置360可对应于离散化物体模型302沿着水平平面并且在离散化平台模型304之上/内的位置。机器人系统100可导出与先前放置的物体508重叠和/或相邻的候选位置360。

在一些实施方案中，机器人系统100可基于确定初始放置位置(例如，候选位置360的实例的预定位置，诸如放置区域的指定角落)来迭代地确定离散化物体模型302的位置。机器人系统100可根据用于导出下一个候选位置360的预定方向、跨迭代的候选位置360之间的间隔要求、管理放置的规则/条件、对候选位置360的总数的限制、其一个或多个图案或它们的组合来确定后续候选位置360。此外，机器人系统100可包括用于相对于先前放置的物体508确定候选位置360的一组偏好和/或规则。例如，机器人系统100可配置有对在离散化物体模型302与先前放置的物体508的一个或多个边缘和/或放置区域340的周边边界/边缘相邻或邻接的情况下确定候选位置360的偏好(例如，比候选位置360的大多数其他类型/类别更早地执行功能)。另外，机器人系统100可配置有对在离散化物体模型302位于先前放置的物体508之上并且纳入物体中的一个内和/或与物体的一个或多个边缘重叠的情况下确定候选位置360的偏好。

机器人系统100可根据用于放置离散化物体模型302的预定规则、图案、限制和/或顺序来导出候选位置360。例如，机器人系统100可基于对物体边缘的偏好(诸如与先前放置的物体508的最外边缘相邻和/或在所述最外边缘的预定距离限度内)来导出候选位置360。另外，机器人系统100可基于对放置区域340的外边缘/边界的偏好(诸如在离散化物体模型302最靠近或邻接货盘、笼等的边界/边缘的情况下)来导出候选位置360。此外，机器人系统100可导出与先前放置的物体508重叠的候选位置360。

在框708处，机器人系统100可确定/更新图3B的放置区域340的实时条件，诸如用于3D堆叠评估。例如，机器人系统100可使用目的地传感器数据来确定图4的高度量度402。机器人系统100可使用从任务位置116和/或传感器的目的地传感器数据和已知高度导出的深度量度来计算任务位置116处的一个或多个顶表面的高度。机器人系统100可将计算的高度与离散化平台模型304中的单位像素310相匹配，并且将单位像素310内的最大计算高度指派为对应高度量度402。在一些实施方案中，机器人系统100可确定候选位置360中的由离散化物体模型302重叠的单位像素310的高度量度402。

在框710处，检测系统100可评估候选位置360。在一些实施方案中，机器人系统100可根据实时条件、处理结果、预定规则和/或参数或它们的组合来评估候选位置360。例如，机器人系统100可基于计算对应放置分数、验证/批准(qualify)候选位置360或它们的组合来评估候选位置360。

在框742处，机器人系统100可计算候选位置360中的每一个的放置分数。机器人系统100可根据一个或多个放置条件来计算放置分数。例如，机器人系统100可使用放置偏好(通过例如乘数权重)和/或方程来描述对以下各项的偏好：包裹之间的间隔距离、水平相邻包裹的包裹尺寸/易碎性评级/包裹重量的差异、碰撞可能性(基于例如图5的接近路径510或它们的特性和/或图6的水平间隔616)、同一高度处的连续/相邻表面、其统计学结果(例如，平均值、最大值、最小值、标准差等)、或它们的组合。放置偏好的其他示例可包括所得高度、接近度量度、边缘放置状态、最大可支撑重量、物体类型、支撑重量比、或它们的组合。因此，在一些实施方案中，机器人系统100可包括代表对较低最大高度的偏好的处理权重/乘数，用于将目标物体112放置在已经放置的物体的边界或放置平台的边缘附近，用于使相邻物体的高度和/或最大可支撑重量之间的差最小化，用于减小由目标物体112重叠的物体的支撑重量与最大可支撑重量之间的比，用于匹配相邻物体的物体类型、或它们的组合。每个放置位置可根据由系统制造商、订单和/或系统操作员预限定的偏好因子和/或方程来评分。

在一些实施方案中，例如，机器人系统100可基于候选位置360的支撑量度来计算放置分数。机器人系统100可至少部分地基于高度量度402来计算候选位置360中的一个或多个的支撑量(例如，在堆叠物体时)。作为说明性示例，机器人系统100可基于针对候选位置360中的每一个标识图4B的最大高度420来计算支撑量。基于图4B的最大高度420和高度差阈值416，机器人系统100可计算候选位置360中的每一个的图4B的高度下限422。机器人系统100可将候选位置360的高度量度402与对应高度下限422进行比较，以标识候选位置360中的每一个的图4B的支撑位置442。机器人系统100可基于对应支撑位置442的图4B的合格计数424来计算候选位置360中的每一个的放置分数。

在一个或多个实施方案中，机器人系统100可基于导出候选位置360的图4B的支撑区域轮廓线426来计算放置分数。如上文所述，机器人系统100可基于在对应位置中的支撑位置442的最外/周边实例的延伸外边缘和/或连接角来导出候选位置360中的每一个的一组支撑区域轮廓线426。基于支撑位置442，机器人系统100可确定图4B的支撑区域大小428和/或图4B的支撑比430，以用于计算放置分数。另外，机器人系统100可计算CoM位置432与支撑区域轮廓线426之间的最低间隔距离。机器人系统100可使用支撑区域大小428、支撑比430、最低间隔距离、对应偏好权重或它们的组合来计算对应候选位置的放置分数。

在一个或多个实施方案中，机器人系统100可基于如上文所述地导出候选位置360的接近路径510来计算放置分数。机器人系统100可根据图6的最终段606(例如，其长度)、图6的一个或多个路径段604的数量/长度或它们的组合来计算候选位置360中的每一个的放置分数。在一些实施方案中，机器人系统100可基于候选位置360的图6的水平间隔616来计算放置分数。

在一些实施方案中，如框744处所示，机器人系统100可批准候选位置360。机器人系统100可基于根据一个或多个放置约束动态地导出已验证的一组候选位置360来批准候选位置360。在导出已验证组时，机器人系统100可消除或取消违反或不满足至少部分地与高度量度402相关联的放置约束中的一个或多个的候选位置360的实例的资格。在一个或多个实施方案中，机器人系统100可首先导出已验证组，然后计算已验证组的放置分数。在一个或多个实施方案中，机器人系统100可在计算放置分数的同时导出已验证组。

在一个或多个实施方案中，放置约束可与将合格计数424、所述一组支撑区域轮廓线426、支撑区域大小428、支撑比430、CoM位置432、接近路径510、水平间隔616或它们的组合与阈值(例如，图4B的支撑阈值418)或要求进行比较相关联。例如，机器人系统100可将已验证组导出成包括合格计数424、支撑区域大小428和/或支撑比430满足/超过对应阈值的位置。另外，机器人系统100可将已验证组导出成包括具有位于支撑区域轮廓线426内/由支撑区域轮廓线围绕的CoM位置432和/或满足与支撑区域轮廓线426的最小间隔距离的位置。另外，机器人系统100可将已验证组导出成包括具有满足最大长度阈值的接近路径510(例如，其中的最终段606)和/或具有满足最小阈值的水平间隔616的位置。

在框712处，机器人系统100可动态地导出放置位置350，以用于将目标物体112放置在任务位置116之上/处。机器人系统100可基于根据放置分数选择已验证组中的位置或候选位置360中的一个来动态地导出放置位置350。在一些实施方案中，机器人系统100可使用堆结构来跟踪候选位置360。因此，机器人系统100可在位置违反如上文所述的约束时将位置从堆结构移除。此外，机器人系统100可根据对应放置分数对所跟踪位置进行定序或排名。在一些实施方案中，机器人系统100可在计算放置分数或所述分数的迭代更新时连续地对跟踪位置进行定序。因此，机器人系统100可在分数计算结束时选择堆结构中的指定位置(例如，第一槽)处的位置作为放置位置350。

在框714处，机器人系统100可将目标物体112放置在所导出放置位置350处。在将目标物体112放置在放置位置350处时，机器人系统100的一个或多个组成部分/装置可与其他组成部分/装置通信和/或操作其他组成部分/装置。例如，处理器202中的一个或多个和/或独立控制器(诸如，例如仓库/装运中心控制装置)可向其他组成部分/装置发送信息，诸如放置位置350、对应运动计划、用于操作图2的致动装置212和/或图2的运输马达214的一组命令和/或设定、或它们的组合。其他组成部分/装置(诸如处理器202和/或图5的机器人臂502的其他实例、致动装置212、运输马达214和/或其他外部装置/系统)可接收信息并执行对应功能以操纵(例如，夹持并拾取、跨空间搬运和/或重新定向、放置在目的地处和/或释放)目标物体112并将其放置在放置位置处。

在一些实施方案中，机器人系统100可在放置目标物体112之后更新或重新标识实时包装条件。换句话说，在框714之后，控制流程可移动到框702。因此，机器人系统100可将下一个传入物体更新/标识为目标物体112。机器人系统100还可将放置区域340和/或其上先前放置的物体508的信息更新成包括最近放置的物体。在其他实施方案中，机器人系统100可在放置目标物体112之后根据打包计划重新计算或调整打包计划和/或重新开始。

上文所述的任务和2D/3D分层的离散化提供打包物体的改进的效率、速度和准确性。因此，操作员输入的减少和准确性的增加可进一步减少自动化打包过程的人力劳动。在一些环境中，如上文所述的机器人系统100可消除对可花费大约或高于100万美元的定序缓冲器的需要。

此外，根据实时条件(例如，由传感器数据和其他状态/数据代表)进行的放置位置350的动态计算提供减少的操作错误。如上文所述，机器人系统可考虑并解决由非预期的条件/事件引入的不确定性，而无需人类干预。此外，上文所述实施方案可诸如通过在物体到达开始位置114时动态地导出放置位置350来在没有预先存在的打包计划的情况下以3D堆叠物体。与受限于2D动态打包(即，将物体直接作为单层放置在平台上)的传统系统相比，考虑高度可允许上文所述实施方案将物体堆叠在彼此的顶部上并增加打包密度。

结论

所公开技术的实例的上文具体实施方式并不意图是详尽的或将所公开技术限于所公开的确切形式。虽然出于说明性目的描述了所公开技术的具体实例，但如相关领域技术人员应认识到，在所公开技术的范围内多种等效修改也是可能的。例如，虽然过程或框是以给定次序呈现的，但替代实现方式可以不同次序执行具有步骤的例程或采用具有框的系统，并且可删除、移动、添加、细分、组合和/或修改一些过程或框来提供替代方案或子组合。这些过程或框中的每一个可以多种不同方式来实现。另外，虽然过程或框有时被示出为串联执行，但这些过程或框可替代地并行执行或实现，或者可在不同时间执行。此外，本文所指出的任何具体数目仅是实例；替代实现方式可采用不同的值或范围。

根据上文具体实施方式，可对所公开技术进行这些和其他改变。虽然具体实施方式描述了所公开技术的某些实例以及所设想的最佳模式，但所公开技术可以许多方式来实践，而无论文中上文描述呈现的如何详细。系统的细节可在其具体实现方式中相差甚大，但仍由本文所公开的技术涵盖。如上文所指出，在描述所公开技术的某些特征或方面时所用的特定术语不应被视为暗示本文中将术语重新定义为限于所公开技术的与所述技术相关联的任何具体特性、特征或方面。因此，除所附权利要求之外，本发明不受限制。一般来说，以下权利要求中所用的术语不应被视为将所公开技术限于说明书中所公开的具体实例，除非上文具体实施方式章节明确地限定了此类术语。

虽然本发明的某些方面在下文是以某些权利要求的形式呈现的，但本申请人可设想了呈任何数目的权利要求形式的本发明的多种方面。因此，本申请人保留在提交本申请之后追加附加权利要求以在本申请中或在接续申请中追加此类附加权利要求形式的权利。

Claims (20)

1.一种用于操作机器人系统的方法，所述方法包括：

接收代表处于或接近源位置的目标物体的源传感器数据；

通过根据单位像素像素化所述源传感器数据来确定离散化物体模型，其中所述离散化物体模型根据所述单位像素以二维代表所述目标物体的物理尺寸，形状，或它们的组合；

接收代表与任务位置和/或所述任务位置上的先前放置的物体相关联的放置区域的目的地传感器数据；

基于所述目的地传感器数据来确定离散化平台模型，其中所述离散化平台模型根据另外的单位像素以二维代表所述任务位置的物理尺寸，形状，或它们的组合；

基于根据所述另外的单位像素中的一组或多组像素化所述目的地传感器数据来确定高度量度，其中所述高度量度代表所述放置区域对应于所述另外的单位像素中的所述一组或多组的部分内的最大高度；

基于将所述离散化物体模型在对应位置处重叠在所述离散化平台模型之上来导出一个或多个候选位置；

根据与所述高度量度相关联的一个或多个放置约束动态地导出所述候选位置中的已验证组；

计算所述已验证组中的位置的放置分数，其中所述放置分数是根据一个或多个放置偏好计算的；

基于根据所述放置分数选择所述已验证组中的所述位置中的一个来动态地导出放置位置，其中所述放置位置用于将所述目标物体放置在所述任务位置处；以及

根据所述放置位置传达信息，其中所述信息用于将所述目标物体放置在所述放置位置处并位于所述放置区域内。

2.如权利要求1所述的方法，其中所述放置位置是响应于一个或多个不确定性因素导出的。

3.如权利要求2所述的方法，其中所述一个或多个不确定性因素与不存在打包计划相关联，所述打包计划用于代表针对包括所述目标物体的一组物体导出的在所述任务位置处的放置位置。

4.如权利要求2所述的方法，其中所述一个或多个不确定性因素与跟打包计划的一个或多个偏差相关联，所述打包计划用于代表针对包括所述目标物体的一组物体导出的在所述任务位置处的放置位置。

5.如权利要求4所述的方法，其中所述一个或多个不确定性因素与源匹配错误相关联，所述源匹配错误来自将所述源传感器数据与主数据，与所述打包计划相关联的顺序，或它们的组合进行比较。

6.如权利要求4所述的方法，其中所述一个或多个不确定性因素与目的地匹配错误相关联，所述目的地匹配错误来自将所述目的地传感器数据与所述打包计划进行比较。

7.如权利要求4所述的方法，其中所述一个或多个不确定性因素与碰撞事件，物体丢失事件，物体移位事件，或它们的组合相关联。

8.如权利要求1所述的方法，其中确定所述离散化物体模型包括：

基于所述源传感器数据来标识物体类型，其中所述物体类型标识所述目标物体；以及

基于根据所述物体类型搜索主数据来访问所述离散化物体模型。

9.如权利要求1所述的方法，其中确定所述离散化物体模型包括：

基于所述源传感器数据来估计一个或多个长度，其中所述一个或多个长度代表所述目标物体的一个或多个尺寸；

基于根据所述一个或多个长度搜索主数据来访问所述离散化物体模型。

10.如权利要求1所述的方法，其中确定所述离散化物体模型包括：直接响应于接收到所述源传感器数据而实时地生成所述离散化物体模型，其中所述离散化物体模型是基于根据所述源传感器数据将所述单位像素叠覆在代表所述目标物体的区域之上生成的。

11.如权利要求1所述的方法，其中确定所述高度量度包括：针对所述候选位置中的一个或多个确定所述另外的单位像素中由所述离散化物体模型所重叠的所述一组或多组的高度量度。

12.如权利要求1所述的方法，其还包括：

标识所述候选位置中的每一个的最大高度，其中所述最大高度代表对应候选位置的高度量度的最高实例；

基于高度差阈值和所述最大高度来计算高度下限；

基于将所述高度量度与所述高度下限进行比较来标识支撑位置，其中所述支撑位置包括所述另外的单位像素的其中所述高度量度匹配和/或超过所述高度下限的实例；

其中：

导出所述已验证组和/或计算所述放置分数包括：根据对应支撑位置评估所述候选位置中的每一个。

13.如权利要求12所述的方法，其中导出所述已验证组包括：

计算代表所述支撑位置的量的合格计数；以及

基于将所述候选位置的对应实例的合格计数与阈值进行比较来导出所述已验证组。

14.如权利要求12所述的方法，其中导出所述已验证组包括：

基于所述支撑位置的最外部实例的边缘和/或角落来导出支撑区域轮廓线，以及

基于所述支撑区域轮廓线来计算支撑区域大小，其中所述支撑区域大小代表所述支撑区域轮廓线内的所述单位像素的量；以及

基于将所述候选位置的对应实例的支撑区域大小与阈值进行比较来导出所述已验证组。

15.如权利要求12所述的方法，其中导出所述已验证组包括：

针对所述候选位置中的每一个，基于所述支撑位置的最外部实例的边缘和/或角落来导出支撑区域轮廓线；

将与所述离散化物体模型相关联的质心位置与所述支撑区域轮廓线进行比较；以及

导出所述已验证组，所述已验证组包括具有围绕所述质心位置的所述支撑区域轮廓线的所述候选位置。

16.如权利要求12所述的方法，其中导出所述已验证组包括：

导出用于将所述目标物体放置在所述候选位置处的接近路径；以及

基于所述接近路径来导出所述已验证组。

17.如权利要求12所述的方法，其中计算所述放置分数包括：基于合格计数，支撑区域大小，质心位置，接近路径，或它们的组合来计算所述候选位置中的每一个的放置分数。

18.如权利要求1所述的方法，其中计算所述放置分数包括：基于所得高度，接近度量度，边缘放置状态，最大可支撑重量，物体类型，支撑重量比，或它们的组合来计算所述候选位置中的每一个的放置分数。

19.一种机器人系统，其包括：

至少一个处理器；以及

至少一个存储器装置，所述至少一个存储器装置连接到所述至少一个处理器并且在其上存储有指令，所述指令能够由所述处理器执行以：

接收物体传感器数据，其中所述物体传感器数据代表目标物体；

通过根据单位像素像素化所述物体传感器数据来确定离散化物体模型，其中所述离散化物体模型根据所述单位像素以二维代表目标物体的物理尺寸，形状，或它们的组合；

接收目的地传感器数据，其中所述目的地传感器数据代表与目的地区域相关联的条件；

确定离散化平台模型，所述离散化平台模型根据另外的单位像素以二维代表所述目的地区域的物理尺寸，形状，或它们的组合；

基于根据所述另外的单位像素中的一组或多组像素化所述目的地传感器数据来确定高度量度，其中所述高度量度代表所述目的地区域对应于所述另外的单位像素中的所述一组或多组的部分内的最大高度；

导出用于将所述目标物体放置在所述目的地区域处的一个或多个候选位置；

至少部分地基于所述高度量度来计算所述候选位置的放置分数；并且

基于所述放置分数来动态地导出放置位置，其中所述放置位置代表所述目的地区域内用于放置所述目标物体的指定位置。

20.一种在其上存储有处理器指令的有形非暂时性计算机可读介质，所述处理器指令在由机器人系统经由其一个或多个处理器执行时致使所述机器人系统执行方法，所述处理器指令包括：

用于接收代表处于或接近源位置的目标物体的源传感器数据的指令；

用于通过根据单位像素像素化所述源传感器数据来确定离散化物体模型的指令，其中所述离散化物体模型根据所述单位像素以二维代表所述目标物体的物理尺寸，形状，或它们的组合；

用于接收代表与任务位置和/或所述任务位置上的先前放置的物体相关联的放置区域的目的地传感器数据的指令；

用于基于所述目的地传感器数据来确定离散化平台模型的指令，其中所述离散化平台模型根据另外的单位像素以二维代表所述任务位置的物理尺寸，形状，或它们的组合；

用于基于根据所述另外的单位像素中的一组或多组像素化所述目的地传感器数据来确定高度量度的指令，其中所述高度量度代表所述放置区域对应于所述另外的单位像素中的所述一组或多组的部分内的最大高度；

用于基于将所述离散化物体模型在对应位置处重叠在所述离散化平台模型之上来导出一个或多个候选位置的指令；

用于根据与所述高度量度相关联的一个或多个放置约束动态地导出所述候选位置中的已验证组的指令；

用于计算所述已验证组中的位置的放置分数的指令，其中所述放置分数是根据一个或多个放置偏好计算的；

用于基于根据所述放置分数选择所述已验证组中的所述位置中的一个来动态地导出放置位置的指令，其中所述放置位置用于将所述目标物体放置在所述任务位置处；以及

用于根据所述放置位置传达信息的指令，其中所述信息用于将所述目标物体放置在所述放置位置处并位于所述放置区域内。

Images