CN115744272A - 机器人多表面夹持器组件及其操作方法 - Google Patents

Abstract

公开了一种用于操作搬运机器人和多表面夹持器以抓握和搬运物体的系统和方法。

Description

机器人多表面夹持器组件及其操作方法

本申请是中国申请CN202280002628.8的分案申请，该申请日期为2022年4月13日，发明名称为“机器人多表面夹持器组件及其操作方法”。

相关申请的交叉引用

本申请要求在2021年4月16日提交的美国临时专利申请序列号63/175,647的利益，所述申请以引用的方式整体并入本文。

本申请包含与以下申请相关的主题：在2020年8月20日提交的标题为“ROBOTICMULTI-GRIPPER ASSEMBLIES AND METHODS FOR GRIPPING AND HOLDING OBJECTS”的美国专利申请号16/998,857；以及在2021年7月13日提交的已经作为美国专利号11,062,457发布的标题为“ROBOTIC SYSTEM WITH AUTOMATED PACKAGE REGISTRATION MECHANISM ANDMINIMUM VIABLE REGION DETECTION”的美国专利申请号16/667,822，以上申请以全文引用的方式并入本文。

技术领域

本技术总体上是针对机器人系统，并且更具体地，针对被配置为选择性地夹持和保持物体的机器人多表面夹持器组件。

背景技术

机器人(例如，被配置为自动地/自主地执行物理动作的机器)现在广泛用于许多领域中。例如，机器人可用于在制造、包装、运输和/或运送等方面执行各种任务(例如，操纵或搬运物体)。在执行任务时，机器人可以复制人类动作，由此代替或减少原本执行危险或重复性任务所需的人类参与。机器人通常缺乏复制执行更复杂任务所需的人类灵敏度和/或适应性所必需的精密性。例如，机器人常常难以从具有紧邻物体以及不规则形状/大小的物体等的一组物体中选择性地夹持物体。而且，机器人常常限于使用沿着一个预定方向施加的力来抓握物体。因此，仍然需要用于控制和管理机器人的各个方面的改进的机器人系统和技术。

附图说明

图1绘示了根据本技术的一个或多个实施方案的其中机器人系统运输物体的示例性环境。

图2是绘示了根据本技术的一个或多个实施方案的机器人系统的框图。

图3绘示了根据本技术的一个或多个实施方案的多部件搬运组件。

图4A和图4B绘示了根据本技术的一个或多个实施方案的将要由图1的机器人系统处理的示例性物体堆叠。

图5绘示了根据本技术的一个或多个实施方案的物体的检测到的姿势和细化姿势。

图6是根据本技术的一个或多个实施方案的机器人搬运组件的功能框图。

图7A至图7E、图8A至图8F以及图9A至图9F绘示了根据本技术的一个或多个实施方案的示例性末端执行器。

图10A至图10B绘示了根据本技术的一个或多个实施方案的第一示例性夹持界面。

图11A至图11C绘示了根据本技术的一个或多个实施方案的第二示例性夹持界面。

图12绘示了根据本技术的一个或多个实施方案的抓握集合的示例性方面。

图13是根据本技术的另一实施方案的多夹持器组件的等距视图。

图14是图13的多夹持器组件的分解等距视图。

图15绘示了根据本技术的一个或多个实施方案的示例性放置计划。

图16绘示了根据本技术的一个或多个实施方案的用于操作机器人系统的流程图。

图17A至图17C绘示了根据本技术的一个或多个实施方案的机器人系统的操作的示例性实施方案的细节。

具体实施方式

本文描述了用于夹持选定物体的系统和方法。所述系统可包括具有多夹持器组件的运输机器人，所述多夹持器组件被配置为独立地或共同地操作以夹持/释放单个物体或多个物体。所述多夹持器组件可包括一组夹持垫和/或界面，其中每个垫/界面被配置为同时抓握多个表面。例如，所述系统可使用多表面夹持器组件(例如，L形多表面夹持器)来同时抓握一个或多个物体的正交表面(例如，顶表面和一个外围或竖直表面)。所述系统可推导使用多夹持器组件搬运一个或多个物体的计划。因此，系统可推导用于搬运一个或多个物体的接近序列、释放姿势和/或运动计划。而且，所述系统可诸如通过以下操作基于优化总的搬运时间来推导每个运动计划：当选择性地接合侧垫会由于增加的搬运速率而减小总搬运时间时选择性地接合侧垫。所述系统可进一步基于相对于计划运动的方向将侧垫定向来推导每个运动计划，以进一步增加搬运速率。

多表面夹持器可提供增加的夹持力并且进一步增加可施加夹持力的位置和/或方向。因此，多表面夹持器可减少包装损坏(例如，包装盖中的撕裂或划破)并减少总搬运时间。此外，当多表面夹持器包括侧垫时，夹持器可提供结构支撑，所述结构支撑解决对应于被抓握的物体的侧向搬运的惯性。因此，可增加搬运速率，从而进一步减少搬运时间。

在下文中，陈述众多具体细节以提供对目前公开的技术的透彻理解。在其他实施方案中，可在没有这些具体细节的情况下实践在此处介绍的技术。在其他情况下，未详细描述诸如具体功能或例程的众所周知的特征以便避免不必要地使本公开模糊不清。在此描述中对“实施方案”、“一个实施方案”等的引用意味着所描述的特定特征、结构、材料或特性包括在本公开的至少一个实施方案中。因此，此类短语在本说明书中的出现不一定全都是指同一实施方案。另一方面，此类引用不一定互相排斥。此外，特定特征、结构、材料或特性可通过任何合适的方式组合在一个或多个实施方案中。应理解，在图中示出的各种实施方案仅仅是说明性表示，并且不一定按比例绘制。

出于清楚起见，在以下描述中没有陈述描述是众所周知的并且常常与机器人系统和子系统相关联但是可能会不必要地使所公开的技术的一些重要方面混淆不清的结构或过程的若干细节。此外，虽然以下公开内容陈述了本技术的不同方面的若干实施方案，但是若干其他实施方案可具有与此部分中所描述的配置或部件不同的配置或部件。因此，所公开的技术可具有带有额外元件或不带有下文描述的元件中的若干元件的其他实施方案。

以下描述的本公开的许多实施方案或各方面可采取计算机或控制器可执行指令的形式，包括由可编程计算机或控制器执行的例程。本领域技术人员将了解，可在除了以下示出和描述的计算机或控制器系统之外的计算机或控制器系统上实践所公开的技术。本文描述的技术可体现在专用计算机或数据处理器中，所述专用计算机或数据处理器被特定编程、配置或构造成执行下文描述的计算机可执行指令中的一者或多者。因此，本文一般使用的术语“计算机”和“控制器”是指任何数据处理器，并且可包括互联网电器和手持式装置(包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的或可编程的消费型电子器件、网络计算机、微型计算机等)。由这些计算机和控制器处理的信息可呈现在任何合适的显示介质处，所述显示介质包括液晶显示器(LCD)。用于执行计算机或控制器可执行的任务的指令可存储在任何合适的计算机可读介质中或上，所述计算机可读介质包括硬件、固件或硬件与固件的组合。指令可包含在任何合适的存储器装置中，所述存储器装置包括(例如)闪存驱动器、USB装置和/或其他合适的介质，包括有形非瞬态计算机可读介质。

术语“耦接”和“连接”以及它们的派生词在本文中可用于描述部件之间的结构关系。应理解，这些术语无意作为彼此的同义词。而是，在特定实施方案中，“连接”可用于指示两个或更多个元件彼此直接接触。除非在上下文中另外显而易见，否则术语“耦接”可用于指示两个或更多个元件彼此直接地或间接地(在它们之间有其他居间元件)接触，或者两个或更多个元件彼此协作或交互(例如，以因果关系进行交互，诸如用于信号传输/接收或用于函数调用)，或以上两者。

合适的环境

图1是其中机器人系统100运输物体的示例性环境的图解。机器人系统100可包括仓库或配送/运送中心中的卸载单元102、搬运单元或组件104(“搬运组件104”)、运输单元106、装载单元108或它们的组合。机器人系统100的单元中的每一者可被配置为执行一个或多个任务。可以按顺序组合所述任务以执行实现目标的操作，诸如从卡车或货车上卸载物体以存放在仓库中，或者从存放位置卸载物体并将它们装载到卡车或货车上进行运送。在另一示例中，所述任务可包括将物体从一个容器移动到另一容器。所述单元中的每一者可被配置为执行一系列动作(例如，操作其中的一个或多个部件)以执行任务。

在一些实施方案中，所述任务可包括将目标物体或包裹112(例如，盒子、箱子、笼子、托盘等)从开始位置114操纵(例如，移动和/或重新定向)到任务位置116。例如，卸载单元102(例如，拆箱机器人)可被配置为将目标包裹112从运载工具(例如，卡车)中的位置搬运到传送带上的位置。搬运组件104(例如，堆垛机器人组件)可被配置为将包裹112装载到运输单元106或传送机上。在另一示例中，搬运组件104可被配置为将一个或多个目标包裹112从一个容器搬运到另一容器。搬运组件104可包括带有真空夹持器(或真空区域)的机器人末端执行器140(“末端执行器140”)，每个真空夹持器单独操作以拾取并载运物体(例如，目标包裹112)。当将末端执行器140放置在物体附近时，可将空气抽吸到与目标包裹112相邻的夹持器中，由此产生足以保持目标物体的压力差。可在不损坏或毁坏物体表面的情况下拾取和运输目标物体。可基于物体在拾取位置处的堆叠布置、在投放位置处的可用空间、在拾取位置与投放位置之间的运输路径、优化例程(例如，用于优化单元使用率、机器人使用率等的例程)、它们的组合等而选择一次载运的包裹112的数目。末端执行器140可具有一个或多个传感器，所述一个或多个传感器被配置为输出指示关于所保持的物体(例如，所保持的物体的数目和配置)、任何所保持的物体之间的相对位置等的信息的读数。

成像系统160可提供用于监视部件的操作、识别目标物体、跟踪物体或以其他方式执行任务的图像数据。可对图像数据进行分析以评估(例如)包裹堆叠布置(例如，堆叠包裹，诸如纸板箱、包装容器等)、物体的位置信息、可用的运输路径(例如，拾取区与投放区之间的运输路径)、关于夹持组件的位置信息，或它们的组合。控制器109可与成像系统160和机器人系统100的其他部件通信。控制器109可生成运输计划，所述运输计划包括用于拾取和投放物体(例如，被绘示为稳定容器)的序列、设位(positioning)信息、用于拾取物体的顺序信息、用于投放物体的顺序信息、堆叠计划(例如，用于在投放区处堆叠物体的计划)、重新堆叠计划(例如，用于在拾取区处重新堆叠至少一些容器的计划)或它们的组合。可基于容器的布置、容器的内容物或它们的组合来选择由运输计划提供的信息和指令。在一些实施方案中，控制器109可包括电子/电气装置，诸如一个或多个处理单元、处理器、存储装置(例如，外部或内部存储装置、存储器等)、通信装置(例如，用于无线或有线连接的通信装置)以及输入-输出装置(例如，屏幕、触摸屏显示器、键盘、小键盘等)。结合图2和图6讨论了示例性电子/电气装置和控制器部件。

运输单元106可将目标包裹112(或多个目标包裹112)从与搬运组件104相关联的区域搬运到与装载单元108相关联的区域，并且装载单元108可将目标包裹112搬运(例如，通过移动载运目标包裹112的托盘)到存放位置。在一些实施方案中，控制器109可协调搬运组件104和运输单元106的操作以有效地将物体装载到存放架上。

机器人系统100可包括在图1中未示出的其他单元，诸如操纵器、服务机器人、模块化机器人等。例如，在一些实施方案中，机器人系统100可包括：卸垛单元，所述卸垛单元用于将物体从笼车或托盘搬运到传送机或其他托盘上；容器切换单元，所述容器切换单元用于将物体从一个容器搬运到另一容器；包装单元，所述包装单元用于包扎物体；分拣单元，所述分拣单元用于根据物体的一个或多个特性将物体进行分组；拣选单元，所述拣选单元用于根据物体的一个或多个特性以不同方式操纵(例如，分拣、分组和/或搬运)物体；或它们的组合。系统100的部件和子系统可包括不同类型的末端执行器。例如，机器人系统100的卸载单元102、运输单元106、装载单元108和其他部件还可包括机器人多夹持器组件。可基于期望的载运能力来选择机器人夹持器组件的配置。出于说明性目的，在运送中心的情景中描述了机器人系统100；然而，应理解，机器人系统100可被配置为在其他环境中/出于其他目的(诸如用于制造、组装、打包、医疗保健和/或其他类型的自动化)执行任务。下面描述关于任务和相关联的动作的细节。

机器人系统

图2是绘示根据本技术的一个或多个实施方案的机器人系统100的部件的框图。在一些实施方案中，例如，机器人系统100(例如，在上述单元或组件和/或机器人中的一者或多者处)可包括电子/电气装置，诸如一个或多个处理器202、一个或多个存储装置204、一个或多个通信装置206、一个或多个输入-输出装置208、一个或多个致动装置212、一个或多个运输马达214、一个或多个传感器216，或它们的组合。各种装置可经由有线连接和/或无线连接彼此耦接。例如，机器人系统100可包括总线，诸如系统总线、外围部件互连(PCI)总线或PCI-Express总线、HyperTransport或工业标准架构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线，或电气和电子工程师协会(IEEE)标准1394总线(还称为“火线”)。而且，例如，机器人系统100可包括桥接器、适配器、控制器或用于提供装置之间的有线连接的其他信号相关装置。无线连接可基于(例如)蜂窝通信协议(例如，3G、4G、LTE、5G等)、无线局域网(LAN)协议(例如，无线保真(WIFI))、对等或装置对装置通信协议(例如，蓝牙、近场通信(NFC)等)、物联网(IoT)协议(例如，NB-IoT、Zigbee、Z-wave、LTE-M等)和/或其他无线通信协议。

处理器202可包括被配置为执行存储在存储装置204(例如，计算机存储器)上的指令(例如，软件指令)的数据处理器(例如，中央处理单元(CPU)、专用计算机和/或板载服务器)。处理器202可实施程序指令以控制其他装置/与其他装置介接，由此致使机器人系统100执行动作、任务和/或操作。

存储装置204可包括其上存储有程序指令(例如，软件)的非暂时性计算机可读介质。存储装置204的一些示例可包括易失性存储器(例如，高速缓存和/或随机存取存储器(RAM))和/或非易失性存储器(例如，闪存存储器和/或磁盘驱动器)。存储装置204的其他示例可包括便携式存储器驱动器和/或云存储装置。

在一些实施方案中，存储装置204可用于进一步存储主数据、处理结果和/或预定数据/阈值并提供对它们的访问。例如，存储装置204可存储主数据，所述主数据包括对可由机器人系统100操纵的物体(例如，盒子、箱子、容器和/或产品)的描述。在一个或多个实施方案中，主数据可包括预期将由机器人系统100操纵的物体的尺寸、形状(例如，用于潜在姿势的模板和/或用于辨识处于不同姿势的物体的计算机生成的模型)、质量/重量信息、颜色方案、图像、标识信息(例如，条形码、快速响应(QR)代码、徽标等，和/或它们的预期位置)、预期质量或重量或它们的组合。在一些实施方案中，主数据可包括关于物体的操纵相关信息，诸如物体中的每一者上的CoM位置、对应于一个或多个动作/机动的预期的传感器测量结果(例如，力、扭矩、压力和/或接触测量结果)，或它们的组合。机器人系统可查找压力水平(例如，真空水平、抽吸水平等)、夹持/拾取区域(例如，将要激活的真空夹持器的区域或排)以及用于控制搬运机器人的其他所存储的主数据。存储装置204还可存储物体跟踪数据。在一些实施方案中，物体跟踪数据可包括被扫描或操纵的物体的日志。在一些实施方案中，物体跟踪数据可包括在一个或多个位置(例如，指定的拾取或投放位置和/或传送带)处的物体的图像数据(例如，图片、点云、实时视频馈送等)。在一些实施方案中，物体跟踪数据可包括物体的位置和/或物体在一个或多个位置处的取向。

通信装置206可包括被配置为经由网络与外部装置或远程装置进行通信的电路。例如，通信装置206可包括接收器、传输器、调制器/解调器(调制解调器)、信号检测器、信号编码器/解码器、连接器端口、网卡等。通信装置206可被配置为根据一种或多种通信协议(例如，互联网协议(IP)、无线通信协议等)来发送、接收和/或处理电信号。在一些实施方案中，机器人系统100可使用通信装置206在机器人系统100的单元之间交换信息和/或与在机器人系统100外部的系统或装置交换信息(例如，用于报告、数据搜集、分析和/或故障排除目的)。

输入-输出装置208可包括用户界面装置，所述用户界面装置被配置为向人类操作员传达信息和/或从人类操作员接收信息。例如，输入-输出装置208可包括用于将信息传达给人类操作员的显示器210和/或其他输出装置(例如，扬声器、触觉电路或触觉反馈装置等)。而且，输入-输出装置208可包括控制或接收装置，诸如键盘、鼠标、触摸屏、麦克风、用户界面(UI)传感器(例如，用于接收运动命令的相机)、可穿戴输入装置等。在一些实施方案中，机器人系统100可在执行动作、任务、操作或它们的组合时使用输入-输出装置208与人类操作员交互。

在一些实施方案中，控制器(例如，图1的控制器109)可包括处理器202、存储装置204、通信装置206和/或输入-输出装置208。控制器可以是独立的部件或单元/组件的一部分。例如，系统100的每个卸载单元、搬运组件、运输单元和装载单元可包括一个或多个控制器。在一些实施方案中，单个控制器可控制多个单元或独立部件。

机器人系统100可包括在关节处连接以进行运动(例如，旋转移位和/或平移移位)的物理构件或结构构件(例如，机器人操纵臂)。所述结构构件和关节可形成动力链，所述动力链被配置为依据机器人系统100的使用/操作来操纵末端执行器(例如，夹持器)，所述末端执行器被配置为执行一个或多个任务(例如，夹持、自旋、焊接等)。机器人系统100可包括致动装置212(例如，马达、致动器、电线、人造肌肉、电活性聚合物等)，所述致动装置被配置为围绕对应关节或在对应关节处驱动或操纵(例如，移位和/或重新定向)结构构件。在一些实施方案中，机器人系统100可包括运输马达214，所述运输马达被配置为将对应的单元/底盘从一个地方运输到另一地方。例如，致动装置212和运输马达连接至机器人臂、线性滑块或其他机器人部件或作为其一部分。

传感器216可被配置为获得用于实施任务(诸如，用于操纵结构构件和/或用于运输机器人单元)的信息。传感器216可包括被配置为检测或测量机器人系统100的一个或多个物理性质(例如，一个或多个结构构件/其关节的状态、条件和/或位置)和/或周围环境的一个或多个物理性质的装置。传感器216的一些示例可包括接触传感器、接近传感器、加速度计、陀螺仪、力传感器、应变仪、扭矩传感器、位置编码器、压力传感器、真空传感器等。

在一些实施方案中，例如，传感器216可包括被配置为检测周围环境的一个或多个成像装置222(例如，二维(2D)成像装置和/或三维(3D)成像装置)。所述成像装置可包括相机(包括视觉和/或红外相机)、激光雷达装置、雷达装置和/或其他测距或检测装置。成像装置222可生成检测到的环境的表示(诸如数字图像和/或点云)，所述表示用于实施机器/计算机视觉(例如，用于自动检查、机器人导引或其他机器人应用)。

现在参考图1和图2，机器人系统100(例如，经由处理器202)可处理图像数据和/或点云以识别图1的目标包裹112、图1的开始位置114、图1的任务位置116、图1的目标包裹112的姿势，或它们的组合。机器人系统100可使用图像数据来确定如何接近和拾取物体。可分析物体的图像以确定用于设置真空夹持器组件的位置以夹持目标物体的拾取计划，即使相邻物体也可能接近夹持器组件。可单独利用或组合利用来自板载传感器216(例如，激光雷达装置)的成像输出和来自远程装置(例如，图1的成像系统160)的图像数据。机器人系统100(例如，经由各种单元)可捕获和分析指定区域(例如，卡车内部、容器内部或传送带上的物体的拾取位置)的图像以识别目标包裹112及其开始位置114。类似地，机器人系统100可捕获并分析另一指定区域(例如，用于将物体放置在传送带上的投放位置、用于将物体放置在容器内部的位置或用于堆叠目的的托盘上的位置)的图像以识别任务位置116。

而且，例如，图2的传感器216可包括图2的位置传感器224(例如，位置编码器、电位计等)，所述位置传感器被配置为检测结构构件(例如，机器人臂和/或末端执行器)和/或机器人系统100的对应关节的位置。机器人系统100可在执行任务期间使用位置传感器224来跟踪结构构件和/或关节的位置和/或取向。本文公开的卸载单元、搬运单元、运输单元/组件和装载单元可包括传感器216。

在一些实施方案中，传感器216可包括接触传感器226(例如，力传感器、应变仪、压阻/压电传感器、电容传感器、弹性电阻传感器和/或其他触觉传感器)，所述接触传感器被配置为测量与多个物理结构或表面之间的直接接触相关联的特性。接触传感器226可测量对应于末端执行器(例如，夹持器)对目标包裹112的夹持的特性。因此，接触传感器226可输出表示与物理接触、夹持器与目标包裹112之间的接触或附接程度或其他接触特性相对应的量化测量结果(例如，所测得的力、扭矩、位置等)的接触测量结果。例如，接触测量结果可包括与和由末端执行器夹持目标包裹112相关联的力相关联的一个或多个力、压力或扭矩读数。在一些实施方案中，接触测量结果可包括(1)与真空夹持相关联的压力读数和(2)与载运物体相关联的力读数(例如，力矩读数)。

如下文进一步详细描述，机器人系统100(例如，经由处理器202)可基于接触测量结果、图像数据、它们的组合等来实施不同的动作以完成任务。例如，如果初始接触测量结果低于阈值，诸如真空夹持力为低(例如，抽吸水平低于真空阈值)或它们的组合，则机器人系统100可重新夹持目标包裹112。而且，机器人系统100可基于一个或多个运输规则(例如，如果接触度量或抽吸水平在执行任务期间下降到低于阈值)以及接触测量结果、图像数据和/或其他读数或数据而有意地投放目标包裹112、调整任务位置116、调整动作的速度或加速度，或它们的组合。

机器人搬运组件

图3绘示了根据本技术的一个或多个实施方案的搬运组件104。搬运组件104可包括成像系统160和机器人臂系统132。成像系统160可提供从包括开始位置114的目标环境捕获的图像数据，所述目标环境在此实施方案中可以是卸垛平台110。机器人臂系统132可包括机器人臂组件139和末端执行器140，所述末端执行器包括多表面夹持器组件141(还称为“L形夹持器组件141”)。多表面夹持器组件141包括至少两个夹持设备，诸如在图3中示出的侧垫141-1和顶垫141-2。机器人臂组件139可将末端执行器140的位置设置在位于源位置163处的物体堆叠165中的一组物体上方，并将来自所述物体堆叠165的物体从源位置163搬运到任务位置116。

可将目标物体固定在末端执行器140的底部上。在一些实施方案中，多表面夹持器组件141可具有可寻址区域，每个可寻址区域选择性地能够吸入空气以提供真空夹持力。在一些操作模式中，仅靠近目标物体的可寻址区域吸入空气以直接在真空夹持器装置与目标物体之间提供压力差。即使多表面夹持器组件141的其他夹持部分邻近于或接触其他包裹，这也仅允许将选定包裹(即，目标包裹)拉靠在或以其他方式固定在多表面夹持器组件141上。

图3示出了多表面夹持器组件141，所述多表面夹持器组件载运位于笼车120上方的包裹112(“包裹112”)。笼车120可包括限定了用于保持物体的车的底部平台以及一个或多个竖直壁。例如，笼车120包括限定笼的三个侧面的三个壁，而一侧保持开放以允许末端执行器140接近或进入笼车120。多表面夹持器组件141可将包裹112释放到任务位置116上，所述任务位置诸如对应于笼车120或传送带或在所述笼车或传送带内的位置。

继续参考图3，卸垛平台110(例如，开始位置114)可包括可在上面堆叠和/或堆放多个物体或包裹112(简称为“包裹112”)并准备好运输所述多个物体或包裹的任何平台、表面和/或结构。成像系统160可包括一个或多个传感器161(例如，成像装置)，所述一个或多个传感器被配置为捕获卸垛平台110上的包裹112的图像数据。传感器161可捕获源位置163处的距离数据、位置数据、视频、静态图像、激光雷达数据、雷达数据和/或运动。应注意，尽管本文使用了术语“物体”和“包裹”，但所述术语包括能够被夹持、提升、运输和递送的任何其他物品，诸如但不限于“盒子”、“箱子”、“纸箱”或它们的任何组合。此外，尽管在本文公开的附图中绘示了多边形箱子(例如，矩形箱子)，但箱子的形状不限于这种形状，而是包括如下文详细讨论的能够被夹持、提升、运输和递送的任何规则或不规则形状。

与卸垛平台110一样，接收笼车120可包括被指定为接收包裹112以用于进一步的任务/操作的任何平台、表面和/或结构。在一些实施方案中，接收笼车120可包括用于将包裹112从一个位置(例如，释放点)运输到另一位置以进行进一步的操作(例如，分拣和/或存放)的传送机系统。

对物体的检测和分析

图4A和图4B绘示了将要由图1的机器人系统100处理的物体堆叠404的示例。图4A是托盘402上的物体堆叠404的代表性俯视图，并且图4B是托盘402上的物体堆叠404的沿着在图4A中绘示的参考线AA′的代表性侧视图，上图都是根据本技术的一个或多个实施方案。物体堆叠404可对应于上文关于图3描述的物体堆叠404。一起参考图4A和4B，机器人系统100可被配置为将源位置(例如，图3中的源位置163)处的物体堆叠404内的物体搬运到另一位置，诸如搬运到图3的笼车120，如上文描述。

作为示例，图4A和图4B将物体A到E(例如，箱子或包裹)绘示为物体堆叠404中的物体的顶层。在图4A中，关于图1描述的机器人系统100可基于捕获的2D和3D图像数据和/或其他传感器数据而识别三个表面区Z1、Z2和Z3。表面区是指基于图像数据具有一致或几乎一致的深度(例如，在附近点的阈值范围内)的区域。对应于物体A、B、C和D的顶表面的区Z1可具有第一深度，对应于物体E的顶表面的区Z2可具有第二深度，并且对应于较低水平或层的表面的区Z3可具有第三深度。所述第一深度、所述第二深度和所述第三深度可彼此不同，使得深度区Z1对应于物体堆叠404的暴露表面中的最高表面，并且深度区Z3对应于所述暴露表面中的最低表面。深度区Z2的表面可高于深度区Z3的表面并且低于深度区Z1的表面。深度区Z3的表面可高于托盘402的表面。

连同表面识别一起或基于表面识别，机器人系统100可识别可对应于物体边界的边缘和/或角。在图像数据和/或传感器数据中表示的边缘和/或连续表面可基于深度测量结果和/或图像特点(例如，线性图案、阴影或清晰度差异)的差异来识别。例如，机器人系统100可使用Sobel滤波器来识别边缘，和/或当与深度量度的显著变化(例如，超过预定容限阈值)相邻的点遵循形状模板(例如，线性图案)时识别边缘。

此外，机器人系统100可识别开放边缘和/或开放角(还分别称为暴露边缘和暴露角)。机器人系统100可使用2D和/或3D图像数据来识别开放边缘/角。例如，机器人系统100可使用3D深度量度结合从2D图像数据推导的与超过预定阈值的深度量度的变化相对应的线段来识别毗邻或限定所述深度量度的所述变化的开放边缘/角。识别物体堆叠163中的物体的开放边缘和开放角可用于使用关于图3描述的多表面夹持器组件141来抓握物体。例如，可使用所述开放边缘来确定候选夹持位置，这是因为所述开放边缘具有允许顶垫141-2以及侧垫141-1接触物体的高可能性。例如，在抓握物体D时，机器人系统100可充分利用开放角C3，使得多表面夹持器组件141可接近并接触物体D的顶(水平)表面以及至少一个侧(竖直)表面。

在图4A中，从图像或传感器数据推导的开放边缘是使用向量(例如，向量407和向量408)来表示并且可从检测结果中的角(例如，角C7)延伸。所述开放角包括在开放角处相交的开放边缘中的两者。开放角和在开放角处相交的两个暴露边缘的组合可称为开放角单元(例如，开放角C7、向量407和向量408的组合)。机器人系统100可在检测过程期间使用开放角单元生成检测假设和后续的处理(例如，物体位置的细化)。与在其他物体/表面之间或邻接其他物体/表面的角相比，所述开放角可表示一个物体(例如，物体D)的一部分。换句话说，机器人系统100可以在给定深度量度的显著差异的情况下以高度确定性识别开放角属于一个对应物体。因此，诸如当机器人系统100无法使检测结果与注册物体匹配时，机器人系统100可使用开放角来推导对应物体的最小可行区域(MVR)。MVR可表示接触和提升对应物体所需的最小和/或最佳区域。基于开放角/边缘，可通过识别与开放边缘相对的边缘(例如，2D和/或3D边缘)来生成MVR。机器人系统100可通过从开放角开始并跟随对应的开放边缘到识别的相对边缘来推导MVR。机器人系统100可将对应的封闭/有界区域确定为MVR。在一些实施方案中，机器人系统100可使用有界区域作为初始MVR，可进一步调整和/或验证所述初始MVR以生成最终MVR。

作为示例，在图4A中，物体A包括由开放边缘406-1和开放边缘406-2限定的开放角C1，这两个开放边缘都没有在基本上相同的高度下水平地邻接另一相邻物体/表面。可将开放角，诸如角C1，识别为由两个相交的开放边缘限定的顶点，诸如边缘406-1和406-2。物体A的开放边缘406-2位于区Z1与区Z3之间的边界处。边缘406-2与深度值之间的边界或过渡区相关联，所述深度值对应于(1)深度区Z1上的物体A的顶表面和(2)深度区Z3的对应于支撑层的顶表面。对应于物体A的顶表面的区域可以是由两个相交的暴露边缘406-1和406-2以暴露的角C1为原点界定的象限。其余部分可具有不同的深度值，诸如对应于物体堆叠中的物体的后续层的顶表面的深度值。

图4A还包括开放的程度/量度的图解(例如，与物体C和D的角C4、C5和C6相关联的弧)。开放程度是指诸如开放边缘或开放角的特征周围的无障碍空间量。在一些实施方案中，开放程度可以是可从图像和感测数据推导的参数，所述参数用以指示另一物体是否在2D空间和/或3D空间中在所述特征的某一距离内。作为示例，在图4A中，机器人系统100可确定角C4沿着水平方向是开放的(例如，在相同高度或大约相同高度处没有其他物体的相邻特征)，其中开放程度由水平开放距离D1表示。而且，物体C的角C4的开放程度是用两个相邻的弧来表示，这指示径向围绕角C4的水平(2D)区域中的开放程度。例如，与用两条弧绘示的物体C的角C4相关联的开放程度大于与用单条弧绘示的物体C的角C5相关联的开放程度，因为它接近物体D。通过水平开放距离D1例示的水平距离还可与对应于开放边缘的水平面开放的量度或程度相关联。例如，沿着水平开放距离D1和诸如开放边缘406-1或406-2的开放边缘的向量可形成水平面，所述水平面可表示在开放边缘与任何相邻物体之间在水平方向上的开放量度或程度。在一些实施方案中，机器人系统100可设置测量水平开放距离D1的极限，使得水平开放距离D1可具有最大距离，例如可将所述最大距离设置为对应于可在物体堆叠中的物体的最大可能物体大小的最大长度。

图4A和图4B还绘示了阈值距离(例如，距离D2、D3和D4)。图4A中的阈值距离D2(还称为“宽度阈值距离”)是指沿着物体(例如，物体D)的侧表面的宽度，所述宽度用于与图3中的侧垫141-1接触以便形成足够大的接触区域来夹持物体，且更具体地，容纳侧垫141-1的宽度。图4B中的阈值距离D4(还称为“高度阈值”)是指沿着物体(例如，物体D)的侧表面的用于与侧垫141-1接触以形成足够大的接触区域来夹持物体的最小高度。例如，由于侧垫141-1可能会与物体E的顶部碰撞，因此物体D的与物体E相邻的侧面不满足阈值距离D4，然而，物体D的与物体E相对的侧面将满足阈值距离D4，这是因为在竖直方向上不存在引起与侧垫141-1的碰撞的物体。图4A中的阈值距离D3(还称为“接近阈值”)是指被夹持的垫在接近和接触物体(例如，物体D)的侧表面时所需的间隙距离。阈值距离D3可对应于在最紧凑配置中(诸如当侧垫141-1缩回最多时)容纳侧垫141-1的最小空间量。阈值距离D3可用于确认侧垫141-1有足够的空间在水平、竖直和/或对角接近轨迹中接近物体D的侧表面。机器人系统100可使用物体的开放程度和阈值距离D2、D3和D4的组合来确定多表面夹持器组件141可接近和夹持物体的边缘和角(如果有)中的哪些。

在一些实施方案中，通过竖直开放距离D5例示的竖直距离还可与对应于开放边缘的竖直面开放的量度或程度相关联。例如，沿着竖直开放距离D5和物体B的开放边缘406-3的向量可形成竖直面，所述竖直面可表示在开放边缘与任何相邻物体之间在竖直方向上的开放量度或程度。在一些实施方案中，机器人系统100可设置测量竖直开放距离D5的极限，使得竖直开放距离D5可具有最大距离，例如可将所述最大距离设置为对应于可在物体堆叠中的物体的最大可能物体大小的最大长度。

图5绘示了物体的检测假设和假设细化。图1的机器人系统100可选择开放角单元中的一者或多者作为细化单元。如图5中例示，对于对应于物体D的检测假设，所述细化单元对应于四个开放角单元，包括C2、C3、C10和C11。如上文描述，机器人系统100可基于所存储的表示物体的模板而生成检测假设。在图5中，机器人系统100已生成对应于物体D的检测假设，所述物体包括用实线绘示的边缘502。然而，所存储的模板可能与实际物体略有不同。因此，为了提高检测的准确度，机器人系统100可生成假设细化，所述假设细化可细化物体的姿势、位置和/或尺寸。如用虚线绘示的细化边缘504(根据传感器信息，且具体地，根据与物体D相对应的点云信息，所述细化边缘与物体D的实际位置相对应)所示，机器人系统100可生成物体D的假设细化，所述假设细化调整物体D的检测假设的位置和尺寸以使检测假设的边缘和角中的一者或多者与细化边缘504对准。

在一些实施方案中，机器人系统100可通过根据细化单元应用各种算法来生成假设细化。例如，机器人系统100可使用迭代最近点细化(ICP)来细化检测假设的姿势、取向、大小和/或位置，所述迭代最近点细化旨在最小化两个点云之间的差异或对细化单元和检测假设的奇异值分解(SVD)以生成假设细化。可使用包括单个开放角单元的细化单元来生成假设细化。然而，可通过将算法应用于包括开放角单元中的两者或更多者的细化单元来提高假设细化的准确性。侧垫141-1的使用需要距离公差，在一些实施方案中，所述距离公差可以是一厘米或更小，以将侧垫141-1的位置设置成足够靠近目标物体以提供足够的吸力来将物体固定在侧垫141-1上。然而，如果侧垫141-1的位置被设置得太靠近物体，则侧垫141-1可能与物体的顶部碰撞或侧向地搬运物体(这继而可能使相邻物体移位)。物体的检测假设的姿势细化通过以下方式提供了增加检测假设的准确性和精度的益处：使用与物体相关联的细化单元中的一者或多者来使检测假设与物体(在它们位于物体堆叠中时)的实际位置、尺寸和/或取向更紧密地对准。例如，姿势细化允许将侧垫141-1的位置设置在距目标物体一厘米或更小的距离内而不与目标物体碰撞。因此，当计算抓握物体的轨迹时，机器人系统100可使用姿势细化来更精确地设置侧垫141-1的位置以牢固地抓握物体，同时防止侧垫141-1与物体碰撞或使物体意外地移位。

搬运组件

图6是根据本技术的一个或多个实施方案的搬运组件104的功能框图。处理单元150(PU)可以控制机器人臂系统132的移动和/或其他动作。PU 150可从传感器(例如，图3的成像系统160的传感器161)、视觉传感器装置143的传感器145或能够收集图像数据(包括视频、静态图像、激光雷达数据、雷达数据或它们的组合)的其他传感器或检测器接收图像数据。在一些实施方案中，图像数据可指示或表示包裹112的表面图像(SI)。

PU 150可包括执行软件或计算机指令代码的任何电子数据处理单元，所述软件或计算机指令代码可永久地或临时地存储在存储器152、数字存储器存储装置或非暂时性计算机可读介质中，所述非暂时性计算机可读介质包括但不限于随机存取存储器(RAM)、光盘驱动器、磁存储器、只读存储器(ROM)、压缩光盘(CD)、固态存储器、安全数字卡和/或紧凑型闪存卡。可通过执行软件或计算机指令代码来驱动PU 150，所述软件或计算机指令代码包含针对本文体现的特定功能而开发的算法。在一些实施方案中，PU 150可以是针对本文公开的实施方案定制的专用集成电路(ASIC)。在一些实施方案中，PU 150可包括微处理器、数字信号处理器(DSP)、可编程逻辑装置(PLD)、可编程门阵列(PGA)和信号生成器中的一者或多者；然而，对于本文的实施方案，术语“处理器”不限于此类示例性处理单元，并且其含义不希望被狭义地解释。例如，PU 150还可包括一个以上电子数据处理单元。在一些实施方案中，PU 150可以是由机器人系统100的任何其他系统使用或与其联合的处理器，所述任何其他系统包括但不限于机器人臂系统132、末端执行器140和/或成像系统160。图6的PU 150和图2的处理器202可以是相同部件或不同部件。

PU 150可电耦接(例如，经由电线、总线和/或无线连接)到系统和/或源以促进输入数据的接收。在一些实施方案中，可将操作性地耦接视为可与电耦接互换。无需进行直接连接；而是，可通过总线、通过无线网络或者作为由PU 150经由物理或虚拟计算机端口接收和/或传输的信号来提供输入数据的此类接收和输出数据的提供。PU 150可被编程或被配置为执行本文讨论的方法。在一些实施方案中，PU 150可被编程或被配置为从各种系统和/或单元接收数据，所述各种系统和/或单元包括但不限于成像系统160、末端执行器140等。在一些实施方案中，PU 150可被编程或被配置为向各种系统和/或单元提供输出数据。

成像系统160可包括一个或多个传感器161，所述一个或多个传感器被配置为捕获表示包裹(例如，位于图3的卸垛平台110上的包裹112)的图像数据。在一些实施方案中，图像数据可表示出现在包裹的一个或多个表面上的视觉设计和/或标记，可从所述视觉设计和/或标记确定包裹的注册状态。在一些实施方案中，传感器161是被配置为在目标(例如，可见和/或红外)电磁频谱带宽内工作并且用于检测对应频谱内的光/能量的相机。在一些相机实施方案中，图像数据是形成从一个或多个3D相机和/或一个或多个2D相机捕获的点云、深度图或它们的组合的一组数据点。通过这些相机，可确定成像系统160与包裹112的一个或多个暴露(例如，相对于成像系统160的视线)表面之间的距离或深度。在一些实施方案中，可通过使用诸如情景图像分类算法和/或边缘检测算法的图像辨识算法来确定所述距离或深度。一旦确定，就可经由机器人臂系统使用距离/深度值来操纵包裹。例如，PU 150和/或机器人臂系统可使用距离/深度值来计算可提升和/或夹持包裹所开始的位置。应注意，本文描述的数据，诸如图像数据，可包括可包含信息或指示信息的离散或连续的任何模拟或数字信号。

成像系统160可包括至少一个显示单元164，所述至少一个显示单元被配置为呈现操作信息(例如，状态信息、设置等)、由传感器161捕获的目标包裹112的图像，或可由机器人系统100的一个或多个操作员查看的其他信息/输出，如在下文详细讨论。另外，显示单元164可被配置为呈现其他信息，诸如但不限于表示目标包裹、非目标包裹、注册包裹和/或包裹的未注册实例的符号。

视觉传感器装置143可经由有线和/或无线连接与PU 150通信。视觉传感器145可以是视频传感器、CCD传感器、激光雷达传感器、雷达传感器、测距或检测装置等。来自视觉传感器装置143的输出可用于生成用于实施机器/计算机视觉(例如，用于自动检查、机器人导引或其他机器人应用)的包裹的表示，诸如数字图像和/或点云。可基于多表面夹持器组件141的配置来选择视野(例如，30度、90度、120度、150度、180度、210度、270度的水平和/或竖直FOV)和视觉传感器装置143的测距能力。(图4示出了约90度的示例性水平FOV)。在一些实施方案中，视觉传感器145是具有一个或多个光源(例如，激光器、红外激光器等)和光学检测器的激光雷达传感器。光学检测器可检测由光源发射的光以及由包裹表面反射的光。可基于检测到的光来确定包裹的存在和/或到包裹的距离。在一些实施方案中，视觉传感器145可扫描区域，诸如基本上所有的真空夹持区。例如，视觉传感器145可包括一个或多个偏转器，所述一个或多个偏转器进行移动以使所发射的光偏转越过检测区。在一些实施方案中，视觉传感器145是能够竖直和/或水平扫描(诸如10°激光雷达扫描、30°激光雷达扫描、50°激光雷达扫描等)的基于扫描激光的激光雷达传感器。可基于期望的检测能力来选择视觉传感器145的配置、FOV、灵敏度和输出。在一些实施方案中，视觉传感器145可包括存在/距离检测器(例如，雷达传感器、激光雷达传感器等)以及一个或多个相机，诸如3D或2D相机。可使用(例如)一种或多种图像辨识算法来确定传感器与包裹的一个或多个表面之间的距离或深度。可使用显示器210来查看图像数据，查看传感器状态，执行校准例程，查看日志和/或报告，或查看其他信息或数据，诸如但不限于表示包裹112的目标、非目标、注册和/或未注册实例的符号。

为了控制机器人系统100，PU 150可使用来自视觉传感器145和传感器161中的一者或两者的输出。在一些实施方案中，从传感器161输出的图像用于确定总体搬运计划，包括用于运输物体的顺序。从视觉传感器145以及传感器205(例如，力检测器组件)输出的图像可用于相对于物体设置多夹持组件的位置，确认物体拾取并且监视运输步骤。

继续参考图6，RDS 170可包括被配置为存储多个包裹112的注册记录172、用于真空夹持器的数据173的任何数据库和/或存储器存储装置(例如，非暂时性计算机可读介质)。例如，RDS 170可包括只读存储器(ROM)、压缩光盘(CD)、固态存储器、安全数字卡、紧凑型闪存卡和/或数据存储服务器或远程存储装置。

在一些实施方案中，注册记录172可各自包括对应的目标包裹112的物理特性或属性。例如，每个注册记录172可包括但不限于一个或多个模板SI、视觉数据(例如，参考雷达数据、参考激光雷达数据等)、2D或3D大小测量结果、重量和/或CoM信息。模板SI可表示包裹的已知或先前确定的可见特性，包括包裹的设计、标记、外观、外部形状/轮廓或它们的组合。2D或3D大小测量结果可包括已知/预期包裹的长度、宽度、高度或它们的组合。

在一些实施方案中，RDS 170可被配置为接收根据下文公开的实施方案创建(例如，针对先前未知的包裹和/或包裹的先前未知的方面)的注册记录172的新实例。因此，机器人系统100可通过以下操作将用于注册包裹112的过程自动化：扩展存储在RDS 170中的注册记录172的数目，由此在包裹112的更少的未注册实例的情况下使卸垛操作更高效。通过使用实况/操作数据动态地(例如，在操作/部署期间)更新RDS 170中的注册记录172，机器人系统100可有效地实施计算机学习过程，所述计算机学习过程可虑及先前未知或意外的条件(例如，照明条件、未知取向和/或堆叠不一致)和/或新近遇到的包裹。因此，机器人系统100可减少由于“未知”条件/包裹、相关联的人类操作员干预和/或相关联的任务失败(例如，包裹丢失和/或碰撞)而引起的故障。

RDS 170可包括真空夹持器数据173，包括但不限于特性或属性，包括可寻址真空区域的数目、真空夹持器装置(例如，多夹持器组件)的载运能力、真空协议(例如，真空水平、气流速率等)或用于控制机器人臂系统130和/或末端执行器140的其他数据。操作员可输入关于安装在机器人臂系统130中的真空夹持器的信息。然后，RDS 170识别与真空夹持器装置相对应的用于操作的真空夹持器数据173。在一些实施方案中，机器人臂组件139自动检测真空夹持器装置(例如，图3的多表面夹持器组件141)，并且RDS 170用于识别关于检测到的真空夹持器装置的信息。所识别的信息可用于确定真空夹持器装置的设置。因此，不同的真空夹持器装置或多夹持器组件可与机器人臂系统130一起安装和使用。

多表面夹持器组件

图7A至图7E、图8A至图8F以及图9A至图9F绘示了根据本技术的一个或多个实施方案的示例性末端执行器(例如，多表面夹持器组件700)。图7A绘示了前视图，图7C绘示了侧视图，并且图7E绘示了多表面夹持器组件700的后视图，其中图7B和图7D绘示了从前视图与侧视图之间或侧视图与后视图之间的角度看到的视图。图8A绘示了多表面夹持器组件700的俯视图，并且图8B至图8F绘示了诸如通过在图之间将视角连续旋转45度而围绕多表面夹持器组件700旋转的第一组透视图(例如，从上方)。图9A绘示了多表面夹持器组件700的仰视图，并且图9B至图9F绘示了诸如通过在图之间将视角连续旋转45度而围绕多表面夹持器组件700旋转的一组仰视透视图(例如，从下方)。

现在参看图7A至图7E、图8A至图8F以及图9A至图9F，末端执行器可包括多表面夹持器组件700，所述多表面夹持器组件能够可操作地耦接到机器人臂(例如，关于图3描述、在图7B中部分地示出的机器人臂组件139)。在一些实施方案中，多表面夹持器组件700对应于在上文关于图3至图5描述的末端执行器140。多表面夹持器组件700可包括位置被设置成彼此不平行的至少两个夹持设备(例如，顶垫702和侧垫704)。多表面夹持器组件700可被配置为基于同时接触、抓握和/或支撑目标物体的多个表面来抓握目标物体(还称为“目标包裹”)。在一些实施方案中，两个垫702和704彼此基本上垂直。例如，由所述两个垫限定的角度可在70度到110度之间以形成“L”形结构，所述结构被配置为接触、抓握和/或支撑目标物体的正交表面(例如，顶表面以及一个或多个侧表面)。

多表面夹持器组件700可包括顶部接触垫(顶垫702)，所述顶部接触垫具有被配置为接触和/或抓握目标物体的顶部/外侧面的顶部界面(例如，顶部界面702-1)。多表面夹持器组件700还可包括侧面接触垫(侧垫704)，所述侧面接触垫具有被配置为接触和/或抓握目标物体的侧面/外围表面/竖直表面的侧界面(例如，侧界面704-1)。所述垫和/或界面中的一者或多者可被配置为诸如使用真空力和/或夹持区域如上文描述抓握物体。在一些实施方案中，顶垫702具有比侧垫704更大的表面积，和/或顶垫702的至少一个尺寸大于侧垫704的尺寸中的任一者。例如，顶垫702的宽度可大于侧垫704的宽度，或者顶垫702的长度可大于侧垫704的长度。可替代地，顶垫702和侧垫704可具有用于接触目标物体的基本上相同的表面积(即，相似的长度和宽度)。

顶垫702可附接到多表面夹持器组件700的外壳结构(例如，外壳706)的底部部分。顶部界面702-1可面朝下。侧垫704还可耦接到外壳706。侧界面704-1可面向与顶部界面的面向方向正交的方向(例如，侧向方向)。顶部界面702-1和侧界面704-1彼此面向内，使得顶部界面702-1可接触物体(例如，箱子)的顶表面，并且侧界面704-1可接触物体的正交的侧表面。

侧垫704/侧界面704-1可增加被抓握的物体与末端执行器之间的抓握力或附着力。此外，机器人系统可将多表面夹持器组件700定向成使侧界面704-1在搬运被抓握的物体期间面向移动方向。因此，侧界面704-1与被抓握的物体之间的接触和/或抓握可提供对抗减小或削弱抓握力的诸如惯性力或其他剥离力的一种或多种力的额外支撑。可利用所述额外支撑/夹持来增加搬运速度，因为增加的力可能会被增加的支撑/夹持抵消。增加的搬运速度可在不增加丢失率的情况下减少搬运持续时间。诸如在抓握较重的物体和/或具有较柔软/精致的包裹表面材料的物体时，由侧界面704-1提供的额外抓握可进一步减少对被抓握的包裹且特别是对被抓握的包裹的顶表面的损坏(例如，包装材料/覆盖物的撕裂或划破)。

在一些实施方案中，机器人系统可包括处于预定缩回位置的侧垫704。例如，机器人系统可邻近于顶垫702放置侧垫704，其中侧垫704的底部部分与顶部界面702-1共面或在所述顶部界面上方。因此，机器人系统可将侧垫704保持在缩回位置并防止侧垫704接触顶部界面下方的物体或结构。基于缩回位置，机器人系统可选择性地部署和使用侧垫704。例如，当目标空间优化或要求(例如，紧密包装或特殊物体布置)例如由于潜在的碰撞而阻止使用侧垫704时，机器人系统可保持侧垫704。机器人系统可通过将放置和/或抓握侧界面所需的持续时间与搬运持续时间的对应减少进行比较来计算潜在的时间减少。在一些实施方案中，当搬运持续时间的减少超过用侧界面放置和/或抓握目标物体所需的时间时，机器人系统可部署和使用侧垫704/侧界面704-1。

在一些实施方案中，侧垫704可相对于顶垫702固定。在其他实施方案中，侧垫704可经由侧设位机构(例如，图7C至图7E中示出的侧设位机构710)进行耦接，所述侧设位机构被配置为相对于顶垫702和/或目标物体选择性地设置侧垫704的位置。例如，侧设位机构710可包括一组导轨(例如，图7C中的导轨712)和/或可旋转接头(例如，可旋转接头714)。因此，侧设位机构可沿着竖直方向(例如，沿着z轴线)和/或沿着一个或多个水平/侧向方向(例如，沿着x轴线和/或y轴线)移动侧垫704，如由虚线箭头714-1和714-2指示。在一些实施方案中，侧设位机构可使用可旋转接头来旋转/调整侧垫704的取向(例如，侧界面与顶部界面之间的角度)，使得可使侧界面704-1向上倾斜以面朝顶部界面702-1或向下倾斜以背向顶部界面702-1，如由虚线箭头714-3指示。侧设位机构可包括被配置为调整侧垫704相对于顶垫702的姿势的气动控制机构和/或电控制机构(例如，马达、致动器等)。

顶部界面702-1和/或侧界面704-1可相对于参考或校准板(例如，校准板708)布置成预定姿势。校准板708可用于(例如)相对于传感器装置(例如，图6中示出的成像系统160和/或视觉传感器装置143)校准多表面夹持器组件700的位置。在一些实施方案中，校准板147可以是具有用于校准或限定末端执行器140或夹持器组件141在操作环境内的位置、机器人臂组件139的位置或其组合的图案或设计的标牌。校准板708可包括可用于在视觉上识别或设置末端执行器组件的位置的结构(例如，校准板708上的结构708-2，包括布置成图案的多个参考点)。在一些实施方案中，校准板708的底部部分或边缘(例如，校准板708的边缘708-1)可沿着竖直面与顶部界面的外围边缘或表面共面。而且，侧界面704-1可被配置为接触目标物体的位于与校准板708相对或背向所述校准板的表面。

夹持界面

图10A至图10B绘示了根据本技术的一个或多个实施方案的第一示例性夹持界面1000。在一些实施方案中，夹持界面1000对应于关于图7A至图9F描述的多表面夹持组件700的顶部界面702-1和/或侧界面704-1。图10A绘示了夹持界面1000的前视图。图10B绘示了夹持界面1000的实施示例。

在一些实施方案中，夹持界面1000可包括抽吸元件1004，所述抽吸元件被配置为提供夹持/附着力(例如，真空力)以用于抓握目标物体。例如，抽吸元件1004包括抽吸管、吸盘和/或密封构件。抽吸元件1004可被分组为限定夹持区1002的区域或区(例如，真空区域1001-1、1001-2、1001-3，统称为真空区域1001)。每个分组的真空区域1001可独立地操作(例如，接合或脱离)。对于在图10A中绘示的示例，夹持界面1000可具有矩形真空区域1001，所述矩形真空区域相邻或并排地布置(例如，夹持区域1001-2与夹持区域1001-1和1001-3相邻)。对于在图10B中绘示的示例，多表面夹持器组件700的位置可被设置成区1和区2与目标物体(物体1)重叠。机器人系统可以激活重叠区(例如，区1和区2)以夹持目标物体。机器人系统可以停用或不接合非重叠区和/或与非目标物体重叠的任何区。

图11A至图11C绘示了根据本技术的一个或多个实施方案的夹持界面1100的第二示例。在一些实施方案中，夹持界面1100对应于关于图7A至图9F描述的多表面夹持组件700的顶垫702的顶部界面702-1和/或侧垫704的侧界面704-1。图11A绘示了夹持界面1100的前视图。在一些实施方案中，夹持界面1100包括被布置到同心真空区或区域(例如，真空区域1101-1和1101-2)中的抽吸元件1004。外部真空区域(例如，真空区2)的抽吸元件1004可包围或环绕内部真空区域(例如，真空区1)。如图11A中所示，真空区域1101-1被真空区域1101-2从真空区域1101-1的所有边缘包围。

图11B绘示了夹持垫1110(例如，顶垫702和/或侧垫704)的平面图。关于图11A描述的夹持界面1100对应于夹持垫1110的表面。夹持垫1110可包括用于独立区的单独的真空区域控制器(例如，真空区域控制器1102-1和1102-2)，诸如气动控制机构、电气控制机构(例如，马达、致动器等)、真空管线端口等。例如，内部真空区域(例如，真空区域1101-1)可包括专用的一组真空区域控制器1102-1，所述专用的一组真空区域控制器包括可操作地连接到内部区中的抽吸元件的气动连接器。而且，外部真空区域(例如，真空区域1101-2)可包括单独且专用的一组真空区域控制器1102-2，所述单独且专用的一组真空区域控制器包括可操作地连接到外部区中的抽吸元件的气动连接器。

图11C绘示了夹持界面1100的实施示例。多表面夹持器组件700的位置可被设置成真空区域1101-1与目标物体(物体1)完全重叠。机器人系统可激活重叠的真空区域(例如，真空区域1101-1)以夹持目标物体。机器人系统可以停用或不接合不与目标物体完全重叠的真空区域(例如，真空区域1101-2)和/或可能与非目标物体部分重叠的任何区。

在一些实施方案中，多表面夹持组件700的顶部界面702-1和/或侧界面704-1包括被划分到真空区域中的抽吸元件1004。例如，顶部界面702-1和侧界面704-1都包括关于夹持界面1000或夹持界面1100所描述而布置的抽吸元件1004。在一些实施方案中，顶部界面702-1和侧界面704-1彼此不同。例如，顶部界面702-1可具有如关于夹持界面1000或夹持界面1100所描述而布置的抽吸元件1004，而侧界面704-1仅包括抽吸元件1004的单个区域。在一些实施方案中，侧界面704-1具有比顶部界面702-1更小的表面积，并且进而仅需要单个真空区域。作为另一示例，顶部界面702-1可具有如关于夹持界面1000所描述而布置的抽吸元件1004，并且顶部界面704-1可具有如关于夹持界面1100所描述而布置的抽吸元件1004，或反之亦然。

抓握集合

图12绘示了根据本技术的一个或多个实施方案的抓握集合(还称为“物体抓握集合”)的示例性方面。一般来说，抓握集合是指定物体与指定的末端执行器之间的可能抓握的分类或分组。抓握集合可包括一个或多个抓握模型(还称为“物体抓握模型”)，所述一个或多个抓握模型描述了物体与用于夹持物体的末端执行器之间的关系。更具体地，抓握模型可描述末端执行器与物体之间的特定抓握配置，例如末端执行器在抓握操作期间相对于物体的姿势、位置和/或取向，以及与抓握配置相关联的信息，诸如夹持器参数、抓握稳定性和/或移动控制参数。例如，第一抓握模型2202绘示了末端执行器140(例如，图3的多表面夹持器组件141和图7的多表面夹持器组件700)与第一物体2230之间的特定抓握配置，并且第二抓握模型2204绘示了多表面夹持器141与第二物体2232之间的特定抓握配置。

作为抓握模型的说明性示例，经由表示用于抓握第一物体2203的末端执行器140的第一抓握模型2202的第一俯视图2212和第一侧视图2214来绘示第一抓握模型2202。第一物体2203可具有比末端执行器140更小或更大的占用面积，并且在第一俯视图2212中被末端执行器140至少部分地遮蔽。因此，对于第一俯视图2212，示出第一物体2203以指示相对于末端执行器140的姿势。类似于第一抓握模型2202，经由表示用于抓握第二物体2232的末端执行器140的第二抓握模型2204的第二俯视图2222和第二侧视图2224来绘示第二抓握模型2204。

在一些实施方案中，图1的机器人系统100可通过以下操作来离线地(例如，在物体搬运操作之前)推导抓握集合的一个或多个抓握模型中的每一者：通过相对于物体模型(例如，与主数据中的注册物体中的一者相对应的物体模型)来覆盖或布置末端执行器140的模型而识别针对所述物体模型的可能的末端执行器140姿势、位置和/或取向。机器人系统100可遵循预定模式或例程来布置和分析物体模型。多表面夹持器组件141的抓握模型可限定侧垫141-1和顶垫141-2两者的姿势、位置和/或取向组合以及与抓握配置相关联的信息，诸如夹持器参数、抓握稳定性和/或运动控制参数。作为示例，顶垫141-2的给定姿势、位置和/或取向可包括侧垫141-1的不同竖直位置，并且所述组合中的每一者可对应于单个抓握模型。当生成抓握模型时，机器人系统100可考虑侧垫141-1的行程长度。例如，虽然顶垫141-2在质心上相对于物体的顶表面的夹持位置对于在物体运输期间的稳定性可能是最佳的，但是机器人系统100可偏移顶垫141-2的夹持位置以适应侧垫141-1的位置。更具体地，对于较大的物体(例如，水平尺寸大于侧垫141-1的最大行程长度的箱子)，由于侧垫141-1可沿着物体的竖直侧，所以侧垫141-1的相对位置可能会限制可将顶垫141-2的位置设置在物体的顶表面上方的水平距离，这可能导致顶垫141-2的夹持位置偏离物体的质心。

在一些实施方案中，机器人系统100可基于物体的一个或多个特点(诸如高度、重量、CoM位置、故障/丢失率、包裹表面材料等)而生成包括侧垫位置的抓握模型。例如，机器人系统100可选择将侧垫141-1最靠近CoM位置放置的预定位置或放置规则(例如，与顶部或底部对准)。而且，机器人系统100可依据物体的重量和/或高度来降低侧垫位置。另外或可替代地，机器人系统100可根据包裹表面材料而推导不同的位置或使用不同的推导规则。

在一些实施方案中，抓握集合可包括末端执行器140的通知的夹持姿势，其中其一个或多个边缘/边界与包裹的一个或多个对应的外围边缘对准。例如，通知的夹持姿势可具有夹持区1002的一个或多个外围边缘，和/或图10的真空区域1001-1、1001-2、1001-3可与目标包裹112的对应的外围边缘对准。换句话说，物体的外围边缘和真空区域的对应的外围边缘可与竖直线/平面重合。在一个或多个实施方案中，抓握集合可以是通知的抓握集合，其包括不具有未对准的末端执行器夹持姿势的通知的抓握模型。

在其他实施方案中，诸如当机器人系统100检测不到图3的物体堆叠165中的注册物体中的任一者时(例如，当目标物体不对应于注册物体时)，机器人系统100可动态地推导抓握集合。在机器人系统100检测不到注册物体的情况下，机器人系统100可基于最小可行区域(MVR)而实时生成抓握集合。例如，在针对MVR生成抓握集合时，机器人系统100可使用检测结果，诸如物体的边缘位置和角位置，来确定相对于物体的夹持表面(例如，顶表面)的对顶垫141-2的夹持位置。机器人系统100可生成针对侧垫141-1的抓握模型，其中侧垫141-1处于与物体的顶部边缘对准的默认侧垫位置(还称为默认垫位置)。

抓握集合还可包括与抓握模型相关联的运动控制参数2208。移动控制参数2208可各自包括识别在对应的抓握模型下用于抓握物体的图10的真空区域1001-1、1001-2、1001-3和/或抽吸元件1004的指示。而且，移动控制参数2208可包括表示在抓握和搬运物体(例如，目标包裹112)时用于控制末端执行器140的移动的速度、加速度、力、速率、对其的调整等的值。例如，移动控制参数2208可包括用于抓握模型中的每一者的搬运速度倍数(TSM)(例如，用于第一抓握模型2202的第一TSM 2218和用于第二抓握模型2204的第二TSM2228)。TSM可包括范围R∈[0,1]中的值，其中‘1’表示全速或最大速度，‘0’表示停止或不移动。

机器人系统100可根据对应的抓握模型(离线地和/或动态地)推导或计算移动控制参数2208。机器人系统100可基于末端执行器140与物体(例如，第一物体2230或第二物体2232)之间的重叠、关于物体的物理方面的信息和/或来自相同类型的物体的先前搬运的记录来推导移动控制参数2208。例如，机器人系统100可识别重叠区域和对应的真空区域1001-1、1001-2、1001-3和/或抽吸元件1004。此外，机器人系统100可使用预定函数推导移动控制参数2208，所述预定函数将重叠区域的大小或数量和/或物体上方的抽吸元件1004的数目作为输入。例如，机器人系统100可针对抓握模型确定将激活哪些真空区域(例如，图10A的区域1001-1-1001-3或图11A的区域1101-1和1101-2)。所述预定函数还可使用主数据中关于物体的重量、CoM信息、一个或多个尺寸、表面类型和/或其他信息。在一些实施方案中，机器人系统100可基于在搬运期间初始夹持失败和/或包裹丢失的发生(例如，用于减小参数)或长时间不存在(例如，用于增加参数)而自动调整移动控制参数2208(例如，TSM)。

机器人系统100可根据侧垫141-1的放置来处理移动控制参数2208。例如，机器人系统100可基于侧垫141-1的夹持位置与物体的CoM或中心部分之间的距离和/或基于扭矩的关系而推导移动参数2208。在一些实施方案中，当侧垫141-1的夹持位置的竖直位置更靠近CoM或中心部分(这对应于更高的夹持稳定性)时，机器人系统100可增加TSM。在其他实施方案中，机器人系统100可针对在CoM下方的侧垫141-1的夹持位置推导比在CoM上方的侧垫141-1的夹持位置更高的TSM值。

作为所说明的示例，第一TSM 2218可大于第二TSM 2228，因为与第二抓握模型2204相比，第一抓握模型2202覆盖了第一物体2230的更大量的顶表面。换句话说，第一TSM2218可以是“X”并且第二TSM 2228可以是“Y”，其中‘X>Y’。

在一些实施方案中，对于离线推导的抓握集合，机器人系统100可分析图像数据以选择对于使用末端执行器140夹持目标包装112所适用的抓握集合。机器人系统100可使用上文描述的一个或多个参数，例如角/边缘的开放度、阈值距离等，来限定和/或选择夹持姿势。在一些实施方案中，机器人系统100可进一步使用TSM和/或其他参数来选择产生最低搬运时间、最低估计失败率或平衡两个或更多个因素的组合的夹持姿势。

末端执行器

图13示出了根据本技术的一些实施方案的适于与机器人系统(例如，图1至图2的机器人系统100)一起使用的夹持设备1300。夹持设备1300可对应于上文关于图3描述的多表面夹持器组件141的一部分。例如，夹持设备1300可对应于在图3中示出的侧垫141-1和顶垫141-2。图14是图13的夹持设备1300的分解视图。夹持设备1300可以是被配置为从静止位置(例如，在卸垛平台(诸如图3的平台110)上的静止位置)夹持包裹的任何夹持器或夹持器组件。夹持设备1300可包括夹持器机构1310和接触或密封构件1312(“密封构件1312”)。夹持器机构1310包括主体1314和多个抽吸元件1316(在图14中标识出一个)，每个抽吸元件被配置为穿过构件1312的开口1318(在图14中标识出一个)。在组装好时，抽吸元件1316中的每一者可部分地或完全地延伸穿过对应开口1318。例如，抽吸元件1316可朝向密封构件1312的第二侧1321延伸穿过第一侧1319。

多面夹持器组件的操作计划

图15绘示了根据本技术的一个或多个实施方案的示例性放置计划。所述放置计划可基于目标容器(例如，对应于三壁车的目标容器1500)，例如基于目标容器的类型、大小、物理特点、实时条件等。可基于在目标容器1500中在降低和/或放置物体期间可能与侧垫704碰撞的所述目标容器的壁的存在和/或位置而推导放置计划。机器人系统可基于识别和推导远离障碍物(诸如目标容器1500的壁或先前放置/现有的物体)的侧垫704和/或目标物体(例如，物体1、2和/或3)的对应(例如，接触)外围表面(在图15中使用图案化边缘示出)的位置而推导放置计划。而且，机器人系统可根据处理序列而推导放置计划，所述处理序列可用于跟踪或估计目标容器的实时条件(例如，物体位置、表面高度、容器壁的实际形状/位置等)。

对于在图15中绘示的示例，机器人系统可推导对应于三壁车的目标容器1500的放置计划。处理序列可首先识别物体1的搬运，紧接着是物体2的搬运，且然后是物体3的搬运。机器人系统可基于用于将远离侧壁和现有的物体的指定侧表面(例如，指定通过侧垫704接触或由所述侧垫支撑的侧表面)定向的预定过程、规则集、模板等而推导放置计划。在图15中，用图案绘示了指定通过侧垫704接触的侧表面。例如，物体1具有被指定为可被侧垫704接触的表面的底表面和右侧表面，并且物体3具有被指定为可被侧垫704接触的表面的底表面和左侧表面。此外，每个物体的放置位置可被推导为更靠近角、壁、先前放置的物体和/或其他放置规则或偏好。因此，可抵靠着目标容器1500的内部角1500-1放置物体1，其中指定的侧表面(用图案绘示)远离形成对应的内部角的壁和/或与所述壁相对地放置。机器人系统可推导物体2抵靠着内壁(例如，壁1500-2)和与物体1相邻的放置位置。物体2的指定表面(用图案绘示)可定向成与内壁和/或物体1相对或远离所述内壁和/或所述物体。

当目标容器1500中的剩余空间仅够用于一个物体时，机器人系统可应用对应的一组规则、过程等。例如，机器人系统可基于将指定表面1502定向成与内壁1500-2相对、在剩余空间之外和/或远离先前放置的物体而推导对应物体(例如，物体3)的放置姿势。而且，机器人系统可基于在将物体在剩余空间中降低和/或放置之前释放和/或缩回侧垫704(例如，从表面1502-2)而推导放置姿势。例如，通过使用顶垫702和侧垫704，将物体3从开始位置搬运到目标容器1500处的投放位置。侧垫704可与物体3的表面1502-2接触，而顶垫702与物体3的顶表面接触。然而，由于目标容器1500中的剩余空间是有限的，所以根据由机器人系统推导的放置计划，在将物体3降低到目标容器1500中之前从表面1502-2释放和/或缩回侧垫704。以此方式，侧垫704将不会被物体2的表面遮挡。可替代地，侧垫704可与物体3的表面1502-1接触，而顶垫702与物体3的顶表面接触。在这些情况下，根据由机器人系统推导的放置计划，在将物体3降低到目标容器1500中之前，不会从表面1502-1释放或缩回侧垫704。放置计划将基于将物体从开始位置搬运到投放位置所需的估计时间来优化侧垫704在目标物体上的位置。将关于图17B和图17C进一步描述对用于搬运物体的时间的优化。

在一些实施方案中，机器人系统可基于将容器内的实时和/或估计的表面高度与对应目标的侧垫704位置进行比较而推导放置位置。例如，当侧垫位于被搬运的物体的底部/边缘上方时，机器人系统可计算在被搬运的物体放置在候选位置时所述垫的底部的高度，并将计算出的高度与表面高度进行比较。当计算的高度高于表面高度时，机器人系统可验证放置位置。

使用多表面夹持器组件进行物体操纵

图16绘示了根据本技术的一个或多个实施方案的用于操作机器人系统的流程图。所述流程图可对应于操作机器人系统(例如，关于图1描述的机器人系统100)和/或多表面夹持器(例如，关于图7A至图9F描述的多表面夹持器组件700的方法1600。所述方法可包括推导处理序列、放置计划/位置和/或对应的运动计划。所述方法还可包括实施(例如，经由将运动计划或对应的信息传送给机器人单元)和/或执行(例如，在机器人单元处)所述运动计划以搬运物体。

在框1602处，机器人系统可分析与开始位置(还称为源位置)和/或任务位置(还称为目的地位置)相对应的传感器信息。例如，机器人系统可获得描述所述开始位置和/或所述任务位置的传感器信息。所述传感器信息可包括成像传感器信息，诸如3D点云信息和/或2D信息。在一些实施方案中，获得传感器信息可包括使用关于图1描述的成像系统160来捕获开始位置和/或任务位置的图像。在一些实施方案中，获得传感器信息可包括接收图像数据以基于所述图像数据识别目标包裹或物体，如关于图4A和图4B所描述。而且，机器人系统可识别与用于接收物体的任务位置相对应的一组或一种类型的容器(例如，托盘、笼子、手车、箱子等)。在一些实施方案中，机器人系统可访问与任务位置相对应的用于所识别的容器的模型或模板，以用于后续处理和分析。机器人系统还可分析传感器信息(例如，2D图像和/或3D深度图)以确定与开始位置和/或任务位置相关联的一个或多个实时条件(例如，表面高度、物体/障碍物位置、形状、类型等)。例如，在图15中，所述任务位置可以是对应于三壁笼子的目标容器1500。在一些实施方案中，从不同组的图像传感器信息描绘所述开始位置和所述任务位置。例如，这可能是因为所述开始位置和所述任务位置彼此相隔不能通过单个图像成像的距离。例如，第一组一个或多个图像可描绘开始位置，并且第二组一个或多个图像可描绘任务位置。可替代地，可从单组一个或多个图像描绘开始位置和任务位置。

在框1603处，机器人系统可生成与处于源位置的一个或多个物体(例如，图4A和4B中的物体)相对应的检测假设。机器人系统可基于分析成像传感器信息以诸如通过以下方式检测物体而生成检测假设来识别一个或多个物体：识别在成像传感器信息中描绘的物体的类型或标识符和/或所述物体的现实世界位置。在一些实施方案中，机器人系统可基于检测角和/或边缘、识别表面、将表面尺寸与主数据进行比较、将表面或其一部分的视觉图像与主数据进行比较等而识别物体。在主数据中具有对应条目的物体被称为注册物体。在主数据中不具有对应条目的物体被称为未注册物体。机器人系统可访问注册物体的特征数据。机器人系统可诸如通过访问诸如尺寸、重量、CoM位置等的其他描述来访问归属于注册物体的附加描述。对于注册物体，检测假设可包括已被机器人系统100检测到的注册物体的身份、附加描述、取向和/或相对位置。

在一些实施方案中，作为生成检测假设的一部分，机器人系统100可识别在图像数据(例如，点云数据)中表示的物体堆叠(例如，图4A和4B中的物体堆叠404)的暴露的外部角。例如，机器人系统100可基于检测到具有不同取向(例如，以不同的角度延伸)的暴露边缘(例如，在3D图像数据中识别的边缘，还称为3D边缘)中的两者或更多者之间的交叉点/接合点而识别暴露的外部角(例如，图4A中的角C1、C2和C3)。在一个或多个实施方案中，当暴露边缘形成在预定范围(还称为角度范围)内的角度时，诸如对于大于和/或小于90度的阈值角度范围，机器人系统100可识别暴露的外部角。

作为说明性示例，机器人系统100可通过识别图4A的深度区Z1和相邻的深度区Z2和Z3来识别开放角C3。当扫描的区域层中的一组相邻水平位置具有彼此在阈值连续性范围内的深度值(其表示对应于物体表面的点云数据)时，机器人系统100可识别深度区Z1。机器人系统100可将相邻的深度区Z2和Z3识别为具有在相对于深度区Z1中的深度值的阈值连续性范围之外的深度值的其他水平位置。

在一些实施方案中，当深度值改变为落在阈值连续性范围之外时和/或当深度值变化的位置与形状模板(例如，物体之间的直线和/或最小分隔宽度)匹配时，机器人系统100可识别深度区Z1的边缘和/或相邻深度区Z2和Z3的开始。更具体地，相邻深度区Z2和Z3可具有表示距成像传感器的距离比物体堆叠404的表面(例如，深度区Z1)的深度值更远的深度值。深度区Z1与相邻深度区Z2和Z3之间的所得边缘可对应于暴露边缘。在一些实施方案中，识别开放的3D角，例如角C3，可包括验证深度区Z1形成象限，而相邻区域616a-c对应于剩余的象限和/或空的空间，诸如在物体堆叠之外的位置。

在一些实施方案中，机器人系统100可处理三维(3D)点云以识别物体堆叠中的物体的暴露的外部角(例如，图4A的暴露的外部角中的一者)。例如，所述3D点云可对应于由3维相机生成的物体堆叠404的俯视图。所述点云可包括具有指示深度的多个层的3维点云。每个层和/或表面可对应于彼此处于阈值连续性范围内的一组水平相邻的深度值。例如，阈值连续性范围可要求水平相邻的位置具有彼此在阈值距离内(例如，小于1厘米)或在根据斜率的阈值距离内的深度量度。所述点云的层的深度可对应于沿着垂直于对应物体的表面的方向的间隔(例如，竖直间隔)。

因此，机器人系统可分析和处理点云以分割所述层和/或识别开放的3D边缘/角。在一些实施方案中，机器人系统100(例如，其中的一个或多个处理器)可根据一个或多个预定连续性规则/阈值基于对点云中的深度值进行分组来识别层。例如，当深度值在彼此的阈值连续性范围内时和/或当深度值遵循表示平坦和连续表面的恒定斜率时，机器人系统100可对一组水平相邻/连接的深度值进行分组。机器人系统100可将暴露边缘(例如，图4A和4B中的暴露边缘)识别为所识别的层的边界。换句话说，机器人系统100可将暴露边缘识别为发生达到要求的深度变化的层/表面的水平外围位置。一般而言，形成物体堆叠404的顶层的物体/边缘的深度量度可具有比形成所述顶层下方的下层的物体/边缘更低的量值。

在一些实施方案中，机器人系统100可基于点云分割而生成检测假设。例如，机器人系统100可分析点云分割的顶层中的表面，并将来自2D图像的与所述表面相对应的提取的特征(诸如纹理、图案或其他视觉特征)与主数据中的注册物体的纹理、图案和/或视觉特征进行比较。而且，机器人系统100可将表面的形状和/或尺寸与主数据进行比较。机器人系统100可基于使顶层表面的一个或多个特性与主数据中的对应的注册物体匹配而生成物体的检测假设。在一些实施方案中，当点云分割和/或提取的特征与主数据中的注册物体不匹配时，机器人系统100可生成检测假设作为MVR，如上文描述。在其他实施方案中，物体堆叠中的物体未包括在主数据中的信息和机器人系统100可生成检测假设作为MVR。

在一些实施方案中，机器人系统100可生成检测假设以包括关于开放边缘和开放角的开放程度的信息。例如，在检测过程期间，机器人系统100可基于检测假设的开放边缘和诸如图4A的水平开放距离D1的水平开放距离而计算水平面开放度，和/或基于检测假设的开放边缘和诸如图4B的竖直开放距离D5的竖直开放距离而计算竖直面开放度。

在框1604处，机器人系统100可基于细化单元而生成用于检测假设的假设细化。在一些实施方案中，机器人系统100可基于开放角单元中的一者或多者而生成细化单元。例如，机器人系统100可通过连结用于生成物体的检测假设的开放角单元中的每一者来生成细化单元。如上文描述，机器人系统100可通过根据细化单元应用各种算法来生成假设细化。例如，机器人系统100可使用迭代最近点细化(ICP)来细化检测假设的姿势、取向、大小和/或位置，所述迭代最近点细化旨在最小化两个点云之间的差异或对细化单元和检测假设的奇异值分解(SVD)以生成假设细化。

在框1605处，机器人系统可推导用于将物体中的一者或多者从开始位置搬运到任务位置的运动计划。通常，所述运动计划可包括基于一个或多个检测假设的一个或多个轨迹和/或操作。例如，所述运动计划可包括用于夹持物体的抓握模型、机器人臂的轨迹以及用于抓握和释放物体的操作。将在下文讨论运动计划的轨迹的推导和操作。

在一些实施方案中，机器人系统100可在框1606中确定用于检测假设的抓握集合。例如，机器人系统100可确定对应于目标物体的检测假设的物体抓握集合。通常，可基于与检测假设相对应的物体的物体性质(例如，诸如物体尺寸、物体质量和/或质心)与物体抓握集合的物体性质匹配而确定用于检测假设的物体抓握集合。如上文描述，物体抓握集合是描述物体-夹持器对的一组不同夹持配置的信息。例如，物体抓握集合可以是对应于与单个物体相对应的夹持配置的物体抓握模型中的一者或多者。一般而言，对于主要利用基于吸力的夹持器的堆垛和卸垛操作，抓握模型中的每一者在框1604中生成的给定尺寸的检测假设(例如，所考虑/分析的包裹)可包括：相对于物体表面的夹持器的夹持表面的放置、位置和/或取向；抓握模型的抓握强度或抓握稳定性的对应量度；在能够独立或单独控制吸力的夹持器(即，能够独立控制的吸盘或多排吸垫)的情况下进行接合以用于抓握的抽吸元件，或它们的组合。如上文描述，根据所确定的物体抓握集合，物体抓握模型还可包括与包括顶垫和侧垫的末端执行器相关联的参数。所述参数可包括(例如)与图3的机器人臂系统132和末端执行器140的移动相关联的取向参数，诸如机器人关节值。在一些实施方案中，可在推导出运动计划之前生成物体抓握集合(例如，经由预编程或离线推导)以减少总处理时间。在其他实施方案中，诸如对于包括MVR的检测假设，可实时生成物体抓握集合。机器人系统100可在检测结果的最小可行区域和/或物体的开放度下选择或生成与检测假设的尺寸相对应的物体抓握集合或多个物体抓握集合。在框1607处，机器人系统100可基于物体抓握集合的抓握-放置组合可行性而根据一个或多个检测假设确定目标物体。一般来说，抓握-放置组合可行性确定末端执行器和检测假设的抓握集合是否包括能够至少抓握、搬运和放置与检测假设相对应的物体的一个或多个抓握模型。当抓握-放置组合可行性不存在时，机器人系统100可放弃进一步生成用于检测假设的运动计划。在一些实施方案中，可基于物体的抓握可行性和物体的放置可行性或其组合而确定抓握-放置组合可行性。

抓握可行性描述了机器人是否有可能在不碰撞或无意干扰相邻物体(即，与环境中的其他物体碰撞或无意地夹持相邻物体)的情况下在开始位置处接近物体，夹持物体以及从开始位置移除物体。放置可行性描述了机器人是否有可能在夹持了物体的情况下接近放置位置，将物体放置在放置位置，以及在放置物体之后离开放置位置。一般而言，机器人系统100可基于多个因素而确定所述抓握可行性和所述放置可行性，所述因素诸如物体的可接近性(例如，抓握模型是否将与相邻物体重叠)、潜在的障碍物和碰撞(例如，夹持器和/或物体是否将在抓握操作和/或释放操作期间在接近和/或离开时与物体碰撞)、机器人限制(例如，机器人是否存在机器人关节值的组合以实现抓握模型的姿势/取向)。在一些实施方案中，机器人系统100可并行地确定抓握可行性和放置可行性。在其他实施方案中，机器人系统可连续地确定抓握可行性和放置可行性，其中放置可行性是基于抓握可行性的确定而确定的。

在一些实施方案中，当目标物体的开放边缘或开放角不具有足够的开放程度以允许末端执行器接触目标物体(例如，这可基于关于图4A和图4B描述的阈值距离D2、D3和D4中的一者或多者)时，机器人系统100可在框1608处确定抓握模型中的一者的抓握可行性是不可行的。可使用阈值距离D2、D3和D4确定是否有足够的间隙空间供多表面夹持器接近，是否有足够的表面积来接触和抓握物体。例如，如图4A中所示，角C5的开放程度由于其接近物体D的角C6而受到限制。角C5和C6进而对于多表面夹持器组件(例如，图3中的多表面夹持器组件141)来说可能彼此太靠近而不能接触在角C5附近的物体C的表面。由此，在物体D的角C5处的抓握位置的抓握模型将被识别为不可行的，并且由此被确定为不可行的，而在图4A中在物体D的角C3周围的抓握位置的抓握模型将是可行的。

在框1609处，机器人系统100可确定检测假设的放置可行性。一般而言，机器人系统100可在确定对应于检测假设的物体放置在任务位置处的放置可行性时有效地执行类似于确定抓握可行性的分析。换句话说，机器人系统100可确定目标包裹是否或如何可放置在任务位置处而不与现有障碍物(例如，容器壁、先前放置的物体等)碰撞。在一些实施方案中，机器人系统100可分析对应于所述任务位置的传感器数据以识别检测假设的放置位置和对应的间隙测量结果。例如，机器人系统100可有效地分析目标包裹在放置位置处的模型以及对应于抓握模型的末端执行器的对应位置。在一些实施方案中，机器人系统可考虑抓握模型的不同姿势(例如，旋转180°)。

返回到框1607，机器人系统100可确定抓握-放置组合可行性。在一些实施方案中，机器人系统100可通过识别满足抓握可行性和放置可行性两者的抓握模型来确定对于末端执行器-物体对是否存在抓握-放置组合可行性。在一些实施方案中，机器人系统100可通过确定是否可使用抓握模型在物体的开始位置与任务位置之间计算出初步轨迹来确定抓握-放置组合可行性。由于完整轨迹的计算是计算资源密集型的，因此机器人系统100可实施试探法来快速确定是否可计算出机器人运动的轨迹。例如，机器人系统100可计算出所述初步轨迹以确定是否存在任何逆运动学解(例如，关节值)以将开始位置处的抓握模型与任务位置处的抓握模型联系起来。如果机器人系统100确定不能计算出初步轨迹，则机器人系统可剔除那个抓握-放置对的任何抓握模型。机器人系统可将剩余的集合确定为提供抓握可行性和放置可行性的抓握模型。当一个以上抓握模型被确定为可行时，机器人系统可根据对应的移动控制参数2208(例如，TSM)对可行的模型进行排序。

在框1614处，机器人系统100可计算运动计划的轨迹。更具体地，机器人系统100可计算与存在抓握-放置组合可行性的物体相对应的检测假设的轨迹。可计算所述轨迹中的每一者以避免碰撞并且可包括轨迹路径、对应于沿着所述轨迹路径的点的机器人关节值、加速度和/或沿着轨迹的点的速度。作为示例，机器人系统100可基于逆运动学算法而计算轨迹。运动计划的轨迹可包括源接近轨迹、抓握接近轨迹、抓握离开轨迹、物体搬运轨迹、目的地接近轨迹、目的地离开轨迹或它们的组合。源接近轨迹可以是在初始位置(诸如机器人臂在放置前一个物体之后的最后位置或机器人臂的默认位置)与目标物体(例如，要抓握的物体)上方的位置之间计算出的轨迹。抓握接近轨迹可以是计算为接近和抓握物体的轨迹。抓握离开轨迹可以是计算为一旦已经抓握物体就离开抓握位置的轨迹。物体搬运轨迹可以是计算为将物体从抓握位置上方搬运到任务位置处的放置位置上方的轨迹。目的地接近轨迹可以是计算为接近放置位置并释放物体的轨迹。抓握离开轨迹可以是计算为一旦已经抓握物体就离开放置位置的轨迹。在一些实施方案中，可将抓握接近、抓握离开、目的地接近和目的地离开计算为线性轨迹。

在一些实施方案中，机器人系统100可基于可行的旋转机动来计算物体搬运轨迹，以用于根据移动方向将侧垫和/或顶垫定向。例如，机器人系统100可包括用于旋转物体的轨迹，使得侧垫的侧界面(例如，图7的侧界面704-1)面向随后移动的水平方向。在一些实施方案中，机器人系统100可在超过阈值条件(例如，超过预定位置、具有最小长度等)的线性移动之前或结合所述线性移动来计算旋转机动的轨迹。在一些实施方案中，机器人系统100的操作可任选地包括与使用侧垫相关联的成本和效益分析。对于成本，机器人系统可计算用于设置侧垫的位置(例如，根据之前的位置或设置)和/或使用所述侧垫夹持物体的侧垫设位持续时间估计(还称为持续时间估计)。侧垫设位持续时间估计可对应于包括以下各项的时期：侧垫从侧垫的缩回状态和/或先前计划的位置开始；侧向地移出侧垫；将侧垫降低/升高到位置；使侧垫朝向目标物体表面侧向地移动；和/或将夹持力作用在接触表面上。在一些实施方案中，可针对此类动作或机动中的一者或多者预先确定对应的持续时间估计。对于效益分析，机器人系统可将在不接合侧垫和/或没有旋转调整的情况下的基线搬运持续时间与侧垫辅助式运动计划的减少的搬运持续时间进行比较。机器人系统可比较成本和效益(例如，节省时间)以确定部署和使用侧垫的总成本/效益。在一些实施方案中，机器人系统可对一组物体执行成本/效益分析。

在一些实施方案中，机器人系统100可计算源接近轨迹以包括对用于多表面夹持器组件的夹持器配置操作的夹持器配置参数的计算。多表面夹持器组件的夹持器配置操作是将侧垫(例如，侧垫141-1和/或侧垫704)的位置配置为与抓握-放置组合可行性相对应的抓握模型的侧垫的位置的过程。夹持器配置参数定义了当在源接近轨迹期间执行夹持器配置操作时的时序。一般来说，夹持器配置操作可在源接近轨迹期间的三个时期期间发生：执行前时期、机器人运动时期和执行后时期。执行前时期紧接在机器人臂沿着源接近轨迹的运动之前发生，使得夹持器配置操作一完成，机器人臂就将开始执行轨迹。机器人运动时期发生在机器人臂沿着源接近轨迹的运动期间，使得夹持器配置操作将在机器人臂运动期间开始，但没有必要在机器人臂完成执行源接近轨迹之前完成夹持器配置操作。执行后时期发生在机器人臂完成源接近轨迹的执行之后，夹持器配置参数使得一旦机器人臂已经停止运动便开始夹持器配置操作(例如，机器人系统100将在执行下一个轨迹之前生成指令以一直等到夹持器配置操作完成)。

在一些实施方案中，机器人系统100可基于传感器信息而计算夹持器配置操作的夹持器配置参数。例如，由于多表面夹持器将在夹持器配置操作期间改变形状，所以机器人系统100可分析对应于沿着轨迹路径的环境的传感器信息以识别与所述环境中的物体的潜在碰撞。一般来说，对应于机器人运动时期的夹持器配置参数在减少由于夹持器配置操作而引起的运动计划执行的延迟方面是最佳的。基于对传感器信息的分析，机器人系统100可计算夹持器配置参数以在沿着轨迹路径的将避免碰撞的任何点处开始夹持器配置操作。例如，可在多表面夹持器组件已经离开三壁车之后将夹持器配置参数设置为沿着轨迹路径的一点，以避免与车的潜在碰撞。在一些实施方案中，诸如当在机器人运动时期期间的夹持器配置操作可导致碰撞时，机器人系统100可将夹持器配置参数的默认值设置为执行后时期。

在一些实施方案中，机器人系统100可推导用于将目标物体放置在任务位置处的放置位置。例如，机器人系统100可使用预定的一组过程、模型和/或规则来推导放置位置。所述放置位置由此可基于已经位于任务位置处的物体的位置和取向以及物体之间的距离。此外，放置位置可基于任务位置的形状和大小。例如，任务位置可以是笼车(例如，关于图3描述的笼车120)或传送带。

在框1616处，机器人系统100可选择用于执行的运动计划。在一些实施方案中，机器人系统100可基于执行优先级来选择运动计划。在一个示例中，执行优先级可基于抓握稳定性，其中机器人系统100可针对具有较高抓握稳定性的物体优于具有较低抓握稳定性的物体选择运动计划。在另一示例中，执行优先级可基于物体搬运轨迹的轨迹路径的路径长度，其中与具有源位置与任务位置之间的较长路径长度的物体相比，机器人系统100可针对具有较短的路径长度的物体选择运动计划。在一些实施方案中，机器人系统100可基于计算时间限制来选择运动计划。计算时间限制可以是允许机器人系统100执行运动计划运算/计算的最大时间段。作为示例，计算时间限制可以是秒数量级，诸如1秒到1.5秒。当达到计算时间限制时，机器人系统100可选择具有最高执行优先级的运动计划。在一些情况下，如果在达到计算时间限制之前没有完成运动计划，则机器人系统100可选择并执行完成的第一个运动计划。

在框1620处，机器人系统可实施运动计划。机器人系统可基于将运动计划和/或对应的命令/设置传送给机器人单元来实施运动计划。因此，机器人单元可执行运动计划并搬运目标物体。

在一些实施方案中，机器人系统100可在框1622处在执行接近轨迹期间而不是在计算接近轨迹期间计算夹持器配置参数并执行夹持器配置操作。例如，夹持器配置参数的计算可作为后台进程执行，并且然后在源接近轨迹的执行期间执行。可与上述类似地执行夹持器配置参数的计算。

在一些实施方案中，如在框1624处所说明，机器人系统可确定与MVR相关联的未被辨识的或未注册物体的物理物体性质，诸如物体高度、物体质量和/或物体质心，或验证对应于注册物体中的一者的检测假设的物体的物理性质。作为质量和/或质心确定的示例，机器人系统100可在末端执行器140抓住物体时使用来自末端执行器140(例如，多表面夹持组件)上的力-扭矩传感器的测量结果来计算物体质量和/或物体的质心。

作为高度确定的示例，机器人系统100可在目标物体的搬运/移除之前以及在目标物体的搬运/移除之后获得和分析目标物体在源位置处的位置的传感器信息，诸如3D图像数据，以确定目标物体的高度。更具体地，机器人系统100可通过比较以下各项来确定目标物体的高度：1)当物体处于开始位置时来自3D图像数据的与目标物体的顶表面的部分相对应的深度信息(还称为物体顶表面深度)；以及2)目标物体从源位置被移除之后，目标物体堆叠在其上方的表面(即，目标物体下方的物体的顶表面)的深度信息(还称为物体支撑表面深度)。换句话说，机器人系统可将目标物体的高度确定为物体顶表面深度与物体支撑表面深度之间的差值。在另一示例中，机器人系统可基于与末端执行器在越过事件期间的位置相对应的传感器信息来计算物体的高度，所述越过事件对应于物体的底部进入或离开已知高度(例如，这由线传感器观测)。机器人系统可将搬运的物体和/或其动态确定的高度注册到主数据中，以用于对匹配的物体的后续处理。

在一些实施方案中，机器人系统100可基于被配置为监视物体在任务位置处的放置的一组目的地传感器来确定物体的高度。例如，目的地传感器可包括线传感器(例如，光学传感器)，所述线传感器传输光学信号和/或检测由搬运的包裹和/或机器人单元(例如，末端执行器140)引起的光学信号的变化。一些示例性线传感器可检测对应的激光或光学信号的不存在以指示越过事件或进入事件，并且随后检测激光/光学信号以指示退出事件。

机器人系统100可使用目的地传感器来确定或验证所搬运的包裹的其他物理方面。例如，机器人系统100可使用越过事件来确定包裹的高度。目标传感器的检测线/平面可处于已知高度。因此，机器人系统100可通过在越过事件时识别末端执行器140的高度并计算所识别的高度与目的地传感器的已知高度之间的差来确定包裹高度。而且，机器人系统100可识别线性布置的传感器的触发实例以确定被搬运包裹的对应的侧向尺寸。

在一些实施方案中，机器人系统100可在框1626处自动使用所获得的信息(例如，估计的尺寸、视觉图像数据、高度数据、重量、质量、质心等)将搬运的物体注册到主数据中。可使用新创建的物体注册来搬运与最初获得的信息匹配的后续物体，并且还为后续的搬运调整侧垫位置(例如，非默认位置)。

在一些实施方案中，机器人系统100可使用先前获得的图像和/或上文描述的过程来识别和处理物体堆叠165中的后续物体。例如，机器人系统100可生成额外的检测假设并基于用于开始位置和/或任务位置的新的一组数据(例如，图像数据)来处理所述检测假设，并且重复上述过程，如由到方框1602的反馈环所表示。

示例性实施细节

图17A至图17C绘示了根据本技术的一个或多个实施方案的机器人系统的操作的示例性实施方案的细节。如上文描述，侧垫被配置为提供额外的支撑和/或夹持来用于搬运目标物体。侧垫可不同于通过压缩相对侧来夹紧物体的其他夹持器。侧垫(例如，图17A中的侧垫704)可提供对目标物体在沿着与惯性力相反的方向移动或加速时所经历的惯性的支撑。对于在图17A中绘示的示例，目标物体1700当在由箭头1704指示的方向上移动时可在由箭头1702指示的方向上经历惯性。此外，通过减小目标物体1700所经历的惯性，机器人系统可减小顶垫702所经历的扭矩(在图17A中使用顶垫702内的侧向定向的箭头绘示)。因此，机器人系统可使用侧垫704来减少由于经历的扭矩而在顶垫702的外围边缘处引起的夹持丢失/失败(例如，剥离失败)。

如上文描述，机器人系统可根据目标物体1700的一个或多个特点来确定侧垫704的位置。在一些实施方案中，机器人系统可确定位置，使得侧垫与目标物体1700的CoM位置1706或其估计值至少部分重叠或至少部分低于所述CoM位置或其估计值。

在目标物体1700具有不能够仅通过顶垫的吸力支撑搬运物体的弱顶表面的情况下，可特别需要由侧垫提供的抵抗惯性的支撑。换句话说，由顶垫702施加到顶表面上的力(在图17A中使用顶垫内的向上箭头绘示)可对应于目标物体1700的重量。机器人系统可使用预定指示器来识别目标物体1700的顶部或包装的结构完整性可能不足以承受所施加的力。在这种情况下，机器人系统可使用侧垫704抓握目标物体1700以提供额外的支撑，从而减小由顶垫702施加的用以提升目标物体1700的力。类似地，机器人系统可使用侧垫704来增加末端执行器的最大夹持重量(例如，与仅使用顶垫702相比)。

侧垫可使机器人系统能够增加用于搬运物体的力/加速度。在图17B中，实线曲线说明目标物体相对于将目标物体从开始位置搬运到投放位置所需的时间(t)的示例性加速度。实线曲线说明仅使用顶垫抓握目标物体时的随时间变化的加速度，并且虚线说明在使用顶垫和侧垫时的随时间变化的加速度。如图所示，当基于上文描述的增加的支撑而使用顶垫和侧垫时，将目标物体从开始位置搬运到投放位置所需的时间减少(例如，减少了t_gain)。

机器人系统可将通过增加的力/加速度提供的益处与和放置和/或接合侧垫相关联的额外时间(t_additional)进行比较以确定总体效率增益。图17C绘示了将侧垫704放置成与目标物体1700接触的方式。在图17C的部分I)中，侧垫704处于默认缩回位置。在图17C中的部分II)中，多表面夹持组件已将侧垫704移动到更靠近目标物体1700的位置，并且在部分III)中，多表面夹持组件已将侧垫移动成与目标物体1700的侧表面接触(例如，在目标物体1700的侧表面上的确定的侧垫位置处)。将根据图17C将侧垫704从缩回位置移动到与目标的侧表面接触所需的时间(t_additional)与通过使用侧垫来作为使用顶垫移动目标物体的补充而减少的时间(t_gain)进行比较。因此，机器人系统可将获得的效率(t_gain)与和放置和接合侧垫相关联的成本进行比较。

示例性实施方案

根据一些实施方案，多表面夹持器(例如，图7A至图9F中的多表面夹持器组件700)包括：第一垫(例如，侧垫704)，其被配置为抓握目标物体的第一表面(例如，侧表面)；以及第二垫(例如，顶垫702)，其被配置为抓握目标物体的第二表面(例如，顶表面)。所述第一垫包括第一多个抽吸元件(例如，图10A中的抽吸元件1004)，并且所述第二垫包括第二多个抽吸元件。所述第一垫和所述第二垫可操作地耦接并且位置被设置成相对于彼此不平行(例如，如图7C中所示)，使得第一垫被配置为抓握目标物体的第一表面并且第二垫被配置为接触目标物体的第二表面(例如，如图17C中所示)。目标物体的第二表面不平行于目标物体的第一表面。

在一些实施方案中，第一垫和第二垫的位置被设置成彼此基本上正交，使得第一多个抽吸元件限定第一夹持界面，并且第二多个抽吸元件限定第二夹持界面。所述第二夹持界面与所述第一夹持界面基本上正交。在一些实施方案中，由两个垫限定的角度在90度至110度的范围内。在一些实施方案中，由两个垫限定的角度基本上是90度(例如，90度+/-2度)。

在一些实施方案中，第一夹持界面被配置为抓握目标物体的竖直表面，并且第二夹持界面被配置为抓握目标物体的水平表面。在一些实施方案中，目标物体具有立方形或立方体形状(例如，目标物体1700是立方形箱子)。

在一些实施方案中，第二垫相对于第一垫具有固定的位置和/或取向。例如，顶垫702和侧垫704彼此机械耦接，使得维持它们的相对位置。在一些实施方案中，第二垫与第一垫可操作地耦接，使得第二垫的位置和/或取向能够相对于第一垫的位置和/或取向改变。例如，如图7C中所示，侧设位机构710可包括用于改变侧垫704(例如，第一垫)相对于顶垫702(例如，第二垫)的位置和/或取向的致动器。用于竖直运动(如由虚线箭头714-2示出)和水平运动(如由虚线箭头714-1示出)的致动器机构可彼此相同或不同。在一些实施方案中，用于竖直运动的致动器可以是活塞或基于气缸的致动器。

在一些实施方案中，第一多个抽吸元件包括第一抽吸元件区和第二抽吸元件区。例如，夹持界面1000包括在图10A中被分组到真空区域1001-1、1001-2和1001-3中的抽吸元件1004。第二抽吸元件区与第一区相邻。在一些实施方案中，第一抽吸元件区和第二抽吸元件区能够独立地激活。例如，图11B绘示了位置被设置成区1和区2与目标物体(物体1)重叠的多表面夹持器组件700。机器人系统可以激活重叠区(例如，区1和区2)以夹持目标物体。机器人系统可以停用或不接合非重叠区和/或与非目标物体重叠的任何区。

示例性方法

操作机器人系统的示例性方法1包括基于描绘开始位置处的物体的传感器信息而生成对应于目标物体的检测假设。至少基于具有用于使用多表面夹持器组件抓握目标物体的开放边缘而生成目标物体的检测假设。所述多表面夹持器组件包括被配置为抓握目标物体的第一表面的第一垫和被配置为抓握目标物体的第二表面的第二垫。所述方法包括确定开放边缘的水平面开放度和竖直面开放度。水平面开放度和竖直面开放度表示开放空间的量度。所述方法包括推导多表面夹持器的运动计划以将目标物体从开始位置搬运到放置位置。推导所述运动计划包括基于水平面开放度和竖直面开放度而确定抓握模型，所述抓握模型限定第一垫在目标物体的第一表面上的位置和第二垫相对于目标物体的第二表面的位置。所述方法包括实施运动计划以用于根据所述运动计划将目标物体从开始位置搬运到放置位置。

示例性方法1，其中识别开放边缘包括将暴露角确定为开放边缘与相交的开放边缘之间的顶点。所述方法包括基于暴露角的位置和从暴露角延伸的两个开放边缘而生成检测假设的假设细化。

示例性方法1，其中推导运动计划包括计算接近轨迹，所述接近轨迹包括用于将多表面夹持器组件从第一位置移动到第二位置的轨迹。第二位置在目标物体上方，使得多表面夹持器组件可发起抓握接近以从第二位置接触目标物体的表面。

示例性方法1，其中确定第一垫的目标抓握位置包括当目标物体不对应于注册物体时确定第一垫的开放角处或周围的默认垫位置。

示例性方法1，其中确定目标抓握位置包括确定多表面夹持器和目标物体的组合的多个抓握配置。所述多个抓握配置中的相应抓握配置包括第一垫相对于目标物体的开放边缘的位置和取向。确定目标抓握位置还包括基于水平面开放度和竖直面开放度而过滤所述多个抓握配置，以识别满足供第一垫和/或第二垫抓握目标物体的高度阈值和/或接近阈值的抓握配置。

示例性方法1，其中确定水平面开放度包括基于目标物体的顶表面与相邻物体的顶表面之间的深度差而确定从开放边缘水平延伸的开放空间的距离。所述方法还包括确定水平面开放度是否大于第一垫抓握目标物体所需的水平阈值开放度。

示例性方法1，其中确定竖直面开放度包括基于描绘开始位置处的目标物体的图像数据而确定从开放边缘竖直延伸的开放空间的距离。所述方法还包括确定竖直面开放度是否大于第一垫抓握目标物体所需的竖直阈值开放度。

示例性方法1，还包括确定抓握模型中的一者或多者的抓握集合，所述抓握模型表示用于抓握目标物体的多表面夹持器的独特姿势。所述方法包括基于目标物体的开放边缘的水平面开放度和竖直面开放度而确定来自抓握集合的抓握模型中的一者或多者的抓握可行性。所述方法包括根据放置位置处或周围的一个或多个条件而确定抓握模型中的一者或多者的放置可行性。放置可行性表示允许多表面夹持器组件接近、夹持和放置目标物体的所述多表面夹持器组件的夹持位置和对应姿势。推导运动计划包括根据抓握模型的抓握可行性和放置可行性来计算多表面夹持器组件的轨迹。推导运动计划包括计算轨迹，包括迭代地确定多表面夹持器组件和目标物体的一系列无碰撞位置以及基于所述轨迹而推导运动计划。

结论

上文对所公开技术的示例的具体实施方式无意是穷尽性的或将所公开技术限制为上文公开的精确形式。虽然上文出于说明性目的描述了所公开技术的特定示例，但本领域技术人员将认识到，在所公开技术的范围内的各种等效修改是可能的。例如，尽管以给定顺序呈现了过程或框，但是替代性实现方式可以不同顺序执行具有步骤的例程，或者以不同顺序采用具有框的系统，并且一些过程或框可被删除、移动、添加、细分、组合和/或修改以提供替代方案或子组合。这些过程或框中的每一者可通过多种不同的方式来实施。而且，尽管有时将过程或框示出为串行执行，但这些过程或框可替代地并行执行或实施，或者可在不同时间执行。此外，本文提到的任何具体数字仅仅是示例；替代性实现方式可采用不同的值或范围。

可鉴于以上具体实施方式对所公开技术作出这些和其他改变。虽然具体实施方式描述了所公开技术的某些示例以及预期的最佳模式，但是无论上述描述在文本中显得有多详细，都可通过许多方式来实践所公开技术。所述系统的细节在其具体实施方式方面可有很大变化，同时仍被本文所公开的技术所涵盖。如上所述，在描述所公开技术的某些特征或方面时使用的特定术语不应被认为暗示所述术语在本文中被重新定义为限于与那个术语相关联的所公开技术的任何具体特性、特征或方面。因此，除受所附权利要求限制之外，本发明不受限制。通常，除非以上具体实施方式部分明确定义了在所附权利要求中使用的术语，否则所述术语不应被解释为将所公开技术限于在说明书中公开的特定示例。

虽然下面以某些权利要求的形式呈现了本发明的某些方面，但是申请人以任何数目的权利要求形式设想了本发明的各方面。因此，在本申请中或接续申请中，申请人保留在提交本申请以寻求此类附加权利要求形式之后寻求附加权利要求的权利。

Claims (20)

1.一种多表面夹持器，所述多表面夹持器包括：

第一垫，所述第一垫被配置为抓握目标物体的第一表面，所述第一垫包括第一多个抽吸元件；以及

第二垫，所述第二垫被配置为抓握所述目标物体的第二表面，所述第二垫包括第二多个抽吸元件，其中：

所述第一垫和所述第二垫彼此可操作地耦接并且位置被设置成彼此不平行，使得所述第一垫被配置为抓握目标物体的第一表面，并且所述第二垫被配置为接触所述目标物体的与所述目标物体的所述第一表面不平行的第二表面。

2.如权利要求1所述的多表面夹持器，其中：

所述第一垫和所述第二垫的位置被设置成彼此基本上正交，使得所述第一多个抽吸元件限定第一夹持界面，并且所述第二多个抽吸元件限定基本上正交于所述第一夹持界面的第二夹持界面。

3.如权利要求2所述的多表面夹持器，其中：

所述第一夹持界面被配置为抓握所述目标物体的竖直表面；并且

所述第二夹持界面被配置为抓握所述目标物体的水平表面。

4.如权利要求1所述的多表面夹持器，其中所述第二垫相对于所述第一垫具有固定的位置和/或取向。

5.如权利要求1所述的多表面夹持器，其中所述第二垫与所述第一垫可操作地耦接，使得所述第二垫的位置和/或取向能够相对于所述第一垫的位置和/或取向改变。

6.如权利要求1所述的多表面夹持器，其中：

所述第一多个抽吸元件包括第一抽吸元件区和与所述第一区相邻的第二抽吸元件区，并且

所述第一抽吸元件区和所述第二抽吸元件区能够独立地激活。

7.一种机器人系统，所述机器人系统包括：

机器人臂；以及

末端执行器，所述末端执行器在动力学上耦接到所述机器人臂的端部，所述末端执行器包括多表面夹持器，所述多表面夹持器具有：

第一垫，所述第一垫包括第一多个抽吸元件；以及

第二垫，所述第二垫包括第二多个抽吸元件，其中：

所述第一垫和所述第二垫彼此可操作地耦接并且位置被设置成彼此不平行，使得所述第一垫被配置为抓握目标物体的第一表面，并且所述第二垫被配置为接触所述目标物体的与所述目标物体的所述第一表面不平行的第二表面。

8.如权利要求7所述的机器人系统，其中：

所述第一垫和所述第二垫的位置被设置成彼此基本上正交，使得所述第一多个抽吸元件限定第一夹持界面，并且所述第二多个抽吸元件限定基本上正交于所述第一夹持界面的第二夹持界面。

9.如权利要求7所述的机器人系统，其中所述第二垫与所述第一垫可操作地耦接，使得所述第二垫的位置能够相对于所述第一垫改变。

10.如权利要求7所述的机器人系统，其中所述机器人臂被配置为以线性和旋转的方式移动所述末端执行器。

11.如权利要求7所述的机器人系统，其中所述末端执行器还包括视觉传感器装置，所述视觉传感器装置被配置为通过一个或多个光学传感器检测位于所述机器人臂下方的目标物体的位置。

12.一种操作机器人系统的方法，所述方法包括：

基于描绘开始位置处的物体的传感器信息，生成对应于目标物体的检测假设，其中至少基于具有用于使用多表面夹持器组件抓握所述目标物体的开放边缘而生成所述目标物体的所述检测假设，所述多表面夹持器组件包括被配置为抓握所述目标物体的第一表面的第一垫和被配置为抓握所述目标物体的第二表面的第二垫；

确定所述开放边缘的水平面开放度和竖直面开放度，其中所述水平面开放度和所述竖直面开放度表示开放空间的量度；

推导使所述多表面夹持器将所述目标物体从所述开始位置搬运到放置位置的运动计划，其中推导所述运动计划包括基于所述水平面开放度和所述竖直面开放度而确定抓握模型，所述抓握模型限定所述第一垫在所述目标物体的所述第一表面上的位置和所述第二垫相对于所述目标物体的所述第二表面的位置；以及

实施所述运动计划以便根据所述运动计划将所述目标物体从所述开始位置搬运到所述放置位置。

13.如权利要求12所述的方法，其中识别所述开放边缘包括：

将暴露角确定为所述开放边缘与相交的开放边缘之间的顶点；以及

基于所述暴露角的位置和从所述暴露角延伸的两个开放边缘而生成所述检测假设的假设细化。

14.如权利要求12所述的方法，其中推导所述运动计划包括：

计算接近轨迹，所述接近轨迹包括用于将所述多表面夹持器组件从第一位置移动到第二位置的轨迹，

其中所述第二位置在所述目标物体上方，使得所述多表面夹持器组件可发起抓握接近以从所述第二位置接触所述目标物体的表面。

15.如权利要求12所述的方法，其中确定所述第一垫的目标抓握位置包括当所述目标物体不对应于注册物体时确定所述第一垫的开放角处或周围的默认垫位置。

16.如权利要求12所述的方法，其中确定所述目标抓握位置包括：

确定所述多表面夹持器和所述目标物体的组合的多个抓握配置，所述多个抓握配置中的相应抓握配置包括所述第一垫相对于所述目标物体的所述开放边缘的位置和取向；以及

基于所述水平面开放度和所述竖直面开放度而过滤所述多个抓握配置，以识别满足所述第一垫和/或所述第二垫抓握所述目标物体的高度阈值和/或接近阈值的抓握配置。

17.如权利要求12所述的方法，其中：

确定所述水平面开放度包括：

基于所述目标物体的顶表面与相邻物体的顶表面之间的深度差而确定从所述开放边缘水平延伸的开放空间的距离，并且

所述方法还包括确定所述水平面开放度是否大于所述第一垫抓握所述目标物体所需的水平阈值开放度。

18.如权利要求12所述的方法，其中：

确定所述竖直面开放度包括：

基于描绘所述开始位置处的所述目标物体的图像数据而确定从所述开放边缘竖直延伸的开放空间的距离，并且

所述方法还包括确定所述竖直面开放度是否大于所述第一垫抓握所述目标物体所需的竖直阈值开放度。

19.如权利要求12所述的方法，所述方法还包括：

确定表示用于抓握所述目标物体的所述多表面夹持器的独特姿势的抓握模型中的一者或多者的抓握集合；

基于所述目标物体的所述开放边缘的所述水平面开放度和所述竖直面开放度而确定来自所述抓握集合的所述抓握模型中的一者或多者的抓握可行性；以及

根据所述放置位置处或周围的一个或多个条件而确定所述抓握模型中的一者或多者的放置可行性，其中所述放置可行性表示允许所述多表面夹持器组件接近、夹持和放置所述目标物体的所述多表面夹持器组件的夹持位置和对应姿势，其中推导所述运动计划包括：

根据所述抓握模型的所述抓握可行性和所述放置可行性来计算所述多表面夹持器组件的轨迹，其中计算所述轨迹包括迭代地确定所述多表面夹持器组件和所述目标物体的一系列无碰撞位置；以及

基于所述轨迹而推导所述运动计划。

20.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于操作机器人系统的处理器指令，所述处理器指令当由一个或多个处理器执行时致使所述一个或多个处理器进行以下操作：

基于描绘开始位置处的物体的传感器信息，生成对应于目标物体的检测假设，其中至少基于具有用于使用多表面夹持器组件抓握所述目标物体的开放边缘而生成所述目标物体的所述检测假设，所述多表面夹持器组件包括被配置为抓握所述目标物体的第一表面的第一垫和被配置为抓握所述目标物体的第二表面的第二垫；

确定所述开放边缘的水平面开放度和竖直面开放度，其中所述水平面开放度和所述竖直面开放度表示开放空间的量度；

推导使所述多表面夹持器将所述目标物体从所述开始位置搬运到放置位置的运动计划，其中推导所述运动计划包括基于所述水平面开放度和所述竖直面开放度而确定抓握模型，所述抓握模型限定所述第一垫在所述目标物体的所述第一表面上的位置和所述第二垫相对于所述目标物体的所述第二表面的位置；以及

实施所述运动计划以便根据所述运动计划将所述目标物体从所述开始位置搬运到所述放置位置。

Images