CN116194256A - 具有重叠处理机制的机器人系统及其操作方法 - Google Patents

Abstract

公开了一种用于处理重叠的柔性物体的系统和方法。所述方法包括：基于表示起始位置处的一个或多个柔性物体的图像数据生成检测特征；基于所述检测特征生成与所述一个或多个柔性物体相对应的检测结果；确定所述检测结果是否示出遮挡区域，其中所述遮挡区域表示所述一个或多个柔性物体的实例与所述一个或多个柔性物体的另一实例之间的重叠；为所述检测结果生成检测掩模信息，其中所述检测掩模信息包括阳性标识信息；以及导出目标物体的运动计划，其中所述运动计划包括：目标物体，所述目标物体基于所述检测掩模信息而从所述一个或多个柔性物体中选择，机器人臂的末端执行器在所述目标物体上的夹持位置，所述夹持位置是基于所述检测掩模信息，以及一条或多条轨迹，所述一条或多条轨迹用于使所述机器人臂将所述目标物体从所述起始位置转移到目的地位置。

Description

具有重叠处理机制的机器人系统及其操作方法

相关申请

本申请要求于2021年9月1日申请的美国临时专利申请第63/239,795号的权益，所述美国临时专利申请以引用的方式整体并入本文。

技术领域

本技术总体上涉及机器人系统，并且更具体地，涉及具有物体更新机制的机器人系统。

背景技术

机器人(例如，被配置为自动/自主执行物理动作的机器)现在在许多领域中得到广泛使用。例如，机器人可以用于在制造、包装、运输和/或运送等方面执行各种任务(例如，操纵或转移物体)。在执行任务时，机器人可以复制一些人类动作，由此代替或减少执行危险或重复性任务原本所需的人类参与。然而，机器人通常缺乏复制执行更复杂任务所需的人类灵敏度和/或适应性所必需的先进性。例如，机器人通常难以识别或处理细微之处和/或非预期状况。因此，仍然需要用于控制和管理机器人的各种方面以处置细微之处及意外状况的经改进的机器人系统和技术。

附图说明

图1示出了根据本技术的一个或多个实施方案的其中机器人系统运输物体的示例性环境。

图2是示出根据本技术的一个或多个实施方案的机器人系统的框图。

图3示出了根据本技术的一个或多个实施方案的机器人转移配置。

图4A和图4B示出了根据本技术的一个或多个实施方案的处于起始位置处的物体的示例性视图。

图5是根据本技术的一个或多个实施方案的用于操作机器人系统的流程图。

具体实施方式

本文描述了用于使用机器人系统转移物体的系统和方法。物体尤其可以包括柔性(例如，非刚性)物体。此外，处理后的物体可以包括基于图像处理结果而未能与已注册物体的一个或多个方面(例如，如主数据中所述)完全匹配的非预期物体。使用图像数据处理堆叠中的柔性物体的位置、形状、大小和布置可能具有挑战性，因为柔性物体的表面可能由于下层支撑物体的形状、轮廓和/或边缘而扭曲。本技术的实施方案可以处理描绘起始位置处的物体的接收到的图像数据，以标识或估计物体的重叠区域。机器人系统可以处理二维和/或三维图像数据以在本质上区分外围边缘、重叠边缘、压印表面特征等，以便从堆叠中抓取和拾取柔性物体。所述处理可以包括将图像数据的部分分类为完全检测到的区域、遮挡掩模区域(例如，包括重叠区域上方的有争议的部分)或检测掩模区域(例如，包括用于物体检测的区域，作为最顶部物体的表面或暴露的物体部分的表示)，以帮助标识夹持位置和从堆叠中夹持物体的序列。机器人系统可以基于经分类的部分来确定用于抓握和转移物体的夹持位置。在一些实施方案中，机器人系统可以使用处理后的图像数据来导出和实施用于在提升之前横向移动被抓握物体的运动计划。这种运动计划可以基于遮挡掩模和/或检测掩模的一个或多个特性来导出。

作为说明性示例，机器人系统(例如，经由控制器)可以被配置为控制和操作机器人臂总成(例如，拣选器机器人)以实施转移任务。转移任务可以对应于拾取相对柔软/柔性的物体、相对较薄的物体和/或相对透明的物体。此类物体的示例可以包括用袋子覆盖的物体、包裹在塑料片材或塑料袋和/或透明容器中的布基物体、片材或片材。当彼此叠置时，此类目标物体可能由于底部/重叠物体的压印而导致变形(例如，线)或其他视觉伪影出现在重叠物体的表面上或穿过重叠物体的表面。下文描述的技术的实施方案可以处理在对应图像(例如，被覆盖或堆叠物体的俯视图图像)中描绘的此类压印和变形以便于识别。换言之，机器人系统可以处理图像以有效地区分物体表面上的表面变形和/或任何视觉特征/图像与物体的实际边缘(例如，外围边缘)。基于所述处理，机器人系统可以导出和实施在考虑和调整重叠的同时转移物体的运动计划。

在下文中，阐述众多具体细节以提供对当前公开技术的彻底理解。在其他实施方案中，此处所介绍的技术可在没有这些具体细节的情况下实践。在其他实例中，未详细描述诸如具体功能或例程等公知特征以便避免不必要地模糊本公开。在本描述中对“实施方案”、“一个实施方案”等的引用意味着所描述的特定特征、结构、材料或特性包括在本公开的至少一个实施方案中。因此，此类短语在本说明书中的出现不一定全都指代同一实施方案。另一方面，此类引用也不一定互斥。此外，特定特征、结构、材料或特性可通过任何合适的方式组合在一个或多个实施方案中。应当理解，附图中所示的各种实施方案仅仅是说明性表示，并且不一定按比例绘制。

为了清楚起见，在下面的描述中没有阐述描述公知的并且通常与机器人系统和子系统相关联但是可能不必要地使所公开技术的一些重要方面模糊的结构或过程的几个细节。此外，虽然以下公开内容阐述了本技术的不同方面的几个实施方案，但是几个其他实施方案可以具有与本节中所描述的配置或部件不同的配置或部件。因此，所公开技术可以具有带附加要素或不带下文描述的几个要素的其他实施方案。

下文描述的本公开的许多实施方案或各方面可以采取计算机或控制器可执行指令的形式，包括由可编程计算机或控制器执行的例程。相关领域的技术人员将明白，可以在除了下面示出和描述的计算机或控制器系统之外的计算机或控制器系统上实践所公开技术。本文描述的技术可以体现在专用计算机或数据处理器中，所述专用计算机或数据处理器被具体编程、配置或结构化为执行下文描述的一个或多个计算机可执行指令。因此，本文一般使用的术语“计算机”和“控制器”是指任何数据处理器，并且可包括互联网电器和手持式装置(包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的或可编程的消费型电子器件、网络计算机、微型计算机等)。由这些计算机和控制器处理的信息可呈现在任何合适的显示介质处，所述显示介质包括液晶显示器(LCD)。用于执行计算机或控制器可执行的任务的指令可存储在任何合适的计算机可读介质中或上，所述计算机可读介质包括硬件、固件或硬件与固件的组合。指令可以包含在任何合适的存储器装置中，所述存储器装置包括例如闪存盘、USB装置和/或其他合适的介质，包括有形、非暂时性计算机可读介质。

术语“耦接”和“连接”以及它们的派生词可在本文中用来描述部件之间的结构关系。应理解，这些术语无意作为彼此的同义词。而是，在特定实施方案中，“连接”可用于示出两个或更多个元件彼此直接接触。除非在上下文中另外显而易见，否则术语“耦接”可用于示出两个或更多个元件彼此直接地或间接地(在它们之间有其他居间元件)接触，或者两个或更多个元件彼此协作或交互(例如，以因果关系进行交互，诸如用于信号传输/接收或用于函数调用)，或以上两者。

适用环境

图1是根据本技术的一个或多个实施方案的机器人系统100在其中运输物体的示例性环境的图示。机器人系统100可包括被配置为执行一个或多个任务的一个或多个单元(例如，机器人)和/或与所述一个或多个单元通信。物体检测/更新的各方面可由各种单元来实践或实施。

对于图1中所示的示例，机器人系统100可以包括仓库或配送/运送中心中的卸载单元102、转移单元104(例如，堆垛机器人和/或拣选机器人)、运输单元106、装载单元108或它们的组合和/或与它们进行通信。机器人系统100中的单元中的每一者可以被配置为执行一个或多个任务。可以按顺序组合所述任务以执行实现目标的操作，诸如从卡车或货车上卸载物体并将所述物体存放在仓库中，或者从存放位置卸载物体并准备运送所述物体。对于另一个示例，任务可包括将物体放置在目标位置上(例如，在货盘的顶部上和/或在仓位/笼/盒/箱内部)。如下文所述，机器人系统可以检测物体并导出用于拾取、放置和/或堆叠物体的计划(例如，放置位置/取向、用于转移物体的序列和/或对应运动计划)。单元中的每一个可被配置为根据所导出计划中的一个或多个执行一系列动作(例如，通过操作其中的一个或多个部件)以执行任务。

在一些实施方案中，任务可包括操纵(例如，移动和/或重新取向)目标物体112(例如，与正在执行的任务相对应的包裹、盒、箱、笼、货盘等中的一者)，诸如将目标物体112从起始位置114移动到任务位置116。例如，卸载单元102(例如，拆箱机器人)可以被配置为将目标物体112从运载工具(例如，卡车)中的位置转移到传送带上的位置。另外，转移单元104可以被配置为将目标物体112从一个位置(例如，传送带、货盘、容器、盒或仓位)转移到另一位置(例如，货盘、容器、盒、仓位等)。对于另一个示例，转移单元104(例如，拣选器机器人)可以被配置为将目标物体112从源位置(例如，容器、推车、拾取区域和/或传送机)转移到目的地。在完成操作时，运输单元106可以将目标物体112从与转移单元104相关联的区域转移到与装载单元108相关联的区域，并且装载单元108可以将目标物体112(例如，通过移动承载目标物体112的货盘、容器和/或轨道)从转移单元104转移到存放位置(例如，架子上的位置)。

出于说明目的，在运送中心的情景中描述了机器人系统100；然而，应理解，机器人系统100可被配置成在其他环境中/出于其他目的(诸如用于制造、组装、包装、医疗保健和/或其他类型的自动化)执行任务。还应理解，机器人系统100可包括图1中未示出的其他单元，诸如操纵器、服务机器人、模块化机器人等，和/或与所述其他单元通信。例如，在一些实施方案中，其他单元可包括：堆垛单元，所述堆垛单元用于将物体放在货盘上；卸垛单元，所述卸垛单元用于将物体从笼车或货盘转移到传送机或其他货盘上；容器切换单元，所述容器切换单元用于将物体从一个容器转移到另一容器；包装单元，所述包装单元用于包装物体；分拣单元，所述分拣单元用于根据物体的一个或多个特性对物体进行分组；拣货单元，所述拣货单元用于根据物体的一个或多个特性以不同方式操纵(例如，用于分拣、分组和/或转移)物体；或它们的组合。

机器人系统100可包括和/或耦接到在关节处连接以用于运动(例如，旋转和/或平移位移)的物理或结构构件(例如，机器人操纵器臂)。所述结构构件和关节可以形成动力链，所述动力链被配置为根据机器人系统100的使用/操作来操纵末端执行器(例如，夹持器)，所述末端执行器被配置为执行一个或多个任务(例如，夹持、自旋、焊接等)。机器人系统100可包括被配置为围绕对应的关节或在对应的关节处对结构构件进行驱动或操纵(例如，位移和/或重新取向)的致动装置(例如，马达、致动器、电线、人造肌肉、电活性聚合物等)和/或与所述致动装置通信。在一些实施方案中，机器人单元可包括被配置为将对应的单元/底架从一个地方运输到另一个地方的运输马达。

机器人系统100可以包括被配置为获得用于实施任务(诸如用于操纵结构构件和/或用于运输机器人单元)的信息的传感器和/或与它们进行通信。传感器可以包括被配置为检测或测量机器人系统100的一个或多个物理性质(例如，一个或多个结构构件/其关节的状态、状况和/或位置)和/或周围环境的一个或多个物理性质的装置。传感器的一些示例可以包括加速度计、陀螺仪、力传感器、应变仪、触觉传感器、扭矩传感器、位置编码器等。

例如，在一些实施方案中，传感器可以包括被配置为检测周围环境的一个或多个成像装置(例如，视觉和/或红外相机、2D和/或3D成像相机、距离测量装置，诸如激光雷达或雷达等)。成像装置可以生成检测到的环境的表示，诸如数字图像和/或点云，所述表示可以经由机器/计算机视觉来处理(例如，用于自动检查、机器人导引或其他机器人应用)。机器人系统100可以处理数字图像和/或点云以标识目标物体112和/或其姿态、起始位置114、任务位置116或其组合。

为了操纵目标物体112，机器人系统100可以捕获并分析指定区域(例如，诸如卡车内部或传送带上的拾取位置)的图像，以标识目标物体112和其起始位置114。类似地，机器人系统100可以捕获并分析另一个指定区域(例如，用于将物体放置在传送机上的投放位置、用于将物体放置在容器内部的位置或货盘上用于堆叠目的的位置)的图像以标识任务位置116。例如，成像装置可以包括被配置为生成拾取区域的图像的一个或多个相机和/或被配置为生成任务区域(例如，投放区域)的图像的一个或多个相机。如下文所述，基于所捕获图像，机器人系统100可以确定起始位置114、任务位置116、包括相关联姿态的物体检测结果、打包/放置计划、转移/打包序列和/或其他处理结果。

在一些实施方案中，例如，传感器可以包括位置传感器(例如，位置编码器、电位计等)，所述位置传感器被配置为检测结构构件(例如，机器人臂和/或末端执行器)和/或机器人系统100的对应关节的位置。机器人系统100可以在任务执行期间使用位置传感器来跟踪结构构件和/或关节的位置和/或取向。

机器人系统

图2是绘示根据本技术的一个或多个实施方案的机器人系统100的部件的框图。在一些实施方案中，例如，机器人系统100(例如，在上述单元或总成和/或机器人中的一者或多者处)可以包括电子/电气装置，诸如一个或多个处理器202、一个或多个存储装置204、一个或多个通信装置206、一个或多个输入-输出装置208、一个或多个致动装置212、一个或多个运输马达214、一个或多个传感器216，或其组合。各种装置可经由有线连接和/或无线连接彼此耦接。例如，用于机器人系统100的一个或多个单元/部件和/或机器人单元中的一个或多个可包括总线，诸如系统总线、外围部件互连(PCI)总线或高速PCI总线、超级传输或工业标准架构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线或电气和电子工程师协会(IEEE)标准1394总线(也称为“火线”)。而且，例如，机器人系统100可包括桥接器、适配器、控制器或用于在装置之间提供有线连接的其他信号相关装置和/或与前述各项通信。无线连接可基于例如蜂窝通信协议(例如，3G、4G、LTE、5G等)、无线局域网(LAN)协议(例如，无线保真(WIFI))、对等或装置间通信协议(例如，蓝牙、近场通信(NFC)等)、物联网(IoT)协议(例如，NB-IoT、Zigbee、Z波、LTE-M等)和/或其他无线通信协议。

处理器202可以包括被配置为执行存储在存储装置204(例如，计算机存储器)上的指令(例如，软件指令)的数据处理器(例如，中央处理单元(CPU)、专用计算机和/或板载服务器)。处理器202可以实施程序指令以控制其他装置/与其他装置对接，由此使机器人系统100执行动作、任务和/或操作。

存储装置204可包括其上存储有程序指令(例如，软件)的非暂时性计算机可读介质。存储装置204的一些示例可包括易失性存储器(例如，高速缓存和/或随机存取存储器(RAM))和/或非易失性存储器(例如，闪存存储器和/或磁盘驱动器)。存储装置204的其他示例可包括便携式存储器驱动器和/或云存储装置。

在一些实施方案中，存储装置204可以用于进一步存储主数据、处理结果和/或预定数据/阈值并提供对其的访问。例如，存储装置204可以存储主数据，所述主数据包括对可以由机器人系统100操纵的物体(例如，盒、箱、容器和/或产品)的描述。在一个或多个实施方案中，主数据可以包括预期将由机器人系统100操纵的物体的尺寸、形状(例如，用于潜在姿态的模板和/或用于识别处于不同姿态的物体的计算机生成的模型)、配色方案、图像、标识信息(例如，条形码、快速响应(QR)代码、标志等，和/或它们的预期位置)、预期质量或重量或其组合。在一些实施方案中，主数据可以包括关于表面模式(例如，对应材料的印刷图像和/或视觉方面)、表面粗糙度或与物体表面相关联的任何特征的信息。在一些实施方案中，主数据可以包括关于物体的操纵相关信息，诸如物体中的每一者的质心位置、与一个或多个动作/操纵相对应的预期的传感器测量结果(例如，力、扭矩、压力和/或接触测量结果)，或其组合。机器人系统可以查找压力水平(例如，真空水平、抽吸水平等)、夹持/拾取区域(例如，要激活的真空夹持器区域或排)以及用于控制转移机器人的其他所存储的主数据。

存储装置204还可以存储物体跟踪数据。跟踪数据包括示出注册在主数据中的物体的注册数据。注册数据可以包括预期将存放在起始位置处和/或预期将在投放位置处移动的物体的信息。在一些实施方案中，物体跟踪数据可包括被扫描或操纵的物体的日志。在一些实施方案中，物体跟踪数据可包括物体在一个或多个位置(例如，指定的拾取或投放位置和/或传送带)处的图像数据(例如，图片、点云、实时视频馈送等)。在一些实施方案中，物体跟踪数据可包括物体在一个或多个位置处的位置和/或取向。

通信装置206可包括被配置为经由网络与外部装置或远程装置进行通信的电路。例如，通信装置206可以包括接收器、发射器、调制器/解调器(调制解调器)、信号检测器、信号编码器/解码器、连接器端口、网卡等。通信装置206可以被配置为根据一个或多个通信协议(例如，互联网协议(IP)、无线通信协议等)来发送、接收和/或处理电信号。在一些实施方案中，机器人系统100可使用通信装置206来在机器人系统100的单元之间交换信息和/或与在机器人系统100外部的系统或装置交换信息(例如，出于报告、数据采集、分析和/或故障排除目的)。

输入输出装置208可以包括被配置为向操作人员传达信息和/或从操作人员接收信息的用户界面装置。例如，输入输出装置208可以包括显示器210和/或用于将信息传达给操作人员的其他输出装置(例如，扬声器、触觉电路或触觉反馈装置等)。而且，输入输出装置208可以包括控制或接收装置，诸如键盘、鼠标、触摸屏、传声器、用户界面(UI)传感器(例如，用于接收运动命令的相机)、可穿戴输入装置等。在一些实施方案中，机器人系统100可以使用输入输出装置208在执行动作、任务、操作或其组合时与操作人员交互。

在一些实施方案中，控制器可以包括处理器202、存储装置204、通信装置206和/或输入输出装置208。控制器可以是独立的部件或单元/总成的一部分。例如，机器人系统100的每个卸载单元、转移总成、运输单元和装载单元可以包括一个或多个控制器。在一些实施方案中，单个控制器可以控制多个单元或独立部件。

机器人系统100可包括连接在关节处以用于运动(例如，旋转和/或平移位移)的物理或结构构件(例如，机器人操纵器臂)和/与所述物理或结构构件通信。所述结构构件和关节可以形成动力链，所述动力链被配置为根据机器人系统100的使用/操作来操纵末端执行器(例如，夹持器)，所述末端执行器被配置为执行一个或多个任务(例如，夹持、自旋、焊接等)。动力链可包括被配置为围绕对应的关节或在对应的关节处对结构构件进行驱动或操纵(例如，移位和/或重新取向)的致动装置212(例如，马达、致动器、电线、人造肌肉、电活性聚合物等)。在一些实施方案中，动力链可包括被配置为将对应的单元/底架从一个地方运输到另一个地方的运输马达214。例如，致动装置212和运输马达连接到机器人臂、线性滑块或其他机器人的零部件或作为其一部分。

传感器216可被配置为获得用于实施任务(诸如，用于操纵结构构件和/或用于运输机器人单元)的信息。传感器216可包括被配置为检测或测量控制器、机器人单元(例如，一个或多个结构构件/其关节的状态、状况和/或位置)和/或周围环境的一个或多个物理性质的装置。传感器216的一些示例可包括接触传感器、接近传感器、加速度计、陀螺仪、力传感器、应变仪、扭矩传感器、位置编码器、压力传感器、真空传感器等。

在一些实施方案中，例如，传感器216可以包括被配置为检测周围环境的一个或多个成像装置222(例如，2维和/或3维成像装置)。成像装置可以包括相机(包括视觉和/或红外相机)、激光雷达装置、雷达装置和/或其他测距或检测装置。成像装置222可以生成检测到的环境的表示，诸如数字图像和/或点云，所述表示用于实施机器/计算机视觉(例如，用于自动检查、机器人导引或其他机器人应用)。

现在参考图1和图2，机器人系统100(经由例如处理器202)可以处理图像数据和/或点云以标识图1的目标物体112、图1的起始位置114、图1的任务位置116、图1的目标物体112的姿态或其组合。机器人系统100可以使用来自成像装置222的图像数据来确定如何访问和拾取物体。可以分析物体的图像以检测对象和确定用于设位真空夹持器总成以夹持被检测物体的运动计划。机器人系统100(例如，经由各个单元)可以捕获和分析指定区域(例如，卡车内部、容器内部或传送带上的物体的拾取位置)的图像以标识目标物体112及其起始位置114。类似地，机器人系统100可以捕获并分析另一个指定区域(例如，用于将物体放置在传送带上的投放位置、用于将物体放置在容器内部的位置或货盘上用于堆叠目的的位置)的图像以标识任务位置116。

另外，例如，图2的传感器216可以包括图2的位置传感器224(例如，位置编码器、电位差计等)，所述位置传感器被配置为检测结构构件(例如，机器人臂和/或末端执行器)和/或机器人系统100的对应关节的位置。机器人系统100可以在任务执行期间使用位置传感器224来跟踪结构构件和/或关节的位置和/或取向。本文公开的卸载单元、转移单元、运输单元/总成和装载单元可包括传感器216。

在一些实施方案中，传感器216可包括被配置为诸如在末端执行器处测量施加到动力链的力的一个或多个力传感器226(例如，重量传感器、应变仪、压阻/压电传感器、电容传感器、弹阻传感器和/或其他触觉传感器)。例如，传感器216可用于确定机器人臂上的载荷(例如，被抓握的物体)。力传感器226可附接到末端执行器或在末端执行器周围，并且被配置为使得所得测量结果表示被抓握物体的重量和/或相对于参考位置的扭矩向量。在一个或多个实施方案中，机器人系统100可以处理物体的扭矩向量、重量和/或其他物理特征(例如，尺寸)以估计被抓握物体的CoM。

机器人转移配置

图3示出了根据本技术的一个或多个实施方案的机器人转移配置。机器人转移配置可以包括具有末端执行器304(例如，夹持器)的机器人臂总成302，所述末端执行器被配置为从源容器306(例如，具有低和/或透明壁的仓位)中拾取物体并将它们转移到目的地位置。机器人臂总成302可以具有用作动力链的结构构件和关节。末端执行器304可以包括基于真空的夹持器，所述夹持器耦接到动力链的远端并且被配置为吸入空气并在夹持界面(例如，末端执行器304的底部部分)与物体表面之间形成真空以抓握物体。

在一些实施方案中，机器人转移配置可以适于抓握柔性物体310(也被称为可变形物体，例如，具有满足预定阈值的物理特征(诸如厚度和/或刚度)的物体)并将其转移出源容器306。例如，机器人转移配置可以适于使用基于真空的夹持器从源容器306内抓握塑料袋或衣服，所述塑料袋或衣服可能是或可能不是塑料包裹的或袋装物品。一般而言，当物体缺乏结构刚性使得当物体提升/移动时物体的悬垂或未夹持部分(例如，延伸超出抓握末端执行器的覆盖区的部分)弯曲、折叠或以其他方式无法维持恒定形状/姿态时，所述物体可以被认为是柔性的。

在夹持柔性物体时，机器人系统可以获得并处理源容器306内的物体的一个或多个图像。机器人系统可以使用成像装置320(例如，包括统称为成像装置320的朝下成像装置320-1和/或侧向成像装置320-2的成像装置320)获得图像。成像装置320可以是图2的成像装置222的实施方式。成像装置320可以包括2维成像装置和/或3维深度测量装置。例如，在图3中，朝下成像装置320-1可以被设位以获得源容器306内的物体的俯视图图像，而侧向成像装置320-2可以被设位以获得物体和/或任何对应容器(例如，源容器306)在起始位置处的侧视图或透视图。如下文详细描述的，机器人系统100(例如经由处理器202)可以处理来自成像装置320的图像，以标识或估计物体的边缘，导出用于物体的夹持位置的可夹持区域或面积，基于夹持位置导出运动计划，实施运动计划以转移物体，或其组合。因此，机器人系统可以从起始位置(例如，从源容器306的内部)夹持并提升目标物体，将被抓握物体转移到目标位置上方的位置(例如，目的地，诸如仓位、递送盒、货盘、传送机上的位置等)，并降低/释放被抓握物体以将其放置在目标位置处。

图像处理

为了描述图像处理，图4A和图4B示出了根据本技术的一个或多个实施方案的处于起始位置的物体的示例性视图。图4A示出了起始位置处的物体的示例性俯视图400-1。俯视图400-1可以对应于来自图3中的朝下成像装置320-1的2维和/或3维图像中的一者或多者。俯视图400-1可以描绘源容器306的内部部分和/或其中的一个或多个物体(例如，柔性/可变形物体)。图4B示出了起始位置处的物体的示例性侧视图400-2。

对于图4A至图4B中所示的示例，源容器306包括五个柔性物体。物体C1、C2和C3设位于源容器306的底部内表面上(例如，直接接触所述底部内表面并被其支撑)。中间“物体B”(例如，如图4A所示的其上部部分)可以与物体C1和C3部分地重叠并被其支撑。物体B的其余部分(例如，下部部分)可以直接接触源容器306的内表面。顶部“物体A”可以与物体C1、C2、C3和B重叠并被其支撑。

柔性物体的一个或多个物理特性(例如，厚度和/或缺乏刚性)以及支撑物体的形状、轮廓和/或边缘可能导致搁置在支撑物体的顶部上的重叠物体的表面变形。换言之，较低物体的物理形状可能导致堆叠中的较高物体的表面变形或扭曲。可以在获得的图像中描绘此类变形或扭曲。在图4A中，由下层支撑物体引起的表面变形用不同的虚线示出。例如，图4A的俯视图400-1中的虚线402可以对应于物体A中的压印、凸起或折痕，因为物体设位在物体C1和C3的顶部上，如图4B中的侧视图400-2中所示。因为物体C3的顶表面高于物体C1的顶表面，所以可能形成压印、凸起或折痕，从而导致物体A弯曲。获得的图像还可以描绘任何2维印刷表面特征，诸如印刷在物体表面上的图片或文本(例如，标志404)。

在一些实施方案中，图4A至图4B中的物体中的一者或多者和/或其部分可以是透明的或半透明的(例如，具有透明塑料包装、包封或袋子的包裹)。在此类实施方案中，不同的虚线对应于通过上部透明或半透明物体看到的下方物体的边缘和/或表面印记。本文描述的图像处理可以应用于透明物体以及柔性物体。

压印、凸起、折痕、透视线、物体厚度和/或其他物理特征和可见伪影可能在识别或检测在获得的图像中描绘的物体时引入复杂性。如下文详细描述的，机器人系统可以处理图像数据以在本质上区分外围边缘、重叠边缘、压印或扭曲的表面特征等和/或围绕压印的表面特征工作以从堆叠中夹持和拾取柔性物体。

作为一个示例，在一些实施方案中，柔性物体可以被称为薄的柔性物体，其具有低于厚度阈值的平均厚度或带锥形形状的边缘部分，其中物体的中心比薄的柔性物体的边缘部分更厚。例如，在一些实施方案中，厚度阈值可以是一厘米或更小，而在其他实施方案中，厚度阈值可以是一毫米或更小。继续所述示例，当薄的柔性物体以具有不同重叠程度的随机取向堆叠或铺设时，可能难以确定哪些薄的柔性物体或薄的柔性物体的哪些部分在堆叠中在其他薄的柔性物体的顶部或上方。机器人系统可以基于标识有争议的部分(例如，被处理为具有与多个物体中的一者相关联或属于多个物体中的一者的概率的图像部分)、生成一种或多种类型的掩模并分析不同类型的部分来确定用于夹持位置的可夹持区域或面积来处理图像数据。

控制流

为了描述图像处理，图5是根据本技术的一个或多个实施方案的用于操作机器人系统的示例性方法500的流程图。方法500可以由图1的机器人系统100(经由例如图2的控制器和/或处理器202)实施以处理所获得的图像和计划/执行涉及柔性物体的任务。方法500在下文使用图4A和图4B所示的示例进行描述。

在框502处，机器人系统可以获得表示起始位置的图像数据。机器人系统可以从成像装置获得二维和/或三维(例如，包括深度度量)图像，诸如分别从图3的成像装置320-1和320-2获得图4A的俯视图400-1和图4B的侧视图400-2。所获得的图像数据可以描绘一个或多个物体(例如，图4A至图4B中的物体A、B、C1至C3)，诸如图3的源容器306中设位于起始位置处的图3的柔性物体310。

在框504处，机器人系统可以从图像数据生成检测特征。检测特征可以是图像数据的元素，所述元素被处理并用于生成与在图像数据中描绘的柔性物体相对应的检测假设/结果(例如，一个或多个物体身份的估计、对应姿态/位置和/或其与物体的一部分相关联的相对布置)。检测特征可以包括边缘特征(例如，图像数据中可以与在图像数据中描绘的柔性物体的外围边缘或其一部分相对应的线)和从2D图像数据中的像素生成的关键点；以及三维(3D)点云图像数据中的3D点的深度值和/或表面法线。在用于生成边缘特征的示例中，机器人系统可以使用一个或多个电路和/或算法(例如，Sobel滤波器)检测在获得的图像数据中描绘的线来检测所述线。可以进一步处理检测到的线以确定生成边缘特征。如图4A所示，机器人系统可以处理检测到的线以将线406a至406d标识为与物体C1的外围边缘相对应的边缘特征。在一些实施方案中，机器人系统可以将边缘特征的置信度量计算为边缘特征与柔性物体中的一者的外围边缘相对应的确定性/可能性的表示。在一些实施方案中，机器人系统可以基于边缘特征的厚度/宽度、取向、长度、形状/曲率、连续性程度和/或其他检测到的方面来计算置信度量。在生成关键点的示例中，机器人系统可以使用一个或多个电路和/或算法(诸如尺度不变特征变换(SIFT)算法)来处理2D图像数据的像素。

在一些实施方案中，机器人系统可以生成检测特征以包括由边缘特征诸如通过标识具有不同取向的线之间的接合点界定/定义的部分或连续表面的估计。例如，图4A中的边缘特征可以在物体彼此重叠的位置中彼此相交，由此形成接合点。机器人系统可以基于一组边缘特征和接合点来估计区段。换言之，机器人系统可以将每个区段估计为由该组接合/连接的边缘界定/定义的区域。另外，机器人系统可以基于所连接边缘的相对取向(例如，平行的相对边缘、正交连接、处于与表示柔性物体的模板相对应的预定义角度等)来估计每个区段。例如，机器人系统可以从俯视图400-1图像数据中检测线406a至406d并且可以进一步标识出检测到的线406a至406d彼此相交，使得线406a和406d彼此平行并且线406b和406c与线406a和406b正交，使得线406a至406d形成部分矩形形状(例如，包括矩形的三个拐角的形状)。机器人系统因此可以估计检测到的线406a至406d是具有矩形形状的物体的一部分。然而，应当理解，柔性物体的形状、轮廓或外形可以是非矩形的。

在一些实施方案中，机器人系统可以基于深度值来确定边缘特征。例如，机器人系统可以基于检测到的边缘来标识暴露的外围边缘和拐角。可以基于来自三维图像数据的深度值来标识外围边缘和拐角。当线的不同侧处的深度值之间的差异大于预定阈值差异时，机器人系统可以将线标识为边缘特征。

机器人系统可以诸如基于边缘置信度量、所连接边缘的相对取向等将每个估计区段的置信度量计算为估计区段是连续表面和/或柔性物体中的单个柔性物体的确定性/可能性的表示。例如，与至少部分由二维边缘定义的表面相比，当估计的表面被三维边缘包围时，机器人系统可以计算出更高的置信度量。另外，例如，对于具有矩形形状的柔性物体，当边缘接合点形成更接近直角的角度时，机器人系统可以计算出更高的置信度量。

在框506处，机器人系统可以生成与设位于起始位置处的柔性物体相对应的一个或多个检测结果。在一些实施方案中，机器人系统可以基于将检测特征与用于主数据中的注册物体的模板进行比较来生成一个或多个检测结果。例如，机器人系统可以将图像数据的检测特征与主数据中的注册物体的模板的对应特征进行比较。另外，在一些实施方案中，机器人系统可以将估计表面的尺寸与存储在主数据中的注册物体的尺寸进行比较。在一些实施方案中，机器人系统可以设位和扫描表面上的视觉标识符(例如，条形码、QR码等)以用于确定。基于估计表面的检测特征和/或尺寸的比较，机器人系统可以通过图像数据中的阳性标识的检测特征生成检测结果和/或确定所描绘物体的姿态。机器人系统可以基于匹配程度和/或被比较部分之间的匹配类型来计算每个检测结果的置信度量。

作为比较的说明性示例，机器人系统可以将由图4A中的线406a至406d形成的估计矩形形状与包括在主数据中的已知物体形状(例如，注册物体或预期处于起始位置处的物体的形状)进行比较。机器人系统可以将估计的矩形形状的尺寸与存储在主数据中的已知物体的尺寸进行比较。当机器人系统能够将图4A中的估计矩形形状的形状和尺寸或其一部分与主数据中的已知物体的已知形状和尺寸匹配时，机器人系统可以基于主数据来以一定的置信度量估计线406a至406d与预期处于起始位置处的已知物体相关联。

在一些实施方案中，机器人系统可以确定阳性标识区域(例如，机器人系统可以将检测结果的某些部分分类为阳性标识)。阳性标识区域可以表示检测结果的已被验证与注册物体中的一者匹配的一部分。例如，当图像数据的对应部分中的检测特征与和注册物体和/或它的其他物理属性(例如，注册物体的形状、一组尺寸和/或表面纹理)相对应的模板的检测特征匹配时，机器人系统可以将检测结果的部分标识为阳性标识区域。对于基于图像的比较，机器人系统可以计算表示接收到的图像与注册物体的模板/纹理图像之间的匹配/差异程度的分数。当对应分数(例如，基于像素的比较的结果)小于差异阈值时，机器人系统可以将所述部分标识为阳性标识区域。在一些实施方案中，可以将阳性标识区域排除在进一步的遮挡处理之外，因为机器人系统对阳性标识区域对应于注册物体具有很高的置信度。

在一些实施方案中，机器人系统可以基于分析估计表面内的一组有限特征或部分/子区段来检测在接收到的图像中描绘的柔性物体。例如，当模板的至少所需量的像素与接收到的图像匹配或以其表示时，机器人系统可以阳性地将估计表面标识为匹配模板表面。当接收到的图像和模板图像的对应像素具有在阈值差异范围内的值(例如，颜色、亮度、定位/位置等)时，机器人系统可以确定匹配。另外，机器人系统可以将关键点(例如，拐角)、线或其组合(例如，形状)进行比较以确定匹配。估计表面的其余部分可以对应于未比较或与模板没有充分匹配的部分。机器人系统可以与物体标识一起将接收到的图像数据内的被比较/匹配部分标识为阳性标识区域。

当从图像数据生成检测结果中的一者或多者时，机器人系统可以处理一个或多个检测结果中的每一者以标识一个或多个检测结果的有争议的部分。在一些实施方案中，机器人系统可以将一个或多个检测结果个体的实例处理为目标检测结果。

在框516处，机器人系统可以标识检测结果的有争议的部分。有争议的部分可以表示具有一个或多个不确定因素(例如，置信度值不足、匹配像素的量不足、重叠的检测覆盖区等)的检测结果区域。

在一个示例中，有争议的部分可以表示检测结果的不确定区域。不确定区域可以是检测结果的一部分，所述部分包括机器人系统不依赖或不能依赖来生成检测结果(例如，在估计表面内但在阳性标识区域之外的区域)的检测特征。在另一个示例中，有争议的部分可以表示检测结果与相邻物体之间的遮挡区域。遮挡区域可以表示一个或多个柔性物体的实例与一个或多个柔性物体的另一实例之间的重叠。一般而言，当机器人系统生成检测结果中的一者或多者时，机器人系统可以(例如，迭代地)将检测结果中的每一者处理为属于相交物体中的一者(例如，目标物体)的目标检测结果或从相交物体中的一者(例如，目标物体)的角度将检测结果中的每一者处理为目标检测物体。对于过度重叠/已重叠物体，可以将相同部分称为或处理为相邻检测结果。换言之，遮挡区域是以下两者之间的重叠：(1)与一个或多个柔性物体(例如，当前迭代所针对的物体)的实例相对应的目标检测结果；以及(2)与一个或多个柔性物体的另一实例相对应的相邻检测结果。

当机器人系统确定检测结果包括遮挡区域时，机器人系统可以确定遮挡区域的遮挡状态。遮挡状态可以描述在遮挡区域中哪个柔性物体在另一柔性物体的下方。遮挡状态可以是相邻遮挡状态、目标遮挡状态或不确定遮挡状态中的一者。相邻遮挡状态可以示出在遮挡区域中相邻检测结果低于目标检测结果。目标遮挡状态可以示出在遮挡区域中目标检测结果低于相邻检测结果。不确定的遮挡状态可以发生在目标检测结果与相邻检测结果之间的重叠是不确定的时或表示目标检测结果与相邻检测结果之间的重叠何时是不确定的。换言之，不确定的遮挡状态可以表示机器人系统何时不能自信地确定它、目标检测结果是否低于相邻检测结果，或相邻检测结果是否低于目标检测结果。在一些实施方案中，机器人系统可以通过示出所有相交物体的重叠区域在下方来示出不确定的遮挡状态。例如，对于包括物体C3与物体B的重叠的遮挡区域，机器人系统可以示出(1)物体C3的重叠部分在物体B下方，以及(2)物体B的重叠部分在物体C3下方。因此，机器人系统可以有意地生成逻辑上矛盾的结果以示出不确定的遮挡状态。作为响应，机器人系统可以在针对物体B和C3两者的运动计划(例如，其夹持位置确定部分)期间忽略或排除遮挡区域。

机器人系统可以基于在遮挡区域中与目标检测结果相关联的检测特征和/或与相邻检测结果相关联的检测特征来确定遮挡区域的遮挡状态。更具体地，机器人系统可以分析遮挡区域中的检测特征，包括边缘特征、关键点、深度值或其组合，以确定检测特征是属于目标检测结果还是相邻检测结果(例如，对应于这些结果的暴露部分)。换言之，机器人系统可以根据哪个检测结果包括遮挡区域中的相关联的或对应的检测特征的较大百分比(基于下文进一步描述的值或对应分数)来确定遮挡状态。

一般而言，机器人系统可以将遮挡区域中的特征与目标检测结果和相邻检测结果的检测特征进行比较。当较大百分比的检测特征对应于目标检测结果并高于置信度阈值时，机器人系统可以将遮挡状态确定为相邻遮挡状态(例如，示出相邻物体被目标物体遮挡，这意味着相邻物体低于目标物体)。当较大百分比的检测特征对应于相邻检测结果并高于置信度阈值时，机器人系统可以将遮挡状态确定为目标遮挡状态(例如，示出目标物体被相邻物体遮挡，这意味着目标物体低于相邻物体)。如果对检测特征的分析是不确定的(例如，检测特征的百分比不高于置信度阈值)，则机器人系统可以确定遮挡状态是不确定的遮挡状态。

在一些实施方案中，机器人系统可以将遮挡状态确定为遮挡区域中的检测特征中的每一者的组合。更具体地，机器人系统可以计算对应分数以确定边缘特征、关键点和/或深度值是对应或属于目标检测结果还是相邻检测结果。在一些实施方案中，对应分数可以是检测特征中的每一者的综合分数，而在其他实施方案中，对应分数(例如，边缘特征对应分数、关键点对应分数和/或深度值对应分数)可以针对检测特征中的每一者进行单独计算，并且进行组合以计算对应分数。在一些实施方案中，机器人系统可以包括用于检测特征中的每一者的权重，以增加或减少对应检测特征在计算对应分数中的贡献。

任选地，在一些实施方案中，如图4A中例证，机器人系统可以标识有争议的部分，如俯视图400-1图像数据所示。在任选实施方案中，有争议的部分可以包括尺寸小于注册物体的最小尺寸的区域。由于与此类有争议的部分相对应的边缘对应于彼此重叠的多个物体并且包括由物体表面上的压印和/或变形产生的检测线，因此有争议的部分的尺寸可能小于物体本身。有争议的部分1可以对应于具有尺寸d1和d2的矩形区域。机器人系统可以基于与主数据中的已知物体的比较来标识具有尺寸d1和d2的这种矩形区域与具有一定置信度量(例如，高于某个阈值置信度量的置信度量)的主数据中的任何已知物体不匹配。因此，机器人系统可以将所述区域标识为有争议的部分1。类似地，由线408a和408b定义的有争议的部分2对应于具有不规则形状的区域(例如，线408b定义矩形的形状，而408a切掉了矩形的左上角的一部分)。机器人系统可以基于与主数据中的已知物体的比较来标识出这种不规则形状的区域与具有一定置信度量的主数据中的任何已知物体(例如，由形状模板表示)不匹配。因此，机器人系统可以将所述区域标识为有争议的部分2。

任选地，在一些实施方案中，机器人系统可以为有争议的部分分析跨越一条或多条检测线的表面连续性。例如，机器人系统可以将边缘特征的相对侧上的深度值进行比较。作为另一个示例，机器人系统可以分析有争议的部分下方的线(例如，跨越其他相交线)与相邻物体的线的连续性、平行布置和/或共线性，以确定有争议的部分下方的线是否可以属于相邻物体。例如，可以通过将物体的形状和尺寸与主数据中的物体的已知形状和大小进行比较来执行确定。例如，在图4A中，机器人系统可以基于检测到的线406a至406d将物体C1标识为具有部分矩形形状。机器人系统可以进一步标识出线408a与线406b连续/共线。机器人系统由此可以估计线408a实际上是属于物体C1的边缘。

在一些实施方案中，机器人系统还可以分析有争议的部分的表面特征/纹理，诸如物体表面上的图片或文本。对有争议的部分的分析可以包括将有争议的部分中检测到的边缘与主数据中的已知图像、模式、标志和/或图片进行比较。响应于确定在有争议的部分中检测到的边缘对应于已知图像、模式、标志或/或图片，机器人系统可以确定与有争议的部分相对应的表面属于单个物体。例如，机器人系统可以将标志404(例如，对应于有争议的部分3)与主数据中的已知标志和图片进行比较。响应于确定标志404与已知标志匹配，机器人系统可以确定与标志404相对应的区域实际上属于物体C2。机器人系统可以类似地标识延伸跨越或进入一个或多个有争议的部分的视觉模式，以调整对应部分与一个物体相关的置信度。

任选地，机器人系统可以将矩形封闭区域标识为有争议的部分，因为尺寸(例如，d1和d2)小于在主数据中列出的最小物体尺寸。这些不确定性可能导致置信水平低于一个或多个预定阈值，由此导致机器人系统生成遮挡掩模A1以阻止处理有争议的部分。机器人系统可以类似地处理物体A的底部的重叠部分以生成遮挡掩模A2和B。

在框517处，机器人系统可以为一个或多个检测结果生成检测掩模信息。检测掩模信息描述了与检测结果相对应的估计表面内的不同类别的区域，诸如检测结果的阳性标识区域和/或有争议的部分。检测掩模信息可以包括阳性标识信息、遮挡区域信息、不确定区域信息或其组合。阳性标识信息描述检测结果中的阳性标识区域中的每一者的位置或定位和大小/面积。遮挡区域信息描述检测结果中的遮挡区域中的每一者的位置或定位和大小/面积。不确定区域信息描述检测结果中的不确定区域中的每一者的位置或定位和大小/面积。

作为检测掩模信息的示例，对于物体B与物体C3之间的遮挡区域，掩模B可以表示图4A的物体B的遮挡区域信息。作为另一个示例，由物体B的虚线定义的区域可以表示与阳性标识区域相对应的阳性标识信息MASK B。

机器人系统可以生成检测掩模信息作为用于导出可夹持区域(例如，在夹持对应物体时允许由末端执行器接触的区域)的指导或输入。例如，在运动计划(如下所述)期间，机器人系统可以标识和测试以下夹持位置：(1)完全设位于阳性标识区域内，(2)部分位于阳性标识区域内并延伸到不确定区域中，(3)完全在遮挡区域之外，或其组合。换言之，机器人系统可以在必要时将阳性标识区域与周围的不确定区域一起用作可夹持区域。

在框512处，机器人系统可以导出运动计划。机器人系统可以根据与检测掩模信息相关联的处理序列来导出运动计划。例如，机器人系统可以使用处理序列，所述处理序列包括：基于检测掩模信息来确定具有对应检测结果的哪些柔性物体(也称为被检测物体)是可抓取物体；从可夹持物体中选择目标物体；基于检测掩模信息以及更具体地基于阳性标识区域来确定机器人臂的末端执行器在目标物体上的夹持位置；计算用于使机器人臂将目标物体从起始位置转移到目的地位置的一条或多条轨迹；或其组合。

在一些实施方案中，基于分析阳性标识区域，机器人系统可以确定一个或多个夹持位置。例如，当阳性标识区域的尺寸超过最小夹持要求时，机器人系统可以确定夹持位置。机器人系统可以根据导出的序列来确定夹持位置。例如，在图4A中，机器人系统可以确定阳性标识区域的夹持位置A和B的尺寸大于用机器人臂的末端执行器夹持目标物体并移动(例如，提升)物体所需的最小尺寸。机器人系统可以确定夹持位置在目标物体的表面上与阳性标识信息的阳性标识区域相对应的区域内。当被检测物体的检测结果包括遮挡区域时，机器人系统可以确定夹持位置以避开目标物体的表面上与遮挡信息的遮挡区域相对应的区域。

作为说明性示例，机器人系统可以使用处理序列，所述处理序列首先确定阳性标识区域中的一者或多者是否具有足以包含夹持器的覆盖区的形状和/或一组尺寸。如果存在此类位置，则机器人系统可以根据其他夹持要求(例如，相对于CoM的位置/姿态)处理阳性标识区域内的一组夹持姿态，以确定目标物体的夹持位置。如果一个物体的阳性标识区域均不足以围绕夹持器覆盖区，则机器人系统可以考虑与阳性标识区域重叠并延伸超出阳性标识区域(例如，进入不确定区域)的夹持位置/姿态。机器人系统可以消除延伸到遮挡区域或与遮挡区域重叠的位置/姿态。机器人系统可以根据其他夹持要求处理其余位置/姿态，以确定目标物体的夹持位置。

在一些实施方案中，机器人系统可以具有用于导出运动计划而不是用于图像分析(诸如生成一个或多个检测结果和/或检测掩模信息)的不同电路或指令组(例如，模块)。因此，第一电路/模块可以执行图像分析(包括例如上述检测过程)并且第二电路/模块可以基于图像分析导出运动计划。

在一些实施方案中，机器人系统可以通过在夹持位置处放置末端执行器的建模覆盖区并迭代地计算接近目标物体的轨迹、在抓握目标物体之后离开起始位置的轨迹、起始位置与目的地位置之间的转移轨迹或用于将目标物体在起始位置与目的地位置之间转移的其他轨迹来导出运动计划。当轨迹与障碍物重叠或者预测会导致碰撞或其他错误时，机器人系统可以考虑其他运动方向或操纵。机器人系统可以使用轨迹和/或对应命令、设置等作为用于将目标物体从起始位置转移到目的地位置的运动计划。

当阳性标识区域的尺寸超过最小夹持要求时并且当机器人系统可以确定可以计算轨迹以转移检测到的物体时，机器人系统可以确定可夹持物体。换言之，如果机器人系统无法计算轨迹以在指定时间段内转移检测到的物体和/或检测到的物体的阳性标识区域不满足最小夹持要求，则机器人系统将不会确定检测到的物体作为可夹持物体。

机器人系统可以从可夹持物体中选择目标物体。在一些实施方案中，机器人系统可以为不包括遮挡区域的可夹持物体选择目标物体。在其他实施方案中，机器人系统可以选择目标物体作为首先完成轨迹计算的可夹持物体。在更进一步的实施方案中，机器人系统可以选择目标物体作为具有快速转移时间的可夹持物体。

在一些实施方案中，机器人系统可以被配置为导出用于首先提升目标物体然后横向转移物体的运动计划。在一些实施方案中，机器人系统可以在转移目标物体和/或重新获得和处理图像数据之前导出用于使目标物体滑动或横向移位的运动计划，诸如清除任何物体重叠。

在框514处，机器人系统可以实施导出的运动计划。机器人系统(经由例如处理器和通信装置)可以通过将路径和/或对应命令、设置等传送到机器人臂总成来实施运动计划。机器人臂总成可以执行运动计划以将目标物体从起始位置转移到由运动计划示出的目的地位置。

如反馈回路所示，机器人系统可以在实施运动计划之后获得一组新的图像，并重复上文针对框502至512描述的过程。机器人系统可以重复所述过程，直到源容器是空的，直到所有目标物体都已被转移，或者当没有可行的解决方案剩余时(例如，检测到的边缘不形成至少一个可行的表面部分的错误情况)。

虽然在图5中呈现的过程流具有一定的顺序，但是应当理解，关于框504至528描述的某些动作可以以替代的序列或顺序来执行。

示例

本技术例如根据下文描述的各个方面来说明。为方便起见，本技术的各方面的各种示例被描述为编号示例(1、2、3等)。这些是作为示例提供的并且不限制本技术。应当注意，任何从属示例可以任何合适的方式组合，并且被置于相应的独立示例中。其他示例可以类似方式呈现。

1.一种操作机器人系统的示例性方法，所述方法包括：

基于表示起始位置处的一个或多个柔性物体的图像数据生成检测特征；

基于所述检测特征生成与所述一个或多个柔性物体相对应的检测结果；

确定所述检测结果是否示出遮挡区域，其中所述遮挡区域表示所述一个或多个柔性物体的实例与所述一个或多个柔性物体的另一实例之间的重叠；

为所述检测结果生成检测掩模信息，其中所述检测掩模信息包括阳性标识信息；以及

导出目标物体的运动计划，其中所述运动计划包括：

目标物体，所述目标物体基于所述检测掩模信息而从所述一个或多个柔性物体中选择，

机器人臂的末端执行器在所述目标物体上的夹持位置，所述夹持位置是基于所述检测掩模信息，以及

一条或多条轨迹，所述一条或多条轨迹用于使所述机器人臂将所述目标物体从所述起始位置转移到目的地位置。

2.示例性方法1或其一个或多个部分，其还包括在所述目标物体的表面上与所述阳性标识信息相对应的区域内确定所述夹持位置。

3.示例性方法1和2中的任何一种或多种和/或其一个或多个部分的组合，其还包括当所述检测结果包括所述遮挡区域时确定所述夹持位置以避开所述目标物体的表面上与遮挡信息相对应的区域。

4.示例性方法1至3中的任何一种或多种和/或其一个或多个部分的组合，其中所述遮挡区域是与所述一个或多个柔性物体的所述实例相对应的目标检测结果和与所述一个或多个柔性物体的所述另一实例相对应的相邻检测结果之间的重叠。

5.示例性方法1至4中的任何一种或多种和/或其一个或多个部分的组合，其还包括确定所述遮挡区域的遮挡状态，其中所述遮挡状态是以下各项中的一项：

(1)相邻遮挡状态，所述相邻遮挡状态表示在所述遮挡区域中所述相邻检测结果低于所述目标检测结果，

(2)目标遮挡状态，所述目标遮挡状态表示在所述遮挡区域中所述目标检测结果低于所述相邻检测结果，或者

(3)不确定的遮挡状态，即，所述目标检测结果与所述相邻检测结果之间的所述重叠是不确定的时。

6.示例性方法1至5中的任何一种或多种和/或其一个或多个部分的组合，其还包括基于所述遮挡区域中与所述目标检测结果相对应的所述检测特征和/或与所述相邻检测结果相对应的所述检测特征来确定所述遮挡区域的遮挡状态。

7.示例性方法1至6中的任何一种或多种和/或其一个或多个部分的组合，其中：

所述检测特征包括边缘特征、关键点、深度值或其组合；

所述方法还包括：

当边缘信息、关键点信息、高度测量信息或其组合时，为所述图像数据中的区域生成所述阳性标识信息；以及

生成所述检测结果包括基于所述边缘信息、所述关键点信息、所述高度测量信息或其组合生成所述检测结果。

8.一种操作机器人系统的示例性方法，所述方法包括：

获得表示起始位置处的至少第一物体和第二物体的图像数据；

基于所述图像数据，确定所述第一物体和所述第二物体彼此重叠；

响应于所述确定而基于所述图像数据来标识重叠区域，其中所述重叠区域表示所述第一物体的至少一部分与所述第二物体的至少一部分重叠的区域；以及

基于用于运动计划的一个或多个描绘的特性对所述重叠区域进行分类。

9.示例性方法1至8中的任何一种或多种和/或其一个或多个部分的组合，其还包括基于所述图像数据生成第一检测结果和第二检测结果，其中：

所述第一检测结果和所述第二检测结果分别标识在所述图像数据中描绘的所述第一物体和所述第二物体；并且

生成所述第一检测结果和所述第二检测结果包括：

使用描述注册物体的物理属性的主数据，标识与所述第一检测结果和所述第二检测结果相对应的所述第一物体和所述第二物体的形状；

确定所述第一物体和所述第二物体重叠包括将所述第一物体和所述第二物体的所述形状与所述图像数据进行比较；以及

标识与所述图像数据的一部分相对应的所述重叠区域，所述部分对应于所述第一物体和所述第二物体的所述形状。

10.示例性方法1至9中的任何一种或多种和/或其一个或多个部分的组合，其还包括基于所述图像数据生成第一检测结果，其中所述第一检测结果标识所述第一物体和其位置，并且其中生成所述第一检测结果还包括：

根据描述注册物体的物理属性的主数据，标识与所述第一检测结果相对应的至少第一形状；以及

基于根据所述图像数据的与所述第一物体相对应的一部分与所述主数据中的所述第一物体的预期表面特性的比较标识所述部分中的非预期线或边缘来确定所述第一物体和所述第二物体重叠，其中所述非预期线或边缘对应于(1)所述第二物体的在所述第一物体上方延伸的边缘或者(2)当所述第一物体根据所述主数据被标识为柔性物体时基于所述第一物体与所述第二物体部分重叠而在所述第一物体上形成的表面变形。

11.示例性方法1至10中的任何一种或多种和/或其一个或多个部分的组合，其中生成所述第一检测结果还包括标识(1)在所述重叠区域中所述第一物体是否高于所述第二物体/与所述第二物体重叠，(2)在所述重叠区域中所述第一物体是否低于所述第二物体或被所述第二物体覆盖，或者(3)是否没有足够证据推断出所述第一物体相对于所述第二物体的竖直设位。

12.示例性方法1至11中的任何一种或多种和/或其一个或多个部分的组合，其中标识没有足够证据包括：

标识在所述重叠区域中所述第一物体在所述第二物体的下方；以及

基于所述图像数据生成第二检测结果，其中所述第二检测结果标识所述第二物体和其位置，并且进一步示出在所述重叠区域中所述第二物体在所述第一物体的下方。

13.示例性方法1至12中的任何一种或多种和/或其一个或多个部分的组合，其中：

生成所述第一检测结果还包括将所述图像数据的与所述第一物体相对应的一个或多个部分标识为：

(1)阳性标识区域，所述阳性标识区域与所述第一物体的所述主数据中的预期表面图像的对应部分匹配，

(2)所述重叠区域，或者

(3)不确定区域；并且

所述方法还包括：

导出用于在将所述第一物体转移到目的地时用夹持器抓握所述第一物体的夹持位置，其中所述夹持位置是基于以下两项导出的：(1)使夹持器覆盖区与所述阳性标识区域之间的重叠最大化；以及(2)保持所述夹持器覆盖区在所述重叠区域之外。

14.任何机器人系统，其包括：

至少一个处理器；以及

至少一个存储器，所述至少一个存储器包括处理器指令，所述处理器指令在被执行时使所述至少一个处理器执行示例性方法1至13中的任何一种或多种和/或其一个或多个部分的组合。

15.一种包括处理器指令的非暂时性计算机可读介质，所述处理器指令在由一个或多个处理器执行时使所述一个或多个处理器执行示例性方法1至13中的任何一种或多种和/或其一个或多个部分的组合。

结论

所公开技术的示例的以上具体实施方式不意在是穷举的或将所公开技术限制为以上公开的精确形式。虽然出于说明性目的描述了所公开技术的具体示例，但如相关领域技术人员应认识到，在所公开技术的范围内多种等效修改也是可能的。例如，尽管以给定顺序呈现了过程或框，但是替代实施方式可以以不同顺序执行具有步骤的例程，或者以不同顺序采用具有框的系统，并且一些过程或框可以被删除、移动、添加、细分、组合和/或修改以提供替代方案或子组合。这些过程或框中的每一者可以多种不同方式来实施。另外，虽然过程或框有时被示出为串行执行，但这些过程或框可替代地并行执行或实施，或者可在不同时间执行。此外，本文提到的任何具体数字仅仅是示例；替代实施方式可以采用不同的值或范围。

根据上文具体实施方式，可对所公开技术进行这些和其他改变。虽然具体实施方式描述了所公开技术的某些示例以及预期的最佳模式，但是无论以上描述在文本中出现的多么详细，都可通过许多方式来实践所公开技术。系统的细节可在其具体实施方式中相差甚大，但仍由本文所公开的技术涵盖。如上所述，在描述所公开技术的某些特征或方面时使用的特定术语不应被认为暗示所述术语在本文中被重新定义为限于与该术语相关联的所公开技术的任何特定特性、特征或方面。因此，除所附权利要求之外，本发明不受限制。通常，除非以上具体实施方式部分明确限定了所附权利要求中使用的术语，否则此类术语不应被解释为将所公开技术限于说明书中所公开的具体示例。

虽然下面以某些权利要求的形式呈现了本发明的某些方面，但是申请人以任何数目的权利要求形式设想了本发明的各方面。因此，在本申请中或接续申请中，申请人保留在提交本申请以寻求此类附加权利要求形式之后寻求附加权利要求的权利。

Claims (20)

1.一种操作机器人系统的方法，所述方法包括：

基于表示起始位置处的一个或多个柔性物体的图像数据生成检测特征；

基于所述检测特征生成与所述一个或多个柔性物体相对应的检测结果；

确定所述检测结果是否示出遮挡区域，其中所述遮挡区域表示所述一个或多个柔性物体的实例与所述一个或多个柔性物体的另一实例之间的重叠；

为所述检测结果生成检测掩模信息，其中所述检测掩模信息包括阳性标识信息；以及

导出目标物体的运动计划，其中所述运动计划包括：

目标物体，所述目标物体基于所述检测掩模信息而从所述一个或多个柔性物体中选择，

机器人臂的末端执行器在所述目标物体上的夹持位置，所述夹持位置是基于所述检测掩模信息，以及

一条或多条轨迹，所述一条或多条轨迹用于使所述机器人臂将所述目标物体从所述起始位置转移到目的地位置。

2.根据权利要求1所述的方法，其还包括在所述目标物体的表面上与所述阳性标识信息相对应的区域内确定所述夹持位置。

3.根据权利要求1所述的方法，其还包括当所述检测结果包括所述遮挡区域时确定所述夹持位置以避开所述目标物体的表面上与遮挡信息相对应的区域。

4.根据权利要求1所述的方法，其中所述遮挡区域是与所述一个或多个柔性物体的所述实例相对应的目标检测结果和与所述一个或多个柔性物体的所述另一实例相对应的相邻检测结果之间的重叠。

5.根据权利要求4所述的方法，其还包括确定所述遮挡区域的遮挡状态，其中所述遮挡状态是以下各项中的一项：

(1)相邻遮挡状态，所述相邻遮挡状态表示在所述遮挡区域中所述相邻检测结果低于所述目标检测结果，

(2)目标遮挡状态，所述目标遮挡状态表示在所述遮挡区域中所述目标检测结果低于所述相邻检测结果，或者

(3)不确定的遮挡状态，即，所述目标检测结果与所述相邻检测结果之间的所述重叠是不确定的时。

6.根据权利要求4所述的方法，其还包括基于所述遮挡区域中与所述目标检测结果相对应的所述检测特征和/或与所述相邻检测结果相对应的所述检测特征来确定所述遮挡区域的遮挡状态。

7.根据权利要求1所述的方法，其中：

所述检测特征包括边缘特征、关键点、深度值或其组合；

所述方法还包括：

当边缘信息、关键点信息、高度测量信息或其组合时，为所述图像数据中的区域生成所述阳性标识信息；以及

生成所述检测结果包括基于所述边缘信息、所述关键点信息、所述高度测量信息或其组合生成所述检测结果。

8.一种机器人系统，其包括：

至少一个处理器；以及

包括处理器指令的至少一个存储器，所述处理器指令在被执行时使所述至少一个处理器：

基于表示起始位置处的一个或多个柔性物体的图像数据生成检测特征；

基于所述检测特征生成与所述一个或多个柔性物体相对应的检测结果；

确定所述检测结果是否示出遮挡区域，其中所述遮挡区域表示所述一个或多个柔性物体的实例与所述一个或多个柔性物体的另一实例之间的重叠；

为所述检测结果生成检测掩模信息，其中所述检测掩模信息包括阳性标识信息；以及

导出目标物体的运动计划，其中所述运动计划包括：

目标物体，所述目标物体基于所述检测掩模信息而从所述一个或多个柔性物体中选择，

机器人臂的末端执行器在所述目标物体上的夹持位置，所述夹持位置是基于所述检测掩模信息，以及

一条或多条轨迹，所述一条或多条轨迹用于使所述机器人臂将所述目标物体从所述起始位置转移到目的地位置。

9.根据权利要求8所述的系统，其中所述处理器指令还使所述至少一个处理器在所述目标物体的表面上与所述阳性标识信息相对应的区域内确定所述夹持位置。

10.根据权利要求8所述的系统，其中所述处理器指令还使所述至少一个处理器在所述检测结果包括所述遮挡区域时确定所述夹持位置以避开所述目标物体的表面上与遮挡信息相对应的区域。

11.根据权利要求8所述的系统，其中所述遮挡区域是与所述一个或多个柔性物体的所述实例相对应的目标检测结果和与所述一个或多个柔性物体的所述另一实例相对应的相邻检测结果之间的重叠。

12.根据权利要求11所述的系统，其中所述处理器指令还使所述至少一个处理器确定所述遮挡区域的遮挡状态，其中所述遮挡状态是以下各项中的一项：

(1)相邻遮挡状态，所述相邻遮挡状态表示在所述遮挡区域中所述相邻检测结果低于所述目标检测结果，

(2)目标遮挡状态，所述目标遮挡状态表示在所述遮挡区域中所述目标检测结果低于所述相邻检测结果，或者

(3)不确定的遮挡状态，即，所述目标检测结果与所述相邻检测结果之间的所述重叠是不确定的时。

13.根据权利要求11所述的系统，其中所述处理器指令还使所述至少一个处理器基于所述遮挡区域中与所述目标检测结果相对应的所述检测特征和/或与所述相邻检测结果相对应的所述检测特征来确定所述遮挡区域的遮挡状态。

14.根据权利要求8所述的系统，其中：

所述检测特征包括边缘特征、关键点、深度值或其组合；并且

所述处理器指令还使所述至少一个处理器：

当边缘信息、关键点信息、高度测量信息或其组合时，为所述图像数据中的区域生成所述阳性标识信息；以及

基于所述边缘信息、所述关键点信息、所述高度测量信息或其组合生成所述检测结果。

15.一种包括处理器指令的非暂时性计算机可读介质，所述处理器指令在由一个或多个处理器执行时使所述一个或多个处理器：

基于表示起始位置处的一个或多个柔性物体的图像数据生成检测特征；

基于所述检测特征生成与所述一个或多个柔性物体相对应的检测结果；

确定所述检测结果是否示出遮挡区域，其中所述遮挡区域表示所述一个或多个柔性物体的实例与所述一个或多个柔性物体的另一实例之间的重叠；

为所述检测结果生成检测掩模信息，其中所述检测掩模信息包括阳性标识信息；以及

导出目标物体的运动计划，其中所述运动计划包括：

目标物体，所述目标物体基于所述检测掩模信息而从所述一个或多个柔性物体中选择，

机器人臂的末端执行器在所述目标物体上的夹持位置，所述夹持位置是基于所述检测掩模信息，以及

一条或多条轨迹，所述一条或多条轨迹用于使所述机器人臂将所述目标物体从所述起始位置转移到目的地位置。

16.根据权利要求15所述的非暂时性计算机可读介质，其中所述处理器指令还使所述一个或多个处理器在所述目标物体的表面上与所述阳性标识信息相对应的区域内确定所述夹持位置。

17.根据权利要求15所述的非暂时性计算机可读介质，其中所述遮挡区域是与所述一个或多个柔性物体的所述实例相对应的目标检测结果和与所述一个或多个柔性物体的所述另一实例相对应的相邻检测结果之间的重叠。

18.根据权利要求17所述的非暂时性计算机可读介质，其中处理器指令还使所述一个或多个处理器确定所述遮挡区域的遮挡状态，其中所述遮挡状态是以下各项中的一项：

(1)相邻遮挡状态，所述相邻遮挡状态表示在所述遮挡区域中所述相邻检测结果低于所述目标检测结果，

(2)目标遮挡状态，所述目标遮挡状态表示在所述遮挡区域中所述目标检测结果低于所述相邻检测结果，或者

(3)不确定的遮挡状态，即，所述目标检测结果与所述相邻检测结果之间的所述重叠是不确定的时。

19.根据权利要求17所述的非暂时性计算机可读介质，其中处理器指令还使所述一个或多个处理器基于所述遮挡区域中与所述目标检测结果相对应的所述检测特征和/或与所述相邻检测结果相对应的所述检测特征来确定所述遮挡区域的遮挡状态。

20.根据权利要求15所述的非暂时性计算机可读介质，其中：

所述检测特征包括边缘特征、关键点、深度值或其组合；并且

所述处理器指令还使所述一个或多个处理器：

当边缘信息、关键点信息、高度测量信息或其组合时，为所述图像数据中的区域生成所述阳性标识信息；以及

基于所述边缘信息、所述关键点信息、所述高度测量信息或其组合生成所述检测结果。

Images