CN113811426A - 物品特征适配技术 - Google Patents

Abstract

用于执行拾取作业的机器人拾取装置和方法。本公开方法涉及执行图像分析程序以识别物品的目标特征，其中所述目标特征影响拾取装置执行拾取作业的能力；以及生成可由拾取装置执行的抓取计划，其中所述抓取计划能适配所述目标特征，使得拾取装置能够执行拾取作业。

Description

物品特征适配技术

相关申请的交叉引用

本申请要求2019年3月6日提交的共同未决的美国临时申请第62/814,343号的权益和优先权，其全部公开内容通过引用并入本文，具有与在本文中完整阐述时相同的作用。

技术领域

本申请描述的实施例大体上涉及机器人装置和方法，更具体地但非排他地，涉及用于执行拾取作业的机器人装置和方法。

背景技术

诸如在仓库环境中进行的那些物流操作通常包括机器人拾取装置从第一位置(例如，容器)取出物品并将物品放置在第二位置(例如，传送带上)。

因此，这些操作需要机器人拾取装置首先成功抓取物品。然而，通常情况下，物品包括一个或多个可能影响拾取装置抓握物品的能力的特征。

例如，许多订单履行应用程序需要在处理前扫描与每个物品相关联的条形码。如果物品被抓取时其条形码被遮挡，则拾取作业可能无法按预期完成。

用于识别这些特征的现有技术涉及检测物品图像中的像素级特征，其中所述特征(例如，强度梯度、空间频率等)特定于作为操作客体的物品类型的结构。这些技术通常要求这些特征面向相机，没有遮挡，并且在类型、形状和光照方面几乎没有变化。这些技术还主要用于假设这些特征在收集的图像中突出显示的应用程序。因此，这些现有技术无法适配所有场景中的物品和各种特征。

因此，需要能克服现有技术的缺点的用于执行拾取作业的系统和方法。

发明内容

本发明内容是用于以简化的形式介绍一些概念，这些概念将在下面的具体实施方式部分中进一步描述。本发明内容不旨在确定或排除所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

在一个方面，各实施例涉及执行拾取作业的系统。该方法包括在拾取作业中接收要由拾取装置抓取的第一物品的图像；使用执行存储在存储器上的指令的处理器执行图像分析程序以识别第一物品的目标特征，其中所述目标特征影响拾取装置执行拾取作业的能力；以及使用处理器生成可由拾取装置执行的抓取计划，其中所述抓取计划能适配所述目标特征，使得拾取装置能够执行拾取作业。

在一些实施例中，所述方法还包括使用拾取装置执行生成的抓取计划。

在一些实施例中，所述第一物品的目标特征是可扫描标记，并且所述生成的抓取计划指示拾取装置抓取第一物品以确保可扫描标记能够被扫描。在一些实施例中，所述生成的抓取计划涉及拾取装置扰动第一物品，使得拾取装置可以抓取第一物品以确保可以扫描到所述可扫描标记。

在一些实施例中，所述第一物品的目标特征是结构部件，并且所述生成的抓取计划指示拾取装置接触结构部件或不接触结构部件。在一些实施例中，所述生成的抓取计划涉及拾取装置扰动第一物品，使得拾取装置可以接触所述结构部件或者使得拾取装置可以在不接触结构部件的情况下抓取第一物品。

在一些实施例中，所述执行图像分析程序包括将接收到的图像划分成多个片段并且基于多个片段中的每个片段包含目标特征的可能性将多个片段中的每个片段按候选抓取位置进行排序。

在一些实施例中，所述方法还包括移动至少第二物品，以便拾取装置根据生成的抓取计划接近第一物品以执行拾取作业。

在一些实施例中，执行图像分析程序涉及执行机器学习程序以识别第一物品的目标特征。

在另一个方面，各实施例涉及执行拾取作业系统。该系统包括接口，其用于接收待抓取的第一个物品的图像；拾取装置，其被配置为在拾取作业中抓取第一物品；以及处理器，其执行存储在存储器上的指令并被配置为执行图像分析程序以识别第一物品的目标特征，其中所述目标特征可以影响拾取装置执行拾取作业的能力，并生成可由拾取装置执行的抓取计划，其中所述抓取计划适配所述目标特征，使得拾取装置能够执行拾取作业。

在一些实施例中，所述拾取装置被配置为通过执行生成的抓取计划来抓取拾取作业中的第一物品。

在一些实施例中，所述第一物品的目标特征是可扫描标记，并且所述拾取装置被配置为抓取第一物品以确保可以根据生成的抓取计划扫描到可扫描标记。在一些实施例中，所述拾取装置被配置为扰动第一物品，使得拾取装置可以抓取第一物品以确保可以根据生成的抓取计划扫描到可扫描标记。

在一些实施例中，所述第一物品的目标特征是第一物品的结构部件，并且所述拾取装置被配置为根据生成的抓取计划接触结构部件或被配置为根据生成的抓取计划不接触结构部件。在一些实施例中，所述拾取装置被配置为扰动第一物品，使得拾取装置可以根据生成的抓取计划接触结构部件或根据生成的抓取计划不接触结构部件。

在一些实施例中，所述处理器执行图像分析程序，将接收到的图像划分成多个片段并且基于多个片段中的每个片段包含目标特征的可能性将多个片段中的每个片段按候选抓取位置进行排序。

在一些实施例中，所述拾取装置还被配置为根据生成的抓取计划移动至少第二物品以接近第一物品。

在一些实施例中，所述处理器执行图像分析程序，通过执行机器学习程序以识别第一物品的目标特征。

附图的简要说明

参考以下附图描述本公开的非限制性和非穷举性实施例，其中除非另有说明，否则相同的附图标记在各个视图中指代相同的部分。

图1示出了根据一个实施例的在仓库环境中的拾取装置；

图2示出了根据另一个实施例的在仓库环境中的拾取装置；

图3示出了根据一个实施例的用于执行拾取作业的系统；以及

图4描绘了根据一个实施例的用于执行拾取作业的方法的流程图。

具体实施方式

下面参考附图更全面地描述各个实施例，各附图形成本发明的一部分并且示出了具体的示例性实施例。但是本公开的概念可以以许多不同的形式实现，并且不应该被解释为限于本文阐述的实施例；相反，这些实施例是作为全面和完整公开的一部分提供的，以向本领域技术人员详细表述本公开的概念、技术和实施方式的范围。各实施例可以实现为方法、系统或装置。因此，各实施例可以采用的形式有硬件实现、完全软件实现或软件和硬件组合实现。因此，以下详细描述不应被视为具有限制意义。

说明书中引用“一个实施例”或“实施例”表示与描述该实施例有关的特定特征、结构或特性包括在根据本公开的至少一个示例性实现或技术中。在说明书中各处出现的短语“在一个实施例中”不一定都指的是同一实施例。在说明书中各处出现的短语“在一些实施例中”不一定都指的是相同的实施例。

下文描述的一些部分是根据存储在计算机存储器内的非瞬态信号操作的符号表示来描述的。这些描述和表示由数据处理领域的技术人员使用，以最有效地将他们工作的实质传达给本领域其他技术人员。这种操作通常需要物理量的物理操纵。通常，尽管不是必须的，但是这些量可以采取能够进行存储、传输、组合、比较和以其他方式控制的电信号、磁信号或光信号的形式。有时为了方便，主要是由于习惯用法的原因，将这些信号称为比特、数值、元素、符号、字符、术语、数字等。此外，有时为了方便也将需要对物理量进行物理操纵的某些步骤的布置称为模块或代码装置，但是不代表不再具备其一般性。

但是所有这些和类似术语都与适当的物理量有关，仅仅是应用于这些量的方便标签。除非从以下讨论中显而易见的明确说明，否则应当理解的是，在整个说明书中，利用诸如“处理”或“电脑运算”或“计算”或“确定”或“显示”等术语的讨论指的是计算机系统或类似电子计算装置的动作和程序，其操纵和变换表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理(电子)量的数据。本公开的部分包括可以以软件、固件或硬件实现的程序和指令，当以软件实现时，可以下载以驻留在各种操作系统所使用的不同平台上并且可以从所述不同平台操作。

本公开还涉及用于执行本文操作的设备。该装置可以为所需目的而专门构造，或者它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中，例如但不限于任何类型的磁盘(包括软盘、光盘、CD-ROM、磁光盘)、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、专用集成电路(ASIC)或适用于存储电子指令的任何类型的介质，并且每种可以耦合到计算机系统总线。此外，说明书中提到的计算机可以包括单个处理器或者可以是采用多个处理器设计以提高计算能力的架构。

本文出现的程序和显示并非固有地与任何特定计算机或其他设备相关。各种通用系统也可以与本文教导的程序一起使用，或者可以证明其方便用于构造更专用的设备以执行一个或多个方法步骤。在下面的描述中讨论了各种这些系统的结构。另外，可以使用足以实现本公开的技术和实施方式的任何特定编程语言。可以使用各种编程语言来实现如本文所讨论的本公开。

此外，本说明书中使用的语言主要是出于可读性和指导目的而选择的，并非选择用于描述或限制所公开的主题。因此，本公开旨在说明而非限制本文所讨论的概念的范围。

拾取作业通常涉及机器人拾取装置执行抓取尝试以抓取物品(例如，从架子、容器、箱等)，然后将物品放置在另一位置。所述“放置”位置可以是另一个容器、箱、传送带等。拾取和放置位置的类型可以不同，并且可以取决于要执行拾取作业的应用或环境。

如前所述，作为拾取作业的客体的物品通常包括可能影响拾取装置是否能够执行(或拾取装置应该如何执行)拾取作业的某些目标特征。例如，许多订单履行应用程序需要在处理前扫描与每个物品相关联的条形码。如果物品被抓取时其条形码是模糊的，则拾取作业可能无法按预期完成。在这些情况下，人工操作员可能需要进行干预以调整物品，甚至可能需要他们自己执行拾取作业。这不可避免地会产生停机时间并消耗资源，因为需要人工操作员进行干预。

在这里描述的实施例提供了用于执行拾取作业的新颖系统和方法。这里描述的系统和方法可以首先确定待抓取的物品是否包括一个或多个目标特征。在本申请的上下文中，术语“目标特征”或类似术语可以指影响拾取装置应该如何执行抓取尝试的物品特征。在某些情况下，目标特征可以指在拾取作业期间应避开的某些特征。这可以指不应被抓取装置混淆的物品外部的条形码、标签或一些其他标记。作为另一个示例，应该避开的目标特征可以是具有敏感部件的物品上的某个位置(例如，汽水罐、玻璃等上的拉环)。

在其他情况下，目标特征可以指在拾取作业期间应该被接触到的位置或结构部件。这些可以指孔、钩子、平坦表面或在抓取尝试期间应该被接触到以增加抓取尝试成功的可能性的任何其他类型的位置或结构。

如果物品包括一个或多个目标特征，则本文描述的系统和方法可以生成适配任何目标特征并且可由拾取装置执行的抓取计划。因此，可以利用这些目标特征来改进拾取过程或以其他方式增加拾取作业的成功可能性。

本文描述的设备和方法可以在多种环境中实现并且能用于多种应用。图1示出了仓库环境100，其中一个或多个拾取装置102可以被分配执行拾取和放置作业的任务。例如，抓取设备102可以包括臂部(例如，由多个臂段或连杆形成)和末端执行器并且可以负责从货架单元104拾取物品并将物品放置在容器106中的任务。容器106可以在传送带108上，传送带108被配置成将容器106移至抓取设备102以及从抓取设备102移走。附加地或替代地，拾取装置102的任务可以是从容器106拾取物品并将物品放置在货架单元104、播种墙(putwall)、存储位置、其他箱子或容器等等中。

图2示出了仓库环境200中的另一示例性应用，其中拾取装置202可以被分配从一个或多个容器204中拾取物品并且将物品放置在装载站206处的任务。然后可以将这些物品放置在运输容器208中，用于进一步运输、分类、处理等等。

图3示出了根据一个实施例的用于执行拾取作业的系统300。所述系统300可包括物流管理模块302、一个或多个数据库304和拾取装置306。

物流管理模块302可以是处理装置并且可以包括或以其他方式执行分析模块308和存储在物流存储器310上的指令。物流管理模块302可以与数据库304可操作地通信。数据库304可以存储关于例如通常被抓取的物品及其相关联的目标特征(如果有的话)、先前拾取尝试和拾取作业的结果、抓取计划或拾取策略等的数据。

分析模块308可以执行存储在物流存储器310中的指令以执行任何所需的分析(例如，如果不是由拾取装置306执行的)。这些分析可以涉及分析接收到的图像以确定拾取装置306是否具有任何目标特征、拾取装置306是否已经抓取物品、生成抓取计划等。

一个或多个网络可以链接各种资产和组件302-06。网络可以包括或对接到任意一种或多种互联网、内联网、个域网(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、存储区域网络(SAN)、帧中继连接、高级智能网络(AIN)连接、同步光纤网络(SONET)连接、数字T1、T3、E1或E3线路、数字数据服务(DDS)连接、数字用户线(DSL)连接、以太网连接、综合业务数字网(ISDN)线、拨号端口(如V.90、V.34或V.34bis)模拟调制解调器连接、电缆调制解调器、异步传输模式(ATM)连接、光纤分布式数据接口(FDDI)连接、铜缆分布式数据接口(CDDI)连接或光/DWDM网络。

网络还可以包括、包含或对接任意一种或多种无线应用协议(WAP)链路、Wi-Fi链路、微波链路、通用分组无线服务(GPRS)链路、全球移动通信系统G(SM)链路、码分多址(CDMA)链路或时分多址(TDMA)链路(比如蜂窝电话信道)、全球定位系统(GPS)链路、蜂窝数字分组数据(CDPD)链路、Research in Motion,Limited(RIM)的双工寻呼类型装置、蓝牙无线电链路或基于IEEE 802.11的链路。

拾取装置306的任务可以是执行一个或多个拾取作业。如前所述，拾取作业通常涉及拾取装置从第一位置收集物品并将物品放置在第二位置。根据本文所述的实施例，拾取装置306可包括至少一个抓取装置312，用于作为拾取作业的一部分抓取物品。

抓取装置312可以以多种方式配置并且可以取决于待拾取的物品。在一些实施例中，抓取装置312可被配置为具有多个手指部分的末端执行器。在这些实施例中，拾取装置306可以通过将末端执行器定位在物品附近使得手指部分在物品的相对侧上，然后闭合手指部分使得它们与物品接触来抓取物品。如果手指部分对物品施加足够大的力，则它们可以根据拾取作业的要求拾取物品并将物品移动到另一个位置。

在其他实施例中，抓取装置312可被配置为产生吸力以实现对物品的抓取的一个或多个抽吸装置。在这些实施例中，抓取装置312还可包括任何所需的真空发生器和管道以提供所需的吸力。

在作业中，拾取装置306可以将抽吸装置移动到足够靠近物品或以其他方式与物品接触，使得产生的吸力使物品与抽吸装置保持接触。一旦抓取到，抽吸装置可以将物品移动到所需位置。可以停止或减小抽吸力，以便抽吸装置在所需位置释放物品。

拾取装置306还可包括、配置有或以其他方式与一个或多个图像收集装置314通信。这些图像收集装置314可以被引导朝向待拾取的物品并且可以收集关于物品的图像，例如物品的方向、构造、位置或其他类型的信息，这些信息可以帮助确定作为拾取作业客体的对象是否包括任何目标特征。

这些图像收集装置314可以包括例如但不限于RGB相机、立体相机、LIDAR、声纳传感器等中的任何一个或多个。所使用的图像收集装置314的确切类型或构造可以不同并且可以包括任何类型的传感器装置，无论是现在可用的还是以后发明的，只要它们能够收集实现本文描述的实施例的目标所需的数据。

所述图像收集装置314的位置或布置也可以不同，并且可以取决于所使用的图像收集装置314的类型。例如，如果抓取装置312被配置为具有手指部分的末端执行器，则一个或多个图像收集装置314可以嵌入末端执行器的手掌中。

在一些实施例中，系统300可以使用现成的(OTS)RGB相机来收集拾取装置306所瞄准的物品的图像。这些摄像机可以可操作地放置以提供拾取区域的俯视图。不管确切的配置如何，所收集的图像都可以被系统300实时利用来进行特征适配(例如，避开)，并且还可以被存储用于训练和改进任何实施的图像分析技术，例如机器学习程序。

接口316可以接收收集的图像并将收集的图像传送到处理器318以进行分析。处理器318可以执行存储在存储器320上的指令以分析接收的图像。存储器320可以是L1、L2、L3高速缓存或RAM存储器配置。如上所述，存储器320可以包括非易失性存储器(比如闪存、EPROM、EEPROM、ROM和PROM)或易失性存储器(比如静态或动态RAM)。存储器320的确切配置/类型当然可以改变，只要处理器318可以执行用于执行所要求保护的实施例的步骤的指令即可。

具体地，处理器318可以执行一个或多个图像分析模块322，以确定物品是否具有任何目标特征。例如，图像分析模块322可以使用一个或多个机器学习程序324来识别收集的图像中的目标特征。这些程序可以使用原始RGB图像作为输入，并产生一个输出，其中包含属于图像中物品的目标特征的每个像素的预测概率。

在一些实施例中，由图像分析模块322执行的机器学习程序324可以被监督并且依赖于存储在一个或多个数据库304中的在先注释的图像。例如，每个“训练”图像可以具有包含在像素级别标记的目标特征的区域。例如，这些可能已被用户标记为训练阶段的一部分。

可以使用独立的语义分割标记工具(图3未示出)创建用于训练图像的注释。可以向该工具的用户呈现来自训练图像集的图像。然后，他们可以在图像中的每个特征上指示边界多边形或其他指定。

例如，如果训练图像中的物品包括条形码，则用户可以突出显示条形码，以将条形码指定为目标特征。具体而言，用户可以将条形码指定为在拾取作业期间不应被盖住的目标特征。

作为另一个示例，如果训练图像中的物品是带有拉环的罐子(例如，饮料罐)，则用户可以将拉环突出显示为在拾取作业期间不应被接触的目标特征。

作为又一示例，如果训练图像中的物品包括平坦表面，则用户可以将平坦表面突出显示为在执行拾取作业期间抽吸装置应当接触的目标特征(即，如果抓取装置312被配置有一个或多个抽吸装置)。作为又一示例，如果训练图像中的物品包括某种类型的孔、槽或钩，如果接合后将使抓取装置312更容易抓取物品，则用户可以将这些部件指定为在抓取尝试期间应该接触的目标特征。

可以从各种物品和拾取设定中收集图像以增加任何实施的机器学习程序324的通用性。诸如缩放、旋转和照明变化之类的图像预处理技术可以使机器学习程序324对实际拾取环境和物品的各种物理特性的变化具有鲁棒性。

由于要避开的目标特征在许多日常物体上是司空见惯的，因此用户无需熟悉拾取装置306或目标物品即可在训练图像中准确识别这些目标特征。因此，这允许例如众包平台的用户产生由图像分析模块322使用的标记训练图像。

抓取计划模块326可以执行存储在存储器320中的指令，然后生成要由拾取装置306执行的抓取计划。抓取计划，如果由拾取装置306适当地执行，应当使抓取装置306能够以不接触或不盖住要避开的目标特征的方式抓取物品。附加地或替代地，抓取计划可以具体指定应该由拾取装置306接触的物品的目标特征。

因此，拾取装置306可以将来自图像分析模块322的输出整合到其用于选择一个或多个抓取位置的决策制定程序中。在一些实施例中，抓取计划模块326可以基于包含目标特征的位置的可能性来分配和调整候选或可能抓取位置的排序。例如，抓取计划模块326指定优选地应当被避开或完全被避开的具有诸如玻璃之类的目标特征的拾取位置。这些决定可能会受到程序对图像预测区域的置信度以及对物品本身的认知的影响。

即，也可以考虑关于物品的现有知识。例如，数据库304可以存储关于物品的重量、形状、长度、宽度、深度、内容物、表面摩擦系数、构造(例如，物品是否具有任何适合抓取的特定位置)、形变度或任何其他类型的数据或特征，它们会影响抓取装置应如何抓取物品以适配任何目标特征。

此外，可以考虑抓取装置312的尺寸和配置以确保抓取装置312在抓取物品时不接触或混淆要避开的目标特征。在有条形码的情况下，这将允许无遮挡扫描，或者在有诸如罐子上的拉环之类的特征的情况下，它将允许抓取装置312以更高的频率成功抓取物品。

如果抓取装置312被配置为具有手指部分的末端执行器，则该配置和尺寸数据可以涉及包括多少手指部分、末端执行器上的手指部分相对于其他手指部分的位置、手指部分的尺寸(例如，它们的长度、宽度)、顺应性、材料、弯曲点、运动范围或任何其他类型的信息，这些信息可能会影响拾取装置应如何抓取物品以适配任何目标特征。

如果抓取装置312配置有抽吸装置，则该配置和尺寸数据可包括抽吸装置的数量、抽吸装置的尺寸、产生的力或任何其他类型的信息，这些信息可能会影响拾取装置应如何抓取物品以适配任何目标特征。

可以通过拾取装置306例如在其第一次尝试时拾取和扫描物品(或以其他方式成功完成拾取作业)的能力来衡量在适配目标特征方面的成功性。这些度量标准可用于调整如何最好地将来自图像分析模块322的预测整合到抓取计划中。它们还可用于自动安排新的信息输入以改进机器学习程序324。在第一次尝试时拾取和扫描的许多失败操作可以来自对图像中特征的不准确标记。通过对来自扫描过程中的失败尝试的图像进行注释和训练，可以进一步提高系统的鲁棒性。

再次参考图3，系统300还可以包括扰动物品的扰动机构328。例如，物品可能处于拾取装置306不能成功执行拾取作业的位置或地点。因此，扰动机构328可以执行诸如在申请人2020年2月6日提交的共同未决PCT申请PCT/US20/16967中公开的那些扰动操作，该申请内容通过引用方式并入，如同在本文完整阐述一样。在一些实施例中，拾取装置306或扰动机构328可能需要首先移动另一个物品，以便拾取装置306抓住期望的物品。

图4描绘了根据一个实施例的用于执行拾取作业的方法400的流程图。步骤402涉及接收在拾取作业中要由拾取装置抓取的第一物品的图像。该图像可以由诸如图3的图像收集装置314之类的装置收集。这些装置可以被配置为拾取装置的一部分或与拾取装置分开但可操作地定位以收集关于第一物品的图像。

步骤404涉及使用执行存储在存储器上的指令的处理器执行图像分析程序，以识别第一物品的目标特征，其中所述目标特征可以影响拾取装置执行拾取作业的能力或影响拾取装置应该如何执行拾取作业。如前所述，所述目标特征可以指在拾取作业期间不应被接触或盖住的物品上的部件或位置。

如果在步骤406中确定拾取装置不包括任何目标特征，则方法400可以进行到步骤412。步骤412涉及使用拾取装置执行抓取计划。在这种情况下，抓取计划将不涉及考虑任何目标特征。

然而，如果在步骤406中确定所述物品包括目标特征，则方法400可以进行到步骤408。步骤408涉及使用处理器生成可由拾取装置执行的抓取计划。在这种情况下，所述生成的抓取计划适配目标特征，使得拾取装置能够执行拾取作业。在某些场景下，拾取装置应该避开、不接触或以其他方式不盖住目标特征。在这些场景中，抓取计划可以涉及拾取装置以避开这些目标特征的方式抓取物品。

在其他场景下，目标特征可以是一位置，该位置应当被接触到以增加拾取装置能够成功执行拾取作业的可能性。在这些场景中，抓取计划可以涉及拾取装置抓取物品以接触这些目标特征。

如果拾取装置能够执行拾取作业，则方法400可以进行到步骤412并执行抓取计划。在其他情况下，所述物品可能以拾取装置无法执行拾取作业的方式定位。在这种情况下，方法400可以进行到涉及按如上所述扰动物品的步骤410。一旦物品受到扰动，方法400就可以进行到步骤412并且拾取装置可以执行抓取计划。

例如，以上参考根据本公开的实施例的方法、系统和计算机程序产品的框图和/或操作示意图描述了本公开的实施例。方框中的功能/动作可以不按任何流程图所示的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能/动作。另外地或替代地，并非需要完成和/或执行任何流程图中所示的所有框。例如，如果给定的流程图具有包含功能/动作的五个块，则可能的情况有五个块中仅有三个被完成和/或执行。在该示例中，可以完成和/或执行五个块中的三个中的任何一个。

一个值超过(或大于)第一阈值的语句等同于该值等于或超过略大于第一阈值的第二阈值(例如，在相关系统的分辨率中第二阈值是大于第一阈值的一个值)的语句。一个值小于第一阈值(或在第一阈值内)的语句等同于该值小于或等于略小于第一阈值的第二阈值(例如，在相关系统的分辨率中第二阈值是小于第一阈值的一个值)的语句。

在描述中给出了具体细节以提供对示例性配置(包括实现)的前面理解。但是可以在没有这些具体细节的情况下实践所述配置。例如，已经示出了公知的电路、程序、算法、结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例性配置，并且不限制权利要求的范围、适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对各元件的功能和布置进行各种改变。

已经描述了若干种示例性配置，可以使用各种修改、替代构造和等同构造而不脱离本公开的精神。例如，以上元件可以是更大系统的组件，其中其他规则可以优先于或以其他方式修改本公开的各种实现或技术的应用。而且，可以在考虑上述元件之前、期间或之后进行许多步骤。

已经提供了本申请的说明和图示，本领域技术人员可以设想落入本申请讨论的总体发明构思内的变型、修改和替换实施例，其不脱离所附权利要求的范围。

Claims (18)

1.一种执行拾取作业的方法，该方法包括：

接收在拾取作业中要由拾取装置抓取的第一物品的图像；

使用执行存储在存储器上的指令的处理器执行图像分析程序，以识别第一物品的目标特征，其中所述目标特征可以影响拾取装置执行拾取作业的能力；以及

使用处理器生成可由拾取装置执行的抓取计划，其中所述抓取计划适配所述目标特征，使得拾取装置能够执行拾取作业。

2.根据权利要求1所述的方法，还包括使用拾取装置执行生成的抓取计划。

3.根据权利要求1所述的方法，其中所述第一物品的目标特征是可扫描标记，并且所述生成的抓取计划指示拾取装置抓取第一物品，以确保可扫描标记能够被扫描。

4.根据权利要求3所述的方法，其中所述生成的抓取计划涉及拾取装置扰动第一物品，使得拾取装置能够抓取第一物品，以确保能够扫描到所述可扫描标记。

5.根据权利要求1所述的方法，其中所述第一物品的目标特征是结构部件，并且所述生成的抓取计划指示拾取装置接触结构部件或不接触结构部件。

6.根据权利要求5所述的方法，其中所述生成的抓取计划涉及拾取装置扰动第一物品，使得拾取装置能够接触所述结构部件或者使得拾取装置能够在不接触结构部件的情况下抓取第一物品。

7.根据权利要求1所述的方法，其中执行图像分析程序包括：

将接收到的图像分成多个片段；以及

基于多个片段中的每个片段包含目标特征的可能性将多个片段中的每个片段按候选抓取位置进行排序。

8.根据权利要求1所述的方法，还包括移动至少第二物品，以便拾取装置根据生成的抓取计划接近第一物品以执行拾取作业。

9.根据权利要求1所述的方法，其中执行图像分析程序涉及执行机器学习程序以识别第一物品的目标特征。

10.一种执行拾取作业的系统，该系统包括：

接口，其用于接收待抓取的第一物品的图像；

拾取装置，其被配置为在拾取作业中抓取第一物品；以及

处理器，其执行存储在存储器中的指令并被配置为：

执行图像分析程序，以识别第一物品的目标特征，其中所述目标特征可以影响拾取装置执行拾取作业的能力；以及

生成可由拾取装置执行的抓取计划，其中所述抓取计划适配所述目标特征，使得拾取装置能够执行拾取作业。

11.根据权利要求10所述的系统，其中所述拾取装置被配置为通过执行生成的抓取计划来抓取拾取作业中的第一物品。

12.根据权利要求10所述的系统，其中所述第一物品的目标特征是可扫描标记，并且所述拾取装置被配置为抓取第一物品以确保能够根据生成的抓取计划扫描到可扫描标记。

13.根据权利要求12所述的系统，其中所述拾取装置被配置为扰动第一物品，使得拾取装置能够抓取第一物品以确保能够根据生成的抓取计划扫描到可扫描标记。

14.根据权利要求10所述的系统，其中所述第一物品的目标特征是第一物品的结构部件，并且所述拾取装置被配置为根据生成的抓取计划接触结构部件或被配置为根据生成的抓取计划不接触结构部件。

15.根据权利要求14所述的系统，其中所述拾取装置被配置为扰动第一物品，使得拾取装置能够根据生成的抓取计划接触结构部件或根据生成的抓取计划不接触结构部件。

16.根据权利要求10所述的系统，其中所述处理器通过以下方式执行图像分析程序：

将接收到的图像分成多个片段；以及

基于多个片段中的每个片段包含目标特征的可能性将多个片段中的每个片段按候选抓取位置进行排序。

17.根据权利要求10所述的系统，其中所述拾取装置还被配置为根据生成的抓取计划移动至少第二物品以接近第一物品。

18.根据权利要求10所述的系统，其中所述处理器通过执行机器学习程序以识别所述第一物品的目标特征来执行所述图像分析程序。

Images