CN111566028A - 具有自动化包裹登记机构和自动检测流水线的机器人系统 - Google Patents

Abstract

本公开涉及检测和登记未识别或未登记物体。可基于检查表示在起始位置处的物体的图像数据来导出最小可行范围(MVR)。可根据所述图像数据中所表示的一个或多个特征来将所述MVR确定为确定MVR或不确定MVR。所述MVR可用于根据所述确定的或不确定的确定来登记对应物体。

Description

具有自动化包裹登记机构和自动检测流水线的机器人系统

相关申请的交叉引用

本申请要求2018年10月30日提交的美国临时专利申请序列号62/752,756的权益，所述临时专利申请以引用的方式整体并入本文。本申请进一步要求2019年5月24日提交的美国临时申请序列号62/852,963的权益，所述临时申请以引用的方式整体并入本文。本申请还与2019年3月1日提交的美国专利申请序列号16/290,741，现在为美国专利号10,369,701有关，并且以引用的方式整体并入。

本申请包含与由Jinze Yu、Jose Jeronimo Moreira Rodrigues和Rose NikolaevDiankov同时提交的标题为“A ROBOTIC SYSTEM WITH AUTOMATED PACKAGE REGISTRATIONMECHANISM AND MINIMUM VIABLE REGION DETECTION”的美国专利申请有关的主题。相关申请被转让给Mujin，Inc.，并且由档案号131837-8003.US40标识。相关申请的主题以引用的方式并入本文。

技术领域

本技术总体涉及机器人系统，并且更具体地，涉及用于登记物体的系统、过程和技术。

背景技术

在许多情况下，包裹被布置在货盘中(或“码垛”)以便装运到目的地，随后在目的地处将所述包裹卸垛。可由人工将包裹卸垛，这可能会占用大量资源并增加对人工造成伤害的风险。在工业环境中，卸垛操作可由工业用机器人执行，诸如抓持、提升、运输包裹并将包裹递送到释放点的机器人臂。另外，可利用成像装置来捕获装载到货盘上的包裹堆叠的图像。系统可诸如通过将所捕获图像与存储在登记数据源中的所登记图像进行比较来处理图像以确保机器人臂有效地处理了包裹。

有时，包裹的所捕获图像可能与所登记图像匹配。因此，被成像物体的物理特性(例如，包裹的尺寸、重量和/或质心的测量值)可能是未知的。无法正确地标识物理特性可能导致多种有害的后果。例如，这种失败可能导致停止，这可能需要手动登记包裹。另外，这种失败可能导致误处理包裹，特别在包裹相对较重和/或不平衡的情况下。

附图说明

通过结合附图对具体实施方式的研究，所述技术的各种特征和特性对于本领域技术人员将更加显而易见。以举例的方式而非限制的方式在附图中示出本技术的实施方案，在附图中相同的附图标记可指示相同的元件。

图1示出机器人系统可在其中操作的示例性环境。

图2示出根据本技术的一个或多个实施方案的机器人系统。

图3A示出根据本技术的一个或多个实施方案的由机器人系统处理的物体的示例性堆叠。

图3B示出根据本技术的一个或多个实施方案的示例性堆叠的顶表面。

图3C示出根据本技术的一个或多个实施方案的对应于顶表面的传感器数据。

图4A示出根据本技术的一个或多个实施方案的对应于在初始一组操作之后的顶表面的传感器数据。

图4B示出根据本技术的一个或多个实施方案的在图4A中示出的传感器数据的一部分。

图5示出根据本技术的一些实施方案的一组所码垛包裹的顶视图。

图6示出根据本技术的一些实施方案的暴露外拐角的图形表示。

图7是根据本技术的一些实施方案的一组所码垛包裹的框图。

图8示出根据本技术的一些实施方案的合并的MVR区域的示例。

图9是根据本技术的一些实施方案的物体识别过程的流程图。

图10是根据本技术的一些实施方案的操作图1的机器人系统的方法的框图。

图11是示出其中可实施本文所述的至少一些操作的处理系统的示例的框图。

附图仅出于说明的目的描绘了各种实施方案。本领域技术人员将认识到，在不脱离本技术原理的情况下，可采用替代的实施方案。因此，尽管在附图中示出具体实施方案，但是所述技术可进行各种修改。

具体实施方式

本文描述用于具有自动化包裹登记机构的机器人系统的系统和方法。根据一些实施方案配置的机器人系统(例如，装置的执行一个或多个指定任务的集成系统)通过操纵和/或自主地/自动地(例如，利用很少的人类操作员输入或不利用人类操作员输入)登记先前未知的或未识别物体(例如，包裹、盒、箱等)提供了增强的可用性与柔韧性。

为了确定是否识别出物体，机器人系统可获得关于在起始位置处的物体的数据(例如，物体的暴露表面的一个或多个图像)并将所述数据与已知或预期物体的登记数据进行比较。在所比较数据(例如，所比较图像的一部分)与物体中的一个的登记数据(例如，所登记表面图像中的一个)匹配时，机器人系统可将物体确定为已识别的。在所比较数据无法与已知或预期物体的登记数据匹配时，机器人系统可将物体确定为未识别的。

机器人系统可根据一个或多个估计来操纵未识别物体，并且确定关于未识别物体的另外信息(例如，表面图像和/或物理尺寸)。例如，机器人系统可标识未识别物体的暴露边缘和/或暴露外拐角，所述未识别物体是单独的或不与其他物体相邻。

所述估计可包括生成表示接触并提升对应的未识别物体所需的最小和/或最佳区域的最小可行区域(MVR)。所述MVR中的每一个可进一步表示单个未识别物体的表面(例如，其周边边界)的估计。在生成MVR时，可通过检查二维(2D)和/或三维(3D)成像数据来标识暴露外拐角和暴露边缘。基于所标识暴露外拐角和暴露边缘，可通过标识与暴露边缘相对的边缘来生成初始MVR。可诸如通过确定并测试所扩大和/或所减小区域来进一步处理初始MVR，以生成已验证MVR。还可根据MVR确定的确定性(例如，表示初始MVR的准确性的状态或级别)来处理初始MVR。例如，当初始MVR包括三个或更多个暴露拐角和/或使用三个或更多个暴露拐角导出时，机器人系统可将初始MVR标识为确定MVR(例如，已验证MVR的可能准确的实例)。否则(例如，当初始MVR包括两个或更少暴露拐角和/或使用两个或更少暴露拐角导出时)，机器人系统可将初始MVR标识为不确定MVR(例如，已验证MVR的不太可能准确的实例)。

机器人系统可使用已验证MVR来登记未识别物体，诸如通过存储已验证MVR和/或使用已验证MVR导出的其他处理结果。例如，机器人系统可使用确定MVR来开始登记对应的未识别物体。机器人系统可进一步操纵(通过例如抓持和搬运以执行任务)确定MVR的物体，从而增大暴露在起始位置处剩余的物体的另外拐角的可能性。机器人系统可在搬运物体之后重复进行检测和分析，以基于新暴露拐角将先前不确定MVR标识为确定MVR。

因此，本文所述的实施方案提供了针对未识别物体准确生成MVR的增大的可能性。准确性的提高可减少由于有关所搬运物体的数据不准确而导致的错误，诸如包裹掉落和/或碰撞。此外，MVR的准确性提高可导致准确的登记数据，这可提供提高的效率，这是由于肯定地标识了相同类型物体的后续处理所致。另外，本文所述的实施方案可用于在没有任何初始数据的情况下自主地发起和填充主数据(例如，登记数据的集合)。换句话讲，机器人系统可自主地登记物体，而无需任何现有的登记数据，也不需要人类操作员的交互/输入。

在以下描述中，阐述许多具体细节来提供对当前所公开技术的透彻理解。在其他实施方案中，此处所引入的技术可在没有这些具体细节的情况下实践。在其他情况下，不详细描述诸如具体函数或例程的公知特征，以便避免不必要地使本公开晦涩难懂。此说明中对“实施方案”、“一个实施方案”或类似用语的引用意指所描述的特定特征、结构、材料或特性包括在本公开的至少一个实施方案中。因此，本说明书中此类短语的出现不一定都指代同一实施方案。另一方面，此类引用也不一定相互排斥。此外，特定特征、结构、材料或特性可以任何合适的方式在一个或多个实施方案中加以组合。应理解，图中所示的各种实施方案仅是说明性表示并且不一定按比例绘制。

出于简洁的目的，在以下描述中年未阐述描述公知且往往与机器人系统和子系统相关联并且可能不必要地使所公开技术的一些重要方面晦涩难懂的结构或过程的若干细节。此外，虽然以下公开内容阐述本技术的不同方面的若干实施方案，但若干其他实施方案可具有不同于此章节中所述的那些的配置或部件。因此，所公开的技术可具有带有附加元件或没有下文所述元件中的若干的其他实施方案。

下文所述的本公开的许多实施方案或方面可呈计算机或处理器可执行指令(包括由可编程计算机或处理器执行的例程)的形式。相关领域技术人员应理解，所公开的技术可在下文所示和所述的那些之外的计算机或处理器系统上实践。本文所述的技术可在专门编程、配置或构造为执行下文所述的计算机可执行指令中的一者或多者的专用计算机或数据处理器中体现。因此，如本文一般所用的术语“计算机”和“处理器”指代任何数据处理器并且可包括互联网用具和手持式装置(包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的或可编程消费者电子器件、网络计算机、迷你计算机等)。由这些计算机和处理器处理的信息可在任何合适的显示介质(包括液晶显示器(LCD))处呈现。用于执行计算机或处理器可执行任务的指令可存储在任何合适的计算机可读介质(包括硬件、固件，或硬件和固件的组合)中或上。指令可包含在任何合适的存储器装置(包括例如闪存驱动器和/或其他合适的介质)中。

术语“联接”和“连接”以及它们的派生词可在本文中用来描述部件之间的结构关系。应理解，这些术语并不意图作为彼此的同义词。而是，在特定实施方案中，“连接”可用于指示两个或更多个元件彼此直接接触。除非在上下文中另外阐明，否则术语“联接”可用于指示两个或更多个元件彼此直接或间接(在其间具有其他干预元件)接触，或者两个或更多个元件彼此配合或交互(例如，如呈因果关系，诸如用于信号传输/接收或用于函数调用)，或两者。

合适的环境

图1是机器人系统100可在其中操作的示例性环境的图示。机器人系统100可包括被配置来执行一个或多个任务的一个或多个单元(例如，机器人)和/或与所述一个或多个单元通信。打包机构的各方面可由各种单元来实践或实现。

对于图1所示的实例，机器人系统100可包括位于仓库或分配/装运枢纽中的卸载单元102、搬运单元104(例如，码垛机器人和/或拾件机器人)、运输单元106、装载单元108、或它们的组合。机器人系统100中的单元中的每一个可被配置来执行一个或多个任务。任务可按顺序组合以执行实现目标(诸如从卡车或货车卸载物体并将它们存储在仓库中，或者从存储位置卸载物体并将它们准备用于装运)的操作。再如，任务可包括将物体放置在目标位置上(例如，放置在货盘顶部上和/或仓/笼/盒/箱内部)。如下文所述，机器人系统可导出用于放置和/或堆叠物体的计划(例如，放置位置/取向、用于搬运物体的顺序和/或对应运动计划)。单元中的每一个可被配置来根据执行任务的所导出计划中的一个或多个来执行一系列动作(通过例如在其中操作一个或多个部件)以执行任务。

在一些实施方案中，任务可包括将目标物体112(例如，对应于正在执行的任务的包裹、盒、箱、笼、货盘等中的一者)从起始位置114操纵(例如，移动和/或重新定向)到任务位置116。例如，卸载单元102(例如，拆箱机器人)可被配置来将目标物体112从载具(例如，卡车)中的位置搬运到输送带上的位置。另外，搬运单元104可被配置来将目标物体112从一个位置(例如，输送带、货盘或仓)搬运到另一位置(例如，货盘、仓等)。再如，搬运单元104(例如，码垛机器人)可被配置来将目标物体112从源位置(例如，货盘、拾取区域和/或输送机)搬运到目的地货盘。在完成操作时，运输单元106可将目标物体112从与搬运单元104相关联的区域搬运到与装载单元108相关联的区域，并且装载单元108可将目标物体112(通过例如移动承载目标物体112的货盘)从搬运单元104搬运到存储位置(例如，架子上的位置)。下文描述关于任务和相关联动作的细节。

出于说明性目的，机器人系统100是在装运中心的上下文中描述的；然而，应理解，机器人系统100可被配置来在其他环境中/出于其他目的(诸如用于制造、组装、包装、健康护理和/或其他类型的自动化)执行任务。还应理解，机器人系统100可包括图1未示出的其他单元，诸如操纵器、服务机器人、模块化机器人等。例如，在一些实施方案中，机器人系统100可包括用于将物体从笼车或货盘搬运到输送机或其他货盘上的去码垛单元、用于将物体从一个容器搬运到另一个的容器交换单元、用于包裹物体的包装单元、用于根据物体的一个或多个特性对它们进行分组的分类单元、用于根据物体的一个或多个特性以不同方式对物体进行操纵(例如，分类、分组和/或搬运)的拾件单元、或它们的组合。

机器人系统100可包括在关节处连接以用于运动(例如，旋转和/或平移位移)的物理或结构构件(例如，机器人操纵器臂)。结构构件和关节可形成被配置来操纵端部执行器(例如，夹持器)的动力链，所述端部执行器被配置来根据机器人系统100的用途/操作来执行一个或多个任务(例如，夹持、自旋、焊接等)。机器人系统100可包括被配置来关于对应关节或在对应关节处对结构构件进行驱动或操纵(例如，移位和/或重新定向)的致动装置(例如，马达、致动器、线材、人工肌肉、电活性聚合物等)。在一些实施方案中，机器人系统100可包括被配置来到处运输对应单元/底架的运输马达。

机器人系统100可包括被配置来获得用于实施任务(诸如操纵结构构件和/或运输机器人单元)的信息的传感器。传感器可包括被配置来检测或测量机器人系统100的一个或多个物理特性(例如，其一个或多个结构构件/关节的状态、状况和/或位置)和/或周围环境的一个或多个物理特性的装置。传感器的一些实例可包括加速度计、陀螺仪、力传感器、应变计、触觉传感器、扭矩传感器、位置编码器等。

在一些实施方案中，例如，传感器可包括被配置来检测周围环境的一个或多个成像装置(例如，视觉和/或红外摄像机、二维(2D)和/或三维(3D)成像摄像机、诸如激光雷达或雷达的距离测量装置等)。成像装置可生成所检测环境的可通过机器/计算机视觉来处理(例如，用于自动化检查、机器人引导或其他机器人应用)的表示，诸如数字图像和/或点云。如下文更详细描述，机器人系统100可处理数字图像和/或点云，以标识目标物体112、起始位置114、任务位置116、目标物体112的姿势、关于起始位置114和/或姿势的置信度量度、或它们的组合。

对于操纵目标物体112，机器人系统100可捕获并分析指定区域(例如，拾取位置，诸如卡车内部或输送带上)的图像，以标识目标物体112及其起始位置114。类似地，机器人系统100可捕获并分析另一指定区域(例如，用于将物体放置在输送机上的投放位置、用于将物体放置在容器内部的位置，或货盘上用于堆叠目的的位置)的图像，以标识任务位置116。例如，成像装置可包括被配置来生成拾取区域的图像的一个或多个摄像机和/或被配置来生成任务区域(例如，投放区域)的图像的一个或多个摄像机。如下文所述，基于所捕获图像，机器人系统100可确定起始位置114、任务位置116、相关联姿势、打包/放置计划、搬运/打包顺序和/或其他处理结果。

在一些实施方案中，例如，传感器可包括被配置来检测机器人系统100的结构构件(例如，机器人臂和/或端部执行器)和/或对应关节的位置的位置传感器。机器人系统100可使用位置传感器来在任务的执行期间跟踪结构构件和/或关节的位置和/或取向。

物体搬运以及向基于目的地的传感器登记

图2是根据本技术的一个或多个实施方案的图1的机器人系统100的图示。机器人系统100可包括机器人臂202(例如，图1的搬运单元104的实例)，所述机器人臂202包括端部执行器204(例如，抓持器)。机器人臂202可被配置来在图1的起始位置114与图1的任务位置116之间搬运目标物体112。如图2所示，起始位置114可具有在其上带有目标堆叠210(例如，一组物体)的货盘208。机器人臂202的任务位置116可以是输送机206(例如，图1的运输单元106的实例)上的放置位置(例如，起始/出口点)。例如，机器人臂202可被配置来从目标堆叠210拾取物体并将它们放置在输送机206上以便运输到另一目的地/任务。

机器人系统100可在利用机器人臂202执行搬运操作时使用一个或多个传感器。在一些实施方案中，机器人系统100可包括第一成像传感器212和/或第二成像传感器214。第一成像传感器212可包括被配置来对起始位置114进行成像和/或分析的一个或多个2D和/或3D传感器，诸如摄像机和/或深度传感器。第二成像传感器214可包括被配置来对任务位置116进行成像和/或分析的一个或多个2D和/或3D传感器，诸如摄像机和/或深度传感器。例如，第一成像传感器212可包括定位在起始位置114上方的已知位置处且面向起始位置114的一个或多个摄像机和/或深度传感器。第一成像传感器212可生成与起始位置114的一个或多个顶视图(诸如目标堆叠210的顶视图)相对应的成像数据(例如，3D点云和/或视觉或2D图像)。如下文更详细描述，机器人系统100可使用来自第一成像传感器212的成像数据来导出目标堆叠210中未识别(例如，未登记)物体的最小可行区域(MVR)。机器人系统100诸如在将未识别物体从起始位置114移动到任务位置116时，可使用MVR来(通过例如端部执行器204)抓持并(通过例如机械臂202)操纵未识别物体。另外，第二成像传感器214可包括定位在一个或多个已知位置处且面向任务位置116或相关联空间的一个或多个摄像机和/或深度传感器，所述已知位置在任务位置116上方或横向于任务位置116。因此，第二成像传感器214可生成与在任务位置116处或在距任务位置116阈值距离内的目标物体112的一个或多个顶视图和/或侧视图相对应的成像数据。

物体识别

图3A是由图1的机器人系统100处理的物体的示例性堆叠(例如，图2的目标堆叠210)的图示；图3B是示例性堆叠的顶表面(例如，目标堆叠210的实际顶视图310)的图示；并且图3C是对应于顶表面的传感器数据(例如，顶视图数据320)的图示，所述实例均是根据本技术的一个或多个实施方案的。一起参考图3A、图3B和图3C，机器人系统100可被配置来将目标堆叠210内的物体搬运到另一个位置，诸如如上所述的图1的任务位置116(例如，图2的输送机206)。为了搬运物体，机器人系统100可使用来自定位在目标堆叠210上方的图2的第一成像传感器212的图像数据(例如，顶视图数据320)。例如，顶视图数据320可包括描绘或表示实际顶视图310的一个或多个视觉图像和/或一个或多个深度图。另外，机器人系统100可分析顶视图数据320以标识可对应于物体边界的边缘。例如，机器人系统100可基于深度测量值和/或图像性状(例如，不同的颜色、线性图案、阴影、清晰度差异等)的差异来标识在图像数据中表示的边缘和/或连续表面。机器人系统100可诸如基于深度测量值的差异来标识暴露边缘322(例如，不水平邻接在基本上相同高度处的另一物体/表面的物体顶表面的边缘)。

目标堆叠210可包括登记在主数据中的物体和/或未登记在主数据中的非预期物体，所述主数据包括针对预期或先前处理的物体的登记记录。同样地，机器人系统100可使用物体表面316的图像数据来识别或标识目标堆叠210内的物体。在一些实施方案中，机器人系统100可将图像数据或其中的一个或多个部分与主数据进行比较，以识别目标堆叠210内的物体。例如，机器人系统100可在顶视图数据320的一部分与登记数据中的物体表面316的一个或多个图像匹配时标识目标堆叠210内的已知物体(例如，所识别物体312)。实际顶视图310的剩余部分(例如，与登记数据不匹配的部分)可对应于未识别物体314。在图3C中使用虚线示出了未识别物体314的边缘。

基于与图像数据匹配，机器人系统100可定位对应图像数据内的所识别物体312，所述所识别物体312可进一步(通过例如预校准表和/或将像素位置映射到坐标系的公式)平移到目标堆叠210的真实世界位置。此外，机器人系统100可基于所述匹配估计所识别物体312的非暴露边缘的位置。例如，机器人系统100可从主数据中获得所识别物体312的尺寸。机器人系统100可测量与所识别物体312的暴露边缘322间隔开已知尺寸的图像数据的部分。根据映射，机器人系统100可确定所识别物体312的一个或多个基于登记的边缘324和/或如上所述类似地将基于登记的边缘324映射到真实世界位置。

在一些实施方案中，机器人系统100可标识如图像数据(例如，点云数据)中所表示的目标堆叠210的暴露外拐角326。例如，机器人系统100可基于检测具有不同取向(例如，以不同角度延伸)的暴露边缘322(例如，3D图像数据中所标识的边缘，也称为3D边缘)中的一组两个或更多个之间的相交部/接合部来标识暴露外拐角326。在一个或多个实施方案中，机器人系统100可在暴露边缘322形成在预定范围(也称为角度范围)内的角(诸如，大于和/或小于90°的阈值拐角角度范围)时标识暴露外拐角326。如下文详细描述，机器人系统100可使用暴露外拐角326和对应暴露边缘322来处理和/或操纵未识别物体314。

未识别物体的处理

在一些实施方案中，图1的机器人系统100可根据识别状态和/或物体在图2的目标堆叠210内的相对位置来处理(例如，标识和/或搬运)物体。例如，机器人系统100可首先拾取并搬运所识别物体，然后从传感器(例如，图2的第一成像传感器212)生成另一组图像数据。图4A是根据本技术的一个或多个实施方案的对应于在一组初始操作(例如，拾取并搬运所识别物体312)之后的顶表面的传感器数据401的图示。图4A中的阴影区域对应于在移除图3B和图3C中示出的所识别物体312之后的深度测量值的变化。

在机器人系统100在图像数据(例如，2D图像和/或3D点云)中没有标识出任何所识别物体312时，机器人系统100可处理所述图像数据以标识任何暴露拐角326和/或暴露边缘322以用于定位图3A的未识别物体314。例如，机器人系统100可如上所述类似地处理传感器数据401(例如，3D点云)以标识暴露外拐角326和/或暴露边缘322。因此，机器人系统100可另外标识和/或定位在移除所识别物体312之后暴露的任何拐角/边缘。在一些实施方案中，机器人系统100可根据对应阈值来将暴露内拐角402进一步标识为暴露边缘322中的两个或更多个之间的相交部/接合部。例如，机器人系统100可将暴露内拐角402标识为暴露边缘322中的相对于对应连续表面超过180。的两个或更多个之间的接合部。在一些实施方案中，机器人系统100可在暴露边缘322形成在大于和/或小于270°的阈值角度范围内的角时标识暴露内拐角402。

在一些实施方案中，在所识别物体312中的任何一个都不剩余时，机器人系统100可基于暴露拐角和/或暴露边缘来(例如，从未识别物体314中)标识目标堆叠210中的登记目标406。例如，机器人系统100可根据一组优选要求和/或评分机构来评估暴露拐角/边缘。在一些实施方案中，机器人系统100可被配置来选择最接近图2的机器人臂202的暴露外拐角326。机器人系统100可选择传感器数据401的对应区域以及与所选择暴露外拐角326相关联的对应未识别物体314。换句话讲，在处理所识别物体312之后，机器人系统100可处理形成/构成目标堆叠210的暴露外拐角326的未识别物体314。基于(通过，例如导出MVR)对传感器数据401的对应部分的分析，机器人系统100可抓持未识别物体314、提升和/或水平搬运所抓持物体和/或对所抓持物体进行成像以用于登记目的。另外，在对所抓持物体进行成像之后，机器人系统100可将所抓持物体搬运到目的地(例如，图2的输送机206)。

为了进一步描述传感器数据分析，图4B是根据本技术的一个或多个实施方案的图4A的传感器数据401的一部分4B的详细图示。机器人系统100可分析传感器数据401以导出MVR 412。MVR 412可表示用来接触、抓持和/或提升物体的最小大小的区域。另外，MVR 412可表示单个未识别物体的表面和/或周边边界的估计。例如，MVR 412可与端部执行器204的覆盖区或更大的区域相关联，所述更大的区域具有围绕覆盖区的另外/缓冲区域。另外，例如，MVR 412可与未识别物体(例如，所选择登记目标)的水平边界/边缘的所估计位置相关联。在一些实施方案中，MVR 412可对应于最小和/或最大候选大小，所述最小和/或最大候选大小分别可与目标堆叠210中预期的物体的最小/最大可能实例的物理尺寸(例如，长度、宽度、高度、直径、周长等)相对应。换句话讲，机器人100可确定目标堆叠210内的物体中的任何一个将都不具有小于最小候选大小或大于最大候选大小的尺寸。最小和最大候选大小可以是预定值(即，在处理目标堆叠210之前提供或已知的值)。下文描述关于MVR 412的导出的细节。

机器人系统100可使用MVR 412来确定抓持位置420。抓持位置420可与将直接在端部执行器204下方和/或接触端部执行器204以进行初始操纵的物体/堆叠上的区域相对应。换句话讲，机器人系统100可将抓持器放置在抓持位置420之上以抓持对应物体，以进行后续操纵(例如，提升、水平搬运和/或用于登记的数据收集过程)。在一些实施方案中，机器人系统100可从所述组潜在抓持位置中选择抓持位置420。例如，机器人系统100可根据手臂(例如，优选地，延伸跨过暴露边缘322并且不与其他部分重叠的机器人臂)的相对取向从所述组中选择。

在一些实施方案中，机器人系统100可基于所估计边缘424导出MVR412。例如，机器人系统100可选择或标识目标堆叠210的顶层的暴露外拐角326(例如3D拐角)的实例。机器人系统100可沿着相关联暴露边缘322(例如，在所选择拐角处相遇/形成所选择拐角的3D)远离所选择暴露外拐角326移动。在沿着边缘移动时，机器人系统100可基于传感器数据401中的3D深度测量值和/或2D图像形状(例如，亮度、颜色等)的差异来标识所估计边缘424。机器人系统100可标识2D/3D图像数据中与所穿过边缘相交和/或在距所穿过边缘阈值间隔距离内的边缘或线。机器人系统100可在确定所估计边缘424时测试所标识边缘。机器人系统100可基于将所标识边缘的取向与暴露边缘322的取向进行比较来测试/验证所估计边缘424。例如，当所标识边缘与暴露边缘322中的一个平行时，机器人系统100可将所标识边缘验证为所估计边缘424。在一些实施方案中，机器人系统100可基于验证在一对所测试边缘(例如，所标识边缘和暴露边缘322的未穿过实例)上的两个或更多个对应点之间的相等距离来测试平行取向。在一些实施方案中，当一对所测试边缘和/或其延伸部以相同角度与公共边缘相交时，诸如当两个边缘和/或其延伸部都以80°-100°之间的角度与所暴露边缘322的所穿过实例相交时，机器人系统100可标识平行取向。

因此，机器人系统100可导出不与检测到的线(例如，2D边缘和/或不完整边缘)和/或所估计边缘424重叠的抓持位置420。机器人系统100可基于平衡MVR412的边缘与最近的所检测线和/或所估计边缘424之间的距离之间的比率来导出抓持位置420。由于机器人系统100将基于MVR 412在拐角处或拐角周围抓持物体，因此机器人系统100可基于平衡比率导出将减小沿着任意一个特定方向的最大潜在扭矩的抓持位置420。另外，机器人系统100可进一步导出或调整MVR 412以与所估计边缘424重合或向外延伸到估计边缘424。

机器人系统100可使用所导出抓持位置420来操作图2的机器人臂202和端部执行器204。机器人系统100可抓持定位在堆叠的拐角处、抓持位置420处的物体(例如，登记目标406)。在一些实施方案中，机器人系统100可提升和/或水平搬运所抓持物体以便清晰地辨别先前非暴露的边缘。例如，机器人系统100可提升和/或水平搬运物体达预定高度，所述预定高度对应于用于准确区分边缘的最小距离。另外，例如，机器人系统100可在监测和/或分析高度变化和/或端部执行器倾斜时提升和/或水平搬运物体，使得与暴露边缘322相对的另外边缘变得可识别。机器人系统100可在初始提升期间和/或之后获得并处理数据以进一步描述未识别物体314。

MVR检测概述

本实施方案可涉及生成物体的准确的最小可行区域(MVR)。可通过检查2D和/或3D成像数据(例如，点云数据)来标识暴露外拐角和暴露边缘。基于所标识暴露外拐角和暴露边缘，可通过标识与暴露边缘相对的边缘来生成初始MVR。在一些实施方案中，机器人系统100可基于标识对应于(例如，平行于)暴露边缘的相对边缘(例如，图4B的所估计边缘424)来生成MVR。初始MVR可从暴露外拐角沿着暴露边缘延伸到相对边缘。

在确定初始MVR之后，可标识由点云限定的从初始MVR扩大到表面或层(例如，具有在彼此的阈值范围内的深度量度的一组横向相邻位置)的端部的潜在MVR区域。物体的合并的MVR可包括初始MVR和潜在MVR。可通过检查/测试合并的MVR来生成已验证MVR。已验证MVR可表示涵盖未识别物体的准确区域。基于已验证MVR，如本文所述的机器人系统100可登记物体并针对所述物体执行任务，诸如抓持和/或移动物体。

在许多情况下，可标识物体的边缘(例如，外或暴露边缘)。例如，沿着图2的目标堆叠210的周边定位的物体的外边缘(例如，图3C的暴露边缘322)可不存在任何周围物体和/或与任何周围物体分开。因此，成像结果(例如，3D点云)可包括表示外边缘的所描绘值(例如，高度测量值和/或图像值，诸如颜色或亮度)的突变。然而，在许多情况下，其他边缘可能不可见或可能难以(例如，基于阈值置信度值)准确限定。例如，盒上的表面设计/图像可能会导致在物体上识别的不正确边缘。因此，由于边缘不完整，可能难以准确地分开2D/3D成像数据中的部分。

机器人系统100可通过检查图像数据(例如，点云和/或2D图像)并确定一个或多个层来标识物体的暴露外拐角326和/或暴露边缘322。例如，机器人系统100可基于成像结果来标识目标堆叠210中的一个或多个物体(例如，图3B的未识别物体314)的顶层。在顶层内，机器人系统100可选择物体和/或表面的一部分(例如，具有在彼此的阈值连续性范围内的高度值的区域)以进行MVR导出。机器人系统100可估计形成/限定表面的暴露边缘(例如，层中的一个或其中的一部分)对应于表面和/或对应物体的横向/周边边界。可通过标识与暴露边缘相对的相对边缘来生成初始MVR，其中初始MVR可从暴露外拐角(例如，由一组暴露边缘和/或周边边界形成的相交部)沿着暴露边缘延伸到相对边缘。

机器人系统100可通过基于成像数据中的标记(例如，不完整边缘)扩大和/或缩小初始估计来进一步处理(例如，调整)初始MVR。可检查调整后的MVR以确定用于确定抓持位置420和/或登记未识别物体的最终MVR。

图5示出根据本技术的一些实施方案的一组所码垛包裹500(例如，图2的目标堆叠210)的顶视图。如图5所示，第一物体510可包括边缘512a-d。边缘可表示从给定视图(例如，顶视图)观察到的物体的边界。在某些情况下，边缘512a-d的至少一部分(例如，边缘512c-d)可以是闭合的并且邻接其他相邻的物体/边缘。相反地，一些边缘(例如，边缘512a-b)可以是开放的并且对应于图3C的暴露边缘322。

第一盒510可包括与任何水平相邻的物体分开或没有任何水平相邻的物体的一个或多个暴露外拐角514。暴露外拐角514可对应于堆叠的图3的暴露外拐角326。如下所述，可检查图像数据(例如，点云和/或2D图像)以标识包裹的暴露边缘和暴露外拐角。

点云分割

图6示出根据本技术的一些实施方案的暴露外拐角的图形表示600。如图6所示，可处理点云(例如，图形表示600)以标识暴露外拐角614(例如，图3的暴露外拐角326中的一个)。例如，点云可对应于由3D摄像机生成的图5的第一物体510或其一部分的顶视图。点云可包括具有指示深度的多层的3维点云。每个层和/或表面可对应于在彼此的阈值连续性范围内的一组水平相邻的深度值。例如，阈值连续性范围可能要求水平相邻的位置具有在彼此的阈值距离内(例如，小于1厘米)或在根据斜度的阈值距离内的深度量度。另外，阈值连续性范围可限定相对于基准高度(例如，目标堆叠310中的最高/最近点)的底板和/或斜度。阈值连续性范围可相似地限定用于2D图像特性(例如，颜色和/或亮度)的极限，以用于标识跨一组水平相邻位置的连续性。点云的层的深度可对应于沿着与对应物体的表面正交的方向的间隔(例如，垂直间隔)。

因此，可分析并处理点云以分开层和/或以标识开放3D边缘/拐角。在一些实施方案中，机器人系统100(例如其中的一个或多个处理器)可基于根据一个或多个预定连续性规则/阈值将点云中的深度值分组来标识层。例如，当深度值在彼此的阈值连续性范围内时和/或当深度值遵循表示平坦且连续的表面的恒定斜度时，机器人系统100可将一组水平相邻/连接的深度值分组。机器人系统100可将暴露边缘(例如，图5的暴露边缘512a和512b)标识为所标识层的边界。换句话讲，机器人系统100可将暴露边缘512a和512b标识为层/表面的发生合格深度变化的水平周边位置。通常，用于形成目标堆叠210的顶层的物体/边缘的深度量度可具有比形成顶层之下的下一层的物体/边缘的量值更低的量值(倒爷，表示距第一图像装置312更近的距离)。

在一些实施方案中，机器人系统100可基于标识2D视觉图像中的可见线来确定暴露边缘。例如，货盘和/或底板可对应于已知的颜色、亮度等。因此，机器人系统100可将与此类已知图案接邻的线标识为一个或多个物体的暴露边缘。另外，机器人系统100可使用2D分析来验证暴露边缘的3D标识。

基于暴露边缘，机器人系统100可标识开放3D拐角(例如，暴露外拐角514)。例如，机器人系统100可标识与暴露边缘相关联的形状/角。机器人系统100可被配置来将暴露外拐角514确定为点云中的位置，在所述位置处，暴露边缘(例如，边缘512a-b)以阈值角度范围(例如，80°-100°)内的角相交/形成所述阈值角度范围内的角。

作为说明性示例，机器人系统100可通过标识第一区域612和相邻区域616a-c来标识开放3D拐角614。机器人系统100可在扫描区域层中的一组相邻水平位置具有在彼此的阈值连续性范围内的深度值时标识第一区域612。机器人系统100可将相邻区域616a-c标识为具有在与第一区域612中的深度值的阈值连续性范围之外的深度值的其他水平位置。在一些实施方案中，机器人系统100可在深度值改变为落入阈值连续性范围之外时和/或在深度值改变的位置与形状模板(例如，直线和/或物体之间的最小间隔宽度)匹配时标识第一区域612的边缘和/或相邻区域616a-c的起点。更具体地，相比于目标堆叠210的表面(即，第一区域612)的深度值，相邻区域616a-c可具有表示距第一图像成像传感器212更远的距离的深度值。在第一区域612与相邻区域616a和616c之间的所得边缘可对应于暴露边缘。在一些实施方案中，标识开放3D拐角614可包括验证第一区域612形成一个象限，而相邻区域616a-c对应于剩余的象限和/或空的空间，诸如物体堆叠之外的位置。空的空间可能指示检测到非常稀疏的点云的空间，这可视为点云噪声。

可使用3D点云来确定其他3D拐角。在一些实施方案中，暴露外拐角可以是轮廓形状，并且‘L’形拐角可不包括有效拐角。因此，机器人系统100可基于将此类边缘区段延伸达预定长度来标识满足一个或多个要求(例如，最小笔直连续长度)的边缘区段。当所延伸边缘区段与其他区段或所延伸区段以一定角度相交时，机器人系统100可将轮廓形状上的点(例如，位于相交的边缘区段之间的圆弧的中点)标识为暴露外拐角。

在一些实施方案中，可对3D拐角进行排名。例如，由空的空间围绕的3D拐角(例如，对于定位在堆叠中顶层的拐角处的物体)可比其他物体排名更高。可基于其他因素(诸如，第一区域612的大小、开放3D拐角614相对于第一区域612的形状的位置、周围区域之间(例如，第一区域612与相邻区域616a和616c之间)的深度值差和/或第一区域612与具有在与第一区域616a中的深度值的阈值连续性范围内的深度值的另一个区域(例如，另一个表面/物体)之间的水平距离)来对开放3D拐角614进行排名。

在一些实施方案中，机器人系统100可标识不完整边缘。不完整边缘可以是在2D和/或3D分析中标识的可以是或可以不是实际边缘的边缘。不完整边缘中的一些可能对应于由于其他物体的噪声放置和/或成像装置(例如，摄像机)的容量/位置而无法标识的盒的实际边缘/盒之间的间隙。不完整边缘还可以是从2D图像分析中检测到的物体表面上的视觉图案或标记，诸如表面图片或标记，或粘贴在一起的盒盖板之间的分割/接缝。相反地，没有图案的盒可能没有任何可被标识为不完整边缘的2D线。机器人系统100可在传感器输出中超过噪声方差但无法完全满足用于边缘标识的规则/阈值的位置处标识不完整边缘。在一些实施方案中，机器人系统100可使用3D传感器输出来标识暴露外边缘(例如，第一区域612的周边边缘)，并且可使用2D传感器输出来标识不完整边缘。另外，机器人系统100可将不完整边缘边缘标识为不与其他边缘以落入角度阈值范围内的角相交的2D或3D边缘。关于不完整边缘的细节在下文详细描述。

生成初始MVR

图7示出根据本技术的一些实施方案的一组所码垛包裹的顶视图。图7进一步示出相对于顶视图的初始MVR 710(例如，图2的目标堆叠210的3D和/或2D传感器图像)。初始MVR710可表示MVR的边界和/或对应物体的边缘的初始估计。换句话讲，初始MVR 710可表示一个未识别物体的表面的初始估计。机器人系统100可使用开放3D拐角和/或暴露边缘来导出初始MVR 710。导出初始MVR 710可包括检查从点云标识的层中的每一个以标识物体、边缘、拐角等。例如，机器人系统100可将初始MVR 710导出为点云数据(例如，3D传感器输出)中具有在彼此的阈值连续性范围内的深度值的区域(例如，图6的第一区域612)。换句话讲，机器人系统100可将初始MVR导出为水平相邻位置的分组，所述水平相邻位置具有与连续表面相对应的足够相同或线性图案化的深度值。因此，机器人系统100可将初始MVR导出为至少部分地由暴露外拐角514(例如，第一拐角714a和/或第二拐角714b)和对应的暴露边缘界定的区域。例如，初始MVR 710可从第一拐角714a沿着暴露边缘722和726延伸到相对边缘724和728。在一些实施方案中，机器人系统100可通过在开放3D拐角(例如，第一拐角714a)处开始并且沿循暴露边缘(例如，远离开放3D拐角)来导出初始MVR 710。初始MVR 710可延伸，直到所沿循暴露边缘被其他暴露边缘(例如，与非沿循边缘相对和/或平行于非沿循边缘的边缘，诸如相对边缘724和/或728)相交或面对。

在一些实例中，由于各种原因(例如，物体之间的间隔、传感器粒度等)，初始MVR710可对应于多个物体的表面。因此，机器人系统100可验证所导出初始MVR710的一个或多个尺寸。机器人系统100可验证MVR 710的一个或多个尺寸大于最小候选大小且小于最大候选大小。阈值尺寸可表示机器人系统100可接收/预期的物体的最小和/或最大尺寸。另外，阈值尺寸可表示图2的端部执行器204的水平覆盖区，诸如表示抓持/接触区域的最小大小。

当初始MVR710的一个或多个尺寸落在阈值之外时(例如，通过超过最大尺寸或低于最小尺寸)，机器人系统100可诸如通过根据不完整边缘712(例如，在一个或多个端部处与另一边缘不匹配或相交的2D/3D边缘)对初始MVR 710(例如，最顶层)进行进一步分割来调整初始MVR710。换句话讲，机器人系统100可根据不完整边缘712来调整/减小初始MVR并且测试对应的结果。在一些实施方案中，机器人系统100可将不完整边缘712确定为不与一个或多个端部上的暴露边缘相交的2D边缘和/或3D边缘。另外，机器人系统100可将不完整边缘712确定为与暴露边缘中的一个平行的2D和/或3D边缘。在一些实施方案中，机器人系统100可计算与不完整边缘712相关联的置信度值。置信度值可表示不完整边缘712对应于表面边缘和/或相邻物体之间的间隔的可能性。例如，机器人系统100可基于不完整边缘712的总长度、不完整边缘712的形状和/或不完整边缘712与围绕不完整边缘712的部分之间的差异(例如，针对深度、颜色、亮度等)来计算置信度值。

如下文详细描述，机器人系统100可基于根据或下至不完整边缘712而减小初始MVR 710来导出已验证MVR 720。换句话讲，机器人系统100可将所减小候选MVR标识为初始MVR 710内的区域，所述区域由不完整边缘712中一个或多个而不是相对的平行边缘724和/或728中的一个或多个界定。机器人系统100可通过朝向对应的暴露边缘(例如，分别对应的暴露边缘722、726)沿循相对的平行边缘(例如，相对的平行边缘724、728，其可以是2D和/或3D边缘，诸如图4B的所估计边缘424)来减小初始MVR710，直到到达不完整边缘712为止。换句话讲，机器人系统100可标识与初始MVR 710相关联的第二拐角714b，然后沿着相关联的边缘(例如，相对的平行边缘724和/或728)远离第二拐角714移动，同时搜索其他边缘(例如，相交和/或平行边缘，诸如不完整边缘712)。如上所述，机器人系统100可测试所标识边缘的取向。例如，当所穿过边缘与所标识边缘之间的角在阈值角度范围(例如，80°至100°和/或对应于直角的其他范围)内时，机器人系统100可验证所标识边缘。另外，诸如当沿着所标识且未穿过的暴露边缘的多组对应点之间的一组距离在彼此的阈值范围内时，机器人系统100可验证所标识边缘平行于对应的暴露边缘。这可重复地或增量地执行。如果无法进一步减小MVR，则机器人系统100可将所得区域推断为已验证MVR区域720。

如上所述，机器人系统100可基于将减小的尺寸与阈值进行比较来验证所减小候选MVR。例如，机器人系统100可在由不完整边缘712限定的减小的区域满足最小/最大阈值时，将所减小候选MVR导出为已验证MVR 720。另外，机器人系统100可在不完整边缘712对应于超过预定阈值的置信度值时验证所减小候选MVR。此外，机器人系统100可使不完整边缘712在一个或多个方向上延伸达阈值距离。例如，当所延伸不完整边缘与其他边缘相交以形成满足阈值角度范围的角时，机器人系统100可验证所减小候选MVR。

作为放大初始MVR 710的示例，图8示出根据本技术的一些实施方案的合并的MVR区域的示例。在某些实例中，多个相邻表面可具有基本上相同的高度，并且在这些表面之间具有边缘/水平间隔。作为说明性示例，点云中所表示的物体可以是盒的顶表面，所述盒的顶表面具有通过胶带条连接的两个分开的矩形盖板/区段。由于以上讨论的一个或多个限制，机器人系统100可导出包括一个盖板并且向上延伸到对应于盖板/区段之间的胶带或间隔的边缘的初始MVR 710。对于此类实例，机器人系统100可导出另外区域，并且在导出已验证MVR 820时与初始MVR 710合并/测试它们。

如图8所示，可基于初始MVR 710确定另外的似合理的MVR区域812a-b。另外的似合理的MVR区域812a-b可包括与初始MVR 710关联的区域。例如，机器人系统100可基于分析2D和/或3D图像的部分来确定另外的似合理的MVR区域812a-b。机器人系统100可将另外的似合理的MVR区域812a-b确定为具有匹配的视觉特性(例如，颜色、亮度和/或图像图案)和/或匹配的深度值的位置，所述匹配的深度值在相对于初始MVR 710的阈值连续性范围内。机器人系统100可将候选区域导出为图像的被确定为与初始MVR 710相关联的部分。

作为说明性示例，机器人系统100可基于沿循第一暴露边缘722和第二暴露边缘726(例如，在3D图像数据中描绘的边缘)远离暴露外拐角714a来处理MVR(例如，初始和扩大的MVR)。机器人系统100可标识包括第一初始相对边缘822和第二初始相对边缘826的一组初始相对边缘。当第一暴露边缘722平行于第一初始相对边缘822和/或第二暴露边缘726平行于第二相对边缘826时，机器人系统100可验证一组初始相对边缘。机器人系统100可使用已验证相对边缘来导出初始MVR 710。

机器人系统100可基于沿循第一暴露边缘722和第二暴露边缘726超出一组初始相对边缘(例如，远离暴露外拐角714a)来确定另外的似合理的MVR区域812a-b。机器人系统100可标识一个或多个另外的相对边缘(例如，第一边缘832和/或第二边缘836)，其与所沿循边缘(例如，第一暴露边缘722和/或第二暴露边缘726)相交或在所述所沿循边缘的阈值间隔距离内。诸如当第一边缘832平行于第一暴露边缘722和/或第一初始相对边缘822和/或当第二边缘836平行于第二暴露边缘726和/或第二初始相对边缘826时，机器人系统100可如上所述类似地验证另外的相对边缘。

当验证一个或多个另外的相对边缘时，机器人系统100可标识另外的似合理的MVR区域。例如，机器人系统100可将第一另外的似合理的MVR区域812a标识为第一初始相对边缘822与另外的相对边缘中的第一者(例如，第一边缘832)之间的区域。另外，机器人系统100可将第二另外的似合理的MVR区域812b标识为第二初始相对边缘826与另外的相对边缘中的第二者(例如，第二边缘836)之间的区域。

机器人系统100可基于验证/测试候选区域(例如，初始MVR 710与第一另外的似合理的MVR区域812a和/或第二另外的似合理的MVR区域812b的组合)来确定另外的似合理的MVR区域812a-b。例如，机器人系统100可验证候选区域(例如，图像的被确定为与初始MVR710相关联的部分)与初始MVR 710之间的间隔距离小于预定阈值。机器人系统100可通过将候选区域的一个或多个尺寸与上文所述最小/最大尺寸阈值进行比较来进一步测试候选区域。机器人系统100可在候选区域低于最小阈值(例如，最小候选大小的尺寸)时将候选区域确定为另外的似合理的MVR区域812a-b。在一些实施方案中，机器人系统100可使用大小比较、间隔距离和/或候选区域与初始MVR 710之间的关联/相似度来计算置信水平。置信水平可表示候选区域与同对应于初始MVR 710的部分相同的物体相对应的可能性。机器人系统100可将置信水平与预定阈值进行比较以确定是否应将候选区域分类为另外的似合理的MVR区域812a-b或初始MVR 710的新实例(例如，对应于单独的物体)。

生成已验证MVR

机器人系统100可基于组合初始MVR 710与另外的似合理的MVR812a-b来导出已验证MVR820。因此，机器人系统100可通过放大初始MVR710以涵盖其他附近区域来导出候选MVR。因此，机器人系统100可通过已验证MVR 820增大准确地估计未登记物体的完整表面的可能性。

在一些实施方案中，机器人系统100可导出已验证MVR 820和已验证MVR 720两者(例如，减小初始MVR 710的结果)。根据一个或多个预定过程/方程，机器人系统100可使用上述一个或多个处理参数来计算已验证MVR中的每一个的置信度值。机器人系统100可将具有较大置信度值的已验证MVR选择为最终MVR。

替代地，机器人系统100可在对较小和/或较大候选区域的测试不成功时将初始MVR710导出为最终MVR。例如，如果合并的MVR大于最大候选大小，则可拒绝合并的MVR，并且已验证MVR 820可包括初始MVR 710而不具有任何另外的似合理的MVR。另外，如果图7中描述的所减小MVR小于最小候选大小，则已验证MVR 710可包括初始MVR 710。在一些实施方案中，机器人系统100可通过放大初始MVR710来首先导出所增大MVR。机器人系统100然后可如上所述重复地减小所增大MVR，以导出最终的MVR。如上所述，机器人系统100可使用最终验证的MVR来登记和/或操纵未登记物体。

生成最小可行区域(MVR)自动登记流水线。

图9示出根据本技术的一些实施方案的用于识别物体的物体识别过程900的流程图。所述过程可基于图1的机器人系统100可用和/或在图1的机器人系统100处接收到的信息。例如，机器人系统100可(通过例如图2的第一成像传感器212)接收/访问表示图2的目标堆叠210和/或其中的物体(例如，所登记物体和/或未识别物体)的2D和/或3D图像数据。机器人系统100还可访问预定且存储的数据，诸如图1的包裹112的最小可能尺寸(也称为最小候选大小)、包裹112的最大可能尺寸(也称为最大候选大小)或它们的组合。机器人系统100可进一步访问和利用主数据(也称为物体集)，所述主数据包括关于可接收或预期物体的已知或预定数据/描述。例如，物体集可包括与各种物体相关联的性状(诸如物体尺寸、表面图像/外观、图案、颜色等)的描述。相比之下，机器人系统100可能知道也可能不知道目标堆叠210(即，诸如包裹112)中的各个物体的尺寸。

物体识别过程900可包括基于描述子的检测过程(框902)。在一些实施方案中，基于描述子的检测过程可包括2D图像数据的视觉分析或计算机视觉分析。基于视觉分析，可基于物体集生成检测估计(框904)。检测估计可包括图像数据(例如，2D图像数据)中的一部分与物体集中所表示的物体匹配或相对应的假设。例如，机器人系统100可基于将物体集与2D图像数据之间的图像部分/特征、描述子和/或其他与外观有关的数据匹配来生成检测估计。

基于描述子的检测过程可包括验证假设(框906)。换句话讲，机器人系统100可诸如基于物体集中的所登记物体的特性和/或其他传感器数据(例如，诸如点云数据的3D图像数据)来验证检测估计。机器人系统100可通过检查/匹配其他特征、局部特征描述子和/或来自3D深度传感器的3D图像数据来验证假设。例如，机器人系统100可基于将一组关键视觉特征(例如，徽标、名称、最大/最亮特征等)与物体集匹配来生成假设，并且可基于将其他剩余视觉特征与物体集进行比较来验证假设。另外，机器人系统100可基于标识2D图像数据中与对应于假设的表面相对应的位置(即，其边界/边缘)来验证假设。例如，机器人系统100可计算与2D图像数据的所标识部分相对应的相关联的2D边缘特性(例如，边缘的尺寸和位置)。机器人系统100可基于将2D图像数据的所假设部分的2D边缘的位置/长度与3D图像数据(例如，点云)中所表示的那些位置/长度进行比较来验证假设。当对应于所假设区域的3D边缘的特性(例如，长度)与物体集中所表示的所假设物体的特性匹配时，机器人系统100可验证假设。换句话讲，当所假设部分的另外的方面(诸如，对应3D边缘的位置/长度)与物体集中所表示的物体的另外的方面匹配时，机器人系统100可验证2D图像数据的所假设部分与物体集中所表示的物体匹配。

物体登记过程900可包括点云检测(框908)。在一些实施方案中，点云检测过程可包括对来自3D深度传感器的3D成像数据的3D分析。点云检测可包括分离点云数据以标识边缘和/或各个层特征(框910)。例如，机器人系统100可根据深度测量值来分离点云数据。如上所述，机器人系统100可标识具有在彼此的阈值范围内的深度测量值的相邻位置的分组。因此，机器人系统100可标识对应于目标堆叠210的层和/或表面的分组。在一些实施方案中，机器人系统100可从3D图像数据中标识边缘/边界、表面取向和/或不连续性。机器人系统100可使用所标识边缘/边界、表面取向和/或不连续性来标识由边缘界定的、具有相同表面取向和/或在不连续性的相对侧上的层。另外或替代地，机器人系统100可使用在2D图像数据中标识的边缘来标识边缘和/或验证3D边缘。

可基于所测量尺寸生成检测估计(框912)。检测估计可包括3D图像数据中的一部分与物体集中所表示的物体匹配或属于所述物体集中的物体的假设。例如，机器人系统100可基于每个单独层的所测量尺寸生成检测估计。机器人系统100可假设层/表面的所标识边缘/边界对应于物体集中所表示的一个或多个物体的周边边缘。例如，机器人系统100如上所述测量或计算边缘的长度。机器人系统100可生成检测估计，所述检测估计包括与物体集中的已知/所登记物体相对应或匹配的图像和/或目标堆叠210上的对应区域的一部分。

机器人系统100可验证检测估计(框914)。机器人系统100可通过将所假设区域的其他特性与物体集中的所登记物体的特性进行比较来验证假设。例如，当形成层的边缘的所测量尺寸与所登记物体中的一个的对应尺寸匹配时，机器人系统100可验证由所比较边缘界定的物体可能是匹配的所登记物体。替代地或另外，机器人系统100可基于分析2D图像数据的与3D图像数据中的所假设部分相对应的部分来验证假设。例如，机器人系统100可确定用于长度比较的所标识3D边缘的点的坐标/位置。机器人系统100可标识目标堆叠210的2D图像数据内的对应位置/部分。机器人系统100可通过将2D图像数据的所标识部分与存储在物体集中的表面的对应表示(其可包括表面图像)进行比较来验证假设。当2D图像的所标识部分的2D特性(例如，外观，诸如在亮度、颜色等方面的图案)与所假设的所登记物体的表面的表示匹配时，机器人系统100可验证假设并且检测到在目标堆叠210中的位置处存在对应物体。因此，机器人系统100可标识目标堆叠210中的已知物体(例如，图3B的所识别物体312)。

可利用非空物体集来发起物体识别过程900。在一些实施方案中，物体识别过程900可开始于基于描述子的检测和/或基于点云的检测中的任何一者，如上文关于图9所述。替代地或另外，物体识别过程900可在没有其他不同的检测方法或者不与所述方法合并的情况下实现基于描述子的检测或基于点云的检测。

图10是根据本技术的一些实施方案的操作图1的机器人系统100的方法1000的框图。机器人系统100可实施方法1000以处理由图2的第一成像传感器212生成和/或从其接收到的2D/3D成像数据。例如，机器人系统100可通过使用一个或多个处理器执行存储在存储器装置上的处理器指令来实施方法1000。因此，一个或多个处理器可实施本文所述的一个或多个过程。一个或多个处理器可接收数据、分析数据、生成结果/命令/设置和/或传达命令/设置以操作一个或多个机器人单元。

方法1000可包括识别图2的目标堆叠210中的已知/所登记物体(例如，图3B的所识别物体312)。根据方法1000，机器人系统100可进一步处理并登记与图像数据中的未解释区域相对应的图3B的未识别物体314。因此，方法1000可包括图9的物体识别过程900。

在物体识别过程900之后，机器人系统100可标识图像数据中剩余的一个或多个未解释区域(框1002)。机器人系统100可将未解释区域标识为图1的起始位置112的图像数据的任何部分(例如，在货盘、手推车、容器等的水平边界内)，所述部分不返回物体集(例如，主数据中的登记数据)中所表示的匹配(或对应于)物体。机器人系统100可确定一个或多个未解释区域对应于图3B的一个或多个未识别物体314。

机器人系统100可测试一个或多个未解释区域(框1004)。机器人系统100可根据其形状和/或其尺寸来测试未解释区域。因此，机器人系统100可标识图像数据(例如，2D视觉图像和/或3D点云)中的边缘(框1020)。例如，机器人系统100可基于标识具有在彼此的阈值范围内的深度量度的相邻位置来标识图像数据(例如，2D图像和/或3D点云)的一个或多个未解释区域中的层/表面。机器人系统100可将暴露边缘标识为所标识层的边界，在所述边界处，深度量度跨水平相邻位置偏离到阈值范围之外。另外，机器人系统100可基于根据亮度、颜色等的变化分析2D图像来标识边缘。在一些实施方案中，机器人系统100可使用索贝尔滤波器来标识边缘。

机器人系统100可通过将未解释区域的所标识边缘与预定形状模板和/或长度进行比较来测试一个或多个未解释区域。例如，机器人系统100可将未解释区域的形状(即，如由一组连接的边缘所限定的)与表示期望的物体(例如，盒和/或圆筒形状)的形状模板进行比较。机器人系统100可调整形状模板的尺寸，以用于测试未解释区域的形状。另外或替代地，机器人系统100可计算所标识边缘(例如，在2D和/或3D图像数据中描绘的边缘)的长度，并且将它们与预定最小/最大阈值进行比较。

当形状和/或长度满足预定阈值/条件时，机器人系统100可使用如上所述的MVR分析来执行物体检测并生成MVR(框1006)。机器人系统100可使用所标识边缘/拐角来导出初始MVR(框1022)。例如，机器人系统100可选择开放拐角中的一个并沿循对应的开放边缘以发现其他合格的2D/3D边缘(例如，图4B的所估计边缘424和/或图7的相对的平行边缘724、728)。当开放边缘和其他合格边缘满足预定条件/阈值(例如，最小/最大大小要求)时，机器人系统100可导出初始MVR。

在一些实施方案中，机器人系统100可诸如通过扩大(框1024)和/或减小(框1026)初始MVR来进一步处理初始MVR。如上所述，机器人系统100可基于确定图8的另外的似合理的MVR区域812a-b来扩大初始MVR。机器人系统100可基于从不同的拐角(例如，与初始选择的拐角对角地相对的拐角)开始以发现边缘来减小MVR(例如，初始MVR和/或扩大的MVR)。例如，机器人系统100可考虑其他边缘(例如，图7的不完整边缘712和/或其他2D/3D边缘)以减小MVR。

机器人系统100可验证调整后的和/或初始MVR(框1028)。当似合理的MVR区域和/或组合满足预定条件/阈值(例如，对应的最小/最大大小要求)时，机器人系统100可将图8的已验证MVR 820导出为初始MVR和似合理的MVR区域的组合。当由一个或多个所考虑边缘界定的区域满足预定条件/阈值(例如，对应的最小/最大大小要求)时，机器人系统100可导出图7的已验证MVR 720。当所考虑边缘不满足预定条件/阈值时，机器人系统100可基于最后的有效结果来导出已验证MVR。例如，当所扩大结果和所减小结果未通过测试条件时，机器人系统100可将初始MVR设置为已验证MVR。另外，当后续减小未能通过测试条件时，机器人系统100可产生已验证MVR 820。在一些实施方案中，机器人系统100可首先减小然后扩大MVR。因此，当后续扩大未能通过测试条件时，机器人系统100可产生已验证MVR 720。

已验证MVR中的每一个可表示未解释区域中的未识别物体314中的一个的表面(例如，顶表面)的估计。换句话讲，每个已验证MVR可表示所估计检测，所述所估计检测表示未解释区域内一个物体。

机器人系统100可进一步分析MVR以确定它们是确定的还是不确定的(框1008)。例如，机器人系统100可确定包括在MVR中和/或用于导出MVR并相应地对MVR进行分类的开放拐角(例如3D拐角)的数量。机器人系统100可基于将相关联的开放拐角的数量与预定阈值进行比较来对MVR进行分类/确定MVR的分类。作为说明性示例，机器人系统100可将不确定MVR确定为初始MVR和/或已验证MVR，所述不确定MVR包括两个或更少个开放3D拐角或使用两个或更少个开放3D拐角来导出。另外，机器人系统100可将确定MVR确定为初始MVR和/或已验证MVR，所述确定MVR包括三个或更多个开放3D拐角或使用三个或更多个开放3D拐角来导出。

在一些实施方案中，机器人系统100可确定初始MVR的确定性(例如，在框1024-1028之前)。当初始MVR是确定MVR时，机器人系统100可绕过上文针对框1024-1028所述的操作。当初始MVR是不确定MVR时，机器人系统100可实施上文针对框1024-1028所述的过程。在其他实施方案中，机器人系统100可在扩大、减小和/或验证处理后的MVR之后确定已验证MVR的确定性。

机器人系统100可在MVR是确定的时更新物体集(框1030)。在一些实施方案中，机器人系统可根据MVR的分类利用MVR更新物体集。例如，使用确定MVR，机器人系统100可诸如通过确定/总结确定MVR各自对应于单个所检测物体(例如，未识别物体314的一个实例)来检测物体。因此，机器人系统100可诸如通过将确定MVR(例如，视觉图像和/或对应尺寸)存储在物体集中来直接检测和/或登记(例如，无需进一步调整、测试和/或验证MVR)确定MVR。使用所更新物体集(即，利用确定MVR更新的物体集)，机器人系统100可重新实施物体识别过程900，如反馈循环所表示的。

机器人系统100可在MVR是不确定的时根据已验证MVR执行任务(框1010)。机器人系统100可使用已验证MVR来导出图4B的抓持位置420。例如，机器人系统100可导出与已验证MVR的暴露拐角对准或邻接的抓持位置420。另外，机器人系统100可导出与已验证MVR的中间部分重叠的抓持位置420。基于抓持位置420，机器人系统100可导出命令、设置和/或运动计划，以操作图2的机器人臂202和/或图2的端部执行器204以抓持并搬运物体。对于所述任务，机器人系统100可将物体搬运到图1的任务位置116。另外，机器人系统100可在搬运期间将物体进一步放置在一个或多个特定位置处，诸如将物体呈现给一个或多个传感器和/或将物体放置在一个或多个线/平面周围。

机器人系统100可在物体的搬运期间获得关于所述物体的另外数据(框1032)。例如，机器人系统100可抓持物体并执行初始移位(例如，上升和/或水平移位达预定距离)。在初始移位之后，机器人系统100可生成一个或多个所更新2D/3D图像数据(通过例如第一图像传感器212)。基于所抓持物体与周围物体之间的增大的间隔，机器人系统100可分析所更新2D/3D图像数据以重新导出边缘、MVR和/或物体尺寸。另外，机器人系统100可根据一个或多个越过传感器(未示出)来计算物体的高度。当所搬运物体的底部部分进入/退出与越过传感器(例如，被配置来检测光学信号中的中断的传感器)相关联的横向定向的感测线/平面时，机器人系统100可确定端部执行器204的高度。机器人系统100可基于端部执行器的高度和感测线/平面的已知高度来计算高度。另外，机器人系统100在搬运期间可获得物体的周边图像、标识符值/位置、重量和/或其他物理描述。

机器人系统100可登记所搬运的未识别物体(框1034)。如上所述，机器人系统100可基于将另外数据和/或已验证MVR存储在物体集中来登记物体。机器人系统100可使用所更新物体集来进一步识别其他物体，如物体识别过程900的反馈回路所示。

在实施对应于框1010的过程时，机器人系统100可将不确定MVR与所检测物体(例如，来自物体识别过程900的结果)和/或新登记的所检测物体(例如，确定MVR)一起返回到计划模块(未示出)。计划模块可导出运动计划以操纵/搬运所识别物体、所检测物体(例如，对应于确定MVR的未识别物体)和/或其他未识别物体。机器人系统100可在未识别物体的搬运期间进一步获得另外信息(例如，物体高度、标识符数据、外形图像等)，并且使用所获得的另外信息来更新物体集中的登记数据。机器人系统100可使用所获得的另外信息来登记未识别物体和/或导出最终的已验证MVR。

在一些实施方案中，机器人系统100可处理未解释区域并在其中生成所有初始MVR/已验证MVR。根据方法1000的迭代实施，机器人系统100可将未解释区域与物体集进行比较，以首先确定并登记所生成的MVR中的确定MVR。使用所更新物体集(例如，确定MVR)，机器人系统100可重新实施物体识别过程900，并且在未解释区域中检测与某些MVR相对应的物体。机器人系统100可通过标识其中与用于更新物体集的确定MVR匹配的区域来更新未解释区域，从而检测对应物体。机器人系统100可通过从未解释区域中移除与确定MVR相对应/匹配的部分来完成对未解释区域的更新。机器人系统100可重复所述迭代过程，直到所得的未解释区域不再包括确定MVR。对于不确定MVR，机器人系统100可从未解释区域导出/使用对应的已验证MVR，以操纵其中的未识别物体。如上所述，机器人系统100可在操纵未识别物体时进一步获得另外信息。机器人系统100可利用已验证MVR和/或另外信息来更新物体集，并且继续物体识别过程900以识别与所搬运物体匹配的其他物体并重复迭代过程。机器人系统100可通过标识其中与所搬运物体的已验证MVR匹配的区域来更新未解释区域，从而检测对应物体。机器人系统100可通过从未解释区域中移除与所搬运物体的已验证MVR匹配的部分来完成对未解释区域的更新。机器人系统100可处理所更新的未解释区域，以导出并验证与未识别物体的后续类型/实例相对应的后续MVR。

另外或替代地，机器人系统100可确定所识别物体并导出所有MVR，然后计划物体的搬运。在其他实施方案中，机器人系统100可基于首先搬运所识别物体和/或对应于确定MVR的物体来导出或更新MVR。因此，机器人系统100可增大暴露未识别物体的另外的3D边缘/拐角的可能性。增大暴露另外的3D边缘/拐角的可能性可增大标识确定MVR的可能性，这可提供检测物体和所导出MVR的增加的准确性。此外，通过减少/消除处理步骤和/或通过减少由不准确的物体检测致使的损耗件和/或碰撞，增加的准确性可提供提高的效率。

机器人系统100可使用本文所述的实施方案来自主地填充物体集。换句话讲，机器人系统100可从不包括登记数据的物体集的空集开始。在这些条件下，机器人系统100可实施从框1002开始的方法1000，并且将所接收图像数据的整体标识为未解释区域。由于不存在登记数据，因此机器人系统100可在几乎没有人工输入的情况下在处理物体(例如，从起始位置114搬运到任务位置116)时登记物体。因此，机器人系统100可在不实施物体识别过程900的情况下开始导出MVR，并且将所导出MVR的子集(例如，确定MVR)存储在物体集中。机器人系统100可重复地实施如上所述的方法1000以登记物体。例如，机器人系统100可基于将其中的对应部分与存储在物体集中的所导出MVR的子集进行匹配来检测在未解释区域中表示的第一物体集。机器人系统100可从未解释区域中移除匹配部分，从而根据对第一物体集的检测来更新所述未解释区域。机器人系统100可处理所更新的未解释区域，以导出新的/后续的MVR集(例如，另一确定MVR和/或其他已验证MVR集)，以用于将其他物体登记在所更新的未解释区域中。

示例性处理系统

图11是示出其中可实施本文所述的至少一些操作的处理系统1100的示例的框图。如图11所示，处理系统1100可包括一个或多个中央处理单元(“处理器”)1102、主存储器1106、非易失性存储器1110、网络适配器1112(例如，网络接口)、视频显示器1118、输入/输出装置1120、控制装置1122(例如，键盘和定点装置)、包括存储介质1126的驱动单元1124和通信地连接到总线1116的信号生成装置1130。总线1116被示出为表示通过适当的桥、适配器或控制器连接的任何一个或多个单独的物理总线、点对点连接或两者的抽象。因此，总线1116可包括例如系统总线、外围部件互连(PCI)总线或PCI快速总线、超传输或工业标准架构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线，或电子电器工程师协会(IEEE)标准1394总线(也称为“火线”)。

在各种实施方案中，处理系统1100作为用户装置的一部分进行操作，尽管处理系统1100还可(例如，有线地或无线地)连接到用户装置。处理系统1100可在客户端-服务器网络环境中以服务器或客户端机器的能力来操作，或者在对等(或分布式)网络环境中作为对等机器来操作。

处理系统1100可以是服务器计算机、客户端计算机、个人计算机、平板电脑、膝上型计算机、个人数字助理(PDA)、蜂窝电话、处理器、网络器具、网络路由器、交换机或网桥、控制台、手持式控制台、游戏装置、音乐播放器、网络连接(“智能”)电视、电视连接装置或任何能够执行一组指令(顺序或其他)的便携式装置或机器，所述一组指令指定处理系统1100要采取的动作。

虽然主存储器1106、非易失性存储器1110和存储介质1126(也称为“机器可读介质”)被示出为单个介质，但是应当采用术语“机器可读介质”和“存储介质”以包括存储一组或多组指令1128的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“机器可读介质”和“存储介质”还应被认为包括能够存储、编码或执行指令集的任何介质，所述指令集用于由计算机系统执行并且致使所述计算机系统执行本公开实施方案的方法中的任何一个或多个。

总而言之，被执行以实现本公开的实施方案的例程实现为被称为“计算机程序”的操作系统或特定应用程序、部件、程序、对象、模块或指令序列的一部分。所述计算机程序通常包括在不同时间在计算机中的各种存储器和存储装置中设置的一个或多个指令(例如，指令1104、1108、1128)，并且所述一个或多个指令当由一个或多个处理单元或处理器1102读取并执行时，致使处理系统1100执行操作以执行涉及本公开的各个方面的元素。

另外，虽然已经在功能完备的计算机和计算机系统的背景下描述了本实施方案，但是本领域技术人员将理解，各种实施方案能够以各种形式作为程序产品分发，并且无论用于实际上作用于分发的特定类型的机器或计算机可读介质如何，本公开都同等适用。例如，本文描述的技术可使用虚拟机或云计算服务来实现。

机器可读存储介质、机器可读介质或计算机可读(存储)介质的其他实例包括但不限于可记录类型的介质，诸如易失性和非易失性存储器装置1110、软盘和其他可移动磁盘、硬盘驱动器、光盘(例如，光盘只读存储器(CD ROMS)、数字多功能盘(DVD))和传输类型的介质，诸如数字和模拟通信链接。

网络适配器1112使得处理系统1100能够通过处理系统1100和外部实体所支持的任何已知和/或方便的通信协议利用处理系统1100外部的实体调解网络1114中的数据。网络适配器1112可包括网络适配器卡、无线网络接口卡、路由器、接入点、无线路由器、交换机、多层交换机、协议转换器、网关、网桥、网桥路由器、集线器、数字媒体接收器和/或转发器中的一者或多者。

网络适配器1112可包括防火墙，所述防火墙在一些实施方案中可控制和/或管理访问/代理计算机网络中的数据的权限，并且跟踪不同机器和/或应用之间的不同信任级别。防火墙可以是具有硬件和/或软件组件的任意组合的任意数量的模块，所述任意数量的模块能够在特定的一组机器与应用程序之间、机器与机器之间和/或应用程序与应用程序之间强制执行预定的一组访问权限，以调节这些不同实体之间的流量和资源共享。防火墙可另外管理和/或访问访问控制列表，所述访问控制列表详细描述了权限，包括例如个人、机器和/或应用程序对物体的访问和操作权限以及所述权限生效的环境。

实施例

在一些实施方案中，一种操作机器人系统的方法可包括：接收表示包括一个或多个未识别物体的目标堆叠的二维(2D)图像数据和三维(3D)图像数据；基于与表示所登记物体的一个或多个物理方面的物体集的比较结果，标识所述2D和/或所述3D图像数据的未解释区域；标识所述2D图像数据和/或所述3D图像数据的所述未解释区域内的一个或多个层，其中每个层包括在所述3D图像数据中具有在彼此的阈值范围内的深度量度的一组横向相邻点；标识所述未解释区域中的暴露边缘，其中所述暴露边缘表示所述一个或多个层的边界，在所述边界处，所述深度量度跨水平相邻位置偏离到所述阈值范围之外；基于所述暴露边缘标识一个或多个暴露拐角，其中所述暴露拐角中的每一个对应于一组所述暴露边缘之间的接合部；基于所标识暴露边缘和所述暴露拐角导出最小可行区域(MVR)，其中所述MVR表示所述未解释区域中所表示的未登记物体的表面的估计；确定与所导出MVR相关联的所述暴露拐角的数量；根据所述MVR和所述暴露拐角的所述数量来检测未识别物体；以及基于将所述物体集更新成包括作为所述未识别物体的表示的所述MVR和/或其处理结果来登记所述未识别物体。所述方法还包括：基于以下根据所更新物体集来重复地更新并分析所述未解释区域：将所述未解释区域与所更新物体集进行比较；标识所述未解释区域内匹配用于更新所述物体集的所述MVR和/或其所述处理结果的一部分；根据匹配所述MVR和/或其所述处理结果的所述部分来检测物体；以及通过移除匹配所述MVR和/或其所述处理结果的所述部分来更新所述未解释区域。所述物体集可以是用于初始迭代的空集；所述未解释区域包括用于所述初始迭代的所述2D图像数据、所述3D图像数据、其一部分或它们的组合。对于所述初始迭代，登记所述未识别物体可包括：在实施涉及定位在所述目标堆叠中的所述未识别物体的任务时自主地填充所述物体集。

在一些实施方案中，检测所述未识别物体可包括：在所述暴露拐角的所述数量超过预定阈值时直接检测所述未识别物体；并且登记所识别物体可包括：在所述暴露拐角超过所述预定阈值时将所述MVR直接存储在所述物体集中。在一些实施方案中，所述预定阈值可以是二。

在一些实施方案中，一种机器人系统可包括：至少一个处理器；以及至少一个存储器装置，所述至少一个存储器装置连接到所述至少一个处理器并且在其上存储有指令，所述指令能够由所述处理器执行以：接收表示在起始位置处的一个或多个未识别物体的一个或多个图像数据；基于标识所述一个或多个图像数据中的一个或多个暴露拐角导出最小可行区域(MVR)，其中所述暴露拐角中的每一个表示在不与另一表面或物体水平相邻的暴露边缘之间的接合部；基于与所述MVR相关联的所述暴露拐角的数量，利用所述MVR和/或其处理结果更新物体集，其中：所述物体集表示先前所登记物体的一个或多个物理方面，并且所述MVR和/或其所述处理结果表示在所述起始位置处的所述未识别物体中的一个的一个或多个物理属性；并且基于所更新物体集识别在所述起始位置处的另一物体。所述至少一个存储器装置可包括：用于诸如在所述MVR与所述暴露拐角中的三个或更多个相关联时，基于将所述暴露拐角的所述数量与预定阈值进行比较来将所述MVR确定为确定MVR的指令；和/或用于基于将所述MVR确定为所述确定MVR来利用所述MVR和/或其处理结果直接更新所述物体集并且无需进一步更新或调整所述MVR的指令。所述至少一个存储器装置还可包括用于以下的指令：标识所述图像数据的不返回与所述物体集中所表示的物体的匹配的未解释区域；基于所述未解释区域导出所述MVR，其中所述确定MVR在所述未解释区域内；以及移除所述未解释区域的匹配所述确定MVR的一部分，以进行进一步的物体识别和/或操纵。在一个或多个实施方案中，所述至少一个存储器装置还可包括用于以下的指令：实施用于将与所述确定MVR相对应的未识别物体搬运远离所述起始位置的操作；在实施用于搬运所述未识别物体的所述操作之后，基于所更新的未解释区域导出后续MVR，其中所述后续MVR表示在所述起始位置处的另一未识别物体，并且在所更新的未解释区域中表示；以及利用所述第二MVR和/或其处理结果更新所述物体集。

在一些实施方案中，所述机器人系统可包括具有用于以下的指令的所述至少一个存储器装置：当所述MVR与所述暴露拐角中的两个或更少个相关联时，将所述MVR确定为不确定MVR；以及基于进一步分析所述不确定MVR和/或操纵在所述起始位置处的所述未识别物体中的一个或多个，利用所述MVR和/或其处理结果更新所述物体集。所述至少一个存储器装置可包括用于以下的指令：基于将所述图像数据与所述物体集进行比较来检测一个或多个所识别物体；标识所述图像数据的不返回与所述物体集的匹配的未解释区域；以及基于标识所述图像数据的所述未解释区域中的所述一个或多个暴露拐角来导出所述未解释区域内的所述MVR，其中所述MVR表示在所述起始位置处的所述未识别物体中的所述一个的表面的估计。所述至少一个存储器装置还可包括用于以下的指令：实施用于将所述一个或多个所识别物体搬运远离所述起始位置的操作；在实施搬运所述一个或多个所识别物体的所述操作之后，更新所述MVR；以及利用所更新MVR和/或其处理结果更新所述物体集。

在一些实施方案中，一种在其上存储有处理器指令的有形非暂时性计算机可读介质，所述处理器指令在由处理器执行时致使所述处理器实施方法，所述方法包括：通过以下重复地分析表示在起始位置处的所登记和/或未识别物体的一个或多个所接收图像数据：基于标识所接收图像数据中的一个或多个暴露拐角导出一个或多个最小可行区域(MVR)，其中所述暴露拐角中的每一个表示在不与另一表面或物体水平相邻的暴露边缘之间的接合部；基于与所述对应MVR相关联的所述暴露拐角的数量确定所述MVR中的每一个的分类；根据所述对应分类利用所述MVR和/或其处理结果更新物体集，其中：所述物体集表示先前所登记物体的一个或多个物理方面，并且所述MVR中的所述每一个和/或其所述处理结果表示在所述起始位置处的所述未识别物体中的一个的一个或多个物理属性；并且使用所更新物体集来识别在所述起始位置处的其他物体。在一些实施方案中，所述一个或多个所接收图像数据包括二维(2D)图像数据和三维(3D)图像数据，两者均表示来自一个成像位置的目标堆叠；并且所述方法还可包括：基于将所述2D图像数据与所述物体集进行比较来生成检测估计；以及基于所述3D图像数据验证所述检测估计。生成所述检测估计还可包括：基于将所述2D图像数据的一部分与所述物体集中所表示的物体的表面图像进行匹配来生成所述检测估计；验证所述检测估计包括：基于以下验证所述检测估计：标识所述3D图像数据中对应于所述检测估计的一部分；计算所述3D图像数据的所标识部分中的3D边缘的长度；以及当所述3D边缘的长度与所述物体集中所表示的所述物体的长度匹配时，验证所述检测估计。

在一些实施方案中，所述非暂时性计算机可读介质可包括所述方法，其中：所述一个或多个所接收图像数据包括二维(2D)图像数据和三维(3D)图像数据，两者均表示来自一个成像位置的目标堆叠；并且所述方法还可包括：基于将所述3D图像数据与所述物体集进行比较来生成检测估计；以及基于所述2D图像数据验证所述检测估计。生成所述检测估计可包括：基于以下生成所述检测估计：标识所述3D图像数据内的层，其中所述层包括具有在彼此的阈值范围内的深度量度的一组水平相邻位置，标识所述层的边缘，其中所述边缘表示所述深度量度偏离到跨水平相邻位置的所述阈值范围之外的位置，计算所述边缘的长度，以及使所述边缘长度与所述物体集中所表示的物体的尺寸匹配；以及验证所述检测估计包括：基于以下验证所述检测估计：标识所述2D图像数据中对应于所述检测估计的一部分；标识所述2D图像数据的所标识部分中的2D特性，以及当所述2D特性与所述物体集中所表示的所登记物体中的所述一个的图像的对应特性匹配时，验证所述检测估计。在一些实施方案中，所述非暂时性计算机可读介质可包括所述方法，所述方法还包括：基于通过以下分析所述一个或多个所接收图像数据来从空集重复地构建所述物体集：当所述物体集不包括任何物体的登记数据时，将所述一个或多个所接收图像数据或其一部分标识为未解释区域；从所述未解释区域导出所述一个或多个MVR；根据所述对应分类将所述一个或多个MVR的至少一个子集存储在所述物体集中；基于将所接收图像数据的部分与存储在所述物体集中的所述一个或多个MVR进行匹配来检测所接收图像数据中所表示的第一组物体；通过移除所匹配部分来更新所述未解释区域；以及基于所更新的未解释区域导出用于登记所接收图像数据中所表示的第二组物体的一组新MVR。

如上所述，此处所引入的技术是由例如可编程电路(例如，一个或多个微处理器)实现，用软件和/或固件进行编程、完全在专用硬接线(即，非可编程)电路中或在组合中或此类形式。专用电路可处于例如一个或多个专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等的形式。

从前述内容应了解，已出于说明目的在本文中描述了本发明的具体实施方案，但是可作出各种修改而不会背离本发明的范围。因此，除了所附权利要求之外，本发明不受限制。

Claims (20)

1.一种操作机器人系统的方法，所述方法包括：

接收表示包括一个或多个未识别物体的目标堆叠的二维(2D)图像数据和三维(3D)图像数据；

基于与表示所登记物体的一个或多个物理方面的物体集的比较结果，标识所述2D和/或所述3D图像数据的未解释区域；

标识所述2D图像数据和/或所述3D图像数据的所述未解释区域内的一个或多个层，其中每个层包括在所述3D图像数据中具有在彼此的阈值范围内的深度量度的一组横向相邻点；

标识所述未解释区域中的暴露边缘，其中所述暴露边缘表示所述一个或多个层的边界，在所述边界处，所述深度量度跨水平相邻位置偏离到所述阈值范围之外；

基于所述暴露边缘标识一个或多个暴露拐角，其中所述暴露拐角中的每一个对应于一组所述暴露边缘之间的接合部；

基于所标识暴露边缘和所述暴露拐角导出最小可行区域(MVR)，其中所述MVR表示所述未解释区域中所表示的未登记物体的表面的估计；

确定与所导出MVR相关联的所述暴露拐角的数量；

根据所述MVR和所述暴露拐角的所述数量来检测未识别物体；以及

基于将所述物体集更新成包括作为所述未识别物体的表示的所述MVR和/或其处理结果来登记所述未识别物体。

2.如权利要求1所述的方法，其还包括：基于以下根据所更新物体集来重复地更新并分析所述未解释区域：

将所述未解释区域与所更新物体集进行比较；

标识所述未解释区域内匹配用于更新所述物体集的所述MVR和/或其所述处理结果的一部分；

根据匹配所述MVR和/或其所述处理结果的所述部分来检测物体；以及

通过移除匹配所述MVR和/或其所述处理结果的所述部分来更新所述未解释区域。

3.如权利要求2所述的方法，其中：

所述物体集是用于初始迭代的空集；

所述未解释区域包括用于所述初始迭代的所述2D图像数据、所述3D图像数据、其一部分或它们的组合；并且

登记所述未识别物体包括：在实施涉及定位在所述目标堆叠中的所述未识别物体的任务时自主地填充所述物体集。

4.如权利要求1所述的方法，其中：

检测所述未识别物体包括：在所述暴露拐角的所述数量超过预定阈值时直接检测所述未识别物体；并且

登记所识别物体包括：在所述暴露拐角超过所述预定阈值时将所述MVR直接存储在所述物体集中。

5.如权利要求4所述的方法，其中所述预定阈值为二。

6.一种机器人系统，其包括：

至少一个处理器；以及

至少一个存储器装置，所述至少一个存储器装置连接到所述至少一个处理器并且在其上存储有指令，所述指令能够由所述处理器执行以：

接收表示在起始位置处的一个或多个未识别物体的一个或多个图像数据；

基于标识所述一个或多个图像数据中的一个或多个暴露拐角导出最小可行区域(MVR)，其中所述暴露拐角中的每一个表示在不与另一表面或物体水平相邻的暴露边缘之间的接合部；

基于与所述MVR相关联的所述暴露拐角的数量，利用所述MVR和/或其处理结果更新物体集，其中：

所述物体集表示先前所登记物体的一个或多个物理方面，并且

所述MVR和/或其所述处理结果表示在所述起始位置处的所述未识别物体中的一个的一个或多个物理属性；并且

基于所更新物体集识别在所述起始位置处的另一物体。

7.如权利要求6所述的机器人系统，其中所述至少一个存储器装置包括用于以下的指令：基于将所述暴露拐角的所述数量与预定阈值进行比较来将所述MVR确定为确定的MVR。

8.如权利要求7所述的机器人系统，其中所述至少一个存储器装置包括用于以下的指令：在所述MVR与所述暴露拐角中的三个或更多个相关联时将所述MVR确定为所述确定的MVR。

9.如权利要求8所述的机器人系统，其中所述至少一个存储器装置包括用于以下的指令：基于将所述MVR确定为所述确定的MVR来利用所述MVR和/或其处理结果直接更新所述物体集并且无需进一步更新或调整所述MVR。

10.如权利要求9所述的机器人系统，其中所述至少一个存储器装置包括用于以下的指令：

标识所述图像数据的不返回与所述物体集中所表示的物体的匹配的未解释区域；

基于所述未解释区域导出所述MVR，其中所述确定的MVR在所述未解释区域内；以及

移除所述未解释区域的匹配所述确定的MVR的一部分，以进行进一步的物体识别和/或操纵。

11.如权利要求10所述的机器人系统，其中所述至少一个存储器装置包括用于以下的指令：

实施用于将与所述确定的MVR相对应的未识别物体搬运远离所述起始位置的操作；

在实施用于搬运所述未识别物体的所述操作之后，基于所更新的未解释区域导出后续MVR，其中所述后续MVR表示在所述起始位置处的另一未识别物体，并且在所更新的未解释区域中表示；以及

利用所述第二MVR和/或其处理结果更新所述物体集。

12.如权利要求6所述的机器人系统，其中所述至少一个存储器装置包括用于以下的指令：

当所述MVR与所述暴露拐角中的两个或更少个相关联时，将所述MVR确定为不确定MVR；以及

基于进一步分析所述不确定MVR和/或操纵在所述起始位置处的所述未识别物体中的一个或多个，利用所述MVR和/或其处理结果更新所述物体集。

13.如权利要求6所述的机器人系统，其中所述至少一个存储器装置包括用于以下的指令：

基于将所述图像数据与所述物体集进行比较来检测一个或多个所识别物体；

标识所述图像数据的不返回与所述物体集的匹配的未解释区域；以及

基于标识所述图像数据的所述未解释区域中的所述一个或多个暴露拐角来导出所述未解释区域内的所述MVR，其中所述MVR表示在所述起始位置处的所述未识别物体中的所述一个的表面的估计。

14.如权利要求13所述的机器人系统，其中所述至少一个存储器装置包括用于以下的指令：

实施用于将所述一个或多个所识别物体搬运远离所述起始位置的操作；

在实施搬运所述一个或多个所识别物体的所述操作之后，更新所述MVR；以及

利用所更新MVR和/或其处理结果更新所述物体集。

15.一种在其上存储有处理器指令的有形非暂时性计算机可读介质，所述处理器指令在由处理器执行时致使所述处理器实施方法，所述方法包括：

通过以下重复地分析表示在起始位置处的所登记和/或未识别物体的一个或多个所接收图像数据：

基于标识所接收图像数据中的一个或多个暴露拐角导出一个或多个最小可行区域(MVR)，其中所述暴露拐角中的每一个表示在不与另一表面或物体水平相邻的暴露边缘之间的接合部；

基于与所述对应MVR相关联的所述暴露拐角的数量确定所述MVR中的每一个的分类；

根据所述对应分类利用所述MVR和/或其处理结果更新物体集，其中：

所述物体集表示先前所登记物体的一个或多个物理方面，并且

所述MVR中的所述每一个和/或其所述处理结果表示在所述起始位置处的所述未识别物体中的一个的一个或多个物理属性；并且

使用所更新物体集来识别在所述起始位置处的其他物体。

16.如权利要求15所述的非暂时性计算机可读介质，其中：

所述一个或多个所接收图像数据包括二维(2D)图像数据和三维(3D)图像数据，两者均表示来自一个成像位置的目标堆叠；

所述方法还包括：

基于将所述2D图像数据与所述物体集进行比较来生成检测估计；以及

基于所述3D图像数据验证所述检测估计。

17.如权利要求16所述的非暂时性计算机可读介质，其中：

生成所述检测估计包括：基于将所述2D图像数据的一部分与所述物体集中所表示的物体的表面图像进行匹配来生成所述检测估计；

验证所述检测估计包括：基于以下验证所述检测估计：

标识所述3D图像数据中对应于所述检测估计的一部分；

计算所述3D图像数据的所标识部分中的3D边缘的长度；以及

当所述3D边缘的长度与所述物体集中所表示的所述物体的长度匹配时，验证所述检测估计。

18.如权利要求15所述的非暂时性计算机可读介质，其中：

所述一个或多个所接收图像数据包括二维(2D)图像数据和三维(3D)图像数据，两者均表示来自一个成像位置的目标堆叠；

所述方法还包括：

基于将所述3D图像数据与所述物体集进行比较来生成检测估计；以及

基于所述2D图像数据验证所述检测估计。

19.如权利要求18所述的非暂时性计算机可读介质，其中：

生成所述检测估计包括：基于以下生成所述检测估计：

标识所述3D图像数据内的层，其中所述层包括具有在彼此的阈值范围内的深度量度的一组水平相邻位置，

标识所述层的边缘，其中所述边缘表示所述深度量度偏离到跨水平相邻位置的所述阈值范围之外的位置，

计算所述边缘的长度，以及

使所述边缘长度与所述物体集中所表示的物体的尺寸匹配；以及

验证所述检测估计包括：基于以下验证所述检测估计：

标识所述2D图像数据中对应于所述检测估计的一部分；

标识所述2D图像数据的所标识部分中的2D特性，以及

当所述2D特性与所述物体集中所表示的所登记物体中的所述一个的图像的对应特性匹配时，验证所述检测估计。

20.如权利要求15所述的非暂时性计算机可读介质，其中所述方法还包括：基于通过以下分析所述一个或多个所接收图像数据来从空集重复地构建所述物体集：

当所述物体集不包括任何物体的登记数据时，将所述一个或多个所接收图像数据或其一部分标识为未解释区域；

从所述未解释区域导出所述一个或多个MVR；

根据所述对应分类将所述一个或多个MVR的至少一个子集存储在所述物体集中；

基于将所接收图像数据的部分与存储在所述物体集中的所述一个或多个MVR进行匹配来检测所接收图像数据中所表示的第一组物体；

通过移除所匹配部分来更新所述未解释区域；以及

基于所更新的未解释区域导出用于登记所接收图像数据中所表示的第二组物体的一组新MVR。

Images