CN110941462A - 自动学习产品操纵的系统和方法 - Google Patents

Abstract

一种用于自动学习产品操纵的系统，包括：多个称重装置，用于确定产品在不同位置处的重量分布；多个传感器，用于捕获产品的图像；机器人设备，用于操纵产品；以及与其他组件进行通信的计算设备。该计算设备被配置为：控制机器人设备利用预定参数来操纵产品；确定产品在操纵之前和之后的尺寸和取向；计算产品的重量分布；评估参数；以及基于评估来确定产品的适当的操纵参数。

Description

自动学习产品操纵的系统和方法

相关申请的交叉引用

本申请是由程辉于2018年9月21日提交的题为“SYSTEM AND METHOD FORAUTOMATIC PRODUCT ENROLLMENT”的美国申请序列号16/137,765的部分继续申请，该申请的全部内容通过引用并入本文。

在本发明的描述中引用和讨论了一些参考文献，其可以包括专利、专利申请和各种出版物。提供这样的参考文献的引用和/或讨论仅为了阐明本发明的描述，而不是承认任何这样的参考文献是本文所描述的发明的“现有技术”。在本说明书中引用和讨论的所有参考文献均以引用的方式整体并入本文，并且在一定程度上如同每篇参考文献通过引用被单独地并入。

技术领域

本发明总体上涉及机器人技术，并且更具体地涉及自动学习如何操纵产品的机器人训练系统。

背景技术

出于总体上呈现本发明的上下文的目的而在本文提供背景描述。既不明确地承认也不暗示地承认当前列名的发明人的在背景技术部分中描述的范围内的工作、以及在提交时可能不是作为现有技术的描述的各方面为与本发明相对的现有技术。

机器人设备在工厂、仓库、研究实验室甚至医疗外科中更为盛行。在这些领域中机器人设备的操作包括拾取和放置。当对象被选择时，需要设置用于拾取和放置的操作参数。这些参数可以包括要使用的力、移动顺序、移动距离和移动速度。然而，当电子商务公司具有特性不同的各种类型的产品(从封装在硬盒中的产品到可变形产品)时，针对那些不断变化的产品设置产品特定的参数是困难的。此外，针对每种产品手动设置参数不能满足在现代物流环境下处理大量不同产品的需要。

因此，需要解决本领域中的上述缺陷和不足。

发明内容

在某些方面，本发明涉及一种用于自动学习产品操纵的系统。在某些实施例中，所述系统包括：用于产品的多个称重装置，所述产品将被放置在所述多个称重装置上，其中，所述称重装置被配置为记录所述产品在不同姿势下和不同位置处的重量或重量分布；多个传感器，被配置为捕获所述产品的图像；至少一个机器人设备；以及至少一个计算设备，所述计算设备与所述传感器、所述称重装置和所述机器人设备进行通信，其中，所述计算设备被配置为：控制所述机器人设备利用第一组参数来操纵所述产品；使用所捕获的图像来确定在利用所述第一组参数进行所述操纵之前和之后所述产品的尺寸、姿势和取向(orientation)；基于所述产品的所述尺寸、所述姿势、所述取向和所记录的重量来计算在所述操纵之前和之后所述产品的重量分布；评估所述第一组参数；以及基于所述评估来确定所述产品的适当的操纵参数。

在某些实施例中，所述传感器包括RGB相机、RGBD相机、深度相机和激光扫描仪中的至少一个，并且所述图像包括视觉图像和深度图像。

在某些实施例中，所述系统还包括装备(rig)、学习站和多个灯。所述视觉传感器包括多个RGB相机和至少一个深度相机，所述称重装置被放置在所述学习站处，所述装备被固定到所述学习站并围绕所述称重装置，并且所述RGB相机、所述深度相机和所述灯被安装在所述装备上。在某些实施例中，所述装备具有固定到所述学习站的柱，以及固定到所述柱并定位在所述称重装置上方的上水平层和下水平层。所述深度相机和所述RGB相机中的一个RGB相机被安装在所述上水平层的中心处，以便捕获所述产品的顶表面的图像，所述RGB相机中的四个RGB相机分别被安装在所述下水平层的四个侧边上，以便捕获所述产品的侧表面的图像，并且所述灯中的四个灯被安装在所述上水平层的四个角处。在某些实施例中，所述RGB相机中的所述四个RGB相机被定位成使得连接所述RGB相机中的所述四个RGB相机中的每一个与所述称重装置的顶表面的中心的线与所述称重装置的顶表面形成约20-70度的角度。在某些实施例中，所述角度约为45度。

在某些实施例中，所述计算设备还被配置为基于所捕获的视觉图像来构建所述产品的三维(3D)模型。

在某些实施例中，所述3D模型包括所述产品的侧表面的外观信息。在某些实施例中，所述外观信息是颜色信息。

在某些实施例中，所述计算设备还被配置为：确定所述产品的标识；以及基于所述标识从产品数据库中获取产品信息，其中，所述产品信息包括所述产品的三维(3D)模型和所述产品的所述重量分布。在某些实施例中，所述产品的所述标识是从所述侧表面的图像或所述3D模型中的所述外观信息中确定的，其中所述标识可以是一维(1D)或二维(2D)条形码、Apriltag、快速响应(QR)码、水印等。

在某些实施例中，所述产品信息包括所述产品的侧表面的光滑度和硬度。

在某些实施例中，所述计算设备还被配置为：基于对所述第一组参数的所述评估，控制所述机器人设备利用第二组参数来操纵所述产品；使用所捕获的图像来确定在所述操纵之前和之后所述产品的尺寸和取向；基于所述产品的所述尺寸、所述取向和所记录的重量来计算在所述操纵之前和之后所述产品的重量分布；以及评估所述第二组参数，其中，基于对所述第一组参数和所述第二组参数的评估来确定所述产品的适当的操纵参数。在某些实施例中，所述图像包括视觉图像和深度图像。

在某些实施例中，所述系统还包括：由机器人技能组(skill set)数据库提供的多个技能组，其中，所述机器人技能组数据库提供所述机器人设备操纵所述产品的不同参数集合，并且所述产品的所述适当的操纵参数被存储在所述机器人技能组数据库中。

在某些实施例中，所述机器人设备的数量是两个，并且所述两个机器人设备被放置在所述称重装置的相对的两侧。

在某些实施例中，所述机器人设备包括抽吸设备、机械臂、夹持器或电粘附设备。

在某些实施例中，所述计算设备被配置为执行通过机器学习来确定所述产品的适当的操纵参数的步骤。

在某些方面，本发明涉及一种用于自动产品操纵学习的方法。所述方法包括：由位于不同位置处的多个称重装置记录被放置在所述称重装置上的产品的重量；由多个传感器捕获所述产品的图像；由计算设备控制至少一个机器人设备利用第一组参数来操纵所述产品，其中，所述计算设备与所述传感器、所述称重装置和所述机器人设备进行通信；由所述计算设备使用所捕获的图像来确定在所述操纵之前和之后所述产品的尺寸和取向；由所述计算设备基于所述产品的所述尺寸、所述取向和所记录的重量来计算在所述操纵之前和之后所述产品的重量分布；由所述计算设备评估所述第一组参数；以及由所述计算设备基于所述评估来确定所述产品的适当的操纵参数。在某些实施例中，所述传感器包括视觉相机和深度相机，并且所捕获的图像包括视觉图像和深度图像。

在某些实施例中，所述方法还包括：基于对所述第一组参数的所述评估，控制所述机器人设备利用第二组参数来操纵所述产品；使用所捕获的图像来确定在利用所述第二组参数进行所述操纵之前和之后所述产品的尺寸和取向；基于所述产品的所述尺寸、所述取向和所记录的重量来计算在利用所述第二组参数进行所述操纵之前和之后所述产品的重量分布；以及评估所述第二组参数，其中，基于对所述第一组参数和所述第二组参数的评估来确定所述产品的适当的操纵参数。

在某些实施例中，所述计算设备被配置为执行通过机器学习来确定所述产品的适当的操纵参数的步骤。

在某些实施例中，所述方法还包括：基于所述图像来构建所述产品的3D模型。在某些实施例中，所述3D模型包括所述产品的侧表面的外观信息。

在某些方面，本发明涉及一种存储计算机可执行代码的非暂时性计算机可读介质，其中，所述计算机可执行代码当在所述计算设备的处理器处被执行时被配置为：控制位于不同位置处的多个称重装置记录被放置在所述称重装置上的产品的重量；控制多个视觉传感器捕获所述产品的视觉图像；控制至少一个机器人设备利用第一组参数来操纵所述产品；使用所捕获的视觉图像来确定在所述操纵之前和之后所述产品的尺寸和取向；基于所述产品的所述尺寸、所述取向和所记录的重量来计算在所述操纵之前和之后所述产品的重量分布；评估所述第一组参数；以及基于所述评估来确定所述产品的适当的操纵参数。

根据以下结合附图对优选实施例的详细描述，本发明的这些和其他方面将变得更加清楚，尽管可以在不脱离本发明新颖构思的精神和范围的情况下对本文进行多种改变和修改。

附图说明

附图示出了本发明的一个或多个实施例，并且与书面描述一起用于解释本发明的原理。在可能的情况下，在整个附图中使用相同的附图标记来指代实施例的相同或相似的元件。

图1是根据本发明的某些实施例的用于学习机器人设备操纵产品的操纵参数的自动学习系统的示意图。

图2是图1的自动学习系统的一部分的示意图。

图3A和图3B是根据本发明的某些实施例的自动学习系统中的称重装置的示意图。

图4是根据本发明的某些实施例的测量产品的重量分布的示意图。

图5是根据本发明的某些实施例的操纵学习应用的示意图。

图6是根据本发明的某些实施例的自动学习产品操纵的示意图。

具体实施方式

现在将在下文中参照附图更全面地描述本发明，在附图中，示出了本发明的示例性实施例。然而，本发明可以按多种不同形式来具体化，并且不应当被解释为受到本文阐述的实施例的限制。更确切地说，提供这些实施例使得本公开将全面和完整，并且将本发明的范围充分传达给本领域技术人员。贯穿附图，相似的附图标记指代相似的元件。

本说明书中使用的术语在本发明的上下文内以及在使用每个术语的特定上下文中通常具有其在本领域中的通常含义。在下文或在说明书中的其他地方讨论了被用来描述本发明的某些术语，以向实施者提供关于本发明的描述的额外指导。为方便起见，可以例如使用斜体和/或引号来突出显示某些术语。突出显示的使用对术语的范围和含义没有影响；无论是否被突出显示，术语的范围和含义在相同的上下文中都是相同的。应当理解，可以用不止一种方式来陈述同样的事物。因此，可以针对本文所讨论的术语中的任何一个或多个来使用替代语言和同义词，并且对术语是否在本文中被详细阐述或讨论也不施加任何特殊意义。提供了某些术语的同义词。一个或多个同义词的叙述并不排除其他同义词的使用。本说明书中任何地方的示例(包括本文所讨论的任何术语的示例)的使用仅是说明性的，并且决不限制本发明或任何示例性术语的范围和含义。同样，本发明不限于在本说明书中给出的各种实施例。

将理解，当提及一个元件在另一元件“上”时，该元件可以直接在该另一元件上，或者可以存在介于其间的中间元件。相比之下，当一个元件被称作在另一个元件的“直接上面”时，不存在中间元件。如本文中所使用的术语“和/或”包括相关列出项目中的一个或多个的任何和所有组合。

应理解，虽然本文中可以使用术语“第一”、“第二”、“第三”等来描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应受这些术语限制。这些术语仅用于区分一个元件、组件、区域、层或部分与另一元件、组件、区域、层或部分。因此，在不脱离本发明的教导的情况下，以下讨论的第一元件、组件、区域、层或者部分可以被称为第二元件、组件、区域、层或者部分。

本文中所使用的术语仅仅是为了描述具体实施例的目的，而不是意在限制本发明。如在本文中所使用的，单数形式“一”、“一个”和“所述”旨在还包括复数形式，除非上下文明确地给出相反的指示。还应该理解，当在本说明书中使用时，术语“包括”和/或“包括了”、或“包含”和/或“包含了”、或“具有”和/或“具备”指定了存在所声明的特征、区域、整数、步骤、操作、元件和/或部件，但是不排除存在或此外还有一个或多个其他特征、区域、整数、步骤、操作、元件、部件和/或其组合。

此外，在本文可以使用诸如“下”或“底”、“上”或“顶”以及“左”和“右”之类的相对术语来描述附图中所示的一个元件与另一元件的关系。将理解，除了附图中所示的取向之外，相对术语旨在涵盖设备的不同取向。例如，如果一幅图中的设备被翻转，则被描述为位于其它元件的“下”侧的元件将取向为在该其它元件的“上”侧。因此，示例性术语“下”可以涵盖“下”和“上”的取向，这取决于图的特定取向。类似地，如果一幅图中的设备被翻转，则被描述为位于其它元件的“下方”或“下侧”的元件将取向为在该其它元件的“上方”。因此，示例性术语“下方”或“下侧”可以涵盖上下取向两者。

除非另外定义，否则本文使用的所有术语(包括技术和科学术语)具有本发明所属领域的普通技术人员通常所理解的相同意义。还将理解的是，诸如在常用词典中定义的术语应被解释为其含义与在相关技术和本发明的上下文中的含义相同，而不应将其解释为理想的或过于正式的含义，除非本文明确如此定义。

如上所述，电子商务公司具有特性不同的各种类型的产品。在某些方面，为了自动操纵这些产品，本发明提供了一种用于自动学习以获得产品的适当的机器人操纵参数的系统和方法。在某些实施例中，操纵包括如何正确地处理产品。处理操作可以包括接触的位置、施加的力的强度、机器人设备在持有产品时可以移动的速度以及是否需要多个机器人操纵器等等。使用自动学习系统和方法，本发明以有效且高效的方式提供产品特定的操纵参数/指令，使得机器人设备能够基于操纵参数来执行诸如从箱中拾取产品、堆叠或封装产品之类的任务。在某些实施例中，自动学习系统和方法为产品提供特定于目标对象的操作，其中特定操作不存在于机器人设备手册中。因为可以自动学习机器人设备的操作，所以该系统和方法提供了一种加入针对数百万产品的产品特定操纵的可扩展方式，从而提高了优化操纵参数的准确性和有效性，并且降低了人工劳动成本。

将结合附图对本发明的实施例进行描述。根据本文所体现和广泛描述的本发明的目的，在某些方面，本发明涉及用于自动学习产品特定操纵参数的系统和方法。

图1和图2是根据本发明的某些实施例的用于产品操纵的自动学习系统的示意图。如图1和图2所示，产品操纵学习系统100包括计算设备110、一个或多个机器人设备130、学习站140、多个称重装置150、RGB或GRBD相机160、深度相机170、灯180和装备190。计算设备110与机器人设备130、称重装置150、RGB或GRBD相机160以及深度相机170、灯180和装备190进行通信。称重装置150被放置在学习站140上或者是学习站140的一部分，装备190被固定到学习站140，并且RGB或GRBD相机160、深度相机170和灯180被安装在装备190上。

机器人设备130被配置为操纵产品102。在某些实施例中，机器人设备130由计算设备110控制。在其他实施例中，机器人设备130还可以是独立的自控机器人设备，或者由计算设备110之外的控制器控制。机器人设备130可以具有任何形式，例如吸盘、机械臂、夹持器或电粘附设备。当从计算设备110接收到指令和一组操纵参数时，机器人设备130相应地操纵产品102。如果机器人设备130是夹持器则机器人设备130具有用于获得扭矩、力的传感器，或者如果机器人设备130是抽吸设备则机器人设备具有用于获得气流和压力的传感器。优选地，在产品102的操纵之前、期间和之后将这些所获得的信息发送给计算设备110，以评估操纵的有效性或安全性。

学习站140被配置为在上面放置产品102，使得机器人设备130可以在学习站140上操作产品102。学习站140可以包括平坦的固定表面、移动表面和箱形状中的至少一种，以便模拟用于操纵产品102的不同情况。

称重装置150被设置在学习站140处，或者称重装置150用作学习站140的一部分。称重装置150被配置成测量产品102在不同位置处的重量或重量分布。图3A示意性地示出了称重装置150的侧视图，图3B示意性地示出了称重装置150的俯视图。如图3A和图3B所示，称重装置150包括顶板155和设置在顶板155的四个角下方的四个称重装置151、152、153和154。在某些实施例中，顶板155是覆盖在四个称重装置151上的独立且完整的板。在某些实施例中，顶板155与称重装置一体化，并且称重装置151、152、153和154的顶表面也可以是顶板155的顶表面的部分。在某些实施例中，顶板155可以由透明材料(例如，玻璃纤维)制成。在该实施例中，存在四个可用于测量重量的称重装置。在其他实施例中，称重装置150还可以包括两个、三个或多于四个称重装置。在某些实施例中，称重装置150可以包括三个、五个或多于五个称重装置。在该实施例中，顶板155呈矩形形状。在其他实施例中，顶板155可以是方形形状、圆形形状，并且称重装置150优选地对称设置在顶板155下方。

在某些实施例中，如图4所示地执行重量分布计算。具体地，将产品102移动到称重装置150的顶板155上。称重装置A、B、C和D(或称重装置151、152、153和154)位于产品102下方。由四个称重装置测量的重量是Fa、Fb、Fc和Fd。四个称重装置的总重量是Fa、Fb、Fc和Fd的总和，并被称为Fabcd。Fa和Fb的总和被称为Fab，Fb和Fc的总和被称为Fbc，Fc和Fd的总和被称为Fcd，Fd和Fa的总和被称为Fad。称重装置的长度被定义为L(在连接称重装置A和D的线与连接称重装置B和C的线之间)，称重装置的宽度被定义为W(在连接称重装置A和B的线与连接称重装置C和D的线之间)。长度L可以是相同的，可以小于或大于W，这取决于称重装置150所需的空间和要称重的产品的大小。沿着长度方向被投影在顶板155上的产品102的质心被计算为到连接A和D的线的距离为L×Fbc/Fadcd，或者到连接B和C的线的距离为L×Fad/Fadcd。沿着宽度方向被投影在顶板上的产品102的质心被计算为到连接A和B的线的距离为W×Fcd/Fadcd，或者到连接C和D的线的距离为W×Fab/Fadcd。因此，计算出投影在顶板155上的产品102的质心(由实心圆M表示)。相比之下，产品102的几何中心通过产品102的3D模型来计算。投影在顶板155上的几何中心被示为空心圆G。在某些实施例中，位于当前底面上的产品102的布置是用于操纵的主要位置，并且产品102在3D中的质心通过将点M向上延伸到产品102的高度H的一半来估计。在某些实施例中，产品102也可以被翻转三次以测量质心的三个投影，并且使用质心的三个投影来更准确地估计质心。在图4所示的重量分布的测量和计算中，产品102被放置在称重装置150上并保持静止一小段时间，使得称重装置150的读数是稳定的以便记录。在其他实施例中，可以在操纵产品102时连续记录称重装置150的读数。在其他实施例中，产品102的重量分布的计算可以包括使用由称重装置150记录的重量、产品102的姿势、产品102的3D模型以及可选地产品102的移动速度。

红、绿和蓝(RGB)或RGB深度(RGBD)相机160被配置为在机器人设备130操纵产品102之前、期间和之后捕获产品102的彩色图像。在某些实施例中，相机160也可以是灰度相机。深度相机170被配置为在机器人设备130操纵产品102之前、期间和之后捕获产品102的深度图像。在某些实施例中，深度相机170是飞行时间(ToF)相机。当RGBD相机160可用时，系统100可能不需要包括深度相机。利用所捕获的彩色图像和深度图像，计算设备110能够构建产品102的3D模型，并且具有产品102的表面(例如,顶表面和四个侧表面)的外观的清晰视图。在某些实施例中，RGB相机160和深度相机170被定位成使得至少一些图像覆盖全部称重装置150、覆盖学习站的边缘的一部分和/或装备的多个部分的视图，使得这些特征可以被用于精确地定位产品102在图像中的位置。

在某些实施例中，系统100还可以包括一个或多个激光扫描仪。激光扫描仪被配置为捕获标识，例如产品102的外表面中所示的条形码，和/或产品102的其他表面特征。在某些实施例中，激光扫描仪是激光雷达(LIDAR)，并且来自LIDAR的测量被用于辅助构建产品102的3D模型。

灯或光源180被安装在装备190上，并被配置为提供一致的照明条件并减少阴影和眩光(glare)。在某些实施例中，灯180优选地提供漫射光。在某些实施例中，提供围绕装备190或替代装备190的不透明盒以减少或消除外部光源，使得盒内的环境具有一致的光条件。在某些实施例中，灯180是手动控制的。在某些实施例中，灯180由特定控制器控制。在某些实施例中，灯180由计算设备110控制，以打开和关闭某些灯180，或调整某些灯180的强度并可选地调整取向。

如图2所示，装备190具有竖直柱192、上层194和下层196。在某些实施例中，竖直柱192被固定到学习站140。上层194和下层196是彼此平行的水平层，并且上层194高于下层196。上层194和下层196都位于学习站140的顶表面上方。装备190在学习站140上具有投影，该投影可以是矩形的。在某些实施例中，称重装置150位于装备190的投影内，并且优选地位于装备190的投影的中心。在某些实施例中，基于RGB相机160、深度相机170和灯180的数量和布置，装备190也可以具有少于两个或多于两个层。此外，RGB相机160、深度相机170、灯180和装备190的数量和布置不限于根据本发明的某些实施例的上述描述或附图。

在某些实施例中，上层194和下层196与学习站140的顶表面之间的距离分别在25-500cm、10-200cm的范围内。在某些实施例中，从上层194和下层196到学习站140的顶表面的距离分别在50-200cm和25-100cm的范围内。在某些实施例中，从上层194和下层196到学习站140的顶表面的距离分别为约100cm和50cm。在某些实施例中，上层194和下层196中的至少一个的高度是可调节的。换言之，两个层可以沿着柱192上下移动，使得系统可用于不同大小的产品102。在某些实施例中，层的高度调整由计算设备110基于产品102的大小来自动控制。

RGB相机160、深度相机170和灯180被安装在装备190的两个层194和196或柱192上。如图2所示，一个RGB相机160被放置在上层194的中心，四个RGB相机160分别被放置在下层196的四个侧边的中心。深度相机170被放置在上层194的中心处，即，一个RGB相机160和深度相机170彼此相邻地放置在上层194的中心。存在四个灯180，并且四个灯180被放置在上层194的四个角处。在某些实施例中，上层194和下层196可以被组合为一层，只要存在足够的空间来布置RGB相机160、深度相机170和灯180。在某些实施例中，装备190的结构以及RGB相机160、深度相机170和灯180的布置可以根据它们各自的特性而变化。

在某些实施例中，产品102具有长方体盒的形状。如图2所示，当产品102被基本上放置在学习站140的中心(或者换言之或者优选地，被放置在称重装置150的中心)时，上层194处的RGB相机160被定位成清楚地捕获产品102的顶表面的图像，并且下层196处的四个RGB相机160被定位成清楚地捕获产品102的侧表面的图像。在某些实施例中，下层196中的四个RGB相机160被定位成使得连接相机和称重装置150的几何中心的线与学习站140的顶表面形成大约20-80度的角度。在某些实施例中，该角度为约30-70度。在某些实施例中，该角度为约40-60度。在一个实施例中，该角度为约45度。装备190的角度和尺寸的设计使得在产品102被移动到学习站140上或者在学习站140上操纵产品102时相机160清楚地拍摄产品102的侧表面图像，而不会碰到产品102或机器人设备130。

计算设备110可以是服务器计算机、集群、通用计算机、专用计算机、平板计算机、智能电话或基于云的设备。在某些实施例中，计算设备110是用于存储和处理从机器人设备130、称重装置150、RGB相机160、深度相机170以及可选地从灯180和装备190收集的信息的服务器计算机。如图1所示，计算设备110可以包括但不限于处理器112、存储器114和存储设备116。在某些实施例中，计算设备110可以包括用于执行其对应任务的其他硬件组件和软件组件(未示出)。这些硬件和软件组件的示例可以包括但不限于：其他所需的存储器、接口、总线、输入/输出(I/O)模块或设备、网络接口和外围设备。

处理器112控制计算设备110的操作。在某些实施例中，处理器112可以是中央处理单元(CPU)。处理器112可以执行操作系统(OS)或计算设备110的其他应用。在一些实施例中，计算设备110可以具有多于一个CPU作为处理器，例如两个CPU、四个CPU、八个CPU或任何适当数量的CPU。

存储器114可以是易失性存储器，例如随机存取存储器(RAM)，用于在计算设备110的操作期间存储数据和信息。在某些实施例中，存储器114可以是易失性存储器阵列。在某些实施例中，计算设备110可以在多于一个存储器114上运行。

存储设备116是用于存储OS(未示出)和计算设备110的其他应用的非易失性数据存储介质或设备。存储设备116的示例可以包括闪存、存储卡、USB驱动器、硬盘驱动器、软盘、光学驱动器或任何其他类型的数据存储设备。在某些实施例中，计算设备110可以具有多个存储设备116，其可以是相同的存储设备或不同类型的存储设备，并且计算设备110的应用可以被存储在计算设备110的一个或多个存储设备116中。存储设备116包括操纵学习应用118，该操纵学习应用118在被执行时学习如何自动操纵产品102。具体地，操纵学习应用118被配置为根据特定参数来操纵产品102，基于RGB图像、深度图像和重量分布来调整操纵参数，并且确定产品102的适当的操纵参数。

图5示意性地描绘了根据本发明的某些实施例的自动操纵学习应用118的结构。如图5所示，操纵学习应用118可以包括参数提供模块120、机器人设备控制模块121、图像捕获模块122、图像处理模块123、重量分布模块124、变化检测模块125、操纵评估模块126以及操纵参数确定和存储模块127等等。

参数提供模块120被配置为：响应于接收到操纵目标，提供用于操纵对应于操纵目标的产品102的操纵参数。在某些实施例中，从机器人技能组数据库中获取操纵参数和对应目标。机器人技能组数据库可以被存储在计算设备110的存储设备116中，或者被存储在其他服务器计算机或云的存储设备中。操纵目标可以从用户接收，或者由计算设备100基于产品102的图像来确定。操纵目标可以包括从箱中拾取产品102、沿着直线移动产品102、翻转产品102以及将产品102堆叠在另一产品上等等。

机器人设备控制模块121被配置为：响应于接收到所提供的操纵参数，根据参数来控制机器人设备130的操纵。在某些实施例中，机器人设备130与计算设备110进行通信，并且可以基于从机器人设备控制模块121接收的参数来独立地操纵产品102。在其他实施例中，机器人设备控制模块121还可以接管机器人设备130的控制，并直接指示机器人设备130的操纵。

图像捕获模块122被配置为：在机器人设备130进行操纵之前、期间和之后，控制RGB或RGBD相机160和深度相机170捕获图像。在某些实施例中，图像捕获模块122还可以被配置为：当使用激光扫描仪时，控制激光扫描仪扫描产品102，例如，以获取条形码。在某些实施例中，图像捕获模块122还可以被动地接收由RGB/RGBD相机160和深度相机170捕获的图像。在获得图像之后，图像捕获模块122将图像发送给图像处理模块123。

在从图像捕获模块122获得图像之后，图像处理模块123被配置为处理产品102的所捕获的图像。图像的处理可以包括以下中的至少一项：使RGB图像和深度图像同步、调整图像的光平衡、重新格式化图像和重新调整图像大小、提取产品102的标识、从图像中检测产品102、分割图像、构建产品102的3D模型以及确定产品102的姿势。当提取产品102的标识(例如，1D/2D条形码、Apriltag或QR码)时，图像处理模块123还被配置为基于该标识来从产品信息数据库获取产品信息。在某些实施例中，产品信息数据库位于存储设备116处。在某些实施例中，产品信息数据库还可以被存储在任何其他服务器计算机或云计算机中。所获取的产品信息可以包括产品102的尺寸、产品102的3D模型以及产品102的重量分布。当获取产品信息时，图像处理模块123不需要确定或计算已经可用的产品信息，这降低了成本并提高了系统100的效率。例如，当产品102的3D模型可用时，图像处理模块123仅需要将所捕获的图像匹配或链接到产品102的3D模型，并且不需要根据那些所捕获的图像重建3D模型。在其他实施例中，即使可以获取产品102的3D模型，也需要在操纵之前、期间和之后重建或监控3D模型，以便监控产品102关于3D模型的变化。然而，所获取的3D模型的可得性可以使处理更容易，其中可以不需要根据所捕获的图像进行对3D模型的初始重建，并且图像处理模块123被配置为基于所捕获的图像与3D模型之间的配准对应关系来跟踪3D模型的变化，并且可选地连续更新3D模型。

重量分布模块124被配置为控制不同位置处的称重装置150测量产品102的重量，并计算产品102的重量分布。由于除了由称重装置150测量的重量之外，重量分布的计算还可能需要产品102的3D模型和姿势，因此重量分布模块124还被配置为与图像处理模块124进行通信以获得该信息。重量分布模块124可以使用如图4所示的方法基于产品102的操纵、3D模型和姿势来计算重量分布。

变化检测模块125被配置为监控产品102在操纵之前、期间和之后的变化。在某些实施例中，变化的检测基于产品102在操纵之前、期间和之后的3D模型、姿势和重量分布。检测到的变化可以包括产品102的外观变化(例如，产品102的条形码的划痕)以及产品102的3D模型变化(例如，凹陷或内凹的角或边)等等。可以从该信息推断产品102在操纵期间是否已经被损坏。

操纵评估模块126被配置为评估操纵的效率和安全性。该评估基于在操纵产品102期间由机器人设备130收集的特征。在某些实施例中，机器人设备130配备有各种传感器以从夹持器收集扭矩和力，从抽吸设备收集气流和压力，并且所收集的特征的变化可以用于评估操纵的效率和安全性。例如，当产品102从一个地方移动到另一地方时，吸盘的气流变化或夹持器的力变化表明该产品在移动期间没有被很好地固定。在这种情况下，可能需要增加诸如吸力或夹持力之类的操纵参数。

操纵参数确定和存储模块127被配置为：当操纵参数对产品102造成明显损坏，或者没有为产品提供有效且安全的操纵时，调整参数，使用经调整的参数再次运行操纵，并评估该操纵。操纵参数确定和存储模块127还被配置为：当操纵参数没有对产品造成明显损坏并且为产品提供有效且安全的操纵时，将该参数作为良好的产品特定操纵策略存储在数据库中，使得当需要操纵产品102时，机器人设备可以获取那些参数以进行操纵。在某些实施例中，评估具有阈值，并且当变化没有超过预定水平时，将参数确定为适合于操纵。例如，当在产品102的移动期间，吸盘的气流变化没有超过预定数(例如，10％)时，计算设备110确定操纵的安全性良好。

在某些实施例中，系统100还包括存储产品102的信息(例如，产品102的条形码、尺寸、3D模型、重量分布和材料)的产品数据库。

在某些实施例中，系统100还包括产品特定操纵策略数据库，其存储通过系统100的执行而学习到的操纵策略。

在某些实施例中，系统100还包括机器人技能组目标和用例数据库。数据库包括操纵产品102的目标，例如沿着直线移动产品、从箱中拾取产品、翻转产品等，并且用例存储对应于每个目标的操纵参数。在某些实施例中，可以基于特定产品的设定目标来获取参数，并且所获取的参数可以被用作用于操纵的初始参数。然后，系统100评估使用那些初始参数的效果，并且在操纵效果不理想时调整参数。

在某些实施例中，计算设备110是服务器计算机，并且上述数据库是存储设备116的一部分。在某些实施例中，上述数据库中的至少一个还可以被存储在与计算设备110分离或远离的存储设备中。在某些实施例中，上述数据库中的至少一个被存储在云中。

图6示意性地示出了根据本发明的某些实施例的用于自动产品操纵学习的方法。在某些实施例中，图6所示的方法可以在图1所示的自动产品操纵学习系统上实现。应特别注意，除非在本发明中另有说明，否则该方法的步骤可以以不同的顺序来布置，并且因此不限于如图6所示的顺序。

如图6所示，在过程602处，提供产品102。在某些实施例中，计算设备110指示机器人设备130拾取产品102并将产品102放置在学习站140上。产品102可以被放置在学习站140的中心。在某些实施例中，可以通过其他装置而不是机器人设备130将产品102放置在学习站140上。在某些实施例中，因为产品102由其他装置提供，所以计算设备110不需要指示机器人设备130来放置产品102。换言之，产品102可以首先被放置在学习站140上，然后系统100接管学习如何最佳地操纵产品102的其余过程。

在将产品102放置在学习站140上之后，在过程604处，计算设备110接收操纵目标，并且响应于接收到该目标，向机器人设备130提供用于操纵产品102的一组参数。在某些实施例中，计算设备110具有用户界面，该用户界面提供操纵目标的列表以供选择，并且用户可以从列表中选择操纵目标之一。在某些实施例中，操纵目标可以由用户直接输入而无需选择。在某些实施例中，计算设备110可以拍摄产品102的若干图像，并基于产品102的大小和形状来确定操纵目标。操纵目标可以包括从箱中拾取产品102、沿着直线移动产品102、翻转产品102以及将产品102堆叠在另一产品上等等。

在从计算设备110接收到参数时，在过程606处，机器人设备130执行产品102的操纵，例如拾取产品102、移动产品102、翻转产品102或堆叠产品102。在某些实施例中，机器人设备130由机器人设备控制模块121控制。在其他实施例中，机器人设备130与计算设备110进行通信，并且基于从计算设备110接收到的参数来独立地操纵产品102。

在过程606处由机器人设备130操纵产品102之前、期间和之后，在过程608处，图像捕获模块121控制RGB相机160和深度相机170捕获产品102的图像。所捕获的图像包括彩色图像和深度图像。在某些实施例中，当系统100包括灰度相机而不是RGB相机160时，所捕获的图像也可以是灰度图像和深度图像。在某些实施例中，当仅RGBD相机可用而不是RGB(D)相机和深度相机两者都可用时，所捕获的图像可以是彩色的RGBD图像。在某些实施例中，RGB相机160和深度相机170与图像捕获模块124进行通信，但是相机160和170被独立地控制并且被配置为将所捕获的图像发送给计算设备110。

在捕获图像之后，在过程610处，图像处理模块123处理那些图像。所捕获的图像的处理包括以下中的至少一项：使RGB图像和深度图像同步、调整图像的光平衡、重新格式化图像和重新调整图像大小、提取产品102的标识、从图像中检测产品102、分割图像、构建产品102的3D模型以及确定产品102的姿势。

此外，在过程612处，图像处理模块123可以基于产品102的标识从产品信息数据库获取产品信息。产品信息可以包括产品102的尺寸、产品102的3D模型以及产品102的重量分布。当产品信息包括产品102的3D模型时，过程610可以不需要基于所捕获的图像来构建产品102的3D模型。在这种情况下，图像处理模块123仅需要将所捕获的图像匹配或链接到从产品信息数据库获取的3D模型。在其他实施例中，需要所获取的3D模型和根据所捕获的图像重建的3D模型，以便确定产品102关于3D模型的变化。

在过程606处由机器人设备130操纵产品102之前、期间和之后，在过程614处，重量分布模块124控制称重装置150以测量产品102的重量。

然后在过程616处，重量分布模块124计算产品102的重量分布。在某些实施例中，如图4所示，产品102的位置被用于计算产品102的重量分布。因为产品102的重量分布的计算使用产品102的3D模型和姿势，所以重量分布模块124与图像处理模块124进行通信以获得该信息。然后，重量分布模块124基于产品102的3D模型、姿势和所记录的重量来准确地计算产品102的重量分布。

利用在产品102的操纵之前、期间和之后的3D模型、姿势和重量分布，在过程618处，变化检测模块125检测产品102的变化。检测到的变化可以包括产品102的外观变化(例如，产品102的条形码的划痕)以及产品102的3D模型变化(例如，凹陷或内凹的角或边)等等。该信息对于确定产品102在该过程中是否已被损坏是有用的。然后可以基于检测到的变化来调整操纵参数。例如，如果在操纵期间观察到产品的凹陷，则应减小机器人设备130的抽吸力或夹持力以避免损坏产品102。

在过程618之前、之后或与过程618同时，在过程620处，操纵评估模块126评估操纵的效率和安全性。该评估基于在操纵产品102期间由机器人设备130收集的特征。在某些实施例中，机器人设备130被配备有各种传感器以从夹持器收集扭矩和/或力，从抽吸设备收集气流和压力，并且所收集的特征的变化可以被用于评估操纵的效率和安全性。例如，当产品从一个地方移动到另一地方时，吸盘的气流变化或夹持器的力变化表明产品在移动期间没有被很好地固定。在这种情况下，可能需要增加诸如吸力或夹持力之类的操纵参数。

当操纵参数对产品造成明显损坏，或者没有为产品提供有效且安全的操纵时，在过程622处，计算设备130调整参数，使用经调整的参数再次运行操纵，并评估该操纵。也就是说，再次执行过程606-620。

当操纵参数没有对产品造成明显损坏并且为产品提供有效且安全的操纵时，在过程624处，计算设备130将该参数视为良好的产品特定操纵策略，并将该操纵策略存储在数据库中，使得当需要操纵产品102时，机器人设备可以获取那些参数以进行操纵。

在某些方面，本发明涉及一种存储计算机可执行代码的非暂时性计算机可读介质。在某些实施例中，计算机可执行代码可以是存储在如上所述的存储设备116中的软件。计算机可执行代码当被执行时可以执行上述方法之一。在某些实施例中，非暂时性计算机可读介质可以包括但不限于如上所述的计算设备110的存储设备116，或计算设备110的任何其他存储介质。

总之，本发明的某些实施例提供了一种学习用于由机器人设备操纵产品的最佳参数的系统和自动方法。因此，当存在大量产品时，该系统能够快速找到用于由机器人设备操纵产品的最佳参数，使得当产品被其他机器人设备操纵时可以使用那些所获得的参数。因此，无需由用户逐个地对产品进行试错实验。此外，参数的巡回调整使得最佳参数的选择是准确的。

对本发明的示例性实施例的前述描述是为了说明和描述的目的而给出的，而非意在穷举或将本发明限制于所公开的具体形式。鉴于上述教导，许多修改和变化都是可能的。

选择和描述实施例是为了解释本发明的原理及其实际应用，以便使本领域其他技术人员有动机利用本发明和各种实施例，并且适合于特定用途的各种修改是预期的。在不脱离本发明的精神和范围的情况下，备选实施例对于本发明所属领域的技术人员来说将变得显而易见。因此，本发明的范围由所附的权利要求限定，而不是前面的描述和其中描述的示例性实施例。

Claims (17)

1.一种用于自动学习产品操纵的系统，包括：

用于产品的多个称重装置，所述产品将被放置在所述多个称重装置上，其中，所述称重装置被配置为记录所述产品在不同位置处的重量；

多个传感器，被配置为捕获所述产品的图像；

至少一个机器人设备；以及

计算设备，所述计算设备与所述传感器、所述称重装置和所述机器人设备进行通信，其中，所述计算设备被配置为：

控制所述机器人设备利用第一组参数来操纵所述产品；

使用所捕获的图像来确定在利用所述第一组参数进行所述操纵之前和之后所述产品的尺寸和取向；

基于所述产品的所述尺寸、所述取向和所记录的重量来计算在所述操纵之前和之后所述产品的重量分布；

评估所述第一组参数；以及

基于所述评估来确定所述产品的适当的操纵参数。

2.根据权利要求1所述的系统，其中，所述传感器包括RGB相机、RGBD相机、深度相机和激光扫描仪中的至少一个，并且所述图像包括视觉图像和深度图像。

3.根据权利要求1所述的系统，还包括装备、学习站和多个灯，其中，所述传感器包括多个RGB相机和至少一个深度相机，所述称重装置被放置在所述学习站处，所述装备被固定到所述学习站并围绕所述称重装置，并且所述RGB相机、所述深度相机和所述灯被安装在所述装备上。

4.根据权利要求3所述的系统，其中，所述装备包括被固定到所述学习站的柱以及被固定到所述柱并定位在所述称重装置上方的上水平层和下水平层，其中，所述深度相机和所述RGB相机中的一个RGB相机被安装在所述上水平层的中心处，以便捕获所述产品的顶表面的图像，所述RGB相机中的四个RGB相机分别被安装在所述下水平层的四个侧边上，以便捕获所述产品的侧表面的图像，并且所述灯中的四个灯被安装在所述上水平层的四个角处。

5.根据权利要求4所述的系统，其中，所述RGB相机中的所述四个RGB相机被定位成使得连接所述RGB相机中的所述四个RGB相机中的每一个与所述称重装置的顶表面的中心的线与所述称重装置的顶表面形成约20-70度的角度。

6.根据权利要求1所述的系统，其中，所述计算设备还被配置为基于所捕获的图像来构建所述产品的三维3D模型；其中，所述3D模型包括所述产品的侧表面的外观信息。

7.根据权利要求1所述的系统，其中，所述计算设备还被配置为：

确定所述产品的标识；以及

基于所述标识从产品数据库中获取产品信息，

其中，所述产品信息包括所述产品的三维3D模型和所述产品的所述重量分布。

8.根据权利要求7所述的系统，其中，所述产品信息包括所述产品的侧表面的光滑度和硬度。

9.根据权利要求1所述的系统，其中，所述计算设备还被配置为：

基于对所述第一组参数的所述评估，控制所述机器人设备利用第二组参数来操纵所述产品；

使用所捕获的图像来确定在所述操纵之前和之后所述产品的尺寸和取向；

基于所述产品的所述尺寸、所述取向和所记录的重量来计算在所述操纵之前和之后所述产品的重量分布；以及

评估所述第二组参数，

其中，基于对所述第一组参数和所述第二组参数的评估来确定所述产品的适当的操纵参数。

10.根据权利要求1所述的系统，还包括：由机器人技能组数据库提供的多个技能组，其中，所述机器人技能组数据库提供所述机器人设备操纵所述产品的参数，并且所述产品的所述适当的操纵参数被存储在所述机器人技能组数据库中。

11.根据权利要求1所述的系统，其中，所述机器人设备的数量是两个，并且所述两个机器人设备被放置在所述称重装置的相对的两侧。

12.根据权利要求1所述的系统，其中，所述计算设备被配置为执行通过机器学习来确定所述产品的适当的操纵参数的步骤。

13.一种用于自动产品操纵学习的方法，包括：

由位于不同位置处的多个称重装置记录被放置在所述称重装置上的产品的重量；

由多个传感器捕获所述产品的图像；

由计算设备控制至少一个机器人设备利用第一组参数来操纵所述产品，其中，所述计算设备与所述传感器、所述称重装置和所述机器人设备进行通信；

由所述计算设备使用所捕获的图像来确定在所述操纵之前和之后所述产品的尺寸和取向；

由所述计算设备基于所述产品的所述尺寸、所述取向和所记录的重量来计算在所述操纵之前和之后所述产品的重量分布；

由所述计算设备评估所述第一组参数；以及

由所述计算设备基于所述评估来确定所述产品的适当的操纵参数。

14.根据权利要求13所述的方法，还包括：

基于对所述第一组参数的所述评估，控制所述机器人设备利用第二组参数来操纵所述产品；

使用所捕获的图像来确定在利用所述第二组参数进行所述操纵之前和之后所述产品的尺寸和取向；

基于所述产品的所述尺寸、所述取向和所记录的重量来计算在利用所述第二组参数进行所述操纵之前和之后所述产品的重量分布；以及

评估所述第二组参数，

其中，基于对所述第一组参数和所述第二组参数的评估来确定所述产品的适当的操纵参数。

15.根据权利要求13所述的方法，其中，所述计算设备被配置为执行通过机器学习来确定所述产品的适当的操纵参数的步骤。

16.根据权利要求13所述的方法，还包括：基于所述图像来构建所述产品的3D模型，其中，所述3D模型包括所述产品的侧表面的外观信息。

17.一种存储计算机可执行代码的非暂时性计算机可读介质，其中，所述计算机可执行代码当在所述计算设备的处理器处被执行时被配置为：

控制位于不同位置处的多个称重装置记录被放置在所述称重装置上的产品的重量；

控制多个传感器捕获所述产品的图像；

控制至少一个机器人设备利用第一组参数来操纵所述产品；

使用所捕获的图像来确定在所述操纵之前和之后所述产品的尺寸和取向；

基于所述产品的所述尺寸、所述取向和所记录的重量来计算在所述操纵之前和之后所述产品的重量分布；

评估所述第一组参数；以及

基于所述评估来确定所述产品的适当的操纵参数。

Images