CN110942120A - 用于自动产品登记的系统和方法 - Google Patents

用于自动产品登记的系统和方法 Download PDF

Info

Publication number
CN110942120A
CN110942120A CN201910886941.2A CN201910886941A CN110942120A CN 110942120 A CN110942120 A CN 110942120A CN 201910886941 A CN201910886941 A CN 201910886941A CN 110942120 A CN110942120 A CN 110942120A
Authority
CN
China
Prior art keywords
product
transparent panel
model
computing device
weight distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910886941.2A
Other languages
English (en)
Inventor
程辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingbangda Trade Co Ltd
Beijing Jingdong Qianshi Technology Co Ltd
JD com American Technologies Corp
Original Assignee
Beijing Jingdong Shangke Information Technology Co Ltd
JD com American Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Shangke Information Technology Co Ltd, JD com American Technologies Corp filed Critical Beijing Jingdong Shangke Information Technology Co Ltd
Publication of CN110942120A publication Critical patent/CN110942120A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712—Fixed beam scanning
    • G06K7/10722—Photodetector array or CCD scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种用于自动产品登记的系统，包括：多个视觉传感器，被配置为捕获产品的图像；多个称重设备，被配置为测量产品的重量分布；以及计算设备，与视觉传感器和称重设备进行通信。该计算设备被配置为：确定产品的标识，以及使用所捕获的图像来构建产品的3D模型；基于标识来获取产品的仓库信息；以及将产品的仓库信息、3D模型和重量分布登记到产品数据库中。使用该系统进行自动产品登记方法。

Description

用于自动产品登记的系统和方法
交叉引用
在本公开的描述中引用和讨论了一些参考文献，其可以包括专利、专利申请和各种出版物。提供对这些参考文献的引用和/或讨论仅仅是为了使本公开的描述更清楚，而不是承认任何这些参考文献是本文所述公开的“现有技术”。本说明书中引用和讨论的所有参考文献均以引用的方式整体并入本文，如同每篇参考文献单独地以引用的方式并入本文。
技术领域
本发明总体上涉及机器人技术，更具体地，涉及一种自动捕获产品的各种属性以便进行机器人操纵的登记系统。
背景技术
本文提供的背景描述是为了总体上呈现本发明的上下文。既不明确地承认也不暗示地承认当前列名的发明人的在背景技术部分中描述的范围内的工作、以及在提交时可能不是作为现有技术的描述的各方面为与本发明相对的现有技术。
电子商务公司通常拥有多达数百万种产品(SKU)。对于这些产品的操纵，需要提取有关产品的信息。目前，通常的做法是在需要时手动捕获产品的信息。但是，手动方法不是一种登记数百万产品的可扩展方式。
因此，需要解决本领域中的上述缺陷和不足。
发明内容
在某些方面，本发明涉及一种用于自动产品登记的系统。在某些实施例中，所述系统包括：具有第一端和第二端的带式传送器系统，所述带式传送器系统被配置为将产品从所述第一端传送到所述第二端；透明面板，被设置在所述传送器带的路径中；多个称重设备，被设置在所述第二端(或备选地，所述第一端)处，并且被配置为记录所述产品在不同点处的重量；多个RGB相机，分别被设置在所述透明面板上方、所述透明面板下方和所述称重设备上方，并且被配置为捕获所述产品的视觉图像；多个深度相机，分别被设置在所述透明面板上方和下方，并且被配置为捕获所述产品的深度图像；多个照明设备，被设置在所述透明面板上方和下方，并且被配置为照亮所述产品；以及计算设备。所述计算设备被配置为：从所捕获的视觉图像中检测所述产品的标识；使用所捕获的视觉图像和深度图像来构建带外观的三维(3D)模型；基于所述带外观的3D模型、当所述产品位于所述称重设备上以便记录重量时所述产品的所捕获的视觉图像(或/和深度图像)以及所述产品的所记录的重量来计算所述产品的重量分布；基于所述带外观的3D模型和所述产品的重量分布来确定所述产品的操纵参数；以及将所述产品的仓库信息、所述带外观的3D模型、所述重量分布和所述操纵参数登记在产品数据库中。所述操纵参数包括所述产品的夹持表面和所述夹持表面上的夹持点。
在某些实施例中，所述计算设备还被配置为：将所述产品的所登记的信息从所述产品数据库发送到所述仓库管理系统和仓库中的其他设备和装置。
在某些实施例中，所述产品的标识包括标签、Apriltag、快速响应(QR)代码、一维(1D)或二维(2D)条形码、水印或所述带外观的3D模型。
在某些实施例中，所述计算设备还被配置为将一个或多个所捕获的视觉图像存储在所述产品数据库中。
在某些实施例中，所述系统还包括不透明壳体，所述不透明壳体包围所述传送器带、所述透明面板、所述称重设备、所述RGB相机、所述深度相机、所述照明设备和所述计算设备。
在某些实施例中，所述系统还包括围绕所述传送器带设置的装备(rig)。所述RGB相机、所述深度相机和所述照明设备都被安装在所述装备上。
在某些实施例中，所述装备包括上层、中间层和下层，所述传送器带位于所述中间层和所述下层之间，并且所述RGB相机、所述深度相机和所述照明设备分别被放置在所述装备的所有三个层上。
在某些实施例中，所述带式传送器系统包括具有所述第一端的第一传送器带和具有所述第二端的第二传送器带，所述透明面板被放置在所述第一传送器带和所述第二传送器带器之间，顶板被放置在所述称重设备的顶部上，并且所述第一传送器带的顶表面、所述第二传送器带的顶表面和所述透明面板的顶表面与所述顶板处于相同的平面。
在某些实施例中，所述透明面板在所述透明面板的对角线的两端具有第一角和第二角，所述深度相机包括设置在所述第一角上方的第一深度相机和设置在所述第二角下方的第二深度相机。
在某些方面，本发明涉及一种用于自动产品登记的系统。在某些实施例中，所述系统包括：多个视觉传感器，被配置为捕获产品的图像；多个称重设备，被配置为测量所述产品的重量分布；以及计算设备，与所述视觉传感器和所述称重设备进行通信。所述计算设备被配置为：使用所捕获的图像来构建所述产品的带外观的3D模型；以及将所述产品的所述3D模型和所述重量分布登记到产品数据库中。在某些实施例中，所述计算设备还被配置为基于所捕获的图像来确定所述产品的标识，基于所述标识来获取所述产品的仓库信息，以及将所述仓库信息登记到所述产品数据库中。
在某些实施例中，所述计算设备还被配置为基于所述产品的所述仓库信息、所述带外观的3D模型以及所述重量分布中的至少一项来为所述产品提供操纵建议。所述操纵建议包括所述产品的至少一个夹持表面以及所述夹持表面上的至少一个夹持点。
在某些实施例中，所述系统还包括：具有第一端和第二端的带式传送器系统，所述带式传送器系统被配置为将产品从所述第一端传送到所述第二端；以及透明面板，被设置在所述带式传送器系统的路径中。所述称重设备被设置在所述第二端处。
在某些实施例中，所述透明面板在所述透明面板的对角线的两端具有第一角和第二角，并且所述视觉传感器包括：多个RGB相机，分别被设置在所述透明面板上方、所述透明面板下方和所述称重设备上方；第一深度相机，被设置在所述第一角上方；以及第二深度相机，被设置在所述第二角下方。
在某些方面，本发明涉及一种用于自动产品登记的方法。在某些实施例中，所述方法包括：由多个视觉传感器来捕获产品的图像；由多个称重设备来测量所述产品的重量分布；由计算设备使用所捕获的图像来构建所述产品的3D模型，其中，所述计算设备与所述视觉传感器和所述称重设备进行通信；以及将所述产品的仓库信息、所述3D模型和所述重量分布登记到产品数据库中。
在某些实施例中，所捕获的图像包括所述产品的每个侧面或侧表面的图像，所述3D模型包括所述产品的所有侧面的外观。
在某些实施例中，所述方法还包括：使用所捕获的图像来确定所述产品的标识；基于所述标识来获取所述产品的仓库信息；以及将所述产品的所述仓库信息登记到所述产品数据库中。
在某些实施例中，所述方法还包括：基于所述产品的所述仓库信息、所述3D模型和所述重量分布中的至少一项来提供所述产品的操纵参数。所述操纵参数包括所述产品的一个或几个夹持表面以及每个夹持表面上的一个或多个夹持点。
在某些实施例中，所述方法还包括：提供具有第一端和第二端的带式传送器系统，所述带式传送器系统用于将所述产品从所述第一端传送到所述第二端；提供设置在所述带式传送器系统的路径中的透明面板；以及将所述称重设备放置在所述第二端处。
在某些实施例中，所述透明面板在所述透明面板的对角线的两端具有第一角和第二角，并且所述方法还包括：将所述RGB相机分别放置在所述透明面板上方、所述透明面板下方和所述称重设备上方；将第一深度相机放置在所述第一角上方；以及将第二深度相机放置在所述第二角下方。
在某些方面，本发明涉及存储计算机可执行代码的非暂时性计算机可读介质。所述计算机可执行代码当在计算设备的处理器处执行时被配置为执行上述方法。
根据以下结合附图对优选实施例的详细描述，本发明的这些和其他方面将变得更加清楚，尽管可以在不脱离本发明新颖构思的精神和范围的情况下对本文进行多种改变和修改。
附图说明
附图示出了本发明的一个或多个实施例，并与书面描述一起用于解释本发明的原理。在任何可能的地方，贯穿附图，相同的附图标记用于表示实施例的相同或类似的元件。
图1是根据本发明的某些实施例的自动产品登记系统的示意图。
图2是图1的自动产品登记系统的一部分的示意图。
图3是根据本发明的某些实施例的自动产品登记系统中的带式传送器(beltconveyor)系统的示意图。
图4A-图4C是根据本发明的某些实施例的自动产品登记系统中的称重设备的示意图。
图5A是示出了根据本发明的某些实施例的RGB相机的布置的示意图。
图5B和图5C是示出了根据本发明的某些实施例的透明面板上方和下方的深度相机的布置的示意图。
图6是根据本发明的某些实施例的自动登记应用的示意图。
图7A和图7B示出了根据本发明的某些实施例的产品自动登记的流程图。
图8是根据本发明的某些实施例的测量产品重量分布的示意图。
具体实施方式
现在将在下文中参照附图更全面地描述本发明，在附图中，示出了本发明的示例性实施例。然而，本发明可以按多种不同形式来具体化，并且不应当被解释为受到本文阐述的实施例的限制。更确切地说，提供这些实施例使得本发明将全面和完整，并且将本发明的范围充分传达给本领域技术人员。贯穿附图，相似的附图标记指代相似的元件。
本说明书中使用的术语在本发明的上下文中以及在每个术语所使用的特定上下文中通常具有其在本领域中的普通含义。在下面或在说明书中的其他地方讨论了用于描述本发明的某些术语，以向实施者提供关于本发明的描述的额外指导。为方便起见，可以突出显示某些术语，例如使用斜体和/或引号进行突出显示。突出显示的使用对术语的范围和含义没有影响；无论是否突出显示，术语的范围和含义在相同的上下文中是相同的。应当理解，可以以不止一种方式描述同一事物。因此，可以对本文所讨论的任何一个或多个术语使用替代语和同义词，并且对于术语是否在本文中详细阐述或讨论也没有任何特殊意义。提供了某些术语的同义词。对一个或多个同义词的叙述不排除使用其他同义词。包括本文所讨论的任何术语的示例的在本说明书中任何地方的示例的使用仅是说明性的，并且决不限制本发明或任何示例性术语的范围和含义。同样，本发明不限于本说明书中给出的各种实施例。
将理解，当提及一个元件在另一元件“之上”时，该元件可以直接在该另一元件之上，或者在它们之间可以存在中间元件。与之相对，当提及一个元件在另一元件的“直接上面”时，不存在中间元件。如本文中所使用的术语“和/或”包括相关列出项目中的一个或多个的任何和所有组合。
将理解，虽然本文中可以使用术语“第一”、“第二”、“第三”等来描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应受这些术语限制。这些术语仅用于将一个元件、组件、区域、层或部与另一元件、组件、区域、层或部区分开。因此，在不脱离本发明的教导的情况下，以下讨论的第一元件、组件、区域、层或者部分可以被称为第二元件、组件、区域、层或者部分。
本文中所使用的术语仅仅是为了描述具体实施例的目的，而不是意在限制本发明。如在本文中所使用的，单数形式“一”、“一个”和“所述”旨在还包括复数形式，除非上下文明确地给出相反的指示。还应该理解，术语“包括”和/或“包括了”、或“包含”和/或“包含了”、或“具有”和/或“具备”当在本发明中使用时，指定了存在所声明的特征、区域、整数、步骤、操纵、元素和/或部件，但是不排除存在或此外还有一个或多个其他特征、区域、整数、步骤、操纵、元素、部件和/或其组合。
此外，在本文可以使用诸如“下”或“底”、“上”或“顶”以及“左”和“右”之类的相对术语来描述附图中所示的一个元件与另一元件的关系。应当理解，除了附图中所描绘的定向之外，相对术语旨在包括设备的不同定向。例如，如果一幅图中的设备被翻转，则被描述为位于其它元件的“下”侧的元件将定向在该其它元件的“上”侧。因此，示例性术语“下”可以包含“下”和“上”的定向，这取决于图的特定定向。类似地，如果一个附图中的设备被翻转，则被描述为在其他元件“下方”或“下侧”的元件将被定向在该其他元件“上方”。因此，“下方”或“下方”的示例性术语可以包括上下取向两者。
除非另外定义，否则这里使用的所有术语(包括技术和科学术语)具有本发明所属领域的普通技术人员通常所理解的相同意义。还将理解的是，诸如在常用词典中定义的术语应被解释为其含义与在相关技术和本发明的上下文中的含义相同，而不应将其解释为理想的或过于正式的含义，除非本文明确如此定义。
将结合附图对本发明的实施例进行描述。根据本文所体现和广泛描述的本发明的目的，在某些方面，本发明涉及用于自动产品登记的系统和自动登记方法。该系统提供了一种用于登记数百万种产品的各种属性的高效方式，从而可以由机器人来操纵产品，例如基于自动登记的属性和基于所登记的属性的操纵建议来从箱中拾取、进行叠置或包装。所登记的属性包括：(1)产品的三维(3D)模型；(2)不同视角的产品图像；(3)条形码位置；(4)产品或产品包装的重量和重量分布等等。
图1是根据本发明的某些实施例的自动产品登记系统的示意图。如图1所示，登记系统100包括带式传送器系统110、多个称重设备120、视觉传感器结构130、计算设备140、仓库管理系统(WMS)150和产品数据库160。计算设备140被配置为与带式传送器系统110、称重设备120、视觉传感器结构130和WMS 150进行通信，并将产品信息登记到产品数据库160中。
带式传送器系统110被配置为将产品102从第一端移动到相对端，即第二端。带式传送器系统110包括第一传送器带112、透明面板114、第二传送器带116和驱动机构118。第一传送器带112、透明面板114、第二传送器带116和称重设备120从第一端到第二端依次布置。第一传送器带112的上表面、透明面板114的上表面、第二传送器带116的上表面和称重设备120的上表面齐平，或者换言之彼此等高。
第一传送器带112和第二传送器带116可以是独立的传送器系统。在某些实施例中，第一传送器带112和第二传送器带116可以彼此同步。在某些实施例中，可以只有一个透明的传送器带，并且不需要单独的透明面板114。如图2所示，第一传送器带112和第二传送器带116中的每个可以包括两个滑轮和围绕两个滑轮旋转的皮带。两个滑轮中的一个是由驱动机构118驱动的驱动滑轮，而两个滑轮中的另一个是驱动滑轮或惰轮。在某些实施例中，每个传送器带112和116还可以包括其他惰轮，以帮助传送器带的平滑操作。为简洁起见，未在图中示出带式传送器系统110的其他结构组件，例如框架、齿轮、轴承、马达等。驱动机构118被配置为驱动传送器带112和116，并且可以包括一个或多个马达、齿轮、齿轮减速器等。
透明面板114是透明的，使得透明面板114下方的视觉传感器可以捕获透明面板114上方的产品102的图像。在某些实施例中，透明面板114由纤维玻璃制成。如图2和图3所示，透明面板114被放置在第一传送器带112和第二传送器带116之间。透明面板114与第一传送器带112和第二传送器带116之间的距离小于潜在产品的最小稳定尺寸，使得诸如软包装之类的产品102不会卡在透明面板14与第一传送器带112和第二传送器带116中的任何一个之间。透明面板14沿第一传送器带112和第二传送器带116的移动方向的长度足够大，使得透明面板114下方的视觉传感器在产品通过时容易检测或拍摄产品102的图像。另一方面，由于透明面板114是静止的，因此透明面板114的长度应足够短，使得产品102不会卡在透明面板114上。在某些实施例中，产品102在任何时候通过传送器带112和传送器带116中的至少一个在透明面板114上移动。在其他实施例中，当产品102较小并且可以完全支撑在透明面板114上而不与任何传送器带112和116接触时，产品102也可以被产品102的第一端侧处的另一产品推过透明面板114。在某些实施例中，透明面板114沿传送器带112和116的移动方向的长度在0.5-100厘米(cm)的范围内。在某些实施例中，透明面板114的长度在0.5-20cm的范围内。在一个实施例中，透明面板114的长度约为1-2cm。在某些实施例中，带式传送器系统110的皮带是透明的。在这种情况下，仅需要一个传送器带，并且不需要透明面板14。在某些实施例中，传送器带112和116中的一个是透明的，并且不需要透明面板114。在这种情况下，透明的皮带可以位于第一端侧或第二端侧。在某些实施例中，称重设备120具有透明的上面板，视觉传感器被放置在称重设备120的上方和下方，不需要透明板114，并且仅需要传送器带112和116中的一个。在某些实施例中，透明面板114可以位于传送器带的第一端或第二端处，因此仅需要传送器带112和116中的一个。
称重设备120被设置在带式传送器系统110的第二端处，并被配置为测量产品102的重量和重量分布。如图3和图4A所示，称重设备120包括顶板120-0以及设置在顶板120-0的四个角下方的四个称重设备120-1、120-2、120-3和120-4。在某些实施例中，顶板120-0是覆盖在四个称重设备上的刚性板。在其他实施例中，称重设备120-1、120-2、120-3和120-4的顶表面也可以是顶板120-0的顶表面的部分。如图4A所示，当产品102移动到顶板120-0上时，产品102的位置可以由计算设备140基于视觉传感器实时捕获的图像来确定。同时，四个称重设备120-1、120-2、120-3和120-4分别在四个角处记录产品102的重量，并将重量发送给计算设备140。然后，产品102的重量分布可以由计算设备140基于产品102的姿态、四个称重设备记录的重量和产品102的三维模型来计算。在该实施例中，四个称重设备被设置在称重设备120的四个角处。在其他实施例中，称重设备120还可包括两个、三个或多于四个称重设备。在某些实施例中，如图4B所示，当称重设备120包括两个称重设备时，两个称重设备可以沿顶板120-0的对角线被设置在称重设备120的两个角处。在某些实施例中，如图4C所示，当称重设备120包括三个称重设备时，其中一个称重设备可以被设置在顶板120-0的一侧的中点处，而另外两个称重设备可以被设置在顶板120-0的另一侧的两个角处。
视觉传感器结构130被配置为同时捕获产品102的3D模型信息和外观等。参考图1，视觉传感器结构130包括多个红、绿和蓝(RGB)或RGB深度(RGBD)相机132、多个深度相机134、多个照明设备136和装备138。在某些实施例中，深度相机134是飞行时间(ToF)相机。当RGBD相机可用时，视觉传感器结构130可以不需要包括深度相机。在某些实施例中，视觉传感器结构130可以包括一个或多个激光扫描仪，并且激光扫描仪被配置为捕获标识，例如在产品102的外表面中所显示的条形码。在某些实施例中，激光扫描仪也可以是激光雷达，其可以用于构建产品102的3D模型。
如图2所示，装备138具有竖直柱1380和分三个水平层的结构。三个水平层是上层1382、中间层1384和下层1386。上层1382被放置在中间层1384上方，中间层1384被放置在透明面板114上方，下层1386被放置在透明面板114下方。在某些实施例中，基于所需的视觉传感器的数量，装备138还可以具有少于或多于三个的层。例如，装备138可以具有两层，其中一层被放置在带式传送器系统110上方，另一层被放置在带式传送器系统110下方。在某些实施例中，上层1382、中间层1384和下层1386与传送器带112/116的水平平面以及与透明面板114之间的距离分别在40-700cm、20-350cm、5-80cm的范围内。在某些实施例中，上层1382、中间层1384和下层1386与传送器带112、116/透明面板114之间的距离分别在100-400cm、50-200cm和10-40cm的范围内。在某些实施例中，上层1382、中间层1384和下层1386与传送器带112、116/透明面板114之间的距离为约200cm、100cm和20cm。在某些实施例中，上层1382、中间层1384和下层1386中的至少一个的高度是可调节的。换言之，三个层可以沿柱1380上下移动，使得系统可用于不同大小的产品102。在某些实施例中，层的高度调节由计算设备140自动控制，并且当产品102被装载在传送器带上并且在进入装备138的区域之前，由RGB相机132和深度相机134捕获的一些图像被计算设备140用于估计产品102的大小，以便当产品102基本上位于透明面板114的正上方或位于装备138的中心时触发将层的高度调节到适合于捕获产品102的图像的水平。
RGB相机132、深度相机134和照明设备136被安装在装备138的三个层或柱上。如图2所示，RGB(或RGBD)相机132被放置在所有三个层上。一个RGB相机132被放置在上层1382的中心，四个RGB相机132分别被放置在中间层1384的四个边的中心，五个RGB相机132分别被放置在下层1386的四个边的中心以及下层1386的中心。在某些实施例中，上层1382和中间层1384可以组合为一层，并且组合层上的RGB相机和深度相机的布置与下层1386上的布置相同。在某些实施例中，因为从透明面板114下方看到产品102是困难的，并且从透明面板114下方看到产品102的侧表面不是必需的，所以下层1386可以仅具有放置在下层1386的中心处的一个中心RGB相机132和一个深度相机134。在一个实施例中，三个RGB相机132沿透明面板114下方的中心线被放置在下层1386上，其中一个位于中心处，另外两个位于两个边的中心处。另外，延伸部1388从中间层1384朝向产品102的移动方向延伸，并且RGB相机132被放置在延伸部1388上，并且位于称重设备120上方，使得当产品支撑在称重设备120上以测量重量时，可以清楚地拍摄产品102的图像。在某些实施例中，深度相机可以被放置在延伸部1388上并且在称重设备120上方，以便在产品102被放置在称重设备120上以测量重量时捕获产品102的深度图像。
在某些实施例中，产品102在图5A中被显示为长方体盒。如图5A所示，为了从不同角度捕获产品102的表面，从产品102的顶部、底部和四个上侧放置RGB相机132。当产品102位于RGB相机132的视野中心时(例如位于透明面板114上时)，顶部RGB相机从产品102的上表面上方捕获图像，并且顶部RGB相机的图像捕获方向基本垂直于产品102的上表面。另一方面，每个侧相机132可以捕获对应侧表面的图像，并且图5A中所示的角度α优选地是约45度。以这种方式，RGB相机132分别捕获产品102的顶表面和四个侧表面中的每个的清晰图像。底表面也可以由RGB相机132从透明面板114下方捕获。因为透明面板114沿传送器带的移动方向的长度可能小于产品102沿移动方向的长度，所以RGB相机132被设计为当产品102移动通过透明面板114时捕获多个图像，并对这些图像进行组合以获得产品102的底表面的完整图像。
存在至少两个深度相机134，并且两个深度相机134基本上被放置在上层1382的中心和下层1386的中心。在某些实施例中，如图2和图5B所示，两个深度相机134在透明面板114上的投影基本上是透明面板114的中心。在某些实施例中，如图5C所示，透明面板114在透明面板114的对角线的两端处具有相对的角，一个深度相机134位于透明面板114的一个角上方，另一深度相机134位于透明面板114的另一个角下方。通过这种类型的设计，深度相机134被配置为当产品102支撑在透明面板114上时捕获产品102的更准确的深度图像。RGB图像显示产品102的六个侧表面的外观，包括但不限于大小、表面上的条形码和图片。此外，可选地与深度图像组合的那些RGB图像用于构建产品102的3D模型。
照明设备或光源136被安装在装备138上，并被配置为提供一致的光条件并减少阴影和眩光。在某些实施例中，光源136优选地提供漫射光。参照图2，四个照明设备136被放置在上层1382的四个角处，两个照明设备136被放置在下层1386的两侧。在某些实施例中，下层1386的两个照明设备中的每个被放置在对应侧的1/4处，以避免对安装在下层1386上的RGB相机132、深度相机134和照明设备136的物理干扰。在某些实施例中，可以提供围绕装备或替代装备的不透明盒以减少或消除外部光源，使得盒内的环境具有一致的光条件。在某些实施例中，照明设备136是手动控制的。在某些实施例中，照明设备136由特定控制器控制。在某些实施例中，照明设备136由计算设备140控制，以打开和关闭某些照明设备136，或者调节照明设备136的强度且可选地调节其定向。
在某些实施例中，装备138的结构以及RGB相机132、深度相机134和照明设备136的布置可以根据它们各自的特性而变化。
计算设备140可以是服务器计算机、集群、通用计算机、专用计算机、平板计算机、智能电话或基于云的设备。在某些实施例中，计算设备140是用于存储和处理从称重设备120、视觉传感器130和WMS 150收集的信息的服务器计算机。如图1所示，计算设备140可以包括但不限于处理器142、存储器144和存储设备146。在某些实施例中，计算设备140可以包括其他硬件组件和软件组件(未示出)以执行其对应的任务。这些硬件和软件组件的示例可以包括但不限于：其他所需的存储器、接口、总线、输入/输出(I/O)模块或设备、网络接口和外围设备。
处理器142控制计算设备140的操作。在某些实施例中，处理器142可以是中央处理单元(CPU)。处理器142可以执行计算设备140的操作系统(OS)或其他应用。在一些实施例中，计算设备140可以具有多于一个CPU作为处理器，例如两个CPU、四个CPU、八个CPU或任何合适数量的CPU。
存储器144可以是用于在计算设备140的操作期间存储数据和信息的易失性存储器，例如随机存取存储器(RAM)。在某些实施例中，存储器144可以是易失性存储器阵列。在某些实施例中，计算设备140可以在多于一个存储器144上运行。
存储设备146是用于存储计算设备140的OS(未示出)和其他应用的非易失性数据存储介质或设备。存储设备146的示例可以包括：闪存、存储卡、USB驱动器、硬盘驱动器、软盘、光盘驱动器或任何其他类型的数据存储设备。在某些实施例中，计算设备140可以具有多个存储设备146，其可以是相同的存储设备或不同类型的存储设备，并且计算设备140的应用可以被存储在计算设备140的一个或多个存储设备146中。存储设备146包括自动登记应用148，其被配置为获取产品的数据并处理数据，并将处理后的数据登记在产品数据库160中。
图6示意性地描绘了根据本发明的某些实施例的自动登记应用148的结构。如图6所示，自动登记应用148可以包括图像捕获模块1481、产品标识和仓库信息获取模块1482、产品检测和分割模块1483、3D模型构建模块1484、重量分布计算模块1485和登记模块1486等等。
图像捕获模块1481被配置为控制RGB或RGBD相机132和深度相机134来捕获图像。在某些实施例中，当使用激光扫描仪时，图像捕获模块1481还可以被配置为控制激光扫描仪来扫描产品102。在某些实施例中，图像捕获模块1481还可以被动地接收由RGB/RGBD相机132和深度相机134捕获的图像。在获得图像之后，图像捕获模块1481还可以对图像进行预处理。预处理可以包括使RGB图像和深度图像同步、调整图像的光平衡、重新格式化图像以及重新调整图像大小等等。然后，图像捕获模块1481将处理后的RGB图像发送给产品标识和WMS获取模块1482，并将处理后的RGB图像和深度图像发送给产品检测和分割模块1483。在某些实施例中，当使用激光扫描仪时，图像捕获模块1481然后将所扫描的信息发送给产品标识和WMS获取模块1482。
产品标识和WMS获取模块1482被配置为在接收到RGB图像或激光扫描的信息时，从RGB图像或所扫描的信息中识别标记。标记包括1D或2D条形码、Apriltag、快速响应(QR)代码、水印等。所获得的标记被称为产品102的标识。在某些实施例中，产品102的带侧表面外观信息的3D模型也可以用作产品102的标识。当获得产品102的标识时，产品标识和WMS获取模块1482然后可以从WMS 150或WMS 150的数据库中获取产品102的WMS信息。产品102的WMS信息可以包括接收日期、库存、重量、产品类别以及与产品102相关的其他信息。在某些实施例中，产品102的标识可以稍后用于索引产品102的信息并将这些信息登记在产品数据库160中。当产品102的标识用于索引时，产品标识和WMS获取模块1482可以将该标识发送给产品检测和分割模块1483，使得对产品信息的接下来的处理链接到该标识索引。
产品检测和分割模块1483被配置为在接收到RGB图像和深度图像时检测产品并分割产品。预先建立空传送器带的背景深度和外观模型。通过将空传送器带模型与传送器带的当前深度和外观进行比较，所公开的产品检测和分割模块1483检测差异并基于对差异的分析来提取传送器带上的产品。具体地，产品检测和分割模块1483将每个图像划分成分段的集合，以便提取位置、边界、点云并将这些信息发送给3D模型构建模块1484。
在接收到所分割的RGB图像和深度图像时，3D模型构建模块1484被配置为构建产品102的3D纹理化模型。在某些实施例中，通过使用至少两个RGB图像进行三角测量来构建3D模型。在某些实施例中，深度图像的使用提高了构建产品102的3D模型的速度和准确性。因为3D模型是纹理模型，所以3D模型不仅包括产品的尺寸，还包括产品的外观，例如3D模型的每个侧表面。因此，例如长方体形状的产品的3D模型包括产品的尺寸和产品的六个表面的外观。如果可用的话，六个表面中的每个都包括位于该表面的标记和图像。在某些实施例中，3D模型中的外观是彩色的。
重量分布计算模块1485被配置为控制称重设备120以对产品102进行称重。在某些实施例中，当产品102被放置在称重设备120的顶板120-0上时，产品102保持静止一小段时间，使得称重设备120的读数稳定。然后记录称重设备120的稳定读数。产品102在称重设备120上的位置和定向(即，姿态)也由设置在称重设备120上方的RGB相机132记录。在某些实施例中，称重设备120本身也可以是传送器带结构，以便移入产品102，使产品102保持静止一段时间，然后将产品102移出。在某些实施例中，深度相机134可用于拍摄产品102的深度图像，以帮助确定产品102的姿态。
在某些实施例中，重量分布计算模块1485可以简单地连续读取和记录称重设备120，直到记录稳定为止，并且还基于在测量期间所捕获的图像来计算产品102的姿态。在接收到或获取到称重设备120的读数时，重量分布计算模块1485被配置为计算产品102的重量分布。重量分布的计算基于由放置在称重设备120上方的RGB相机132拍摄的实时图像、产品102的3D模型以及由称重设备120测量的重量。在某些实施例中，称重设备120优选地放置在带式传送器系统110的第二端处。因此，当执行重量测量和重量分布计算时，计算设备140已经具有用于计算的产品120的3D模型和产品120的姿态。
在某些实施例中，产品102的重量分布可以被描述为质心(或重心)与根据产品的几何形状所计算的中心的相对位置。在某些实施例中，产品102的重量分布可以被描述为当产品处于不同姿态(例如，某一侧朝上)时，质心(或重心)与根据产品的几何形状计算的中心的相对位置。真实质心与根据对象的形状计算的中心的位置将用于基于产品的姿态确定夹持点。例如，如果使用吸盘操纵器，则通过将吸盘瞄向质心而不是几何中心，吸盘可以夹持产品102。
登记模块1486被配置为在接收到产品102的仓库信息、产品102的带外观的3D模型以及产品102的重量分布之后，将这些信息登记到产品数据库160中。可以使用产品102的标识来索引登记数据。在某些实施例中，登记模块1486还基于产品102的图像、带外观的3D模型和重量分布来确定产品102的机器人操纵建议。
WMS 150是用于仓库的独立平台，并且与计算设备140进行通信。在某些实施例中，计算设备140是服务器计算机，并且WMS 150是服务器计算机140的一部分。
产品数据库160被配置为存储产品102的所登记的信息，并且可以包括产品102的WMS信息、标识、各种视图图像和重量分布。在某些实施例中，计算设备140是服务器计算机，并且产品数据库160是存储设备146的一部分。在某些实施例中，产品数据库160还可以被存储在与计算设备140分离或远离的存储设备中。在某些实施例中，产品数据库160被存储在云中。
图7A和图7B示意性地示出了根据本发明的某些实施例的登记产品的方法。在某些实施例中，如图7A和图7B所示的方法可以在如图1所示的自动产品登记系统上实现。应特别注意，除非在本发明中另有说明，否则该方法的步骤可以以不同的顺序来布置，因此不限于如图7A和图7B所示的顺序。
如图7A所示，当提供如图1所示的自动产品登记系统并且产品102在第一传送器带112、透明面板114、第二传送器带116上移动并移动到称重设备120上时，在过程705处，RGB相机132和深度相机134拍摄产品102的多个图像。连续地拍摄图像，或者可以在产品102处于视野中时拍摄图像。每个图像具有各自的时间标签。当RGB相机132是RGBD相机时，可以不需要具有深度相机134。在某些实施例中，系统100还可以包括一个或多个激光扫描仪，以扫描诸如产品102上的条形码之类的信息。RGB相机132、深度相机134和可选地激光扫描仪可以由图像捕获模块1481控制和操作。在某些实施例中，RGB相机132、深度相机134以及可选地激光扫描仪也可以独立于图像捕获模块1481而操作，并且被配置为将所捕获的图像发送给图像捕获模块1481。
在过程710处，RGB相机132和深度相机134将所捕获的图像发送给图像捕获模块1481。在某些实施例中，图像捕获模块1481还可以从RGB相机132和深度相机134获取图像。
在接收到或获取到图像时，在过程715处，图像捕获模块1481对图像进行预处理。在某些实施例中，预处理可以包括使用RGB图像和深度图像的时间标签来使它们同步，调节图像的光平衡以补偿图像中的光变化，并且可能地根据不同目的的需要重新格式化图像和重新调整图像大小。
在对图像进行预处理之后，在过程720处，图像捕获模块1481将某些预处理后的图像发送给产品标识和WMS获取模块1482，并在过程740处，将某些预处理后的图像发送给产品检测和分割模块1483。
在过程725处，在从图像捕获模块1481接收到预处理后的图像时，产品标识和WMS获取模块1482通过从产品102的图像中提取标识来识别产品102。产品102的标识可以包括1D和2D条形码、Apriltag、QR码、基于图像和基于3D模型的匹配等，其可以从预处理后的图像和点云中提取。在某些实施例中，还可以通过激光扫描仪来提取标识。在某些实施例中，图像捕获模块1481仅将RGB图像发送给产品标识和WMS获取模块1482，而不发送深度图像。
然后在过程730处，产品标识和WMS获取模块1482使用从过程725获得的产品的标识，从WMS 150获取与产品102对应的仓库信息。产品102的仓库信息可以包括但不限于库存、产品类别、已知形状、重量、条形码的位置等。
在获取到产品102的仓库信息之后，在过程735处，产品标识和WMS获取模块1482将标识和所获取的仓库信息发送给登记模块1486。在某些实施例中，产品标识和WMS获取模块1482还可以将标识和所获取的仓库信息直接发送给产品数据库160。
在过程745处，在从图像捕获模块1481接收到某些预处理后的图像时，产品检测和分割模块1483从接收到的图像中检测产品102。接收到的预处理后的图像可以包括预处理后的RGB图像和预处理后的深度图像。检测到的产品102可以是不同图像中的长方体盒的不同视图。然后，产品检测和分割模块1483对那些图像中的检测到的产品102进行分割。具体地，产品检测和分割模块1483将每个图像划分成多个分段，并对产品102以及产品102和环境的边界进行定位。
在产品检测和分割之后，在过程750处，产品检测和分割模块1483将检测到和分割后的信息发送给3D模型构建模块1484。
在接收到那些检测到和分割后的信息时，在过程755处，3D模型构建模块1484建立产品102的3D模型。例如，如果产品102是长方体盒结构，则3D模型将是具有准确的长度、宽度和高度的长方体盒。此外，还计算3D模型在环境中的姿态，其中确定长方体盒的每个面，确定长方体盒相对于传送器带的定向，以及确定长方体盒与传送器带的边缘之间的距离。在某些实施例中，3D模型还包括外观信息。例如，长方体盒结构的六个侧表面中的每个都被包括在3D模型中。外观包括侧表面上的那些标签或图像，并且可以是彩色的。因此，此处的3D模型也被称为带外观的3D模型或纹理化3D模型。
在构建3D模型之后，在过程760处，3D模型构建模块1484将3D模型发送给登记模块1486。在某些实施例中，3D模型构建模块1484还可以将3D模型直接发送给产品数据库160。另外，在过程765处，3D模型构建模块1484还将3D模型和某些产品图像(例如，当产品102位于称重设备120上时拍摄的图像)发送给重量分布计算模块1485。
在过程770处，当产品102移动到称重设备120上时，称重设备120测量产品102的重量。当产品102完全支撑在称重设备的顶板120-0上时，可以由称重设备120多次记录测量结果。由称重设备120进行的测量可以在产品120的3D模型构建之后或之前。但优选地，当产品102位于称重设备120上时，已经构建了3D模型，使得产品102的长度、宽度、高度可用于计算重量分布。
在测量之后，在过程775处，称重设备120将重量测量发送给重量分布计算模块1485。
此时，重量分布计算模块1485具有来自称重设备120的重量测量结果以及3D模型和来自3D模型构建模块1484的某些图像。图像包括当产品102支撑在称重设备120上时拍摄的那些RGB图像，使得图像的时间可以与重量测量的时间匹配。在某些实施例中，图像还可以由图像捕获模块1481而不是3D模型构建模块1484发送。在其他实施例中，根据情况，由重量分布计算模块1485使用的那些图像也可以从相机132/134或从产品标识和WMS获取模块1482或从产品检测和分割模块1483接收。可以在过程780处使用3D模型、重量测量结果和与重量测量时间相对应的图像来计算重量分布。
在某些实施例中，如图8所示地执行重量分布计算。具体地，产品102被移动到称重设备的顶板120-0上。称重设备A、B、C和D(或120-1、120-2、120-3和120-4)位于产品102下方。由四个称重设备测量的重量是Fa、Fb、Fc和Fd。四个称重设备的总重量是Fa、Fb、Fc和Fd的总和，并被命名为Fabcd。Fa和Fb的总和被命名为Fab，Fb和Fc的总和被命名为Fbc，Fc和Fd的总和被命名为Fcd，Fd和Fa的总和被命名为Fad。称重设备的长度被定义为L(在连接称重设备A和D的线与连接称重设备B和C的线之间)，称重设备的宽度被定义为W(在连接称重设备A和B的线与连接称重设备C和D的线之间)。L的长度可以与W的长度相同，可以大于或小于W的长度，这取决于称重设备150所需的空间和要称重的产品的大小。沿长度方向投影在顶板120-0上的产品102的质心被计算为与连接A和D的线相距L×Fbc/Fadcd，或者与连接B和C的线相距L×Fad/Fadcd。沿宽度方向投影在顶板120-0上的产品102的质心被计算为与连接A和B的线相距W×Fcd/Fadcd，或者与连接C和D的线相距W×Fab/Fadcd。因此，计算出投影在顶板120-0上的产品102的质心(由实心圆M表示)。相比之下，通过3D模型计算产品102的几何中心。投影在顶板120-0上的几何中心被示为空心圆G。在某些实施例中，支撑在当前底表面上的产品102的布置是用于操纵的主要位置，并且通过将点M向上延伸到产品102的高度H的一半来估计产品102在3D中的质心。在某些实施例中，产品102也可以被翻转三次以测量质心的三个投影，并且可以使用质心的三个投影来更准确地估计质心。在计算产品102的重量分布之后，在过程785处，重量分布计算模块1485将所计算的重量分布发送给登记模块1486。在某些实施例中，重量分布计算模块1485可以将所计算的重量分布直接发送给产品数据库160。
现在，登记模块1486具有从产品标识和WMS获取模块1482接收到的产品102的标识和所获取的仓库信息、从3D模型构建模型1484接收到的产品102的3D模型、从重量分布计算模块1485接收到的产品102的所计算的重量分布以及产品102的图像。然后在过程790处，登记模块1486例如将产品102的标识用作索引来编译那些数据。另外，登记模块1486还可以基于那些数据来确定操纵建议。在某些实施例中，登记模块1486使用产品102的重量分布或质心以及带外观的3D模型和可选的仓库信息来确定各种操纵器的某些操纵参数。例如，登记模块1486可以首先基于产品102的尺寸或表面的平滑度或硬度来确定夹持表面，以便确定一个或多个夹持表面。当确定夹持表面时，登记模块1486还基于产品102的质心在该表面上的投影来确定该表面上的夹持点。在某些实施例中，登记模块1486基于所使用的操纵器来确定操纵参数。
在编译和处理接收到的数据之后，在过程795处，登记模块1486然后将这些数据登记在产品数据库160中。所登记的数据在产品102的相同条目下，并且可以在以后使用。例如，当机器人设备被用于操作产品102时，机器人设备可以从产品数据库160中获取产品102的数据。所获取的信息可以包括产品102的尺寸、产品102的重量和重量分布、产品102的表面的平滑度、产品102的所建议的操纵操作等。该信息有助于帮助通过机器人设备操纵产品102。
图7B是不同格式的方法的流程图。如图7B所示，在过程705处，RGB相机132和深度相机捕获产品102的图像。计算设备140接收那些所捕获的图像，并在过程715处对那些图像进行预处理。在过程725处，使用某些预处理后的图像(例如，一些RGB图像)来确定产品的标识。该标识可以是条形码。在过程730处，计算设备140使用该标识获取与产品相对应的WMS信息。
可以在过程745处使用诸如RGB图像和深度图像之类的预处理后的图像来从图像中检测产品并对图像进行分割。然后在过程755处使用那些检测到的对象和分割后的图像来构建产品的3D模型。
在过程770处，使用多个称重设备来测量产品的重量。基于3D模型、产品在称重设备上的姿态以及重量测量，可以估计产品的重量分布。
然后，计算设备140组织那些WMS信息、3D模型、不同的图像视图、重量分布，并且可能地基于上述信息来提供操纵建议，并将所有数据登记到产品数据库160中。在产品的数据可用的情况下，诸如机器人设备之类的其他设备可以获取那些数据以指示如何操纵产品102。
在某些方面，本发明涉及存储计算机可执行代码的非暂时性计算机可读介质。在某些实施例中，计算机可执行代码可以是存储在如上所述的存储设备146中的软件。计算机可执行代码在被执行时可以执行上述方法之一。在某些实施例中，非暂时性计算机可读介质可以包括但不限于如上所述的计算设备140的存储设备146或者计算设备140的任何其他存储介质。
综上所述，本发明的某些实施例提供了一种用于自动登记大量产品的系统化结构和方法，并提高了电子商务公司的物流解决方案的效率。透明面板被放置在传送器带之间，RGB相机和深度相机被放置在透明面板的上方和下方。通过这种类型的设计，该系统能够捕获产品的所有六个表面的外观，而无需翻转产品。该系统还包括用于测量产品的重量分布的称重设备。当产品102的度量中心不是重心时，重量分布信息有助于指示例如机器人设备对产品的特定操纵。除此之外，该自动登记系统还提供了六个侧面外观、3D模型、条形码标识和重量分布信息，并将这些信息存储在产品数据库中。于是，诸如机器人设备之类的其他设备可以使用该信息。
对本发明的示例性实施例的前述描述是为了说明和描述的目的而给出的，而非意在穷举或将本发明限制于所公开的具体形式。鉴于上述教导，许多修改和变化都是可能的。
选择和描述实施例以便解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够利用具有适合于预期特定用途的各种修改的本发明和各种实施例。在不脱离本发明的精神和范围的情况下，备选实施例对于本发明所属领域的技术人员来说将变得显而易见。因此，本发明的范围由随附权利要求，而不是上述描述和本文描述的示例性实施例来限定。

Claims (20)

1.一种用于自动产品登记的系统，包括：
具有第一端和第二端的带式传送器系统，所述带式传送器系统被配置为将产品从所述第一端传送到所述第二端；
透明面板，被设置在传送器带的路径中；
多个称重设备，被设置在所述第一端或所述第二端处，并且被配置为记录所述产品在不同点处的重量；
多个RGB相机，分别被设置在所述透明面板上方、所述透明面板下方和所述称重设备上方，并且被配置为捕获所述产品的视觉图像；
多个深度相机，分别被设置在所述透明面板上方和所述透明面板下方，并且被配置为捕获所述产品的深度图像；
多个照明设备，被设置在所述透明面板上方和所述透明面板下方，并且被配置为照亮所述产品；以及
计算设备，被配置为：
从所捕获的视觉图像中检测所述产品的标识；
使用所捕获的视觉图像和深度图像来确定所述产品的带外观的三维3D模型；
基于所述产品的所述带外观的3D模型、当所述产品位于所述称重设备上以便记录重量时所述产品的所捕获的视觉图像以及所述产品的所记录的重量来计算所述产品的重量分布；
基于所述产品的尺寸、定向和所述重量分布来确定所述产品的操纵参数；
基于所述标识从仓库管理系统中获取所述产品的仓库信息；以及
将所述产品的所述仓库信息、所述带外观的3D模型、所述重量分布和所述操纵参数登记在产品数据库中，
其中，所述操纵参数包括所述产品的夹持表面和所述夹持表面上的夹持点。
2.根据权利要求1所述的系统，其中，所述计算设备还被配置为：将所述产品的所登记的信息从所述产品数据库发送给所述仓库管理系统。
3.根据权利要求2所述的系统，其中，所述产品的所述标识包括标签、Apriltag、快速响应QR代码、一维1D或二维2D条形码、水印或所述带外观的3D模型。
4.根据权利要求1所述的系统，其中，所述计算设备还被配置为将一个或多个所捕获的视觉图像存储在所述产品数据库中。
5.根据权利要求1所述的系统，还包括不透明壳体，所述不透明壳体包围所述传送器带、所述透明面板、所述称重设备、所述RGB相机、所述深度相机、所述照明设备和所述计算设备。
6.根据权利要求1所述的系统，还包括围绕所述传送器带设置的装备，其中，所述RGB相机、所述深度相机和所述照明设备被安装在所述装备上。
7.根据权利要求6所述的系统，其中，所述装备包括上层、中间层和下层，所述传送器带位于所述中间层和所述下层之间，并且所述RGB相机、所述深度相机和所述照明设备分别被放置在所述装备的所有三个层上。
8.根据权利要求1所述的系统，其中，所述带式传送器系统包括具有所述第一端的第一传送器带和具有所述第二端的第二传送器带，所述透明面板被放置在所述第一传送器带和所述第二传送器带之间，顶板被放置在所述称重设备的顶部上，并且所述第一传送器带的顶表面、所述第二传送器带的顶表面和所述透明面板的顶表面与所述顶板处于相同的平面。
9.根据权利要求1所述的系统，其中，所述透明面板在所述透明面板的对角线的两端具有第一角和第二角，所述深度相机包括设置在所述第一角上方的第一深度相机和设置在所述第二角下方的第二深度相机。
10.一种用于自动产品登记的系统，包括：
多个视觉传感器，被配置为捕获产品的图像；
多个称重设备，被配置为测量所述产品的重量分布；以及
计算设备，与所述视觉传感器和所述称重设备进行通信，并且被配置为：
使用所捕获的图像来构建所述产品的带外观的三维3D模型；以及
将所述产品的所述带外观的3D模型和所述重量分布登记到产品数据库中。
11.根据权利要求10所述的系统，其中，所述计算设备还被配置为基于所捕获的图像来确定所述产品的标识，基于所述标识来获取所述产品的仓库信息，以及将所述仓库信息登记到所述产品数据库中。
12.根据权利要求11所述的系统，其中，所述计算设备还被配置为基于所述产品的所述仓库信息、所述带外观的3D模型和所述重量分布中的至少一项来为所述产品提供操纵建议，其中，所述操纵建议包括所述产品的夹持表面和所述夹持表面上的夹持点。
13.根据权利要求11所述的系统，还包括：
具有第一端和第二端的带式传送器系统，所述带式传送器系统被配置为将产品从所述第一端传送到所述第二端；以及
透明面板，被设置在所述带式传送器系统的路径中，
其中，所述称重设备被设置在所述第二端处。
14.根据权利要求13所述的系统，其中，所述透明面板在所述透明面板的对角线的两端具有第一角和第二角，并且所述视觉传感器包括：
多个RGB相机，分别被设置在所述透明面板上方、所述透明面板下方和所述称重设备上方；
第一深度相机，被设置在所述第一角上方；以及
第二深度相机，被设置在所述第二角下方。
15.一种用于自动产品登记的方法，包括：
由多个视觉传感器来捕获产品的图像；
由多个称重设备来测量所述产品的重量分布；
由计算设备使用所捕获的图像来构建所述产品的3D模型，其中，所述计算设备与所述视觉传感器和所述称重设备进行通信；以及
将所述产品的所述3D模型和所述重量分布登记到产品数据库中。
16.根据权利要求15所述的方法，其中，所捕获的图像包括所述产品的所有侧面的图像，所述3D模型包括所述产品的所有侧面的外观，并且所述方法还包括：
使用所捕获的图像来确定所述产品的标识；
基于所述标识来获取所述产品的仓库信息；以及
将所述产品的所述仓库信息登记到所述产品数据库中。
17.根据权利要求16所述的方法，还包括：
基于所述产品的所述仓库信息、所述3D模型和所述重量分布中的至少一项来提供所述产品的操纵参数，其中，所述操纵参数包括夹持点和夹持表面。
18.根据权利要求16所述的方法，还包括：
提供具有第一端和第二端的带式传送器系统，所述带式传送器系统用于将所述产品从所述第一端传送到所述第二端；
提供设置在所述带式传送器系统的路径中的透明面板；以及
将所述称重设备放置在所述第二端处。
19.根据权利要求18所述的方法，其中，所述透明面板在所述透明面板的对角线的两端具有第一角和第二角，并且所述方法还包括：
将所述RGB相机分别放置在所述透明面板上方、所述透明面板下方和所述称重设备上方；
将第一深度相机放置在所述第一角上方；以及
将第二深度相机放置在所述第二角下方。
20.一种存储计算机可执行代码的非暂时性计算机可读介质，其中，所述计算机可执行代码当在计算设备的处理器处执行时，被配置为执行根据权利要求15所述的方法。
CN201910886941.2A 2018-09-21 2019-09-19 用于自动产品登记的系统和方法 Pending CN110942120A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/137,765 US11055659B2 (en) 2018-09-21 2018-09-21 System and method for automatic product enrollment
US16/137,765 2018-09-21

Publications (1)

Publication Number Publication Date
CN110942120A true CN110942120A (zh) 2020-03-31

Family

ID=69883474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910886941.2A Pending CN110942120A (zh) 2018-09-21 2019-09-19 用于自动产品登记的系统和方法

Country Status (2)

Country Link
US (1) US11055659B2 (zh)
CN (1) CN110942120A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633731A (zh) * 2020-12-29 2021-04-09 珠海格力智能装备有限公司 产品是否合格的检测方法、检测装置、处理器和电子设备
CN116296070A (zh) * 2023-04-06 2023-06-23 唐山唐擎科技有限公司 一种重心测量系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311634B2 (en) * 2015-07-21 2019-06-04 IAM Robotics, LLC Three dimensional scanning and data extraction systems and processes for supply chain piece automation
WO2020100162A1 (en) * 2018-11-14 2020-05-22 Nachiket Kulkarni A system for rapid digitization of an article
WO2021253189A1 (en) * 2020-06-15 2021-12-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electric device, scanning method of controlling electric device, and computer readable storage medium
US11875457B2 (en) * 2022-02-22 2024-01-16 Zebra Technologies Corporation 3D product reconstruction from multiple images collected at checkout lanes
CN116500050B (zh) * 2023-06-28 2024-01-12 四川托璞勒科技有限公司 一种pcb板视觉检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130248593A1 (en) * 2010-03-12 2013-09-26 Sunrise R&D Holdings, Llc System and method for product identification
US20140351073A1 (en) * 2011-05-11 2014-11-27 Proiam, Llc Enrollment apparatus, system, and method featuring three dimensional camera
US9333649B1 (en) * 2013-03-15 2016-05-10 Industrial Perception, Inc. Object pickup strategies for a robotic device
CN107533782A (zh) * 2015-03-31 2018-01-02 日本电气株式会社 商品登记装置、控制方法和程序

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856081B2 (en) * 2003-09-15 2010-12-21 Rapiscan Systems, Inc. Methods and systems for rapid detection of concealed objects using fluorescence
US8396755B2 (en) * 2008-07-14 2013-03-12 Sunrise R&D Holdings, Llc Method of reclaiming products from a retail store
US8322621B2 (en) * 2008-12-26 2012-12-04 Datalogic ADC, Inc. Image-based code reader for acquisition of multiple views of an object and methods for employing same
US9269022B2 (en) * 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements
US20150310601A1 (en) * 2014-03-07 2015-10-29 Digimarc Corporation Methods and arrangements for identifying objects
US9569765B2 (en) * 2014-08-29 2017-02-14 Wal-Mart Stores, Inc. Simultaneous item scanning in a POS system
US10455216B2 (en) * 2015-08-19 2019-10-22 Faro Technologies, Inc. Three-dimensional imager
EP3203264B1 (en) * 2016-02-04 2024-08-28 Mettler-Toledo GmbH Method of imaging an object for tracking and documentation during transportation and storage
US10282902B1 (en) * 2016-06-24 2019-05-07 Amazon Technologies, Inc. Real-time textured 3D models
US10055882B2 (en) * 2016-08-15 2018-08-21 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
WO2018112431A1 (en) * 2016-12-16 2018-06-21 Datalogic Usa, Inc. Imaging barcode scanner with three-dimensional item reconstruction
WO2018136262A1 (en) * 2017-01-20 2018-07-26 Aquifi, Inc. Systems and methods for defect detection
GB2559964A (en) * 2017-02-16 2018-08-29 Her Majesty In Right Of Canada As Represented By The Mini Of Natural Resources Methods for measuring properties of rock pieces
CA3152708A1 (en) * 2017-04-18 2018-10-25 Berkshire Grey Operating Company, Inc. Systems and methods for processing objects including space efficient distribution stations and automated output processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130248593A1 (en) * 2010-03-12 2013-09-26 Sunrise R&D Holdings, Llc System and method for product identification
US20140351073A1 (en) * 2011-05-11 2014-11-27 Proiam, Llc Enrollment apparatus, system, and method featuring three dimensional camera
US9333649B1 (en) * 2013-03-15 2016-05-10 Industrial Perception, Inc. Object pickup strategies for a robotic device
CN107533782A (zh) * 2015-03-31 2018-01-02 日本电气株式会社 商品登记装置、控制方法和程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
付飞蚺;徐晶;李福善;方明;赵晓军;: "基于360度激光扫描仪的深度图像构建", 长春理工大学学报(自然科学版), no. 06 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633731A (zh) * 2020-12-29 2021-04-09 珠海格力智能装备有限公司 产品是否合格的检测方法、检测装置、处理器和电子设备
CN116296070A (zh) * 2023-04-06 2023-06-23 唐山唐擎科技有限公司 一种重心测量系统

Also Published As

Publication number Publication date
US11055659B2 (en) 2021-07-06
US20200097892A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
CN110942120A (zh) 用于自动产品登记的系统和方法
US11276194B2 (en) Learning dataset creation method and device
US11189044B2 (en) Method and device for detecting object stacking state and intelligent shelf
CN110941462B (zh) 自动学习产品操纵的系统和方法
US11720766B2 (en) Systems and methods for text and barcode reading under perspective distortion
US9707682B1 (en) Methods and systems for recognizing machine-readable information on three-dimensional objects
US20190180150A1 (en) Color Haar Classifier for Retail Shelf Label Detection
US8284988B2 (en) System and method for dimensioning objects using stereoscopic imaging
US20200372626A1 (en) Systems and methods for object dimensioning based on partial visual information
CN113449532B (zh) 检测包裹的方法、装置、计算设备、物流系统及存储介质
US20180005176A1 (en) Multiple Camera System for Inventory Tracking
US20170150129A1 (en) Dimensioning Apparatus and Method
WO2019023249A1 (en) REDUCTION OF DATA IN A BAR CODE READING ROBOT SHELF SURVEILLANCE SYSTEM
EP3588436B1 (en) Methods, systems, and apparatuses for computing dimensions of an object using range images
CN110076029B (zh) 喷胶控制方法、系统、计算机设备及计算机存储介质
CN106985161A (zh) 物品抓取系统和方法
US20220016764A1 (en) Object grasping system
US20230306625A1 (en) Object dimensioning system
KR101613120B1 (ko) 바코드 검사 시스템
Li et al. Using Kinect for monitoring warehouse order picking operations
JP5674933B2 (ja) 倉庫内の物体の位置を特定するための方法及び装置
KR20230171859A (ko) 사물 식별 장치 및 이를 이용한 입체 영상 생성 방법
CN107742383B (zh) 基于光面成像的自动结算系统及结算方法
JP2021025853A (ja) サイズ測定装置、サイズ測定方法、プログラム
KR102066862B1 (ko) Rgb-d 카메라를 이용한 컨베이어용 고속 박스 크기 측정 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20210520

Address after: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing

Applicant after: Beijing Jingbangda Trading Co.,Ltd.

Applicant after: JD.com American Technologies Corp.

Address before: 100086 8th Floor, 76 Zhichun Road, Haidian District, Beijing

Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: JD.com American Technologies Corp.

Effective date of registration: 20210520

Address after: Room a1905, 19th floor, building 2, yard 18, Kechuang 11th Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd.

Applicant after: JD.com American Technologies Corp.

Address before: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant before: Beijing Jingbangda Trading Co.,Ltd.

Applicant before: JD.com American Technologies Corp.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination