CN109154993A - 用于对物品定位、识别和计数的系统和方法 - Google Patents

用于对物品定位、识别和计数的系统和方法 Download PDF

Info

Publication number
CN109154993A
CN109154993A CN201780020305.0A CN201780020305A CN109154993A CN 109154993 A CN109154993 A CN 109154993A CN 201780020305 A CN201780020305 A CN 201780020305A CN 109154993 A CN109154993 A CN 109154993A
Authority
CN
China
Prior art keywords
product
shelf
image
inventory
monitoring methods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780020305.0A
Other languages
English (en)
Inventor
萨众恩·斯卡夫
乔纳森·戴维斯·泰勒
斯蒂芬·文森特·威廉斯
斯曼特·杜布
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Posanova Robot Intellectual Property Co Ltd
Bossa Nova Robotics IP Inc
Original Assignee
Posanova Robot Intellectual Property Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=59958856&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN109154993(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Posanova Robot Intellectual Property Co Ltd filed Critical Posanova Robot Intellectual Property Co Ltd
Publication of CN109154993A publication Critical patent/CN109154993A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/048—Monitoring; Safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39046—Compare image of plate on robot with reference, move till coincidence, camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Robotics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Databases & Information Systems (AREA)

Abstract

一种用于构建产品库而不需要货架图的系统包括被操作来提供物品的图像的图像捕获单元。从货架标签检测器和深度图创建单元获取数据，处理模块可用于将检测到的货架标签与深度图进行比较，限定产品边界框，并使边界框与由图像捕获单元提供的图像相关联以构建图像描述符。该系统可以包括用于支撑和移动图像捕获单元和其他组件的一个或更多个自主机器人。

Description

用于对物品定位、识别和计数的系统和方法
相关专利申请的交叉引用
本公开是要求2016年3月29日提交的美国专利申请号62/314,785“System andMethod for Locating,Identifying and Counting Products on Shelves”和2016年11月29日提交的美国专利申请号62/427,509“System and Method for Locating,Identifyingand Counting Items”的优先权利益的非临时专利申请的部分。
技术领域
本公开总体上涉及一种能够准确地监控零售或仓库产品库存而不需要初始货架图的多摄像头传感器套件。在某些实施例中，多摄像头传感器套件可以安装在自主机器人上，并且包括板载处理以提供接近实时的产品跟踪。
背景
零售店或仓库可以有常常被出售、移除、添加或重新定位的成千个不同的产品。即使使用频繁补进存货计划，被假定为有库存的产品也可能无库存，降低了销售和消费者满意度。销售点数据可用于粗略估计产品可获得性，但无助于识别错放、被盗或损坏的产品，所有这些都可能降低产品可获得性。然而，手动监控产品库存和跟踪产品位置是昂贵和耗时的。
一种用于跟踪产品库存的解决方案依赖于货架图(显示具体产品在货架或展示台上应该如何放置以及放置在哪里的列表或图表)与机器视觉技术的结合。给定货架图，机器视觉可以用来帮助货架空间依从性。例如，大量的固定位置摄像头可以在整个商店中用于监控过道，其中货架空间中的大空隙是对照货架图或货架标签可检查的，且如果必要，可以被标记为“无库存”。可选地，可以使用较少数量的可移动摄像头来扫描商店过道。即使使用这样的系统，通常也需要人工干预来构建初始货架图，该货架图包括与可以包括产品标识、放置和计数的边界框相关的详细信息。还可能需要大量人工干预来更新货架图以及搜索错放的产品库存。
概述
一种用于产品或其他库存监控的低成本、准确且可扩展的摄像头系统可以包括可移动基座。由可移动基座支撑的多个摄像头可定向到货架或其他用于容纳产品或库存的系统。处理模块连接到多个摄像头，并且能够从摄像头得到的图像构建产品或库存位置的可更新图。
在一些实施例中，所描述的用于库存监控的摄像头系统可用于检测货架标签；可选地，将货架标签与深度图进行比较；限定产品边界框；将边界框与货架标签相关联以构建训练数据集；以及使用训练数据集来训练产品分类器。
在其他实施例中，用于构建产品库的系统可以包括被操作来提供物品的图像的图像捕获单元。该系统还包括货架标签检测器(其可以是高分辨率可变焦摄像头)和可选地包括深度图创建单元(其可以通过激光扫描、飞行时间范围感测或立体成像来提供)，可选地将检测到的货架标签与深度图进行比较、限定产品边界框以及将边界框与货架标签相关联以构建训练数据集或学习图像描述符的处理模块。图像捕获单元和处理模块都可以安装在自主机器人上。
因为它代表货架上的真实情形，所以例如本文公开的库存图可以被称为“真实图(realogram)”以区别于传统的“货架图”，该“真实图”采用显示特定零售产品和标牌应该如何放置在货架或展示台上以及放置在哪里的3D模型、卡通、图表或列表的形式。真实图可以用连接到处理模块的数据存储模块在本地存储。通信模块可以被连接到处理模块，以将真实图数据传输到远程位置(包括商店服务器或其他支持的摄像头系统)并且另外接收包括货架图的库存信息以帮助真实图构建。除了真实图映射之外，该系统还可用于检测无库存产品、估计耗尽的产品、估计在堆叠的堆中包括的产品的数量、估计产品高度、长度和宽度、构建产品的3D模型、确定产品的位置和定向、确定一个或更多个产品是否处于需要纠正行动例如面向或分区操作的无序货架展示中、估计产品例如农产品的新鲜度、估计产品的质量(包括包装完整性)、定位产品(包括在家庭位置、二级位置、顶端库存、底端库存处和在后房中)、检测错放的产品事件(也被称为插塞)、识别错放的产品、估计或计算产品正面(facing)的数量、比较产品正面的数量与货架图、定位标签、确定标签的序列、检测标签类型、读取标签内容(包括产品名称、条形码、UPC代码和标价)、检测遗漏的标签、比较标签位置与货架图、比较产品位置与货架图、确定产品的到期日、确定产品(包括农产品)的新鲜度、测量货架高度、货架深度、货架宽度和截面宽度、识别标牌、检测宣传材料(包括展示台、标牌和影片)并测量它们的上架和下架时间、检测并识别季节性和促销产品和展示台(例如产品岛)和影片、捕获单独产品和产品组以及固定物例如整个过道、货架段、在过道上的特定产品和产品展示台和岛的图像、捕获环境的360度和球面视图以在允许虚拟穿行的虚拟游览应用中被可视化、捕获将在增强现实或虚拟现实中观看的环境的3D图像、捕获包括环境光水平的环境条件、捕获关于环境的信息(包括测量与残疾和安全标准的空间依从性以及确定灯泡是否关闭)、向远程监视器提供空间的实时视频馈送、提供特定位置的按需图像和视频(包括现场或事先安排的布景)并构建产品图像的库。
在一个实施例中，可移动基座可以是手动推动的或可引导的手推车。可选地，可移动基座可以是遥控机器人，或者在优选实施例中是能够引导自己穿过商店或仓库的自主机器人。根据商店或仓库的大小，可以使用多个自主机器人。可以定期检查过道以识别无库存或创建真实图，具有高产品移动(high product movement)的过道被更经常地检查。
在另一实施例中，库存监控方法包括以下步骤：允许自主机器人沿着排列有能够容纳库存或产品的货架的过道移动，自主机器人充当多个摄像头的可移动基座。多个摄像头定向到沿着过道排列的货架上的库存，其中至少部分地从这些摄像头得到的数据被用于使用包含在自主机器人中的处理模块来构建库存的真实图或全景图像。由处理模块创建的真实图数据或全景图像可以使用通信模块传送到远程位置，并且经由通信模块接收的库存信息可以用于帮助真实图构建。
在又一个实施例中，库存监控方法包括以下步骤：允许自主机器人沿着容纳库存的沿着过道排列的货架移动，其中自主机器人充当多个摄像头的可移动基座。自主机器人可以在前向或后向方向上移动时保持与容纳库存的沿着过道排列的货架实质上恒定或严格控制的距离。使用定向到沿着过道排列的货架上的库存的多个摄像头，可以构建沿着容纳库存的沿着过道排列的货架放置的库存的真实图的至少一部分。通常，真实图是用在本地设置的数据存储器和包含在自主机器人中的处理模块来创建和更新的。为了确保对沿着过道排列的货架的完全或接近完全的摄像头覆盖，如果沿着过道排列的货架的一部分的数据捕获是不完整的，则自主机器人可以暂停、倒转或标记以进行进一步的多摄像头检查。
附图简述
图1是安装在可移动基座上以跟踪在过道货架或其他合适的目标中的产品变化的摄像头系统的图示；
图2是示出两个自主机器人检查过道中的相对货架的卡通片；
图3是连接到库存摄像头的各种系统和电子模块的图示；
图4是在操作的一个实施例中的步骤的图示；
图5A和5B分别是能够充当摄像头系统的移动基座的自主机器人的在侧视图和横截面中的示例；以及
图6是更详细地示出如何可在不需要初始货架图的情况下创建对于真实图的产品空间的流程图600；以及
图7是示出用于管理所公开的系统的方面的额外过程细节的流程图700。
详细描述
图1是安装在可移动基座110(带有驱动轮114)上以跟踪在过道货架或其他目标102中的产品变化而不需要初始货架图的库存监控摄像头系统100的图示。
可移动基座110可以是具有能够在整个建筑物中独立地导航和移动的导航和对象感测套件130的自主机器人。自主机器人具有通过垂直延伸的摄像头支架140附接到可移动基座110的多个摄像头140。灯150被定位成将光定向到目标102。对象感测套件包括前向(133)、侧部(134和135)、顶部(132)和/或后部(未示出)图像和深度传感器，以帮助对象检测、定位和导航。额外的传感器例如激光测距单元136和138(以及相应的激光扫描光束137和139)也形成了传感器套件的一部分，其对于准确的距离确定是有用的。在某些实施例中，图像传感器可以是深度传感器，其从立体图像推断深度，投射允许对图像中的对象距离的粗略确定的红外网状覆盖，或者根据从目标反射的光的飞行时间推断深度。在其他实施例中，可以使用简单的摄像头和各种图像处理算法来识别对象位置和定位。对于选定的应用，超声波传感器、雷达系统、磁力计等可用于辅助导航。在还有其他实施例中，能够检测电磁、光或其他位置信标的传感器可能对自主机器人的精确定位是有用的。
如在图1中看到的，示出了可用于构建可更新真实图的各种代表性摄像头类型。如前面所提到的，真实图表可以使用摄像头得到的图像来产生产品或库存位置的可更新图。一般，一个或更多个货架单元(例如目标102)将由不同的一组摄像头类型成像，这些摄像头类型包括覆盖小于整个目标货架单元的限定视场的向下(142和144)或向上(143和148)固定焦距摄像头；可变焦距摄像头，其使它的焦距适应于距所成像的目标的距离；宽视场摄像头145，其提供比固定焦距摄像头更大的摄影覆盖；以及窄视场、可变焦摄远镜头146，其捕获条形码、产品识别号和货架标签。可选地，可以使用高分辨率、倾斜可控、高度可调的摄像头来识别货架标签。这些摄像头140得到的图像可以与图像中被识别的产品和所确定的位置拼接在一起。
为了简化图像处理并提供准确的结果，在检查过程期间，多个摄像头通常被定位在离货架一段设定距离处。货架可以用位于摄像头上或附近的LED或其他可定向的灯150照亮。多个摄像头可以在垂直、水平或其他合适的方向上线性地安装在摄像头支架上。在一些实施例中，为了降低成本，多个摄像头固定地安装在摄像头支架上。这样的摄像头可以被布置成相对于摄像头支架和货架指向上、向下或齐平。这有利地允许减少来自具有高反射表面的产品的眩光，因为指向稍微不同的方向的多个摄像头可以产生有很少眩光或没有眩光的至少一个图像。
电子控制单元120包含管理机器人响应的自主机器人感测和导航控制模块124。机器人位置定位可以利用外部标记和基准，或者仅仅依赖于由机器人安装的传感器提供的定位信息。用于位置确定的传感器包括先前提到的成像、光学、超声声纳、雷达、激光雷达、飞行时间、结构光或使用包括但不限于三角测量、视觉流、视觉测距法和车轮测距法的技术来测量在机器人与环境之间的距离或由移动基座行进的递增距离的其他工具。
电子控制单元120还使用摄像头控制和数据处理模块122来提供图像处理。自主机器人感测和导航控制模块124管理机器人响应，且通信模块126管理数据输入和输出。摄像头控制和数据处理模块122可以包括连接到处理模块125的单独的数据存储模块123(例如固态硬盘驱动器)。通信模块126连接到处理模块125以将真实图数据或全景图像传输到远程位置，包括商店服务器或其他支持的摄像头系统，并且另外接收库存信息以帮助真实图构建。在某些实施例中，在自主机器人内主要存储真实图数据并处理图像。有利地，这降低了数据传输要求，并且即使本地或云服务器是不可用时也允许操作。
图2是示出类似于关于图1所讨论的两个自主机器人230和232检查在过道中的相对的货架202的卡通200。如所示，每个机器人沿着过道的长度遵循路径205，多个摄像头捕获货架202的图像。
在一些实施例中，机器人230和232支持至少一个测距传感器来以小于5cm的准确度并以在大约5cm和1mm之间的典型准确度范围测量在多个摄像头与货架和货架上的产品之间的距离。如将认识到的，LIDAR或其他具有类似准确度的距离感测仪器也可以用在选定的应用中。使用绝对位置传感器、到货架的相对距离测量、到已知地标的三角测量、传统的同时定位和测绘(SLAM)方法或者依赖于位于蓝图或先前构建的图中的已知位置处的信标，机器人230和232可以沿着大致平行于货架202的路径移动。当机器人移动时，垂直定位的摄像头被同步以同时捕获货架202的图像。在某些实施例中，货架和产品的深度图是通过使用图像深度传感器和/或激光测距仪器测量在货架单元的长度上的从货架摄像头到货架和产品的距离来创建的。深度图被配准到由货架摄像头捕获的图像上，以便可以在3D中估计在目标上的每个像素的位置。使用可用信息，连续图像可以拼接在一起，以创建跨越整个货架单元的全景图像。连续图像可以首先在所有摄像头当中垂直地拼接，且然后在机器人230和232沿着过道移动时与每组新的连续垂直图像水平和递增地拼接。
图3是由具有机器人导航和感测310的自主机器人支持的各种系统和电子模块300的图示。借助于机器人导航和感测模块310，库存摄像头340移动到期望的位置。灯350指向产品库存和库存摄像头控制，且图像重建312拍摄一系列库存照片(和可选的深度测量)，这些照片可以拼接在一起以帮助形成或更新真实图。全景图像、真实图数据或其他库存相关信息由库存数据和本地更新模块314处理，该模块可以通过通信系统316发送或接收相关信息。数据可以传递到商店本地的服务器，或者通过合适的互联网或联网设备传输到远程服务器或云可访问的数据站点。
库存摄像头340可以包括一个或更多个可移动摄像头、变焦摄像头、可聚焦摄像头、宽视场摄像头、红外摄像头、紫外摄像头或其他专用摄像头，以帮助产品识别或图像构建。例如，宽视场摄像头可用于创建图像组织模板，来自具有窄视场的较高分辨率摄像头的数据被映射或配准到该模板中。作为另一个例子，位于大致在货架边缘的高度处的摄像头支架上的倾斜可控的高分辨率摄像头可用于读取货架上附着的条形码，识别号码或标签。在某些实施例中，传统的RGB CMOS或CCD传感器可以单独地或与光谱滤波器组合地使用，光谱滤波器可以包括窄带、宽带或偏振滤波器。实施例还可以包括能够检测红外、紫外或其他波长以允许高光谱图像处理的传感器。这可以允许例如监控和跟踪对人不可见的标记、标签或导向物，或者使用不可见光谱中的闪光，其不引起健康风险的不适同时减少能量消耗和运动模糊。
灯可以连同传感器一起或者与传感器分开地安装，并且可以包括单色或近单色光源，例如激光器、发光二极管(LED)或有机发光二极管(OLED)。宽带光源可以由变化波长的多个LED(包括红外或紫外LED)、卤素灯或其他合适的传统光源提供。可以包括窄带、宽带或偏振滤波器和遮光板、透镜、反射镜、反射表面、漫射器、聚光器或其他光学器件的各种光谱滤波器可以提供用于区域照明的宽光束或用于提高的局部照明强度的紧密聚焦光束。
根据一些实施例，摄像头340和灯350都可以被可移动地安装。例如，铰接的、轨道、电磁活塞或其它合适的致动机构用于以编程方式旋转、升高、压下、振荡或横向或垂直地重新定位摄像头或灯。
在还有其他实施例中，一个或更多个摄像头可以以利用自主机器人的卷帘快门效果和行进方向的方式来安装。以利用卷帘快门的“光栅化”延迟的方式对准摄像头可以减少当机器人在其路径上行进时可能出现的伪像(伸长/缩短)。
库存数据314可以包括但不限于能够存储关于多个产品的数据的库存数据库，每个产品与产品类型、产品尺寸、产品3D模型、产品图像和当前产品价格、货架位置、货架库存计数和正面数量相关联。可以存储在不同时间捕获和创建的真实图，并使用数据分析来提高对产品可获得性的估计。在某些实施例中，可以增加或减少真实图创建的频率。
通信系统316可以包括到有线或无线连接子系统的连接，用于与诸如服务器、台式计算机、膝上型计算机、平板电脑或智能电话的设备交互。可以在各种外部数据源——包括无线网络、个人局域网、蜂窝网络、互联网或云介导数据源——之间接收、生成或传输数据和控制信号。此外，本地数据源(例如硬盘驱动器、固态驱动器、闪存或任何其他合适的存储器，包括动态存储器，例如SRAM或DRAM)可以允许用户指定的偏好或协议的本地数据存储。在一个特定实施例中，可以提供多个通信系统。例如，可以使用直接Wi-Fi连接(802.11b/g/n)以及单独的4G蜂窝连接。
远程服务器318可以包括但不限于服务器、台式计算机、膝上型计算机、平板电脑或智能电话。还可在云计算环境中实现远程服务器实施例。云计算可被定义为用于实现对可配置计算资源(例如网络、服务器、存储、应用和服务)的共享池的普遍存在的、方便的按需网络访问的模型，可配置计算资源可经由虚拟化迅速地被供应并以最小管理努力或服务提供商交互而被释放，并然后被相应地缩放。云模块可由各种特征(例如按需自助式服务、广阔的网络访问、资源池、快速弹性、可计量的服务等)、服务模型(例如软件即服务(“SaaS”)、平台即服务(“PaaS”)、基础设施即服务(“IaaS”))和部署模型(例如私有云、社区云、公共云、混合云等)组成。
图4是在操作的一个实施例中的真实图或全景更新步骤的图示。如在流程图400中看到的，机器人移动到所识别的位置，并沿着过道路径以预定距离继续前进(步骤410)。如果路径被人或对象阻挡，机器人可以等待直到路径畅通无阻为止，开始移动并减速，在它接近障碍物时等待，沿着路径移动直到需要在重新获取路径之前绕对象转向为止，或者简单地选择替代过道。
在步骤412中，多个图像被捕获并拼接在一起以限定图像全景。可选地，在某些实施例中，全景或宽视场摄像头可以捕获单个大图像。这些图像连同由激光测距系统、红外深度传感器或能够以分米或更小标度区分深度的类似系统创建的可选的深度信息一起用于创建全景图或真实图(步骤414)。该信息被传递到云或远程服务器(步骤416)，以利用从货架标签、条形码和产品识别数据库获得的数据来创建、改变或更新全景图和/或真实图，以识别产品。真实图使用全景图像和数据来被创建，并可由例如商店经理、库存员工或消费者助理代表使用来定位产品和标签放置、估计产品计数、计算产品正面的数量或甚至识别或定位丢失的产品。此外，在一些实施例中，从其他机器人、从更新的产品数据库或从其他商店接收的真实图或其他信息可用于更新或帮助创建后续的真实图(步骤418)。
图5A和5B分别是能够充当根据本公开的摄像头系统的移动基座的自主机器人500的示例的侧视图和横截面。机器人导航和感测单元包括顶部安装的传感器模块510，其具有多个前向、侧面、后部和顶部安装的摄像头。灯520的垂直排列的阵列位于垂直布置的一排摄像头530旁边，且都由包括控制电子器件、电源和对接互连的驱动基座540支撑。驱动轮560提供移动性，且脚轮550提高稳定性。
库存监控可以依赖于自主机器人摄像头系统图像的使用。通常，对多个图像进行处理、组合和分割，用于进一步分析。分割的图像可有助于限定产品边界框，该产品边界框推定地识别出产品正面。这个信息对开发产品库常常是必要的。分割的图像可以包括多个产品边界框，其通常范围从几十到数百个显示轮廓的或不同的图像区域。边界框可以围绕产品正面、产品组或在产品之间的间隙。在产品边界框内的产品可以手动地被识别，使用人群源或付费评论者图像识别系统来识别，在有或没有初始货架图的帮助的情况下被识别，或者使用本文讨论的各种图像分类器来自动被识别。在产品之间的间隙对识别货架间距、产品分离或遗漏/缺少的库存是有用的。
可以使用自主机器人单独地或与外部图像分类器系统结合来执行自动识别。在某些实施例中，产品边界框可以被限定为在货架上由同一产品的一个或更多个副本(正面)占据的水平空间，以及跨越在当前搁板和它上面的搁板之间的距离的垂直空间。在当前搁板是顶部搁板时，垂直空间是通常对应于到固定物的顶部的距离的数字。垂直空间可以可选地是如由深度传感器感测的产品的顶部。
在一些实施例中，自动帮助创建产品边界框和产品标识的图像分割可以依赖于图像模板的使用。通常，将每个图像模板与由安装在自主机器人上的摄像头系统捕获的图像进行比较。如果匹配是肯定的，则图像的匹配部分被用作那个产品的图像分割。
可以通过在标注的训练数据集上的训练分类器来改进分割，其中围绕产品手动地绘制边界框。可以用有监督或无监督的机器学习、深度学习或混合机器和深度学习技术——包括但不限于卷积神经网络——来执行训练。
一些方法包括通过仅匹配对应于产品标识符或者靠近被扫描的货架位置的产品对象的模板来减少必须被考虑的图像模板的数量。产品对象可以包括但不限于：
产品标识符
一组或更多组描述符
每组描述符的置信水平
一个或更多个货架位置度量估计
每个货架位置度量估计的置信水平
一个或更多个货架位置拓扑估计
每个货架位置拓扑估计的计数数字
产品的一个或更多个图像模板
产品的尺寸
产品对象可以被更新、手动或自动地被修改、被扩充或纠正，并被更改以匹配变化的产品规范。
一些方法进一步检测产品是否与外部发源的图像不同地被定向。如果不能找到模板匹配，但产品描述符确实找到了高可能性匹配，这指示与在移动基座系统外部发源的图像的产品定向不同的产品定向。如果已知外部发源的图像是产品的前视图，则该方法识别在货架上不正确地定向的产品。可以估计不正确地定向的产品的角度偏差，并计算在外部发源的图像的该组描述符和图像的分割部分之间的仿射变换。
对于模板匹配成功的情况，可以认为图像中的产品分割是准确的，并且将产品的真实尺寸与图像中的产品的表观尺寸进行比较，以提取在成像传感器和产品之间的距离估计。另外，产品在图像中的表观位置与距离估计结合来使在成像传感器和产品之间的三维位置和定向的计算成为可能。
一些方法从货架图中提取每个产品的拓扑货架位置。这些方法进一步扩大了通过分割而识别的产品对象的范围，并将它重新定义为包含：
一个产品标识符
一组或更多组描述符
每组描述符的置信水平
一个或更多个货架位置度量估计
每个货架位置度量估计的置信水平
一个或更多个货架位置拓扑估计
每个货架位置拓扑估计的计数数字
产品的一个或更多个图像模板
产品的尺寸
来自货架图的一个或更多个拓扑货架位置
在其他实施例中，RFID标签、无线信标、定位器或跟踪器可以单独或组合地被使用，以帮助限定产品边界框。例如，在一些实施例中，自主机器人可以另外配备有一个或更多个RFID读取器。在一个实施例中，执行配备有RFID标签的产品的库存计数可以如下继续进行：
每个产品的标签的总数由库存管理软件传递给安装在自主机器人上或与自主机器人相关联的RFID阅读器；
当自主机器人是静止的或移动时，RFID读取器收集RFID标签；
如果RFID阅读器没有收集给定产品的所有标签；以及
如果自主机器人正在移动，则自主机器人停止以试图收集剩余的标签，或者
如果自主机器人停止，在预定的搜索路径中移动自主机器人，以试图收集剩余的标签。
使用适当的改变，可以使用蓝牙、近场通信或其他传统无线系统来代替RFID系统。
在一些实施例中，基于数字、字母、一维或二维条形码或类似的基于图像的货架或产品标签的视觉图像可以单独地或与各种图像特征组合来使用，以分割图像并帮助限定产品边界框。可以分析和分割每个货架图像，以检测货架上的单独价格标签或产品标签。可选地或者另外，每个图像可用于检测单独产品和产品包装的识别标识。
分割可以使用的包括但不限于下列项的技术：
-边缘检测；
-使用深度估计技术进行的深度估计，深度估计技术包括但不限于：
立体摄像头
来自运动的结构
来自焦点的结构
使用飞行时间的深度摄像头
使用三角测量的深度摄像头
平面或3D激光/激光雷达扫描仪
颜色分割；
产品特征，包括但不限于产品形状、颜色、文本和长宽比；
使用机器学习技术(例如卷积神经网络和深度学习)而识别和学习的产品形状；
基于位置启发法的单独产品图像与标识符的关联。启发法可以将标识符定位在产品图像下方或另一个近侧位置上。
可以通过将标签的规划位置与标签的实测位置相关联以及将每个正面组的正面的数量与在连续标签之间的实测距离除以对应于左标签的产品的宽度相关联来从货架图通知启发法。这些相关性可以例如通过使用图形理论方法被优化，以在正面组和标签之间生产最大似然对应。
也可以通过使在货架上的最左边的标签与最左边的自相似正面组映射、在同一货架上的最右边的标签与最右边的标签正面组映射并向内工作直到每个正面组都有关联的标签为止来通知关联。
此外，关联可以由从训练数据集在手动标注的关联上训练的分类器并使用与上面所述的启发法类似的启发法来通知。一些方法还包括通过比较标识符的位置和放置有标识符的货架的开始或结束的位置来推断货架上的每个标识符的位置。可选地，方法可以基于通过比较产品的位置和放置有产品的货架的开始或结束的位置来推断货架上的每个产品的位置。
在一些方法中，标识符的货架位置和/或产品位置以度量术语(即离特定货架的开始或结束的实测距离)表示。在其他方法中，标识符的货架位置和/或产品位置被拓扑地表示，例如作为从特定货架的开始或结束和从货架的底部到顶部或者从顶部到底部的标识符序列。例如，特定标识符可以是从第四个货架开始的第三个。
如果产品库被创建或变得可用，该库可以被搜索以找到具有大量相似特征的产品对象，以帮助开发产品边界框。对于每个潜在的产品对象匹配，可以将库中的特征位置的几何一致性与货架图像中的特征进行比较。一些方法还包括为了提高的搜索性能和/或降低的存储需求而为库中的描述符组编索引。编索引方法包括但不限于：散列技术、树表示和词袋(bag-of-words)编码。可选地，来自产品库中的货架图信息或产品位置信息可用于将必须搜索的产品的数量减少到仅包含在所成像的货架内的那些产品。在还有其它变形中，可以通过对位于每个所识别的产品附近的价格标签或产品标签进行分割和解码并将它与产品对象标识符进行比较来验证所识别的产品。
图6是流程图600，其更详细地示出可如何从由自主机器人所支持的传感器和摄像头系统捕获的信息创建例如先前讨论的产品边界框的一个示例。转向图6，在第一步骤610中，在单独的货架图像中或者在拼接的全景图中检测货架标签。分类算法例如卷积神经网络或其他深度学习方法、模板匹配或HAAR级联可以用来帮助检测每个货架标签。分析每个货架标签以获得一个或更多个产品标识符。分析可以包括但不限于光学字符识别、条形码扫描、QR码扫描、AR码扫描或全息码扫描。产品标识符可以是UPC代码、产品名称或字母、数字或其他符号的编码集合。如果多于一个标识符是可用的，则可以选择优选的标识符，例如UPC代码。在某些实施例中，可以使用嵌在产品包装或货架标签上的红外或紫外可检测的产品标识符以及任何其他合适的标签、标记或可检测的识别标识，例如在产品包装上的可见UPC代码或序列号。
在可选的步骤612中，货架标签的图像位置被配准或与深度图比较，以恢复它在空间中的3D位置。可以通过使用一个或更多个深度传感器或者用于构建一般具有亚毫米到亚厘米分辨率的深度图的任何其他合适的方法来创建深度图，所述深度传感器从立体图像推断深度，投射允许粗略确定图像中的对象距离的红外网状覆盖，根据扫描激光或LED的从目标反射的飞行时间推断深度。
在步骤614中，边界框被限定为包围同一产品的一个或更多个正面的周界或者在货架上的任何空间，包括但不限于在产品之间的间隙。可以使用训练分类器、深度学习、图像分割或任何其他合适的技术或技术的组合来手动地限定或自动限定边界框。可以参考按高度分组的标签创建边界框，其中在相邻标签之间的水平距离用于限定单正面产品的边界框的宽度。对于多正面产品，边界框宽度被细分为宽度与产品宽度相等的分段。
边界框的高度可以从货架高度的检测中得到。可以通过分析深度图以识别对应于在货架的底部与在它下方堆放的产品之间的距离的水平凹入来检测货架高度。这些水平凹入对应于货架边缘并测量货架高度。
可选地，可以根据以下标准按水平跨度(被限定为在组的第一个和最后一个标签之间的水平距离)过滤标签组：
如果标签组的水平跨度与当前标签组跨度重叠，则标签组通过过滤器。
如果标签组的水平跨度远离当前标签组跨度不大于表示隔区宽度(bay width)的数字，则标签组通过过滤器。一般来说，隔区宽度是在整个商店里使用的标准三或四英尺宽货架。
按高度对过滤后的标签组排序，并选择在当前标签组之后的下一个最高的标签组。
可选地，货架高度也可以由在货架的手动地标注的颜色和深度图像(如果可得到)上训练的深度学习分类器来检测。
一旦确定了在选定标签组和当前标签组之间的高度差，就可以完全限定边界框的高度。
对于垂直堆叠的产品，边界框的高度被细分为高度与产品的高度相等的分段。
在某些实施例中，可以通过估计每种方法的置信度量并将它们的结果相加来概率性地组合用于确定边界框的先前方法。
接下来，在步骤616中，基于标签位置启发法，每个边界框一致地与标识符相关联。标识符可以被选择为源自左货架标签或右货架标签。可以通过在整个货架部分或过道上的优化来进一步改良边界框和标识符的关联。具有标识符的边界框可以被配准到货架的简单或全景拼接图像，并且为包含在边界框中的图像的部分提取图像描述符。用于生成图像描述符的方法包括但不限于：图像模板、梯度直方图、颜色直方图、标度不变特征变换、二进制鲁棒独立基本特征、最大稳定极值区域、二进制鲁棒不变可缩放关键点、快速视网膜关键点、Kaze特征及其变形。
提取产品描述符的可选方案是使用边界框作为所标记的类别，并在边界框中包含的图像上训练分类器。分类器可以包括基于深度结构学习、分层学习、深度机器学习或与卷积、前馈、递归或其它合适的神经网络相关联的其它合适的深度学习算法的分类器。基于深度学习的分类器可以基于所标注的训练数据来自动学习图像描述符。例如，基于深度学习的图像描述符可以是分层的，对应于深度卷积神经网络中的多个层。卷积层网络的最后一层输出在指定图像类别之一中的产品的置信值。图像描述符生成器部分和分类部分被集成在卷积神经网络中，并且这两部分使用训练集来一起被训练。
可选地或者另外，使用基于深度学习的图像描述符和传统图像描述符的实施例可以在混合系统中组合。
在步骤618中，图像描述符可以被分类并用标识符标记。分类算法可以包括但不限于支持向量机。这个过程对与同一标识符相关联的边界框的每个图像重复，而不管该图像是否在不同时间在同一商店中捕获或在不同商店中被捕获。迟早，这允许自动构建产品库(即“产品的库”)，而不需要初始货架图或特定产品数据库的存储。
对于那些利用基于深度学习的图像描述符的实施例，神经网络分类器可以是同一经训练的卷积神经网络的一部分。从卷积神经网络的不同层提取的自动学习的特征可以在更大的产品识别系统中被使用。这些特征可以与其他分类器或与混合系统中的传统图像描述符结合来使用。
图7是示出用于管理产品库的一个实施例的额外过程细节的流程图700。产品库可以存储在例如本文所述的单个自主机器人中，分布在两个或更多个自主机器人之间，或者全部或部分地存储在本地、远程或云服务器中。在一个实施例中，步骤710需要从与标识符相关联的每个产品图像中提取一组描述符。可以开发一组或更多组描述符，每组描述符的置信水平被设置；记录每组描述符生成时的日期；做出一个或更多个货架位置度量估计；估计每个货架位置度量的置信水平；估计一个或更多个货架位置拓扑；或者估计每个货架位置拓扑的计数数字。在其他实施例中，产品的一个或更多个图像模板或产品的尺寸可用于确定产品对象范围。
在步骤714中，每个标识符和产品描述符组如下被存储在产品对象的数据库或库中：
如果标识符与库中的现有标识符不匹配，则创建包含标识符、该组产品描述符、该组产品描述符的条目置信水平和日期的新对象。条目置信水平是独一无二的。
如果产品的标识符与库中的现有标识符匹配，为描述新的和现有的描述符组从同一对象中提取的可能性的每个现有描述符组计算分数。
如果最高可能性分数超过肯定匹配的启发式值：将新的描述符组与最高可能性特征集组合；并且相对于对象中的其他描述符组增加该组描述符的置信水平；并将日期附加到现有描述符组的日期。
如果最高可能性分数没有超过肯定匹配的启发式值：将描述符组添加到对象；将置信度设置为条目水平；并添加日期。
对于那些利用基于深度学习的图像识别的实施例，使用输出置信水平的卷积神经网络来将输入图像分类为属于产品类别之一。然后，这个置信水平被用于以与上面相同的方式将图像描述符存储在库中。
在步骤716中，可以为了提高的搜索性能和/或降低的存储要求而使用库内的描述符组。编索引方法包括但不限于：散列技术、树表示和词袋编码。
在步骤718中，可选地，可以修整产品库以减少错误和数据库大小。描述符组和度量或拓扑货架位置的修整可以如下出现：
描述符组：删除置信水平低于启发式值的所有组以及它们的置信水平和日期条目，除非它们源自在移动基础系统外部发源的图像。
度量货架位置：删除置信水平低于启发式值的所有度量位置——除非它们的条目日期是记录中的最后一个日期——连同它们的置信水平和日期条目。
拓扑货架位置：删除计数数字低于启发式值的所有拓扑位置——除非它们的条目日期是记录中的最后一个日期——连同它们的计数数字和日期条目。
可选地，修整可以涉及：
iv)描述符组：删除除了具有最高置信水平的组之外的所有组，以及它们的置信水平和日期条目，除非它们源自在移动基础系统外部发源的图像。
v)度量货架位置：删除所有度量位置连同它们的置信水平和日期条目，除了最新日期以外，如果它的相关置信水平高于启发式值。否则，保留来自最后两个或更多日期的数据，直到找到高于启发式值的置信水平为止。
vi)拓扑货架位置：删除所有拓扑位置连同它们的计数器数量和日期条目，除了最新日期以外，如果它的相关计数器数量高于启发式值。否则，保留来自最后两个或更多日期的数据，直到找到高于启发式值的计数数字为止。
在一些实施例中，修改产品库可以利用外部图像数据源来帮助产品识别。这些图像可以从一个或更多个下面的源获取：
携带产品的零售商，其中图像对应于产品标识符
产品的制造商，在将产品标识符与制造商的名称和图像匹配之后
产品的第三方摄影
在线数据库、图像搜索引擎或者来自产品列表的在线零售商的数据或者其他互联网数据库。优选地使用对应于产品标识符的制造商名称进行搜索。在一些方法中，这种搜索是自动执行的，并且在没有人为干预的情况下插入一个或更多个图像。
一个或更多个在外部得到的图像可以包括产品的至少一个前视图，以及可选地额外视图，例如对应于同一标识符的产品的背面、侧面、顶部和底部或者不同包装外观。如果产品与外部发源的图像不同地被定向，产品描述符可以尝试找到高可能性匹配。在一些实施例中，可以通过计算在外部发源的图像的描述符组和可用产品图像之间的仿射变换来确定在可能的产品和不同地定向的产品之间的角度偏差。
对于模板匹配成功并且图像中的产品分割准确的情况，可以将产品的真实尺寸与图像中的产品的表观尺寸进行比较，以提取在成像传感器和产品之间的距离估计。另外，产品在图像中的表观位置与距离估计相结合来使在成像传感器和产品之间的三维位置和定向的计算成为可能。
在基于深度学习的可选实施例中，产品分割可以由卷积神经网络执行，该卷积神经网络将像素分类为属于产品内部和产品背景。从该分割推断产品尺寸。
受益于在前述描述和相关附图中呈现的教导的本领域中的技术人员将会想到本发明的许多修改和其它实施例。因此，应当理解，本发明不限于所公开的特定实施例，并且修改和实施例被规定为被包括在所附权利要求的范围内。还应当理解，本发明的其他实施例可以在缺乏本文没有特别公开的元件/步骤的情况下被实践。

Claims (22)

1.一种库存监控方法，包括以下步骤：
检测和读取在至少一个货架上的货架标签；
在用至少一个摄像头拍摄的图像中限定围绕潜在库存的一个或更多个边界框；以及
使所述图像中的所述边界框与货架标签相关联，以构建产品分类器或产品库中的至少一个。
2.根据权利要求1所述的库存监控方法，还包括允许自主机器人在所述至少一个货架旁边移动的步骤，其中所述自主机器人充当能够自主地读取货架标签并限定多个边界框的可移动基座。
3.根据权利要求1所述的库存监控方法，还包括允许自主机器人在所述至少一个货架旁边移动的步骤，其中所述自主机器人充当具有多个摄像头和LIDAR范围感测系统的可移动基座。
4.根据权利要求1所述的库存监控方法，还包括允许自主机器人在所述至少一个货架旁边移动的步骤，其中所述自主机器人充当捕获货架和位于货架上的产品的深度图的可移动基座。
5.根据权利要求1所述的库存监控方法，还包括构建具有产品范围的产品库的步骤，所述产品范围包含下列项中的至少一项或更多项：一个产品标识符；一组或更多组描述符；每组描述符的置信水平；每组描述符被生成时的日期；一个或更多个货架位置度量估计；每个货架位置度量估计的置信水平；一个或更多个货架位置拓扑估计；每个货架位置拓扑估计的计数数字；产品的一个或更多个图像模板；以及产品的尺寸。
6.根据权利要求1所述的库存监控方法，还包括使用手动输入来识别在用至少一个摄像头拍摄的所述图像中的所述多个边界框中指定的潜在库存的步骤。
7.根据权利要求1所述的库存监控方法，其中自动限定在潜在库存与潜在库存之间的间隙周围的边界框。
8.根据权利要求1所述的库存监控方法，其中边界框手动地与货架标签或产品上标记中的至少一个相关联。
9.根据权利要求1所述的库存监控方法，其中边界框自动地与货架标签或产品上标记中的至少一个相关联。
10.根据权利要求1所述的库存监控方法，还包括在不使用初始货架图的情况下构建所述产品库的步骤。
11.一种用于构建产品分类器的系统，包括：
图像捕获单元；
货架标签检测器和读取器，其捕获货架标签数据；
处理模块，其限定多个边界框，以及
可训练图像分类器，其使所述边界框内的图像与所述货架标签数据相关联，所述图像由所述图像捕获单元提供。
12.根据权利要求11所述的系统，其中所述图像捕获单元安装在自主机器人上，并且连接到所述货架标签检测器和读取器。
13.根据权利要求11所述的系统，其中使用机器学习来训练所述可训练图像分类器。
14.根据权利要求11所述的系统，其中使用深度学习系统来训练所述可训练图像分类器。
15.一种库存监控方法，包括以下步骤：
检测和读取货架标签；
检测从至少一个摄像头到至少一个货架的距离；
在用至少一个摄像头拍摄的图像中限定围绕潜在库存的边界框；以及
使所述图像中的选定边界框与选定货架标签相关联，以构建产品分类器或产品库中的至少一个。
16.根据权利要求15所述的库存监控方法，还包括允许自主机器人在所述至少一个货架旁边移动的步骤，其中所述自主机器人充当能够检测距离、读取货架标签和限定边界框的可移动基座。
17.根据权利要求15所述的库存监控方法，还包括允许自主机器人在所述至少一个货架旁边移动的步骤，其中所述自主机器人充当具有多个摄像头和LIDAR范围感测系统或深度摄像头中的至少一个的可移动基座。
18.根据权利要求15所述的库存监控方法，还包括允许自主机器人在所述至少一个货架旁边移动的步骤，其中所述自主机器人充当捕获货架和位于货架上的产品的深度图的可移动基座。
19.根据权利要求15所述的库存监控方法，还包括构建具有产品范围的产品库的步骤，所述产品范围包含下列项中的至少一项或更多项：一个产品标识符；一组或更多组描述符；每组描述符的置信水平；每组描述符被生成时的日期；一个或更多个货架位置度量估计；每个货架位置度量估计的置信水平；一个或更多个货架位置拓扑估计；每个货架位置拓扑估计的计数数字；产品的一个或更多个图像模板；以及产品的尺寸。
20.根据权利要求15所述的库存监控方法，还包括使用手动输入来识别在用至少一个摄像头拍摄的所述图像中的所述多个边界框中指定的潜在库存来构建产品库的步骤。
21.根据权利要求15所述的库存监控方法，其中所述边界框能够围绕潜在库存之间的间隙。
22.根据权利要求15所述的库存监控方法，还包括在不使用初始货架图的情况下构建所述产品库的步骤。
CN201780020305.0A 2016-03-29 2017-03-28 用于对物品定位、识别和计数的系统和方法 Pending CN109154993A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662314785P 2016-03-29 2016-03-29
US62/314,785 2016-03-29
US201662427509P 2016-11-29 2016-11-29
US62/427,509 2016-11-29
PCT/US2017/024559 WO2017172782A1 (en) 2016-03-29 2017-03-28 SYSTEM AND METHOD FOR LOCATING, IDENTIFYING AND COUNTING lTEMS

Publications (1)

Publication Number Publication Date
CN109154993A true CN109154993A (zh) 2019-01-04

Family

ID=59958856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780020305.0A Pending CN109154993A (zh) 2016-03-29 2017-03-28 用于对物品定位、识别和计数的系统和方法

Country Status (8)

Country Link
US (2) US11087272B2 (zh)
EP (1) EP3437031A4 (zh)
JP (1) JP2019513274A (zh)
KR (1) KR20190031431A (zh)
CN (1) CN109154993A (zh)
AU (1) AU2017245132A1 (zh)
CA (1) CA3018381A1 (zh)
WO (2) WO2017172790A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109765634A (zh) * 2019-01-18 2019-05-17 广州市盛光微电子有限公司 一种深度标注装置
CN109961101A (zh) * 2019-03-29 2019-07-02 京东方科技集团股份有限公司 货架状态确定方法及装置、电子设备、存储介质
CN111634596A (zh) * 2020-06-02 2020-09-08 江苏易高烟草机械有限公司 一种应用于高架库的空货位快速筛选方法
CN111832494A (zh) * 2020-07-17 2020-10-27 中国联合网络通信集团有限公司 信息存储方法及设备
WO2021031965A1 (zh) * 2019-08-16 2021-02-25 灵动科技（北京）有限公司 盘点设备、后端设备、盘点管理系统及盘点方法
CN113140073A (zh) * 2021-05-11 2021-07-20 支付宝(杭州)信息技术有限公司 智能货柜的层板控制方法、系统以及智能货柜
CN113219485A (zh) * 2020-12-14 2021-08-06 谷歌有限责任公司 自主3d数据中心映射系统
CN113538578A (zh) * 2021-06-22 2021-10-22 恒睿(重庆)人工智能技术研究院有限公司 目标定位方法、装置、计算机设备和存储介质
CN113597533A (zh) * 2019-01-25 2021-11-02 机器人普拉斯有限公司 货物扫描装置
CN113627418A (zh) * 2020-05-07 2021-11-09 杭州海康威视数字技术股份有限公司 数据管理方法、计算机设备及计算机可读存储介质
CN113844811A (zh) * 2021-09-16 2021-12-28 国网浙江省电力有限公司湖州供电公司 一种快速存取物的无人值守物资仓库
CN114503178A (zh) * 2019-07-15 2022-05-13 思电子系统意象公司 用于货架支架的成像设备和包含该成像设备的货架系统

Families Citing this family (164)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007964B1 (en) 2015-05-20 2018-06-26 Digimarc Corporation Image processing methods and arrangements
US10552933B1 (en) 2015-05-20 2020-02-04 Digimarc Corporation Image processing methods and arrangements useful in automated store shelf inspections
JP6874680B2 (ja) * 2015-06-09 2021-05-19 日本電気株式会社 棚割支援装置、棚割支援システム、棚割支援方法、および、プログラム
US10909710B2 (en) * 2016-03-23 2021-02-02 Akcelita, LLC System and method for tracking product stock in a store shelf
US11681980B2 (en) * 2016-03-23 2023-06-20 Akcelita, LLC System and method for tracking product stock in a store shelf
US11087272B2 (en) * 2016-03-29 2021-08-10 Bossa Nova Robotics Ip, Inc. System and method for locating, identifying and counting items
CA3020303A1 (en) * 2016-04-07 2017-10-12 Walmart Apollo, Llc Systems and methods for locating containers with low inventory
WO2017192868A1 (en) * 2016-05-04 2017-11-09 Wal-Mart Stores, Inc. Distributed autonomous robot systems and methods
US11593755B2 (en) * 2016-05-19 2023-02-28 Simbe Robotics, Inc. Method for stock keeping in a store with fixed cameras
EP3459008A4 (en) * 2016-05-19 2019-11-27 Simbe Robotics, Inc. METHOD FOR MONITORING THE PLACEMENT OF PRODUCTS ON SHELVES IN A STORE
CN109328359A (zh) * 2016-06-30 2019-02-12 波萨诺瓦机器人知识产权有限公司 用于库存跟踪的多摄像机系统
WO2018016494A1 (ja) * 2016-07-20 2018-01-25 株式会社サンクレエ 在庫管理サーバ、在庫管理システム、在庫管理プログラムおよび在庫管理方法
US20180101813A1 (en) * 2016-10-12 2018-04-12 Bossa Nova Robotics Ip, Inc. Method and System for Product Data Review
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US20180150788A1 (en) * 2016-11-30 2018-05-31 Wipro Limited Inventory control system and a method for inventory control in an establishment
US11798064B1 (en) 2017-01-12 2023-10-24 Digimarc Corporation Sensor-based maximum-likelihood estimation of item assignments
US10438165B2 (en) * 2017-03-07 2019-10-08 Ricoh Company, Ltd. Planogram generation
WO2018184675A1 (en) * 2017-04-05 2018-10-11 Telefonaktiebolaget Lm Ericsson (Publ) Illuminating an environment for localisation
WO2018187788A1 (en) * 2017-04-07 2018-10-11 Simbe Robotics Inc Method for tracking stock level within a store
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US10505057B2 (en) 2017-05-01 2019-12-10 Symbol Technologies, Llc Device and method for operating cameras and light sources wherein parasitic reflections from a paired light source are not reflected into the paired camera
DE112018002314T5 (de) 2017-05-01 2020-01-23 Symbol Technologies, Llc Verfahren und vorrichtung zur erkennung eines objektstatus
US11367092B2 (en) * 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US10345818B2 (en) 2017-05-12 2019-07-09 Autonomy Squared Llc Robot transport method with transportation container
US10685324B2 (en) * 2017-05-19 2020-06-16 Hcl Technologies Limited Method and system for optimizing storage and retrieval of a stock keeping unit (SKU)
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10489677B2 (en) 2017-09-07 2019-11-26 Symbol Technologies, Llc Method and apparatus for shelf edge detection
US10521914B2 (en) * 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10872228B1 (en) * 2017-09-27 2020-12-22 Apple Inc. Three-dimensional object detection
US20200311659A1 (en) * 2017-09-29 2020-10-01 Nec Corporation Information processing apparatus, information processing method, and program
FR3072492B1 (fr) 2017-10-13 2019-11-08 Ses-Imagotag Procede pour initialiser ou mettre a jour une base de donnees de realogramme pour un lineaire, en utilisant des signaux optiques emis par des etiquettes electroniques de gondole
WO2019087519A1 (ja) 2017-10-30 2019-05-09 パナソニックＩｐマネジメント株式会社 棚監視装置、棚監視方法、及び、棚監視プログラム
US10783640B2 (en) * 2017-10-30 2020-09-22 Beijing Keya Medical Technology Co., Ltd. Systems and methods for image segmentation using a scalable and compact convolutional neural network
EP3483780A1 (en) * 2017-11-10 2019-05-15 Skidata Ag Classification and identification systems and methods
KR20190055582A (ko) * 2017-11-15 2019-05-23 삼성전자주식회사 전자 장치의 이미지 촬영 방법 및 그 전자 장치
WO2019099987A1 (en) * 2017-11-20 2019-05-23 Walmart Apollo, Llc Barcode validator and text extraction from images for data quality checks and remediation
JP7024351B2 (ja) * 2017-11-24 2022-02-24 富士通株式会社 棚割生成プログラム、棚割生成方法及び棚割生成装置
SE542615C2 (en) * 2017-11-28 2020-06-16 Barbara Terebieniec Systems, methods and computer programs for container space allocation monitoring
CN108551658B (zh) 2017-12-18 2021-04-09 上海云拿智能科技有限公司 目标物定位系统及定位方法
US11276033B2 (en) 2017-12-28 2022-03-15 Walmart Apollo, Llc System and method for fine-tuning sales clusters for stores
US20190205806A1 (en) * 2017-12-28 2019-07-04 Walmart Apollo, Llc System and method for determining and implementing sales clusters for stores
EP3754545A1 (en) 2018-01-10 2020-12-23 Trax Technology Solutions Pte Ltd. Automatically monitoring retail products based on captured images
WO2019140126A1 (en) * 2018-01-10 2019-07-18 Simbe Robotics, Inc Method for detecting and responding to spills and hazards
CA3088166A1 (en) * 2018-01-10 2019-07-18 Durgesh TIWARI Method for monitoring temperature-controlled units in a store
US10452924B2 (en) * 2018-01-10 2019-10-22 Trax Technology Solutions Pte Ltd. Withholding alerts due to temporary shelf occlusion
US11488315B2 (en) * 2018-01-26 2022-11-01 SagaDigits Limited Visual and geolocation analytic system and method
CA3088511A1 (en) * 2018-01-27 2019-08-01 Walmart Apollo, Llc Dynamic flex-space allocation system
US20190236526A1 (en) * 2018-01-31 2019-08-01 Veeva Systems Inc. System and Method for Managing Visual Product Placement
WO2019152279A1 (en) * 2018-01-31 2019-08-08 Walmart Apollo, Llc Product inventorying using image differences
DE102019000903A1 (de) 2018-02-21 2019-08-22 Sew-Eurodrive Gmbh & Co Kg System mit Anlage, Objekten und Mobilteilen, und Verfahren zum Betreiben eines Systems
EP3759420A4 (en) * 2018-03-01 2021-11-03 Omni Consumer Products, LLC METHOD, SYSTEM AND DEVICE FOR DETERMINING THE NUMBER OF PRODUCTS
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10740911B2 (en) * 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
CN108629325B (zh) * 2018-05-11 2021-06-22 北京旷视科技有限公司 物品位置的确定方法、装置及系统
FR3081587A1 (fr) * 2018-05-28 2019-11-29 Comerso Procede de valorisation des produits non conformes
CA3101530C (en) 2018-06-01 2022-06-21 Beijing Geekplus Technology Co., Ltd. Management method, device and system applied to goods-to-person system, server and computer storage medium
CA3104284A1 (en) * 2018-06-20 2019-12-26 Simbe Robotics, Inc Method for managing click and delivery shopping events
JP6890849B2 (ja) * 2018-06-20 2021-06-18 株式会社マーケットヴィジョン 情報処理システム
CA3120688A1 (en) * 2018-06-23 2019-12-26 Simbe Robotics, Inc Method for managing stock within a store
US10934045B2 (en) 2018-07-27 2021-03-02 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US10810543B2 (en) * 2018-07-30 2020-10-20 Maplebear, Inc. Populating catalog data with item properties based on segmentation and classification models
US11100302B2 (en) * 2018-08-13 2021-08-24 Sunrise R&D Holdings, Llc System and method for verification of displayed shelf tags using hand-held device
US11153483B2 (en) * 2018-08-24 2021-10-19 Bossa Nova Robotics Ip, Inc. Shelf-viewing camera with multiple focus depths
DE102018006764B4 (de) 2018-08-27 2021-02-25 Daimler Ag Verfahren und system(e) für das management von frachtfahrzeugen
DE102018006765B4 (de) * 2018-08-27 2021-02-25 Daimler Ag Verfahren und system(e) für das management von frachtfahrzeugen
TWI675331B (zh) * 2018-08-31 2019-10-21 財團法人工業技術研究院 儲物裝置及儲物方法
CN109242563A (zh) * 2018-09-03 2019-01-18 索信科技（北京）有限公司 一种智能化信息监测应用方法和系统
US11080559B2 (en) 2018-09-18 2021-08-03 Focal Systems, Inc. Product onboarding machine
US11232398B2 (en) 2018-09-26 2022-01-25 Walmart Apollo, Llc System and method for image-based replenishment
JP7243110B2 (ja) * 2018-10-02 2023-03-22 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに荷物受け取り支援システム
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11222225B2 (en) * 2018-11-29 2022-01-11 International Business Machines Corporation Image recognition combined with personal assistants for item recovery
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
EP3667230B1 (de) * 2018-12-13 2021-06-23 IVF Hartmann AG Messsystem und verfahren zur inventarisierung mittels 3d-scan
US10716177B2 (en) 2018-12-13 2020-07-14 Zebra Technologies Corporation Method and apparatus for control of mobile automation apparatus light emitters
US11126861B1 (en) 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
JP7163760B2 (ja) * 2018-12-25 2022-11-01 株式会社デンソーウェーブ 位置関係検出装置及び位置関係検出システム
CN109669375B (zh) * 2018-12-27 2021-05-14 格讯科技(深圳)有限公司 一种备餐间集控方法及系统
KR102165494B1 (ko) * 2018-12-28 2020-10-14 네이버 주식회사 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
US11400599B2 (en) * 2019-01-30 2022-08-02 Lg Electronics Inc. Stock management robot
WO2020186143A1 (en) * 2019-03-13 2020-09-17 Simbe Robotics, Inc Method for deploying fixed and mobile sensors for stock keeping in a store
US20200311666A1 (en) * 2019-03-28 2020-10-01 Ebay Inc. Encoding sensor data and responses in a distributed ledger
CA3136601A1 (en) * 2019-04-11 2020-10-15 Carnegie Mellon University System and method for associating products and product labels
US11321655B2 (en) * 2019-11-26 2022-05-03 Ncr Corporation Frictionless and autonomous control processing
WO2020217260A1 (en) * 2019-04-24 2020-10-29 Infilect Technologies Private Limited System and method for product rearrangement in retail environment based on position adjacency awareness plan
US10896584B2 (en) 2019-04-30 2021-01-19 Walmart Apollo, Llc Systems and methods for projecting action indicators
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11341663B2 (en) * 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US20200380454A1 (en) * 2019-06-03 2020-12-03 Zebra Technologies Corporation Method, System and Apparatus for Detecting Product Facings
US11037099B2 (en) * 2019-06-10 2021-06-15 Salesforce.Com, Inc. System and method for live product report generation without annotated training data
KR102186821B1 (ko) * 2019-06-25 2020-12-04 티팟스튜디오 주식회사 딥 러닝을 이용한 3차원 물체 인식에 기초하여 증강 현실 정보를 제공하는 방법 및 이를 이용한 시스템
CN112149450A (zh) * 2019-06-26 2020-12-29 浙江汉朔电子科技有限公司 排面检查系统及方法
US11069073B2 (en) 2019-07-23 2021-07-20 Advanced New Technologies Co., Ltd. On-shelf commodity detection method and system
CA3087587A1 (en) 2019-07-24 2021-01-24 Walmart Apollo, Llc Systems and methods for automated association of product information with electronic shelf labels
US11915192B2 (en) 2019-08-12 2024-02-27 Walmart Apollo, Llc Systems, devices, and methods for scanning a shopping space
US11774842B2 (en) 2019-08-16 2023-10-03 Bossa Nova Robotics Ip, Inc. Systems and methods for image capture and shelf content detection
KR102319893B1 (ko) * 2019-09-19 2021-11-02 디카모 주식회사 재고 파악 방법 및 시스템
US11354910B2 (en) * 2019-09-27 2022-06-07 Ncr Corporation Frictionless authentication and monitoring
US11295162B2 (en) * 2019-11-01 2022-04-05 Massachusetts Institute Of Technology Visual object instance descriptor for place recognition
JP7393184B2 (ja) 2019-11-07 2023-12-06 東芝テック株式会社 点群データ処理装置
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
CN111341013A (zh) * 2020-02-10 2020-06-26 北京每日优鲜电子商务有限公司 智能售货机的移动方法、装置、设备及存储介质
WO2021179138A1 (zh) * 2020-03-09 2021-09-16 图灵通诺（北京）科技有限公司 商超货架上商品的分析方法和系统
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11074460B1 (en) * 2020-04-02 2021-07-27 Security Systems, L.L.C. Graphical management system for interactive environment monitoring
US20230177458A1 (en) * 2020-04-22 2023-06-08 Walmart Apollo, Llc Methods and systems for monitoring on-shelf inventory and detecting out of stock events
WO2021222786A1 (en) * 2020-04-30 2021-11-04 Simbe Robotics, Inc. Method for maintaining perpetual inventory within a store
JP2021189990A (ja) * 2020-06-04 2021-12-13 東芝テック株式会社 管理装置及び管理システム
CN111832454A (zh) * 2020-06-30 2020-10-27 苏州罗伯特木牛流马物流技术有限公司 利用工业相机视觉识别实现地面货位管理的系统和方法
US11544509B2 (en) 2020-06-30 2023-01-03 Nielsen Consumer Llc Methods, systems, articles of manufacture, and apparatus to classify labels based on images using artificial intelligence
USD945507S1 (en) 2020-06-30 2022-03-08 Bossa Nova Robotics Ip, Inc. Mobile robot for object detection
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11651519B2 (en) * 2020-08-12 2023-05-16 Google Llc Autonomous 2D datacenter rack imager
US20220051177A1 (en) * 2020-08-12 2022-02-17 Carnegie Mellon University System and method for identifying misplaced products in a shelf management system
CN114379969B (zh) * 2020-10-16 2023-06-27 北京极智嘉科技股份有限公司 库存容器操作系统和方法
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) * 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
JP2022082274A (ja) * 2020-11-20 2022-06-01 オムロン株式会社 モバイルマニピュレータ、モバイルマニピュレータの制御方法、制御プログラム
US20220180302A1 (en) * 2020-12-04 2022-06-09 Maxdelivery, Llc System and method for inventory management and multimedia content delivery
CN112966590B (zh) * 2021-03-03 2022-04-19 河南鑫安利安全科技股份有限公司 基于aiot和企业安全指数的实时预警方法及装置
US20220292454A1 (en) * 2021-03-09 2022-09-15 Walmart Apollo, Llc Systems and methods for inventory management
WO2022197598A1 (en) * 2021-03-15 2022-09-22 Walmart Apollo, Llc Systems and methods for inventory management
US11842321B1 (en) * 2021-03-17 2023-12-12 Amazon Technologies, Inc. Image-based detection of planogram product spaces
US11905115B2 (en) * 2021-04-30 2024-02-20 Dexterity, Inc. Robotic system for identifying items
WO2022261350A1 (en) * 2021-06-10 2022-12-15 Simbe Robotics, Inc. Method for maintaining inventory in a store
US11954882B2 (en) * 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
US11521003B1 (en) * 2021-06-23 2022-12-06 Zebra Technologies Corporation Layout generation for location-tracking sensors
WO2023006171A1 (de) * 2021-07-26 2023-02-02 Captana Gmbh Verfahren zur bestimmung einer abmessung eines produkts in einer produktpräsentationsvorrichtung
US11880738B1 (en) * 2021-08-17 2024-01-23 Scandit Ag Visual odometry for optical pattern scanning in a real scene
WO2023031920A1 (en) * 2021-08-29 2023-03-09 Shelfie Tech Ltd. Retail shelf monitoring system and method
US20230076979A1 (en) * 2021-09-09 2023-03-09 7-Eleven, Inc. Item location tracking for display racks using digital image processing
DE102021210118A1 (de) * 2021-09-14 2023-03-16 Sms Group Gmbh Lagerverwaltungssystem, Verfahren zur Lagerverwaltung und Computerprogramm zur Lagerverwaltung für eine industrielle Anlage, insbesondere eine Produktionsanlage der metallerzeugenden Industrie, der nicht-Eisen- oder Stahlindustrie oder der Vorlegierungsherstellung
WO2023043391A1 (en) * 2021-09-17 2023-03-23 Erkul Kozmeti̇k Sanayi̇ Ve Ti̇caret Anoni̇m Şi̇rketi̇ A counting system for product display stand
AU2021245114B1 (en) * 2021-10-05 2022-03-10 Van der Weegen, Mark Image Recognition using Code Based Data Reduction
CN114385285B (zh) * 2021-11-30 2024-02-06 重庆长安汽车股份有限公司 一种基于汽车ai智慧助手的形象创建方法
US20230169452A1 (en) * 2021-11-30 2023-06-01 Zebra Technologies Corporation System Configuration for Learning and Recognizing Packaging Associated with a Product
WO2023141696A1 (en) * 2022-01-31 2023-08-03 Unefi Inc. Data gathering for store fixtures and the products therein
US20230274226A1 (en) * 2022-02-25 2023-08-31 Target Brands, Inc. Retail shelf image processing and inventory tracking system
WO2023220172A1 (en) * 2022-05-10 2023-11-16 Michael Muller Systems and methods for ingesting and processing enrichable content
WO2023245208A1 (en) * 2022-06-17 2023-12-21 Wipro Limited Method and system for accurately counting items in a storehouse

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149792A (zh) * 2006-09-21 2008-03-26 国际商业机器公司 使用移动盘存机器人来执行盘存的系统和方法
US20140003655A1 (en) * 2012-06-29 2014-01-02 Praveen Gopalakrishnan Method, apparatus and system for providing image data to represent inventory
CN104217188A (zh) * 2013-05-29 2014-12-17 Bdt媒体自动化有限公司 通过条形码读取装置检测和确定存储位置中物体的存在的方法和装置

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8630924B2 (en) 2007-08-31 2014-01-14 Accenture Global Services Limited Detection of stock out conditions based on image processing
US8189855B2 (en) 2007-08-31 2012-05-29 Accenture Global Services Limited Planogram extraction based on image processing
US8068674B2 (en) * 2007-09-04 2011-11-29 Evolution Robotics Retail, Inc. UPC substitution fraud prevention
US20090094140A1 (en) * 2007-10-03 2009-04-09 Ncr Corporation Methods and Apparatus for Inventory and Price Information Management
JP5372395B2 (ja) * 2007-10-05 2013-12-18 株式会社イシダ 電子棚札システム
US20090192921A1 (en) * 2008-01-24 2009-07-30 Michael Alan Hicks Methods and apparatus to survey a retail environment
KR101592889B1 (ko) * 2008-03-03 2016-02-11 아비길론 페이턴트 홀딩 2 코포레이션 트래킹, 인덱싱 및 서치를 위한 물체 매칭 방법 및 장치
KR101503904B1 (ko) * 2008-07-07 2015-03-19 삼성전자 주식회사 이동 로봇의 지도 구성 장치 및 방법
EP2752362B1 (en) * 2010-03-30 2016-12-21 NS Solutions Corporation Image display system, image display method and program
US9785898B2 (en) * 2011-06-20 2017-10-10 Hi-Tech Solutions Ltd. System and method for identifying retail products and determining retail product arrangements
US9338409B2 (en) * 2012-01-17 2016-05-10 Avigilon Fortress Corporation System and method for home health care monitoring
CN104350734B (zh) * 2012-06-11 2017-12-12 索尼电脑娱乐公司 图像生成设备以及图像生成方法
US9418352B2 (en) * 2012-06-29 2016-08-16 Intel Corporation Image-augmented inventory management and wayfinding
CN103679129A (zh) * 2012-09-21 2014-03-26 中兴通讯股份有限公司 一种图像中的目标物体识别方法及装置
US9097800B1 (en) 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion
JP6176257B2 (ja) * 2012-12-04 2017-08-09 日本電気株式会社 商品情報処理装置、そのデータ処理方法、およびプログラム
JP6108159B2 (ja) * 2013-03-04 2017-04-05 日本電気株式会社 情報処理システム、情報処理装置およびその制御方法と制御プログラム
US9158988B2 (en) * 2013-06-12 2015-10-13 Symbol Technclogies, LLC Method for detecting a plurality of instances of an object
US9400968B2 (en) * 2013-08-14 2016-07-26 Ricoh Company, Ltd. Three-dimensional indexing protocol
US9015072B2 (en) * 2013-08-19 2015-04-21 Xerox Corporation Method and apparatus for automated inventory management using depth sensing
US9373057B1 (en) * 2013-11-01 2016-06-21 Google Inc. Training a neural network to detect objects in images
US9230192B2 (en) 2013-11-15 2016-01-05 Adobe Systems Incorporated Image classification using images with separate grayscale and color channels
US20150193909A1 (en) * 2014-01-09 2015-07-09 Trax Technology Solutions Pte Ltd. Method and device for panoramic image processing
US10176452B2 (en) * 2014-06-13 2019-01-08 Conduent Business Services Llc Store shelf imaging system and method
US10453046B2 (en) 2014-06-13 2019-10-22 Conduent Business Services, Llc Store shelf imaging system
US9396530B2 (en) * 2014-07-24 2016-07-19 Adobe Systems Incorporated Low memory content aware image modification
US20160119540A1 (en) * 2014-10-23 2016-04-28 Xerox Corporation Model-based plane-like panorama and retail applications
US9443164B2 (en) * 2014-12-02 2016-09-13 Xerox Corporation System and method for product identification
US9811754B2 (en) * 2014-12-10 2017-11-07 Ricoh Co., Ltd. Realogram scene analysis of images: shelf and label finding
US10169677B1 (en) * 2014-12-19 2019-01-01 Amazon Technologies, Inc. Counting stacked inventory using image analysis
US9569851B2 (en) * 2014-12-23 2017-02-14 Ricoh Co., Ltd. Sequencing products recognized in a shelf image
US10007964B1 (en) * 2015-05-20 2018-06-26 Digimarc Corporation Image processing methods and arrangements
US10607182B2 (en) * 2015-11-09 2020-03-31 Simbe Robotics, Inc. Method for tracking stock level within a store
CN108353122B (zh) * 2015-11-17 2021-03-05 索尼公司 多相机系统、控制多相机系统的方法和相机
US9911213B2 (en) * 2015-12-18 2018-03-06 Ricoh Co., Ltd. Panoramic image stitching using objects
US9984451B2 (en) * 2015-12-18 2018-05-29 Michael Gormish Linear grouping of recognized items in an image
US9715638B1 (en) * 2015-12-31 2017-07-25 Nokia Technologies Oy Method and apparatus for identifying salient subimages within a panoramic image
US11087272B2 (en) * 2016-03-29 2021-08-10 Bossa Nova Robotics Ip, Inc. System and method for locating, identifying and counting items
US10007867B2 (en) * 2016-04-04 2018-06-26 Google Llc Systems and methods for identifying entities directly from imagery
CN109328359A (zh) * 2016-06-30 2019-02-12 波萨诺瓦机器人知识产权有限公司 用于库存跟踪的多摄像机系统
US10019803B2 (en) * 2016-10-17 2018-07-10 Conduent Business Services, Llc Store shelf imaging system and method using a vertical LIDAR
US20190019293A1 (en) * 2017-01-13 2019-01-17 Bet Information Systems, Inc. System and Method for Share of Shelf Data Capture and Analysis
US20180260772A1 (en) * 2017-01-31 2018-09-13 Focal Systems, Inc Out-of-stock detection based on images
WO2018144651A1 (en) * 2017-01-31 2018-08-09 Focal Systems, Inc. Out-of-stock detection based on images
WO2019023249A1 (en) * 2017-07-25 2019-01-31 Bossa Nova Robotics Ip, Inc. REDUCTION OF DATA IN A BAR CODE READING ROBOT SHELF SURVEILLANCE SYSTEM
US10474988B2 (en) * 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US10861302B2 (en) * 2017-08-17 2020-12-08 Bossa Nova Robotics Ip, Inc. Robust motion filtering for real-time video surveillance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149792A (zh) * 2006-09-21 2008-03-26 国际商业机器公司 使用移动盘存机器人来执行盘存的系统和方法
US20140003655A1 (en) * 2012-06-29 2014-01-02 Praveen Gopalakrishnan Method, apparatus and system for providing image data to represent inventory
CN104217188A (zh) * 2013-05-29 2014-12-17 Bdt媒体自动化有限公司 通过条形码读取装置检测和确定存储位置中物体的存在的方法和装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109765634A (zh) * 2019-01-18 2019-05-17 广州市盛光微电子有限公司 一种深度标注装置
CN109765634B (zh) * 2019-01-18 2021-09-17 广州市盛光微电子有限公司 一种深度标注装置
CN113597533A (zh) * 2019-01-25 2021-11-02 机器人普拉斯有限公司 货物扫描装置
CN109961101A (zh) * 2019-03-29 2019-07-02 京东方科技集团股份有限公司 货架状态确定方法及装置、电子设备、存储介质
CN114503178A (zh) * 2019-07-15 2022-05-13 思电子系统意象公司 用于货架支架的成像设备和包含该成像设备的货架系统
WO2021031965A1 (zh) * 2019-08-16 2021-02-25 灵动科技（北京）有限公司 盘点设备、后端设备、盘点管理系统及盘点方法
CN113627418B (zh) * 2020-05-07 2023-08-25 杭州海康威视数字技术股份有限公司 数据管理方法、计算机设备及计算机可读存储介质
CN113627418A (zh) * 2020-05-07 2021-11-09 杭州海康威视数字技术股份有限公司 数据管理方法、计算机设备及计算机可读存储介质
CN111634596A (zh) * 2020-06-02 2020-09-08 江苏易高烟草机械有限公司 一种应用于高架库的空货位快速筛选方法
CN111832494A (zh) * 2020-07-17 2020-10-27 中国联合网络通信集团有限公司 信息存储方法及设备
CN111832494B (zh) * 2020-07-17 2024-03-05 中国联合网络通信集团有限公司 信息存储方法及设备
CN113219485A (zh) * 2020-12-14 2021-08-06 谷歌有限责任公司 自主3d数据中心映射系统
CN113140073A (zh) * 2021-05-11 2021-07-20 支付宝(杭州)信息技术有限公司 智能货柜的层板控制方法、系统以及智能货柜
CN113538578A (zh) * 2021-06-22 2021-10-22 恒睿(重庆)人工智能技术研究院有限公司 目标定位方法、装置、计算机设备和存储介质
CN113844811A (zh) * 2021-09-16 2021-12-28 国网浙江省电力有限公司湖州供电公司 一种快速存取物的无人值守物资仓库

Also Published As

Publication number Publication date
WO2017172782A1 (en) 2017-10-05
EP3437031A1 (en) 2019-02-06
US20170286773A1 (en) 2017-10-05
WO2017172790A1 (en) 2017-10-05
JP2019513274A (ja) 2019-05-23
US10565548B2 (en) 2020-02-18
CA3018381A1 (en) 2017-10-05
AU2017245132A1 (en) 2018-10-11
EP3437031A4 (en) 2019-11-27
US11087272B2 (en) 2021-08-10
KR20190031431A (ko) 2019-03-26
US20170286901A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
CN109154993A (zh) 用于对物品定位、识别和计数的系统和方法
US10769582B2 (en) Multiple camera system for inventory tracking
US20190180150A1 (en) Color Haar Classifier for Retail Shelf Label Detection
US20190034864A1 (en) Data Reduction in a Bar Code Reading Robot Shelf Monitoring System
JP6744430B2 (ja) 製品を店舗内の棚構造に割り当てる棚割表を自動的に生成する方法
Santra et al. A comprehensive survey on computer vision based approaches for automatic identification of products in retail store
US20220051179A1 (en) System and method for identifying products in a shelf management system
US11915463B2 (en) System and method for the automatic enrollment of object images into a gallery
Lim et al. Real-time monocular image-based 6-DoF localization
JP2023502972A (ja) 物品識別および追跡システム
US20220303445A1 (en) Systems and methods for image capture and shelf content detection
US20230079018A1 (en) Deep learning-based detection of item sizes for autonomous checkout in a cashier-less shopping store
CN115249356B (zh) 识别方法、装置、设备及存储介质
US20220051177A1 (en) System and method for identifying misplaced products in a shelf management system
Bak et al. Person re-identification by pose priors
Liu et al. A large-scale dataset for indoor visual localization with high-precision ground truth
CN110705363B (zh) 一种商品规格的识别方法与装置
US20230274227A1 (en) Retail shelf image processing and inventory tracking system
US20230274226A1 (en) Retail shelf image processing and inventory tracking system
US20230274410A1 (en) Retail shelf image processing and inventory tracking system
Yaman et al. Performance evaluation of similarity measures for dense multimodal stereovision
Bak et al. Person re-identification employing 3D scene information
Sharma et al. Eco: Egocentric cognitive mapping
Drahanský et al. Thermal Imaging Detection System: A Case Study for Indoor Environments
鄭好政 The Local Multi-modal Descriptor for Place Categorization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190104

WD01 Invention patent application deemed withdrawn after publication