CN109564619A - 跟踪商店内的货架上的产品的放置的方法 - Google Patents

Abstract

一种用于跟踪商店中的产品的放置的方法的一个变型包括：访问由商店内的移动机器人系统记录的图像；检测在图像的区域中的货架；基于货架的地址，检索根据商店的货架图被分配给货架的产品列表；从模板图像数据库中检索定义产品列表中指定的产品可视化特征的模板图像组；从图像的区域提取一组特征；响应于该一组特征和表示产品的在该模板图像组中的模板图像中的特征之间的偏差，确定产品的单元被错误存放在货架上；以及响应于确定产品的单元被错误存放在货架上，生成针对该产品的重新存放提示。

Description

跟踪商店内的货架上的产品的放置的方法

相关申请的交叉引用

本申请要求于2016年5月19日提交的第62/339,039号美国临时申请的权益，该美国临时申请通过本引用以其整体并入本文。

本申请涉及于2016年11月09日提交的第15/347,689号美国专利申请，该美国专利申请通过本引用以其整体并入本文。

技术领域

本发明总体上涉及库存跟踪领域，并且更具体地涉及一种用于在库存跟踪领域中跟踪商店内的货架上的产品的放置的新的且有用的方法。

附图简述

图1是方法的流程图表示；

图2是方法的一种变型的图形表示；和

图3是方法的一种变型的示意图表示；

图4是方法的一种变型的流程图表示；和

图5是方法的一种变型的流程图表示。

具体实施方式

以下对本发明实施例的描述并非旨在将本发明限于这些实施例，而是使本领域技术人员能够制造和使用本发明。本文描述的变型、配置、实现、示例实现、和示例是可选的，并且不排除他们描述的变型、配置、实现、示例实现、和示例。本文描述的发明可以包括这些变型、配置、实现、示例实现、和示例的任何和所有排列。

1.方法

如在图1中所示，用于跟踪商店内的货架上的产品的放置的方法S100包括：在框S120中，访问第一图像，第一图像包括移动机器人系统在第一时间记录的可视化数据，该第一图像与商店内移动机器人系统在第一时间的第一定位和第一取向相关联；在框S122中，检测被表示在第一图像的第一区域附近的第一货架；在框S130中，基于第一定位、第一取向、和在第一图像内的第一货架的垂直位置来访问第一货架的地址；在框S130中，基于第一货架的地址，检索根据商店的货架图(planogram)分配到第一货架的产品的第一列表；在框S140中，从模板图像数据库中检索第一组模板图像，第一组模板图像中的每个模板图像包括在第一产品列表中指定的产品的可视化特征；在框S124中，从第一图像的第一区域提取第一组特征；在框S150中，响应于第一组特征中的特征和表示第一产品的在第一组模板图像中的第一模板图像中的特征之间的相关性，确认第一产品列表中的第一产品的单元在第一货架上的存在；在框S152中，响应于第一组特征中的特征和第一模板图像中的特征之间的偏差，确定第一产品的单元不正确地被存放在第一货架上；并且在框S160中，响应于确定第一产品的单元不正确地被存放在第一货架上，针对第一货架上的第一产品生成第一重新存放提示。

如在图4中所示，方法S100的一种变型包括：在框S110中，在机器人系统处，导航到在商店内的在由预设路径点定义的定位附近的位置；在框S112中，基于由预设路径点定义的图像规范，通过被布置在机器人系统中的一组相机中的第一相机捕获摄影图像；在框S130中，基于预设路径点，访问被指定存放在在该定位附近的货架上的产品的产品标识符；在框S140中，从模板图像数据库中选择与产品标识符相对应的模板图像组；在框S150中，基于该组模板图像中的特定模板图像和摄影图像的区域之间的相似性，确认产品的单元在货架上的存在；在框S152中，基于与特定模板图像相关联的产品取向，来识别产品的单元在货架上的未对准；并且，在框S160中，发出手动纠正产品的单元的在货架上的位置的提示。

如在图5中所示，方法S100的另一种变型包括：在框S110中，在机器人系统处，导航到在商店内的在由预设路径点定义的定位附近的位置；在框S112中，基于由预设路径点定义的图像规范，通过被布置在机器人系统中的一组相机中的第一相机捕获摄影图像；在框S130中，基于预设路径点，访问被指定关于在该定位附近的货架的产品的一组产品标识符；在框S140中，从模板图像数据库中选择模板图像组，该组模板图像中的每个模板图像对应于该组产品标识符中的产品标识符；在框S124中，基于一组区域中的区域和模板图像组中的模板图像之间的相似性，将摄影图像的该组区域与该组产品标识符中的产品标识符相关联；在框S152中，基于对应于在该定位附近的货架的货架图与在摄影图像中的该组区域的布置之间的差异，来识别相对于在商店内的货架上的产品的指定放置的偏差；以及在框S160中，基于识别的偏差，发出手动纠正产品在商店内的货架上的位置的提示。

2.应用

一般而言，方法S100的框可以通过计算机系统执行：以调度机器人系统来捕获在整个零售空间(例如杂货店)中的货架上布置的产品的图像；以基于从机器人系统接收的图像和定义在整个零售空间中的产品定位的货架图，确定被分配到在整个零售空间中的货架上的槽(slots)的产品的库存状态；并且，以自动提示零售空间的员工在整个零售空间中重新装载空槽。特别地，计算机系统可以执行方法S100的框以自动地：收集在商店内的货架的图像；根据这些图像，确定在这些货架上的产品的单元的存在和布置；识别在整个商店的实际产品布置与商店的货架图中定义的目标产品表示要求之间的偏差；并且，对这样的偏差提建议(package)以供商店的员工(例如雇员)使用和处理。因此，计算机系统可以：在框S110中，调度机器人系统以收集在商店内的货架的图像；在框S112中，实时整体地从机器人系统接收图像；在框S130、S132、和S134中，处理这些图像以确定产品在商店内的货架上的存在、位置、和/或取向，并基于这些产品的存在、位置、和/或取向，来识别相对于商店货架图的偏差；并且，在框S140和S150中，自动提示商店的员工纠正这些偏差。

系统可以实现一组路径点，该一组路径点定义了商店内机器人系统在扫描周期期间导航和捕获一个或更多个图像的定位，并且系统可以将路径点(或路径点中的内容)关联到机器人系统在该路径点处或其附近捕获的图像。例如，机器人系统可以被放置在零售店(或仓库等)内，并且远程计算机系统(例如，通过互联网连接到机器人系统的远程服务器)可以调度机器人系统以在商店营业时间之外(例如从凌晨1点开始的每个晚上)在整个零售店的路径点处收集图像。机器人系统因此可以在零售商店几小时后开门之前完成扫描周期。可选地，系统可以在商店营业时间期间调度移动机器人系统以在顾客在整个商店中在货架上移动产品、从货架取出产品、和偶尔将产品返回到货架时实时收集表示商店的库存状态的数据。

然后，系统可以处理在扫描周期期间收集的图像，以生成在商店内的货架上的当前产品放置的图形、地图、或表格，以生成商店的全局库存状态、和/或以生成包含用于纠正在整个商店中丢失的、放错位置的、或定向错误的产品的一组提示或任务的全局重新存放列表。例如，基于当货架段的图像被记录时移动机器人系统的路径点、定位、和或取向(其可以被存储在该图像的元数据中)，系统可以在图像被捕获时以机器人系统的视野检索指定存储在路径点附近的一个或更多个货架上的产品的库存单位(SKU)或其他标识符(诸如，被分配给货架结构的所有SKU、被分配给货架段的所有SKU、被分配给单个货架的所有SKU、或被分配给特定槽的SKU等)的列表。基于这些SKU，系统可以根据商店的货架图，将相对大的模板图像数据库(例如，数百万)过滤成被预期或者最有可能占据这个单一货架、货架段、或者货架结构的产品的相对小的(例如，十五个模板图像的)模板图像组。通过实施计算机视觉技术以将这相对较小的模板图像组与图像中的子区域进行比较，系统可以相对快速地且以相对高的精确度确定各种产品在商店内的货架上的存在、取向、和/或位置。

特别地，系统可以：识别与在商店中的单个货架结构内的单个货架段中的单个货架相对应的图像区域；基于记录图像时机器人臂所占据的路径点、定位、和/或取向并基于图像中区域的位置识别这个货架；并且缩小将图像的该区域中的子区域(包含表示离散物理产品的离散特征组)与分配给该货架的产品的非常小的模板图像组的比较。通过汇总由当前商店货架图分配给该货架的产品列表，并且然后专门检索这些产品的模板图像组，系统可以在检测该货架上的产品时保持高精确度，同时还限制了处理图像的资源消耗(例如，处理时间、处理功率)。然而，如果系统无法识别在图像的特定子区域(表示离散产品)和该第一组模板图像中的任何模板图像之间的匹配，则系统可以将该组模板图像升级(即放大)为分配给货架段中所有货架的产品的更大的模板图像组，因为图像的特定子区域中表示的产品可能已经从同一货架段上的附近货架移动到其当前定位。此外，如果系统无法识别在图像的特定子区域和该第二组模板图像中的任何模板图像之间的匹配，则系统可以升级该组模板图像以包括分配给同一货架结构中的所有货架段的产品、然后分配给面向同一过道的两个货架结构的产品、然后分配给商店的同一区域或地区的产品、并且然后是分配给整个商店的产品等等，直到检测到匹配或者直到在试图识别图像的特定子区域中表示的产品时消耗了阈值量的资源为止。然后，该系统可以对商店中的每个其他槽、货架、货架段、和/或货架结构重复该过程，以便识别整个商店中库存的几乎所有产品、以跟踪这些产品的定位、并识别这些产品相对于分配给商店的货架图在存在和定位方面的偏差。

然后，该系统可以就整个商店中识别的产品和商店的当前货架图之间的对齐和偏差提出建议为图形、地图、表格、库存清单、任务清单、和/或其他容器(例如包括在整个商店中纠正特定槽的提示)；然后(例如在第二天早上零售商店开门前他们到达零售商店时或者在从机器人系统接收图像并在开门营业时间期间处理图像时实时地)将该容器呈现给商店的员工。

3.机器人系统

机器人系统执行方法S100的框S110和S112以导航到路径点并捕获商店中的货架的图像。一般而言，机器人系统可以定义支持网络的移动机器人，其可以自主遍历商店、捕获商店内货架的图像、并将这些图像上传到远程计算机系统进行分析。

在一个实施方式中，机器人系统定义了自主成像交通工具，其包括：基座；布置在基座中的驱动系统(例如，一对两个驱动轮和两个旋转脚轮)；电源(例如，电池)；一组测绘(mapping)传感器(例如，前后扫描LIDAR系统)；处理器，该处理器将由测绘传感器收集的数据转换成机器人系统周围的空间的二维地图或三维地图；从基座垂直延伸的桅杆；布置在桅杆上的一组相机；地理空间位置传感器(例如，GPS传感器)；以及无线通信模块，该无线通信模块从远程计算机系统(例如，远程服务器)下载商店的路径点和主地图，并且将由相机捕获的摄影图像和由处理器生成的地图上传到远程计算机系统，如在图3中所示。在该实施方式中，机器人系统可以包括被静态安装到桅杆的相机(例如在桅杆左侧上的两个垂直偏移相机和在桅杆右侧上的两个垂直偏移相机)，如在图3中所示。机器人系统可以附加地或可选地包括可铰接的相机，例如：在桅杆左侧上并由第一垂直扫描致动器支撑的一个相机；和在桅杆右侧上并由第二垂直扫描致动器支撑的一个相机。机器人系统还可以在每个相机上包括变焦镜头、广角镜头、或任何其他类型的镜头。然而，机器人系统可以定义任何其他形式并且可以包括支持在整个商店环境中进行自主导航和图像捕获的任何其他子系统或元件。

系统还可以包括多个机器人系统，该多个机器人系统被放置在单个商店中并被配置为相配合以对商店内的货架进行成像。例如，两个机器人系统可以被放置在大型单层零售店中，并且可以相配合在阈值时间段内(例如，在一小时内)收集商店中所有货架的图像。在另一个示例中，一个机器人系统可以被放置在多层商店的每一层上，并且每个机器人系统可以各自收集其相对应的层上货架的图像。远程计算机系统然后可以汇总由被放置在一个商店中的多个机器人系统捕获的图像以生成商店中的被适当和不适当地存放的槽的图形、地图、表格、和/或任务列表。

4.层次结构和术语

“产品界面(facing)”在本文中被称为被指定用于槽的产品(例如，特定SKU或其他产品标识符)的一侧。“货架图”在本文中被称为跨越商店内多个货架结构中的每一个(例如，跨越整个商店)的多个产品界面的图形表示。视觉上记录在货架图中的产品标识、放置、和取向数据还可以被记录在相对应的文本产品放置电子表格、槽索引、或其他商店数据库(以下称为“产品放置数据库”)中。

“槽”在本文中被称为货架的一部分，其被指定为由一个产品界面(包括一排一个或更多个产品单元)占据。“货架”在本文中被称为跨一个或更多个槽的一个横向表面(例如，一个四英尺宽的水平表面)。“货架段”在本文中被称为货架结构的一列(包括一个或更多个货架)。“货架结构”在本文中被称为一排一个或更多个货架段。“过道(aisle)”在本文被称为在两个相对的货架结构之间的通道。“商店”在本文中被称为包含一个或更多个货架结构和一个或更多个过道的(静态或移动)设施。

“产品”在本文中被称为与特定产品标识符(例如，SKU)相关联的一类包装货物。“单元”或“产品单元”在本文中被称为产品的实例(例如与一个SKU值相关联的一系列包装物品中的一个包装物品)。

方法S100在本文被描述为由远程计算机系统(例如，远程服务器，以下称为“计算机系统”)执行。然而，方法S100的框可以由被放置在零售空间(或商店、仓库等)中的一个或更多个机器人系统、由本地计算机系统、或由任何其他计算机系统(以下称为“系统”)执行。

此外，方法S100的框在下面被描述为由系统执行以识别商店内货架结构上的开放式货架上存放的产品。然而，系统可以实施类似的方法和技术来识别存放在小房间中、制冷单元中、壁挂架上、独立式落地架中、桌子上、或零售空间中的任何其他产品组织者上或任何其他产品组织者中的产品。

5.路径点

计算机系统可以实施一组路径点，该一组路径点定义商店内机器人系统在扫描周期期间导航到的和捕获一个或更多个图像的定位，并且计算机系统可以将路径点(或路径点中的内容)关联到机器人系统在该路径点处或其附近捕获的图像。基于路径点中指定的定位，计算机系统可以当图像被捕获时在相机的视野中检索被指定存放在路径点附近货架上的产品的库存单位(SKU)或其他标识符(例如指定用于货架结构的所有SKU、货架段中的所有SKU、一组货架上的所有SKU、或针对特定槽的SKU等)的列表。基于SKU，计算机系统可以将相对大的模板图像数据库(例如，数百万)过滤成与图像特别相关的相对小的(例如，十五个的)模板图像组。通过实施计算机视觉技术来将该相对小的模板图像组与图像中的子区域进行比较，计算机系统可以相对快速地并以相对高的精确度确定商店内的货架上各种产品的存在、取向、和/或位置。

例如，机器人系统可以被放置在零售商店(或仓库等)内，并且计算机系统(例如，通过互联网连接到机器人系统的远程服务器)可以调度机器人系统以在非营业时间(例如每晚从凌晨1点开始)在整个零售店的路径点收集图像。机器人系统因此可以在零售商店几小时后开门之前完成扫描周期。此外，计算机系统可以处理在扫描周期期间收集的图像以生成商店内货架上的当前产品放置的图形、地图、或表格，和/或生成放错位置或定向错误的产品的任务列表以进行纠正，并且计算机系统可以在第二天早上零售商店开门之前在员工到达零售商店时将该图形、地图、表格、和/或任务列表呈现给员工。可选地，计算机系统可以在商店营业时间内将机器人系统调度给商店内的路径点，并且可以基本实时地处理从机器人系统接收的图像以近乎实时地生成当前这样的图形、地图、表格、和/或任务列表。

因此，计算机系统可以维护、更新一组路径点并将其分发给机器人系统，其中每个路径点定义在商店内机器人系统将捕获一个或更多个图像的定位。在一个实施方式中，计算机系统针对商店将被放置在商店中的用于机器人系统的充电站(或如图5所示的“对接部(dock)”)处定义为二维笛卡尔坐标系的原点，并且关于商店的路径点定义为在坐标系内的定位，例如距离原点的横向(“x”)距离和纵向(“y”)距离。因此，当执行路径点时，机器人系统可以导航到如在路径点中定义的商店的(x，y)坐标(例如，在三英寸内)。例如，对于包括具有四英尺宽货架段和六英尺宽过道的货架结构的商店，计算机系统可以在每个相对的货架段对之间定义一个(在相对应的过道中的)横向和纵向居中的路径点。路径点还可以基于坐标系中过道或货架结构的角度位置来定义目标取向(例如以相对于商店原点的目标角度的形式)，如在图5中所示。当执行路径点时，机器人系统可以定向到路径点中定义的目标取向(例如，在其1.5°内)，以便将相机对准相邻的货架结构。

当导航到路径点时，机器人系统可以利用测绘传感器(例如，如上所述的LIDAR传感器)扫描附近的环境、将扫描编译成机器人系统环境的新地图、通过将新地图与定义商店坐标系的商店主地图进行比较来确定其在商店内的定位、并且导航到在商店内测绘传感器的输出(在阈值距离和角度内)与主地图的对应于路径点中定义的定位和目标取向的区域对准的位置和取向。路径点还可以包括地理空间位置(例如，GPS定位)(例如以备份或冗余定位的形式)。例如，当导航到路径点时，机器人系统可以接近路径点中定义的地理空间位置；一旦在距离地理空间位置的阈值距离(例如，五英尺)内，计算机系统就可以导航到测绘传感器的输出(在阈值距离和角度内)与主地图中对应于路径点中定义的 定位和目标取向的区域对准的位置和取向。

此外，路径点可以包括一旦机器人系统能够导航到路径点就要捕获图像的每个相机的地址。例如，对于包括左上角相机、左下角相机、右上角相机、和右下角相机的机器人系统，路径点可以包括分别对应于左上角相机、左下角相机、右上角相机、和右下角相机的相机地址[1、2、3、4]的全部或子集。在这个示例中：指定位于两个面对的全高度货架段之间中心的定位的第一路径点可以寻址机器人系统中的所有四个相机(例如，相机地址[1、2、3、4])；指定位于两个面对的半高度货架段之间的中心定位的第二路径点可以寻址机器人系统中的左下角相机和右下角相机(例如，相机地址[2、4])；以及指定了邻近单个全高度货架段和90°目标取向的定位的第三路径点可以寻址机器人系统中的右上角相机和右下角相机(例如，相机地址[3、4])。可选地，对于包括可铰接的相机的机器人系统，路径点可以定义要在该路径点捕获图像的每个相机的地址和弧形位置(arcuate position)。

路径点还可以指定(或关联到)预期在被指定在该路径点捕获图像的特定相机的视野中的类别、过道、货架结构、货架段、一个或更多个货架、和/或一个或更多个槽的地址。例如，路径点可以指定在机器人系统中的所有四个相机以在该路径点中指定的定位处捕获图像，并且该路径点可以指定：用于左下相机捕获第一图像的[洗衣(laundry)区、过道2、货架结构1、货架段2、货架1-4]地址；用于左上相机捕获第二图像的[洗衣区、过道2、货架结构1、货架段2、货架5-8]地址；用于右下相机捕获第三图像的[洗衣区、过道2、货架结构2、货架段2、货架1-4]地址；以及用于左下相机捕获第四图像的[洗衣区、过道2、货架结构2、货架段2、货架5-8]地址。

6.机器人系统导航

方法S100的框S110记述了，在机器人系统中，导航到商店内靠近由预设路径点定义的定位的位置。通常，在框S110中的扫描周期期间，机器人系统自主导航到当前路径点中指定的位置和取向(在定位和目标取向的阈值距离和角度内)为捕获如在路径点中指定的一个或更多个图像作准备。可选地，框S110可以记述，将遥控器调度到对应于商店内的槽、货架、货架段、和/或货架结构的路径点；并且远程计算机系统可以通过例如经由计算机网络向机器人系统传送一个或更多个路径点来执行框S110。

在一个实施方式中，在开始新的扫描周期之前，机器人系统可以从远程计算机系统下载一组路径点、路径点的优选顺序、以及定义商店坐标系的商店的主地图。一旦机器人系统在扫描周期的开始时刻离开其被分配的充电站，则机器人系统可以重复地对其集成的测绘传感器(例如LIDAR传感器)进行采样，并基于测绘传感器收集的数据构建其环境的新地图。通过将新地图与主地图进行比较，机器人系统可以在整个扫描周期中跟踪其在商店中的定位。此外，为了导航到下一个路径点，机器人系统可以基于主地图中与当前路径点中定义的定位和目标取向相对应的区域与测绘传感器的当前输出之间的对准，确认其(在阈值距离和角度偏移内)实现了该路径点，如上所述。

可选地，机器人系统可以执行定义GPS定位和罗盘航向的路径点，并且可以基于在机器人系统内的GPS传感器和罗盘传感器的输出来确认路径点的实现。然而，机器人系统可以实施任何其他方法或技术以在相对于路径点中定义的位置和目标取向的阈值距离和角度偏移内导航到商店内的定位和取向。

7.摄影图像和图像元数据

方法S100的框S112记述了，基于由预设路径点定义的图像规范，通过布置在机器人系统中的一组相机中的第一相机捕获摄影图像。通常，在框S112中，一旦机器人系统已经导航到框S110中的当前路径点，机器人系统就通过在当前路径点中指定的每个相机捕获数字摄影图像(或“图像”)，如在图1和图5中所示。特别地，一旦机器人系统已经到达商店内在相对于路径点中指定的定位和取向的角度偏移的阈值距离内的位置，机器人系统就可以触发选择的集成光学传感器(例如RGB CMOS或CCD相机)来根据路径点中定义的相机地址捕获图像，并且然后将这些图像存储在本地存储器中。(可选地，一旦机器人系统到达路径点中定义的定位，则机器人系统可以将选择的相机铰接到路径点中定义的位置，并且然后将这些图像存储在本地存储器中。)

一旦机器人系统捕获图像，则机器人系统可以向图像写入各种元数据，例如：机器人系统的标识符(“ID”)；时间戳，该时间戳指示捕获图像的日期和时间；捕获图像时机器人系统的实际位置(例如，根据主地图和测绘传感器的输出之间的比较确定的GPS位置和/或定位和目标取向)；和捕获图像的相机的地址。机器人系统还可以将相对应的路径点以其整体或相对应的路径点的标识符(例如UUID、唯一数字标签)写入图像元数据。可选地，机器人系统可以从路径点提取各种数据(例如预期在捕获图像的特定相机的视野内的过道、货架结构、货架段、货架、和/或槽的定位、目标取向、和地址)并将这些数据写入图像元数据。然而，机器人系统可以存储具有在商店内的扫描周期期间捕获的图像的任何其他数据。

机器人系统然后可以将这些图像上传到远程计算机系统进行处理，如下所述。例如，如在图1和图5中所示，一旦图像被捕获并用元数据进行标记，机器人系统就可以基本上实时地将图像传输给本地互联网连接的无线路由器。在另一个示例中，机器人系统可以在扫描周期期间或扫描周期完成时向无线路由器异步地传输批量图像。可选地，机器人系统可以执行下面描述的方法S100的所有或选择的框以在本地处理图像。

8.图像收集

方法S100的框S120记述了，在框S120中，访问第一图像，第一图像包括移动机器人系统在第一时间记录的可视化数据，第一图像与在第一时间移动机器人系统在商店内的第一定位和第一取向相关联。通常，在框S120中，系统访问由机器人系统收集的可视化数据同时占据商店内的路径点或遍历商店内的路径(例如，在扫描周期期间)。

在框S120中，计算机系统可以从机器人系统下载通过集成到机器人系统中的一个或更多个相机记录的数字摄影图像(例如，“原始图像”)，其中，每个原始图像包含各种元数据，例如当图像被记录时机器人系统占据的定位、取向、和/或路径点、图像被记录的时间、记录图像的机器人系统上相机的标识符或定位等，如在图1和图5中所示。例如，机器人系统可以通过蜂窝连接或通过计算机网络(例如互联网)将这些图像基本上实时上传到计算机系统。可选地，机器人系统可以将这些原始图像存储在本地存储器中，并将原始图像组整体(例如，作为沿着一个货架结构或沿着商店的一条过道记录的图像块)上传到计算机系统。

当从机器人系统接收到图像时，系统(例如，远程计算机系统)可以吸收这些原始图像以用于后续处理。在一个示例中，系统对原始图像进行解除变形(dewarp)以去除由连接到记录图像的相机的广角镜头产生的鱼眼效应，并且然后在方法S100的后续框中处理该纠正的图像。在另一个示例中，系统可以：将原始图像(例如，存储在图像元数据中)被捕获时机器人系统的实际位置和取向与在最近的路径点中定义的目标定位和目标取向进行比较；变换(例如偏斜、解除变形)原始图像以表示相机的视野是位于路径点中定义的目标定位和取向的机器人系统；然后在方法S100的后续框中处理该纠正的图像。然而，系统可以以任何其他方式修改、解除变形、或以其他方式操纵由机器人系统捕获的图像。

在另一个实施方式中，系统(例如远程计算机系统)将机器人系统在一个路径点或沿着多个相邻路径点记录的多个原始图像拼接成一个完整货架段或货架结构的更大(例如全景)图像。在一个示例中，系统：接收由集成到移动机器人系统中的一组离散彩色相机在大约第一时间记录的第一组数字摄影图像，同时机器人系统占据邻近商店内第一货架段的第一路径点(例如，在第一时间机器人系统的第一定位和第一取向)；以及基于该组离散彩色相机在移动机器人系统内的已知位置将该组数字摄影图像组装成第一合成图像。在该示例中，系统然后可以：将第一路径点的地址(或者当该组原始图像被记录时机器人系统的第一定位和第一取向)和第一时间写入第一正确图像的元数据；并且在方法S100的后续框中处理该较大的合成图像。

可选地，在前述实施方式中，系统可以将由沿着机器人系统的桅杆垂直偏移的相机记录的和沿着沿着特定货架结构的一系列相邻路径点记录的图像拼接成特定货架结构的单个全景图像。系统然后可以将全景图像分割成离散区域(例如根据下面描述的方法和技术)，其中每个区域对应于特定货架结构内的一个货架段、一个货架、或一个槽。

9.图象分割

在一个变型中，该系统实施计算机视觉技术以从图像(例如，纠正的原始图像或合成图像)中检测和提取特征，该图像对在一个货架结构内的相邻货架段、在一个货架段内的相邻货架、分配给一个货架的相邻槽、和/或被布置在一个货架上的离散产品进行了描绘。然后，系统可以相应地将图像分割成离散区域，并分别处理该图像的每个区域以识别每个图像区域中一个或更多个产品的存在、不存在、和/或取向。

9.1货架段分割

在一个实施方式中，系统实施计算机视觉技术来区分在图像(例如，包含多个货架段的货架结构的全景图像)内表示的货架段。在一个示例中，系统针对包括货架结构的感兴趣的区域扫描图像，并围绕该感兴趣的区域裁剪图像，例如通过围绕最下面的线性边缘和围绕最上面的(线性或非线性)边缘裁剪图像以便移除图像中表示货架结构前面的地板表面和货架结构上方的天花板和开放体积(volume)的区域。在该示例中，该系统然后可以：关于(基本上、近似)连续的垂直线扫描图像中的感兴趣的区域，例如通过检测图像中的特征并提取从感兴趣的区域的底部附近延伸到顶部附近的基本上垂直、基本上线性的曲线；提取图像中感兴趣的区(或裁剪图像中的感兴趣的区域)中在两个相邻垂直线之间偏移大约货架结构中货架段的已知宽度的实际距离的区域；并且将图像的这个感兴趣的区域(region)或区(area)标记为表示单个货架段。系统还可以实施下述方法和技术以将货架段的地址写入该图像区域。

系统可以针对图像的在描绘在货架结构内的离散货架段的两条垂直线(例如，从图像中感兴趣的区域的底部附近延伸到顶部附近的基本线性曲线)之间的每个其他区域重复该过程。

9.2货架分割

在图1和图4中所示的一个变型中，方法S100包括框S122，框S122记述了检测表示为靠近第一图像的第一区域的第一货架。通常，在框S122中，系统可以将图像(例如，校正的图像、围绕货架段裁剪的合成图像)分割成对应于在该图像中表示的货架段中的离散货架上方的区或体积的区域。

在一个示例中，系统实施上述方法和技术以裁剪围绕第一货架段的第一货架结构的全部或一部分的合成图像。在这个示例中，系统然后：检测图像中的特征；从这组特征中提取横向延伸穿过图像(基本上是图像的整个宽度)的第一线性特征；从这组特征中提取第二线性特征，该第二线性特征横向延伸穿过图像(基本上是图像的整个宽度)，并在第一线性特征下方偏移近似整个商店货架结构的常规货架厚度或已知货架厚度的距离；并且将第一线性特征和第二线性特征与第一货架段中的第一货架(即，第一货架的上前缘和下前缘)相关联。在这个示例中，系统可以类似地：从这组特征中提取第三线性特征，该第三线性特征横向延伸穿过图像并在第一线性特征上方偏移；从这组特征中提取第四线性特征，该第四线性特征横向延伸穿过图像并在第三线性特征下方偏移近似常规或已知的货架厚度的距离；以及将第三线性特征和第四线性特征与第一货架段中第一货架上方的第一货架段中的第二货架相关联。

在前述示例中，系统然后可以定义图像的第一区域，其从第一线性特征的附近延伸到上方的第四线性特征的附近并且延伸穿过裁剪到第一货架段的宽度的图像的整个宽度。因此，该系统可以提取第一图像(围绕第一货架段裁剪的或以其他方式界定的)对应于第一搁架结构中第一货架段中第一货架上方的可访问体积的第一区域。该系统可以对第一货架段中和整个商店中的每个其他货架段中的每个其他货架重复该过程以生成一组图像区域，每个图像区域表示商店中一个货架上方的区域或体积。

该系统还可以实施下面描述的方法和技术以写入在每个图像区域中表示的货架的地址。然而，该系统可以实施任何其他方法或技术来分割图像中表示的单个货架周围的货架结构或货架段的图像。

9.3产品分割

在该变型中，方法S100还可以包括框S124，其记述了从第一图像的第一区域提取第一组特征。通常，在框S124中，系统可以通过放置在货架结构、货架段、或货架上的离散对象来分割(围绕该货架结构、围绕货架段、或在单个货架上方裁剪的或以其他方式界定的)图像。

在一个示例中，该系统实施计算机视觉技术以：检测围绕在第一货架上方的区或体积裁剪的第一图像的第一区域中的特征；并且例如通过识别描绘这些对象中的每一个对象的边界的边缘特征来检测穿过第一图像的第一区域中的第一货架布置的一组离散对象。然后，该系统可以：提取第一图像的第一区域中的第一子区域，或者围绕第一子区域裁剪第一图像的第一区域，该第一子区域对应于在第一图像中的第一货架上的第一位置中示出的(在该组离散对象中的)第一离散对象；并且对在第一图像的第一区域中检测到的其他离散对象重复该过程，以生成一组离散图像子区域，每个离散图像子区域表示布置在第一货架上唯一定位中的一个离散对象。

一旦图像的子区域被围绕图像中表示的对象进行裁剪或以其他方式进行界定，则系统可以实施下面描述的方法和技术以从该子区域提取特征，并且然后响应于在这些特征和表示特定产品的模板图像中的特征之间的相关性，将该对象识别为特定产品的单元。然而，该系统可以实施任何其他方法或技术来围绕图像中表示的单个货架分割货架结构或货架段的图像。

9.4槽分割

在这个变型中，系统还可以通过槽分割图像，围绕货架结构、货架段、或货架进行裁剪或以其他方式进行界定。

在一个示例中，系统：实施上述方法和技术，以检测在围绕第一货架段裁剪的第一图像中的第一货架的上前缘和下前缘；检测第一图像的位于第一货架的上前缘和下前缘之间的部分中的特征；将沿着第一图像的该部分的特征组识别为附着到第一货架的货架标签；并检测每个识别的货架标签的左边缘。对于表示第一货架段中的第一货架的第一图像的第一区域，系统然后可以在单个槽内进行下列图像的子区域相关联：1)从第一货架标签的左边缘横向延伸到第二货架标签的左边缘、延伸到第一货架标签的右边缘(或者延伸图像的右边缘)，以及2)从第一货架的上前缘垂直延伸到下前缘、延伸到上方的第二货架(或者延伸到图像的顶部边缘)。该系统可以对图像第一区域中的其他子区域重复该过程，以检测货架上的多个离散的槽。

在该示例中，系统还从第一货架段的图像的该部分提取这些货架标签的相对位置，并将这些相对位置与货架图分配给第一货架的相对槽位置进行比较，以便确认这些货架标签的实际位置与商店的当前库存计划一致。在该示例中，如果这些货架标签的数量和相对位置与货架图相匹配，则系统可以基于货架标签位置来定义沿着第一货架的槽定位，如上所述；否则，系统可以将货架图中定义的槽定位投影到第一货架段的图像上或第一货架的(图像中的)第一区域上，如下所述。

在该示例中，系统还可以：读取条形码、提取SKU或其他产品标识符、和/或从在第一图像中检测到的第一货架标签读取价格；确认从第一货架标签读取的这些数据与根据货架图分配给相邻槽(例如，在第一货架标签的上方和右侧)的数据一致。如果从第一货架标签读取的数据与货架图中指定的数据一致，则系统可以定义相对于图像中的第一货架标签的第一槽位置，如上所述，并将这些货架标签数据视为槽的基本事实。否则，系统可以在框S160中标记第一货架标签以进行纠正，并且将货架图视为第一槽的基本事实，例如通过将货架图中定义的槽定位投影到图像上以定义第一槽，如下所述。

在另一个示例中，系统通过根据货架的槽尺寸(例如存储在槽索引中或由货架图定义)自动描绘图像中的区域来识别图像中对应于槽的区域。在该实施方式中，该系统可以：直接从图像元数据(例如，从关联到图像的路径点，或者当图像被记录到货架图时，通过参考机器人系统的定位和取向)检索货架地址——对于捕获图像的相机视野中的货架，如下所述；通过将货架地址传递到插槽索引(例如，电子表格)中，检索特定货架上槽的槽尺寸(例如，槽宽度)和槽位置；和将分配给货架的槽尺寸、槽位置、和槽地址映射到图像上(例如，映射到对应于第一货架的图像的第一区域上)。在这个示例中，系统可以基于(关联到机器人系统上的特定相机的垂直位置的)特定相机的地址和基于(关联到商店中特定货架结构内已知定位的特定货架段中的特定货架的垂直位置的)特定货架的地址来预期图像中特定货架的垂直位置。在该示例中，系统然后可以实施计算机视觉技术(例如，边缘检测)来基于图像中特定货架的预期垂直位置来检测图像中特定货架(例如，四英尺长的货架)的整个跨度，将槽索引中定义的槽宽度字符串映射到图像中对应于特定货架的区域，且因此根据槽宽度的字符串将图像中的在特定货架上方的区域描绘为不同的槽。

因此，该系统可以描绘图像中的对应于图像中所示货架上的预定槽的“槽区域”(例如，一行矩形槽区域)。此外，槽索引(或产品定位数据库或货架图)可以将SKU分配给每个槽地址，并且系统可以将SKU从槽索引投影到图像中表示相对应的槽地址的区域上。

在类似的实施方式中，该系统可以通过将货架图的一部分直接映射到图像并根据货架图中所示的产品界面描绘图像的区域来识别图像中与图像中表示的货架上的槽相对应的区域。在该实施方式中，该系统可以：从图像元数据(或从对应的路径点)检索货架结构地址和货架部分地址；针对货架结构地址检索货架图；选择在货架图中对应于在图像中表示的货架段的区域；以及然后实施计算机视觉技术来倾斜、缩放、平移、和/或旋转货架图的选定区域以(例如通过检测图像中对应于货架的界面的边缘，并将货架图中的货架边缘与图像中检测到的货架边缘对齐)使其与图像中所示的区域对齐。然后，系统可以关于货架图的选定区域中指定的每个界面将图像分割成一个槽区域，并将来自货架图中定义的槽的SKU写入图像中相对应的槽段上。

10.模板图像选择

方法S100的框S130记述：基于第一定位、第一取向、和第一图像内第一货架的垂直位置访问第一货架的地址；以及基于第一货架的地址检索根据商店的货架图分配给第一货架的第一产品列表。方法S100的框S140记述了，从模板图像数据库中检索第一组模板图像，其中，第一组模板图像中的每个模板图像包括在第一产品列表中指定的产品的可视化特征。通常，在框S130中，系统识别图像区域中表示的货架地址，并检索被分配给该货架的产品列表(例如，产品列表)；在框S140中，系统可以从表示大范围的产品的模板图像的大数据库(例如数百万)中检索表示该列表中产品的模板图像的相对小的子集(例如数十个)。特别地，在框S130和S140中，系统将可用模板图像的相对大的数据库向下减少到图像中表示的被分配给该货架(并且从而基本上可能存在于该货架上)的产品的小模板图像组。然后，在框S150和S152中，系统可以将从货架上方(或下方)的图像区域提取的特征与该相对小的模板图像组中的模板图像中的特征进行比较，以确认被分配给该货架的产品的单元的存在、不存在、和/或取向。

(系统可以实施类似的方法和技术，以：在框S130中，识别图像中表示的槽、货架段、或货架结构的地址，并检索被分配给该槽、货架段、或货架结构的产品列表(例如，产品列表)；在框S140中，从模板图像数据库中检索表示在该列表中的产品的相对小的模板图像组；并且在框S150和S152中，基于从图像中提取的特征和模板图像组中的特征之间的相关性，确认被分配给该槽、货架段、或货架结构的产品的单元的存在、不存在、和/或取向。)

10.1模板图像数据库

系统维护模板图像数据库，其中，模板图像数据库中的每个模板图像：与产品的标识符(例如SKU)相关联；并且包括产品或产品包装的全部或一部分的照片或图形(例如，计算机绘制的)表示。模板图像数据库中的每个模板图像还可以用产品描述、供应商、供应期、图形发布日期、辅助图形、条形码、调色板、包装简档(例如，包装形状和尺寸)、和/或其他定量或定性产品包装特征或描述符来标记。此外，模板图像数据库中的每个模板图像可以用产品包装取向标记。例如，对于与特定SKU相关联并被包装在六面盒子中的一个产品，模板图像数据库可以包括：第一模板图像，该第一模板图像方形地显示盒子的正(或“主”)面并相应地进行标记；第二模板图像，该第二模板图像方形地显示盒子的背面，并相应地进行标记；第三模板图像，该第三模板图像方形地显示盒子的右侧面，并相应地进行标记；第四模板图像，该第四模板图像方形地显示了盒子的左侧面，并相应地进行标记；第五模板图像，该第五模板图像方形地显示盒子的顶面，并相应地进行标记；和第六模板图像，该第六模板图像方形地显示盒子的底面，并相应地进行标记。在该示例中，模板图像数据库可以进一步包括：第七模板图像，其有角度地示出盒子以均匀地暴露盒子的正面和右侧面两者，并相应地进行标记；第八模板图像，其有角度地示出盒子以暴露盒子的正面、右侧面、和顶面，并相应地进行标记；等等。对于模板图像数据库中表示的每个产品，模板图像数据库还可以包含：多个模板图像，其表示产品的表示单元上的各种照明条件；产品包装的损坏示例(例如，凹陷的罐子、撕裂的盒子)；和/或季节性产品包装(即，在特定季节或时间段提供的产品包装)；等等。

在一个变型中，模板图像数据库中的模板图像可以包括表示产品包装上的可视化特征的多维矩阵或向量，而不是可视化数据。例如，该系统可以：汇总和维护库存和现场图像产品的数据库；实施计算机视觉技术，以从这些库存和现场图像中提取特征，并将这些特征转换成多维向量；并且，然后用多维向量形式的模板图像填充模板图像数据库。因此，在该示例中，该系统可以：在框S130中，检索一组多维向量，该组多维向量中的每个多维向量在框S130中定义表示被分配给货架、货架段、或货架结构等的产品列表中的产品的特征。当将该组中的多维向量与货架、货架段、或货架结构的图像中表示的产品相匹配时，该系统可以：在框S122中，分割表示在货架段中的货架的图像的第一子区域；识别图像中界定图像中的第一离散对象的第一区域中的第一子区域；实施计算机视觉技术来从图像的第一区域中的第一子区域检测和提取第一组特征(包括几何、颜色、和/或文本特征等)；以及计算从图像的第一子区域提取的第一组特征中的特征与由在从模板图像数据库检索的多维向量组中的第一多维向量定义的特征(表示第一产品)之间的相关性的综合分数；并且然后，如果综合分数超过阈值分数，则在框S150中将图像的第一子区域中表示的第一对象识别为第一产品的单元，并且在框S152中反之亦然。

然而，模板图像数据库可以包括表示产品或产品包装的任何其他视图和包括任何其他相关数据(例如，以其进行标记)的模板图像。

10.2按货架结构对模板图像数据库进行过滤

在一个实施方式中，系统从模板图像数据库中选择模板图像组，其表示沿着货架结构的高度和长度被分配给槽的产品的可视化特征。在该实施方式中，在框S130中，系统可以读取存储在图像的元数据中的货架结构地址(或“ID”)，检索与机器人系统在图像(或相关原始图像)被记录时占据的路径点(接近)相关联的货架结构地址，或者在图像(或相关原始图像)被记录到商店的建筑平面图中时投影机器人系统的定位和取向以确定货架结构的地址。在框S130中，然后，系统可以将货架结构地址传递到货架图、槽索引、产品定位电子表格、或与商店相关联的其他产品定位数据库中以检索被分配给跨越该货架结构的槽的产品列表(例如，产品列表)。

然后，在框S140中，系统可以从模板图像数据库中检索模板图像组，其显示该产品列表中的产品的一个或更多个侧面。例如，商店内的货架结构可以存放80个唯一的产品界面。在这个示例中，该系统可以：在框S130中，基于存储在图像元数据和产品定位数据库中的货架结构地址聚集被指定用于存放在该货架结构上的80个唯一SKU的列表；并且在框S140中，从与数百万个唯一产品相关联的数百万个模板图像的数据库汇总80个模板图像的组，其中，该组中的每个选择的模板图像表示关于与货架结构地址相关联的产品列表中的一个产品的包装的主面(例如，盒子、袋子、罐子、或瓶子等的正面)。

在前述示例中，对于被分配到货架结构的80个唯一产品的组，系统可以汇总来自数百万个模板图像的数据库中的480个模板图像，其用于随后与图像进行比较，其中，每个模板图像表示关于被分配给货架结构的一个产品的包装的六个侧面中的一根侧面，并且其中480个模板图像组包括80个产品中的每个产品的包装的每个侧面的一个模板图像。可选地，系统可以从模板图像数据库中检索根据货架图被分配给货架结构的产品的所有可用模板图像(或所有优先化或最高等级的模板图像)，例如：瓶装或罐装产品的三个模板图像(例如，如可用的，关于产品垂直轴的0°、120°、和240°位置的模板图像)；袋装产品的两个模板图像(例如，如可用的，前模板图像和后模板图像)；和盒装产品的六个模板图像(例如，如可用的，前、后、左、右、顶部、和底部模板图像)。该系统还可以优先化或选择表示被分配到货架的产品的当前已知包装设计的模板图像。例如，系统可以对从模板图像数据库中检索的模板图像组进行过滤，以包括以下模板图像：仅表示当前季节的季节性产品包装；或者如果不同于标准产品包装，则表示当前季节的标准产品包装和季节性产品包装两者。该系统还可以选择性地对从模板图像数据库中检索的模板图像进行过滤，以表示特定产品的先前产品包装和在从特定产品的先前产品包装过渡到其新产品包装期间的特定产品的新产品包装两者。在又一示例中，系统可以通过照明条件对模板图像数据库中的模板图像进行过滤以便当图像(或最初原始图像)被记录时匹配货架结构附近的已知、测量的、或检测到的照明条件。

然而，在框S140中，系统可以通过任何其他参数对从模板图像数据库中检索到的图像的模板图像进行过滤，以便累积相对小的模板图像组，其包含(或定义)表示最可能位于货架结构上的并在图像中示出的产品(即产品的产品包装)的可视化信息。

10.3按货架段对模板图像数据库进行过滤

在另一实施方式中，系统从模板图像数据库中选择模板图像组，其表示被分配给货架结构中的单个货架段中的槽的产品的可视化特征。在该实施方式中，在框S130中，该系统可以实施上述方法和技术，以例如通过以下操作来访问图像中表示的货架段的地址：检索与记录图像(或相关原始图像)的路径点相关联的货架段地址；或者利用在记录图像(或相关原始图像)时机器人系统的定位和取向来查询商店的货架图或建筑平面图以检索此时面向机器人系统的货架段的地址。该系统然后可以：在框S130中，将货架段地址传递到产品定位数据库中以检索被分配到货架段内货架的产品列表(例如，一组SKU)，如上所述；并且在框S140中，汇总来自模板图像数据库的相对小的模板图像组，其包含表示被分配到货架段的产品列表中的产品(例如，产品包装)的数据(例如，以图像、向量、或矩阵格式)。

例如，对于被分配给与特定货架段地址相关联的特定货架段的20个产品的列表，在框S150和S152中，系统可以汇总来自数百万模板图像的数据库中的20个模板图像，以用于随后对特定货架段的图像进行比较，其中每个模板图像表示被分配给特定货架段的产品列表中的一个产品的产品包装的主面。在该示例中，系统还可以汇总该产品列表中的产品的附加模板图像(例如表示可选的或季节性产品包装、产品包装的其他侧面、或这些产品的受损产品包装，如上所述)。

10.4按货架对模板图像数据库进行过滤

在又一个实施方式中，系统从模板图像数据库中选择模板图像组，其表示被分配给商店中单个货架段内的单个货架中的槽的产品的可视化特征。在该实施方式中，系统可以：如上所述，检索货架段地址；检测图像中所示货架段内特定货架的垂直定位(例如，在框S122中)；以及基于货架段地址和特定货架的垂直位置检索特定货架的地址。该系统然后可以：如上所述，在框S130中，将货架地址传递到产品定位数据库中，以检索被分配给特定货架的产品列表(例如，一组SKU)；并且在框S140中，从模板图像数据库汇总相对小的模板图像组，其包含表示被分配到特定货架的产品列表中的产品(例如，产品包装)的数据(例如，图像、向量、或矩阵格式)。

例如，对于被分配到特定货架的五个产品的列表，系统可以汇总五个模板图像的组以用于随后与图像进行比较，其中该五个模板图像的组中的每个模板图像表示产品列表中一个产品的正面。在该示例中，该系统还可以汇总该产品列表中的产品的附加模板图像(例如表示可选的或季节性产品包装、产品包装的其他侧面、或这些产品的受损产品包装，如上所述)。

10.5按槽对模板图像数据库进行过滤

在另一个实施方式中，系统从模板图像数据库中选择模板图像组，其表示被分配给商店中单个货架段内一个货架上的单个槽的单个产品的可视化特征。在该实施方式中，系统可以：检索包含特定槽的货架的地址，如上所述；检测图像中所示货架段内特定货架的水平位置；以及基于货架地址和沿着货架的特定槽的水平定位来检索特定槽的地址。在框S140中，系统然后可以：将槽地址传递到产品定位数据库中以检索被分配给特定槽的单个产品的SKU，如上所述；并且从模板图像数据库中检索单个模板图像或相对小的模板图像组，其包含表示被分配给特定槽的这个单个产品的数据(例如，以图像、向量、或矩阵格式)。

10.6根据货架标签数据对模板图像数据库进行过滤

在一个变型中，该系统：实施计算机视觉技术来检测图像内货架上的产品标签；在框S130中，读取条形码、QR码、SKU、产品描述、和/或其他产品标识符；在框S140中，选择用相同条形码、QR码、SKU、产品描述、界面计数、和/或其他产品标识符标记的模板图像组；并且将该模板图像组分配给图像中靠近产品标签(例如，上方)的槽区域。在该变型中，系统然后可以，在框S152中，直接基于出现在应用于货架的产品标签上的产品界面计数和产品标识符数据确定在相对应的槽中的货架上布置的产品的状态。可选地，系统可以通过将从产品标签读取的产品标识符传递到产品定位数据库中来检索槽的存放要求，并将这些存放要求与被标记到与图像中的槽区域匹配的模板图像的数据进行比较以确定槽的存放状态，如下所述。

然而，该系统可以实施任何其他方法和技术来从相对大的模板图像组中选择相对小的模板图像组以用于与图像中的一个或更多个区域(或“槽区域”)进行比较。

因此，该系统可以从模板图像数据库中汇总模板图像组以用于基于以下因素与图像进行比较：捕获图像时机器人系统的位置；靠近机器人位置的过道、货架结构、货架段、货架、和/或槽；以及被指定用于存放在该过道内或该货架结构、货架段、货架、和/或槽上的产品的SKU。特别地，该系统可以汇总对应于以下项的模板图像组(以用于随后与图像进行比较，以识别在货架结构上存放的产品的存在或状态)：被指定用于特定槽的单个产品到被指定用于特定槽上方、下方、和/或旁边的槽的多个产品；被指定用于单个货架的多个产品；被指定用于单个货架段中的一组货架的多个产品；被指定用于单个货架结构中的多个货架段的多个产品；或者，被指定用于两个相对货架结构的多个产品；等等，如在产品定位数据库、货架图、槽索引等中定义的。在框S140中，系统可以组合(assemble)这组模板图像，其包括来自在块S130中识别的每个产品的产品包装的各个侧面、照明条件、取向、图形发布等的图像。然而，该系统可以实施任何其他方法或技术来将一个或更多个SKU关联到图像，并且该系统可以以任何其他方式并根据任何其他参数从相对大的模板图像数据库填充相对小的模板图像组。

10.6当前货架图

在前述实施方式中，在框S130中，系统可以收集产品列表，并且在框S140中，收集符合图像时间限制的相对应的模板图像组。特别地，该系统可以：从存储在图像元数据(或相关原始图像的元数据)中的时间戳中提取图像的日期和时间；选择当前关于图像时间戳的日期和时间的产品定位数据库、货架图等，如在图1中所示；并汇总由该当前产品定位数据库、当前货架图等分配到在图像中示出的槽、货架、货架段、或货架结构等的产品列表。例如，商店中的产品可以被重新安排或移除，并且新产品可以随着时间的推移被添加到商店中，例如为即将到来的假期做准备，预期季节性变化等，例如基于每天、每周、每月、每季、或每年，并且这些变化可以在商店的一组货架图中进行定义。因此，在框S130中，系统可以汇总通过当前货架图(或者通过包含来自当前货架图的数据的当前产品定位数据库)分配给特定槽、货架、货架段、或货架结构等的产品(例如SKU)的列表，以便适应对整个商店中的产品定位分配的这种每日、每周、每月、每季、每年、计划、和未计划的改变。

类似地，在框S140中，系统可以选择当前到记录图像的时间(例如，当前到存储在图像元数据中的时间戳)的模板图像。例如，对于在框S130中生成或访问的产品列表中指定的每个产品，在框S140中，系统可以汇总表示该产品的当前(例如，“最新的”、最近的)产品包装和最近的前产品包装两者的模板图像组。在该示例中，在框S150和S152中，系统可以：优先将当前包装的模板图像与图像中的相对应的区域进行比较，以检测这些产品的单元在其当前包装中的存在；以及然后如果没有确认与当前包装的模板图像的匹配，则将这些产品的先前包装的模板图像与图像中的相对应区域进行比较。因此，在框S140中，系统可以汇总当前的模板图像和过时的模板图像两者以便在框S150中支持检测当前的产品包装和过时(例如，“过期”)的产品包装。

该系统可以在框S140中实施类似的方法和技术以从大量产品的定量或定性产品包装特征的数据库中收集图形、文本、条形码、调色板、包装简档(例如形状)、和/或其他定量或定性产品包装特征，其表示产品(小)列表中的产品以为检测和表征机器人系统记录的图像中显示的产品作准备。

11.产品标识和库存状态

方法S100的框S150记述了，响应于第一组特征中的特征和表示第一产品的在第一组模板图像中的第一模板图像中的特征之间的相关性，在框S150中确认第一产品列表中的第一产品的单元存在于第一货架上。通常，在框S150中，系统：通过将与特定产品相关联的模板图像中的特征与从图像区域提取的特征相匹配，检测特定货架上特定产品的单元(对应于框S140中选择的模板图像)的存在；并且确认特定货架上特定产品的存在和定位与根据商店货架图分配到相对应的槽的库存要求一致。

类似地，方法S100的框S152记述了响应于第一组特征中的特征和第一模板图像中的特征之间的偏差，确定第一产品的单元被不正确地存放在第一货架上。通常，在框S152中，系统基于被分配给图像中示出的槽的产品的模板图像中表示的特征与从图像中与该槽相对应的区域提取的特征的不匹配，确定特定槽没有产品、包含定向错误的产品、包含不正确的产品、或者以其它方式偏离了货架图中指定的库存要求。特别地，系统可以执行框S150和S152以基于由货架图、产品定位数据库、或其他产品库存文档定义的产品定位和其他库存要求，确定：是否存在产品界面；产品包装的主面是否在货架上面向外(即产品在架子上正确定向)；产品是否包装直立；产品包装是否被设置在货架上的正确深度处；产品包装是否受损；产品的正确界面数量是否被显示；产品包装是否是当前的；等等。

11.1特征匹配

在框S150中，系统可以实施模板匹配技术，以将图像的区域(或子区域)与表示被具体分配到图像中所示的槽、货架、货架段、或货架结构的一组产品的模板图像组进行比较。例如，系统可以：按货架分割图像；提取与图像中所示的第一货架相对应的图像的第一区域；在第一货架上显示的对象周围裁剪第一区域(即，从第一区域移除背景区域)；并且实施边缘检测、对象检测、或其他计算机视觉技术，以识别图像的第一区域中的离散子区域，其中每个子区域表示被布置在第一货架上的单个对象(例如，产品的单个单元)。(在该示例中，系统还可以将在货架图中关于第一货架定义的槽尺寸投影到图像的第一区域上，以通知或引导对第一货架上的离散对象的检测)。该系统然后可以实施模板匹配技术，以将图像的第一区域的每个子区域与在模板图像组中关于第一货架选择的模板图像进行比较，直到找到匹配为止或者直到针对每个子区域用尽模板图像组为止。

在前述示例中，该系统还可以：从图像的第一区域的第一子区域提取主要颜色或相对颜色值的代表性光谱；并且然后根据模板图像中的主要颜色或相对颜色值的代表性光谱与图像的第一子区域之间的相似性，对模板图像组进行排序、优先排序、或过滤，以与第一子区域进行比较。类似地，该系统可以：实施光学字符识别、对象检测、或其他计算机视觉技术，以从图像的第一子区域提取文本和/或对象几何形状；并且然后根据模板图像上所示的文本和/或模板图像中所表示的产品的几何形状与图像的第一子区域上显示的文本和/或图像的第一子区域中表示的产品的几何形状之间的相似性，对模板图像组进行排序、优先排序、或过滤，以与第一子区域进行比较。然而，系统可以基于从图像的第一子区域读取或提取的任何其他特征，对模板图像组进行排序、优先排序、或过滤，以与图像的第一子区域进行比较。然后，系统可以根据排序或优先级，系统地将被分配到第一个货架的产品的模板图像与图像的第一子区域进行比较，直到找到匹配为止或者直到针对第一子区域用尽模板图像组为止。系统可以针对图像的第一区域中的每个其它子区域重复该过程。

此外，在该示例中，系统可以计算图像的子区域和模板图像组中表示被分配到第一货架的产品的模板图像之间的匹配的分数(例如，“置信度分数”、“相似性分数”)，例如与出现在子区域和模板图像中的相似相对位置中的匹配特征的数量成比例。例如，该系统可以：计算图像中的第一子区域和被分配到第一货架的产品的模板图像组中的每个模板图像之间的相似性分数；响应于在第一子区域和表示第一产品的第一模板图像之间的相似性分数超过该组中模板图像的所有其他相似性分数并超过预设阈值相似性分数，将在第一子区域中表示的对象识别为第一产品。特别地，在前述实施方式中，响应于从图像的第一子区域提取的特征和表示第一产品的第一模板图像中表示的特征之间的相对强的相关性，系统可以在框S150中将图像的第一区域的第一子区域中表示的离散对象识别为第一产品的单元。然后，系统可以用由第一模板图像表示的产品的SKU或其他标识符来标记图像的第一子区域。此外，如果第一模板图像被用附加数据(例如第一产品的包装侧面、包装取向、产品描述、供应商、供应期、图形发布日期、包装损坏等)进行标记，则系统还可以将这些数据复制到图像的第一子区域(例如以标签或图像元数据的形式)。

然而，如果系统未能计算到在图像的第一区域的第一子区域和组中的模板图像之间的相似性分数超过阈值相似性分数，则在框S152中，系统可以确定模板图像组中表示的产品没有被正确地存放(例如，存在、定向)在第一货架上对应于第一子区域的位置中；因此，系统然后可以标记图像的第一子区域以用于与分配给附近的其他货架、货架段、和/或货架结构的产品的更大的模板图像组进行比较。

可选地，该系统可以：跨越图像的第一区域的宽度和高度扫描在模板图像组中的第一模板图像；计算跨越图像的第一区域的第一模板图像的最佳位置、取向、和相似性分数；对组中的每个其他模板图像重复该过程；并且然后用来自模板图像的表现出超过阈值相似性分数的最大相似性分数的产品标识符标记图像的第一区域中的离散子区域，如在图1中所示。因此，在框S150中，系统可以将图像的第一区域的离散子区域与来自模板图像的与这些子区域匹配(例如，表现出超过阈值相似性分数的最大相似性分数)的产品标识符进行标记或关联。在该实施方式中，如果系统未能计算到图像的第一区域的第一子区域和组中的模板图像之间超过阈值相似性分数的相似性分数，则在框S152中，系统可以确定模板图像组中表示的产品没有存放在第一货架上或者没有正确地在第一货架上进行定向。此外，如果系统检测到除了代表在图像的未标记的或与组中的模板图像不匹配的子区域中的裸货架以外的特征，则系统可以标记该图像的子区域以用于与分配到附近的其他货架、货架段、和/或货架结构的更大的产品的模板图像组进行比较。

在前述实施方式中，系统可以实施模板匹配、边缘检测、模式匹配、模式识别、光学字符识别、颜色识别、基于内容的图像检索、姿势估计、代码读取、形状识别、和/或任何其他合适的方法或技术以检测图像的第一区域中的对象并将该对象与在与粒子产品(particleproduct)相关联的模板图像中表示或定义的特征相匹配。该系统可以重复该过程，以将该组中的模板图像与图像的第一区域中的其他子区域相匹配，并用来自匹配的模板图像的数据标记图像中的这些其他子区域。该系统还可以针对与图像中表示的其他货架相对应的每个其他区域、整个商店中每个其他货架段的其他图像等重复该过程。

该系统还可以将产品标识符(例如SKU)和由此关联到图像中的子区域的其他产品数据汇总成在一个货架上、在一个货架段上、或沿图中所示的完整货架结构存放的产品的库存地图(或2D图像覆盖图、电子表格等)。例如，该系统可以将图像中的子区域(其中离散对象被检测到并与模板图像匹配)转换成图像中所示的一个或更多个货架上的槽容器的库存地图，其中每个槽容器用产品标识符(例如SKU)、包装侧面、包装取向、和/或从模板图像中提取的与图像中的相对应的区域匹配的其他数据以及在图像的相对应的子区域中是否检测到对象来标记。可选地，在上述系统在将图像的子区域与模板图像进行比较之前基于槽索引(或产品定位数据库等)将图像中的子区域描绘为离散槽的变型中，系统可以基于槽索引(或产品定位数据库等)为图像中所示的每个槽生成槽容器的库存地图；当在框150中图像中的区域与模板图像匹配时，系统然后可以将来自模板图像的产品数据复制到库存地图中的相对应的槽容器中。如果没有检测到指示产品的特征或者如果在图像的相对应的子区域中分别检测到指示错误产品的特征，则系统还可以在框S152中将库存地图中的槽容器标记为空或者包含不正确的产品。然而，该系统可以以任何其他格式或容器存储来自与图像中的子区域匹配的模板图像的产品标识和其他数据。

11.2产品取向

在图1和图2中所示的一个变型中，该系统基于图像中代表产品的特征的存在和相对位置来确定在图像的子区域中被识别的该产品的取向。系统然后可以在方框S150和S152中将检测到的该产品的取向存储在库存地图中的其相对应的槽容器中，如上所述，并且如果取向不同于由货架图定义的可接受的取向范围则向该槽容器写入标记。

在一个实施方式中，该系统：将从图像的第一区域的第一子区域提取的第一组特征中的特征与第一产品的第一模板图像中定义的第一批特征相匹配，以确认对应于图像中的第一子区域的定位处在第一货架上存在第一产品(例如瓶装或罐装产品)的单元；根据从图像的第一子区域提取的第一组特征确认不存在在第一模板图像中定义的第二批特征；以及然后基于图像的第一子区域中的第一组特征中的第一批特征的存在、图像的第一子区域中的第一组特征中的第二批特征的不存在、以及在第一模板图像中定义的第一批特征和第二批特征的相对位置，计算货架上的第一产品的单元的取向(例如，第一产品的单元围绕垂直轴的旋转取向)。

在模板图像数据库包含产品正面的模板图像或具有相对于产品正面的已知取向的图像的实施方式中，当模板图像与图像中的第一子区域匹配时，系统可以计算将模板图像倾斜成与图像的第一区域的第一子区域中表示的对象对齐的变换。一旦第一模板图像与图像的第一子区域匹配，则系统可以基于将第一模板图像倾斜成与图像的第一子区域中所示的第一对象的单元对齐的变换来计算图像的第一子区域中表示的产品的单元的角旋转。

又或者，模板图像数据库可以包括各种已知相对取向的产品的模板图像，并且该系统可以：在框S130中，选择表示被分配到第一货架的产品的多个取向的模板图像；将第一货架的第一图像的子区域与第一产品处于一个或更多个已知取向的一个模板图像或模板图像组进行匹配；并且，然后在匹配的模板图像中的产品取向之间插值以计算在图像的第一子区域中表示的第一产品的单元的取向。

在前述实施方式中，如果货架上的第一产品的单元的取向不同于根据货架图针对相应的槽指定的目标取向(例如，0°)或目标取向(例如，+/-10°)，则系统可以随后生成重新存放提示以纠正第一货架上的第一产品的单元的计算发或估计的取向。然而，系统可以实施任何其他方法或技术以基于包含在图像中的可视化数据来在框S1150中计算或估计货架上的产品的单元的取向。

该系统可以实施类似的方法和技术以估计产品的单元的相对于包含产品的货架边缘的深度；并且该系统可以类似地处理在实际产品深度和根据货架图针对相对应的槽指定的目标产品深度之间的偏差。

11.3横向产品位置

在另一变型中，该系统确定货架上产品的横向位置，并基于在该货架的图像中检测到的特征的相对位置来识别产品的位置和根据货架图指定的位置之间的差异。系统然后可以在框S150和S152中将检测到的该产品的位置存储在库存地图中的其相对应的槽容器中，如上所述，并且如果检测到的横向位置不同于根据货架图定义的可接受的取向范围，则向该槽容器写入标记。

在一个实施方式中，该系统：实施上述方法和技术以检测图像中的第一货架标签；定义图像中第一槽相对于第一货架标签的位置的边界；并且基于表示被包含在第一槽的边界内的产品的单元的特征的比例，确认被分配到第一槽的该产品的单元的横向位置。例如，该系统可以：识别表示第一货架的图像的第一区域的底边缘附近的第一货架标签；检测架子上靠近第一货架标签的对象；在框S150中将第一对象识别为第一货架上的第一产品的单元，如上所述；提取从第一货架标签的左垂直边缘到第一产品的单元的左垂直边缘的水平距离；以及然后如果该水平距离超过阈值距离(例如，根据货架图指定的阈值距离的默认阈值距离)，则确定第一产品的单元在第一货架上被错误定向。特别地，系统可以确认在货架上检测到的产品的单元的左边缘与最近的货架标签(或指定相同产品的货架标签)的左边缘(在预设公差范围内)对齐，并且否则将该产品的单元标记为货架上被错误定向。

在另一实施方式中，该系统基于第一产品的单元与货架上检测到的第二产品的单元之间的相对距离以及根据货架图被分配到货架的这些产品之间的距离来确认第一产品的单元的横向位置。例如，该系统可以：检测跨越图像的第一区域中表示的第一货架布置的一组离散对象；识别图像的第一区域中与该组离散对象中的第一离散对象相对应的第一子区域；从第一图像的第一区域中的第一子区域提取第一组特征；以及在框S150中响应于第一组特征中的特征和第一组模板图像中的第一模板图像(表示第一产品)中的特征之间的相关性，将第一离散对象识别为第一产品的列表中的第一产品的单元。响应于从图像的第一区域中的第二子区域提取的第二组特征中的特征与第一组模板图像中表示第二产品的第二模板图像中的特征之间的相关性，系统可以重复该过程以将该组离散对象中的第二离散对象识别为第一产品的列表中的第二产品的单元。一旦第一产品的单元和第二产品的单元被在图像中识别出，如果在第一货架上的第一产品的单元的第一位置和第二产品的单元的第二位置之间的横向偏移偏离根据货架图被分配到第一货架上的第一产品和第二产品的目标横向偏移，则系统可以检测到第一产品的单元和第二产品的单元在第一货架上的不正确布置。

在前述实施方式中，如果在框S152中系统确定产品的单元相对于相对应的货架标签的横向位置超过预设公差，则在框S160中系统可以生成重新存放提示以纠正产品的单元在货架上的取向。例如，响应于在框S150中检测到第一产品和第二产品在第一货架上的不正确布置，系统可以在框S160中生成指定对第一产品的单元和第二产品的单元的相对位置的纠正的重新存放(restocking)提示。

然而，该系统可以以任何其他方式来检测和处理货架上的产品单元的不正确的横向布置。

11.4确认界面计数

在图1和图2中所示的又一变型中，该系统对货架上检测到的特定产品的产品界面的数量进行计数，将货架上的特定产品的该界面的数量与根据货架图被分配到货架的特定产品的产品界面的数量进行比较，并且如果特定产品的界面的实际数量不同于(例如，小于或超过)根据货架图指定的界面的数量，则向库存地图中的相对应的槽容器写入标记。

在一个示例中，该系统：实施上述方法和技术，以在框S150中确认在对应于第一货架的图像的第一区域中表示的第一产品的一组离散单元的存在(例如，响应于从图像的第一区域提取的一组特征中的离散特征群，其表现出与表示第一产品的第一模板图像中的特征的强相关性)；生成在第一货架上检测到的第一产品的离散单元集合中的第一产品的单元的计数；如果计数等于根据货架图被分配到第一货架的第一产品的界面的数量，则确认第一货架上的第一产品的正确存放。然而，在该示例中，该系统可以：响应于计数偏离根据货架图被分配到第一货架的第一产品的界面的数量，检测第一货架上的第一产品的不正确存放；并且然后响应于检测到第一货架上的第一产品的不正确存放，生成指定对第一货架上的第一产品的界面的纠正的重新存放提示。

然而，该系统可以实施任何其他方法或技术来对图像中所示货架上的产品界面进行计数并处理实际产品界面和在货架图中指定的目标产品界面之间的偏差。

11.5包装变型

在另一变型中，系统识别货架上产品的产品包装，确认产品(例如，产品SKU)是正确的，并且然后确定该产品包装是否满足货架图的要求。

在一个实施方式中，该系统通过将图像的第一子区域中表示的特征与已知包装变型中的第一产品的第一模板图像相匹配，将图像的第一子区域中检测到的第一对象识别为第一产品的单元，并且然后将由第一模板图像表示的已知包装变型与货架图进行比较，以确认第一产品的单元是否满足根据货架图定义的存放要求。例如，该系统可以：在框S124中，从图像的对应于图像中表示的第一货架上的第一槽的子区域提取第一组特征；在框S130中，检索根据货架图被分配到第一槽的当前包装中的第一产品的第一模板图像和先前包装中的第一产品的不同于当前包装的第二模板图像；响应于第一组特征中的特征和第一模板图像中的特征之间的相关性，确认当前包装中的第一产品的单元在第一槽中的存在；以及响应于第一组特征中的特征和第二模板图像中的特征之间的相关性，确认在先前包装中第一产品的单元在第一槽中的存在。在该示例中，系统然后可以响应于确认先前包装中的第一产品的单元在第一货架上的存在生成重新存放提示以将先前包装中的第一产品的单元替换为当前包装中的第一产品的单元(并且处置先前包装中的第一产品的单元)。因此，该系统可以：在框S150中，确定产品的单元是否存在于货架上的指定的槽中，并确认该产品的单元是根据当前包装变型进行包装的；以及否则标记槽或产品的单元以进行纠正。特别地，该系统可以适应产品包装随时间的变化(例如季节性的产品包装变化)，并实施前述方法和技术以确认整个商店中存放的产品的单元是根据货架图指定或允许的当前包装变型来包装的。

此外，在该变型中，尽管图像的表示包装变型(例如，新包装变型)的第一子区域中的第一产品的单元不同于在框S130中检索的相同产品的模板图像中表示的那些，但系统可以基于从第一子区域提取的特征和在第一产品的多个模板图像中的一个模板图像中表示的特征之间的足够相似性来确认在图像的第一子区域中检测到的第一对象是第一产品的单元。例如，系统可以响应于以下项来预测第一货架上新包装中的第一产品的单元的存在：从第一子区域提取的和在不同包装中相同产品的第一模板图像中定义的特征(例如，文本、图形、条形码、调色板、包装简档)之间的相似性；从第一子区域提取的和在另一包装中相同产品的第二模板图像中定义的特征之间的相似性；以及对图像的第一子区域中对于第一模板图像和第二模板图像两者都是唯一的特征的检测。在该示例中，该系统然后可以：将与检测到的第一产品的单元相对应的第一图像的第一区域的子区域存储为新包装中的第一产品的新模板图像；并且将新的模板图像写入模板图像的数据库以用于将来与根据货架图分配到第一产品的货架的图像进行比较。

在前述示例中，系统还可以：标记图像的第一子区域以用于手动注释对新产品包装中的第一产品的确认；和/或生成提供新包装中的第一产品的库存图像的提示，并将该提示返回给商店的员工或第一产品的品牌方或供应商以在将来用“干净”模板图像改进对新产品包装中的第一产品的单元的识别。因此，在框S150和S152中，系统还可以检测和适应系统还不知道的新包装变化同时还完成对整个商店中的槽的库存状态的评估。

11.6空槽

在图4中所示的又一变型中，系统可以基于从机器人系统记录的图像中提取的特征来检测没有产品的“空”槽。

在一个实施方式中，该系统：在框S122中，识别图像的第一区域的对应于根据货架图被分配给第一产品的第一货架上的第一槽的第一子区域；在框S124中，从第一图像的第一子区域提取特征的第一子集；在框S152中，响应于特征的第一子集显示出小于与第一模板图像中的特征的阈值相关性，检测第一产品的单元从第一货架上的第一槽中的遗漏；并且响应于特征的第一子集中的特征和表示空货架的第二组特征之间的相关性将第一货架上的第一槽识别为空。例如，系统可以填充模板图像组，包括以下两项：被分配到在图像区域中表示的货架的产品的模板图像；和空槽或空货架的模板图像。在该示例中，该系统可以实施上述方法和技术以将空槽或空货架的模板图像与图像的子区域进行比较以将沿着该图像中所示货架的相对应的位置识别为空(即，没有产品)。

在前述实施方式中，系统可以响应于将槽识别为空，生成关于用根据货架图被分配到槽的特定产品的多个单元来填充空槽的重新存放提示。然而，在框S152和S160中，系统可以以任何其他方式检测和处理空槽或空货架。

11.7第一货架上的第二产品和其他货架上的产品

该系统可以对(例如，整个货架段或货架结构的)图像的区域(例如，表示货架段内的单个货架)内的多个子区域(例如，表示离散槽)中的每一个子区域重复上述过程以便识别被布置在图像中表示的其他槽中的产品。对于机器人系统在整个商店的扫描期间记录的其他图像，系统可以进一步重复上述过程，如在图4中所示。

例如，系统可以：在框S130中，针对第一图像中所示的第一货架检索第一组模板图像；通过将第一组模板图像中的第一模板图像与第一图像的相对应的子区域进行匹配，识别第一货架上的第一产品的单元；在框S150中，通过将第一图像的第二子区域与相同的第一组模板图像中的第二模板图像进行匹配，识别与第一货架上的第一产品的单元相邻的第二产品的单元。然后，系统可以：在框S130中，针对第一图像中所示的第二货架检索第二组模板图像；通过将第二组模板图像中的第三模板图像与第一图像的相对应的子区域进行匹配，识别第二货架上的第三产品的单元；在框S150中，通过将第一图像的第四子区域与第二组模板图像中的第四模板图像进行匹配，来识别与第二货架上的第三产品的单元相邻的第四产品的单元。在该示例中，系统可以稍后：在框S130中，针对第二图像中所示的第三货架检索第三组模板图像；通过将第三组模板图像中的第一模板图像与第二图像的相对应的子区域进行匹配，识别第三货架上的第五产品的单元；在框S150中，通过将第三图像的第二子区域与第三组模板图像中的第二模板图像进行匹配，识别与第三货架上的第五产品的单元相邻的第六产品的单元；等等。然后，在框S160中，系统可以将针对显示出与货架图存在偏差的各个槽(跨越整个商店的多个货架、货架段、和/或货架结构)的重新存放提示编译成全局电子重新存放列表。

因此，该系统可以利用从机器人系统在扫描周期期间在整个商店中进行导航时记录的图像中提取的库存状态数据填充在整个商店中跨越许多(例如，基本上所有的)槽、货架、货架段、和/或货架结构的槽容器的库存地图。例如，该系统可以将库存地图中的每个槽容器标记为以下之一：响应于与分配到该槽的产品的模板图像匹配的对象的横向位置、深度、和垂直旋转的对齐而适当地进行存放；响应于检测到与被分配到槽的产品的模板图像匹配的对象同时对象偏离根据货架图指定的横向位置、深度、或垂直旋转公差而适当地被存放但被错误定向；响应于检测到与根据货架图被分配到槽的产品的模板图像相匹配的对象(在已知的不正确(例如，以前的、过时的)产品包装的情况下)被适当地存放但在不正确的包装中；响应于检测到未被识别或与根据货架图未被分配到该槽的产品的模板图像匹配的对象而不正确地被存放；或者响应于未能检测到表示槽的图像区域中的对象而为空。在这个示例中，库存地图可以模仿货架图的形式，但是定义了商店(大约)真实的当前库存状态。可选地，库存地图可以是包含从机器人系统在商店扫描期间记录的图像中提取的槽状态数据的电子表格、库存列表(例如，按槽地址)等形式。

然而，该系统可以实施任何其他方法或技术来识别相对于关于商店的产品定位数据库、货架图、或槽索引等中定义的库存要求的实际偏差。

12.模板图像组升级

在图4中的一个变型中，如果系统检测到图像的子区域中的对象，但未能识别出与具有足够相似性分数的对象匹配的模板图像，则在框S130中，系统将从模板图像数据库检索到的模板图像组升级以包括被分配到以下项的产品的模板图像：单个货架、然后在单个货架段内的多个货架、然后在单个货架结构内的多个货架段、以及然后在单个过道内的多个货架结构等等。特别地，因为表示被预测与特定对象最容易(lightly)匹配的产品的模板图像组不能返回肯定的结果(即肯定的匹配)，系统可以使该模板图像组扩展(用于与在图像的特定子区域中检测到的特定对象进行比较)，以便：在识别在整个商店的货架上布置的产品时保持相对高效率度；同时还适应与根据货架图所定义的库存计划的偏差(例如由于顾客移除产品，并且然后将这些产品返回到整个商店中不正确的定位，或者由于商店的员工执行的有意或无意的库存变化)。

例如，顾客可能从货架上移除物品(即，产品的单元)，检查该物品，并且然后将该物品返回到相同货架或附近的不同货架。在另一个示例中，顾客可能从货架上移除物品，将该物品放在她的篮子里，沿着同一过道向下移动，并且然后(例如更喜欢另一件物品)将该物品返回到相同货架结构或甚至相对的货架结构中不同货架段上的货架。如上所述，该系统汇总表示被分配给单个货架(或甚至单个槽)的产品的小的模板图像组，以便在模板图像选择中实现相对高程度的精确度，并相对快速地识别在整个商店的货架上的大部分产品(例如95+％)。然而，因为顾客可能在购物时在整个商店中移动产品的单元，所以系统还可以扩展模板图像组，以包括被分配给多个货架、整个货架段、多个货架段、完整的货架结构、两个相邻货架结构等的产品，以便适应顾客的这些无计划的、偶然的库存变化，并且能够基于战略性的、有针对性的模板图像组来识别可能已经从其被分配的槽移动了相对短距离的产品单元。

12.1对货架段的升级

在一个实施方式中，系统：在框S122中识别第一货架、包含第一货架和第二货架的第一货架段、包含第一货架段和第二货架段的第一货架结构、以及面对第一货架结构和第二货架结构的第一过道，如上所述；在框S122中，识别第一图像的第一区域中的第一子区域(对应于根据货架图被分配给第一产品的第一货架上的第一槽)；在框S124中，从第一图像的第一子区域提取第一组特征；在框S150中，基于第一组特征检索第一组模板图像或被分配给检测到的第一槽中对象的存在的产品；以及然后响应于第一组特征和第一组模板图像中的模板图像中的特征之间的弱相关性(例如，小于阈值相似性)，将对象识别为第一产品列表中的产品以外的产品。

在该实施方式中，如果系统检测到第一槽中存在对象，并且将该对象识别为被分配给第一货架的第一产品列表中的产品以外的产品，则系统可以：在框S130中，检索根据货架图被分配给第一货架段(包含第一货架和附加货架和/或槽)的第二产品列表；从第二产品列表中移除第一产品列表中的产品；以及从模板图像数据库中检索第二组模板图像，其中，在框S140中，第二组模板图像中的每个模板图像包括在第二产品列表中指定的产品的可视化特征。然后，系统可以实施上述方法和技术，以响应于第一组特征中的特征和表示第二产品的第二组模板图像中的第二模板图像中的特征之间的相关性，在框S150中将对象识别为第二产品列表中的第二产品的单元。因此，如果系统将对象识别为第二产品的单元，则在框S160中，系统可以生成用第一产品的单元替换(当前占据第一槽的)第二产品的单元的提示。

特别地，如果被分配给货架的产品的原始模板图像组完全不能产生与表示对象的图像的子区域的足够匹配，则系统可以将(用于与表示检测对象的图像的子区域进行比较的)模板图像组从被分配给包含检测对象的单个货架的产品的模板图像扩展到被分配给完整的货架段(或货架段内的多个货架)的产品的模板图像。

12.2对货架结构的升级

可选地，在前述实施方式中，响应于从图像的第一子区域提取的第一组特征和被分配给第一货架段的产品的第二组模板图像中的模板图像中的特征之间的弱相关性，系统可以在框S152中将对象识别为第二产品列表中的产品以外的产品(即，不是被分配给包含第一货架的货架段的产品)。因此，响应于将对象识别为第二产品列表中的产品以外的产品，系统可以：在框S130中，检索根据货架图被分配给第一货架结构(包含第一货架段和附加货架段、货架、和/或槽)的第三产品列表，其中第三产品列表排除了第一产品列表和第二产品列表；以及在框S140中从模板图像数据库中检索第三组模板图像，其中，第三组模板图像中的每个模板图像包括在第三产品列表中指定的产品的可视化特征。然后，响应于第一特征子集中的特征和表示第三产品的第三组模板图像中的第三模板图像中的特征之间的相关性，系统可以在框S150中将对象识别为第三产品列表中的第三产品的单元。因此，如果系统将该对象识别为第三产品的单元，则系统可以生成用第一产品的单元替换(当前占据第一槽的)第三产品的单元的提示。

特别地，如果分配给货架段的产品的前一组模板图像完全不能产生与表示检测对象的图像的子区域的充分匹配，则系统可以将(用于与表示检测对象的图像的子区域进行比较的)模板图像组从被分配给包含检测对象的单个货架段的产品的模板图像扩展到被分配给完整的货架结构(或货架结构内的多个货架段)的产品的模板图像。

12.3对过道的升级

可选地，在前述实施方式中，响应于从图像的第一子区域提取的第一组特征和被分配给第一货架结构的产品的第三组模板图像中的模板图像中的特征之间的弱相关性，系统可以在框S152中将对象识别为第三产品列表中的产品之外的产品(即，不是被分配给包含第一货架段的货架结构的产品)。因此，响应于将对象识别为第三产品列表中的产品以外的产品，系统可以：在框S130中，检索根据货架图被分配给第一过道(包含第一货架结构和附加货架结构、货架段、货架、和/或槽)的第四产品列表，其中，第四产品列表不包括第一产品列表、第二产品列表、和第三产品列表；以及在框S140中，从模板图像数据库中检索第四组模板图像，其中，第四组模板图像中的每个模板图像包括在第四产品列表中指定的产品的可视化特征。然后，响应于第一特征子集中的特征和表示第四产品的第四组模板图像中的第四模板图像中的特征之间的相关性，系统可以在框S150中将对象识别为第四产品列表中的第四产品的单元。因此，如果系统将该对象识别为第四产品的单元，则系统可以生成用第一产品的单元替换(当前占据第一槽的)第四产品的单元的提示。

特别地，如果被分配给货架结构的产品的前一组模板图像完全不能产生与表示检测对象的图像的子区域的充分匹配，则系统可以将(用于与表示检测对象的图像的子区域进行比较的)模板图像组从被分配给包含检测对象的单个货架结构的产品的模板图像扩展到被分配给完整的过道(或过道内的多个货架结构)的产品的模板图像。

该系统可以重复该过程，以将该模板图像组随着时间推移扩展到被分配给多个过道中的货架结构的产品，扩展到被分配给商店一部分中的货架结构的产品，或者扩展到被分配给整个商店的产品，直到找到匹配为止或者直到达到极限(例如：被分配以识别第一个槽中的对象的最大时间；最大模板图像组大小；等等)为止。

在该变型中，系统可以实施静态限制以停止对商店中所有槽中的对象的识别尝试。可选地，系统可以实施自定义或动态限制以停止对商店中所有槽中对象的识别尝试。例如，系统可以设置与商店的利润、需求、价值(例如，利润和需求的线性组合)、成本等成比例的限制，如美国专利申请第15/347，689号中所述。

然而，在框S150和S152中，系统可以实施任何其他方法或技术来选择和扩展模板图像组以与图像的区域或子区域进行比较。

14.输出

方法S100的框S160记述了，响应于确定第一产品的单元被不正确地存放在第一货架上，针对第一货架上的第一产品生成第一重新存放提示。通常，在框S160中，系统将商店内一个或更多个槽、货架、货架段、货架结构等的库存状态(例如包括对响应于检测到的与商店当前货架图的偏差而手动纠正整个商店的货架上的产品的存在、位置、和/或取向的提示)提供给与商店相关联的实体。

14.1库存地图

在图2中所示的一个实施方式中，系统输出包含由机器人系统在扫描期间成像的在商店中(基本上)所有槽的槽状态数据的库存地图。例如，库存地图可以包括用于商店内每个货架结构的一个2D覆盖物，其中每个2D覆盖物定义了描绘在货架结构中的离散槽的矢量化线划图，其包含被分配给货架结构中每个槽的总产品界面的比例的数字指示符(例如，1/2、50％)以及货架结构中槽中空的、库存不足的、库存不当的、和错误定向产品界面的颜色编码标记。该系统可以在相对应的货架结构的全景图像上对齐这些2D覆盖物，并且然后通过管理者(manager)门户将这些合成图像提供给员工(或管理者、公司代表)，从而使员工能够查看商店的真实可视化数据以及从这些可视化数据中提取的定量和定性库存数据，如在图5中所示。

14.2电子重新存放列表

该系统可以附加地或可选地生成电子重新存放列表，其包含整个商店中需要纠正的过滤的槽列表(例如产品的添加、产品的交换、或产品的矫直)。例如，系统可以生成整个商店中不正确存放的槽的库存状态图表、表格、或列表(例如包括针对该列表中每个不正确存放的槽的错误库存模式(例如，太多的界面、太少的界面、错误定向的包装、损坏的包装、过时的包装等))，如在图2和图5中所示。在该实施方式中，系统可以经由(例如在台式计算机、笔记本电脑、平板电脑、或智能手机等上执行的)管理者门户向商店的管理者提供该图表、表格、或列表。

该系统还可以生成库存纠正任务列表以纠正不正确存放的槽。在该实施方式中，系统可以生成优先化的任务列表以移动错误放置的产品、重新存放空的或不正确存放的槽等等，以及然后经由在商店的员工(例如雇员)携带的移动计算设备(例如平板电脑、智能手机)上执行的本地库存应用程序将该任务列表提供给该员工。在该实施方式中，系统可以实施第15/347，689号美国专利申请中描述的方法和技术以对该任务列表进行优先化以纠正整个商店中被不正确存放的槽。

在一个示例中，系统：在框S152中检测第一产品完全从商店中第一货架上的第一槽中遗漏；检索根据货架图被分配给第一槽的第一产品的第一数量的单元；生成通知，该通知指定第一产品的标识符(例如SKU)、被分配给第一槽的第一产品的该数量的单元、第一槽在第一货架上的定位以及第一货架在商店内的定位；然后在框S160中，将该通知发送给实质上被分配给商店的员工的移动计算设备。在该示例中，例如，如果第一产品是在商店的高流量时段期间被确定为空的高价值产品，系统可以实时地将通知发送给员工。可选地，系统可以延迟向员工发送通知，直到机器人系统完成对商店的扫描，根据这些扫描数据确定商店的全库存状态，并且根据这些库存不足或错误存放的产品的价值来对重新存放提示列表进行排序(ordered)。

在该实施方式中，系统可以通过本地库存应用程序接收来自员工的输入，以关闭任务，并且系统可以稍后基于机器人系统在商店内的下一个扫描周期期间收集的图像来确认这些任务被正确关闭。然而，在框S160中，系统可以以任何其他格式输出库存状态数据。

14.3适应缺货产品

在框S160中，系统还可以基于响应这些重新存放提示所需的产品的单元的当前可用性而选择性地停用或丢弃重新存放提示。特别地，如果系统确定特定槽库存不足、不正确存放、或错误存放，则系统可以与商店后库存管理者交互以确定被分配给该特定槽的产品的附加单元当前是否可用；如果可用的话，则系统可以向商店的员工提供关于该槽的重新存放提示；否则，系统可以丢弃重新存放提示。

此外，如果根据货架图被分配给商店中的槽的第一产品的附加单元当前不可用，则商店的员工或管理者可以将可用的第二产品移动到该槽中。尽管偏离了货架图，但是槽可以因此由第二产品填充，这可能(视觉上和金钱上)比保持空的槽更理想。因此，系统可以通过检测被分配给第一产品的槽中的第二产品的单元，通过检查第一产品在商店中没有库存，并且通过临时更新货架图以将第二产品分配给槽，直到第一产品的附加单元在商店中可用为止，来实时适应这种手动改变。在该示例中，系统还可以实施上述方法和技术以检测邻近槽的货架标签，确认货架标签对应于第二产品，并且在第二产品和邻近货架标签之间匹配期间适应将槽临时重新分配给第二产品。

例如，响应于将图像区域中表示的对象识别为第二产品的单元而不是被分配给包含该对象的槽的第一产品的单元，系统可以访问商店中第一产品的单元的可用库存。如果商店中第一产品的单元的可用性的缺乏因此被确认，则系统可以：扣留用第一产品的单元替换(当前占据第一个槽的)第二种产品的单元的提示；以及在货架图中将第二产品临时写入第一槽以替换第一产品。

14.4提示将产品转移到被分配的槽

在上述实施方式中，其中系统检测根据货架图被分配给第一产品的第一槽中的第二产品的单元，系统可以：针对最靠近第一槽并被分配给第二产品的第二槽扫描货架图；然后生成将第二产品的单元从第一槽移动到第二槽的第二提示。因此，在该实施方式中，该系统可以将在整个商店的多个槽中检测到的货架图偏差融合成修改的(例如，细化的)一组提示或任务，其使得商店的员工能够以改进的效率重新存放槽并将场内产品重新分配到他们的正确的槽中。例如，系统可以：向商店的员工提供用第一产品的单元替换当前被存放在第一槽中的第二产品的单元的第一提示；以及将第一提示与第二提示进行配对以将第二产品返回到被分配给第二产品且当前库存不足的最近的槽。

该系统可以在机器人系统执行的每个扫描周期期间重复上述方法和技术。例如，该系统可以在商店关闭后的每晚由机器人系统执行的扫描周期之后重复上述方法和技术，以便在第二天早上商店开门之前生成库存状态地图和库存纠正任务列表。

本文描述的系统和方法可以至少部分地被体现为和/或实施为被配置以接收存储计算机可读指令的计算机可读介质的机器。指令可以通过与应用程序(application)、小应用程序(applet)、主机、服务器、网络、网站、通信服务、通信接口、用户计算机或移动设备的硬件/固件/软件元件、腕表、智能电话、或其任何适当的组合集成的计算机可执行部件来执行。实施例的其他系统及方法可以至少部分地被体现和/或实现为被配置为接收存储计算机可读指令的计算机可读介质的机器。指令可以通过由与上述类型的装置和网络集成的计算机可执行部件集成的计算机可执行部件来执行。计算机可读介质可以被存储在任何合适的计算机可读介质(诸如RAM、ROM、闪存、EEPROM、光学设备(CD或DVD)、硬盘驱动器、软盘驱动器、或任何合适的设备)上。计算机可执行部件可以是处理器，但是任何合适的专用硬件设备可以(可选地或附加地)执行指令。

如本领域技术人员从先前的详细描述以及从附图和权利要求将认识到，可以对本发明的实施例进行修改和改变，而不脱离如在所附权利要求中限定的本发明的范围。

Claims (20)

1.一种用于跟踪产品在商店货架上的放置的方法，所述方法包括：

·访问包括由移动机器人系统在第一时间记录的可视化数据的第一图像，所述第一图像与所述移动机器人系统在所述第一时间在所述商店内的第一定位和第一取向相关联；

·检测表示在所述第一图像的第一区域附近的第一货架；

·基于所述第一定位、所述第一取向和所述第一货架在所述第一图像内的垂直位置来确定所述第一货架的地址；

·基于所述第一货架的所述地址，检索根据所述商店的货架图被分配给所述第一货架的第一产品列表；

·从模板图像数据库中检索第一组模板图像，所述第一组模板图像中的每个模板图像包括在所述第一产品列表中指定的产品的可视化特征；

·从所述第一图像的所述第一区域提取第一组特征；

·响应于在所述第一组特征中的特征和在所述第一组模板图像中的表示所述第一产品列表中的第一产品的第一模板图像中的特征之间的相关性确认所述第一产品的单元在所述第一货架上的存在；

·响应于在所述第一组特征中的特征和所述第一模板图像中的特征之间的偏差，确定所述第一产品的单元是被不正确地存放在所述第一货架上的；以及

·响应于确定所述第一产品的单元是被不正确地存放在所述第一货架上的，针对所述第一货架上的所述第一产品生成第一重新存放提示。

2.根据权利要求1所述的方法：

·其中，从所述第一图像的所述第一区域提取所述第一组特征包括：

o从所述第一图像的所述第一区域，检测跨越所述第一货架布置的一组离散对象；

o识别在所述第一图像的所述第一区域中的第一子区域，所述第一子区域对应于所述一组离散对象中的位于所述第一货架上的第一位置处的第一离散对象；以及

o从所述第一图像的所述第一区域中的所述第一子区域提取所述第一组特征；以及

·其中，确认所述第一产品的单元在所述第一货架上的存在包括响应于在所述第一组特征中的特征和在表示所述第一产品的所述第一模板图像中的特征之间的相关性，将所述第一离散对象识别为所述第一产品的单元。

3.根据权利要求2所述的方法：

·还包括：

o识别所述第一图像的所述第一区域中的第二子区域，所述第二子区域对应于所述一组离散对象中的位于所述第一货架上的第二位置处的第二离散对象；

o从所述第一图像的所述第一区域中的所述第二子区域提取第二组特征；

o响应于在所述第二组特征中的特征和在所述第一组模板图像中的表示所述第一产品列表中的第二产品的第二模板图像中的特征之间的相关性将所述第二离散对象识别为所述第二产品的单元；以及

o响应于将所述第一离散对象识别为所述第一产品的单元和将所述第二离散对象识别为所述第二产品的单元，响应于在所述第一位置和所述第二位置之间的横向偏移偏离根据所述货架图被分配给所述第一货架上的所述第一产品和所述第二产品的目标横向偏移，检测到所述第一产品的单元和所述第二产品的单元的不正确布置；和

·其中，针对所述第一货架上的所述第一产品生成所述第一重新存放提示包括响应于检测到所述第一产品和所述第二产品在所述第一货架上的不正确布置而生成指定对所述第一产品的单元和所述第二产品的单元的相对位置的纠正的所述第一重新存放提示。

4.根据权利要求1所述的方法：

·其中，确认所述第一产品的单元在所述第一货架上的存在包括响应于所述第一组特征中的离散特征群表现出与表示所述第一产品的所述第一模板图像中的特征的强相关性，确认所述第一产品的一组离散单元在所述第一货架上的存在；

·还包括：

o生成在所述第一货架上的所述第一产品的所述一组离散单元中的所述第一产品的单元的计数；

o响应于所述计数等于根据所述货架图被分配给所述第一货架的所述第一产品的界面的数量，确认所述第一货架上的所述第一产品的正确存放；和

o响应于所述计数偏离根据所述货架图被分配给所述第一货架的所述第一产品的界面的数量，检测到所述第一货架上的所述第一产品的不正确存放；和

·其中，针对所述第一货架上的所述第一产品生成所述第一重新存放提示包括响应于检测到所述第一货架上的所述第一产品的不正确存放生成指定对所述第一货架上的所述第一产品的界面的纠正的所述第一重新存放提示。

5.根据权利要求1所述的方法，还包括：

·检测在所述第一图像的所述第一区域下方的第二区域中表示的第二货架；

·基于所述第一定位、所述第一取向和所述第二货架在所述第一图像内的垂直位置来确定所述第二货架的地址；

·基于所述第二货架的地址，检索根据所述货架图被分配给所述第二货架的第二产品列表；

·从所述模板图像数据库中检索第二组模板图像，所述第二组模板图像中的每个模板图像包括在所述第二产品列表中指定的产品的可视化特征；

·从所述第一图像的所述第二区域提取第二组特征；

·响应于所述第二组特征中的特征和在所述第二组模板图像中的表示所述第二产品的第二模板图像中的特征之间的第一相关度，确认所述第二产品列表中的第二产品的单元在所述第二货架上的存在；

·响应于所述第二组特征中的特征和所述第二模板图像中的特征之间的第二相关度小于所述第一相关度，确定所述第二产品的单元是不正确地存放在所述第二货架上的；

·响应于确定所述第二产品的单元是不正确地存放在所述第一货架上的，针对所述第二货架上的所述第二产品生成第二重新存放提示；和

·将所述第一重新存放提示和所述第二重新存放提示编译成全局电子重新存放列表。

6.根据权利要求1所述的方法：

·其中，确认所述第一产品的单元在所述第一货架上的存在包括：

o将从所述第一图像的所述第一区域提取的所述第一组特征中的特征与在所述第一产品的所述第一模板图像中定义的第一批特征进行匹配；

o确认在所述第一模板图像中定义的第二批特征不存在于从所述第一图像的所述第一区域提取的所述第一组特征；以及

o响应于所述第一组特征包括与所述第一批特征匹配的特征并遗漏表示所述第一产品的所述第一模板图像中的第二批特征，而检测到所述货架上的所述第一产品的单元的取向不同于目标取向；和

·其中，针对所述第一货架上的所述第一产品生成所述第一重新存放提示包括响应于检测到所述货架上的所述第一产品的单元的取向不同于所述目标取向而生成纠正在所述第一货架上的所述第一产品的单元的取向的所述第一重新存放提示。

7.根据权利要求1所述的方法：

·还包括：

o识别所述第一图像的所述第一区域的底边缘附近的第一货架标签；

o响应于确认所述第一产品的单元在所述第一货架上的存在，提取从所述第一货架标签的左垂直边缘到所述第一产品的单元的左垂直边缘的水平距离；和

o响应于所述水平距离超过阈值距离，确定所述第一产品的单元是在所述第一货架上被错误定向的；和

·其中，针对所述第一货架上的所述第一产品生成所述第一重新存放提示包括响应于确定所述第一产品的单元是在所述第一货架上被错误定向的，生成纠正在所述第一货架上的所述第一产品的单元的取向的所述第一重新存放提示。

8.根据权利要求1所述的方法：

·其中，从所述第一图像的所述第一区域提取所述第一组特征包括：

o识别所述第一图像的所述第一区域的第一子区域，所述第一子区域对应于根据所述货架图被分配给所述第一产品的在所述第一货架上的第一槽；和

o从所述第一图像的所述第一子区域提取第一特征子集；

·其中，确定所述第一产品的单元是不正确地存放在所述第一货架上包括：

o响应于所述第一特征子集显示出小于与所述第一模板图像中的特征的阈值相关性，检测到所述第一产品的单元从所述第一货架上的所述第一槽中的遗漏；和

o响应于所述第一特征子集中的特征和表示空货架的第二组特征之间的相关性，将所述第一货架上的所述第一槽识别为空；和

·其中，针对所述第一货架上的所述第一产品生成所述第一重新存放提示包括响应于将所述第一货架上的所述第一槽识别为空，生成用所述第一产品的单元填充在所述第一货架上的所述第一槽的所述第一重新存放提示。

9.根据权利要求1所述的方法：

·其中，确定所述第一货架的地址包括识别所述第一货架、包含所述第一货架和第二货架的第一货架段、包含所述第一货架段和第二货架段的第一货架结构、以及面向所述第一货架结构和第二货架结构的第一过道；

·其中，从所述第一图像的所述第一区域提取所述第一组特征包括：

o识别所述第一图像的所述第一区域中的第一子区域，所述第一子区域对应于根据所述货架图被分配给所述第一产品的所述第一货架上的第一槽；和

o从所述第一图像的所述第一子区域提取所述第一组特征；

·其中，确定所述第一产品的单元是不正确地存放在所述第一货架上包括：

o基于所述第一组特征检测对象在所述第一槽中的存在；和

o响应于小于在所述第一组特征和所述第一组模板图像中的模板图像中的特征之间的阈值相似性，将所述对象识别为不同于所述第一产品列表中的产品；

·还包括，响应于检测到所述对象在所述第一槽中的存在和将所述对象识别为不同于所述第一产品列表中的产品：

o检索根据所述货架图被分配给所述第一货架段的第二产品列表，所述第二产品列表不包括所述第一产品列表；

o从所述模板图像数据库中检索第二组模板图像，所述第二组模板图像中的每个模板图像包括在所述第二产品列表中指定的产品的可视化特征；和

o响应于在所述第一组特征中的特征和在所述第二组模板图像中的表示所述第二产品的第二模板图像中的特征之间的相关性，将所述对象识别为在所述第二产品列表中的第二产品的单元；和

·其中，生成所述第一重新存放提示包括，响应于将所述对象识别为所述第二产品的单元，生成用所述第一产品的单元替换当前占据所述第一槽的所述第二产品的单元的提示。

10.根据权利要求9所述的方法，还包括响应于将所述对象识别为所述第二产品的单元：

·针对最靠近所述第一槽并且被分配所述第二产品的第二槽扫描所述货架图；和

·生成将所述第二产品的单元移动到所述第二槽的第二提示。

11.根据权利要求9所述的方法，还包括响应于将所述对象识别为所述第二产品的单元：

·访问所述商店中的所述第一产品的单元的可用库存；

·响应于在所述商店中缺乏所述第一产品的单元的可用性：

o扣留用所述第一产品的单元替换当前占据所述第一槽的所述第二产品的单元的提示；和

o在所述货架图中，将所述第二产品临时写入所述第一槽以替换所述第一产品。

12.根据权利要求9所述的方法：

·还包括：

o响应于小于在所述第一组特征和所述第二组模板图像中的模板图像中的特征之间的阈值相似性，将所述对象识别为不同于所述第二产品列表中的产品；

·响应于将所述对象识别为不同于所述第二产品列表中的产品：

o检索根据所述货架图被分配给所述第一货架结构的第三产品列表，所述第三产品列表不包括所述第一产品列表和所述第二产品列表；

o从所述模板图像数据库中检索第三组模板图像，所述第三组模板图像中的每个模板图像包括在所述第三产品列表中指定的产品的可视化特征；和

o响应于在所述第一特征子集中的特征和所述第三组模板图像中的表示所述第三产品的第三模板图像中的特征之间的相关性，将所述对象识别为在所述第三产品列表中的第三产品的单元；和

·其中，生成所述第一重新存放提示包括：响应于将所述对象识别为所述第三产品的单元，生成用所述第一产品的单元替换当前占据所述第一槽的所述第三产品的单元的提示。

13.根据权利要求12所述的方法：

·还包括：

o响应于小于在所述第一组特征和所述第三组模板图像中的模板图像中的特征之间的阈值相似性，将所述对象识别为不同于所述第三产品列表中的产品；

·响应于将所述对象识别为不同于所述第三产品列表中的产品：

o检索根据所述货架图被分配给所述第一过道的第四产品列表，所述第四产品列表不包括所述第一产品列表、所述第二产品列表、和所述第三产品列表；

o从所述模板图像数据库中检索第四组模板图像，所述第四组模板图像中的每个模板图像包括在所述第四产品列表中指定的产品的可视化特征；和

o响应于在所述第一组特征中的特征和在所述第四组模板图像中的表示所述第四产品的第四模板图像中的特征之间的相关性，将所述对象识别为在所述第四产品列表中的第四产品的单元；和

·其中，生成所述第一重新存放提示包括：响应于将所述对象识别为所述第四产品的单元，生成用所述第一产品的单元替换当前占据所述第一槽的所述第四产品的单元的提示。

14.根据权利要求1所述的方法：

·其中，从所述模板图像数据库中检索所述第一组模板图像包括：检索当前包装中的所述第一产品的所述第一模板图像和不同于所述当前包装的先前包装中的所述第一产品的第二模板图像；

·其中，确认所述第一产品的单元在所述第一货架上的存在包括：

o响应于在所述第一组特征中的特征和在所述第一模板图像中的特征之间的相关性，确认在所述当前包装中的所述第一产品的单元在所述第一货架上的存在；和

o响应于在所述第一组特征中的特征和在所述第二模板图像中的特征之间的相关性，确认在所述先前包装中的所述第一产品的单元在所述第一货架上的存在；

·其中，针对所述第一货架上的所述第一产品生成所述第一重新存放提示包括：响应于确认在所述先前包装中的所述第一产品的单元在所述第一货架上的存在，生成用所述当前包装中的所述第一产品的单元替换在所述先前包装中的所述第一产品的单元的所述第一重新存放提示。

15.根据权利要求14所述的方法，还包括：

·响应于在所述第一组特征中的特征与所述第一模板图像和所述第二模板图像中的特征之间的相关性，以及响应于所述第一组特征包括所述第一模板图像和所述第二模板图像特有的特征，预测在新包装中的所述第一产品的单元在所述第一货架上的存在；

·将所述第一图像的所述第一区域中的与在所述新包装中的所述第一产品的单元相对应的子区域存储为在所述新包装中的所述第一产品的新模板图像；

·将所述新模板图像写入所述模板图像数据库；和

·生成提供在所述新包装中的所述第一产品的库存图像的提示。

16.根据权利要求1所述的方法：

·其中，从所述模板图像数据库中检索所述第一组模板图像包括检索一组多维向量，所述一组多维向量中的每个多维向量定义表示在所述第一产品列表中的产品的特征；

·其中，从所述第一图像的所述第一区域提取所述第一组特征包括：

o识别在所述第一图像的所述第一区域中界定第一离散对象的第一子区域；和

o实施计算机视觉技术以从所述第一图像的所述第一区域中的所述第一子区域检测和提取包括几何形状、颜色、和文本特征的所述第一组特征；和

·其中，确认所述第一产品的单元在所述第一货架上的存在包括：

o计算在所述第一组特征中的特征和由所述一组多维向量中的表示所述第一产品的第一多维向量定义的特征之间的相关性的综合分数；和

o响应于所述综合分数超过阈值分数，将所述第一对象识别为所述第一产品的单元。

17.根据权利要求1所述的方法，其中，检测表示在所述第一图像的所述第一区域附近的所述第一货架包括：

·检测横向延伸跨越所述第一图像的第一线性特征；

·将所述第一线性特征与在第一货架段中的所述第一货架相关联；

·检测在所述第一线性特征上方横向延伸跨越所述第一图像的第二线性特征；

·将所述第二线性特征与在所述第一货架段中在所述第一货架上方的第二货架相关联；

·界定所述第一图像的所述第一区域，所述第一区域在所述第一图像中从所述第一线性特征附近延伸到所述第二线性特征附近，所述第一区域对应于所述第一货架的可访问体积。

18.根据权利要求1所述的方法：

·其中，确定所述第一产品的单元是不正确地存放在所述第一货架上的包括，检测根据所述货架图被分配所述第一产品的第一数量的单元的在所述第一货架上的第一槽中所述第一产品的单元的遗漏；

·其中，针对所述第一货架上的所述第一产品生成所述第一重新存放提示包括生成通知，所述通知指定所述第一产品的标识符、所述第一产品的单元的第一数量、所述第一货架上的所述第一槽的定位、以及由所述货架图定义的所述第一货架在所述商店内的定位；和

·将所述通知发送给被分配给所述商店的员工的移动计算设备。

19.根据权利要求1所述的方法，其中，访问所述第一图像包括：

·接收由集成到所述移动机器人系统中的一组离散彩色相机大约在所述第一时间记录的一组数字摄影图像，所述移动机器人系统在所述第一时间占据所述第一定位并以所述第一取向被布置在所述商店内，所述第一定位邻近包含所述第一货架的第一货架段；

·基于在所述移动机器人系统内的所述一组离散彩色相机的已知位置，将所述一组数字摄影图像组合成所述第一图像；和

·将所述第一定位、所述第一取向和所述第一时间存储在所述第一图像的元数据中。

20.根据权利要求1所述的方法，还包括：

·访问第二图像，所述第二图像包括由所述移动机器人系统在所述第一时间之后的第二时间记录的可视化数据，所述第二图像与所述移动机器人系统在所述第二时间在所述商店内的第二定位和第二取向相关联，所述第二定位偏离所述第一定位；

·检测表示在所述第二图像的第二区域附近的第二货架；

·基于所述第二定位、所述第二取向以及在所述第二图像内的所述第二货架的垂直位置来确定所述第二货架的地址；

·基于所述第二货架的地址，检索根据所述货架图被分配给所述第二货架的第二产品列表；

·从所述模板图像数据库中检索第二组模板图像，在所述第二组模板图像中的每个模板图像包括在所述第二产品列表中指定的产品的可视化特征；

·从所述第二图像的所述第二区域提取第二组特征；

·响应于在所述第二组特征中的特征和在所述第二组模板图像中的表示所述第二产品的第二模板图像中的特征之间的第一相关度，确认在所述第二产品列表中的第二产品的单元在所述第二货架上的存在；

·响应于在所述第二组特征中的特征和所述第二模板图像中的特征之间的第二相关度小于所述第一相关度，确定所述第二产品的单元是不正确地存放在所述第二货架上的；

·响应于确定所述第二产品的单元是不正确地存放在所述第二货架上的，针对在所述第二货架上的所述第二产品生成第二重新存放提示；和

·将所述第一重新存放提示和所述第二重新存放提示组合到关于所述商店的全局重新存放列表中。