CN111684477A - 配备有电子货架标签的货架的相机实现的商品布局控制方法 - Google Patents

Abstract

在销售区域中，一种用于检查搁架中商品布局的方法，所述搁架包括至少一个电子货架标签，所述电子货架标签对应于所述搁架的具有单个槽字段的匹配区域，所述单个产品槽字段包括搁架号、行号和货架标签号，所述方法包括以下步骤：采集所述搁架的图像；自动检测电子货架标签和自动检测行；对于至少一个电子货架标签，确定所述搁架的匹配区域，并确定槽字段；在采集的图像中检测所述搁架的所述区域中的布局信息；在实物图数据库中标识相关商品标识符；并且相对于存储在实物图数据库中的预期布局信息，检查检测到的布局信息的符合性。

Description

配备有电子货架标签的货架的相机实现的商品布局控制方法

技术领域

本发明涉及销售区域中待售商品布局的管理领域。

背景技术

销售点的货架通常以搁架(gondola)的形式组织，其中待售商品针对每个搁架分多个行放置。

通常，货架还包括沿货架外边缘布置的货架标签，该货架标签可以优选为电子货架标签，用于显示与所提供用于销售的商品有关的信息，例如价格、每重量价格、商品名称等。

在电子货架标签(以下称为ESL)的特定情况下，显示在一个ESL的屏幕上的信息由射频遥控，无论是低频还是高频。可以根据例如标签数据库中所包含的数据库的中央文件的更新来实时更新针对每件待售商品的显示信息。在中央文件中，由唯一商品标识码标识的每件待售商品与诸如价格、名称、每重量价格等多个数据相关联，这些数据可以不断更新，以便所有ESL都显示中央文件中包含的相关和最新信息。特定电子货架标签与相应商品之间的链接通常由中央文件中对于每个ESL唯一且特定的标签标识符与商品标识符之间的关联来标识。实际上，待售商品位于货架中的预定区域中，通常位于相应ESL的正下方或正上方。在以下所有内容中，我们将与给定ESL对应的货架区域称为具有所述ESL的“匹配区域”。对于显示与商品有关的商品信息的ESL，相应的匹配区域包含一件或多件所述商品，在所述货架区域内布置成一排或多排。针对该商品显示的排数是销售点中针对该商品的“排面(facing)信息”的一部分。

以这种方式，始终根据法律要求向销售点的顾客提供有效信息。可从同一中央文件中检索在现金支出时有效使用的用于支付购买物品的信息，以避免顾客进行他们的选择时货架上的ESL显示的信息与付款时使用的信息不匹配。此外，在货架上装有ESL的销售点中，对中央文件中的产品信息的更改会自动且非常快速地转换为货架上显示给消费者的信息，而非电子货架标签则必须单独手动更改。

可以在销售点的货架图(planogram)数据库中表示销售点中商品的布局。货架图数据库包含待售商品的标识符和销售点的货架区域之间的链接，其旨在包含所述商品。这种货架图数据库通常采用相关表的形式，该相关表将商品标识符(例如EAN编号)与销售点内的位置(例如货架区域)的标识符进行匹配。货架图数据库通常由可视货架图扩展，即货架设置的二维或三维视觉表示，其中商品可以通过顾客面对货架时可见的预期物品正面在视觉上识别，称为“正视图”。

然而，在标准情况下，有时销售点开门时会根据不一定适合该销售点的通用模型为销售点创建货架图数据库和相应的可视货架图。特别地，它可以是与商店规模相对应的模型。在货架图数据库始化后，货架区域对特定产品的分配最终可能会改变。近年来，已经做出努力来创建“实物图”(realograms)，即考虑对货架空间分配进行的变化或对货架标签分配进行的变化的货架图。在配有电子货架标签的销售点的典型情况下，每当将ESL重新分配给不同产品时，“实物图数据库”都会更新。因此，实物图数据库是对货架实际情况的可靠和最新的表示(在所有商品都充分存放在货架上并具有预期排面的情况下)。实物图数据库与销售点的实际货架之间没有差异。

为了维护可靠的实物图数据库，最好使用电子货架标签，而不是仅仅使用纸质货架标签。实际上，电子货架标签不仅允许按照销售点的中央文件自动更新商品信息，而且他们还允许在真实物图数据库中反映对货架标签和商品标识符之间的关联所做的任何更改。此外，ESL通常固定在货架上的特定位置，除非销售点的人员有意，否则不可更改。因此，当给定的ESL重新影响到不同产品时，货架标签的这种重新分配可能会影响到对应于该货架标签的货架区域的真实物图像数据库中存在的信息。

提供可靠且完整的真实物图数据库允许开发用于在销售点内对商品进行地理位置定位的应用，该应用可以同时面向销售点的顾客或销售点的员工。在这两种情况下，拥有关于商品的最新布局信息(例如货架的相应区域是空的还是满的、货架上是否装有正确的商品参考、货架上是否有足够的商品库存等)对于提高商店的收入以及商品拣选的运营效率至关重要。对于顾客而言，由于商品的最佳可获得性和减少的商品拣选时间而提高了满意度，并且提高了销售点的吸引力。对于参与货架准备和库存管理的员工，这可以提高生产率。

必须解决的第一个问题是通常在销售点出售的商品短缺。打算购买通常在销售点中可获得的特定物品的顾客发现该物品在销售点中缺货这种情况在两个层面上都是不方便的：由于错过了销售机会而造成有效损失，并且存在不满意的顾客暂时或永久地切换到竞争对手的另一个销售点的风险。

从理论上讲，如果每次售出物品都会在现金支出时立即影响中央库存管理文件，并且一旦所售物品的可获得性水平降到临界阈值以下，便要补货待售的每个物品，则不应出现短缺。避免短缺的另一个关键因素是排面(即对于货架的给定区域，行的长度和专用于商品的排数)要适应产品的实际消耗率。考虑到对产品的季节性和波动需求，该排面可能有所不同。如果排面与实际消耗率相比过低，则为了避免短缺，可能必须以很高的频率进行补货。由于排面信息是实物图中存在的信息的一部分，因此需要一种方法来提供有关搁架当前状态的可靠信息，包括(但不限于)空的空间、搁架中当前存在的商品，和排面信息。

此外，中央库存管理文件并不总是与销售点信息系统的其他功能(例如供应或现金支出)完全同步。顾客仍然经常发现他们想找到的产品的货架是空的。这特别不方便，因为顾客可以从位于空的产品槽附近的货架标签上看到缺少产品。

在一些用于商品布局管理的已知系统中，可以在货架正面的视图上检测到空区域。但是，检测到的空空间不会自动与相应的商品参考相关联，因为所述已知系统未利用在真实物图数据库中存在的信息。因此，所述已知系统不能有效管理商品短缺。

另一个问题是货架上的可用商品是否与实物图中的计划布局相一致。对于给定的货架区域，这里的关键问题是该区域的实物图中包含的预期商品参考与该区域中确实显示的商品之间的符合性。商品布局与预期布局不符，例如，错误显式的商品参考或错误排面(例如，货架中只有一排特定商品，而实际上应该有两排所述商品)，这对销售点的效率不利。如上所述，相对于预期排面的错误排面可能会导致搁架空间的浪费(如果真实排面过高)，或者会导致短缺的可能性更高(如果真实排面过低)。此外，在销售点内销售的品牌可能对如何在货架上展示其产品有特定要求。

鉴于上面提到的与商品布局控制有关的问题，据估计，销售点的营业额最多可增加15％存在潜在的可能性。避免短缺大约占潜在收入增长的3％至5％；确保在销售点上确实可获得的产品相对于实物图数据库的信息位于其正确的预期位置，并且顾客可以轻松跟踪，这可以增加5％；并且拥有针对每个特定销售点进行个性化设置的可靠实物图数据库(即，对于多个销售点而言，没有一个单一的预期货架图)可能会增加3％至5％。

因此，需要一种解决方案，该解决方案允许检测货架上待售商品的布局信息，从而使销售点的工作人员能够得到任何问题的警报，并能够迅速采取行动，例如通过对货架上缺货的商品订购和/或重新分类，或者当所述布局与实物图数据库中可用的信息不一致时，重新调整商品的布局。

发明内容

下文描述的解决方案通过一种用于检查商品布局与销售点的数据库中存在的信息的符合性的系统，克服了现有技术的上述缺陷。所述系统能够通过图像识别直接跟踪任何差异(例如应该有商品的货架的空区域，或者商品的错误排面，或者具有错误正视图的商品)。

为此目的，并且根据第一方面，本发明涉及一种利用实物图数据库来检查销售区域的搁架中商品布局的方法，所述实物图数据库表示所述搁架中的商品的预期布置，每个搁架包括至少一个电子货架标签，其中每个电子货架标签对应于具有单个产品槽字段(slot field)的所述搁架的匹配区域，所述槽字段包括搁架号以及与一个特定搁架内的连续多行电子货架标签之一相对应的行号，以及与一个特定行中的连续电子货架标签之一相对应的标签号，

所述方法包括以下计算机实施的步骤：

通过成像设备采集所述搁架的图像；

在采集的所述搁架的图像中自动检测电子货架标签；

自动检测所采集图像中的多行电子货架标签；

并且，对于在所采集图像中可见的给定电子货架标签：确定所述电子货架标签的行号和标签号，并确定相应的产品槽字段，

确定所采集图像中与所述电子货架标签相对应的搁架的匹配区域，

通过使用所采集图像进行图像识别来检测与在搁架的所述匹配区域中示出的商品有关的布局信息，

访问实物图数据库，每个槽字段与所述实物图数据库中的商品标识符相关联，在所述实物图数据库中标识与确定的槽字段关联的商品标识符，

以及相对于存储在所述实物图数据库中的针对所标识商品的预期布局信息，对检测到的布局信息进行检查。

由此提供的系统利用了以下事实：搁架的每个区域对应于电子货架标签(或ESL)，该电子货架标签设置在所述区域的紧邻范围内，例如在位于所述区域下方的搁架的行中。从采集的搁架图像，通常是搁架的正面，可以通过自动图像识别来检测在货架的给定区域中示出的商品的布局信息。可以通过电子货架标签或ESL的媒介作用将所述布局信息与数据库中搁架的区域的标识符相对应，其在下文中称为“槽字段”。实际上，对所采集图像上的ESL的自动识别允许系统识别与搁架区域相对应的槽字段。

所述方法有利地但非限制性地通过以下特征单独地或以任何技术上可行的组合来完成：

该方法还包括，在采集搁架的图像之后，通过图像识别来识别所采集图像中所述搁架的至少一个空区域的步骤，

其中，对于所述给定的电子货架标签，在所述搁架的匹配区域中检测到的布局信息是所述区域为空的信息，导致确定所识别的商品在所述搁架中缺货；

·在后一种情况下，通过对所述搁架的背面或一行搁架的预定图案进行颜色识别来执行所述搁架的空区域的标识；

·所述方法还包括以下步骤：在商品图像数据库中检索与所标识的商品相关联的预注册图像，其中所述预注册图像是所确定的商品标识符的预期正视图，

并且还包括计算以下方面之间的相似率的步骤，

一方面，所采集图像的对应于所述搁架的确定区域的真实正视图的区段，

以及另一方面，所述预期正视图的所述预注册图像，

所述方法输出确定的槽字段和/或商品标识符的列表，根据所述相似率的值针对列表确定所述搁架的正视图不令人满意；

·所述方法还包括以下步骤：在所述实物图数据库中检索针对所确定的槽字段的预期排面信息，

并且所述方法还包括以下步骤：通过图像识别，检测由所确定的槽字段所标识的产品槽的预期排面信息和所采集图像上可见的真实排面之间的符合性；

在后一种情况下，预期的排面信息是所述搁架中同一商品的多个连续行的物品；

·所述方法进一步包括以下步骤：在图形界面中视觉显示所述搁架的表示，

以及突出所述搁架的空区域的视觉信号，

和/或视觉警报，提示与检测到的空产品槽关联的商品标识符和/或槽字段必须补货，

和/或突出所述搁架的与预期正视图不匹配的区域的视觉信号，

和/或突出所述搁架的与预期排面不匹配的区域的视觉信号，

·对于预定的一组可能的电子货架标签形状，通过图案识别来自动检测所采集图像上的电子货架标签；

·对于所采集图像的给定检测到的电子货架标签，匹配区域定义如下：所采集图像的位于所述电子货架标签的正上方，并且位于所述电子货架标签和右侧的连续货架标签之间的区段被确定为与所述电子货架标签相对应的所述搁架的匹配区域的图像；

根据第二方面，提供了一种计算机程序产品，其包括用于实现上述用于检查商品布局的方法的代码指令。

根据又一方面，本发明提出一种用于检查销售区域的搁架中的商品布局的系统，所述系统包括：

布置在所述搁架上的多个电子货架标签，

服务器，所述服务器被配置为与标签数据库通信，其中由唯一标签标识符标识的每个电子货架标签与单个商品标识符相关联，所述电子货架标签还对应于具有单个产品槽字段的所述搁架的匹配区域，所述服务器还配置为与实物图数据库通信，其中每个槽字段与商品标识符相关联，

能够采集所述搁架的图像的成像设备，

所述服务器被配置为：

在所述成像设备提供的搁架图像上对所述电子货架标签进行自动识别，

确定与所述电子货架标签相对应的槽字段，以及与所述电子货架标签相对应的所述搁架的匹配区域，

在所述图像中检测在所述搁架的给定区域中可见的商品的布局信息，

相对于存储在实物图数据库中的信息，检查检测到的布局信息。

上面定义的系统可以以有利的和非限制性的方式包括以下特征，这些特征可以是单独的，也可以是任何技术上可行的组合：

·所述服务器还被配置为与商品图像数据库通信，其中每个商品标识符与所标识商品的预期正视图的预注册图像相关联，

所述服务器能够将所采集图像的与表示检测到的布局信息的真实正视图相对应的区与预期的正视图进行比较；

·在所采集图像中检测布局信息包括自动识别所述搁架的空区域；

·所采集图像中的可检测布局信息包括在所述搁架的区域中可见的真实排面，例如在所述搁架的所述区域中的排数，

所述服务器能够将所述真实排面与在实物图数据库中检索到的预期排面信息进行比较。

附图说明

在下面的详细描述中阐述了本发明的其他特征、目的和优点，这些描述仅仅是示例性的而非限制性的，并且将结合以下附图进行阅读：

图1表示现有技术已知的价格显示系统，包括电子货架标签、中央服务器和移动终端。

图2示意性地表示了用于检查货架中的商品布局的方法的步骤。

图3示意性地表示了特定实施例中的用于检查商品布局的方法的步骤，其中检测到货架的空区域。

图4是图3所示方法的货架标签检测步骤的示意图。

图5是图3所示方法的行检测和货架标签计数步骤的示意图。

图6是图3所示方法的空货架区域检测步骤的示意图。

图7是作为图3所示方法的一部分的，确定与和所检测到的空区域相对应的槽字段相关联的商品缺货的步骤的示意图。

图8是销售点的货架的替代示意图，其中区分了几个搁架。

图9示意性地表示根据替代实施例的用于检查商品布局的方法，其中将在货架的给定区域中可见的真实正视图与预期正视图进行比较。

图10示意性地显示了与销售点的货架有关的实物图数据库和商品图像数据库的示例性表示。

图11示意性地表示根据又一实施例的用于检查商品布局的方法，其中检测特定的排面信息(货架的特定区域中的产品的排数)并将其与预期的排面信息进行比较。

图12是作为图11所示方法的一部分的，获取货架给定区域中产品的排数的步骤的示意图。

图13是作为图11所示方法的一部分的，相对于预期数量检查检测到的产品排数的步骤的示意图。

具体实施方式

在下文中，将描述与销售点中的部分或完全自动化货架布局管理有关的几种方法。下面将描述的附图中的相似元件将由相同的附图标记表示。

在下文中，只要提及与搁架的匹配区域“对应”的电子货架标签或ESL，这意味着所述电子货架标签旨在显示与在搁架的所述区域中对于顾客可用的产品有关的信息。实际上，这意味着，在ESL显示特定商品标识符的商品信息的情况下，搁架的相应区域必须包含一定数量的多件所述商品。因此，“搁架区域”被定义为搁架的地理区域，该地理区域可以包含或不包含一排或多排相同产品。它通常位于搁架的两个连续水平行之间的水平区域中，覆盖所述区域的特定长度。

下文将描述的用于检查商品布局的系统能够自己标识在所采集图像中可见的搁架的“匹配区域”与同样在所述图像中可见的ESL之间的对应关系。该系统可以使用预定的规则，以从给定的ESL开始自动识别搁架的匹配区域(即，识别其中搁架的所述区域可见的图像区段)。

在下文中，我们考虑用于标识匹配区域的条件，定义如下：对于位于搁架中的给定检测到的ESL，位于所述ESL的正上方，并且位于所述ESL与右侧的连续ESL之间的所述搁架的采集图像的区域被确定为搁架匹配区域的图像。我们可以反过来考虑这个问题：对于搁架的给定区域，相应的ESL是位于搁架的所述区域正下方的行中，位于所述区域左侧的最近的ESL。

另外，搁架的每个区域都由唯一和特定的编号标识，以下称为“产品槽字段”或“槽字段”。下面将描述用于定义槽字段的特定模式。每当提及“对应于”槽字段的ESL时，这意味着ESL旨在显示与在由所述槽字段标识的搁架的匹配区域中显示的产品有关的信息。

此外，下面将参考对搁架中所示商品的“布局信息”的检测。从广义上讲，布局信息是指有关搁架中待售商品状况的任何信息，这些信息可以通过使用搁架的图像(通常是货架前部的视图)进行自动识别来推断。特定类型的布局信息包括，例如搁架区域的空状态或非空状态(指示商品在货架上是否缺货)，或搁架中可见的多排相同产品。

图1以示例性且非限制性的方式示意性地示出了电子货架标签管理系统，该系统可以在销售区域中推出以便向顾客显示价格信息。这样的系统类似于代表申请人提交的公开号为WO2017/017366的国际专利申请中描述的系统。该系统包括安装在搁架中的电子货架标签子系统1，中央服务器2和读取设备3。中央服务器2可以另外经由本地或远程网络与未在图1上示出的显示系统通信。中央服务器2还与一个或多个成像设备通信，所述成像设备能够通过任何图像捕获方法拍摄销售点的搁架的照片以便监视商品的布局。可以根据诸如Wi-Fi、3G或4G或DECT任何通信网络来执行读取设备3和中央服务器2之间的通信。

电子货架标签(以下也称为ESL)优先放置在整个销售区域的货架上。在图1上，三个ESL 10、11、12布置在位于货架边缘的货架导轨13上，用于展示待售商品。每个ESL包括用于显示产品信息的显示器14，例如液晶显示屏。该信息通常包括符合法规要求的商品价格，以及其他要求的信息，例如每公斤价格。每个ESL由唯一的标签标识符标识，该标识符可以例如通过条形码显示在ESL的外壳上。该标签标识符通常可以是特定的字母数字序列。该标签标识符可以明确标识销售点的每个货架标签。另外，每个电子货架标签对应于一件待售商品，其本身可以通过特定的商品标识符(例如EAN代码)来标识。

ESL优选地分布在整个销售区域中，使得在整个区域中提供的价格信息与中央服务器2中存储的信息一致。

ESL(例如货架标签10)与图1所示的电子货架标签管理系统的其余组件之间的通信可以如下进行。ESL包括射频通信模块，其可以接收由与中央服务器2连接的中央站发射的射频信号中编码的商品信息。ESL通常包括天线和NFC或RFID类型的芯片。ESL还包括用于存储所述传输的数据的存储器，以及用于在屏幕14上显示数据的微控制器。读取设备3可以通过ESL的射频外围设备经由无线通信与ESL通信。以此方式，读取设备3可用于在安装ESL时将ESL与商品标识符相关联。读取设备3还配备有用于使用条形码进行光学识别ESL的标签标识符的模块。

结果，货架标签管理系统的所有组件1、2、3都可以通过无线通信进行通信。

中央服务器2至少包括标签数据库DB，该标签数据库DB包括电子货架标签(例如，ESL 10、11、12)和待售商品之间的关联信息，例如以唯一标签标识符和商品EAN号之间的表关联形式。在此，中央服务器2另外包括实物图数据库P和商品图像数据库A。然而，要注意的是，所述数据库A对于以下将描述的所有方法不是必需的。

实物图数据库P包括产品槽(slot)字段、在销售点中的待售商品的商品标识符，以及布置在销售点货架上的ESL的标签标识符之间的关联信息。产品槽字段可以采用允许明确标识货架的产品槽的任何形式。

在以下所有内容中，产品槽字段包含三个数字索引(在图1中不可见)。第一索引i对应于销售点的搁架，该搁架可以包括一个或多个系列的货架，这些货架平行地堆叠在彼此的上部。第二索引j对应于搁架i的特定行。在以下所有内容中，连续在一个搁架内对行进行计数，从最低的行(第0行)直到最高的行。第三索引k对应于行j内的特定电子货架标签。在以下所有内容中，ESL沿着行(即，沿着货架导轨)连续计数，从最左侧的ESL(ESL 1)直到最右侧的ESL。三元组(i，j，k)中索引i、j、k的组合允许明确标识单个电子货架标签。实物图数据库P中与产品槽字段(i，j，k)相关联的商品标识符由项P_ijk表示。与产品槽字段(i，j，k)相关联的，用于标识销售点的一个ESL的唯一标签标识符标记为L_ijk。因此，在标签数据库DB中，唯一标签标识符L_ijk将与商品标识符P_ijk相关联。下面将结合图10描述实物图数据库P的图形表示。

商品图像数据库A将每个商品标识符(例如EAN编号)与任何常用图像格式的数值图像相关联，对应于由所述标识符标识的商品的正视图的预期图像。

此外，中央服务器可以访问商品信息，将每个商品标识符与销售点操作所需的信息相关联，包括价格信息和其他要显示给顾客的信息、管理信息(例如库存信息)等。

标签数据库DB、商品图像数据库A和实物图数据库P可以共同包含在销售点的单个文件中，也可以包含在单独的文件中。几个销售点的管理可以通过单个中央文件进行远程管理，否则每个销售点可以拥有其自己的文件或文件集。

此外，可选地，但是非常有利地，相对于标签数据库DB中存在的信息实时地更新实物图数据库P。这意味着，对于给定的ESL，该ESL在货架上具有预定义位置-并保持固定在该位置，因为该ESL与该货架的货架导轨13固定接合，如图1可见-因此对应于给定的槽字段(i，j，k)，如果在标签数据库DB中修改了与所述ESL相关的信息(通过关联到新商品标识符，或与不同于先前关联商品标识符的新商品标识符重新关联)，则将相应地修改实物图数据库P中的信息，以使相应的槽字段(i，j，k)也与所述新商品标识符相关联。例如，实物图可以包括标签标识符和槽字段之间的关联，从而当给定标签标识符在标签数据库DB中与新商品标识符重新关联时，所述修改立即反映在实物图数据库P中。

现在将参考图2描述一种以检测布局信息的形式(上面已经初步广泛地讨论了)检查货架中商品布局的方法。

在步骤210，通过与中央服务器2通信的成像设备采集包括搁架i的一个或多个搁架的数值图像，其中显示给顾客的商品的排面是可见的。获得搁架i的图像I，并将其存储在中央服务器2的存储器中。

在步骤220，对图像I上的所有当前ESL进行自动检测。通常相对于存储在中央服务器2的存储器中的可能的电子货架标签形状的预定集合，通过图案识别来执行所获取图像上的电子货架标签的这种自动检测。

在图像上可见的所有电子货架标签都被选出之后，可以执行检测行的步骤221(即，检测位于同一货架导轨14上的连续的ESL的集合)。对于从前一步骤220得到的，大致对齐的每组检测到的ESL，检测到行j。然后可以从最低行到最高行，从0开始对行进行编号。

在步骤222，从最左侧的货架标签到最右侧的货架标签，从1开始，对每行j的检测到的货架标签进行连续编号。

此时，中央服务器2知道在搁架i中多少j行可见，以及在与每一行相对应的每个货架导轨上布置了多少连续的货架标签。因此，服务器能够将如上关于图1所定义的槽字段(i，j，k)归属于在所采集图像I上可见的每个ESL。

现在将针对在所采集图像上可见的单个给定的ESL来描述现在将遵循的图2的方法的所有步骤，即步骤230至260。但是，可以根据需要多次执行所述步骤。尤其是，可以针对整个货架的每个ESL或货架地理区域的每个ESL重复这些步骤，以用于自动检测可能发生在该区域的事件，例如货架区域缺货，或商品的排面错误的目的。

从给定的ESL开始，该ESL对应于槽字段(i，j，k)，在步骤230，服务器可以标识在图像I上可见的，对应于所述ESL的货架的匹配区域。在所述步骤中，服务器使用预定条件。提醒一下，示例性条件是，在所述ESL和右侧的连续ESL之间，位于给定ESL正上方的货架区域是对应于所述给定ESL的货架区域。本领域技术人员将不难理解服务器如何识别匹配区域。

然后，在步骤240，服务器检测与所确定的货架区域有关的布局信息。下面将结合对应于几个实施方式的几种类型的布局信息来更详细地解释执行这种布局信息检测的特定模式。

此时，系统能够将检测到的布局信息和与给定ESL对应的槽字段(i，j，k)对应起来。实际上，作为先前步骤222的结果，系统知道货架中的ESL的顺序，并且因此能够建立对应于每个可见ESL的槽字段(i，j，k)。在图2的方法中，服务器可以在步骤222的结束与步骤250的开始之间的任意点确定针对给定ESL的槽字段。

然后，在步骤250，参考在实物图数据库P中可用的信息。这里的目的是将在步骤240检测到的布局信息与特定商品标识符相联系。提醒一下，实物图数据库P包含槽字段(i，j，k)与商品标识符P_ijk(例如商品的EAN编号)之间的关联。在该步骤250中，检索用于槽字段(i，j，k)的商品标识符P_ijk。相对于该产品槽字段检索到的标识符对应于在与所述产品槽字段相对应的货架区域内预期将被储存和出售的商品。

最后，在步骤260，检查检测到的布局信息。通常，知道在步骤230确定的货架区域中预期显示的商品的商品标识符P_ijk，可以参考在实物图数据库P中对于所述商品P_ijk可用的信息，或者也可以参考任何其他数据库，其中商品标识符P_ijk与和商品布局相关的其他信息相关联，例如商品的预期正视图(请参见下面有关图10的说明)。

图2的一般方法提供了一种非常简单且有效的方法来控制货架内商品的布局。例如，对于货架的每个可检测到的ESL，该方法都可以以规律间隔定期运行。由于在货架上检测到的商品布局信息与实物图数据库的预期信息之间的链接是由ESL的媒介自动完成的，因此几乎不需要人工输入。可以将步骤260的检查结果为否定的不令人满意商品或不令人满意槽字段的列表自动提供给操作员，这将允许他们采取适当的行动来校正商品的布局。

现在将描述方法200的示例性实施方式。所述实施方式涉及一种与图3和说明性图4至图7有关的用于检测特定搁架i内的空区域的方法300。

在此，检测到的布局信息只是在货架的给定区域中是否存在商品。此外，在该特定实施方式中，针对在所采集图像中检测到的每个ESL都检测布局信息，并且不仅针对给定的ESL。

换句话说，在整个搁架i上运行该方法，以检测所述搁架i内的所有空区域。

但是，可以对全部检测到的ESL中的任意给定ESL集类似地运行该方法。

步骤310至322与上述步骤210至222完全匹配。作为步骤310至322的结果，服务器因此保留所采集的搁架i的图像I，并且已经检测到所述搁架上的每个ESL以及所述搁架内的ESL的j行和每行中的ESL的顺序。

参照ESL检测的步骤320，中央服务器2的显示系统可以实时显示检测结果。在图4中给出了示例性视图：在所述视图上，以虚线示出了对应于ESL的图像I的检测到的区域，其中ESL 10位于货架13上。搁架i包含数个货架导轨13，在每个货架导轨13上都布置了多个ESL。在该方法的该阶段，已经通过图案识别来选出与ESL相对应的图像I的所有部分。中央服务器2将所采集的图像I上与ESL的形状相对应的每个形状识别为一个电子货架标签。

现在参考步骤321，然后可以从最低行到最高行，从0开始对行进行编号。在步骤322，从最左边的货架标签到最右边的货架标签，从1开始，对每行j的检测到的货架标签进行连续编号。所述操作的结果显示在图5中。为了说明起见，选出特定的电子货架标签10，更确切地说是从最低行的左侧开始的第二货架标签。

回到图3，方法300然后包括补充步骤330，用于检测在图像I上可见的货架的空区域。在该步骤中，标识货架的所有空区域。在此，在步骤320、321和322检测到货架标签和行之后，对空产品槽进行标识。但是，在检测货架标签和行之前，也可以检测与空产品槽检测相对应的图像I的区域。

可以使用几种读取图像并检测空区域的模式。可以通过对货架的背面的预定图案或货架行进行颜色识别来进行空槽检测。例如，如果每个货架的顶表面是鲜艳的浅绿色，其中据称以允许看到货架顶表面的角度拍摄图像12，则步骤330可以在于在对图像的鲜艳浅绿色区域进行检测。为了避免将与非空区域相对应的图像区域混淆为空区域，货架的顶表面可以覆盖有特定的图案，并且可以在步骤330对具有所述图案的图像I的区域进行检测。可选地，在步骤330，可以在图像I中搜索亮度较低的区域：如果搁架i的照明正在运行，则包含物品的产品槽将比图像I上的空产品槽具有更亮的外观。

在标识空区域的步骤330期间，随着中央服务器2进行检测，服务器可以向用户显示搁架的图像I的处理结果。在图6中示意性地显示了根据步骤330对图像I进行处理之后的结果。

为了说明起见，在图6中已经选出货架的特定空区域30。该空区域位于搁架i的第4行中，位于该行的第4位置。

作为步骤330的结果，一方面，中央服务器2已经选出了图像I的对应于货架的空区域的区域。另一方面，检测到j个行，并且图像I中存在的每个货架标签都可以与产品槽字段(i，j，k)关联。

然后，必须将空区域与缺货商品或在系统中缺少实物图参考的商品相对应。在此，作为方法300的一部分，服务器为每个可见的ESL(包括图7的ESL 10)执行步骤340至351。

所述ESL 10是第4行的从左侧开始数的第4个货架标签，其相当于索引为k＝4。此外，由于成像设备被设置为捕获预定的一个或多个搁架的图像，因此已知搁架号为i。因此，用于所述ESL 10的相应产品槽字段是(i，4，4)。

在步骤340，服务器确定在图像I中可见的匹配区域(即，货架的区域)对应于图5中所示的ESL 10，所述匹配区域在图7中具有附图标记30。

然后，在步骤341，服务器能够为所述ESL 10建立货架的相应区域(即区域30)是否为空。在图6的情况下，区域30确实已被检测为空区域。

然后在步骤350，服务器通过参考实物图数据库P，检索与槽字段(i，4，4)相关联的商品标识符P_i44。

最后，在步骤351，由于货架的区域30是空的，因此确定商品P_i44在货架上缺货。

可替代地，如果在步骤341发现与给定ESL相对应的货架的确定区域为空，并且如果在步骤350服务器未能检索到相关的商品标识符，则有可能货架的所述确定区域没有与商品相关联，在这种情况下，缺少实物图参考。在这种情况下，可以执行特定的警报，以警告人员必须完成实物图。

在针对先前在步骤320已经检测到的每个ESL执行步骤340至351之后，可以将缺货商品P_ijk的列表L₁或可替选地与货架的空区域相对应的槽字段的列表分发给用户。

可选地，在步骤351之后，中央服务器2的图形界面可以向终端用户显示货架的视觉表示，其中用信号通知空产品槽。货架的这种视觉表示可以对应于图4至图7的表示，或者它可以是货架的任何类型的视觉表示。

例如，所述视觉表示可以以突出显示货架上的空产品槽的视觉信号为特征，并带有诸如矩形或圆形的特定标志。否则，中央服务器2可以发送视觉警报，例如弹出消息，提示必须对于检测到的空区域相关联的槽字段进行补货。可替选地，可以不对终端用户提供货架的视觉表示，并且可以以数字形式将与空区域相对应的槽字段分发给终端用户。

图8提供了销售点搁架的另一种视觉表示形式。这里，示出了彼此并置的几个搁架i＝1、2、3、4。在第二个搁架内，与行索引j＝7对应的行被突出显示。在所述行内，示出了货架标签k＝1至k＝9。多个搁架的这种联合视觉表示可以被人类用户有利地与突出显示由方法300检测到的空区域的视觉信号和/或警报消息一起使用，以便共同监视多个搁架中的空区域。

因此，图3的方法300提供了一种非常简单的方式来自动检测空区域。可以将执行所述方法的中央服务器2与用于库存管理的系统接口连接，以便采取适当的行动。该方法非常简单，因为它依赖于简单的图像读取。

现在将结合图9描述第二实施方式。提供了一种方法900，用于相对于商品图像数据库A的预期正视图检测货架内部的不令人满意的正视图。在该特定实施方式中，“布局信息”是在货架的确定区域中可见的物品正面的正视图。

首先，在步骤910，类似于图3的方法的步骤310，采集包括搁架i的一个或多个搁架的图像I。结果，采集搁架i的图像I，并将其存储在中央服务器2的存储器中。

以所述获取的图像I为基础，类似于图3所示方法的先前描述的步骤320至322，执行在采集的图像上识别ESL和对所述ESL进行排序的步骤920。

然后，在步骤930，类似于图3所示方法的步骤340，确定对应于给定ESL的货架的匹配区域。有利地，对于在步骤920中检测到的所有ESL执行步骤930至960。

另一方面，由于已经自动检测到所采集图像I的行并且已经对每行内的货架标签进行了计数，因此在步骤931，可以将所考虑的电子货架标签与槽字段(i，j，k)匹配。可替代地，可以在将ESL与货架的区域相对应之前确定槽字段(并且因此步骤930和931可以相反)。

最后，在步骤932，在确定的货架区域内，服务器挑选出与商品的真实正视图相对应的图像I的区。如果确定的区域仅包含一排物品，则将真实正视图确定为该行中第一个物品的正面。

如果确定的货架区域包含一排以上的物品，则针对货架的该单个区域考虑多个真实正视图，并且将针对每个所述真实正视图重复以下比较步骤960，或仅考虑其中一排物品，并且仅采集一张真实的正视图。

然后，对于给定的ESL和货架的对应区域，方法900包括执行步骤940至960。

在步骤940，类似于图3的方法的步骤350，参考实物图数据库P，以便确定应当在与槽字段(i，j，k)相对应的区域中显式哪种商品。因此，从实物图数据库P中检索商品标识符P_ijk。

然后，在步骤950，中央服务器2参考商品图像数据库A。在商品图像数据库A中检索与所确定的商品标识符P_ijk相关联的预注册图像。该图像对应于所确定的商品标识符P_ijk的预期正视图。所述图像通常是正视图的图像，其在实物图数据库P的视觉表示中使用，用于显示产品槽字段和商品标识符之间的关联。

在步骤960，计算在所采集图像I上可见的真实正视图与从商品图像数据库A中检索到的预期正视图之间的相似率。该步骤960的目的是确定在货架内的产品槽中示出的商品的真实正视图是否与预期正视图匹配。特别地，可以检测一种情况，其中产品槽字段中显示的商品对应于与实物图中所期望的参考不同的另一参考。

以这种方式，由于可以追踪引起差异的货架区域，因此可以自动且容易地纠正在实物图中计划的商品的预期布置与在销售点中商品的实际布置之间的差异。

在此步骤中，还可以检测在确定的区域中向顾客展示了正确的商品，但是不是预期正视图的情况。例如，如果该区域中的前面的物品不在正确的位置，则降低了与预期正视图的计算相似率。

在实践中，可以比较一方面所采集图像I的与产品槽字段(i，j，k)的真实正视图相对应的区域的像素和另一方面包含在商品数据库A中的预期正视图的预注册图像的适应版本的像素，所述预注册图像的尺寸重新调整以匹配所采集图像I的对应于真实正视图的区的尺寸。

可在步骤960处执行用于比较图像并计算相似率的任何其他已知技术。特别是，可以使用比简单像素比较更智能的算法，以便考虑图像I内预期正视图和真实正视图之间的亮度或定向的可能变化。

关于附图10提供了一个示例。最左侧图像I对应于搁架i的采集图像I的一部分。在所述图像上可以看到特定的商品正视图40：这是一瓶芒果汁的正视图。

在步骤930，确定所述商品正视图对应于产品槽字段(i，0，8)-搁架i，第一行从最下侧开始，并且该行的第八电子货架标签从最左面的货架标签开始。

在由图10的中心图像示意性表示的实物图数据库P中，槽字段(i，0，8)确实与商品标识符相关联，该商品标识符本身与商品参考“芒果汁”相对应。

其他商品信息可以包含在实物图数据库P中，例如与商品相关联的价格或排面信息(参阅下面图11的描述)。

最右侧的图像是实物图数据库P和商品图像数据库A之间组合的结果，相当于搁架i的完整视觉预期视图。实际上，在所述视觉表示中示出的每个产品槽都包含该商品的预期正视图，所述商品的预期正视图被注册在与所述区域的槽字段相关的实物图数据库P中。

对于在真实正视图40中可见的芒果汁，在步骤960中将所述正视图确定为令人满意的，因为在最右侧图像上示出的用于槽字段(i，0，8)的预期正视图41类似于最左侧图像的商品正视图40。预期正视图41和真实正视图40可以由于不同的发光度条件和不同的视角而略有不同。在计算真实正视图与预期正视图之间的相似率时，可以考虑所述拍摄图像的条件。

针对图像I内的所有检测到的产品槽或者替代地仅检测到的产品槽的一部分完成步骤940至960之后，可以输出确定的槽字段和/或商品标识符的列表L₂，针对其对应产品槽中提供的正视图与预期的正视图不匹配，因此该列表突出显示了不令人满意的产品正视图。

可以在中央服务器2中预先注册预定的最小相似率，在该最小相似率之上，可以认为真实的正视图是令人满意的，并且相应的产品槽字段和/或商品标识符不应该被包括在突出显示不令人满意的产品正视图的列表中。

可以在提供可视信号以向终端用户警告所检测到的差异的步骤970中使用与不令人满意的正视图相对应的槽字段和/或商品标识符的输出列表。例如，在图10的最右侧图像中可见的表示可以包括突出显示的区域，其对应于不令人满意的正视图。

应当注意，图9的用于检测不令人满意的排面的方法完全独立于图2的用于检测空产品槽的方法。但是，这两种方法可以有利地组合。例如，在检测到空区域之后，可以对多个或所有剩余产品槽执行相似率的计算。最终可以将警报发送给终端用户，同时通知空区域(和相应的商品标识符)以及真实正视图与预期正视图不匹配的区域。

可替选地，真实正视图与预期正视图之间的相似率的计算还可以包括确定货架的对应区域为空。在后一种情况下，共同进行该区域是否为空以及商品正视图是否令人满意的两种确定。

现在将结合图11以及说明性图12和13描述第三也是最后一种实施例。该实施例涉及一种方法1100，该方法用于相对于包含在实物图数据库P中的预期的排面信息检测货架内部的不令人满意的商品排面。

在该特定实施例中，“布局信息”是货架的确定区域内的物品的排数。可替选地，可以考虑其他种类的排面信息(例如，专用于特定产品的货架区域的长度)。

类似于先前描述的方法900，为了检测不令人满意的商品正视图，有利地对货架的每个可见ESL执行方法1100，但是也可以替选地仅对一个给定的ESL或指定的ESL集合执行该方法1100。

步骤1110至1131完全类似于方法900的步骤910至931，即，通过图像识别检测ESL并对其进行排序，并且对于给定的ESL，确定货架的相应区域并还确定相应的槽字段(i，j，k)。

之后，执行自动识别在货架的确定区域中可见的物品的排数的步骤1132。

从理论上讲，在货架确定区域内所有显示的多排物品应该属于相同产品-因为只有一个ESL对应于整个确定区域。如果不是这种情况，则前面描述的方法900应该返回一个结果，即真实正视图之一相对于包含在实物图数据库P中的信息是错误的。在这里，我们假定货架的所述区域内的所有排的物品属于相同产品。

后续步骤1140类似于方法900的步骤940，其中确定在实物图数据库P中与先前确定的槽字段(i，j，k)相关联的商品标识符P_ijk。

然后，在步骤1150，从实物图数据库P(或服务器能够与之通信，将排面信息与商品标识符相关联的任何其他数据库)检索在货架的确定区域中针对商品P_ijk的预期排数。

最后，在步骤1160，将检索到的预期排数与实际检测到的排数进行比较。

类似于方法900的步骤970，步骤1170可以包括向终端用户提供视觉信号，突出显示真实排面与预期排面不匹配的货架区和/或商品标识符列表L₃和/或字段列表字段列表。

从图12开始，在附图中提供了用于检测不令人满意的商品排面的所述方法1100的操作的示例。

在所述图中，相对于前述图4至图7考虑了相同的搁架i。现在，我们考虑使用不同的ESL 11。所述ESL位于从下侧开始的第三行(j＝2)中，位于第二位置(k＝2)。如图12所示，货架标签11对应于多排相同产品。

当在方法1100的过程中到达ESL 11时，并且作为步骤1132的结果，检测针对ESL11的对应于槽字段(i，2,2)的货架匹配区域包括三排产品。

然后，在步骤1140处，并且通过参考表示所拍摄搁架内商品的预期布置的实物图数据库P，确定商品标识符P_i22。

参考图13，并且在步骤1150，服务器从实物图像数据库P中检索槽字段(i，2，2)的预期排面信息，形式为预期排数的产品。在这种情况下，预期的排数为4，这导致在步骤1150中确定真实排面与预期排面不匹配。因此，实际检测到的排面信息不符合存储在实物图数据库中的预期排面。

尽管已经分别和独立地描述了上述三个实施例的方法300、900和1100，但是它们可以有利地组合，以检测与不令人满意的商品布局有关的多个可能的事件。此外，本领域技术人员将容易理解，在采集的货架的图像上可读的任何其他种类的布局信息，优选地以自动而无需人工输入的方式，都可以被认为是本发明的可能实现。

此外，上述方法中的任何一种都可以非常有利地与用于确定与销售区域的货架中的商品布局有关的性能指标的系统相结合。

例如，可以将前述方法之一中涉及的服务器配置为针对销售点的每个搁架或者甚至货架的每个区域计算满意度指数。这种满意度指数可以按照以下重要性顺序考虑几个可能的标准：商品的存在、本商品是否符合预期商品参考、真实排面是否符合预期排面、所示商品相对于预期布局是否处于正确定向。

Claims (15)

1.一种利用实物图数据库来(P)检查销售区域的搁架中的商品布局的方法，所述实物图数据库(P)表示所述搁架中的商品的预期布局，

所述搁架包括至少一个电子货架标签(10)，其中每个电子货架标签(10)对应于具有单个产品槽字段(i，j，k)的所述搁架的匹配区域，所述槽字段包括：

·搁架号(i)，

·行号(j)，与一个特定搁架(i)内的连续多行(1，...，j，...)的电子货架标签中的一行电子货架标签相对应，

·标签号(k)，与一个特定行(j)内的连续电子货架标签(10)中的一个相对应，

所述方法(200)包括以下计算机实施的步骤：

ο由成像设备采集(210)所述搁架的图像(I)；

ο在采集的所述搁架的图像(I)中自动检测(220)电子货架标签(10)；

ο自动检测(221)所采集图像中的多行(1，...，j，...)电子货架标签；所述方法的特征在于其还包括以下步骤：

ο对于在所采集图像中可见的给定电子货架标签，确定所述电子货架标签的行号(j)和标签号(k)，并确定对应的产品槽字段(i，j，k)，

ο确定所采集图像(I)中与所述电子货架标签相对应的所述搁架的匹配区域，

ο通过使用所采集图像(I)进行图像识别来检测与在所述搁架的所述匹配区域中示出的商品有关的布局信息，

ο访问实物图数据库(P)，每个槽字段与所述实物图数据库(P)中的商品标识符相关联，

ο在所述实物图数据库(P)中标识与确定的槽字段(i，j，k)关联的商品标识符(P_ijk)，

ο检查检测到的布局信息与存储在所述实物图数据库(P)中的针对所标识商品(P_ijk)的预期布局之间的符合性。

2.根据权利要求1所述的方法，其中每个电子货架标签在标签数据库(DB)中与单个商品标识符相关联，

并且，每当具有特定相应槽字段的给定电子货架标签在所述标签数据库(DB)中与特定商品标识符相关联或重新关联时，所述相应槽字段(i，j，k)也在所述实物数据库(P)中与所述特定商品标识符相关联或重新关联，从而导致相对于所述标签数据库实时地更新所述实物数据库(P)。

3.根据权利要求1或2所述的方法，还包括在采集(310)所述搁架的图像(I)之后，通过图像识别来标识(322)所采集图像(I)中所述搁架的至少一个空区域(30)，

其中对于所述给定电子货架标签，在所述搁架的确定区域中检测到的布局信息是所述区域为空的信息，从而导致确定(350)所标识的商品(P_ijk)在所述搁架中库存不足。

4.根据权利要求3所述的方法，其中通过对所述货架的背面或一行货架的预定图案进行颜色识别来标识所述搁架的空区域(30)。

5.根据前述权利要求中的一项所述的方法，还包括以下步骤：检索(50)在商品图像数据库(A)中与所标识的商品(P_ijk)相关联的预注册图像，其中所述预注册图像是针对所确定的商品标识符(P_ijk)的预期正视图，

然后所述方法包括计算(960)以下方面之间的相似率，

一方面，所采集图像(40)的用于检测布局信息的对应于所述搁架的匹配区域的真实正视图的区段，

以及另一方面，所述预期正视图的所述预注册图像(41)，

所述方法输出(970)确定的槽字段(i，j，k)的以下列表和/或商品标识符(P_ijk)的以下列表(L2)：针对所述列表根据相似率的值确定所述正视图不令人满意。

6.根据前述权利要求中的一项所述的方法，还包括以下步骤：在所述实物图数据库(P)中检索(1150)针对所确定的槽字段(i，j，k)的预期排面信息，

通过图像识别，检查(1160)针对所述搁架(31)的匹配区域的预期排面信息和所采集图像(I)上可见的真实排面之间的符合性。

7.根据权利要求6所述的方法，其中所述预期排面信息是应该在所述搁架中显示的连续的多排相同商品(P_ijk)。

8.根据前述权利要求中的一项所述的方法，其中图形界面能够向用户显示(260、970、1170)所述搁架(1)的表示，

以及突出所述搁架的空区域(30)的视觉信号，

和/或视觉警报，表示与检测到的所述搁架的空区域相关联的商品标识符(P_ijk)和/或槽字段(i，j，k)必须补货，

和/或突出所述搁架的与预期正视图不匹配的区域的视觉信号，

和/或突出所述搁架(31)的与预期排面不匹配的区域的视觉信号。

9.根据前述权利要求中的一项所述的方法，其中对于预定的一组可能的电子货架标签形状，通过图案识别来执行所采集图像(I)上的电子货架标签的自动检测。

10.根据前述权利要求中的一项所述的方法，其中所述匹配区域被定义如下：对于所采集图像(I)的给定的检测到的电子货架标签(10)，所采集图像的位于所述电子货架标签的正上方，并且位于所述电子货架标签和右侧的连续货架标签之间的区被确定为与所述电子货架标签(10)相对应的所述搁架的匹配区域的图像。

11.一种计算机程序产品，包括代码指令，当在计算机设备的服务器上运行所述代码指令时其用于实现根据前述权利要求中的一项所述的方法。

12.一种用于检查销售区域的搁架(1)中的商品布局的系统，所述系统包括：

多个电子货架标签(10)，布置在所述搁架上，

服务器(2)，被配置为与标签数据库(DB)通信，其中由唯一标签标识符标识的每个电子货架标签(10)与单个商品标识符相关联，所述电子货架标签还对应于具有单个产品槽字段(i，j，k)的所述搁架的匹配区域，所述服务器还配置为与实物图数据库(P)通信，其中每个槽字段(i，j，k)与商品标识符(P_ijk)相关联，

成像设备，能够采集所述搁架(1)的图像(I)，

所述系统的特征在于，所述服务器还被配置为：

-在所述成像设备提供的所述搁架(1)的图像(I)上对所述电子货架标签(10)进行自动识别，

-确定与所述电子货架标签相对应的槽字段(i，j，k)，以及与所述电子货架标签相对应的所述搁架的区域，

-在所述图像(I)中检测在所述搁架的给定区域中可见的商品的布局信息，

-相对于存储在所述实物图数据库(P)中的预期布局信息，检查检测到的布局信息。

13.根据权利要求12所述的系统，其中所述服务器还被配置为与商品图像数据库(A)通信，其中每个商品标识符(P_ijk)与所述标识商品的预期正视图的预注册图像(41)相关联，

所述服务器能够将所采集图像(40)的与真实正视图相对应的区与预期正视图进行比较，所述真实正视图表示检测到的布局信息。

14.根据权利要求12或13中的一项所述的系统，其中所采集图像中的可检测布局信息包括自动识别所述搁架的空区域(30)。

15.根据权利要求12至14中的一项所述的系统，其中所采集图像中的可检测布局信息包括在所述搁架的所述区域中可见的真实排面，例如在所述搁架的所述区域中的排数，

所述服务器能够将所述真实排面与在所述实物图数据库(P)中检索到的预期排面信息进行比较。

Images