CN111685599A - 商品管理系统及商品管理方法 - Google Patents

Abstract

本发明提供能自动检测放置于商品架的商品的误归还的商品管理系统及商品管理方法。管理商品架的列上放置有同一商品种类的商品的商品架的商品的商品管理系统包括：获取放置在商品架的各列的正面起始位置的商品正面图像的摄像头传感器；生成基于正面图像识别商品架正面的商品的商品种类和正面位置后的商品正面信息的商品种类识别控制器；配置在商品架上、获取放置于商品架的商品的底面图像的面板传感器；生成基于底面图像按每个商品架识别商品的大小、各列的商品个数和商品的商品架位置后的商品架信息的面板传感器控制器；及具有基于商品正面信息和商品架信息对商品被归还至所指定的位置以外的位置的误归还进行检测的误归还检测部的商品管理控制器。

Description

商品管理系统及商品管理方法

技术领域

本发明涉及能自动检测放置于商品架的商品的误归还的商品管理系统及商品管理方法。

背景技术

在便利店或超市等店铺中，大多在将多个商品架配置成多层的展示架上陈列商品。店铺需要对配置于商品架的商品的可补充数进行管理并适时适当地补充商品。

另外，专利文献1中记载了如下系统：使用人体感应传感器和重量传感器，并基于检测定时来判定所取出的商品或所配置的商品。此外，专利文献2中记载了如下商品状况分析装置：基于摄像头所得到的图像信息，来检测对象物从对象物配置区域消失的情况、以及对象物从商品配置区域返回的情况。

现有技术文献

专利文献

专利文献1：日本专利特开2018-206372号公报

专利文献2：日本专利特开2014-149687号公报

发明内容

发明所要解决的技术问题

然而，展示架的商品架上所放置的商品将产生如下误归还：虽然放置在预先指定的位置，但一旦被顾客取出，该取出后的商品被归还至指定位置以外的位置。店员在店内巡视并通过目视来确认该误归还的商品，因此存在店员的工作负担较大的问题。

另外，误归还是商品的取出与归还相组合的现象，仅通过单纯检测商品，难以检测出误归还。

本发明是鉴于上述情况而完成的，其目的在于提供一种商品管理系统及商品管理方法，能自动检测放置于商品架的商品的误归还。

解决技术问题所采用的技术方案

为了解决上述问题，达成目的，本发明所涉及的商品管理系统是对从商品架的正面起始位置起朝向深度方向的列上放置有同一商品种类的商品的商品架的商品进行管理的商品管理系统，其特征在于，包括：摄像头传感器，该摄像头传感器获取放置在所述商品架的各列的正面起始位置的商品的正面图像；正面识别部，该正面识别部生成基于所述正面图像对所述商品架正面的商品的商品种类和正面位置进行识别而得到的商品正面信息；面板传感器，该面板传感器配置在所述商品架上，获取放置于所述商品架的商品的底面图像；商品架识别部，该商品架识别部生成基于所述商品正面信息和所述底面图像按每个所述商品架生成对所述商品的大小、各列的商品个数和所述商品的商品架位置进行识别而得到的商品架信息；以及商品管理部，该商品管理部具有误归还检测部，所述误归还检测部基于与预先指定的商品的配置有关的商品配置信息、所述商品正面信息和所述商品架信息，对所述商品被归还至所指定的位置以外的位置的误归还进行检测。

此外，本发明所涉及的商品管理系统的特征在于，在上述发明中，所述误归还检测部基于所述商品正面信息，在位于正面位置的当前商品的商品种类与预先指定的商品种类不同的情况下检测为存在所述误归还，或基于所述商品架信息，在位于相同列的商品的大小与预先指定的商品的大小不相同的情况下检测为存在所述误归还，或基于所述商品架信息，在商品数为0的列上放置有1个以上的商品的情况下检测为存在所述误归还。

此外，本发明所涉及的商品管理系统的特征在于，在上述发明中，所述误归还检测部基于所述商品正面信息，在位于正面位置的当前商品的商品种类与预先指定的商品的商品种类不同的情况下，生成该商品种类与预先指定的商品的商品种类不同的商品的商品种类和正面位置，以作为误归还信息。

此外，本发明所涉及的商品管理系统的特征在于，在上述发明中，所述误归还检测部基于所述商品架信息，在位于相同列的商品的大小与预先指定的商品的大小不相同的情况下，生成该商品的大小与预先指定的商品的大小不同的商品的商品种类和正面位置，以作为误归还信息。

此外，本发明所涉及的商品管理系统的特征在于，在上述发明中，所述误归还检测部基于所述商品架信息，在商品数为0的列上放置有1个以上的商品的情况下，生成放置有1个以上的商品的列的商品的商品种类和正面位置，以作为误归还信息。

此外，本发明所涉及的商品管理系统的特征在于，在上述发明中，所述商品管理部具备输出处理部，该输出处理部在所述误归还检测部检测到所述误归还的情况下，将所述误归还信息通知输出至与该商品管理系统相连接的终端装置。

此外，本发明所涉及的商品管理方法是对从商品架的正面起始位置起朝向深度方向的列上放置有同一商品种类的商品的商品架的商品进行管理的商品管理方法，其特征在于，包括如下步骤：正面图像获取步骤，该正面图像获取步骤获取放置在所述商品架的各列的正面起始位置的商品的正面图像；正面识别步骤，该正面识别步骤生成基于所述正面图像对所述商品架正面的商品的商品种类和正面位置进行识别而得到的商品正面信息；底面图像获取步骤，该底面图像获取步骤获取配置在所述商品架上、放置于所述商品架的商品的底面图像；商品架识别步骤，该商品架识别步骤生成基于所述商品正面信息和所述底面图像按每个所述商品架生成对所述商品的大小、各列的商品个数和所述商品的商品架位置进行识别而得到的商品架信息；以及误归还检测步骤，该误归还检测步骤基于与预先指定的商品的配置有关的商品配置信息、所述商品正面信息和所述商品架信息，对所述商品被归还至所指定的位置以外的位置的误归还进行检测。

发明效果

根据本发明，可自动检测放置于商品架的商品的误归还，因此能减轻店员的工作负担。

附图说明

图1是示出本发明实施方式即商品管理系统的结构的框图。

图2是示出配置在店铺内的展示架的结构的示意图。

图3是示出同一商品种类放置于商品架的各列的状态的一个示例的图。

图4是示出摄像头传感器进行拍摄的正面图像的拍摄区域的图。

图5是示出在上表面配置有面板传感器的商品架的结构的立体图。

图6是示出底面图像的一个示例的图。

图7是示出商品管理系统所进行的商品误归还管理处理步骤的流程图。

图8是示出步骤S105中的误归还检测处理步骤的流程图。

图9是示出位于正面位置的当前商品的商品种类与预先指定的商品种类不同的情况的一个示例的图。

图10是示出位于相同列的商品的大小不与预先指定的商品的大小相同的情况的一个示例的图。

图11是示出商品数为0的列放置有1个以上的商品的情况的一个示例的图。

图12是示出判定为无误归还的情况的一个示例的图。

图13是示出将误归还信息通知输出给平板终端的一个示例的图。

具体实施方式

下面，参照附图对用于实施本发明的方式进行说明。

＜系统结构＞

图1是示出本发明的实施方式即商品管理系统1的结构的框图。此外，图2是示出配置在店铺内的展示架2的结构的示意图。如图1所示，商品管理系统1的网络N1连接有作为正面识别部的商品种类识别控制器10、作为商品架识别部的面板传感器控制器20、商品管理控制器30。PC终端40和平板终端50经由网络N2连接至网络N1。

商品种类识别控制器10连接有摄像头传感器11和存储部12。摄像头传感器11是获取展示架2的正面图像D1的拍摄装置。存储部12存储正面图像D1、商品特性信息D2、商品正面信息D3。

商品种类识别控制器10基于正面图像D1，生成对商品架各列上的商品的商品种类和正面位置(X-Y平面)进行识别而得到的商品正面信息D3。此时，商品种类识别控制器10参照每个商品种类的正面图像的特征信息即商品特征信息D2来识别正面图像D1的商品种类。商品种类识别控制器10将所生成的商品正面信息D3发送至面板传感器控制器20。商品特征信息D2是表示包含例如商品的颜色、式样、设计、形状在内的商品包装状态的信息。

如图2所示，展示架2的多个商品架2a～2f上分别经由面板传感器S1～S6放置有商品P。如图3所示，各商品架2a～2f上，在从正面起始位置朝向深度方向(+Z方向)的各列R上放置有同一商品种类的商品P。

如图2所示，摄像头传感器11例如安装在天花板101上，以获取商品架2a～2f的正面图像D1。如图3所示，在各列R中存在商品P的情况下，正面将呈现所有的商品P。摄像头传感器11如图4所示，获取相对于展示架2的正面的区域E的图像，以作为正面图像D1。区域E是能拍摄到所有的商品架2a～2f上的商品P的区域。另外，正面图像D1也可以设为按每个商品架2a～2f分割后得到的正面图像的集合。

图1中，面板传感器控制器20经由集线器21连接至配置于商品架的面板传感器S(S1～S6)及存储部22。如图2所示，面板传感器S1～S6配置在各商品架2a～2f的上表面。例如，如图5所示，在商品架2a的上表面配置面板传感器S1。

面板传感器S是静电电容型的面板传感器，呈矩阵状地检测配置在面板传感器S的上表面的商品P的静电电容变化，并获取该静电电容变化的二维图像，以作为图6所示那样的商品的底面图像D4。图6示出了配置有塑料瓶的情况下的底面图像D4，在放置有塑料瓶的区域中，形成了与塑料瓶的底的形状相对应的圆形的图像。

在图1中，存储部22存储商品正面信息D3、底面图像D4、商品架信息D5。

面板传感器控制器20基于商品正面信息D3和底面图像D4，按每个商品架2a～2f生成对商品的大小、各列R的每个商品种类的商品个数、商品的商品架位置(X-Z平面)进行识别而得到的商品架信息D5。

对于商品个数，使用商品正面信息D3所示的每个商品种类的模板匹配信息来进行底面图像D4的模板匹配处理，并检测在模板匹配处理中被判断为相一致的部位的个数，以作为商品个数。

商品管理控制器30具有误归还检测部30a和输出处理部30b，并连接有存储部31。存储部31存储预先指定的商品的配置信息即商品配置信息D6、以及误归还检测结果即误归还信息D7。另外，商品管理控制器30也基于商品正面信息D3和商品架信息D5，进行商品过多或不足等的管理。

误归还检测部30a基于商品配置信息D6、商品正面信息D3和商品架信息D5来检测商品被归还至所指定的位置以外的位置的误归还，并作为误归还信息D7来存储。输出处理部30b在误归还检测部30a检测到误归还的情况下，将误归还信息D7通知输出至PC终端40、平板终端50等。

另外，在各列R的配置有先头商品的区域中未检测到商品的情况下，面板传感器控制器20向商品管理控制器30通知未检测到商品的列R的先头商品已不存在，商品管理控制器30接受该通知，并例如对平板终端50通知未检测到商品的列R的商品前进指示。此外，商品管理控制器30在未检测到商品的列R内检测出1个以上的商品的情况下，将商品前进指示通知给平板终端50。

＜商品误归还管理处理＞

接着，参照图7所示的流程图，对商品管理系统1所进行的商品误归还管理处理步骤进行说明。如图7所示，首先，商品管理控制器30在存储部31中获取预先指定的商品配置信息D6(步骤S101)。之后，商品种类识别控制器10生成商品正面信息D3(步骤S102)。此外，面板传感器控制器20生成商品架信息D5(步骤S103)。

商品管理控制器30参照商品配置信息D6、所述商品正面信息和所述商品架信息，判定是否存在与商品配置信息D6不同的商品配置(步骤S104)。不同的商品配置是指在商品配置信息D6所示的位置不存在商品，或存在不同的商品，或在不存在商品的位置存在商品，在该时刻不对误归还进行检测。

当存在与商品配置信息D6不同的商品配置的情况下(步骤S104，是)，进行误归还检测部30a的误归还检测处理(步骤S105)。其结果是，判定是否被判定为存在误归还(步骤S106)。在检测到误归还的情况下(步骤S106，是)，输出处理部30b将误归还信息D7通知输出至PC终端40和平板终端50(步骤S107)，并转移至步骤S108。

另一方面，当不存在与商品配置信息D6不同的商品配置时(步骤S104，否)，在未检测到误归还的情况下(步骤S106，否)，直接转移至步骤S108。步骤S108中，判定是否存在结束指示(步骤S108)，在没有结束指示的情况下(步骤S108，否)，转移至步骤S101并重复上述一系列处理，在有结束指示的情况下(步骤S108，是)，结束本处理。

＜误归还检测处理＞

图8是示出步骤S105中的误归还检测处理步骤的流程图。首先，误归还检测部30a基于商品正面信息D3判定位于正面位置的当前商品的商品种类是否与预先指定的商品种类不同(步骤S201)。在位于正面位置的当前商品的商品种类与预先指定的商品种类不同的情况下(步骤S201，是)，判定为存在误归还，生成误归还信息D7(步骤S204)，并返回步骤S105。

另一方面，在位于正面位置的当前商品的商品种类与预先指定的商品种类相同的情况下(步骤S201，否)，进一步基于商品架信息D5判定位于相同列的商品的大小是否与预先指定的商品的大小相同(步骤S202)。在位于相同列的商品的大小与预先指定的商品的大小并不相同的情况下(步骤S202，否)，判定为存在误归还，生成误归还信息D7(步骤S204)，并返回步骤S105。

在位于相同列的商品的大小与预先指定的商品的大小相同的情况下(步骤S202，是)，进一步基于商品架信息D5判定商品数为0的列上是否放置有1个以上的商品(步骤S203)。在商品数为0的列上放置有1个以上的商品的情况下(步骤S203，是)，判定为存在误归还，生成误归还信息D7(步骤S204)，并返回步骤S105。

另一方面，在商品数为0的列上未放置有1个以上的商品的情况下(步骤S203，否)，判定为不存在误归还(步骤S205)，返回步骤S105。

＜位于正面位置的当前商品的商品种类与预先指定的商品种类不同的情况的一个示例＞

这里，参照图9，对由步骤S201判定为存在误归还的一个示例进行说明。该判定中，参照商品正面信息D3。

图9(a)是示出将商品配置为3列的一个示例的XZ平面上的商品架信息D5所对应的示意图，图9(a)的正面的商品的相关信息与商品正面信息D3相对应。图9(a)中示出了如下状态：列R1放置有3个商品A，列R2放置有3个商品B，列R3未放置有商品。另外，商品B具有比商品A更大的底面图像。

图9(b)的误归还检测前的放置状态ST10中，列R1放置有3个商品A1、A2、A3，列R2放置有3个商品B，列R3未放置有商品。另一方面，误归还检测后的放置状态ST11中，列R1的正面所放置的商品A3消失，与商品A3相对应的商品A3’放置在列R3的正面。列R3是没有商品的列，列R3中存在商品A3’表示在列R3中放置有不同商品种类的商品，商品A3’为误归还的商品，判定为存在误归还。

此外，误归还检测后的载置装置ST12中，列R1的所有商品A1、A2、A3消失，与商品A1、A2、A3对应的商品A1’、A2’、A3’放置于列R3。列R3是没有商品的列，列R3中存在商品A3’表示在列R3中放置有不同商品种类的商品，商品A3’为误归还的商品，判定为存在误归还。

图9(c)中，误归还检测前的放置状态ST20中，列R1放置有3个商品A1、A2、A3，列R2在正面以外放置有2个商品B。另一方面，在误归还检测后的放置状态ST21中，列R2的正面放置有与商品A3对应的商品A3’。列R2是放置商品B的列，商品A3’与商品B为不同的商品种类，因此商品A3’为误归还的商品，判定为存在误归还。

此外，在误归还检测后的放置状态ST22中，与列R1的正面以外的商品A1对应的商品A1’放置在列R2的正面。列R2是放置商品B的列，商品A1’与商品B为不同的商品种类，因此商品A1’为误归还的商品，判定为存在误归还。

图9(d)的误归还检测前的放置状态ST30中，列R1放置有3个商品A1、A2、A3，列R2的正面放置有1个商品B，列R3未放置有商品。另一方面，在误归还检测后的放置状态ST31中，列R3的正面放置有与商品A1对应的商品A1’。商品A1’是不同于无商品的商品种类，因此商品A1’为误归还的商品，判定为存在误归还。

＜位于相同列的商品的大小与预先指定的商品的不相同的情况的一个示例＞

这里，参照图10，对由步骤S202判定为存在误归还的一个示例进行说明。该判定中，参照商品架信息D5。

图10中，误归还检测前的放置状态ST40中，列R1放置有3个商品A1、A2、A3，列R2的正面放置有商品B。另一方面，在误归还检测后的放置状态ST41中，与列R1的正面以外的商品A1、A2对应的商品A1’、A2’放置在列R2的正面以外的位置。商品A1’、A2’具有与列R2的商品B不同的大小，因此商品A1’、A2’为误归还的商品，判定为存在误归还。

在误归还检测后的放置状态ST42中，与列R1的正面的商品A3对应的商品A3’放置在列R2的正面以外的位置。商品A3’具有与列R2的商品B不同的大小，因此商品A3’为误归还的商品，判定为存在误归还。

＜在商品数为0的列上放置有1个以上的商品的情况的一个示例＞

这里，参照图11，对由步骤S203判定为存在误归还的一个示例进行说明。该判定中，参照商品架信息D5。

图11中，误归还检测前的放置状态ST50中，列R1放置有3个商品A1、A2、A3，列R2放置有3个商品B，列R3未放置有商品。

另一方面，在误归还检测后的放置状态ST51中，与列R1的正面以外的商品A1、A2对应的商品A1’、A2’放置在列R3的正面以外的位置。列R3是商品数为0的列，列R3放置有1个以上的商品A1’、A2’，因此商品A1’、A2’为误归还的商品，判定为存在误归还。

在误归还检测后的放置状态ST52中，与列R1的正面的商品A3对应的商品A3’放置在列R3的正面以外的位置。列R3是商品数为0的列，列R3放置有1个以上的商品A3’，因此商品A3’为误归还的商品，判定为存在误归还。

＜判定为不存在误归还的情况的一个示例＞

这里，参照图12对判定为不存在误归还的情况的一个示例进行说明。图12中，误归还检测前的放置状态ST60中，列R1放置有3个商品A1、A2、A3，列R2放置有3个商品B1、B2、B3，列R3未放置有商品。另一方面，误归还检测后的放置状态ST61中，列R1正面的商品A1被取出而消失。该情况下，与步骤S201～S203的判定条件不一致，因此判定为不存在误归还。

误归还检测后的放置状态ST62中，列R1的正面以外的商品A1消失、被取出。该情况下，与步骤S201～S203的判定条件不一致，因此判定为不存在误归还。

误归还检测后的放置状态ST63中，列R1的所有商品A1、A2、A3消失、被取出。该情况下，与步骤S201～S203的判定条件不一致，因此判定为不存在误归还。

＜误归还信息的通知输出例＞

图13是示出将误归还信息D7通知输出给平板终端50的一个示例的图。如图13所示，在通知输出中显示由误归还商品(商品种类)与误归还商品的配置位置(正面位置；商品架的层和X方向位置)所构成的误归还信息。携带该平板终端50的店员可以参照该通知输出迅速且容易地将误归还商品恢复并配置到原来的商品位置。

另外，上述的实施方式及变形例中图示的各结构是功能概述，不一定必须如图所示进行物理配置。也就是说，各装置和结构要素的分开或组合的方式不限于图中所示的方式，并且根据各种使用状况等能将其全部或一部分在功能上或物理上以任意单元进行分开或组合。

标号说明

1 商品管理系统

2 展示架

2a～2f 商品架

10 商品种类识别控制器

11 摄像头传感器

12、22、31 存储部

20 面板传感器控制器

21 集线器

30 商品管理控制器

30a 误归还检测部

30b 输出处理部

40 PC终端

50 平板终端

101 天花板

A、A1～A3、A1’～A3’、B、B1、B2、B3 商品

D1 正面图像

D2 商品特征信息

D3 商品正面信息

D4 底面图像

D5 商品架信息

D6 商品配置信息

D7 误归还信息

E 区域

N1、N2 网络

P 商品

R R1～R3列

S、S1～S6 面板传感器

ST10～ST12、ST20～ST22、ST30、ST31、ST40～ST42、ST50～ST52、ST60～ST63 放置状态

Claims (7)

1.一种商品管理系统，

是对从商品架的正面起始位置起朝向深度方向的列上放置有同一商品种类的商品的商品架的商品进行管理的商品管理系统，其特征在于，包括：

摄像头传感器，该摄像头传感器获取放置在所述商品架的各列的正面起始位置的商品的正面图像；

正面识别部，该正面识别部生成基于所述正面图像对所述商品架正面的商品的商品种类和正面位置进行识别而得到的商品正面信息；

面板传感器，该面板传感器配置在所述商品架上，获取放置于所述商品架的商品的底面图像；

商品架识别部，该商品架识别部生成基于所述商品正面信息和所述底面图像按每个所述商品架对所述商品的大小、各列的商品个数和所述商品的商品架位置进行识别而得到的商品架信息；以及

商品管理部，该商品管理部具有误归还检测部，所述误归还检测部基于与预先指定的商品的配置有关的商品配置信息、所述商品正面信息和所述商品架信息，对所述商品被归还至所指定的位置以外的位置的误归还进行检测。

2.如权利要求1所述的商品管理系统，其特征在于，

所述误归还检测部基于所述商品正面信息，在位于正面位置的当前商品的商品种类与预先指定的商品种类不同的情况下检测为存在所述误归还，或基于所述商品架信息，在位于相同列的商品的大小与预先指定的商品的大小不相同的情况下检测为存在所述误归还，或基于所述商品架信息，在商品数为0的列上放置有1个以上的商品的情况下检测为存在所述误归还。

3.如权利要求2所述的商品管理系统，其特征在于，

所述误归还检测部基于所述商品正面信息，在位于正面位置的当前商品的商品种类与预先指定的商品的商品种类不同的情况下，生成该商品种类与预先指定的商品的商品种类不同的商品的商品种类和正面位置，以作为误归还信息。

4.如权利要求2所述的商品管理系统，其特征在于，

所述误归还检测部基于所述商品架信息，在位于相同列的商品的大小与预先指定的商品的大小不相同的情况下，生成该商品的大小与预先指定的商品的大小不同的商品的商品种类和正面位置，以作为误归还信息。

5.如权利要求2所述的商品管理系统，其特征在于，

所述误归还检测部基于所述商品架信息，在商品数为0的列上放置有1个以上的商品的情况下，生成放置有1个以上的商品的列的商品的商品种类和正面位置，以作为误归还信息。

6.如权利要求3至5的任一项所述的商品管理系统，其特征在于，

所述商品管理部具备输出处理部，该输出处理部在所述误归还检测部检测到所述误归还的情况下，将所述误归还信息通知输出至与该商品管理系统相连接的终端装置。

7.一种商品管理方法，

是对从商品架的正面起始位置起朝向深度方向的列上放置有同一商品种类的商品的商品架的商品进行管理的商品管理方法，其特征在于，包括如下步骤：

正面图像获取步骤，该正面图像获取步骤获取放置在所述商品架的各列的正面起始位置的商品的正面图像；

正面识别步骤，该正面识别步骤生成基于所述正面图像对所述商品架正面的商品的商品种类和正面位置进行识别而得到的商品正面信息；

底面图像获取步骤，该底面图像获取步骤获取配置在所述商品架上、放置于所述商品架的商品的底面图像；。

商品架识别步骤，该商品架识别步骤生成基于所述商品正面信息和所述底面图像按每个所述商品架对所述商品的大小、各列的商品个数和所述商品的商品架位置进行识别而得到的商品架信息；以及

误归还检测步骤，该误归还检测步骤基于与预先指定的商品的配置有关的商品配置信息、所述商品正面信息和所述商品架信息，对所述商品被归还至所指定的位置以外的位置的误归还进行检测。

Images