CN105917371A - 商品监控装置、商品监控系统以及商品监控方法 - Google Patents

商品监控装置、商品监控系统以及商品监控方法 Download PDF

Info

Publication number
CN105917371A
CN105917371A CN201480073292.XA CN201480073292A CN105917371A CN 105917371 A CN105917371 A CN 105917371A CN 201480073292 A CN201480073292 A CN 201480073292A CN 105917371 A CN105917371 A CN 105917371A
Authority
CN
China
Prior art keywords
state
display
commodity
people
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480073292.XA
Other languages
English (en)
Inventor
岩井和彦
柿泽哲郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN105917371A publication Critical patent/CN105917371A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Stored Programmes (AREA)

Abstract

能够在适当且有效的时机进行用于指示商品管理作业的通知。基于店铺中的陈列区的影像来监视商品的陈列状况的商品监控装置具备：商品检测部(41)，其基于陈列区的影像来检测陈列区内的商品；商品状态探测部(42)，其基于该商品检测部的检测结果来探测陈列区中的商品陈列状态；人检测部(43)，其基于店铺内的影像来检测停留于店铺内的人；人状态探测部(44)，其基于该人检测部的检测结果来探测店铺内的人停留状态；通知判定部(45)，其基于商品状态探测部和人状态探测部的探测结果，来判定可否进行用于指示店员进行商品管理作业的通知；以及通知部(46)，其基于该通知判定部的判定结果来进行通知。

Description

商品监控装置、商品监控系统以及商品监控方法
技术领域
本发明涉及一种基于对店铺中的陈列区进行拍摄而得到的影像来监视商品的陈列状况的商品监控装置、商品监控系统以及商品监控方法。
背景技术
在便利店等店铺中，设置对店铺内进行拍摄的照相机并利用该照相机的影像来监视店铺内的人的监视系统被广泛普及，若利用该监视用的照相机或另外的照相机对陈列区进行拍摄、并基于其影像来监视商品的陈列状况，则通过基于该商品的陈列状况探测商品陈列的欠缺(日语：不備)并进行用于指示店员进行商品管理作业(整顿作业、补充作业)的通知，能够迅速解除商品陈列的欠缺，从而能够避免因商品陈列欠缺而导致销售机会流失、顾客满意度下降。
作为与这种商品管理作业的指示相关联的技术，以往已知如下的技术：基于对陈列区进行拍摄而得到的影像，来判断补充商品的必要性，以进行用于指示补充作业的通知(参照专利文献1)。另外，已知如下的技术：基于对陈列区进行拍摄而得到的影像，来判断整顿商品的必要性，以进行用于指示整顿作业的通知(参照专利文献2)。另外，已知如下的技术：生成从对陈列区进行拍摄而得到的影像去除遮挡物后得到的修正图像，使得能够简便地掌握陈列区中的前排商品整理(face up)的状况(参照专利文献3)。
专利文献1：日本特开平5-081552号公报
专利文献2：日本专利第3908047号公报
专利文献3：日本专利第4456437号公报
发明内容
发明要解决的问题
然而，在上述以往的技术中，存在以下问题：虽然能够监视陈列区中的商品的陈列状况，并根据需要来指示店员进行商品管理作业(整顿作业、补充作业)，但是用于指示店员进行商品管理作业的通知未必是在适当且有效的时机进行的。
例如，在正在应对在收银台进行结账的顾客时，即使接收到商品管理作业的指示，由于店员需要优先应对顾客，因此也无法立即进行商品管理作业。另外，如果在需要进行商品管理作业的陈列架前有顾客，则商品管理作业会妨碍顾客，因此无法进行商品管理作业。这样，若仅监视商品的陈列状况，则无法在适当且有效的时机进行用于指示店员进行商品管理作业的通知。
本发明是为了解决这种以往技术的问题而研究出的，其主要目的在于提供一种构成为能够在适当且有效的时机进行用于指示商品管理作业的通知的商品监控装置、商品监控系统以及商品监控方法。
用于解决问题的方案
本发明的商品监控装置基于对店铺中的陈列区进行拍摄而得到的影像来监视商品的陈列状况，该商品监控装置构成为具备：商品检测部，其基于对所述陈列区进行拍摄而得到的影像来检测所述陈列区内的商品；商品状态探测部，其基于该商品检测部的检测结果来探测所述陈列区中的商品陈列状态；人检测部，其基于对店铺内进行拍摄而得到的影像来检测停留于店铺内的人；人状态探测部，其基于该人检测部的检测结果来探测店铺内的人停留状态；通知判定部，其基于所述商品状态探测部的探测结果和所述人状态探测部的探测结果，来判定可否进行用于指示店员进行商品管理作业的通知；以及通知部，其基于该通知判定部的判定结果来进行所述通知。
另外，本发明的商品监控系统基于对店铺中的陈列区进行拍摄而得到的影像来监视商品的陈列状况，该商品监控系统构成为，具有：对店铺内进行拍摄的照相机；以及多个信息处理装置，其中，所述多个信息处理装置中的任一个信息处理装置具备：商品检测部，其基于对陈列区进行拍摄而得到的所述影像来检测所述陈列区内的商品；商品状态探测部，其基于该商品检测部的检测结果来探测所述陈列区中的商品陈列状态；人检测部，其基于对店铺内进行拍摄而得到的影像来检测停留于店铺内的人；人状态探测部，其基于该人检测部的检测结果来探测店铺内的人停留状态；通知判定部，其基于所述商品状态探测部的探测结果和所述人状态探测部的探测结果，来判定可否进行用于指示店员进行商品管理作业的通知；以及通知部，其基于该通知判定部的判定结果来进行所述通知。
另外，本发明的商品监控方法使信息处理装置进行基于对店铺中的陈列区进行拍摄而得到的影像来监视商品的陈列状况的处理，该商品监控方法构成为具有以下步骤：商品检测步骤，基于对陈列区进行拍摄而得到的所述影像来检测所述陈列区内的商品；商品陈列状态探测步骤，基于所述商品检测步骤的检测结果来探测所述陈列区中的商品陈列状态；人检测步骤，基于对店铺内进行拍摄而得到的影像来检测停留于店铺内的人；人停留状态探测步骤，基于所述人检测步骤的检测结果来探测店铺内的人停留状态；通知判定步骤，基于所述商品状态探测步骤的探测结果和所述人状态探测步骤的探测结果，来判定可否进行用于指示店员进行商品管理作业的通知；以及通知步骤，基于所述通知判定步骤的判定结果来进行所述通知。
发明的效果
根据本发明，除了考虑商品陈列状态以外还考虑人停留状态来判断可否进行用于指示商品管理作业的通知，因此能够在适当且有效的时机进行通知。即，能够根据商品陈列状态和人停留状态来判断商品管理作业的必要性和可能性，通过考虑商品陈列状态和人停留状态这双方，在需要且能够进行商品管理作业的情况下进行通知，由此，能够在适当且有效的时机进行通知。
附图说明
图1是第一实施方式所涉及的商品监控系统的整体结构图。
图2是说明店铺的布局以及照相机1的设置状况的店铺的平面图。
图3是表示PC 3的概要结构的功能框图。
图4是表示陈列区(陈列架)中的商品的陈列状态的说明图。
图5是表示由通知判定部45进行的通知判定处理的过程的流程图。
图6是表示人停留状态的一例的店铺的平面图。
图7是表示人停留状态的一例的店铺的平面图。
图8是表示人停留状态的一例的店铺的平面图。
图9是表示与通知的产生状况有关的分析结果输出画面的说明图。
图10是表示与通知的产生状况有关的分析结果输出画面的说明图。
图11是表示与陈列不足状态有关的分析结果输出画面的说明图。
图12是表示与陈列不足状态有关的分析结果输出画面的说明图。
图13是表示与陈列不足状态有关的分析结果输出画面的说明图。
图14是第二实施方式所涉及的商品监控系统的整体结构图。
具体实施方式
为了解决上述问题而完成的第一发明是一种商品监控装置，基于对店铺中的陈列区进行拍摄而得到的影像来监视商品的陈列状况，该商品监控装置构成为具备：商品检测部，其基于对所述陈列区进行拍摄而得到的影像来检测所述陈列区内的商品；商品状态探测部，其基于该商品检测部的检测结果来探测所述陈列区中的商品陈列状态；人检测部，其基于对店铺内进行拍摄而得到的影像来检测停留于店铺内的人；人状态探测部，其基于该人检测部的检测结果来探测店铺内的人停留状态；通知判定部，其基于所述商品状态探测部的探测结果和所述人状态探测部的探测结果，来判定可否进行用于指示店员进行商品管理作业的通知；以及通知部，其基于该通知判定部的判定结果来进行所述通知。
据此，除了考虑商品陈列状态以外还考虑人停留状态来判断可否进行用于指示商品管理作业的通知，因此能够在适当且有效的时机进行通知。即，能够根据商品陈列状态和人停留状态来判断商品管理作业的必要性和可能性，通过考虑商品陈列状态和人停留状态这双方，在需要且能够进行商品管理作业的情况下进行通知，由此，能够在适当且有效的时机进行通知。
另外，第二发明为以下结构：所述人状态探测部探测进行结账的顾客所停留的结账区中的人停留状态，在由所述人状态探测部探测出的所述结账区中的人停留状态是难以进行商品管理作业的状态的情况下，所述通知判定部设为不进行所述通知。
据此，能够避免在商品管理作业困难的情况下进行无用的通知。
另外，第三发明为以下结构：所述人状态探测部探测对所述陈列区中陈列的商品进行观察的顾客所停留的商品访问区中的人停留状态，在由所述人状态探测部探测出的所述商品访问区中的人停留状态是难以进行该商品访问区中的商品管理作业的状态的情况下，所述通知判定部设为不进行所述通知。
据此，能够避免在商品管理作业困难的情况下进行无用的通知。
另外，第四发明为以下结构：所述人状态探测部探测进行结账的顾客所停留的结账区以及对所述陈列区中陈列的商品进行观察的顾客所停留的商品访问区中的人停留状态，在由所述商品状态探测部探测出的商品陈列状态是需要进行商品管理作业的状态、且由所述人状态探测部探测出的所述结账区中的人停留状态不是难以进行商品管理作业的状态、且由所述人状态探测部探测出的所述商品访问区中的人停留状态不是难以进行该商品访问区中的商品管理作业的状态的情况下，所述通知判定部设为进行所述通知。
据此，在需要进行商品管理作业且该商品管理作业不困难的情况下进行通知，因此能够在适当且有效的时机进行通知。
另外，第五发明为以下结构：所述商品状态探测部探测陈列杂乱状态和陈列不足状态中的至少一个来作为所述商品陈列状态，所述通知部进行以下通知：该通知用于指示店员进行解除陈列的杂乱的整顿作业和解除商品的不足的补充作业中的至少一个来作为所述商品管理作业。
据此，在商品的陈列有所欠缺的情况下，能够根据该欠缺的内容来进行适当的通知。由此，店员能够根据通知的内容来迅速地进行适当的商品管理作业。
另外，第六发明为以下结构：所述通知判定部除了基于所述商品状态探测部的探测结果和所述人状态探测部的探测结果以外，还基于库存信息、销售信息以及人员配置信息中的至少一个来判定可否进行所述通知。
据此，考虑基于库存信息、销售信息以及人员配置信息的店铺的库存状况、销售额状况以及店员的配置状况等来判定可否进行通知，因此能够在更进一步适当且有效的时机进行通知。
另外，第七发明为以下结构：还具备：信息累积部，其累积与由所述商品状态探测部获取到的每个探测时刻的商品陈列状态有关的信息以及与由所述通知部进行的所述通知有关的信息；统计部，其基于该信息累积部中累积的信息，来获取与所述商品陈列状态的时间性变化状况及所述通知的产生状况有关的统计结果；以及显示信息生成部，其基于由该统计部获取到的所述统计结果，来生成将所述商品陈列状态的时间性变化状况与所述通知的产生状况进行合并而得到的显示信息。
据此，用户能够一边与商品陈列状态的时间性变化状况进行比较，一边掌握通知是在什么样的时机产生的。
另外，第八发明为以下结构：所述商品状态探测部探测陈列杂乱状态和陈列不足状态来作为所述商品陈列状态，所述商品监控装置还具备输入信息获取部，该输入信息获取部根据用户的输入操作来获取输入信息，该输入信息是用于对与所述陈列杂乱状态及所述陈列不足状态分别对应的通知的类别进行选择的信息，所述统计部基于由所述输入信息获取部获取到的输入信息来获取与用户所选择的类别的通知的产生状况有关的统计结果，所述显示信息生成部生成与所述统计结果有关的所述显示信息。
据此，用户能够根据通知的类别来一边与商品陈列状态的时间性变化状况进行比较一边掌握通知是在什么样的时机产生的。由此，能够根据通知的类别、即商品陈列的欠缺的内容，来研究店铺中的商品管理上的问题。
另外，第九发明为以下结构：所述人状态探测部获取每个探测时刻的停留人数来作为所述人停留状态，所述信息累积部累积由所述人状态探测部获取到的每个探测时刻的停留人数，所述统计部基于所述信息累积部中累积的信息，来获取与所述停留人数的时间性变化状况有关的统计结果，所述显示信息生成部基于由所述统计部获取到的所述统计结果，来生成将所述停留人数的时间性变化状况与所述商品陈列状态的时间性变化状况及所述通知的产生状况进行合并而得到的显示信息。
据此，用户能够一边与店铺内的停留人数的时间性变化状况进行比较一边确认通知的产生状况。由此，能够认识到店铺中的商品管理上的问题。
另外，第十发明为以下结构：还具备：信息累积部，其累积由所述商品状态探测部获取到的每个探测时刻的所述商品陈列状态的探测结果；商品状态统计部，其以规定的统计期间为单位对该信息累积部中累积的每个探测时刻的所述探测结果进行统计，来获取每个该统计期间的商品陈列状态；以及显示信息生成部，其生成与由该商品状态统计部获取到的每个统计期间的所述商品陈列状态有关的显示信息。
据此，用户能够针对每个统计期间掌握商品陈列状态。而且，用户能够通过将每个统计期间的商品陈列状态进行比较来掌握商品陈列状态根据统计期间的差异。
另外，第十一发明是一种商品监控系统，基于对店铺中的陈列区进行拍摄而得到的影像来监视商品的陈列状况，该商品监控系统构成为具有：对店铺内进行拍摄的照相机；以及多个信息处理装置，其中，所述多个信息处理装置中的任一个信息处理装置具备：商品检测部，其基于对所述陈列区进行拍摄而得到的影像来检测所述陈列区内的商品；商品状态探测部，其基于该商品检测部的检测结果来探测所述陈列区中的商品陈列状态；人检测部，其基于对店铺内进行拍摄而得到的影像来检测停留于店铺内的人；人状态探测部，其基于该人检测部的检测结果来探测店铺内的人停留状态；通知判定部，其基于所述商品状态探测部的探测结果和所述人状态探测部的探测结果，来判定可否进行用于指示店员进行商品管理作业的通知；以及通知部，其基于该通知判定部的判定结果来进行所述通知。
据此，与第一发明同样地，能够在适当且有效的时机进行用于指示商品管理作业的通知。
另外，第十二发明是一种商品监控方法，使信息处理装置进行基于对店铺中的陈列区进行拍摄而得到的影像来监视商品的陈列状况的处理，该商品监控方法构成为具有以下步骤：商品检测步骤，基于对所述陈列区进行拍摄而得到的影像来检测所述陈列区内的商品；商品陈列状态探测步骤，基于所述商品检测步骤的检测结果来探测所述陈列区中的商品陈列状态；人检测步骤，基于对店铺内进行拍摄而得到的影像来检测停留于店铺内的人；人停留状态探测步骤，基于所述人检测步骤的检测结果来探测店铺内的人停留状态；通知判定步骤，基于所述商品状态探测步骤的探测结果和所述人状态探测步骤的探测结果，来判定可否进行用于指示店员进行商品管理作业的通知；以及基于所述通知判定步骤的判定结果来进行所述通知。
据此，与第一发明同样地，能够在适当且有效的时机进行用于指示商品管理作业的通知。
下面，参照附图来说明本发明的实施方式。
(第一实施方式)
图1是第一实施方式所涉及的商品监控系统的整体结构图。该人行动分析系统是以便利店等零售连锁店等为对象而构建的，具备针对多个店铺中的每个店铺设置的照相机(摄像装置)1、记录器(图像记录装置)2、PC(商品监控装置)3及监视器(显示装置)4以及设置于对多个店铺进行综合的总部的PC 11及监视器12。
照相机1设置于店铺内的适当位置，通过照相机1对店铺内进行拍摄，将由此得到的图像信息录制到记录器2中。通过设置于店铺的PC 3、设置于总部的PC 11，能够实时地浏览由照相机1拍摄得到的店铺内的图像，还能够浏览记录器2中录制的过去的店铺内的图像，由此能够在店铺、总部对店铺内的状况进行确认。
设置于店铺的PC 3构成为对店铺内的商品的陈列状况进行监视的商品监控装置。另外，在该PC 3中，进行与店铺内的商品的陈列状况等有关的分析处理，能够利用PC 3自身来浏览通过该分析处理而生成的分析结果信息，并且，该分析结果信息被发送到设置于总部的PC 11，利用该PC 7也能够浏览该分析结果信息，PC 3和PC 11构成为浏览分析结果信息的浏览装置。
接着，以便利店为例来说明店铺的布局以及照相机1的设置状况。图2是说明店铺的布局以及照相机1的设置状况的店铺的平面图。
在店铺中设置有出入口、陈列架(陈列区)以及收银台。陈列架是分为盒饭、饮料、饭团等商品的种类而设置的。在收银台的旁边设置有快餐的陈列架。
顾客从出入口进入店铺，通过陈列架之间的通路来在店铺内移动，当找到期望的商品时，拿着该商品走向收银台，在收银台完成结账(付款)后从出入口离开店铺。在此，顾客在进行结账时停留于收银台前，而为了探测这种进行结账的顾客的状态，在本实施方式中在收银台前设定有结账区。另外，顾客在观察陈列架的商品来决定是否购买时停留于陈列架前，而为了探测这种观察陈列架的商品的顾客的状态，在本实施方式中在陈列架前设定有商品访问区。该商品访问区是针对每个陈列区设定的。
另外，在店铺中设置有对店铺内(监视区)进行拍摄的多个照相机1。特别是在图2所示的例子中，作为照相机1，采用使用鱼眼镜头而具有360度的摄影范围的全方位照相机，通过该照相机1，能够拍摄陈列架上陈列的商品，还能够拍摄停留于陈列架前、收银台前的人。
此外，可以利用同一照相机1来拍摄陈列架和人这双方，但是也可以分别地设置拍摄陈列架的照相机和拍摄人的照相机。
接着，基于功能框图来说明由图1所示的PC 3进行的处理。图3是表示PC3的概要结构的功能框图。
PC 3具备监视部31、商品监控部32以及分析部33。监视部31用于使PC 3作为对店铺内进行监视的监视系统而发挥功能，通过该监视部31来控制照相机1和记录器2的动作，另外，能够实时地浏览由照相机1拍摄得到的店铺内的图像，还能够浏览记录器2中录制的店铺内的图像。
商品监控部32用于基于对店铺中的陈列区(陈列架)进行拍摄而得到的影像来监视商品的陈列状况，具备商品检测部41、商品状态探测部42、人检测部43、人状态探测部44、通知判定部45以及通知部46。
在商品检测部41中进行以下处理：基于通过照相机1对陈列区进行拍摄而得到的影像来检测陈列区内的商品。该商品检测处理只要利用公知的图像识别技术、即从影像提取物体的像来求出物体的位置的技术即可，从商品检测部41按每个检测时刻输出与各陈列区中的商品的位置有关的检测结果。
在商品状态探测部42中进行以下处理：基于商品检测部41的检测结果来探测陈列区中的商品陈列状态。该商品状态探测处理用于对商品陈列的欠缺进行探测，该商品陈列的欠缺包括陈列区中陈列的商品的配置有杂乱的陈列杂乱状态和陈列区中陈列的商品的个数不足的陈列不足状态，商品状态探测处理是针对陈列杂乱状态和陈列不足状态分别进行的，从商品状态探测部42输出每个探测时刻的商品陈列状态(陈列杂乱状态和陈列不足状态)的探测结果。
另外，在陈列杂乱状态的探测处理中，在根据商品检测部41的检测结果而判定为有陈列杂乱的状态持续了规定时间的情况下，判断为处于需要整顿状态。另外，在陈列不足状态的探测处理中，在根据商品检测部41的检测结果而判定为商品的个数不足的状态持续了规定时间的情况下，判断为处于需要补充状态。此外，在后面详细说明该商品状态探测处理。
在人检测部43中进行以下处理：基于通过照相机1对店铺内进行拍摄而得到的影像，来检测停留于店铺内的人。该人检测处理只要利用公知的图像识别技术、即从影像提取人的像来求出人的位置的技术即可，从人检测部43按每个检测时刻输出与店铺内的人的位置有关的检测结果。
在人状态探测部44中进行以下处理：基于人检测部43的检测结果来探测店铺内的人停留状态。在本实施方式中，对结账区中的停留人数、每个商品访问区的停留人数、即在同一时间停留于结账区或商品访问区的人的人数进行测量，从人状态探测部44按每个探测时刻输出各个结账区或各个商品访问区的停留人数。此外，在该停留人数测量处理中，在规定的检测期间(例如3秒)内持续地在结账区或商品访问区内检测到1个人的情况下，计数为1。
在通知判定部45中进行以下处理：基于商品状态探测部42的探测结果、即陈列区中的商品陈列状态(陈列杂乱状态和陈列不足状态)以及人状态探测部44的探测结果、即结账区中的停留人数和每个商品访问区的停留人数，来判定可否进行用于指示店员进行商品管理作业的通知。在该通知判定处理中，基于陈列区中的商品陈列状态来决定需要进行商品管理作业的陈列区，基于结账区中的停留人数以及与需要进行商品管理作业的陈列区对应的商品访问区的停留人数，来判断是否能够进行商品管理作业，在能够进行商品管理作业的情况下设为进行通知。此外，在后面详细说明该通知判定处理的过程。
在通知部46中，基于通知判定部45的判定结果，来进行用于指示店员进行商品管理作业的通知。该通知是针对陈列杂乱状态和陈列不足状态分别进行的。即，在陈列杂乱状态(需要整顿状态)的情况下，进行用于指示店员进行解除该陈列杂乱状态的商品整顿作业的通知(陈列杂乱警报)，在陈列不足状态(需要补充状态)的情况下，进行用于指示店员进行解除该陈列不足状态的商品补充作业的通知(陈列不足警报)。关于该通知(陈列杂乱警报和陈列不足警报)，只要在监视器4的画面上显示消息即可，但是也可以利用扬声器、灯等适当的输出装置输出该通知。
另外，在人曾停留于商品访问区的情况下，陈列区中产生需要整顿状态或需要补充状态的可能性高，因此能够基于商品访问区的停留人数来预测与该商品访问区对应的陈列区的商品陈列状态，还能够在通知判定部45中基于该商品陈列状态的预测结果来判定可否进行通知。在该情况下，也可以进行与基于商品状态探测部42的探测结果的通知不同的通知、例如表示有可能产生了陈列杂乱或陈列不足的意思的通知。
此外，监视部31、商品监控部32以及分析部33是通过使PC 3的CPU执行监视用、商品监控用以及商品陈列状态分析用的程序来实现的。这些程序除了预先导入到作为信息处理装置的PC 3来构成为专用的装置以外，也可以作为在通用OS上运行的应用程序而记录在适当的程序记录介质中、并经由网络提供给用户。
接着，说明由图3所示的商品状态探测部42进行的陈列杂乱状态和陈列不足状态的判定。图4是表示陈列区(陈列架)中的商品的陈列状态的说明图。
在陈列杂乱状态的探测中，判别商品的陈列有无杂乱。即，判别如图4的(A-1)所示那样只在陈列架的里头有商品的有陈列杂乱的状态以及如图4的(A-2)所示那样商品排列于陈列架的最前排的无陈列杂乱的状态。而且，在本实施方式中，将图4的(A-1)所示的有陈列杂乱的状态作为需要整顿状态，在该情况下进行以下通知(陈列杂乱警报)：该通知用于指示店员进行解除陈列杂乱状态的商品整顿作业。
此外，在图4所示的例子中，示出了对陈列架的正面的外观进行整理的前排商品整理的情况，但是在如手推车(wagon)的情况那样陈列区为上方敞开的状态的情况下，需要解除整体性的陈列状态的杂乱，因此可以基于整体性的商品的陈列状态来进行陈列杂乱状态的判定。
另外，在陈列杂乱状态的探测中，也可以设为容许某种程度的陈列的杂乱，在陈列的杂乱明显的情况下，判定为处于陈列杂乱状态并进行通知。在该情况下，只要通过将陈列的杂乱程度数值化并将其与规定的阈值进行比较来判定是否处于陈列杂乱状态即可。
在陈列不足状态的探测中，判别陈列出的商品有无不足。即，判别如图4的(B-1)所示那样的缺货状态即陈列架上完全没有商品的状态、如图4的(B-2)所示那样的不足状态即陈列架的商品不足的状态以及如图4的(B-3)所示那样的充足状态即陈列架上陈列了足够数量的商品的状态。而且，在本实施方式中，将图4的(B-1)所示的缺货状态和图4的(B-2)所示的不足状态作为需要补充状态，在这些情况下进行以下通知(陈列不足警报)：该通知用于指示店员进行解除商品的不足的商品补充作业。
在此，关于不足状态与充足状态的判别，只要将不足率即商品不足的比例与规定的阈值(例如50％)进行比较来判别即可，在不足率超过规定的阈值的情况下判定为处于不足状态，在不足率未达到阈值的情况下判定为处于充足状态。
此外，在此，陈列不足状态的探测是分为三种情况来进行的，但是并不限定于此，也可以分为两种或四种以上的情况。
接着，说明由图3所示的通知判定部45进行的通知判定处理。图5是表示由通知判定部45进行的通知判定处理的过程的流程图。图6、图7以及图8是表示人停留状态的一例的店铺的平面图。
如前所述，在通知判定部45中，基于商品状态探测部42的探测结果和人状态探测部44的探测结果来判定可否进行通知。该通知判定是以店铺内的陈列区(陈列架)为对象来按顺序进行的，如图5所示，根据商品状态探测部42对陈列杂乱状态的探测结果(ST101)、商品状态探测部42对陈列不足状态的探测结果(ST102)、人状态探测部44对结账区中的人停留状态的探测结果(ST103)和对商品访问区中的人停留状态的探测结果(ST104)，来判定可否进行通知(ST105、ST106)。针对每个陈列架实施该判定，该判定重复进行到全部陈列架均结束为止。
具体地说，在陈列杂乱状态的探测结果(ST101)为“无陈列杂乱”、或者陈列不足状态的探测结果(ST102)为“无不足”(充足状态)的情况下，当然设为不进行通知(ST106)。
另外，即使在陈列杂乱状态的探测结果(ST101)为“有陈列杂乱”、或者陈列不足状态的探测结果(ST102)为“有不足”(缺货状态或不足状态)的情况下，若结账区中的人停留状态的探测结果(ST103)为“有人”，则也设为不进行通知(ST106)。
例如，在图6所示的例子中，在某个陈列架中商品的陈列产生杂乱或者商品的陈列数产生不足，通过商品状态探测部42探测出该陈列架处于需要整顿状态或需要补充状态。另外，在收银台附近停留有进行结账的人，通过人状态探测部44探测出人停留于结账区。
在该情况下，店员需要优先应对在收银台进行结账的顾客，因此无法进行商品管理作业。因此，即使存在产生了需要整顿状态或需要补充状态的陈列架，也不进行用于催促商品管理作业的通知。
另外，即使在陈列杂乱状态的探测结果(ST101)为“有陈列杂乱”或者陈列不足状态的探测结果(ST102)为“有不足”、且结账区中的人停留状态的探测结果(ST103)为“无人”的情况下，若与陈列架对应的商品访问区中的人停留状态的探测结果(ST104)为“有人”，则也设为不进行通知(ST106)。
例如，在图7所示的例子中，与图6所示的例子同样地，在某个陈列架中商品的陈列产生杂乱或者商品的陈列数产生不足，通过商品状态探测部42探测出该陈列架处于需要整顿状态或需要补充状态。另外，在收银台的附近无停留有进行结账的人，因此人状态探测部44未探测出人停留于结账区，但是在与被探测为处于需要整顿状态或需要补充状态的陈列架对应的商品访问区停留有人，通过人状态探测部44探测出人停留于商品访问区。
在该情况下，若在产生了需要整顿状态或需要补充状态的陈列架进行商品管理作业(商品整顿作业或商品补充作业)则会妨碍顾客，因此店员无法进行商品管理作业，因此不进行用于催促商品管理作业的通知。
另一方面，在陈列杂乱状态的探测结果(ST101)为“有陈列杂乱”或者陈列不足状态的探测结果(ST102)为“有不足”、且结账区中的人停留状态的探测结果(ST103)为“无人”的情况下，若与陈列架对应的商品访问区中的人停留状态的探测结果(ST104)为“无人”，则设为进行用于商品管理指示的通知(ST105)。
例如，在图8所示的例子中，与图6所示的例子同样地，在某个陈列架中商品的陈列产生杂乱或者商品的陈列数产生不足，通过商品状态探测部42探测出该陈列架处于需要整顿状态或需要补充状态。在收银台的附近无停留有进行结账的人，因此人状态探测部44未探测出人停留于结账区，另外，在与被探测为处于需要整顿状态或需要补充状态的陈列架对应的商品访问区也没有人停留，因此人状态探测部44未探测出人停留于商品访问区。
在该情况下，店员能够在产生了需要整顿状态或需要补充状态的陈列架无问题地进行商品管理作业(商品整顿作业或商品补充作业)，因此进行用于催促商品管理作业的通知。
此外，在此，在关于结账区中的人停留状态的探测结果的判定(图5的ST103)以及关于商品访问区中的人停留状态的探测结果的判定(图5的ST104)中，根据有无人来进行判定，结账区、商品访问区哪怕存在一个人，也不进行通知，但是也可以在超过了设为2人以上的规定的阈值的情况下不进行通知。另外，结账区和商品访问区的情况各不相同，因此也可以在结账区和商品访问区中改变人数的阈值。
如以上那样，在本实施方式中，除了考虑商品陈列状态以外还考虑人停留状态来判断可否进行用于指示商品管理作业的通知，因此能够在适当且有效的时机进行通知。即，能够根据商品陈列状态和人停留状态来判断商品管理作业的必要性和可能性，通过考虑商品陈列状态和人停留状态这双方，从而在需要且能够进行商品管理作业的情况下进行通知，由此，能够在适当且有效的时机进行通知。
另外，在本实施方式中，探测进行结账的顾客所停留的结账区中的人停留状态，在该结账区中的人停留状态是难以进行商品管理作业的状态的情况下，不进行通知，因此能够避免在商品管理作业困难的情况下进行无用的通知。
另外，在本实施方式中，探测对陈列区中陈列的商品进行观察的顾客所停留的商品访问区中的人停留状态，在该商品访问区中的人停留状态是难以进行该商品访问区中的商品管理作业的状态的情况下，不进行通知，因此能够避免在商品管理作业困难的情况下进行无用的通知。
另外，在本实施方式中，探测进行结账的顾客所停留的结账区以及对陈列区中陈列的商品进行观察的顾客所停留的商品访问区中的人停留状态，在商品陈列状态为需要进行商品管理作业的状态、且结账区中的人停留状态不是难以进行商品管理作业的状态、且商品访问区中的人停留状态不是难以进行该商品访问区中的商品管理作业的状态的情况下，进行通知，因此能够在需要进行商品管理作业且该商品管理作业不困难的情况下进行通知，因此能够在适当且有效的时机进行通知。
另外，在本实施方式中，探测陈列杂乱状态和陈列不足状态来作为商品陈列状态，进行用于指示店员进行作为商品管理作业的、解除陈列的杂乱的整顿作业和解除商品的不足的补充作业的通知，因此在商品的陈列有所欠缺的情况下，能够根据该欠缺的内容来进行适当的通知。由此，店员能够根据通知的内容来迅速地进行适当的商品管理作业。
接着，说明由图3所示的PC 3的分析部33进行的商品陈列状态分析处理。
PC 3的分析部33用于进行与商品陈列状态有关的分析，具备信息累积部51、统计部52以及GUI控制部53。
在信息累积部51中，累积与由通知部46进行的通知(陈列杂乱警报和陈列不足警报)的产生时刻等有关的通知产生信息。另外，在信息累积部51中，累积由商品状态探测部42获取到的每个探测时刻的商品陈列状态(陈列杂乱状态和陈列不足状态)的探测结果。另外，在信息累积部51中，累积由人状态探测部44获取到的每个探测时刻的停留人数。
统计部52具备商品状态统计部54和人状态统计部55。
在商品状态统计部54中进行以下处理：以规定的统计期间为单位(例如时段、日、月)对信息累积部51中累积的每个探测时刻的商品陈列状态(陈列杂乱状态和陈列不足状态)的探测结果进行统计，来针对每个该统计期间获取商品陈列状态。该统计处理是针对陈列杂乱状态和陈列不足状态分别进行的。
商品陈列状态的统计处理包括各种方法，例如只要使商品管理上的问题更大的状态优先来获取每个统计期间的商品陈列状态即可。即，在陈列杂乱状态的统计处理中，使陈列杂乱状态优先于正常状态，当在统计期间内探测出陈列杂乱状态时，认为该统计期间是陈列杂乱状态，在统计期间内未探测出陈列杂乱状态的情况下，认为该统计期间不是陈列杂乱状态。另外，在陈列不足状态的统计处理中，使不足的程度大的状态优先，当在统计期间内探测出缺货状态时，认为该统计期间是缺货状态，当在统计期间内未探测出缺货状态、且探测出不足状态时，认为该统计期间是不足状态，在统计期间内既未探测出缺货状态也未探测出不足状态的情况下，认为该统计期间是充足状态。
另外，在商品陈列状态的统计处理中，也可以在统计期间内对商品陈列状态的探测结果进行平均化。例如，根据探测出的各状态的时间性比例来获取每个统计期间的商品陈列状态。即，在陈列杂乱状态的统计处理中，求出统计期间内的陈列杂乱状态和正常状态的时间性比例，根据该比例来获取每个统计期间的商品陈列状态。另外，在陈列不足状态的统计处理中，求出统计期间内的缺货状态、不足状态以及充足状态的各状态的时间性比例，根据该比例来获取每个统计期间的商品陈列状态。
在人状态统计部55中进行以下处理：以规定的统计期间(例如时段、日以及月等)为单位对信息累积部51中累积的每个探测时刻的停留人数进行统计，来获取每个该统计期间的停留人数。在人状态探测部44中，能够针对各个商品访问区求出每个探测时刻的停留人数并对其进行合计，由此获取整个店铺中的停留人。
GUI控制部53用于通过使用监视器4和鼠标等输入设备(输入部)6的GUI(Graphical User Interface：图形用户界面)来进行获取由用户通过输入操作而输入的输入信息的处理以及输出与人的移动状况有关的分析结果的处理，具备输入信息获取部56和画面生成部(显示信息生成部)57。
在画面生成部57中进行生成与关于通知的产生状况、商品陈列状态的分析结果输出画面有关的显示信息的处理，分析结果输出画面被显示在监视器4上。在输入信息获取部56中进行以下处理：根据用户使用输入设备6在监视器4所显示的分析结果输出画面上进行的输入操作来获取输入信息。进行基于由该输入信息获取部56获取到的输入信息来设定由分析部33进行的分析处理的条件的处理。
特别是，在画面生成部57中进行以下处理：基于由商品状态统计部54和人状态统计部55获取到的信息，来生成与将规定的对象期间中的商品陈列状态的时间性变化状况、通知的产生状况以及人停留状态的时间性变化状况合并显示的分析结果输出画面(参照图9和图10)有关的显示信息，该分析结果输出画面被显示在监视器4上。
另外，在画面生成部57中进行以下处理：基于由商品状态统计部54和人状态统计部55获取到的信息，来生成与针对各个陈列区显示每个统计期间的商品陈列状态的分析结果输出画面(参照图11)有关的显示信息、与将按长度不同的统计期间进行统计而得到的每个统计期间的商品陈列状态排列显示的分析结果输出画面(参照图12)有关的显示信息、以及与将每个统计期间的商品陈列状态和停留人数排列显示的分析结果输出画面(参照图13)有关的显示信息，这些分析结果输出画面被显示在监视器4上。
接着，说明图3所示的监视器4所显示的分析结果输出画面、特别是与通知的产生状况有关的分析结果输出画面。图9和图10是表示与通知的产生状况有关的分析结果输出画面的说明图。
图9所示的分析结果输出画面与陈列杂乱警报、即在需要整顿状态(商品的陈列有杂乱的状态)的情况下指示店员进行解除该陈列有杂乱的状态的商品整顿作业的通知的产生状况有关。
在该分析结果输出画面上设置有店铺选择部61、开始按钮62、陈列区选择部63、分析结果选择部64、日期显示部65、日历按钮66以及分析结果显示部67。
店铺选择部61用于通过下拉菜单来选择店铺。开始按钮62用于使分析部33开始分析处理。陈列区选择部63用于通过下拉菜单来选择陈列区。
分析结果选择部64用于通过下拉菜单来选择分析结果。在本实施方式中，能够选择与陈列杂乱警报的产生状况有关的分析结果、与陈列不足警报的产生状况有关的分析结果、与陈列杂乱状态有关的分析结果以及与陈列不足状态有关的分析结果等，各分析结果的输出画面被显示在监视器4上。特别是，在此选择了陈列杂乱警报分析，在分析结果显示部67中显示与陈列杂乱警报的产生状况有关的分析结果。
日期显示部65用于显示日期，日历按钮66用于选择日期，当操作日历按钮66时显示日历画面，在此选择日期，由此，选择出的日期被显示在日期显示部65，另外，选择出的日期的分析结果被显示在分析结果显示部67。
在分析结果显示部67中设置有停留人数显示部68、警报产生状况显示部69以及显示时刻操作部70。
在停留人数显示部68中设置有图表显示部71，在该图表显示部71中以图表(折线图)的方式显示有整个店铺中的停留人数的时间性变化状况。在图表中，横轴为时段，纵轴为停留人数。该图表中的停留人数是由人状态统计部55将统计期间设为时段来进行统计而得到的每个时段的停留人数。由此，用户能够掌握店铺内的停留人数的时间性变化状况。
在警报产生状况显示部69中针对各个陈列区设置有影像显示部72和图表显示部73。特别是，在此，在陈列区中选择了盒饭的陈列架和饮料的陈列架。在影像显示部72中显示陈列区的影像。另外，在该影像显示部72中，显示表示陈列区内的检测区的框图像。
在图表显示部73中，以图表(折线图)的方式显示有陈列杂乱状态的时间性变化状况。在该图表中，横轴为时段，纵轴为陈列杂乱状态。该图表中的陈列杂乱状态是由商品状态统计部54将统计期间设为时段来获取到的每个时段的商品陈列状态，在商品的陈列有杂乱的情况下为“1”，在商品的陈列无杂乱的情况下为“2”。
另外，在图表显示部73中，显示有表示陈列杂乱警报的产生时刻的警报标记74。由此，用户能够一边与陈列杂乱状态的时间性变化状况进行比较，一边掌握陈列杂乱警报是在什么样的时机产生的。
显示时刻操作部70用于对影像显示部72所显示的陈列区的影像的时刻进行调整。通过操作显示时刻操作部70，能够将陈列区的影像切换为期望的时刻的影像。由此，能够利用影像显示部72的影像来确认产生了陈列杂乱警报的时刻等所需的时刻的陈列区的实际状态。
在该分析结果输出画面中，能够一边与停留人数进行比较一边确认陈列杂乱警报的产生状况。在大量的顾客来到店铺的状态下若商品的陈列有所欠缺则会导致销售机会的流失、顾客满意度的下降，因此尤其成为问题，通过该分析结果输出画面，一边与停留人数进行比较一边确认陈列杂乱警报的产生状况，由此能够认识到店铺中的商品管理上的问题。
此外，在本实施方式中，能够对一个陈列区(陈列架)设定多个检测区。例如能够将陈列架分为上层、中层以及下层来分别设定检测区。在该情况下，在商品状态探测部42中，针对每个检测区探测商品陈列状态，在通知判定部45中，针对每个检测区判定可否进行通知，在通知部46中，针对每个检测区进行通知。
另外，在对一个陈列区设定了多个检测区的情况下，能够如图9所示的分析结果输出画面那样针对每个检测区显示分析结果。此外，在图9所示的例子中，在影像显示部72和图表显示部73中针对各个检测区显示影像和图表，但是也可以在影像显示部72中显示多个检测区，在图表显示部73中将各检测区的图表排列显示。另外，还可以将各检测区的图表以改变颜色的方式重叠显示在图表显示部73上。
图10所示的分析结果输出画面与陈列不足警报、即在需要补充状态(缺货状态和不足状态)的情况下指示店员进行解除该缺货状态和不足状态的商品补充作业的通知的产生状况有关。
该分析结果输出画面是通过在分析结果选择部64中选择陈列不足警报分析而显示的。在该分析结果输出画面中，除了分析结果显示部81的警报产生状况显示部82以外，与图9所示的分析结果输出画面同样。
在警报产生状况显示部82中，针对对陈列区设定的多个检测区设置有影像显示部83和图表显示部84。在影像显示部83中显示检测区的影像。特别是，在此，在陈列区中选择了快餐的陈列架。
在图表显示部84中，以图表(折线图)的方式显示有陈列充足状态的时间性变化状况。在该图表中，横轴为时段，纵轴为陈列不足状态。该图表中的陈列不足状态是由商品状态统计部54将统计期间设为时段来获取到的每个时段的陈列不足状态，在缺货状态的情况下为“1”，在不足状态的情况下为“2”，在充足状态的情况下为“3”。
另外，在图表显示部84中，显示有表示陈列不足警报的产生时刻的警报标记85。由此，用户能够一边与陈列不足状态的时间性变化状况进行比较，一边掌握陈列不足警报是在什么样的时机产生的。
接着，说明与商品陈列状态、特别是陈列不足状态有关的分析结果输出画面。图11、图12以及图13是表示与陈列不足状态有关的分析结果输出画面的说明图。
图11所示的分析结果输出画面用于显示每个陈列区的陈列不足状态的统计结果，是通过在分析结果选择部64中选择陈列不足状态分析(1)而显示的。在该分析结果输出画面中，除了分析结果显示部91以外，与图9所示的分析结果输出画面同样。
在分析结果显示部91中设置有一览表显示部92、陈列区名称显示部93、影像显示部94以及显示时刻操作部95。在影像显示部94中显示陈列区的影像。另外，在该影像显示部94中，显示有表示陈列区内的检测区的框图像。该框图像以与缺货状态、不足状态以及充足状态的各状态相应地改变颜色的方式进行显示。由此，用户一眼就能够掌握陈列区内的每个检测区的陈列不足状态。显示时刻操作部95用于对影像显示部94所显示的陈列区的影像的时刻进行调整。
在一览表显示部92中，针对各个陈列区以一览表的方式显示与每个时段的陈列不足状态有关的评价标记(○、△以及×)。特别是，在此，在一览表显示部92中除了显示所指定的日期的各时段的评价标记以外，还显示最新的时段的评价标记。另外，在陈列区中选择了快餐的陈列架(3层FF)、饭团的陈列架以及盒饭的陈列架。
评价标记是基于由商品状态统计部54获取到的每个统计期间的陈列不足状态而决定的，特别是，在此表示缺货状态、不足状态以及充足状态的各状态，在缺货状态的情况下为“×”，在不足状态的情况下为“△”，在充足状态的情况下为“○”。另外，在此，评价标记表示由商品状态统计部54将统计期间设为时段来进行统计而得到的每个时段的陈列不足状态。
当使用鼠标等对评价标记进行点击操作时，影像显示部94所显示的影像切换为对应的陈列区和时段的影像。特别是，在此选择了快餐的陈列架(3层FF)的评价标记，在影像显示部94中显示了快餐的陈列架的最新时刻(23：45)的影像。在此，如果选择盒饭的陈列架的评价标记、饭团的陈列架的评价标记，则在影像显示部94中显示盒饭的陈列架的影像、饭团的陈列架的影像。
在该分析结果输出画面中，用户能够掌握特定的日期的每个时段的陈列不足状态的变化状况。另外，用户能够掌握每个时段的陈列不足状态根据陈列区的差异。
图12所示的分析结果输出画面用于将统计期间设为各月的按周的时段和各周的按星期几(日)的时段来显示陈列不足状态的统计结果，是通过在分析结果选择部64中选择陈列不足状态分析(2)而显示的。在该分析结果输出画面中，除了分析结果显示部101的一览表显示部102以外，与图11所示的分析结果输出画面同样。
在一览表显示部102中设置有月统计显示部103和周统计显示部104。在月统计显示部103中以一览表的方式显示有与各月的各周的每个时段的陈列不足状态有关的评价标记(○、△以及×)。该月统计显示部103的评价标记是基于由商品状态统计部54将统计期间设为一周来进行统计而得到的每周的陈列不足状态所决定的。
在周统计显示部104中以一览表的方式显示有与各周的各星期几(日)的每个时段的陈列不足状态有关的评价标记(○、△以及×)。该周统计显示部104的评价标记是基于由商品状态统计部54将统计期间设为时段来进行统计而得到的每个时段的陈列不足状态所决定的。
另外，在分析结果显示部101中设置有与月统计显示部103及周统计显示部104分别对应的滚动按钮105、106，通过操作该滚动按钮105、106，能够移动月统计显示部103所显示的周、周统计显示部104所显示的日。
通过该分析结果输出画面，用户能够掌握所指定的陈列区中的各月的各周的每个时段的陈列不足状态和各周的各星期几(日)的每个时段的陈列不足状态。
此外，在图11和图12所示的分析结果输出画面中，也可以在分析结果显示部91中显示每个统计期间的停留人数，使得能够将每个统计期间的陈列不足状态与停留人数进行对比。
图13所示的分析结果输出画面用于将陈列不足状态与人停留状况对比地进行显示，是通过选择陈列不足状态分析(3)而显示的。在该分析结果输出画面中，除了分析结果显示部111以外，与图9所示的分析结果输出画面同样。
在分析结果显示部111中，针对各个陈列区(陈列架)设置有陈列区名称显示部112、影像显示部113以及一览表显示部114。在陈列区名称显示部112中显示陈列区的名称。在影像显示部113中显示陈列区的影像。
在一览表显示部114中针对各日显示有停留人数和评价标记。停留人数是与陈列区对应的商品访问区的停留人数，是由人状态统计部55将统计期间设为1天来进行统计而得到的停留人数。评价标记表示由商品状态统计部54将统计期间设为1天来进行统计而得到的统计结果。
另外，在分析结果显示部111中设置有滚动按钮115，通过操作滚动按钮115，能够移动一览表显示部114中显示的日期。
在该分析结果输出画面中，能够一边与停留人数进行比较一边确认各陈列区中的每日的陈列不足状态。
此外，在图11、图12以及图13中示出了与陈列不足状态有关的分析结果输出画面，但是也能够针对陈列杂乱状态显示同样的分析结果输出画面。
另外，在商品状态统计部54中，也可以考虑通知(陈列杂乱警报和陈列不足警报)的必要性来进行评价，即，以规定的统计期间为单位对通知判定部45的判定结果进行统计来获取与每个该统计期间的商品陈列状态(陈列杂乱状态和陈列不足状态)有关的评价信息，基于该评价信息来决定评价标记。
这样，在本实施方式中，累积与每个探测时刻的商品陈列状态有关的信息以及与通知有关的信息，基于所累积的该信息来获取与规定的对象期间中的商品陈列状态的时间性变化状况及通知的产生状况有关的统计结果，生成显示该统计结果的显示信息，因此用户能够一边与商品陈列状态的时间性变化状况进行比较，一边掌握通知是在什么样的时机产生的。
另外，在本实施方式中，探测陈列杂乱状态和陈列不足状态来作为商品陈列状态，根据用户的输入操作来获取与同陈列杂乱状态及陈列不足状态分别对应的通知(陈列杂乱警报和陈列不足警报)的类别的选择有关的输入信息，基于该输入信息来获取与用户所选择的类别的通知的产生状况有关的统计结果，生成与该统计结果有关的显示信息，因此，用户能够根据通知的类别来一边与商品陈列状态的时间性变化状况进行比较一边掌握通知是在什么样的时机产生的。由此，能够根据通知的类别、即商品陈列的欠缺的内容，来研究店铺中的商品管理上的问题。
另外，在本实施方式中，获取每个探测时刻的停留人数来作为人停留状态，累积该每个探测时刻的停留人数，基于所累积的该信息来获取与人停留状态的时间性变化状况有关的统计结果，基于该统计结果来生成将人停留状态的时间性变化状况与商品陈列状态的时间性变化状况及通知的产生状况进行合并而得到的显示信息，因此，用户能够一边与店铺内的停留人数的时间性变化状况进行比较一边确认通知的产生状况。由此，能够认识到店铺中的商品管理上的问题。
另外，在本实施方式中，累积每个探测时刻的商品陈列状态的探测结果，以规定的统计期间为单位对所累积的该每个探测时刻的探测结果进行统计，获取每个该统计期间的商品陈列状态，生成与每个该统计期间的商品陈列状态有关的显示信息，因此，用户能够针对每个统计期间掌握商品陈列状态。而且，用户能够通过将每个统计期间的商品陈列状态进行比较来掌握商品陈列状态根据统计期间的差异。
(第二实施方式)
图14是第二实施方式所涉及的商品监控系统的整体结构图。此外，在此未特别提及的点与第一实施方式同样。
在本第二实施方式中，店铺中除了设置有作为商品监控装置的PC 3以外，还设置有库存管理装置121、销售信息管理装置122以及人员配置管理装置123。此外，也可以将库存管理装置121、销售信息管理装置122以及人员配置管理装置123中的至少一个与PC 3合并。另外，在总部设置有库存管理服务器125、销售信息管理服务器126以及人员配置管理服务器127。
在PC 3中的商品监控部32的通知判定部45中进行以下处理：除了基于商品状态探测部42的探测结果和人状态探测部44的探测结果以外，还基于从库存管理装置121获取到的库存信息、从销售信息管理装置122获取到的销售信息以及从人员配置管理装置123获取到的人员配置信息中的至少一个，来判定可否进行通知。
具体地说，在基于库存信息确认出没有商品的库存的情况下，即使发出陈列不足警报也无法进行商品的补充，因此，即使通过商品状态探测部42探测出需要补充状态(缺货状态和不足状态)也设为不发出陈列不足警报。另外，在基于人员配置信息确认出店铺中只有一名店员的情况下，难以进行商品管理作业(整顿作业和补充作业)，因此设为不发出陈列杂乱警报和陈列不足警报。
另外，在基于销售信息确认出商品已销售的情况下，该商品的陈列区变为需要补充状态的可能性高，因此与商品状态探测部42的探测结果一起考虑来判定可否进行陈列不足警报。
这样，在本实施方式中，除了考虑商品状态探测部42的探测结果和人状态探测部44的探测结果以外，还考虑基于库存信息、销售信息以及人员配置信息的店铺的库存状况、销售额状况以及店员的配置状况等来判定可否进行通知，因此能够在更进一步适当且有效的时机进行通知。
以上基于特定的实施方式说明了本发明，但是这些实施方式只不过是示例，本发明并不限定于这些实施方式。另外，上述实施方式所示的本发明所涉及的商品监控装置、商品监控系统以及商品监控方法的各结构要素不一定全部是必需的，至少只要不脱离本发明的范围就能够适当取舍选择。
例如，在本实施方式中，如图2所示，将陈列架作为陈列区，但是陈列区不限定于陈列架，例如也可以将手推车、陈列台等用具作为陈列区。
另外，在本实施方式中，作为商品陈列状态，探测陈列杂乱状态和陈列不足状态这双方，但是也可以仅为陈列杂乱状态和陈列不足状态中的任一方。
另外，在本实施方式中，基于结账区和商品访问区中的人停留状态来判定可否进行通知，但是也可以基于作为监视区的整个店铺的人停留状态来判定可否进行通知。在该情况下，只要在人状态探测部44中获取停留于店铺的人的人数，在店铺处于拥挤状态的情况下不进行通知即可。
另外，在本实施方式中，如图2所示，将照相机1设为使用鱼眼镜头而具有360度的摄影范围的全方位照相机，但是也可以是具有规定的视角的照相机、所谓的盒式照相机(box camera)。
另外，在本实施方式中，使设置于店铺的PC 3进行商品监控所需的处理，但是也可以使如图1所示那样设置于总部的PC 11、构成云计算系统的云计算机21进行该所需的处理。另外，也可以由多个信息处理装置分担所需的处理，经由IP网络、LAN等通信介质在多个信息处理装置之间传递信息。在该情况下，由分担所需的处理的多个信息处理装置构成商品监控系统。
在这种结构中，优选使设置于店铺的装置至少进行商品检测处理和人检测处理。当这样构成时，剩余的处理所需的信息的数据量可以少，因此即使使设置于与店铺不同的场所的信息处理装置、例如设置于总部的PC 11进行剩余的处理，也能够减轻通信负荷，因此利用广域网络连接方式的系统的运用变得容易。
另外，也可以使云计算机21进行商品监控所需的处理中的至少运算量大的处理、例如商品检测处理和人检测处理。当这样构成时，通过使云计算机21进行运算量大的处理，在店铺等用户侧不需要高速的信息处理装置，另外，剩余的处理的运算量可以小，因此也能够将其作为扩展功能来使设置于店铺的构成销售信息管理装置的信息处理装置兼具，由此能够减少用户所负担的成本。
另外，也可以使云计算机21进行所需的全部处理、或者使云计算机21分担所需的处理中的至少通知处理、显示信息生成处理，当这样构成时，除了设置于店铺、总部的PC 3、PC 11以外，在智能电话22等便携式终端中也能够输出通知，还能够显示分析结果，由此，除了店铺、总部以外，还能够在外出目的地等任意的场所确认通知、分析结果。
另外，在本实施方式中，将分析结果输出到设置于店铺的PC 3的监视器4，但是也能够与PC 3相分别地设置分析结果的输出装置，例如，除了如前所述那样将设置于总部的PC 11、智能电话22作为分析结果的浏览装置以外，还能够对设置于店铺的销售信息管理装置附加作为分析结果的浏览装置的功能。另外，也能够利用打印机来输出分析结果。
另外，在本实施方式中，使设置于店铺的PC 3的监视器4显示分析结果输出画面，但是也可以与进行商品监控处理的PC 3相分别地设置进行所需的输入和输出的信息处理装置、特别是便携式信息处理装置、例如平板终端。
产业上的可利用性
本发明所涉及的商品监控装置、商品监控系统以及商品监控方法具有能够在适当且有效的时机进行用于指示商品管理作业的通知的效果，作为基于对店铺中的陈列区进行拍摄而得到的影像来监视商品的陈列状况的商品监控装置、商品监控系统以及商品监控方法等而有用。
附图标记说明
1：照相机；2：记录器；4：监视器；6：输入设备；12：监视器；21：云计算机；22：智能电话；31：监视部；32：商品监控部；33：分析部；41：商品检测部；42：商品状态探测部；43：人检测部；44：人状态探测部；45：通知判定部；46：通知部；51：信息累积部；52：统计部；53：GUI控制部；54：商品状态统计部；55：人状态统计部；56：输入信息获取部；57：画面生成部(显示信息生成部)。

Claims (12)

1.一种商品监控装置，基于对店铺中的陈列区进行拍摄而得到的影像来监视商品的陈列状况，该商品监控装置的特征在于，具备：
商品检测部，其基于对所述陈列区进行拍摄而得到的影像来检测所述陈列区内的商品；
商品状态探测部，其基于该商品检测部的检测结果来探测所述陈列区中的商品陈列状态；
人检测部，其基于对店铺内进行拍摄而得到的影像来检测停留于店铺内的人；
人状态探测部，其基于该人检测部的检测结果来探测店铺内的人停留状态；
通知判定部，其基于所述商品状态探测部的探测结果和所述人状态探测部的探测结果，来判定可否进行用于指示店员进行商品管理作业的通知；以及
通知部，其基于该通知判定部的判定结果来进行所述通知。
2.根据权利要求1所述的商品监控装置，其特征在于，
所述人状态探测部探测进行结账的顾客所停留的结账区中的人停留状态，
在由所述人状态探测部探测出的所述结账区中的人停留状态是难以进行商品管理作业的状态的情况下，所述通知判定部设为不进行所述通知。
3.根据权利要求1或2所述的商品监控装置，其特征在于，
所述人状态探测部探测对所述陈列区中陈列的商品进行观察的顾客所停留的商品访问区中的人停留状态，
在由所述人状态探测部探测出的所述商品访问区中的人停留状态是难以进行该商品访问区中的商品管理作业的状态的情况下，所述通知判定部设为不进行所述通知。
4.根据权利要求1至3中的任一项所述的商品监控装置，其特征在于，
所述人状态探测部探测进行结账的顾客所停留的结账区以及对所述陈列区中陈列的商品进行观察的顾客所停留的商品访问区中的人停留状态，
在由所述商品状态探测部探测出的商品陈列状态是需要进行商品管理作业的状态、且由所述人状态探测部探测出的所述结账区中的人停留状态不是难以进行商品管理作业的状态、且由所述人状态探测部探测出的所述商品访问区中的人停留状态不是难以进行该商品访问区中的商品管理作业的状态的情况下，所述通知判定部设为进行所述通知。
5.根据权利要求1至4中的任一项所述的商品监控装置，其特征在于，
所述商品状态探测部探测陈列杂乱状态和陈列不足状态中的至少一个来作为所述商品陈列状态，
所述通知部进行以下通知：该通知用于指示店员进行解除陈列的杂乱的整顿作业和解除商品的不足的补充作业中的至少一个来作为所述商品管理作业。
6.根据权利要求1至5中的任一项所述的商品监控装置，其特征在于，
所述通知判定部除了基于所述商品状态探测部的探测结果和所述人状态探测部的探测结果以外，还基于库存信息、销售信息以及人员配置信息中的至少一个来判定可否进行所述通知。
7.根据权利要求1至6中的任一项所述的商品监控装置，其特征在于，还具备：
信息累积部，其累积与由所述商品状态探测部获取到的每个探测时刻的商品陈列状态有关的信息以及与由所述通知部进行的所述通知有关的信息；
统计部，其基于该信息累积部中累积的信息，来获取与所述商品陈列状态的时间性变化状况及所述通知的产生状况有关的统计结果；以及
显示信息生成部，其基于由该统计部获取到的所述统计结果，来生成将所述商品陈列状态的时间性变化状况与所述通知的产生状况进行合并而得到的显示信息。
8.根据权利要求7所述的商品监控装置，其特征在于，
所述商品状态探测部探测陈列杂乱状态和陈列不足状态来作为所述商品陈列状态，
所述商品监控装置还具备输入信息获取部，该输入信息获取部根据用户的输入操作来获取输入信息，该输入信息是用于对与所述陈列杂乱状态及所述陈列不足状态分别对应的通知的类别进行选择的信息，
所述统计部基于由所述输入信息获取部获取到的输入信息来获取与用户所选择的类别的通知的产生状况有关的统计结果，
所述显示信息生成部生成与所述统计结果有关的所述显示信息。
9.根据权利要求7或8所述的商品监控装置，其特征在于，
所述人状态探测部获取每个探测时刻的停留人数来作为所述人停留状态，
所述信息累积部累积由所述人状态探测部获取到的每个探测时刻的停留人数，
所述统计部基于所述信息累积部中累积的信息，来获取与所述停留人数的时间性变化状况有关的统计结果，
所述显示信息生成部基于由所述统计部获取到的所述统计结果，来生成将所述停留人数的时间性变化状况与所述商品陈列状态的时间性变化状况及所述通知的产生状况进行合并而得到的显示信息。
10.根据权利要求1至9中的任一项所述的商品监控装置，其特征在于，还具备：
信息累积部，其累积由所述商品状态探测部获取到的每个探测时刻的所述商品陈列状态的探测结果；
商品状态统计部，其以规定的统计期间为单位对该信息累积部中累积的每个探测时刻的所述探测结果进行统计，来获取每个该统计期间的商品陈列状态；以及
显示信息生成部，其生成与由该商品状态统计部获取到的每个统计期间的所述商品陈列状态有关的显示信息。
11.一种商品监控系统，基于对店铺中的陈列区进行拍摄而得到的影像来监视商品的陈列状况，该商品监控系统的特征在于，具有：
对店铺内进行拍摄的照相机；以及
多个信息处理装置，
其中，所述多个信息处理装置中的任一个信息处理装置具备：
商品检测部，其基于对所述陈列区进行拍摄而得到的影像来检测所述陈列区内的商品；
商品状态探测部，其基于该商品检测部的检测结果来探测所述陈列区中的商品陈列状态；
人检测部，其基于对店铺内进行拍摄而得到的影像来检测停留于店铺内的人；
人状态探测部，其基于该人检测部的检测结果来探测店铺内的人停留状态；
通知判定部，其基于所述商品状态探测部的探测结果和所述人状态探测部的探测结果，来判定可否进行用于指示店员进行商品管理作业的通知；以及
通知部，其基于该通知判定部的判定结果来进行所述通知。
12.一种商品监控方法，使信息处理装置进行基于对店铺中的陈列区进行拍摄而得到的影像来监视商品的陈列状况的处理，该商品监控方法的特征在于，具有以下步骤：
商品检测步骤，基于对所述陈列区进行拍摄而得到的影像来检测所述陈列区内的商品；
商品状态探测步骤，基于所述商品检测步骤的检测结果来探测所述陈列区中的商品陈列状态；
人检测步骤，基于对店铺内进行拍摄而得到的影像来检测停留于店铺内的人；
人状态探测步骤，基于所述人检测步骤的检测结果来探测店铺内的人停留状态；
通知判定步骤，基于所述商品状态探测步骤的探测结果和所述人状态探测步骤的探测结果，来判定可否进行用于指示店员进行商品管理作业的通知；以及
通知步骤，基于所述通知判定步骤的判定结果来进行所述通知。
CN201480073292.XA 2013-11-27 2014-10-29 商品监控装置、商品监控系统以及商品监控方法 Pending CN105917371A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013244995A JP5728654B1 (ja) 2013-11-27 2013-11-27 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP2013-244995 2013-11-27
PCT/JP2014/005464 WO2015079622A1 (ja) 2013-11-27 2014-10-29 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法

Publications (1)

Publication Number Publication Date
CN105917371A true CN105917371A (zh) 2016-08-31

Family

ID=53198600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480073292.XA Pending CN105917371A (zh) 2013-11-27 2014-10-29 商品监控装置、商品监控系统以及商品监控方法

Country Status (5)

Country Link
US (1) US10304032B2 (zh)
EP (1) EP3076351A1 (zh)
JP (1) JP5728654B1 (zh)
CN (1) CN105917371A (zh)
WO (1) WO2015079622A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018053847A1 (zh) * 2016-09-26 2018-03-29 达闼科技（北京）有限公司 一种智能库存管理系统、服务器、方法、终端和程序产品
CN109389744A (zh) * 2017-08-14 2019-02-26 上海仁基互联网科技股份有限公司 一种应用基于视觉方法生成订单的自助终端
CN109465818A (zh) * 2017-09-08 2019-03-15 株式会社日立大厦系统 机器人管理系统以及商品推荐方法
CN109711594A (zh) * 2017-10-25 2019-05-03 东芝泰格有限公司 商品管理装置及商品管理方法
CN110348666A (zh) * 2018-04-04 2019-10-18 松下知识产权经营株式会社 店铺管理方法以及店铺管理系统
CN111553889A (zh) * 2020-04-16 2020-08-18 上海扩博智能技术有限公司 货架上商品摆放位置的对比方法、系统、设备和存储介质
CN111685599A (zh) * 2019-03-14 2020-09-22 富士电机株式会社 商品管理系统及商品管理方法
CN111753614A (zh) * 2019-11-01 2020-10-09 北京京东尚科信息技术有限公司 一种商品货架的监控方法和装置
CN112309031A (zh) * 2020-09-17 2021-02-02 北京京东乾石科技有限公司 无人货柜混放检测方法、装置、设备及可读存储介质
CN113223255A (zh) * 2020-02-04 2021-08-06 东芝泰格有限公司 陈列用具
CN113313498A (zh) * 2020-02-26 2021-08-27 东芝泰格有限公司 销售管理系统、销售管理装置及存储介质
CN113674049A (zh) * 2021-06-24 2021-11-19 杭州碑石数据技术有限公司 基于图片搜索的商品在架位置识别方法、系统和存储介质

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6699547B2 (ja) * 2014-03-12 2020-05-27 日本電気株式会社 陳列状況解析装置、陳列状況解析方法およびプログラム
US20180300802A1 (en) * 2015-10-30 2018-10-18 Panasonic Intellectual Property Management Co., Lt d. Facility imaging device, facility image collecting device, facility image storage device, facility image output control device, facility operation support device, user terminal device, and facility operation support method
JP6226249B2 (ja) * 2015-10-30 2017-11-08 パナソニックＩｐマネジメント株式会社 施設撮像装置、施設画像収集装置、施設画像蓄積装置、および施設画像出力制御装置
JP6161013B2 (ja) * 2015-10-30 2017-07-12 パナソニックＩｐマネジメント株式会社 施設運営支援装置および施設運営支援方法
JP6238028B2 (ja) * 2016-03-11 2017-11-29 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP6288567B2 (ja) * 2016-07-11 2018-03-07 パナソニックＩｐマネジメント株式会社 施設運営支援装置、および施設運営支援方法
JP6300126B2 (ja) * 2016-07-11 2018-03-28 パナソニックＩｐマネジメント株式会社 施設運営支援装置および施設運営支援方法
WO2018012389A1 (ja) * 2016-07-11 2018-01-18 パナソニックＩｐマネジメント株式会社 施設運営支援装置、ユーザ端末装置、および施設運営支援方法
JP6260959B2 (ja) * 2016-07-11 2018-01-17 パナソニックＩｐマネジメント株式会社 施設運営支援装置、および施設運営支援方法
JP7124269B2 (ja) * 2017-03-03 2022-08-24 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム
JP7106815B2 (ja) * 2017-03-03 2022-07-27 日本電気株式会社 情報処理システム
CN110383315B (zh) * 2017-03-03 2022-06-03 日本电气株式会社 信息处理系统、信息处理装置、信息处理方法和信息处理程序
JP6916707B2 (ja) * 2017-10-16 2021-08-11 信越ポリマー株式会社 商品陳列棚のモニタリングシステム
JP7286822B2 (ja) * 2017-10-25 2023-06-05 東芝テック株式会社 商品管理装置及び商品管理プログラム
EP3706056A1 (en) 2017-10-30 2020-09-09 Panasonic Intellectual Property Management Co., Ltd. Shelf monitoring device, shelf monitoring method, and shelf monitoring program
JP7165884B2 (ja) 2017-10-30 2022-11-07 パナソニックＩｐマネジメント株式会社 棚札検出装置、棚札検出方法、及び、棚札検出プログラム
WO2019111501A1 (ja) 2017-12-04 2019-06-13 日本電気株式会社 画像処理装置
US11922482B2 (en) 2018-03-09 2024-03-05 Nec Corporation Self-checkout system, purchased product management method, and purchased product management program
US10509949B1 (en) 2019-01-24 2019-12-17 Capital One Services, Llc Method and system for customizing user experience
US20220092523A1 (en) * 2019-03-22 2022-03-24 Nec Corporation Inventory management server, inventory management system, inventory management method, and recording medium
EP3997661A1 (en) * 2019-07-09 2022-05-18 Pricer AB Stitch images
JPWO2021033703A1 (zh) * 2019-08-22 2021-02-25
JP7500168B2 (ja) * 2019-08-26 2024-06-17 東芝テック株式会社 物品管理装置及びプログラム
JP6899535B2 (ja) * 2019-11-18 2021-07-07 パナソニックＩｐマネジメント株式会社 業務支援装置、業務支援方法、コンピュータプログラム、及び、業務支援システム
JP6942215B1 (ja) * 2020-03-30 2021-09-29 株式会社エヌ・ティ・ティ・データ 商品管理システム、商品管理方法および商品管理プログラム
US11776205B2 (en) * 2020-06-09 2023-10-03 Ptc Inc. Determination of interactions with predefined volumes of space based on automated analysis of volumetric video
JP2022032784A (ja) * 2020-08-14 2022-02-25 東芝デジタルソリューションズ株式会社 作業内容分析装置、作業内容分析方法、およびプログラム
JP2022038364A (ja) * 2020-08-26 2022-03-10 パナソニックＩｐマネジメント株式会社 業務支援装置、業務支援方法、及び、コンピュータプログラム
JP2023030341A (ja) * 2021-08-23 2023-03-08 株式会社Retail AI 通知システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080077510A1 (en) * 2006-09-21 2008-03-27 Polymer Logistics Bv Method And System For Providing Security Surveillance And Shelf Monitoring Functions
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581552A (ja) 1991-07-12 1993-04-02 Omron Corp 商品監視システム
US6837436B2 (en) * 1996-09-05 2005-01-04 Symbol Technologies, Inc. Consumer interactive shopping system
JP3974365B2 (ja) * 2001-10-02 2007-09-12 花王株式会社 顧客動線集計装置
JP3908047B2 (ja) 2002-02-04 2007-04-25 富士通株式会社 陳列状態監視方法及び陳列状態監視プログラム
JP3947869B2 (ja) * 2002-10-09 2007-07-25 Ｎｅｃインフロンティア株式会社 店舗管理システム
JP4456437B2 (ja) 2004-08-06 2010-04-28 株式会社野村総合研究所 画像処理システム、画像処理プログラム及び画像処理方法
US7671728B2 (en) * 2006-06-02 2010-03-02 Sensormatic Electronics, LLC Systems and methods for distributed monitoring of remote sites
US7825792B2 (en) * 2006-06-02 2010-11-02 Sensormatic Electronics Llc Systems and methods for distributed monitoring of remote sites
US8009864B2 (en) * 2007-08-31 2011-08-30 Accenture Global Services Limited Determination of inventory conditions based on image processing
US7949568B2 (en) * 2007-08-31 2011-05-24 Accenture Global Services Limited Determination of product display parameters based on image processing
US8630924B2 (en) * 2007-08-31 2014-01-14 Accenture Global Services Limited Detection of stock out conditions based on image processing
US7954712B2 (en) 2008-09-12 2011-06-07 Transparent Visibility Holdings, LLC Product, asset, and device tracking, identification, and pricing system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080077510A1 (en) * 2006-09-21 2008-03-27 Polymer Logistics Bv Method And System For Providing Security Surveillance And Shelf Monitoring Functions
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018053847A1 (zh) * 2016-09-26 2018-03-29 达闼科技（北京）有限公司 一种智能库存管理系统、服务器、方法、终端和程序产品
CN109389744A (zh) * 2017-08-14 2019-02-26 上海仁基互联网科技股份有限公司 一种应用基于视觉方法生成订单的自助终端
CN109465818A (zh) * 2017-09-08 2019-03-15 株式会社日立大厦系统 机器人管理系统以及商品推荐方法
CN109711594A (zh) * 2017-10-25 2019-05-03 东芝泰格有限公司 商品管理装置及商品管理方法
CN110348666A (zh) * 2018-04-04 2019-10-18 松下知识产权经营株式会社 店铺管理方法以及店铺管理系统
CN111685599A (zh) * 2019-03-14 2020-09-22 富士电机株式会社 商品管理系统及商品管理方法
CN111685599B (zh) * 2019-03-14 2022-02-18 富士电机株式会社 商品管理系统及商品管理方法
CN111753614A (zh) * 2019-11-01 2020-10-09 北京京东尚科信息技术有限公司 一种商品货架的监控方法和装置
CN113223255A (zh) * 2020-02-04 2021-08-06 东芝泰格有限公司 陈列用具
CN113313498A (zh) * 2020-02-26 2021-08-27 东芝泰格有限公司 销售管理系统、销售管理装置及存储介质
CN111553889A (zh) * 2020-04-16 2020-08-18 上海扩博智能技术有限公司 货架上商品摆放位置的对比方法、系统、设备和存储介质
CN112309031A (zh) * 2020-09-17 2021-02-02 北京京东乾石科技有限公司 无人货柜混放检测方法、装置、设备及可读存储介质
CN112309031B (zh) * 2020-09-17 2022-06-07 北京京东乾石科技有限公司 无人货柜混放检测方法、装置、设备及可读存储介质
CN113674049A (zh) * 2021-06-24 2021-11-19 杭州碑石数据技术有限公司 基于图片搜索的商品在架位置识别方法、系统和存储介质

Also Published As

Publication number Publication date
EP3076351A4 (en) 2016-10-05
US10304032B2 (en) 2019-05-28
WO2015079622A1 (ja) 2015-06-04
US20160300181A1 (en) 2016-10-13
EP3076351A1 (en) 2016-10-05
JP5728654B1 (ja) 2015-06-03
JP2015103153A (ja) 2015-06-04

Similar Documents

Publication Publication Date Title
CN105917371A (zh) 商品监控装置、商品监控系统以及商品监控方法
US10387897B2 (en) Retail sales opportunity loss cause analysis based on image analysis of shelf display
JP5881022B1 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
CN104954736B (zh) 滞留状况分析装置、滞留状况分析系统及分析方法
JP5613815B1 (ja) 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
JP5632512B1 (ja) 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置
JP5866522B2 (ja) 施設管理支援装置、施設管理支援システムおよび施設管理支援方法
CN105516648B (zh) 活动状况分析装置、活动状况分析系统及活动状况分析方法
JP2006309280A (ja) 非接触ｉｃタグを利用した店舗内顧客購買行動分析システム
JP5866542B1 (ja) 施設管理支援装置、施設管理支援システムおよび施設管理支援方法
JP6341388B2 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP6319669B2 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
WO2016194274A1 (ja) 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
US20160019664A1 (en) Facility utilization measurement apparatus, facility utilization measurement system, and facility utilization measurement method
US20230168119A1 (en) Footfall detection method and apparatus
KR102585358B1 (ko) 인공지능 기반의 영상 분석 모델을 이용하여 무인 매장 고객의 행동 패턴을 분석하는 방법 및 장치
JP6161011B2 (ja) 施設管理支援装置、施設管理支援システムおよび施設管理支援方法
JP7010030B2 (ja) 店内監視装置、店内監視方法、および店内監視プログラム
KR102620264B1 (ko) 인공지능 모델을 이용하여 분석된 무인 매장 고객 행동 분석 결과를 표현하는 방법 및 장치, 그리고 시스템
KR102585357B1 (ko) 무인 매장 내 장치의 효율적인 정보 송수신 방법, 및 효율적인 정보 송수신을 위한 무인 매장 시스템
WO2022259865A1 (ja) 店舗運営支援装置および店舗運営支援方法
CN110895722A (zh) 信息处理方法、陈列系统及智能陈列架

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160831