CN110383315A - 信息处理系统、信息处理装置、信息处理方法和信息处理程序 - Google Patents

信息处理系统、信息处理装置、信息处理方法和信息处理程序 Download PDF

Info

Publication number
CN110383315A
CN110383315A CN201880015441.5A CN201880015441A CN110383315A CN 110383315 A CN110383315 A CN 110383315A CN 201880015441 A CN201880015441 A CN 201880015441A CN 110383315 A CN110383315 A CN 110383315A
Authority
CN
China
Prior art keywords
information processing
shop
commodity
image
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880015441.5A
Other languages
English (en)
Other versions
CN110383315B (zh
Inventor
金野大
岩元浩太
多贺可菜子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017040121A external-priority patent/JP7124269B2/ja
Priority claimed from JP2017040120A external-priority patent/JP7106815B2/ja
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN110383315A publication Critical patent/CN110383315A/zh
Application granted granted Critical
Publication of CN110383315B publication Critical patent/CN110383315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

本发明的目的是更有效地运营商店。提供了一种信息处理系统，其包括至少一个图像捕捉器、移动单元和控制器。包括在所述信息处理系统中的至少一个图像捕捉器捕捉商店货架的图像。包括在所述信息处理系统中的移动单元移动所述至少一个图像捕捉器。包括在所述信息处理系统中的控制器在预先确定的定时控制所述至少一个图像捕捉器的图像捕捉以及所述移动单元对所述至少一个图像捕捉器的移动。

Description

信息处理系统、信息处理装置、信息处理方法和信息处理程序
技术领域
本发明涉及信息处理系统、信息处理装置、信息处理方法和信息处理程序。
背景技术
在上述技术领域中，专利文献1公开了通过拍摄商店货架来检查商品是否被恰当布置的技术。
引文列表
专利文献
专利文献1：日本专利申请公开号2017-14014
专利文献2：日本专利申请公开号2016-58105
发明内容
技术问题
然而，在专利文献1中所述的技术中，由于没有考虑摄像机的图像捕捉和移动的定时，因此无法更有效地运营商店。
本发明能够提供解决上述问题的技术。
问题的解决方案
本发明的一个示例方面提供了一种信息处理系统，包括：
至少一个图像捕捉器，捕捉商店货架的图像；
移动单元，移动图像捕捉器；以及
控制器，在预先确定的定时控制图像捕捉器的图像捕捉和移动单元对图像捕捉器的移动。
本发明的另一个示例方面提供了一种信息处理装置，包括：
定时生成器，基于商店中的商品的进货/出货，生成捕捉商店货架图像的至少一个图像捕捉器的图像捕捉的定时以及移动单元移动所述图像捕捉器的定时；以及
控制器，在所述定时控制所述图像捕捉器的图像捕捉以及所述移动单元对所述图像捕捉器的移动。
本发明的又一个示例方面提供了一种信息处理方法，包括：
基于商店中的商品的进货/出货，生成捕捉商店货架图像的至少一个图像捕捉器的图像捕捉的定时以及移动单元移动所述图像捕捉器的定时；以及
在所述定时控制所述图像捕捉器的图像捕捉和所述移动单元对所述图像捕捉器的移动。
本发明的又一个方面提供了一种信息处理程序，用于使计算机执行包括以下步骤的方法：
基于商店中的商品的进货/出货，生成捕捉商店货架图像的至少一个图像捕捉器的图像捕捉的定时以及移动单元移动所述图像捕捉器的定时；以及
在所述定时控制所述图像捕捉器的图像捕捉和所述移动单元对所述图像捕捉器的移动。
发明的有益效果
根据本发明，可更有效地运营商店。
附图说明
图1是示出了根据本发明第一示例实施例的信息处理系统的布置的框图；
图2是说明了根据本发明第二示例实施例的信息处理系统的概略的图；
图3是示出了根据本发明第二示例实施例的信息处理系统的布置的框图；
图4是示出了根据本发明第二示例实施例的信息处理系统中包括的信息处理装置中提供的控制表的示例的表；
图5是用于说明根据本发明第二示例实施例的信息处理系统中包括的信息处理装置的硬件布置的框图；
图6是用于说明根据本发明第二示例实施例的信息处理系统中包括的信息处理装置的处理过程的流程图；
图7是示出了根据本发明第三示例实施例的信息处理系统的布置的框图；
图8是示出了根据本发明第三示例实施例的信息处理系统中包括的信息处理装置中提供的库存表的示例的表；
图9是用于说明根据本发明第三示例实施例的信息处理系统中包括的信息处理装置的硬件布置的框图；
图10是用于说明根据本发明第三示例实施例的信息处理系统中包括的信息处理装置的处理过程的流程图；
图11是示出了根据本发明第四示例实施例的信息处理系统的布置的框图；
图12A是用于说明根据本发明第五示例实施例的信息处理系统的概略的图；
图12B是用于说明根据本发明第五示例实施例的信息处理系统中的销售区域的概略的图；
图12C是用于说明根据本发明第五示例实施例的信息处理系统中的库房的概略的图；
图13是示出了根据本发明第五示例实施例的信息处理系统的布置的框图；
图14是示出了根据本发明的第五示例实施例的信息处理系统中包括的信息处理装置中提供的商品表的示例的表；
图15是用于说明根据本发明第五示例实施例的信息处理系统中包括的信息处理装置的硬件布置的框图；
图16是用于说明根据本发明第五示例实施例的信息处理系统中包括的信息处理装置的处理过程的流程图；
图17是示出了根据本发明第六示例实施例的信息处理系统的布置的框图；
图18是示出了根据本发明的第六示例实施例的信息处理系统中包括的信息处理装置中提供的控制表的示例的表；
图19是用于说明根据本发明第六示例实施例的信息处理系统中包括的信息处理装置的硬件布置的框图；
图20是用于说明根据本发明第六示例实施例的信息处理系统的搬运器的处理过程的流程图；
图21A是用于说明根据本发明第七示例实施例的信息处理系统中的图像捕捉器和移动单元的示例的侧视图；
图21B是用于说明根据本发明第七示例实施例的信息处理系统中的图像捕捉器和移动单元的其他示例的正视图；以及
图21C是用于说明根据本发明第七示例实施例的信息处理系统中的图像捕捉器和移动单元的另外的其他示例的侧视图。
具体实施方式
现在将参考附图详细描述本发明的示例实施例。应当注意，除非另有特别声明，否则这些示例实施例中阐述的组件的相对配置、数字表达和数值不限制本发明的范围。
[第一示例实施例]
将参考图1描述根据本发明第一示例实施例的信息处理系统100。信息处理系统100是在预先确定的定时控制图像捕捉器的图像捕捉和移动的系统。
如图1所示，信息处理系统100包括图像捕捉器101、移动单元102和控制器103。图像捕捉器101捕捉商店货架的图像。至少提供一个图像捕捉器101。移动单元102移动图像捕捉器101。控制器103在预先确定的定时控制图像捕捉器101的图像捕捉和移动单元102的移动。
根据该示例实施例，可更有效地运营商店。
[第二示例实施例]
接下来将参考图2至图6描述根据本发明第二示例实施例的信息处理系统200。图2是用于说明根据该示例实施例的信息处理系统的概略的图。信息处理系统200包括摄像机201、轨道202和信息处理装置203。
摄像机201可沿着轨道202在商店中的销售区域210中移动。此外，将摄像机201经由包括滑轮在内的附件附接到轨道202。为了检测缺货商品222，信息处理装置203进行控制，以在预先确定的定时移动摄像机201并捕捉商店货架221的图像。注意，尽管由摄像机201捕捉的图像是静止图像，但是本发明不限于此，捕捉的图像可以是运动图像。
摄像机201捕捉销售区域210中的商店货架221的图像。摄像机201将捕捉到的商店货架221的图像发送到信息处理装置203。在接收到商店货架221的图像时，信息处理装置203基于捕捉到的商店货架221的图像检测缺货商品222。
注意，已说明了在销售区域210的天花板上设置轨道202的示例。然而，可在例如商店货架221和墙壁之间设置轨道202。如果以背对背的方式布置商店货架221，则可在商店货架221之间设置轨道202。此外，摄像机201不仅可在横向(水平方向)上移动，而且可在纵向(垂直方向)上移动。
图3是示出根据该示例实施例的信息处理系统200的布置的框图。信息处理系统200包括图像捕捉器301、移动单元302和信息处理装置203。图像捕捉器301在商店中移动并捕捉商店货架221的图像。尽管由图像捕捉器301捕捉的图像是静止图像，但是本发明不限于此，捕捉的图像可以是运动图像。此外，可设置一个或多个图像捕捉器301。
移动单元302移动图像捕捉器301。移动单元302包括例如在商店的天花板上设置的轨道202，并且图像捕捉器301通过沿着轨道202移动而在商店中移动。图像捕捉器301经由包括滑轮等在内的附件附接到移动单元302。
信息处理装置203包括定时生成器331和控制器332。基于商店中的商品的进货/出货，定时生成器331生成通过在商店内移动来捕捉商店货架221图像的图像捕捉器301的图像捕捉和移动的定时。也就是说，基于商品的进货/出货(例如，商品的售出或到货)，定时生成器331生成定时，该定时由图像捕捉器301用作触发信号以开始移动并执行图像捕捉。
该定时例如是在检测到商店货架221的状态变化之后的定时。更具体地说，该定时是来店顾客用手从商店货架221取下商品，在收银台结账并离开商店之后的定时。也就是说，商品被售出并从商店货架221上取走，导致商品货架221上的商品的陈列状态发生变化。在这种情况下，例如，如果设置了检测商店货架221上的商品的陈列状态的传感器，并且使该传感器和POS(销售点)系统彼此同步，则可检测商店货架221的状态变化。因此，定时生成器331生成在检测出商店货架221的状态变化之后的定时，作为用于控制图像捕捉器301的图像捕捉和移动的定时。
另一定时是商品到货的定时。如果商品到货，则将商品作为库存存放在商店的库房中。因此，如果可检测到缺货商品，则可补充缺货商品。相反，如果库房中没有库存商品，则即使移动摄像机201以检测缺货商品，由于库房中没有要补充的商品，因此摄像机201的移动也是无用的。因此，定时生成器331生成商品到货的定时，作为用于控制图像捕捉器301的图像捕捉和移动的定时。
又一定时是在商店的销售区域210中的商店货架221上陈列的商品的销售截止日期(例如最佳日期或有效期限)之前的预先确定的时间的定时。例如，由于在诸如便利店或超市之类的商店中销售过期商品会因为各种原因损害商店的声誉，因此需要在商品过期之前替换商品。因此，在商店货架221上陈列的商品的销售截止日期之前的预先确定的时间，移动摄像机201以捕捉商店货架221的图像。在这种情况下，如果商品到货，则店员执行到货处理，以向POS系统等输入诸如到货商品名称、商品数量、到货日期/时间和销售截止期限之类的数据。因此，信息处理装置203可通过使用输入数据，生成在商品的销售期限之前的预先确定的时间的定时。例如，基于更换商品所花费的时间，决定使用5分钟或10分钟作为预先确定的时间。然而，决定预先确定的时间的方法不限于此。
又一定时是商品售出后的定时，即，将在商店货架221上陈列的商品出售给来店顾客的定时。同样在这种情况下，如果信息处理装置203和POS系统彼此同步，则在信息处理装置203从POS系统接收指示商品被售出的信息时，定时生成器331生成定时。
此外，又一定时例如是在检测到来店顾客集中在预先确定的商店货架221周围之后的定时。如果来店顾客集中在预先确定的商店货架221的前面，则商店货架221上的商品被售出，并且出现缺货的可能性很高。因此，定时生成器331生成这种定时，作为用于控制图像捕捉器301的图像捕捉和移动的定时。这允许信息处理装置203控制图像捕捉器301在该定时捕捉商店货架221的图像。在这种情况下，在根据商店中的监控摄像机的视频等检测出来店顾客集中的同时，确定来店顾客集中的商店货架221，并且将这些信息提供给信息处理装置203。这允许信息处理装置203控制图像捕捉器301。
控制器332在由定时生成器331生成的定时，控制图像捕捉器301的图像捕捉和移动单元302对图像捕捉器301的移动。控制器332通过向图像捕捉器301和移动单元302发送信号来执行控制，该信号是关于要捕捉图像的商店货架221在商店的销售区域210中存在的位置的。注意，移动单元302包括在商店中安装的轨道202，轨道202例如安装在商店的天花板上。
控制器332在商店周围的活动开始之前的预先确定的时间段内，缩短图像捕捉器301的图像捕捉以及移动单元302的移动的控制间隔。预计的是，在商店周围举行活动之前的预先确定的时间段(例如，10分钟到1小时)来店顾客集中出现，并且发生缺货的可能性很高。因此，为了应对这种情况，在该时间段期间，控制器332缩短图像捕捉器301的控制间隔，以控制图像捕捉器301频繁地执行图像捕捉和移动。如果通过以这种方式缩短控制间隔来频繁移动图像捕捉器301捕捉商店货架221，则容易检测到缺货商品。
注意，如果有多个商店货架221要由图像捕捉器301捕捉图像，则控制器332可决定图像捕捉器301的巡回路线，该巡回路线指示如何移动图像捕捉器301。然后，控制器332可执行控制以沿着所确定的巡回路线移动图像捕捉器301并捕捉商店货架221。
图4是示出根据该示例实施例的信息处理系统200中包括的信息处理装置203中提供的控制表401的示例的表。控制表401与摄像机ID(标识符)411相关联地存储定时412和摄像机位置413。摄像机ID 411是用于标识作为图像捕捉器301的摄像机的标识符。定时412是控制图像捕捉器301的移动和图像捕捉的定时。摄像机位置413例如是关于位置(比如图像捕捉器301的当前位置)的信息。例如，信息处理装置203的控制器332参照控制表401控制图像捕捉器301的图像捕捉和移动。
图5是用于说明根据该示例实施例的信息处理系统中包括的信息处理装置203的硬件布置的框图。CPU(中央处理单元)510是运算控制处理器，通过执行程序来实现图3中所示的信息处理装置203的功能组件。CPU 510可包括多个处理器并且并行地执行不同的程序、模块、任务、或线程。ROM(只读存储器)520存储永久数据(诸如初始数据和程序)以及其他程序。网络接口530经由网络与另一装置等通信。注意，CPU 510的数量不限于一个，并且可包括多个CPU或用于图像处理的GPU(图形处理器)。期望网络接口530包括独立于CPU 510的CPU，并且在RAM(随机存取存储器)540的区域中写入或从该区域中读出发送/接收数据。期望设置用于在RAM 540和存储设备550之间传送数据的DMAC(直接存储器访问控制器)(未示出)。期望输入/输出接口560包括独立于CPU 510的CPU，并且在RAM 540的区域中写入或从该区域中读出输入/输出数据。因此，CPU 510识别出数据已被RAM 540接收或被传送到RAM 540，并且处理数据。CPU 510在RAM 540中准备处理结果，并将随后的发送或传送委托给网络接口530、DMAC、或输入/输出接口560。
RAM 540是由CPU 510用作临时存储工作区域的随机存取存储器。将用于存储实现该示例实施例所需的数据的区域分配给RAM 540。摄像机ID 541是用于标识商店中的摄像机的标识符。定时542是表示控制摄像机201的移动和图像捕捉的定时的数据。货架编号543是表示陈列商品的商店货架221的位置或商品在库房中的存放位置的数据。摄像机位置544是表示摄像机201的当前位置等的数据。这些数据是例如从控制表401加载的数据。
输入/输出数据545是经由输入/输出接口560输入/输出的数据。发送/接收数据546是经由网络接口530发送/接收的数据。RAM 540包括用来执行各种应用模块的应用执行区域547。
存储设备550存储数据库、各种参数、或实现该示例实施例所需的以下数据或程序。存储设备550存储控制表401。控制表401是如图4所示的表，用于管理摄像机ID 411、定时412、摄像机位置413等之间的关系。
存储设备550还存储定时生成模块551和控制模块552。
定时生成模块551是基于商店中的商品的进货/出货生成在商店中移动以捕捉商店货架221图像的图像捕捉器301的图像捕捉和移动的定时的模块。控制模块552是在预先确定的定时控制图像捕捉器301的图像捕捉和移动单元302的移动的模块。这些模块551至552由CPU510加载到RAM 540的应用执行区域547并执行。控制程序553是用于控制整个信息处理装置203的程序。
输入/输出接口560与输入/输出设备交互输入/输出数据。输入/输出接口560连接到显示单元561和操作单元562。输入/输出接口560还可以连接到存储介质564。此外，可连接用作语音输出单元的扬声器563、用作语音输入单元的麦克风(未示出)、或GPS位置确定器。注意，在图5的RAM 540或存储设备550中，没有示出与信息处理装置203的通用功能和其他可实现功能相关联的程序和数据。
图6是用于说明根据该示例实施例的信息处理系统200的信息处理装置203的处理过程的流程图。该流程图由图5的CPU 510使用RAM540执行，从而实现图3中所示的信息处理装置203的功能组件。
在步骤S601中，信息处理装置203生成控制摄像机201的移动和图像捕捉的定时。在步骤S603中，信息处理装置203确定控制摄像机201的移动和图像捕捉的定时是否已到达。如果定时尚未到达(步骤S603中的“否”)，则信息处理装置203待机直到定时到达；否则(步骤S603中的“是”)，信息处理装置203前进到步骤S605。
在步骤S605中，信息处理装置203控制摄像机201的移动以使其移动到预先确定的位置。在步骤S607中，信息处理装置203确定摄像机201的移动是否完成。如果摄像机201的移动未完成(步骤S607中的“否”)，则信息处理装置203继续控制摄像机201的移动；否则(步骤S607中的“是”)，信息处理装置203前进到步骤S609。
在步骤S609中，信息处理装置203控制摄像机201的图像捕捉以捕捉商店货架211的图像。在步骤S611中，信息处理装置203确定摄像机201的图像捕捉是否完成。如果图像捕捉未完成(步骤S611中的“否”)，则信息处理装置203继续控制摄像机201的图像捕捉；否则(步骤S611中的“是”)，信息处理装置203前进到步骤S613。
在步骤S613中，例如，信息处理装置203将摄像机201移动到待机位置以使摄像机201待机，从而结束处理。
根据该示例实施例，由于在预先确定的定时控制摄像机的移动和图像捕捉，因此可有效地控制摄像机的图像捕捉和移动。
[第三示例实施例]
接下来将参考图7至图10描述根据本发明第三示例实施例的信息处理系统。图7是用于说明根据该示例实施例的信息处理系统700的布置的框图。根据该示例实施例的信息处理系统700与第二示例实施例中的信息处理系统的不同之处在于：信息处理装置包括库存确定器。其余的组件和操作与第二示例实施例中的相同。这里，相同的附图标记表示相同的组件和操作，并且将省略其详细描述。
信息处理装置703包括库存确定器733。库存确定器733确定商店库房中是否有商品库存。然后，控制器332基于库存确定器733的确定结果，控制图像捕捉器301的图像捕捉和移动。例如，在库房中没有商品库存的状态下，即使通过控制图像捕捉器301捕捉商店货架211的图像以检测出缺货商品，但由于未在库房中存放要补充的商品，因此图像捕捉器301的控制也是无用的。因此，即使预先确定的定时已经到达并且控制器332应该控制图像捕捉器301，如果没有商品库存，则库存确定器733也会禁止对图像捕捉器301的控制。
图8是示出根据该示例实施例的信息处理系统700中包括的信息处理装置703中提供的库存表801的示例的表。库存表801与商品ID811相关联地存储库存状态812。商品ID(标识符)811是用于标识商品的标识符。库存状态812是关于商品的库存状态(例如剩余商品数量、库存的有/无、和预先确定的到货日期/时间)的信息。因此，信息处理装置703例如参照库存表801控制图像捕捉器301。
图9是用于说明根据该示例实施例的信息处理系统中包括的信息处理装置703的硬件布置的框图。RAM 940是由CPU 510用作临时存储工作区域的随机存取存储器。将用于存储实现该示例实施例所需的数据的区域分配给RAM 940。库存状态941是关于商品库存状态的数据。该数据是例如从库存表801加载的数据。
存储设备950存储数据库、各种参数、或实现该示例实施例所需的以下数据或程序。存储设备950存储库存表801。库存表801是如图8所示的表，用于管理商品ID 811和库存状态812之间的关系。
存储设备950还存储库存确定模块951。库存确定模块951是确定库房中是否有商品库存的模块。该模块951由CPU 510加载到RAM 540的应用执行区域547并执行。
图10是用于说明根据该示例实施例的信息处理系统700的信息处理装置703的处理过程的流程图。该流程图由图9的CPU 510使用RAM 540执行，从而实现图7中所示的信息处理装置703的功能组件。
在步骤S1001中，信息处理装置703确定商品的库存的有/无。如有商品库存(步骤S1001中的“是”)，则信息处理装置703进入步骤S605；否则(步骤S1001中的“否”)，信息处理装置703结束处理，不控制图像捕捉器301的移动和图像捕捉。
根据该示例实施例，由于确定了库存的有/无，因此可减少无用的控制，从而可更有效地检测缺货商品。
[第四示例实施例]
在该技术领域中，专利文献2公开了以下技术：确定每一个状态监控区域中的商品陈列不足的状态，并且根据每一个状态监控区域中商品不足的程度，在陈列区域的视频上叠加陈列状态表示图像。然而，在专利文献2描述的技术中，无法更有效地执行商品管理。该示例实施例能够提供解决上述问题的技术。
将参考图11描述根据本发明第四示例实施例的信息处理系统1100。信息处理系统1100是检测商品缺货并将缺货商品搬运到商店内的系统。
如图11所示，信息处理系统1100包括图像捕捉器1101、移动单元1102、缺货检测器1103和搬运器1104。
图像捕捉器1101捕捉商店货架的图像。至少设置一个图像捕捉器1101。移动单元1102移动图像捕捉器1101。缺货检测器1103基于由图像捕捉器1101捕捉到的商店货架的图像检测商品缺货。搬运器1104从库房将由缺货检测器1103检测到的缺货商品搬运到商店中。
根据该示例实施例，可更有效地执行商品管理。
[第五示例实施例]
接下来将参考图12A至图16描述根据本发明第五示例实施例的信息处理系统。图12A是用于说明根据该示例实施例的信息处理系统1200的概略的图。图12B是用于说明根据该示例实施例的信息处理系统1200中的销售区域的概略的图。图12C是用于说明根据该示例实施例的信息处理系统1200中的库房的概略的图。
信息处理系统1200是在例如便利店、超市等中检测商店货架上的缺货商品，并将库房中存放的库存商品搬运到销售区域的系统。
信息处理系统1200包括摄像机1201、信息处理装置1203和搬运机器人1204。摄像机1201在商店中移动以捕捉销售区域1220的商店货架1221的图像。然后，将由摄像机1201捕捉的商店货架1221的图像发送到信息处理装置1203。注意，摄像机1201可通过在商店的天花板上安装的轨道1211在商店中移动。尽管将说明设置一个摄像机1201的示例，但是可设置多个摄像机1201。此外，将描述摄像机1201在水平方向(X和Y方向)上移动的示例。然而，摄像机1201可在垂直方向(Z方向)上移动。
信息处理装置1203基于从摄像机1201发送的商店货架1221的图像检测商品缺货。然后，向库房1230中的搬运机器人1204通知关于检测到的缺货商品1223的信息。注意，关于缺货商品1223的信息的通知目的地不限于搬运机器人1204，可通过在库房中安装的显示器1233上显示该信息，向库房1230中的店员1232通知该信息。注意，可在搬运机器人1204中设置显示器1233。
此外，信息处理装置1203控制摄像机1201的图像捕捉和摄像机1201的移动。注意，如果摄像机1201是例如自主控制摄像机，则信息处理装置1203的控制是不必要的。
然后，在向搬运机器人1204通知关于缺货商品1223的信息之后，搬运机器人1204从商店货架1231取下与缺货商品1223相同的商品，将商品放置在搬运机器人1204上，并且将商品搬运到销售区域1220(商店内)。注意，如果向库房1230中的店员1232通知关于缺货商品1223的信息，则他/她可从商店货架1231取下与缺货商品1223相同的商品，并且将商品放置在搬运机器人1204上。
搬运机器人1204自动行进到销售区域1220中的目的地以将缺货商品1223搬运到货架。销售区域1220中的店员1222在商店货架1221上陈列所搬运的缺货商品1223。注意，例如，可在搬运机器人1204中设置商品供给臂，并且搬运机器人1204可自动地将缺货商品1223供给到商店货架1221上。
图13是示出根据该示例实施例的信息处理系统1200的构成的框图。信息处理系统1200包括图像捕捉器1301、移动单元1302、信息处理装置1203和搬运器1304。
图像捕捉器1301是例如摄像机1201等，并且在商店中移动以捕捉商店货架1221的图像。图像捕捉器1301将捕捉到的商店货架1221的图像发送到信息处理装置1203。注意，由图像捕捉器1301捕捉的图像是静止图像，但其可以是运动图像。
移动单元1302例如包括轨道1211。移动单元1302例如还包括诸如滑轮之类的附件。图像捕捉器1301经由附件附接到轨道1211，并且可在商店中移动。
信息处理装置1203包括缺货检测器1331、控制器1332和通知器1333。缺货检测器1331基于从图像捕捉器1301接收的商店货架1221的图像检测缺货商品。
控制器1332在预先确定的定时控制图像捕捉器1301的图像捕捉和移动单元1302对图像捕捉器1301的移动。
通知器1333向搬运器1304通知关于由缺货检测器1331检测到的缺货商品1223的信息，例如商品名称、商品型号、商品照片和商品存放位置。
搬运器1304是搬运缺货商品1223的移动机器人，例如是搬运机器人1204。搬运器1304包括供给器1341和显示单元1342。供给器1341供给在搬运器1304上放置的缺货商品1223，以将其陈列在商店货架1221上。供给器1341例如是抓住在搬运器1304上放置的缺货商品1223并将其从搬运器1304移动到商店货架1221的臂。或者，供给器1341可以是将缺货商品1223放置在板上并以滑入商店货架1221的形式供给缺货商品1223的板状构件。供给器1341不限于此，可采用能将缺货商品1223供应到商店货架1221的任何部件。
显示单元1342显示从信息处理装置1203的通知器1333通知的关于缺货商品1223的信息。显示单元1342例如是监视器或显示器。注意，当在显示单元1342上显示关于缺货商品1223的信息时，可发出声音或光。这能通知店员1232检测到了缺货商品1223。
图14是示出根据该示例实施例的信息处理系统中包括的信息处理装置1203中提供的商品表1401的示例的表。商品表1401与商品ID(标识符)1411相关联地存储库存状态1412和货架号1413。商品ID 1411是用于标识商品的标识符。库存状态1412指示是否有商品库存。货架号1413指示商品在销售区域1220中的商店货架1221上陈列的位置，以及商品在库房1230中的商店货架1231上存放的位置。例如，信息处理装置1203参照商品表1401补充缺货商品1223。
图15是用于说明根据该示例实施例的信息处理系统中包括的信息处理装置1203的硬件配置的框图。CPU(中央处理单元)1510是运算控制处理器，并且通过执行程序以实现图13中所示的信息处理装置1203的功能组件。CPU 1510可包括多个处理器并且并行地执行不同的程序、模块、任务、或线程。ROM(只读存储器)1520存储永久数据(诸如初始数据和程序)以及其他程序。网络接口1530经由网络与另一装置等通信。注意，CPU 1510的数量不限于一个，可包括多个CPU或用于图像处理的GPU(图形处理器)。期望网络接口1530包括独立于CPU 1510的CPU，并且在RAM(随机存取存储器)1540的区域中写入或从该区域中读出发送/接收数据。期望设置用于在RAM 1540和存储设备1550之间传送数据的DMAC(直接存储器访问控制器)(未示出)。期望输入/输出接口1560包括独立于CPU 1510的CPU，并且在RAM1540的区域中写入或从该区域中读出输入/输出数据。因此，CPU 1510识别出数据已被RAM1540接收或传送到RAM 1540，并且处理该数据。CPU 1510在RAM 1540中准备处理结果，并将随后的发送或传送委托给网络接口1530、DMAC、或输入/输出接口1560。
RAM 1540是由CPU 1510用作临时存储工作区域的随机存取存储器。将用于存储实现该示例实施例所需的数据的区域分配给RAM 1540。货架图像1541是由摄像机1201捕捉商店中的销售区域1220中的商店货架1221而获得的图像。检测到的缺货商品1542是基于由摄像机1201捕捉的商店货架1221的图像检测到的缺货商品1223。商品ID1543是用于标识在商店中的销售区域1220中销售的商品或在库房1230中存放的商品的数据。货架编号1545是指示商品在销售区域1220中的商店货架1221上陈列的位置或商品在库房1230中的商店货架1231上存放的位置的数据。这些数据例如从商品表1401加载。
输入/输出数据1546是经由输入/输出接口1560输入/输出的数据。发送/接收数据1547是经由网络接口1530发送/接收的数据。RAM 1540包括应用执行区域1548以执行各种应用模块。
存储设备1550存储数据库、各种参数、或实现该示例实施例所需的以下数据或程序。存储设备1550存储商品表1401。商品表1401是图14中所示用于管理商品ID 1411、库存状态1412、货架号1413等之间的关系的表。
存储设备1550还存储缺货检测模块1551、控制模块1552和通知模块1553。
缺货检测模块1551是基于由摄像机1201捕捉的商店货架1221的图像检测商品缺货的模块。控制模块1552是控制摄像机1201的图像捕捉和摄像机1201的移动的模块。通知模块1553是向搬运器1304等通知关于缺货商品1223的信息的模块。这些模块1551至1553由CPU 1510加载到RAM 1540的应用执行区域1548并执行。控制程序1554是用于控制整个信息处理装置1203的程序。
输入/输出接口1560与输入/输出设备交互输入/输出数据。输入/输出接口1560连接到显示单元1561和操作单元1562。输入/输出接口1560还可以连接到存储介质1564。此外，可连接用作语音输出单元的扬声器1563、用作语音输入单元的麦克风(未示出)、或GPS位置确定器。注意，在图15的RAM 1540或存储设备1550中，没有示出与信息处理装置1203的通用功能和其他可实现功能相关联的程序和数据。
图16是用于说明根据该示例实施例的信息处理系统1200的信息处理装置1203的处理过程的流程图。该流程图由图15的CPU 1510使用RAM 1540执行，从而实现图13中所示的信息处理装置1203的功能组件。
在步骤S1601中，信息处理装置1203控制图像捕捉器1301的移动和图像捕捉，以捕捉销售区域1220中的商店货架1221的图像。在步骤S1603中，信息处理装置1203从图像捕捉器1301获取商店货架1221的图像。在步骤S1605中，信息处理装置1203基于所获取的商店货架1221的图像检测商品缺货。在步骤S1607中，例如，信息处理装置1203向搬运器1304通知关于缺货商品1223的信息。在步骤S1609中，信息处理装置1203确定是否有必要进一步检测缺货商品1223。如果有必要检测缺货商品1223(步骤S1609中的“是”)，则信息处理装置1203返回步骤S1601；否则(步骤S1609中的“否”)，信息处理装置1203结束处理。
根据该示例性实施例，可更有效地将缺货商品搬运到商店内。此外，由于搬运机器人将缺货商品搬运到销售区域，因此可大大减少店员的劳动量。另外，通过使搬运机器人陈列缺货商品，可使从检测缺货商品到陈列商品的过程自动化，从而更大程度地减少了店员的劳动量。由于可自动检测缺货商品，因此可防止丢失对来店顾客销售的机会。
[第六示例实施例]
接下来将参考图17至图20描述根据本发明第六示例实施例的信息处理系统1700。图17是用于说明根据该示例实施例的信息处理系统1700的构成的框图。根据该示例实施例的信息处理系统1700与第五示例实施例的信息处理系统的不同之处在于：信息处理装置包括图像获取器，并且搬运器包括生成器和搬运路径决定器。其余的组件和操作与第五示例实施例中的相同。这里，相同的附图标记表示相同的组件和操作，并且将省略其详细描述。
信息处理装置1703包括图像获取器1731。图像获取器1731获取由图像捕捉器1301捕捉的图像。然后，缺货检测器1331基于由图像获取器1731获取的图像检测商品缺货。
搬运器1704包括生成器1741和搬运路径决定器1742。例如，如果可在商店中自主行进的搬运器1704将缺货商品1223搬运到商店中的销售区域1220，则生成器1741根据在商店中行进时获得的行进数据生成在商店中的移动历史，并且基于所生成的移动历史生成楼层地图(销售区域地图)。
例如，通过使用GPS(全球定位系统)掌握搬运器1704的当前位置，并且根据搬运器1704在包括销售区域1220和库房1230在内的商店中行进时获得的行进数据导出移动历史，以生成楼层地图。或者，可通过使用信标或诸如Wi-Fi之类的短距离无线通信的无线电波(而不是GPS)，掌握搬运器1704的当前位置，并且根据搬运器1704在商店中行进时获得的行进数据导出移动历史，以生成楼层地图。
此外，可在搬运器1704中设置障碍物检测传感器。可基于由在搬运器1704中设置的障碍物检测传感器检测到的障碍物的布置状况，生成楼层地图。或者，可通过将GPS、信标等的数据与由障碍物检测传感器获取的数据组合，以生成楼层地图。可将商店的设计图数据、店内布局数据等输入到生成器1741，然后可根据输入数据生成楼层地图。
基于所生成的楼层地图，搬运路径决定器1742决定从库房1230到销售区域1220的搬运路径或从销售区域1220到库房1230的返回路径。例如，搬运路径决定器1742从关于从信息处理装置1203的通知器1333通知的缺货商品1223的信息中提取要搬运的缺货商品1223在销售区域1220中的商店货架1221的位置，并且决定在将缺货商品1223搬运到商店货架1221时的往返路径。注意，已说明了搬运器1704包括搬运路径决定器1742的布置。然而，例如，信息处理装置1203可包括搬运路径决定器1742。如果信息处理装置1203包括搬运路径确定器1742，则信息处理装置1203的通知器1333向搬运器1704通知缺货商品1223以及搬运路径。
图18是示出根据该示例实施例的信息处理系统1700中包括的搬运器1704中提供的商品表1801的示例的表。商品表1801与商品ID 1411相关联地存储楼层地图1811。楼层地图1811指示与商品ID 1411对应的商品要搬运到的、楼层地图1811上的位置。
图19是用于说明根据该示例实施例的信息处理系统1700中包括的搬运器1704的硬件布置的框图。CPU(中央处理单元)1910是运算控制处理器，并且通过执行程序以实现图17中所示的搬运器1704的功能组件。CPU 1910可包括多个处理器并且并行地执行不同的程序、模块、任务或线程。ROM(只读存储器)1920存储永久数据(诸如初始数据和程序)以及其他程序。网络接口1930经由网络与另一装置等通信。注意，CPU 1910的数量不限于一个，可包括多个CPU或用于图像处理的GPU(图形处理器)。期望网络接口1930包括独立于CPU 1910的CPU，并且在RAM(随机存取存储器)1940的区域中写入或从该区域中读出发送/接收数据。期望设置用于在RAM 1940和存储设备1950之间传送数据的DMAC(直接存储器访问控制器)(未示出)。期望输入/输出接口1960包括独立于CPU 1910的CPU，并且在RAM 1940的区域中写入或从该区域中读出输入/输出数据。因此，CPU 1910识别出数据已被RAM 1940接收或传送到RAM 1940，并处理该数据。CPU 1910在RAM 1940中准备处理结果，并将随后的发送或传送委托给网络接口1930、DMAC、或输入/输出接口1960。
RAM 1940是由CPU 1910用作临时存储工作区域的随机存取存储器。将用于存储实现该示例实施例所需的数据的区域分配给RAM 1940。缺货商品1941是关于由信息处理装置1203的缺货检测器1331检测并从通知器1333通知的缺货商品的信息。商品ID 1942是用于标识在库房1230中存放的商品等的数据。货架编号1943是指示商品在销售区域1220中的商店货架1221上陈列的位置或商品在库房1230中的商店货架1231上存放的位置的数据。楼层地图1944是包括销售区域1220和库房1230在内的商店内的地图。搬运路径1945是搬运器1704在将商品搬运到销售区域1220时行进的路线。这些数据是例如从商品表1801加载的数据。
输入/输出数据1946是经由输入/输出接口1960输入/输出的数据。发送/接收数据1947是经由网络接口1930发送/接收的数据。RAM 1940包括用来执行各种应用模块的应用执行区域1948。
存储设备1950存储数据库、各种参数、或实现该示例实施例所需的以下数据或程序。存储设备1950存储商品表1801。商品表1801是如图18所示的表，用于管理商品ID 1411、楼层地图1811等之间的关系。
存储设备1950还存储供给模块1951、显示模块1952、生成模块1953和搬运路径决定模块1954。供给模块1951是供给缺货商品1223以在商店货架1221上的预先确定的位置处陈列搬运到销售区域1220的缺货商品1223的模块。显示模块1952是显示关于从信息处理装置1203通知的缺货商品1223的信息的模块。生成模块1953是基于搬运器1704在商店中移动时获得的移动历史(行进历史)生成作为店内地图的楼层地图的模块。搬运路径决定模块1954是决定搬运器1704将缺货商品1223从库房1230搬运到销售区域1220中的商店货架1221时的搬运路径(行进路径)的模块。这些模块1951至1954由CPU 1910加载到RAM 1940的应用执行区域1948并执行。控制程序1955是用于控制整个搬运器1704的程序。
输入/输出接口1960与输入/输出设备交互输入/输出数据。输入/输出接口1960连接到操作单元1961。输入/输出接口1960还可以连接到GPS 1963。此外，可连接用作语音输出单元的扬声器1962和用作语音输入单元的麦克风(未示出)。注意，在图19的RAM 1940或存储设备1950中，没有示出与搬运器1704的通用功能和其他可实现功能相关联的程序和数据。
图20是用于说明根据该示例实施例的信息处理系统1700的搬运器1704的处理过程的流程图。该流程图由图19的CPU 1910使用RAM 1940执行，从而实现图17中所示的搬运器1704的功能组件。
在步骤S2001中，搬运器1704获取关于缺货商品的信息。在步骤S2003中，搬运器1704在显示单元1342上显示关于缺货商品1223的信息。然后，库房1230中的店员1232在搬运器1704上放置在显示单元1342上显示的缺货商品1223。注意，如果搬运器1704自行取得缺货商品1223，则可省略步骤S2003。
在步骤S2005中，搬运器1704将缺货商品1223搬运到销售区域1220中的商店货架1221。在步骤S2007中，搬运器1704使用臂等工具将缺货商品1223供应并陈列在商店货架1221上的预先确定的位置。注意，当店员1222在商店货架1221上陈列缺货商品1223时，可省略步骤S2007。在步骤S2009中，搬运器1704确定缺货商品1223向商店货架1221的供给是否已结束。如果确定供应尚未结束(步骤S2009中的“否”)，则搬运器1704返回到步骤S2001；否则(步骤S2009中的“是”)，搬运器1704进入步骤S2011。
在步骤S2011中，搬运器1704基于商店中的移动历史生成楼层地图。注意，生成楼层地图的定时不限于缺货商品1223供应结束的定时。例如，可在搬运器1704在商店中行进(移动)过程中生成楼层地图。
根据该示例性实施例，由于搬运器生成楼层地图，因此可更有效和准确地将缺货商品搬运到商店货架。
[第七示例实施例]
接下来将参考图21A至图21C描述根据本发明第四示例实施例的信息处理系统。图21A是用于说明根据该示例实施例的信息处理系统中的图像捕捉器和移动单元的示例的侧视图。图21B是用于说明根据该示例实施例的信息处理系统中的图像捕捉器和移动单元的其他示例的正视图。图21C是用于说明根据该示例性实施例的信息处理系统中的图像捕捉器和移动单元的另外的其他示例的侧视图。
根据该示例实施例的信息处理系统与第二和第三示例实施例中的信息处理系统的不同之处在于：在商店货架后面设置图像捕捉器和移动单元。其余的组件和操作和在第二和第三示例实施例中的相同。这里，相同的附图标记表示相同的组件和操作，并且将省略其详细描述。
如图21A中所示，如果靠着墙壁2100安装商店货架1221，则可在墙壁2100和商店货架1221之间设置轨道2111，并且可将摄像机2101附接到轨道2111。此外，如图21B所示，可设置能在横向(水平方向)上移动摄像机2101的轨道2112。通过轨道2111和2112的这种布置，可在纵向(垂直方向)和横向(水平方向)上移动摄像机2101。注意，如果没有设置横向轨道2111作为移动摄像机2101的轨道，则可在摄像机2101中设置平移功能和倾侧功能。
如图21C中所示，如果以背靠背的形式安装商店货架1221，则可在商店货架1221之间设置轨道2112，并且可将摄像机2101附接到轨道2112。在这种情况下，可设置能在横向方向上移动摄像机2101的轨道2112。如果没有设置轨道2112，则可在摄像机2101中设置平移功能和倾侧功能，以便能够捕捉摄像机2101前面的商店货架1221和摄像机2101后面的商店货架1221。
或者，可在商店的天花板上拉有绳索而不是轨道2112等，并且可将摄像机2101悬挂在绳索上以移动。可在无人驾驶飞行器(例如无人机)中设置摄像机2101以在商店中移动。
根据该示例性实施例，由于在商店货架后面设置图像捕捉器和移动单元，因此可检测商品缺货而不妨碍来店顾客浏览商品。另外，可容易地在垂直方向上移动图像捕捉器。
[其他实施例]
尽管参照本发明的示例实施例具体示出和描述了本发明，但是本发明不限于这些示例实施例。本领域普通技术人员应当理解，在不脱离由权利要求所限定的本发明的精神和范围的情况下可以进行形式和细节上的各种变化。
本发明可应用于包括多个设备或单个装置的系统。本发明还可应用于直接或从远程站点向系统或装置提供用于实现示例实施例的功能的信息处理程序的情况。因此，本发明还包含安装到计算机中以由计算机实现本发明的功能的程序、存储该程序的介质、以及使用户下载该程序的万维网(WWW)服务器。具体地，本发明至少包含非暂时性计算机可读介质，所述非暂时性计算机可读介质存储使计算机执行包括在上述示例实施例中的处理步骤的程序。
[其他示例实施例方式]
上述示例实施例的部分或全部可描述为但不限于以下补充注释。
(补充注释1)
提供了一种信息处理系统，包括：
至少一个图像捕捉器，捕捉商店货架的图像；
移动单元，移动图像捕捉器；以及
控制器，在预先确定的定时控制图像捕捉器的图像捕捉和移动单元对图像捕捉器的移动。
(补充注释2)
提供了根据补充注释1的信息处理系统，其中预先确定的定时是检测到商店货架的状态变化之后的定时。
(补充注释3)
提供了根据补充注释1或2的信息处理系统，其中预先确定的定时是商店中商品到货的定时。
(补充注释4)
提供了根据补充注释1至3中任一项的信息处理系统，其中预先确定的定时是在商店中陈列的商品的销售截止日期之前的预先确定的时间的定时。
(补充注释5)
提供了根据补充注释1至4中任一项的信息处理系统，其中预先确定的定时是售出商品之后的定时。
(补充注释6)
提供了根据补充注释1至5中任一项的信息处理系统，其中预先确定的定时是在检测到顾客在预先确定的商店货架周围集中之后的定时。
(补充注释7)
提供了根据补充注释1至6中任一项的信息处理系统，其中控制器在商店周围的活动开始之前的预先确定的时间段内，缩短图像捕捉器的图像捕捉以及移动单元的移动的间隔。
(补充注释8)
提供了根据补充注释1至7中任一项所述的信息处理系统，还包括确定库房中是否有商品库存的库存确定器，
其中控制器基于库存确定器的确定结果控制图像捕捉器的图像捕捉和移动。
(补充注释9)
提供了根据补充注释8的信息处理系统，其中如果库存确定器确定没有库存，则控制器禁止对图像捕捉器的图像捕捉和移动的控制。
(补充注释10)
提供了根据补充注释1至9中任一项的信息处理系统，其中移动单元包括安装在商店中的轨道。
(补充注释11)
提供了根据补充注释10的信息处理系统，其中轨道安装在商店的天花板上。
(补充注释12)
提供了根据补充注释1的信息处理系统，还包括：
基于由图像捕捉器捕捉的商店货架的图像检测商品缺货的缺货检测器；以及
将由缺货检测器检测到的缺货商品从库房搬运到商店内的搬运器。
(补充注释13)
提供了根据补充注释12的信息处理系统，还包括通知缺货商品的信息的通知器。
(补充注释14)
提供了根据补充注释13的信息处理系统，还包括显示从通知器通知的缺货商品的信息的显示单元。
(补充注释15)
提供了根据补充注释14的信息处理系统，其中显示单元安装在搬运器中。
(补充注释16)
根据补充注释12至15中任一项所述的信息处理系统，其中搬运器还包括将缺货商品供给到商店货架上的预定位置的供给器。
(补充注释17)
提供根据补充注释12至16中任一项的信息处理系统，其中移动单元包括安装在商店中的轨道。
(补充注释18)
提供根据补充注释12至17中任一项的信息处理系统，其中轨道安装在商店的天花板上。
(补充注释19)
根据补充注释12至18中任一项所述的信息处理系统，其中搬运器还包括：
生成器，能够在商店中自主行进，并且基于在商店中的移动历史生成楼层地图，以及
搬运路径决定器，基于所生成的楼层地图决定将所述缺货商品搬运到商店内的搬运路径。
(补充注释20)
提供了一种信息处理装置，包括：
定时生成器，基于商店中的商品的进货/出货，生成捕捉商店货架图像的至少一个图像捕捉器的图像捕捉的定时以及移动单元移动所述图像捕捉器的定时；以及
控制器，在所述定时控制所述图像捕捉器的图像捕捉以及所述移动单元对所述图像捕捉器的移动。
(补充注释21)
提供了根据补充注释20的信息处理装置，还包括：
图像获取器，获取由图像捕捉器捕捉的图像；
缺货检测器，基于所获取的图像检测商品缺货；以及
通知器，通知关于由缺货检测器检测到的缺货商品的信息。
(补充注释22)
提供了一种信息处理方法，包括：
基于商店中的商品的进货/出货，生成捕捉商店货架图像的至少一个图像捕捉器的图像捕捉的定时以及移动单元移动所述图像捕捉器的定时；以及
在所述定时控制所述图像捕捉器的图像捕捉和所述移动单元对所述图像捕捉器的移动。
(补充注释23)
提供了根据补充注释22的信息处理方法，还包括：
获取由所述图像捕捉器捕捉的图像；
基于所获取的图像检测商品缺货；以及
通知关于在所述检测中检测到的缺货商品的信息。
(补充注释24)
提供了一种信息处理程序，用于使计算机执行包括以下步骤的方法：
基于商店中的商品的进货/出货，生成捕捉商店货架图像的至少一个图像捕捉器的图像捕捉的定时以及移动单元移动所述图像捕捉器的定时；以及
在所述定时控制所述图像捕捉器的图像捕捉和所述移动单元对所述图像捕捉器的移动。
(补充注释25)
提供了根据补充注释24的信息处理程序，其中信息处理程序使计算机还执行以下步骤：
获取由所述图像捕捉器捕捉的图像；
基于所获取的图像检测商品缺货；以及
通知关于在所述检测中检测到的缺货商品的信息。
本申请基于并要求2017年3月3日提交的日本专利申请No.2017-040120和No.2017-040121的优先权，其全部公开通过引用并入本文。

Claims (25)

1.一种信息处理系统，包括：
至少一个图像捕捉器，捕捉商店货架的图像；
移动单元，移动所述图像捕捉器；以及
控制器，在预先确定的定时控制所述图像捕捉器的图像捕捉以及所述移动单元对所述图像捕捉器的移动。
2.根据权利要求1所述的信息处理系统，其中所述预先确定的定时是检测到所述商店货架的状态变化之后的定时。
3.根据权利要求1或2所述的信息处理系统，其中所述预先确定的定时是商店中商品到货的定时。
4.根据权利要求1至3中任一项所述的信息处理系统，其中所述预先确定的定时是在商店中陈列的商品的销售截止日期之前的预先确定的时间的定时。
5.根据权利要求1至4中任一项所述的信息处理系统，其中所述预先确定的定时是商品售出之后的定时。
6.根据权利要求1至5中任一项所述的信息处理系统，其中所述预先确定的定时是检测到顾客在预先确定的商店货架周围集中之后的定时。
7.根据权利要求1至6中任一项所述的信息处理系统，其中所述控制器在商店周围的活动开始之前的预先确定的时间段内缩短所述图像捕捉器的图像捕捉和所述移动单元的移动的间隔。
8.根据权利要求1至7中任一项所述的信息处理系统，还包括：库存确定器，确定库房中是否有商品库存，
其中所述控制器基于所述库存确定器的确定结果控制所述图像捕捉器的图像捕捉和移动。
9.根据权利要求8所述的信息处理系统，其中如果所述库存确定器确定没有库存，则所述控制器禁止对所述图像捕捉器的图像捕捉和移动的控制。
10.根据权利要求1至9中任一项所述的信息处理系统，其中，所述移动单元包括安装在商店中的轨道。
11.根据权利要求10所述的信息处理系统，其中所述轨道安装在商店的天花板上。
12.根据权利要求1所述的信息处理系统，还包括：
缺货检测器，基于由所述图像捕捉器捕捉的商店货架的图像检测商品缺货；以及
搬运器，将由所述缺货检测器检测到的缺货商品从库房搬运到商店内。
13.根据权利要求12所述的信息处理系统，还包括：通知器，通知所述缺货商品的信息。
14.根据权利要求13所述的信息处理系统，还包括：显示单元，显示从所述通知器通知的所述缺货商品的信息。
15.根据权利要求14所述的信息处理系统，其中所述显示单元安装在所述搬运器中。
16.根据权利要求12至15中任一项所述的信息处理系统，其中所述搬运器还包括：供给器，将所述缺货商品供给到商店货架上的预先确定的位置。
17.根据权利要求12至16中任一项所述的信息处理系统，其中，所述移动单元包括安装在商店中的轨道。
18.根据权利要求12至17中任一项所述的信息处理系统，其中所述轨道安装在商店的天花板上。
19.根据权利要求12至18中任一项所述的信息处理系统，其中所述搬运器还包括：
生成器，能够在商店中自主行进，并且基于在商店中的移动历史生成楼层地图，以及
搬运路径决定器，基于所生成的楼层地图决定将所述缺货商品搬运到商店内的搬运路径。
20.一种信息处理装置，包括：
定时生成器，基于商店中的商品的进货/出货，生成捕捉商店货架图像的至少一个图像捕捉器的图像捕捉的定时以及移动单元移动所述图像捕捉器的定时；以及
控制器，在所述定时控制所述图像捕捉器的图像捕捉以及所述移动单元对所述图像捕捉器的移动。
21.根据权利要求20所述的信息处理装置，还包括：
图像获取器，获取由所述图像捕捉器捕捉的图像；
缺货检测器，基于所获取的图像检测商品缺货；以及
通知器，通知关于由所述缺货检测器检测到的缺货商品的信息。
22.一种信息处理方法，包括：
基于商店中的商品的进货/出货，生成捕捉商店货架图像的至少一个图像捕捉器的图像捕捉的定时以及移动单元移动所述图像捕捉器的定时；以及
在所述定时控制所述图像捕捉器的图像捕捉和所述移动单元对所述图像捕捉器的移动。
23.根据权利要求22所述的信息处理方法，还包括：
获取由所述图像捕捉器捕捉的图像；
基于所获取的图像检测商品缺货；以及
通知关于在所述检测中检测到的缺货商品的信息。
24.一种信息处理程序，用于使计算机执行包括以下步骤的方法：
基于商店中的商品的进货/出货，生成捕捉商店货架图像的至少一个图像捕捉器的图像捕捉的定时以及移动单元移动所述图像捕捉器的定时；以及
在所述定时控制所述图像捕捉器的图像捕捉和所述移动单元对所述图像捕捉器的移动。
25.根据权利要求24所述的信息处理程序，其中所述信息处理程序使计算机还执行以下步骤：
获取由所述图像捕捉器捕捉的图像；
基于所获取的图像检测商品缺货；以及
通知关于在所述检测中检测到的缺货商品的信息。
CN201880015441.5A 2017-03-03 2018-01-18 信息处理系统、信息处理装置、信息处理方法和信息处理程序 Active CN110383315B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017040121A JP7124269B2 (ja) 2017-03-03 2017-03-03 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム
JP2017-040120 2017-03-03
JP2017040120A JP7106815B2 (ja) 2017-03-03 2017-03-03 情報処理システム
JP2017-040121 2017-03-03
PCT/JP2018/001369 WO2018159132A1 (ja) 2017-03-03 2018-01-18 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム

Publications (2)

Publication Number Publication Date
CN110383315A true CN110383315A (zh) 2019-10-25
CN110383315B CN110383315B (zh) 2022-06-03

Family

ID=63371394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880015441.5A Active CN110383315B (zh) 2017-03-03 2018-01-18 信息处理系统、信息处理装置、信息处理方法和信息处理程序

Country Status (3)

Country Link
US (1) US20200242541A1 (zh)
CN (1) CN110383315B (zh)
WO (1) WO2018159132A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113212595A (zh) * 2020-02-06 2021-08-06 丰田自动车株式会社 信息处理装置、信息处理方法以及车辆

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10558843B2 (en) * 2018-01-10 2020-02-11 Trax Technology Solutions Pte Ltd. Using price in visual product recognition
EP3754546A1 (en) 2018-01-10 2020-12-23 Trax Technology Solutions Pte Ltd. Automatically monitoring retail products based on captured images
CN109522933A (zh) * 2018-10-19 2019-03-26 北京陌上花科技有限公司 用于货架的商品检测方法及装置
WO2020195765A1 (ja) * 2019-03-22 2020-10-01 日本電気株式会社 在庫管理サーバ、在庫管理システム、在庫管理方法および記録媒体
CN116507565A (zh) * 2020-11-10 2023-07-28 株式会社富士 运送系统及运送方法
NO20210960A1 (zh) * 2021-08-04 2023-02-06 Pickr As
JP7270015B1 (ja) 2021-10-28 2023-05-09 株式会社CREiST 商品管理装置、制御方法及びプログラム
JP2023101168A (ja) * 2022-01-07 2023-07-20 東芝テック株式会社 撮影システム、制御装置及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001088912A (ja) * 1999-09-20 2001-04-03 Fujitsu General Ltd 画像認識による棚卸管理方法及び棚卸システム
JP2004196553A (ja) * 2004-04-09 2004-07-15 Penta Ocean Constr Co Ltd 物体移動管理方法、庫内物流管理システム及びそれらのためのプログラム
CN101160576A (zh) * 2005-04-13 2008-04-09 斯德艾斯有限公司 用于测量陈列情况的系统和方法
CN102056822A (zh) * 2008-04-11 2011-05-11 亨乃尔公司 带有自动化存放位置获取机构的货架
CN106097049A (zh) * 2016-06-07 2016-11-09 安徽尚唯智能物联技术有限公司 基于声波标签技术的超市购物系统及购物方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5728654B1 (ja) * 2013-11-27 2015-06-03 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US10176452B2 (en) * 2014-06-13 2019-01-08 Conduent Business Services Llc Store shelf imaging system and method
WO2016117600A1 (ja) * 2015-01-22 2016-07-28 日本電気株式会社 商品棚割管理装置及び商品棚割管理方法
US10510038B2 (en) * 2015-06-17 2019-12-17 Tata Consultancy Services Limited Computer implemented system and method for recognizing and counting products within images
US9864969B2 (en) * 2015-06-26 2018-01-09 Toshiba Tec Kabushiki Kaisha Image processing apparatus for generating map of differences between an image and a layout plan
WO2017079348A1 (en) * 2015-11-02 2017-05-11 Olson Kenneth Stanley Marketing display systems and methods
EP3374947A4 (en) * 2015-11-09 2019-03-27 Simbe Robotics, Inc. METHOD FOR FOLLOWING A STOCK LEVEL IN A STORE
US11772270B2 (en) * 2016-02-09 2023-10-03 Cobalt Robotics Inc. Inventory management by mobile robot
JP6728404B2 (ja) * 2016-05-19 2020-07-22 シムビ ロボティクス, インコーポレイテッドSimbe Robotics, Inc. 店舗の棚への製品の配置を追跡する方法
US10210603B2 (en) * 2016-10-17 2019-02-19 Conduent Business Services Llc Store shelf imaging system and method
CA2990428A1 (en) * 2016-12-30 2018-06-30 Wal-Mart Stores, Inc. Systems and methods for monitoring and restocking merchandise
US10489677B2 (en) * 2017-09-07 2019-11-26 Symbol Technologies, Llc Method and apparatus for shelf edge detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001088912A (ja) * 1999-09-20 2001-04-03 Fujitsu General Ltd 画像認識による棚卸管理方法及び棚卸システム
JP2004196553A (ja) * 2004-04-09 2004-07-15 Penta Ocean Constr Co Ltd 物体移動管理方法、庫内物流管理システム及びそれらのためのプログラム
CN101160576A (zh) * 2005-04-13 2008-04-09 斯德艾斯有限公司 用于测量陈列情况的系统和方法
CN102056822A (zh) * 2008-04-11 2011-05-11 亨乃尔公司 带有自动化存放位置获取机构的货架
CN106097049A (zh) * 2016-06-07 2016-11-09 安徽尚唯智能物联技术有限公司 基于声波标签技术的超市购物系统及购物方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113212595A (zh) * 2020-02-06 2021-08-06 丰田自动车株式会社 信息处理装置、信息处理方法以及车辆

Also Published As

Publication number Publication date
US20200242541A1 (en) 2020-07-30
CN110383315B (zh) 2022-06-03
WO2018159132A1 (ja) 2018-09-07

Similar Documents

Publication Publication Date Title
CN110383315A (zh) 信息处理系统、信息处理装置、信息处理方法和信息处理程序
JP7106815B2 (ja) 情報処理システム
JP6954907B2 (ja) モータ駆動カートを用いた倉庫自動化システムおよび方法
JP7040597B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
EP3434626B1 (en) Projection instruction device, parcel sorting system, and projection instruction method
US20180260772A1 (en) Out-of-stock detection based on images
CN107949855A (zh) 操作者识别和表现追踪
US11000953B2 (en) Robot gamification for improvement of operator performance
JP2019523198A (ja) 動的在庫管理のためのシステムおよび方法
US20180218494A1 (en) Out-of-stock detection based on images
EP3434622A1 (en) Instruction projecting device, package sorting system and instruction projecting method
EP3434623B1 (en) Projection indicator, cargo assortment system, and projection indicating method
JP7505524B2 (ja) 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム
EP3434621A1 (en) Instruction projecting device, package sorting system and instruction projecting method
JP7126066B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
EP3434625A1 (en) Projection instruction device, parcel sorting system, and projection instruction method
JP2008171205A (ja) 生産システムにおける部品供給監視システム
JP7194884B2 (ja) 荷物仕分けシステム、投影指示装置、投影指示方法
JP7434880B2 (ja) 電子棚札と電子棚札システムおよび商品管理方法
JP7304566B2 (ja) 情報処理装置及び情報処理方法
CN113319845B (zh) 货架陈列管理系统、方法、装置及设备
EP3434624B1 (en) Projection instruction device, parcel sorting system, and projection instruction method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant