CN104871198A - 商品信息处理装置、其数据处理方法和程序 - Google Patents

商品信息处理装置、其数据处理方法和程序 Download PDF

Info

Publication number
CN104871198A
CN104871198A CN201380063274.9A CN201380063274A CN104871198A CN 104871198 A CN104871198 A CN 104871198A CN 201380063274 A CN201380063274 A CN 201380063274A CN 104871198 A CN104871198 A CN 104871198A
Authority
CN
China
Prior art keywords
commodity
image
display
information processor
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380063274.9A
Other languages
English (en)
Inventor
宫川博
川边理惠
林雄代
野村俊之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN104871198A publication Critical patent/CN104871198A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种商品信息处理装置(100)，其包括从通过捕获商品的陈列状态获得的图像提取至少一个种类的特定商品的商品提取单元(102)和指定所提取的至少一个种类的特定商品与其它商品之间的陈列关系的陈列关系指定单元(104)。

Description

商品信息处理装置、其数据处理方法和程序
技术领域
本发明涉及一种商品信息处理装置、其数据处理方法和程序，更具体地讲，涉及一种处理相对于商品陈列架的正面(face)的信息的商品信息处理装置、其数据处理方法和程序。
背景技术
专利文献1公开了通过数值在数量上表达商品陈列架中的朝向正面的性能的技术的示例。专利文献1中所公开的系统标识陈列架图像中的商品存在区域和商品缺乏区域并且提取边界线。
另外，专利文献2公开了这样一种系统，其捕获自动售货机的正面图像、比较并确定通过分析图像(分析列编号、商品代码、销售价格和H/C分类)和自动售货机的安装数据(列编号、销售价格和H/C分类)获得的结果，并且当设置未如自动售货机的正面上所陈列的而被执行时给出通知。
另外，专利文献3公开了从通过捕获商品的陈列状态获得的图像产生商品陈列模式、比较所产生的商品陈列模式与参考陈列模式并且检测陈列的扰乱的系统。
相关文献
专利文献
[专利文献1]日本未审专利公开第2006-59038号
[专利文献2]日本未审专利公开第2012-73738号
[专利文献3]日本未审专利公开第2003-230131号
发明内容
本发明要解决的问题
可能从通过捕获商品陈列架获得的图像指定商品并且通过使用上文所提及的技术指定所述商品的布置。然而，不可能辨别待管理的特定商品与其它商品并且断定在包括其它商品的整个陈列状态中特定商品是如何陈列的陈列关系。
鉴于上文所提及的状况提出本发明，并且其目的是提供能够有效地断定店铺的商品陈列架中特定商品与其它商品之间的陈列关系的商品信息处理装置，其数据处理方法和程序。
解决问题的方法
本发明的商品信息处理装置包括：商品提取单元，所述商品提取单元从通过捕获商品的陈列状态获得的图像提取至少一个种类的特定商品；以及陈列关系指定单元，所述陈列关系指定单元指定所提取的至少一个种类的特定商品与其它商品之间的陈列关系。
本发明的商品信息处理装置的数据处理方法包括：从通过捕获商品的陈列状态获得的图像通过所述商品信息处理装置提取至少一个种类的特定商品；以及通过所述商品信息处理装置指定所提取的至少一个种类的特定商品与其它商品之间的陈列关系。
本发明的计算机程序是致使用于实现商品信息处理装置的计算机执行以下进程的程序：从通过捕获商品的陈列状态获得的图像提取至少一个种类的特定商品；以及指定所提取的至少一个种类的特定商品与其它商品之间的陈列关系。
同时，在方法、设备、系统、记录介质、计算机程序等等之间转换的本发明的上文所提及的部件和表达的任何组合也与本发明的方面一样有效。
另外，本发明的各种部件无需总是彼此独立。多个部件可形成为一个构件，一个部件可由多个构件形成，某一部件可以是另一部件的一部分或某一部件的一部分，并且另一部件的一部分可彼此重叠。
按次序在本发明的数据处理方法和计算机程序中描述多个进程。然而，描述的次序并不限制执行所述多个进程的次序。出于这个原因，当实施本发明的数据处理方法和计算机程序时，所述多个进程的次序可在上下文中不具有任何困难的范围内改变。
此外，本发明的数据处理方法和计算机程序中的多个进程无需总是以不同定时分别执行。出于这个原因，在执行某一进程期间可出现另一进程，或某一进程的执行定时可部分地或全部地重叠另一进程的执行定时。
本发明的效果
根据本发明，提供能够有效地断定店铺的商品陈列架中特定商品与其它商品之间的陈列关系的商品信息处理装置、其数据处理方法和程序。
附图说明
依据下文所描述的优选示例性实施例和如下附图，上文所描述的目的、其它目的、特征和优点将更加显而易见。
图1是图示根据本发明的示例性实施例的商品信息处理装置的配置的功能性框图。
图2是图示使用根据本发明的示例性实施例的商品信息处理装置的商品信息处理系统的配置示例的框图。
图3是图示根据本发明的示例性实施例的商品信息处理装置的使用场景的图解。
图4是图示根据本发明的示例性实施例的商品信息处理装置的特定配置示例的功能性框图。
图5是图示根据本示例性实施例的图像识别装置的特征量数据库的结构的示例的图解。
图6是图示存储于根据本示例性实施例的商品数据库中的商品主控器的结构的示例的图解。
图7是图示根据本示例性实施例的商品信息处理装置的操作的示例的流程图。
图8是图示根据本发明的示例性实施例的商品信息处理系统的便携式终端和图像识别装置的操作的程序的示例的流程图。
图9是图示从根据本示例性实施例的商品信息处理装置中的所捕获的图像识别正面区域的过程的图解。
图10是图示使用根据本示例性实施例的商品信息处理装置中的便携式终端的所捕获屏幕的示例的图解。
图11是图示根据本发明的示例性实施例的商品信息处理装置的配置的功能性框图。
图12是图示使用根据本发明的示例性实施例的商品信息处理装置的商品信息处理系统的配置示例的框图。
图13是图示根据本发明的示例性实施例的商品信息处理装置的特定配置示例的功能性框图。
图14是图示存储于根据本示例性实施例的商品数据库中的合同信息表的结构的示例的图解。
图15是图示标识其图像通过根据本发明的示例性实施例的商品信息处理装置捕获的商品架的布置的方法的图解。
图16是图示在根据本发明的示例性实施例的商品信息处理装置中自动地辨别目标商品陈列区域的过程的图解。
图17是图示在根据本发明的示例性实施例的商品信息处理装置中捕获商品架的图像的方法的图解。
具体实施方式
在下文中，将参考附图描述本发明的示例性实施例。在所有附图中，类似的附图标记指示类似部件，并且将不重复对其的描述。
(第一示例性实施例)
图1是图示根据本发明的示例性实施例的商品信息处理装置100的配置的功能性框图。
迄今，关于在每一零售店铺中的商品陈列架的商品的陈列状态的信息由销售员或进每一店铺的像商品制造商一样的人手动收集，并且被记录为每日报告等并且进行管理。
根据本发明的示例性实施例的商品信息处理装置100辨别店铺的商品陈列架中待管理的特定商品与其它商品，并且从捕获的图像，断定特定商品如何陈列于包括其它商品的陈列状态中的陈列关系。
根据本发明的示例性实施例的商品信息处理装置100包括从通过捕获商品的陈列状态获得的图像提取至少一个种类的特定商品的商品提取单元102和指定所提取的至少一个种类的特定商品与其它商品之间的陈列关系的陈列关系指定单元104。
商品信息处理装置100的部件通过包括中央处理单元(CPU)、存储器、用于实现图1的部件的程序(所述部件被载入到存储器中)、存储程序的存储单元和通信接口的任何计算机(未示出)的硬件和软件的任何组合来实现。另外，本领域的技术人员理解，可对其实现方法和其装置做出各种修改。下文描述的附图中的每一个图示功能单元中的逻辑块而非图示硬件单元中的配置。同时，在附图中的每一个中，与本发明的本质无关的一部分的配置并未予以描述并且未示出。
在图1的商品信息处理装置100中，每一元件和整个商品信息处理装置100由CPU控制。CPU可通过将存储于硬盘中的程序读出到存储器中并且执行所述程序而实现图1中所图示的商品信息处理装置100的每一单元的功能。
描述根据本示例性实施例的计算机程序以便致使用于实现商品信息处理装置100的计算机执行从通过捕获商品的陈列状态获得的图像提取至少一个种类的特定商品的进程和指定所提取的至少一个种类的特定商品与其它商品之间的陈列关系的进程。
根据本示例性实施例的计算机程序可记录于计算机可读记录介质中。记录介质并不受特别限制，并且考虑具有各种形式的记录介质。另外，程序可从记录介质载入到计算机的存储器中，或可通过网络下载到计算机中，并且可被载入到存储器中。
图2是图示使用根据本发明的示例性实施例的商品信息处理装置100的商品信息处理系统1的配置示例的框图。图3是图示根据本发明的示例性实施例的商品信息处理装置100的使用场景的图解。图4是图示根据本发明的示例性实施例的商品信息处理装置100的特定配置示例的功能性框图。
如图2和3中所图示，根据本示例性实施例的商品信息处理系统1通过网络3将通过捕获店铺7的商品架20上所陈列的商品获得的图像传输到数据中心5(由附图中的“DC”示出)，并且基于存储于特征量数据库12(由附图中的“特征量DB”示出)中的特征量而执行识别由数据中心5中所提供的图像识别装置10接收的图像的过程。
考虑捕获商品架20的图像的各种方法。作为图像捕获方法的示例，包括多个层阶和列的架或图像捕获的区域26的商品架20的整体可在相对宽广范围中使用安装于店铺7中的监控摄像机22集中地捕获。可替代地，作为图像捕获方法的另一示例，例如，操作员27可通过在所述范围上保持具有摄像机的便携式终端24来捕获商品架20的若干层阶或若干列的一部分相对窄范围的图像。
如图4中所图示，根据本示例性实施例的商品信息处理系统1包括店铺7中所使用的信息处理终端110和数据中心5中所提供的图像识别装置10。信息处理终端110和图像识别装置10通过网络3彼此连接。
例如，信息处理终端110是具有内置摄像机(未示出)的图2的便携式终端24，或连接到监控摄像机22的终端(未示出)。
便携式终端24是能够通过中继站(未示出)连接到网络3的便携式终端，并且，例如，是平板电脑终端、智能电话、个人数字助理(PDA)等。例如，连接到监控摄像机22的终端是个人计算机、销售点系统(POS)终端、平板电脑终端、智能电话、个人数字助理(PDA)终端等。
信息处理终端110和图像识别装置10的部件通过包括CPU、存储器、用于实现图4的部件的程序(所述部件被载入到存储器中)、存储程序的存储单元和通信接口的任何计算机的硬件和软件的任何组合来实现。另外，本领域的技术人员理解，可对其实现方法和其装置做出各种修改。
在本示例性实施例中，图像识别装置10通过使用数据中心5的服务器计算机的云计算来实现，但本发明并不限于此。另外，图像识别装置10的服务器计算机可由虚拟服务器等构成。
信息处理终端110包括图像捕获单元112和传输单元114。
例如，图像捕获单元112可以是内置到便携式终端24中的摄像机、安装于店铺7中的监控摄像机22、能够由信息处理终端110或图像识别装置10控制的可捕获店铺7内部的图像的网络摄像机或其组合。另外，由图像捕获单元112捕获的图像可以是静止图像或电影(movie)。当所捕获的图像是电影时，从电影顺序地获得的图像数据段可以用于由图像识别装置10执行的图像识别过程中。考虑到每一信息处理终端110的处理能力和网络3的通信负荷，可能适当地采用哪一图像捕获单元被使用并且静止图像和电影中的哪一个被用于图像识别过程中。
当使用信息处理终端110捕获到图像时，信息处理终端110可启动预定的应用程序来通过应用程序控制图像捕获单元112，由此通过捕获商品架20获取图像。另外，作为图像捕获单元，除了其中图像捕获单元112内置到信息处理终端110中的配置之外，还可以采用其中外部摄像机连接到信息处理终端110的配置。
传输单元114通过网络3将由图像捕获单元112捕获的图像传输到图像识别装置10。
传输单元114的通信手段可以是有线通信和无线通信中的任一个。通信可通过便携式通信网络、公用线网络、局域网络(LAN)或广域网络(WAN)中的任何一个来执行，并且可根据信息处理终端110的配置等适当地采用通信手段。以此方式，各种图像通信方法被考虑并且与本发明的本质无关，并且因此将不描述对其的详细描述。另外，信息处理终端110还可包括其中执行加密过程和鉴别过程作为通信期间的安全措施的配置。
由图像捕获单元112通过捕获商品架20获得的图像可在图像捕获期间在不用存储于信息处理终端110中的情况下由传输单元114顺序地传输到图像识别装置10。可替代地，图像可存储于信息处理终端110中，并且然后所述多个图像可由传输单元114集中地传输到图像识别装置10。
当使用利用监控摄像机22或网络摄像机捕获的图像时，店铺7中所提供的信息处理终端110可获取通过远程地操作监控摄像机22捕获的图像，或可通过从其上记录有图像的记录介质读出图像而获取由监控摄像机22捕获的图像。获取图像的各种方法被考虑并且与本发明的本质无关，并且因此将不描述对其的详细描述。
在本示例性实施例中，采用其中所捕获的图像数据从店铺7侧传输到数据中心5并且然后数据中心5的图像识别装置10执行图像识别过程的配置，但本发明并不限于此。例如，信息处理终端110可包括从由图像捕获单元112捕获的图像提取特征量的提取单元(未示出)。另外，还可采用其中传输单元114将特征量的信息传输到数据中心5的配置。与其中传输图像数据的情形相比较，在其中传输特征量的信息的配置的情形中可能减少通信量并且抑制通信负荷。
此外，信息处理终端110可包括存储待识别的商品图像的特征量数据并且执行识别所捕获的图像的过程的图像识别单元122。另外，还可采用其中传输单元114将图像识别的结果传输到数据中心5的配置。例如，在其中待识别的商品的种类的数目小的情形中和在其中信息处理终端110的处理能力高的情形中，这个配置是有效的，并且可能减小数据中心5的服务器的负荷。
以此方式，图1的商品信息处理装置100可通过数据中心5的图像识别装置10(图4)和店铺7的信息处理终端110(图4)的组合来实现。优选地，考虑到图像识别装置10或信息处理终端110的处理能力、通信负荷等，商品信息处理装置100的部件之间共享的功能被确定以适当地组合。
另外，除了图像数据自身之外，由传输单元114从店铺7传输到图像识别装置10的信息可进一步包括例如店铺的标识信息、摄影师信息、监控摄像机22或信息处理终端110的标识信息等。另外，当图像信息不包括属性信息(诸如，图像捕获的日期和时间)时，图像信息可包括图像捕获的日期和时间。此外，当传输通过捕获商品架20的部分区域获得的图像时，优选地，关于所传输图像的信息包括指示哪一区域在进行图像捕获的信息。
例如，这些信息段可与用于创建每日报告的应用程序相关联地自动地获取。可替代地，信息可由操作员使用便携式终端24的操作屏幕输入。
另外，图像识别装置10可连接到输入装置(未示出)(诸如，键盘或鼠标)、显示器装置(诸如，显示器)和输出装置(未示出)(诸如，打印机)，并且可具有由操作员操作的用户界面的功能。另外，图像识别装置10可被配置成与输入和输出装置(诸如，触控面板)一体地形成。
图像识别装置10包括接收单元120、图像识别单元122、商品指定单元132、相对位置指定单元134和正面数目计数单元142，并且连接到特征量数据库12和商品数据库130(在附图中由“商品DB”示出)。同时，商品指定单元132、相对位置指定单元134和正面数目计数单元142可通过用于管理与图像识别装置10分开地提供的商品信息的服务器装置(未示出)来实现。
图5是图示根据本示例性实施例的特征量数据库12的结构的示例的图解。
如图5(a)中所图示，关于相应商品的正面图像的信息段记录于特征量数据库12中。具体而言，如图5(b)中所图示，特征量数据库12存储用于标识商品的商品ID，所述商品ID与具有允许识别商品的正面图像的特征量的至少一个特征点的数据(如特征量表124)相关联。
返回参考图4，接收单元120通过网络3从信息处理终端110接收图像数据。图像识别单元122从由接收单元120接收的图像数据提取特征量，并且参考特征量数据库12，检查特征量数据库12是否包括与所提取的特征量匹配的特征量。
例如，由图像识别单元122执行的识别过程包括以下处理。
(a1)过程是从所捕获的图像提取特征量由此执行参考特征量数据库12识别商品的正面图像的模式的过程。这里，进行模式识别过程的商品正面图像的商品名称可能不能被指定。例如，当商品是饮料时，其可能能够识别这样的作为来自图像的PET瓶的正面区域。这里，存在于所捕获的图像内的所有商品的所有正面区域可以被指定。
(a2)过程是获取所捕获的图像内的商品的所识别的正面区域的相对位置。
(a3)过程是核对所识别的正面区域内的图像的特征量与存储于特征量数据库12中的特征量以由此搜寻具有至少等于或大于阈值的重合度的特征量。
(a4)过程是指定对应于重合特征量的商品ID。
如图6中所图示，作为商品主控器136，商品数据库130存储信息，诸如，例如，商品ID、商品名称、商品的分类代码、价格和用于标识商品的正面图像数据的图像ID。例如，商品的分类代码可包括指示层次分类的信息。当主要分类是饮料时，诸如茶、咖啡、红茶、果汁、碳酸饮料和水的分类可包括为中级分类，诸如炒青绿茶、绿茶、乌龙茶和混合茶的分类可包括为茶的较小分类，并且诸如有限区域、有限周期和活动的分类可包括为分支数。此外，商品数据库130可包括关于其它公司的商品的信息。
另外，当关于从同一商品的相应侧表面捕获的图像的信息记录于商品数据库130中时，图像识别单元122可识别商品的定向。
返回参考图4，商品指定单元132从图像识别单元122获取具有由图像识别单元122识别为与记录于特征量数据库12中的特征量重合的特征量的商品ID，并且然后指定对应商品。考虑以下标示待由商品指定单元132指定的商品(在下文中，称为“特定商品”)的方法。类似地，可标示待稍后描述的目标商品。
(b1)操作员在由图像捕获单元112执行的图像捕获期间标示在信息处理终端110侧上的至少一个种类的特定商品。此时，信息处理终端110可显示用于标示特定商品(例如，商品清单)的屏幕，并且可接收操作员的选择。另外，信息处理终端110可将关于所标示的特定商品的信息与所捕获的图像一起传输到图像识别装置10，并且商品指定单元132可基于关于特定商品的所接收的信息而执行处理。
(b2)图像识别装置10侧将至少一个种类的特定商品标示为预定的设定信息并且存储设定信息。商品指定单元132参照设定信息基于关于所标示的特定商品的信息而执行处理。另外，设定信息的设定可被配置成能够通过与其它条件(诸如，例如，预定时间周期和店铺区域)组合而被选择或更新。
(b3)图像识别装置10执行自动识别。
例如，商品指定单元132可将记录于特征量数据库12中的商品自动地识别为特定商品。在这个情形中，假定仅特定商品记录于特征量数据库12中。另外，商品指定单元132可基于特定商品的分类而将属于相同分类的商品自动地识别为目标商品。当分类具有层次结构时，相同层级或较高层级的商品设定为目标商品。例如，当商品是饮料并且特定商品是绿茶时，目标商品可被设定为绿茶或可被设定为属于较高层级的分类的茶。
这里，特定商品是指商品信息处理系统1中待管理的至少一个种类的商品。例如，所述特定商品可以是一个人自己的公司的某一特定商品或可以是某一特定系列的商品群组。另外，其它商品是除特定商品之外的商品。待管理的商品(目标商品)包括特定商品和其它商品，并且是待进行商品架20中陈列关系的断定的商品。例如，当待进行陈列关系的断定的特定商品是饮料时，通过种类(诸如，碳酸饮料和茶)的商品群组单独管理。即，假定在包括属于诸如碳酸饮料和茶的不同分类的多个种类的商品的商品群组中的陈列关系不受管理。
在本发明中，至少一个种类的特定商品(碳酸饮料商品A)在相同分类中(例如，在碳酸饮料中)与其它商品(碳酸饮料商品B、C和D)区分开，并且断定包括特定商品和其它商品的商品架20中的目标商品(碳酸饮料商品A、B、C和D)的陈列状态之间的陈列关系。
在本示例性实施例中，假定相同分类的商品在商品架20中集中地邻近陈列。在其中不同分类的商品混合陈列的陈列状态中，可能从待断定的目标排除陈列关系。即，假定包括相同分类的目标商品的区域存在于商品架20的相同架中或布置成彼此垂直地连续的架的多个层阶中。商品信息处理装置100可被进一步配置成检测商品的这样的混合状态并且通知所述状态。
商品指定单元132标识对应于所获取的商品ID的每一商品是待管理的特定商品还是其它商品中的任何一者，并且指定每一商品。此时，商品指定单元132可参考商品数据库130从商品主控器136获取关于对应于商品ID的商品的信息。此外，商品指定单元132辨别其它商品是否是待进行陈列关系的断定的目标商品，并且指定目标商品。
特征量数据库12虽然可仅存储关于至少待管理的特定商品的信息，但也可存储关于其它商品的信息，例如，其它公司的商品或除待管理的商品之外的商品。
当仅存储关于特定商品的信息段时，商品指定单元132可将具有与记录于特征量数据库12中的特征量匹配的特征量的商品指定为特定商品。具有与其不匹配的特征量的商品可被指定为其它商品。在这个情形中，假定图像内的目标商品的区域被提前指定或仅目标商品被包括于所捕获的图像中。稍后将描述指定目标商品的区域的方法。
另外，当特征量数据库12或商品主控器136存储关于其它商品的信息时，可能基于所标示的特定商品的信息而辨别具有与记录于特征量数据库12中的特征量匹配的特征量的商品的商品ID是特定商品还是其它商品中的任何一者。此外，从关于所标示的特定商品的信息辨别特定商品的分类，并且属于与特定商品相同的分类的其它商品被指定为目标商品。这里，例如，当是一个人自己的公司的碳酸饮料的商品A被设定为特定商品时，属于相同分类的一个人自己的公司的商品(即，除是碳酸饮料的商品A和是其它公司的碳酸饮料的商品之外的商品)可被设定为目标商品。
例如，如图9中所图示，由点线围绕的区域52是指在所捕获的图像50中被识别为特定商品或目标商品的商品的正面区域。同时，在其中同时执行图像识别过程和图像捕获的配置中，指示以此方式识别的商品的正面区域的框可显示于便携式终端24的屏幕上。另外，目标商品陈列区域54可由如虚线所指示的框围绕，并且可呈现于所捕获的图像50的显示屏幕上。
另外，在其中同时执行图像识别过程和图像捕获的配置中，所捕获的图像可显示于便携式终端24的屏幕60上，如图10(a)中所图示，并且商品信息62可基于从图像指定的商品ID而被显示成重叠对应商品位置，如图10(b)中所图示。
另外，当操作员确认这些识别结果并且图像识别结果不正确时，商品信息处理装置100可进一步被配置以便校正识别结果或通知识别结果的不正确性。
如上文所描述，图1的陈列关系指定单元104基于每一商品正面的位置而指定特定商品与其它商品之间的陈列关系。在本示例性实施例中，如图4中所图示，相对位置指定单元134和正面数目计数单元142被提供为图1的陈列关系指定单元104。
这里，例如，陈列关系可包括以下项。陈列关系指定单元104指定陈列关系中的至少一个。
(c1)特定商品的正面的数目与目标商品中的其它商品的正面的数目之间的关系
例如，特定商品的正面的数目相对于所有目标商品的正面的数目(五个正面中有三个正面等)
特定商品的正面的数目相对于所有目标商品的正面的数目的比率(30％等)
(c2)特定商品的正面区域的面积与目标商品中其它商品的正面区域的面积之间的关系
例如，特定商品的正面区域的面积相对于所有目标商品的正面区域的面积的比率(40％等)
(c3)目标商品中特定商品的相对位置
例如，其中陈列特定商品的架的层阶的数目相对于其中陈列所有目标商品的架的层阶的数目(四个层阶中有两个层阶)
其中陈列特定商品的架的位置相对于其中陈列所有目标商品的架的所有层阶(四个层阶中的最高层阶、中间层阶、第一和第二层阶等)
其中陈列特定商品的架内的特定商品的位置相对于其中陈列目标商品的架内的所有目标商品的位置(架的左侧、其中心、从左边第三正面开始的正面的某一数目等)。
(c4)商品架20中特定商品的绝对位置
例如，通过陈列多少个正面(或者，通过在架中的百分之几)特定商品从商品架20的哪一层阶的左边的什么数目正面等
(c5)特定商品的正面定向的状态
例如，当特定商品具有四个定向(第一定向到第四定向)的商品图像时，定向的总数目和状态(在所有十个正面中，第一定向的五个正面，第二定向的三个正面和第三和第四定向的每一个的一个正面)。
在本示例性实施例中，将通过采取其中特定商品的正面的数目与目标商品中的其它商品的正面的数目之间的关系和特定商品与目标商品中的其它商品之间的相对位置被指定为陈列关系的情形的示例给出描述。
陈列关系指定单元104可从所捕获的图像获得特定商品与其它商品之间的相对位置并且可将相对位置输出为陈列关系。
在本示例性实施例中，相对位置指定单元134基于由图像识别单元122从所捕获的图像识别的相应商品正面的位置而指定包括由商品指定单元132指定的特定商品的图像中目标商品的相对位置。可替代地，如稍后将对此予以描述，当可指定图像捕获的区域时，陈列关系指定单元104可指定商品架20内的相应商品正面的绝对位置。商品正面的位置可通过商品正面图像区域中的至少一个位置(例如，中心、图心或顶部或下部和右部或左部的拐角中的至少一个)的坐标来表达。可替代地，陈列关系指定单元104可获得特定商品的陈列区域相对于目标商品的陈列区域的相对位置和作为陈列关系的分布信息。相对位置指定单元134将特定商品与目标商品之间的所获得的相对位置输出为陈列关系。
正面数目计数单元142计数由图像识别单元122提取的至少一个种类的特定商品的正面数目并且基于特定商品的正面数目而指定特定商品与其它商品之间的陈列关系。
在本示例性实施例中，正面数目计数单元142计数由商品指定单元132指定的特定商品的正面数目和目标商品的正面数目，并且基于正面的数目而指定特定商品与其它商品之间的陈列关系并且输出所述陈列关系。
此外，当从相同商品的每一侧表面捕获的图像记录于商品数据库130中时，正面数目计数单元142可针对商品的定向中的每一者计数特定商品的正面数目和目标商品的正面数目。
以此方式，在本示例性实施例中，可能通过相对位置指定单元134和正面数目计数单元142获得特定商品与目标商品之间的陈列关系并且输出所获得的陈列关系。例如，关于目标商品的正面的总数目与特定商品的正面的数目之间的陈列关系的信息段与图像捕获的日期和时间和特定商品的商品代码或商品名称一起输出。陈列关系可输出为文本数据、预定的程序语言或信息数据，可存储为个别文档，并且可存储于数据库中。可替代地，信息可通过网络3传输到信息处理终端110。关于陈列关系的信息段可显示于图像识别装置10的屏幕或能够连接到图像识别装置10的终端装置上，或可显示于信息处理终端110的显示器单元的屏幕上。可替代地，关于陈列关系的信息段可输出为报告，诸如，每日报告。
在上文所提及的配置中，下文将描述由根据本示例性实施例的商品信息处理装置100执行的数据处理方法。图7是图示根据本示例性实施例的商品信息处理装置100的操作的示例的流程图。
在根据本示例性实施例的数据处理方法中，商品信息处理装置100的商品提取单元102从通过捕获商品的陈列状态获得的图像提取至少一个种类的特定商品(步骤S101)，并且陈列关系指定单元104指定所提取的至少一个种类的特定商品与其它商品之间的陈列关系(步骤S103)。
这里，将在其中使用便携式终端24捕获店铺7的商品架20并且执行到数据中心5的传输的配置中给出对商品信息处理系统1的操作的详细描述。
图8是图示根据本发明的示例性实施例的商品信息处理系统1的便携式终端24和图像识别装置10的操作的进程的示例的流程图。
首先，便携式终端24通过图像捕获单元112捕获商品架20的图像(步骤S111)。然后，便携式终端24通过传输单元114将所捕获的图像传输到数据中心5的图像识别装置10(步骤S113)。
在图像识别装置10中，接收单元120接收所捕获的图像(步骤S115)。然后，图像识别单元122从图像提取特征量并且执行识别商品的正面图像的模式的过程(步骤S117)。图像识别单元122获取被识别为所捕获的图像内的商品的正面图像的正面区域的相对位置(步骤S119)。
然后，图像识别单元122核对所识别的正面图像的特征量与记录于特征量数据库12中的特征量以由此获取商品ID(步骤S121)。商品指定单元132指定对应于正面图像的商品是特定商品还是其它商品(步骤S123)。
此外，商品指定单元132辨别其它商品是否是目标商品并且指定目标商品(步骤S125)。然后，相对位置指定单元134指定图像内的特定商品与目标商品之间的相对位置(步骤S127)。另外，正面数目计数单元142计数特定商品的正面的数目和目标商品的正面的数目(步骤S129)。然后，将由商品指定单元132和正面数目计数单元142获得的正面的数目和相对位置输出为陈列关系(步骤S131)。
以此方式，在本示例性实施例中，可能从通过捕获店铺7中的商品架20获得的图像单独地识别商品并且获取特定商品的正面的数目和其它商品的正面的数目和其相对位置作为特定商品与其它商品之间的陈列关系。
例如，在本示例性实施例中，可能获取陈列关系，诸如，目标商品的正面的数目中特定商品的正面的数目和在其中存在目标商品的层阶和列中特定商品的多少正面从哪一层阶的哪一列存在。
如上文所描述，根据按照本发明的示例性实施例的商品信息处理装置100，当操作员进入每一店铺7，使用便携式终端24捕获商品架20的图像并且上传所捕获的图像时，或当收集到由安装于店铺7中的监控摄像机22捕获的图像时，可能自动地辨别待管理的特定商品与其它商品并且断定在包括其它商品的整个陈列状态中特定商品如何陈列的陈列关系。以此方式，根据本发明的本示例性实施例中的商品信息处理装置100，可能有效地断定店铺的商品陈列架中特定商品与其它商品之间的陈列关系。
(第二示例性实施例)
图11是图示根据本发明的另一示例性实施例的商品信息处理装置200的配置的功能性框图。
根据本示例性实施例的商品信息处理装置200与上文所提及的示例性实施例的商品信息处理装置不同之处在于确定通过商品信息处理装置100获得的陈列关系是否满足预定的陈列条件并且输出辨别结果。
商品信息处理装置200包括与上文所提及的示例性实施例中的商品信息处理装置100的那些商品提取单元和陈列关系指定单元相同的商品提取单元102和陈列关系指定单元104，并且进一步包括辨别单元202和输出单元204。
辨别单元202基于由陈列关系指定单元104指定的陈列关系而辨别特定商品的陈列状态是否满足特定商品的预定陈列条件。
输出单元204输出由辨别单元202获得的辨别结果。
图12是图示使用根据本示例性实施例的商品信息处理装置200的商品信息处理系统1的配置示例的框图。图13是图示根据本发明的示例性实施例的商品信息处理装置200的详细配置示例的功能性框图。
在本示例性实施例中，数据中心5包括与上文所提及的示例性实施例中的图像识别装置相同的图像识别装置10，并且进一步包括能够访问商品数据库212(在附图中由“商品DB”示出)的商品管理装置210。同时，图像识别装置10和商品管理装置210可由同一服务器计算机构成。
例如，由商品制造商确定陈列于为零售店铺的每一店铺7的商品架20中的商品的布置并且零售店铺或零售店铺的总部提前通过合同就此加以商定。为了使商品制造商确认商品是否如合同规定陈列于每一店铺7中，要求已接收到来自制造商的指令的操作员去每一店铺7以检查商品架20的陈列状态并且将其结果报告给总部。
根据本示例性实施例的商品信息处理装置200是有效的，因为当执行确认零售店铺与制造商之间做出的合同的操作时，可有效地断定在店铺的商品陈列架中特定商品与其它商品之间的陈列关系。
合同的细节包括至少一个陈列条件。陈列条件的示例可包括以下条件。
(d1)标示特定商品的正面的数目。例如，做出“连续陈列十个正面中的特定商品的四个正面”的标示。
(d2)标示其中陈列特定商品的商品架的层阶的位置和数目。例如，做出“陈列于处于最高的层阶处的架中”、“陈列于中间的架中”或“陈列于第二和第三层阶的两个架中”的标示。
(d3)标示陈列特定商品的比率。例如，做出“陈列特定商品相对于相同分类的所有商品的30％”的标示。
如图13中所图示，在根据本示例性实施例的商品信息处理系统1中，图像识别装置10连接到特征量数据库12，类似于根据图4的上文所提及的示例性实施例的图像识别装置10，并且包括接收单元120和图像识别单元122。连接到商品数据库212的商品管理装置210包括商品指定单元132、相对位置指定单元134和正面数目计数单元142(其包括在根据图4的上文所提及的示例性实施例的图像识别装置10中)，并且进一步包括辨别单元202、输出单元204和比率计算单元232。
商品数据库212存储图14中所图示的合同信息表222。例如，合同信息表222针对用于标识店铺7的每一店铺ID存储与至少一个陈列条件相关联的至少一个商品。可替代地，其可以能够根据条件(诸如，预定时间周期和区域)选择或更新合同细节。另外，多个条件的优先权还可被设定为条件。每一条件可由，例如，以预定程序语言编写的条件表达式来表达。
参考图14的合同信息表222，商品管理装置210的辨别单元202基于由陈列关系指定单元104获得的陈列关系而辨别特定商品的陈列状态是否满足每一陈列条件。
输出单元204输出由辨别单元202获得的辨别结果214。并不特别限制输出模式。输出模式的示例可包括显示在终端屏幕上、上传到网站、打印机打印出、电子邮件传输到预定电子邮件地址、以预定格式记录于文档中、记录于数据库中或其组合。
输出内容可包括：除了关于是否满足每一陈列条件的辨别结果(条件是达成(OK)还是未达成(NG))之外，存储、区域、商品和商品分类的条件达成率；关于达成或并未达成达成率的目标值的店铺的信息段(信息段，诸如，店铺名称、存储的数目、店铺区域和所属群组)；或其组合。另外，还可按照时间序列积累这些信息段的历史。可替代地，这些信息段还可包括在报告(诸如，每日报告、每周报告或每月报告)的信息中。
比率计算单元232基于由正面数目计数单元142获得的特定商品的正面的数目和目标商品的正面的数目而获得特定商品的正面的数目相对于所有目标商品的正面的数目的比率。
在本示例性实施例中，相对位置指定单元134、正面数目计数单元142和比率计算单元232被提供为如图11的陈列关系指定单元104。
以此方式配置的根据本示例性实施例的商品信息处理装置200以与上文所提及的示例性实施例中的方式相同的方式操作。此外，辨别单元202基于由陈列关系指定单元104获得的陈列关系而辨别特定商品的陈列状态是否满足每一陈列条件，并且输出单元204输出辨别结果。即，商品信息处理装置200可仅通过捕获陈列状态就可以有效地评估店铺7中的商品架20的商品的陈列状态等是否遵守合同细节。
如上文所描述，根据本实施例的商品信息处理装置200，展现与上文所提及的效果相同的效果，并且当执行确认零售店铺与制造商之间做出的合同的操作时，可能有效地断定店铺的商品陈列架中特定商品与其它商品之间的陈列关系，并且有效和准确地执行与合同细节的核对。
如上文所描述，已参考附图描述了本发明的实施例。然而，实施例仅是本发明的例示，并且还可采用除上文所提及的配置之外的各种配置。
例如，在另一实施例中，陈列关系指定单元104可获得特定商品的陈列区域相对于包括特定商品的目标商品的比率，可将特定商品的陈列区域的比率指定为与其它商品的陈列关系，并且可输出所述比率。
例如，以下方法被认为是当使用根据上文所提及的示例性实施例的信息处理终端110的图像捕获单元112捕获商品架20的图像时标示和标识图像捕获的区域的方法。
(e1)提前将具有标识信息(诸如，架数目或其上描述的条形码)的标签等附着到商品架20，并且从所捕获的图像确认架数目以便包括所述标签。
(e2)在执行图像捕获之前，允许操作员使用便携式终端24的操作屏幕输入信息，诸如，进行图像捕获的架数目。可替代地，基于在图像捕获期间监控摄像机22的图像捕获方向和图像捕获范围的信息等而指定图像捕获的商品架20的区域。
(e3)允许操作员基于应用程序等而根据指导按次序捕获所指令的商品架的图像。可替代地，允许操作员在操作中以预定次序捕获其中陈列有预定商品的架的图像。
图15是图示其中具有标识信息(诸如，架数目或其上描述的条形码)的标签等附着到商品架20的示例的图解。
图15图示其中商品架20包括架70的多个层阶并且在比图像捕获单元112的图像捕获的区域76宽广的范围上陈列，例如，多个商品72的示例。
具有用于标识其上描述的商品架20的架70的布置的信息的至少一个标签74布置于图像捕获的区域76内并且附着成包括在架70中。商品信息处理装置100或商品信息处理装置200存储关于标签74与商品架20的架70之间的相对位置的信息。
陈列于商品架20中的商品72的图像由图像捕获单元112捕获以便包括至少一个标签74，并且因此商品信息处理装置100或商品信息处理装置200可基于关于包括在所捕获的图像中的标签74的标识信息而在所捕获的图像中获取商品架20中的相应架70的位置。
图16是图示自动地辨别根据本发明的另一示例性实施例的商品信息处理装置中的目标商品陈列区域的过程的图解。
在另一示例性实施例中，陈列关系指定单元104可从所捕获的图像(图像捕获的区域76的图像)来将目标商品陈列区域84指定为其中特定商品80和其它商品82的陈列状态为待断定的区域，并且可将目标商品陈列区域84中的特定商品80的布置指定为与其它商品82的陈列关系。
在另一示例性实施例中，陈列关系指定单元104基于商品ID而指定特定商品80和其它商品82，所述商品ID基于图像捕获的区域76内所识别的相应商品72的正面图像而被指定。另外，商品信息处理装置100或商品信息处理装置200进一步包括将其中存在指定的特定商品80和其它商品82的区域自动地辨别成目标商品陈列区域84并且指定区域的目标商品陈列区域辨别单元(未示出)。
另外，目标商品陈列区域辨别单元还可通过描述用于标识在每一架70中上文所提及的标签74中陈列的商品的分类的信息并且捕获与商品72一起的信息的图像来辨别目标商品陈列区域84。可替代地，信息处理终端110可在图像捕获期间接收用于选择目标商品或输入操作的指令，并且然后可执行图像捕获以便仅包括目标商品。可替代地，信息处理终端可在信息处理终端110的屏幕上陈列框，所述框围绕所捕获的图像上待识别的区域，可接收使框变形的操作以便在信息处理终端110的屏幕上仅包括目标商品，并且可将通过操作标示的区域设定为目标商品陈列区域84。
另外，当图像捕获的区域76比目标商品陈列区域84窄时，整个商品架20可分成多个图像捕获的区域76a、76b、76c和76d，如图17中所图示，整个商品架20可基于通过多次的图像捕获获得的多个图像加以断定，并且目标商品陈列区域84可以被指定。
例如，信息处理终端110可通过指导指令操作员多个图像捕获的区域76a、76b、76c和76d的图像捕获次序以由此获取通过按次序捕获整个商品架20获得的多个图像。可替代地，操作员可基于预定次序捕获多个图像捕获的区域76a、76b、76c和76d的图像。可替代地，多个图像捕获的区域76a、76b、76c和76d的图像可由监控摄像机22通过移动图像捕获位置同时自动地控制图像捕获方向等来捕获，以由此获取用于断定整个商品架20的多个图像。
可替代地，当操作员能够提前识别目标商品陈列区域84(图17)时，仅两个图像捕获的区域76a和76b的图像可被捕获成包括至少目标商品陈列区域84以由此获取两个所捕获的图像，并且可基于两个所捕获的图像而辨别目标商品陈列区域84。可替代地，商品信息处理装置100或商品信息处理装置200可使用通过使用监控摄像机22捕获整个商品架20获得的图像和通过使用便携式终端24捕获窄区域获得的图像的组合。
此外，商品信息处理装置100或商品信息处理装置200可依据特定商品80与包括在从图像指定的目标商品陈列区域84中的其它商品82之间的相对位置而进一步包括指定商品架20中特定商品的绝对位置的绝对位置指定单元(未示出)。
尽管在上文所提及的示例性实施例中陈列于商品架20中的商品被设定为目标，本发明并不限于此。例如，根据本发明的示例性实施例的商品信息处理装置还可用于断定自动售货机等的正面的陈列状况。
虽然已参考本发明示例性实施例特别示出和描述了本发明，本发明并不限于这些示例性实施例。本领域的技术人员将理解，可在不背离如权利要求书所定义的本发明的精神和范围的情况下于其中在形式及细节上做出各种改变。
在下文中，随附参考形式的示例。
1.一种商品信息处理装置的数据处理方法，所述方法包括：
通过所述商品信息处理装置从通过捕获商品的陈列状态获得的图像提取至少一个种类的特定商品；以及
通过所述商品信息处理装置指定所提取的至少一个种类的特定商品与其它商品之间的陈列关系。
2.根据1所述的商品信息处理装置的数据处理方法，进一步包括：
通过所述商品信息处理装置基于指定的陈列关系而辨别所述特定商品的陈列状态是否满足所述特定商品的预定陈列条件；以及
通过所述商品信息处理装置输出辨别结果。
3.根据1或2所述的商品信息处理装置的数据处理方法，进一步包括通过所述商品信息处理装置计数所提取的至少一个种类的特定商品的正面数目并且基于所述特定商品的正面数目而指定与所述其它商品的陈列关系。
4.根据1到3中的任何一个所述的商品信息处理装置的数据处理方法，进一步包括通过所述商品信息处理装置获得所述特定商品的陈列区域相对于包括所述特定商品的目标商品的比率，由此将所述特定商品的陈列区域的比率指定为与所述其它商品的陈列关系。
5.根据1到4中的任何一个所述的商品信息处理装置的数据处理方法，进一步包括通过所述商品信息处理装置从所述图像获得所述特定商品与所述其它商品之间的相对位置，由此将所述相对位置指定为所述陈列关系。
6.根据1到5中的任何一个所述的商品信息处理装置的数据处理方法，进一步包括通过所述商品信息处理装置从所述图像将目标商品陈列区域指定为其中所述特定商品和所述其它商品的陈列状态待断定的区域，由此将所述目标商品陈列区域中的所述特定商品的布置指定为与所述其它商品的陈列关系。
7.根据6所述的商品信息处理装置的数据处理方法，进一步包括通过所述商品信息处理装置从所述图像进一步地提取所述其它商品，并且从所述图像基于关于被提取的所述特定商品和所述其它商品的信息而通过所述商品信息处理装置指定与所述特定商品的陈列状态待断定的其它商品，由此自动地辨别所述目标商品陈列区域。
8.根据6或7所述的商品信息处理装置的数据处理方法，进一步包括：通过所述商品信息处理装置，从包括在从所述图像指定的所述目标商品陈列区域中的所述特定商品与所述其它商品之间的相对位置，来指定其中陈列有商品的商品架中的特定商品的绝对位置。
9.根据1到8中的任何一个所述的商品信息处理装置的数据处理方法，进一步包括基于提前存储的所述特定商品的正面图像的特征量而通过所述商品信息处理装置识别所述图像的模式，由此提取所述特定商品。
10.根据1到9中的任何一个所述的商品信息处理装置的数据处理方法，进一步包括使用由包括在便携式终端中的图像捕获单元或安装于店铺中的监控摄像机捕获的所述图像来通过所述商品信息处理装置执行处理。
11.根据1到10中的任何一个所述的商品信息处理装置的数据处理方法，
其中所述商品信息处理装置包括信息处理终端和服务器装置，
其中所述方法进一步包括：
经由网络通过所述信息处理终端将关于在店铺中所捕获的所述图像的信息传输到所述服务器装置；
经由网络通过所述服务器装置从所述信息处理终端接收关于所述图像的信息，以及
基于关于所述图像的所述接收的信息而通过所述服务器装置提取所述特定商品。
12.一种致使用于实现商品信息处理装置的计算机执行以下进程的程序：
从通过捕获商品的陈列状态获得的图像提取至少一个种类的特定商品的进程；以及
指定所提取的至少一个种类的特定商品与其它商品之间的陈列关系的进程。
13.根据12所述的程序，用于致使所述计算机进一步执行：
基于通过指定陈列关系的进程的指定的陈列关系而辨别所述特定商品的陈列状态是否满足所述特定商品的预定陈列条件的进程；以及
输出通过所述辨别进程获得的辨别结果的进程。
14.根据12或13所述的程序，用于致使所述计算机进一步执行：
基于所述特定商品的正面数目而计数所提取的至少一个种类的特定商品的正面数目并且指定与所述其它商品的陈列关系的进程。
15.根据12到14中的任何一个所述的程序，用于致使所述计算机进一步执行：
获得所述特定商品的陈列区域相对于包括所述特定商品的目标商品的比率并且将所述特定商品的陈列区域的比率指定为与所述其它商品的陈列关系的进程。
16.根据12到15中的任何一个所述的程序，用于致使所述计算机进一步执行：
从所述图像获得所述特定商品与所述其它商品之间的相对位置并且将所述相对位置指定为所述陈列关系的进程。
17.根据12到16中的任何一个所述的程序，用于致使所述计算机进一步执行：
将目标商品陈列区域指定为其中所述特定商品和所述其它商品的陈列状态待从所述图像断定的区域并且将所述目标商品陈列区域中的特定商品的布置指定为与所述其它商品的陈列关系的进程。
18.根据17所述的程序，用于致使所述计算机进一步执行：
从所述图像提取所述其它商品的进程；以及
基于关于从所述图像提取的所述特定商品和所述其它商品的信息而指定其与所述特定商品的陈列状态待断定的其它商品并且自动地辨别所述目标商品陈列区域的进程。
19.根据17或18所述的程序，用于致使所述计算机进一步执行：
依据所述特定商品与包括在从所述图像指定的所述目标商品陈列区域中的其它商品之间的相对位置而指定在陈列商品的商品架中的特定商品的绝对位置的进程。
20.根据12到19中的任何一个所述的程序，用于致使所述计算机进一步执行：
基于提前存储的所述特定商品的正面图像的特征量而识别所述图像的模式，由此提取所述特定商品的进程。
21.根据12到20中的任何一个所述的程序，用于致使所述计算机进一步执行：
使用由包括在便携式终端中的图像捕获单元或安装于店铺中的监控摄像机捕获的所述图像执行处理的进程。
本申请基于在2012年12月4日提交的日本专利申请第2012-265148号，其内容以引用方式并入本文中。

Claims (13)

1.一种商品信息处理装置，包括：
商品提取单元，所述商品提取单元从通过捕获商品的陈列状态而获得的图像来提取至少一个种类的特定商品；以及
陈列关系指定单元，所述陈列关系指定单元指定所提取的至少一个种类的特定商品与其它商品之间的陈列关系。
2.根据权利要求1所述的商品信息处理装置，进一步包括：
辨别单元，所述辨别单元基于由所述陈列关系指定单元指定的所述陈列关系，来辨别所述特定商品的陈列状态是否满足所述特定商品的预定陈列条件；以及
输出单元，所述输出单元输出由所述辨别单元获得的辨别结果。
3.根据权利要求1或2所述的商品信息处理装置，其中，
所述陈列关系指定单元计数所提取的至少一个种类的特定商品的正面数目，并且基于所述特定商品的正面数目来指定与所述其它商品的陈列关系。
4.根据权利要求1至3中的任何一项所述的商品信息处理装置，其中，
所述陈列关系指定单元获得所述特定商品的陈列区域相对于包括所述特定商品的目标商品的比率，并且将所述特定商品的所述陈列区域的所述比率指定为与所述其它商品的陈列关系。
5.根据权利要求1至4中的任何一项所述的商品信息处理装置，其中，
所述陈列关系指定单元从所述图像获得所述特定商品与所述其它商品之间的相对位置，并且将所述相对位置指定为所述陈列关系。
6.根据权利要求1至5中的任何一项所述的商品信息处理装置，其中，
所述陈列关系指定单元从所述图像来将目标商品陈列区域指定为其中所述特定商品和所述其它商品的所述陈列状态为待断定的区域，并且将所述目标商品陈列区域中的所述特定商品的布置指定为与所述其它商品的陈列关系。
7.根据权利要求6所述的商品信息处理装置，
其中，所述商品提取单元进一步从所述图像来提取所述其它商品，以及
其中，所述商品信息处理装置进一步包括目标商品陈列区域辨别单元，
所述目标商品陈列区域辨别单元从所述图像基于关于被提取的所述特定商品和所述其它商品的信息来指定与所述特定商品的所述陈列状态为待断定的其它商品，并且自动地辨别所述目标商品陈列区域。
8.根据权利要求6或7所述的商品信息处理装置，进一步包括绝对位置指定单元，
所述绝对位置指定单元从包括在从所述图像所指定的所述目标商品陈列区域中的所述特定商品与其它商品之间的指定的相对位置，来指定在陈列有商品的商品架中的所述特定商品的绝对位置。
9.根据权利要求1至8中的任何一项所述的商品信息处理装置，其中，
所述商品提取单元基于提前存储的所述特定商品的正面图像的特征量来识别所述图像的模式，由此提取所述特定商品。
10.根据权利要求1至9中的任何一项所述的商品信息处理装置，其中，
通过包括在便携式终端中的图像捕获单元或安装于店铺中的监控摄像机来捕获所述图像。
11.根据权利要求1至10中的任何一项所述的商品信息处理装置，进一步包括：
传输单元，所述传输单元通过网络来传输关于在店铺中所捕获的所述图像的信息；以及
接收单元，所述接收单元通过网络接收关于所述图像的所述信息，
其中，
所述商品提取单元基于关于由所述接收单元接收到的所述图像的所述信息，来提取所述特定商品。
12.一种商品信息处理装置的数据处理方法，所述方法包括：
通过所述商品信息处理装置，从通过捕获商品的陈列状态而获得的图像来提取至少一个种类的特定商品；以及
通过所述商品信息处理装置，指定所提取的至少一个种类的特定商品与其它商品之间的陈列关系。
13.一种程序，其致使用于实现商品信息处理装置的计算机执行以下各进程：
从通过捕获商品的陈列状态而获得的图像，来提取至少一个种类的特定商品；以及
指定所提取的至少一个种类的特定商品与其它商品之间的陈列关系。
CN201380063274.9A 2012-12-04 2013-10-01 商品信息处理装置、其数据处理方法和程序 Pending CN104871198A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012265148 2012-12-04
JP2012-265148 2012-12-04
PCT/JP2013/076654 WO2014087725A1 (ja) 2012-12-04 2013-10-01 商品情報処理装置、そのデータ処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN104871198A true CN104871198A (zh) 2015-08-26

Family

ID=50883155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380063274.9A Pending CN104871198A (zh) 2012-12-04 2013-10-01 商品信息处理装置、其数据处理方法和程序

Country Status (3)

Country Link
JP (1) JP6176257B2 (zh)
CN (1) CN104871198A (zh)
WO (1) WO2014087725A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090797A (zh) * 2016-11-17 2018-05-29 恩德莱斯和豪瑟尔分析仪表两合公司 用于在线配置和订购的方法
WO2018161363A1 (zh) * 2017-03-07 2018-09-13 深圳市楼通宝实业有限公司 自助售卖方法及系统
CN108712990A (zh) * 2016-06-28 2018-10-26 新日铁住金系统集成株式会社 信息处理系统、信息处理装置、信息处理方法以及程序
CN109271920A (zh) * 2018-09-12 2019-01-25 上海了物网络科技有限公司 支持物品识别的视觉系统及方法与介质
CN109784193A (zh) * 2018-12-20 2019-05-21 上海扩博智能技术有限公司 用于智能冰箱的终端数据采集装置及系统
CN110991372A (zh) * 2019-12-09 2020-04-10 河南中烟工业有限责任公司 一种识别零售商户卷烟牌号陈列情况的方法
CN111319911A (zh) * 2020-02-23 2020-06-23 安徽古井贡酒股份有限公司 在线智能摘酒控制系统及方法
CN111685599A (zh) * 2019-03-14 2020-09-22 富士电机株式会社 商品管理系统及商品管理方法
CN108053204B (zh) * 2017-12-20 2021-06-15 杭州几禾科技有限公司 自动结算方法及售卖设备

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579962B2 (en) * 2014-09-30 2020-03-03 Nec Corporation Information processing apparatus, control method, and program
JP6705075B2 (ja) * 2014-10-01 2020-06-03 株式会社マーケットヴィジョン 商品陳列情報集計システム
JP2016194833A (ja) * 2015-03-31 2016-11-17 富士通株式会社 商品陳列位置の判定処理方法、商品陳列位置の判定処理プログラム、及び商品陳列位置の判定処理装置
MX364903B (es) * 2015-05-16 2019-05-10 Tata Consultancy Services Ltd Procedimiento y sistema de comprobación del cumplimiento de un planograma basado en análisis visual.
JP6623565B2 (ja) * 2015-06-03 2019-12-25 日本電気株式会社 棚割情報生成装置、棚割情報生成システム、棚割情報生成方法、撮像装置、およびプログラム
US10304031B2 (en) * 2015-06-23 2019-05-28 Toshiba Tec Kabushiki Kaisha Image processing apparatus
US9864969B2 (en) * 2015-06-26 2018-01-09 Toshiba Tec Kabushiki Kaisha Image processing apparatus for generating map of differences between an image and a layout plan
JP6590610B2 (ja) * 2015-09-15 2019-10-16 共同印刷株式会社 方法、装置及びプログラム
CN109154993A (zh) 2016-03-29 2019-01-04 波萨诺瓦机器人知识产权有限公司 用于对物品定位、识别和计数的系统和方法
US10943363B2 (en) 2016-07-21 2021-03-09 Nec Corporation Image processing apparatus, and image processing method
WO2018124168A1 (ja) * 2016-12-27 2018-07-05 株式会社Ｓｐａｃｅ２０２０ 画像処理システムと画像処理装置と画像処理方法と画像処理プログラム
JP2018142293A (ja) * 2017-09-11 2018-09-13 ネットパイロティング株式会社 商品判別装置、商品判別プログラム及び商品の判別方法
JP6396568B1 (ja) * 2017-09-19 2018-09-26 ヤフー株式会社 提供プログラム、提供装置、提供方法、端末装置および情報提供装置
JP7243627B2 (ja) * 2017-09-29 2023-03-22 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
JP6670511B2 (ja) * 2018-07-27 2020-03-25 株式会社マーケットヴィジョン 商品情報取得システム
JPWO2023062724A1 (zh) * 2021-10-12 2023-04-20
WO2023188239A1 (ja) * 2022-03-31 2023-10-05 日本電気株式会社 業務支援システム、業務支援装置、業務支援方法および記憶媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5537312A (en) * 1993-05-06 1996-07-16 Hitachi, Ltd. Electronic rack labeling system
JP2003114971A (ja) * 2001-10-02 2003-04-18 Kao Corp 売上統計分析装置
CN101604333A (zh) * 2008-06-12 2009-12-16 东芝泰格有限公司 信息提供装置、信息提供方法及店铺系统
WO2010023944A1 (ja) * 2008-08-28 2010-03-04 日本たばこ産業株式会社 陳列支援システム
US20100106662A1 (en) * 2008-10-29 2010-04-29 Satyanarayanan Ramaswamy Method and apparatus for in-store directions using visual or audio cues for current location determination
CN102214343A (zh) * 2010-04-08 2011-10-12 埃森哲环球服务有限公司 数字销售点分析器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0717608A (ja) * 1993-05-06 1995-01-20 Hitachi Ltd 電子棚ラベルシステム
JP2002366621A (ja) * 2001-06-05 2002-12-20 Komatsu Noriko 店舗経営指導情報提供方法およびそのサーバのプログラム
JP3908047B2 (ja) * 2002-02-04 2007-04-25 富士通株式会社 陳列状態監視方法及び陳列状態監視プログラム
JP2006218030A (ja) * 2005-02-09 2006-08-24 Seiko Epson Corp 棚札、棚札作成システム、棚札作成方法、プログラム及び記憶媒体
JP5617485B2 (ja) * 2010-09-28 2014-11-05 キヤノンマーケティングジャパン株式会社 携帯端末、販売管理システム、制御方法、販売管理方法およびプログラム
JP2012126532A (ja) * 2010-12-16 2012-07-05 Japan Tobacco Inc 商品管理装置、商品管理方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5537312A (en) * 1993-05-06 1996-07-16 Hitachi, Ltd. Electronic rack labeling system
JP2003114971A (ja) * 2001-10-02 2003-04-18 Kao Corp 売上統計分析装置
CN101604333A (zh) * 2008-06-12 2009-12-16 东芝泰格有限公司 信息提供装置、信息提供方法及店铺系统
WO2010023944A1 (ja) * 2008-08-28 2010-03-04 日本たばこ産業株式会社 陳列支援システム
US20100106662A1 (en) * 2008-10-29 2010-04-29 Satyanarayanan Ramaswamy Method and apparatus for in-store directions using visual or audio cues for current location determination
CN102214343A (zh) * 2010-04-08 2011-10-12 埃森哲环球服务有限公司 数字销售点分析器

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108712990A (zh) * 2016-06-28 2018-10-26 新日铁住金系统集成株式会社 信息处理系统、信息处理装置、信息处理方法以及程序
CN108712990B (zh) * 2016-06-28 2019-12-03 日铁系统集成株式会社 信息处理系统、信息处理装置、信息处理方法和存储介质
CN108090797A (zh) * 2016-11-17 2018-05-29 恩德莱斯和豪瑟尔分析仪表两合公司 用于在线配置和订购的方法
WO2018161363A1 (zh) * 2017-03-07 2018-09-13 深圳市楼通宝实业有限公司 自助售卖方法及系统
CN108053204B (zh) * 2017-12-20 2021-06-15 杭州几禾科技有限公司 自动结算方法及售卖设备
CN109271920A (zh) * 2018-09-12 2019-01-25 上海了物网络科技有限公司 支持物品识别的视觉系统及方法与介质
CN109784193A (zh) * 2018-12-20 2019-05-21 上海扩博智能技术有限公司 用于智能冰箱的终端数据采集装置及系统
CN111685599A (zh) * 2019-03-14 2020-09-22 富士电机株式会社 商品管理系统及商品管理方法
CN111685599B (zh) * 2019-03-14 2022-02-18 富士电机株式会社 商品管理系统及商品管理方法
CN110991372A (zh) * 2019-12-09 2020-04-10 河南中烟工业有限责任公司 一种识别零售商户卷烟牌号陈列情况的方法
CN111319911A (zh) * 2020-02-23 2020-06-23 安徽古井贡酒股份有限公司 在线智能摘酒控制系统及方法

Also Published As

Publication number Publication date
JPWO2014087725A1 (ja) 2017-01-05
JP6176257B2 (ja) 2017-08-09
WO2014087725A1 (ja) 2014-06-12

Similar Documents

Publication Publication Date Title
CN104871198A (zh) 商品信息处理装置、其数据处理方法和程序
US11538313B2 (en) Multi-account frictionless shopping
US20210398067A1 (en) Dynamic planograms in a retail store
CN111626681B (zh) 一种用于库存管理的图像识别系统
US10445821B2 (en) Planogram and realogram alignment
WO2019165892A1 (zh) 自动售货方法、装置和计算机可读存储介质
US10628695B2 (en) Fast item identification for checkout counter
WO2022235637A1 (en) Methods and systems for retail environments
CN110119915B (zh) 对象入库处理方法、装置和系统
CN113888254A (zh) 货架商品管理方法和电子设备
US20220180302A1 (en) System and method for inventory management and multimedia content delivery
US20150106212A1 (en) Computerized exchange network
CN110032731A (zh) 企业经营范围判断方法、装置及计算机可读存储介质
US20220076228A1 (en) Automated point of sale systems and methods
WO2022081518A2 (en) Methods and systems for retail environments
US20230252407A1 (en) Systems and methods of defining and identifying product display areas on product display shelves
Ahmed Advancing Retail Robotics: A Vision-Based Out of Stock Detection System for Retail Scenes Without Planograms

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150826

RJ01 Rejection of invention patent application after publication