CN109522780B - 货架信息推定装置、信息处理方法及终端设备 - Google Patents

货架信息推定装置、信息处理方法及终端设备 Download PDF

Info

Publication number
CN109522780B
CN109522780B CN201810871033.1A CN201810871033A CN109522780B CN 109522780 B CN109522780 B CN 109522780B CN 201810871033 A CN201810871033 A CN 201810871033A CN 109522780 B CN109522780 B CN 109522780B
Authority
CN
China
Prior art keywords
shelf
information
identification information
item
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810871033.1A
Other languages
English (en)
Other versions
CN109522780A (zh
Inventor
山崎景太
安永真明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Publication of CN109522780A publication Critical patent/CN109522780A/zh
Application granted granted Critical
Publication of CN109522780B publication Critical patent/CN109522780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0621—Item configuration or customization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

本发明公开了一种货架信息推定装置、信息处理方法及终端设备，其能够推定摄像图像所包含的货架是哪个货架，该货架信息推定装置包括：取得部、识别部以及推定部。所述取得部取得摄像图像。所述识别部基于关联了与各货架对应的货架识别信息、与各货架所包含的货架位置对应的货架位置识别信息及与放置在各货架位置上的物品对应的物品指定信息的货架管理信息，对所述摄像图像所包含的多个物品进行识别。所述推定部基于所述货架管理信息及物品的识别结果，推定与放置所述多个物品的货架对应的货架识别信息。

Description

货架信息推定装置、信息处理方法及终端设备
本申请主张申请日为2017年09月19日、申请号为JP2017-179447的日本申请为优先权，并引用上述申请的内容，通过引用将公开内容全部结合于此。
技术领域
本发明的实施例涉及一种货架信息推定装置、信息处理方法及终端设备。
背景技术
提案有用于商品货架的有效率的商品配置以不损失商品销售机会的各种技术。
例如，从楼层整体的图像取得推定为商品的配置状况发生变化的位置，并用移动式摄像装置对包含所述位置的图像进行摄像。通过对映入到摄像图像的商品的类别及配置状况是否与规定的一致进行判定，实时且效率地检查商品货架。
在检查商品货架时，检查哪个商品货架很重要，因此期望有指定货架的技术。例如，期望有从放置了各种商品的较多的货架指定摄像图像所包含的货架的技术。
发明内容
本发明所要解决的技术问题是，提供一种能够推定摄像图像所包含的货架是哪个货架的货架信息推定装置、信息处理方法及终端设备。
为解决上述问题，本发明的一实施例，提供了一种货架信息推定装置，包括：取得部、识别部及推定部。所述取得部取得摄像图像。所述识别部基于关联了与各货架对应的货架识别信息、与各货架所包含的货架位置对应的货架位置识别信息及与在各货架位置上被放置的物品对应的物品指定信息的货架管理信息，对所述摄像图像所包含的多个物品进行识别。所述推定部基于所述货架管理信息及物品的识别结果，对与所述多个物品被放置的货架对应的货架识别信息进行推定。
根据这样的构成，能够推定摄像图像所包含的货架是哪个货架。
对于货架信息推定装置，在一种可能的实施方式中，所述推定部输出物品的识别结果所包含的物品指定信息最多所属的货架识别信息作为推定结果。
根据这样的构成，能够基于物品指定信息进行推定货架。
对于货架信息推定装置，在一种可能的实施方式中，所述推定部输出物品的识别结果所包含的所述多个物品的类别最多所属的货架识别信息作为推定结果。
根据这样的构成，能够基于物品的类别进行推定货架。
对于货架信息推定装置，在一种可能的实施方式中，所述识别部识别在所述摄像图像中的所述多个物品的相对位置关系，所述推定部基于所述货架管理信息和与识别结果所包含的所述多个物品对应的物品指定信息推定所述多个物品的相对位置关系，并基于被识别的相对位置关系和被推定的相对位置关系之间的比较，推定与放置所述多个物品的货架对应的货架识别信息。
根据这样的构成，能够基于物品的相对位置关系进行推定货架。
对于货架信息推定装置，在一种可能的实施方式中，所述识别部识别所述摄像图像所包含的货架的框的位置，所述推定部基于识别结果所包含的货架的框的位置，推定与放置所述多个物品的货架对应的货架识别信息。
根据这样的构成，能够基于货架的框进行推定货架。
本发明的另一实施例，提供了一种信息处理方法，该信息处理方法包括以下步骤：取得步骤，取得摄像图像；识别步骤，基于关联了与各货架对应的货架识别信息、与各货架所包含的货架位置对应的货架位置识别信息及与放置在各货架位置上的物品对应的物品指定信息的货架管理信息，对所述摄像图像所包含的多个物品进行识别；以及推定步骤，基于所述货架管理信息及物品的识别结果，推定与放置所述多个物品的货架对应的货架识别信息。
根据这样的信息处理方法，能够推定摄像图像所包含的货架是哪个货架。
对于信息处理方法，在一种可能的实施方式中，在所述推定步骤中输出物品的识别结果所包含的物品指定信息最多所属的货架识别信息作为推定结果。
根据这样的信息处理方法，能够基于物品指定信息进行推定货架。
对于信息处理方法，在一种可能的实施方式中，在所述推定步骤中输出物品的识别结果所包含的所述多个物品的类别最多所属的货架识别信息作为推定结果。
根据这样的信息处理方法，能够基于物品的类别进行推定货架。
对于信息处理方法，在一种可能的实施方式中，在所述识别步骤中识别在所述摄像图像中的所述多个物品的相对位置关系，在所述推定步骤中基于所述货架管理信息和与识别结果所包含的所述多个物品对应的物品指定信息推定所述多个物品的相对位置关系，并基于被识别的相对位置关系和被推定的相对位置关系之间的比较，推定与放置所述多个物品的货架对应的货架识别信息。
根据这样的信息处理方法，能够基于物品的相对位置关系进行推定货架。
本发明的第三实施例，提供了一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行上述的控制方法所对应的操作。
根据这样的构成，能够实现能够推定摄像图像所包含的货架是哪个货架的功能。
附图说明
下面，参照附图对实施例所涉及的货架信息推定装置及信息处理程序进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：
图1是表示各实施例通用的货架推定系统的一例的图；
图2是表示各实施例通用的货架信息推定装置的一例的框图；
图3是表示基于第一实施例所涉及的货架推定系统的货架推定的一例的流程图；
图4是表示第一实施例所涉及的摄像图像的一例的图；
图5是表示各实施例通用的货架管理信息的一部分的例子；
图6是表示基于第二实施例所涉及的货架推定系统的货架推定的一例的流程图；
图7是表示第二实施例所涉及的物品的相对关系的一例的图；
图8是表示第二实施例所涉及的摄像图像的一例的图，并示出摄像图像包含有多个货架的例子；
图9是表示基于第三实施例所涉及的货架推定系统的货架推定的一例的流程图；以及
图10是表示第三实施例所涉及的货架的框(边缘)识别结果的一例的图。
附图标记说明
1、 货架信息推定装置 2 摄像头
3 数据库(DB) 4 显示装置
5 显示器 11 货架
101 处理器 102 存储器
103 操作I/F 104 输入I/F
105 显示I/F
具体实施方式
以下，参照附图对第一、第二及第三实施例进行说明。
(第一实施例)
在第一实施例中，对利用物品的识别结果的货架推定进行说明。
图1是表示第一实施例所涉及的货架推定系统的一例的图。另外，图1所示的货架推定系统在第二及第三实施例中，基本构成实质上也相同，关于同一构成的说明适当省略。如图1所示，货架推定系统具备货架信息推定装置1及摄像头2。摄像头2摄像包含陈列有大于等于一个的物品的货架的区域，并输出摄像图像。货架信息推定装置1识别来自摄像头2的摄像图像所包含的大于等于一个的物品，并基于大于等于一个的物品的识别结果，推定陈列有大于等于一个的物品的货架的货架识别信息(货架台号码)。
例如，货架信息推定装置1从数据库(DB)取得货架管理信息。例如，货架管理信息是关联了与各货架对应的货架识别信息(货架台号码(货架ID))、与各货架所包含的货架格(层)对应的货架格识别信息(货架格号码)、各货架(各层)所包含的与货架位置对应的货架位置识别信息(货架位置号码)、与放置在各货架位置上的物品对应的物品指定信息、放置在各货架位置上的物品的面位(face)数、放置在各货架位置上的物品的面位(face)面、以及放置在各货架位置上的物品的层叠陈列数的信息。
另外，物品指定信息是用于指定摄像图像中的物品的信息，是关联了物品的图像信息、物品的图像信息所包含的局部特征量信息、以及记录或存储在对应各货架位置粘贴的货架牌上的货架牌识别信息中的至少一个信息和物品识别信息(物品的识别代码)的信息。例如，物品识别信息包含物品固有的信息及物品的类别信息。也就是，货架管理信息包含表示在哪个货架的哪个位置配置有哪种类别的物品的信息。
另外，也可以在货架牌中记录或存储物品识别信息。货架牌既可以是纸介质，又可以是电子信息存储介质。如是纸介质的货架牌，则通过二维码、QR代码(注册商标)等记录(打印)信息，如是电子信息存储介质的货架牌，则按照规定格式存储信息。电子信息存储介质是输出物品识别信息的介质，例如对物品识别信息进行显示，或通过无线通信进行发送。
放置在各货架位置的物品的面位数表示同一物品被横向陈列的数，在同一物品横向配置成一列时为“1”、在同一物品横向配置成二列时为“2”。放置在各货架位置上的物品的面位面表示在构成物品的多个面中朝向货架的前面的面、也就是与摄像头2对峙(对置)的面。如物品是长方体(6面)，则对物品的各面分配有“1”、“2”、“3”、“4”、“5”、“6”，如与摄像头2对峙的面为“1”，则物品的面位面为“1”。物品的层叠陈列数表示同一物品在垂直方向(纵向)上被陈列的数，在同一商品在垂直方向上被配置成1列时为“1”、在同一商品在垂直方向上被配置成2列时为“2”。
另外，将货架管理信息的一部分(货架识别信息、货架格识别信息、货架位置识别信息、以及物品识别信息的关联)称为货架配置计划信息。
例如，货架信息推定装置1基于物品管理信息，识别与摄像图像所包含的多个物品对应的物品指定信息，并对与放置所述多个的物品各个的物品的货架位置对应的货架位置识别信息进行识别。此外，货架信息推定装置1基于货架管理信息和识别结果包含的货架位置识别信息，推定与放置摄像图像所包含的多个物品的货架对应的货架识别信息。
例如，摄像头2摄像包含陈列有物品10A、10B、10C以及10D的货架11的区域。例如，货架11包含第一货架格111及第二货架格112。第一货架格111包含货架位置111A及111B，第二货架格112包含货架位置112C及112D。此外，与货架位置111A对应陈列有物品10A。并且，与货架位置111A对应也可以粘贴有货架牌12A。此外，与货架位置111B对应陈列有物品10B。并且，与货架位置111B对应也可以粘贴有货架牌12B。此外，与货架位置112C对应陈列有物品10C。并且，与货架位置112C对应也可以粘贴有货架牌12C。此外，与货架位置112D对应陈列有物品10D。并且，与货架位置112D对应也可以粘贴有货架牌12D。
货架牌12A包含与陈列在货架位置111A上的物品10A相关的物品识别信息，货架牌12B包含与陈列在货架位置111B上的物品10B相关的物品识别信息，货架牌12C包含与陈列在货架位置112C上的物品10C相关的物品识别信息，货架牌12D包含与陈列在货架位置112D上的物品10D相关的物品识别信息。
图2是表示第一实施例所涉及的货架信息推定装置的一例的框图。另外，图2所示的货架信息推定装置在第二及第三实施例中基本构成实质上也相同，所以对同一构成的说明进行适当省略。如图2所示，货架信息推定装置1包括处理器101、存储器102、操作I/F103、输入I/F104、以及显示I/F105。
处理器101诸如是CPU(Central Processing Unit：中央处理器)，通过展开存储器102等所存储的程序，处理器101解析及执行该程序，从而处理器101基于货架管理信息等执行各种的信息处理、诸如摄像图像所包含的物品的识别处理、以及推定放置摄像图像所包含的物品的货架(货架识别信息)的货架信息推定处理。
存储器102包含诸如内置或外置的闪存等的半导体存储器、HDD(Hard DiskDrive：硬盘驱动器)、SSD(Solid State Drive：固态硬盘)。此外，存储器102既可以包含RAM(Random Access Memory：随机存取存储器)及ROM(Read Only Memory：只读存储器)等，又可以是RAM及ROM与存储器102分开的构成。此外，存储器102也可以存储货架管理信息。
操作I/F103是取得来自接受键盘等的输入操作的设备的信息的接口。另外，操作I/F103可对应无线及有线的任一方。
输入I/F104是取得来自摄像头2的摄像图像的接口，并且也是取得数据库(DB)3所包含的货架管理信息的接口。例如，通过输入I/F104取得的货架管理信息被存储到存储器102中。另外，输入I/F104可对应无线及有线的任一方。
显示I/F105是将摄像图像所包含的物品的识别结果及放置摄像图像所包含的物品的货架的推定结果等输出给显示装置(设备)4及显示器5的接口。
图3是表示基于第一实施例所涉及的货架推定系统的货架推定的一例的流程图。如图3所示，货架信息推定装置1的处理器101通过输入I/F104，取得通过摄像头2已摄像的摄像图像(ACT11)。
图4是表示摄像图像的一例的图。如图4所示，摄像图像包含货架11、物品10A、10B、10C以及10D、货架牌12A、12B、12C以及12D等。另外，在这里，虽然示出了通过摄像粘贴有货架牌12A、12B、12C、以及12D的货架11而取得的摄像图像的一例，但向货架11并不是必须粘贴货架牌12A、12B、12C、以及12D。如未向货架11粘贴有货架牌12A、12B、12C、以及12D，则摄像图像包含货架11、物品10A、10B、10C、以及10D，不包含货架牌12A、12B、12C、以及12D。
处理器101基于货架管理信息，识别摄像图像所包含的多个物品(ACT12)。例如，处理器101对与图4所示的摄像图像所包含的物品10A、10B、10C、以及10D对应的物品识别信息等进行识别。通过这样，处理器101能够识别摄像图像所包含的多个物品的种类等。另外，物品的识别使用模板匹配、特征点匹配等，只要能够指定摄像图像中的物品的种类，则方法不限。
此外，处理器101也可以基于货架管理信息，从摄像图像所包含的货架牌(与放置多个物品的各个物品的货架位置对应的货架牌)识别货架牌识别信息，并取得与货架牌识别信息对应的物品识别信息。另外，也可以在货架牌中记录或存储物品识别信息替换货架牌识别信息。这时，物品识别信息从货架牌被识别。这样，通过识别货架牌，不论是否放置有物品都能够获得物品识别信息。例如，从与图4所示的摄像图像所包含的物品10A、10B、10C、以及10D各个物品被放置的货架位置111A、111B、112C、112D对应的货架牌12A、12B、12C、以及12D，识别物品识别信息。
另外，既可以兼用物品的识别处理和货架牌的识别处理，又可以实施其中一方的识别处理。
处理器101对货架管理信息(货架配置计划信息)和识别结果所包含的物品识别信息进行比较(ACT13)，并基于比较结果推定摄像图像所包含的多个物品被放置的货架(ACT14)。也就是，处理器101推定与摄像图像所包含的多个物品被放置的货架对应的货架识别信息。
图5是表示货架管理信息的一部分的例子。例如，物品管理者基于货架管理信息，在货架11等中陈列物品。货架信息推定装置1以从操作I/F103输入的货架台号码查询货架管理信息，并能够获得与被输入的货架台号码对应的信息。
在这里，进一步对摄像图像所包含的多个物品被放置的货架的推定进行说明。例如，处理器101将摄像图像所包含的多个物品最多所属的货架识别信息输出作为推定结果。也就是，处理器101将与摄像图像所包含的多个物品对应的物品指定信息(物品识别信息)最多所属的货架识别信息输出作为推定结果。换言之，处理器101对与摄像图像所包含的多个物品对应的物品指定信息和属于各货架识别信息的物品指定信息进行比较，将一致率最高的货架识别信息输出作为推定结果。
此外，处理器101也可以将摄像图像所包含的多个物品的类别最多所属的货架识别信息输出作为推定结果。换言之，处理器101对摄像图像所包含的多个物品的类别和属于各货架识别信息的物品的类别进行比较，将一致率最高的货架识别信息输出作为推定结果。
例如，在图4及图5的例子中，将与摄像图像所包含的物品10A、10B、10C、以及10D对应的物品指定信息(例如，物品10A、10B、10C、以及10D的物品识别代码)最多所属的货架识别信息(货架台号码1)输出作为推定结果。另外，作为推定结果，也可以将货架识别信息与识别结果所包含的物品指定信息(例如，物品10A、10B、10C、以及10D的物品识别代码)一起进行输出。此外，也可以将摄像图像分割成几个模块，并将货架识别信息和与各分割模块所包含的物品对应的物品指定信息一起进行输出。或者，也可以将货架识别信息和与摄像图像所包含的多个物品对应的图像一起进行输出。
(第二实施例)
在第二实施例中，对利用了物品的相对关系的货架推定进行说明。
第二实施例所涉及的货架推定系统与第一实施例所涉及的货架推定系统基本构成相同。在第二实施例中，主要对与第一实施例之间的差别进行说明。
图6是表示基于第二实施例所涉及的货架推定系统的货架推定的一例的流程图。此外，图7是表示第二实施例所涉及的物品的相对关系的一例的图。此外，图8是表示第二实施例所涉及的摄像图像的一例的图，示出摄像图像中包含有多个货架的例子。
如图6所示，货架信息推定装置1的处理器101通过输入I/F104，取得摄像头2已摄像的摄像图像(ACT21)。例如，与在第一实施例中已说明的摄像图像的取得同样。处理器101基于货架管理信息，识别摄像图像所包含的多个物品(ACT22)。例如，与在第一实施例中已说明的多个物品的识别同样。并且，处理器101指定摄像图像所包含的多个物品的区域。此外，关于这些的指定，使用模板匹配、特征点匹配等，只要能够指定图像中的物品的种类、且各个物品的位置，则方法不限定。
此外，与第一实施例同样，既可以兼用物品的识别的识别处理和货架牌的识别处理，又可以实施其中一方的识别处理。在利用货架牌的识别处理时，处理器101指定摄像图像所包含的货架牌的区域。
处理器101根据摄像图像中的多个物品的区域，生成这些多个物品的相对位置关系(图)(ACT23)。这样，将根据摄像图像所包含的多个物品的识别结果生成这些多个物品的相对位置关系称为多个物品的相对位置关系的识别。并且，处理器101基于货架管理信息和与识别结果所包含的多个物品对应的物品指定信息(物品识别信息)，生成多个物品的相对位置关系(图)(ACT23)。这样，将根据货架管理信息和已被识别的物品识别信息生成这些多个物品的相对位置关系称为多个物品的相对位置关系的推定。这时，也有生成(推定)多个相对位置关系的情况。例如，在多个货架中，在陈列有识别结果所包含的多个物品10A、10B、10C、以及10D时，就会生成(推定)这些多个货架中的相对位置关系。
例如，如图7所示，将物品的中心坐标作为物品的坐标，示出各个物品处于哪种位置关系。另外，相对位置关系即使不是图，只要能够示出相对位置关系，则也可以是文本数据等，形式不限。此外，也可以将邻接的多个相同的物品汇集成一个。
处理器101对被识别的相对位置关系和被推定的相对位置关系进行比较(ACT24)，基于比较结果，推定与多个物品被放置的货架对应的货架识别信息(ACT25)。例如，处理器101将与基于比较结果导出相似度最高的比较结果的货架对应的货架识别信息输出作为推定结果。
对表示已识别的相对位置关系的图和表示已推定的相对位置关系的图进行比较，推定在货架配置计划中哪个部分是被摄像的地方。作为比较方法，使用模板匹配等，只要是能够指定物品的相对位置关系相似的地方的方法，则方法不限。处理器101基于比较结果，将货架配置计划信息中一致率最高的地方的货架识别信息输出作为推定结果。此外，处理器101作为推定结果，也可以关联输出货架识别信息及已识别的物品识别信息。
例如，在图7的例子中，处理器101关联输出货架台号码1及物品10A、10B、10C、以及10D的物品识别代码。这时，也可以关联输出货架台号码1的各区域的图像及物品10A、10B、10C、以及10D的图像。
此外，图8所示的摄像图像包含不同的多个货架。这时也同样，通过相对位置关系图指定货架配置计划中哪个地方被摄像了，其结果，也可以关联货架台号码1的各区域的图像、物品10B和物品10D的图像，并关联货架台号码1的各区域的图像、物品20E和物品20F的图像而进行输出。
(第三实施例)
在第三实施例中，对利用了货架的识别的货架推定进行说明。
第三实施例所涉及的货架推定系统与第一及第二实施例所涉及的货架推定系统基本构成相同。在第三实施例中，主要对与第一及第二实施例的差别进行说明。
图9是表示基于第三实施例所涉及的货架推定系统的货架推定的一例的流程图。
如图9所示，货架信息推定装置1的处理器101通过输入I/F104，取得由摄像头2已摄像的摄像图像(ACT31)。例如，与第一及第二实施例中已说明的摄像图像的取得同样。处理器101基于货架管理信息，识别摄像图像所包含的多个物品(ACT32)。例如，与在第一及第二实施例中已说明的多个物品的识别同样。
处理器101从摄像图像检测边缘信息等，并基于检测结果识别货架的框(边缘)(ACT33)。图10是表示货架的框(边缘)识别结果的一例的图。关于该货架的框(边缘)识别，既可以识别货架格将货架格的高度变化的地方作为框，又可以在货架管理信息中处于货架的一端(边缘)的物品已被识别时，将其物品的一端作为货架的框(边缘)，只要能够识别货架的框(边缘)则方法不限。
处理器101推定货架的框所包围的区域或以货架的框划分的区域所属的货架的货架识别信息(ACT34)。例如，处理器101基于与这些区域内包含的物品对应的物品指定信息查询货架管理信息，并通过多数决处理，将与这些区域内包含的物品对应的物品指定信息最多所属的货架识别信息输出作为推定结果。
或者，也可以存储器102预先存储表示通过摄像头2已摄像的位置的位置信息及表示摄像头2的方向的方向信息，基于这些信息推定货架。例如，存储器102预先存储关联了位置信息、方向信息、用这些位置信息和方向信息大致拍进(映入)的货架的摄像图像、以及该摄像图像所包含的货架的货架识别信息的货架推定信息。处理器101也可以根据摄像动作中的摄像头2的位置信息及方向信息和货架推定信息，推定与通过该摄像头2摄像的摄像图像所包含的货架对应的货架识别信息。倘若知道摄像动作中的摄像头2的位置信息及方向信息，则能够根据事先收集的货架推定信息，推定摄像图像中所包含的货架。此外，也可以推定与在包含根据摄像图像识别的物品的区域中最大区域对应的货架。
参照图5及图10，对多数决处理的一例进行说明。如图10所示，在货架的框所包围的区域中存在有物品10A、10B、10C、以及10D。关于存在的物品10A、10B、10C、以及10D，当参照图5时，物品10A、10B、10C、以及10D均预定配置在货架台号码1中，根据图5及图10可知在货架的框所包围的区域内货架台号码1的物品存在有四个。根据这些信息，处理器101将货架的框所包围的区域推定为货架台号码1。货架信息推定装置作为结果，关联输出已推定的货架台号码和与已识别的多个物品对应的物品识别信息。这时，也可以输出已推定的货架台号码和货架的框所包围的区域。
根据以上说明的至少一个实施例，通过利用识别处理，能够不利用无线设备、标记等而高精度推定物品被放置的货架。此外，通过利用货架牌的信息，即使在缺货状态、断货状态下也能够高精度推定物品被放置的货架。此外，通过利用识别处理，能够基于被识别的物品的类别，高精度推定物品被放置的货架。此外，能够基于被识别的相对位置关系，高精度推定物品被放置的货架。此外，能够基于被识别的货架的框，高精度推定放置有物品的货架。此外，能够基于货架的框所包围的地方或以货架的框划分的区域，高精度推定放置有物品的货架。此外，能够基于位置信息及方向信息，高精度推定放置有物品的货架。另外，能够通过适当组合执行上述说明的货架推定处理，进一步使货架的推定精度提高。
另外，基于货架推定系统的货架推定处理能够基于大于等于一个的软件，通过大于等于一个的处理器来执行。因此，只要通过存储执行上述说明的货架推定处理的次序的大于等于一个的程序的计算机可读存储介质向货架信息推定装置1的存储器102等安装并执行大于等于一个的程序，就能够容易地实现货架推定处理。例如，货架信息推定装置1能够经由网络下载上述程序，存储已下载的程序，完成程序的安装。或者，货架信息推定装置1能够从信息存储介质读取上述程序，并存储已读取的程序，完成程序的安装。
虽然对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。
在本发明中，提供了一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行如上述的信息处理方法所对应的操作。根据这样的构成，能够实现能够推定摄像图像所包含的货架是哪个货架的功能。
本发明的一个或多个实施例可以被实施为计算机可读记录介质，可以将由计算机执行的诸如程序模块之类的命令或指令记录在该计算机可读记录介质上。计算机可读记录介质可以为能够由计算机访问的任何介质，如易失性介质等。此外，计算机可读记录介质可以为计算机存储介质或可以为任何信息传输媒介的通信介质。
本发明的计算机可读记录介质，存储有信息处理程序，所述信息处理程序使计算机执行以下步骤：取得摄像图像的步骤；基于关联与各货架对应的货架识别信息、与各货架所包含的货架位置对应的货架位置识别信息、与放置在各货架位置的物品对应的物品指定信息的货架管理信息，对摄像图像所包含的多个物品进行识别的步骤；以及基于所述货架管理信息及物品的识别结果，推定与放置所述多个物品的货架对应的货架识别信息的步骤。

Claims (10)

1.一种货架信息推定装置，包括：
取得部，取得摄像图像；
识别部，基于关联了与各货架对应的货架识别信息、与各货架所包含的货架位置对应的货架位置识别信息及与放置在各货架位置上的物品对应的物品指定信息的货架管理信息，对所述摄像图像所包含的多个物品的物品识别信息进行识别，所述物品指定信息是关联了物品的图像信息和物品识别信息的信息；以及
推定部，对所述货架管理信息的物品识别信息和物品的识别结果的所述多个物品的多个物品识别信息进行比较，推定与放置所述多个物品的货架对应的货架识别信息，
其中，所述识别部根据摄像图像所包含的物品和所述图像信息来识别与物品对应的物品识别信息。
2.根据权利要求1所述的货架信息推定装置，其中，
所述推定部输出物品的识别结果所包含的所述多个物品识别信息最多所属的货架识别信息作为推定结果。
3.根据权利要求1或2所述的货架信息推定装置，其中，
所述推定部输出物品的识别结果所包含的所述多个物品识别信息具有的类别最多所属的货架识别信息作为推定结果。
4.根据权利要求1所述的货架信息推定装置，其中，
所述识别部进一步根据在所述摄像图像中的所述多个物品的识别结果，识别多个物品的相对位置关系，
所述推定部基于所述货架管理信息和与识别结果所包含的所述多个物品对应的多个物品识别信息推定所述多个物品的相对位置关系，并基于被识别的相对位置关系和被推定的相对位置关系之间的比较，推定与放置所述多个物品的货架对应的货架识别信息。
5.根据权利要求1所述的货架信息推定装置，其中，
所述识别部进一步识别所述摄像图像所包含的货架的框的位置，
所述推定部基于所述货架的框所包围的区域内所包含的已识别的所述多个物品识别信息查询所述货架管理信息，推定与放置所述多个物品的货架对应的货架识别信息。
6.一种信息处理方法，包括以下步骤：
取得步骤，取得摄像图像；
识别步骤，基于关联了与各货架对应的货架识别信息、与各货架所包含的货架位置对应的货架位置识别信息及与放置在各货架位置上的物品对应的物品指定信息的货架管理信息，对所述摄像图像所包含的多个物品的多个物品识别信息进行识别，所述物品指定信息是关联了物品的图像信息和物品识别信息的信息；以及
推定步骤，对所述货架管理信息的物品识别信息和物品的识别结果的所述多个物品识别信息进行比较，推定与放置所述多个物品的货架对应的货架识别信息，
其中，所述识别步骤根据摄像图像所包含的物品和所述图像信息来识别与物品对应的物品识别信息。
7.根据权利要求6所述的信息处理方法，其中，
在所述推定步骤中输出物品的识别结果所包含的所述多个物品识别信息最多所属的货架识别信息作为推定结果。
8.根据权利要求6或7所述的信息处理方法，其中，
在所述推定步骤中输出物品识别信息所具有的识别结果所包含的所述多个物品的类别最多所属的货架识别信息作为推定结果。
9.根据权利要求6所述的信息处理方法，其中，
在所述识别步骤中进一步根据在所述摄像图像中的所述多个物品的识别结果，识别多个物品的相对位置关系，
在所述推定步骤中基于所述货架管理信息和与识别结果所包含的所述多个物品对应的多个物品识别信息推定所述多个物品的相对位置关系，并基于被识别的相对位置关系和被推定的相对位置关系之间的比较，推定与放置所述多个物品的货架对应的货架识别信息。
10.一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，其特征在于，
所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行如权利要求6至9中任一项所述的信息处理方法所对应的操作。
CN201810871033.1A 2017-09-19 2018-08-02 货架信息推定装置、信息处理方法及终端设备 Active CN109522780B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017179447A JP7019357B2 (ja) 2017-09-19 2017-09-19 棚情報推定装置及び情報処理プログラム
JP2017-179447 2017-09-19

Publications (2)

Publication Number Publication Date
CN109522780A CN109522780A (zh) 2019-03-26
CN109522780B true CN109522780B (zh) 2023-08-25

Family

ID=63683648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810871033.1A Active CN109522780B (zh) 2017-09-19 2018-08-02 货架信息推定装置、信息处理方法及终端设备

Country Status (4)

Country Link
US (1) US10796162B2 (zh)
EP (1) EP3457341A1 (zh)
JP (1) JP7019357B2 (zh)
CN (1) CN109522780B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
DE112018002314T5 (de) 2017-05-01 2020-01-23 Symbol Technologies, Llc Verfahren und vorrichtung zur erkennung eines objektstatus
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11100303B2 (en) * 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
US11922391B2 (en) * 2019-03-01 2024-03-05 Nec Corporation Article deduction apparatus, article deduction method, and program
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
DE112019007564T5 (de) * 2019-07-25 2022-04-28 Hanshow Technology Co., Ltd Regalkantenpositionierungsverfahren und -vorrichtung
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
US20230124838A1 (en) * 2021-10-18 2023-04-20 We Scan, Llc Systems and methods for managing beverage dispatching

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101965142A (zh) * 2007-12-28 2011-02-02 精工电子数据服务有限公司 货架标签显示控制装置及货架标签显示控制方法和电子货架标签系统
CN102523758A (zh) * 2010-08-31 2012-06-27 新日铁系统集成株式会社 增强现实提供系统、信息处理终端、信息处理装置、增强现实提供方法、信息处理方法以及程序
CN102930264A (zh) * 2012-09-29 2013-02-13 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
WO2015140852A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 情報処理装置、商品棚管理システム、及び、商品棚管理方法
WO2016148027A1 (ja) * 2015-03-18 2016-09-22 日本電気株式会社 情報処理装置、発注支援方法及び支援方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006134082A (ja) 2004-11-05 2006-05-25 Nippon Telegr & Teleph Corp <Ntt> 属性情報出力装置、不明物推定方法、およびプログラム
CN105190655B (zh) * 2013-03-04 2018-05-18 日本电气株式会社 物品管理系统、信息处理设备及其控制方法和控制程序
US20150262116A1 (en) * 2014-03-16 2015-09-17 International Business Machines Corporation Machine vision technology for shelf inventory management
JP6202216B2 (ja) * 2014-09-30 2017-09-27 日本電気株式会社 情報処理装置、棚札管理システム、制御方法、及びプログラム
WO2016052383A1 (ja) * 2014-09-30 2016-04-07 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP6791534B2 (ja) 2015-01-22 2020-11-25 日本電気株式会社 商品管理装置、商品管理方法及びプログラム
US9864969B2 (en) * 2015-06-26 2018-01-09 Toshiba Tec Kabushiki Kaisha Image processing apparatus for generating map of differences between an image and a layout plan
JP6517666B2 (ja) 2015-11-02 2019-05-22 株式会社東芝 物品管理装置、その方法、及びそのプログラム
JP6938169B2 (ja) * 2017-03-01 2021-09-22 東芝テック株式会社 ラベル生成装置及びプログラム
CA3067361A1 (en) * 2017-06-28 2019-01-03 PetSmart Home Office, Inc. Methods and systems for automatically mapping a retail location

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101965142A (zh) * 2007-12-28 2011-02-02 精工电子数据服务有限公司 货架标签显示控制装置及货架标签显示控制方法和电子货架标签系统
CN102523758A (zh) * 2010-08-31 2012-06-27 新日铁系统集成株式会社 增强现实提供系统、信息处理终端、信息处理装置、增强现实提供方法、信息处理方法以及程序
CN102930264A (zh) * 2012-09-29 2013-02-13 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
WO2015140852A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 情報処理装置、商品棚管理システム、及び、商品棚管理方法
WO2016148027A1 (ja) * 2015-03-18 2016-09-22 日本電気株式会社 情報処理装置、発注支援方法及び支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于SIFT算法的物流货品图像识别系统研究;曾绍玮;《物流技术》;20121215(第23期);全文 *

Also Published As

Publication number Publication date
US10796162B2 (en) 2020-10-06
CN109522780A (zh) 2019-03-26
JP7019357B2 (ja) 2022-02-15
US20190087663A1 (en) 2019-03-21
JP2019055828A (ja) 2019-04-11
EP3457341A1 (en) 2019-03-20

Similar Documents

Publication Publication Date Title
CN109522780B (zh) 货架信息推定装置、信息处理方法及终端设备
US11288627B2 (en) Information processing apparatus, control method, and program
US11367092B2 (en) Method and apparatus for extracting and processing price text from an image set
US11049279B2 (en) Device for detecting positional relationship among objects
US9697429B2 (en) Method and apparatus for image processing to avoid counting shelf edge promotional labels when counting product labels
US8107736B2 (en) System and method for device mapping based on images and reference points
US20120070086A1 (en) Information reading apparatus and storage medium
US20160292628A1 (en) Method, and storage medium
US10929629B2 (en) Positional relationship detection device and positional relationship detection system
US9811537B2 (en) Product identification via image analysis
CN109816298B (zh) 物流管理方法及系统
JP2023073432A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2016185845A (ja) 検品処理装置、検品処理方法及びプログラム
JP2017097622A (ja) 情報処理装置、情報処理方法、及びプログラム
US8622284B1 (en) Determining and recording the locations of objects
US20160117630A1 (en) Orphaned package identification
JPWO2019064926A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11462004B2 (en) Object identification device, object identification method, calculation device, system, and recording medium
US20230070529A1 (en) Processing apparatus, processing method, and non-transitory storage medium
US20230064123A1 (en) Article specification apparatus, article specification method, and non-transitory storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant