CN108108655B - 物品识别装置及控制方法、终端设备 - Google Patents

物品识别装置及控制方法、终端设备 Download PDF

Info

Publication number
CN108108655B
CN108108655B CN201711097126.5A CN201711097126A CN108108655B CN 108108655 B CN108108655 B CN 108108655B CN 201711097126 A CN201711097126 A CN 201711097126A CN 108108655 B CN108108655 B CN 108108655B
Authority
CN
China
Prior art keywords
article
region
image
information
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711097126.5A
Other languages
English (en)
Other versions
CN108108655A (zh
Inventor
安永真明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Publication of CN108108655A publication Critical patent/CN108108655A/zh
Application granted granted Critical
Publication of CN108108655B publication Critical patent/CN108108655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/268—Lexical context
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种物品识别装置及控制方法、终端设备，其能够判定作为识别对象的多个物品的状态，该物品识别装置包括：图像取得部及处理器。图像取得部取得摄像了包含物品配置区域的摄像区域的摄像图像。处理器在从所述摄像图像指定的物品区域中指定各个物品，使用指定物品的词库信息所包含的表示物品的外形的外形信息指定推定为在所述物品区域中已指定的各个物品的整体的外形的推定物品区域，并通过所述推定物品区域判定在所述摄像图像中的各个物品的重叠状态。

Description

物品识别装置及控制方法、终端设备
本申请主张申请日为2016年11月25日、申请号为JP2016-228951的日本申请为优先权，并引用上述申请的内容，通过引用将其公开内容全部结合于此。
技术领域
本发明的实施例涉及一种物品识别装置及控制方法、终端设备。
背景技术
目前，根据摄像图像识别多个物品(对象物)的物品识别装置已被实用化。物品识别装置进行从摄像了包含物品被配置的区域的摄像区域的摄像图像指定物品的图像区域，并在已指定的物品的图像区域中指定物品的处理。不过，现有的物品识别装置当多个物品处于重叠配置时，很难正确识别各个物品及这些物品的配置。
发明内容
鉴于上述问题，本发明所要解决的技术问题是，提供一种物品识别装置及控制方法、终端设备，其能够判定作为识别对象的多个物品的状态。
为解决上述问题，本发明的一实施例，提供了一种物品识别装置，包括：图像取得部及处理器。图像取得部取得摄像了包含物品配置区域的摄像区域的摄像图像。处理器在从所述摄像图像指定的物品区域中指定各个物品，使用指定物品的词库信息所包含的表示物品的外形的外形信息指定推定为在所述物品区域中已指定的各个物品的整体的外形的推定物品区域，并通过所述推定物品区域判定在所述摄像图像中的各个物品的重叠状态。
根据这样的构成，能够判定作为识别对象的多个物品的状态。
对于物品识别装置，在一种可能的实施方式中，还包括：距离取得部，取得表示从基准点到所述摄像区域中的对象物的距离的距离信息，其中，所述处理器使用所述距离信息指定所述摄像图像中的成为各个物品的候补的物品候补区域，指定在所述物品候补区域中的物品种类，并指定针对已指定的物品的推定物品区域。
根据这样的构成，通过使用距离信息，即使在摄像图像中有多个识别对象的物品时，也能够正确地识别各个物品。
对于物品识别装置，在一种可能的实施方式中，所述处理器当存在有已被指定为相同种类物品的多个物品候补区域时，通过针对已被指定为所述相同种类的各个物品的多个推定物品区域，判定从多个物品候补区域已被指定为相同种类的物品是否是单一物品。
根据这样的构成，通过判定从多个物品候补区域已被指定为相同种类的物品是否是单一物品，能够防止将一物品被识别为多个物品的情况发生，并能够正确地识别各个物品。
对于物品识别装置，在一种可能的实施方式中，所述外形信息是表示物品的至少一部分轮廓的信息。
根据这样的构成，通过使用表示物品的至少一部分轮廓的信息，能够指定针对已指定的物品的推定物品区域。
对于物品识别装置，在一种可能的实施方式中，所述词库信息所包含的用于指定物品的特征信息和外形信息具有表示位置的依存关系的相对位置信息，所述处理器使用所述相对位置信息指定推定物品区域。
根据这样的构成，通过使用相对位置信息，能够正确地指定推定物品区域。
本发明的另一实施例，提供了一种物品识别装置的控制方法，该物品识别装置具有取得摄像了包含物品配置区域的摄像区域的摄像图像的图像取得部，该控制方法包括以下步骤：在从所述摄像图像指定的物品区域中指定各个物品的步骤；使用指定物品的词库信息所包含的表示物品的外形的外形信息指定推定为在所述物品区域中已指定的各个物品的整体的外形的推定物品区域的步骤；以及通过所述推定物品区域来判定在所述摄像图像中的各个物品的重叠状态的步骤。
根据这样的控制方法，能够判定作为识别对象的多个物品的状态。
对于控制方法，在一种可能的实施方式中，使用取得的表示从基准点到所述摄像区域中的对象物的距离的距离信息指定所述摄像图像中的成为各个物品的候补的物品候补区域，指定在所述物品候补区域中的物品种类，并指定针对已指定的物品的推定物品区域。
根据这样的控制方法，通过使用距离信息，即使在摄像图像中有多个识别对象的物品时，也能够正确地识别各个物品。
对于控制方法，在一种可能的实施方式中，当存在有已被指定为相同种类物品的多个物品候补区域时，通过针对已被指定为所述相同种类的各个物品的多个推定物品区域，判定从多个物品候补区域已被指定为相同种类的物品是否是单一物品。
根据这样的控制方法，通过判定从多个物品候补区域已被指定为同一种类的物品是否是单一物品，能够防止将一物品被识别为多个物品的情况发生，并能够正确地识别各个物品。
对于控制方法，在一种可能的实施方式中，所述外形信息是表示物品的至少一部分轮廓的信息。
根据这样的控制方法，通过使用表示物品的至少一部分轮廓的信息，能够指定针对已指定的物品的推定物品区域。
本发明的第三实施例，提供了一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行上述的控制方法所对应的操作。
根据这样的构成，能够实现能够判定作为识别对象的多个物品的状态的功能。
附图说明
下面，参照附图对实施例所涉及的物品识别装置进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：
图1是表示包含第一实施例所涉及的物品识别装置的物品识别系统的构成例的示意图；
图2是表示第一实施例所涉及的物品识别装置的构成例的框图；
图3是用于对第一实施例所涉及的物品识别装置中的词库登记处理进行说明的流程图；
图4是示意地示出第一实施例所涉及的物品识别装置的词库所登记的信息的图；
图5是用于对第一实施例所涉及的物品识别装置中的物品识别处理进行说明的流程图；
图6是表示在基于第一实施例所涉及的物品识别装置的物品识别处理中成为识别对象的物品的配置状态、摄像图像及物品区域的例子的图；
图7是表示包含第二实施例所涉及的物品识别装置的物品识别系统的构成例的示意图；
图8是表示第二实施例所涉及的物品识别装置的构成例的框图；
图9是用于对在第二实施例所涉及的物品识别装置中的词库登记处理进行说明的流程图；
图10是用于对第二实施例所涉及的物品识别装置中的物品识别处理进行说明的流程图；
图11是表示在基于第二实施例所涉及的物品识别装置的物品识别处理中成为识别对象的物品的配置状态、摄像图像及物品区域的例子的图；以及
图12是用于对基于第二实施例所涉及的物品识别装置的物品识别处理中的同一判定处理的具体例进行说明的图。
附图标记说明
1、1’ 物品识别系统 2 底座
3 框架 4 摄像头
6、6’ 物品识别装置 7 显示装置
8 输入装置 9 距离传感器
11 处理器 12 存储器
13 存储装置 14 词库
15 摄像头接口(图像取得部)
16 显示接口 17 输入接口
18 距离传感器接口(距离取得部)
具体实施方式
以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中同一的附图标记表示功能同一或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。
下面，参照附图，对实施例进行说明。
第一实施例
首先，对包含第一实施例所涉及的物品识别装置6的物品识别系统1的构成进行说明。
图1是示意地示出包含第一实施例所涉及的物品识别装置6的物品识别系统1的构成例的侧视图。此外，图2是表示第一实施例所涉及的物品识别装置6的构成例的框图。
如图1所示，物品识别系统1具有底座2、框架3、摄像头4及物品识别装置6。物品识别系统1是物品识别装置6识别摄像头4所摄像的摄像图像所包含的各个物品的系统。此外，如图2所示，物品识别系统1具有与物品识别装置6连接的显示装置7及输入装置8。例如，物品识别系统1也可以作为针对物品识别装置6所识别的物品进行结算的结算装置进行实施。当将物品识别系统1作为结算装置进行实施时，物品识别系统1只要设置计算物品的费用的功能和对物品的费用进行结算的功能就可以。此外，物品识别系统1也可以作为计数或检测识别装置6所识别的物品的计数装置或检查物品装置进行实施。
底座2具有载置作为识别对象的物品5a、5b的面。底座2在载置物品的面上设定配置成为识别对象的物品的区域(物品配置区域)。底座2只要是配置成为识别对象的多个物品的物品配置区域被包含在摄像头4的摄像范围内的底座就可以。例如，底座2的载置物品的面也可以用规定的图案(例如黑色)被涂装。此外，底座2也可以载置处于装入了作为识别对象的多个物品的状态下的筐。此外，底座2也可以是具备多个物品一直处于被载置的状态下被输送的带输送机的底座。
框架3是支撑摄像头4的支撑部件。框架3能够在与底座2中的载置物品的面对置的位置上安装摄像头4。
摄像头4是摄像成为物品的识别对象的图像的摄像装置。例如，摄像头4包括CCD(Charge Coupled Devices：电荷耦合器件)图像传感器或者CMOS(Complementary MetalOxide Semiconductor：互补金属氧化物半导体)图像传感器等摄像元件、使光在摄像元件上成像的透镜(镜头)。摄像头4也可以是摄像不可见光的构成。例如，摄像头4也可以是红外摄像头。
摄像头4以透镜的摄像光轴与底座2对置的方式安装在框架3上。摄像头4以在摄像区域中包含底座2上的物品配置区域的方式进行设定。摄像头4对包含底座2上的物品配置区域所配置的物品5a、5b的上表面的图像的图像进行摄像。摄像头4将已摄像的摄像图像供给给物品识别装置6。摄像头4也可以根据物品识别装置6的控制来摄像图像。
物品识别装置6针对摄像头4所摄像的摄像图像进行物品识别处理。物品识别装置6由作为可执行后述的识别处理的信息处理装置的电子计算机构成。在图2所示的构成例中，物品识别装置6具有处理器11、存储器12、存储装置13、摄像头I/F15、显示I/F16及输入I/F17。处理器11、存储器12、存储装置13、摄像头I/F15、显示I/F16及输入I/F17通过总线相互以可通信的状态进行连接。
处理器11是具有执行运算处理的电路的运算元件。处理器11诸如是CPU。处理器11通过执行存储器12或存储装置13所存储的程序来实现各种处理功能。例如，处理器11具有作为特征提取部、外形(外观)提取部、词库登记部、物品指定部、外形推定部及状态判定部等的功能。特征提取部具有从图像中提取用于指定物品的特征信息的功能。外形提取部从图像中提取用于指定物品的外形的外形信息。词库登记部具有将包含特征信息及外形信息的词库信息登记在词库中的功能。物品指定部具有通过从图像中提取的特征信息和词库的特征信息指定物品的功能。外形推定部具有推定各个物品整体的区域的功能。状态判定部具有判定各个物品的状态的功能。
存储器12是处理器11用于执行处理的控制用存储器。例如，存储器12具有ROM及RAM。存储器12的ROM是只读的非易性存储器。ROM存储与物品识别系统1的规格对应的程序及在程序中使用的控制数据等。此外，存储器12的RAM是具有作为工作存储器的功能的易失性存储器。RAM存储处理器11所执行的程序或处理中的数据等。
存储装置13是可改写的非易失性的存储装置。存储装置13诸如是硬盘驱动器(HDD)或固态硬盘(SSD)等的大容量的存储装置。此外，存储装置13也可以为可插入存储卡等记录介质的卡槽等的存储I/F的构成。存储装置13具有存储识别用的词库信息的词库(数据库)14。此外，存储装置13也可以存储处理器11执行的程序及控制数据等。
另外，词库14只要是处理器11可访问的词库就可以，不限定于被设置在物品识别装置6内的词库。例如，词库14也可以设置于处理器11可通信连接的外部装置。
摄像头接口(I/F)15具有可与摄像头4通信地构成的端子。摄像头I/F15对处理器11和摄像头4之间的数据的输入输出进行中继(中转)。例如，摄像头4将已摄像的摄像图像通过摄像头I/F15供给给处理器11。
显示接口(I/F)16与显示装置7连接。显示I/F16对处理器11和显示装置7之间的数据的输入输出进行中继。显示装置7基于通过显示I/F16从处理器11供给的显示控制显示画面。显示装置7具有显示面板和使显示面板显示画面的驱动电路。显示面板诸如是液晶显示器或者有机EL显示器等的显示装置。
输入接口(I/F)17与输入装置8进行连接。输入I/F7对处理器11和输入装置8之间的数据的输入输出进行中继。输入装置8具有操作部件，并将用户使用操作部件输入的信息通过输入I/F17供给给处理器11。输入装置8的操作部件诸如是触摸传感器、键盘及数字键等。触摸传感器诸如是电阻膜式触摸传感器或者静电容式触摸传感器等。触摸传感器也可以与显示装置7的显示面板一体地构成为触摸屏。
接着，对将第一实施例所涉及的物品识别装置6中的识别用的词库信息登记在词库中的词库登记处理进行说明。
图3是用于对基于第一实施例所涉及的物品识别装置6的词库登记处理进行说明的流程图。
例如，操作员通过输入装置8指示词库登记模式作为工作模式。而且，操作员将作为登记对象的物品单体载置在底座2上的物品配置区域中，并指示开始词库登记处理。当开始词库登记处理被指示时，则处理器11指示摄像头4摄像图像。摄像头4根据来自物品识别装置6的指示对包含载置有物品的底座2上的摄像区域的图像进行摄像。摄像头4将已摄像的摄像图像供给给物品识别装置6。
在指示了摄像头4摄像后，物品识别装置6通过摄像头I/F15取得来自摄像头4的摄像图像(ACT11)。当从摄像头4取得摄像图像时，则处理器11从摄像图像中提取用于指定物品的外形的外形信息(ACT12)。外形信息是用于推定物品整体的区域的信息。外形信息诸如是表示端点或轮廓的形状等的至少一部分轮廓的信息。通过这样，能够指定针对已指定的物品的推定物品区域。
此外，处理器11从摄像图像中使用外形信息的内侧的图像信息提取用于指定物品的特征信息(ACT13)。特征信息是用于识别(指定)物品的匹配用信息。例如，特征信息是表示特征点信息及局部特征量等的从物品的图像中可提取的特征量的信息。局部特征量诸如通过SIFT等方法被提取。
此外，特征信息和端点或者轮廓等外形信息具有表示各个位置的依存关系的信息(即相对位置信息)。相对位置信息诸如是用于与因摄像头4和物品的相对位置的变动而产生的物品的摄像图像的放大或缩小对应的信息。通过使用这样的相对位置信息，能够正确地指定推定物品区域。
当从摄像图像中提取物品的特征信息和外形信息时，则处理器11编制将已提取的特征信息和外形信息与表示物品的种类的信息等对应的词库信息(ACT14)。已编制的词库信息是针对在登记对象的物品中的摄像头4所摄像的面的识别用的信息。当编制针对摄像头4所摄像的面的词库信息时，则处理器11将已编制的词库信息登记在词库14中(ACT15)。
图4是示意地示出词库14所登记的特征信息和外形信息的例子的图。在图4所示的物品的摄像图像中，用叉(×)符号所示的地方是作为外形信息的一例的端点。此外，在图4所示的物品的摄像图像中，用圆圈(O)符号所示的部分是包含特征点的区域，关于各个特征点计算局部特征量。当获得有图4所示的物品的摄像图像时，如图4所示，处理器11将表示各个端点的外形信息和表示特征点及局部特征量的特征量信息登记在词库14中。
在本实施例中说明的词库登记处理的前提是基于在单一物品被配置在底座2上的物品配置区域上的状态下所摄像的摄像图像被实施。因此，在登记处理中摄像头4所摄像的摄像图像中包含有一个物品的摄像图像。因此，处理器11在词库登记处理中从摄像图像中能够提取物品单体的图像。其结果，处理器11从物品单体的图像中能够提取用于指定端点或者轮廓等的物品整体的外形的外形信息，并能够将已提取的外形信息登记在词库中。
此外，在图4所示的例子中，物品的特征信息是物品已被摄像的面的图像所存在的多个特征点信息(特征点及局部特征量)。根据这样的特征信息，处理器11在从摄像图像中指定物品的处理中，能够从摄像了物品的至少一部分的图像中指定物品。此外，如果参照与已指定的物品对应的词库的外形信息，则处理器11能够根据从摄像图像中提取的一部分端点或者一部分轮廓等的信息推定物品整体的区域。
ACT11至ACT15的处理关于作为登记对象的物品中的各个面被实施。也就是说，处理器11当ACT15的词库信息的登记结束时，则判定是否结束词库登记处理(ACT16)。例如，物品识别装置6也可以根据来自操作员的结束登记或者对其他面的词库登记的指示来判断词库登记的结束或继续。处理器11当通过输入装置8其他面的登记已被指示时(ACT16的NO)，返回到ACT11，再次执行上述ACT11至ACT15的处理。这时，操作员只要变更与摄像头4对置的物品的面后指示再开始词库登记就可以。此外，处理器11当通过输入装置8结束登记已被指示时(Act16的YES)，结束词库登记处理。
根据以上处理，存储装置13的词库14登记有作为包含针对物品的特征信息及外形信息的词库信息的认证用的词库信息(物品指定用信息)。
接着，对第一实施例所涉及的物品识别装置6中的物品识别处理进行说明。
图5是用于对基于第一实施例所涉及的物品识别装置6的物品识别处理进行说明的流程图。此外，图6是表示多个物品的配置状态S11的例子、摄像图像S12的例子及物品的图像区域S13的例子的图。以下，参照图6所示的具体例，对图5所示的物品识别处理的流程进行说明。
操作员通过输入装置8指示识别处理模式作为工作模式，将作为识别对象的物品配置在底座2上的物品配置区域中。在这里，多个物品被配置在底座2上的物品配置区域中。
例如，在配置了物品后，操作员通过输入装置8指示开始物品识别处理。另外，物品识别处理也可以检测物品已被载置后进行开始。当物品识别处理的开始被指示时，则处理器11指示摄像头4摄像图像。摄像头4根据来自物品识别装置6的指示对包含物品载置区域的摄像区域的图像进行摄像。摄像头4将已摄像的摄像图像供给给物品识别装置6。
物品识别装置6的处理器11接受物品识别处理的开始指示后访问识别用的词库14(ACT21)，并接受来自摄像头4的摄像图像。当摄像头4输出摄像图像时，则物品识别装置6的处理器11通过摄像头I/F15取得来自摄像头4的摄像图像(ACT22)。当从摄像头4取得摄像图像时，则处理器11提取摄像图像中的物品区域(ACT23)。
例如，处理器11通过背景图像和摄像图像之间的差分(背景差分法)来区分物品的区域(物品区域)和除物品以外的区域(非物品区域)。此外，处理器11也可以根据除背景差分法以外的方法来对物品区域和非物品区域进行区别。在图6所示的例子中，当摄像配置状态S11的物品时，则获得摄像图像S12。图6所示的摄像图像S12斜线部分是背景区域R11，除此之外的区域是前景区域(物品的图像区域)R12。如果计算摄像图像S12和仅摄像了背景的背景图像之间的差分，则获得图6所示的物品区域的图像S13。
当提取物品区域时，则处理器11进行指定物品区域所包含的各个物品的物品指定处理(ACT24)。例如，处理器11当从物品区域的图像S13的左侧提取特征信息时，则通过从位于图像S13的左侧的图像区域ra中获得的特征信息来指定物品A。此外，处理器11当从物品区域的图像S13的右侧提取特征信息时，则通过从位于图像S13的右侧的图像区域rb获得的特征信息来指定物品B。
当指定一个物品时，则处理器11从在摄像图像中的已指定的物品的图像区域中提取端点等的至少一部分外形信息。处理器11根据针对已指定的物品的词库14的外形信息和从摄像图像中提取出的外形信息来推定该物品的外形从而指定推定物品区域(ACT25)。推定物品区域是被推定为在摄像图像中的该物品整体的外形区域的区域。当摄像有物品的整体(外形整体)时，推定物品区域与该物品的图像一致。针对于此，当仅摄像有物品的一部分时(当物品的一部分隐藏在其他物品中时)，在推定物品区域中包含有其他物品的图像。在图6所示的例子中，关于物品B，推定物品区域与物品B的图像区域rb一致。针对于此，针对图6所示的例子中的物品A的推定物品区域，包含物品A的图像区域ra和物品B的图像区域rb。
当指定针对已指定的物品的推定物品区域时，则处理器11判定在该摄像图像中是否存在有未识别的物品(ACT26)。例如，处理器11根据在摄像图像中是否存在有未被指定物品的区域来判定是否存在有未识别的物品。当判定出为存在有未识别的物品时(ACT26的NO)，处理器11返回到ACT24，执行其他的物品指定处理。
此外，当判定出为未存在有未识别的物品时(ACT26的YES)，处理器11进行判定已指定的各个物品的状态的状态判定处理(ACT27)。例如，处理器11作为状态判定处理判定各个物品的重叠状态。当推定物品区域和摄像图像中的已指定的物品的图像一致时，处理器11判定为在该物品上没有重叠。此外，当推定物品区域和摄像图像中的已指定的物品图像不一致时，处理器11判定为在该物品上重叠着有其他物品。例如，在图6所示的例子中，判定物品B没有重叠，判定物品A与物品B重叠着。
此外，处理器11在状态判定处理中，进行判定已被指定为同一种类的物品的两个图像区域是否是同一物品的区域的同一判定处理。例如，处理器11作为同一判定处理，判定已被判定为重叠着有其他物品的一个物品有没有被指定为两个物品。此外，处理器11也可以当存在有多个同一种类的物品时进行同一判定处理。这时，处理器11也可以当针对已被指定为同一种类的多个物品的多个推定物品区域重叠时判定为是同一物品。
根据以上，处理器11将从摄像图像中指定了物品的结果和针对已指定的各个物品的状态判定处理的结果作为物品识别处理的结果而结束物品识别处理。
上述的第一实施例所涉及的物品识别装置，不仅从摄像图像中指定多个物品，而且检测出在该摄像图像中的各个物品的重叠状态。也就是说，第一实施例所涉及的物品识别装置通过检测出物品的重叠状态从而能够高精度指定物品。例如，第一实施例所涉及的物品识别装置既能够通过检测出物品的重叠状态而防止商品的漏识别，又能够因重叠商品而确认在上面的商品的下方有没有形成其他小商品进入的空洞。
第二实施例
接着，对包含第二实施例所涉及的物品识别装置6’的物品识别系统1’的构成进行说明。
图7是示意地示出包含第二实施例所涉及的物品识别装置6’的物品识别系统1’的构成例的侧视图。此外，图8是表示第二实施例所涉及的物品识别装置6’的构成例的框图。
如图7所示，物品识别系统1’具有底座2、框架3、摄像头4、物品识别装置6’及距离传感器9。物品识别系统1’是物品识别装置6’识别摄像头4所摄像的摄像图像所包含的各个物品的系统。此外，如图8所示，物品识别系统1’具有与物品识别装置6’连接的显示装置7及输入装置8。例如，物品识别系统1’与第一实施例同样地既可以作为结算装置来实施，又可以作为计数装置或检查物品装置来实施。
底座2、框架3、摄像头4、显示装置7及输入装置8由于能够用与第一实施例中已说明的图1及图2所示的部件相同的部件来实现，所以省略详细的说明。
距离传感器9是取得表示从基准点到对象物的距离的距离信息的传感器。距离传感器9取得距离图像等的距离数据(距离信息)。距离传感器9只要是针对在底座2中的配置物品的面取得距离数据的传感器就可以。距离传感器9例如是摄像作为距离数据的距离图像的3D摄像头。此外，距离传感器9也可以是计量距离数据的超声波传感器等。作为摄像距离图像的距离传感器9，诸如具有立体图像式的传感器、图形光照射式的传感器、或者TOF(Time Of Flight：飞行时间)式的传感器等中的任一传感器。
在这里，对距离传感器9是摄像距离图像的3D摄像头的情况进行说明。作为距离传感器9的3D摄像头具有摄像元件和使来自与摄像头4的视角相比宽广的范围的光在摄像元件上进行成像的透镜。作为距离传感器9的3D摄像头以透镜的摄像光轴与底座2对置的方式安装在框架3上。通过这样的构成，距离传感器9取得表示到底座2上的对象物的距离的距离图像。
另外，摄像头4和距离传感器9也可以一体构成。例如，摄像头4和距离传感器9既可以为共有透镜的构成，又可以为共有透镜和摄像元件的构成。
第二实施例所涉及的物品识别装置6’针对摄像头4所摄像的摄像图像使用距离传感器9所取得的距离图像进行物品识别处理。物品识别装置6’由作为可执行后述的识别处理的信息处理装置的电子计算机构成。在图8所示的构成例中，物品识别装置6’具有处理器11、存储器12、存储装置13、摄像头I/F15、显示I/F16、输入I/F17及距离传感器I/F18。处理器11、存储器12、存储装置13、摄像头I/F15、显示I/F16、输入I/F17及距离传感器I/F18通过总线相互以可通信状态进行连接。另外，处理器11、存储器12、存储装置13、摄像头I/F15、显示I/F16及输入I/F17由于物理构成能够用与第一实施例已说明的构成相同的构成来实现，所以省略详细的说明。
第二实施例所涉及的物品识别装置6’的处理器11不仅具有在第一实施例中已说明的处理功能，而且还具有高度提取部、区域提取部等。高度提取部具有从距离图像指定物品的高度的功能。区域提取部具有基于距离图像提取摄像图像中的物品候选区域的功能。
距离传感器接口(I/F)18具有可与距离传感器9通信地构成的端子。距离传感器I/F18对处理器11和距离传感器9之间的数据的输入输出进行中继。例如，距离传感器9将所摄像的距离图像通过距离传感器I/F15供给给处理器11。
接着，对将第二实施例所涉及的物品识别装置6’中的识别用的词库信息登记在词库14中的词库登记处理进行说明。
图9是用于对基于第二实施例所涉及的物品识别装置6’的词库登记处理进行说明的流程图。
操作员通过输入装置8指示词库登记模式作为工作模式。而且，操作员将作为登记对象的物品单体载置在底座2上的物品配置区域上，并指示开始词库登记处理。当词库登记处理的开始被指示时，则处理器11指示摄像头4摄像图像，并指示距离传感器9摄像距离图像。摄像头4根据来自物品识别装置6’的指示摄像包含底座2上的物品配置区域的摄像区域的图像，并将已摄像的摄像图像供给给物品识别装置6’。此外，距离传感器9根据来自物品识别装置6’的指示摄像包含底座2上的物品配置区域的区域的距离图像，并将已摄像的距离图像供给给物品识别装置6’。
在指示了摄像头4摄像后，物品识别装置6’通过摄像头I/F15取得来自摄像头4的摄像图像(ACT51)。此外，在指示了距离传感器9摄像距离图像后，物品识别装置6’通过距离传感器I/F18取得来自距离传感器9的距离图像(ACT52)。
当取得摄像图像及距离图像时，则处理器11从距离图像中提取用于指定物品的外形的外形信息(ACT53)。外形信息与在第一实施例中已说明的同样，是用于推定物品整体的区域(外形)的信息。此外，使用物品的区域(外形)内的距离图像指定物品的高度(ACT54)。例如，处理器11根据从距离传感器9到底座2中的载置物品的面的距离(规定距离)和距离图像之间的差异来计算物品的高度。
当从摄像头4取得摄像图像时，则处理器11使用从距离图像已取得的外形信息指定摄像图像中的商品区域，并使用摄像图像的商品区域的像素信息提取用于指定物品的特征信息(ACT55)。特征信息与第一实施例中已说明的同样，是用于识别(指定)物品的匹配用信息。
当取得高度、特征信息及外形信息时，则处理器11编制将已取得的物品的高度、特征信息及外形信息与表示物品的种类的信息等对应的词库信息(ACT56)。已编制的词库信息是针对登记对象的物品的摄像头4所摄像的面的识别用的信息。处理器11将已编制的词库信息登记在词库14中(ACT57)。
ACT51至ACT57的处理关于作为登记对象的物品中的各个面而被实施。也就是说，处理器11当ACT56的词库信息的登记结束时，则判定是否结束词库登记处理(ACT58)。例如，物品识别装置6’也可以根据来自操作员的登记结束或针对接着的面的词库登记的指示来判断词库登记的结束或继续。处理器11当通过输入装置8其他面的登记开始已被指示时(ACT58的NO)，返回到ACT51，再次执行上述ACT51至ACT57的处理。这时，操作员只要变更该物品的与摄像头4对应的物品的面后指示再开始词库登记就可以。此外，处理器11当通过输入装置8登记结束已被指示时(ACT58的YES)，结束词库登记处理。
根据以上处理，第二实施例的物品识别装置6’的词库14登记不仅包含特征信息及外形信息而且还包含高度信息的认证用信息(物品指定用信息)。
接着，对第二实施例所涉及的物品识别装置6’中的物品识别处理进行说明。
图10是用于对基于第二实施例所涉及的物品识别装置6’的物品识别处理进行说明的流程图。此外，图11是表示多个物品的配置状态S21的例子、摄像图像S22的例子及物品的图像区域S23的例子的图。此外，图12是表示针对图11所示的物品的图像区域S23的同一判定处理的例子的图。
操作员通过输入装置8来指示识别处理模式作为工作模式，并在底座2上的物品配置区域中配置作为识别对象的物品。在这里，多个物品被配置在底座2上的物品配置区域中。
在配置了物品后，操作员通过输入装置8指示开始物品识别处理。另外，物品识别处理也可以检测物品已被载置后进行开始，当物品识别处理的开始被指示时，则处理器11指示摄像头4摄像图像，而且，指示距离传感器9摄像距离图像。摄像头4根据来自物品识别装置6’的指示摄像包含物品载置区域的摄像区域的图像。摄像头4将已摄像的摄像图像供给给物品识别装置6’。此外，距离传感器9根据来自物品识别装置6’的指示来摄像针对包含物品载置区域的摄像区域的距离图像。距离传感器9将已摄像的距离图像供给给物品识别装置6’。
此外，开始物品识别处理时，则处理器11访问词库14(ACT61)，接受来自摄像头4的摄像图像和来自距离传感器9的距离图像。当摄像头4输出摄像图像时，则物品识别装置6’的处理器11通过摄像头I/F15来取得来自摄像头4的摄像图像(ACT62)。此外，当距离传感器9输出距离图像时，则物品识别装置6’的处理器11通过距离传感器I/F18来取得来自距离传感器9的距离图像(ACT63)。
当取得摄像图像及距离图像时，则处理器11使用距离图像指定摄像图像中的成为各个物品候补的区域(物品候补区域)(ACT64)。例如，处理器11在摄像图像中，通过对成为相似距离的像素进行分组(标记)来指定物品候选区域。此外，处理器11也可以通过除基于距离的分组以外的方法来指定物品候补区域。在这里，由于将多个物品作为识别对象，所以多个(例如N个)物品候补区域被指定。
例如，当摄像图11所示的配置状态S21的物品X和物品ABC时，则获得图11所示的摄像图像S22。图11所示的摄像图像S22斜线部分是背景区域R21，除此之外是前景区域(物品的图像区域)R22。而且，物品的图像R22通过基于距离的分组等的方法来获得三个区域(物品候补区域)rα、rβ、rγ。区域rβ是物品X的图像区域。区域rα和区域rγ是分别通过物品X的图像已被分割的物品ABC的一部分图像。
另外，物品的图像区域R22虽然能够通过上述的背景差分法来获得，但是也可以使用距离图像来求得。由于在前景区域中存在有物品，因此，成为与背景区域不同的距离。因此，成为与背景区域不同的距离的区域作为物品的图像区域S23被获得。不过，在第二实施例中，由于从距离图像中指定各个物品的候补区域，所以也可以不指定物品的图像区域R23。
当提取多个物品候补区域时，则处理器11对各个物品候补区域执行物品的指定和外形的推定(ACT65至ACT69)。也就是说，处理器11当提取多个物品候补区域时，则将变量n进行初始化(n＝0)(ACT65)。在将变量n进行了初始化后，处理器11增加变量n(n＝n+1)(ACT66)。当对变量进行增加时，则处理器11针对第n个物品候补区域进行指定物品的物品指定处理(ACT67)。例如，处理器11将图11所示的三个区域rα、rβ、rγ按顺序进行处理。区域rα是物品ABC的一部分图像。因此，当将区域rα作为处理对象时，处理器11通过从区域rα获得的特征信息来指定物品ABC。此外，当将区域rβ作为处理对象时，处理器11通过从区域rβ获得的特征信息来指定物品X。当将区域rγ作为处理对象时，处理器11通过从区域rγ获得的特征信息来指定物品ABC。
当指定第n个物品候补区域中的物品时，则处理器11从该物品候补区域提取端点等至少一部分外形信息。处理器11通过从物品候补区域提取出的外形信息和与已指定的物品对应的词库14的外形信息(词库信息)来推定该物品的外形而指定推定物品区域(ACT68)。推定物品区域是被推定作为物品整体的外形区域的区域。当在物品候补区域中摄像有物品整体(外形整体)时，推定物品区域成为与该物品候补区域一致的区域。针对于此，当在物品候补区域中未摄像有物品整体时(当物品的一部分隐藏在其他物品中时)，推定物品区域成为与该物品候补区域不一致的区域。这时，物品候补区域是物品的一部分的图像，推定物品区域成为包含该物品候补区域的区域。
例如，图11所示的区域rα通过局部特征量等特征信息被指定为物品ABC。关于被指定为物品ABC的区域rα，如图12的图像I1所示那样，推定物品ABC的端点(外形)，并通过这些端点来指定推定物品区域。此外，关于被指定为物品X的区域rβ，如图12的图像I2所示那样，推定物品X的端点(外形)，并通过这些端点来指定推定物品区域。此外，关于被指定为物品ABC的区域rγ，如图12的图像I3所示那样，推定物品ABC的端点(外形)，并通过这些端点来指定推定物品区域。
当指定针对已指定的物品的推定物品区域时，则处理器11判定变量n是否是物品候补区域的总数(例如N)(ACT69)。这是针对所有的物品候补区域判定是否实施了物品指定和外形指定的处理。当n不是物品候补区域的总数时，也就是，当存在有物品指定及外形指定未实施的物品候补区域时(ACT69的NO)，处理器11返回到ACT66。当返回到ACT66时，则处理器11对变量n进行增加(增量)，并针对接着的物品候补区域实施物品指定及外形指定。
此外，当n是物品候补区域的总数时，也就是，当针对所有的物品候补区域已实施物品指定及外形推定时(ACT69的YES)，处理器11进行状态判定处理(ACT70)。作为状态判定处理，既可以是判定在第一实施例中已说明那样的各个物品的重叠状态的处理，又可以是指定同一物品的同一判定处理。在这里，对当作为状态判定处理进行同一判定处理时的动作例进行说明。处理器11根据在从各个物品候补区域中已指定的物品中同一种类的物品的推定物品区域是否一致来进行判定同一物品的同一判定处理。
例如，从图12的图像I3所示的区域rβ已指定的物品X的推定物品区域，与从词库14所登记的外形信息获得的物品X的外形一致。通过这样，如图12的图像I5所示那样，能够指定区域rβ为一物品X的整体图像。针对于此，从图12的图像I1所示的区域rα已指定的物品ABC的推定物品区域，与从图12的图像I3所示的区域rγ已指定的物品ABC的推定物品区域一致。通过这样，如图12的图像I4所示那样，能够指定区域rα和区域rγ为一物品ABC(同一物品)的一部分图像。也就是，关于指定了同一种类的物品的两个区域，通过对推定物品区域进行比较从而能够判定(同一判定)是一个物品还是两个物品。
此外，处理器11也可以对判定出为同一种类的物品的多个物品候补区域基于从距离图像获得的高度进行同一判定。例如，处理器11判定从与图11所示的两个区域rα、rγ对应的距离图像获得的高度是否为相同程度。当判定为两个区域rα、rγ的高度是相同程度时，处理器11判定区域rα的物品ABC和区域rγ的物品ABC是相同的。而且，处理器11也可以将上述的推定物品区域的比较和基于距离图像的高度的比较进行组合而进行同一判定。
当结束上述状态判定时，则处理器11将指定了物品的结果和针对已指定的各个物品的状态判定处理的结果作为物品识别处理的结果而结束物品识别处理。
上述的第二实施例所涉及的物品识别装置使用摄像图像和距离图像(距离信息)指定摄像图像中的多个物品，判定已指定的各个物品的状态。第二实施例所涉及的物品识别装置当通过判定已指定的各个物品的状态而在摄像图像中有多个识别对象的物品时，也能够正确地识别各个物品。
此外，第二实施例所涉及的物品识别装置作为各个物品的状态，判定从两个区域已被指定为同一种类的物品是同一物品(单一物品)还是两个物品。通过这样，根据第二实施例，根据多个物品的配置状态，防止一物品被识别为多个物品的情况发生，并能够正确地识别各个物品。
而且，第二实施例所涉及的物品识别装置使用距离图像指定物品候补区域，并使用距离图像判定已被指定为同一种类的两个物品是否是同一物品。通过这样，根据第二实施例，使用距离图像能够正确识别各个物品。
虽然对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。
在本发明中，提供了一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行如上述的控制方法所对应的操作。根据这样的构成，能够实现能够判定作为识别对象的多个物品的状态的功能。
本发明的一个或多个实施例可以被实施为计算机可读记录介质，可以将由计算机执行的诸如程序模块之类的命令或指令记录在该计算机可读记录介质上。计算机可读记录介质可以为能够由计算机访问的任何介质，如易失性介质等。此外，计算机可读记录介质可以为计算机存储介质或可以为任何信息传输媒介的通信介质。
本发明的计算机可读记录介质，存储有程序，所述程序使具有取得摄像了包含物品配置区域的摄像区域的摄像图像的图像取得部的物品识别装置的计算机，有以下功能：在从所述摄像图像指定的物品区域中指定各个物品的步骤；使用指定物品的词库信息所包含的表示物品的外形的外形信息指定推定为在所述物品区域中已指定的各个物品的整体的外形的推定物品区域的步骤；以及通过所述推定物品区域来判定在所述摄像图像中的各个物品的重叠状态的步骤。

Claims (10)

1.一种物品识别装置，包括：
图像取得部，取得摄像了包含物品配置区域的摄像区域的摄像图像；以及
处理器，在从所述摄像图像指定的物品区域中指定各个物品，使用指定物品的词库信息所包含的表示物品的外形的外形信息指定推定为在所述物品区域中已指定的各个物品的整体的外形的推定物品区域，并通过所述推定物品区域来判定在所述摄像图像中的各个物品的重叠状态，
其特征在于，还包括：
距离取得部，取得表示从基准点到所述摄像区域中的对象物的距离的距离信息，
其中，所述处理器使用所述距离信息指定所述摄像图像中的成为各个物品的候补的物品候补区域，指定在所述物品候补区域中的物品种类，并指定针对已指定的物品的推定物品区域。
2.根据权利要求1所述的物品识别装置，其中，
所述处理器当存在有已被指定为同一种类物品的多个物品候补区域时，通过针对已被指定为所述同一种类的各个物品的多个推定物品区域，判定从多个物品候补区域已被指定为同一种类的物品是否是单一物品。
3.根据权利要求1或2所述的物品识别装置，其中，
所述外形信息是表示物品的至少一部分轮廓的信息。
4.根据权利要求3所述的物品识别装置，其中，
所述词库信息所包含的用于指定物品的特征信息和外形信息具有表示位置的依存关系的相对位置信息，所述处理器使用所述相对位置信息指定推定物品区域。
5.根据权利要求1所述的物品识别装置，其中，还包括：
输入接口，所述输入接口连接有输入装置，所述输入装置用于指示词库登记模式或识别处理模式作为工作模式，所述词库登记模式用于登记识别用的所述词库信息，所述识别处理模式用于进行物品识别处理。
6.一种物品识别装置的控制方法，该物品识别装置具有取得摄像了包含物品配置区域的摄像区域的摄像图像的图像取得部、以及取得表示从基准点到所述摄像区域中的对象物的距离的距离信息的距离取得部，该控制方法包括以下步骤：
在从所述摄像图像指定的物品区域中指定各个物品的步骤；
使用指定物品的词库信息所包含的表示物品的外形的外形信息指定推定为在所述物品区域中已指定的各个物品的整体的外形的推定物品区域的步骤；以及
通过所述推定物品区域来判定在所述摄像图像中的各个物品的重叠状态的步骤；
其中，还包括：
使用取得的表示从基准点到所述摄像区域中的对象物的距离的距离信息指定所述摄像图像中的成为各个物品的候补的物品候补区域，指定在所述物品候补区域中的物品种类，并指定针对已指定的物品的推定物品区域。
7.根据权利要求6所述的控制方法，其中，
当存在有已被指定为相同种类物品的多个物品候补区域时，通过针对已被指定为所述相同种类的各个物品的多个推定物品区域，判定从多个物品候补区域已被指定为相同种类的物品是否是单一物品。
8.根据权利要求6或7所述的控制方法，其中，
所述外形信息是表示物品的至少一部分轮廓的信息。
9.根据权利要求6所述的控制方法，其中，所述物品识别装置还包括：
输入接口，所述输入接口连接有输入装置，所述输入装置用于指示词库登记模式或识别处理模式作为工作模式，所述词库登记模式用于登记识别用的所述词库信息，所述识别处理模式用于进行物品识别处理。
10.一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，其特征在于，
所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行如权利要求6至9中任一项所述的控制方法所对应的操作。
CN201711097126.5A 2016-11-25 2017-11-09 物品识别装置及控制方法、终端设备 Active CN108108655B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP2016-228951 2016-11-25
JP2016228951A JP6896401B2 (ja) 2016-11-25 2016-11-25 物品認識装置

Publications (2)

Publication Number Publication Date
CN108108655A CN108108655A (zh) 2018-06-01
CN108108655B true CN108108655B (zh) 2022-04-05

Family

ID=62190238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711097126.5A Active CN108108655B (zh) 2016-11-25 2017-11-09 物品识别装置及控制方法、终端设备

Country Status (3)

Country Link
US (2) US10552686B2 (zh)
JP (1) JP6896401B2 (zh)
CN (1) CN108108655B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6126437B2 (ja) 2013-03-29 2017-05-10 キヤノン株式会社 画像処理装置および画像処理方法
US10643177B2 (en) * 2017-03-21 2020-05-05 Kellogg Company Determining product placement compliance
JP6930601B2 (ja) * 2017-12-01 2021-09-01 日本電気株式会社 情報処理装置、表示位置調整方法、およびプログラム
JP2020027037A (ja) * 2018-08-13 2020-02-20 東芝テック株式会社 物品認識装置
JP2021018470A (ja) * 2019-07-17 2021-02-15 東芝テック株式会社 物品特定装置及びプログラム
JP6807992B1 (ja) * 2019-07-19 2021-01-06 江利子 瀧澤 ラベル情報表示システム
JP7337628B2 (ja) 2019-09-25 2023-09-04 東芝テック株式会社 物品認識装置
JP7360997B2 (ja) * 2020-06-18 2023-10-13 京セラ株式会社 情報処理システム、情報処理装置、および情報処理方法
JP7451320B2 (ja) * 2020-06-18 2024-03-18 京セラ株式会社 情報処理システム、情報処理装置、及び、情報処理方法
CN117015791A (zh) * 2021-04-06 2023-11-07 株式会社富士 存储装置及更新存储于存储装置的图像判定处理的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010121999A (ja) * 2008-11-18 2010-06-03 Omron Corp ３次元モデルの作成方法および物体認識装置
JP2010187194A (ja) * 2009-02-12 2010-08-26 Olympus Corp 画像処理装置、撮像装置および画像処理方法
JP2012230501A (ja) * 2011-04-25 2012-11-22 Canon Inc 画像処理装置、画像処理方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6441076A (en) * 1987-08-06 1989-02-13 Fuji Electric Co Ltd Form recognizing system
US5819016A (en) * 1993-10-05 1998-10-06 Kabushiki Kaisha Toshiba Apparatus for modeling three dimensional information
US6141462A (en) * 1995-10-11 2000-10-31 Dainippon Screen Mfg. Co., Ltd. Image processing using adjoining relationships between image parts
JP2001034758A (ja) * 1999-07-19 2001-02-09 Japan Science & Technology Corp 画像理解方法、画像理解プログラムを記録した記録媒体及び画像理解システム
US6901167B2 (en) * 2001-04-04 2005-05-31 Microsoft Corporation Detecting multiple objects in digital image data
FR2841487B1 (fr) * 2002-06-26 2004-08-20 Solystic Procede de detection de plis simples et de plis en prise multiple dans une installation de tri postal
US7949568B2 (en) * 2007-08-31 2011-05-24 Accenture Global Services Limited Determination of product display parameters based on image processing
JP5058952B2 (ja) * 2007-11-22 2012-10-24 東芝テック株式会社 物品データ処理装置
KR100951890B1 (ko) * 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
JP5259286B2 (ja) * 2008-07-16 2013-08-07 株式会社日立製作所 ３次元物体認識システム及びそれを用いた棚卸システム
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
JP5454573B2 (ja) * 2009-04-28 2014-03-26 日本電気株式会社 物体位置推定装置、物体位置推定方法及びプログラム
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US9785898B2 (en) * 2011-06-20 2017-10-10 Hi-Tech Solutions Ltd. System and method for identifying retail products and determining retail product arrangements
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
JP5431429B2 (ja) * 2011-09-06 2014-03-05 東芝テック株式会社 情報処理装置及びプログラム
JP2013145525A (ja) * 2012-01-16 2013-07-25 Fuji Electric Co Ltd 物品取り出し判定装置、物品取り出し判定システム、物品取り出しシステム、物品取り出し判定プログラムおよび物品取り出し判定方法
JP5586641B2 (ja) * 2012-02-24 2014-09-10 東芝テック株式会社 商品読取装置及び商品読取プログラム
CN104488002A (zh) * 2012-03-20 2015-04-01 西门子公司 行李可视化和虚拟开检
JP5826152B2 (ja) * 2012-11-20 2015-12-02 東芝テック株式会社 商品認識装置及び商品認識プログラム
CN105190655B (zh) * 2013-03-04 2018-05-18 日本电气株式会社 物品管理系统、信息处理设备及其控制方法和控制程序
JP6151562B2 (ja) * 2013-05-24 2017-06-21 株式会社ブレイン 物品識別システムとそのプログラム
JP5797703B2 (ja) * 2013-08-08 2015-10-21 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
US9495606B2 (en) * 2014-02-28 2016-11-15 Ricoh Co., Ltd. Method for product recognition from multiple images
US20150262116A1 (en) * 2014-03-16 2015-09-17 International Business Machines Corporation Machine vision technology for shelf inventory management
JP6494253B2 (ja) * 2014-11-17 2019-04-03 キヤノン株式会社 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
US10169677B1 (en) * 2014-12-19 2019-01-01 Amazon Technologies, Inc. Counting stacked inventory using image analysis
US10169660B1 (en) * 2014-12-19 2019-01-01 Amazon Technologies, Inc. Counting inventory items using image analysis
CN105718833B (zh) * 2014-12-23 2018-09-14 东芝泰格有限公司 图像识别装置及商品信息处理装置
US9792480B2 (en) 2014-12-23 2017-10-17 Toshiba Tec Kabushiki Kaisha Image recognition apparatus, commodity information processing apparatus and image recognition method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010121999A (ja) * 2008-11-18 2010-06-03 Omron Corp ３次元モデルの作成方法および物体認識装置
JP2010187194A (ja) * 2009-02-12 2010-08-26 Olympus Corp 画像処理装置、撮像装置および画像処理方法
JP2012230501A (ja) * 2011-04-25 2012-11-22 Canon Inc 画像処理装置、画像処理方法

Also Published As

Publication number Publication date
US20200151463A1 (en) 2020-05-14
JP2018085034A (ja) 2018-05-31
JP6896401B2 (ja) 2021-06-30
CN108108655A (zh) 2018-06-01
US20180150699A1 (en) 2018-05-31
US10552686B2 (en) 2020-02-04
US10853662B2 (en) 2020-12-01

Similar Documents

Publication Publication Date Title
CN108108655B (zh) 物品识别装置及控制方法、终端设备
US10083512B2 (en) Information processing apparatus, information processing method, position and orientation estimation apparatus, and robot system
JP7049983B2 (ja) 物体認識装置および物体認識方法
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
KR101333871B1 (ko) 멀티-카메라 교정을 위한 방법 및 장치
JP7102490B2 (ja) 画像認識装置
CN109089035B (zh) 图像处理设备和图像处理方法
JP6344389B2 (ja) 光学文字認識装置
JP7102103B2 (ja) 携帯型の情報処理装置及び当該情報処理装置を用いた方法及びプログラム
JP6684475B2 (ja) 画像処理装置、画像処理方法及びプログラム
JPWO2014030400A1 (ja) 物体識別装置、物体識別方法、及びプログラム
JP2018133071A (ja) 物品認識装置、決済装置および物品認識方法
EP3035242B1 (en) Method and electronic device for object tracking in a light-field capture
US9805357B2 (en) Object recognition apparatus and method for managing data used for object recognition
CN113838151A (zh) 相机标定方法、装置、设备及介质
US10373329B2 (en) Information processing apparatus, information processing method and storage medium for determining an image to be subjected to a character recognition processing
KR101188296B1 (ko) 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 방법 및 이를 이용한 가중치 기반 표적 결정 시스템
EP3364339B1 (en) Device, method, and non-transitory computer-readable storage medium for biometric authentication
CN110610178A (zh) 图像识别方法、装置、终端及计算机可读存储介质
JP2017004438A (ja) 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
JP6729111B2 (ja) 識別装置、トレーサビリティシステムおよび識別方法
KR101175751B1 (ko) 스트랩다운 이중 모드 영상탐색기의 베이시안 규칙 기반 표적 결정 방법
WO2015136716A1 (ja) 画像処理装置、画像センサ、画像処理方法
CN109660712A (zh) 选择视频序列的帧的方法、系统和装置
JP2009157766A (ja) 顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant