CN107818295A - 物品读取装置及控制方法、终端设备 - Google Patents

物品读取装置及控制方法、终端设备 Download PDF

Info

Publication number
CN107818295A
CN107818295A CN201710780975.4A CN201710780975A CN107818295A CN 107818295 A CN107818295 A CN 107818295A CN 201710780975 A CN201710780975 A CN 201710780975A CN 107818295 A CN107818295 A CN 107818295A
Authority
CN
China
Prior art keywords
article
feature amount
image
learning object
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710780975.4A
Other languages
English (en)
Other versions
CN107818295B (zh
Inventor
畠中雄郎
畠中雄一郎
飯坂仁志
宮越秀彦
内藤英浩
佐佐木勇太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Publication of CN107818295A publication Critical patent/CN107818295A/zh
Application granted granted Critical
Publication of CN107818295B publication Critical patent/CN107818295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

本发明公开了一种物品读取装置及控制方法、终端设备，该装置包括：指定部，将学习对象的物品指定为学习对象物品；提取部，从摄像了作为学习对象物品的物品的图像中提取表示该学习对象物品的特征的第一特征量；计算部，对提取部提取出的第一特征量和表示作为存储部的词库所登记的各登记物品的第二特征量进行比较并计算相似度；以及告知部，以第一特征量和除学习对象的物品之外的登记物品的第二特征量的相似度大于等于第一阈值、或者第一特征量和登记物品所包含的学习对象物品的第二特征量的相似度小于等于与第一阈值相比低的第二阈值的情况为条件，先于学习部进行将第一特征量作为学习对象物品的特征量登记在存储部中的学习处理进行告知。

Description

物品读取装置及控制方法、终端设备
本申请主张申请日为2016年09月13日、申请号为JP2016-178873的日本申请为优先权，并引用上述申请的内容，通过引用将其公开内容全部结合于此。
技术领域
本发明的实施例涉及一种物品读取装置及控制方法、终端设备。
背景技术
目前，提案有使用从摄像了商品的外观的图像中提取该商品的特征量并通过将已提取出的特征量与预先准备的核对用的数据进行比较来识别商品的种类(类别)等的一般物体识别(对象物识别)进行商品的登记的技术。
在使用了这样的对象物识别的物品读取装置中，当追加登记新的商品时对核对用词库进行了更新。不过，当新的商品的特征量与已登记在核对用词库中的其他商品的特征量相似时，存在有可能对新登记了的商品和已登记在核对用词库中的商品进行误识别这样的问题。
发明内容
鉴于上述问题，本发明所要解决的技术问题是，提供一种物品读取装置及控制方法、终端设备，其能够检测有识别性能下降的可能性的图像并在登记前进行告知。
为解决上述问题，本发明的一实施例，提供了一种物品读取装置，包括：指定部、提取部、存储部、计算部、学习部及告知部。指定部将学习对象的物品指定为学习对象物品。提取部从摄像了学习对象物品的图像中提取表示该学习对象物品的特征的第一特征量。存储部存储表示词库所登记的登记物品的特征的第二特征量。计算部对提取部提取出的第一特征量和登记物品的第二特征量进行比较并计算其相似度。学习部进行将提取部已提取出的第一特征量作为学习对象物品的特征量登记在存储部中的学习处理。告知部以第一特征量和除学习对象物品之外的登记物品的第二特征量的相似度大于等于第一阈值、或者第一特征量和登记物品所包含的学习对象物品的第二特征量的相似度小于等于与第一阈值相比低的第二阈值的情况为条件，先于学习处理进行告知。
根据这样的构成，能够检测有识别性能下降的可能性的图像并在登记前进行告知。
对于物品读取装置，在一种可能的实施方式中，所述存储部对应每个所述登记物品存储多个所述第二特征量，所述告知部当存在符合所述条件的所述第二特征量时进行所述告知。
根据这样的构成，能够用简单的运算可靠地判定有识别性能下降的可能性。
对于物品读取装置，在一种可能的实施方式中，所述存储部对应每个所述登记物品存储多个所述第二特征量，所述告知部当存在大于等于规定数的符合所述条件的所述第二特征量时进行所述告知。
根据这样的构成，能够用简单的运算进一步可靠地判定有识别性能下降的可能性。
对于物品读取装置，在一种可能的实施方式中，所述提取部从摄像了所述学习对象物品的多个图像的各个图像中提取所述第一特征量，所述计算部计算所述提取部提取出的所述第一特征量之间的所述相似度，所述告知部当存在大于等于规定数的符合所述条件且所述第一特征量之间的所述相似度大于等于第三阈值的所述第一特征量时进行所述告知。
根据这样的构成，能够可靠地判定有识别性能下降的可能性或者有识别性能未改善的可能性。
对于物品读取装置，在一种可能的实施方式中，所述指定部将所述存储部未存储的类别的物品指定为新的类别的学习对象物品、或者所述指定部在所述存储部所存储的原有类别中将属于该原有类别的物品指定为学习对象物品。
根据这样的构成，能够容易地与进行读取的物品的追加、变更进行对应。
本发明的另一实施例，提供一种物品读取装置的控制方法，包括以下步骤：指定步骤，将学习对象的物品指定为学习对象物品；提取步骤，从摄像了所述学习对象物品的图像中提取表示该学习对象物品的特征的第一特征量；计算步骤，对通过所述提取步骤提取出的所述第一特征量和所述登记物品的第二特征量进行比较并计算其相似度；学习步骤，进行将通过所述提取步骤提取出的所述第一特征量作为所述学习对象物品的特征量登记在存储表示词库所登记的登记物品的特征的所述第二特征量的存储部中的学习处理；以及告知步骤，以所述第一特征量和除所述学习对象物品之外的所述登记物品的所述第二特征量的所述相似度大于等于第一阈值、或者所述第一特征量和所述登记物品所包含的所述学习对象物品的所述第二特征量的所述相似度小于等于与所述第一阈值相比低的第二阈值的情况为条件，先于所述学习处理进行告知。
根据这样的控制方法，能够检测有识别性能下降的可能性的图像并在登记前进行告知。
对于控制方法，在一种可能的实施方式中，所述存储部对应每个所述登记物品存储多个所述第二特征量，在所述告知步骤中，当存在符合所述条件的所述第二特征量时进行所述告知。
根据这样的控制方法，能够用简单的运算可靠地判定有识别性能下降的可能性。
对于控制方法，在一种可能的实施方式中，所述存储部对应每个所述登记物品存储多个所述第二特征量，在所述告知步骤中，当存在大于等于规定数的符合所述条件的所述第二特征量时进行所述告知。
根据这样的控制方法，能够用简单的运算进一步可靠地判定有识别性能下降的可能性。
对于控制方法，在一种可能的实施方式中，在所述提取步骤中，从摄像了所述学习对象物品的多个图像的各个图像中提取所述第一特征量，在所述计算步骤中，计算通过所述提取步骤提取出的所述第一特征量之间的所述相似度，在所述告知步骤中，当存在大于等于规定数的符合所述条件且所述第一特征量之间的所述相似度大于等于第三阈值的所述第一特征量时进行所述告知。
根据这样的控制方法，能够可靠地判定有识别性能下降的可能性或者有识别性能未改善的可能性。
本发明的第三实施例，提供一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行上述的控制方法所对应的操作。
根据这样的构成，能够实现能够检测有识别性能下降的可能性的图像并在登记前进行告知的功能。
附图说明
下面，参照附图对实施例所涉及的物品读取装置及程序、终端设备进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：
图1是表示实施例所涉及的物品读取装置的一例的外观立体图；
图2是表示物品读取装置的硬件构成的一例的硬件框图；
图3是表示PLU文件的数据构成的一例的概念图；
图4是表示物品读取装置的功能构成的一例的功能框图；
图5是表示在物品读取装置中追加登记新类别的图像的处理的流程的流程图；
图6是对在图5的流程图中进行的相似图像的枚数的计数方法进行说明的图；
图7是表示向物品读取装置的原有类别追加登记新的图像的处理的流程的流程图；以及
图8是对在图7的流程图中进行的背离图像的枚数的计数方法进行说明的图。
附图标记说明
1 物品读取装置 10 POS终端
50 指定部 51 摄像部
52 检测部 53 提取部
54 告知部 61 CPU
71 存储部 72 计算部
73 识别部 74 判定部
75 学习部 100 读取装置
110 显示/操作装置 161 CPU
F1 PLU文件 Fa 特征量(第一特征量)
Fb、Fbnm 特征量(第二特征量)
Fcn 平均特征量 C 相似度
C1 第一阈值 C2 第二阈值
C3 第三阈值
具体实施方式
以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。
物品读取装置的整体构成的说明
下面，参照附图，对物品读取装置及程序的实施例进行详细地说明。在本实施例中，作为所涉及的物品读取装置及程序的一实施例，示出向超市等的店铺所设置的物品读取装置1的应用例。
图1是表示物品读取装置1的一例的外观立体图。如图1所示，物品读取装置1具有POS(Point Of Sale：销售点)终端10、读取装置100及显示/操作装置110。
POS终端10进行成为登记对象的物品G(商品)的登记。此外，POS终端10基于读取装置100输出的物品G的特征量Fa(第一特征量)指定读取装置100所读取的商品，进行销售登记及核算处理。
读取装置100在进行销售登记时对成为登记对象的物品G(商品)的图像进行摄像，而且，读取已摄像的物品的图像具有的特征量Fa。
显示/操作装置110显示读取装置100所摄像的图像，而且，显示POS终端输出的各种信息。此外，显示/操作装置110将收银员进行的各种操作信息转送给POS终端10。
在图1中，POS终端10以载置在钱箱21上的状态下被设置在收银台41上。POS终端10在上面具有排列有操作用的按键的键盘22。此外，POS终端10在键盘22的上方具有收银员在登记信息的确认及结算所需要的信息的输入中使用的第一显示装置23、顾客在登记信息的确认中使用的第二显示装置24。第一显示装置23是具有液晶面板等的显示面板23a，并在显示面板23a上层压配置有触摸面板26的触摸输入式的显示装置。第二显示装置24具有液晶面板等的显示面板24a。第二显示装置24可向顾客易看的方向旋转地竖直设置在POS终端10的上部。钱箱21在内部收纳纸币、硬币等，并通过来自POS终端10的指示进行开放。
在收银台41的旁边设置有与收银台41一起配置成L状的检验台151。在检验台151的上面形成有用于载置购物筐153等的负荷接受面152。图1示出载置有作为购物筐153的第一购物筐153a和第二购物筐153b的例子。第一购物筐153a是顾客所拿来的购物筐、即装入了读取前的物品(例如物品G)的购物筐。第二购物筐153b是用于收纳结束了读取的物品G的购物筐。收银员从第一购物筐153a将读取前的诸如物品G拿到手中，在使物品读取装置1读取了物品G后，将物品G换移到第二购物筐153b。另外，购物筐153不限定于框状，也可以是托盘状、箱状、袋状等。
读取装置100竖直设置在检验台151的负荷接受面152的中央部，并通过有线或无线与POS终端10可数据发送接收地连接。读取装置100被设置在外壳102的表面上朝向收银员一侧而设置的读取窗103的里侧。读取窗103由具有透光性的诸如透明的玻璃板等形成。读取装置100在读取窗103的里面具有用于摄像物品G的摄像部160。当物品G通过摄像部160被摄像时，则读取装置100向POS终端10输出已摄像的物品G的图像及从图像中提取出的物品G的特征量Fa。
显示/操作装置110被设置在外壳102的上部。显示/操作装置110具有液晶面板等第三显示装置106。显示/操作装置110在收银员进行读取装置100所摄像的图像的确认及物品读取装置1的操作所需要的信息的输入时进行使用。显示/操作装置110将从POS终端10中输出的各种信息诸如物品G的读取结果、当将物品G作为登记对象的商品进行了登记时物品G的读取性能下降或者读取性能未改善等的警告显示等显示在第三显示装置106中。此外，第三显示装置106的画面层压配置有触摸面板105并通过触摸输入可实现为了使物品读取装置1动作而需要的信息的输入。而且，在第三显示装置106的右边设置有键盘107，可由收银员进行键盘输入。而且，显示/操作装置110将用于顾客确认物品G的读取结果等的第四显示装置109设置在读取窗103的背面一侧(顾客一侧)上。
物品读取装置的硬件构成的说明
接着，对物品读取装置1的硬件构成进行说明。图2是表示物品读取装置1的硬件构成的硬件框图。物品读取装置1的POS终端10具有CPU(Central Processing Unit：中央处理器)61、ROM(Read Only Memory：只读存储器)62、RAM(Random Access Memory：随机存取存储器)63、HDD(Hard Disk Drive：硬盘驱动器)64、连接接口65、钱箱21、键盘22、第一显示装置23、第二显示装置24、通信接口25及触摸面板26等。CPU61、ROM62、RAM63及HDD64通过内部总线27连接。此外，钱箱21、键盘22、第一显示装置23、第二显示装置24、通信接口25、触摸面板26、HDD64及连接接口65均通过各种输入输出电路(均未图示)与上述内部总线27相连接。
CPU61是管理POS终端10的整体的控制的中央运算处理装置。ROM62是存储固定程序等的非易失性存储器。RAM63是CPU61用作工作区等的易失性存储器。
HDD64是存储各种程序、各种文件的存储部。各种程序包括用于商品销售数据处理的程序PR等，该商品销售数据处理包括控制POS终端10的整体的动作，而且，确定商品候补并将表示该商品候补的信息显示在选择画面上等的处理。各种文件是从店铺计算机SC发送并被存储的PLU文件F1等。此外，HDD64存储有用于登记商品的登记表、销售表等。也就是说，POS终端10具有以CPU61为控制主体而读取程序PR等并进行执行的一般计算机系统的构成。
通信接口25由用于与店铺计算机SC进行数据通信的网卡等构成。店铺计算机SC被设置在店铺的后院等。店铺计算机SC在HDD(未图示)中存储有用于向POS终端11发送的PLU文件F1等。
连接接口65是用于与读取装置100的连接接口175及显示/操作装置110的连接接口176进行通信的接口。通信通过有线或无线来进行。
物品读取装置1的读取装置100具有CPU161、ROM162、RAM163、摄像部160、声音输出部165及连接接口175。此外，物品读取装置1的显示/操作装置110具有连接接口176、触摸面板105、第三显示装置106、键盘107及第四显示装置109。
CPU161、ROM162及RAM163通过内部总线166连接。此外，摄像部160、声音输出部165及连接接口175均通过各种输入输出电路(均未图示)与上述内部总线166相连接。而且，触摸面板105、第三显示装置106、键盘107、第四显示装置109均通过各种输入输出电路(均未图示)与连接接口176连接。
CPU161是管理读取装置100的整体控制的中央运算处理装置。ROM162是存储读取装置100的控制程序等的非易失性存储器。在控制程序中，包括从已摄像的物品G的图像I中提取特征量F并将提取出的特征量F输出给POS终端10的处理等的程序等。RAM163是CPU161用作工作区等的易失性存储器。也就是说，读取装置100具有以CPU161为控制主体而读取控制程序等并进行执行的一般的计算机系统的构成。
摄像部160是具有CCD(Charge Coupled Device：电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等摄像元件的彩色图像传感器。摄像部160接受来自CPU161的摄像开始信号后开始摄像，将对准了读取窗103的物品G用规定的帧率(例如30fps等)转换成电气信号，并顺序输出已摄像的图像。
声音输出部165具有用于再现预设的读取音(“哔”)、警告音、声音等的再现(重现)电路、扬声器等。声音输出部165通过来自CPU161的控制信号再现读取音、警告音、声音等并用声音告知物品G的读取状态等。
而且，CPU161连接有连接接口175。连接接口175与POS终端10的连接接口65进行通信连接，并在读取装置100和POS终端10之间进行数据发送接收。
连接接口176与POS终端10的连接接口65进行通信连接，并在显示/操作装置110和POS终端10之间进行数据发送接收。此外，连接接口176与连接接口175进行通信连接并在显示/操作装置110和读取装置100之间进行数据发送接收。
在这里，参照图3，对POS终端10所具有的PLU文件F1进行说明。PLU文件F1是词库的一例，构成后述的存储部71。图3是表示PLU文件F1的数据构成的一例图。PLU文件F1是对应每个物品G将商品信息和摄像了该物品G的外观的图像I、从图像I中提取出的特征量F进行了对应的数据文件。PLU文件F1登记有N种类的商品(物品G)的信息。具体地说，对应每个商品对应存储有商品信息、图像I及从图像I中提取出的作为表示物品G的特征的值的特征量F。在图3的例子中，作为商品信息存储商品ID栏f1、商品分类栏f2、商品名栏f3、单价栏f4、实例图像栏f5所示的数据。而且，这些商品信息对应有存储有摄像了商品的外观的图像I的图像栏f6、存储有从该图像I中提取出的特征量Fb(第二特征量)的特征量栏f7及后述的平均特征量栏f8的数据。另外，如后所述，在图像栏f6中针对一个商品ID的商品存储多张图像I。而且，在特征量栏f7中存储从各个图像I中提取出的多个特征量Fb。
当将一个物品G作为识别对象物品登记在PLU文件F1中时，为了更加正确地判别各商品，而对从各个方向摄像了同一商品的多个图像I或者属于同一类别的多个商品的图像I进行摄像。也就是说，在PLU文件F1的图像栏f6中存储多张的图像I。以后，将图像栏f6所存储的图像统一标记为图像I，当需要区别表现多张图像时，标记为图像Inm(n＝1～N)。也就是说，图像Inm示出是摄像了商品ID为“n”的商品的外观的“第m”的图像。
PLU文件F1的特征量栏f7所存储的特征量Fb(第二特征量)诸如使用从图像I中提取出的物品G的色彩、表面的凹凸等的表面状态(质感、纹理)等。从属于某商品ID的多个图像Inm中提取出的各个特征量Fb与所对应的图像Inm关联地存储。也就是说，在特征量栏f7中关联地存储从图像Inm中提取出的特征量Fbnm(n＝1～N)。另外，特征量Fbnm示出是从摄像了商品ID为“n”的商品的外观的“第m”的图像中提取出的特征量。以后，将特征量栏f7所存储的第二特征量统一标记为特征量Fb，当需要区别表现多个特征量时，标记为特征量Fbnm(n＝1～N)。
PLU文件F1的平均特征量栏f8存储将特征量Fbnm进行了平均化的平均特征量Fc。具体地说，平均特征量栏f8的与商品ID为“n”的商品对应的栏，存储平均特征量Fcn(n＝1～N)。该平均特征量Fcn(n＝1～N)在物品读取装置1指定商品并进行通常的销售登记处理时计算从摄像了顾客要购买的商品的外观的图像中由后述的提取部53提取的特征量Fa和平均特征量Fcn的相似度C时进行使用。
另外，在PLU文件F1中通过追加登记未登记的新的物品G(新类别的物品G)的图像Io从而能够扩展(扩充)成为物品读取装置1的识别对象的物品G的种类。此外，在PLU文件F1中通过追加登记已登记的物品G的新的图像(新图像Ic)，从而能够改善物品读取装置1的物品G的读取性能(识别性能)。详细后述。
物品读取装置的功能构成的说明
接着，对物品读取装置1的功能构成进行说明。图4是表示物品读取装置1的功能块的构成的一例的功能框图。另外，图4的功能框图仅示出在物品读取装置1所具有的所有功能中本发明所具有的特征功能。在物品读取装置1中，图2所示的CPU161恰当执行ROM162所存储的程序。通过这样，在构成读取装置100的CPU161的内部，将指定部50、摄像部51、检测部52、提取部53及告知部54实现为功能部。
而且，在物品读取装置1中，图2所示的CPU61适当执行ROM62所存储的程序及HDD64所存储的程序PR。通过这样，在构成POS终端10的CPU61的内部，存储部71、计算部72、识别部73、判定部74及学习部75被实现为功能部。
接着，对读取装置100的功能构成进行说明。指定部(指定步骤)50将物品G指定为学习对象物品。另外，当指定学习对象物品时，如上述那样有两种情况。第一种情况是将PLU文件F1未存储的类别的物品G指定为新类别的学习对象物品的情况。这样，通过将新的物品G登记在新类别中，物品读取装置1能够识别新的物品G。第二种情况是在PLU文件F1已存储的原有类别中将属于该原有类别的物品G指定为学习对象物品的情况。这样，通过追加登记PLU文件F1所登记的物品G，与物品G有关的特征量的数量进行增加，因此，物品读取装置1能够改善物品G的识别性能。
另外，具体地说，指定部50基于显示/操作装置110(图1)所具有的触摸面板105或键盘107的操作信息指定学习对象物品。
摄像部51向摄像部160(图2)输出摄像开始信号从而使摄像部160开始摄像动作。之后，摄像部51将摄像部160所摄像并输出的图像I顺序保存在RAM163(图2)中。
检测部52基于摄像部160所摄像并输出的连续的多个图像I，检测将物品G对准读取窗103(图1)的情况。具体地说，检测部52从RAM163读出摄像部160输出的图像I，并与最近刚读出的图像I进行比较亮度。检测部52以通过亮度的比较在亮度灰阶中有变化了的情况为条件，判断是有手、物品G等某些映入的图像I。而且，检测部52将与有映入的图像I连续的图像I进行二值化并提取物品G的轮廓线。而且，检测部52在连续的图像I的轮廓线的位置有变化了时，指定该轮廓线内的区域是表示对准了读取窗103的物品G的区域。这样，检测部52对物品G已被对准了读取窗103的情况进行检测。
另外，指定物品G已对准读取窗103的情况的方法不限定于上述，也可以使用其他方法。例如，也可以不是通过图像I中的物品G的轮廓线，而是通过有无皮肤区域来指定。也就是说，当在图像I中有皮肤区域时，预测有收银员的手的映入。因此，例如也可以从图像I中提取轮廓线，并在表示手的形状的轮廓线中将把持物品G的位置的轮廓线的内侧的区域指定为表示物品G的区域。
提取部(提取步骤)53从图像I所映入的物品G的区域提取基于对象物识别的识别对象物品所具有的特征量Fa(第一特征量)。而且，提取部53将已提取出的特征量Fa输出给POS终端10。具体地说，提取部53从RAM163读取图像I。而且，提取部53从图像I中指定物品G的区域。接着，提取部53针对已指定的物品G的区域的内部提取特征量Fa。提取部53将已提取出的特征量Fa输出给连接接口175(图2)。连接接口175将接收到的特征量Fa输出给连接接口65(图2)，并由连接接口65向PLU文件F1通知特征量Fa。
告知部(告知步骤)54在学习处理的执行之前告知通过后述的学习部75的学习处理有后述的识别部73的识别性能下降的可能性或有识别性能未改善的可能性。详细后述。
接着，对POS终端10的功能构成进行说明。存储部71具有上述的PLU文件F1。如上所述，该PLU文件F1是词库的一例，用于存储词库所登记的各个登记物品的图像I和表示各个登记物品的特征的特征量Fb(第二特征量)。存储部71当后述的识别部73进行对象物识别时进行参照，用于指定摄像部51所摄像的图像I中所映入的物品G。
计算部(计算步骤)72计算从摄像部51所摄像的图像I中提取出的特征量Fa(第一特征量)和存储部71所存储的各个商品的特征量Fb(第二特征量)的相似度C。
识别部73进行用于识别图像I中的物品G的对象物识别处理。具体地说，识别部73基于提取部53从摄像部160所摄像的包含物品G的图像I中提取出的特征量Fa(第一特征量)和PLU文件F1所存储的各个商品的平均特征量Fcn的相似度C，从PLU文件F1中选出相似度C大于等于规定阈值C1(第一阈值)的商品。而且，识别部73识别未知的物品G是PLU文件F1所登记的哪个物品G。
另外，识别图像中所包含的物品G的对象物识别被称为一般物体识别(genericobject recognition：一般物体识别)。关于在一般物体识别中使用的各种识别技术在下述的文献中被详细地说明，因此，省略说明。
柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Vol.48，No.SIG16[平成28年8月5日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>(柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48，No.SIG16“2016年8月5日检索”，网址＜URL：http：//mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞)
Jamie Shottonら，“Semantic Texton Forests for Image Categorization andSegmentation”，[平成28年8月5日検索]，インターネット<URL:http://mi.eng.cam.ac.uk/～cipolla/publications/inproceedings/2008-CVPR-semantic-texton-forests.pdf>(Jamie Shottonら(杰米肖顿等人)，“Semantic Texton Forests for ImageCategorization and Segmentation：”，“2016年8月5日检索”，网址＜URL：http：//mi.eng.cam.ac.uk/～cipolla/publications/inproceedings/2008-CVPR-semantic-texton-forests.pdf＞)
在这里，当识别部73进行对象物识别而指定物品G时使用的相似度C，是表示PLU文件F1内的各个物品G的特征量栏f7所存储的特征量Fbnm或平均特征量栏f8所存储的平均特征量Fcn和映入到图像I中的物品G的特征量Fa相似到哪种程度的尺度(标准)。另外，相似度C既可以用作为100％＝“相似度：1.0”的绝对评价进行计算，又可以作为相对评价进行计算。
例如，将相似度C作为绝对评价进行计算。这时，将在图像I中所映入的物品G的特征量Fa和PLU文件F1所登记的各物品G的特征量Fbnm或平均特征量Fcn(n＝1～N)以一对一的方式进行比较，并使用该比较的结果计算的相似度C。在这里，将相似度95％作为第一阈值C1。这时，识别部73将相似度C大于等于95％的商品按照相似度C的顺序进行编号并作为物品G的候补。
此外，将相似度C作为相对评价进行计算。这时，以与PLU文件F1的各商品的相似度C的总和为1.0(100％)的方式进行计算。例如，在PLU文件F1中登记有五个商品(第一商品、第二商品、第三商品、第四商品、第五商品)。这时的相似度C诸如将针对第一商品的相似度视为“0.6”、将针对第二商品的相似度视为“0.1”、将针对第三商品的相似度视为“0.1”、将针对第四商品的相似度视为“0.1”、将针对第五商品的相似度视为“0.1”等，使得相似度C的总和始终为1.0。在这里，将诸如相似度0.5作为第一阈值C1。这时，识别部73将相似度C大于等于0.5的商品按照相似度C的顺序进行编号并作为物品G的候补。在上述的例子中，第一商品为物品G的候补。
判定部74当在存储部71中将未登记的新的物品G的图像Io追加登记为新类别时或当在原有类别中追加登记物品G的新图像Ic时，判定是否有识别部73的识别性能下降的可能性或者有识别性能未改善的可能性。
另外，在PLU文件F1中登记新类别的图像Io，就是在PLU文件F1(图3)的商品ID栏f1、商品分类栏f2、商品名栏f3、单价栏f4及实例图像栏f5中登记新的商品信息后，进一步在图像栏f6中登记新的图像Io的情况。另外，一般新的图像Io追加登记多枚。当登记新的图像Io时同时从新的图像Io中提取特征量Fa(第一特征量)并将提取出的特征量Fa存储在特征量栏f7中从而作为第二特征量Fb。进一步计算平均特征量Fc并存储到平均特征量栏f8中。具体地说，在PLU文件F1中，作为商品已登记有“AA1个”、“AA1/2个”时，诸如将“AA1/4个”登记为新的商品(类别)的情况是新类别的追加登记的例子。
此外，在原有类别中追加登记新图像Ic，就是在PLU文件F1(图3)的已登记的商品的图像栏f6中追加登记(学习)新图像Ic的情况。向这样的原有类别的新图像Ic的追加登记，当希望改善该商品的识别性能时进行。
一般，在将在词库中未登记的物品G(学习对象物品)作为新类别追加登记在该词库中时，为了以高的识别率识别已追加登记的物品G，期望能够容易识别从进行新登记的物品G的图像中提取出的特征量(第一特征量)和在词库中已登记的登记物品的特征量(第二特征量)。也就是说，在计算出第一特征量和第二特征量的相似度C时，期望相似度C尽可能低。相反，当第一特征量和第二特征量的相似度C较高时，将未登记的物品G误识别为已登记的物品G的可能性变高。因而，判定部74基于第一特征量和第二特征量的相似度C，判定在将未登记的物品G作为新类别登记到存储部71(PLU文件F1)中时识别性能是否有下降的可能性。关于详细的判定方法进行后述。
此外，在词库中已登记的物品G的原有类别中追加登记了属于该原有类别的物品G的新图像时，为了使用追加登记有新图像的词库可靠地识别物品G，期望从进行追加登记的物品G的新图像中提取出的特征量(第一特征量)和在词库中已登记的物品G的特征量(第二特征量)尽可能相似。相反，当第一特征量和第二特征量的相似度C较低时(当已登记的图像和进行追加登记的新图像已背离时)，在识别部73进行了对象物识别时有已登记的物品G的识别性能下降的可能性。因而，判定部74基于第一特征量和第二特征量的相似度C，判定在词库中已登记的物品G的原有类别中追加登记了属于该原有类别的物品G的新图像时，识别性能是否有下降的可能性。关于详细的判定方法进行后述。
学习部(学习步骤)75进行将提取部53已提取出的物品G的特征量Fa(第一特征量)作为学习对象物品的特征量Fb(第二特征量)登记在存储部71(PLU文件F1)中的学习处理。此外，学习部75当在存储部71中追加登记新类别的图像Io时或者当在原有类别中追加登记新图像Ic时，控制是否执行新图像的登记。
在物品读取装置中登记新类别的图像的处理的流程的说明
下面，对作为实施例的物品读取装置1所进行的动作，划分成向作为存储部71的PLU文件F1追加登记新类别的物品G的图像Io的动作和向作为存储部71的PLU文件F1的原有类别追加登记属于该原有类别的物品G的新图像Ic的动作进行说明。
首先，参照图5，对物品读取装置1向作为存储部71的PLU文件F1追加登记新类别的图像Io的动作的流程进行说明。图5是表示在物品读取装置1中追加登记新类别的图像Io的处理的流程的流程图。首先，在步骤S10中，指定部50基于显示/操作装置110(图1)所具有的触摸面板105或键盘107的操作信息，指定向新类别进行追加登记。具体地说，指定新类别及成为追加登记的对象的学习对象物品。
接着，在步骤S12中，摄像部51对要追加登记到新类别中的物品G的图像Io进行摄像。另外，一般摄像多张图像Io。
接着，在步骤S14中，提取部53从已摄像的图像Io中提取特征量Fa(第一特征量)。
在步骤S16中，首先，计算部72计算PLU文件F1的各个原有类别所登记的特征量Fb(第二特征量)和向新类别追加登记的图像Io的特征量Fa(第一特征量)的相似度C。而且，判定部74判定在原有类别中是否有具有与特征量Fa大于等于第一阈值C1的相似度C的图像Inm(n＝1～N)。另外，第一阈值C1虽然可以设定为任意值，但是期望视为比较高的值(例如，当用相对评价计算出相似度C时为80％)。当判定出为有具有大于等于第一阈值C1的相似度C的图像Inm时(步骤S16的Yes)前进到步骤S18，当除此之外时(步骤S16的No)前进到步骤S28。
接着，在步骤S18中，计算部72从登记在各原有类别中的图像Inm中，计数与图像Io进行相似的图像(具有大于等于第一阈值C1的相似度C的图像Inm，以后称为第一相似图像)的枚数。
在步骤S20中，判定部74基于在步骤S18中的计数结果，判定是否有已被登记大于等于规定枚数K1的图像Io的第一相似图像的原有类别。当判定出为具有大于等于枚数K1的图像Io的第一相似图像的原有类别时(步骤S20的Yes)前进到步骤S22，当除此之外时(步骤S20的No)前进到步骤S28。另外，因类别而登记的图像Inm的枚数不同，因此，在步骤S20中用于判定的枚数K1诸如为在各个类别中已登记的总图像枚数中大于等于规定的比例(例如大于等于30％)。
接着，在步骤S22中，计算部72计算在步骤S12中已摄像的多枚图像Io之间的相似度C。
在步骤S24中，判定部74基于登记在新类别中的多个图像Io之间的相似度C，判定在该图像Io中是否有大于等于规定枚数K2的相似图像。当判定出为在要登记的多个图像Io中有大于等于枚数K2的相似图像时(步骤S24的Yes)前进到步骤S26，当除此之外时(步骤S24的No)前进到步骤S28。另外，判定部74在多个图像Io之间的相似度C(更具体地说，从多个图像Io中提取出的特征量Fa之间的相似度C)大于等于第三阈值C3时，判定为图像Io彼此之间是相似图像。另外，第三阈值C3虽然可以与上述的第一阈值C1无关系地设定为任意值，但是期望视为比较高的值(例如当以相对评价计算出相似度C时为大于等于70％)。此外，为了与基于在步骤S16中计算出的相似度C判断出为已相似的第一相似图像进行区别，将在步骤S24中判断为已相似的相似图像以后称为第二相似图像。此外，登记在新类别中的图像Io的枚数根据情况而不同，因此，在步骤S24中用于判定的枚数K2诸如为在登记在新类别中的总图像枚数中大于等于规定比例(例如大于等于20％)。
当在步骤S24中判定出为在图像Io之间有大于等于枚数K2的第二相似图像时，判定部74在步骤S26中向告知部54发出进行基于警告显示的告知的指示。而且，告知部54当将图像Io作为新类别进行登记时，则告知有识别部73的识别性能下降的可能性。之后，物品读取装置1进行步骤S28的处理。
在步骤S28中，摄像部51判断是否结束图像Io的摄像。具体地说，摄像部51进行是否通过显示/操作装置110进行了指示结束图像Io的摄像的输入的判断。当结束图像Io的摄像时(步骤S28的Yes)，也就是说，当通过显示/操作装置110进行了指示结束图像Io的摄像的输入时前进到步骤S30，当除此之外时(步骤S28的No)返回到步骤S12。
接着，在步骤S30中，学习部75将图像Io及图像Io的特征量Fa(第一特征量)追加登记到作为存储部71的PLU文件F1的新类别中。另外，特征量Fa作为第二特征量Fb被登记在PLU文件F1中。在这里，即使在步骤S26中进行了基于警告显示的告知的情况，也无条件执行由学习部75进行的追加登记。但是，是否有效利用已追加登记的信息，在后述的步骤S32中被设定。
接着，在步骤S32中，学习部75进行在步骤S30中已追加登记的新类别的有效无效设定。另外，当使新类别有效时，识别部73能够访问PLU文件F1所登记的新类别。也就是说，将新类别视为物品读取装置1的识别对象。此外，当使新类别无效时，识别部73不能访问PLU文件F1所登记的新类别。也就是说，不将新类别视为物品读取装置1的识别对象。具体地说，步骤S32的处理通过收银员操作显示/操作装置110(图1)所具有的触摸面板105或键盘107来进行。而且，物品读取装置1在执行了步骤S32后，结束图5的处理。
在这里，参照图6，对在步骤S18中进行的第一相似图像的枚数的计数方法及在步骤S22中进行的第二相似图像的枚数的计数方法进行更具体地说明。图6是对相似图像(第一相似图像及第二相似图像)的枚数的计数方法进行说明的图。
如图6所示，在步骤S18(图5)中，计算部72计算进行追加登记的图像Io(Io1、Io2、......、Ion)和原有类别n所登记的图像Inm(n-1～N)的相似度C。而且，计算部72对应每个类别(类别1、类别2、......、类别N)计数具有大于等于第一阈值C1的相似度C的第一相似图像的枚数。
也就是说，计算部72当向新类别追加登记n枚的图像Io时，在步骤S18中对存储有例如b枚的图像的原有类别2进行b×n次的相似度计算。
此外，在步骤S22(图5)中，计算部72计算进行追加登记的图像Io(Io1、Io2、......、Ion)之间的相似度C。而且，计算部72计算具有大于等于第一阈值C1的相似度C的第二相似图像的枚数。
也就是说，计算部72当在步骤S22中例如向新类别追加登记n枚的图像Io时，进行nC2次的相似度计算。
另外，在图5的流程图中，在步骤S20中判定出是否有已登记大于等于枚数K1的与图像Io相似的第一相似图像的原有类别。而且，在步骤S24中，判定出在新登记的多个图像Io中是否有大于等于枚数K2的第二相似图像。其结果，以有已登记大于等于枚数K1的与图像Io相似的第一相似图像的原有类别且在多个图像Io中有大于等于枚数K2的第二相似图像的情况为条件，判定部74使告知部54告知有识别性能下降的可能性。其由于当在新登记的图像Io中存在有与原有类别所登记的图像Inm相似的图像时，则从图像Io中提取出的特征量Fa和从图像Inm中提取出的特征量Fb变为相近的值，因此在识别部73执行了对象物识别时将新物品G误识别为原有类别已登记的物品的可能性高的缘故。此外，当在摄像了新登记的物品G的多个图像Io之间存在有多个相似的图像时，尽管已追加登记了新类别的物品G的多个图像Io，却有不能获得较高的识别性能的可能性。也就是说，当在新登记的图像Io之间存在有多个相似的图像时，有物品G的图像Io偏集中一方的可能性。也就是说，在识别部73进行了对象物识别时，当使物品读取装置1读取了属于已新登记的类别的物品G时，有误识别为其他的类别的物品的可能性。
另外，步骤S20及步骤S24进行的判定处理也可以更简化地进行。也就是说，也可以在步骤S16中计算出新登记的图像Io和原有类别所登记的图像Inm的相似度C时在已登记的任一类别中发现了大于等于第一阈值C1的图像Inm的情况(步骤S16的Yes)为条件，判定部74使告知部54告知有识别部73的识别性能下降的可能性。这时，在图5的流程图中，无需步骤S18、S20、S22、S24的各个处理。
而且，也可以在步骤S20中有已登记有大于等于枚数K1的图像Io的第一相似图像的原有类别的情况(步骤S20的Yes)为条件，判定部74使告知部54告知有识别部73的识别性能下降的可能性。这时，在图5的流程图中，无需步骤S22、S24的各个处理。
在物品读取装置的原有类别中登记新图像的处理的流程的说明
接着，参照图7，对作为实施例的物品读取装置1在作为存储部71的PLU文件F1的原有类别i中追加登记新图像Ic的动作的流程进行说明。图7是表示在物品读取装置1的原有类别i中追加登记新图像Ic的处理的流程的流程图。首先，在步骤S40中，指定部50基于显示/操作装置110(图1)所具有的触摸面板105或键盘107的操作信息，指定向原有类别i进行新图像Ic的追加登记。具体地说，指定原有类别i及成为追加登记的对象的学习对象物品。
接着，在步骤S42中，摄像部51摄像向原有类别i进行追加登记的新图像Ic。
接着，在步骤S44中，提取部53从已摄像的新图像Ic中提取特征量Fa(第一特征量)。
在步骤S46中，首先，计算部72计算PLU文件F1的原有类别I所登记的特征量Fb(第二特征量)和向原有类别i进行追加登记的新图像Ic的特征量Fa(第一特征量)的相似度C。而且，判定部74判定在原有类别i中是否有具有与特征量Fa小于等于第二阈值C2的相似度C的图像Iim。另外，第二阈值C2虽然也可以设定为低于第一阈值C1的任意值，但是期望视为比较低的值(例如当以相对评价计算出相似度C时为20％)。当判定出为有具有小于等于第二阈值C2的相似度C的图像Iim时(步骤S46的Yes)前进到步骤S48，当除此之外时(步骤S46的No)前进到步骤S56。
接着，在步骤S48中，计算部72由原有类别i所登记的图像Iim中计数具有与新图像Ic小于等于第二阈值C2的相似度C的图像(以下称为背离图像)的枚数。
在步骤S50中，判定部74基于在步骤S48中的计数结果，判定在原有类别i中是否有大于等于规定枚数K3的新图像Ic的背离图像。当判定出为有大于等于枚数K3的背离图像时(步骤S50的Yes)前进到步骤S52，当除此之外时(步骤S50的No)前进到步骤S56。另外，由于原有类别I所登记的图像Iim的枚数根据情况不同，因此在步骤S50中用于判定的枚数K3诸如为在原有类别i所登记的总图像枚数中大于等于规定比例(例如大于等于15％)。
当在步骤S50中判定出为在原有类别i中有大于等于枚数K3的背离图像时，判定部74在步骤S52中向告知部54发出进行基于警告显示的告知的指示。而且，告知部54当在原有类别i中追加登记新图像Ic时，则告知有识别部73的识别性能下降的可能性。之后，物品读取装置1进行步骤S54的处理。
接着，在步骤S54中，学习部75判定是否进行将新图像Ic登记在原有类别I中的追加学习。当进行追加学习时(步骤S54的Yes)前进到步骤S56，当除此之外时(步骤S54的No)，物品读取装置1结束图7的处理。另外，学习部75只要以判定部74判定出为没有识别部73的识别性能下降的可能性的情况为条件进行追加学习就可以。而且，学习部75只要以判定部74判定出为有识别部73的识别性能下降的可能性的情况为条件不进行追加学习就可以。
在步骤S56中，学习部75将新图像Ic及新图像Ic的特征量Fa(第一特征量)追加登记在作为存储部71的PLU文件F1的原有类别i中。另外，特征量Fa作为第二特征量Fb被登记在PLU文件F1中。之后，物品读取装置1结束图7的处理。
另外，在图7的流程图中，在步骤S46中，计算出新图像Ic和追加登记的原有类别i所登记的图像Iim的相似度C。而且，在步骤S50中，以在原有类别i所登记的图像Iim中有大于等于枚数K3的新图像Ic的背离图像的情况为条件，判定部74使告知部54告知有识别性能下降的可能性或者有识别性能未改善的可能性。其是因为当在向类别i进行追加登记的新图像Ic中存在有原有类别i所登记的图像Iim的背离图像时，则由于从新图像Ic中提取出的特征量Fa和从图像Iim中提取出的特征量Fb变为分离的值，因此在识别部73执行了对象物识别时将属于原有类别i的物品G误识别为别的类别所登记的物品的可能性高的缘故。
另外，步骤S46及步骤S50进行的判定处理也可以更简化地进行。也就是说，也可以在步骤S46中计算出进行追加登记的新图像Ic和原有类别i所登记的图像Iim的相似度C时找到了小于等于第二阈值C2的图像Iim的情况(步骤S46的Yes)为条件，判定部74使告知部54告知有识别部73的识别性能下降的可能性。这时，在图7的流程图中，无需步骤S48、S50的各个处理。
此外，虽然图7所示的流程图示出了仅追加登记一枚的新图像Ic的例子，但是进行追加登记的新图像Ic并不限定于一枚。也就是说，也可以在进行了步骤S56的处理后，判定是否追加登记别的新图像Ic并当需要追加登记时，返回到步骤S42重复执行图7的处理。另外，也可以在追加登记多个新图像Ic时，判定部74判定在进行追加登记的多个新图像Ic之间是否存在有大于等于规定枚数K2的具有大于等于第三阈值C3的相似度C的新图像Ic，并当存在有大于等于规定枚数K2的相似图像时，使告知部54告知有识别性能下降的可能性或者有识别性能未改善的可能性。该处理与在图5的步骤S22、S24中所说明的处理对应。
而且，判定部74也可以基于新图像Ic和未追加登记该新图像Ic的原有类别(除原有类别i以外的类别)所登记的图像的相似度C，判定当追加登记了新图像Ic时，有原有类别i的识别性能下降的可能性或者有识别性能未改善的可能性。也就是说，当在不是新图像Ic的追加对象的原有类别(除原有类别i以外的类别)中存在有多个与新图像Ic相似的图像时，能够判定为当在将新图像Ic追加登记到原有类别i中时有原有类别i的识别性能下降的可能性。而且，进一步能够判定为存在有与新图像Ic相似的图像的原有类别i的识别性能也有同样下降的可能性。该处理诸如能够使用图5的步骤S16、S18来进行。
在这里，参照图8，对在步骤S48中进行的背离图像的枚数的计数方法更具体地进行说明。图8是对背离图像的枚数的计数方法进行说明的图。
如图8所示，在步骤S48(图7)中，计算部72计算新图像Ic和登记该新图像Ic的原有类别i所登记的图像Iim的相似度C。而且，计算部72计数具有小于等于第二阈值C2的相似度C的图像Iim(背离图像)的枚数。
也就是说，计算部72当在原有类别i中登记有p枚的图像时，在步骤S48中进行p次的相似度计算。
如以上说明那样，根据实施例所涉及的物品读取装置1，指定部50将学习对象的物品G指定为学习对象物品。而且，提取部53从摄像了作为学习对象物品的物品G的图像中提取表示该学习对象物品的特征的特征量Fa(第一特征量)。接着，计算部72对提取部53提取出的特征量Fa和表示PLU文件F1(存储部71)所构成的词库所登记的各个登记物品的特征的特征量Fb(第二特征量)进行比较，并计算其相似度C。判定部74判定特征量Fa和除物品G的登记物品的特征量Fb的相似度C是否大于等于第一阈值C1或者判定特征量Fa和包含物品G的登记物品的特征量Fb的相似度C是否小于等于与第一阈值C1相比低的第二阈值。而且，告知部54以判定部74进行了所述判定的情况为条件，先行于学习部53进行将提取部53提取出的特征量Fa作为学习对象物品的特征量Fb登记在存储部71中的学习处理进行告知。因此，能够避免向存储部71追加登记有识别性能下降的可能性的物品G。
此外，根据实施例所涉及的物品读取装置1，存储部71对应每个登记物品存储多个特征量Fb(第二特征量)。而且，告知部54以在每个登记物品的特征量Fb中存在有与特征量Fa(第一特征量)的相似度C大于等于第一阈值C1或者小于等于第二阈值C2的特征量Fb的情况为条件进行告知。因此，在指定部50指定了学习对象物品时，能够用简单的运算可靠地判定有识别性能下降的可能性。
而且，根据实施例所涉及的物品读取装置1，存储部71对应每个登记物品存储多个特征量Fb(第二特征量)。而且，告知部54以在每个登记物品的特征量Fb中有大于等于枚数K1(规定数)的具有与特征量Fa(第一特征量)的相似度C大于等于第一阈值C1的特征量Fb的图像Io的情况为条件进行告知。此外，告知部54以在每个登记物品的特征量Fb中存在有大于等于枚数K3(规定数)的具有与特征量Fa(第一特征量)的相似度C大于等于第二阈值C2的特征量Fb的新图像Ic(图像)的情况为条件进行告知。因此，在指定部50指定了学习对象物品时，能够用简单的运算更进一步可靠地判定有识别性能降低的可能性。
而且，根据实施例所涉及的物品读取装置1，提取部53从摄像了学习对象物品的多个图像Io的各个图像中提取特征量Fa(第一特征量)。而且，计算部72计算提取部53提取出的特征量Fa之间的相似度C。告知部54以存在有大于等于K2(规定数)的具有特征量Fa和除物品G之外的登记物品的特征量Fb的相似度C大于等于第一阈值C1或者特征量Fa和包含物品G的登记物品的特征量Fb的相似度C为小于等于与第一阈值C1相比低的第二阈值C2且特征量Fa之间的相似度C大于等于第三阈值C3的特征量Fa的图像Io的情况为条件进行告知。因此，能够可靠地判定有识别性能下降的可能性或者有识别性能未改善的可能性。
此外，根据实施例所涉及的物品读取装置1，指定部50将PLU文件F1(存储部71)未存储的类别的物品G指定为新的类别的学习对象物品。此外，指定部50在存储部71所存储的原有类别中将属于该原有类别的物品G指定为学习对象物品。因此，能够容易地与进行读取的物品G的追加、变更进行对应。以上，虽然对本发明的实施例进行了说明，但是该实施例是作为例子提出的，并不意图限定发明的范围。该新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。
例如，在实施例中，虽然物品读取装置1在PLU文件F1(存储部71)中均登记了图像Inm和特征量Fb，但是进行登记的也可以是图像Inm和特征量Fb中的任一方。也就是说，既可以在PLU文件F1中事先仅登记特征量Fb，又可以在PLU文件F1中事先仅登记图像Inm，并根据需要计算特征量Fb。但是，当针对物品读取装置1预计新类别的追加登记时，为了改善已登记的各个类别的识别性能，有产生有使用至今没有的新的特征量Fb的必要性的情况。当使用新的特征量Fb时，需要根据已登记的物品G的图像计算该新的特征量Fb。因此，期望在存储部71中至少事先登记物品G的图像Inm。
此外，在实施例中，虽然物品读取装置1作为第一特征量Fa及第二特征量Fb分别使用了一种特征量，但是进行使用的特征量的种类并不限定于一种。也就是说，也可以使用多种的特征量并组合这些的特征量的值来识别物品G。
此外，在实施例中，虽然将图5和图7的流程图单独地进行了说明，但是这两个流程图也可以组合成一个来使用。诸如也可以是根据指定部50的指定，对向新类别的追加登记和向原有类别的追加登记进行切换的构成。
本发明的一个或多个实施例可以被实施为一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行上述的控制方法所对应的操作。根据这样的构成，能够实现能够检测有识别性能下降的可能性的图像并在登记前进行告知的功能。
本发明的一个或多个实施例可以被实施为计算机可读记录介质，可以将由计算机执行的诸如程序模块之类的命令或指令记录在该计算机可读记录介质上。计算机可读记录介质可以为能够由计算机访问的任何介质，如易失性介质等。此外，计算机可读记录介质可以为计算机存储介质或可以为任何信息传输媒介的通信介质。
本发明的计算机可读记录介质，使计算机具有以下功能：指定部，将学习对象的物品指定为学习对象物品；提取部，从摄像了所述学习对象物品的图像中提取表示该学习对象物品的特征的第一特征量；存储部，存储表示词库所登记的登记物品的特征的第二特征量；计算部，对所述提取部提取出的所述第一特征量和所述登记物品的所述第二特征量进行比较并计算其相似度；学习部，进行将所述提取部提取出的所述第一特征量作为所述学习对象物品的所述第二特征量登记在所述存储部中的学习处理；以及告知部，以所述第一特征量和除所述学习对象物品之外的所述登记物品的所述第二特征量的所述相似度大于等于第一阈值、或者所述第一特征量和所述登记物品所包含的所述学习对象物品的所述第二特征量的所述相似度小于等于与所述第一阈值相比低的第二阈值的情况为条件，先于所述学习处理进行告知。

Claims (10)

1.一种物品读取装置，其特征在于，包括：
指定部，将学习对象的物品指定为学习对象物品；
提取部，从摄像了所述学习对象物品的图像中提取表示该学习对象物品的特征的第一特征量；
存储部，存储表示词库所登记的登记物品的特征的第二特征量；
计算部，对所述提取部提取出的所述第一特征量和所述登记物品的所述第二特征量进行比较并计算其相似度；
学习部，进行将所述提取部提取出的所述第一特征量作为所述学习对象物品的所述第二特征量登记在所述存储部中的学习处理；以及
告知部，以所述第一特征量和除所述学习对象物品之外的所述登记物品的所述第二特征量的所述相似度大于等于第一阈值、或者所述第一特征量和所述登记物品所包含的所述学习对象物品的所述第二特征量的所述相似度小于等于与所述第一阈值相比低的第二阈值的情况为条件，先于所述学习处理进行告知。
2.根据权利要求1所述的物品读取装置，其特征在于，
所述存储部对应每个所述登记物品存储多个所述第二特征量，
所述告知部当存在符合所述条件的所述第二特征量时进行所述告知。
3.根据权利要求1或2所述的物品读取装置，其特征在于，
所述存储部对应每个所述登记物品存储多个所述第二特征量，
所述告知部当存在大于等于规定数的符合所述条件的所述第二特征量时进行所述告知。
4.根据权利要求1至3中任一项所述的物品读取装置，其特征在于，
所述提取部从摄像了所述学习对象物品的多个图像的各个图像中提取所述第一特征量，
所述计算部计算所述提取部提取出的所述第一特征量之间的所述相似度，
所述告知部当存在大于等于规定数的符合所述条件且所述第一特征量之间的所述相似度大于等于第三阈值的所述第一特征量时进行所述告知。
5.根据权利要求1至4中任一项所述的物品读取装置，其特征在于，
所述指定部将所述存储部未存储的类别的物品指定为新的类别的学习对象物品、或者所述指定部在所述存储部所存储的原有类别中将属于该原有类别的物品指定为学习对象物品。
6.一种物品读取装置的控制方法，该控制方法包括以下步骤：
指定步骤，将学习对象的物品指定为学习对象物品；
提取步骤，从摄像了所述学习对象物品的图像中提取表示该学习对象物品的特征的第一特征量；
计算步骤，对通过所述提取步骤提取出的所述第一特征量和所述登记物品的第二特征量进行比较并计算其相似度；
学习步骤，进行将通过所述提取步骤提取出的所述第一特征量作为所述学习对象物品的特征量登记在存储表示词库所登记的登记物品的特征的所述第二特征量的存储部中的学习处理；以及
告知步骤，以所述第一特征量和除所述学习对象物品之外的所述登记物品的所述第二特征量的所述相似度大于等于第一阈值、或者所述第一特征量和所述登记物品所包含的所述学习对象物品的所述第二特征量的所述相似度小于等于与所述第一阈值相比低的第二阈值的情况为条件，先于所述学习处理进行告知。
7.根据权利要求6所述的控制方法，其中，
所述存储部对应每个所述登记物品存储多个所述第二特征量，
在所述告知步骤中，当存在符合所述条件的所述第二特征量时进行所述告知。
8.根据权利要求6或7所述的控制方法，其中，
所述存储部对应每个所述登记物品存储多个所述第二特征量，
在所述告知步骤中，当存在大于等于规定数的符合所述条件的所述第二特征量时进行所述告知。
9.根据权利要求6所述的控制方法，其中，
在所述提取步骤中，从摄像了所述学习对象物品的多个图像的各个图像中提取所述第一特征量，
在所述计算步骤中，计算通过所述提取步骤提取出的所述第一特征量之间的所述相似度，
在所述告知步骤中，当存在大于等于规定数的符合所述条件且所述第一特征量之间的所述相似度大于等于第三阈值的所述第一特征量时进行所述告知。
10.一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，其特征在于，
所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行如权利要求6至9中任一项所述的控制方法所对应的操作。
CN201710780975.4A 2016-09-13 2017-09-01 物品读取装置及控制方法、终端设备 Active CN107818295B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-178873 2016-09-13
JP2016178873A JP6838903B2 (ja) 2016-09-13 2016-09-13 物品読取装置およびプログラム

Publications (2)

Publication Number Publication Date
CN107818295A true CN107818295A (zh) 2018-03-20
CN107818295B CN107818295B (zh) 2022-03-15

Family

ID=59887048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710780975.4A Active CN107818295B (zh) 2016-09-13 2017-09-01 物品读取装置及控制方法、终端设备

Country Status (4)

Country Link
US (1) US10573022B2 (zh)
EP (1) EP3293674B1 (zh)
JP (1) JP6838903B2 (zh)
CN (1) CN107818295B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360358A (zh) * 2018-12-25 2019-02-19 北京旷视科技有限公司 支付设备、支付系统及自助结账方法
CN110246281A (zh) * 2019-06-04 2019-09-17 北京星选科技有限公司 数据处理方法、装置、电子设备及计算机可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082381A1 (ja) * 2017-10-27 2019-05-02 楽天株式会社 画像抽出装置、画像抽出方法及び画像抽出プログラム
JP6575628B1 (ja) * 2018-03-30 2019-09-18 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
JP7122625B2 (ja) 2018-07-02 2022-08-22 パナソニックＩｐマネジメント株式会社 学習データ収集装置、学習データ収集システム、及び学習データ収集方法
JP7132346B2 (ja) * 2018-09-11 2022-09-06 株式会社日立国際電気 照合システム及び照合サーバ
JP7449385B2 (ja) 2020-07-03 2024-03-13 株式会社ソニー・インタラクティブエンタテインメント 訓練データ選別装置、訓練データ選別方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102376136A (zh) * 2010-08-23 2012-03-14 东芝泰格有限公司 店铺系统及商品销售数据处理方法
CN103577515A (zh) * 2012-07-23 2014-02-12 东芝泰格有限公司 商品识别装置及识别词库追加方法
US20150193668A1 (en) * 2014-01-07 2015-07-09 Toshiba Tec Kabushiki Kaisha Information processing apparatus, store system and method for recognizing object
US9619836B2 (en) * 2013-07-17 2017-04-11 Toshiba Tec Kabushiki Kaisha Recognition dictionary evaluation apparatus and recognition dictionary evaluation method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5551143B2 (ja) * 2011-12-02 2014-07-16 東芝テック株式会社 店舗システムおよびプログラム
JP5579202B2 (ja) * 2012-01-16 2014-08-27 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP2014032539A (ja) * 2012-08-03 2014-02-20 Toshiba Tec Corp オブジェクト認識スキャナシステム、辞書サーバ、オブジェクト認識スキャナ、辞書サーバプログラムおよび制御プログラム
JP6220679B2 (ja) * 2014-01-08 2017-10-25 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP6427973B2 (ja) * 2014-06-12 2018-11-28 オムロン株式会社 画像認識装置及び画像認識装置への特徴量データ登録方法
JP6348827B2 (ja) 2014-11-17 2018-06-27 東芝テック株式会社 情報処理装置、店舗システムおよびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102376136A (zh) * 2010-08-23 2012-03-14 东芝泰格有限公司 店铺系统及商品销售数据处理方法
CN103577515A (zh) * 2012-07-23 2014-02-12 东芝泰格有限公司 商品识别装置及识别词库追加方法
US9619836B2 (en) * 2013-07-17 2017-04-11 Toshiba Tec Kabushiki Kaisha Recognition dictionary evaluation apparatus and recognition dictionary evaluation method
US20150193668A1 (en) * 2014-01-07 2015-07-09 Toshiba Tec Kabushiki Kaisha Information processing apparatus, store system and method for recognizing object

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360358A (zh) * 2018-12-25 2019-02-19 北京旷视科技有限公司 支付设备、支付系统及自助结账方法
CN110246281A (zh) * 2019-06-04 2019-09-17 北京星选科技有限公司 数据处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
EP3293674A1 (en) 2018-03-14
JP6838903B2 (ja) 2021-03-03
EP3293674B1 (en) 2023-10-04
US20180130225A1 (en) 2018-05-10
CN107818295B (zh) 2022-03-15
JP2018045390A (ja) 2018-03-22
US10573022B2 (en) 2020-02-25

Similar Documents

Publication Publication Date Title
CN107818295A (zh) 物品读取装置及控制方法、终端设备
CN105608808B (zh) 信息处理装置及其控制方法、店铺系统
CN107798333A (zh) 信息处理装置及控制方法、终端设备、机器可读存储介质
CN103295346A (zh) 信息处理装置、店铺系统及信息处理方法
CN103116949A (zh) 信息处理装置及信息处理方法
US20130259320A1 (en) System and method for providing commodity information, and storage medium containing related program
CN103208154A (zh) 信息处理装置、店铺系统及信息处理方法
CN107798268A (zh) 物品读取装置及控制方法、终端设备、计算机可读存储介质
JP6193897B2 (ja) 情報処理装置、店舗システム及びプログラム
CN107273900A (zh) 图像处理装置及其控制方法、终端设备
US20130322700A1 (en) Commodity recognition apparatus and commodity recognition method
JP6745646B2 (ja) 認識システム、情報処理装置、及びプログラム
CN103679977A (zh) 信息处理装置及其控制方法
CN103310559A (zh) 信息处理装置及其控制方法
JP2014052800A (ja) 情報処理装置及びプログラム
JP2015130066A (ja) 情報処理装置、店舗システム及びプログラム
JP5571633B2 (ja) 健康度報知装置、プログラム及び健康度報知方法
CN107437312A (zh) 信息处理装置及其控制方法、终端设备
JP5658720B2 (ja) 情報処理装置及びプログラム
JP6336351B2 (ja) 情報処理装置及びプログラム
CN104299337B (zh) 信息处理装置及其控制方法
JP5797703B2 (ja) 情報処理装置、店舗システム及びプログラム
JP2018142358A (ja) 情報処理装置及びプログラム
JP2016062548A (ja) 商品登録装置、商品登録方法、および商品登録プログラム
US20170083891A1 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant