CN104766416A - 信息处理装置及其控制方法、店铺系统 - Google Patents

信息处理装置及其控制方法、店铺系统 Download PDF

Info

Publication number
CN104766416A
CN104766416A CN201410679657.5A CN201410679657A CN104766416A CN 104766416 A CN104766416 A CN 104766416A CN 201410679657 A CN201410679657 A CN 201410679657A CN 104766416 A CN104766416 A CN 104766416A
Authority
CN
China
Prior art keywords
commodity
article
characteristic quantity
similarity
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410679657.5A
Other languages
English (en)
Other versions
CN104766416B (zh
Inventor
福田正嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Publication of CN104766416A publication Critical patent/CN104766416A/zh
Application granted granted Critical
Publication of CN104766416B publication Critical patent/CN104766416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0009—Details of the software in the checkout register, electronic cash register [ECR] or point of sale terminal [POS]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种信息处理装置及其控制方法、店铺系统，其能够对在目的物识别中的核对用数据是否需要追加学习进行告知，该信息处理装置包括：选择部、抽出部、相似度计算部及告知部。所述选择部，从对多个物品存储了用于识别物品的特征量的存储部，选择对象物品。所述抽出部，抽出摄像部所摄像的图像所包含的物品的特征量。所述相似度计算部，将所述存储部所存储的物品的特征量和所述抽出部所抽出的特征量进行比较，对应所述存储部所存储的每个物品计算出相似度。所述告知部，当通过所述选择部已选择的物品的相似度在所述存储部所存储的物品中不是高位时，对通过所述选择部已选择出的所述物品的特征量的更新进行告知。

Description

信息处理装置及其控制方法、店铺系统
本申请主张申请日为2014年01月07日、申请号为JP2014-001181的日本申请为优先权，并引用上述申请的内容。
技术领域
本发明涉及一种信息处理装置及其控制方法、店铺系统。
背景技术
目前，存在有根据将从通过图像传感器装置摄像的图像数据中抽出的作为对象的物品的特征量、和预先准备的词库中的核对用数据(特征量)进行比较的相似度，识别(检测)所述物品的种类等的一般物体识别(目的物识别)所涉及的技术。此外，提案有一种店铺系统，将该一般物体识别所涉及的技术应用于蔬菜和水果等的商品的识别，对已识别的商品进行销售登记。
在上述的一般物体识别所用的词库中，预先登记有核对用数据(特征量)。不过，当词库所登记的核对用数据(特征量)有不完备时，相似度变低，难以识别商品。
在这样的情况下，对词库所登记的核对用数据(特征量)通过追加学习等来消除不完备，使识别精度提高。
不过，对词库所登记的核对用数据(特征量)是否需要追加学习未示出有判定基准，所以很难判断。
发明内容
鉴于上述问题，本发明的目的在于提供一种信息处理装置及其控制方法、店铺系统，其能够对目的物识别中的核对用数据(特征量)是否需要追加学习进行告知。
为解决上述问题，本发明第一方面所涉及的信息处理装置包括：选择部、抽出部、相似度计算部及告知部。所述选择部，从对多个物品存储了用于识别物品的特征量的存储部，选择对象物品。所述抽出部，抽出摄像部所摄像的图像所包含的物品的特征量。所述相似度计算部，将所述存储部所存储的物品的特征量和所述抽出部所抽出的特征量进行比较，对应所述存储部所存储的每个物品计算出相似度。所述告知部，当通过所述选择部已选择的物品的相似度在所述存储部所存储的物品中不是高位时，对通过所述选择部已选择出的所述物品的特征量的更新进行告知。
本发明第二方面所涉及的店铺系统包括：上述信息处理装置；以及销售登记部，采用用于识别所述物品的特征量识别所述摄像部所摄像的商品并执行销售登记处理。
本发明第三方面所涉及的信息处理装置的控制方法，包括以下步骤：选择步骤，从对多个物品存储了用于识别物品的特征量的存储部，选择对象物品；抽出步骤，抽出摄像部所摄像的图像所包含的物品的特征量；相似度计算步骤，将所述存储部所存储的物品的特征量和通过所述抽出步骤所抽出的特征量进行比较，对应所述存储部所存储的每个物品计算出相似度；以及告知步骤，当通过所述选择步骤已选择的物品的相似度在所述存储部所存储的物品中不是高位时，对通过所述选择步骤已选择出的所述物品的特征量的更新进行告知。
附图说明
下面，参照附图对本发明所涉及的信息处理装置及其控制方法、店铺系统进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：
图1是表示实施例所涉及的结账系统的一例立体图；
图2是表示POS终端及商品读取装置的硬件构成的框图；
图3是例示PLU文件的数据构成的概念图；
图4是表示POS终端的功能构成的框图；
图5是表示通过图像采集部采集到的帧图像的一例图；
图6是表示确定画面的一例图；
图7是表示确认画面的一例图；
图8是表示显示有商品候选的插画图像的画面例的图；
图9是表示结账系统所执行的商品识别精度检验处理的流程的流程图；
图10是表示精度检验画面的一例说明图；
图11是表示摄像图像的一例说明图；
图12是表示中止执行画面的一例说明图；
图13是表示高识别结果画面的一例说明图；
图14是表示再判定画面的一例说明图；
图15是表示中识别结果画面的一例说明图；
图16是表示低识别结果画面的一例说明图；
图17是表示追加学习准备画面的一例说明图；
图18是表示自助POS的构成的外观立体图；以及
图19是表示自助POS的硬件构成的框图。
附图标记说明
11      POS终端
52      商品检测部
53      相似度计算部
91      物品指定部
92      告知部
164     摄像部
F1      PLU文件
PR2     商品识别精度检验用程序
G5      精度检验画面
具体实施方式
下面，参照附图，以结账系统为例对本实施例所涉及的信息处理装置、店铺系统及程序进行说明。店铺系统是具有进行一交易所涉及的商品的登记、对账的POS终端的结账系统(POS系统)等。本实施例是向引进到超市等的店铺的结账系统的应用例。
图1是表示实施例所涉及的结账系统1的一例立体图。如图1所示，结账系统1具有读取商品相关的信息的商品读取装置101、进行一交易所涉及的商品的登记、对账的POS终端11。下面对将POS终端11作为本实施例所涉及的信息处理装置进行应用的例子进行说明。
POS终端11载置在结账台41上的拉出装置21上表面上。拉出装置21通过POS终端11控制开放动作。在POS终端11的上表面上配置有由操作员(店员)进行按下操作的键盘22。从操作键盘22的操作员来看，在键盘22的里侧设置有朝向操作员显示信息的显示装置23。显示装置23在其显示面23a上显示信息。显示面23a层压有触摸面板26。在显示装置23的更里侧可旋转地立着设置有顾客用显示装置24。顾客用显示装置24在其显示面24a上显示信息。另外，图1所示的顾客用显示装置24虽然将显示面24a朝向图1中跟前侧，但是通过以显示面24a朝向图1中里侧的方式使顾客用显示装置24旋转，顾客用显示装置24朝向顾客显示信息。
长方形桌子状的柜台151以与载置有POS终端11的结账台41形成为L字的方式被配置。柜台151的上面形成有负荷接受面152。负荷接受面152载置有收纳商品A的购物筐153。购物筐153可以考虑划分成通过顾客带来的第一购物筐153a、载置在与第一购物筐153a隔着商品读取装置101的位置上的第二购物筐153b。另外，购物筐153并不限定于所谓的筐形状，也可以是托盘等。此外，购物筐153(第二购物筐153b)并不限定于所谓的筐形状，也可以是箱状、袋状等。
柜台151的负荷接受面152设置有可与POS终端11数据发送接收地连接的商品读取装置101。商品读取装置101具有薄型矩形形状的外壳102。在外壳102的正面配置有读取窗103。在外壳102的上部安装有显示/操作部104。显示/操作部104设置有作为在表面上层压有触摸面板105的显示部的显示装置106。在显示装置106的右边配设有键盘107。在键盘107的右边设置有未图示的读卡器的卡读取槽108。从操作员角度看，在显示/操作部104的里面靠左侧设置有顾客用显示装置109，用于向顾客提供信息。
这样的商品读取装置101具有商品读取部110(参照图2)。商品读取部110在读取窗103的里侧配置摄像部164(参照图2)。
通过顾客带来的第一购物筐153a收纳有一交易所涉及的商品A。第一购物筐153a内的商品A通过操作商品读取装置101的操作员被移动到第二购物筐153b。在该移动过程中，商品A朝向商品读取装置101的读取窗103。这时，读取窗103内所配置的摄像部164(参照图2)摄像商品A。
在商品读取装置101中，将用于指定通过摄像部164摄像的图像所包含的商品A与后述的PLU文件F1(参照图3)所登记的哪个商品对应的画面显示在显示/操作部104上，并将已指定的商品的商品ID通知给POS终端11。POS终端11基于从商品读取装置101通知的商品ID，将与所述商品ID对应的商品的商品分类、商品名、单价等的销售登记所涉及的信息记录在销售主文件(未图示)等中从而进行销售登记。
图2是表示POS终端11及商品读取装置101的硬件构成的框图。POS终端11具有作为执行信息处理的信息处理部的微计算机60。微计算机60在执行各种运算处理并控制各部的CPU(Central Processing Unit：中央处理器)61上总线连接有ROM(Read Only Memory：只读存储器)62和RAM(Random AccessMemory：随机存取存储器)63。
上述的拉出装置21、键盘22、显示装置23、触摸面板26及顾客用显示装置24均通过各种输入输出电路(均未图示)与POS终端11的CPU61连接，并接受CPU61的控制。
键盘22包含在上表面上显示有“1”、“2”、“3”……等的数字、“×”的乘法的运算符的数字键22d、临时合计键22e及合计键22f。
POS终端11的CPU61连接有HDD64(Hard Disk Drive：硬盘驱动器)。HDD64存储有程序、各种文件。HDD64所存储的程序、各种文件在POS终端11的起动时其全部或一部分被RAM63复制并通过CPU61执行。HDD64所存储的程序的一例是商品销售数据处理用程序PR1、商品识别精度检验用程序PR2。HDD64所存储的文件的一例是从存储计算机SC发送而被存储的PLU文件F1。
PLU文件F1是对在店铺陈列并进行销售的商品A的各个商品，存储商品A的销售登记所涉及的信息的商品文件。在以下说明中，虽然将PLU文件F1作为词库使用，但是词库也可以是与PLU文件F1不同的文件。词库关于多个商品存储用于识别从已摄像的图像数据抽出的商品A的核对用数据(特征量)。词库当是与PLU文件F1不同的文件时，词库所存储的核对用数据(特征量)和PLU文件F1的信息(识别信息)被关联。特征量是将商品的标准的形状、表面的色彩、图案、凹凸状况等外观特征进行参数化的数据。
图3是例示PLU文件F1的数据构成的概念图。如图3所示，PLU文件F1是将对应每个商品A唯一分配的作为识别信息的商品ID、商品A所属的商品分类、商品名、品种、单价等与商品有关的信息、表示其商品A的插图图像以及从已摄像的商品图像读取的色彩、表面的凹凸状况等的特征量，作为其商品A的商品信息进行存储的文件。另外，特征量是后述的相似度的判定中所用的核对用数据。另外，PLU文件F1为商品读取装置101可通过后述的连接接口65读出的构成。
返回到图2，POS终端11的CPU61通过输入输出电路(未图示)连接有用于与存储计算机SC执行数据通信的通信接口25。存储计算机SC被设置在店铺的后院等。存储计算机SC的HDD(未图示)存储有发送给POS终端11的PLU文件F1。
而且，POS终端11的CPU61连接有可在与商品读取装置101之间数据发送接收的连接接口65。连接接口65连接有商品读取装置101。此外，POS终端11的CPU61连接有在票据等上进行打字的打印机66。POS终端11在CPU61的控制下，在票据上打印一交易的交易内容。
商品读取装置101也具有微计算机160。微计算机160在CPU161上总线连接有ROM162和RAM163。ROM162存储通过CPU161执行的程序。CPU161通过各种输入输出电路(均未图示)连接有摄像部164、声音输出部165。摄像部164、声音输出部165通过CPU161控制动作。显示/操作部104通过连接接口176与商品读取部110及POS终端11连接。显示/操作部104通过商品读取部110的CPU161、POS终端11的CPU61控制动作。
摄像部164是彩色CCD图像传感器或彩色CMOS图像传感器等，并是在CPU161的控制下从读取窗103进行摄像的摄像部。例如，摄像部164进行30fps(Flame Per Second：每秒传输帧数)的视频摄像。摄像部164以规定帧频依次摄像的帧图像(摄像图像)被保存在RAM163中。
声音输出部165是用于产生预先设定的警告音等的声音电路和扬声器等。声音输出部165在CPU161的控制下进行警告音、语音的告知。
而且，CPU161连接有与POS终端11的连接接口65连接、并在与POS终端11之间可数据发送接收的连接接口175。此外，CPU161通过连接接口175在与显示/操作部104之间进行数据发送接收。
接着，对通过CPU61执行程序(商品销售数据处理用程序PR1、商品识别精度检验用程序PR2)来实现的CPU61的功能构成进行说明。图4是表示POS终端11的功能构成的框图。
图4是表示POS终端11的功能构成的框图。如图4所示，POS终端11的CPU61通过执行商品销售数据处理用程序PR1及商品识别精度检验用程序PR2，具有作为图像采集部51、商品检测部52、相似度计算部53、相似度判定部54、商品提示部55、输入接受部57、信息输入部58、作为销售登记处理部的销售登记部59、物品指定部91、告知部92以及追加学习部93的功能。
(商品登记处理及销售登记处理)
首先，将对基于POS终端11的图像采集部51、商品检测部52、相似度计算部53、相似度判定部54、商品提示部55、输入接受部57、信息输入部58的与一般物体识别(目的物识别)对应的商品登记处理及基于销售登记部59的销售登记处理的概要，进行说明。
图像采集部51向摄像部164输出摄像导通信号从而使摄像部164开始摄像动作。图像采集部51依次采集在摄像动作开始后摄像部164摄像并保存在RAM163中的帧图像。基于图像采集部51的帧图像的采集按照RAM163所保存的顺序进行。
图5是表示通过图像采集部51采集到的帧图像的一例图。如图5所示，当操作员将商品A对准读取窗103时，则在摄像部164的读取区域R中商品A的全部或一部分被摄像并被显示在商品读取装置101的显示装置106上。
商品检测部52具有作为抽出部功能，其检测出摄像部164所摄像并通过图像采集部51采集到的帧图像所包含的商品A，从而抽出特征量。商品检测部52通过采用模式匹配技术等检测出帧图像所包含的商品A的全部或一部分，抽取已被摄像的商品A的特征量。具体地说，从将采集到的帧图像进行2值化的图像中抽出轮廓线等。接着，对从前次的帧图像抽出的轮廓线和从此次的帧图像抽出的轮廓线进行比较，检测出为了销售登记而朝向读取窗103的商品A。
另外，作为检测出商品A的其他方法，从采集到的帧图像检测出有无皮肤区域。接着，当检测出皮肤区域时、即当检测出店员的手时，通过在该皮肤区域的附近进行检测上述的轮廓线，对假想店员的手正把持的商品A的轮廓抽出进行尝试。这时，当检测出表示手的形状的轮廓和在手的轮廓附近除此之外的物体的轮廓时，商品检测部52从该物体的轮廓中检测出商品A。
此外，商品检测部52从检测出的商品A的全部或一部分的图像中，读取商品A的色彩、表面的凹凸状况等的表面状态，作为特征量。另外，商品检测部52由于谋求处理时间的缩短，所以不考虑商品A的轮廓、大小。
相似度计算部53具有作为相似度计算部的功能，其通过将PLU文件F1所登记的各商品(以下称为登记商品)的商品图像的色彩、表面凹凸状况等的表面状态的特征量、和商品检测部52检测出商品A并抽出的特征量分别进行比较，计算出商品A和PLU文件F1所登记的登记商品的相似度。在这里，相似度是表示当将PLU文件F1所存储的各商品的商品登记时的商品图像视为100％＝“相似度：1.0”时，商品A的全部或一部分的图像相似哪种程度的数据。另外，例如，也可以在色彩和表面的凹凸状况中，改变加权来计算出相似度。
对这样在图像中所包含的物体进行识别被称为一般物体识别(genericobject recognition：一般物体识别)。关于这种的一般物体识别，在下列的文献中各种识别技术被说明。
柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Vol.48，No.SIG16[平成22年8月10日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>(柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48，No.SIG16“平成22年8月10日检索”，互联网＜URL：http：//mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞)
此外，通过对应每个目的物对图像进行区域分割，进行一般物体识别的技术在下列的文献中被说明。
Jamie Shottonら，“Semantic Texton Forests f or Image Categorizationand Segmentation”，[平成22年8月10日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf>(Jamie Shottonら(杰米肖顿等人)，“Semantic Texton Forests forImage Categorization and Segmentation：”，“平成22年8月10日检索”，互联网＜URL：http：//citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf＞)
另外，已摄像的商品A的图像和PLU文件F1所登记的登记商品的相似度的计算方法尤其不限。例如，既可以将已摄像的商品A的图像和PLU文件F1所登记的各登记商品的相似度作为绝对评价进行计算出，又可以作为相对评价进行计算出。
当将相似度作为绝对评价进行计算出时，只要将已摄像的商品A的图像和PLU文件F1所登记的各登记商品一对一进行比较，直接采用该比较的结果导出的相似度就可以。此外，当将相似度作为相对评价进行计算出时，如果在PLU文件F1中登记有5个登记商品(商品AA、AB、AC、AD、AE)，则只要以已摄像的商品A相对于商品AA相似度为0.6、相对于商品AB相似度为0.1、相对于商品AC相似度为0.1、相对于商品AD相似度为0.1、相对于商品AE相似度为0.1等与各登记商品的相似度总和为1.0(100％)的方式计算出就可以。
相似度判定部54对应图像采集部51采集到的每个帧图像，对商品A的图像和PLU文件F1所登记的登记商品的相似度进行比较。在本实施例中，对登记商品的商品图像和商品A的图像的相似度，等级地设置有多个条件，相似度判定部54根据满足的条件进行登记商品的确定或商品A的候选选定。虽然与相似度有关的条件并不特别被限定，但是下面对采用条件a～d的情况进行说明。
在这里，条件a及条件b是本实施例所涉及的第一条件，并是用于将摄像部164所摄像的商品A确定作为PLU文件F1所登记的登记商品中的一商品的条件。此外，条件c是本实施例所涉及的第二条件，并是当在PLU文件F1所登记的登记商品中未包含有多个属于同一类别(商品)的不同的品种物品时，抽出摄像部164所摄像的商品A的候选用的条件。而且，条件d是本实施例所涉及的第三条件，并是当在满足了条件c的商品A的候选中包含有多个属于同一类别(商品)的不同的品种物品时，抽出摄像部164所摄像的商品A的候选用的条件。
相似度判定部54将满足条件a或条件b的登记商品判定(确定)为与摄像部164所摄像的商品A一对一对应的商品(以下称为确定商品)。此外，相似度判定部54对满足条件c的登记商品判定为不是确定商品而是摄像部164所摄像的商品A的候选(以下称为商品候选)。而且，通过从PLU文件F1所登记的多个登记商品中抽出满足条件c的登记商品，从而抽出与商品A对应的商品候选。
此外，相似度判定部54对满足条件d的登记商品(属于同一类别(商品)的不同的品种物品)，也判定为不是确定商品而是摄像部164所摄像的商品A的候选。而且，通过从PLU文件F1所登记的多个登记商品中抽出满足条件d的登记商品，从而抽出与商品A对应的商品候选。
条件a～c只要根据相似度等级地设定则其详细并不特别被限定，但作为一例，可以根据预先设定的多个阈值设定条件a～c。在这里，对根据第一阈值～第三阈值设定条件a～c的情况进行说明。另外，第一～第三阈值的大小关系视为第一阈值＞第二阈值＞第三阈值。
相似度判定部54计数与登记商品的相似度为大于等于预定的第一阈值(例如90％)的次数，当该次数为大于等于规定次数时，判定为满足了条件a。另外，当以没有误判定的方式充分高地设定了第一阈值时，也可以将规定次数作为1次来判定条件a。
此外，相似度判定部54当与登记商品的相似度为小于第一阈值(例如90％)且大于等于与第一阈值相比小的第二阈值(例如75％)时判定为满足了条件b。而且，虽然判定为满足了条件b的登记商品是确定商品但却需要操作员的确认操作。另外，也可以计数与登记商品的相似度为小于第一阈值(例如90％)且大于等于与第一阈值相比小的第二阈值(例如75％)的次数，当该次数为大于等于规定次数时判定为满足了条件b。
而且，相似度判定部54当与登记商品的相似度为小于第二阈值(例如75％)且大于等于与第二阈值小的第三阈值(例如10％)时，判定为满足了条件c。另外，也可以进一步计数与登记商品的相似度为小于第二阈值(例如75％)且大于等于与第二阈值小的第三阈值(例如10％)的次数，当该次数为大于等于规定次数时判定为满足了条件c。
另外，各条件a～c可根据相似度的大小、判定次数等适当设定，并不限定于上述的例子。此外，条件a～c的判断所用的规定次数也可以是分别对应每个条件设定不同的次数。
而且，相似度判定部54，当在满足了条件c的登记商品中包含有多个属于同一类别(商品)的不同的品种物品时，合计所述多个品种的相似度，当合计了多个品种的相似度的类别(商品)的相似度为大于等于预定的第二阈值(例如75％)时，判定为满足了条件d。
而且，相似度判定部54对登记商品编制以相似度的大小排列的排列次序。
商品提示部55，通过图像输出或声音输出等向操作员或顾客告知通过摄像部164已摄像的商品A被唯一确定为是满足了条件a或条件b的登记商品的情况。
更详细地说，商品提示部55，使显示装置106显示表示满足了条件a的登记商品被唯一确定为通过摄像部164已摄像的商品(确定商品)的确定画面71(参照图6)。
图6是表示确定画面71的一例图。当有满足条件a的登记商品时，商品提示部55停止读取区域R(参照图5)的摄像图像的显示，从PLU文件F1读出与确定商品对应的插图图像G1及商品名“胡萝卜”，并显示在确定画面71上。此外，商品提示部55将从PLU文件F1读出的确定商品的商品名、商品价格(单价)分别显示在商品名显示区域81、价格显示区域82中。另外，商品提示部55也可以显示从PLU文件F1读出的商品图像(照片)替代插画图像G1。并不限定于此，也可以不显示插画或商品图像，而将商品名显示在确定画面71上。这时，通过声音输出部165告知商品已确定的情况。语音(声音)既可以是事先与商品关联而登记的商品名，又可以诸如是“哔”的电子音。
此外，商品提示部55使显示装置106显示接受满足了条件b的登记商品(确定商品)是否是通过摄像部164已摄像的商品A的最终确认操作的确认画面72(参照图7)。
图7是表示确认画面72的一例图。当有满足条件b的登记商品时，商品提示部55从PLU文件F1读出与确定商品对应的插图图像G1，并显示在确认画面72上。此外，商品提示部55采用从PLU文件F1读出的确定商品的商品名，将询问已读取的商品A是否是插图图像G1的商品的信息显示为“是胡萝卜吗？”等。此外，在确认画面72上可通过对触摸面板105的触摸操作而选择操作地设置有“是/否”等的按钮。
这样，在确认画面72中，作为相似度判定的结果，示出有相对于一个商品A被唯一辨别出的登记商品(确定商品)的商品名、商品图像，商品A和登记商品具有一对一关系而被显示。因此，确认画面72是告知满足条件b的登记商品被唯一确定为通过摄像部164已摄像的商品A的画面。
而且，商品提示部55将与满足了条件c的登记商品有关的信息作为商品候选显示在显示装置106上。更详细地说，商品提示部55从PLU文件F1读出满足了条件c的登记商品的插画图像及商品名，从相似度计算部53计算出的相似度高的开始依次输出给显示装置106。显示装置106在商品候选提示区域83(参照图8)中，按照相似度从高到低的顺序显示商品候选的插画图像及商品名。
图8是表示显示有商品候选的插画图像G1、G2、G3、G4的画面例的图。如图8所示，商品候选提示区域83按照登记商品的相似度从高到低的顺序显示有商品候选的插画图像G1、G2、G3、G4及各商品名。这些插画图像G1、G2、G3、G4可根据对触摸面板105的选择操作进行选择。此外，在商品候选提示区域83的下部设置有用于从商品明细中选择商品A的选择按钮84，从商品明细中选择出的商品被作为上述的确定商品处理。另外，在图8中，虽然示出了显示有与插画图像G1～G4对应的四个商品候选的例子，但是商品候选的数量、显示方法并不特别被限定。此外，也可以用商品图像(照片)替代插画图像作为商品候选进行显示。
而且，商品提示部55将作为满足了条件d的属于同一类别(商品)的不同的品种物品的登记商品相关的信息，作为商品候选显示在显示装置106上。更详细地说，商品提示部55从PLU文件F1读出满足了条件d的登记商品(属于同一类别(商品)的不同的品种物品)的插画图像及商品名，从相似度计算部53计算出的相似度高的开始依次输出给显示装置106。
输入接受部57通过触摸面板105或键盘107接受与显示装置106的显示对应的各种输入操作。例如，输入接受部57基于对确认画面72(参照图7)的选择操作，接受最终确认了已显示的插图图像G1的商品是确定商品的旨意的输入操作(确认操作)。另外，商品提示部55当输入接受部57接受了确认操作时，将上述确定画面71显示在显示装置106上。
输入接受部57从显示装置106所显示的商品候选的插图图像G1～G4(参照图8)中接受对任一个插画图像的选择操作。输入接受部57接受已选择的插画图像的登记商品，作为是与商品A对应的确定商品。另外，当商品检测部52可检测出多个商品A时，输入接受部57也可以从商品候选中接受多个商品候选的选择操作。另外，商品提示部55当输入接受部57接受了选择操作时，使显示装置106显示使已接受的商品候选作为确定商品显示的确定画面71。
信息输入部58对上述那样确定的确定商品，通过连接接口175输入表示该商品A的信息(例如，商品ID、商品名等)。
另外，信息输入部58也可以将通过触摸面板105或键盘107另外输入的销售个数与商品ID等同时进行输入。
销售登记部59基于从信息输入部58输入的商品ID和销售个数，进行对应的商品A的销售登记。具体地说，销售登记部59参照PLU文件F1，将所通知的商品ID及与所述商品ID对应的商品分类、商品名、单价等与销售个数同时记录在销售主文件等中从而进行销售登记。
(在目的物识别时的商品识别精度检验处理)
接着，对基于POS终端11的图像采集部51、商品检测部52、相似度计算部53、相似度判定部54、物品指定部91、告知部92及追加学习部93的目的物识别时的商品识别精度检验处理，进行说明。
如上所述，POS终端11采用了根据对从通过摄像部164摄像的图像数据抽出的作为对象的物品(目的物)的特征量、和作为预先准备的词库的PLU文件F1中的核对用数据(特征量)进行比较的相似度，识别(检测)所述物品的种类等的一般物体识别(目的物识别)。
在作为这样的一般物体识别所用的词库的PLU文件F1中，预先登记有核对用数据(特征量)。不过，当作为词库的PLU文件F1所登记的核对用数据(特征量)有不完备时，即使恰当地举起了商品A相似度也变得很低，商品A难以被识别出。
因而，POS终端11具备有更新作为词库的PLU文件F1的核对用数据的追加学习功能。不过，当在店铺的营业时间内的结账时，发现核对用数据(特征量)不完备时，则必须临时中断业务进行追加学习，非常费事。
然而，关于是否需要核对用数据(特征量)的追加学习，由于未示出有判断基准，所以很难判断是否进行追加学习。
因而，本实施例的POS终端11是能够对在目的物识别中的核对用数据(特征量)是否需要追加学习进行告知的装置。也就是说，POS终端11的CPU61通过执行商品识别精度检验用程序PR2，如图4所示，具有作为图像采集部51、商品检测部52、相似度计算部53、相似度判定部54、物品指定部91、告知部92及追加学习部93的功能。以下，对在目的物识别时的商品识别精度检验处理中的各部进行说明。
物品指定部91是具有作为选择部功能的部，其从作为预先准备的词库的PLU文件F1中选择商品识别精度检验的对象商品。物品指定部91通过让操作员从PLU文件F1所存储的登记商品的明细中选择商品识别精度检验的物品的商品名，从而进行指定商品识别精度检验的对象商品。
告知部92对商品识别精度检验处理的结果进行告知。告知部92当物品指定部91所指定的对象商品的相似度在作为词库使用的PLU文件F1所登记的商品中已选择的登记商品的相似度中的排列次序的位次不是高位时，对使已选择的登记商品的核对用数据(特征量)追加学习的情况进行告知。这时，告知部92根据对象商品的相似度以3等级进行告知。另外，告知的等级既可以是2等级，又可以是大于等于4等级。
接着，对告知部92告知的3等级的详细进行说明。
首先，对商品识别精度检验处理的对象所选择的登记商品的相似度中的排列次序的位次为高位时的告知，进行说明。当商品识别精度检验处理的对象所选择的登记商品的相似度中的排列次序的位次是高位时，告知部92显示无需追加学习的更新的意思的画面进行告知。在这里，所选择的登记商品的相似度中的排列次序的位次为高位表示排列次序的位次是第一位或满足了确定商品的至少任一个条件。
接着，对当商品识别精度检验处理的对象所选择的登记商品的相似度中的排列次序的位次为中位时的告知，进行说明。当商品识别精度检验处理的对象所选择的登记商品的相似度中的排列次序的位次为中位时，告知部92显示建议追加学习的更新的意思的画面进行告知。在这里，所选择的登记商品的相似度中的排列次序的位次为中位表示是除排列次序第一位的候选商品。也就是说，排列次序的位次是从第二位到第四位等的位次。另外，除排列次序第一位的候选商品，并不限定于从第二位到第四位，也可以包含小于等于第五位。
接着，对当商品识别精度检验处理的对象所选择的登记商品的相似度中的排列次序的位次为低位时的告知，进行说明。当商品识别精度检验处理的对象所选择的登记商品的相似度中的排列次序的位次为低位时，告知部92显示需要追加学习的意思的画面进行告知。在这里，所选择的登记商品的相似度中的排列次序的位次为低位表示与候选商品相比相似度低。也就是说，排列次序的位次是小于等于第五位等的位次。另外，告知方法并不限定于画面显示，也可以通过语音进行告知。
追加学习部93对PLU文件F1所预先登记的商品的核对用数据(特征量)进行追加学习(追加登记)。具体地说，追加学习部93通过再次摄像并采集作为核对用数据(特征量)的图像来进行更新。核对用数据(特征量)可以一定量进行保存(存储)。若核对用数据(特征量)达到一定量，则从旧的核对用数据(特征量)消去数据或随机消去核对用数据(特征量)。
接着，对商品识别精度检验处理中的结账系统1的动作进行详细地说明。图9是表示结账系统1所执行的商品识别精度检验处理的流程的流程图。另外，作为前提条件，起动商品识别精度检验用程序PR2。
如图9所示，POS终端11的CPU61(物品指定部91)显示商品选择画面(未图示)(步骤S11)。商品选择画面是显示词库所登记的登记商品的明细，从登记商品中选择进行商品识别精度检验处理的对象的商品的画面。操作员通过按下商品选择画面所显示的商品按钮，能够选择进行商品识别精度检验处理的商品A。
接着，POS终端11的CPU61(物品指定部91)判定是否检测出按下商品按钮(步骤S12)。POS终端11的CPU61(物品指定部91)当未检测出按下商品按钮时(步骤S12的否)，POS终端11的CPU61(物品指定部91)在步骤S12中进行待机。
当检测出按下商品按钮时(步骤S12的是)，POS终端11的CPU61显示精度检验画面G5(参照图10)(步骤S13)。
图10是表示精度检验画面G5的一例说明图。精度检验画面G5是显示商品识别精度检验处理的状态及判定结果的画面。精度检验画面G5大致划分具有商品显示区域R51、通常识别判定区域R52、实时识别判定区域R53及中止按钮B51。
商品显示区域R51是对商品识别精度检验处理的对象商品显示摄像部164所摄像的、并通过图像采集部51采集的图像的区域。商品显示区域R51具有商品名区域R511、摄像区域R512。商品名区域R511是显示有预先已选择的进行商品识别精度检验的对象商品的商品名的区域。摄像区域R512是显示摄像部164所摄像的图像的区域。通过摄像区域R512显示图像，操作员能够确认使摄像部164摄像商品A的情况。
通常识别判定区域R52是显示有商品识别精度检验处理的判定结果的区域。通常识别判定区域R52具有判定结果区域R521、信息显示区域R522。判定结果区域R521是显示判定结果的区域。信息显示区域R522是显示商品识别精度检验处理中的信息的区域。因而，信息显示区域R522在初始状态中显示“请举起商品”的信息。
实时识别判定区域R53是通过显示单一帧中的识别结果来实时显示识别结果的区域。中止按钮B51是当中止商品识别精度检验处理时进行按下的按钮。
接着，POS终端11的CPU61将摄像部164所摄像的、图像采集部51采集到的摄像图像G51显示在商品显示区域R51上(步骤S14)。
图11是表示摄像图像G51的一例说明图。摄像图像G51是摄像部164所摄像的、图像采集部51采集到的图像。此外，摄像图像G51用框线包围商品A进行显示。而且，摄像图像G51当摄像方法有不妥时，显示不能读取商品A的意思的信息。图11示出对卷心菜进行了摄像并显示有“读取NG(失败)”的信息的状态。
接着，POS终端11的CPU61判定是否检测出按下精度检测画面G5所设置的中止按钮B51(步骤S15)。当检测出按下中止按钮B51时(步骤S15的是)，POS终端11的CPU61显示中止执行画面G6(步骤S16)。
图12是表示中止执行画面G6的一例说明图。中止执行画面G6是当中止按钮B51已被按下时，确认中止商品识别精度检验处理的画面。因而，中止执行画面G6显示“中止精度检验可以吗？”的信息。中止执行画面G6具有是按钮B61、否按钮B62。是按钮B61是当中止商品识别精度检验处理时按下的按钮。否按钮B62是当停止商品识别精度检验处理的中止时按下的按钮。
接着，POS终端11的CPU61判定是否检测出按下中止执行画面G6所设置的是按钮B61(步骤S17)。当检测出按下是按钮B61时(步骤S17的是)，POS终端11的CPU61结束商品识别精度检验处理。
另一方面，当未检测出按下是按钮B61时(步骤S17的否)，POS终端11的CPU61判定是否检测出按下中止执行画面G6所设置的否按钮B62(步骤S18)。
当未检测出按下否按钮B62时(步骤S18的否)，POS终端11的CPU61返回到步骤S17。另一方面，当检测出按下否按钮B62时(步骤S18的是)，POS终端11的CPU61返回到步骤S13。
当未检测出按下精度检验画面G5所设置的中止按钮B51时(步骤S15的否)，POS终端11的CPU61(商品检测部52)判定商品A的特征量的抽出是否已完成(步骤S19)。当商品A的特征量的抽出未完成时(步骤S19的否)，POS终端11的CPU61(商品检测部52、相似度计算部53及相似度判定部54)返回到步骤S14。
另一方面，当商品A的特征量的抽出已完成时(步骤S19的是)，POS终端11的CPU61(相似度计算部53)关于登记商品计算出相似度(步骤S20)。接着，POS终端11的CPU61(相似度判定部54)编制按照登记商品的相似度的大小排列了的排列次序(步骤S21)。
接着，POS终端11的CPU61判定商品识别精度检验处理的对象所选择的登记商品的相似度中的排列次序的位次是否为高位(步骤S22)。在这里，排列次序的位次为高位就是所选择的登记商品的相似度中的排列次序的位次是第一位或满足是相似度高的确定商品的至少任一个条件。
当已选择的登记商品的相似度中的排列次序的位次是高位时(步骤S22的是)，POS终端11的CPU61(告知部92)在通常识别判定区域R52中显示高识别结果画面G52(步骤S23)。
图13是表示高识别结果画面G52的一例说明图。高识别结果画面G52是显示是相似度高的确定商品、并不需要追加学习的意思的画面。在这里，追加学习就是使登记有核对用数据(特征量)的词库追加存储商品的核对用数据(特征量)的意思。高识别结果画面G52在判定结果区域R521中显示有表示相似度高的标识。而且，高识别结果画面G52在信息显示区域R522中显示“无需追加学习(可自动确定商品)”的信息。
接着，POS终端11的CPU61判定商品A是否从摄像部164所摄像的、图像采集部51采集到的摄像图像G51中画出了(未在帧图像内)(步骤S24)。当商品A未画出时(步骤S24的否)，POS终端11的CPU61判定是否检测出按下中止按钮B51(步骤S27)。另一方面，当商品A画出了时(步骤S24的是)，POS终端11的CPU61将再判定画面G55显示在摄像区域R512中(步骤S25)。
图14是表示再判定画面G55的一例说明图。再判定画面G55是询问操作员是否再次实施精度检验的画面。再判定画面G55当在精度检验后商品A已画出时，被显示在摄像区域R512中。再判定画面G55显示“当再判定时请按下“再判定”按钮并将商品对准扫描仪”的信息。而且，再判定画面G55具有再判定按钮B54。再判定按钮B54是当返回到初始状态，并再次进行商品识别精度检验处理的判定时按下的按钮。
接着，POS终端11的CPU61判定是否检测出按下再判定按钮B54(步骤S26)。当检测出按下再判定按钮B54时(步骤S26的是)，POS终端11的CPU61返回到作为初始状态的步骤S13。另一方面，当未检测出按下再判定按钮B54时(步骤S26的否)，POS终端11的CPU61判定是否检测出按下中止按钮B51(步骤S27)。
当检测出按下中止按钮B51时(步骤S27的是)，POS终端11的CPU61过渡到步骤S16并显示中止执行画面G6。另一方面，当未检测出按下中止按钮B51时(步骤S27的否)，POS终端11的CPU61返回到步骤S24。
当已选择的登记商品的相似度中的排列次序的位次不是高位时(步骤S22的否)，POS终端11的CPU61判定商品识别精度检验处理的对象所选择的登记商品的相似度中的排列次序的位次是否为中位(步骤S28)。在这里，排列次序的位次为中位表示是除排列次序第一位之外的商品候选。具体地说，已选择的登记商品的相似度中的排列次序的位次是从第二位到第四位等。
当已选择的登记商品的相似度中的排列次序的位次是中位时(步骤S28的是)，POS终端11的CPU61(告知部92)在通常识别判定区域R52中显示中识别结果画面G53(步骤S29)。
图15是表示中识别结果画面G53的一例说明图。中识别结果画面G53是表示是相似度除第一位以外的商品候选、并建议追加学习的意思的画面。
中识别结果画面G53在判定结果区域R521中显示有表示相似度在容许范围内的标识。而且，中识别结果画面G53在信息显示区域R522中显示“当提高判定结果时请追加学习”的信息。此外，中识别结果画面G53在信息显示区域R522中显示追加学习执行按钮B52a。追加学习执行按钮B52a是当开始商品识别精度检验的对象商品的特征量的追加学习处理时按下的按钮(操作子(符))。
当已选择的登记商品的相似度中的排列次序的位次不是中位时(步骤S28的否)，POS终端11的CPU61(告知部92)在通常识别判定区域R52中显示低识别结果画面G54，作为已选择的登记商品的相似度中的排列次序的位次是低位(步骤S30)。在这里，已选择的登记商品的相似度中的排列次序的位次为低位表示与商品候选相比相似度低。具体地说，已选择的登记商品的相似度中的排列次序的位次是小于等于第五位等。
图16是表示低识别结果画面G54的一例说明图。低识别结果画面G54是表示相似度与商品候选相比相似度低、并需要追加学习的意思的画面。此外，低识别结果画面G54当不能检测出商品A时被显示。当不能检测出商品A时就是商品A的全部或一部分未被摄像时、或因拿商品A的手而商品A被隐藏了时等。
低识别结果画面G54在判定结果区域R521中显示有表示相似度低的标识。而且，低识别结果画面G54在信息显示区域R522中显示“需要追加学习”的信息。此外，低识别结果画面G54在信息显示区域R522中显示追加学习执行按钮B52b。追加学习执行按钮B52b是当进行追加学习时按下的按钮。
接着，POS终端11的CPU61执行与当已选择的登记商品的相似度中的排列次序的位次为高位时所执行的处理(从步骤S24到步骤S27)同样的处理(从步骤S31到步骤S34)。与当排列次序的位次为高位时执行的处理不同的是判定是否检测出按下用于进行追加学习的追加学习执行按钮B52a、B52b。
具体地说，当未检测出按下中止按钮B51时(步骤S34的否)，POS终端11的CPU61判定是否按下追加学习执行按钮B25a、B25b(步骤S35)。
当未检测出按下追加学习执行按钮B52a、B52b时(步骤S35的否)，POS终端11的CPU61返回到步骤S31。另一方面，当检测出按下追加学习执行按钮B52a、B52b时(步骤S35的是)，POS终端11的CPU61(追加学习部93)显示追加学习准备画面G7(步骤S36)。
图17是表示追加学习准备画面G7的一例说明图。追加学习准备画面G7是催促操作员开始追加学习处理的准备的画面。因而，追加学习准备画面G7显示“请准备3个要学习的样品”的信息。此外，追加学习准备画面G7显示准备的商品A。图17显示卷心菜作为准备的商品A。而且，追加学习准备画面G7具有取消按钮B71、OK按钮B72。取消按钮B71是当取消追加学习时按下的按钮。OK按钮B72是当准备好了并开始追加学习时按下的按钮。
接着，POS终端11的CPU61判定是否检测出按下OK按钮B72(步骤S37)。当未检测出按下OK按钮B72时(步骤S37的否)，POS终端11的CPU61判定是否检测出按下取消按钮B71(步骤S38)。
当未检测出按下取消按钮B71时(步骤S38的否)，POS终端11的CPU61返回到步骤S37。另一方面，当检测出按下取消按钮B71时(步骤S38的是)，POS终端11的CPU61返回到步骤S28，显示与相似度对应的画面。
另一方面，当检测出按下OK按钮B72时(步骤S37的是)，POS终端11的CPU61(追加学习部93)开始追加学习(步骤S39)并结束处理。
如以上那样，根据本实施例，物品指定部91从PLU文件F1选择商品识别精度检验的对象商品。商品检测部52检测摄像部164所摄像的、图像采集部51采集到的帧图像所包含的商品A并抽出特征量。而且，相似度计算部53通过将PLU文件F1所登记的各商品的特征量和商品检测部52所抽出的特征量分别进行比较，对应PLU文件F1所登记的每个登记商品计算出相似度。告知部92当通过物品指定部91已选择的商品A的相似度在PLU文件F1中不是高位时，对将PLU文件F1所存储的核对用数据(特征量)进行追加学习的更新进行告知。因而，本实施例能够对是否需要核对用数据(特征量)的追加学习进行告知。
虽然对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他各种形式来实施，在不脱离发明的要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。
另外，在上述实施例中，作为信息处理装置将POS终端11列举为例进行了说明。不过，信息处理装置并不限定于POS终端11。例如，也可以是计算机、平板终端等。这时，只要将扫描仪等的摄像装置与计算机或平板终端连接就可以。
此外，在上述实施例中，对作为信息处理装置的POS终端11的CPU61具有作为图像采集部51、商品检测部52、相似度计算部53、相似度判定部54、商品提示部55、输入接受部57、信息输入部58、销售登记部59、物品指定部91、告知部92及追加学习部93的功能进行了说明。不过，这些功能也可以除POS终端11的CPU61以外的装置所具有。例如，也可以商品读取装置101的CPU161具有全部或一部分的上述功能。
此外，在上述实施例中，虽然将核对用数据作为特征量进行了说明，但是核对用数据也可以是所摄像的商品图像(基准图像)。
此外，在上述实施例中，虽然作为店铺系统应用了包括POS终端11和商品读取装置101的结账系统1，但是并不限定于此，也可以应用于具有POS终端11及商品读取装置101功能的一体构成的装置。作为具有POS终端11及商品读取装置101功能的一体构成的装置，列举有在超市等的店铺中所设置使用的自助结账装置(以后仅称为自助POS)。
在这里，图18是表示自助POS200的构成的外观立体图，图19是表示自助POS200的硬件构成的框图。另外，以下，对图1及图2所示的同样构成，附加相同符号进行示出，并省略其重复的说明。如图18及图19所示，自助POS200的主体202具有在表面上配设有触摸面板105的显示装置106、为了识别(检测)商品A的种类等而读取商品图像的商品读取部110。
作为显示装置106，诸如采用有液晶显示器。显示装置106显示用于向顾客告知自助POS200的操作方法的引导画面、各种的输入画面、显示通过商品读取部110已读取的商品信息的登记画面、显示商品A的合计金额、预付金额、找零金额等并进行选择支付方法的对账(结账)画面等。
商品读取部110是通过顾客将附在商品A上的码符号对准商品读取部110的读取窗103，从而通过摄像部164读取商品图像的装置。
此外，在主体202的右侧设置有用于放置已装入筐中的未结算的商品A的商品载置台203，在主体202的左侧设置有用于放置已结算的商品A的商品载置台204。此外，设置有用于挂装入已结算的商品A用的袋的袋挂钩205、用于将已结算的商品A在装入袋之前临时放置的临时放置台206。商品载置台203及204分别设置有计量器207、208，并具有确定在结算前后商品A的重量为相同的情况的功能。
此外，自助POS200的主体202设置有用于进行存入结算用纸币和接受找零纸币的找零机201。
当在这样构成的自助POS200中应用于店铺系统时，自助POS200具有作为信息处理装置的功能。
此外，在上述实施例的各装置中执行的程序，虽然被预先安装在各装置所具有的存储介质(ROM或存储部)中而提供，但是并不限定于此。例如，也可以用可安装的形式或可执行的形式的文件记录在CD-ROM、软磁盘(FD)、CD-R、DVD(Digital Versatile Disk：数字多功能光盘)等计算机可读的存储介质中而提供。而且，存储介质不限定于与计算机或嵌入系统独立的介质，也包含有下载通过LAN、互联网等传输来的程序而存储或临时存储的存储介质。
此外，也可以将在上述实施例的各装置中执行的程序存储在与互联网等的网络连接的计算机上，并通过经由网络下载来提供。此外，也可以将在上述实施例的各装置中执行的程序经由互联网等的网络进行提供或配置。

Claims (10)

1.一种信息处理装置，包括：
选择部，从对多个物品存储了用于识别物品的特征量的存储部，选择对象物品；
抽出部，抽出摄像部所摄像的图像所包含的物品的特征量；
相似度计算部，将所述存储部所存储的物品的特征量和所述抽出部所抽出的特征量进行比较，对应所述存储部所存储的每个物品计算出相似度；以及
告知部，当通过所述选择部已选择的物品的相似度在所述存储部所存储的物品中不是高位时，对通过所述选择部已选择出的所述物品的特征量的更新进行告知。
2.根据权利要求1所述的信息处理装置，其中，
所述告知部当对通过所述选择部已选择的所述物品的特征量的更新进行告知时，显示使更新所述选择部所选择的物品的特征量的处理开始的操作符。
3.根据权利要求1或2所述的信息处理装置，其中，
所述告知部当所述选择部所选择的物品的特征量的位次为中位时，告知建议更新。
4.根据权利要求1或2所述的信息处理装置，其中，
所述告知部当所述选择部所选择的物品的特征量的位次为低位时，告知需要更新。
5.根据权利要求1所述的信息处理装置，还包括：
追加学习部，在所述告知部对通过所述选择部已选择出的所述物品的特征量的更新进行告知后，对所述存储部所存储的所述物品的特征量进行追加学习。
6.一种店铺系统，包括：
根据权利要求1至5中任一项所述的信息处理装置；以及
销售登记部，采用用于识别所述物品的特征量识别所述摄像部所摄像的商品并执行销售登记处理。
7.一种信息处理装置的控制方法，包括以下步骤：
选择步骤，从对多个物品存储了用于识别物品的特征量的存储部，选择对象物品；
抽出步骤，抽出摄像部所摄像的图像所包含的物品的特征量；
相似度计算步骤，将所述存储部所存储的物品的特征量和通过所述抽出步骤所抽出的特征量进行比较，对应所述存储部所存储的每个物品计算出相似度；以及
告知步骤，当通过所述选择步骤已选择的物品的相似度在所述存储部所存储的物品中不是高位时，对通过所述选择步骤已选择出的所述物品的特征量的更新进行告知。
8.根据权利要求7所述的控制方法，其中，
所述告知步骤当对通过所述选择步骤已选择的所述物品的特征量的更新进行告知时，显示使更新通过所述选择步骤所选择的物品的特征量的处理开始的操作符。
9.根据权利要求7或8所述的控制方法，其中，
所述告知步骤当通过所述选择步骤所选择的物品的特征量的位次为中位时，告知建议更新。
10.根据权利要求7或8所述的控制方法，其中，
所述告知步骤当通过所述选择步骤所选择的物品的特征量的位次为低位时，告知需要更新。
CN201410679657.5A 2014-01-07 2014-11-24 信息处理装置及其控制方法、店铺系统 Active CN104766416B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-001181 2014-01-07
JP2014001181A JP6141207B2 (ja) 2014-01-07 2014-01-07 情報処理装置、店舗システム及びプログラム

Publications (2)

Publication Number Publication Date
CN104766416A true CN104766416A (zh) 2015-07-08
CN104766416B CN104766416B (zh) 2017-11-28

Family

ID=52423575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410679657.5A Active CN104766416B (zh) 2014-01-07 2014-11-24 信息处理装置及其控制方法、店铺系统

Country Status (4)

Country Link
US (2) US10062067B2 (zh)
EP (1) EP2899670B1 (zh)
JP (1) JP6141207B2 (zh)
CN (1) CN104766416B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437087A (zh) * 2016-05-31 2017-12-05 东芝泰格有限公司 识别系统、信息处理装置及控制方法
CN107578578A (zh) * 2016-07-04 2018-01-12 东芝泰格有限公司 信息处理装置及其控制方法、终端设备
JPWO2019181442A1 (ja) * 2018-03-20 2021-03-11 日本電気株式会社 情報処理装置、制御方法、及びプログラム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015017796A2 (en) 2013-08-02 2015-02-05 Digimarc Corporation Learning systems and methods
GB2528963B (en) 2014-08-07 2018-07-25 Artform Int Ltd Product display shelf, system and method
EP3118576B1 (en) * 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
WO2017085771A1 (ja) * 2015-11-16 2017-05-26 富士通株式会社 精算支援システム、精算支援プログラム、及び精算支援方法
US10702076B2 (en) 2016-01-18 2020-07-07 Atlas Bolt & Screw Company Llc Sensors, devices, adapters and mating structures for merchandisers and related methods
WO2017126256A1 (ja) * 2016-01-21 2017-07-27 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2017164968A1 (en) 2016-03-23 2017-09-28 Dci Marketing, Inc. Dba Dci - Artform Low product indicator for self facing merchandiser and related methods
JP2018041261A (ja) * 2016-09-07 2018-03-15 東芝テック株式会社 情報処理装置及びプログラム
CA3040176C (en) 2016-10-18 2023-07-11 Retail Space Solutions Llc Illuminated merchandiser, retrofit kit and related methods
SE542438C2 (en) * 2016-12-21 2020-05-05 Itab Scanflow Ab An automatic in-store registration system
JP7130355B2 (ja) * 2017-03-06 2022-09-05 東芝テック株式会社 チェック装置、及びチェックプログラム
JP6920868B2 (ja) * 2017-04-24 2021-08-18 東芝テック株式会社 商品情報読取装置およびプログラム
JP6886906B2 (ja) * 2017-10-10 2021-06-16 東芝テック株式会社 読取装置およびプログラム
JP2019101507A (ja) * 2017-11-28 2019-06-24 パナソニックＩｐマネジメント株式会社 認識システム、それを用いた収容システム、及び買物支援システム、並びに収容制御方法及びプログラム
JP2019153104A (ja) * 2018-03-05 2019-09-12 東芝テック株式会社 販売データ処理装置、情報処理装置およびプログラム
JP7085393B2 (ja) * 2018-04-12 2022-06-16 東芝テック株式会社 読取装置およびプログラム
KR102319118B1 (ko) * 2020-01-31 2021-10-29 카페24 주식회사 전자상거래와 연관된 쇼핑몰의 상품 진열 업데이트 방법 및 장치
JP7144082B2 (ja) * 2021-01-20 2022-09-29 Ｎｅｃプラットフォームズ株式会社 商品認識装置、システム、方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1791894A (zh) * 2003-06-26 2006-06-21 国际商业机器公司 用于肯定地识别物品的装置、方法和系统
CN102376136A (zh) * 2010-08-23 2012-03-14 东芝泰格有限公司 店铺系统及商品销售数据处理方法
US8448859B2 (en) * 2008-09-05 2013-05-28 Datalogic ADC, Inc. System and method for preventing cashier and customer fraud at retail checkout
CN103208154A (zh) * 2012-01-16 2013-07-17 东芝泰格有限公司 信息处理装置、店铺系统及信息处理方法
CN103295346A (zh) * 2012-02-29 2013-09-11 东芝泰格有限公司 信息处理装置、店铺系统及信息处理方法
US20130304595A1 (en) * 2009-02-09 2013-11-14 Datalogic ADC, Inc. Automatic learning in a merchandise checkout system with visual recognition

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2930246B2 (ja) * 1990-10-03 1999-08-03 株式会社リコー パターン認識装置
US6363366B1 (en) * 1998-08-31 2002-03-26 David L. Henty Produce identification and pricing system for checkouts
JP2003173369A (ja) 2001-12-05 2003-06-20 Fujitsu General Ltd 飲食店舗における配膳管理方法と配膳管理システム
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
US8239203B2 (en) * 2008-04-15 2012-08-07 Nuance Communications, Inc. Adaptive confidence thresholds for speech recognition
US8117071B1 (en) * 2008-04-30 2012-02-14 Intuit Inc. Method and system for matching via an image search query at a point of sale
US20120233003A1 (en) * 2011-03-08 2012-09-13 Bank Of America Corporation Providing retail shopping assistance
US8917902B2 (en) * 2011-08-24 2014-12-23 The Nielsen Company (Us), Llc Image overlaying and comparison for inventory display auditing
JP5551143B2 (ja) * 2011-12-02 2014-07-16 東芝テック株式会社 店舗システムおよびプログラム
JP5518918B2 (ja) * 2012-02-29 2014-06-11 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP5805040B2 (ja) * 2012-09-25 2015-11-04 ビッグローブ株式会社 人物認証用辞書更新方法、人物認証用辞書更新装置、人物認証用辞書更新プログラム及び人物認証システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1791894A (zh) * 2003-06-26 2006-06-21 国际商业机器公司 用于肯定地识别物品的装置、方法和系统
US8448859B2 (en) * 2008-09-05 2013-05-28 Datalogic ADC, Inc. System and method for preventing cashier and customer fraud at retail checkout
US20130304595A1 (en) * 2009-02-09 2013-11-14 Datalogic ADC, Inc. Automatic learning in a merchandise checkout system with visual recognition
CN102376136A (zh) * 2010-08-23 2012-03-14 东芝泰格有限公司 店铺系统及商品销售数据处理方法
CN103208154A (zh) * 2012-01-16 2013-07-17 东芝泰格有限公司 信息处理装置、店铺系统及信息处理方法
CN103295346A (zh) * 2012-02-29 2013-09-11 东芝泰格有限公司 信息处理装置、店铺系统及信息处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437087A (zh) * 2016-05-31 2017-12-05 东芝泰格有限公司 识别系统、信息处理装置及控制方法
CN107578578A (zh) * 2016-07-04 2018-01-12 东芝泰格有限公司 信息处理装置及其控制方法、终端设备
JPWO2019181442A1 (ja) * 2018-03-20 2021-03-11 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US11556729B2 (en) 2018-03-20 2023-01-17 Nec Corporation Information processing apparatus, control method, and program

Also Published As

Publication number Publication date
CN104766416B (zh) 2017-11-28
EP2899670B1 (en) 2018-07-18
US10062067B2 (en) 2018-08-28
JP2015130068A (ja) 2015-07-16
JP6141207B2 (ja) 2017-06-07
US20150193759A1 (en) 2015-07-09
EP2899670A1 (en) 2015-07-29
US20180365673A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
CN104766416A (zh) 信息处理装置及其控制方法、店铺系统
CN103208154B (zh) 信息处理装置、店铺系统及信息处理方法
CN103116949B (zh) 信息处理装置及信息处理方法
CN103295346B (zh) 信息处理装置、店铺系统及信息处理方法
CN103984914B (zh) 信息处理装置及其控制方法
JP6348827B2 (ja) 情報処理装置、店舗システムおよびプログラム
JP6147676B2 (ja) 情報処理装置、店舗システム及びプログラム
EP3046050A1 (en) Information processing apparatus, pos system and information processing method
CN107221107A (zh) 信息处理装置及其控制方法
CN103310559A (zh) 信息处理装置及其控制方法
JP6747873B2 (ja) 情報処理装置及びプログラム
JP2017139019A (ja) 情報処理装置、及びプログラム
US20170344851A1 (en) Information processing apparatus and method for ensuring selection operation
CN104299131A (zh) 信息处理装置及其控制方法
JP5437404B2 (ja) 情報処理装置、店舗システム及びプログラム
JP6517398B2 (ja) 情報処理装置及びプログラム
JP2016031599A (ja) 情報処理装置及びプログラム
JP6336351B2 (ja) 情報処理装置及びプログラム
CN104299337A (zh) 信息处理装置及其控制方法
CN103985203A (zh) 信息处理装置及其控制方法
EP2960831A1 (en) Information processing apparatus and information processing method
JP5802803B2 (ja) 情報処理装置及びプログラム
JP6177199B2 (ja) 情報処理装置及びプログラム
JP2018136621A (ja) 情報処理装置およびプログラム
JP5529982B2 (ja) 情報処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant