CN103116949B - 信息处理装置及信息处理方法 - Google Patents

信息处理装置及信息处理方法 Download PDF

Info

Publication number
CN103116949B
CN103116949B CN201210398669.1A CN201210398669A CN103116949B CN 103116949 B CN103116949 B CN 103116949B CN 201210398669 A CN201210398669 A CN 201210398669A CN 103116949 B CN103116949 B CN 103116949B
Authority
CN
China
Prior art keywords
commodity
image
condition
shooting
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210398669.1A
Other languages
English (en)
Other versions
CN103116949A (zh
Inventor
内藤英浩
菅泽广志
飯坂仁志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Publication of CN103116949A publication Critical patent/CN103116949A/zh
Application granted granted Critical
Publication of CN103116949B publication Critical patent/CN103116949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G07G1/14—Systems including one or more distant stations co-operating with a central processing unit
    • G07G1/145—PLU-management

Abstract

本发明提供一种信息处理装置及信息处理方法，其能够加速信息处理装置的信息处理速度，所述信息处理装置包括：采集部，采集摄像部摄像的图像；以及告知单元，在表示所述摄像部摄像的物体的图像和各商品的基准图像相似到哪种程度的相似度满足了将所述摄像的商品确定作为与所述基准图像对应的商品中的一个商品的条件时，告知所述摄像的商品被确定作为与满足了所述条件的所述基准图像对应的商品。

Description

信息处理装置及信息处理方法
本申请主张申请日为2011年10月19日、申请号为JP2011-230000的日本申请为优先权，并引用上述申请的内容。
技术领域
本发明涉及一种信息处理装置及信息处理方法。
背景技术
近年来，有关于从摄像物品的图像数据提取该对象物的特征量，通过与预先准备的核对用的数据(特征量)进行比较，识别(检测出)该物品的类别等的普通物体识别的技术。此外，提案有将该普通物体识别的技术所涉及的技术用于蔬菜和水果产品等的商品的识别，对被识别的商品进行销售额登记的店铺系统。
不过，在目前技术中，显示成为对象物的候补的多个商品，操作者需要从这些多个商品中选择操作一个商品进行确定，从而导致店铺系统的处理速度慢。
发明内容
为了解决上述问题，本发明的目的在于提供一种信息处理装置及信息处理方法，其无需从商品候补中选择商品就能够确定对应的商品，从而能够加快信息处理装置的处理速度，提高信息处理装置的内部性能。
本发明所涉及的信息处理装置，包括：采集部，采集摄像部摄像的物体的图像；以及告知单元，在表示所述摄像部摄像的物体的图像和各商品的基准图像相似到哪种程度的相似度满足了将所述摄像的物体确定作为与所述基准图像对应的各商品中的一个商品的条件时，告知所述摄像的物体被确定作为与满足了所述条件的所述基准图像对应的商品；第一显示控制部，在通过所述摄像部摄像的物体被确定时，代替通过摄像部摄像的物体的图像，显示表示被确定的商品的图像。
本发明所涉及的基于信息处理装置的信息处理方法，包括以下步骤：采集步骤，采集摄像部摄像的物体的图像；以及告知步骤，在表示所述摄像部摄像的物体的图像和各商品的基准图像相似到哪种程度的相似度满足了将所述摄像的物体确定作为与所述基准图像对应的各商品中的一个商品的条件时，告知所述摄像的物体被确定作为与满足了所述条件的所述基准图像对应的商品；第一显示控制步骤，在通过所述摄像部摄像的物体被确定时，代替通过摄像部摄像的物体的图像，显示表示被确定的商品的图像。
附图说明
图1是表示实施例所涉及的结账系统(店铺系统)的一例的立体图。
图2是表示POS终端及商品读取装置的硬件构成的框图。
图3是例示PLU文件的数据构成的概念图。
图4是表示POS终端及商品读取装置的功能构成的框图。
图5是表示通过图像采集部采集到的帧图像的一例图。
图6是表示确定画面的一例图。
图7是表示确认画面的一例图。
图8是表示显示有商品候补的实例图像的画面例的图。
图9是表示商品读取装置所执行的商品识别处理的次序的流程图。
图10是表示作为可接受销售个数的确定画面的一例图。
图11是表示显示了销售个数的确定画面的一例图。
图12是表示POS终端所执行的销售额登记处理的次序的流程图。
具体实施方式
图1是表示结账系统1的一例的立体图。如图1所示，结账系统1包括读取关于商品的信息的商品读取装置101、以及进行一交易所涉及的商品的登记、对账的POS终端11。下面对将商品读取装置101作为本实施例所涉及的信息处理装置的适用例进行说明。另外，在以下，有对多个附图所示的同样的构成附加同一标记表示，并省略其重复说明的情况。
POS终端11被载置在结账台41上的拉出装置(抽屉装置)21上表面上。拉出装置21通过POS终端11来控制开放动作。POS终端11的上表面上配置有通过操作员(店员)按下操作的键盘22。从操作键盘22的操作员角度来看，在键盘22的里侧设置有向操作员显示信息的显示装置23。显示装置23在其显示面23a上显示信息。在显示面23a上层压有触摸面板26。在显示装置23的更里侧，旋转自如地立着设置有顾客用显示装置24。顾客用显示装置24在其显示面24a上显示信息。另外，图1所示的顾客用显示装置24虽然将显示面24a朝向图1中的跟前侧，但是通过使顾客用显示装置24以显示面24a朝向图1中的里侧的方式旋转，顾客用显示装置24向顾客显示信息。
横向长(水平长)的桌子状的柜台151以与载置有POS终端11的结账台41成L字的方式被配置。在柜台151的上表面上形成有负荷接受面152。在负荷接受面152上载置有收纳商品G的购物筐153。购物筐153可以考虑划分为通过顾客带入的第一购物筐153a、以及载置在与第一购物筐153a隔着商品读取装置101的位置上的第二购物筐153b。另外，购物筐153不限于所谓的筐形状，也可以是托盘等。此外，购物筐153(第二购物筐153b)不限于所谓的筐形状，也可以是箱状或袋状等。
在柜台151的负荷接受面152上设置有与POS终端11数据发送接收自如地连接的商品读取装置101。商品读取装置101具有薄壁矩形形状的外壳102。在外壳102的正表面上配置有读取窗103。在外壳102的上部安装有显示/操作部104。在显示/操作部104上设置有在表面上层压有触摸面板105的显示装置106。在显示装置106的右边配设有键盘107。在键盘107的右边设置有未图示的读卡器的卡读取槽108。从操作员角度看，在显示/操作部104的背面靠左侧设置有用于向顾客提供信息的顾客用显示装置109。
这样的商品读取装置101具备商品读取部110(参照图2)。商品读取部110在读取窗103的里侧配置摄像部164(参照图2)。
在通过顾客带入的第一购物筐153a中收纳有一交易所涉及的商品G。第一购物筐153a内的商品G通过操作商品读取装置101的操作员被移至第二购物筐153b中。在该移动过程中，商品G朝向商品读取装置101的读取窗103。这时，配置在读取窗103内的摄像部164(参照图2)摄像商品G。
在商品读取装置101中，在显示/操作部104上显示用于指定通过摄像部164摄像的图像所包含的商品G是否与后述的PLU文件F1(参照图3)所登记的商品对应的画面，将被指定的商品的商品ID通知给POS终端11。在POS终端11中，基于从商品读取装置101通知的商品ID，将与该商品ID对应的商品的商品分类、商品名称、单价等的涉及销售额登记的信息登记到销售额主文件(未图示)等中，进行销售额登记。
图2是表示POS终端11及商品读取装置101的硬件构成的框图。POS终端11具有作为执行信息处理的信息处理部的微计算机60。微计算机60在执行各种运算处理并控制各部的CPU 61(CentralProcessing Unit：中央处理器)上总线连接有ROM 62(Read OnlyMemory：只读存储器)和RAM 63(Random Access Memory：随机存取存储器)。
上述的拉出装置21、键盘22、显示装置23、触摸面板26、顾客用显示装置24均通过各种的输入输出电路(均未图示)与POS终端11的CPU 61连接，并接受CPU 61的控制。
键盘22包括在上表面上显示有“1”、“2”、“3”……等的数字和“×”的乘法的运算符号的数字键22d、临时合计键22e及合计键22f。
POS终端11的CPU 61连接有HDD 64(Hard Disk Drive：硬盘驱动器)。HDD 64存储有程序和各种文件。HDD64所存储的程序和各种文件在POS终端11的启动时，其全部或一部分被复制到RAM63中通过CPU 61来执行。HDD 64所存储的程序的一例是商品销售数据处理用的程序PR。HDD 64所存储的文件的一例是从存储计算机SC发送并被存储的PLU文件F1。
PLU文件F1是对店铺陈列销售的商品G的各个商品，设定有商品G的销售额登记所涉及的信息和与其商品G的图像相关的商品文件。
图3是例示PLU文件F1的数据构成的概念图。如图3所示，PLU文件F1是将对应每个商品G专属分配给的商品ID、商品G所属的商品分类、商品名称、单价等的关于商品的信息、摄像其商品的商品图像(基准图像)、以及表示其商品的实例图像，作为其商品G的商品信息进行存储的文件。而且，商品图像是用于相似度判定的商品的摄像图像(照片)。另外，PLU文件F1具有商品读取装置101通过后述的连接接口65可读出的构成。
另外，PLU文件F1的数据构成不限于图3的例子，例如，也可以是对各商品存储从商品图像读取的颜色、表面的凹凸状况等的特征量的形态。
返回到图2，POS终端11的CPU 61通过输入输出电路(未图示)连接有用于与存储计算机SC执行数据通信的通信接口25。存储计算机SC设置在店铺的后院等。存储计算机SC的HDD(未图示)存储有发送给POS终端11的PLU文件F1。
并且，POS终端11的CPU 61连接有在与商品读取装置101之间可数据发送接收的连接接口65。连接接口65连接有商品读取装置101。此外，POS终端11的CPU 61连接有在票据等上进行打字的打印机66。POS终端11在CPU 61的控制下将一交易的交易内容打印在票据上。
商品读取装置101也具有微计算机160。微计算机160在CPU161上总线连接有ROM 162和RAM 163。ROM 162存储有通过CPU161执行的程序。CPU 161通过各种的输入输出电路(均未图示)连接有摄像部164、声音输出部165。摄像部164、声音输出部165通过CPU 161来控制动作。显示/操作部104通过连接接口176与商品读取部110及POS终端11连接。显示/操作部104通过商品读取部110的CPU 161、POS终端11的CPU 61来控制动作。
摄像部164是彩色CCD图像传感器或彩色CMOS图像传感器等，是在CPU 161的控制下进行从读取窗103的摄像的摄像部。例如，摄像部164进行30fps的视频摄像。摄像部164以规定的帧频率依次摄像的帧图像被保存到RAM 163中。
声音输出部165是用于发出预先设定的警告音等的声音电路和扬声器等。声音输出部165在CPU 161的控制下进行警告音、声音的告知。
并且，CPU 161连接有与POS终端11的连接接口65连接的、在与POS终端11之间可数据发送接收的连接接口175。此外，CPU161通过连接接口175，在与显示/操作部104之间进行数据发送接收。
接着，参照图4，对通过CPU 61执行程序实现的CPU 161、CPU61的功能构成进行说明。
图4是表示POS终端11及商品读取装置101的功能构成的框图。如图4所示，商品读取装置101的CPU 161通过执行ROM 162所存储的程序，具有作为图像采集部51、商品检测部52、相似度计算部53、相似度判定部54、确定告知部55、商品候补提示部56、输入接受部57及信息输出部58的功能。此外，同样，POS终端11的CPU 61通过执行程序PR，具有作为销售额登记部611的功能。
图像采集部51向摄像部164输出摄像导通信号，使摄像部164开始摄像动作。图像采集部51在摄像动作开始后，依次采集摄像部164摄像并保存到RAM 163的帧图像。图像采集部51的帧图像的采集按照RAM 163所保存的顺序来进行。
图5是表示通过图像采集部51采集到的帧图像R的一例图。如图5所示，当操作员将商品G向读取窗103举起照亮时，摄像部164的读取区域R摄像有商品G的全部或一部分。
商品检测部52用模式匹配技术等检测出通过图像采集部51采集到的帧图像所包含的商品G的全部或一部分。具体地说，从二值化采集到的帧图像的图像，提取轮廓线等。接着，对从上次的帧图像提取的轮廓线和从本次的帧图像提取的轮廓线进行比较，检测出朝向读取窗103的商品用于销售额登记。
另外，作为检测商品的其他方法，从采集到的帧图像检测肤色区域的有无。接着，在检测出有肤色区域时，也就是说，在检测出有店员的手时，在该肤色区域的附近通过进行上述的轮廓线的检测，试着提取假想为店员的手把持的商品的轮廓。这时，在检测出表示手的形状的轮廓和在手的轮廓的附近除其以外的物体的轮廓时，从该物体的轮廓检测出商品。
相似度计算部53从摄像部164摄像的商品G的全部或一部分的图像，读取商品G的颜色、表面的凹凸状况等的表面的状态作为特征量。另外，相似度计算部53为了谋求处理时间的缩短，视为不考虑商品G的轮廓、大小。
此外，相似度计算部53从PLU文件F1所登记的各商品(以下称为登记商品)的商品图像，读取该登记商品的颜色、表面的凹凸状况等的表面的状态作为特征量，通过分别与商品G的特征量进行比较，计算出商品G和PLU文件F1所登记的商品的相似度。在这里，相似度是当将PLU文件F1所存储的各商品的商品图像视为100％＝“相似度：1.0”时，表示商品G的全部或一部分的图像相似哪种程度的数据。另外，例如，也可以在色彩和表面的凹凸状况等中，改变加权计算出相似度。
这样，识别图像中所包含的物体被称为一般物体识别(genericobject recognition：一般物体识别)。关于这样的一般物体识别在下述的文献中各种识别技术被说明。
柳井啓司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48，No.SIG16“平成22年8月10日检索”，互联网＜URL：http：//mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞(柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Vol.48，No.SIG16[平成22年8月10日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>)
此外，通过对应每个目的物对图像进行区域分割，进行一般物体识别的技术在下述的文献中被说明。
Jamie Shottonら(杰米肖顿等人)，“Semantic Texton Forests forImage Categorization and Segmentation：”，“平成22年8月10日检索”，互联网＜URL：http：//citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf＞(Jamie Shottonら，“Semantic Texton Forests for Image Categorization andSegmentation”，[平成22年8月10日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf>)
另外，被摄像的商品G的图像和PLU文件F1所存储的登记商品的商品图像的相似度的计算方法不特别限定。例如，既可以将被摄像的商品G的图像和PLU文件F1所存储的各登记商品的相似度作为绝对评价计算出，又可以作为相对评价计算出。
在将相似度作为绝对评价计算出时，以1比1对被摄像的商品G的图像和PLU文件F1所存储的各登记商品进行比较，只要直接采用该比较结果导出的相似度就可以。此外，在将相似度作为相对评价计算出时，如果在PLU文件F1中登记有5个登记商品(商品GA、GB、GC、GD、GE)时，只要以被摄像的商品G对于商品GA的相似度为0.6、对于商品GB的相似度为0.1、对于商品GC的相似度为0.1、对于商品GD的相似度为0.1、对于商品GE的相似度为0.1等、与各登记商品的相似度的总和为1.0(100％)的方式计算出就行。
相似度判定部54对应图像采集部51采集到的帧图像，对商品G的图像和PLU文件F1所存储的商品图像的相似度进行比较。在本实施例中，对于登记商品的商品图像和商品G的图像的相似度，阶段地设置多个条件，相似度判定部54根据满足的条件，进行登记商品的确定或商品的候补的选定。虽然关于相似度的条件不特别限定，但下面对使用条件a～c的情况进行说明。
在这里，条件a及条件b是本实施例所涉及的第一条件，是用于将摄像部164摄像的商品G确定作为PLU文件F1所存储的登记商品中的一个商品的条件。此外，条件c是本实施例所涉及的第二条件，是用于从PLU文件F1所存储的登记商品中提取摄像部164摄像的商品G的候补的条件。
相似度判定部54将满足条件a或条件b的登记商品判定为作为以一比一与摄像部164摄像的商品G对应的商品(以下，称为确定商品)。此外，相似度判定部54对于满足条件c的登记商品，判定为不是确定商品而是作为摄像部164摄像的商品G的候补(以下，称为商品候补)。而且，通过从PLU文件F1所存储的多个登记商品中提取满足条件c的登记商品，提取关于商品G的商品候补。
如果条件a～c根据相似度阶段地设定，虽然其详细不特别限定，但作为一例，能够通过预先设定的多个阈值设置条件a～c。在这里，对通过第一阈值～第三阈值设定条件a～c的情况进行说明。另外，第一～第三阈值的大小关系是第一阈值>第二阈值>第三阈值。
相似度判定部54计数与登记商品的相似度为大于等于预先规定的第一阈值(例如90％)的次数，在该次数为大于等于规定次数时，判定为满足了条件a。而且，在以没有误判定的方式更高设定第一阈值时，也可以将规定次数作为1次判定条件a。
此外，相似度判定部54在与登记商品的相似度为小于第一阈值(例如90％)、且大于等于比第一阈值小的第二阈值(75％)时，判定为满足了条件b。而且，满足了条件b的登记商品判定为虽然是确定商品但需要操作员的确认操作。另外，也可以计数与登记商品的相似度为小于第一阈值(例如90％)、且大于等于比第一阈值小的第二阈值(75％)的次数，在该次数大于等于规定次数时，判定为满足了条件b。
并且，相似度判定部54在与登记商品的相似度为小于第二阈值(例如75％)、且大于等于比第二阈值小的第三阈值(例如10％)时，判定为满足了条件c。另外，还可以计数与登记商品的相似度为小于第二阈值(例如75％)、且大于等于比第二阈值小的第三阈值(10％)的次数，在该次数大于等于规定次数时，判定为满足了条件c。
另外，各条件a～c根据相似度的大小、判定次数等可适当设定，不限于上述的例子。此外，用于条件a～c的判断的规定次数也可以分别对应每个条件设置不同的次数。
确定告知部55通过图像输出、声音输出等，将由摄像部164摄像的商品作为是满足了条件a或条件b的登记商品被单一地确定的情况告知给操作员、顾客。
更详细地说，确定告知部55(第一显示控制单元)使表示满足了条件a的登记商品作为通过摄像部164摄像的商品(确定商品)被单一地确定的确定画面71(参照图6)显示在显示设备106上。
图6是表示确定画面的一例图。在有满足条件a的登记商品时，确定告知部55停止读取区域R(参照图5)的摄像图像的显示，从PLU文件F1读出与确定商品对应的实例图像G1及商品名称“胡萝卜”，并显示在确定画面71上。此外，确定告知部55将从PLU文件F1读出的确定商品的商品名称、商品价格(单价)分别显示在商品名称显示区域81、价格显示区域82上。并且，确定告知部55也可以显示从PLU文件F1读出的商品图像(照片)代替实例图像G1。
此外，确定告知部55与该确定画面71的显示的定时一致向声音输出部165输出从PLU文件F1读出的商品名称等、关于确定商品的信息。
此外，确定告知部55使接受满足了条件b的登记商品(确定商品)是否是通过摄像部164摄像的商品G的最终确认操作的确认画面72(参照图7)显示在显示设备106上。
图7是表示确认画面72的一例图。在有满足条件b的登记商品时，确定告知部55从PLU文件F1读出与确定商品对应的实例图像G1，并显示在确认画面72上。此外，确定告知部55用从PLU文件F1读出的确定商品的商品名称，将征询读取的商品G是否是实例图像G1的商品的信息显示为“是否是胡萝卜”等。此外，在确认画面72上通过对触摸面板105的触摸操作可选择操作地设置有“是/否”等的按钮。
这样，在确认画面72中，作为相似度判定的结果，对于一个商品G示出唯一被分选的登记商品(确定商品)的商品名称、商品图像，商品G和登记商品保持一对一的关系被显示。因此，确认画面72是告知满足条件b的登记商品作为通过摄像部164摄像的商品G被单一地确定的画面。
在本实施例中，在这样摄像的商品单一地确定时，显示确定商品的实例图像代替摄像图像。因此，操作员能够直观地看到商品的识别确定了的情况，且能够一目了然被识别的商品是哪个商品。
另外，确定告知部55既可以与显示确认画面72的定时一致，使声音输出部165声音输出关于确定商品的信息，又可以在确认画面72中不进行声音输出。确定画面71、确认画面72中的声音输出的有无可适当设定。
商品候补提示部56(第二显示控制单元)使显示设备106显示关于满足条件c的登记商品的信息作为商品候补。更详细地说，商品候补提示部56从PLU文件F1读出满足条件c的登记商品的实例图像及商品名称，按照相似度计算部53计算出的相似度从高到低的顺序，依次输出给显示设备106。显示设备106在商品候补提示区域83(参照图8)中，按照相似度从高到低的顺序显示商品候补的实例图像及商品名称。
图8是表示显示有商品候补的实例图像G1、G2、G3的画面例的图。如图8所示，商品候补提示区域83按照从相似度高的登记商品开始的顺序显示有商品候补的实例图像G1、G2、G3及各商品名称。这些实例图像G1、G2、G3具有根据对触摸面板105的选择操作可选择的构成。此外，商品候补提示区域83的下部设置有用于从商品明细选择商品的选择按钮84，从商品明细选择的商品作为上述的确定商品被处理。而且，在图8中，虽然例示了显示有与实例图像G1～G3对应的3个商品候补，但商品候补的数量、显示方法不特别限定。此外，也可以显示商品图像(照片)代替实例图像。
另外，在即使显示设备106显示有商品候补的实例图像G1～G3、但不接受对这些商品候补的选择操作时，则继续图像采集部51的图像采集处理、商品检测部52的检测处理、以及相似度计算部53的相似度计算处理。因此，在不选择商品候补期间，在显示设备106的画面上显示有读取区域R的摄像图像。
输入接受部57通过触摸面板105或键盘107，接受与显示设备106的显示对应的各种输入操作。例如，输入接受部57基于对确认画面72(参照图7)的选择操作，接受最终确认了被显示的实例图像G1的商品是确定商品的意思的输入操作(确认操作)。另外，确定告知部55在输入接受部57已接受确认操作时，在显示设备106上显示上述的确定画面71。
输入接受部57接受从显示设备106所显示的商品候补的实例图像G1～G3(参照图8)中对任一个的实例图像的选择操作。输入接受部57接受已选择的实例图像的登记商品作为是对于商品G的确定商品。另外，在商品检测部52可检测出多个商品G时，输入接受部57也可以从商品候补中接受多个商品候补的选择操作。而且，确定告知部55在输入接受部57接受选择操作时，使已接受的商品候补作为确定商品被显示的确定画面71在显示设备106上显示。
如上所述，信息输出部58对于被确定的确定商品，通过连接接口175将表示其商品的信息(例如，商品ID、商品名称等)输出给POS终端11。
而且，信息输出部58也可以通过触摸面板105或键盘107，将另输入的销售个数与商品ID等一起输出给POS终端11。此外，作为信息输出部58输出给POS终端11的信息，既可以直接通知信息输出部58从PLU文件F1读出的商品ID，也可以通知可指定商品ID的商品名称、或商品图像、实例图像的文件名，也可以将其商品ID的存储场所(在PLU文件F1中的存储地址)通知给POS终端11。
POS终端11的销售额登记部611基于从信息输出部58输出的商品ID和销售个数，进行对应的商品的销售额登记。具体地说，销售额登记部611参照PLU文件F1，将已通知的商品ID及与该商品ID对应的商品分类、商品名称、单价等与销售个数一起存储到销售额主文件等中，进行销售额登记。
接着，对结账系统1的动作进行详细说明。首先，对商品读取装置101的动作进行说明。图9是表示商品读取装置101所执行的商品识别处理的次序的流程图。在图9中，虽然对将第一阈值设定为相似度90％(0.90)、第二阈值设定为相似度75％(0.75)、第三阈值设定为相似度10％(0.10)的情况进行说明，但各阈值不限于这些。
当根据POS终端11的商品登记的开始等使处理开始时，图像采集部51向摄像部164输出摄像导通信号，开始摄像部164的摄像(步骤S11)。
图像采集部51采集摄像部164摄像并保存在RAM 163中的帧图像(摄像图像)(步骤S12)。接着，商品检测部52从图像采集部51采集到的帧图像中进行商品G的全部或一部分的检测(步骤S13)。接着，相似度计算部53从商品G的全部或一部分的图像读取商品G的特征量，并通过与PLU文件F1所存储的各商品图像的特征量进行比较，计算出与登记商品的相似度(步骤S14)。
相似度判定部54对是否有相似度为大于等于90％的登记商品进行判定(步骤S15)。在没有大于等于90％的登记商品时(步骤S15：否)，过渡到步骤S17。在有大于等于90％的登记商品时(步骤S15：是)，对关于同一登记商品的相似度成为大于等于90％的次数是否大于等于规定次数(例如、3次)进行判定(步骤S16)。在小于规定次数时(步骤S16：否)，返回到步骤S12，图像采集部51采集通过摄像部164摄像到的新的帧图像。
在大于等于规定次数时(步骤S16：是)，确定告知部55使包含确定商品的实例图像的确定画面71(参照图6)显示，而且通过声音通知确定商品的商品名称而告知确定商品(步骤S23)。此外，信息输出部58将作为确定商品的登记商品的商品ID等与通过键盘107另输入的销售个数一起输出给POS终端11(步骤S24)，之后过渡到步骤S25的处理。
在步骤S15：否时，相似度判定部54对是否有相似度大于等于75％小于90％的登记商品进行判定(步骤S17)。在有相似度为该范围内的登记商品时(步骤S17：是)，将其登记商品判定为是需要操作员的确认的确定商品，并使显示设备106(参照图7)显示确认画面72(步骤S18)。输入接受部57对在确认画面72(参照图7)中是否选择了“是”进行判定(步骤S19)。在选择了“是”时(步骤S19：是)，过渡到步骤S23，确定告知部55显示确定画面71。另一方面，在选择了“否”时(步骤S20：否)，返回到步骤S12。
另一方面，在没有相似度为大于等于75％小于90％的登记商品时(步骤S17：否)，相似度判定部54对是否有相似度为大于等于10％小于75％的登记商品进行判定，并提取相似度为该范围内的登记商品作为商品G的商品候补(步骤S20)。在没有该范围内的登记商品时(步骤S20：否)，返回到步骤S12。在有相似度大于等于10％小于75％的登记商品时(步骤S20：是)，相似度判定部54将符合的登记商品判定为商品G的商品候补。而且，商品候补提示部56按相似度从高到低的顺序排序作为商品候补被判定的登记商品的实例图像及商品名称，并在商品候补提示区域83上显示(步骤S21)。
输入接受部57对是否接受了对于登记商品的商品图像的选择操作进行判定(步骤S22)。在接受了选择时(步骤S22：是)，过渡到步骤S23，确定告知部55显示确定画面71。另一方面，在未接受选择时(步骤S22：否)，过渡到步骤S12。
在步骤S25中，CPU 161判定从POS终端11有无商品登记的结束通知等的业务结束。在继续业务时(步骤S25：否)，CPU 161向步骤S12返回处理继续处理。在结束业务时(步骤S25：是)，图像采集部51向摄像部164输出摄像截止信号，结束摄像部164的摄像(步骤S26)，并结束处理。
另外，在上述的步骤S24中，虽然是通过键盘107接受销售个数的输入，但销售个数的输入方法不特别限定。例如，也可以接受触摸确定画面71所显示的商品图像的次数作为销售个数。此外，也可以是在确定画面71中具有接受销售个数的构成。
图10是表示可接受销售个数的确定画面71b的一例图。如图10所示，确定画面71b除显示有确定商品的实例图像G1和商品名称“胡萝卜”外，还设置有数字键85。从该数字键85可输入商品的销售个数。当在输入了销售个数后选择决定键86时，输入接受部57接受该确定商品的商品ID和销售个数的输入。而且，如图11所示确定告知部55在确定画面71c的商品名称显示区域81中，除确定商品的商品名称外还显示销售个数，在价格显示区域82上显示基于单价和销售个数计算出的小计金额。
接着，对POS终端11的动作进行说明。图12是表示POS终端11所执行的销售额登记处理的次序的流程图。
首先，当根据键盘22的操作指示的商品登记的开始等开始处理时，CPU 161接收商品读取装置101在图9的步骤S24中输出的、确定商品的商品ID和其销售个数(步骤S31)。接着，销售额登记部611基于在步骤S31中接收到的商品ID及销售个数，从PLU文件F1读出商品类别、单价等，将在商品读取装置101中读取到的商品G的销售额登记到销售额主文件(步骤S32)。接着，CPU 61判定键盘22的操作指示的销售额登记的结束等的业务结束的有无(步骤S33)。在继续业务时(步骤S33：否)，CPU 61再次向步骤S31返回继续处理。在结束业务时(步骤S33：是)，CPU 61结束处理。
以上，虽然对本发明的实施例进行了说明，但是上述实施例是作为例子提出的，并不意图限定发明的范围。该实施例可以用其他各种形式来实施，只要在不脱离发明的要旨的范围内可以进行各种省略、替换、变更。该实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明及其等同的范围内。
例如，在上述实施例中，虽然对商品读取装置101逐一摄像商品G的例子进行了说明，但一次摄像的商品G的个数不特别限定，也可以是多个。在一次摄像多个商品G那样的情况下，分别计算出多个商品G和登记商品的图像(G1、G2、G3、…)的相似度，只要通过比较计算结果和上述阈值，选择确定商品、候补商品就行。
此外，上述的各显示画面的构成不限于图5～图8、图10～图11的例子，也可设置用于显示其他要素的显示区域、操作按钮。
此外，在上述实施例中，虽然对POS终端11具备PLU文件F1的例子进行了说明，但不限于此，既可以是商品读取装置101具备PLU文件F1的形态，又可以是POS终端11及商品读取装置101可访问的外部装置具备PLU文件F1的形态。
此外，在上述实施例中，虽然对商品读取装置101具有作为相似度计算部53、相似度判定部54的功能进行了说明，但不限于此，也可以是POS终端11具备相似度计算部53、相似度判定部54的功能，并将计算结果、判定结果输出给商品读取装置101的形态。
另外，在上述中，作为多个阈值，虽然举例通过第一～第三的3个阈值4阶段判定相似度进行了说明，但实施例不限于这些阈值。既可以用大于等于3个的阈值进行多阶段判定，又可以用小于等于2个的阈值进行判定。此外，各阈值也可以由用户适当改变设定。此外，在上述中，虽然举例在全部商品中通用第一～第三阈值及条件a～c，但不限于这样，也可以对应每个登记商品分别设定各阈值、条件。
此外，在上述中，虽然对使其显示确认画面72时(条件b)和不使其显示确认画面72时(条件a)的二阶段区分第一条件的实施例进行了说明，但也可以不多阶段区分这样的第一条件。也就是，当沿上述的例子表示其他例时，即使在满足了任一个条件a、b时也不显示确认画面72对商品进行确定的形态，此外，也可以设定是否使其显示确认画面72。
此外，在上述实施例中，虽然对POS终端11和商品读取装置101的分体构成进行了说明，但不限于此，也可以是具备POS终端11和商品读取装置101的功能的一体构成的装置。
此外，虽然在上述实施例的各装置中所执行的程序被预先安装在各装置所具备的存储介质(ROM或存储部)中而提供，但不限于此，也可以以可安装的形式或可执行的形式的文件，记录在CD-ROM、软磁盘(FD)、CD-R、DVD(Digital Versatile Disk：数字多功能磁盘)等的计算机可读存储介质中而提供。并且，存储介质不限于与计算机或安装系统独立的介质，也包含下载通过LAN、互联网等传递的程序并存储或暂时存储的存储介质。
此外，也可以将上述实施例的各装置中执行的程序存储在与互联网等的网络连接的计算机上，并通过经由网络下载而提供。此外，也可以经由互联网等的网络提供或配置。
如上所述，根据本实施例，在商品G和各商品的基准图像的相似度满足了将通过摄像部164摄像的商品确定作为与基准图像对应的商品中的一个商品的条件时，告知通过摄像部164摄像的商品作为与满足了该条件的基准图像对应的商品被确定。因此，在满足了规定条件时，由于操作员即使不从商品候补中选择商品也能够确定对应商品G的商品，所以能够简单化更效率地进行与商品G对应的登记商品的确定。因此，根据本发明，能够加快信息处理装置的处理速度，提高信息处理装置的内部性能。
附图标记说明
1   结账系统
11  POS终端
101 商品读取装置
102 外壳
103 读取窗
104 显示/操作部
105 触摸面板
106 显示设备
107 键盘
108 卡读取槽
109 顾客用显示设备
51  图像采集部
52  商品检测部
53  相似度计算部
54  相似度判定部
55  确定告知部
56  商品候补提示部
57  输入接受部
58  信息输出部
611 销售额登记部
71、71b、71c 确定画面
72  确认画面
81  商品名称显示区域
82  价格显示区域
83  商品候补提示区域
84  选择按钮
85  数字键
86  决定按钮
F1  PLU文件
G   商品
G1  实例图像
R   帧图像

Claims (8)

1.一种信息处理装置，其特征在于，包括：
采集部，采集摄像部摄像的物体的图像；以及
告知部，在表示所述摄像部摄像的物体的图像和各商品的基准图像相似到哪种程度的相似度满足了将所述摄像的物体确定作为与所述基准图像对应的各商品中的一个商品的条件时，告知所述摄像的物体被确定作为与满足了所述条件的所述基准图像对应的商品；
第一显示控制部，在通过所述摄像部摄像的物体被确定时，代替通过摄像部摄像的物体的图像，显示表示被确定的商品的图像。
2.根据权利要求1所述的信息处理装置，还包括：
判定部，对于所述采集部采集到的每个图像，比较与基准图像的相似度，判定该相似度是否满足将所述摄像的物体作为与所述基准图像对应的一个商品进行确定的第一条件、或判定该相似度是否满足提取所述摄像的物体的候补的第二条件；
第二显示控制部，作为所述摄像的物体的候补，显示关于与满足所述第二条件的所述基准图像对应的商品的信息；以及
接受部，在从所述摄像的物体的候补中至少选择操作一个时，接受将该摄像的物体的候补作为通过所述摄像部摄像的物体进行确定的操作，
其中，所述第一显示控制部显示所述摄像的物体作为与满足所述第一条件的所述基准图像对应的一个商品被确定。
3.根据权利要求2所述的信息处理装置，其特征在于，
所述判定部对所述采集部采集到的每个图像对于所述基准图像的所述相似度是否为大于等于第一阈值进行判定，在判定为对于同一所述基准图像的所述相似度为大于等于规定次数且大于等于所述第一阈值时，判定为满足了所述第一条件，在对于所述基准图像的所述相似度为小于所述第一阈值且大于等于比该第一阈值小的第二阈值时，判定为满足了所述第二条件。
4.根据权利要求1至3的任一项所述的信息处理装置，其中，
所述告知部通过声音通知对关于与满足了所述条件的基准图像对应的商品的信息进行告知。
5.一种基于信息处理装置的信息处理方法，包括以下步骤：
采集步骤，采集摄像部摄像的物体的图像；以及
告知步骤，在表示所述摄像部摄像的物体的图像和各商品的基准图像相似到哪种程度的相似度满足了将所述摄像的物体确定作为与所述基准图像对应的各商品中的一个商品的条件时，告知所述摄像的物体被确定作为与满足了所述条件的所述基准图像对应的商品；
第一显示控制步骤，在通过所述摄像部摄像的物体被确定时，代替通过摄像部摄像的物体的图像，显示表示被确定的商品的图像。
6.根据权利要求5所述的信息处理方法，还包括：
判定步骤，对于通过所述采集步骤采集到的每个图像，比较与基准图像的相似度，判定该相似度是否满足将所述摄像的物体作为与所述基准图像对应的一个商品进行确定的第一条件、或判定该相似度是否满足提取所述摄像的物体的候补的第二条件；
第二显示控制步骤，作为所述摄像的物体的候补，显示关于与满足所述第二条件的所述基准图像对应的商品的信息；以及
接受步骤，在从所述摄像的物体的候补中至少选择操作一个时，接受将该摄像的物体的候补作为通过所述摄像部摄像的物体进行确定的操作，
其中，在所述第一显示控制步骤中，显示所述摄像的物体作为与满足所述第一条件的所述基准图像对应的一个商品被确定。
7.根据权利要求6所述的信息处理方法，其特征在于，
通过所述判定步骤，对通过所述采集步骤采集到的每个图像对于所述基准图像的所述相似度是否为大于等于第一阈值进行判定，在判定为对于同一所述基准图像的所述相似度为大于等于规定次数且大于等于所述第一阈值时，判定为满足了所述第一条件，在对于所述基准图像的所述相似度为小于所述第一阈值且大于等于比该第一阈值小的第二阈值时，判定为满足了所述第二条件。
8.根据权利要求5至7的任一项所述的信息处理方法，其中，
在所述告知步骤中，通过声音通知对关于与满足了所述条件的基准图像对应的商品的信息进行告知。
CN201210398669.1A 2011-10-19 2012-10-19 信息处理装置及信息处理方法 Active CN103116949B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011230000A JP5194160B1 (ja) 2011-10-19 2011-10-19 情報処理装置、情報処理方法及びプログラム
JP2011-230000 2011-10-19

Publications (2)

Publication Number Publication Date
CN103116949A CN103116949A (zh) 2013-05-22
CN103116949B true CN103116949B (zh) 2015-09-30

Family

ID=48136023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210398669.1A Active CN103116949B (zh) 2011-10-19 2012-10-19 信息处理装置及信息处理方法

Country Status (3)

Country Link
US (1) US9042660B2 (zh)
JP (1) JP5194160B1 (zh)
CN (1) CN103116949B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5579202B2 (ja) * 2012-01-16 2014-08-27 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP5553866B2 (ja) * 2012-07-23 2014-07-16 東芝テック株式会社 商品認識装置及び認識辞書追加プログラム
JP5927147B2 (ja) * 2013-07-12 2016-05-25 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5802712B2 (ja) * 2013-07-16 2015-10-28 東芝テック株式会社 情報処理装置及びプログラム
CN106408800B (zh) * 2013-07-16 2019-04-19 东芝泰格有限公司 信息处理装置及其控制方法
CN104299131B (zh) * 2013-07-16 2018-06-22 东芝泰格有限公司 信息处理装置及其控制方法
JP6122805B2 (ja) * 2013-07-16 2017-04-26 東芝テック株式会社 情報処理装置及びプログラム
JP5865316B2 (ja) * 2013-08-30 2016-02-17 東芝テック株式会社 商品登録装置およびプログラム
JP2015099549A (ja) 2013-11-20 2015-05-28 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP6141208B2 (ja) * 2014-01-08 2017-06-07 東芝テック株式会社 情報処理装置及びプログラム
JP6193136B2 (ja) * 2014-01-21 2017-09-06 東芝テック株式会社 画像情報処理装置及びプログラム
JP2015152959A (ja) 2014-02-10 2015-08-24 東芝テック株式会社 読取装置
JP2015152960A (ja) * 2014-02-10 2015-08-24 東芝テック株式会社 読取装置
US20150339650A1 (en) * 2014-05-23 2015-11-26 Toshiba Tec Kabushiki Kaisha Merchandise identification apparatus and method for identifying merchandise
JP6177199B2 (ja) 2014-06-30 2017-08-09 東芝テック株式会社 情報処理装置及びプログラム
US9501840B2 (en) 2014-10-20 2016-11-22 Toshiba Tec Kabushiki Kaisha Information processing apparatus and clothes proposing method
US20180293635A1 (en) * 2015-03-16 2018-10-11 Nec Corporation System, image recognition method, and recording medium
JP6863296B2 (ja) * 2016-01-21 2021-04-21 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム
CN107767590A (zh) * 2016-08-16 2018-03-06 深圳仪普生科技有限公司 物品自动识别商用条码电子秤及物品自动识别方法
JP2018032332A (ja) 2016-08-26 2018-03-01 東芝テック株式会社 情報処理装置およびプログラム
JP6306776B2 (ja) * 2017-05-01 2018-04-04 東芝テック株式会社 情報処理装置及びプログラム
JP6336656B2 (ja) * 2017-05-16 2018-06-06 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP2021174379A (ja) * 2020-04-28 2021-11-01 パナソニックＩｐマネジメント株式会社 精算決済装置および精算決済システム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
JP3223064B2 (ja) 1995-02-21 2001-10-29 東芝テック株式会社 商品販売登録データ処理装置
US6226402B1 (en) * 1996-12-20 2001-05-01 Fujitsu Limited Ruled line extracting apparatus for extracting ruled line from normal document image and method thereof
JP2001229382A (ja) * 2000-02-17 2001-08-24 Nippon Telegr & Teleph Corp <Ntt> 情報蓄積装置，情報検索装置および情報蓄積方法，情報検索方法並びにこれらの方法を記録した記録媒体
JP4088014B2 (ja) * 2000-03-22 2008-05-21 株式会社東芝 画像検索システムおよび画像検索方法
JP3513562B2 (ja) * 2000-04-20 2004-03-31 インターナショナル・ビジネス・マシーンズ・コーポレーション 形状解析システム、３次元形状モデルの差分検出システム、類似形状検索システム、形状解析方法及び記憶媒体
US7845554B2 (en) * 2000-10-30 2010-12-07 Fujitsu Frontech North America, Inc. Self-checkout method and apparatus
JP2003173369A (ja) 2001-12-05 2003-06-20 Fujitsu General Ltd 飲食店舗における配膳管理方法と配膳管理システム
JP4030318B2 (ja) * 2002-02-20 2008-01-09 株式会社ゼンリン 地図データ更新装置および地図データ更新方法
JP2003271650A (ja) * 2002-03-12 2003-09-26 Nec Corp 携帯電話Ｗｅｂサイト画像検索システム及び方法並びにサーバーとそのプログラム
JP4350414B2 (ja) 2003-04-30 2009-10-21 キヤノン株式会社 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム
US8254674B2 (en) * 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
JP2005267609A (ja) 2004-02-20 2005-09-29 Fuji Photo Film Co Ltd デジタル図鑑システム、図鑑検索方法、及び図鑑検索プログラム
JP4879480B2 (ja) * 2004-12-02 2012-02-22 ソニー株式会社 再生装置、再生方法および再生プログラム、記録媒体、ならびに、データ構造体
JP2006209353A (ja) * 2005-01-26 2006-08-10 Sharp Corp 画像判断装置、画像形成装置、画像判断方法、画像判断プログラム、画像形成プログラムおよびコンピュータ読取り可能な記録媒体
JP4460611B2 (ja) * 2008-01-31 2010-05-12 東芝テック株式会社 商品登録システム及びその方法
US8113427B2 (en) 2008-12-18 2012-02-14 Ncr Corporation Methods and apparatus for automated product identification in point of sale applications
JP5403657B2 (ja) 2009-02-23 2014-01-29 Ｎｅｃインフロンティア株式会社 定置スキャナ、ｐｏｓ端末および決済商品選別方法
JP5210241B2 (ja) * 2009-05-12 2013-06-12 キヤノン株式会社 画像検索装置及びその制御方法並びにプログラム
US8391613B2 (en) * 2009-06-30 2013-03-05 Oracle America, Inc. Statistical online character recognition
JP2011118583A (ja) * 2009-12-02 2011-06-16 Seiko Epson Corp 不正度算出装置、不正度算出装置の制御方法およびプログラム
JP5483622B2 (ja) 2011-08-31 2014-05-07 東芝テック株式会社 店舗システム及びプログラム
JP5485954B2 (ja) 2011-09-06 2014-05-07 東芝テック株式会社 店舗システム及びプログラム

Also Published As

Publication number Publication date
US20130101168A1 (en) 2013-04-25
JP2013089085A (ja) 2013-05-13
CN103116949A (zh) 2013-05-22
US9042660B2 (en) 2015-05-26
JP5194160B1 (ja) 2013-05-08

Similar Documents

Publication Publication Date Title
CN103116949B (zh) 信息处理装置及信息处理方法
CN103208154B (zh) 信息处理装置、店铺系统及信息处理方法
CN103366474B (zh) 信息处理装置及信息处理方法
CN103295346B (zh) 信息处理装置、店铺系统及信息处理方法
JP6348827B2 (ja) 情報処理装置、店舗システムおよびプログラム
CN104766413B (zh) 信息处理装置及其控制方法
CN104766416A (zh) 信息处理装置及其控制方法、店铺系统
JP5612645B2 (ja) 情報処理装置及びプログラム
CN107798333A (zh) 信息处理装置及控制方法、终端设备、机器可读存储介质
JP5647637B2 (ja) 情報処理装置、店舗システム及びプログラム
CN103984914A (zh) 信息处理装置及其控制方法
CN103310559A (zh) 信息处理装置及其控制方法
JP6258761B2 (ja) 情報処理装置及びプログラム
JP2013117872A (ja) 店舗システムおよびプログラム
JP5620416B2 (ja) 情報処理装置及びプログラム
JP2018055716A (ja) 情報処理装置及びプログラム
JP5437404B2 (ja) 情報処理装置、店舗システム及びプログラム
CN104299334A (zh) 信息处理装置及其控制方法
JP5770899B2 (ja) 情報処理装置及びプログラム
CN104299337A (zh) 信息处理装置及其控制方法
JP2017058977A (ja) 情報処理装置及びプログラム
JP5802803B2 (ja) 情報処理装置及びプログラム
JP2018136621A (ja) 情報処理装置およびプログラム
JP5529982B2 (ja) 情報処理装置
JP6177199B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant