CN103679977B

CN103679977B - 信息处理装置及其控制方法

Info

Publication number: CN103679977B
Application number: CN201310106181.1A
Authority: CN
Inventors: 内藤英浩; 菅澤広志
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2012-09-06
Filing date: 2013-03-29
Publication date: 2016-10-05
Anticipated expiration: 2033-03-29
Also published as: JP2014052810A; US20160358150A1; CN106373298B; JP5612645B2; CN106373298A; CN103679977A; US20140067573A1

Abstract

本发明公开一种信息处理装置及其控制方法，能够高效地进行异种销售商品的识别，该信息处理装置包括：摄像部、抽取部、识别部、判定部、以及输出部。摄像部对商品进行摄像。抽取部抽取摄像部所摄像的图像所包含的商品的特征量。识别部通过比较抽取部所抽取的第一特征量和成为基准的各基准商品的第二特征量，计算出表示第一特征量及第二特征量的关系的值，识别计算出的相似度大于等于阈值的基准商品，作为商品的候补。判定部判定识别部识别成候补的基准商品是否存在有以不同形式销售的异种形式商品。输出部当判定部判定出存在有异种形式商品时，可选择地输出与识别部识别成候补的基准商品和所述基准商品的异种形式商品有关的信息。

Description

信息处理装置及其控制方法

本申请主张申请日为2012年9月6日、申请号为JP2012-196425的日本申请为优先权，并引用上述申请的内容。

技术领域

本发明涉及一种信息处理装置及其控制方法。

背景技术

目前，提案有这样一种技术，从摄像了商品的图像数据中取得所述商品的形状等的特征量，基于该已取得的特征量判别（识别）商品的候补。

不过，在超市等店铺中，往往有蔬菜和水果等商品以一株为单位和处于剪切成1/2等的状态下被销售等，即使是相同商品也以不同形态销售的情况。不过，在这种情况下，当诸如非剪切面被摄像等从很难识别其销售形态的方向摄像商品时，由于有不能识别为已剪切的商品的可能性，所以有进一步改进的余地。

发明内容

鉴于上述问题，本发明的目的在于提供一种能够提高异种形态商品的识别率的信息处理装置及其控制方法。

本发明涉及的信息处理装置，包括：摄像部、抽取部、识别部、判定部、以及输出部。摄像部对商品进行摄像。抽取部抽取摄像部所摄像的图像所包含的商品的特征量。识别部通过比较抽取部所抽取的第一特征量和成为基准的各基准商品的第二特征量，计算出表示第一特征量及第二特征量的关系的值，识别计算出的相似度大于等于阈值的基准商品，作为商品的候补。判定部判定识别部识别成候补的基准商品是否存在有以不同形态销售的异种形态商品。输出部当判定部判定出存在有异种形态商品时，可选择地输出与识别部识别成候补的基准商品和所述基准商品的异种形态商品有关的信息。

本发明所涉及的信息处理装置的控制方法，所述信息处理装置包括对商品进行摄像的摄像部，所述控制方法包括以下步骤：采集步骤，采集所述摄像部所摄像的图像；抽取步骤，抽取所述摄像图像所包含的商品的特征量；识别步骤，通过比较所述抽取步骤所抽取的第一特征量和成为基准的各基准商品的第二特征量，计算出表示所述第一特征量及所述第二特征量的关系的值，识别计算出的相似度大于等于阈值的基准商品，作为所述商品的候补；判定步骤，判定通过所述识别步骤识别成候补的基准商品是否存在有以不同形态销售的异种销售商品；以及输出步骤，当判定出存在有所述异种销售商品时，可选择地输出与通过所述识别步骤识别成候补的基准商品和所述基准商品的异种销售商品有关的信息。

附图说明

图1是表示实施例所涉及的结账系统的外观构成的立体图。

图2是表示图1所示的POS终端及商品读取装置的硬件构成的框图。

图3是示意地表示图2所示的PLU文件的数据构成的一例图。

图4是表示图1所示的POS终端及商品读取装置的功能构成的框图。

图5是表示商品读取装置的显示设备所显示的商品候补的显示例的图。

图6是表示商品读取装置的显示设备所显示的商品候补的显示例的图。

图7是表示商品读取装置所执行的商品识别处理的次序的流程图。

图8是表示POS终端所执行的销售登记处理的次序的流程图。

图9是表示实施例所涉及的自助POS的构成的立体图。

图10是表示图9所示的自助POS的硬件构成的框图。

具体实施方式

下面，参照附图，对信息处理装置及程序的实施例进行详细地说明。另外，以下说明的实施例是信息处理装置及其控制方法的一实施例，并不限定其构成、方法等。本实施例是向引进到超市等的店铺中的具备进行一交易所涉及的商品的登记、对账的POS终端、和读取与商品有关的信息的商品读取装置的结账系统的应用例。

图1是表示结账系统1的外观构成的立体图。如图1所示，结账系统1具有POS终端11、作为信息处理装置的商品读取装置101。

POS终端11载置在结账台51上的拉出装置21上面。拉出装置21通过POS终端11控制开放动作。POS终端11的上表面配置有由操作员（店员等）进行按下操作的键盘22。从操作键盘22的操作员角度看，在键盘22的里侧设置有向操作员显示信息的显示设备23。显示设备23在其显示面23a上显示信息。显示面23a层压有触摸面板26。在显示设备23的更里侧旋转自如地竖着设置有顾客用显示设备24。顾客用显示设备24在其显示面24a上显示信息。

另外，图1所示的顾客用显示设备24虽然将显示面24a朝向图1中的跟前侧，但是通过以显示面24a朝向图1中里侧的方式使顾客用显示设备24旋转，顾客用显示设备24朝向顾客显示信息。

长条桌子状的柜台151以与载置有POS终端11的结账台51形成为L字的方式被配置。柜台151的上表面形成有负荷接受面152。负荷接受面152载置有收纳商品G的购物筐153。购物筐153可以考虑分为由顾客带来的第一购物筐153a和载置在与第一购物筐153a隔着商品读取装置101的位置上的第二购物筐153b。

在柜台151的负荷接受面152上设置有可与POS终端11数据发送接收地连接的商品读取装置101。商品读取装置101具有薄的矩形形状的外壳102。

外壳102的正面配置有读取窗103。外壳102的上部安装有显示、操作部104。显示、操作部104设置有表面层压有触摸面板105的显示设备106。在显示设备106的右边配置有键盘107。在键盘107的右边设置有未图示的读卡器的卡读取槽108。从操作员角度看，显示、操作部104的背面靠左侧设置有用于向顾客提供信息的顾客用显示器109。

这样的商品读取装置101包括商品读取部110（参照图2）。商品读取部110在读取窗103的里侧配置有摄像部164（参照图2）。

由顾客带来的第一购物筐153a收纳有一交易所涉及的商品G。第一购物筐153a内的商品G通过操作商品读取装置101的操作员被移动到第二购物筐153b中。在该移动过程中，商品G朝向商品读取装置101的读取窗103。这时，配置在读取窗103内的摄像部164（参照图2）对商品G进行摄像。

图2是表示POS终端11及商品读取装置101的硬件构成的框图。

POS终端11包括执行信息处理的作为信息处理部的微机60。微机60由在执行各种运算处理并控制各部的CPU（CentralProcessing Unit：中央处理器）61上总线连接有ROM（Read OnlyMemory：只读存储器）62及RAM（Random Access Memory：随机存取存储器）63而构成。

上述的拉出装置21、键盘22、显示设备23、触摸面板26及顾客用显示设备24均通过各种输入输出电路（均未图示）与POS终端11的CPU61连接。

键盘22包括在上表面上显示有“1”、“2”、“3”…等的数字和“x”的乘法运算符的数字键22d、临时合计键22e及合计键22f。

POS终端11的CPU61连接有HDD（Hard Disk Drive：硬盘驱动器）64。HDD64存储有各种程序、各种文件。HDD64所存储的程序在POS终端11起动时，其全部或一部分被复制到RAM63中，并通过CPU61执行。

此外，HDD64存储有PLU文件F1等的数据文件。另外，PLU文件F1可由商品读取装置101通过后述的连接接口65读出（参照图2）并保持。

PLU文件F1是设定有在店铺内进行销售的商品G和与其商品G的销售登记等有关的信息的关联的数据文件。

图3是示意地示出PLU文件F1的数据构成的一例图。如图3所示，PLU文件F1对应每个商品G，关联登记有唯一地分配的商品ID、商品所属的商品分类、商品名、单价等与商品有关的信息、摄像了该商品的商品图像、表示关于该商品是否存在有不同销售形态的其他商品的异种销售信息。此外，PLU文件F1预先对应每个商品G关联登记有该商品的特征量。

商品图像是将商品G的各个商品作为基准商品进行了摄像的基准图像。商品图像在后述的商品候补的提示时作为表示该商品候补的图像被提示。商品图像优选使用表示该销售形态的图像，诸如对处于被剪切的状态下销售的商品（蔬菜和水果等）优选使用摄像了该剪切面的商品图像。

此外，当关于相同商品G存在有多个销售形态时，对成为基准的销售形态的商品，附加有其他销售形态的商品ID作为异种销售信息。例如，在图3中，关于相同商品“白菜”，对于以一株为单位销售的商品ID“XXXXXXX2”的商品“白菜”，登记有处于加工（剪切）成1/2的状态下销售的商品“白菜”（1/2剪切）的商品ID“XXXXXXX3”作为异种销售信息。以下，将PLU文件F1所登记的商品称为登记商品。此外，将用异种销售信息表示的登记商品称为异种销售商品。

此外，从各商品G的摄像图像（例如，商品图像）中预先抽取的该商品G的特征量与所对应的商品ID关联登记。在这里，特征量就是商品G表面的色彩、图案、凹凸状况、形状等表示商品G的特征的信息。

另外，在本实施例中，虽然关于存在有多个销售形态的相同商品G，对于成为基准的销售形态的登记商品，附加了其他销售形态的商品ID作为异种销售信息，但是不限定于此，也可以附加登记商品（异种销售商品）之间彼此相互的商品ID，作为异种销售信息。

此外，在本实施例中，虽然是作为异种销售信息采用异种销售商品的商品ID的形态，但是不限定于此，也可以采用其他信息。例如，既可以采用可指定异种销售商品的商品ID的商品名、商品图像的文件名，又可以采用该商品ID的存储位置（PLU文件F1中的存储地址）。

此外，在本实施例中，虽然是将各登记商品的商品图像存储到PLU文件F1中的形态，但是不限定于此，也可以是与所对应的商品ID关联存储在与PLU文件F1分开的数据文件中的形态。此外，在本实施例中，虽然是将各商品G的特征量预先登记在PLU文件F1中的形态，但是不限定于此，也可以是通过后述的特征量抽取部1613从各商品图像中抽取特征量的形态。此外，也可以是登记提示用图像代替商品图像的形态。

返回到图2，POS终端11的CPU61通过输入输出电路（未图示）连接有用于与存储计算机SC执行数据通信的通信接口25。存储计算机SC设置在店铺后院等。存储计算机SC的HDD（未图示）存储有发送给POS终端11的PLU文件F1等。

而且，POS终端11的CPU61连接有在与商品读取装置101之间可数据发送接收的连接接口65。连接接口65连接有商品读取装置101。此外，POS终端11的CPU61连接有在票据等上进行打字的打印机66。POS终端11在CPU61的控制下在票据上打印一交易的交易内容。

商品读取装置101具备微机160。微机160由在CPU161上总线连接有ROM162和RAM163而构成。ROM162存储有通过CPU161执行的程序。

CPU161通过各种输入输出电路（均未图示）连接有摄像部164、声音输出部165。摄像部164及声音输出部165通过CPU161控制动作。

摄像部164是彩色CCD传感器或彩色CMOS等，并是在CPU161的控制下从读取窗103进行摄像的摄像部。例如，摄像部164进行30fps的视频图像的摄像。摄像部164以规定的帧频依次摄像的帧图像（摄像图像）被保存到RAM163中。声音输出部165是用于产生预先设定的警报音等的声音电路和扬声器等。声音输出部165在CPU161的控制下进行由警报音等的声音的告知。

此外，CPU161连接有与POS终端11的连接接口65连接、在与POS终端11之间可数据发送接收的连接接口175。此外，连接接口175通过连接接口176连接有显示、操作部104，CPU161通过连接接口175，在与显示、操作部104之间进行数据发送接收。

接着，参照图4，对CPU161、CPU61通过执行程序来实现的CPU161、CPU61的功能构成进行说明。

图4是表示POS终端11及商品读取装置101的功能构成的框图。如图4所示，商品读取装置101的CPU161通过依次执行程序，具有作为图像采集部1611、商品检测部1612、特征量抽取部1613、相似度判定部1614、商品候补提示部1615、输入接受部1616及信息输出部1617的功能。

图像采集部1611向摄像部164输出摄像导通信号从而使摄像部164开始摄像动作。图像采集部1611在摄像动作开始后依次采集摄像部164摄像并保存在RAM163中的摄像图像。图像采集部1611的摄像图像的采集按RAM163所保存的顺序进行。

商品检测部1612采用公知的模式匹配技术等检测通过图像采集部1611采集到的摄像图像所包含的商品G的全部或一部分的轮廓线。接着，比较从前次的摄像图像（帧图像）中抽取的轮廓线和从这次的帧图像中抽取的轮廓线，检测出有变化的部分、即检测出朝向读取窗103的商品G的映入区域。

作为检测出商品G的其他方法，判定从摄像图像中是否检测出肤色区域，当检测出肤色区域时、即当检测出有店员的手的映入时，通过在该肤色区域的附近进行上述的轮廓线的检测，对假想店员的手正把持的商品G的轮廓抽取进行尝试。这时，当检测出有表示手的形状的轮廓和在手的轮廓附近除此之外的物体的轮廓时，从该物体的轮廓中检测出商品G的映入区域。

特征量抽取部1613从在通过图像采集部1611采集到的摄像图像中的通过商品检测部1612检测出的商品G的映入区域中，抽取所述区域的表面状态（表面的色彩、图案、凹凸状况、形状等），作为商品G的特征量。

相似度判定部1614通过比较特征量抽取部1613所抽取的特征量和POS终端11的PLU文件F1所登记的各登记商品的特征量，计算出表示两特征量的关系的相似度。此外，相似度判定部1614识别计算出的相似度成为大于等于规定阈值的登记商品（商品ID），作为通过摄像部164摄像的商品G的候补。在这里，相似度只要是比较商品G的特征量和PLU文件F1所登记的各登记商品的特征量，并表示两特征量相似哪种程度的值（相似度）就可以。另外，相似度的概念不限定于该例子，也可以是表示与PLU文件F1所登记的各登记商品的特征量的一致度的值、表示商品G的特征量和PLU文件F1所登记的各登记商品的特征量相关哪种程度的值。

如上所述，识别图像中所包含的物体的技术被称为一般物体识别（generic object recognition：一般物体识别）。关于这样的一般物体识别的技术在下述的文献中各种识别技术被说明。

柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ.48，Ｎｏ.ＳＩＧ16[平成22年8月10日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>（柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48，No.SIG16“2010年8月10日检索”，互联网＜URL：http：//mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞）

此外，通过对应每个目的物对图像进行区域分割，进行一般物体识别的技术在下述的文献中被说明。

Jamie Shottonら，“Semantic Texton Forests forImage Categorization and Segmentation”，[平成22年8月10日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>（Jamie Shottonら（杰米肖顿等人），“Semantic Texton Forests for Image Categorization andSegmentation：”，“2010年8月10日检索”，互联网＜URL：http：//citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf＞）

另外，相似度的计算方法不特别限定。例如，既可以将相似度作为绝对评价进行计算出，又可以作为相对评价进行计算出。在将相似度作为绝对评价进行计算出时，只要将所摄像的商品G的图像和各登记商品以1对1进行比较，并直接采用该比较结果导出的相似度就可以。此外，在将相似度作为相对评价进行计算出时，只要以所摄像的商品G与各登记商品的相似度的总和为1.0（100%）的方式计算出就可以。

商品候补提示部1615使与在相似度判定部1614中被识别出作为候补的登记商品有关的信息作为商品候补显示在显示设备106上。

具体地说，商品候补提示部1615判定在被识别出作为候补的登记商品中是否附加有异种销售信息。在这里，当附加有异种销售信息时，将作为异种销售信息被登记的登记商品的记录与被识别出作为候补的登记商品一起从POS终端11的PLU文件F1中读出，并显示在显示设备106上。此外，当未登记有异种销售信息时，将被识别出作为候补的登记商品的记录从POS终端11的PLU文件F1中读出，并显示在显示设备106上。

图5是表示商品候补的显示例的图。如图5所示，在显示设备106的显示画面中的商品候补提示区域A11中，按相似度高的登记商品顺序，将该商品候补的记录所包含的商品图像G1、G2与商品名一起显示。这些商品图像G1、G2具有根据对触摸面板105的触摸操作可选择的构成。此外，在商品候补提示区域A11的下部，设置有用于从商品明细中选择商品的选择按钮B11，从商品明细中选择出的商品作为后述的确定商品被处理。此外，在区域A12中显示有通过摄像部164所摄像的摄像图像。

不过，往往存在有因通过摄像部164摄像商品G的摄像方向而很难在摄像图像中识别该商品G的销售形态的情况。例如，如图5所示，当摄像了白菜的叶面（非剪切面）时，很难从摄像图像中判别是以一株为单位销售的商品还是处于1/2剪切的状态下销售的商品。这时，诸如即使将处于1/2剪切的状态下销售的商品朝向了摄像部164，也由于被识别成了以一株为单位销售的商品，所以存在有识别率降低的问题。

因而，在本实施例中，当在通过相似度判定部1614被识别为候补的登记商品中附加有异种销售信息时、即当存在有异种销售商品时，将被作为候补的商品和该异种销售商品的记录作为商品候补分别进行显示。通过这样，即使当商品G的摄像从很难识别该商品G的销售形态的方向进行了时，也由于能够让操作员选择其商品G是被识别为候补的登记商品还是所述登记商品的异种销售商品，所以能够提高便利性。

另外，商品候补的显示例并不限定于图5。例如，也可以是当在被识别出作为候补的登记商品中存在有异种销售信息时，如图6所示，使催促摄像可识别所述异种销售商品的销售形态的部位（例如，剪切面等）的信息（参照图6中的M1）显示在显示设备106上的形态。通过这样，例如，即使当对具有剪切面的商品G处于摄像非剪切面的状态时，也由于能够向操作员指示摄像剪切面的情况，所以能够谋求提高商品G的识别率。

此外，在本实施例中，虽然是根据是否附加有异种销售信息，判定在被作为候补的登记商品中是否存在有异种销售商品的形态，但是不限定于此，例如，也可以将通过特征量抽取部1613抽取的特征量用于异种销售商品的有无判定。

例如，通常切成1/2等的商品（蔬菜和水果）被包装在打包薄膜等中。因此，也可以是当在商品G的特征量中获得有表示附加在所述商品G上的包装材料的存在的信息（例如，因包装材料的原因导致的反射光的白飞（白とび）等）时，判定为在成为了该商品G的候补的登记商品中存在有异种销售商品，并与异种销售信息所表示的异种销售商品同时提示的形态。另外，当未获得有表示包装材料的存在的特征量时，即使在成为了候补的登记商品中附加有异种销售信息，也不进行用该异种销售信息所表示的异种销售商品的提示。

返回到图4，输入接受部1616通过触摸面板105或键盘107接受与显示设备106的显示对应的各种输入操作。例如，输入接受部1616接受从显示设备106所显示的商品候补中对任一商品候补的选择操作。输入接受部1616接受已选择的商品候补，作为与通过摄像部164摄像的商品G对应的商品（确定商品）。另外，也可以当商品检测部1612可检测出多个商品G时，输入接受部1616接受从商品候补中多个商品候补的选择操作。

信息输出部1617关于象上述那样的被确定的确定商品，将表示该商品的信息（例如，商品ID、商品名等）通过连接接口175输出给POS终端11。

另外，信息输出部1617也可以将通过触摸面板105或键盘107另外输入的销售个数与商品ID等一起输出给POS终端11。此外，作为信息输出部1617输出给POS终端111的信息，信息输出部1617既可以直接通知从PLU文件F1中读出的商品ID，又可以通知可指定商品ID的商品名、商品图像的文件名，还可以通知该商品ID的存储位置（在PLU文件F1中的存储地址）。

另一方面，POS终端11的CPU61通过执行程序，具有作为销售登记部611的功能。销售登记部611基于从商品读取装置101的信息输出部1617中输出的商品ID和销售个数，进行对应的商品的销售登记。具体地说，销售登记部611通过参照PLU文件F1，将已通知的商品ID及与所述商品ID对应的商品分类、商品名、单价等与销售个数同时记录在销售主文件等中，进行销售登记。

接着，对结账系统1的动作进行说明。首先，对商品读取装置101的动作进行说明。图7是表示商品读取装置101所执行的商品识别处理的次序的流程图。

如图7所示，当根据POS终端11的商品登记的开始等而开始处理时，则图像采集部1611向摄像部164输出摄像导通信号，开始摄像部164的摄像（步骤S11）。

图像采集部1611采集摄像部164摄像并保存在RAM163中的帧图像（摄像图像）（步骤S12）。接着，商品检测部1612从在步骤S12中采集到的摄像图像中进行商品G的全部或一部分的检测（步骤S13）。特征量抽取部1613从在步骤S12中采集到的摄像图像中抽取在步骤S13中检测出的商品G的特征量（步骤S14）。

相似度判定部1614计算出在步骤S14中已抽取的特征量和POS终端11的PLU文件F1所登记的各登记商品的特征量的相似度（步骤S15）。接着，相似度判定部1614判定在通过步骤S15计算出相似度的登记商品中，是否存在有与在步骤S14中已抽取的特征量的相似度成为大于等于阈值的登记商品（步骤S16）。

当在步骤S16中判定为存在有相似度大于等于阈值的登记商品时（步骤S16的是），特征量抽取部1613识别该登记商品作为通过摄像部164摄像的商品G的候补，并过渡到步骤S17。另外，当不存在有相似度成为大于等于阈值的登记商品时（步骤S16的否），再返回到步骤S12。

在接续的步骤S17中，商品候补提示部1615基于是否在通过步骤S16被识别出作为候补的登记商品中附加有异种销售信息，判定在所述登记商品中是否存在有销售形态不同的异种销售商品（步骤S17）。另外，当将在特征量抽取部1613中已抽取的特征量、在相似度判定部1614中的比较结果用于异种销售商品的有无判定时，商品候补提示部1615在上述步骤S17中进行该判定。

在这里，当判定出存在有异种销售商品时（步骤S17的是），商品候补提示部1615从POS终端11的PLU文件F1中读出与在步骤S16中被识别出作为候补的登记商品和附加在该登记信息上的异种销售信息所表示的登记商品对应的记录，作为商品候补显示在显示设备106上（步骤S18）。此外，当判定出不存在有异种销售商品时（步骤S17的否），商品候补提示部1615从POS终端11的PLU文件F1中读出在步骤S16中识别出作为候补的登记商品的记录，作为商品候补显示在显示设备106上（步骤S19）。另外，也可以当不存在有异种销售商品时（步骤S17的否），跳过步骤S19的处理，输出相似度最高的一商品候补。

接着，输入接受部1616判定是否通过触摸面板105或键盘107接受了商品候补的选择（步骤S20）。在这里，当接受了选择操作时（步骤S20的是），输入接受部1616接受已选择的商品候补，作为与通过摄像部164摄像的商品G对应的确定商品，并过渡到步骤S21。另一方面，当未接受选择时（步骤S20的否），再返回到步骤S12。

接着，信息输出部1617关于在步骤S20中已选择的确定商品，将表示该商品的商品ID等的信息通过连接接口175输出给POS终端11（步骤S21），并过渡到步骤S22。

在这里，当通过触摸面板105或键盘107另外输入有销售个数时，在步骤S21中将该销售个数与表示确定商品的信息一起输出给POS终端11。另外，也可以是当未进行销售个数的输入时，作为默认值输出销售个数“1”的形态。

在步骤S22中，CPU161判定从POS终端11中有无商品登记的结束通知等的业务结束（步骤S22）。在这里，当继续业务时（步骤S22的否），CPU161返回到步骤S12的处理并继续处理。此外，当结束业务时（步骤S22的是），图像采集部1611通过向摄像部164输出摄像截止信号，结束摄像部164的摄像（步骤S23），结束处理。

接着，对POS终端11的处理动作进行说明。图8是表示POS终端11所执行的销售登记处理的次序的流程图。

首先，当根据键盘22的操作指示开始商品登记等而开始处理时，则CPU61接收在图7的步骤S21中输出的确定商品的商品ID和其销售个数（步骤S31）。接着，销售登记部611基于在步骤S31中接收到的商品ID及销售个数，从PLU文件F1中读出商品类别、单价等，将通过商品读取装置101已读取的商品G的销售额登记在销售主文件中（步骤S32）。

接着，CPU61判定有无根据键盘22的操作指令的销售登记的结束等的业务结束（步骤S33）。当继续业务时（步骤S33的否），CPU61再返回到步骤S31的处理并继续处理。当结束业务时（步骤S33的是），CPU61结束处理。

如以上所述，根据本实施例，当在被作为商品G的候补的登记商品中存在有销售形态不同的异种销售商品时，将与异种销售商品有关的信息和与该登记商品有关的信息同时作为商品候补可选择地提示。通过这样，例如，即使在相同商品G以一株为单位和处于被切成1/2等的状态下销售的情况下，也由于当被识别为一株为单位的商品G时能够使被切成1/2等的商品G（异种销售商品）作为商品候补进行选择，所以能够提高操作员的便利性，而且，能够高效地进行异种销售商品的识别。另外，在本实施例中，虽然作为被加工的商品的例子，主要用1/2剪切来进行了说明，但是也可以是1/4（四分之一）剪切等尺寸不同的例子。

以上，虽然对本发明的实施例进行了说明，但是上述实施例是作为例子提出的，并不意图限定发明的范围。上述实施例可以用其他各种形态来实施，只要在不脱离发明的要旨的范围内可以进行各种省略、替换、变更、追加。此外，上述实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

例如，在上述实施例中，虽然是POS终端11具备PLU文件F1的形态，但是不限定于此，也可以是商品读取装置101具备PLU文件F1的一部分或全部的形态。

此外，在上述实施例中，虽然是在商品读取装置101中进行商品候补的识别的形态，但是也可以是通过POS终端11具备商品读取装置101的功能部，在POS终端11中进行识别的形态。这时，商品读取装置101具有作为摄像装置的功能，POS终端11基于从商品读取装置101发送的摄像图像（帧图像），进行商品候补的识别、确定。

此外，在上述实施例中，虽然对采用了固定式扫描仪装置（商品读取装置101）的例子进行了说明，但是不限于此，也可以是所谓的手持扫描仪装置与POS终端11连接的形态。

此外，在上述实施例中，虽然在由POS终端11和商品读取装置101构成的结账系统1中的商品读取装置101中应用了本发明的实施例，但是并不限定于此，也可以应用于具备POS终端11及商品读取装置101的功能的一体构成的装置或者诸如用有线或无线连接图1所示的商品读取装置101及POS终端11而构成的结账系统。作为具备POS终端11及商品读取装置101的功能的一体构成的装置，列举有设置在超市等的店铺中使用的自助结账装置（以下，仅称为自助POS）。

在这里，图9是表示自助POS200的外观构成的立体图、图10是表示自助POS200的硬件构成的框图。此外，以下对图1及图2所示的同样构成附加相同符号示出并省略其重复的说明。

如图9及图10所示，自助POS200的主体202包括在表面上配置有触摸面板105的显示设备106、为了识别（检测）商品的类别等而读取商品图像的商品读取部110。

作为显示设备106诸如使用有液晶显示器。显示设备106显示用于使顾客知道自助POS200的操作方法的引导画面、各种的输入画面、显示商品读取部110所读入的商品信息的登记画面以及显示商品的合计金额、预存金额、找零金额等并进行选择支付方法的结账画面等。

商品读取部110是通过顾客向商品读取部110的读取窗103对准附在商品上的码符号，通过摄像部164读取商品图像的部。

此外，在主体202的右侧设置有用于放置装进筐中的未结账的商品的商品载置台203，在主体202的左侧设置有用于放置已结账的商品的商品载置台204，并设置有挂用于装入已结账的商品的袋用的袋挂钩205、在装袋之前临时放置已结账商品用的临时载置台206。商品载置台203及204分别具备计量器207、208，并具有确认在结账前后商品的重量为相同的情况的功能。

此外，自助POS200的主体202设置有用于进行结账用的纸币的存入、找零纸币的领取的找零器201。

当向这样构成的自助POS200应用了本发明的实施例时，自助POS200能够具有作为信息处理装置的功能。另外，具备POS终端11和商品读取装置101的功能的一体构成的装置不限于上述构成的自助POS200，也可以是去掉计量器207及208而构成的装置。

另外，虽然在上述实施例的各装置中执行的程序被预先安装在各装置所具备的存储介质（ROM或存储部）中而提供，但是不限于此，也可以以可安装形式或可执行形式的文件记录在CD-ROM、软磁盘（FD）、CD-R、DVD（Digital Versatile Disk：数字多功能磁盘）等计算机可读存储介质中而提供。而且，存储介质不限于与计算机或嵌入系统独立的介质，也包含下载通过LAN、网络等传输的程序而存储或暂时存储的存储介质。

此外，也可以将在上述实施例的各装置中执行的程序存储到与互联网等的网络连接的计算机上，通过经由网络下载而提供，此外，也可以经由互联网等的网络提供或配置。

此外，也可以是将上述实施例的程序安装在具有通信功能的便携电话、智能手机、PDA（Personal Digital Assistant：个人数字助理）等的便携信息终端中从而实现其功能的形态。

附图标记说明

1 结账系统 11 POS终端

611 销售登记部 101 商品读取装置

1611 图像采集部 1612 商品检测部

1613 特征量抽取部 1614 相似度判定部

1615 商品候补提示部 1616 输入接受部

1617 信息输出部 F1 PLU文件

Claims

1.一种信息处理装置，包括：

摄像部，对商品进行摄像；

抽取部，抽取所述摄像部所摄像的图像所包含的商品的特征量；

识别部，通过比较所述抽取部所抽取的第一特征量和成为基准的各基准商品的第二特征量，计算出表示所述第一特征量及所述第二特征量的关系的值，识别计算出的相似度大于等于阈值的基准商品，作为所述商品的候补；

判定部，判定所述识别部识别成候补的基准商品是否存在有以不同的形式销售的异种销售商品；以及

输出部，当所述判定部判定出存在有所述异种销售商品时，将所述异种销售商品也作为所述商品的候补，并可选择地输出与所述识别部识别成候补的基准商品和所述基准商品的异种销售商品有关的信息，而且，输出促使摄像能够识别所述异种销售商品的销售形式的部位的信息。

2.根据权利要求1所述的信息处理装置，其中，

所述判定部基于数据，判定在所述识别部识别成候补的基准商品中是否存在有异种销售商品，所述数据是关于相同基准商品，相对于以指定销售形式销售的基准商品将以除所述销售形式以外的其他销售形式销售的基准商品作为异种销售商品关联的数据。

3.根据权利要求2所述的信息处理装置，其中，

以所述指定销售形式销售的基准商品是以一株为单位销售的商品，以所述其他销售形式销售的基准商品是所述一株为单位的基准商品被加工了的商品。

4.根据权利要求1至3中任一项所述的信息处理装置，其中，

所述判定部当在通过所述抽取部抽取的特征量中包含有表示附加在所述商品上的规定的附加物的存在的信息时，判定存在有所述异种销售商品。

5.一种信息处理装置的控制方法，所述信息处理装置包括对商品进行摄像的摄像部，所述控制方法包括以下步骤：

采集步骤，采集所述摄像部所摄像的图像；

抽取步骤，抽取所述摄像图像所包含的商品的特征量；

识别步骤，通过比较所述抽取步骤所抽取的第一特征量和成为基准的各基准商品的第二特征量，计算出表示所述第一特征量及所述第二特征量的关系的值，识别计算出的相似度大于等于阈值的基准商品，作为所述商品的候补；

判定步骤，判定通过所述识别步骤识别成候补的基准商品是否存在有以不同形式销售的异种销售商品；以及

输出步骤，当判定出存在有所述异种销售商品时，将所述异种销售商品也作为所述商品的候补，并可选择地输出与通过所述识别步骤识别成候补的基准商品和所述基准商品的异种销售商品有关的信息，而且，输出促使摄像能够识别所述异种销售商品的销售形式的部位的信息。

6.根据权利要求5所述的控制方法，其中，

在所述判定步骤中，基于数据，判定在所述识别步骤识别成候补的基准商品中是否存在有异种销售商品，所述数据是关于相同基准商品，相对于以指定销售形式销售的基准商品将以除所述销售形式以外的其他销售形式销售的基准商品作为异种销售商品关联的数据。

7.根据权利要求6所述的控制方法，其中，

8.根据权利要求5至7中任一项所述的控制方法，其中，

在所述判定步骤中，当在通过所述抽取步骤抽取的特征量中包含有表示附加在所述商品上的规定的附加物的存在的信息时，判定存在有所述异种销售商品。