CN103985203B - 信息处理装置及其控制方法 - Google Patents

Abstract

本发明公开一种信息处理装置及其控制方法，其能够在进行商品的识别的信息处理装置中进行污垢的检测及告知，该信息处理装置包括：摄像部，用于摄像商品；抽取部，从所述摄像部所摄像的摄像图像中抽取成为拍摄对象的商品的特征量；计算部，对各个基准商品的特征量和所述抽取部所抽取的商品的特征量进行比较，计算出其相似度；识别部，将通过所述计算部计算出的相似度成为大于等于规定值的基准商品，识别为所述商品的候选；检测部，从所述摄像部所摄像的多个摄像图像中，检测出所述摄像图像内所存在的静态的对象；以及告知部，当所述检测部在规定时间连续检测出所述对象时，告知检测出污垢。

Description

信息处理装置及其控制方法

本申请主张申请日为2013年2月7日、申请号为JP2013-022530的日本申请为优先权，并引用上述申请的内容。

技术领域

本发明涉及一种信息处理装置及其控制方法。

背景技术

近年来，在店铺等中，使用有通过扫描器读取附加在商品上的条形码等的码符号的码读取装置。在所涉及的码读取装置中，当在扫描器的读取面上附着有污垢时则变得妨碍读取动作。因此，目前提案有这样的技术，当在扫描范围内附着有垃圾时，告知该情况。

此外，近来，有这样的对象识别装置，通过从摄像了商品的图像数据中抽取所述商品的特征量，并与预先准备的核对用的特征量进行比较从而识别（辨别）商品的种类等。不过，即使在对象识别装置中，当在摄像装置的摄像面上附着有垃圾时，也由于有所取得的特征量的精度降低的可能性，所以成为误识别的原因。因此，即使在对象识别装置中，也期望有当附着有污垢时告知其情况的技术。不过，在上述的现有技术中，因构成、读取（摄像）对象有差异等，所以不能直接适用于对象识别装置。

发明内容

鉴于上述问题，本发明的目的在于提供一种信息处理装置及其控制方法，其能够进行污垢的检测及告知。

本发明第一方面涉及的信息处理装置，包括：摄像部、抽取部、计算部、识别部、检测部、以及告知部。摄像部用于摄像商品。抽取部，从所述摄像部所摄像的摄像图像中抽取成为拍摄对象的商品的特征量。计算部，对各个基准商品的特征量和所述抽取部所抽取的商品的特征量进行比较，计算出其相似度。识别部，将通过所述计算部计算出的相似度成为大于等于规定值的基准商品，识别为所述商品的候选。检测部，从所述摄像部所摄像的多个摄像图像中，检测出所述摄像图像内所存在的静态的对象。告知部，当所述检测部在规定时间连续检测出所述对象时，告知检测出污垢。

本发明另一方面所涉及的用于控制信息处理装置的控制方法，包括以下步骤：摄像步骤，摄像商品；抽取步骤，从在所述摄像步骤中所摄像的摄像图像中抽取成为拍摄对象的商品的特征量；计算步骤，对各个基准商品的特征量和在所述抽取步骤中所抽取的商品的特征量进行比较，计算出其相似度；识别步骤，将通过所述计算步骤计算出的相似度成为大于等于规定值的基准商品，识别为所述商品的候选；检测步骤，从通过所述摄像步骤所摄像的多个摄像图像中，检测出所述摄像图像内所存在的静态的对象；以及告知步骤，当通过所述检测步骤在规定时间连续检测出所述对象时，告知检测出污垢。

附图说明

下面，参照附图对本发明所涉及的信息处理装置及其控制方法进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1是表示实施例所涉及的结账系统的外观构成的立体图；

图2是表示图1所示的POS终端及商品读取装置的硬件构成的框图；

图3是示意地表示图2所示的PLU文件的数据构成的一例的图；

图4是表示图1所示的POS终端及商品读取装置的功能构成的框图；

图5是表示商品读取装置的显示装置所显示的商品候选的显示例的示意图；

图6是用于对图4所示的第二检测部的动作进行说明的示意图；

图7是用于对图4所示的第二检测部的动作进行说明的示意图；

图8是表示图4所示的告知部所显示的告知画面的一例的示意图；

图9是表示图4所示的告知部所显示的告知画面的另一例的示意图；

图10是表示商品读取装置所执行的商品识别处理的次序的流程图；

图11是表示POS终端所执行的销售登记处理的次序的流程图；

图12是表示商品读取装置所执行的污垢检测处理的次序的流程图；

图13是表示实施例所涉及的自助POS的构成的立体图；以及

图14是表示图13所示的自助POS的硬件构成的框图。

附图标记说明

具体实施方式

下面，参照附图，以结账系统为例对本实施例所涉及的信息处理装置及其控制方法进行说明。店铺系统是具有进行一交易所涉及的商品的登记、对账的POS终端的结账系统（POS系统）等。本实施例是向引进到超市等的店铺中的结账系统的应用例。

图1是表示结账系统1的外观构成的立体图。如图1所示，结账系统1具有POS终端11、作为信息处理装置的商品读取装置101。

POS终端11载置在结账台51上的拉出装置21上表面上。拉出装置21通过POS终端11控制打开动作。通过店员等操作员进行按下操作的键盘22配置在POS终端11的上表面上。从操作键盘22的操作员角度看，在键盘22的里侧设置有朝向操作员显示信息的显示装置23。显示装置23在其显示面23a上显示信息。触摸面板26被层压在显示面23a上。顾客用显示装置24旋转自如地竖着设置在显示装置23的更里侧。顾客用显示装置24在其显示面24a上显示信息。

另外，图1所示的顾客用显示装置24虽然为将显示面24a朝向图1中跟前侧的状态，但是通过以显示面24a朝向图1中里侧的方式使顾客用显示装置24旋转，顾客用显示装置24朝向顾客显示信息。

长方形桌子状的柜台151以与载置有POS终端11的结账台51形成为L字的方式被配置。在柜台151的上表面上形成有负荷接受面152。负荷接受面152载置有收纳商品G的购物筐153。购物筐153可以考虑划分成通过顾客带来的第一购物筐153a、载置在从第一购物筐153a隔着商品读取装置101的位置上的第二购物筐153b。

柜台151的负荷接受面152设置有可与POS终端11数据发送接收地连接的商品读取装置101。商品读取装置101具有薄的矩形形状的外壳102。

在外壳102的正表面上配置有读取窗103。读取窗103嵌入有透光性保护玻璃103a。在外壳102的上部安装有显示、操作部104。显示、操作部104设置有显示装置106，并在显示装置106的表面上层压有触摸面板105。在显示装置106的右边配设有键盘107。在键盘107的右边设置有未图示的读卡器的卡读取槽108。从操作员的角度看，在显示、操作部104的背面靠左侧设置有用于向顾客提供信息的顾客用显示装置109。

通过顾客带来的第一购物筐153a收纳有一交易所涉及的商品G。第一购物筐153a内的商品G通过操作商品读取装置101的操作员被移动到第二购物筐153b。在该移动过程中，商品G被朝向商品读取装置101的读取窗103。这时，配置在读取窗103内的摄像部164（参照图2）通过保护玻璃103a对商品G进行摄像。

图2是表示POS终端11及商品读取装置101的硬件构成的框图。

POS终端11具有作为执行信息处理的信息处理部的微机60。微机60具有执行各种运算处理并控制各部的CPU（Central Processing Unit：中央处理器）61、ROM（Read OnlyMemory：只读存储器）62、以及RAM（Random Access Memory：随机存取存储器）63。ROM62存储CPU61所执行的程序。

拉出装置21、键盘22、显示装置23、顾客用显示装置24、通信接口25及触摸面板26均通过各种输入输出电路（均未图示）与POS终端11的CPU61连接。

键盘22包括在上表面显示有“1”、“2”、“3”……等数字和“×”的乘法的运算子的0～9数字键（置数键）22d、临时合计键22e及合计键22f。

HDD64存储各种程序、各种文件。CPU61在POS终端11的起动时等，将HDD64所存储的程序的全部或一部分复制到RAM63中并进行执行。

HDD64存储PLU文件F1等的数据文件。PLU文件F1可由商品读取装置101通过连接接口65读出。

PLU文件F1是设定有在店铺内销售的商品G和与该商品G的销售登记等有关的信息的关联的数据文件。图3是示意地表示PLU文件F1的数据构成的一例图。如图3所示，PLU文件F1关联登记有对应每个商品G唯一地分配的商品ID、商品G所属的商品分类、商品名、单价等的与商品有关的信息及摄像了该商品G的商品图像。此外，PLU文件F1预先对应每个商品G关联登记（存储）有所述商品的特征量（基准商品的特征量数据）。

商品图像是摄像了在后述的相似度判定时被作为比较对象的基准商品的各个商品的图像。商品图像在后述的商品候选的提示时作为表示所述商品候选的图像被提示。此外，从各商品G的摄像图像（例如，商品图像）中预先抽取出的所述商品G的特征量与对应的商品ID关联登记。在这里，特征量就是诸如商品G表面的色彩、图案、凹凸状况、形状等表示商品G的特征的信息。

在本实施例中，虽然是将各商品G的特征量预先登记在PLU文件F1的形式，但是并不限定于此，也可以是通过后述的特征量抽取部1613从各商品图像中抽取有特征量的形式。此外，也可以是登记提示用的图像替代商品图像的形式。以下，将PLU文件F1所登记的各商品称为登记商品。

返回到图2，POS终端11的CPU61通过输入输出电路（未图示）连接有用于与存储计算机SC执行数据通信的通信接口25。存储计算机SC被设置在店铺的后院等。存储计算机SC的HDD（未图示）存储发送给POS终端11的PLU文件F1、以及用于对登记在PLU文件F1中的各登记商品的库存状态进行管理的库存管理文件等。

连接接口65可在与商品读取装置101之间进行数据发送接收。连接接口65连接有商品读取装置101。此外，打印机66在票据等上进行打字。POS终端11在CPU61的控制下，通过打印机66将一交易的交易内容打印在票据上。

商品读取装置101具有商品读取部110、以及显示、操作部104。商品读取部110具有微机160。微机160具有CPU161、ROM162、RAM163。ROM162存储CPU161所执行的程序。

CPU161通过各种输入输出电路（均未图示）连接有摄像部164、语音输出部165及连接接口175。摄像部164、语音输出部165及连接接口175通过CPU161来控制动作。

摄像部164是彩色CCD传感器或彩色CMOS传感器等，并是从读取窗103进行摄像的摄像部。例如，摄像部164进行30fps的视频摄像。摄像部164以规定的帧频依次摄像了的帧图像（摄像图像）被保存在RAM163中。另外，摄像图像的背景优选通过调整摄像部164的曝光、未图示的背光等视为其大致单一颜色（例如，黑色）。通过这样，能够更鲜明地摄像对准读取窗103的商品G。

语音输出部165是用于产生预先设定的警告音等的语音电路、扬声器等。语音输出部165在CPU161的控制下进行警告音等的语音的告知。

显示、操作部104包括触摸面板105、显示装置106、键盘107、顾客用显示装置109、以及连接接口176。商品读取部110的连接接口175与POS终端11的连接接口65连接、并可在与POS终端11之间发送接收数据。连接接口175通过连接接口176与显示、操作部104连接，CPU161通过连接接口175在商品读取部110和显示、操作部104之间进行数据发送接收。

接着，参照图4，对CPU161、CPU61通过执行程序实现的CPU161、CPU61的功能构成进行说明。

图4是表示POS终端11及商品读取装置101的功能构成的框图。如图4所示，商品读取装置101的CPU161通过依次执行程序，具有作为图像采集部1611、第一检测部1612、特征量抽取部1613、相似度判定部1614、商品候选提示部1615、输入接受部1616、信息输出部1617、第二检测部1618及告知部1619的功能。

图像采集部1611向摄像部164输出摄像导通信号从而使摄像部164开始摄像动作。图像采集部1611在摄像动作开始后依次采集摄像部164摄像并保存在RAM163中的摄像图像。图像采集部1611的摄像图像的采集按照RAM163所保存的顺序进行。

第一检测部1612采用公知的模式匹配技术等检测出通过图像采集部1611采集到的摄像图像所包含的商品G的全部或一部分的轮廓线。接着，对从前次的摄像图像（帧图像）中抽取出的轮廓线和从此次的摄像图像中抽取出的轮廓线进行比较，检测出有变化的部分、即检测出朝向读取窗103的商品G的映入区域。

作为检测出商品G的其他方法，判定是否从摄像图像中检测出有皮肤区域，当检测出有皮肤区域时、即当检测出有店员的手的映入时，通过在该皮肤区域的附近进行检测出上述的轮廓线，从而对假想店员的手正把持的商品G的轮廓抽取进行尝试。这时，当检测出有表示手的形状的轮廓和在手的轮廓附近除此之外的物体的轮廓时，从该物体的轮廓中检测出商品G。

特征量抽取部（抽取部）1613从通过图像采集部1611采集到的摄像图像中，抽取在第一检测部1612中检测出的商品G的表面状态（表面的色彩、图案、凸凹状况、形状等），作为特征量。

相似度判定部（计算部）1614对POS终端11的PLU文件F1所登记的各登记商品的品种的特征量和在特征量抽取部1613中已抽取的特征量进行比较。此外，作为其比较的结果，相似度判定部1614从PLU文件F1中指定相似度成为大于等于规定阈值的登记商品（商品ID），所述相似度是表示特征量相似到哪种程度的数据。

更详细地说，相似度判定部1614从PLU文件F1中依次读出各登记商品（商品ID）的特征量，并通过与摄像图像中所包含的商品G的特征量进行比较，分别计算出与各登记商品的相似度。而且，相似度判定部（识别部）1614将相似度成为大于等于规定阈值的登记商品（商品ID）识别为通过摄像部164已摄像的商品G的候选。在这里，相似度只要是对商品G的特征量和PLU文件F1所登记的各登记商品的特征量进行比较，并示出两特征量相似到哪种程度的值（相似度）就可以。另外，相似度的概念并不限定于该例子，也可以是表示与PLU文件F1所登记的各登记商品的特征量的一致度的值、表示商品G的特征量和PLU文件F1所登记的各登记商品的特征量相关哪种程度的值。

象上述那样，识别在图像中所包含的物体的技术被称为一般物体识别（genericobject recognition：一般物体识别）。关于这样的一般物体识别的技术在下述的文献中各种识别技术被说明。

柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖol.48，Ｎo.ＳＩＧ16[平成22年8月10日検索]，インタ—ネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>（柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48，No.SIG16“平成22年8月10日检索”，互联网＜URL：http：//mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞）

此外，通过对应每个物品（对象）对图像进行区域分割，进行一般物体识别的技术在下列的文献中被说明。

Jamie Shotton ら，“Semantic Texton Forests for Image Categorizationand Segmentation”，[平成22年8月10日検索]，インタ—ネット<URL：http：//citeseerx.ist.psu.edu/viewdoc/down load？do i＝10.1.1.145.3036&rep＝rep1&type＝pdf>（Jamie Shottonら（杰米肖顿等人），“Semantic Texton Forests for ImageCategorization and Segmentation：”，“平成22年8月10日检索”，互联网＜URL：http：//citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf＞）

另外，相似度的计算方法尤其不限。例如，将相似度既可以作为绝对评价计算出，又可以作为相对评价计算出。当将相似度作为绝对评价计算出时，只要将已摄像的商品G的图像和登记商品一对一进行比较并直接采用该比较的结果导出的相似度就可以。此外，当将相似度作为相对评价计算出时，只要以已摄像的商品G和各登记商品的相似度的总和作为1.0（100%）的方式计算出就可以。此外，当未存在有相似度为大于等于规定阈值的登记商品时，相似度判定部1614与商品候选提示部1615协作，采用后述的商品明细等在显示装置106上显示用手动选择商品的旨意的信息。

商品候选提示部1615将与通过相似度判定部1614被识别作为候选的登记商品有关的信息作为商品候选显示在显示装置106上。更详细地说，商品候选提示部1615从POS终端11的PLU文件F1中读出被识别为候选的登记商品的记录，并显示在显示装置106上。

图5是表示商品候选的显示例的图。如图5所示，在显示装置106的显示画面中，在商品候选提示区域A11按照登记商品的相似度从高到低的顺序，将所述商品候选的记录所包含的商品图像G11、G12与商品名一起显示。这些商品图像G11、G12为根据对触摸面板105的触摸操作可选择的构成。此外，在商品候选提示区域A11的下部，设置有用于从商品明细中选择商品的选择按钮B1。从商品明细中已选择的商品被作为后述的确定商品来处理。此外，在区域A12显示有通过摄像部164已摄像的摄像图像。另外，在图5中，虽然示出了提示两个商品候选的例子，但是商品候选的显示方法和个数并不限定于此。

返回到图4，输入接受部1616通过触摸面板105或键盘107接受与显示装置106的显示对应的各种输入操作。例如，输入接受部1616接受对从显示装置106所显示的商品候选中任意一个商品候选的选择操作。输入接受部1616接受已选择的商品候选，作为与通过摄像部164已摄像的商品G对应的商品（确定商品）。另外，当第一检测部1612可检测出多个商品G时，输入接受部1616也可以接受从商品候选中选择多个商品候选的操作。

信息输出部1617对如上所述那样已确定的确定商品，将表示所述商品的信息（例如，商品ID、商品名等）通过连接接口175输出给POS终端11。

另外，信息输出部1617也可以将通过触摸面板105或键盘107另外输入的销售个数与商品ID等一起输出给POS终端11。此外，作为信息输出部1617输出给POS终端11的信息，信息输出部1617既可以直接通知从PLU文件F1中读出的商品ID，又可以通知可指定商品ID的商品名、商品图像的文件名，还可以通知所述商品ID的存储地方（PLU文件F1中的存储地址）。

第二检测部（检测部）1618从通过摄像部164已摄像的摄像图像中，检测出保护玻璃103a所附着的污垢。更详细地说，第二检测部1618从在时间上进行连续的多个摄像图像中，检测出静态的部位（以下，称为静态对象）。

在这里，图6及图7是用于对第二检测部1618的动作进行说明的图，并示出通过图像采集部1611采集到的摄像图像G2的一例。当在保护玻璃103a上附着有污垢时，则如图6所示，在摄像部164所摄像的摄像图像G2中就会包含有表示该污垢的图像G21。另外，图6示出商品G处于未对准读取窗103的状态。

当在图6的状态中，商品G被对准读取窗103时，则如图7所示，在摄像部164所摄像的摄像图像G2内包含有商品G的被拍摄图像G22。此外，在这时，由于保护玻璃103a的污垢位置未变化，所以就会在与图6相同位置上存在有图像G21。

如图6及图7所示，在第二检测部1618中，通过对通过图像采集部1611依次采集到的摄像图像G2进行比较，检测出在摄像图像G2内的各部（像素）的运动矢量。而且，第二检测部1618从多个摄像图像中，检测出运动矢量大致为零即大致同一位置且大致同一形状的像素组（图像G21），作为静态对象。

返回到图4，告知部（对应权利要求中的告知部）1619当第二检测部1618在规定时间连续检测出静态对象时，判定该静态对象为附着在保护玻璃103a上的污垢。而且，告知部1619通过采用显示装置106、语音输出部165，将已检测出污垢的情况告知给店员。另外，在本实施例中，“污垢”就是除附着在保护玻璃103a上的垃圾、指纹等之外，还包含在保护玻璃103a上产生的伤痕的概念。

污垢判定所用的规定时间优选与在相似度判定部1614中的识别所需要的时间相比长的时间（例如，10分钟等）。此外，污垢判定所用的规定时间既可以为连续的时间，又可以为离散时间的累计值。例如，在最开始的摄像部164的摄像动作时，第一时间检测出静态对象，之后视为停止了摄像动作。而且，在接着的摄像动作时视为第二时间检测出静态对象。这时，也可以当第一时间和第二时间的合计时间超过了规定时间时，判定为检测出污垢。

图8是表示告知部1619所显示的告知画面的一例图。在图8中，示出在图5中已说明的画面内，将告知检测出污垢的信息作为告知图像G31显示了的例子。另外，显示告知图像G31的位置和信息的内容并不限定于图8的例子。

此外，根据在第二检测部1618中的检测结果，能够指定在摄像图像内的哪个位置存在有污垢（静态对象），所以也可以是告知该存在位置的形式。具体地说，污垢的存在位置可以指定作为构成摄像图像的像素内的像素位置。因此，通过指示该像素位置，能够告知污垢所存在的位置。

图9是表示告知画面的其他例子图。图9示出在图5中已说明的画面内显示上述的告知图像G31，而且在摄像图像内的污垢的存在位置显示了标记图像G32的例子。这样，通过告知污垢的存在位置，店员能够容易掌握污垢的存在位置，所以能够提高除去污垢的便利性。

另外，摄像部164的摄像方向由于与从店员观察读取窗103时的视线方向相反，所以摄像图像中所示的污垢的存在位置与从店员观察的实际的存在位置在左右方向（水平方向）上相反。因此，也可以是将在左右方向上镜像翻转的摄像图像显示在区域A12中，用标记图像G32告知在所述摄像图像中的污垢的存在位置的形式。此外，告知污垢的存在位置的方法并不限定于标记图像G32，也可以是用显示、语音告知诸如在保护玻璃103a的右上方存在有污垢等指示了污垢的存在位置的信息的形式。

不过，当在保护玻璃103a上附着有污垢时，则有通过特征量抽取部1613抽取的特征量的精度下降的可能性，所以成为误识别的原因。因而，也可以是在告知部1619告知了检测出污垢的期间，抑制商品G的认证动作的形式。具体地说，在告知部1619告知了检测出污垢的期间，通过抑制特征量抽取部1613的功能，从而抑制商品G的认证动作。

此外，作为其他例子，告知部1619对第一检测部1612检测出的摄像图像内的商品G的映入区域和在摄像区域内的污垢的存在位置进行比较，判定其包含关系。而且，告知部1619当判定出污垢的存在位置被包含在商品G的映入区域中时，通过抑制特征量抽取部1613的功能从而抑制商品G的认证动作。

通过这样，由于在保护玻璃103a上附着有污垢的期间，能够抑制商品G的认证动作，所以能够防止因该污垢导致的误识别的情况发生。

返回到图4，POS终端11的CPU61通过执行程序具有作为销售登记部611的功能。销售登记部611基于从商品读取装置101的信息输出部1617中输出的商品ID和销售个数，进行对应的商品的销售登记。具体地说，销售登记部611通过参照PLU文件F1，将与已通知的商品ID及与所述商品ID对应的商品分类、商品名、单价等与销售个数一起记录在销售主文件等中从而进行销售登记。

以下，对结账系统1的动作进行说明。首先，对商品读取装置101所进行的商品G的识别所涉及的动作，进行说明。图10是表示商品读取装置101所执行的商品识别处理的次序的流程图。

如图10所示，当根据POS终端11开始商品登记等而开始处理时，则图像采集部1611向摄像部164输出摄像导通信号，从而开始摄像部164的摄像（步骤S11）。

图像采集部1611采集摄像部164摄像并被保存在RAM163中的帧图像（摄像图像）（步骤S12）。接着，第一检测部1612从在步骤S12中采集到的摄像图像中进行商品G的全部或一部分的检测（步骤S13）。特征量抽取部1613从在步骤S12中采集到的摄像图像中，抽取在步骤S13中检测出的商品G的特征量（步骤S14）。

接着，相似度判定部1614对在步骤S14中已抽取的特征量和PLU文件F1所登记的各登记商品的特征量进行比较，分别计算出相似度（步骤S15）。接着，相似度判定部1614判定在通过步骤S15计算出相似度的登记商品中，是否存在有与在步骤S14中已抽取的特征量的相似度成为大于等于阈值的登记商品（步骤S16）。

当在步骤S16中，判定出存在有相似度为大于等于阈值的登记商品时（步骤S16的是），特征量抽取部1613将该登记商品识别作为通过摄像部164已摄像的商品G的候选，并转移到步骤S17。另外，当判定出未存在有相似度为大于等于阈值的登记商品时（步骤S16的否），返回到步骤S12。

接着，商品候选提示部1615从POS终端11的PLU文件F1中读出在步骤S16中已被识别为候选的登记商品的记录，并作为商品候选显示在显示装置106上（步骤S17）。

接着，输入接受部1616判定是否通过触摸面板105或键盘107接受了商品候选的选择（步骤S18）。在这里，当接受了选择操作时（步骤S18的是），输入接受部1616接受已选择的商品候选，作为与通过摄像部164已摄像的商品G对应的确定商品，并转移到步骤S19。另一方面，当未接受选择时（步骤S18的否），返回到步骤S12。

接着，信息输出部1617对已选择的确定商品，将表示所述商品的商品ID等的信息通过连接接口175输出给POS终端11（步骤S19），并转移到步骤S20。

在这里，当通过触摸面板105或键盘107另外输入有销售个数时，在步骤S19中将该销售个数与表示确定商品的信息一起输出给POS终端11。另外，也可以是当未进行输入销售个数时，作为默认值输出销售个数“1”的形式。

在步骤S20中，CPU161判定有无来自POS终端11结束商品登记的通知等的工作结束（步骤S20）。在这里，当继续工作时（步骤S20的否），CPU161返回到步骤S12的处理并继续处理。此外，当结束工作时（步骤S20的是），图像采集部1611通过向摄像部164输出摄像截至信号，结束摄像部164的摄像（步骤S21），结束处理。

接着，对POS终端11的处理动作进行说明。图11是表示POS终端11所执行的销售登记处理的次序的流程图。

首先，当根据通过操作键盘22的指示开始商品登记等而开始处理时，则CPU61接收商品读取装置101在图10的步骤S19中已输出的确定商品的商品ID和其销售个数（步骤S31）。接着，销售登记部611基于在步骤S31中接收到的商品ID及销售个数，从PLU文件F1中读出商品种类、单价等，并将通过商品读取装置101已读取的商品G的销售（销售数据）登记在销售主文件中（步骤S32）。

接着，CPU61判定有无通过键盘22的操作指示结束销售登记等的工作结束（步骤S33）。当继续工作时（步骤S33的否），CPU61返回到步骤S31继续处理。当结束工作时（步骤S33的是），CPU61结束处理。

接着，对商品读取装置101所执行的污垢检测所涉及的动作进行说明。图12是表示商品读取装置101所执行的污垢检测处理的次序的流程图。

首先，第二检测部1618通过依次比较通过图像采集部611采集到的摄像图像，依次检测出在摄像图像内的各部的运动矢量（步骤S41）。接着，第二检测部1618基于在步骤S41中检测出的各部的运动矢量，判定在摄像图像内是否存在有位于相同位置及为相同形状的静态对象（步骤S42）。在这里，当未存在时（步骤S42的否），重复执行步骤S42。

另一方面，当在步骤S42中检测出有静态对象时（步骤S42的是），告知部1619判定其静态对象是否在规定时间的期间被连续检测出（步骤S43）。在这里，当因静态对象的消失、移动等而在不足规定时间未检测出时（步骤S43的否），返回到步骤S42。

此外，当在步骤S43中在规定时间的期间被继续检测出时（步骤S43的是），告知部1619将该静态对象判定为附着在保护玻璃103a上的污垢（步骤S44）。而且，告知部1619采用显示装置106、语音输出部165，告知检测出污垢的情况（步骤S45），结束处理。

如上所述，根据本实施例，在进行商品G的识别的商品读取装置101中，检测出附着在成为摄像部164的摄像面的保护玻璃103a上的污垢，并告知其旨意。通过这样，由于能够促使店员除去污垢，所以能够支持实现良好的摄像环境。

以上，虽然对本发明的实施例进行了说明，但是上述实施例是作为例子提出的，并不意图限定发明的范围。上述实施例可以用其他各种形式来实施，只要在不脱离发明的要旨的范围内可以进行各种省略、替换、变更、追加等。上述实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

例如，在上述实施例中，虽然是POS终端11具有PLU文件F1的形式，但是并不限定于此，也可以是商品读取装置101具有PLU文件F1的一部分或全部的形式。

此外，在上述实施例中，虽然是在商品读取装置101中进行商品候选的识别的形式，但是也可以是POS终端11具有商品读取装置101的一部分或全部的功能部的形式。

例如，也可以是POS终端11具有特征量抽取部1613及相似度判定部1614，商品读取装置101具有图像采集部1611、第一检测部1612、商品候选提示部1615、输入接受部1616及信息输出部1617的形式。这时，在商品读取装置101侧将通过图像采集部1611采集并在第一检测部1612中检测出商品的摄像图像发送给POS终端11。此外，商品读取装置101为接收在POS终端11侧识别出的商品（登记商品）的结果，商品候选提示部1615将该接收到的结果作为商品候选进行提示的构成。此外，当POS终端11具有商品读取装置101的所有功能部时，商品读取装置101具有作为摄像装置的功能，POS终端11基于从商品读取装置101已发送的摄像图像，进行商品候选的显示和选择。

此外，在上述实施例中，虽然是商品读取装置101具有第二检测部1618及告知部1619的形式，但是也可以是POS终端11所具有的形式。这时，在POS终端11侧依次取得通过图像采集部1611采集到的摄像图像，并采用第二检测部1618及告知部1619的功能进行污垢的检测和告知。

此外，在上述实施例中，虽然将附着在保护玻璃103a上的污垢视为检测对象，但是并不限定于此，对附着在摄像部164的光学系统（例如，透镜等）上的污垢也可以进行同样地检测。

此外，在上述实施例中，虽然对采用固定式的扫描器装置（商品读取装置101）的例子进行了说明，但是并不限定于此，也可以是将所谓的手持式的扫描器装置与POS终端11连接的形式。

此外，在上述实施例中，虽然在由POS终端11和商品读取装置101构成的结账系统1中，在商品读取装置101中应用了本发明的实施例，但是并不限定于此，也可以应用于具有POS终端11及商品读取装置101的功能的一体构成的装置或诸如通过有线或无线连接图1所示的商品读取装置101及POS终端11而构成的结账系统。作为具有POS终端11及商品读取装置101的功能的一体构成的装置，列举有设置在超市等的店铺中使用的自助结账装置（以后，仅称为自助POS）。

在这里，图13是表示自助POS200的外观构成的立体图，图14是表示自助POS200的硬件构成的框图。另外，在以下中，对图1及图2所示的同样构成附加相同符号进行示出，并省略其重复的说明。

如图13及图14所示，自助POS200的主体202具有在表面上配设有触摸面板105的显示装置106、为了识别（检测）商品的种类等而读取商品图像的商品读取部110。

作为显示装置106，诸如采用有液晶显示器。显示装置106显示用于向顾客告知自助POS200的操作方法的引导画面、各种的输入画面、显示在商品读取部110中已读取的商品信息的登记画面、显示商品的合计金额、预付金额、找零金额等并进行选择支付方法的对账画面等。

商品读取部110是通过顾客将附在商品上的码符号对准商品读取部110的读取窗103，从而通过摄像部164读取商品图像的装置。

此外，在主体202的右侧设置有用于放置已装入筐中的未结算的商品的商品载置台203，在主体202的左侧设置有用于放置已结算的商品的商品载置台204，并设置有用于挂装入已结算的商品用的袋的袋挂钩205、用于在装入袋之前临时放置已结算的商品的临时放置台206。在商品载置台203及204中分别设置有计量器207、208，并具有确定在结算前后商品的重量为相同的情况的功能。

此外，自助POS200的主体202设置有用于进行结算用的纸币的存入、找零纸币的接受的找零机201。

当在这样构成的自助POS200中应用了本发明的实施例时，自助POS200能够具有信息处理装置的功能。另外，具有POS终端11和商品读取装置101的功能的一体构成的装置并不限定于上述构成的自助POS200，也可以是去除计量器207及208而构成的装置。

此外，在上述实施例的各装置中执行的程序，虽然被预先安装在各装置所具有的存储介质（ROM或存储部）中而提供，但是并不限定于此，也可以用可安装的形式或可执行的形式的文件记录在CD-ROM、软磁盘（FD）、CD-R、DVD（Digital Versatile Disk：数字多功能光盘）等计算机可读的存储介质中而提供。而且，存储介质并不限定于与计算机或嵌入系统独立的介质，也包含下载通过LAN、互联网等传输的程序而存储或临时存储的存储介质。

此外，既可以将在上述实施例的各装置中执行的程序存储在与互联网等的网络连接的计算机上，并通过经由网络下载来提供，又可以经由互联网等的网络提供或配置。

此外，也可以是将上述实施例的程序安装在具有通信功能的移动电话、智能电话、PDA（Personal Digital Assistant：个人数字助理）等的便携信息终端中而实现其功能的形式。

Claims (6)

1.一种信息处理装置，包括：

摄像部，用于摄像商品；

抽取部，从所述摄像部所摄像的摄像图像中抽取成为拍摄对象的商品的特征量；

计算部，对各个基准商品的特征量和所述抽取部所抽取的商品的特征量进行比较，计算出其相似度；

识别部，将通过所述计算部计算出的相似度为大于等于规定值的基准商品，识别为所述商品的候选；

检测部，从所述摄像部所摄像的多个摄像图像中，检测出所述摄像图像内所存在的静态对象；

告知部，当所述检测部在规定时间连续检测出所述静态对象时，告知检测出污垢；

判定部，判定所述检测部检测出的所述静态对象的存在位置是否被包含在所述摄像图像内的所述拍摄对象的映入区域中；以及

抑制部，当所述判定部判定为包含在所述拍摄对象的映入区域中时，抑制所述抽取部抽取所述特征量。

2.根据权利要求1所述的信息处理装置，其中，

所述告知部，采用显示装置或语音输出装置进行所述告知。

3.根据权利要求2所述的信息处理装置，其中，

所述告知部采用所述显示装置所显示的所述摄像图像来告知所述检测部检测出的所述静态对象的存在位置。

4.一种控制方法，用于控制信息处理装置，包括以下步骤：

摄像步骤，摄像商品；

抽取步骤，从在所述摄像步骤中所摄像的摄像图像中抽取成为拍摄对象的商品的特征量；

计算步骤，对各个基准商品的特征量和在所述抽取步骤中所抽取的商品的特征量进行比较，计算出其相似度；

识别步骤，将通过所述计算步骤计算出的相似度为大于等于规定值的基准商品，识别为所述商品的候选；

检测步骤，从通过所述摄像步骤所摄像的多个摄像图像中，检测出所述摄像图像内所存在的静态对象；以及

告知步骤，当通过所述检测步骤在规定时间连续检测出所述静态对象时，告知检测出污垢；

判定步骤，判定在所述检测步骤中检测出的所述静态对象的存在位置是否被包含在所述摄像图像内的所述拍摄对象的映入区域中；以及

抑制步骤，当通过所述判定步骤判定为包含在所述拍摄对象的映入区域中时，印制通过所述抽取步骤抽取所述特征量。

5.根据权利要求4所述的控制方法，其中，

在所述告知步骤中，采用显示装置或语音输出装置进行所述告知。

6.根据权利要求5所述的控制方法，其中，

在所述告知步骤中，采用所述显示装置所显示的所述摄像图像来告知通过所述检测步骤检测出的所述静态对象的存在位置。