CN103295346B - 信息处理装置、店铺系统及信息处理方法 - Google Patents

Abstract

本发明提供一种信息处理装置、店铺系统及信息处理方法，能够谋求操作性的提高。该信息处理装置包括：基准值改变部，在包含摄像部摄像的物体的图像的帧图像的颜色属性未超出规定的基准值时，降低基准值；相似度计算部，在采集到的帧图像的颜色属性超出规定的基准值时，计算出表示帧图像所包含的物体的图像和词库所登记的各登记商品的基准图像相似到哪种程度的相似度；商品候补抽取部，基于相似度，抽取与物体对应的登记商品的候补；以及确定部，在对登记商品的候补由基准值改变部不执行降低基准值的处理时，或在对登记商品的候补由基准值改变部执行降低基准值的处理并是颜色深的商品时，确定登记商品的候补作为与物体对应的登记商品。

Description

信息处理装置、店铺系统及信息处理方法

本申请主张申请日为2012年2月29日、申请号为JP2012-044238的日本申请为优先权，并引用上述申请的内容。

技术领域

本发明涉及一种信息处理装置、店铺系统及信息处理方法。

背景技术

目前，公知有这样一种一般物体识别所涉及的技术，从通过图像传感器设备摄像了成为对象的物品（对象物）的图像数据中，抽取该对象物品的特征量，与预先准备的词库中的核对用数据（特征量）进行比较计算出相似度，并根据计算出的相似度，识别（检测）该物品的类别等。此外，提案有这样一种店铺系统，将该一般物体识别所涉及的技术用于水果和蔬菜等的商品的识别，并对对象物被识别了的商品进行销售登记。

通常，在使用从帧图像抽取轮廓线等的模式匹配技术等时，取得与背景帧图像的差分，抽取帧图像所包含的成为物体识别对象的物品（对象物），开始对象物识别处理。

不过，例如，在将茄子等的颜色深的物体作为对象物识别对象时，由于很难有颜色属性（例如，明亮度）的差异并与背景帧图像的差分小，所以存在有不能开始对象物识别处理的情况。

此外，即使在能够开始对象物识别处理的情况下，也由于与背景帧图像的差分小，所以就会有被误识别的情况发生。例如，当在黑暗的状态下进行判断时，则有时会有将茄子以外的物体识别作为茄子的情况发生。

发明内容

为了解决上述问题，本发明第一方面涉及的信息处理装置，包括：采集部，采集包含摄像部摄像的物体图像的帧图像；基准值改变部，在采集到的所述帧图像的颜色属性未超出规定的基准值时，降低所述基准值；相似度计算部，在采集到的所述帧图像的颜色属性超出所述基准值时，计算出表示所述帧图像所包含的所述物体的图像和词库所登记的各登记商品的基准图像相似到哪种程度的相似度；商品候补抽取部，基于所述相似度，抽取与所述物体对应的所述登记商品的候补；以及确定部，在对所述登记商品的候补由所述基准值改变部不执行降低所述基准值的处理时，或在对所述登记商品的候补由所述基准值改变部执行降低所述基准值的处理并是颜色深的商品时，确定所述登记商品的候补作为与所述物体对应的所述登记商品。

本发明第二方面涉及一种店铺系统，包括：采集部，采集包含摄像部摄像的物体图像的帧图像；基准值改变部，在采集到的所述帧图像的颜色属性未超出规定的基准值时，降低所述基准值；相似度计算部，在采集到的所述帧图像的颜色属性超出所述基准值时，计算出表示所述帧图像所包含的所述物体的图像和词库所登记的各登记商品的基准图像相似到哪种程度的相似度；商品候补抽取部，基于所述相似度，抽取与所述物体对应的所述登记商品的候补；确定部，在对所述登记商品的候补由所述基准值改变部不执行降低所述基准值的处理时，或在对所述登记商品的候补由所述基准值改变部执行降低所述基准值的处理并是颜色深的商品时，确定所述登记商品的候补作为与所述物体对应的所述登记商品；以及销售登记处理部，对已确定的所述登记商品进行销售登记处理。

本发明第三方面涉及的基于信息处理装置的信息处理方法，包括以下步骤：采集步骤，采集包含摄像部摄像的物体图像的帧图像；基准值改变步骤，在采集到的所述帧图像的颜色属性未超出规定的基准值时，降低所述基准值；相似度计算步骤，在采集到的所述帧图像的颜色属性超出所述基准值时，计算出表示所述帧图像所包含的所述物体的图像和词库所登记的各登记商品的基准图像相似到哪种程度的相似度；商品候补抽取步骤，基于所述相似度，抽取与所述物体对应的所述登记商品的候补；以及确定步骤，在对所述登记商品的候补不执行由所述基准值改变功能降低所述基准值的处理时，或在对所述登记商品的候补执行由所述基准值改变功能降低所述基准值的处理而是颜色深的商品时，确定所述登记商品的候补作为与所述物体对应的所述登记商品。

附图说明

图1是表示本实施例所涉及的结账系统（店铺系统）的一例的立体图。

图2是表示POS终端及商品读取装置的硬件构成的框图。

图3是例示PLU文件的数据构成的概念图。

图4是表示POS终端及商品读取装置的功能构成的框图。

图5是表示通过图像采集部采集到的帧图像的一例图。

图6是表示确定画面的一例图。

图7是表示确认画面的一例图。

图8是表示显示有商品候补的实例图像的画面例的图。

图9是表示商品读取装置所执行的商品识别处理的次序的流程图。

图10是表示POS终端所执行的销售登记处理的次序的流程图。

图11是表示自助POS的构成的外观立体图。

图12是表示自助POS的硬件构成的框图。

具体实施方式

下面，以结账系统为例，参照附图对本实施例所涉及的信息处理装置、店铺系统及信息处理方法进行说明。店铺系统是具备进行一交易所涉及的商品的登记、对账的POS终端的结账系统（POS系统）等。本实施例是对引进到超市等的店铺中的结账系统的应用例。

图1是表示结账系统1的一例的立体图。如图1所示，结账系统1包括读取关于商品的信息的商品读取装置101、及进行一交易所涉及的商品的登记、对账的POS终端11。下面，对将商品读取装置101作为本实施例所涉及的信息处理装置进行应用的例子进行说明。

POS终端11载置在结账台41上的拉出装置21上面。拉出装置21通过POS终端11控制打开动作。POS终端11的上表面配置有由操作员（店员）进行按下操作的键盘22。从操作键盘22的操作员角度看，在键盘22的里侧设置有向操作员显示信息的显示设备23。显示设备23在其显示面23a上显示信息。显示面23a层压有触摸面板26。在显示设备23的更里侧可旋转自如地竖着设置有顾客用显示设备24。顾客用显示设备24在其显示面24a上显示信息。另外，图1所示的顾客用显示设备24虽然将显示面24a朝向图1中的跟前侧，但是通过以显示面24a朝向图1中里侧的方式使顾客用显示设备24旋转，顾客用显示设备24朝向顾客显示信息。

长条桌子状的柜台151以与载置有POS终端11的结账台41形成为L字的方式被配置。柜台151的上表面形成有负荷接受面152。负荷接受面152载置有收纳商品G的购物筐153。购物筐153可以考虑分为由顾客带来的第一购物筐153a和载置在与第一购物筐153a隔着商品读取装置101的位置上的第二购物筐153b。另外，购物筐153不限于所谓的筐形状，也可以是托盘等。此外，购物筐153（第二购物筐153b）不限于所谓的筐形状，也可以是箱状、袋状等。

在柜台151的负荷接受面152上设置有可与POS终端11数据发送接收地连接的商品读取装置101。商品读取装置101具有薄的矩形形状的外壳102。外壳102的正面配置有读取窗103。外壳102的上部安装有显示、操作部104。显示、操作部104设置有表面层压有触摸面板105的显示设备106。显示设备106的右边配置有键盘107。键盘107的右边设置有未图示的读卡器的卡读取槽108。从操作员角度看，显示、操作部104的背面靠左侧设置有用于向顾客提供信息的顾客用显示器109。

这样的商品读取装置101包括商品读取部110（参照图2）。商品读取部110在读取窗103的里侧配置摄像部164（参照图2）。

由顾客带来的第一购物筐153a收纳有一交易所涉及的商品G。第一购物筐153a内的商品G通过操作商品读取装置101的操作员移动到第二购物筐153b。在该移动过程中，商品G朝向商品读取装置101的读取窗103。这时，配置在读取窗103内的摄像部164（参照图2）对商品G进行摄像。

商品读取装置101在显示、操作部104上显示用于指定通过摄像部164摄像的图像所包含的商品G与后述的PLU文件F1（参照图3）所登记的哪个商品对应的画面，并将指定出的商品的商品ID通知给POS终端11。POS终端11基于从商品读取装置101通知的商品ID，将与该商品ID对应的商品的商品分类、商品名、单价等的销售登记所涉及的信息记录到销售主文件（未图示）中并进行销售登记。

图2是表示POS终端11及商品读取装置101的硬件构成的框图。POS终端11包括作为执行信息处理的信息处理部的微机60。微机60由在执行各种运算处理并控制各部的CPU（CentralProcessingUnit：中央处理器）61上总线连接有ROM（ReadOnlyMemory：只读存储器）62及RAM（RandomAccessMemory：随机存取存储器）63而构成。

上述的拉出装置21、键盘22、显示设备23、触摸面板26及顾客用显示设备24均通过各种输入输出电路（均未图示）与POS终端11的CPU61连接，并接受CPU61的控制。

键盘22包括在上表面上显示有“1”、“2”、“3”…等的数字、“x”等的乘法运算符的数字键22d、临时合计键22e及合计键22f。

POS终端11的CPU61连接有HDD（HardDiskDrive：硬盘驱动器）64。HDD64存储有程序、各种文件。HDD64所存储的程序、各种文件在POS终端11起动时，其全部或一部分被复制到RAM63中，并通过CPU61执行。HDD64所存储的程序的一例是商品销售数据处理用的程序PR。HDD64所存储的文件的一例是从存储计算机SC分配并被存储的PLU文件F1。

PLU文件F1是对在店铺中陈列并进行销售的商品G的各个商品，设定商品G的销售登记所涉及的信息和其商品G的图像的关联的商品文件。

图3是例示PLU文件F1的数据构成的概念图。如图3所示，PLU文件F1是对应每个商品G将专属分配给的商品ID、商品G所属的商品分类、商品名、单价等的关于商品的信息、摄像了该商品的商品图像（基准图像）、以及表示该商品的实例图像，作为该商品G的商品信息进行存储的文件。此外，商品图像是用于相似度判定的商品的摄像图像（照片）。另外，PLU文件F1具有商品读取装置101通过后述的连接接口65可读出的构成。

此外，如图3所示，PLU文件F1对应每个商品G对应存储有浓度标志。浓度标志对于颜色深的商品为“1”、对于颜色不深的商品为“0”。

另外，PLU文件F1的数据构成不限于图3的例子，例如，也可以是对各商品存储从商品图像读取的色彩、表面的凹凸状况等的特征量的形态。

返回到图2，POS终端11的CPU61通过输入输出电路（未图示）连接有用于与存储计算机SC执行数据通信的通信接口25。存储计算机SC设置在店铺的后院等。存储计算机SC的HDD（未图示）存储有分配给POS终端11的PLU文件F1。

而且，POS终端11的CPU61连接有在与商品读取装置101之间可数据发送接收的连接接口65。连接接口65连接有商品读取装置101。此外，POS终端11的CPU61连接有在票据等上进行打字的打印机66。POS终端11在CPU61的控制下将一交易的交易内容打印在票据上。

商品读取装置101也具备微机160。微机160由在CPU161上总线连接有ROM162及RAM163而构成。ROM162存储有通过CPU161执行的程序。CPU161通过各种输入输出电路（均未图示）连接有摄像部164、声音输出部165。摄像部164、声音输出部165由CPU161控制动作。显示、操作部104通过连接接口176，与商品读取部110及POS终端11连接。显示、操作部104由商品读取部110的CPU161、POS终端11的CPU61控制动作。

摄像部164是具有彩色CCD图像传感器或彩色CMOS图像传感器等的图像传感器（未图示）和LED等的光源（未图示），并在CPU161的控制下，从读取窗103进行摄像的摄像单元。例如，摄像部164进行30fps的视频图像的摄像。摄像部164以规定的帧频依次摄像的帧图像（摄像图像）被保存到RAM163中。

声音输出部165是用于产生预先设定的警报音等的声音电路和扬声器等。声音输出部165在CPU161的控制下进行由警报音或语音的告知。

而且，CPU161连接有与POS终端11的连接接口65连接、在与POS终端11之间可数据发送接收的连接接口175。此外，CPU161通过连接接口175，在与显示、操作部104之间进行数据发送接收。

接着，参照图4，对CPU161、CPU61通过执行程序来实现的CPU161、CPU61的功能构成进行说明。

图4是表示POS终端11及商品读取装置101的功能构成的框图。如图4所示，商品读取装置101的CPU161通过执行ROM162所存储的程序，具有作为背景采集部及采集部的图像采集部51、作为检测部的商品检测部52、作为相似度计算部的相似度计算部53、作为商品候补抽取部的相似度判定部54、确定告知部55、商品候补提示部56、输入接受部57、信息输出部58、作为基准值改变部的基准值改变部59、作为确定部的确定部50的功能。此外，同样，POS终端11的CPU61通过执行程序PR，具有作为销售登记部611的功能。

图像采集部51向摄像部164输出摄像导通信号，使摄像部164开始摄像动作。图像采集部51在摄像动作开始后，依次采集摄像部164摄像并保存到RAM163中的帧图像。图像采集部51的帧图像的采集按保存到RAM163中的顺序进行。

图5是表示通过图像采集部51采集到的帧图像的一例图。如图5所示，当操作员向读取窗103举起商品G时，则摄像部164的读取区域R摄像有商品G的全部或一部分。

不过，在商品G（对象物）不位于摄像部164的光源的附近、即读取窗103的附近时，摄像部164的摄像图像处于明亮度为0或接近于0的状态。而且，通过向读取窗103靠近想要识别的商品G（对象物），来自光源的光经商品G（对象物）反射，所以摄像部164的摄像图像的明亮度明亮地进行变化。

图像采集部51当检测出这样的明亮度变化（颜色属性的变化），明亮度超过了规定的基准值时，使执行对象物识别处理的对象物识别发动机（engine）（商品检测部52、相似度计算部53、相似度判定部54、确定告知部55、商品候补提示部56、输入接受部57、基准值改变部59、确定部50）起动。通过这样，能够抑制不需要后述的对象物识别处理时的CPU负荷。

另外，有时因商品读取装置101的设置环境而在没有商品G（对象物）的状态下的摄影图像中产生有参差不齐的情况。因而，需要控制、设定使对象物识别发动机（商品检测部52、相似度计算部53、相似度判定部54、确定告知部55、商品候补提示部56、输入接受部57、基准值改变部59、确定部50）动作的明亮度的基准值，以使不通过有害干扰影响的无用的对象物识别处理来增加CPU负荷。

另外，作为颜色的属性，除表示颜色亮度的明亮度外，也可以使用表示着色强度的色度。另外，对象物识别发动机（商品检测部52、相似度计算部53、相似度判定部54、确定告知部55、商品候补提示部56、输入接受部57、基准值改变部59、确定部50）起动用的判断也可以基于多个颜色的属性，进行是否超出基准值的判定。

基准值改变部59在图像采集部51检测出的帧图像的颜色属性（明亮度）未超过规定的基准值时，执行将基准值下降对应规定值的处理。

商品检测部52用模式匹配技术（图案匹配技术）等检测出通过图像采集部51采集到的帧图像所包含的商品G的全部或一部分。具体地说，从将采集到的帧图像进行了二值化的图像中，抽取轮廓线等。接着，基于比较了从上次的帧图像抽取的轮廓线和从本次的帧图像抽取的轮廓线的差分，检测出为了销售登记而朝向读取窗103的商品。

另外，上次的帧图像就是诸如在使对象物识别发动机（商品检测部52、相似度计算部53、相似度判定部54、确定告知部55、商品候补提示部56、输入接受部57、基准值改变部59、确定部50）起动前、即在对象物识别处理的起动前，通过图像采集部51采集到的背景的帧图像。在这样的对象物识别应用程序起动前作为上次的帧图像自动地取得背景的帧图像在背景未较大变化的环境下（例如，当将摄像部164朝向柜台151上面的负荷接受面152并以垂直向下方向作为读取方向被安装等时）的利用是有用的。另外，环境包含有照明（周围和商品读取装置101自身的照明）的状态和使用者的服装等。

此外，作为上次的帧图像，也可以在执行上次的对象物识别处理后，用通过图像采集部51采集到的背景的帧图像。象这样取得的背景帧图像在预测有背景较易变化的环境、象自助收银机等那样顾客的服装、与商品读取装置101的距离等各种变化的情况下的使用是有用的。

而且，使用者也可以以任意定时取得上次的帧图像作为背景。作为以任意定时取得上次的帧图像作为背景的实例，虽然考虑有各种情况，但是在诸如编制作为词库的PLU文件F1等时有效。

另外，作为检测商品的其他方法，从采集到的帧图像中检测出有无皮肤区域。接着，当检测出有皮肤区域时，也就是说，当检测出有店员的手时，通过在该皮肤区域的附近进行上述的轮廓线的检测，对假想为店员的手把持的商品的轮廓抽取进行尝试。这时，当检测出表示手的形状的轮廓和在手的轮廓的附近除此以外的对象物的轮廓时，从该对象物的轮廓中检测出商品。

相似度计算部53从通过摄像部164摄像的商品G的全部或一部分的图像中读取商品G的色彩、表面的凹凸状况等的表面状态作为特征量。另外，相似度计算部53由于谋求处理时间的缩短所以不考虑商品G的轮廓、大小。

此外，相似度计算部53从PLU文件F1所登记的各商品（以下称为登记商品）的商品图像中，读取该登记商品的色彩、表面的凹凸状况等的表面状态作为特征量，并通过分别与商品G的特征量进行比较，计算出商品G与PLU文件F1所登记的商品的相似度。在这里，相似度是当将PLU文件F1所存储的各商品的商品图像视为100％＝“相似度：1.0”时，表示商品G的全部或一部分的图像相似哪种程度的数据。另外，例如，也可以在色彩和表面的凹凸状况等中，改变加权计算出相似度。

这样，识别图像中所包含的物体的技术被称为一般物体识别（genericobjectrecognition：一般物体识别）。关于这样的一般物体识别的技术在下述的文献中各种识别技术被说明。

柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．48，Ｎｏ．ＳＩＧ16[平成22年8月10日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>（柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48，No.SIG16“2010年8月10日检索”，互联网＜URL：http：//mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞）

此外，通过对应每个对象物对图像进行区域分割，进行一般物体识别的技术在下述的文献中被说明。

JamieShottonら，“SemanticTextonForestsforImageCategorizationandSegmentation”，[平成22年8月10日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>（JamieShottonら（杰米肖顿等人），“SemanticTextonForestsforImageCategorizationandSegmentation：”，“2010年8月10日检索”，互联网＜URL：http：//citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf＞）

另外，所摄像的商品G的图像和PLU文件F1所登记的登记商品的商品图像的相似度的计算方法不特别限定。例如，既可以将所摄像的商品G的图像和PLU文件F1所登记的各登记商品的相似度作为绝对评价进行计算出，又可以作为相对评价进行计算出。

在将相似度作为绝对评价进行计算出时，只要将所摄像的商品G的图像和PLU文件F1所登记的各登记商品以1对1进行比较，并直接采用该比较结果导出的相似度就可以。此外，在将相似度作为相对评价进行计算出时，如果在PLU文件F1中登记有5个登记商品（商品GA、GB、GC、GD、GE）时，则只要所摄像的商品G以对于商品GA相似度为0.6、对于商品GB相似度为0.1、对于商品GC相似度为0.1、对于商品GD相似度为0.1、对于商品GE相似度为0.1等，与各登记商品的相似度的总和为1.0（100%）的方式计算出就可以。

相似度判定部54对应图像采集部51采集到的帧图像，对商品G的图像和PLU文件F1所登记的商品图像的相似度进行比较。在本实施例中，对于登记商品的商品图像和商品G的图像的相似度，阶段地设置有多个条件，相似度判定部54根据满足的条件，进行登记商品的确定或商品的候补的选定。虽然关于相似度的条件并不被特别限定，但是下面对使用条件a～c的情况进行说明。

在这里，条件a及条件b是本实施例所涉及的第一条件，并是用于将摄像部164所摄像的商品G确定作为PLU文件F1所登记的登记商品中的一个商品的条件。此外，条件c是本实施例所涉及的第二条件，并是用于从PLU文件F1所登记的登记商品中抽取摄像部164所摄像的商品G的候补的条件。

相似度判定部54将满足条件a或条件b的登记商品判定（确定）为是与摄像部164摄像的商品G以一对一对应的商品（以下，称为确定商品）。此外，相似度判定部54对于满足条件c的登记商品，判定为不是确定商品而是摄像部164所摄像的商品G的候补（以下，称为商品候补）。而且，通过从PLU文件F1所登记的多个登记商品中抽取满足条件c的登记商品来抽取关于商品G的商品候补。

只要条件a～c根据相似度阶段地被设定则其详细情况并不特别限定，但作为一例，能够通过预先设定的多个阈值设置条件a～c。在这里，对通过第一阈值～第三阈值设定条件a～c的情况进行说明。另外，第一阈值～第三阈值的大小关系是第一阈值>第二阈值>第三阈值。

相似度判定部54计数与登记商品的相似度为大于等于预先规定的第一阈值（例如90%）的次数，在该次数为大于等于规定次数时，判定为满足了条件a。此外，在以没有误判定的方式更高地设定第一阈值时，也可以将规定次数作为1次来判定条件a。

此外，相似度判定部54在与登记商品的相似度为小于第一阈值（例如90%）、且大于等于比第一阈值小的第二阈值（例如75%）时，判定为满足了条件b。而且，满足了条件b的登记商品判定为虽然是确定商品但需要操作员的确认操作。另外，也可以计数与登记商品的相似度为小于第一阈值（例如90%）、且大于等于比第一阈值小的第二阈值（例如75%）的次数，在该次数大于等于规定次数时，判定为满足了条件b。

而且，相似度判定部54在与登记商品的相似度为小于第二阈值（例如75%）、且大于等于比第二阈值小的第三阈值（例如10%）时，判定为满足了条件c。另外，还可以计数与登记商品的相似度为小于第二阈值（例如75%）、且大于等于比第二阈值小的第三阈值（例如10%）的次数，在该次数大于等于规定次数时，判定为满足了条件c。

另外，各条件a～c可根据相似度的大小、判定次数等适当设定，并不限于上述的例子。此外，用于条件a～c的判断的规定次数也可以分别对应每个条件设置不同的次数

确定部50在满足了条件a或条件b的登记商品的候补或满足了条件c的登记商品的候补有多个时，对选择的一个登记商品的候补，当由基准值改变部59不执行降低基准值的处理时，或当对该登记商品的候补由基准值改变部59执行降低基准值的处理而是颜色深的的商品时，确定该登记商品的候补作为与物体对应的登记商品。

确定告知部55通过图像输出、声音输出等，将摄像部164所摄像的商品通过确定部50唯一地确定作为是满足了条件a或条件b的登记商品的情况告知给操作员、顾客。

更详细地说，确定告知部55使表示满足了条件a的登记商品通过确定部50被唯一地确定作为摄像部164所摄像的商品（确定商品）的情况的确定画面71（参照图6）显示在显示设备106上。

图6是表示确定画面71的一例图。在有满足条件a的登记商品时，确定告知部55停止读取区域R（参照图5）的摄像图像的显示，从PLU文件F1读出与确定商品对应的实例图像G1及商品名“にんじん（胡萝卜）”，并显示在确定画面71上。此外，确定告知部55将从PLU文件F1读出的确定商品的商品名、商品价格（单价）分别显示在商品名显示区域81、价格显示区域82上。此外，确定告知部55也可以显示从PLU文件F1读出的商品图像（照片）代替实例图像G1。

此外，确定告知部55与该确定画面71的显示定时一致，作为对象物识别以具有高可靠性的状态确定了，通过鸣动与现有的条形码读取同等的声音，对识别正常结束数据已确定了的情况进行通知。

此外，确定告知部55与该确定画面71的显示定时一致向声音输出部165输出从PLU文件F1读出的商品名等关于确定商品的信息。声音输出部165通过输出已输入的信息，将表示确定商品的信息告知给操作员、顾客。

此外，确定告知部55使接受满足了条件b的登记商品（确定商品）是否是通过摄像部164摄像的商品G的最终确认操作的确认画面72（参照图7）显示在显示设备106上。

图7是表示确认画面72的一例图。在有满足条件b的登记商品时，确定告知部55从PLU文件F1读出与确定商品对应的实例图像G1，并显示在确认画面72上。此外，确定告知部55用从PLU文件F1读出的确定商品的商品名，将征询已读取的商品G是否是实例图像G1的商品的信息显示为“にんじんですか？（是否是胡萝卜）”等。此外，在确认画面72上可通过对触摸面板105的触摸操作选择操作地设置有“はい／いいえ（是/否）”等的按钮。

这样，在确认画面72中，作为相似度判定的结果，对于一个商品G示出有唯一被分选的登记商品（确定商品）的商品名、商品图像，商品G和登记商品保持一对一的关系被显示。因此，确认画面72是满足条件b的登记商品将通过摄像部164摄像的商品G作为登记商品的候补进行告知的画面。

在本实施例中，当这样摄像的商品作为登记商品的候补被抽取时，显示确定商品的实例图像代替摄像图像。因此，操作员能够直观地识别作为登记商品的候补被抽取的商品是哪个商品。

另外，确定告知部55既可以与确认画面72被显示的定时一致，使声音输出部165音频输出关于确定商品的信息及催促确认的信息，又可以在确认画面72中不进行音频输出。确定画面71、确认画面72中的音频输出的有无可适当设定。

商品候补提示部56使关于满足了条件c的登记商品的信息作为商品候补显示在显示设备106上。更详细地说，商品候补提示部56从PLU文件F1读出满足了条件c的登记商品的实例图像及商品名，按照相似度计算部53计算出的相似度从高到低的顺序，依次输出给显示设备106。显示设备106在商品候补提示区域83（参照图8）中，按照相似度从高到低的顺序显示商品候补的实例图像及商品名。

图8是表示显示有商品候补的实例图像G1、G2、G3的画面例的图。如图8所示，商品候补提示区域83按照从相似度高的登记商品开始的顺序显示有商品候补的实例图像G1、G2、G3及各商品名。这些实例图像G1、G2、G3具有根据对触摸面板105的选择操作可选择的构成。此外，在商品候补提示区域83的下部设置有用于从商品明细中选择商品的选择按钮84，从商品明细中选择出的商品作为上述的确定商品被处理。此外，在图8中，虽然示出了显示有与实例图像G1～G3对应的3个商品候补的例子，但是商品候补的数量、显示方法并不特别限定。此外，也可以显示商品图像（照片）代替实例图像。

另外，当即便在显示设备106上显示有商品候补的实例图像G1～G3也不接受对这些商品候补的选择操作时，继续图像采集部51的图像采集处理、商品检测部52的检测处理以及相似度计算部53的相似度计算处理。因此，在商品候补未被选择期间，在显示设备106的画面上显示有读取区域R的摄像图像。

输入接受部57通过触摸面板105或键盘107，接受与显示设备106的显示对应的各种输入操作。例如，输入接受部57基于对确认画面72（参照图7）的选择操作，接受最终确认了已显示的实例图像G1的商品是确定商品的情况的旨意的输入操作（确认操作）。此外，确定告知部55在输入接受部57接受了确认操作时，在显示设备106上显示上述的确定画面71。

输入接受部57接受对从显示设备106所显示的商品候补的实例图像G1～G3（参照图8）中任一实例图像的选择操作。输入接受部57接受已选择的实例图像的登记商品作为是关于商品G的确定商品。此外，在商品检测部52可检测出多个商品G时，输入接受部57也可以从商品候补中接受多个商品候补的选择操作。此外，确定告知部55在输入接受部57接受了选择操作时，使将已接受的商品候补作为确定商品显示的确定画面71显示在显示设备106上。

信息输出部58对于如上所述那样确定的确定商品，通过连接接口175将表示其商品的信息（例如，商品ID、商品名等）输出给POS终端11。

此外，信息输出部58也可以通过触摸面板105或键盘107，将另外输入的销售个数与商品ID等一起输出给POS终端11。此外，作为信息输出部58输出给POS终端11的信息，信息输出部58既可以将从PLU文件F1读出的商品ID直接通知给POS终端11，又可以将可指定商品ID的商品名或商品图像、实例图像的文件名通知给POS终端11，还可以将其商品ID的存储场所（在PLU文件F1中的存储地址）通知给POS终端11。

POS终端11的销售登记部611基于从信息输出部58输出的商品ID和销售个数，进行对应的商品的销售登记。具体地说，销售登记部611参照PLU文件F1，将已通知的商品ID及与该商品ID对应的商品分类、商品名、单价等与销售个数一起记录到销售主文件等中，进行销售登记。

另外，商品读取装置101也具备光学地读取作为关于商品的信息的条形码、二维代码等的码符号的公知的码符号读取部（未图示）。商品读取装置101将通过码符号读取部读取码符号而获得的作为编号的商品ID发送给POS终端11。商品读取装置101能够通过键盘107的键操作等，在通过上述那样的商品读取部110的对象物识别处理来读取关于商品的信息的对象物识别处理模式和通过码符号读取部的码符号读取处理来读取关于商品的信息的码符号读取模式之间进行切换。

对商品读取装置101被设定为码符号读取模式时的结账系统1的动作进行简单地说明。在商品读取装置101被设定为码符号读取模式时，POS终端11当在码符号读取部中读取码符号而获得的编号与PLU文件F1所存储的商品ID一致时，将表示其旨意的信号及与该商品ID对应的商品的商品分类、商品名、单价等的销售登记所涉及的信息发送给商品读取装置101。另一方面，商品读取装置101当接收表示与商品ID一致的旨意的信号及与该商品ID对应的商品的销售登记所涉及的信息时，则诸如发出短的蜂鸣音的鸣动的“吡”的告知音，而且在显示设备106上显示销售登记所涉及的信息。

POS终端11基于从商品读取装置101通知的商品ID，从PLU文件F1取得与该商品ID对应的商品的商品分类、商品名、单价等的销售登记所涉及的信息，并记录到销售主文件（未图示）等中进行销售登记。

接着，对在对象物识别处理模式中的结账系统1的动作进行详细地说明。首先，对商品读取装置101的动作进行说明。图9是表示商品读取装置101所执行的商品识别处理的次序的流程图。在图9中，虽然对将第一阈值设定为相似度90%（0.90）、将第二阈值设定为相似度75%（0.75）、将第三阈值设定为相似度10%（0.10）的情况进行说明，但是各阈值并不限于这些。

当根据POS终端11的商品登记的开始等而开始处理时，则图像采集部51向摄像部164输出摄像导通信号，开始摄像部164的摄像（步骤S11），并采集摄像部164摄像并保存在RAM163中的背景图像数据（步骤S12）。

在使这样的对象物识别发动机（商品检测部52、相似度计算部53、相似度判定部54、确定告知部55、商品候补提示部56、输入接受部57、基准值改变部59、确定部50）起动前，能够通过取得背景的帧图像，取得包含当前时间的照明（周围和商品读取装置101自身的照明）的状态、使用者的服装等的背景。

接着，图像采集部51采集摄像部164摄像并保存到RAM163中的帧图像（摄像图像）（步骤S13）。

接着，图像采集部51取得图像采集部51采集到的帧图像的颜色属性（例如，明亮度）（步骤S14），在颜色属性（例如，明亮度）超出规定的基准值时（步骤S15的是），为了销售登记而将商品G朝向读取窗103，从而使执行对象物识别处理的对象物识别发动机（商品检测部52、相似度计算部53、相似度判定部54、确定告知部55、商品候补提示部56、输入接受部57、基准值改变部59、确定部50）起动（步骤S16），并前进到步骤S17。

另一方面，图像采集部51取得图像采集部51采集到的帧图像的颜色属性（例如，明亮度）（步骤S14），在颜色属性（例如，明亮度）未超出规定的基准值时（步骤S15的否），基准值改变部59降低颜色属性（例如，明亮度）的基准值（步骤S18），并返回到步骤S13。

如上所述，通过降低颜色属性（例如，明亮度）的基准值，即使在通常的基准值中不能获得有与使对象物识别处理开始的背景的帧图像的差分时，也能够容易获得与使对象物识别处理开始的背景的帧图像的差分。

例如，在将因颜色深而很难有颜色属性（例如，明亮度）的差异的、并与背景帧图像的差分小的茄子等的物体作为对象物识别对象时，能够通过进行由基准值改变部59降低基准值的处理，开始对象物识别处理。

另外，不仅降低颜色属性（例如，明亮度）的基准值，还可以以商品读取装置101的摄像部164的LED等的光源的“总光通量（流明）”“发光强度（坎德拉）”“照度（勒克司）”“亮度”等变得明亮的方式进行控制。

另外，在使这样的基准值改变时，只要以判断为颜色属性（例如，明亮度）超出基准值（步骤S15的是）的情况为契机，返回到原基准值就可以。

当对象物识别发动机起动时，则商品检测部52基于背景帧图像和图像采集部51采集到的帧图像的差分，从图像采集部51采集到的帧图像中进行商品G的全部或一部分的检测（步骤S17）。

在这里，在从图像采集部51采集到的帧图像中不能检测出商品G的全部或一部分时（步骤S17的否），作为无数据，降低颜色属性（例如，明亮度）的基准值（步骤S18），并返回到步骤S13。

另一方面，在从图像采集部51采集到的帧图像中能够检测出商品G的全部或一部分时（步骤S17的是），相似度计算部53从商品G的全部或一部分的图像中读取商品G的特征量，并通过与PLU文件F1所登记的各商品图像的特征量进行比较，计算出与登记商品的相似度（步骤S19）。

相似度判定部54对是否有相似度为大于等于90%的登记商品进行判定（步骤S20）。在没有为大于等于90%的登记商品时（步骤S20的否），过渡到步骤S22。在有为大于等于90%的登记商品时（步骤S20的是），判定关于同一登记商品的相似度成为大于等于90%的次数是否为大于等于规定次数（例如、3次）（步骤S21）。在未达到规定次数时（步骤S21的否），返回到步骤S12，图像采集部51采集通过摄像部164摄像的新的帧图像。

在为大于等于规定次数时（步骤S21的是），确定部50判断是否执行降低在步骤S18中的颜色属性（例如，明亮度）的基准值的处理（步骤S28）。

在不执行降低在步骤S18中的颜色属性（例如，明亮度）的基准值的处理（步骤S28的否），确定部50判断为通常的对象物识别处理。而且，确定告知部55使包含确定商品的实例图像的确定画面71（参照图6）显示，而且通过声音通知商品被确定的旨意的第一声音及确定商品的商品名称，告知确定商品（步骤S30）。第一声音是类似在商品读取装置101被设定为码符号读取模式时中的诸如短的蜂鸣音的鸣动的“吡”的表示与商品ID一致的旨意的告知音的声音。这样，通过视为类似在码符号读取模式时中的表示与商品ID一致的旨意的告知音的声音，根据常年的习惯变得容易分清已确定的情况。另外，即使在没有码符号读取模式而仅有对象物识别处理模式时，也将第一声音视为类似在商品读取装置101被设定为码符号读取模式时中的诸如“吡”的表示与商品ID一致旨意的告知音的声音较好。

此外，信息输出部58将被作为确定商品的登记商品的商品ID等与通过键盘107另外输入的销售个数一起输出给POS终端11（步骤S31），之后过渡到步骤S32的处理。

另一方面，在执行降低在步骤S18中的颜色属性（例如，明亮度）的基准值的处理时（步骤S28的是），确定部50判断与被作为确定商品的登记商品的商品ID对应登记在PLU文件F1中的浓度标志是否为“1”（步骤S29）。

在与被作为确定商品的登记商品的商品ID对应登记在PLU文件F1中的浓度标志是“1”时（步骤S29的是），确定部50判断由于作为颜色深的商品被登记，所以正确地执行对象物识别处理。而且，确定告知部55使包含确定商品的实例图像的确定画面71（参照图6）显示，而且通过声音通知商品被确定的旨意的第一声音及确定商品的商品名称，告知确定商品（步骤S30）。

另一方面，在与被作为确定商品的登记商品的商品ID对应登记在PLU文件F1中的浓度标志是“0”时（步骤S29的否），由于不作为颜色深的商品被登记，从而不是执行降低步骤S18中的颜色属性（例如，明亮度）的基准值的处理的商品，所以确定部50判断为有误识别的可能性，返回到步骤S12。

在为步骤S20的否时，相似度判定部54对是否有相似度为大于等于75%小于90%的登记商品进行判定（步骤S22）。在有相似度为该范围内的登记商品时（步骤S22的是），将其登记商品判定为是需要操作员的确认的确定商品，并使显示设备106显示确认画面72，而且声音通知关于商品的信息及催促确认的信息（步骤S23）。输入接受部57对在确认画面72（参照图7）中是否选择了“是”进行判定（步骤S24）。在选择了“是”时（步骤S24的是），过渡到步骤S28，在不执行降低在步骤S18中的颜色属性（例如，明亮度）的基准值的处理时（步骤S28的否），确定部50判断为通常的对象物识别处理。而且，确定告知部55显示确定画面71，而且声音通知确定商品的商品名（步骤S30）。另一方面，在选择了“否”时（步骤S24的否），返回到步骤S12。

另一方面，在没有相似度为大于等于75%小于90%的登记商品时（步骤S17的否），相似度判定部54对是否有相似度为大于等于10%小于75%的登记商品进行判定，并抽取相似度为该范围内的登记商品作为商品G的商品候补（步骤S25）。在没有该范围内的登记商品时（步骤S25的否），返回到步骤S12。在有相似度大于等于10%小于75%的登记商品时（步骤S25的是），相似度判定部54将符合的登记商品判定为是商品G的商品候补。而且，商品候补提示部56按相似度从高到低的顺序排序作为商品候补被判定的登记商品的实例图像及商品名，并显示在商品候补提示区域83上，而且以第二声音声音通知有多个候补的旨意（步骤S26）。第二声音是与上述的第一声音不同的声音、且诸如是稍长的蜂鸣音的鸣动的“吡吡吡”的声音或催促选择的语音。

输入接受部57对是否接受了对于登记商品的商品图像的选择操作进行判定（步骤S27）。在接受了选择时（步骤S27的是），过渡到步骤S28，在不执行降低在步骤S18中的颜色属性（例如，明亮度）的基准值的处理时（步骤S28的否），确定部50判断为通常的对象物识别处理。确定告知部55显示确定画面71，而且声音通知确定商品的商品名（步骤S30）。另一方面，在未接受选择时（步骤S27的否），过渡到步骤S12。

在步骤S32中，CPU161判定从POS终端11有无商品登记的结束通知等的业务结束。在继续业务时（步骤S32的否），CPU161返回步骤S12的处理，图像采集部51采集摄像部164摄像并保存到RAM163中的背景图像数据，并继续处理。这样，在执行上次的对象物识别处理后，通过用由图像采集部51采集到的背景的帧图像，即使在预测有背景较易变化的环境、象自助收银机那样顾客的服装、与商品读取装置101的距离等各种改变的情况下，也能够准确地进行商品G的全部或一部分的检测。

另外，在本实施例中，RAM163所存储的背景图像数据由于在步骤S31中由商品读取装置101指定商品并向POS终端11输出了商品ID后，通过图像采集部51采集有新的背景图像数据，所以被更新成最新的数据。

此外，在步骤S24中在确认画面72（参照图7）中未选择有“是”时或在步骤S27中未接受选择操作时，也返回到步骤S12的处理，并采集有新的背景图像数据，所以RAM163所存储的背景图像数据被更新成最新的数据。

在结束业务时（步骤S32的是），图像采集部51向摄像部164输出摄像截止信号，结束摄像部164的摄像（步骤S33），并结束处理。

接着，对POS终端11的动作进行说明。图10是表示POS终端11所执行的销售登记处理的次序的流程图。

首先，当根据键盘22的操作指示的商品登记的开始等而开始处理时，则CPU61接收商品读取装置101在图9的步骤S31中输出的、确定商品的商品ID和其销售个数（步骤S41）。接着，销售登记部611基于在步骤S41中接收到的商品ID及销售个数，从PLU文件F1读出商品类别、单价等，并将在商品读取装置101中已读取的商品G的销售额登记到销售主文件中（步骤S42）。接着，CPU61判定有无由键盘22的操作指示的销售登记的结束等的业务结束（步骤S43）。在继续业务时（步骤S43的否），CPU61再次向步骤S41返回并继续处理。在结束业务时（步骤S43的是），CPU61结束处理。

如上所述，根据本实施例，在对登记商品的候补由基准值改变部59不执行降低基准值的处理时，将该登记商品的候补确定作为与对象物对应的登记商品。或者，在对登记商品的候补由基准值改变部59执行降低基准值的处理并是颜色深的商品时，将该登记商品的候补确定作为与对象物对应的登记商品。通过这样，在将因颜色深而很难有颜色属性（例如，明亮度）的差异的、并与背景帧图像的差分小的茄子等的物体作为对象物识别对象时，能够通过由基准值改变部59进行降低基准值的处理，以使可以开始对象物识别处理。此外，尽管由基准值改变部59进行了降低基准值的处理，但在识别出浅色物体时，由于存在有误识别的可能性，所以能够将其进行排除。

另外，在本实施例中，虽然根据PLU文件F1所登记的浓度标志，对登记商品的候补是否是颜色深的商品进行判断，但并不限于此，例如，也可以根据PLU文件F1所登记的基准图像，对登记商品的候补是否是颜色深的商品进行判断。

以上，虽然对本发明的实施例进行了说明，但是上述实施例是作为例子提出的，并不意图限定发明的范围。该实施例可以用其他各种形式来实施，只要在不脱离发明的要旨的范围内可以进行各种省略、替换、改变。该实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

例如，在上述实施例中，虽然对商品读取装置101逐一摄像商品G的例子进行了说明，但同时进行摄像的商品G的个数不特别限定，也可以是多个。当同时摄像多个商品G时，只要分别计算出多个商品G和登记商品的图像（G1、G2、G3、···）的相似度，通过比较计算结果和上述阈值，分选确定商品、候补商品就可以。

此外，上述的各显示画面的构成不限于图5～图8的例子，只要是设置用于显示其他要素的显示区域、操作按钮的形态就行。

此外，在上述实施例中，虽然对POS终端11是具备PLU文件F1的形态进行了说明，但不限于此，既可以是商品读取装置101具备PLU文件F1的形态，又可以是POS终端11及商品读取装置101可访问的外部装置具备PLU文件F1的形态。

此外，在上述实施例中，虽然商品读取装置101具有相似度计算部53、相似度判定部54的功能，但不限于此，也可以是POS终端11具备相似度计算部53、相似度判定部54的功能，并将计算结果、判定结果输出给商品读取装置101的形态。

另外，在上述实施例中，作为多个阈值，虽然列举通过第一阈值～第三阈值的3个阈值4阶段地判定相似度的例子并进行了说明，但是实施例并不限于此。既可以用大于等于3个阈值多阶段地进行判定，又可以用小于等于2个阈值进行判定。此外，各阈值也可以由用户可变更地设置。此外，在上述实施例中，虽然列举了所有商品都通用第一阈值～第三阈值及条件a～c的例子，但是不限于此，也可以对应每个登记商品分别设定各阈值、条件。

此外，上述实施例虽然是将第一条件划分成显示确认画面72时（条件b）和不显示确认画面72时（条件a）的二阶段的实施例，但是也可以不多阶段划分这样的第一条件。也就是说，当根据上述的例子表示其他例子时，则在满足了任意条件a、b时都不显示确认画面72而是确定商品的形态，此外，也可以是设定是否显示确认画面72的形态。

此外，在上述实施例中，虽然作为店铺系统应用了由POS终端11和商品读取装置101构成的结账系统1，但并不限于此，也可以应用于具备POS终端11及商品读取装置101的功能的一体构成的装置。作为具备POS终端11及商品读取装置101的功能的一体构成的装置，列举有设置在超市等的店铺中使用的自助结账装置（以后，仅称为自助POS）。

在这里，图11是表示自助POS200的构成的外观立体图、图12是表示自助POS200的硬件构成的框图。此外，下面对与图1及图2所示的同样构成附加相同符号示出并省略其重复的说明。如图11及图12所示，自助POS200的主体202包括在表面上配置有触摸面板105的显示设备106、为了识别（检测）商品的类别等而读取商品图像的商品读取部110。

作为显示设备106诸如使用有液晶显示器。显示设备106显示用于使顾客知道自助POS200的操作方法的引导画面、各种的输入画面、显示商品读取部110所读入的商品信息的画面以及显示商品的合计金额、预存金额、找零金额等并选择支付方法的结账画面等。

商品读取部110是通过顾客将附在商品上的码符号向商品读取部110的读取窗103举起，通过摄像部164读取商品图像的部。

此外，在主体202的右侧设置有用于放置装入进筐中的未结账的商品的商品载置台203，在主体202的左侧设置有用于放置已结账的商品的商品载置台204，并设置有挂用于装入已结账的商品的袋用的袋挂钩205、在装袋之前临时放置已结账商品用的临时载置台206。商品载置台203及204分别具备计量器207、208，并具有确认在结账前后商品的重量为相同的功能。

此外，自助POS200的主体202设置有用于进行结账用的纸币的存入、找零纸币的领取的找零器201。

在将这样构成的自助POS200应用于店铺系统时，自助POS200能够具有作为信息处理装置的功能。

另外，虽然在上述实施例的各装置中执行的程序被预先安装在各装置所具备的存储介质（ROM或存储部）中而提供，但不限于此，也可以以可安装形式或可执行形式的文件记录在CD-ROM、软磁盘（FD）、CD-R、DVD（DigitalVersatileDisk：数字多功能磁盘）等计算机可读存储介质中而提供。而且，存储介质不限于与计算机或嵌入系统独立的介质，也包含下载通过LAN、网络等传输的程序而存储或暂时存储的存储介质。

此外，也可以将在上述实施例的各装置中执行的程序存储到与互联网等的网络连接的计算机上，通过经由网络下载而提供，此外，也可以经由互联网等的网络提供或配置。

附图标记说明

1店铺系统50确定单元

51采集单元53相似度结算单元

54商品候补抽取单元59基准值改变单元

101、200信息处理装置164摄像单元

611销售登记处理单元F1词库

Claims (10)

1.一种信息处理装置，包括：

采集部，采集包含摄像部摄像的物体的图像的帧图像；

基准值改变部，在采集到的所述帧图像的颜色属性未超出规定的基准值时，降低所述基准值；

相似度计算部，在采集到的所述帧图像的颜色属性超出规定的基准值时，计算出表示所述帧图像所包含的所述物体的图像和词库所登记的各登记商品的基准图像相似到哪种程度的相似度；

商品候补抽取部，基于所述相似度，抽取与所述物体对应的所述登记商品的候补；以及

确定部，在对所述登记商品的候补由所述基准值改变部不执行降低所述基准值的处理时，或在对所述登记商品的候补由所述基准值改变部执行降低所述基准值的处理并是颜色深的商品时，确定所述登记商品的候补作为与所述物体对应的所述登记商品。

2.根据权利要求1所述的信息处理装置，其中，

所述确定部在对所述登记商品的候补由所述基准值改变部执行降低所述基准值的处理且不是颜色深的商品时，使所述采集部采集新的帧图像。

3.根据权利要求1或2所述的信息处理装置，其中，

所述词库对应所述登记商品登记有所述基准图像和表示深浅的浓度标志，

所述确定部根据所述浓度标志，判断所述登记商品的候补是否是颜色深的商品。

4.根据权利要求1或2所述的信息处理装置，其中，

所述确定部根据所述词库所登记的所述基准图像，判断所述登记商品的候补是否是颜色深的商品。

5.根据权利要求1或2所述的信息处理装置，还包括：

确定告知部，与显示设备的确定画面的显示定时一致，确定对象物识别，并对识别正常结束数据已确定了的情况进行通知。

6.一种店铺系统，包括：

采集部，采集包含摄像部摄像的物体的图像的帧图像；

基准值改变部，在采集到的所述帧图像的颜色属性未超出规定的基准值时，降低所述基准值；

相似度计算部，在采集到的所述帧图像的颜色属性超出规定的基准值时，计算出表示所述帧图像所包含的所述物体的图像和词库所登记的各登记商品的基准图像相似到哪种程度的相似度；

商品候补抽取部，基于所述相似度，抽取与所述物体对应的所述登记商品的候补；

确定部，在对所述登记商品的候补由所述基准值改变部不执行降低所述基准值的处理时，或在对所述登记商品的候补由所述基准值改变部执行降低所述基准值的处理并是颜色深的商品时，确定所述登记商品的候补作为与所述物体对应的所述登记商品；以及

销售登记处理部，对已确定的所述登记商品进行销售登记处理。

7.一种基于信息处理装置的信息处理方法，包括：

采集步骤，采集包含摄像部摄像的物体的图像的帧图像；

基准值改变步骤，在采集到的所述帧图像的颜色属性未超出规定的基准值时，降低所述基准值；

相似度计算步骤，在采集到的所述帧图像的颜色属性超出规定的基准值时，计算出表示所述帧图像所包含的所述物体的图像和词库所登记的各登记商品的基准图像相似到哪种程度的相似度；

商品候补抽取步骤，基于所述相似度，抽取与所述物体对应的所述登记商品的候补；以及

确定步骤，在对所述登记商品的候补不执行由所述基准值改变功能降低所述基准值的处理时，或在对所述登记商品的候补执行由所述基准值改变功能降低所述基准值的处理而是颜色深的商品时，确定所述登记商品的候补作为与所述物体对应的所述登记商品。

8.根据权利要求7所述的信息处理方法，其中，

在所述确定步骤中，在对所述登记商品的候补由所述基准值改变步骤执行降低所述基准值的处理且不是颜色深的商品时，使所述采集步骤采集新的帧图像。

9.根据权利要求7所述的信息处理方法，其中，

所述词库对应所述登记商品登记有所述基准图像和表示深浅的浓度标志，

在所述确定步骤中，根据所述浓度标志，判断所述登记商品的候补是否是颜色深的商品。

10.根据权利要求7所述的信息处理方法，其中，

在所述确定步骤中，根据所述词库所登记的所述基准图像，判断所述登记商品的候补是否是颜色深的商品。