CN107665556B - 图像信息处理装置及其控制方法 - Google Patents

Abstract

本发明公开了一种图像信息处理装置及其控制方法，其能够使操作员果断决定是从所显示的候选商品选择商品还是等待直到进行确定，该图像信息处理装置包括：采集部，采集摄像部所摄像的商品的图像；候选显示部，当通过基于所述采集部采集到的商品的图像的识别处理不自动确定为指定商品时，显示从已存储的基准商品中抽出为所述商品的候选的商品候选；以及告知部，当所述候选显示部所显示的商品候选的最上位的商品是预先被规定为不自动确定的商品的非确定商品时，告知基于所述商品候选不确定指定商品。

Description

图像信息处理装置及其控制方法

本申请是申请号为201410799219.2、申请日为2014年12月19日、发明名称为“图像信息处理装置及其控制方法”的分案申请。象母案申请一样，本申请也主张申请日为2014年01月21日、申请号为JP2014-008953的日本申请为优先权，并通过引用将上述优先权申请所公开的内容结合到本申请中。

技术领域

本发明涉及一种图像信息处理装置及其控制方法。

背景技术

目前，存在有这样一种技术，通过从摄像了物品的图像数据中抽出该物品的特征量，并与表示预先准备的核对用物品的特征量的数据进行比较，对所述物品的种类等进行识别。而且，提案有一种图像信息处理装置，在超市、便利店等店铺中通过将该技术用于蔬菜和水果等的商品的识别(辨别)，执行所识别出的商品的商品销售处理。

在所涉及的图像信息处理装置中，知道因商品不同，存在有易于识别为指定的一个商品的商品、因所摄像的商品的色彩、摄像位置、摄像角度等而识别商品的识别度进行变化，所以很难识别为指定的一个商品的商品。因此，对应每个商品测量识别为一个商品的确定率，并对确定率低的商品不自动地确定成一个商品，而显示多个作为候选的商品，并通过店员从所显示的商品中选择相符合的商品来进行确定。

不过，在上述现有的图像信息处理装置中，不知道是确定率低的商品的情况的店员等的操作员，对已摄像的确定率低的商品，是从候选商品中进行选择还是期待确定为一个商品而在改变摄像角度和位置的同时进行等待直到进行确定，犹豫判断的情况有很多，使操作员的负担增大了。

发明内容

鉴于上述问题，本发明的目的在于提供一种图像信息处理装置及其控制方法，其能够使操作员果断决定是从所显示的候选商品选择商品还是等待直到进行确定。

为解决上述问题，本发明第一方面所涉及的图像信息处理装置包括：采集部，采集摄像部所摄像的商品的图像；候选显示部，当通过基于所述采集部采集到的商品的图像的识别处理不自动确定为指定商品时，显示从已存储的基准商品中抽出为所述商品的候选的商品候选；以及告知部，当所述候选显示部所显示的商品候选的最上位的商品是预先被规定为不自动确定的商品的非确定商品时，告知基于所述商品候选不确定指定商品。

本发明第二方面所涉及的图像信息处理装置的控制方法包括以下步骤：采集步骤，采集摄像部所摄像的商品的图像；候选显示步骤，当通过基于所述采集步骤采集到的商品的图像的识别处理不自动确定为指定商品时，显示从已存储的基准商品中抽出为所述商品的候选的商品候选；以及告知步骤，当通过所述候选显示步骤所显示的商品候选的最上位的商品是预先被规定为不自动确定的商品的非确定商品时，告知基于所述商品候选不确定指定商品。

附图说明

下面，参照附图对本发明所涉及的图像信息处理装置及其控制方法进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1是表示第一实施例所涉及的结账系统的外观构成的立体图；

图2是表示图1所示的结账系统的硬件构成的框图；

图3是示意地表示图2所示的商品识别主文件的数据构成的一例图；

图4是示意地表示图2所示的商品主文件的数据构成的一例图；

图5是表示图2所示的商品识别主文件的RAM的数据构成的一例图；

图6是表示商品信息读取装置的功能构成的功能框图；

图7是表示商品信息读取装置执行的控制处理的流程的流程图；

图8是表示商品信息读取装置所显示的商品候选画面的显示例的图；

图9是表示商品信息读取装置所显示的商品候选画面的另一显示例图；

图10是表示商品信息读取装置所显示的商品候选画面的第三显示例图；

图11是表示商品信息读取装置所显示的商品候选画面的第四显示例图；

图12是表示第二实施例的结账系统的硬件构成的框图；

图13是表示第三实施例的自助POS的外观构成的立体图；以及

图14是表示图13所示的自助POS的硬件构成的框图。

附图标记说明

11 POS终端

21 商品信息读取装置

41 CPU

43 RAM

44 存储器部

47 摄像部

80 自助POS

100 控制部

101 采集部

102 候选显示部

103 告知部

104 商品信息处理部

442 商品识别主文件

443 商品主文件

具体实施方式

(第一实施例)

下面，参照图1至图11，对第一实施例的图像信息处理装置及程序进行详细地说明。另外，以下所说明的实施例中，虽然将商品信息读取装置作为图像信息处理装置的一例进行说明，但是本发明并不因实施例而被限定。

图1是表示结账系统的外观构成的立体图。如图1所示，结账系统具有POS(PointOf Sales：销售点)终端11、商品信息读取装置21。

POS终端11载置在结账台19上的拉出装置13上表面上。拉出装置13通过来自POS终端11的开放命令来控制开放动作。通过操作员(店员等)进行操作的由键盘等构成的操作部15，配置在POS终端11的上面。从操作操作部15的操作员角度来看，在操作部15的里侧设置朝向操作员显示信息的操作员用显示部14。操作员用显示部14朝向操作员显示商品信息、结算信息等信息。触摸面板18层压在操作员用显示部14上。顾客用显示部16旋转自如地立着设置在操作员用显示部14的更里侧。顾客用显示部16朝向顾客显示商品信息、结算信息等信息。

另外，图1所示的顾客用显示部16虽然处于将显示面朝向图1中跟前侧(操作员侧)的状态，但是通过以显示面朝向图1中里侧(顾客侧)的方式使顾客用显示部16旋转，顾客用显示部16朝向顾客显示信息。

此外，长方形桌子状的柜台31以与载置有POS终端11的结账台19形成L字的方式被配置。柜台31的上面形式有负荷接受面32。负荷接受面32载置有收纳商品2的购物筐33。购物筐33可以考虑划分成通过顾客带来的第一购物筐34和载置在与第一购物筐34隔着商品信息读取装置21的位置上的第二购物筐35。

柜台31的负荷接受面32的大致中央部设置有可与POS终端11数据发送接收地连接的商品信息读取装置21。商品信息读取装置21具有薄型矩形形状的外壳22。

外壳22的正面上配置有读取窗23。外壳22的上部安装有操作员用显示部24。在操作员用显示部24的表面设置有触摸面板241(参照图2)。在操作员用显示部24的右边配置有由键盘等构成的操作部27。从操作员角度来看，在操作员用显示部24的背面靠左侧设置有顾客用显示部29，用于向顾客提供信息。

通过顾客带来的第一购物筐34收纳有在店铺内所陈列的商品中顾客放入到购物筐34中的商品2。第一购物筐34内的商品2通过操作商品信息读取装置21的操作员被移动到第二购物筐35。在该移动过程中，商品被朝向商品信息读取装置21的读取窗23。这时，配置在读取窗23内的摄像部47(参照图2)摄像商品2。

图2是表示商品信息读取装置21的硬件构成的框图。图2中商品信息读取装置21具有作为控制主体的CPU(Central Processing Unit：中央处理器)41、存储各种程序的ROM(Read Only Memory：只读存储器)42、展开各种数据的RAM(Random Access Memory：随机存取存储器)43、存储各种程序等的存储器部44等，CPU41、ROM42、RAM43以及存储器部44通过数据总线45相互连接。CPU41、ROM42、RAM3构成控制部100。也就是说，控制部100通过CPU41按照ROM42或存储器部44存储并在RAM43中展开的控制程序441进行动作，来执行后述的控制处理。

RAM43除展开以控制程序441为首的各种程序之外，还具有存储通过摄像部47摄像并通过后述的一般物体识别识别出的商品2的商品信息的商品信息储存部431(参照图5)。

存储器部44是即使断电也保持有存储信息的HDD(Hard Disc Drive：硬盘驱动器)、闪存器等的非易失性存储器，其存储包含控制程序441的程序等。此外，存储器部44存储有商品识别主文件442(参照图3)和商品主文件443(参照图4)。

此外，数据总线45通过控制器46连接有操作部27、操作员用显示部24、顾客用显示部29及摄像部47。

操作部27具有包括开始在商品信息读取装置21中的商品摄像的开始键271、用于结束商品摄像的结束键272的各种键。

操作员用显示部24显示面被朝向操作员设置，并向操作员显示信息。在操作员用显示部24的表面设置有由电极或透明的薄膜构成的触摸面板241。通过触摸操作与操作员用显示部24所显示的键对应的位置的触摸面板241，能够对该键进行操作。触摸面板241是操作部27的一部分。顾客用显示部29显示面被朝向顾客设置，并向顾客显示信息。

摄像部47由彩色CCD传感器或彩色CMOS传感器等构成，进行摄像对准读取窗23的商品2。例如，在摄像部47中进行30fps的视频摄像。摄像部47以规定帧频依次摄像的帧图像(摄像图像)被存储在RAM43的摄像图像存储部432(参照图5)中。

此外，数据总线45连接有与POS终端11电气连接的连接I/F(Inter Face：接口)48。连接I/F48与线路49连接。

此外，图2中POS终端11具有作为控制主体的CPU61、存储各种程序的ROM62、展开各种数据的RAM63、存储各种程序的存储器部64等，CPU61、ROM62、RAM63以及存储器部64通过数据总线65相互连接。CPU61、ROM62及RAM63构成控制部200。也就是说，控制部200通过CPU61按照ROM62或存储器部64所存储并在RAM63展开的控制程序641进行动作，来执行后述的控制处理。

RAM63除展开以控制程序641为首的各种程序外，还具有存储从商品信息读取装置21通过后述的线路49还是后述的连接I/F68接收到的与商品2对应的商品信息的商品信息存储部631。

存储器部64是即使断电也保持有存储信息的HDD、闪存器等的非易失性存储器，其存储包含控制程序641的程序等。此外，存储器部64存储有商品主文件642。该商品主文件642与商品主文件443(参照图4)是相同构成。

此外，数据总线65通过控制器66连接有操作部15、操作员用显示部14、顾客用显示部16、打印商品信息和结算信息并发放票据的打印部67。

操作部15具有功能键、数字键、进行结算处理的合计键等的各种键。

操作员用显示部14显示面被朝向店员设置，并向店员显示信息。操作员用显示部14在显示面上设置有触摸面板18。通过触摸操作与操作员用显示部14所显示的键对应的位置的触摸面板18，能够对该键进行操作。触摸面板18是操作部15的一部分。顾客用显示部16显示面被朝向顾客设置，并向顾客显示信息。

此外，数据总线65连接有连接I/F68。连接I/F68与线路49连接。通过线路49，连接I/F48和连接I/F68电气连接，在商品信息读取装置21和POS终端11之间进行各种信息的交换。

接着，商品识别主文件442是设定有关联在店铺内销售的商品2、及商品2的图像和特征量的数据文件。图3是示意地表示商品识别主文件442的数据构成的一例图。如图3所示，商品识别主文件442具有存储对应每个商品2唯一分配的商品代码的商品代码部4421、存储商品名的商品名部4422、存储商品单价的单价部4423、存储预先摄像该商品2的商品图像的商品图像部4424。此外，商品识别主文件442具有预先对应每个商品2关联存储有最准确地表示该商品2的代表性特征量(将该特征量称为基准商品的特征量)的特征量部4425。

在图3的例子中，商品代码“001”～商品代码“004”的商品属于商品名“商品A”～“商品D”的4种类的苹果的类别，特征量部4425分别存储有最准确表示商品代码“001”～商品代码“004”的商品的特征的基准商品的特征量。

商品图像部4424存储摄像了在后述的相似度判定时被作为比较对象的基准商品的各个商品的图像。商品图像在后述的商品候选的显示时作为表示该商品候选的图像被提示。此外，特征量部4425与对应的商品代码关联存储有从各商品2的摄像图像(例如，商品图像)预先抽出的该商品2的特征量。在这里，特征量就是商品2的表面色彩、图案、凹凸状况等表示商品2的特征的信息。

图4是示意地表示商品主文件443的数据构成的一例图。商品主文件443是关联了指定在店内销售的商品的商品代码、通过商品代码指定的商品2的属性信息(商品名，单价等)的数据文件。图4中商品主文件443具有商品代码部4431、商品名部4432、单价部4433、确定率部4434、总括指定部4435、单个指定部4436、以及确定部4437。

商品代码部4431存储有指定商品的商品代码。商品名部4432存储有通过商品代码指定的商品的商品名。单价部4433存储有通过商品代码指定的商品的单价。

确定率部4434存储有通过商品代码指定的商品的确定率。确定率就是统计表示根据通过摄像部47所摄像的商品图像可以确定为指定的一个商品的概率的数字，表示确定率高的商品是根据所摄像的图像确定为指定的一个商品的概率高的商品。

根据商品不同，有不管摄像的角度、方向、距离如何都能够抽出大致相同的特征量的商品、和根据摄像的角度、方向、距离而抽出的特征量较大不同的商品。当较大不同时，往往有与特征量部4425所存储的基准商品的特征量进行比较不能确定该商品的情况。确定率部4434存储有汇集较多这样的现象而计算出的统计的确定率。进行确定较多的商品在确定率部4434中存储有高确定率，不能确定的次数较多的商品在确定率部4434中存储有低确定率。

总括指定部4435对确定率部4434所存储的确定率高的商品，存储能够自动确定为指定商品的数值，对确定率部4434所存储的确定率低的商品，存储有表示是不能自动确定的非确定商品的数值。在实施例中，将能够自动确定的确定率的阈值视为50％，在图4的例子中，商品A、商品B、商品D、商品N在确定率部4434所存储的确定率超过50％，在总括指定部4435存储有表示进行自动确定的数值“1”。不过，对商品C由于确定率部4434所存储的确定率是38％，小于50％，所以总括指定部4435存储有表示是不自动确定的非确定商品的数值“0”。虽然将能够自动确定的确定率的阈值视为50％进行了说明，但是阈值不限定于50％，也可以是其他值。

单个指定部4436是通过用户(例如，店铺的经营者、经理)以不自动确定的方式单独设定的区域，当以不自动确定的方式设定了时，存储数值“0”。当为图4的例子时，商品A的确定率为55％超过了阈值，但考虑接近一半的商品不确定，从而关于商品A单独地进行不自动确定的非确定商品的设定。关于在单个指定部4436以不能自动确定的方式设定的非确定商品，不论总括指定部4435的指定状况如何，都不自动确定。

确定部4437对非确定商品存储表示未自动确定的数值“0”。此外，确定部4437对在总括指定部4435中指定有自动确定，并且在单个指定部4436中未单独地进行不自动确定的设定的可确定商品，存储表示有自动确定的数值“1”。当为图4的例子时，商品B、商品D及商品N是可确定商品，存储有数值“1”所以进行自动确定，但商品A、商品C是非确定商品，存储有数值“0”所以不进行自动确定。

图5是表示RAM43的数据构成的一例图。图5中RAM43具有商品信息存储部431、摄像图像存储部432及特征量存储部433。

商品信息存储部431从商品主文件443读出已确定的商品信息并进行存储。摄像图像存储部432采集通过摄像部47已摄像的商品图像并进行存储。特征量存储部433存储从通过摄像部47已摄像的商品图像抽出的特征量。

接着，参照图6至图11，对商品信息读取装置21的控制处理进行说明。图6是表示商品信息读取装置21的功能构成的功能框图。控制部100通过按照ROM42、存储器部44所存储的包含控制程序441的各种程序，具有采集部101、候选显示部102、告知部103及商品信息处理部104。

采集部101具有采集摄像部所摄像的商品的图像的功能。

候选显示部102具有当通过基于通过采集部101采集到的商品图像的识别处理不能自动确定为指定商品时，显示从所存储的基准商品中抽出为该商品的候选的商品候选的功能。基准商品诸如被存储在商品识别主文件442中。

告知部103具有当候选显示部102所显示的商品候选的最上位的商品是预先确定为不能自动确定的商品的非确定商品时，告知基于商品候选不确定指定商品的功能。

商品信息处理部104具有当候选显示部102所显示的商品候选已被选择有一个时，执行该选择的商品的商品信息处理的功能。

图7是表示POS终端的控制处理的流程的流程图。图7中控制部100判断操作部27所设置的开始键271是否已被操作(步骤S11)。开始键271是用于使摄像部47处于工作状态从而可由摄像部47进行摄像的键，当开始键271被操作时，则摄像部47维持工作状态，直到结束键272被操作。

当判断出开始键271已被操作时(步骤S11的是)，控制部100向摄像部47输出摄像导通信号(步骤S12)，从而使摄像部47处于工作状态。也就是说，可由摄像部47进行摄像。接着，控制部100将摄像部47所摄像的图像采集并存储到RAM43的摄像图像存储部432中(步骤S13)。另外，控制部100以规定的定时(时间)随时采集通过摄像部47所摄像的图像。

接着，控制部100判断是否从摄像图像存储部432所存储的摄像图像中检测出商品2(步骤S14)。控制部100采用公知的模式匹配技术检测摄像图像存储部432所存储的摄像图像所包含的商品2的全部或一部分的轮廓线。或者，判定是否从摄像图像检测出有皮肤区域，当检测出有皮肤区域时，即当检测出有操作员的手的映入时，通过在该皮肤区域的附近进行上述的轮廓线的检测，从而对假想操作员的手正把持的商品的轮廓抽出进行尝试。这时，当检测出有表示手的形状的轮廓和在手的轮廓附近除此之外的物体的轮廓时，根据该物体的轮廓检测商品2。

进行待机直到检测出商品2(步骤S14的否)，当判断为检测出商品2时(步骤S14的是)，控制部100对检测出的商品2抽出特征量(步骤S15)。特征量是对上述检测出的商品2的摄像图像基于商品2的表面状态(表面的色彩、图案、凹凸状况等)被抽出的。

而且，控制部100将抽出的商品2的特征量存储到RAM43的特征量存储部433中(步骤S16)。接着，控制部100将RAM43的特征量存储部433所存储的商品2的特征量和商品识别主文件442的特征量部4425所存储的多个商品的特征量进行比较，计算出相似度(步骤S17)。

控制部100将特征量存储部433所存储的特征量与特征量部4425所存储的各商品的基准特征量进行比较，计算出表示两特征量相似哪种程度的相似度。而且，如果有在计算出的相似度中其值大于等于规定阈值(例如，50％)的商品的商品代码的商品，则控制部100将该商品识别为通过摄像部47摄像的商品2的候选(商品候选)。而且，控制部100当在识别出的商品候选中有大于等于规定高的相似度(例如90％)的商品时，将该商品识别为确定商品。

对上述那样的图像中所包含的物体进行识别被称为一般物体识别(genericobject recognition：一般物体识别)。关于这样的一般物体识别的技术在下述的文献中各种识别技术被说明。

柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Vo l.48，No.SIG16[平成25年01月24日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>(柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48，No.SIG16“平成25年01月24日检索”，互联网＜URL：http：//mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞)

此外，通过对应每个物品(目的物)对图像进行区域分割，进行一般物体识别的技术在下列的文献中被说明。

Jamie Shottonら，“Semantic Texton Forests for Image Categorization andSegmentation”，[平成25年01月24日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf>(Jamie Shottonら(杰米肖顿等人)，“Semantic Texton Forests for ImageCategorization and Segmentation：”，“平成25年01月24日检索”，互联网＜URL：http：//citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf＞)

接着，控制部100基于在步骤S17中计算出的相似度，判断是否将商品2已识别为确定商品(步骤S18)。当判断为已识别时(步骤S18的是)，控制部100从商品识别主文件442的商品代码部4421读出识别为确定商品的商品的商品代码。而且，控制部100(商品信息处理部104)执行商品信息处理。也就是说，控制部100从商品主文件443读出与该商品代码对应的商品信息(商品代码、商品名、单价等)并存储到商品信息储存部431中(步骤S19)。而且，控制部100返回到步骤S14，待机接着的商品检测。商品信息存储部431所存储的商品信息在所述交易的结束定时(时间)发送给POS终端11。

另一方面，当作为在步骤S17中计算出相似度的结果，判断出将商品2未识别为确定商品时(步骤S18的否)，控制部100将相似度超过阈值的所有商品2识别为商品候选(步骤S31)。

接着，控制部100对作为商品候选的所有商品2，参照确定部4437检索(查找)有无非确定商品(步骤S32)。非确定商品是在总括指定部4435中存储有“0”的商品及在单个指定部4436中存储有“0”的商品。

而且，控制部100判断在商品候选中是否存在有非确定商品(步骤S33)。当判断出存在有非确定商品时(步骤S33的是)，控制部100(候选显示部102)将在步骤S31中识别出的商品候选与使操作员用显示部24和顾客用显示部29显示的指令同时指示给控制器46(步骤S34)。接受了指示的控制器46在操作员用显示部24上显示商品候选。而且，控制部100使与作为在步骤S32中检索出的结果的已识别出的非确定商品的图像的上部相对应地显示信息的指令指示给控制器46，所述信息是催促(提醒)已显示的商品候选的商品不进行商品确定、及操作顾客用显示部29上的触摸面板241从商品候选中选择指定商品的信息(步骤S35)。接受了指示的控制器46在操作员用显示部24上显示提醒不进行商品确定及操作顾客用显示部29上的触摸面板241，从商品候选中选择指定商品的信息。

图8至图11示出通过步骤S34及步骤S35在操作员用显示部24中所显示的商品候选的四种显示例。顾客用显示部29也被同样的显示。

图8是表示商品候选的显示例图。如图8所示，操作员用显示部24所显示的商品候选画面A1包括摄像图像区域A11和商品候选提示区域A12。

摄像图像区域A11是用于显示摄像图像存储部432所存储的摄像图像的区域。商品候选提示区域A12是用于显示被识别为商品候选的各登记商品的商品图像等的区域。该商品候选提示区域A12将在步骤S31中识别出的商品候选的商品图像(G1～G4)与商品名等同时进行显示。另外，商品候选提示区域A12也可以不显示在步骤S31中识别出的商品候选的商品图像，而显示商品名。

此外，在摄像图像区域A11的下部设置有用于从部类代码、商品明细等中手动选择(登记)商品的手动登记按钮B1。控制部100根据手动登记按钮B1的操作，在操作员用显示部24上显示用于手动进行商品登记的手动登记画面(未图示)。另外，通过手动登记画面登记的商品被作为后述的确定商品进行处理。

此外，控制部100靠近非确定商品的图像(G1和G3)的上部，分别显示信息“不自动确定”的文字S1。该信息是表示商品A和商品C是非确定商品、对此次摄像的商品2不确定指定商品、而且只要相符合的商品是商品A和商品C中的任意一个商品，则希望选择商品A和商品C中的任意一个商品的信息。商品的选择通过触摸操作触摸面板241来执行。

图9是表示商品候选的另一显示例图。如图9所示，控制部100靠近非确定商品的图像(G1和G3)的右侧部分别显示手指的标识S2。该手指的标识S2是表示商品A和商品C是非确定商品、对此次摄像的商品2不确定指定的商品、而且只要相符合的商品是商品A和商品C中的任意一个商品，则希望选择商品A和商品C中的任意一个商品的信息。商品的选择通过触摸操作触摸面板241来执行。

图10是表示商品候选的第三显示例图。如图10所示，控制部100将非确定商品的图像(G1和G3)的背景色S3以与其他商品的图像的背景色不同的方式进行显示。该不同的背景色S3是表示商品A和商品C是非确定商品、对此次摄像的商品2不确定指定的商品、而且只要相符合的商品是商品A和商品C中的任意一个商品，则希望选择商品A和商品C中的任意一个商品的信息。商品的选择通过触摸操作触摸面板241来执行。

图11是表示商品候选的第四显示例图。图11中控制部100在摄像图像区域A11的下部显示信息“不自动确定，请选择商品”的文字S4。该信息是在所显示的商品候选中存在有非确定商品、对此次摄像的商品2不确定指定的商品、而且希望选择相符合的商品的信息。商品的选择通过触摸操作触摸面板241来执行。

返回到图7的说明。控制部100判断是否从所显示的商品候选中已选择有指定的一个商品(步骤S36)。进行待机，直到判断为已选择(步骤S36的否)，当判断为已选择时(步骤S36的是)，控制部100将已选择的商品作为确定商品(步骤S37)。而且，控制部100执行步骤S19的处理。

此外，当在步骤S33中，判断为在商品候选中不存在有非确定商品时(步骤S33的否)，控制部100将在步骤S31中识别出的商品候选与使操作员用显示部24和顾客用显示部29显示的指令同时指示给控制器46(步骤S38)。接受了指示的控制器46在操作员用显示部24上显示商品候选。而且，控制部100判断是否从所显示的商品候选中选择有指定的一个商品(步骤S39)。当判断为已选择时(步骤S39的是)，控制部100执行步骤S37的处理。此外，当判断为未选择时(步骤S39的否)，控制部100返回到步骤S14并进行待机。

此外，当在步骤S11中判断为未操作有开始键271时(步骤S11的否)，控制部100判断是否操作有操作部27所设置的结束键272(步骤S41)。当判断为已被操作时(步骤S41的是)，控制部100向摄像部47输出摄像截至信号(步骤S42)，从而使摄像部47处于非工作状态。而且，控制部100结束处理。此外，当判断为未操作有结束键272时(步骤S41的否)，控制部100返回到步骤S11并进行待机。

根据这样的实施例，当判断为所显示的商品候选的最上位的商品是非确定商品时，显示不确定为指定商品，所以操作员是从所显示的候选商品选择商品还是待机到进行确定不犹豫不定。

此外，根据实施例，由于与非确定商品对应进行不确定的显示，所以操作员是从所显示的候选商品中选择商品还是待机到进行确定不犹豫不定。此外，操作员能够掌握不进行商品确定的商品。

(第二实施例)

接着，参照图12，对第二实施例的图像信息处理装置及程序进行说明。另外，在以下说明的实施例中，虽然将POS终端11作为图像信息处理装置的一例列举为例进行说明，但是本发明并不因实施例而被限定。此外，在图12中，与图2相同参照符号的构成是与图2相同的构成，所以省略说明。在图12中，存储器部64具有商品识别主文件643。商品识别主文件643与图4的商品识别主文件443是相同的构成。

在第二实施例中，控制部200执行与图7的流程图中的步骤S13～步骤S39同等的控制。商品信息读取装置21的控制部100执行步骤S11、步骤S12、步骤S41及步骤S42的处理。

这时，控制部200在步骤S13中采集从商品信息读取装置21发送的商品图像。此外，控制部200在步骤S34及步骤S38中将商品候选的图像信息与显示所述商品候选的图像信息的指示同时输出给商品信息读取装置21。此外，控制部200在步骤S19中执行将从商品主文件642读出的商品信息存储到商品信息存储部631中的商品信息处理。

(第三实施例)

接着，参照图13和图14，对第三实施例的图像信息处理装置及程序进行说明。另外，在以下说明的实施例中，虽然将具有POS终端11及商品信息读取装置21的大致两方功能的一体构成的自助结账装置(以下，仅称为自助POS)作为图像信息处理装置的一例列举为例进行说明，但是本发明并不因实施例而被限定。

图13是表示自助POS80的外观构成的立体图、图14是表示自助POS80的硬件构成的框图。另外，在以下中，图13及/或图14的参照符号81～86、87及88、90、97及98、300、841～843、871、872与图2的参照符号41～46、27和25、47～49、100、441～443、271、272是相同构成。此外，打印部89与图12的打印部67是相同构成。因此，省略对这些构成的说明。

如图13及图14所示，自助POS80的本体91具有在表面上配设有触摸面板881的顾客用显示部88、为了识别(检测)商品的种类等而摄像商品图像的摄像部90。

作为顾客用显示部88诸如采用有液晶显示器。顾客用显示部88显示用于向顾客告知自助POS80的操作方法的引导画面、各种的输入画面、显示通过摄像部90所摄像的商品信息的登记画面、显示商品的合计金额、预付金额、找零金额等并进行选择支付方法的对账(结账)画面等。

摄像部90是通过顾客将附在商品上的码符号对准摄像部90的读取窗901，从而通过摄像部90摄像商品图像的装置。

此外，在本体91的右侧设置有用于放置已装入筐中的未结算的商品的商品载置台92，在本体91的左侧设置有用于放置已结算的商品的商品载置台93。此外，设置有用于挂装入已结算的商品用的袋的袋挂钩95、用于将已结算的商品在装入袋之前临时放置的临时放置台96。商品载置台92及93的内部分别设置有计量已载置的商品的计量器(未图示)，并具有确定在结算前后商品的重量为相同的情况的功能。

此外，自助POS80的本体91设置有用于进行存入结算用纸币和接受找零纸币的找零机94。

当向这样构成的自助POS80应用了本发明的实施例时，自助POS80具有作为商品信息读取装置的功能，并执行与图7所示的控制同等的控制。另外，具有POS终端11和商品信息读取装置21的功能的一体构成的装置，并不限定于上述构成的自助POS80，也可以是不包含计量器的构成的装置。

以上，虽然对本发明的实施例进行了说明，但是这些的实施例是作为例子提出的，并不意图限定发明的范围。这些实施例可以用其他各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更、组合。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

例如，在实施例中，在图9的例子中在非确定商品的图像附近示出了手指的标识S2，但只要是诸如星号等标识则什么都可以。此外，在图10的例子中，使非确定商品的图像的背景色与其他的图像的背景色不同，但也可以改变背景的图案或景色等来替代使背景色不同。

此外，在实施例中，虽然作为告知部使操作员用显示部24和顾客用显示部29显示不确定指定商品，但是也可以采用除显示以外的诸如声音等其他的告知手段。

此外，在实施例中，也可以与商品信息读取装置21或POS终端11连接的店铺所设置的店铺服务器、本部所设置的本部服务器存储商品识别主文件442和商品主文件443。此外，商品识别主文件442和商品主文件443也可以分别设置在不同的装置中。

另外，在实施例的图像信息处理装置中所执行的程序用可安装的形式或可执行的形式的文件记录在CD-ROM、软磁盘(FD)、CD-R、DVD(Digital Versatile Disk：数字多功能光盘)等计算机可读的存储介质中而提供。

此外，也可以将在实施例的图像信息处理装置中执行的程序存储在与互联网等的网络连接的计算机上，并通过经由网络下载来提供。此外，也可以将在实施例的图像信息处理装置中执行的程序经由互联网等的网络进行提供或配置。

此外，也可以将在实施例的图像信息处理装置中执行的程序预先安装在ROM等中而提供。

Claims (10)

1.一种图像信息处理装置，包括：

采集部，采集摄像部所摄像的商品的图像；

候选显示部，当通过基于所述采集部采集到的商品的图像的识别处理不自动确定为指定商品时，显示从已存储的基准商品中抽出为所述商品的候选的商品候选；以及

告知部，当所述候选显示部所显示的商品候选中存在有预先被规定为不自动确定的商品的非确定商品时，告知基于所述商品候选不确定指定商品。

2.根据权利要求1所述的图像信息处理装置，还包括：

具有存储有商品主文件的存储器部，所述商品主文件具有作为以不自动确定的方式单独设定的区域的单个指定部。

3.根据权利要求2所述的图像信息处理装置，其中，

所述单个指定部，当基于所述商品的确定率而一半的商品不确定时，即使所述商品的确定率超过了阈值，也对所述商品单独地进行不自动确定的非确定商品的设定。

4.根据权利要求3中所述的图像信息处理装置，其中，

所述商品主文件具有总括指定部，所述总括指定部对确定率高的商品存储自动确定为指定商品的数值，对确定率低的商品存储有表示是不自动确定的非确定商品的数值，

所述单个指定部以不自动确定的方式设定的非确定商品，不论所述总括指定部的指定状况如何，都不自动确定。

5.根据权利要求4所述的图像信息处理装置，其中，

所述阈值是50％。

6.一种图像信息处理装置的控制方法，包括以下步骤：

采集步骤，采集摄像部所摄像的商品的图像；

候选显示步骤，当通过基于所述采集步骤采集到的商品的图像的识别处理不自动确定为指定商品时，显示从已存储的基准商品中抽出为所述商品的候选的商品候选；以及

告知步骤，当通过所述候选显示步骤所显示的商品候选中存在有预先被规定为不自动确定的商品的非确定商品时，告知基于所述商品候选不确定指定商品。

7.根据权利要求6所述的控制方法，其中，

具有存储有商品主文件的存储器部，所述商品主文件具有作为以不自动确定的方式单独设定的区域的单个指定部。

8.根据权利要求7所述的控制方法，其中，

所述单个指定部，当基于所述商品的确定率而一半的商品不确定时，即使所述商品的确定率超过了阈值，也对所述商品单独地进行不自动确定的非确定商品的设定。

9.根据权利要求8所述的控制方法，其中，

所述商品主文件具有总括指定部，所述总括指定部对确定率高的商品存储自动确定为指定商品的数值，对确定率低的商品存储有表示是不自动确定的非确定商品的数值，

所述单个指定部以不自动确定的方式设定的非确定商品，不论所述总括指定部的指定状况如何，都不自动确定。

10.根据权利要求9所述的控制方法，其中，

所述阈值是50％。

Images