CN104657704A - 商品识别装置及商品识别方法 - Google Patents

Abstract

本发明公开了商品识别装置及商品识别方法，能够将不能识别商品而处于无反应状态的情况告知给操作员，该商品识别装置包括：检测部，从已摄像的图像中检测出映入到该图像的物体；抽出部，从通过所述检测部检测出的物体的图像中抽出所述物体的外观特征量；计算部，将通过抽出部已抽出的外观特征量与对应每个识别对象商品保存有表示该商品的表面信息的特征量数据的词库文件的特征量数据进行核对，对应每个识别对象商品计算出相似度，所述相似度是表示所述外观特征量相对于所述特征量数据相似哪种程度的数据；识别部，基于通过计算部计算出的相似度，识别物体是否为商品；以及告知部，当通过识别部物体未被识别是商品时，向操作者告知物体的图像区。

Description

商品识别装置及商品识别方法

本申请主张申请日为2013年11月20日、申请号为JP2013-240022的日本申请为优先权，并引用上述申请的内容。

技术领域

本发明涉及一种从摄像图像识别商品的商品识别装置及商品识别方法。

背景技术

有一种这样的技术，从通过摄像部摄像作为对象的物体(目的物)而获得的图像数据抽出所述物体的外观特征量，与预先登记在识别词库文件中的各物体的基准图像的特征量数据进行核对从而计算出特征量的相似度，并根据该相似度识别所述物体。这种技术被称为一般物体识别(generic object recognition：一般物体识别)，在下列的文献中各种识别技术被说明。

柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Vol.48，No.SIG16[平成22年8月10日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>(柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48，No.SIG16“平成22年8月10日检索”，互联网＜URL：http：//mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞)

此外，通过对应每个目的物对图像进行区域分割，进行一般物体识别的技术在下列的文献中被说明。

Jamie Shottonら，“Semantic Texton Forests for ImageCategorization and Segmentation”，[平成22年8月10日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf>(Jamie Shottonら(杰米肖顿等人)，“Semantic Texton Forests for ImageCategorization and Segmentation：”，“平成22年8月10日检索”，互联网＜URL：http：//citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf＞)

近年来，提案有诸如在小卖店的结账系统(POS系统)中，向顾客购买的商品尤其象蔬菜、水果等那样未附加有条形码的商品的识别装置应用上述的一般物体识别的技术。这时，操作员(店员或顾客)将识别对象的商品对准摄像部。这样，在商品识别装置中，从摄像图像中识别有商品并将表示识别结果的信息(例如商品名)显示在显示部上。

不过，商品并不一定被识别。例如，往往有因操作员用手隐藏了商品而商品未被识别的情况。或者，也有因相似的特征量数据未登记在识别词库文件中而商品未被识别的情况。此外，也有因商品识别程序死机而商品未被识别的情况。

当商品未被识别时，商品识别装置无反应。因此，很难判断是正在识别商品当中还是不能识别商品，大多操作者由于改变举起商品的位置、或者改变对准方向进行试行，所以感到有压力。

发明内容

鉴于上述问题，本发明的目的在于提供一种商品识别装置及商品识别方法，其能够将不能识别商品而处于无反应状态的情况告知给操作者。

为解决上述问题，本发明第一方面涉及的商品识别装置，包括：检测部、抽出部、计算部及告知部。检测部，从已摄像的图像中检测出映入到该图像的物体。抽出部，从通过所述检测部检测出的物体的图像中抽出所述物体的外观特征量。计算部，将通过抽出部已抽出的外观特征量与对应每个识别对象商品保存有表示该商品的表面信息的特征量数据的词库文件的特征量数据进行核对，对应每个识别对象商品计算出相似度，所述相似度是表示所述外观特征量相对于所述特征量数据相似哪种程度的数据。识别部，基于通过计算部计算出的相似度，识别物体是否为商品。告知部，当通过识别部物体未被识别是商品时，向操作者告知物体的图像区。

本发明第二方面涉及的商品识别方法，包括以下步骤：检测步骤，从已摄像的图像中检测出映入到该图像的物体；抽出步骤，从检测出的所述物体的图像抽出所述物体的外观特征量；计算步骤，将已抽出的所述外观特征量与对应每个识别对象商品保存有表示该商品的表面信息的特征量数据的词库文件的所述特征量数据进行核对，对应每个所述识别对象商品计算出相似度，所述相似度是表示所述外观特征量相对于所述特征量数据相似哪种程度的数据；识别步骤，基于计算出的所述相似度，识别所述物体是否为商品；以及告知步骤，当所述物体未被识别是商品时，向操作者告知所述物体的图像区。

附图说明

下面，参照附图对本发明所涉及的商品识别装置及商品识别方法进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1是店铺结账系统的外观图；

图2是表示扫描装置和POS终端的硬件构成的框图；

图3是表示识别词库文件所保存的不同商品词库数据的构造的示意图；

图4是表示形成在扫描装置的RAM中的主要的内存区的示意图；

图5是表示按照商品识别程序，扫描装置的CPU所执行的主要的信息处理次序的流程图；

图6是表示进行了商品识别时的触摸面板的画面例的示意图；

图7是表示未进行商品识别时的触摸面板的画面例的示意图；

图8是表示物体未被识别是商品时的告知画面的一例的示意图；

图9是表示物体未被识别是商品时的告知画面的另一例的示意图；以及

图10是表示物体未被识别是商品时的告知画面的第三例的示意图。

附图标记说明

1    扫描装置

1B   读取窗

2    POS终端

11   键盘

12   触摸面板

13   顾客用显示器

14   摄像部

30   识别词库文件

40   PLU文件

111  CPU

具体实施方式

下面，参照附图，对商品识别装置的实施例进行说明。另外，本实施例是使构筑将蔬菜、水果等作为商品进行处理的小卖店的店铺结账系统的扫描装置1，具有作为商品识别装置功能的情况。

图1是店铺结账系统的外观图。该系统包括作为登记顾客购买的商品的登记部的扫描装置1、作为处理顾客的货款支付的结算部的POS(Point Of Sales：销售点)终端2。扫描装置1安装在结账台3上。POS终端2通过拉出装置5设置在收银台4上。扫描装置1和POS终端2通过通信电缆300(参照图2)电气连接。

扫描装置1包括键盘11、触摸面板12及顾客用显示器13，作为读取商品所需的设备。这些设备安装在构成扫描装置1的本体的薄的矩形形状的外壳1A上。

外壳1A内置有摄像部14。此外，矩形状的读取窗1B形成在外壳1A的正表面上。摄像部14具有作为区域图像传感器的CCD(Charge Coupled Device：电荷耦合器件)摄像元件及其驱动电路、使摄像区域的图像在CCD摄像元件上成像用的摄像透镜(镜头)。摄像区域是指从读取窗1B通过摄像透镜在CCD摄像元件的区域上进行成像的帧图像的区域。摄像部14输出通过摄像透镜在CCD摄像元件上已成像的摄像区域的图像。另外，摄像部14也可以是CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器。

POS终端2包括键盘21、操作员用显示器22、顾客用显示器23及票据打印机24，作为结算所需的设备。在这些设备中，键盘21、操作员用显示器22及顾客用显示器23配置在构成POS终端2的本体的机箱的上表面上。票据打印机24内置在上述机箱中，通过该打印机打印的票据从形成在机箱正面上的票据发放口进行发放。

结账台3沿其里侧的顾客通道形成为长方形形状。收银台4在相对于沿结账台3进行移动的顾客的移动方向在下游侧的结账台3的端部跟前侧，与结账台3大致垂直设置。而且，该结账台3的跟前侧和收银台4的跟前侧成为负责结账的店员所谓的收银员的空间。

扫描装置1的外壳1A以将键盘11、触摸面板12及读取窗1B分别朝向跟前侧的收银员侧的方式立着设置在结账台3的大致中央。扫描装置1的顾客用显示器13朝向顾客通道侧安装在外壳1A上。

隔着结账台3的扫描装置1位于顾客移动方向上游侧的结账台3的负荷接受面，成为放置购物筐6用的空间，该购物筐6装入有购物顾客要购买的未登记的商品M。另一方面，下游侧的负荷接受面成为放置装入通过扫描装置1已登记的商品M用的购物筐7的空间。

图2是表示扫描装置1和POS终端2的硬件构成的框图。扫描装置1包括扫描部101和操作/输出部102。扫描部101包括CPU(Central Processing Unit：中央处理器)111、ROM(Read Only Memory：只读存储器)112、RAM(RandomAccess Memory：随机存取存储器)113以及连接接口114。而且，扫描部101通过包括地址总线、数据总线的总线115，连接上述CPU111、ROM112、RAM113及连接接口114。此外，扫描部101通过未图示的输入输出电路将所述摄像部14与上述总线115连接。

CPU111相当于计算机的中枢部分。CPU111按照操作系统、应用程序，为了实现作为扫描装置1的各种功能而控制各部。

ROM112相当于上述计算机的主存储部分。ROM112存储上述的操作系统、应用程序。ROM112也有存储CPU111执行各种处理时所需的数据的情况。

RAM113相当于上述计算机的主存储部分。RAM113根据需要存储CPU111执行各种处理时所需要的数据。此外，RAM113也被用作CPU111进行各种处理时的工作区，例如存储通过摄像部14已摄像的帧图像等。

操作/输出部102包括连接接口116。而且，操作/输出部102在该连接接口116上连接总线117，进一步在该总线117上通过未图示的输入输出电路连接所述键盘11、触摸面板12及顾客用显示器13，从而发挥具有作为操作/输出部102的功能。触摸面板12包括面板式显示器12a、重叠配置在该显示器12a的画面上的触摸面板传感器12b。此外，操作/输出部102在总线117上连接声音合成部118。声音合成部118按照通过总线117输入的命令将声音信号输出给扬声器17。扬声器17将声音信号转换成声音进行输出。

扫描部101的连接接口114、操作/输出部102的连接接口116通过通信电缆300连接。通过该连接，来自扫描部101的数据信号被给予操作/输出部102并控制操作/输出部102的动作。

POS终端2也装载有CPU201作为控制部本体。而且，ROM203、RAM204、辅助存储部205、通信接口206及连接接口207通过总线202与该CPU201连接。此外，所述键盘21、操作员用显示器22、顾客用显示器23、打印机24及拉出装置5的各部也分别通过输入输出电路(未图示)与总线202连接。

通信接口206通过LAN(Local Area Network：局域网)等网络，与负责店铺中枢的店铺服务器(未图示)连接。通过该连接，POS终端2可与店铺服务器发送接收数据。

连接接口207通过通信电缆300与扫描装置1的两个连接接口114、116连接。通过该连接，POS终端2从扫描装置1的扫描部101接收信息。另一方面，扫描装置1访问POS终端2的辅助存储部205所保存的数据文件。

辅助存储部205诸如是HDD(Hard Disk Drive：硬盘驱动器)装置或SSD(Solid State Drive：固态硬盘)装置，其除保存各种程序外，还保存识别词库文件30、PLU文件40等数据文件。

图3是表示识别词库文件30所保存的不同商品词库数据的构造的示意图。如图3所示，识别词库文件30对应每个作为识别对象的商品，与识别该商品的商品ID及商品名关联保存有多个特征量数据。特征量数据是从摄影了通过对应的商品ID识别的商品的基准图像，抽出作为该商品的表面信息(外观形状、色彩、图案、凹凸状况等)的外观上的特征量，以参数表示该外观特征量的数据，相对于一个商品，分别保存有在从各个方向来观察该商品时的特征量数据1～N。另外，相对于一个商品的特征量数据的数量N并不是固定的。此外，特征量数据的数量N因商品而不同。此外，商品名也可以并不一定包含在不同商品词库数据中。

PLU文件40与各商品的商品ID关联，保存作为每一件该商品的价格的单价等的商品数据。CPU201当在扫描装置1中指定有销售商品的商品ID时，则从PLU文件40中调出与该商品ID关联的单价，并用该单价对所述销售商品的销售数据进行登记处理。另外，也可以合并识别词库文件30所保存的不同商品词库数据和PLU文件40所保存的不同商品数据，用一个数据文件进行管理。

在所涉及构成的店铺结账系统中，扫描装置1的摄像部14具有作为对通过操作者(店员)对准读取窗1B的商品进行摄像的摄像部的功能。触摸面板12具有作为显示通过上述摄像部(摄像部14)已摄像的图像的显示部的功能。CPU111具有作为检测部、抽出部、计算部、识别部及告知部的功能。

检测部从通过摄像部14摄像的图像中检测出映入到该图像中的物体。抽出部对从摄像图像中检测出的物体的图像进行分析，从而抽出所述物体的外观特征量。计算部将从物体图像已抽出的所述物体的外观特征量与识别词库文件30所保存的每个识别对象商品的特征量数据进行核对，对应每个识别对象商品计算出相似度，所述相似度是表示外观特征量相对于特征量数据相似哪种程度的数据。识别部基于每个计算出的识别对象商品的相似度，识别物体是否为商品。告知部当物体未被识别是商品时，向操作者告知物体的图像区域。

这些部是通过扫描装置1的CPU111按照商品识别程序执行处理来实现的。商品识别程序诸如存储在ROM112中。此外，如图4所示，作为执行该处理时所需的内存区，扫描装置1将确定商品内存41、确认商品内存42及候选商品内存43形成在RAM113中。

各内存41、42、43均具有将商品ID和后述的相似度成对进行存储的区。尤其确定商品内存41及确认商品内存42只存储一对商品ID和相似度。另一方面，候选商品内存43可存储多对商品ID和相似度。具体地说，确定商品内存41存储相似度超过第一阈值A的商品的商品ID和其相似度。确认商品内存42存储相似度小于或等于第一阈值A、且超过与该第一阈值A相比小的第二阈值B的商品的商品ID和其相似度。候选商品内存43存储小于或等于第二阈值B、且超过与该第二阈值B相比小的第三阈值C的商品的商品ID和其相似度。

当商品识别程序起动时，则CPU111开始图5的流程图所示的次序。另外，在图5示出的同时进行以下说明的处理的次序是一个例子，可以适当利用可获得同样结果的各种处理次序。

首先，CPU111向摄像部14输出摄像导通信号(Act1)。通过该摄像导通信号，摄像部14开始摄像摄像区域。通过摄像部14已摄像的摄像区域的帧图像依次保存在RAM113中。

输出了摄像导通信号的CPU111按顺序采集RAM113所保存的帧图像，并显示在显示器12a上(Act2)。而且，CPU111从该帧图像中检测出映入在该图像中的物体(Act3：检测部)。例如，CPU111从将帧图像进行了二值化的图像中抽出轮廓线等。而且，CPU111对映入到帧图像中的物体的轮廓抽出进行尝试。当抽出物体的轮廓时，则CPU111视为能够从帧图像中检测出物体(Act4)。

当不能从帧图像中检测出物体时(Act4的否)，CPU111返回到Act2的处理。也就是说，CPU111采集接着的帧图像。而且，CPU111从该帧图像中对检测物体进行尝试。

当从帧图像中能够检测出物体时(Act4的是)，CPU111指定包含该物体的轮廓的最小限度的诸如矩形形状的图像区，作为物体的图像区(Act5)。而且，CPU111从该区域内的图像中抽出物体的形状、表面的色彩、图案、凹凸状况等外观特征量(Act6：抽出部)。

如果能够抽出外观特征量，则CPU111通过连接接口115访问POS终端2。而且，CPU111将该外观特征量与识别词库文件30所保存的各识别对象商品的特征量数据进行依次核对，对应每个识别对象商品计算出相对于外观特征量的相似度(ST7：计算部)。

这时，当计算出超过所述第一阈值A的相似度时，CPU111将该商品的商品ID和相似度写入到确定商品内存41。另外，当已经在确定商品内存41中写入有数据时，CPU111将相似度大的一方留在确定商品内存41中。

当计算出小于或等于所述第一阈值A却超过所述第二阈值B的相似度时，CPU111将该商品的商品ID和相似度写入到确认商品内存42中。这时，当已经在确认商品内存42中写入有数据时，CPU111将相似度大的一方留存在确认商品内存42中。

当计算出有小于或等于所述第二阈值B却超过所述第三阈值C的相似度时，CPU111将该商品的商品ID和相似度写入在候选商品内存43中。这时，当已经在候选商品内存43中写入有数据时，CPU111将候选商品内存43内的数据按照相似度从高到低顺序进行排序。

CPU111确认能否计算出超过第三阈值C的相似度(Act8：识别部)。当在确定商品内存41、确认商品内存42及候选商品内存43均未写入有数据时，未计算出超过第三阈值C的相似度。这时(Act8的否)，CPU111向操作者告知物体的图像区域(Act9：告知部)。

具体地说，CPU111以将显示器12a所显示的帧图像视为操作者可指定物体的图像区的图像的方式来进行告知。例如，通过显示用矩形形状的框线包围物体的图像区的图像，让操作者指定物体的图像区。

之后，CPU111返回到Act2的处理，采集接着的帧图像。而且，CPU111再次执行Act3以后的处理。

当计算出超过第三阈值C的相似度时(Act8的是)，CPU111停止在Act9的处理中进行了的告知(Act10)。之后，CPU111执行确定处理(Act11)。确定处理在确定商品内存41中写入有数据时、在确认商品内存42中写入有数据时、以及在候选商品内存43中写入有数据时，处理内容不同。

当在确定商品内存41中写入有数据时，CPU111将通过该确定商品内存41所存储的商品ID指定的商品确定为对准读取窗1B的商品。而且，CPU111使通知商品已确定的声音从扬声器17中发出。

当在确认商品内存42中写入有数据时，CPU111使显示器12a显示名称按钮的图像，所述名称按钮在按钮框内显示了通过该确认商品内存42所存储的商品ID指定的商品的名称。而且，CPU111待机其名称按钮被触摸操作。根据通过触摸面板传感器12b检测出的信号，如果检测出名称按钮已被触摸操作，则CPU111将通过确认商品内存42所存储的商品ID指定的商品确定为对准了读取窗1B的商品。而且，CPU111使通知商品已确定的声音从扬声器17中发出。针对于此，当检测出除名称按钮以外的画面区已被触摸操作时，CPU111消去名称按钮的图像。这时，商品未被确定。

当在候选商品内存43中写入有数据时，CPU111使显示器12a显示名称按钮的图像，所述名称按钮在按钮框内显示了通过该候选商品内存43所存储的商品ID指定的商品的名称。而且，CPU111待机任一个名称按钮被触摸操作。根据通过触摸面板传感器12b检测出的信号，如果检测出任一个名称按钮已被触摸操作，则CPU111将其名称按钮所显示的名称的商品确定为对准了读取窗1B的商品。而且，CPU111使通知商品已确定的声音从扬声器17中发出。针对于此，当检测出除名称按钮以外的区被触摸操作时，CPU111消去名称按钮的图像。这时，商品未被确定。

CPU111判断商品是否已被确定(Act12)。当商品未被确定时(Act12的否)，CPU111返回到Act2的处理，采集接着的帧图像。而且，CPU111再次执行Act3以后的处理。

当商品已被确定时(Act12的是)，CPU111通过连接接口115将其已确定的商品的商品ID输出给POS终端2(Act13)。

现如图6所示，店员将物体M1对准了读取窗1B。这样，在摄像部14中，物体M1的大致整体被摄像。而且，在扫描装置1中，物体M1的外观特征量被抽出，并与识别词库文件30所保存的各商品的特征量数据进行比较。

在这里，在识别词库文件30中设定有与物体M1的外观特征量的相似度超过第一阈值A的特征量数据，作为商品“香蕉”的特征量数据。这时，在扫描装置1中，对准读取窗1B的物体M1被确定是商品“香蕉”，并将商品“香蕉”的商品ID输出给POS终端2。其结果，在POS终端2中，商品“香蕉”的销售数据被登记处理。

此外，当商品“香蕉”的特征量数据和物体M1的外观特征量的相似度超过第二阈值B却未达到第一阈值A时，如图6所示，在扫描装置1中，商品“香蕉”的按钮图像N1被显示在触摸面板12上，在这里，当店员触摸按钮图像N1时，则商品“香蕉”的商品ID被输出给POS终端2。其结果，在POS终端2中，商品“香蕉”的销售数据被登记处理。

另一方面，如图7所示，店员在几乎用手隐藏物体M2的状态下对准读取窗1B。这样，在扫描装置1中，包含物体M2的整个手背被识别为一个物体。而且，该物体的外观特征量被抽出，并与识别词库文件30所保存的各商品的特征量数据进行比较。

这时，大多与物体的外观特征量的相似度超过第三阈值C的特征量数据，未设定在识别词库文件30中。这时，现有的触摸面板12的画面中没有变化。此外，处于从扬声器中也未发出声音所谓的无反应的状态。因此，店员无法判断是正在识别商品当中还是不能识别商品，从而处于紧张状态。

针对于此，如图8所示，在本实施例中，在触摸面板12上显示矩形形状的框线L1，以使包围物体的识别区域。因此，通过确认该框线L1，店员能够容易知道已不能识别的情况。而且，这时，由于用框线L1包围的图像其大部分是手背，所以店员能够推测是因商品的对准方法有问题而不能识别的情况。此外，通过显示有框线L1，店员也能够确信程序(电脑)没有死机。

另外，在本实施例中，为了使操作者可指定物体的图像区域，用框线L1包围物体的图像区域，但可指定的图像并不限定于框线L1的显示。

如图9所示，也可以通过将物体的图像区域以外进行灰色布局，使物体图像区域突出出来从而可指定。此外，如图10所示，也可以通过放大显示，以使物体图像区域被显示在触摸面板12的画面的大致整个区域上，从而可指定物体的图像区域。

此外，即使显示框线L1时，框线L1的形状也并不限定于矩形。既可以是圆形或椭圆形，又可以是菱形等。此外，也可以诸如使框线L1闪烁等来唤起操作者注意。

另外，商品识别装置的转让一般是在商品识别程序等的程序被存储在ROM112中的状态下进行的。不过，并不限定于此，也可以在计算机装置所具有的可写入的存储设备中根据用户等操作写入有与该计算机装置分别单独转让的商品识别程序等。商品识别程序等的转让可以记录在可移动的存储介质中，或通过网络的通信进行。存储介质只要是象CD-ROM、存储卡等那样能存储程序且装置可读取的介质，则其形态不限。此外，通过安装或下载程序获得的功能也可以与装置内部的OS(操作系统)等协作来实现其功能。

虽然对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他各种形式来实施，在不脱离发明的要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

Claims (10)

1.一种商品识别装置，其特征在于，包括： 

检测部，从已摄像的图像中检测出映入到该图像的物体； 

抽出部，从通过所述检测部检测出的所述物体的图像中抽出所述物体的外观特征量； 

计算部，将通过所述抽出部已抽出的所述外观特征量与对应每个识别对象商品保存有表示该商品的表面信息的特征量数据的词库文件的所述特征量数据进行核对，对应每个所述识别对象商品计算出相似度，所述相似度是表示所述外观特征量相对于所述特征量数据相似哪种程度的数据； 

识别部，基于通过所述计算部计算出的所述相似度，识别所述物体是否为商品；以及 

告知部，当通过所述识别部所述物体未被识别是商品时，向操作者告知所述物体的图像区。 

2.根据权利要求1所述的商品识别装置，其特征在于，还包括： 

摄像部，对通过操作者已对准读取窗的商品进行摄像；以及 

显示部，显示通过所述摄像部已摄像的图像， 

其中，所述告知部当通过所述识别部所述物体未被识别是商品时，以将通过所述显示部显示的图像视为所述操作者能够指定所述物体的图像区的图像的方式进行告知。 

3.根据权利要求2所述的商品识别装置，其特征在于， 

所述操作者能够指定所述物体的图像区的图像是用框包围了所述物体的图 像区的图像。 

4.根据权利要求2所述的商品识别装置，其特征在于， 

所述操作者能够指定所述物体的图像区的图像是使除所述物体的图像区外的区域变灰色的图像。 

5.根据权利要求2所述的商品识别装置，其特征在于， 

所述操作者能够指定所述物体的图像区的图像是将所述物体的图像区放大到画面全尺寸进行显示的图像。 

6.一种商品识别方法，包括以下步骤： 

检测步骤，从已摄像的图像中检测出映入到该图像的物体； 

抽出步骤，从检测出的所述物体的图像抽出所述物体的外观特征量； 

计算步骤，将已抽出的所述外观特征量与对应每个识别对象商品保存有表示该商品的表面信息的特征量数据的词库文件的所述特征量数据进行核对，对应每个所述识别对象商品计算出相似度，所述相似度是表示所述外观特征量相对于所述特征量数据相似哪种程度的数据； 

识别步骤，基于计算出的所述相似度，识别所述物体是否为商品；以及 

告知步骤，当所述物体未被识别是商品时，向操作者告知所述物体的图像区。 

7.根据权利要求6所述的商品识别方法，其特征在于，还包括以下步骤： 

摄像步骤，对通过操作者已对准读取窗的商品进行摄像；以及 

显示步骤，显示通过所述摄像部已摄像的图像， 

其中，所述告知步骤当通过识别步骤所述物体未被识别是商品时，以将通过所述显示步骤显示的图像视为所述操作者能够指定所述物体的图像区的图像 的方式进行告知。 

8.根据权利要求7所述的商品识别方法，其特征在于， 

所述操作者能够指定所述物体的图像区的图像是用框包围了所述物体的图像区的图像。 

9.根据权利要求7所述的商品识别方法，其特征在于， 

所述操作者能够指定所述物体的图像区的图像是使除所述物体的图像区外的区域变灰色的图像。 

10.根据权利要求7所述的商品识别方法，其特征在于， 

所述操作者能够指定所述物体的图像区的图像是将所述物体的图像区放大到画面全尺寸进行显示的图像。