CN103577515A - 商品识别装置及识别词库追加方法 - Google Patents

Abstract

本发明公开一种商品识别装置及识别词库追加方法，能够操作简单且效率高地进行向识别词库追加特征量数据，该商品识别装置包括：商品候补抽取部，将从摄像图像中抽取的商品的外观特征量与识别词库文件的特征量数据进行核对，抽取图像所包含的商品的候补；商品选择接受部，当抽取有多个商品时，则从多个该商品候补中接受图像所包含的商品的选择输入；追加宣告接受部，当接受任一个商品的选择输入时，则接受是否对该选择的商品执行识别词库文件所保存的特征量数据的追加的宣告输入；追加部，当接受执行追加的旨意的宣告输入时，则将抽取的外观特征量的数据作为与接受了选择的商品对应的特征量数据，追加到识别词库文件中。

Description

商品识别装置及识别词库追加方法

本申请主张申请日为2012年7月23日、申请号为JP2012-162852的日本申请为优先权，并引用上述申请的内容。

技术领域

本发明涉及一种从通过摄像部摄像的图像中识别商品的商品识别装置及向该装置所使用的识别词库追加特征量数据的识别词库追加方法。

背景技术

有一种这样的技术，从通过摄像部摄像了成为对象的物品（目的物）的图像数据中抽取所述物品的特征量，与登记在识别词库中的特征量数据进行核对从而计算出相似度，并按照该相似度识别所述物品的种类等。识别这样的图像中所包含的物品的技术被称为一般物体识别（generic object recognition：一般物体识别）。关于该一般物体识别的技术在下述的文献中各种识别技术被说明。

柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．48，Ｎｏ．ＳＩＧ16[平成22年8月10日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>（柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48，No.SIG16“2010年8月10日检索”，互联网＜URL：http：//mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞）

此外，通过对应每个目的物对图像进行区域分割，进行一般物体识别的技术在下述的文献中被说明。

Jamie Shottonら，“Semantic Texton Forests forImage Categorization and Segmentation”，[平成22年8月10日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>（Jamie Shottonら（杰米肖顿等人），“Semantic Texton Forests for Image Categorizationand Segmentation：”，“2010年8月10日检索”，互联网＜URL：http：//citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf＞）

近年来，提案有一种这样的技术，诸如在小卖店的结账系统（POS系统）中，向顾客所购买的商品，尤其象蔬菜、水果等那样的未附有条形码的商品的识别装置，应用一般物体识别的技术。这时，在识别词库中，保存有用参数表示识别对象商品的外观形状、色彩、图案、凹凸状况等表面信息的特征量数据。商品识别装置从通过摄像部摄像的商品的图像数据中抽取该商品的外观上的特征量，将该特征量与识别词库所登记的各商品的特征量数据进行核对。而且，商品识别装置将特征量数据相似的商品作为识别商品候补进行输出。

在一般物体识别的技术中，公知有这样的技术，通过向识别词库追加特征量数据、即根据识别处理的结果向识别词库中追加特征量数据，提高识别精度。尤其当将一般物体识别的技术应用于商品识别装置时，蔬菜、水果等商品因产地或季节等因素外观会发生变化。因此，向识别词库追加特征量数据在提高识别精度方面非常有效。

发明内容

本发明的所要解决的技术问题在于如何提供一种能够操作简单且有效地进行向识别词库追加特征量数据的商品识别装置及基于该装置的识别词库追加方法。

本发明一方面涉及的商品识别装置，包括：特征量抽取部、商品候补抽取部、商品选择接受部、追加宣告接受部、以及追加部。特征量抽取部，从通过摄像部摄像的图像中抽取该图像所包含的商品的外观特征量。商品候补抽取部，将通过特征量抽取部抽取的外观特征量的数据与识别词库文件的特征量数据进行核对，抽取图像所包含的商品的候补，所述识别词库文件对应每个作为识别对象的商品保存有表示该商品的表面信息的特征量数据。商品选择接受部，当通过商品候补抽取部多个商品被识别作为图像所包含的商品的候补时，从多个该商品候补中接受图像所包含的商品的选择输入。追加宣告接受部，当通过商品选择接受部从多个商品中接受任一个商品的选择输入时，则接受是否对该选择的商品执行识别词库文件所保存的特征量数据的追加的宣告输入。追加部，当通过追加宣告接受部接受执行追加的旨意的宣告输入时，则将通过特征量抽取部抽取的外观特征量的数据作为与通过商品选择接受部接受了选择的商品对应的特征量数据，追加到识别词库文件中。

本发明另一方面涉及的基于商品识别装置的识别词库追加方法，所述商品识别装置从通过摄像部摄像的图像中抽取该图像所包含的商品的外观特征量，并将抽取的外观特征量的数据与识别词库文件的特征量数据进行核对，抽取所述图像所包含的商品的候补，所述识别词库文件对应每个作为识别对象的商品保存有表示该商品的表面信息的所述特征量数据，该识别词库追加方法包括以下步骤：商品选择接受步骤，当多个商品被识别作为所述图像所包含的商品的候补时，从该多个商品的候补中接受所述图像所包含的商品的选择输入；追加宣告接受步骤，当从所述多个商品中接受任意一个商品的选择输入时，则接受是否对该选择的商品执行所述识别词库文件所保存的所述特征量数据的追加的宣告输入；以及追加步骤，当接受执行所述追加的旨意的宣告输入时，则追加所述图像所包含的商品的外观特征量的数据，作为所述识别词库文件的与接受了所述选择输入的商品对应的特征量数据。

附图说明

图1是店铺结账系统的外观图。

图2是表示扫描器装置和POS终端的硬件构成的框图。

图3是表示识别词库文件所保存的词库数据的构造示意图。

图4是用于对作为商品识别装置的功能进行说明的框图。

图5是表示为了实现识别词库追加功能所需要的存储区的示意图。

图6是表示商品识别装置的CPU按照商品识别程序及识别词库追加程序执行的信息处理次序的要部的流程图。

图7是表示在图6的步骤ST5中所示出的识别处理的具体次序的流程图。

图8是表示登记商品选择画面的一例图。

图9是表示可否追加选择画面的一例图。

具体实施方式

下面，参照附图对商品识别装置及基于该商品识别装置的识别词库追加方法所涉及的实施例进行说明。另外，本实施例是使构筑将新鲜食品等作为商品进行处理的小卖店的店铺结账系统的扫描器装置1和POS（Point Of Sales：销售点）终端2具有作为商品识别装置的功能的实施例。

图1是店铺结账系统的外观图。该系统包括作为登记顾客所购买的商品的登记部的扫描器装置1，作为处理顾客的货款支付的结算部的POS（Point Of Sales：销售点）终端2。扫描器装置1安装在结账柜台3上。POS终端2通过拉出装置（抽屉）5设置在收银台4上。扫描器装置1和POS终端2通过未图示的通信电缆电连接。

扫描器装置1具有键盘11、触摸面板12及顾客用显示器13。这些显示/操作设备（键盘11、触摸面板12及顾客用显示器13）被安装在构成扫描器装置1的本体的薄的矩形形状的外壳1A上。

外壳1A内置有作为摄像单元的摄像部14。此外，矩形状的读取窗1B形成在外壳1A的正表面上。摄像部14具有作为区域图像传感器的CCD（Charge Coupled Device：电荷耦合器件）摄像元件及其驱动电路、用于使摄像区域的图像在CCD摄像元件上成像的摄像透镜。摄像区域是指从读取窗1B通过摄像透镜在CCD摄像元件的区域上成像的帧图像的区域。摄像部14输出通过摄像透镜在CCD摄像元件上成像的摄像区域的图像。

POS终端2具有键盘21、操作员用显示器22、顾客用显示器23及票据打印机24，作为结算所需的设备。

结账台3沿其里侧的顾客通道呈细长形状。收银台4在沿结账台3进行移动的顾客的移动方向的下游侧的结账台3的端部跟前侧，与结账台3大致垂直放置。而且，该结账台3的跟前侧和收银台4的跟前侧成为负责结账的店员的所谓的收银员空间。

在结账台3的大致中央，扫描器装置1的外壳1A以键盘11、触摸面板12及读取窗1B分别朝向跟前侧的收银员侧的方式竖着设置。扫描器装置1的顾客用显示器13朝向顾客通道侧并安装在外壳1A上。

隔着结账台3的扫描器装置1，顾客移动方向上游侧的负荷接受面成为用于放置购物筐6的空间，该购物筐6装有购物顾客所购买的未登记的商品M。另一方面，下游侧的负荷接受面成为用于放置购物筐7的空间，该购物筐7用于装入通过扫描器装置1已登记的商品M。

图2是表示扫描器装置1和POS终端2的硬件构成的框图。扫描器装置1具有扫描器部101和操作/显示部102。扫描器部101装载有CPU（Central Processing Unit：中央处理器）111作为控制部本体。而且，ROM（Read Only Memory：只读存储器）113和RAM（Random Access Memory：随机存取存储器）114通过地址总线、数据总线等的总线112与该CPU111连接。ROM113存储有通过CPU111执行的程序。

此外，总线112通过输入输出电路（未图示）连接有所述摄像部14。此外，所述键盘11、触摸面板12及顾客用显示器13通过连接接口115及连接接口116与总线112连接。触摸面板12诸如具有采用液晶显示器的面板显示部121、重叠配置在该显示部的画面上的触摸面板传感器122。

所述连接接口116、所述键盘11、触摸面板12及顾客用显示器13构成所述操作/显示部102。构成操作/显示部102的各部不仅受扫描器部101的CPU111控制，还受后述的POS终端2的CPU201控制。

POS终端2也装载有CPU201，作为控制部本体。而且，ROM203、RAM204、HDD（Hard Disk Drive：硬盘驱动器）装置205、通信接口206及连接接口207通过总线202与该CPU201连接。所述键盘21、操作员用显示器22、顾客用显示器23、打印机24及拉出装置5的各部也分别通过输入输出电路（未图示）与总线202连接。

通信接口206通过LAN（Local Area Network：局域网）等网络，与负责店铺中枢的店铺服务器8连接。通过该连接，POS终端2可与店铺服务器8接收发送数据。这样，POS终端2访问店铺服务器8所具有的识别词库文件9、商品数据文件（未图示）等，读入各文件所保存的数据记录，或更新（追加、变更、删除）数据记录。

连接接口207通过通信电缆与扫描器装置1的两连接接口115、116连接。通过该连接，POS终端2接收通过扫描器装置1的扫描器部101读取的信息。此外，POS终端2在与构成扫描器装置1的操作/显示部102的键盘11、触摸面板12、顾客用显示器13之间发送接收数据信号。

图3是表示识别词库文件9所保存的词库数据的构造的示意图。如图3所示，识别词库文件9对应每个作为识别对象的商品，与识别该商品的商品ID及商品名关联，保存有多个特征量数据。特征量数据是用参数表示作为以对应的商品ID来识别的商品的表面信息（外观形状、色彩、图案、凹凸等）的外观上的特征量的数据，对于一个商品分别保存有从各个方向观察该商品时的特征量数据0～N。另外，对于一个商品的特征量数据的数（N+1）并不固定。此外，特征量数据的数（N+1）因商品而不同。

店铺中销售的各商品已分配有固有的商品ID。商品数据文件与各商品的商品ID关联，并保存有商品名、单价、预选图像等的商品信息。

图4是用于对作为由所述扫描器装置1和POS终端2构成的商品识别装置的功能进行说明的框图。该功能包含特征量抽取部41、商品候补抽取部42、商品选择接受部43、追加宣告接受部44及追加部45。

特征量抽取部41从通过摄像部14摄像的图像中抽取该图像所包含的商品的形状、表面的色彩、图案、凹凸状况等的外观上的特征量（外观特征量）。商品候补抽取部42将通过特征量抽取部41抽取的外观特征量数据与所述识别词库文件9所保存的各商品的特征量数据依次核对，对应每个商品计算出数据的相似度。相似度的计算方法并没有特别限定，例如，也可以采用对具有等长字符数的特征量数据彼此的位于对应的位置上的字符不同的个数进行计数的汉明距离的方法，计算出相似度。商品候补抽取部42抽取相似度比基准高的商品作为图像所包含的商品的候补。另外，相似度诸如也可以是表示一致程度的一致度（一致率）或表示相关到哪种程度的相关值等。也就是说，相似度只要是根据通过摄像部14摄像的图像的特征量和识别词库文件9所存储的特征量获得的值就行。

当通过商品候补抽取部42识别多个商品作为图像所包含的商品的候补时，则商品选择接受部43从多个该商品中接受图像所包含的商品的选择输入。当通过商品选择接受部43从多个商品中接受任一个商品的选择输入时，则追加宣告接受部44接受是否对该选择的商品执行识别词库文件9所保存的特征量数据进行追加的宣告输入。当通过追加宣告接受部44接受执行追加的旨意的宣告输入时，则追加部45将通过特征量抽取部41抽取的外观特征量的数据作为与通过商品选择接受部43接受了选择的商品对应的特征量数据，追加到识别词库文件9中。也就是，商品识别装置（扫描器装置1、POS终端2）具有根据识别处理的结果向识别词库文件9追加特征量数据的识别词库追加功能。

图5是表示为了实现上述识别词库追加功能所需的存储区的示意图。存储区51是追加执行标志F的存储区。商品识别装置在执行标志F打开时将识别词库追加功能视为有效，在关闭时将该功能视为无效。存储区52是根据状态（1或0）设定了进行是否执行识别词库文件9的追加的确认的条件（确认条件）的表区域。作为确认条件具有“相似度差”和“候补位次”两种。在状态为“1”时，对应的确认条件变为有效。在追加执行标志F打开时，确认条件“相似度差”或“候补位次”中任一项的状态变为“1”。

所述追加宣告接受部44在通过所述商品选择接受部43接受了选择输入的商品的识别词库文件9所保存的特征量数据和通过特征量抽取部41抽取的外观特征量的数据的相似度，与通过商品候补抽取部42抽取作为候补的其他商品的识别词库文件9所保存的特征量数据和通过特征量抽取部41抽取的外观特征量的数据的相似度进行比较，较低时，接受是否执行追加的宣告输入。

具体地说，在接受了选择输入的商品的所述相似度和在被识别作为候补的其他商品的所述相似度中最高的相似度之差大于等于规定值（规定值以上）时，接受是否执行追加的宣告输入。或者，在接受了选择输入的商品的所述相似度在将被识别为候补的所有商品的所述相似度按从高到低的顺序排列的位次中相当于第1位以外的规定位次以下时，接受是否执行追加的宣告输入。前者的追加宣告接受部在针对所述确认条件“相似度差”的状态为“1”时被执行。后者的追加宣告接受部在针对所述确认条件“候补位次”的状态为“1”时被执行。

存储区51、52在POS终端2的RAM204中被形成。扫描器装置1的RAM114中也可以形成有存储区51、52。是否打开存储区51的追加执行标志F在POS终端2的设定业务中通过自动或手动来执行。同样，使在存储区51的确认条件不同的状态中任一状态为“1”的设定也在POS终端2的设定业务中通过自动或手动来执行。

图6是表示商品识别装置（扫描器装置1、POS终端2）的CPU（CPU111、CPU201）按照商品识别程序及识别词库追加程序执行的信息处理次序的要部的流程图。在图6中，从步骤ST1到步骤ST7的处理是按照商品识别程序的处理，从步骤ST8到步骤ST14的处理是按照识别词库追加程序的处理。

商品识别程序和识别词库追加程序既可以是各自独立的程序，又可以是一个统一的程序。商品识别程序和识别词库追加程序被存储在POS终端2的ROM203中。上述程序的至少一部分也可以存储在扫描器装置1的ROM113中。

当开始图6的处理时，则CPU（CPU111或CPU201：以下相同）向摄像部14输出摄像导通信号（ST1）。例如，CPU201向CPU111指令摄像导通，接受了该指令的CPU111向摄像部14输出摄像导通信号。通过该摄像导通信号，摄像部14开始摄像区域的摄像。通过摄像部14摄像的摄像区域的帧图像被依次保存在RAM114中。

CPU采集RAM114所保存的帧图像的数据（ST2）。而且，CPU确认是否从该帧图像中检测出商品（ST3）。具体地说，CPU从将帧图像二值化的图像中抽取轮廓线等。而且，CPU尝试对映入到帧图像中的物体进行轮廓抽取。当物体的轮廓被抽取时，则CPU将该轮廓内的图像视为商品。

当从帧图像中未检测出商品时（ST3的否），CPU从RAM114中采集接着的帧图像（ST2）。而且，CPU确认是否从该帧图像中检测出商品（ST3）。

当从帧图像中检测出商品时（ST3的是），CPU从其轮廓内的图像中抽取商品的形状、表面的色彩、图案、凹凸状况等的外观上的特征量（外观特征量）（ST4：特征量抽取部41）。所抽取的外观特征量的数据被暂时存储到RAM204的工作区中。

当抽取特征量结束时，则CPU执行由图7的流程图具体所示出的次序的识别处理（ST5：商品候补抽取部42）。首先，CPU检索店铺服务器8的识别词库文件9（ST21）。而且，CPU从识别词库文件9中读入一商品的数据记录（商品ID、商品名、多个特征量数据）（ST22）。

如果读入了数据记录，则CPU计算出表示在步骤ST4的处理中抽取的外观特征量的数据与所述记录的特征量数据相似到哪种程度的相似度（ST23）。可以说相似度值越大相似率越高。在本实施例中，将相似度的上限设为“100”，对应每个商品计算出特征量数据的相似度。

CPU确认相似度是否比规定的基准阈值高（ST24）。基准阈值是作为登记商品候补应留下的商品的相似度的下限。如上所述当将相似度的上限值设为“100”时，基准阈值诸如设定为“100”的1/5的“20”。当相似度处于比基准阈值高的等级时（ST24的是），CPU将所述数据记录的商品ID及商品名、在步骤ST4的处理中抽取的外观特征量的数据以及在步骤ST23的处理中计算出的相似度作为登记商品候补存储在RAM204的规定区域（ST25）。针对于此，当相似度未超过基准阈值时（ST24的否），CPU不执行步骤ST25的处理。

之后，CPU确认在识别词库文件9中是否存在有未处理的数据记录（ST26）。当存在时（ST26的是），CPU返回到步骤ST22的处理。也就是说，CPU从识别词库文件9中进一步读入未处理的数据记录，执行所述步骤ST23～ST26的处理。

这样，当对识别词库文件9所保存的所有商品的数据记录，执行所述步骤ST23～ST26的处理时（ST26的否），则结束识别处理。当结束识别处理时，则CPU确认有无登记商品候补（ST6）。

当在RAM204的规定区域成为登记商品候补的商品数据（商品代码、外观特征量、相似度）一个也没有被存储时，则没有登记商品候补。这时（ST6的否），CPU返回到步骤ST2的处理。也就是说，CPU从RAM114中采集接着的帧图像数据。而且，CPU对该图像数据执行所述步骤ST3～ST6的处理。

另一方面，当在RAM204的规定区域中成为登记商品候补的商品数据（商品代码、商品名、外观特征量、相似度）存储哪怕有一个时，也算作有登记商品。这时（ST6的是），CPU确认是否能够自动地设定登记商品（ST7）。具体地说，CPU确认在成为登记商品候补的商品数据中相似度超过规定的确定阈值的数据是否仅存在有一个。确定阈值是比基准阈值大很多的值，如上所述，当将相似度的上限值设为“100”时，则设定为比“100”的二分之一稍多的值、诸如“60”。

当在登记商品候补中相似度超过确定阈值的商品仅存在有一个时，该商品自动地被确定作为登记商品。当除此之外也就是相似度超过确定阈值的商品一个也不存在或存在有大于等于二个时，不确定登记商品。当确定了登记商品时（ST7的是），CPU跳越ST8之后的处理、即跳越识别词库追加程序的处理程序，过渡到接着的处理、即自动确定的商品的登记处理程序。

针对于此，当未确定登记商品时（ST7的否），CPU使触摸面板12显示登记商品选择画面60（ST8：商品选择接受部43）。

图8示出登记商品选择画面60的一例。如图8所示，登记商品选择画面60划分成摄像图像显示区域61和候补商品显示区域62。此外，“其他”按钮63显示在登记商品选择画面60上。在摄像图像显示区域61显示有在步骤ST2的处理中采集到的帧图像。候补商品显示区域62进一步细分成三个区域621、622、623，从画面上方开始按相似度从大到小的顺序显示有成为登记商品候补的商品的预选图像。

缘于上述，在初始画面中，相似度为从第1位到第3位的商品的预选图像从画面上方开始按顺序显示在候补商品显示区域62（621、622、623）上。在该状态下，当“其他”按钮63被触摸时，则候补商品显示区域62切换成相似度为从第4位到第6位的商品的预选图像。之后，每触摸操作“其他”按钮63，区域62的图像就切换成相似度为更低位的商品的预选图像。另外，当“其他”按钮63被触摸操作一次时，则“返回”按钮（未图示）的图像被显示在登记商品选择画面60上。而且，当该“返回”按钮被触摸操作时，则触摸面板12的画面返回到之前的登记商品选择画面60。

向读取窗1B举起了登记商品的用户从候补商品显示区域62中寻找登记商品。而且，如果看到了登记商品，则用户触摸显示有该商品的预选图像的区域621、622或623。

CPU待机候补商品显示区域62被触摸操作。如果候补商品显示区域62被触摸操作了，则CPU确认在该触摸区域中显示有预选图像的商品的相似度的位次（ST9）。当选择有相似度为第1位的商品时（ST9的是），CPU跳越ST10之后的处理，过渡到接着的处理、即相似度为第1位的商品的登记处理程序。

针对于此，当选择了相似度为第2位以下（包括第2位）的商品时（ST9的否），CPU检验追加执行标志F（ST10）。当追加执行标志F为关闭时，不进行识别词库的追加。这时（ST10的否），CPU跳越ST11以后的处理，过渡到接着的处理、即所选择的商品的登记处理程序。

针对于此，当追加执行标志F为打开时，CPU判定是否需要追加执行的确认（ST11）。也就是说，CPU检验存储区域52识别状态为“1”的确认条件。当确认条件为“相似度差”时，CPU计算所选择的商品的相似度和第1位的相似度的差分，确认该差分值是否超过规定的阈值。而且，CPU当差分值超过规定的阈值时，确定需要用户进行确认，当差分值小于等于规定阈值时，确定无需用户确认。

另一方面，当确认条件为“候补位次”时，CPU确认所选择的商品的相似度的位次是否为低于第1位的规定阈值位次以下（例如，第3位）。而且，CPU当相似度的位次为阈值位次以下（包含阈值位次）时，确定需要用户进行确认，当相似度的位次为比阈值位次高时确定无需用户进行确认。

当在步骤ST11中判断出为需要确认时（ST11的是），CPU使触摸面板12显示可否追加选择画面70（ST12：追加宣告接受部44）。

图9示出可否追加选择画面70的一例。如图9所示，可否追加选择画面70被划分成摄像图像显示区域71、选择商品显示区域72。此外，“执行”按钮73和“不执行”按钮74显示在可否追加选择画面70上。在摄像图像显示区域71显示有在步骤ST2的处理中采集到的帧图像。在选择商品显示区域72显示有在登记商品选择画面60中已选择的商品的预选图像。图9是当在图8的登记商品选择画面60中选择有区域622显示有预选图像的商品“洋ナシ（洋梨）”时的可否追加选择画面70。另外，如图9所示，选择商品显示区域72的位置既可以与在登记商品选择画面60中显示有已选择的商品的预选图像的候补商品显示区域62一致，又可以与其不同。在与显示有预选图像的候补商品显示区域62相同位置上显示时，所选的一目了然。

用户当执行向识别词库追加特征量数据时，触摸“执行”按钮73。针对于此，例如，当因选错了商品而不执行追加时，触摸“不执行”。

CPU待机在“执行”按钮73和“不执行”按钮74中任一个按钮被触摸（ST13）。在这里，当“不执行”按钮74被触摸了时（ST13的否），CPU跳越步骤ST13的处理前进到接着的处理。但是，由于所选的商品错误，所以不执行商品登记处理程序。

当“执行”按钮73被触摸了时（ST13的是），或者在ST11的处理中判断出为不需要确认时（ST11的否），CPU执行向识别词库文件9追加特征量数据（ST14：追加部45）。也就是说，CPU从所选择的商品的商品数据（商品代码、商品名、外观特征量、相似度）中读出商品代码和外观特征量数据。而且，CPU访问识别词库文件9，向包含所述商品代码的数据记录，追加所述外观特征量数据作为新特征量数据。之后，CPU过渡到接着的处理、即所选择的商品的登记处理程序。

这样，在本实施例的店铺结账系统中，当用户向扫描器装置1的读取窗1B举起商品时，则通过摄像部14摄像该商品。而且，根据从该商品的图像中抽取的所述商品的外观特征量的数据和识别词库文件9所登记的各商品的特征量数据，对应每个商品计算出特征量的相似度。而且，按相似度从高到低的顺序确定登记商品候补，并将其明细显示在触摸面板12上。因而，用户从登记商品候补中选择符合的商品。通过这样做，在店铺结账系统中，该选择的商品的销售数据被登记处理。

在这里，当所选择的商品相似度为第1位的商品时，识别词库文件9所登记的所述商品的特征量数据与所述商品的外观特征量近似。因此，不需要向识别词库文件9追加特征量数据。针对于此，当所选择的商品的相似度与未被选择的其他商品的相似度相比低时，需要向识别词库文件9追加特征量数据。

在本实施例的店铺结账系统中，当所选择的商品是相似度为第1位的商品时，不执行向识别词库文件9追加特征量数据。当所选择的商品是相似度为第1位以外的商品时，执行向识别词库文件9追加特征量数据。但是，当追加执行标志F被置位为“0”时，向识别词库文件9追加特征量数据不被许可，所以即使相似度为第1位以外的商品被选择了时也不执行向识别词库文件9追加特征量数据。

此外，当作为确定条件设定“相似度差”时、即当与确认条件“相似度差”对应的状态设定为“1”时，计算出所选择的商品的相似度和在被识别作为登记商品候补的商品中最高的相似度之差。而且，判定该差分是否超过规定的阈值。当差分未超过阈值时、即所选择的商品的相似度比较高时，执行向识别词库文件9追加特征量数据。

针对于此，当差分超过阈值时、即所选择的商品的相似度低时，用户有选择错误的商品的可能性。因而，在触摸面板14中显示有可否追加选择画面70。确认了该可否追加选择画面70的用户在商品选择没有错误时，触摸“执行”按钮73，当有错误时触摸“不执行”按钮74。其结果，在商品选择没有错误时执行向识别词库文件9追加特征量数据，但是当有错误时不执行向识别词库文件9追加特征量数据。

此外，当作为确认条件设定了“候补位次”时、即当与确认条件“候补位次”对应的状态设定为“1”时，确认所选择的商品的相似度在识别作为登记商品候补的商品中按从高到低的顺序排列为第几位。而且，判定与比第1位低的规定的阈值位次相比是上位还是下位。其结果，当与阈值位次相比为上位或同位时，也就是当所选择的商品的相似度比较高时，执行向识别词库文件9追加特征量数据。

针对于此，当与阈值位次相比为下位时，也就是当所选择的商品的相似度低时，用户有选择错误的商品的可能性。因而，在触摸面板14上显示有可否追加选择画面70。确认了该可否追加选择画面70的用户在商品选择没有错误时触摸“执行”按钮73，当有错误时触摸“不执行”按钮74。其结果，在商品选择没有错误时执行向识别词库文件9追加特征量数据，但当有错误时不执行向识别词库文件9追加特征量数据。

这样，根据本实施例，能够操作简单并且有效地进行向识别词库追加特征量数据。

另外，本发明并不限定于所述实施例。

例如，在所述实施例中，虽然示出了作为是否执行向识别词库文件9追加特征量数据的确认条件的“相似度差”和“候补位次”两种，但是也可以仅为其中的任一种。或者也可以采用其他条件。

此外，虽然追加宣告接受部44将催促是否执行追加的宣告输入的按钮图像73、74显示在触摸面板12上，并接受了是否执行追加的宣告输入，但是并不限定于此。例如，也可以通过键盘11的规定键的输入接受是否执行追加的宣告输入。关于商品选择接受部43也同样，并不限定于登记商品选择画面60的输入操作。总之，只要用户能从被识别作为登记商品候补的多个商品中选择就可以。

此外，在所述实施例中，虽然使扫描器装置1和POS终端2具有作为商品识别装置的功能，但是也可以使扫描器装置1或POS终端2的单体具有作为商品识别装置的功能。或者，也可以使将扫描器装置1组装到POS终端2中而成为一体的装置具有商品识别装置的功能。

此外，也可以由扫描器装置1、POS终端以及服务器构成商品识别装置，使服务器具有商品识别功能，也就是使服务器具有商品识别程序，在服务器中执行商品候补的识别处理。具体地说，由扫描器摄像商品的图像，将通过该扫描器摄像的商品图像发送给服务器。服务器核对商品图像的特征量和识别词库所存储的特征量执行商品候补的识别处理，将该服务器中的识别结果输出给POS终端2。

另外，上述实施例是在装置内部的作为程序存储部的ROM中预先记录有实施发明功能的控制程序的实施例。不过，并不限定于此，也可以将同样的程序从网络下载到装置中。或者，也可以将存储同样程序的记录介质安装到装置中。作为记录介质，只要是象CD-ROM、存储卡等那样能够存储程序且可以对装置进行读取，则其形态不限。此外，通过安装或下载程序获得的功能也可以与装置内部的OS（Operating System：操作系统）等进行协作来实现其功能。

另外，虽然对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他各种形式来实施，只要在不脱离发明的要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

附图标记说明

1     扫描器装置        2     POS终端

9     识别词库文件      11    键盘

12    触摸面板          14    摄像部

41    特征量抽取部      42    商品候补抽取部

43    商品选择接受部    44    追加宣告接受部

45    追加部

Claims (10)

1.一种商品识别装置，其特征在于，包括：

特征量抽取部，从通过摄像部摄像的图像中抽取该图像所包含的商品的外观特征量；

商品候补抽取部，将通过该特征量抽取部抽取的外观特征量的数据与识别词库文件的特征量数据进行核对，抽取所述图像所包含的商品的候补，其中，所述识别词库文件对应每个作为识别对象的商品保存有表示该商品的表面信息的所述特征量数据；

商品选择接受部，当通过该商品候补抽取部抽取有多个商品的候补时，从该多个商品候补中接受所述图像所包含的商品的选择输入；

追加宣告接受部，当通过该商品选择接受部从多个所述商品中接受任意一个商品的选择输入时，则接受是否对该选择的商品执行所述识别词库文件所保存的所述特征量数据的追加的宣告输入；以及

追加部，当通过该追加宣告接受部接受执行追加的旨意的宣告输入时，则将通过所述特征量抽取部抽取的所述外观特征量的数据作为与通过所述商品选择接受部接受了选择的商品对应的特征量数据，追加到所述识别词库文件中。

2.根据权利要求1所述的商品识别装置，其特征在于，

所述追加宣告接受部在通过所述商品选择接受部接受了选择输入的商品的所述识别词库文件所保存的特征量数据和通过所述特征量抽取部所抽取的外观特征量的数据的相似度，与通过所述商品候补抽取部作为候补抽取的其他商品的所述识别词库文件所保存的特征量数据和通过所述特征量抽取部所抽取的外观特征量数据的相似度进行比较，较低时，接受是否执行所述追加的宣告输入。

3.根据权利要求2所述的商品识别装置，其特征在于，

所述追加宣告接受部在通过所述商品选择接受部接受了选择输入的商品的所述相似度和在通过所述商品候补抽取部作为候补抽取的其他商品的所述相似度中最高的相似度之差大于等于规定值时，接受是否执行所述追加的宣告输入。

4.根据权利要求2所述的商品识别装置，其特征在于，

所述追加宣告接受部在通过所述商品选择接受部接受了选择输入的商品的所述相似度，在将通过所述商品候补抽取部作为候补抽取的所有商品的所述相似度按从高到低的顺序排列的位次中相当于第1位以外的规定位次以下时，接受是否执行所述追加的宣告输入。

5.根据权利要求1至4中任一项所述的商品识别装置，其特征在于，还包括：

触摸面板，

其中，所述追加宣告接受部将催促是否执行所述追加的宣告输入的按钮图像显示在所述触摸面板上。

6.根据权利要求4所述的商品识别装置，其特征在于，

所述追加宣告接受部当选择了所述相似度为第1位以外的规定位次以下的商品时检验追加执行标志。

7.一种基于商品识别装置的识别词库追加方法，所述商品识别装置从通过摄像部摄像的图像中抽取该图像所包含的商品的外观特征量，并将抽取的外观特征量的数据与识别词库文件的特征量数据进行核对，抽取所述图像所包含的商品的候补，所述识别词库文件对应每个作为识别对象的商品保存有表示该商品的表面信息的所述特征量数据，该识别词库追加方法包括以下步骤：

商品选择接受步骤，当多个商品被识别作为所述图像所包含的商品的候补时，从该多个商品的候补中接受所述图像所包含的商品的选择输入；

追加宣告接受步骤，当从所述多个商品中接受任意一个商品的选择输入时，则接受是否对该选择的商品执行所述识别词库文件所保存的所述特征量数据的追加的宣告输入；以及

追加步骤，当接受执行所述追加的旨意的宣告输入时，则追加所述图像所包含的商品的外观特征量的数据，作为所述识别词库文件的与接受了所述选择输入的商品对应的特征量数据。

8.根据权利要求7所述的识别词库追加方法，其特征在于，

在所述追加宣告接受步骤中，在通过所述商品选择接受步骤接受了选择输入的商品的所述识别词库文件所保存的特征量数据和所抽取的外观特征量的数据的相似度，与作为候补抽取的其他商品的所述识别词库文件所保存的特征量数据和所抽取的外观特征量数据的相似度进行比较，较低时，接受是否执行所述追加的宣告输入。

9.根据权利要求8所述的识别词库追加方法，其特征在于，

在所述追加宣告接受步骤中，在通过所述商品选择接受步骤接受了选择输入的商品的所述相似度和作为候补抽取的其他商品的所述相似度中最高的相似度之差大于等于规定值时，接受是否执行所述追加的宣告输入。

10.根据权利要求8所述的识别词库追加方法，其特征在于，

在所述追加宣告接受步骤中，在通过所述商品选择接受步骤接受了选择输入的商品的所述相似度，在将作为候补抽取的所有商品的所述相似度按从高到低的顺序排列的位次中相当于第1位以外的规定位次以下时，接受是否执行所述追加的宣告输入。

Images