CN105448001A - 商品登记装置 - Google Patents

Abstract

本发明提供一种能够降低商品繁杂的销量登记的商品登记装置。该商品登记装置具有：商品编码取得部，其读取与识别对象物相对应的商品编码；图像信息取得部，其通过在销量登记时拍摄所述识别对象物，取得所述识别对象物的图像信息；以及识别部，其在能够利用所述商品编码取得部读取所述商品编码时，根据所述读取的商品编码识别所述识别对象物的商品种类，并且将由图像信息取得单元取得的图像信息，作为在基于物体识别的商品种类的识别时参照的多个基准图像信息之一，并与所述识别的商品种类对应地进行蓄积。

Description

商品登记装置

技术领域

本发明涉及一种商品登记装置。

背景技术

近年，普及一种从对商品摄像得到的图像数据抽出特征量，识别商品，并对识别的商品进行销量登记的(作为销量商品计入的)商品登记装置。通过将该商品登记装置使用于现金出纳机的精算，容易进行未附加条形码的蔬菜水果类等的销量登记，从而减轻操作员的负担。

例如，在专利文献1(特开2013-89258号公报)记载有如下信息处理装置，即，将由摄像单元摄像的对象物的图像信息和各商品的基准图像信息比较，将相似度在规定范围内与基准图像信息对应的商品，在显示单元上显示为符合对象物的商品候选，的信息处理装置。

专利文献1记载的技术中，由于在商品识别中所使用的基准图像信息一定都一样，除非登记有与摄像的商品的图像信息相似度非常高的基准图像信息，否则都需要操作员从多个候选中进行选择。

其结果，每次商品分类相同且进行与基准图像信息(例如红苹果)的相似度不是很高的商品(例如青苹果)的精算时，操作员有必要进行前述的选择。由此，在专利文献1中记载的技术中，存在与商品的销量登记时相同的，进行繁杂的反复操作的问题。

发明内容

因此，本发明提供一种能够降低商品繁杂的销量登记的商品登记装置。

本发明的商品登记装置，具有：商品编码取得部，其读取与识别对象物相对应的商品编码；图像信息取得部，其通过在销量登记时拍摄所述识别对象物，取得所述识别对象物的图像信息；以及识别部，其在能够利用所述商品编码取得部读取所述商品编码时，根据所述读取的商品编码识别所述识别对象物的商品种类，并且将由图像信息取得单元取得的图像信息，作为在基于物体识别的商品种类识别时进行参照的多个基准图像信息之一，并与所述识别的商品种类对应地进行蓄积。

本发明的商品登记装置，具有：相机，其用于拍摄附加在识别对象物或所述识别对象物上的商品编码；商品编码取得部，其根据由所述相机拍摄的所述商品编码的图像信息，读取附加在所述识别对象物上的商品编码；以及识别部，其在能够利用所述商品编码取得部读取所述商品编码时，根据所述读取的商品编码识别所述识别对象物的商品种类，并且将由相机拍摄的所述识别对象物的图像信息，作为在基于物体识别的商品种类识别时进行参照的多个基准图像信息之一，与所述识别的商品种类对应地进行蓄积。

本发明的商品登记装置，具有：商品编码取得部，其读取附加在水果上的商品编码；图像信息取得部，其通过在销量登记时对所述水果进行拍摄，取得所述水果的图像信息；以及识别部，其在不能利用所述商品编码取得部读取所述商品编码时，根据物体识别对由所述图像信息取得单元取得了图像信息的所述水果的种类进行识别。

根据本发明，能够降低商品繁杂的销量登记。

附图说明

图1是本发明的第1实施方式的作为商品登记装置结账系统的外观立体图。

图2是商品识别装置及POS终端的结构图。

图3是含有商品识别装置的微型计算机的功能框图。

图4是表示根据商品登记装置执行的物体识别，进行商品登记处理的流程图。

图5A是由商品登记装置处理中的画面显示的例子，是在显示器显示的确认画面的例子。

图5B是由商品登记装置处理中的画面显示的例子，是在显示器中显示的选择画面的例子。

图6是用于说明有关商品登记装置执行的追加登记的图。

图7是表示根据本发明的第2实施方式的商品登记装置执行的物体识别，进行商品登记处理的流程图。

图8是追加登记模式的显示画面的例子。

图9是用于说明有关商品登记装置执行的追加登记的图。

图10是表示本发明的第3实施方式的商品登记装置执行的商品登记处理的流程图。

具体实施方式

在本发明的实施方式中，参照适当的图面进行详细说明。以下，将由商品登记装置S(参照图1)的相机14(参照图1)摄像的商品记为“对象物”。另外，将确定精算商品对象记为“进行销量登记”。另外，将在进行销量登记时拍摄对象物得到的图像信息作为下次以后的商品的识别用的基准图像信息进行登记，记为“进行追加登记”。

第1实施方式

商品登记装置的简要说明

图1是第1实施方式的为商品登记装置S的结账系统S的外观立体图。商品登记装置S是用于进行商品精算等的装置，并具有商品识别装置1和POS终端2。

商品识别装置1对由相机14的摄像得到的图像信息中符合对象物的商品进行待定(或者，提示多个的候选)，并利用操作员(店员)的操作进行销量登记的装置。

如图1所示，商品识别装置1载置于柜台C1。商品识别装置1具有：呈矩形状的薄型壳体H；设置于壳体H的上部的显示·操作部12；与显示·操作部12相邻的键盘123；设置于显示·操作部12的侧部的顾客用显示器124。在壳体H的内部，设置有用于拍摄对象物的相机14。在相机14的正面，设置有透明的读取窗W。

收装在图1所示的筐K1的对象物，由操作员从筐K1按个取出并搬送至相机14的正面，由相机14摄像。另外，根据相机14的摄像结果，将物体识别的结果显示于显示器121，由操作员进行销量登记的确定操作后，对象物移至其他的筐K2。由此，对为精算对象的每个对象物进行销量登记。物体识别在后面详细说明。

POS终端2为用于进行商品精算等的终端，以与商品识别装置1可通信的方式连接。如图1所示，POS终端2载置于柜台C2。POS终端2具有：显示器22、键盘24、顾客用显示器25、抽屉28、打印机29等。以下参照图2对商品识别装置1及POS终端2的结构进行说明。

图2是商品识别装置1及POS终端2的结构图。商品识别装置1具有：微型计算机11、显示·操作部12、接口13、相机14、扬声器15和电源16。

微型计算机11(控制单元)用于控制具有商品识别装置1的显示·操作部12、相机14、扬声器15等，并含有CPU111(CentralProcessingUnit)、ROM112(ReadOnlyMemory)和RAM113(RandomAccessMemory)。CPU111、ROM112及RAM113由总线连接，读取在ROM112存储的程序并在RAM113展开，使CPU111执行各种处理。

在CPU111，显示·操作部12、接口13、相机14、扬声器15和电源16经由内部总线或输入输出电路(未图示)连接。

显示·操作部12包含显示器121、触摸屏122、键盘123和顾客用显示器124。显示·操作部12用于显示关于对象物的物体识别的结果等，并利用CPU111控制。

显示器121(显示单元)根据来自CPU111的指令，将有关商品的信息向操作员显示。具体地，显示器121显示有关对象物的物体识别的结果(参照图5A)而且，将符合的商品的候选进行一个或多个显示(参照图5B)。

触摸屏122(输入单元)接受有关显示器121显示的信息的操作。具体地，触摸屏122接受对象物是否是规定的商品的输入(例如，“是”/“否”：参照图5A，从有关对象物的商品的候选(例如，“苹果”/“梨”/“桃”：参照图5B)中接受操作员的选择。利用触摸屏122输入的信息经由接口13向POS终端2输送。

键盘123(输入单元)接受操作员的操作，并具多个操作键。具体地，键盘123用于操作员对商品个数的输入，而且用于有关商品的金额的输入。利用键盘123输入的信息，经由接口13向POS终端2输送。

顾客用显示器124根据来自CPU111的指令，将规定的信息向顾客提示。具体地，顾客用显示器124在操作员确认有关对象物的销量登记时，将确定的对象物的名称、价格等显示。

接口13用于在商品识别装置1和POS终端2之间进行数据的输入输出。接口13与商品识别装置1具有的总线连接，而且与POS终端2具有的接口26连接。

相机14(摄像单元)对由操作员搬送到读取窗W(参照图1)的正面的对象物进行拍摄，并如前所述，设置于壳体H(参照图1)内。相机14为彩色CCD图像传感器或彩色CMOS图像传感器等，根据来自CPU211的指令拍摄对象物。

例如，相机14进行30“fps”的视频的拍摄。相机14以规定的帧频顺次拍摄的帧图像(图像数据)保存于RAM113。

扬声器15根据CPU111的指令，发出规定的声音。例如，扬声器15，利用操作员对触摸屏122的操作，在每次确定对象物的销量登记时，发出规定的声音。由此，通过顾客用显示器124显示，再加上从扬声器15输出声音，由此能够确认对商品进行销量登记。

电源16是商品识别装置1具备的各设备的电源，与所述的各设备连接。

POS终端2根据由商品识别装置1通知的商品ID，将与该商品ID对应的商品的商品分类、商品名、单价等的销量登记的相关信息记录于销量主文件(未图示)并进行销量登记。POS终端2具有：微型计算机21、显示器22、触摸屏23、键盘24、顾客用显示器25、接口26、HDD27(HardDiskDrive)、抽屉28、打印机29和电源30。

微型计算机21用于控制POS终端2具有的各设备，并包含CPU211、ROM212和RAM213。CPU211、ROM212和RAM213由总线连接，读取存储于ROM212的程序，并在RAM213展开，使CPU211执行各种处理。

另外，在CPU211，显示器22、触摸屏23、键盘24、顾客用显示器25、接口26、HDD27、抽屉28、打印机29和电源30利用内部总线及输入输出电路(未图示)连接。

显示器22根据CPU211的指令，将有关商品的信息向操作员显示。触摸屏23接受关于显示器22显示的信息的操作。

键盘24具有：在进行销量登记的临时合计(临时会计)时，按下的临时合计键241；进行销量登记的总计(会计)时，按下的合计键242；含有数字键·各种运算符的键的小键盘243。

顾客用显示器25根据CPU211的指令，将规定的信息向顾客提示。

接口26用于在POS终端2和商品识别装置1之间输入输出数据。接口26与POS终端2具备的总线连接，而且，与商品识别装置1具备的接口13连接。

在HDD27(存储单元)存储程序及各种文件。存储于HDD27的程序及各种文件在POS终端2启动时，其全部或一部分复制至RAM213，并由CPU211执行复制至RAM213的程序。在HDD27，存储有关各商品的特征量文件文件271。特征量文件271是对陈列于店铺并出售的各商品的关于商品的销量登记的信息和该商品的基准图像信息之间关联设定的商品文件。

抽屉28收装现金等，并利用键盘24按规定的操作打开。

打印机29根据CPU211的指令，将有关商品的交易内容打印在收据上。

电源30是POS终端2具有的各设备的电源，并与所述的各设备连接。

图3是商品识别装置1含有微型计算机11的功能框图。微型计算机11具有：图像信息取得部11a、对象物检测部11b、识别处理部11c、相似度计算部11d、相似度判定部11e、显示控制部11f、输入信息取得部11g、追加登记部11h和信息输出部11i。所述的各结构的功能，例如通过商品识别装置1的CPU111(参照图2)执行存储于ROM112(参照图2)的程序具体化。

图像信息取得部11a向相机14输出拍摄开启信号，使相机14执行摄像，并依次获取利用拍摄对象物得到的帧图像(图像数据)。

由图像信息取得部11a获取的帧图像，按顺序将该帧图像保存于RAM113(参照图2)。

对象物检测部11b根据模式匹配等检出包含由图像信息取得部11a取得的帧图像的对象物的全部或一部分。例如，对象物检测部11b将由相机14拍摄对象物获取的帧图像二值化并抽出轮廓线，根据该轮廓线检测出对象物。

识别处理部11c在由相机14拍摄对象物取得的帧图像中，根据物体识别进行识别处理。即，识别处理部11c具有从如上述那样对象物检出的帧图像抽出作为图像信息的，对象物的色调、形状(含有表面的凹凸)、大小等的特征量的识别对象物的功能。

这样，识别图像中含有的对象物称为一般物体识别(genericobjectrecognition)。在柳井启司著的“一般物体识别的现状和未来”中，除了一般物体识别的研究调查手法外，还进行数据组、评价基准，而且对其今后的展望。

柳井启司“一般物体识别的现状和未来”，“online”、信息处理学会论文志，2007年11月15日，Vol.48，No.SIG16、1-24页，(平成26年9月8日检索)，互联网

另外，在下述的文献中记载有，将图像按每个目标物进行区域分割，由此进行一般物体识别的技术。

(JamieShotton等，“SemanticTextonForestsforImageCategorizationandSegmentation”，ComputerVisionandPatternRecognition,2008.CVPR2008.IEEEConferenceon，(2014年9月8日检索)，互联网)

相似度计算部11d将作为由识别处理部11c识别的结果的抽出的特征量等的图像信息与存储于HDD27的各商品的基准图像信息进行比较参照，计算对象物和各商品之间的相似度。这里，“相似度”为以图像数据表示对象物相对于商品具有何种程度的相似度的值。即，对象物的图像与商品的图像完全一致时，相似度为100％。另外，对象物的图像与商品的图像存在较大不同时，相似度为较低。

相似度判定部11e判定由相似度计算部11d计算的相似度是否包含在规定范围内。

即，相似度判定部11e判定，在特征量文件271中存储基准图像信息的商品中基准图像信息与由相机14拍摄的对象物的图像信息相比相似度最高的商品与基准图像信息的相似度是否包含在第1范围(例如，70％以上)内。第1范围设定为，使与对象物对应的商品的候选中该相似度最高的商品集中为1个，仅由操作员确认对象物是否符合该商品即可。

即，与对象物的相似度包含在第1范围的商品存在时，相似度判定部11e将相似度最高的商品的商品ID等向显示控制部11f输出。

另外，相似度判定部11e判定对象物的图像信息和各商品的基准图像信息之间的相似度是否包含在第2范围(例如，50％～70％)中。第2范围为设定，虽然具有符合对象物可能性的商品存在1个或多个，但不能确定是符合哪个商品的范围。

在不存在与对象物的相似度包含在第1范围的商品，且包含在第2范围的商品存在1个或多个时，相似度判定部11e，将该商品的商品ID等向显示控制部11f输出。

另外，相似度判定部11e判定对象物的图像与商品的图像的相似度是否在第3范围(例如，小于50％)。第3范围设定为未查询到与对象物类似的商品的范围。

仅存在与对象物的相似度包含在第3范围的商品(也就是，不存在包含于第1范围、第2范围的商品)时，相似度判定部11e将其主旨的信息向显示控制部11f输出。

显示控制部11f根据相似度判定部11e的判定结果，在显示器121显示规定的画面。

具体地，存在与对象物的相似度包含于第1范围(例如，70％以上)的商品时，显示控制部11f将有关该商品的确认画面(参照图5A)在显示器121显示。

另外，在存在与对象物的相似度包含在第2范围(例如50％～70％)的商品时，显示控制部11f将为商品候选的该商品相关的选择画面(图5B)在显示器121显示。

另外，在不存在与对象物的相似度包含在第3范围(例如，小于50％)的商品时，显示控制部11f将未查询到与对象物类似的商品的主旨的错误信息向显示器121显示。

输入信息取得部11g具有接受操作员利用触摸屏122操作的功能。具体地，输入信息取得部11g在前述的确认画面(图5A)显示于显示器121的情况下，接受显示的商品是否符合对象物的确认输入。

另外，输入信息取得部11g在前述的选择画面(图5B)显示于显示器121时，接受商品的候选中的选择输入。

追加登记部11h利用对触摸屏122的操作，指定商品的候选中符合对象物的商品时，使对象物的图像信息作为该商品的基准图像信息进行追加登记，以使对象物包含于该商品。具体地，在与对象物的相似度包含于第2范围(例如，50％以上而小于70％)的商品中选择一的商品时，追加登记部11h将该对象物从下次进行追加登记以包含于该商品(也就是，判定相似度为70％以上)。另外，追加登记部11h将与追加登记相关的信息存储于特征量文件271。后面对有关追加登记的处理进行详细说明。

信息输出部11i具有将由输入信息取得部11g取得的信息向POS终端2输出的功能。具体的，信息输出部11i将操作员利用触摸屏122确认或选择的商品的商品ID等向POS终端2的销量登记部21a输出。另外，利用键盘123(参照图2)等从商品表中选择商品时，信息输出部11i将该商品的商品ID等向POS终端2输出。

POS终端2的销量登记部21a具有对由操作员确认或选择的商品进行销量登记的功能。由销量登记部21a进行销量登记的结果存储于HDD27，而且由打印机29(参照图2)打印在收据上。

商品登记装置的动作

图4是表示商品登记装置S根据执行的物体识别进行商品登记处理的流程图。图4中表示的一系列的处理，是在通过操作员的操作进行收纳于筐K1(参照图1)的对象物(商品)的精算的状况下执行。

在步骤S101中，商品登记装置S利用对象物检测部11b判定是否检测出对象物。具体地，操作员将对象物举到读取窗W(参照图1)前时，由相机14拍摄对象物，并根据作为摄像结果得到的图像数据，由对象物检测部11b检测出对象物。

在步骤S101中，检测出对象物时(S101→是)，商品登记处理进入步骤S102。另一方面，在未检测出对象物时(S101→否)，商品登记装置S反复进行步骤S101的处理。

在步骤S102中，商品登记装置S利用识别处理部11c进行物体识别处理(识别处理步骤)。即，商品登记装置S从由相机14拍摄得到的对象物的图像数据，抽出对象物的色调、形状、大小等的特征量作为图像信息。

在步骤S103中，商品登记装置S利用相似度计算部11d计算由相机14拍摄的对象物和登记于特征量文件271的各商品之间的相似度α(相似度计算步骤)。即，商品登记装置S计算由相机14拍摄的对象物的图像信息和登记于特征量文件271的各商品的基准图像信息之间的相似度α。

在步骤S104中，商品登记装置S利用相似度判定部11e，判定是否存在与对象物的相似度α为阈值α1(例如70％)以上的商品。阈值α1以上的范围相当于所述的“第1范围”。存在相似度α为阈值α1以上的商品时，(S104→是)，商品登记装置S的处理进入骤S105。

在步骤S105中，商品登记装置S利用显示控制部11f显示在显示器121中相似度α最高的商品的图像被显示的确认画面。图5A是在显示器121显示的确认画面的例子。

例如，与商品“苹果”相对应，考虑根据红苹果的图像数据将特征量作为基准图像信息存储于特征量文件271的情况。使利用相机14拍摄的对象物为与登记于特征量文件271的商品尤其像的红苹果，相似度α为阈值α1以上时(S104→是)，在显示器121显示如图5A所示的确认画面。即，作为相似度α最高的商品“苹果”的图像与“是”/“否”的选择项目一起显示。

在步骤S106中，商品登记装置S判定是否进行对象物符合在显示器121中显示的商品的主旨的输入。具体地，由操作员操作判定是否选择图5A中所示的“是”/“否”中的任意一项。

操作员选择“是”(参照图5A)时，也就是，对象物符合在显示器121显示的商品“苹果”时(S106→是)，商品登记处理进入步骤S107。

另一方面，操作员的操作选择“否”(参照图5A)时，也就是，对象物不符合在显示器121显示的商品“苹果”时(S106→否)，商品登记处理进入步骤S110。

在步骤S107中，商品登记装置S进行为商品的对象物(例如，苹果)的销量登记。也就是说，商品登记装置S将在步骤S106中显示的商品的商品ID等从商品识别装置1向POS终端2输送。

在步骤S108中，商品登记装置S判定商品的交易(一系列的销量登记)是否完成。在操作员完成交易操作时(S108→是)，商品登记装置S完成商品登记处理(结束)。另一方面，在操作员未完成交易的操作时(S108→否)，商品登记处理返回步骤S101。

另外，在步骤S104中，不存在与对象物的相似度α为阈值α1(例如70％)以上的商品时(S104→否)，商品登记处理进入步骤S109。

在步骤S109中，商品登记装置S利用相似度判定部11e，判定是否存在与对象物的相似度α为阈值α2(例如50％)以上且小于阈值α1(例如70％)的商品。为阈值α2以上且小于阈值α1的范围相当于所述的“第2范围”。

存在与对象物的相似度α为阈值α2以上且小于阈值α1的商品时(S109→是)，商品登记处理进入步骤S110。例如存在如下情形，在特征量文件271中作为商品“苹果”，在HDD27中登记了基于红苹果的图像数据的基准图像信息，然而却未登记基于其他颜色苹果图像数据的基准图像信息。此时，例如，关于为对象物的青苹果与商品“苹果”之间的相似度处在阈值α2以上且小于阈值α1范围内的可能性较高。

在步骤S110中，商品登记装置S利用显示控制部11f，将形成为候选的1个或多个商品显示于显示器121(显示控制步骤)。

图5B是在显示器121显示的选择画面的例子。利用相机14拍摄的对象物例如为青苹果。在图5B所示的例子中，作为商品候选，“苹果”(基准图像信息是基于红苹果的图像数据)、”梨”、”桃”显示于画面右侧。另外，在画面中间，显示操作员从右侧的候选商品中选择的商品“苹果”。

在图4步骤S111中，商品登记装置S判定是否从候选中选择了1个商品。也就是，商品登记装置S对由操作员选择的商品(在图5B中为商品“苹果”)进一步判定是否按下”确定”。

在步骤S112中，商品登记装置S利用追加登记部11h进行商品的追加登记(追加登记步骤)。即，商品登记装置S将从对象物(例如、青苹果)的图像数据得到的特征量等的图像信息，作为表示在步骤S111中选择的商品(例如苹果)的基准图像信息的1个，进行追加登记。

图6是用于说明关于商品登记装置S执行的追加登记的图。如图6所示的说明用图的横轴(特征量X)例如为表示商品的色调的特征量，纵轴(特征量Y)例如为表示商品的形状的特征量。图6为2次元的示意图，特征量的次元数并不局限于图6所示。

即，图6所示的特征量X1、Y1是该商品的基准图像信息(例如，红苹果)的概念图。点P1表示与所述的基准图像信息对应的特征矢量。区域Q1(斜线部分)为预先设定商品(例如、苹果)相关的相似度在阈值α1(例如70％)以上的区域。

另外，区域R1为与商品相关的相似度在阈值α2(例如50％)以上且小于α1(例如70％)的区域。由特征量X2、Y2指定的点P2在步骤S112为作为商品追加登记的对象物(例如青苹果)的特征矢量。

在上述的步骤S112中，商品登记装置S将包含与对象物的图像对应的点P2的规定区域Q2作为与商品的相似度在阈值α1以上的区域进行新追加。由此，与商品的相似度为阈值α1以上的区域扩大至区域Q1、Q2的并集的区域。因此，在将作为对象物的青苹果进行追加登记后，还有同样的青苹果(对象物)由相机14拍摄时，显示图5A所示的确认画面，而非图5B所示的选择画面。

也就是说，操作员只要判断青苹果是否符合“苹果”，而不需要如图5B的选择画面所示那样，从多个商品(苹果、梨、桃子)中选择一个商品，并还进行确定操作的繁杂的操作。因此，相比现有技术，能够减轻操作员的负担，而且，也能够容易地将青苹果作为商品“苹果”追加登记。

由此，将具有各种特征的苹果(青苹果、大苹果等)作为商品“苹果”追加登记，而将相似度为阈值α1以上的区域(图6中为区域Q1、Q2)逐步扩大。

接下来，再次返回图4继续进行说明。

在步骤S113中，商品登记装置S进行在步骤S111中选择的商品(也就是对象物)的销量登记，并将该商品的商品ID等从商品识别装置1向POS终端2输送。

另外，在步骤S109中，相似度α为阈值α2以下时(S109→否)，商品登记处理进入步骤S114。在步骤S114中，商品登记装置S将例如“未查询到符合的商品”的消息显示于显示器121(错误显示)。在该情况下，操作员利用键盘123等操作，取消追加登记，并从例如在键盘123上分配的商品名单中选择符合对象物的商品。

在本实施方式中，在与对象物的相似度为阈值α2以上且小于阈值α1的商品中由操作员选择一个商品时，追加登记使对象物相对于该商品的的相似度为阈值α1以上。另外，在将同样的对象物由相机14拍摄时，操作员只需从下次开始确认对象物是否符合该商品(“是”/“否”)即可，由此，相比现有技术，能够减轻操作员的负担。

另外，根据操作员进行的销量登记的操作(如图5B所示的确认画面中的选择)，自动进行所述的追加登记。也就是说，利用对与商品的基准图像信息(例如红苹果)存在若干不同的对象物(例如青苹果)进行销量登记的机会，直接进行追加登记。因此，例如，对于商品“苹果”，能够容易地将具有各种特征的苹果作为可物体识别的苹果追加登记。

另外，在进行追加登记的过程中，由于与相似度相关的阈值α1以上的区域(如图6所示的区域Q1、Q2)逐步扩大，而使显示如图5B所示的选择画面的次数逐步减少。因此，能够减轻进行销量登记时的操作员的负担。

第2实施方式

第2实施方式与第1实施方式比较，将具有相互不同特征的商品(例如红苹果/青苹果)作为其他的商品追加登记的点与第1实施方式不同，但其他的主要部分(商品识别装置1、POS终端2的结构：参照图1～图3)与第1实施方式同样。因此，对与第1实施方式不同的部分进行说明，在此省略对重复部分的说明。

图7是根据商品登记装置S执行的物体识别表示商品登记处理的流程图。

在图7所示的步骤S101～S111、S114中，与第1实施方式(参照图4)相同的部分，在此省略对其的说明。

在步骤S111中，由操作员从成为候选的商品中选择一个商品时(S111→是)，商品登记处理进入步骤S201。

在步骤S201中，商品登记装置S利用操作员的操作判定是否选择“追加登记模式”。“追加登记模式”例如输入为对象物的青苹果的视觉特征(色调)，是作为与红苹果部不同的商品追加登记青苹果的模式。追加登记模式的决定按钮，例如显示于图5B所示的选择画面中，利用操作员点触该按钮，计入追加登记模式。

追加登记模式被选择时(S201→是)，商品登记处理进入步骤S202。另一方面，在未选择追加登记模式而点“确定”(参照图5B)时(S201→否)，商品登记装置S在步骤S107中进行销量登记。

图8是追加登记模式的显示画面的例子。由相机14拍摄的对象物为较大的青苹果。

在图8所示的例子中，在商品“苹果”的插图图像的一侧显示有(红苹果/青苹果)及尺寸(S/M/L)的选择按钮。

在商品具有的特征(颜色、大小、形状等)中，对每个商品预先设定显示于显示器的特征。另外，能够选择与商品的形状相关的特征，并且能够变更商品名称、金额等。

在图7的步骤S202中，商品登记装置S利用操作员的操作判定是否输入附加信息。这里，“附加信息”除了是与商品的色调、形状、大小一类的外观相关的特征外，也包含商品名称、单价等的信息。在图8所示的例子中，可选择商品的色调及大小(尺寸)。

利用操作员的操作输入附加信息时(S202→是)，商品登记处理进入步骤S203。另一方面，未利用操作员的操作输入附加信息时(S202→否)，商品登记装置S返回步骤S202的处理。

在步骤S203中，商品登记装置S利用追加登记部11h，进行有关对象物的追加登记(追加登记步骤)。

在图8所示的例子中，色调选择“青苹果”，尺寸选择“L尺寸”。在该状态下按下“确定”时，对象物作为“L尺寸的青苹果”追加登记，而非商品“苹果”。

图9是用于说明商品登记装置S执行的追加登记的图。图9所示的说明用图的横轴(特征量X)，例如为商品的色调。另外，纵轴(特征量Y)例如为商品的大小。另外，图9所示的区域R1为包含有红苹果、青苹果、S、M、L尺寸的苹果等的商品“苹果”的区域。

例如由相机14拍摄的对象物(L尺寸的青苹果)的特征矢量存在于点P3时，商品登记装置S将包含点P3的规定区域Q3作为商品“L尺寸的青苹果”进行追加登记。

另外，例如在由相机14拍摄的对象物(M尺寸的红苹果)的特征矢量存在于点P4时，商品登记装置S将含有点P4的规定区域Q4作为“M尺寸的红苹果”追加登记。

由此，将具有各特征的苹果以相互区别的方式追加登记。进行追加登记时，对于区域Q3、Q4中的商品，分别分配不同于此前分配给商品“苹果”的另外的商品ID。另外，将用于指定商品ID及区域Q3、Q4的特征量等的图像信息作为基准图像信息存储于特征量文件271。因此，之后，在将L尺寸的青苹果作为对象物由相机14拍摄时，该对象物作为“L尺寸的青苹果”识别而非“苹果”。

在图7的步骤S203中，进行追加登记后，在步骤S204中，商品登记装置S对为对象物的L尺寸的青苹果进行销量登记。

根据本实施方式，作为1个商品(例如“苹果”)存储于特征量文件271的商品，能够将附加信息作为追加的其他商品进行追加登记。另外，利用追加登记细区分的各商品相关的数据蓄于HDD27。因此，例如作为进行具有何种特征的商品与其他相比销量较高的分析时的数据，能够使用追加登记后的特征量文件271。

另外，从有关特征的选项中，通过操作员选择不断进行所述的追加登记。因此，能够容易进行商品的追加登记，从而能够减轻进行追加登记时的操作员的负担。

第3实施方式

第3实施方式中，利用商品编码取得部(未图示)取得对象物的商品编码，并对应于该商品编码的商品进行追加登记的点与第1实施方式尤其不同。以下，对与第1实施方式不同的部分进行说明，并省略对重复部分的说明。

本实施方式的商品登记装置S的微型计算机11(参照图2)具有从相机14拍摄的对象物的图像数据读取贴附于对象物的商品编码的商品编码取得部(未图示)。所述的商品编码是条形码或QR编码(注册商标)等用于唯一指定商品的信息。

以下，对由商品编码取得部(未图示)读取商品编码时的处理进行说明，但在读取商品编码时，与第1实施方式同样，根据物体识别进行商品登记处理(参照图4)。

图10表示商品登记装置S执行的商品登记处理的流程图。

在步骤S301中，商品登记装置S判定是否由商品编码取得部(未图示)从利用相机14拍摄的对象物的图像数据读取贴附于对象物的商品编码，即判定是否能够取得对象物的商品编码。将商品编码贴附于对象物而读取该商品编码时(S301→是)，商品登记处理进入步骤S302。由此取得商品编码，从而商品编码与由相机4拍摄的对象物能够唯一指定符合哪个商品。

在步骤S302中，商品登记装置S从HDD27读出在步骤S301取得的与商品编码对应的商品信息。这里读出的商品信息为商品的插图图像、商品ID、商品分类、商品名称、单价等，并与商品编码相对应存储于HDD27。虽然并未在该步骤S302中读出，但保存在HDD27中的商品信息中也包含基准图像信息等。

步骤S302的处理，读出并处理向操作员显示的确认性的商品信息，从而不需操作员进行规定的操作。原因是，与对象物对应的商品利用商品编码指定唯一(S301)。

因此，与操作员通过目视进行商品的确认或选择时比较，能够减少商品的误登记，而且能够减轻操作员的负担。

在步骤S303中，商品登记装置S将所述的商品信息显示于显示器121。例如商品登记装置S除了商品的插图图像外，还将商品名称、单价等显示于显示器121。

在步骤S304中，商品登记装置S利用识别处理部11c执行物体识别处理，并从商品编码及由相机14拍摄的对象物的图像数据抽出作为图像信息的特征量等。物体识别处理与在第1实施方式中说明的步骤S102(参照图4)的处理同样。

在步骤S305中，商品登记装置S将有关对象物的图像信息作为基准图像信息的一个进行追加登记。即，商品登记装置S以包含于在步骤S301中取得的与商品编码对应的商品(例如苹果)的方式，将对象物(例如苹果)进行追加登记。

也就是说，在该第3实施方式中，商品登记装置S根据商品编码识别对象物，而且根据同时得到的图像数据，将图像信息作为根据商品编码指定的商品的基准图像信息蓄积，由此，即使对于颜色或形状、大小等各自具有微小不同的商品，也能够利用物体识别进行精确地识别。

另外，在该第3实施方式中，商品登记装置S相对于根据物体识别指定商品，优先根据商品编码指定商品。也就是说，在由相机14拍摄的对象物贴附商品编码时，相对于根据物体识别进行商品识别，优先根据商品编码进行商品识别。根据商品编码和商品之间的对应关系进行的商品识别，相对于物体识别的结果更具信赖性。

与步骤S305的对象物相关的追加登记与在第1实施方式中说明的步骤S112(参照图4)同样。

通过进行上述的追加登记，在之后的销量登记中即使在未附带商品编码(或未读取)时，能够根据物体识别对对象物进行适当的指定。例如，在将为对象物的青苹果作为商品“苹果”追加登记后，对同样的对象物(青苹果)拍摄，而且，即使在未读取商品编码时，根据物体识别能够将对象物作为商品“苹果”进行指定。

其结果，由于使商品的确认画面(参照图5A)显示于显示器121，能够节省操作员从多个商品(参照图5B)中选择商品“苹果”的工时。

在图10的步骤S305中，进行追加登记后，在步骤S306中，商品登记装置S进行商品的销量登记。也就是说，商品登记装置S将在步骤S301中取得的商品的商品ID等从商品识别装置1向POS终端2输送。

另外，在步骤S301中，在未取得对象物的商品编码时(S301→否)，商品登记处理进入步骤S307。在步骤S307中，商品登记装置S根据物体识别进行商品的追加登记·销量登记。骤S307的处理，与第1实施方式中说明的步骤S101～S114(参照图4)同样，因此在此省略对其的说明。

根据本实施方式，商品编码取得部(未图示)取得商品编码时，相对于物体识别的结果，使用商品编码的方法优先而指定商品，因此能够防止进行销量登记时的误记。

另外，在读取商品编码时，操作员不需要在确认画面(参照图5A)或选择画面(图5B参照)中进行操作。因此，能够大幅减轻进行销量登记时的操作员的负担。

另外，根据商品编码识别对象物，而且根据同时得到的图像数据，将图像信息作为根据商品编码指定的商品的基准图像信息蓄积，由此，例如在未读取商品编码时，根据丰富的基准图像信息，即使对于颜色或形状、大小等各自具有微小不同的商品，也能够利用物体识别进行精确地识别。

变形例

以上，本发明的商品登记装置S由各实施方式进行了说明，但本发明并不现定于上述的记载，能够进行各种的变更。

例如在第1实施方式中，对象物存在相似度为阈值α1(例如70％)以上的商品时(S104→是：参照图4)，利用显示控制部11f将确认画面(参照图5A)显示于显示器121时进行的说明，但不局限于此。即，阈值α1充分高(例如90％)，也可不由操作员进行确认操作，就进行销量登记。

另外，在2实施方式中，是对操作员询问是否计入追加登记模式(S201：参照图7)时进行的说明，但并不局限于此。即，也可在每次选择与对象物对应的商品时(S111→是：参照图7)，将与该商品有关的附加信息显示于显示器121。各商品的附加信息也可作为如图8所示的选项显示，操作员也可在空栏输入。

另外，也可将在进行物体识别时取得的对象物的色调有关的信息作为前述的附加信息，使追加登记部11h追加。因此，能够节省操作员输入色调有关的附加信息的工时。

另外，上述实施方式可进行适当的组合。例如可将第2实施方式和第3实施方式组合，进行下面的处理。即，利用商品编码取得部(未图示)取得对象物的商品编码时，微型计算机11可相对于根据物体识别指定商品候选，优先指定对应于商品编码的商品及附加信息，并将该附加信息作为具有的商品，将对象物进行新的追加登记。

例如将红苹果/青苹果作为不同的商品追加登记时，操作员向红苹果/青苹果分别贴附不同的条形码。与该条形码对应，除了各商品的商品ID、商品名称、单价等，还包含商品的色调的附加信息，将该附加信息储存于HDD27。

摆设于店铺的红苹果/青苹果不需要全部贴附条形码，只需在1个红苹果及1个青苹果上粘贴条形码即可。这样，在只要根据附加信息进行追加登记，之后，能够由物体识别对各商品进行识别。

另外，将为对象物的红苹果/青苹果作为具有附加信息的商品进行新的追加登记。由此，能够将作为一个商品处理的“苹果”区别“红苹果”/“青苹果”，从而能够蓄积各商品相关的销量数据。

另外，也可将在各实施方式中说明的处理(参照图4、图7、图10)通过程序在其他的计算机上执行。所述的程序能够利用通信电路提供，也可通过写入CD－ROM等的记录介质传播。

Claims (20)

1.一种商品登记装置，其特征在于，具有：

商品编码取得部，其读取与识别对象物相对应的商品编码；

图像信息取得部，其通过在销量登记时拍摄所述识别对象物，取得所述识别对象物的图像信息；以及

识别部，其在能够利用所述商品编码取得部读取所述商品编码时，根据所述读取的商品编码识别所述识别对象物的商品种类，并且将由图像信息取得单元取得的图像信息，作为在基于物体识别的商品种类识别时进行参照的多个基准图像信息之一，并与所述识别的商品种类对应地进行蓄积。

2.根据权利要求1所述的商品登记装置，其特征在于，

所述识别部在不能利用所述商品编码取得部读取所述商品编码时，根据所述物体识别对所述识别对象物的商品种类进行识别。

3.根据权利要求2所述的商品登记装置，其特征在于，

所述识别部在根据所述物体识别对所述识别对象物的商品种类进行识别时，当在所述蓄积的多个基准图像信息中，存在相对于由所述图像信息取得单元取得的识别对象物的图像信息的相似度为第一阈值以上的基准图像信息的情形下，将与所述相似度最高的基准图像信息对应的商品种类识别为所述识别对象物的商品种类。

4.根据权利要求3所述的商品登记装置，其特征在于，

所述识别部将所述识别的商品种类的图像显示于显示器。

5.根据权利要求3所述的商品登记装置，其特征在于，

所述识别部在根据所述物体识别对所述识别对象物的商品种类进行识别时，当在所述蓄积的多个基准图像信息中，不存在所述相似度为第一阈值以上的基准图像信息，且作为商品种类存在多个所述相似度为第二阈值以上到不足第一阈值的范围的基准图像信息的情形下，将与该多个商品种类对应的各图像作为所述识别对象物的商品种类候选显示于显示器。

6.根据权利要求5所述的商品登记装置，其特征在于，

所述识别部将多个商品种类候选并排显示于所述显示器。

7.根据权利要求5所述的商品登记装置，其特征在于，

所述识别部在从显示于所述显示器的多个商品种类候选中选择任意一个商品种类候选作为所述识别对象物的商品种类时，与该选择的商品种类相对应地，将由所述图像信息取得单元取得的图像信息，作为在基于所述物体识别的商品种类识别时进行参照的多个基准图像信息之一进行蓄积。

8.一种商品登记装置，其特征在于，具有：

相机，其用于拍摄附加在识别对象物或所述识别对象物上的商品编码；

商品编码取得部，其根据由所述相机拍摄的所述商品编码的图像信息，读取附加在所述识别对象物上的商品编码；以及

识别部，其在能够利用所述商品编码取得部读取所述商品编码时，根据所述读取的商品编码识别所述识别对象物的商品种类，并且将由相机拍摄的所述识别对象物的图像信息，作为在基于物体识别的商品种类识别时进行参照的多个基准图像信息之一，与所述识别的商品种类对应地进行蓄积。

9.根据权利要求8所述的商品登记装置，其特征在于，

所述识别部在不能利用所述商品编码取得部读取所述商品编码时，根据所述物体识别对所述识别对象物的商品种类进行识别。

10.根据权利要求9所述的商品登记装置，其特征在于，

所述识别部在根据所述物体识别对所述识别对象物的商品种类进行识别时，当在所述蓄积的多个基准图像信息中，存在相对于由所述相机拍摄的识别对象物的图像信息的相似度为第一阈值以上的基准图像信息的情形下，将与所述相似度最高的基准图像信息对应的商品种类识别为所述识别对象物的商品种类。

11.根据权利要求10所述的商品登记装置，其特征在于，

所述识别部将所述识别的商品种类的图像显示于显示器。

12.根据权利要求11所述的商品登记装置，其特征在于，

所述识别部在根据所述物体识别对所述识别对象物的商品种类进行识别时，当在所述蓄积的多个基准图像信息中，不存在所述相似度为第一阈值以上的基准图像信息，且作为商品种类存在多个所述相似度为第二阈值以上到不足第一阈值的范围的基准图像信息的情形下，将与该多个商品种类对应的各图像作为所述识别对象物的商品种类候选显示于显示器。

13.根据权利要求12所述的商品登记装置，其特征在于，

所述识别部将多个商品种类候选并排显示于所述显示器。

14.根据权利要求12所述的商品登记装置，其特征在于，

所述识别部在从显示于所述显示器的多个商品种类候选中选择任意一个商品种类候选作为所述识别对象物的商品种类时，与该选择的商品种类相对应地，将由所述相机拍摄的识别对象物的图像信息，作为在基于所述物体识别的商品种类识别时进行参照的多个基准图像信息之一进行蓄积。

15.一种商品登记装置，其特征在于，具有：

商品编码取得部，其读取附加在水果上的商品编码；

图像信息取得部，其通过在销量登记时对所述水果进行拍摄，取得所述水果的图像信息；以及

识别部，其在不能利用所述商品编码取得部读取所述商品编码时，根据物体识别对由所述图像信息取得单元取得了图像信息的所述水果的种类进行识别。

16.根据权利要求15所述的商品登记装置，其特征在于，

所述识别部在能够利用所述商品编码取得部读取所述商品编码时，根据读取的商品编码识别所述水果的种类，并且，将由所述图像信息取得单元取得的图像信息，作为根据物体识别对水果种类识别时参照的多个基准图像信息之一与所述设别的水果的种类相对应地进行蓄积。

17.根据权利要求16所述的商品登记装置，其特征在于，

所述识别部在根据所述物体识别对所述水果的种类进行识别时，当在所述蓄积的多个基准图像信息中，存在相对于由所述图像信息取得单元取得的所述水果的图像信息的相似度为第一阈值以上的基准图像信息的情形下，将与所述相似度最高的基准图像信息对应的水果的种类识别为所述水果的种类。

18.根据权利要求17所述的商品登记装置，其特征在于，

所述识别部将所述识别的水果的种类的图像显示于显示器。

19.根据权利要求18所述的商品登记装置，其特征在于，

所述识别部在根据所述物体识别对所述水果的种类进行识别时，当在所述蓄积的多个基准图像信息中，不存在所述相似度为第一阈值以上的基准图像信息，且作为所述水果的种类存在多个所述相似度为第二阈值以上到不足第一阈值的范围的基准图像信息的情形下，将与该多个水果种类对应的各图像作为所述水果的种类候选显示于显示器。

20.根据权利要求19所述的商品登记装置，其特征在于，

所述识别部将多个水果的种类候选并排显示于所述显示器。