CN103794008B - 商品读取装置、商品销售数据处理装置及商品读取方法 - Google Patents

Abstract

本发明公开一种商品读取装置、商品销售数据处理装置及商品读取方法，其能够通过简易操作分开利用使用光学标志的商品识别和使用目标物识别的商品识别，该商品读取装置包括：识别部、判定部、第一识别部及第二识别部。识别部识别摄像设备所摄像的视频所包含的目标物。判定部在判定识别部所识别出的目标物在移动到视频的帧范围内所设立的第一区域的期间是否通过了第二区域。第一识别部当判定部判定出为通过时，基于在第一区域内目标物所显出的特征量，识别作为销售商品的候选的候选商品。第二识别部当判定部判定出为未通过时，在第一区域内识别光学标志所表示的商品数据。

Description

商品读取装置、商品销售数据处理装置及商品读取方法

本申请主张申请日为2012年10月31日、申请号为JP2012-240641的日本申请为优先权，并引用上述申请的内容。

技术领域

本发明涉及一种商品读取装置、商品销售数据处理装置及商品读取方法。

背景技术

在POS（Point Of Sale：销售点）终端等中用于销售商品登记的商品识别通常利用条形码那样的光学标志来进行。

另一方面，提案有利用目标物识别技术的被称为目标物识别扫码器等的商品读取装置。目标物识别扫码器基于商品的外观特征识别所述商品。

目标物识别扫码器虽然可识别未附有光学标志的商品，但另一方面与利用光学标志的识别相比商品识别的精度低。

因而，具有使用光学标志的商品识别和使用目标物识别的商品识别的双功能的商品读取装置很有用。

当使用同一摄像设备用于读取光学标志及摄像商品外观时，很难基于摄像图像瞬时地自动判定应使用哪种商品识别。

因此，需要操作员诸如通过按钮操作等来指定识别方法，从而成为操作员的负担。

如果为了读取光学标志及摄像商品外观而设置各个摄像设备，则操作员能够通过向哪个摄像设备举起商品来分开使用识别方法，但通过设置大于等于两个摄像设备，部件成本就提高了。

根据这样的情况，期望有一种通过简易操作分开利用使用光学标志的商品识别和使用目标物识别的商品识别的装置。

发明内容

鉴于上述技术问题，本发明的目的在于提供一种能够通过简易操作分开利用要使用光学标志的商品识别和要使用目标物识别的商品识别的商品读取装置、商品销售数据处理装置及商品读取方法。

本发明涉及的商品读取装置包括：识别部、判定部、第一识别部及第二识别部。识别部识别摄像设备所摄像的视频所包含的目标物。判定部，判定所述识别部所识别的所述目标物在移动到所述视频的帧范围内所设立的第一区域的期间是否通过了在所述帧范围内与所述第一区域分开设立（制定、规定、决定）的第二区域。第一识别部，根据所述判定部判定出为通过，基于在所述第一区域内所述目标物所显出的特征量，识别作为销售商品的候选的候选商品。第二识别部，根据所述判定部判定出为未通过，在所述第一区域内识别目标物所包含的光学标志所表示的商品数据。

本发明所涉及的商品销售数据处理装置包括：识别部，识别摄像设备所摄像的视频所包含的目标物；判定部，判定在所述识别部所识别出的所述目标物移动到所述视频的帧范围内所设立的第一区域的期间是否通过了在所述帧范围内与所述第一区域分开设立的第二区域；第一识别部，当所述判定部判定出为通过时，基于在所述第一区域内所述目标物所显示的特征量，识别作为销售商品的候选的候选商品；第二识别部，当所述判定部判定出为未通过时，在所述第一区域内识别光学标志所表示的商品数据；以及登记部，基于所述第一识别部所识别出的所述候选商品或所述第二识别部所识别出的所述商品数据，进行关于所述销售商品的销售登记。

本发明所涉及的基于商品读取装置的商品读取方法包括以下步骤：识别步骤，识别摄像设备所摄像的视频所包含的目标物；判定步骤，判定在通过所述识别步骤所识别出的所述目标物移动到所述视频的帧范围内所设立的第一区域的期间是否通过了在所述帧范围内与所述第一区域分开设立的第二区域；第一识别步骤，当通过所述判定步骤判定出为通过时，基于在所述第一区域内所述目标物所显示的特征量，识别作为销售商品的候选的候选商品；以及第二识别步骤，当通过所述判定步骤判定出为未通过时，在所述第一区域内识别光学标志所表示的商品数据。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是包括一实施例所涉及的商品读取装置的店铺结账系统的外观图。

图2是图1所示的店铺结账系统中的电气要素的框图；

图3是表示由区域设定表所包含的设定信息定义各功能区域的一例示意图；

图4是商品读取处理的流程图；

图5是识别处理的流程图；

图6是输出处理的流程图；

图7是表示通过操作员移动的销售商品的活动线和帧范围的位置关系图；

图8是表示通过操作员移动的销售商品的活动线和帧范围的位置关系图。

图9是表示引导图像的一例示意图；

图10是表示引导图像的一例示意图；以及

图11是表示各功能区域的定义的变形例示意图。

附图标记说明

100 商品读取装置 101 外壳

101a 读取窗 102 键盘

103 触摸面板 104 顾客用显示器

105 摄像部 105a 摄像设备

106 CPU 107 ROM

108 RAM 109 键盘接口

110 面板接口 111 显示接口

112 摄像接口 113 POS终端接口

114 总线 200 POS终端

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

下面，参照附图，对商品读取装置的实施例进行说明。本实施例是应用于超市等店铺所设置的结账台所竖着设置的立式商品读取装置的情况。

图1是包含本实施例所涉及的商品读取装置的店铺结账系统的外观图。该店铺结账系统包括商品读取装置100及POS（Point Of Sales：销售点）终端200。商品读取装置100被安装在结账台300上。POS终端200设置在收银台400所装载的拉出装置500上。商品读取装置100和POS终端200通过未图示的通信电缆电气连接。也有设置自动找零机替代拉出装置500的情况。

商品读取装置100包括外壳101、键盘102、触摸面板103、顾客用显示器104及摄像部105。

外壳101呈平型箱状，竖立在结账台300上。外壳101在其上端支撑键盘102、触摸面板103及顾客用显示器104，在其内部支撑摄像部105。外壳101具有与摄像部105对置的读取窗101a，可通过读取窗101a由摄像部105摄像位于读取窗101a前的物体（目标物）。

POS终端200包括外壳201、键盘202、操作员用显示器203、顾客用显示器204及打印机205。

外壳201将键盘202以其一部分露在外部的状态进行支撑，将操作员用显示器203及顾客用显示器204以位于外部的状态进行支撑，并在内部支撑打印机205。

结账台300包括细长顶板300a。结账台300划分沿顶板的长度方向的顾客通道（图1中的里侧）和操作员空间（图1中的跟前侧）。外壳101位于顶板300a的长度方向的大致中央，并将键盘102、触摸面板103及读取窗101a分别朝向操作员空间侧，而且将顾客用显示器朝向顾客通道侧。顶板300a的上表面隔着商品读取装置100在顾客移动方向的上游侧的区域被用作放置购物顾客想购买的商品中的未销售登记的商品用的空间，此外下游侧的区域被用作放置已销售登记的商品用的空间。这样，通常销售商品从顾客移动方向的上游侧的区域通过读取窗101a前被移动到下游侧的区域。就是说，销售登记时的销售商品的活动线方向与顾客的移动方向大致一致。销售商品的标准的活动线（以下，称为标准活动线）为从图1中的右侧向左侧的水平方向。

收银台400位于操作员空间侧，以使排列在相对于顾客通道中的顾客的移动方向的下游侧的结账台300的端部。

图2是图1所示的店铺结账系统中的电气要素的框图。另外，对在图2所示的要素中与图1所示的相同的要素附加与图1相同的符号。

商品读取装置100作为电气要素除包括键盘102、触摸面板103及顾客用显示器104外，还包括摄像装置105a、CPU（Central Processing Unit：中央处理器）106、ROM（ReadOnly Memory：只读存储器）107、RAM（Random Access Memory：随机存取存储器）108、键盘接口（键盘I/F）109、面板接口（面板I/F）110、显示接口（显示I/F）111、摄像接口（摄像I/F）112、POS终端接口（POS终端I/F）113及总线114。另外，总线114包括地址总线及数据总线等，并将CPU106、ROM107、RAM108、键盘接口109、面板接口110、显示接口111、摄像接口112及POS终端接口113相互连接。

键盘102包括多个钥匙开关，用于输出表示操作员对这些钥匙开关的操作的内容的命令。

触摸面板103诸如包括LCD（Liquid Crystal Display：液晶显示器）等的显示设备、重叠配置在该显示装置的显示画面上的透明二维触摸传感器。触摸面板103在CPU106的控制下在显示设备中显示任意图像。触摸面板103通过二维触摸传感器检测出显示设备的显示画面中的操作员的触摸位置，并输出表示该触摸位置的坐标信息。触摸面板103用于显示表示应向操作员进行提示的各种信息的图像或者输入操作员的操作。

顾客用显示器104在CPU106的控制下，显示任意的字符串、图像。顾客用显示器104用于显示应向顾客进行提示的各种字符串、图像。作为顾客用显示器104诸如可以使用荧光管显示器或LCD。

摄像设备105a与未图示的摄像透镜一起被包含在摄像部105中。摄像设备105a包括作为区域图像传感器的CCD（Charge Coupled Device：电荷耦合器件）摄像元件及其驱动电路。摄像透镜将摄像区域的图像在CCD摄像元件上成像。摄像区域是指从读取窗101a通过摄像透镜在CCD摄像元件的区域上成像的区域。摄像设备105a以一定时间间隔取得表示摄像区域的图像（帧图像）的帧数据，并输出所述帧数据。这样，摄像设备105a的摄像方向为从外壳101的内部通过读取窗101a向外壳101的外部的方向。就是说，从摄像装置105角度看的标准活动线为从左向右的方向，帧图像的左侧为标准活动线的上游，此外右侧为下游侧。

CPU106基于ROM107及RAM108所存储的操作系统、中间件及应用程序，为实现作为商品读取装置100的各种动作而控制商品读取装置100的各要素。

ROM107用于存储上述操作系统。ROM107也有存储上述中间件、应用程序的情况。此外，ROM107也有存储在CPU106进行各种处理时进行参照的数据的情况。ROM107存储区域设定表。

区域设定表包括定义在帧图像的范围（帧范围）内的各种功能区域的设定信息。

图3是表示由区域设定表所包含的设定信息定义各功能区域的一例示意图。

在图3的例子中，在帧范围10内定义有识别区域11、肘节区域12、第一位候选区域13、第二位候选区域14及第三位候选区域15的五个功能区域。

识别区域11是配置在帧范围10内的大致中央的矩形区域。肘节区域12是在帧范围10内的标准活动线的上游侧（图3中的左侧）的端部向下方偏移配置的梯形区域。第一位候选区域13是配置在帧范围10内的标准活动线的下游侧的端部的大致中央的梯形区域。第二位候选区域14是在帧范围10内的上方的端部向标准活动线的下游侧偏移配置的梯形区域。第三位候选区域15是在帧范围10内的下方的端部向标准活动线的下游侧偏移配置的梯形区域。另外，各功能区域的形状各自任意。另外，识别区域11相当于第一区域，肘节区域12相当于第二区域，第一位候选区域13、第二位候选区域14及第三位候选区域15相当于多个第三区域。另外，这些第一位候选区域13、第二位候选区域14及第三位候选区域15的配置并不限定于此，也可以任意地变更形成其配置。

RAM108存储在CPU106进行各种处理时进行参照的数据。而且，RAM108用作存储在CPU106进行各种处理时暂时使用的数据的所谓工作区。RAM108也可以存储动作表。

ROM107或RAM108所存储的应用程序包含与后述的处理有关而记述的商品读取程序。另外，商品读取装置100的转让通常是在商品读取程序存储在ROM107中的状态下进行的。也可以在商品读取装置中设置EEPROM（Electric Erasable Programmable Read OnlyMemory：电可擦可编程只读存储器）、硬盘驱动器或SSD（Solid State Drive：固态驱动器）等的辅助存储设备，并以在该辅助存储设备中存储商品读取程序的状态下实现商品读取装置100的转让。不过，也可以在商品读取程序未被存储到ROM107或辅助存储设备的状态下转让商品读取装置100，而且，存储在象磁盘、光磁盘、光盘、半导体存储器等那样可移动的存储介质或者通过网络来转让商品读取程序，并将该商品读取程序写入到上述另行转让的商品读取装置100的RAM108或辅助存储设备中。

键盘接口109对键盘102和CPU106的数据的授受进行接口。作为键盘接口109诸如可以利用依据PS/2标准或USB（Universal Serial Bus：通用串行总线）标准（规格）的公知设备。

面板接口110对触摸面板103和CPU106的数据及图像信号的授受进行接口。面板接口110包括显示设备用接口和触摸传感器用接口。作为显示设备用接口诸如可以利用依据VGA（Video Graphics Array：视频图形阵列）标准（模拟RGB标准）、DVI（Digital VideoInterface：数字视频接口）标准或LVDS（Low Voltage Differential Signaling：低电压差分信号）标准的公知设备。作为触摸传感器用接口诸如可以利用依据USB标准或RS（Recommended Standard：推荐标准）-232C标准的公知设备。

显示接口111对顾客用显示器104和CPU106的图像信号的授受进行接口。作为显示接口111当顾客用显示器104是荧光显示器时，诸如可以利用依据USB标准或RS-232C标准的公知设备，当顾客用显示器104是LCD时诸如可以利用依据VGA标准、DVI标准或LVDS标准的公知设备。

摄像接口112对摄像设备105a和CPU106的数据的授受进行接口。作为摄像接口112诸如可以利用依据USB标准或IEEE（Institute of Electrical and ElectronicEngineers：电气与电子工程师学会）1394标准的公知设备。

POS终端接口113对POS终端200和CPU106的数据的授受进行接口。作为POS终端接口113诸如可以利用依据USB标准或RS-232C标准的公知设备。

POS终端200作为电气要素除包括键盘202、操作员用显示器203、顾客用显示器204及打印机205外，还包括CPU206、ROM207、RAM208、辅助存储单元209、键盘接口210、显示接口（显示I/F）211、212、打印机接口（打印机I/F）213、读取装置接口（读取装置I/F）214、拉出装置接口（拉出装置I/F）215、通信设备216及总线217。另外，总线217包含地址总线及数据总线等，并将CPU206、ROM207、RAM208、辅助存储单元209、键盘接口210、显示接口211、显示接口212、打印机接口213、读取装置接口214、拉出装置接口215及通信设备216相互连接。

键盘202包含多个钥匙开关，用于输出表示操作员对这些钥匙开关的操作的内容的命令。

操作员用显示器203在CPU206的控制下显示任意图像。操作员用显示器203用于显示应该向操作员进行提示的各种图像。作为操作员用显示器203诸如可以利用LCD。

顾客用显示器204在CPU206的控制下显示任意的字符串、图像。顾客用显示器204用于显示应该向顾客进行提示的各种字符串、图像。作为顾客用显示器204诸如可以利用荧光管显示器或LCD。

打印机205在CPU206的控制下在票据纸上打印表示交易内容的票据图像。作为打印机205可以利用公知的各种类型的现有打印机。典型的打印机205是热敏打印机。

CPU206基于ROM207及RAM208所存储的操作系统、中间件及应用程序，为实现作为POS终端200的各种动作而控制各部。

ROM207存储上述操作系统。ROM207也有存储上述中间件、应用程序的情况。此外，ROM207也有存储CPU进行各种处理时进行参照的数据的情况。

RAM208存储CPU206进行各种处理时进行参照的数据。而且，RAM208用作存储CPU206进行各种处理时暂时使用的数据的所谓工作区。RAM208的存储区域的一部分被用作商品明细区，用于管理关于已销售登记的商品的信息。

辅助存储单元209诸如是硬盘驱动器或SSD等，保存CPU206进行各种处理时进行使用的数据、通过在CPU206中的处理生成的数据。

键盘接口210对键盘202和CPU206的数据的授受进行接口。作为键盘接口210诸如可以利用依据PS/2标准或USB标准的公知设备。

显示接口211对操作员用显示器203和CPU106的图像信号的授受进行接口。作为显示接口211诸如可以利用依据VGA标准、DVI标准或LVDS标准的公知设备。

显示接口212对顾客用显示器204和CPU206的图像信号的授受进行接口。作为显示接口212当顾客用显示器204是荧光显示器时诸如可以利用USB标准或RS-232C标准的公知设备，当顾客用显示器204是LCD时诸如可以利用VGA标准、DVI标准或LVDS标准的公知设备。

打印机接口213对打印机205和CPU206的数据的授受进行接口。作为打印机接口213诸如可以利用依据USB标准、RS-232C标准或IEEE1284标准（所谓尖角电子学标准）等的公知设备。

读取装置接口214对商品读取装置100和CPU206的数据的授受进行接口。作为读取装置接口214可以利用依据POS终端接口113所依据的标准的公知设备。

拉出装置接口215按照从CPU206有拉出装置开放的指令，向拉出装置500输出用于使拉出装置500开放的驱动信号。

通信设备216通过通信网络600与服务器700进行通信。作为通信设备216诸如可以应用现有的LAN通信设备。

接着，对以上那样构成的店铺结账系统中的商品读取装置100的动作进行说明。

图4是商品读取处理的流程图。

例如，当通过操作员在键盘202中的规定操作而指令销售商品的登记开始等从而登记处理的开始条件成立时，则CPU206由读取装置接口214向商品读取装置100发送读取开始命令。该读取开始命令通过POS终端接口113通知给CPU106。而且，当接受读取开始命令时，则CPU106开始图4所示的商品读取处理。或者当通过操作员在键盘102或触摸面板103中的规定操作而指令有销售商品的登记开始等从而登记处理的开始条件成立时，CPU106基于商品读取程序开始图4所示的商品读取处理。

在步骤Sa1中，CPU106由摄像接口112向摄像设备105a输出摄像导通信号。摄像设备105a接受该摄像导通信号并开始视频摄像。这样，在该状态中，当操作员向读取窗101a举起用手把持的销售商品时，则在摄像设备105a摄像的视频中映入有销售商品。

在步骤Sa2中，CPU106将变量Ft、Fc、F1、F2、F3、Ff均清0（清零）。这些变量Ft、Fc、F1、F2、F3、Ff均采取“0”或“1”的数值。变量Ft在条形码识别模式有效时采取“0”数值，在目标物识别模式有效时采取“1”数值。变量Fc在商品继续并位于肘节区域12的状态时采取“1”数值。变量F1在第一位候选商品已被选择的状态时采取“1”数值。变量F2在第二位候选商品已被选择的状态时采取“1”数值。变量F3在第三位候选商品已被选择的状态时采取“1”数值。变量Ff在关于正映入视频中的商品的识别结束时采取“1”数值。

在步骤Sa3中，CPU106将摄像设备105a输出的帧数据保存到RAM108中。

在步骤Sa4中，CPU106分析RAM108所保存的帧数据，识别存在有所述帧数据所表示的帧图像所包含的商品。换言之，CPU106检测出帧图像中所包含的商品。具体地说，CPU106首先尝试从帧图像中检测皮肤区域。当检测出皮肤区域时，也就是说当操作员的手映入到帧图像中时，CPU106在将帧图像进行二值化之后，从由此获得的二值化图像中抽取轮廓线等。通过这样，CPU106对假想操作员的手正把持的商品的轮廓进行抽取。这样，CPU106将商品作为应识别的目标物进行识别（检测）。这样，CPU106具有作为识别部的功能。另外，目标物也可以通过以下方法直接识别（检测）。也就是说，CPU106首先分析RAM108所保存的帧数据，从将帧图像进行二值化的图像中抽取轮廓线等。而且，CPU106对帧图像所映出的目标物的轮廓抽取进行尝试，如果能够抽取目标物（目的物）的轮廓，则识别（检测）存在有物体。

在步骤Sa5中，CPU106确认是否已成功识别商品。而且，如果在这里判定为YES（是），则CPU106前进到步骤Sa6。

在步骤Sa6中，CPU106确认在帧图像中识别出商品的位置是否在肘节区域12内。当在肘节区域12内识别出商品时，CPU106在步骤Sa6中判定为YES，并前进到步骤Sa7。

在步骤Sa7中，CPU106确认变量Fc的数值是否为“0”。就是说，CPU106确认商品是否继续并位于肘节区域12的状态。而且，当变量Fc的数值为“0”时，由于商品继续并不处于位于肘节区域12的状态，所以当商品重新进入到肘节区域12时，CPU106在步骤Sa7中判定为YES。而且，这时，CPU106前进到步骤Sa8。

在步骤Sa8中，CPU106使变量Ft的数值翻转。也就是说，如果变量Ft的数值为“0”，则CPU106使其变更为“1”，如果为“1”则使其变更为“0”。就是说，CPU106每当映入到视频中的商品重新进入到肘节区域12，都变更识别模式。

在步骤Sa9中，CPU106将变量Ff的数值视为“0”，而且将变量Fc的内容视为“1”。就是说，如果变更了识别模式，则CPU106结束关于映入到视频中的商品的识别并将其删除。此外，CPU106变更变量Fc，以使表示商品继续并为位于肘节区域12的状态。

如果结束了步骤Sa9，则CPU106返回到步骤Sa3。另外，当变量Fc的数值为“1”时，就是说当商品继续并未重新进入到肘节区域12时，CPU106不执行步骤Sa8、Sa9，返回到步骤Sa3。

当识别出的商品不在肘节区域12内时，CPU106在步骤Sa6中判定为NO（否），并前进到步骤Sa10。

在步骤Sa10中，CPU106使变量Fc的数值为“0”，以使表示商品继续并不是位于肘节区域12的状态。

在步骤Sa11中，CPU106确认在帧图像中识别出商品的位置是否在识别区域11内。当在识别区域11内识别出商品时，CPU106在步骤Sa11中判定为YES，并前进到步骤Sa12。

在步骤Sa12中，CPU106确认变量Ff的数值是否为“0”。而且，当因关于映入到视频中的商品的识别未结束而变量Ff的数值为“0”时，CPU106在步骤Sa12中判定为YES，并前进到步骤Sa13。

在步骤Sa13中，CPU106基于商品读取程序执行识别处理。

图5是识别处理的流程图。另外，虽然在图4及图5中将识别处理作为商品读取处理的子程序进行图示，但是识别处理也可以与商品读取处理为一体。

在步骤Sb1中，CPU106确定变量Ft的数值是否为“1”。而且，如果因变量Ft的数值为“0”而判定出为NO，则CPU106从步骤Sb1前进到步骤Sb2。就是说，如果条形码识别模式变为有效，则CPU106前进到步骤Sb2。

另外，由于变量Ft的数值在初始状态中为“0”，所以在重新映入到视频的商品第一次进入到肘节区域12时，变量Ft的数值被视为“1”，并设定进行目标物识别的状态。这样，当重新映入到视频的商品在移动到识别区域11的期间通过了肘节区域12时，变量Ft的数值为“1”。因此，步骤Sb1包含重新映入到视频的商品在移动到识别区域11的期间是否通过了肘节区域12的判定，从而CPU106具有作为判定部的功能。

在步骤Sb2中，CPU106识别附在映入到识别区域11内的商品上条形码，取得其条形码所表示的条形码数据。也就是说，CPU106具有作为第二识别部的功能。另外，CPU106将在这里取得的条形码数据写入到RAM108。

另外，如以上说明的那样，在本实施例中，当判定出商品在移动到识别区域11的期间未通过肘节区域12时，以此事为触发器，取得条形码数据。不过，也可以在将上述判定后的其他现象作为触发器进行执行的判断中，在确认出上述判定结果之后取得条形码数据。

如果因变量Ft的值为“1”而在步骤Sb1中判定出为YES，则CPU106从步骤Sb1前进到步骤Sb3。就是说，如果目标物识别模式变为有效，则CPU106前进到步骤Sb3。

在步骤Sb3中，CPU106使用目标物识别技术识别映入到识别区域11内的商品。就是说，CPU106具有作为第一识别部的功能。

具体地说，CPU106在步骤Sa4中从最新抽取的轮廓内的图像中读取商品的形状、表面的色彩、图案、凹凸状况等特征量。而且，CPU106根据已读取的特征量和与各商品预先关联的特征量的匹配，识别映入到帧图像中的商品。为了该识别，事先在ROM107或辅助存储单元209中存储识别词库文件。识别词库文件对应每个作为识别对象的商品，与识别所述商品的商品ID（PLU代码）及商品名关联记述多个特征量数据。从摄影了用所对应的商品ID（PLU代码）识别的商品的基准图像中，抽取作为该商品的表面信息（外观形状、色彩、图案、凹凸状况等）的外观上的特征量，并将以参数表示该外观特征量的数据作为特征量数据。而且，对应一个商品，将从由各个方向摄影了该商品的基准图像的各个图像中获得的特征量数据与对应的商品的商品ID关联。关于一个商品的特征量数据的个数并不固定。此外，特征量数据的个数也可以因商品而不同。此外，商品名也可以不必包含在商品类别词库数据中。

在这里的商品识别被称为一般物体识别（generic object recognition：一般物体识别）。关于该一般物体识别的技术在下述的文献中各种识别技术被说明，并可以将该技术应用于上述的目标物识别。

柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ.48，Ｎｏ.ＳＩＧ16[平成22年8月10日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>（柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48，No.SIG16“平成22年8月10日检索”，互联网＜URL：http：//mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞）

此外，通过对应每个目标物对图像进行区域分割，进行一般物体识别的技术在下列的文献中被说明，并且该技术也可以应用于上述的目标物识别。

Jamie Shottonら，“Semantic Texton Forests for Image Categorization andSegmentation”，[平成22年8月10日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>（Jamie Shottonら（杰米肖顿等人），“Semantic Texton Forests for ImageCategorization and Segmentation：”，“平成22年8月10日检索”，互联网＜URL：http：//citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf＞）

另外，如以上说明的那样，在本实施例中，将判定出商品在移动到识别区域11的期间通过了肘节区域12的情况作为触发器，进行使用目标物识别的商品识别。不过，也可以在将上述判定后的另外现象作为触发器执行的判断中，在确认了上述判定之后，进行使用目标物识别的商品识别。

这样，CPU106虽然识别商品，但是由于通常外观相似的商品存在有很多，所以未必找出一个商品从而也有剩余多个候选商品的情况。

因而，在步骤Sb4中，CPU106确认是否有多个候选商品。而且，如果找出了一个商品，则CPU106判定为NO并前进到步骤Sb5。

在步骤Sb5中，CPU106将已识别的一个商品作为销售商品进行确定。另外，CPU106将在这里已确定作为销售商品的商品的PLU（Price Look Up：价格查找表）代码写入到RAM108中。

如果因有多个候选商品而在步骤Sb4中判定为YES，则CPU106前进到步骤Sb6。

在步骤Sb6中，CPU106将从多个候选商品中相似度高的最大三个候选商品按相似度从高到低的顺序设定为第一位候选～第三位候选。另外，CPU106将第一位候选～第三位候选的各个PLU代码写入RAM108中。

如果结束了在步骤Sb2、步骤Sb5及步骤Sb6中的任一个步骤，则CPU106前进到步骤Sb7。

在步骤Sb7中，CPU106将变量Ff的数值变为“1”，以使表示关于映入到视频中的商品的识别已结束。

当结束步骤Sb7时，则CPU106结束识别处理。而且，之后，CPU106返回到图4中的步骤Sa3。

另外，如果因变量Ff为“1”而在图4中的步骤Sa12中判定出为NO，则CPU106不执行上述那样的识别处理而返回到步骤Sa3。

此外，当在帧图像中识别出商品的位置不在识别区域11内时，CPU106在步骤Sa11中判定为NO，并前进到步骤Sa14。

在步骤Sa14～Sa16中，CPU106确认在帧图像中识别出商品的位置是在第一位候选区域13内、第二位候选区域14内及第三位候选区域15内中的任一区域内，还是哪个都不在。而且，当在第一位候选区域13内识别出商品时，CPU106在步骤Sa14中判定为YES，并前进到步骤Sa17。

在步骤Sa17中，CPU106将变量F1的数值变为“1”，而且将变量F2、F3的数值均变为“0”。也就是说，CPU106设定F1、F2、F3，以使表示处于只选择出第一位候选的状态。此后，CPU106返回到步骤Sa3。

当在第二位候选区域14内识别出商品时，CPU106在步骤Sa15中判定为YES，并前进到步骤Sa18。

在步骤Sa18中，CPU106将变量F2的数值变为“1”，而且将变量F1、F3的数值均变为“0”。也就是说，CPU106设定变量F1、F2、F3，以使表示处于只选择了第二位候选的状态。此后，CPU106返回到步骤Sa3。

当在第三位候选区域15内识别出商品时，CPU106在步骤Sa16中判定为YES，并前进到步骤Sa19。

在步骤Sa19中，CPU106将变量F3的数值变为“1”，而且将变量F1、F2的数值均变为“0”。也就是说，CPU106设定变量F1、F2、F3，以使表示处于只选择了第三位候选的状态。此外，CPU106返回到步骤Sa3。

而且，当在帧图像中识别出商品的位置在第一位候选区域13、第二位候选区域14内及第三位候选区域15内中的哪个也不在时，CPU106在步骤Sa16中判定为NO，并直接返回到步骤Sa3。

如果在步骤Sa4中的商品识别未成功，则CPU106在步骤Sa5中判定为NO，并前进到Sa20。

在步骤Sa20中，CPU106确认变量Ff的数值是否为“1”。而且，如果因变量Ff的数值为“1”而在这里判定出为YES，则CPU106前进到步骤Sa21。另外，在这里，变量Ff的数值为“1”的是就在识别结束的商品无法映入到视频中之后。

在步骤Sa21中，CPU106基于商品读取程序执行输出处理。

图6是输出处理的流程图。另外，虽然在图6及图4中将输出处理作为商品读取处理的子程序进行图示，但是输出处理也可以与商品读取处理为一体。

在步骤Sc1中，CPU106确认变量Ft的数值是否为“0”。而且，如果因条形码识别模式有效而变量Ft的数值为“0”，则CPU106判定为YES，并前进到步骤Sc2。

在步骤Sc2中，CPU106从RAM108中读出在识别处理的步骤Sb2中已取得的条形码数据，并将该条形码数据从POS终端接口113输出给POS终端200。

另一方面，如果因目标物识别模式有效而变量Ft的数值为“1”，则CPU106在步骤Sc1中判定为NO，并前进到步骤Sc3。

在步骤Sc3中，CPU106确认是否有多个候选商品。而且，如果在识别处理的步骤Sb5中只确定了一个销售商品，则在这里判定为NO，并前进到步骤Sc4。

在步骤Sc4中，CPU106从RAM108中读出在识别处理的步骤Sb5中已确定的销售商品的PLU代码，并将该PLU代码从POS终端接口113输出给POS终端200。

针对于此，如果在识别处理的步骤Sb6中设定了多个候选商品，则CPU106在步骤Sc3中判定为YES，并前进到步骤Sc5。

在步骤Sc5中，CPU106确认变量F1的数值是否为“1”。而且，如果因变量F1的值为“1”而判定出为YES，则CPU106前进到步骤Sc6。就是说，在处于选择出第一位候选的状态的情况下，CPU106前进到步骤Sc6。

在步骤Sc6中，CPU106从RAM108中读出在识别处理的步骤Sb5中已确定的第一位候选的PLU代码，并将该PLU代码作为销售商品的PLU代码从POS终端接口113输出给POS终端200。

如果因变量F1的值为“0”而在步骤Sc5中判定出为NO，则CPU106前进到步骤Sc7。

在步骤Sc7中，CPU106确认变量F2的数值是否为“1”。而且，如果因变量F2的数值为“1”而判定为YES，则CPU106前进到步骤Sc8。就是说，在处于选择出第二位候选的状态的情况下，CPU106前进到步骤Sc8。

在步骤Sc8中，CPU106从RAM108中读出在识别处理的步骤Sb5中已确定的第二位候选的PLU代码，并将该PLU代码作为销售商品的PLU代码从POS终端接口113输出给POS终端200。

如果因变量F2的数值为“0”而在步骤Sc7中判定为NO，则CPU106前进到步骤Sc9。

在步骤Sc9中，CPU106确认变量F3的数值是否为“1”。而且，如果因变量F3的数值为“1”而判定为YES，则CPU106前进到步骤Sc10。就是说，在处于选择出第三位候选的状态的情况下，CPU106前进到步骤Sc10。

在步骤Sc10中，CPU106从RAM108中读出在识别处理的步骤Sb5中已确定的第三位候选的PLU代码，并将该PLU代码作为销售商品的PLU代码从POS终端接口113输出给POS终端200。

以上，CPU106具有作为选定部的功能。

如果因变量F3的数值为“0”而在步骤Sc9中判定出为NO，则CPU106前进到步骤Sc11。这时，任一候选商品处于未被选择的状态。

在步骤Sc11中，CPU106在显示面板103中显示选择要求画面。选择要求画面是让操作员进行在第一位～第三位的候选商品中的一个候选商品的指定或删除指示的画面。操作员根据该选择要求画面，进行指定与销售商品一致的一个候选商品的操作或者当所有候选商品均与销售商品不一致时进行删除指示的操作。这些操作诸如通过触摸面板103接受。

在步骤Sc12中，CPU106确认是否进行了上述那样的候选商品的指定。如果因未进行所述指定而在这里判定出为NO，则CPU106前进到步骤Sc13。

在步骤Sc13中，CPU106确认是否做出了删除指示。如果因未做出删除指示而在这里判定出为NO，则CPU106返回到步骤Sc12。

这样，CPU106在步骤Sc12及步骤Sc13中待机进行上述那样的候选商品的指定或删除指示。而且，如果进行了候选商品的指定，则CPU106在步骤Sc12中判定为YES，并前进到步骤Sc14。

在步骤Sc14中，CPU106从RAM108中读出已指定的候选商品的PLU代码，并将其作为销售商品的PLU代码从POS终端接口113输出给POS终端200。

另一方面，如果因做出了删除指示而在步骤Sc13中判定出为YES，则CPU106不进行步骤Sc14、即哪个候选商品的PLU代码也不输出并结束输出处理，返回到图4中的步骤Sa2。就是说，CPU106删除之前的商品识别的结果。

如果结束在步骤Sc2、4、6、7、10、14中的任一步骤中的数据输出，则CPU106结束图5所示的输出处理，并返回到图4中的步骤Sa2。

另外，如果因变量Ff为“0”而在图4中的步骤Sa20中判定出为NO，则CPU106不执行上述那样的输出处理，返回到步骤Sa3。

根据以上那样的处理，在操作员将销售商品举到读取窗101a前面的期间，该商品被重复识别，并确认所述商品在帧范围10内的位置是否在识别区域11、肘节区域12、第一位候选区域13、第二位候选区域14及第三位候选区域15中的任一区域内。而且，操作员每使销售商品向肘节区域12内移动，都转换商品识别的模式。当操作员使销售商品移动到识别区域11内时，如果关于该商品的识别未结束，则进行关于该商品的识别。在该识别中，根据已设定的模式，选择地应用目标物识别技术或条形码识别技术。当操作员使销售商品移动到第一位候选区域13内时，如果存在有第一位候选商品，则该候选商品被作为销售商品。当操作员使销售商品移动到第二位候选区域14内时，如果存在有第二位候选商品，则其候选商品被视为销售商品。当操作员使销售商品移动到第三位候选区域15内时，如果存在有第三位候选商品，则其候选商品被视为销售商品。

在不能识别商品的状态中，以通过将各变量清0来准备关于新的销售商品的识别开始的状态，待机新的销售商品被举到读取窗101a前面从而能够识别商品。但是，就在因操作员离开读取窗101a前面识别已结束的销售商品而无法识别商品之后，已被识别的销售商品的条形码数据或PLU代码被从商品读取装置100发送给POS终端200。

图7是表示通过操作员移动的销售商品的活动线和帧范围10的位置关系的示意图。另外，由于图7示出的是来自操作员角度看的，所以各功能区域与图3成镜像关系。

如上所述，销售商品的标准活动线为从图1中的右侧向左侧的水平方向。图7中的活动线21、22与标准活动线实质上相同。

不过，由于在活动线21中销售商品未通过肘节区域12内，所以商品读取装置100对基于条形码识别技术的条形码数据的取得进行尝试。

另一方面，由于在活动线22中销售商品只一次通过肘节区域12内，所以商品读取装置100对基于目标物识别技术的商品识别进行尝试。而且，由于只通过在第一位候选区域13、第二位候选区域14及第三位候选区域15中的第一位候选区域13，所以当具有多个候选商品时，商品读取装置100将这些多个候选商品中相似度最高的商品视为销售商品。

这样，根据商品读取装置100，即使在操作员用按标准活动线的活动线使销售商品移动时，通过操作员使在活动线的上游侧使商品进入屏幕的位置变化，也能够分开使用基于条形码识别技术取得条形码和基于目标物识别技术识别商品。就是说，能够不随着模式转换（换言之，模式设定）操作进行通过条形码识别技术取得条形码数据的条形码识别模式和通过目标物识别技术识别商品的目标物识别模式的转换（条形码识别模式和目标物识别模式的设定），并与进行那样的模式转换操作的情况相比，能够减轻操作员的负担。并且，由于在任何模式中都使用同一摄像设备105a，所以不会有因单独设置各个摄像设备而导致提高成本的情况发生。

另外，也可以在外壳101或读取窗101a中的在相当于图7中用点划线31所示的位置或在其附近形成线或标志等，以使操作员能够简易地识别应该使带条形码的销售商品进入屏幕的位置和应该使无条形码的销售商品进入屏幕的位置。或者也可以在相当于点划线31所示的位置的位置配置隔板等。

此外，图7所示的活动线23、24虽然与活动线21、22相比弯曲较大，但是与标准活动线同样地从右侧向左侧。

由于在活动线23中销售商品只一次通过肘节区域12内，所以商品读取装置100对基于目标物识别技术的商品识别进行尝试。而且，由于只通过在第一位候选区域13、第二位候选区域14及第三位候选区域15中的第二位候选区域14，所以当存在有多个候选商品时，商品读取装置100将在这些多个候选商品中相似度第二高的商品视为销售商品。

由于在活动线24中销售商品只一次通过肘节区域12内，所以商品读取装置100对基于目标物识别技术的商品识别进行尝试。而且，由于只通过在第一位候选区域13、第二位候选区域14及第三位候选区域15中的第三位候选区域15，所以当存在有多个候选商品时，商品读取装置100将在这些多个候选商品中相似度第三高的商品视为销售商品。

根据这样的商品读取装置，通过操作员使在活动线的下游侧使商品离开屏幕的位置变化，能够将不能够根据目标物识别技术找出的多个候选商品中的一个候选商品确定作为销售商品。就是说，能够不进行因此的选择操作来进行多个候选商品中的一个选择，与进行那样的选择操作的情况相比，能够减轻操作员的负担。

图8是表示通过操作员移动的销售商品的活动线和帧范围10的位置关系的示意图。另外，图8也与图7同样，各功能区域与图3成为镜像关系。

活动线25由于在画入时销售商品不通过肘节区域12而进入识别区域11，所以商品读取装置100先对基于条形码识别技术的条形码数据的取得进行尝试。不过，之后销售商品进入到肘节区域12，再之后销售商品进入到识别区域11，所以商品读取装置100改对基于目标物识别技术的商品识别进行尝试。

根据这样的商品读取装置100，当操作员以将无条形码的商品错认为带条形码商品而不通过肘节区域12的方式使销售商品移动到识别区域11时，只要将销售商品暂时返回到肘节区域12内，然后使其移动到识别区域11内就可以。通过这样，在使销售商品进入屏幕之后，与重做象活动线22那样的销售商品的移动的情况相比，减轻操作员的负担。

活动线26由于在画入时销售商品在通过肘节区域12之后，进入识别区域11，所以商品读取装置100先对基于目标物识别技术的商品识别进行尝试。不过，之后由于销售商品进入到肘节区域12，再之后销售商品进入到识别区域11，所以商品读取装置100改对基于条形码识别技术的条形码数据的取得进行尝试。

根据这样的商品读取装置100，当操作员将带条形码商品错误为无条形码商品而通过肘节区域12使销售商品移动到识别区域11时，只要将销售商品暂时返回到肘节区域内12，然后使其移动到识别区域11内就可以。通过这样，在使销售商品进入屏幕之后，与操作员重做象活动线21那样的销售商品的移动的情况相比，能够减轻操作员的负担。

活动线27由于在画入时销售商品在通过肘节区域12之后进入到识别区域11，所以商品读取装置对基于目标物识别技术的商品识别进行尝试。不过，之后，由于销售商品不进入第一位候选区域13内、第二位候选区域14内及第三位候选区域15内的任一个区域内就直接离开屏幕，所以商品读取装置100显示选择要求画面，使操作员进行第一位～第三位的候选商品中的一个候选商品的指定或删除指示。

根据这样的商品读取装置100，当用选择多个候选商品中的一个商品那样的活动线不移动销售商品时，催促操作员以使选择候选商品中的一个商品，并根据操作员的操作将候选商品中的一个商品确定作为销售商品，所以不会浪费识别结果。此外，根据操作员进行的删除指示，对识别结果进行删除，所以可删除不能准确地识别销售商品的识别结果，并重新开始关于所述销售商品的读取。

该实施例可进行如下各种变形实施。

CPU106诸如也可以生成将图9所示那样的引导图像41重叠在摄像设备105a获得的视频中的监视图像，并将其事先显示在触摸面板103等上。根据这样，操作员可容易地掌握视频中的销售商品和各功能区域的位置关系。这时，CPU106具有生成部的功能。

当存在有多个候选商品时，诸如也可以生成如图10所示那样将表示各候选商品和各候选区域的关联的引导图像42重叠在摄像设备105a获得的视频中的监视图像，并将其事先显示在触摸面板103等上。根据这样，操作员能够容易地掌握通过使销售商品向哪个候选区域移动哪个商品被确定的情况。另外，图10所示的图像43是视频的一部分，并是映入到视频中的销售商品。图像44是表示作为目标物进行识别的区域的图像，并是与引导图像42同时重叠显示在视频中的图像。

例如，也可以象图11所示那样三维地设定各功能区域。

图11是表示基于区域设定表所包含的设定信息定义各功能区域的变形例的图。图11（a）所示的范围内示出来自操作员角度看的各功能区域的配置，图11（b）所示的范围内示出从标准活动线的上游侧观察标准活动线的方向时的各功能区域的配置。

在图11的例子中，定义有识别区域51、肘节区域52、第一位候选区域53、第二位候选区域54及第三位候选区域55的五个功能区域。

识别区域51、第一位候选区域53、第二位候选区域54及第三位候选区域55与识别区域11、第一位候选区域13、第二位候选区域14及第三位候选区域15的位置关系为同样的位置关系。不过，肘节区域52相对于识别区域51、第一位候选区域53、第二位候选区域54及第三位候选区域55偏离在与外壳10不同一侧。

这样，操作员通过在相对于外壳101的远近方向上调整销售商品的位置，能够选择是否通过肘节区域52。

摄像设备105a因为越接近物体越明亮、越远离物体越黑暗地进行摄像，所以基于目标物的在视频中的明暗可以推定从摄像设备105a到销售商品的距离，并能够根据这样推定出的距离判定是否通过了肘节区域52。

也可以将候选商品视为两个或大于等于四个，并设定与该候选商品数相同数的候选区域。

如果销售商品通过了肘节区域12，则之后即使相同销售商品进入到肘节区域12，也可以使目标物识别模式一直有效。

销售商品是否通过了肘节区域12诸如也可以利用光电传感器等其他检测设备进行判定。

用于从候选商品中选择销售商品的操作员操作也可以通过触摸面板103等来接受操作。

也可以在商品读取装置100中不设置摄像部105，而是采集通过外置的摄像设备获得的帧数据来进行上述处理。

CPU106的处理的具体内容如果能够实现同样的功能则可任意变更。

例如，在上述实施例中，虽然商品读取装置100具有所有用于商品识别的功能，但是也可以将商品识别的功能分配给商品读取装置100和POS终端200。此外，也可以使POS终端200具有所有用于商品识别的功能。

也可以作为内置商品读取装置100的功能的POS终端或收银机来实现。

此外，也可以将商品读取装置100的功能嵌入到秤装置所设置的自助结账终端来实现。这时，操作员变成顾客。

虽然对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他各种形式来实施，只要在不脱离发明的主旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围中，而且，包含在权利要求的范围所记载的发明及其等同的范围内。

Claims (10)

1.一种商品读取装置，其特征在于，包括：

识别部，识别摄像设备所摄像的视频所包含的目标物；

判定部，判定在所述识别部所识别出的所述目标物移动到所述视频的帧范围内所设立的第一区域的期间是否通过了在所述帧范围内与所述第一区域分开设立的第二区域；

第一识别部，当所述判定部判定出为通过时，基于在所述第一区域内所述目标物所显出的特征量，识别作为销售商品的候选的候选商品；以及

第二识别部，当所述判定部判定出为未通过时，在所述第一区域内识别光学标志所表示的商品数据。

2.根据权利要求1所述的商品读取装置，其特征在于，

所述判定部当在所述识别部在所述第二区域识别出所述目标物以后到所述识别部在所述第一区域识别所述目标物之前的期间，所述识别部继续识别所述目标物时，判定为通过。

3.根据权利要求1或2所述的商品读取装置，其特征在于，还包括：

生成部，生成在所述视频中重叠引导图像的监视图像，所述引导图像显示了所述第一及第二区域。

4.根据权利要求1或2所述的商品读取装置，其特征在于，还包括：

选定部，当所述第一识别部所识别出的候选商品有多个时，关联在所述帧范围内与所述第一及第二区域分开设立的多个第三区域的所述多个候选商品中的至少两个，并当所述识别部在所述多个第三区域中的任意一个区域中识别出所述目标物时，将与所述第三区域关联的候选商品选定作为所述销售商品。

5.根据权利要求4所述的商品读取装置，其特征在于，还包括：

生成部，生成在所述视频中重叠引导图像的监视图像，所述引导图像显示了所述第一区域及第二区域、和所述第三区域。

6.根据权利要求5所述的商品读取装置，其特征在于，

所述生成部将所述引导图像作为显示了在所述多个第三区域中关联了哪个候选商品的图像。

7.根据权利要求1所述的商品读取装置，其特征在于，

所述第一及第二区域以沿着位于操作员从所述摄像设备的摄像范围外经由所述摄像范围内向所述摄像范围外使所述销售商品移动时的活动线的方式被设定。

8.一种商品销售数据处理装置，其特征在于，包括：

识别部，识别摄像设备所摄像的视频所包含的目标物；

判定部，判定在所述识别部所识别出的所述目标物移动到所述视频的帧范围内所设立的第一区域的期间是否通过了在所述帧范围内与所述第一区域分开设立的第二区域；

第一识别部，当所述判定部判定出为通过时，基于在所述第一区域内所述目标物所显示的特征量，识别作为销售商品的候选的候选商品；

第二识别部，当所述判定部判定出为未通过时，在所述第一区域内识别光学标志所表示的商品数据；以及

登记部，基于所述第一识别部所识别出的所述候选商品或所述第二识别部所识别出的所述商品数据，进行关于所述销售商品的销售登记。

9.一种基于商品读取装置的商品读取方法，其特征在于，包括以下步骤：

识别步骤，识别摄像设备所摄像的视频所包含的目标物；

判定步骤，判定在通过所述识别步骤所识别出的所述目标物移动到所述视频的帧范围内所设立的第一区域的期间是否通过了在所述帧范围内与所述第一区域分开设立的第二区域；

第一识别步骤，当通过所述判定步骤判定出为通过时，基于在所述第一区域内所述目标物所显示的特征量，识别作为销售商品的候选的候选商品；以及

第二识别步骤，当通过所述判定步骤判定出为未通过时，在所述第一区域内识别光学标志所表示的商品数据。

10.根据权利要求9所述的商品读取方法，其特征在于，

在所述判定步骤中，当在通过所述识别步骤在所述第二区域识别出所述目标物以后到通过所述识别步骤在所述第一区域识别所述目标物之前的期间，在所述识别步骤中继续识别所述目标物时，判定为通过。