CN108320403B - 商品识别装置及控制方法、终端设备 - Google Patents

Abstract

本发明公开了一种商品识别装置及控制方法、终端设备，其能够谋求提高商品识别处理中的作业效率，该商品识别装置包括：接口，姿势传感器及处理器。接口用于取得摄像了包含操作员将商品对准的区域的摄像区域的摄像图像。姿势传感器用于取得表示所述操作员的姿势的姿势信息。处理器判定所述姿势传感器取得的姿势信息是否满足规定条件，当判定出为所述姿势信息满足所述规定条件时针对通过所述接口取得的图像执行商品识别处理。

Description

商品识别装置及控制方法、终端设备

本申请主张申请日为2017年01月16日、申请号为JP2017-005359的日本申请为优先权，并引用上述申请的内容，通过引用将其公开内容全部结合于此。

技术领域

本发明的实施例涉及一种商品识别装置及控制方法、终端设备。

背景技术

目前，有通过由扫描仪(摄像头)摄像了操作员对准的商品的摄像图像进行商品的识别的商品识别装置。商品识别装置当检测物体时，则执行商品识别处理。商品识别装置当在商品识别处理中选出了多个商品候补时，显示已选出的多个商品候补，并处于由操作员选择候补的等待状态。

不过，现有的商品识别装置有时检测除商品以外的物体后开始商品识别处理。例如，商品识别装置当操作员的手臂、肩膀无意中接近于扫描仪时往往作为物体进行检测后开始了商品识别处理。商品识别装置当针对无意中的摄像图像执行了商品识别处理时，也显示从该摄像图像获得的多个候补并处于由操作员选择候补的等待状态。处于选择等待状态的商品识别装置，在操作员进行了重置显示中的候补的操作后，需要再次将商品对准摄像头的操作。这样的操作员的操作导致作业效率下降。

发明内容

鉴于上述问题，本发明所要解决的技术问题是，提供一种商品识别装置及控制方法、终端设备，其能够谋求提高商品识别处理中的作业效率。

为解决上述问题，本发明的一实施例，提供了一种商品识别装置，包括：接口，姿势传感器及处理器。接口用于取得摄像了包含操作员将商品对准的区域的摄像区域的摄像图像。姿势传感器用于取得表示所述操作员的姿势的姿势信息。处理器判定所述姿势传感器取得的姿势信息是否满足规定条件，当判定出为所述姿势信息满足所述规定条件时针对通过所述接口取得的图像执行商品识别处理。

根据这样的构成，能够谋求提高商品识别处理中的作业效率。

对于商品识别装置，在一种可能的实施方式中，所述规定条件是所述姿势信息表示操作员的姿势处于站立的状态的条件。

根据这样的构成，通过这样的规定条件，能够确保可以执行商品识别处理的姿势。

对于商品识别装置，在一种可能的实施方式中，所述规定条件是所述姿势信息表示操作员的头部位于规定范围内的条件。

根据这样的构成，通过这样的规定条件，能够确保可以执行商品识别处理的姿势。

对于商品识别装置，在一种可能的实施方式中，所述规定条件是所述姿势信息表示操作员的人脸处于朝向正面的条件。

根据这样的构成，通过这样的规定条件，能够确保可以执行商品识别处理的姿势。

本发明的另一实施例，提供了一种物品识别装置，包括：接口，用于取得摄像了包含操作员将商品对准的区域的摄像区域的摄像图像；姿势传感器，用于取得所述操作员的姿势信息；以及处理器，执行对通过所述接口取得的图像所包含的商品进行识别的商品识别处理，当通过所述商品识别处理获得了多个商品候补时接受来自多个商品候补的商品的选择，当在接受来自所述多个商品候补的商品的选择的状态中所述姿势传感器取得的姿势信息从第一状态变迁到第二状态时清除所述多个商品候补并针对通过所述接口重新取得的图像再次执行商品识别处理。

根据这样的构成，能够谋求提高商品识别处理中的作业效率。

本发明的第三实施例，提供了一种商品识别装置的控制方法，该商品识别装置具有用于取得摄像了包含操作员将商品对准的区域的摄像区域的摄像图像的接口、用于取得表示所述操作员的姿势的姿势信息的姿势传感器，该控制方法包括以下步骤：判定所述姿势传感器取得的姿势信息是否满足规定条件的步骤；以及当判定出为所述姿势信息满足所述规定条件时针对通过所述接口取得的图像执行商品识别处理的步骤。

根据这样的控制方法，能够谋求提高商品识别处理中的作业效率。

对于控制方法，在一种可能的实施方式中，所述规定条件是所述姿势信息表示操作员的姿势处于站立的状态的条件。

根据这样的控制方法，通过这样的规定条件，能够确保可以执行商品识别处理的姿势。

对于控制方法，在一种可能的实施方式中，所述规定条件是所述姿势信息表示操作员的头部位于规定范围内的条件。

根据这样的控制方法，通过这样的规定条件，能够确保可以执行商品识别处理的姿势。

对于控制方法，在一种可能的实施方式中，所述规定条件是所述姿势信息表示操作员的人脸处于朝向正面的条件。

根据这样的控制方法，通过这样的规定条件，能够确保可以执行商品识别处理的姿势。

本发明的第四实施例，提供了一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行上述的控制方法所对应的操作。

根据这样的构成，能够实现能够谋求提高商品识别处理中的作业效率的功能。

附图说明

下面，参照附图对实施例所涉及的商品识别装置进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1是表示包含实施例所涉及的商品识别装置的结账系统的构成例的图；

图2是表示实施例所涉及的商品识别装置及POS终端的控制系统的构成例的框图；

图3是用于对包含实施例所涉及的商品识别装置的结账系统中的结账处理的流程进行概略地说明的流程图；

图4是用于对实施例所涉及的商品识别装置中的第一动作例进行说明的流程图；

图5是表示实施例所涉及的商品识别装置中的多个商品候补的显示例的图；以及

图6是用于对实施例所涉及的商品识别装置中的第二动作例进行说明的流程图。

附图标记说明

1 商品识别装置 1A 外壳

1B 读取窗 2 POS终端

11 键盘 12 触摸面板

12a 显示部 12b 触摸传感器

13 顾客用显示器 14 摄像头

16 姿势传感器 111 处理器

112 ROM 113 RAM

114 图像接口 500 词库文件

具体实施方式

以下，参照附图，对实施例进行说明。

图1是表示包含实施例所涉及的商品识别装置1的结账系统的构成例的外观图。

结账系统具有商品识别装置1和POS终端2。商品识别装置1对顾客所购买的商品进行识别(登记)。POS终端2进行针对在商品识别装置1中已识别(登记)的商品的货款的结算。结账系统诸如是在小卖店等的店铺中进行针对使用者(顾客)要购买的商品的结账处理的系统。在以下的说明中，假想通过店员作为操作员进行操作来实施包含商品识别处理的结账处理的系统。不过，结账系统也可以是通过使用者本身作为操作员进行操作来实施例包含商品识别处理的结账处理的系统(自助收银系统)。

在图1所示的构成例中，商品识别装置1被安装在结账台3上。商品识别装置1具有外壳1A、键盘11、触摸面板12及顾客用显示器13。POS终端2通过钱箱5被设置在收银台4上。POS终端2具有键盘21、操作员用显示器22、顾客用显示器23及票据打印机24。商品识别装置1和POS终端2通过通信电缆400(参照图2)电气连接。

设置商品识别装置1的结账台3具有沿着顾客通行的通道的长条的形状。设置POS终端2的收银台4针对沿着结账台3而进行移动的顾客的移动方向被放置在下游侧。收银台4与结账台3大致垂直地被放置。结账台3及收银台4的跟前侧成为作为操作员的店员进行工作的空间。

在商品识别装置1中，键盘11、触摸面板12及顾客用显示器13安装在外壳1A上。外壳1A收纳作为进行商品识别处理的计算机的控制单元。而且，外壳1A具有摄像头14、蜂鸣器15及姿势传感器16。在图1所示的构成例中，外壳1A具有扁平的矩形形状，别竖直设置在结账台3的大致中央上。键盘11和触摸面板12分别将操作面朝向作为操作员的店员(收银员)一侧而安装在外壳1A上。顾客用显示器13将显示面朝向顾客进行通行的通道一侧而安装在外壳1A上。

此外，外壳1A具有读取窗1B。读取窗1B是用于外壳1A内的摄像头14摄像商品的图像的窗(开口部)。在图1所示的构成例中，读取窗1B在外壳1A的操作员一侧形成为矩形形状。外壳1A内的摄像头14由图像传感器、驱动电路及光学系统等构成。图像传感器诸如是CCD(Charge Coupled Device：电荷耦合器件)摄像元件。驱动电路使图像传感器驱动。光学系统包含用于使来自读取窗1B的摄像区域的图像在CCD摄像元件上成像的摄像透镜等。在这里，摄像区域指从读取窗1B通过摄像透镜在CCD摄像元件的区域上进行成像的帧图像的区域。摄像头14输出通过摄像透镜在CCD摄像元件上进行了成像的摄像区域的图像。

另外，摄像头14并不限定于上述构成。本实施例所涉及的商品识别的摄像头只要是将包含商品的图像作为图像数据进行取得的摄像头就可以。

图1所示的构成中，假想在结账台3中的外壳1A的两侧分别配置筐6和筐7的运用。筐6装入商品识别处理前的商品(未识别的商品)。筐7装入商品识别处理后的商品(已登记的商品)。筐6相对于结账台3上的顾客的移动方向被放置在外壳1A的上游侧。针对于此，筐7相对于结账台3上的顾客的移动方向被放置在外壳A1的下游侧。

例如，顾客将向筐6中装入了希望购买的未识别(登记)的商品的筐6放置到结账台3上。操作员(店员)从筐6一个一个取出商品，并将已取出的商品对准读取窗1B。随着这样的操作员的操作，摄像头14从读取窗1B摄像包含一个商品的摄像区域的图像。在基于摄像头14所摄像的摄像图像的商品识别处理已完成后，操作员将该商品放入筐7中。

此外，姿势传感器16是检测用于推定操作员的姿势的信息的传感器。姿势传感器16只要是取得能够判定操作员(当是自助收银机时的使用者)是否处于将商品对准读取窗1B的状态的信息(姿势信息)的传感器就可以。例如，姿势传感器16既可以是摄像头、又可以是测距传感器，还可以是接近传感器。另外，当将姿势传感器16视为摄像头时，姿势传感器16也可以是摄像头14。

图2是表示商品识别装置1和POS终端2的硬件构成的框图。

商品识别装置1具有处理器111、ROM(Read Only Memory：只读存储器)112、RAM(Random Access Menory：随机存取存储器)113、图像接口114、装置接口115、连接接口116及传感器接口117。处理器111通过地址总线、数据总线等总线118与ROM112、RAM113及各个接口114、115、116、117连接。

处理器111执行程序。例如，处理器111通过执行ROM112所存储的程序来实现各种处理。处理器111诸如是CPU(Central Processing Unit：中央处理器)。ROM(Read OnlyMemory：只读存储器)112存储程序及控制数据等。RAM113是存储作业用的数据的易失性存储器。RAM113存储处理器111通过程序执行中的处理数据。

图像接口114是连接摄像头14的接口。处理器111通过图像接口114采集摄像头14所摄像的图像数据。处理器111将通过图像接口114从摄像头14已采集到的图像数据存储在RAM113中。

装置接口115是连接键盘11、触摸面板12及顾客用显示器13的接口。触摸面板12包括显示部12a和触摸传感器12b。触摸传感器12b重叠配置在显示部12a的画面上。装置接口115也可以是连接蜂鸣器15的接口。蜂鸣器15诸如鸣动告知音。蜂鸣器15通过装置接口115从处理器111接收控制指示，并根据接收到的控制指示发出声音。

连接接口116是用于与POS终端2进行连接的接口。在图2所示的构成例中，连接接口116通过通信电缆400与POS终端2进行连接。连接接口116只要是与POS终端2进行通信的接口就可以，诸如也可以是无线通信用的接口。

传感器接口117是用于连接姿势传感器16的接口。传感器接口117与姿势传感器16的规格对应。另外，当将摄像头14用作姿势传感器16时，也可以省略传感器接口117。

如图2所示，POS终端2具有处理器211、ROM212、RAM213、HDD(Hard Disk Drive：硬盘驱动器)214、装置接口215、通信接口216及连接接口217。处理器211通过地址总线、数据总线等总线218与ROM212、RAM213、HDD214及各个接口215、216、217进行连接。

处理器211执行程序。例如处理器211通过执行ROM212存储的程序来实现各种处理。处理器211诸如是CPU(Central Processing Unit：中央处理器)。ROM212存储程序及控制数据等。RAM213是存储工作用的数据的易失性存储器。RAM213存储处理器211通过程序执行中的的处理数据。HDD214是数据存储部。数据存储部并不限定于HDD，诸如也可以是SSD(Solid State Drive：固态硬盘)等。

装置接口215是用于连接键盘21、操作员用显示器22、顾客用显示器23、打印机24及钱箱5的接口。

通信接口216是用于与店铺计算机300连接的接口。通信接口216诸如通过LAN(Local Area Network：局域网)等网络与店铺计算机300进行通信。POS终端2的处理器211可通过通信接口216与店铺计算机300发送接收数据。例如，POS终端2的处理器211通过通信接口216从店铺计算机300接收商品识别用的词库文件500。POS终端2的处理器211将从店铺计算机300接收到的词库文件500保存在HDD214中。

连接接口217是用于与商品识别装置1进行通信的接口。在图2所示的构成例中，连接接口217通过通信电缆400与商品识别装置1的连接接口116进行连接。例如，POS终端2的处理器211对通过连接接口217等进行通信的商品识别装置1的触摸面板12及顾客用显示器13的显示进行控制。此外，商品识别装置1的处理器111对通过连接接口217等可通信的POS终端2的HDD214内的词库文件500进行访问。

词库文件500是每个商品的词库数据。例如，词库文件500包括与每个商品的商品ID及商品名关联的多对的基准图像数据和特征量数据。多个基准图像数据是以各种条件摄像了通过商品ID识别的商品的图像数据。例如，多个基准图像数据是从各个方向摄像了商品的图像数据。特征量数据是将从各个基准图像获得的在外观上的特征量进行了参数化的数据。特征量数据是在商品识别处理中用于与从摄像图像中的商品图像获得的特征量进行核对的词库数据。

接着，对商品识别装置1中的处理功能进行说明。

商品识别装置1具有通过处理器111执行程序而实现的各种处理功能。商品识别装置1通过处理器111执行ROM112所存储的程序从而实现包含商品识别处理的商品登记处理等的各种处理功能。例如，商品识别装置1作为用于识别商品的处理功能，具有图像取得功能、图像检索功能、特征量提取功能、相似度计算功能、商品指定功能及结果输出功能。

本实施例所涉及的商品识别装置1作为商品识别的方法，采用一般物体识别(generic object recognition)的技术。一般物体识别(以下称为物体识别)是从通过摄像头摄像了商品等的物体(对象物)的图像数据(摄像图像)识别该物体的种类等的技术。例如，物体识别通过在电子计算机(计算机)等的装置中处理器执行程序来被实现。计算机取得图像数据，并从已取得的图像数据所包含的物体的图像中提取识别用的特征量。计算机计算从物体的图像提取出的特征量和已登记作为词库数据的特征量(从基准图像获得的特征量)数据的相似度。计算机基于从物体图像提取出的特征量和已登记作为词库数据的特征量数据的相似度识别已取得的图像所存在的物体。

图像取得功能是取得摄像头14摄像的摄像图像的功能。摄像头14对以摄像对准读取窗1B的前方的商品的方式已设定的摄像区域的图像进行摄像。处理器111通过图像接口114取得摄像头14所摄像的摄像区域的图像。

图像检测功能是从摄像头14所摄像的摄像图像检测(提取)商品图像的功能。处理器111通过图像取得功能从由摄像头14取得的摄像图像检测商品的图像区域。处理器111剪切商品的图像区域而作为商品图像。

特征量提取功能是从通过图像检测功能检测出的商品图像提取特征量的功能。处理器111从商品图像计算(提取)与用于商品识别处理的算法对应的商品的特征量。

相似度计算功能是计算从商品图像提取的特征量和已登记作为词库数据的各个商品的特征量数据的相似度的功能。处理器111计算从商品图像获得的特征量和各个商品的词库文件500的特征量数据的相似度。

商品指定功能是基于通过相似度计算功能计算出的每个商品的相似度指定商品图像的商品(摄像头14所摄像的商品)的功能。处理器111基于相似度将商品图像的商品指定为一个商品，或者选出针对商品图像的商品的多个商品候补。例如，处理器111当相似度大于等于规定阈值的的商品仅为一个时，指定商品图像的商品是大于等于阈值的商品。此外，当没有相似度大于等于规定阈值的商品时或当相似度大于等于规定阈值的商品有多个时，处理器111按照相似度从高到低的顺序选出多个商品候补。当选出了多个商品候补时，处理器111按照操作员的选择指定商品图像的商品。

结果输出功能是将表示通过商品指定功能已指定的商品的信息输出给POS终端2的功能。处理器111当通过商品指定功能指定了商品时，将已指定的商品的商品ID作为摄像头14所摄像的商品的商品ID输出给POS终端2。

另外，商品识别装置1的处理器111也可以具有从商品图像识别指定商品的代码(例如，条码、二维码)的码识别功能。处理器111也可以当能够从商品图像检测出代码时基于代码识别商品，当不能检测代码时通过物体识别识别商品。不过，在以下说明中，商品识别装置1通过物体识别来识别商品。

接着，对在结账系统中的结账处理的流程进行说明。

图3是用于对在结账系统中的结账处理的流程进行概略地说明的流程图。

如图3所示，结账系统进行对使用者要购买的各个商品进行登记(识别)的商品登记处理和对通过商品登记处理已登记的所有商品的货款进行结算的结账处理。商品登记处理包括通过使用了物体识别的商品识别来指定(确定)使用者(顾客)要购买的各个商品的处理。

使用者在店铺内寻找想要购买的商品，并将实际要购买的商品放入到筐6中。使用者拿着装入要购买的商品的筐6去结账台3。使用者或店员将装入了要购买的商品的筐6放置到结账台上的外壳1A的跟前(使用者的行进方向的上游侧)。操作员(店员或使用者)从筐6一个一个取出商品并对准读取窗1B。操作员完成对准了读取窗1B的商品的识别(登记)后将该商品放入到筐7中。

商品识别装置1对通过针对摄像头14摄像的图像的商品识别处理已指定的商品进行登记(ACT11)。商品识别装置1通过摄像头14摄像已被对准读取窗1B的各个商品的图像。商品识别装置1针对摄像头14所摄像的摄像图像进行商品识别处理。在商品识别处理中，商品识别装置1从姿势传感器16取得用于推定操作员的姿势的姿势信息，并监视操作员的姿势。商品识别装置1当基于姿势信息判定为操作员的姿势是处于可以执行商品识别处理的状态时，则继续实施针对各个商品的商品识别处理。

另外，对包含商品识别处理的商品登记处理以后进行详细说明。在这里，商品识别装置1的处理器111实施商品登记处理，并将表示已登记的商品的信息供给给POS终端2。不过，商品识别处理也可以由POS终端2的处理器211进行实施。

当商品登记处理已完成时(当对成为结算对象的所有的商品进行了登记时)，操作员通过商品识别装置1的键盘11或触摸面板12来指示商品的登记完成。也就是说，在开始了商品登记处理后，商品识别装置1接受通过操作员指示商品的登记完成(ACT12)。如果没有商品登记完成的指示(ACT12的NO)，则商品识别装置1继续执行商品登记处理。

当有商品的登记完成的指示时(ACT12的YES)，商品识别装置1过渡到通过POS终端2针对已登记的商品的结账处理(ACT13)。例如，POS终端2的处理器211从商品识别装置1取得已登记(确定)的各个商品的商品ID。POS终端2的处理器211当取得已登记的各个商品的商品ID时，则基于已取得的商品ID指定各个商品的商品货款。

处理器211通过对各个商品的商品货款进行合计从而计算针对已登记的所有商品(成为结算对象的所有商品)的结算金额。当计算结算金额时，则处理器211从使用者收受用于对计算出的结算金额进行结算的金额。处理器211当从使用者收受结算金额的金额时，则发放表示交易内容的票据后结束结账处理。

接着，对在商品识别装置1中的商品登记处理的第一动作例进行说明。

图4是用于对在商品识别装置1中的包含商品识别处理的商品登记处理的第一动作例进行说明的流程图。

在第一动作例中，商品识别装置1的处理器111首先清除触摸面板12的显示内容(ACT31)，并开始商品登记处理。当开始商品登记处理时，则处理器111从姿势传感器16取得表示操作员的姿势的信息(姿势信息)(ACT32)。当从姿势传感器16取得姿势信息时，则处理器111基于已取得的姿势信息判定操作员是否是可以执行商品识别处理的姿势(ACT33)。处理器111根据从姿势传感器16取得的姿势信息是否满足规定条件来判定是否是可以执行商品识别处理的姿势。

只要姿势传感器16是取得姿态信息的传感器，则处理器111根据作为姿势传感器16取得的姿势信息的姿态信息来推定操作员的姿势。此外，只要姿势传感器16是摄像头，则处理器111根据作为姿势传感器16的摄像头摄像的图像(姿势信息)推定操作员的姿势。此外，只要姿势传感器16是接近传感器，则处理器111通过作为姿势传感器16的接近传感器的检测信号(姿势信息)来推定操作员的姿势(位置)。

在本实施例中，可以执行商品识别处理的姿势就是操作员将商品对准读取窗1B的姿势(或者能够对准的姿势)。例如，可以执行商品识别处理的姿势也可以为“站立状态”、“头部的位置在规定范围内”、“人脸的方向为朝向正面(摄像头14一侧)方向”等的姿势。此外，也可以未靠近规定位置(例如，触摸面板12的上部)所设置的作为姿势传感器16的靠近传感器的状态是可以执行商品识别处理的姿势。

例如，处理器111能够通过姿势传感器16取得的姿势信息(例如姿态信息)来判定操作者是否处于站立状态。当作为规定条件设定姿势信息示出操作员的站立状态的条件时，则处理器111通过姿势传感器16取得的姿势信息来判定是否处于站立状态。

此外，只要姿势传感器16是摄像头，则处理器111能够从作为姿势传感器16的摄像头摄像的图像(姿势信息)推定操作员的头部的位置。当作为规定条件设定针对头部的位置的容许范围时，则处理器111从姿势信息指定的头部的位置是否在容许范围内。

此外，只要姿势传感器16是摄像头，则处理器111能够从作为姿势传感器16的摄像头摄像的图像(姿势信息)推定操作员的人脸的方向。当作为规定条件设定人脸的方向时，则处理器111判定从姿势信息指定的人脸的方向是否是作为规定条件已设定的方向。

通过以上这些的规定条件，能够确保可以执行商品识别处理的姿势。

当判定出为操作员是可以执行商品识别处理的姿势时(ACT34的YES)，处理器111通过图像取得功能从摄像头14取得摄像图像(ACT35)。也就是说，处理器111通过图像接口114采集摄像头14摄像的摄像图像(帧图像)。处理器111将通过图像接口114采集到的摄像图像存储在RAM113中。

处理器111进行通过图像检测功能检测从摄像头14已取得的摄像图像中的商品图像的处理(ACT36)。处理器111通过从RAM113所存储的摄像图像检测推定为商品的物体的区域来判定在摄像图像中是否具有物体。例如，处理器111从对摄像图像进行了二值化的图像提取(检测)轮廓线等。处理器111对从进行了二值化的图像提取推定为商品的物体的轮廓进行尝试。当提取物体的轮廓时，则处理器111将在提取出的轮廓内的区域视为商品的图像区域(商品图像)。

此外，当判断出为在摄像图像中没有物体时、即当从摄像图像中不能提取商品图像时(ACT36的NO)，处理器111返回到ACT32。这时，处理器111只要从姿势传感器16取得的姿势信息是处于满足规定条件的状态，则从摄像头14采集接着的摄像图像。也就是说，处理器111只要姿势信息是处于满足规定条件的状态，则从摄像头14顺序采集摄像图像，直到能够提取商品图像。处理器111每当从摄像头14采集摄像图像，都执行商品图像的提取处理。因此，当在姿势信息满足规定条件的状态商品被对准读取窗1B时，则处理器111从摄像头14的摄像图像提取商品图像后开始商品识别处理。

当判断出为在摄像图像中有物体时，即当能够从摄像图像中提取出商品图像时(ACT36的YES)，处理器111执行针对商品图像的商品识别处理(ACT37)。

在商品识别处理中，处理器111通过由特征量提取功能、相似度计算功能及商品指定功能进行的物体识别来识别商品。也就是说，处理器111通过特征量提取功能来从商品图像中提取用于物体识别的特征量。当从商品图像提取特征量时，则处理器111根据相似度计算功能计算提取出的特征量和各个商品的词库文件500的特征量数据的相似度。处理器111通过商品指定功能判断计算出的针对各个商品的相似度是否大于等于阈值。

当相似度大于等于阈值的商品为一个时(当仅获得一个识别结果的准确度充分高的商品时)，处理器111指定商品图像的商品是相似度大于等于阈值的商品(ACT38的YES)。当通过商品识别处理将商品指定为一个商品时，处理器111不伴随操作员的操作，而将已指定的商品作为结算对象的商品进行登记(ACT42)。也就是说，处理器111当通过商品识别处理能够唯一指定商品时，不伴随操作员的操作而自动地登记已指定的商品(自动确定功能)。

此外，当没有相似度大于等于阈值的商品时(ACT38的NO)，处理器111按照相似度从高到低的顺序选出多个商品候补。此外，当存在有多个相似度大于等于阈值的商品时(ACT38的NO)，处理器111将相似度大于等于阈值的多个商品作为商品候补进行选出。当选出多个商品候补时，则处理器111将已选出的多个商品候补显示在触摸面板12上(ACT39)。

图5是显示了在商品识别处理中已获得的多个商品候补的显示例。

在图5所示的显示例中，触摸面板12显示商品图像，而且，显示表示多个商品候补的多个图标N1～N4。各个图标N1～N4是可通过触摸面板12的触摸传感器12b选择的按钮。各个图标N1～N4显示表示各个的商品候补的显示。处理器111检测对任一图标N1～N4的触摸。

当选出了多个商品候补时，处理器111通过显示象图5所示那样可选择的商品候补来接受由操作员进行的商品候补的选择(ACT40)。此外，处理器111显示可选择的商品候补，而且，接受通过键盘11或触摸面板12指示商品候补的重置(或者重拭商品识别处理)(ACT41)。当指示了商品候补的重置时(ACT41的YES)，处理器111返回到ACT31，清除商品候补后再次执行上述处理。此外，当操作员选择了任一商品候补时(ACT40的YES)，处理器111将操作员所选择的商品作为结算对象的商品进行登记(ACT42)。

另外，当显示了多个商品候补时，处理器111维持显示状态，直到操作员选择任一商品候补或操作员指示重置。在维持着显示状态的期间，处理器111停止商品识别处理。不过，处理器111也可以始终维持着多个商品候补的显示状态，重复实施ACT35～ACT38的处理。这时，处理器111也可以在能够指定了相似度大于等于阈值的一个商品时，通过自动确定功能登记相似度大于等于阈值的商品。

在上述第一动作例中，商品识别装置基于姿势传感器取得的姿势信息判定操作员是否是可以执行商品识别处理的姿势。商品识别装置当根据姿势信息来判定出为操作员是可以执行商品识别处理的姿势时执行商品识别处理。

通过这样，商品识别装置能够防止因操作员的手臂、肩膀等的除商品以外的物体接近读取窗而无意中执行商品识别处理的情况发生。例如即使在操作员从筐中取出商品时，无意中手臂、肩膀等靠近读取窗(摄像头)也能够不执行商品识别处理。其结果，不通过针对无意中的摄像图像(摄像了除商品以外的物体的图像)的商品识别处理来显示无用的商品候补，而也无需徒劳的重置操作等。

接着，对在商品识别装置1中的商品登记处理的第二动作例进行说明。

图6是用于对商品识别装置1中的包含商品识别处理的商品登记处理的第二动作例进行说明的流程图。

在第二动作例中，商品识别装置1的处理器111首先定义姿势标志P及更新标志U。例如，处理器111将姿势标志P及更新标志U在RAM113上进行设定。当对姿势标志P及更新标志U进行设定时，则处理器111将姿势标志P的初始值视为1(ACT50)，将更新标志U的初始值视为0(ACT51)。

当向姿势标志P及更新标志U置位初始值时，则处理器111清除触摸面板12的显示内容(ACT52)，并开始商品登记处理。当开始商品登记处理时，则处理器111通过图像取得功能取得摄像图像(ACT53)。也就是说，处理器111通过图像接口114采集摄像头14所摄像的摄像图像(帧图像)。处理器111将通过图像接口114采集到的摄像图像存储在RAM113中。

处理器111进行通过图像检测功能检测从摄像头14已取得的摄像图像中的商品图像的处理(ACT54)。处理器111通过从RAM113所存储的摄像图像中检测推定为商品的物体的区域来判定在摄像图像中是否具有物体。

当判断出为在摄像图像中没有物体时，即当不能从摄像图像中提取商品图像时(ACT53的NO)，处理器111返回到ACT53，取得接着的摄像图像。也就是，处理器111从摄像头14顺序采集摄像图像(帧图像)，直到能够提取商品图像。处理器111每当从摄像头14采集摄像图像，都执行商品图像的提取处理。

当判断出为在摄像图像中有物体时、即当能够从摄像图像中提取商品图像时(ACT54的YES)，处理器111执行针对商品图像的商品识别处理(ACT55)。处理器111从商品图像中提取用于物体识别的特征量，并计算提取出的特征量和各个商品的词库文件500的特征量数据的相似度。处理器111判断针对计算出的各个商品的相似度是否大于等于阈值。

当指定了相似度大于等于阈值的一个商品时(ACT56的YES)，处理器111将相似度大于等于阈值的商品作为结算对象的商品进行登记(ACT59)。

此外，当没有相似度大于等于阈值的商品时(ACT56的NO)，处理器111按照相似度从高到低的顺序选出多个商品候补。此外，当存在有多个相似度大于等于阈值的商品时(ACT56的NO)，处理器111将相似度大于等于阈值的多个商品作为商品候补进行选出。当选出多个商品候补时，则处理器111将已选出的多个商品候补显示在触摸面板12上(ACT57)。

处理器111通过以可选择的状态显示多个商品候补从而接受由操作员进行的商品候补的选择。当操作员选择了任一商品候补(ACT58的YES)，处理器111将操作员所选择的商品作为结算对象的商品进行登记(ACT59)。

此外，处理器111显示多个商品候补，而且，接受已显示的商品候补的重置的指示。当商品候补的重置已被指示了时或更新标志U是1时(ACT61的YES)，处理器111返回到ACT51，清除商品候补后再次执行上述处理。

而且，处理器111显示多个商品候补，而且，监视操作员的姿势状态(ACT61～63)。也就是说，处理器111从姿势传感器16取得表示操作员的姿势的信息(姿势信息)(ACT61)。当取得姿势信息时，则处理器111基于已取得的姿势信息判定操作员是否是可以执行商品识别处理的姿势(ACT62)。处理器111根据姿势传感器16取得的姿势信息是否满足规定条件来判定是否是可以执行商品识别处理的姿势。另外，ACT62的处理可以是与上述的ACT33同样的处理。

当判定出为操作员不是可执行商品识别处理的姿势(姿势NG)时(ACT63的NO)，处理器111将姿势标志P视为0(ACT64)，返回到ACT57。

当判定出为操作员是可以执行商品识别处理的姿势(姿势OK)时(ACT63的YES)，处理器111判定姿势标志P是否是0(ACT65)。如果姿势标志P不是0(ACT65的NO)，则处理器111不变更姿势标志P及更新标志U，而返回到ACT57。此外，如果姿势标志P是0(ACT65的YES)，则处理器111使姿势标志P为1，而且，将更新标志U视为1(ACT66)，返回到ACT57。

在ACT66中，处理器111检测操作员的姿势从姿势NG的状态(第一状态)变迁到姿势OK的状态(第二状态)的情况。例如，当将站立状态作为姿势OK状态时，则当操作员的姿势从未处于站立的状态变迁到站立状态时，更新标志U变成1(导通)。当更新标志U变为1时，则处理器111在ACT60中判断为YES并返回到ACT51，清除商品候补后再次执行商品识别处理。

在上述的第二动作例中，商品识别装置在处于显示商品候补中根据姿势信息来监视操作员的姿势从姿势NG的状态向姿势OK的状态进行变迁。商品识别装置当操作员的姿势从姿势NG的状态向姿势OK的状态进行变迁时，则清除显示中的商品候补后重新执行商品识别处理。

通过这样，即使通过针对无意中的摄像图像的商品识别处理而显示无用的商品候补，当操作员变为将商品对准的姿势时，则无用的商品候补也被清除。此外，当操作员变为将商品对准的姿势时，则商品候补被清除，而且，重新执行商品识别处理。因此，根据操作员的姿势的变化，能够顺利地实施基于意图的摄像图像的商品识别处理。

虽然对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

在本发明中，提供了一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行如上述的控制方法所对应的操作。根据这样的构成，能够实现能够谋求提高商品识别处理中的作业效率的功能。

本发明的一个或多个实施例可以被实施为计算机可读记录介质，可以将由计算机执行的诸如程序模块之类的命令或指令记录在该计算机可读记录介质上。计算机可读记录介质可以为能够由计算机访问的任何介质，如易失性介质等。此外，计算机可读记录介质可以为计算机存储介质或可以为任何信息传输媒介的通信介质。

本发明的计算机可读记录介质，存储有程序，所述程序使具有用于取得摄像了包含操作员将商品对准的区域的摄像区域的摄像图像的接口、用于取得表示所述操作员的姿势的姿势信息的姿势传感器的商品识别装置的计算机，具有以下功能：判定所述姿势传感器取得的姿势信息是否满足规定条件的功能；以及当判定出为所述姿势信息满足所述规定条件时针对通过所述接口取得的图像执行商品识别处理的功能。

Claims (4)

1.一种商品识别装置，包括：

接口，用于取得摄像了包含操作员将商品对准的区域的摄像区域的摄像图像；

姿势传感器，用于取得表示所述操作员的姿势的姿势信息；以及

处理器，判定所述姿势传感器取得的姿势信息是否满足规定条件，当判定出为所述姿势信息满足所述规定条件时针对通过所述接口取得的图像执行商品识别处理；

其中，所述规定条件包括：所述姿势信息表示操作员的姿势处于站立的状态的条件、所述姿势信息表示操作员的头部位于规定范围内的条件、以及所述姿势信息表示操作员的人脸处于朝向正面的条件中的至少一个。

2.一种商品识别装置，包括：

接口，用于取得摄像了包含操作员将商品对准的区域的摄像区域的摄像图像；

姿势传感器，用于取得所述操作员的姿势信息；以及

处理器，执行对通过所述接口取得的图像所包含的商品进行识别的商品识别处理，当通过所述商品识别处理获得了多个商品候补时接受来自多个商品候补的商品的选择，当在接受来自所述多个商品候补的商品的选择的状态中所述姿势传感器取得的姿势信息从第一状态变迁到第二状态时清除所述多个商品候补并针对通过所述接口重新取得的图像再次执行商品识别处理。

3.一种商品识别装置的控制方法，该商品识别装置具有用于取得摄像了包含操作员将商品对准的区域的摄像区域的摄像图像的接口、用于取得表示所述操作员的姿势的姿势信息的姿势传感器，该控制方法包括以下步骤：

判定所述姿势传感器取得的姿势信息是否满足规定条件的步骤；以及

当判定出为所述姿势信息满足所述规定条件时针对通过所述接口取得的图像执行商品识别处理的步骤；

其中，所述规定条件包括：所述姿势信息表示操作员的姿势处于站立的状态的条件、所述姿势信息表示操作员的头部位于规定范围内的条件、以及所述姿势信息表示操作员的人脸处于朝向正面的条件中的至少一个。

4.一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，其特征在于，

所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行如权利要求3所述的控制方法所对应的操作。

Images