CN105190655A - 物品管理系统、信息处理设备及其控制方法和控制程序 - Google Patents

Abstract

本设备涉及一种对于每个类型有效地对在深度方向上在陈列架上陈列的多个类型的物品进行计数的信息处理设备。一种信息处理设备包括：陈列数目获取单元，该陈列数目获取单元使用在物品被放置在其上的陈列架上布置的物品存在传感器来获取物品的陈列数目信息；物品标识单元，该物品标识单元获取物品标识信息，借此有可能基于通过拍摄陈列架而获取的图像来标识物品类型；以及陈列识别单元，该陈列识别单元基于陈列数目信息和物品标识信息来识别多少物品被陈列。

Description

物品管理系统、信息处理设备及其控制方法和控制程序

技术领域

本发明涉及一种管理陈列的物品的技术。

背景技术

在以上技术领域中，专利文献1公开了一种在移动多个相机之时捕获在货物架上陈列的商业物品并且基于个别物品的轮廓特征数据来对它们的数量进行计数的技术。专利文献2公开了一种基于对来自RFID读取器的询问信号的响应信号的RF能量的量来确定物品的存在/不存在的技术。

引用列表

专利文献

专利文献1：日本专利公开号2001-088912

专利文献2：日本PCT国家公开号2010-504598

发明内容

技术问题

然而，在专利文献1中描述的技术，有必要使用多个昂贵的相机并且控制相机的移动。如果在深度方向上陈列了多个商业物品，并且隐藏或者仅部分地看见它们中的一些商业物品，则难以标识物品。在另一方面，在专利文献2中描述的技术可以确定物品的存在/不存在，但是除非物品的类型已知否则不能指定它。

本发明能够实现提供一种解决以上描述的问题的技术。

对问题的解决方案

本发明的一个方面提供一种了信息处理装置，该信息处理装置包括：

陈列计数获取器，该陈列计数获取器使用在物品被放置在其上的陈列架上提供的物品存在/不存在传感器来获取物品的陈列计数信息；

物品标识器，该物品标识器基于通过捕获陈列架而获取的图像来获取能够标识物品的类型的物品标识信息；以及

陈列识别器，该陈列识别器基于陈列计数信息和物品标识信息来识别物品的每个类型的陈列计数。

本发明的另一方面提供了一种信息处理方法，该信息处理方法包括：

使用在物品被放置在其上的陈列架上提供的物品存在/不存在传感器来获取物品的陈列计数信息；

基于通过捕获陈列架而获取的图像来获取能够标识物品的类型的物品标识信息；以及

基于陈列计数信息和物品标识信息来识别物品的每个类型的陈列计数。

本发明的又一方面提供了一种用于使得计算机执行方法的信息处理装置控制程序，该方法包括：

使用在物品被放置在其上的陈列架上提供的物品存在/不存在传感器来获取物品的陈列计数信息；

基于通过捕获陈列架而获取的图像来获取能够标识物品的类型的物品标识信息；以及

基于陈列计数信息和物品标识信息来识别物品的每个类型的陈列计数。

本发明的又一方面提供了一种信息处理系统，该信息处理系统包括：

物品存在/不存在传感器，该物品存在/不存在传感器被提供在物品被放置在其上的陈列架上；

陈列计数获取器，该陈列计数获取器使用物品存在/不存在传感器来获取物品的陈列计数信息；

图像捕获器，该图像捕获器捕获陈列架；

物品标识器，该物品标识器基于由图像捕获器获取的图像来获取能够标识物品的类型的物品标识信息；以及

陈列识别器，该陈列识别器基于陈列计数信息和物品标识信息来识别物品的每个类型的陈列计数。

本发明的有利效果

根据本发明，有可能在类型基础上有效地对在陈列架上陈列的多个类型的物品进行计数。

附图说明

图1是示出了根据本发明的第一实施例的信息处理装置的布置的框图；

图2A是示出了包括根据本发明的第二实施例的信息处理装置的物品管理系统的概况的视图；

图2B是示出了包括根据本发明的第二实施例的信息处理装置的物品管理系统的布置的框图；

图3A是示出了包括根据本发明的第二实施例的信息处理装置的物品管理系统的操作过程的序列图；

图3B是示出了包括根据本发明的第二实施例的信息处理装置的物品管理系统的操作时序的示例的时序图；

图3C是示出了包括根据本发明的第二实施例的信息处理装置的物品管理系统的操作时序的另一示例的时序图；

图3D是示出了包括根据本发明的第二实施例的信息处理装置的物品管理系统的操作时序的又一示例的时序图；

图4是示出了根据本发明的第二实施例的信息处理装置的功能布置的框图；

图5A是示出了根据本发明的第二实施例的局部特征数据库的布置的视图；

图5B是示出了根据本发明的第二实施例的传感器数据库的布置的视图；

图5C是示出了根据本发明的第二实施例的物品类型阵列表的布置的视图；

图5D是示出了根据本发明的第二实施例的物品存在/不存在阵列表的布置的视图；

图5E是示出了根据本发明的第二实施例的架分配和陈列计数表的布置的视图；

图6A是示出了根据本发明的第二实施例的物品标识器的布置的框图；

图6B是示出了根据本发明的第二实施例的图6A中所示的物品标识器中的区域划分器的布置的框图；

图6C是示出了根据本发明的第二实施例的物品标识器的另一布置的框图；

图6D是示出了根据本发明的第二实施例的图6C中所示的物品标识器中的区域划分器的布置的框图；

图6E是示出了根据本发明的第二实施例的物品标识器的又一布置的框图；

图6F是示出了根据本发明的第二实施例的图6E中所示的物品标识器中的区域划分器的布置的框图；

图6G是示出了根据本发明的第二实施例的图6E中所示的物品标识器中的区域划分器的另一布置的框图；

图7A是示出了根据本发明的第二实施例的局部特征生成器的布置的框图；

图7B是用于说明根据本发明的第二实施例的局部特征生成的过程的视图；

图7C是用于说明根据本发明的第二实施例的局部特征生成的过程的视图；

图7D是示出了根据本发明的第二实施例的局部特征生成器中的子区域选择顺序的视图；

图7E是示出了根据本发明的第二实施例的局部特征生成器中的特征矢量选择顺序的视图；

图7F是示出了根据本发明的第二实施例的局部特征生成器中的特征矢量的分级的视图；

图8A是示出了根据本发明的第二实施例的物品阵列生成器的布置的框图；

图8B是示出了根据本发明的第二实施例的物品存在/不存在数据获取的操作过程的序列图；

图8C是示出了根据本发明的第二实施例的在物品存在/不存在数据获取时的通信过程的序列图；

图8D是示出了根据本发明的第二实施例的传感器数据库的布置的视图；

图8E是示出了根据本发明的第二实施例的传感器数据库的另一布置的视图；

图9A是示出了根据本发明的第二实施例的物品存在/不存在传感器的布置的视图；

图9B是示出了根据本发明的第二实施例的物品存在/不存在传感器的读取器天线的布置的视图；

图9C是示出了根据本发明的第二实施例的物品存在/不存在传感器上的物品的布置的视图；

图9D是示出了根据本发明的第二实施例的物品存在/不存在传感器中的RFID标签的布置的视图；

图9E是示出了根据本发明的第二实施例的物品存在/不存在传感器中的位置关系的视图；

图10A是示出了根据本发明的第二实施例的信息处理装置的硬件布置的框图；

图10B是示出了根据本发明的第二实施例的信息处理装置的处理结果输出的视图；

图11A是示出了根据本发明的第二实施例的信息处理装置的处理过程的流程图；

图11B是示出了根据本发明的第二实施例的架表面物品阵列识别处理的过程的流程图；

图11C是示出了根据本发明的第二实施例的物品存在/不存在检测处理的过程的流程图；

图11D是示出了根据本发明的第二实施例的物品布置和陈列计数确定处理的过程的流程图；

图12是示出了包括根据本发明的第二实施例的信息处理装置的物品管理系统的概况的视图；

图13是示出了包括根据本发明的第三实施例的信息处理装置的物品管理系统的操作过程的序列图；

图14是示出了根据本发明的第三实施例的信息处理装置的功能布置的框图；

图15A是示出了根据本发明的第三实施例的局部特征数据库的布置的视图；

图15B是示出了根据本发明的第三实施例的片管理数据库的布置的视图；

图15C是示出了根据本发明的第三实施例的物品类型阵列表的布置的视图；

图16A是示出了根据本发明的第三实施例的信息处理装置的处理过程的流程图；

图16B是示出了根据本发明的第三实施例的片标记标识处理的过程的流程图；

图17是示出了包括根据本发明的第四实施例的信息处理装置的物品管理系统的概况的视图；

图18是示出了包括根据本发明的第四实施例的信息处理装置的物品管理系统的操作过程的序列图；

图19是示出了根据本发明的第四实施例的信息处理装置的功能布置的框图；

图20A是示出了根据本发明的第四实施例的局部特征数据库的布置的视图；

图20B是示出了根据本发明的第四实施例的架管理数据库的布置的视图；

图20C是示出了根据本发明的第四实施例的物品类型阵列表的布置的视图；

图21A是示出了根据本发明的第四实施例的信息处理装置的处理过程的流程图；

图21B是示出了根据本发明的第四实施例的架标记标识处理的过程的流程图；

图22是示出了包括根据本发明的第五实施例的信息处理装置的物品管理系统的概况的视图；

图23是示出了包括根据本发明的第五实施例的信息处理装置的物品管理系统的操作过程的序列图；

图24是示出了根据本发明的第五实施例的信息处理装置的功能布置的框图；

图25是示出了根据本发明的第五实施例的物品列管理数据库的布置的视图；

图26A是示出了根据本发明的第五实施例的信息处理装置的处理过程的流程图；

图26B是示出了根据本发明的第五实施例的物品列标识处理的过程的流程图；

图27A是示出了包括根据本发明的第六实施例的信息处理装置的物品管理系统的概况的视图；

图27B是示出了包括根据本发明的第六实施例的信息处理装置的物品管理系统的概况的视图；

图28是示出了根据本发明的第六实施例的信息处理装置的功能布置的框图；

图29是用于说明根据本发明的第六实施例的物品陈列确定处理的视图；

图30A是示出了根据本发明的第六实施例的信息处理装置的处理过程的流程图；

图30B是示出了根据本发明的第六实施例的物品陈列确定处理的过程的流程图；

图31是示出了包括根据本发明的第七实施例的信息处理装置的物品管理系统的概况的视图；

图32是示出了根据本发明的第七实施例的信息处理装置的功能布置的框图；

图33A是示出了根据本发明的第七实施例的信息处理装置的处理过程的流程图；

图33B是示出了根据本发明的第七实施例的物品存在/不存在检测和物品标识调整处理的过程的流程图；

图34是示出了包括根据本发明的第八实施例的信息处理装置的物品管理系统的概况的视图；

图35是示出了包括根据本发明的第八实施例的信息处理装置的物品管理系统的操作过程的序列图；

图36是示出了根据本发明的第八实施例的信息处理装置的功能布置的框图；

图37是用于说明根据本发明的第八实施例的物品存在/不存在列核对的视图；

图38A是示出了根据本发明的第八实施例的信息处理装置的处理过程的流程图；以及

图38B是示出了根据本发明的第八实施例的存在/不存在列核对处理的过程的流程图。

具体实施方式

现在将参照附图具体地描述本发明的优选实施例。应当注意，在这些实施例中阐述的部件的相对布置、数值表达式和数值除非另有具体地陈述否则并未限制本发明的范围。

[第一实施例]

将参照图1描述根据本发明的第一实施例的信息处理装置100。信息处理装置100是用于管理陈列的物品的装置。

如图1中所示，信息处理装置100包括陈列计数获取器101、物品标识器103和陈列识别器104。陈列计数获取器101使用在物品110被放置在其上的陈列架上提供的物品存在/不存在传感器130来获取物品的陈列计数信息。物品标识器103基于通过使用图像捕获器120捕获陈列架而获取的图像来获取能够标识物品的类型的物品标识信息。基于由陈列计数获取器101获取的陈列计数信息和由物品标识器103获取的物品标识信息，陈列识别器104识别物品的每个类型的陈列计数。

根据这一实施例，有可能基于由物品存在/不存在传感器获取的图像和陈列计数信息、基于物品标识信息在类型基础上有效地对在陈列架上陈列的多个类型的物品进行计数。

[第二实施例]

接着将描述包括根据本发明的第二实施例的信息处理装置的物品管理系统。在这一实施例中，基于来自捕获的图像的局部特征来标识物品并且链接物品与来自在物品陈列架上设置的物品存在/不存在传感器的物品存在/不存在信息，借此在类型基础上高速度地对在陈列架上、在深度方向上陈列的多个类型的大量物品进行计数。

<<物品管理系统>>

将参照图2A至图3D描述根据这一实施例的物品管理系统200的布置和操作。

(系统概况)

图2A是示出了包括根据这一实施例的信息处理装置210的物品管理系统200的概况的视图。参照图2A，将举例说明商店中的物品陈列架。然而，陈列架不限于此并且可以是在其上、在深度方向上陈列多个物品的任何类型。

物品管理系统200包括信息处理装置210、图像捕获器22(即相机)以及物品存在/不存在传感器230。图像捕获器220捕获陈列架201和202的前排的图像。在另一方面，在陈列架201和202中的每个陈列架的每层的底部上布置的物品存在/不存在传感器230确定在传感器230上存在/不存在物品。

信息处理装置210包括物品标识器211、陈列计数获取器212和陈列识别器213。物品标识器211从图像捕获器220接收陈列架201和202的前排的图像，并且标识陈列的物品的类型和阵列。注意，物品标识器211标识物品的类型、标记符和名称。陈列计数获取器212从物品存在/不存在传感器230获取代表在传感器上布置了多少物品的信息。陈列识别器213将来自物品标识器211的陈列架201和202的前排的物品阵列与来自陈列计数获取器212的陈列计数信息链接，并且识别陈列架201和202上的陈列的物品的数目

例如，在显示单元214上显示由信息处理装置210识别的陈列的物品的数目。这实现对陈列架201和202的库存管理，并且允许办事员补充小陈列数量的物品。

(系统布置)

图2B是示出了包括根据这一实施例的信息处理装置210的物品管理系统200的布置的框图。图2B示出了根据这一实施例的物品管理系统200的示意布置。注意，与图2中相同的标号表示与图2B中相同的构成单元。

为了由陈列识别器213识别陈列架201和202上的陈列的物品的数目。来自物品标识器211的陈列架201和202中的每个陈列架的前排的物品阵列与来自陈列计数器获取器212的陈列计数信息需要被相互连接。这是因为来自陈列计数获取器212的陈列计数信息并未包括代表在陈列架上陈列的物品的位置和类型的存在/不存在信息。因此，在来自物品标识器211的每个物品标识信息与来自陈列计数获取器212的陈列计数信息相互链接时，可以确定陈列架上的陈列的物品的数目。

图2中所示的图像中的物品存在/不存在传感器的位置信息215在概念上示出了将来自物品标识器211的每条物品标识信息与来自陈列计数获取器212的陈列计数信息链接的信息。以下将在第二至第五实施例中描述不同的链接方法。然而，本发明不限于此。在第二实施例中，将描述其中信息处理装置210具有物品存在/不存在传感器的位置信息215的情况。

(操作过程)

图3A是示出了包括根据这一实施例的信息处理装置210的物品管理系统200的操作过程的序列图。

图像获取器220在步骤S301中获取陈列架的前视图像，并且在步骤S303中向信息处理装置210传输前视图像。在另一方面，由检测传感器组形成的物品存在/不存在传感器230在步骤S305中检测每个传感器上的物品的存在/不存在，并且在步骤S307中向信息处理装置210传输物品存在/不存在信息。

在步骤S309中，信息处理装置210基于陈列架的前视图像标识每个物品。接着，在步骤S311中，信息处理装置210将物品标识信息与来自物品存在/不存在传感器的物品存在/不存在信息链接，并且指定陈列架上的物品存在/不存在传感器的位置。在步骤S313中，信息处理装置210指定在深度方向上的标识的物品的位置和物品的数目。因此对陈列架上的陈列的物品的数目进行计数。在步骤S315中，信息处理装置210基于陈列架上的陈列的物品的数目执行库存管理处理。注意，库存管理处理未被限制。

(操作时序)

图3B是示出了包括根据这一实施例的信息处理装置210的物品管理系统200的操作时序的示例310的时序图。

使用根据这一实施例的物品标识方法在例如10秒中实施从由图像捕获器220拍摄的陈列架的前视图像标识陈列的物品的物品标识处理311。在另一方面，使用根据这一实施例的物品存在/不存在检测方法在例如1秒中实施从物品存在/不存在传感器230收集物品存在/不存在信息并且对物品存在/不存在信息进行排序的物品存在/不存在处理312。

图3B示出了在如下情况下的时序，在该情况下，物品标识处理311和物品存在/不存在处理312被独立地执行而未被关联，并且接近在物品存在/不存在处理312结束时执行指定陈列架上的陈列的物品的阵列和数目的物品陈列计数决定处理313。

图3C是示出了包括根据这一实施例的信息处理装置210的物品管理系统200的操作时序的另一示例320的时序图。在图3C中，调整时序以便与用于完成需要例如约10秒的处理时间的物品标识处理311的时序同步地结束每个物品存在/不存在处理322。图3C示出了在如下情况下的时序，在该情况下，在物品标识处理311完成物品识别和物品存在/不存在处理322完成物品存在/不存在检测之后执行物品陈列计数决定处理323。根据图3C中所示的时序，有可能将物品存在/不存在处理322的次数减少至物品标识处理311的次数，并且有效地执行物品陈列计数决定处理323。

图3D是示出了包括根据这一实施例的信息处理装置210的物品管理系统200的操作时序的更多另一示例330的时序图。在图3D中，如果在物品存在/不存在处理312中获得的物品存在/不存在信息已经改变(335)，则物品标识处理331开始。图3D示出了在如下情况下的时序，在该情况下，在物品标识处理331完成物品识别之后执行物品陈列计数决定处理333。根据图3D中所示的时序，由于仅在物品数目在物品存在/不存在处理312中改变(由客户取出或者由办事员补充)时执行物品标识处理331，所以有可能减少物品标识处理331的次数并且有效地执行物品陈列计数决定处理333。

注意，可以控制时序以在从陈列架的前视图像识别物品改变时开始物品存在/不存在处理。处理时序不限于这些。

<<信息处理装置的功能布置>>

图4是示出了根据这一实施例的信息处理装置210的功能布置的框图。注意，与图2A和图2B中相同的标号表示与图4中相同的构成单元。

信息处理装置210包括经由WAN(广域网)或者LAN(局域网)通信的通信控制器401。图像接收器402经由通信控制器401接收由图像捕获器220拍摄的陈列架的前视图像。物品标识器211核对从在局部特征数据库403中存储的物品图像生成的局部特征与从陈列架的前视图像生成的局部特征，并且标识陈列架的前视图像中的匹配物品。在另一方面，物品存在/不存在信息接收器305经由通信控制器401从物品存在/不存在传感器230接收物品存在/不存在信息。

物品阵列生成器407参考在用作架分配存储装置的传感器数据库406中存储的陈列架中的物品存在/不存在传感器230的布置信息，并且从物品存在/不存在信息生成代表陈列架上的物品阵列的物品存在/不存在阵列表。陈列识别器213将由物品标识器211标识的物品标识信息与由物品阵列生成器407生成的物品存在/不存在信息链接，并且确定陈列架的架分配，而且也计算陈列架上的陈列计数。通过合成与具有相同物品标识信息的物品列链接的当前物品的数目来计算陈列计数。

基于来自陈列识别器213的陈列计数，商店库存管理器410参考保持商店的库存信息的库存管理数据库409，并且执行对将例如在商店中的陈列架上陈列的物品的库存管理处理。在显示单元214(比如显示器)上显示或者经由通信控制器401从陈列信息传输器411向外部通知库存管理的结果。每个功能单元根据从操作单元接收的或者由操作信息接收器412经由通信控制器401接收的操作指令操作。

(局部特征数据库)

图5A是示出了根据这一实施例的局部特征数据库403的布置的视图。局部特征数据库403用来存储从每个物品的图像生成的局部特征，并且在与从输入图像生成的局部特征比较时标识物品。注意，局部特征数据库403的布置不限于图5A中所示的布置。

局部特征数据库403与物品ID511关联地存储从物品生成的物品名称/类型512和局部特征组513。

(传感器数据库)

图5B是示出了根据这一实施例的传感器数据库406a的布置的视图。传感器数据库406a指示图4中所示的传感器数据库406的部分，并且用来存储在陈列架上布置的物品存在/不存在传感器在陈列架中的位置，并且将陈列架的前排的物品阵列与来自物品存在/不存在传感器的物品存在/不存在信息链接。注意，传感器数据库406a的布置不限于图5B中所示的布置，只要信息将物品存在/不存在传感器与在陈列架上的位置关联。

传感器数据库406与陈列架的架ID521关联地存储架位置522和多个层523。与每个层523关联地存储在层上布置的列的总数524、物品的总数525和多个物品存在/不存在检测片的片ID526。与每个片ID526关联地存储片配置527。物品存在/不存在检测片是如下片，该片具有至少一列并且在每列中包括与深度方向位置的数目一样多的多个物品存在/不存在传感器(见图9A至图9E)。片配置527包括片上的传感器的列数、列宽度、深度方向位置的数目、深度宽度和物品的数目。

(物品类型阵列表)

图5C是示出了根据这一实施例的物品类型阵列表530的布置的视图。物品类型阵列表530是存储物品标识器211已经从陈列架的前视图像标识的物品的表。

物品类型阵列表530与架ID531关联地存储架位置532和多个层533。与每个层533关联地存储标识的物品IC534、物品名称/类型535和物品图像536。注意，物品图像536可以是局部特征。

(物品存在/不存在阵列表)

图5D是示出了根据这一实施例的物品存在/不存在阵列表540的布置的视图。物品存在/不存在阵列表540是存储物品阵列生成器407已经从物品存在/不存在传感器接收的物品存在/不存在结果的表。

物品存在/不存在阵列表540与片ID541关联地存储在片上提供的列542、列的陈列计数543和物品布置544。注意，物品布置544存储深度方向位置的总数和物品在列上的存在/不存在。在图5D中，物品存在由●指示，并且物品不存在由○指示。这一存储形式支持检测在物品存在之间夹入的物品不存在的错误。

(架分配和陈列计数表)

图5E是示出了根据这一实施例的架分配和陈列计数表550的布置的视图。架分配和陈列计数表550是如下表，该表存储在陈列识别器213链接物品类型阵列表530与物品存在/不存在阵列表540之后计算的物品陈列位置和陈列计数。注意，与图5C和图5D中相同的标号表示与图5E中相同的项目。

架分配和陈列计数表550与架ID531关联地存储架位置532和多个层533。与每个层533关联地从层的左侧到右侧依次地存储列551。与每列551关联地存储列的物品IC534、物品名称/类型535、物品图像536、陈列计数543和物品布置544。

基于每列的陈列计数543存储补充必需标志552。在图5E中，“○”指示“补充必需”，“△”指示“注意补充”，并且“×”指示“补充非必需”。此外，基于每列的物品布置544存储报警必需标志553。在图5E中，“○”指示“报警必需”，并且“×”指示“报警非必需”。注意，在图5E中，如图5D中那样，在第五列中区分在物品存在之间夹入的物品不存在的错误。

<<物品标识器>>

以下将参照图6A至图6G描述物品标识器211的布置的示例。注意，根据这一实施例的物品标识器211不限于图6A至图6G中所示的物品标识器。

(布置示例)

图6A是示出了根据这一实施例的物品标识器211a的布置的框图。物品标识器211a是图4中所示的物品标识器211的示例，并且包括捕获的图像局部特征生成器601、区域划分器602和核对器603。

捕获的图像局部特征生成器601从陈列架的拍摄的前视图像检测多个特征点，并且向区域划分器602输出由大量的特征点的坐标位置形成的捕获的图像的坐标位置信息组。捕获的图像局部特征生成器601也基于特征点的坐标位置向核对器603输出由包括特征点的外围区域(邻近区域)的局部特征形成的捕获的图像的局部特征组。

区域划分器602使用从捕获的图像局部特征生成器601输出的捕获的图像的坐标位置信息组来对捕获的图像的特征点进行聚类，并且也向核对器603输出由与包括一个或者多个特征点的多个聚类关联的多条聚类信息形成的聚类信息组。

核对器603使用从捕获的图像局部特征生成器601输出的捕获的图像的局部特征组、在局部特征数据库403中存储的物品图像的局部特征组和从区域划分器602输出的群集信息组。核对器603在聚类基础上核对捕获的图像的局部特征组与物品图像的局部特征组，由此确定每个特征点的标识或者与每个特征点的相似度。作为结果，核对器603标识在捕获的图像与物品图像之间的相同或者相似对象，并且输出物品ID作为标识结果(核对结果)。关于被确定为相同或者相似的特征点，核对器603可以基于属于聚类的特征点的坐标位置信息输出被确定为相同或者相似的捕获的图像的区域的信息。

图6B是示出了根据这一实施例的图6A中所示的物品标识器211a中的区域划分器602的布置的框图。区域划分器602包括相似度计算器611和特征点聚类单元612。

相似度计算器611计算在从捕获的图像局部特征生成器601输出的捕获的图像的局部特征组中的两个任意局部特征之间的相似度，并且向特征点聚类单元612输出多个计算出的相似度作为相似度信息组。假设一种计算在局部特征之间的相似度的方法例如计算在两个任意局部特征之间的特征距离(例如，欧几里得距离)并且基于该距离计算相似度。这时，如果距离值为小，则使相似度为高，并且如果距离值为大，则使相似度为低。也假设使用一种通过预定值来归一化特征距离并且从归一化的值计算相似度的方法。

特征点聚类单元612使用从捕获的图像局部特征生成器601输出的捕获的图像的坐标位置信息组和从相似度计算器611输出的相似度信息组来对捕获的图像的特征点进行聚类，并且向核对器603输出代表聚类结果的聚类信息组。特征点聚类单元612执行聚类以例如将具有高相似度(小距离值)的局部特征分类到不同聚类。为了对特征点进行聚类，例如假设使用一种计算在捕获的图像的任意特征点与每个聚类重心之间的距离、并且将特征点分类到其中计算的距离被最小化的聚类的方法。这时，如果在任意聚类中包括相似度等于或者大于阈值的特征点，则从聚类排除其与聚类重心的距离为长的特征点，并且将该特征点分类到另一聚类中。作为在每个特征点与聚类重心之间的距离，例如可以使用欧几里得距离、马氏距离或者城市街区距离(曼哈顿距离)。

可以使用图形切割方法来完成聚类。例如，可以向通过使用特征点作为节点、基于在特征点之间的距离和在局部特征之间的相似度而获得的图形(例如，如果在特征点之间的距离为短并且在局部特征之间的相似度为高，则使在两个节点之间的边缘值为大)提供图形切割。作为图形切割，例如可以使用归一化的切割或者马尔科夫聚类算法。

(另一布置示例)

图6C是示出了根据这一实施例的物品标识器211b的布置的框图。物品标识器211b是图4中所示的物品标识器211的另一示例，并且包括捕获的图像局部特征生成器601、区域划分器622和核对器603。捕获的图像局部特征生成器601和核对器603的操作与图6A中相同，并且这里将省略其描述。以下将主要地描述区域划分器622的操作。

区域划分器622使用从捕获的图像局部特征生成器601输出的捕获的图像的局部特征组和捕获的图像的坐标位置信息组以及从局部特征数据库403输出的物品图像的局部特征组。区域划分器622对捕获的图像的特征点进行聚类，并且向核对器603输出与聚类结果关联的聚类信息组。

图6D是示出了根据这一实施例的图6C中所示的物品标识器211b中的区域划分器622的布置的框图。区域划分器622包括对应点搜索器631和特征点聚类单元632。

对应点搜索器631使用从捕获的图像局部特征生成器601输出的捕获的图像的局部特征组和从局部特征数据库403输出的物品图像的局部特征组。对应点搜索器631生成对应信息，该对应信息是代表物品图像的局部特征组的哪个局部特征匹配在捕获的图像的局部特征组中包括的任意局部特征(也就是说，物品图像的哪个特征点对应于捕获的图像的任意特征点)的信息。对应点搜索器631也向特征点聚类单元632输出多条生成的对应信息作为对应信息组。

为了生成对应信息，例如假设使用与图6A中所示的核对器603的方法相同的方法。作为对应关系，物品图像的给定的特征点可以对应于捕获的图像的多个特征点。此外，捕获的图像的特征点可以在一对一对应中对应于物品图像的特征点。

特征点聚类单元632使用从捕获的图像局部特征生成器601输出的坐标位置信息组和从对应点搜索器631输出的对应信息组。特征点聚类单元632从捕获的图像的特征点之中选择具有与物品图像的特征点的对应关系的特征点，并且基于捕获的图像的选择的特征点的坐标位置对选择的特征点进行聚类。特征点聚类单元632也向核对器603输出代表聚类结果的聚类信息组。为了对特征点进行聚类，假设使用一种已知方法。

如果物品图像的特征点对应于捕获的图像的多个特征点，则特征点聚类单元632可以将捕获的图像的特征点聚类到不同聚类。为了这样做，假设特征点聚类单元632使用通过图形切割的聚类。在这一情况下，如果物品图像的特征点对应于捕获的图像的多个特征点，则假设使用捕获的图像的多个特征点作为节点来生成图形，从而使得在节点之间的边缘值变小，并且应用图形切割以划分具有小边缘值的节点。作为图形切割，例如可以使用归一化的切割或者马尔科夫聚类算法。

如果在第一图像的两个任意特征点之间的距离为短(例如，距离值小于阈值)，并且物品图像中的与特征点对应的特征点距离为长(例如，距离值大于另一阈值)，则特征点聚类单元632可以将捕获的图像的两个特征点分类到不同聚类。为了这样做，如在以上描述的情况下那样假设使用通过图形切割的聚类。

特征点聚类单元632可以例如使用一种对于具有任意大小的每个分析区域对在该区域中包括的特征点进行计数、并且如果计数值等于或者大于预定阈值则将在该区域中包括的特征点分类到相同聚类的方法。在以这一方式对特征点进行聚类时，可以在更高速度执行处理。

(又一布置示例)

图6E是示出了根据这一实施例的物品标识器211c的布置的框图。物品标识器211c是图4中所示的物品标识器211的又一示例，并且包括捕获的图像局部特征生成器601、区域划分器642和核对器603。捕获的图像局部特征生成器601和核对器603的操作与图6A和图6C中相同，并且这里将省略其描述。

区域划分器642使用从捕获的图像局部特征生成器601输出的捕获的图像的局部特征组和捕获的图像的坐标位置信息组以及从局部特征数据库403输出的物品图像的局部特征组和物品图像的坐标位置信息组。区域划分器642对捕获的图像的特征点进行聚类，并且向核对器603输出代表聚类结果的聚类信息组。

图6F是示出了根据这一实施例的图6E中所示的物品标识器211c中的区域划分器642a的布置的框图。区域划分器642a是图6E中所示的区域划分器642的示例，并且包括对应点搜索器631、比率计算器652和特征点聚类单元653。

对应点搜索器631通过与图6D中相同的操作生成对应信息组，并且向比率计算器652和特征点聚类单元653输出生成的对应信息组。

比率计算器652使用从捕获的图像局部特征生成器601输出的捕获的图像的局部特征组、从局部特征数据库403输出的物品图像的局部特征组和从对应点搜索器631输出的对应信息组。比率计算器652计算在捕获的图像的两个任意特征点之间的距离(下文被称为特征点距离)与在第二图像中的与特征点对应的特征点距离的比率，并且向特征点聚类单元653输出多个计算的比率作为比率信息组。作为特征点距离，例如假设使用欧几里得距离、马氏距离或者城市街区距离。

特征点聚类单元653使用从捕获的图像局部特征生成器601输出的捕获的图像的坐标位置信息组、从对应点搜索器631输出的对应信息组和从比率计算器652输出的比率信息组。特征点聚类单元653对捕获的图像的特征点进行聚类，并且向核对器603输出代表聚类结果的聚类信息组。假设执行聚类以便例如将其计算的比率差值为小的特征点分类到相同聚类(将其比率差值为大的特征点分类到不同聚类)。这时，使用图形切割来执行聚类。更具体而言，例如假设将图形切割应用于通过使用特征点作为节点、基于在特征点之间的距离和比率差值使在节点之间的边缘值为大而获得的图形。作为图形切割，例如可以使用归一化的切割或者马尔科夫聚类算法。

也假设特征点聚类单元653以例如使用坐标位置信息组、对应信息组和比率信息组用以下方式对捕获的图像的特征点进行聚类。在这一情况下，使用在给定的特征点与多个外围特征点之间的比率信息组来计算特征点属于任意聚类的属于概率。在这一情况下，特征点聚类单元653基于特征点的计算出的属于概率和坐标位置信息执行聚类。为了对特征点进行聚类，例如假设使用一种基于对应信息组选择与物品图像的任意特征点对应的捕获图像的特征点、基于坐标位置信息和属于概率计算在特征点与每个聚类重心之间的距离并且将特征点分类到其中计算出的距离被最小化的聚类的方法。

图6G是示出了根据这一实施例的图6E中所示的物品标识器211c中的区域划分器642b的布置的框图。区域划分器642b是图6E中所示的区域划分器642的另一示例，并且包括对应点搜索器631、比率计算器652、旋转量计算器661和特征点聚类单元662。比率计算器652的操作与图6F中相同，并且这里将省略其描述。

对应点搜索器631通过与图6D中相同的操作生成对应信息组，并且向比率计算器652、旋转量计算器661和特征点聚类单元662输出生成的对应信息组。

旋转量计算器661使用从捕获的图像局部特征生成器601输出的捕获的图像的坐标位置信息组、从对应点搜索器631输出的对应信息组和从局部特征数据库403输出的物品图像的坐标位置信息组。旋转量计算器661计算由捕获的图像的两个特征点形成的矢量的方向和由物品图像的两个特征点形成的矢量的方向。旋转量计算器661也从计算出的矢量方向计算捕获的图像的对象的旋转量，并且向特征点聚类单元662输出多个计算出的旋转量作为旋转量信息组。

特征点聚类单元662使用从捕获的图像局部特征生成器601输出的捕获的图像的坐标位置信息组、从对应点搜索器631输出的对应信息组、从比率计算器652输出的比率信息组和从旋转量计算器661输出的旋转量信息组。特征点聚类单元662对捕获的图像的特征点进行聚类。此外，特征点聚类单元662向核对器603输出与作为聚类结果而获得的每个聚类关联的聚类信息组。

例如，其计算出的比率差值和旋转量差值为小的特征点可以被分类到相同聚类(其比率差值和旋转量差值为大的特征点可以被分类到不同聚类)。假设使用例如图形切割来执行聚类。例如，可以向通过使用特征点作为节点、基于在特征点之间的距离、比率差值和旋转量差值计算边缘值而获得的图形(例如，如果在特征点之间的距离值为短并且比率差值和旋转量差值为小，则使在两个节点之间的边缘值为大)提供图形切割。作为图形切割，例如假设使用归一化的切割或者马尔科夫聚类算法。

参照图6G，可以提供相对坐标位置数据库，该相对坐标位置数据库包括代表物品图像的参考点(例如，对象中心)和物品图像的特征点的相对坐标位置的表。参考点是在第二图像上的预定坐标位置。如以上描述的那样，参考点可以是对象中心或者物品图像的左上角的坐标位置。以下将假设参考点指示对象中心来进行描述。

特征点聚类单元662使用从捕获的图像局部特征生成器601输出的捕获的图像的坐标位置信息组、从对应点搜索器631输出的对应信息组、从比率计算器652输出的比率信息组、从旋转量计算器661输出的旋转量信息组和在相对坐标位置数据库中存储的相对坐标位置。特征点聚类单元662对捕获的图像的特征点进行聚类。此外，特征点聚类单元662向核对器603输出代表聚类结果的聚类信息组。

为了对特征点进行聚类，例如一种在捕获的图像的特征点之中基于对应信息组选择与物品图像的任意特征点对应的多个特征点、基于选择的特征点的坐标位置估计捕获的图像的对象中心点并且基于估计的对象中心点的坐标位置对估计的对象中心点进行聚类的方法是可使用的。为了对对象中心点进行聚类，例如可以使用一种对于具有任意大小的每个分析区域对在该区域中包括的对象中心点进行计数并且如果计数值等于或者大于预定阈值则将在该区域中包括的对象中心点分类到相同聚类的方法。在以这一方式对对象中心点进行聚类时，可以在更高速度执行处理。

<<局部特征生成器>>

图7A是示出了根据这一实施例的局部特征生成器601的布置的框图。局部特征生成器601包括特征点检测器711、局部区域获取器712、子区域划分器713、子区域特征矢量生成器714和维度选择器715。

特征点检测器711从图像数据检测多个特性点(特征点)，并且输出每个特征点的坐标位置、比例(大小)和角度。局部区域获取器712获取局部区域以完成从每个检测到的特征点的坐标位置、比例和角度的特征提取。子区域划分器713将局部区域划分成子区域。例如，子区域划分器713可以将局部区域划分成16个块(4×4个块)或者25个块(5×5个块)。注意，划分的数目未被限制。在这一实施例中，以下将有代表性地假设其中局部区域被划分成25个块(5×5个块)的情况来进行描述。

子区域特征矢量生成器714生成用于局部区域的每个子区域的特征矢量。作为子区域的特征矢量，例如可以使用梯度方向直方图。基于在子区域之间的位置关系，维度选择器715选择待输出作为局部特征的维度，从而使得在接近附近的子区域的特征矢量之间的相关性降低(例如，维度被删除或者变稀疏)。维度选择器715可以不仅简单地选择维度而且还决定选择的优先级顺序。也就是说，维度选择器715可以根据优先级顺序选择维度以便例如禁止为相邻子区域选择在相同梯度方向上的维度。维度选择器715输出由选择的维度形成的特征矢量作为局部特征。注意，维度选择器715可以在其中基于优先级顺序重新布置维度的状态中输出局部特征。

<<局部特征生成器的处理>>

图7B至图7F是示出了根据这一实施例的局部特征生成器601的处理的视图。

图7B是示出了局部特征生成器601中的一系列特征点检测/局部区域获取/子区域划分/特征矢量生成的过程的视图。为了一系列过程的更多信息，参见美国专利号6,711,293或者DavidG.Lowe,“Distinctiveimagefeaturesfromscale-invariantkeypoints”,(U.S.A.),InternationalJournalofComputerVision,60(2),2004,pp.91-110。

(特征点检测器)

图7B中所示的图像721示出了其中图7A中所示的特征点检测器711从视频的图像检测特征点的状态。以下将有代表性地使用一个特征点数据721a来说明局部特征生成。特征点数据721a的箭头的起点代表比例(大小)，并且箭头的方向代表角度。作为比例(大小)或者方向，可以根据目标视频选择亮度、色度、色调等。在图7B的示例中，将描述其中以60°的间隔设置六个方向的情况。然而，本发明不限于此。

(局部区域获取器)

图7A中所示的局部区域获取器712例如以特征点数据721a的起点作为中心来生成高斯窗722a并且生成包括大部分高斯窗722a的局部区域722。在图7B的示例中，局部区域获取器712生成方形局部区域722。然而，局部区域可以具有圆形形状或者任何其它形状。为每个特征点获取局部区域。如果局部区域为圆形，则在捕获方向上的健壮性提高。

(子区域划分器)

图示了其中子区域划分器713将在特征点数据721a的局部区域722中包括的每个像素的比例和角度划分成子区域723的状态。注意，图7B示出了其中局部区域被划分成各自由4×4＝16个像素形成的5×5＝25个子区域的示例。然而，子区域可以具有另一形状，并且可以运用另一划分数目、比如4×4＝16个。

(子区域特征矢量生成器)

子区域特征矢量生成器714基于每个子区域中的像素的比例为六个方向的角度中的每个角度生成直方图，并且量化该直方图以获得该子区域的特征矢量724。也就是说，方向被归一化成从特征点检测器711输出的角度。子区域特征矢量生成器714合计在子区域基础上量化的六个方向的频率以生成直方图。在这一情况下，子区域特征矢量生成器714输出由为每个特征点而生成的25个子区域×6个方向＝150维直方图形成的特征矢量。梯度方向无需总是被量化成六个方向，而是可以被量化成任意量化数目，比如四个方向、八个方向或者10个方向。在将梯度方向量化成D个方向时，令G(0至2π弧度)是在量化之前的梯度方向，可以通过下式获得在梯度方向上的量化值Qq(q＝0，…，D-1)：

Qq＝floor(G×D/2π)...(1)

或者

Qq＝round(G×D/2π)modD...(2)

然而，本发明不限于此。

这里，floor()是丢弃在小数点以下的部分的函数，round()是执行取整的函数，并且mod是获得余数的运算。在生成梯度直方图时，子区域特征矢量生成器714可以将梯度的量值相加和合计而不是合计简单频率。在合计梯度直方图时，子区域特征矢量生成器714可以将不仅向像素属于的子区域而且向根据在子区域之间的距离的接近附近的子区域(例如，相邻块)添加加权值。子区域特征矢量生成器714也可以向在量化的梯度方向之前和之后的梯度方向添加加权值。注意，子区域的特征矢量不限于梯度方向直方图，并且可以使用具有多个维度(元素)的任何数据，比如颜色信息。在这一实施例中，将假设梯度方向直方图被用作子区域的特征矢量来进行描述。

(维度选择器)

接着将参照图7C至图7F描述局部特征生成器601中的维度选择器715的处理。

基于在子区域之间的位置关系，维度选择器715选择(稀疏化)将作为局部特征而被输出的维度(元素)，从而使得在接近附近的子区域的特征矢量之间的相关性降低。更具体而言，维度选择器715选择维度，从而使得例如至少一个梯度方向在相邻子区域之间改变。注意，在这一实施例中，维度选择器715主要地使用相邻子区域作为接近附近的子区域。然而，接近附近的子区域不限于相邻子区域，并且例如在距目标子区域的预定距离内的子区域可以用作接近附近的子区域。

图7C是示出了如下示例的视图，在该示例中，从通过将局部区域划分成5×5个块的子区域并且将梯度方向量化到六个方向731a而生成的150维梯度直方图的特征矢量731选择维度。在图7C的示例中，从150维(5×5＝25个子区域块×6个方向)特征矢量选择维度。

(局部区域中的维度选择)

图7C是示出了由局部特征生成器601选择特征矢量的维度数目的处理的状态的视图。

如图7C中所示，维度选择器715从150维梯度直方图的特征矢量731选择具有1/2个维度的特征矢量，也就是75维梯度直方图的特征矢量732。在这一情况下，可以选择维度以不选择在水平和竖直方向上相邻的子区域块之间的相同梯度方向的维度。

在这一示例中，令q(q＝0，1，2，3，4，5)是在梯度方向直方图中的量化的梯度方向。交替地布置其中选择元素q＝0，2，4的块和其中选择元素q＝1，3，5的子区域块。在图7C的示例中，在组合在相邻子区域块中选择的梯度方向时，选择共计六个方向。

此外，维度选择器715从75维梯度直方图的特征矢量732选择50维梯度直方图的特征矢量733。在这一情况下，可以选择维度，从而使得对角地位于45°处的子区域块仅在一个方向上具有相同方向(剩余方向不同)。

另外，在从50维梯度直方图的特征矢量733选择25维梯度直方图的特征矢量734时，维度选择器715可以选择维度以不使选择的梯度方向在对角地位于45°处的子区域块之间匹配。在图7C中所示的示例中，维度选择器715从来自一个维度到25个维度的每个子区域选择一个梯度方向、从26个维度到50个维度选择两个梯度方向并且从51维度到75个维度选择三个梯度方向。

如以上描述的那样，优选地选择在相邻子区域块之间未重叠的梯度方向，并且最终地选择所有梯度方向。同时，如在图7C中所示的示例中那样，优选地从整个局部区域均匀地选择维度。注意，图7C中所示的维度选择方法仅为示例，斌企鹅选择方法不限于此。

(局部区域中的优先级顺序)

图7D是示出了在局部特征生成器601中的从子区域的特征矢量选择顺序的示例。

维度选择器715可以不仅简单地选择维度，而且也决定选择的优先级顺序以便按照向特征点的特征的贡献顺序选择维度。也就是说，维度选择器715可以根据优先级顺序选择维度以便禁止为相邻子区域块选择在相同梯度方向上的维度。维度选择器715输出由选择的维度形成的特征矢量作为局部特征。注意，维度选择器715可以在其中基于优先级顺序重新布置维度的状态中输出局部特征。

也就是说，维度选择器715可以进行选择以便在选择一到25个维度、26到50个维度和51到75个维度期间按照如由例如图7D中所示的矩阵741指示的子区域块的顺序添加维度。在使用由图7D中所示的矩阵741指示的优先级顺序时，维度选择器715可以在向接近中心的子区域块给予更高优先级之时选择梯度方向。

图7E中所示的矩阵751示出了根据图7D中所示的选择顺序的150维特征矢量的元素的数目的示例。在这一示例中，在5×5＝25个块中的每个块按照光栅扫描顺序由编号p(p＝0，1，…，25)指示并且量化的梯度方向由编号(q＝0，1，2，3，4，5)代表时，特征矢量的元素的编号由6×p+q代表。

图7F中的矩阵761示出了其中根据图7E中所示的选择顺序的150个维度基于25个维度形成分级的状态。也就是说，图7F中的矩阵761示出了通过根据由图7D中的矩阵741指示的优先级顺序选择图7E中所示的元素而获得的局部特征的布置的示例。维度选择器715可以按照图7F中所示的顺序输出维度元素。更具体而言，在输出例如150维局部特征时，维度选择器715可以按照图7F中所示的顺序输出共计150个维度的元素。附加地，在输出例如25维局部特征时，维度选择器715可以按照图7F中所示的顺序(从左到右)输出图7F中所示的第一排的元素771(第76个、第45个、第83个、…、第120个元素)。在输出例如50维局部特征时，维度选择器715除了图7F中所示的第一排之外，还可以按照图7F中所示的顺序(从左到右)输出图7F中所示的第二排的元素772。

在图7F中所示的示例中，局部特征具有分级结构序列。也就是说，例如，在25维局部特征和150维局部特征中，在前25个维度的局部特征中的元素771至776的布置相同。通过这样分级地(渐进地)选择维度，维度选择器715可以根据应用、通信容量、终端规格等提取和输出任意维度数目的局部特征，也就是任意大小的局部特征。此外，维度选择器715可以通过基于优先级顺序分级地选择维度并且重新布置和输出它们来使用不同维度数目的局部特征执行图像核对。例如，在使用75维局部特征和50维局部特征来执行图像核对时，可以使用仅前50个维度来计算在局部特征之间的距离。

注意，基于图7D中所示的矩阵741的图7F中所示的优先级顺序仅为示例，并且用于选择维度的顺序不限于此。例如，作为块的顺序，可以不仅使用图7D中所示的矩阵741的示例，而是还使用由图7D中所示的矩阵742或者图7D中所示的矩阵743指示的顺序。例，如可以决定优先级顺序以便从所有子区域均匀地选择维度。备选地，假设重要程度在局部区域的中心附近为高，可以决定优先级顺序，从而使得在中心附近的子区域的选择频率变高。代表维度选择顺序的信息可以例如由程序定义或者被存储在将在执行程序时被参照的表等(构架顺序存储装置)中。

维度选择器715可以通过在交替基础上选择子区域块来选择维度。也就是说，在某个子区域中选择六个维度，并且在与子区域接近附近的另一子区域中不选择维度。也在这一情况下，可以视为对于每个子区域选择维度，从而使得在接近附近的子区域之间的相关性降低。

局部区域或者子区域的形状不限于方形，并且可以使用任意形状。例如，局部区域获取器712可以获取圆形局部区域。在这一情况下，子区域划分器713可以将圆形局部区域划分成例如在具有多个子区域的同心圆形状中的9或者17个子区域。也在这一情况下，维度选择器715可以选择每个子区域中的维度。

如以上描述的那样，根据这一实施例的局部特征生成器601，如图7B至7F中所示，在维持局部特征的信息量之时分级地选择生成的特征矢量的维度。这一处理使得有可能识别风景元素并且在维持识别准确度之时实时显示识别结果。注意，局部特征生成器601的布置和处理不限于示例的布置和处理。当然，有可能应用能够识别风景元素的另一处理，并且在维持识别准确度之时实时显示识别结果。

(物品阵列生成器)

图8A是示出了根据这一实施例的物品阵列生成器407的布置的框图。注意，作为物品阵列生成器407的目标的物品存在/不存在信息不限于由图8A至图9E中所示的具有RFID标签的物品存在/不存在传感器获得的信息。

物品阵列生成器407包括RFID(射频标识：通过无线电波的个别标识器)获取器801、标签片确定器802、物品位置确定器803和物品阵列决定804。

RFID获取器801获取RFID标签的ID，该RFID标签代表由物品存在/不存在信息接收器405接收的物品存在。标签片确定器802基于从物品存在/不存在检测标签片检测的片的RFID(下文被称为片ID)指定陈列架上的标签片位置。物品位置确定器803基于从标签片的每个物品存在/不存在确定标签检测的物品位置的RFID(下文被称为物品位置ID)指定陈列架上的物品位置。

物品阵列决定804基于来自标签片确定器802的在陈列架上的标签片的布置和来自物品位置确定器803的在陈列架上的物品位置决定陈列架上的物品阵列，包括深度方向位置的数目。注意，从物品阵列决定器804输出的物品阵列是物品存在/不存在阵列，并且在每列中布置什么种类的物品未知。

(操作过程)

图8B是示出了根据这一实施例的物品存在/不存在数据获取的操作过程的序列图。注意，在这一实施例中，RFID读取器向在每个物品布置位置处放置的RFID标签传输包括ID的标签信息读取信号。如果RFID标签在多于阈值的信号强度中做出响应，则确定没有物品存在。如果RFID标签在小于阈值的信号强度中做出响应，则确定物品存在。

在步骤S801中，信息处理装置210设置用来基于RFID响应信号的强度确定物品的存在/不存在的阈值。可以不仅作为初始设置而且还基于例如物品存在/不存在检测中的错误出现历史完成这一阈值设置。

在步骤S803中，RFID读取器向RFID标签传输用于标识标签片的包括RFID的命令。用于具有匹配RFID的标签片的RFID标签在步骤S805中返回响应信号。RFID读取器从用于标签片的RFID标签接收响应，并且在步骤S807中向信息处理装置210通知标签片被布置在陈列架的层上作为RFID读取器的目标。在步骤S809中，信息处理装置210向RFID的读取器通知用于基于标签片ID的在标签片上的物品检测的RFID标签的RFID。注意，RFID读取器可以发现用于片上的物品检测的RFID标签的RFID。注意，执行这一处理以缩短RFID标签操作处理，并且可以遍历位扫描RFID。

在步骤S811中，RFID读取器向用于片上的物品检测的RFID标签中的每个RFID标签传输包括RFID的命令。具有匹配RFID的用于物品存在/不存在检测的RFID标签在步骤S813中向RFID读取器返回响应信号。RFID读取器从用于物品存在/不存在检测的RFID标签接收响应，并且在步骤S815中比较响应信号的信号强度与阈值。如果信号强度小于阈值，则确定物品存在。如果信号强度大于阈值，则确定没有物品存在。RFID读取器向信息处理装置210通知存在的物品的RFID。

在步骤S817中，信息处理装置210接收存在的物品的RFID、参照传感器数据库406并且决定如图5D中所示的陈列架上的物品阵列。

(通信过程)

图8C是示出了根据这一实施例的在物品存在/不存在数据获取时的通信过程的序列图。

用来从RFID读取器向信息处理装置210传输陈列架上的标签片的RFID的消息810包括头部811、作为传输目的地的信息处理装置812、作为传输源的RFID读取器813、已经向RFID读取器做出了响应的标签片ID的序列814和作为纠错的CRC815。用来从信息处理装置210向RFID读取器传输标签片上的物品存在/不存在检测的RFID的消息820包括头部821、作为传输目的地的RFID读取器822、作为传输源的信息处理装置823、用于物品存在/不存在检测的RFID的序列824和作为纠错的CRC825。用来从RFID读取器向信息处理装置210传输物品存在的RFID的消息830包括头部831、作为传输目的地的信息处理装置832、作为传输源的RFID读取器833、向RFID读取器的响应信号强度小于阈值的RFID的序列834和作为纠错的CRC835。

(传感器数据库)

图8D是示出了根据这一实施例的传感器数据库406b的布置的视图。传感器数据库406b代表图4中所示的传感器数据库406的部分，并且存储在哪个陈列架的哪层的哪个位置布置标签片。传感器数据库406b与片ID841关联地存储用于标签片的每个物品布置位置的在陈列架上的确定的位置。也就是说，传感器数据库406b与作为物品位置ID842的RFID对应地存储陈列架843、层844、列845和深度方向位置846。可以通过链接物品位置与来自陈列架的前视图像的物品来计算陈列的物品的数目。

图8E是示出了根据这一实施例的传感器数据库406c的布置的视图。传感器数据库406c代表图4中所示的传感器数据库406的部分的另一示例，并且存储在哪个陈列架的哪层的哪个位置与作为物品位置ID的RFID对应地布置物品。如果以这一方式存储陈列架上的所有物品位置ID，则可以决定物品阵列。然后，可以通过链接来自陈列架的前视图像的物品来计算陈列的物品的数目。

<<物品存在/不存在传感器>>

图9A是示出了根据这一实施例的物品存在/不存在传感器230的布置的视图。虽然图9A示出了其中在陈列架上布置两个标签片的示例，但是本发明不限于此。注意，物品存在/不存在传感器230的布置不限于图9A至图9E中所示的布置。

标签片910包括管理目标物品非布置区域911和管理目标物品布置区域913。在管理目标区域非布置区域911中布置片识别RFID标签912。在管理目标物品布置区域913中布置物品存在/不存在感测RFID标签914。感测RFID标签914可以检测在2列×3个深度方向位置上存在/不存在共计六个物品。

标签片920包括管理目标物品非布置区域921和管理目标物品布置区域923。在管理目标物品非布置区域921中布置片识别RFID标签922。在管理目标物品布置区域923中布置物品存在/不存在感测RFID标签924。感测RFID标签924可以检测在3列×4个深度方向位置上存在/不存在共计12个物品。

在间隔物931上布置标签片910和920。在间隔物931的下表面上布置读取器天线932。读取器天线932经由连接线941连接到RFID读取器940。间隔物931的厚度如稍后将描述的那样在物品被放置在感测RFID标签924的上表面附近时影响电磁耦合的改变。虽然未被图示，但是优选地在标签片910和920与物品的底部之间布置另一间隔物以从稳定对电磁耦合的影响的观点稳定在它们之间的距离。确定物品被放置在其向RFID读取器940的响应信号小于阈值的感测RFID标签924上，并且经由通信线向信息处理装置210通知它。注意，通信线可以是用于无线通信的信道。

根据这一实施例的物品存在/不存在传感器230，由于感测RFID标签914未被粘附到物品，所以可以防止由标签粘附引起的成本增加。此外，既不存在涉及侵犯私密或者信息安全性的问题，也不存在涉及由未授权读取粘附到购买的物品的感测RFID标签914引起的客户顾虑的问题。也就是说，第三方对标签信息的未授权读取的问题并未出现。

(读取器天线)

图9B是示出了根据这一实施例的物品存在/不存在传感器230中的读取器天线932的布置的视图。在被间隔物931从至少一个标签片分离的情况下被接线的读取器天线932可以具有各种布置。图9B示出了两个示例。

读取器天线953是具有两个并联线的天线。每行的两个线经由分配器951由连接线941连接到RFID读取器940。

读取器天线954是具有微带线的天线。每行的微带线经由分配器952由连接线941连接到RFID读取器940。在微带线的情况下，经由匹配终结电阻器(未示出)连接接地导体955。

在被间隔物951从两个线或者微带线分离的情况下布置包括RFID标签的标签片。

(物品布置)

图9C是示出了根据这一实施例的物品存在/不存在传感器230上的物品的布置的视图。注意，与图9A中相同的标号表示与图9C中相同的单元，并且将省略其描述。

图9C示出了其中在标签片910上的每个感测RFID标签914的上表面附近布置物品961的情况。在这一实施例中，假设在单列上在深度方向上的物品961相同。

以下将描述RFID读取器940以这一方式经由读取器天线932检测在感测RFID标签914的上表面附近存在/不存在物品的原理。

(RFID标签)

图9D是示出了根据这一实施例的物品存在/不存在传感器230的RFID标签914的布置的视图。

图9D示出了陈列架的平面图。作为平面图，图9D示出了一个物品961被放置于的区域的放大图。如图9D中所示，在物品管理板900上形成有具有微带线的读取器天线954。在读取器天线954以上放置RFID标签914。在RFID标签914以上在用于覆盖RFID标签914的位置设置物品961被放置于的物品布置区域。RFID标签914包括RFID芯片971和标签天线972。

(位置关系)

图9E是示出了根据这一实施例的物品存在/不存在传感器230中的位置关系的视图。

根据这一实施例的物品存在/不存在传感器230基于响应于经由读取器天线932从RFID读取器940传输的包括RFID的命令的、从具有匹配RFID的感测RFID标签914返回的响应信号的强度检测物品的存在/不存在。如果没有物品存在，并且在读取器天线932与感测RFID标签914之间的电磁耦合为强，则向读取器天线932返回强响应信号。比较响应信号的强度与阈值，由于强度大于阈值，所以确定没有物品存在。在另一方面，如果物品存在，并且在读取器天线932与感测RFID标签914之间的电磁耦合为弱，则向读取器天线932返回弱响应信号。比较响应信号的强度与阈值。由于强度小于阈值，所以确定物品存在。

以下将简要地描述适合用于确定响应信号的强度的物品存在/不存在传感器230的结构。参照图9E，距离L1是从感测RFID标签914的标签天线972到物品961的底部的距离。距离L2是从感测RFID标签914的标签天线972到具有微带线的读取器天线954的距离。注意，由于距离L1和L2优选地稳定，所以感测RFID标签914可以由塑料板等覆盖以使用塑料板的厚度，或者任何适当方法是可使用的。

在根据这一实施例的物品存在/不存在传感器230中，调整距离L1和L2以调整在物品961与标签天线972之间的耦合系数k2和在标签天线972与读取器天线954之间的耦合系数k1。根据耦合系数k2改变在标签天线972与读取器天线954之间的信号强度，该耦合系数k2根据物品961的存在/不存在而改变，并且基于信号强度的改变来确定物品961的存在/不存在。耦合系数k1和k2满足关系k1<k2。出于这一原因，由根据物品的存在/不存在的、标签天线972的频率改变引起的、反射的信号强度的改变变成大于由维持在读取器天线954与标签天线972之间的通信引起的改变。也就是说，由于可以可靠地掌握物品961的存在/不存在，所以可以抑制检测错误。

在根据这一实施例的物品存在/不存在传感器230中，令λ是在标签天线972与读取器天线954之间的无线电信号的波长，可以设置距离L1≤λ和距离L2≤λ。由于在标签天线972与读取器天线954之间的通信范围为窄，并且不存在扰动或者噪声的影响，所以可以稳定地确定物品的存在/不存在。也易于布置满足关系L2≤λ/2π的天线。在满足关系L2≤λ/2π时，主要地使用直接波来执行在读取器天线954与标签天线972之间的无线通信，并且由反映周围环境的多径现象引起的无线电干扰几乎不出现。因此，有可能抑制检测错误。具体而言，在管理架上的物品的存在/不存在时，架在许多情况下是金属架或者由金属制成的冷壳。即使在这样的环境之下，系统仍然可以稳定地操作。

根据这一实施例的物品存在/不存在传感器230，物品961无需阻止在RFID标签914与RFID读取器940之间的路径以检测物品961的存在/不存在。此外，仅有必要提供用于在从标签天线972(或者RFID标签914)被间隔开之时布置物品961的地方，以便形成与标签天线972的电磁耦合。因此，可以自由地布置物品961。

此外，根据这一实施例的物品存在/不存在传感器230，以充分强度混合准静态场、感应场和辐射场的场分量，并且矢量的方向随时间不同地改变。因此，有可能提高读取器天线954和标签天线972的相对方向的自由程度。

<<信息处理装置的硬件布置>>

图10A是示出了根据这一实施例的信息处理装置210的硬件布置的框图。

在图10A中，CPU(中央处理单元)1010是用于算术控制的处理器，并且通过执行程序来实施图4中所示的信息处理装置210的功能部件。ROM(只读存储器)1020存储初始数据、程序等的持久数据以及程序。通信控制器401经由网络与另一通信终端或者每个服务器通信，并且也与图像捕获器220a或者物品存在/不存在传感器230通信。

注意，CPU1010的数目不限于一个，并且CPU1010可以包括用于图像处理的多个CPU或者GPU。通信控制器401优选地包括与CPU1010独立的CPU，并且在RAM(随机存取存储器)1040的区域中写入或者从该区域读取传输/接收数据。优选地提供在RAM1040与存储装置1050之间传送数据的DMAC(未示出)。附加地，输入/输出接口1060优选地包括与CPU1010独立的CPU，并且在RAM1040的区域中写入或者从该区域读取输入/输出数据。因此，CPU1010识别由RAM1040的数据接收或者向RAM1040的数据传送并且处理数据。此外，CPU1010在RAM1040中预备处理结果，并且留下向通信控制器401、DMAC或者输入/输出接口1060的后续传输或者传送。

RAM1040是由CPU1010用作为用于暂时存储的工作区域的随机存取存储器。向RAM1040分配用于存储为了实施该实施例而必需的数据的区域。图像数据1041是从图像捕获器220获取的陈列架的前视图像的数据。物品标识结果1042是基于局部特征从图像数据1041标识的物品信息。物品存在/不存在数据1043是从物品存在/不存在传感器230收集的在陈列架上的物品存在/不存在的数据。物品存在/不存在处理结果1044是基于物品存在/不存在数据1043生成的物品阵列信息。陈列计数计算结果1045是通过链接物品标识结果1042与物品存在/不存在处理结果1044并且计算物品的架分配和陈列的物品的数目而获得的结果。陈列计数显示数据1046是生成的用于向办事员通知陈列计数计算结果1045的显示数据。输入/输出数据1047是经由输入/输出接口1060输入/输出的数据。传输/接收数据1048是经由通信控制器401传输/接收的数据。

存储装置1050存储数据库、各种种类的参数以及为了实施该实施例而必需的以下数据和程序。局部特征数据库403是图5A中所示的存储数据的数据库。传感器数据库406是图5B、图8D或者图8E中所示的存储数据的数据库。物品标识算法/参数1051包括用来从图6A至图6G和图7A至图7G中所示的陈列架的前视图像标识物品的算法和参数。库存管理数据库409是用于库存管理的数据库(未示出了)。存储装置1050存储以下程序。信息处理装置控制程序1052是控制整个信息处理装置210的控制程序。物品标识模块1053是被配置为从陈列架的前视图像标识物品的模块。物品阵列生成模块1054是被配置为通过基于物品存在/不存在数据参照传感器数据库406来生成物品阵列的模块。陈列计数计算模块1055是被配置为链接由物品标识模块1053标识的物品标识信息与由物品阵列生成模块1054生成的物品阵列信息、并且计算陈列架的架分配和陈列计数的模块。

输入/输出接口1060对接来自/去往输入/输出设备的输入/输出数据。显示单元214和包括触板/键盘的操作单元1061被连接到输入/输出接口1060。也连接语音输入/输出单元1062，比如扬声器和麦克风。此外，连接图像捕获器220和物品存在/不存在传感器230a。注意，图像捕获器和物品存在/不存在传感器可以经由通信控制器401连接到LAN或者经由输入/输出接口1060被连接作为I/O。在图10A中，图像捕获器220连接到输入/输出接口1060，并且物品存在/不存在传感器230连接到LAN。因此，图像捕获器220a和物品存在/不存在传感器230a由虚线指示。

注意，在图10A的RAM1040或者存储装置1050中未示出与通用功能和信息处理装置210的其它可实施功能关联的程序和数据。

(处理结果输出)

图10B是示出了根据这一实施例的信息处理装置210的处理结果输出的视图。

在显示单元214的显示屏幕1071中显示管理目标陈列架1072和物品表1073。在陈列架1072上显示物品的架分配和陈列计数。在物品表1073中显示物品列的对应颜色、物品名称、正面的数目(相同物品的列数)和陈列的物品的总数。也显示向办事员通知陈列的物品的总数已经减少并且补充为必须的告警标记1074。

<<信息处理装置的处理过程>>

图11A是示出了根据这一实施例的信息处理装置210的处理过程的流程图。这一流程图由图10A中所示的CPU1010使用RAM1040来执行并且实施图4中所示的功能部件。

在步骤S1101中，信息处理装置210从图像捕获器220获取陈列架的捕获的前视图像。在步骤S1103中，信息处理装置210从获取的捕获的图像标识在陈列架的前面上的物品阵列。

在步骤S1105中，信息处理装置210从物品存在/不存在传感器230获取物品存在/不存在检测数据并且存储它。在步骤S1107中，信息处理装置210从物品存在/不存在检测数据生成物品存在/不存在传感器的阵列。

在步骤S1109中，信息处理装置210链接前面的物品阵列与物品存在/不存在传感器的阵列，并且确定陈列架中的物品布置和陈列计数。在步骤S1111中，信息处理装置210输出陈列架中的物品管理和陈列计数。

(架表面物品阵列识别处理)

图11B是示出了根据这一实施例的架表面物品阵列识别处理(步骤S1103)的过程的流程图。

在步骤S1121中，信息处理装置210获取接收的捕获的图像。在步骤S1123中，信息处理装置210从捕获的图像检测多个特征点。在步骤S1125中，信息处理装置210根据图7A至图7F中所示的过程从特征点的坐标位置、比例和角度生成局部特征。

在步骤S1127中，信息处理装置210根据图6A至图6G中所示的过程基于捕获的图像的特征点的坐标位置对特征点进行聚类。在步骤S1129中，信息处理装置210在聚类基础上核对捕获的图像的局部特征组与物品的局部特征组。

在步骤S1131中，信息处理装置210基于核对结果确定匹配的局部特征组是否存在。如果匹配的局部特征组存在，则在步骤S1133中，信息处理装置210指定物品作为具有匹配的局部特征组的物品。在另一方面，如果没有匹配的局部特征组存在，则在步骤S1135中，信息处理装置210确定没有如下物品(该物品具有聚类的局部特征组)，并且执行错误处理。注意，在步骤S1135中，可以执行以根据错误数目改变聚类的阈值或者方法。

在步骤S1137中，信息处理装置210确定捕获的图像的特征点是否剩余。如果特征点剩余，则信息处理装置210返回到步骤S1127以重复对特征点的聚类和核对。如果没有特征点剩余，则在步骤S1139中，信息处理装置210生成物品类型阵列表(见图5C)作为在陈列架的前面上的指定的标识的物品的阵列。

(物品存在/不存在检测处理)

图11C是示出了根据这一实施例的物品存在/不存在检测处理(步骤S1107)的过程的流程图。

在步骤S1141中，信息处理装置210获取从RFID读取器940接收的物品存在/不存在检测数据和标签片ID。在步骤S1143中，信息处理装置210从传感器数据库406获取标签片阵列信息。在步骤S1145中，信息处理装置210从标签片ID和物品存在/不存在检测数据生成物品存在/不存在阵列表(见图5D)。

(物品布置和陈列计数确定处理)

图11D是示出了根据这一实施例的物品布置和陈列计数确定处理(步骤S1109)的过程的流程图。

在步骤S1151中，信息处理装置210基于标签片的阵列链接物品类型阵列表(见图5C)和物品存在/不存在阵列表(见图5D)。在步骤S1153中，信息处理装置210确定架分配和陈列计数(见图5E)。

根据这一实施例，可以使用廉价布置以高速度在类型基础上对在陈列架上在深度方向上陈列的多个类型的大量物品进行计数。因此，有可能实时通知向陈列架的物品补充。

[第三实施例]

接着将描述包括根据本发明的第三实施例的信息处理装置的物品管理系统。根据这一实施例的信息处理装置与第二实施例不同在于从捕获的图像标识向物品存在/不存在传感器组附着的唯一片标识标记(下文将被简称为片标记)。其余部件和操作与在第二实施例中相同。因此，相同标号表示相同部件和操作，并且将省略其具体描述。

根据这一实施例，即使在移动物品陈列架上的物品存在/不存在传感器组时，仍然可以指定它的位置。出于这一原因，即使在任意地布置物品存在/不存在传感器组时，仍然可以容易地链接基于捕获的图像的物品标识和来自物品存在/不存在传感器的物品存在/不存在信息。

<<物品管理系统>>

将参照图12和图13描述根据这一实施例的物品管理系统1200的布置和操作。

(系统概况)

图12是示出了包括根据这一实施例的信息处理装置1210的物品管理系统1200的概况的视图。注意，与图2A中相同的标号表示与图12中相同的构成单元，并且将省略其描述。

物品管理系统1200包括信息处理装置1210、作为相机的图像捕获器220和物品存在/不存在传感器1230。图像捕获器220捕获陈列架201和202的前排的图像。注意，由图像捕获器220拍摄的图像也包括向物品存在/不存在传感器1230的标签片添加的片标记1231。也就是说，在陈列架201和202中的每个陈列架的每层的底部上布置的物品存在/不存在传感器1230确定物品在它上的存在/不存在，并且包括各自具有添加的片标记1231的标签片。

信息处理装置1210包括物品标识器1211、陈列计数获取器212和陈列识别器1213。物品标识器1211从图像捕获器220接收陈列架201和202的前排的图像、标识陈列的物品的类型和阵列，并且也标识片标记1231。陈列识别器1213基于由物品标识器1211标识的片标记1231的位置链接来自物品标识器1211的陈列架201和202的前排的物品阵列与来自陈列计数获取器212的陈列计数信息，并且识别陈列架201和202上的陈列的物品的数目。

(操作过程)

图13是示出了包括根据这一实施例的信息处理装置1210的物品管理系统1200的操作过程的序列图。注意，与在第二实施例的图3A中相同的步骤编号表示与图13中相同的步骤，并且这里将省略其描述。

在图13中，向图3A添加步骤S1310的片标记标识。在步骤S1310中，信息处理装置1210从陈列架的前视图像标识片标记并且使用片标记以指定物品存在/不存在传感器位置。

在第二实施例中，预先存储陈列架上的标签片布置信息，由此指定物品存在/不存在传感器位置并且链接它与物品标识。因此，如果移动标签片，则需要改变布置信息。在这一实施例中，基于从捕获的图像标识的片标记指定标签片的位置。因此。即使在移动标签片时，也可以指定标签片的位置，也就是每个物品存在/不存在传感器的位置。

<<信息处理装置的功能布置>>

图14是示出了根据这一实施例的信息处理装置1210的功能布置的框图。注意，与图4中相同的标号表示与图14中相同的功能部件，并且将省略其描述。

图14中所示的物品标识器1211不仅标识图像中的物品，而且也标识图像中的片标记。因此，局部特征数据库1403除了从物品图像生成的局部特征之外还存储来自片标记的图像的局部特征。注意，每个片标记优选地包括用于有助于标识片标记的许多特征点。

物品阵列生成器1407通过参照来自物品标识器1211的片标记信息和在片管理数据库1406中存储的标签片中的物品存在/不存在传感器1230的布置信息来从物品存在/不存在信息生成代表陈列架上的物品阵列的物品存在/不存在阵列表。

(局部特征数据库)

图15A是示出了根据这一实施例的局部特征数据库1403的布置的视图。注意，局部特征数据库1403也包括从物品图像生成的图5A中所示的局部特征数据库403的数据。

局部特征数据库1403与片标记ID1511关联地存储从片标记图像生成的局部特征组1512。

(片管理数据库)

图15B是示出了根据这一实施例的片管理数据库1406的布置的视图。

片管理数据库1406与片标记ID1521关联地存储具有片标记的标签片的片ID1522和片配置1523。注意，片配置1523是与图5B中所示的片配置527对应的数据。

(物品类型阵列表)

图15C是示出了根据这一实施例的物品类型阵列表1530的布置的视图。物品类型阵列表1530是由物品标识器1211基于从捕获的图像标识的物品和片标记生成的表。注意，与图5C中相同的标号表示与图15C中相同的项目，并且这里将省略其描述。

在图15C中，除了图5C中所示的项目之外还存储从由物品标识器1211标识的片标记指定的片ID1537。物品类型阵列表1530和从来自物品存在/不存在传感器的物品存在/不存在信息生成的物品存在/不存在阵列表由从片标记指定的片ID1537链接。

注意，物品存在/不存在阵列表、架分配和陈列计数表与图5D和图5E中相同，并且将省略其图示和描述。

<<信息处理装置的处理过程>>

图16A是示出了根据这一实施例的信息处理装置1210的处理过程的流程图。这一流程图由图10A中所示的CPU1010使用RAM1040来执行，并且实施图14中所示的功能部件。注意，与图11A中相同的步骤编号表示与图16A中相同的步骤，并且将省略其描述。

图16A与图11A不同在于信息处理装置1210在步骤S1607中从捕获的图像标识片标记、确定标签片的布置位置并且生成物品存在/不存在传感器阵列。

(片标记标识处理)

图16B是示出了根据这一实施例的片标记标识处理(步骤S1607)的过程的流程图。注意，与图11B中相同的步骤编号表示与图16B中相同的步骤，并且将省略其描述。

在步骤S1625中，信息处理装置1210在步骤S1103中获取从捕获的图像生成的局部特征。注意，如果与物品的局部特征不同准确度的局部特征用来核对片标记，则可以新生成片标记的局部特征而不是使用在步骤S1103中生成的局部特征。

在步骤S1629中，信息处理装置1210在聚类基础上核对捕获的图像的局部特征组与片标记的局部特征组。注意，也可以在步骤S1127的聚类和步骤S1629的核对中执行对于片标记标识唯一的处理。如果局部特征组匹配，则在步骤S1633中，信息处理装置1210指定片标记。在步骤S1639中，信息处理装置1210基于片标记生成阵列表，并且使用阵列表以链接物品阵列类型阵列表1530与从来自物品存在/不存在传感器的物品存在/不存在信息生成的物品存在/不存在阵列表。

根据这一实施例，即使在移动物品陈列架上的物品存在/不存在传感器组时，仍然可以指定它的位置。出于这一原因，即使在任意地布置物品存在/不存在传感器组时，仍然可以容易地链接基于捕获的图像的物品标识和来自物品存在/不存在传感器的物品存在/不存在信息。

[第四实施例]

接着将描述包括根据本发明的第四实施例的信息处理装置的物品管理系统。根据这一实施例的信息处理装置与第二实施例不同在于从捕获的图像标识向物品陈列架附着的唯一架标识标记(下文将被简称为架标记)。其余部件和操作与在第二和第三实施例中相同。因此，相同标号表示相同部件和操作，并且将省略其具体描述。

根据这一实施例，由于可以基于架标记确定物品陈列架的位置，所以有可能容易地链接基于捕获的图像的物品标识和来自物品存在/不存在传感器的物品存在/不存在信息。

<<物品管理系统>>

将参照图17和图18描述根据这一实施例的物品管理系统1700的布置和操作。

(系统概况)

图17是示出了包括根据这一实施例的信息处理装置1710的物品管理系统1700的概况的视图。注意，与图2A中相同的标号表示与图17中相同的构成单元，并且将省略其描述。

物品管理系统1700包括信息处理装置1710、作为相机的图像捕获器220和物品存在/不存在传感器230。图像捕获器220捕获陈列架1720和1730的前排的图像。注意，由图像捕获器220拍摄的图像也包括向陈列架1720和1730这些陈列架添加的架标记1721至1723、…1731至1733。也就是说，向陈列架1720和1730这些陈列架添加架标记1721至1723、…1731至1733。

信息处理装置1710包括物品标识器1711、陈列计数获取器212和陈列识别器1713。物品标识器1711从图像捕获器220接收陈列架1720和1730的前排的图像、标识陈列的物品的类型和阵列，并且也标识架标记1721至1723、…1731至1733。陈列识别器1713基于由物品标识器1711标识的架标记1721至1723、…1731至1733的位置链接来自物品标识器1711的陈列架1720和1730的前排的物品阵列与来自陈列计数获取器212的陈列计数信息，并且识别陈列架1720和1730上的陈列的物品的数目。

注意，架标记的数目不限于图17中所示的示例。与图像捕获器220的视野对应地选择架标记的数目

(操作过程)

图18是示出了包括根据这一实施例的信息处理装置1210的物品管理系统1700的操作过程的序列图。注意，与在第二实施例的图3A中相同的步骤编号表示与图13中相同的步骤，并且这里将省略其描述。

在图18中，向图3AA添加步骤S1810的架标记标识。在步骤S1810中，信息处理装置1710从陈列架的前侧图像标识架标记并且链接来自图像捕获器220的图像位置与物品存在/不存在传感器位置。

在第二和第三实施例中，由图像捕获器220拍摄的图像的位置是固定的，并且图像的相同位置对应于陈列架的相同位置。在这一实施例中，由从捕获的图像标识的架标记链接由图像捕获器220拍摄的图像的位置与陈列架的相同位置。这使得即使在图像捕获器220摇动时，仍然有可能链接每个物品标识位置与每个物品存在/不存在传感器的位置。

<<信息处理装置的功能布置>>

图19是示出了根据这一实施例的信息处理装置1710的功能布置的框图。注意，与图4中相同的标号表示与图19中相同的功能部件，并且将省略其描述。

图19中所示的物品标识器1711不仅标识图像中的物品而且还标识图像中的架标记。因此，局部特征数据库1903除了从物品图像生成的局部特征之外，还存储来自架标记的图像的局部特征。注意，每个架标记优选地包括用于有助于标识架标记的许多特征点。

物品阵列生成器1907通过参照来自物品标识器1711的架标记信息和在架管理数据库1906中存储的在陈列架中的物品存在/不存在传感器230的布置信息来生成代表来自物品存在/不存在信息的在陈列架上的物品阵列的物品存在/不存在阵列表。

(局部特征数据库)

图20A是示出了根据这一实施例的局部特征数据库1903的布置的视图。注意，局部特征数据库1903也包括从物品图像生成的图5A中所示的局部特征数据库403的数据。

局部特征数据库1903与架标记ID2011关联地存储从架标记图像生成的局部特征组2012。

(架管理数据库)

图20B是示出了根据这一实施例的架管理数据库1906的布置的视图。

架管理数据库1906与架标记ID2021关联地存储具有架标记的架的架ID2022、代表架的层数和列数的架配置2023以及架分配数据2024。注意，架配置2023和架分配数据2024是与图5B中所示的传感器数据库406a对应的数据。

(物品类型阵列表)

图20C是示出了根据这一实施例的物品类型阵列表2030的布置的视图。物品类型阵列表2030是由物品标识器1711基于从捕获的图像标识的物品和架标记生成的表。注意，与图5C中相同的标号表示与图20C中相同的项目，并且将省略其描述。

在图20C中，除了图5C中所示的项目之外还存储通过参照由物品标识器1711标识的架标记以及架管理数据库1906和片ID2038而指定的架的列2037。物品类型阵列表2030和从来自物品存在/不存在传感器的物品存在/不存在信息生成的物品存在/不存在阵列表由从架标记和片ID2038标识的架的列2037链接。

注意，物品存在/不存在阵列表、架分配以及陈列计数表与图5D和图5E中相同，并且将省略其例示和描述。

<<信息处理装置的处理过程>>

图21A是示出了根据这一实施例的信息处理装置1710的处理过程的流程图。这一流程图由图10A中所示的CPU1010使用RAM1040来执行，并且实施图17中所示的功能部件。注意，与图11A中相同的步骤编号表示图21A中的相同步骤，并且将省略其描述。

图21A与图11A不同在于信息处理装置1710在步骤S2107中从捕获的图像标识架标记、链接捕获的图像的位置与标签片的布置位置，并且生成物品存在/不存在传感器阵列。

(架标记标识处理)

图21B是示出了根据这一实施例的架标记标识处理(步骤S2107)的过程的流程图。注意，与图11B或者图16B中相同的步骤标号表示图21B中的相同步骤，并且将省略其描述。

在步骤S1625中，信息处理装置1710在步骤S1103中获取从捕获的图像生成的局部特征。注意，如果与物品或者片标记的准确度不同的局部特征用来核对架标记，则可以新生成局部特征而不是使用在步骤S1103中生成的局部特征。

在步骤S2129中，信息处理装置1710在聚类基础上核对捕获的图像的局部特征组与架标记的局部特征组。注意，也可以在步骤S1127的聚类和步骤S2129的核对中执行对于架标记标识唯一的处理。如果局部特征组匹配，则在步骤S2133中，信息处理装置1710指定架标记。在步骤S2139中，信息处理装置1710基于架标记生成阵列表，并且使用阵列表以链接物品类型阵列表2030与从来自物品存在/不存在传感器的物品存在/不存在信息生成的物品存在/不存在阵列表。

根据这一实施例，由于可以基于架标记确定物品陈列架的位置，所以有可能容易地链接基于捕获的图像的物品标识与来自物品存在/不存在传感器的物品存在/不存在信息。

[第五实施例]

接着将描述包括根据本发明的第五实施例的信息处理装置的物品管理系统。根据这一实施例的信息处理装置与第二实施例不同在于从捕获的图像标识对于物品陈列架唯一的物品阵列。其余部件和操作与在第二至第四实施例中相同。因此，相同标号表示相同部件和操作，并且将省略其具体描述。

根据这一实施例，由于可以基于唯一物品阵列确定物品陈列架的位置，所以有可能容易地链接基于捕获的图像的物品标识与来自物品存在/不存在传感器的物品存在/不存在信息，而不向陈列架添加片标记或者架标记。

<<物品管理系统>>

将参照图22和图23描述根据这一实施例的物品管理系统2200的布置和操作。

(系统概况)

图22是示出了包括根据这一实施例的信息处理装置2210的物品管理系统2200的概况的视图。注意，与图2A中相同的标号表示与图22中相同的构成单元，并且将省略其描述。

物品管理系统2200包括信息处理装置2210、作为相机的图像捕获器220和物品存在/不存在传感器230。图像捕获器220捕获陈列架201和202的前排的图像。注意，在具体位置处(也就是在图22中的陈列架201和202这些陈列架中的每个陈列架的顶层上)的物品阵列具有对于陈列架唯一的阵列。注意，图22示出了其中假设在陈列架201的顶层上的高瓶(由位“1”代表)和矮瓶(由位“1”代表)的阵列的示例。然而，陈列架可以通过基于每个物品的标识结果运用唯一阵列并且假设很小数目的物品列为每个陈列架所唯一而被指定。因此可以在没有任何如在第四实施例中的架标记的情况下指定架及其捕获位置。

信息处理装置2210包括物品标识器211、陈列计数获取器212和陈列识别器2213。陈列标识器211从图像捕获器220接收陈列架201和202的前排的图像，并且标识陈列的物品的类型。陈列识别器2213基于从对于陈列架唯一的物品阵列标识的架的位置链接来自物品标识器211的陈列架201和202的前排的物品阵列与来自陈列计数获取器212的物品存在/不存在信息，并且识别陈列架201和202上的陈列的物品的数目。

注意，唯一物品阵列的间隔不限于图22中所示的示例。与图像捕获器220的视野对应地选择间隔。

(操作过程)

图23是示出了包括根据这一实施例的信息处理装置2210的物品管理系统2200的操作过程的序列图。注意，与在第二实施例的图3A中相同的步骤编号表示图23中的相同步骤，并且将省略其描述。

在图23中，向图3A添加步骤S2310中的对于陈列架唯一的物品阵列的标识。在步骤S2310中，信息处理装置2210从陈列架的前视图像标识对于陈列架唯一的物品阵列，并且链接来自图像捕获器220的图像位置与物品存在/不存在传感器位置。

在第四实施例中，添加架标记以应对链接每个物品标识位置与每个物品存在/不存在传感器的位置。在这一实施例中，由从捕获的图像标识的对于陈列架唯一的物品阵列链接由图像捕获器220拍摄的图像的位置与陈列架的相同位置。这使得即使在图像捕获器220摇动时，仍然有可能链接每个物品标识位置与每个物品存在/不存在传感器的位置。

<<信息处理装置的功能布置>>

图24是示出了根据这一实施例的信息处理装置2210的功能布置的框图。注意，与图4中相同的标号表示图24中的相同功能部件，并且将省略其描述。

图24中所示的物品阵列生成器2407通过参照来自物品标识器211的物品识别信息和在用作物品阵列存储装置的物品列管理数据库2406中存储的在陈列架中的唯一物品列信息来生成代表来自物品存在/不存在信息的在陈列架上的物品阵列的物品存在/不存在阵列表。注意，陈列架中的唯一物品列优选地能够可靠地标识唯一物品阵列以提高标识准确度。例如，具有特性颜色或者形状的物品的阵列是优选的。

(物品列管理数据库)

图25是示出了根据这一实施例的物品列管理数据库2406的布置的视图。

物品列管理数据库2406与物品列ID2511关联地存储架ID2512、包括层和列的架位置2513、代表层数和列数的架配置2514以及架分配数据2515。注意，架配置2514和架分配数据2515是与图5B中所示的传感器数据库406a对应的数据。

<<信息处理装置的处理过程>>

图26A是示出了根据这一实施例的信息处理装置2210的处理过程的流程图。这一流程图由图10A中所示的CPU1010使用RAM1040来执行，并且实施图24中所示的功能部件。注意，与图11A中相同的步骤编号表示图26A中的相同步骤，并且将省略其描述。

图26A与图11A不同在于信息处理装置2210在步骤S2606中从对于陈列架唯一的物品列标识架、链接捕获的图像的位置与标签片的布置位置，并且生成物品存在/不存在传感器阵列。

(物品列标识处理)

图26B是示出了根据这一实施例的物品列标识处理(步骤S2606)的过程的流程图。

在步骤S2621中，信息处理装置2210核对拍摄的物品阵列与在物品列管理数据库2406中存储的物品阵列。在步骤S2623中，信息处理装置2210确定匹配的物品阵列是否存在。如果匹配的物品阵列存在，则信息处理装置2210在步骤S2625中指定具有匹配的物品阵列的陈列架。在另一方面，如果没有匹配的物品阵列存在，则在步骤S2627中，信息处理装置2210确定未发现陈列架，并且执行错误处理。注意，在步骤S2627中，可以执行以根据错误数目改变物品标识准确度或者捕获位置/范围。

根据这一实施例，由于可以基于唯一物品阵列确定物品陈列架的位置，所以有可能容易地链接基于捕获的图像的物品标识与来自物品存在/不存在传感器的物品存在/不存在信息，而不向陈列架添加片标记或者架标记。

[第六实施例]

接着将描述包括根据本发明的第六实施例的信息处理装置的物品管理系统。根据这一实施例的信息处理装置与第二至第五实施例不同在于基于从捕获的图像获得的物品阵列信息和从物品存在/不存在传感器获得的物品存在/不存在信息确定由布置错误引起的物品布置或者未授权的布置的改变。其余部件和操作与在第二至第五实施例中相同。因此，相同标号表示相同部件和操作，并且将省略其具体描述。

根据这一实施例，由于除了物品补充之外还可以通知物品布置的改变或者布置错误，所以有可能向陈列架中的物品管理给予复杂的辅助。

<<物品管理系统>>

图27A是示出了包括根据这一实施例的信息处理装置的物品管理系统2700的概况的视图。

如图27A中所示，根据这一实施例的物品管理系统2700检测物品布置位置的各种错误，比如其中小瓶2712存在于大瓶2711的位置处的情况或者其中小平2722存在于大瓶2721的位置处的情况。备选地，物品管理系统2700区别物品阵列的改变与布置错误。

图27B是示出了包括根据这一实施例的信息处理装置的物品管理系统2700的另一概况的视图。

在根据这一实施例的物品管理系统2700中，如图27B中所示，物品存在/不存在传感器在大瓶2731已经掉落的情况下或者在小瓶2733已经掉落的情况下检测物品存在。然而，在标识前视图像时，发现物品已经调度以覆盖多个物品存在确定范围。

注意，图27A和图27B示出了其中物品显然地具有错误布置的示例。在这一情况下，可以容易地从物品存在/不存在数据和物品标识数据已知布置错误。然而，在一些情况下，简单地比较不能容易地知道布置错误(见图29)。

<<信息处理装置的功能布置>>

图28是示出了根据这一实施例的信息处理装置2810的功能布置的框图。注意，与图4中相同的标号表示图28中的相同功能部件，并且将省略其描述。

图28中所示的物品阵列历史数据库2814累加由物品标识器211标识的物品阵列和由物品存在/不存在传感器检测的物品阵列的历史。物品阵列监视器2815比较由物品标识器211标识的物品阵列与由物品存在/不存在传感器检测的物品阵列，并且如果物品阵列不匹配，则从物品阵列历史数据库2814获取以往物品阵列信息，并且确定物品阵列是否已经被改变或者暂时物品阵列错误已经出现。如果物品阵列错误已经出现，则显示单元显示这一点以产生告警。

(物品陈列确定处理)

图29是用于说明根据这一实施例的物品陈列确定处理的视图。图29示出了用于确定物品阵列是否已经被改变或者暂时物品阵列错误是否已经出现的示例。然而，确定算法不限于此。

在物品阵列2901中，陈列架的物品存在/不存在传感器检测到在八列上陈列了共计32个物品(列上的物品数目：4、4、3、4、5、4、4、4)。列上的物品根据从前视图像的物品标识而为(大瓶A，大瓶A，大瓶B，大瓶B，小瓶c，小瓶c，小瓶d，小瓶d)。

在接着确定的物品阵列2902中，陈列架的物品存在/不存在传感器检测到在八列上仍然陈列了共计32个物品(列上的物品数目：4、4、3、4、5、4、4、4)。然而，列上的物品根据从前视图像的物品标识而为(大瓶A，大瓶A，大瓶B，大瓶B，小瓶c，小瓶d，小瓶c，小瓶d)。从左侧起的第六和第七列的物品已经分别改变成小瓶d和c。在这一阶段，也可以确定第六和第七列的物品的布置已经被改变。

在接着确定的物品阵列2903中，陈列架的物品存在/不存在传感器检测到在八列上陈列了共计28个物品(列上的物品数目：4、4、3、4、3、3、3、4)。此时，列上的物品根据从前视图像的物品标识而为(大瓶A，大瓶A，大瓶B，大瓶B，小瓶c，小瓶c，小瓶d，小瓶d)。从左侧起的第六和第七列的物品已经分别恢复成小瓶c和d。在这一情况下，通过参照物品阵列2901和2902，可以确定在物品阵列2902的前排上从左侧起的第六和第七列的瓶是布置错误。

注意，图29的示例仅为示例，并且可以通过基于来自物品存在/不存在传感器的数据和从前视图像标识的物品阵列的历史跟踪物品阵列的历史来确定布置的改变或者布置错误。

<<信息处理装置的处理过程>>

图30A是示出了根据这一实施例的信息处理装置的处理过程的流程图。这一流程图由图10A中所示的CPU1010使用RAM1040来执行，并且实施图28中所示的功能部件。注意，与图11A中相同的步骤编号表示图30A中的相同步骤，并且将省略其描述。

图30A与图11A不同在于信息处理装置2810在步骤S3008中基于来自物品存在/不存在传感器的物品存在/不存在数据和从前视图像标识的物品阵列执行布置确定处理。

(布置确定处理)

图30B是示出了根据这一实施例的布置确定处理(步骤S3008)的过程的流程图。

在步骤S3021中，信息处理装置2810从物品阵列历史数据库2814获取物品存在/不存在数据和物品阵列数据的历史。在步骤S3023中，信息处理装置2810基于获取的历史确定当前物品阵列。

图30B示出了三个确定结果。如果物品存在/不存在数据和物品阵列数据均未改变，则信息处理装置2810在步骤S3025中确定没有物品阵列改变存在。如果物品存在/不存在数据和物品阵列数据二者改变，并且这些改变未相互冲突，则信息处理装置2810在步骤S3027中确定物品布置的改变已经出现。如果如图29中那样存在在物品存在/不存在数据的改变与物品阵列数据的改变之间的差异，则信息处理装置2810在步骤S3029中确定物品布置错误已经出现。

注意，物品布置的改变和布置错误不限于示例的物品布置的改变和布置错误。也可以通过根据这一实施例比较来自前视图像的物品标识信息和来自物品存在/不存在传感器的物品存在/不存在信息或者跟踪历史来发现其它示例。

根据这一实施例，由于除了物品补充之外还可以通知物品布置的改变或者布置错误，所以有可能向陈列架中的物品管理给予复杂的辅助。

[第七实施例]

接着将描述包括根据本发明的第七实施例的信息处理装置的物品管理系统。根据这一实施例的信息处理装置与第二至第六实施例不同在于基于从捕获的图像获得的物品阵列信息和从物品存在/不存在传感器获得的物品存在/不存在信息相互地提高标识准确度和检测准确度。其余部件和操作与在第二至第五实施例中相同。这里，相同标号表示相同部件和操作，并且将省略其具体描述。

根据这一实施例，可以相互地提高标识准确度和检测准确度，并且可以可靠地掌握陈列架上的物品布置。

<<物品管理系统>>

图31是示出了包括根据这一实施例的信息处理装置的物品管理系统3100的概况的视图。图31示出了用于提高从图像的物品标识的准确度的调整示例3110和用于提高物品存在/不存在传感器的存在/不存在确定准确度的调整示例3120。

在调整示例3110中，物品存在/不存在传感器对陈列前排的检测结果3111指示物品存在于所有列上。在另一方面，在从前视图像获得的物品标识结果3112中，不能标识从左侧起的第七列的物品。在这一情况下，确定图像标识错误3113已经出现，并且执行调整3114以提高从图像的物品标识准确度。调整3114包括调整在物品标识的过程中的特征点检测、局部特征生成、特征点聚类和局部特征核对的参数、阈值等。

在调整示例3120中，在从前视图像获得的物品标识结果3122中，标识所有列上的物品。在另一方面，物品存在/不存在传感器对陈列架前排的检测结果3121指示没有物品存在于第二列上。在这一情况下，确定物品存在/不存在传感器的检测错误3123已经出现，并且执行调整3124以提高物品存在/不存在检测准确度。调整3124包括调整用来确定RFID读取器中的响应信号的强度的阈值、调整从RFID读取器的命令传输的传输强度等。注意，由于物品标识结果有时不仅包括陈列架前排的标识结果，而且包括后面物品的标识结果，所以可以基于不仅包括陈列架的前排而且包括第二和后续排的所有排的检测结果确定物品存在/不存在传感器的检测错误。

<<信息处理装置的功能布置>>

图32是示出了根据这一实施例的信息处理装置3210的功能布置的框图。注意，与图4中相同的标号表示图32中的相同功能部件，并且将省略其描述。

图32中所示的错误历史数据库3216累加在由物品标识器211标识的物品阵列与由物品存在/不存在传感器检测的物品阵列之间的核对错误的历史。物品标识/物品存在/不存在核对器3217核对由物品标识器211标识的物品阵列与由物品存在/不存在传感器检测的物品阵列，并且如果它们不匹配，则确定错误。物品标识/物品存在/不存在核对器3217然后累加错误历史数据库3216中的错误历史，并且执行物品标识器211中的参数调整或者物品阵列生成器407中的参数调整。物品标识/物品存在/不存在核对器3217也向图像捕获器/物品存在/不存在传感器调整器3218通知错误出现以及代表需要调整图像捕获器和物品存在/不存在传感器中的哪一个的信息。图像捕获器/物品存在/不存在传感器调整器3218传输用于调整图像捕获器和/或物品存在/不存在传感器的数据。

<<信息处理装置的处理过程>>

图33A是示出了根据这一实施例的信息处理装置3210的处理过程的流程图。这一流程图由图10A中所示的CPU1010使用RAM1040来执行，并且实施图32中所示的功能部件。注意，与图11A中相同的步骤编号表示图33A中的相同步骤，并且将省略其描述。

图33A与图11A不同在于信息处理装置3210在步骤S3308中基于来自物品存在/不存在传感器的物品存在/不存在数据和从前视图像标识的物品阵列执行对物品存在/不存在检测和/或物品标识的处理。

(物品存在/不存在检测和物品标识调整处理)

图33B是示出了根据本发明的第七实施例的物品存在/不存在检测和物品标识调整处理(S3308)的过程的流程图。

在步骤S3321中，信息处理装置3210核对物品存在/不存在结果与物品标识结果。在步骤S3323中，信息处理装置3210基于核对结果分岔。在基于核对结果确定没有错误存在时，处理结束。

如果错误已经在从图像的物品标识中出现，则在步骤S3325中，信息处理装置3210执行与标识处理关联的调整，比如对局部特征生成的阈值的调整。在步骤S3327中，信息处理装置3210确定错误是否已经被恢复。如果错误已经被恢复，则处理结束。注意，虽然重复了步骤S3325的标识处理调整和步骤S3327的确定，但是这在图33B中未被图示以避免复杂。

如果错误未被恢复，则信息处理装置3210在步骤S3329中调整图像捕获器。在步骤S3331中，信息处理装置3210确定错误是否已经被恢复。如果错误已经被恢复，则处理结束。注意，虽然重复了步骤S3329的图像捕获器调整和步骤S3331的确定，但是这在图33B中未被图示以避免复杂。如果错误未被恢复，则向物品标识系统通知存在错误。

当在步骤S3323中确定物品存在/不存在检测错误已经出现时，则在步骤S3335中，信息处理装置3210执行对RFID读取器等的物品存在/不存在检测的阈值的调整。在步骤S3337中，信息处理装置3210确定错误是否已经被恢复。如果错误已经被恢复，则处理结束。注意，虽然重复了步骤S3335的物品存在/不存在传感器调整和步骤S3337的确定，但是这在图33B中未被图示以避免复杂。如果错误未被发现，则向物品存在/不存在检测系统通知存在错误。

注意，用于物品标识系统和物品存在/不存在检测系统二者的错误检测方法或者调整方法不限于这一实施例的方法。对于其中通过链接物品标识系统与物品存在/不存在检测系统来完成物品陈列管理的实施例唯一的任何其它错误检测方法或者调整方法是可能的。

根据这一实施例，可以相互地提高标识准确度和检测准确度，并且可以可靠地掌握陈列架上的物品布置。

[第八实施例]

接着将描述包括根据本发明的第八实施例的信息处理装置的物品管理系统。根据这一实施例的信息处理装置与第二至第七实施例不同在于捕获位置通过核对从物品存在/不存在传感器获得的前排物品存在/不存在模式与通过从捕获的图像的物品标识而获得的物品存在/不存在模式而被指定。其余部件和操作与在第二至第七实施例中相同。因此，相同标号表示相同部件和操作，并且将省略其具体描述。

根据这一实施例，由于可以确定物品陈列架的捕获位置而无如在第三或者第四实施例中指定陈列架的任何特殊操作，所以有可能容易地链接基于捕获的图像的物品标识与来自物品存在/不存在传感器的物品存在/不存在信息。

<<物品管理系统>>

将参照图34和图35描述根据这一实施例的物品管理系统3400的布置和操作。

(系统概况)

图34是示出了包括根据这一实施例的信息处理装置3410的物品管理系统3400的概况的视图。注意，与图2A中相同的标号表示图34中的相同构成单元，并且将省略其描述。

物品管理系统3400包括信息处理装置3410、作为相机的图像捕获器220和物品存在/不存在传感器230。图像捕获器220捕获陈列架201和202的前排的图像。注意，图34为了简化而示出了在陈列架201的顶层上的瓶存在(由位“1”代表)和瓶不存在(由位“0”代表)的阵列的示例。因此可以指定架及其捕获的位置而未如在第四实施例中存储架标记或者如在第五实施例中存储对于架唯一的物品阵列。

信息处理装置3410包括物品标识器211、陈列计数获取器212和陈列识别器3413。陈列识别器3413核对来自物品标识器211的陈列架201和202的前排的物品存在/不存在模式与按照来自陈列计数获取器212的物品存在/不存在信息的前排物品存在/不存在模式。不仅对于包括物品存在/不存在的相同位置、而且还通过改变在水平和竖直方向上的图像获取位置来执行这一核对。如果发现匹配物品存在/不存在模式，则可以已知在陈列架中拍摄的位置。因此，由于可以链接通过从图像的物品标识而获得的物品存在/不存在模式与来自物品存在/不存在传感器的物品存在/不存在模式，所以在陈列架201和202中陈列的物品的数目被识别。

(操作过程)

图35是示出了包括根据这一实施例的信息处理装置3410的物品管理系统3400的操作过程的序列图。注意，与在第二实施例的图3A中相同的步骤编号表示图35中的相同步骤，并且将省略其描述。

在图35中，向图3A添加在步骤S3510中核对物品标识结果的物品存在/不存在模式和物品存在/不存在结果。在步骤S3510中，信息处理装置3410核对通过从陈列架的前视图像的标识而获得的物品存在/不存在模式与从物品存在/不存在传感器获得的陈列架前视图像的物品存在/不存在模式，并且链接来自图像捕获器220的图像位置与物品存在/不存在传感器位置。

在第四实施例中，添加架标记以应对链接每个物品标识位置与每个物品存在/不存在传感器的位置。在第五实施例中，由从捕获的图像标识的对于陈列架唯一的物品阵列链接由图像捕获器220拍摄的图像的位置与陈列架的相同位置，由此链接每个物品标识位置与每个物品存在/不存在传感器的位置。在这一实施例中，可以指定架及其捕获位置，并且可以链接每个物品标识位置与每个物品存在/不存在传感器的位置而预备对陈列架唯一的架标记或者物品阵列。

<<信息处理装置的功能布置>>

图36是示出了根据这一实施例的信息处理装置3410的功能布置的框图。注意，与图4中相同的标号表示图36中的相同功能部件，并且将省略其描述。

图36中所示的物品存在/不存在列核对器3619核对由来自物品标识器211的物品识别信息生成的物品存在/不存在模式与从由物品存在/不存在信息接收器305接收的物品存在/不存在信息生成的物品存在/不存在模式，由此指定匹配物品存在/不存在模式的架及其捕获位置。

(物品列存在/不存在列核对)

图37是用于说明根据这一实施例的物品列存在/不存在列核对的视图。

图37的上线示出了从物品存在/不存在传感器的检测数据生成的、两个陈列架的前排的物品阵列模式3710。这里，“●”指示在前排上的物品存在，并且“○”指示在前排上的物品不存在。第一物品阵列模式包括陈列架ID3711、层3712和物品阵列模式3713。第二物品阵列模式包括陈列架ID3715、层3716和物品阵列模式3717。

图37的下线示出了从标识自图像的物品生成的物品存在/不存在模式。这里，使用物品存在/不存在模式3721来操作物品阵列模式3713和物品阵列模式3717。在这一示例中，与物品存在/不存在模式3721匹配的模式从物品阵列模式3717的左侧起的第二列(在虚线框中)出现。作为结果，发现通过从左侧起的第二列捕获右陈列架3722来获得从标识自图像物品生成的物品存在/不存在模式3721，并且可以链接标识的物品阵列和物品存在/不存在阵列。注意，虽然已经参照图36举例说明包括多个层的模式，但是包括一层的物品存在/不存在模式也是可能的。

<<信息处理装置的处理过程>>

图38A是示出了根据这一实施例的信息处理装置3410的处理过程的流程图。这一流程图由图10A中所示的CPU1010使用RAM1040来执行，并且实施图36中所示的功能部件。注意，与图11A中相同的步骤编号表示图38A中的相同步骤，并且将省略其描述。

图38A与图11A不同在于信息处理装置3410在步骤S3806中核对物品标识结果的存在/不存在模式与物品存在/不存在结果的存在/不存在模式，并且指定架和架的捕获的位置。

(物品列标识处理)

图38B是示出了根据这一实施例的物品列标识处理(步骤S3806)的过程的流程图。

在步骤S3821中，信息处理装置3410在扫描来自捕获的前视图像的物品存在/不存在模式和来自物品存在/不存在传感器的物品存在/不存在模式之时核对前者模式与后者模式。在步骤S3823中，信息处理装置3410确定匹配的物品阵列模式是否存在。如果匹配的物品阵列模式存在，则信息处理装置3410在步骤S3825中指定陈列架和具有匹配的物品阵列模式的架的捕获的位置。在另一方面，如果没有匹配物品阵列模式存在，则在步骤S3827中，信息处理装置3410确定未发现陈列架或者捕获位置，并且执行错误处理。注意，在步骤S3827中，可以执行以根据错误数目改变物品标识准确度或者捕获位置/范围。

根据这一实施例，由于可以确定物品陈列架的捕获位置而无如在第三或者第四实施例中指定陈列架的任何特殊操作，所以有可能容易地链接基于捕获的图像的物品标识与来自物品存在/不存在传感器的物品存在/不存在信息。

[其它实施例]

尽管已经参照示例性实施例描了述本发明，但是将理解，本发明不限于公开的示例性实施例。如本领域技术人员将理解的那样，可以不同地修改本发明的布置和细节而未脱离其精神实质和范围。本发明也并入了一种以任何形式组合在实施例中包括的不同特征的系统或者装置。

本发明适用于一种包括多个设备或者单个装置的系统。本发明即使在向系统或者装置直接地或者从远程地点供应用于实施这些实施例的功能的信息处理程序时仍然也适用。因此，本发明也并入了在计算机中安装的、用于由计算机实施本发明的功能的程序、存储程序的介质和使得用户下载程序的WWW(万维网)服务器。特别地，本发明并入了至少非瞬态计算机可读介质。

本申请要求对通过完全引用而整体结合于此、提交于2013年3月4日的第2013-042442号日本专利申请的权益。

Claims (15)

1.一种信息处理装置，包括：

陈列计数获取器，所述陈列计数获取器使用在物品被放置在其上的陈列架上提供的物品存在/不存在传感器来获取所述物品的陈列计数信息；

物品标识器，所述物品标识器基于通过捕获所述陈列架而获取的图像来获取能够标识物品的类型的物品标识信息；以及

陈列识别器，所述陈列识别器基于所述陈列计数信息和所述物品标识信息来识别所述物品的每个类型的陈列计数。

2.根据权利要求1所述的信息处理装置，其中所述陈列计数获取器获取在所述陈列架上的物品列中包括的物品的所述陈列计数信息，在所述陈列架上的所述物品列中相同类型的物品被从近侧向远侧布置，并且所述物品标识器基于通过由捕获单元捕获所述陈列架的前面而获得的所述图像来标识在所述物品列前面的物品的所述类型。

3.根据权利要求1或者2所述的信息处理装置，其中所述物品存在/不存在传感器中的每个物品存在/不存在传感器包括：

在物品的陈列位置处放置的各自具有标识符的RFID标签；

响应接收器，所述响应接收器具有用于在包括所述RFID标签的区域中生成其强度因物品的存在而改变的电磁场的天线，并且从所述RFID标签接收响应信号；以及

存在/不存在确定器，所述存在/不存在确定器基于来自所述RFID标签的所述响应信号的强度来确定物品的存在/不存在。

4.根据权利要求1至3中的任一权利要求所述的信息处理装置，其中所述物品标识器包括：

局部特征生成器，所述局部特征生成器从捕获的所述图像生成多个特征点的局部特征；

区域划分器，所述区域划分器基于所述多个特征点的坐标来对所述多个特征点聚类；以及

核对器，所述核对器核对聚类的所述特征点的所述局部特征与基于物品的图像生成的局部特征。

5.根据权利要求1至4中的任一权利要求所述的信息处理装置，其中所述陈列识别器包括存储与所述陈列架的架分配对应的检测传感器组的布置的架分配存储装置，并且通过参照所述检测传感器组的所述布置来链接所述陈列计数信息和所述物品标识信息。

6.根据权利要求1至4中的任一权利要求所述的信息处理装置，其中对于每个物品存在/不存在传感器组唯一的片标识标记被附着到在所述陈列架的前面上的所述物品存在/不存在传感器中的每个物品存在/不存在传感器，所述陈列计数获取器从多个物品存在/不存在传感器获取每个物品列的所述陈列计数信息连同所述片标识标记的信息，

所述物品标识器还标识在由所述图像捕获器捕获的所述图像中包括的所述片标识标记，并且获取所述片标识标记的所述信息，以及

所述陈列识别器使用所述片标识标记的所述信息来链接所述陈列计数信息和所述物品标识信息。

7.根据权利要求1至4中的任一权利要求所述的信息处理装置，其中多个陈列架存在，并且唯一架标识标记被附着到每个陈列架的前面，所述物品标识器还识别所述架标识标记，并且所述陈列识别器使用所述架标识标记来链接所述陈列计数信息和所述物品标识信息。

8.根据权利要求1至4中的任一权利要求所述的信息处理装置，其中多个陈列架存在，

所述信息处理装置还包括物品阵列存储装置，所述物品阵列存储装置存储所述陈列架的至少一部分中的所述多个物品的阵列，

所述物品标识器还基于所述物品的所述阵列来指定所述陈列架，以及

所述陈列识别器链接指定的所述陈列架中的所述陈列计数信息和所述物品标识信息。

9.根据权利要求1至4中的任一权利要求所述的信息处理装置，其中所述陈列识别器包括核对器，所述核对器核对基于捕获的图像而标识的物品存在/不存在模式和从所述物品存在/不存在传感器获取的物品存在/不存在模式，在其中所述物品存在/不存在模式匹配的所述陈列架的陈列位置处链接所述物品标识信息和所述物品存在/不存在信息，并且识别所述物品的所述陈列计数。

10.根据权利要求1至9中的任一权利要求所述的信息处理装置，还包括确定器，所述确定器核对从所述物品存在/不存在传感器获取的多个物品的存在/不存在信息和由所述物品标识器标识的多个物品的类型，并且确定所述物品列中的物品的不正确布置。

11.根据权利要求1至10中的任一权利要求所述的信息处理装置，还包括调整器，所述调整器在虽然由所述陈列计数获取器获取的所述陈列计数不为零、但是所述物品标识器无法标识所述物品的情况下，或者在虽然所述物品标识器能够标识所述物品、但是由所述陈列计数获取器获取的所述陈列计数为零的情况下，调整以下各项中的至少一项：所述陈列计数获取器中的参数和所述物品标识器中的参数。

12.根据权利要求1至11中的任一权利要求所述的信息处理装置，还包括显示单元，所述显示单元显示由所述陈列识别器识别的所述物品的所述陈列计数。

13.一种信息处理装置的控制方法，所述控制方法包括：

使用在物品被放置在其上的陈列架上提供的物品存在/不存在传感器来获取所述物品的陈列计数信息；

基于通过捕获所述陈列架而获取的图像来获取能够标识物品的类型的物品标识信息；以及

基于所述陈列计数信息和所述物品标识信息来识别所述物品的每个类型的陈列计数。

14.一种信息处理装置的控制程序，用于使得计算机执行方法，所述方法包括：

使用在物品被放置在其上的陈列架上提供的物品存在/不存在传感器来获取所述物品的陈列计数信息；

基于通过捕获所述陈列架而获取的图像来获取能够标识物品的类型的物品标识信息；以及

基于所述陈列计数信息和所述物品标识信息来识别所述物品的每个类型的陈列计数。

15.一种物品管理系统，包括：

物品存在/不存在传感器，所述物品存在/不存在传感器被提供在物品被放置在其上的陈列架上；

陈列计数获取器，所述陈列计数获取器使用所述物品存在/不存在传感器来获取所述物品的陈列计数信息；

图像捕获器，所述图像捕获器捕获所述陈列架；

物品标识器，所述物品标识器基于由所述图像捕获器获取的图像来获取能够标识物品的类型的物品标识信息；以及

陈列识别器，所述陈列识别器基于所述陈列计数信息和所述物品标识信息来识别所述物品的每个类型的陈列计数。