CN106663279A - 关联程序、计算机可读介质、信息处理方法和信息处理装置 - Google Patents

Abstract

一种信息处理装置(1)被提供有：人提取单元(101)、容器提取单元(102)和商品提取单元(103)，这些单元用于从由相机拍摄的图像分别提取人、容器和商品；指定单元(104)，该指定单元(104)用于指定商品被放入容器中或从容器取出的动作；以及关联单元(105)，该关联单元(105)用于当指定单元(104)指定所述动作时，将与商品被放入或取出的容器具有预定关系的人与所述容器关联。

Description

关联程序、计算机可读介质、信息处理方法和信息处理装置

技术领域

本发明涉及关联程序、计算机可读介质、信息处理方法和信息处理装置。

背景技术

提出了将视频图像中的多个人划分成组的信息处理装置(参见例如PTL1)。

PTL1中公开的信息处理装置从视频图像检测人和人的位置，并且总计检测到的人的相对距离，以从相对距离的出现分布来计算相对距离的阈值，并且将人之间的相对距离小于阈值的状态持续一段长时间的人确定为实现相同行动的一组。

引用列表

专利文献

[专利文献1]日本第4506381号专利

发明内容

技术问题

本发明的至少一个实施方式的目的是提供将人与容器关联的关联程序、计算机可读介质、信息处理方法和信息处理装置。

问题的解决方案

[1]根据本发明的一个方面，提供了一种关联程序，其使计算机充当：提取单元，提取单元从由相机拍摄的图像提取人、容器和商品；第一指定单元，第一指定单元指定所述商品被转移到所述容器中或从所述容器转移的移动；以及关联单元，在所述第一指定单元指定所述商品的所述移动的情况下，关联单元将与所述商品被转移到其中或从其转移的容器具有预定关系的人与所述容器关联。

[2]根据[1]所述的关联程序可以进一步使所述计算机充当：第二指定单元，其指定所述商品在多个人之间的移动，并且在所述第一指定单元指定所述商品的移动的情况下，所述关联单元可以将指定所述移动的时间设置为基准时间，并且在所述第二指定单元在基于所述基准时间预先确定的时间段内指定所述商品的移动的情况下，所述关联单元可以将所述商品在其之间移动的所述多个人与所述容器关联。

[3]根据[1]或[2]所述的关联程序可以进一步使所述计算机充当：第三指定单元，其指定容器在多个人之间的移动，并且在第三指定单元指定所述容器的所述移动的情况下，所述关联单元可以将所述多个人彼此关联。

[4]根据[1]至[3]中任一项所述的关联程序可以进一步使所述计算机充当：第四指定单元，其指定提取的人的视线或面部方向，并且所述关联单元可以将与由所述第四指定单元指定的所述视线或面部方向具有预定关系的人与所述提取的人关联。

[5]根据[1]至[4]中任一项所述的关联程序可以进一步使所述计算机充当：语音获取单元，其获取所述提取的人的语音，并且所述关联单元可以将与由所述语音获取单元获取的所述语音具有预定关系的人与所述提取的人关联。

[6]根据[1]至[5]中任一项所述的关联程序可以进一步使所述计算机充当：第五指定单元，其指定所述提取的人的嘴的移动，并且所述关联单元可以将与由所述第五指定单元指定的所述嘴的所述移动具有预定关系的人与所述提取的人关联。

[7]根据[1]至[6]中任一项所述的关联程序可以进一步使所述计算机充当：属性获取单元，其获取所述提取的人的属性；以及组属性指定单元，其基于所获取的属性指定用由所述关联单元关联的多个人形成的组的属性。

[8]根据[1]至[7]中任一项所述的关联程序可以进一步使所述计算机充当：获取单元，其获取关于由所述提取的人购买的商品的信息，并且所述关联单元可以将所述信息与被关联的多个人关联。

[9]根据[1]至[7]中任一项所述的关联程序可以进一步使所述计算机充当：获取单元，其获取所述提取的人的会员信息，并且所述关联单元可以将所述会员信息与被关联的多个人关联。

[10]根据本发明的另一个方面，提供了一种关联程序，其使计算机充当：提取单元，其从由相机拍摄的图像提取人和车辆；指定单元，其指定人进入所述车辆或从所述车辆出来的移动；以及关联单元，在所述指定单元指定所述人的所述移动的情况下，关联单元将与人进入其中或从其出来的车辆具有预定关系的人与所述车辆关联。

[11]根据本发明的又一个方面，提供了一种关联程序，其使所述计算机充当：提取单元，其从由相机拍摄的图像提取人和商品；指定单元，其指定商品在多个人之间的移动；以及关联单元，在所述指定单元指定所述商品的所述移动的情况下，关联单元将所述商品在其之间移动的所述多个人彼此关联。

[12]根据本发明的又一个方面，提供了一种关联程序，其使所述计算机充当：提取单元，其从由相机拍摄的图像提取人和容器；指定单元，其指定所述容器在多个人之间的移动；以及关联单元，在所述指定单元指定所述容器的所述移动的情况下，关联单元将所述容器在其之间移动的所述多个人彼此关联。

[13]根据本发明的又一个方面，提供了一种非暂时性计算机可读介质，其存储关联程序，该关联程序使计算机充当：提取单元，其从由相机拍摄的图像提取人、容器和商品；以及第一指定单元，其指定所述商品被转移到所述容器中或从所述容器转移的移动；以及关联单元，在所述第一指定单元指定所述商品的所述移动的情况下，关联单元将与所述商品被转移到其中或从其转移的容器具有预定关系的人与所述容器关联。

[14]在根据[13]所述的存储关联程序的非暂时性计算机可读介质中，所述关联程序可以进一步使所述计算机充当：第二指定单元，其指定所述商品在多个人之间的所述移动，并且在所述第一指定单元指定所述商品的所述移动的情况下，所述关联单元可以将指定所述移动的时间设置为基准时间，并且在所述第二指定单元在基于所述基准时间预先确定的时间段内指定所述商品的所述移动的情况下，所述关联单元可以将所述商品其之间移动的多个人与所述容器关联。

[15]在根据[13]或[14]所述的存储关联程序的非暂时性计算机可读介质中，所述关联程序可以进一步使所述计算机充当：第三指定单元，其指定容器在多个人之间的移动，并且在第三指定单元指定所述容器的所述移动的情况下，所述关联单元可以将所述多个人彼此关联。

[16]在根据[13]至[15]中任一项所述的存储关联程序的非暂时性计算机可读介质中，所述关联程序可以进一步使所述计算机充当：第四指定单元，其指定所述提取的人的视线或面部方向，并且所述关联单元可以将与由所述第四指定单元指定的所述视线或面部方向具有预定关系的人与所述提取的人关联。

[17]在根据[13]至[16]中任一项所述的存储关联程序的非暂时性计算机可读介质中，所述关联程序可以进一步使所述计算机充当：语音获取单元，其获取所述提取的人的语音，并且所述关联单元将与由所述语音获取单元获取的所述语音具有预定关系的人与所述提取的人关联。

[18]在根据[13]至[17]中任一项所述的存储关联程序的非暂时性计算机可读介质中，所述关联程序可以进一步使所述计算机充当：第五指定单元，其指定所述提取的人的嘴的移动，并且所述关联单元可以将与由所述第五指定单元指定的所述嘴的所述移动具有预定关系的人与所述提取的人关联。

[19]在根据[13]至[18]中任一项所述的存储关联程序的非暂时性计算机可读介质中，所述关联程序可以进一步使所述计算机充当：属性获取单元，其获取所述提取的人的属性；以及组属性指定单元，其基于所获取的属性指定用由所述关联单元关联的多个人形成的组的属性。

[20]在根据[13]至[19]中任一项所述的存储关联程序的非暂时性计算机可读介质中，所述关联程序可以进一步使所述计算机充当：获取单元，其获取关于由所述提取的人购买的商品的信息，并且所述关联单元可以将所述信息与被关联的多个人关联。

[21]在根据[13]至[19]中任一项所述的存储关联程序的非暂时性计算机可读介质中，所述关联程序可以进一步使所述计算机充当：获取单元，其获取所述提取的人的会员信息，并且所述关联单元可以将所述会员信息与被关联的多个人关联。

[22]根据本发明的又一个方面，提供了一种存储关联程序的非暂时性计算机可读介质，关联程序使计算机充当：提取单元，其从由相机拍摄的图像提取人和车辆；指定单元，其指定人进入所述车辆或从所述车辆出来的移动；以及关联单元，在所述指定单元指定所述人的所述移动的情况下，关联单元将与所述人进入其中或从其出来的所述车辆具有预定关系的人与所述车辆关联。

[23]根据本发明的又一个方面，提供了一种存储关联程序的非暂时性计算机可读介质，关联程序使计算机充当：提取单元，其从由相机拍摄的图像提取人和商品；指定单元，指定商品在多个人之间的移动；以及关联单元，在所述指定单元指定所述商品的所述移动的情况下，关联单元将所述商品在其之间移动的所述多个人彼此关联。

[24]根据本发明的又一个方面，提供了一种存储关联程序的非暂时性计算机可读介质，关联程序使计算机充当：提取单元，其从由相机拍摄的图像提取人和容器；指定单元，其指定所述容器在多个人之间的移动；以及关联单元，在所述指定单元指定所述容器的所述移动的情况下，关联单元将所述容器在其之间移动的所述多个人彼此关联。

[25]根据本发明的又一个方面，提供了一种信息处理方法，该方法使计算机执行包括以下步骤的处理：作为提取处理，从由相机拍摄的图像提取人、容器和商品；作为第一指定处理，指定所述商品被转移到所述容器中或从所述容器转移的移动；以及作为关联处理，在所述第一指定处理指定所述商品的所述移动的情况下，将与所述商品被转移到其中或从其转移的容器具有预定关系的人与所述容器关联。

[26]在根据[25]所述的信息处理方法中，所述处理还可以包括：作为第二指定处理，指定所述商品在多个人之间的移动，在所述第一指定处理指定所述移动的情况下，所述关联处理可以将指定所述移动的时间设置为基准时间，并且在所述第二指定处理在基于所述基准时间预先确定的时间段内指定所述商品的所述移动的情况下，所述关联单元可以将所述商品在其之间移动的多个人与所述容器关联。

[27]在根据[25]或[26]所述的信息处理方法中，所述处理还可以包括作为第三指定处理的指定容器在多个人之间的移动，并且在第三指定处理指定所述容器的所述移动的情况下，所述关联处理可以将所述多个人彼此关联。

[28]在根据[25]至[27]中任一项所述的信息处理方法中，所述处理还可以包括作为第四指定处理的指定所述提取的人的视线或面部方向，并且所述关联处理可以将与由所述第四指定处理指定的所述视线或面部方向具有预定关系的人与所述提取的人关联。

[29]在根据[25]至[28]中任一项所述的信息处理方法中，所述处理还可以包括作为语音获取处理的获取所述提取的人的所述语音，并且所述关联处理可以将与由所述语音获取处理获取的所述语音具有预定关系的人与所述提取的人关联。

[30]在根据[25]至[29]中任一项所述的信息处理方法中，所述处理还可以包括作为第五指定处理的指定所述提取的人的嘴的移动，并且所述关联处理将与由所述第五指定处理指定的所述嘴的所述移动具有预定关系的人与所述提取的人关联。

[31]在根据[25]至[30]中任一项所述的信息处理方法中，所述处理还可以包括作为属性获取处理的获取所述提取的人的属性，以及作为组属性指定处理的基于所获取的属性指定用由所述关联单元关联的多个人形成的组的属性。

[32]在根据[25]至[31]中任一项所述的信息处理方法中，所述处理可以还包括：作为获取处理的获取关于由所述提取的人购买的商品的信息，并且所述关联处理可以将所述信息与被关联的多个人关联。

[33]在根据[25]至[31]中任一项所述的信息处理方法中，所述处理可以还包括：作为获取处理的获取所述提取的人的会员信息，并且所述关联处理可以将所述会员信息与被关联的多个人关联。

[34]根据本发明的又一个方面，提供了一种信息处理方法，其使计算机执行处理，所述处理包括：作为提取处理的从由相机拍摄的图像提取人和车辆；作为指定处理的指定人进入所述车辆或从所述车辆出来的移动；以及作为关联处理，在所述指定处理指定所述人的所述移动的情况下，将与所述人进入其中或从其出来的车辆具有预定关系的人与所述车辆关联。

[35]根据本发明的又一个方面，提供了一种使计算机执行处理的信息处理方法，所述处理包括：作为提取处理的从由相机拍摄的图像提取人和商品；作为指定处理的指定商品在多个人之间的移动；以及作为指定处理，在所述指定处理指定所述商品的所述移动的情况下，将所述商品在其之间移动的多个人彼此关联。

[36]根据本发明的又一个方面，提供了一种使计算机执行处理的信息处理方法，所述处理包括：作为提取处理的从由相机拍摄的图像提取人和容器；作为指定处理的指定所述容器在多个人之间的移动；以及作为指定处理，在所述指定处理指定所述容器的所述移动的情况下，将所述容器在其之间移动的多个人彼此关联。

[37]根据本发明的又一个方面，提供了一种信息处理装置，该信息处理装置包括：提取单元，其从由相机拍摄的图像提取人、容器和商品；指定单元，其指定所述商品被转移到所述容器中或从所述容器转移的移动；以及关联单元，其在所述指定单元指定所述商品的所述移动的情况下，将与所述商品被转移到其中或从其转移的容器具有预定关系的人与所述容器关联。

[38]根据本发明的又一个方面，提供了一种信息处理装置，该信息处理装置包括：提取单元，其从由相机拍摄的图像提取人和车辆；指定单元，其指定人进入所述车辆或从所述车辆出来的移动；以及关联单元，其在所述指定单元指定所述人的所述移动的情况下，将与所述人进入其或从其出来的车辆具有预定关系的人与所述车辆关联。

[39]根据本发明的又一个方面，提供了一种信息处理装置，该信息处理装置包括：提取单元，其从由相机拍摄的图像提取人和商品；指定单元，其指定商品在多个人之间的移动；以及关联单元，其在所述指定单元指定所述商品的所述移动的情况下，将所述商品在其之间移动的多个人彼此关联。

[40]根据本发明的又一个方面，提供了一种信息处理装置，该信息处理装置包括：提取单元，其从由相机拍摄的图像提取人和容器；指定单元，其指定所述容器在多个人之间的移动；以及关联单元，其在所述指定单元指定所述容器的所述移动的情况下，将所述所述容器在其之间移动的多个人彼此关联。

本发明的有益效果

根据[1]、[13]、[25]或[37]，可以将人与容器关联。

根据[2]、[14]或[26]，基于在基于基准时间预先确定的时间段内的移动，可以将人彼此关联。

根据[3]、[15]或[27]，可以基于多个人之间的移动将人彼此关联。

根据[4]、[16]或[28]，可以将人的视线或面部方向与具有预定关系的人关联。

根据[5]、[17]或[29]，可以基于语音关联具有预定关系的人。

根据[6]、[18]或[30]，可以将人的嘴的移动与具有预定关系的人关联。

根据[7]、[19]或[31]，可以基于人的属性来指定组的属性。

根据[8]、[20]或[32]，可以将所关联的人与关于已购买商品的信息关联。

根据[9]、[21]或[33]，可以将所关联的人与会员信息关联。

根据[10]、[22]、[34]或[38]，可以将人与车辆关联。

根据[11]、[23]、[35]或[39]，可以基于商品在多个人之间的移动来关联人。

根据[12]、[24]、[36]或[40]，可以基于容器在多个人之间的移动来关联人。

附图说明

[图1]图1是示出了实体店铺的构造的示例的示意图。

[图2]图2是示出了根据实施方式的信息处理装置的构造的示例的框图。

[图3]图3是示出了关联信息的构造的示例的示意图。

[图4]图4是示出了由指定单元指定的移动的模式的示例的示意图，图4(a)示出了顾客抓取商品的情况，并且图4(b)示出了顾客将商品放入手推车中的情况。

[图5]图5是示出了由指定单元指定的移动的模式的另一个示例的示意图，图5(a)示出了顾客抓取商品的情况，并且图5(b)示出了顾客将商品放入手推车中的情况。

[图6]图6是示出了由指定单元指定的移动的模式的另一个示例的示意图，图6(a)示出了顾客抓取商品的情况，图6(b)示出了商品从一个顾客被移交给另一个顾客的情况，并且图6(c)示出了顾客将商品放入手推车中的情况。

具体实施方式

(实体店铺的构造)

图1是示出了店铺的构造的示例的示意图。

实体店铺2是零售店铺(例如，超市)，并且多个商品200a、200b……(下文中，可以总称为商品200)被安置在货架20a至20e上。顾客3a至3k借助入口21进入实体店铺2，各个顾客与手推车5a至5d一起在实体店铺2四处走动，由手推车5a至5d运载商品200，付款由售货员4a至4c在收银机(register)中结算。当付款在收银机中结算时，诸如销售点(POS)系统的销售数据被保存在未示出的数据库中。

在实体店铺2中，安装相机13a至13d，顾客3a至3k从由相机13拍摄的视频图像由下面将描述的信息处理装置1识别为人，并且识别各个顾客3a至3k与谁构成一组的关于顾客的事件。这里，“组”被认为彼此关联的一组顾客。

除了普通相机之外，全方位相机可以用作相机13。相机13可以是拍摄视频图像的相机，并且还可以是以预定间隔拍摄静止图像的相机。认为预先登记相机13的安装位置，并且所拍摄的视频图像的图像中的坐标与实体店铺2内的位置坐标相关。

这里，“视频图像”是按时间序列拍摄的一组多个帧(静止图像)，并且多个帧按时间序列再现。

(信息处理装置的构造)

图2是示出了根据实施方式的信息处理装置的构造的示例的框图。

信息处理装置1构造有中央处理单元(CPU)等，控制各个单元，信息处理装置1包括：控制单元10，其执行各种程序；储存单元11，其由诸如闪存的储存介质构成并且存储信息；通信单元12，其借助网络与外部通信；以及相机13，其可以拍摄视频图像或静止图像。

控制单元10执行后面将描述的关联程序110，以充当视频图像接收单元100、人提取单元101、容器提取单元102、商品提取单元103、指定单元104、关联单元105、销售数据获取单元106、人属性获取单元107以及会员信息获取单元108。

视频图像接收单元100接收由相机13拍摄和生成的视频图像信息。

在人的图像包括在由视频图像接收单元100接收的视频图像信息的所有或一些帧中的情况下，人提取单元101提取人。在人的数量是多个的情况下，人提取单元101可以识别每个人，并且可以基于预先登记的图像来识别预先登记的人(售货员等)。预先登记的图像可以被转换成特征量。特征量通过例如由高斯差分运算从图像提取特征点并且从特征点提取SIFT特征量来获取。作为特征量的另一个示例，可以使用从所提取的特征点和所提取特征点的更上位(higher scale)点的梯度信息生成的快速不变变换(FIT：fast invarianttransform)特征量。

学习模型可以从预先登记的多个图像生成，并且人可以使用学习模型来识别。人提取单元101可以将售货员看作不从所提取人识别的对象。例如，在售货员穿制服的情况下，特征量从制服的图像生成。可以使用特征量将售货员看作不从提取的人的图像识别的对象。售货员和顾客的识别不限于制服，并且特征量可以使用诸如名牌的另一个图像来生成。

在以下描述中，认为使用关于容器提取单元102和商品提取单元103来提取容器和商品的类似方法。

在作为容器的示例的手推车的图像包括在由容器提取单元102和视频图像接收单元100接收的视频图像的一些或所有帧中的情况下，提取移动手推车。字符、数字、标记等可以被附着到手推车，以便识别手推车。

在商品的图像包括在由视频图像接收单元100接收的视频图像的一些或所有帧中的情况下，商品提取单元103提取移动商品。字符、数字、标记等可以被附着到商品，以便识别商品。

指定单元104指定由人提取单元101提取的人的移动、由容器提取单元102提取的手推车的移动、以及由商品提取单元103提取的商品的移动是否对应于预先确定的任何移动模式。指定单元104可以指定仅单个模式，或者还可以识别要指定的多个模式。如将在后面描述的，指定单元104实现指定被放入容器中或从容器取出的商品的移动(作为第一指定单元)，指定商品在多个人之间的移动(作为第二指定单元)，指定容器在多个人之间的移动(作为第三指定单元)，指定人的视线或面部方向(作为第四指定单元)，指定人的嘴的移动(作为第五指定单元)，并且指定人进入车辆或从车辆出来的移动(作为第六指定单元)。

关联单元105基于由指定单元104指定的模式来执行关联。例如，存在以下情况：由人提取单元101提取的被提取的人与由容器指定单元102提取的容器关联的情况(作为第一关联模式)，由人提取单元101提取的多个人彼此关联的情况(作为第二关联模式)，以及由人提取单元提取的多个人与容器指定单元102关联的情况(作为第三关联模式)。

关联单元105可以仅进行单个关联的模式，或可以进行多个关联的模式。要由关联单元105执行的关联次数不限于一次。即，关联可以重复执行。例如，首先，关联单元105将手推车5a与顾客3a关联。此后，关联单元105还能够关联手推车5a和顾客3b。在这种情况下，手推车5a、顾客3a和顾客3b彼此关联。换言之，顾客3a和3b被识别为一组。关联单元105在储存单元11中存储与人关联的信息作为关联信息111。

在收银机中结算付款的情况下，销售数据获取单元106从未示出且其中存储诸如POS系统的信息的数据库获取销售数据，并且在储存单元11中存储销售数据作为销售数据112。这里提到的销售数据是能够从POS系统获取的数据，例如，所购买商品的类型、购买数量、付款金额或付款时间。

人属性获取单元107从由人提取单元101提取的人的图像获取属性信息，诸如年龄、性别、区域信息(后面将描述详情)等，并且在储存单元11中存储所获取的属性信息作为人属性信息113。

会员信息获取单元108从未示出的数据库获取会员信息，其中，登记面部照片、姓名、性别、年龄、地址、电话号码、顾客的购买历史，并且在储存单元11中存储所获取的会员信息作为会员信息114。

储存单元11存储关联程序110(其使控制单元10作为上述各个部件100至108操作)、关联信息111、销售数据112、人属性信息113和会员信息114等。

(信息处理装置的操作)

接着，将描述本实施方式的作用。

首先，相机13在实体店铺2中拍摄顾客3a至3k、商品200a和200b、手推车5a至5d等的图像，并且生成视频图像信息。

信息处理装置1的视频图像接收单元100接收由相机13拍摄和生成的视频图像信息。

接着，在人的图像包括在由视频图像接收单元100接收的视频图像的所有或一些帧中的情况下，人提取单元101提取移动人。在人的数量是多个的情况下，人提取单元101识别每个人，并且基于预先登记的图像来识别预先登记的人(售货员、频繁来店的顾客等)。

接着，在作为容器的示例的手推车的图像包括在由视频图像接收单元100接收的所有或一些视频图像中的情况下，容器提取单元102提取移动手推车。在多个手推车存在于图像中的情况下，识别每个手推车。在手推车被识别的情况下，字符、图像等可以被附着到每个手推车，以便识别手推车，并且还可以之后跟踪立刻被识别的手推车。

接着，在商品的图像包括在由视频图像接收单元100接收的所有或一些视频图像中的情况下，商品提取单元103可以提取移动商品。在多个商品存在于图像中的情况下，可以识别每个商品，或者可以不识别每个商品。在商品被识别的情况下，字符、数字、标记等可以被附着到商品以便识别商品，并且商品的图像可以通过识别预先登记的图像来识别。

接着，指定单元104指定由人提取单元101提取的人的移动、由容器提取单元102提取的手推车的移动、以及由商品提取单元103提取的商品的移动是否对应于预先确定的移动的任何模式。

下文中，将描述要由指定单元104指定的移动的模式。

(模式1)

图4是示出了由指定单元104指定的移动的模式的示例的示意图。

在推动手推车5a或在手推车5a附近的顾客3a用手拿着商品200c(如图4(a)示出)，并且将商品200c放入手推车5a中(如图4(b)中示出)的情况下，指定单元104将顾客3a、手推车5a、和商品200c的移动指定为“模式1”(第一指定单元)。

接着，关联单元105基于由指定单元104指定的移动的模式，将由人提取单元101提取的人与由容器指定单元102提取的容器关联。

在指定图4中指示的“模式1”的情况下，关联单元105将顾客3a与手推车5a关联。

虽然商品200c被放入手推车5a中的情况在“模式1”中指示，但是指定单元104将取出放入手推车5a中的商品200c的移动指定为“模式1”，并且在指定“模式1”的情况下，关联单元105将顾客3a与手推车5a关联。

在“模式1”中，手推车5a推动手推车5a达等于或多于预定时间的时间的情况或顾客3a在特定范围内而不管存在或不存在商品200c的情况下，关联单元105都可以将顾客3a与手推车5a关联。

图3是示出了关联信息111的构造的示例的示意图。

关联信息111对应于由容器提取单元102提取的手推车的手推车ID，并且包括单个或多个人ID，单个或多个人ID与移动手推车ID关联并且由人提取单元101提取。

例如，在人ID是“1113”和“1112”的两个人与手推车ID是“001”的手推车关联的情况下，“1113”和“1112”被描述到人1和人2的字段中。人1、人2、人3……还可以以提取顺序描述，或以到手推车的距离或特定范围内的时间的顺序描述。

关联单元105执行关联，以便更新关联信息111的信息。在信息对应于预定条件的情况下，还可以重置与关联信息111中描述的手推车ID关联的人ID。预定条件包括关联信息111中描述的人已经在收银机中结算了付款的情况或关联信息111中描述的手推车返回到手推车放置地点的情况。可以使用销售数据获取单元106来确认关联信息111中描述的人是否已经在收银机中完成付款。可以通过手推车是否存在于预定地点(例如，手推车放置地点)来确认关联信息111中描述的手推车是否返回到手推车放置地点。重置的情况下的条件或执行确认的方法不限于上述内容。关联信息111的重置还可以类似地应用至后面将描述的其它模式。

(模式1的另一个示例)

图5是示出了由指定单元104指定的移动的模式的另一个示例的示意图。

在手推车5a附近的顾客3b用手拿着商品200c(如图5(a)示出)并且将商品200c放入手推车5a中(如图5(b)中示出)的情况下，指定单元104将移动顾客3b、手推车5a、和商品200c的移动指定为“模式1”。而且，推动手推车5a(其中放入商品)或手推车5a附近的顾客3a站立。在这种情况下，关联单元105通过认为手推车5a和顾客3a具有预定关系，可以将顾客3a和3b与手推车5a关联。

在这种情况下，作为顾客3a已经与手推车5a关联的条件(例如，在顾客3a和手推车5a对应于模式1的情况下)，顾客3a和3b还可以与手推车5a关联。即，如果顾客3a与手推车5a不关联，则仅顾客3a和手推车5b也可以彼此关联。否则，首先，手推车5a和顾客3b彼此相关，并且然后，在手推车5a和顾客3a对应于上述模式1的情况下，顾客3a还可以被添加到与顾客3b关联的手推车5a，以便关联。

(模式2)

图6是示出了由指定单元104指定的移动的模式的另一个示例的示意图。

如图6(a)所示，推动手推车5a或在手推车5a附近的顾客3a站立，并且顾客3b用手拿着商品200c。接着，如图6(b)所示，在商品200c从顾客3b被移交给顾客3a的情况下，指定单元104将移动顾客3a和3b以及商品200c的移动指定为“模式2”(第二指定单元)。接着，在顾客3a将商品200c放入手推车5a中的情况下(如图6(c)中示出)，指定单元104将移动顾客3a、手推车5a和商品200c的移动指定为“模式1”。

在“模式2”由指定单元104的第二指定单元首先指定的情况下，顾客3a与顾客3b关联。在这种情况下，在关联信息111中，顾客3a的人ID与顾客3b的人ID关联。即，手推车5a的手推车ID不必须与顾客3a或顾客3b的人ID关联。接着，在“模式1”由第一指定单元指定的情况下，顾客3a与手推车5a关联。在这种情况下，在关联信息111中，顾客3a的人ID和顾客3b的人ID已经彼此关联。因此，在指定“模式1”的情况下，顾客3a的人ID、顾客3b的人ID和手推车5a的手推车ID彼此关联。

移交作为容器的手推车5a或将手推车5a从顾客3a移动到顾客3b的移动可以被指定为“模式3”(第三指定单元)。在这种情况下，关联单元105将顾客3a和3b彼此关联。顾客3a和3b和手推车5a也可以彼此关联。

虽然“模式1”至“模式3”被描述用于在结算付款之前商品在收银机中的移动，但是可以设置关于在结算付款期间的商品或顾客的移动或结算付款之后的商品或顾客的移动的模式，而不仅限于在结算付款之前。

当在结算付款期间时，例如，在特定顾客在收银机中正在结算付款的同时不同顾客过后拿来商品的情况下，在商品被添加到手推车的情况下或在商品被移交给收银机部中的售货员而不将商品放入手推车中的情况下，顾客可以与手推车关联。

当在结算付款之后时，例如，在付款被结算的商品从特定顾客被移交给另一个顾客的情况下，这两个顾客以彼此关联，属于相同组。

接着，在任何关联顾客已经在收银机中结算付款的情况下，销售数据获取单元106从未示出的数据库获取对应于移动收银机的POS系统等的销售数据112，并且将所获取的销售数据与关联信息111的手推车ID关联，以便存储在储存单元11中。

人属性获取单元107从由人提取单元101提取的人的图像获取属性信息，诸如年龄、性别、区域信息(后面将描述详情)等，并且将所获取的属性信息与关联信息111的每个用户关联，以便作为人属性信息113被存储在储存单元11中。

在顾客在收银机中结算付款时使用会员卡的情况下，会员信息获取单元108从未示出的数据库获取与移动会员卡关联的会员信息，并且将所获取的会员信息与关联信息111关联，以便作为会员信息114被存储在储存单元11中。

上述销售数据112、人属性信息113、和会员信息114与限定组的关联信息111一起用于组的销售分析、行为分析等。组ID可以被分配给会员信息。在这种情况下，组ID可以以来店频率被更新，或可以被累积。

(实施方式的效果)

根据实施方式，可以指定手推车(作为容器的示例)附近的人和诸如针对手推车放入和取出商品的每个移动，并且可以经由移动将手推车与人关联。否则，可以指定诸如商品在人之间的移交的移动和诸如手推车在人之间的移动的移动，并且可以经由移动将人彼此关联。

[其它实施方式]

本发明不限于上述实施方式，并且各种修改可以在不偏离本发明的主旨的范围内进行。

在上述本实施方式中，虽然在实体店铺2中行动的顾客彼此关联，但是在一结构中行动的顾客可以彼此关联，而不限于实体店铺2。例如，饭店、商店、建筑物、机场、车站、医院、学校、娱乐设施等被包括作为结构。结构可以是诸如飞机或船的移动物体。关于顾客的销售信息对应于由顾客订购的菜单或在收银机中支付的金额。在建筑物或机场的情况下，指定在建筑物或机场中工作的售货员的活动内容。

指定单元104可以将顾客的视线或面部方向指定为“第四模式”(第四指定单元)。关联单元105还可以将顾客与另一个顾客关联，顾客将视线或面部的方向朝向另一个顾客达等于或多于预定时间的时间。指定单元104可以将嘴的移动指定为“第五模式”(第五指定单元)。关联单元105还可以彼此关联正在说话的顾客。

手推车是放入商品的容器的示例，并且还可以是篮子、购物袋等。

在本实施方式中，人与诸如手推车的容器关联。然而，人可以与诸如车、摩托车等的车辆关联，而不限于诸如手推车的容器。例如，相机被安装在停车场中并且拍摄车。使用指定单元104来指定顾客从特定车出来或进入车的移动。指定单元104将顾客从特定车出来或进入车的移动指定为“模式6”(第六指定单元)。

接着，认为关联单元105将这些顾客中的每个顾客与车关联，并且作为组来处理。例如，在多个顾客从车出来的情况下，关联单元105可以将多个人彼此关联。在可以拍摄车的号码牌的图像的情况下，可以从所拍摄的号码牌的信息获取区域信息作为属性信息。

在诸如车或摩托车的车辆的情况下，在移动车辆是商用车辆(诸如不允许顾客上车的运载车辆)的情况下，指定单元104可以不指定移动。在诸如运载车辆的商用车辆被认为是非目标的情况下，可以登记被认为是非目标的车辆的图像或号码牌等，并且可以使用图像或号码牌来识别被认为是非目标的车辆。

指定单元104可以包括指定至少一个模式的指定单元。例如，指定单元104可以包括仅指定“模式1”的指定单元或指定“模式1”至“模式6”的指定单元。

关于关联单元105，例如，在顾客3a推动手推车5a达等于或多于预定时间的时间的情况下，或在顾客3a在手推车5a的特定范围内而不管存在或不存在商品200c的情况下，关联单元105还可以将顾客3a与手推车5a关联。同样地，关联单元105使用图像处理确定顾客与手推车之间的关系是否是预定关系，并且在确定关系是预定关系的情况下，关联单元105还可以具有顾客与手推车关联的构造。确定操作可以由不同单元执行，并且不必须由关联单元105执行。

还可以设置获取会话语音的语音获取单元，并且可以分析所获取的语音，以指定移动会话内容的模式，并且关联单元105可以基于会话内容的模式使顾客彼此关联。

人属性获取单元107可以进一步设置有一单元，该单元根据属于要获取的组的人的属性来指定该组是家庭、夫妻、还是团体中的任何类别。可以从该组的指定类别和销售数据来分析购买模式。

作为用于分析的另一个示例，可以获得顾客的手拿着的商品与销售数据中指示的且实际购买的商品之间的差，并且可以检测由手拿着但未购买的商品并且该商品被用作分析信息。

虽然在实施方式中，从图像提取人、商品、手推车等，但是可以从移动电话、卡等中嵌入的IC芯片获取识别信息和当前位置，而不限于此，并且可以使用GPS来获取当前位置。

在实施方式中，虽然控制单元10的各个单元100至108的功能由程序实现，但是各个单元中的所有或一些可以由诸如ASIC的硬件来实现。实施方式中使用的程序还可以通过存储在诸如CD-ROM的记录介质中来提供。实施方式中描述的步骤的替换、删除、添加等可以在不改变本发明的主旨的范围内进行。

工业应用性

本发明的至少一个实施方式可以例如在关于销售商品的数据分析中采用。

虽然参照具体实施方式详细描述了本发明，但是对于本领域的技术人员来说显而易见的是，可以在不偏离本发明的精神的情况下作出各种修改或改变。

本申请要求2014年10月14日提交的日本专利申请No.2014-210002的权益，其全部内容通过引用结合于此。

附图标记列表

1：信息处理装置

2：店铺

3a-3k：顾客

4a-4c：售货员

5a-5d：手推车

10：控制单元

11：储存单元

12：通信单元

13a-13d：相机

20a-20e：货架

21：入口

100：视频图像接收单元

101：人提取单元

102：容器提取单元

103：商品提取单元

104：指定单元

105：关联单元

106:销售数据获取单元

107:人属性获取单元

108:会员信息获取单元

110：关联程序

111：关联信息

112：销售数据

113：人属性信息

114：会员信息

200a-200c：商品

Claims (40)

1.一种关联程序，所述关联程序使计算机充当：

提取单元，所述提取单元从由相机拍摄的图像提取人、容器和商品；

第一指定单元，所述第一指定单元指定所述商品被转移到所述容器中或从所述容器转移的移动；以及

关联单元，在所述第一指定单元指定所述商品的所述移动的情况下，所述关联单元将与所述商品被转移到其中或从其转移的所述容器具有预定关系的人与所述容器关联。

2.根据权利要求1所述的关联程序，所述关联程序进一步使所述计算机充当第二指定单元，所述第二指定单元指定所述商品在多个人之间的移动，

其中，在所述第一指定单元指定所述商品的所述移动的情况下，所述关联单元将所述移动被指定的时间设置为基准时间，并且在所述第二指定单元在基于所述基准时间预先确定的时间段内指定所述商品的所述移动的情况下，所述关联单元将所述商品在其之间移动的所述多个人与所述容器关联。

3.根据权利要求1或2所述的关联程序，所述关联程序进一步使所述计算机充当第三指定单元，所述第三指定单元指定所述容器在多个人之间的移动，

其中，在所述第三指定单元指定所述容器的所述移动的情况下，所述关联单元将所述多个人彼此关联。

4.根据权利要求1至3中任一项所述的关联程序，所述关联程序进一步使所述计算机充当第四指定单元，所述第四指定单元指定所述提取的人的视线或面部方向，

其中，所述关联单元将与由所述第四指定单元指定的所述视线或面部方向具有预定关系的人与所述提取的人关联。

5.根据权利要求1至4中任一项所述的关联程序，所述关联程序进一步使所述计算机充当语音获取单元，所述语音获取单元获取所述提取的人的语音，

其中，所述关联单元将与由所述语音获取单元获取的所述语音具有预定关系的人与所述提取的人关联。

6.根据权利要求1至5中任一项所述的关联程序，所述关联程序进一步使所述计算机充当第五指定单元，所述第五指定单元指定所述提取的人的嘴的移动，

其中，所述关联单元将与由所述第五指定单元指定的所述嘴的所述移动具有预定关系的人与所述提取的人关联。

7.根据权利要求1至6中任一项所述的关联程序，所述关联程序进一步使所述计算机充当：

属性获取单元，所述属性获取单元获取所述提取的人的属性；以及

组属性指定单元，所述组属性指定单元基于所获取的属性指定用通过所述关联单元关联的多个人形成的组的属性。

8.根据权利要求1至7中任一项所述的关联程序，所述关联程序进一步使所述计算机充当获取单元，所述获取单元获取关于由所述提取的人购买的商品的信息，

其中，所述关联单元将所述信息与所关联的多个人关联。

9.根据权利要求1至7中任一项所述的关联程序，所述关联程序进一步使所述计算机充当获取单元，所述获取单元获取所述提取的人的会员信息，

其中，所述关联单元将所述会员信息与被关联的多个人关联。

10.一种关联程序，所述关联程序使计算机充当：

提取单元，所述提取单元从由相机拍摄的图像提取人和车辆；

指定单元，所述指定单元指定所述人进入所述车辆或从所述车辆出来的移动；以及

关联单元，在所述指定单元指定所述人的所述移动的情况下，所述关联单元将与所述人进入其中或从其出来的所述车辆具有预定关系的人与所述车辆关联。

11.一种关联程序，所述关联程序使所述计算机充当：

提取单元，所述提取单元从由相机拍摄的图像提取人和商品；

指定单元，所述指定单元指定商品在多个人之间的移动；以及

关联单元，在所述指定单元指定所述商品的所述移动的情况下，所述关联单元将所述商品在其之间移动的所述多个人彼此关联。

12.一种关联程序，所述关联程序使计算机充当：

提取单元，所述提取单元从由相机拍摄的图像提取人和容器；

指定单元，所述指定单元指定所述容器在多个人之间的移动；以及

关联单元，在所述指定单元指定所述容器的所述移动的情况下，所述关联单元将所述容器在其之间移动的所述多个人彼此关联。

13.一种存储关联程序的非暂时性计算机可读介质，所述关联程序使计算机充当：

提取单元，所述提取单元从由相机拍摄的图像提取人、容器和商品；

第一指定单元，所述第一指定单元指定将所述商品放到所述容器中或从所述容器取出所述商品的移动；以及

关联单元，在所述第一指定单元指定所述商品的所述移动的情况下，所述关联单元将与所述商品被放到其中或从其取出的所述容器具有预定关系的人与所述容器关联。

14.根据权利要求13所述的存储关联程序的非暂时性计算机可读介质，所述关联程序进一步使所述计算机充当第二指定单元，所述第二指定单元指定所述商品在多个人之间的所述移动，

其中，在所述第一指定单元指定所述商品的所述移动的情况下，所述关联单元将所述移动被指定的时间设置为基准时间，并且在所述第二指定单元在基于所述基准时间预先确定的时间段内指定所述商品的所述移动的情况下，所述关联单元将所述商品在其之间移动的所述多个人与所述容器关联。

15.根据权利要求13或14所述的存储关联程序的非暂时性计算机可读介质，所述关联程序进一步使所述计算机充当第三指定单元，所述第三指定单元指定容器在多个人之间的移动，

其中，在所述第三指定单元指定所述容器的所述移动的情况下，所述关联单元将所述多个人彼此关联。

16.根据权利要求13至15中任一项所述的存储关联程序的非暂时性计算机可读介质，所述关联程序进一步使所述计算机充当第四指定单元，所述第四指定单元指定所述提取的人的视线或面部方向，

其中，所述关联单元将与由所述第四指定单元指定的所述视线或面部方向具有预定关系的人与所述提取的人关联。

17.根据权利要求13至16中任一项所述的存储关联程序的非暂时性计算机可读介质，所述关联程序进一步使所述计算机充当语音获取单元，所述语音获取单元获取所述提取的人的语音，

其中，所述关联单元将与由所述语音获取单元获取的所述语音具有预定关系的人与所述提取的人关联。

18.根据权利要求13至17中任一项所述的存储关联程序的非暂时性计算机可读介质，所述关联程序进一步使计算机充当第五指定单元，所述第五指定单元指定所述提取的人的嘴的移动，

其中，所述关联单元将与由所述第五指定单元指定的所述嘴的所述移动具有预定关系的人与所述提取的人关联。

19.根据权利要求13至18中任一项所述的存储关联程序的非暂时性计算机可读介质，所述关联程序进一步使计算机充当：

属性获取单元，所述属性获取单元获取所述提取的人的属性；以及

组属性指定单元，所述组属性指定单元基于所获取的属性指定用通过所述关联单元关联的多个人形成的组的属性。

20.根据权利要求13至19中任一项所述的存储关联程序的非暂时性计算机可读介质，所述关联程序进一步使计算机充当获取单元，所述获取单元获取关于由所述提取的人购买的商品的信息，

其中，所述关联单元将所述信息与被关联的多个人关联。

21.根据权利要求13至19中任一项所述的存储关联程序的非暂时性计算机可读介质，所述关联程序进一步使计算机充当获取单元，所述获取单元获取所述提取的人的会员信息，

其中，所述关联单元将所述会员信息与被关联的多个人关联。

22.一种存储关联程序的非暂时性计算机可读介质，所述关联程序使计算机充当：

提取单元，所述提取单元从由相机拍摄的图像提取人和车辆；

指定单元，所述指定单元指定所述人进入所述车辆或从所述车辆出来的移动；以及

关联单元，在所述指定单元指定所述人的所述移动的情况下，所述关联单元将与所述人进入其中或从其出来的所述车辆具有预定关系的人与所述车辆关联。

23.一种存储关联程序的非暂时性计算机可读介质，所述关联程序使计算机充当：

提取单元，所述提取单元从由相机拍摄的图像提取人和商品；

指定单元，所述指定单元指定商品在多个人之间的移动；以及

关联单元，在所述指定单元指定所述商品的所述移动的情况下，所述关联单元将所述商品在其之间移动的所述多个人彼此关联。

24.一种存储关联程序的非暂时性计算机可读介质，所述关联程序使计算机充当：

提取单元，所述提取单元从由相机拍摄的图像提取人和容器；

指定单元，所述指定单元指定所述容器在多个人之间的移动；以及

关联单元，在所述指定单元指定所述容器的所述移动的情况下，所述关联单元将所述容器在其之间移动的所述多个人彼此关联。

25.一种信息处理方法，所述信息处理方法使计算机执行处理，所述处理包括：

作为提取处理，从由相机拍摄的图像提取人、容器和商品；

作为第一指定处理，指定所述商品被放入所述容器中或从所述容器取出的移动；以及

作为关联处理，在所述第一指定处理指定所述商品的所述移动的情况下，将与所述商品被放入其中或从其取出的所述容器具有预定关系的人与所述容器关联。

26.根据权利要求25所述的信息处理方法，所述信息处理方法还包括：

作为第二指定处理，指定所述商品在多个人之间的所述移动，

其中，在所述第一指定处理指定所述移动的情况下，所述关联处理将所述移动被指定的时间设置为基准时间，并且在所述第二指定处理在基于所述基准时间预先确定的时间段内指定所述商品的所述移动的情况下，所述关联处理将所述商品在其之间移动的所述多个人与所述容器关联。

27.根据权利要求25或26所述的信息处理方法，所述处理还包括：

作为第三指定处理，指定容器在多个人之间的移动，

其中，在第三指定处理指定所述容器的所述移动的情况下，所述关联处理将所述多个人彼此关联。

28.根据权利要求25或27中任一项所述的信息处理方法，所述处理还包括：

作为第四指定处理，指定所述提取的人的视线或面部方向，

其中，所述关联处理将与由所述第四指定处理指定的所述视线或面部方向具有预定关系的人与所述提取的人关联。

29.根据权利要求25或28中任一项所述的信息处理方法，所述处理还包括：

作为语音获取处理，获取所述提取的人的语音，

其中，所述关联处理将与由所述语音获取处理获取的所述语音具有预定关系的人与所述提取的人关联。

30.根据权利要求25或29中任一项所述的信息处理方法，所述处理还包括：

作为第五指定处理，指定所述提取的人的所述嘴的移动，

其中，所述关联处理将与由所述第五指定处理指定的嘴的所述移动具有预定关系的人与所述提取的人关联。

31.根据权利要求25或30中任一项所述的信息处理方法，所述处理还包括：

作为属性获取处理，获取所述提取的人的属性；以及

作为组属性指定处理，基于所获取的属性指定用通过所述关联单元关联的多个人形成的组的属性。

32.根据权利要求25或31中任一项所述的信息处理方法，所述处理还包括：

作为获取处理，获取关于由所述提取的人购买的商品的信息，

其中，所述关联处理将所述信息与被关联的多个人关联。

33.根据权利要求25或31中任一项所述的信息处理方法，所述处理还包括：

作为获取处理，获取所述提取的人的会员信息，

其中，所述关联处理将所述会员信息与被关联的多个人关联。

34.一种信息处理方法，所述信息处理方法使计算机执行处理，所述处理包括：

作为提取处理，从由相机拍摄的图像提取人和车辆；

作为指定处理，指定所述人进入所述车辆或从所述车辆出来的移动；以及

作为关联处理，在所述指定处理指定所述人的所述移动的情况下，将与所述人进入其中或从其出来的所述车辆具有预定关系的人与所述车辆关联。

35.一种信息处理方法，所述信息处理方法使计算机执行处理，所述处理包括：

作为提取处理，从由相机拍摄的图像提取人和商品；

作为指定处理，指定商品在多个人之间的移动；以及

作为指定处理，在所述指定处理指定所述商品的所述移动的情况下，将所述商品在其之间移动的所述多个人彼此关联。

36.一种信息处理方法，所述信息处理方法使计算机执行处理，所述处理包括：

作为提取处理，从由相机拍摄的图像提取人和容器；

作为指定处理，指定所述容器在多个人之间的移动；以及

作为指定处理，在所述指定处理指定所述容器的所述移动的情况下，将所述容器在其之间移动的所述多个人彼此关联。

37.一种信息处理装置，所述信息处理装置包括：

提取单元，所述提取单元从由相机拍摄的图像提取人、容器和商品；

指定单元，所述指定单元指定所述商品被转移到所述容器中或从所述容器转移的移动；以及

关联单元，在所述指定单元指定所述商品的所述移动的情况下，所述关联单元将与所述商品被转移到其中或从其转移的容器具有预定关系的人与所述容器关联。

38.一种信息处理装置，所述信息处理装置包括：

提取单元，所述提取单元从由相机拍摄的图像提取人和车辆；

指定单元，所述指定单元指定所述人进入所述车辆或从所述车辆出来的移动；以及

关联单元，在所述指定单元指定所述人的所述移动的情况下，所述关联单元将与所述人进入其中或从其出来的所述车辆具有预定关系的人与所述车辆关联。

39.一种信息处理装置，所述信息处理装置包括：

提取单元，所述提取单元从由相机拍摄的图像提取人和商品；

指定单元，所述指定单元指定商品在多个人之间的移动；以及

关联单元，在所述指定单元指定所述商品的所述移动的情况下，所述关联单元将所述商品在其之间移动的所述多个人彼此关联。

40.一种信息处理装置，所述信息处理装置包括：

提取单元，所述提取单元从由相机拍摄的图像提取人和容器；

指定单元，所述指定单元指定所述容器在多个人之间的移动；以及

关联单元，在所述指定单元指定所述容器的所述移动的情况下，所述关联单元将所述容器在其之间移动的所述多个人彼此关联。