CN103971264A - 顾客行为分析装置、顾客行为分析系统和顾客行为分析方法 - Google Patents

Abstract

本发明涉及一种顾客行为分析装置、顾客行为分析系统和顾客行为分析方法。顾客行为分析装置包括：跟踪单元，其被配置为基于由在自助区域周围的区域捕获图像的成像装置提供的图像信息来跟踪在自助区域周围的区域中移动的人；检测单元，其被配置为基于由跟踪单元执行的跟踪结果来获得每一个人相对于顾客需要进入以从自助区域选择和拾取物品的访问区域的移动方向和人在访问区域中的停留时间，并且基于移动方向和停留时间来检测出放弃完成自助行为的未完成人；输出信息生成单元，其被配置为基于由检测单元执行的检测结果来生成表示分析结果的输出信息。

Description

顾客行为分析装置、顾客行为分析系统和顾客行为分析方法

技术领域

本发明涉及一种顾客行为分析装置、顾客行为分析系统和顾客行为分析方法，用于执行对在商业机构中的顾客行为的分析。

背景技术

存在多种类型的商业机构，包括诸如休闲餐厅的餐厅、诸如超市、便利店的零售商店等。不论商业机构的类型如何，与基于在商业机构中顾客的行为的分析结果的商业机构的操作相关的发展中的改善措施有益于改善顾客满意度和商业机构的操作的流水线，由此增大商业机构的销售和利润。

与在商业机构中的顾客行为分析相关地，已知下述技术：其中，使用由被建立来捕获在诸如超市或便利店的零售商店中的图像的相机所获得的图像信息来检测出已经访问物品陈列架的顾客（参见JP2012-022528A和JP2009-048430A）或检测出顾客进出商店中的各种区域并且获得顾客在每一个区域中的停留时间（参见JP2006-285409A）。

诸如休闲餐厅的一些餐厅具有诸如沙拉吧的自助区域，其中，提供了用于自助的食品。如果在自助区域处提供的食品的选择未满足顾客的偏好或顾客所要的食品用完，则顾客可能放弃完成选择和拾取食品的自助行为，并且不拾取食品而返回他的/她的桌子。而且，同样当自助区域拥挤着顾客时，顾客可能放弃完成自助行为。

因此，当顾客放弃完成自助行为时，可以假定在餐厅的自助系统的操作中存在一些问题。因此，通过检测出放弃完成自助行为的人（顾客）并且研究使得他们放弃完成自助行为的原因，有可能在实际上作出抱怨之前了解导致来自顾客的抱怨的在餐厅中的问题，并且通过采取措施来处理在餐厅中的该问题，有可能避免来自顾客的抱怨，并且改善顾客满意度。

在传统技术中，可能基于顾客在零售商店中的行为来获得指示顾客对于所提供的物品等的感兴趣程度的信息。而且，通过将这样的信息与由POS系统提供的销售信息组合，可能获得在促销中有用的信息。然而，该传统技术未提供用于分析顾客的自助行为、特别是用于检测出放弃完成自助行为的人的手段，并且因此，期望可以允许用户容易了解靠近自助区域但是放弃完成自助行为的人的出现状态的技术。

发明内容

本发明被用作解决在现有技术中的上述问题，并且本发明的主要目的是提供顾客行为分析装置、顾客行为分析系统和顾客行为分析方法，它们被配置为允许用户容易了解靠近自助区域但是放弃完成从自助区域选择和拾取物品的自助行为的人的出现的状态。

为了实现上述目的，在本发明的第一方面中，提供了一种顾客行为分析装置，用于执行对在提供了用于自助的物品的商业机构中从自助区域选择和拾取物品的顾客的自助行为的分析，所述顾客行为分析装置包括：人跟踪单元，所述人跟踪单元被配置为基于由在所述自助区域周围的区域捕获图像的成像装置提供的图像信息来跟踪在所述自助区域周围的区域中移动的人；未完成人检测单元（48），所述未完成人检测单元被配置为基于由所述人跟踪单元执行的跟踪结果来获得每一个人相对于顾客需要进入以从所述自助区域选择和拾取物品的访问区域的移动方向和所述人在所述访问区域中的停留时间、并且基于所述移动方向和所述停留时间来检测出放弃完成所述自助行为的未完成人；输出信息生成单元，所述输出信息生成单元被配置为基于由所述未完成人检测单元执行的检测结果来生成表示分析结果的输出信息，其中，所述人跟踪单元包括：人识别单元（52），所述人识别单元被配置为确定在包括所述访问区域的指定区域中检测到的对象是否被识别为人，并且当所述对象被识别为人时，向所述对象分配人ID；以及，人校正单元，所述人校正单元被配置为当被识别为人的第一对象的跟踪在所述指定区域中失败并且其后被识别为人的第二对象在所述指定区域中重新出现时，确定所述第一和第二对象是否代表相同的人，并且当确定所述第一和第二对象代表相同的人时，向所述第二对象分配已经向所述第一对象分配的相同的人ID，其中，当满足下面两个条件的至少一个时所述人校正单元确定所述第一和第二对象代表相同的人：从当所述第一对象的跟踪失败时的时间至当所述第二对象出现时的时间所经历的时间段满足预定接近条件、以及从所述第一对象的跟踪失败的位置到所述第二对象出现的位置的距离满足预定接近条件。

而且，在本发明的第二方面中，提供了一种顾客行为分析装置，用于执行对在提供了用于自助的物品的商业机构中从自助区域选择和拾取物品的顾客的自助行为的分析，所述顾客行为分析装置包括：人跟踪单元，所述人跟踪单元被配置为基于由在所述自助区域周围的区域捕获图像的成像装置提供的图像信息来跟踪在所述自助区域周围的区域中移动的人；未完成人检测单元，所述未完成人检测单元被配置为基于由所述人跟踪单元执行的跟踪结果来获得每一个人相对于顾客需要进入以从所述自助区域选择和拾取物品的访问区域的移动方向和所述人在所述访问区域中的停留时间、并且基于所述移动方向和所述停留时间来检测出放弃完成所述自助行为的未完成人；输出信息生成单元，所述输出信息生成单元被配置为基于由所述未完成人检测单元执行的检测结果来生成表示分析结果的输出信息，其中，当人从其进入所述访问区域的方向和所述人离开所述访问区域的方向相同时、并且当所述人在所述访问区域中的所述停留时间比预定阈值短时，所述未完成人检测单元确定所述人是未完成人。

根据上述结构，检测出接近所述自助区域但是放弃完成自助行为的人（未完成人），并且输出与未完成人的出现状态相关的分析结果，并且因此，诸如所述商业机构的管理者的用户可以容易了解未完成人的出现状态。这使得有可能研究使得顾客放弃完成自助行为的起因，并且在实际上作出抱怨之前了解能够导致来自顾客机的抱怨的在所述商业机构中的问题。因此，通过采取措施来处理在商业机构中的该问题，有可能避免来自顾客的抱怨，并且改善顾客满意度。具体地说，即使在难以跟踪人的情况下，例如当在所述自助区域周围的区域拥挤着人时，也能够通过执行人校正处理以及评估每一个人的移动方向和停留时间来掌握人的移动状态，并且因此，有可能最小化对放弃完成自助行为的未完成人的检测的失败，并且以高检测速率和以高精度来检测出未完成人。

在本发明的第三方面中，所述商业机构是餐厅，并且所述物品包括食品。

根据这种结构，因为需要一定的时间来使得人（顾客）将食品从所述自助区域放在他的/她的盘等上，所以所述停留时间可以指示所述人是否执行了这样的服务行为。因此，有可能以高精度检测出放弃完成自助行为的未完成人。

在本发明的第四方面中，将所述访问区域划分为至少第一区域和第二区域，所述第一区域与所述自助区域邻接，而所述第二区域与所述自助区域间隔开；并且所述未完成人检测单元基于人进入所述第一区域和所述第二区域的状态来检测出未完成人。

根据这种结构，有可能以高精度来检测出放弃完成自助行为的未完成人。

在本发明的第五方面中，当人从其进入所述访问区域的方向和所述人离开所述访问区域的方向相同时，并且当所述人未进入所述访问区域时，所述未完成人检测单元确定所述人是未完成人。

根据这种结构，有可能以高精度来检测出放弃完成自助行为的未完成人。

在本发明的第六方面中，所述输出信息生成单元生成与每一个预定时间段的所述未完成人的出现状态相关的信息作为所述输出信息。

根据这种结构，使得诸如所述商业机构的管理者的用户能够了解每一预定时间段（时隙）的未完成人的出现的状态，特别是未完成人的检测的数量（所检测到的未完成人的数量）。由此，用户可以识别出未完成人的检测的数量高的一个或多个时隙，并且研究致使顾客放弃完成自助行为的起因。

在本发明的第七方面中，所述顾客行为分析装置进一步包括：显示控制单元，所述显示控制单元被配置为从记录了由所述成像装置提供的图像信息的图像记录装置获取图像信息，并且向显示装置输出所述图像信息，其中，所述显示控制单元使得用于选择未完成人的屏幕显示在所述显示装置上，并且一旦由用户执行了选择操作，就使得包括了所选择的未完成人的图像显示在所述显示装置上。

根据这种结构，使用包括所述未完成人的图像，用户可以详细查看所述未完成人放弃完成自助行为的情况，并且研究使得所述人放弃完成自助行为的起因。而且，用户可以确认是否存在未完成人的错误检测，即，被检测为未完成人的人是否实际上放弃完成自助行为，由此，诸如商业机构的管理者的用户可以精确地了解未完成人的出现的状态。

在本发明的第八方面中，提供了一种顾客行为分析系统，用于执行对在提供了用于自助的物品的商业机构中从自助区域选择和拾取物品的顾客的自助行为的分析，所述顾客行为分析系统包括：成像装置，所述成像装置被配置为捕获在所述自助区域周围的区域的图像；以及，多个信息处理装置，其中，所述多个信息处理装置共同地包括：人跟踪单元，所述人跟踪单元被配置为基于由所述成像装置提供的图像信息来跟踪在所述自助区域周围的区域中移动的人；未完成人检测单元，所述未完成人检测单元被配置为基于由所述人跟踪单元执行的跟踪结果来获得每一个人相对于顾客需要进入以从所述自助区域选择和拾取物品的访问区域的移动方向和所述人在所述访问区域中的停留时间、并且基于所述移动方向和所述停留时间来检测出放弃完成所述自助行为的未完成人；输出信息生成单元，所述输出信息生成单元被配置为基于由所述未完成人检测单元执行的检测结果来生成表示分析结果的输出信息，其中，所述人跟踪单元包括：人识别单元，所述人识别单元被配置为确定在包括所述访问区域的指定区域中检测到的对象是否被识别为人，并且当所述对象被识别为人时，向所述对象分配人ID；以及，人校正单元，所述人校正单元被配置为当被识别为人的第一对象的跟踪在所述指定区域中失败并且其后被识别为人的第二对象在所述指定区域中重新出现时，确定所述第一和第二对象是否代表相同的人，并且当确定所述第一和第二对象代表相同的人时，向所述第二对象分配已经向所述第一对象分配的相同的人ID，其中，当满足下面两个条件的至少一个时所述人校正单元确定所述第一和第二对象代表相同的人：从当所述第一对象的跟踪失败时的时间至当所述第二对象出现时的时间所经历的时间段满足预定接近条件、以及从所述第一对象的所述跟踪失败的位置到所述第二对象出现的位置的距离满足预定接近条件。

而且，在本发明的第九方面中，提供了一种顾客行为分析系统，用于执行对在提供了用于自助的物品的商业机构中从自助区域选择和拾取物品的顾客的自助行为的分析，所述顾客行为分析系统包括：成像装置，所述成像装置被配置为捕获在所述自助区域周围的区域的图像；以及，多个信息处理装置，其中，所述多个信息处理装置共同地包括：人跟踪单元，所述人跟踪单元被配置为基于由所述成像装置提供的图像信息来跟踪在所述自助区域周围的区域中移动的人；未完成人检测单元，所述未完成人检测单元被配置为基于由所述人跟踪单元执行的跟的结果来获得每一个人相对于顾客需要进入以从所述自助区域选择和拾取物品的访问区域的移动方向和所述人在所述访问区域中的停留时间，并且基于所述移动方向和所述停留时间来检测出放弃完成所述自助行为的未完成人；输出信息生成单元，所述输出信息生成单元被配置为基于由所述未完成人检测单元执行的检测结果来生成表示分析结果的输出信息，其中，当人从其进入所述访问区域的方向和所述人离开所述访问区域的方向相同时、并且当所述人在所述访问区域中的所述停留时间比预定阈值短时，所述未完成人检测单元确定所述人是未完成人。

根据这些结构，与根据本发明的第一和第二方面的结构类似地，使得诸如商业机构的管理者的用户能够容易地了解放弃完成自助行为的未完成人的出现的状态。

在本发明的第十方面中，提供了一种顾客行为分析方法，用于执行对在提供了用于自助的物品的商业机构中从自助区域选择和拾取物品的顾客的自助行为的分析，所述分析由在所述商业机构之内或之外设置的信息处理装置执行，所述方法包括：第一步骤，基于由在所述自助区域周围的区域捕获图像的成像装置提供的图像信息来跟踪在所述自助区域周围的区域中移动的人；第二步骤，基于在所述第一步骤中的跟踪的结果来获得每一个人相对于顾客需要进入以从所述自助区域选择和拾取物品的访问区域的移动方向和所述人在所述访问区域中的停留时间，并且基于所述移动方向和所述停留时间来检测出放弃完成所述自助行为的未完成人；第三步骤，基于在所述第二步骤中的检测结果来生成表示分析结果的输出信息，其中，所述第一步骤包括：人识别步骤，确定在包括所述访问区域的指定区域中检测到的对象是否被识别为人，并且当所述对象被识别为人时，向所述对象分配人ID；以及，人校正步骤，当被识别为人的第一对象的跟踪在所述指定区域中失败并且其后被识别为人的第二对象在所述指定区域中重新出现时，确定所述第一和第二对象是否代表相同的人，并且当确定所述第一和第二对象代表相同的人时，向所述第二对象分配已经向所述第一对象分配的相同的人ID，其中，当满足下面两个条件的至少一个时，在所述人校正步骤中确定所述第一和第二对象代表相同的人：从当所述第一对象的所述跟踪失败时的时间至当所述第二对象出现时的时间所经历的时间段满足预定接近条件、以及从所述第一对象的所述跟踪失败的位置到所述第二对象出现的位置的距离满足预定接近条件。

在本发明的第十一方面中，提供了一种顾客行为分析方法，用于执行对在提供了用于自助的物品的商业机构中从自助区域选择和拾取物品的顾客的自助行为的分析，所述分析由在所述商业机构之内或之外设置的信息处理装置执行，所述方法包括：第一步骤，基于由在所述自助区域周围的区域捕获图像的成像装置提供的图像信息来跟踪在所述自助区域周围的区域中移动的人；第二步骤，基于在所述第一步骤中的跟踪结果来获得每一个人相对于顾客需要进入以从所述自助区域选择和拾取物品的访问区域的移动方向和所述人在所述访问区域中的停留时间、并且基于所述移动方向和所述停留时间来检测出放弃完成所述自助行为的未完成人；第三步骤，基于在所述第二步骤中的检测结果来生成表示分析结果的输出信息，其中，当人从其进入所述访问区域的方向和所述人离开所述访问区域的方向相同时、并且当所述人在所述访问区域中的所述停留时间比预定阈值短时，在所述第二步骤中确定所述人是未完成人。

根据这些结构，与根据本发明的第一和第二方面的结构类似地，使得诸如商业机构的管理者的用户能够容易地了解放弃完成自助行为的未完成人的出现的状态。

附图说明

现在，在下面参考附图针对本发明的优选实施例的各方面描述了本发明，在附图中：

图1是示出根据本发明的实施例的分析系统的整体结构的图；

图2是示出餐厅的内部布局的示例的平面图；

图3是示出由被设置来捕获在沙拉吧31周围的区域的图像的相机1捕获的图像的说明图；

图4是示意地示出在餐厅设置的PC3的功能结构的框图；

图5是示出显示未完成人检测信息的分析结果屏幕的示例的说明图；

图6是示意地示出顾客行为分析单元43的配置的框图；

图7是示出由顾客行为分析单元43执行的处理的过程的流程图；

图8是用于说明由未完成人确定单元57执行的处理的说明图；

图9是示出在沙拉吧31周围的人的示例性移动模式的示意平面图；

图10是示出显示容器更换信息的分析结果屏幕的示例的说明图；

图11是示意地示出物品状态分析单元44的结构的框图；以及

图12是示出由被设置来捕获在沙拉吧31周围的区域的图像的相机1捕获的图像的示例的说明图。

具体实施方式

下面，将参考附图来作出本发明的示例性实施例的说明。

图1是示出根据本实施例的分析系统的整体结构的图。该分析系统被设计来用于例如连锁休闲餐厅，并且包括在多个连锁餐厅内的每一个处设置的相机（成像装置）1、记录器（图像记录装置）2、个人计算机（PC）（顾客行为分析装置、物品状态分析装置、浏览器装置）3、销售点（POS）工作站（销售信息管理装置）4、手持终端（订单输入装置）5和打印机6。此外，该分析系统包括PC（浏览器装置）7和POS服务器（销售信息管理装置）8，其被设置在监视多个餐厅的管理办公室处。

在每一个餐厅中，相机1、记录器2、PC3、POS工作站4和打印机6连同无线中继装置11被连接到局域网（LAN）以与因特网协议（IP）网络连接，该无线中继装置11中继手持终端5和路由器12的通信。PC3和POS工作站4具有与其连接的各自的显示单元（显示装置）13、14。在管理办公室中，PC7和POS服务器8连同路由器16连接到LAN以与IP网络连接。PC7和POS服务器8具有与其连接的各自的显示单元（显示装置）17、18。

在每一个餐厅处设置的相机1、记录器2、PC3和在管理办公室处设置的PC7构成监控系统，用于监控餐厅内部。相机1被设置在餐厅中的适当位置处，以捕获在餐厅中的各个区域的图像，并且由其获得的图像信息被记录器2记录。在餐厅处设置的PC3和在管理办公室处设置的PC7可以显示由相机1捕获的在餐厅中的各个区域的实时图像或由记录器2记录的在餐厅中的各个区域的过去的图像，并且这允许在餐厅或管理办公室处的用户查看在餐厅中的情况。

在每一个餐厅处设置的手持终端5、无线中继装置11和打印机6构成用于接受顾客订单的订单输入系统。每一个手持终端5要被餐厅职员（诸如男服务员或女服务员）携带，由此，该职员在从顾客获得订单后可以将订单的内容（订购的菜单项目、对于每一个菜单项目的订单的数量）输入进手持终端5。在厨房中设置打印机6，并且当职员将订单内容输入进手持终端5时，从打印机6输出订单内容，使得向厨房职员发送订单内容。

在每一个餐厅处设置的POS工作站4和订单输入系统与在管理办公室处设置的POS服务器8构成POS（销售点）系统，其管理与每一个餐厅的销售相关的销售信息。该POS系统管理订单内容、订单时间、结帐时间、订购方法、顾客数量等作为销售信息。在POS工作站4和POS服务器8之间共享该销售信息。POS工作站4管理设置POS工作站4处的餐厅的销售信息，并且POS服务器8管理在其管理下的所有成员餐厅的销售信息。

构成订单输入系统的每一个手持终端5被适配来允许餐厅职员输入除了订单内容（订购菜单项目、对于每一个菜单项目的订单的数量）之外的订单信息，诸如在桌子处就坐的顾客的数量、桌子编号（座椅编号）等，并且所输入的订单信息被传送到POS工作站4。除了用于管理销售信息的功能之外，POS工作站4具有用于执行结帐的注册功能，并且被设置在收银台处。该POS工作站4与在附图中未示出的钱箱和收据打印机连接。POS工作站4基于从手持终端5传送的订单信息和在结帐时获得的结帐信息来生成销售信息。

在每一个餐厅处设置的PC3被配置成实现：顾客行为分析装置，其执行对在餐厅中的顾客行为的分析；以及，物品状态分析装置，其执行对在餐厅的特定区域中布置的物品的状态分析。由在餐厅处设置的PC3生成的分析结果信息可以在PC3本身上被显示，并且也被传送到在管理办公室处设置的PC7，使得可以在PC7上显示信息。因此，PC3和7的每一个都被配置为浏览器装置，该浏览器装置允许用户观看分析结果信息。

图2是示出餐厅的内部布局的示例的平面图。该餐厅包括门道、等候区域、收银台、带有座椅的桌子、沙拉吧（自助区域）、饮料吧和厨房。该沙拉吧和饮料吧是自助式桌子或柜台，其上分别提供了食品和饮料，以便顾客自助。而且，在餐厅中的适当位置处设置了多个相机1。具体地说，在图2中所示的示例中，设置相机1以捕获在门道、桌子、沙拉吧和厨房处的图像。

图3是示出由被设置来捕获在沙拉吧31周围的区域的图像的相机1捕获的图像的说明图。在沙拉吧31附近的天花板上安装了用于捕获在沙拉吧31周围的区域的图像的相机1，使得相机1捕获沙拉吧31和在沙拉吧31周围的区域中移动的顾客和职员的图像。在沙拉吧31处，以在各自的独立容器中供应食品的方式来提供多种食品，并且顾客从沙拉吧31选择和在他们自己的盘等上放置期望的食品。

图4是示意地示出在餐厅处设置的PC3的功能结构的框图。PC3包括监控单元41和餐厅状态分析单元42。监控单元41允许PC3作为用于监控餐厅内部的监控系统。监控单元41控制相机1和记录器2的操作，并且使得用户能够具有由相机1捕获的在餐厅中的各个区域的图像的实时视图，并且查看在记录器2中记录的在餐厅中的各个区域的图像。

餐厅状态分析单元42包括顾客行为分析单元43和物品状态分析单元44。顾客行为分析单元43执行在餐厅中、特别是对在本实施例中在沙拉吧附近的顾客行为的分析。物品状态分析单元44执行在餐厅的特定区域中布置的物品的状态、特别是对在本实施例中包含食品和在沙拉吧处摆放的容器状态的分析。

应当注意，通过经由PC3的CPU来执行用于监控和餐厅状态分析的程序来实现监控单元41和餐厅状态分析单元42。这些程序被预装在作为用于实施专用于监控和餐厅状态分析功能的装置的信息处理装置的PC3中，或者可以以在适当的记录介质上存储的形式被提供给用户作为可以在通用操作系统上运行的应用程序。

接下来，将作出由在餐厅中设置的PC3的顾客行为分析单元43执行的顾客行为分析处理的说明。在该顾客行为分析处理中，执行对在沙拉吧附近的顾客行为的分析。具体地说，在本实施例中，获得与放弃完成从沙拉吧选择和拾取食品的自助行为的人，即靠近沙拉吧以拾取在沙拉吧处提供的食品但是离开沙拉吧而没有拾取食品的人（这样的人将在以下被称为未完成人）相关的未完成人检测信息。

如在上面所述，在沙拉吧处，以在各自的独立容器中供应食品的方式来提供食品，并且，顾客从沙拉吧选择和在他们自己的盘等上放置期望的食品。当在沙拉吧处提供的食品的选择不满足顾客的偏好时或者当顾客所要的食品已经用完时，顾客可能放弃完成从沙拉吧选择和拾取食品的自助行为。而且，同样当在沙拉吧前的区域拥挤着顾客时，顾客可能放弃完成自助行为。在顾客行为分析处理中，检测出放弃完成自助行为的这样的未完成人。

图5是示出显示未完成人检测信息的分析结果屏幕的示例的说明图。该分析结果屏幕将被显示在餐厅处设置的PC3的显示单元13和在管理办公室处设置的PC7的显示单元17上。该分析结果屏幕示出了对于在指定日期上的餐厅的营业时间（10:00AM至1:00AM）期间的每一个时隙而言的未完成人的检测的数量（或被检测为未完成人的人的数量）和每一次检测的时间，作为未完成人检测信息。从这个分析结果屏幕，用户可以明白每一个时隙的未完成人出现的状态。

而且，除了放弃完成从沙拉吧选择和拾取食品的自助行为的未完成人的数量之外，该分析结果屏幕也显示出对于每一个时隙而言的经过的人的检测的数量（或被检测为经过的人的人的数量）和每一次检测的时间，其中，经过的人是经过沙拉吧前面的人。由此，用户可以明白经过的人的出现状态。而且，通过组合与未完成人相关的信息和与经过的人相关的信息，用户可以掌握接近沙拉吧但是未执行或完成自助行为的人的总数。应当注意，可以设计分析结果屏幕以仅显示与未完成人相关的信息。

分析结果屏幕进一步包括操作元件71，用于指定年、月和日，使得用户可以通过操作操作元件71来选择日期，并且查看在所选择的日期上的分析结果。应当注意，在其中在管理办公室处设置的PC7的显示单元17上显示分析结果屏幕的情况下，优选地在分析结果屏幕中显示用于允许用户选择餐厅的操作元件。

而且，该分析结果屏幕包括：图像显示区域72，用于显示包括未完成人和经过的人的图像；以及，操作元件73，用于允许用户选择未完成人或经过的人，使得当通过相关联的操作元件73的操作来选择未完成人或经过的人时，在图像显示单元72上显示包括所选择的未完成人或经过的人的图像。这允许用户详细查看未完成人和经过的人的行为。在此应当注意，所显示的图像可以是静止画面或移动画面，并且也可能显示静止画面和移动画面两者。

图6是示意地示出顾客行为分析单元43的配置的框图。通过由顾客行为分析单元43执行的未完成人检测处理来生成在图5中所示的分析结果屏幕。顾客行为分析单元43包括作为与未完成人检测处理相关的单元的人跟踪单元46、人跟踪信息存储单元47、未完成人检测单元48、输出信息生成单元49和显示控制单元50。

人跟踪单元46基于由在沙拉吧周围的区域捕获图像的相机1提供的图像信息来对在沙拉吧周围的区域中移动的人进行跟踪的处理。人跟踪信息存储单元47存储表示由人跟踪单元46执行的跟踪结果的人跟踪信息。未完成人检测单元48基于在人跟踪信息存储单元47中存储的人跟踪信息来执行检测放弃完成自助行为的未完成人的处理。输出信息生成单元49基于由未完成人检测单元48执行的检测结果来执行生成表示分析结果的输出信息的处理。显示控制单元50执行从存储由相机1提供的图像信息的记录器2获得图像信息并且向显示单元13输出所获得的图像信息的处理。

具体地说，在本实施例中，输出信息生成单元49执行生成与每一个时隙（预定时间段）的未完成人的出现的状态相关的未完成人检测信息作为输出信息的处理，并且在PC3和7的显示单元13和显示单元17上显示根据未完成人检测信息的分析结果屏幕（参见图5）。

而且，在本实施例中，显示控制单元50执行下述处理：使得显示单元13和17显示用于选择未完成人的屏幕，并且在用户执行的操作操作之后，使得在显示单元13和17上显示包括所选择的未完成人的图像。为了实现这一点，在图5中所示的分析结果屏幕包括用于显示包括未完成人的图像的图像显示区域72和用于允许用户选择未完成人的操作元件73，使得当通过相关联的操作元件73的操作来选择未完成人时，在图像显示区域72中显示包括所选择的未完成人的图像。

接下来，将作出通过在图6中所示的人跟踪单元46来执行的人跟踪处理的详细说明。图7是示出由顾客行为分析单元43执行的处理的过程的流程图。在下面，将在必要时参考图7来作出人跟踪处理的说明。

如在上面所述，人跟踪单元46被配置成基于由在沙拉吧周围的区域捕获图像的相机1提供的图像信息来跟踪在沙拉吧周围的区域中移动的人，并且如图6中所示，包括对象检测单元51、人识别单元52和人校正单元53。人跟踪单元46可以使用已知的图像识别技术（对象跟踪技术、人识别技术等）。

人跟踪单元46在从在沙拉吧周围的区域捕获图像的相机1的图像的输入后（在图7中的ST101）执行指定在要执行人跟踪的图像中的区域的处理（在图7中的ST102）。该指定区域被定义为包括在图3中所示的访问区域32的区域，即，定义为实质上与访问区域32相同的区域或大于访问区域32的区域。

对象检测单元51执行如下处理：从输入图像检测在指定区域中存在的对象（移动体）并且跟踪每一个所检测的对象（在图7中的ST103）。在该对象跟踪处理中，对于移动画面的每一个帧获得每一个对象的位置信息（坐标），并且该位置信息连同时间信息（帧的图像捕获时间）被累积地存储在人跟踪信息存储单元47中来作为人跟踪信息。

人识别单元52执行下述处理：确定由对象检测单元51检测的每一个对象是否被识别为人，并且当该对象被识别为人时，向该对象分配人ID（在图7中的ST104）。在该人识别处理中，当还没有被分配人ID的对象被再一次识别为人时，向该对象分配新的人ID。

人校正单元53执行校正由人识别单元52分配的人ID的处理。在对象跟踪处理中，因为诸如在沙拉吧周围的区域中的拥挤的原因，在指定区域中的对象的跟踪可能失败；即，进入指定区域的对象的移动路径可能在对象离开指定区域之前结束。在人校正处理中，将对于其的跟踪失败的对象（第一对象）链接到在第一对象的跟踪失败后在指定区域中重新出现的对象（第二对象），使得可以可靠地掌握人的移动的状态。

具体地说，首先，执行搜索以找到对于其而言在指定的区域中的跟踪失败的对象（第一对象）。即，执行搜索（在图7中的ST105），以找到在人识别处理（在图7中的ST104）中向对象分配的人ID中的、向从指定区域消失而没有离开指定区域的记录的对象（人）分配的人ID（消失的人ID）。

接下来，执行搜索以找到在指定区域中的第一对象的跟踪失败后在指定区域中重新出现的对象（第二对象）。即，执行搜索（在图7中的ST106）以找到在人识别处理（在图7中的ST104）中向对象分配的人ID中的、向在与通过消失人ID搜索（在图7中的ST105）获得的消失人ID相关的消失时间后在指定区域中重新出现的对象（人）分配的人ID（出现人ID）。

然后，确定对于在指定区域中的跟踪失败的对象（第一对象）和对于在第一对象的跟踪失败后在指定区域中重新出现的对象（第二对象）是否表示同一人，即，在消失人ID搜索（在图7中的ST105）中获得的消失人ID和在出现人ID搜索（在图7中的ST106）中获得的出现人ID是否已经被分配到同一人（对象），并且如果确定这些人ID已经被分配到同一人，则重新出现的对象（第二对象）被分配已经被分配给对于跟踪失败的对象（第一对象）（在图7中的ST107）的相同人ID。

基于从当对象（第一对象）的跟踪失败的时间到当新的对象（第二对象）出现时的时间所经历的时间段和从第一对象的跟踪失败的位置到新的对象（第二对象）出现的位置的距离是否满足各自的预定接近条件，来执行关于两个对象是否表示同一人的该确定。具体地说，当所经历的时间段和距离中的每一个都满足各自的预定接近条件时，确定对于跟踪失败的对象和重新出现的对象表示同一人。

在该实施例中，作为接近条件，设置分别与时间段和距离相关的阈值，使得基于与该阈值的比较来执行关于两个对象是否表示同一人的确定。具体地说，当所检测到的经历的时间段短于其预定阈值并且所检测到的距离小于其预定阈值时，确定两个对象表示同一人。应当注意，可以仅基于所经历的时间段和所述距离中的仅一个来执行上述确定。

重复上述（在图7中的ST105至ST107）处理，直到已经对于在指定区域中的跟踪失败的所有对象、即对于所有消失的人ID执行了该处理（在图7中的ST108）。然后，作为人跟踪信息在人跟踪信息存储单元47中存储了校正的人ID，并且，基于在人跟踪信息存储单元47中存储的人跟踪信息来执行未完成人检测处理（在图7中的ST109）。

如在上面所述，在本实施例中，执行人校正处理，用于将对于在指定区域中的跟踪失败的对象（第一对象）链接到在第一对象的跟踪的失败后在指定区域中重新出现的对象（第二对象）。因此，即使在难以跟踪人的情况下，诸如当在自助区域周围的区域拥挤着人时，也有能够掌握人的移动状态，并且因此，有可能最小化对放弃完成自助行为的未完成人的检测的失败，并且以高检测速率来检测出未完成人。

接下来，将给出通过在图6中所示的未完成人检测单元48执行的未完成人检测处理的详细说明。

未完成人检测单元48执行下述处理：从人跟踪信息存储单元47获得表示由人跟踪单元46执行的跟踪结果的人跟踪信息，并且基于该人跟踪信息，检测出放弃完成从沙拉吧选择和拾取食品的自助行为的未完成人。

如图3中所示，在沙拉吧31周围限定访问区域32，其中，访问区域32是顾客需要进入以从沙拉吧31选择和拾取食品的区域。访问区域32被划分为与沙拉吧31邻接的第一区域32a和与沙拉吧31间隔开的第二区域32b。第一区域32a和第二区域32b中的每一个都具有大体对应于一人的大小的宽度W，使得第一区域32a和第二区域32b中的每一个都可以容纳单行的人。而且，第一区域32a和第二区域32b中的每一个都被限定为具有字母L的形状。

在图6中所示的未完成人检测单元48执行下述处理：获得每一个被检测的人相对于访问区域32的移动方向和该人在访问区域32中的停留时间，并且基于该移动方向和停留时间来检测出未完成人。未完成人检测单元48包括移动方向检测单元55、停留时间检测单元56和未完成人确定单元57。

移动方向检测单元55对于被分配人ID的每一个对象执行下述处理：检测对象从其进入访问区域的方向和该对象离开访问区域的方向。停留时间检测单元56对于被分配人ID的每一个对象执行下述处理：检测从进入访问区域的时间到离开访问区域的时间所经历的停留时间。未完成人确定单元57基于由移动方向检测单元55和停留时间检测单元56执行的检测结果来执行确定每一个对象是否是放弃完成自助行为的未完成人的处理。

图8是用于说明由未完成人确定单元57执行的处理的说明图。图9是示出在沙拉吧31周围的人的示例性移动模式的示意平面图。图9A示出在人完成自助行为的情况下的示例性移动模式。图9B示出在人经过沙拉吧的情况下的示例性移动模式。图9C示出在人放弃完成自助行为的情况下的示例性移动模式。

如图8中所示，当对象从其进入访问区域32的方向和该对象离开访问区域32的方向相同（即，当进入和离开访问区域32时使用了相同的路径）并且在访问区域32中的对象的停留时间比预定阈值短时，未完成人确定单元57确定该对象是放弃完成从沙拉吧选择和拾取食品的自助行为的未完成人。

如图9A中所示，当顾客完成自助行为时，顾客从在用餐区域中的桌子接近沙拉吧31，并且在从沙拉吧31拾取食品后，带着食品一起返回到桌子。而且，如图9C中所示，当顾客放弃完成自助行为时，顾客从用餐区域的桌子靠近沙拉吧31但是未从沙拉吧31拾取食品而返回到桌子。因此，当顾客具有执行自助行为的意愿时，顾客从桌子向沙拉吧31移动，并且然后移动回桌子，并且结果，顾客从其进入访问区域32的方向和顾客离开访问区域32的方向变得相同（即，当进入和离开访问区域32时使用了相同的路径）。

另一方面，在诸如当顾客去往卫生间和从其返回时、当顾客在吃完饭后离开桌子去往收银台或门道时或者当职员在厨房和用餐区域之间移动以从顾客获得订单、传递菜单项目和清洁桌子时的情况下，如果沙拉吧31沿着路径定位，则人（顾客或职员）经过的沙拉吧31附近，如图9B中所示。在该情况下，人从其进入访问区域32的方向和人离开访问区域32去往的方向彼此不同。因此，基于人从其进入访问区域32的方向和人离开访问区域32去往的方向，有可能彼此区分意欲执行自助行为而靠近沙拉吧的人和仅经过沙拉吧附近的人。

而且，如图9A中所示，在顾客完成自助行为的情况下，顾客从沙拉吧拾取食品，即，将期望的食品从其中包含各自的食品的容器放在他的/她的盘等上，并且因为这样的自助行为需要特定的时间，所以顾客在访问区域32中的停留时间趋向于长。

另一方面，在顾客因为诸如在沙拉吧31处提供的食品的选择不满足顾客的偏好或顾客所要的食品已经用完的原因而放弃完成自助行为的情况下，顾客未呆在访问区域32长时间，并且因此，在访问区域32中的顾客的停留时间趋向于短。因此，基于在访问区域32中的停留时间，有可能彼此区分完成自助行为的人和放弃完成自助行为的未完成人。

因此，在本实施例中，基于人从其进入访问区域32的方向和人离开访问区域32的方向是否相同和在访问区域32中的人的停留时间是否长于预定时间段，有可能精确地确定该人是否是未完成人。

应当注意，在上述的未完成人确定处理中，与停留时间相关的阈值可以例如是5秒。

而且，未完成人确定单元57基于人进入第一区域32a和第二区域32b的状态来检测出放弃完成从沙拉吧31选择和拾取食品的自助行为的未完成人，如图8中所示。具体地说，在本实施例中，如果人从其进入访问区域32的方向和人离开访问区域32的方向相同并且人未进入第一区域32a，则将该人确定为未完成人。

如图9A中所示，当顾客完成自助行为时，顾客进入与沙拉吧31邻接的第一区域32a，来从沙拉吧31选择和拾取食品。

另一方面，如图9C中所示，当顾客因为在沙拉吧31前面的区域中的拥挤而放弃完成自助行为时，该顾客可能能够进入第二区域32b但是因为拥挤而不能进入与沙拉吧31邻接的第一区域32a，并且可能不进入第一区域32a而返回到桌子。因此，基于人（顾客）是否进入第一区域32a，有可能彼此区分完成自助行为的人和放弃完成自助行为的未完成人。

而且，如图9B中所示，当人经过沙拉吧31附近时，该人可以仅进入第二区域32b。在该情况下，人从其进入访问区域32的方向和人离开访问区域32的方向不同。因此，通过除了人是否进入第一区域32a之外也考虑每一个人从其进入访问区域32的方向和该人离开访问区域32的方向是否相同，有可能彼此区分放弃完成自助行为的未完成人和经过沙拉吧31附近的人。应当注意，为了可靠地彼此区分试图在访问区域32中执行自助行为的人和仅通过访问区域32的人，有可能当对人进行分类时另外考虑诸如每一个人的特定行为或姿势（例如，一个人伸出他/她的手臂拿起了自助餐盘子的行为或一个人拿着自助餐盘子的姿势等）的其他因素。

因此，在本实施例中，基于人从其进入访问区域32的方向和人离开访问区域32的方向是否相同和人是否进入第一区域32a中，有可能精确地确定该人是否是未完成人。

在沙拉吧处，职员可以执行从沙拉吧去除需要被重新填充食品的容器并且在将该容器再一次填充食品后返回容器的容器更换工作。与容器更换工作相关的职员的这样的行为可以类似于放弃完成自助行为的顾客的行为，并且因此，可能错误地将执行容器更换工作的职员检测为未完成人。然而，职员的行为和顾客的行为关于相对于访问区域32的移动方向上不同。即，有可能基于人是否从厨房或用餐区域进入访问区域32和/或人是否离开访问区域32而去往厨房或用餐区域来确定所检测的人是否是职员或顾客。

应当注意，通过本实施例，如图3和9中所示限定访问区域32（第一区域32a和第二区域32b），并且，可以根据在沙拉吧31周围的情况来任意地限定访问区域32。例如，在其中在沙拉吧31周围存在诸如墙壁或隔断的障碍物的情况下，可以在其中不存在障碍物的沙拉吧31的一侧上限定访问区域。

而且，在本实施例中，如图3中所示，在接近沙拉吧31的天花板上安装的相机1以斜角来捕获在沙拉吧31周围的区域的图像，并且在成像角度的限制下如图中所示限定访问区域32（第一区域32a和第二区域32b）。然而，可以根据在沙拉吧31和桌子之间的位置关系等来适当地限定访问区域32。

即，每一个顾客的自助行为涉及在用餐区域中的桌子和沙拉吧31之间的移动，并且因此，顾客相对于沙拉吧31的移动方向可能根据在沙拉吧31和顾客所坐在的桌子之间的位置关系而不同，并且在一些情况下，顾客可能从各个方向接近沙拉吧31，并且可以离开沙拉吧31而去往各个方向。在这样的情况下，被设置来在一个方向上捕获图像的相机1可能不足以捕获顾客的移动，并且可以优选地在沙拉吧31上设置多个相机1或设置全方向相机。

而且，可以适当地限定第一区域32a和第二区域32b，以应付顾客相对于沙拉吧31的移动方向，并且具体地说，优选的是，将第一区域32a限定为在与沙拉吧31邻接的整个区域上延伸，并且将第二区域32b限定为整体围绕第一区域32a。

应当注意，可以通过在适当的时间从人跟踪信息存储单元47获得人跟踪信息来执行上述的未完成人检测处理，并且也可以在适当的时间执行人跟踪处理。因此，这些处理可以在每次用于预定时间段（时隙）的数据变得可获得时（例如，在每小时的基础上执行处理的情况下每次经历一个小时）被执行，或者以更长的间隔被执行，使得在相同的时间执行用于不同的时隙的处理。例如，有可能在每日的基础上执行处理，使得在那天餐厅关闭后或下一天可以可获得对于给定天的未完成人的出现的状态。

如在上面所述，在本实施例中，检测出接近自助区域但是放弃完成自助行为的人（未完成人），并且输出与未完成人的出现的状态相关的分析结果，并且因此，诸如商业机构（餐厅）的管理者的用户可以容易了解未完成人的出现的状态。这使得有可能研究使得顾客放弃完成自助行为的起因，并且在实际上作出抱怨之前了解会导致来自顾客的抱怨的在商业机构中的问题。因此，通过采取用于处理在商业机构中的问题的措施，有可能避免来自顾客的抱怨，并且改善顾客满意度。

而且，在本实施例中，在诸如休闲餐厅的餐厅中检测出放弃从自助区域（沙拉吧）选择和拾取食品的完成自助行为的未完成人。因为顾客需要一定的时间来将食品从自助区域放在他的/她的盘等上，所以有可能基于停留时间来确定顾客是否执行了这样的自助行为，并且由此以高准确度来检测出放弃完成自助行为的未完成人。

而且，在本实施例中，输出信息生成单元49生成与在每一个预定时间段（时隙）的未完成人的出现状态相关的信息，使得显示根据该信息的分析结果屏幕（参见图5）。因此，使得诸如商业机构的管理者的用户能够了解每一个预定时间段（时隙）的未完成人的出现状态，特别是未完成人的检测的次数（所检测到的未完成人的数量）。由此，用户可以识别其中未完成人的检测的数量高的时隙，并且研究致使顾客放弃完成自助行为的起因。

而且，在本实施例中，响应于由用户对于在分析结果屏幕中的操作元件执行的选择操作（参见图5），在显示单元13和17上显示包括所选择的未完成人的图像。因此，使用包括未完成人的图像，用户可以详细查看其中未完成人放弃完成自助行为的情况，并且研究致使人放弃完成自助行为的起因。而且，用户可以确认是否存在未完成人的错误检测，即，是否被检测为未完成人的人是否实际上放弃完成自助行为，由此，诸如商业机构的管理者的用户可以实际上了解未完成人的出现状态。应当注意，可以提供下述功能：该功能用于允许用户在显示单元13和17上校正或删除错误检测结果，其可以被发现作为未完成人和经过的人的行为的详细查看的结果。

接下来，将作出由在餐厅处设置的PC3的物品状态分析单元44执行的物品状态分析处理的说明。在该物品状态分析处理中，执行包含各自的食品并且摆放在沙拉吧处的容器（例如，大盘、碗等）的状态的分析。具体地说，在本实施例中，获得与由餐厅职员执行的容器的更换的状态相关的容器更换信息。

在沙拉吧处，顾客自愿地为自己获取食品，并且因此，不像职员从顾客获取其订单的食品那样，不能从由POS系统管理的订单信息了解在沙拉吧处提供的每一种食品的销售的状态。而且，通常通过在厨房处组合多种配料来准备在沙拉吧处提供的食品。因此，虽然有可能了解从可以被POS系统等管理的每种配料的购买信息购买的每种配料的数量，但是单独购买的每种配料的数量不能指示每种食品的销售的状态。

另一方面，在沙拉吧处，以在各自的独立容器中包含食品的方式来向顾客提供多种食品，并且，餐厅职员执行容器更换工作：从沙拉吧去除需要被重新填充食品的容器，并且在将容器重新填充食品后将该容器返回到沙拉吧。因此，如果获得容器的更换的状态，则有可能了解每种食品的销售的状态，而不需要职员执行麻烦的工作，诸如向终端内输入数据。因此，在物品状态分析处理中，获得与通过餐厅职员执行的容器的更换的状态相关的容器更换信息。

图10是示出显示容器更换信息的分析结果屏幕的示例的示例性图。该分析结果屏幕要被显示在在餐厅处设置的PC3的显示单元13和在管理办公室处设置的PC7的显示单元17上。该分析结果屏幕包括堆积条形图，该堆积条形图示出了在指定日期上的餐厅的营业时间（10:00AM至1:00AM）期间的每一个时隙的、相对于容器更换的总次数的每一种食品的容器更换的次数作为容器更换信息。

从该分析结果屏幕，诸如餐厅的管理者的用户可以了解在容器更换的总次数上的改变的特性以及根据时隙的每种食品的容器更换的次数，其中，每种食品的容器更换的次数提供了容器更换的总数的分类。而且，通过识别其中对于每种食品执行容器更换的时隙，有可能对于每种食品了解在容器更换之间的时间段（更换间隔），即，从当容器被重新填充食品时到当在该容器中供应的食品被耗尽时的时间段。也可能基于容器的更换时间来详细显示更换间隔。

分析结果屏幕进一步包括操作元件81，用于指定年、月和日，使得用户可以通过操作操作元件81来选择日期，并且查看在所选择的日期上的分析结果。应当注意，在其中在管理办公室处设置的PC7的显示单元17上显示分析结果屏幕的情况下，优选地在分析结果屏幕中显示用于允许用户选择餐厅的操作元件。

图11是示意地示出物品状态分析单元44的结构的框图。通过由物品状态分析单元44执行的容器更换检测处理来生成在图10中所示的分析结果屏幕。物品状态分析单元44包括作为与容器更换检测处理相关的单元的感兴趣对象检测单元61、更换检测单元62、汇总单元63和输出信息生成单元64。

感兴趣对象检测单元61基于由用于在沙拉吧周围的区域捕获图像的相机1提供的图像信息来执行下述处理：从沙拉吧检测每一个容器的消失和容器返回到沙拉吧。而且，在该感兴趣对象检测处理中，基于由相机1执行的图像捕获的时间来获得当每一个容器从沙拉吧消失时的时间（消失时间）和当每一个容器返回到沙拉吧时的时间（返回时间）。

更换检测单元62基于由感兴趣对象检测单元61执行的检测结果来执行检测用于每一种食品的容器更换。在该更换检测处理中，当感兴趣对象检测单元61在检测到容器的消失后检测到同一容器的返回时，确定将容器的更换被执行一次。

汇总单元63执行下述处理：汇总由更换检测单元62执行的检测的结果，并且获得每一个时隙（预定时间段）的容器更换的次数。在该汇总处理中，对于定义了用于汇总的单位时间段的每一个时隙（一小时）独立地获得用于每一种食品的容器更换的次数，使得对于每一个时隙获得用于每种食品的容器更换的次数。该用于每一个时隙的汇总的处理需要每一个容器的更换时间，并且可以根据由感兴趣对象检测单元61获得的时间信息（消失时间和返回时间）确定每一个更换时间。

输出信息生成单元64基于由更换检测单元62执行的检测结果来执行生成表示分析结果的输出信息的处理。在该输出信息生成处理中，生成输出信息，该输出信息表示由汇总单元63获得的用于每一个时隙的容器更换的次数。具体地，在本实施例中，输出信息生成单元64基于对于每一个时隙获得的每种食品的容器更换的次数的时间序列来生成与每种食品的容器更换的次数上的改变的趋势相关的信息作为输出信息，使得在PC3和7的显示单元13和显示单元17上显示根据该信息的分析结果屏幕（参见图10）。

图12是示出由被设置来在沙拉吧31周围的区域捕获图像的相机1捕获的图像的示例的说明图。感兴趣对象检测单元61使用已知的图像识别技术来检测出容器从沙拉吧31的消失（去除检测）和容器返回到沙拉吧31（返回检测）。在去除检测和返回检测中，根据背景差别方法，将输入图像与当在沙拉吧31处没有容器时已经捕获的背景图像作比较，以检测出容器的消失（去除）和返回。

图12A示出在职员已经从沙拉吧31去除了容器后立即捕获的图像，其中，在沙拉吧31处没有在图12B中所示的捕获的图像中存在的容器33。图12B示出在职员使容器33返回到沙拉吧31后立即捕获的图像，其中，在沙拉吧31处存在图12A中所示的捕获的图像中不存在的容器33。因此，当在检测到容器的消失后检测到相同容器的返回时，确定将容器的更换执行一次。

如上所述，在本实施例中，检测到在自助区域（沙拉吧）中布置的感兴趣的对象（包含各自的食品的容器）的更换，并且，输出感兴趣的对象的更换的状态的分析结果。由此，诸如商业机构（餐厅）的管理者的用户有可能容易了解感兴趣的对象的更换的状态，而职员不需要执行麻烦的工作，诸如当执行感兴趣的对象的更换时向终端内输入数据。因此，通过基于感兴趣的对象的更换的状态来开发与商业机构的操作相关的改善措施，有可能改善顾客满意度和餐厅的操作的流水线，由此增大餐厅的销售和利润。

而且，在本实施例中，汇总单元63汇总由更换检测单元62执行的检测的结果，并且获得每一个预定时间段（时隙）的每一个感兴趣的对象的更换的次数，并且这允许诸如商业机构的管理者的用户了解每一个预定时间段的每一个感兴趣的对象的更换的次数。而且，从每个预定时间段的感兴趣的每个对象的更换的次数，用户可以了解感兴趣的每个对象的更换间隔，即，在每一个感兴趣的对象的更换之间的时间段。

而且，在本实施例中，输出信息生成单元64基于对于每一个预定时间段（时隙）获得的每一个感兴趣的对象的更换的次数的时间序列来生成与在每一个感兴趣的对象的更换的数量上的改变的趋势相关的信息作为输出信息，使得显示根据该信息的分析结果屏幕（参见图10）。因此，诸如商业机构的管理者的用户可以了解每一个感兴趣的对象的更换次数如何根据时隙改变。因此，通过根据在每一个感兴趣的对象的更换的数量上的改变来在商业机构处进行准备，有可能改善顾客满意度，并且提高销售和利润。

而且，在本实施例中，要对于其执行更换的检测的感兴趣的对象是包含物品的容器。每一个包含物品的容器具有预定形状，并且因此，即使当该物品没有确定的形状时或当该物品由多个物体构成时，也可以改善由感兴趣的对象检测单元和更换检测单元执行的检测的准确度，以允许诸如商业机构的管理者的用户更精确地了解感兴趣的对象的更换的状态。而且，即使当难以计数/测量物品的数/数量时，用户也可以从包含物品的容器的更换的状态了解物品的销售的状态。

在本实施例中，在作为要被执行更换的感兴趣的对象的容器中包含的物品是食品，诸如在沙拉吧处提供的沙拉成分。可以通过组合多个配料来准备这样的食品中的每一种，并且因此，虽然有可能了解所购买的每一个配料的数量，但是可能不直接地获得在沙拉吧处提供的每一种食品的销售状态。也在这样的情况下，有可能通过获得容器的更换的状态来了解在沙拉吧处提供的每一种食品的销售的状态。而且，通过在不同的餐厅之间比较每一种食品的销售的状态或通过将每一种食品的销售的状态与访问餐厅的顾客的数量作比较，有可能适当地订购作为配料的各种材料，由此改善餐厅的操作效率。

在本实施例中，作出了向诸如休闲餐厅的餐厅应用本发明的示例性情况的说明。然而，本发明可以被应用到除了餐厅之外的商业机构，诸如零售商店，其可以是超市、便利店等。例如，本发明可以适用于下述情况：其中，在诸如在超市中的廉价商品处理角的、供顾客选择和拾取的廉价商品处理区（自助区域）中摆放物品。

而且，虽然在本实施例中作出了其中如图4中所示通过在餐厅处设置的PC3执行顾客行为分析处理和物品状态分析处理的整体的示例的说明，但是也可以例如如图1中所示通过诸如在管理办公室处设置的PC7或形成云计算系统的云计算机21的另一个信息处理装置来执行顾客行为分析处理和物品状态分析处理的整体。而且，可以通过多个信息处理装置的合作来执行顾客行为分析处理和物品状态分析处理，在该情况下，多个信息处理装置被配置成能够经由诸如IP网络或LAN的通信介质或经由诸如硬盘或存储卡的存储介质来彼此发送或共享信息。由此，联合执行顾客行为分析处理和物品状态分析处理的多个信息处理装置构成顾客行为分析系统和物品状态分析系统。

在该情况下，优选的是，在餐厅处设置的PC3被配置成至少执行在顾客行为分析处理中的人跟踪处理或在物品状态分析处理中的感兴趣对象检测处理。在这样的结构中，因为由人跟踪处理获得的人跟踪信息和由感兴趣对象检测处理获得的感兴趣对象检测信息具有小的数据量，所以即使通过诸如在管理办公室处设置的PC7的、在除了餐厅之外的位置处设置的信息处理装置来执行剩余的处理，通信负荷也可以小，并且因此，容易以广域网的形式来操作系统。

也可以优选的是，云计算机21被配置成至少执行在顾客行为分析处理中的人跟踪处理或在物品状态分析处理中的感兴趣对象检测处理。在这样的结构中，虽然人跟踪处理和感兴趣对象检测处理需要大量的计算，但是通过构成云计算系统的信息处理装置来实现它们，并且因此，不必在用户侧上、即在餐厅等处准备高速信息处理装置。而且，因为剩余的处理需要小的计算量，所以可以作为要作为销售信息管理装置的、在餐厅处设置的信息处理装置的扩展功能执行剩余的处理，并且这可以降低由用户承担的成本。

云计算机21可以被配置成执行顾客行为分析处理和物品状态分析处理的整体。在这样的结构中，变得有可能也在除了在餐厅处设置的PC3和在管理办公室处设置的PC7之外诸如智能电话22的移动终端上查看分析结果，并且这允许用户不仅在餐厅或管理办公室处而且在诸如用户出差访问的位置的任何其他位置处查看分析结果。

而且，虽然在本实施例中在餐厅处设置的PC3和在管理办公室处设置的PC7用于查看分析结果，但是有可能提供浏览器装置，用于从PC3和7独立地查看分析结果。例如，有可能使用智能电话22来作为用于查看分析结果的浏览器装置，如上所述，或者向POS工作站4提供用于查看分析结果的浏览器装置的功能。而且，虽然在本实施例中在显示单元13和显示单元17上显示分析结果以使得用户能够查看分析结果，但是也有可能通过打印机来输出分析结果。

而且，在本实施例中，如图3中所示，将顾客需要进入以选择和拾取在自助区域处供应的期望的物品的访问区域32划分为两个区域，即，第一区域32a和第二区域32b，但是也有可能将访问区域32划分为三个或更多的区域。

而且，在本实施例中，作出了其中每一个包含一种或多种物品的容器可更换的示例的说明，但是本发明可以被应用到其中物品本身是可更换的情况。

而且，在本实施例中，作出了其中对于从沙拉吧选择和拾取食品的顾客的自助行为执行分析的示例的说明，但是本发明可以被应用到饮料吧或其中对于顾客供应物品以自助的任何其他自助区域。

而且，虽然在本实施例中，每一个具有一小时的持续时间的时隙限定了用于汇总的时间段，但是用于汇总的时间段不限于所示的实施例，并且可以根据用户需要而具有诸如一小时至几小时、一天至几天、一星期至几星期、一个月至几个月等的任何持续时间。

根据本发明的顾客行为分析装置、顾客行为分析系统和顾客行为分析方法具有能够分析从自助区域选择和拾取物品的顾客的自助行为并且检测出放弃完成自助行为的人的优点，并且因此，用作用于执行在商业机构中的顾客的行为的分析的顾客行为分析装置、顾客行为分析系统和顾客行为分析方法。

通过引用在本申请中包含了原始日本专利申请的内容以及在本申请中涉及的现有技术参考文献的内容，在该原始日本专利申请上作出了对于本申请的巴黎公约优先权要求。

Claims (11)

1.一种顾客行为分析装置（43），用于执行对在提供了用于自助的物品的商业机构中从自助区域（31）选择和拾取物品的顾客的自助行为的分析，所述顾客行为分析装置包括：

人跟踪单元（46），所述人跟踪单元被配置为基于由在所述自助区域周围的区域捕获图像的成像装置（1）提供的图像信息来跟踪在所述自助区域周围的区域中移动的人；

未完成人检测单元（48），所述未完成人检测单元被配置为基于由所述人跟踪单元执行的跟踪结果来获得每一个人相对于顾客需要进入以从所述自助区域选择和拾取物品的访问区域（32）的移动方向和所述人在所述访问区域中的停留时间、并且基于所述移动方向和所述停留时间来检测出放弃完成所述自助行为的未完成人；以及

输出信息生成单元（49），所述输出信息生成单元被配置为基于由所述未完成人检测单元执行的检测结果来生成表示分析结果的输出信息，

其中，所述人跟踪单元包括：

人识别单元（52），所述人识别单元被配置为确定在包括所述访问区域的指定区域中检测到的对象是否被识别为人，并且当所述对象被识别为人时，向所述对象分配人ID；以及，

人校正单元（53），所述人校正单元被配置为当被识别为人的第一对象的跟踪在所述指定区域中失败并且其后被识别为人的第二对象在所述指定区域中重新出现时，确定所述第一和第二对象是否代表相同的人，并且当确定所述第一和第二对象代表相同的人时，向所述第二对象分配已经向所述第一对象分配的相同的人ID，其中，当满足下面两个条件的至少一个时所述人校正单元确定所述第一和第二对象代表相同的人：从当所述第一对象的跟踪失败时的时间至当所述第二对象出现时的时间所经历的时间段满足预定接近条件、以及从所述第一对象的跟踪失败的位置到所述第二对象出现的位置的距离满足预定接近条件。

2.一种顾客行为分析装置（43），用于执行对在提供了用于自助的物品的商业机构中从自助区域选择和拾取物品的顾客的自助行为的分析，所述顾客行为分析装置包括：

人跟踪单元（46），所述人跟踪单元被配置为基于由在所述自助区域周围的区域捕获图像的成像装置（1）提供的图像信息来跟踪在所述自助区域周围的区域中移动的人；

未完成人检测单元（48），所述未完成人检测单元被配置为基于由所述人跟踪单元执行的跟踪结果来获得每一个人相对于顾客需要进入以从所述自助区域选择和拾取物品的访问区域（32）的移动方向和所述人在所述访问区域中的停留时间、并且基于所述移动方向和所述停留时间来检测出放弃完成所述自助行为的未完成人；

输出信息生成单元（49），所述输出信息生成单元被配置为基于由所述未完成人检测单元执行的检测结果来生成表示分析结果的输出信息，

其中，当人从其进入所述访问区域的方向和所述人离开所述访问区域的方向相同时、并且当所述人在所述访问区域中的所述停留时间比预定阈值短时，所述未完成人检测单元确定所述人是未完成人。

3.根据权利要求1或2所述的顾客行为分析装置，其中，所述商业机构是餐厅，而所述物品包括食品。

4.根据权利要求1至3中的任何一项所述的顾客行为分析装置，其中：

将所述访问区域划分为至少第一区域（32a）和第二区域（32b），所述第一区域与所述自助区域邻接，而所述第二区域与所述自助区域间隔开；并且

所述未完成人检测单元基于人进入所述第一区域和所述第二区域的状态来检测出未完成人。

5.根据权利要求4所述的顾客行为分析装置，其中，当人从其进入所述访问区域的方向和所述人离开所述访问区域的方向相同时、并且当所述人未进入所述访问区域时，所述未完成人检测单元确定所述人是未完成人。

6.根据权利要求1至5中的任何一项所述的顾客行为分析装置，其中，所述输出信息生成单元生成与每一个预定时间段的所述未完成人的出现状态相关的信息作为所述输出信息。

7.根据权利要求1至6中的任何一项所述的顾客行为分析装置，进一步包括：显示控制单元（50），所述显示控制单元被配置为从记录了由所述成像装置提供的图像信息的图像记录装置（2）获取图像信息、并且向显示装置（13）输出所述图像信息，

其中，所述显示控制单元使得用于选择未完成人的屏幕显示在所述显示装置上，并且一旦由用户执行了选择操作，就使得包括了所选择的未完成人的图像显示在所述显示装置上。

8.一种顾客行为分析系统，用于执行对在提供了用于自助的物品的商业机构中从自助区域（31）选择和拾取物品的顾客的自助行为的分析，所述顾客行为分析系统包括：

成像装置（1），所述成像装置被配置为捕获在所述自助区域周围的区域的图像；以及，

多个信息处理装置（3；7；21），

其中，所述多个信息处理装置共同地包括：

人跟踪单元（46），所述人跟踪单元被配置为基于由所述成像装置提供的图像信息来跟踪在所述自助区域周围的区域中移动的人；

未完成人检测单元（48），所述未完成人检测单元被配置为基于由所述人跟踪单元执行的跟踪结果来获得每一个人相对于顾客需要进入以从所述自助区域选择和拾取物品的访问区域（32）的移动方向和所述人在所述访问区域中的停留时间、并且基于所述移动方向和所述停留时间来检测出放弃完成所述自助行为的未完成人；

输出信息生成单元（49），所述输出信息生成单元被配置为基于由所述未完成人检测单元执行的检测结果来生成表示分析结果的输出信息，

其中，所述人跟踪单元包括：

人识别单元（52），所述人识别单元被配置为确定在包括所述访问区域的指定区域中检测到的对象是否被识别为人，并且当所述对象被识别为人时，向所述对象分配人ID；以及，

人校正单元（53），所述人校正单元被配置为当被识别为人的第一对象的跟踪在所述指定区域中失败并且其后被识别为人的第二对象在所述指定区域中重新出现时，确定所述第一和第二对象是否代表相同的人，并且当确定所述第一和第二对象代表相同的人时，向所述第二对象分配已经向所述第一对象分配的相同的人ID，其中，当满足下面两个条件的至少一个时所述人校正单元确定所述第一和第二对象代表相同的人：从当所述第一对象的跟踪失败时的时间至当所述第二对象出现时的时间所经历的时间段满足预定接近条件、以及从所述第一对象的所述跟踪失败的位置到所述第二对象出现的位置的距离满足预定接近条件。

9.一种顾客行为分析系统，用于执行对在提供了用于自助的物品的商业机构中从自助区域（31）选择和拾取物品的顾客的自助行为的分析，所述顾客行为分析系统包括：

成像装置（1），所述成像装置被配置为捕获在所述自助区域周围的区域的图像；以及，

多个信息处理装置（3；7；21），

其中，所述多个信息处理装置共同地包括：

人跟踪单元（46），所述人跟踪单元被配置为基于由所述成像装置提供的图像信息来跟踪在所述自助区域周围的区域中移动的人；

未完成人检测单元（48），所述未完成人检测单元被配置为基于由所述人跟踪单元执行的跟踪结果来获得每一个人相对于顾客需要进入以从所述自助区域选择和拾取物品的访问区域（32）的移动方向和所述人在所述访问区域中的停留时间、并且基于所述移动方向和所述停留时间来检测出放弃完成所述自助行为的未完成人；以及

输出信息生成单元（49），所述输出信息生成单元被配置为基于由所述未完成人检测单元执行的检测结果来生成表示分析结果的输出信息，

其中，当人从其进入所述访问区域的方向和所述人离开所述访问区域的方向相同时、并且当所述人在所述访问区域中的所述停留时间比预定阈值短时，所述未完成人检测单元确定所述人是未完成人。

10.一种顾客行为分析方法，用于执行对在提供了用于自助的物品的商业机构中从自助区域（31）选择和拾取物品的顾客的自助行为的分析，所述分析由在所述商业机构之内或之外设置的信息处理装置（3；7；21）执行，所述方法包括：

第一步骤（ST101-ST108），基于由在所述自助区域周围的区域捕获图像的成像装置（1）提供的图像信息来跟踪在所述自助区域周围的区域中移动的人；

第二步骤（ST109），基于在所述第一步骤中的跟踪结果来获得每一个人相对于顾客需要进入以从所述自助区域选择和拾取物品的访问区域（32）的移动方向和所述人在所述访问区域中的停留时间、并且基于所述移动方向和所述停留时间来检测出放弃完成所述自助行为的未完成人；

第三步骤，基于在所述第二步骤中的检测结果来生成表示分析结果的输出信息，

其中，所述第一步骤包括：

人识别步骤（ST104），确定在包括所述访问区域的指定区域中检测到的对象是否被识别为人，并且当所述对象被识别为人时，向所述对象分配人ID；以及，

人校正步骤（ST105-ST108），当被识别为人的第一对象的跟踪在所述指定区域中失败并且其后被识别为人的第二对象在所述指定区域中重新出现时，确定所述第一和第二对象是否代表相同的人，并且当确定所述第一和第二对象代表相同的人时，向所述第二对象分配已经向所述第一对象分配的相同的人ID，其中，当满足下面两个条件的至少一个时在所述人校正步骤中确定所述第一和第二对象代表相同的人：从当所述第一对象的所述跟踪失败时的时间至当所述第二对象出现时的时间所经历的时间段满足预定接近条件、以及从所述第一对象的所述跟踪失败的位置到所述第二对象出现的位置的距离满足预定接近条件。

11.一种顾客行为分析方法，用于执行对在提供了用于自助的物品的商业机构中从自助区域（31）选择和拾取物品的顾客的自助行为的分析，所述分析由在所述商业机构之内或之外设置的信息处理装置（3；7；21）执行，所述方法包括：

第一步骤（ST101-ST108），基于由在所述自助区域周围的区域捕获图像的成像装置提供的图像信息来跟踪在所述自助区域周围的区域中移动的人；

第二步骤（ST109），基于在所述第一步骤中的跟踪结果来获得每一个人相对于顾客需要进入以从所述自助区域选择和拾取物品的访问区域（32）的移动方向和所述人在所述访问区域中的停留时间、并且基于所述移动方向和所述停留时间来检测出放弃完成所述自助行为的未完成人；以及

第三步骤，基于在所述第二步骤中的检测结果来生成表示分析结果的输出信息，

其中，当人从其进入所述访问区域的方向和所述人离开所述访问区域的方向相同时、并且当所述人在所述访问区域中的所述停留时间比预定阈值短时，在所述第二步骤中确定所述人是未完成人。