CN104515503A - 停留持续时间测量装置、测量系统及测量方法 - Google Patents

Abstract

本发明涉及停留持续时间测量装置、测量系统及测量方法。一种用于针对每一运动对象测量在测量区中的停留持续时间的停留持续时间测量装置，包括：运动线路获得单元，获得从包括该测量区的图像中检测的每一运动对象的运动线路；运动线路评估单元，确定由该运动线路获得单元获得的运动线路是否包括该测量区中的遗漏部分；以及停留持续时间获得单元，在由运动线路评估单元确定感兴趣的运动对象的运动线路包括该测量区中的遗漏部分的情况下，该停留持续时间获得单元基于在该测量区中的一个或多个其他运动对象的一个或多个运动所需的一个或多个时间段，获得对该遗漏部分补偿的停留持续时间。

Description

停留持续时间测量装置、测量系统及测量方法

技术领域

本发明涉及用于针对每一运动对象，诸如人，测量在测量区中的停留持续时间的停留持续时间测量装置、停留持续时间测量系统及测量停留持续时间测量方法。

背景技术

在商业机构，诸如零售店中，当希望付款的顾客人数增加到一定程度时，可能收银台形成顾客队列(队)，这迫使顾客在队列中等待他们的机会。如果能掌握队列中的客户的等待时间，即，从当每一顾客加入队列时直到当完成结账时的时间段，可以开发基于等待时间，改善商店的运行的措施，由此提高顾客满意度和使商业机构的运行合理化。

为获得顾客的等待时间，可以想到通过摄像机捕获视频图像来覆盖可能形成顾客队列的位置，设定测量区域，使得对应于可能形成顾客队列的捕获图像中的区域，并且测量该测量区中每一顾客的停留持续时间，即，当每一顾客进入测量区时到该顾客退出测量区时的时间段。作为与这种停留持续时间的测量有关的技术，已知全面地分析多个图像帧的信息来跟踪每一顾客的运动路线，即，获得表示由每一顾客采用的路线的运动线路(运动轨迹)，并且基于该运动线路，计算感兴趣区域中每一顾客的停留持续时间(见JP2004-348618A)。

在形成多个人的队列的状态下，沿摄像机的视线，一些人可能相互重叠，因此，从视野阻挡了“背景”人。该现象称为遮挡。如果遮挡发生，人检测的精度下降并且测量区中的运动线路可能变得不完整。即，运动线路可能包括测量区中的遗漏部分。在这种情况下，如果基于运动线路，测量停留持续时间，可能不能获得精确的停留持续时间。上述常规技术未采用任何措施来解决这一问题。

可以想到如果测量区中的运动线路不完整，从测量移除该运动线路。用这种方式，可以避免基于不准确的停留持续时间评估停留状态(队列属性)。然而，当商店挤满顾客时，停留状态的评估尤其重要，并且在这种拥挤状态下，一个顾客遮挡另一个趋于频繁地发生，并且大量运动线路在测量区中趋于变得不完整。因此，如果由于测量线路在测量区中的不完整，从测量中移除这些测量线路，不可能精确地掌握拥挤状态下的停留状态。由此，期望提供一种适当的补偿处理，使得即使对测量区中的测量线路不完整的人(顾客)，也可以获得可与如果测量区中的运动线路完整时相比的停留持续时间。

做出了本发明来解决现有技术中的上述问题，以及本发明的主要目的是提供一种停留持续时间测量装置、停留持续时间测量系统和停留持续时间测量方法，用来即使对测量区中的测量线路不完整的运动对象，也能获得可与如果测量区中的运动线路完整时所获得的相比的停留持续时间。

发明内容

为实现上述目的，本发明的第一方面提供一种停留持续时间测量装置，针对每一运动对象，测量在测量区中的停留持续时间，包括：运动线路获得单元，获得从包括该测量区的图像中检测的每一运动对象的运动线路；运动线路评估单元，确定由该运动线路获得单元获得的运动线路是否包括该测量区中的遗漏部分；以及停留持续时间获得单元，在该运动线路评估单元确定感兴趣的运动对象的运动线路包括该测量区中的遗漏部分的情况下，该停留持续时间获得单元基于在该测量区中的一个或多个其他运动对象的一个或多个运动所需的一个或多个时间段，获得对该遗漏部分补偿的停留持续时间。

根据该结构，即使对测量区中的运动线路不完整的运动对象，也可以获得可与测量区中的运动线路完整所获得的停留持续时间相比的停留持续时间。因此，对所检测的每一运动对象，可以无显著误差地获得停留持续时间，因此，可以在对掌握停留状态尤其重要的拥挤条件下，正确地掌握停留状态。

在本发明的第二方面中，当该运动线路仅与在该测量区的边界上定义的测量起始线和测量结束线的一个交叉或均不交叉时，该运动线路估计单元确定该运动线路包括测量区中的遗漏部分。

根据该结构，能仅通过确定运动线路是否与测量起始线和测量结束线的每一个交叉，做出运动线路是否包括测量区中的遗漏部分的确定，由此，能易于完成确定。

在本发明的第三方面中，停留持续时间测量装置进一步包括学习模型生成单元，采集该测量区中的多个运动对象的运动所需的时间段，并且生成设定补偿时间的学习模型，使得基于该遗漏部分的位置，确定对运动线路中的遗漏部分的补偿时间，其中，该停留持续时间获得单元根据该学习模型，获得基于感兴趣的运动对象的运动线路中的遗漏部分的位置的补偿时间，以及通过使用所获得的补偿时间，获得对该遗漏部分补偿的停留持续时间。

根据该结构，生成设定补偿时间来补偿运动线路中的遗漏部分的学习模型，以及基于该学习模型，获得用于特定运动线路中的遗漏部分的补偿时间，由此，可以获得非常准确的停留持续时间。

在本发明的第四方面中，该运动线路评估单元确定该运动线路是否处于该运动线路出现在该测量区内的出现模式；该学习模型生成单元生成用于该出现模式的学习模型，其中，进入该测量区到达到该测量区中的各个位置所需的时间段被设定为补偿时间；以及当由该运动线路评估单元确定该运动线路处于出现模式时，该停留持续时间获得单元根据用于该出现模式的学习模型，获得基于该运动线路的起点的位置的补偿时间。

根据该结构，在运动线路出现在测量区内的出现模式的情况下，可以易于并且高精度地获得补偿时间。

在本发明的第五方面中，该运动线路评估单元确定该运动线路是否处于运动线路在该测量区内消失的消失模式；该学习模型生成单元生成用于该消失模式的学习模型，其中，从该测量区中的各个位置运动到退出该测量区所需的时间段被设定为该补偿时间；以及当由该运动线路评估单元确定该运动线路处于消失模式时，该停留持续时间获得单元根据用于该消失模式的学习模型，获得基于该运动线路的终点的位置的补偿时间。

根据该结构，在运动线路在测量区内消失的消失模式中，可以易于并且高精度地获得补偿时间。

在本发明的第六方面中，该测量区被分成多个分区；该学习模型生成单元在分区的基础上，采集该测量区中的多个运动对象的运动所需的时间段，并且生成学习模型，使得对每一分区设定补偿时间；以及该停留持续时间获得单元根据该学习模型，获得基于其中存在遗漏部分的一个或多个分区的位置的补偿时间。

根据该结构，能易于生成学习模型，同时能以实际上足够高的精度获得停留持续时间。

在本发明的第七方面，学习模型生成单元生成用于每一时隙的学习模型；以及该停留持续时间获得单元根据其中检测到感兴趣的运动对象的时隙的学习模型，获得补偿时间。

根据该结构，能获得反映测量区中的运动对象的运动状况的补偿时间，其中，运动状况能取决于时隙而改变，由此，能提高获得补偿时间的精度。

在本发明的第八方面中，该停留持续时间获得单元用确定其运动线路不包括该测量区中的遗漏部分的另一运动对象的停留持续时间，替换确定其运动线路包括该测量区中的遗漏部分的运动对象的停留持续时间。

根据该结构，能通过用另一运动对象的停留持续时间，简单地替换感兴趣的运动对象的停留持续时间，获得不受或减少运动线路中的遗漏部分的影响的停留持续时间，由此，能易于执行获得停留持续时间的处理。

在本发明的第九方面中，该停留持续时间获得单元用其运动线路被确定不包括测量区中的遗漏部分的其他运动对象中，时间上最接近其运动线路被确定包括遗漏部分的运动对象的运动对象的停留持续时间，替换其运动线路被确定包括该测量区中的遗漏部分的运动对象的停留持续时间。

根据该结构，由于时间上非常接近感兴趣的运动对象的运动对象非常可能处于与感兴趣的运动对象所处的类似状况，因此，非常可能具有接近感兴趣的运动对象的停留持续时间，由此，通过用时间上最接近运动对象的停留持续时间，替换感兴趣的运动对象的停留持续时间，可以获得高精度的停留持续时间。

在本发明的第十方面中，根据权利要求1的停留持续时间测量装置进一步包括：存储单元，累积地存储由该停留持续时间获得单元对各个运动对象获得的停留持续时间；统计处理单元，在对各个运动对象获得并且累积地存储在该存储单元中的停留持续时间上执行时间统计处理，由此生成统计信息；以及输出信息生成单元，生成包括该统计信息的输出信息。

根据该结构，用户能掌握停留持续时间的时间变化。

在本发明的第十一方面中，该输出信息生成单元生成与显示图像有关的输出信息，在该显示图像中，在包括该测量区的图像上，叠加地显示表示该统计信息的一个或多个图像。

根据该结构，可以检查测量区中的运动对象的停留状态，同时将其与包括测量区的图像中所示的运动对象的实际状态进行比较。

在本发明的第十二方面中，在该显示图像中，由表示该统计信息的图像的大小、色调和深浅的至少一个，表示该统计信息的数值的大小。

根据该结构，可以容易地掌握统计信息的数值的大小。特别地，通过用图像的不同属性表示各种统计信息，单一图像能表示各种统计信息，由此在包括测量区的图像上叠加地显示表示统计信息的一个或多个图像的情况下，最终的显示画面(显示图像)能更易于查看。

在本发明的第十三方面中，该统计处理单元基于对各个运动对象获得的停留持续时间，获得针对各个单位时间的停留持续时间作为统计信息；以及输出信息生成单元生成用于按时间顺序排列针对各个单位时间的停留持续时间的输出信息。

根据该结构，输出针对各个单位时间的停留持续时间，使得按时间顺序排列它们，由此，可以容易地掌握停留持续时间的时间变化，以及易于比较不同单位时间中的停留状态。

在本发明的第十四方面中，该统计处理单元获得在不同条件下获得的统计信息的集合之间的差异；以及该输出信息生成单元生成包括该统计信息的集合之间的差异的输出信息。

根据该结构，输出不同条件下获得的统计信息的集合之间的差异，由此，可以容易地理解不同条件下的运动对象的停留状态之间的差异。

在本发明的第十五方面中，该统计信息除停留持续时间外，还包括同时停留在该测量区中的运动对象的数目。

根据该结构，由于将同时停留在测量区中的运动对象的数目输出为除停留持续时间外的统计信息，可以更详细地掌握测量区中的运动对象的停留状态。

在本发明的第十六方面中，提供一种停留持续时间测量系统，用于针对每一运动对象，测量在测量区中的停留持续时间，包括：摄像机，捕获包括该测量区中的区域的图像；以及多个信息处理装置，其中，该多个信息处理装置共同包括：运动对象检测单元，从由该摄像机捕获的图像中检测运动对象并且输出检测位置信息；运动线路获得单元，基于该检测位置信息，获得每一运动对象的运动线路；运动线路评估单元，确定由该运动线路获得单元获得的运动线路是否包括该测量区中的遗漏部分；以及停留持续时间获得单元，在该运动线路评估单元确定感兴趣的运动对象的运动线路包括该测量区中的遗漏部分的情况下，该停留持续时间获得单元基于在该测量区中的一个或多个其他运动对象的一个或多个运动所需的一个或多个时间段，获得对该遗漏部分补偿的停留持续时间。

根据该结构，与根据本发明的第一方面的结构类似，即使对测量区中的运动线路不完整的运动对象，也可以获得可与测量区中的运动线路完整所获得的停留持续时间相比的停留持续时间。

在本发明的第十七方面中，提供一种停留持续时间测量方法，用于针对每一运动对象，测量在测量区中的停留持续时间，包括步骤：获得从包括该测量区的图像中检测的每一运动对象的运动线路；确定由该获得步骤获得的运动线路是否包括该测量区中的遗漏部分；以及在由该确定步骤确定该感兴趣的运动对象的运动线路包括该测量区中的遗漏部分的情况下，基于在该测量区中的一个或多个其他运动对象的一个或多个运动所需的一个或多个时间段，获得对该遗漏部分补偿的停留持续时间。

根据该结构，与根据本发明的第一方面的结构类似，即使对测量区中的运动线路不完整的运动对象，也可以获得可与测量区中的运动线路完整所获得的停留持续时间相比的停留持续时间。

附图说明

现在，将参考附图，根据其优选实施例，在下文中描述本发明，其中：

图1是示出根据本发明的实施例的停留持续时间测量系统的整体结构的图；

图2是商店中的摄像机1的示例位置的平面图；

图3是用于说明在由摄像机1捕获的图像中设定测量区的说明图；

图4是用于说明测量区中的人和运动线路的各种状况的说明图；

图5是示意性地示出个人计算机(PC)3的功能结构的框图；

图6是用于说明在测量区中设定的测量起始线和测量结束线的说明图；

图7是示出在选择停留持续时间替换处理的情况下，由PC 3执行的处理的流程图；

图8A和8B是用于说明在运动线路出现在测量区中的出现模式的情况下，由停留持续时间获得单元24执行的处理的说明图；

图9A和9B是用于说明在运动线路在测量区中消失的消失模式的情况下，由停留持续时间获得单元24执行的处理的说明图；

图10是用于说明由补偿时间模型生成单元27执行的处理的说明图；

图11是示出在选择基于模式的补偿处理的情况下，由PC 3执行的处理的流程图；

图12是用于说明测量区和网格单元的修改的说明图；

图13是用于说明以表的形式，显示统计信息的示例的说明图；

图14是用于说明将统计信息显示为图像的示例的说明图；

图15是用于说明并排显示在不同条件下获得的统计信息集合的示例的说明图；

图16是用于说明显示在不同条件下获得的统计信息集合之间的差异的示例的说明图；

图17A至17E是示出将统计信息表示为图像的模式的其他示例的说明图；以及

图18是用于说明运动线路在测量区中具有遗漏部分的其他示例的说明图。

具体实施方式

在下文中，将参考附图，描述本发明的实施例。

图1是示出根据本发明的实施例的停留持续时间测量系统的整体结构的图。为零售店，诸如超市等等设计该停留持续时间测量系统，并且其包括摄像机1、记录器(图像存储装置)2、个人计算机(PC)(停留持续时间测量装置)3和运动对象跟踪装置(运动对象检测单元)4。

摄像机1安装在商店中的适当位置来捕获商店中的监视区域的图像，并且将由此获得的图像信息记录在记录器2中。

PC 3与执行各种输入操作的、针对诸如监视人员的用户的输入装置6，诸如鼠标，以及显示监视画面的监视器(显示装置)7连接。应注意到输入装置6和监视器7可以实现为触控板显示器。

PC 3安装在商店的安全站等等中，并且使监视器7显示使监视人员(诸如保安人员)查看由摄像机1拍摄的商店的内部的实时图像或在记录器2中记录的商店的内部的过去图像的监视画面。

安装在管理办公室中的PC 11也与图中未示出的监视器连接，使得处于管理办公室的用户能通过查看由摄像机1拍摄的商店的内部的实时图像或在记录器2中记录的商店的内部的过去图像，检查商店中的情形。

运动对象跟踪装置4执行从由各个摄像机1拍摄的捕获图像检测一个或多个人(运动对象)并且输出针对每一人的跟踪信息(检测位置信息)的处理。该运动对象跟踪处理可以通过使用已知的图像识别技术(人检测技术，人跟踪技术等等)来执行。

图2是商店中的摄像机1的示例性位置的平面图。产品展示货架和收银台位于商店中，以及安装摄像机1来拍摄收银台的图像。顾客从产品展示货架挑选所需产品并且在收银台付款。顾客从安置产品展示货架的产品展示区接近收银台，并且在付款后离开收银台。摄像机1拍摄顾客从前方接近收银台的图像，并且基于由摄像机1拍摄的图像，执行人物检测。

图3是用于说明由图2所示的摄像机1捕获的图像中设定的测量区的说明图。由摄像机1捕获的图像包括在收银台付款的人(顾客)和等待付款的队列中的人，并且这些人从远离摄像机1的后侧(远侧)接近收银台并且从接近摄像机1的前侧(或近侧)离开收银台。因此，在本实施例中，为掌握等待时间，即，从当每一人加入队列时到当该人在收银台完成结账时所需的时间段，对每一收银台设定测量区，使得对应于使用收银台的人必须经过的区域，以及对每一人测量在测量区中的停留持续时间。

图4是用于说明在图3中所示的测量区中的人和运动线路的各种状况的说明图。图4中的部分(A-1)、(B-1)和(C-1)示出人的状况，而图4中的(A-2)、(B-2)和(C-2)示出运动线路的状况。

如果从当人进入测量区时到当人退出测量区时，连续地检测感兴趣的人，如图4中的部分(A-1)所示，可以获得从当人进入测量区时到该人退出测量区时的连续、完整的运动线路，如图4中的部分(A-2)所示。

然而，在顾客(人)在收银台形成队列来等待结账的状态下，作为由于人的重叠，挡住查看“背景”人的现象的遮挡很容易发生。如果遮挡发生，人物检测的精度下降以及测量区中的运动线路可能变得不完整。即，运动线路可能包括测量区中的遗漏部分。

具体地，如图4中的部分(B-1)所示，如果正好在进入测量区前，由另一人遮挡感兴趣的人，进入测量区未被检测，此后，在测量区中被检测，感兴趣的人的运动线路出现在测量区中，如图4中的部分(B-2)所示。在这种情况下，停留持续时间失去从当感兴趣的人进入测量区时到当开始运动线路时，即到当在测量区中首次检测到感兴趣的人时的时间段。

此外，如图4中的部分(C-1)所示，如果在感兴趣的人进入测量区后，由另一人遮挡感兴趣的人，使得感兴趣的人的检测失败，并且此后，在保持被遮挡的同时，该感兴趣的人离开测量区，感兴趣的人的运动线路消失在测量区内，如图4中的部分(C-2)所示。在这种情况下，停留持续时间失去从当感兴趣的人的运动线路终止时，即从当感兴趣的人的检测失败时到当感兴趣的人离开测量区的时间段。

由此，人的运动线路包括测量区中的遗漏部分，不可能基于该运动线路，精确地测量该人在测量区中的停留持续时间。为解决这一问题，在本实施例中，用于测量每一人在测量区中的停留持续时间的停留持续时间测量处理包括用于当确定运动线路包括测量区中的遗漏部分时，获得对该遗漏部分补偿的停留持续时间的补偿处理。

接着，将给出由图1中所示的PC 3执行的停留持续时间测量处理的描述。图5是示意性地示出PC 3的功能结构的框图。应注意到，为简化起见，图5仅示出一个摄像机1和一个运动对象跟踪装置4，尽管该系统可以包括多个摄像机1和多个运动对象跟踪装置4，如图1所示。

PC 3包括跟踪信息存储单元21、运动线路获得单元22、运动线路信息存储单元23、停留持续时间获得单元24和停留持续时间存储单元(存储单元)25。

跟踪信息存储单元21累积地存储由运动对象跟踪装置4获得的跟踪信息。应注意到，跟踪信息包括在由摄像机1捕获的图像的每一帧中检测的每一人的检测位置和从检测到该人的帧的捕获时间获得的每一人的检测时间。

运动线路获得单元22执行获得从覆盖测量区的图像检测的每一人的运动线路的处理。基于由运动对象跟踪装置4生成的跟踪信息，执行该运动线路获得处理。更具体地说，在基于过去数据执行该处理的情况下，运动线路获得单元22从跟踪信息存储单元21获得跟踪信息，而在实时执行该处理的情况下，运动线路获得单元22从运动对象跟踪装置4获得跟踪信息。有关由运动线路获得单元22获得的每一人的运动线路的信息被累积地存储在运动线路信息存储单元23中。运动线路信息包括关于运动矢量、运动矢量改变的位置和时间点等等的信息段。应注意到，在本实施例中，还在测量区外的附近，执行每一运动线路的获得，以便能确定测量区的边界和运动线路是否相互交叉。

停留持续时间获得单元24基于由运动线路获得单元22获得的每一人的运动线路信息，执行获得相关测量区中每一人的停留持续时间的处理。由停留持续时间获得单元24获得的每一人的停留持续时间被累积地存储在停留持续时间存储单元25中。

PC 3进一步包括运动线路评估单元26、补偿时间模型生成单元(学习模型生成单元)27和补偿时间存储单元28。

运动线路评估单元26执行确定由运动线路获得单元22获得的每一运动线路是否包括相关测量区中的遗漏部分的处理。如果在该运动线路评估单元26中，确定某一人的运动线路包括测量区中的遗漏部分，停留持续时间获得单元24执行获得对该遗漏部分补偿的停留持续时间的处理。

补偿时间模型生成单元27对每一测量区，执行采集测量区中的多个人的运动所需的时间段，并且通过使用所采集的数据，生成设定补偿时间，以便基于遗漏部分的位置，确定运动线路中的遗漏部分的补偿时间的补偿时间模型(学习模型)的处理。由补偿时间模型生成单元27生成的补偿时间模型被累积地存储在补偿时间存储单元28中。

PC 3进一步包括测量条件设定单元29和补偿方法设定单元30。

测量条件设定单元29执行根据由用户执行的输入操作，设定测量条件，诸如测量区的数目、位置和形状的处理。补偿方法设定单元30执行根据由用户执行的输入操作，设定停留持续时间获得单元24获得对运动线路中的遗漏部分补偿的停留持续时间的补偿方法。通过使用输入装置6，诸如鼠标，执行用户的这些输入操作。

PC 3进一步包括统计处理单元31和画面生成单元(输出信息生成单元)32。

统计处理单元31在由停留持续时间获得单元24对各个人获得的停留持续时间上执行时间统计处理并且基于此生成统计信息。特别地，在本实施例中，统计处理单元31执行基于各个人的停留持续时间和停留时间点(即，进入测量区的时间点和退出测量区的时间点)，获得每一单位时间(例如时隙)，每一测量区中的停留持续时间，作为统计信息的处理。此外，基于各个人的停留时间点，统计处理单元31获得在每一预定时间，每一测量区中的停留人的数目，即，在每一预定时间，同时停留在每一测量区中的人的数目，作为统计信息。

画面生成单元32执行生成用于使监视器7显示统计信息的画面信息作为包括由统计处理单元31生成的统计信息的输出信息的处理。特别地，在本实施例中，画面生成单元32基于从统计处理单元31获得的统计信息和来自摄像机1或记录器2的图像信息，生成与显示图像有关的画面信息，其中，在包括测量区的图像上，叠加表示统计信息的图像。

应注意到，通过由PC 3的CPU执行用于停留持续时间测量的程序，实现图5中所示的PC 3的各种单元。这些程序可以预装在用作信息处理装置的PC 3中来实现专用于停留持续时间测量的装置，或可以以存储在适当程序记录介质中的方式，提供给用户，作为能在通用OS上运行的应用程序。

接着，将描述由图5所示的运动线路评估单元26执行的处理。图6是用于说明对测量区设定的测量起始线和测量结束线的说明图。

在每一测量区的边界，设定测量起始线和测量结束线。在基于人的运动方向，认为当人进入测量区时，人非常可能穿过的边界的部分，设定测量起始线。在认为当人退出测量区时，人会穿过的边界的部分，设定测量结束线。在图6所示的示例中，测量起始线和测量结束线分别设定在具有正方形的测量区的相对侧上。

根据由用户执行的输入操作，由测量条件设定单元29设定测量起始线和测量结束线，由此，用户能设定这些线路来在测量区的边界上所需程度地延伸。应注意到，测量区还可以按需设定。例如，在银行的ATM角，可以取决于顾客的人数，改变形成队列的方式，如果改变形成队列的方式，人(顾客)的运动方向也改变。由此，根据形成队列的方式，应当改变测量起始线、测量结束线和测量区的设定。

应注意到，可以通过在监视器7上显示由摄像机1捕获的图像，执行测量起始线、测量结束线和测量区的设定，然后，在监视器7显示的图像上，通过操作输入装置6，指定用于限定测量区的位置、形状、大小等等和测量起始线和测量结束线的位置、长度等等的点。例如，当测量区是矩形形状时，可以通过在监视器7上显示的图像上，指定左上角点和右下角点，设定测量区。

运动线路评估单元26执行确定每一测量区中的每一运动线路包括遗漏部分的处理，如图4所示。在该运动线路评估处理中，当运动线路仅与测量起始线和测量结束线的一个交叉或与任何一个均不交叉时，确定该运动线路包括遗漏部分。

即，如图4的部分(B-2)所示，在运动线路出现在测量区内的出现模式的情况下，运动线路不交叉测量起始线，仅与测量结束线交叉。另一方面，如图4中的部分(C-2)所示，在运动线路在测量区内消失的消失模式的情况下，运动线路交叉测量起始线，而不交叉测量结束线。在这些情况下，确定运动线路包括相关测量区中的遗漏部分。

此外，运动线路评估单元26区分图4中的部分(B-2)所示的出现模式和图4中的部分(C-2)所示的消失模式。能通过确定测量线路不与测量起始线和测量结束线的哪一个交叉，执行该区分。

接着，将描述通过图5中所示的停留持续时间获得单元24执行的处理。

停留持续时间获得单元24执行在运动线路评估单元26确定运动线路包括相关测量区中的遗漏部分的情况下，基于测量区中的一个或多个其他人的一个或多个运动所需的一个或多个时间段，获得对该遗漏部分补偿的停留持续时间的处理。另一方面，在确定运动线路不包括遗漏部分的情况下，停留持续时间获得单元24基于与进入测量区和从其退出有关的时间信息，尤其是，到测量区的进入时间和从其的退出时间获得停留持续时间。

该停留持续时间获得处理包括停留持续时间替代处理，用运动线路不包括测量区中的遗漏部分的另一人的停留持续时间，替换运动线路包括遗漏部分的人的停留持续时间，以及基于模型的补偿处理，用于基于通过学习获得的补偿时间模型，获得对应于基于遗漏部分的位置的测量线路中的遗漏部分的补偿时间和使用补偿时间，获得修改的停留持续时间，并且根据由用户执行的选择操作，有选择地执行这些处理。

首先，将描述由停留持续时间获得单元24执行的停留持续时间替换处理。在选择停留持续时间替换处理的情况下，如果由运动线路评估单元26确定感兴趣的人的运动线路包括相关测量区中的遗漏部分，停留持续时间获得单元24执行用运动线路不包括测量区中的遗漏部分的另一人的停留持续时间，替换感兴趣的人的停留持续时间的处理。

具体地，在本实施例中，停留持续时间获得单元24执行用运动线路不包括测量区中的遗漏部分的其他人中，在时间上最接近感兴趣的人的人的停留持续时间，替换感兴趣的人的停留持续时间的处理。即，停留持续时间获得单元24从运动线路信息存储单元23，获得每一人的运动线路信息，搜索停留时间点最接近感兴趣的人的停留时间点并且运动线路不包括测量区中的遗漏部分的人，以及将该人的停留持续时间设定为感兴趣的人的停留持续时间。应注意到，停留时间点可以是进入测量区的时间点和/或退出测量区的时间点。例如，在感兴趣的人的运动线路出现在测量区中的情况下，如图4的部分(B-2)所示，不能获得感兴趣的人进入测量区的时间点，由此，将退出测量区的时间点用作停留时间点，执行时间上最接近感兴趣的人的人的搜索。另一方面，在感兴趣的人的运动线路在测量区内消失的情况下，如图4的部分(C-2)所示，不能获得感兴趣的人退出测量区的时间点，由此，将进入测量区的时间点用作停留时间点，执行该搜索。由此，使用对感兴趣的人能获得的进入时间和退出时间，执行时间上最接近感兴趣的人的人员的搜索。

图7是示出在选择停留持续时间替换处理的情况下，由PC 3执行的处理的流程图。

PC 3首先从运动对象跟踪装置4获得感兴趣的人的跟踪信息(ST101)，并且感兴趣的人的跟踪信息被累积地存储在跟踪信息存储单元21中。然后，运动线路获得单元22基于感兴趣的人的跟踪信息，执行获得感兴趣的人的运动线路的处理(ST102)，以及将感兴趣的人的运动线路信息累积地存储在运动线路存储单元23中。接着，运动线路评估单元26执行运动线路评估来确定感兴趣的人的运动线路是否包括测量区中的遗漏部分(ST103)。

如果在该运动线路评估(ST103)中确定感兴趣的人的运动线路包括测量区中的遗漏部分(ST103为是)，停留持续时间获得单元24对各个人，从累积地存储在运动线路信息存储单元23中的运动线路信息段获得满足替换条件的另一人，即时间上最接近感兴趣的人并且其运动线路不包括测量区中的遗漏部分的另一人的停留持续时间(ST104)，以及用所获得的停留持续时间，替换感兴趣的人的停留持续时间(ST105)。在替换后，将感兴趣的人的停留持续时间累积地存储在停留持续时间存储单元25中(ST106)。

另一方面，如果在运动线路评估(ST103)中确定感兴趣的人的运动线路不包括测量区中的遗漏部分(ST103为否)，停留持续时间获得单元24基于进入测量区的时间点和退出测量区的时间点，计算停留持续时间(ST107)，以及将由此获得的停留持续时间累积地存储在停留持续时间存储单元25中(ST108)。

重复上述处理直到对每一感兴趣的人，执行该处理为止。

接着，将描述由图5中的补偿时间模型生成单元27和停留持续时间获得单元24执行的处理。图8A和8B是用于说明在运动线路出现在测量区内的出现模式的情况下，由停留持续时间获得单元24执行的处理的说明图。图9A和9B是用于说明在运动线路在测量区内消失的消失模式的情况下，由停留持续时间获得单元24执行的处理的说明图。图8A和图9A示出测量区中的运动线路的状态，以及图8B和图9B示出由补偿时间模型生成单元27生成并且由停留持续时间获得单元24使用的补偿时间模型。

测量区中的人的运动速度不是恒定的，而是取决于测量区中的位置而改变。即，处于在收银台处形成的队列中的人运动慢，正在结账的人静止不动，而已经完成结账的人快速运动。由此，对应于运动线路中的遗漏部分的补偿时间取决于运动线路中的遗漏部分的位置而改变。

基于这种观点，在本实施例中，将补偿时间模型生成单元27配置成对每一测量区，采集测量区中的多个人的运动所需的时间段，并且通过使用所采集的数据，生成设定补偿时间，使得基于遗漏部分的位置，确定运动线路中的遗漏部分的补偿时间的补偿时间模型(学习模型)，以及停留持续时间获得单元24被配置成基于补偿时间模型，获得根据运动线路中的遗漏部分的位置的补偿时间，并且使用该补偿时间，获得对该遗漏部分补偿的停留持续时间。

在本实施例中，将每一测量区分成多个网格单元(分区)，以及补偿时间模型生成单元27执行基于网格单元，采集测量区中的多个人的运动所需的时间段，并且通过使用所采集的数据，获得对每一网格单元设定补偿时间的补偿时间模型的处理，而停留持续时间获得单元24执行基于补偿时间模型，获得根据运动线路的遗漏部分存在的一个或多个网格单元的位置的补偿时间的处理。即，从实际测量时间获得通过不包括遗漏部分的一部分的一个或多个网格单元所需的时间段，从补偿时间模型获得通过包括遗漏部分的一部分的一个或多个网格单元所需的时间段，以及通过将这些时间段相加，获得整个测量区中的停留持续时间。应注意到，能将补偿时间模型实现为阐述针对每一网格单元的补偿时间的表。

接着，将详细地描述由停留持续时间获得单元24执行的基于模型的补偿处理。其中，作为运动线路包括测量区中的遗漏部分的情形，将考虑如图8A所示，运动线路出现在测量区内的出现模式和如图9A所示，运动线路在测量区中消失的消失模式。

首先，将描述如图8A所示，人的运动线路出现在测量区内的情形。在这种情况下，补偿时间模型被配置成将补偿时间设定为认为进入测量区的人(即通过测量起始线的人)到达测量区中的各个位置所需的时间段，以及停留持续时间获得单元24基于该补偿时间模型，获得根据运动线路的起点的位置的补偿时间。

特别地，在本实施例中，如在上文所述，在网格单元的基础上，获得补偿时间，以及补偿时间模型被配置成将针对每一网格单元的补偿时间设定为从当人穿过测量起始线时到该人退出每一网格单元时所需的时间段。因此，分配给一个网格单元的补偿时间指示穿过包括具有在一个网格单元中的终点的遗漏部分的一部分的网格单元所需的时间段的累加，以及补偿时间模型对每一网格单元(i,j)设定补偿时间，使得补偿时间对位于离测量起始线更远距离的网格单元，具有更大值，如图8B所示。停留持续时间获得单元24通过参考补偿时间模型，获得通过运动线路的起点位于其中的及其在其上游的一个或多个网格单元的时间段，以及从实际测量时间获得通过运动线路的起点位于其中的网格单元的下游的网格单元的时间段。

在图8A所示的示例中，运动线路的起点Ps出现在网格单元G(3,2)中。因此，基于图8B所示的补偿时间模型，获得运动线路的起点Ps所处的网格单元G(3,2)的补偿时间Tc＝8。此外，基于运动线路信息，获得从当运动线路退出网格单元G(3,2)时到当运动线路达到测量结束线时的实际测量时间Tm。然后，将对应于网格单元G(3,2)的补偿时间Tc＝8与实际测量时间Tm相加来获得停留持续时间。

接着，将描述人的运动线路在测量区内消失的消失模式的情形，如图9A所示。在这种情况下，补偿时间模型被配置成将补偿时间设定为人从测量区中的各个位置运动退出测量区(即，到达测量结束线)所需的时间段，以及停留持续时间获得单元24基于该补偿时间模型，获得根据运动线路的终点的位置的补偿时间。

特别地，在本实施例中，如上所述，在网格单元的基础上，获得补偿时间，以及补偿时间模型将针对每一网格单元的补偿时间设定为从当人进入每一网格单元时到当该人到达测量结束线时所需的时间段。因此，分配给一个网格单元的补偿时间指示穿过包括具有一个网格单元中的起点的遗漏部分的一部分的网格单元所需的时间段的累加，以及补偿时间模型对每一网格单元(i,j)设定补偿时间，使得补偿时间对位于离测量结束线较小距离的网格单元，具有较小值，如图9B所示。停留持续时间获得单元24通过参考补偿时间模型，从实际测量时间，获得穿过运动线路的终点位于其中的网格单元及在其上游的一个或多个网格单元的时间段，以及获得穿过运动线路的终点位于其中的网格单元的下游的一个或多个网格单元的时间段。

在图9A所示的示例中，运动线路的终点Pe存在于网格单元G(3,2)中。因此，基于图9B所示的补偿时间模型，获得运动线路的终点Pe所处的网格单元G(3,2)的补偿时间。此外，基于运动线路信息，获得从当该人穿过测量起始线时到当该人进入网格单元G(3,2)时流逝的实际测量时间Tm。然后，将对应于网格单元G(3,2)的补偿时间Tc＝7与实际测量时间Tm相加来获得停留持续时间。

接着，将描述由图5中所示的补偿时间模型生成单元27执行的处理。图10是用于说明由补偿时间模型生成单元27执行的处理的说明图，特别地，执行生成对应于运动线路出现在测量区内的出现模式的补偿时间模型的处理。

如上所述，补偿时间模型生成单元27执行对每一测量区，采集用于测量区中的多人的运动所需的时间段，并且通过使用所采集的数据，生成设定补偿时间使得基于遗漏部分的位置，确定运动线路中的遗漏部分的补偿时间的补偿时间模型(学习模型)的处理。基于不包括遗漏部分的运动线路，执行该处理。

特别地，对运动线路出现在测量区中的出现模式，如图8A所示，基于不包括遗漏部分的运动线路，采集从进入测量区到达到测量区中的各个位置所需的时间段，即，从穿过测量起始线到退出各个网格单元所需的时间段，并且通过平均对每一网格单元采集的时间段，获得针对每一网格单元的补偿时间。

特别地，如图10所示，对某一运动线路通过的网格单元Gs(i,j)的每一个，计算从当运动线路穿过测量起始线时到当运动线路退出网格单元G(i,j)时所需的时间段T(i,j)，以及对不包括遗漏部分的多个运动线路，重复该处理。当对网格单元G(i,j)，获得多个所需时间段T(i,j)时，通过平均针对网格单元G(i,j)所需的时间段T(i,j)，获得针对网格单元G(i,j)的补偿时间。应注意到，对获得仅一个所需时间段T(i,j)的网格单元G(i,j)，将所需时间段T(i,j)原样用作针对该网格单元的补偿时间。

由于用上述方式，获得针对每一网格单元G(i,j)的补偿时间，因此，通过每一网格单元G(i,j)的运动线路的样本数越多，针对该网格单元G(i,j)的补偿时间变得越精确。另一方面，对无运动线路通过的网格单元G(i,j)，不能获得补偿时间，此外，如果通过某一网格单元G(i,j)的运动线路的样本数少，针对该网格单元G(i,j)的补偿时间的精度下降，即使它们不会产生显著的问题，因为人(或运动线路)首先通过这种网格单元G(i,j)的可能性小。

另一方面，在生成如图9A和9B所示，针对运动线路在测量区中消失的消失模式的补偿时间的处理中，将针对每一网格G(i,j)的补偿时间获得为从每一网格G(i,j)运动到测量结束线所需的时间段，与图10所示的出现模式的情形相反。特别地，基于不包括遗漏部分的运动线路，采集从进入各个网格单元到达到测量结束线所需的时间段，并且通过平均对每一网格单元采集的时间段，获得针对每一网格单元的补偿时间。

可以在适当时间，更新补偿时间模型同时对所检测的人执行处理的偶尔更新模式中，或基于对某一时间段，运动线路不包括测量区中的遗漏部分的人的运动线路信息，生成补偿时间模型的批量生成模式中，执行该补偿时间模型生成处理。

在批量生成模式中，通过处理例如针对一天获得的跟踪信息，生成补偿时间模型，以及使用该补偿时间模型，执行下一天及其后的处理。在这种情况下，一旦生成补偿时间模型，在其后的处理中，不更新补偿时间模型。

在批量生成模式中，还可以基于对每人获得的停留时间点，生成针对不同时隙的补偿时间模型。在这种情况下，停留持续时间获得单元24通过使用适当时隙(即，检测到感兴趣的人(运动对象)的时隙)的补偿时间模型，获得补偿时间。例如，当某一天的工作完成时，可以由对那天获得的运动线路信息，生成针对各个时隙的补偿时间模型，使得在下一天的处理期间，通过使用这些补偿时间模型中，适当时隙的补偿时间模型，获得补偿时间。在这种情况下，在生成补偿时间模型的处理中，对每一时隙，执行针对每一网格单元的所需时间段T(i,j)的采集。

应注意到，在测量条件，即，测量区和每一测量区的测量起始线和测量结束线的设定值不同于生成补偿时间模型的测量条件的情况下，难以使用补偿时间模型，由此，当测量区、测量起始线和/或测量结束线的设定值改变时，应当重新生成补偿时间模型。

图11是示出在选择基于模型的补偿处理的情况下，由PC 3执行的处理的流程图。参考图11，将描述在适当时间，更新补偿时间模型，同时对被选人，执行处理的偶尔更新模式。

PC 3首先从运动对象跟踪装置4获得感兴趣的人的跟踪信息(ST201)，以及将感兴趣的人的跟踪信息累积地存储在跟踪信息存储单元21中。然后，运动线路获得单元22执行基于感兴趣的人的跟踪信息，获得该人的运动线路的处理(ST202)，以及将感兴趣的人的运动线路信息累积地存储在运动线路信息存储单元23中。随后，运动线路评估单元26执行运动线路评估来确定感兴趣的人的运动线路是否包括测量区中的遗漏部分(ST203)。

如果在该运动线路评估(ST203)中确定感兴趣的人的运动线路包括测量区中的遗漏部分(ST203为是)，停留持续时间获得单元24通过使用补偿时间模型，获得补偿时间(ST204)，接着，基于所获得的补偿时间，计算感兴趣的人的停留持续时间(ST205)。然后，将感兴趣的人的停留持续时间累积地存储在停留持续时间存储单元25中(ST206)。

另一方面，如果在运动线路评估(ST203)中确定感兴趣的人的运动线路不包括测量区中的遗漏部分(ST203为否)，停留持续时间获得单元24基于进入测量区的时间点和退出测量区的时间点，计算停留持续时间(ST207)，以及将由此获得的停留持续时间累积地存储在停留持续时间存储单元25中(ST208)。此外，基于感兴趣的人的运动线路信息，更新补偿时间模型(ST209)。

重复上述处理直到对每一感兴趣的人，执行该处理为止。

如在上文所述，在偶尔更新模式中，每次发现不包括遗漏部分的测量线路时，执行更新补偿时间模型的处理。

其中，在下文中，将描述在偶尔更新模式中，更新补偿时间模型的过程，用作将在如图8A和8B所示的出现模式的情况下，将使用的补偿时间模型的示例。首先，当发现不具有遗漏部分的运动线路时，计算对运动线路通过的每一网格单元G(i,j)的所需时间段T(i,j)(见图10)，以及将所需时间段T(i,j)累积地存储在补偿时间存储单元28中，作为补偿时间。此后，当发现不具有遗漏部分的另一运动线路时，计算该运动线路通过的每一网格单元G(i,j)的所需时间段T(i,j)，以及对已经累积存储一个或多个所需时间段T(i,j)的网格单元，平均包括新获得的一个的所需时间段来获得新的补偿时间。然后，更新针对各个网格单元的补偿时间。每次获得不具有遗漏部分的运动线路时，重复上述更新处理。

如在上文中所述，在本实施例中，即使对测量区中的运动线路不完整的人，也可以获得可与如果测量区中的运动线路完整所获得的停留持续时间相比的停留持续时间。因此，可以获得对所检测的每一人，不具有显著误差的停留持续时间，因此，在掌握停留状态尤其重要的拥挤条件下，可以正确地掌握停留状态。此外，在期望掌握停留持续时间的时间变化的情况下，可以避免当实际上，有停留在测量区中的人时不显示停留持续时间的不正常状况。

此外，在本实施例中，能仅通过确定运动线路是否穿过测量起始线和测量结束线的每一个，执行确定测量线路是否包括测量区中的遗漏部分的运动线路评估，由此，能易于执行运动线路评估。

此外，在本实施例中，可以选择通过学习，形成设定用于补偿运动线路中的遗漏部分的补偿时间的补偿时间模型的基于模型的补偿处理，以及基于该补偿时间模型，获得针对运动线路中的遗漏部分的补偿时间。由此，通过选择该模型，可以获得高精度停留持续时间。

此外，在本实施例中，对运动线路出现在测量区内的出现模式，生成补偿时间模型，使得该补偿时间模型将补偿时间设定为从进入测量区到达到测量区中的各个位置，特别是退出各个网格单元所需的时间段，并且基于该补偿时间模型，根据运动线路的起点，特别是根据运动线路的起点存在的网格单元的位置，获得针对感兴趣的运动线路的补偿时间。由此，能易于并且高精度地获得在出现模式的情况下的补偿时间。

此外，在本实施例中，对运动线路在测量区内消失的消失模式，生成补偿时间模型，使得补偿时间模型将补偿时间设定为从测量区中的各个位置运动到测量区外，特别是从进入各个网格单元到退出测量区所需的时间段，并且基于该补偿时间模型，根据运动线路的终点的位置，尤其是根据运动线路的终点存在的网格单元的位置，获得针对感兴趣的运动线路的补偿时间。由此，可以易于并且高精度地获得在消失模式的情况下的补偿时间。

此外，在本实施例中，将测量区分成多个网格单元，以及生成补偿时间模型来设定针对每一网格单元的补偿时间，使得基于该补偿时间模型，获得针对感兴趣的运动线路的补偿时间。由此，能易于生成补偿时间，同时，能通过特别足够的精度，获得停留持续时间。

此外，在本实施例中，对各个时隙，生成补偿时间模型，并且通过使用适当时隙的补偿时间模型，获得补偿时间，由此，能获得反映测量区中的人的运动状况的补偿时间，其中，运动状况能取决于时隙而改变。由此，能提高所获得的补偿时间的精度。

此外，在本实施例中，可以选择用运动线路不包括测量区中的遗漏部分的另一人的停留持续时间，替换确定运动线路包括测量区中的遗漏部分的人的停留持续时间的停留持续时间替换处理。当选择该处理时，通过用另一人的停留持续时间，简单地替换感兴趣的人的停留持续时间，能获得不具有运动线路中的遗漏部分或减小其影响的停留持续时间，由此，能易于执行获得停留持续时间的处理。

特别地，在本实施例中，用运动线路不包括测量区中的遗漏部分的其他人中，时间上最接近确定运动线路包括遗漏部分的人的人的停留持续时间，替换确定运动线路包括测量区中的遗漏部分的人的停留持续时间。时间上最接近感兴趣的人的人非常可能处于感兴趣的人所处的类似状况，因此，非常可能具有接近感兴趣的人的停留持续时间的停留持续时间。因此，通过用时间上最接近的人的停留持续时间，代替感兴趣的人的停留持续时间，可以获得非常精确的停留持续时间。

此外，在本实施例中，能根据由用户执行的输入操作，设定测量条件(测量区和每一测量区的测量起始线和测量结束线的设定值)以及补偿方法(停留持续时间替换处理和基于模型的补偿处理)，由此，用户能适当地选择测量条件和补偿方法。这提高了用户的便利。

图12是用于说明测量区和网格单元的修改的说明图。在图8A和8B以及图9A和9B所示的示例中，设定矩形测量区，以及将每一测量区划分成矩形网格单元(分区)。然而，测量区和网格单元的形状不限于矩形，而是可以取决于测量区中或周围的环境，适当地选择。

在图12所示的示例中，将测量区及其中的网格单元限定成具有梯形形状。在如图12所示，相对于收银台放置摄像机1的情况下，人从远离摄像机的远侧进入测量区并且退出该测量区到达接近摄像机1的近侧，以及在由摄像机1拍摄的图像中，位于远离摄像机1的远侧的人显得小，而位于接近摄像机1的近侧的人显得大。由此，在图12所示的示例中，根据人的外观大小，将测量区和网格单元限定为梯形形状，使得远侧的部分小于近侧的部分。

应注意到，在上述实施例中，测量区在网格模式中被分成网格单元(分区)，本发明不限于按网格模式划分测量区的结构，而是可以根据测量区内部的状况，通过任何适当的分界线，划分测量区。此外，可以适当地选择测量区的划分次数(分区的数目)。同时，分区不一定具有相同的大小，以及每一分区可以根据测量区内部的状况，具有适当的大小。

接着，将描述由图5中所示的统计处理单元31执行的处理。统计处理单元31执行基于对每人获得的停留持续时间和停留时间点，获得每一预定时间点的停留持续时间的处理。此外，统计处理单元31执行基于对每人获得的停留时间点，获得在每一预定时间点停留人数，即同时存在于测量区中的人数的处理。应注意到，在有多个测量区的情况下，对每一测量区，获得每一预定时间点的停留持续时间和每一预定时间点的停留人数。

通过基于对每人获得的停留时间点，总和针对每一预定时间点的人的停留持续时间，能获得每一预定时间点的停留持续时间。特别地，基于对每人获得的停留时间点，提取在每一预定时间点，停留在测量区中的一个或多个人，并且从对那一时间点提取的一个或多个人的一个或多个停留持续时间，获得每一预定时间点的停留持续时间。应注意到，如果在某一时间点，有多个人存在于测量区中，平均这些人的停留持续时间。此外，基于对每人获得的停留时间点，提取在每一预定时间点，停留在测量区中的一个或多个人提供在每一预定时间点的停留人数。

应注意到，能从在运动线路信息存储单元23中存储的每人的运动线路信息，获得对每人获得的停留时间点，即，进入测量区的时间点和退出测量区的时间点。运动线路信息存储单元23将与时间有关的人的位置存储为针对每人的运动线路信息，由此，能从运动线路信息，获得每人的停留时间点。

接着，将描述由统计处理单元31生成的统计信息的输出的示例。如上所述，统计处理单元31执行通过停留持续时间获得单元24，对各个人获得的停留持续时间的时间统计处理，并且基于此生成统计信息，以及画面生成单元32执行生成与在其中示出统计信息的显示画面(显示图像)有关的画面信息的处理，使得在监视器7上显示统计信息。在下文中，将描述在显示器7上显示的显示图像，以示出统计信息。

首先，将描述以表的形式，显示统计信息的示例。图13是用于说明这种示例的说明图。

在图13所示的示例中，以表的形式显示指定时间点的统计信息(停留持续时间和停留人数)。特别地，在该示例中，分别对应于四个收银台，设定测量区A至D，以及对测量区A至D的每一个，显示停留人数、停留持续时间和可靠度。

可靠度指示停留持续时间的正确性似然。假定由Na表示当运动线路包括测量区中的遗漏部分时，对其执行补偿处理(停留持续时间替换处理和基于模型的补偿处理)的人数，以及由Nb表示运动线路不包括测量区中的遗漏部分的人数，能将可靠度表示为Na与Nb的比率，如下述公式中所示：

可靠度＝Na/Nb×100

应注意到，可以将可靠度获得为Na与总人数的比率，如在下述等式中：

可靠度＝Na/(Na+Nb)×100

应注意到，可以显示指定时隙的统计信息。在这种情况下，通过平均停留持续时间和对属于该时隙的时间点获得的停留人数，获得针对某一时隙的停留持续时间和停留人数。

接着，将描述统计信息显示为图像的示例。图14是用于说明这种示例的说明图。

在图14所示的示例中，在由摄像机1拍摄的图像41上叠加地显示表示各个测量区的边框图像42以及分别表示统计信息(停留持续时间和停留人数)的图像43来包括测量区。此外，表示统计信息的图像43被显示为排列成，使得对应于各个测量区(在该示例中，为待叠加的)

配置表示统计信息的每一图像43，使得由图像43的属性表示代表统计信息的数值的大小，其中，属性包括大小、色调(色度)和深浅(阴影)的至少一个。特别地，在图14所示的示例中，每一圆形图像43的填充颜色的深浅表示停留持续时间，以及每一图像43的大小表示停留人数，使得停留持续时间越长，图像43变得越暗，以及停留人数越大，图像43的大小越大。

特别地，在本实施例中，将图像41显示为运动图像，其中，代表统计信息的每一图像43指示对应于图像捕获时间的统计信息，使得，随着统计信息改变，同时播放运动图像时，表示统计信息的每一图像43也改变。即，响应于随着运动图像的播放，停留持续时间和停留人数的改变，每一图像43的颜色的深浅程度和大小也改变。

应注意到，在图14所示的示例中，将表示统计信息的图像43显示为透明或半透明，由此可以检查由表示统计信息的图像43覆盖的图像41中的区域所示的人的状态。

如上所述，在本实施例中，在停留持续时间上执行时间统计处理来生成统计信息，以及输出包括统计信息的输出信息，由此用户能掌握停留持续时间的时间变化。

此外，在本实施例中，在包括一个或多个测量区的图像上，叠加地显示表示统计信息的一个或多个图像。因此，在将其与包括测量区的图像中所示的人的实际状态比较的同时，能检查测量区中的人的停留状态。特别地，在本实施例中，表示统计信息的图像被显示为与各个测量区关联地排列，使得可以容易地将一个测量区中的人的停留状态与另一测量区中的停留状态进行比较。

此外，在本实施例中，由表示统计信息的图像的一个或多个属性，诸如大小、色调和深浅，表示统计信息，由此，可以容易地就掌握统计信息的数值的大小。特别地，通过用图像的不同属性，表示多种统计信息，单一图像能表示多种统计信息，由此在包括测量区的图像上叠加地显示表示统计信息的图像的情况下，能更易于查看最终显示画面(显示图像)。

此外，在本实施例中，将停留持续时间和停留人数输出为统计信息，这使得可以更详细地掌握测量区中的人的停留状态。特别地，在本实施例中，由图像的两个属性(大小和颜色)表示停留持续时间和停留人数，由此，能容易地掌握停留持续时间和停留人数。

接着，将描述并排地显示在不同条件下获得的统计信息的集合的示例。图15是用于说明这种示例的说明图。

应注意到，在图15中，对仅一个时隙(11点到12点)，示出表示统计信息的图像并且对其他时隙，省略图像统计信息的示出，尽管在这些时隙中，也类似地示出表示统计信息的图像。应注意到，显示统计信息的方式与图14所示的示例中的方式相同。

在图15所示的示例中，针对各个时隙(单位时间)的统计信息集合(停留持续时间和停留人数)被显示为将按时间顺序排列。在这种情况下，统计处理单元31执行通过平均属于该时隙的时间点的统计信息段，生成针对每一时隙的统计信息的处理，以及画面生成单元32执行针对，生成用于按时间顺序显示针对各个时隙的统计信息集合的画面信息的处理。

如上所述，在本实施例中，输出每一时隙的停留持续时间和停留人数，使得按时间顺序排列针对各个时隙的信息集合，这使得可以容易地掌握停留持续时间和停留人数的时间变化，并且易于比较不同时隙的停留状态。

应注意到，在图15所示的示例中，在每小时的基础上，显示统计信息，但单位时间不限于一小时，以及可以按分钟，或在上午、中午和晚上周期的基础上，显示统计信息。此外，当以如图13所示的表的形式显示统计信息时，可以如在图15所示的示例中，显示将并排排列的针对各个时隙的统计信息集合。

接着，将描述显示在不同条件下获得的统计信息集合之间的区别的示例。图16是用于说明这种示例的说明图。应注意到，显示统计信息的方式与图14所示的示例中的方式相同。

在图16的部分(A)所示的示例中，显示对两个不同时隙获得的同一商店的统计信息集合之间的区别，其中，两个时隙对应于不同条件。特别地，在该示例中，显示上午和晚上时隙(11:00至12:00和19:00至20:00)之间的区别，使得可以相对于晚上时隙(19:00至20:00)的停留状态，查看上午时隙(11:00至12:00)的停留状态。

在图16的部分(B)所示的示例中，显示对同一时隙中，两个不同商店获得的统计信息集合之间的区别，其中，两个商店对应于不同条件。特别地，在该示例中，显示均在同一时隙(12:00至13:00)获得的、从商店A的统计信息减去商店B的统计信息获得的区别，由此，可以相对于商店B的停留状态，查看商店A的停留状态。

在图16的部分(C)所示的示例中，显示对分别对应于同一商店中的不同位置安装的两个不同摄像机的两个测量区集合，在同一时隙中获得的统计信息集合之间的区别，其中两个摄像机(或两个测量区的集合)对应于不同条件。特别地，在该示例中，显示均在同一时隙(12:00至13:00)获得的、通过从有关由安装在商店A中的另一位置的摄像机A覆盖的测量区的统计信息减去有关由安装在商店A中的一个位置的摄像机B覆盖的测量区的统计信息获得的差别，由此，可以相对于由摄像机B覆盖的测量区的停留状态，查看由摄像机A覆盖的测量区的停留状态。

在图16示出的示例的每一个中，统计处理单元31执行获得在不同条件下获得的统计信息集合(停留持续时间和停留人数)之间的区别，以及画面生成单元32执行生成用于显示由统计处理单元31获得的统计信息集合之间的差别的画面信息的处理。

应注意到，可以以表的形式，显示不同条件下获得的统计信息集合之间的差别，如图13所示的示例中。

如上所述，在本实施例中，输出在不同条件下获得的统计信息集合之间的差别，并且这可以容易地理解不同条件下的人的停留状态之间的差异。

特别地，在图16的部分(A)所示的示例中，可以容易地查看两个不同时隙中的顾客的停留状态之间的差别，由此，能获得对在讨论的将在每一时隙中采用的改进措施有用的信息。在图16的部分(B)所示的示例中，可以容易地明白两个不同商店中的顾客的停留状态之间的差异，由此，能获得对在讨论的将在每一商店中采用的改进措施有用的信息。在图16的部分(C)所示的示例中，可以容易地明白位于商店中的不同位置的不同收银台集合的停留状态之间的差异，由此，能获得对在讨论的用于每一收银台集合的改进措施，例如，在拥挤时间期间，引导顾客的改进有用的信息。

接着，将描述统计信息表示为图像的其他模式。图17A至17E是示出这些示例的说明图。

在图14所示的示例中，在由摄像机1拍摄的图像41上，叠加地显示表示统计信息的图像43来包括测量区，特别地，由分别由圆形图组成的图像43表示统计信息(停留持续时间和停留人数)。然而，表示统计信息的每一图像43可以是由图形、字符和符号的至少一个组成的任何图像。同时，除圆形外的图像，诸如方形可以用作图像43。表示统计信息的每一图像43可以实现为除图形外的图像，诸如一个或多个符号或一个或多个字符。

此外，在图14所示的示例中，由图像43的填充颜色的深浅，表示停留持续时间的长度，以及由图像43的大小表示停留人数。然而，可以由表示统计信息的图像43的任何属性，特别地，通过图像43的大小、图像43的填充颜色、图像43的轮廓线的颜色的色调和深浅以及轮廓线的宽度的任何一个，表示统计信息的数值的大小。

例如，在图17A、17B和17C所示的示例中，表示统计信息的图像43分别由方形组成。特别地，在图17A所示的示例中，由方形的填充颜色的深浅，表示停留持续时间的长度，在图17B所示的示例中，由方形的轮廓线的宽度，表示停留持续时间的长度，以及在图17C所示的示例中，由方形的轮廓线的颜色的深浅，表示停留持续时间的长度。此外，在图17A、17B和17C所示的示例中，由方形的大小表示停留人数。应注意到，在图17A和17C所示的示例中，代替颜色的深浅，可以由色调表示统计信息。

在图17D所示的示例中，分别由符号实现表示统计信息的图像43。特别地，在该示例中，由符号的类型表示停留持续时间的长度，以及由符号的大小表示停留人数。在图17E所示的示例中，分别由字符实现表示统计信息的图像43。特别地，在该示例中，由分别表示大、中和小的三个字母(L，M，S)，表示停留持续时间的长度，而通过每一字符的大小，表示停留人数。

接着，将描述运动线路具有测量区中的遗漏部分的其他示例。图18是用于说明这些示例的说明图。

在上述实施例中，对如图8A所示，运动线路出现在测量区内的出现模式，和对如图9A所示，运动线路在测量区内消失的消失模式，执行使用补偿时间模型来获得停留持续时间的基于模型的补偿处理。然而，如图18所示，存在运动线路包括遗漏部分的各种模式，由此，如在下文所述，应当执行适用于运动线路包括遗漏部分的特定模式的处理。

在图18的部分(A)所示的示例中，在运动线路在测量区内消失后，识别为同一人的运动线路出现在测量区内。在这种情况下，运动线路包括测量区中的遗漏部分，但能清楚地确定进入测量区的时间点和退出测量区的时间点，即，运动线路与测量起始线交叉的时间点和运动线路与测量结束线交叉的时间点，由此，能将基于这些时间点计算的实际测量时间Tm用作停留持续时间。

另一方面，在图18的部分(B)所示的示例中，在出现在测量区内后，运动线路在测量区内消失。在这种情况下，存在不包括测量线路中的遗漏部分的一部分的网格单元。由于能清楚地确定运动线路与这些网格单元的边界线相交的时间点，通过使用这些时间点，获得实际测量时间Tm，能获得穿过不包括遗漏部分的一部分的网格单元所需的时间段。在对应于实际测量时间Tm的区段的区段上游和下游中，对包括运动线路在其中出现的网格单元的区段，通过使用图8所示的补偿时间模型，能获得补偿时间Tc1，以及对包括测量线路在其中消失的网格单元的区段，能通过使用图9B所示的补偿时间模型，获得补偿时间Tc2。然后，通过将实际测量时间Tm与补偿时间Tc1,Tc2相加，能获得停留持续时间。

在图18的部分(C)所示的示例中，在测量区中运动线路重复出现和消失。在所示的情况下，能清楚地确定在其第一次出现后，运动线路与网格单元的边界交叉的时间点和运动线路与测量结束线交叉的时间点，以及从这些时间点，获得实际测量时间Tm。对对应于实际测量时间Tm的区段的区段上游，能通过使用图8B所示的补偿时间模型，获得补偿时间Tc。然后，通过将实际测量时间Tm与补偿时间Tc相加，能获得停留持续时间。

应注意到，在从图18的部分(C)所示的示例，颠倒运动线路的出现和消失模式的情况下(即，在通过颠倒地放置图18的部分(C)中所示的图获得的模式的情况下，通过使用图9所示的补偿时间模型，以类似的过程，获得停留持续时间。

在图18的部分(D)所示的示例中，与图18的部分(C)所示的示例类似，运动线路在测量区中重复地出现和消失。基于运动线路与网格单元的边界线交叉的时间点，能获得实际测量时间Tm。此外，对对应于实际测量时间Tm的区段的区段上游和下游，与图18的部分(B)所示的示例类似，通过分别使用图8B和图9B中所示的补偿时间模型，能获得补偿时间Tc1,Tc2。由此，通过将实际测量时间Tm与补偿时间Tc1,Tc2相加，能获得停留持续时间。

如上所述，在存在运动线路与测量起始线和/或测量结束线和/或遗漏部分的网格单元上游或下游的边界线交叉的多个点的情况下，即使在其间存在遗漏部分，也能获得在这些点的任何两个之间运动所需的实际测量时间，以及通过使用该实际测量时间，能获得停留持续时间。

在上文中，已经就其具体实施例，描述了本发明。然而，为示例目的提供这些实施例，以及本发明不受实施例限定。应注意到，并非全部在本发明的实施例中所示的停留持续时间测量装置、停留持续时间测量系统和停留持续时间测量方法的结构元件均是必不可少的，根据需要，可以有选择地使用它们，而不背离本发明的精神。

例如，在上述实施例中，将测量区设定成对应于零售店，诸如超市中的收银台，但测量区可以设定在形成一个或多个队列的任何地方，诸如银行的ATM角、事件，展览会等等的现场的大门或接待处，或展示板前的区域、展位等等。

例如，在上述实施例中，描述了测量停留持续时间的运动对象为人的示例。然而，运动对象可以是除人以外的。例如，在运动对象为车辆，诸如汽车、自行车等等的情况下，可以使用本发明来掌握进入停车位的车辆的停留状态。

此外，在上述实施例中，补偿时间模型生成单元27被配置成基于不包括遗漏部分的运动线路，生成补偿时间模型。然而，即使有包括遗漏部分的运动线路，也可以使用除遗漏部分外的运动线路的一部分来确定运动线路通过网格单元的时间点，因此，在生成补偿时间模型的过程中，也可以使用包括遗漏部分的运动线路。

此外，在上述实施例中，描述了对各个时隙，生成多个补偿时间模型的示例。然而，可以对除时隙外的各种条件，诸如一周的各天，生成多个补偿时间模型。特别地，在基于对某一时间段获得的运动线路信息，生成一个或多个补偿时间模型的批量生成模式中，获得大量运动线路的样本，由此，能生成用于各种条件的补偿时间模型。

此外，在上述实施例中，与摄像机1分开地提供运动对象跟踪装置4，但运动对象跟踪装置4的功能的一部分或全部可以包含在摄像机1中来构成具有运动对象跟踪功能的成像装置。此外，可以将PC 3的各个单元，诸如运动线路获得单元22包含在摄像机1中。也可以在PC3中实现运动对象跟踪装置4。

此外，在上述实施例中，由设定在商店的装置，执行运动对象跟踪处理和停留持续时间测量处理，但这些处理可以由设立在管理办公室的PC 11或形成云计算系统的云计算机12执行，如图1所示。此外，这些必要的处理可以通过协同多个信息处理装置来执行，在任一情况下，多个信息处理装置被配置成能经通信媒介，诸如IP网络或LAN，彼此通信或共享信息。由此，联合地执行必要处理的多个信息处理装置构成停留持续时间测量系统。

在这种情况下，优选设定在商店的装置被配置成至少执行运动对象检测处理和运动线路获得处理。在这种结构中，由于由运动对象检测处理和运动线路获得处理获得的信息具有少量数据，即使由设立在除商店外的地方的信息处理装置，诸如设置在管理办公室的PC 11执行剩余处理，通信负担小，由此，易于以广域网的形式操作系统。

还可以优选将云计算机12配置成至少执行运动对象检测处理和运动线路获得处理。在这种结构中，尽管运动对象检测处理和运动线路获得处理要求大量计算，但能通过构成云计算系统的信息处理装置实现它们，因此，不必在用户侧，即商店等等准备高速信息处理装置。此外，由于剩余处理要求少量计算，能将剩余处理执行为充当销售信息管理装置的、设立在商店的信息处理装置的延伸功能，这能减轻用户承担的成本。

云计算机12可以被配置成执行全部必要处理或可以被配置成在必要处理中，至少执行输出停留持续时间的统计处理的结果的处理。在这种结构中，变得可以在除设立在商店的PC 3和设立在管理办公室的PC 11外的移动终端，诸如智能电话13上查看停留状态，这允许用户不仅在商店或管理办公室，而且在任何其他地方，诸如用户在正商业访问的地方查看停留状态。

此外，在上述实施例中，在设置在商店的PC 3的监视器7上，输出停留持续时间的统计处理的结果，但可以与PC 3分开地提供用于查看统计处理的结果的浏览器装置。例如，可以将设立在管理办公室的PC 11或上述智能电话13用作用于查看统计处理的结果的浏览器装置。除此之外，也可以将用于查看统计处理的结果的浏览器装置的功能添加到设立在商店的销售信息管理装置。可以从打印机输出统计处理的结果。

根据本发明的停留持续时间测量装置、停留持续时间测量系统和停留持续时间测量方法甚至对测量区中的运动线路不完整的运动对象，也能获得可与如果测量区中的运动线路完整所获得的停留持续时间相比的停留持续时间，由此，可以用作针对每一运动对象，诸如人，测量测量区中的停留持续时间的停留持续时间测量装置、停留持续时间测量系统和停留持续时间测量方法。

Claims (17)

1.一种停留持续时间测量装置(3)，用于针对每一运动对象，测量在测量区中的停留持续时间，包括：

运动线路获得单元(22)，所述运动线路获得单元获得从包括所述测量区的图像中检测的每一运动对象的运动线路；

运动线路评估单元(26)，所述运动线路评估单元确定由所述运动线路获得单元获得的运动线路是否包括所述测量区中的遗漏部分；以及

停留持续时间获得单元(24)，在所述运动线路评估单元确定感兴趣的运动对象的运动线路包括所述测量区中的遗漏部分的情况下，所述停留持续时间获得单元基于在所述测量区中的一个或多个其他运动对象的一个或多个运动所需的一个或多个时间段，获得对所述遗漏部分补偿的停留持续时间。

2.根据权利要求1所述的停留持续时间测量装置，其中，当所述运动线路仅与在所述测量区的边界上定义的测量起始线和测量结束线的一个交叉或均不交叉时，所述运动线路估计单元确定所述运动线路包括所述测量区中的遗漏部分。

3.根据权利要求1或2所述的停留持续时间测量装置，进一步包括学习模型生成单元(27)，所述学习模型生成单元采集所述测量区中的多个运动对象的运动所需的时间段，并且生成设定补偿时间的学习模型，使得基于所述遗漏部分的位置，确定对运动线路中的遗漏部分的补偿时间，

其中，所述停留持续时间获得单元根据所述学习模型，获得基于感兴趣的运动对象的运动线路中的遗漏部分的位置的补偿时间，以及通过使用所获得的补偿时间，获得对所述遗漏部分补偿的停留持续时间。

4.根据权利要求3所述的停留持续时间测量装置，其中：

所述运动线路评估单元确定所述运动线路是否处于所述运动线路出现在所述测量区内的出现模式；

所述学习模型生成单元生成用于所述出现模式的学习模型，其中，进入所述测量区到达到所述测量区中的各个位置所需的时间段被设定为所述补偿时间；以及

当由所述运动线路评估单元确定所述运动线路处于所述出现模式时，所述停留持续时间获得单元根据用于所述出现模式的学习模型，生成基于所述运动线路的起点的位置的补偿时间。

5.根据权利要求3或4所述的停留持续时间测量装置，其中：

所述运动线路评估单元确定所述运动线路是否处于运动线路在所述测量区内消失的消失模式；

所述学习模型生成单元生成用于所述消失模式的学习模型，其中，从所述测量区中的各个位置运动到退出所述测量区所需的时间段被设定为所述补偿时间；以及

当由所述运动线路评估单元确定所述运动线路处于所述消失模式时，所述停留持续时间获得单元根据用于所述消失模式的学习模型，获得基于所述运动线路的终点的位置的补偿时间。

6.根据权利要求3至5的任何一项所述的停留持续时间测量装置，其中：

所述测量区被分成多个分区(G(i,j))；

所述学习模型生成单元在分区的基础上，采集所述测量区中的多个运动对象的运动所需的时间段，并且生成学习模型，使得对每一分区设定补偿时间；以及

所述停留持续时间获得单元根据所述学习模型，获得基于其中存在所述遗漏部分的一个或多个分区的位置的补偿时间。

7.根据权利要求3至6的任何一项所述的停留持续时间测量装置，其中：

所述学习模型生成单元生成用于每一时隙的学习模型；以及

所述停留持续时间获得单元根据其中检测到感兴趣的运动对象的时隙的学习模型，获得所述补偿时间。

8.根据权利要求1或2所述的停留持续时间测量装置，其中，所述停留持续时间获得单元用确定其运动线路不包括所述测量区中的遗漏部分的另一运动对象的停留持续时间，替换确定其运动线路包括所述测量区中的遗漏部分的运动对象的停留持续时间。

9.根据权利要求8所述的停留持续时间测量装置，其中，所述停留持续时间获得单元用其运动线路被确定不包括所述测量区中的遗漏部分的其他运动对象中，时间上最接近其运动线路被确定包括遗漏部分的所述运动对象的运动对象的停留持续时间，替换其运动线路被确定包括所述测量区中的遗漏部分的运动对象的停留持续时间。

10.根据权利要求1至9的任何一项所述的停留持续时间测量装置，进一步包括：

存储单元(25)，所述存储单元累积地存储由所述停留持续时间获得单元对各个运动对象获得的所述停留持续时间；

统计处理单元(31)，所述统计处理单元在对各个运动对象获得的并且累积地存储在所述存储单元中的停留持续时间上执行时间统计处理，由此生成统计信息；以及

输出信息生成单元(32)，所述输出信息生成单元生成包括所述统计信息的输出信息。

11.根据权利要求10所述的停留持续时间测量装置，其中，所述输出信息生成单元生成与显示图像有关的输出信息，在所述显示图像中，在包括所述测量区的图像(41)上，叠加地显示表示所述统计信息的一个或多个图像(43)。

12.根据权利要求11所述的停留持续时间测量装置，其中，在所述显示图像中，由表示所述统计信息的图像的大小、色调和深浅的至少一个，表示所述统计信息的数值的大小。

13.根据权利要求10至12的任何一项所述的停留持续时间测量装置，其中：

所述统计处理单元基于对各个运动对象获得的停留持续时间，获得针对各个单位时间的停留持续时间作为所述统计信息；以及

所述输出信息生成单元生成用于按时间顺序排列针对所述各个单位时间的停留持续时间的输出信息。

14.根据权利要求10至13的任何一项所述的停留持续时间测量装置，其中：

所述统计处理单元获得在不同条件下获得的统计信息的集合之间的差异；以及

所述输出信息生成单元生成包括所述统计信息的集合之间的差异的输出信息。

15.根据权利要求10至14的任何一项所述的停留持续时间测量装置，其中，所述统计信息除所述停留持续时间外，还包括同时停留在所述测量区中的运动对象的数目。

16.一种停留持续时间测量系统，用于针对每一运动对象，测量在测量区中的停留持续时间，包括：

摄像机(1)，所述摄像机捕获包括所述测量区的区域的图像；以及

多个信息处理装置(3，4，11，12，13)，

其中，所述多个信息处理装置共同包括：

运动对象检测单元(4)，所述运动对象检测单元从由所述摄像机捕获的图像中检测运动对象并且输出检测位置信息；

运动线路获得单元(22)，所述运动线路获得单元基于所述检测位置信息，获得每一运动对象的运动线路；

运动线路评估单元(26)，所述运动线路评估单元确定由所述运动线路获得单元获得的运动线路是否包括所述测量区中的遗漏部分；以及

停留持续时间获得单元(24)，在所述运动线路评估单元确定感兴趣的运动对象的运动线路包括所述测量区中的遗漏部分的情况下，所述停留持续时间获得单元基于在所述测量区中的一个或多个其他运动对象的一个或多个运动所需的一个或多个时间段，获得对所述遗漏部分补偿的停留持续时间。

17.一种停留持续时间测量方法，用于针对每一运动对象，测量在测量区中的停留持续时间，包括步骤：

获得从包括所述测量区的图像中检测的每一运动对象的运动线路(ST102；ST202)；

确定由获得步骤获得的运动线路是否包括所述测量区中的遗漏部分(ST103；ST203)；以及

在由确定步骤确定感兴趣的运动对象的运动线路包括所述测量区中的遗漏部分的情况下，基于在所述测量区中的一个或多个其他运动对象的一个或多个运动所需的一个或多个时间段，获得对所述遗漏部分补偿的停留持续时间(ST104，ST105；ST204，ST205)。