CN105391973A - 监控装置、监控系统及监控方法 - Google Patents

Abstract

本发明涉及监控装置、监控系统及监控方法。从监视区域的影像中检测人物，并取得人物的位置信息。对该位置信息按照时间进行统计处理，并根据统计处理的对象期间的设定来取得与人物的停留状况相关的统计信息，并生成热图图像。另外，基于人物的位置信息，对应各预定时刻生成与人物的图像区域对应的遮罩图像。并且，对应各预定时刻生成并输出将热图图像及遮罩图像重叠在背景图像上的监控影像。

Description

监控装置、监控系统及监控方法

技术领域

本发明涉及生成并输出将显示监视区域的移动体的活动状况的前景图像重叠于背景图像上的监控影像的监控装置、监控系统及监控方法。

背景技术

在便利商店等店铺中，基于关于店铺内的顾客的行动的分析来考虑运营店铺时的改善对策，在实现提高顾客满意度、店铺高效的运营而提高店铺的营业额、盈利方面有益。另一方面，在便利商店等店铺中，设置对店铺内进行拍摄的相机而利用该相机的影像来监视店铺内的状况的监视系统广泛普及，若利用该相机的影像取得关于店铺内的顾客的活动状况的信息，则能够高效地对顾客的行动进行分析。

作为利用这种相机的影像来取得关于人物的活动状况的信息的技术，以往已知有从多个相机的影像取得关于监视区域的人物的活动状况的信息并生成使该活动状况可视化的热图图像的技术(参照日本特开2009-134688号公报)。在该技术中，热图图像根据人物的活动度而呈等高线状以颜色进行区分，并重叠显示于监视区域的配置图上。

另外，已知如下技术：在相机的影像上设定多个测定区域(单元格)，对于上述多个测定区域中的各个测定区域，根据人物的动作来取得表示拥挤、停留的状况的值，并对测定区域进行与该值对应的着色(参照日本特开2007-180709号公报)。在该技术中，可以认为对各测定区域进行了着色的图像是热图图像，由此能够立即掌握测定区域的拥挤、停留的状况。

另外，在出于防盗、防灾的监视的目的来阅览相机的影像的情况下虽然没有问题，但是如上述顾客行动分析那样出于监视以外的目的来利用相机的影像的情况下，需要保护顾客的隐私。

对于这种保护顾客的隐私的要求，以往已知如下技术：将由相机拍摄到的影像内的人物的图像区域变更为特定的遮罩图像而显示的技术(参照日本特开2013-186838号公报)。尤其是在该技术中，通过在遮罩图像中显示特征点而容易掌握人物的身体的动作。

另外，如日本特开2009-134688号公报及日本特开2007-180709号公报所公开的技术那样，在使人物的活动状况可视化的热图图像中，根据受关注的商品的陈列架的周边的人物的活动状况，能够掌握顾客对该陈列架的商品的关心度，此外，热图图像基于在预定期间中收集的信息而生成，因此通过热图图像，能够容易地掌握预定期间的人物的活动状况。

另一方面，如日本特开2013-186838号公报公开的技术那样，当将人物的图像区域变更为特定的遮罩图像而显示时，除了保护顾客的隐私以外，也容易辨别背景与人物，因此也可得到能够容易地掌握人物的活动状况的优点，尤其是通过该遮罩图像，能够容易地掌握某瞬间的人物的活动状况。

在顾客行动分析中，希望掌握预定期间的人物的活动状况，并且掌握某瞬间的人物的活动状况，尤其是若在一个监控画面上能够同时掌握预定期间的人物的活动状况和某瞬间的人物的活动状况，则能够使顾客行动分析的作业大幅地高效化。

发明内容

本发明的实施方式的监控装置生成并输出将表示监视区域中的移动体的活动状况的前景图像重叠于背景图像上的监控影像，该监控装置具备：位置信息取得部，从上述监视区域的影像中检测出移动体，并取得各移动体的位置信息；统计信息取得部，对由该位置信息取得部取得的上述位置信息按照时间进行统计处理，并根据上述统计处理的对象期间的设定来取得与移动体的停留状况相关的统计信息；第一前景图像生成部，生成使由该统计信息取得部取得的上述统计信息可视化的第一前景图像；第二前景图像生成部，基于由上述位置信息取得部取得的上述位置信息，对应各预定时刻生成与移动体的图像区域对应的第二前景图像；及影像输出控制部，对应各预定时刻生成并输出将由上述第一及第二前景图像生成部生成的上述第一及第二前景图像重叠于上述背景图像上的上述监控影像。

附图说明

图1是第一实施方式的监控系统的整体结构图。

图2是对店铺的布局及相机1的设置状况进行说明的店铺的俯视图。

图3A是对通过PC3进行的处理的概要进行说明的说明图。

图3B是对通过PC3进行的处理的概要进行说明的说明图。

图4A是对通过PC3进行的处理的概要进行说明的说明图。

图4B是对通过PC3进行的处理的概要进行说明的说明图。

图5A是对通过PC3进行的处理的概要进行说明的说明图。

图5B是对通过PC3进行的处理的概要进行说明的说明图。

图6是表示PC3的概略结构的功能框图。

图7是表示显示于监视器7的监控画面的说明图。

图8是表示图7所示的监控画面的主要部分的说明图。

图9A是表示显示于监视器7的遮罩条件设定画面的说明图。

图9B是表示显示于监视器7的遮罩条件设定画面的说明图。

图10A是表示通过动态显示变更模式显示的监控影像的例子的说明图。

图10B是表示通过动态显示变更模式显示的监控影像的例子的说明图。

图11A是表示通过动态显示变更模式显示的监控影像的例子的说明图。

图11B是表示通过动态显示变更模式显示的监控影像的例子的说明图。

图12是对通过PC3的各部进行的处理的概要进行说明的说明图。

图13A是对通过PC3的各部进行的处理的概要进行说明的说明图。

图13B是对通过PC3的各部进行的处理的概要进行说明的说明图。

图14A是表示第二实施方式的区域分割型的热图图像的说明图。

图14B是表示第二实施方式的区域分割型的热图图像的说明图。

图15是表示第三实施方式的监控系统中的相机1及PC3的概略结构的功能框图。

具体实施方式

本发明为了消除这种现有技术的问题点而作出，其主要目的在于提供一种使用者能够通过一个监控画面而同时掌握预定期间的人物的活动状况和某瞬间的人物的活动状况的监控装置、监控系统及监控方法。

第一技术方案涉及一种监控装置，生成并输出将表示监视区域中的移动体的活动状况的前景图像重叠于背景图像上的监控影像，该监控装置具备：位置信息取得部，从上述监视区域的影像中检测出移动体，并取得各移动体的位置信息；统计信息取得部，对由该位置信息取得部取得的上述位置信息按照时间进行统计处理，并根据上述统计处理的对象期间的设定来取得与移动体的停留状况相关的统计信息；第一前景图像生成部，生成使由该统计信息取得部取得的上述统计信息可视化的第一前景图像；第二前景图像生成部，基于由上述位置信息取得部取得的上述位置信息，对应各预定时刻生成与移动体的图像区域对应的第二前景图像；及影像输出控制部，对应各预定时刻生成并输出将由上述第一及第二前景图像生成部生成的上述第一及第二前景图像重叠于上述背景图像上的上述监控影像。

由此，第一前景图像是表示预定期间的移动体的活动状况的图像，第二前景图像是表示某瞬间的移动体的活动状况的图像，由于第一及第二前景图像同时显示于监控画面，因此使用者能够通过一个监控画面而同时掌握预定期间的移动体的活动状况和某瞬间的移动体的活动状况。

另外，第二技术方案构成为，还具备与上述第一及第二前景图像中的至少一方的显示方式相关的显示方式调整部，该显示方式调整部对上述第一及第二前景图像混同的混同状态进行检测，并变更上述第一及第二前景图像中的至少一方的显示方式以消除该混同状态。

由此，能够避免由于第一及第二前景图像混同的混同状态而难以对两者进行辨别，因此使用者能够可靠地掌握预定期间的移动体的活动状况和某瞬间的移动体的活动状况。并且，能够省去使用者选出不会产生混同状态的适当显示方式的麻烦，因此能够提高使用者的便利性。

另外，第三技术方案构成为，在变更上述第一及第二前景图像中的至少一方的显示方式时，上述显示方式调整部对决定显示方式的颜色、图案、轮廓线及透过率中的至少一个显示要素进行变更。

由此，适当地变更第一及第二前景图像中的至少一方的显示方式，能够可靠地避免第一及第二前景图像混同的混同状态。

另外，第四结束方案构成为，还具备与上述第一及第二前景图像中的至少一方的显示方式相关的显示方式设定部，该显示方式设定部根据使用者的输入操作来设定上述第一及第二前景图像中的至少一方的显示方式。

由此，使用者以不会产生第一及第二前景图像混同的混同状态的方式选择显示方式，由此能够避免由于混同状态而难以辨别第一及第二前景图像，因此使用者能够可靠地掌握预定期间的移动体的活动状况和某瞬间的移动体的活动状况。

另外，第五技术方案构成为，上述显示方式设定部以不会产生上述第一及第二前景图像混同的混同状态的方式对与上述显示方式相关的使用者的输入操作进行引导。

由此，能够省去使用者选出不会产生混同状态的适当显示方式的麻烦，因此能够提高使用者的便利性。

另外，第六技术方案构成为，在设定上述第一及第二前景图像中的至少一方的显示方式时，上述显示方式设定部以不会产生上述混同状态的方式对能够通过使用者的输入操作进行选择的显示方式的备选进行限制。

由此，能够避免错误地选择产生混同状态的显示方式。

另外，第七技术方案构成为，在设定上述第一及第二前景图像中的至少一方的显示方式时，上述显示方式设定部根据使用者的输入操作对决定显示方式的颜色、图案、轮廓线及透过率中的至少一个显示要素进行设定。

由此，能够适当地设定第一及第二前景图像中的至少一方的显示方式，能够可靠地避免第一及第二前景图像混同的混同状态。

另外，第八技术方案构成为，还具备根据上述监视区域的影像来生成上述背景图像的背景图像生成部，该背景图像生成部根据上述对象期间的设定来生成上述背景图像，上述影像输出控制部将上述第一前景图像重叠于上述对象期间与上述第一前景图像的上述对象期间一致的上述背景图像上。

由此，第一前景图像和背景图像由同一对象期间的影像生成，因此第一前景图像与背景图像匹配，能够避免由于第一前景图像与背景图像的不匹配引起的给使用者造成不适感。

另外，第九技术方案构成为，还具备与由上述统计信息取得部进行的处理相关的处理条件设定部，该处理条件设定部根据使用者的任意指定上述对象期间的输入操作来设定上述对象期间，上述影像输出控制部根据使用者的任意指定上述监控影像的显示时刻的输入操作来生成并输出所指定的显示时刻的上述监控影像。

由此，使用者能够自由地指定对象期间，因此通过第一前景图像，能够掌握各种期间的移动体的活动状况。另外，使用者能够自由地指定监控影像的显示时刻，因此通过第二前景图像，能够掌握所需时刻的移动体的活动状况。

另外，第十技术方案涉及一种监控系统，生成并输出将表示监视区域中的移动体的活动状况的前景图像重叠于背景图像上的监控影像，该监控系统具有：拍摄监视区域的相机；及多个信息处理装置，上述多个信息处理装置中的任一信息处理装置具备：位置信息取得部，从上述监视区域的影像中检测出移动体，并取得各移动体的位置信息；统计信息取得部，对由该位置信息取得部取得的上述位置信息按照时间进行统计处理，并根据上述统计处理的对象期间的设定来取得与移动体的停留状况相关的统计信息；第一前景图像生成部，生成使由该统计信息取得部取得的上述统计信息可视化的第一前景图像；第二前景图像生成部，基于由上述位置信息取得部取得的上述位置信息，对应各预定时刻生成与移动体的图像区域对应的第二前景图像；及影像输出控制部，对应各预定时刻生成并输出将由上述第一及第二前景图像生成部生成的上述第一及第二前景图像重叠于上述背景图像上的上述监控影像。

由此，与第一技术方案相同，使用者能够通过一个监控画面而同时掌握预定期间的移动体的活动状况和某瞬间的移动体的活动状况。

另外，第十一技术方案涉及一种监控系统，生成并输出将表示监视区域中的移动体的活动状况的前景图像重叠于背景图像上的监控影像，该监控系统具有：拍摄监视区域的相机；及信息处理装置，上述相机及上述信息处理装置中的任一个具备：位置信息取得部，从上述监视区域的影像中检测出移动体，并取得各移动体的位置信息；统计信息取得部，对由该位置信息取得部取得的上述位置信息按照时间进行统计处理，并根据上述统计处理的对象期间的设定来取得与移动体的停留状况相关的统计信息；第一前景图像生成部，生成使由该统计信息取得部取得的上述统计信息可视化的第一前景图像；第二前景图像生成部，基于由上述位置信息取得部取得的上述位置信息，对应各预定时刻生成与移动体的图像区域对应的第二前景图像；及影像输出控制部，对应各预定时刻生成并输出将由上述第一及第二前景图像生成部生成的上述第一及第二前景图像重叠于上述背景图像上的上述监控影像。

由此，与第一技术方案相同，使用者能够通过一个监控画面而同时掌握预定期间的移动体的活动状况和某瞬间的移动体的活动状况。

另外，第十二技术方案涉及一种监控方法，使信息处理装置进行如下处理：生成并输出将表示监视区域中的移动体的活动状况的前景图像重叠于背景图像上的监控影像的处理，该监控方法包括如下步骤：从上述监视区域的影像中检测出移动体，并取得各移动体的位置信息；对上述位置信息按照时间进行统计处理，并根据上述统计处理的对象期间的设定来取得与移动体的停留状况相关的统计信息；生成使上述统计信息可视化的第一前景图像；基于上述位置信息，对应各预定时刻生成与移动体的图像区域对应的第二前景图像；及对应各预定时刻生成并输出将上述第一及第二前景图像重叠于上述背景图像上的上述监控影像。

由此，与第一技术方案相同，使用者能够通过一个监控画面而同时掌握预定期间的移动体的活动状况和某瞬间的移动体的活动状况。

以下，参照附图对本发明的实施方式进行说明。

(第一实施方式)

图1是第一实施方式的监控系统的整体结构图。该监控系统以便利商店等零售连锁店等为对象而构筑，具备相机1、记录器(影像存储装置)2、PC(监控装置)3。

相机1设置在店铺(设施)内的适当位置，通过相机1对店铺内进行拍摄，将由此得到的影像存储于记录器2。

在PC3上连接有店铺管理人等使用者进行各种输入操作的鼠标等输入设备6、显示监控画面的监视器(显示装置)7。该PC3设置在店铺内的适当位置，使用者通过显示在监视器7上的监控画面，能够实时地阅览由相机1拍摄的店铺内的影像，另外，能够阅览录制于记录器2中的过去的店铺内的影像。

另外，相机1、记录器2及PC3在多个店铺中分别设置，在统一控制多个店铺的总部设置PC11，通过该PC11能够实时地阅览由相机1拍摄的店铺内的影像，另外，能够阅览录制于记录器2中的过去的店铺内的影像，由此在总部能够确认店铺内的状况。

在本实施方式中，设置于店铺的PC3构成监视店铺内的人物或商品的状态的监控装置，店铺侧的使用者、例如店铺管理人通过PC3能够阅览通过该PC3生成的监控信息，此外，发送至设置于总部的PC11，总部侧的使用者、例如对担当的地域的各店铺进行指导、提案的地区经理(监督者等)通过该PC11也能够阅览，PC3、11构成为阅览监控信息的阅览装置。

接下来，对店铺的布局及相机1的设置状况进行说明。图2是对店铺的布局及相机1的设置状况进行说明的店铺的俯视图。

店铺设有出入口、陈列架及收银台等。陈列架分为便当、塑料瓶装饮料、饭团等商品的种类而设置。顾客从出入口进店，通过陈列架之间的通路而在店铺内移动，当找到所希望的商品时，拿着该商品走向收银台，在收银台完成结账(货款的支付)之后从出入口离店。

另外，在店铺中设置有对店铺内(监视区域)进行拍摄的多个相机1。该相机设置在店铺内的顶棚的适当的位置。尤其是在图2所示的例子中，相机1采用的是使用鱼眼透镜而具有360度的拍摄范围的全方位相机，通过该相机1，能够拍摄从出入口进出店铺的人物、停留在店铺内的人物及陈列架的商品。

接下来，对通过图1所示的PC3进行的处理的概要进行说明。图3A、图3B、图4A、图4B及图5A、图5B是对通过PC3进行的处理的概要进行说明的说明图。

如图3A所示，在通过相机1拍摄的影像中拍摄有在陈列架前止步而进行品评的人物、找寻商品而到处走动的人物等。在此，在陈列架前止步而进行品评的人物在陈列架前静止一定时间以上而成为在陈列架前停留的状态，在该陈列架前的人物的停留状况表示顾客对陈列架的商品的关心度，能够用于顾客行动分析。

因此，在本实施方式中，店铺管理人等使用者为了掌握关注的柜台、具体而言为了掌握顾客对于关注的商品的陈列架的关心度，在拍摄了该关注的商品的陈列架前的通路等的区域中设定对象区域，取得关于该对象区域内的人物的停留状况的统计信息，具体而言取得停留度(停留人数)、即在对象区域内停留的人物的人数及停留时间、即人物在对象区域内停留的时间。并且，生成将该统计信息可视化了的热图图像，如图3B所示，将该热图图像重叠显示在去除了人物的背景图像上。通过该热图图像，能够掌握顾客对与对象区域对应的柜台(商品的陈列架)的关心度。

在图3A所示的例子中，在影像上设定有三个对象区域A1～A3，如图3B所示，在与对象区域A1～A3对应的位置显示热图图像H1～H3。

在热图图像中，统计信息的数值的大小通过变更显示方式(图像的属性)、具体而言通过变更大小及颜色(色相、浓度等)中的至少任一个显示要素来表现。尤其是在图3B所示的例子中，热图图像呈椭圆形状，以其涂色的浓度来表现停留时间，以热图图像的大小表现停留度(停留人数)，停留时间越长则热图图像的颜色越浓，停留度越高则热图图像越大。

另外，在出于防盗、防灾的监视的目的来阅览由相机1拍摄的影像的情况下没有问题，但是如上述顾客行动分析那样出于监视以外的其他目的来利用相机1的影像的情况下，需要保护顾客的隐私。

因此，在本实施方式中，如图4A、图4B所示，基于由人物检测取得的各人物的位置信息，生成与人物的图像区域对应的遮罩图像，并将该遮罩图像重叠显示在背景图像上。在图4A所示的例子中，在影像中拍摄有五个人物P1～P5，如图4B所示，将人物P1～P5的各图像区域变更为遮罩图像M1～M5。

这样，在本实施方式中，热图图像及遮罩图像重叠显示在背景图像上，尤其是在本实施方式中，如图5A所示，能够同时显示热图图像及遮罩图像。

在该情况下，会频繁产生热图图像及遮罩图像的各图像区域重合的状态，但是在该状态下，若遮罩图像及热图图像的各显示方式一致或类似，则会产生热图图像与遮罩图像混同的混同状态。即，热图图像及遮罩图像的各图像区域的边界不明确，难以辨别热图图像与遮罩图像。在图5A所示的例子中，在遮罩图像M3及热图图像H2产生了混同状态。

因此，在本实施方式中，在产生了热图图像与遮罩图像混同的混同状态的情况下，作为避免该混同状态的混同避免处理，如图5B所示，将遮罩图像的显示方式变更为与热图图像不一致或不类似的显示方式。在图5B所示的例子中，将产生混同状态的遮罩图像M3的颜色变更为与热图图像H2的颜色不同。以后，将这种混同避免处理称为“动态显示变更模式”。

另外，在本实施方式中，在使用者选择遮罩图像的显示方式时，以不会产生混同状态、即以使热图图像及遮罩图像的各显示方式不一致或不类似的方式对使用者可选择的显示方式的备选进行限制。以下，将这样的混同避免处理称为“静态显示变更模式”。

另外，在本实施方式中，使热图图像及遮罩图像具有透过性，因此成为能够透过背景图像而观察到的状态。

接下来，对通过图1所示的PC3进行的处理进行说明。图6是表示PC3的概略结构的功能框图。

PC3具备：影像取得部31、位置信息取得部32、位置信息存储部33、统计信息取得部34、热图图像生成部(第一前景图像生成部)35、遮罩图像生成部(第二前景图像生成部)36、遮罩图像调整部(显示方式调整部)37、背景图像生成部38、影像输出控制部39、热图图像条件设定部(处理条件设定部)40、遮罩条件设定部(显示方式设定部)41。

在影像取得部31中，从相机1或记录器2取得由相机1对店铺内进行拍摄的影像。在此，在实时地显示当前的影像的情况下，从相机1取得影像，在显示过去的影像的情况下，从记录器2取得影像。

位置信息取得部32从由影像取得部31取得的影像中检测出人物，并取得各人物的位置信息，位置信息取得部32具备人物检测部45、动作路线信息取得部46。

在人物检测部45中进行从由影像取得部31取得的影像(帧)中检测出人物的处理。由该人物检测部45进行的处理使用众所周知的图像识别技术即可。在动作路线信息取得部46中，基于人物检测部45的检测结果，进行取得关于各人物的动作路线的信息的处理。由该动作路线信息取得部46取得的关于各人物的动作路线的信息作为各人物的位置信息而存储于位置信息存储部33。

另外，在该位置信息取得部32中，取得人物的中心点的坐标，以连接该中心点的方式生成动作路线，但除此之外，为了生成遮罩图像，还取得关于人物的图像区域的坐标信息。另外，在由位置信息取得部32取得的位置信息中包含根据检测出人物的影像的拍摄时刻而取得的关于各人物的检测时刻等的时间信息。

统计信息取得部34对由位置信息取得部32取得并存储于位置信息存储部33的人物的位置信息(动作路线信息)按照时间进行统计处理，根据统计处理的对象期间的设定来取得关于以各对象区域(参照图3A、图3B)为对象的人物的停留状况的统计信息(停留时间及停留度)，且统计信息取得部34具备：停留度取得部47和停留时间取得部48。

在停留度取得部47中，基于存储在位置信息存储部33中的各人物的动作路线信息，进行取得对象期间内的各对象区域的停留度(停留人数)的处理。在该处理中，对在对象期间内通过各对象区域的动作路线的根数进行计数，而求出对象期间内的各对象区域的停留度。

在停留时间取得部48中，基于存储在位置信息存储部33内的各人物的动作路线信息，进行取得对象期间内的各对象区域的停留时间的处理。在该处理中，首先，根据对象期间内的各人物的停留时刻(相对于对象区域的进入时刻及退出时刻)，取得各人物在对象区域的停留时间，接着，根据该各人物的停留时间，通过平均化等适当的统计处理来取得各对象区域的停留时间。

在热图图像生成部35中，进行生成使由统计信息取得部34取得的统计信息(停留度及停留时间)可视化的热图图像(第一前景图像)的处理。另外，在本实施方式中，预先设定热图图像的显示方式(颜色、透过率等)，但也可以由使用者适当选择。

在热图图像条件设定部40中，通过使用者的输入操作，来进行设定生成热图图像时的各种条件的处理。在本实施方式中，关于通过统计信息取得部34进行的统计处理的处理条件、具体而言对象区域及对象期间根据使用者的输入操作来设定。根据通过该热图图像条件设定部40设定的处理条件(对象区域及对象期间)，在统计信息取得部34中进行统计处理。

另外，在统计处理的对象期间的设定中存在对象期间固定的期间固定型和对象期间不固定的期间变动型。在期间固定型的情况下，例如，能够如9:00-12:00那样指定时域，生成该时域的热图图像。在期间变动型的情况下，例如，能够如30分钟、1小时那样指定一定时间，进行与期间固定型相同的动作直至达到最初的一定时间，但之后更新生成热图图像的开始时刻和结束时刻，并生成该更新时域(一定时间)的热图图像。

在此，在设定对象区域时，使显示店铺内的影像的输入画面显示于监视器7，使用者只要在该输入画面上输入对象区域的位置，并取得对象区域的位置信息即可。另外，在设定统计处理的对象期间时，使对象期间的输入画面显示于监视器7，在该输入画面上，只要根据统计处理的对象期间的类型(期间变动型、期间固定型)，让使用者输入对象期间的长度、范围，并取得关于对象期间的信息即可。

在遮罩图像生成部36中，基于由位置信息取得部32取得的人物的图像区域的位置信息，进行对应各预定时刻生成与人物的图像区域对应的遮罩图像(第二前景图像)的处理。另外，遮罩图像除了以对应于整个人物的图像区域的方式生成之外，还可以以对应于人物的图像区域的一部分的方式生成。即，从隐私保护的观点出发，也可以通过遮罩图像仅覆盖需要隐藏的图像区域，例如脸部的图像区域。

在遮罩图像调整部37中，检测热图图像与遮罩图像混同的混同状态，并以消除该混同状态的方式，即，以使遮罩图像的显示方式与热图图像的显示方式不一致或不类似的方式进行变更遮罩图像的显示方式的处理。该处理在选择了动态显示变更模式的情况下执行。另外，在不是混同状态的情况下，不变更显示方式而将由遮罩图像生成部36生成的遮罩图像直接输出。

在此，为了检测混同状态，首先，取得遮罩图像及热图图像的各图像区域的位置信息，对遮罩图像及热图图像的各图像区域的重合进行判断。另外，取得热图图像的显示方式，与由使用者设定的遮罩图像的显示方式进行比较，对热图图像及遮罩图像的各显示方式是否一致或类似进行判断。并且，在遮罩图像及热图图像的各图像区域的重合、且热图图像及遮罩图像的各显示方式一致或类似的情况下，判断为混同状态。

另外，热图图像的显示方式根据统计信息(停留时间及停留度)的值而不同，但是作为该热图图像的来源的统计信息伴随着统计处理的对象期间的设定而生成，且逐次变化。因此，在动态显示变更模式中，每当统计信息变化时，重新进行混同状态的检测处理。

在遮罩条件设定部41中，通过使用者的输入操作，来进行设定遮罩图像的各种条件的处理。在本实施方式中，关于与由遮罩图像生成部36及遮罩图像调整部37进行的处理相关的处理条件，具体而言，按照动态显示变更模式及静态显示变更模式来分别设定遮罩图像的显示方式以及显示变更样式。根据由该遮罩条件设定部41设定的条件，在遮罩图像生成部36及遮罩图像调整部37中进行预定处理。

在此，在设定遮罩图像的条件时，显示遮罩条件设定画面(参照图9A、图9B)，在该遮罩条件设定画面上让使用者选择遮罩图像的条件，并取得关于遮罩图像的条件的信息。

在背景图像生成部38中，进行根据由影像取得部31取得的影像来生成背景图像的处理。该背景图像从拍摄影像中去除了人物的图像(前景图像)，只要根据最近的预定学习期间的多个影像(帧)来生成背景图像即可。由该背景图像生成部38进行的处理使用众所周知的技术即可。另外，也可以预先准备不存在人物时的拍摄影像，例如开店前的拍摄影像作为背景图像。

在影像输出控制部39中进行如下处理：将由热图图像生成部35生成的热图图像、由遮罩图像生成部36生成的遮罩图像或由遮罩图像调整部37变更了显示方式的遮罩图像重叠在由背景图像生成部38生成的背景图像上，而对应各预定时刻生成监控影像的处理。由此，监控画面(参照图7、图10A、图10B及图11A、图11B)显示于监视器7。另外，在影像输出控制部39中，进行将遮罩条件设定画面(参照图9A、图9B)显示于监视器7的处理。

另外，在影像输出控制部39中，进行根据使用者的输入操作而控制监控影像的输出的处理。尤其是在该影像输出控制部39中，根据使用者的任意指定监控影像的显示时刻的输入操作，进行生成并输出指定的显示时刻的监控影像的处理。

另外，能够根据使用者的选择，来显示热图图像及遮罩图像中的任一方或双方。另外，在出于防盗、防灾的监视目的而阅览店铺内的影像的情况下，不需要热图图像及遮罩图像，在该情况下，直接输出由影像取得部31取得的原影像。

另外，图6所示的PC3具有处理器(CPU)及程序存储器。PC3的各部通过由PC3的CPU执行监控(影像阅览)用的应用程序(指令)来实现。该程序除了预先导入作为信息处理装置的PC3而构成为专用的装置之外，还可以作为在通用OS上动作的应用程序而记录在适当的程序记录介质中，另外经由网络向使用者提供。

接下来，对显示于图6所示的监视器7的监控画面进行说明。图7是表示显示于监视器7的监控画面的说明图。图8是表示图7所示的监控画面的主要部分的说明图。

该监控画面是使用者为了掌握店铺内的顾客活动状况而阅览的画面，在该监控画面中设有：店铺选择部51、开始按钮52、设定按钮53、动作模式选择部54、日期和时间显示部55、日期和时间设定按钮56、影像操作部57、显示模式显示部58、影像显示部59、显示时刻操作部60。

在店铺选择部51中，使用者通过下拉菜单来选择店铺。开始按钮52用于通过PC3使监控处理开始。设定按钮53用于设定监控处理中的各种条件，在本实施方式中，当对设定按钮53进行操作时，通过弹出来显示遮罩条件设定画面(参照图9A、图9B)。动作模式选择部54用于选择动作模式，准备柜台监控、商品监控、陈列提示及缺货提示等动作模式，通过选择柜台监控来显示该监控画面。

日期和时间显示部55用于显示日期和时间。日期和时间设定按钮56用于设定日期和时间。当对日期和时间设定按钮56进行操作时，显示未图示的日期和时间设定画面，在此通过选择日期和时间，将所选择的日期和时间显示于日期和时间显示部55，另外，将所选择的日期和时间的影像显示于影像显示部59。

在影像显示部59中显示由影像输出控制部39生成的监控影像(动态画面)。尤其是在图7所示的例子中，显示对由作为全方位相机的相机1拍摄的影像进行了全景展开的两个影像。该两个影像中映现出店铺整体，从而能够确认店铺整体的状况。关于在该影像显示部59上显示的监控影像在后文详细说明。

影像操作部57用于进行与显示于影像显示部59上的监控影像的重放相关的操作，设有普通重放、快进重放、回放重放及停止的各操作按钮，通过对上述操作按钮进行操作，能够高效地阅览长时间的监控影像。

显示时刻操作部60用于调整在影像显示部59上显示的监控影像的显示时刻，通过对该显示时刻操作部60进行操作，能够切换成所需的时刻的监控影像。具体而言，当使用鼠标等输入设备6来使滑块61挪动时，将该滑块61所指示的时刻的监控影像显示于影像显示部59。

当操作动作模式选择部54的柜台监控的按钮时，如图8所示，显示下拉菜单62，通过该下拉菜单62，使用者能够选择热图图像及隐私遮罩的各显示模式。在热图图像显示模式中，在影像显示部59上显示将热图图像重叠于背景图像上的监控影像(参照图3B)。在隐私遮罩显示模式下，在影像显示部59上显示将遮罩图像重叠于背景图像上的监控影像(参照图4B)。另外，也可以同时选择热图图像及隐私遮罩的各显示模式，在该情况下，在影像显示部59上显示将热图图像及遮罩图像同时重叠在背景图像上的监控影像(参照图5A、图5B)。

如图7所示，在显示模式显示部58中显示热图图像及隐私遮罩的各显示模式的选择状态。在图7所示的例子中，同时选择热图图像及隐私遮罩的各显示模式，将该选择状态以反转显示的方式进行显示。

接下来，对由图6所示的遮罩条件设定部41进行的处理进行说明。图9A、图9B是表示显示于监视器7的遮罩条件设定画面的说明图。

在本实施方式中，在遮罩条件设定部41中，根据使用者的输入操作，进行设定关于遮罩图像的各种条件的处理，此时，将图9A所示的遮罩条件设定画面显示于监视器7。该遮罩条件设定画面用于使用者指定关于遮罩图像的各种条件，对应于操作监控画面(参照图7)的设定按钮53而以弹出的方式显示。

在该遮罩条件设定画面中设有：显示变更模式选择部71、显示方式选择部72、显示变更样式选择部73、设定按钮74。

在显示变更模式选择部71中，使用者选择动态显示变更模式及静态显示变更模式中的任一个。动态显示变更模式用于在产生了热图图像与遮罩图像的混同状态的情况下，对遮罩图像的显示方式进行变更，静态显示变更模式用于以不会产生热图图像与遮罩图像的混同状态的方式预先对遮罩图像的显示方式的备选进行限制。

在显示方式选择部72中，使用者选择遮罩图像的显示方式。在图9A所示的例子中，以平铺菜单来显示遮罩图像的显示方式的备选。

在此，当在显示变更模式选择部71中选择了静态显示变更模式时，以不产生热图图像与遮罩图像混同的混同状态的方式、即以热图图像及遮罩图像的各显示方式不一致或不类似的方式，对使用者可选择的显示方式的备选进行限制，在显示方式选择部72中，如图9B所示，成为不可选择显示方式的备选中的与热图图像的显示方式一致或类似的显示方式的状态。在图9B所示的例子中，不可选择的显示方式以空心显示。

另外，热图图像的显示方式根据统计信息(停留时间及停留度)的值而不同，以与向热图图像分配的全部显示方式不一致或不类似的方式对遮罩图像的显示方式的备选进行限制。

在显示变更样式选择部73中，在动态显示变更模式下，使用者选择对遮罩图像的显示方式进行变更时的显示变更样式，即如何变更遮罩图像的显示方式。在图9A所示的例子中，在显示变更样式选择部73中通过示意性的图像而显示有显示变更样式的备选。另外，图9A所示的各显示变更样式对应于图10A、图10B及图11A、图11B所示的各例，在后文详细说明。

如以上那样，使用者在显示变更模式选择部71、显示方式选择部72及显示变更样式选择部73中进行所需的选择操作，当操作设定按钮74时，在遮罩条件设定部41中进行根据使用者选择的内容来设定关于遮罩图像的条件的处理。

另外，虽然该遮罩条件设定画面在至少选择了热图图像及隐私遮罩的各显示模式中的隐私遮罩显示模式的情况下显示，但是显示变更模式选择部71及显示变更样式选择部73是在同时选择了热图图像及隐私遮罩的各显示模式的情况下才需要，在仅选择了隐私遮罩显示模式的情况下，最好将显示变更模式选择部71及显示变更样式选择部73以灰色显示而设为不可选择的状态、或者不将显示变更模式选择部71及显示变更样式选择部73显示于遮罩条件设定画面。

另外，显示变更样式选择部73在通过显示变更模式选择部71选择了动态显示变更模式的情况下才需要，在选择了静态显示变更模式的情况下，将显示变更样式选择部73以灰色显示而设为不可操作的状态即可。

接下来，对选择了动态显示变更模式的情况下显示的监控影像进行说明。图10A、图10B及图11A、图11B是表示在动态显示变更模式下显示的监控影像的例子的说明图。

在本实施方式中，在动态显示变更模式下，在产生了热图图像与遮罩图像混同的混同状态的情况下，进行将遮罩图像的显示方式变更为与热图图像的显示方式不一致或不类似的显示方式的处理，在变更该遮罩图像的显示方式时，只要变更决定遮罩图像的显示方式的各种显示要素中的任一个或多个即可。

另外，在变更遮罩图像的显示方式时，存在将显示方式的变更对象限定为与热图图像之间产生了混同状态的遮罩图像的方法和以全部的遮罩图像为对象来变更显示方式的方法。

在图10A及图10B所示的例子中，如图5A所示，仅变更与热图图像H2之间产生了混同状态的遮罩图像M3的显示方式。另一方面，在图11A及图11B所示的例子中，以全部遮罩图像为对象来变更了显示方式。

另外，在图10A及图11A所示的例子中，变更作为决定显示方式的显示要素中的一个的颜色(浓度)。另一方面，在图10B及图11B所示的例子中，显示作为显示要素中的一个的轮廓。即，在初始状态下将轮廓设为非显示，在产生了混同状态的情况下显示轮廓。

另外，如图11A所示，在以全部遮罩图像为对象来变更显示方式的情况下，原本产生了混同状态的热图图像从一开始就需要以与其他的热图图像之间不会产生混同状态的方式变更遮罩图像的显示方式。

另外，在本实施方式中，对变更颜色及轮廓线的各显示要素的例子进行了说明，但是变更的显示要素不限定于颜色及轮廓线，也可以变更图案(花纹)、透过率。

接下来，对由图6所示的PC3的各部进行的处理进行说明。图12是对由PC3的各部进行的处理的概要进行说明的说明图。在图12中，示出由热图图像条件设定部40设定的处理条件的对象期间为期间变动型，例如，指定了30分钟的时间的情况下的输出监控影像的情况。在此，示出输出对象期间的最终的拍摄影像(帧)的时刻的处理状态。

在本实施方式中，在位置信息取得部32中，从各时刻的拍摄影像(帧)中取得各时刻的各人物的位置信息，在遮罩图像生成部36中，根据各时刻的各人物的位置信息来生成各时刻的遮罩图像。另外，在统计信息取得部34中，对于各时刻的各人物的位置信息按照时间进行统计处理，在统计处理的对象期间内取得关于人物的停留状况的统计信息(停留时间及停留度)，在热图图像生成部35中生成使统计信息可视化的热图图像。

另一方面，在背景图像生成部38中，进行根据在统计处理的对象期间内拍摄到的多个影像(帧)来生成背景图像的处理。即，将用于生成背景图像的学习期间设定在对象期间内，根据该学习期间内的多个影像来生成背景图像。并且，在影像输出控制部39中，进行生成将热图图像及遮罩图像重叠在背景图像上的监控影像的处理。

如此，遮罩图像根据各时刻的位置信息而逐次生成，与此相对，热图图像及背景图像根据统计处理的对象期间的设定而生成。因此，在各时刻的监控影像中，该时刻的遮罩图像和与该时刻对应的对象期间的热图图像重叠在与该时刻对应的对象期间的背景图像上。

另外，在生成作为热图图像的来源的统计信息时，无需以从对象期间内的拍摄影像得到的全部位置信息为对象，也可以从对象期间内的拍摄影像中隔开恒定间隔地选择的拍摄影像的位置信息为对象。

接下来，对由图6所示的统计信息取得部34进行的统计处理的对象期间进行说明。图13A、图13B是对由PC3的各部进行的处理的概要进行说明的说明图。

在本实施方式中，在影像输出控制部39中，根据使用者的任意指定监控影像的显示时刻(重放位置)的输入操作，进行生成并输出所指定的显示时刻的监控影像的处理。并且，在连续地输出监控影像时，根据显示时刻的人物的位置信息而逐次生成遮罩图像，并根据基于与显示时刻对应的对象期间内的人物的位置信息的统计信息，生成热图图像，将得到的热图图像及遮罩图像重叠在背景图像上而生成监控影像。

如上所述，在生成作为热图图像的来源的统计信息的统计处理的对象期间的设定中，存在对象期间固定的期间固定型和对象期间不固定的期间变动型，关于该对象期间的设定的不同而产生的两种处理方法，参照图13A、图13B进行说明。

在图13A中，作为统计处理的对象期间，示出了期间固定型的例子。在该情况下，遮罩图像对应于显示时刻的进展而时时刻刻地变化。另一方面，热图图像显示的是统计处理的对象期间内的到显示时刻(t1、t2)为止所取得的统计信息的累计结果所对应的图像。

在图13B中，作为统计处理的对象期间，示出了期间变动型的例子。在该期间变动型中，以使显示时刻成为对象期间的结束时刻的方式更新对象期间。即，对象期间始终是从显示时刻向过去追溯了对象期间的长度T(例如，30分钟)的时刻至显示时刻的期间。在该情况下，遮罩图像与图13A所示的方法相同，对应于显示时刻进展而时时刻刻地变化。另一方面，热图图像显示在仅与显示时刻的之前的对象期间内取得的统计信息的累计结果对应的图像。另外，在本例中，将以显示时刻为基准而向过去追溯了长度T(例如，30分钟)的期间作为对象期间，但也可以将以显示时刻的恒定时间之前的时刻为基准而向过去追溯了长度T的期间作为对象期间。

在此，图13A所示的期间固定型假定热图图像的统计处理的对象期间比较长且也想要将遮罩图像一并显示的情况，适合于根据存储于记录器2的过去的影像来生成并显示监控影像的情况。另一方面，图13B所示的期间变动型假定热图图像的统计处理的对象期间比较短且想要将遮罩图像也一并显示的情况，适合于根据通过相机1拍摄到的当前的影像而实时地生成并显示监控影像的情况。

另外，在本实施方式中，在热图图像条件设定部40中，如上所述，根据使用者的任意指定统计处理的对象期间的输入操作，来设定对象期间，根据统计处理的对象期间的类型(期间变动型、期间固定型)，使用者能够自由地指定对象期间的长度(例如30分钟)、范围(例如9:00-12:00)。

如以上那样，在本实施方式中，在位置信息取得部32中，从监视区域的影像来检测人物，并取得各人物的位置信息，在统计信息取得部34中，对于由位置信息取得部32取得的位置信息按照时间进行统计处理，并根据统计处理的对象期间的设定来取得关于人物的停留状况的统计信息，在热图图像生成部35中，生成使由统计信息取得部34取得的统计信息可视化的热图图像，在遮罩图像生成部36中，基于由位置信息取得部32取得的位置信息，对应各预定时刻生成与人物的图像区域对应的遮罩图像，在影像输出控制部39中，对应各预定时刻生成并输出将由热图图像生成部35及遮罩图像生成部36生成的热图图像及遮罩图像重叠在背景图像上的监控影像。由此，热图图像表示预定期间的人物的活动状况，遮罩图像表示某瞬间的人物的活动状况，同时在监控画面上显示该热图图像及遮罩图像，因此使用者能够通过一个监控画面而同时掌握预定期间的人物的活动状况和某瞬间的人物的活动状况。

另外，在本实施方式中，在遮罩图像调整部(显示方式调整部)37中，检测热图图像与遮罩图像混同的混同状态，以消除该混同状态的方式变更遮罩图像的显示方式，因此能够避免由于热图图像与遮罩图像混同的混同状态而难以对两者进行辨别，因此使用者能够可靠地掌握预定期间内的人物的活动状况和某瞬间的人物的活动状况。并且，能够省去使用者选出不会产生混同状态的适当显示方式的麻烦，因此能够提高使用者的便利性。

另外，在本实施方式中，在遮罩图像调整部37中，当变更遮罩图像的显示方式时，变更决定显示方式的颜色、图案、轮廓线及透过率中的至少一个显示要素，因此能够适当地变更遮罩图像的显示方式，可靠地避免热图图像与遮罩图像混同的混同状态。

另外，在本实施方式中，在遮罩条件设定部(显示方式设定部)41中，根据使用者的输入操作来设定遮罩图像的显示方式，使用者以不会产生热图图像与遮罩图像混同的混同状态的方式选择显示方式，由此能够避免由于混同状态而难以辨别热图图像与遮罩图像，因此使用者能够可靠地掌握预定期间的人物的活动状况和某瞬间的人物的活动状况。

另外，在本实施方式中，在遮罩条件设定部41中，以不会产生热图图像与遮罩图像混同的混同状态的方式引导与显示方式相关的使用者的输入操作，因此能够省去使用者选出不会产生混同状态的适当显示方式的麻烦，因此能够提高使用者的便利性。

另外，在本实施方式中，在遮罩条件设定部41中，在设定遮罩图像的显示方式时，以不会产生热图图像与遮罩图像混同的混同状态的方式对能够通过使用者的输入操作进行选择的显示方式的备选进行限制，因此能够避免错误地选择会产生混同状态的显示方式的情况。

另外，在本实施方式中，在遮罩条件设定部41中，当设定遮罩图像的显示方式时，根据使用者的输入操作来设定显示方式的颜色、图案、轮廓线及透过率中的至少一个显示要素，因此能够适当地设定遮罩图像的显示方式，能够可靠地避免热图图像与遮罩图像混同的混同状态。

另外，在本实施方式中，在背景图像生成部38中，根据统计处理的对象期间的设定来生成背景图像，在影像输出控制部39中，将热图图像重叠在对象期间与其一致的背景图像上，由于热图图像与背景图像由同一对象期间的影像生成，因此热图图像与背景图像匹配，能够避免因热图图像与背景图像的不匹配而给使用者造成不适感的情况。

另外，在本实施方式中，在热图图像条件设定部(处理条件设定部)40中，根据使用者的任意指定对象期间的输入操作来设定对象期间，在影像输出控制部39中，根据使用者的任意指定监控影像的显示时刻的输入操作来生成并输出指定的显示时刻的监控影像。由此，使用者能够自由地指定对象期间，因此通过热图图像，能够掌握各种期间的人物的活动状况。另外，使用者能够自由指定监控影像的显示时刻，因此通过遮罩图像能够掌握所需时刻的人物的活动状况。

(第二实施方式)

接下来，对第二实施方式进行说明。另外，在此未特别言及的内容与第一实施方式相同。图14A、图14B是表示第二实施方式的区域分割型的热图图像的说明图。

在第一实施方式中，如图3A、图3B所示，在监视区域(相机1的摄像区域)内设定对象区域，将使各对象区域的统计信息(停留时间及停留度)可视化的热图图像重叠在背景图像上，但是在该第二实施方式中，如图14A、图14B所示，以监视区域的整体为对象区域，将该对象区域分割成多个网格(分割区域)，将表示各网格的统计信息的热图图像重叠在背景图像上，通过该热图图像能够掌握监视区域的统计信息的分布状况。

另外，在该区域分割型的热图图像中，对各网格变更颜色、浓淡、图案(花纹)及透过率中的至少任一个显示要素，由此能够表现各网格的统计信息的数值的大小，在图14A、图14B所示的例子中，以网格的浓淡(涂色的浓度)来表现各网格的停留度。

另外，在图3A、图3B所示的热图图像中，以热图图像的颜色的浓度及大小而使两个统计信息即停留时间及停留度同时可视化，另一方面，在图14A、图14B所示的热图图像中，仅以一个统计信息即停留度进行可视化，但也可以取代停留度而设为停留时间。另外，也可以另行生成使停留时间的统计信息可视化的热图图像，并显示为另一监控影像。

另外，为了生成表示停留度的热图图像，在对象期间只要对通过了各网格的人物的动作路线的根数进行计数，并求出各网格的停留度即可。另外，若对各网格来取得不同人物的停留时刻，则能够同时取得各网格的停留时间及停留人数，由此，能够同时生成表示停留度的热图图像和表示停留时间的热图图像。

(第三实施方式)

接下来，对第三实施方式进行说明。另外，在此未特别言及的内容与第一实施方式相同。图15是表示第三实施方式的监控系统的相机1及PC3的概略结构的功能框图。

在该第三实施方式中，在第一实施方式中设于PC3中的位置信息取得部32、位置信息存储部33、统计信息取得部34、遮罩图像生成部36及背景图像生成部38设于相机1中。在相机1中设有具有摄像元件及光学元件的摄像部81，从该摄像部81输出的影像输入位置信息取得部32及背景图像生成部38。另一方面，在PC3中设有热图图像生成部35、遮罩图像调整部37、影像输出控制部39、热图图像条件设定部40及遮罩条件设定部41。

在相机1及PC3的各部中，进行与第一实施方式相同的处理，但是尤其是在该第三实施方式中，通过热图图像条件设定部40设定的信息，即关于对象区域及对象期间的信息、通过遮罩条件设定部41设定的信息，即关于遮罩图像的显示方式等的信息从PC3的控制部83传送至相机1的控制部82，基于该信息而由遮罩图像生成部36及统计信息取得部34进行预定处理。

以上，基于特定的实施方式对本发明进行了说明，但是上述实施方式只不过是例示，本发明不限定于上述实施方式来。另外，上述实施方式所示的本发明的监控装置、监控系统及监控方法的各结构要素未必全部是必须的，只要至少在不脱离本发明的范围内就能够适当取舍选择。

例如，在上述实施方式中，对便利商店等零售店铺的例子进行了说明，但是不限定于这种零售店铺，也可以适用于零售店铺以外的业务方式的店铺，例如饮食店、银行等。此外，也可以适用于以店铺以外的监视区域为对象的用途。

另外，在上述实施方式中，对以作为遮罩处理的对象的移动体为人物的例子进行了说明，但也可以将除了人物以外的移动体作为对象，例如汽车、自行车等车辆。

另外，在上述实施方式中，如图2所示，将相机1设为使用鱼眼透镜而具有360度的拍摄范围的全方位相机，但也可以是具有预定视角的相机，即所谓的匣式相机。

另外，在上述实施方式中，为了避免热图图像与遮罩图像混同的混同状态，而进行混同避免处理，即在动态显示变更模式下变更遮罩图像的显示方式，在静态显示变更模式下限制遮罩图像的显示方式的备选，但是该混同避免处理的对象不限定于遮罩图像，也可以将热图图像作为混同避免处理的对象，此外，也可以将热图图像及遮罩图像同时作为混同避免处理的对象。

另外，在上述实施方式中，在动态显示变更模式下，在热图图像及遮罩图像的各图像区域重合的情况下，进行混同避免处理，但是在热图图像及遮罩图像的各图像区域接触的情况下，也有可能产生热图图像与遮罩图像的混同，因此即使在这种情况下也可以进行混同避免处理。

另外，在上述实施方式中，以相同的显示方式显示与各人物对应的全部遮罩图像，但也可以根据人物的属性(性别、年龄等)等而以不同的显示方式来显示遮罩图像。在该情况下，考虑各遮罩图像的显示方式，以不会产生热图图像与遮罩图像混同的混同状态的方式进行混同避免处理即可。

另外，在上述实施方式中，在静态显示变更模式下，以不会产生热图图像与遮罩图像混同的混同状态的方式对遮罩图像的显示方式的备选进行限制，但是在该静态显示变更模式中，只要以不会产生混同状态的方式引导与显示方式有关的使用者的输入操作即可，例如，在使用者选择了有可能产生混同状态的显示方式的情况下，可以输出所选择的显示方式不合适的警告，或者更具体地输出会产生混同状态的警告。

另外，在上述实施方式中，在统计信息取得部34中取得停留时间及停留度(停留人数)这两个信息作为统计信息，并显示表现停留时间及停留度这两个信息的热图图像，但也可以仅取得停留时间及停留度中的一方，并显示仅表现该一方的热图图像。

另外，在上述实施方式中，取得人物的动作路线，并基于该动作路线来取得统计信息(停留时间及停留度)，但是该统计信息取得处理不限定于基于动作路线。例如，可以取得关于人物框(人物存在的矩形的区域)的坐标信息作为人物的位置信息，并对各像素(检测要素)计数位于人物框内的次数，而取得各像素的计数值，通过对该各像素的计数值进行适当的统计处理例如平均化处理，以对象区域(参照图3A、图3B)或网格(参照图14A、图14B)为单位进行汇总，取得对象区域或各网格的统计信息。另外，还可以取得关于人物框的中心点的坐标信息，对人物框的中心点位于对象区域或网格内的次数进行计数，而取得对象区域或各网格的统计信息。

另外，在上述第一实施方式中，监控所需的处理由设于店铺的PC3进行，但是如图1所示，上述所需的处理也可以由设于总部的PC11、构成云计算系统的云计算机12进行。另外，也可以通过多个信息处理装置来分担所需的处理，经由IP网络、LAN等通信介质，在多个信息处理装置之间交换信息。在该情况下，由执行所需处理的多个信息处理装置构成监控系统。

在这种结构中，使设于店铺的PC3等装置进行监控所需的处理中的至少运算量较大的处理，例如人物检测处理即可。若这样构成，则可以减少剩余处理所需的信息的数据量，因此剩余处理即便由设置在与店铺不同的场所的信息处理装置、例如设置于总部的PC11进行，也能够减轻通信负载，因此广域网络连接方式的系统的运用变得容易。

另外，可以使云计算机12进行监控所需的处理中的至少运算量较大的处理，例如人物检测处理。若这样构成，则可以减少剩余处理的运算量，因此在店铺等使用者侧不需要高速的信息处理装置，能够降低使用者所负担的成本。

另外，也可以使云计算机12进行所需的全部处理，或者至少由云计算机12进行所需处理中的影像输出处理，若这样构成，则除了设置店铺、总部的PC3、11之外，在智能手机13、平板电脑终端14等便携型终端中也能够显示影像，由此除了店铺、总部之外，在外出的目的地等任意场所均能够确认店铺内的状况。

另外，在本实施方式中，对使设于店铺的PC3进行监控所需的处理，并使PC3的监视器7显示遮罩条件设定画面、监控画面，通过PC3进行所需的输入及输出的情况进行了说明，但是也可以通过与进行监控所需的处理的信息处理装置不同的信息处理装置，例如设于总部的PC11、平板电脑终端14等便携型终端进行所需的输入及输出。

另外，近年来，开发了作为监视器而追求高画质化的4K电视机等，通过采用与这种4K电视机对应的相机，能够提高人物的识别性能，即使在存在很多人物的环境下，使用者也能够根据遮罩重放影像而容易地掌握人物的行动。

本发明的监控装置、监控系统及监控方法具有使用者能够通过一个监控画面而同时掌握预定期间内的人物的活动状况和某瞬间的人物的活动状况的效果，作为生成并输出将表示监视区域的移动体的活动状况的前景图像重叠于背景图像上的监控影像的监控装置、监控系统及监控方法等是有用的。

Claims (12)

1.一种监控装置，生成并输出将表示监视区域中的移动体的活动状况的前景图像重叠于背景图像上的监控影像，所述监控装置的特征在于，具有：

处理器；及

存储指令的存储器，

作为所述处理器的执行所述指令的结构，具备：

位置信息取得部，从所述监视区域的影像中检测出移动体，并取得各移动体的位置信息；

统计信息取得部，对由所述位置信息取得部取得的所述位置信息按照时间进行统计处理，并根据所述统计处理的对象期间的设定而取得与移动体的停留状况相关的统计信息；

第一前景图像生成部，生成使由所述统计信息取得部取得的所述统计信息可视化的第一前景图像；

第二前景图像生成部，基于由所述位置信息取得部取得的所述位置信息，对应各预定时刻生成与移动体的图像区域对应的第二前景图像；及

影像输出控制部，对应各预定时刻生成并输出将由所述第一前景图像生成部及所述第二前景图像生成部生成的所述第一前景图像及所述第二前景图像重叠于所述背景图像上的所述监控影像。

2.根据权利要求1所述的监控装置，其特征在于，

所述监控装置还具备与所述第一前景图像及所述第二前景图像中的至少一方的显示方式相关的显示方式调整部，

所述显示方式调整部对所述第一前景图像及所述第二前景图像混同的混同状态进行检测，并变更所述第一前景图像及所述第二前景图像中的至少一方的显示方式以消除所述混同状态。

3.根据权利要求2所述的监控装置，其特征在于，

在变更所述第一前景图像及所述第二前景图像中的至少一方的显示方式时，所述显示方式调整部对决定显示方式的颜色、图案、轮廓线及透过率中的至少一个显示要素进行变更。

4.根据权利要求1所述的监控装置，其特征在于，

所述监控装置还具备与所述第一前景图像及所述第二前景图像中的至少一方的显示方式相关的显示方式设定部，

所述显示方式设定部根据使用者的输入操作来设定所述第一前景图像及所述第二前景图像中的至少一方的显示方式。

5.根据权利要求4所述的监控装置，其特征在于，

所述显示方式设定部以不会产生所述第一前景图像及所述第二前景图像混同的混同状态的方式对与所述显示方式相关的使用者的输入操作进行引导。

6.根据权利要求5所述的监控装置，其特征在于，

所述显示方式设定部在设定所述第一前景图像及所述第二前景图像中的至少一方的显示方式时，以不会产生所述混同状态的方式对能够通过使用者的输入操作进行选择的显示方式的备选进行限制。

7.根据权利要求4所述的监控装置，其特征在于，

在设定所述第一前景图像及所述第二前景图像中的至少一方的显示方式时，所述显示方式设定部根据使用者的输入操作对决定显示方式的颜色、图案、轮廓线及透过率中的至少一个显示要素进行设定。

8.根据权利要求1所述的监控装置，其特征在于，

所述监控装置还具备根据所述监视区域的影像生成所述背景图像的背景图像生成部，

所述背景图像生成部根据所述对象期间的设定来生成所述背景图像，

所述影像输出控制部将所述第一前景图像重叠于所述对象期间与所述第一前景图像的对象期间一致的所述背景图像上。

9.根据权利要求1所述的监控装置，其特征在于，

所述监控装置还具备与由所述统计信息取得部进行的处理相关的处理条件设定部，

所述处理条件设定部根据使用者的任意指定所述对象期间的输入操作来设定所述对象期间，

所述影像输出控制部根据使用者的任意指定所述监控影像的显示时刻的输入操作来生成并输出所指定的显示时刻的所述监控影像。

10.一种监控系统，生成并输出将表示监视区域中的移动体的活动状况的前景图像重叠于背景图像上的监控影像，所述监控系统的特征在于，具有：

拍摄监视区域的相机；及

多个信息处理装置，

所述多个信息处理装置中的任一信息处理装置具有：处理器及存储指令的存储器，

作为所述处理器的执行所述指令的结构，具备：

位置信息取得部，从所述监视区域的影像中检测出移动体，并取得各移动体的位置信息；

统计信息取得部，对由所述位置信息取得部取得的所述位置信息按照时间进行统计处理，并根据所述统计处理的对象期间的设定来取得与移动体的停留状况相关的统计信息；

第一前景图像生成部，生成使由所述统计信息取得部取得的所述统计信息可视化的第一前景图像；

第二前景图像生成部，基于由所述位置信息取得部取得的所述位置信息，对应各预定时刻生成与移动体的图像区域对应的第二前景图像；及

影像输出控制部，对应各预定时刻生成并输出将由所述第一前景图像生成部及所述第二前景图像生成部生成的所述第一前景图像及所述第二前景图像重叠于所述背景图像上的所述监控影像。

11.一种监控系统，生成并输出将表示监视区域中的移动体的活动状况的前景图像重叠于背景图像上的监控影像，所述监控系统的特征在于，具有：

拍摄监视区域的相机；及

信息处理装置，

所述相机及所述信息处理装置中的任一个具备：

位置信息取得部，从所述监视区域的影像中检测出移动体，并取得各移动体的位置信息；

统计信息取得部，对由所述位置信息取得部取得的所述位置信息按照时间进行统计处理，并根据所述统计处理的对象期间的设定来取得与移动体的停留状况相关的统计信息；

第一前景图像生成部，生成使由所述统计信息取得部取得的所述统计信息可视化的第一前景图像；

第二前景图像生成部，基于由所述位置信息取得部取得的所述位置信息，对应各预定时刻生成与移动体的图像区域对应的第二前景图像；及

影像输出控制部，对应各预定时刻生成并输出将由所述第一前景图像生成部及所述第二前景图像生成部生成的所述第一前景图像及所述第二前景图像重叠于所述背景图像上的所述监控影像。

12.一种监控方法，使信息处理装置进行如下处理：生成并输出将表示监视区域中的移动体的活动状况的前景图像重叠于背景图像上的监控影像的处理，

所述监控方法的特征在于，

由所述信息处理装置的处理器执行的存储于存储器的指令包括如下步骤：

从所述监视区域的影像中检测出移动体，并取得各移动体的位置信息；

对所述位置信息按照时间进行统计处理，并根据所述统计处理的对象期间的设定来取得与移动体的停留状况相关的统计信息；

生成使所述统计信息可视化的第一前景图像；

基于所述位置信息，对应各预定时刻生成与移动体的图像区域对应的第二前景图像；及

对应各预定时刻生成并输出将所述第一前景图像及所述第二前景图像重叠于所述背景图像上的所述监控影像。