CN104954736A - 滞留状况分析装置、滞留状况分析系统及分析方法 - Google Patents

滞留状况分析装置、滞留状况分析系统及分析方法 Download PDF

Info

Publication number
CN104954736A
CN104954736A CN201510137026.5A CN201510137026A CN104954736A CN 104954736 A CN104954736 A CN 104954736A CN 201510137026 A CN201510137026 A CN 201510137026A CN 104954736 A CN104954736 A CN 104954736A
Authority
CN
China
Prior art keywords
image
background image
photographic images
thermal map
stay information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510137026.5A
Other languages
English (en)
Other versions
CN104954736B (zh
Inventor
松本裕一
由雄宏明
合田阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN104954736A publication Critical patent/CN104954736A/zh
Application granted granted Critical
Publication of CN104954736B publication Critical patent/CN104954736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Abstract

本发明提供滞留状况分析装置、滞留状况分析系统及分析方法。本发明的实施方式的滞留状况分析装置具备：滞留信息取得部，基于根据对象区域的拍摄图像所取得的移动体的位置信息，取得每个预定计测期间的滞留信息；热图图像生成部，生成使滞留信息可视化而得到的热图图像；背景图像生成部，根据拍摄图像生成背景图像；及显示图像生成部，在背景图像上重叠热图图像而生成显示图像。所述背景图像生成部对拍摄图像进行降低被拍摄到拍摄图像中的移动体的识别性的图像处理，生成背景图像。

Description

滞留状况分析装置、滞留状况分析系统及分析方法
技术领域
本发明涉及取得与对象区域内的移动体的滞留状况相关的滞留信息、生成使该滞留信息可视化而得到的热图图像并显示于显示装置的滞留状况分析装置、滞留状况分析系统及滞留状况分析方法。
背景技术
在店铺的收银台处，当期望结账的顾客增加时，就会形成等待结账的队列，从而致使顾客长时间等待，但是若能够掌握收银台的周边的顾客的滞留状况、即在收银台的周边滞留了多少顾客，则能够基于该顾客的滞留状况来考虑运营店铺时的改善策略，从而能够实现顾客满足度的提高、店铺高效的运营。
作为与这样的掌握人员的滞留状况的要求相关的技术，以往已知有取得与对象区域内的人员的滞留状况相关的滞留信息、生成使该滞留信息可视化而得到的热图图像并显示于显示装置的技术(参照日本特开2009-134688号公报)。若使用这样的热图图像，则用户能够一目了然地掌握对象区域内的人员的滞留状况，即人员在哪个区域以何种程度滞留，因此能够提高用户的便利性。
但是，仅使用使滞留信息可视化而得到的热图图像，难以使人员的滞留状况与对象区域内的位置对应地进行掌握，即用户难以掌握人员在对象区域内的哪个区域内滞留，因此在上述现有技术中，将对象区域的俯视图作为背景图像，将热图图像重叠于该背景图像来进行显示。特别是在上述现有技术中，由于从由划分对象区域而进行拍摄的多台相机拍摄到的拍摄图像取得滞留信息，并根据该滞留信息生成一个热图图像，因此需要将对象区域的俯视图设为背景图像，但是在根据以1台相机拍摄对象区域而得到的拍摄图像来生成热图图像的情况下，将由1台相机拍摄到的拍摄图像作为背景图像较为简便。
然而，在如此将拍摄图像设为背景图像的情况下，背景图像为某个时刻的拍摄图像，与之相对，热图图像由预定计测期间的多个时刻的拍摄图像生成，因此存在有如下情况：背景图像与热图图像无法匹配，即被拍摄到背景图像的实际人员滞留状态与热图图像所表示的滞留状态之间区别较大，若如此背景图像与热图图像无法匹配，则存在有给用户带来不协调感的问题。
发明内容
本发明的滞留状况分析装置取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使该滞留信息可视化而得到的热图图像并显示于显示装置。该滞留状况分析装置具备：滞留信息取得部，基于根据上述对象区域的拍摄图像所取得的移动体的位置信息，取得每个预定计测期间的上述滞留信息；热图图像生成部，生成使由该滞留信息取得部取得的上述滞留信息可视化而得到的上述热图图像；背景图像生成部，根据上述拍摄图像生成背景图像；及显示图像生成部，在由该背景图像生成部生成的上述背景图像上重叠由上述热图图像生成部生成的上述热图图像，从而生成显示图像，上述背景图像生成部对上述拍摄图像进行降低被拍摄到上述拍摄图像中的移动体的识别性的图像处理而生成上述背景图像。
附图说明
图1是第一实施方式的滞留状况分析系统的整体结构图。
图2是表示店铺中的相机1的设置状况的俯视图。
图3是说明在由相机1拍摄到的拍摄图像上设定的测定区域的说明图。
图4是说明由PC3生成并显示于监视器7的显示图像的说明图。
图5是表示PC3的概略结构的功能框图。
图6是说明由背景图像生成部36进行的背景图像生成处理的概要的说明图。
图7A、图7B是表示背景图像与热图图像未匹配的例子的说明图。
图8A、图8B是表示由背景图像生成部36生成的背景图像及由显示图像生成部37生成的显示图像的说明图。
图9A、图9B是表示由背景图像生成部36生成的背景图像及由显示图像生成部37生成的显示图像的说明图。
图10是说明由第二实施方式的PC3的背景图像生成部36进行的背景图像生成处理的概要的说明图。
图11A、图11B是表示由背景图像生成部36生成的背景图像及由显示图像生成部37生成的显示图像的说明图。
图12A、图12B是表示由背景图像生成部36生成的背景图像及由显示图像生成部37生成的显示图像的说明图。
图13是表示第三实施方式的PC3的概略结构的功能框图。
图14是说明由背景图像生成部36进行的背景图像生成处理的概要的说明图。
图15A、图15B是说明由类似度计算部51进行的类似度计算处理的概要的说明图。
图16是表示第三实施方式的第一变形例的PC3的概略结构的功能框图。
图17是说明由背景图像生成部36进行的背景图像生成处理的概要的说明图。
图18是表示显示于监视器7的热图显示画面的说明图。
图19是说明由第三实施方式的第二变形例的PC3的背景图像生成部36进行的背景图像生成处理的概要的说明图。
图20A、图20B、图20C、图20D、图20E是表示热图图像23的其他例的说明图。
图21是表示区域分割热图图像的说明图。
图22是说明由滞留信息取得部34进行的滞留信息取得处理的其他例的说明图。
具体实施方式
本发明是为了消除上述现有技术的问题而提出的，其主要目的在于提供滞留状况分析装置、滞留状况分析系统及滞留状况分析方法，构成为在将使对象区域内的移动体的滞留信息可视化而得到的热图图像重叠于根据对象区域的拍摄图像生成的背景图像而进行显示的情况下，减少因背景图像与热图图像之间无法匹配而导致的不协调感，从而获得自然的显示图像。
第1技术方案设为如下结构：一种滞留状况分析装置，取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使该滞留信息可视化而得到的热图图像并显示于显示装置，该滞留状况分析装置具备：滞留信息取得部，基于根据上述对象区域的拍摄图像所取得的移动体的位置信息，取得每个预定计测期间的上述滞留信息；热图图像生成部，生成使由该滞留信息取得部取得的上述滞留信息可视化而得到的上述热图图像；背景图像生成部，根据上述拍摄图像生成背景图像；及显示图像生成部，在由该背景图像生成部生成的上述背景图像上重叠由上述热图图像生成部生成的上述热图图像，从而生成显示图像，上述背景图像生成部对上述拍摄图像进行降低被拍摄到上述拍摄图像中的移动体的识别性的图像处理，生成上述背景图像。
由此，通过对拍摄图像进行降低被拍摄到拍摄图像中的移动体的识别性(可视性)的图像处理，被拍摄到拍摄图像中的移动体变得难以识别，因此统一从计测期间内的拍摄图像中选择出背景图像，例如将计测期间的结束时刻的拍摄图像选择为背景图像，从而即使在背景图像与热图图像无法匹配的情况下，也能够减少给用户带来的不协调感。
另外，第2技术方案设为如下结构：上述背景图像生成部对上述拍摄图像进行模糊处理而生成上述背景图像。
由此，背景图像能保持能够掌握对象区域的概观的状态并且使准确的移动体的数量、位置等变得难以辨认，因此能够减轻因背景图像与热图图像之间无法匹配而产生的不协调感。
另外，第3技术方案设为如下结构：上述背景图像生成部对上述拍摄图像进行重叠单一色的半透过图像的处理而生成上述背景图像。
由此，背景图像能保持能够掌握对象区域的概观的状态并且使准确的移动体的数量、位置等变得难以辨认，因此能够减轻因背景图像与热图图像之间无法匹配而产生的不协调感。
另外，第4技术方案设为如下结构：一种滞留状况分析装置，取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使该滞留信息可视化而得到的热图图像并显示于显示装置，该滞留状况分析装置具备：滞留信息取得部，基于根据上述对象区域的拍摄图像所取得的移动体的位置信息，取得每个预定计测期间的上述滞留信息；热图图像生成部，生成使由该滞留信息取得部取得的上述滞留信息可视化而得到的上述热图图像；背景图像生成部，根据上述拍摄图像生成背景图像；及显示图像生成部，在由该背景图像生成部生成的上述背景图像上重叠由上述热图图像生成部生成的上述热图图像，从而生成显示图像，上述背景图像生成部根据在与上述滞留信息对应的上述计测期间拍摄到的多个上述拍摄图像生成摘要图像，并将该摘要图像设为上述背景图像。
由此，摘要图像反映出整个计测期间的对象区域的状态，因此通过将该摘要图像设为背景图像，从而背景图像与热图图像匹配，能够避免给用户带来不协调感。
另外，第5技术方案设为如下结构：上述背景图像生成部按照各个像素求出多个上述拍摄图像的像素值的平均值、生成将该平均值设为像素值的平均图像作为上述摘要图像，并将该平均图像设为上述背景图像。
由此，在平均图像中，移动体的像变得不鲜明，另一方面，静止的物体的像保持为比较鲜明的状态，因此通过将该平均图像设为背景图像，能够明确地掌握除了移动体以外的对象区域的状态。
另外，第6技术方案设为如下结构：上述背景图像生成部按照各个像素求出多个上述拍摄图像的像素值的方差、生成将该方差设为像素值的方差图像作为上述摘要图像，并将该方差图像设为上述背景图像。
由此，在方差图像中，移动体的像变得不鲜明，另一方面，静止的物体的像保持为比较鲜明的状态，因此通过将该方差图像设为背景图像，能够明确地掌握除了移动体以外的对象区域的状态。
另外，第7技术方案设为如下结构：上述背景图像生成部生成将分别从上述计测期间内的多个拍摄图像中提取出的移动体的图像重叠于一个上述拍摄图像上而成的图像作为上述摘要图像，并将该图像设为上述背景图像。
由此，在摘要图像中鲜明地显示有出现于计测期间内的拍摄图像中的移动体的像，另外，除移动体以外的物体的像也被鲜明地显示，因此能够明确地掌握包含移动体在内的对象区域的状态。
另外，第8技术方案设为如下结构：一种滞留状况分析装置，取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使该滞留信息可视化而得到的热图图像并显示于显示装置，该滞留状况分析装置具备：滞留信息取得部，基于根据上述对象区域的拍摄图像所取得的移动体的位置信息，取得每个预定计测期间的上述滞留信息；热图图像生成部，生成使由该滞留信息取得部取得的上述滞留信息可视化而得到的上述热图图像；背景图像生成部，根据上述拍摄图像生成背景图像；及显示图像生成部，在由该背景图像生成部生成的上述背景图像上重叠由上述热图图像生成部生成的上述热图图像，从而生成显示图像，上述背景图像生成部具备：类似度计算部，算出上述拍摄图像与上述滞留信息的类似度；及背景图像选择部，基于由该类似度计算部算出的上述类似度，选择设为上述背景图像的上述拍摄图像。
由此，通过将与作为热图图像的基础的滞留信息的类似度较高的拍摄图像选择为背景图像，从而背景图像与热图图像匹配，因此能够避免给用户带来不协调感。
另外，第9技术方案设为如下结构：上述背景图像生成部还具备评价部，上述评价部对由上述类似度计算部算出的上述类似度与预定阈值进行比较，评价上述拍摄图像是否适合作为背景图像，将由该评价部评价为适合作为背景图像的上述拍摄图像选择为上述背景图像。
由此，由于背景图像与热图图像可靠地匹配，因此能够可靠地避免给用户带来不协调感。
另外，第10技术方案设为如下结构：上述滞留信息为滞留数和滞留时间中的至少一方。
由此，用户能够掌握滞留数、即滞留在对象区域内的移动体的个数。另外，用户能够掌握滞留时间、即在对象区域内移动体滞留的时间。
另外，第11技术方案设为如下结构：一种滞留状况分析系统，取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使该滞留信息可视化而得到的热图图像并显示于显示装置，该滞留状况分析系统具有：拍摄上述对象区域的相机；及多个信息处理装置，上述多个信息处理装置中的任一信息处理装置具备：移动体检测部，从上述相机的拍摄图像中检测出移动体而取得位置信息；滞留信息取得部，基于由该移动体检测部所取得的上述移动体的位置信息，取得每个预定计测期间的上述滞留信息；热图图像生成部，生成使由该滞留信息取得部取得的上述滞留信息可视化而得到的上述热图图像；背景图像生成部，根据上述拍摄图像生成背景图像；及显示图像生成部，在由该背景图像生成部生成的上述背景图像上重叠由上述热图图像生成部生成的上述热图图像，从而生成显示图像，上述背景图像生成部对上述拍摄图像进行降低被拍摄到上述拍摄图像中的移动体的识别性的图像处理而生成上述背景图像。
由此，与第1技术方案相同，通过统一从计测期间内的拍摄图像中选择出背景图像，即使在背景图像与热图图像之间无法匹配的情况下，也能够减少给用户带来的不协调感。
另外，第12技术方案设定为如下结构：一种滞留状况分析系统，取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使该滞留信息可视化而得到的热图图像并显示于显示装置，该滞留状况分析系统具有：拍摄上述对象区域的相机；及多个信息处理装置，上述多个信息处理装置中的任一信息处理装置具备：移动体检测部，从上述相机的拍摄图像中检测出移动体而取得位置信息；滞留信息取得部，基于由该移动体检测部所取得的上述移动体的位置信息，取得每个预定计测期间的上述滞留信息；热图图像生成部，生成使由该滞留信息取得部取得的上述滞留信息可视化而得到的上述热图图像；背景图像生成部，根据上述拍摄图像生成背景图像；及显示图像生成部，在由该背景图像生成部生成的上述背景图像上重叠由上述热图图像生成部生成的上述热图图像，从而生成显示图像，上述背景图像生成部根据在与上述滞留信息对应的上述计测期间拍摄到的多个上述拍摄图像生成摘要图像，并将该摘要图像设为上述背景图像。
由此，与第4技术方案相同，摘要图像反映出整个计测期间的对象区域的状态，因此通过将该摘要图像设为背景图像，从而背景图像与热图图像匹配，因此能够避免给用户带来不协调感。
另外，第13技术方案设为如下结构：一种滞留状况分析系统，取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使该滞留信息可视化而得到的热图图像并显示于显示装置，该滞留状况分析系统具有：拍摄上述对象区域的相机；及多个信息处理装置，上述多个信息处理装置中的任一信息处理装置具备：移动体检测部，从上述相机的拍摄图像中检测出移动体而取得位置信息；滞留信息取得部，基于由该移动体检测部所取得的上述移动体的位置信息，取得每个预定计测期间的上述滞留信息；热图图像生成部，生成使由该滞留信息取得部取得的上述滞留信息可视化而得到的上述热图图像；背景图像生成部，根据上述拍摄图像生成背景图像；及显示图像生成部，在由该背景图像生成部生成的上述背景图像上重叠由上述热图图像生成部生成的上述热图图像，从而生成显示图像，上述背景图像生成部具备：类似度计算部，算出上述拍摄图像与上述滞留信息的类似度；及背景图像选择部，基于由该类似度计算部算出的上述类似度，选择设为上述背景图像的上述拍摄图像。
由此，与第8技术方案相同，通过将与作为热图图像的基础的滞留信息的类似度较高的拍摄图像选择为背景图像，从而背景图像与热图图像匹配，因此能够避免给用户带来不协调感。
另外，第14技术方案设为如下结构：一种滞留状况分析方法，使信息处理装置进行如下处理：取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使该滞留信息可视化而得到的热图图像并显示于显示装置，上述滞留状况分析方法具有以下步骤：滞留信息取得步骤，基于根据上述对象区域的拍摄图像所取得的移动体的位置信息，取得每个预定计测期间的上述滞留信息；热图图像生成步骤，生成使由上述滞留信息取得步骤取得的上述滞留信息可视化而得到的上述热图图像；背景图像生成步骤，根据上述拍摄图像生成背景图像；及显示图像生成步骤，在由上述背景图像生成步骤生成的上述背景图像上重叠由上述热图图像生成步骤生成的上述热图图像，从而生成显示图像，在上述背景图像生成步骤中，对上述拍摄图像进行降低被拍摄到上述拍摄图像中的移动体的识别性的图像处理而生成上述背景图像。
由此，与第1技术方案相同，通过统一从计测期间内的拍摄图像中选择出背景图像，即使在背景图像与热图图像之间无法匹配的情况下，也能够减少给用户带来的不协调感。
另外，第15技术方案设定为如下结构：一种滞留状况分析方法，使信息处理装置进行如下处理：取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使该滞留信息可视化而得到的热图图像并显示于显示装置，上述滞留状况分析方法具有以下步骤：基于根据上述对象区域的拍摄图像所取得的移动体的位置信息，取得每个预定计测期间的上述滞留信息；热图图像生成步骤，生成使由取得上述滞留信息的步骤取得的上述滞留信息可视化而得到的上述热图图像；背景图像生成步骤，根据上述拍摄图像生成背景图像；及显示图像生成步骤，在由上述背景图像生成步骤生成的上述背景图像上重叠由上述热图图像生成步骤生成的上述热图图像，从而生成显示图像，在上述背景图像生成步骤中，根据在与上述滞留信息对应的上述计测期间拍摄到的多个上述拍摄图像生成摘要图像，并将该摘要图像设为上述背景图像。
由此，与第4技术方案相同，摘要图像反映出整个计测期间的对象区域的状态，因此通过将该摘要图像设为背景图像，从而背景图像与热图图像匹配，因此能够避免给用户带来不协调感。
另外，第16技术方案设为如下结构：一种滞留状况分析方法，使信息处理装置进行如下处理：取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使该滞留信息可视化而得到的热图图像并显示于显示装置，上述滞留状况分析方法具有以下步骤：滞留信息取得步骤，基于根据上述对象区域的拍摄图像所取得的移动体的位置信息，取得每个预定计测期间的上述滞留信息；热图图像生成步骤，生成使由取得上述滞留信息的步骤取得的上述滞留信息可视化而得到的上述热图图像；背景图像生成步骤，根据上述拍摄图像生成背景图像；及显示图像生成步骤，在由上述背景图像生成步骤生成的上述背景图像上重叠由上述热图图像生成步骤生成的上述热图图像，从而生成显示图像，上述背景图像生成步骤具有以下步骤：类似度计算步骤，算出上述拍摄图像与上述滞留信息的类似度；及选择步骤，基于由计算上述类似度的步骤算出的上述类似度，选择设为上述背景图像的上述拍摄图像。
由此，与第8技术方案相同，通过将与作为热图图像的基础的滞留信息的类似度较高的拍摄图像选择为背景图像，从而背景图像与热图图像匹配，因此能够避免给用户带来不协调感。
以下，参照附图来说明本发明的实施方式。
(第一实施方式)
图1是第一实施方式的滞留状况分析系统的整体结构图。该滞留状况分析系统是以超市等零售店铺等为对象进行构建的，具备相机1、记录器(影像记录装置)2、PC(滞留状况分析装置)3及移动体检测装置(移动体检测部)4。此外，在该图1所示的结构中，将相机1、PC(滞留状况分析装置)3、移动体检测装置(移动体检测部)4记载为独立的装置，但是伴随着近年来的相机的高功能化，推进了安装有移动体检测·追踪功能(活动线路的提取等)、滞留状况分析功能(作为滞留信息的区块单位下的统计数、滞留数等的计算)的相机的开发，使用这样的相机，也能够设为主要将滞留信息向PC、服务器直接发送的结构。在这种情况下，在PC、服务器中，利用所搭载的专用应用程序，基于从相机发送的滞留信息，仅进行热图图像的生成处理、描绘为能够由显示装置阅览的形状的描绘处理等即可，因此能够大幅地减轻数据处理所带来的负荷。
相机1设置于店铺内的适当位置，利用相机1来拍摄店铺内的监视区域，将由此获得的影像信息记录于记录器2。
在PC3中，监视人员等用户将进行各种输入操作的鼠标等输入设备6与显示监视画面的监视器(显示装置)7连接。此外，也可以由触摸面板显示器构成输入设备6及监视器7。
该PC3设置于店铺的警备室等，监视者(警备人员)能够通过显示于监视器7的监视画面实时地阅览由相机1拍摄到的店铺内的影像，另外，也能够阅览记录于记录器2内的以前的店铺内的影像。
此外，在设于本部的PC11还连接有未图示的监视器，从而能够实时地阅览由相机1拍摄到的店铺内的影像，另外，能够阅览记录于记录器2内的过去的店铺内的影像，能够在本部确认店铺内的状况。PC3、PC11具有处理器(CPU)及程序存储器。PC3的CPU通过执行监视用的程序(指令)来实现功能。这些程序除了预先导入于作为信息处理装置的PC3而构成为专用的装置之外，也可以作为在通用OS上动作的应用程序而记录于适当的程序记录介质、并且经由网络向用户提供。
在移动体检测装置4中，进行根据相机1的拍摄图像(帧)检测人员(移动体)的人员检测处理，并输出每个拍摄图像的拍摄时刻下的人员的位置信息。该人员检测处理利用公知的图像识别技术即可。
图2是表示店铺中的相机1的设置状况的俯视图。在店铺内设有商品陈列架及收银台。顾客在商品陈列架取得所希望的商品并在收银台进行付款，此时，顾客从设有商品陈列架的商品陈列区域侧进入收银台，付款结束后从收银台退出。相机1被设置为从正面拍摄进入收银台的顾客，由此，能够根据相机1的拍摄图像进行人员检测。
接着，说明通过由图1所示的PC3所进行的滞留状况分析处理而生成的热图图像。图3是说明在图2所示的相机1的拍摄图像上设定的测定区域的说明图。图4是说明由图1所示的PC3生成并显示于监视器7的显示图像的说明图。
如图3所示，在相机1的拍摄图像中，拍摄到在收银台进行付款的人员，这些人员从入口侧、即远离相机1的里侧进入收银台，从出口侧、即靠近相机1的近前侧退出，从而在收银台的周围形成从入口侧朝向出口侧的人流，若收银台处的付款操作延迟、顾客数超过了店员的作业能力，则形成等待付款的队列，造成人员滞留的状态。
在本实施方式中，为了掌握收银台的周边的人员的滞留状况，在收银台的周边并在人员移动的区域内设定测定区域，取得与该测定区域(对象区域)内的人员的滞留状况相关的滞留信息、具体为滞留数(滞留人数)即在对象区域内滞留的人员人数、及滞留时间即在测定区域内人员滞留的时间，生成使该滞留信息可视化而得到的热图图像。
在图4所示的例子中，表示测定区域的框图像22及表示滞留信息(滞留数及滞留时间)的热图图像23以透视状态重叠地显示在根据相机1的拍摄图像生成的背景图像21上。另外，热图图像23在多个测定区域中的每一个测定区域内并排地进行显示。
在热图图像23中，滞留信息的数值的大小由图像的属性、即大小、色调(色相)及色彩的浓淡(浓度)中的至少一项来表现。特别是在图4所示的例子中，以涂满圆形状的热图图像23的色彩的浓淡来表现滞留时间，以热图图像23的大小来表现滞留数(滞留人数)，滞留时间越长，则热图图像23的颜色越浓，滞留数越大，则热图图像23越大。
接着，说明由图1所示的PC3所进行的滞留状况分析处理。图5表示PC3的概略结构的功能框图。
PC3具备位置信息存储部31、活动线路取得部32、活动线路信息存储部33、滞留信息取得部34、热图图像生成部35、背景图像生成部36及显示图像生成部37。
在位置信息存储部31中存储有从移动体检测装置4取得的每位人员的位置信息。此外，在位置信息中包含与根据相机1的拍摄图像(影像的各帧)检测出的每位人员的检测位置及根据检测到人员的拍摄图像的拍摄时刻取得的每位人员的检测时刻等相关的信息。
在活动线路取得部32中进行如下处理：取得根据相机1的拍摄图像检测出的每位人员的活动线路。该活动线路取得处理是基于由移动体检测装置4生成并存储于位置信息存储部31的每位人员的位置信息而进行的。与利用该活动线路取得部32取得的每位人员的活动线路相关的信息存储于活动线路信息存储部33。
滞留信息取得部34是基于存储于活动线路信息存储部33的活动线路信息，在每个预定计测期间内取得与测定区域内的人员的滞留状况相关的滞留信息的机构，具备滞留数取得部41及滞留时间取得部42。
在滞留数取得部41中进行如下处理：基于利用活动线路取得部32取得的每位人员的活动线路信息，取得每个测定区域内的滞留数(滞留人数)。在该处理中，统计在计测期间内通过测定区域的活动线路的条数，求出计测期间内的每个测定区域的滞留数。
在滞留时间取得部42中进行如下处理：基于利用活动线路取得部32取得的每位人员的活动线路信息，取得每位人员的测定区域内的滞留时间。在该处理中，首先，在计测期间内，根据每位人员的滞留时刻(针对测定区域的进入时刻及退出时刻)取得每位人员的滞留时间，接着，根据每位人员的该滞留时间并利用平均化等适当的统计处理取得每个测定区域内的滞留时间。
在热图图像生成部35中进行如下处理：在每个计测期间内生成使利用滞留信息取得部34取得的滞留信息(滞留数及滞留时间)可视化而得到的热图图像。
在背景图像生成部36中进行如下处理：从在计测期间内拍摄到的多个拍摄图像中选择一个拍摄图像，以该一个拍摄图像为对象进行图像处理，从而生成背景图像。在本实施方式中进行如下处理：对拍摄图像整体进行降低被拍摄到拍摄图像的人员的识别性的图像处理，从而生成背景图像。
在显示图像生成部37中进行如下处理：在由背景图像生成部36生成的背景图像上重叠由热图图像生成部35生成的热图图像而生成显示图像。
此外，图5所示的PC3的各部分通过利用PC3的CPU执行滞留状况分析用的程序来实现功能。该程序除了被预先导入于作为信息处理装置的PC3而构成为专用装置以外，还可以作为在通用OS上动作的应用程序被记录于适当的程序记录介质、并且经由网络向用户提供。
接着，说明由图5所示的背景图像生成部36所进行的处理。图6是说明由背景图像生成部36所进行的背景图像生成处理的概要的说明图。
在本实施方式中，如上所述，在移动体检测装置4中进行如下处理：从各时刻的拍摄图像(帧)中检测出人员并取得位置信息，在活动线路取得部32中进行如下处理：根据各时刻的位置信息取得每位人员的活动线路，在滞留信息取得部34中进行如下处理：基于预定计测期间(例如30分钟)内的活动线路信息取得滞留信息(滞留数及滞留时间)，在热图图像生成部35中进行如下处理：根据滞留信息生成热图图像。
另一方面，在背景图像生成部36中进行如下处理：统一从在预定计测期间内拍摄到的多个拍摄图像中选择出一个拍摄图像，以该一个拍摄图像为对象进行图像处理，从而生成背景图像。在图6所示的例子中，选择计测期间的结束时刻下的拍摄图像，根据该拍摄图像生成背景图像。然后，在显示图像生成部37进行如下处理：在背景图像上重叠热图图像而生成显示图像。
在此，说明背景图像与热图图像未匹配的例子。图7是表示背景图像与热图图像未匹配的例子的说明图。
在统一从计测期间的结束时刻下的拍摄图像等计测期间内的多个拍摄图像中选择出设为背景图像的拍摄图像的情况下，相对于背景图像为某个时刻的拍摄图像，热图图像根据计测期间内的多个时刻下的拍摄图像而生成，因此存在背景图像与热图图像未匹配、即被拍摄到背景图像中的实际人员的滞留状态与热图图像所显示的滞留状态区别较大的情况，在这种情况下，给用户带来不协调感。
在此，作为背景图像与热图图像未匹配的事例，具有图7(A)、图7(B)所示的两个事例。
图7(A)所示的事例为一个测定区域内的背景图像与热图图像之间的关系在时间上未匹配的情况，在图7(A)所示的例子中，当比较第一时刻(计测期间为9：00～10：00)的显示图像与接下来的第二时刻(计测期间为10：00～11：00)的显示图像时，在热图图像中，与第一时刻相比，接下来的第二时刻下的滞留数较高、即较为混杂，但是在背景图像中，第一时刻比接下来的第二时刻拍到的人员多，背景图像与热图图像未匹配。
在图7(B)所示的事例中，是某个时刻下的显示图像中的背景图像与热图图像之间的关系在两个测定区域内未匹配的情况，在图7(B)所示的事例中，在热图图像中，与第一测定区域相比，第二测定区域内的滞留数较高、即较为混杂，但是在背景图像中，第一测定区域比第二测定区域拍到的人员多，背景图像与热图图像未匹配。
于是，在本实施方式中，为了减轻因背景图像与热图图像未匹配而给用户带来的不协调感，如以下所示那样，对统一从在计测期间内拍摄到的多个拍摄图像中选择出的拍摄图像进行图像处理，从而生成背景图像。
接着，说明由图5所示的背景图像生成部36进行的背景图像生成处理。图8及图9是表示由背景图像生成部36生成的背景图像及由显示图像生成部37生成的显示图像的说明图。
在背景图像生成部36中进行如下处理：对拍摄图像整体进行降低被拍摄到拍摄图像中的人员的识别性(可视性)的图像处理而生成背景图像，从而生成图8(A)及图9(A)所示的背景图像。在显示图像生成部37中进行如下处理：在由该背景图像生成部36生成的背景图像上重叠热图图像而生成显示图像，从而生成图8(B)及图9(B)所示的显示图像。
图8所示的例子是进行如下处理的情况：作为降低被拍摄到拍摄图像中的人员的识别性的图像处理，对拍摄图像进行模糊处理特别是马赛克处理、即将拍摄图像分割为多个块而将该块内的全部像素的像素值置换为块内的一个像素的像素值或块内的各像素的像素值的平均值等单一像素值的处理。图9所示的例子是进行在拍摄图像上重叠单一色的半透过图像的处理的情况。
此外，作为模糊处理，除了马赛克处理之外，也可以是各种滤光处理、例如通过模糊滤镜、高斯滤镜、中间值滤镜及双边滤镜等进行的滤光处理。进而，为了降低被拍摄到拍摄图像中的人员的识别性，也能够利用灰度变换、底片/正片反转、色调校正(亮度变化、RGB色彩平衡变化、对比度变化、伽马校正及彩度调整等)、二值化及边缘滤光等各种图像处理。
如此，在本实施方式中，在背景图像生成部36中，对拍摄图像整体进行降低被拍摄到拍摄图像的人员的识别性(可视性)的图像处理而生成背景图像，在进行了这样的图像处理的背景图像中，被拍摄到拍摄图像中的人员变得难以识别，因此统一从计测期间内的拍摄图像中选择出背景图像、例如将计测期间的结束时刻下的拍摄图像选择为背景图像，从而即使在背景图像与热图图像未匹配的情况下，也能够降低给用户带来的不协调感。
特别是在本实施方式中，作为降低被拍摄到拍摄图像中的人员的识别性的图像处理，对拍摄图像整体进行模糊处理、重叠透过单一色的处理，因此能保持能够大致掌握对象区域的概观、即在何处有何物的状态，并且使准确的人员的人数、位置等变得难以分辨，因此能够减少因背景图像与热图图像未匹配而产生的不协调感。
此外，在本实施方式中，对拍摄图像整体进行降低被拍摄到拍摄图像中的人员的识别性的图像处理，但是也可以仅以拍摄图像的一部分、特别是人员通过的区域为对象进行图像处理。
(第二实施方式)
接着，说明第二实施方式。此外，在此未特别言及的方面与第一实施方式相同。
图10是说明由第二实施方式的PC3的背景图像生成部36所进行的背景图像生成处理的概要的说明图。图11及图12是表示由背景图像生成部36生成的背景图像及由显示图像生成部37生成的显示图像的说明图。
在该第二实施方式中，如图10所示，在背景图像生成部36中进行如下处理：根据在与滞留信息相对应的计测期间拍摄到的多个拍摄图像来生成摘要图像，并将该摘要图像设为背景图像。此外，在生成摘要图像时，除了以计测期间内的全部拍摄图像为对象以外，也可以从计测期间内的拍摄图像中隔开一定间隔地选择多个拍摄图像。
特别是在该第二实施方式中，在背景图像生成部36中进行如下处理：按照各个像素求出多个拍摄图像的像素值(例如亮度值)的平均值、生成将该平均值设为像素值的平均图像作为摘要图像，并将该平均图像设为背景图像。另外，在背景图像生成部36中进行如下处理：按照各个像素求出多个拍摄图像的像素值(例如亮度值)的方差、生成将该方差设为像素值的方差图像作为摘要图像，并将该方差图像设为背景图像。由此，生成图11(A)所示的背景图像。然后，在显示图像生成部37进行如下处理：在由背景图像生成部36生成的背景图像上重叠热图图像，从而生成图11(B)所示的显示图像。
此外，在平均图像中，人员未通过的背景部分虽然存在噪声、日照变动等的影响，但是仍能够保持大体鲜明的状态，能够鲜明地显现收银台等静止物体的像。另一方面，人员通过的部分形成为不鲜明的状态，虽然显示有类似人员的像，但是该人员的像变得不鲜明，特别是虽然在人员长时间滞留的部分鲜明地显现有人员的像，但是在通过人员较少的部分形成为接近背景的图像，在通过人员较多的部分人员的像变得不鲜明。
另外，在方差图像中，例如以白黑显示，当以黑色显示方差值较小的一方时，人员未通过的背景部分虽存在噪声、日照变动等的影响，但是方差几乎为0，因此以接近黑色的颜色显示。另一方面，人员通过的部分形成为不鲜明的状态，特别是通过人员较少的部分、人员长时间滞留的部分几乎没有亮度变化，因此与背景相同，以接近黑色的颜色显示，在通过人员较多的部分显现有不鲜明的类似人员的像。
另外，在该第二实施方式中，在背景图像生成部36进行如下处理：生成将分别从计测期间内的多个拍摄图像中提取出的人员的图像重叠在一个拍摄图像上而得到的摘要图像，将该摘要图像设为背景图像。由此，生成图12(A)所示的背景图像。然后，在显示图像生成部37中进行如下处理：在由背景图像生成部36生成的背景图像上重叠热图图像，从而生成图12(B)所示的显示图像。
在图12所示的例子中，在背景图像(摘要图像)内的人员的像的部分显示有时刻。该时刻是提取出该人员的像的拍摄图像的拍摄时刻、即该人员出现在拍摄图像内的时刻。此外，也可以不显示时刻。
另外，在生成摘要图像时，在重叠有人员的图像的背景用的拍摄图像中，也可以使用计测期间的结束时刻下的拍摄图像，但是也可以使用从拍摄图像中去除了人员的图像而得到的拍摄图像，在这种情况下，例如从最近拍摄到的多个拍摄图像中分别去除人员的图像，利用该多个拍摄图像合成背景用的拍摄图像即可。另外，也可以将不存在人员时的拍摄图像、例如开店前的拍摄图像设为背景用的拍摄图像而预先准备。
此外，也可以以静止画面显示摘要图像、即将在计测期间内的拍摄图像中出现的多个人员的图像同时重叠在背景用的拍摄图像上而生成一个摘要图像，但是也可以以动画显示摘要图像、即将在计测期间内的拍摄图像中出现的人员的图像按照该人员的出现时刻的顺序进行显示。
另外，因在拍摄图像中出现的人员移动而使人员的图像的位置发生变化，因此存在将重叠在背景用的拍摄图像上的人员的图像作为哪个时刻的图像这样的问题，但例如可以使用人员的出现期间的中心时刻下的人员的图像，另外，也可以是为了易于观察背景图像而以使多个人员的图像尽可能分散地配置于避免过度重叠的位置的方式选择人员的图像。
如此，在本实施方式中，在背景图像生成部36，根据在与滞留信息对应的计测期间内拍摄到的多个拍摄图像来生成摘要图像，将该摘要图像设为背景图像，这样的摘要图像反映出整个计测期间的对象区域的状态，因此背景图像与热图图像匹配，因此能够避免给用户带来不协调感。
特别是在本实施方式中，将平均图像、方差图像作为背景图像，在该平均图像、方差图像中，人员的像变得不鲜明，但是收银台等静止的物体的像保持为比较鲜明的状态，因此能够明确地掌握除了人员以外的对象区域的状态。另外，在平均图像、方差图像中，在实际存在人员的区域显示类似人员的像，但是该平均图像、方差图像反映出整个计测期间的对象区域的状态，因此显示于平均图像、方差图像中的类似人员的像与热图图像匹配，因此能够避免给用户带来不协调感。
另外，在本实施方式中，将在一个拍摄图像上重叠分别从计测期间内的多个拍摄图像中提取出的人员的图像而得到的摘要图像设为背景图像，在这样的摘要图像中，出现在计测期间内的拍摄图像中的人员的像被鲜明地显示，另外，除人员以外的物体的像也被鲜明地显示，因此能够明确地掌握包括人员在内的对象区域的状态。
(第三实施方式)
接着，说明第三实施方式。此外，在此未特别言及的方面与第一实施方式相同。
图13是表示第三实施方式的PC3的概略结构的功能框图。图14是说明由图13所示的背景图像生成部36进行的背景图像生成处理的概要的说明图。图15是说明由图13所示的类似度计算部51进行的类似度计算处理的概要的说明图。
在第一实施方式及第二实施方式中，在背景图像生成部36中，对拍摄图像进行适当的图像处理而生成背景图像，但是在该第三实施方式中，进行找出适合作为背景图像的拍摄图像的处理，而不进行图像处理。特别是在该第三实施方式中，如图14所示，算出滞留信息的计测期间内的各时刻的拍摄图像的类似度，将该类似度最高的拍摄图像选择为背景图像。
如图13所示，背景图像生成部36具备类似度计算部51和背景图像选择部52。在类似度计算部51中进行如下处理：比较根据滞留信息的计测期间内的各时刻的拍摄图像获得的位置信息和利用滞留信息取得部34取得的滞留信息，算出各时刻的拍摄图像与滞留信息的类似度。在背景图像选择部52中进行如下处理：基于利用类似度计算部51算出的类似度，从滞留信息的计测期间内的各时刻的拍摄图像中将类似度最高的拍摄图像选择为背景图像并输出。
在类似度计算部51中，取得存储于位置信息存储部31的位置信息所包含的每位人员的人员框的信息，求出在拍摄图像上存在人员框的区域(人员存在区域)的大小，比较该人员存在区域的大小与利用热图图像所表示的滞留信息的数值的大小，算出拍摄图像与滞留信息的类似度。在该类似度的计算中，利用除法等适当的计算来算出类似度即可。
图15(A)是某个时刻的显示图像，根据该显示图像内的热图图像，在第一测定区域内滞留数较小，在第二测定区域内滞留数较大，但是在背景图像中，在第一测定区域内人员较多，在第二测定区域内人员较少，背景图像与热图图像未匹配。
图15(B)表示从拍摄图像检测出的人员框，在各测定区域内求出人员存在区域的大小，比较各测定区域内的人员存在区域的大小与由热图图像所表示的滞留数，算出各测定区域内的类似度。在图15所示的例子中，在第一测定区域内人员存在区域较大，在第二测定区域内人员存在区域较小，各测定区域内的人员存在区域的大小与由热图图像所表示的滞留数未对应，类似度降低。
如此，在本实施方式中，在类似度计算部51中，算出拍摄图像与滞留信息的类似度，在背景图像选择部52中，基于利用类似度计算部51算出的类似度，从多个拍摄图像中选择设为背景图像的拍摄图像，因此背景图像与热图图像匹配，因此能够避免给用户带来不协调感。
(第三实施方式的第一变形例)
接着，说明第三实施方式的第一变形例。图16是表示第三实施方式的第一变形例的PC3的概略结构的功能框图。图17是说明由图16所示的背景图像生成部36进行的背景图像生成处理的概要的说明图。
在第三实施方式中，仅基于拍摄图像与滞留信息的类似度来进行背景图像的选择、即将在滞留信息的计测期间内类似度最高的拍摄图像选择为背景图像，而在该第一变形例中，进行基于类似度选择出的拍摄图像是否适合作为背景图像的评价如图16所示背景图像生成部36除了类似度计算部51及背景图像选择部52之外，还具备评价部53。
在评价部53中进行如下处理：对利用类似度计算部51算出的各时刻的拍摄图像的类似度中的最高的类似度与预定阈值进行比较，评价该拍摄图像是否适合作为背景图像。在此，将类似度为阈值以上的情况评价为适合作为背景图像，将类似度小于阈值的情况评价为不适合作为背景图像。
如图17所示，首先，以滞留信息的计测期间内的各时刻的拍摄图像为对象进行该评价部53中的评价，当评价为滞留信息的计测期间内的各时刻的全部拍摄图像都不适合作为背景图像时，将其它计测期间、例如前一个计测期间的拍摄图像作为对象进行评价，当发现适合作为背景图像的拍摄图像时，将该拍摄图像选择为背景图像。
然而，在该第三实施方式的第一变形例中，在评价部53中进行拍摄图像是否适合作为背景图像的评价，但即使将在滞留信息的计测期间内类似度最高并且该类似度形成为阈值以上的拍摄图像选择为背景图像，也存在如图7(A)所示地在时间上相邻的计测期间内的显示图像彼此无法匹配的情况。
因此，在评价部53中，除了基于阈值的评价，也可以进行与时间的匹配性、即在时间上相邻的计测期间内的显示图像彼此的匹配性相关的评价。在与该时间的匹配性相关的评价中，当从滞留信息的计测期间内选择出的拍摄图像被评价为不适合作为背景图像时，在背景图像选择部52，从其它计测期间、例如前一个计测期间的拍摄图像中选择出更适合作为背景图像的拍摄图像。
如此，在本变形例中，在评价部53，对利用类似度计算部51算出的类似度与预定阈值进行比较，评价拍摄图像是否适合作为背景图像，将由该评价部53评价为适合作为背景图像的拍摄图像选择为背景图像，因此背景图像与热图图像可靠地匹配，因此能够避免给用户带来不协调感。
图18是表示显示于监视器7的热图显示画面的说明图。在该热图显示画面上设有时间显示部61、时间设定按钮62、热图显示部63及注意事项显示部64。
在热图显示部63显示有在背景图像上重叠了热图图像而得到的显示图像。时间显示部61用于显示时间，时间设定按钮62用于设定时间。当操作时间设定按钮62时，显示未图示的时间设定画面，在此选择时间，由此所选择的时间显示于时间显示部61，另外，所选择的时间下的显示图像显示于热图显示部63。
在注意事项显示部64，在将与所显示的时间段(热图图像的计测期间)不同的时刻下的拍摄图像选择为背景图像的情况下，显示该内容的文字。由此，能够避免根据背景图像错误地推测对象区域的状况。即，对象区域的实际的状况时刻变化，当将与所显示的时间段不同的时刻下的拍摄图像选择为背景图像时，存在例如在所显示的时间段内不存在的人员被拍摄到背景图像上的情况，在这样的情况下，有时会根据背景图像进行错误的推测，但是通过在注意事项显示部64显示将与所显示的时间段不同的时刻下的拍摄图像选择为背景图像这一内容，能够避免错误的推测。
此外，表示将与所显示的时间段(热图图像的计测期间)不同的时刻下的拍摄图像选择为背景图像的显示并不限于文字，也可以利用对热图显示部63的框部分实施着色等强调显示、图标等来进行。
另外，如图11及图12所示，在将摘要图像设为背景图像的情况下，也可以在热图显示画面设置注意事项显示部64。在这种情况下，注意事项显示部显示表示该图像为摘要图像这一内容的文字。此外，也可以利用热图显示部63的强调显示、图标等显示该图像为摘要图像这一内容。如此，用户能够掌握背景图像为摘要图像而非实际的拍摄图像。
(第三实施方式的第二变形例)
接着，说明第三实施方式的第二变形例。图19是说明由第三实施方式的第二变形例的PC3的背景图像生成部36进行的背景图像生成处理的概要的说明图。此外，该第二变形例中的PC3的概略结构与图16所示的第一变形例相同。
在该第二变形例中，与第一变形例相同，通过对拍摄图像和滞留信息的类似度与阈值进行比较，进行拍摄图像是否适合作为背景图像的评价，特别是在该第二变形例中，按照预定候补选择规则选择作为候补的拍摄图像，找出适合作为背景图像的拍摄图像。
具体来说，首先，在类似度计算部51中，算出滞留信息的计测期间内的结束时刻下的拍摄图像的类似度，在评价部53中，进行该拍摄图像是否适合作为背景图像的评价，当评价为该拍摄图像不适合作为背景图像时，按照预定候补选择规则选择作为候补的拍摄图像，再次进行该拍摄图像是否适合作为背景图像的评价，在发现评价为适合作为背景图像的拍摄图像之前重复该拍摄图像的选择及评价，当发现适合作为背景图像的拍摄图像时，在背景图像选择部52将该拍摄图像选择为背景图像并输出。
特别是在图19所示的例子中，将候补选择规则设为选择比计测期间短的预定选择间隔、例如10分钟之前的时刻的拍摄图像，从滞留信息的计测期间的结束时刻下的拍摄图像起追溯每个选择间隔来选择拍摄图像，重复拍摄图像是否适合作为背景图像的评价，找出适合作为背景图像的拍摄图像。
此外，在该第二变形例中，也可以是追溯选择间隔来选择一个拍摄图像并进行评价，但是若以选择间隔内的多个拍摄图像为对象进行评价且其中的拍摄图像全部被评价为不适合作为背景图像，则以其之前的选择间隔内的多个拍摄图像为对象进行评价，在发现评价为适合作为背景图像的拍摄图像之前重复进行该评价。
接着，说明图4所示的热图图像23的其他例子。图20是表示热图图像23的其他例子的说明图。
在图4所示的例子中，在背景图像21上重叠显示表示测定区域的框图像22及表示滞留信息(滞留数及滞留时间)的热图图像23，特别是使用圆形的图形来表现热图图像23，但是该热图图像23由图形、文字及符号中的至少一种构成即可。即，也可以使用除圆形以外的图形、例如正方形的图形。进而，除图形以外，也可以以例如符号、文字来表现热图图像23。
另外，在图4所示的例子中，以热图图像23的大小来表现滞留数，以涂满热图图像23的颜色的浓淡来表现滞留时间的长度，但是能够以热图图像23的属性、即热图图像23的大小、涂满热图图像23的颜色、热图图像23的轮廓线的色调、颜色的浓淡及粗细中的至少一项来表现滞留信息(滞留数及滞留时间)的数值的大小。
例如，在图20(A)、图20(B)、图20(C)所示的例子中，热图图像23由正方形的图形形成。特别是在图20(A)、图20(B)、图20(C)所示的例子中，以正方形的大小来表现滞留数。另外，在图20(A)所示的例子中，以涂满正方形的颜色的浓淡来表现滞留时间的长度，在图20(B)所示的例子中，以正方形的轮廓线的粗细来表现滞留时间的长度，在图20(C)所示的例子中，以正方形的轮廓线的颜色的浓淡来表现滞留时间的长度。此外，在图20(A)、图20(C)所示的例子中，也可以取代颜色的浓淡而以色调来进行表现。
在图20(D)所示的例子中，热图图像23由符号构成，特别是在此以符号的大小来表现滞留数，以符号来表现滞留时间的长度。另外，在图20(E)所示的例子中，热图图像23由文字构成，特别是在此以文字的大小来表现滞留数，以文字来表现滞留时间的长度。
接着，说明区域分割热图图像。图21是表示区域分割热图图像的说明图。
在图4所示的例子中，在监视区域(相机的拍摄区域)内设定测定区域(对象区域)，将表示每个测定区域内的滞留信息的热图图像23重叠于背景图像上，而在该图21所示的例子中，将监视区域整体设为对象区域，将该对象区域分割为多个格子(分割区域)，将表示每个格子内的滞留数的热图图像重叠于背景图像上，利用该热图图像，能够使对象区域内的滞留数的分布状况可视化。
另外，在该热图图像中，根据人员的滞留数(滞留人数)，通过变更颜色、浓淡及图案图像中的至少一项的可视化要素，能够使人员的滞留数可视化，在图21所示的例子中，以格子的浓淡(涂满颜色的浓淡)来表现每个格子内的滞留数。
为了生成这样的热图图像，统计在计测期间内通过了各格子的人员的活动线路的条数，求出每个格子的滞留数即可。
接着，说明利用图5所示的滞留信息取得部34进行的滞留信息取得处理的其他例子。图22是说明利用滞留信息取得部34进行的滞留信息取得处理的其他例子的说明图。此外，该其他例子适用于生成图21所示的区域分割热图图像的情况。
在第一实施方式中，统计活动线路的条数而取得滞留数，但是在该图22所示的例子中，按照各个像素(检测要素)来统计位于人员框(人员所处区域)内的次数，取得各个像素的滞留数(计数值)，利用适当的统计处理，以格子为单位汇总以像素为单位的动体活动值，取得以格子为单位的滞留数。
在此，在移动体检测装置4中进行根据拍摄图像来检测人员框的处理。另外，在以格子为单位汇总以像素为单位的动体活动值的处理中，合计例如格子内的各像素的滞留数的平均值、即格子内的全部像素的滞留数，将以该合计值除以格子的像素数而得到的值设为该格子的滞留数即可。
此外，在此统计位于人员框内的次数来取得滞留数，但是也可以统计人员框的中心点位于格子内的次数来取得以格子为单位的滞留数。另外，在该图22所示的方法中，无需取得每位人员的活动线路，因此能够省略图5所示的活动线路取得部32及活动线路信息存储部33。
以上，基于特定的实施方式说明了本发明，但是这些实施方式仅为示例，本发明并不限于这些实施方式。另外，上述各实施方式所示的本发明的滞留状况分析装置、滞留状况分析系统及滞留状况分析方法的各构成要素未必全部需要，至少在不脱离本发明的范围的情况下能够适当地取舍选择。
例如，在上述各实施方式中，将超市等零售店铺的收银台设为对象区域，但是也可以将产生等待队列的场所、例如银行的ATM区、集会、展示会等各种会场的入口大门、接待处、展示板、展示摊位前等设为对象区域。
另外，在上述各实施方式中，说明了将作为滞留信息(滞留数及滞留时间)的测定对象的移动体设为人员的例子，但是也可以将除人员以外的移动体、例如汽车、自行车等车辆作为对象，适用于掌握进入停车场的车辆的滞留状况的用途。
另外，在上述各实施方式中，在移动体检测装置4中，根据相机1的拍摄图像，以图像解析来检测移动体，并输出其位置信息，但是除了这样的结构以外，也可以是利用无线电信号等来检测移动体的结构、例如是以传感器来检测移动体所附带的标签的结构、使用了GPS(Global Positioning System)的结构、使用了以光来检测人员的位置传感器的结构等。
另外，在上述各实施方式中，在图4及图21中示出了表示滞留信息的热图图像的一个例子，但是热图图像并不限于这些例子，能够以各种描绘方法来表现滞留信息。例如，也可以呈等高线状地用颜色区分滞留信息的数值的大小来进行显示。
另外，在上述各实施方式中，与相机1独立地设置有移动体检测装置4，但是如上所述，也能够将该移动体检测装置的一部分功能或全部功能与相机1一体化，从而构成为带有移动体检测功能的拍摄装置。另外，也可以由PC3构成移动体检测装置4。
另外，在上述各实施方式中，以设置于店铺的PC3来进行滞留状况分析所需的处理，并且在PC3的监视器7中显示滞留状况分析结果、即在背景图像上重叠了热图图像而得到的显示图像，但是也可以将区别于进行滞留状况分析所需的处理的信息处理装置的其他信息处理装置、例如如图1所示的设置于本部的PC11、智能手机13等便携式终端构成为滞留状况分析结果的阅览装置。
另外，在上述各实施方式中，以设于店铺的PC3来进行滞留状况分析所需的处理，但是也可以以设于本部的PC11、构成云计算系统的云计算机12来进行该所需的处理。另外，也可以以多个信息处理装置来分担所需的处理，经由IP网络、LAN等通信介质，在多个信息处理装置之间交换信息。在这种情况下，滞留状况分析系统由分担所需的处理的多个信息处理装置构成。
在这样的结构中，可以以设于店铺的PC3等装置来进行滞留状况分析所需的处理中的至少计算量较大的处理、例如移动体检测处理、活动线路取得处理。当如此构成时，可以减少剩余处理所需的信息的数据量，因此以设置于与店铺不同的场所的信息处理装置、例如设置于本部的PC11来进行剩余的处理，也能够减轻通信负荷，因此广域网络连接形态下的系统的运用变得容易。
另外，也可以以云计算机12来进行滞留状况分析所需的处理中的至少计算量较大的处理、例如移动体检测处理、活动线路取得处理。当如此构成时，可以减少剩余处理的计算量，因此店铺等用户方无需高速的信息处理装置，能够减轻用户所负担的成本。
另外，当在云计算机12中进行所需的全部处理、另外至少赋予向云计算机12输出滞留状况分析结果的功能时，除了设于店铺、本部的PC3、PC11以外，也能够在智能手机13等便携式终端上显示滞留状况分析结果，由此，除了店铺、本部以外，也能够在外出地等任意场所确认滞留状况。
另外，在上述各实施方式中，分别示出了具有特征的各种结构，但是这些结构并不限于各实施方式所示的组合，也能够适当地组合以各实施方式分别示出的结构。特别是第一实施方式中的降低被拍摄到拍摄图像的人员的识别性的图像处理在人员的隐私保护的观点上是有效的，也能够对在第二实施方式、第三实施方式中生成的摘要图像应用该降低识别性的图像处理，在人员的隐私保护上，需要这样的实施方式的组合运用。
本发明的滞留状况分析装置、滞留状况分析系统及滞留状况分析方法具有如下效果：在将使对象区域内的移动体的滞留信息可视化而得到的热图图像重叠于根据对象区域的拍摄图像生成的背景图像而进行显示的情况下，能降低因背景图像与热图图像未匹配而导致的不协调感，获得自然的显示图像，作为取得与对象区域内的移动体的滞留状况相关的滞留信息、生成使该滞留信息可视化而得到的热图图像并显示于显示装置的滞留状况分析装置、滞留状况分析系统及滞留状况分析方法等是有用的。

Claims (16)

1.一种滞留状况分析装置，取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使所述滞留信息可视化而得到的热图图像并显示于显示装置，所述滞留状况分析装置的特征在于，具有：
处理器；及
存储指令的存储器，
作为执行存储于所述存储器的指令时的结构，所述处理器具备：滞留信息取得部，基于根据所述对象区域的拍摄图像所取得的移动体的位置信息，取得每个预定计测期间的所述滞留信息；热图图像生成部，生成使由所述滞留信息取得部取得的所述滞留信息可视化而得到的所述热图图像；背景图像生成部，根据所述拍摄图像生成背景图像；及显示图像生成部，在由所述背景图像生成部生成的所述背景图像上重叠由所述热图图像生成部生成的所述热图图像，从而生成显示图像，
所述背景图像生成部对所述拍摄图像进行降低被拍摄到所述拍摄图像中的移动体的识别性的图像处理而生成所述背景图像。
2.根据权利要求1所述的滞留状况分析装置，其特征在于，
所述背景图像生成部对所述拍摄图像进行模糊处理而生成所述背景图像。
3.根据权利要求1所述的滞留状况分析装置，其特征在于，
所述背景图像生成部对所述拍摄图像进行重叠单一色的半透过图像的处理而生成所述背景图像。
4.一种滞留状况分析装置，取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使所述滞留信息可视化而得到的热图图像并显示于显示装置，所述滞留状况分析装置的特征在于，具有：
处理器；及
存储指令的存储器，
作为执行存储于所述存储器的指令时的结构，所述处理器具备：滞留信息取得部，基于根据所述对象区域的拍摄图像所取得的移动体的位置信息，取得每个预定计测期间的所述滞留信息；热图图像生成部，生成使由所述滞留信息取得部取得的所述滞留信息可视化而得到的所述热图图像；背景图像生成部，根据所述拍摄图像生成背景图像；及显示图像生成部，在由所述背景图像生成部生成的所述背景图像上重叠由所述热图图像生成部生成的所述热图图像，从而生成显示图像，
所述背景图像生成部根据在与所述滞留信息对应的所述计测期间拍摄到的多个所述拍摄图像生成摘要图像，并将所述摘要图像设为所述背景图像。
5.根据权利要求4所述的滞留状况分析装置，其特征在于，
所述背景图像生成部按照各个像素求出多个所述拍摄图像的像素值的平均值、生成将所述平均值设为像素值的平均图像作为所述摘要图像，并将所述平均图像设为所述背景图像。
6.根据权利要求4所述的滞留状况分析装置，其特征在于，
所述背景图像生成部按照各个像素求出多个所述拍摄图像的像素值的方差、生成将所述方差设为像素值的方差图像作为所述摘要图像，并将所述方差图像设为所述背景图像。
7.根据权利要求4所述的滞留状况分析装置，其特征在于，
所述背景图像生成部生成将分别从所述计测期间内的多个拍摄图像中提取出的移动体的图像重叠于一个所述拍摄图像上而成的图像作为所述摘要图像，并将所述图像设为所述背景图像。
8.一种滞留状况分析装置，取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使所述滞留信息可视化而得到的热图图像并显示于显示装置，所述滞留状况分析装置的特征在于，具有：
处理器；及
存储指令的存储器，
作为执行存储于所述存储器的指令时的结构，所述处理器具备：滞留信息取得部，基于根据所述对象区域的拍摄图像所取得的移动体的位置信息，取得每个预定计测期间的所述滞留信息；热图图像生成部，生成使由所述滞留信息取得部取得的所述滞留信息可视化而得到的所述热图图像；背景图像生成部，根据所述拍摄图像生成背景图像；及显示图像生成部，在由所述背景图像生成部生成的所述背景图像上重叠由所述热图图像生成部生成的所述热图图像，从而生成显示图像，
所述背景图像生成部具备：
类似度计算部，算出所述拍摄图像与所述滞留信息的类似度；及
背景图像选择部，基于由所述类似度计算部算出的所述类似度，选择设为所述背景图像的所述拍摄图像。
9.根据权利要求8所述的滞留状况分析装置，其特征在于，
所述背景图像生成部还具备评价部，所述评价部对由所述类似度计算部算出的所述类似度与预定阈值进行比较，来评价所述拍摄图像是否适合作为背景图像，
将由所述评价部评价为适合作为背景图像的所述拍摄图像选择为所述背景图像。
10.根据权利要求1所述的滞留状况分析装置，其特征在于，
所述滞留信息为滞留数和滞留时间中的至少一方。
11.一种滞留状况分析系统，取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使所述滞留信息可视化而得到的热图图像并显示于显示装置，所述滞留状况分析系统的特征在于，具有：
拍摄所述对象区域的相机；及
多个信息处理装置，
所述多个信息处理装置中的任一信息处理装置具有处理器和存储指令的存储器，
作为执行存储于所述存储器的指令时的结构，所述处理器具备：移动体检测部，从所述相机的拍摄图像中检测出移动体而取得位置信息；滞留信息取得部，基于由所述移动体检测部取得的所述移动体的位置信息，取得每个预定计测期间的所述滞留信息；热图图像生成部，生成使由所述滞留信息取得部取得的所述滞留信息可视化而得到的所述热图图像；背景图像生成部，根据所述拍摄图像生成背景图像；及显示图像生成部，在由所述背景图像生成部生成的所述背景图像上重叠由所述热图图像生成部生成的所述热图图像，从而生成显示图像，
所述背景图像生成部对所述拍摄图像进行降低被拍摄到所述拍摄图像中的移动体的识别性的图像处理而生成所述背景图像。
12.一种滞留状况分析系统，取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使所述滞留信息可视化而得到的热图图像并显示于显示装置，所述滞留状况分析系统的特征在于，具有：
拍摄所述对象区域的相机；及
多个信息处理装置，
所述多个信息处理装置中的任一信息处理装置具有处理器和存储指令的存储器，
作为执行存储于所述存储器的指令时的结构，所述处理器具备：移动体检测部，从所述相机的拍摄图像中检测出移动体而取得位置信息；滞留信息取得部，基于由所述移动体检测部取得的所述移动体的位置信息，取得每个预定计测期间的所述滞留信息；热图图像生成部，生成使由所述滞留信息取得部取得的所述滞留信息可视化而得到的所述热图图像；背景图像生成部，根据所述拍摄图像生成背景图像；及显示图像生成部，在由所述背景图像生成部生成的所述背景图像上重叠由所述热图图像生成部生成的所述热图图像，从而生成显示图像，
所述背景图像生成部根据在与所述滞留信息对应的所述计测期间拍摄到的多个所述拍摄图像生成摘要图像，并将所述摘要图像设为所述背景图像。
13.一种滞留状况分析系统，取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使所述滞留信息可视化而得到的热图图像并显示于显示装置，所述滞留状况分析系统的特征在于，具有：
拍摄所述对象区域的相机；及
多个信息处理装置，
所述多个信息处理装置中的任一信息处理装置具有处理器和存储指令的存储器，
作为执行存储于所述存储器的指令时的结构，所述处理器具备：移动体检测部，从所述相机的拍摄图像中检测出移动体而取得位置信息；滞留信息取得部，基于由所述移动体检测部取得的所述移动体的位置信息，取得每个预定计测期间的所述滞留信息；热图图像生成部，生成使由所述滞留信息取得部取得的所述滞留信息可视化而得到的所述热图图像；背景图像生成部，根据所述拍摄图像生成背景图像；及显示图像生成部，在由所述背景图像生成部生成的所述背景图像上重叠由所述热图图像生成部生成的所述热图图像，从而生成显示图像，
所述背景图像生成部具备：
类似度计算部，算出所述拍摄图像与所述滞留信息的类似度；及
背景图像选择部，基于由所述类似度计算部算出的所述类似度，选择设为所述背景图像的所述拍摄图像。
14.一种滞留状况分析方法，使信息处理装置进行如下处理：取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使所述滞留信息可视化而得到的热图图像并显示于显示装置，所述滞留状况分析方法的特征在于，
所述信息处理装置的处理器在执行存储于存储器的指令时，具有以下步骤：
滞留信息取得步骤，基于根据所述对象区域的拍摄图像所取得的移动体的位置信息，取得每个预定计测期间的所述滞留信息；
热图图像生成步骤，生成使由所述滞留信息取得步骤取得的所述滞留信息可视化而得到的所述热图图像；
背景图像生成步骤，根据所述拍摄图像生成背景图像；及
显示图像生成步骤，在由所述背景图像生成步骤生成的所述背景图像上重叠由所述热图图像生成步骤生成的所述热图图像，从而生成显示图像，
在所述背景图像生成步骤中，对所述拍摄图像进行降低被拍摄到所述拍摄图像中的移动体的识别性的图像处理而生成所述背景图像。
15.一种滞留状况分析方法，使信息处理装置进行如下处理：取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使所述滞留信息可视化而得到的热图图像并显示于显示装置，所述滞留状况分析方法的特征在于，
所述信息处理装置的处理器在执行存储于存储器的指令时，具有以下步骤：
滞留信息取得步骤，基于根据所述对象区域的拍摄图像所取得的移动体的位置信息，取得每个预定计测期间的所述滞留信息；
热图图像生成步骤，生成使由所述滞留信息取得步骤取得的所述滞留信息可视化而得到的所述热图图像；
背景图像生成步骤，根据所述拍摄图像生成背景图像；及
显示图像生成步骤，在由所述背景图像生成步骤生成的所述背景图像上重叠由所述热图图像生成步骤生成的所述热图图像，从而生成显示图像，
在所述背景图像生成步骤中，根据在与所述滞留信息对应的所述计测期间拍摄到的多个所述拍摄图像生成摘要图像，并将所述摘要图像设为所述背景图像。
16.一种滞留状况分析方法，使信息处理装置进行如下处理：取得与对象区域内的移动体的滞留状况相关的滞留信息，生成使所述滞留信息可视化而得到的热图图像并显示于显示装置，所述滞留状况分析方法的特征在于，
所述信息处理装置的处理器在执行存储于存储器的指令时，具有以下步骤：
滞留信息取得步骤，基于根据所述对象区域的拍摄图像所取得的移动体的位置信息，取得每个预定计测期间的所述滞留信息；
热图图像生成步骤，生成使由所述滞留信息取得步骤取得的所述滞留信息可视化而得到的所述热图图像；
背景图像生成步骤，根据所述拍摄图像生成背景图像；及
显示图像生成步骤，在由所述背景图像生成步骤生成的所述背景图像上重叠由所述热图图像生成步骤生成的所述热图图像，从而生成显示图像，
所述背景图像生成步骤具有以下步骤：
类似度计算步骤，算出所述拍摄图像与所述滞留信息的类似度；及
选择步骤，基于由所述类似度计算步骤算出的所述类似度，选择设为所述背景图像的所述拍摄图像。
CN201510137026.5A 2014-03-26 2015-03-26 滞留状况分析装置、滞留状况分析系统及分析方法 Active CN104954736B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014063547A JP5597781B1 (ja) 2014-03-26 2014-03-26 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
JP2014-063547 2014-03-26

Publications (2)

Publication Number Publication Date
CN104954736A true CN104954736A (zh) 2015-09-30
CN104954736B CN104954736B (zh) 2019-07-05

Family

ID=51840280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510137026.5A Active CN104954736B (zh) 2014-03-26 2015-03-26 滞留状况分析装置、滞留状况分析系统及分析方法

Country Status (4)

Country Link
US (1) US10049283B2 (zh)
EP (1) EP2924613A1 (zh)
JP (1) JP5597781B1 (zh)
CN (1) CN104954736B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798288A (zh) * 2016-08-30 2018-03-13 佳能株式会社 信息处理设备、信息处理方法、系统及存储介质
CN108027973A (zh) * 2016-05-13 2018-05-11 株式会社日立制作所 拥挤解析装置、拥挤解析方法以及拥挤解析程序
CN112002039A (zh) * 2020-08-22 2020-11-27 王冬井 基于人工智能和人体感知的档案柜柜门自动控制方法
CN113273178A (zh) * 2019-01-30 2021-08-17 松下知识产权经营株式会社 畜舍监视方法和畜舍监视系统

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6222703B2 (ja) * 2014-12-05 2017-11-01 株式会社チャオ ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム
JP5866564B1 (ja) 2014-08-27 2016-02-17 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5879616B1 (ja) * 2014-10-07 2016-03-08 パナソニックＩｐマネジメント株式会社 活動状況分析システム、活動状況分析装置、活動状況分析方法、活動状況分析プログラムおよびそのプログラムを格納する記憶媒体
JP5907362B1 (ja) * 2014-10-08 2016-04-26 パナソニックＩｐマネジメント株式会社 活動状況分析装置、活動状況分析システムおよび活動状況分析方法
JP6624629B2 (ja) * 2014-10-10 2019-12-25 Ｎｅｃソリューションイノベータ株式会社 魚計数装置、魚計数方法、魚数の予測装置、魚数の予測方法、魚計数システムおよび魚数予測システム
JP5906556B1 (ja) 2014-10-17 2016-04-20 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
KR101623826B1 (ko) 2014-12-10 2016-05-24 주식회사 아이디스 히트맵 영상 기능을 가진 감시카메라
JP5999395B1 (ja) * 2015-03-19 2016-09-28 パナソニックＩｐマネジメント株式会社 撮像装置、録画装置および映像出力制御装置
JP5915960B1 (ja) 2015-04-17 2016-05-11 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP5909708B1 (ja) * 2015-05-22 2016-04-27 パナソニックＩｐマネジメント株式会社 動線分析システム、カメラ装置及び動線分析方法
JP5909711B1 (ja) * 2015-06-15 2016-04-27 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線表示方法
JP6421937B2 (ja) * 2015-12-07 2018-11-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP6421936B2 (ja) * 2015-12-07 2018-11-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
KR102453858B1 (ko) 2015-12-23 2022-10-14 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
JP6558579B2 (ja) 2015-12-24 2019-08-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP6688611B2 (ja) * 2016-01-06 2020-04-28 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 動線分析システム及び動線分析方法
JP6485707B2 (ja) * 2016-01-06 2019-03-20 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
US10346688B2 (en) 2016-01-12 2019-07-09 Hitachi Kokusai Electric Inc. Congestion-state-monitoring system
JP6508482B2 (ja) * 2016-03-08 2019-05-08 パナソニックＩｐマネジメント株式会社 活動状況分析システムおよび活動状況分析方法
WO2017170084A1 (ja) 2016-03-31 2017-10-05 日本電気株式会社 動線表示システム、動線表示方法およびプログラム記録媒体
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
JP6099025B1 (ja) * 2016-06-20 2017-03-22 パナソニックＩｐマネジメント株式会社 モニタリングシステム、マスク処理設定方法及びコンピュータプログラム
JP6099027B1 (ja) * 2016-07-14 2017-03-22 パナソニックＩｐマネジメント株式会社 モニタリングシステム、映像表示方法及びコンピュータプログラム
JP6099026B1 (ja) * 2016-07-14 2017-03-22 パナソニックＩｐマネジメント株式会社 モニタリングシステム、映像表示方法及びコンピュータプログラム
JP6918523B2 (ja) 2017-03-06 2021-08-11 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法ならびに情報処理方法をコンピュータに実行させるプログラム
JP7156269B2 (ja) * 2017-03-31 2022-10-19 日本電気株式会社 情報処理装置、制御方法、及びプログラム
DE102017218090A1 (de) * 2017-10-11 2019-04-11 Robert Bosch Gmbh Verfahren zur Darstellung von Bildern eines Kamerasystems eines Fahrzeugs
DE102018104913A1 (de) * 2018-03-05 2019-09-05 Prüftechnik Dieter Busch AG Schwingungsüberwachung eines Objekts mittels Videokamera
JP2019176306A (ja) * 2018-03-28 2019-10-10 キヤノン株式会社 監視システム、監視システムの制御方法及びプログラム
JP7092540B2 (ja) * 2018-04-04 2022-06-28 パナソニックホールディングス株式会社 交通監視システムおよび交通監視方法
US11704782B2 (en) * 2018-10-03 2023-07-18 The Toronto-Dominion Bank Computerized image analysis for automatically determining wait times for a queue area
US11195295B2 (en) 2018-11-22 2021-12-07 Ricoh Company, Ltd. Control system, method of performing analysis and storage medium
KR102588413B1 (ko) 2019-01-31 2023-10-12 한화비전 주식회사 히트맵을 생성하는 장치 및 방법
CN110213520A (zh) * 2019-05-10 2019-09-06 珠海格力电器股份有限公司 一种视频通话的方法及设备
CN111193938B (zh) * 2020-01-14 2021-07-13 腾讯科技（深圳）有限公司 视频数据处理方法、装置和计算机可读存储介质
JP7349919B2 (ja) * 2020-01-21 2023-09-25 三菱電機株式会社 集中監視システム
JP6744652B1 (ja) * 2020-04-30 2020-08-19 アースアイズ株式会社 混雑情報報知システム
CN112562352B (zh) * 2020-12-07 2022-06-28 梅州安信科技有限公司 一种小区停车智能监控系统
CN112822442B (zh) * 2020-12-31 2023-04-28 杭州海康威视数字技术股份有限公司 热度图生成方法、装置及电子设备
JP7477849B1 (ja) 2023-01-16 2024-05-02 国立大学法人 東京大学 作業システム及び溶接システム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060244764A1 (en) * 1997-10-15 2006-11-02 Electric Planet, Inc. Model based compositing
US20090074246A1 (en) * 2006-03-03 2009-03-19 Arcangelo Distante Method and system for the automatic detection of events in sport fields
US20090134968A1 (en) * 2007-11-28 2009-05-28 Fuji Xerox Co., Ltd. Segmenting time based on the geographic distribution of activity in sensor data
US20090238411A1 (en) * 2008-03-21 2009-09-24 Adiletta Matthew J Estimating motion of an event captured using a digital video camera
US20090245657A1 (en) * 2008-04-01 2009-10-01 Masamichi Osugi Image search apparatus and image processing apparatus
US20100013931A1 (en) * 2008-07-16 2010-01-21 Verint Systems Inc. System and method for capturing, storing, analyzing and displaying data relating to the movements of objects
US20100141737A1 (en) * 2008-12-05 2010-06-10 Altek Corporation Method for real-time prompting stitching degree of panoramic image
US20120242851A1 (en) * 2011-03-25 2012-09-27 William Vernon Fintel Digital camera having burst image capture mode
CN103493112A (zh) * 2011-02-22 2014-01-01 菲力尔系统公司 红外传感器系统及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
US9052386B2 (en) * 2002-02-06 2015-06-09 Nice Systems, Ltd Method and apparatus for video frame sequence-based object tracking
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US7433085B2 (en) * 2003-04-15 2008-10-07 Lexmark International, Inc. Intelligent hardware for detecting color value of an image
JP2006031645A (ja) * 2004-07-12 2006-02-02 Nariyuki Mitachi 動的群集密度のリアルタイム推定方法及び群集事故防止システム
EP1886486A4 (en) * 2005-05-16 2010-10-13 Human Monitoring Ltd MONITORING PROCEDURES AND EQUIPMENT
EP2100453B1 (en) * 2006-12-18 2013-07-03 FUJIFILM Corporation Monitoring system, monitoring method and program
US20110228984A1 (en) * 2010-03-17 2011-09-22 Lighthaus Logic Inc. Systems, methods and articles for video analysis
JP5473801B2 (ja) * 2010-06-30 2014-04-16 株式会社日立製作所 監視装置
AU2010257454B2 (en) * 2010-12-24 2014-03-06 Canon Kabushiki Kaisha Summary view of video objects sharing common attributes
JP2013058063A (ja) * 2011-09-08 2013-03-28 Chuo Electronics Co Ltd 画像処理装置、方法、プログラム、および監視システム
US10061474B2 (en) * 2012-05-04 2018-08-28 Planet Labs, Inc. Overhead image viewing systems and methods
EP2709064B1 (en) * 2012-07-18 2019-06-26 AGT International GmbH Image processing to derive movement characteristics for a plurality of queue objects
JP6364743B2 (ja) * 2013-10-31 2018-08-01 株式会社Ｊｖｃケンウッド 情報処理装置、制御方法、プログラム、及び情報システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060244764A1 (en) * 1997-10-15 2006-11-02 Electric Planet, Inc. Model based compositing
US20090074246A1 (en) * 2006-03-03 2009-03-19 Arcangelo Distante Method and system for the automatic detection of events in sport fields
US20090134968A1 (en) * 2007-11-28 2009-05-28 Fuji Xerox Co., Ltd. Segmenting time based on the geographic distribution of activity in sensor data
US20090238411A1 (en) * 2008-03-21 2009-09-24 Adiletta Matthew J Estimating motion of an event captured using a digital video camera
US20090245657A1 (en) * 2008-04-01 2009-10-01 Masamichi Osugi Image search apparatus and image processing apparatus
US20100013931A1 (en) * 2008-07-16 2010-01-21 Verint Systems Inc. System and method for capturing, storing, analyzing and displaying data relating to the movements of objects
US20100141737A1 (en) * 2008-12-05 2010-06-10 Altek Corporation Method for real-time prompting stitching degree of panoramic image
CN103493112A (zh) * 2011-02-22 2014-01-01 菲力尔系统公司 红外传感器系统及方法
US20120242851A1 (en) * 2011-03-25 2012-09-27 William Vernon Fintel Digital camera having burst image capture mode

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108027973A (zh) * 2016-05-13 2018-05-11 株式会社日立制作所 拥挤解析装置、拥挤解析方法以及拥挤解析程序
CN107798288A (zh) * 2016-08-30 2018-03-13 佳能株式会社 信息处理设备、信息处理方法、系统及存储介质
CN107798288B (zh) * 2016-08-30 2022-03-04 佳能株式会社 信息处理设备、信息处理方法、系统及存储介质
CN113273178A (zh) * 2019-01-30 2021-08-17 松下知识产权经营株式会社 畜舍监视方法和畜舍监视系统
CN112002039A (zh) * 2020-08-22 2020-11-27 王冬井 基于人工智能和人体感知的档案柜柜门自动控制方法

Also Published As

Publication number Publication date
US10049283B2 (en) 2018-08-14
JP2015186202A (ja) 2015-10-22
US20150278608A1 (en) 2015-10-01
CN104954736B (zh) 2019-07-05
JP5597781B1 (ja) 2014-10-01
EP2924613A1 (en) 2015-09-30

Similar Documents

Publication Publication Date Title
CN104954736A (zh) 滞留状况分析装置、滞留状况分析系统及分析方法
EP2869268B1 (en) Staying state analysis device, staying state analysis system and staying state analysis method
CN110866429B (zh) 漏扫识别方法、装置、自助收银终端及系统
CN105723703B (zh) 监控装置、监控系统以及监控方法
JP5834254B2 (ja) 人数計測装置、人数計測システムおよび人数計測方法
US10185965B2 (en) Stay duration measurement method and system for measuring moving objects in a surveillance area
JP4972491B2 (ja) 顧客動作判定システム
EP2991344A2 (en) Monitoring apparatus, monitoring system and monitoring method
US20140063256A1 (en) Queue group leader identification
CN106415649A (zh) 人移动分析装置、人移动分析系统以及人移动分析方法
JP2008047110A (ja) 動き検出を使用したプロセスセグメンテーションのシステムおよび方法
CN105917371A (zh) 商品监控装置、商品监控系统以及商品监控方法
CN105718861B (zh) 一种识别视频流数据类别的方法及装置
US10372998B2 (en) Object recognition for bottom of basket detection
WO2016056192A1 (ja) 活動状況分析システム、活動状況分析装置、活動状況分析方法、活動状況分析プログラムおよびそのプログラムを格納する記憶媒体
CN111179340A (zh) 一种物体的定位方法、装置及计算机系统
CN109961472A (zh) 3d热力图生成的方法、系统、存储介质及电子设备
KR20160011804A (ko) 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법
CN110765825A (zh) 物品摆放状态获取方法和系统
JP6399096B2 (ja) 情報処理装置、表示方法およびコンピュータプログラム
CN109215150A (zh) 人脸点名与计数方法及其系统
JP2022036983A (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP7010030B2 (ja) 店内監視装置、店内監視方法、および店内監視プログラム
CN110852770B (zh) 数据处理方法、装置、计算设备及显示设备
CN112766118A (zh) 对象识别方法、装置、电子设备和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant