JP2016048834A - モニタリング装置、モニタリングシステムおよびモニタリング方法 - Google Patents

モニタリング装置、モニタリングシステムおよびモニタリング方法 Download PDF

Info

Publication number
JP2016048834A
JP2016048834A JP2014172778A JP2014172778A JP2016048834A JP 2016048834 A JP2016048834 A JP 2016048834A JP 2014172778 A JP2014172778 A JP 2014172778A JP 2014172778 A JP2014172778 A JP 2014172778A JP 2016048834 A JP2016048834 A JP 2016048834A
Authority
JP
Japan
Prior art keywords
monitoring
image
video
foreground
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014172778A
Other languages
English (en)
Other versions
JP5866564B1 (ja
Inventor
裕一 松本
Yuichi Matsumoto
裕一 松本
和麻 吉田
Kazuma Yoshida
和麻 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014172778A priority Critical patent/JP5866564B1/ja
Priority to EP15176700.1A priority patent/EP2991344A3/en
Priority to US14/813,494 priority patent/US10965913B2/en
Priority to CN201510535913.8A priority patent/CN105391973B/zh
Application granted granted Critical
Publication of JP5866564B1 publication Critical patent/JP5866564B1/ja
Publication of JP2016048834A publication Critical patent/JP2016048834A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】１つのモニタリング画面により、所定の期間に渡る人物の活動状況と、ある瞬間での人物の活動状況とを同時にユーザが把握することができるようにする。【解決手段】監視エリアの映像から人物を検出して、人物の位置情報を取得する位置情報取得部３２と、人物の位置情報に対して時間的な統計処理を行って、人物の滞留状況に関する統計情報を統計処理の対象期間の設定にしたがって取得する統計情報取得部３４と、統計情報を可視化したヒートマップ画像を生成するヒートマップ画像生成部３５と、人物の位置情報に基づき、人物の画像領域に対応するマスク画像を所定の時刻ごとに生成するマスク画像生成部３６と、ヒートマップ画像およびマスク画像を背景画像上に重畳したモニタリング映像を所定の時刻ごとに生成して出力する映像出力制御部３９と、を備えたものとする。【選択図】図６

Description

本発明は、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力するモニタリング装置、モニタリングシステムおよびモニタリング方法に関するものである。
コンビニエンスストアなどの店舗においては、店舗内での顧客の行動に関する分析に基づいて、店舗を運営する際の改善策を考えることが、顧客満足度の向上や店舗の効率的な運営を図り、店舗の売上や利益を向上させる上で有益である。一方、コンビニエンスストアなどの店舗においては、店舗内を撮影するカメラを設置して、そのカメラの映像で店舗内の状況を監視する監視システムが広く普及しており、このカメラの映像を利用して、店舗内での顧客の活動状況に関する情報を取得するようにすると、顧客行動分析を効率よく行うことができる。
このようなカメラの映像を利用して人物の活動状況に関する情報を取得する技術として、従来、複数のカメラの映像から、監視エリアにおける人物の活動状況に関する情報を取得して、その活動状況を可視化したヒートマップ画像を生成する技術が知られている（特許文献１参照）。この技術では、ヒートマップ画像が、人物の活動度合いに応じて等高線状に色分けして、監視エリアの配置図上に重畳して表示されるようになっている。
また、カメラの映像上に複数の測定エリア（セル）を設定して、その複数の測定エリアごとに、人物の動きから混雑や滞留の状況を表す値を取得して、その値に応じた着色を測定エリアに施す技術が知られている（特許文献２参照）。この技術では、測定エリアごとに着色が施された画像をヒートマップ画像と考えることができ、これにより測定エリアにおける混雑や滞留の状況を即座に把握することができる。
また、カメラの映像を、防犯や防災のための監視の目的で閲覧する場合には問題とならないが、前記の顧客行動分析のように、監視の目的以外でカメラの映像を利用する場合には、顧客のプライバシーを保護する必要がある。
このような顧客のプライバシーを保護する要望に対して、従来、カメラで撮影された映像内の人物の画像領域を特定のマスク画像に変更して表示する技術が知られている（特許文献３参照）。特に、特許文献３に開示された技術では、マスク画像に特徴点を表示させることで、人物の身体の動きを把握しやすくしている。
特開２００９−１３４６８８号公報 特開２００７−１８０７０９号公報 特開２０１３−１８６８３８号公報
さて、特許文献１，２に開示された技術のように、人物の活動状況を可視化したヒートマップ画像では、注目する商品の陳列棚の周辺における人物の活動状況から、その陳列棚の商品に対する顧客の関心度を把握することができ、さらに、ヒートマップ画像は、所定の期間において収集された情報に基づいて生成されることから、ヒートマップ画像により、所定の期間に渡る人物の活動状況を容易に把握することができる。
一方、特許文献３に開示された技術のように、人物の画像領域を特定のマスク画像に変更して表示するようにすると、顧客のプライバシーの保護に加えて、背景と人物との識別が容易になることから、人物の活動状況を容易に把握することができる利点も得られ、特に、このマスク画像により、ある瞬間での人物の活動状況を容易に把握することができる。
しかしながら、顧客行動分析では、所定の期間に渡る人物の活動状況を把握するとともに、ある瞬間での人物の活動状況を把握することが望まれ、特に、所定の期間に渡る人物の活動状況と、ある瞬間での人物の活動状況とを、１つのモニタリング画面で同時に把握することができるようにすると、顧客行動分析の作業を大幅に効率化することができる。しかしながら、前記の従来の技術では、このような要望に対してなんの考慮もなされておらず、顧客行動分析の作業の効率化を図ることができないという問題があった。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、１つのモニタリング画面により、所定の期間に渡る人物の活動状況と、ある瞬間での人物の活動状況とを同時にユーザが把握することができるように構成されたモニタリング装置、モニタリングシステムおよびモニタリング方法を提供することにある。
本発明のモニタリング装置は、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力するモニタリング装置であって、前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得する位置情報取得部と、この位置情報取得部により取得した前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得する統計情報取得部と、この統計情報取得部により取得した前記統計情報を可視化した第１の前景画像を生成する第１の前景画像生成部と、前記位置情報取得部により取得した前記位置情報に基づき、移動体の画像領域に対応する第２の前景画像を所定の時刻ごとに生成する第２の前景画像生成部と、前記第１および第２の前景画像生成部により生成された前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力する映像出力制御部と、を備えた構成とする。
また、本発明のモニタリングシステムは、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得する位置情報取得部と、この位置情報取得部により取得した前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得する統計情報取得部と、この統計情報取得部により取得した前記統計情報を可視化した第１の前景画像を生成する第１の前景画像生成部と、前記位置情報取得部により取得した前記位置情報に基づき、移動体の画像領域に対応する第２の前景画像を所定の時刻ごとに生成する第２の前景画像生成部と、前記第１および第２の前景画像生成部により生成された前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力する映像出力制御部と、を備えた構成とする。
また、本発明のモニタリング方法は、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得するステップと、前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得するステップと、前記統計情報を可視化した第１の前景画像を生成するステップと、前記位置情報に基づき、移動体の画像領域に対応する第２の前景画像を所定の時刻ごとに生成するステップと、前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力するステップと、を備えた構成とする。
本発明によれば、第１の前景画像が、所定の期間に渡る移動体の活動状況を表すものとなり、第２の前景画像が、ある瞬間での移動体の活動状況を表すものとなり、この第１および第２の前景画像が同時にモニタリング画面に表示されるため、１つのモニタリング画面により、所定の期間に渡る移動体の活動状況と、ある瞬間での移動体の活動状況とを同時にユーザが把握することができる。
第１実施形態に係るモニタリングシステムの全体構成図 店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図 ＰＣ３で行われる処理の概要を説明する説明図 ＰＣ３で行われる処理の概要を説明する説明図 ＰＣ３で行われる処理の概要を説明する説明図 ＰＣ３の概略構成を示す機能ブロック図 モニタ７に表示されるモニタリング画面を示す説明図 図７に示したモニタリング画面の要部を示す説明図 モニタ７に表示されるマスク条件設定画面を示す説明図 動的表示変更モードで表示されるモニタリング映像の例を示す説明図 動的表示変更モードで表示されるモニタリング映像の例を示す説明図 ＰＣ３の各部で行われる処理の概要を説明する説明図 ＰＣ３の各部で行われる処理の概要を説明する説明図 第２実施形態に係る領域分割型のヒートマップ画像を示す説明図 第３実施形態に係るモニタリングシステムにおけるカメラ１およびＰＣ３の概略構成を示す機能ブロック図
前記課題を解決するためになされた第１の発明は、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力するモニタリング装置であって、前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得する位置情報取得部と、この位置情報取得部により取得した前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得する統計情報取得部と、この統計情報取得部により取得した前記統計情報を可視化した第１の前景画像を生成する第１の前景画像生成部と、前記位置情報取得部により取得した前記位置情報に基づき、移動体の画像領域に対応する第２の前景画像を所定の時刻ごとに生成する第２の前景画像生成部と、前記第１および第２の前景画像生成部により生成された前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力する映像出力制御部と、を備えた構成とする。
これによると、第１の前景画像が、所定の期間に渡る移動体の活動状況を表すものとなり、第２の前景画像が、ある瞬間での移動体の活動状況を表すものとなり、この第１および第２の前景画像が同時にモニタリング画面に表示されるため、１つのモニタリング画面により、所定の期間に渡る移動体の活動状況と、ある瞬間での移動体の活動状況とを同時にユーザが把握することができる。
また、第２の発明は、さらに、前記第１および第２の前景画像の少なくとも一方の表示形態に関する表示形態調整部を備え、この表示形態調整部は、前記第１および第２の前景画像が混同される混同状態を検知して、その混同状態が解消されるように、前記第１および第２の前景画像の少なくとも一方の表示形態を変更する構成とする。
これによると、第１および第２の前景画像が混同される混同状態により両者の判別が難しくなることを避けることができるため、所定の期間に渡る移動体の活動状況と、ある瞬間での移動体の活動状況とを確実にユーザが把握することができる。そして、混同状態が発生しない適切な表示形態をユーザが選び出す手間を省くことができるため、ユーザの利便性を高めることができる。
また、第３の発明は、前記表示形態調整部は、前記第１および第２の前景画像の少なくとも一方の表示形態を変更するにあたり、表示形態を決定する色、パターン、輪郭線、および透過率の少なくとも１つの表示要素を変更する構成とする。
これによると、第１および第２の前景画像の少なくとも一方の表示形態を適切に変更して、第１および第２の前景画像が混同される混同状態を確実に回避することができる。
また、第４の発明は、さらに、前記第１および第２の前景画像の少なくとも一方の表示形態に関する表示形態設定部を備え、この表示形態設定部は、ユーザの入力操作に応じて、前記第１および第２の前景画像の少なくとも一方の表示形態を設定する構成とする。
これによると、第１および第２の前景画像が混同される混同状態が発生しないように、ユーザが表示形態を選択することで、混同状態により第１および第２の前景画像の判別が難しくなることを避けることができるため、所定の期間に渡る移動体の活動状況と、ある瞬間での移動体の活動状況とを確実にユーザが把握することができる。
また、第５の発明は、前記表示形態設定部は、前記第１および第２の前景画像が混同される混同状態が発生しないように、前記表示形態に関するユーザの入力操作を案内する構成とする。
これによると、混同状態が発生しない適切な表示形態をユーザが選び出す手間を省くことができるため、ユーザの利便性を高めることができる。
また、第６の発明は、前記表示形態設定部は、前記第１および第２の前景画像の少なくとも一方の表示形態を設定する際に、前記混同状態が発生しないように、ユーザの入力操作により選択可能な表示形態の候補を制限する構成とする。
これによると、混同状態が発生する表示形態が誤って選択されることを避けることができる。
また、第７の発明は、前記表示形態設定部は、前記第１および第２の前景画像の少なくとも一方の表示形態を設定するにあたり、表示形態を決定する色、パターン、輪郭線、および透過率の少なくとも１つの表示要素を、ユーザの入力操作に応じて設定する構成とする。
これによると、第１および第２の前景画像の少なくとも一方の表示形態を適切に設定して、第１および第２の前景画像が混同される混同状態を確実に回避することができる。
また、第８の発明は、さらに、前記監視エリアの映像から前記背景画像を生成する背景画像生成部を備え、この背景画像生成部は、前記対象期間の設定にしたがって前記背景画像を生成し、前記映像出力制御部は、前記第１の前景画像を、これと前記対象期間が一致する前記背景画像上に重畳する構成とする。
これによると、第１の前景画像と背景画像とが同一の対象期間の映像から生成されたものとなるため、第１の前景画像と背景画像とが整合したものとなり、第１の前景画像と背景画像との不整合が原因でユーザに違和感を与えることを避けることができる。
また、第９の発明は、さらに、前記統計情報取得部で行われる処理に関する処理条件設定部を備え、この処理条件設定部は、前記対象期間を任意に指定するユーザの入力操作に応じて、前記対象期間を設定し、前記映像出力制御部は、前記モニタリング映像の表示時刻を任意に指定するユーザの入力操作に応じて、指定された表示時刻の前記モニタリング映像を生成して出力する構成とする。
これによると、対象期間をユーザが自由に指定することができるため、第１の前景画像により、多様な期間における移動体の活動状況を把握することができる。また、モニタリング映像の表示時刻をユーザが自由に指定することができるため、第２の前景画像により、所要の時点における移動体の活動状況を把握することができる。
また、第１０の発明は、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得する位置情報取得部と、この位置情報取得部により取得した前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得する統計情報取得部と、この統計情報取得部により取得した前記統計情報を可視化した第１の前景画像を生成する第１の前景画像生成部と、前記位置情報取得部により取得した前記位置情報に基づき、移動体の画像領域に対応する第２の前景画像を所定の時刻ごとに生成する第２の前景画像生成部と、前記第１および第２の前景画像生成部により生成された前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力する映像出力制御部と、を備えた構成とする。
これによると、第１の発明と同様に、１つのモニタリング画面により、所定の期間に渡る移動体の活動状況と、ある瞬間での移動体の活動状況とを同時にユーザが把握することができる。
また、第１１の発明は、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、情報処理装置と、を有し、前記カメラおよび前記情報処理装置のいずれかが、前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得する位置情報取得部と、この位置情報取得部により取得した前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得する統計情報取得部と、この統計情報取得部により取得した前記統計情報を可視化した第１の前景画像を生成する第１の前景画像生成部と、前記位置情報取得部により取得した前記位置情報に基づき、移動体の画像領域に対応する第２の前景画像を所定の時刻ごとに生成する第２の前景画像生成部と、前記第１および第２の前景画像生成部により生成された前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力する映像出力制御部と、を備えた構成とする。
これによると、第１の発明と同様に、１つのモニタリング画面により、所定の期間に渡る移動体の活動状況と、ある瞬間での移動体の活動状況とを同時にユーザが把握することができる。
また、第１２の発明は、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得するステップと、前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得するステップと、前記統計情報を可視化した第１の前景画像を生成するステップと、前記位置情報に基づき、移動体の画像領域に対応する第２の前景画像を所定の時刻ごとに生成するステップと、前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力するステップと、を備えた構成とする。
これによると、第１の発明と同様に、１つのモニタリング画面により、所定の期間に渡る移動体の活動状況と、ある瞬間での移動体の活動状況とを同時にユーザが把握することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
図１は、第１実施形態に係るモニタリングシステムの全体構成図である。このモニタリングシステムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、カメラ１と、レコーダ（映像蓄積装置）２と、ＰＣ（モニタリング装置）３と、を備えている。
カメラ１は店舗（施設）内の適所に設置され、カメラ１により店舗内が撮像され、これにより得られた映像がレコーダ２に蓄積される。
ＰＣ３には、店舗マネージャなどのユーザが種々の入力操作を行うマウスなどの入力デバイス６と、モニタリング画面を表示するモニタ（表示装置）７とが接続されている。このＰＣ３は、店舗内の適所に設置され、ユーザが、モニタ７に表示されるモニタリング画面により、カメラ１で撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができる。
また、カメラ１、レコーダ２およびＰＣ３は、複数の店舗の各々に設置されており、複数の店舗を総括する本部にはＰＣ１１が設置されており、このＰＣ１１では、カメラ１で撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができ、これにより本部で店舗内の状況を確認することができる。
本実施形態では、店舗に設置されたＰＣ３が、店舗内での人物や商品の状態を監視するモニタリング装置として構成され、このＰＣ３で生成したモニタリング情報をＰＣ３で店舗側のユーザ、例えば店舗マネージャが閲覧することができ、さらに、本部に設置されたＰＣ１１に送信されて、このＰＣ１１でも本部側のユーザ、例えば、担当する地域の各店舗に対して指導や提案を行う地域マネージャ（スーパーバイザーなど）が閲覧することができ、ＰＣ３，１１がモニタリング情報を閲覧する閲覧装置として構成される。
次に、店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。
店舗には、出入口、陳列棚およびレジカウンタなどが設けられている。陳列棚は、弁当、ペットボトル、おにぎりなどの商品の種類に分けて設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。
また、店舗には、店舗内（監視エリア）を撮影する複数のカメラ１が設置されている。このカメラは、店舗内の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、出入口から店舗に出入りする人物、店舗内に滞在する人物、および陳列棚の商品を撮影することができる。
次に、図１に示したＰＣ３で行われる処理の概要について説明する。図３、図４および図５は、ＰＣ３で行われる処理の概要を説明する説明図である。
図３（Ａ）に示すように、カメラ１により撮影された映像には、陳列棚の前で立ち止まって品定めを行う人物や、商品を探して歩き回っている人物などが写っている。ここで、陳列棚の前で立ち止まって品定めを行う人物は、陳列棚の前で一定時間以上静止し、陳列棚の前で滞留する状態となり、この陳列棚の前での人物の滞留状況は、陳列棚の商品に対する顧客の関心度を表すものとなり、顧客行動分析に利用することができる。
そこで、本実施形態では、店舗マネージャなどのユーザが注目する売場、具体的には注目する商品の陳列棚に対する顧客の関心度を把握するため、その注目する商品の陳列棚の前の通路などが写った領域に対象エリアを設定して、この対象エリア内での人物の滞留状況に関する統計情報、具体的には滞留度数（滞留人数）、すなわち対象エリア内に滞留する人物の人数、および滞留時間、すなわち対象エリア内で人物が滞留する時間を取得する。そして、この統計情報を可視化したヒートマップ画像を生成して、このヒートマップ画像を、図３（Ｂ）に示すように、人物を除去した背景画像上に重畳して表示する。このヒートマップ画像により、対象エリアに対応する売場（商品の陳列棚）に対する顧客の関心度を把握することができる。
図３（Ａ）に示す例では、映像上に３つの対象エリアＡ１〜Ａ３が設定され、図３（Ｂ）に示すように、対象エリアＡ１〜Ａ３に対応する位置にヒートマップ画像Ｈ１〜Ｈ３が表示されている。
ヒートマップ画像では、統計情報の数値の大きさが、表示形態（画像の属性）を変更することで、具体的には大きさおよび色（色相や濃度など）の少なくともいずれかの表示要素を変更することで表現される。特に、図３（Ｂ）に示す例では、ヒートマップ画像が楕円形状をなし、その塗りつぶし色の濃さで滞留時間が表現され、ヒートマップ画像の大きさで滞留度数（滞留人数）が表現されており、滞留時間が長いほどヒートマップ画像の色が濃くなり、滞留度数が高いほどヒートマップ画像が大きくなる。
また、カメラ１により撮影された映像を、防犯や防災のための監視の目的で閲覧する場合には問題とならないが、前記の顧客行動分析のように、監視の目的以外でカメラ１の映像を利用する場合には、顧客のプライバシーを保護する必要がある。
そこで、本実施形態では、図４に示すように、人物検出により取得した人物ごとの位置情報に基づいて、人物の画像領域に対応したマスク画像を生成して、このマスク画像を背景画像上に重畳して表示する。図４（Ａ）に示す例では、映像に５人の人物Ｐ１〜Ｐ５が写っており、図４（Ｂ）に示すように、人物Ｐ１〜Ｐ５の各画像領域がマスク画像Ｍ１〜Ｍ５に変更されている。
このように本実施形態では、ヒートマップ画像およびマスク画像が背景画像上に重畳して表示されるが、特に本実施形態では、図５（Ａ）に示すように、ヒートマップ画像およびマスク画像を同時に表示させることができる。
この場合、ヒートマップ画像およびマスク画像の各画像領域が重なり合う状態が頻繁に発生するが、この状態で、マスク画像およびヒートマップ画像の各表示形態が一致または類似していると、ヒートマップ画像とマスク画像とが混同される混同状態が発生する。すなわち、ヒートマップ画像およびマスク画像の各画像領域の境界が不明瞭になり、ヒートマップ画像とマスク画像との判別が難しくなる。図５（Ａ）に示す例では、マスク画像Ｍ３およびヒートマップ画像Ｈ２において混同状態が発生している。
そこで、本実施形態では、ヒートマップ画像とマスク画像とが混同される混同状態が発生する場合には、その混同状態を回避する混同回避処理として、図５（Ｂ）に示すように、マスク画像の表示形態を、ヒートマップ画像と一致または類似しない表示形態に変更するようにする。図５（Ｂ）に示す例では、混同状態が発生しているマスク画像Ｍ３の色を、ヒートマップ画像Ｈ２の色と異なるように変更する。このような混同回避処理を、以降、「動的表示変更モード」と呼称する。
また、本実施形態では、マスク画像の表示形態をユーザに選択させる際に、混同状態が発生しない、すなわち、ヒートマップ画像およびマスク画像の各表示形態が一致または類似しないように、ユーザが選択可能な表示形態の候補を制限する。このような混同回避処理を、以降、「静的表示変更モード」と呼称する。
なお、本実施形態では、ヒートマップ画像およびマスク画像を透過性としているため、背景画像が透けて見える状態となっている。
次に、図１に示したＰＣ３で行われる処理について説明する。図６は、ＰＣ３の概略構成を示す機能ブロック図である。
ＰＣ３は、映像取得部３１と、位置情報取得部３２と、位置情報蓄積部３３と、統計情報取得部３４と、ヒートマップ画像生成部（第１の前景画像生成部）３５と、マスク画像生成部（第２の前景画像生成部）３６と、マスク画像調整部（表示形態調整部）３７と、背景画像生成部３８と、映像出力制御部３９と、ヒートマップ条件設定部（処理条件設定部）４０と、マスク条件設定部（表示形態設定部）４１と、を備えている。
映像取得部３１では、カメラ１により店舗内を撮影した映像をカメラ１またはレコーダ２から取得する。ここで、現在の映像をリアルタイムに表示させる場合にはカメラ１から映像を取得し、過去の映像を表示させる場合にはレコーダ２から映像を取得する。
位置情報取得部３２は、映像取得部３１で取得した映像から人物を検出して、人物ごとの位置情報を取得するものであり、人物検出部４５と、動線情報取得部４６と、を備えている。
人物検出部４５では、映像取得部３１で取得した映像（フレーム）から人物を検出する処理が行われる。この人物検出部４５で行われる処理は、公知の画像認識技術を用いればよい。動線情報取得部４６では、人物検出部４５での検出結果に基づいて、人物ごとの動線を取得する処理が行われる。この動線情報取得部４６で取得した人物ごとの動線に関する情報は、人物ごとの位置情報として位置情報蓄積部３３に蓄積される。
なお、この位置情報取得部３２では、人物の中心点の座標を取得して、その中心点を結ぶように動線を生成するが、この他に、マスク画像生成のために、人物の画像領域に関する座標情報を取得する。また、位置情報取得部３２で取得する位置情報には、人物が検出された映像の撮影時刻から取得した人物ごとの検出時刻などに関する時間情報が含まれる。
統計情報取得部３４は、位置情報取得部３２により取得して位置情報蓄積部３３に蓄積された人物の位置情報（動線情報）に対して時間的な統計処理を行って、各対象エリア（図３参照）を対象とした人物の滞留状況に関する統計情報（滞留時間および滞留度数）を、統計処理の対象期間の設定にしたがって取得するものであり、滞留度数取得部４７と、滞留時間取得部４８と、を備えている。
滞留度数取得部４７では、位置情報蓄積部３３に蓄積された人物ごとの動線情報に基づいて、対象期間における対象エリアごとの滞留度数（滞留人数）を取得する処理が行われる。この処理では、対象期間において各対象エリアを通過した動線の本数をカウントして、対象期間における対象エリアごとの滞留度数を求める。
滞留時間取得部４８では、位置情報蓄積部３３に蓄積された人物ごとの動線情報に基づいて、対象期間における対象エリアごとの滞留時間を取得する処理が行われる。この処理では、まず、対象期間における人物ごとの滞留時刻（対象エリアに対する進入時刻および退出時刻）から、人物ごとの対象エリアでの滞留時間を取得し、次に、この人物ごとの滞留時間から、平均化などの適宜な統計処理で対象エリアごとの滞留時間を取得する。
ヒートマップ画像生成部３５では、統計情報取得部３４で取得した統計情報（滞留度数および滞留時間）を可視化したヒートマップ画像（第１の前景画像）を生成する処理が行われる。なお、本実施形態では、ヒートマップ画像の表示形態（色や透過率など）は予め設定されたものとするが、ユーザが適宜に選択することができるようにしてもよい。
ヒートマップ条件設定部４０では、ユーザの入力操作に応じて、ヒートマップ画像を生成する際の各種の条件を設定する処理が行われる。本実施形態では、統計情報取得部３４で行われる統計処理に関する処理条件、具体的には対象エリアおよび対象期間が、ユーザの入力操作に応じて設定される。このヒートマップ条件設定部４０で設定された処理条件（対象エリアおよび対象期間）にしたがって、統計情報取得部３４において統計処理が行われる。
なお、統計処理の対象期間の設定には、対象期間が固定された期間固定型と対象期間が固定されない期間変動型とがある。期間固定型の場合、例えば、９：００−１２：００のように時間帯を指定することができ、この時間帯でのヒートマップ画像を生成する。期間変動型の場合には、例えば、３０分、１時間のように一定時間を指定することができ、最初の一定時間に達するまでは期間固定型と同様の動作をするが、その後はヒートマップ画像を生成する開始時刻と終了時刻が更新され、その更新時間帯（一定時間）でのヒートマップ画像を生成する。
ここで、対象エリアを設定するにあたっては、店舗内の映像を表示させた入力画面をモニタ７に表示させて、その入力画面上で対象エリアの位置をユーザに入力させて、対象エリアの位置情報を取得すればよい。また、統計処理の対象期間を設定するにあたっては、対象期間の入力画面をモニタ７に表示させて、その入力画面上で、統計処理の対象期間のタイプ（期間変動型、期間固定型）に応じて、対象期間の長さや範囲をユーザに入力させて、対象期間に関する情報を取得すればよい。
マスク画像生成部３６では、位置情報取得部３２で取得した人物の画像領域の位置情報に基づき、人物の画像領域に対応するマスク画像（第２の前景画像）を所定の時刻ごとに生成する処理が行われる。なお、マスク画像は、人物の画像領域の全部に対応するように生成する他、人物の画像領域の一部に対応するように生成してもよい。すなわち、プライバシー保護の観点から、隠す必要のある画像領域、例えば顔の画像領域のみをマスク画像で覆うようにしてもよい。
マスク画像調整部３７では、ヒートマップ画像とマスク画像とが混同される混同状態を検知して、その混同状態が解消されるように、すなわち、マスク画像の表示形態がヒートマップ画像の表示形態と一致または類似しないように、マスク画像の表示形態を変更する処理が行われる。この処理は、動的表示変更モードが選択された場合に実行される。なお、混同状態でない場合には、マスク画像生成部３６で生成したマスク画像を、表示形態を変更することなくそのまま出力する。
ここで、混同状態を検知するには、まず、マスク画像およびヒートマップ画像の各画像領域の位置情報を取得して、マスク画像およびヒートマップ画像の各画像領域の重なり合いを判定する。また、ヒートマップ画像の表示形態を取得して、ユーザにより設定されたマスク画像の表示形態と比較して、ヒートマップ画像およびマスク画像の各表示形態が一致または類似するか否かを判定する。そして、マスク画像およびヒートマップ画像の各画像領域の重なり合い、かつ、ヒートマップ画像およびマスク画像の各表示形態が一致または類似する場合には、混同状態と判定する。
また、ヒートマップ画像の表示形態は統計情報（滞留時間および滞留度数）の値に応じて異なるが、このヒートマップ画像の元になる統計情報は、統計処理の対象期間の設定にしたがって生成され、逐次変化する。このため、動的表示変更モードでは、統計情報が変化するたびに混同状態の検知処理をやり直すことになる。
マスク条件設定部４１では、ユーザの入力操作に応じて、マスク画像に係る各種の条件を設定する処理が行われる。本実施形態では、マスク画像生成部３６およびマスク画像調整部３７で行われる処理に関する処理条件、具体的には動的表示変更モードおよび静的表示変更モードの別、マスク画像の表示形態、ならびに表示変更スタイルが設定される。このマスク条件設定部４１で設定された条件にしたがって、マスク画像生成部３６およびマスク画像調整部３７において所定の処理が行われる。
ここで、マスク画像に係る条件を設定するにあたっては、マスク条件設定画面（図９参照）を表示させて、このマスク条件設定画面でマスク画像に係る条件をユーザに選択させて、マスク画像に係る条件に関する情報を取得する。
背景画像生成部３８では、映像取得部３１で取得した映像から背景画像を生成する処理が行われる。この背景画像は、撮影映像から人物の画像（前景画像）を除去したものであり、直近の所定の学習期間における複数の映像（フレーム）から背景画像を生成するようにすればよい。この背景画像生成部３８で行われる処理には、公知の技術を用いればよい。なお、人物が存在しないときの撮影映像、例えば開店前の撮影映像を背景画像として予め用意しておくようにしてもよい。
映像出力制御部３９では、ヒートマップ画像生成部３５で生成したヒートマップ画像と、マスク画像生成部３６で生成したマスク画像またはマスク画像調整部３７で表示形態を変更されたマスク画像とを、背景画像生成部３８で生成した背景画像上に重畳して、モニタリング映像を所定の時刻ごとに生成する処理が行われる。これにより、モニタリング画面（図７、図１０および図１１参照）がモニタ７に表示される。また、映像出力制御部３９では、マスク条件設定画面（図９参照）をモニタ７に表示させる処理が行われる。
また、映像出力制御部３９では、モニタリング映像の出力を、ユーザの入力操作に応じて制御する処理が行われる。特に、この映像出力制御部３９では、モニタリング映像の表示時刻を任意に指定するユーザの入力操作に応じて、指定された表示時刻のモニタリング映像を生成して出力する処理が行われる。
なお、ヒートマップ画像およびマスク画像は、ユーザの選択に応じて、そのいずれか一方または双方を表示させることができる。また、防犯や防災のための監視の目的で店舗内の映像を閲覧する場合には、ヒートマップ画像およびマスク画像は不要であり、この場合、映像取得部３１で取得した元の映像がそのまま出力される。
なお、図３に示したＰＣ３の各部は、ＰＣ３のＣＰＵでモニタリング（映像閲覧）用のアプリケーションプログラムを実行させることで実現される。このプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
次に、図３に示したモニタ７に表示されるモニタリング画面について説明する。図７は、モニタ７に表示されるモニタリング画面を示す説明図である。図８は、図７に示したモニタリング画面の要部を示す説明図である。
このモニタリング画面は、店舗内での顧客の活動状況を把握するためにユーザが閲覧するものであり、このモニタリング画面には、店舗選択部５１と、開始ボタン５２と、設定ボタン５３と、動作モード選択部５４と、日時表示部５５と、日時設定ボタン５６と、映像操作部５７と、表示モード表示部５８と、映像表示部５９と、表示時刻操作部６０と、が設けられている。
店舗選択部５１では、プルダウンメニューにより店舗をユーザが選択する。開始ボタン５２は、ＰＣ３でモニタリング処理を開始させるものである。設定ボタン５３は、モニタリング処理での各種の条件を設定するものであり、本実施形態では、設定ボタン５３を操作すると、ポップアップでマスク条件設定画面（図９参照）が表示される。動作モード選択部５４は、動作モードを選択するものであり、売場モニタリング、商品モニタリング、陳列アラート、および欠品アラートなどの動作モードが用意されており、売場モニタリングを選択することで、このモニタリング画面が表示される。
日時表示部５５は、日時を表示するものである。日時設定ボタン５６は、日時を設定するものである。日時設定ボタン５６を操作すると、図示しない日時設定画面が表示され、ここで日時を選択することで、選択した日時が日時表示部５５に表示され、また、選択した日時の映像が映像表示部５９に表示される。
映像表示部５９には、映像出力制御部３９で生成されたモニタリング映像（動画）が表示される。特に図７に示す例では、全方位カメラであるカメラ１により撮影された映像をパノラマ展開した２つの映像が表示されている。この２つの映像に店舗全体が映り、店舗全体の状況を確認することができる。この映像表示部５９に表示されるモニタリング映像については後に詳しく説明する。
映像操作部５７は、映像表示部５９に表示されるモニタリング映像の再生に関する操作を行うものであり、通常再生、早送り再生、巻き戻し再生、および停止の各操作ボタンが設けられており、これらの操作ボタンを操作することで、長時間に及ぶモニタリング映像を効率的に閲覧することができる。
表示時刻操作部６０は、映像表示部５９に表示されるモニタリング映像の表示時刻を調整するものであり、この表示時刻操作部６０を操作することで、所望の時刻のモニタリング映像に切り替えることができる。具体的には、マウスなどの入力デバイス６を用いてスライダ６１をずらすと、そのスライダ６１が指し示す時刻のモニタリング映像が映像表示部５９に表示される。
動作モード選択部５４の売場モニタリングのボタンを操作すると、図８に示すように、プルダウンメニュー６２が表示され、このプルダウンメニュー６２により、ヒートマップおよびプライバシーマスクの各表示モードをユーザが選択することができる。ヒートマップ表示モードでは、ヒートマップ画像を背景画像上に重畳したモニタリング映像（図３（Ｂ）参照）が映像表示部５９に表示される。プライバシーマスク表示モードでは、マスク画像を背景画像上に重畳したモニタリング映像（図４（Ｂ）参照）が映像表示部５９に表示される。また、ヒートマップおよびプライバシーマスクの各表示モードの双方を選択することもでき、この場合、ヒートマップ画像およびマスク画像を背景画像上に同時に重畳したモニタリング映像（図５参照）が映像表示部５９に表示される。
図７に示したように、表示モード表示部５８には、ヒートマップおよびプライバシーマスクの各表示モードの選択状態が表示される。図７に示す例では、ヒートマップおよびプライバシーマスクの各表示モードの双方が選択され、その選択状態が反転表示で表示されている。
次に、図６に示したマスク条件設定部４１で行われる処理について説明する。図９は、モニタ７に表示されるマスク条件設定画面を示す説明図である。
本実施形態では、マスク条件設定部４１において、ユーザの入力操作に応じて、マスク画像に関する各種の条件を設定する処理が行われ、このとき、図９（Ａ）に示すマスク条件設定画面がモニタ７に表示される。このマスク条件設定画面は、マスク画像に関する各種の条件をユーザが指定するものであり、モニタリング画面（図７参照）の設定ボタン５３を操作するのに応じてポップアップで表示される。
このマスク条件設定画面には、表示変更モード選択部７１と、表示形態選択部７２と、表示変更スタイル選択部７３と、設定ボタン７４と、が設けられている。
表示変更モード選択部７１では、動的表示変更モードおよび静的表示変更モードのいずれかをユーザが選択する。動的表示変更モードは、ヒートマップ画像とマスク画像との混同状態が発生した場合に、マスク画像の表示形態を変更するものであり、静的表示変更モードは、ヒートマップ画像とマスク画像との混同状態が発生しないように、予めマスク画像の表示形態の候補を制限するものである。
表示形態選択部７２では、マスク画像の表示形態をユーザが選択する。図９（Ａ）に示す例では、マスク画像の表示形態の候補がタイルメニューで表示されている。
ここで、表示変更モード選択部７１において静的表示変更モードが選択されていると、ヒートマップ画像とマスク画像とが混同される混同状態が発生しない、すなわち、ヒートマップ画像およびマスク画像の各表示形態が一致または類似しないように、ユーザが選択可能な表示形態の候補が制限され、表示形態選択部７２では、図９（Ｂ）に示すように、表示形態の候補のうち、ヒートマップ画像の表示形態と一致または類似するものが選択不能な状態となっている。図９（Ｂ）に示す例では、選択不能な表示形態が白抜きで表示されている。
なお、ヒートマップ画像の表示形態は統計情報（滞留時間および滞留度数）の値に応じて異なり、ヒートマップ画像に割り当てられた全ての表示形態と一致または類似しないように、マスク画像の表示形態の候補が制限される。
表示変更スタイル選択部７３では、動的表示変更モードにおいてマスク画像の表示形態を変更する際の表示変更スタイル、すなわちマスク画像の表示形態をどのように変更するかをユーザが選択する。図９（Ａ）に示す例では、表示変更スタイル選択部７３に、表示変更スタイルの候補が模式的な画像により表示されている。なお、図９（Ａ）に示した各表示変更スタイルは、図１０および図１１に示す各例に対応しており、後に詳しく説明する。
以上のように表示変更モード選択部７１、表示形態選択部７２、および表示変更スタイル選択部７３においてユーザが所要の選択操作を行って、設定ボタン７４を操作すると、マスク条件設定部４１において、ユーザが選択した内容にしたがってマスク画像に関する条件を設定する処理が行われる。
なお、このマスク条件設定画面は、ヒートマップおよびプライバシーマスクの各表示モードのうち、少なくともプライバシーマスク表示モードが選択された場合に表示されるが、表示変更モード選択部７１および表示変更スタイル選択部７３は、ヒートマップおよびプライバシーマスクの各表示モードの両方を選択した場合に必要となるものであり、プライバシーマスク表示モードのみが選択された場合には、表示変更モード選択部７１および表示変更スタイル選択部７３をグレーアウトで表示して選択不能な状態とし、あるいは、表示変更モード選択部７１および表示変更スタイル選択部７３をマスク条件設定画面に表示させないようにするとよい。
また、表示変更スタイル選択部７３は、表示変更モード選択部７１で動的表示変更モードを選択した場合に必要となるものであり、静的表示変更モードを選択した場合には、表示変更スタイル選択部７３をグレーアウトで表示して操作不能な状態にするとよい。
次に、動的表示変更モードを選択した場合に表示されるモニタリング映像について説明する。図１０および図１１は、動的表示変更モードで表示されるモニタリング映像の例を示す説明図である。
本実施形態では、動的表示変更モードにおいて、ヒートマップ画像とマスク画像とが混同される混同状態が発生した場合に、マスク画像の表示形態をヒートマップ画像の表示形態と一致または類似しない表示形態に変更する処理が行われ、このマスク画像の表示形態を変更するにあたっては、マスク画像の表示形態を決定する種々の表示要素のいずれか１つあるいは複数を変更すればよい。
また、マスク画像の表示形態を変更するにあたっては、表示形態の変更対象を、ヒートマップ画像との間で混同状態が発生したマスク画像に限定する方法と、全てのマスク画像を対象にして表示形態を変更する方法とがある。
図１０（Ａ）および図１０（Ｂ）に示す例では、図５（Ａ）に示したように、ヒートマップ画像Ｈ２との間で混同状態が発生したマスク画像Ｍ３のみの表示形態を変更するようにしている。一方、図１１（Ａ）および図１１（Ｂ）に示す例では、全てのマスク画像を対象にして表示形態を変更するようにしている。
また、図１０（Ａ）および図１１（Ａ）に示す例では、表示形態を決定する表示要素の１つである色（濃さ）を変更するようにしている。一方、図１０（Ｂ）および図１１（Ｂ）に示す例では、表示要素の１つである輪郭を表示するようにしている。すなわち、初期状態では輪郭を非表示とし、混同状態が発生した場合に輪郭を表示するようにしている。
なお、図１１（Ａ）に示したように、全てのマスク画像を対象にして表示形態を変更する場合には、もともと混同状態が発生していたヒートマップ画像はもとより、その他のヒートマップ画像との間でも混同状態が発生しないようにマスク画像の表示形態を変更する必要がある。
また、本実施形態では、色および輪郭線の各表示要素を変更する例について説明したが、変更する表示要素は、色および輪郭線に限定されるものではなく、パターン（模様）や透過率を変更するようにしてもよい。
次に、図６に示したＰＣ３の各部で行われる処理について説明する。図１２は、ＰＣ３の各部で行われる処理の概要を説明する説明図である。図１２では、ヒートマップ条件設定部４０で設定された処理条件の対象期間が、期間変動型で、例えば、３０分の時間を指定された場合でのモニタリング映像が出力される様子を示している。ここでは、対象期間の最終の撮影映像（フレーム）が出力されるタイミングでの処理状態が示されている。
本実施形態では、位置情報取得部３２において、各時刻の撮影映像（フレーム）から各時刻の人物ごとの位置情報を取得し、マスク画像生成部３６において、各時刻の人物ごとの位置情報から各時刻のマスク画像を生成する。また、統計情報取得部３４において、各時刻の人物ごとの位置情報に対して時間的な統計処理を行って、人物の滞留状況に関する統計情報（滞留時間および滞留度数）を統計処理の対象期間で取得し、ヒートマップ画像生成部３５において、統計情報を可視化したヒートマップ画像を生成する。
一方、背景画像生成部３８では、統計処理の対象期間において撮像された複数の映像（フレーム）から背景画像を生成する処理が行われる。すなわち、背景画像を生成するための学習期間を対象期間内に設定し、この学習期間における複数の映像から背景画像を生成する。そして、映像出力制御部３９において、ヒートマップ画像およびマスク画像を背景画像上に重畳したモニタリング映像を生成する処理が行われる。
このように、マスク画像は、各時刻の位置情報から逐次生成されるのに対して、ヒートマップ画像および背景画像は、統計処理の対象期間の設定にしたがって生成される。したがって、各時刻のモニタリング映像には、その時刻のマスク画像と、その時刻に対応する対象期間のヒートマップ画像が、その時刻に対応する対象期間の背景画像上に重畳されたものとなる。
なお、ヒートマップ画像の元になる統計情報を生成する際に、対象期間内の撮影映像から得られる位置情報の全てを対象とする必要はなく、対象期間内の撮影映像の中から一定の間隔をおいて選択された撮影映像の位置情報を対象とするようにしてもよい。
次に、図６に示した統計情報取得部３４で行われる統計処理の対象期間について説明する。図１３は、ＰＣ３の各部で行われる処理の概要を説明する説明図である。
本実施形態では、映像出力制御部３９において、モニタリング映像の表示時刻（再生位置）を任意に指定するユーザの入力操作に応じて、指定された表示時刻のモニタリング映像を生成して出力する処理が行われる。そして、モニタリング映像を連続して出力する際には、表示時刻における人物の位置情報からマスク画像が逐次生成されるとともに、表示時刻に対応する対象期間における人物の位置情報に基づく統計情報からヒートマップ画像が生成され、得られたヒートマップ画像およびマスク画像を背景画像上に重畳してモニタリング映像が生成される。
前述のように、ヒートマップ画像の元になる統計情報を生成する統計処理の対象期間の設定には、対象期間が固定された期間固定型と対象期間が固定されない期間変動型とがあり、この対象期間の設定の違いによる２通りの処理方法について、図１３（Ａ），（Ｂ）を参照して説明する。
図１３（Ａ）には、統計処理の対象期間として、期間固定型の例が示されている。この場合、マスク画像は、表示時刻が進むのに応じて時々刻々と変化する。一方、ヒートマップ画像は、統計処理の対象期間における表示時刻（ｔ１やｔ２）までに取得した統計情報の累積結果に対応した画像が表示されることになる。
図１３（Ｂ）には、統計処理の対象期間として、期間変動型の例が示されている。この期間変動型では、表示時刻が対象期間の終了時点となるように対象期間が更新される。すなわち、対象期間は、常に表示時刻から対象期間の長さＴ（例えば、３０分）だけ過去に遡った時刻から表示時刻までの期間となる。この場合、マスク画像は、図１３（Ａ）に示す方法と同様に、表示時刻が進むのに応じて時々刻々と変化する。一方、ヒートマップ画像は、表示時刻の直前の対象期間で取得した統計情報のみの累積結果に対応した画像が表示されることになる。なお、本例では表示時刻を基準に長さＴ（例えば、３０分）だけ過去に遡った期間を対象期間としているが、表示時刻より一定時間前の時刻を基準に長さＴだけ過去に遡った期間を対象期間とすることも可能である。
ここで、図１３（Ａ）に示す期間固定型は、ヒートマップ画像の統計処理の対象期間が比較的長く、マスク画像も併せて表示したい場合を想定しており、レコーダ２に蓄積された過去の映像からモニタリング映像を生成して表示する場合に好適である。一方、図１３（Ｂ）に示す期間変動型は、ヒートマップ画像の統計処理の対象期間が比較的短く、マスク画像も併せて表示したい場合を想定しており、カメラ１により撮影された現在の映像からモニタリング映像をリアルタイムで生成して表示する場合に好適である。
なお、本実施形態では、ヒートマップ条件設定部４０において、前述のように、統計処理の対象期間を任意に指定するユーザの入力操作に応じて、対象期間を設定するようになっており、統計処理の対象期間のタイプ（期間変動型、期間固定型）に応じて、対象期間の長さ（例えば、３０分）、範囲（例えば、９：００−１２：００）をユーザが自由に指定することができる。
以上のように本実施形態では、位置情報取得部３２において、監視エリアの映像から人物を検出して、人物ごとの位置情報を取得し、統計情報取得部３４において、位置情報取得部３２により取得した位置情報に対して時間的な統計処理を行って、人物の滞留状況に関する統計情報を統計処理の対象期間の設定にしたがって取得し、ヒートマップ画像生成部３５において、統計情報取得部３４により取得した統計情報を可視化したヒートマップ画像を生成し、マスク画像生成部３６において、位置情報取得部３２により取得した位置情報に基づき、人物の画像領域に対応するマスク画像を所定の時刻ごとに生成し、映像出力制御部３９において、ヒートマップ画像生成部３５およびマスク画像生成部３６により生成されたヒートマップ画像およびマスク画像を背景画像上に重畳したモニタリング映像を所定の時刻ごとに生成して出力するものとした。これによると、ヒートマップ画像が、所定の期間に渡る人物の活動状況を表すものとなり、マスク画像が、ある瞬間での人物の活動状況を表すものとなり、このヒートマップ画像およびマスク画像が同時にモニタリング画面に表示されるため、１つのモニタリング画面により、所定の期間に渡る人物の活動状況と、ある瞬間での人物の活動状況とを同時にユーザが把握することができる。
また、本実施形態では、マスク画像調整部（表示形態調整部）３７において、ヒートマップ画像とマスク画像とが混同される混同状態を検知して、その混同状態が解消されるように、マスク画像の表示形態を変更するようにしたため、ヒートマップ画像とマスク画像とが混同される混同状態により両者の判別が難しくなることを避けることができるため、所定の期間に渡る人物の活動状況と、ある瞬間での人物の活動状況とを確実にユーザが把握することができる。そして、混同状態が発生しない適切な表示形態をユーザが選び出す手間を省くことができるため、ユーザの利便性を高めることができる。
また、本実施形態では、マスク画像調整部３７において、マスク画像の表示形態を変更するにあたり、表示形態を決定する色、パターン、輪郭線、および透過率の少なくとも１つの表示要素を変更するようにしたため、マスク画像の表示形態を適切に変更して、ヒートマップ画像とマスク画像とが混同される混同状態を確実に回避することができる。
また、本実施形態では、マスク条件設定部（表示形態設定部）４１において、ユーザの入力操作に応じて、マスク画像の表示形態を設定するようにしており、ヒートマップ画像とマスク画像とが混同される混同状態が発生しないように、ユーザが表示形態を選択することで、混同状態によりヒートマップ画像とマスク画像との判別が難しくなることを避けることができるため、所定の期間に渡る人物の活動状況と、ある瞬間での人物の活動状況とを確実にユーザが把握することができる。
また、本実施形態では、マスク条件設定部４１において、ヒートマップ画像とマスク画像とが混同される混同状態が発生しないように、表示形態に関するユーザの入力操作を案内するようにしたため、混同状態が発生しない適切な表示形態をユーザが選び出す手間を省くことができるため、ユーザの利便性を高めることができる。
また、本実施形態では、マスク条件設定部４１において、マスク画像の表示形態を設定する際に、ヒートマップ画像とマスク画像とが混同される混同状態が発生しないように、ユーザの入力操作により選択可能な表示形態の候補を制限するようにしたため、混同状態が発生する表示形態が誤って選択されることを避けることができる。
また、本実施形態では、マスク条件設定部４１において、マスク画像の表示形態を設定するにあたり、表示形態を決定する色、パターン、輪郭線、および透過率の少なくとも１つの表示要素をユーザの入力操作に応じて設定するようにしたため、マスク画像の表示形態を適切に設定して、ヒートマップ画像とマスク画像とが混同される混同状態を確実に回避することができる。
また、本実施形態では、背景画像生成部３８において、統計処理の対象期間の設定にしたがって背景画像を生成し、映像出力制御部３９において、ヒートマップ画像を、これと対象期間が一致する背景画像上に重畳するようにしており、ヒートマップ画像と背景画像とが同一の対象期間の映像から生成されたものとなるため、ヒートマップ画像と背景画像とが整合したものとなり、ヒートマップ画像と背景画像との不整合が原因でユーザに違和感を与えることを避けることができる。
また、本実施形態では、ヒートマップ条件設定部（処理条件設定部）４０において、対象期間を任意に指定するユーザの入力操作に応じて、対象期間を設定し、映像出力制御部３９において、モニタリング映像の表示時刻を任意に指定するユーザの入力操作に応じて、指定された表示時刻のモニタリング映像を生成して出力するようにしている。これにより、対象期間をユーザが自由に指定することができるため、ヒートマップ画像により、多様な期間における人物の活動状況を把握することができる。また、モニタリング映像の表示時刻をユーザが自由に指定することができるため、マスク画像により、所要の時点における人物の活動状況を把握することができる。
（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。図１４は、第２実施形態に係る領域分割型のヒートマップ画像を示す説明図である。
第１実施形態では、図３に示したように、監視エリア（カメラ１の撮像エリア）内に対象エリアを設定して、対象エリアごとの統計情報（滞留時間および滞留度数）を可視化したヒートマップ画像を背景画像上に重畳するようにしたが、この第２実施形態では、図１４に示すように、監視エリアの全体を対象エリアとして、その対象エリアを複数のグリッド（分割領域）に分割して、グリッドごとの統計情報を表すヒートマップ画像を背景画像上に重畳するようにしており、このヒートマップ画像により、監視エリアにおける統計情報の分布状況を把握することができる。
また、この領域分割型のヒートマップ画像では、色、濃淡、パターン（模様）、および透過率の少なくともいずれかの表示要素をグリッドごとに変更することで、グリッドごとの統計情報の数値の大きさを表現することができ、図１４に示す例では、グリッドの濃淡（塗りつぶし色の濃さ）でグリッドごとの滞留度数が表現されている。
なお、図３に示したヒートマップ画像では、ヒートマップ画像の色の濃さおよび大きさで２つの統計情報、すなわち滞留時間および滞留度数を同時に可視化しており、一方、図１４に示すヒートマップ画像では、１つの統計情報すなわち滞留度数のみで可視化しているが、滞留度数に代えて滞留時間としても良い。また、滞留時間の統計情報を可視化するヒートマップ画像を別に生成して、別のモニタリング映像として表示してもよい。
また、滞留度数を表すヒートマップ画像を生成するには、対象期間において各グリッドを通過した人物の動線の本数をカウントして、グリッドごとの滞留度数を求めればよい。また、人物別の滞留時刻をグリッドごとに取得すれば、グリッドごとの滞留時間および滞留人数を同時に取得することができ、これにより、滞留度数を表すヒートマップ画像と、滞留時間を表すヒートマップ画像とを同時に生成することができる。
（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。図１５は、第３実施形態に係るモニタリングシステムにおけるカメラ１およびＰＣ３の概略構成を示す機能ブロック図である。
この第３実施形態では、第１実施形態においてＰＣ３に設けられた位置情報取得部３２、位置情報蓄積部３３、統計情報取得部３４、マスク画像生成部３６、および背景画像生成部３８が、カメラ１に設けられている。カメラ１には、撮像素子および光学素子を有する撮像部８１が設けられており、この撮像部８１から出力される映像が、位置情報取得部３２、および背景画像生成部３８に入力される。一方、ＰＣ３には、ヒートマップ画像生成部３５、マスク画像調整部３７、映像出力制御部３９、ヒートマップ条件設定部４０、およびマスク条件設定部４１が設けられている。
カメラ１およびＰＣ３の各部では、第１実施形態と同様の処理が行われるが、特に、この第３実施形態では、ヒートマップ条件設定部４０で設定された情報、すなわち対象エリアおよび対象期間に関する情報と、マスク条件設定部４１で設定された情報、すなわちマスク画像の表示形態などに関する情報とが、ＰＣ３の制御部８３からカメラ１の制御部８２に送られ、この情報に基づいて、マスク画像生成部３６および統計情報取得部３４で所定の処理が行われる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係るモニタリング装置、モニタリングシステムおよびモニタリング方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
例えば、前記の実施形態では、コンビニエンスストアなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗、例えば飲食店や銀行などに適用することも可能である。さらに、店舗以外の監視エリアを対象とした用途に適用することも可能である。
また、前記の実施形態では、マスク処理の対象となる移動体を人物とした例について説明したが、人物以外の移動体、例えば自動車や自転車などの車両を対象としたものであってもよい。
また、前記の実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。
また、前記の実施形態では、ヒートマップ画像とマスク画像とが混同される混同状態を避けるため、混同回避処理、すなわち動的表示変更モードではマスク画像の表示形態を変更し、静的表示変更モードではマスク画像の表示形態の候補を制限するようにしたが、この混同回避処理の対象はマスク画像に限定されるものではなく、ヒートマップ画像を混同回避処理の対象としてもよく、さらに、ヒートマップ画像およびマスク画像の双方を混同回避処理の対象としてもよい。
また、前記の実施形態では、動的表示変更モードにおいて、ヒートマップ画像およびマスク画像の各画像領域が重なり合う場合に、混同回避処理を行うようにしたが、ヒートマップ画像およびマスク画像の各画像領域が接触している場合にも、ヒートマップ画像とマスク画像との混同が発生するおそれがあるため、このような場合にも混同回避処理を行うようにしてもよい。
また、前記の実施形態では、各人物に対応するマスク画像の全てを同一の表示形態で表示するようにしたが、人物の属性（性別や年齢など）などに応じてマスク画像を異なる表示形態で表示するようにしてもよい。この場合、マスク画像ごとの表示形態を考慮して、ヒートマップ画像とマスク画像とが混同される混同状態が発生しないように、混同回避処理を行うようにするとよい。
また、前記の実施形態では、静的表示変更モードにおいて、ヒートマップ画像とマスク画像とが混同される混同状態が発生しないように、マスク画像の表示形態の候補を制限するようにしたが、この静的表示変更モードでは、混同状態が発生しないように、表示形態に関するユーザの入力操作を案内すればよく、例えば、混同状態が発生するおそれのある表示形態をユーザが選択した場合に、不適切である旨、あるいは、より具体的に混同状態が発生する旨の警告を出力するようにしてもよい。
また、前記の実施形態では、統計情報取得部３４において、統計情報として滞留時間および滞留度数（滞留人数）の両方を取得して、滞留時間および滞留度数の両方を表現するヒートマップ画像を表示するようにしたが、滞留時間および滞留度数の一方のみを取得して、その一方のみを表現するヒートマップ画像を表示するようにしてもよい。
また、前記の実施形態では、人物の動線を取得して、その動線に基づいて統計情報（滞留時間および滞留度数）を取得するようにしたが、この統計情報取得処理は動線に基づくものに限定されない。例えば、人物の位置情報として、人物枠（人物が存在する矩形の領域）に関する座標情報を取得して、画素（検出要素）ごとに人物枠内に位置する回数をカウントして、画素ごとのカウント値を取得し、この画素ごとのカウント値を適宜な統計処理、例えば平均化により、対象エリア（図３参照）またはグリッド（図１４参照）単位で集約して、対象エリアまたはグリッドごとの統計情報を取得するようにしてもよい。また、人物枠の中心点に関する座標情報を取得して、人物枠の中心点が対象エリアまたはグリッド内に位置する回数をカウントして、対象エリアまたはグリッドごとの統計情報を取得するようにしてもよい。
また、前記の第１実施形態では、モニタリングに必要な処理を、店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置でモニタリングシステムが構成される。
このような構成では、モニタリングに必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、店舗に設けられたＰＣ３などの装置に行わせるようにするとよい。このように構成すると、残りの処理で必要となる情報のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
また、モニタリングに必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、クラウドコンピュータ１２に行わせるようにしてもよい。このように構成すると、残りの処理は演算量が小さくて済むため、店舗などのユーザ側に高速な情報処理装置が不要となり、ユーザが負担するコストを軽減することができる。
また、クラウドコンピュータ１２に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも映像出力処理をクラウドコンピュータ１２に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン１３やタブレット端末１４などの携帯型端末でも映像を表示させることができるようになり、これにより店舗や本部の他に外出先などの任意の場所で店舗内の状況を確認することができる。
また、本実施形態では、店舗に設置されたＰＣ３にモニタリングに必要な処理を行わせるとともに、ＰＣ３のモニタ７にマスク条件設定画面やモニタリング画面を表示させて、ＰＣ３で必要な入力および出力を行う場合について説明したが、モニタリングに必要な処理を行う情報処理装置とは別の情報処理装置、例えば本部に設置されたＰＣ１１やタブレット端末１４などの携帯型端末で必要な入力および出力を行うようにしてもよい。
また、近年、モニタとして高画質化を追及した４Ｋテレビなどが開発されており、このような４Ｋテレビに対応したカメラを採用することで、人物の識別性能を高めることができ、人物が多数存在するような環境下でも、ユーザはマスク再生映像から人物の行動を容易に把握することができる。
本発明に係るモニタリング装置、モニタリングシステムおよびモニタリング方法は、１つのモニタリング画面により、所定の期間に渡る人物の活動状況と、ある瞬間での人物の活動状況とを同時にユーザが把握することができる効果を有し、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力するモニタリング装置、モニタリングシステムおよびモニタリング方法などとして有用である。
１ カメラ
２ レコーダ
３ ＰＣ
６ 入力デバイス
７ モニタ
１１ ＰＣ
１２ クラウドコンピュータ
１３ スマートフォン
１４ タブレット端末
３１ 映像取得部
３２ 位置情報取得部
３３ 位置情報蓄積部
３４ 統計情報取得部
３５ ヒートマップ画像生成部（第１の前景画像生成部）
３６ マスク画像生成部（第２の前景画像生成部）
３７ マスク画像調整部（表示形態調整部）
３８ 背景画像生成部
３９ 映像出力制御部
４０ ヒートマップ条件設定部（処理条件設定部）
４１ マスク条件設定部（表示形態設定部）
本発明のモニタリング装置は、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力するモニタリング装置であって、前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得する位置情報取得部と、この位置情報取得部により取得した前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得する統計情報取得部と、この統計情報取得部により取得した前記統計情報を可視化した前記対象期間に渡る移動体の活動状況を表す第１の前景画像を生成する第１の前景画像生成部と、前記位置情報取得部により取得した前記位置情報に基づき、移動体の画像領域に対応し、ある瞬間での移動体の活動状況を表す第２の前景画像を所定の時刻ごとに生成する第２の前景画像生成部と、前記第１および第２の前景画像生成部により生成された前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力する映像出力制御部と、を備えた構成とする。
また、本発明のモニタリングシステムは、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得する位置情報取得部と、この位置情報取得部により取得した前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得する統計情報取得部と、この統計情報取得部により取得した前記統計情報を可視化した前記対象期間に渡る移動体の活動状況を表す第１の前景画像を生成する第１の前景画像生成部と、前記位置情報取得部により取得した前記位置情報に基づき、移動体の画像領域に対応し、ある瞬間での移動体の活動状況を表す第２の前景画像を所定の時刻ごとに生成する第２の前景画像生成部と、前記第１および第２の前景画像生成部により生成された前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力する映像出力制御部と、を備えた構成とする。
また、本発明のモニタリング方法は、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得するステップと、前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得するステップと、前記統計情報を可視化した前記対象期間に渡る移動体の活動状況を表す第１の前景画像を生成するステップと、前記位置情報に基づき、移動体の画像領域に対応し、ある瞬間での移動体の活動状況を表す第２の前景画像を所定の時刻ごとに生成するステップと、前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力するステップと、を備えた構成とする。
前記課題を解決するためになされた第１の発明は、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力するモニタリング装置であって、前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得する位置情報取得部と、この位置情報取得部により取得した前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得する統計情報取得部と、この統計情報取得部により取得した前記統計情報を可視化した前記対象期間に渡る移動体の活動状況を表す第１の前景画像を生成する第１の前景画像生成部と、前記位置情報取得部により取得した前記位置情報に基づき、移動体の画像領域に対応し、ある瞬間での移動体の活動状況を表す第２の前景画像を所定の時刻ごとに生成する第２の前景画像生成部と、前記第１および第２の前景画像生成部により生成された前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力する映像出力制御部と、を備えた構成とする。
また、第１０の発明は、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得する位置情報取得部と、この位置情報取得部により取得した前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得する統計情報取得部と、この統計情報取得部により取得した前記統計情報を可視化した前記対象期間に渡る移動体の活動状況を表す第１の前景画像を生成する第１の前景画像生成部と、前記位置情報取得部により取得した前記位置情報に基づき、移動体の画像領域に対応し、ある瞬間での移動体の活動状況を表す第２の前景画像を所定の時刻ごとに生成する第２の前景画像生成部と、前記第１および第２の前景画像生成部により生成された前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力する映像出力制御部と、を備えた構成とする。
また、第１１の発明は、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、情報処理装置と、を有し、前記カメラおよび前記情報処理装置のいずれかが、前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得する位置情報取得部と、この位置情報取得部により取得した前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得する統計情報取得部と、この統計情報取得部により取得した前記統計情報を可視化した前記対象期間に渡る移動体の活動状況を表す第１の前景画像を生成する第１の前景画像生成部と、前記位置情報取得部により取得した前記位置情報に基づき、移動体の画像領域に対応し、ある瞬間での移動体の活動状況を表す第２の前景画像を所定の時刻ごとに生成する第２の前景画像生成部と、前記第１および第２の前景画像生成部により生成された前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力する映像出力制御部と、を備えた構成とする。
また、第１２の発明は、監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得するステップと、前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得するステップと、前記統計情報を可視化した前記対象期間に渡る移動体の活動状況を表す第１の前景画像を生成するステップと、前記位置情報に基づき、移動体の画像領域に対応し、ある瞬間での移動体の活動状況を表す第２の前景画像を所定の時刻ごとに生成するステップと、前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力するステップと、を備えた構成とする。

Claims (12)

  1. 監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力するモニタリング装置であって、
    前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得する位置情報取得部と、
    この位置情報取得部により取得した前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得する統計情報取得部と、
    この統計情報取得部により取得した前記統計情報を可視化した第１の前景画像を生成する第１の前景画像生成部と、
    前記位置情報取得部により取得した前記位置情報に基づき、移動体の画像領域に対応する第２の前景画像を所定の時刻ごとに生成する第２の前景画像生成部と、
    前記第１および第２の前景画像生成部により生成された前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力する映像出力制御部と、
    を備えたことを特徴とするモニタリング装置。
  2. さらに、前記第１および第２の前景画像の少なくとも一方の表示形態に関する表示形態調整部を備え、
    この表示形態調整部は、前記第１および第２の前景画像が混同される混同状態を検知して、その混同状態が解消されるように、前記第１および第２の前景画像の少なくとも一方の表示形態を変更することを特徴とする請求項１に記載のモニタリング装置。
  3. 前記表示形態調整部は、前記第１および第２の前景画像の少なくとも一方の表示形態を変更するにあたり、表示形態を決定する色、パターン、輪郭線、および透過率の少なくとも１つの表示要素を変更することを特徴とする請求項２に記載のモニタリング装置。
  4. さらに、前記第１および第２の前景画像の少なくとも一方の表示形態に関する表示形態設定部を備え、
    この表示形態設定部は、ユーザの入力操作に応じて、前記第１および第２の前景画像の少なくとも一方の表示形態を設定することを特徴とする請求項１に記載のモニタリング装置。
  5. 前記表示形態設定部は、前記第１および第２の前景画像が混同される混同状態が発生しないように、前記表示形態に関するユーザの入力操作を案内することを特徴とする請求項４に記載のモニタリング装置。
  6. 前記表示形態設定部は、前記第１および第２の前景画像の少なくとも一方の表示形態を設定する際に、前記混同状態が発生しないように、ユーザの入力操作により選択可能な表示形態の候補を制限することを特徴とする請求項５に記載のモニタリング装置。
  7. 前記表示形態設定部は、前記第１および第２の前景画像の少なくとも一方の表示形態を設定するにあたり、表示形態を決定する色、パターン、輪郭線、および透過率の少なくとも１つの表示要素を、ユーザの入力操作に応じて設定することを特徴とする請求項４から請求項６のいずれかに記載のモニタリング装置。
  8. さらに、前記監視エリアの映像から前記背景画像を生成する背景画像生成部を備え、
    この背景画像生成部は、前記対象期間の設定にしたがって前記背景画像を生成し、
    前記映像出力制御部は、前記第１の前景画像を、これと前記対象期間が一致する前記背景画像上に重畳することを特徴とする請求項１から請求項７のいずれかに記載のモニタリング装置。
  9. さらに、前記統計情報取得部で行われる処理に関する処理条件設定部を備え、
    この処理条件設定部は、前記対象期間を任意に指定するユーザの入力操作に応じて、前記対象期間を設定し、
    前記映像出力制御部は、前記モニタリング映像の表示時刻を任意に指定するユーザの入力操作に応じて、指定された表示時刻の前記モニタリング映像を生成して出力することを特徴とする請求項１から請求項８のいずれかに記載のモニタリング装置。
  10. 監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力するモニタリングシステムであって、
    監視エリアを撮影するカメラと、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得する位置情報取得部と、
    この位置情報取得部により取得した前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得する統計情報取得部と、
    この統計情報取得部により取得した前記統計情報を可視化した第１の前景画像を生成する第１の前景画像生成部と、
    前記位置情報取得部により取得した前記位置情報に基づき、移動体の画像領域に対応する第２の前景画像を所定の時刻ごとに生成する第２の前景画像生成部と、
    前記第１および第２の前景画像生成部により生成された前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力する映像出力制御部と、
    を備えたことを特徴とするモニタリングシステム。
  11. 監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力するモニタリングシステムであって、
    監視エリアを撮影するカメラと、
    情報処理装置と、
    を有し、
    前記カメラおよび前記情報処理装置のいずれかが、
    前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得する位置情報取得部と、
    この位置情報取得部により取得した前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得する統計情報取得部と、
    この統計情報取得部により取得した前記統計情報を可視化した第１の前景画像を生成する第１の前景画像生成部と、
    前記位置情報取得部により取得した前記位置情報に基づき、移動体の画像領域に対応する第２の前景画像を所定の時刻ごとに生成する第２の前景画像生成部と、
    前記第１および第２の前景画像生成部により生成された前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力する映像出力制御部と、
    を備えたことを特徴とするモニタリングシステム。
  12. 監視エリアにおける移動体の活動状況を表す前景画像を背景画像上に重畳したモニタリング映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、
    前記監視エリアの映像から移動体を検出して、移動体ごとの位置情報を取得するステップと、
    前記位置情報に対して時間的な統計処理を行って、移動体の滞留状況に関する統計情報を前記統計処理の対象期間の設定にしたがって取得するステップと、
    前記統計情報を可視化した第１の前景画像を生成するステップと、
    前記位置情報に基づき、移動体の画像領域に対応する第２の前景画像を所定の時刻ごとに生成するステップと、
    前記第１および第２の前景画像を前記背景画像上に重畳した前記モニタリング映像を所定の時刻ごとに生成して出力するステップと、
    を備えたことを特徴とするモニタリング方法。
JP2014172778A 2014-08-27 2014-08-27 モニタリング装置、モニタリングシステムおよびモニタリング方法 Active JP5866564B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014172778A JP5866564B1 (ja) 2014-08-27 2014-08-27 モニタリング装置、モニタリングシステムおよびモニタリング方法
EP15176700.1A EP2991344A3 (en) 2014-08-27 2015-07-14 Monitoring apparatus, monitoring system and monitoring method
US14/813,494 US10965913B2 (en) 2014-08-27 2015-07-30 Monitoring apparatus, monitoring system and monitoring method
CN201510535913.8A CN105391973B (zh) 2014-08-27 2015-08-27 监控装置、监控系统及监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014172778A JP5866564B1 (ja) 2014-08-27 2014-08-27 モニタリング装置、モニタリングシステムおよびモニタリング方法

Publications (2)

Publication Number Publication Date
JP5866564B1 JP5866564B1 (ja) 2016-02-17
JP2016048834A true JP2016048834A (ja) 2016-04-07

Family

ID=53785423

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014172778A Active JP5866564B1 (ja) 2014-08-27 2014-08-27 モニタリング装置、モニタリングシステムおよびモニタリング方法

Country Status (4)

Country Link
US (1) US10965913B2 (ja)
EP (1) EP2991344A3 (ja)
JP (1) JP5866564B1 (ja)
CN (1) CN105391973B (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017163195A (ja) * 2016-03-07 2017-09-14 株式会社リコー 画像処理システム、プログラム、画像処理方法
DE102017204039A1 (de) 2016-03-11 2017-09-14 Toyota Jidosha Kabushiki Kaisha Autonomes fahrsteuersystem für ein fahrzeug
JP2017204825A (ja) * 2016-05-13 2017-11-16 パナソニックＩｐマネジメント株式会社 カメラシステム及びカメラ装置
JP2017215634A (ja) * 2016-05-30 2017-12-07 株式会社ケアコム 行動状況可視化装置
JP2018042049A (ja) * 2016-09-06 2018-03-15 パナソニックＩｐマネジメント株式会社 混雑検知装置、混雑検知システムおよび混雑検知方法
WO2018061976A1 (ja) * 2016-09-28 2018-04-05 株式会社日立国際電気 画像処理装置
JP2018139052A (ja) * 2017-02-24 2018-09-06 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP6744652B1 (ja) * 2020-04-30 2020-08-19 アースアイズ株式会社 混雑情報報知システム
JP2020141212A (ja) * 2019-02-27 2020-09-03 沖電気工業株式会社 画像処理システム、画像処理装置、画像処理プログラム、画像処理方法、及び表示装置
JP2021182665A (ja) * 2020-05-18 2021-11-25 東日本電信電話株式会社 情報処理装置
WO2022025127A1 (ja) * 2020-07-28 2022-02-03 株式会社日立産業制御ソリューションズ 動画解析装置及び動画解析方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016038872A1 (ja) * 2014-09-11 2016-03-17 日本電気株式会社 情報処理装置、表示方法およびプログラム記憶媒体
JP5907362B1 (ja) 2014-10-08 2016-04-26 パナソニックＩｐマネジメント株式会社 活動状況分析装置、活動状況分析システムおよび活動状況分析方法
JP5915960B1 (ja) * 2015-04-17 2016-05-11 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP6726052B2 (ja) * 2015-11-20 2020-07-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理方法およびプログラム
JP6558579B2 (ja) 2015-12-24 2019-08-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
CN105554040B (zh) * 2016-02-25 2018-10-12 北京京东尚科信息技术有限公司 远程视频监控方法和系统
US10277836B2 (en) 2016-03-07 2019-04-30 Ricoh Company, Ltd. Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
JP6812643B2 (ja) * 2016-03-07 2021-01-13 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP2017182681A (ja) * 2016-03-31 2017-10-05 株式会社リコー 画像処理システム、情報処理装置、プログラム
JP2017184025A (ja) * 2016-03-30 2017-10-05 株式会社リコー 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム
US10813477B2 (en) 2016-03-22 2020-10-27 Nec Corporation Image display device, image display system, image display method, and program
MX2018012397A (es) * 2016-04-12 2019-06-24 Walmart Apollo Llc Sistemas y metodos para localizar objetos fisicos utilizando transmision de imagenes en vivo.
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
JP6397581B2 (ja) * 2016-05-13 2018-09-26 株式会社日立製作所 混雑状況可視化装置、混雑状況可視化システム、混雑状況可視化方法、および混雑状況可視化プログラム
JP2018085597A (ja) * 2016-11-22 2018-05-31 パナソニックＩｐマネジメント株式会社 人物行動監視装置および人物行動監視システム
JP6928240B2 (ja) * 2016-12-08 2021-09-01 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6730455B2 (ja) * 2016-12-15 2020-07-29 旭化成株式会社 サービス状況管理システム
JP6931290B2 (ja) * 2017-03-03 2021-09-01 キヤノン株式会社 画像生成装置およびその制御方法
CN106991586A (zh) * 2017-04-12 2017-07-28 深圳好多银科技有限公司 奢侈品珠宝的零售管理方法及其智能柜台
US10825479B2 (en) * 2018-05-11 2020-11-03 Axon Enterprise, Inc. Systems and methods for cross-redaction
WO2020158307A1 (ja) * 2019-01-30 2020-08-06 パナソニックＩｐマネジメント株式会社 畜舎監視方法、及び、畜舎監視システム
CN113269011B (zh) * 2020-02-17 2022-10-14 浙江宇视科技有限公司 车辆检测方法、装置、设备及存储介质
CN111539341B (zh) * 2020-04-26 2023-09-22 香港中文大学（深圳） 目标定位方法、装置、电子设备和介质
FR3117234A1 (fr) * 2020-12-04 2022-06-10 Alcom Technologies Méthode de comptage automatique des entrées et sorties de personnes empruntant un lieu de passage identifié

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003101994A (ja) * 2001-09-20 2003-04-04 Toshiba Lighting & Technology Corp 監視カメラシステム
JP2004133805A (ja) * 2002-10-11 2004-04-30 Ntt Data Corp 動画像処理方法、動画像処理装置およびその方法をコンピュータに実行させるプログラム
JP5597781B1 (ja) * 2014-03-26 2014-10-01 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
JP2015087841A (ja) * 2013-10-29 2015-05-07 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6774905B2 (en) * 1999-12-23 2004-08-10 Wespot Ab Image data processing
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
JP2007180709A (ja) 2005-12-27 2007-07-12 Bab-Hitachi Industrial Co 店舗等での人物等の混雑・滞留状況の把握方法
US8310542B2 (en) 2007-11-28 2012-11-13 Fuji Xerox Co., Ltd. Segmenting time based on the geographic distribution of activity in sensor data
US8098888B1 (en) * 2008-01-28 2012-01-17 Videomining Corporation Method and system for automatic analysis of the trip of people in a retail space using multiple cameras
CN101827258A (zh) * 2010-02-05 2010-09-08 北京水晶石数字科技有限公司 一种实时抠像及视频监视和采集系统
JP6007523B2 (ja) * 2012-03-09 2016-10-12 富士通株式会社 生成装置、生成プログラムおよび生成方法
JP5842110B2 (ja) 2013-10-10 2016-01-13 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御プログラム、および記録媒体
JP5834254B2 (ja) 2014-04-11 2015-12-16 パナソニックＩｐマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003101994A (ja) * 2001-09-20 2003-04-04 Toshiba Lighting & Technology Corp 監視カメラシステム
JP2004133805A (ja) * 2002-10-11 2004-04-30 Ntt Data Corp 動画像処理方法、動画像処理装置およびその方法をコンピュータに実行させるプログラム
JP2015087841A (ja) * 2013-10-29 2015-05-07 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
JP5597781B1 (ja) * 2014-03-26 2014-10-01 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017163195A (ja) * 2016-03-07 2017-09-14 株式会社リコー 画像処理システム、プログラム、画像処理方法
DE102017204039A1 (de) 2016-03-11 2017-09-14 Toyota Jidosha Kabushiki Kaisha Autonomes fahrsteuersystem für ein fahrzeug
JP2017204825A (ja) * 2016-05-13 2017-11-16 パナソニックＩｐマネジメント株式会社 カメラシステム及びカメラ装置
JP2017215634A (ja) * 2016-05-30 2017-12-07 株式会社ケアコム 行動状況可視化装置
JP2018042049A (ja) * 2016-09-06 2018-03-15 パナソニックＩｐマネジメント株式会社 混雑検知装置、混雑検知システムおよび混雑検知方法
WO2018047646A1 (ja) * 2016-09-06 2018-03-15 パナソニックＩｐマネジメント株式会社 混雑検知装置、混雑検知システムおよび混雑検知方法
JPWO2018061976A1 (ja) * 2016-09-28 2019-06-24 株式会社日立国際電気 画像処理装置
WO2018061976A1 (ja) * 2016-09-28 2018-04-05 株式会社日立国際電気 画像処理装置
US10853949B2 (en) 2016-09-28 2020-12-01 Hitachi Kokusai Electric Inc. Image processing device
JP2018139052A (ja) * 2017-02-24 2018-09-06 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP2020141212A (ja) * 2019-02-27 2020-09-03 沖電気工業株式会社 画像処理システム、画像処理装置、画像処理プログラム、画像処理方法、及び表示装置
JP6744652B1 (ja) * 2020-04-30 2020-08-19 アースアイズ株式会社 混雑情報報知システム
JP2021175153A (ja) * 2020-04-30 2021-11-01 アースアイズ株式会社 混雑情報報知システム
JP2021182665A (ja) * 2020-05-18 2021-11-25 東日本電信電話株式会社 情報処理装置
WO2022025127A1 (ja) * 2020-07-28 2022-02-03 株式会社日立産業制御ソリューションズ 動画解析装置及び動画解析方法
JP2022024915A (ja) * 2020-07-28 2022-02-09 株式会社 日立産業制御ソリューションズ 動画解析装置及び動画解析方法

Also Published As

Publication number Publication date
CN105391973A (zh) 2016-03-09
US10965913B2 (en) 2021-03-30
US20160063712A1 (en) 2016-03-03
EP2991344A2 (en) 2016-03-02
JP5866564B1 (ja) 2016-02-17
EP2991344A3 (en) 2016-03-09
CN105391973B (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
JP5866564B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5707562B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5907362B1 (ja) 活動状況分析装置、活動状況分析システムおよび活動状況分析方法
US9693023B2 (en) Monitoring apparatus, monitoring system, and monitoring method
JP6256885B2 (ja) 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
JP5834193B2 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5834196B2 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5906556B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
US10304032B2 (en) Product monitoring device, product monitoring system, and product monitoring method
US10235574B2 (en) Image-capturing device, recording device, and video output control device
JP5707561B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP6024999B2 (ja) 撮像装置、録画装置および映像出力制御装置
JP5853141B2 (ja) 人数計測装置、人数計測システムおよび人数計測方法
US10186005B2 (en) Facility utilization measurement apparatus, facility utilization measurement system, and facility utilization measurement method
JP6176619B2 (ja) 撮像装置、録画装置、映像表示方法およびコンピュータプログラム
JP6508482B2 (ja) 活動状況分析システムおよび活動状況分析方法
JP2017184288A (ja) 撮像装置、録画装置、映像表示方法およびコンピュータプログラム
KR20140066560A (ko) 영상 감시장치에서 객체영역을 설정하는 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151103

R151 Written notification of patent or utility model registration

Ref document number: 5866564

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151