JP2015222881A - モニタリング装置、モニタリングシステムおよびモニタリング方法 - Google Patents

モニタリング装置、モニタリングシステムおよびモニタリング方法 Download PDF

Info

Publication number
JP2015222881A
JP2015222881A JP2014106705A JP2014106705A JP2015222881A JP 2015222881 A JP2015222881 A JP 2015222881A JP 2014106705 A JP2014106705 A JP 2014106705A JP 2014106705 A JP2014106705 A JP 2014106705A JP 2015222881 A JP2015222881 A JP 2015222881A
Authority
JP
Japan
Prior art keywords
person
area
mask image
state
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014106705A
Other languages
English (en)
Other versions
JP5707562B1 (ja
Inventor
大介 上田
Daisuke Ueda
大介 上田
裕一 松本
Yuichi Matsumoto
裕一 松本
和麻 吉田
Kazuma Yoshida
和麻 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014106705A priority Critical patent/JP5707562B1/ja
Application granted granted Critical
Publication of JP5707562B1 publication Critical patent/JP5707562B1/ja
Priority to DE102015209138.4A priority patent/DE102015209138A1/de
Priority to US14/717,198 priority patent/US9202112B1/en
Priority to GB1508644.0A priority patent/GB2528554B/en
Publication of JP2015222881A publication Critical patent/JP2015222881A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2207/00—Other aspects
    • G06K2207/1012—Special detection of object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Burglar Alarm Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】監視エリアの映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができるようにする。【解決手段】監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置を、撮影映像から人物を検出して人物領域に関する位置情報を取得する人物検出部３７、および位置情報に基づき、人物領域における人物の状態を表す領域状態を判定する領域状態判定部３８を有する人物画像解析部３２と、領域状態に対応したマスク画像を設定するマスク画像設定部３５と、人物画像解析部から出力された位置情報および領域状態に基づき、人物領域を領域状態に対応したマスク画像に変更した出力映像を生成して出力する映像出力制御部３４と、を備えたものとする。【選択図】図３

Description

本発明は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置、モニタリングシステムおよびモニタリング方法に関するものである。
コンビニエンスストアなどの店舗においては、店舗内を撮影するカメラを設置して、そのカメラの映像で店舗内の人物を監視する監視システムが広く普及しているが、監視目的以外、すなわち、マーケティング分析やサービス向上を目的として撮影映像を利用する場合には、顧客のプライバシーを保護する必要がある。
このような顧客のプライバシーを保護する要望に対して、従来、カメラで撮影された映像内の人物領域を特定のマスク画像に変更して表示する技術が知られている（特許文献１，２参照）。特に、特許文献１に開示された技術では、マスク画像に特徴点を表示させることで、人物の身体の動きを把握しやすくしている。また、特許文献２に開示された技術では、マスク画像を透過性とすることで、背景に対して人物の行動を把握しやすくしている。
特開２０１３−１８６８３８号公報 特許第５１５９３８１号公報
さて、映像から人物の行動を把握するには、人物を背景と区別しながら人物を見ることになるが、前記従来の技術のように、人物領域を特定のマスク画像に変更して表示するようにすると、顧客のプライバシーの保護に加えて、背景と人物とを容易に識別することができるため、人物の行動を把握することが容易になる利点も得られる。
しかしながら、カメラから見て複数の人物が重なり合う状態では、映像から検出された人物領域が複数の人物により構成される、すなわち複数の人物の画像領域がつながった状態で検出され、このような場合には、マスク画像を見ただけでは、そこに人物が１人だけいるのか、また複数の人物がいるのかすら判然とせず、マスク画像から人物の状態を簡単に判断することができないという問題があり、特に、映像が長時間に及ぶ場合にはユーザの負担が大きくなるという問題があり、人物の行動を把握する作業を効率的に行うことができる技術が望まれる。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、監視エリアの映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができるように構成されたモニタリング装置、モニタリングシステムおよびモニタリング方法を提供することにある。
本発明のモニタリング装置は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
また、本発明のモニタリングシステムは、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
また、本発明のモニタリング方法は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する処理、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する処理を実行するステップと、前記領域状態に対応した前記マスク画像を設定するステップと、前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力するステップと、を有する構成とする。
本発明によれば、人物領域における人物の状態を表す領域状態に対応したマスク画像が表示され、このマスク画像により、人物領域における人物の状態を簡単に把握することができるため、映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる。
第１実施形態に係るモニタリングシステムの全体構成図 店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図 ＰＣ３の概略構成を示す機能ブロック図 モニタ４に表示されるモニタリング画面を示す説明図 モニタ４に表示されるマスク画像設定画面を示す説明図 人物領域をマスク画像に変更する前の元の映像を示す説明図 人物領域をマスク画像に変更した映像を示す説明図 領域状態判定部３８で行われる領域状態判定の要領を説明する説明図 群集非表示モードで表示される映像を説明する説明図 第２実施形態に係るモニタリングシステムにおけるＰＣ３の概略構成を示す機能ブロック図 領域状態判定部３８で行われる領域状態判定の要領を説明する説明図 第３実施形態に係るモニタリングシステムにおけるＰＣ３の概略構成を示す機能ブロック図 モニタ４に表示されるモニタリング画面を示す説明図 モニタ４に表示されるマスク画像設定画面を示す説明図 人物領域をマスク画像に変更した映像を説明する説明図 人物領域の領域状態に関する別例を説明する説明図 人物領域の領域状態に関する別例を説明する説明図 人物領域の領域状態に関する別例を説明する説明図 人物領域の領域状態に関する別例を説明する説明図
前記課題を解決するためになされた第１の発明は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
これによると、人物領域における人物の状態を表す領域状態に対応したマスク画像が表示され、このマスク画像により、人物領域における人物の状態を簡単に把握することができるため、映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる。
また、第２の発明は、前記領域状態は、前記人物領域を構成する人物の人数に応じて分類されている構成とする。
これによると、領域状態別に表示されるマスク画像により、人物領域を構成する人物の人数を把握することができるため、映像から人物の行動を把握する作業をより一層効率的に行うことができる。
また、第３の発明は、前記領域状態判定部は、前記領域状態として、複数の人物により構成される群集と、１人の人物により構成される孤立とのいずれであるかを判定する構成とする。
これによると、孤立のマスク画像は、１人の人物により構成される人物領域であり、人物の形状をなしていることから、人物の状態や動きを把握しやすいため、孤立のマスク画像に注目することで、人物の行動を詳細に観察することができる。一方、群集のマスク画像は、複数の人物により構成される人物領域となり、全体として人物の形状をなしていないため、人物の状態や動きを把握しにくくなるが、この群集のマスク画像に注目することで、監視エリアにおいて人物が集まるエリアを把握することができ、例えば店舗では、顧客の関心が高い商品が陳列されているエリアを把握することができる。
また、第４の発明は、前記マスク画像設定部は、前記領域状態に対応した前記マスク画像を選択するユーザの入力操作に応じて、前記領域状態に対応した前記マスク画像を設定する構成とする。
これによると、ユーザが自由にマスク画像を設定することができるため、ユーザの利便性を高めることができる。そして、マスク画像を適宜に設定することで、用途に応じて注目する領域状態のマスク画像を強調表示させることができるため、人物の行動や監視エリアの状態を把握する作業をユーザが効率的に行うことができる。
また、第５の発明は、前記人物画像解析部は、前記人物領域の人物属性を判定する人物属性判定部をさらに有し、前記マスク画像設定部は、前記領域状態および前記人物属性に対応した前記マスク画像を設定し、前記映像出力制御部は、前記人物領域を前記領域状態および前記人物属性に対応した前記マスク画像に変更した前記出力映像を生成して出力する構成とする。
これによると、人物属性別にマスク画像が表示されることから、マスク画像により人物領域の人物属性を簡単に把握することができるため、人物属性ごとに人物の行動を把握する作業をユーザが効率的に行うことができる。
また、第６の発明は、前記マスク画像は、前記領域状態に応じて、色、濃淡、パターン、および輪郭線の少なくともいずれかの表示要素を変更することで、前記領域状態を識別可能にした構成とする。
これによると、マスク画像の違いにより、人物領域の領域状態を容易に識別することができる。
また、第７の発明は、前記撮影映像から背景画像を生成する背景画像処理部をさらに備え、前記映像出力制御部は、前記背景画像上に透過性の前記マスク画像を重畳した前記出力映像を生成する構成とする。
これによると、マスク画像が透過性であることから、背景画像が透けて見えるため、背景画像に写る監視エリアの状況を見ながら人物の行動を観察することができる。
また、第８の発明は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
これによると、第１の発明と同様に、監視エリアの映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる。
また、第９の発明は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する処理、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する処理を実行するステップと、前記領域状態に対応した前記マスク画像を設定するステップと、前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力するステップと、を有する構成とする。
これによると、第１の発明と同様に、監視エリアの映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
図１は、第１実施形態に係るモニタリングシステムの全体構成図である。このモニタリングシステムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗ごとに設けられたカメラ１、レコーダ（映像蓄積装置）２、ＰＣ（モニタリング装置）３、およびモニタ（表示装置）４と、複数の店舗を総括する本部に設けられたＰＣ１１、およびモニタ１２と、を備えている。
カメラ１は店舗内の適所に設置され、カメラ１により店舗内（監視エリア）が撮影され、これにより得られた映像がレコーダ２に録画される。店舗に設けられたＰＣ３や本部に設けられたＰＣ１１では、カメラ１で撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができ、これにより店舗や本部で店舗内の状況を確認することができる。
店舗に設置されたＰＣ３は、店舗内での人物や商品の状態を監視するモニタリング装置として構成され、このＰＣ３で生成したモニタリング情報を、ＰＣ３自身で閲覧することができ、さらに、本部に設置されたＰＣ１１に送信されて、このＰＣ１１でも閲覧することができ、ＰＣ３，１１がモニタリング情報を閲覧する閲覧装置として構成される。
次に、コンビニエンスストアを例にして店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。
店舗には、出入口、陳列棚およびレジカウンタなどが設けられている。陳列棚は、弁当、ペットボトル、おにぎりなどの商品の種類に分けて設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。
また、店舗には、店舗内（監視エリア）を撮影する複数のカメラ１が設置されている。このカメラは、店舗内の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、出入口から店舗に出入りする人物や店舗内に滞在する人物を撮影することができる。
次に、図１に示したＰＣ３で行われる処理を機能ブロック図に基づいて説明する。図３は、ＰＣ３の概略構成を示す機能ブロック図である。
ＰＣ３は、監視部３１を備えている。この監視部３１は、ＰＣ３を店舗内を監視する監視システムとして機能させるものであり、この監視部３１により、カメラ１およびレコーダ２の動作が制御され、また、カメラ１で撮影された店舗内の映像をリアルタイムで閲覧し、また、レコーダ２に録画された店舗内の映像を閲覧することができる。
また、ＰＣ３は、人物画像解析部３２と、背景画像処理部３３と、映像出力制御部３４と、マスク画像設定部３５と、を備えている。
人物画像解析部３２は、カメラ１による撮影映像を解析して、撮影映像に映る人物に関する情報を取得するものであり、人物検出部３７と、領域状態判定部３８と、を備えている。
人物検出部３７では、撮影映像から人物を検出して人物領域に関する位置情報を取得する処理が行われる。この人物検出部３７で行われる処理は、公知の画像認識技術を用いればよい。
領域状態判定部３８では、人物検出部３７で取得した位置情報に基づいて、人物領域における人物の状態を表す領域状態を判定する処理が行われる。本実施形態では、領域状態として、人物領域が複数の人物により構成される群集と、人物領域が１人の人物により構成される孤立とのいずれであるかを判定する。
マスク画像設定部３５では、領域状態別のマスク画像を設定する処理が行われる。本実施形態では、領域状態ごとにマスク画像を選択するユーザの入力操作に応じて、領域状態別のマスク画像を設定する処理が行われる。なお、領域状態別のマスク画像を予め設定しておくようにしてもよい。
背景画像処理部３３では、撮影映像から背景画像を生成する処理が行われる。この背景画像は、撮影映像から人物の画像（前景画像）を除去したものであり、直近に撮影された複数の映像からそれぞれ人物の画像を除去して、その複数の画像から背景画像を合成するようにすればよい。また、人物が存在しないときの撮影映像、例えば開店前の撮影映像を背景画像として予め用意しておくようにしてもよい。
映像出力制御部３４では、人物画像解析部３２から出力された人物ごとの位置情報および領域状態に基づき、人物領域を、領域状態別のマスク画像に変更した出力映像を生成して出力する処理が行われる。本実施形態では、撮影映像内の人物領域に対応する輪郭を有するマスク画像を生成し、このマスク画像を、背景画像処理部３３で生成した背景画像上に重ね合わせる処理が行われる。
マスク画像は、領域状態に応じて、色、濃淡、パターン（模様）、および輪郭線の少なくともいずれかの表示要素を変更することで、領域状態を識別可能にしたものであり、特に本実施形態では、人物ごとの位置情報（人物領域の位置情報）から、人物領域の輪郭線を生成し、その輪郭線の内部を透過性の画像で塗り潰したものとする。なお、輪郭線を表示しないようにしてもよく、また、色や濃淡などを変えることで輪郭線を塗り潰し領域と識別可能に表示するようにしてもよい。
なお、図３に示したＰＣ３の各部は、ＰＣ３のＣＰＵでモニタリング用のプログラムを実行させることで実現される。このプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
次に、図３に示したモニタ４に表示されるモニタリング画面について説明する。図４は、モニタ４に表示されるモニタリング画面を示す説明図である。
このモニタリング画面は、マーケティング分析やサービス向上などの目的で店舗内の状況をユーザが確認するものであり、このモニタリング画面には、店舗選択部４１と、開始ボタン４２と、設定ボタン４３と、動作モード選択部４４と、日時表示部４５と、日時設定ボタン４６と、凡例表示部４７と、映像表示部４８と、表示時刻操作部４９と、が設けられている。
店舗選択部４１では、プルダウンメニューにより店舗をユーザが選択する。開始ボタン４２は、ＰＣ３でモニタリング処理を開始させるものである。設定ボタン４３は、モニタリング処理での各種の条件を設定するものであり、本実施形態では、設定ボタン４３を操作すると、ポップアップでマスク画像設定画面（図５参照）が表示される。動作モード選択部４４は、動作モードを選択するものであり、売場モニタリング、商品モニタリング、陳列アラート、および欠品アラートなどの動作モードが用意されており、ここでは売場モニタリングが選択されている。
日時表示部４５は、日時を表示するものである。日時設定ボタン４６は、日時を設定するものである。日時設定ボタン４６を操作すると、図示しない日時設定画面が表示され、ここで日時を選択することで、選択した日時が日時表示部４５に表示され、また、選択した日時の映像が映像表示部４８に表示される。
凡例表示部４７は、映像表示部４８に表示されるマスク画像を説明するものである。本実施形態では、凡例表示部４７に、領域状態（群集および孤立）ごとに設定されたマスク画像が表示される。
映像表示部４８には、映像出力制御部３４で生成された出力映像（動画）が表示される。特に図４に示す例では、全方位カメラであるカメラ１により撮影された映像をパノラマ展開した２つの映像が表示されている。この２つの映像に店舗全体が映り、店舗全体の状況を確認することができる。この映像表示部４８には、通常再生モードでは、カメラ１による撮影映像がそのまま表示され、マスク再生モードでは、人物領域をマスク画像に変更した映像が表示される。この映像表示部４８に表示される映像については後に詳しく説明する。
表示時刻操作部４９は、映像表示部４８に表示される映像の時刻を調整するものである。この表示時刻操作部４９を操作することで、映像を所望の時刻の映像に切り替えることができる。具体的には、マウスなどの入力デバイス６を用いてスライダ５０をずらすと、そのスライダ５０が指し示す時刻の映像が映像表示部４８に表示される。これにより、所要の時刻における店舗の状況を映像表示部４８の映像で確認することができる。
また、映像表示部４８の映像を再生する際には、操作ボタン５１を操作すればよく、この操作ボタン５１により、通常再生のほか、早送り再生や巻き戻し再生ができ、これにより、長時間に及ぶ映像をマスク再生モードで再生する際にも、効率的な映像確認ができる。
次に、領域状態別のマスク画像を設定する操作について説明する。図５は、モニタ４に表示されるマスク画像設定画面を示す説明図である。
このマスク画像設定画面は、領域状態（群集および孤立）別のマスク画像をユーザが指定するものであり、このマスク画像設定画面には、領域状態選択部６１と、マスク画像選択部６２と、設定ボタン６３と、設定内容表示部６４と、が設けられている。
領域状態選択部６１では、領域状態（群集および孤立）をプルダウンメニューからユーザが選択する。マスク画像選択部６２では、領域状態選択部６１で選択した領域状態に対応するマスク画像の種類をタイルメニューからユーザが選択する。また、マスク画像選択部６２では、マスク画像の透過率をプルダウンメニューからユーザが選択する。透過率は、０％〜１００％の範囲で選択することができる。
この領域状態選択部６１およびマスク画像選択部６２で領域状態（群集および孤立）とこれに対応するマスク画像の種類および透過率を選択して、設定ボタン６３を操作すると、設定内容表示部６４に、設定内容、すなわち領域状態別のマスク画像が表示される。
次に、人物領域をマスク画像に変更した映像について説明する。図６は、人物領域をマスク画像に変更する前の元の映像を示す説明図である。図７は、人物領域をマスク画像に変更した映像を示す説明図である。この映像は、映像出力制御部３４で生成され、図４に示したモニタリング画面の映像表示部４８に表示される。
図６に示すように、カメラ１による撮影映像には複数の人物Ｐ１〜Ｐ７が写っており、これらの人物Ｐ１〜Ｐ７の画像領域が、図７（Ａ），（Ｂ）に示すように、領域状態（群集および孤立）に対応したマスク画像に変更される。また、マスク画像は透過性であるため、背景画像が透けて見える状態となっている。
この映像では、図６の撮影映像における人物領域が、領域状態別のマスク画像に置き換えられている。具体的には、人物Ｐ２〜Ｐ５は、互いに重なり合った状態となっているため、人物Ｐ２〜Ｐ５の画像領域は１つの人物領域として検出され、この人物領域は、複数の人物により構成される群集と判定されて、群集のマスク画像に変更される。一方、人物Ｐ１，Ｐ６，Ｐ７は、別の人物と重なり合った状態となっておらず、人物Ｐ１，Ｐ６，Ｐ７の画像領域はそれぞれ別の人物領域として検出され、これらの人物領域は、１人の人物により構成される孤立と判定されて、孤立のマスク画像に変更される。
ここで、マスク画像の種類および透過率を適宜に設定することで、注目する特定の領域状態、すなわち群集および孤立のいずれか一方のマスク画像を強調表示させることができる。図７（Ａ）は、群集のマスク画像を透過率を低くして強調表示させた例であり、図７（Ｂ）は、孤立のマスク画像を透過率を低くして強調表示させた例である。
孤立のマスク画像は、１人の人物により構成される人物領域であり、人物の形状をなしているため、人物の状態や動きを把握しやすいことから、人物の行動を把握する用途では、図７（Ｂ）に示すように、孤立を強調表示させるようにするとよい。一方、群集のマスク画像は、複数の人物により構成される人物領域であり、全体として人物の形状をなしていないため、人物の状態や動きを把握しにくくなるが、この群集のマスク画像は、多数の顧客が集まる、すなわち顧客の関心が高い商品が陳列されているエリアを表すものであるため、顧客が集まるエリアを把握する用途では、図７（Ａ）に示すように、群集を強調表示させるようにするとよい。
なお、本実施形態では、カメラ１による撮影映像をそのまま表示する通常再生モードと、人物領域をマスク画像に変更した映像を表示するマスク再生モードとを選択することができ、映像を再生する際には、ユーザがいずれの再生モードで再生されているのかを識別できるように、再生モード識別用のアイコンを映像と重畳表示させるとよい。また、マスク再生モードの映像表示枠の色を通常再生モードでの映像表示枠の色と異なる表示を行うなどして、再生モードの識別ができるようにしてもよい。また、マーケティング分析など、防犯用途以外の目的でモニタリング画面を表示させる場合には、顧客のプライバシーを確実に保護するために、マスク再生モードでのみ再生することができるようにしてもよい。
次に、図３に示した領域状態判定部３８で行われる領域状態判定について説明する。図８は、領域状態判定部３８で行われる領域状態判定の要領を説明する説明図である。
本実施形態では、領域状態判定部３８において、領域状態として、複数の人物により構成される群集と、１人の人物により構成される孤立とのいずれであるかを判定する。この領域状態判定では、人物検出部３７で映像から検出された人物領域の面積に基づいて、人物領域が群集と孤立とのいずれであるかを判定する。具体的には、１人分の人物領域の面積に相当する基準面積を設定し、映像から検出された人物領域の面積と基準面積と比較して、人物領域が群集と孤立とのいずれであるかを判定する。
ここで、カメラ１は、店舗の天井に配置されて、店舗内を斜め上方から撮影するため、カメラ１から見て手前側に位置する人物は撮影映像内の下側の画像領域に大きく写り、奥側に位置する人物は撮影映像内の上側の画像領域に小さく写り、１人分の人物領域は、映像上のＹ方向（上下方向）の位置に応じて変化する。このため、映像上のＹ方向の位置に応じて基準面積を設定する必要がある。そこで、本実施形態では、Ｙ座標値に応じた基準面積を求めるための基準面積取得情報（例えば参照テーブルや関係式など）を予め用意しておき、この基準面積取得情報に基づいてＹ座標値から基準面積を求める。
基準面積取得情報は、予め行われるユーザの設定操作に基づいて作成される。すなわち、図８（Ａ）に示すように、モニタ４に入力画面を表示させ、この入力画面に表示された映像上で、マウスなどの入力デバイス６を用いて、１人分の人物領域を取り囲む人物矩形をユーザに入力させる。このとき、Ｙ方向に大きくずれた位置に存在する少なくとも２人の人物について人物矩形を入力する。すなわち、映像上で手前側に写った人物および奥側に写った人物について人物矩形を入力する。そして、２つの人物矩形の面積およびＹ座標値を用いて、Ｙ座標値に応じた基準面積を求めるための基準面積取得情報を設定する。ここで、Ｙ座標値は、例えば人物矩形の中心のＹ座標値とすればよい。
領域状態を判定する際には、図８（Ｂ）に示すように、映像から検出された人物領域を取り囲む人物矩形を取得してその人物矩形の面積を求める。また、人物矩形のＹ座標値（例えば人物矩形の中心のＹ座標値）を取得して、そのＹ座標値に対応する基準面積を基準面積取得情報を用いて取得する。そして、人物矩形の面積と基準面積とを比較して、人物矩形の面積と基準面積との差が所定のしきい値以上であれば、領域状態を群集と判定し、人物矩形の面積と基準面積との差がしきい値未満であれば、領域状態を孤立と判定する。
次に、群集非表示モードについて説明する。図９は、群集非表示モードで表示される映像を説明する説明図であり、図９（Ａ）に元の映像を示し、図９（Ｂ）に人物領域をマスク画像に変更した映像を示す。この映像は、映像出力制御部３４で生成され、図８に示したモニタリング画面の映像表示部４８に表示される。
図７に示したように、通常のマスク再生モードでは、群集および孤立の各人物領域にマスク画像が表示されるが、群集のマスク画像は、複数の人物により構成される人物領域であり、全体として人物の形状をなしていないため、人物の状態や動きを容易に把握することができないため、人物の行動を観察する用途では、群集のマスク画像は無駄であり、さらに作業の支障となる場合がある。
このような場合、図９に示すように、群集のマスク画像を表示しない群集非表示モードを選択することができる。この群集非表示モードでは、領域状態が孤立と判定された人物領域は、マスク画像に変更して表示されるが、領域状態が群集と判定された人物領域は、映像上に表示されず、マスク画像は孤立用の１種類のみとなる。
このように、ユーザの必要に応じて、群集のマスク画像を表示させないようにすると、人物の行動を観察する際の作業効率を向上させることができ、ユーザの利便性を高めることができる。
なお、本実施形態では、図５に示したように、マスク画像の透過率を選択することができ、この透過率を１００％に設定すると、群集のマスク画像が表示されない状態となるため、特に群集非表示モードを設けずに、透過率の設定で対応するようにしてもよい。
以上のように第１実施形態では、人物画像解析部３２の人物検出部３７において、撮影映像から人物を検出して人物領域に関する位置情報を取得し、領域状態判定部３８において、位置情報に基づき、人物領域における人物の状態を表す領域状態を判定し、マスク画像設定部３５において、領域状態に対応したマスク画像を設定し、映像出力制御部３４において、人物画像解析部３２から出力された位置情報および領域状態に基づき、人物領域を領域状態に対応したマスク画像に変更した出力映像を生成して出力するようにしており、人物領域における人物の状態を表す領域状態に対応したマスク画像が表示され、このマスク画像により、人物領域における人物の状態を簡単に把握することができるため、映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる。
また、この第１実施形態では、領域状態が、人物領域を構成する人物の人数の大小に応じて分類されるようにしており、領域状態別に表示されるマスク画像により、人物領域を構成する人物の人数を把握することができるため、映像から人物の行動を把握する作業をより一層効率的に行うことができる。
また、この第１実施形態では、領域状態判定部３８において、領域状態として、複数の人物により構成される群集と、１人の人物により構成される孤立とのいずれであるかを判定するようにしており、孤立のマスク画像は、１人の人物により構成される人物領域であり、人物の形状をなしていることから、人物の状態や動きを把握しやすいため、孤立のマスク画像に注目することで、人物の行動を詳細に観察することができる。一方、群集のマスク画像は、複数の人物により構成される人物領域となり、全体として人物の形状をなしていないため、人物の状態や動きを把握しにくくなるが、この群集のマスク画像に注目することで、監視エリアにおいて人物が集まるエリアを把握することができ、例えば店舗では、顧客の関心が高い商品が陳列されているエリアを把握することができる。
また、この第１実施形態では、マスク画像設定部３５において、領域状態に対応したマスク画像を選択するユーザの入力操作に応じて、領域状態に対応したマスク画像を設定するようにしており、ユーザが自由にマスク画像を設定することができるため、ユーザの利便性を高めることができる。そして、マスク画像を適宜に設定することで、用途に応じて注目する領域状態のマスク画像を強調表示させることができるため、人物の行動や監視エリアの状態を把握する作業をユーザが効率的に行うことができる。
また、この第１実施形態では、マスク画像が、領域状態に応じて、色、濃淡、パターン、および輪郭線の少なくともいずれかの表示要素を変更することで、領域状態を識別可能にしたため、マスク画像の違いにより、人物領域の領域状態を容易に識別することができる。
また、この第１実施形態では、背景画像処理部３３において、撮影映像から背景画像を更新して生成する場合、映像出力制御部３４において、背景画像上に透過性のマスク画像を重畳した出力映像を生成するようにしており、マスク画像が透過性であることから、背景画像が透けて見えるため、背景画像に写る監視エリアの状況を見ながら人物の行動を観察することができる。
さらに、この第１実施形態では、マスク画像の種類に加えて透過率をユーザが適宜に選択することができるようにしたため、注目する領域状態のマスク画像をより適切に強調表示させることができる。
（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。
図１０は、第２実施形態に係るモニタリングシステムにおけるＰＣ３の概略構成を示す機能ブロック図である。この第２実施形態では、人物画像解析部３２が、人物検出部３７および領域状態判定部３８の他に、人物追跡部３９を備えている。
人物検出部３７では、撮影映像のフレームごとに人物枠（人物の上半身を取り囲む矩形）を検出し、その人物枠の位置情報（人物枠の位置および大きさなどに関する情報）を取得する。人物追跡部３９では、人物検出部３７において取得した人物枠の位置情報を関連付ける、すなわち同一人物に関する各フレーム（時刻）における人物枠の位置情報を取得する処理が行われる。領域状態判定部３８では、人物追跡部３９で取得した人物ごとの人物枠の位置情報に基づいて人物領域の領域状態を判定する処理が行われる。
次に、図１０に示した領域状態判定部３８で行われる領域状態判定について説明する。図１１は、領域状態判定部３８で行われる領域状態判定の要領を説明する説明図である。
第２実施形態では、第１実施形態と同様に、領域状態判定部３８において、人物領域が群集および孤立のいずれであるかを判定する処理が行われるが、第１実施形態と異なり、この第２実施形態では、人物追跡部３９による人物追跡結果に基づいて領域状態を判定する。
具体的には、図１１（Ａ）に示すように、２人の人物が離れて、映像から検出された各人物の人物枠領域（人物枠で囲まれた領域）が重なり合わない場合には、領域状態を孤立と判定する。また、図１１（Ｂ）に示すように、２人の人物が近づいて、人物枠領域が重なり合う場合には、人物枠領域の重複率（人物枠領域が互いに重なり合う割合）を求めて、その重複率を所定のしきい値（例えば２０％）と比較し、重複率がしきい値以上であれば領域状態を群集と判定し、重複率がしきい値未満であれば領域状態を孤立と判定する。
ここで、映像上で複数の人物が重なり合った状態では、その複数の人物を１人ずつ検出することができない場合があり、この場合、人物検出が失敗して、人物枠を取得することができないため、領域状態判定を行うことができなくなる。そこで、本実施形態では、人物追跡部３９において取得した人物追跡情報に基づいて、領域状態判定を行う。
すなわち、人物追跡部３９において、人物ごとの各フレーム（時刻）での位置情報を取得し、複数の人物が重なり合った状態となるフレームで人物検出が失敗した場合には、そのフレームでの位置情報を、直前の複数のフレームで取得した位置情報から推定する。これにより、映像上で複数の人物が重なり合った状態でも、領域状態判定を確実に行うことができる。
以上のように、この第２実施形態では、人物画像解析部３２の人物追跡部３９において、人物ごとの人物枠の位置情報を取得し、領域状態判定部３８において、人物追跡部３９で取得した人物ごとの人物枠の位置情報に基づいて人物領域の領域状態を判定するようにしたため、人物領域の領域状態を精度良く判定することができる。
（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。
図１２は、第３実施形態に係るモニタリングシステムにおけるＰＣ３の概略構成を示す機能ブロック図である。この第３実施形態では、第１実施形態と同様に、領域状態（群集および孤立）別のマスク画像を表示させることができるが、さらに、人物属性（男性および女性）別のマスク画像を表示させることができ、人物画像解析部３２が、人物検出部３７、人物追跡部３９および領域状態判定部３８の他に、人物属性判定部４０を備えている。
人物属性判定部４０では、人物領域を構成する人物ごとの人物属性を判定し、この人物ごとの人物属性に基づいて、人物領域全体の人物属性を判定する。なお、人物属性判定部４０で行われる各人物の人物属性の判定処理は、公知の画像認識技術を用いればよい。
ここで、領域状態が孤立の場合には、人物領域を構成する１人の人物の人物属性を、その人物領域の人物属性とする。一方、領域状態が群集の場合には、人物領域を構成する複数の人物ごとの人物属性から、その人物領域全体の人物属性を求める。例えば、人物属性の人数の割合から、人物領域全体の人物属性を求める。すなわち、主に男性で構成される群集は男性グループとして、人物領域全体の人物属性を男性とし、主に女性で構成される群集は女性グループとして、人物領域全体の人物属性を女性とする。
また、映像上で複数の人物が重なり合った状態では、その複数の人物を１人ずつ検出することができない場合があり、この場合、人物検出が失敗して、人物属性を取得することができないため、人物属性判定を行うことができなくなる。そこで、本実施形態では、人物追跡部３９において取得した人物追跡情報に基づいて、人物属性判定を行う。
すなわち、人物追跡部３９において、人物ごとの各フレーム（時刻）での位置情報を取得し、人物属性判定部４０において、人物追跡部３９により追跡される人物ごとの人物属性を判定する。そして、複数の人物が重なり合った状態となるフレームで人物検出が失敗した場合には、人物属性判定部４０において、直前の各人物の位置情報から、複数の人物が重なり合って群集と判定された人物領域を構成する人物を特定して、その人物領域を構成する各人物の人物属性から人物領域全体の人物属性を求める。
マスク画像設定部３５では、領域状態別および人物属性別のマスク画像を選択するユーザの入力操作に応じて、領域状態別および人物属性別のマスク画像を設定する処理が行われる。なお、領域状態別および人物属性別のマスク画像を予め設定しておくようにしてもよい。
映像出力制御部３４では、人物画像解析部３２から出力された人物ごとの位置情報、領域状態および人物属性に基づき、人物領域を、領域状態別および人物属性別のマスク画像に変更した出力映像を生成して出力する処理が行われ、出力映像は、人物領域ごとのマスク画像が、１つの背景画像上に領域状態および人物属性を識別可能に表示されたものとなる。
この第３実施形態では、マスク画像が、領域状態および人物属性に応じて、色、濃淡、パターン、および輪郭線の少なくともいずれかの表示要素を変更することで、領域状態および人物属性を識別可能にしたものであり、第１本実施形態と同様に、人物領域の輪郭線の内部を透過性の画像で塗り潰したものとすればよい。
次に、モニタ４に表示されるモニタリング画面について説明する。図１３は、モニタ４に表示されるモニタリング画面を示す説明図である。
この第３実施形態でも、第１実施形態（図４参照）と略同様のモニタリング画面がモニタ４に表示され、このモニタリング画面では、凡例表示部４７に、領域状態および人物属性ごとに設定されたマスク画像が表示される。映像表示部４８には、映像出力制御部３４で生成される出力映像、すなわち人物領域を領域状態別および人物属性別のマスク画像に変更した映像が表示される。
次に、領域状態別および人物属性別のマスク画像を設定する操作について説明する。図１４は、モニタ４に表示されるマスク画像設定画面を示す説明図である。
このマスク画像設定画面は、領域状態別および人物属性別のマスク画像をユーザが指定するものであり、このマスク画像設定画面には、領域状態選択部７１と、人物属性選択部７２と、マスク画像選択部７３と、設定ボタン７４と、設定内容表示部７５と、が設けられている。
領域状態選択部７１では、領域状態（群集および孤立）をプルダウンメニューからユーザが選択する。人物属性選択部７２では、人物属性（性別）をプルダウンメニューによりユーザが選択する。マスク画像選択部７３では、領域状態選択部７１で選択した領域状態および人物属性選択部７２で選択した人物属性に対応するマスク画像をタイルメニューからユーザが選択する。
この領域状態選択部７１、人物属性選択部７２、およびマスク画像選択部７３で領域状態および人物属性とこれに対応するマスク画像を選択して、設定ボタン７４を操作すると、設定内容表示部７５に、設定内容、すなわち領域状態別および人物属性別のマスク画像が表示される。
次に、人物領域をマスク画像に変更した映像について説明する。図１５は、人物領域をマスク画像に変更した映像を説明する説明図であり、図１５（Ａ）に元の映像を示し、図１５（Ｂ）に人物領域をマスク画像に変更した映像を示す。この映像は、映像出力制御部３４で生成され、図１３に示したモニタリング画面の映像表示部４８に表示される。
第３実施形態では、第１実施形態（図７参照）と同様に、人物領域をマスク画像に変更した出力映像が表示されるが、特に第３実施形態では、人物領域が、領域状態（群集および孤立）別および人物属性（ここでは男性および女性）別のマスク画像に変更される。
図１５（Ａ）に示すように、映像には、領域状態が群集となる人物領域として、人物Ｐ２〜Ｐ５で構成される人物領域と、人物Ｐ７，Ｐ８で構成される人物領域とがあり、人物Ｐ２〜Ｐ５で構成される人物領域は、主に男性で構成されるため、人物属性が男性と判定されて、図１５（Ｂ）に示すように、人物領域が群集かつ男性のマスク画像に変更される。一方、人物Ｐ７，Ｐ８で構成される人物領域は、女性のみで構成されるため、人物属性が女性と判定されて、人物領域が群集かつ女性のマスク画像に変更される。
以上のように第３実施形態では、人物画像解析部３２の人物属性判定部４０において、人物領域の人物属性を判定し、マスク画像設定部３５において、領域状態および人物属性に対応したマスク画像を設定し、映像出力制御部３４において、人物領域を領域状態および人物属性に対応したマスク画像に変更した出力映像を生成して出力するようにしており、人物属性別、例えば男性と女性とで別のマスク画像が表示されることから、マスク画像により人物領域の人物属性を簡単に把握することができるため、人物属性ごとに人物の行動を把握する作業をユーザが効率的に行うことができる。
なお、この第３実施形態では、人物属性を性別のみで分類したが、年齢（世代）、人種、大人および子供、職業（ＯＬやサラリーマン）などの他の人物属性で分類するようにしてもよく、さらに、複数種類の人物属性を組み合わせて分類するようにしてもよい。また、群集のマスク画像の人物属性として、主とする属性（男性または女性）でマスク画像を設定するようにしたが、群集に含まれる複数の属性が均等であるような場合は、属性を混成と判定して別のマスク画像を設定するようにしてもよい。
次に、人物領域の領域状態に関する別例について説明する。図１６、図１７、図１８および図１９は、人物領域の領域状態に関する別例を説明する説明図であり、各図の（Ａ）に元の映像を示し、各図の（Ｂ）に人物領域をマスク画像に変更した映像を示す。
前記の第１〜第３の各実施形態では、領域状態判定部３８において、領域状態として、人物領域が複数の人物により構成される群集と、人物領域が１人の人物により構成される孤立とのいずれであるかを判定する、すなわち、人数が１人および２人以上のいずれであるかによって領域状態を分類して判定するようにしたが、この分類の基準となる人数を変更するようにしてもよい。
図１６は、領域状態分類の基準となる人数を変更した例を示している。この例では、３人以上の場合に領域状態を群集と判定し、２人以下の場合に領域状態を孤立と判定する。この場合、図８に示したように、人物領域を構成する人数を判断する際に、人物矩形の面積と比較される基準面積を、２人分の人物領域の面積に相当する大きさに設定して、領域状態判定を行えばよい。
具体的には、図１６（Ａ），（Ｂ）に示すように、映像では、４人の人物Ｐ２〜Ｐ５が重なり合っており、また、２人の人物Ｐ６，Ｐ７が重なり合っている。このうち、４人の人物Ｐ２〜Ｐ５で構成される人物領域では、領域状態が群集と判定されて、群集のマスク画像に変更されるが、２人の人物Ｐ６，Ｐ７で構成される人物領域では、領域状態が孤立と判定されて、孤立のマスク画像に変更される。
ここで、２人の人物により構成される人物領域では、マスク画像で表される人物が１人か２人かは容易に判別することができるため、人物の状態や動きをある程度把握することができる。このため、人物の状態や動きを把握する用途で孤立のマスク画像を強調表示させる場合に、１人の人物により構成される人物領域とともに、２人の人物により構成される人物領域も孤立とすると、より多くの人物のマスク画像が強調表示されて、より多くの人物の状態や動きを把握することができる。
また、２人の人物がすれ違う場合のように、２人の人物が重なり合う事象は頻繁に発生し、１人の人物により構成される人物領域のみを孤立とすると、映像を再生する際にマスク画像が頻繁に変化して見にくくなるが、２人の人物により構成される人物領域も孤立とすると、マスク画像が頻繁に変化することを避けることができる。
なお、本実施形態では、人物領域を構成する人物の人数に応じて、人物領域の領域状態を２つに分類するようにしたが、人物領域の領域状態を３つ以上に分類するようにしてもよい。
図１７は、人物相互の距離に応じて領域状態を分類した例を示している。この例では、人物相互の距離が小さい場合には群集と判定し、人物相互の距離が大きい場合には孤立と判定する。すなわち、映像で人物が重なり合うことで１つの人物領域が複数の人物により構成される場合には群集となり、さらに、１人の人物により構成される人物領域でも、近くに別の人物がいる場合には群集となる。また、近くに別の人物がいない場合には孤立となる。
具体的には、図１７（Ａ），（Ｂ）に示すように、２人の人物Ｐ３，Ｐ４は重なり合うことで１つの人物領域を構成しているため、群集のマスク画像に変更される。また、人物Ｐ２は単独で人物領域を構成しているが、近くに別の人物Ｐ３，Ｐ４がいるため、群集のマスク画像に変更される。同様に、人物Ｐ６，Ｐ７はそれぞれ単独で人物領域を構成しているが、互いに近接しているため、群集のマスク画像に変更される。一方、人物Ｐ１，Ｐ５は近くに別の人物がいないため、孤立のマスク画像に変更される。
このように、人物相互の距離に応じて領域状態を分類するようにすると、店舗内における混雑状態、すなわち混雑しているエリアと閑散としているエリアとを一目で判別することができる。
この場合、人物領域の中心間の距離で領域状態を判定すればよい。すなわち、人物の位置（人物枠の中心位置）から人物相互の距離を求めて、この人物相互の距離を基準距離と比較し、人物相互の距離が所定の基準距離未満であれば群集と判定し、人物相互の距離が所定の基準距離以上であれば孤立と判定する。この場合、映像上の位置に応じて１人分の人物領域の大きさが異なるため、映像上の位置（例えばＹ座標値）に応じた基準距離を設定するようにするとよい。
さらに、図１７における人物Ｐ３，Ｐ４のように映像で人物が重なり合うことで１つの人物領域を構成している場合と、人物Ｐ２，Ｐ６，Ｐ７のように近くに別の人物が存在する場合と、人物Ｐ１，Ｐ５のように近くに別の人物がいない場合との３つに領域状態を分類するようにしてもよい。これにより、店舗内における混雑状態をより詳しく把握することができる。
また、前記の第１〜第３の各実施形態および別例では、領域状態を、人物領域を構成する人物の人数の大小に応じて分類するようにしたが、このような人数に基づいて領域状態を分類する他に、種々の人物の状態で領域状態を分類することができる。
図１８は、人物の動きの有無に応じて領域状態を分類した例である。この例では、静止または動きが殆どない人物で構成される人物領域を、「動きなし」の領域状態とし、動きがある人物で構成される人物領域を、「動きあり」の領域状態として、人物の動きの有無に応じて異なるマスク画像が設定される。
具体的には、図１８（Ａ），（Ｂ）に示すように、人物Ｐ１，Ｐ３，Ｐ４は、陳列棚の前で立ち止まって品定めをしているため、静止または動きが殆どないので、領域状態が「動きなし」と判定されて、「動きなし」のマスク画像に変更される。一方、人物Ｐ２，Ｐ５，Ｐ６は、商品を探して歩き回っている、またレジカウンタや出口に向かっているため、動きがあるので、領域状態が「動きあり」と判定されて、「動きあり」のマスク画像に変更される。
このように、人物の動きの有無に応じて領域状態を分類すると、マスク画像により動きのある人物と動きのない人物とを一目で判別することができる。また、映像を再生した際のマスク画像の変化状況から、店舗内において人物の動きが小さくなるエリアと人物の動きが大きくなるエリアとを容易に識別することができる。
この場合、人物追跡部３９での追跡結果、すなわち人物ごとの各フレーム（時刻）での位置情報に基づいて人物の動きの有無を判定すればよい。
なお、この例では、人物に動きがあるか否かで２つに領域状態を分類するようにしたが、人物の動きの程度で領域状態を３つ以上に分類するようにしてもよい。
図１９は、人物の移動方向に応じて領域状態を分類する例である。この例では、動きのある人物のうち、カメラ１から見て手前側から奥側に移動する人物で構成される人物領域を、「奥側に移動」の領域状態とし、奥側から手前側に移動する人物で構成される人物領域を、「手前側に移動」の領域状態として、人物の移動方向に応じて異なるマスク画像が設定される。
具体的には、図１９（Ａ），（Ｂ）に示すように、人物Ｐ５は手前側から奥側に移動しているため、領域状態が「奥側に移動」と判定されて、「奥側に移動」のマスク画像に変更される。一方、人物Ｐ２，Ｐ６は奥側から手前側に移動しているため、領域状態が「手前側に移動」と判定されて、「手前側に移動」のマスク画像に変更される。人物Ｐ１，Ｐ３，Ｐ４は静止しているため、領域状態が「動きなし」と判定されて、「動きなし」のマスク画像に変更される。
このように、人物の移動方向に応じて領域状態を分類すると、マスク画像により人物の移動方向を一目で判別することができる。また、映像を再生した際のマスク画像の変化状況から、店舗内における人物の流れを容易に把握することができる。
この場合、人物追跡部３９での追跡結果、すなわち人物ごとの各フレーム（時刻）での位置情報に基づいて移動方向を判定すればよい。
以上のように、人物の動きの有無や移動方向に応じて領域状態を分類することができるが、この他に、人物の顔の向きに応じて領域状態を分類するようにしてもよい。人物の顔の向きは、公知の人物認識技術を用いて取得することができ、人物の顔の向きに応じて領域状態を分類すると、マスク画像により商品に対する顧客の関心度などを把握することができる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係るモニタリング装置、モニタリングシステムおよびモニタリング方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
例えば、前記の各実施形態では、コンビニエンスストアなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗に適用することも可能である。さらに、店舗以外の監視エリアを対象とした用途も可能である。
また、前記の各実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。
また、前記の各実施形態では、背景画像上に人物ごとのマスク画像を重畳した出力映像を生成するようにしたが、マスク画像のみを表示させ、背景画像を表示させない構成も可能である。
また、前記の各実施形態では、必要な設定事項をプルダウンメニューやタイルメニューの選択により入力するようにしたが、これに限定されるものではなく、適宜な入力部を画面に設ければよく、ラジオボタンなどで選択するようにしたり、数値を直接入力することができるようにしたりしてもよい。
また、前記の各実施形態では、それぞれに特徴のある種々の構成を示したが、これらの構成は、各実施形態で示した組み合わせに限定されるものではなく、各実施形態で別々に示した構成を適宜に組み合わせることも可能である。
また、前記の各実施形態では、モニタリングに必要な処理を、店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ２１に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置でモニタリングシステムが構成される。
このような構成では、モニタリングに必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、店舗に設けられたＰＣ３に行わせるようにするとよい。このように構成すると、残りの処理で必要となる情報のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
また、モニタリングに必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、クラウドコンピュータ２１に行わせるようにしてもよい。このように構成すると、残りの処理は演算量が小さくて済むため、店舗などのユーザ側に高速な情報処理装置が不要となり、ユーザが負担するコストを軽減することができる。
また、クラウドコンピュータ２１に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも映像出力制御処理をクラウドコンピュータ２１に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン２２やタブレット端末２３などの携帯型端末でも映像を表示させることができるようになり、これにより店舗や本部の他に外出先などの任意の場所で店舗内の状況を確認することができる。
また、本実施形態では、店舗に設置されたＰＣ３にモニタリングに必要な処理を行わせるとともに、ＰＣ３のモニタ４にモニタリング画面やマスク画像設定画面を表示させて、ＰＣ３で必要な入力および出力を行うようにしたが、モニタリングに必要な処理を行う情報処理装置とは別の情報処理装置、例えば本部に設置されたＰＣ１１やタブレット端末２３などの携帯型端末で必要な入力および出力を行うようにしてもよい。
また、近年、モニタとして高画質化を追及した４Ｋテレビなどが開発されており、このような４Ｋテレビに対応したカメラを採用することで、人物の識別性能を高めることができ、人物が多数存在するような環境下でも、ユーザはマスク再生映像から人物の行動を容易に把握することができる。
本発明にかかるモニタリング装置、モニタリングシステムおよびモニタリング方法は、監視エリアの映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる効果を有し、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置、モニタリングシステムおよびモニタリング方法などとして有用である。
１ カメラ
２ レコーダ
３ ＰＣ
４ モニタ
６ 入力デバイス
１２ モニタ
２１ クラウドコンピュータ
２２ スマートフォン
２３ タブレット端末
３２ 人物画像解析部
３３ 背景画像処理部
３４ 映像出力制御部
３５ マスク画像設定部
３７ 人物検出部
３８ 領域状態判定部
３９ 人物追跡部
４０ 人物属性判定部
本発明のモニタリング装置は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域を構成する人物の人数に応じて分類される領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
また、本発明のモニタリングシステムは、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域を構成する人物の人数に応じて分類される領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
また、本発明のモニタリング方法は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する処理、および前記位置情報に基づき、前記人物領域を構成する人物の人数に応じて分類される領域状態を判定する処理を実行するステップと、前記領域状態に対応した前記マスク画像を設定するステップと、前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力するステップと、を有する構成とする。
本発明によれば、人物領域を構成する人物の人数に応じて分類される領域状態に対応したマスク画像が表示され、このマスク画像により、人物領域における人物の状態を簡単に把握することができるため、映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる。
前記課題を解決するためになされた第１の発明は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域を構成する人物の人数に応じて分類される領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
これによると、人物領域を構成する人物の人数に応じて分類される領域状態に対応したマスク画像が表示され、このマスク画像により、人物領域における人物の状態を簡単に把握することができるため、映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる。
また、第２の発明は、前記領域状態判定部は、前記領域状態として、複数の人物により構成される群集と、１人の人物により構成される孤立とのいずれであるかを判定する構成とする。
また、第３の発明は、前記マスク画像設定部は、前記領域状態に対応した前記マスク画像を選択するユーザの入力操作に応じて、前記領域状態に対応した前記マスク画像を設定する構成とする。
また、第４の発明は、前記人物画像解析部は、前記人物領域の人物属性を判定する人物属性判定部をさらに有し、前記マスク画像設定部は、前記領域状態および前記人物属性に対応した前記マスク画像を設定し、前記映像出力制御部は、前記人物領域を前記領域状態および前記人物属性に対応した前記マスク画像に変更した前記出力映像を生成して出力する構成とする。
また、第５の発明は、前記マスク画像は、前記領域状態に応じて、色、濃淡、パターン、および輪郭線の少なくともいずれかの表示要素を変更することで、前記領域状態を識別可能にした構成とする。
また、第６の発明は、前記撮影映像から背景画像を生成する背景画像処理部をさらに備え、前記映像出力制御部は、前記背景画像上に透過性の前記マスク画像を重畳した前記出力映像を生成する構成とする。
また、第７の発明は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域を構成する人物の人数に応じて分類される領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
また、第８の発明は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する処理、および前記位置情報に基づき、前記人物領域を構成する人物の人数に応じて分類される領域状態を判定する処理を実行するステップと、前記領域状態に対応した前記マスク画像を設定するステップと、前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力するステップと、を有する構成とする。

Claims (9)

  1. 監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置であって、
    前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する領域状態判定部を有する人物画像解析部と、
    前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、
    前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、
    を備えたことを特徴とするモニタリング装置。
  2. 前記領域状態は、前記人物領域を構成する人物の人数に応じて分類されていることを特徴とする請求項１に記載のモニタリング装置。
  3. 前記領域状態判定部は、前記領域状態として、複数の人物により構成される群集と、１人の人物により構成される孤立とのいずれであるかを判定することを特徴とする請求項２に記載のモニタリング装置。
  4. 前記マスク画像設定部は、前記領域状態に対応した前記マスク画像を選択するユーザの入力操作に応じて、前記領域状態に対応した前記マスク画像を設定することを特徴とする請求項１から請求項３のいずれかに記載のモニタリング装置。
  5. 前記人物画像解析部は、前記人物領域の人物属性を判定する人物属性判定部をさらに有し、
    前記マスク画像設定部は、前記領域状態および前記人物属性に対応した前記マスク画像を設定し、
    前記映像出力制御部は、前記人物領域を前記領域状態および前記人物属性に対応した前記マスク画像に変更した前記出力映像を生成して出力することを特徴とする請求項１から請求項４のいずれかに記載のモニタリング装置。
  6. 前記マスク画像は、前記領域状態に応じて、色、濃淡、パターン、および輪郭線の少なくともいずれかの表示要素を変更することで、前記領域状態を識別可能にしたことを特徴とする請求項１から請求項５のいずれかに記載のモニタリング装置。
  7. 前記撮影映像から背景画像を生成する背景画像処理部をさらに備え、
    前記映像出力制御部は、前記背景画像上に透過性の前記マスク画像を重畳した前記出力映像を生成することを特徴とする請求項１から請求項６のいずれかに記載のモニタリング装置。
  8. 監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリングシステムであって、
    監視エリアを撮影するカメラと、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記カメラによる撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する領域状態判定部を有する人物画像解析部と、
    前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、
    前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、
    を備えたことを特徴とするモニタリングシステム。
  9. 監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、
    前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する処理、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する処理を実行するステップと、
    前記領域状態に対応した前記マスク画像を設定するステップと、
    前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力するステップと、
    を有することを特徴とするモニタリング方法。
JP2014106705A 2014-05-23 2014-05-23 モニタリング装置、モニタリングシステムおよびモニタリング方法 Active JP5707562B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014106705A JP5707562B1 (ja) 2014-05-23 2014-05-23 モニタリング装置、モニタリングシステムおよびモニタリング方法
DE102015209138.4A DE102015209138A1 (de) 2014-05-23 2015-05-19 Überwachungsvorrichtung, Überwachungssystem und Überwachungsverfahren
US14/717,198 US9202112B1 (en) 2014-05-23 2015-05-20 Monitoring device, monitoring system, and monitoring method
GB1508644.0A GB2528554B (en) 2014-05-23 2015-05-20 Monitoring device, monitoring system, and monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014106705A JP5707562B1 (ja) 2014-05-23 2014-05-23 モニタリング装置、モニタリングシステムおよびモニタリング方法

Publications (2)

Publication Number Publication Date
JP5707562B1 JP5707562B1 (ja) 2015-04-30
JP2015222881A true JP2015222881A (ja) 2015-12-10

Family

ID=53277136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014106705A Active JP5707562B1 (ja) 2014-05-23 2014-05-23 モニタリング装置、モニタリングシステムおよびモニタリング方法

Country Status (4)

Country Link
US (1) US9202112B1 (ja)
JP (1) JP5707562B1 (ja)
DE (1) DE102015209138A1 (ja)
GB (1) GB2528554B (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017163955A1 (ja) 2016-03-23 2017-09-28 日本電気株式会社 監視システム、画像処理装置、画像処理方法およびプログラム記録媒体
JP2017188771A (ja) * 2016-04-05 2017-10-12 株式会社東芝 撮影システムおよび画像や映像の表示方法
JP2017204825A (ja) * 2016-05-13 2017-11-16 パナソニックＩｐマネジメント株式会社 カメラシステム及びカメラ装置
JP2017212647A (ja) * 2016-05-26 2017-11-30 パナソニックＩｐマネジメント株式会社 座席モニタリング装置、座席モニタリングシステムおよび座席モニタリング方法
JP6261815B1 (ja) * 2016-07-14 2018-01-17 三菱電機株式会社 群集監視装置、および、群集監視システム
JP2018137730A (ja) * 2016-12-20 2018-08-30 アクシス アーベー プライバシーマスクされた画像を符号化すること
EP3486872A1 (en) 2017-11-15 2019-05-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
CN109801252A (zh) * 2019-01-30 2019-05-24 北京金山安全软件有限公司 图片处理方法、装置和电子设备
JP2019197353A (ja) * 2018-05-09 2019-11-14 コニカミノルタ株式会社 属性決定装置、属性決定システムおよび属性決定方法
JP2020016968A (ja) * 2018-07-24 2020-01-30 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
JP2020141212A (ja) * 2019-02-27 2020-09-03 沖電気工業株式会社 画像処理システム、画像処理装置、画像処理プログラム、画像処理方法、及び表示装置
WO2021192183A1 (ja) * 2020-03-26 2021-09-30 日本電気株式会社 配置方法
WO2021220814A1 (ja) * 2020-04-28 2021-11-04 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7017217B1 (ja) 2021-08-12 2022-02-08 株式会社アジラ 対象追跡装置
JP7538025B2 (ja) 2020-12-17 2024-08-21 トヨタ自動車株式会社 移動体

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10083409B2 (en) * 2014-02-14 2018-09-25 Bby Solutions, Inc. Wireless customer and labor management optimization in retail settings
US9609385B2 (en) 2014-08-28 2017-03-28 The Nielsen Company (Us), Llc Methods and apparatus to detect people
JP2017058811A (ja) * 2015-09-15 2017-03-23 株式会社リコー 表示装置、表示システム、及びプログラム
KR102076531B1 (ko) * 2015-10-27 2020-02-12 한국전자통신연구원 멀티 센서 기반 위치 추적 시스템 및 방법
JP6504364B2 (ja) * 2015-11-27 2019-04-24 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
EP3457358A4 (en) * 2016-05-13 2019-11-20 Hitachi, Ltd. OVERLOAD ANALYSIS DEVICE, OVERLOAD ANALYSIS PROCEDURE AND OVERLOAD ANALYSIS PROGRAM
US10262517B2 (en) * 2016-06-14 2019-04-16 Board Of Trustees Of The University Of Arkansas Real-time awareness of environmental hazards for fall prevention
DE102017109106B4 (de) 2016-06-20 2018-08-23 Panasonic Intellectual Property Management Co., Ltd. Überwachungssystem und Videoanzeigeverfahren
JP6702506B2 (ja) * 2017-09-28 2020-06-03 京セラドキュメントソリューションズ株式会社 監視端末装置及び表示処理方法
JP7071086B2 (ja) * 2017-10-13 2022-05-18 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
TWI637354B (zh) * 2017-10-23 2018-10-01 緯創資通股份有限公司 判斷使用者之姿勢之影像偵測方法以及影像偵測裝置
US10929561B2 (en) * 2017-11-06 2021-02-23 Microsoft Technology Licensing, Llc Removing personally identifiable data before transmission from a device
US10574890B2 (en) 2018-01-12 2020-02-25 Movidius Ltd. Methods and apparatus to operate a mobile camera for low-power usage
US10915995B2 (en) * 2018-09-24 2021-02-09 Movidius Ltd. Methods and apparatus to generate masked images based on selective privacy and/or location tracking
US11055861B2 (en) 2019-07-01 2021-07-06 Sas Institute Inc. Discrete event simulation with sequential decision making
CN111447417A (zh) * 2020-04-29 2020-07-24 叶博航 一种电气工程自动化的安全监控系统
US20230300296A1 (en) * 2020-06-10 2023-09-21 Maxell, Ltd. Watching monitoring device and watching monitoring method
EP4036777A1 (de) 2021-01-29 2022-08-03 Daniel Nikola Vorrichtung und verfahren zur erhebung wenigstens eines bildes unter wahrung der anonymität einer jeweils erfassten person

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3082381B2 (ja) 1991-11-30 2000-08-28 ソニー株式会社 ディスク原盤裏面研磨装置
US6400830B1 (en) * 1998-02-06 2002-06-04 Compaq Computer Corporation Technique for tracking objects through a series of images
US6567116B1 (en) * 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
EP1859411B1 (en) * 2005-03-17 2010-11-03 BRITISH TELECOMMUNICATIONS public limited company Tracking objects in a video sequence
JP5159381B2 (ja) 2008-03-19 2013-03-06 セコム株式会社 画像配信システム
US20110187703A1 (en) * 2010-01-29 2011-08-04 Kedar Anil Patwardhan Method and system for object tracking using appearance model
US20130027561A1 (en) 2011-07-29 2013-01-31 Panasonic Corporation System and method for improving site operations by detecting abnormalities
US20130030875A1 (en) 2011-07-29 2013-01-31 Panasonic Corporation System and method for site abnormality recording and notification
JP6007523B2 (ja) 2012-03-09 2016-10-12 富士通株式会社 生成装置、生成プログラムおよび生成方法
KR101749099B1 (ko) * 2012-04-25 2017-07-04 한국전자통신연구원 영상에서의 객체 추적 방법, 장치 및 이를 컴퓨터 상에서 수행하는 프로그램이 기록된 기록 매체
JP5597762B1 (ja) 2013-12-27 2014-10-01 パナソニック株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
US9693023B2 (en) * 2014-02-05 2017-06-27 Panasonic Intellectual Property Management Co., Ltd. Monitoring apparatus, monitoring system, and monitoring method

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017163955A1 (ja) 2016-03-23 2017-09-28 日本電気株式会社 監視システム、画像処理装置、画像処理方法およびプログラム記録媒体
US11030464B2 (en) 2016-03-23 2021-06-08 Nec Corporation Privacy processing based on person region depth
JP2017188771A (ja) * 2016-04-05 2017-10-12 株式会社東芝 撮影システムおよび画像や映像の表示方法
JP2017204825A (ja) * 2016-05-13 2017-11-16 パナソニックＩｐマネジメント株式会社 カメラシステム及びカメラ装置
JP2017212647A (ja) * 2016-05-26 2017-11-30 パナソニックＩｐマネジメント株式会社 座席モニタリング装置、座席モニタリングシステムおよび座席モニタリング方法
JP6261815B1 (ja) * 2016-07-14 2018-01-17 三菱電機株式会社 群集監視装置、および、群集監視システム
CN109479117A (zh) * 2016-07-14 2019-03-15 三菱电机株式会社 群集监视装置和群集监视系统
WO2018011944A1 (ja) * 2016-07-14 2018-01-18 三菱電機株式会社 群集監視装置、および、群集監視システム
JP2018137730A (ja) * 2016-12-20 2018-08-30 アクシス アーベー プライバシーマスクされた画像を符号化すること
JP7057651B2 (ja) 2016-12-20 2022-04-20 アクシス アーベー プライバシーマスクされた画像を符号化すること
EP3486872A1 (en) 2017-11-15 2019-05-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
US10839521B2 (en) 2017-11-15 2020-11-17 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable storage medium
JP2019197353A (ja) * 2018-05-09 2019-11-14 コニカミノルタ株式会社 属性決定装置、属性決定システムおよび属性決定方法
JP7336835B2 (ja) 2018-05-09 2023-09-01 コニカミノルタ株式会社 属性決定装置、属性決定システムおよび属性決定方法
JP2020016968A (ja) * 2018-07-24 2020-01-30 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
JP7143661B2 (ja) 2018-07-24 2022-09-29 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
CN109801252A (zh) * 2019-01-30 2019-05-24 北京金山安全软件有限公司 图片处理方法、装置和电子设备
JP2020141212A (ja) * 2019-02-27 2020-09-03 沖電気工業株式会社 画像処理システム、画像処理装置、画像処理プログラム、画像処理方法、及び表示装置
JPWO2021192183A1 (ja) * 2020-03-26 2021-09-30
WO2021192183A1 (ja) * 2020-03-26 2021-09-30 日本電気株式会社 配置方法
JP7424471B2 (ja) 2020-03-26 2024-01-30 日本電気株式会社 配置方法
WO2021220814A1 (ja) * 2020-04-28 2021-11-04 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7538025B2 (ja) 2020-12-17 2024-08-21 トヨタ自動車株式会社 移動体
JP7017217B1 (ja) 2021-08-12 2022-02-08 株式会社アジラ 対象追跡装置
JP2023026003A (ja) * 2021-08-12 2023-02-24 株式会社アジラ 対象追跡装置

Also Published As

Publication number Publication date
GB201508644D0 (en) 2015-07-01
GB2528554A (en) 2016-01-27
JP5707562B1 (ja) 2015-04-30
US9202112B1 (en) 2015-12-01
DE102015209138A1 (de) 2015-11-26
GB2528554B (en) 2021-03-03
US20150339519A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
JP5707562B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
US10178356B2 (en) Monitoring apparatus, and moving image output method
JP5834193B2 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5866564B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5834196B2 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP6256885B2 (ja) 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
JP5707561B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
US10304032B2 (en) Product monitoring device, product monitoring system, and product monitoring method
US10546199B2 (en) Person counting area setting method, person counting area setting program, moving line analysis system, camera device, and person counting program
US9870684B2 (en) Information processing apparatus, information processing method, program, and information processing system for achieving a surveillance camera system
WO2018008575A1 (ja) 不審者検出装置、不審者検出方法およびプログラム
US10235574B2 (en) Image-capturing device, recording device, and video output control device
CN105210144B (zh) 显示控制装置、显示控制方法和记录介质
CN105723703B (zh) 监控装置、监控系统以及监控方法
US20180330591A1 (en) Protection of privacy in video monitoring systems
US10410333B2 (en) Product monitoring device, product monitoring system, and product monitoring method
US20160328627A1 (en) Imaging device, recording device, and moving image output control device
JP6852293B2 (ja) 画像処理システム、情報処理装置、情報端末、プログラム
US11323495B2 (en) Sharing computer application activities
JP2016015579A (ja) 情報処理装置、情報処理方法及びプログラム
JP2015099603A (ja) 画像表示システム
JP6508482B2 (ja) 活動状況分析システムおよび活動状況分析方法
KR20140066560A (ko) 영상 감시장치에서 객체영역을 설정하는 방법 및 이를 위한 장치
JP6515975B2 (ja) モバイル監視装置、モバイル監視システム、プログラム、及び制御方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141209

R151 Written notification of patent or utility model registration

Ref document number: 5707562

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151