JP2013168757A - 映像監視装置、監視システム、監視システム構築方法 - Google Patents

映像監視装置、監視システム、監視システム構築方法 Download PDF

Info

Publication number
JP2013168757A
JP2013168757A JP2012030098A JP2012030098A JP2013168757A JP 2013168757 A JP2013168757 A JP 2013168757A JP 2012030098 A JP2012030098 A JP 2012030098A JP 2012030098 A JP2012030098 A JP 2012030098A JP 2013168757 A JP2013168757 A JP 2013168757A
Authority
JP
Japan
Prior art keywords
gaze
camera
monitoring
target
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012030098A
Other languages
English (en)
Other versions
JP5891061B2 (ja
Inventor
Kenichi Yoneshi
健一 米司
Tomoaki Yoshinaga
智明 吉永
Daisuke Matsubara
大輔 松原
Tatsuhiko Kagehiro
達彦 影広
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2012030098A priority Critical patent/JP5891061B2/ja
Priority to CN201210566821.2A priority patent/CN103260009B/zh
Priority to EP13152008.2A priority patent/EP2629517B1/en
Priority to US13/748,231 priority patent/US9241138B2/en
Publication of JP2013168757A publication Critical patent/JP2013168757A/ja
Application granted granted Critical
Publication of JP5891061B2 publication Critical patent/JP5891061B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • G08B13/19643Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】監視対象についての情報を的確に収集する映像監視技術を提供する。
【解決手段】本発明に係る映像監視装置は、監視領域を撮影する俯瞰カメラからの映像を受信して監視対象の位置情報を検出し、俯瞰カメラが撮影する領域よりも狭い領域を注視して撮影する注視カメラの映像から監視対象の特徴を表すイベント情報を検出し、位置情報とイベント情報から追跡情報を得て、検出した位置情報とイベント情報、および監視対象の追跡情報を用いて注視カメラの注視対象を切り替える。
【選択図】図2

Description

本発明は、映像を用いて監視対象を監視する技術に関する。
近年、凶悪犯罪が増加し、セキュリティの意識が向上している。これに伴い、店舗、空港などの人が集まる場所に、多くの監視カメラが設置されている。これらの監視カメラによって撮影された映像情報は、監視レコーダなどの蓄積装置に格納され、必要に応じて閲覧される。
下記特許文献1〜2には、複数の監視カメラを用いた監視システムが記載されている。これら文献においては、監視対象の詳細情報を得るために、ある程度視野角の広いカメラで撮影した映像をもとに、視野角は狭いが詳細が撮影できるカメラを操作して特定の対象を追跡しながら詳細を撮影する。
特開平08−265741号公報 特開2006−081125号公報
複数の監視カメラを備える監視システムにおいては、監視者についてより多くの情報を提供することが望まれる。しかし、従来の監視システムにおいては、監視カメラが注視する対象は固定であり、複数カメラ間で注視対象を切り替えてはいないため、提示される情報に重複が生じてしまう可能性がある。また、特定対象を追跡する際においても、追跡中に別の対象を注視する様な切り替え処理を実施していないため、他に注視したい対象があったとしてもカメラの注視対象を切り替えることができず、有効に情報を提示できない場合がある。
本発明は、上記のような課題を解決するためになされたものであり、監視対象についての情報を的確に収集する映像監視技術を提供することを目的とする。
本発明に係る映像監視装置は、俯瞰カメラからの映像と注視カメラからの映像に基づき監視対象を追跡し、監視対象の位置、イベント情報、および監視対象の追跡情報に基づき注視カメラの注視対象を切り替える。
本発明に係る映像監視装置によれば、監視対象の状況変化に応じて注視対象を好適に切り替えることができる。
実施形態1に係る監視システムが監視対象とする監視領域の模式図である。 実施形態1に係る監視システムが備える映像監視装置200の機能ブロック図である。 俯瞰カメラ映像解析部202の構成例を示す機能ブロック図である。 注視カメラ映像解析部205の構成例を示す機能ブロック図である。 情報統合解析部207の構成例を示す機能ブロック図である。 注視カメラ制御信号生成部209の構成例を示す機能ブロック図である。 注視対象決定部2096が注視カメラ103の注視対象を決定する際に用いる注視対象候補別点数表700の例を示す図である。 注視カメラ制御信号生成部209の処理フロー図である。 情報統合解析部207が生成するモニタ映像211の例を示す図である。 モニタ映像211を生成するための機能ブロック図である。 画像変形統合部1002の構成例を示す機能ブロック図である。 実施形態1に係る監視システムの構成例を示す図である。 実施形態2に係る映像監視装置200の機能ブロック図である。 ある監視対象領域を上方から見た地図と、各監視カメラの配置例を示した図である。 図14で説明した俯瞰カメラ102の配置決定処理の流れを説明するフローチャートである。 図14で説明した注視カメラの配置決定処理の流れについて説明するフローチャートである。 画像重畳部1008の構成例を示す機能ブロック図である。 実施形態5における注視カメラ映像解析部205の構成例を示す機能ブロック図である。 実施形態5における注視対象候補別点数表700の例を示す図である。 実施形態6における注視カメラ制御信号生成部209の構成例を示す機能ブロック図である。 実施形態6における注視対象候補別点数表700の例を示す図である。
<実施の形態1>
図1は、本発明の実施形態1に係る監視システムが監視対象とする監視領域の模式図である。図1において、監視領域内に存在する監視対象101は、俯瞰カメラ102と注視カメラ103によって監視されている。
俯瞰カメラ102は、監視領域を広範に(例えば監視領域全体)映す様に配置されたカメラであり、領域全体を俯瞰した映像を撮影することができる。俯瞰カメラ102は、例えば屋内であれば、部屋の中心等の死角の少ない地点の天井に床へ向けて設置されたカメラである。なるべく広い領域を俯瞰するために、例えば魚眼カメラや広角カメラといった、視野角の広いカメラを用いる。また屋外においては天井が存在しないため、建物の上部付近から監視領域である道路等の全体が映る様にカメラを設置する。
注視カメラ103は、監視対象101の顔や服装といった詳細情報を重点的に撮影するために配置されたカメラである。注視カメラ103は、カメラの俯角や向きや倍率を操作できるカメラであり、その視点を自由に変更することができる。注視カメラ103が撮影する範囲は、俯瞰カメラ102が撮影する範囲よりも狭いのが一般的であるが、個々のカメラの性能等によっては必ずしもこの限りでない。
本実施形態1に係る監視システムでは、俯瞰カメラ102を用いて監視領域全体の状況を把握し、監視対象の位置情報を検出する。次にこの位置情報を用いて注視カメラ103を制御することにより、監視対象の詳細情報を得る。俯瞰カメラ102から得られる位置情報を用いて注視カメラ103を制御することにより、効果的に監視対象の情報を得ることができる。
図2は、本実施形態1に係る監視システムが備える映像監視装置200の機能ブロック図である。映像監視装置200は、俯瞰カメラ映像解析部202、注視カメラ映像解析部205、情報統合解析部207、注視カメラ制御信号生成部209を備える。
俯瞰カメラ映像解析部202は、俯瞰カメラ102が撮影した映像201を受け取る。俯瞰カメラ102が複数存在する場合は、各俯瞰カメラ102が撮影した映像をそれぞれ受け取る。俯瞰カメラ映像解析部202は、入力された映像201に基づき監視対象101の位置情報203を検出する。位置情報203は、監視領域内において監視対象101が存在する場所や、特定の監視したい物体の場所の座標情報などを示す。
注視カメラ映像解析部205は、注視カメラ103が撮影した映像204を受け取る。注視カメラ103が複数存在する場合は、注視カメラ103が撮影した映像をそれぞれ受け取る。注視カメラ映像解析部205は、映像204から監視対象101の特徴を示すイベント情報206を検出する。ここでいうイベント情報206とは、例えば監視対象101が人間であれば、その人間の動きや顔など、監視対象101を特徴付ける情報である。具体的にどのような情報をイベント情報206として検出するかは、監視システムの目的によって個別に設定すればよい。
情報統合解析部207は、位置情報203とイベント情報206を受け取り、これらに基づき監視対象101の追跡情報208を算出する。追跡情報208とは、監視対象101を時刻毎に対応付けし、管理番号等でひも付けした情報等を意味する。例えば、特定の人物を監視対象101として追跡する場合には、その人物の位置、顔画像情報、移動軌跡等をひとまとめにした情報を追跡情報208とする。人物の位置や移動軌跡は、実世界上で統一の座標(以下実世界座標)によって表現する。情報統合解析部207は、1つの特定の対象を追跡してもよいし、複数の対象を追跡してもよい。例えば1つの特定の不審人物のみを検出し、追跡する場合には、その特定人物の追跡情報208のみを算出すればよい。一方で特定の部屋に侵入した対象を全員追跡したい場合には、複数人物の追跡情報208を算出するようにする。
情報統合解析部207は、追跡情報208の他、後述する監視モニタ上で表示するモニタ映像211を生成する。
注視カメラ制御信号生成部209は、位置情報203、イベント情報206、追跡情報208を受け取る。注視カメラ制御信号生成部209は、入力された位置情報203、イベント情報206、追跡情報208に基づき、注視カメラ103の俯角や向きや倍率を制御するための制御信号210を生成し、注視カメラ103に送る。制御信号210は、注視カメラ103毎に注視目的を切り替えた信号である。例えば、ある追跡対象を監視したい際に、その追跡対象が視野内に収まっている注視カメラ103が4台あった場合、そのうち1台を顔撮影用にし、1台を人物撮影用とし、残り2台を追跡に必要な情報(服装など)の収集用とする、等の切り替えを実施する。
図3は、俯瞰カメラ映像解析部202の構成例を示す機能ブロック図である。俯瞰カメラ映像解析部202は、カメラ映像蓄積部2021、対象位置検出部2022を備える。
カメラ映像蓄積部2021は、俯瞰カメラ102が撮影した映像201を受け取り、その映像を撮影した俯瞰カメラ102の識別子および撮影時刻と関連付けて蓄積する。
対象位置検出部2022は、蓄積した映像に基づき、監視対象101の位置を検出する。例えば、人の頭部を検出対象とした場合、人物頭部画像をテンプレートとしたテンプレートマッチング処理等を用いることにより、映像内における検出対象の位置を特定できる。特定した位置は映像内の座標位置であるため、これを実世界座標に変換する。この座標変換は、俯瞰カメラ102の設置条件、撮影パラメータ、「頭の大きさは人によって大きく変動しない」等の仮定を用いることにより、容易に実施することができる。監視対象101の位置を検出できる処理であればどのようなものを採用してもよい。また検出する対象は人物に限らず、監視映像内に映る対象であれば、どの物体を検出対象としてもよい。
図4は、注視カメラ映像解析部205の構成例を示す機能ブロック図である。注視カメラ映像解析部205は、カメラ映像蓄積部2051、イベント検出部2052を備える。イベント検出部2052はさらに、監視対象101の特徴をイベント情報206として検出するための機能部を備える。ここでは監視システムの監視目的が人物監視であると仮定し、人物の顔と動きをイベント情報206として検出するため、顔検出処理部20521と動き検出処理部20522を備える例を説明するが、これに限られるものではない。
カメラ映像蓄積部2051は、注視カメラ103が撮影した映像204を受け取り、その映像を撮影した注視カメラ103の識別子および撮影時刻と関連付けて蓄積する。イベント検出部2052は、蓄積した映像に基づき、イベント情報206を検出する。
顔検出処理部20521は、映像204内で顔が映っている領域を検出する。例えば人の顔画像をテンプレートとしたテンプレートマッチング処理等を用いることにより、その領域を検出する。顔検出処理部20521は、検出した領域情報、顔画像、撮影した注視カメラ103の識別子、撮影時刻等をまとめてイベント情報206として出力する。
動き検出処理部20522は、撮影された映像から動きがあった領域を検出する。例えば、同じカメラの1フレーム前の映像と現フレームの映像との間の差分を計算し、差分が大きい領域を動きがあった領域とすることにより、動き領域を検出する。動き検出処理部20522は、検出した領域情報、動きのあった領域の画像、撮影した注視カメラ103の識別子、撮影時刻等をまとめてイベント情報206として出力する。
図5は、情報統合解析部207の構成例を示す機能ブロック図である。情報統合解析部207は、イベント情報蓄積部2071、イベント評価処理部2072、位置情報蓄積部2073、位置情報評価処理部2074、統合評価処理部2075を備える。
イベント情報蓄積部2071は、イベント情報206を受け取って蓄積する。蓄積されたイベント情報206はイベント評価処理部2072に順次入力される。イベント評価処理部2072は、イベント情報206と、追跡中の対象についての情報とを比較することにより、入力されるイベント情報206が、追跡中の対象についてのイベント情報であるかどうかを判定する。例えば追跡中の対象についての顔情報をあらかじめ保持している場合、その顔画像と、入力されるイベント情報206内に含まれる顔画像とを比較し、これらが似ていれば高い評価値を返し、似ていなければ低い評価値を返す。この比較は、例えば顔画像同士の画素値の差分絶対値等を用いて実施することができる。
位置情報蓄積部2073は、位置情報203を受け取って蓄積する。蓄積された位置情報203は位置情報評価処理部2074に順次入力される。位置情報評価処理部2074は、位置情報203と、追跡中の対象の位置情報とを比較する。例えば追跡中の対象の実世界座標と、入力される位置情報203の実世界座標との間の距離が近ければ高い評価値を返す。
イベント評価処理部2072と位置情報評価処理部2074は、ともに追跡用の初期イベント情報および初期位置情報が必要となるが、これらは何らかのトリガー情報をもとに生成すればよい。例えば人物の部屋への侵入をトリガーとし、このトリガーが発生した時に部屋の入口に一番近いところで撮影された顔画像を初期イベント情報とし、部屋の入口の位置情報を初期位置情報とする等の方法を用いる。
統合評価処理部2075は、イベント評価処理部2072によるイベント情報206の評価結果と、位置情報評価処理部2074による位置情報203の評価結果とを用いて、追跡対象の追跡情報208を生成する。例えば、位置情報203の評価結果とイベント情報206の評価結果のうち最大のものに対応する追跡対象の位置を、追跡対象の新しい位置とみなすことができる。この場合、イベント情報206から追跡対象の実世界座標を得る必要がある。例えば顔のサイズは人によって大きく変動しない等の条件を用いることにより、顔の領域情報を実世界座標へ容易に変換することができる。
統合評価処理部2075は、追跡対象が1つの場合でも複数の場合でも同様な処理を実施することができる。追跡対象が複数存在する場合は、全ての追跡対象に対して上記評価処理と統合評価処理を実施することにより、全ての追跡対象の追跡情報を更新することができる。
図6は、注視カメラ制御信号生成部209の構成例を示す機能ブロック図である。注視カメラ制御信号生成部209は、追跡情報蓄積部2091、操作対象カメラ決定部2092、イベント情報蓄積部2093、位置情報蓄積部2094、注視対象決定部2096、操作信号生成部2097を備える。
追跡情報蓄積部2091は、追跡情報203を受け取って蓄積する。操作対象カメラ決定部2092は、蓄積された追跡情報203を読み出し、これに基づき操作対象カメラリスト2095を作成する。例えば、追跡対象の現在位置と操作対象とする注視カメラ103との対応関係をあらかじめ定めておいてもよいし、撮影可能範囲内に追跡対象が存在している注視カメラ103をカメラパラメータに基づき特定し、そのなかからいずれかの注視カメラ103を操作対象としてもよい。
イベント情報206と位置情報203はそれぞれイベント情報蓄積部2093と位置情報蓄積部2094に入力され蓄積される。蓄積された追跡情報208、イベント情報206、位置情報203、および操作対象カメラリスト2095は、注視対象決定部2096に入力される。
注視対象決定部2096は、操作対象カメラリスト2095が指定する各注視カメラ103の注視対象を決定する。例えば、注視カメラ103毎に入力される追跡情報208、イベント情報206、位置情報203に基づき、後述する図7のような注視対象候補別点数表700を用いて、注視対象の候補毎に評価点を算出し、最も評価点の高い候補を注視対象として決定する。詳細は後述する。
操作信号生成部2097は、注視対象決定部2096が決定した注視対象を注視するように、注視カメラ103に対する操作信号を生成する。例えば追跡対象の顔を注視する場合は、追跡対象の世界座標位置に基づき注視カメラ103の向きと倍率を決定し、追跡対象の上半身が映るように注視カメラ103の俯角を決定し、それらの情報を注視カメラ103毎の操作信号に変換して送信する。このとき、注視カメラ103の動作速度を考慮して、追跡対象の移動先に注視カメラ103を向けるようにしてもよい。追跡対象の移動先は、追跡情報208の移動軌跡に基づき線形予測等を用いて予測することができる。
図7は、注視対象決定部2096が注視カメラ103の注視対象を決定する際に用いる注視対象候補別点数表700の例を示す図である。注視対象候補別点数表700は、条件フィールド701と点数フィールド702を有する。
条件フィールド701は、注視カメラ映像解析部205が検出するイベント情報206および注視カメラ映像204に基づき検出することのできるその他の環境情報を列挙するフィールドである。本実施形態1では人物を追跡すると仮定しているので、イベント情報206の例として顔を検知した場合と動きを検知した場合を列挙した。また、注視カメラ映像204に基づき検出することのできる環境情報のうち、注視カメラ103と追跡対象との間の距離は、注視対象を決定する上で重要な情報であるため、本フィールド上で列挙した。さらに注視カメラ103と追跡対象の間に障害物が存在する場合は注視の妨げとなり注視対象を切り替える原因となるので、本フィールド上でその条件を挙げておくこととした。ここでは障害物の例として他の人物が密集している度合いを取り上げたが、これに限られるものではない。
点数フィールド702は、条件フィールド701が記述している条件が、各注視対象候補にとってどの程度望ましいかを表す評価点を記述するフィールドである。評価点が高いほどその注視対象に適していることを表し、その注視対象の優先度が高くなる。ここでは顔注視用評価点フィールド7021、人物注視用評価点フィールド7022、追跡用評価点フィールド7023を例示した。
例えば注視カメラ映像解析部205が顔を検知した場合、その注視カメラ103は顔注視目的に適していると考えられるので、顔注視用評価点フィールド7021の評価点を高く設定している。また、注視カメラ103と追跡対象との間の距離に応じて評価点を増減するようにした。必ずしも注視カメラ103に近いほうが望ましいとは限らず、近すぎると却って撮影しにくい場合もあるので、具体的な評価点は注視対象毎に個別に異なる。注視カメラ103と追跡対象との間に障害物が少ない場合は撮影に適していると思われるので、評価点を加算することとした。
注視対象決定部2096は、点数フィールド702内に記述されている各注視対象候補について、注視カメラ映像204が合致した条件フィールド701に対応する評価点を合計し、その結果に基づき注視対象を決定する。例えば、あらかじめ注視対象の優先順位を決めておき、優先順位の高い注視対象の点数が最も高い注視カメラ103をその注視対象に向くようにし、以降注視対象の優先順に注視対象を決定する。または、各注視カメラ103について選んだ注視対象の点数を合計し、その合計点が最も高くなるような注視対象の組み合わせとなるように、各注視カメラ103の注視対象を決定してもよい。
条件フィールド701の具体的な内容は図7に例示したものに限られず、追跡情報208、イベント情報206、位置情報203から判断できる情報であれば何でもよい。例えば6行目に記載している「カメラと追跡対象間の人物の密集度合いが低い」という条件は、位置情報203に基づき人物の密集度合いを調べ、追跡情報208に基づき注視カメラ103と追跡対象間の密集度合いを得ることにより、当該条件に合致しているか否かを判断することができる。
追跡用評価点フィールド7023は、追跡対象を追跡するための情報を獲得するために注視カメラ103を使うことを想定したフィールドである。このフィールドの点数が高い注視カメラ103を、追跡対象の情報獲得のために用いる。例えば、追跡対象の服装や手荷物の情報を集め、この情報を対象の追跡のために用いることにより、追跡精度を向上させることができる。
図7のテーブルは一例であり、条件フィールド701を変更してもよいし、各点数配分を変更してもよいし、注視対象候補を増やしてもよい。また、注視対象を決定する方法は上述のものに限らず、注視対象を注視カメラ103毎に振り分けることができればどのような方法を用いてもよい。
図8は、注視カメラ制御信号生成部209の処理フロー図である。以下、図8の各ステップについて説明する。
(図8:ステップS801〜S802)
注視カメラ制御信号生成部209は、追跡情報208を取得すると(S801)、全ての注視カメラ103について以下に説明するステップS803〜S804を実施する(S802)。
(図8:ステップS803〜S804)
注視カメラ制御信号生成部209は、注視カメラ103の視野内に追跡対象がいるかどうかを判定する(S803)。追跡対象がいる場合には、操作対象カメラリスト2095にその注視カメラ103の識別子を追加する(S804)。
(図8:ステップS805〜S806)
注視カメラ制御信号生成部209は、操作対象カメラリスト2095に含まれている全ての注視カメラ103について、ステップS806を実施する(S805)。注視カメラ制御信号生成部209は、図7で説明した注視対象候補別点数表700を用いて、注視対象候補毎の点数を評価する。
(図8:ステップS807〜S808)
注視カメラ制御信号生成部209は、ステップS806の評価結果に基づき注視カメラ103毎の注視対象を決定する(S807)。注視カメラ制御信号生成部209は、決定した注視対象を注視するよう指示する制御信号を生成する(S808)。
図9は、情報統合解析部207が生成するモニタ映像211の例を示す図である。頭上視点映像901は、監視領域を上方から映した映像である。複数の俯瞰カメラ102の映像を変形し、つなぎ合わせることによって生成することができる。移動軌跡902は、追跡対象の移動軌跡を頭上視点映像901上の対応する位置にプロットしたものである。詳細映像903は、例えば追跡対象の顔画像などを、頭上視点映像901上の対応する位置に貼り付けた画像である。注視カメラ映像904および注視カメラ映像905は、各注視カメラ103の映像を、頭上視点映像901上においてその注視カメラが設置されている位置に表示した映像である。各監視映像を図9の様に配置することにより、監視者が追跡対象者についての各情報を直感的に取得することができ、監視対象を効率的に監視することができる。
図10は、モニタ映像211を生成するための機能ブロック図である。図10に示す各機能部は、情報統合解析部207内に設けてもよいし、各機能部を別途設けた上で情報統合解析部207は入力情報のみを提供してもよい。さらには、図10に示す各機能部を映像監視装置200とは別の装置として構成してもよい。
画像変形統合部1002は、俯瞰カメラ映像201を受け取る。画像変形統合部1002は、各俯瞰カメラ映像201を変形し、それぞれつなぎ合わせることにより、監視領域を上から見た映像である頭上視点映像901に変換する。このとき、頭上視点映像901上の座標は、実世界座標と関連付けておくことが望ましい。この関連付けは、実世界座標上の座標上の点を頭上視点映像901上の座標上の点に変換する手順と同様に、各座標の原点位置と回転角と倍率を与えることによって実施できる。
イベント情報取得部1004は、イベント情報206を取得する。このとき、実世界座標上の座標を頭上視点映像901上の座標に変換する。またイベント情報206に対応する各イベントを含む画像領域を切り出す。
追跡情報取得部1006は、追跡情報208を取得する。このとき、実世界座標上の追跡位置を頭上視点映像901上の座標に変換する。
画像重畳部1008は、頭上視点映像901上に各種情報を重畳する。例えば、イベント情報206は切り出したイベント画像をそのイベントが発生した座標上に張り付けて表示する。追跡情報208はその追跡座標に点をプロットして表示する。注視カメラ映像204は、その注視カメラ103が設置されている座標上に重ねて表示する。
図11は、画像変形統合部1002の構成例を示す機能ブロック図である。画像変形統合部1002は、必要画像選択部10021、カメラ情報10022、画像変形部10023、画像統合部10024を備える。
カメラ情報10022は、各カメラの設置位置、画角、レンズ歪度合い、焦点距離、各カメラ間の位置関係等のカメラパラメータである。
必要画像選択部10021は、俯瞰カメラ映像201を取得する。必要画像選択部10021は、あらかじめ準備したカメラ情報10022(ここでは各カメラの設置位置や画角)に基づき、変形が必要なカメラ映像を選択する。例えば撮影可能な領域が全く同じカメラがあった場合、その片方を選択する。選択された画像は画像変形部10023に入力される。
画像変形部10023は、カメラ情報10022(ここではレンズ歪度合いや焦点距離)に基づき、入力画像を歪補正した画像に変形する。具体的には、映像中に映っている地面の形状が、地図などの頭上から見た形状と一致するように変形するとよい。変形された画像は画像統合部10024に入力される。
画像統合部10024は、カメラ情報10022(ここでは各カメラ間の位置関係)に基づき、変形された画像を適正な位置まで平行移動した後、各画像間の境界部分において不自然さを低減しながらつなぎ合わせる。このつなぎ合わせ処理としては、下記参考文献1に記載されている様な、パノラマ画像を作成する際に用いられる画像スティッチング手法等を用いればよい。
(参考文献1)A. Zomet, A. Levin, S. Peleg, and Y. Weiss “ Image Stitching by Minimizing False Edges”, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 15, NO. 4, APRIL 2006。
図12は、本実施形態1に係る監視システムの構成例を示す図である。映像監視装置200は、映像蓄積解析サーバ1202および各機能部を実装したソフトウェアとして構成することができる。俯瞰カメラ101と注視カメラ103を含む監視カメラ群は、ネットワーク1204を介して映像蓄積解析サーバ1202に接続される。監視モニタ1203は頭上視点映像901を表示する表示装置であり、ネットワーク1205を介して映像蓄積解析サーバ1202に接続される。
監視カメラ群からの映像はネットワーク1204を通じて映像蓄積解析サーバ1202に入力される。映像蓄積解析サーバ1202は、注視カメラ制御信号210を生成し、ネットワーク1204を通じて注視カメラ103に送信する。頭上視点映像901、イベント情報206、追跡情報208は、ネットワーク1205を通じて監視モニタ1203に送られる。監視モニタ1203は、図9〜図11で説明した処理を実施し、図9のようなモニタ映像211を生成して画面表示する。
図12では、イベント検出処理、画像変形処理を映像蓄積解析サーバ1202内で実施しているが、監視カメラ群の各カメラ内で実施してもよい。またイベント取得処理、追跡情報取得処理、画像重畳処理を監視モニタ1203内で実施しているが、映像蓄積解析サーバ1202内で実施してもよい。
<実施の形態1:まとめ>
以上のように、本実施形態1に係る監視システムは、俯瞰カメラ101が検出した監視対象の位置情報を基に、注視カメラ103の注視対象を切り替える。これにより、監視対象の情報を効率よく収集することができる。
また、本実施形態1に係る監視システムは、俯瞰カメラ映像201と注視カメラ映像204を加工して図9のような頭上視点映像901を生成する。これにより、カメラの台数分の映像を単純に並べて表示する従来の表示方法と比較して、追跡対象の情報が監視カメラの映像毎に分散して表示されることがなく、追跡対象を容易に監視することができる。
<実施の形態2>
図13は、本発明の実施形態2に係る映像監視装置200の機能ブロック図である。本実施形態2では、俯瞰カメラ102と注視カメラ103を映像監視装置200と一体的に構成した。その他の構成は実施形態1と同様であるため、以下では差異点を中心に説明する。
俯瞰カメラ102は、俯瞰カメラ映像取得部1021と俯瞰カメラ映像送信部1022を備える。俯瞰カメラ映像取得部1021は、映像を撮影する。俯瞰カメラ映像送信部1022は、撮影された映像を俯瞰カメラ映像解析部202に送信する。例えばネットワークを介して送信すればよい。
注視カメラ103は、注視カメラ映像取得部1031、注視カメラ映像送信部1032、注視カメラ制御信号受信部1034、注視カメラ制御部1033を備える。注視カメラ映像取得部1031は映像を撮影し、注視カメラ映像送信部1032は撮影した映像を注視カメラ映像解析部205へ送信する。例えばネットワークを介して送信すればよい。
注視カメラ制御信号生成部209は、注視カメラ103に対する制御信号210を出力する。注視カメラ制御信号受信部1034は、制御信号210を受信する。注視カメラ制御部1033は、制御信号210が指定する向き、俯角、倍率に注視カメラ103を動かす。
<実施の形態3>
本発明の実施形態3では、実施形態1〜2で説明した監視システムを構築する方法について、カメラ配置を決定する手順の観点から説明する。その他の実施形態に係る監視システムについても、同様の手順で構築することができる。
図14は、ある監視対象領域を上方から見た地図と、各監視カメラの配置例を示した図である。ここでは監視対象領域を屋内と想定する。以下、図14に示す監視対象領域上に監視カメラを配置する手順を説明する。
監視領域に部屋(所定面積以上の広さを有する空間)があった場合、その部屋の中心に俯瞰カメラを設置する(1401)。効果的に対象を監視したい場合には、室内に2つ以上の注視カメラ103を配置することが望ましい。ここでは部屋の中央に近い地点(1402)および部屋全体が見渡しやすい地点(1403)の2カ所に配置した例を示す。これにより、部屋全体をくまなく見渡すことができ、なおかつ様々な注視対象を監視できる。
廊下については死角が生じやすいことを考慮し、まず交差点や角などに俯瞰カメラ102を配置し、死角を減らす(1404)。同様に交差点や角等に注視カメラ103を配置する(1405)。また、人の流れや重点的に監視したい場所等を考慮して、通路に一定間隔で注視カメラ103を配置する(1406)(1407)。これにより、追跡対象の進行方向によらず様々な注視対象を監視できる。例えば顔を撮影するには進行方向正面の注視カメラ103を用い、服装を撮影するには、進行方向逆側の注視カメラ103を用いる、等の使い分けをすればよい。
システム運用開始後に、例えば障害物1408が置かれ、(1401)(1402)に配置されたカメラに死角が生じた場合には、死角になっている領域を見渡すことができる位置に俯瞰カメラ102を追加し(1409)、さらに注視カメラ103も追加する(1410)。この様にすることで、システム運用後に発生した死角に対応できる。
ここで示した配置方法は一例にすぎず、実際には設置する環境等によって設置するカメラ数や配置が変動する。例えば、天井が低く、俯瞰カメラ102で広い領域を監視しづらい場合には、俯瞰カメラ102は多めに設置する必要がある。また注視カメラ103は建物の入り口や部屋の扉の前の様な人通りが多い場所のみに配置するといったことも考えられる。この様に、天井の高さや人の流れを考慮したカメラ配置とするのが望ましい。
図15は、図14で説明した俯瞰カメラ102の配置決定処理の流れを説明するフローチャートである。最初に、監視が必要な領域の情報を獲得する(S1501)。例えば、部屋の広さや天井の高さ等の情報を設計図から得る。また、地図などの情報から予測される人の流れ等の情報を得る。次に、監視が必要な部屋や広い空間の中央にカメラを配置する(S1502)。次に、現在配置済みのカメラの画角や焦点距離の情報と、監視が必要な部屋の広さと天井の高さの情報から、現在配置済みのカメラで監視が必要な部屋や広い空間が見渡せるかどうかを判断する(S1503)。監視が必要な部屋や広い空間が見渡せないと判断した場合には、監視領域を見渡すのに十分なカメラの配置が完了するまで以下の処理を繰り返す(S1504)。すなわち、既に設置されているカメラの配置を考慮して、監視が不十分な領域にカメラを追加していく(S1505)。続いて、監視が必要な通路の角や交差点にカメラを配置する(S1506)。次に現在配置済みのカメラで監視が必要な通路が見渡せるかどうかを判断する(S1507)。監視が必要な通路が見渡せないと判断した場合には、監視領域を見渡すのに十分なカメラの配置が完了するまで以下の処理を繰り返す(S1508)。すなわち、既に設置されているカメラの配置や、予想した人の流れを考慮して、監視が不十分な領域にカメラを追加していく(S1509)。最後に必要であれば、混雑が予想される領域や重点的に監視したい領域にカメラを追加し(S1510)、俯瞰カメラ102の配置決定処理を終了する。
図16は、図14で説明した注視カメラの配置決定処理の流れについて説明するフローチャートである。最初に、監視が必要な領域の情報を獲得する(S1601)。次に、監視が必要な部屋や広い空間の角(区画された領域の角)にカメラを配置する(S1602)。次に、現在配置済みのカメラの画角や焦点距離の情報と、監視が必要な部屋の広さと天井の高さの情報から、監視対象の情報を得るのに十分な数カメラが配置されているかどうかを判断する(S1603)。例えば、監視領域内において、監視対象の顔を確実にとらえたい場合には、監視対象がどの向きを向いてもカメラに映るようにカメラが配置されているかどうかを判断する。監視対象の情報を得るのに十分な数カメラが配置されていないと判断した場合には、監視対象の情報を得るのに十分な数カメラの配置が完了するまで以下の処理を繰り返す(S1604)。すなわち、既に設置されているカメラの配置や死角を考慮して、監視が不十分な領域にカメラを追加していく(S1605)。続いて、監視が必要な通路の角や交差点にカメラを配置する(S1606)。次に既に設置されているカメラの配置や、予想した人の流れを考慮して、監視が不十分な領域にカメラを追加していく(S1607)。最後に必要であれば、混雑が予想される領域や重点的に監視したい領域にカメラを追加し(S1608)、注視カメラの配置決定処理を終了する。
注視カメラ103の配置を決定する際に、実施形態1で説明した注視対象候補別点数表700を利用して、配置を決定することもできる。例えば、監視対象領域内のある位置に監視対象が存在すると仮定し、さらにその監視対象を監視することができる位置に各注視カメラ103を仮配置したと仮定して、実施形態1で説明した手順により各注視カメラ103について注視対象を最適化する。このとき、各注視対象候補について評価点を得ることができる。以下同様に、監視対象領域内のその他の位置に監視対象が存在すると仮定して注視カメラ103の配置を決定することを繰り返し、どの位置に監視対象がいても、評価点が所定閾値以上となる注視カメラ103の数が所定数以上存在するように、注視カメラ103の配置を決定する。監視対象の位置を仮設定して注視カメラ103の配置を決定する処理は、最適解を探索する処理として、任意の最適化アルゴリズムによって自動化することができる。本手法は、図14〜図16で説明した手法と別に用いてもよいし、併用してもよい。
<実施の形態3:まとめ>
以上のように、本実施形態3に係る監視システム構築方法によれば、俯瞰カメラ102および注視カメラ103の配置を好適に決定することができる。さらには、注視対象候補別点数表700を利用して、注視カメラ103の配置を計算機に自動決定させることもできる。
<実施の形態4>
本発明の実施形態4では、実施形態1で説明した画像重畳部1008の具体例について説明する。その他の構成は実施形態1〜3と同様である。
図17は、画像重畳部1008の構成例を示す機能ブロック図である。画像重畳部1008は、人物画像座標取得部10081、人物画像切り出し部10082、顔画像座標取得部10083、顔画像切り出し部10084、平行移動処理部10085、動線描画処理部10086、カメラ座標位置合わせ部10087、画像重ね合わせ処理部10088を備える。
人物画像座標取得部10081は、イベント画像中の、人物イベントが発生した領域の座標位置を取得する。人物画像切り出し部10082は、人物画像の領域の座標位置を用いて、イベント画像中から人物画像を切り出す。顔画像座標取得部10083は、イベント画像中の、顔イベントが発生した領域の座標位置を取得する。顔画像切り出し部10084は、顔画像領域の座標位置を用いて、イベント画像中から顔画像を切り出す。
平行移動処理部10085は、追跡座標を用いて、切り出した人物画像や顔画像を、現在追跡対象がいる位置まで平行移動する。動線描画処理部10086は、追跡座標を用いて追跡対象の動線を描画する。例えば、ある時刻の追跡座標に点を描画し、前の時刻の追跡座標に向けて線を描画することにより、動線を描画することができる。カメラ座標位置合わせ部10087は、入力される注視カメラ映像204を、頭上視点映像901上で注視カメラ103が存在する位置まで平行移動する。画像重ね合わせ処理部10088は、頭上視点映像901上に、切り出して平行移動した各種イベント画像、動線描画処理部10086で得た動線、および平行移動した注視カメラ映像204を重ねて表示する。
<実施の形態4:まとめ>
以上のように、本実施形態4に係る監視システムによれば、頭上視点映像901上で、最新のイベント画像が追跡対象の近くに常に表示されることとなり、追跡対象を容易に監視することができる。
<実施の形態5>
実施形態1〜4では、人物を監視対象とする例を説明した。本発明の実施形態5では、人物に代えて車両を監視対象とする場合の構成例を説明する。監視対象の変更に係る構成以外は実施形態1〜4と同様であるため、以下では差異点を中心に説明する。
図18は、本実施形態5における注視カメラ映像解析部205の構成例を示す機能ブロック図である。本実施形態5において、イベント検出部2052は、顔検出処理部20521に代えて、車両検出処理部20523、ナンバープレート検出処理部20524を備える。その他の構成は図4と同様である。
車両検出部20523は、注視カメラ映像204の中から車が映っている領域を検出する。この処理は、例えば車の画像をテンプレートとしたテンプレートマッチング等を用いて実現することができる。ナンバープレート検出処理部20524は、注視カメラ映像204の中でナンバープレートが映っている領域を抽出する。この処理は、例えば幾つかのナンバープレートの画像をテンプレートとしたテンプレートマッチング等を用いて実現することができる。
図19は、本実施形態5における注視対象候補別点数表700の例を示す図である。全体的な構成は図7と同様であるが、監視対象を人物から車両に変更したことにともない、条件フィールド701の内容をこれに適したものに変更している。また車両に対する注視対象はナンバープレートまたは車両全体であると思われるので、顔注視用評価点フィールド7021と人物注視用評価点フィールド7022に代えて、ナンバープレート注視用評価点フィールド7024と車両注視用評価点フィールド7025を設けた。各評価点についても車両監視用に変更した。
<実施の形態5:まとめ>
以上のように、本実施形態5に係る監視システムによれば、屋外において車を監視する監視システムを提供することができる。ここでは車を例に挙げたが、屋外において車と人物両方を監視する場合においても同様の方法を用いることができる。また、車や人物に限らず、任意の物体を監視する場合においても、同様の構成を用いることができる。
<実施の形態6>
本発明の実施形態6では、実施形態1〜5で説明した監視システムが、複数の追跡モードを持つ例について説明する。ここでいう追跡モードとは、監視対象を追跡する手法を指定する動作モードであり、例えば同時に追跡する人数を指定することができる。本実施形態6では、例として(a)監視はするが追跡はしない「追跡なしモード」、(b)1人の人物を追跡する「1人追跡モード」、(c)複数人の人物を追跡する「複数追跡モード」の3モードを挙げる。追跡モードは、何らかのトリガーによって切り替えられるものとする。
図20は、本実施形態6における注視カメラ制御信号生成部209の構成例を示す機能ブロック図である。本実施形態6において、注視対象決定部2096は、追跡モード制御信号2001を受け取り、その指示にしたがって追跡モードを切り替える。追跡モード制御信号2001は、手動もしくは自動的に発生するトリガー情報を基に発行される制御信号である。その他の構成は実施形態1〜5と同様である。
図21は、本実施形態6における注視対象候補別点数表700の例を示す図である。本実施形態6において、注視対象候補別点数表700は、追跡モード毎に評価点を記述している。その他の構成は実施形態1〜5と同様である。注視対象決定部2096は、追跡モードに対応する評価点を用いて、注視カメラ103の注視対象を決定する。
複数対象を追跡する場合は、カメラと一番近い追跡対象を注視対象としておき、その一番近い追跡対象に対して各条件における点数を決めておくことにより、複数対象を追跡することができる。また、一番近い追跡対象者に限らず、二番目に近い追跡対象者も注視の候補と入れたい場合には、注視対象を一番近い人物の顔、二番目に近い人物の顔、といったように分けて設定し、また条件フィールドにおいても一番近い追跡対象と二番目に近い追跡対象のそれぞれに対して点数を用意しておけばよい。
<実施の形態6:まとめ>
以上のように、本実施形態6に係る監視システムは、追跡モード毎に点数表を設けておくことにより追跡モード毎に注視対象候補の評価基準を切り替えて最適なカメラ制御を実施し、追跡モードに応じて注視対象を好適に設定することができる。
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることもできる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の構成を追加・削除・置換することもできる。
上記各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記録装置、ICカード、SDカード、DVD等の記録媒体に格納することができる。
101:監視対象、102:俯瞰カメラ、103:注視カメラ、200:映像監視装置、201:俯瞰カメラ映像、202:俯瞰カメラ映像解析部、203:位置情報、204:注視カメラ映像、205:注視カメラ映像解析部、206:イベント情報、207:情報統合解析部、208:追跡情報、209:注視カメラ制御信号生成部、211:モニタ映像、700:注視対象候補別点数表、901:頭上視点映像、1002:画像変形統合部、1004:イベント情報取得部、1006:追跡情報取得部、1008:画像重畳部、1202:映像蓄積解析サーバ、1203:監視モニタ、1204〜1205:ネットワーク。

Claims (15)

  1. 監視領域を撮影する俯瞰カメラの映像を受信し監視対象の位置情報を検出する俯瞰カメラ映像解析部と、
    前記監視領域内の前記俯瞰カメラが撮影する領域よりも狭い領域を注視して撮影する注視カメラの映像を受信し前記監視対象の特徴を表すイベント情報を検出する注視カメラ映像解析部と、
    前記俯瞰カメラ映像解析部が検出した前記位置情報と前記注視カメラ映像解析部が検出した前記イベント情報を用いて前記監視対象の追跡情報を得る情報統合解析部と、
    前記俯瞰カメラ映像解析部が検出した前記位置情報、前記注視カメラ映像解析部が検出した前記イベント情報、および前記監視対象の追跡情報を用いて、前記注視カメラの注視対象を切り替えるための制御信号を生成し前記注視カメラへ送信する、注視カメラ制御信号生成部と、
    を備えることを特徴とする映像監視装置。
  2. 前記注視カメラ制御信号生成部は、
    前記注視カメラの注視対象の候補毎にその候補が前記注視カメラの注視対象として適しているか否かを評価することにより前記注視カメラの注視対象を決定する注視対象決定部を備えており、
    前記注視対象決定部は、
    前記俯瞰カメラ映像解析部が検出した前記位置情報、前記注視カメラ映像解析部が検出した前記イベント情報、および前記監視対象の追跡情報に基づき前記評価を実施し、
    全ての前記注視カメラについての注視対象毎の前記評価結果を比較することにより、前記注視カメラ毎に適した注視対象を決定する
    ことを特徴とする請求項1記載の映像監視装置。
  3. 前記注視カメラ制御信号生成部は、
    前記注視カメラ映像解析部が検出した前記イベント情報が、前記候補が対象としている前記イベント情報と合致した場合は、その候補を注視対象として決定する優先度を上げる
    ことを特徴とする請求項2記載の映像監視装置。
  4. 前記情報統合解析部は、
    前記追跡情報として、前記監視対象と前記注視カメラとの間の距離を算出し、
    前記注視カメラ制御信号生成部は、
    前記情報統合解析部が算出した前記監視対象と前記注視カメラとの間の距離、および前記候補が対象としている前記注視対象と前記注視カメラとの間の距離に応じて、前記候補を注視対象として決定する優先度を増減する
    ことを特徴とする請求項2記載の映像監視装置。
  5. 前記注視カメラ制御信号生成部は、
    前記注視カメラと前記監視対象との間に障害物があるか否かに応じて、前記候補を注視対象として決定する優先度を増減する
    ことを特徴とする請求項2記載の映像監視装置。
  6. 前記注視カメラ制御信号生成部は、
    複数の前記注視カメラそれぞれについての前記評価の合計が最大となるように、前記注視カメラの注視対象を決定する
    ことを特徴とする請求項2記載の映像監視装置。
  7. 複数の前記俯瞰カメラの映像を受信し、前記監視領域を上方から見た視点映像に変換する画像変形統合部と、
    前記注視カメラ映像解析部が検出した前記イベント情報、前記監視対象の追跡情報、および前記注視カメラが撮像した映像を前記視点映像に重ねる画像重畳部と、
    前記画像重畳部が生成した映像を出力する出力部と、
    を備えることを特徴とする請求項1記載の映像監視装置。
  8. 請求項3において、注視カメラのイベント情報を頭上視点映像に重ねる際に、追跡情報を用いて平行移動した後に重ねる
    ことを特徴とする請求項7記載の映像監視装置。
  9. 前記注視カメラ映像解析部は、前記イベント情報として、人物の顔または人物の動きを検出する
    ことを特徴とする請求項1記載の映像監視装置。
  10. 前記注視カメラ映像解析部は、前記イベント情報として、車両の存否、車両のナンバープレート、または車両の動きを検出する
    ことを特徴とする請求項1記載の映像監視装置。
  11. 前記注視カメラ制御信号生成部は、
    前記監視対象を追跡する手法を指定する追跡モードを切り替えるよう指示する制御信号を受け取り、前記制御信号が指示する前記追跡モードが指定する前記手法にしたがって前記評価の基準を変更する
    ことを特徴とする請求項1記載の映像監視装置。
  12. 請求項1記載の映像監視装置と、
    前記監視領域全体を撮影する俯瞰カメラと、
    前記監視領域内の前記俯瞰カメラが撮影する領域よりも狭い領域を注視して撮影する注視カメラと、
    を備えることを特徴とする監視システム。
  13. 請求項12記載の監視システムを構築する方法であって、
    前記監視領域内における前記俯瞰カメラの配置を決定する俯瞰カメラ配置ステップ、
    前記監視領域内における前記注視カメラの配置を決定する注視カメラ配置ステップ、
    を有し、
    前記俯瞰カメラ配置ステップは、
    前記監視領域の広さおよび高さについての情報を獲得するステップ、
    前記監視領域のうち所定面積以上の広さを有する空間の中央に前記俯瞰カメラを配置するステップ、
    前記監視領域のうち監視が必要な通路の角または交差点へ前記俯瞰カメラを配置するステップ、
    前記獲得した広さおよび高さについての情報と既に設置した前記俯瞰カメラの配置に基づき、前記監視領域を漏れなく見渡すのに十分な前記俯瞰カメラを追加配置するステップ、
    前記監視領域のうち混雑が予想される領域および重点的に監視したい領域へ前記俯瞰カメラを追加配置するステップ、
    を有することを特徴とする監視システム構築方法。
  14. 前記注視カメラ配置ステップは、
    前記監視領域の広さおよび高さについての情報を獲得するステップ、
    前記監視領域のうち区画された空間の角に前記注視カメラを配置するステップ、
    前記監視領域のうち監視が必要な通路の角および交差点へ前記注視カメラを配置するステップ、
    前記獲得した広さや高さについての情報と既に設置した前記注視カメラの配置に基づき、前記監視対象を監視するのに十分な前記注視カメラを追加配置するステップ、
    前記監視領域のうち混雑が予想される領域および重点的に監視したい領域へ前記注視カメラを追加配置するステップ、
    を有することを特徴とする請求項13記載の監視システム構築方法。
  15. 前記注視カメラ配置ステップは、
    前記監視対象が前記監視領域内のある位置に存在すると仮定して、前記注視カメラの注視対象の候補毎にその候補が前記注視カメラの注視対象として適しているか否かを評価するステップ、
    前記評価の結果が所定閾値未満となる前記注視カメラの個数が所定個数未満となるように前記注視カメラの配置を決定するステップ、
    を有することを特徴とする請求項13記載の監視システム構築方法。
JP2012030098A 2012-02-15 2012-02-15 映像監視装置、監視システム、監視システム構築方法 Expired - Fee Related JP5891061B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012030098A JP5891061B2 (ja) 2012-02-15 2012-02-15 映像監視装置、監視システム、監視システム構築方法
CN201210566821.2A CN103260009B (zh) 2012-02-15 2012-12-24 影像监视装置、监视系统及监视系统构建方法
EP13152008.2A EP2629517B1 (en) 2012-02-15 2013-01-21 Image monitoring apparatus, image monitoring system, and image monitoring system configuration method
US13/748,231 US9241138B2 (en) 2012-02-15 2013-01-23 Image monitoring apparatus, image monitoring system, and image monitoring system configuration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012030098A JP5891061B2 (ja) 2012-02-15 2012-02-15 映像監視装置、監視システム、監視システム構築方法

Publications (2)

Publication Number Publication Date
JP2013168757A true JP2013168757A (ja) 2013-08-29
JP5891061B2 JP5891061B2 (ja) 2016-03-22

Family

ID=47832877

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012030098A Expired - Fee Related JP5891061B2 (ja) 2012-02-15 2012-02-15 映像監視装置、監視システム、監視システム構築方法

Country Status (4)

Country Link
US (1) US9241138B2 (ja)
EP (1) EP2629517B1 (ja)
JP (1) JP5891061B2 (ja)
CN (1) CN103260009B (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015170368A1 (ja) * 2014-05-09 2015-11-12 パナソニックIpマネジメント株式会社 指向性制御装置、指向性制御方法、記憶媒体及び指向性制御システム
US9414153B2 (en) 2014-05-08 2016-08-09 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
JP2017068527A (ja) * 2015-09-30 2017-04-06 アイホン株式会社 地域コミュニティの保安システム
JP2017163279A (ja) * 2016-03-08 2017-09-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2018023137A (ja) * 2017-09-12 2018-02-08 パナソニックIpマネジメント株式会社 指向性制御装置、指向性制御方法、記憶媒体及び指向性制御システム
WO2019044038A1 (ja) * 2017-08-30 2019-03-07 三菱電機株式会社 撮影対象追跡装置及び撮影対象追跡方法
WO2019130729A1 (ja) 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
JP2020141427A (ja) * 2020-06-15 2020-09-03 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
US10796166B2 (en) 2016-03-23 2020-10-06 Nec Corporation Information processing for aggregating sensor information about persons entering and exiting a venue
JP2020192635A (ja) * 2019-05-28 2020-12-03 オムロン株式会社 安全監視システム、安全監視制御装置、および安全監視方法
JP2022014921A (ja) * 2020-12-30 2022-01-20 阿波羅智聯(北京)科技有限公司 路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器
WO2023084982A1 (ja) * 2021-11-12 2023-05-19 ソニーグループ株式会社 情報処理装置、移動体および情報処理方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242400B1 (en) * 2013-10-25 2019-03-26 Appliance Computing III, Inc. User interface for image-based rendering of virtual tours
CN105917355B (zh) * 2013-12-14 2020-07-03 维亚凯姆有限责任公司 用于判定物理、生理和/或生物计量数据和/或用于风险评估的基于相机的跟踪系统
GB2544849B (en) * 2014-06-06 2020-12-09 Mitsubishi Electric Corp Video monitoring system and video monitoring method
CN104539910B (zh) * 2015-01-16 2019-06-04 移康智能科技(上海)股份有限公司 一种数据安全访问方法和系统
CN107710752B (zh) * 2015-06-26 2018-11-20 三菱电机株式会社 监视装置
DE102016003849B4 (de) * 2016-03-31 2022-05-12 Alexander Benner Verfahren zur Anzeige von Kamerainhalten über ein Netzwerkportal in einem Anzeigegerät
KR102586962B1 (ko) * 2016-04-07 2023-10-10 한화비전 주식회사 감시 시스템 및 그 제어 방법
CN105872477B (zh) * 2016-05-27 2018-11-23 北京旷视科技有限公司 视频监控方法和视频监控系统
CN106687931B (zh) * 2016-12-07 2020-06-26 深圳前海达闼云端智能科技有限公司 电子设备以及对监控目标进行监控的方法和装置
JP6961363B2 (ja) * 2017-03-06 2021-11-05 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
CN107231547B (zh) * 2017-07-07 2021-03-12 广东中星电子有限公司 视频监控系统和方法
CN107369283B (zh) * 2017-07-21 2018-03-13 国家海洋局第一海洋研究所 一种基于图像识别的大洋锚系浮标预警系统与方法
US10950003B2 (en) * 2018-03-29 2021-03-16 Pelco, Inc. Method of aligning two separated cameras matching points in the view
TWI779029B (zh) * 2018-05-04 2022-10-01 大猩猩科技股份有限公司 一種分佈式的物件追蹤系統
CN108924405B (zh) * 2018-06-11 2020-01-21 北京航空航天大学 基于距离的拍照聚焦修正和图像处理方法、设备
CN111291585B (zh) * 2018-12-06 2023-12-08 杭州海康威视数字技术股份有限公司 一种基于gps的目标跟踪系统、方法、装置及球机
CN111263118A (zh) * 2020-02-18 2020-06-09 浙江大华技术股份有限公司 图像的获取方法、装置、存储介质及电子装置
JP7355674B2 (ja) * 2020-02-18 2023-10-03 株式会社日立製作所 映像監視システムおよび映像監視方法
JP2022181708A (ja) * 2021-05-26 2022-12-08 株式会社日立製作所 注視領域の自動表示システムおよびそれを用いた遠隔状態監視システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285849A (ja) * 2000-03-29 2001-10-12 Minolta Co Ltd 撮影システム
JP2004343718A (ja) * 2003-04-22 2004-12-02 Matsushita Electric Ind Co Ltd カメラ連携による監視装置
JP2008236646A (ja) * 2007-03-23 2008-10-02 Canon Inc ネットワーク撮影システム、管理方法、及びコンピュータプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657076A (en) * 1993-01-12 1997-08-12 Tapp; Hollis M. Security and surveillance system
CA2155719C (en) 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
US6456320B2 (en) * 1997-05-27 2002-09-24 Sanyo Electric Co., Ltd. Monitoring system and imaging system
JP4140591B2 (ja) 2004-09-13 2008-08-27 ソニー株式会社 撮像システム及び撮像方法
EP1834486A1 (en) * 2004-12-24 2007-09-19 Ultrawaves design holding B. V. Intelligent distributed image processing
JP2008118402A (ja) * 2006-11-02 2008-05-22 Victor Co Of Japan Ltd 監視カメラシステム
US8488001B2 (en) * 2008-12-10 2013-07-16 Honeywell International Inc. Semi-automatic relative calibration method for master slave camera control
US20110128385A1 (en) * 2009-12-02 2011-06-02 Honeywell International Inc. Multi camera registration for high resolution target capture
CN201869309U (zh) * 2010-11-26 2011-06-15 深圳市迈菲斯科技有限公司 超宽动态人脸图像获取叠加装置
CN102148965B (zh) * 2011-05-09 2014-01-15 厦门博聪信息技术有限公司 多目标跟踪特写拍摄视频监控系统
CN102291569B (zh) * 2011-07-27 2013-04-10 上海交通大学 双摄像机自动协同多目标鹰眼观测系统及其观测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285849A (ja) * 2000-03-29 2001-10-12 Minolta Co Ltd 撮影システム
JP2004343718A (ja) * 2003-04-22 2004-12-02 Matsushita Electric Ind Co Ltd カメラ連携による監視装置
JP2008236646A (ja) * 2007-03-23 2008-10-02 Canon Inc ネットワーク撮影システム、管理方法、及びコンピュータプログラム

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9414153B2 (en) 2014-05-08 2016-08-09 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
US9621982B2 (en) 2014-05-08 2017-04-11 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
US9763001B2 (en) 2014-05-08 2017-09-12 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
US9961438B2 (en) 2014-05-08 2018-05-01 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
US10142727B2 (en) 2014-05-08 2018-11-27 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
WO2015170368A1 (ja) * 2014-05-09 2015-11-12 パナソニックIpマネジメント株式会社 指向性制御装置、指向性制御方法、記憶媒体及び指向性制御システム
CN105474667A (zh) * 2014-05-09 2016-04-06 松下知识产权经营株式会社 指向性控制装置、指向性控制方法、存储介质及指向性控制系统
JPWO2015170368A1 (ja) * 2014-05-09 2017-04-20 パナソニックIpマネジメント株式会社 指向性制御方法、記憶媒体及び指向性制御システム
CN105474667B (zh) * 2014-05-09 2018-11-27 松下知识产权经营株式会社 指向性控制方法及指向性控制系统
JP2017068527A (ja) * 2015-09-30 2017-04-06 アイホン株式会社 地域コミュニティの保安システム
JP2017163279A (ja) * 2016-03-08 2017-09-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10796166B2 (en) 2016-03-23 2020-10-06 Nec Corporation Information processing for aggregating sensor information about persons entering and exiting a venue
WO2019044038A1 (ja) * 2017-08-30 2019-03-07 三菱電機株式会社 撮影対象追跡装置及び撮影対象追跡方法
JPWO2019044038A1 (ja) * 2017-08-30 2020-05-28 三菱電機株式会社 撮影対象追跡装置及び撮影対象追跡方法
JP2018023137A (ja) * 2017-09-12 2018-02-08 パナソニックIpマネジメント株式会社 指向性制御装置、指向性制御方法、記憶媒体及び指向性制御システム
US11501459B2 (en) 2017-12-27 2022-11-15 Sony Corporation Information processing apparatus, method of information processing, and information processing system
WO2019130729A1 (ja) 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
JP7226101B2 (ja) 2019-05-28 2023-02-21 オムロン株式会社 安全監視システム、安全監視制御装置、および安全監視方法
JP2020192635A (ja) * 2019-05-28 2020-12-03 オムロン株式会社 安全監視システム、安全監視制御装置、および安全監視方法
JP7036153B2 (ja) 2020-06-15 2022-03-15 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
JP2020141427A (ja) * 2020-06-15 2020-09-03 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
JP2022014921A (ja) * 2020-12-30 2022-01-20 阿波羅智聯(北京)科技有限公司 路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器
US20220028260A1 (en) * 2020-12-30 2022-01-27 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method for acquiring three-dimensional perception information based on external parameters of roadside camera, and roadside device
JP7321231B2 (ja) 2020-12-30 2023-08-04 阿波羅智聯(北京)科技有限公司 路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器
US11893884B2 (en) 2020-12-30 2024-02-06 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method for acquiring three-dimensional perception information based on external parameters of roadside camera, and roadside device
WO2023084982A1 (ja) * 2021-11-12 2023-05-19 ソニーグループ株式会社 情報処理装置、移動体および情報処理方法

Also Published As

Publication number Publication date
EP2629517B1 (en) 2019-08-28
US20130208113A1 (en) 2013-08-15
JP5891061B2 (ja) 2016-03-22
CN103260009A (zh) 2013-08-21
CN103260009B (zh) 2016-04-27
US9241138B2 (en) 2016-01-19
EP2629517A3 (en) 2014-01-22
EP2629517A2 (en) 2013-08-21

Similar Documents

Publication Publication Date Title
JP5891061B2 (ja) 映像監視装置、監視システム、監視システム構築方法
US20230403470A1 (en) Video surveillance system and video surveillance method
CN109104561B (zh) 用于追踪场景中的移动对象的系统及方法
WO2018019135A1 (zh) 一种目标监控方法、摄像头、控制器和目标监控系统
JP2024032829A (ja) 監視システム、監視方法および監視プログラム
JP5418072B2 (ja) 監視制御装置及び監視システム
WO2021043293A1 (zh) 跟踪目标对象的方法、装置、平台、系统及存储介质
WO2014136499A1 (ja) 監視装置、監視方法および撮像部の配置方法
KR101933153B1 (ko) 관심객체 이동방향에 따른 관제 영상 재배치 방법 및 장치
KR101977635B1 (ko) 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치
JP7314973B2 (ja) 映像監視装置、映像監視方法及びプログラム
JP2021051470A (ja) 対象追跡手段の切り替えが可能な対象追跡プログラム、装置及び方法
US20220189038A1 (en) Object tracking apparatus, control method, and program
KR20150019230A (ko) 복수의 카메라를 이용한 객체 추적 방법 및 장치
JP7176868B2 (ja) 監視装置
KR102030736B1 (ko) 다중 분산 영상 데이터 분석 장치
JP2006211696A (ja) 物体検出方法及び物体検出装置
KR20040084222A (ko) 이동체 추적 및 모니터링 시스템 및 그 방법
KR101856548B1 (ko) 스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치
KR101749679B1 (ko) 촬영 영상을 이용한 추적대상의 삼차원 형상 생성시스템 및 그 방법
US20230410417A1 (en) Information processing apparatus, information processing method, and storage medium
JPWO2019078248A1 (ja) 制御装置、制御システム、および制御プログラム
KR20240054043A (ko) 영상 처리 기법 및 이를 적용한 객체 위치 연계 cctv 시스템
CN114765659A (zh) 扩展智能相机人脸检测范围的方法、装置、设备和介质
KR20190022283A (ko) 스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140811

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160222

R151 Written notification of patent or utility model registration

Ref document number: 5891061

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees