JP2020141288A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2020141288A
JP2020141288A JP2019036157A JP2019036157A JP2020141288A JP 2020141288 A JP2020141288 A JP 2020141288A JP 2019036157 A JP2019036157 A JP 2019036157A JP 2019036157 A JP2019036157 A JP 2019036157A JP 2020141288 A JP2020141288 A JP 2020141288A
Authority
JP
Japan
Prior art keywords
detection
condition
region
area
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019036157A
Other languages
English (en)
Other versions
JP2020141288A5 (ja
Inventor
佐藤 俊介
Shunsuke Sato
俊介 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019036157A priority Critical patent/JP2020141288A/ja
Priority to US16/799,659 priority patent/US11533424B2/en
Publication of JP2020141288A publication Critical patent/JP2020141288A/ja
Publication of JP2020141288A5 publication Critical patent/JP2020141288A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/1968Interfaces for setting up or customising the system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0476Cameras to detect unsafe condition, e.g. video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/52Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19691Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet

Abstract

【課題】利用者が検出を希望する映像の領域において、好適な検出処理を行うための調整を容易に行えるようにすることを課題とする。【解決手段】情報処理装置は、撮影部101が映像を撮影する際の撮影条件を設定する撮影設定部102と、撮影条件に基づいて映像から検出対象を検出可能な検出可能領域を決定する領域決定部104と、利用者が検出対象の検出を希望する検出希望条件を取得する希望条件取得部105と、検出希望条件と、少なくとも一つの撮影条件に基づいて決定された検出可能領域とに基づいて、映像から検出対象を検出する検出条件を決定する条件決定部106とを有する。【選択図】図1

Description

本発明は、監視カメラシステムにおいて各種設定を行う際の情報処理技術に関する。
監視カメラにより撮影した映像に対し、映像認識を行ってその検出結果を利用者に報知するシステムでは、誤報の抑制や計算負荷の低減を目的として、検出を実行する領域を指定する機能が求められている。利用者が合理的な検出範囲を容易に指定する方法の例として、例えば特許文献1には、撮影装置の撮影方向に基づいて、人体の検出処理が可能な領域を導出して表示する手法が開示されている。また例えば特許文献2には、監視対象の測位情報から検出ができない死角情報を抽出して表示する方法が開示されている。
特開2017−73670号公報 特開2011−215829号公報
特許文献1や特許文献2に開示された方法は、撮影装置の現在の撮影条件において検出可能な領域を表示するものであるが、それは必ずしも利用者が検出を希望する領域と一致するとは限らない。そのため、利用者はカメラを設置するにあたって、検出を希望する領域で検出が可能であるかどうかを都度確認しながら撮影条件を調整する必要があり、それは利用者にとって負担となっていた。
そこで、本発明は、利用者が検出を希望する映像の領域において、検出対象に対する好適な検出処理を行うための調整を容易に行えるようにすることを目的とする。
本発明の情報処理装置は、撮影装置が映像を撮影する際の撮影条件を設定する設定手段と、前記撮影条件に基づいて、前記映像から検出対象を検出可能な検出可能領域を決定する領域決定手段と、利用者が前記検出対象の検出を希望する検出希望条件を取得する取得手段と、前記検出希望条件と、少なくとも一つの撮影条件に基づいて決定された前記検出可能領域とに基づいて、前記映像から前記検出対象を検出する検出条件を決定する条件決定手段と、を有することを特徴とする。
本発明によれば、利用者が検出を希望する映像の領域において、検出対象に対する好適な検出処理を行うための調整を容易に行えるようになる。
実施形態に共通する構成要素の概要を示す機能ブロック図である。 実施形態に共通する処理の概要を示すフローチャートである。 システムの全体構成の一例を示す構成図である。 第1の実施形態の機能ブロック図である。 第1の実施形態の監視時の表示画面例を示す図である。 第1の実施形態の初期設定時の表示画面例を示す図である。 第1の実施形態の処理手順を示すフローチャートである。 第1の実施形態の検出希望領域指定画面例を示す図である。 第1の実施形態の検出可能領域を求める方法の説明図である。 第2の実施形態の初期設定時の表示画面例を示す図である。 第2の実施形態の処理手順を示すフローチャートである。 第2の実施形態の検出可能領域決定方法の説明図である。 第3の実施形態の検出領域決定に用いる説明図である。 第3の実施形態の撮影条件の構成例の説明図である。 第4の実施形態の初期設定時の表示画面例を示す図である。 第5の実施形態の検出領域決定方法の説明図である。
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
まず、以下に説明する実施形態に共通する構成要素および処理フローの概要について、図1および図2を用いて説明する。ここで述べる構成要素および処理フローについては、後述する各実施形態において明示する、対応した機能ブロックおよび処理ステップによって発明の実施における実体を具体化するものとする。したがって、以下の説明は、図1および図2で述べる構成要素および処理フローを直ちに実施形態として実施するものとして説明することを意図したものではない。
図1は、本発明の実施形態に係る情報処理装置に共通する機能についての概要を示す機能ブロック図である。図1に示した撮影部101、撮影設定部102、検出部103、領域決定部104、検出条件決定部106、希望条件取得部105は、情報処理装置に含まれる構成要素である。
撮影部101は、映像を撮影する機能部である。
撮影設定部102は、撮影部101が映像を撮影する撮影条件等の設定や変更を行う機能部である。撮影条件の詳細については後述する。撮影設定部102によって設定された撮影条件の情報は、領域決定部104に送られる。
検出部103は、入力された映像から、所定の検出対象を検出する機能を担っている。検出部103は、後述する検出条件決定部106により決定された検出条件に基づいて、入力映像から検出対象を検出する。なお、以下の説明では検出対象の一例として人物(人体)を挙げているが、人物に限定されるものではない。
領域決定部104は、入力された映像内で、検出部103が検出対象を検出可能な領域を決定する機能部である。詳細は後述するが、領域決定部104は、撮影設定部102からの撮影条件に基づいて、検出対象の検出が可能な検出可能領域を決定する。領域決定部104によって決定された検出可能領域の情報は、検出条件決定部106に送られる。
希望条件取得部105は、検出部103が検出対象を検出することを利用者が希望していると推定できる領域を映像内で特定するための、検出希望条件を取得する機能部である。希望条件取得部105は、利用者から検出希望条件の指定がなされると、その検出希望条件を基に、検出部103が検出対象を検出することを利用者が希望していると推定される検出希望領域を映像内で特定する。この希望条件取得部105によって特定された検出希望領域の情報は、検出条件決定部106に送られる。
検出条件決定部106は、検出部103が検出対象を検出する際の検出条件を決定する機能部である。検出条件には前述の撮影条件などが含まれる。詳細は後述するが、検出条件決定部106は、希望条件取得部105にて特定された検出希望領域と、少なくとも一つの撮影条件を基に領域決定部104で決定された検出可能領域とに基づいて、検出条件を決定する。この検出条件決定部106により決定された検出条件の情報は、検出部103に送られる。
図2は、本実施形態に係る情報処理装置に共通する処理フローの概要を示したフローチャートである。なお図2のフローチャートの説明では、処理ステップS201〜処理ステップS203をそれぞれS201〜S203のように略記する。このことは後述する他のフローチャートにおいても同様とする。
まずS201において、希望条件取得部105は、利用者により指定された検出希望条件を受理し、その検出希望条件に基づいて検出希望領域を特定する。
次にS202において、領域決定部104は、撮影設定部102によって設定された各種撮影条件のうち、一つ以上の撮影条件に基づいて検出可能領域を決定する。
次にS203において、検出条件決定部106は、S201で特定された検出希望領域とS202で決定された検出可能領域とに基づいて、検出条件を決定する。
以下、本発明に係る情報処理装置を具体的に構成するための実施形態について説明する。図1および図2で概要を述べた機能ブロックおよび処理ステップについては、以下に説明する実施形態において構成要素および処理内容を具体化する。
(第1の実施形態)
第1の実施形態における情報処理装置のシステム全体構成の一例を、図3を用いて説明する。
監視カメラ群301は複数の監視カメラからなり、各監視カメラはそれぞれ監視すべき場所に設置されており、それぞれ撮影している映像を送信する。それぞれの監視カメラは、目的の監視場所の映像を得るため、各々に適当な高さ、撮影方向、撮影角度となるように設置され、また撮影画角等についても設定される。
監視カメラ群301の各監視カメラ、後述するシステム管理サーバー303、解析サーバー304、録画サーバー305は、カメラネットワーク302によって接続されている。カメラネットワーク302は、例えばLANによって構成され、各カメラの映像を、システム管理サーバー303、解析サーバー304、録画サーバー305がそれぞれ取得できるよう接続する。
システム管理サーバー303、解析サーバー304、録画サーバー305は、カメラネットワーク302とは異なるクライアントネットワーク307によっても接続されている。
クライアントネットワーク307は、例えばLANによって構成されている。また、クライアントネットワーク307には、利用者の端末装置308も接続されている。
端末装置308は、ディスプレイを備えた計算機である。端末装置308は、利用者が指定した監視カメラの映像をシステム管理サーバー303に要求し、システム管理サーバー303を通じて、当該監視カメラの映像を取得して表示する。これにより利用者は、指定した監視カメラの映像を閲覧して、監視を行うことができる。また端末装置308は、録画サーバー305に記録された過去の映像を取得したり、解析サーバー304から解析結果を合わせて取得したり、さらに通知を受け取ったりする。これにより利用者は、過去の映像や解析結果を閲覧でき、また通知を受け取ることができる。
システム管理サーバー303は、VMS(Video Management System)ソフトウェアが動作する計算機である。システム管理サーバー303は、監視カメラ群301の各監視カメラ、解析サーバー304、録画サーバー305のそれぞれの設定情報を保持し、それらの動作を管理する。
解析サーバー304は計算機である。解析サーバー304は、システム管理サーバー303による設定に従って、監視カメラ群301の各監視カメラから送信されてきた映像や、録画サーバー305に記録された映像の解析を行う。解析サーバー304は、解析処理として、監視カメラ群301の各監視カメラの設置個所に応じて、例えば顔認証、人物追跡、人流計測、侵入検知、人物属性検出、天候検知、渋滞検知などの認識処理を行う。また解析サーバー304は、それらの認識処理の結果を集計し、システム管理サーバー303による設定に従って、利用者の端末装置308に通知する。
なお本実施形態では、検出対象とそれに対する認識処理として後述するように映像中で異常な行動を取った人物を認識する場合を例に挙げているが、検出対象と認識処理はこれに限定されるものではない。例えば映像から特定の人物、自動車等の車種、テキストなどを検出対象として検出したり、行事や催し物などのイベントや時間帯などを認識したりしてもよい。また検出対象を検出する際には、映像に付随する音声や画像メタデータなどの情報を検出に用いてもよい。
録画サーバー305は、システム管理サーバー303による設定に従って、監視カメラ群301の各カメラから取得した映像をストレージ306に記録する。そして、録画サーバー305は、システム管理サーバー303、解析サーバー304、端末装置308などからの要求に従って、記録した映像を送信する。また録画サーバー305は、解析サーバー304の解析結果を示すメタデータなども併せて保存する。ストレージ306は、ハードディスクなどの記録メディアおよびマイクロプロセッシングユニット(MPU)等によって構成されている。ストレージ306では、記録メディアの代わりに、ネットワーク接続ストレージ(NAS)やストレージエリアネットワーク(SAN)、クラウドサービスなどのネットワーク上のストレージが用いられてもよい。
なお本実施形態において、監視カメラ群301、システム管理サーバー303、解析サーバー304、録画サーバー305、端末装置308は異なるコンピュータ装置としているが、本発明はこのような構成に限定されるものではない。例えばシステム管理サーバー303、解析サーバー304、録画サーバー305は、1つのサーバー装置の中のアプリケーションや仮想サーバーとして実現されてもよい。また、システム管理サーバー303や解析サーバー304には端末装置308の機能が含まれていてもよい。また、解析サーバー304、録画サーバー305の機能は、監視カメラ群301の各監視カメラに搭載されていてもよい。
また、監視カメラ群301の各監視カメラは、複数のグループに分けられていてもよく、それぞれのグループを担当する解析サーバー304、録画サーバー305が複数設けられていてもよい。さらにシステム管理サーバー303は、それえら監視カメラのグループごとに設置されたエッジサーバーと、それらを統括する中央サーバーとの集合体として実現される構成であってもよい。
図4は、第1の実施形態に係る情報処理装置の機能構成を示す機能ブロック図である。本実施形態の情報処理装置は、撮影部401、検出部402、領域決定部403、希望条件取得部404、検出条件決定部405、撮影管理部406、カメラ制御部407、記憶部408、表示部409、操作部410を有して構成されている。
撮影部401は、図3に示した監視カメラ群301に対応する。撮影部401に含まれる各監視カメラは、撮像素子やレンズ及びそれらを駆動するモーターや、それらを制御するMPU等によって構成される撮影装置であり、動画を撮影して電子データに変換する。撮影部401の複数の監視カメラは、例えばLANなどのネットワークによって接続されている。なお、撮影部401は、先に説明した図1の機能ブロック図における撮影部101に相当する。
検出部402、領域決定部403、希望条件取得部404、検出条件決定部405は、図3に示す解析サーバー304に含まれる。
検出部402は、MPU等によって構成されている。検出部402は、入力された映像に含まれる検出対象の検出を行う。本実施形態では、検出対象として人物(人体)を挙げている。検出部402は、入力された映像から人物を検出し、さらに、その人物の異常な行動を検出可能となされている。異常行動の検出には、例えば参考文献1に開示されているような、局所性鋭敏型ハッシュ(LSH)によって正常行動からの乖離度合いを判定するなどの公知の手法を用いることができる。なお、検出部402は、先に説明した図1の機能ブロック図における検出部103に相当する。
参考文献1:ZHANG, Ying, et al. Video anomaly detection based on locality sensitive hashing filters. Pattern Recognition, 2016, 59: 302-311.
領域決定部403は、MPU等によって構成されている。領域決定部403は、撮影部401の監視カメラにおける現在の撮影条件を基に、入力された映像の中で検出部402が検出対象を検出することができると推定される領域を、検出可能領域として決定する。なお、領域決定部403は、先に説明した図1の機能ブロック図における領域決定部104に相当する。
希望条件取得部404は、MPU等によって構成されている。希望条件取得部404は、後述するように利用者からの指示を基に、利用者が検出を希望する領域を映像内で特定するための検出希望条件を取得する。そして、希望条件取得部404は、取得した検出希望条件を基に、検出部402が検出対象を検出することを利用者が希望していると推定される検出希望領域を映像内で特定する。この希望条件取得部404によって特定された検出希望領域の情報は、検出条件決定部405に送られる。なお、希望条件取得部404は、先に説明した図1の機能ブロック図における希望条件取得部105に相当する。
検出条件決定部405は、MPU等によって構成されている。検出条件決定部405は、検出可能領域の推定に必要な撮影条件の情報を撮影管理部406から収集し、その収集した情報と検出希望条件とに基づいて、検出部402が実際に検出に用いる検出条件を定める。検出条件は、検出部402が映像から検出対象を検出する際の精度に影響する外部要因や検出パラメーターを含み、以下の撮影条件と検出領域を含んでいる。なお、検出条件決定部405は、先に説明した図1の機能ブロック図における検出条件決定部106に相当する。
撮影条件は、撮影部401により映像を取得する際の撮影範囲や映像の品質に寄与する各種条件を特定するための情報であって、カメラ設置位置、カメラアングル、カメラ内部の各種パラメーターなどを含む。なお、詳細は後述するが、撮影条件には、撮影環境における照明条件などが含まれていてもよい。
検出領域は、検出部402が検出処理の対象とする映像中の領域で、検出希望条件になるべく適合するように定められる。検出部402は、検出条件に含まれる撮影条件で撮影された映像から、検出領域内に出現する検出対象を検出する処理を行う。
撮影管理部406およびカメラ制御部407は、図3に示したシステム管理サーバー303に含まれる構成部である。
撮影管理部406は、MPU等によって構成されている。撮影管理部406は、撮影部401のそれぞれの監視カメラにおける現在の設置状況から定まる撮影条件を管理しており、また、解析サーバー304からのリクエストに応じて撮影条件の変更を行う。撮影管理部406が管理する撮影条件には、前述したような撮影部401の監視カメラの設置高さを含むカメラ設置位置、カメラアングル、カメラの各種設定パラメーターなどである。設定パラメーターには、監視カメラの撮影方向を定めるパン、チルトの角度や、拡大率(撮影倍率)を決定するズームの設定値などが含まれる。なお、撮影管理部406は、先に説明した図1の機能ブロック図における撮影設定部102に相当する。
カメラ制御部407は、MPU等によって構成されている。カメラ制御部407は、撮影管理部406から指示された撮影条件を、撮影部401のそれぞれの監視カメラに対して設定するように撮影部40を制御する。
記憶部408は、図3に示した録画サーバー305とストレージ306に相当する。記憶部408は、ハードディスクなどの記録メディアおよびMPU等を有して構成されている。記憶部408は、撮影部101が撮影した映像や、撮影管理部406が管理する撮影条件の設定情報などを保存する。また記憶部408は、撮影された映像と、その映像が撮影された際の撮影条件の設定情報との関係を表した情報、撮影日時の情報などのメタデータもあわせて保存する。
表示部409と操作部410は、図3に示す端末装置308に含まれる。
表示部409は、液晶画面等とそれを制御するMPU等によって構成されている。表示部409は、利用者に対し、撮影された映像や撮影条件の情報などの各種情報を提示し、また、利用者が操作を行う際のユーザーインターフェース(UI)画面を作成して表示する。
操作部410は、スイッチやタッチパネル等を有して構成され、利用者による操作を感知して情報処理装置に入力する。操作部410は、タッチパネルの代わりにマウスやトラックボールなど他のポインティングデバイスが用いられてもよい。
次に、図5(a)〜図5(c)および図6(a)〜図6(e)を用いて、本実施形態における表示部409の動作および利用者の操作の例について説明する。
図5(a)は、撮影部401で撮影している映像を表示部409で表示している状態の画面例を示した図である。撮影部401の監視カメラは監視対象となされている場所を撮影するように設置されており、表示部409は画面上に監視カメラの現在のカメラ映像501を表示する。利用者は、その画面上の映像を見て、監視対象場所に異常が発生しないかをチェックしているとする。また、表示部409は、画面内に上面マップ502を合わせて表示し、上面マップ502にはカメラ位置および画角を表すアイコン503を合わせて表示する。これにより、利用者は、監視カメラによってカメラ映像501として現在撮影されている範囲を確認することができる。
ここで、上面マップ502とは、監視カメラが設置されている建物等の場所と、その監視カメラによってカメラ映像501が撮影されている範囲とを、上側から見た見取り図である。上面マップ502は、監視カメラの設置位置や高さ、監視カメラ周辺の壁面や物体などの配置を表す三次元環境情報に基づいて作成される。三次元環境情報は、監視カメラの設置時に設置者が測定して入力した情報や、監視カメラが装備する測距装置・高度計・GPSなどの計器の情報、監視カメラが設置された建物の設計図や物体の配置図などに基づいて予め作成されている。三次元環境情報と、カメラ映像501として現在撮影されている範囲とは、射影変換などによって常時対応付けられている。また、三次元環境情報は、監視カメラのカメラアングルやズーム設定などの撮影条件の変化に追従して適宜更新される。
図5(b)は、検出対象として検出された人物に異常が発生した際の表示部409の画面表示例を示した図である。例えば、検出部402がカメラ映像501中で検出した人物504が異常な行動、例えば意識を失って倒れ込んだことを検出したとする。このような異常行動の検出結果を受けた表示部409は、例えばポップアップによりアラーム表示505を行い、人物に異常が発生したことを、利用者に知らせる。また、表示部409は、異常が検出された位置を示すマーカー506を、上面マップ502に表示する。
なお、ここに示した異常発生の警報は一例であって、このような表示方法に限るものではない。また異常発生時の警報の通知方法としては、例えば端末装置308がスピーカーを備えている場合にそのスピーカーから警報音を発してもよいし、外部の別の端末装置等に警報メッセージを送信したりするなどの通知方法を組み合わせてもよい。
また、以上のような検出を行う監視システムにおいて監視カメラを設置するにあたって、利用者は、異常の発生を検出させたい個所にカメラを設置することになる。そして、利用者にとっては、一台の監視カメラで出来るだけ広い範囲を監視可能として検出対象の検出を行えるように監視カメラを設置することが望ましい。ただし、その一方で、監視カメラが撮影している範囲全体から検出対象の検出を行うことは、必ずしも好ましくない場合がある。例えば監視カメラの撮影範囲内の窓の外に映りこんだ人物や、壁面に貼られたポスターに描かれた人物などを検出してしまい、それら検出した人物を異常行動の人物として検出してしまって誤った警報を発生してしまうこともあり得る。このような誤った検出や警報の発生は利用者にとって有用ではない。したがって、そのような窓の外や人物や壁面などに出現する人物は、検出対象から除外することが望ましい。その他にも、監視カメラで撮影された人物が遠くにいて人物の映像が小さ過ぎたり、監視カメラの画角から人物の頭部等が外れたりして、信頼性の高い検出処理が困難である可能性が高いことが予めわかっている領域では検出を行わないことが望ましい。
このため、本実施形態の情報処理装置は、撮影部401の監視カメラが撮影する映像内において、検出処理を実行する検出領域を設定可能とする機能を備えている。また本実施形態の場合、利用者は、撮影部401の撮影する映像内の一部の領域を、検出希望領域として指定することができる。検出希望領域は、前述したように、利用者により指定される検出希望条件に基づいて希望条件取得部404が特定する。なお、検出希望領域は、監視カメラが撮影する映像全体の領域であってもよい。また前述したように、検出部402が検出対象の検出処理を実行する検出領域は、検出希望領域と、少なくとも一つの撮影条件を基に決定された検出可能領域とに基づいて決定される。
ここで、本実施形態において、希望条件取得部404は、例えば検出対象の人物が歩行すると思われる範囲の床面が利用者によって検出希望条件として指定された場合、その床面の領域を検出希望領域として特定する。
また本実施形態では、人物が検出対象となされている。このため、検出部402は、人物が立った状態のときの足元と推定される位置を基準とし、検出対象の人物が検出領域内に存在しているいかどうかを判定する。図5(c)は、図5(a)に示したカメラ映像501の中の検出対象である人物507を示した図である。検出部402は、カメラ映像501の中の人物507について、画面の外辺に平行な辺をもつ外接矩形508の、下辺中心の点509を、当該人物の基準点として定める。そして、検出部402は、その人物507について定めた基準点509が、検出領域に含まれている場合に限って、その人物507について異常な行動の検出処理を行う。
なお、検出対象が検出領域内に存在しているかどうかの判定の方法は一例であり、検出部402は、検出対象の特性に応じてどのような基準点を用いるかを適宜選択してもよい。例えば、検出部402は、人物の足元ではなく、人物の顔面の中心や胴体の中心を基準点として選択してもよい。また例えば、検出対象が自動車であるような場合、検出部402は、フロントガラスの中心や前後タイヤの接地点の中点などを基準点として選択してもよい。また検出部402は、基準点だけでなく、検出対象を囲む外接矩形全体が検出領域に包含された場合に、検出対象が検出領域内に存在していると判定してもよい。
以下、図6(a)〜図6(e)を用いて、検出対象の検出が行われる検出領域が決定されるまでに、表示部409に画面表示される映像例および利用者の操作例について説明する。
図6(a)は、利用者によって検出希望条件が指定されて検出希望領域が特定される際に表示部409に表示される画面例を示した図である。本実施形態の場合、利用者による検出希望条件の指定は、表示部409の画面上の画像領域の指定などにより行われる。検出希望条件の指定方法としては、例えばカメラ映像501内の所望の画像領域を指示するなどの手法が考えられる。図6(a)の例では、利用者によって、カメラ映像501内で例えば廊下の一部の画像領域が検出希望条件として指示されたとする。このときの希望条件取得部404は、利用者により指定された画像領域と同じ特徴を有する領域を検出希望領域として特定する。図6(b)の例では、カメラ映像501内の廊下の一部の画像領域が検出希望条件として指定されたとする。希望条件取得部404は、利用者により指定された画像領域と同じ特徴を有する領域である、図6(a)の廊下全体の領域を、検出希望領域601として特定する。またこのときの表示部409は、カメラ映像501内で例えば所定の色付け等を行うことで、特定された検出希望領域601が利用者にわかるように表示する。
また希望条件取得部404により検出希望領域が特定されると、表示部409は、上面マップ502についても、カメラ映像501上の検出希望領域601に対応するように、例えば所定の色付け等を行った検出希望領域602を表示する。なお、利用者により検出希望条件が指定されて検出希望領域が特定される処理の詳細は、後述の図7のフローチャートのS702で説明する。
図6(b)と図6(c)は、前述のように検出希望領域が特定された後、領域決定部403において検出可能領域が決定されるまでに、表示部409に画面表示される映像例および利用者の操作例について説明する図である。
前述のようにして検出希望領域が特定されると、領域決定部403は、現在のカメラ設定によって検出対象を検出することが可能な検出可能領域を計算により求める。そして、表示部409は、その検出可能領域をカメラ映像501と上面マップ502に表示する。図6(b)の例では、カメラ映像501上に検出可能領域603が表示され、上面マップ502に検出可能領域604が表示された状態の一例を示している。なお、領域決定部403において検出可能領域を計算する方法については、後述の図7のフローチャートのS704で説明する。
また本実施形態では、領域決定部403により算出された検出可能領域を利用者が調整することも可能となされている。例えば、利用者が、図6(b)の検出可能領域603では不十分であると考えて自動調整ボタン605を押したとする。この場合、検出条件決定部405は、撮影管理部406およびカメラ制御部407を介して、撮影部401の監視カメラのパン、チルト、ズーム設定等を自動で変更することで様々な撮影条件を設定する。そして、領域決定部403は、それら様々な撮影条件ごとに、検出可能領域を計算し直し、また、表示部409は、それら計算し直された検出可能領域を表示する。図6(c)は、撮影条件が変更されて、検出可能領域が計算し直されたことで、カメラ映像501上の検出可能領域606、および、上面マップ502上の検出可能領域607が変更されて表示された例を示している。なお、図6(c)の例は、図6(b)で例示した検出可能領域が計算された際の撮影条件よりも、画角が広くなる撮影条件が探索され、その探索された撮影条件の設定に対応して新たな検出可能領域が再計算された時の表示例を示している。なお、撮影条件の探索方法の詳細については後述する図7のフローチャートで説明する。
図6(d)は前述のような調整等が行われて最終的に決定された検出領域を示した図である。例えば図6(c)の検出可能領域が計算された際の撮影条件の設定に対して利用者が同意すると、検出条件決定部405は、上面マップ502の検出可能領域607と検出希望領域602との共通部分を求め、図6(d)に示す最終的な検出領域610を決定する。またこの時の表示部409は、その決定された検出領域610を上面マップ502上に表示すると共に、カメラ映像501上にも同様の検出領域609を表示する。そして、検出条件決定部405は、検出領域609の範囲に映っているオブジェクトのみについて検出処理を行うことを、検出条件に追加する。
なお前述の説明では、検出領域を上面マップ502について求めたが、上面マップ502ではなくカメラ映像501の領域に基づいて求めてもよい。図6(e)は、検出領域をカメラ映像501の領域に基づいて求めた場合の例を示した図である。この例の場合、検出条件決定部405は、まず上面マップ502の検出希望領域602を図6(c)で設定したカメラ設定に基づいて射影変換して、図6(e)に示すようにカメラ映像501について検出希望領域611を求める。そして、検出条件決定部405は、その検出希望領域611と検出可能領域606との共通部分を取って、カメラ映像501での検出領域609として射影変換を行って上面マップ502での検出領域610を求める。
本実施形態の情報処理装置は、前述したように、利用者により指定された検出希望条件を基に検出希望領域を特定し、さらにその検出希望領域と、撮影条件を基に決定した検出可能領域とから、なるべく多くの検出が期待できる検出条件を設定する。すなわち本実施形態によれば、利用者に対して特別な知識が要求されることなく、検出条件が設定可能となっている。
次に、以上説明したような動作を、図7のフローチャートを用いて説明する。図7のフローチャートの処理は、監視カメラの設置がなされる際に、本実施形態の情報処理装置が実行する処理である。なお、ここでは監視カメラが新設される場合を例に挙げて説明するが、既設の監視カメラの設定が変更されたり、撮影場所等の状況が変化して監視カメラの再設定が行われたりするような場合も同様の手順を用いることができる。
まず、S701において、撮影部401の監視カメラが利用者により設置されると、撮影管理部406は、設置されたカメラを登録する。また撮影管理部406は、現在の撮影条件として、カメラの設置高さやパン、チルト、ズーム等のパラメーター値、および上面マップ上でのカメラの設置位置等を記録する。
次にS702において、希望条件取得部404は、表示部409を介して、検出希望領域指定画面を表示させて、利用者に対して検出希望条件の指定を促す。そして、利用者により、操作部410を介して検出希望条件の指定がなされ、さらに当該条件指定が完了したことを示す操作が利用者から入力されたとする。このときの希望条件取得部404は、利用者にて指定された検出希望条件を基に検出希望領域を特定し、その検出希望領域の情報を記録する。
図8(a)〜図8(c)は、S702で検出希望条件が指定されて検出希望領域が特定されるまでの表示画面の一例とその説明に用いる図である。
図8(a)は、検出希望条件が指定される際の指定画面の一例を示した図である。図8(a)に示した検出希望条件指定画面には、設置された監視カメラからのカメラ映像801、上面マップ802、ツールボックス803、ボタン806,807,812等が表示される。
ここで、利用者により、操作部410を介して、ツールボックス803から描画したい図形813が選択され、さらにその選択された図形813がカメラ映像801または上面マップ802上の所望の位置に配置されたとする。このようなツールボックス803から図形を選択する操作と、選択した図形をカメラ映像801または上面マップ802上の所望の位置に配置する操作は、それぞれ一回でもよいし、複数回行われてもよく、また選択される図形はその都度変更されてもよい。なお、ツールボックス803には、直線、フリーハンド曲線、自由多角形、矩形、台形、三角形、楕円、扇形などの図形描画と、図形を部分的に消去する消しゴムツールなどが含まれる。これらの図形などは一例であって、描画可能な図形は限定されるものではない。
このときの希望条件取得部404は、前述のように選択された図形を、表示部409を介して、カメラ映像801または上面マップ802上に重畳表示させる。図8(a)の例では、選択された図形が、カメラ映像801上に図形804のように半透明の状態で描画され、同様に、上面マップ上の図形805のように半透明の状態で描画された様子を示している。なお、カメラ映像801上の図形804と上面マップ802上の図形805とは、監視カメラの撮影条件に基づいて互いに射影変換されており、例えば利用者が選択した図形を変更した場合には、その選択図形が変更なされるごとに同期的に、形状が更新される。
また、検出希望条件指定用の指定画面には、カメラ映像801上での検出希望条件指定を補助するものとして、ボタン806が用意されている。利用者により操作部410を介してこのボタン806が押下されると、希望条件取得部404は、カメラ映像801を例えば参考文献2に示されているwatershedアルゴリズムなどの公知の手法により領域分割する。
参考文献2: SHAFARENKO, Leila; PETROU, Maria; KITTLER, Josef. Automatic watershed segmentation of randomly textured color images. IEEE transactions on Image Processing, 1997, 6.11: 1530-1544.
図8(b)は、領域分割されたカメラ映像808の一例を示した図である。カメラ映像の領域分割を行った場合、希望条件取得部404は、表示部409を介して、図8(b)のカメラ映像808で示すように、それら分割された領域ごとに色分けを行った表示を行わせる。ここで、利用者が操作部410を介して所望の分割領域を選択したとすると、希望条件取得部404は、表示部409を介して、その選択された分割領域809と同じ図形を描画させる。なお、図8(b)では、領域分割された領域として廊下の床の部分が選択された例を示している。
また本実施形態において、検出希望条件指定用の指定画面には、上面マップ802において分割領域の指定を補助するものとして、図8(c)に示すようなボタン807も用意されている。操作部410を介して利用者によりボタン807が押下されると、希望条件取得部404は、表示部409を介して、図8(c)に示すようなリストボックス810を表示させる。リストボックス810には、予め設計図面から作成した建物内の区画名が表示される。図8(c)は、ボタン807が押下されたときに画面表示されるリストボックス810の一例と、そのリストボックス810から所望の区画名が選択された場合の表示例とを示した図である。そして、利用者が、操作部410を用いてリストボックス810の中から所望の区画面を選択すると、希望条件取得部404は、表示部409を介して上面マップ802の対応する区画と一致した形状の領域811を描画させる。なお図8(c)では、監視カメラを設置した「会議室1前廊下」の区画名がリストボックス810から選択されたことで、上面マップ802上でその区画に対応した領域811が色分けして描画された表示例を示している。
なお、前述したようなボタン806またはボタン807が用いられた場合も、カメラ映像801と上面マップ802とでは、互いに対応する領域の図形の描画が同期的に更新される。またこれらの機能を使用した後でも、利用者により操作部410を介してツールボックス803が更に操作された場合には、希望条件取得部404により、その操作に応じて図形の修正が行われる。
また検出希望条件指定用の指定画面には、利用者が前述のような図形の選択と描画の操作を完了した際に押下するOKボタン812も用意されている。図形の選択と描画の操作が完了し、利用者が操作部410を介してOKボタン812を押下すると、希望条件取得部404は、描画された図形によって指定された領域を検出希望領域として特定する。
以上のようにして、利用者の指定の基づく検出希望領域の特定が行われた後、希望条件取得部404はその特定された検出希望領域の情報を記憶する。図7のフローチャートに説明を戻し、S702の後、情報処理装置の処理はS703に進む。
S703に進むと、検出条件決定部405は、撮影管理部406から現在の撮影条件S0を取得して、それを撮影条件Sとする。
次にS704に進むと、領域決定部403は、撮影条件Sに基づいて、検出可能領域G(S)を決定する。検出可能領域G(S)は、撮影条件Sの時に、検出部402が検出対象を信頼できる精度で検出可能であると推定される領域である。本実施形態では、検出対象の全体がカメラ映像内に含まれることと、検出対象がカメラ映像において充分な大きさを持つことを、検出部402が検出対象を信頼できる精度で検出できる条件として用いる。例えば人物の頭部や脚部が見切れによって欠けていたり、監視カメラから遠いために像が小さく撮影されたりした人物については精度が低下することが懸念される。このため、そのような映り方がしないと推定される領域として検出可能領域を決定することを意図している。したがって、領域決定部403は、検出対象の全体がカメラ映像内に含まれており、検出対象がカメラ映像において充分な大きさである場合、検出部402が検出対象を信頼できる精度で検出できると判定する。
以下、図9(a)〜図9(c)を用いて、領域決定部403が、撮影条件Sに含まれる監視カメラの設置高さと撮影角度とに基づいた近似式によって検出可能領域を決定する方法を説明する。ここでは、検出可能領域は上面マップで求め、カメラ映像上での検出可能領域は上面マップ上での領域を射影変換することによって求めるとする。
図9(a)は、カメラの設置高さh、カメラから床面への鉛直線、カメラの画角の上面チルト角θおよび下面チルト角φ等を表した模式図である。図9(a)において、床面は水平面であると仮定し、カメラの設置高さh、カメラから床面への鉛直線、画角の上面チルト角θおよび下面チルト角φは、カメラ設定より既知であるとする。なお、上面チルト角θおよび下面チルト角φは、カメラのチルト角とズームの設定値によって定まる。また図9(a)において、カメラの撮影焦点をO、カメラの撮影焦点から床面に引いた鉛直線の足をR0とする。
図9(b)は、上面マップにおけるカメラ位置を中心として上から見た模式図である。図9(b)に示すように、上面マップのカメラ位置を中心として半径rの円弧Rを描くと、その床面上の円周とカメラの撮影焦点との距離は√(r2+h2)で表せる。また画角の下辺が描く円弧R1の半径をr1とし、画角の上辺が描く円弧R2の半径r2とすると、半径r1はr1=h(tanφ)、半径r2はr2=h(tanθ)として求められる。
図9(c)は、カメラ映像の模式図である。図9(c)では、障害物が無いと仮定した場合に、床面に描かれた円弧を射影した直線が上下辺に平行に描かれている。図9(c)において、円弧Rに対応する直線をBとし、その直線Bと上辺との幅をbとする。特に上辺は円弧R1、下辺は円弧R2を射影した直線と一致する。また、直線Bの上に人物が立っており、その人物のカメラ映像中での高さをtとする。
ここで、カメラ映像上の像の大きさは、カメラからの水平距離に反比例して小さくなり、下記の値Lについて式(1)の関係が成り立つ。ここで、式(1)中のHはカメラ映像の高さであり、値Lはカメラ映像の下辺から円弧R0まで仮想的に延長した場合の、カメラ映像上での円弧R0から下辺までの高さをHと同じ単位で表した値である。
r:r2=(L+H−b):(L+H) 式(1)
また、カメラ映像の上辺と下辺でも式(1)と同様の関係が式(2)のように成り立つ。
1:r2=L:(L+H) 式(2)
さらに式(1)と式(2)を連立させてrについて解くと、式(3)のようになる。
r=r2−{(r2−r1)/H}・b 式(3)
カメラ映像上の像の大きさはカメラからの水平距離に反比例して小さくなるため、円弧R上に立った標準身長Tの人物のカメラ映像での高さtは、適当な係数Cのもとでt=CT/rと表せる。また人物画像が映像中からはみ出さない条件は、t<b<Hである。また検出可能な人物の高さの最小値をUとすると、人物画像が検出可能な大きさを持っている条件はt<Uである。またbの定義より当然b>0である。
そして、t<b、t<Uからtとrを消去してbについて解き整理すると、式(4)のようになる。すなわちこれは、カメラ映像で直線B上に立った人物の画像が検出可能となる条件である。
Figure 2020141288
この式(4)の第一の不等式がt<b、第二の不等式がt<Uに対応する。式(4)の両方の不等式を満たすbの範囲が検出可能領域となる。なお、式(4)の第一の不等式の根号の中が負の値をとる場合や、式(4)を満たすbが存在しない場合は、検出可能領域は「なし」とする。また、身長Tは例えば日本人の平均身長など、カメラの設置条件に応じて適当に定め、係数Cと人物の高さの最長値Uは、装置の製造者が事前に求めて設定しておく。図7のフローチャートに説明を戻す。S704の後、情報処理装置の処理はS705に進む。
S705に進むと、検出条件決定部405は、S702で利用者の指定を基に特定された検出希望領域Hと、S705で決定された検出可能領域G(S)とに基づいて、検出領域R(H,S)を決定する。本実施形態では、R(H,S)=G(S)∩H、すなわち検出希望領域と検出可能領域の共通部分が、検出領域として定められる。また、検出条件決定部405は、検出領域R(H,S)の上面マップ内での面積を求めて記録する。
次にS706において、検出条件決定部405は、本フロー内で未だS705において検出領域R(H,S)の計算を行っていない撮影条件に変更する余地があるかどうかを判断する。検出条件決定部405は、未だ検出領域R(H,S)の計算を行っていない撮影条件があると判断した場合には、S707に進んで新しい撮影条件の設定を選択し、そうでない場合はS708に進む。
ここで、本実施形態において、撮影条件に含まれるパン・チルト・ズームの設定値は、例えばパンは−60度から60度までの5度刻み、チルトは0度から30度までの3度刻み、ズームは0.25倍から8倍まで2倍ごとの等比で刻んだ値を取り得るものとする。本フローで撮影条件として探索する範囲は、これらの可能な組み合わせの集合である。
検出条件決定部405は、それら各組合せについて算出済みかどうかをチェックするテーブルを保持し、初期値として撮影条件S0に相当する設定のセルのみがチェックされたテーブルを保持する。
そして、S707に進むと、検出条件決定部405は、本フロー内で未だS705において検出領域R(H,S)の計算を行っていない、現在の撮影条件Sと異なる新たな撮影条件S'を選択する。そして、検出条件決定部405はテーブルの撮影条件S'に相当する設定のセルをチェックし、撮影管理部406はカメラ制御部407を介して撮影部401の状態を撮影条件S'に合わせて変更して、撮影条件S'を新たな撮影条件Sとする。S707の後、情報処理装置はS704の処理に戻る。
検出条件決定部405は、撮影条件S'の選択を、前述のテーブルで未チェックのセルを探索することによって行い、例えば参考文献3に示されているZ階数曲線探索などの公知の手法を用いて、撮影条件S0に近いカメラ設定から優先的に選択されるようにする。
参考文献3:LAWDER, Jonathan K.. ; KING, Peter J.. H.. . Querying multi-dimensional data indexed using the Hilbert space-filling curve. ACM Sigmod Record, 2001, 30.1: 19-24.
なお、探索方法はこれに限るものではない。例えば、検出条件決定部405は、全探索ではなくランダムに選択したサンプルセルで検出領域R(H,S)の面積を求め、サンプル間の補完によって面積が最大となる設定を推定してもよい。また例えば、検出条件決定部405は、撮影条件S0から非常に離れることによって検出領域が小さくなる傾向を検出して、充分な検出領域が得られないと判断すれば探索を早期に打ち切る処理を加えてもよい。
次にS708に進むと、検出条件決定部405は、上面マップ内での面積が最大値をとる撮影条件Smaxとそれに対応した検出領域R(H,Smax)の面積とを取得する。そして、検出条件決定部405は、その検出領域R(H,Smax)の面積と、初期の撮影条件S0での検出領域R(H,S0)の面積とを比較する。検出条件決定部405は、検出領域R(H,Smax)の面積の方が大きければS709に進み、撮影条件Smaxと検出領域R(H,Smax)を検出条件として決定して本フローを終了する。一方、検出領域R(H,S0)の面積の方が大きかった場合、情報処理装置の処理はS710に進み、このときの表示部409は、初期条件よりも良い検出条件を発見できなかったことを利用者に警告し、本フローを終了する。
なお検出条件決定部405は、面積を単純に比較するのではなく、検出領域R(H,Smax)の面積が検出領域R(H,S0)の面積の1.1倍を超えられなかった場合には、利用者が最初に設定した撮影条件を優先して検出条件を変更しないようにしてもよい。
第1の実施形態によれば、検出対象を検出可能な撮影条件の範囲を探索した上で、充分な検出領域、すなわち検出希望領域をなるべく含むような検出可能領域を持つ撮影条件を選択することで、効果的な検出領域を含む検出条件を決定することができる。そして、第1の実施形態によれば、利用者の検出希望領域と、監視カメラの検出可能領域とが効率よく重なる状態を、利用者に特別な知識を要求することなく容易に提示することができる。これにより、第1の実施形態によれば、効率的なカメラ配置の実現に寄与することができる。
(第2の実施形態)
第1の実施形態では、監視カメラの撮影条件に基づいて検出対象の検出が可能な領域であるかどうかを推定する方法を説明した。しかしながら、例えば床面に複雑な凹凸があったり、照明条件のような環境条件の変化が激しい部分が同一の映像に含まれていたりすると、検出対象の検出が可能な領域かどうかの正確な推定が困難になる場合がある。また、照明条件が検出精度に寄与する場合には、これも含めて撮影条件として調整したいことがある。
そこで、第2の実施形態では、監視カメラにより予め撮影された映像を用いて統計的な情報を取得し、その統計的な情報から検出可能領域を推定して検出領域の決定を行う方法を説明する。なお、ここでは第2の実施形態において、第1の実施形態に対して追加または変更された部分について説明し、第1の実施形態と共通な部分については説明を省略する。
図10(a)〜図10(c)を用いて、第2の実施形態における検出領域の設定方法を説明する。
図10(a)は、監視カメラにより撮影されたカメラ映像501と上面マップ502の表示例を示した図である。
第2の実施形態では、利用者によりカメラが設置されると、そのカメラによって例えば1日分の撮影が行われて解析用の映像の収集が行われる。なお、解析用映像の撮影中は、図10(a)のようにカメラ映像の監視は行えるが、未だ検出処理は動作していない。また解析映像の収集中は、撮影条件の設定を順次変動させるようにした撮影が行われる。
また、解析用映像の収集中は、撮影条件としてカメラの設定を変動させることの他に、照明条件のような環境条件を変動させることも行われる。図10(b)は、照明条件の変動例を説明する図である。例えば図10(b)に示すように、窓のブラインド1001の開閉や開閉量の調整による照明条件の変動、天井照明の光量の調整などにより床面1002の光量を変化させることなどによる照明条件の変動が、カメラ設定と併せて行われる。さらに、情報処理装置では、それら収集した解析映像を用いて、人体検出による人物1003の検出を行い、その人物の出現位置とサイズを記憶しておくようにする。
第2の実施形態では、このような解析映像の収集と人体検出等の処理の完了後、図10(c)に示すような画面を用いて検出領域の決定が行われる。第2の実施形態における検出可能領域1004は、検出可能性を0から1の間の数値で表現したヒートマップで表され、前述のように収集した解析映像から検出された人物の情報に基づいて決定される。そして、第2の実施形態では、その検出可能領域1004と、利用者の指定を基に特定された検出希望領域1005とに基づいて、検出領域1006が決定されて表示される。すなわち第2の実施形態の場合、検出領域1006は、人物等の検出可能性が一定の閾値よりも高い部分である検出可能領域1004と、利用者の指定を基に特定された検出希望領域1005との、共通部分として決定されて提示される。
また第2の実施形態の場合、図10(c)に示すように画面内にはスライドバー1007が用意されている。スライドバー1007は、検出可能性に対する閾値を利用者が設定するために用意されている。利用者は、スライドバー1007を動かすことで閾値を変更して、検出の精度と検出範囲のトレードオフを調整することができる。また第2の実施形態では、解析映像の収集の際に設定された様々な撮影条件に対応した複数の映像1008が画面上に表示されて、選択可能となされている。利用者はそれら複数の映像1008から所望の撮影条件に応じた映像を選択することができ、これにより検出条件決定部405は、その撮影条件に適した検出領域を選択することができる。
第2の実施形態では、以上のようにして撮影条件と検出領域が決定され、それらを以後の検出時における検出条件として用いる。このように、第2の実施形態では、このように監視カメラにより実際に撮影された映像に基づいて、検出可能性の決定を行うことができる。
以上のような第2の実施形態における動作を実現するための動作フローを、図11を用いて説明する。
図11のS701、S702は、図7に示した第1の実施形態と同様の処理ステップであるが、第2の実施形態の場合、S701において、撮影管理部406は、撮影場所の照明の状態と窓のブラインドの状態などの証明条件も、撮影条件に含めて取得する。S702の次はS1103の処理に進む。
S1103において、撮影部401、カメラ制御部407による制御の下で、解析用の映像を例えば30分間撮影し、その解析用映像を記憶部408に記録する。
次にS1104において、検出条件決定部405は、S1103で撮影して記録された解析用の映像について人体検出を行う。
次にS1105において、検出条件決定部405は、S1104で解析用の映像から検出した人物についての情報を、記憶部408に記録する。この時、記録する情報には、カメラ映像内における人物の位置とサイズの情報を含む。また記録された情報は、現在の撮影条件ごとに分けて記録され、後に別の撮影条件でS1105の処理が実行された際に混合しないようにする。
次にS1106において、検出条件決定部405は、予め定めた撮影条件の集合についてすべての撮影が完了しているかどうかを判断し、撮影が完了していなければS1107の処理に進み、撮影が完了していればS1108の処理に進む。
S1107に進むと、検出条件決定部405は、第1の実施形態のS709と同様に、未だ撮影していない撮影条件を選択し、その撮影条件を撮影管理部406に反映させてから、S1103の処理に戻る。第2の実施形態の場合、ここで撮影条件には、監視カメラの撮影条件に加えて、先に述べた照明や窓のブラインドによる照明条件も含められ、それら照明条件も併せて選択される。
S1108に進むと、領域決定部403は、S1105において記録された撮影条件ごとに、検出可能性分布を求め、その検出可能性分布を用いて検出可能領域を決定する。
図12は、第2の実施形態において領域決定部403で行われる検出可能領域の決定方法を説明するための図である。
領域決定部403は、まず、解析用映像1201の中に出現した人物画像Pのそれぞれについて、検出可能性VPの数値を計算する。そして、領域決定部403は、人物画像Pを代表した代表点の位置1203に、計算で求めた検出可能性VPの値をプロットする。
ここで、領域決定部403は、人物画像Pのサイズ、縦横比、平均輝度値、画像鮮鋭度、人体検出の確度スコアなどの指標値に基づいて検出可能性VPを求める。例えば、指標値ごとに装置の製造者が事前に評価した検出部402の検出精度のテーブルを保持しておき、領域決定部403は、このテーブルを参照することによって検出可能性VPを求める。あるいは、テーブルから近似曲線を多項式などで求めて保持しておき、領域決定部403は、各指標値を近似曲線の式に当てはめることで検出可能性VPを求める。なお、検出可能性VPの値域は0から1とし、その数値が大きいほど検出可能性が高いものとする。また、代表点は例えば外接矩形の下辺中心の点とする。
そして、領域決定部403は、撮影条件Sで撮影された映像のすべてのフレームに映っている人物画像について、プロット例1204に示するように検出可能性のプロットを行う。そして、図12の例では、検出可能性のプロットの結果として、領域1205で示すような検出可能性分布DSが推定されたとする。
ここで検出可能性分布DSは、例えば混合ガウス分布(GMM)によって表される分布とし、検出可能性分布の推定には例えばEMアルゴリズムなどの公知の方法を用いることができる。またここである閾値Tを定めると、領域決定部403は、検出可能性分布DSの値が閾値T以上の値DS(T)をとる領域1206を定義することができる。なお、閾値Tは、利用者が予め設定した値を用いる。後述するS1109では、領域決定部403は、検出可能性分布DSと閾値Tとから定まる領域DS(T)が、検出可能領域として用いられる。
そして、領域決定部403は、S1105で記録した撮影条件のそれぞれについて検出可能性分布を算出した後、S1109の処理に進む。
S1109に進むと、検出条件決定部405は、S1105で記録した撮影条件Sのそれぞれについて検出可能領域DS(T)を求めて、検出希望領域との共通部分から検出領域を決定する。そして、検出条件決定部405は、上面マップでの面積が最も大きくなる領域を選択して、表示部409に表示させる。
なお、検出可能領域を表示部409に表示する際は、検出可能領域DS(T)そのものを示す他に、検出可能性分布DSを例えば色の濃淡や色相によって変化させてヒートマップとして表示してもよい。
次に、S1110において、操作部410を介し、利用者が使用を希望する検出希望領域と対応する撮影条件を選択する入力を受け付けると、検出条件決定部405は、その選択された検出領域と撮影条件とを検出条件として決定して、本フローを終了する。
なお、閾値Tは、利用者が操作部410で変更できるようにしてもよい。この場合、領域決定部403は、操作部410から閾値Tの変更を受理すると、S1109に戻り、検出可能領域DS(T)を再計算して表示部409で提示し直す。
以上説明したように、第2の実施形態によれば、予め撮影して収集した解析映像を用いた統計的な情報から検出可能領域を推定して検出領域の決定を行うことができる。
(第3の実施形態 )
第1、第2の実施形態では、単一の監視カメラについて好適な検出条件を選ぶ方法を説明した。しかしながら、複数の監視カメラを連携して運用する場合には、監視カメラシステム全体の組み合わせとして好適になるように検出条件を設定することが望ましい。第3の実施形態では、複数の監視カメラを連携して運用する監視カメラシステムにおいて、システム全体の組み合わせとして好適になる検出条件を設定可能とする方法を説明する。なお、ここでは第1の実施形態に対して追加または変更される部分について説明し、共通部分については説明を省略する。またここでは第1の実施形態を元にして説明するが、第2の実施形態についても同様に第3の実施形態の処理は適用可能である。なお、以下の説明では2つの監視カメラを連携して運用する例を挙げるが、監視カメラが3つ以上である場合も同様の処理を行うことができる。
図13(a)は、監視カメラを2台を用いた場合の例を説明するための上面マップを示した図である。この例のように、利用者は、監視カメラ1301と監視カメラ1302を用いて検出対象の検出を行うことを企図しており、利用者からの指定に基づいて特定される検出希望領域は範囲1303であるとする。図13(b)は図13(a)の例において好適と考えられる検出領域を示しており、領域1305が監視カメラ1301の検出領域であり、領域1304が監視カメラ1302の検出領域であるとする。しかし、単純に各々の監視カメラで独立に検出領域を定めると、図13(c)の領域1306のような検出領域が設定されてしまい、両カメラ間で重複部分が出てしまう上に、監視カメラ1301の手前側の部分の検出領域が狭くなってしまうことがある。
そこで、第3の実施形態では、図13(a)のような複数の監視カメラが運用される場合に好適な検出領域の設定を行う方法を説明する。
第3の実施形態のフローは基本的に図7のフローと同様であるが、第3の実施形態の場合は、S709で用いる撮影条件Sを、複数の監視カメラの組み合わせに拡張することで対応する。
図14(a)〜図14(d)には、第3の実施形態において撮影条件として使用する項目と、各撮影条件に対応した値の範囲とのリスト1401〜1404の例を示している。
第3の実施形態の場合、図14(a)のリスト1401に示すように、カメラ1、カメラ2の2つの監視カメラのそれぞれについてパン、チルト、ズームの値が、独立した撮影条件として保持される。またリストには、第2の実施形態で説明したような、カメラに依存しない環境条件であるブラインドなどの照明条件の状態も合わせて保持されている。図14(b)に示したリスト1402は、具体的な撮影条件の項目と値の範囲を保持したリストの一例であり、それぞれのカメラの項目と環境条件の設定値との組み合わせによって、システム全体としての撮影条件が定められている。
第3の実施形態の場合、領域決定部403は、撮影条件として前述したリストの8項目の組み合わせについて探索を行い、上面マップでの検出可能領域が最大となる撮影条件Smaxと、その条件での検出領域R(H,Smax)とを探索する。ただし、総当たりで探索を行うと、カメラ台数が増加した場合に組み合わせ数が指数的に増大し、検出領域の決定に長大な時間がかかることになる。この場合、撮影条件を、監視カメラごとの部分撮影条件に分割し、それら部分撮影条件から第1の実施形態の方法で検出可能領域をそれぞれ求めてから、部分撮影条件ごとの検出可能領域を組み合わせる方法を取って処理量を削減してもよい。また例えば、いわゆる貪欲法で検出領域が最も広いカメラから順に撮影条件を決定するようにしてもよいし、例えば多数のカメラで視野が重複する領域から順に決定するなどの方法で処理量を削減してもよい。
図14(b)の撮影条件のリスト1402を部分撮影条件に分割した例が図14(c)のリスト1403、および図14(d)のリスト1404である。部分撮影条件は、単独のカメラの項目と、関連する環境条件との組み合わせであり、それぞれの部分撮影条件は第1の実施形態における撮影条件と同様である。なおこの例の場合、ブラインドの環境条件(照明条件)は、ブラインドが撮影範囲の近くにあるカメラ1の部分撮影条件のみに含まれる。
領域決定部403は、まずカメラ1がとりうる部分撮影条件S11,・・・,S1nのそれぞれについて、カメラ1における検出可能領域G(S11),・・・,G(S1n)を算出する。同様に、領域決定部403は、カメラ2がとりうる部分撮影条件S21,・・・,S2mのそれぞれについてカメラ2における検出可能領域G(S21),・・・,G(S2m)を算出する。次に、領域決定部403は、カメラ1の検出可能領域G(S1i)とカメラ2の検出可能領域G(S2j)の和集合G(S1i)∪G(S2j)(1≦i≦n、1≦j≦m)を求める。さらに、領域決定部403は、和集合G(S1i)∪G(S2j)のうち、検出領域R(H,{S1i,S2j})の上面マップでの面積が最も大きくなる部分撮影条件{S1i,S2j}の組み合わせを求める。そして、領域決定部403は、それら部分撮影条件S1iとS2jを合併した撮影条件を、上面マップでの検出可能領域が最大となる撮影条件Smaxとする。なお、領域決定部403は、部分撮影条件S1iとS2jの組み合わせのうち、環境条件が両立しないものは除外する。例えば部分撮影条件S1iが「照明:全灯」で、部分撮影条件S2jが「照明:消灯」の場合は両立しないためそれらは除外される。
また第3の実施形態においては、さらに処理量を減らすため、検出領域に制約を加える方法が用いられてもよい。図14(e)は図13(a)で説明した検出希望領域に、重点撮影ポイント1405の指定を加えた例を示した図である。重点撮影ポイント1405は、利用者によって撮影が強く希望された重要な場所を示したポイントである。領域決定部403は、操作部410を介して、利用者から検出希望領域に加えて重要撮影ポイントが指定されると、その重要撮影ポイントを加味して検出可能領域を決定する。なお、図14(e)では、建物の入り口に重点撮影ポイント1405が指定された例を示しており、重点撮影ポイント1405を含む領域が検出可能領域として決定されている。
また領域決定部403は、重点撮影ポイントを含まなければならないという制約が設けられた場合、検出可能領域G(S1i)とG(S2j)のいずれも重点撮影ポイントを含まない部分撮影条件{S1i,S2j}の組み合わせを除外することができる。
なお、重点撮影ポイントは複数指定されてもよく、その場合、領域決定部403は、検出領域がすべての重点撮影ポイントを含むように撮影条件を探索する。
また、第3の実施形態において、すべての重点撮影ポイントを含むような撮影条件が得られなかった場合には、前述の実施形態のS710と同じような警告が行われてもよい。
第3の実施形態によれば、以上のようにすることで、複数の監視カメラを利用した際にも全体として好適な検出条件を決定することができる。
(第4の実施形態 )
第1から第3の実施形態では、異常な行動をとった人物の検出という1種類の特性の検出を行うシステムを例に挙げて説明した。しかしながら、検出したい特性が複数あって、複数の検出方法を用いたい場合がある。このとき、それぞれの検出方法について、検出処理の特性の違いによって、検出可能領域が異なることが一般的であり、したがって全体として適切な検出条件を設定する必要がある。
そこで第4の実施形態では、複数の検出方法を備えたシステムにおいて、それぞれ異なる検出可能領域を同時に調整する方法を説明する。
第4の実施形態における検出部402は、異常な行動をとった人物を検出する異常検出処理に加えて、人物の顔検出も公知の手法によって行うものとする。
図15は、第2の実施形態の図10(c)で説明した検出条件設定画面を、2種類の検出方法を持つ第4の実施形態において拡張した例を示した図である。図15において図10(c)と同じ参照符号が付された要素は、第2の実施形態で説明したものと同じ機能を持ち、それらの説明は省略し、以下、第4の実施形態で追加された部分について説明する。
検出可能領域の分布1501と1502は、検出方法ごとに表示される。分布1501は異常検出における検出可能領域の分布の一例を示し、分布1502は顔検出における検出可能領域の分布の一例を示している。異常検出では人体の全身から特徴を検出するため、例えば手前側で人体の一部分が画面外に出た場合には検出可能性が下がることになる。一方、顔検出では顔が映っていればよいので、より手前側でも検出される可能性が高い。しかし、顔は人体と比較すると相対的に小さいため、例えば奥側で顔の画像が小さくなると、顔の特徴を捉えることが難しくなることがある。
分布1503は、それら異常検出における検出可能領域の分布1501と、顔検出における検出可能領域の分布1502との、2つの検出可能領域の分布を合併して表示した画面である。領域決定部403は、異常検出と顔検出の2つの分布の各点での重み付きの平均を取ってからスムージングすることによって分布1503を求める。分布1503は、異常検出と顔検出の両方について検出可能性が高い部分を示す分布となる。
また本実施形態において、それら異常検出と顔検出とにおける2つの検出可能領域を表す分布に対する重みは、スライドバー1504と1505を用いて調整可能となされておいる。領域決定部403は、利用者によりスライドバー1504や1505が調整されると、その調整の値に応じて、2つの検出可能領域の分布に対する重みを設定する。これにより、利用者は、例えば玄関など人通りが多い場所については、顔検出に対応したスライドバー1505を調整して入退場者管理のため顔検出の優先度を上げるような設定を行うことができる。また、利用者は、例えば人通りが少なく目の届きにくい場所については、異常検出に対応したスライドバー1504を調整して異常検出を優先するような設定を行うことができる。
なお、合併分布の算出方法としては、分布の各点の相乗平均や最大値をとる方法や、点ごとではなく畳み込み平均を用いたりするなど他の方法が用いられてもよい。
また第4の実施形態の場合、検出領域1006は、それら合併された分布から定まる検出可能領域と、検出希望領域1005とから決定される。
第4の実施形態に係るフローは、前述の図11と同様であるが、第4の実施形態の場合は検出部402が複数の検出方法を実行可能となされていることで、以下の処理が追加されている。
第4の実施形態の場合、S1104において、検出条件決定部405は、人体検出に加えて顔検出を行い、S1105において、顔についての情報を合わせて記録する。
またS1108において、領域決定部403は、それぞれの検出方法ごとに検出可能性の分布を推定し、それらの分布から先に述べたような合併分布を作成する。顔検出の検出可能性は、例えば顔の目幅のサイズから検出可能性への関数を、数式やテーブルによって異常検出のものとは別に予め定めておく。そして、領域決定部403は、合併分布と閾値によって定まる領域を最終的な検出可能領域とする。
またS1109において、領域決定部403は、図15に示したように表示部409を介して検出領域を表示させ、合わせてそれぞれの検出方法に対応する検出可能領域も表示させる。
また第4の実施形態の場合、S1110において、操作部410を介した図15のスライドバー1504や1505からの入力により、各検出方法に対する重みを利用者が合わせて指定できるようにする。
第4の実施形態によれば、以上のようにして、複数の検出方法を備えたシステムにおいて、それぞれ異なる検出可能領域を同時に調整することができる。なお、検出方法が3つ以上に増えた場合でも前述同様の方法で拡張可能である。
(第5の実施形態)
第1から第4の実施形態では、利用者が、検出希望条件を検出希望領域として具体的に指定できるシステムの例を挙げた。しかしながら、利用者にとっては、具体的な検出希望領域を指定することがしばしば難しい場合がある。第5の実施形態では、撮影箇所の環境情報に基づき、より柔軟な形で利用者が検出希望条件を指定できるようにする方法を説明する。
図16(a)〜図16(f)は、第5の実施形態における検出希望条件の設定方法の説明に用いる図である。
図16(a)に示した個所1601や、同じく図16(b)に示した個所1602は、路面上に凹凸がある箇所を表しているとする。また図16(a)に示した領域1603や、図16(b)に示した領域1604は、それぞれドアの前の領域を示している。個所1601,1602に示した凸凹個所は例えば人がつまずきやすい箇所であり、領域1603,1604のドアの前領域は例えば人が出合い頭に衝突する可能性ある領域である。このような場合、利用者が、それら個所1601,1602や領域1603,1604について、注意領域として検出できるような設定を行いたくなると想定される。ただし、具体的に異常の可能性が高そうな箇所などを前もって予測し、それらを注意領域として指定することは必ずしも容易でない。例えば個所1601の凹凸はカメラ映像では視認し難い場合があり、例えば領域1603のドアの前領域で特に強調する情報がない場合は衝突の可能性に利用者が注意を向けないことがありうる。
そこで、第5の実施形態では、利用者が、直接、検出希望領域を指定するのではなく、図16(c)に示すような検出希望条件指定のためのダイアログ1605を用いて検出希望条件を設定する例を説明する。
検出条件決定部405は、最初に撮影環境における環境情報を収集する。環境情報は、上面マップの建物見取り図や設計図、周辺地図などの情報、カメラ映像からの物体認識の結果、カメラに搭載された測距装置やGPSなどの位置情報を含む。そして、検出条件決定部405は、これらの環境情報と、利用者からの検出希望条件とに基づいて、注意箇所を検出する。
ダイアログ1605は、検出領域の優先条件を指定するラジオボタン1606を備えており、検出条件決定部405は、利用者によりラジオボタン1606の中から優先したい条件が選択されると、その選択されたラジオボタンの情報を取得する。
ここで、ラジオボタン1606のなかで、例えば「なるべく広く」のボタンが選択された場合、検出条件決定部405は、検出領域を広くするような検出条件を、第1の実施形態と同様の処理により設定する。また例えば「路面の段差」のボタンが選択された場合、検出条件決定部405は、環境情報に含まれる上面マップから段差のある領域を注意箇所として登録し、検出可能領域が注意箇所を含むことを条件として検出領域を決定する。また例えば、「出会い頭の衝突可能性」のボタンが選択された場合、検出条件決定部405は、環境情報に含まれるドアについて、ドアに面する領域を注意箇所として登録し、検出可能領域が注意箇所を含むことを条件として検出領域を決定する。検出条件決定部405は、これらいずれの場合も注意箇所が複数検出された場合には、それら注意箇所を含むように検出領域を決定する。
なお、個所1601や領域1603のような注意箇所の領域を示した映像は、表示部409に参考情報として表示してもよいが、監視カメラが多数あって煩雑な場合などは必ずしも表示しなくともよい。
また、他の例として、利用者がダイアログで検出条件を明示的に指定する代わりに、それぞれの優先条件で検出領域を決めてから、利用者に提示して選ばせる方法が用いられてもよい。図16(d)の検出領域1608は、ラジオボタン1606の「なるべく広く」の条件で決定した検出領域を表している。また図16(e)の検出領域1609は、ラジオボタン1606の「路面の段差」の条件で決定した検出領域を表している。図16(f)の検出領域1610は、ラジオボタン1606の「出会い頭の衝突可能性」の条件で決定した検出領域を表している。これら検出領域1608,1609,1610のうち、特に領域1611が検出領域を表し、領域1615の部分は検出領域の決定に利用した注意箇所、領域1614の部分は利用しなかった注意箇所を表している。
検出条件決定部405は、それぞれの優先条件で検出領域を決定し、それら決定された検出領域を、表示部409を介して表示させる。例えば利用者が3つの検出領域から実際に検出に使用する領域を選択した場合、検出希望条件指定のダイアログ1605と同様の効果が得られることになる。ただしこの場合、利用者は明文化された優先条件を明示的に選択することなく検出領域を決めることが出来る。
前述のような検出領域を決める場合、S705において、検出条件決定部405は、検出条件Sを決定する際に、検出希望領域Hに基づく検出領域R(H,S)を最大化する代わりに、注意箇所をどれだけ含むかのスコアISを最大化するように動作すればよい。スコアISは、検出可能領域G(S)に全体が含まれる注意箇所の個数として定められる。なお、部分的に含まれる注意箇所は、その割合をスコアISに加えたり、カメラ画像上の大きさに応じたボーナスを与えたりしてもよい。
なお、環境情報から得られる注意箇所は、前述した例の他に、撮影箇所に置かれた消火器などの物体、マンホールなどの穴、人が足を引っかける可能性のあるコード、頭をぶつける可能性のある懸垂物、やけどの可能性がある熱源などの物体が加えられてもよい。また、段差の他に床面のスロープやへこみ、照明が暗い箇所や変化が大きい箇所などの条件が加えられてもよい。さらに暗い場所の懸垂物など、これらの注意箇所を組み合わせた優先条件が設定されてもよいし、複数の優先条件に優先順位をつけて選択できるようになされてもよい。
(その他の実施形態)
本発明は、前述の各実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
101:撮影部、102:撮影設定部、103:検出部、104:領域決定部、105:希望条件取得部、106:検出条件決定部、301:監視カメラ群、304:解析サーバー、303:システム管理サーバー、305:録画サーバー、308:端末装置

Claims (18)

  1. 撮影装置が映像を撮影する際の撮影条件を設定する設定手段と、
    前記撮影条件に基づいて、映像内で検出対象を検出可能な検出可能領域を決定する領域決定手段と、
    利用者が検出対象の検出を希望する検出希望条件を取得する取得手段と、
    前記検出希望条件と、少なくとも一つの撮影条件に基づいて決定された前記検出可能領域とに基づいて、前記映像から前記検出対象を検出する検出条件を決定する条件決定手段と、
    を有することを特徴とする情報処理装置。
  2. 入力された映像から、前記検出条件に基づいて検出対象を検出する検出手段をさらに有することを特徴とする請求項1に記載の情報処理装置。
  3. 前記取得手段は、利用者が前記検出対象の検出を希望する検出希望領域を含む前記検出希望条件を取得することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記検出条件には前記検出を実行する映像中の領域である検出領域が含まれることを特徴とする請求項1から3のいずれか1項に記載の情報処理装置。
  5. 前記検出可能領域と、前記検出希望条件と、前記検出条件とのうち、少なくとも一つを表示する表示手段をさらに有することを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
  6. 前記撮影条件は前記撮影装置の撮影方向を含み、
    前記領域決定手段は、前記撮影方向に基づいて、前記検出可能領域を決定することを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。
  7. 前記設定手段は、前記撮影条件として所定の条件の集合を設定し、
    前記領域決定手段は、前記所定の条件の集合のそれぞれについて前記検出可能領域を決定し、
    前記条件決定手段は、前記検出可能領域のそれぞれによって決定される検出条件から少なくとも一つの検出条件を選択して決定することを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。
  8. 前記条件決定手段は、前記検出希望条件に適合する前記検出可能領域の部分の面積に基づいて前記検出条件を選択することを特徴とする請求項7に記載の情報処理装置。
  9. 前記領域決定手段は、前記撮影装置により予め撮影された解析用の映像を解析した結果に基づいて前記検出可能領域を決定することを特徴とする請求項1から8のいずれか1項に記載の情報処理装置。
  10. 前記領域決定手段は、前記解析用の映像に基づいて、出現する検出対象の分布を推定し、前記分布に基づいて前記検出可能領域を決定することを特徴とする請求項9に記載の情報処理装置。
  11. 前記解析用の映像は、前記設定手段により設定された複数の異なる撮影条件ごとに撮影された映像であることを特徴とする請求項9または10に記載の情報処理装置。
  12. 前記領域決定手段は、前記撮影装置により撮影された複数の映像について、複数の検出可能領域の決定を行い、
    前記条件決定手段は、前記複数の検出可能領域に基づいて前記検出条件を決定することを特徴とする請求項1から11のいずれか1項に記載の情報処理装置。
  13. 前記領域決定手段は、前記撮影装置により撮影された複数の映像のうち、利用者から指定された重点撮影ポイントを含む映像を基に、前記検出可能領域を決定することを特徴とする請求項12に記載の情報処理装置。
  14. 前記領域決定手段は、複数の前記検出対象についてそれぞれ前記検出可能領域を決定し、
    前記条件決定手段は、前記複数の検出対象について決定された前記検出可能領域に基づいて検出条件を決定することを特徴とする請求項1から13のいずれか1項に記載の情報処理装置。
  15. 前記条件決定手段は、前記複数の検出対象について決定された複数の前記検出可能領域について、利用者からの指定に応じた優先度を設定して前記検出条件を決定することを特徴とする請求項14に記載の情報処理装置。
  16. 前記取得手段は、環境情報に基づく注意箇所を検出領域に含む前記検出希望条件を取得することを特徴とする請求項1から15のいずれか1項に記載の情報処理装置。
  17. 情報処理装置が実行する情報処理方法であって、
    撮影装置が映像を撮影する際の撮影条件を設定する設定工程と、
    前記撮影条件に基づいて、前記映像から検出対象を検出可能な検出可能領域を決定する領域決定工程と、
    利用者が前記検出対象の検出を希望する検出希望条件を取得する取得工程と、
    前記検出希望条件と、少なくとも一つの撮影条件に基づいて決定された前記検出可能領域とに基づいて、前記映像から前記検出対象を検出する検出条件を決定する条件決定工程と、
    を有することを特徴とする情報処理方法。
  18. コンピュータを、請求項1から16のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2019036157A 2019-02-28 2019-02-28 情報処理装置、情報処理方法、及びプログラム Pending JP2020141288A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019036157A JP2020141288A (ja) 2019-02-28 2019-02-28 情報処理装置、情報処理方法、及びプログラム
US16/799,659 US11533424B2 (en) 2019-02-28 2020-02-24 Information processing apparatus for performing setting of monitoring camera and method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019036157A JP2020141288A (ja) 2019-02-28 2019-02-28 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020141288A true JP2020141288A (ja) 2020-09-03
JP2020141288A5 JP2020141288A5 (ja) 2022-03-02

Family

ID=72236401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019036157A Pending JP2020141288A (ja) 2019-02-28 2019-02-28 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US11533424B2 (ja)
JP (1) JP2020141288A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021145071A1 (ja) * 2020-01-14 2021-07-22 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11849209B2 (en) * 2021-12-01 2023-12-19 Comoto Holdings, Inc. Dynamically operating a camera based on a location of the camera
EP4297393A1 (en) * 2022-06-21 2023-12-27 Nokia Technologies Oy Object-dependent image illumination

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008098858A (ja) * 2006-10-10 2008-04-24 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP2013218571A (ja) * 2012-04-10 2013-10-24 Toyota Motor Corp 画像認識装置および運転支援装置
JP2014116912A (ja) * 2012-12-12 2014-06-26 Canon Inc 画像処理装置、画像処理装置の制御方法およびプログラム
JP2016220145A (ja) * 2015-05-25 2016-12-22 キヤノン株式会社 画像解析装置、画像解析方法、およびプログラム
JP2017073670A (ja) * 2015-10-07 2017-04-13 キヤノン株式会社 画像処理装置、画像処理方法および画像処理システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602006009191D1 (de) * 2005-07-26 2009-10-29 Canon Kk Bildaufnahmegerät und -verfahren
WO2007067721A2 (en) * 2005-12-08 2007-06-14 Lenel Systems International, Inc. System and method for counting people near objects
JP5422859B2 (ja) 2010-03-31 2014-02-19 株式会社日立製作所 監視装置および不審行動検出方法
JP5925068B2 (ja) * 2012-06-22 2016-05-25 キヤノン株式会社 映像処理装置、映像処理方法、およびプログラム
JP6524910B2 (ja) * 2013-10-01 2019-06-05 日本電気株式会社 物体検出装置、物体検出方法および学習装置
US11019251B2 (en) * 2017-01-30 2021-05-25 Canon Kabushiki Kaisha Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008098858A (ja) * 2006-10-10 2008-04-24 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP2013218571A (ja) * 2012-04-10 2013-10-24 Toyota Motor Corp 画像認識装置および運転支援装置
JP2014116912A (ja) * 2012-12-12 2014-06-26 Canon Inc 画像処理装置、画像処理装置の制御方法およびプログラム
JP2016220145A (ja) * 2015-05-25 2016-12-22 キヤノン株式会社 画像解析装置、画像解析方法、およびプログラム
JP2017073670A (ja) * 2015-10-07 2017-04-13 キヤノン株式会社 画像処理装置、画像処理方法および画像処理システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021145071A1 (ja) * 2020-01-14 2021-07-22 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
US11533424B2 (en) 2022-12-20
US20200280683A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
US10796543B2 (en) Display control apparatus, display control method, camera system, control method for camera system, and storage medium
JP5617100B2 (ja) センサ統合システム及びセンサ統合方法
JP2020141288A (ja) 情報処理装置、情報処理方法、及びプログラム
RU2484531C2 (ru) Устройство обработки видеоинформации системы охранной сигнализации
RU2561925C2 (ru) Способ определения оптимальной конфигурации системы видеомониторинга леса
US9241138B2 (en) Image monitoring apparatus, image monitoring system, and image monitoring system configuration method
US10404947B2 (en) Information processing apparatus, information processing method, camera system, control method for camera system, and storage medium
JP7085812B2 (ja) 画像処理装置およびその制御方法
JP2008040781A (ja) 被写体照合装置および被写体照合方法
US20220171068A1 (en) Damage detection and analysis using three-dimensional surface scans
CN116092018B (zh) 一种基于智慧建筑的消防隐患监测方法及系统
US20020052708A1 (en) Optimal image capture
KR20130141159A (ko) 불법 주정차 단속 방법 및 시스템
JP2005086626A (ja) 広域監視装置
JP2017207872A (ja) センサ設置位置支援装置
KR101840042B1 (ko) 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템
JP2021185663A (ja) 映像監視装置、映像監視方法及びプログラム
JP7146416B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP2003109001A (ja) 人物検出システム、及び人物検出プログラム
KR101937582B1 (ko) 인도 보안 안전 시스템
JP2013134186A (ja) カメラパラメータ測定装置、カメラパラメータ測定方法、及びプログラム
CN112866631B (zh) 一种区域确定方法、系统、装置及电子设备
JP2016116137A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2017028688A (ja) 画像管理装置、画像管理方法及びプログラム
KR101886856B1 (ko) 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230712

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231003