JP2016100770A - 情報処理装置、監視システム、情報処理方法、及びプログラム - Google Patents

情報処理装置、監視システム、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2016100770A
JP2016100770A JP2014236730A JP2014236730A JP2016100770A JP 2016100770 A JP2016100770 A JP 2016100770A JP 2014236730 A JP2014236730 A JP 2014236730A JP 2014236730 A JP2014236730 A JP 2014236730A JP 2016100770 A JP2016100770 A JP 2016100770A
Authority
JP
Japan
Prior art keywords
execution
information
video data
camera
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014236730A
Other languages
English (en)
Inventor
野村 修
Osamu Nomura
修 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014236730A priority Critical patent/JP2016100770A/ja
Publication of JP2016100770A publication Critical patent/JP2016100770A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】将来、被写体の映像データを、より高品質に取得又は記憶ができるようにすることを目的とする。【解決手段】複数の撮影手段のうち、少なくとも1つの撮影手段により撮影された被写体の画像から前記被写体の状態情報を取得する取得手段と、前記取得手段により取得された前記状態情報と前記複数の撮影手段の配置情報とに基づいて、前記複数の撮影手段により撮影される映像データの容量に関するパラメータを変更する変更手段と、を有する。【選択図】図3

Description

本発明は、情報処理装置、監視システム、情報処理方法、及びプログラムに関する。
従来のマルチカメラ監視システムでは、例えばテロ事件が発生した場合、事件発生後に、複数のカメラにより取得された膨大な映像について映像分析を実施している。
この場合、全カメラの過去のデータを全て同一条件(データフォーマット)で取得し、保存しておくことが理想である。しかし、データの記憶領域、通信トラフィック等のリソースに限りがあるため、全カメラの過去のデータを全て同一条件(データフォーマット)で取得し、保存しておくことは、非常に困難であるという問題がある。
この問題に対して、重要度に応じて画像を圧縮したり、フレームを間引いて蓄積したりすることでリソースを適当に配分する技術がある。例えば、特許文献1に示す監視システムである。
特許第5062407号公報
しかし、特許文献1の技術では、現時点で検出した特徴領域を含む画像だけを対象として画像の圧縮強度を調整するため、将来において、被写体の映像データを、より高品質に取得又は記憶ができなかった。
そこで、本発明は、将来、被写体の映像データを、より高品質に取得又は記憶ができるようにすることを目的とする。
そこで、本発明の情報処理装置は、複数の撮影手段のうち、少なくとも1つの撮影手段により撮影された被写体の画像から前記被写体の状態情報を取得する取得手段と、前記取得手段により取得された前記状態情報と前記複数の撮影手段の配置情報とに基づいて、前記複数の撮影手段により撮影される映像データの容量に関するパラメータを変更する変更手段と、を有する。
本発明によれば、将来、被写体の映像データを、より高品質に取得又は記憶ができるようにすることができる。
監視システムのシステム構成等の一例を示す図である。 コントロールセンターの詳細等の一例を示す図である。 監視システムの処理の一例を示すフローチャートである。 監視システムの取得画像及び処理画像の一例を示す図である。 監視システムのカメラの配置関係の一例を示す図である。 予想移動領域の一例を示す図である。 遅延期間を考慮した予想移動領域の一例を示す図である。 監視システムの処理の一例を示すフローチャートである。 監視システムの処理の一例を示すフローチャートである。 予想移動領域の一例を示す図である。 予想移動領域の一例を示す図である。 監視システムの処理の一例を示すフローチャートである。 監視システムの処理の一例を示すフローチャートである。 予想移動領域の一例を示す図である。 監視システムの処理の一例を示すフローチャートである。 カメラの空間配置情報の一例を示す図である。 実際のカメラの位置関係の一例を示す図である。
以下、本発明の実施形態について図面に基づいて説明する。
<実施形態1>
図1は、監視システムのシステム構成等の一例を示す図である。図1(a)は、本実施形態における監視システムのシステム構成を示す。監視システムは、複数のカメラ1と、ネットワークを介して複数のカメラ1に接続されたコントロールセンター2と、を含む。
なお、図1(a)における複数のカメラ1の配置状態は、地面に対して垂直方向上空から観察したカメラの配置状態であり、地面に対して平行な平面(図1(a)のx−y平面、以下では、x−y平面)上における配置状態である。図1(a)において、建物、道路等のその他の構造物の記載は、省略されている。
コントロールセンター2は、ネットワークを介して複数のカメラ1と接続されており、実際には複数のカメラ1と離れた位置に存在している。図1(a)において、コントロールセンター2は、便宜上カメラと同じ図中に描写されている。
図1(b)は、実際に複数のカメラ1を構成する各カメラ(以下では、構成カメラ)が設置されている状況の一例を示す図である。図1(b)に示すように、各構成カメラは、予め定められた範囲を撮像できるように建物3、電信柱4等に固定される。
本実施形態における構成カメラは、撮像範囲に対し、更に距離情報を取得する距離画像取得装置を備えている。図1(b)の例では、前記距離画像取得装置は、構成カメラ、光源等の周辺デバイス等と一体構造を取る。図1(b)の例では、構成カメラは、映像データ取得用レンズ6、距離画像取得用TOF光源7を含んでいる。
また、コントロールセンター2は、建物の内部、又は室外に設けられた専用のスペースに設置される。
図2は、コントロールセンター2の詳細等の一例を示す図である。図2(a)は、コントロールセンター2の詳細の一例を示す。本実施形態では、コントロールセンター2は、図2(a)に示すように複数台のPC5より構成され、複数のカメラ1よりネットワークを通じて予め定められたフレームレートで撮像された映像データを取得する。
図2(b)は、複数台のPC5を構成するPC(以下では、構成PC)のうちの1つのハードウェア構成を示す図である。複数台のPC5の各構成PCは、図2(b)のハードウェア構成をとるものとする。また、以下では、コンピュータプログラムを実行し、図3の処理等の監視システムの処理の主体となる単体又は複数の構成PCを、実行PCとする。実行PCが単体の構成PCで構成される場合、実行PCは、情報処理装置の一例である。
前記構成PCは、CPU201、RAM202、記憶装置203、ネットワークI/F204等を含む。
CPU201は、RAM202に読み出された制御プログラム等を実行し、構成PCを統括的に制御するCPUである。
本実施形態では、コントロールセンター2は、複数の構成PCを含むものとする。実行PCのCPUが前記実行PCの記憶装置に記憶されたプログラムに基づき処理を実行することによって、コントロールセンター2の機能及び後述するフローチャートの処理が実現される。
RAM202は、CPU201の主メモリ又は、ワークメモリとして機能する主記憶装置である。記憶装置203は、プログラム、複数のカメラ1から取得された映像データ等を記憶する記憶装置である。ネットワークI/F204は、他の構成PC、複数のカメラ1等との接続に利用されるネットワークインターフェースである。
前記構成カメラは、CPU、RAM、記憶装置、ネットワークI/F、撮像素子等を含む。
前記構成カメラのCPUは、前記構成カメラのRAMに読み出された制御プログラム等を実行し、前記構成カメラを統括的に制御するCPUである。
前記構成カメラのCPUが前記構成カメラの記憶装置に記憶されたプログラムに基づき処理を実行することによって、前記構成カメラの機能が実現される。
前記構成カメラのRAMは、前記構成カメラのCPUの主メモリ又は、ワークメモリとして機能する主記憶装置である。前記構成カメラの記憶装置は、プログラム、前記構成カメラの撮像素子を介して撮影した映像データ、S307等で後述する取得パラメータ等を記憶する記憶装置である。前記構成カメラのネットワークI/Fは、構成PC、他の構成カメラ等との接続に利用されるネットワークインターフェースである。
また、更にコントロールセンター2は、図3等で後述するように、ネットワークを通じて、複数のカメラ1に対して、映像データを取得する際に利用するパラメータである取得パラメータの変更を行うことができる。
続いて、本実施形態における監視システムの処理について説明する。
図3は、監視システムの処理の一例を示すフローチャートである。
本実施形態の監視システムにおいて実行される処理は、映像入力ステップS301と、動きベクトル算出ステップS302と、特定状態検出処理ステップS303と、動きベクトル変換処理ステップS304と、移動領域算出ステップS305と、を含む。また、本実施形態の監視システムにおいて実行される処理は、領域内カメラ選択ステップS306と、取得パラメータ変更ステップS307と、取得パラメータ再変更ステップS308と、を含む。
なお、図3の処理は、本実施形態ではコントロールセンター2の構成PCに実装されたコンピュータプログラムとして実現される。図3の処理は、複数の構成PCによるコンピュータプログラムの実行によって実現されてもよいし、単体の構成PCによるコンピュータプログラムの実行によって実現されてもよい。
以下、図3のそれぞれの処理ステップに関して詳細に説明を行う。
S301において、実行PCは、複数のカメラ1からネットワークを介して取得された映像データを、コントロールセンター2内の構成PCに内蔵される記憶装置に記憶する。実行PCは、前記映像データを複数の構成PCの記憶装置に記憶してもよいし、単体の構成PCの記憶装置に記憶してもよい。
S302において、実行PCは、S301で前記記憶装置に記憶された映像データの各フレームの画像データについて、動きベクトルを算出する。
動きベクトルの算出方法は、以下の参考文献1に示すオプティカルフローの算出を行う方法を利用する。
参考文献1:B. D. Lucas and T. Kanade, "An Iterative Image Registration Technique with an Application to Stereo Vision," in Proc. of Int. Joint Conf. on Artificial Intelligence, pp.674〜679, Aug. 1981.
図4は、監視システムの取得画像及び処理画像の一例を示す図である。図4(a)は、複数のカメラ1のうちの1つの構成カメラにより取得された映像データのある時点の1フレームの画像を示す。図4(b)は、前記画像から動きベクトルを算出した結果を示す。
図4(b)では、画像に対して算出された動きベクトルを矢印で示しているが、図の煩雑化を避けるために、主要な動きベクトルのみを示す。
なお、S302以降の処理について、S302と同様に、前記記憶装置に保持された映像データの各フレームの画像データに対して、各ステップの処理を行うこととする。
S303において、実行PCは、S302で算出したオプティカルフローを特徴量として、S301で記憶された映像データに対して、特定状態検出処理を実行する。
本実施形態では、特定状態検出処理として以下の参考文献2に示す手法を用いている。
参考文献2:Bin Zhao, Li Fei−Fei, "Online Detection of Unusual Events in Videos via Dynamic Sparse Coding," in CVPR2011
実行PCは、図4(b)に示した動きベクトルデータに対して前記手法の処理(特定状態検出処理)を実行すると、例えば図4(c)に示すように図4(a)の画像データに対し、画像中央付近に特定状態を有する物体(以下、対象物体)を検出する。図4(c)において、対象物体の検出位置は、斜線四角形領域で表示されている。図4の例において、検出された対象物体は、走っているヒトである。対象物体は、S303で検出された特定状態の画像を撮影した構成カメラの被写体である。
本実施形態では、特定状態検出処理において、実行PCは、以下の処理を行う。即ち、実行PCは、事前に特定状態(例えばヒトが走っている状態等)を含まない画像データを用いて学習を行い、図4(b)に示した画像データ中で、学習に使用した画像データに存在しなかった動きベクトルの特徴を有する状態を検出する。ヒトが走っている状態は、特定状態の一例である。
特定状態は、ヒトが走っている状態に限定されず、特定の特徴を有する状態・現象であれば他のものでもよい。前記特定状態は、例えば実施形態4で説明する、その他のヒトの動作や、物体の特定状態であってもよい。
S304において、実行PCは、S303で検出された対象物体のカメラ座標系における動きベクトルをグローバル座標系における地面に平行な平面(x−y平面)内のベクトルに変換する。図5は、監視システムのカメラの配置関係の一例を示す図である。変換後の動きベクトル15を図5に示す。図5は、図1(a)に示した上空から観察した(即ちx−y平面内の)カメラの配置状態に対して、前記対象物体を検出した構成カメラであるカメラA16上に、動きベクトル15を重畳して示したものである。
なお、本実施形態における対象物体の動きベクトルは、図4(c)において特定状態を有する対象物体として検出された領域に含まれる画素位置(図4(c)中の斜線四角形領域)における動きベクトルを平均したものである。
即ち、対象物体として検出された領域に含まれる画素位置における動きベクトルの平均は、画像データが取得された時点での、対象物体の移動の全体的な方向と大きさを表すものである。
また、本実施形態では、実行PCは、対象物体の動きベクトルをカメラ座標系からグローバル座標系に変換する際には、前記距離画像取得装置により取得された距離情報を参照する。
実行PCは、距離情報に基づくカメラ座標系からグローバル座標系への変換処理に関して、以下の参考文献3の手法を用いている。
参考文献3:岡田隆三 他、"オプティカルフローと距離情報に基づく動物体追跡"、 電子情報通信学会論文誌. D−II, 情報・システム, II−情報処理 J80−D−2(6), 1530−1538, 1997−06−25
なお本実施形態では、実行PCは、S304において複数のカメラ1の各構成カメラから距離画像を取得する処理を行うものとしている。
以上、説明したように、実行PCは、S304の処理により、図5に示すように、カメラAにより特定状態を検出された対象物体の、x−y座標平面内での動きベクトル15を算出する。
なお、動きベクトル15の大きさは、対象物体の移動速度を示しているものとする。
S305において、実行PCは、動きベクトル15に基づいて、特定状態が検出された時点以降に、対象物体が存在し得る領域(以下、予想移動領域)を算出する。動きベクトルや実施形態4の説明で後述する種別カテゴリ、特定状態カテゴリ、動作カテゴリ、実施形態5の説明で後述する図12のS1209で認識されるヒトの顔等は、対象物体の状態情報の一例である。
図6は、予想移動領域の一例を示す図である。例えば、図5のようにx−y平面内での動きベクトル15が算出された場合、実行PCは、図6に示すように動きベクトル15に予め定められた期間の長さを乗じたベクトル17を算出する。そして、実行PCは、ベクトル17の始点と、ベクトル17の終点と、を結ぶ線分を直径とする円形の予想移動領域18を算出し、予想移動領域18を対象物体が将来存在し得る領域とする。本実施形態では、ベクトル17の始点は、特定状態が検出された画像を取得した構成カメラのx−y平面上での位置を示し、ベクトル17の終点は、前記期間後に対象物体が到達すると予想される地点を示す。
なお、前記期間の長さは、構成カメラが設置されている場所の状況、S303で検出された特定状態と同じ特定状態が発生した状況等を考慮して予め決定されているものとする。例えば、構成カメラの設置場所が駅周辺等である場合、対象物体として検出された人物は駅や建物の中に入ってしまい、画像が取得された時点以降に構成カメラに撮像され得る期間は、構成カメラの設置場所が駅周辺等でない場合に比べて短いと予想される。
S306において、実行PCは、x−y平面上で予想移動領域18内に含まれる構成カメラを選択する。実行PCは、図6に示したx−y平面内のそれぞれの構成カメラの空間配置情報を含む位置マップを予め保持しているものとする。実行PCは、図6に示すように前記位置マップに対してS305で算出した円形領域である予想移動領域18を特定する。そして、実行PCは、予想移動領域18を撮像し得るカメラA〜Jを選択する。
即ち、実行PCは、x−y平面内での構成カメラの実際の設置状況に対応する空間配置情報に基づいて、S307の処理で取得パラメータの変更対象とする構成カメラを選択する。
S307において、実行PCは、S306で選択した構成カメラであるカメラA〜Jに対して、映像を取得する際のデータ量を制御するための取得パラメータの変更を実行する。本実施形態では、データ量を制御するための取得パラメータは、映像の解像度を制御する制御パラメータとする。
実行PCは、パラメータの変更対象の構成カメラに対してネットワークを介して制御信号を送信することにより、前記構成カメラ内の取得パラメータの変更処理を実行する。前記制御信号を受信した構成カメラは、変更された取得パラメータに対応して映像を取得する。なお、本実施形態では、複数のカメラ1の全ての構成カメラにおいて特定状態が検出されていない定常状態において、複数のカメラ1の全ての構成カメラは、同一の取得パラメータで映像を取得しているものとする。したがって、複数のカメラ1の各構成カメラから得られる単位時間当たりの映像データのデータ量は、同一である。そのため、定常状態において、映像をコントロールセンター2に転送するための通信リソース、映像データを保持するためのコントロールセンター内のデータ保持リソース等は、複数のカメラ1の各構成カメラに対して均等に割り振られる。
S307の処理においては、実行PCは、S306で選択された構成カメラに対して、映像を取得する際のデータ量が増加するように取得パラメータを変更する。また、実行PCは、S306で選択されなかった構成カメラに対して、映像を取得する際のデータ量を減少させるように取得パラメータを変更する。
例えば本実施形態では、実行PCは、S306で選択された構成カメラであるカメラA〜Jに対し、定常状態で640×480である解像度を1280×960に変更する。その場合、カメラA〜Jの取得する映像のデータ量は4倍になる。選択されたカメラA〜Jは10台であるため、選択された構成カメラの総データ量は、定常状態における構成カメラ1台が取得する映像のデータ量の40倍となる。
S306で選択されなかった構成カメラの台数は、40台である。複数のカメラ1全てが取得する映像のデータ総量を定常状態と同一とするために、実行PCは、S306で選択されなかった構成カメラの解像度のパラメータを、式(1)に基づいて算出されるXs、Ysの値に変更する。実行PCは、算出する解像度のアスペクト比を、定常状態における解像度のアスペクト比と同一となるようにする。
Xm × Ym × Cm = Xl × Yl × Cl + Xs × Xs × Cs ・・・式(1)
なお式(1)において、それぞれの記号は以下の値を示す。
Xm:定常状態でのx方向画像解像度
Ym:定常状態でのy方向画像解像度
Cm:構成カメラの総台数
Xl :選択された構成カメラのx方向画像解像度
Yl :選択された構成カメラのy方向画像解像度
Cl :選択された構成カメラの台数
Xs :選択されなかった構成カメラのx方向画像解像度
Ys :選択されなかった構成カメラのy方向画像解像度
Cs :選択されなかった構成カメラの台数
式(1)に対して、本実施形態における値を代入して計算すると、選択されなかった構成カメラの画像解像度は以下のように算出される。
Xmは、640であり、Ymは480、Cmは50、Xlは1280、Ylは960、Clは10、である。Cmは50でありClは10なので、Csは40である。以上より、次の式の関係が成り立つ。
640 × 480 × 50 = 1280 × 960 × 10 + Xs × Ys × 40
前記式より、Xs×Ysは、次の式のようになる。
Xs × Ys =(640 × 480 × 50 − 1280 × 960 × 10)÷ 40
前記式の右辺を変形し次の式を得る。
Xs × Ys=(640 × 480 × 50 − 640 × 480 × 40 )÷ 40
=(640 × 480 × 10)÷ 40
= 640 × 480 × 1/4
= 320 × 240
以上のように、本実施形態では選択されなかった構成カメラにおいて取得される映像データの解像度を320×240とするように取得パラメータを変更する。
S308において、実行PCは、S307で取得パラメータを変更した時点から予め定められた期間の経過した時点で、複数のカメラ1の全ての構成カメラの映像取得パラメータを定常状態における取得パラメータに戻すよう変更する。本実施形態では、前記期間の長さは、S305で動きベクトルに乗ずるために参照した期間の長さと同じであるとする。
本実施形態の処理により実行PCは、特定状態が検出された対象物体の動きベクトルから、対象物体の将来の移動範囲を推定する。そして、実行PCは、対象物体の映像を撮像する可能性が高いと判断される構成カメラに対して、映像データのデータ量が増加するように取得パラメータを変更することで、将来の被写体の映像データを、より高品質に取得することができるようになる。
また、実行PCは、更に、前記構成カメラ以外の構成カメラに対しては、映像データのデータ量を減少させるように取得パラメータを変更することによって、以下の効果を奏す。即ち、実行PCは、複数のカメラ1の空間配置情報を考慮して、対象物体の予想移動領域に含まれる構成カメラから得られるデータ量を優先することにより、通信トラフィック及び記憶メディア等のリソースを適切に配分することができるようになる。
<実施形態2>
本実施形態では、実施形態1の変形例について説明する。本実施形態における監視システムのシステム構成、監視システムの構成要素の詳細(ハードウェア構成等)等は、実施形態1と同様である。
実施形態1では、実行PCは、S307の処理において、S306で選択した構成カメラについて、即座に取得パラメータを変更することとした。しかし、本実施形態では、実行PCは、S306で選択した構成カメラの配置状況に応じて、取得パラメータを変更する時点、取得パラメータを元に戻す時点を決定する。処理の実行主体は、実施形態1と同様に、コントロールセンター2内の実行PCである。また、本実施形態の処理は、図3の処理であり、S301〜S306までの処理については、実施形態1と同じである。実施形態1と異なる部分(S307、S308)を説明する。
図7は、遅延期間を考慮した予想移動領域の一例を示す図である。例えば、実行PCは、図7に示すように、特定状態を検出した構成カメラであるカメラAからの距離に応じてS305で算出した予想移動領域を分割(図7では2分割)する。そして、実行PCは、それぞれの分割領域(分割領域19、20)について、次の条件式(式(2)、式(3))を算出する。
分割領域19: 0 ≦ t ≦ T/2 ・・・式(2)
分割領域20: T/2 ≦ t ≦ T ・・・式(3)
なお、式(2)、式(3)におけるTは、S305の移動領域算出ステップにおいて動きベクトルに乗ずるために参照した期間の長さを示す。
S307において、実行PCは、S307の処理を開始した時点から経過した期間をtとして、前記tが式(2)の条件を満たす期間、分割領域19に含まれる構成カメラについて取得パラメータを変更する。また、実行PCは、前記tが式(3)の条件を満たす期間、分割領域20に含まれる構成カメラについて取得パラメータを変更する。
より具体的には、実行PCは、S307の処理を開始した時点で、分割領域19に含まれる構成カメラの取得パラメータを変更する。更に、実行PCは、S307の処理を開始した時点からT/2経過した時点で、前記構成カメラの取得パラメータを元に戻す。また、実行PCは、S307の処理を開始した時点からT/2経過した時点で、分割領域20に含まれる構成カメラの取得パラメータを変更する。更に、実行PCは、S307の処理を開始した時点からT経過した時点で、前記構成カメラの取得パラメータを元に戻す。
なお、実施形態1では、取得パラメータ再変更ステップS308を独立した処理ステップとして図3の処理内に明記した。しかし、本実施形態では、実行PCは、取得パラメータ変更ステップS307で取得パラメータを変更する際に、予め定められた期間経過の後に自動的に取得パラメータが元の取得パラメータに戻るように設定するものとする。そのため、本実施形態では、実行PCは、図3の処理においてS308の処理を省略することとなるが、実質的な処理内容は実施形態1と同じである。
本実施形態の処理により、実行PCは、分割領域20に含まれる構成カメラに対して、S307の処理を開始した時点からT/2の遅延をもって取得パラメータを変更することになる。そのため、実行PCは、対象物体が構成カメラの撮像領域に入るまでの間、無駄にデータ量が増加することを防ぐことができる。
<実施形態3>
以下、図面を参照して実施形態3の処理を説明する。本実施形態における監視システムのシステム構成、監視システムの構成要素の詳細(ハードウェア構成等)等は、実施形態1と同様である。処理の実行主体は、実施形態1と同様に、コントロールセンター2内の実行PCである。また、本実施形態の処理は、S801〜S806までの処理については、図3のS301〜S306までの処理と同じである。実施形態1と異なる部分(S807、S808)を説明する。
図8は、監視システムの処理の一例を示すフローチャートである。図8は、本実施形態における監視システムが実行する処理を示す。
図8に示す本実施形態の監視システムにおいて実行される処理は、S801映像入力ステップと、S802動きベクトル算出ステップと、S803特定状態検出処理ステップと、S804動きベクトル変換処理ステップと、を含む。本実施形態の監視システムにおいて実行される処理は、更に、S805移動領域算出ステップと、S806領域内カメラ選択ステップと、S807保存パラメータ変更ステップと、S808保存パラメータ再変更ステップを含む。
S801〜S806までの処理は、図3で前述のS301〜S306の処理と同じ処理である。本実施形態は、実施形態1とS807、S808の処理を行う点が異なる。実施形態1と異なる点を説明する。
なお、本実施形態では、実行PCは、記憶装置に記憶された映像データの保存パラメータを、予め定められた期間毎に(例えば半年毎に)データ量を減少させるように変更する。データ量を減少させる手法には、例えば、データ圧縮がある。
本実施形態では、実行PCは、構成カメラから取得した映像データの画像の解像度(保存パラメータの1つ)を、記憶装置に記憶されてから半年間、1280×960として、半年後に640×480に変更するものとする。なお、実行PCは、更に半年後に映像データを自動的に消去することとしてもよいし、更に映像データを圧縮し保存することとしてもよい。
S807の保存パラメータ変更ステップの処理について説明を行う。
S807において、実行PCは、S807の処理を開始した時点からS805で移動領域の算出に参照した期間経過する時点まで、S806で選択した構成カメラ(図6のカメラA〜J)からの映像データの記憶に関する保存パラメータを変更する。実行PCは、前記映像データを記憶する記憶装置内の保存パラメータを変更することとなる。前記保存パラメータは、映像データを保存する際のデータ量、保存期間等の制御に利用されるパラメータである。本実施形態における保存パラメータは、映像の解像度を制御する制御パラメータとする。
なお、実行PCは、映像データを記憶する記憶装置に対して、制御信号を送信することにより前記保存パラメータの変更を行う。前記記憶装置は、記憶装置203を含むコントロールセンター2の構成PC等である。
前記制御信号を受信した記憶装置は、変更された保存パラメータに対応して、記憶している又は記憶する映像データの解像度の変更を実行する。
より具体的には、S807では、実行PCは、S806で選択した構成カメラから取得した映像データに対して、データ量を減少させないように記憶装置内の保存パラメータを変更する。
例えば、本実施形態では、実行PCは、半年後に、定常状態において撮影された映像データを640×480の解像度に圧縮する場合、S806選択された構成カメラ10台から取得された映像データに対して以下の処理を行う。即ち、実行PCは、前記映像データに対して、半年後に、S807の処理を開始した時点からS805の処理で参照された期間経過する時点までの間に撮影された映像データを1280×960の解像度とするように保存パラメータを変更する。
実行PCは、S806で選択しなかった構成カメラ40台に関して、映像データのデータ総量を定常状態と同一とするために、式(1)に基づいて、保存パラメータを変更する。より具体的には、実行PCは、S806で選択しなかった構成カメラ40台に対して、S807の処理を開始した時点からS805の処理で参照された期間経過する時点までの間、映像データの解像度を320×240とするよう保存パラメータを変更する。
実行PCは、記憶装置の容量等のリソースが許容するなら、S806で選択しなかった構成カメラ40台によって取得された映像データを、半年経過後に、更に圧縮することなく、640×480の解像度のまま記憶することもできる。
S808において、実行PCは、S807の処理を開始した時点からS805で参照した期間が経過した時点に、全ての保存パラメータを定常状態における保存パラメータに戻すよう変更する。
したがって、S807での保存パラメータの変更は、S807の処理を開始した時点から予め定められた期間が経過する時点までの間に対応したフレーム画像データに対して適用されることとなる。
本実施形態の処理により、実行PCは、特定状態が検出された対象物体の動きベクトルから、対象物体の将来の移動範囲を推定する。そして、実行PCは、対象物体の映像を撮像する可能性が高いと判断される構成カメラから取得した映像データに関しては、データ量を圧縮しないように保存パラメータを変更することで、将来の被写体の映像データを、より高品質に記憶することができるようになる。
また、実行PCは、更に、前期映像データ以外の映像データに対して、データ量を圧縮するように保存パラメータを変更することによって、以下の効果を奏する。即ち、実行PCは、複数のカメラ1の空間配置情報を考慮して、対象物体の予想移動領域に含まれる構成カメラから得られた映像データのデータ量を優先することにより、記憶装置の容量等のリソースを適切に配分することができる。
<実施形態4>
以下、図面を参照して実施形態4の処理を説明する。本実施形態における監視システムのシステム構成、監視システムの構成要素の詳細(ハードウェア構成等)等は、実施形態1と同様である。
図9は、監視システムの処理の一例を示すフローチャートである。図9は、本実施形態における監視システムが実行する処理を示す。
図9に示す本実施形態の監視システムにおいて実行される処理は、映像入力ステップS901と、特定状態検出処理ステップS902と、認識処理ステップS903と、移動領域算出ステップS904と、領域内カメラ選択ステップS905と、を含む。図9に示す本実施形態の監視システムにおいて実行される処理は、更に、取得パラメータ変更ステップS906と、取得パラメータ再変更ステップS907と、を含む。S901、S902の処理は、それぞれS301、S302の処理と同様である。S905〜S907の処理は、それぞれS306〜S308の処理と同様である。
図9の処理と図3に示す実施形態1の監視システムにおける処理と比較すると、以下の点が異なる。即ち、本実施形態における監視システムは、動きベクトル算出ステップS302と、動きベクトル変換処理ステップS304と、を含んでおらず、一方で認識処理ステップS903を含む点が異なっている。
本実施形態では、実施形態1と異なる点について説明を行う。
S903において、実行PCは、検出された特定状態の内容をあらわす特定状態カテゴリと、特定状態が検出された物体の種別を表わす種別カテゴリを算出する。特定状態カテゴリは、特定状態カテゴリ情報の一例である。種別カテゴリは、種別カテゴリ情報の一例である。特定状態カテゴリ情報、種別カテゴリ情報は、カテゴリ情報の一例である。
なお、実行PCは、特定状態カテゴリを算出する手法としては、以下の参考文献4に説明される手法を用いることができ、また、種別カテゴリを算出する手法として、以下の参考文献5に説明される手法を用いることができる。なお、特定状態カテゴリ及び種別カテゴリを算出する方法は、参考文献4、5の手法に限られず、他の手法を用いてもよい。
参考文献4:Lena Gorelick, Moshe Blank, Eli Shechtman, Michal Irani, and Ronen Basri,"Actions as Space−Time Shapes," IEEE Transactions on pattern analysis and machine intelligence, Vol.29, No.12, pp.2247−2253, 2007
参考文献5:Csurka, G., Bray, C., Dance, C. and Fan, L. "Visual categorization with bags of keypoints," in Proc. of ECCV Workshop on Statistical Learning in Computer Vision, pp. 59−74(2004).
例として、実行PCがS903において種別カテゴリを「ヒト」であると算出した場合に関して説明する。
図10は、予想移動領域の一例を示す図である。図10は、種別カテゴリが「ヒト」と算出された場合の予想移動量領域の例を示している。
例えば、実行PCは、特定状態カテゴリを「Run」であると算出したとする。
S904において、実行PCは、S903で算出した種別カテゴリ及び特定状態カテゴリを参照して、特定状態が検出された画像が撮影された時点から予め定められた期間経過後に、予想移動領域を算出する。種別カテゴリが「ヒト」、特定状態カテゴリを「Run」であると算出されているため、実行PCは、予め定められた期間内に一般的にヒトが走り得る範囲として事前に設定された領域を予想移動領域25として設定する。
なお、実施形態1と同様に、前記期間は、構成カメラが設置されている場所の状況や、過去に特定状態が発生した場合の状況を考慮して事前に決定されているものとする。
そして、実行PCは、S902で特定状態を検出した構成カメラを中心とし、前記期間の長さに対して人の平均的な走る速度(例えば時速7km)を乗じた距離を半径とした円形の領域を予想移動領域25として事前に算出しておく。特定状態カテゴリ「Run」に対応する予想移動領域25を図10に点線で示す。
一方、S903で実行PCが特定状態カテゴリを「Hide」であると算出した場合、対象物体である「ヒト」の動きは、特定状態カテゴリが「Run」である場合に比べて非常に少ないものとなる。したがって、実行PCは、事前に設定された予想移動領域25よりも狭い領域を予想移動領域26として設定する。特定状態カテゴリ「Hide」に対応する予想移動領域26を図10に一点鎖線で示す。予想移動領域25、26のように、カテゴリに対応して予め設定されている領域は、対応領域の一例である。
本実施形態における予想移動領域は、種別カテゴリと特定状態カテゴリとの組み合わせに対応して決定される。種別カテゴリと特定状態カテゴリとの組み合わせと、前記組み合わせに対応する予想移動領域と、の対応関係は、事前に参照テーブル等に設定されている。実行PCは、S904の処理において、S903で算出された種別カテゴリと特定状態カテゴリとの組み合わせと、前記参照テーブルと、に基づいて予想移動領域を選択する。前記参照テーブルは、コントロールセンター2内の単体又は複数の構成PCの記憶装置に保存されているものとする。
前記参照テーブルは、予想移動領域に対応する期間を記憶するものとしてもよい。実行PCは、S907の処理において、S904で算出した予想移動領域に対応する期間を前記参照テーブルから取得し、S906で取得パラメータを変更した時点から前記期間経過した時点で取得パラメータを再変更することとしてもよい。
また、種別カテゴリ「ヒト」で特定状態カテゴリが「Run」の場合、実行PCは、S907の処理において、S906で取得パラメータを変更した時点から取得パラメータの再変更を行うまでの期間としてS904で参照した期間を用いてもよい。実行PCは、S907の処理において、S906で取得パラメータを変更した時点から取得パラメータの再変更を行うまでの期間を、構成カメラが設置されている場所の状況や、過去に特定状態が発生した場合の状況を考慮して別途事前に設定してもよい。例えば、種別カテゴリ「ヒト」で特定状態カテゴリが「Hide」の場合、実行PCは、対象物体が特定状態を検出した構成カメラの周辺に長期間滞在することが予想されるので、前記期間をより長く事前に設定してもよい。
また、実行PCがS903において種別カテゴリを「クルマ」であると算出した場合に関して説明する。
S903において、実行PCは、特定状態カテゴリが「Run」であると算出したとする。
S904において、前記参照テーブルに基づいて予想移動領域を選択するが、「クルマ」の速度は「ヒト」よりも早いことが一般的であるので、予想移動領域27は、図11中の点線で示すように「ヒト」の場合よりも広く設定されている。
また、特定状態カテゴリが「Park」の場合には、種別カテゴリが「ヒト」の場合と同様、対象物体である「クルマ」の動きは、特定状態カテゴリが「Run」の場合に比べて非常に少ないものとなる。したがって、実行PCは、特定状態カテゴリが「Park」の場合、事前に設定された予想移動領域27より狭い領域を予想移動領域28として、図11の一点鎖線で示される領域のように設定する。
実行PCは、種別カテゴリが「ヒト」の場合と同様に、S907の処理において、以下の処理を行う。即ち、実行PCは、S904で算出した予想移動領域に対応する期間を前記参照テーブルから取得し、S906で取得パラメータを変更した時点から前記期間経過した時点で取得パラメータを再変更することとする。
また、種別カテゴリ「クルマ」で特定状態カテゴリが「Run」の場合、実行PCは、S907の処理において、S906で取得パラメータを変更した時点から取得パラメータの再変更を行うまでの期間としてS904で参照した期間を用いてもよい。実行PCは、S907の処理において、S906で取得パラメータを変更した時点から取得パラメータの再変更を行うまでの期間を、構成カメラが設置されている場所の状況や、過去に特定状態が発生した場合の状況を考慮して別途事前に設定してもよい。例えば、種別カテゴリ「クルマ」で特定状態カテゴリが「Park」の場合、実行PCは、対象物体が特定状態を検出した構成カメラの周辺に長期間滞在することが予想されるので、前記期間をより長く事前に設定してもよい。
また、S903において、実行PCは、対象物の動作をあらわす動作カテゴリを認識する処理を行うこともできる。動作カテゴリは、動作カテゴリ情報の一例である。
例えば、実行PCは、種別カテゴリ「ヒト」に対して、「Run」、「Hide」等の動作カテゴリが認識され得るが、前記動作カテゴリに対して、前記特定状態カテゴリと同様に予想移動領域を、予め設定しておくことができる。そして、実行PCは、設定された予想移動領域の中から前記動作カテゴリに対応する予想移動領域を選択することとなる。実行PCは、動作カテゴリと予想移動領域との対応関係を前記参照テーブルとして保持するものとする。
他の動作カテゴリに関しても、実行PCは、事前に設定された前記参照テーブルと、動作カテゴリと、に基づいて、予想移動領域を選択する。
本実施形態の処理により、実行PCは、認識対象に応じて予想移動領域を決定することができる。
また、実行PCは、特定状態が検出された対象物体の種別カテゴリ及び特定状態カテゴリに基づいて、対象物体の将来の移動範囲を推定する。そして、実行PCは、対象物体の映像を撮像する可能性が通常よりも高いと判断される構成カメラに対して映像データのデータ量が増加するように取得パラメータを変更することで、将来の被写体の映像データを、より高品質に取得することができるようになる。
また、実行PCは、更に、対象物体の映像を撮像する可能性が通常よりも高いと判断されない構成カメラに対しては、映像データのデータ量を減少させるように取得パラメータを変更することによって、以下の効果を奏する。即ち、実行PCは、複数のカメラ1の空間配置情報を考慮して、対象物体の予想移動領域に含まれる構成カメラから得られるデータ量を優先することにより、通信トラフィック及び記憶メディア等のリソースを適切に配分することができる。
<実施形態5>
本実施形態では、実施形態4の処理の変形例を示す。本実施形態における監視システムのシステム構成、監視システムの構成要素の詳細(ハードウェア構成等)等は、実施形態4と同様である。
図12は、監視システムの処理の一例を示すフローチャートである。図12は、実施形態4の処理の変形例を示す。
図12(a)に実施形態4の処理の第1の変形例を示す。実施形態4では、実行PCは、S906、S907の処理において、複数のカメラ1に対して取得パラメータを変更する処理を行うこととした。しかし、実行PCは、図12(a)のS1206、S1207に示すように、複数のカメラ1からの映像データを記憶する記憶装置に対して保存パラメータを変更することとしてもよい。保存パラメータ変更ステップS1206と保存パラメータ再変更ステップS1207との処理の内容は、実施形態2の処理におけるS807、S808の処理と同様である。
図12(b)に実施形態4の処理の第2の変形例を示す。図12(b)に示す処理は、図9に示す実施形態4の処理と比較して、特定状態検出処理ステップS902の処理を含まないものである。図12(b)の処理において、実行PCは、例えば認識処理ステップS1209で予め登録されたヒトの顔(例えば指名手配犯等)を認識する処理を実行し、登録された顔が認識された場合、S1210以降の処理を行う。実行PCは、S1210の処理において、S1209で並行して認識した認識対象のヒトの動作カテゴリに基づいて、予想移動領域を決定してもよい。
また、実行PCは、認識処理ステップS1209において、ヒトを認識する処理を実行することにより、定常撮影状態では存在しないヒト以外の物体(ヒト以外で動きを有する物体)を認識した場合に、前記物体の予想移動領域を特定してもよい。
図12(b)の例において、実行PCは、特定状態を検出する処理を行わなくてすむので、処理の負荷を減少させることができる。
<実施形態6>
以下、図面を参照して実施形態6の処理を説明する。本実施形態における監視システムのシステム構成、監視システムの構成要素の詳細(ハードウェア構成等)等は、実施形態1と同様である。
図13は、監視システムの処理の一例を示すフローチャートである。図13は、本実施形態における監視システムが実行する処理を示す。
図13に示す本実施形態の監視システムにおいて実行される処理は、映像入力ステップS1301と、動きベクトル算出ステップS1302と、特定状態検出処理ステップS1303と、認識処理ステップS1304と、を含む。本実施形態の監視システムにおいて実行される処理は、また、動きベクトル変換処理ステップS1305と、移動領域算出ステップS1306と、領域内カメラ選択ステップS1307と、を含む。本実施形態の監視システムにおいて実行される処理は、更に、取得パラメータ変更ステップ又は保存パラメータ変更ステップS1308と、取得パラメータ再変更ステップ又は保存パラメータ再変更ステップS1309と、を含む。
図13の処理は、図9に示した実施形態4の処理と比較して、動きベクトル算出ステップS1302と、動きベクトル変換処理ステップS1305と、を含む点で異なっている。また、図13の処理は、図3に示した実施形態1の処理に比較して、認識処理ステップS1304を含む点で異なっている。即ち、本実施形態は、実施形態1及び実施形態4で説明した処理と同様の処理を含んでいる。
そのため、本実施形態では、実施形態1及び実施形態4において説明した内容に関しては説明を省略し、本実施形態に特有の点について説明を行う。
S1301〜S1303までの処理は、S301〜S303までの処理と同様である。
S1304、S1305の処理は、それぞれS903、S304の処理と同様である。
また、S1304の処理において、実行PCは、実施形態4と同様に、S1303で検出された特定状態の内容をあらわす特定状態カテゴリと、特定状態が検出された物体の種別を表わす種別カテゴリと、を算出する。
S1306において、実行PCは、S1304で算出した種別カテゴリ、特定状態カテゴリ及びS1305で変換した動きベクトルに基づいて、S1303で特定状態が検出された画像が撮影された時点以降の対象物体の予想移動領域を算出する。
実施形態4では、実行PCは、例えば種別カテゴリと特定状態カテゴリとに基づいて、予想移動領域を選択している。しかし、選択された予想移動領域は、対象物体の一般的な動作速度に基づいて事前に算出されたものであるため、実際に特定状態が検出された対象物体の移動する範囲と乖離している可能性がある。
そこで、本実施形態では、実行PCは、種別カテゴリ、特定状態カテゴリの他に更に動きベクトルを参照することで、対象物体の実際の動きにより適合した予想移動領域を選択するものとする。
図14は、予想移動領域の一例を示す図である。例えば、実施形態4と同様に種別カテゴリ(「ヒト」)と特定状態カテゴリ(「Run」)とに基づいて選択された予想移動領域は、図14の点線で示される領域31であるとする。一方、実施形態1と同様に動きベクトルに基づいて算出した予想移動領域は、図14の一点鎖線で示される領域32であるとする。
図14の例の場合、実行PCは、動きベクトルにより推測される「ヒト」の移動速度が特定状態カテゴリにおいて事前に想定された移動速度よりも大きいため、対象物体(「ヒト」)は「ヒト」の進行方向の方向に移動すると推測する。
一般的に監視カメラでは、対象物体を極力漏らさず記録することが求められるため、図14の例では、実行PCは、S1306において、より進行方向に対して大きな領域を有する動きベクトルを基にした領域32を予想移動領域として選択する。また、実行PCは、対象物体をより確実に記録することが求められる場合、両者の領域の論理和を取ることとしてもよい。
また、S1305で変換された動きベクトルは、特定状態が検出された瞬間の対象物体の移動速度を表わしているに過ぎず、必ずしも特定状態が検出された後の対象物体の動作を表わしていない場合もある。そのため、実行PCは、S1306において例えば前記動きベクトルの大きさが種別カテゴリから予想される最大値を大幅に超える場合等に、種別カテゴリと特定状態カテゴリとに基づいて選択した領域31を予想移動領域として最終的に選択することとしてもよい。
S1307の処理は、S306の処理と同様である。S1308の処理は、S307又はS807の処理と同様である。S1309の処理は、S308又はS808の処理と同様である。
本実施形態の処理により、実行PCは、特定状態が検出された対象物体の種別カテゴリ及び特定状態カテゴリと、対象物体の動きベクトルと、に基づいて、対象物体の将来の移動範囲を推定する。そして、実行PCは、対象物体の映像を撮像する可能性が通常よりも高いと判断される構成カメラからの映像データのデータ量が増加するように、構成カメラの取得パラメータ又は記憶装置の保存パラメータを変更することで、以下の効果を奏する。即ち、実行PCは、将来の被写体の映像データを、より高品質に取得又は記憶することができるようになる。
また、実行PCは、更に、対象物体の映像を撮像する可能性が通常よりも高いと判断されない構成カメラからの映像データのデータ量を減少させるように、構成カメラの取得パラメータ又は記憶装置の保存パラメータを変更することで、以下の効果を奏する。即ち、実行PCは、複数のカメラ1の空間配置情報を考慮し、対象物体の予想移動領域に含まれる構成カメラからのデータ量を他の構成カメラからのデータよりも優先することで、通信トラフィック及び記憶メディア等のリソースを適切に配分することができる。
特に、実行PCは、対象物体の種別カテゴリ及び特定状態カテゴリと、特定状態検出の際の動きベクトルと、の双方を参照することで、対象物体の実際の動きをより考慮した予想移動領域を選択することができる。
<実施形態7>
以下、図面を参照して実施形態7の処理を説明する。本実施形態における監視システムのシステム構成、監視システムの構成要素の詳細(ハードウェア構成等)等は、実施形態1と同様である。
図15は、監視システムの処理の一例を示すフローチャートである。図15は、本実施形態における監視システムが実行する処理を示す。
図15に示す本実施形態の監視システムにおいて実行される処理は、映像入力ステップS1501と、動きベクトル算出ステップS1502と、特定状態検出処理ステップS1503と、認識処理ステップS1504と、を含む。本実施形態の監視システムにおいて実行される処理は、また、動きベクトル変換処理ステップS1505と、移動領域算出ステップS1506と、領域内カメラ選択ステップS1507と、を含む。本実施形態の監視システムにおいて実行される処理は、更に、取得パラメータ変更ステップ又は保存パラメータ変更ステップS1508と、取得パラメータ再変更ステップ又は保存パラメータ再変更ステップS1509と、を含む。
図15の処理は、実施形態6の処理と比較して、領域内カメラ選択ステップS1507における処理が異なっている。S1501〜S1506、S1508、S1509の処理は、それぞれS1301〜S1306、S1308、S1309の処理と同様である。以下では、実施形態6と異なる部分について説明する。
S1507において、実行PCは、S1506で算出した予想移動領域に含まれる構成カメラを選択する。実行PCは、S1507の処理において、構成カメラの空間配置情報として、S1504で認識された種別カテゴリ毎に異なる情報を参照する。
例えば、種別カテゴリの「ヒト」と「クルマ」では、それぞれが通行可能な経路が異なる場合があるため、S1506で算出された領域と対象物体が実際に移動する領域とは、一致しない場合がある。
また、例えば、構成カメラの設置位置の間に階段等が存在する場合、「ヒト」は、階段等を超えて移動できても、「クルマ」は、階段等を超えて移動できないという場合もある。
そこで、実行PCは、事前にユーザの操作等に基づいて、種別カテゴリ毎の移動経路を考慮した複数のカメラ1の空間配置情報を生成しておく。そして、実行PCは、S1507の処理において、前記空間配置情報を参照して、選択対象とする構成カメラを決定する。
図16は、カメラの空間配置情報の一例を示す図である。
図16(a)、(b)は、S1507で実行PCが参照する構成カメラの空間配置情報の一例を示す。図16(a)の表は、構成カメラであるカメラAの位置を基準とした他の構成カメラの位置を、種別カテゴリ毎の移動経路を考慮した形式で示している。以下では、例えば図16(a)のように、空間配置情報がカメラAの位置を基準として他の構成カメラの位置を表す場合、前記空間配置情報は、カメラAに対応する空間配置情報であるとする。図16(b)の表は、構成カメラであるカメラBに対応する空間配置情報である。
実行PCは、構成カメラの空間配置情報を、それぞれの構成カメラ毎に保持している。前記空間配置情報は、コントロールセンター2内の単体又は複数の構成PCの記憶装置に保存されているものとする。前記空間配置情報は、構成カメラ毎に設定されており、対象物体の種別カテゴリ毎の、他の構成カメラの撮像領域へ移動する際の角度レンジと距離とが表形式で記載されている。
図16に示す構成カメラの空間配置情報における距離は、x−y平面上における前記空間配置情報に対応するカメラと他の構成カメラとの距離であるとする。
図17は、実際の構成カメラの位置関係の一例を示す図である。図17(a)に示す状況において、対象物体がカメラAの位置を基準にカメラBの位置を表す場合を例に、図16に示す空間配置情報における角度レンジについて説明する。前記角度レンジは、カメラAの撮像領域の中心からカメラBの撮像領域の中心まで向かうベクトルに対して、x−y平面上に決定される角度θを中心に、予め定められた角度幅を有する角度の範囲である。本実施形態では、前記角度幅を90度とする。
つまり、図16(a)に示すカメラAの空間配置情報におけるカメラBの角度レンジは、カメラAの撮像領域の中心からカメラBの撮像領域の中心まで向かうベクトルのx−y平面上での角度θが70度の場合、次の範囲になる。即ち、図16(a)に示すカメラAの空間配置情報におけるカメラBの角度レンジは、角度θに90度の角度幅を持たせた25度〜115度となる。
カメラAの撮像領域からカメラBの撮像領域まで向かう経路は、道路なので、ヒト、クルマ、自転車の全てが移動できる。そのため、図16(a)のカメラAに関する表において、カメラBの角度レンジ及び距離は、ヒト、クルマ、自転車の全ての種別カテゴリで同一の値が設定されている。
本実施形態では、実行PCは、S1502で算出した動きベクトルの角度が、S1503で特定状態を検出した構成カメラに対応する空間配置情報の他の構成カメラに対応する角度レンジに含まれる場合、次の処理を行う。即ち、実行PCは、前記空間配置情報の前記他の構成カメラに対応する距離が、S1505で算出した動きベクトルの大きさに予め定められた期間の長さを乗じた距離未満である場合、前記他の構成カメラを予想移動領域に含まれる構成カメラとして選択する。
また、実行PCは、S1505で変換した動きベクトルの角度が、S1503で特定状態を検出した構成カメラに対応する空間配置情報の他の構成カメラに対応する角度レンジに含まれる場合、次の処理を行うようにしてもよい。即ち、実行PCは、前記空間配置情報の前記他の構成カメラに対応する距離が、S1505で算出した動きベクトルの大きさに予め定められた期間の長さを乗じた距離未満である場合、前記他の構成カメラを予想移動領域に含まれる構成カメラとして選択してもよい。
また、図17(b)に示すように、カメラAの撮影範囲の中心から構成カメラであるカメラCの撮影範囲の中心までの経路上に階段がある場合、実行PCは、以下の処理を行う。即ち、実行PCは、S1504で認識した種別カテゴリが「ヒト」である場合、構成カメラから階段に向かう方向のベクトルの角度レンジを空間配置情報に記載する。また、実行PCは、S1504で認識した種別カテゴリが「ヒト」である場合、空間配置情報における距離の記載についても、階段を考慮する。より具体期には、実行PCは、x−y平面上におけるカメラAからカメラCまでの階段を経由した距離を空間配置情報に距離として記載する。
図17(b)の例では、実行PCは、「クルマ」、「自転車」が階段を通過することが不可能なので、図16(a)のカメラAに対応する空間配置情報の「クルマ」、「自転車」に対応する項目に、カメラCの情報を記載しない。そのため、実行PCは、S1503でカメラAにより特定状態が検出された場合、S1506で如何なる予想移動領域を算出したとしても、S1504で認識した種別カテゴリが「クルマ」、「自転車」であるなら、カメラCを選択しないこととなる。
また、実行PCは、図16(b)に示すカメラBに対応する空間配置情報において、カメラBの撮影範囲の中心からカメラCの撮影範囲の中心までの経路に階段があるため、種別カテゴリ「クルマ」、「自転車」に対応する項目に、カメラCの情報を記載しない。そのため、実行PCは、S1503でカメラBにより特定状態が検出された場合、S1506で如何なる予想移動領域を算出したとしても、S1504で認識した種別カテゴリが「クルマ」、「自転車」であるなら、カメラCを選択しないこととなる。
複数のカメラ1の構成カメラそれぞれに対応する空間配置情報がそれぞれの構成カメラ毎に事前に設定されており、実行PCは、S1507において、S1506で算出した予想移動領域に基づき、将来対象物体を撮像し得る構成カメラの選択を行う。
本実施形態の処理により、実行PCは、特定状態が検出された対象物体の種別カテゴリと、対象物体の動きベクトルと、を参照して、対象物体の将来の移動範囲を推定する。そして、実行PCは、対象物体の映像を撮像する可能性が通常よりも高いと判断した構成カメラに対しては、映像データのデータ量が増加するように、構成カメラの取得パラメータ又は記憶装置の保存パラメータを変更することで、以下の効果を奏する。即ち、実行PCは、将来の被写体の映像データを、より高品質に取得又は記憶することができるようになる。
また、実行PCは、更に、対象物体の映像を撮像する可能性が通常よりも高いと判断しなかった構成カメラに対して、映像データのデータ量を減少させるように構成カメラの取得パラメータ又は記憶装置の保存パラメータを変更することで、以下の効果を奏する。即ち、実行PCは、複数のカメラ1の空間配置情報を考慮して、対象物体の予想移動領域に含まれる構成カメラから得られるデータ量を優先することで、通信トラフィック及び記憶メディア等のリソースを適切に配分することができる。
特に、実行PCは、種別カテゴリ毎に異なる経路をたどることを考慮した、構成カメラ間の空間配置情報を参照することにより、構成カメラの実際の設置状況を考慮した構成カメラの選択を実現することができる。
<実施形態8>
実施形態1〜7では、監視システムのシステム構成は、図1(a)に示すものであるとした。しかし、監視システムの構成は、図1(a)に示すものに限定されない。監視システムは、図2に示すような複数台のPCで構成されるコントロールセンター2による集中制御を行うものでなく、分散して配置された複数のPC等のコントロール装置が近傍に位置する構成カメラを管理する構成であってもよい。
実施形態1〜7では、複数のカメラ1の各構成カメラは、距離画像取得装置を含むとした。しかし、距離画像取得装置は、監視システムの必須構成要件ではなく、実施形態1〜7では、映像データから抽出される動きベクトルの補正処理に利用される距離情報を得る目的、S304等の座標変換処理で利用される距離情報を取得する目的で追加されている。よって、複数のカメラ1の各構成カメラは、目的に応じて距離画像取得装置を含まなくてもよい。
例えば、S304等の動きベクトル変換処理ステップの処理において、実行PCは、構成カメラに対する撮像対象物体の移動方向が限定される状況であれば、距離情報を参照することなく、カメラ座標系からグローバル座標系への変換処理を実行することができる。例えば、撮像対象物体が常に構成カメラに対して横切る方向に移動する場合等がある。また、実行PCは、検出した物体の撮影された映像上での大きさの変化から奥行き方向の移動を推定することもできる。
実施形態1〜7では、実行PCは、複数のカメラ1からの映像データを単体又は複数の構成PC内部の記憶装置であるとした。しかし、実行PCは、実行PCは、複数のカメラ1からの映像データを外部の記憶装置に記憶することとしてもよい。
実施形態1〜3、6〜7では、実行PCは、S304等の動きベクトル変換処理ステップの処理において、参考文献3の方法を用いることとしたが、前記手法以外の方法を用いてもよい。
実施形態1〜7におけるS305等の移動領域算出ステップの処理、S306等の領域内カメラ選択ステップの処理は、実施形態1〜7の説明で前述した方法に限定されない。
実施形態1〜7では、S305等の移動領域算出ステップの処理において、実行PCは、S304等の動きベクトル変換処理ステップの処理で変換されたx−y平面上の動きベクトルの始点を特定状態が検出された画像を取得した構成カメラの位置とした。しかし、前記動きベクトルの始点は、前記構成カメラの位置に限定されず、実行PCは、前記動きベクトルの始点を前記構成カメラの撮影範囲の中心としてもよい。また、実行PCは、前記動きベクトルの始点をS303等の特定状態検出処理ステップの処理で特定状態が検出された位置としてもよい。
実施形態1〜7では、S306等の領域内カメラ選択ステップの処理において、実行PCは、S305等の移動領域算出ステップの処理で算出した予想移動領域内の構成カメラを選択することとした。しかし、実行PCは、前記予想移動領域を撮影範囲に含む構成カメラを選択することとしてもよい。
実施形態1〜7では、コントロールセンター2は、複数の構成PCによって構成されるものとしたが、単体の構成PCによって構成されていてもよい。コントロールセンター2が単体の構成PCによって構成されている場合、以下のようになる。即ち、単体の構成PCのCPUが、前記単体の構成PCの記憶装置等に記憶されたプログラムに基づき処理を実行することによって、コントロールセンター2の機能及び前述したフローチャートの処理が実現される。
実施形態1〜3、6〜7では、S302等の動きベクトル算出ステップの処理での動きベクトルの算出方法は、参考文献1に示すオプティカルフローの算出を利用した方法であるとした。しかし、動きベクトルの算出方法は、前記方法に限定されず、複数のカメラ1の各構成カメラが含む距離画像取得装置により取得された距離情報を用いて、三次元空間における動きベクトルを算出する方法等あってもよい。
実施形態1〜7では、特定状態を検出する特定状態検出処理方法は、参考文献2に示す方法であるとした。しかし、特定状態検出処理方法は、前記方法に限定されず、他の手法を用いてもよい。例えば、監視システムは、事前に特定状態が撮像されている画像データを用いて学習した検出器を用いて、特定状態を検出してもよい。
実施形態1〜7では、取得パラメータ、保存パラメータは、映像の解像度を制御する制御パラメータであるとした。しかし、取得パラメータ、保存パラメータは、前記制御パラメータに限るものではなく、映像の階調、フレームレート等、映像のデータ量に関わるパラメータであれば何でもよい。また、取得パラメータ、保存パラメータは、一つのパラメータに限定されるものではなく、複数のパラメータの組み合わせであってもよい。
実施形態1〜7では、実行PCは、S306等の領域内カメラ選択ステップの処理で選択されなかった構成カメラの取得パラメータ、前記構成カメラの映像データを記憶する記憶装置の保存パラメータを、全て同一となるように変更した。しかし、実行PCは、取得パラメータ、保存パラメータを、それぞれ異なるように変更してもよい。また、実行PCは、複数のカメラ1の映像データの総容量、保存される前記映像データの総容量を定常状態と同一とするように取得パラメータ、保存パラメータを変更した。しかし、実行PCは、リソースの許容範囲内であれば、複数のカメラ1の映像データの総容量、保存される前記映像データの総容量を定常状態と異なるものとなるように、取得パラメータ、保存パラメータを変更してもよい。
例えば、実行PCは、通信リソース、データ保存リソース等に余裕が有る場合、特定状態が検出された後の予め定められた期間の間の取得パラメータ、保存パラメータについて、次のようにしてもよい。即ち、実行PCは、複数のカメラ1の映像データのデータ総容量、保存される前記映像データの総容量が増加するように、取得パラメータ、保存パラメータを変更するようにしてもよい。実施形態1では、実行PCは、S306で選択されなかった構成カメラの取得パラメータである画像の解像度を320×240としたが、640×480のままとしてもよい。
実施形態1〜7では、定常状態において、監視システムは、複数のカメラ1の各構成カメラに対して同一の取得パラメータ適用し、前記各構成カメラの映像データの記憶処理に対して同一の保存パラメータを適用するものとした。しかし、監視システムは、定常状態においても構成カメラ毎、映像データ毎に異なる取得パラメータ、保存パラメータを適用してもよい。
実施形態1〜7では、実行PCは、S307の取得パラメータ変更ステップ等のパラメータ変更処理で変更したパラメータを、変更した時点から移動領域算出処理で利用した期間と同一の長さの期間経過後に元の値に戻すこととした。しかし、パラメータの変更の時点からパラメータを元の値に戻す時点までの期間の長さは、移動領域算出処理で利用した期間と同一の長さでなくてもよい。例えば、前記期間は、前記期間に対して、予め設定した期間を加えたものであってもよい。その場合、監視システムは、対象物体が移動途中に停止する等して、前記対象物体の予想移動領域内に留まる期間が長くなった場合に対応することができる。
実施形態1〜7では、実行PCは、S308の取得パラメータ再変更ステップ等のパラメータ再変更処理において、複数のカメラ1の各構成カメラのパラメータを定常状態におけるパラメータに戻すように変更するものとした。また、実行PCは、前記各構成カメラの映像データの記憶処理に関する保存パラメータを定常状態におけるパラメータに戻すように変更するものとした。しかし、実行PCは、定常状態とは異なる取得パラメータ、保存パラメータに変更してもよい。
実施形態1〜5では、実行PCは、取得パラメータ、保存パラメータのうち1つを変更することとしたが、他方のパラメータを変更してもよいし、取得パラメータ、保存パラメータの両方を変更してもよい。
実施形態3〜7では、実行PCは、S808の保存パラメータ再変更ステップ等のパラメータ再変更処理を独立した処理ステップとしている。しかし、実行PCは、実施形態2のように、S807の保存パラメータ変更ステップ等のパラメータ変更処理でパラメータを変更する際に、パラメータ変更処理を開始した時点から予め定められた期間が経過した時点で、パラメータを変更するようにしてもよい。実行PCは、更に、パラメータ変更処理を開始した時点から予め定められた期間が経過した時点に、自動的に取得パラメータが元の取得パラメータに戻るようにしてもよい。その場合、実行PCは、S808等のパラメータ再変更処理を省略することができるが、実質的な処理内容は変わらない。
実施形態3では、S807において、実行PCは、映像データが記憶装置に保存される期間を表す保存パラメータを変更してもよい。例えば、定常状態において、映像データは記憶装置に1年間保持された後に消去されるものとする。実行PCは、保存パラメータを変更した映像データに関して、保存する期間を予め定められた期間(例えば1ヶ月間)延長するように、保存パラメータを変更することができる。
特定状態を有する対象物体を含む映像データ及び対象物体を含んでいると予想される映像データは、将来何らかの事件が発生した場合等に、改めて参照する可能性が定常状態に撮影された映像データよりも高い。そこで、実行PCは、特定状態を有する対象物体を含む映像データ及び対象物体を含んでいると予想される映像データについての保存期間を延長することにより、対象物体に関する情報をより長期に渡り保存することができる。なお延長する期間は、ユーザにより事前に設定されているものとし、記憶装置の総容量と、ユーザのニーズに合わせて決定される。
実施形態4、5では、図9に示す監視システムの処理には、動きベクトル算出ステップは含まれていないが、動きベクトル算出ステップと同様の処理が特定状態検出処理ステップS902の処理に含まれていてもよい。即ち、実施形態3における特定状態検出処理ステップS902の処理は、特徴量として動きベクトルを用いる処理に限定されず、他の特徴量を用いる手法等の他の特定状態検出処理手法であってもよい。
実施形態7では、構成カメラに対応する空間配置情報の表現方法は、前記構成カメラと他の構成カメラとの距離、及び前記構成カメラの撮影範囲の中心と前記他の構成カメラの撮影範囲の中心との角度に基づく角度レンジで表現する方法であるとした。しかし、構成カメラに対応する空間配置情報の表現方法は、前記方法に限定されず、種別カテゴリ毎に異なる経路を辿り得ることを考慮した表現方法であれば、他の方法でもよい。
例えば、構成カメラに対応する空間配置情報の表現方法は、動きベクトルの角度を参照せず、x−y平面上の前記構成カメラと他の構成カメラとの距離だけで表現する方法でもよい。前記方法では、空間配置情報には、距離の情報だけが記載されることとなる。実行PCは、S1507において、S1505で算出したx−y平面内の動きベクトルに予め定められた期間の長さを乗じたベクトルの大きさが、前記空間配置情報に記載された距離の値より大きい場合、前記距離に対応する構成カメラを選択する。
また、構成カメラに対応する空間配置情報の表現方法は、動きベクトルの角度と、前記構成カメラの撮影範囲の中心と他の構成カメラの撮影範囲の中心との距離と、で表現する方法でもよい。更に、構成カメラに対応する空間配置情報の表現方法は、動きベクトルの角度を参照せず、前記構成カメラの撮影範囲の中心と他の構成カメラの撮影範囲の中心との距離だけで表現する方法でもよい。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1 複数のカメラ、2 コントロールセンター

Claims (17)

  1. 複数の撮影手段のうち、少なくとも1つの撮影手段により撮影された被写体の画像から前記被写体の状態情報を取得する取得手段と、
    前記取得手段により取得された前記状態情報と前記複数の撮影手段の配置情報とに基づいて、前記複数の撮影手段により撮影される映像データの容量に関するパラメータを変更する変更手段と、
    を有する情報処理装置。
  2. 前記変更手段は、前記複数の撮影手段に応じて特定した期間の間、前記複数の撮影手段により撮影される映像データの容量に関するパラメータを変更する請求項1記載の情報処理装置。
  3. 前記変更手段は、前記取得手段により取得された前記状態情報に基づいて前記画像が撮影された時点から設定された期間の後に前記被写体の存在する領域を特定し、前記配置情報に示される場所に配置された前記撮影手段が前記領域に含まれるか否かに基づいて、前記撮影手段により撮影される映像データの容量に関するパラメータを変更する請求項1又は2記載の情報処理装置。
  4. 前記変更手段は、前記撮影手段が前記領域に含まれる場合、前記撮影手段により撮影される映像データの容量を増加させるように前記パラメータを変更し、前記撮影手段が前記領域に含まれない場合、前記撮影手段により撮影される映像データの容量を減少させるように前記パラメータを変更する請求項3記載の情報処理装置。
  5. 前記変更手段は、前記状態情報として前記被写体の動きベクトルを特定し、特定した動きベクトルに基づいて前記画像が撮影された時点から設定された期間の後に前記被写体の存在する領域を特定する請求項3又は4記載の情報処理装置。
  6. 前記変更手段は、前記状態情報が取得された画像を撮影した撮影手段が配置された位置と、前記位置を始点とする前記動きベクトルの終点と、をつなぐ線分を直径とする円形領域を前記領域として特定する請求項5記載の情報処理装置。
  7. 前記変更手段は、前記状態情報として前記被写体のカテゴリ情報を特定し、特定した前記カテゴリ情報に基づいて前記画像が撮影された時点から設定された期間の後に前記被写体の存在する領域を特定する請求項3又は4記載の情報処理装置。
  8. 前記変更手段は、前記カテゴリ情報に対応して予め設定された対応領域を前記領域として特定する請求項7記載の情報処理装置。
  9. 前記カテゴリ情報は、種別カテゴリ情報、動作カテゴリ情報、特定状態カテゴリ情報のうち、少なくとも一つを含む請求項7又は8記載の情報処理装置。
  10. 前記変更手段は、前記取得手段により取得された前記状態情報と前記複数の撮影手段の配置情報とに基づいて、前記パラメータとして前記複数の撮影手段の取得パラメータを変更する請求項1乃至9何れか1項記載の情報処理装置。
  11. 前記変更手段は、前記取得手段により取得された前記状態情報と前記複数の撮影手段の配置情報とに基づいて、前記パラメータとして前記映像データが記憶される記憶装置の保存パラメータを変更する請求項1乃至10何れか1項記載の情報処理装置。
  12. 前記パラメータは、解像度、フレームレート、階調のうち、少なくとも1つを含む請求項1乃至11何れか1項記載の情報処理装置。
  13. 前記変更手段は、前記取得手段により取得された前記状態情報と前記被写体の種別カテゴリ情報に応じた前記配置情報とに基づいて、前記撮影手段により撮影される映像データの容量に関するパラメータを変更する請求項1乃至12何れか1項記載の情報処理装置。
  14. 複数の撮影手段と、
    前記複数の撮影手段のうち、少なくとも1つの撮影手段により撮影された被写体の画像から前記被写体の状態情報を取得する取得手段と、
    前記取得手段により取得された前記状態情報と前記複数の撮影手段の配置情報とに基づいて、前記複数の撮影手段により撮影される映像データの容量に関するパラメータを変更する変更手段と、
    を有する監視システム。
  15. 情報処理装置が実行する情報処理方法であって、
    複数の撮影手段のうち、少なくとも1つの撮影手段により撮影された被写体の画像から前記被写体の状態情報を取得する取得ステップと、
    前記取得ステップにより取得された前記状態情報と前記複数の撮影手段の配置情報とに基づいて、前記複数の撮影手段により撮影される映像データの容量に関するパラメータを変更する変更ステップと、
    を含む情報処理方法。
  16. 複数の撮影手段を含む監視システムが実行する情報処理方法であって、
    前記複数の撮影手段のうち、少なくとも1つの撮影手段により撮影された被写体の画像から前記被写体の状態情報を取得する取得ステップと、
    前記取得ステップにより取得された前記状態情報と前記複数の撮影手段の配置情報とに基づいて、前記複数の撮影手段により撮影される映像データの容量に関するパラメータを変更する変更ステップと、
    を含む情報処理方法。
  17. コンピュータに、
    複数の撮影手段のうち、少なくとも1つの撮影手段により撮影された被写体の画像から前記被写体の状態情報を取得する取得ステップと、
    前記取得ステップにより取得された前記状態情報と前記複数の撮影手段の配置情報とに基づいて、前記複数の撮影手段により撮影される映像データの容量に関するパラメータを変更する変更ステップと、
    を実行させるためのプログラム。
JP2014236730A 2014-11-21 2014-11-21 情報処理装置、監視システム、情報処理方法、及びプログラム Pending JP2016100770A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014236730A JP2016100770A (ja) 2014-11-21 2014-11-21 情報処理装置、監視システム、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014236730A JP2016100770A (ja) 2014-11-21 2014-11-21 情報処理装置、監視システム、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2016100770A true JP2016100770A (ja) 2016-05-30

Family

ID=56076405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014236730A Pending JP2016100770A (ja) 2014-11-21 2014-11-21 情報処理装置、監視システム、情報処理方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2016100770A (ja)

Similar Documents

Publication Publication Date Title
US10217021B2 (en) Method for determining the position of a portable device
US10116922B2 (en) Method and system for automatic 3-D image creation
CN109788189B (zh) 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法
KR102462799B1 (ko) 자세 추정 방법 및 자세 추정 장치
WO2017057054A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6555906B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2012175783A1 (en) Video remixing system
CN111402404B (zh) 全景图补全方法、装置、计算机可读存储介质及电子设备
KR20180130504A (ko) 정보 처리 장치, 정보 처리 방법, 프로그램
CN112640419B (zh) 跟随方法、可移动平台、设备和存储介质
CN113587928B (zh) 导航方法、装置、电子设备、存储介质及计算机程序产品
US20220189038A1 (en) Object tracking apparatus, control method, and program
JP2013223104A (ja) カメラおよびカメラシステム
CN112995491A (zh) 视频生成方法、装置、电子设备及计算机存储介质
JP2018139052A (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JPWO2020039897A1 (ja) 駅監視システム及び駅監視方法
JP2016100770A (ja) 情報処理装置、監視システム、情報処理方法、及びプログラム
JP2020136774A (ja) 動きベクトルを検出する画像処理装置およびその制御方法ならびにプログラム
JP7107597B2 (ja) 駅監視装置、駅監視方法及びプログラム
CN112291701B (zh) 定位验证方法、装置、机器人、外部设备和存储介质
WO2021024860A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20170076154A1 (en) Device and method for video generation
JP6237119B2 (ja) 画像処理装置および画像処理方法
US11076097B2 (en) Method for street view service and apparatus for performing same method
Saraceni et al. An active monitoring system for real-time face-tracking based on mobile sensors