JP2014175706A - 監視装置、監視方法および撮像部の配置方法 - Google Patents

Abstract

【課題】多くのカメラを設けることなく、監視対象の追跡を精度よく行うことができる監視装置、監視方法および撮像部の配置方法を提供する。
【解決手段】画角が固定されている第１撮像部Ａと、撮像方向を変更可能であり、第１撮像部Ａよりも小さな画角に調整可能な第２撮像部Ｐと、第１撮像部Ａおよび第２撮像部Ｐにより撮像されたそれぞれの画像中から対象物を抽出する抽出部１２，１４と、抽出部１２，１４により抽出された対象物の位置を算出する情報処理部１５と、情報処理部１５により算出された対象物の位置に基づいて、対象物が第２撮像部Ｐにより撮像される画像に継続して写るように第２撮像部Ｐの撮像方向を調整する制御部１８とを備える。
【選択図】図２

Description

本発明は、監視装置、監視方法および撮像部の配置方法に関し、特に、複数の撮像部を用いて監視を行う監視装置、監視方法および撮像部の配置方法に関する。

従来、人物監視において、１台のカメラでは視野が限られていることから、視野を共有しない複数のカメラを設け、複数のカメラ間で人物照合を行うことにより特定の人物を追跡して撮像する技術が提案されている（たとえば、「サーベイ論文：視野を共有しない複数カメラ間での人物照合」井尻善久 他、信学技報 Vol.111, No.317, pp.117-124,2011年11月（非特許文献１）参照）。

また、複数のカメラ間で視野を共有することにより、複数のカメラによって同時に撮像された移動体の位置情報を計測する計測装置が提案されている。たとえば、移動物体を計測する場合に同時に３台以上のカメラを用いて、その移動物体の移動にしたがって、その移動物体の３次元情報を計測するに適する位置からのカメラに動的に切替える計測装置（たとえば、特許第３６３１２６６号公報（特許文献２）参照）が知られている。

また、複数のカメラ間で人物照合を行うための技術が提案されている。たとえば、複数の監視カメラ間で追跡対象の特徴情報を受け渡し、その特徴情報を用いて各監視カメラが追跡対象を追跡する監視システム（たとえば、特許第３９９９５６１号公報（特許文献３）参照）が知られている。

「サーベイ論文：視野を共有しない複数カメラ間での人物照合」井尻善久 他、信学技報 Vol.111, No.317, pp.117-124, 2011年11月

特許第３６３１２６６号公報 特許第３９９９５６１号公報

ところで、非特許文献１、特許文献２および特許文献３に記載の技術では、複数のカメラを設けているため、コストが増加するという問題がある。そこで、たとえば１つのカメラを高い位置に設定し、このカメラが比較的大きな画角で撮像するように構成することが考えられる。この場合、カメラの台数が減少することによりコストの増加を抑えることができ、かつ、高い位置から大きな画角で撮像することにより広い領域を監視することができる。しかしながら、この場合、カメラの有効画素数に対して監視対象が写る画素数の割合が低すぎることにより、監視対象の認識精度が低下する虞がある。

この発明は、上述の課題を解決するためになされたもので、その目的は、多くのカメラを設けることなく、監視対象の追跡を精度よく行うことができる監視装置、監視方法および撮像部の配置方法を提供することである。

上記課題を解決するために、この発明のある局面に係わる監視装置は、画角が固定されている第１撮像部と、撮像方向を変更可能であり、上記第１撮像部よりも小さな画角に調整可能な第２撮像部と、上記第１撮像部および上記第２撮像部により撮像されたそれぞれの画像中から対象物を抽出する抽出部と、上記抽出部により抽出された上記対象物の位置を算出する情報処理部と、上記情報処理部により算出された上記対象物の位置に基づいて、上記対象物が上記第２撮像部により撮像される画像に継続して写るように上記第２撮像部の撮像方向を調整する制御部とを備える。

本発明によれば、多くのカメラを設けることなく、監視対象の追跡を精度よく行うことができる。

本発明の実施の形態に係る監視装置の使用イメージを示す図である。 本発明の実施の形態に係る監視装置の画像処理部の構成を示すブロック図である。 本発明の実施の形態に係る監視装置の画像処理部における情報処理部の構成を示すブロック図である。 本発明の実施の形態に係る監視装置による監視動作の全体の流れを示すフローチャートである。 図４に示す実空間座標の選択処理の動作手順を示すフローチャートである。 本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン１）である。 本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン２）である。 本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン３）である。 本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン４）である。 本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン５）である。 本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン６）である。 本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン７）である。

［構成および基本動作］
以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

（監視装置の構成）
図１は、本発明の実施の形態に係る監視装置の使用イメージを示す図である。

図１を参照して、監視装置１００は、画像処理部１０と、広角カメラ（第１撮像部）Ａと、広角カメラ（第３撮像部）Ｂと、ＰＴＺ（パン・チルト・ズーム）カメラ（第２撮像部）Ｐと、ＰＴＺ駆動部１１とを備える。

広角カメラＡにより撮像される撮像領域ＥＡと、広角カメラＢにより撮像される撮像領域ＥＢとは、たとえば互いに重複しない異なる領域であり、広角カメラＡおよび広角カメラＢは、それぞれ対応の撮像領域の広角画像を常時撮像して、撮像画像を画像処理部１０へ出力する。

ＰＴＺカメラＰは、ＰＴＺ駆動部１１の制御に基づいて、モータ等の駆動によって光軸方向を変えることにより撮影方向を上下左右に変更することができる。また、たとえば、ＰＴＺカメラＰは、ＰＴＺ駆動部１１の制御に基づいて、画角を調整することができる。

ＰＴＺカメラＰは、たとえば、画像処理部１０により広角カメラＡおよび広角カメラＢより小さな画角に調整されて、撮像領域ＥＡと、撮像領域ＥＢと、広角カメラＡおよび広角カメラＢのいずれによっても撮像されない死角領域とのうち、特定の領域を拡大画像により撮像する。

具体的には、たとえば、ＰＴＺカメラＰは、初期状態では、比較的大きい画角で、死角領域、撮像領域ＥＡの境界付近、および、撮像領域ＥＢの境界付近を含む領域を撮像する。そして、画像処理部１０が、人物を撮像の対象として、当該人物の拡大画像を撮像するようにＰＴＺ駆動部１１へ指示すると、ＰＴＺ駆動部１１は、ＰＴＺカメラＰが当該人物の拡大画像を継続して撮像するようにＰＴＺカメラＰの撮像方向および画角等を調整する。これにより、ＰＴＺカメラＰは、当該人物を追跡し、当該人物の拡大画像を継続して撮像する。

なお、ＰＴＺカメラＰは、初期状態、すなわちいずれの対象物も追跡していない状態では、撮像領域ＥＡまたは撮像領域ＥＢのうち人の出入りが多い場所、または、重要文化財などの保護対象が存在する特定領域など、予め設定された場所を撮像していても良い。

また、広角カメラＡ、広角カメラＢおよびＰＴＺカメラＰは、それぞれ並行して画像の撮像を行う。なお、広角カメラＡおよび広角カメラＢの代わりに、最大画角がＰＴＺカメラＰよりも大きなＰＴＺカメラを用いることもできる。

また、死角領域、撮像領域ＥＡおよび撮像領域ＥＢの各領域の「境界付近」とは、たとえば、各カメラにより撮像された画像の上下左右端からそれぞれ内側５０ピクセル以内の領域、または、各カメラにおいて水平画角の内側５％以内の領域および垂直画角の内側５％以内の領域などである。すなわち、たとえば広角カメラＡの水平画角が１００°である場合、この水平画角の両端から内側５°以内の領域は、撮像領域ＥＡの境界付近に該当する。

（画像処理部の構成）
図２は、本発明の実施の形態に係る監視装置の画像処理部の構成を示すブロック図である。

図２を参照して、画像処理部１０は、抽出部１２，１３，１４と、情報処理部１５と、記憶部１６と、外部出力部１７と、制御部１８とを含む。

抽出部１２は、広角カメラＡにより撮像された広角画像のデータを受けて、このデータを記憶部１６へ出力する。これにより、記憶部１６には、広角カメラＡにより撮像された撮像領域ＥＡの広角画像のデータが順次記憶される。

また、抽出部１２は、広角画像のデータに基づいて、例えば背景差分法を用いることにより、広角カメラＡにより撮像された広角画像に含まれる対象物を抽出する。

詳細には、抽出部１２は、広角画像のデータに基づいて、広角画像における各画素の輝度値を取得し、取得した各画素の輝度値と、予め作成された人物が写っていない撮像領域ＥＡの背景画像における各画素の輝度値との差の絶対値である背景差分値Ｄ１（ｉ，ｊ）を算出する。

そして、抽出部１２は、広角画像について、背景差分値Ｄ１（ｉ，ｊ）に基づき「１」または「０」の二値化処理を行う。そして、抽出部１２は、二値化処理された広角画像について、人物の大きさ程度の枠を検出枠として複数読み出し、読み出した検出枠において「１」が与えられている割合が所定値以上である場合には、この検出枠に人物すなわち対象物が写っていると判断する。

なお、抽出部１２は、上述した背景差分法に限らず、たとえば閾値処理などの方法を用いて対象物を抽出することもできる。

詳細には、たとえば、抽出部１２は、広角カメラＡにより撮像された撮像領域ＥＡの広角画像中において他の部分とは異なる模様が写っている検出枠を抽出し、この検出枠に写る模様と、他の領域の模様との差異の程度を算出する。そして、抽出部１２は、差異の程度が閾値以上である検出枠に対象物が写っていると判断する。

そして、抽出部１２は、対象物が写っていると判断した検出枠にラベルを付した広角画像のデータを、情報処理部１５へ出力する。なお、抽出部１２は、複数の異なる対象物を抽出した場合、各対象物が写っている検出枠に異なるラベルを付する。

抽出部１３は、抽出部１２と同様に、広角カメラＢにより撮像された広角画像のデータを受けて、このデータを記憶部１６へ出力する。これにより、記憶部１６には、広角カメラＢにより撮像された撮像領域ＥＢの広角画像のデータが順次記憶される。

また、抽出部１３は、広角画像のデータに基づいて、例えば、背景差分法を用いる、または、閾値処理を行うことにより、広角カメラＢにより撮像された広角画像に含まれる対象物を抽出する。そして、抽出部１３は、対象物が写っていると判断した検出枠にラベルを付した広角画像のデータを、情報処理部１５へ出力する。

抽出部１４は、抽出部１２，１３と同様に、ＰＴＺカメラＰにより撮像された画像のデータを受けて、このデータを記憶部１６へ出力する。これにより、記憶部１６には、ＰＴＺカメラＰにより撮像された画像のデータが順次記憶される。

また、抽出部１４は、ＰＴＺカメラＰにより撮像された画像のデータに基づいて、例えば、背景差分法を用いる、または、閾値処理を行うことにより、ＰＴＺカメラＰにより撮像された画像に含まれる対象物を抽出する。そして、抽出部１４は、対象物が写っていると判断した検出枠にラベルを付した画像のデータを、情報処理部１５へ出力する。

また、上述のとおり、広角カメラＡ、広角カメラＢおよびＰＴＺカメラＰは、それぞれ対応の撮像領域を常時撮像し、撮像した画像すなわち動画を画像処理部１０へ出力する。このため、抽出部１２，１３，１４は、それぞれ対応のカメラから出力される動画のフレームごとに、対象物の抽出を行う。このとき、抽出部１２，１３，１４は、異なる画像間で同一の対象物を抽出した場合、同一の対象物が写っている検出枠には同一のラベルを付する。

たとえば、抽出部１２は、時刻ｔにおいて広角カメラＡにより撮像された広角画像から対象物Ｘ１を抽出した場合、対象物Ｘ１が写っている検出枠にラベルＸ１を付する。

そして、抽出部１２は、時刻ｔ＋１において広角カメラＡにより撮像された広角画像を取得し、取得した広角画像から再び対象物を抽出する。このとき、抽出部１２は、時刻ｔに撮像された広角画像のうちラベルＸ１が付された検出枠の位置付近に存在する対象物を抽出した場合、当該対象物は、対象物Ｘ１と同一の対象物であると判断する。そして、抽出部１２は、当該対象物が写っている検出枠に同じラベルであるラベルＸ１を付する。

なお、抽出部１２は、時刻ｔに撮像された広角画像のうちラベルＸ１が付された検出枠の位置から離れた場所に存在する対象物を抽出した場合、当該対象物は、対象物Ｘ１とは異なる対象物であると判断する。そして、抽出部１２は、当該対象物が写っている検出枠にラベルＸ１とは異なるラベル、たとえばラベルＸ２を付する。

抽出部１３，１４も同様に、上記のような方法を用いて対象物を抽出して、抽出した対象物が写っている検出枠にラベルを付す。このように、抽出部１２，１３，１４は、抽出した１または複数の対象物の移動先を特定して、各対象物を追跡することができる。

情報処理部１５は、抽出部１２，１３，１４から対象物が写っている検出枠にラベルが付された画像のデータを取得する。そして、情報処理部１５は、ラベルが付された検出枠の位置に基づいて、対象物の位置を算出する。具体的には、情報処理部１５は、対象物の実空間における座標である実空間座標を算出する。

また、情報処理部１５は、ＰＴＺカメラＰが対象物である追跡対象物を追跡して撮像している場合、ＰＴＺカメラＰの撮像方向および画角など、ＰＴＺカメラＰの制御情報に基づいて、ＰＴＺカメラＰにより追跡して撮像されている対象物の実空間座標を算出することも可能である。

また、情報処理部１５は、広角カメラＡ、広角カメラＢおよびＰＴＺカメラＰのうち少なくともいずれか１つのカメラにより撮像された対象物が複数抽出された場合、各対象物に対して優先順位を付与する。たとえば、情報処理部１５は、各対象物の異常度を算出して、算出した異常度が高いほど高い優先順位を付与する。そして、情報処理部１５は、優先順位が最も高い対象物を、ＰＴＺカメラＰにより追跡して撮像される追跡対象物として決定する。なお、情報処理部１５による優先順位の付与の詳細については、後述する。

そして、情報処理部１５は、追跡対象物として決定した対象物の実空間座標に基づいて、この追跡対象物がＰＴＺカメラＰにより追跡して撮像されるように、ＰＴＺカメラＰの制御情報を生成し、生成した制御情報を制御部１８へ出力する。

制御部１８は、情報処理部１５から受けた制御情報に基づいて、ＰＴＺ駆動部１１へ駆動指示を示す信号を出力する。

そして、ＰＴＺ駆動部１１は、制御部１８から受けた駆動指示を示す信号に基づいてＰＴＺカメラＰの駆動、すなわちＰＴＺカメラＰの撮像方向および画角等を調整する。そして、ＰＴＺカメラＰは、情報処理部１５により決定された追跡対象物の拡大画像を撮像し、撮像した拡大画像が、抽出部１４を介して記憶部１６へ出力される。これにより、記憶部１６には、ＰＴＺカメラＰにより追跡して撮像された追跡対象物の拡大画像のデータが順次記憶される。

また、情報処理部１５は、撮像領域ＥＡ、撮像領域ＥＢおよび死角領域が所定条件を満たすか否かを判断する。たとえば、情報処理部１５は、追跡対象物の異常度が閾値以上である場合、所定条件を満たすと判断する。そして、この場合、情報処理部１５は、外部出力部１７へ出力指示を示す信号を出力する。

外部出力部１７は、情報処理部１５から出力指示を示す信号を受けた後、記憶部１６に追跡対象物の拡大画像のデータが保存されると、記憶部１６に記憶された追跡対象物の拡大画像のデータを取得する。

なお、外部出力部１７は、追跡対象物が広角カメラＡまたは広角カメラＢにより撮像された広角画像に写っている場合、当該広角画像のデータも取得する。

そして、外部出力部１７は、取得したデータを、外部モニタまたはユーザの携帯端末等に送信する。なお、外部出力部１７は、たとえば追跡対象物の異常度が高いことを伝えるためのテキスト文を、外部モニタまたはユーザの端末装置などへ合わせて送信してもよい。これにより、外部モニタまたはユーザの携帯端末等において、たとえば、異常度が最も高い人物の拡大画像および当該人物が写っている広域の画像がリアルタイムで表示される。

（情報処理部の構成）
図３は、本発明の実施の形態に係る監視装置の画像処理部における情報処理部の構成を示すブロック図である。

図３を参照して、情報処理部１５は、実空間座標算出部２２と、優先順位付与部２３と、追跡対象物決定部２４と、制御情報生成部２５と、通報判断部２６とを有する。

実空間座標算出部２２は、広角カメラＡおよび広角カメラＢについて、地面からの設置高さ、各カメラの俯角、水平方向の画角および垂直方向の画角などのカメラ情報を予め記憶する。また、実空間座標算出部２２は、ＰＴＺカメラＰがいずれの対象物も追跡していない状態における、ＰＴＺカメラＰの地面からの設置高さ、ＰＴＺカメラＰの俯角、水平方向の画角および垂直方向の画角などのカメラ情報を予め記憶する。

実空間座標算出部２２は、抽出部１２，１３，１４から、対象物が写っている検出枠にラベルが付された画像のデータを取得する。そして、実空間座標算出部２２は、対象物が広角カメラＡまたは広角カメラＢにより撮像された広角画像から抽出された場合、当該対象物が写っている広角画像中における当該対象物の座標と、広角カメラＡおよび広角カメラＢのうち当該広角画像を撮像した広角カメラのカメラ情報とに基づいて、当該対象物の実空間座標を算出する。

また、実空間座標算出部２２は、対象物がＰＴＺカメラＰにより撮像された画像から抽出された場合、ＰＴＺカメラＰの制御情報に基づいて、当該対象物の実空間座標を算出する。

詳細には、上述のとおり、ＰＴＺカメラＰは、ＰＴＺ駆動部１１により撮像方向および画角等を調整されて対象物を追跡して撮像する。このため、対象物がＰＴＺカメラＰにより撮像されている場合、実空間座標算出部２２は、ＰＴＺカメラＰの撮像方向および画角などの制御情報に基づいて、当該対象物の実空間座標を算出することができる。

なお、上述のとおり、ＰＴＺカメラＰは、いずれの対象物も追跡していない状態では、比較的大きい画角で撮像領域ＥＡの境界付近、撮像領域ＥＢの境界付近および死角領域を撮像する。この状態において、対象物が、撮像領域ＥＡの境界付近、撮像領域ＥＢの境界付近および死角領域のうちいずれかの場所に存在する場合、当該対象物はＰＴＺカメラＰにより撮像された画像に写る。したがって、この場合、実空間座標算出部２２は、ＰＴＺカメラＰにより撮像された画像中における当該対象物の座標と、予め記憶したＰＴＺカメラＰのカメラ情報とに基づいて、当該対象物の実空間座標を算出することができる。

また、実空間座標算出部２２は、同一の対象物が、異なる複数のカメラにより撮像された場合、具体的には、同一の対象物が広角カメラＡおよびＰＴＺカメラＰの双方により撮像された場合、または、同一の対象物が広角カメラＢおよびＰＴＺカメラＰの双方により撮像された場合、同一の対象物の実空間座標を重複して算出する。このとき重複して算出される実空間座標は、同じ値または近似した値である。

このため、実空間座標算出部２２は、当該対象物が存在する位置に基づいて、重複して算出した実空間座標のうちいずれか一方を選択する。

なお、実空間座標算出部２２は、対象物が広角カメラＡまたは広角カメラＢにのみ撮像された場合には、当該対象物が写っている広角画像中における当該対象物の座標に基づいて１つの実空間座標のみ算出する。これは、実空間座標算出部２２が、算出した１つの実空間座標を選択することに相当する。

また、実空間座標算出部２２は、対象物がＰＴＺカメラＰにのみ撮像された場合には、ＰＴＺカメラＰの制御情報に基づいて１つの実空間座標のみ算出する。これは、実空間座標算出部２２が、算出した１つの実空間座標を選択することに相当する。

そして、実空間座標算出部２２は、選択した各対象物の実空間座標を保持するとともに、優先順位付与部２３へ出力する。

優先順位付与部２３は、実空間座標算出部２２から受けた各対象物の実空間座標に基づいて、たとえば、各対象物の異常度を算出し、算出した異常度に基づいて各対象物に対して優先順位を付与する。

ここで、異常度とは、例えば、人物の移動経路、重要文化財などの保護対象が存在する特定領域に対する人物の位置、特定の場所の徘徊、所定時間以上の滞在、人物の移動速度、人物の姿勢、および、人物が手に持っているものなどの行動に基づく値であり、予め設定されている。たとえば、ある人物が、所定時間以上同じ位置に滞在し、さらに、この滞在している位置が重要文化財の存在する特定領域に近い場合には、それぞれの行動に対する異常度が合算される。

そして、優先順位付与部２３は、算出した異常度が高いほど、高い優先順位を対象物に対して付与する。

なお、優先順位付与部２３は、上述した方法に限らず、死角領域に対する各対象物の位置に基づいて優先順位を付与することも可能である。

たとえば、優先順位付与部２３は、対象物が広角カメラＡおよび広角カメラＢの死角領域に位置する場合、当該対象物に対して高い優先順位を付与することができる。また、優先順位付与部２３は、対象物が撮像領域ＥＡまたは撮像領域ＥＢの境界付近に位置する場合も同様に、当該対象物に対して高い優先順位を付与することができる。

なお、優先順位付与部２３は、上述した異常度に基づく優先順位の付与と、死角領域に対する各対象物の位置に基づく優先順位の付与との双方を行っても良い。この場合、優先順位付与部２３は、たとえば、異常度に基づいて付与した優先順位に、死角領域に対する各対象物の位置に基づいて付与した優先順位を加算して、各対象物に対して総合的に優先順位を付与する。

そして、優先順位付与部２３は、各対象物に対して付与した優先順位を示す情報、および、各対象物の異常度を示す情報を、追跡対象物決定部２４へ出力する。

追跡対象物決定部２４は、優先順位付与部２３から受けた優先順位を示す情報に基づいて、最も高い優先順位が付与された対象物を追跡対象物として決定する。そして、追跡対象物決定部２４は、追跡対象物として決定した対象物を制御情報生成部２５へ通知する。

制御情報生成部２５は、追跡対象物決定部２４から追跡対象物として通知された対象物の実空間座標を実空間座標算出部２２から取得する。そして、制御情報生成部２５は、追跡対象物の実空間座標に基づいて、追跡対象物がＰＴＺカメラＰにより追跡して撮像されるようにＰＴＺカメラＰの制御情報を生成して、生成した制御情報を制御部１８へ出力する。

また、追跡対象物決定部２４は、追跡対象物の異常度を示す情報を通報判断部２６へ出力する。通報判断部２６は、たとえば、追跡対象物決定部２４から受けた追跡対象物の異常度が閾値以上である場合、所定条件を満たすと判断する。そして、この場合、通報判断部２６は、外部モニタまたはユーザの携帯端末等へ通報することを決定して、外部出力部１７へ出力指示を示す信号を出力する。

なお、ＰＴＺカメラＰによる追跡対象物の拡大画像の撮像と並行して、広角カメラＡおよび広角カメラＢにより新たに広角画像が撮像される。そして、抽出部１２，１３により、新たに撮像された広角画像から対象物が抽出され、実空間座標算出部２２により各対象物の実空間座標の算出および実空間座標の選択が行われると、優先順位付与部２３は、新たに実空間座標が選択された各対象物について異常度を再び算出し、算出した異常度に基づいて優先順位を再び付与する。

すなわち、新たに対象物が抽出されて、各対象物に対する優先順位が更新されることにより、ＰＴＺカメラＰにより追跡して撮像されていた対象物と異なる対象物が新たに追跡対象物として決定されることがある。この場合、ＰＴＺカメラＰは、追跡する対象物を切り替えて、新たに追跡対象物として決定された対象物の追跡を開始する。

［動作］
（監視動作の全体の流れ）
次に、本発明の実施の形態に係る監視装置１００による監視動作について説明する。図４は、本発明の実施の形態に係る監視装置による監視動作の全体の流れを示すフローチャートである。

監視装置１００は、フローチャートの各ステップを含むプログラムを図示しないメモリから読み出して実行する。このプログラムは、外部からインストールすることができる。このインストールされるプログラムは、たとえば記録媒体に格納された状態で流通する。

図４を参照して、まず、広角カメラＡ、広角カメラＢおよびＰＴＺカメラＰによりそれぞれ対応の領域が撮像される。ここでは、ＰＴＺカメラＰは、撮像領域ＥＡの境界付近、撮像領域ＥＢの境界付近、および、広角カメラＡおよび広角カメラＢの死角領域を撮像するものとする。そして、画像処理部１０の抽出部１２，１３，１４は、それぞれ対応のカメラにより撮像された画像を取得する（ステップＳ１１）。

次に、抽出部１２，１３，１４は、対応のカメラから受けた画像から対象物を抽出し、抽出した各対象物が写っている検出枠にラベルを付した画像のデータを、情報処理部１５の実空間座標算出部２２、および、記憶部１６へ出力する（ステップＳ１２）。

なお、広角カメラＡ、広角カメラＢおよびＰＴＺカメラＰによりそれぞれ撮像されたいずれの画像からも対象物が抽出されない場合、ステップＳ１３以降の動作は実行されず、画像処理部１０の抽出部１２，１３，１４は、再び、それぞれ対応のカメラにより撮像された画像を取得して（ステップＳ１１）、対象物の抽出処理（ステップＳ１２）を繰り返す。

次に、実空間座標算出部２２は、抽出部１２，１３，１４から受けた画像のデータに基づいて、各対象物の実空間座標を算出する。そして、実空間座標算出部２２は、各対象物について、算出した実空間座標のうち１つの実空間座標を選択する。なお、実空間座標算出部２２は、１つの実空間座標のみを算出した対象物については、当該実空間座標を選択する。そして、実空間座標算出部２２は、選択した各対象物の実空間座標を示す情報を保持するとともに、優先順位付与部２３へ出力する（ステップＳ１３）。

次に、優先順位付与部２３は、実空間座標算出部２２により選択された各対象物の実空間座標に基づいて、各対象物の異常度を算出する。そして、優先順位付与部２３は、算出した異常度に基づいて、各対象物に対して優先順位を付与する。そして、優先順位付与部２３は、各対象物に対して付与した優先順位を示す情報および各対象物の異常度を示す情報等を、追跡対象物決定部２４へ出力する（ステップＳ１４）。

次に、追跡対象物決定部２４は、優先順位付与部２３から受けた各対象物の優先順位に基づいて、最も高い優先順位が付与された対象物を追跡対象物として決定し、追跡対象物として決定した対象物を制御情報生成部２５へ通知する（ステップＳ１５）。

次に、制御情報生成部２５は、追跡対象物決定部２４から追跡対象物として通知された対象物の実空間座標を実空間座標算出部２２から取得する。そして、制御情報生成部２５は、実空間座標算出部２２から取得した追跡対象物の実空間座標に基づいて、ＰＴＺカメラＰの制御情報を生成し、生成した制御情報を制御部１８へ出力する。

そして、制御部１８は、制御情報生成部２５から受けた制御情報に基づいて、ＰＴＺ駆動部１１に対する駆動指示を示す信号を出力する。

そして、ＰＴＺ駆動部１１は、制御部１８から受けた駆動指示を示す信号に基づいてＰＴＺカメラＰの駆動、すなわちＰＴＺカメラＰの撮像方向および画角等を調整する。そして、ＰＴＺカメラＰは、情報処理部１５により決定された追跡対象物を追跡して、この追跡対象物の拡大画像を撮像し、撮像した拡大画像が、抽出部１４を経由して記憶部１６に保存される（ステップＳ１６）。

そして、抽出部１２，１３，１４は、それぞれ対応のカメラにより撮像された画像を再び取得して、上述のステップＳ１１以降の動作が繰り返される。

なお、前述のとおり、追跡対象物決定部２４は、追跡対象物を決定すると、当該追跡対象物の異常度を示す情報を通報判断部２６へ出力する。そして、通報判断部２６は、たとえば、追跡対象物決定部２４から受けた追跡対象物の異常度が閾値以上である場合、所定条件を満たすと判断して、外部モニタまたはユーザの携帯端末等へ通報することを決定し、外部出力部１７へ出力指示を示す信号を出力する。

そして、外部出力部１７は、通報判断部２６から出力指示を示す信号を受けた後、記憶部１６に追跡対象物の拡大画像のデータが保存されると、当該データを記憶部１６から取得する。そして、外部出力部１７は、取得した画像のデータを、外部モニタまたはユーザの携帯端末等に送信する。

（実空間座標の選択処理）
図５は、図４に示す実空間座標の選択処理の動作手順を示すフローチャートである。

図５を参照して、まず、実空間座標算出部２２は、抽出部１２，１３，１４により抽出された対象物が写っている検出枠にラベルが付された画像のデータを取得する。そして、実空間座標算出部２２は、抽出部１２，１３，１４により抽出された全ての対象物について実空間座標を算出する（ステップＳ２１）。

具体的には、実空間座標算出部２２は、対象物が広角カメラＡまたは広角カメラＢにより撮像された広角画像から抽出された場合、当該対象物が写っている広角画像中における当該対象物の座標と、広角カメラＡおよび広角カメラＢのうち当該広角画像を撮像した広角カメラのカメラ情報とに基づいて、当該対象物の実空間座標を算出する。

また、実空間座標算出部２２は、対象物がＰＴＺカメラＰにより撮像された画像から抽出された場合、ＰＴＺカメラＰの制御情報に基づいて、当該対象物の実空間座標を算出する。

次に、実空間座標算出部２２は、全ての対象物について、実空間座標を選択したか否かを確認する（ステップＳ２２）。そして、実空間座標算出部２２は、全ての対象物について、実空間座標を選択した場合（ステップＳ２２において「Ｙｅｓ」）、実空間座標の選択処理を終了する。

一方、実空間座標算出部２２は、実空間座標を選択していない対象物がある場合（ステップＳ２２において「Ｎｏ」）、実空間座標を選択していない対象物の１つを選択する（ステップＳ２３）。

次に、実空間座標算出部２２は、選択した対象物が、複数のカメラにより撮像されたか否かを判断する（ステップＳ２４）。たとえば、実空間座標算出部２２は、ステップＳ２１において算出した各対象物の実空間座標のうち、差異の程度が閾値以下である近似した２つの実空間座標がある場合、これら２つの実空間座標は同一の対象物に対して算出した実空間座標であり、当該対象物は２つの異なるカメラにより撮像された、と判断することができる。

そして、実空間座標算出部２２は、選択した対象物が複数のカメラにより撮像されたと判断した場合（ステップＳ２４において「Ｙｅｓ」）、当該対象物の実空間座標に基づいて、当該対象物が撮像領域ＥＡまたは撮像領域ＥＢの十分内側にいるか否かを判断する（ステップＳ２５）。以下、対象物が存在する位置に基づく複数のパターンについて説明する。

図６は、本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン１）である。

図６に示すように、対象物Ｘが撮像領域ＥＡの十分内側に存在し、広角カメラＡおよびＰＴＺカメラＰの双方が対象物Ｘを撮像している状態を「パターン１」と称する。

なお、撮像領域ＥＡまたは撮像領域ＥＢの「十分内側」とは、たとえば、各領域のうち境界付近の領域を除く領域である。撮像領域ＥＡを例に説明すると、具体的には、広角カメラＡにより撮像された広角画像の上下左右端からそれぞれ内側５０ピクセル以内の領域を撮像領域ＥＡの境界付近の領域としてもよい。この場合、撮像領域ＥＡのうち、境界付近の領域を除く領域が、撮像領域ＥＡの十分内側に該当する。

また、たとえば、広角カメラの画角のうちの端から一定の割合を境界付近の領域としてもよい。より具体的には、広角カメラＡの画角のうち画角の両端から例えば５％以内の領域を撮像領域ＥＡの境界付近の領域としてもよい。この場合も、撮像領域ＥＡのうち、境界付近の領域を除く領域が、撮像領域ＥＡの十分内側に該当する。例えば、広角カメラＡの水平画角が１００°である場合、この水平画角の両端から内側５°以内の領域を除く撮像領域ＥＡの領域が、撮像領域ＥＡの十分内側に該当する。

この「パターン１」の状態の場合、実空間座標算出部２２は、図５に示すステップＳ２１において、対象物Ｘの実空間座標として、広角カメラＡにより撮像された広角画像中における対象物Ｘの座標に基づく実空間座標と、ＰＴＺカメラＰの制御情報に基づく実空間座標との双方を算出している。

そして、実空間座標算出部２２は、ステップＳ２５において、たとえば対象物Ｘの実空間座標に基づいて、対象物Ｘが撮像領域ＥＡの十分内側にいる、すなわち「パターン１」の状態であると判断した場合、ステップＳ２１において算出した対象物Ｘの実空間座標のうち、広角カメラＡにより撮像された広角画像中における対象物Ｘの座標を用いて算出した実空間座標を選択する（図５のステップＳ２６）。

図７は、本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン２）である。

図７に示すように、対象物Ｘが撮像領域ＥＡの境界付近に存在し、広角カメラＡおよびＰＴＺカメラＰの双方が対象物Ｘを撮像している状態を「パターン２」と称する。

この「パターン２」の状態の場合、実空間座標算出部２２は、図５に示すステップＳ２１において、対象物Ｘの実空間座標として、「パターン１」の状態の場合と同様に、広角カメラＡにより撮像された広角画像中における対象物Ｘの座標に基づく実空間座標と、ＰＴＺカメラＰの制御情報に基づく実空間座標との双方を算出している。

そして、実空間座標算出部２２は、ステップＳ２５において、たとえば対象物Ｘの実空間座標に基づいて、対象物Ｘが撮像領域ＥＡの境界付近にいる、すなわち「パターン２」の状態であると判断した場合、ステップＳ２１において算出した対象物Ｘの実空間座標のうち、ＰＴＺカメラＰの制御情報を用いて算出した実空間座標を選択する（図５のステップＳ２７）。

図８は、本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン３）である。

図８に示すように、対象物Ｘが撮像領域ＥＢの境界付近に存在し、広角カメラＢおよびＰＴＺカメラＰの双方が対象物Ｘを撮像している状態を「パターン３」と称する。

この「パターン３」の状態の場合、実空間座標算出部２２は、図５に示すステップＳ２１において、対象物Ｘの実空間座標として、広角カメラＢにより撮像された広角画像中における対象物Ｘの座標に基づく実空間座標と、ＰＴＺカメラＰの制御情報に基づく実空間座標との双方を算出している。

そして、実空間座標算出部２２は、ステップＳ２５において、たとえば対象物Ｘの実空間座標に基づいて、対象物Ｘが撮像領域ＥＢの境界付近にいる、すなわち「パターン３」の状態であると判断した場合、パターン２の場合と同様に、ステップＳ２１において算出した対象物Ｘの実空間座標のうち、ＰＴＺカメラＰの制御情報を用いて算出した実空間座標を選択する（図５のステップＳ２７）。

図９は、本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン４）である。

図９に示すように、対象物Ｘが撮像領域ＥＢの十分内側に存在し、広角カメラＢおよびＰＴＺカメラＰの双方が対象物Ｘを撮像している状態を「パターン４」と称する。

この「パターン４」の状態の場合、実空間座標算出部２２は、図５に示すステップＳ２１において、対象物Ｘの実空間座標として、「パターン３」の状態の場合と同様に、広角カメラＢにより撮像された広角画像中における対象物Ｘの座標に基づく実空間座標と、ＰＴＺカメラＰの制御情報に基づく実空間座標との双方を算出している。

そして、実空間座標算出部２２は、ステップＳ２５において、たとえば対象物Ｘの実空間座標に基づいて、対象物Ｘが撮像領域ＥＢの十分内側にいる、すなわち「パターン４」の状態であると判断した場合、ステップＳ２１において算出した対象物Ｘの実空間座標のうち、広角カメラＢにより撮像された広角画像中における対象物Ｘの座標を用いて算出した実空間座標を選択する（図５のステップＳ２６）。

再び図５を参照して、実空間座標算出部２２は、選択した対象物が複数のカメラにより撮像されていない、すなわち広角カメラＡ、広角カメラＢおよびＰＴＺカメラＰのうちのいずれか１つのカメラにより撮像されたと判断した場合（ステップＳ２４において「Ｎｏ」）、当該対象物を撮像したカメラがいずれのカメラであるかに応じて、異なる算出方法により算出された実空間座標を選択する（ステップＳ２８）。

図１０は、本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン５）である。

図１０に示すように、対象物Ｘが広角カメラＡおよび広角カメラＢの死角領域に存在し、ＰＴＺカメラＰのみが対象物Ｘを撮像している状態を「パターン５」と称する。

この「パターン５」の状態の場合、実空間座標算出部２２は、図５に示すステップＳ２１において、対象物Ｘの実空間座標として、ＰＴＺカメラＰの制御情報に基づく実空間座標を算出している。

そして、実空間座標算出部２２は、ステップＳ２８において、たとえば対象物Ｘの実空間座標に基づいて、ＰＴＺカメラＰのみが対象物Ｘを撮像している、すなわち「パターン５」の状態であると判断した場合、パターン１またはパターン４の場合と同様に、ステップＳ２１においてＰＴＺカメラＰの制御情報を用いて算出した実空間座標を選択する（図５のステップＳ２９）。

図１１は、本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン６）である。

図１１に示すように、対象物Ｘが撮像領域ＥＡ内に存在し、対象物Ｙが対象物Ｘと異なる位置に存在し、ＰＴＺカメラＰが対象物Ｙを撮像していることにより、広角カメラＡのみが対象物Ｘを撮像している状態を「パターン６」と称する。

この「パターン６」の状態の場合、実空間座標算出部２２は、図５に示すステップＳ２１において、対象物Ｘの実空間座標として、広角カメラＡにより撮像された広角画像中における対象物Ｘの座標に基づく実空間座標を算出している。

そして、実空間座標算出部２２は、ステップＳ２８において、たとえば対象物Ｘおよび対象物Ｙの実空間座標に基づいて、広角カメラＡのみが対象物Ｘを撮像している、すなわち「パターン６」の状態であると判断した場合、ステップＳ２１において広角カメラＡにより撮像された広角画像中における対象物Ｘの座標を用いて算出した実空間座標を選択する（図５のステップＳ３０）。

図１２は、本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン７）である。

図１２に示すように、対象物Ｘが撮像領域ＥＢ内に存在し、対象物Ｙが対象物Ｘと異なる位置に存在し、ＰＴＺカメラＰが対象物Ｙを撮像していることにより、広角カメラＢのみが対象物Ｘを撮像している状態を「パターン７」と称する。

この「パターン７」の状態の場合、実空間座標算出部２２は、図５に示すステップＳ２１において、対象物Ｘの実空間座標として、広角カメラＢにより撮像された広角画像中における対象物Ｘの座標に基づく実空間座標を算出している。

そして、実空間座標算出部２２は、ステップＳ２８において、たとえば対象物Ｘおよび対象物Ｙの実空間座標に基づいて、広角カメラＢのみが対象物Ｘを撮像している、すなわち「パターン７」の状態であると判断した場合、ステップＳ２１において広角カメラＢにより撮像された広角画像中における対象物Ｘの座標を用いて算出した実空間座標を選択する（図５のステップＳ３０）。

ところで、非特許文献１、特許文献２および特許文献３に記載の技術では、複数のカメラを設けているため、コストが増加するという問題がある。そこで、たとえば１つのカメラを高い位置に設定し、このカメラが比較的大きな画角で撮像するように構成することが考えられる。この場合、カメラの台数が減少することによりコストの増加を抑えることができ、かつ、高い位置から大きな画角で撮像することにより広い領域を監視することができる。しかしながら、この場合、カメラの有効画素数に対して監視対象が写る画素数の割合が低すぎることにより、監視対象の認識精度が低下する虞がある。

これに対して、本発明の実施の形態に係る監視装置１００では、抽出部１２，１３，１４が、画角が固定されている広角カメラＡ、画角が固定されており広角カメラＡと異なる領域を撮像する広角カメラＢ、および、撮像方向を変更可能であり広角カメラＡよりも小さな画角に調整可能なＰＴＺカメラＰのうち対応のカメラにより撮像された画像中から対象物を抽出する。また、情報処理部１５が、抽出部１２，１３，１４により抽出された対象物の位置を算出する。また、制御部１８が、情報処理部１５により算出された対象物の位置に基づいて、対象物がＰＴＺカメラＰにより撮像される画像に継続して写るようにＰＴＺカメラＰの撮像方向を調整する。

このような構成により、撮像方向を変更可能なＰＴＺカメラＰが対象物を追跡し、かつ、画角を小さく調整して対象物の詳細な画像を撮像することができるため、多くのカメラを設けることなく、監視対象の追跡を精度よく行うことができる。また、このように、撮像方向を変更可能なＰＴＺカメラＰが対象物を追跡して撮像する構成であることにより、広角カメラＡにより撮像される領域と広角カメラＢにより撮像される領域との間を移動する対象物であっても、当該対象物を見失うことなく監視することができる。

また、このような構成により、広角カメラＡと広角カメラＢとの間で撮像領域が重複していなくても、ＰＴＺカメラＰが対象物を追跡して撮像することができるため、広角カメラＡおよび広角カメラＢの設置の自由度を高めることができる。

また、このように、ＰＴＺカメラＰの画角が調整可能であることにより、たとえば、対象物の移動速度が速く、ＰＴＺカメラＰの撮像方向の調整が対象物の移動に追い付かない場合であっても、ＰＴＺカメラＰの画角を大きく調整することにより撮像領域をすばやく広げ、当該対象物を見失うことを防ぐことができる。

なお、上述した実施の形態では、監視装置１００は、２つの広角カメラ、すなわち広角カメラＡおよび広角カメラＢを備える。しかしながら、監視装置１００は、広角カメラＡまたは広角カメラＢのいずれか一方を備える構成であっても良く、このような構成を採用することにより、コストを低く抑えることができる。

また、本発明の実施の形態に係る監視装置１００では、ＰＴＺカメラＰは、広角カメラＡおよび広角カメラＢのいずれによっても撮像されない死角領域を撮像可能に配置される。

このような構成により、対象物が死角領域に存在する場合であっても、ＰＴＺカメラＰが死角領域を補完して撮像することができるため、監視性能を向上させることができる。

また、本発明の実施の形態に係る監視装置１００では、ＰＴＺカメラＰは、広角カメラＡおよび広角カメラＢの間に配置される。

このような構成により、撮像方向を変更可能な撮像部を数多く設置することなく、ＰＴＺカメラＰのみで、広角カメラＡにより撮像される領域、広角カメラＢにより撮像される領域、および、死角領域のいずれかに存在する対象物を撮像することができる。

また、このような構成により、広角カメラＡと広角カメラＢとの互いの間隔を大きくあけて設置した場合であっても、ＰＴＺカメラＰが、広角カメラＡにより撮像される領域と、広角カメラＢにより撮像される領域との間の死角領域を補完して撮像することができるため、監視の対象となる領域を広く確保することができる。

また、本発明の実施の形態に係る監視装置１００では、広角カメラＡの画角および広角カメラＢの画角は、ＰＴＺカメラＰの画角よりも大きい画角に固定されている。

このように、広角カメラＡおよび広角カメラＢの画角が大きいことにより、対象物の移動速度が速く、ＰＴＺカメラＰの撮像方向の変更が対象物の移動に追い付かない場合であっても、広角カメラＡまたは広角カメラＢにより当該対象物が撮像される可能性が高く、当該対象物を見失うことを防ぐことができる。

また、このような構成により、画角を調整可能な撮像部を複数設ける場合と比較して、コストを低く抑えることができる。

また、このように、広角カメラＡおよび広角カメラＢの画角が大きい画角に固定されていることにより、ＰＴＺカメラＰが広い領域を撮像していない場合であっても、広角カメラＡまたは広角カメラＢにより撮像された広い領域の画像を常時得ることができる。このため、たとえば、ＰＴＺカメラＰが対象物を追跡して撮像している場合であっても、広角カメラＡまたは広角カメラＢにより撮像された広い領域の画像中から監視領域内へ新たに入った他の対象物を抽出することが可能であり、監視性能を向上させることができる。

また、本発明の実施の形態に係る監視装置１００では、情報処理部１５は、広角カメラＡにより撮像された画像または広角カメラＢにより撮像された画像に対象物が写っている場合、対象物が写っている画像における対象物の座標に基づいて算出した対象物の位置を、制御部１８によるＰＴＺカメラＰの制御に用いられる対象物の位置とする。

このような構成により、広角カメラＡまたは広角カメラＢに関する既知の固定値を用いて対象物の位置を正確に算出することができ、ＰＴＺカメラＰを精度よく制御することができる。

また、本発明の実施の形態に係る監視装置１００では、情報処理部１５は、広角カメラＡにより撮像された画像および広角カメラＢにより撮像された画像のいずれにも対象物が写っていない場合であり、かつ、ＰＴＺカメラＰにより撮像された画像に対象物が写っている場合、ＰＴＺカメラＰを制御するために制御部１８により用いられた制御情報に基づいて算出した対象物の位置を、制御部１８によるＰＴＺカメラＰの新たな制御に用いられる対象物の位置とする。

このような構成により、広角カメラＡにより撮像される画像および広角カメラＢにより撮像される画像のいずれにも写らない対象物であっても、当該対象物の位置を算出することができ、当該対象物を見失うことなくＰＴＺカメラＰを制御することができる。

また、本発明の実施の形態に係る監視装置１００では、情報処理部１５は、広角カメラＡにより撮像された画像または広角カメラＢにより撮像された画像に対象物が写っている場合であっても、広角カメラＡまたは広角カメラＢにより撮像された画像の境界付近に対象物が位置する場合であり、かつ、ＰＴＺカメラＰにより撮像された画像に対象物が写っている場合、ＰＴＺカメラＰを制御するために制御部１８により用いられた制御情報に基づいて算出した対象物の位置を、制御部１８によるＰＴＺカメラＰの新たな制御に用いられる対象物の位置とする。

このように、死角領域に入り、広角カメラＡにより撮像される画像および広角カメラＢにより撮像される画像のいずれにも写らなくなる可能性の高い対象物に関しては、ＰＴＺカメラＰの制御に用いるための情報である対象物の位置の算出方法を、対象物が死角領域に位置する場合における算出方法に予め切り替えておくことにより、当該対象物が実際に死角領域内へ移動した場合に当該対象物の位置を迅速に更新することができ、対象物を見失うことを防ぐことができる。

また、本発明の実施の形態に係る監視装置１００では、情報処理部１５は、抽出部１２，１３，１４により複数の対象物が抽出された場合、抽出された各対象物に対して優先順位を付与し、優先順位が最も高い対象物を、ＰＴＺカメラＰにより撮像される画像に継続して写る対象物として決定する。また、制御部１８は、情報処理部１５により決定された対象物の位置に基づいて、ＰＴＺカメラＰを制御する。

このような構成により、撮像する必要性の高い対象物を優先的にＰＴＺカメラＰにより撮像することができる。

また、本発明の実施の形態に係る監視装置１００では、情報処理部１５は、抽出部１２，１３，１４により複数の対象物が抽出された場合、抽出された各対象物の異常度を算出し、算出した異常度が高い対象物ほど、高い優先順位を付与する。

このような構成により、撮像する必要性の高い対象物を適切に選択して撮像することができる。

また、本発明の実施の形態に係る監視装置１００では、情報処理部１５は、監視すべき必要性の高い特定領域の付近に対象物が位置する場合、対象物が特定領域から離れて位置する場合と比較して、異常度を高く算出する。

このような構成により、特定領域の付近に位置する対象物をＰＴＺカメラＰにより優先的に撮像して、特定領域を重点的に監視することができる。

また、本発明の実施の形態に係る監視装置１００では、ＰＴＺカメラＰは、広角カメラＡおよび広角カメラＢのいずれによっても撮像されない死角領域を撮像可能に配置される。また、情報処理部１５は、抽出部１２，１３，１４により複数の対象物が抽出された場合、死角領域に位置する対象物、または、死角領域の付近に位置する対象物に対して高い優先順位を付与する。

ここで、死角領域に位置する対象物は、広角カメラＡにより撮像される画像および広角カメラＢにより撮像される画像のいずれにも写らないため、ＰＴＺカメラＰにより撮像されない場合、当該対象物を見失ってしまう可能性が高い。これに対して、上記のような構成により、見失う可能性が高い対象物を、ＰＴＺカメラＰにより優先的に撮像することができるため、高い監視能力を実現することができる。

上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ 画像処理部
１１ ＰＴＺ駆動部
１２，１３，１４ 抽出部
１５ 情報処理部
１６ 記憶部
１７ 外部出力部
１８ 制御部
２２ 実空間算出部
２３ 優先順位付与部
２４ 追跡対象物決定部
２５ 制御情報生成部
２６ 通報判断部
１００ 監視装置
Ａ 広角カメラ（第１撮像部）
Ｂ 広角カメラ（第３撮像部）
Ｐ ＰＴＺカメラ（第２撮像部）

Claims (14)

1. 画角が固定されている第１撮像部と、
   撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部と、
   前記第１撮像部および前記第２撮像部により撮像されたそれぞれの画像中から対象物を抽出する抽出部と、
   前記抽出部により抽出された前記対象物の位置を算出する情報処理部と、
   前記情報処理部により算出された前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部の撮像方向を調整する制御部とを備える、監視装置。
2. 前記第２撮像部は、前記第１撮像部によって撮像されない死角領域を撮像可能に配置される、請求項１に記載の監視装置。
3. 前記情報処理部は、前記第１撮像部により撮像された画像に前記対象物が写っている場合、前記対象物が写っている画像における前記対象物の座標に基づいて算出した前記対象物の位置を、前記制御部が前記第２撮像部の制御に用いる前記対象物の位置とする、請求項１または請求項２に記載の監視装置。
4. 前記情報処理部は、前記第１撮像部により撮像された画像に前記対象物が写っていない場合であり、かつ、前記第２撮像部により撮像された画像に前記対象物が写っている場合、前記第２撮像部を制御するために前記制御部により用いられた制御情報に基づいて算出した前記対象物の位置を、前記制御部が前記第２撮像部の新たな制御に用いる前記対象物の位置とする、請求項３に記載の監視装置。
5. 前記情報処理部は、前記第１撮像部により撮像された画像に前記対象物が写っている場合であっても、前記第１撮像部により撮像された画像の境界付近に前記対象物が位置する場合であり、かつ、前記第２撮像部により撮像された画像に前記対象物が写っている場合、前記第２撮像部を制御するために前記制御部により用いられた制御情報に基づいて算出した前記対象物の位置を、前記制御部が前記第２撮像部の新たな制御に用いる前記対象物の位置とする、請求項３または請求項４に記載の監視装置。
6. 前記情報処理部は、前記抽出部により複数の対象物が抽出された場合、抽出された各対象物に対して優先順位を付与し、前記優先順位が最も高い対象物を、前記第２撮像部の撮像対象として決定し、
   前記制御部は、前記情報処理部により決定された対象物の位置に基づいて、前記第２撮像部を制御する、請求項１から請求項５のいずれか１項に記載の監視装置。
7. 前記情報処理部は、前記抽出部により複数の対象物が抽出された場合、抽出された各対象物の異常度を算出し、算出した前記異常度が高い対象物ほど、高い優先順位を付与する、請求項６に記載の監視装置。
8. 前記情報処理部は、監視すべき必要性の高い特定領域の付近に対象物が位置する場合、対象物が前記特定領域から離れて位置する場合と比較して、前記異常度を高く算出する、請求項７に記載の監視装置。
9. 前記第２撮像部は、前記第１撮像部によって撮像されない死角領域を撮像可能に配置され、
   前記情報処理部は、前記抽出部により複数の対象物が抽出された場合、前記死角領域に位置する対象物、または、前記死角領域の付近に位置する対象物に対して高い優先順位を付与する、請求項６から請求項８のいずれか１項に記載の監視装置。
10. 画角が固定されている第１撮像部、および、撮像方向を変更可能であり前記第１撮像部よりも小さな画角に調整可能な第２撮像部、により撮像されたそれぞれの画像中から対象物を抽出する抽出部と、
    前記抽出部により抽出された前記対象物の位置を算出する情報処理部と、
    前記情報処理部により算出された前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部の撮像方向を調整する制御部とを備える、監視装置。
11. 画角が固定されている第１撮像部と、
    撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部と、
    画角が固定されており、前記第１撮像部と異なる領域を撮像する第３撮像部と、
    前記第１撮像部、前記第２撮像部および前記第３撮像部により撮像されたそれぞれの画像中から対象物を抽出する抽出部と、
    前記抽出部により抽出された前記対象物の位置を算出する情報処理部と、
    前記情報処理部により算出された前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部の撮像方向を調整する制御部とを備える、監視装置。
12. 前記第２撮像部は、前記第１撮像部および前記第３撮像部の間に配置される、請求項１１に記載の監視装置。
13. 画角が固定されている第１撮像部と、
    撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部とを備える監視装置における監視方法であって、
    前記第１撮像部および前記第２撮像部によりそれぞれ撮像された画像のうち少なくともいずれか１つの画像中から対象物を抽出するステップと、
    抽出した前記対象物の位置を算出するステップと、
    算出した前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部を制御するステップとを含む、監視方法。
14. 画角が固定されている第１撮像部と、
    撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部と、
    画角が固定されている第３撮像部とを備える監視装置における撮像部の配置方法であって、
    前記第３撮像部を、前記第１撮像部と異なる領域を撮像するように配置するステップと、
    前記第２撮像部を、前記第１撮像部により撮像される領域および前記第３撮像部により撮像される領域のうち少なくとも一方の領域、および、前記第１撮像部および前記第３撮像部のいずれによっても撮像されない死角領域を撮像可能に配置するステップとを含む、撮像部の配置方法。

Images