JP2006173872A - カメラ制御装置 - Google Patents

Abstract

【課題】一定間隔で受信可能な侵入センサのセンサ情報を参照して、センサ位置を撮影できるように監視カメラの撮影方向を自動制御するカメラ制御装置において、センサ情報を受信していない時間にもカメラを制御して、移動する侵入物体を常にフレームアウトさせずに撮影すること。
【解決手段】侵入センサを識別するセンサ識別手段と、センサ情報を記憶する記憶手段と、過去のセンサ情報から侵入物体の位置を予測する予測手段と、予測結果からカメラの撮影方向を算出する回転方向算出手段と、算出した回転方向にカメラの撮影方向を変更する駆動制御手段とを備え、予測手段が過去のセンサ情報を参照して予測する撮影対象位置にカメラが向くようにカメラの回転方向と回転速度を制御することで、移動する侵入物体を自動的に追跡する。
【選択図】図１

Description

本発明は、侵入物体の位置を検出するセンサと監視カメラが連携して、移動する人物などの物体を自動的に追尾する監視システムに関するものである。

近年、パンチルト機能を備えた監視カメラと人体感知センサなどの各種センサを連携させることで、監視者の操作なしに自動的に監視カメラを制御して不審人物や物体を撮影する監視システムが増えてきている。このような従来の監視システムのカメラ制御装置としては、センサ情報を受信すると、受信した位置方向を撮影するようにカメラを制御するものがあった（例えば、特許文献１参照）。

図１６は、前記特許文献１に記載された従来のカメラ制御方法を実現するカメラ制御装置を示すものである。図１６において、侵入センサ１６１０−１〜１６１０−ｎは、侵入物体１６００を感知すると、センサ情報をカメラ制御装置１６２０に送信する。カメラ制御装置１６２０は、連携手段１６２１と、記憶手段１６２２と、駆動制御手段１６２３から構成される。連携手段１６２１はセンサ情報を受信すると、記憶手段１６２２に記憶された情報として、例えば「センサＡからセンサ情報を受信したらカメラＡが地点Ａを向け」というように、センサ情報とカメラ動作の対応関係を記述した情報を参照して、制御するカメラと制御方法を決定する。

駆動制御手段１６２３は、連携手段１６２１が決定したカメラ制御方法に従い、カメラ１６５０の撮影方向を制御することが可能な駆動装置１６４０の制御を行う。また、前記のようにカメラを制御した後は、ユーザが操作手段１６３０を用いてカメラを遠隔制御することで、侵入物体の追尾を行っていた。

また、自動的に監視カメラを制御する方法として、監視カメラ映像に映る人物を検出する人物検出手段を用いて、人物がカメラ映像の中央に位置するように、カメラの撮影方向を制御することで、自動的に不審人物を追跡するものも一般的である。このような前記人物検出手段を備えたカメラ制御装置の構成例を図１７に示す。

図１７において、カメラ制御装置１７１０内にある映像取得手段１７１１が、カメラ１７５０の映像を取得すると、人物検出手段１７１２は映像取得手段１７１１が取得したカメラ映像の中から、人物が存在するか判定を行う。判定の方法としては、映像フレーム間の差分を取得して映像内に動きがあった領域を取得するフレーム間差分・背景差分法や、人の形をしたテンプレートをあらかじめ保持しておいて、映像内に前記テンプレートと類似した形を走査するテンプレートマッチング法、映像を細かい領域ブロックに分割し、過去の領域ブロックが現在どこに移動したかを走査するオプティカルフローといった手法が一般的である。これらの手法は、非特許文献１に詳しい。

これらの手法を単独または組み合わせで用いて人物を検出することで、映像フレーム内に存在する人物の場所を把握する。駆動制御手段１７１３は、検出した人物が映像フレームの中央に位置するように、カメラ１７５０の撮影方向を制御し、カメラ１７５０に設置された駆動手段１７４０に制御指示を出す。これにより、不審人物を常にカメラ映像内に捉えることが可能である。
特開２００２−１５０４４１号公報 「画像処理産業応用総覧上巻（基礎・システム技術編）」株式会社フジ・テクノシステム Ｐ．６０８−Ｐ．６１４

前記従来の構成で、カメラを動かす場合のカメラの動作例を、図１８に示す。図１８（ａ）では、別の箇所に設置されたセンサ１６１０−１、１６１０−２が、時間ｔ−１、ｔ−５（ただしｔ−５＞ｔ−１）のときに、それぞれ同一の移動する侵入物体１６００−ｔ−１、１６００−ｔ−５を検出し、それぞれをカメラ１６５０が回転して、ｔ−１における侵入物体１６００−ｔ−１を、１６５０−ｔ−１のように、また、ｔ−５における侵入物体１６００−ｔ−５を１６５０−ｔ−５のように回転して撮影したことを示す。また、図１８（ａ）における時間ｔ−１〜ｔ−５（ただし、ｔ−５＞ｔ−４＞ｔ−３＞ｔ−２＞ｔ−１）のときのカメラ１６５０に映った映像フレームを図１８（ｂ）に示す。

この図１８（ａ）、（ｂ）に示すように、従来のカメラ制御装置では、図１８における時間ｔ−２、ｔ−３、ｔ−４のようなセンサを受信していない時間、またはセンサが設置されておらず侵入物体を検知することができない空間においては、侵入物体が移動すると、侵入物体がカメラ映像からフレームアウトしてしまい、侵入物体に犯罪行為を行われても犯罪行為の瞬間を映像におさめることができないという課題がある。

今日の監視システムのインフラは、ＣＣＴＶからＩＰネットワークに移行しつつあり、このようなネットワークで構築した監視システムにおいては、映像データやカメラ制御信号がネットワークの帯域を占有しているため、センサ情報を細かい間隔で送信することができない。このため、前記従来法でセンサの数を増やしても、カメラ制御装置１６２０にすべてのセンサ情報をリアルタイムで受信することは難しい。

前記特許文献１の場合のカメラ制御装置は、複数設置されたセンサ１６１０−１、１６１０−ｎのうちどれかが侵入物体を検出したとき、侵入物体の予測を行ったあと、予測結果に従い複数のカメラの動きを、あらかじめ記述した連携情報を参照して、複数のカメラを自動的に制御する方法を備えている。

この方法を用いれば、複数設置されたカメラを侵入物体の移動を待ち受けるように、あらかじめ構えておくことは可能である。しかし、各カメラが侵入物体をフレームアウトさせずに追尾を行うためには、侵入物体の移動方向・速度はさまざまであるため、この移動方向・速度に対応できるように、無限に連携情報を記述する必要がある。これは連携情報の記述の手間が非常にかかることと連携情報の量が膨大になってしまうことから、あまり現実的ではない。

図１７に示すような人物検出手段を持ったカメラ制御装置の場合、人物検出手段の検出処理は、検出手法によって異なるが通常数１０ミリ秒から１秒程度で終了するので、侵入物体がカメラの映像フレーム外に出る前に、人物検出手段の検出処理が終了するようなズーム倍率であれば、カメラの駆動範囲内で侵入物体が移動する限り連続して侵入物体を映像フレーム内におさめることは可能である。

しかし、前記のような各種手法による人物検出処理は、全体的に複数の人物がカメラ映像上で交差したり重なったりする場合に、人物の分離や各人物の同定が困難であるという問題点があり、同一侵入物体の追跡が失敗して見失う可能性が高いという課題がある。

本発明は、前記従来の課題を解決するもので、侵入物体を常にフレームアウトさせずに、自動的に追跡を行うことが可能なカメラ制御方法を実現することを目的とする。

前記従来の課題を解決するために、本発明のカメラ制御装置は、物体を感知して反応信号を出力する複数のセンサと、前記反応信号から前記物体の感知地点を識別するセンサ識別手段と、前記センサ識別手段が識別した前記物体の感知地点と前記反応信号の発生時刻とからなるセンサ情報を記憶する記憶手段と、前記記憶手段に記憶されたセンサ情報から物体の移動方向、移動速度、位置の少なくとも１つを含む物体予測情報を出力する予測手段と、前記予測手段が出力する物体予測情報から、カメラの回転方向、回転速度、ズーム倍率の少なくとも１つを含むカメラ制御情報を算出するカメラ制御情報算出手段と、前記カメラ制御情報算出手段が算出したカメラ制御情報をカメラ制御命令に変換してカメラを制御する駆動制御手段と、を有し、パンチルト・ズーム機能を持った監視カメラで、間欠的に入力されるセンサ情報から移動する侵入物体の移動方向を予測して、自動追尾を実現することができるという効果を有する。

更に、本発明のカメラ制御装置は、過去の物体予測情報と実際の物体の移動方向、移動速度、位置との少なくともいずれか１つ以上の誤差の値を算出する予測誤差算出手段を更に含みと、前記カメラ制御情報算出手段は、前記予測誤差算出手段が算出する誤差によってカメラ制御情報を変更するものであり、算出された誤差に応じてカメラの制御を調整することで、正確な自動追尾を実現することができるという効果を有する。

更に、本発明のカメラ制御装置は、前記複数のセンサを設置した区域の地形情報を記憶する地形記憶手段を更に含み、前記カメラ制御情報算出手段は、前記地図情報と前記物体予測情報とが一致しない場合は、地図情報を用いてカメラ制御情報を算出するものであり、地図情報を優先してカメラを制御することで、正確な自動追尾を実現することができるという効果を有する。

更に、本発明のカメラ制御装置は、前記センサが、監視領域の映像を取得する映像取得手段と、前記映像取得手段の映像から侵入物体を検出する画像認識手段と、検出した前記侵入物体の映像上の位置から前記映像取得手段を設置した監視区域の実空間座標に変換する実空間座標算出手段と、を備えたものであり、侵入物体の情報を実空間座標で管理することができ、侵入物体の自動追尾を正確に実現することができるという効果を有する。

更に、本発明のカメラ制御装置は、前記カメラ制御情報算出手段が、前記予測誤差を予め定めた値より大きい判定した場合に、前記ズーム制御手段は、前記カメラのズーム倍率を下げて広角で撮影するものであり、侵入物体をフレームアウトすることなく自動追尾することができるという効果を有する。

更に、本発明のカメラ制御装置は、前記カメラ制御情報算出手段が、前記予測誤差を予め定めら値より小さいと判定した場合に、前記ズーム制御手段は、前記カメラのズーム倍率を上げて撮影するものであり、侵入物体を適切な倍率で撮影することで、詳細な撮影をすることができるという効果を有する。

更に、本発明のカメラ制御装置は、前記予測誤差算出手段は、前記センサから入力されるセンサ情報の受信時間が経過するほど、前記予測誤差が大きいと判定するものであり、センサの入力間隔に応じて、正確な自動追尾を実現することができるという効果を有する。

本発明のカメラ制御装置によれば、センサ情報が限られた状態でカメラを自動制御して物体を追尾する際に、追尾対象をカメラ映像からフレームアウトさせずに、滑らかなカメラワークで自動追尾することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１におけるカメラ制御方法を実現するカメラ制御装置を含む、監視システムの構成図である。

図１において、カメラ制御装置１２０は、上記監視システムで監視している領域に侵入物体１００が入ってきたことを感知する侵入センサ１１０−１〜１１０−ｎからセンサ情報を受信して、侵入物体１００をカメラ１４０で撮影できるように、駆動手段１３０に指示を出す。また、カメラ１４０で撮影した映像は、モニタ１５０に表示する。

また、カメラ制御装置１２０は、あらかじめ侵入センサ１１０−１〜１１０−ｎの設置場所を記憶しておいて、侵入センサ１１０−１〜１１０−ｎから受信したセンサ信号をどの侵入センサが発信した信号かを識別するセンサ識別手段１２１と、センサ識別手段１２１が識別した侵入センサの位置とセンサ信号の受信時間をセンサ情報として記憶する記憶手段１２２と、受信した過去のセンサ情報から侵入物体の現在の位置、移動速度及び移動方向を予測する予測手段１２３と、予測手段１２３が予測した結果から常に侵入物体１００をカメラ１４０で撮影するように駆動手段１３０の回転方向をカメラ制御情報として算出するカメラ制御情報算出手段１２４と、カメラ制御情報算出手段１２４が算出したカメラ制御情報にもとづいて、回転方向に駆動手段１３０を制御する駆動制御手段１２５を有する。

カメラ制御装置１２０の各部は以下の動作を行う。なお、センサ１１０−１〜１１０−ｎとカメラ１４０を使って侵入物体を監視している区域を、以後監視区域という。

センサ識別手段１２１は、赤外線センサなどを用いた侵入センサ１１０から、侵入者を発見したというセンサ情報を受信すると、センサ情報から侵入物体が存在する監視区域内の位置を識別し、記憶手段１２２に侵入物体１００の位置情報と、センサ識別手段１２１がセンサ情報を受信した時間を記憶する。

図２に、記憶手段１２２に蓄えられるセンサ情報の例を示す。本例では、監視区域内に３次元座標系を設定し、あらかじめセンサ識別手段１２１で対応付けられた侵入センサと３次元位置情報を記録する。また同時にセンサ識別手段１２１が侵入センサ１１０−１〜１１０−ｎからセンサ情報を受信した時間をミリ秒単位で記録している。

予測手段１２３は、記憶手段１２２に蓄えられた侵入物体１００の過去の位置と、その位置にいた時刻を基に、予測開始時点での侵入物体の位置を予測する。

予測手段１２３が侵入物体１００の位置を予測するタイミングは、予測結果に基づいてカメラ１４０に設置した駆動手段１３０を動作させることから、カメラ制御装置１２０が送信するカメラ制御信号に駆動手段１３０が反応することができる最小の間隔で、一定周期で行うことが望ましいが、例えば、記憶手段１２２にセンサ情報を書き込んだ直後に、予測を開始するなどとしてもよい。

予測手段１２３は、まず、記憶手段１２２に蓄えられた過去の侵入物体１００の位置情報と、位置情報に対応する時間とを抽出する。次に、予測手段１２３は、記憶手段１２２から出力された１つないし２つ以上の追尾点位置から、侵入物体１００の移動方向、移動速度を予測する。

図３に、監視空間を真上から見た場合を示す。予測手段１２３が予測する侵入物体１００の位置が示されている。図３において、予測手段１２３は、記憶手段１２２から侵入物体１００の過去の位置を、時間ａでの位置（ｘ_ａ、ｙ_ａ）、および時間ｂでの位置（ｘ_ｂ、ｙ_ｂ）を受け取り、未来である時間ｃにおける侵入物体１００の位置（ｘ_ｃ、ｙ_ｃ）を予測する。追尾点位置の予測は、過去のＮ個の位置から多項式による補外や有理関数による補外を用いることで行うことができる。

これらは、「ニューメリカルレシピー・イン・シー」技術評論社、Ｗｉｌｌｉａｍ Ｈ．Ｐｒｅｓｓ，Ｓａｕｌ Ａ． Ｔｅｕｋｏｌｓｋｙ， Ｗｉｌｌｉａｍ Ｔ． Ｖｅｔｔｅｒｌｉｎｇ， Ｂｒｉａｎ Ｐ．Ｆｌａｎｎｅｒｙ著、丹慶勝市・奥村晴彦・佐藤俊郎・小林誠 訳 Ｐ．９６（ＩＳＢＮ４―８７４０８―５６０―１）に詳しい。

カメラ制御情報算出手段１２４は、予測手段１２３が算出した予測結果とカメラ１４０の現在の撮影方向から、侵入物体１００を常にカメラ１４０の映像フレーム内に収めるように駆動手段１３０の回転方向と回転速度を算出する。

カメラ制御情報算出手段１２４が回転方向と回転速度を算出する流れを図４と図５を使って説明する。

図４は監視区域を真上から見たときのカメラと侵入物体の位置関係を示す模式図である。４０１はカメラ、４０２は侵入物体の現在位置、４０３は予測手段１２３によって予測された時間ｔ後の予測位置を表す。

また、図５はカメラ制御情報算出手段１２４が駆動手段１３０の回転方向と回転速度を算出する流れを示す図である。

カメラ制御情報算出手段１２４は、回転方向と回転速度を算出するために、まず制御前にカメラ４０１が撮影している方向を駆動手段１３０に問い合わせる（Ｓ５０１）。この問い合わせの結果、ある撮影方向を基準方向（０度）とした、基準方向と撮影方向がなす角度θ−ｎｏｗ４１１が得られる。

次に、予測手段１２３が予測した、侵入物体の予測位置を撮影する角度を計算する（Ｓ５０２）。あらかじめ設定した監視区域の３次元空間座標上のカメラの設置位置（ｘ_ｃａｍ、ｙ_ｃａｍ）４０１と、予測結果（ｘ_ｅｓｔ、ｙ_ｅｓｔ）４０３から、侵入物体の予測位置を撮影する角度θ_ｅｓｔ４１３は、（数１）のようにして求めることが可能である。

カメラ制御情報算出手段１２４は、θ_ｅｓｔ４１３が求まったら、予測位置を撮影するために回転する角度θ_ｍｏｖ４１２を求める（Ｓ５０３）。θ_ｍｏｖ４１２は、（数２）のようにあらわすことができる。

θ_ｍｏｖ４１２が求まったら、カメラ制御情報算出手段１２４は、予測手段１２３が算出した予測位置に侵入物体１００が到達する時間を参照して、回転速度を算出する（Ｓ５０４）。図５の例で、カメラのパン方向に回転する速度をｖ_ｐａｎとし、侵入物体が予測位置に到達する時間をｔ_ｅｓｔ、回転方向算出手段が算出処理を開始した時間をｔ_ｎｏｗとすると、ｖ_ｐａｎは（数３）のように求めることができる。

以上により求められたｖ_ｐａｎの正負の符号から、カメラをパン方向に左右どちらかに動かせばよいかわかり、またｖ_ｐａｎの大きさ｜ｖ_ｐａｎ｜が回転速度を示している。

本例においては、図５のように、監視領域を真上からみた模式図を用いてパン方向の回転方向と回転速度を求めたが、同様に、カメラ制御情報算出手段１２４は、監視領域を真横からみた模式図を用いて、チルト方向の回転する方向および速度を表すｖ_ｔｉｌｔを、ｖ_ｐａｎと同様にして算出し、チルト方向の回転方向と回転速度を求める。

駆動制御手段１２５は、カメラ制御情報算出手段１２４が求めたパンチルトそれぞれの回転方向、回転速度で、駆動手段１３０を制御するように、駆動手段１３０に指示を出す。

以上の動作により、カメラ制御装置１２０は、侵入センサ１１０から受信したセンサ情報に基づいて、カメラ１４０に接続された駆動手段１３０を自動制御する。この方法により駆動手段１３０を制御し、カメラ１４０で侵入物体１００を追跡する模式図を図６に示す。

図６（ａ）において、１１０−ａは時間ｔ_１に侵入物体１１０を検知した侵入センサ、１１０−ｂは時間ｔ_５に侵入物体１１０を検知した侵入センサ、１００−ｔ_１〜１００−ｔ_５は、時間ｔ_１〜ｔ_５における人物の位置、１４０−ｔ_１〜１４０−ｔ_５は時間ｔ_１〜ｔ_５におけるカメラの撮影方向をそれぞれ表す。ただし、時間ｔ_１〜ｔ_５は添字の数字が小さいほど過去の時間とする。

また、図６（ｂ）は、時間ｔ_１〜ｔ_５でのカメラ１４０で撮影された映像を示す。このとき、時間ｔ_１においてカメラ制御装置１２０が侵入センサ１１０−ａからセンサ情報を受信すると、侵入物体１００の過去の位置から、時間ｔ_１以降の人物の位置を予測し、センサ情報を受け取らない時間ｔ_２〜ｔ_４でも、図６（ｂ）に示すように映像内に侵入物体１００を捉えることができる。

このように、本実施の形態では、侵入物体の位置情報のようなセンサ情報が常に発信されない、限られた状態でカメラを自動制御して物体を追尾する際に、センサ情報から侵入物体の位置と移動方向・速度を予測することで、追尾対象をカメラ映像からフレームアウトさせずに、滑らかなカメラワークで自動追尾することができる。

なお、本実施の形態におけるカメラ制御装置に接続している侵入センサ１１０の代わりに、監視カメラと、画像認識技術を使用した侵入物体検知手段と、画像内から検知した人物の実空間座標を求める実空間座標算出手段からなる、画像センサを用いてもかまわない。図７に画像センサの例を示す。

図７において、画像センサ７００は、監視カメラ映像を取得する映像取得手段７０１、画像認識技術により映像取得手段７０１が取得した映像から映像内の侵入物体の有無を判断する画像認識手段７０２、画像認識手段７０２により検出された映像上の侵入物体の位置を前記監視カメラが設置されている空間の実空間座標へ変換する実空間座標算出手段７０３からなる。

画像センサ７００が、センサ情報をカメラ制御装置へ送信する流れを説明する。画像認識手段７０２は、映像取得手段７０１が取得した映像データから侵入物体の有無を検出する。検出の方法はフレーム間差分法、背景差分法、テンプレートマッチング法、オプティカルフローといった手法を一般的に用いる。これらの手法は、例えば「画像処理産業応用総覧上巻（基礎・システム技術編）」株式会社フジ・テクノシステム Ｐ．６０８−Ｐ．６１４に詳しい。

画像認識手段７０２により侵入物体が検出できた場合、実空間座標算出手段７０３が、監視カメラを設置した空間の実空間座標を算出する。算出の方法は、Ｒ．Ｙ．Ｔｓａｉ「Ａ Ｖｅｒｓａｔｉｌｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｈｉｇｈ−Ａｃｃｕｒａｃｙ ３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｍｅｔｒｏｌｏｇｙ Ｕｓｉｎｇ Ｏｆｆ−ｔｈｅ−ｓｈｅｌｆ ＴＶ Ｃａｍｅｒａｓ ａｎｄ Ｌｅｎｓｅｓ」（ＩＥＥＥ ＪＯＵＲＮＡＬ ＯＦ ＲＯＢＯＴＩＣＳ ＡＮＤ ＡＵＴＯＭＡＴＩＯＮ，Ｖｏｌ．ＲＡ−３、ＮＯ．４、ＡＵＧＵＳＴ １９８７）に詳しい。

これにより実空間座標が算出完了するたびに、実空間座標算出手段は例えば図２に示すようなセンサ情報を生成してカメラ制御装置に送信する。

以上の流れで、画像センサを侵入センサ１１０の代わりとして用いることが可能となる。本実施例の場合、検出した侵入物体の位置を実空間座標に変換するので、監視したい領域に複数のカメラを設置し、複数のアングルから侵入物体の検出を行って結果を統合することができる。これにより、あるアングルで侵入物体を撮影すると人物や物体の重なりが発生してしまっても別のアングルの検出結果を参照することで、重なった人物や物体を分離して同定することが可能となる。

（実施の形態２）
実施の形態１では、カメラ制御装置が、侵入物体の移動方向と移動速度を予測し、カメラの映像フレームから侵入物体がフレームアウトしないようにカメラを侵入物体の動きに追従して制御する方法を示した。本実施の形態では、カメラ制御装置１２０が、予測手段１２３の予測誤差を算出して、算出結果に基づいてズーム倍率を制御することで、侵入物体をカメラからフレームアウトさせずに制御する方法について説明する。

図８は、本発明の実施の形態２のカメラ制御装置の構成図である。図８において、図１と同じ構成要素については同じ符号を用い、説明を省略する。

図８において、カメラ制御装置１２０は、図１と同様にセンサ識別手段１２１と、記憶手段１２２と、予測手段１２３と、カメラ制御算出手段１２４と、駆動制御手段１２５とを備え、さらにセンサ識別手段１２１が受信したセンサ情報の受信間隔と現在のセンサ情報の内容、および予測手段が予測した過去の侵入者の予測位置と予測位置に移動する予測時刻から予測手段１２３の予測誤差を算出する予測誤差算出手段８０１と、予測誤差算出手段８０１が算出した予測誤差を記憶する誤差記憶手段８０２と、誤差記憶手段８０２に記憶された予測誤差に基づいてカメラ１４０のズーム倍率を決定するズーム倍率算出手段８０３と、予測手段１２３の予測結果に基づいてカメラ１４０を回転させる方向を決定するカメラ回転算出手段８０５と、カメラ１４０のズーム倍率をズーム倍率算出手段８０３が算出したズーム倍率に制御するズーム制御手段８０４を有する。ここで、カメラ制御情報算出手段１２４は、ズーム倍率算出手段８０３と回転方向算出手段８０５とから構成される。

センサ識別手段１２１が、侵入センサ１１０からセンサ情報を受信して記憶手段１２２に記憶し、予測手段１２３が記憶手段１２２に記憶されたセンサ情報を基に物体の位置を予測し、カメラ制御情報算出手段１２４が予測結果から物体を映像フレーム内におさめるようにカメラを回転させる方向を算出し、その算出結果から駆動制御手段１２５がカメラ１４０の駆動手段１３０を制御する流れは、実施の形態１と同様である。

カメラ制御装置１２０が、カメラ１４０のズーム倍率を制御する流れを、図９と図１０に示す。

図９は、予測誤差算出手段８０１が予測手段１２３の予測誤差を求め、その結果を誤差記憶手段８０２に保存するまでの流れを示す図である。また、図１０は、ズーム倍率算出手段８０３が、予測誤差をもとにカメラのズーム倍率を決定し、ズーム倍率を制御する流れを示す図である。図９に示す予測誤差の算出処理と、図１０に示すズーム倍率制御処理は別々に動作するが、図９に示す予測誤差算出結果を参照して、図１０に示すズーム倍率制御処理が行われる。

まず、図９に示す、予測誤差算出手段８０１が、予測誤差を算出する流れについて詳細に説明する。

予測手段１２３が移動方向、移動ベクトルを予測した後、センサ識別手段１２１が侵入センサ１１０からセンサ情報を受信する（Ｓ９０１）と、予測誤差算出手段８０１は、予測手段１２３が予測した物体位置と、受信したセンサ情報から得られる物体の実際の位置を比較して予測手段１２３が予測した物体位置の誤差を計算する（Ｓ９０２）。

予測誤差算出手段８０１の予測誤差の算出方法を、図１１を使って説明する。図１１において、１１０１は最新のひとつ前のセンサ位置情報、１１０２は予測手段１２３が予測した、最新のセンサ情報を受信した時刻での予測位置、１１０３は最新のセンサ位置情報である。１１０１の座標を（ｘ_ｏｌｄ、ｙ_ｏｌｄ）とし、１１０２の座標を（ｘ_ｅｓｔ，ｙ_ｅｓｔ）、１１０３の座標を（ｘ_ｒｅａｌ、ｙ_ｒｅａｌ）とする。

図１１に示す、ひとつ前のセンサ位置から予測手段１２３が、予測した位置へ移動したときのベクトルの角度θｅｓｔ、およびひとつ前のセンサ位置から最新のセンサ位置へ移動したときのベクトルの角度θ_ｒｅａｌは、それぞれ（数４）、（数５）のように表すことができる。

予測誤差算出手段８０１は、上記で求めたθ_ｅｓｔ、θ_ｒｅａｌから、図１１に示す予測誤差θ_ｅｒｒを、（数６）に示す式で算出する。

予測誤差算出手段８０１は、上記に示す方法で予測誤差を算出したら、算出結果を誤差記憶手段８０２に記憶させる（Ｓ９０３）。

次に、図９の流れで算出された予測誤差を元に、ズーム倍率算出手段８０３がズーム倍率を算出し、ズーム制御手段８０４がカメラ１４０のズーム倍率を制御する流れを、図１０を用いて詳細に説明する。

予測手段１２３は、実施の形態１に示すタイミングで予測を行うと同時に、ズーム倍率算出手段８０３にカメラ１４０のズーム倍率算出を指示する（Ｓ１００１）。ズーム倍率算出手段８０３は、予測手段１２３からズーム倍率算出の指示を受けると、誤差記憶手段８０２に記憶された予測誤差からズーム倍率を算出する（Ｓ１００２）。

図１２に、求めるズーム倍率の模式図を示す。図１２において、１２０１は最新のセンサ情報位置ｎｏｗ、１２０２は予測手段１２３によって予測された侵入物体の移動位置ｅｓｔ、１２０３、１２０４は誤差記憶手段８０２に記憶された予測誤差分だけ予測結果がずれた場合の侵入物体の移動位置ｅｒｒ１、ｅｒｒ２、１２０５はカメラ制御装置１２０が制御するカメラ１４０ｃａｍを、それぞれ空中から地面に対して見た図である。

ズーム倍率算出手段８０３は、図１２における１２０３、１２０４の座標を算出する。図１２において、１２０１、１２０２、１２０３、１２０４、１２０５の座標を、それぞれ（ｘ^＊ _ｎｏｗ、ｙ^＊ _ｎｏｗ）、（ｘ^＊ _ｅｓｔ、ｙ^＊ _ｅｓｔ）、（ｘ^＊ _ｅｒｒ１、ｙ^＊ _ｅｒｒ１）、（ｘ^＊ _ｅｒｒ２、ｙ^＊ _ｅｒｒ２）、（ｘ_ｃａｍ、ｙ_ｃａｍ）とする。このとき、（ｘ^＊ _ｅｒｒ１、ｙ^＊ _ｅｒｒ１）、（ｘ^＊ _ｅｒｒ２、ｙ^＊ _ｅｒｒ２）は以下の（数７）、（数８）から求めることができる。

ズーム倍率算出手段８０３は、１２０３、１２０４の座標（ｘ^＊ _ｅｒｒ１、ｙ^＊ _ｅｒｒ１）、（ｘ^＊ _ｅｒｒ２、ｙ^＊ _ｅｒｒ２）を算出した後、１２０５に設置されたカメラの視界が、１２０３、１２０４が左右の両端になるような、カメラ１２０５の画角θ_{ａｎｇｌｅ}を算出する。画角θ_{ａｎｇｌｅ}は余弦定理を用いて、以下の（数９）に示す方法で算出することが可能である。

ズーム倍率算出手段８０３は、（数９）によって求められた画角になるようなズーム倍率を求める（Ｓ１００４）。画角に対するズーム倍率はカメラによって異なり、ズーム倍率算出手段８０３があらかじめ記憶しておく。その後、ズーム制御手段８０４は、ズーム倍率算出手段８０３が求めたズーム倍率を受け取り、カメラに送信することで、ズーム倍率を制御する（Ｓ１００５）。ズーム倍率を制御する方法は、倍率の絶対値を指定して制御する方法と、カメラの現在のズーム倍率に対して相対的に上下させたい率を指定する方法の２通りあり、どちらの方法を使用しても問題ない。倍率の絶対値を指定する場合は、ズーム制御手段８０４が、ズーム倍率算出手段８０３が（Ｓ１００４）で求めたズーム倍率をそのままカメラに送信する。倍率の相対的な値を指定する場合は、ズーム倍率算出手段８０３が制御前のズーム倍率を記憶しておき、（Ｓ１００４）でズーム倍率を算出したら前記制御前のズーム倍率との差分を求め、得られた値の正負と絶対値によってズーム倍率の上下と変化量を決めてズーム制御手段８０４に渡し、ズーム制御手段８０４がカメラに前記ズーム倍率の上下と変化量をカメラに送信する。

以上の流れで、予測手段１２３の予測誤差に応じてズーム倍率を制御する。この方法により、カメラ制御装置１２０がカメラ１４０を制御して侵入物体１００を追跡する一例の模式図を図１３に示す。図１３（ａ）において、１１０−ａは時間ｔ_１に侵入物体１１０を検知した侵入センサ、１１０−ｂは時間ｔ_５に侵入物体１１０を検知した侵入センサ、１００−ｔ_１〜１００−ｔ_５は、時間ｔ_１〜ｔ_５における人物の位置、１４０−ｔ_１〜１４０−ｔ_５は時間ｔ_１〜ｔ_５におけるカメラの撮影方向をそれぞれ表す。ただし、時間ｔ_１〜ｔ_５は添字の数字が小さいほど過去の時間とする。

また、図１３（ｂ）は、時間ｔ_１〜ｔ_５でのカメラ１４０で撮影された映像を示す。このとき、時間ｔ_１において、カメラ制御装置１２０が侵入センサ１１０−ａからセンサ情報を受信すると、侵入物体１００の過去の位置から、時間ｔ１以降の人物の位置を予測し、センサ情報を受け取らない時間ｔ_２〜ｔ_４には予測誤差算出手段８０１が算出した予測誤差により、ズーム倍率が時間とともに小さくなる。このため、時間ｔ_５においてセンサ情報を受信すると、予測誤差算出手段７０１が再度誤差を計算した結果が反映され、ズーム倍率算出手段８０３が再度ズーム倍率を設定しなおす。

これにより、予測手段１２３の予測誤差に応じてズーム倍率を自動的に変更することが可能であり、追尾対象をカメラ映像からフレームアウトさせずに、滑らかなカメラワークで自動追尾することができる。

なお、本実施の形態では、予測誤差算出手段８０１が、予測した物体の位置と、センサ情報から得られる実際の位置を比較して誤差を算出したが、図１４に示すように、監視区域の地形情報を記憶した地形記憶手段１４０１を追加して、回転方向算出手段８０５、ズーム倍率算出手段８０３が地形情報を考慮して、カメラ制御信号を算出してもかまわない。

この場合、例えば図１５に示すように侵入物体が通路を曲がろうとする際、曲がり角に差し掛かった際に、曲がり角全景が見えるように予測誤差に関係なく一時的にズーム倍率を下げて、侵入物体が曲がり角のどちらに移動してもカメラの映像フレーム内に収まるようにすることができる。

同様に、予測手段１２３の予測に、監視区域の地形情報を反映させるように、予測手段１２３に地形記憶手段１４０１をつなげて予測を行うことで、予測手段１２３がより精度の高い予測を行うことができる。

また、本実施の形態では、誤差記憶手段８０２が記憶する誤差の値の更新方法は、前記に示すとおり予測誤差を算出した結果を毎回誤差記憶手段８０２に記憶させるのではなく、例えば、予測誤差算出手段８０１が算出した誤差θ_ｅｒｒが、誤差記憶手段８０２が記憶していた誤差より大きい場合にのみ更新し、過去の予測誤差をすべて記憶して、算出した予測誤差θ_ｅｒｒを加えて平均を取るなど、確率的な手法を用いて予測誤差を記憶してもなんら問題ない。

本発明にかかるカメラ制御装置は、不審人物や物体の自動追尾機能を持つ監視システムのカメラ制御装置として有用である。また放送等の用途で番組の出演者やスポーツ中継におけるスポーツ選手の撮影などにも応用可能である。

実施の形態１によるカメラ制御装置の構成を示すブロック図 実施の形態１によるセンサ情報を示す図 実施の形態１による予測手段の侵入物体位置予測方法を示す図 実施の形態１による回転方向算出手段の回転方向算出方法を示す図 実施の形態１による回転方向算出手段の動作フロー図 実施の形態１によるカメラの動作を示す図 実施の形態１による画像センサの構成を示すブロック図 実施の形態２によるカメラ制御装置の構成を示すブロック図 実施の形態２による予測誤差算出手段の動作フロー図 実施の形態２によるズーム倍率算出手段の動作フロー図 実施の形態２による予測誤差算出手段の予測誤差の算出方法を示す図 実施の形態２によるズーム倍率算出手段のズーム倍率の算出方法を示す図 実施の形態２によるカメラの動作を示す図 実施の形態２による地形記憶手段を備えたカメラ制御装置の構成を示すブロック図 実施の形態２にる地形記憶手段が記憶する地形情報を示す図 従来のカメラ制御装置の構成を示すブロック図 従来の人物検出手段を用いたカメラ制御装置の構成を示すブロック図 従来のカメラの動作を示す図

符号の説明

１００ 侵入物体
１１０−１〜ｎ 侵入センサ
１２０ カメラ制御装置
１２１ センサ識別手段
１２２ 記憶手段
１２３ 予測手段
１２４ カメラ制御情報算出手段
１２５ 駆動制御手段
１３０ 駆動手段
１４０，４０１，１２０５ カメラ
１５０ モニタ
４０２，１１０３，１２０１ 侵入物体の現在位置
４０３，１２０２ 侵入物体の予測位置
４１１ カメラの撮影角度
４１２ カメラが回転すべき角度
４１３ カメラの予測位置の撮影角度
７００ 画像センサ
７０１ 映像取得手段
７０２ 画像認識手段
７０３ 実空間座標算出手段
８０１ 予測誤差算出手段
８０２ 誤差記憶手段
８０３ ズーム倍率算出手段
８０４ ズーム制御手段
８０５ 回転方向算出手段
１１０１ 過去の侵入物体の位置
１１０２ 予測した侵入物体の位置
１２０３ 予測誤差を考慮した侵入物体の予測位置
１２０４ 予測誤差を考慮した侵入物体の予測位置
１４０１ 地形記憶手段

Claims (7)

1. 物体を感知して反応信号を出力する複数のセンサと、
   前記反応信号から前記物体の感知地点を識別するセンサ識別手段と、
   前記センサ識別手段が識別した前記物体の感知地点と前記反応信号の発生時刻とからなるセンサ情報を記憶する記憶手段と、
   前記記憶手段に記憶されたセンサ情報から物体の移動方向、移動速度、位置の少なくとも１つを含む物体予測情報を出力する予測手段と、
   前記予測手段が出力する物体予測情報から、カメラの回転方向、回転速度、ズーム倍率の少なくとも１つを含むカメラ制御情報を算出するカメラ制御情報算出手段と、
   前記カメラ制御情報算出手段が算出したカメラ制御情報をカメラ制御命令に変換してカメラを制御する駆動制御手段と、
   を含むカメラ制御装置。
2. 過去の物体予測情報と実際の物体の移動方向、移動速度、位置との少なくともいずれか１つ以上の誤差の値を算出する予測誤差算出手段を更に含みと、
   前記カメラ制御情報算出手段は、
   前記予測誤差算出手段が算出する誤差によってカメラ制御情報を変更する
   請求項１に記載のカメラ制御装置。
3. 前記複数のセンサを設置した区域の地形情報を記憶する地形記憶手段を更に含み、
   前記カメラ制御情報算出手段は、
   前記地図情報と前記物体予測情報とが一致しない場合は、地図情報を用いてカメラ制御情報を算出する
   請求項１又は２記載のカメラ制御装置。
4. 前記センサが、
   監視領域の映像を取得する映像取得手段と、
   前記映像取得手段の映像から侵入物体を検出する画像認識手段と、
   検出した前記侵入物体の映像上の位置から前記映像取得手段を設置した監視区域の実空間座標に変換する実空間座標算出手段と、
   を備えた請求項１ないし３のいずれか記載のカメラ制御装置。
5. 前記カメラ制御情報算出手段が、
   前記予測誤差を予め定めた値より大きい判定した場合に、
   前記ズーム制御手段は、
   前記カメラのズーム倍率を下げて広角で撮影する
   請求項２に記載のカメラ制御装置。
6. 前記カメラ制御情報算出手段が、
   前記予測誤差を予め定めら値より小さいと判定した場合に、
   前記ズーム制御手段は、
   前記カメラのズーム倍率を上げて撮影する
   請求項２に記載のカメラ制御装置。
7. 前記予測誤差算出手段は、
   前記センサから入力されるセンサ情報の受信時間が経過するほど、前記予測誤差が大きいと判定する請求項２に記載のカメラ制御装置。

Images