JP2007208453A - 自動追尾装置及び自動追尾方法 - Google Patents

Abstract

【課題】高速でズームアップまたはズームダウンを行いつつ、ズームに伴う自動追尾の失敗を解消し、物体を安定して追尾できる自動追尾装置を提供する。
【解決手段】自動追尾装置は、カメラによって撮影され入力された画像から物体を検出する第１物体検出部５２と、検出された物体の大きさが画像上で所定より小さい場合、カメラのズーム倍率を変更する第１ズーム制御部５３と、ズーム倍率が変更された後、再びカメラによって撮影された画像から物体を検出する第２物体検出部５５と、第２物体検出部５５によって検出された物体とカメラによって撮影された画像とを比較して物体の位置を特定し、画像上で物体を追跡するテンプレートマッチング部５６と、追跡される物体がカメラによって撮影される画像上で所定の大きさになるように、カメラのズーム倍率を制御する第２ズーム制御５７とを備える。
【選択図】図３

Description

本発明は、移動する物体を追尾する自動追尾装置及び自動追尾方法に関する。

従来、自動追尾装置として、パン、チルト、ズーム機能（ＰＴＺ機能）を有するカメラを設置し、所定の領域内に侵入した物体を検出し、さらに物体が適当な大きさに撮影されるようにズームアップして自動追尾を行うことで、侵入物体をより詳細に把握しようとする監視システムが知られている。

この監視システムでは、広域を監視するために、初期状態でカメラのズーム倍率は広角側に設定されていることが一般的である。侵入物体を検出した後、自動追尾状態に遷移するために、急激にズームアップすると、画像の変形量が大きくなり、ブロックマッチングやテンプレートマッチング等による追跡中、侵入物体を見失いやすかった。したがって、画像の拡大、縮小の影響が出にくいように、比較的低速でズームを行うことになる。

また、従来の自動追尾装置として、特許文献１に記載のものが知られている。この自動追尾装置は、第１、第２の画像メモリ、デマルチプレクサ、相関演算器および移動物体検知プログラムから構成されている。相関演算器は、ハードウェアで構成され、画像メモリに記憶されている撮像時間の異なる画像間で動きベクトルを推定する。移動物体検知プログラムは、相関演算器を制御し、カメラによって撮像された画像中に移動物体が存在するか否かを検知するためのものである。具体的に、画像を複数のブロックに分割し、相関演算器によりブロック毎に動きベクトルを求める。求めた動きベクトルを追跡し、人等の動きか木の揺れ等の外乱かを区別する。この区別の際、人等の動きベクトルは一定方向にほぼ同じ大きさで現れるのに対し、木の揺れ等の動きは振動的であるので、その動きベクトルは常に一定方向に現れるわけではないことが利用される。そして、動きベクトルが塊状に検出された場合、追尾を開始する。

カメラ自体がパンやチルト動作を行う場合、カメラ自体の動きを示す背景動きベクトルを抽出し、各ブロックのベクトルから背景動きベクトルを差し引くことで、物体の動きベクトルを抽出して追跡する。追尾中のズームにおいては、画像の拡大、縮小の変化量を動きベクトルから推定し、これを各ブロックのベクトルから差し引くことで、物体の動きベクトルを推定し、ズームによる追尾への影響を低減する。

また、従来の他の自動追尾装置として、特許文献２に記載のものが知られている。この自動追尾装置は、ズームして移動体を拡大、縮小した場合、テンプレート画像と撮影データ中の移動体の大きさが合わなくなり、追尾できなくなるという問題に対し、撮像データから抽出した移動体領域を複数の任意倍率で拡大、縮小して複数のテンプレート画像を作成する。ズームによって移動体を拡大、縮小した場合、拡大、縮小した画像の大きさに対応した拡大率、縮小率のテンプレート画像を用いて、テンプレートマッチングを行い、移動体との相関を取りながら追尾する。

特開２０００−３２２５８１号公報 特開２００１−２４３４７６号公報

しかしながら、上記従来の自動追尾装置では、前述したように、画像の拡大、縮小の影響が出にくいように、比較的低速でズームを行うことになるが、この場合、ズーム倍率が所望の値まで変化している状態が長く続くため、追尾に失敗するなど、追尾処理が不安定になりやすかった。一方、侵入物体を検出した後、自動追尾状態に遷移するためのズームアップを高速に行うと、画像の拡大あるいは縮小の変化度合いが大き過ぎて物体を見失いやすかった。

本発明は、上記事情に鑑みてなされたもので、高速でズームアップまたはズームダウンを行いつつ、ズームに伴う自動追尾の失敗を解消し、物体を安定して追尾できる自動追尾装置及び自動追尾方法を提供することを目的とする。

本発明の自動追尾装置は、移動する物体を追尾する自動追尾装置であって、ズーム機構を有し、所定の画角で撮影するカメラと、前記カメラによって撮影された画像から前記物体を検出する第１物体検出手段と、前記検出された物体の大きさが前記画像上で所定の条件を満たさない場合、前記カメラのズーム倍率を変更する第１ズーム制御手段と、前記ズーム倍率が変更された後、再び前記カメラによって撮影された画像から前記物体を検出する第２物体検出手段と、前記第２物体検出手段によって検出された物体と前記カメラによって撮影された画像とを比較して前記物体の位置を特定し、前記画像上で前記物体を追跡する追跡手段と、前記追跡される物体が前記カメラによって撮影される画像上で所定の大きさになるように、前記カメラのズーム倍率を制御する第２ズーム制御手段とを備えるものである。

この構成により、追尾開始前に広角な画像からズームアップを行い、その後に自動追尾を行うように時間的に動作を分離させることで、ズームアップ処理中に発生しやすい追尾点を見失う現象を回避できる。よって、高速でズームアップまたはズームダウンを行いつつ、ズームに伴う自動追尾の失敗を解消することができ、物体を安定して追尾可能となる。

また、本発明は、上記の自動追尾装置であって、前記第１ズーム制御手段によって前記カメラのズーム倍率を変更する間に前記物体が移動する移動先を予測する予測手段と、前記予測された物体の移動先に向けて前記カメラのパン角およびチルト角を制御する第１パンチルト制御手段と、前記追跡手段によって追跡される物体の移動に合わせて、前記物体が前記画像から外れないように、前記カメラのパン角およびチルト角を制御する第２パンチルト制御手段とを備えるものとする。

この構成により、追尾開始前のズーム制御を行う際、検出した物体の移動先を予測してパン角およびチルト角を制御することで、さらに、ズームアップ処理中に物体が画像から外れて見失ってしまう現象を回避でき、より安定した追尾が可能となる。

また、本発明は、上記の自動追尾装置であって、前記第２ズーム制御手段は、前記第１ズーム制御手段に比べて低速で前記ズーム倍率を制御するものとする。この構成により、画像上で物体を安定した大きさに確保可能である。

また、本発明は、上記の自動追尾装置であって、前記第２パンチルト制御手段は、前記第１パンチルト制御手段に比べて低速で前記パン角およびチルト角を制御するものとする。この構成により、物体をさらに安定して追尾可能となる。

また、本発明は、上記の自動追尾装置であって、前記予測手段は、前記第１ズーム制御手段によってズーム倍率の変更が完了する時刻、および前記第１パンチルト制御手段によって前記パン角および前記チルト角の制御が完了する時刻のいずれか遅い方の時刻における前記移動先を予測し、前記第１パンチルト制御手段は、前記予測された物体の移動先に向けて前記カメラのパン角およびチルト角を制御するものとする。この構成により、ズーム処理中に物体の移動先位置を確実に捉えることが可能となる。

本発明の自動追尾方法は、移動する物体を追尾する自動追尾方法であって、ズーム機構を有し、所定の画角で撮影するカメラによって撮影された画像から前記物体を検出する第１物体検出ステップと、前記検出された物体の大きさが前記画像上で所定の条件を満たさない場合、前記カメラのズーム倍率を変更する第１ズーム制御ステップと、前記ズーム倍率が変更された後、再び前記カメラによって撮影された画像から前記物体を検出する第２物体検出ステップと、前記第２物体検出ステップで検出された物体と前記カメラによって撮影された画像とを比較して前記物体の位置を特定し、前記画像上で前記物体を追跡する追跡ステップと、前記追跡される物体が前記カメラによって撮影される画像上で所定の大きさになるように、前記カメラのズーム倍率を制御する第２ズーム制御ステップとを有するものである。

この手順により、高速でズームアップまたはズームダウンを行いつつ、ズームに伴う自動追尾の失敗を解消することができ、物体を安定して追尾可能となる。

また、本発明は、上記の自動追尾方法であって、前記第１ズーム制御ステップにより前記カメラのズーム倍率を変更する間に前記物体が移動する移動先を予測する予測ステップと、前記予測された物体の移動先に向けて前記カメラのパン角およびチルト角を制御する第１パンチルト制御ステップと、前記追跡ステップにより追跡される物体の移動に合わせて、前記物体が前記画像から外れないように、前記カメラのパン角およびチルト角を制御する第２パンチルト制御ステップとを有するものとする。

この手順により、さらに、ズームアップ処理中に物体が画像から外れて見失ってしまう現象を回避でき、より安定した追尾が可能となる。

また、本発明は、コンピュータを、上記いずれかに記載の自動追尾装置の各手段として機能させるためのプログラムを提供する。

本発明によれば、高速でズームアップまたはズームダウンを行いつつ、ズームに伴う自動追尾の失敗を解消し、物体を安定して追尾できる自動追尾装置及び自動追尾方法を提供することが可能である。

本実施形態の自動追尾装置は、パン、チルト、ズーム動作（ＰＴＺ動作）可能な自動追尾カメラを搭載した監視カメラシステム等に適用されるもので、人物等の侵入した物体を自動的に検出して追尾する機能を有している。

図１は本発明の実施形態における自動追尾カメラの外観的構成を示す図である。この自動追尾カメラ１０は、天井６に設置されたドーム型ケース３を有する。ドーム型ケース３には、その先端中央部を通過するように形成された溝部３ａから露出する光学ズーム機構付きのカメラ８、およびこのカメラ８をパン方向に３６０度かつチルト方向に１８０度旋回自在である回転台１１（図２参照）が収納されている。カメラ８は、光学ズーム機構により調節される画角で画像を撮影する。

図２は本実施形態に係る監視カメラシステムのハードウェア構成を示すブロック図である。この監視カメラシステムは、撮像部（自動追尾カメラ）１０と、操作表示部１５および制御部２０からなるデータ処理部とにより主に構成される。

撮像部１０は、前述したように、ドーム型ケース３に収納されたカメラ８および回転台１１を有する。操作表示部１５は、モニタ３０、ジョイスティック３３およびマウス３４を有する。

制御部２０は、周知のＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、カメラ８によって撮影された画像を蓄積する画像メモリ２４、回転台１１を駆動するための駆動インタフェース（Ｉ／Ｆ）２５、カメラ８のズーム、シャッタ等を制御するとともに、撮影された画像を入力するためのカメラＩ／Ｆ２６、外部のモニタ３０に撮影された画像を出力するためのモニタＩ／Ｆ２７、時刻を計時するタイマ２９、およびＩ／Ｏインタフェース３２がバス２８を介して接続された構成を有する。

ＲＡＭ２３には、設定された探索範囲を記憶する探索範囲記憶部２３ａが設けられている。画像メモリ２４には、テンプレート画像が登録されるテンプレート記憶部２４ａが設けられている。Ｉ／Ｏインタフェース３２には、モニタ３０に表示された撮影画像に対して入力指示を行うジョイスティック３３およびマウス３４が接続されている。

図３は本実施形態に係る監視カメラシステムの制御部２０の機能的構成を示すブロック図である。制御部２０は、画像入力部５１、第１物体検出部５２、第１ズーム制御部５３、第１パンチルト制御部５４、第２物体検出部５５、テンプレートマッチング部５６、第２ズーム制御部５７、第２パンチルト制御部５８、および画像出力部５９を備える機能的構成を有する。画像入力部５１は、撮像部１０内のカメラ８によって撮影された画像を入力する。

ここで、第１物体検出部５２は第１物体検出手段の一例に相当し、第１ズーム制御部５３は第１ズーム制御手段の一例に相当し、第２物体検出部５５は第２物体検出手段の一例に相当し、テンプレートマッチング部５６は追跡手段の一例に相当し、第２ズーム制御部５７は第２ズーム制御手段の一例に相当する。また、第１パンチルト制御部５４は予測手段および第１パンチルト制御手段の機能を有する。また、第２パンチルト制御部５８は第２パンチルト制御手段の機能を有する。

第１物体検出部５２は、画像入力部５１から入力された画像の時間的変化を検出することで画像内に侵入した物体を検出する。この物体検出では、例えば、画像中の動き検出手段として広く知られるフレーム間差分法を用いて物体領域が検出される。即ち、撮影時刻の異なる複数の画像間において、差分絶対値を各画素で計算し、この差分絶対値が閾値を越える場合、動きが発生した領域であると判定する。また、動きが発生した領域が所定の大きさ（例えば、物体の高さと画像の高さとの比が１／１０）以上の塊状で検出され、かつ塊の重心の移動軌跡が所定の条件（例えば、一定方向にほぼ一定速度で移動）を満たす場合、画像中に物体が侵入した（移動物体が存在する）と判断する。

図４は画像の時間的変化によって検出された動きが発生した領域を含む画像を示す図である。図中、動きが発生した領域は斜線で描かれている。本実施形態の監視カメラシステムでは、動きが発生した領域、つまり侵入物体は人間であると想定されている。

第１ズーム制御部５３は、物体領域の画像の大きさが所定の条件を満たさない場合、カメラ８のズーム倍率を変更する。このズーム倍率の変更では、第１物体検出部５２によって検出された物体の画像上における大きさが所定の条件を満たすか否かを判断し、小さ過ぎる場合、所定の大きさに映るように目標となるズーム倍率までズームアップする。逆に、ズームダウンすることも考えられるが、一般的な監視カメラシステムでは、異常が発生していない状況では、ズームレンズを広角側に設定し、注視すべき物体が侵入すると、望遠側にズームアップすることが多い。

図５はズームアップされた物体を含む画像を示す図である。本実施形態では、検出された物体が人物であると想定し、その全身の高さと画像の高さの比率が閾値ＴＨ１（例えば、１／５）未満である場合、１／４〜１／２程度に映るように、ズーム倍率を変更する。

第１パンチルト制御部５４は、予測した物体の移動位置に向けてパン角およびチルト角を制御する。このパン角およびチルト角の制御は、第１ズーム制御部５３によって行われるズーム制御と並行して行われる。第１物体検出部５２によって検出された物体が画面（撮影画像）内から外れないように、センタリングを行い、画面の中央付近で安定して撮影が行われる。

しかし、第１ズーム制御部５３が撮像部１０にズーム制御開始を指示してから完了するまでに数百ミリ秒〜数秒程度の時間を要する場合がある。最悪、パン、チルトおよびズーム制御が完了した時には、移動物体が既に画面中央に存在しないか、画面から外れることも考えられる。

そこで、本実施形態では、第１物体検出部５２で算出された物体の移動軌跡を利用し、移動物体は歩行程度の速度で移動するものと仮定し、パン、チルトおよびズーム制御の完了予定時刻における物体位置に向けてパン角およびチルト角を制御し、カメラ８を移動、回転させる。つまり、現在の位置ではなく、この先移動するであろう位置を予測してパン、チルト制御を行う。移動先の予測として、ズーム倍率の変更が完了する時刻、およびパン角およびチルト角の制御が完了する時刻のいずれか遅い方の時刻における移動先が予測される。ここで、パン、チルトおよびズーム制御に要する時間は、制御量に応じて予め計算可能である。

なお、物体の移動方向と一般的な歩行速度だけで物体の移動先を予測するのではなく、実際に物体の移動速度を算出し、これを用いてパン角およびチルト角を制御することも可能である。これにより、パン、チルト制御に多少時間がかかっても、完了する時刻には、検出物体を画像の中心付近に捉えることができる。

第２物体検出部５５は、パン、チルトおよびズーム（ＰＴＺ）制御が行われた後の画像内に存在する筈の物体を再び検出する。この場合も、第１物体検出部５２と同様、フレーム間差分法により動きがあった領域を抽出し、物体の大きさ、移動軌跡等の特徴量が所定の条件を満たす場合、物体として検出する。この物体の検出処理では、カメラ８のＰＴＺ制御は全て完了し、一時的に静止状態となっている。

なお、第１物体検出部５２による物体の検出処理と比べ、被写体となる物体がより大きく詳細に撮影されているので、検出条件の精度を変更したり、第１物体検出部５２と比べて異なるパラメータに設定したり、あるいは異なる処理を行うようにしてもよい。また、第１物体検出部５２で検出された移動物体の色、輝度パターン、そのヒストグラム等の特徴量を保持しておき、第２物体検出部５５は、これに近い特徴量を持つ物体であるか否かの判断を加えて物体を検出するようにしてもよい。

テンプレートマッチング部５６は、第２の物体検出部５５によって検出された物体の特徴をテンプレートとして抽出し、探索範囲内でこのテンプレートと入力された画像との相関を計算しながら物体領域を追跡する。なお、第１物体検出部５２によって検出された物体の画像上における大きさが所定の条件を満たす場合、テンプレートマッチング部５６は、第１物体検出部５２によって検出された物体の特徴をテンプレートとして抽出する。

図６は本実施形態に係るテンプレートマッチングの動作を示す図である。まず、第２物体検出部５５が物体を検出した領域から初期テンプレート画像（追尾点）を抽出する。同一の物体について、取得した１枚あるいは更新時刻が異なる複数枚の画像を抽出し、テンプレート記憶部２４ａに保持する。既存のテンプレート画像と入力画像との相関が低くなった場合、テンプレート画像を保存可能な上限枚数まで追加する。上限枚数に達すると、古いものから新しいデータに更新する。なお、テンプレート画像は、過去数枚から数十枚程度、保持し続けることが有効であるが、１枚であってもよい。

そして、入力画像Ｉからテンプレート画像Ｔと最も相関が高くなる対応領域３０１を、数十〜数百ｍｓ周期毎に繰り返し探索することで物体を追跡する。複数のテンプレート画像が存在する場合、対象となる全てのテンプレート画像を用いて探索する。

探索する範囲として、前回の処理で、テンプレート画像と最も相関が高かった領域を基準に、最新の入力画像Ｉに対し、水平、垂直方向に数十画素程度の探索領域３０２を設定する。この探索範囲３０２内を走査しながらテンプレート画像Ｔとの相関を順次求める。なお、探索範囲を入力画像全体とすることも考えられるが、演算量が多すぎること、誤対応が発生しやすいこと等から、一般的に探索範囲は限定される。探索範囲の大きさは、物体の動きにもよるが、水平、垂直方向に数画素から数十画素程度であることが望まれる。

相関値の指標として、本実施形態では、正規化関数を用いた場合を示す。テンプレート画像Ｔの大きさをＫ（Ｈ）＊Ｌ（Ｖ）画素とした場合、テンプレート画像Ｔ（ｐ，ｑ）と、現フレーム画像Ｉ（ｘ，ｙ）内の矩形領域Ｋ（Ｈ）＊Ｌ（Ｖ）画素との正規化相関ＮＲＭ（ｘｖ，ｙｖ）は、以下の数式（１）で表される。

正規化相関ＮＲＭ（ｘｖ，ｙｖ）は、両画像間の相関が高いほど値１．０に近い値となり、相関が無い場合、値０である。

図７は探索領域内の各位置の相関値が２次元配列で表された相関マップを示す図である。この相関マップでは、相関値がピークとなる対応領域３０１が物体の移動先である。但し、図７では、相関値が高いほど谷側にピークが現れるように表示されている。

なお、本実施形態では、正規化相関を用いて、入力画像とテンプレート画像との相関値を求める場合を示したが、より演算量の少ない差分法や差分絶対値和法といった手法を用いてもよい。また、輝度値を用いる場合を示したが、相関値計算には、色やエッジ等を、状況に応じて用いるようにしてもよい。

また、テンプレート画像のサイズを、物体領域全体を含む大きさに設定することが一般的であるが、物体領域の頭部周辺等、その物体の特徴的な一部分をテンプレート画像として抽出してもよい。また、追尾開始時の初期テンプレート画像の作成には、前述した第１物体検出部５２や第２物体検出部５５で検出された物体の画像を利用する他、操作者がジョイスティック３３やマウス３４等のポインティングデバイスにより指定した位置の画像を利用してもよい。また、何らかの手段により画像中に所望の物体が存在する確率が高い領域を認識して抽出するようにしてもよいし、予め追尾したい物体のテンプレート画像を用意しておくことも考えられる。

第２ズーム制御部５７は、追跡中に物体が適切な大きさで撮影されるようにカメラ８のズーム倍率を制御する。第１ズーム制御部５３では、できるだけ高速にズーム倍率を制御するが、第２ズーム制御部５７では、テンプレートマッチング部５６による物体の追尾に影響が出ない程度、つまり画像の拡大および縮小が緩やかになるように、比較的低速でズーム倍率を制御する。これは、第２ズーム制御部５７によるズーム制御は、微調整であるので、低速で制御しても制御に要する時間は短いことによる。追跡中の物体の大きさは、カメラからの距離が変化することに伴って変化する。画面上でその大きさが所定の範囲を越えた場合、ズーム倍率を制御し、物体の大きさが所定の範囲から外れないようにする。例えば、人物がカメラに向かって接近する場合、画面上で物体が大きくなっていくので、所定の範囲を越えた場合、ズーム倍率を広角側に制御し、物体を所定の範囲に収めるように制御する。

第２パンチルト制御部５８は、テンプレートマッチング部５６によって得られた物体領域の移動に合わせて、追跡中に物体が画像から外れないようにパン角およびチルト角を制御する。従って、追跡中の物体が監視区域内を移動しても、常に画面中央付近で撮影される。第１パンチルト制御部５４は、できるだけ高速にパンチルト制御を行ったが、第２パンチルト制御部５７は、テンプレートマッチング部５６による物体の追跡処理に悪影響を与えない程度の比較的低速でパン角およびチルト角を制御する。

画像出力部５９は、入力画像に処理結果等を重畳して外部のモニタ３０に出力する。

上記構成を有する監視カメラシステムの動作を説明する。図８は本実施形態に係る自動追尾処理手順を示すフローチャートである。この処理プログラムは、監視カメラシステムにおいて、ＲＯＭ２２に格納されており、ＣＰＵ２１によって実行される。

まず、カメラ８によって撮影された画像を取り込む処理（キャプチャ）を行う（ステップＳ１）。取り込まれた画像の時間的変化を検出し、画像内に侵入した物体を検出する（ステップＳ２）。

本実施形態では、動きが発生した領域が所定の大きさ（例えば、物体の高さと画像の高さとの比が１／１０）以上の塊状で検出され、かつ塊の重心の移動軌跡が所定の条件（例えば、一定方向にほぼ一定速度で移動）を満たす場合、画像中に物体が侵入したと判断する。ここでは、追尾対象として、侵入した物体が人物であると想定している（図４参照）。

そして、検出された物体領域の大きさが画像上で所定の条件を満たすか否かを判別する（ステップＳ３）。ここでは、物体領域（全身）の高さと画像の高さとの比率が閾値ＴＨ１（例えば、１／５）未満であるか否かを判別する。物体の高さと画像の高さとの比率が閾値ＴＨ１未満である場合、カメラ８のズーム倍率を変更するとともに（ステップＳ４）、予測した物体の移動先位置に向けてパン角およびチルト角を制御する（ステップＳ５）。このように、ステップＳ４、Ｓ５で物体の大きさが所定の大きさになるように、カメラ８のズーム倍率、パン角およびチルト角を制御した上で、物体を再度検出する（ステップＳ６）。

一方、ステップＳ３で物体の高さと画像の高さとの比率が閾値ＴＨ１以上である場合、ステップＳ４、Ｓ５およびＳ６の処理を行わない。

この後、検出された物体の特徴をテンプレート画像として抽出し、探索範囲内において、この抽出されたテンプレート画像と入力した画像との相関を計算しながら物体領域を追跡するテンプレートマッチングを行う（ステップＳ７）。追跡中に物体が適切な大きさで撮影されるように、カメラ８のズーム倍率を制御する（ステップＳ８）。さらに、テンプレートマッチングによって得られた物体領域の移動に合わせて、追跡中に物体が画像から外れないように、パン角およびチルト角を制御する（ステップＳ９）。ズーム倍率、パン角およびチルト角が制御されたカメラ８からの画像をモニタ３０に出力する（ステップＳ１０）。そして、追尾完了であるか否かを判別する（ステップＳ１１）。追尾完了である場合、本処理を終了する。この追尾完了と判別される場合は、例えば、撮像部１０では撮影不可能な領域（監視区域外）に物体領域が移動した場合や、追尾完了の指示が操作された場合等である。一方、追尾完了でない場合、ステップＳ７の処理に戻る。

このように、本実施形態の監視カメラシステムでは、撮影された画像上で検出された物体が所定の大きさより小さく映っていた場合、すぐに追跡を開始せず、物体が所定の大きさになるまで高速にズームアップする。その後、再び撮影された画像上でその物体を検出して追尾を開始するので、長時間に亘るズーム制御による追跡処理の不安定さを回避し、安定した追尾を実現できる。

また、物体が所定の大きさになるまで高速にズームアップする場合、ズーム制御に数秒程度の時間を要するが、その間における物体の移動先位置を予測し、その位置に向けてパン角およびチルト角を制御しておく。これにより、ズームアップ後も検出された物体を確実に捉えている画像を用いて、物体の再検出が可能となる。これにより、更に安定した追尾を実現できる。

なお、本発明は、上記実施形態の構成に限られるものではなく、種々の変形が可能である。例えば、上記実施形態では、侵入物体が人間であると想定し、第１ズーム制御部は物体の高さと画像の高さとの比率を基にズーム制御を行った場合を示したが、侵入物体がその他の動物等であると想定した場合、物体の幅や物体の面積を基にズーム制御を行うようにしてもよい。

また、上記実施形態では、３次元座標として、パン角およびチルト角を有する極座標を用いたが、Ｘ軸、Ｙ軸、Ｚ軸からなる直交座標を用いて、カメラの向きを制御するようにしてもよい。

また、上記実施形態では、自動追尾カメラ１０と、データ処理装置（制御部２０および操作表示部１５を含む）とは別体に構成されていたが、同じ筐体内に収納するように構成されてもよい。

上述したように、本実施形態によれば、高速でズームアップまたはズームダウンを行いつつ、ズームに伴う自動追尾の失敗を解消し、物体を安定して追尾できる。即ち、ズームアップ処理中に発生しやすい追尾点を見失う現象を回避することができる。また、追尾開始時のズーム制御を行う際、検出した物体の移動先を予測してパン角およびチルト角を制御することで、ズームアップ処理中に物体が画像内から見失う現象を回避することができる。これにより、安定した自動追尾が可能となる。

本発明は、高速でズームアップまたはズームダウンを行いつつ、ズームに伴う自動追尾の失敗を解消し、物体を安定して追尾することが可能となる効果を有し、移動する物体を追尾する自動追尾装置及び自動追尾方法等に有用である。

本発明の実施形態における自動追尾カメラの外観的構成を示す図 本実施形態に係る監視カメラシステムのハードウェア構成を示すブロック図 実施形態に係る監視カメラシステムの制御部の機能的構成を示すブロック図 画像の時間的変化によって検出された動きが発生した領域を含む画像を示す図 ズームアップされた物体を含む画像を示す図 本実施形態に係るテンプレートマッチングの動作を示す図 探索領域内の各位置の相関値が２次元配列で表された相関マップを示す図 本実施形態に係る自動追尾処理手順を示すフローチャート

符号の説明

８ カメラ
１１ 回転台
１０ 撮像部（自動追尾カメラ）
２０ 制御部
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ 画像メモリ
３０ モニタ
５１ 画像入力部
５２ 第１物体検出部
５３ 第１ズーム制御部
５４ 第１パンチルト制御部
５５ 第２物体検出部
５６ テンプレートマッチング部
５７ 第２ズーム制御部
５８ 第２パンチルト制御部
５９ 画像出力部

Claims (8)

1. 移動する物体を追尾する自動追尾装置であって、
   ズーム機構を有し、所定の画角で撮影するカメラと、
   前記カメラによって撮影された画像から前記物体を検出する第１物体検出手段と、
   前記検出された物体の大きさが前記画像上で所定の条件を満たさない場合、前記カメラのズーム倍率を変更する第１ズーム制御手段と、
   前記ズーム倍率が変更された後、再び前記カメラによって撮影された画像から前記物体を検出する第２物体検出手段と、
   前記第２物体検出手段によって検出された物体と前記カメラによって撮影された画像とを比較して前記物体の位置を特定し、前記画像上で前記物体を追跡する追跡手段と、
   前記追跡される物体が前記カメラによって撮影される画像上で所定の大きさになるように、前記カメラのズーム倍率を制御する第２ズーム制御手段と
   を備える自動追尾装置。
2. 前記第１ズーム制御手段によって前記カメラのズーム倍率を変更する間に前記物体が移動する移動先を予測する予測手段と、
   前記予測された物体の移動先に向けて前記カメラのパン角およびチルト角を制御する第１パンチルト制御手段と、
   前記追跡手段によって追跡される物体の移動に合わせて、前記物体が前記画像から外れないように、前記カメラのパン角およびチルト角を制御する第２パンチルト制御手段とを備える請求項１記載の自動追尾装置。
3. 前記第２ズーム制御手段は、前記第１ズーム制御手段に比べて低速で前記ズーム倍率を制御する請求項１または２記載の自動追尾装置。
4. 前記第２パンチルト制御手段は、前記第１パンチルト制御手段に比べて低速で前記パン角およびチルト角を制御する請求項２記載の自動追尾装置。
5. 前記予測手段は、前記第１ズーム制御手段によってズーム倍率の変更が完了する時刻、および前記第１パンチルト制御手段によって前記パン角および前記チルト角の制御が完了する時刻のいずれか遅い方の時刻における前記移動先を予測し、
   前記第１パンチルト制御手段は、前記予測された物体の移動先に向けて前記カメラのパン角およびチルト角を制御する請求項２記載の自動追尾装置。
6. 移動する物体を追尾する自動追尾方法であって、
   ズーム機構を有し、所定の画角で撮影するカメラによって撮影された画像から前記物体を検出する第１物体検出ステップと、
   前記検出された物体の大きさが前記画像上で所定の条件を満たさない場合、前記カメラのズーム倍率を変更する第１ズーム制御ステップと、
   前記ズーム倍率が変更された後、再び前記カメラによって撮影された画像から前記物体を検出する第２物体検出ステップと、
   前記第２物体検出ステップで検出された物体と前記カメラによって撮影された画像とを比較して前記物体の位置を特定し、前記画像上で前記物体を追跡する追跡ステップと、
   前記追跡される物体が前記カメラによって撮影される画像上で所定の大きさになるように、前記カメラのズーム倍率を制御する第２ズーム制御ステップと
   を有する自動追尾方法。
7. 前記第１ズーム制御ステップにより前記カメラのズーム倍率を変更する間に前記物体が移動する移動先を予測する予測ステップと、
   前記予測された物体の移動先に向けて前記カメラのパン角およびチルト角を制御する第１パンチルト制御ステップと、
   前記追跡ステップにより追跡される物体の移動に合わせて、前記物体が前記画像から外れないように、前記カメラのパン角およびチルト角を制御する第２パンチルト制御ステップとを有する請求項６記載の自動追尾方法。
8. コンピュータを、請求項１から５のいずれかに記載の自動追尾装置の各手段として機能させるためのプログラム。

Images