JP2008103890A - 自動追尾システム - Google Patents

Abstract

【課題】隣り合うカメラの撮像可能範囲が重複しなくても、複数のカメラを連携させて追尾対象を自動追尾して撮像する。
【解決手段】画像処理装置２Ａ，２Ｂ，２Ｃによる制御によって、カメラ１Ａ，１Ｂ，１Ｃは、連携して追尾対象を自動追尾して撮像する。装置２Ａは、カメラ１Ａが追尾対象を捕捉しているときに、カメラ１Ａの撮像画像に基づいて追尾対象を追跡する追跡処理を行いつつ、その結果に応じてカメラ１Ａに追尾対象を追尾させる。装置２Ａは、カメラ１Ａの追跡処理に関連して、追跡処理では用いられない追尾対象の特徴量を取得する。装置２Ａは、追尾対象がカメラ１Ａの撮像可能範囲の境界付近に移動するときに、カメラ１Ａに関して取得された前記特徴量を用いて、隣のカメラ１Ｂの撮像画像に基づいて追尾対象を探索し、その結果として追尾対象を検出することで、隣のカメラ１Ｂに追尾対象を捕捉させる。
【選択図】図１

Description

本発明は、パン、チルト及びズームの制御が可能な複数のカメラを連携させて、追尾対象を自動追尾して撮像する自動追尾システムに関するものである。

下記特許文献１には、パン、チルト及びズームの制御が可能な複数のカメラを連携させて、追尾対象を自動追尾して撮像する自動追尾システムが開示されている。この従来の自動追尾システムでは、隣り合うカメラの撮像可能範囲（監視可能エリア）が部分的に重複することが前提となっており、追尾対象が１つのカメラの撮像可能範囲を逸脱する以前に追尾対象が移動する側の隣のカメラによる継続捕捉を完了するように構成されている。

このような自動追尾システムでは、自カメラで追尾している追尾対象が自カメラの撮像可能範囲と隣のカメラの撮像可能範囲との重複範囲に入ったときに、自カメラでの追尾対象の位置情報を隣のカメラに受け渡し、その位置情報を隣のカメラでの位置情報に変換し、隣のカメラにより撮像された画像から、前記変換された追尾対象の位置情報のみによって追尾対象を検出し、その後、隣のカメラで追尾対象を追尾する。
特開２００５−１２５５６号公報

しかしながら、前述したような従来の自動追尾システムでは、自カメラから隣のカメラへの追尾対象の受け渡しを、両カメラの撮像可能範囲の重複範囲における位置情報を受け渡すことによって行っているので、隣り合うカメラの撮像可能範囲が部分的に重複することが不可欠であった。したがって、前記従来の自動追尾システムでは、隣り合うカメラをそれらの撮像可能範囲が部分的に重複するように設置できない場合には、複数のカメラを連携させて追尾対象を自動追尾して撮像することはできなかった。

ところが、カメラを設置しようとすると、実際には、障害物などによって隣り合うカメラをそれらの撮像可能範囲が部分的に重複するように設置できない状況は多々あるとともに、そのような障害物に拘わらずに隣り合うカメラをそれらの撮像可能範囲が部分的に重なるように配置しようとすると、いたずらにカメラの台数が増大し、著しく不経済である。

また、前述したような従来の自動追尾システムでは、追尾対象の追跡処理において、追尾対象が物陰に隠れるなどして一旦追尾対象を見失ってしまうと、その後に追尾対象が物陰から出ても、追尾対象の追跡を継続することはできなかった。

本発明は、このような事情に鑑みてなされたもので、隣り合うカメラをそれらの撮像可能範囲が部分的に重複するように設置できない場合にも、複数のカメラを連携させて追尾対象を自動追尾して撮像することができる自動追尾システムを提供することを目的とする。

また、本発明は、隣り合うカメラをそれらの撮像可能範囲が部分的に重複するように設置できない場合にも、複数のカメラを連携させて追尾対象を自動追尾して撮像することができるとともに、追尾対象が一旦物陰に隠れるなどした後にも追尾対象を継続して追尾することができる自動追尾システムを提供することを目的とする。

前記課題を解決するため、本発明の第１の態様による自動追尾システムは、各々がパン、チルト及びズームの制御が可能な複数のカメラと、前記複数のカメラにより撮像された画像を処理して、前記複数のカメラが連携して追尾対象を自動追尾して撮像するように前記複数のカメラを制御する画像処理手段と、を備えたものである。前記画像処理手段は、前記各カメラに関して、当該カメラが前記追尾対象を捕捉しているときに、当該カメラにより撮像された画像に基づいて前記追尾対象を追跡する追跡処理を行いつつ、前記追跡処理の結果に応じて当該カメラが追尾対象を追尾するように、当該カメラのパン、チルト及びズームを制御する。また、前記画像処理手段は、当該カメラに関して、前記追跡処理に関連して得られる前記追尾対象に関する情報に基づいて、前記追跡処理においては用いられない前記追尾対象の特徴量を取得する。さらに、前記画像処理手段は、前記追尾対象が当該カメラの撮像可能範囲の境界付近に移動するかあるいは当該撮像可能範囲を逸脱したときに、当該カメラに関して取得された前記特徴量を用いて、前記追尾対象の移動先と予測される当該カメラの隣のカメラにより撮像された画像に基づいて前記追尾対象を探索し、その探索結果として前記追尾対象を検出することで、当該隣のカメラに前記追尾対象を捕捉させる。

この第１の態様によれば、自カメラによる前記追跡処理に関連して得られる前記追尾対象に関する情報に基づいて、前記追跡処理においては用いられない前記追尾対象の特徴量が取得され、この自カメラによる特徴量を用いて隣のカメラにおける追尾対象の探索が行われることで、自カメラから隣のカメラへの追尾対象の追尾が受け渡される。したがって、前記第１の態様によれば、隣り合うカメラをそれらの撮像可能範囲が部分的に重複するように設置できない場合にも、複数のカメラを連携させて追尾対象を自動追尾して撮像することができる。

また、前記第１の態様によれば、前記追跡処理においては用いられない追尾対象の特徴量を取得し、これに基づいて隣のカメラの追尾対象の探索が行われるので、前記追跡処理における追尾対象の検出と前記探索における追尾対象の検出とを、異なる手法により行うことができる。したがって、それらの手法をそれぞれ別々に設定することができるので、例えば、前記追跡処理では迅速性を重視した手法を採用する一方、前記探索では検出の確実性を重視した手法を採用することができ、非常に好ましい。

本発明の第２の態様による自動追尾システムは、前記第１の態様において、前記画像処理手段は、前記複数のカメラに対して１対１に設けられた画像処理装置からなるものである。

この第２の態様は、画像処理手段をカメラごとに分散させて配置する例を挙げたものである。この第２の態様では、各画像処理装置は同じ構成とすることができるので、カメラの設置台数を変える場合、それに応じて画像処理装置の数を変えるだけですみ、画像処理装置の構成自体をカメラの設置台数に応じて変更する必要がなくなる。

本発明の第３の態様による自動追尾システムは、前記第１の態様において、前記画像処理手段は、前記複数のカメラに対して共通して設けられ１つの画像処理装置からなるものである。この第３の態様は、画像処理手段を集中して配置する例を挙げたものである。

本発明の第４の態様による自動追尾システムは、前記第１乃至第３のいずれかの態様において、前記画像処理手段は、前記各カメラに関して、当該カメラにより撮像された画像に基づいて前記追尾対象を検知することで、当該カメラに前記追尾対象を初期的に捕捉させるものである。この第４の態様は、追尾対象の初期の検知を自動的に行う例を挙げたものである。

本発明の第５の態様による自動追尾システムは、前記第１乃至第３のいずれかの態様において、前記複数のカメラにより撮像された画像に基づいて、監視者が前記追尾対象を指定する指定手段を備え、前記複数のカメラのうち、前記指定手段により指定された前記追尾対象に応じたカメラに前記追尾対象を初期的に捕捉させるものである。この第５の態様は、追尾対象の初期検知を自動的に行わずに監視者の指定により行う例を挙げたものである。

本発明の第６の態様による自動追尾システムは、前記第１乃至第５のいずれかの態様において、前記追跡処理は、動きベクトルを用いて行われるものである。

この第６の態様によれば、前記追跡処理が動きベクトルを用いて行われるので、前記追跡処理の迅速性を高めることができる。もっとも、前記第１乃至第５の態様では、前記追跡処理は、動きベクトルを用いた処理に限定されるものではない。

本発明の第７の態様による自動追尾システムは、前記第１乃至第６のいずれかの態様において、前記探索は、前記特徴量のマッチングにより行われるものである。

この第７の態様によれば、前記探索が特徴量のマッチングにより行われるので、前記探索における追尾対象の検出の確実性を高めることができる。

本発明の第８の態様による自動追尾システムは、前記第１乃至第７のいずれかの態様において、前記画像処理手段は、前記追跡処理において前記追尾対象を見失ったときに、当該カメラに関して取得された前記特徴量を用いて、当該カメラにより撮像された画像に基づいて前記追尾対象を探索し、その探索結果として前記追尾対象を検出することで、当該カメラに前記追尾対象を捕捉させるものである。

この第８の態様によれば、前記追跡処理において前記追尾対象を見失ったときに、当該カメラに関して取得された前記特徴量を用いて、当該カメラにより撮像された画像に基づいて前記追尾対象が探索されるので、追尾対象が一旦物陰に隠れるなどした後にも追尾対象を継続して追尾することができる。

本発明の第９の態様による自動追尾システムは、前記第８の態様において、前記画像処理手段は、前記追尾対象を見失ったときの前記探索を、当該カメラを前記追尾対象を見失う直前よりもズームアウトさせて行うものである。この第９の態様によれば、前記探索を広い範囲に亘って容易に行うことができる。

本発明の第１０の態様による自動追尾システムは、前記第１乃至第９のいずれかの態様において、前記特徴量がヒストグラムであるものである。この第９の態様は、前記特徴量の例を挙げたものである。

本発明によれば、隣り合うカメラをそれらの撮像可能範囲が部分的に重複するように設置できない場合にも、複数のカメラを連携させて追尾対象を自動追尾して撮像することができる自動追尾システムを提供することができる。

また、本発明は、隣り合うカメラをそれらの撮像可能範囲が部分的に重複するように設置できない場合にも、複数のカメラを連携させて追尾対象を自動追尾して撮像することができるとともに、追尾対象が一旦物陰に隠れるなどした後にも追尾対象を継続して追尾することができる自動追尾システムを提供することができる。

以下、本発明による自動追尾システムについて、図面を参照して説明する。

［第１の実施の形態］

図１は、本発明の第１の実施の形態にる自動追尾システムを示す概略構成図である。本実施の形態による自動追尾システムは、各々がパン、チルト及びズームの制御が可能な複数のカメラ１Ａ，１Ｂ，１Ｃと、これらのカメラ１Ａ，１Ｂ，１Ｃに対して１対１に設けられた画像処理装置２Ａ，２Ｂ，２Ｃと、上位局装置３とから構成され、これらが通信網４を介して相互に接続されるようになっている。なお、本実施の形態では、カメラ１Ａ，１Ｂ，１Ｃの数は３台とされているが、その数は特に限定されるものではない。

画像処理装置２Ａ，２Ｂ，２Ｃは、全体として、カメラ１Ａ，１Ｂ，１Ｃにより撮像された画像を処理して、カメラ１Ａ，１Ｂ，１Ｃが連携して侵入者又は侵入物体等の追尾対象１０（後述する図２参照）を自動追尾して撮像するようにカメラ１Ａ，１Ｂ，１Ｃを制御する画像処理手段を、構成している。本実施の形態では、各カメラ１Ａ，１Ｂ，１Ｃは同じ構成を有しており、隣のカメラや上位局装置３と通信網４を介して通信する通信部（図示せず）を有している。

本実施の形態では、追尾対象１０の通路に沿って、カメラ１Ａ，１Ｂ，１Ｃの順に配置されている。隣り合うカメラ同士（カメラ１Ａ，１Ｂ同士、及び、カメラ１Ｂ，１Ｃ同士）は、それらの撮像可能範囲が重複しなくてもよいし部分的に重複してもよい。

上位局装置３は、例えばパーソナルコンピュータ等で構成されて所定の監視場所に設置され、画像処理装置２Ａ，２Ｂ，２Ｃから通信網４を介して送信されてくるカメラ１Ａ，１Ｂ，１Ｃの画像を切り替えて又は並べて表示したり、それらの画像を録画したり、監視者が表示画像を見てのマウス等のポインティングデバイスによって追尾対象１０を指定したりできるように構成されている。上位局装置３は、カメラ１Ａ，１Ｂ，１Ｃのいずれかが追尾対象１０を追尾している場合は、追尾しているカメラからの画像のみを又はその画像を他の画像よりも大きく拡大して表示するようになっている。

まず、本実施の形態による自動追尾システムの動作の概要を、図２を参照して簡単に説明する。図２は、３台のカメラ１Ａ，１Ｂ，１Ｃのうちの２台のカメラ１Ａ，１Ｂによる追尾対象１０の追尾の様子の例を模式的に示す図である。

例えば、図２（ａ）に示すように、カメラ１Ａで撮像されているエリア内に、追尾対象１０が入っているとき、上位局装置３で表示されているカメラ１Ａの撮像画像を見た監視者がマウス等のポインティングデバイスによって追尾対象１０を指定するか、あるいは、カメラ１Ａの画像処理装置２Ａ（カメラ１Ａに接続された画像処理装置２Ａ）がカメラ１Ａの撮像画像から自動的に追尾対象１０を検知する。この指定又は検知によって、追尾対象１０がカメラ１Ａにより初期的に捕捉される。なお、本発明では、このような指定及び検知のうち、いずれか一方のみを行い得るように構成してもよいし、両方を行い得るように構成してもよい。

そして、カメラ１Ａの画像処理装置２Ａは、カメラ１Ａの撮像画像に基づいて追尾対象１０を追跡する追跡処理を行いつつ、前記追跡処理の結果に応じてカメラ１Ａが追尾対象１０を追尾するように、カメラ１Ａのパン、チルト及びズームを制御する（図２（ｂ））。このとき、画像処理装置２Ａは、前記追跡処理に関連して得られる追尾対象１０に関する情報（例えば、追尾対象１０の領域）に基づいて、前記追跡処理においては用いられない追尾対象１０の特徴量（例えば、ヒストグラム）を得て、保存しておく。カメラ１Ａの画像処理装置２Ａは、前記追跡処理において追尾対象１０を追尾対象が物陰に隠れるなどして追尾対象１０を見失うと、それまでに得た前記特徴量を用いて、カメラ１Ａの撮像画像に基づいて追尾対象１０を探索し、その探索結果として追尾対象１０を検出することで、カメラ１Ａに追尾対象１０を再度捕捉させる

やがて、追尾対象１０は、カメラ１Ａの撮像可能範囲の境界付近に移動するかあるいはカメラ１Ａの撮像可能範囲を逸脱する（図２（ｃ））。このとき、カメラ１Ａの画像処理装置２Ａは、追尾対象１０の移動先（移動先は、前記追跡処理により得られる追尾対象１０の移動履歴から予測し得る。）と予測される隣のカメラ１Ｂの画像処理装置２Ｂ（カメラ１Ｂに接続された画像処理装置２Ｂ）に、追尾対象１０の追尾を受け渡す旨の指令である連動指令を、通信網４を介して送出する。また、カメラ１Ａの画像処理装置２Ａは、この連動指令と共に、追尾対象１０の前記特徴量を、例えば追尾対象１０の移動履歴と一緒に、カメラ１Ｂの画像処理装置２Ｂに送出する。なお、移動履歴は必ずしもカメラ１Ａの画像処理装置２Ａからカメラ１Ｂの画像処理装置２Ｂへ送出する必要はないが、後述する探索を効率良く行うためには、移動履歴も送出することが好ましい。

前記連動指令を受けたカメラ１Ｂの画像処理装置２Ｂは、カメラ１Ａの画像処理装置２Ａから前記連動指令と一緒に受けた前記特徴量を用いて、カメラ１Ｂの撮像画像に基づいて追尾対象１０を探索する。このとき、カメラ１Ｂの画像処理装置２Ｂは、カメラ１Ａの画像処理装置２Ａから受けた移動履歴から、カメラ１Ｂの撮像可能範囲内に到達する時点及び位置を予測し、この予測された時点及び位置を用いて追尾対象１０を探索することで、追尾対象１０の探索を効率良く行うことができる。もっとも、探索の効率は低下するが、前記移動履歴を受けることなく前記探索を行うことも可能である。なお、探索時には、必要に応じて、カメラ１Ｂのパン、チルト及びズームを制御する。

この探索の結果、カメラ１Ｂの画像処理装置２Ｂが追尾対象１０を発見（検出）することで、カメラ１Ｂにより追尾対象１０が捕捉される。そして、カメラ１Ｂの画像処理装置２Ｂは、カメラ１Ａにより追尾対象１０が捕捉された場合の画像処理装置２Ａと同様に動作し、カメラ１Ｂによる追尾対象１０の追尾が継続される（図２（ｄ））。

次に、本実施の形態による自動追尾システムの動作について、図３及び図４を参照してより具体的に説明する。図３及び図４はそれぞれ、本実施の形態による自動追尾システムの各動作例を示すシーケンス図である。

まず、図３に示す動作例について説明する。図３は、追尾対象１０が、カメラ１Ａの撮像可能範囲からカメラ１Ｂの撮像可能範囲を経て、カメラ１Ｃの撮像可能範囲へ移動する場合の動作例を示している。

図３に示す動作例では、プリセットされたパン、チルト及びズームの状態で監視（撮像）している（Ｓ−Ａ１）カメラ１Ａの撮像エリア内に追尾対象１０が入り、監視者が上位局装置３によってカメラ１Ａの画像に対して追尾対象１０を指定するか、あるいは、カメラ１Ａの画像処理装置２Ａが自動的に追尾対象１０を検知する（Ｓ−Ａ２）ものとしている。

すると、カメラ１Ａに接続された画像処理装置２Ａは、カメラ１Ａの撮像画像に基づいて追尾対象１０を追跡する追跡処理を行いつつ、前記追跡処理の結果に応じてカメラ１Ａが追尾対象１０を追尾するように、カメラ１Ａのパン、チルト及びズームを制御する（Ｓ−Ａ３）。このとき、画像処理装置２Ａは、前記追跡処理に関連して得られる追尾対象１０に関する情報（例えば、追尾対象１０の領域）に基づいて、前記追跡処理においては用いられない追尾対象１０の特徴量（例えば、ヒストグラム）を得て、保存しておく。カメラ１Ａの画像処理装置２Ａは、前記追跡処理において追尾対象１０を追尾対象が物陰に隠れるなどして追尾対象１０を見失うと、それまでに得た前記特徴量を用いて、カメラ１Ａの撮像画像に基づいて追尾対象１０を探索し、その探索結果として追尾対象１０を検出することで、カメラ１Ａに追尾対象１０を再度捕捉させる（Ｓ−Ａ３）。

カメラ１Ａの画像処理装置２Ａは、前記追跡処理を開始すると同時に、隣のカメラ１Ｂの画像処理装置２Ｂに、カメラ１Ａの撮像可能範囲内に追尾対象１０が存在する旨の待機指令を送出する。カメラ１Ｂの画像処理装置２Ｂは、この待機指令を受けると、カメラ１Ｂの姿勢を、プリセット状態（Ｓ−Ｂ１）からカメラ１Ａの方向に向けさせて（Ｓ−Ｂ２）、カメラ１Ｂをその状態で待機させる（Ｓ−Ｂ３）。

追尾対象１０が、カメラ１Ａの撮像可能範囲の境界付近に移動するかあるいはカメラ１Ａの撮像可能範囲を逸脱すると、カメラ１Ａの画像処理装置２Ａは、追尾対象１０の移動先と予測される隣のカメラ１Ｂの画像処理装置２Ｂに、追尾対象１０の追尾を受け渡す旨の指令である連動指令を、通信網４を介して送出する（Ｓ−Ａ４）。また、カメラ１Ａの画像処理装置２Ａは、この連動指令と共に、追尾対象１０の前記特徴量を、例えば追尾対象１０の移動履歴と一緒に、カメラ１Ｂの画像処理装置２Ｂに送出する（Ｓ−Ａ４）。カメラ１Ａの画像処理装置２Ａは、連動指令、特徴量及び移動履歴を送信した後、カメラ１Ａを、連動指令を送出した状態のパン、チルト及びズームで待機させる（Ｓ−Ａ５）。

カメラ１Ａの画像処理装置２Ａからの連動指令を受けたカメラ１Ｂの画像処理装置２Ｂは、カメラ１Ａの画像処理装置２Ａから前記連動指令と一緒に受けた前記特徴量を用いて、カメラ１Ｂの撮像画像に基づいて追尾対象１０を探索する。このとき、カメラ１Ｂの画像処理装置２Ｂは、カメラ１Ａの画像処理装置２Ａから受けた移動履歴から、カメラ１Ｂの撮像可能範囲内に到達する位置を予測し、カメラ１Ｂの姿勢を補正してカメラ１Ｂを前記予測された位置に向ける（Ｓ−Ｂ４）。このとき、カメラ１Ｂのズームは、カメラ１Ｂが撮像するエリアを広めになるようにしておく。

同時に、カメラ１Ｂの画像処理装置２Ｂは、カメラ１Ａとは別の隣のカメラ（ここでは、カメラ１Ｃ）の画像処理装置２Ｃに対して、Ｓ−Ａ２からＳ−Ｂ２への待機指令と同様の待機指令を送信する。カメラ１Ｃの画像処理装置２Ｃ（カメラ１Ｃに接続された画像処理装置２Ｃ）は、この待機指令を受けると、カメラ１Ｂの姿勢を、プリセット状態（Ｓ−Ｃ１）からカメラ１Ｂの方向に向けさせて（Ｓ−Ｃ２）、カメラ１Ｃをその状態で待機させる（Ｓ−Ｃ３）。

カメラ１Ｂの画像処理装置２Ｂは、カメラ１Ｂの姿勢を補正させた（Ｓ−Ｂ４）後、カメラ１Ａの画像処理装置２Ａから受けた前記特徴量を用いて、カメラ１Ｂの撮像画像に基づいて追尾対象１０を探索する（Ｓ−Ｂ５）。このとき、カメラ１Ｂの画像処理装置２Ｂは、カメラ１Ａの画像処理装置２Ａから受けた移動履歴から、カメラ１Ｂの撮像可能範囲内に到達する時点及び位置を予測し、この予測された時点及び位置を用いて追尾対象１０を探索することで、追尾対象１０の探索を効率良く行うことができる。なお、探索時には、必要に応じて、カメラ１Ｂのパン、チルト及びズームを制御する。

この探索の結果、カメラ１Ｂの画像処理装置２Ｂが追尾対象１０を発見（検出）することで、カメラ１Ｂにより追尾対象１０が捕捉される。そして、カメラ１Ｂの画像処理装置２Ｂは、カメラ１Ａにより追尾対象１０が捕捉された場合の画像処理装置２Ａの動作（Ｓ−Ａ３）と同様の追跡・探索処理を行う（Ｓ−Ｂ６）。

追尾対象１０が、カメラ１Ｂの撮像可能範囲の境界付近に移動するかあるいはカメラ１Ｂの撮像可能範囲を逸脱すると、カメラ１Ｂの画像処理装置２Ｂは、追尾対象１０の移動先と予測される隣のカメラ１Ｃの画像処理装置２Ｃに、追尾対象１０の追尾を受け渡す旨の指令である連動指令を、通信網４を介して送出する（Ｓ−Ｂ７）。また、カメラ１Ｂの画像処理装置２Ｂは、この連動指令と共に、追尾対象１０の特徴量を、例えば追尾対象１０の移動履歴と一緒に、カメラ１Ｃの画像処理装置２Ｃに送出する（Ｓ−Ｂ７）。カメラ１Ｂの画像処理装置２Ｂは、カメラ１Ｃの画像処理装置２Ｃに連動指令、特徴量及び移動履歴を送信した後、追尾対象１０の進行方向とは逆にあるカメラ１Ａの画像処理装置２Ａに復旧指令を送信し、カメラ１Ａの画像処理装置２Ａは、この復旧指令を受けるとカメラ１Ａをプリセット状態に戻す（Ｓ−Ａ６）。また、カメラ１Ｂの画像処理装置２Ｂは、カメラ１Ｂを、連動指令を送出した状態のパン、チルト及びズームで待機させる（Ｓ−Ｂ８）。

以後、カメラＣの動作の流れは、Ｓ−Ｂ４以降と同一であり（Ｓ−Ｃ４〜Ｓ−Ｃ６）、本実施の形態による自動追尾システムでは、カメラ１Ａ，１Ｂ，１Ｃの全体の撮像可能範囲内から消滅するまで処理が継続される。消滅した場合は、プリセット状態（Ｓ−Ａ１、Ｓ−Ｂ１、Ｓ−Ｃ１）に戻る。

次に、図４に示す動作例について説明する。図４は、追尾対象１０が、カメラ１Ａの撮像可能範囲から一旦カメラ１Ｂの撮像可能範囲へ入った後に、カメラ１Ｃの撮像可能範囲へ入ることなくカメラ１Ａの撮像可能範囲へ戻る場合の動作例を示している。

図４中のＳ−Ａ１１〜Ｓ−Ａ１５、Ｓ−Ｂ１１〜Ｓ−Ｂ１６、Ｓ−Ｃ１１〜Ｓ−Ｃ１３の処理は、図３中のＳ−Ａ１〜Ｓ−Ａ５、Ｓ−Ｂ１〜Ｓ−Ｂ６、Ｓ−Ｃ１〜Ｓ−Ｃ３の処理とそれぞれ同一であるため、ここではその説明は省略する。

Ｓ−Ｂ１６の追跡・探索処理の後、追尾対象１０が、カメラ１Ｂの撮像可能範囲の境界付近に移動するかあるいはカメラ１Ｂの撮像可能範囲を逸脱すると、カメラ１Ｂの画像処理装置２Ｂは、追尾対象１０の移動先と予測される隣のカメラ１Ａの画像処理装置２Ａに、追尾対象１０の追尾を受け渡す旨の指令である連動指令を、通信網４を介して送出する（Ｓ−Ｂ１７）。また、カメラ１Ｂの画像処理装置２Ｂは、この連動指令と共に、追尾対象１０の特徴量を、例えば追尾対象１０の移動履歴と一緒に、カメラ１Ａの画像処理装置２Ａに送出する（Ｓ−Ｂ１７）。カメラ１Ｂの画像処理装置２Ｂは、カメラ１Ａの画像処理装置２Ａに連動指令、特徴量及び移動履歴を送信した後、追尾対象１０の進行方向とは逆にあるカメラ１Ｃの画像処理装置２Ｃに復旧指令を送信し、カメラ１Ｃの画像処理装置２Ｃは、この復旧指令を受けるとカメラ１Ｃをプリセット状態に戻す（Ｓ−Ｃ１４）。また、カメラ１Ｂの画像処理装置２Ｂは、カメラ１Ｂを、連動指令を送出した状態のパン、チルト及びズームで待機させる（Ｓ−Ｂ１８）。

カメラ１Ｂの画像処理装置２Ｂから連動指令、特徴量及び移動履歴を受けた後のカメラ１Ａの画像処理装置２Ａの処理（Ｓ−Ａ１６〜Ｓ−Ａ１８）は、これまでの説明と同様の処理となるため、ここではその説明は省略する。

次に、各画像処理装置２Ａ，２Ｂ，２Ｃの動作の概要を、図５を参照して説明する。図５は、先に説明した画像処理装置２Ａ，２Ｂ，２Ｃのうちの１つの画像処理装置の主たる動作状態を概略的に示す状態遷移図である。これまで説明してきた各画像処理装置２Ａ，２Ｂ，２Ｃの動作状態は、大雑把に分けると、図５に示すように、「待機」、「検索」及び「追跡」の３つの状態があるものを考えられる。

画像処理装置２Ａ，２Ｂ，２Ｃはいずれも同じ動作を行うので、以下の説明では、カメラ１Ａ，１Ｂ，１Ｃのうちの１つのカメラを自カメラ、画像処理装置２Ａ，２Ｂ，２Ｃのうち自カメラに接続された画像処理装置を自カメラの画像処理装置という。

まず、自カメラが、追尾対象１０が指定又は初期的に検知されるカメラ（例えば、図３に示す例におけるカメラ１Ａに相当）である場合の、自カメラの画像処理装置の動作について、説明する。

自カメラの画像処理装置は、自カメラに関して追尾対象１０が指定又は初期的に検知されていない場合は、自カメラをプリセット状態で「待機」させる（［１］）。

自カメラの画像処理装置は、自カメラが撮像しているエリア内で追尾対象１０が指定又は初期的に検知される（［２］）と、以後、指定又は検知された追尾対象１０を「追跡」する（［３］）。

自カメラの画像処理装置は、画像処理による追跡の結果、追尾対象１０の進行方向に応じて自カメラのパン及びチルトを制御する（［３］）。また、自カメラの画像処理装置は、必要に応じて、自カメラのズームも制御する。「追跡」では、画像処理による追跡処理に関連して得られる追尾対象１０に関する情報（例えば、追尾対象１０の領域）に基づいて、前記追跡処理においては用いられない追尾対象１０の特徴量（例えば、ヒストグラム）を得て、保存しておく。

自カメラの画像処理装置は、追跡の途中で追尾対象１０を見失った場合、「追跡」から「探索」に切り替える（［４］）。ただし、「追跡」の結果、追尾対象１０が移動によって自カメラの撮像可能範囲を逸脱したと判断できる場合は、自カメラの画像処理装置は、移動先と予測される隣のカメラに、連動指令、並びに、追尾対象１０の特徴量及び移動履歴を送信し（［８］）、「待機」へ移る。

自カメラの画像処理装置は、「探索」では、「追跡」で得られた追尾対象１０の特徴量及び移動履歴から、自カメラの撮像画像に基づいて追尾対象１０を探索する（［５］）。

自カメラの画像処理装置は、「探索」で追尾対象１０が発見（検出）された場合は、追尾対象１０の位置に合わせて、自カメラのパン、チルト及びズームを制御し、「追跡」に戻る（［６］）。

自カメラの画像処理装置は、一定時間「探索」をしても追尾対象１０が発見されたなかった場合は、「探索」を失敗したと判断し、「待機」に戻る（［７］）。

自カメラの画像処理装置は、「追跡」の結果、追尾対象１０が自カメラの撮像可能範囲の境界付近に移動するか、あるいは、追尾対象１０が自カメラの撮像可能範囲を逸脱した（追尾対象１０が移動によって自カメラの撮像可能範囲を逸脱した）と判断できる場合は、自カメラの画像処理装置は、移動先と予測される隣のカメラに、連動指令、並びに、「追跡」で得られた追尾対象１０の特徴量及び移動履歴を送信し（［８］）、「待機」へ移る。

次に、自カメラが、その画像処理装置が隣のカメラから連動指令を受けるカメラ（例えば、図３に示す例におけるカメラ１Ｂに相当）である場合の、自カメラの画像処理装置の動作について、説明する。

自カメラの画像処理装置は、自カメラに関して追尾対象１０が指定又は初期的に検知されていない場合は、自カメラをプリセット状態で「待機」させる（［１］）。ただし、隣のカメラで追尾対象１０の「追跡」又は「探索」がなされている場合は、自カメラの画像処理装置は、自カメラを当該隣のカメラの方向に向けて（パン、チルト及びズームを制御して）「待機」させる。

自カメラの画像処理装置は、隣のカメラから連動指令を受けると、自カメラの画像処理装置は、連動指令と一緒に受けた追尾対象１０の特徴量及び移動履歴を基に「探索」に移る（［９］）。

自カメラの画像処理装置は、「探索」で追尾対象１０が発見（検出）された場合は、追尾対象１０の位置に合わせて、自カメラのパン、チルト及びズームを制御し、「追跡」に移る（［６］）。

自カメラの画像処理装置は、「追跡」の結果得られる追尾対象１０の進行方向に応じて、自カメラのパン及びチルトを制御する（［３］）。また、自カメラの画像処理装置は、必要に応じて、自カメラのズームも制御する。「追跡」では、画像処理による追跡処理に関連して得られる追尾対象１０に関する情報（例えば、追尾対象１０の領域）に基づいて、前記追跡処理においては用いられない追尾対象１０の特徴量（例えば、ヒストグラム）を得て、保存しておく。

自カメラの画像処理装置は、追跡の途中で追尾対象１０を見失った場合、「追跡」から「探索」に切り替える（［４］）。ただし、「追跡」の結果、追尾対象１０が移動によって自カメラの撮像可能範囲を逸脱したと判断できる場合は、自カメラの画像処理装置は、移動先と予測される隣のカメラに、連動指令、並びに、追尾対象１０の特徴量及び移動履歴を送信し（［８］）、「待機」へ移る。

自カメラの画像処理装置は、一定時間「探索」をしても追尾対象１０が発見されたなかった場合は、「探索」を失敗したと判断し、「待機」に戻る（［７］）。

自カメラの画像処理装置は、追跡の途中で追尾対象１０を見失った後の「探索」では、「追跡」でそれまでに得られた追尾対象１０の特徴量及び移動履歴から、自カメラの撮像画像に基づいて追尾対象１０を探索する（［５］）。

自カメラの画像処理装置は、追跡の途中で追尾対象１０を見失った後の「探索」で追尾対象１０が発見（検出）された場合にも、追尾対象１０の位置に合わせて、自カメラのパン、チルト及びズームを制御し、「追跡」に移る（［６］）。

自カメラの画像処理装置は、「追跡」の結果、追尾対象１０が自カメラの撮像可能範囲の境界付近に移動するか、あるいは、追尾対象１０が自カメラの撮像可能範囲を逸脱した（追尾対象１０が移動によって自カメラの撮像可能範囲を逸脱した）と判断できる場合は、自カメラの画像処理装置は、移動先と予測される隣のカメラに、連動指令、並びに、「追跡」で得られた追尾対象１０の特徴量及び移動履歴を送信し（［８］）、「待機」へ移る。

以上、本実施の形態による自動追尾システムの動作の概略について、説明した。以下、前述した動作を実現する各画像処理装置２Ａ，２Ｂ，２Ｃのより一層具体的な動作の一例について、図６乃至図９を参照して説明する。図６は、画像処理装置２Ａ，２Ｂ，２Ｃのうちの１つの画像処理装置の動作の一例を示す概略フローチャートである。図７は、図６中の追尾対象検知処理（ステップＳ３）を詳細に示すフローチャートである。図８は、図６中の追跡動作（ステップＳ５）を詳細に示すフローチャートである。図９は、図６中の探索動作（ステップＳ１８）を詳細に示すフローチャートである。

画像処理装置２Ａ，２Ｂ，２Ｃはいずれも同じ動作を行うので、以下の説明では、カメラ１Ａ，１Ｂ，１Ｃのうちの１つのカメラを自カメラ、画像処理装置２Ａ，２Ｂ，２Ｃのうち自カメラに接続された画像処理装置を自カメラの画像処理装置という。

図６に示すように、自カメラの画像処理装置は、動作を開始すると、まず、自カメラをプリセット状態にする（ステップＳ１）。すなわち、自カメラの画像処理装置は、自カメラのパン、チルト及びズームを予め定められたパン、チルト及びズームにする。

次に、自カメラの画像処理装置は、監視者によって上位局装置３により自カメラの撮像画像に関して追尾対象１０が指定されたか否かを判定する（ステップＳ２）。指定されていればステップＳ５へ移行し、指定されていなければ、追尾対象検知処理を行う（ステップＳ３）。

ここで、図７を参照して、追尾対象検知処理（ステップＳ３）の一例について説明する。なお、図６中の追尾対象検知処理（ステップＳ３）は、図７に示す例に限定されるものではない。

追尾対象検知処理（ステップＳ３）を開始すると、図７に示すように、自カメラの画像処理装置は、まず、自カメラが撮像した２枚の連続する画像をサンプリングし（ステップＳ３１，Ｓ３２）、それらの画像の差分画像（フレーム間差分画像）を生成する（ステップＳ３３）。

次いで、自カメラの画像処理装置は、ステップＳ３３で生成した差分画像を２値化する（ステップＳ３４）。この２値化に用いる閾値は、固定閾値でもよいし、判別分析法に大豊されるような可変閾値でもよい。

引き続いて、自カメラの画像処理装置は、ステップＳ３４で２値化された画像をラベリングする（ステップＳ３５）。そして、自カメラの画像処理装置は、ラベリングされたものがあるか否かを判定し（ステップＳ３６）、ラベリングされたものがなければステップＳ４２へ移行する一方、ラベリングされたものがあれば、ステップＳ３７へ移行する。

ステップＳ３７において、自カメラの画像処理装置は、ラベリングされたもの全てについてそれぞれ特徴量を取得する（ステップＳ３７，Ｓ３８）。ここでいう特徴量は、例えば面積や円形度など、追尾対象１０を正確に検出するために必要ものである。

その後、自カメラの画像処理装置は、ステップＳ３７で取得した全てのラベルの特徴量から、追尾対象１０の候補となるものが存在するか否かを判定する（ステップＳ３９）。存在しなければステップＳ４２へ移行する一方、存在すればステップＳ４０へ移行する。

ステップＳ４０において、自カメラの画像処理装置は、追尾対象１０の候補のうちから追尾対象１０を決定する。このとき、追尾対象１０の候補が１つであればそれを追尾対象１０として決定し、追尾対象１０の候補が複数存在すれば、所定の判断基準によって１つに絞り込んで、それを追尾対象１０として決定する。

ステップＳ４１の後に、自カメラの画像処理装置は、追尾対象１０が検知されたか否かを示す追尾対象検知フラグを１（１は、追尾対象１０が検知されたこと示す。）にセットし（ステップＳ４１）、追尾対象検知処理（ステップＳ３）を終了して、図６中のステップＳ４へ移行する。

ステップＳ４２において、自カメラの画像処理装置は、追尾対象検知フラグを０（０は、追尾対象１０が検知されなかったこと示す。）にセットする。その後、追尾対象検知処理（ステップＳ３）を終了して、図６中のステップＳ４へ移行する。

再び図６を参照すると、ステップＳ４において、自カメラの画像処理装置は、ステップＳ３で追尾対象１０が検知されたか否かを判定する。この判定は、前記追尾対象検知フラグが１であるか０であるかによって行う。追尾対象１０が検知された場合は、ステップＳ５へ移行する一方、追尾対象１０が検知されなかった場合は、ステップＳ１１へ移行する。

ここで、図８を参照して、追跡動作（ステップＳ５）の一例について説明する。なお、図６中の追跡動作（ステップＳ５）は、図８に示す例に限定されるものではない。

追跡動作（ステップＳ５）を開始すると、図８に示すように、自カメラの画像処理装置は、まず、自カメラが撮像した画像をサンプリングする（ステップＳ５０）。

次に、自カメラの画像処理装置は、ステップＳ５０でサンプリングされた画像中の追尾対象１０の領域について、その特徴点を抽出する（ステップＳ５１）。ただし、図６中のステップＳ２，Ｓ４，Ｓ１９のいずれかから最初にステップＳ５へ移行してきた場合には、自カメラの画像処理装置は、ステップＳ５１において、対応するステップＳ２，Ｓ４，Ｓ１９で処理対象とされていた画像中の追尾対象１０の領域についても、その特徴点を抽出する。なお、特徴点は、後述するステップＳ５２で追尾対象１０の動きベクトルを算出するために必要なものであり、ステップＳ５２で採用する動きベクトルの算出手法に応じた特徴点を抽出すればよい。なお、ステップＳ５２における動きベクトルの算出手法は何ら限定されるものではない。

次いで、自カメラの画像処理装置は、追尾対象１０の動きベクトルを、全ての特徴点について算出する（ステップＳ５２，Ｓ５３）。次に、自カメラの画像処理装置は、ステップＳ５２，Ｓ５３によって得られた複数の動きベクトルから、追尾対象１０の移動ベクトルを決定する（ステップＳ５４）。引き続いて、自カメラの画像処理装置は、追尾対象１０の移動ベクトルの決定ができたか否かを判定する（ステップＳ５５）。動きベクトルのばらつきが大きいなどの理由により追尾対象１０の移動ベクトルが決定できない場合は、追跡処理失敗と判断し、追跡処理が成功したか否かを示す追跡成功フラグを０（０は、追跡処理が失敗したことを示す。）にセットし、追跡動作（ステップＳ５）を終了して、図６中のステップＳ６へ移行する。

なお、ステップＳ５１〜Ｓ５４が、自カメラにより撮像された画像に基づいて追尾対象１０を追跡する追跡処理に相当している。

ステップＳ５５において移動ベクトルが１つの方向に決定できたと判定されると、自カメラの画像処理装置は、ステップＳ５４で決定された移動ベクトルに基づいて、追尾対象１０に動きが生じたか否かを判定する（ステップＳ５６）。動きが生じていればステップＳ５７へ移行する一方、動きが生じていなければステップＳ５７を経ることなくステップＳ５８へ直接に移行する。

ステップＳ５７において、自カメラの画像処理装置は、ステップＳ５４で決定された移動ベクトルに応じて、それに合った方向及び量だけ自カメラのパン及びチルトを制御する。また、自カメラの画像処理装置は、追尾対象１０の領域の進行方向や大きさの推移からズーム制御が必要であれば、それに応じた制御を自カメラに対して行う。

ステップＳ５８において、自カメラの画像処理装置は、追跡結果を基に、追尾対象１０の領域を更新する。その際、自カメラの画像処理装置は、追尾対象１０の位置とその時刻を追尾対象１０の移動履歴として更新して保存する（ステップＳ５９）とともに、更新された追尾対象１０の領域についてヒストグラムを取得し、追尾対象１０の特徴量としてのヒストグラムを更新する（ステップＳ６０）。このヒストグラムは、白黒の濃淡のヒストグラムでもよいし、カラーの各色の濃淡のヒストグラムでもよい。ステップＳ６０で更新されたヒストグラムやステップＳ５９で得た移動履歴は、ステップＳ５１〜Ｓ５４の追跡処理において用いられるものではなく、後述する図６中の探索動作（ステップＳ１８）において用いられるものである。

ステップＳ６０の後に、自カメラの画像処理装置は、追跡成功フラグを１（１は、追跡処理が成功したことを示す。）にセットし、追跡動作（ステップＳ５）を終了して、図６中のステップＳ６へ移行する。

再び図６を参照すると、ステップＳ６において、自カメラの画像処理装置は、ステップＳ３で追尾対象１０の追跡が成功したか否かを判定する。この判定は、前記追跡成功フラグが１であるか０であるかによって行う。追尾対象１０の追跡が成功した場合はステップＳ７へ移行する一方、追尾対象１０の追跡が成功しなかった場合はステップＳ８へ移行する。

ステップＳ８において、自カメラの画像処理装置は、これまでステップＳ５（特に、図８中のステップＳ５９）で得た追尾対象１０の移動履歴に基づいて、追尾対象１０がその移動により自カメラの撮像可能範囲を逸脱したのか否かを判定する。逸脱したのであればステップＳ９へ移行する一方、逸脱したのでなければ、追跡処理中に追尾対象１０が物陰に隠れるなどして追尾対象１０を見失ったと考えられるので、ステップＳ１８へ移行する。

ステップＳ７において、自カメラの画像処理装置は、ステップＳ５（特に、図８中のステップＳ５９）で得た追尾対象１０の現在位置が自カメラの撮像可能範囲の境界付近か否かを判定する。境界付近でなければステップＳ５へ戻る一方、境界付近であればステップＳ９へ移行する。

ステップＳ９において、自カメラの画像処理装置は、追尾対象１０の移動先と予測される隣のカメラの画像処理装置に、連動指令を、ステップＳ５で得た追尾対象１０の移動履歴及び特徴量（本例では、ヒストグラム）と一緒に送出する。

その後、自カメラの画像処理装置は、自カメラと隣り合うカメラの画像処理装置うち、ステップＳ９で連動指令を送出したカメラの画像処理装置以外の画像処理装置に、復旧指令を送出し（ステップＳ１０）、ステップＳ１３へ移行する。

ステップＳ１１において、自カメラの画像処理装置は、隣のカメラから待機指令を受けたか否かを判定する。待機指令を受けた場合はステップＳ１２へ移行する一方、待機指令を受けていない場合はステップＳ１へ戻る。

ステップＳ１２において、自カメラの画像処理装置は、自カメラの姿勢を変更させて自カメラをその待機指令を送ってきた画像処理装置のカメラの方向に向かせる。その後、ステップＳ１３へ移行する。

ステップＳ１３において、自カメラの画像処理装置は、自カメラに現在の姿勢を保ったままにさせ、自カメラを待機させる。これは、隣のカメラで何らかの動きがあるためである。

ステップＳ１３の後、自カメラの画像処理装置は、隣のカメラの画像処理装置から復旧指令を受けたか否かを判定する（ステップＳ１４）。復旧指令を受けた場合はステップＳ１へ戻る一方、復旧指令を受けていない場合はステップＳ１５へ移行する。

ステップＳ１５において、自カメラの画像処理装置は、隣のカメラの画像処理装置から連動指令を受けたか否かを判定する。連動指令を受けた場合（この場合、隣のカメラの画像処理装置から追尾対象１０の移動履歴及び特徴量（本例では、ヒストグラム）も受けている。）は、ステップＳ１６へ移行する一方、連動指令をうけていない場合はステップＳ１３へ戻る。

ステップＳ１６において、自カメラの画像処理装置は、隣のカメラの画像処理装置から連動指令と一緒に送られてきた追尾対象１０の移動履歴に基づいて、自カメラの撮像可能範囲内に到達する位置を予測し、自カメラの姿勢を補正して自カメラを前記予測された位置に向ける（ステップＳ１６）。このとき、自カメラの画像処理装置は、自カメラのズームを、自カメラが撮像するエリアが広めになるようにしておく。

ステップＳ１６の後に、自カメラの画像処理装置は、自カメラと隣り合うカメラの画像処理装置うち、連動指令を送ってきた隣のカメラの画像処理装置以外の画像処理装置に、待機指令を送出し（ステップＳ１７）、ステップＳ１８へ移行する。

ここで、図９を参照して、図６中の探索動作（ステップＳ１８）の一例について説明する。なお、図６中の探索動作（ステップＳ１８）は、図９に示す例に限定されるものではない。

探索動作（ステップＳ１８）では、ステップＳ１５でＹｅｓと判定されて行われる動作（隣のカメラの画像処理装置から連動指令を受けた場合に行われる動作）と、ステップＳ８でＮｏと判定されて行われる動作（自カメラに関する追跡処理中に追尾対象１０を見失った場合に行われる動作）とは、異なっている。

両者の動作を切り分けるため、探索動作（ステップＳ１８）を開始すると、図９に示すように、自カメラの画像処理装置は、まず、隣のカメラの画像処理装置から連動指令を受けた場合であるかそれとも自カメラに関する追跡処理中に追尾対象１０を見失った場合かを判定する（ステップＳ７１）。隣のカメラの画像処理装置から連動指令を受けた場合は、ステップＳ７２へ移行する一方、自カメラに関する追跡処理中に追尾対象１０を見失った場合は、ステップＳ９０へ移行する。

ステップＳ７２において、自カメラの画像処理装置は、隣のカメラの画像処理装置から連動指令と一緒に受けた追尾対象１０の移動履歴に基づいて、追尾対象１０が自カメラの撮像可能範囲に到達する時刻や位置を予測する。

次に、自カメラの画像処理装置は、ステップＳ７２の予測結果に合わせて、自カメラのパン、チルト及びズームを制御する（ステップＳ７３）。

次いで、ステップＳ７２の予測結果から、自カメラの撮像可能範囲に到達すると予測される時刻（到達予測時刻）の頃になったか否かを判定し（ステップＳ７４）、到達予測時刻頃になるまで待つ。

到達時刻頃になると、自カメラの画像処理装置は、自カメラが撮像した２枚の連続する画像をサンプリングし（ステップＳ７５，Ｓ７６）、それらの画像の差分画像（フレーム間差分画像）を生成する（ステップＳ７７）。

次いで、自カメラの画像処理装置は、ステップＳ７７で生成した差分画像を２値化する（ステップＳ７８）。この２値化に用いる閾値は、固定閾値でもよいし、判別分析法に大豊されるような可変閾値でもよい。

引き続いて、自カメラの画像処理装置は、ステップＳ７８で２値化された画像をラベリングする（ステップＳ７９）。そして、自カメラの画像処理装置は、ラベリングされたものがあるか否かを判定し（ステップＳ８０）、ラベリングされたものがなければステップＳ８８へ移行する一方、ラベリングされたものがあれば、ステップＳ８１へ移行する。

ステップＳ８１において、自カメラの画像処理装置は、ラベリングされた領域について、ヒストグラムを生成する。ただし、ヒストグラムは度数で表さず、各階級の度数を全階級の度数の総和で割り算をし、合計が１となるように正規化する。この点は、前述した図８中のステップＳ６０で取得及び更新したヒストグラムについても同様である。ステップＳ８１で生成するヒストグラムは、白黒の濃淡のヒストグラムでもよいし、カラーの各色の濃淡のヒストグラムでもよいが、隣のカメラの画像処理装置が図８中のステップＳ６０で取得及び更新したヒストグラムに合わせる。その後、自カメラの画像処理装置は、ステップＳ８１で得たヒストグラム（正規化されたヒストグラム）と隣のカメラの画像処理装置から連動指令と一緒に送られてきたヒストグラム（正規化されたヒストグラム）との、マッチングを行う（ステップＳ８２）。

自カメラの画像処理装置は、ステップＳ８１，Ｓ８２の処理をステップＳ７９でラベリングされた全ての領域について、行う（ステップＳ８３）。

その後、自カメラの画像処理装置は、マッチングの結果に従って、ステップＳ７９でラベリングされた全ての領域のうち、追尾対象１０の候補となるものが存在するか否かを判定する（ステップＳ８４）。存在しなければステップＳ８８へ移行する一方、存在すればステップＳ８５へ移行する。

ステップＳ８５において、自カメラの画像処理装置は、追尾対象１０の候補のうちから追尾対象１０を決定する。このとき、追尾対象１０の候補が１つであればそれを追尾対象１０として決定し、追尾対象１０の候補が複数存在すれば、所定の判断基準によって１つに絞り込んで、それを追尾対象１０として決定する。ここで決定された追尾対象１０が、探索の結果発見された追尾対象１０である。

ステップＳ８５の後、自カメラの画像処理装置は、ステップＳ８５で決定された追尾対象１０の位置情報等を取得し、それに合わせて、自カメラのパン、チルト及びズームを制御する（ステップＳ８６）。

次いで、自カメラの画像処理装置は、探索により追尾対象１０が発見（検出）されたか否かを示す発見フラグを１（１は、追尾対象１０が発見されたこと示す。）にセットする。その後、探索動作（ステップＳ１８）を終了して、図６中のステップＳ１９へ移行する。

ステップＳ７５〜Ｓ８４の探索の結果、追尾対象１０を発見できなかった場合は、ステップＳ８８へ移行することになる。ステップＳ８８において、自カメラの画像処理装置は、ステップＳ７２で得た予測到達時刻から予め設定した時間を経過してしまったか否かを判定する。予め設定した時間を経過していなければ、未だ追尾対象１０が自カメラの撮像可能範囲内に到達していない可能性があると判断し、ステップＳ７５へ戻る。一方、予め設定した時間を経過してしまっている場合は、探索処理が失敗したと判断し、自カメラの画像処理装置は、発見フラグを０（０は、追尾対象１０が発見されなかったこと示す。）にセットした（ステップＳ８９）後、探索動作（ステップＳ１８）を終了して、図６中のステップＳ１９へ移行する。

自カメラに関する追跡処理中に追尾対象１０を見失った場合、ステップＳ９０において、自カメラの画像処理装置は、自カメラのズームを、追跡処理において追尾対象１０を見失う直前よりもズームアウトさせる。これは、追尾対象１０を一旦見失うと、どこに追尾対象１０が移動してしまったか不明であるためである。ズームアウトさせずに例えば自カメラのパン及びチルトを順次スキャンさせることで、追尾対象１０を探索することも可能であるが、ズームアウトさせた方がより迅速に追尾対象１０を探索し得る。

次に、自カメラの画像処理装置は、自カメラが撮像した画像をサンプリングする（ステップＳ９１）。

次いで、自カメラの画像処理装置は、ステップＳ９１でサンプリングされた画像の全体を探索すべき範囲として、ステップＳ９３，Ｓ９４の処理対象とする当該範囲内をカバーする複数の探索領域のうち、１つの探索領域を決定する（ステップＳ９２）。このステップＳ９２が、ステップＳ９５でＮｏとされて順次繰り返されることによって、前記複数の探索領域が順次１つずつ決定されていくことになる。なお、探索すべき範囲は必ずしもステップＳ９１でサンプリングされた画像の全体である必要はなく、処理時間を考慮して、当該画像の一部の領域としてもよい。この場合、当該画像における探索すべき範囲は、例えば、これまでの追跡処理中に取得していた追尾対象１０の移動履歴等に基づいて、追尾対象１０を見失った位置付近の範囲にしてもよい。

次に、自カメラの画像処理装置は、ステップＳ９２で決定された領域について、ヒストグラムを生成する（ステップＳ９３）。ただし、ヒストグラムは度数で表さず、各階級の度数を全階級の度数の総和で割り算をし、合計が１となるように正規化する。ステップＳ９３で生成するヒストグラムは、白黒の濃淡のヒストグラムでもよいし、カラーの各色の濃淡のヒストグラムでもよいが、図８中のステップＳ６０で取得及び更新したヒストグラムに合わせる。その後、自カメラの画像処理装置は、ステップＳ９３で得たヒストグラム（正規化されたヒストグラム）と、自カメラの画像処理装置がこれまでに図８中のステップＳ６０で取得及び更新したヒストグラム（正規化されたヒストグラム）との、マッチングを行う（ステップＳ９４）。

自カメラの画像処理装置は、ステップＳ９１，Ｓ９２の処理を、前記探索すべき範囲をカバーする前記複数の探索領域の全てについて、行う（ステップＳ９５）。

その後、自カメラの画像処理装置は、マッチングの結果に従って、前記探索すべき範囲をカバーする前記複数の探索領域の全てのうち、追尾対象１０の候補となるものが存在するか否かを判定する（ステップＳ９６）。存在しなければステップＳ９７へ移行する一方、存在すればステップＳ８５へ移行する。

ステップＳ９０〜Ｓ９６の探索の結果、追尾対象１０を発見できなかった場合は、ステップＳ９７へ移行することになる。ステップＳ９７において、自カメラの画像処理装置は、ステップＳ９０の開始から予め設定した時間を経過してしまったか否かを判定する。予め設定した時間を経過していなければ、未だ追尾対象１０が物陰等から出ていない可能性があると判断し、ステップＳ９１へ戻る。一方、予め設定した時間を経過してしまっている場合は、探索処理が失敗したと判断し、自カメラの画像処理装置は、発見フラグを０（０は、追尾対象１０が発見されなかったこと示す。）にセットした（ステップＳ９８）後、探索動作（ステップＳ１８）を終了して、図６中のステップＳ１９へ移行する。

なお、隣のカメラの画像処理装置から連動指令を受けた場合にはステップＳ７５，Ｓ７６で撮像された画像の範囲内のみで探索を行い、自カメラに関する追跡処理中に追尾対象１０を見失った場合にはステップＳ９１で撮像された画像の範囲内でのみ探索を行っているが、いずれの場合も、その範囲内で追尾対象１０を発見し得ない場合には、自カメラのパン及びチルト（必要に応じてズームも）を変えて探索を行うことで、自カメラの撮像可能範囲の全範囲に渡って探索を行うことも可能である。

再び図６を参照すると、ステップＳ１９において、自カメラの画像処理装置は、ステップＳ１８で追尾対象１０が探索により発見（検出）されたか否かを判定する。この判定は、前記発見フラグが１であるか０であるかによって行う。追尾対象１０が発見された場合は、ステップＳ５へ移行する一方、追尾対象１０が発見されなかった場合は、ステップＳ１へ戻る。

本実施の形態による自動追尾システムでは、自カメラによる追跡処理（図８中のステップＳ５１〜Ｓ５４）に関連して得られる追尾対象１０に関する情報（移動ベクトル）に基づいて、前記追跡処理においては用いられない追尾対象１０の特徴量（図８中のステップＳ６０で更新されるヒストグラム）が取得され、この自カメラによる特徴量（ヒストグラム）を用いて隣のカメラにおける追尾対象１０の探索（図９中のステップＳ７２〜Ｓ８５）が行われることで、自カメラから隣のカメラへの追尾対象１０の追尾が受け渡される。したがって、本実施の形態によれば、隣り合うカメラをそれらの撮像可能範囲が部分的に重複するように設置できない場合にも、複数のカメラ１Ａ，１Ｂ，１Ｃを連携させて追尾対象１０を自動追尾して撮像することができる。

また、本実施の形態によれば、前記追跡処理（図８中のステップＳ５１〜Ｓ５４）においては用いられない追尾対象１０の特徴量（図８中のステップＳ６０で更新されるヒストグラム）を取得し、これに基づいて隣のカメラの追尾対象１０の探索（図８中のステップＳ５１〜Ｓ５４）が行われるので、前記追跡処理（図８中のステップＳ５１〜Ｓ５４）における追尾対象１０の検出と前記探索（図９中のステップＳ７２〜Ｓ８５）における追尾対象の検出とを、異なる手法により行うことができる。したがって、それらの手法をそれぞれ別々に設定することができる（本実施の形態では、動きベクトルを用いた手法とヒストグラムマッチングによる手法に設定している）ので、例えば、前記追跡処理では迅速性を重視した手法（本実施の形態では、動きベクトルを用いた手法）を採用する一方、前記探索では検出の確実性を重視した手法（本実施の形態では、ヒストグラムマッチングによる手法）を採用することができ、非常に好ましい。

さらに、本実施の形態では、複数のカメラ１Ａ，１Ｂ，１Ｃに対して画像処理装置２Ａ，２Ｂ，２Ｃが１対１に設けられ、画像処理装置２Ａ，２Ｂ，２Ｃが同じ構成を有しているので、カメラの設置台数を変える場合、それに応じて画像処理装置の数を変えるだけですみ、画像処理装置の構成自体をカメラの設置台数に応じて変更する必要がなくなる。

さらにまた、本実施の形態によれば、自カメラに関する追跡処理中に追尾対象１０を見失った場合、自カメラに関して取得された追尾対象１０の特徴量（図８中のステップＳ６０で更新されるヒストグラム）を用いて、自カメラにより撮像された画像に基づいて追尾対象１０が探索される（ステップＳ９０〜Ｓ９６，Ｓ８５）ので、追尾対象１０が一旦物陰に隠れるなどした後にも追尾対象１０を継続して追尾することができる。

［第２の実施の形態］

図１０は、第２の実施の形態によ自動追尾システムを示す概略構成図であり、図１に対応している。図１０において、図１中の要素と同一又は対応する要素には同一符号を付し、その重複する説明は省略する。

本実施の形態が前記第１の実施の形態と異なる所は、複数のカメラ１Ａ，１Ｂ，１Ｃに対して１対１に設けられた画像処理装置２Ａ，２Ｂ，２Ｃの代わりに、画像処理装置２Ａ，２Ｂ，２Ｃの機能を併せ持った１つの画像処理装置１００が用いられている点のみである。

本実施の形態によっても、前記第１の実施の形態と同様の利点が得られる。

以上、本発明の各実施の形態について説明したが、本発明はこれらの実施の形態に限定されるものではない。

本発明の第１の実施の形態による自動追尾システムを示す概略構成図である。 ２台のカメラによる追尾対象の追尾の様子の例を模式的に示す図である。 本発明の第１の実施の形態による自動追尾システムの動作例を示すシーケンス図である。 本発明の第１の実施の形態による自動追尾システムの他の動作例を示すシーケンス図である。 本発明の第１の実施の形態による自動追尾システムの１つの画像処理装置の主たる動作状態を概略的に示す状態遷移図である。 本発明の第１の実施の形態による自動追尾システムの１つの画像処理装置の動作の一例を示す概略フローチャートである。 図６中の追尾対象検知処理（ステップＳ３）を詳細に示すフローチャートである。 図６中の追跡動作（ステップＳ５）を詳細に示すフローチャートである。 図６中の探索動作（ステップＳ１８）を詳細に示すフローチャートである。 本発明の第２の実施の形態による自動追尾システムを示す概略構成図である。

符号の説明

１Ａ，１Ｂ，１Ｃ カメラ
２Ａ，２Ｂ，２Ｃ 画像処理装置
３ 上位局
４ 通信網

Claims (10)

1. 各々がパン、チルト及びズームの制御が可能な複数のカメラと、
   前記複数のカメラにより撮像された画像を処理して、前記複数のカメラが連携して追尾対象を自動追尾して撮像するように前記複数のカメラを制御する画像処理手段と、
   を備え、
   前記画像処理手段は、前記各カメラに関して、当該カメラが前記追尾対象を捕捉しているときに、当該カメラにより撮像された画像に基づいて前記追尾対象を追跡する追跡処理を行いつつ、前記追跡処理の結果に応じて当該カメラが追尾対象を追尾するように、当該カメラのパン、チルト及びズームを制御し、
   前記画像処理手段は、当該カメラに関して、前記追跡処理に関連して得られる前記追尾対象に関する情報に基づいて、前記追跡処理においては用いられない前記追尾対象の特徴量を取得し、
   前記画像処理手段は、前記追尾対象が当該カメラの撮像可能範囲の境界付近に移動するかあるいは当該撮像可能範囲を逸脱したときに、当該カメラに関して取得された前記特徴量を用いて、前記追尾対象の移動先と予測される当該カメラの隣のカメラにより撮像された画像に基づいて前記追尾対象を探索し、その探索結果として前記追尾対象を検出することで、当該隣のカメラに前記追尾対象を捕捉させる、
   ことを特徴とする自動追尾システム。
2. 前記画像処理手段は、前記複数のカメラに対して１対１に設けられた画像処理装置からなることを特徴とする請求項１記載の自動追尾システム。
3. 前記画像処理手段は、前記複数のカメラに対して共通して設けられ１つの画像処理装置からなることを特徴とする請求項１記載の自動追尾システム。
4. 前記画像処理手段は、前記各カメラに関して、当該カメラにより撮像された画像に基づいて前記追尾対象を検知することで、当該カメラに前記追尾対象を初期的に捕捉させる、ことを特徴とする請求項１乃至３のいずれかに記載の自動追尾システム。
5. 前記複数のカメラにより撮像された画像に基づいて、監視者が前記追尾対象を指定する指定手段を備え、
   前記複数のカメラのうち、前記指定手段により指定された前記追尾対象に応じたカメラに前記追尾対象を初期的に捕捉させる、ことを特徴とする請求項１乃至３のいずれかに記載の自動追尾システム。
6. 前記追跡処理は、動きベクトルを用いて行われることを特徴とする請求項１乃至５のいずれかに記載の自動追尾システム。
7. 前記探索は、前記特徴量のマッチングにより行われることを特徴とする請求項１乃至６のいずれかに記載の自動追尾システム。
8. 前記画像処理手段は、前記追跡処理において前記追尾対象を見失ったときに、当該カメラに関して取得された前記特徴量を用いて、当該カメラにより撮像された画像に基づいて前記追尾対象を探索し、その探索結果として前記追尾対象を検出することで、当該カメラに前記追尾対象を捕捉させる、ことを特徴とする請求項１乃至７のいずれかに記載の自動追尾システム。
9. 前記画像処理手段は、前記追尾対象を見失ったときの前記探索を、当該カメラを前記追尾対象を見失う直前よりもズームアウトさせて行うことを特徴とする請求項８記載の自動追尾システム。
10. 前記特徴量がヒストグラムであることを特徴とする請求項１乃至９のいずれかに記載の自動追尾システム。

Images