JP2007068008A - 自動追尾装置 - Google Patents

Abstract

【課題】 追尾が困難な状況に適応した処理を行って適切な映像が得られる自動追尾装置を提供する。
【解決手段】 追尾対象指定受付部１１は追尾対象の位置の指定を受け付ける。探索処理部１３は追尾対象を映像内で探索する。蓄積モード情報取得部２３は、探索処理の難易度を表すパラメータとして蓄積倍率情報を取得する。動作モード切替部２５は、探索難易度パラメータに応じて追尾モードと非追尾モードを切り替える。移動位置決定部２７は、追尾モードでは、追尾対象を追尾するように撮像装置３の移動位置を決定する。移動位置決定部２７は、非追尾モードでは、追尾は行わず、指定位置が映像内の所定の非追尾モード位置に固定的に映るように撮像装置３の移動位置を決定する。回転台ズーム制御部２９は、決定された移動位置に従って撮像装置３の移動機構を制御する。
【選択図】 図１

Description

本発明は、撮像装置の撮影方向を制御して映像中の追尾対象を追尾することができる自動追尾装置に関する。

従来、監視システムなどのための自動追尾装置が提案されている。自動追尾装置は、画像処理によって人物等の追尾対象を映像から検出し、検出された追尾対象を向くようにパンチルト機構を制御して撮像装置を回動させるように構成されている。

従来の自動追尾装置は、外部からの入力操作によって一のフレーム中の追尾対象の位置を指定し、指定位置を中心とした領域の映像をテンプレートとして登録し、テンプレートと相関する領域を探索する探索範囲を設定し、後に続くフレームの探索範囲の中からテンプレートと最も相関が高い領域を追尾対象として探索する。この探索処理が、連続するフレームのそれぞれに対して行われる。そして、探索結果に基づいて撮像装置のパンチルトズーム機能が制御されて、追尾対象が追尾される。従来の自動追尾装置は例えば特許文献１に開示されている。
特開平１１−１８７３８７号公報（第４−５ページ、図１、図２）

しかしながら、従来の自動追尾装置においては、画像処理による追尾が困難な状況でも無理に追尾を試みてしまい、そのために適切な追尾映像が得られず、さらには、追尾対象が画角から外れてしまうこともあるという問題があった。

例えば、図７に示される蓄積モードを設定可能な撮像装置が従来より知られている。蓄積モードは、夜間等の暗い環境下で明るい映像を得るためのモードである。蓄積モードでは、複数枚のフレームの映像が蓄積されて、一つのフレームの映像が得られる。図７の例では、３枚のフレームが蓄積されて１枚のフレームが得られている。この１枚のフレームが３回表示される。したがって、撮像装置は、３フレームごとに画像が変わる映像信号を出力することになる。蓄積枚数は蓄積倍率といわれ、図７の例では蓄積倍率が３倍である。蓄積モードでは、動く被写体の映像が少しぼけ、動きも粗くなる。そのため、画像処理による特徴抽出が困難になり、誤追尾が生じる可能性が高い。蓄積倍率が大きくなるほど、誤追尾の可能性が高くなる。

図８は、追尾処理が困難になるもう一つの例を示している。図８では、横断歩道が撮影されており、追尾対象が人物である。この例では、多数の歩行者がいて、横断歩道が混雑している。このような混雑した状況では、追尾対象の探索範囲内に多数の類似領域が存在し、そのために誤追尾が生じる可能性が高い。混雑が激しくなるほど、誤追尾の可能性が高くなる。

従来の自動追尾装置においては、上記の例のように映像処理による追尾が困難な状況でも無理に追尾を試みてしまい、そのために適切な追尾映像が得られなくなるという問題がある。さらには、無理な追尾処理を行った結果として本当の追尾対象が画角から外れてしまう可能性もあった。

本発明は、従来の問題を解決するためになされたものであり、その目的は、追尾が困難な状況に適応した処理を行って利便性を向上できる自動追尾装置を提供することにある。

本発明の自動追尾装置は、撮像装置の映像信号を処理して、指定された追尾対象を追尾するように前記撮像装置の撮影方向を制御する。この自動追尾装置は、前記撮像装置の映像信号を入力する入力部と、前記映像信号中の追尾対象の位置の指定を受け付ける追尾対象指定受付部と、指定位置に映った前記追尾対象を前記映像内で探索する探索処理部と、前記探索処理部による探索処理の難易度を表す探索難易度パラメータを取得する探索難易度パラメータ取得部と、前記探索難易度パラメータに応じて追尾モードと非追尾モードを切り替える動作モード切替部と、前記追尾モードでは、前記探索処理部による処理結果に従って前記追尾対象を追尾するように前記撮像装置の移動位置を決定し、前記非追尾モードでは、前記追尾対象指定受付部により受け付けられた前記指定位置が映像内の所定の非追尾モード位置に固定的に映るように前記撮像装置の移動位置を決定する移動位置決定部と、前記移動位置決定部により決定された移動位置に従って前記撮像装置の移動機構を制御する移動制御部とを備えている。

この構成により、自動追尾装置は、追尾対象の探索処理の難易度を表す探索難易度パラメータを取得し、探索難易度パラメータに応じて追尾モードと非追尾モードを切り替える。非追尾モードでは、指定位置が映像内の所定の非追尾モード位置（例えば画面中央）に固定的に映るように撮像装置の移動機構が制御される。したがって、追尾が困難な状況での無理な追尾が回避される。非追尾モードでは、追尾は行わないものの、追尾対象が画角から外れることは避けられ、追尾対象の映像を得ることはできる。このようにして、追尾が困難な状況が生じても非追尾モードを設定して適切な映像を得ることができ、追尾が困難な状況に適応した処理を行うことができ、利便性を向上できる。

本発明の自動追尾装置において、前記探索難易度パラメータ取得部は、前記探索難易度パラメータとして、前記撮像装置における蓄積モードの蓄積倍率情報を取得し、前記動作モード切替部は、前記蓄積倍率が所定しきい倍率以上のときに前記追尾モードを前記非追尾モードに切り替える。この構成により、探索難易度パラメータとして蓄積倍率を利用し、蓄積倍率に基づいて追尾困難な状況を検出でき、非追尾モードを設定して、追尾困難な状況でも適切な映像を得られる。

また、本発明の自動追尾装置において、前記探索難易度パラメータ取得部は、前記探索難易度パラメータとして、前記映像信号を処理して撮影場所の混雑度を検出し、前記動作モード切替部は、前記混雑度が所定しきい混雑度以上のときに前記追尾モードを前記非追尾モードに切り替える。この構成により、探索難易度パラメータとして混雑度を利用し、混雑度に基づいて追尾困難な状況を検出でき、非追尾モードを設定して、追尾困難な状況でも適切な映像を得られる。

また、本発明の自動追尾装置は、前記撮像装置のズーム機能を制御するズーム制御部を有し、前記ズーム制御部は、前記非追尾モードでは、ズーム倍率が所定の非追尾モード倍率になるように前記ズーム機能を制御する。この構成により、非追尾モードでは追尾対象を指定したときの指定位置を含む広い範囲を撮影するように、ズーム機能を制御して画角を広げられる。これにより、追尾を行わない場合でも、より長い時間に渡って追尾対象が撮影範囲内に位置し、より長い時間に渡って追尾対象が映るように図れる。

また、本発明の別態様は、撮像装置の映像信号を処理して、指定された追尾対象を追尾するように前記撮像装置の撮影方向を制御する処理をコンピュータに実行させるプログラムである。このプログラムは、前記映像信号中の追尾対象の位置の指定を受け付ける追尾対象指定受付ステップと、指定位置に映った前記追尾対象を前記映像内で探索する探索処理ステップと、探索処理の難易度を表す探索難易度パラメータを取得する探索難易度パラメータ取得ステップと、前記探索難易度パラメータに応じて追尾モードと非追尾モードを切り替える動作モード切替ステップと、前記追尾モードでは、前記探索処理による処理結果に従って前記追尾対象を追尾するように前記撮像装置の移動位置を決定し、前記非追尾モードでは、前記追尾対象指定受付部により受け付けられた前記指定位置が映像内の所定の非追尾モード位置に固定的に映るように前記撮像装置の移動位置を決定する移動位置決定ステップと、決定された移動位置に従って前記撮像装置の移動機構を制御する移動制御ステップと、を前記コンピュータに実行させる。この構成によっても上述の利点が同様に得られる。

本発明は、上記のように追尾難易度パラメータに応じて追尾モードと非追尾モードを切り替え、非追尾モードでは指定位置が映像内の所定の非追尾モード位置に固定的に映るように撮像装置の移動機構を制御することにより、追尾が困難な状況に適応した処理を行って利便性を向上できるという効果を有する自動追尾装置を提供することができる。

以下、本発明の実施の形態の自動追尾装置について、図面を用いて説明する。

本発明の第１の実施の形態に係る自動追尾装置を図１に示す。本実施の形態の自動追尾装置１は、パンチルトズーム（以下、ＰＴＺという）機能付き撮像装置３で生成された映像信号を処理して、指定された追尾対象を追尾するようにカメラの方向を制御する装置である。

図１において、ＰＴＺ機能付き撮像装置３（以下、単に撮像装置３という）は、パンチルト機構を有する回転台に備えられていて、パン方向およびチルト方向に回動可能である。さらに、撮像装置３は、ズーム機能を備えている。そして、撮像装置３の回動およびズームは自動追尾装置１により制御される。

自動追尾装置１は、画像処理機能を持ったコンピュータで構成されている。自動追尾装置１は、撮像装置３で生成された映像信号を入力する入力部５と、映像信号を記憶する第１画像メモリ７および第２画像メモリ９と、映像信号中の追尾対象の位置の指定を受け付ける追尾対象指定受付部１１と、順次入力されるフレーム映像内で追尾対象を探索する探索処理部１３とを備えている。

入力部５は、撮像装置３の映像信号を入力し、映像信号に対してＡ／Ｄ変換処理を行い、さらに、デジタル映像信号を輝度信号および色差信号に分離する機能を持つ。第１画像メモリ７および第２画像メモリ９は、現在および数フレーム前の映像信号を記憶する。

追尾対象指定受付部１１は、外部から入力された追尾対象（追尾物体）の指定位置を受け付ける。追尾対象の指定（指示）の処理では、第１画像メモリ７の画像がディスプレイに表示される。そして、ポインティングデバイス等の入力装置が操作されて、人物等の追尾対象の位置が指定される。この指定位置の座標データが入力されて、追尾対象指定受付部１１に受け付けられる。

探索処理部１３は、特徴量抽出領域決定部１５、探索範囲決定部１７、テンプレート登録部１９および相関値算出部２１で構成されている。特徴量抽出領域決定部１５は、追尾対象指定受付部１１により受け付けられた追尾対象の指定位置座標周辺の所定の大きさの領域を、特徴量抽出領域として決定する。探索範囲決定部１７は、特徴量抽出領域と同じ特徴量を有する領域を探索する探索範囲を決定する。テンプレート登録部１９は、特徴量抽出領域をテンプレートとして登録する。相関値算出部２１は、テンプレートとマッチングする領域を抽出するために、テンプレートと周囲の領域との相関値を算出する。

ここでは、探索範囲内に候補領域が設定され、候補領域とテンプレートの相関値が求められる。探索範囲内で候補領域が少しずつずらされて、各候補領域の相関値が算出される。相関値が最も大きい候補領域が求められる。その候補領域の相関値（最大値）が所定値以上であれば、その候補領域が追尾対象として特定される。

自動追尾装置１は、さらに、カメラ状態情報信号として蓄積モードの蓄積倍率情報を撮像装置３から取得する蓄積モード情報取得部２３と、蓄積倍率情報に応じて自動追尾装置１の動作モードを追尾モードと非追尾モードの間で切り替える動作モード切替部２５とを備えている。

蓄積モードは、撮像装置３に備えられている機能であり、夜間等の暗い環境下で明るい映像を得るためのモードである。図７の例に示されるように、蓄積モードでは、複数枚のフレームの映像が蓄積されて、一つのフレームの映像が得られる。図７の例では、３枚のフレームが蓄積されて１枚のフレームが得られている。この１枚のフレームが３回表示される。したがって、撮像装置は、３フレームごとに画像が変わる映像信号を出力することになる。蓄積枚数は蓄積倍率といわれる。図７の例では蓄積倍率が３倍である。

蓄積モードでは、複数フレームの信号が蓄積されるので、明るさは増す。その反面、蓄積モードでは、動く被写体の映像がぼけ、動きが段階的で粗くなる。そのため、画像処理による特徴抽出が困難になり、探索処理部１３での探索が困難になり、誤追尾が生じる可能性が高い。蓄積倍率が大きくなるほど、探索の困難さも増す。そこで、本実施の形態では、蓄積倍率が、探索処理部１３による探索処理の難易度を表す探索難易度パラメータとして利用される。

蓄積モードは、撮像装置３にて自動的に設定される。典型的には、画像の輝度レベルが判定され、輝度レベルが所定しきいレベル以下になると蓄積モードが設定される。そして、輝度レベルに応じて蓄積倍率が変更される。輝度レベルが低くなるほど、蓄積倍率が増加する。

蓄積倍率の情報は、カメラ状態情報信号の一つとして、ＲＳ２３２Ｃ用の端子等を介して、撮像装置３から出力可能である。そこで、蓄積モード情報取得部２３は、撮像装置３への状態問合処理によって撮像装置３からカメラ状態情報信号を入力し、これにより蓄積倍率を取得する。このようにして、蓄積モード情報取得部２３は、蓄積倍率情報を取得することにより、探索難易度パラメータ取得部として機能する。

蓄積モード情報取得部２３は、蓄積倍率情報を動作モード切替部２５に提供する。動作モード切替部２５は、探索難易度パラメータである蓄積倍率に応じて追尾モードと非追尾モードを切り替える。追尾モードは、撮像装置３を回動させて追尾を実行するモードであり、非追尾モードは追尾動作を制限するモードである。動作モード切替部２５は、蓄積倍率が所定しきい倍率以上のときに追尾モードを非追尾モードに切り替えて、非追尾モードを設定する。動作モード切替部２５は、蓄積倍率がしきい倍率未満であれば、追尾モードを設定する。

自動追尾装置１は、さらに、移動位置決定部２７、回転台ズーム制御部２９、表示処理部３１および出力部３３を備えている。

移動位置決定部２７は、撮像装置３のパン方向およびチルト方向の移動位置を決定する。移動位置は、動作モードに応じて異なる。追尾モードが設定されているときは、移動位置は、探索処理部１３による処理結果に従って追尾対象を追尾するように決定される。このとき、追尾対象が動いても画面の所定位置（例えば画面中央）に映り続けるようにカメラ移動位置が決定される。

一方、非追尾モードが設定されているときは、追尾対象指定受付部１１により追尾対象を指定するために受け付けられた指定位置座標が映像内の所定の非追尾モード位置に固定的に映るように、移動位置が決定される。本実施の形態では、所定の非追尾モード位置が画面中央（画角中央）である。すなわち、追尾対象を指定した後の追尾対象の動きには無関係に、追尾対象を指定したときの指定位置座標が画角中央へと映るように移動位置が決定される。

また、移動位置決定部２７は、ズーム機能の制御量も決定する。追尾モードでは、追尾対象を含む所定の範囲を撮影できるようにズーム倍率が決定される。このズーム倍率は所定の値でもよい。またズーム倍率は、追尾対象のサイズに応じて変更されてもよい。非追尾モードでは、ズーム倍率が所定の非追尾モード倍率に決定される。非追尾モード倍率は、追尾モードでのズーム倍率よりも小さく設定され、これにより非追尾モードでは追尾モードより広範囲の映像が得られることになる。

例えば、自動追尾装置１が監視システムに設けられており、監視場所が大きな交差点であったとする。このとき、追尾モードのズーム倍率は、追尾対象の人物をクローズアップするために大きく設定される。非追尾モードのズーム倍率は、交差点全体が映るように小さく設定される。

回転台ズーム制御部２９は、撮像装置３の移動制御部およびズーム制御部として機能する。回転台ズーム制御部２９は、撮像装置３に回転台制御信号およびズーム制御信号を送ることによりＰＴＺ機能を制御し、すなわち、回転台のパンチルト機構を制御し、カメラのズーム機能を制御する。移動位置決定部２７で決定された制御量に従って撮像装置３のＰＴＺ機能を制御する。したがって、追尾モードでは、回転台ズーム制御部２９は、移動位置決定部２７の決定に従って追尾対象を追尾するように撮像装置３を回動し、さらに、指定されたズーム倍率で撮影を行わせる。また、非追尾モードでは、回転台ズーム制御部２９は、移動位置決定部２７の決定に従って、追尾対象指定受付部１１が受け付けた指定位置が画面中央にくるように撮像装置３を回動させ、そして、撮像装置３を固定し、所定の非追尾モード倍率で撮影を行わせる。

表示処理部３１は、映像中の追尾対象に枠およびマークを付ける処理を行う。枠はテンプレートと同じ大きさでもよい。マークは枠の中心に配置される。枠およびマークの付加処理は、追尾モードが設定されているときに行われる。

出力部３３は、映像信号を表示部３５に出力する。表示部３５はディスプレイである。出力部３３は、輝度信号および色差信号からなる映像信号を、表示部３５に適した形態に変換する。このとき、Ｄ／Ａ変換が行われ、アナログ映像信号が出力される。

図２は、動作モード切替部２５の動作を示している。図２の処理は繰り返し行われる。動作モード切替部２５は、蓄積モード情報取得部２３から蓄積倍率を取得し（Ｓ１１）、蓄積倍率がしきい倍率以上か否かを判定する（Ｓ１３）。

蓄積倍率がしきい倍率以上であれば、動作モード切替部２５は、現在は追尾モード（追尾可能モード）か否かを判定する（Ｓ１５）。ステップＳ１５がＹｅｓであれば、動作モード切替部２５は、現在の動作モードを非追尾モード（追尾不可能モード）にする（Ｓ１７）。すなわち、動作モードが追尾モードから非追尾モードに切り替えられる。それから、動作モード切替部２５はタイマーを設定する（Ｓ１９）。タイマーは、モードの頻繁な切替（ハンチング）を防ぐために設定される。タイマー値が０になるまでは、蓄積倍率が下がっても、非追尾モードが維持されることになる。

ステップＳ１５で現在は追尾可能モードでない場合、タイマー値が０か否かが判定される（Ｓ２１）。そして、タイマー値が０であれば、タイマーが設定される（Ｓ２３）。ここでは、タイマー値が０になってもまだ蓄積倍率がしきい倍率以上なので、タイマーが再度設定されている。

ステップＳ１３で蓄積倍率がしきい倍率以上でない場合、動作モード切替部２５は、現在は追尾モードが設定されているか否かを判定する（Ｓ２３）。追尾モードが設定されていなければ、動作モード切替部２５はタイマー値が０か否かを判定する（Ｓ２５）。そして、タイマー値が０であれば、動作モード切替部２５は、追尾モードを設定する（Ｓ２７）。

以上に説明したように、動作モード切替部２５は、蓄積倍率としきい倍率を比較して、蓄積倍率がしきい倍率以上であれば非追尾モードを設定し、蓄積倍率がしきい倍率未満であれば追尾モードを設定する。ハンチングが発生しないようにタイマーを利用してモード切替が行われる。

次に、本実施の形態の自動追尾装置１の全体的な動作を説明する。まず、蓄積倍率がしきい倍率より小さく、追尾モードが設定されているときの動作を説明する。撮像装置３の映像信号は、入力部５により入力されて、第１画像メモリ７および第２画像メモリ９に記憶される。第１画像メモリ７および第２画像メモリ９は、現在および数フレーム前の映像信号を記憶する。第１画像メモリ７の映像が表示されて、ユーザにより追尾対象（人物等）の位置が指定され、指定位置の座標データが追尾対象指定受付部１１により受け付けられる。

そして、特徴量抽出領域決定部１５が、追尾対象の指定位置座標周辺の領域を特徴量抽出領域として決定し、探索範囲決定部１７が追尾対象の探索範囲を決定し、テンプレート登録部１９が特徴量抽出領域をテンプレートとして登録する。

相関値算出部２１は、探索範囲内で第２メモリ９の画像とテンプレートとの相関値を算出する処理を行い、探索範囲内で相関値が最も高い領域を検出する（マッチング領域）。ここでは、領域が少しずつずらされ、相関値の計算が繰り返され、相関値が最も高いマッチング領域が特定される。こうして第２画像メモリ９の画像がテンプレートと比較されて、最大相関値を持つマッチング領域が、追尾対象として特定される。連続する複数のフレームが第２画像メモリ９から提供される。そして、複数のフレームの各々から、同様の処理により追尾対象が検出される。こうして、映像の中で追尾対象が移動しても、探索処理部１３によって追尾対象が好適に捕捉される。

移動位置決定部２７は、探索処理部１３による処理結果に従って追尾対象を追尾するように、撮像装置３の移動位置を決定する。また、移動位置決定部２７は、追尾対象を含む所定の範囲を撮影できるようにズーム倍率を決定する。そして、回転台ズーム制御部２９が、移動位置決定部２７で決定された制御量に従って撮像装置３のＰＴＺ機能を制御する。したがって、撮像装置３は、追尾対象を追尾するように回動し、さらに、指定されたズーム倍率で撮影を行う。

映像信号の追尾対象に対しては、表示処理部３１により枠およびマークが付けられる。この枠およびマークが付加された映像信号が、出力部３３により表示部３５に出力され、表示される。

このようにして、自動追尾装置１の制御に従って追尾対象を追尾するように撮像装置３が回動する。表示部３５は、枠およびマークと共に追尾対象を継続的に表示することができる。

次に、非追尾モードが設定されたときの動作を説明する。上述したように、蓄積倍率がしきい倍率以上になると、動作モード切替部２５により非追尾モードが設定される。非追尾モードが設定されているときは、移動位置決定部２７は、追尾対象指定受付部１１により受け付けられた指定位置座標が映像内の所定の非追尾モード位置に固定的に映るように、移動位置を決定する。本実施の形態では、所定の非追尾モード位置が画角の中央である。追尾対象を指定した後の追尾対象の動きには無関係に、追尾対象を指定したときの位置座標が画角中央へと映るように移動位置が決定される。また、ズーム倍率は、所定の非追尾モード倍率に決定される。

回転台ズーム制御部２９は、移動位置決定部２７で決定された制御量に従って撮像装置３を制御する。したがって、撮像装置３は、指定位置が画面中央にくるように回動し、所定の非追尾モード倍率で撮影を行う。映像信号は、出力部３３から出力されて、表示部３５に表示される。

このようにして、非追尾モードでは、撮像装置３の方向が、指定位置が画面中央に位置するように固定される。そして、固定された撮像装置３の映像が、表示部３５に表示される。したがって、追尾が困難な状況において、無理な追尾動作が抑制される。ただし、撮像装置３が元の指定位置を向くので、追尾対象の撮影はできる。しかも、非追尾ズーム倍率が小さく設定されており、広い範囲が撮影されるので、極力長い時間に渡って追尾対象を撮影できる。

例えば、前出の例では、自動追尾装置１が監視システムに設けられており、監視場所が大きな交差点である。このとき、追尾モードではズーム倍率が大きく設定され、追尾対象の人物がクローズアップされる。一方、非追尾モードでは、ズーム倍率が小さく設定され、交差点全体が映されて、交差点を渡りきるまで追尾対象の人物を映すことができる。

なお、非追尾モードでは、表示処理部２９による枠およびマークの付加処理は抑制される。

また、探索処理部１３の探索処理は、抑制されてもよく、継続的に実行されてもよい。後者の場合、追尾回動制御は抑制される。

また、本実施の形態の変形例として、蓄積モードのオンオフに応じて動作モードが切り替えられてもよい。蓄積モードがオンになれば非追尾モードが設定される。この変形例は、蓄積倍率が１より大きくなったときにモードを切り替えている。この変形例も、蓄積倍率が所定しきい値以上になったときのモード切替に相当し、そして、探索難易度パラメータに応じたモード切替に相当している。

以上に本発明の第１の実施の形態に係る自動追尾装置１について説明した。本実施の形態では、自動追尾装置１が、追尾対象の探索処理の難易度を表す探索難易度パラメータを取得し、探索難易度パラメータに応じて追尾モードと非追尾モードを切り替える。非追尾モードでは、指定位置が映像内の所定の非追尾モード位置に固定的に映るように撮像装置の移動機構が制御される。したがって、追尾が困難な状況での無理な追尾が回避される。非追尾モードでは、追尾は行わないものの、追尾対象が画角から外れることは避けられ、追尾対象の映像を得ることはできる。このようにして、追尾が困難な状況が生じても非追尾モードを設定して適切な映像を得ることができ、追尾が困難な状況に適応した処理を行うことができ、利便性を向上できる。

また、本実施の形態によれば、探索難易度パラメータとして蓄積倍率を利用し、蓄積倍率に基づいて追尾困難な状況を検出でき、非追尾モードを設定して、追尾困難な状況でも適切な映像を得られる。

また、本実施の形態によれば、非追尾モードでは、ズーム倍率が所定の非追尾モード倍率になるようにズーム機能が制御される。この構成により、非追尾モードでは追尾対象を指定したときの指定位置を含む広い範囲を撮影するように、ズーム機能を制御して画角を広げられる。これにより、追尾を行わない場合でも、より長い時間に渡って追尾対象が撮影範囲内に位置し、より長い時間に渡って追尾対象が映るように図れる。

次に、図３は、第２の実施の形態に係る自動追尾装置を示している。第１の実施の形態では、蓄積モードの蓄積倍率が、探索難易度パラメータとして用いられた。第２の実施の形態では、映像処理によって撮影場所の混雑度が検出され、混雑度が探索難易度パラメータとして用いられる。以下、第１の実施の形態との相違点を中心に、第２の実施の形態について説明する。

図３に示すように、第２の実施の形態では、自動追尾装置１０１は、混雑度検知部４１を備えている。混雑度検知部４１は、映像信号を処理して撮影場所の混雑度を検出する。混雑度は動作モード切替部２５に供給される。

図４は、混雑度検知部４１の構成を示している。混雑度検知部４１は、差分算出部４３、二値化部４５および動き領域割合算出部４７を有している。

混雑度検知部４１は、第１画像メモリ７および第２画像メモリ９から連続する２つのフレームの画像を取得する。差分算出部４３は、２つのフレームの差分を算出し、差分画像を生成する。二値化部４５は、差分画像を２値化する。各画素の値（２フレームの同一画素の差分）が、しきい値と比較される。差分の画素値がしきい値以上であれば、画素値が１に変換され、そうでなければ画素値が０に変換される。画素値が１の部分は、被写体が動いた部分を表す。動き領域割合算出部４７は、画素値が１の領域の割合を算出する。この割合の値が、混雑度となる。

上記の例では、混雑度は、画像中の動く部分の割合である。動く部分の割合が多ければ、動く物体が多く、したがって混雑が発生していると考えられる。したがって、上記のようにして得られる混雑度は、混雑の程度を適切に表すことができる。

図８の例では、横断歩道が撮影されている。図示のように、混雑が生じると、追尾対象の探索範囲内に多数の類似領域が存在し、そのために特徴抽出が困難になり、探索処理部１３での探索が困難になり、誤追尾が生じる可能性が高い。混雑度が大きいほど、探索の困難さも増す。そこで、本実施の形態では、混雑度が、探索処理部１３による探索処理の難易度を表す探索難易度パラメータとして利用される。

図３に戻ると、動作モード切替部２５は、混雑度検知部４１から混雑度を取得する。そして、動作モード切替部２５は、探索難易度パラメータである混雑度に応じて追尾モードと非追尾モードを切り替える。動作モード切替部２５は、混雑度が所定しきい混雑度以上のときに追尾モードを非追尾モードに切り替えて、非追尾モードを設定する。動作モード切替部２５は、混雑度がしきい混雑度未満であれば、追尾モードを設定する。

以上に本実施の形態の自動追尾装置１０１の構成を説明した。自動追尾装置１０１のその他の構成は、第１の実施の形態と概ね同様であり、説明を省略する。

次に、自動追尾装置１０１の動作を説明する。図５は、動作モード切替部２５の動作を示している。図５の処理は繰り返し行われる。図５の処理は、混雑度が取得されてしきい混雑度と比較されることをのぞき、図２の処理と同様である。

動作モード切替部２５は、混雑度検知部４１から混雑度を取得し（Ｓ４１）、混雑度がしきい混雑度以上か否かを判定する（Ｓ４３）。混雑度がしきい混雑度以上であれば、動作モード切替部２５は、現在は追尾モード（追尾可能モード）か否かを判定する（Ｓ４５）。ステップＳ４５がＹｅｓであれば、動作モード切替部２５は、現在の動作モードを非追尾モード（追尾不可能モード）にする（Ｓ４７）。すなわち、動作モードが追尾モードから非追尾モードに切り替えられる。それから、動作モード切替部２５はタイマーを設定する（Ｓ４９）。タイマーは、モードの頻繁な切替（ハンチング）を防ぐために設定される。タイマー値が０になるまでは、混雑度が下がっても、非追尾モードが維持されることになる。

ステップＳ４５で現在は追尾可能モードでない場合、タイマー値が０か否かが判定される（Ｓ５１）。そして、タイマー値が０であれば、タイマーが設定される（Ｓ５３）。ここでは、タイマー値が０になってもまだ混雑度がしきい混雑度以上なので、タイマーが再度設定される。

ステップＳ４３で混雑度がしきい混雑度以上でない場合、動作モード切替部２５は、現在は追尾モードが設定されているか否かを判定する（Ｓ５５）。追尾モードが設定されていなければ、動作モード切替部２５はタイマー値が０か否かを判定する（Ｓ５７）。そして、タイマー値が０であれば、動作モード切替部２５は、追尾モードを設定する（Ｓ５９）。

以上に説明したように、動作モード切替部２５は、混雑度としきい混雑度を比較して、混雑度がしきい混雑度以上であれば非追尾モードを設定し、混雑度がしきい混雑度未満であれば追尾モードを設定する。そして、ハンチングが発生しないようにタイマーを利用してモード切替が行われる。

以上に第２の実施の形態における混雑度を利用する動作モード切替部２５の動作を説明した。自動追尾装置１０１の全体的な動作を説明すると、混雑度が小さいときは、追尾モードが設定される。そして、探索処理部１３の探索結果に従い、追尾対象を追尾するように撮像装置３が回動する。表示部３５は追尾対象を継続的に表示する。混雑度が大きくなると、非追尾モードが設定される。追尾対象指定受付部１１により受け付けられた指定位置が画面中央にくるように、撮像装置３の方向が自動追尾装置１により制御される。そして、撮像装置３が固定され、表示部３５は同じ範囲を撮影しつづける。このように、自動追尾装置１０１の動作は、動作モード切替部２５が混雑度を利用する点を除いて、第１の実施の形態と同様である。

以上に本発明の第２の実施の形態に係る自動追尾装置１０１について説明した。本実施の形態においても、自動追尾装置１０１が、探索難易度パラメータに応じて追尾モードと非追尾モードを切り替えるように構成される。そして、第１の実施の形態と同様の利点が得られる。すなわち、追尾が困難な状況に適応した処理を行うことができ、利便性を向上できる。また、追尾を行わない非追尾モードでも、より長い時間に渡って追尾対象が映るように図れる。

また、本実施の形態によれば、探索難易度パラメータとして混雑度を利用し、混雑度に基づいて追尾困難な状況を検出でき、非追尾モードを設定して、追尾困難な状況でも適切な映像を得られる。

図６は、第３の実施の形態に係る自動追尾装置を示している。第３の実施の形態では、自動追尾装置２０１が、蓄積モード情報取得部２３と混雑度検知部４１の両方を備えている。蓄積モード情報取得部２３は蓄積倍率を動作モード切替部２５に供給する。混雑度検知部４１は、混雑度情報を動作モード切替部２５に供給する。

動作モード切替部２５は、蓄積倍率と混雑度に基づいて動作モードを切り替える。蓄積倍率がしきい倍率以上になるか、あるいは、混雑度がしきい混雑度以上になると、非追尾モードが設定される。

自動追尾装置２０１の他の構成および動作は、上述の第１および第２の実施の形態で説明した通りであり、ここでの説明は省略する。

以上に第３の実施の形態に係る自動追尾装置２０１について説明した。本実施の形態でも、第１および第２の実施の形態と同様の利点が得られる。さらに、本実施の形態では、蓄積倍率と混雑度のどちからが大きくなると非追尾モードが設定されるので、より確実に追尾困難な状況に対応できる。すなわち、暗くなって追尾が困難になったときでも、混雑度が増して追尾が困難になったときでも、非追尾モードを設定して適切な映像を得ることができる。

以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。

以上のように、本発明にかかる自動追尾装置は、追尾が困難な状況に適応した処理を行って利便性を向上できるという効果を有し、監視システム等として有用である。

本発明の第１の実施の形態における自動追尾装置のブロック図 本発明の第１の実施の形態における自動追尾装置の動作を示すフロー図 本発明の第２の実施の形態における自動追尾装置のブロック図 混雑度検知部の構成を示すブロック図 本発明の第２の実施の形態における自動追尾装置の動作を示すフロー図 本発明の第３の実施の形態における自動追尾装置のブロック図 蓄積モードを示す図 混雑した状態での追尾処理を示す図

符号の説明

１ 自動追尾装置
３ 撮像装置
５ 入力部
７ 第１画像メモリ
９ 第２画像メモリ
１１ 追尾対象指定受付部
１３ 探索処理部
１５ 特徴量抽出領域決定部
１７ 探索範囲決定部
１９ テンプレート登録部
２１ 相関値算出部
２３ 蓄積モード情報取得部
２５ 動作モード切替部
２７ 移動位置決定部
２９ 回転台ズーム制御部
３１ 表示処理部
３３ 出力部
３５ 表示部
４１ 混雑度検知部

Claims (5)

1. 撮像装置の映像信号を処理して、指定された追尾対象を追尾するように前記撮像装置の撮影方向を制御する自動追尾装置であって、
   前記撮像装置の映像信号を入力する入力部と、
   前記映像信号中の追尾対象の位置の指定を受け付ける追尾対象指定受付部と、
   指定位置に映った前記追尾対象を前記映像内で探索する探索処理部と、
   前記探索処理部による探索処理の難易度を表す探索難易度パラメータを取得する探索難易度パラメータ取得部と、
   前記探索難易度パラメータに応じて追尾モードと非追尾モードを切り替える動作モード切替部と、
   前記追尾モードでは、前記探索処理部による処理結果に従って前記追尾対象を追尾するように前記撮像装置の移動位置を決定し、前記非追尾モードでは、前記追尾対象指定受付部により受け付けられた前記指定位置が映像内の所定の非追尾モード位置に固定的に映るように前記撮像装置の移動位置を決定する移動位置決定部と、
   前記移動位置決定部により決定された移動位置に従って前記撮像装置の移動機構を制御する移動制御部と、
   を備えたことを特徴とする自動追尾装置。
2. 前記探索難易度パラメータ取得部は、前記探索難易度パラメータとして、前記撮像装置における蓄積モードの蓄積倍率情報を取得し、前記動作モード切替部は、前記蓄積倍率が所定しきい倍率以上のときに前記追尾モードを前記非追尾モードに切り替えることを特徴とする請求項１に記載の自動追尾装置。
3. 前記探索難易度パラメータ取得部は、前記探索難易度パラメータとして、前記映像信号を処理して撮影場所の混雑度を検出し、前記動作モード切替部は、前記混雑度が所定しきい混雑度以上のときに前記追尾モードを前記非追尾モードに切り替えることを特徴とする請求項１に記載の自動追尾装置。
4. 前記撮像装置のズーム機能を制御するズーム制御部を有し、前記ズーム制御部は、前記非追尾モードでは、ズーム倍率が所定の非追尾モード倍率になるように前記ズーム機能を制御することを特徴とする請求項１ないし３のいずれかに記載の自動追尾装置。
5. 撮像装置の映像信号を処理して、指定された追尾対象を追尾するように前記撮像装置の撮影方向を制御する処理をコンピュータに実行させるプログラムであって、
   前記映像信号中の追尾対象の位置の指定を受け付ける追尾対象指定受付ステップと、
   指定位置に映った前記追尾対象を前記映像内で探索する探索処理ステップと、
   探索処理の難易度を表す探索難易度パラメータを取得する探索難易度パラメータ取得ステップと、
   前記探索難易度パラメータに応じて追尾モードと非追尾モードを切り替える動作モード切替ステップと、
   前記追尾モードでは、前記探索処理による処理結果に従って前記追尾対象を追尾するように前記撮像装置の移動位置を決定し、前記非追尾モードでは、前記追尾対象指定受付部により受け付けられた前記指定位置が映像内の所定の非追尾モード位置に固定的に映るように前記撮像装置の移動位置を決定する移動位置決定ステップと、
   決定された移動位置に従って前記撮像装置の移動機構を制御する移動制御ステップと、
   を前記コンピュータに実行させることを特徴とするプログラム。

Images