JP2006311099A - 自動追尾装置及び自動追尾方法 - Google Patents

Abstract

【課題】 画像処理の困難な被写体、遮蔽物などがあっても、誤動作を低減して安定した自動追尾を行うことができる自動追尾装置及び方法を提供する。
【解決手段】 パン、チルト、ズーム可能な撮像部１０により撮像された撮像領域内で移動物体を検出し、検出された移動物体の位置および動きベクトルを基に、撮像領域制御部１５により撮像部１０のパン、チルト量を制御する。撮像部１０によって撮像される撮像領域と、特定領域指定部１２によって予め指定された画像処理の困難な特定領域とが重なっていた場合、特定領域の内外で移動物体の検出処理を切り替える。例えば、特定領域の内部では移動物体の検出を行わず、移動物体である追尾対象が特定領域の周囲に現れるまで待つ。追尾対象が現れると、再び移動物体の検出処理を開始する。
【選択図】 図３

Description

本発明は、撮像手段によって撮影された画像を入力し、入力画像中の移動物体を追跡する自動追尾装置及び自動追尾方法に関する。

カメラ監視システムでは、監視員の負荷を軽減するために様々な試みが検討されている。その１つが自動追尾あるいは追尾アシストと呼ばれる機能である。自動追尾（追尾アシスト）とは、監視員が手動で回転台の操作やズーム倍率の変更を行う代わりに、画像処理等によって追尾対象である物体の位置やサイズを検出し、物体の位置がフレームから外れないように回転台を駆動してセンタリングを行ったり、物体のサイズを一定に保つようにズーム制御を行う機能である。

従来、自動追尾装置の一例として、特許文献１に記載のものが知られている。この自動追尾装置は、異なる時刻の物体位置を絶対座標上の位置に変換して保存し、追尾対象である物体の移動速度および物体の予測位置を算出し、算出された予測位置および移動速度に基づいてパン、チルト制御を行うとともに、物体の移動領域面積からズーム制御を行うようになっている。

特開２００１−２８５８５０号公報

しかしながら、従来の自動追尾装置では、画像処理の困難な被写体（例えば、風に揺れる草木、電線、旗など）があった場合、追尾対象である物体の移動と風に揺れる物体の動きとの区別がつかずに誤検知を行ってしまい、追尾対象である移動物体を見逃してしまうことがあった。

特許文献１に記載の自動追尾装置においても、フレームから外れないように安定して追尾することが目的とされているが、画像処理の困難な被写体に対する工夫や遮蔽物への工夫がなされておらず、画像処理における誤検知によって追尾対象の物体がフレームから外れてしまうおそれがあった。

本発明は、上記事情に鑑みてなされたもので、画像処理の困難な被写体、遮蔽物などがあっても、誤動作を低減して安定した自動追尾を行うことが可能な自動追尾装置及び自動追尾方法を提供することを目的とする。

本発明の自動追尾装置は、撮像手段によって撮影された画像を入力し、入力画像中の移動物体を追跡する自動追尾装置であって、前記撮像手段によって撮像される撮像領域を指定する撮像領域指定手段と、前記撮像領域の画像から移動物体を検出する移動物体検出手段と、前記移動物体の検出結果を基に、前記撮像領域指定手段によって指定される撮像領域を制御する撮像領域制御手段と、特定領域を登録する特定領域登録手段と、前記登録された特定領域に前記移動物体が重なっているか否かを判定する重なり判定手段と、前記特定領域に前記移動物体が重なっている場合、前記移動物体検出手段による移動物体の検出処理を切り替える検出処理切替手段とを備えるものである。
これにより、特定領域に移動物体が重なっている場合、移動物体の検出処理を変更するので、画像処理の困難な被写体、遮蔽物などがあっても、誤動作を低減して安定した自動追尾を行うことができる。

また、本発明の自動追尾装置は、前記撮像手段によって撮影された撮像領域の画像中の動き検出を行い、この動き検出結果を基に、前記特定領域を自動的に指定する特定領域指定手段を備え、前記特定領域登録手段は、前記指定された特定領域を登録するものとする。
これにより、特定領域の指定の煩雑を低減し、特定領域の指定漏れを防止することができる。

また、本発明の自動追尾装置は、時刻情報を報知するタイマ手段を備え、前記特定領域登録手段は、前記特定領域を時刻情報に関連付けて登録し、前記重なり判定手段は、前記報知された時刻情報を基に、前記特定領域が有効であるか否かを判別し、有効であると判別された特定領域に前記移動物体が重なっているか否かを判定するものとする。
これにより、日、曜日、時間帯等の時刻によって、交通量、風向き、照明等の環境が変わる場合であっても、有効な特定領域を選択することができる。

また、本発明の自動追尾装置は、前記検出処理切替手段は、前記移動物体が前記特定領域に入った場合、この特定領域内で前記移動物体検出手段による移動物体の検出を停止し、前記移動物体検出手段は、前記移動物体が再び現れるまで前記特定領域の周囲を監視するものとする。
これにより、特定領域が画像処理の困難な被写体であっても、その周囲を監視し、特定領域から移動物体が出た際、再び移動物体を検出できる。

また、本発明の自動追尾装置は、前記検出処理切替手段は、前記移動物体が前記特定領域と重なっていない場合、前記移動物体検出手段による移動物体の検出処理として、フレーム間差分による動き検出方式と、テンプレート画像との類似度を基に移動物体を検出するマッチング方式とを併用し、前記移動物体が前記特定領域と重なっている場合、前記マッチング方式を優先させるものとする。
これにより、画像処理の困難な特定領域内に移動物体が入っても、追尾不能となって諦めることなく、その追尾を継続することができる。

本発明の自動追尾方法は、撮像手段によって撮影された画像を入力し、入力画像中の移動物体を追跡する自動追尾方法であって、前記撮像手段によって撮像される撮像領域を指定する撮像領域指定ステップと、前記撮像領域の画像から移動物体を検出する移動物体検出ステップと、前記移動物体の検出結果を基に、前記指定される撮像領域を制御する撮像領域制御ステップと、特定領域を登録する特定領域登録ステップと、前記登録された特定領域に前記移動物体が重なっているか否かを判定する重なり判定ステップと、前記特定領域に前記移動物体が重なっている場合、前記移動物体検出ステップにおける移動物体の検出処理を切り替える検出処理切替ステップとを有するものである。
これにより、特定領域に移動物体が重なっている場合、移動物体の検出処理を変更するので、画像処理の困難な被写体、遮蔽物などがあっても、誤動作を低減して安定した自動追尾を行うことができる。

また、本発明は、上記いずれかに記載の自動追尾装置の各手段の機能をコンピュータにより実現させるためのプログラムを提供する。

本発明によれば、画像処理の困難な被写体、遮蔽物などがあっても、誤動作を低減して安定した自動追尾を行うことが可能な自動追尾装置及び自動追尾方法を提供できる。

（第１の実施形態）
本実施形態の自動追尾装置は、監視カメラシステム等に用いられるものであり、撮像手段の機能を持つ撮像部として、パン、チルト、ズーム（ＰＴＺ）動作可能な自動追尾カメラを搭載する。図１は本発明の実施形態に係る自動追尾装置の外観を示す図である。この自動追尾装置１は、ドーム型ケース３を有し、天井６に設置される。ドーム型ケース３には、その先端中央部を通過するように形成された溝部３ａから露出するズーム機能付きのカメラ８、及びこのカメラ８をパン方向に３６０度かつチルト方向に１８０度旋回自在である旋回部としての回転台１１（図２参照）が収納される。

図２は本実施形態の自動追尾装置１のハードウェア構成を示すブロック図である。この自動追尾装置１は、主に撮像部１０および制御部２０を有して構成される。撮像部１０は、前述したドーム型ケース３に収納されたカメラ８および回転台１１を備える。制御部２０は、ドーム型ケース３とは別体の筐体に収納され、周知のＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、カメラ８によって撮影された画像を蓄積する画像メモリ２４、回転台１１を駆動するための駆動インタフェース（Ｉ／Ｆ）２５、カメラ８のズーム、シャッタ等を制御するとともに撮影された画像を入力するためのカメラＩ／Ｆ２６、外部のモニタ３０に撮影された画像を出力するためのモニタＩ／Ｆ２７、時刻を計時するタイマ２９、およびＩ／Ｏインタフェース３２を有し、これらがバス２８を介して接続された構成となっている。ここで、回転台１１およびカメラ８のズーム機構が撮像領域指定手段の機能を実現する。

ＲＡＭ２３には、後述する特定領域が登録される特定領域記憶部２３ａ、特定領域と撮像領域の重なり部分が登録された重なり領域記憶部２３ｂ、および後述するように、追尾対象である移動物体が特定領域と重なるときに値１にセットされるフラグＦを記憶するフラグ記憶部２３ｃが設けられている。また、画像メモリ２４には、後述するテンプレート画像が登録されるテンプレート記憶部２４ａが設けられている。Ｉ／Ｏインタフェース３２には、指示手段としてジョイスティック３３およびマウス３４が接続されており、モニタ３０に表示された撮影画像に対して入力指示を行う。

図３は第１の実施形態の自動追尾装置１の機能的構成を示す図である。自動追尾装置１は、撮像部１０、特定領域指定部１２、特定領域管理部１３、移動物体検出部１４および撮像領域制御部１５から構成される。撮像部１０は、前述した光学ズーム機構付きカメラ８および回転台１１を有しており（図２参照）、制御部２０からの指令に従ってパン角、チルト角およびズーム倍率を変更可能である。ここで、特定領域管理部１３が特定領域登録手段、重なり判定手段および検出処理切替手段の機能を有する。また、移動物体検出部１４が移動物体検出手段の機能を有する。また、撮像領域制御部１５が撮像領域制御手段の機能を有する。また、特定領域指定部１２が特定領域指定手段の機能を有する。

特定領域指定部１２、特定領域管理部１３、移動物体検出部１４および撮像領域制御部１５は、制御部２０内のＣＰＵ２１がＲＯＭ２２に格納された制御プログラムを実行するによって実現される。特定領域指定部１２は、複数個の特定領域を指定可能である。最も代表的な領域指定方法として、マウスやジョイスティックを使って画面内の２点を指定する方法が挙げられる。指定された特定領域は特定領域管理部１３に出力される。

特定領域管理部１３は、特定領域指定部１２から特定領域を表す画面上の画素座標（ローカルな２次元座標）を受け取り、この受け取った２次元座標をパン角、チルト角を用いた３次元座標（極座標）に変換する。ここで、撮像部１０から取得した現在のパン角、チルト角、ズーム倍率をそれぞれPanCenter，TiltCenter，ZoomCenter とする。画面上の画素座標を（ｘ，ｙ）とし、画面上の左上隅の座標を（０，０）とし、右下隅の座標を（ＸMAX ，ＹMAX ）とする。また、あるズーム倍率時の１画素の角度をＸUnit，ＹUnitとする。例えば、水平画角が１０度、画素数が水平７６０画素の場合、１画素の角度は、１０度／７６０画素＝１／７６［度／画素］となる。また、画面中央の画素座標は（ＸMAX ／２，ＹMAX ／２）となる。そして、画面上の画素座標（ｘ，ｙ）は、以下の数式（１）に従って、パン角、チルト角を用いた３次元座標（Ｐａｎ，Ｔｉｌｔ）に変換される。

Ｐａｎ＝PanCenter ＋（ｘ−ＸMAX ／２）× ＸUnit
Ｔｉｌｔ＝TiltCenter ＋（ｙ−ＹMAX ／２）× ＹUnit …（１）

このように、ズーム倍率に応じた１画素のパン角、チルト角を求め、画面中心からの画素位置をパン角、チルト角に変換することで、特定領域を表す２点の３次元座標（Ｐａｎ，Ｔｉｌｔ）を得ることができる。この３次元座標（Ｐａｎ，Ｔｉｌｔ）を特定領域記憶部２３ａに記憶する。

さらに、特定領域記憶部２３ａに登録されている１つあるいは複数個の特定領域と撮像領域との重なり判定を行い、重なっている特定領域部分だけを取得し、この特定領域部分を移動物体検出部１４に出力する。この特定領域と撮像領域との重なり判定の詳細については後述する。

移動物体検出部１４は、撮像部１０内のカメラ８で撮影された画像に対し、画像処理を施すことにより移動物体を検出する。この移動物体の検出方法として、大きく分けて２種類の方法が知られている。その１つの方法は、時間的に異なる２フレームの画像の差分を画素単位に求め、差分のあった画素領域に動きのある移動物体が存在すると推定するフレーム間差分方式である。もう１つの方法は、前フレームで動きと推定された領域を切り出してテンプレート画像とし、現フレームでこのテンプレート画像と相関の高い領域を探索し、相関値が閾値以上である領域を移動物体が存在する領域であると推定するマッチング方式である。

いずれの方法にも得手不得手があるので、これらの方法を組み合わせて、"動き"や"相関の強い領域"を求めることが一般的に行われる。本実施形態では、このような移動物体の検出方法を適用する際、前述した特定領域の内部と外部とでは異なる処理を行う。つまり、特定領域の外部では、前述した一般的な方法を用いて移動物体を追尾するが、特定領域の内部では、追尾を開始しない、あるいは追尾を停止する。また、移動物体の検出結果として、移動物体の位置および動きベクトルを求めることができる。この移動物体検出処理の詳細については後述する。

撮像領域制御部１５は、移動物体検出部１４で求められた移動物体の位置および動きベクトルを用いてパン、チルト、ズーム量を算出し、この算出された値を撮像部１０に出力する。このパン、チルト、ズーム量の基本的な求め方として、移動物体の位置と画面中心との差がなくなるように、移動物体のパン方向およびチルト方向の移動速度に画像処理の周期を掛けることによりパン、チルト量を設定するとともに、移動物体（追尾対象）が画面上で所定の面積を維持するように、ズーム量を設定する。なお、パン、チルト量が大き過ぎると、カメラの移動によるボケが発生するので、画質が落ちないようにパン、チルト量にリミッタをかけてもよい。

図４は第１の実施形態の特定領域管理部１３における重なり領域判定処理手順を示すフローチャートである。この処理プログラムは、ＲＯＭ２２に格納されており、カメラ８によって撮像領域が変更される度、ＣＰＵ２１によって実行される。

まず、画面隅の点（撮像領域の左上点と右下点の２点）を３次元座標（パンチルト座標）に変換する（ステップＳ１）。この変換は、特定領域の画素座標を３次元座標に変換する場合と同様、数式（１）に従って行われる。そして、３次元座標上で、予め登録された１つの特定領域と撮像領域とが重なるか否かを判別する（ステップＳ２）。判別の結果、重ならない場合、ステップＳ４の処理に進む。一方、ステップＳ２で特定領域と撮像領域とが重なる場合、特定領域のうち、重なる部分の３次元座標を画素座標に変換する（ステップＳ３）。この特定領域の重なり部分を示す３次元座標（Ｐａｎ，Ｔｉｌｔ）は、以下の数式（２）に従って、画面上の画素座標（ｘ，ｙ）に変換される。

ｘ＝（Ｐａｎ−PanCenter）／ＸUnit ＋ ＸMAX ／２
ｙ＝（Ｔｉｌｔ−TiltCenter）／ＹUnit ＋ ＹMAX ／２ …（２）

特定領域の重なり部分を表す、変換された画素座標（ｘ，ｙ）を重なり領域記憶部２３ｂに記憶した後、特定領域管理部１３に登録された全ての特定領域に対して処理したか否かを判別する（ステップＳ４）。全ての特定領域に対して処理していない場合、ステップＳ２の処理に戻り、一方、全ての特定領域に対して処理している場合、本処理を終了する。

図５は第１の実施形態の自動追尾処理手順を示すフローチャートである。この処理プログラムは、ＲＯＭ２２に格納されており、ＣＰＵ２１によって所定周期毎に実行される。まず、前回、検出された追尾対象が特定領域内にあるか否かを判別する（ステップＳ１１）。つまり、フラグ記憶部２４ｃに記憶されたフラグＦが値１であるか否かを判別する。フラグＦが値１であって、追尾対象が特定領域内にあると判別された場合、この特定領域を除き、かつこの特定領域を囲む範囲の撮像領域を探索領域に設定する（ステップＳ１２）。

なお、本実施形態では、追尾対象の一部が特定領域と重なっている場合、追尾対象が特定領域内にあると判断される。また、フラグＦの初期値は値０である。一方、フラグＦが値０であって、追尾対象が特定領域内に無いと判別された場合、所定範囲の撮像領域を探索領域に設定する（ステップＳ１３）。なお、探索領域としては、画像処理能力に余裕がある場合、撮像領域全体に設定されてもよいが、一般的には前回検出された追尾対象の位置から追尾対象が疾走して移動可能な程度の領域に設定されることが望ましい。

そして、設定された探索領域内でフレーム間差分を求める（ステップＳ１４）。このフレーム間差分では、前画面と現画面の輝度変化から差分絶対値を求める。求めた差分絶対値を２値化し、膨張、収縮処理等を施してノイズ除去を行う。さらに、フレーム間の動きを面として捉えるために、周囲画素のフレーム間差分の結果を加算する。そして、この加算値が大きいほど「動き」と推測され、その値が小さいほど「静止」と推測される。

この後、テンプレート記憶部２４ａにテンプレート画像が登録されているか否かを判別する（ステップＳ１５）。テンプレート画像が登録されていない場合、ステップＳ１４で「動き」と推測された面（動き面）を画像から切り出し、追尾対象とする（ステップＳ２１）。このように、フレーム間差分の結果だけで画像から追尾対象を抽出した後、ステップＳ２２の処理に移行する。

一方、ステップＳ１５でテンプレート画像が登録されている場合、テンプレートマッチングを行う（ステップＳ１６）。テンプレートマッチングでは、過去に抽出されたテンプレート画像と現画像との相関を求める。本実施形態では、相関値として、テンプレート画像と現画像の輝度変化の差分絶対値和が用いられる。この差分絶対値和が小さいほど「相関が強い」、大きいほど「相関が弱い」と推定できる。

そして、動き・相関合成を行う（ステップＳ１７）。この動き・相関合成では、ステップＳ１４で求めたフレーム間差分の結果と、ステップＳ１６で求めたテンプレートマッチングの結果とを合成する。この合成によって、撮影画像の中から「動き」があり、かつ「相関の強い」領域を求めることが可能となる。具体的に、動き・相関合成値は、以下の数式（３）に従って求められる。

動き・相関合成値 ＝ ｍ ×（フレーム間差分による加算値）
＋ ｎ ×（テンプレートマッチングによる差分絶対値和） …（３）

ただし、全く異なる単位のものを加算することになるので、加算に際して係数ｍ，ｎが用いられる。また、「相関」の強さは、「動き」の大きさに対し、符号が反対となるので、係数ｍの符号を負、係数ｎの符号を正にすることで、「動き」と「相関」の符号を揃えることができる。そして、係数ｍ，ｎの値を変更することで、「動き」と「相関」の寄与度を変更することが可能である。

このようにして求めた動き・相関合成値が閾値以下であるか否かを判別する（ステップＳ１８）。ここで、閾値は移動物体の変化に対応した値に設定される。動き・相関合成値が閾値を越える場合、ステップＳ２０の処理に移行する。一方、動き・相関合成値が閾値以下である場合、次回のテンプレートマッチングで使用するために、テンプレート記憶部２４ａに記憶されたテンプレート画像を更新する（ステップＳ１９）。そして、テンプレート記憶部２４ａに記憶されたテンプレート画像を用いて、撮影画像に対し、テンプレートマッチングを行い、その相関値が所定値以上である画像領域を、移動物体である追尾対象として画像から抽出する（ステップＳ２０）。

この後、ステップＳ２０あるいはＳ２１の処理で撮影画像から抽出された追尾対象を用いて、追尾制御を行い（ステップＳ２２）、本処理を終了する。なお、追尾対象の抽出は、ステップＳ２０で行われる代わりに、ステップＳ１６のテンプレートマッチングで行われるようにしてもよい。この場合、ステップＳ２０の処理は省かれ、ステップＳ１９で更新されたテンプレート画像は次回のテンプレートマッチングで使用されることになる。

図６は第１の実施形態のステップＳ２２における追尾制御処理手順を示すフローチャートである。まず、特定領域記憶部２３ａに登録された特定領域を取得する（ステップＳ３１）。取得した特定領域と追尾対象とが重なるか否かを判定する（ステップＳ３２）。

ここで、追尾対象が特定領域と重ならない場合、フラグＦを値０にリセットし（ステップＳ３３）、追尾制御を継続する（ステップＳ３４）。この追尾制御では、追尾対象が撮像画面の中央に位置するように、駆動インタフェース２５を介して回転台１１をパン、チルト方向に制御するとともに、画面上で追尾対象が所定の面積を維持するようにカメラ８のズーム機構を制御する。この後、元の処理に復帰する。一方、ステップＳ３２で追尾対象が特定領域と重なる場合、フラグＦを値１にセットし（ステップＳ３５）、追尾制御を停止する（ステップＳ３６）。この後、元の処理に復帰する。

図７は本実施形態において追尾対象を検出する様子を示す図である。前述したフレーム間差分あるいはテンプレートマッチングにより追尾対象５１を検出する際、探索領域５２の中で探索が行われる。前述したように、探索領域５２は、画像処理能力に余裕がある場合、撮像領域全体に設定されてもよいが、一般的には前回検出された追尾対象５１の位置から追尾対象５１が疾走して移動可能な程度の領域に設定される。また、追尾対象５１が特定領域５３と重なった場合、特定領域の周囲５４（図中、斜線部分）を探索領域として設定する。そして、追尾対象５１が特定領域５３に入った後、再び現れて新たな追尾対象５５となるまで、監視を継続する。ここで、特定領域５３には、例えば上り旗や木々など、誤判定され易い物体が存在している。なお、本実施形態では、追尾対象および特定領域は長方形で表されているが、これらの形状はその他の多角形でも楕円形でもよい。

このように、第１の実施形態の自動追尾装置では、画像処理の困難な領域を特定領域とし、この特定領域の内外で物体検出方式を切り替えるようにする。これにより、画像処理の困難な特定領域と追尾対象が重なる場合、特定領域の内部では追尾対象を検出することなく、追尾制御を停止させることで、誤動作を低減して安定した自動追尾を行うことができる。また、特定領域が画像処理の困難な被写体であったとしても、その周囲を監視することで、特定領域から出た後、移動物体を再び検出することができる。

（第２の実施形態）
第２の実施形態の自動追尾装置のハードウェア構成および機能的構成は前記第１の実施形態と同一であるので、その説明を省略する。第１の実施形態では、特定領域指定部１２において、特定領域を登録する際、ユーザがマウスやジョイスティックを使って画面内の２点を指定したが、第２の実施形態では、自動的に特定領域を登録する場合を示す。

図８は第２の実施形態における特定領域登録処理手順を示すフローチャートである。この処理プログラムは、ＲＯＭ２２に格納されており、ＣＰＵ２１によって定期的に実行される。ここでは、特定領域として、草木や旗など、風によって揺れるような物体を登録する。まず、撮像を行い、撮像領域全体に対し、前述したフレーム間差分を行い、動きを検出する（ステップＳ４１）。そして、動きが検出された領域を切り出す（ステップＳ４２）。この動き領域の切り出し処理では、ある動き画素（動きのあった画素）と他の動き画素との距離が近い場合、同一の物体であると判断し、一方、距離が遠い場合、別の物体であると判断して切り出しが行われる。

そして、切り出された動き領域の１つをテンプレート画像とし、このテンプレート画像を用いて過去（前回、前々回など）の撮像領域に対してテンプレートマッチングを行い、動き領域の移動量および動きの時間を算出する（ステップＳ４３）。算出された移動量が所定値と比べて大きいか否かを判別する（ステップＳ４４）。移動量が大きい場合、動き領域は人物などの移動物体によるものであると判断し、ステップＳ４７の処理に移行する。

一方、移動量が小さい場合、動き領域は風等で揺れている固定物体（草木、旗など）によるものと判断し、ステップＳ４３で算出された動きの時間が所定値より短いか否かを判別する（ステップＳ４５）。動きの時間が所定値より短く、一瞬だけ動いたように単発的な動きである場合、人物が足踏みしているような状況が想定され、ステップＳ４７の処理に移行する。一方、動きの時間が所定値以上に長く、継続的な動きである場合、風などに揺れる固定物体であると判断し、この切り出された動き領域を特定領域として特定領域記憶部２３ａに登録する（ステップＳ４６）。この特定領域の登録は、前記第１の実施形態のステップＳ１の処理と同様、３次元座標に変換して行われる。

この後、ステップＳ４２で切り出された全ての動き領域を処理したか否かを判別する（ステップＳ４７）。全ての動き領域が処理されている場合、本処理を終了し、一方、まだ未処理の動き領域が残っている場合、ステップＳ４３の処理に戻る。

このように、第２の実施形態の自動追尾装置によれば、自動的に特定領域を登録することができ、特定領域の指定の煩雑さを解消し、特定領域の指定漏れを防ぐことができる。これにより、誤動作を低減し、安定した自動追尾を行うことができる。

（第３の実施形態）
図９は第３の実施形態における自動追尾装置の機能的構成を示す図である。第３の実施形態の自動追尾装置は、第１の実施形態と同様に撮像部１０、特定領域指定部１２、特定領域管理部１３、移動物体検出部１４および撮像領域制御部１５を備える他、タイマ手段の機能を持つタイマ部１８を有する。このタイマ部１８はタイマ２９を用いたものであり、時刻情報（ここでは、現在時刻）を特定領域管理部１３に報知することが可能である。

特定領域指定部１２は、特定領域の３次元座標の他、その特定領域が有効な日時、曜日などの日付や時間帯を指定して（関連付けて）特定領域記憶部２３ａに登録する。特定領域管理部１３は、特定領域と撮像領域の重なり判定を行う際、タイマ部１８から受け取った現在時刻を用いて特定領域が有効であるか否かを判定する。

図１０は第３の実施形態の特定領域管理部１３における重なり領域判定処理手順を示すフローチャートである。この処理プログラムは、ＲＯＭ２２に格納されており、カメラ８によって撮像領域が変更される度、ＣＰＵ２１によって実行される。まず、画面隅の点（撮像領域の左上点と右下点の２点）を３次元座標（パンチルト座標）に変換する（ステップＳ１）。この座標変換は、前述した数式（１）に従って行われる。

タイマ部１８から現在時刻を取得し（ステップＳ１Ａ）、現在時刻において、予め登録された１つの特定領域が有効であるか否かを判別する（ステップＳ１Ｂ）。有効でない場合、ステップＳ４の処理に移行する。一方、特定領域が有効である場合、３次元座標上で、この特定領域と撮像領域とが重なるか否かを判別する（ステップＳ２）。判別の結果、重ならない場合、ステップＳ４の処理に進む。一方、ステップＳ２で特定領域と撮像領域とが重なる場合、特定領域のうち、重なる部分の３次元座標を画素座標に変換する（ステップＳ３）。この特定領域の重なり部分を示す３次元座標（Ｐａｎ，Ｔｉｌｔ）は、前述した数式（２）に従って、画面上の画素座標（ｘ，ｙ）に変換される。

そして、特定領域の重なり部分を表す、変換された画素座標（ｘ，ｙ）を重なり領域記憶部２３ｂに記憶した後、特定領域管理部１３に登録された全ての特定領域に対して処理したか否かを判別する（ステップＳ４）。全ての特定領域に対して処理していない場合、ステップＳ２の処理に戻り、一方、全ての特定領域に対して処理している場合、本処理を終了する。

このように、第３の実施形態の自動追尾装置によれば、日時、曜日、時間帯等によって交通量、風向き、照明等の環境が変わる場合であっても、特定領域を適切に設定することができる。これにより、誤動作を低減し、安定した自動追尾を行うことができる。なお、上記実施形態では、タイマ部は現在時刻を報知するものであったが、現在日時や曜日等の日付、時間帯を報知するものであってもよい。また、第２の実施形態の自動追尾装置と同様、特定領域を自動的に登録する際にも適用可能である。

（第４の実施形態）
第４の実施形態の自動追尾装置のハードウェア構成および機能的構成は前記第１の実施形態と同一であるので、その説明を省略する。ここでは、前記第１の実施形態における自動追尾処理（図５参照）と異なる、第４の実施形態の自動追尾処理に関するものだけ説明する。

図１１は第４の実施形態における自動追尾処理手順を示すフローチャートである。この処理プログラムは、ＲＯＭ２２に格納されており、ＣＰＵ２１によって所定周期毎に実行される。まず、前回検出された追尾対象が特定領域内にあるか否かを判別する（ステップＳ５１）。つまり、フラグ記憶部２３ｃに記憶されたフラグＦが値１であるか否かを判別する。フラグＦが値１であって、追尾対象が特定領域内にあると判別された場合、特定領域近傍を探索領域に設定する（ステップＳ５２）。この設定された探索領域内でテンプレートマッチングだけを行い、追尾対象を抽出するマッチング優先処理を行う（ステップＳ５３）。このマッチング優先処理では、前述した第１の実施形態のステップＳ１６〜Ｓ２０の処理が行われる。

一方、ステップＳ５１でフラグＦが値０であって、追尾対象が特定領域内に無いと判別された場合、同様に、特定領域を含まない所定範囲の撮像領域を探索領域に設定する（ステップＳ５４）。この設定された探索領域内でフレーム間差分およびテンプレートマッチングを行って、追尾対象を抽出するフレーム間差分マッチング併用処理を行う（ステップＳ５５）。このフレーム間差分マッチング併用処理では、前述した第１の実施形態のステップＳ１４〜Ｓ２１の処理が行われる。

ステップＳ５３、Ｓ５５の処理を行った後、前記第１の実施形態と同様の追尾制御処理を行い（ステップＳ５６）、本処理を終了する。

このように、第４の実施形態の自動追尾装置によれば、特定領域内では、マッチングによる「相関の強さ」を優先させる処理を行うことにより、画像処理の困難な特定領域内に移動物体が入っても、追尾が不能になることなく、その追尾を継続することができる。なお、ステップＳ５３のマッチング優先処理では、フレーム間差分による「動き」を用いることなく、マッチングによる「相関の強さ」だけを用いたが、動き・相関合成を行ってもよい。この場合、前述した数式（３）に示す動き・相関合成値を用いる際、「相関の強さ」の寄与度が大きくなるようなｎの値に設定すればよい。また、特定領域内では、マッチングに使用されるテンプレート画像の更新を停止し、特定領域に入る前のテンプレート画像をそのまま使用して追尾することが望ましい。

なお、本発明は、上記実施形態に限定されるものではなく、種々の変更が可能である。例えば、上記実施形態では、追尾対象の一部が特定領域と重なった場合、すぐさま追尾対象の検出処理を切り替えていたが、追尾対象が特定領域に完全に内包された場合、追尾対象の１／２が特定領域と重なった場合など、任意の重なり具合で追尾対象の検出処理を切り替えるようにしてもよい。

また、上記実施形態の自動追尾装置では、撮像部と制御部とが別体に構成されていたが、モニタ付きの装置として一体に構成されてもよい。また、上記実施形態では、３次元座標として、パン角、チルト角を有する３次元座標（極座標）を用いたが、Ｘ軸、Ｙ軸、Ｚ軸からなる直交座標を用いてもよい。

本発明は、画像処理の困難な被写体、遮蔽物などがあっても、誤動作を低減して安定した自動追尾を行うことが可能となる効果を有し、撮像手段によって撮影された画像を入力し、入力画像中の移動物体を追跡する自動追尾装置及び自動追尾方法等に有用である。

本発明の実施形態に係る自動追尾装置の外観を示す図 本実施形態の自動追尾装置のハードウェア構成を示すブロック図 第１の実施形態の自動追尾装置の機能的構成を示す図 第１の実施形態の特定領域管理部における重なり領域判定処理手順を示すフローチャート 第１の実施形態の自動追尾処理手順を示すフローチャート 第１の実施形態における追尾制御処理手順を示すフローチャート 本実施形態において追尾対象を検出する様子を示す図 第２の実施形態における特定領域登録処理手順を示すフローチャート 第３の実施形態における自動追尾装置の機能的構成を示す図 第３の実施形態の特定領域管理部における重なり領域判定処理手順を示すフローチャート 第４の実施形態における自動追尾処理手順を示すフローチャート

符号の説明

１ 自動追尾装置
８ カメラ
１０ 撮像部
１１ 回転台
１２ 特定領域指定部
１３ 特定領域管理部
１４ 移動物体検出部
１５ 撮像領域制御部
１８ タイマ部
２０ 制御部
２１ ＣＰＵ
２２ ＲＯＭ

Claims (7)

1. 撮像手段によって撮影された画像を入力し、入力画像中の移動物体を追跡する自動追尾装置であって、
   前記撮像手段によって撮像される撮像領域を指定する撮像領域指定手段と、
   前記撮像領域の画像から移動物体を検出する移動物体検出手段と、
   前記移動物体の検出結果を基に、前記撮像領域指定手段によって指定される撮像領域を制御する撮像領域制御手段と、
   特定領域を登録する特定領域登録手段と、
   前記登録された特定領域に前記移動物体が重なっているか否かを判定する重なり判定手段と、
   前記特定領域に前記移動物体が重なっている場合、前記移動物体検出手段による移動物体の検出処理を切り替える検出処理切替手段と
   を備える自動追尾装置。
2. 前記撮像手段によって撮影された撮像領域の画像中の動き検出を行い、この動き検出結果を基に、前記特定領域を自動的に指定する特定領域指定手段を備え、
   前記特定領域登録手段は、前記指定された特定領域を登録する請求項１に記載の自動追尾装置。
3. 時刻情報を報知するタイマ手段を備え、
   前記特定領域登録手段は、前記特定領域を時刻情報に関連付けて登録し、
   前記重なり判定手段は、前記報知された時刻情報を基に、前記特定領域が有効であるか否かを判別し、有効であると判別された特定領域に前記移動物体が重なっているか否かを判定する請求項１または２に記載の自動追尾装置。
4. 前記検出処理切替手段は、前記移動物体が前記特定領域に入った場合、この特定領域内で前記移動物体検出手段による移動物体の検出を停止し、
   前記移動物体検出手段は、前記移動物体が再び現れるまで前記特定領域の周囲を監視する請求項１ないし３のいずれかに記載の自動追尾装置。
5. 前記検出処理切替手段は、前記移動物体が前記特定領域と重なっていない場合、前記移動物体検出手段による移動物体の検出処理として、フレーム間差分による動き検出方式と、テンプレート画像との類似度を基に移動物体を検出するマッチング方式とを併用し、前記移動物体が前記特定領域と重なっている場合、前記マッチング方式を優先させる請求項１ないし３のいずれかに記載の自動追尾装置。
6. 撮像手段によって撮影された画像を入力し、入力画像中の移動物体を追跡する自動追尾方法であって、
   前記撮像手段によって撮像される撮像領域を指定する撮像領域指定ステップと、
   前記撮像領域の画像から移動物体を検出する移動物体検出ステップと、
   前記移動物体の検出結果を基に、前記指定される撮像領域を制御する撮像領域制御ステップと、
   特定領域を登録する特定領域登録ステップと、
   前記登録された特定領域に前記移動物体が重なっているか否かを判定する重なり判定ステップと、
   前記特定領域に前記移動物体が重なっている場合、前記移動物体検出ステップにおける移動物体の検出処理を切り替える検出処理切替ステップと
   を有する自動追尾方法。
7. 請求項１ないし５のいずれかに記載の自動追尾装置の各手段の機能をコンピュータにより実現させるためのプログラム。

Images