JP2008113423A - 追尾装置、撮像装置、および追尾方法 - Google Patents

Abstract

【課題】被写体追尾性能を向上させる。
【解決手段】追尾装置は、光学系による画面内の画像情報を取得する撮像素子と、画像情報に基づいて画面内の対象を追尾する追尾手段と、画面内に設定された少なくとも一つの焦点検出領域に関する光学系の焦点調節状態を検出する焦点検出手段と、対象の画面内の位置に対応する焦点検出領域での焦点調節状態に基づいて、光学系の焦点調節を行う焦点調節手段と、追尾手段による追尾結果に基づいて、対象を追尾できたか否かを判定する判定手段と、判定手段による判定結果に基づいて焦点調節を禁止する制御手段とを備える。
【選択図】図２

Description

本発明は追尾装置、撮像装置、および追尾方法に関する。

撮影した画像の中の、撮影者が指定した領域の画像をテンプレート画像とし、その後に繰り返し撮像される画像の中からパターンマッチング法によりテンプレート画像と一致する画像を検索し、テンプレート画像と一致する領域を撮影者の意図する主要被写体領域と見なし、主要被写体を追尾するようにした追尾装置が知られている（特許文献１参照）。

特開２００６−０５８４３１号公報

しかしながら、上述した従来の追尾装置では、テンプレート画像を用いたパターンマッチングにより被写体追尾を行っているので、例えば追尾対象の被写体の手前を他の物体が横切るようなことがあると、追尾対象の被写体を見失ったり、別な被写体を追尾対象と誤認することがある。

請求項１の発明は、追尾装置に適用され、光学系による画面内の画像情報を取得する撮像素子と、画像情報に基づいて画面内の対象を追尾する追尾手段と、画面内に設定された少なくとも一つの焦点検出領域に関する光学系の焦点調節状態を検出する焦点検出手段と、対象の画面内の位置に対応する焦点検出領域での焦点調節状態に基づいて、光学系の焦点調節を行う焦点調節手段と、追尾手段による追尾結果に基づいて、対象を追尾できたか否かを判定する判定手段と、判定手段による判定結果に基づいて焦点調節を禁止する制御手段とを備えることを特徴とするものである。
請求項２の発明は、請求項１に記載の追尾装置において、焦点検出領域は、画面内に複数設定されており、追尾手段は、画面内の画像情報と対象の画像情報との差分量を算出し、差分量に基づいて対象の位置を追尾することを特徴とするものである。
請求項３の発明は、請求項１に記載の追尾装置において、焦点検出領域は、画面内に複数設定されており、追尾手段は、画面内の画像情報と対象の画像情報との差分量を算出し、差分量が最も少ない領域を対象が位置する領域として追尾することを特徴とするものである。
請求項４の発明は、請求項１〜３のいずれか１項に記載の追尾装置において、追尾手段は、画面内の画像情報と対象の画像情報とを照合し、判定手段は、照合結果に基づいて対象を追尾できたか否かを判定することを特徴とするものである。
請求項５の発明は、請求項１〜４のいずれか１項に記載の追尾装置において、追尾手段は、画面内の画像情報と対象の画像情報とを比較し、判定手段は、画面内の画像情報と対象の画像情報とが一致している割合に基づいて対象を追尾できたか否かを判定することを特徴とするものである。
請求項６の発明は、請求項１〜５のいずれか１項に記載の追尾装置において、制御手段は、判定手段によって対象を追尾できなかったと判定された場合に焦点調節を禁止することを特徴とするものである。
請求項７の発明は、請求項１〜６のいずれか１項に記載の追尾装置において、判定手段は、画面内の画像情報と対象の画像情報とを照合した照合結果と、対象の位置に対応する焦点検出領域での焦点調節状態とに基づいて焦点調節を禁止するか否かを判定することを特徴とするものである。
請求項８の発明は、請求項１〜７のいずれか１項に記載の追尾装置において、制御手段は、焦点調節の禁止後に、対象が追尾できたと判定された場合に焦点調節の禁止を解除することを特徴とするものである。
請求項９の発明は、請求項１〜７のいずれか１項に記載の追尾装置において、制御手段は、焦点調節の禁止後に対象が追尾できたと判定された場合、焦点調節の禁止後の対象の位置に対応する焦点検出領域での焦点調節状態に基づいて光学系の焦点調節を行うことを特徴とするものである。
請求項１０の発明は、請求項１〜９のいずれか１項に記載の追尾装置において、制御手段は、焦点調節の禁止後に、対象を追尾できない状態が所定時間継続した場合に焦点調節の禁止を解除することを特徴とするものである。
請求項１１の発明は、請求項１〜１０のいずれか１項に記載の追尾装置において、焦点調節手段は、焦点調節の禁止後に焦点調節の禁止を解除した場合、焦点調節の禁止を開始する前の対象の位置に対応する焦点検出領域での焦点調節状態に基づいて光学系の焦点調節を行うことを特徴とするものである。
請求項１２の発明は、請求項１〜１１のいずれか１項に記載の追尾装置において、追尾手段は、画面内に設定された検索領域内で対象を追尾し、検索領域は、判定手段による判定結果に基づいて変更可能であることを特徴とするものである。
請求項１３の発明は、請求項１〜１２のいずれか１項に記載の追尾装置において、追尾手段は、画面内に設定された検索領域内で対象を追尾し、対象の位置が検索領域の範囲内にない場合は検索領域を拡大して対象の追尾を行うことを特徴とするものである。
請求項１４の発明は、請求項１〜１３のいずれか１項に記載の追尾装置において、追尾手段は、画面内に設定された検索領域内で対象の追尾をし、検索領域は、対象の位置が検索領域の範囲内にない場合、対象の位置の画面内での移動方向を予測し、予測した移動方向に検索領域を変更することを特徴とするものである。
請求項１５の発明は、請求項１〜１４のいずれか１項に記載の追尾装置において、画像情報は対象の色または輝度であることを特徴とするものである。
請求項１６の発明は、撮像装置に適用され、請求項１〜１５のいずれか１項に記載の追尾装置を備えることを特徴とするものである。
請求項１７の発明は、請求項１６に記載の撮像装置において、撮像素子は、画像情報を取得して画面内の画像を記録するための第一撮像素子と、追尾手段が対象の位置を追尾するための画像情報を取得する第二撮像素子とを有することを特徴とするものである。
請求項１８の発明は、追尾方法に適用され、光学系による画面内の画像情報を取得し、画像情報に基づいて画面内の対象を追尾し、画面内に設定された少なくとも一つの焦点検出領域に関する光学系の焦点調節状態を検出し、対象の位置に対応する焦点検出領域での焦点調節状態に基づいて、光学系の焦点調節を行い、対象を追尾できたか否かを判定し、判定の結果に基づいて焦点調節を禁止することを特徴とするものである。
請求項１９の発明は、請求項１８に記載の追尾方法において、画面内の画像情報と対象の画像情報とを照合し、照合の結果に基づいて対象が追尾できたか否かを判定することを特徴とするものである。
請求項２０の発明は、請求項１８又は１９に記載の追尾方法において、画面内の画像情報と対象の画像情報とを比較し、画面内の画像情報と対象の画像情報とが一致している割合に基づいて対象が追尾できたか否かを判定することを特徴とするものである。
請求項２１の発明は、請求項１８〜２０のいずれか１項に記載の追尾方法において、画面内の画像情報と対象の画像情報とを照合した照合結果と、対象の位置に対応する焦点検出領域での焦点調節状態とに基づいて焦点調節を禁止するか否かを判定することを特徴とするものである。

本発明によれば、追尾対象の被写体に対する追尾性能を向上させることができる。

図１は、一実施の形態の被写体追尾装置を備えた撮像装置（一眼レフディジタルスチルカメラ）の構成を示す。カメラ本体１０には交換レンズ１１が交換可能に装着されている。カメラ本体１０には、被写体像を撮像して画像を記録するための第１撮像素子１２が設けられている。この第１撮像素子１２はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー１３が実線で示す撮影光路外の位置に退避してシャッター１４が開放され、撮影レンズ１５により第１撮像素子１２の受光面に被写体像が結像される。

カメラ本体１０の底部には、撮影レンズ１５の焦点調節状態を検出するための焦点検出光学系１６と測距素子１７が設けられている。この一実施の形態では、瞳分割位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系１６は、撮影レンズ１５を通過した一対の焦点検出用光束を測距素子１７の受光面へ導き、一対の光像を結像させる。測距素子１７は例えば一対のＣＣＤラインセンサーを備え、一対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー１３が破線で示すような撮影光路内の位置に設定されており、撮影レンズ１５からの焦点検出用光束がクイックリターンミラー１３のハーフミラー部を透過し、サブミラー１８により反射されて焦点検出光学系１６および測距素子１７へ導かれる。

カメラ本体１０の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー１３が破線で示す位置にあり、撮影レンズ１５からの被写体光は焦点板２０へ導かれ、焦点板２０上に被写体像が結像する。液晶表示素子２１は、焦点板２０上に結像された被写体像に焦点検出位置や露出値などの種々の情報を重畳して表示する。焦点板２０上の被写体像はペンタダハプリズム２２および接眼レンズ２３を介して接眼窓２４へ導かれ、撮影者が被写体像を視認することができる。

また、カメラ本体上部のファインダー光学系には、被写体追尾や測光のために被写体像を撮像する第２撮像素子２５が設けられている。この第２の撮像素子２５については詳細を後述する。焦点板２０に結像した被写体像は、ペンタダハプリズム２２、プリズム２６および結像レンズ２７を介して第２撮像素子２５の受光面に再結像される。第２撮像素子２５は被写体像に応じた画像信号を出力する。

カメラ本体１０にはまた、操作部材２８、制御装置２９、レンズ駆動装置３０が設けられる。操作部材２８には、シャッターボタンや焦点検出エリア選択スイッチなどのカメラを操作するためのスイッチやセレクターが含まれる。制御装置２９はＣＰＵとその周辺部品から構成され、カメラの各種制御と演算などを行う。また、レンズ駆動装置３０はモーターと駆動回路から構成され、撮影レンズ１５の焦点調節を行う。

図２は制御装置２９の詳細な構成を示す。なお、本願発明と直接関係のない制御機能については図示と説明を省略する。制御装置２９はＣＰＵのソフトウエア形態により構成される各種制御部を備えている。ＣＣＤ制御部３１は第２撮像素子２５の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換部３２は、第２撮像素子２５から出力されるアナログ画像信号をデジタル画像信号に変換する。露出演算部３３は、第２撮像素子２５により撮像した画像信号に基づいて露出値を演算する。タイマー３８は、時計機能を有するとともに経過時間の計測に使用される。

焦点検出演算部３４は、測距素子１７から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ１５の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ１５の撮影画面内には複数の焦点検出エリアが設定されており、測距素子１７は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部３４は焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。レンズ駆動量演算部３５は検出されたデフォーカス量をレンズ駆動量に変換する。レンズ駆動装置３０は、レンズ駆動量にしたがって撮影レンズ１５のフォーカシングレンズ（不図示）を駆動し、焦点調節を行う。

追尾制御部３６は、第２撮像素子２５により撮像した被写体像の内、撮影者が手動で指定した追尾対象領域、あるいはカメラが自動で設定した追尾対象領域の画像をテンプレート画像として記憶部３７に記憶するとともに、焦点検出演算部３４に対しその追尾対象領域における撮影レンズ１５のデフォーカス量を検出するよう制御する。そして、その後に繰り返し撮像される画像の中からテンプレート画像と一致する画像領域を検索するとともに、テンプレート画像と一致する画像領域に対応した位置における撮影レンズ１５のデフォーカス量を検出し、前回の追尾対象領域と今回の画像領域のデフォーカス量に大きな変化がなければ今回の画像領域を新追尾対象領域とする。このような手順を繰り返し、特定の被写体を追尾する。記憶部３７は、追尾制御部３６による追尾動作中のテンプレート画像やデフォーカス量などの情報、あるいは撮影レンズ１５の焦点距離、開放Ｆ値、絞り値、像ズレ量／デフォーカス量の変換係数などのレンズ情報を記憶する。

図３は第２撮像素子２５の詳細な構成を示す正面図である。第２撮像素子２５は、マトリクス状に配列された複数の画素（光電変換素子）４０（ここでは横１６個×縦１２個＝１９２個）を備えている。各画素４０は図４に示すように３個の部分４０ａ、４０ｂ、４０ｃに分割され、これらの部分４０ａ、４０ｂ、４０ｃにはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素４０ごとに被写体像のＲＧＢ信号を出力することができる。

次に、一実施の形態の被写体追尾動作を説明する。図５〜図６は一実施の形態の被写体追尾方法を説明するための図、図７〜図１０は一実施の形態の被写体追尾処理を示すフローチャートである。制御装置２９は、第２撮像素子２５により撮像した被写体像の内、撮影者が手動で追尾対象領域を指定するか、あるいはカメラが自動で追尾対象領域を設定した後、操作部材２８のシャッターボタンを半押しすると、被写体追尾処理を開始する。

なお、シャッターボタンを全押しして撮影を行うとき以外は、クイックリターンミラー１３は図１に破線で示す撮影光路内に設定されており、撮影レンズ１５から入射した被写体光は焦点板２０上に結像される。そして、焦点板２０上の被写体像はペンタダハプリズム２２、プリズム２６および結像レンズ２７を介して第２撮像素子２５へ導かれ、第２撮像素子２５から被写体像が繰り返し出力される。

撮影レンズ１５の撮影画面には複数の焦点検出エリアが設定されており、液晶表示素子２１により焦点板２０上の被写体像にエリアマークを重畳し、各焦点検出エリアの位置を表示する。この一実施の形態では、図５に示すように、撮影画面内の１１カ所に焦点検出エリア４５ａ〜４５ｋが設定された例を示す。また、操作部材２８の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマークが点灯表示される。

被写体像に対応する焦点検出エリア４５ｆを操作部材２８の焦点検出エリア選択スイッチにより選択し、この状態で操作部材２８のシャッターボタンを半押しすることによって、追尾対称の被写体を指定することができる。また、この半押し操作に応じて制御装置２９は被写体追尾処理を開始する。

図７のステップ１において、第２撮像素子２５により追尾初期画像（被写体追尾処理を開始して最初に取得する画像）を取得するとともに、測距素子１７により選択焦点検出エリア（ここでは、４５ｆ）に対応する一対の光像を取得する。続くステップ２では、測距素子１７により取得した焦点検出エリア４５ｆに対応する一対の光像に基づいて焦点検出エリア４５ｆのデフォーカス量（撮影レンズ１５の焦点調節状態）を検出する。ステップ３で、選択された焦点検出エリア４５ｆに対して検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動装置３０により撮影レンズ１５を駆動して焦点調節を行う。

ステップ４において、図８に示す追尾制御の初期処理を実行する。図８のステップ１０１において、追尾初期画像の中の焦点検出エリア４５ｆに対応する領域の画像の被写体色情報を記憶する。ステップ１０２では、図５（ａ）に示すように、追尾初期画像の中の焦点検出エリア４５ｆの周辺部において被写体色情報と同様な色情報を示す同色情報領域を検出し、続くステップ１０３で同色情報領域を初期の追尾被写体領域４７とする。ステップ１０４において、追尾初期画像の中の追尾被写体領域４７の画像を以降の追尾処理に用いるテンプレート画像４８（図５（ｂ）参照）として記憶部３７に記憶し、ステップ１０５で追尾被写体領域４７を前後左右に所定画素（ここでは２画素とする）づつ拡大した領域を探索領域４９とする。

追尾制御の初期処理を終了したら図７のステップ５へ進み、操作部材２８のシャッターボタンが全押しされたか否か、つまりシャッターレリーズ操作が行われたか否かを確認する。シャッターレリーズ操作がない場合はステップ６へ進み、第２撮像素子２５から追尾次画像（図６（ａ）参照）を取得するとともに、測距素子１７により各焦点検出エリア４５ａ〜４５ｋごとに焦点検出用の対の光像を取得する。そして、その対の光像に基づいて焦点検出演算部３４により各焦点検出エリア４５ａ〜４５ｋごとにデフォーカス量（撮影レンズ１５の焦点調節状態）を検出する。

ステップ７において、図９に示す追尾演算処理を行う。図９のステップ２０１において、追尾次画像（図６（ａ）参照）の中の探索領域４９からテンプレート画像４８と同じサイズの領域を順次切り出し、切り出した画像とテンプレート画像４８とを対比し、画素ごとに色相Ｂ／Ｇ、Ｒ／Ｇの差を演算する。そして、画素ごとの色相差を色相ごとに合計し、色相ごとに合計した色相差を切り出し画像毎に合計する。画素ごとの色相Ｂ／Ｇ、Ｒ／Ｇの差を求める場合は、第２撮像素子２５から出力される生の画像信号を用いて演算することができるため、生の画像信号に対するホワイトバランスやフィルター処理などの前処理を必要とせず、追尾処理の簡素化を図ることができる。なお、色相差に代えて画素ごとの色の差を演算するようにしてもよい。このように、図９の処理では、色相差や色差を使用するので、色による追尾処理と言える。

追尾次画像の探索領域４９においてテンプレート画像４８との差分演算が終了したらステップ２０２へ進み、色相差の合計値が最も小さい（以下最小色相差と言う）領域を検索し、最小色相差の領域における色相差が予め設定したしきい値以下か否かを判別する。このしきい値は、最小色相差の領域の被写体が追尾対象被写体か否かを判定するための基準値であり、最小色相差がしきい値以下の場合は探索領域４９内に追尾初期画像で指定した追尾被写体が存在すると予測できる。

このしきい値は、各種の実験やシミュレーションにより適切な値が決められる。なお、しきい値は固定値であってもよいが、動的に変化する値であってもよい。例えば、追尾被写体の移動量に応じて閾値を変化させるなど。また、撮影モードによって値を変えるようにしてもよい。例えば、追尾被写体の移動量が大きいスポーツシーンを撮影するモードでは閾値を大きくするなど。また、テンプレート画像４８の絵柄、すなわちＲＧＢ値に基づき変化させるようにしてもよい。さらには、最小色相差の履歴などによって変化させるようにしてもよい。

なお、切り出した画像とテンプレート画像４８の色相差が小さいということは、切り出した画像とテンプレート画像４８とが一致している割合がおおきいことを意味している。一方、色相差が大きいということは切り出した画像とテンプレート画像４８とが一致している割合が小さい、言い換えれば一致していない割合がおおきいことを意味している。このように、切り出した画像とテンプレート画像４８とが一致している割合に基づいて追尾被写体を追尾できたか否かを判定している。

最小色相差がしきい値以下のときはステップ２０３へ進み、図６（ａ）に示すように、追尾次画像における最小色相差の領域を新しい追尾被写体領域４７に決定する。続くステップ２０４において、テンプレート画像４８の更新を行う。この一実施の形態では、元のテンプレート画像４８の色情報や輝度情報などの画像情報の例えば８０％に、新追尾被写体領域４７の画像情報の２０％を加えて新しいテンプレート画像４８を生成する。なお、追尾被写体を見失った場合には、元のテンプレート画像４８をそのまま用いるか、あるいは新追尾被写体領域４７の画像をテンプレート画像４８としてもよい。ステップ２０６において、新追尾被写体領域４７を前後左右に所定画素（ここでは２画素とする）づつ拡大した領域を新探索領域４９とする。

一方、ステップ２０２で最小色相値がしきい値より大きいときはステップ２０５へ進み、図６（ｂ）に示すように、探索領域４９内において追尾被写体が別の被写体に隠れるなどして追尾被写体を見失ったと判断し、“被写体消失フラグ”をセットする。ステップ２０６において、追尾被写体を見失ったのであるから探索領域４９を上述のように２画素ずつ拡大させた領域としてもよいし、さらに広げてもよい。例えば追尾被写体領域４７の前後左右に所定画素（ここでは３〜４画素とする）づつ拡大した領域を新探索領域４９とする。探索領域４９を広げることによって、追尾被写体をふたたび補足できる可能性が高くなる。

なお、探索領域４９の拡大は、上記のように相似形状で拡大（比例拡大）するようにしてもよいし（図１１（ａ））、追尾の履歴などから追尾被写体の移動方向を予測して移動方向（矢印の方向）へのみ拡大するようにしてもよい（図１１（ｂ））。また、探索領域４９を予測した追尾被写体の移動方向（矢印の方向）へそのままの形状でシフトするようにしてもよい（図１１（ｃ））。さらには、探索領域４９を全画面に変更するようにしてもよい（図１１（ｄ））。すなわち、探索領域４９を、拡大したり、シフトしたり、全画面へ変更したりなどすることにより、新たな探索領域４９’へ変更することができる。図１１（ａ）〜１１（ｄ）は、探索領域４９を新たな探索領域４９’へ変更する様子を示す図である。

図９に示す追尾演算処理が終了したら図７のステップ８へリターンし、図１０に示す焦点調節制御処理を実行する。ステップ３０１において、“被写体消失フラグ”がセットされているか否かを確認し、セットされている場合はタイマー３８を起動してステップ３０６へ進む。すでにタイマー３８が起動されている場合は、そのままステップ３０６へ進む。

ステップ３０１において追尾被写体を見失っていないと判定すると、ステップ３０３へ進む。前にステップ３０１において追尾被写体を見失ったとしてタイマー３８が起動されている場合は、ここでタイマー３８を停止してリセットする。後述するステップ３０３においてデフォーカス量の差がしきい値を超えているとしてタイマー３８が起動されている場合は、そのまま計測を継続する。なお、ここでタイマー３８をリセットしステップ３０３へ進むということは、焦点調節の禁止後に追尾被写体が再度追尾できたと判定され、追尾被写体を見失ったことによる焦点調節の禁止を解除することを意味する。

ステップ３０３において、前回の被写体領域４７の位置の焦点検出エリアで検出したデフォーカス量と、今回の被写体領域４７の位置の焦点検出エリアで検出したデフォーカス量とを比較し、両者の差が予め設定したしきい値以下か否かを判別する。このしきい値は、前回の被写体領域内の追尾被写体と今回の被写体領域内の追尾被写体とを同一の被写体と判定するための基準値である。

デフォーカス量の差がしきい値以下で前回と同一の追尾被写体を捕捉していると判定された場合はステップ３０４へ進む。この場合、タイマー３８が起動されている場合はタイマー３８を停止してリセットする。ステップ３０４において、ステップ６（図７）で検出した今回の被写体領域４７におけるデフォーカス量に基づいてレンズ駆動量を演算し、レンズ駆動装置３０を制御して撮影レンズ１５の焦点調節制御を行う。一方、デフォーカス量の差がしきい値を超えており、今回補足した被写体が前回の被写体と同一ではないと判定されたときはタイマー３８を起動しステップ３０６へ進む。すでにタイマー３８が起動されている場合は、そのままステップ３０６へ進む。

ステップ３０６では、タイマー３８が起動されてから所定時間経過したかどうかを判定する。タイマー３８が所定時間経過していると判定するとステップ３０７へ進み、まだ所定時間経過していないと判定するとステップ３０５へ進む。ステップ３０５では、撮影レンズ１５の焦点調節制御を禁止し（ＡＦロック）、図７の処理に戻る。

一方、ステップ３０６でタイマー３８が所定時間経過したと判定するとステップ３０７へ進む。ステップ３０７では、タイマー３８をリセットし、前回の焦点調節制御処理で使用していた焦点検出エリアを使用して焦点検出を行いデフォーカス量を求める。ステップ３０８では、ステップ３０７で求めたデフォーカス量に基づいてレンズ駆動量を演算し、レンズ駆動装置３０を制御して撮影レンズ１５の焦点調節制御を行う。その後、図７の処理に戻る。

上記所定時間は、カメラ固有に予め設定していてもよいし、撮影者が設定できるようにしてもよい。例えば、操作部材２８を使用して設定できるようにしてもよいし、操作部材２８とメニュー画面（不図示の液晶表示装置へ表示）との組み合わせで設定できるようにしてもよい。所定時間は、例えば０．２秒〜１秒の間で撮影者が設定できるようにしてもよいし、０．５秒〜１秒の間でカメラ固有に設定するようにしてもよい。

以上のように、本実施の形態では、追尾被写体を見失ったと判定した場合、あるいは、前回の被写体に対するデフォーカス量と今回の被写体に対するデフォーカス量との差が予め設定したしきい値を越えたと判定した場合、所定時間の間焦点調節制御を禁止（ＡＦロック）するようした。そして、焦点調節制御を禁止（ＡＦロック）してから所定時間経過した場合は前回の焦点調節制御処理で使用した焦点検出エリアを使用して焦点調節を再開（ＡＦロックの解除）するようにした。

これにより、追尾処理が完全に停止してしまうことがない。また、追尾被写体が一時的に別の被写体に隠れるなどして追尾処理ができなくなった場合でも、追尾被写体が再度同じ場所近辺に現われる可能性が高い。このような場合には、即座にかつ正確に以前追尾していた追尾被写体の追尾を再開することができる。

図７のステップ５で操作部材２８のシャッターボタンが全押しされた場合はステップ９へ進み、交換レンズ１１の絞り（不図示）の設定、クイックリターンミラー１３の交換レンズ１１の撮影光路からの退避、シャッター１４の開閉制御、第１撮像素子１２の電荷蓄積および電荷読み出し制御、撮像画像処理、画像記録などの一連の撮影制御を行う。なお、撮影制御に関しては本願発明と直接関係がないので詳細な説明を省略する。

上述したように、一実施の形態によれば、追尾被写体のテンプレート画像を用いて検索した追尾被写体領域の位置に対応する焦点検出エリアのデフォーカス量に基づいて、撮影レンズの焦点調節制御を禁止するか否かを判定するようにしたので、例えば追尾対象の被写体の手前を他の物体が横切るようなことがあっても、不用意に他の物体に対して焦点調節して追尾対象の被写体を見失ったり、追尾対称と類似した色相を有する別な被写体を追尾対象と誤認して焦点調節するような事態を防止することができ、追尾対象の被写体に対する追尾性能を向上させることができる。

図１２（ａ）、１２（ｂ）は、この様子を説明する図である。図１２（ａ）において、追尾被写体領域４７を使用して被写体Ａが追尾されているとする。被写体Ａは図右方向へ移動し被写体Ｂは図左方向へ移動しているとし、被写体Ａおよび被写体Ｂともに同じような色の服を着ているとし、被写体Ｂは被写体Ａよりもカメラ側手前に位置しているものとする。図１２（ｂ）に示されるように、被写体Ａの手前を被写体Ｂが横切って重なったとき、被写体Ａは被写体Ｂの後ろに隠れてしまったとする。

このような場合、図９のステップ２０２では、被写体Ｂは被写体Ａと同じような色の服を着ているため、最小色相差がしきい値以下であると判定されてしまい、探索領域４９内に追尾被写体が存在すると判定されてしまう場合がある。

しかし、本実施の形態では、図１０のステップ３０３において、前回の被写体領域４７の位置の焦点検出エリア４５ｉ（図１２（ａ））で検出したデフォーカス量と、今回の被写体領域４７の位置の焦点検出エリア４５ｊ（図１２（ｂ））で検出したデフォーカス量とを比較し、両者の差が予め設定したしきい値以下か否かを判別するようにしている。これにより、前回の被写体Ａに対するデフォーカス量と今回の被写体Ｂに対するデフォーカス量とは明らかに異なるので、図１０のステップ３０３ではステップ３０６へ進むようになる。そして、タイマー３８が起動されてから所定時間が経過するまではステップ３０５で焦点調節制御が禁止され、被写体Ｂに誤って合焦されてしまうことがなくなる。

また、一実施の形態によれば、撮影レンズによる画面内の画像情報と追尾被写体のテンプレート画像の画像情報とを照合し、照合結果に基づいて追尾被写体が追尾する位置から外れたか否かを判定するようにしたので、追尾被写体の消失の有無を正確に判定することができる。

さらに、一実施の形態によれば、撮影レンズによる画面内に追尾被写体を探索するための探索領域を設定して探索領域内で追尾被写体を検索し、追尾被写体が探索領域から外れた場合は探索領域を拡大して追尾被写体の検索を行うようにしたので、追尾被写体をふたたび捕捉できる可能性が高くなる。

なお、上述した一実施の形態では、焦点検出エリア選択スイッチにより追尾対象の被写体に対応する焦点検出エリアを選択することによって、追尾対象被写体を手動で指定する例を示したが、制御装置２９により自動で指定するようにしてもよい。例えば、複数の焦点検出エリアで検出したデフォーカス量の内の最至近のデフォーカス量のエリアで補足している被写体を追尾対象被写体としてもよいし、人物の顔認識技術を利用して追尾対象被写体を指定するようにしてもよい。

また、上述した一実施の形態では、撮影レンズ１５の焦点調節状態を検出する方法として瞳分割位相差検出方式を用いた例を示したが、コントラスト方式により撮影レンズ１５の焦点調節状態を示す焦点評価値を検出するようにしてもよい。

さらに、上述した一実施の形態では、追尾対象被写体として指定した焦点検出エリアに対応する画像領域の被写体の色情報により、同色情報領域を追尾被写体領域として設定する例を示したが、処理の簡素化を図るために色情報に関係なく焦点検出エリアに対応する例えば４×４画素の領域を追尾被写体領域としてもよい。あるいは、撮影レンズの焦点距離が短い場合は広い領域、焦点距離が長い場合は狭い領域というように、撮影レンズの焦点距離に応じた像倍率により追尾被写体領域の大きさを変えるようにしてもよい。

また、上述した一実施の形態では被写体色情報に基づいて追尾被写体領域を決定する例を示したが、被写体の色情報に輝度情報を加えた情報に基づいて追尾被写体領域を決定するようにしてもよい。

上述した一実施の形態では、図１０に示すように、色による追尾処理で追尾被写体を見失った場合、所定時間の間焦点調節制御を禁止（ＡＦロック）するようにした。しかし、色による追尾処理で追尾被写体を見失った場合でも、前回の被写体領域４７の位置の焦点検出エリアで検出したデフォーカス量と、所定の焦点検出エリア（後述）で検出したデフォーカス量との差が予め設定したしきい値以下であれば、追尾被写体を見失っていないとして、その所定の焦点検出エリアのデフォーカス量を使用して焦点調節制御するようにしてもよい。

図１３は、図１０の焦点調節制御の変形例を示すフローチャートである。図１０と同様な処理のステップには同じステップ番号を付す。図１３のステップ３０１において、“被写体消失フラグ”がセットされているか否かを確認し、セットされている場合はステップ３０９へ進む。ステップ３０９では、所定の焦点検出エリアでデフォーカス量を検出し、前回の被写体領域４７の位置の焦点検出エリアで検出したデフォーカス量と、所定の焦点検出エリアで検出したデフォーカス量との差が予め設定した第２のしきい値以下かどうかを判定する。この第２のしきい値は、ステップ３０３のしきい値より小さい値とするのが好ましい。

ステップ３０９においてデフォーカス量の差が第２のしきい値以下であると判定するとステップＳ３０４に進む。ステップ３０４では、所定の焦点検出エリアで検出したデフォーカス量に基づいてレンズ駆動量を演算し、レンズ駆動装置３０を制御して撮影レンズ１５の焦点調節制御を行う。

一方、ステップ３０９においてデフォーカス量の差が第２のしきい値以下でないと判定すると、図１０と同様に、タイマー３８を起動してステップ３０６へ進む。すでにタイマー３８が起動されている場合は、そのままステップ３０６へ進む。ステップ３０６以降の処理は図１０と同様であるが、ステップ３０７では、所定の焦点検出エリアを使用して焦点検出を行う。この場合、基本的にはテンプレート画像は更新しない。

図１３の処理は、色による追尾処理で追尾被写体を見失った場合でも、デフォーカス量による比較処理を優先して追尾被写体を見失ったかどうかを判定するモードとして設定されるものである。

上記の所定の焦点検出エリアは、追尾領域とは関係なしに撮影画面内に設定されている複数の焦点検出エリアのうちの１の焦点検出エリア（例えば、撮影画面内の最も中央付近に位置する焦点検出エリアｆ）であって、優先エリアとして予め設定されているエリアである。なお、この所定の焦点検出エリアは、テンプレート画像との差分値が最も小さい領域に対応する焦点検出エリアとしてもよい。この場合は、ステップ３０７では、差分値が最も小さい領域に対応する焦点検出エリア使用して焦点検出を行えばよい。また、所定の焦点検出エリアとして、前回の焦点調節制御処理で使用した焦点検出エリアを使用して焦点検出を行うようにしてもよい。

ここで、追尾被写体がカメラに対する向きを変えると、テンプレート画像４８と一致する割合が小さくなって追尾被写体を見失ったと判定されてしまうおそれがある。しかし、前回の焦点調節制御処理で使用した焦点検出エリアを所定の焦点検出エリアとして図１３の処理を行うことにより、色による追尾処理で追尾被写体を見失ったと判定されても、所定の焦点検出エリアを使用して追尾被写体を追尾し続けることが可能である。

また、ステップ２０２の閾値が小さすぎる場合、色による追尾処理で追尾被写体を見失ったと判定される確率が高くなる。しかし、テンプレート画像との差分値が最も小さい領域に対応する焦点検出エリアを所定の焦点検出エリアとして図１３の処理を行うことにより、色による追尾処理で追尾被写体を見失ったと判定されても、所定の焦点検出エリアを使用して追尾被写体を追尾し続けることが可能である。

上述した一実施の形態では、画素ごとに色相Ｂ／Ｇ、Ｒ／Ｇの差を演算して追尾処理をする例を示した。この色相の代わりに、輝度情報を使用して追尾処理をするようにしてもよい。例えば、Ｇ値を輝度情報とみなしてＧ値のデータのみを使用して追尾処理をするようにしてもよい。ＲＧＢ値を所定の係数をかけて足した輝度情報を使用するようにしてもよい。

上述した一実施の形態では、本願発明を一眼レフディジタルスチルカメラに適用した例を説明したが、本発明は、例えばコンパクトデジタルカメラやビデオカメラなどの、一眼レフディジタルスチルカメラ以外の、時系列的に画像を取得可能なあらゆる撮像装置に適用することができ、上述した効果と同様な効果を得ることができる。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

一実施の形態のカメラ（撮像装置）の構成を示す図 一実施の形態のカメラの制御装置の詳細な構成を示す図 第２撮像素子の正面図 第２撮像素子の画素のフィルターを示す図 一実施の形態の被写体追尾動作を説明するための図 一実施の形態の被写体追尾動作を説明するための図 一実施の形態の追尾制御を示すフローチャート 一実施の形態の追尾制御初期処理を示すフローチャート 一実施の形態の追尾演算処理を示すフローチャート 一実施の形態の焦点調節制御を示すフローチャート 探索領域４９を新たな探索領域４９’へ変更する様子を示す図 一実施の形態の被写体追尾動作を説明するための図 図１０の焦点調節制御の変形例を示すフローチャート

符号の説明

１５ 撮影レンズ
１６ 焦点検出光学系
１７ 測距素子
２５ 第２撮像素子
２９ 制御装置

Claims (21)

1. 追尾装置であって、
   光学系による画面内の画像情報を取得する撮像素子と、
   前記画像情報に基づいて前記画面内の対象を追尾する追尾手段と、
   前記画面内に設定された少なくとも一つの焦点検出領域に関する前記光学系の焦点調節状態を検出する焦点検出手段と、
   前記対象の前記画面内の位置に対応する前記焦点検出領域での前記焦点調節状態に基づいて、前記光学系の焦点調節を行う焦点調節手段と、
   前記追尾手段による追尾結果に基づいて、前記対象を追尾できたか否かを判定する判定手段と、
   前記判定手段による判定結果に基づいて前記焦点調節を禁止する制御手段とを備えることを特徴とする追尾装置。
2. 請求項１に記載の追尾装置において、
   前記焦点検出領域は、前記画面内に複数設定されており、
   前記追尾手段は、前記画面内の画像情報と前記対象の画像情報との差分量を算出し、前記差分量に基づいて前記対象の位置を追尾することを特徴とする追尾装置。
3. 請求項１に記載の追尾装置において、
   前記焦点検出領域は、前記画面内に複数設定されており、
   前記追尾手段は、前記画面内の画像情報と前記対象の画像情報との差分量を算出し、前記差分量が最も少ない領域を前記対象が位置する領域として追尾することを特徴とする追尾装置。
4. 請求項１〜３のいずれか１項に記載の追尾装置において、
   前記追尾手段は、前記画面内の画像情報と前記対象の画像情報とを照合し、
   前記判定手段は、照合結果に基づいて前記対象を追尾できたか否かを判定することを特徴とする追尾装置。
5. 請求項１〜４のいずれか１項に記載の追尾装置において、
   前記追尾手段は、前記画面内の画像情報と前記対象の画像情報とを比較し、
   前記判定手段は、前記画面内の画像情報と前記対象の画像情報とが一致している割合に基づいて前記対象を追尾できたか否かを判定することを特徴とする追尾装置。
6. 請求項１〜５のいずれか１項に記載の追尾装置において、
   前記制御手段は、前記判定手段によって前記対象を追尾できなかったと判定された場合に前記焦点調節を禁止することを特徴とする追尾装置。
7. 請求項１〜６のいずれか１項に記載の追尾装置において、
   前記判定手段は、前記画面内の画像情報と前記対象の画像情報とを照合した照合結果と、前記対象の位置に対応する前記焦点検出領域での前記焦点調節状態とに基づいて前記焦点調節を禁止するか否かを判定することを特徴とする追尾装置。
8. 請求項１〜７のいずれか１項に記載の追尾装置において、
   前記制御手段は、前記焦点調節の禁止後に、前記対象が追尾できたと判定された場合に前記焦点調節の禁止を解除することを特徴とする追尾装置。
9. 請求項１〜７のいずれか１項に記載の追尾装置において、
   前記制御手段は、前記焦点調節の禁止後に前記対象が追尾できたと判定された場合、前記焦点調節の禁止後の前記対象の位置に対応する前記焦点検出領域での前記焦点調節状態に基づいて前記光学系の焦点調節を行うことを特徴とする追尾装置。
10. 請求項１〜９のいずれか１項に記載の追尾装置において、
    前記制御手段は、前記焦点調節の禁止後に、前記対象を追尾できない状態が所定時間継続した場合に前記焦点調節の禁止を解除することを特徴とする追尾装置。
11. 請求項１〜１０のいずれか１項に記載の追尾装置において、
    前記焦点調節手段は、前記焦点調節の禁止後に前記焦点調節の禁止を解除した場合、前記焦点調節の禁止を開始する前の前記対象の位置に対応する前記焦点検出領域での前記焦点調節状態に基づいて前記光学系の焦点調節を行うことを特徴とする追尾装置。
12. 請求項１〜１１のいずれか１項に記載の追尾装置において、
    前記追尾手段は、前記画面内に設定された検索領域内で前記対象を追尾し、
    前記検索領域は、前記判定手段による判定結果に基づいて変更可能であることを特徴とする追尾装置。
13. 請求項１〜１２のいずれか１項に記載の追尾装置において、
    前記追尾手段は、前記画面内に設定された検索領域内で前記対象を追尾し、前記対象の位置が前記検索領域の範囲内にない場合は前記検索領域を拡大して前記対象の追尾を行うことを特徴とする追尾装置。
14. 請求項１〜１３のいずれか１項に記載の追尾装置において、
    前記追尾手段は、前記画面内に設定された検索領域内で前記対象の追尾をし、
    前記検索領域は、前記対象の位置が前記検索領域の範囲内にない場合、前記対象の位置の前記画面内での移動方向を予測し、予測した移動方向に前記検索領域を変更することを特徴とする追尾装置。
15. 請求項１〜１４のいずれか１項に記載の追尾装置において、
    前記画像情報は前記対象の色または輝度であることを特徴とする追尾装置。
16. 撮像装置であって、
    請求項１〜１５のいずれか１項に記載の追尾装置を備えることを特徴とする撮像装置。
17. 請求項１６に記載の撮像装置において、
    前記撮像素子は、前記画像情報を取得して前記画面内の画像を記録するための第一撮像素子と、前記追尾手段が前記対象の位置を追尾するための画像情報を取得する第二撮像素子とを有することを特徴とする撮像装置。
18. 追尾方法であって、
    光学系による画面内の画像情報を取得し、
    前記画像情報に基づいて前記画面内の対象を追尾し、
    前記画面内に設定された少なくとも一つの焦点検出領域に関する前記光学系の焦点調節状態を検出し、
    前記対象の位置に対応する前記焦点検出領域での前記焦点調節状態に基づいて、前記光学系の焦点調節を行い、
    前記対象を追尾できたか否かを判定し、
    前記判定の結果に基づいて前記焦点調節を禁止することを特徴とする追尾方法。
19. 請求項１８に記載の追尾方法において、
    前記画面内の画像情報と前記対象の画像情報とを照合し、
    照合の結果に基づいて前記対象が前記追尾できたか否かを判定することを特徴とする追尾方法。
20. 請求項１８又は１９に記載の追尾方法において、
    前記画面内の画像情報と前記対象の画像情報とを比較し、
    前記画面内の画像情報と前記対象の画像情報とが一致している割合に基づいて前記対象が前記追尾できたか否かを判定することを特徴とする追尾方法。
21. 請求項１８〜２０のいずれか１項に記載の追尾方法において、
    前記画面内の画像情報と前記対象の画像情報とを照合した照合結果と、前記対象の位置に対応する前記焦点検出領域での前記焦点調節状態とに基づいて前記焦点調節を禁止するか否かを判定することを特徴とする追尾方法。

Images