JP2008187332A - 画像追尾装置および撮像装置 - Google Patents

Abstract

【課題】光学系により繰り返し得られる画像の中から追尾対象とする部分の画像を正確に抽出して基準画像を更新する。
【解決手段】光学系による像のうち対象とする部分の画像を基準画像として記憶し、この基準画像に基づいて光学系によって繰り返し得られる画像における対象の位置を認識する画像追尾において、光学系による画面内の複数の位置について光学系の焦点調節状態を繰り返し検出するするとともに、検出された複数の焦点調節状態の一部を選択し、選択された焦点調節状態とは異なる時刻に検出される焦点調節状態の中から、選択した焦点調節状態に類似する焦点調節状態を抽出し、画像のうち、類似する焦点調節状態が検出される画面内の位置に対応する画像を基準画像として更新する。
【選択図】図４

Description

本発明は画像追尾装置と撮像装置に関する。

撮影した画像内において追尾対象の被写体を囲む枠（追尾枠）を設定し、追尾枠内の画像データをテンプレート（基準画像）として記憶するとともに、繰り返し撮影される画像の中からテンプレートと類似度の高い領域を検索し（テンプレートマッチング）、その領域へ追尾枠を移動するとともに、新しい追尾枠内の画像データでテンプレートを更新し、被写体を追尾するようにした撮像装置が知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開２００６−０５８４３１号公報

しかしながら、上述した従来の撮像装置では、テンプレートマッチング途中で追尾対象でない被写体を誤って捕捉することがあり、その場合でも追尾対象でない被写体の画像データによりテンプレートが更新されてしまうという問題がある。

（１） 請求項１の発明は、光学系による像のうち対象とする部分の画像を基準画像として記憶する記憶手段と、基準画像に基づいて、光学系によって繰り返し得られる画像における対象の位置を繰り返し認識する認識手段とを備えた画像追尾装置に適用される。
そして、光学系による画面内の複数の位置について光学系の焦点調節状態を繰り返し検出する焦点検出手段と、焦点検出手段によって検出された複数の焦点調節状態の一部を選択する選択手段と、選択手段によって選択された焦点調節状態とは異なる時刻において焦点検出手段で検出される焦点調節状態のうち、選択した焦点調節状態に類似する焦点調節状態を抽出する抽出手段と、画像のうち、類似する焦点調節状態が検出される画面内の位置に対応する画像に基づいて基準画像を変更する変更手段とを備えることにより、上記課題を解決する。
（２） 請求項２の画像追尾装置は、抽出手段によって、光学系による画像内の、認識手段によって認識された対象の位置に対応して焦点検出手段によって検出される焦点調節状態から類似する焦点調節状態を抽出するようにしたものである。
（３） 請求項３の画像追尾装置は、変更手段によって、光学系による画面内のうち抽出手段によって抽出された焦点調節状態が得られる位置と、認識手段によって認識された対象の画面内に相当する位置との距離が所定値よりも小さい場合には、認識された対象の位置の画像に基づいて前記基準画像を変更するようにしたものである。
（４） 請求項４の画像追尾装置は、抽出手段によって抽出された焦点調節状態が得られる画面内の位置に対応する画像と基準画像との差が所定値よりも小さい場合に、抽出手段によって抽出された焦点調節状態が検出される画面内の位置に対応する画像に基づいて基準画像を変更するようにしたものである。
（５） 請求項５の画像追尾装置は、焦点検出手段を、位相差検出方式によって焦点検出を行うものとした。
（６） 請求項６の発明は、請求項１〜５のいずれか１項に記載の画像追尾装置を備えた撮像装置である。
（７） 請求項７の発明は、請求項１〜５のいずれか１項に記載の画像追尾装置と、認識手段によって認識された位置に対応して焦点検出手段によって検出される焦点調節状態に基づいて、光学系を焦点調節する焦点調節手段とを備えた撮像装置である。

本発明によれば、光学系による像のうちの追尾対象とする部分の画像を基準画像として記憶し、光学系により繰り返し得られる画像の中から基準画像に基づいて追尾対象の位置を認識する画像追尾において、光学系により繰り返し得られる画像の中から追尾対象とする部分の画像を正確に抽出して基準画像の更新を図り、画像追尾性能を向上させることができる。

本発明の一実施の形態として一眼レフレックス・ディジタルカメラを例に上げて説明する。なお、本発明の撮像装置は一眼レフレックス・ディジタルカメラに限定されず、コンパクトディジタルカメラや一眼レフレックス・フィルムカメラなどにも搭載することができる。

図１は一実施の形態の一眼レフレックス・ディジタルカメラの電気回路を示すブロック図、図２は一実施の形態の一眼レフレックス・ディジタルカメラの機構を示す横断面図である。図１および図２において、本発明に直接関係のないカメラの機器および回路については図示と説明を省略する。図１、図２により、一実施の形態の一眼レフレックス・ディジタルカメラの構成を説明する。

測光素子１は、被写体輝度を検出するための測光センサーであるとともに、被写体追尾を行うためにの画像解析用の被写体像を撮像する撮像センサーであり、図３(ａ)に示すように撮影画面を正方格子状に分割して各分割測光エリアごとに測光を行う。この一実施の形態では測光素子１を測光用と被写体追尾用に兼用する例を示すが、被写体追尾専用の撮像素子を別個に設けてもよい。測光素子１はＣＣＤやＣＭＯＳなどから構成され、図３(ａ)に示すように分割測光エリアごとに画素が配列されている。すなわち、複数の画素がＸ方向に８個、Ｙ方向に６個の二次元正方格子状に配列されている。さらに、各画素はＢ、Ｇ、Ｒの三原色フィルターを備えた画素に分割されている。測光回路２は、測光素子１から出力された測光信号に対しノイズ除去、感度補正、Ａ／Ｄ変換などの信号処理を施し、画素ごとのＢＧＲ輝度信号を出力する。

焦点検出素子３は図２に示すＡＦモジュール２１に内蔵され、図３(ａ)に“＋”印で示す被写界の１１カ所に設定された焦点検出エリアにおいて、撮影レンズ２２の射出瞳面の一対の領域を通過した一対の光束によって結像される一対の被写体像のズレ量を検出し、各焦点検出エリアごとの焦点検出信号を出力する。なお、図３(ａ)は測光素子１の分割測光エリアと焦点検出素子３の焦点検出エリアとの対応関係を示しており、１１カ所の焦点検出エリアは８×６個の分割測光エリアの範囲内に設定されている。焦点検出回路４は、焦点検出素子３から出力される各焦点検出エリアごとの焦点検出信号に基づいて、位相差検出方式により各焦点検出エリアごとのデフォーカス量を検出する。

撮像素子５はＣＣＤやＣＭＯＳから構成され、撮影レンズ２２により結像される被写体像を撮像して撮像信号を出力する。信号処理回路６は、撮像素子５から出力された撮像信号に対しサンプリング、ノイズ除去、感度補正、Ａ／Ｄ変換などの処理を施す。バッファー７は画像データやデフォーカス量などを一時的に記憶するメモリである。画像処理回路８は、信号処理回路６による処理後の画像データに対し画素補間、解像度変換、ホワイトバランス制御、ガンマ補正、マトリクス演算、画像圧縮などの処理を施す。メモリカード９は撮像画像を記録する記録媒体である。

レンズ駆動回路１０は焦点検出結果にしたがって撮影レンズ２２のフォーカシングレンズ（不図示）を駆動し、撮影レンズ２２の焦点調節を行う。絞り駆動回路１１は露出演算結果にしたがって絞り２３を駆動し、絞りを調節する。シャッター駆動回路１２は露出演算結果にしたがってシャッター２４を駆動し、撮像素子５を露光する。ミラー駆動回路１３はメインミラー２５およびサブミラー２６を駆動し、ミラー２５，２６の上昇と下降を行う。表示駆動回路１４は、ファインダー光学系のスクリーン２７（図２参照）の上に設けられる拡散型液晶表示器（以下、ファインダー表示器という）１５を制御し、スクリーン２７の被写体像に追尾対象領域（追尾枠ともいう）や焦点検出エリアを重畳して表示する。

操作スイッチ類１６は、カメラを操作するための各種操作部材の操作にともなってオンまたはオフするスイッチ類である。この操作スイッチ類１６には、シャッターボタンの半押し操作でオンするレリーズ半押しスイッチ、シャッターボタンの全押し操作でオンするレリーズ全押しスイッチ、追尾撮影モードなどの撮影モードを選択するためのモードセレクター、焦点検出エリアを選択するための方向キーなどが含まれる。

制御回路１７はＣＰＵ１７ａとメモリ１７ｂなどの周辺部品を備え、バス１８を介して上述したカメラの各回路および機器と接続され、カメラの各種の制御と演算を行う。また、制御回路１７は、マイクロコンピューターのソフトウエア形態により被写体追尾機能、類似度算出機能、距離算出機能などを有する。これらの機能については詳細を後述する。

図２において、非撮影時にはメインミラー２５とサブミラー２６が撮影レンズ２２の光路中に置かれる。この状態で、撮影レンズ２２を透過した被写体光束の一部はメインミラー２５で反射され、拡散スクリーン２７に導かれて被写体像（以下、ファインダー像という）を結像する。このファインダー像はコンデンサーレンズ２８、ペンタプリズム２９、ビームスプリッター３０、接眼レンズ３１を介して撮影者の目へ導かれるとともに、ビームスプリッター３０で一部が上方へ分割され、回折格子３２、測光レンズ３３を介して測光素子１へ導かれる。なお、ビームスプリッター３０、回折格子３２および測光レンズ３３から構成される測光光学系の構成はこの一実施の形態の構成に限定されない。

回折格子３２は光の回折現象を利用して光束を波長ごとに分光する。回折格子３２により被写体の１点から出た光を測光素子１上に分光して入射させることによって、図３(ａ)に示す測光素子１の各ＲＧＢ画素上にそれぞれの波長の光が入射する。これにより、偽色補正を行うことができ、追尾対象の被写体の色情報に基づいて被写体を追尾する場合に正しい色情報を検出することができる。

非撮影時にはまた、被写体光束の一部がメインミラー２５を透過し、サブミラー２６で反射されてＡＦモジュール２１へ導かれ、ＡＦモジュール２１の焦点検出素子３で各焦点検出エリアごとの一対の被写体像のズレ量が検出される。

撮影時には、メインミラー２５とサブミラー２６が２５’の位置まで跳ね上げられ、撮影レンズ２２の撮影光路から退避される。この状態で、絞り２３が所定の絞り値まで絞り込まれ、シャッター２４が所定のシャッター秒時だけ開放されて、撮像素子５による撮像が行われる。シャッター秒時が経過した後、シャッター２４が閉じられてメインミラー２５とサブミラー２６が撮影光路に戻され、絞り２３が開放される。

図４、図５は第１の実施の形態の追尾撮像処理を示すフローチャートである。制御回路１７は、操作スイッチ類１６に含まれる撮影モードセレクターにより追尾撮影モードが選択され、レリーズ半押しスイッチがオンするとこの追尾撮影処理を実行する。ステップ１において測光素子１と測光回路２により被写界の測光を行い、各分割測光エリアのＲＧＢ各色ごとに測光値Ｒ[Ｘ，Ｙ]、Ｇ[Ｘ，Ｙ]、Ｂ[Ｘ，Ｙ]（Ｘ＝１〜８、Ｙ＝１〜６、図３(ａ)参照）をバッファー７に記憶する。

続くステップ２で焦点検出素子３と焦点検出回路４により各焦点検出エリアごとのデフォーカス量Ｄ[Ｎ]（Ｎ＝１〜１１）を検出する。ここで、Ｎは焦点検出エリアの番号で、図３(ａ)において上段左から１〜３、中段左から４〜８、下段左から９〜１１とする。操作スイッチ類１６の方向キー（不図示）を用いて撮影者が選択した焦点検出エリアのデフォーカス量Ｄ[Ｎ]をバッファー７に記憶する。例えば、中央の焦点検出エリアが選択されている場合はデフォーカス量Ｄ[６]を記憶する。

ステップ３で各分割測光エリアの測光値Ｒ[Ｘ，Ｙ]、Ｇ[Ｘ，Ｙ]、Ｂ[Ｘ，Ｙ]に基づいて、画像データを演算する。この一実施の形態では画像データとして色データと輝度データを演算し、色データと輝度データをテンプレート（基準画像）の画像データとして追尾処理を行うが、色データのみをテンプレート画像データとして追尾処理を行ってもよい。まず、次式により色データを求める。
ＲＧ[Ｘ，Ｙ]＝Ｌog2(Ｒ[Ｘ，Ｙ])−Ｌog2(Ｇ[Ｘ，Ｙ])，
ＢＧ[Ｘ，Ｙ]＝Ｌog2(Ｂ[Ｘ，Ｙ])−Ｌog2(Ｇ[Ｘ，Ｙ]) ・・・（１）
（１）式において、Ｘ＝１〜８、Ｙ＝１〜６である。次に、測光素子１の電荷蓄積時間（露光時間）をＴ、測光回路２のゲインをＧＮ、各色の係数をＫr、Ｋg、Ｋbとして次式により輝度データを求める。
Ｌ[Ｘ、Ｙ]＝Ｌog2（Ｋr・Ｒ[Ｘ，Ｙ]＋Ｋg・Ｇ[Ｘ，Ｙ]＋Ｋｂ・Ｂ[Ｘ，Ｙ]）−Ｌog2(Ｔ)−Ｌog2(ＧＮ) ・・・（２）
算出した色データと輝度データをバッファー７に記憶する。

ステップ４では、撮影者により選択された焦点検出エリアに対応する分割測光エリアの画像データを、バッファー７に記憶されている測光画面全範囲の画像データから抽出し、この画像データを追尾対象被写体のテンプレートとしてバッファー７に記憶する。この一実施の形態では、図３(ｂ)に示すように、各焦点検出エリアの位置を中心とするＸ方向２画素（ＴＸ＝１〜２）、Ｙ方向２画素（ＴＹ＝１〜２）の２×２画素の正方形配列の領域を追尾対象領域、すなわち追尾枠とし、追尾枠内の２×２画素の画像データを被写体追尾のためのテンプレートとして記憶する。例えば、撮影者が焦点検出エリアＮ＝６を選択した場合には、バッファー７に記憶されているＲＧ[Ｘ，Ｙ]、ＢＧ[Ｘ，Ｙ]、Ｌ[Ｘ，Ｙ]（Ｘ＝４〜５、Ｙ＝３〜４）を抽出し、これをテンプレートの画像データＴＲＧ[ＴＸ，ＴＹ]、ＴＢＧ[ＴＸ，ＴＹ]、ＴＬ[ＴＸ，ＴＹ]（ＴＸ＝１〜２、ＴＹ＝１〜２）としてバッファー７に記憶する。

追尾枠とテンプレートの設定が終了したらステップ５へ進み、測光素子１と測光回路２により被写界の測光を行い、各分割測光エリアのＲＧＢ各色ごとに測光値Ｒ[Ｘ，Ｙ]、Ｇ[Ｘ，Ｙ]、Ｂ[Ｘ，Ｙ]（Ｘ＝１〜８、Ｙ＝１〜６）を検出してバッファー７の測光値を更新する。続くステップ６では、焦点検出素子３と焦点検出回路４により各焦点検出エリアごとのデフォーカス量Ｄ[Ｎ]（Ｎ＝１〜１１）を検出し、バッファー７に記憶する。ステップ７で各分割測光エリアの測光値Ｒ[Ｘ，Ｙ]、Ｇ[Ｘ，Ｙ]、Ｂ[Ｘ，Ｙ]に基づいて、（１）式および（２）式により画像データＲＧ[Ｘ，Ｙ]、ＢＧ[Ｘ，Ｙ]、Ｌ[Ｘ，Ｙ]（Ｘ＝１〜８、Ｙ＝１〜６）を演算し、バッファー７の画像データを更新する。

ステップ８において、上記ステップ７でバッファー７に記憶した被写体全範囲の画像データＲＧ[Ｘ，Ｙ]、ＢＧ[Ｘ，Ｙ]、Ｌ[Ｘ，Ｙ]（Ｘ＝１〜８、Ｙ＝１〜６）の中から、ステップ４で設定したテンプレートの画像データＴＲＧ[ＴＸ，ＴＹ]、ＴＢＧ[ＴＸ，ＴＹ]、ＴＬ[ＴＸ，ＴＹ]（ＴＸ＝１〜２、ＴＹ＝１〜２）と類似度の高い領域を検索し、テンプレートマッチングを行う。具体的には、図３(ａ)に太い破線で示すように、測光素子１の測光画面内に追尾枠と同じ大きさの２×２画素の正方配列の評価エリアを設定し、この評価エリアの座標を（ＨＸ、ＨＹ）とする。図３(ａ)に太い破線で示す評価エリアの座標はＨＸ＝３、ＨＹ＝２となる。

この評価エリアにおいて、次式により評価エリアの画像データとテンプレートの画像データの差の絶対値の総和Ｄiff[HX,HY]を求める。この明細書ではＤiff[HX,HY]を“残差量”という。評価エリアとテンプレートとの画像データの残差量が少ないほど、両エリアの類似度が高いことになる。
Ｄiff[HX,HY]＝ΣΣ｛Ｋrg・ＡＢＳ（ＲＧ[HX-1+TX，HY-1+TY]−ＴＲＧ[TX,TY]）＋Ｋbg・ＡＢＳ（ＢＧ[HX-1+TX，HY-1+TY]−ＴＢＧ[TX,TY]）＋Ｋl・ＡＢＳ（Ｌ[HX-1+TX，HY-1+TY]−ＴＬ[TX,TY] ・・・（３）
（３）式において、ΣΣはＴＸ＝１〜２、ＴＹ＝１〜２の総和演算を表し、Ｋrg、Ｋbg、Ｋlは各色および輝度データの影響を加減する係数である。測光画面内で評価エリアを少しずつずらしながら（３）式により残差量Ｄiff[HX,HY]を演算し、残差量が最小となる評価エリアの位置座標（ＨＸ、ＨＹ）を求め、この位置を新しい追尾対象領域すなわち追尾枠とする。

ステップ９において、上述した被写体追尾演算結果（ステップ８）と焦点検出結果（ステップ６）に基づいて、テンプレートを更新するか否かを判定する。まず、新しい追尾枠の位置座標（ＨＸ、ＨＹ）に最も近い焦点検出エリアのデフォーカス量をバッファー７から読み出し、Ｄ[追尾座標近傍]とする。次に、前回の焦点調節（後述するステップ１２）に用いたデフォーカス量をバッファー７から読み出し、Ｄ[前回]とする。ただし、追尾撮影処理を開始した直後にはまだ焦点調節が行われていないので、ステップ２でバッファー７に記憶した撮影者の選択エリアのデフォーカス量をＤ[前回]とする。そして、Ｄ[追尾座標近傍]とＤ[前回]とを比較し、２つのデフォーカス量の差の絶対値が予め定めた判定基準値以下か否かを判定する。この判定基準値には、種々の撮影シーンと撮影条件により実験を行い、同一の被写体のみなせる値を決定する。

Ｄ[追尾座標近傍]とＤ[前回]の差の絶対値が判定基準値以下の場合は、新しい追尾枠内の被写体と前回焦点を合わせた被写体との色や輝度が測光画面上で類似しており、かつ測光画面の奥行き方向（測光画面に垂直な方向）の位置も類似していることになる。したがって、この場合は、新しい追尾枠内の被写体は、当初撮影者が選択した追尾対象の被写体と同一である確率が高いから、新しい追尾枠の画像データによりテンプレートの画像データを更新する。

一方、Ｄ[追尾座標近傍]とＤ[前回]の差の絶対値が判定基準値より大きい場合には、色や輝度は類似していても、前回焦点を合わせた被写体とは異なる被写体を追尾している可能性が高いため、テンプレートの画像データの更新を行わない。また、新しい追尾枠の位置座標（ＨＸ、ＨＹ）の近傍に焦点検出エリアが存在しない場合にも、テンプレートの画像データの更新を行わない。

テンプレート更新が必要と判断された場合にはステップ１０へ進み、新しい追尾枠の画像データによりバッファー７のテンプレートの画像データＴＲＧ[ＴＸ，ＴＹ]、ＴＢＧ[ＴＸ，ＴＹ]、ＴＬ[ＴＸ，ＴＹ]（ＴＸ＝１〜２、ＴＹ＝１〜２）を更新する。さらに、ステップ１１でＤ[追尾座標近傍]に基づいてレンズ駆動目標を更新する。ステップ１２でレンズ駆動回路１０による撮影レンズ２２の焦点調節を行う。このとき、ステップ１１でレンズ駆動目標を更新した場合は更新後のレンズ駆動目標にしたがってレンズ駆動を行い、レンズ駆動目標の更新を行わなかった場合は前回設定されたレンズ駆動目標にしたがってレンズ駆動を行う。

図５のステップ１３へ進み、操作スイッチ類１６のレリーズ全押しスイッチによりレリーズ全押し操作を確認し、レリーズ全押し操作が行われているときはステップ１５ヘ進み、そうでなければステップ１４へ進む。レリーズ全押し操作が行われていないときは、ステップ１４でレリーズ半押し操作が継続されているか否かを確認し、レリーズ半押し操作が継続されているときはステップ５へ戻り、上述した処理を繰り返す。レリーズ全押し操作もレリーズ半押し操作も行われていないときは、この追尾撮影処理を終了する。

レリーズ全押し操作が行われたときは、ステップ１５でバッファー７から最新の測光結果（ステップ５で検出した測光値）を読み出し、被写体輝度を検出して露出演算を行う。そして、露出演算結果の絞り値で絞り駆動回路１１により絞り調節を行うとともに、露出演算結果のシャッター秒時でシャッター駆動回路１２によりシャッター２４を駆動する。次に、ステップ１６でミラー駆動回路１３によりミラーアップを行って撮像素子５により撮像を行う。撮像後のステップ１７で画像処理回路８で撮像画像を処理し、メモリカード９に画像を記録する。

《第２の実施の形態の追尾撮影処理》
上述した第１の実施の形態の追尾撮影処理のテンプレート更新とレンズ駆動目標更新の処理が異なる第２の実施の形態の追尾撮影処理を説明する。なお、この第２の実施の形態の追尾撮影処理では、第１の実施の形態の追尾撮影処理を示す図４のステップ９〜１１の処理内容が異なるのみで、その他のステップにおける処理と、図１〜３に示す構成については同様であり、説明を省略する。

この第２の実施の形態の追尾撮影処理では、ステップ１２のテンプレート更新処理において、上述した被写体追尾演算結果（ステップ８）と焦点検出結果（ステップ６）に基づいて、テンプレートを更新するか否かを判定する。まず、ステップ６で検出した各焦点検出エリアのデフォーカス量Ｄ[Ｎ]（Ｎ＝１〜１１）をバッファー７から読み出す。次に、前回の焦点調節（図４のステップ１２）に用いたデフォーカス量をバッファー７から読み出し、Ｄ[前回]とする。ただし、追尾撮影処理を開始した直後にはまだ焦点調節が行われていないので、ステップ２でバッファー７に記憶した撮影者の選択エリアのデフォーカス量をＤ[前回]とする。そして、Ｄ[Ｎ]（Ｎ＝１〜１１）の中でＤ[前回]との差の絶対値が最小のデフォーカス量を検索し、その差の絶対値が所定値以下であればＤ[今回]とする。この所定値には、２つのデフォーカス量を示す被写体が、測光画面に垂直な方向において同一の位置にあると判定できる値を設定する。

次に、Ｄ[今回]の位置と新しい追尾枠（図４のステップ８参照）の位置（ＨＸ，ＨＹ）との測光画面上の距離を算出し、この距離が判定基準値以下の場合は、新しい追尾枠内の被写体と前回焦点を合わせた被写体との色や輝度が測光画面上で類似しており、かつ測光画面の奥行き方向（測光画面に垂直な方向）の位置も類似していることになる。したがって、この場合は、新しい追尾枠内の被写体は、当初撮影者が選択した追尾対象の被写体と同一である確率が高いから、新しい追尾枠の画像データによりテンプレートの画像データを更新する。なお、上述した距離の判定基準値には、種々の撮影シーンと撮影条件により実験を行い、同一の被写体のみなせる値を決定する。

一方、Ｄ[今回]の位置と新しい追尾枠の位置（ＨＸ，ＨＹ）との測光画面上の距離が判定基準値より大きい場合には、前回焦点を合わせた被写体と新しい追尾枠の被写体とが異なり、前回焦点を合わせた被写体とは異なる被写体を追尾している可能性が高いため、テンプレートの画像データの更新を行わない。また、Ｄ[Ｎ]（Ｎ＝１〜１１）の中でＤ[前回]との差の絶対値が最小のデフォーカス量であっても、その差の絶対値が所定値より大きい場合には、Ｄ[今回]が存在せず、前回焦点を合わせた被写体とは異なる被写体を追尾している可能性が高いため、テンプレートの画像データの更新を行わない。

テンプレート更新が必要と判断された場合にはステップ１０へ進み、新しい追尾枠の画像データによりバッファー７のテンプレートの画像データＴＲＧ[ＴＸ，ＴＹ]、ＴＢＧ[ＴＸ，ＴＹ]、ＴＬ[ＴＸ，ＴＹ]（ＴＸ＝１〜２、ＴＹ＝１〜２）を更新する。さらに、ステップ１１でＤ[今回]に基づいてレンズ駆動目標を更新する。

《第３の実施の形態の追尾撮影処理》
上述した第１および第２の実施の形態の追尾撮影処理のテンプレート更新とレンズ駆動目標更新の処理が異なる第３の実施の形態の追尾撮影処理を説明する。なお、この第３の実施の形態の追尾撮影処理では、第１の実施の形態の追尾撮影処理を示す図４のステップ９〜１１の処理内容が異なるのみで、その他のステップにおける処理と、図１〜３に示す構成については同様であり、説明を省略する。

この第３の実施の形態の追尾撮影処理では、ステップ１２のテンプレート更新処理において、上述した被写体追尾演算結果（ステップ８）と焦点検出結果（ステップ６）に基づいて、テンプレートを更新するか否かを判定する。まず、ステップ６で検出した各焦点検出エリアのデフォーカス量Ｄ[Ｎ]（Ｎ＝１〜１１）をバッファー７から読み出す。次に、前回の焦点調節（図４のステップ１２）に用いたデフォーカス量をバッファー７から読み出し、Ｄ[前回]とする。ただし、追尾撮影処理を開始した直後にはまだ焦点調節が行われていないので、ステップ２でバッファー７に記憶した撮影者の選択エリアのデフォーカス量をＤ[前回]とする。そして、Ｄ[Ｎ]（Ｎ＝１〜１１）の中でＤ[前回]との差の絶対値が最小のデフォーカス量を検索し、その差の絶対値が所定値以下であればＤ[今回]とする。この所定値には、２つのデフォーカス量を示す被写体が、測光画面に垂直な方向において同一の位置にあると判定できる値を設定する。

次に、ステップ８で求めた残差量Ｄiffの中で、Ｄ[今回]の焦点検出エリアに対応する評価エリアで算出された残差量ＤiffをＤiff[今回焦点検出点]とする。この残差量Ｄiff[今回焦点検出点]が予め定めた判定基準値以下の場合は、Ｄ[今回]の焦点検出エリアに対応する評価エリアの被写体と前回焦点を合わせた被写体との色や輝度が測光画面上で類似しており、かつ測光画面の奥行き方向（測光画面に垂直な方向）の位置も類似していることになる。したがって、この場合は、Ｄ[今回]の焦点検出エリアに対応する評価エリアの被写体は、当初撮影者が選択した追尾対象の被写体と同一である確率が高いから、Ｄ[今回]の焦点検出エリアに対応する評価エリアの画像データによりテンプレートの画像データを更新する。なお、上述した残差量の判定基準値には、種々の撮影シーンと撮影条件により実験を行い、同一の被写体のみなせる値を決定する。

一方、Ｄ[今回]の焦点検出エリアに対応する残差量Ｄiff[今回焦点検出点]が予め定めた判定基準値より大きい場合には、前回焦点を合わせた被写体と新しい追尾枠の被写体とが異なり、前回焦点を合わせた被写体とは異なる被写体を追尾している可能性が高いため、テンプレートの画像データの更新を行わない。また、Ｄ[Ｎ]（Ｎ＝１〜１１）の中でＤ[前回]との差の絶対値が最小のデフォーカス量であっても、その差の絶対値が所定値より大きい場合には、Ｄ[今回]が存在せず、前回焦点を合わせた被写体とは異なる被写体を追尾している可能性が高いため、テンプレートの画像データの更新を行わない。

テンプレート更新が必要と判断された場合にはステップ１０へ進み、新しい追尾枠の画像データによりバッファー７のテンプレートの画像データＴＲＧ[ＴＸ，ＴＹ]、ＴＢＧ[ＴＸ，ＴＹ]、ＴＬ[ＴＸ，ＴＹ]（ＴＸ＝１〜２、ＴＹ＝１〜２）を更新する。さらに、ステップ１１でＤ[今回]に基づいてレンズ駆動目標を更新する。

一実施の形態の一眼レフレックス・ディジタルカメラの電気回路を示すブロック図 一実施の形態の一眼レフレックス・ディジタルカメラの機構を示す横断面図 測光素子の構成を示す図 一実施の形態の追尾撮影処理を示すフローチャート 一実施の形態の追尾撮影処理を示すフローチャート

符号の説明

１ 測光素子
２ 測光回路
３ 焦点検出素子
４ 焦点検出回路
７ バッファー
１０ レンズ駆動回路
１６ 操作スイッチ類
１７ 制御回路

Claims (7)

1. 光学系による像のうち対象とする部分の画像を基準画像として記憶する記憶手段と、
   前記基準画像に基づいて、前記光学系によって繰り返し得られる画像における前記対象の位置を繰り返し認識する認識手段とを備えた画像追尾装置において、
   前記光学系による画面内の複数の位置について前記光学系の焦点調節状態を繰り返し検出する焦点検出手段と、
   前記焦点検出手段によって検出された複数の前記焦点調節状態の一部を選択する選択手段と、
   前記選択手段によって選択された焦点調節状態とは異なる時刻において前記焦点検出手段で検出される焦点調節状態のうち、前記選択した焦点調節状態に類似する焦点調節状態を抽出する抽出手段と、
   前記画像のうち、前記類似する焦点調節状態が検出される前記画面内の位置に対応する画像に基づいて前記基準画像を変更する変更手段とを備えたことを特徴とする画像追尾装置。
2. 請求項１に記載の画像追尾装置において、
   前記抽出手段は、前記光学系による画像内の、前記認識手段によって認識された前記対象の位置に対応して前記焦点検出手段によって検出される焦点調節状態から前記類似する焦点調節状態を抽出するものであることを特徴とする画像追尾装置。
3. 請求項１に記載の画像追尾装置において、
   前記変更手段は、前記光学系による画面内のうち前記抽出手段によって抽出された焦点調節状態が得られる位置と、前記認識手段によって認識された対象の前記画面内に相当する位置との距離が所定値よりも小さい場合には、前記認識された対象の位置の画像に基づいて前記基準画像を変更することを特徴とする画像追尾装置。
4. 請求項１に記載の画像追尾装置において、
   前記抽出手段によって抽出された焦点調節状態が得られる前記画面内の位置に対応する画像と前記基準画像との差が所定値よりも小さい場合に、前記抽出手段によって抽出された焦点調節状態が検出される前記画面内の位置に対応する画像に基づいて前記基準画像を変更することを特徴とする画像追尾装置。
5. 請求項１〜４のいずれか１項に記載の画像追尾装置において、
   前記焦点検出手段は、位相差検出方式によって焦点検出を行うことを特徴とする画像追尾装置。
6. 請求項１〜５のいずれか１項に記載の画像追尾装置を備えたことを特徴とする撮像装置。
7. 請求項１〜５のいずれか１項に記載の画像追尾装置と、
   前記認識手段によって認識された位置に対応して前記焦点検出手段によって検出される焦点調節状態に基づいて、前記光学系を焦点調節する焦点調節手段とを備えたことを特徴とする撮像装置。

Images