JP2015045759A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】 表示装置が表示した情報やフォーカシングスクリーン上のパターンが光学ファインダー像に重畳した画像を用いた処理が可能な撮像装置およびその制御方法において、画像に含まれる重畳情報の影響を低減する。
【解決手段】 フォーカシングスクリーンに設けられたパターンが光学ファインダー像に重畳した画像を取得する。そして、この画像に含まれる画素のうち、パターンによって輝度が低下する画素の輝度を補正し、補正された画像を用いて予め定められた画像処理を行う。
【選択図】 図５

Description

本発明は撮像装置およびその制御方法に関する。

例えば光学ファインダーを有するカメラでは、撮影の利便性のため、オートフォーカス（以下ＡＦ）による合焦位置など様々な情報を光学ファインダー像に重畳表示するものがある。また、フォーカシングスクリーン（ピント板、焦点板、ファインダースクリーンなどとも呼ばれる）には、構図のガイド、側光範囲、画面中央などを表す線やパターンがケガキなどの方法で描かれているのが一般的である。

一方、自動露出制御（以下ＡＥ）を行うための情報を光学ファインダー像から取得するカメラがある。特許文献１には、光学ファインダー像を受光するＡＥセンサ（測光センサ）を用いて取得した、光学ファインダー像の領域ごとの光電変換出力に基づいて露出値を決定するカメラが記載されている。

特開平８−２４０８３５号公報

フォーカシングスクリーンをＡＥセンサから撮影すると、フォーカシングスクリーンに描かれたパターンや、フォーカシングスクリーン上で光学ファインダー像に重畳するように表示された情報が含まれた画像が得られる。フォーカシングスクリーンに描かれた画面中央を表す円形のパターンや、合焦位置の表示は画像中の被写体に重なることも多い。そのため、ＡＥセンサで撮影した画像から被写体を検出したり追尾したりする場合、これらのパターンや表示による影響を受ける。

特許文献１では測距枠表示が領域ごとの明るさに与える影響を補正することはできるが、測距枠表示が被写体検出や被写体追尾といった画素単位の情報を利用する処理に与える影響を補正することはできない。

本発明はこのような従来技術の課題に鑑みなされたものである。本発明は、表示装置が表示した情報やフォーカシングスクリーン上のパターンが光学ファインダー像に重畳した画像を用いた処理が可能な撮像装置およびその制御方法において、画像に含まれる重畳情報の影響を低減することを目的とする。

上述の目的は、フォーカシングスクリーンに設けられたパターンが光学ファインダー像に重畳した画像を取得する取得手段と、画像に含まれる画素のうち、パターンによって輝度が低下する画素の輝度を補正する補正手段と、補正手段で補正された画像を用いて予め定められた画像処理を行う処理手段と、を有することを特徴とする撮像装置によって達成される。

本発明によれば、表示装置が表示した情報やフォーカシングスクリーン上のパターンが光学ファインダー像に重畳した画像を用いた処理が可能な撮像装置およびその制御方法において、画像に含まれる重畳情報の影響を低減することができる。

実施形態に係る撮像装置の一例としてのデジタル一眼レフカメラの側断面図 実施形態に係るデジタル一眼レフカメラの機能構成例を示すブロック図 実施形態に係るデジタル一眼レフカメラの測距点配置、撮像範囲、およびフォーカシングスクリーン上のパターンの例を示す図 図２のＡＦ制御部、システム制御部、およびＡＥ制御部の処理手順と相互関係を説明するための図 実施形態に係るデジタル一眼レフカメラにおけるテンプレート画像生成処理および被写体追尾処理の手順を示すフローチャート （ａ）は実施形態における追尾対象の特徴色抽出に用いられるＲＧＢ色空間を模式的に示す図、（ｂ）は実施形態におけるルックアップテーブルに登録された特徴色のブロックの例を示す図 実施形態における補正ゲインテーブルの例を示す図

以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。
図１は、本発明の実施形態に係る撮像装置の一例としてのデジタル一眼レフカメラ（ＤＳＬＲ）の主要な構成部品の配置例を示す側断面図である。ＤＳＬＲは、本体２０１と本体２０１の前面に装着される撮影レンズ２０２を有する。撮影レンズ２０２は交換可能であり、また本体２０１と撮影レンズ２０２は、不図示のレンズマウントにより機械的および電気的に接続される。撮影レンズ２０２の中には、フォーカシングレンズ２１３と絞り２１４がある。フォーカシングレンズ２１３と絞り２１４はレンズマウント接点群２１５を介した、本体２０１による電気的な制御に従って動作し、撮影レンズ２０２の焦点や撮影レンズ２０２から入射する光量を調整する。

メインミラー２０３はハーフミラーであり、背面にはサブミラー２０４が設けられている。図示した、ミラーアップされていない状態では、撮影レンズ２０２からの光束の一部を反射して上方のファインダー光学系へ入射させ、透過光をサブミラー２０４で反射して下方のＡＦユニット２０５へ入射させる。露光時などミラーアップされた状態では、光路から退避する。

ＡＦユニット２０５は位相差検出方式のＡＦセンサである。撮影レンズ２０２の二次結像面を、ＡＦユニット２０５が有する焦点検出ラインセンサ上に形成することによって、撮影レンズ２０２のデフォーカス量と焦点方向を検出し、検出結果をもとにフォーカシングレンズ２１３を駆動して自動焦点調節を行う。位相差検出方式による合焦制御については公知であり、ＡＦユニット２０５には公知の構成を適用可能であるため、ＡＦユニット２０５の詳細な構成や合焦制御についての説明は省略する。本実施形態のＡＦユニット２０５では６１個の測距点５０２（焦点検出領域またはＡＦ枠とも呼ばれる）が図３（ａ）に示すようにレイアウトされているものとする。

フォーカシングスクリーン２０６はファインダー光学系としての撮影レンズ２０２の予定結像面に配置された半透明の板状部材である。フォーカシングスクリーン２０６には、図３（ｂ）に示すように、スポット測光時の測光範囲の目安であるＡＥエリアパターン５０３や、自動焦点検出が行われる範囲の目安であるＡＦエリアパターン５０４が描かれている。

また、撮影レンズ２０２の予定結像面もしくはその近傍にはさらにファインダー表示素子２２０が配置されている。ファインダー表示素子２２０はたとえば透過型の液晶ディスプレイであり、図３（ｃ）に示すように、例えば自動焦点検出時に６１箇所の測距点５０２のうち、実際に用いられている測距点を示す測距点表示５０５を行う。本実施形態における測距点表示５０５は、図３（ａ）に示した測距点レイアウトに対応した位置で、測距点の枠を表示するものであるが、他の表示方法であってもよい。

ユーザは、アイピース２０９からファインダー光路変更用のペンタプリズム２０７を通じてフォーカシングスクリーン２０６を観察する。観察される光学ファインダー像は、撮影される視野の光学像と、フォーカシングスクリーン２０６上に描かれたパターンと、ファインダー表示素子２２０が表示する撮影用の情報とが重畳された像である。なお、ファインダー表示素子２２０には発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、有機ＥＬディスプレイなど、他の方式の表示装置を用いてもよいし、複数の表示装置を用いてもよい。また、表示内容に応じて異なる方式の表示装置を用いてもよい。

ＡＥユニット２０８は、被写体の明るさを観測するため、複数画素を持つＡＥセンサで光学ファインダー像を測光画像データに変換する。ここでは、ＡＥセンサが光学ファインダー像のうち、図３（ａ）に示した撮像範囲５０１を撮影するものとする。ＡＥセンサは画素数を除いて撮像素子２１１と同様の構成であってよいが、主に被写体輝度の検出に用いられるためＡＥセンサと呼ぶ。測光画像データは、Ｒ、Ｇ、およびＢ成分を有する。本実施形態においてＡＥユニット２０８は、生成された測光画像データを用いて、被写体の明るさ検出、露出演算、被写体検出および被写体追尾などを行う。なお、必要に応じて複数の測光画像データを加算することで、測光画像データのダイナミックレンジを拡張してもよい。

撮像素子２１１はＣＭＯＳイメージセンサやＣＣＤイメージセンサなどであり、光電変換素子を有する画素が複数配列されている。メインミラー２０３およびサブミラー２０４を撮影光路から退避させ、フォーカルプレーンシャッタ２１０を開くことにより、撮像素子２１１が露光され、被写体光学像が撮影される。

ディスプレイ２１２は例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー画像を表示して電子ビューファインダーとして用いたり、各種の設定値、撮影情報、装置情報、ＧＵＩ画面、撮影済み画像などの表示に用いたりする。

図２は、本実施形態のＤＳＬＲの機能的な構成例を示すブロック図である。なお、図１と同じ構成要素については、同一符号を付してある。

操作部３０１は、ユーザが本体２０１や撮影レンズ２０２に取り付けられたボタン、スイッチ、ダイヤル、接続機器等を介して行った操作を検知し、操作内容に応じた信号をシステム制御部３０６に出力する。また操作部３０１は、レリーズボタンの押下量によってＳＷ１信号とＳＷ２信号を送信する。具体的には、レリーズボタンが半分程度押下されるとＳＷ１信号を、レリーズボタンがさらに所定量押されるとＳＷ２信号を、それぞれシステム制御部３０６に出力する。なお、ＳＷ１信号が出力されるレリーズボタンの押下状態を「半押し」、ＳＷ２信号が出力されるレリーズボタンの押下状態を「全押し」と呼ぶ。また、レリーズボタンの半押し状態が維持されている状態を「ＳＷ１保持状態」と呼び、全押し状態が維持されている状態を「ＳＷ２保持状態」と呼ぶ。また、操作部３０１は、レリーズボタンの押下量がＳＷ１信号を送信するに満たない状態になるとＳＷ１解除信号を、ＳＷ２信号を送信するに満たない状態になるとＳＷ２解除信号を、それぞれシステム制御部３０６に出力する。

上述の通り、ＡＦユニット２０５は位相差検出方式による自動焦点検出および、焦点検出結果に基づく、フォーカシングレンズ２１３の合焦位置への駆動（自動焦点調節）を行う。ＡＦユニット２０５は、ＡＦ制御部３０４および測距センサ３０５で構成される。測距センサ３０５は例えば図３（ａ）に示した６１箇所の測距点５０２に対応する複数のラインセンサで構成され、サブミラー２０４を介して入射される光を電気信号に変換し、各測距点に対して一対の像信号をＡＦ制御部３０４に出力する。ＡＦ制御部３０４は、測距センサ３０５から出力された一対の像信号の位相差に基づいて、図３（ａ）に示す測距点５０２の各々におけるデフォーカス量を計算し、合焦させる測距点を１つ選択する。そして、測距点５０２それぞれのデフォーカス量をデータとして持つデフォーカスマップと、選択した測距点の位置情報をシステム制御部３０６に出力する。システム制御部３０６は、選択測距点位置およびデフォーカスマップに基づいて焦点調節演算を行い、選択された測距点に合焦するようにフォーカシングレンズ２１３の位置を制御する。

ＡＥユニット２０８は自動露出演算および、被写体の検出・追尾を行う。ＡＥユニット２０８はＡＥ制御部３０２および測光センサ３０３で構成される。ＡＥ制御部３０２は測光センサ３０３から読み出した測光画像データに基づいて自動露出演算を行い、結果をシステム制御部３０６に出力する。システム制御部３０６はＡＥ制御部３０２から出力された自動露出演算の結果に基づいて、絞り２１４の値（開口の大きさ）を制御し、本体２０１に入射する光量を調節する。

また、ＳＷ１保持状態および連写中において、ＡＥ制御部３０２は測光センサ３０３による連続した撮像で順次得られる測光画像データを用いて被写体を順次検出することにより、被写体を追尾し、検出した被写体の位置情報をシステム制御部３０６に出力する。被写体検出処理および被写体追尾処理の詳細については後述する。システム制御部３０６はＡＥ制御部３０２から出力された被写体の位置情報をＡＦ制御部３０４に出力する。

ＡＦ制御部３０４は、システム制御部３０６から出力された被写体の位置もしくはその近傍にある測距点のデフォーカス量を計算し、計算結果をあらかじめ設定された閾値と比較する。比較の結果デフォーカス量が閾値以下であれば、システム制御部３０６に出力する選択測距点位置データを、ＡＦ制御部３０４が各測距点におけるデフォーカス量に基づいて選択した測距点から、被写体またはその近傍にある測距点に更新する。

システム制御部３０６は、操作部３０１からＳＷ２信号が出力されると、メインミラー２０３（およびサブミラー２０４）をアップし、光路から退避させる。そして、フォーカルプレーンシャッタ２１０を駆動し、撮像素子２１１を自動露出演算の結果に基づく時間、露光する。露光時間が終了すると、システム制御部３０６は、メインミラー２０３（およびサブミラー２０４）をダウンさせる。

撮像素子２１１は露光時間中に撮影レンズ２０２を通して入射する光を各画素で電気信号に変換して画像データを生成し、システム制御部３０６へ出力する。システム制御部３０６は撮像素子２１１から出力された画像データに対して所定の画像処理などを適用し、ディスプレイ２１２で表示させたり、画像記憶装置３０７へ書き込んだりする。

図３はフォーカシングスクリーン２０６で観察される像について説明するための図である。図３（ａ）は本実施形態におけるフォーカシングスクリーン２０６と撮像範囲５０１および測距点５０２との位置関係を示す。本実施形態ではフォーカシングスクリーン２０６の全体が撮像範囲５０１であるものとする。また、本実施形態では６１箇所の測距点５０２が図のように配置されているものとする。図３（ａ）では測距点５０２のレイアウトを例示するためにそれぞれを枠で図示しているが、実際にはこれらの枠はフォーカシングスクリーン２０６上には存在しない。

図３（ｂ）は、光学ファインダーのアイピース２０９からフォーカシングスクリーン２０６を観察した際に視認されるファインダー像の例を示す。図３（ｂ）では、撮像範囲内に存在する人物の被写体５０６に合焦している状態を示しており、６１箇所の測距点５０２のうち、合焦状態にある６箇所の測距点に対応する枠状の測距点表示５０５を、ファインダー表示素子２２０が表示している。図３（ｂ）に示すように、測距点表示５０５は、被写体光学像５０６と重畳して観察される。

図３（ｃ）はフォーカシングスクリーン２０６上に描かれたパターンの例を示す。パターンは例えば罫書きにより設けられる。ＡＥエリアパターン５０３はスポット測光時の測光範囲の目安を示し、ＡＦエリア表示５０４は自動焦点検出（ＡＦ）が可能な範囲の目安を示している。ここでは便宜上、図３（ｂ）に示していないが、フォーカシングスクリーン２０６に設けられたパターン５０３，５０４はフォーカシングスクリーン２０６に直接描かれているため、実際には図３（ｃ）の状態でも視認される。

つまり、光学ファインダーのアイピース２０９からフォーカシングスクリーン２０６を観察すると、被写体光学像、ファインダー表示素子２２０による表示、およびフォーカシングスクリーン２０６上のパターンが重なったファインダー像が視認される。

続いて、本実施形態におけるＤＳＬＲの動作について説明する。
図４は、ＡＦ制御部３０４、システム制御部３０６、ＡＥ制御部３０２の動作シーケンスを示す図であり、前半がＳＷ１保持状態における動作シーケンスを、後半がＳＷ２保持状態の動作シーケンスを示している。なお、図４は各制御部における処理の手順や動作のタイミングを示すことを目的としたものであり、異なる制御部が行う処理はもちろん、同一の制御部が行う処理であっても、処理ブロックの大きさ（高さ）と処理時間の長さとはなんら関連性を有さない。

Ｓ４０１は、レリーズボタンが半押しされ、操作部３０１からシステム制御部３０６へＳＷ１信号が出力されたタイミングを示している。ＳＷ１信号の入力を受けたシステム制御部３０６はＡＦ制御部３０４へＡＦ開始信号Ｄ０１を出力し、ＡＦ制御部３０４は動作を開始する。

Ｓ４０３でＡＦ制御部３０４は、測距センサ３０５に蓄積を行わせる。
Ｓ４０４でＡＦ制御部３０４は、測距センサ３０５から像信号を読み出す。
Ｓ４０５でＡＦ制御部３０４は、ユーザが任意に選択した測距点について、読み出した像信号に基づく焦点検出演算を行う。あるいは、ＡＦ制御部３０４は、読み出した像信号に基づいて複数の測距点に対して被写体の距離情報を求め、最至近の距離情報が得られた測距点を選択して焦点検出演算を行う。ＡＦ制御部３０４は、デフォーカスマップと選択測距点位置情報を含んだ焦点演算結果信号Ｄ０２をシステム制御部３０６に出力する。

システム制御部３０６は、選択された測距点に合焦するように、焦点演算結果信号Ｄ０２に基づいてフォーカシングレンズ２１３を駆動し、焦点調節を行う。焦点調節が完了すると、システム制御部３０６は、ＡＦ開始信号Ｄ０３をＡＦ制御部３０４に、ＡＥ開始信号Ｄ０４をＡＥ制御部３０２に、それぞれ出力する。

Ｓ４０６でＡＥ制御部３０２は、ＡＥ開始信号Ｄ０４を受信すると測光センサ３０３による蓄積動作（すなわち、撮影）を開始する。ＡＦ開始信号Ｄ０３を受信したＡＦ制御部３０４も測距センサ３０５による蓄積動作を開始するため、測距センサ３０５および測光センサ３０３での蓄積動作は同じタイミングで開始される。これにより、測距センサ３０５と測光センサ３０３とから、同じシーンを同じタイミングで撮影された像信号（画像）が得られる。
Ｓ４０７でＡＥ制御部３０２は、測光センサ３０３から測光画像データを読み出す。

Ｓ４２０で補正手段としてのＡＥ制御部３０２は、Ｓ４０７で読み出した測光画像データに、フォーカシングスクリーン２０６のパターンによる影響を補正するための画像処理を含んだ画像処理を適用する。フォーカシングスクリーン２０６のパターンにより、パターンに対応する位置の画素に入射する光量が低下するため、パターンに対応する位置の画素の輝度は本来の（パターンがない場合の）輝度より低下している。そのため、パターンの影響を受けない画素よりも大きなゲインを適用する。

また、フォーカシングスクリーン２０６のパターンの補正以外の画像処理としては、ファインダー光学系の口径食による周辺光量落ちの補正、測光センサ３０３の撮影角度によって生じる画像の明るさの変化の補正がある。必要があればさらに測光センサ３０３の欠陥画素補正などを行ってもよい。これらはいずれも、画素の輝度に適用するゲインの調整で実現できる画像処理である。

ファインダー光学系はスペースが限られるので、十分な口径を確保することが難しい。そのため、口径食によって光学ファインダー像の周辺光量が低下する。周辺光量の低下は像高が大きいほど大きいので、画像の中央からの距離に応じて徐々に大きくなるゲインを適用する。

ＡＥユニット２０８とフォーカシングスクリーン２０６との位置関係などにより、正面から撮影できない場合、例えば画像の上が明るく、下が暗くなるといったように、画像の明るさに差が生じる。そのため、この明るさの差を補正するような（上述の例では上部は低く、下部は高い）ゲインを適用する。

図７は、フォーカシングスクリーン２０６のパターンの補正を行うために各画素に適用するゲインを模式的に示した図である。このように、各画素の位置に対応したゲインを例えばテーブルとして予め用意しておくことができる。なお、ゲインと画素位置とが対応付けられていれば、テーブルに限らずどのような形態であってもよい。また、画素位置からゲインが取得可能な演算式を用意し、補正時にゲインを求めてもよい。図７の例では、ゲイン量８０ｈが１．０倍のゲインを表す。ＡＦエリアパターン５０４に対応した位置の画素に対するゲイン量８０１はａ０ｈに設定されており、ａ０ｈ／８０ｈ＝１．２５倍のゲイン量が適用される。

フォーカシングスクリーン２０６のパターンによる光量低下、ファインダー光学系の口径食による周辺光量低下、測光センサ３０３の撮影角度による光量のばらつきは、基本的に変化しない。そのため、個々の補正を実現するゲイン量を合成した補正ゲインを、個々の画素位置について求め、補正ゲインテーブルとして用意しておくことができる。例えば、補正を実現するゲイン量と１倍のゲイン量との差を個々の補正に対して求めて合計したのち、１倍のゲイン量と加算することで、ゲイン量を合成することができるが、他の方法を用いてもよい。

なお、フォーカシングスクリーン２０６が交換可能な場合には、パターンも変化するため、補正ゲインテーブルをフォーカシングスクリーンの種類ごとに用意する。また、フォーカシングスクリーンの種類によって周辺光量の低下特性が変わる場合もあるため、周辺光量の低下を補正する場合にはそれも考慮して補正ゲインテーブルを用意する。

補正ゲインテーブルは、定常的な影響を補正するためのものであるため、ファインダー表示素子２２０による表示のように変化する影響を補正するためのゲイン量を反映させてから測光画像データに適用する必要がある。

そのため、Ｓ４２０でＡＥ制御部３０２は、まずファインダー表示素子２２０が表示している項目（および表示位置が一定でない項目については表示位置も）について検出する。表示位置が固定である場合には、表示位置を検出する必要は無い。例えば、ＡＥ制御部３０２はＳ４２０の実行時に合焦している測距点を検出し、補正ゲインテーブル内の、測距点表示５０５の影響を受けて輝度が低下する画素位置のゲインに、測距点表示による輝度の低下を補正するためのゲインを合成する。図７において、測距点表示に対応した位置の画素に対するゲイン量８０２はａ０ｈに設定されており、ａ０ｈ／８０ｈ＝１．２５倍のゲイン量が適用される。なお、ＡＦエリアパターン５０４による輝度の低下を補正するためのゲインと同じ値であるのは単なる例である。

このように、定常的な影響を補正するためのゲインに、表示位置が一定でない表示による影響のように動的に生じる影響を補正するためのゲインを反映したのち、ＡＥ制御部３０２は例えば内蔵のゲイン回路を用いて測光画像データの各画素にゲインを適用する。なお、ＡＥ制御部３０２は１倍以外のゲインを適用すべき画素にだけゲインを適用してもよい。

Ｓ４０８でＡＥ制御部３０２は被写体追尾処理を行う。ＡＥ制御部３０２は、過去に実行した追尾テンプレート生成処理（Ｓ４１３）で生成されたテンプレート画像を追尾対象画像とし、Ｓ４２０で画像処理を適用した画像データとテンプレートマッチングを行う。そして、生成した画像中における追尾対象の位置（被写体座標）を被写体追尾結果として検出する。

ＡＥ制御部３０２における被写体追尾結果Ｄ５は、システム制御部３０６で中継され、被写体追尾結果Ｄ０６としてＡＦ制御部３０４に通知される。なお、テンプレート画像が生成されていない場合、Ｓ４０８の被写体追尾処理は省略される。

Ｓ４０９でＡＥ制御部３０２は、Ｓ４０７で読み出した測光画像データに基づいて露出演算を行い、露出演算結果Ｄ０８をシステム制御部３０６に出力する。

一方、システム制御部３０６がＡＥ開始信号Ｄ４と同時に出力したＡＦ開始信号Ｄ０３を受け取ったＡＦ制御部３０４は、上述したようにＳ４０３〜Ｓ４０４の処理を実行し、Ｓ４１０でＳ４０５と同様の処理により焦点検出を行う。

Ｓ４１１でＡＦ制御部３０４は、システム制御部３０６を通じて被写体追尾結果Ｄ０６を受け取り、最も近い測距点かＳ４１０で選択した測距点を用いることを決定する。そして、ＡＦ制御部３０４は、デフォーカスマップと選択測距点位置情報を含んだ焦点演算結果信号Ｄ０７をシステム制御部３０６に出力する。なお、選択測距点位置は具体的な測距点の位置を表す情報であってもいいが、測距点ごとの位置に関する情報が別途利用できる場合には、測距点番号など、測距点を特定できる情報であってもよい。

システム制御部３０６は焦点演算結果信号Ｄ０７に含まれる選択測距点位置情報とデフォーカスマップとに基づいて焦点調節を行う。また、システム制御部３０６は、焦点演算結果信号Ｄ０７に含まれる選択測距点位置情報と、以前の選択測距点位置情報とから、選択測距点が変更されたかどうかを判別する。そして、システム制御部３０６は、選択測距点が変更（再選択）されていれば、測距点再選択フラグをＴＲＵＥに、選択測距点が変更（再選択）されていなければ、測距点再選択フラグをＦＡＬＳＥにする。システム制御部３０６は、焦点演算結果信号Ｄ０７に含まれる選択測距点位置情報と、測距点再選択フラグをデータＤ１０としてＡＥ制御部３０２に通知する。

Ｓ４１３でＡＥ制御部３０２は、データＤ１０に基づいて追尾テンプレートを生成する。この処理の詳細については後述する。ここで生成された追尾テンプレートは、次のコマ（フレーム）以降の被写体追尾処理に用いられる。

Ｓ５０１においてＳＷ２信号の出力が開始されると、システム制御部３０６は、ＡＥ制御部３０２が繰り返し処理におけるＳ４０９の露出演算（および必要な場合はＳ４１３の追尾テンプレートの作成）を終えてから、本撮影処理を開始する。なお、露出演算が終了した時点で本撮影処理を開始し、追尾テンプレートの作成はバックグランド処理で行ってもよい。

本撮影処理においてシステム制御部３０６は、Ｓ５０２でシステム制御部３０６はメインミラー２０３（およびサブミラー２０４）をアップさせて光路から退避させる。また、直前に得られた、露出演算結果ならびに選択測距点に対するデフォーカス量とに応じて、フォーカシングレンズ２１３の駆動および絞り２１４、フォーカルプレーンシャッタ２１０の制御を行い、Ｓ５０３で本撮影を実行する。その後、Ｓ５０４でシステム制御部３０６は、メインミラー２０３（およびサブミラー２０４）をダウンさせる。

また、システム制御部３０６は、ＳＷ２信号の出力が開始されると、ＡＦ制御部３０４にレリーズ開始信号Ｄ１１、ＡＥ制御部３０２にレリーズ開始信号Ｄ１２を出力する。レリーズ開始信号Ｄ１１およびＤ１２を受信したＡＦ制御部３０４およびＡＥ制御部３０２は、その時点で行っていた処理を中断する。そして、システム制御部３０６はミラーダウン動作Ｓ５０４を完了した際にＳＷ２信号が出力されていれば、ＡＦ制御部３０４へＡＦ開始信号Ｄ０３を、ＡＥ制御部３０２へＡＥ開始信号Ｄ０４をそれぞれ出力する。そして、連写の２コマ目の本撮影処理が開始される。２コマ目からはＳ４０３ならびにＳ４０６の処理から開始される。２コマ目の処理におけるＳ４１１で測距点が変更された場合には、Ｓ５０３で本撮影が行われた後、ＡＥ制御部３０２で次のコマに用いるための新たな追尾テンプレートの作成が行われる（Ｓ４１３）。

続いて、Ｓ４０８における被写体追尾処理および、Ｓ４１３におけるテンプレート画像生成処理について、図５のフローチャートを用いて説明する。
まず、図５（ａ）に示すフローチャートを用いて、Ｓ４１３におけるテンプレート画像生成処理について説明する。

Ｓ１０１でＡＥ制御部３０２は、データＤ１０に基づいて、Ｓ４０７で生成した測光画像データからテンプレートとして抽出する領域を決定する。測距点再選択フラグがＴＲＵＥの場合、直前に実行したＳ４０８の被写体追尾処理で検出した結果に基づく測距点が選択されている。そのため、ＡＥ制御部３０２は、被写体追尾処理で得られた位置を中心とする所定の大きさ並びに形状の領域をテンプレート領域（所定領域）に設定する。一方、測距点再選択フラグがＦＡＬＳＥの場合、データＤ１０に含まれる選択測距点位置を中心とする所定の大きさ並びに形状の領域をテンプレート領域（所定領域）に設定する。
被写体追尾処理の結果が測距点の選択に採用されていない場合、追尾用のテンプレート画像としては不適切であるため、このような分岐処理を行う。

Ｓ１０２でＡＥ制御部３０２は、テンプレート領域内（所定領域内）の画素の色分布を計算し、追尾対象の特徴色を検出する。特徴色の検出は例えば以下のように行うことができる。まず、ＲＧＢ色空間を、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの強さを０〜７の８段階に分割する。これにより、ＲＧＢ色空間は８×８×８の５１２のブロック（座標）に分割される。そして、テンプレート領域内の各画素の色信号をＲＧＢ色データに変換し、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの強さに基づいてＲＧＢ色空間の対応するブロック（座標）に分類する。これをテンプレート領域内の全ての画素について行い、５１２のブロックのうち、分類された画素が最も多いブロックに対応する色（ＲＧＢ）を、追尾対象の特徴色とする。

なお、分類された画素が最も多いブロックが複数あれば、複数のブロックに対応する色を追尾対象の特徴色とする。また、分類された画素が最も多いブロックの代わりに、分類された画素数が一定値以上である１つ以上のブロックとしたり、分類された画素数が上位の所定数のブロックとしたりすることもできる。また、分類された画素が最も多いブロックに分類された画素数が所定の閾値以上である場合や、２番目に分類された画素数が多いブロックに分類された画素数との差が所定の閾値以上である場合に、分類された画素が最も多いブロックだけを特徴色としてもよい。

Ｓ１０７でＡＥ制御部３０２は測光画像からテンプレート領域を切り出し、テンプレート領域画像を作成する。
Ｓ１０８でＡＥ制御部３０２は、特定の色を高輝度に、他の色を低輝度に変換する３次元ルックアップテーブルを作成する。具体的には、追尾対象の特徴色については高輝度に変換し、他の色は低輝度に変換するとともに、光学ファインダー像に情報を重畳表示するために用いられている色は追尾対象の特徴色に含まれていても低輝度に変換するようなルックアップテーブルである。もっとも単純な場合、低輝度を０（黒）、高輝度を１（白）とした二値画像に変換するルックアップテーブルであってよい。

図６（ｂ）は、ルックアップテーブルに登録された特徴色のブロックの例を、図６（ａ）に示したＲＧＢ色空間で模式的に示した図である。このように、ＲＧＢブロック単位で、高輝度に変換する色が登録される。図６（ｂ）では、Ｓ１０２で決定した追尾対象の特徴色が、（Ｒ，Ｇ，Ｂ）＝（２，６，０）〜（４，７，２）の複数のブロックに対応（分布）している例を示している。

Ｓ１０９でＡＥ制御部３０２は、テンプレート領域画像内の各画素に対してＳ１０８で作成したルックアップテーブルを適用し、特徴色を有する画素を高輝度に、他の色の画素は低輝度に変換した輝度画像を生成し、最終的なテンプレート画像とする。

Ｓ４０８の被写体追尾処理ではこのテンプレート画像を用いてテンプレートマッチングを行う。これにより、追尾対象の特徴色を強調した状態で輝度画像によるテンプレートマッチングを行うことができるため、単純にカラー画像によるテンプレートマッチングを行うよりも演算負荷を小さくできる。

続いて、Ｓ４０８の被写体追尾処理（被写体検出処理）について図５（ｂ）に示したフローチャートを用いて説明する。
Ｓ１２１でＡＥ制御部３０２は、Ｓ４０７で測光センサ３０３から取得した測光画像の各画素に対し、Ｓ１０８で作成したルックアップテーブルを適用する。つまり、測光センサ３０３で撮影している動画像の１つ前のフレーム（コマ）に対するテンプレート生成処理（Ｓ４１３）で抽出された特徴色の画素を高輝度に、他の色の画素を低輝度に変換した色変換画像（輝度画像）を生成する。

Ｓ１２２でＡＥ制御部３０２は、前のフレーム（コマ）に対するテンプレート生成処理（Ｓ４１３）で作成したテンプレート画像を用いたテンプレートマッチングにより、色変換画像の中でテンプレート画像と最も相関の高い領域を検出対象として検出する。

このような色変換を行った画像を用いてテンプレートマッチングを行うことにより、追尾対象の特徴色の情報は失わずに輝度画像を用いて処理できるため、単純にカラー画像によるテンプレートマッチングを行うよりも演算負荷を小さくできる。

ＡＥ制御部３０２は、検出した追尾対象の位置を被写体追尾結果Ｄ５に含めてシステム制御部３０６に出力する。システム制御部３０６は追尾対象の位置を被写体追尾結果Ｄ０６としてＡＦ制御部３０４に出力する。

ＡＦ制御部３０４は、測距点再選択処理Ｓ４１１において、被写体追尾結果Ｄ０６で通知された追尾対象位置を含む測距点あるいは近傍（所定範囲内）の測距点を探索する。そして、該当する測距点があれば、その測距点を新たな選択測距点とする再選択処理を行う。

以上説明したように本実施形態によれば、例えば測光画像のように、表示装置が表示した情報やフォーカシングスクリーン上のパターンが光学ファインダー像に重畳した画像における、情報表示やパターンによる影響を補正する。これにより、重畳表示された情報が画像処理に与える影響を低減することができ、例えば測光用の画像を用いた被写体検出処理や被写体追尾処理の精度を向上させることができる。

（その他の実施形態）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、被写体の位置を認識する手法に関しては、テンプレートマッチングによる被写体追跡だけでなく、色情報を用いた追跡を用いても良い。他にも、オプティカルフローを利用した動体解析や、エッジ検出によるシーン認識技術を用いても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. フォーカシングスクリーンに設けられたパターンが光学ファインダー像に重畳した画像を取得する取得手段と、
   前記画像に含まれる画素のうち、前記パターンによって輝度が低下する画素の輝度を補正する補正手段と、
   前記補正手段で補正された画像を用いて予め定められた画像処理を行う処理手段と、
   を有することを特徴とする撮像装置。
2. 前記光学ファインダー像に重畳するように情報を表示する表示手段をさらに有し、
   前記補正手段が、前記表示手段によって表示されている情報によって輝度が低下する画素の輝度についても補正することを特徴とする請求項１記載の撮像装置。
3. 前記表示手段が、表示位置が一定でない情報を表示し、
   前記補正手段は、前記表示手段が前記表示位置が一定でない情報を表示している場合には、該情報の表示位置に対応する位置の画素の輝度を補正することを特徴とする請求項２記載の撮像装置。
4. 前記補正手段がさらに、前記取得手段が取得する画像における、前記光学ファインダー像を形成する光学系による周辺光量の低下の補正、前記画像の撮影角度による明るさの差の補正、前記画像を撮影する撮像素子の欠陥画素の補正、の少なくとも１つを行うことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記予め定められた画像処理が、前記画像の所定領域内に含まれる画素の特徴色を用いた被写体検出処理もしくは被写体追尾処理であることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記画像を、前記特徴色とそれ以外の色を有する画素とを異なる輝度で表す輝度画像に変換する変換手段をさらに有し、
   前記処理手段は、前記輝度画像を用いて前記被写体検出処理もしくは被写体追尾処理を行うことを特徴とする請求項５記載の撮像装置。
7. 前記特徴色が、色空間を複数のブロックに分割した際、前記所定領域内に含まれる画素の色が最も多く含まれるブロックに対応する色であることを特徴とする請求項５または６に記載の撮像装置。
8. 前記取得手段が、測光センサを用いて前記画像を取得することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 取得手段が、フォーカシングスクリーンに設けられたパターンが光学ファインダー像に重畳した画像を取得する取得工程と、
   補正手段が、前記画像に含まれる画素のうち、前記パターンによって輝度が低下する画素の輝度を補正する補正工程と、
   処理手段が、前記補正工程で補正された画像を用いて予め定められた画像処理を行う処理工程と、
   を有することを特徴とする撮像装置の制御方法。
10. 撮像装置のコンピュータに、請求項９記載の各工程を実行させるためのプログラム。

Images