JP2017195540A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】焦点検出のキャリブレーションを行う場合に、ピントの異なる複数枚の画像を容易に取得できるようにしつつ、画像間の解像力の差を抑制する。
【解決手段】ライトフィールドデータを取得可能な撮像部と、撮像部により取得されたライトフィールドデータにリフォーカス処理を施してリフォーカス画像を生成する生成部と、ライトフィールドデータから得られるリフォーカス処理を施していない撮影画像と、リフォーカス画像との少なくとも一方に画像処理を施す画像処理部と、撮影画像とリフォーカス画像を表示する表示部と、撮影画像とリフォーカス画像とを含む複数の画像を表示部に表示させて複数の画像の中からいずれかを選択させる所定のモードにおいて、表示部に表示される撮影画像とリフォーカス画像の解像度の差を抑制する画像処理を行うように画像処理部を制御する制御部とを備える。
【選択図】 図１６

Description

本発明は、撮像装置における焦点検出の誤差を補正する技術に関するものである。

被写体に自動的に焦点を合わせる自動焦点調節装置を有する撮像装置においては、自動焦点調節装置が算出したデフォーカス量に誤差がある場合に、その誤差をキャリブレーション装置によって補正する機能が知られている。

特許文献１には、自動焦点調節装置の補正値を取得するモードとして、キャリブレーションモードを備える撮像装置が開示されている。複数の異なるフォーカスレンズ位置で画像とデフォーカス量を取得し、ユーザーが、取得された画像からジャストピントの画像を選択する。そして、選択された画像と同時に取得したデフォーカス量を補正値として記憶する。

一方、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。特許文献２には、１つのマイクロレンズに対して複数に分割された光電変換部が配置されている２次元撮像素子を備えた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域からの光を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部それぞれで受光した被写体光を光電変換して生成された画像信号から、分割された瞳部分領域に応じた複数の視差画像を生成することができる。

特許文献３には、フォーカスレンズを動かしながらブラケット撮影を行うことで、複数の視差画像を生成できる範囲を拡大する撮像装置が提案されている。撮影された複数の視差画像は、光強度の空間分布および角度分布情報であるＬｉｇｈｔ Ｆｉｅｌｄ（ＬＦ）データと等価である。非特許文献１には、取得されたＬＦデータを用いて撮像面とは異なる仮想結像面における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。

特開２００５−１０９６２１号公報 米国特許第４４１０８０４号公報 特開２０１０−１９７５５１号公報

Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２，１（２００５）

しかしながら、上記の特許文献１に開示された従来技術では、ユーザーがピントの変化を確認できる複数枚の画像を撮影するために、レンズを動かしながら撮影する動作を繰り返し行う必要があり、撮影に時間がかかってしまう。この問題を解決するためには、ピントの変化を確認できる複数枚の画像を、非特許文献１に開示されたリフォーカス技術によって生成することも考えられる。しかし、非特許文献１に開示されたリフォーカス技術によって生成された画像は、元画像の解像力を再現できない場合があるため、元画像と比較して解像力が劣ってしまうことがある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、焦点検出のキャリブレーションを行う場合に、ピントの異なる複数枚の画像を容易に取得できるようにしつつ、画像間の解像力の差を抑制することである。

本発明に係わる撮像装置は、ライトフィールドデータを取得可能な撮像手段と、前記撮像手段により取得されたライトフィールドデータにリフォーカス処理を施してリフォーカス画像を生成する生成手段と、前記ライトフィールドデータから得られるリフォーカス処理を施していない撮影画像と、前記リフォーカス画像との少なくとも一方に画像処理を施す画像処理手段と、前記撮影画像と前記リフォーカス画像を表示する表示手段と、前記撮影画像と前記リフォーカス画像とを含む複数の画像を前記表示手段に表示させて該複数の画像の中からいずれかを選択させる所定のモードにおいて、前記表示手段に表示される前記撮影画像と前記リフォーカス画像の解像度の差を抑制する画像処理を行うように前記画像処理手段を制御する制御手段と、を備えることを特徴とする。

本発明によれば、焦点検出のキャリブレーションを行う場合に、ピントの異なる複数枚の画像を容易に取得できるようにしつつ、画像間の解像力の差を抑制することが可能となる。

本発明の第１の実施形態に係わる撮像装置の概略構成図。 撮像素子の画素配置を示す図。 撮像素子の画素の概略平面図と概略断面図。 撮像素子の画素と瞳分割の概略説明図。 撮像素子と瞳分割の概略説明図。 デフォーカス量と像ずれ量の関係を示す図。 リフォーカス処理の概略説明図。 リフォーカス可能範囲の概略説明図。 リフォーカス画像の解像力変化の概略図。 ＡＦマイクロアジャストメントの設定画面の概略図。 第１の実施形態におけるＣＡＬモードのメインのフローチャート。 第１の実施形態におけるＣＡＬモードの補正値を表示する画面の概略図。 第１の実施形態における位相差ＡＦのフローチャート。 第１の実施形態におけるフォーカスブラケット撮影のフローチャート。 第１の実施形態におけるフォーカスブラケット撮影に関するパラメータの概略図。 第１の実施形態における画像選択動作のフローチャート。 第１の実施形態における低像化処理の概略図。 第２の実施形態における画像選択動作のフローチャート。 第２の実施形態における高解像化処理の概略図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
［全体構成］
図１は、本発明の撮像装置の第１の実施形態であるデジタル一眼レフカメラのシステム構成を示す図である。図１において、カメラシステム１００は、カメラ２と、カメラ２に対して着脱可能な交換レンズ１とを備えて構成される。このカメラシステム１００は、位相差検出方式によるＡＦ（オートフォーカス）処理を行う機能と、撮影後に撮像画像の合焦位置を変更したリフォーカス画像を生成する機能と、位相差検出方式による焦点検出結果の補正を行うフォーカスキャリブレーション機能とを有する。

交換レンズ１内には撮影光学系１０が収容されている。撮影光学系１０は、複数のレンズユニットや絞りにより構成される。また、複数のレンズユニットのうちフォーカスレンズユニット（以下、単にフォーカスレンズという）１０ａを光軸に沿う方向に移動させることで、ピント合わせを行うことができる。

レンズ駆動部１１は、ズームレンズやフォーカスレンズ１０ａを移動させるアクチュエータ、及びそのアクチュエータの駆動回路、アクチュエータの駆動力を各レンズに伝達する伝達機構を含む。レンズ状態検出部１２は、ズームレンズやフォーカスレンズ１０ａの位置、すなわちズーム位置およびフォーカス位置を検出する。

レンズ制御部１３は、ＣＰＵ等により構成され、後述するカメラ制御部４０からの指令に応じて交換レンズ１の動作を制御する。レンズ制御部１３は、電気接点１５のうちの通信端子を介してカメラ制御部４０と通信可能に接続される。また、交換レンズ１には、電気接点１５のうちの電源端子を通じて、カメラ２から電力が供給される。レンズ記憶部１４は、ＲＯＭ等により構成され、レンズ制御部１３での制御に用いられるデータ、交換レンズ１の識別情報、撮影光学系１０の光学情報等の各種情報が記憶されている。

カメラ２において、ハーフミラーで構成された主ミラー２０は、ユーザーが光学ファインダを通して被写体を観察する光学ファインダ観察時には、図示のように撮影光路内のダウン位置に配置されて撮影光学系１０からの光をピント板３０に向けて反射する。また、主ミラー２０は、背面モニタ４３にライブビュー画像を表示するライブビュー観察時や記録用画像（静止画および動画）を生成する撮影時には、撮影光路から退避するアップ位置に回動する。これにより、撮影光学系１０からの光は、シャッタ２３および撮像素子２４に向かう。

サブミラー２１は、主ミラー２０とともに回動し、ダウン位置に配置された主ミラー２０を透過した光をＡＦ（オートフォーカス）センサユニット２２に導く。また、主ミラー２０がアップ位置に回動すると、サブミラー２１も撮影光路から退避する。

ＡＦセンサユニット２２は、被写体から撮影光学系１０を通り、さらにサブミラー２１で反射して入射した光を用いて、カメラ２の撮影範囲内に設けられた複数の焦点検出領域において位相差検出方式による撮影光学系１０の焦点状態の検出（焦点検出）を行う。ＡＦセンサユニット２２は、各焦点検出領域からの光から一対の像（被写体像）を形成する２次結像レンズと、その一対の被写体像を光電変換する一対の受光素子列が配置されたエリアセンサ（ＣＣＤ又はＣＭＯＳ）とを有する。エリアセンサの一対の受光素子列は、一対の被写体像の輝度分布に応じた光電変換信号である一対の像信号をカメラ制御部４０に出力する。エリアセンサ上には、複数の焦点検出領域に対応した複数対の受光素子列が２次元配置されている。

カメラ制御部４０は、一対の像信号の位相差を算出し、その位相差から撮影光学系１０の焦点状態（デフォーカス量）を算出する。さらに、カメラ制御部４０は、検出した撮影光学系１０の焦点状態に基づいて、撮影光学系１０を合焦させるためにフォーカスレンズ１０ａを移動させるべき位置である合焦位置を算出する。このような焦点検出方法を用いて自動で焦点調節することを位相差ＡＦ（オートフォーカス）と呼ぶ。

そして、カメラ制御部４０は、位相差ＡＦにより算出した合焦位置にフォーカスレンズ１０ａを移動させるようレンズ制御部１３にフォーカス指令を送信する。レンズ制御部１３は、受信したフォーカス指令に応じて、レンズ駆動部１１を介してフォーカスレンズ１０ａを合焦位置に移動させる。これにより、撮影光学系１０の合焦状態が得られる。

このようにして、位相差検出方式による焦点状態の検出と、その焦点状態に基づく合焦位置の算出と、その合焦位置へのフォーカスレンズ１０ａの移動とを含む位相差ＡＦが行われる。カメラ制御部４０は、フォーカス制御装置として機能する。

シャッタ２３は、光学ファインダ観察時には閉じ、ライブビュー観察時および動画撮影時には開放されて撮影光学系１０により形成された被写体像の撮像素子２４による光電変換（ライブビュー画像および撮影動画の生成）を可能とする。さらに、静止画撮影時には、設定されたシャッタ秒時で開閉し、撮像素子２４の露光を制御する。

撮像素子２４は、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサとその周辺回路により構成され、撮影光学系１０により形成された被写体像を光電変換してアナログ撮像信号を出力する。撮像素子２４には、撮像用画素と焦点検出用画素を兼用した瞳分割機能を有する複数の画素が配置されている。これについては、後に詳しく説明する。

ピント板３０は、撮像素子２４と等価な位置である撮影光学系１０の１次結像面に配置されている。光学ファインダ観察時には、ピント板３０上に、被写体像（ファインダー像）が形成される。ペンタプリズム３１は、ピント板３０上に形成された被写体像を正立正像に変換する。接眼レンズ３２は、正立正像をユーザーに観察させる。ピント板３０、ペンタプリズム３１および接眼レンズ３２により光学ファインダが構成される。

ＡＥセンサ３３は、ピント板３０からの光を、ペンタプリズム３１を介して受光し、ピント板３０上に形成された被写体像の輝度を測定する。ＡＥセンサ３３は、複数のフォトダイオードを有し、カメラ２による撮影範囲を分割するように設定された複数の測光領域のそれぞれで輝度を測定することができる。また、被写体像の輝度測定の他に、被写体像の形や色などを測定して被写体の状態を判定する被写体検知機能も備える。

カメラ制御部４０は、ＭＰＵ等を含むマイクロコンピュータにより構成され、カメラ２と交換レンズ１を有するカメラシステム１００全体の動作を制御する。カメラ制御部４０は、前述したようにフォーカス制御手段として機能するとともに、後述するＡＦキャリブレーション手段（本実施形態ではＡＦマイクロアジャストメント機能という）としても機能する。また、撮像動作を制御する撮像制御手段、信頼度判定手段、およびフォーカスブラケット撮影を行う際の撮影回数をカウントするためのカウンターとしても機能する。

デジタル信号処理部４１は、撮像素子２４からのアナログ撮像信号をデジタル撮像信号に変換し、さらにそのデジタル撮像信号に対して各種処理を行って画像信号（画像データ）を生成する。撮像素子２４およびデジタル信号処理部４１により撮像系が構成される。

デジタル信号処理部４１は、撮像素子２４に配置されている瞳分割用の複数の画素を用いて、位相差検出方式による焦点状態の検出を行う。さらに、デジタル信号処理部４１が、検出した撮影光学系１０の焦点状態に基づいて、撮影光学系１０を合焦させるためにフォーカスレンズ１０ａを移動させるべき位置を算出することを、第２の焦点検出（以下、撮像面位相差ＡＦ（オートフォーカス））という。

デジタル信号処理部４１は、撮影後に撮影画像の合焦位置を変更するリフォーカス画像生成部４４を備える。リフォーカス画像生成の際に行われるリフォーカス処理については、後に詳しく説明する。また、デジタル処理部４１は、撮影した画像あるいはリフォーカス画像生成部４４により生成された画像に対して、画像処理を行う機能を有する。ここで言う画像処理とは、解像力を変化させるような画像処理であり、例えばエッジ強調処理やローパス処理である。

カメラ記憶部４２は、カメラ制御部４０やデジタル信号処理部４１の動作で用いられる各種データを記憶している。また、カメラ記憶部４２は、生成された記録用画像を保存する。背面モニタ４３は、液晶パネル等の表示素子により構成され、ライブビュー画像、記録用画像および各種情報を表示する。

［撮像素子］
図２は、撮像素子２４の画素の２次元状の配列を示した概略図である。図２に示した２列×２行の画素群２００は、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は２列×１行に配列された第１光電変換部２０１と第２光電変換部２０２により構成されており、焦点検出用画素としても機能する。

図２に示した４列×４行の画素（８列×４行の光電変換部）を撮像面上に多数配置し、画像信号及び焦点検出信号の取得を可能としている。本実施形態では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、光電変換部の列方向周期ＰＡＦが２μｍ、光電変換部の数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万個である撮像素子を用いるものとして説明する。

図２に示した撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示す。

図３に示すように、画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部２０１，２０２が配置される。光電変換部２０１，２０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。各画素には、マイクロレンズ３０５と、光電変換部２０１，２０２との間に、カラーフィルタ３０６が形成される。また、必要に応じて、各画素毎にカラーフィルタの分光透過率を変えても良いし、カラーフィルタを省略しても良い。

図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部２０１，２０２で受光される。光電変換部２０１，２０２では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。光電変換部２０１，２０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、フローティングディフュージョン部（ＦＤ）に転送され、電圧信号に変換される。

図４は、図３に示した画素構造と瞳分割との対応関係を示した概略説明図である。図３（ａ）に示した画素構造のａ−ａ断面を＋ｙ側から見た断面図と撮影光学系１０の射出瞳面を図４に示す。図４では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。

図４において、第１光電変換部２０１に対応する第１瞳部分領域５０１は、重心が−ｘ方向に偏心している第１光電変換部２０１の受光面と、マイクロレンズによって、概ね共役関係になっており、第１光電変換部２０１で受光可能な瞳領域を表している。第１光電変換部２０１に対応する第１瞳部分領域５０１は、瞳面上で重心が＋Ｘ方向に偏心している。本実施形態の撮像素子２４は、この構成により、光の強度とともに光の入射方向の情報を取得可能であり、いわゆるライトフィールドデータを取得可能である。

図４において、第２光電変換部２０２に対応する第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している第２光電変換部２０２の受光面と、マイクロレンズによって、概ね共役関係になっており、第２光電変換部２０２で受光可能な瞳領域を表している。第２光電変換部２０２に対応する第２瞳部分領域５０２は、瞳面上で重心が−Ｘ方向に偏心している。また、図４において、瞳領域５００は、第１光電変換部２０１と第２光電変換部２０２を全て合わせた場合の画素２００Ｇ全体で受光可能な瞳領域である。

図５は、撮像素子と瞳分割との対応関係を示した概略図である。第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束は、撮像素子の各画素にそれぞれ異なる角度で入射し、２×１分割された第１光電変換部２０１と第２光電変換部２０２で受光される。本実施形態は、瞳領域が水平方向に２つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行っても良い。

本実施形態の撮像素子は、撮影光学系１０の第１瞳部分領域５０１を通過する光束を受光する第１光電変換部２０１と、第１瞳部分領域と異なる撮影光学系１０の第２瞳部分領域５０２を通過する光束を受光する第２光電変換部２０２とを有する画素が複数配列されている。第１光電変換部２０１と第２光電変換部２０２を合わせた１つの画素は、撮影光学系１０の第１瞳部分領域５０１と第２瞳部分領域５０２を合わせた瞳領域を通過する光束を受光する撮像用画素として機能する。必要に応じて、撮像用画素と、第１光電変換部および第２光電変換部とを別々の画素構成とし、撮像用画素配列の一部に、第１光電変換部に対応する第１焦点検出用画素と、第２光電変換部に対応する第２焦点検出用画素を部分的に配置する構成としても良い。

本実施形態では、撮像素子の各画素の第１光電変換部２０１の受光信号を集めて第１焦点検出信号を生成し、各画素の第２光電変換部２０２の受光信号を集めて第２焦点検出信号を生成して焦点検出を行う。また、撮像素子の画素毎に、第１光電変換部２０１の信号と第２光電変換部２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（画像信号）を生成する。

［デフォーカス量と像ずれ量の関係］
以下、撮像素子２４により取得される第１焦点検出信号及び第２焦点検出信号に基づく像ずれ量と、デフォーカス量の関係について説明する。図６は、第１及び第２焦点検出信号に基づく像ずれ量と、デフォーカス量の概略関係を示す図である。撮像面８００に撮像素子２４が配置され、図４、図５と同様に、撮影光学系１０の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。

デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を大きさ｜ｄ｜とし、被写体の結像位置が撮像面８００より被写体側にある前ピン状態を負符号（ｄ＜０）、被写体の結像位置が撮像面８００より被写体の反対側にある後ピン状態を正符号（ｄ＞０）で表わす。被写体の結像位置が撮像面８００（合焦位置）にある合焦状態はｄ＝０である。図６では、被写体８０１が合焦状態（ｄ＝０）で、被写体８０２が前ピン状態（ｄ＜０）である例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は、一度、集光された後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子に配列された各画素を構成する第１光電変換部２０１（第２光電変換部２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた画像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。

したがって、本実施形態では、第１焦点検出信号と第２焦点検出信号、もしくは、第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する。

なお、撮像面位相差ＡＦにおいては、第１焦点検出信号と第２焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量（第１評価値）を計算し、相関（信号の一致度）が良くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する関係性から、像ずれ量をデフォーカス量に変換して焦点検出を行う。

［リフォーカス処理］
次に、上述した撮像素子２４から得られたライトフィールド（ＬＦ）データを用いたリフォーカス処理と、その場合のリフォーカス可能範囲について説明する。

図７は、本実施形態の撮像素子により取得された第１焦点検出信号と第２焦点検出信号による１次元方向（列方向、水平方向）のリフォーカス処理の概略説明図である。図７の撮像面８００は、図５、図６に示した撮像面８００に対応している。図７では、ｉを整数として、撮像面８００に配置された撮像素子の列方向ｉ番目の画素の第１焦点検出信号をＡｉ、第２焦点検出信号をＢｉで模式的に表している。第１焦点検出信号Ａｉは、図５の瞳部分領域５０１に対応して、主光線角度θａでｉ番目の画素に入射した光束の受光信号である。第２焦点検出信号Ｂｉは、図５の瞳部分領域５０２に対応して、主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。

第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉは、光強度分布情報だけでなく、入射角度情報も有している。よって、第１焦点検出信号Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させ、第２焦点検出信号Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させ、加算することで、仮想結像面８１０でのリフォーカス信号を生成できる。第１焦点検出信号Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させることは、列方向に＋０．５画素シフトさせることに対応する。また、第２焦点検出信号Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させることは、列方向に−０．５画素シフトさせることに対応する。したがって、第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉを相対的に＋１画素シフトさせ、ＡｉとＢｉ＋１を対応させて加算することで、仮想結像面８１０でのリフォーカス信号を生成できる。同様に、第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉを整数シフトさせて加算することで、整数シフト量に応じた各仮想結像面でのシフト加算信号（リフォーカス信号）を生成できる。生成されたシフト加算信号（リフォーカス信号）を用いて画像を生成することにより、仮想結像面でのリフォーカス画像を生成することができる。

本実施形態では、リフォーカス画像生成部４４により、第１焦点検出信号と第２焦点検出信号に、第２フィルター処理と第２シフト処理を行い、加算してシフト加算信号を生成する。そして、生成されたシフト加算信号（リフォーカス信号）を用いて画像を生成することにより、仮想結像面でのリフォーカス画像を生成する。

［リフォーカス可能範囲］
一方、リフォーカス可能範囲には限界があるため、リフォーカス画像生成部４４によって仮想結像面でのリフォーカス画像を生成できる範囲は限定される。図８は、本実施形態におけるリフォーカス可能範囲の概略説明図である。

許容錯乱円をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。これに対して、ＮＨ×ＮＶ（２×１）分割されて狭くなった瞳部分領域５０１（５０２）の水平方向の実効絞り値Ｆ０１（Ｆ０２）は、Ｆ０１＝ＮＨ・Ｆと暗くなる。第１焦点検出信号（第２焦点検出信号）毎の実効的な被写界深度は±ＮＨ・ＦδとＮＨ倍深くなり、合焦範囲がＮＨ倍に広がる。実効的な被写界深度±ＮＨ・Ｆδの範囲内では、第１焦点検出信号（第２焦点検出信号）毎に合焦した被写体像が取得されている。よって、図７に示した主光線角度θａ（θｂ）に沿って第１焦点検出信号（第２焦点検出信号）を平行移動するリフォーカス処理により、撮影後に、合焦位置を再調整（リフォーカス）することができる。撮影後に合焦位置を再調整（リフォーカス）できるデフォーカス量ｄは限定されており、リフォーカス可能なデフォーカス量ｄの範囲は、概ね、式（１）の範囲である。

｜ｄ｜≦ＮＨ・Ｆδ …（１）
許容錯乱円δは、δ＝２ΔＸ（画素周期ΔＸのナイキスト周波数１／（２ΔＸ）の逆数）などで規定される。必要に応じて、画素加算処理後の第１焦点検出信号（第２焦点検出信号）の周期ΔＸＡＦ（＝６ΔＸ：６画素加算の場合）のナイキスト周波数１／（２ΔＸＡＦ）の逆数を許容錯乱円δ＝２ΔＸＡＦとしても用いても良い。シフト加算信号（リフォーカス信号）を用いて仮想結像面でのリフォーカス画像を生成する際に、許容錯乱円δを満たすリフォーカス画像を生成できる範囲は、概ね、式（１）の範囲に限定される。
［リフォーカス画像の解像力］
リフォーカス画像生成部４４によってシフト加算方式で生成されたリフォーカス画像は、実撮影画像より解像力が低下する場合がある。図９は、本実施形態におけるリフォーカス画像の解像力変化を説明する図である。

図９（ａ）は、リフォーカス処理前の撮影画像を示している。撮像面８００に撮像素子２４が配置され、図８と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。前述したリフォーカス可能範囲の説明より、許容錯乱円をδとし、結像光学系の絞り値をＦとすると、許容錯乱円δを満たす絞り値Ｆでの被写界深度は±Ｆδである。図９（ａ）における画像のジャストピント位置は９０１であり、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束が集光する位置である。被写体の解像力は集光された位置で最も高くなるため、リフォーカス処理前の撮影画像は、ジャストピント位置９０１で解像力が高くなる。

図９（ｂ）は、図９（ａ）の撮影画像からリフォーカス可能範囲まで前ピン方向にリフォーカス処理した状態を示している。リフォーカス処理により、第１瞳部分領域５０１と第２瞳部分領域５０２を通過した光束がシフト加算されるため、被写界深度±Ｆδが前ピン方向へ移動する。しかし、リフォーカス処理により生成された画像のジャストピント位置９０２には、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束が集光されないため、撮影画像のような解像力を再現することができない。すなわち、図９（ｂ）における画像のジャストピント位置９０２は、図９（ａ）のジャストピント位置９０１に比べて解像力が低い。

図９（ｃ）は、図９（ａ）の撮影画像からリフォーカス可能範囲まで後ピン方向にリフォーカス処理した状態を示している。図９（ｂ）の場合と同様に、リフォーカス処理により生成された画像のジャストピント位置９０３には、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束が集光されないため、撮影画像のような解像力を再現することができない。すなわち、図９（ｃ）における画像のジャストピント位置９０３は、図９（ａ）のジャストピント位置９０１に比べて解像力が低い。

このように、シフト加算方式によるリフォーカス処理で得られたリフォーカス画像は、撮影画像と比較して解像力が低下する場合がある。そのため、撮影画像とリフォーカス画像を比較してしまうと、リフォーカス画像が被写体のジャストピント位置をとらえていたとしても、使用者にとってはジャストピントの画像に感じられない可能性がある。

［ＡＦ（オートフォーカス）マイクロアジャストメント機能］
図１０はＡＦマイクロアジャストメントの設定画面を示す図である。本実施形態における撮像装置はＡＦマイクロアジャストメント機能を有している。ＡＦマイクロアジャストメント機能とは、ユーザーが撮影した画像に基づいて、ＡＦセンサユニット２２が検出する合焦位置と実際の合焦位置のずれ量とその方向を判断して、ユーザー自ら補正値を設定するシステムである。この補正値は、実際の撮影時（記録用画像の撮影時）に行われる位相差ＡＦの補正に用いられる。図１０に示すように、本実施形態における撮像装置のＡＦマイクロアジャストメントは、補正間隔をＰとすると、±２０Ｐの範囲内でＡＦセンサユニット２２が検出する合焦位置と実際の合焦位置のずれを補正できる。図１０中の０はカメラ２が工場出荷時に設定された基準位置である。

次に、本実施形態におけるカメラ２のＡＦ（オートフォーカス）キャリブレーション（以下、ＣＡＬ）モードについて説明する。図１１は、本実施形態におけるＣＡＬモードの動作を示すフローチャートである。

ユーザーによってＣＡＬモードが選択されると、ステップＳ１００へ進む。ステップＳ１００では、カメラ制御部４０は、不図示のレリーズスイッチの半押し操作により第１スイッチ（ＳＷ１）がＯＮになったか否かを判定する。ＯＮになっていない場合は待機状態になり、ＯＮになった場合はステップＳ２００へ進む。

ステップＳ２００では、ＡＦセンサユニット２２による位相差ＡＦが行われる。詳細は後述する。ステップＳ２００の位相差ＡＦが完了すると、ステップＳ３００へ進む。ステップＳ３００では、被写体情報評価値の算出を行う。ＡＦセンサユニット２２は被写体が暗いときや、コントラストが低い場合などに、焦点検出精度が低下することがある。焦点検出精度が低下するような被写体の場合には被写体情報評価値であるＡＦ信頼性評価値は低い値となるように算出される。また、被写体情報評価値はＡＦ信頼性評価値に限定されず、被写体の空間周波数情報や、被写体のエッジ情報（隣接画素値の差分の積分値など）の大小に応じて算出しても構わない。また、被写体情報評価値を算出するための被写体情報の検出は、ＡＦセンサユニット２２内に備えられたエリアセンサに限定されるものではなく、光学ファインダに配置されるＡＥセンサ３３による被写体検知機能による検出でもよい。また、撮像素子２４による検出であっても構わない。被写体情報評価値の算出が完了すると、ステップＳ４００へ進む。

ステップＳ４００では、ステップＳ３００で算出された被写体情報評価値をもとにＣＡＬが可能かどうか判定される。例えば、被写体情報評価値であるＡＦ信頼性評価値が高い場合、つまり、ＣＡＬが可能と判定されれば、ステップＳ７００へ進み、ＡＦ信頼性評価値が低い場合、つまり、ＣＡＬが不可能と判定されれば、ステップＳ５００へ進む。なお、ＡＦ信頼性評価値は複数の観点で算出され、複数の値が存在する。前述のように、被写体の輝度や、被写体のコントラストなど複数の観点がある。この場合には、すべてのＡＦ信頼性評価値が所定の条件を満足するかどうかで判定してもよいし、定められたある観点での値に基づいて判定しても構わない。ステップＳ５００では、背面モニタ４３を用いて、焦点検出対象被写体はＣＡＬに不適切であることをユーザーに通知する。通知が完了すると、ステップＳ６００へ進む。

ステップＳ６００では、ユーザーがＣＡＬを終了するか否かを決定する。背面モニタ４３上には再度ＣＡＬを行うか否かの判断をユーザーに決定させるための表示を行い、ユーザーは不図示の操作ボタンを操作して再度ＣＡＬを行うか否かを決定する。再度ＣＡＬを行うと決定されれば、ステップＳ１００へと戻り、ＣＡＬを終了すると決定されれば、ＣＡＬモードは終了する。

ステップＳ７００では、フォーカスレンズ１０ａを所定量ずつ移動させてピントをずらしながら複数枚の画像を撮影するフォーカスブラケット撮影が行われる。詳細は後述する。フォーカスブラケット撮影が完了すると、ステップＳ８００へ進む。ステップＳ８００では、上記の複数枚の画像の中からユーザーによりピントが最も合っていると思われる画像の選択が行われる。詳細は後述する。

ステップＳ９００では補正値の格納が行われる。ユーザーが選択した画像に関連付けられたデフォーカス量あるいはレンズ位置に対応した算出デフォーカス量に基づいて補正値が決定される。決定された補正値はカメラ記憶部４２に記憶される。また、格納された補正値がユーザーに通知される。

図１２は背面モニタ４３が格納された補正値を表示する画面を示した図である。図１２中、白抜きの三角表示はこれまでの補正値を示しており、黒塗りの三角表示は今回のキャリブレーション動作で格納される新補正値を示している。図１２に示した表示を行うことにより、ユーザーはどのような補正値が格納されたかを確認することができる。補正値の格納が完了すると、ＣＡＬモードを終了する。

図１３は、本実施形態におけるＣＡＬモードのサブフローである位相差ＡＦフローを示す図である。

ステップＳ２０１では、カメラ制御部４０は、特定の焦点検出ラインでのデフォーカス量から合焦状態を得るために必要なフォーカスレンズ１０ａの移動量（移動方向を含む）を算出する。具体的には、フォーカスレンズ１０ａを移動させるレンズ駆動部１１のアクチュエータの駆動パルス数を算出する。フォーカスレンズ１０ａの移動量を算出することは、合焦位置を算出することに相当する。なお、現時点でＡＦマイクロアジャストメント機能によって補正量が指定されている場合は、ステップＳ２０１において算出したフォーカスレンズ１０ａの移動量にＡＦマイクロアジャストメント機能により指定された補正値を加算（又は減算）し、フォーカスレンズ１０ａの移動量を補正する。補正値が作成されていない場合は、補正値が０になるので、フォーカスレンズ１０ａの移動量（合焦位置）の補正は行われない。

ステップＳ２０２では、カメラ制御部４０は、補正された移動量だけフォーカスレンズ１０ａが移動されるようにレンズ制御部１３にフォーカス指令を送信する。これにより、レンズ制御部１３は、レンズ駆動部１１を通じてフォーカスレンズ１０ａを補正された合焦位置に移動させる。なお、ステップＳ２０１において、補正前の移動量だけ（つまりは補正前の合焦位置に）フォーカスレンズ１０ａを移動させてもよい。そして、ステップＳ２０２において、ＡＦマイクロアジャストメント機能に指定された補正量に相当する移動量だけフォーカスレンズ１０ａを再度移動させ、結果的にフォーカスレンズ１０ａを補正後の合焦位置に移動させるようにしてもよい。

なお、ここではＡＦセンサユニット２２を用いた位相差ＡＦによりフォーカスレンズ１０ａを移動させているが、その他のオートフォーカス手段（たとえば、撮像面位相差ＡＦ）によるものでもよい。以上、位相差ＡＦ動作が終了したら、図１１のＣＡＬモードのメインフローのステップＳ３００へ戻る。

図１４は、本実施形態におけるＣＡＬモードのサブフローであるフォーカスブラケット撮影フローを示す図である。

ステップＳ７０１では、フォーカスレンズ１０ａの駆動量Ｗを決定する。図１５はフォーカスブラケット撮影におけるフォーカスレンズ１０ａの駆動量Ｗおよびｗと、撮影枚数Ｍおよびｍの関係を示している。図１５（ａ）は、従来技術によるフォーカスブラケット撮影におけるレンズ駆動量ｗと、撮影枚数ｍの関係を示す図であり、リフォーカス画像を用いずにフォーカスブラケット撮影を行う場合を示している。図１５（ｂ）は、リフォーカス画像を用いたフォーカスブラケット撮影を行う場合のレンズ駆動量Ｗと、撮影枚数Ｍの関係を示す図である。

図１５（ａ）および図１５（ｂ）において、レンズ位置＝０の位置は、図１１のフロー中のステップＳ２００の位相差ＡＦによってフォーカスレンズ１０ａが駆動された後に停止した位置であり、図１４のサブフローのフォーカスレンズ１０ａの開始位置である。レンズ駆動量Ｗおよびｗは、前述したＡＦマイクロアジャストメントの補正間隔Ｐに係数ｋ（係数ｋはｋ≧２の整数値）を掛けた量（ｋＰ）である。図１５（ｂ）において、フォーカスブラケット撮影で得られた撮影画像Ｂ０から、前述したリフォーカス可能範囲でリフォーカス画像Ｂ０ａ，Ｂ０ｂを生成し、フォーカスブラケット撮影で実際に撮影された画像の前後の画像を、画像処理によって生成する。そのため、レンズ駆動量Ｗを広く設定することができる。本実施形態では、±ｗに相当するデフォーカス量でリフォーカス処理を行い、リフォーカス画像を生成できる。図１５（ｂ）に示すように、撮影画像Ｂ０から、−ｗに相当するデフォーカス量で無限遠側へリフォーカス処理を行ったリフォーカス画像Ｂ０ａ（図１５（ａ）の撮影画像Ａ０のレンズ位置に相当）を生成することができる。同様に、＋ｗに相当するデフォーカス量で至近側へリフォーカス処理を行ったリフォーカス画像Ｂ０ｂ（図１５（ａ）の撮影画像Ａ２のレンズ位置に相当）を生成することも可能である。本実施形態では、１枚の撮影画像Ｂ０から２枚の画像Ｂ０ａ，Ｂ０ｂをリフォーカス処理により生成することができる。そのため、リフォーカス画像を用いたフォーカスブラケット撮影では、リフォーカス画像を用いない場合に比べて３倍の駆動量でレンズ駆動が可能である。つまり、Ｗ＝３×ｗという関係になる。レンズ駆動量Ｗが決定したら、ステップＳ７０２へ進む。

ステップＳ７０２では、フォーカスブラケット撮影の撮影枚数Ｍを決定する。ステップＳ７０１でレンズ駆動量Ｗを広く設定することができるため、同様の理由で、リフォーカス画像を用いないブラケット撮影時より撮影枚数Ｍを少なく設定することができる。本実施形態では、ステップＳ７０１で説明したように、±ｗに相当するデフォーカス量でリフォーカス処理を行い、リフォーカス画像を生成する。そのため、１枚の撮影画像Ｂ０から２枚のリフォーカス画像Ｂ０ａ，Ｂ０ｂを生成することができ、リフォーカス画像を用いないフォーカスブラケット撮影時の３分の１の撮影枚数でよい。つまり、Ｍ＝（１／３）×ｍという関係になる。なお、本実施形態では、撮影枚数Ｍはカメラによって設定されているが、ユーザーが任意に行うようにしても構わない。ユーザーのレベルに応じて可変にすることで、ユーザーに適したシステムとすることができる。また、本実施形態では撮影枚数Ｍとレンズ駆動量Ｗを変数としたが、いずれか又はその両方がカメラ２や交換レンズ１の固有値であっても構わない。撮影枚数Ｍが決定されたら、ステップＳ７０３へ進む。

ステップＳ７０３では、カメラ制御部４０は、カウンターのリセット（カウント値ｎ＝０にする）を行う。カウンターのリセットが完了すると、ステップＳ７０４へ進む。ステップＳ７０４では、ＡＦセンサユニット２２からＡＦ情報を取得する。ここでのＡＦ情報とは、現在のレンズ位置で取得されたデフォーカス量などの補正値算出に使用する情報である。ＡＦ情報の取得が完了すると、ステップＳ７０５へ進む。

ステップＳ７０５では、ミラーアップ動作が行われる。主ミラー２０およびサブミラー２１がアップ位置に退避すると、ステップＳ７０６へ進む。ステップＳ７０６では、フォーカスレンズ１０ａが駆動される。図１５（ｂ）に示すようにカウント値ｎ＝０の時、フォーカスレンズ１０ａは−（Ｍ−（１+２ｎ））×Ｗ／２の位置に移動する。カウント値ｎ≧１の時、フォーカスレンズ１０ａは停止している位置から＋Ｗの幅（図１５（ａ）の３×ｗの幅に相当）で無限遠側に移動する。フォーカスレンズ１０ａの駆動が完了すると、ステップＳ７０７へ進む。

ステップＳ７０７では、静止画撮影が行われる。撮影された画像は、ステップＳ７０４で取得したＡＦ情報やレンズ位置に関連付けられてカメラ記憶部４２に記憶される。撮影画像の記録が完了すると、ステップＳ７０８へ進む。ステップＳ７０８では、ミラーダウン動作が行われる。主ミラー２０およびサブミラー２１がダウン位置に移動する。ミラーダウン動作が完了すると、ステップＳ７０９へ進む。

ステップＳ７０９では、カメラ制御部４０に備えられたカウンターのカウント値を１つカウントアップ（ｎ＝ｎ＋１）する。カウントアップが完了すると、ステップＳ７１０へ進む。ステップＳ７１０では、カメラ制御部４０に備えられたカウンターのカウント値が撮影枚数Ｍに達したかどうか（ｎ＝Ｍ−１）が判定される。撮影枚数Ｍに達していなければステップＳ７０４へと戻り、撮影枚数Ｍに達していれば、フォーカスブラケット撮影を終了する。以上、フォーカスブラケット撮影動作が完了したら、図１１のＣＡＬモードのメインフローのステップＳ８００へ戻る。

図１６は、本実施形態におけるＣＡＬモードのサブフローである画像選択フローを示す図である。

ステップＳ８０１では、リフォーカス画像生成部４４によってシフト加算を行い、リフォーカス画像の生成を行う。リフォーカス画像の生成が完了したら、ステップＳ８０２へ進む。ステップＳ８０２では、フォーカスブラケット撮影により実際に撮影された画像に対して、低解像化画像処理を施す。

図１７は、実際に撮影された画像に低解像化画像処理を施した場合の解像力変化を示した図である。実際に撮影された画像（Ｂ０，Ｂ１，Ｂ２）は、リフォーカス処理で生成された画像（Ｂ０ａ，Ｂ０ｂ，Ｂ１ａ，Ｂ１ｂ，Ｂ２ａ，Ｂ２ｂ）に比べて解像力が高くなっている。そのため、低解像化画像処理によって解像力を落とす。それにより、撮影画像Ｂ０，Ｂ１，Ｂ２の解像力がＢ０Ｌ，Ｂ１Ｌ，Ｂ２Ｌで示される値に低下し、リフォーカス画像との解像力の差が解消される。低解像化画像処理は、例えば撮影画像から前後にデフォーカスさせたリフォーカス画像のコントラスト値を算出し、その２つのコントラスト値の中間値になるように解像力を落とす画像処理（ローパス処理）などが考えられる。また、リフォーカス処理による解像力の低下をテーブル化し、そのテーブルに基づいて解像力を落とすような画像処理を施してもよい。低解像化画像処理が完了したら、ステップＳ８０３へ進む。

ステップＳ８０３では、背面モニタ４３によってユーザーへ画像を表示する。フォーカスブラケット撮影画像とあわせて、上記のステップＳ８０１で生成されたリフォーカス画像も表示する。表示される画像の枚数は１枚ずつでもよいし、複数枚並べて表示しても構わない。画像の表示が完了したら、ステップＳ８０４へ進む。ステップＳ８０４では、ユーザーが画像を決定したか否かが判定される。ユーザーは、表示された画像の中から最も合焦状態にあると感じる画像を選択し、決定する。それまでは待機状態となる。ユーザーが画像を決定したら、ステップＳ８０５へ進む。

ステップＳ８０５では、ステップＳ８０４で選択された画像に基づいて、補正値の算出を行う。各画像には、図１４のフォーカスブラケット撮影フローのステップＳ７０４で取得されたＡＦ情報あるいはレンズ位置から対応したデフォーカス量が算出され、補正値用の情報として関連付けられている。ユーザーが選択した画像に関連付けられたＡＦ補正値用の情報を用いて補正値を算出し、補正値が決定される。なお、ステップＳ８０４で選択された画像がリフォーカス画像である場合には、リフォーカス画像の元となる画像のデフォーカス量とリフォーカス画像のデフォーカス量の差分を算出する。そして、リフォーカス画像の元となる撮影画像に関連付けられたデフォーカス量に加算あるいは減算した値を補正用の情報として関連付ける。その補正用の情報を用いて補正値を算出することで補正値を決定する。また、選択されたリフォーカス画像の前後の撮影画像から、デフォーカス量を補間して算出した値を補正用の情報として関連付け、そこから補正値を決定してもよい。以上、画像選択動作が完了したら、図１１のＣＡＬモードのメインフローのステップＳ９００へ戻る。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。なお、第１の実施形態と同じ構成については説明を省略し、第１の実施形態と異なる部分についてのみ説明する。

図１８は、本発明の第２の実施形態におけるＣＡＬモードのサブフローである画像選択フローを示す図である。ステップＳ８１１では、リフォーカス画像生成部４４によって水平方向へシフト加算を行い、リフォーカス画像を生成する。リフォーカス画像の生成が完了したら、ステップＳ８１２へ進む。

ステップＳ８１２では、フォーカスブラケットにより実際に撮影された画像から生成されたリフォーカス画像に対して、高解像化画像処理を施す。図１９は、リフォーカス画像に高解像化画像処理を施した際の解像力変化を示す図である。リフォーカス処理で生成された画像（Ｂ０ａ，Ｂ０ｂ，Ｂ１ａ，Ｂ１ｂ，Ｂ２ａ，Ｂ２ｂ）は、実際に撮影された画像（Ｂ０，Ｂ１，Ｂ２）に比べて解像力が低くなっている。そのため、高解像化画像処理によって解像力を上げる。それにより、リフォーカス画像Ｂ０ａ，Ｂ０ｂ，Ｂ１ａ，Ｂ１ｂ，Ｂ２ａ，Ｂ２ｂの解像力がＢ０ａＨ，Ｂ０ｂＨ，Ｂ１ａＨ，Ｂ１ｂＨ，Ｂ２ａＨ，Ｂ２ｂＨで示される値に向上し、リフォーカス画像との解像力の差が解消される。高解像化画像処理は、例えば、リフォーカス画像を生成する前の撮影画像のコントラスト値に合わせるような画像処理（エッジ強調）を施すことなどが考えられる。また、リフォーカス処理による解像力の低下をテーブル化し、そのテーブルに基づいて解像力を上げるように画像処理を施してもよい。高解像化画像処理が完了したら、ステップＳ８１３へ進む。

ステップＳ８１３では、背面モニタ４３によってユーザーへ画像を表示する。補正値の算出については、第１の実施形態のステップＳ８０３と同様に行う。ステップＳ８１４では、ユーザーが画像を決定したか否かが判定される。ユーザーは、表示された画像の中から最も合焦状態にあると感じる画像を選択し、決定する。それまでは待機状態となる。ユーザーが画像を決定したら、ステップＳ８１５へ進む。ステップＳ８１５では、ステップＳ８１４で選択された画像に基づいて、補正値の算出を行う。補正値の算出については、第１の実施形態のステップＳ８０５と同様に行う。以上、画像選択動作が完了したら、図１１のＣＡＬモードのメインフローのステップＳ９００へ戻る。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上記の第１の実施形態では、撮影画像に低解像化処理を施す例を示し、第２の実施形態ではリフォーカス画像に高解像化処理を施す例を示した。しかし、本発明はこれに限定されず、撮影画像とリフォーカス画像の双方に画像処理を施してもよい。この場合は、撮影画像にある程度の低解像化処理を施し、リフォーカス画像にその足りない分を補うような高解像化処理を施すことなどが考えられる。本発明では、撮影画像とリフォーカス画像の少なくとも一方に画像処理を施すことにより、結果として撮影画像とリフォーカス画像の解像度の差を抑制して同じ程度の解像度になればよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：撮影光学系、１０ａ：フォーカスレンズ、２２：ＡＦセンサユニット、２４：撮像素子、４１：デジタル信号処理部、４４：リフォーカス画像生成部

Claims (12)

1. ライトフィールドデータを取得可能な撮像手段と、
   前記撮像手段により取得されたライトフィールドデータにリフォーカス処理を施してリフォーカス画像を生成する生成手段と、
   前記ライトフィールドデータから得られるリフォーカス処理を施していない撮影画像と、前記リフォーカス画像との少なくとも一方に画像処理を施す画像処理手段と、
   前記撮影画像と前記リフォーカス画像を表示する表示手段と、
   前記撮影画像と前記リフォーカス画像とを含む複数の画像を前記表示手段に表示させて該複数の画像の中からいずれかを選択させる所定のモードにおいて、前記表示手段に表示される前記撮影画像と前記リフォーカス画像の解像度の差を抑制する画像処理を行うように前記画像処理手段を制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記画像処理手段は、前記撮影画像に対して低解像化処理を施すことを特徴とする請求項１に記載の撮像装置。
3. 前記低解像化処理は、ローパス処理であることを特徴とする請求項２に記載の撮像装置。
4. 前記画像処理手段は、前記リフォーカス画像に対して高解像化処理を施すことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記高解像化処理は、エッジ強調処理であることを特徴とする請求項４に記載の撮像装置。
6. 前記表示手段に表示された前記複数の画像から、ユーザがピントが合っていると判断した画像を選択するための選択手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記選択手段により選択された画像のピント位置に基づいて、前記撮像装置のピント位置を補正する補正手段をさらに備えることを特徴とする請求項６に記載の撮像装置。
8. 前記補正手段による補正値を記憶する記憶手段をさらに備えることを特徴とする請求項７に記載の撮像装置。
9. 前記撮像手段は、１つのマイクロレンズに対して複数の光電変換部を有する画素が２次元状に配置された撮像素子を有することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. ライトフィールドデータを取得可能な撮像手段を備える撮像装置を制御する方法であって、
    前記撮像手段により取得されたライトフィールドデータにリフォーカス処理を施してリフォーカス画像を生成する生成工程と、
    前記ライトフィールドデータから得られるリフォーカス処理を施していない撮影画像と、前記リフォーカス画像との少なくとも一方に画像処理を施す画像処理工程と、
    前記撮影画像と前記リフォーカス画像を表示手段に表示する表示工程と、
    前記撮影画像と前記リフォーカス画像とを含む複数の画像を前記表示手段に表示させて該複数の画像の中からいずれかを選択させる所定のモードにおいて、前記表示手段に表示される前記撮影画像と前記リフォーカス画像の解像度の差を抑制する画像処理を行うように前記画像処理工程を制御する制御工程と、
    を有することを特徴とする撮像装置の制御方法。
11. 請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
12. 請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images