JP2018018012A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】デフォーカス量補正用の補正値を取得するためのユーザの手間を削減しつつ、高精度なＡＦを可能とする。【解決手段】撮像装置１２０は、撮像光学系の射出瞳のうち互いに異なる瞳領域を通過した光線をそれぞれ光電変換する複数の画素を有する撮像素子１２２と、撮像光学系のデフォーカス量を検出する焦点検出手段１３４，１２４と、デフォーカス量の補正に用いられる補正値を取得する補正値取得手段１２４と、補正後のデフォーカス量に基づいてフォーカス制御を行う制御手段１２４とを有する。補正値取得手段は、撮像により生成された撮像画像を用いたリフォーカス処理により、撮像画像に対応する焦点位置とは異なる焦点位置に対応する複数のリフォーカス画像を生成し、撮像画像および複数のリフォーカス画像を含む複数の候補画像のうち特定画像に対応する焦点位置を用いて補正値を取得する。【選択図】図１

Description

本発明は、焦点状態を補正する機能を有する撮像装置に関する。

オートフォーカス（ＡＦ）機能を有する一眼レフデジタルカメラ等の撮像装置は、工場での製造時（較正工程）において、公差等に起因する構成部品の個体差を測定し、該個体差に応じたＡＦ用の調整値を不揮発性メモリに記憶させる。ユーザが該撮像装置を使用する際には、検出されたデフォーカス量を該調整値を用いて調整することで良好な精度でＡＦが行われる。ただし、撮像装置の長期間の使用によりフォーカスレンズを駆動する機械部品が摩耗したり様々な温度環境下での使用によりレンズ等の光学部品の位置がずれたりする等の経時劣化によって、製造時の調整値を用いても良好な精度でＡＦが行えなくなる可能性がある。

このため、製造時に不揮発性メモリに記憶させる調整値とは別に、ユーザが自由に設定することができるデフォーカス量補正用の補正値を撮像装置に記憶させておく方法がある。特許文献１には、フォーカスレンズ（焦点位置）を微小量ずつ動かしながら複数回撮像を行い、得られた複数の撮像画像のうちユーザが合焦していると判断した画像の撮像時の焦点位置に関する情報に基づいて補正値を算出する方法が開示されている。このようにして得られた補正値を用いてデフォーカス量を補正することで、経時劣化が生じても良好な精度でＡＦを行うことができる。

特開２０１１−０４８３４１号公報

しかしながら、特許文献１にて開示された方法では、複数回の撮像を行う手間がかかる。また、複数回の撮像の間に撮像装置が動いてしまうと適切な補正値を算出することが難しい。このため、撮像装置を動かないように固定する必要がある。また、フォーカスレンズの駆動制御性が低いと、複数回の撮像における焦点位置間の差（デフォーカス間隔）が一定にならず、補正値を得るために適切な複数の撮像画像が得られない。デフォーカス間隔を一定にするためにフォーカスレンズの駆動ピッチを大きくすると、粗い補正値しか得られず、良好な精度でＡＦを行うことができなくなる。

本発明は、デフォーカス量補正用の補正値を取得するためのユーザの手間を削減するとともに高精度なＡＦを可能とする補正値を取得することができるようにした撮像装置等を提供する。

本発明の一側面としての撮像装置は、撮像光学系の射出瞳のうち互いに異なる瞳領域を通過した光線をそれぞれ光電変換する複数の画素を有する撮像素子と、撮像光学系のデフォーカス量を検出する焦点検出手段と、デフォーカス量の補正に用いられる補正値を取得する補正値取得手段と、補正後のデフォーカス量に基づいてフォーカス制御を行う制御手段とを有する。そして、補正値取得手段は、撮像素子を用いた撮像により生成された撮像画像を用いたリフォーカス処理により、該撮像画像に対応する焦点位置とは異なる焦点位置に対応する複数のリフォーカス画像を生成し、撮像画像および複数のリフォーカス画像を含む複数の候補画像のうち特定画像に対応する焦点位置を用いて補正値を取得することを特徴とする。

また、本発明野田の一側面としての制御方法は、撮像光学系の射出瞳のうち互いに異なる瞳領域を通過した光線をそれぞれ光電変換する複数の画素を有する撮像素子を有し、撮像光学系のデフォーカス量を検出し、補正値を用いた補正後のデフォーカス量に基づいてフォーカス制御を行う撮像装置に適用される。該制御方法は、撮像装置に、撮像素子を用いた撮像により生成された撮像画像を用いたリフォーカス処理により、該撮像画像に対応する焦点位置とは異なる焦点位置に対応する複数のリフォーカス画像を生成させ、撮像画像および複数のリフォーカス画像を含む複数の候補画像のうち特定画像に対応する焦点位置を用いて補正値を取得させることを特徴とする。

本発明によれば、デフォーカス量補正用の補正値を取得するためのユーザの手間を削減することができるとともに、高精度なフォーカス制御を可能とする補正値を取得することができる。

本発明の実施例であるデジタルカメラ（撮像装置）の構成を示すブロック図。 実施例のカメラにおける画素配列の概略図。 実施例のカメラのＭＡＳモードでの処理を示すフローチャート。 実施例のカメラにおけるリフォーカス処理を説明する図。 実施例のカメラにおけるリフォーカス可能範囲を説明する図。 実施例のカメラにおける合焦画像の選択処理を説明する図。 実施例のカメラにおける外挿処理による合焦位置の推定を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１は、本発明の実施例である撮像装置としての一眼レフデジタルカメラ（以下、カメラ本体という）１２０とこれに取り外し可能に装着される交換レンズ（以下、レンズユニットという）１００の構成を示している。レンズユニット１００は、図中に点線で示されるマウントＭを介してカメラ本体１２０と機械的および電気的に接続される。

レンズユニット１００は、第１変倍レンズ群１０１、第２変倍レンズ群１０２、フォーカスレンズ群１０３および不図示の絞りを含む撮像光学系を有する。また、レンズユニット１００は、第１および第２変倍レンズ群１０１，１０２およびフォーカスレンズ群１０３の駆動を制御するレンズ駆動制御系を有する。第１および第２変倍レンズ群１０１，１０２は、光軸方向ＯＡに移動することで変倍（ズーム）を行う。フォーカスレンズ群１０３は光軸方向ＯＡに移動することにより焦点調節を行う。レンズ駆動制御系は、ズームアクチュエータ１１４、ズーム駆動回路１１５、フォーカスアクチュエータ１１０、フォーカス駆動回路１１１、レンズＭＰＵ１１２およびレンズメモリ１１３を有する。

フォーカスアクチュエータ１１０は、フォーカスレンズ群１０３を光軸方向ＯＡに駆動する。フォーカスアクチュエータ１１０には、フォーカスレンズ群１０３の現在位置（以下、フォーカス位置という）を検出するフォーカス位置検出部（図示せず）が含まれる。フォーカス駆動回路１１１は、レンズＭＰＵ１１２からのフォーカス駆動信号に応じてフォーカスアクチュエータ１１０を駆動する。ズームアクチュエータ１１４は、不図示のカム筒を回転させることで第１および第２レンズ群１０１，１０２を光軸方向ＯＡに駆動する。ズームアクチュエータ１１４には、第１および第２変倍レンズ群１０１，１０２の現在位置（以下、ズーム位置という）を検出するズーム位置検出部（図示せず）が含まれる。ズーム駆動回路１１５は、レンズＭＰＵ１１２からのズーム駆動信号に応じてズームアクチュエータ１１４を駆動する。

レンズＭＰＵ１１２は、レンズユニット１００に関わる演算を行うとともに、フォーカス駆動回路１１１やズーム駆動回路１１５を制御する。また、レンズＭＰＵ１１２は、フォーカス位置検出部およびズーム位置検出部からそれぞれフォーカス位置およびズーム位置を取得し、カメラＭＰＵ１２４からの要求に対してこれらフォーカス位置およびズーム位置の情報を通知する。レンズメモリ１１３には、オートフォーカス（ＡＦ）に必要な光学情報が記憶されている。

カメラ本体１２０は、メインミラー１３１、サブミラー１３２、光学ローパスフィルタ１２１、撮像素子１２２、カメラ駆動／制御系および焦点検出ユニット１３４を有する。

記録用撮像前のライブビュー撮像時においては、レンズユニット１００の撮像光学系からの光の一部は、撮像光路内に配置されたハーフミラーとしてのメインミラー１３１で反射して不図示のファインダ光学系に導かれる。ユーザはファインダ光学系を通して被写体を観察することができる。メインミラー１３１を透過した光はサブミラー１３２により反射されて焦点検出ユニット１３４に導かれる。一方、記録用撮像時には、メインミラー１３１およびサブミラー１３２はミラー駆動ユニット１３３によって撮像光路外に退避するように駆動される。これにより、撮像光学系からの光は光学ローパスフィルタ１２１を透過して撮像素子１２２に到達する。

撮像素子１２２は、Ｃ−ＭＯＳセンサにより構成され、レンズユニット（撮像光学系）１００の射出瞳の全域を通る光をそれぞれ受光して該光により形成される被写体像を光電変換（撮像）する複数（水平方向ｍ画素×垂直方向ｎ画素）の撮像画素を含む。撮像素子１２２は、全撮像画素から独立して出力が可能なように構成されている。また、撮像素子１２２における撮像画素以外の画素または全ての撮像画素はそれぞれ、複数の光電変換部としてのサブ画素を有する。複数のサブ画素は、レンズユニット１００の射出瞳における互いに異なる一部の領域（以下、部分瞳領域という）を通った光を受光する。複数のサブ画素のそれぞれからの出力を用いることで、撮像面での位相差検出方式の焦点検出が可能となる。この撮像面での焦点検出結果を用いることで撮像面位相差ＡＦを行うこともできる。光学ローパスフィルタ１２１は、撮像素子１２２からの出力を用いて生成される撮像画像の偽色やモアレを軽減するために設けられている。撮像光学系から撮像素子１２２により撮像系が構成される。

図２には、本実施例における撮像素子１２２の画素配列を示す。図２は、Ｃ−ＭＯＳセンサのうち４列×４行の範囲の撮像画素の配列を示している。このうち２行×２列の撮像画素からなる画素群２００は、左上に配置されたＲ（赤）の分光感度を有する画素２００Ｒと、右上と左下に配置されたＧ（緑）の分光感度を有する画素２００Ｇと、右下に配置されたＢ（青）の分光感度を有する画素２００Ｂとを含む。さらに、各撮像画素は２列×１行（すなわち対をなす）の第１サブ画素２０１と第２サブ画素２０２とにより構成されている。撮像素子１２２は、このような撮像画素および対のサブ画素を撮像面上に多数配置することで、撮像画像を生成するための撮像信号と焦点検出のための焦点検出信号の取得を可能としている。

図２には、対のサブ画素２０１，２０２が水平方向に並べられて射出瞳を水平方向に２つに分割（瞳分割）する場合を示しているが、垂直方向に瞳分割してもよい。また、水平および垂直方向の両方に瞳分割するために、サブ画素を複数列×複数行に配置してもよい。後述するように本実施例ではこれらのサブ画素から出力された信号を用いて、焦点位置を疑似的に動かした画像（リフォーカス画像）を再構成（生成）する。この際、基本的には、瞳分割数が多いほどより良好なリフォーカス画像を生成することができる。

なお、本実施例では各撮像画素が対のサブ画素を含む場合について説明するが、撮像画素と対のサブ画素とを別々の画素として構成し、複数の撮像画素の配列内に対のサブ画素としての焦点検出画素を部分的（離散的）に配置してもよい。

カメラ駆動／制御系は、撮像素子駆動回路１２３、カメラＭＰＵ（制御手段）１２４、画像処理回路１２５、撮像面位相差焦点検出部１２６、表示部１２７、操作スイッチ（ＳＷ）部１２８およびメモリ１２９を有する。

撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、撮像素子１２２から取得した撮像信号および焦点検出信号をＡ／Ｄ変換してカメラＭＰＵ１２４に送る。画像処理回路１２５は、Ａ／Ｄ変換された撮像信号に対するγ変換およびカラー補間等の画像処理を行って撮像画像を生成したり、撮像画像のＪＰＥＧ圧縮を行ったりする。また、画像処理回路１２５は、撮像画像から撮像後に任意の焦点位置に合焦位置を変更したリフォーカス画像を生成する。リフォーカス画像の生成についての詳細は後述する。

カメラＭＰＵ１２４ は、ＡＦ（フォーカス制御）やＡＥ（自動露出制御）等に必要な演算を行うとともに、撮像素子駆動回路１２３、画像処理回路１２５、撮像面位相差焦点検出部１２６および表示部１２７を制御する。カメラＭＰＵ１２４は、マウントＭに設けられた信号線を介してレンズユニット１００内のレンズＭＰＵ１１２と接続されている。カメラＭＰＵ１２４は、レンズＭＰＵ１１２に対して、フォーカス位置やズーム位置の送信要求やフォーカスレンズ群１０３の駆動（フォーカス駆動）を要求するフォーカス駆動要求を発行する。また、カメラＭＰＵ１２４は、レンズＭＰＵ１１２からレンズメモリ１１３に格納されたレンズユニット１００に固有の光学情報を取得する。

また、カメラＭＰＵ１２４には、焦点検出に用いる調整値や補正値を含む諸パラメータを記憶するＥＥＰＲＯＭ１２４ａと、変数を記憶するＲＡＭ１２４ｂと、カメラ本体１２０の動作を制御するプログラムを格納するＲＯＭ１２４ｃが内蔵されている。さらにカメラＭＰＵ１２４は、後述するＡＦ補正値を取得（算出）する処理も行う。

表示部１２７は、ＬＣＤ等の表示デバイスを含み、撮像モードに関する情報、記録用撮像前の撮像画像であるプレビュー画像、記録用撮像画像を確認するための確認用画像および上述した合焦画像等を表示する。操作ＳＷ部１２８は、電源スイッチ、レリーズ（撮像トリガ）スイッチ、ズーム操作スイッチ、撮像モード選択スイッチ等を含む。メモリ１２９は、着脱可能なフラッシュメモリであり、記録用撮像画像を記録する。

ＡＦに必要となるデフォーカス量の検出（算出）は、位相差検出方式での焦点検出を行う焦点検出ユニット１３４と該焦点検出ユニット１３４からの出力を取得するカメラＭＰＵ１２４とが行う。焦点検出ユニット１３４とカメラＭＰＵ１２４とにより焦点検出手段が構成される。

焦点検出ユニット１３４は、２次結像光学系と、２つ（対）の焦点検出センサとしての光電変換素子列（ラインセンサ）とを有する。２次結像光学系は、サブミラー１３２からの光を２分割することでレンズユニット１００の射出瞳のうち互いに異なる２つ（対）の部分瞳領域を通過した対の光束に対の被写体像を形成させる。対のラインセンサは、該対の被写体像を光電変換して、デフォーカス量に応じた位相差を有する対の位相差像信号を生成する。焦点検出ユニット１３４は、このようにして生成された対の位相差像信号をカメラＭＰＵ１２４に出力する。

カメラＭＰＵ１２４は、対の位相差像信号に対して相関演算を行うことでこれらの位相差を算出し、該位相差に固有の係数を乗じる等することでデフォーカス量を算出する。ただし、マウントＭ、サブミラー１３２および焦点検出ユニット１３４等の焦点検出に関わる構成部品の公差によるカメラ本体１２０の個体差により、設計上はデフォーカス量が０の位置に被写体が存在しても必ずしも算出されるデフォーカス量が０にならない。このため、カメラ本体１２０の製造時（校正工程）に、予め撮像素子１２２の撮像面に対してピント合わせを行っておき、この状態で算出されるデフォーカス量を０にする調整値（以下、初期調整値という）をＥＥＰＲＯＭ１２４ａに書き込む。

具体的には、まずカメラ本体１２０のフランジバック（マウントＭから撮像素子１２２までの距離）を測定して設計値とのずれ量を求める。次に、既知の距離に位置する基準被写体に対して予めピント合わせをした基準レンズの位置をフランジバックのずれ量だけ補正する。続いて、カメラＭＰＵ１２４に基準被写体に対するデフォーカス量を算出させ、算出したデフォーカス量が０にならなければこれを０にする初期調整値を算出してＥＥＰＲＯＭ１２４ａに書き込む。この後、カメラＭＰＵ１２４は、焦点検出ユニット１３４の出力を用いて算出したデフォーカス量（調整前デフォーカス量）にＥＥＰＲＯＭ１２４ａに書き込まれた初期調整値を加算して得られた値をＡＦに使用するデフォーカス量とする。これにより、カメラ本体１２０の個体差によらず正確なデフォーカス量の算出が可能となる。初期調整値は、デフォーカス量の算出を行う焦点検出領域ごとに個々に算出されてＥＥＰＲＯＭ１２４ａに書き込まれる。

また、算出されたデフォーカス量に対して、撮像時における被写体からの光の焦点位置と焦点検出（デフォーカス量算出）時における被写体からの光の焦点位置とのずれ量に対する補正を行うためにベストピント補正値がさらに加算される。焦点位置のずれ量は、撮像素子１２２と焦点検出ユニット１３４との分光感度の差やレンズユニット１００の球面収差に起因し、レンズユニット１００ごとに、かつ焦点検出領域、フォーカス位置およびズーム位置ごとに異なる値となる。ベストピント補正値は、装着されたレンズユニット１００のレンズＭＰＵ１１２に記憶されている。レンズＭＰＵ１１２は、上述したフォーカス位置検出部およびズーム位置検出部からフォーカス位置およびズーム位置を取得し、これに対応するベストピント補正値をカメラＭＰＵ１２４に送信する。

さらに、本実施例では、ユーザが自由に設定できるＡＦ補正値をカメラＭＰＵ１２４内のＥＥＰＲＯＭ１２４ａに記憶させておくことができる。このようにカメラＭＰＵ１２４は調整前デフォーカス量、初期調整値、ベストピント補正値およびＡＦ補正値を全て加算することでフォーカスレンズ群１０３の駆動量（以下、フォーカス駆動量という）を算出する。すなわち、
フォーカス駆動量
＝調整前デフォーカス量＋初期調整値＋ベストピント補正値＋ＡＦ補正値 …（１）
である。カメラＭＰＵ１２４は、こうして算出したフォーカス駆動量をレンズＭＰＵ１１２にフォーカス駆動要求とともに送信してレンズＭＰＵ１１２にフォーカス駆動を行わせることでＡＦを行う。

ＡＦ補正値の設定機能であるマイクロアジャストメント機能について説明する。マイクロアジャストメント機能は、ユーザが撮像画像を通して決めたカメラＭＰＵ１２４が算出するデフォーカス量とその方向を補正するための値をユーザ任意のＡＦ補正値として設定できる機能である。ＡＦ補正値による補正後のデフォーカス量を用いてＡＦを行うことにより、長期間使用による機械的部品の摩耗や様々な温度環境下での使用による光学部品の位置ずれ等の経時劣化により製造時から低下したＡＦ精度をユーザの意図に合わせて補正することができる。したがって、ユーザにとって最適なＡＦ精度が得られる。

マイクロアジャストメント機能におけるＡＦ補正値は、基本的にはユーザが設定メニューに表示された目盛り等を目安として自ら決めて設定することが可能である。本実施例のカメラ本体１２０は、さらにマイクロアジャストメントサポート（ＭＡＳ）機能を有し、ユーザがＡＦ補正量を決定するモードであるＭＡＳモードを選択することで、カメラＭＰＵ１２４が自動的にＡＦ補正値を設定する。本実施例では、カメラＭＰＵ１２４は、画像処理回路１２５に焦点位置を擬似的に動かしたリフォーカス画像を複数生成させ、撮像画像と複数のリフォーカス画像のうち最も合焦度が高い画像に対応する焦点位置を用いてＡＦ補正値を取得（算出）する。

図３のフローチャートを用いて、本実施例におけるＭＡＳモードでカメラＭＰＵ１２４が行う処理について説明する。コンピュータであるカメラＭＰＵ１２４は、コンピュータプログラムとしての処理プログラムに従って本処理を実行する。カメラＭＰＵ１２４および画像処理回路１２５により補正値取得手段が構成される。

ステップＳ００１では、カメラＭＰＵ１２４は、操作ＳＷ部１２８を通じてユーザによりＭＡＳモードが設定されたか否かを判定し、ＭＡＳモードが設定された場合はステップＳ００２に進む。

ステップＳ００２では、カメラＭＰＵ１２４は、操作ＳＷ部１２８を通じてユーザによりレリーズボタンが半押しされたか否かを判定し、レリーズボタンが半押しされた場合はステップＳ００３に進み、そうでなければステップＳ００２の判定を繰り返す。

ステップＳ００３では、カメラＭＰＵ１２４は、ＡＦを行う。すなわち、カメラＭＰＵ１２４は、焦点検出ユニット１３４から対の位相差像信号を取得してこれらの位相差を算出し、さらに該位相差からデフォーカス量を算出して上記式（１）によりフォーカス駆動量を算出する。このとき、すでにＭＡＳによりＡＦ補正量のデータ（以下、ＭＡＳ補正データという）を得ている場合は式（１）におけるＡＦ補正値としてＭＡＳ補正データを用いる。なお、撮像画面内に選択可能な焦点検出領域が複数ある場合は、ＡＦを行う焦点検出領域をユーザが選択してもよいし、カメラＭＰＵ１２４が一般的に高精度なＡＦが可能である画面中央の焦点検出領域を選択してもよい。カメラＭＰＵ１２４は、算出したフォーカス駆動量をレンズＭＰＵ１１２に送信し、フォーカスレンズ群１０３を駆動させる。こうしてＡＦが終了すると、カメラＭＰＵ１２４はステップＳ００４に進む。

ステップＳ００４では、カメラＭＰＵ１２４は、焦点検出ユニット１３４内で被写体像を受光した焦点検出センサ（ラインセンサ）からの出力信号を用いてＡＦ信頼性評価値を算出する。デフォーカス量の算出精度（焦点検出精度）は、被写体が暗いときやコントラストが低いとき等に低下する。ＡＦ信頼性評価値は、焦点検出精度が低下するような被写体に対してＡＦ信頼性評価値は低くなるような演算式により算出される。ＡＦ信頼性評価値の算出が完了すると、カメラＭＰＵ１２４はステップＳ００５に進む。

ステップＳ００５では、カメラＭＰＵ１２４は、ステップＳ００４で算出したＡＦ信頼性評価値に基づいてＭＡＳが可能か否かを判定する。カメラＭＰＵ１２４は、ＡＦ信頼性評価値が閾値より高くＭＡＳが可能である場合はステップＳ００８に進み、ＡＦ信頼性評価値が閾値より低くＭＡＳが不可能である場合はステップＳ００６に進む。ＡＦ信頼性評価値としては、被写体の輝度やコントラスト等の複数の観点のそれぞれで算出された複数の値が算出される。ＭＡＳが可能か否かは、すべてのＡＦ信頼性評価値がそれぞれに対して設けられた閾値より高いか否かで判定してもよいし、特定の１または２以上のＡＦ信頼性評価値が閾値より高いか否かで判定してもよい。

ステップＳ００６では、カメラＭＰＵ１２４は、表示部１２７にＡＦ対象の被写体はＭＡＳに不適切であることをユーザに通知するための表示を行う。表示が完了すると、カメラＭＰＵ１２４はステップＳ００７に進む。

ステップＳ００７では、カメラＭＰＵ１２４は、表示部１２７に再度ＭＡＳを行うか否かをユーザに選択させるための表示を行う。カメラＭＰＵ１２４は、ユーザが操作ＳＷ部１２８を通じて再度ＭＡＳを行うことを選択した場合はステップＳ００２に戻り、そうでなければステップＳ０１１に進み、本処理を終了する。

ステップＳ００８では、カメラＭＰＵ１２４は、ステップＳ００３でのＡＦが完了した状態で撮像を行う。さらに、カメラＭＰＵ１２４は、画像処理回路１２５にその撮像により生成された撮像画像から画像再構成処理としてのリフォーカス処理により複数の再構成画像としてのリフォーカス画像を生成（再構成）させる。リフォーカス処理についての詳細は後述する。リフォーカス画像の生成が完了すると、カメラＭＰＵ１２４はステップＳ００９に進む。

ステップＳ００９では、カメラＭＰＵ１２４は、撮像画像およびステップＳ００８で生成された複数のリフォーカス画像を含む複数の候補画像の中から最も合焦度が高い画像（特定画像：以下、合焦画像という）を選択する。この際、カメラＭＰＵ１２４は、後述するように定量的に算出した合焦評価値を用いて合焦画像を選択してもよい。また、ユーザが表示部１２７に表示された複数の候補画像を見て、最も合焦度が高いと判定した画像を合焦画像として選択してもよい。

次にステップＳ０１０では、カメラＭＰＵ１２４は、ステップＳ００９で合焦画像がステップＳ００８で生成された複数の候補画像の中にあったか否か、つまりは合焦画像が無くて再撮像が必要か否かを判定する。再撮像が必要と判断したカメラＭＰＵ１２４はステップＳ０１１に進み、そうでなければステップＳ０１４に進む。

ステップＳ０１１では、カメラＭＰＵ１２４は、再撮像に際してのフォーカスレンズ群１０３の駆動方向と駆動量を決定する。駆動方向は、より合焦度が高くなる合焦方向である。ステップＳ０１０〜ステップＳ０１１での再撮像に関してカメラＭＰＵ１２４が行う処理についての詳細は後述する。再撮像のためのフォーカスレンズ群１０３の駆動方向と駆動量を決定したカメラＭＰＵ１２４はステップＳ０１２に進む。

ステップＳ０１２では、カメラＭＰＵ１２４は、レンズＭＰＵ１１２を通じてステップＳ０１１で決定した駆動方向に決定した駆動量だけフォーカスレンズ群１０３を駆動する。なお、この際、撮像素子１２２が光軸方向ＯＡに移動可能な構成を有する場合は、撮像素子１２２を合焦方向に駆動（フォーカス駆動）してもよい。

次にステップＳ０１３では、カメラＭＰＵ１２４は再撮像を行う。再撮像が完了すると、カメラＭＰＵ１２４はステップＳ００８に戻り、画像処理回路１２５にステップＳ０１３での再撮像により生成された撮像画像から複数のリフォーカス画像を生成させる。

一方、ステップＳ０１４では、カメラＭＰＵ１２４は、ステップＳ００３で得られたフォーカス駆動量と、再撮像を行った場合はステップＳ０１１で決定した駆動量と、ステップＳ００９で選択された合焦画像に対応する焦点位置とを用いてＡＦ補正値を算出する。そして、こうして算出したＡＦ補正値を、ＥＥＰＲＯＭ１２４ａに記録する。ＡＦ補正値の算出および記録が完了すると、カメラＭＰＵ１２４は本処理を終了する。

図４を用いて画像処理回路１２５が行うリフォーカス（画像再構成）処理について説明する。リフォーカス処理では、撮像画像に含まれる撮像素子１２２の第１および第２サブ画素２０１，２０２（図２参照）に対応する画素信号を、生成するリフォーカス画像に対応する焦点位置にある焦点面（再構成面）での画素配置に従って相対的にシフトして加算する。これにより、任意の焦点位置で合焦度が高いリフォーカス画像を得ることができる。リフォーカス処理により生成されたリフォーカス画像は表示部１２７に表示される。

図４では、ｉを整数として、撮像素子１２２の撮像面１２１０に配置された列方向ｉ番目の撮像画素における第１サブ画素２０１の出力信号から生成された画素信号を第１サブ画素信号Ａｉとして示している。また、同撮像画素における第２サブ画素２０１の出力信号から生成された画素信号を第２サブ画素信号Ｂｉとして示している。第１サブ画素信号Ａｉと第２サブ画素信号Ｂｉはそれぞれ、光（主光線）の強度の情報だけでなく入射角度（θａ，θｂ）の情報も有する。第１サブ画素信号Ａｉを入射角度θａの方向に仮想結像面１２２０まで平行移動させるとともに、第２サブ画素信号Ｂｉを入射角度θｂの方向に仮想結像面１２２０まで平行移動させてこれらを加算する。これにより、仮想結像面１２２０での画素信号としてのリフォーカス画素信号を生成することができる。

第１サブ画素信号Ａｉを入射角度θａの方向に仮想結像面１２２０まで平行移動させることは、第１サブ画素信号Ａｉを列方向に＋０．５画素分シフトすることに相当する。一方、第２サブ画素信号Ｂｉを入射角度θｂの方向に仮想結像面１２２０まで平行移動させることは、第２サブ画素信号Ｂｉを列方向に−０．５画素分シフトすることに相当する。このため、第１サブ画素信号Ａｉと第２サブ画素信号Ｂｉとを相対的に＋１画素シフトさせ、ＡｉとＢｉ＋１とを加算することで仮想結像面１２２０でのリフォーカス画素信号を生成することができる。同様に、第１サブ画素信号Ａｉと第２サブ画素信号Ｂｉとを整数画素分シフトさせて加算することで、整数シフト量に応じた仮想結像面でのリフォーカス画素信号を生成することができる。

本実施例におけるリフォーカス画像が生成可能な範囲（リフォーカス可能範囲）について図５を用いて説明する。ここでは、部分瞳領域１３１１，１３１２をそれぞれ通過した光を受光した第１および第２サブ画素２０１，２０２からの出力信号により生成された第１および第２サブ画素信号のうち一方を単にサブ画素信号という。

許容錯乱円をδとし、撮像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。許容錯乱円δは、δ＝２ΔＸ（画素周期ΔＸのナイキスト周波数である１／（２ΔＸ）の逆数）等で定義される。

これに対して、Ｎ_Ｈ×Ｎ_Ｖ（２×１）分割されて狭くなった部分瞳領域１３１１または１３１２の水平方向の実効絞り値Ｆ_０１は、Ｆ_０１＝Ｎ_ＨＦと暗くなる。これに伴い、サブ画素信号の実効的な被写界深度は±Ｎ_ＨＦδとＮ_Ｈ倍深くなり、合焦範囲がＮ_Ｈ倍に広がる。つまり、実効的な被写界深度±Ｎ_ＨＦδの範囲内においては、サブ画素信号毎に合焦した被写体像が取得されていることになる。

このため、この被写界深度±Ｎ_ＨＦδの範囲内の被写体を撮像する限りにおいて、図３に示した主光線の入射角度θａまたはθｂの方向にサブ画素信号を平行移動するリフォーカス処理により、撮像後に合焦位置を再調整（リフォーカス）することができる。すなわち、撮像後にリフォーカスできる撮像面からのデフォーカス量ｄの範囲は概ね次式で表現される。
（数１）
|d|≦N_HFδ
次に図６（ａ），（ｂ），（ｃ）を用いて、リフォーカス画像の中から合焦画像を選択する処理について説明する。複数の候補画像の合焦度およびそれらの関係に応じて処理が異なる。

図６（ａ）には、複数の候補画像に合焦画像が含まれる例を示している。図６（ａ）の上段には、撮像画像に対応する焦点位置を示している。中段には、撮像画像および該撮像画像からリフォーカス処理によって生成された４つのリフォーカス画像（すなわち５つの候補画像）のそれぞれに対応する焦点位置を示している。この例では、撮像画像に対応する焦点位置を中心として、擬似的に焦点位置を至近側と無限遠側にそれぞれ２ステップずつずらしたリフォーカス画像を生成している。下段には、これら候補画像のそれぞれに対してカメラＭＰＵ１２４が算出した合焦評価値を示している。合焦評価値が高いほど合焦度が高いことを示す。そして、カメラＭＰＵ１２４は、後述するように合焦評価値が最も高い候補画像（この例では撮像画像）を合焦画像として選択する。合焦評価値は、各画像の特定領域についてコントラスト値を算出する等の公知の方法で定量的に算出することができる。また、この合焦評価値を用いるのではなく、前述したようにユーザが候補画像を見て最も合焦度が高いと思う画像を合焦画像として選択してもよい。

図６（ａ）の下段においては、５つの候補画像の中に合焦評価値が最も高い候補画像が存在し、かつ５つの候補画像のうち最も至近側と最も無限遠側の焦点位置に対応する候補画像の合焦評価値が最も低い。この場合は、カメラＭＰＵ１２４は、合焦評価値が最も高い候補画像を合焦画像として選択（判定）する。

図６（ｂ）には、複数の候補画像に合焦画像が含まれない例を示している。図６（ｂ）の上段、中段および下段には図６（ａ）と同様に撮像画像の焦点位置、５つの候補画像の焦点位置および候補画像の合焦評価値をそれぞれ示している。

図６（ｂ）の下段において、５つの候補画像の中に合焦評価値が最も高い候補画像が存在するが、その候補画像は５つの候補画像のうち最も至近側および最も無限遠側のうち一方（図の右側）の焦点位置に対応する。また、５つの候補画像のうち最も至近側および最も無限遠側のうち他方（図の左側）の焦点位置に対応する候補画像の合焦評価値が最も低い。この場合、図中のより右側（以下、合焦方向という）の焦点位置に対応する候補画像の合焦評価値がさらに高い可能性がある。つまり、リフォーカス可能範囲外にて合焦画像を取得できる可能性がある。このため、本実施例では、フォーカスレンズ群１０３を合焦方向に移動させて再撮像およびリフォーカス処理を行う。

図６（ｃ）には、図６（ｂ）に示した１回目の撮像およびリフォーカス処理の後、フォーカスレンズ群１０３を合焦方向に移動させて２回目の撮像を行い、この撮像により得られた撮像画像を用いてリフォーカス処理を行った結果を示している。図６（ｃ）の上段、中段および下段にも、図６（ａ）と同様に撮像画像の焦点位置、５つの候補画像の焦点位置および候補画像の合焦評価値をそれぞれ示している。

図６（ｃ）の下段には、２回目の撮像およびリフォーカス処理で得られた５つの候補画像の中に最も合焦評価値が高い候補画像が存在し、かつ最も至近側と最も無限遠側の焦点位置に対応する候補画像の合焦評価値が最も低くなった例を示している。カメラＭＰＵ１２４は、合焦評価値が最も高い候補画像を合焦画像として選択（判定）する。

なお、２回等、所定の複数回数の撮像およびリフォーカス処理を行っても合焦画像が選択できない場合がある。この場合、カメラＭＰＵ１２４は、ＡＦ補正値を算出する時間を短縮するために、図７に示すように今回と前回の撮像およびリフォーカス処理で得られた合焦評価値を用いた外挿処理を行って合焦位置を推測してもよい。

以上説明した本実施例によれば、１回の撮像およびリフォーカス処理により、フォーカスレンズ群１０３を駆動しなくても互いに異なる焦点位置に対応する複数の候補画像を取得することができる。つまり、フォーカスレンズ群１０３の駆動制御性に寄らず一定のデフォーカス間隔でずれた焦点位置に対応する複数の候補画像を取得することができる。しかも、カメラ本体１２０を動かないように固定する必要もなくなる。このため、複数の候補画像を取得するためのユーザの手間を削減することができるとともに、より精度の高いＡＦ補正値を得ることがきる。

また、本実施例によれば、１回の撮像およびリフォーカス処理では合焦画像を選択できなかった場合は、ユーザによる合焦方向の判断がなくても自動的に合焦画像を選択できる可能性がある合焦方向にフォーカスレンズ群１０３が駆動される。このため、再度の撮像およびリフォーカス処理が行われることで、合焦画像を選択できる可能性が高まる。このように、再撮像を行う際のユーザの手間も削減することができる。

本実施例では、撮像素子１２２とは別に設けられた焦点検出ユニット１３４を用いてデフォーカス量を算出（検出）する場合について説明したが、撮像素子１２２を用いた撮像面位相差検出方式でデフォーカス量を検出してもよい。

本実施例では、交換レンズ式一眼レフカメラとしての撮像装置について説明したが、撮像装置はビデオカメラ、携帯電話（スマートフォン）およびＡＦ機能を有する各種撮像装置であってもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ レンズユニット
１０３ フォーカスレンズ群
１２０ カメラ本体
１２２ 撮像素子
１２４ カメラＭＰＵ
１２４ａ ＥＥＰＲＯＭ
１２５ 画像処理回路

Claims (7)

1. 撮像光学系の射出瞳のうち互いに異なる瞳領域を通過した光線をそれぞれ光電変換する複数の画素を有する撮像素子と、
   前記撮像光学系のデフォーカス量を検出する焦点検出手段と、
   前記デフォーカス量の補正に用いられる補正値を取得する補正値取得手段と、
   前記補正後のデフォーカス量に基づいてフォーカス制御を行う制御手段とを有し、
   前記補正値取得手段は、
   前記撮像素子を用いた撮像により生成された撮像画像を用いて、該撮像画像に対応する焦点位置とは異なる焦点位置に対応する複数のリフォーカス画像を生成し、
   前記撮像画像および前記複数のリフォーカス画像を含む複数の候補画像のうち特定画像に対応する焦点位置を用いて前記補正値を取得することを特徴とする撮像装置。
2. 前記補正値取得手段は、前記複数の候補画像のうちユーザにより選択された候補画像を前記特定画像として選択することを特徴とする請求項１に記載の撮像装置。
3. 前記補正値取得手段は、
   前記複数の候補画像のそれぞれの合焦度を示す合焦評価値を算出し、
   前記複数の候補画像のうち前記合焦評価値が最も高い合焦度を示す候補画像を前記特定画像として選択することを特徴とする請求項１に記載の撮像装置。
4. 前記補正値取得手段は、前記複数の候補画像のうち最も至近側および最も無限遠側の焦点位置とは異なる焦点位置に対応する候補画像の中から前記特定画像を選択することを特徴とする請求項３に記載の撮像装置。
5. 前記補正値取得手段は、前記複数の候補画像の中に前記特定画像がない場合は、至近側および無限遠側のうち前記合焦評価値が示す合焦度が高い側にフォーカス駆動を行って再び撮像を行うことにより新たな複数の候補画像を生成し、
   該新たな複数の候補画像の中から前記特定画像を選択することを特徴とする請求項３または４に記載の撮像装置。
6. 前記補正値取得手段は、所定の複数回数の前記撮像および前記リフォーカス画像の生成によりそれぞれ得られた前記複数の候補画像の中に前記特定画像がない場合は、これら候補画像の前記合焦評価値を用いた外挿処理により合焦位置を求め、該合焦位置を用いて前記補正値を取得することを特徴とする請求項３から５のいずれか一項に記載の撮像装置。
7. 撮像光学系の射出瞳のうち互いに異なる瞳領域を通過した光線をそれぞれ光電変換する複数の画素を有する撮像素子を有し、前記撮像光学系のデフォーカス量を検出し、補正値を用いた補正後の前記デフォーカス量に基づいてフォーカス制御を行う撮像装置の制御方法であって、
   前記撮像装置に、
   前記撮像素子を用いた撮像により生成された撮像画像を用いたリフォーカス処理により、該撮像画像に対応する焦点位置とは異なる焦点位置に対応する複数のリフォーカス画像を生成させ、
   前記撮像画像および前記複数のリフォーカス画像を含む複数の候補画像のうち特定画像に対応する焦点位置を用いて前記補正値を取得することを特徴とする撮像装置の制御方法。