JP2020148980A - 撮像装置および焦点調節方法 - Google Patents

Abstract

【課題】高周波パターンのようなＡＦ検出を行うにあたって苦手被写体であっても、測距精度の高い撮像装置および焦点調節方法を提供する。【解決手段】撮影レンズを介して被写体像を受光し光電変換する画像用画素と、撮影レンズの対をなす瞳領域に対応する光束をそれぞれ受光し、該受光した光束を光電変換する対をなす位相差画素と、を有する撮像素子を備えた撮像装置における焦点調節方法において、記対をなす位相差画素の画素データに基づいて位相差を検出し（Ｓ３）、位相差画素の位置において、仮想的な画像用画素の画素データを算出し（Ｓ５）、対をなす位相差画素の位置において算出された仮想的な画像用画素の画素データ同士の一致度を算出し（Ｓ７）、一致度に応じて位相差検出結果の信頼性を判断し（Ｓ９）、位相差検出結果と信頼性に基づいて焦点調節を行う。【選択図】図５

Description

本発明は、撮像面に位相差検出用の位相差画素が配置された撮像素子を備えた撮像装置、および該撮像装置における焦点調節方法に関する。

従来より、位相差ＡＦによって撮影レンズの焦点調節が行われている。位相差ＡＦは、撮影レンズの対をなす瞳領域を通過した光束を、それぞれ光電変換素子列によって光電変換し、光電変換素子列の出力する光電変換信号の位相差を算出し、この位相差に基づいて撮影レンズの焦点調節を行う。

位相差ＡＦについては、種々の提案がなされている。例えば、特許文献１には、撮像素子の像面に位相差画素を配置し、像面位相差検出による検出結果の信頼を判定することが提案されている。また、特許文献２には、ＡＦ光学系を介して位相差検出光束を撮像素子の一部に結像させ、この位相差検出光束に基づいて位相差を検出し、撮影時はＡＦ光学系を退避する構成が開示されている。この撮像装置では、位相差検出光束が結像する撮像素子上の部分からの画素データを、周辺画素データに対して補間して、表示用画像を生成している。また、特許文献３には、位相差画素位置において、撮像用の画素データを取得することができないことから、位相差画素位置における仮想画像用画素の出力を推定し、撮影画質を確保することが提案されている。

特開２０１４−２２２２６８号公報 特開２０００−１０１８８０号公報 特開２００７―２８２１０８号公報

上述の特許文献１には、像面位相差検出の信頼性を判定することが開示されている。しかし、被写体が高周波パターンの場合には、偽合焦になりやすい被写体にも関わらず、信頼性が高くなりやすい。このため、誤った検出結果が採用されてしまい、ピントが合わなくなってしまう。また、上述の特許文献２、３には、撮影画像の画質を確保するために、位相差画素の位置における仮想画像用画素の出力を推定することが開示されている。しかし、この位相差画素位置における仮想画像用画素出力をＡＦに利用することについて記載されていない。また、高周波パターンの被写体に対するＡＦ精度の低下を解決することについても何ら記載されていない。特に、高周波パターンの被写体に対して、撮像素子の対をなす位相差画素の配置位置が離れている場合、測距ばらつきが発生し、誤測距となってしまう可能性がある。

本発明は、このような事情を鑑みてなされたものであり、高周波パターンのような苦手被写体であっても、ＡＦ検出を行うにあたって、測距精度の高い撮像装置および焦点調節方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、撮影レンズを介して被写体像を受光し光電変換する画像用画素と、上記撮影レンズの対をなす瞳領域に対応する光束をそれぞれ受光し、該受光した光束を光電変換する対をなす位相差画素と、を有する撮像素子と、上記対をなす位相差画素の画素データに基づいて位相差を検出する位相差検出部と、上記位相差画素の位置において、仮想的な画像用画素の画素データを算出する画素データ算出部と、上記対をなす位相差画素の位置において算出された上記仮想的な画像用画素の画素データ同士の一致度を算出する一致度算出部と、上記一致度に応じて上記位相差の検出結果の信頼性を判断する信頼性判断部と、上記位相差検出結果と上記信頼性に基づいて焦点調節を行う焦点調節部と、を具備する。

第２の発明に係る撮像装置は、上記第１の発明において、上記信頼性判断部は、上記一致度が閾値より低いと、信頼性が低いと判断し、上記位相差検出部は、上記信頼性が低いと判断された上記位相差画素の画素データを除外して位相差を検出する。
第３の発明に係る撮像装置は、上記第１の発明において、上記画素データ算出部は、上記位相差画素の画素データに対するゲインを設定するゲイン設定部と、上記位相差画素の周辺に位置する画像用画素の画素データに基づいて、上記位相差画素の位置に対応する仮想的な画像用画素の画素データを補間する補間部と、を有し、上記位相差画素の画素データに上記ゲインを施した値と、上記補間した画素データと、に基づいて上記位相差画素の位置に対応する仮想的な画像用画素の画素データを算出する。

第４の発明に係る撮像装置は、上記第１の発明において、上記位相差検出部は、測距エリア毎に位相差を検出し、上記一致度算出部は、上記測距エリア毎に一致度を算出し、上記信頼性判断部は、上記測距エリア毎に信頼性を判断し、上記焦点調節部は、上記測距エリア毎に判断された信頼性に基づいて、信頼性の低い測距エリアにおける測距結果を除外して、上記撮影レンズのデフォーカス量を算出するための測距エリアを決定する。

第５の発明に係る焦点調節方法は、撮影レンズを介して被写体像を受光し光電変換する画像用画素と、上記撮影レンズの対をなす瞳領域に対応する光束をそれぞれ受光し、該受光した光束を光電変換する対をなす位相差画素と、を有する撮像素子を備えた撮像装置における焦点調節方法において、上記対をなす位相差画素の画素データに基づいて位相差を検出し、上記位相差画素の位置において、仮想的な画像用画素の画素データを算出し、上記対をなす位相差画素の位置において算出された上記仮想的な画像用画素の画素データ同士の一致度を算出し、上記一致度に応じて上記位相差検出結果の信頼性を判断し、上記位相差検出結果と上記信頼性に基づいて焦点調節を行う。

第６の発明に係る撮像装置は、撮影レンズを介して被写体像を受光し光電変換する画像用画素と、上記撮影レンズの対をなす瞳領域に対応する光束をそれぞれ受光し、該受光した光束を光電変換する対をなす位相差画素と、を有する撮像素子と、上記対をなす位相差画素の画素データに基づいて位相差を検出する位相差検出部と、上記位相差画素の位置の周辺において、画像用画素の画素データを選択する画素データ選択部と、上記選択された画像用画素の画素データ同士の一致度を算出する一致度算出部と、上記一致度に応じて上記位相差の検出結果の信頼性を判断する信頼性判断部と、上記位相差検出結果と上記信頼性に基づいて焦点調節を行う焦点調節部と、を具備する。

本発明によれば、高周波パターンのような苦手被写体であっても、ＡＦ検出を行うにあたって、測距精度の高い撮像装置および焦点調節方法を提供することができる。

本発明の一実施形態に係る撮像装置の主として電気的構成を示すブロック図である。 本発明の一実施形態に係る撮像装置の撮像素子の画素の配置を示す平面図である。 本発明の一実施形態に係る撮像装置において、Ｒ画素特性、Ｌ画素特性、および通常画素特性を示すグラフである。 本発明の一実施形態に係る撮像装置において、撮像素子上に結像された高周波パターンの例を示す図である。 本発明の一実施形態に係る撮像装置において、測距動作を示すフローチャートである。 本発明の一実施形態に係る撮像装置において、信頼性判定の動作を示すフローチャートである。 本発明の一実施形態に係る撮像装置の撮像素子の画素の配置の変形例を示す平面図である。

以下、本発明の一実施形態に係る撮像装置としてデジタルカメラに適用した例について説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタタイミングを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、本実施形態に係る撮像装置は、位相差画素の位置に対応する画像用画素の画素出力に相当する仮想通常画素出力を算出し（図５のＳ５参照）、対の位相差画素の位置に対応する仮想通常画素出力同士の一致度を求め（図５のＳ７参照）、一致度が高い場合に対の位相差画素を使用した位相差検出を採用する。また、一致度が低い位相差画素の出力を除外して位相差検出を行う。

図１は、本実施形態に係る撮像装置１の主として電気的構成を示すブロック図である。本実施形態に係る撮像装置１は、所謂コンパクトカメラであり、レンズ鏡筒とカメラ本体が一体に構成されている。しかし、これに限らず、例えば、一眼カメラのように、交換レンズをカメラ本体に装着可能な交換式レンズカメラであってもよい。

撮影レンズ２は、被写体像を撮像素子４上に結像する。撮影レンズ２はフォーカスレンズやズームレンズ等を有し、これらのレンズは撮影レンズ２の光軸方向に移動可能である。撮影レンズ２のフォーカスレンズを移動させるためのレンズ駆動部１６が配置されている。レンズ駆動部１６は、レンズ駆動機構、レンズ駆動回路を有し、レンズ駆動部１６はシステムコントローラ３０からの制御信号に基づいて、フォーカスレンズを移動させ、焦点調節を行う。

また、撮影レンズ２の光軸上には、絞りを配置してもよく、この場合には、絞りの開口径を変化させるための絞り駆動機構および絞り駆動回路が配置される。さらに、撮影レンズ２の光軸上であって、撮像素子４の間には、シャッタを配置してもよい。この場合には、シャッタ駆動機構およびシャッタ駆動回路が配置される。露出制御は、絞り、シャッタ、および撮像素子４の感度等を調節することによって行うが、これらの３つのいずれ１つ、または２つ、またはＮＤフィルタ等を追加することによって露出制御を行うようにしてもよい。

撮像素子４は、撮影レンズ２によって被写体像が形成される位置付近に配置される。撮像素子４は、例えば、ＣＣＤ（Charge-Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ等である。撮像素子４は、画像用画素と位相差画素が２次元状に配列された画素部を有する。画像用画素は、通常画素であり、撮影レンズ１によって形成された被写体像をフォトダイオードによって光電変換し、光電変換信号を生成する。この光電変換信号に基づいて、画像信号が出力され、ライブビュー表示用および記録画像用に画像処理が施される。なお、画像信号を用いて、コントラスト値（焦点評価値）を算出し、このコントラスト値と、位相差画素に基づくデフォーカス量を用いて、撮影レンズの焦点調節を行うようにしてもよい。

また、位相差画素は、撮影レンズ２の異なる領域を通過する光束を、フォトダイオードによってそれぞれ光電変換して光電変換信号を生成する。すなわち、位相差画素は、撮影レンズを通過した光束のうち、右側方向と左側方向（または上側方向と下側方向等）の内のいずれか特定方向からの光束のみを受光し、光電変換信号を生成する。一方向と他方向からの光束に基づく光電変換信号の位相差を求めることによって、撮影レンズのデフォーカス量が算出される。位相差画素の配置については図２を用いて、また位相差画素の出力については図３を用いて後述する。

撮像素子４は、撮影レンズを介して被写体像を受光し光電変換する画像用画素と、撮影レンズの対をなす瞳領域に対応する光束をそれぞれ受光し、該受光した光束を光電変換する対をなす位相差画素と、を有する撮像素子として機能する。

撮像素子ＩＦ（Interface）回路６は、撮像素子４における光電変換信号の蓄積と読み出し動作を行う。撮像素子ＩＦ回路６は、システムコントローラ３０の制御信号に基づいて、撮像素子４における撮像制御を実行し、読み出した光電変換信号をシステムコントローラ３０に出力する。なお、撮像素子ＩＦ回路６が、光電変換信号をＡＤ変換した後、システムコントローラ３０に出力してもよい。

時計回路８は、計時機能およびカレンダー機能を有し、経時結果およびカレンダー情報をシステムコントローラ３０に出力する。

メモリカード１０は、撮像装置１の本体に装填自在な記録媒体であり、電気的に書き換え可能な不揮発性メモリである。メモリカード１０には、撮像素子４により取得され、記録用に画像処理が施された画像データが記録される。

ＤＲＡＭ（Dynamic Random Access Memory）１２は、電気的に書き換え可能な揮発性メモリである。ＤＲＡＭ１２には、システムコントローラ３０で使用される各種データを一時記憶する。なお、画像データの一時記憶用に、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）を設けてもよい。

フラッシュＲＯＭ１４は、電気的に書き換え可能な不揮発性メモリである。フラッシュＲＯＭ１４には、制御プログラム１４ａおよび制御パラメータ１４ｂが記憶される。制御プログラム１４ａは、ＣＰＵ３０ａによって撮像装置１の全体制御を行う際に使用される。制御パラメータ１４ｂは、撮像装置１の制御を行う際に使用する、各種回路、機構等におけるパラメータである。

バッテリ２０は、撮像装置１の電源供給を行うための電源電池である。電力回路２２は、バッテリ２０の電源電圧を所定の定電圧にし、撮像装置１内の各部に電力を供給する。モニタ２６は、撮像装置の本体外装に配置されたモニタ、および／または接眼部を介して観察する電子ビューファインダ等のモニタである。モニタ２６には、撮像素子４によって取得したライブビュー画像、メモリカード１０に記録された画像の再生画像、メニュー画像等、種々の画像が表示される。モニタ駆動回路２４は、システムコントローラ３０から出力された各種画像をモニタ２６に表示するための回路である。

操作部２８は、ユーザが撮像装置１に各種指示を行うための入力インターフェースである。操作部２８は、レリーズ釦、モードダイヤル・スイッチ、タッチパネル等の種々の操作部材を有し、操作状態を検出し、システムコントローラ３０に検出結果を出力する。

システムコントローラ３０は、ＣＰＵ（Central Processing Unit）３０ａと、その周辺回路を含むプロセッサである。ＣＰＵ３０ａは、フラッシュＲＯＭ１４に記憶された制御プログラム１４ａに従って、撮像装置１内の各部を制御する。システムコントローラ３０またはＣＰＵ３０ａは、一致度に応じて位相差検出結果の信頼性を判断する信頼性判断部として機能する。信頼性判断部は、一致度が閾値より低いと、信頼性が低いと判断する。また、信頼性判断部は、一致度が高いほど、信頼性が高いと判断する。信頼性判断部は、測距エリア毎に信頼性を判断する。また、システムコントローラ３０またはＣＰＵ３０ａは、位相差検出結果と信頼性に基づいて焦点調節を行う焦点調節部として機能する。焦点調節部は、測距エリア毎に判定された信頼性に基づいて、信頼性の低い測距エリアにおける測距結果を除外して、撮影レンズのデフォーカス量を算出するための測距エリアを決定する（図６のＳ３９参照）。システムコントローラ３０は、位相差画素の位置の周辺において、画像用画素の画素データを選択する画素データ選択部として機能する。

画像処理回路３０ｂは、 撮像素子４から読み出された画像信号から画像データを生成し、この生成された画像データまたはＤＲＡＭ１２に保存された画像データに対して露出補正やノイズ処理、ＷＢゲイン補正、同時化処理、輪郭強調、偽色補正等の様々な画像処理を施す。また、画像処理回路３０ｂは、上述の画像処理を施した画像データに対して、記録データ形式に変換する処理（現像処理）も行う。

また、画像処理回路３０ｂは、位相差画素の配置位置における仮想的な画像用画素データを算出する。すなわち、位相差画素には、撮影レンズ２の一対の瞳領域のいずれか一方からの光束のみを受光するためのマスク部材（遮光部材）が配置されている。このマスク部材のために、位相差画素データは、そのままでは画像用画素データとして使用することができない。そこで、画像処理回路３０ｂは、位相差画素の周辺に配置された画像用画素の画素データを用いて補間演算等の演算処理によって、位相差画素位置における仮想的な画像用画素データを生成する。画像処理回路３０ｂは、位相差画素の位置において、仮想的な画像用画素の画素データを算出する画素データ算出部として機能する。

画像処理回路３０ｂは、位相差画素の画素データに対するゲインを設定するゲイン設定回路（ゲイン設定部）と、位相差画素の周辺に位置する画像用画素の画素データに基づいて、位相差画素の位置に対応する仮想的な画像用画素の画素データを補間する補間回路（補間部）を有し、位相差画素の画素データにゲインを施した値と、補間した画素データと、に基づいて位相差画素の位置に対応する仮想的な画像用画素の画素データを算出する画素データ算出部として機能する。

位相差検出回路３０ｃは、撮像素子４に設けられた位相差画素の出力信号から位相差を検出し、デフォーカス量を算出する。前述したように、位相差画素は、撮影レンズを通過した光束のうち、右側方向と左側方向（または上側方向と下側方向等）の内のいずれか特定方向からの光束のみを受光し、一方向と他方向からの光束に基づく信号を出力する。位相差検出回路３０ｃは、これらの信号を用いて、２つの信号の位相差を算出する。位相差の演算については、種々の演算方法が提案されており、例えば、特開２０１６−０１５６３４号公報、特開２０１６−０８０７９１号公報に開示されているような演算によって求めてもよい。本実施形態においては、後述する（１）式によって、類似度Ｓ（ｉ）を求め、この類似度Ｓ（ｉ）が極小値となるｉが、デフォーカス量に相当する。位相差の算出は、測距エリア毎に行われる。

位相差検出回路３０ｃは、対をなす位相差画素の画素データに基づいて位相差を検出する位相差検出部として機能する。位相差検出部は、信頼性が低いと判断された位相差画素の画素データを除外して位相差を検出する。位相差検出部は、測距エリア毎に位相差を検出する。

また、位相差検出回路３０ｃは、画像処理回路３０ｂによって算出された位相差画素位置における仮想的な画像用画素データを用いて、後述する（１）式によって一致度演算を行う。この一致度演算は、演算形式としては、位相差演算と同じである。一致度演算の意義については後述するが、一致度演算結果は、位相差ＡＦ検出を行うにあたって苦手被写体であるか否かの判定に使用される。位相差検出回路３０ｃは、一致度算出回路でもあり、対をなす位相差画素の位置において算出された仮想的な画像用画素の画素データ同士の一致度を算出する一致度算出部として機能する。一致度算出部は、測距エリア毎に一致度を算出する。また、位相差検出回路３０ｃは、選択された画像用画素の画素データ同士の一致度を算出する一致度算出部として機能する。

外部メモリインターフェース（ＩＦ）回路３０ｄは、メモリカード１０に画像データ等を書き込み、またメモリカード１０から画像データ等を読み出す際のインターフェース回路である。Ａ／Ｄコンバータ３０ｅは、撮像素子ＩＦ回路６から出力されたアナログ信号等、種々のアナログ信号をデジタルデータに変換する。

次に、図２を用いて、撮像素子４における位相差画素と画像用画素の配置について説明する。図２（ａ）において、「Ｒ」または「Ｌ」の記載された画素が位相差画素である。Ｒ画素は、撮影レンズを通過した光束のうち、右側方向からの光束のみを受光する画素である。またＬ画素は、撮影レンズを通過した光束のうち、左側方向からの光束のみを受光する画素である。「Ｒ」「Ｌ」の記載されていない画素が、通常の画像用画素であり、赤色フィルタが前面に配置された赤色画素、緑色フィルタが前面に配置された緑色画素、および青色フィルタが前面に配置された青色画素が、図２（ａ）に示すように配置されている。Ｒ画素、Ｌ画素は、色フィルタの規則的な配列パターンの緑色画素の位置に配置されている。Ｒ画素、Ｌ画素は、緑色フィルタが前面に配置されている。

図２（ａ）において、Ｒ画素４Ｒ１とＬ画素４Ｌ１で一対となっており、また、Ｒ画素４Ｒ２とＬ画素４Ｌ２で一対となっており、これらのＲ画素とＬ画素の間は４画素分離されている。縦方向の枠線Ｓ１、Ｓ２、Ｓ３・・・内で、Ｒ画素同士の加算値と、Ｌ画素同士の加算値を求め、これらの加算値を用いて、位相差検出のための演算を行う（後述する（１）式参照）。

図２（ｂ）は、Ｒ画素およびＬ画素の位置の位相差画素データを補間により画像用画素データに変換した様子を示す。すなわち、Ｒ画素およびＬ画素の位相差画素データは、前述したように、撮影レンズを通過した光束の内のいずれか一方の方向からの光束を光電変換した値である。このため、位相差画素データをそのままライブビュー画像や記録画像等に用いると画質が劣化してしまう。そこで、画像処理回路３０ｂが、位相差画素の位置の周辺の画像用画素の値を用いて、補間演算により、位相差画素の位置における仮想的な画像用画素の値を求める。仮想的な画像用画素（データ）を「Ｇ」画素と示している。

前述したように、位相差画素（Ｒ画素、Ｌ画素）は、緑色画素の位置に配置されている。図２（ｂ）において、「Ｇ」画素の値は、Ｒ画素またはＬ画素の値を、Ｒ画素またはＬ画素のそれぞれ周囲の緑色画素の画素データを用いて、補間演算により算出される。この補間演算によって、位相差画素の位置も含めて、撮像素子４の全面において、画像用画素データを得ることができ、高品質の画像データを得ることができる。また、位相差検出回路３０ｃは、Ｇ画素の位置の仮想的な画像用画素データを用いて、一致度演算を行う（図５のＳ７）。ＣＰＵ３０ａは、この演算結果に基づいて、信頼性判定を行う（図５のＳ９）。

次に、図３を用いて、位相差画素と画像用画素の光学特性を説明する。図３の横軸は位相差画素および画像用画素（通常画素）に入射する光束の角度を示し、縦軸は規格化した露光感度を示す。図３に示すように、露光感度は、Ｒ画素特性では感度のピークが右側に偏っており、Ｌ画素特性では感度のピークが左側に偏っている。これに対して、画像用画素特性では感度のピークは入射角０度付近にあり、感度特性は０度付近を中心として線対称になっている。

位相差を求めるには、測距演算前処理において、相関演算を行う。すなわち、右開口（基準信号）と左開口（参照信号）に対応する画像から測距エリア毎の画素加算値を用いて、公知の方法により相関値を算出する。例えば、相関演算は演算量を削減するため、基準信号に対して参照信号を走査させ、参照信号上の各位置における類似度を算出し、最大類似度の位置を検出する手法を用いる。基準信号をＢ（ｉ）、参照信号をＲ（ｉ）とすると、類似度Ｓ（ｉ）は、下記（１）式によって算出される。αは相関演算範囲を表す。類似度Ｓ（ｉ）が極小値となる参照信号の走査位置が基準信号と参照信号の相関が最も高く最大類似の位置とみなすことができる。測距エリア毎に相関演算が行われる。

上記（１）式において、Ｓ（ｉ）の値が０に近ければ近いほど、基準信号Ｂ（ｉ）と参照信号Ｒ（ｉ）の差がないことから測距エリア内の画像に差異がないことを意味する。一方、通常の画像用画素は全開口しているため、図３のように入射特性が原点（０°）を中心に線対称となっている。そのため、一対の画像用画素データ同士を用いて、（１）式の相関演算を行うと、入射角度に関係なく一定の値となる。従って、画像用画素データで相関演算の値が変化する条件はデフォーカス量ではなく、画像データの差異となる。

図２（ａ）を用いて説明したように、一般に、一対の位相差画素（Ｒ画素とＬ画素）が配置されている距離は離れている。Ｒ画素およびＬ画素を近づけると、図２（ｂ）を用いて説明したような補間演算により、通常の画像用画素の画素データを算出することが困難となる。そこで、一対の位相差画素はある程度離した位置に配置している。

一対の位相差画素を離して配置しているので、図４（ａ）（ｂ）に示すような画素サイズレベルの高周波被写体や周期性被写体等の一部の画像が位相差画素に重なると、位相差画素の画素データを用いて、相関演算を行っても、正しい相関値を算出することができない場合が生ずる。例えば、図４（ａ）に示すように、基準信号を出力する画素Ｂ（ｉ）は、高周波被写体の高輝度部分の画像が投影され、一方、参照信号を出力する画素Ｒ（ｉ）は、高周波被写体の低輝度部分の画像が半分投影される場合を想定する。この場合には、画素Ｂ（ｉ）と画素Ｒ（ｉ）は異なる被写体を見ていることから、相関演算を行っても正しい相関値を算出できない。同様に、図４（ｂ）に示すように、基準信号を出力する画素Ｂ（ｉ）は低輝度部分の画像が投影され、参照信号を出力する画素Ｒ（ｉ）は高輝度部分の画像が投影されている。このような場合にも、相関演算を行っても正しい相関値を算出できない。

図４（ａ）（ｂ）に示すような場合に、画像用画素データを用いて、（１）式における相関演算を行うと、相関演算値が、一致度が最も高い０から離れた値になってしまう。したがって、画像用画素の入射光が高周波被写体等の影響を受けている場合、言い換えると、画像用画素データを用いて算出した相関演算値が一定の閾値を超える場合は、位相差画素の入射光も高周波被写体等の影響を受けているといえる。そこで、位相差画素の位置における仮想的な画像用画素データを用いて算出した相関演算値が、所定の閾値を超えた測距エリアについては、この測距エリアの測距データを除去することによって、信頼性の高いデータでデフォーカス量を得ることができる。

このように、本実施形態においては、被写体のパターンが高周波パターンの被写体や周期性パターンの被写体等のようなＡＦ検出の苦手被写体、でない一般的な被写体の場合には、Ｌ画素とＲ画素の画素データを用いて相関演算を行うと、フォーカスレンズの焦点調節状態に応じて、像ずれ量が変化する。一方、画像用画素（例えば図２（ｂ）の緑色画素）の画素データは、Ｌ画素とＲ画素のような像ずれ量の特性変化がないため（図３参照）、フォーカスレンズのデフォーカスによって像ずれ量は変化しない。そのため、画像用画素データ同士の相関演算（一致度演算）を行うと、デフォーカス量に関係なく相関演算値は一致度が最も高い０に近い値となる。

画像用画素データの一致度が低くなる条件は、画素サイズレベルでデータが変化する場合であり、ナイキスト周波数前後の高周波被写体等の画像データが対象画素領域に存在するときである。当然ながら通常の画像用画素の画素データが影響を受け相関演算値が変化する場合は、位相差画素の画素データも影響を受けている。したがって、苦手被写体の影響を受けて、仮想的な画像用画素データ（Ｇ画素データ）の相関演算値（一致度演算値）が、一致を示す０から外れ、所定の閾値より大きい場合には、その測距エリアの位相差画素データを除去することによって、信頼性の高いデータでデフォーカス量を算出できる。このように、一致度演算値は、その数値が小さい方が一致度は高く、大きい方が一致度は低いことを示す。

なお、相関演算（一致度演算）の対象とする画像用画素データは、補間処理等による補正した後の仮想的な画像用画素データ（Ｇ画素の画素データ）とする（後述する図５のＳ５、Ｓ７参照）。同じ位置、間隔であるため、仮想的な画像用画素（Ｇ画素）データ同士の一致度を算出することによって、位相差画素によるデフォーカス量の検出結果の信頼性を判断できる。

次に、図５および図６に示すフローチャートを用いて、本実施形態における測距動作について説明する。これらのフローチャートは、ＣＰＵ３０ａがフラッシュＲＯＭ１４内の制御プログラム１４ａに基づいて、撮像装置１内の各部を制御することにより、実現する。

図５に示す測距動作が開始すると、まず、スチル読出しデータを取得する（Ｓ１）。ここでは、撮像素子４によりスチル読出し用の蓄積動作を実行させ、次に撮像素子ＩＦ回路６が、撮像素子４からスチル読出し画素データを読み出し、メモリ（ＤＲＡＭ）に記録する。スチル読出し画素データは、撮像素子の位相差画素および画像用画素から読み出した画素データである。

スチル読出しデータ（画素データ）の読み出しを行うと、次に、スチル読出しデータを用いてＡＦ演算を行う（Ｓ３）。ここでは、画像処理回路３０ｂが、ステップＳ１において読出して記憶したスチル読出しデータから、位相差画素データを抽出する。位相差画素データを抽出すると、位相差検出回路３０ｃが、例えば、（１）式に示したような相関演算を行い、相関演算値が極小値となる画素のずれ量を算出し、デフォーカス量を求める。この場合、測距エリア毎に相関演算を行い、デフォーカス量を算出する。

また、ステップＳ１において、スチル読出しデータを取得すると、位相差画素データに対する画像処理後に、ベイヤデータを生成する（Ｓ５）。ここでは、画像処理回路３０ｂが、図２（ａ）に示すＲ画素、Ｌ画素の位置の位相差画素データについて、周囲の画像用画素データを用いて補間演算を行って、図２（ｂ）に示すＧ画素の位置の画像用画素データを算出してベイヤデータを生成する。

ベイヤデータを生成すると、次に、ベイヤデータを用いて、一致度演算を行う（Ｓ７）。ここでは、位相差検出回路３０ｃが、例えば、（１）式に示すような相関演算を行って、一致度を算出する。一致度の算出は（１）式であってもよく、（１）式以外であってもよい。なお、ステップＳ５およびＳ７における処理は、ステップＳ３と並行して行ってもよい。また、ステップＳ３の処理を実行してから、またはステップＳ３の処理を実行する前に、ステップＳ５およびＳ７における処理を行ってもよい。

ステップＳ３またはＳ７における演算を行うと、次に、信頼性判定を行う（Ｓ９）。ここでは、ステップＳ７における一致度を算出結果に基づいて、測距エリア毎に信頼性を判定する。この場合、一致度演算値が所定の値より大きい場合には、その測距エリアの信頼性が低いと判断し、信頼性の低い測距エリアの測距結果を除外する。この信頼性判定の詳細な処理については、図６を用いて後述する。

信頼性判定を行うと、次に、測距エリアを決定する（Ｓ１１）。ここでは、ＣＰＵ３０ａが、ステップＳ９における信頼性判定結果に基づいて、焦点調節に用いる測距エリアを決定する。測距エリアを決定すると、本フローを終了し、公知の方法によりフォーカスレンズの焦点調節を行う。

次に、図６に示すフローチャートを用いて、ステップＳ９における信頼性判定について説明する。信頼性判定のフローが動作を開始すると、まず、スチル読出データによるＡＦ演算結果を参照する（Ｓ２１）。ここでは、ステップＳ３において、スチル読出データに含まれる位相差画素データを用いて算出したＡＦ演算結果を参照する。

続いて、ＡＦ演算において利用できるデータが複数あるか否かを判定する（Ｓ２３）。ステップＳ３において、位相差検出回路３０ｃが、測距エリア毎にＡＦ演算を行う際に、被写体のコントラストが低い場合や周期性被写体のため、測距結果が得られない場合がある。このステップでは、ＣＰＵ３０ａが、ＡＦ演算によって測距結果が得られた測距エリアが複数あったか否かを判定する。

ステップＳ２３における判定の結果、ＡＦ演算で利用できるデータが複数あった場合には、ベイヤデータによる一致度演算値を参照する（Ｓ２５）。ここでは、ＣＰＵ３０ａが、位相差検出回路３０ｃがステップＳ７において行った一致度演算の算出結果（一致度演算値）を参照する。

ベイヤデータ側の一致度演算結果を参照すると、次に、測距エリア毎に、ステップＳ２７からＳ３５をループ処理する。まず、一致度演算値＞閾値か否かを判定する（Ｓ２９）。ここでは、ＣＰＵ３０ａが、測距エリア毎に、ステップＳ７において演算した一致度演算値が、閾値より大きいか否かを判定する。

ステップＳ２９における判定の結果、一致度演算値が閾値よりも大きい場合には、ＡＦ演算結果の信頼性が低いと判断して、その数を除外対象としてカウントする（Ｓ３１）。前述したように、画像用画素データ（補間演算により補間後の画素データ）の一致度は、位相差ＡＦのための相関演算結果の信頼性を表している。一致度演算値が閾値よりも大きい場合には、その測距エリアの相関演算値の信頼性は低いと判断し、除外対象としてカウントする。

一方、ステップＳ２９における判定の結果、一致度が閾値以下の場合には、カウントしない（Ｓ３３）。ここでは、ステップＳ３１とは異なり、その測距エリアの相関演算値の信頼性が高いと判断し、カウントの対象としない。

ステップＳ３１またはＳ３３における処理を実行すると、次に、ループ終了か否かを判定する（Ｓ３５）。ここでは全ての測距エリアについて、Ｓ２９〜Ｓ３３の処理を行ったかついて判定する。全ての測距エリアについて処理を行っていない場合には、所定の順番に従って、次の測距エリアについて処理を行う。

ステップＳ３５における判定の結果、ループが終了した場合には、次に、測距結果数＞除外カウント数か否かを判定する（Ｓ３７）。ここでは、測距エリアの数（測距結果数）が、ステップＳ３３においてカウントされた数より大きいか否かを判定する。

ステップＳ３７における判定の結果、測距エリアの数（測距結果数）が、ステップＳ３３においてカウントされた数より大きい場合には、除外対象としてカウントしたデータを測距結果のデータから除外する（Ｓ３９）。ここでは、ステップＳ７において算出された一致度演算値が閾値よりも大きい測距エリアにおける相関演算値は、信頼性が低いことから、その測距エリアの測距結果値（相関演算値、デフォーカス量）は、フォーカスレンズのデフォーカス量の算出にあたって除外することを決定する。

一方、ステップＳ３７における判定の結果、測距エリアの数（測距結果数）が、ステップＳ３３においてカウントされた数より大きくない場合（すなわち、測距エリアの数とカウント値が一致する場合）には、またはステップＳ２３における判定の結果、ＡＦ演算で利用できるデータが１つ又は０の場合には、何もしない（Ｓ４１）。ここでは、ステップＳ３９において行うような、データを測距結果から除外するような処理を行わない。ステップＳ３９またはＳ４１における処理を行うと、元のフローに戻る。

このように、本実施形態においては、スチル読出データには位相差画素データが含まれており、この位相差画素データ中の基準信号と参照信号を用いて、（１）式に示す類似度Ｓ（ｉ）を算出し、このＳ（ｉ）が極小値となる値を求めている（Ｓ３）。この値が測距結果として合焦判定に利用される可能性がある。

一方、画像用画素（例えば緑色画素）には、瞳領域を通過した光束のみに制限するための遮光部材（マスク部材）が設けられていない。このため、撮影レンズ（光学系レンズ）２の位置が変化しても、Ｌ画素及びＲ画素にみられるような相対露光量の変化はない。従って、画像用画素で相対露光量が変化する条件は、撮影レンズ２のデフォーカス量に依存せず、画素サイズレベルの高周波被写体、周期性被写体等の画像データのみの影響を受ける。

画像用画素で影響を受ける場合は、位相差画素も影響を受ける。そこで、画像用画素データを用いて、一致度に相当する類似度Ｓ（ｉ）を演算した際に、この類似度Ｓ（ｉ）が閾値より大きくなっている測距データを除去することによって、信頼性の高いデータを用いてデフォーカス量の算出ができる。ベイヤデータを用いて演算した一致度（上述の（１）式を用いて演算したＳ（ｉ））が、所定の閾値を超えるのであれば、そもそもの基準信号と参照信号に測距誤差をもたらす画像（例えば高周波被写体や周期性被写体）が含まれているため、測距演算するデータとしてふさわしくないと判断できる（Ｓ９参照）。この除外される測距エリアの測距結果を外すことで、信頼性の高いデータのみでデフォーカス量の算出をすることができる。

このように、図５および図６に示すフローチャートにおいては、対をなす位相差画素の画素データに基づいて位相差を検出し（Ｓ３）、上記位相差画素の位置において、仮想的な画像用画素の画素データを算出し（Ｓ５）、対をなす位相差画素の位置において算出された仮想的な画像用画素の画素データ同士の一致度を算出し（Ｓ７）、一致度に応じて位相差検出結果の信頼性を判断し（Ｓ９）、位相差検出結果と上記信頼性に基づいて焦点調節を行っている（Ｓ１１）。

以上説明したように、本発明の一実施形態においては、撮像素子上に、左右開口又は上下開口、その他、対になる開口により位相差を検出する位相差画素を配置している（図２（ａ）参照）。そして、位相差画素が存在する位置の仮想画像用画素出力を補間演算等により算出し、対になる開口の仮想画像用画素出力同士の一致度を算出し（図５のＳ５、Ｓ７参照）、この一致度を用いて像面位相差ＡＦにおけるデフォーカス量の検出結果の信頼性を判断している（図５のＳ９、図６のＳ２９参照）。一致度の算出方法は、仮想画像用画素出力の相関演算結果がゼロに近いことにより判断している（図５のＳ７、図６のＳ２９）。仮想画像用画素データは、位相差画素位置において、周囲の画像用画素データを用いて補間演算等により求めている。このためん、本実施形態においては、位相差画素の配置位置が離されているために生ずる測距ばらつきを抑えることができる。また、位相差画素における仮想画像用画素データを利用することによって、誤測距データを除外することができ、高精度の焦点検出を行うことができる。

撮像素子の撮像面に遮光型位相差画素を配置する場合には、撮影画像の画質を確保するために、位相差画素の位置の画素データを周囲の撮像画素データを使用して補間して撮影画像としている。この補間演算に支障をきたさないために、対となる位相差画素の位置が離れて配置される。対の位相差画素位置が異なるため、画素ピッチに近い高周波な被写体パターンの場合、対の位相差画素に入射する像が異なり、データが異なるので測距誤差が発生しＡＦ精度が低下してしまう。しかし、上述したように、本実施形態においては、対となる仮想画像用画素出力の一致度に基づいて、位相差ＡＦによる測距結果の信頼性を判断し、信頼性の低い測距結果を排除しているので、高精度の焦点検出を行うことが可能となる。

なお、本発明の一実施形態においては、ステップＳ５、Ｓ７において、位相差画素の位置における仮想画像用画素データを算出し、対となる仮想画像用画素データの一致度を算出することにより、像面位相差ＡＦによる測距データの信頼性を判定していた。しかし、対となる仮想画像用画素データによる一致度の算出は、他の画像用画素データの一致度を含めて算出し、像面位相差ＡＦによる測距データの信頼性を判定するようにしてもよい。

また、位相差画素の周辺に位置する同色の色フィルタを有する画像用画素データを選択し、選択した画像用画素データ同士の一致度を算出して信頼性を判定してもよい。たとえば、図７のＲ画素に隣接する赤色画素４Ｒ＿ＲＥ１、４Ｒ＿ＲＥ２、・・・の画像用画素データとＬ画素に隣接する赤色画素４Ｌ＿ＲＥ１、４Ｌ＿ＲＥ２、・・・の画像用画素データの一致度を算出してもよい。一致度の算出方法と信頼性の判定方法は、仮想画像用画素データを用いた方法と同様である。また、図７のＲ画素に隣接する青色画素４Ｒ＿Ｂ１（４ＲＢ２・・・）の画像用画素データとＬ画素に隣接する青色画素４Ｌ＿Ｂ１（４ＬＢ２・・・）の画像用画素データの一致度を算出してもよい。Ｒ画素、Ｌ画素に隣接する青色（赤色）画素が複数存在する場合は、Ｒ画素、Ｌ画素との位置関係が同じ青色（赤色）画素を選択して一致度を算出してもよいし、この隣接する複数の青色（赤色）画素の画像用画素データを加算した値（平均値）を使用して一致度を求めてもよい。

また、図７のＲ画素の近傍に位置する緑色画素４Ｒ＿Ｇ１の画像用画素データとＬ画素の近傍に位置する緑色画素４Ｌ＿Ｇ１の画像用画素データの一致度を算出してもよいし、Ｒ画素およびＬ画素それぞれの配置位置の中間にある緑色画素４Ｒ＿Ｇ’１と４Ｌ＿Ｇ’１の画像用画素データの一致度を算出してもよい。さらに、赤色画素４Ｒ＿ＲＥ１と４Ｌ＿ＲＥ１の一致度と、青色画素４Ｒ＿Ｂ１と４Ｌ＿Ｂ１の一致度と、緑色画素４Ｒ＿Ｇ１と４Ｌ＿Ｇ１の一致度と、緑色画素４Ｒ＿Ｇ’１と４Ｌ＿Ｇ’１の一致度の複数の一致度（一致度演算値）の全部、または一部を平均処理や重み付け平均して、最終的な一致度（一致度演算値）を求めて信頼性を判定してもよい。

また、本発明の一実施形態においては、一致度演算値が閾値より高いと信頼性が低いと判定していた（図６のＳ２９、Ｓ３１参照）。しかし、これに限らず、一致度演算値が閾値より高いと信頼性が高いと判定するような、一致度算出用の演算式を用いてもよい。

また、本発明の一実施形態においては、システムコントローラ３０内に、画像処理回路３０ｂ、位相差検出回路３０ｃ等の回路を有していたが、ハードウエア回路に代えて、ＣＰＵとプログラムによってソフトウエア的に構成してもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）を利用して構成してもよい。ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。または、１つ以上のＣＰＵを有する複数のプロセッサに分散して配置するようにしてもよい。

また、本発明の一実施形態においては、時計回路８、モニタ駆動回路２４等を、システムコントローラ３０とは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、システムコントローラ３０によって実行するようにしても勿論かまわない。また、これらの回路をシステムコントローラ３０内に配置するようにしてもよい。

また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、像面位相差ＡＦによって焦点検出する機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・撮像装置、２・・・撮影レンズ、４・・・撮像素子、６・・・撮像素子ＩＦ回路、８・・・時計回路、１０・・・メモリカード、１２・・・ＤＲＡＭ、１４・・・フラッシュＲＯＭ、１４ａ・・・制御プログラム、１４ｂ・・・制御パラメータ、１６・・・レンズ駆動部、２０・・・バッテリ、２２・・・電力回路、２４・・・モニタ駆動回路、２６・・・モニタ、２８・・・操作部、３０・・・システムコントローラ、３０ａ・・・ＣＰＵ、３０ｂ・・・画像処理回路、３０ｃ・・・位相差検出回路、３０ｄ・・・外部メモリＩＦ回路、３０ｅ・・・Ａ／Ｄコンバータ

Claims (6)

1. 撮影レンズを介して被写体像を受光し光電変換する画像用画素と、上記撮影レンズの対をなす瞳領域に対応する光束をそれぞれ受光し、該受光した光束を光電変換する対をなす位相差画素と、を有する撮像素子と、
   上記対をなす位相差画素の画素データに基づいて位相差を検出する位相差検出部と、
   上記位相差画素の位置において、仮想的な画像用画素の画素データを算出する画素データ算出部と、
   上記対をなす位相差画素の位置において算出された上記仮想的な画像用画素の画素データ同士の一致度を算出する一致度算出部と、
   上記一致度に応じて上記位相差の検出結果の信頼性を判断する信頼性判断部と、
   上記位相差検出結果と上記信頼性に基づいて焦点調節を行う焦点調節部と、
   を具備することを特徴とする撮像装置。
2. 上記信頼性判断部は、上記一致度が閾値より低いと、信頼性が低いと判断し、
   上記位相差検出部は、上記信頼性が低いと判断された上記位相差画素の画素データを除外して位相差を検出する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 上記画素データ算出部は、
   上記位相差画素の画素データに対するゲインを設定するゲイン設定部と、
   上記位相差画素の周辺に位置する画像用画素の画素データに基づいて、上記位相差画素の位置に対応する仮想的な画像用画素の画素データを補間する補間部と、
   を有し、
   上記位相差画素の画素データに上記ゲインを施した値と、上記補間した画素データと、に基づいて上記位相差画素の位置に対応する仮想的な画像用画素の画素データを算出することを特徴とする請求項１に記載の撮像装置。
4. 上記位相差検出部は、測距エリア毎に位相差を検出し、
   上記一致度算出部は、上記測距エリア毎に一致度を算出し、
   上記信頼性判断部は、上記測距エリア毎に信頼性を判断し、
   上記焦点調節部は、上記測距エリア毎に判断された信頼性に基づいて、信頼性の低い測距エリアにおける測距結果を除外して、上記撮影レンズのデフォーカス量を算出するための測距エリアを決定する、
   ことを特徴とする請求項１に記載の撮像装置。
5. 撮影レンズを介して被写体像を受光し光電変換する画像用画素と、上記撮影レンズの対をなす瞳領域に対応する光束をそれぞれ受光し、該受光した光束を光電変換する対をなす位相差画素と、を有する撮像素子を備えた撮像装置における焦点調節方法において、
   上記対をなす位相差画素の画素データに基づいて位相差を検出し、
   上記位相差画素の位置において、仮想的な画像用画素の画素データを算出し、
   上記対をなす位相差画素の位置において算出された上記仮想的な画像用画素の画素データ同士の一致度を算出し、
   上記一致度に応じて上記位相差検出結果の信頼性を判断し、
   上記位相差検出結果と上記信頼性に基づいて焦点調節を行う、
   ことを特徴とする焦点調節方法。
6. 撮影レンズを介して被写体像を受光し光電変換する画像用画素と、上記撮影レンズの対をなす瞳領域に対応する光束をそれぞれ受光し、該受光した光束を光電変換する対をなす位相差画素と、を有する撮像素子と、
   上記対をなす位相差画素の画素データに基づいて位相差を検出する位相差検出部と、
   上記位相差画素の位置の周辺において、画像用画素の画素データを選択する画素データ選択部と、
   上記選択された画像用画素の画素データ同士の一致度を算出する一致度算出部と、
   上記一致度に応じて上記位相差の検出結果の信頼性を判断する信頼性判断部と、
   上記位相差検出結果と上記信頼性に基づいて焦点調節を行う焦点調節部と、
   を具備することを特徴とする撮像装置。

Images