JP2015079193A - 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】焦点検出画素を含む撮像素子を用いて高精度な焦点検出が可能な撮像装置を提供する。
【解決手段】撮像装置は、複数の焦点検出画素および複数の撮像画素を備え、被写体像を光電変換する撮像素子と、複数の焦点検出画素から得られた第１の画素信号に基づいて相関演算を行い第１の相関評価値を算出する第１の評価値算出手段と、複数の撮像画素から得られた第２の画素信号に基づいて相関演算を行い第２の相関評価値を算出する第２の評価値算出手段と、第１の相関評価値および前記第２の相関評価値を用いて焦点状態を検出する焦点検出手段とを有する。
【選択図】図１０

Description

本発明は、焦点検出画素を含む撮像素子を備えた撮像装置に関する。

特許文献１には、撮像画素群の間に焦点検出画素を所定の間隔で配置して、位相差方式の焦点検出を行う撮像装置が開示されている。特許文献１の構成では、焦点検出画素が配置された位置において画像情報の一部が欠損する。このため、焦点検出画素の周辺の撮像画素の情報から補間演算を行って画像信号が生成される。ここで、焦点検出画素の配置密度を疎とすると、画素欠陥による画質劣化を低減することができる。しかし、焦点検出画像のサンプリング特性が劣化し、焦点検出性能が低下する。

特許文献２には、像の検出ピッチが短い第一焦点検出画素群で高精度な焦点検出を行い、像の検出ピッチが長い第二焦点検出画素群で大デフォーカス量検出を行うことにより、高精度な焦点検出と大デフォーカス量検出とを両立させた撮像装置が開示されている。

特開２０００−１５６８２３号公報 特開２００７−２７９３１２号公報

しかしながら、特許文献２の構成では、合焦近傍の焦点状態を高精度に検出するため、第一焦点検出画素を密に配置している。そして、焦点検出画素の画素信号を周辺の撮像画素の出力信号、および焦点検出画素の出力信号を用いて補間処理により生成している。このため、焦点検出画素からの画素信号のサンプリング特性は改善するが、焦点検出領域において部分的な画質劣化が生じる可能性がある。

そこで本発明は、焦点検出画素を含む撮像素子を用いて高精度な焦点検出が可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての撮像装置は、複数の焦点検出画素および複数の撮像画素を備え、被写体像を光電変換する撮像素子と、前記複数の焦点検出画素から得られた第１の画素信号に基づいて相関演算を行い第１の相関評価値を算出する第１の評価値算出手段と、前記複数の撮像画素から得られた第２の画素信号に基づいて相関演算を行い第２の相関評価値を算出する第２の評価値算出手段と、前記第１の相関評価値および前記第２の相関評価値を用いて焦点状態を検出する焦点検出手段とを有する。

本発明の他の側面としての撮像システムは、撮影光学系を備えたレンズ装置と、前記撮像装置とを有する。

本発明の他の側面としての撮像装置の制御方法は、複数の焦点検出画素および複数の撮像画素を備えた撮像素子を用いて、被写体像を光電変換するステップと、前記複数の焦点検出画素から得られた第１の画素信号に基づいて相関演算を行い第１の相関評価値を算出するステップと、前記複数の撮像画素から得られた第２の画素信号に基づいて相関演算を行い第２の相関評価値を算出するステップと、前記第１の相関評価値および前記第２の相関評価値を用いて焦点状態を検出するステップとを有する。

本発明の他の側面としてのプログラムは、コンピュータに、前記撮像装置の制御方法を実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、焦点検出画素を含む撮像素子を用いて高精度な焦点検出が可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

本実施例における撮像装置の構成図である。 本実施例における撮像素子（固体撮像素子）のブロック図である。 本実施例における撮像素子の撮像画素の平面図と断面図である。 本実施例における撮像素子の焦点検出画素の平面図と断面図である。 本実施例において、焦点検出画素のケラレおよび焦点検出光束の重心間隔の説明図ある。 本実施例における撮像素子の撮像画素および焦点検出画素の配置例を示す図である。 本実施例の焦点検出画素の配置図、及び各画素の出力波形図である。 本実施例の焦点検出画素の配置図、及び各画素の出力波形図である。 本実施例における撮像装置の動作を示すフローチャートである。 本実施例における撮像装置の焦点検出動作を示すフローチャートである。 本実施例における撮像装置の撮影動作を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本発明の実施例１における撮像装置について説明する。図１は、撮像装置１００（撮像システム）の構成図である。撮像装置１００は、撮像素子１０７を備えた撮像装置本体（カメラ本体）と撮影光学系（撮影レンズ）とが一体的に構成されている。ただし本実施例は、これに限定されるものではなく、撮像装置本体と撮像装置本体に着脱可能なレンズ装置（撮影光学系）とを備えて構成される撮像システムにも適用可能である。

図１において、１０１は第１レンズ群である。第１レンズ群１０１は、撮影光学系（結像光学系）の先端に配置されており、光軸ＯＡの方向（光軸方向）に進退可能に保持されている。１０２は絞り兼用シャッタである。絞り兼用シャッタ１０２は、その開口径を調節することにより、撮影時の光量調節を行う。また絞り兼用シャッタ１０２は、静止画撮影の際に露光秒時調節用シャッタとしての機能を有する。１０３は撮影光学系を構成する第２レンズ群である。絞り兼用シャッタ１０２および第２レンズ群１０３は、一体的に光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。１０５は撮影光学系を構成する第３レンズ群である。第３レンズ群１０５は、光軸方向に進退することにより、焦点調節を行う。１０６は光学的ローパスフィルタである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。

１０７は撮像素子である。撮像素子１０７は、撮影光学系を介して得られた被写体像（光学像）を光電変換して画像信号を出力する。撮像素子１０７は、Ｃ−ＭＯＳセンサとその周辺回路とを備えて構成されている。また撮像素子１０７では、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された２次元単板カラーセンサが用いられている。後述のように、撮像素子１０７は、複数の焦点検出画素および複数の撮像画素を備えている。複数の焦点検出画素は、撮影光学系の互いに異なる瞳領域を通過した光束を受光して第１の画素信号を出力する。複数の撮像画素は、撮影光学系の同一の瞳領域を通過した光束を受光して第２の画素信号を出力する。

１１１はズームアクチュエータである。ズームアクチュエータ１１１は、不図示のカム筒を回動することにより、第１レンズ群１０１、第２レンズ群１０３、および、第３レンズ群１０５を光軸方向に進退駆動し、変倍操作を行う。１１２は絞りシャッタアクチュエータである。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節するとともに、静止画撮影の際に露光時間制御を行う。１１４はフォーカスアクチュエータである。フォーカスアクチュエータ１１４は、第３レンズ群１０５（フォーカスレンズ）を光軸方向に進退駆動して焦点調節を行う。

１１５は、撮影時の被写体照明用の電子フラッシュ（照明手段）である。電子フラッシュ１１５としては、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いてもよい。１１６はＡＦ補助光手段である。ＡＦ補助光手段１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写界に投影し、暗い被写体または低コントラストの被写体に対する焦点検出能力を向上させる。

１２１はＣＰＵ（カメラ制御部）である。ＣＰＵ１２１は、カメラ本体の種々の制御を司るカメラＣＰＵであり、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、カメラ本体の各種回路を駆動し、ＡＦ、撮影、画像処理、および、記録などの一連の動作を実行する。またＣＰＵ１２１は、第１の評価値算出手段１２１ａ、第２の評価値算出手段１２１ｂ、および、焦点検出手段１２１ｃを有する。これらの具体的な動作については後述する。

１２２は電子フラッシュ制御回路である。電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５を点灯制御する。１２３は補助光駆動回路である。補助光駆動回路１２３は、焦点検出動作に同期して、ＡＦ補助光手段１１６を点灯制御する。１２４は撮像素子駆動回路である。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、撮像素子１０７から出力された画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路である。画像処理回路１２５は、撮像素子１０７から得られた画像信号に対して、γ変換、カラー補間、および、ＪＰＥＧ圧縮などの画像処理を行う。

１２６はフォーカス駆動回路である。フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。１２８はシャッタ駆動回路である。シャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動制御して、絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路である。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

１３１はＬＣＤなどの表示器である。表示器１３１は、カメラ本体の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。１３２は操作スイッチ群である。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどにより構成される。１３３は着脱可能なフラッシュメモリである。フラッシュメモリ１３３は、撮影済み画像を記録する。

図２は、撮像素子１０７（固体撮像素子）のブロック図を示している。なお、図２のブロック図は、画像信号の読み出し動作の説明に必要な最低限の構成を示し、画素リセット信号などが省略されている。図２において、２０１は、光電変換部（以下、「ＰＤ_ｍｎ」ともいう。ｍは、Ｘ方向アドレスであり、ｍ＝０、１、…、ｍ−１、ｎは、Ｙ方向アドレスであり、ｎ＝０、１、…、ｎ−１である。）であり、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。また、本実施例の撮像素子１０７は、ｍ×ｎの光電変換部を２次元上に配置して構成されている。符号は、煩雑になるため、左上の光電変換部ＰＤ_００付近のみに付記している。

２０２は、光電変換部２０１（ＰＤ_ｍｎ）の出力を選択するスイッチであり、垂直走査回路２０８により、一行ごとに選択される。２０３は、光電変換部２０１（ＰＤ_ｍｎ）の出力を一時的に記憶するためのラインメモリ（ＭＥＭ）であり、垂直走査回路２０８により選択された、一行分の光電変換部２０１（ＰＤ_ｍｎ）の出力を記憶する。ラインメモリ２０３としては、通常、コンデンサが用いられる。

２０４は、水平出力線に接続されて、水平出力線を所定の電位ＶＨＲＳＴにリセットするためのスイッチであり、信号ＨＲＳＴにより制御される。２０５は、ラインメモリ２０３に記憶された光電変換部２０１（ＰＤ_ｍｎ）の出力を水平出力線に順次出力するためのスイッチ（Ｈ_０〜Ｈ_ｍ−１）である。スイッチ２０５（Ｈ_０〜Ｈ_ｍ−１）を後述の水平走査回路２０６で順次走査することにより、一行分の光電変換の出力が読み出される。

２０６は水平走査回路であり、ラインメモリ２０３に記憶された光電変換部２０１の出力を順次操作して、水平出力線に出力させる。信号ＰＨＳＴは、水平走査回路２０６のデータ入力、ＰＨ１、ＰＨ２はシフトクロック入力であり、ＰＨ１＝Ｈでデータがセットされ、ＰＨ２でデータがラッチされる構成となっている。シフトクロック入力ＰＨ１、ＰＨ２にシフトクロックを入力することにより、信号ＰＨＳＴを順次シフトさせて、スイッチ２０５（Ｈ_０〜Ｈ_ｍ−１）を順次オンさせることができる。信号ＳＫＩＰは、間引き読み出し時に設定を行わせる制御入力信号である。信号ＳＫＩＰをＨレベルに設定することにより、水平走査回路２０６を所定間隔でスキップさせることが可能になる。２０７は水平出力線の信号を増幅して端子ＶＯＵＴに出力する増幅器ＡＭＰである。

２０８は垂直走査回路であり、順次走査して、制御信号Ｖ_０〜Ｖ_ｎ−１を出力することにより、光電変換部２０１（ＰＤ_ｍｎ）の選択スイッチ２０２を選択することができる。制御信号は、水平走査回路２０６の場合と同様に、データ入力である信号ＰＶＳＴ、シフトクロックＰＶ１、ＰＶ２、及び、間引き読み設定を行う信号ＳＫＩＰにより制御される。動作の詳細は、水平走査回路２０６と同様であるため、その説明は省略する。

図３乃至図５は、撮像画素と焦点検出画素の構造を説明する図である。本実施例においては、２×２の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そしてベイヤー配列の間に、後述する構造を有する焦点検出用画素が所定の規則で分散配置されている。

図３は、撮像画素の配置および構造を示す。図３（ａ）は、２行×２列の撮像画素の平面図である。周知のように、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置されている。そして、この２行×２列の構造が繰り返し配置される。

図３（ｂ）は、図３（ａ）の断面Ａ−Ａを示す断面図である。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤはＣ−ＭＯＳセンサの光電変換部を模式的に示したものであり、ＣＬはＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは、撮影光学系を模式的に示したものである。

撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部ＰＤの有効面積は大面積であるように設計される。また、図３（ｂ）ではＧ画素の入射光束について説明したが、Ｒ画素及びＢ（Ｂｌｕｅ）画素も同一の構造を有する。従って、ＲＧＢの各々の撮像用画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込むことで画像信号のＳ／Ｎを向上させている。

図４は、撮影光学系の水平方向（横方向）に瞳分割を行うための焦点検出用画素の配置と構造を示す。ここで水平方向（横方向）とは、撮影光学系の光軸が水平となるようにカメラを構えたとき、光軸に直交し、かつ水平方向に伸びる直線に沿った方向を指す。図４（ａ）は、焦点検出画素を含む２行×２列の画素の平面図である。記録または観賞のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方、Ｒ画素、Ｂ画素は、色情報（色差情報）を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施例においては、２行×２列の画素のうち、Ｇ画素は撮像画素として残し、ＲとＢの画素を焦点検出画素に置き換える。これを、図４（ａ）においてＳＡおよびＳＢでそれぞれ示している。

図４（ｂ）は、図４（ａ）における断面Ａ−Ａを示す断面図である。マイクロレンズＭＬと光電変換部ＰＤは、図３（ｂ）に示される撮像画素と同一構造である。本実施例において、焦点検出画素は、Ｂ画素の画素位置にＧ画素のカラーフィルタＣＦ_Ｇ（Ｇｒｅｅｎ）が配置することにより構成されている。また、撮像素子１０７で瞳分割を行うため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、画素ＳＡの開口部ＯＰＨＡは右側に偏倚しているため、撮影光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＢの開口部ＯＰＨＢは左側に偏倚しているため、撮影光学系ＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。画素ＳＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素ＳＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とする。そしてＡ像とＢ像の相対位置を検出し、像のズレ量に対して変換係数を乗じることにより、被写体像のピントずれ量（デフォーカス量）を算出することができる。

続いて、像ズレ量からデフォーカス量を算出するための変換係数を得る方法について説明する。変換係数は、結像光学系の口径情報および焦点検出画素の感度分布に基づいて算出される。イメージセンサ（撮像素子１０７）には、撮影レンズＴＬのレンズ保持枠や絞り１０２などのいくつかの構成部材によって制限された光束が入射する。図５は、撮影光学系のケラレにより、焦点検出用の光束が制限されている様子を示す図である。図５は、イメージセンサの中央近傍の画素に対して、射出瞳面５０１の位置にある結像光学系の絞り５０２によって光束が制限されている様子を示している。図５（ａ）において、５０３、５０４はイメージセンサ（５０３は、予定結像面位置におけるイメージセンサ）、５０５は光軸、５０６はイメージセンサ５０３上での光軸の位置である。５０７、５０８は絞り５０２によって光束が限定された場合の光束（絞り５０２が絞られている場合の光束）、５０９、５１０は絞り５０２により制限されていない光束（絞り５０２が開放している場合の光束）である。５１１、５１２はそれぞれ、光束５０７、５０８に対する焦点検出用光束である。５１５、５１６はそれぞれ、焦点検出用光束５１１、５１２の重心位置である。同様に、５１３、５１４はそれぞれ、光束５０９、５１０に対する焦点検出用光束である。５１７、５１８はそれぞれ、焦点検出用光束５１３、５１４の重心位置である。５３０はイメージセンサに最も近い側にあるレンズ保持枠、５３１は被写体に最も近い側にあるレンズ保持枠である。

図５（ｂ）は、イメージセンサの中央の焦点検出用画素の射出瞳面５０１でのケラレによる重心位置の変化を説明する図である。図５（ｂ）において、５２３、５２４はそれぞれ、イメージセンサ５０４の中央の画素に対して制限された光束５０７、５０８、および、制限されていない光束５０９、５１０の瞳領域を示す。５２５、５２６はそれぞれ、焦点検出画素ＳＡ、ＳＢの入射角特性を示す。焦点検出画素ＳＡ、ＳＢには、瞳領域５２３、５２４の内側を透過した光束が入射角特性５２５、５２６で示される感度分布で入射する。このため、瞳領域５２３、５２４の内側を透過した焦点検出用光束の分布重心をそれぞれ求めることで、焦点検出用光束が制限されている場合（絞りが絞られている状態）と、制限されていない場合（絞り開放状態）の重心間隔を算出することができる。そしてこれらの重心間隔から、それぞれの基線長を求めることができる。焦点検出用画素の感度分布情報および結像光学系の口径情報を測定及び計算から求めて予め記憶しておくことで、像ズレ量からデフォーカス量を算出するための変換係数を求めることができる。

図５（ａ）において、デフォーカス量５１９をＤＥＦ、イメージセンサ５０３から射出瞳面５０１までの距離５２０をＬとする。また、焦点検出用光束が制限されている場合と制限されていない場合の基線長（重心間隔）をそれぞれＧ１（重心位置５１５、５１６間距離）、Ｇ２（重心位置５１７、５１８間距離）とする。また、像ズレ量５２１、５２２をそれぞれＰＲＥＤ１、ＰＲＥＤ２、像ズレ量５２１、５２２のそれぞれをデフォーカス量ＤＥＦに変換する変換係数をＫ１、Ｋ２とする。このとき、以下の式（１）によりデフォーカス量ＤＥＦを求めることができる。

ＤＥＦ＝Ｋ１×ＰＲＥＤ１＝Ｋ２×ＰＲＥＤ２ … （１）
また、像ずれ量５２１、５２２をデフォーカス量ＤＥＦに変換する変換係数Ｋ１、Ｋ２は、それぞれ以下の式（２）、（３）により求められる。

Ｋ１＝Ｌ／Ｇ１ … （２）
Ｋ２＝Ｌ／Ｇ２ … （３）
ここで、Ｋ１＜Ｋ２である。このため、絞りが開放されている場合と絞りが絞られている場合とを比較すると、像ズレ量を算出する際に像ズレ量に同等の誤差が発生すると、絞りが絞られている場合のほうがデフォーカス量として、Ｋ２／Ｋ１倍の誤差が発生する。

図５（ｃ）は、図５（ｂ）における感度分布の断面Ａ−Ａを示す断面図である。図５（ｃ）において、（ｃ）−１は絞りを開放した場合、（ｃ）−２は絞りが絞られている場合のＡ像画素５３０、Ｂ像画素５３１、および、撮像画素５３２の感度分布を示している。図５（ｃ）の両図において、横軸は光入射角度、縦軸は感度分布をそれぞれ示す。両図を比較すると、絞り開放状態のほうが基線長が長く、また感度を持つ入射角度幅が広くなる。基線長と、デフォーカスに対するＡ像、Ｂ像の像ズレ量とは比例関係にあるため、基線長が長くなるとデフォーカスに対する像ズレ量の敏感度が高くなる。感度を持つ入射角度幅が大きくなると、デフォーカスに対するＡ像、Ｂ像のボケ量、像ケラレが大きくなる。一般的に、焦点検出画素による像信号としては、デフォーカスに対して、像ずれ量の敏感度が高く、ボケ量および像ケラレが小さい像信号が望まれる。

図６は、撮像素子１０７における撮像画素および焦点検出画素の配置例を示す図である。図６において、Ｇ、ＧＡ、ＧＢは、緑のカラーフィルタ（緑フィルタ）を有する画素、Ｒは、赤のカラーフィルタ（赤フィルタ）を有する画素、Ｂは、青のカラーフィルタ（青フィルタ）を有する画素である。図６中のＳＡは、画素部の開口を水平方向に偏倚させて形成された焦点検出画素であり、後述の焦点検出画素ＳＢに対する水平方向の像ズレ量を検出するための基準画素群である。また、ＳＢは、画素の開口部を焦点検出画素ＳＡとは逆方向に偏倚させて形成された焦点検出画素であり、焦点検出画素ＳＡとの水平方向の像ズレ量を検出するための参照画素群である。焦点検出画素ＳＡ、ＳＢの白抜き部分は、偏倚した画素の開口位置を示している。

合焦近傍の焦点状態を高精度に検出するには、焦点検出画素を密に配置する必要がある。一方、焦点検出画素の位置における画像信号（画素信号）は、周辺の撮像画素の出力信号、および焦点検出画素の出力信号を用いて補間処理により生成する必要がある。このため、画質劣化の影響を考慮すると、焦点検出画素を疎に配置することが望まれる。図６において、焦点検出画素ＳＡ、ＳＢは、画質劣化の影響を考慮して、欠損による画質劣化が認識され難いＢ画素の位置に配置している。

図６（ａ）、（ｂ）は、それぞれ、焦点検出精度を考慮して、焦点検出画素ＳＡ、ＳＢをＢ画素の位置に高密度に配置する場合の配置例を示している。ここで、図６（ａ）、（ｂ）の各配置に対して、焦点検出画素の配置起因で発生する焦点検出誤差について説明する。

図７および図８は、それぞれ図６（ａ）、（ｂ）の焦点検出画素の配置に対して、白黒のエッジ被写体をピントの合った状態で撮影した際の被写体の係り方（ａ）、焦点検出画素ＳＡ、ＳＢの信号（ｂ）、焦点検出画素の周辺の撮像画素の信号（ｃ）を示す図である。

図６（ａ）では、焦点検出画素同士（最も近い２つの焦点検出画素ＳＡ、および、最も近い２つの焦点検出画素ＳＢ）の間隔は２画素ピッチである。このように図６（ａ）に示される配置において、焦点検出画素は高密度に配置されているが、焦点検出画素ＳＡ、ＳＢが配置されている行が互いに異なっている。このため、図７に示されるように、斜めの白黒エッジ被写体を焦点検出画素で撮像すると、本来デフォーカス量に応じて検出されるＡ像とＢ像の像ずれ量以外の像ずれ成分として、Ａ像を基準としてＢ像のずれ量Δｐｒｅｄ（ａ）が像ずれ検出誤差として発生する。

本実施例では、前述の像ずれ検出誤差Δｐｒｅｄ（ａ）に対して、焦点検出画素の周辺の撮像画素を用いて像ズレ量を補正することにより、検出誤差の発生を低減させる。なお、焦点検出画素の周辺の撮像画素とは、焦点検出画素に隣接する撮像画素だけでなく、焦点検出画素に近接して配置されている撮像画素であってもよい。

図７（ｃ）は、図７（ａ）の焦点検出画素ＳＡ、ＳＢの画素間に配置されたＧの撮像画素ＧＢ、ＧＡの信号を示す図である。図７（ｃ）において、撮像画素ＧＡ、ＧＢから得られる像ズレ量を演算すると、撮像画素ＧＡの画像を基準として、撮像画素ＧＢの像ズレ量は、−Δｐｒｅｄ（ａ）として検出される。撮像画素ＧＡ、ＧＢはともに同じ瞳形状であるため、デフォーカスに応じた２像間での像ズレ量は発生せず、焦点検出画素ＳＡ、ＳＢが配置された行間での被写体のずれ成分のみを逆符号で検出することが可能となる。

ここで、図７（ｂ）のＳＡ信号、ＳＢ信号の像ズレ量をＰＲＥＤ（ＳＡ，ＳＢ）、図７（ｃ）のＧＡ信号、ＧＢ信号の像ズレ量をＰＲＥＤ（ＧＡ，ＧＢ）とする。このとき、焦点検出画素ＳＡ、ＳＢの画素信号であるＡ像、Ｂ像のデフォーカス量に応じた像ズレ量ＰＲＥＤは、以下の式（４）を用いて算出される。これにより、画素配置に起因する像ズレ量の検出誤差を補正することができる。

ＰＲＥＤ＝ＰＲＥＤ（ＳＡ、ＳＢ）＋ＰＲＥＤ（ＧＡ、ＧＢ） … （４）
図６（ｂ）では、焦点検出画素ＳＡ、ＳＢが同じ行に配置されているが、焦点検出画素ＳＡ同士、焦点検出画素ＳＢ同士の配置間隔は４画素ピッチである。図８（ｂ）は、図６（ｂ）の配置に対して、エッジ被写体の画素に係る位置を画素単位で変化させた際の焦点検出画素ＳＡの画素信号（ＳＡ信号）、焦点検出画素ＳＢの画素信号（ＳＢ信号）、および、各被写体位置に応じた像ズレ量の変化を示す図である。図８（ｂ）に示されるように、焦点検出画素ＳＡ、ＳＢの配置に対して、被写体のエッジ部分が係る位置が焦点検出画素ＳＡ、ＳＢで相対的に変化する。このため、それに応じて検出される像ズレ量も変化する。図８（ｂ）の最下図は、被写体のエッジ部分の係る位置と、各位置における像ズレ量を示す図であり、各被写体位置に応じて、像ズレ検出誤差Δｐｒｅｄ（ｂ）が発生している。

本実施例においては、前述の像ズレ量検出誤差Δｐｒｅｄ（ｂ）に対して、焦点検出画素周辺の撮像画素を用いて像ズレ量を補正することにより、誤差の発生を低減する。図８（ａ）において、焦点検出画素ＳＡの上下に配置されたＧの撮像画素ＧＢ１、ＧＢ２の平均出力をＧＢ信号、焦点検出画素ＳＢの上下に配置されたＧの撮像画素ＧＡ１、ＧＡ２の平均出力をＧＡ信号とする。このとき、被写体のエッジ部分の係る位置と、各位置におけるＧＡ信号およびＧＢ信号で検出される像ズレ量の変化を図８（ｃ）に示す。図８（ｂ）、（ｃ）から、ＳＡ、ＳＢ信号の検出像ズレ量、および、ＧＡ、ＧＢ信号の検出像ズレ量は、互いに逆符号で検出することが可能となる。ここで、図８（ｂ）のＳＡ信号、ＳＢ信号の像ズレ量ＰＲＥＤ（ＳＡ，ＳＢ）、図８（ｃ）ＧＡ信号、ＧＢ信号の像ズレ量ＰＲＥＤ（ＧＡ，ＧＢ）とする。このとき、焦点検出画素ＳＡ、ＳＢの画素信号（Ａ像信号、Ｂ像信号）のデフォーカス量に応じた像ズレ量ＰＲＥＤは、以下の式（５）を用いて算出される。これにより、焦点検出画素の配置に起因する像ズレ量検出誤差を補正することができる。

ＰＲＥＤ＝ＰＲＥＤ（ＳＡ、ＳＢ）＋ＰＲＥＤ（ＧＡ、ＧＢ） … （５）
図８は、被写体のピントが合った状態、すなわち理想的には一対の焦点検出信号のずれ量が０となる状態について説明している。ここで、デフォーカスが発生した際の補正効果について説明する。

被写体のピントがずれている場合、一対の焦点検出画素の像信号に対してデフォーカス量に応じた像ズレが発生する。このため、ＳＡ信号およびＳＢ信号の相対的な被写体位置は変化する。従って、図８（ｂ）に示される像ズレ量の検出誤差の発生する位相関係も変化する。これに対して、ＧＡ信号およびＧＢ信号は同じ瞳形状で撮像している。このため、デフォーカスに応じた２像間での像ズレ量は発生せず、図８（ｃ）の位相関係を維持する。従って、デフォーカス量に応じて、式（５）による像ズレ量検出誤差の補正効果は低下する。

一方、図８（ｂ）にて発生している像ズレ量検出誤差は、焦点検出画素間で被写体のエッジ部分を捉えられなくなるために発生するものである。このため、デフォーカスに応じて被写体像の先鋭度が低下すると、焦点検出画素の配置間隔でも被写体のエッジ部分を捕捉することが可能となる。そして、像ズレ量検出誤差の絶対値が低下するため、式（５）を用いても像ズレ量検出誤差の低減としての効果が得られる。

続いて、図９乃至図１１を参照して、本実施例における撮像装置１００の制御方法（カメラの焦点調節動作および撮影動作）について説明する。図９は、撮像装置１００の制御方法（撮像装置の動作）を示すフローチャートである。図９の各ステップは、主に、ＣＰＵ１２１の指令に基づいて実行される。

まずステップＳ９０１において、撮影者が撮像装置１００の電源スイッチ（メインスイッチ）をオンにすると、ステップＳ９０２において、ＣＰＵ１２１は撮像装置１００の各アクチュエータや撮像素子１０７の動作確認を行う。またＣＰＵ１２１は、メモリ内容や実行プログラムの初期化を行うとともに、撮影準備動作を行う。続いてステップＳ９０３において、ＣＰＵ１２１は撮像素子１０７の撮像動作を開始し、プレビュー用の低画素動画像を出力する。そしてステップＳ９０４において、ＣＰＵ１２１は、撮像素子１０７から読み出された画像（プレビュー画像）を撮像装置１００の背面に設けられた表示器１３１に表示する。撮影者は、このプレビュー画像を目視して、撮影時の構図を決定する。続いてステップＳ９０５において、ＣＰＵ１２１は、画像領域の中から焦点検出領域を決定する。

次にステップステップＳ１００１において、ＣＰＵ１２１は、焦点検出サブルーチンを実行する。図１０は、焦点検出サブルーチン（図９のステップＳ１００１）のフローチャートである。図９のステップＳ１００１から図１０のサブルーチンにジャンプすると、まずステップＳ１００２において、ＣＰＵ１２１（および、撮像素子駆動回路１２４）は、複数の焦点検出画素から第１の画素信号を読み出し、複数の撮像画素から第２の画素信号を読み出す。すなわちＣＰＵ１２１は、メインルーチン（図９）のステップＳ９０５にて決定された焦点検出領域に含まれる焦点検出画素から第１の画素信号、および、焦点検出画素周辺の撮像画素から第２の画素信号を読み出す。

続いてステップＳ１００３において、ＣＰＵ１２１（第１の評価値算出手段１２１ａ）は、複数の焦点検出画素から得られた第１の画素信号に基づいて相関演算を行い第１の相関評価値を算出する。すなわちＣＰＵ１２１は、得られた焦点検出画素信号（第１の画素信号）に対して２像の相関演算を行い、２像の相対的な位置ズレ量（第１の相関評価値としての第１の像ズレ量）を算出する。本実施例において、ＣＰＵ１２１（第１の評価値算出手段１２１ａ）は、焦点検出画素列から読み出された一対の像信号（ａ１〜ａｎ、ｂ１〜ｂｎ：ｎはデータ数）に対して、以下の式（６）に示される相関演算を行う。これにより、第１の相関評価値としての相関量Ｃｏｒｒ（ｌ）を算出することができる。

式（６）において、ｌは像ずらし量、像をずらした際のデータ数はｎ−ｌに限定される。また、像ずらし量ｌは整数であり、データ列のデータ間隔を単位とした相対的なシフト量である。式（６）の演算結果は、一対のデータの相関が最も高い場合に、相関量Ｃｏｒｒ（ｌ）が極小となる。また、相関量Ｃｏｒｒ（ｍ）（極小となるシフト量ｍ）、および、ｍに近いシフト量で算出された相関量を用いて、３点内挿の手法を用いて、連続的な相関量に対する極小値Ｃｏｒｒ（ｄ）を与えるシフト量ｄを求める。

続いてステップＳ１００４において、ＣＰＵ１２１は、相関演算結果の信頼性を求める。ここで信頼性とは、式（６）にて算出された相関量Ｃｏｒｒ（ｌ）に対して、相関性が最も高いときの値Ｃｏｒｒ（ｄ）である。デフォーカス量が大きい場合、Ａ像、Ｂ像の非対称性が大きくなる。このため、極小値Ｃｏｒｒ（ｄ）は大きく算出され、信頼性が劣化する。また、レンズの位置が合焦位置に近いほど、極小値Ｃｏｒｒ（ｄ）は低く算出され、信頼性が高くなる。

続いてステップＳ１００５において、ＣＰＵ１２１（第２の評価値算出手段１２１ｂ）は、複数の撮像画素から得られた第２の画素信号に基づいて相関演算を行い第２の相関評価値を算出する。すなわちＣＰＵ１２１は、焦点検出画素周辺の撮像画素信号（第２の画素信号）に対して２像の相関演算を行い、２像の相対的な位置ズレ量（第２の相関評価値としての第２の像ズレ量）を算出する。このときの相関演算手法は、式（６）を用いた手法と同様である。そしてステップＳ１００６において、ＣＰＵ１２１は、相関演算結果の信頼性を演算する。信頼性の演算方法は、ステップＳ１００４と同様である。

続いてステップＳ１００７において、ＣＰＵ１２１（焦点検出手段１２１ｃ）は、第１の相関評価値（第１の像ズレ量）および第２の相関評価値（第２の像ズレ量）を用いて焦点状態を検出する。本実施例において、ＣＰＵ１２１（焦点検出手段１２１ｃ）は、焦点検出画素の周辺の撮像画素（第２の画素信号）に基づいて得られた第２の相関演算評価値を用いて第１の相関演算評価値を修正（補正）することにより、第３の相関演算評価値を算出する。この補正は、式（４）、（５）を用いて行われる。すなわち焦点検出手段１２１ｃは、第１の相関評価値と第２の相関評価値との加算値（または第１の相関評価値から第２の相関評価値を減算した値）に基づいて焦点状態を検出する。

そしてステップＳ１００８において、ＣＰＵ１２１（焦点検出手段）は、ステップＳ１００７にて得られた像ズレ量（補正後の像ズレ量、すなわち第３の相関演算評価値）を用いて焦点状態を検出する。すなわちＣＰＵ１２１は、ステップＳ１００７にて得られた像ズレ量に対して所定のデフォーカス換算係数を乗ずることにより、デフォーカス量ＤＥＦを演算する。

続いてステップＳ１００９において、ＣＰＵ１２１は、測距領域内（焦点検出領域内）の全測距ラインに対して測距演算が終了しているか否かを判定する。全測距ラインに対する測距演算が終了していない場合、ステップＳ１００２に戻り、他のラインに対して、ステップＳ１００２〜Ｓ１００９を繰り返す。

一方、全測距ラインに対する測距演算が終了している場合、ステップＳ１０１０に進む。そしてステップＳ１０１０において、ＣＰＵ１２１は、測距領域内にある複数の焦点検出ラインの中から、ステップＳ１００４およびステップＳ１００６にて演算された信頼性（相関信頼性）がともに高い情報を優先的に使用する処理を施す。そしてＣＰＵ１２１は、その処理に基づいて、最終的な測距結果を決定する。続いてステップＳ１０１１において、図９のメインフロー内のステップＳ９０７にリターンする。

図９のステップＳ９０７において、ＣＰＵ１２１は、検出デフォーカス量が許容値以下である否か、すなわち合焦状態であるか否かを判定する。検出デフォーカス量が許容値よりも大きい場合、ＣＰＵ１２１は非合焦状態であると判定する。そしてステップＳ９０８において、ＣＰＵ１２１（フォーカス駆動回路１２６、フォーカスアクチュエータ１１４）は、第３レンズ群１０５（フォーカスレンズ）を駆動制御する。その後、ステップＳ１００１およびステップＳ９０７を繰り返し実行する。

一方、ステップＳ９０７にて合焦状態と判定されると、ステップＳ９０９において、ＣＰＵ１２１は表示器１３１に合焦表示を行う。続いてステップＳ９１０において、ＣＰＵ１２１は、撮影開始スイッチがオン操作されたか否かを判定する。撮影開始スイッチのオン操作がされていない場合、ステップＳ９１０を繰り返し、撮影待機状態を維持する。

一方、ステップＳ９１０にて撮影開始スイッチがオン操作されると、ステップＳ１１０１に移行し、ＣＰＵ１２１は撮影サブルーチンを実行する。図１１は、撮影サブルーチン（図９のステップＳ１１０１）のフローチャートである。

撮影開始スイッチが操作されると、ステップＳ１１０２において、ＣＰＵ１２１（絞りシャッタ駆動回路１２８、絞りシャッタアクチュエータ１１２）は光量調整絞り（絞り兼用シャッタ１０２）を駆動制御する。これにより、露光時間を規定するメカニカルシャッタの開口制御が行われる。続いてステップＳ１１０３において、ＣＰＵ１２１（撮像素子駆動回路１２４）は、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行う。続いてステップＳ１１０４において、ＣＰＵ１２１は、読み出された画像信号の欠損画素補間を行う。焦点検出画素信号は、元々、その位置に配置されていた撮像画素と構造が異なる。このため、焦点検出画素の出力、または、焦点検出画素の周辺の撮像画素の出力を用いて、撮像信号を生成する必要がある。

続いてステップＳ１１０５において、画像処理回路１２５は、画像のγ補正やエッジ強調などの画像処理を行う。そしてステップＳ１１０６において、ＣＰＵ１２１はフラッシュメモリ１３３に撮影画像を記録する。またステップＳ１１０７において、ＣＰＵ１２１は表示器１３１に撮影済み画像を表示する。そしてステップＳ１１０８において、図９のメインフローにリターンする。図９のメインフローに戻ると、ステップＳ９１２において、一連の撮影動作が終了する。

このように本実施例において、焦点検出手段１２１ｃは、第１の相関評価値および第２の相関評価値を用いて焦点状態を検出する。好ましくは、焦点検出手段１２１ｃは、第２の相関評価値を用いて第１の相関評価値を修正することにより第３の相関評価値を算出し、第３の相関評価値を用いて焦点状態を検出する。また好ましくは、焦点検出手段１２１ｃは、第１の相関評価値と第２の相関評価値との加算値に基づいて焦点状態を検出する。

より好ましくは、複数の撮像画素のうち第２の相関評価値の算出に用いられる一対の撮像画素は、複数の焦点検出画素のうち一対の焦点検出画素の相対位置関係と同一の相対位置関係である。また好ましくは、複数の焦点検出画素、および、第２の相関評価値の算出に用いられる複数の撮像画素は、互いに同一の分光感度を有する。

［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。

本実施例によれば、焦点検出画素および撮像画素を含む撮像素子を備えた撮像装置において、焦点検出性能の維持と画質劣化防止とを両立させることができる。このため本実施例によれば、焦点検出画素を含む撮像素子を用いて高精度な焦点検出が可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置
１０７ 撮像素子
１２１ａ 第１の評価値算出手段
１２１ｂ 第２の評価値算出手段
１２１ｃ 焦点検出手段

Claims (15)

1. 複数の焦点検出画素および複数の撮像画素を備え、被写体像を光電変換する撮像素子と、
   前記複数の焦点検出画素から得られた第１の画素信号に基づいて相関演算を行い第１の相関評価値を算出する第１の評価値算出手段と、
   前記複数の撮像画素から得られた第２の画素信号に基づいて相関演算を行い第２の相関評価値を算出する第２の評価値算出手段と、
   前記第１の相関評価値および前記第２の相関評価値を用いて焦点状態を検出する焦点検出手段と、を有することを特徴とする撮像装置。
2. 前記焦点検出手段は、
   前記第２の相関評価値を用いて前記第１の相関評価値を修正することにより、第３の相関評価値を算出し、
   前記第３の相関評価値を用いて前記焦点状態を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記焦点検出手段は、前記第１の相関評価値と前記第２の相関評価値との加算値に基づいて前記焦点状態を検出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記第２の評価値算出手段は、前記複数の焦点検出画素のそれぞれの周辺に配置された前記複数の撮像画素から得られた第２の画素信号に基づいて、前記第２の相関評価値を算出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第２の評価値算出手段は、前記複数の焦点検出画素のそれぞれに隣接する前記複数の撮像画素から得られた第２の画素信号に基づいて、前記第２の相関評価値を算出することを特徴とする請求項４に記載の撮像装置。
6. 前記複数の焦点検出画素は、撮影光学系の互いに異なる瞳領域を通過した光束を受光して前記第１の画素信号を出力し、
   前記複数の撮像画素は、前記撮影光学系の同一の瞳領域を通過した光束を受光して前記第２の画素信号を出力することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第１の評価値算出手段は、前記第１の画素信号に基づいて前記第１の相関評価値としての第１の像ズレ量を算出し、
   前記第２の評価値算出手段は、前記第２の画素信号に基づいて前記第２の相関評価値としての第２の像ズレ量を算出することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記複数の撮像画素のうち前記第２の相関評価値の算出に用いられる一対の撮像画素は、前記複数の焦点検出画素のうち一対の焦点検出画素の相対位置関係と同一の相対位置関係であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記複数の焦点検出画素、および、前記第２の相関評価値の算出に用いられる前記複数の撮像画素は、互いに同一の分光感度を有することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 撮影光学系を備えたレンズ装置と、
    請求項１乃至９のいずれか１項に記載の撮像装置と、を有することを特徴とする撮像システム。
11. 複数の焦点検出画素および複数の撮像画素を備えた撮像素子を用いて、被写体像を光電変換するステップと、
    前記複数の焦点検出画素から得られた第１の画素信号に基づいて相関演算を行い第１の相関評価値を算出するステップと、
    前記複数の撮像画素から得られた第２の画素信号に基づいて相関演算を行い第２の相関評価値を算出するステップと、
    前記第１の相関評価値および前記第２の相関評価値を用いて焦点状態を検出するステップと、を有することを特徴とする撮像装置の制御方法。
12. 前記焦点状態を検出するステップは、
    前記第２の相関評価値を用いて前記第１の相関評価値を修正することにより、第３の相関評価値を算出するステップと、
    前記第３の相関評価値を用いて前記焦点状態を検出するステップと、を有することを特徴とする請求項１１に記載の撮像装置の制御方法。
13. 前記焦点状態を検出するステップにおいて、前記第１の相関評価値と前記第２の相関評価値との加算値に基づいて前記焦点状態を検出することを特徴とする請求項１１または１２に記載の撮像装置の制御方法。
14. コンピュータに、請求項１１乃至１３のいずれか１項に記載の撮像装置の制御方法を実行させるように構成されていることを特徴とするプログラム。
15. 請求項１４に記載のプログラムを記憶していることを特徴とする記憶媒体。