JP2019197140A - 撮像装置及びその制御方法並びにプログラム - Google Patents

Abstract

【課題】撮像条件によらずに測距精度を維持して撮影を行うことを可能とする。【解決手段】撮像装置１は、主光学鏡筒１０１と撮像画素及び焦点検出画素からなる主撮像素子１０２とを有する主撮像光学系１０と、副光学鏡筒２０１，２０２及び副撮像素子２０３を有する副撮像光学系２０と、焦点検出画素から出力される画像信号に基づき位相差信号を検出する主位相差処理部１２と、副撮像素子２０３からの出力信号に基づき位相差信号を検出する副位相差処理部２０５と、制御部１４を備える。制御部１４は、主光学鏡筒１０１の絞り設定値が所定の閾以上の場合には副撮像光学系２０を用いて測距を行い、主光学鏡筒１０１の絞り設定値が所定の閾より小さい場合には主撮像光学系１０を用いて測距を行う。【選択図】図２

Description

本発明は、撮像装置及びその制御方法並びにプログラムに関し、特に、撮像面位相差検出方式による焦点検出を行う撮像装置に関する。

記録用又は表示用の画像を取得すると共に撮像面位相差検出方式による焦点検出を行う撮像素子を備える撮像装置が知られている。例えば、特許文献１に記載された撮像装置は、同一の射出瞳を見る２つの撮像素子を有し、これら２つの撮像素子は互いに基線長の異なる焦点検出用の画素部を複数備えている。そして、特許文献１には、一方の撮像素子での焦点検出処理を行っている際に光学絞り（Ｆ値）が所定値以上となった場合に、他方の撮像素子で焦点検出を行うように切り替えることにより、光束のケラレによる焦点検出能力低下を抑えることが記載されている。

特開２０１６−２２４２０８号公報

しかしながら、上記特許文献１に記載された技術では、撮影と焦点検出に用いる光学射出瞳を同一とするため、撮影と焦点検出のそれぞれに適するＦ値の設定が異なると、測距精度が低下してしまうことがある。

本発明は、撮像条件によらずに測距精度を維持して撮影を行うことを可能とする撮像装置を提供することを目的とする。

本発明に係る撮像装置は、第１の光学系と、前記第１の光学系の射出瞳を通過した光束が結像する第１の撮像画素および前記第１の光学系の異なる瞳領域を通過した光束が結像する第２の撮像画素を有する主撮像素子と、を有する主光学ユニットと、第２の光学系と、第３の光学系と、副撮像素子とを有し、前記第２の光学系を通過した光束と前記第３の光学系を通過した光束がそれぞれ前記副撮像素子の異なる領域に結像する副光学ユニットと、前記主撮像素子または前記副撮像素子からの出力信号を用いて位相差信号を生成する生成手段と、前記主光学ユニットと前記副光学ユニットを制御し、前記主光学ユニットの制御状態に応じて前記主撮像素子からの出力信号と前記副撮像素子からの出力信号のいずれか一方を選択して被写体に対する測距を行う制御手段と、を備えることを特徴とする。

本発明によれば、撮像条件によらずに測距精度を維持して撮影を行うことができる。

本発明の実施形態に係る撮像装置の外観斜視図である。 撮像装置のブロック図である。 撮像装置の副撮像光学系の撮像領域を説明する図である。 撮像装置の主撮像素子での撮像画素の構造を説明する図である。 撮像装置の主撮像素子での焦点検出画素の構造を説明する図である。 撮像装置の主撮像素子の画素配列を説明する図である。 撮像装置の主撮像素子への入射光束を説明する模式図である。 撮像装置の副撮像光学系による測距原理を説明する図である。 撮像装置の撮像動作を説明するフローチャートである。 第１実施形態でのＳ５０４の処理を説明するフローチャートである。 第２実施形態でのＳ５０４の処理を説明するフローチャートである。 第３実施形態での主撮像素子の画素構成を説明する図である。 第３実施形態での主撮像素子における受光状態を説明する図である。 第３実施形態での主撮像素子の画素回路構成を説明する図である。 第３実施形態での主撮像素子の駆動方法を説明する図である。 第３実施形態に係る撮像装置での焦点検出動作のフローチャートである。 第３実施形態で主撮像素子の出力に閾値を設ける理由を説明する図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜第１実施形態＞
第１実施形態では、主撮像素子を用いた撮像面位相差方式による測距実行時に光学絞りに起因する光束のケラレが発生した場合に、複数の画像領域を持つ副撮像素子を用いて測距を行う撮像装置について説明する。

図１（ａ）は、第１実施形態に係る撮像装置１の外観斜視図である。撮像装置１は、具体的には、動画撮影機能を有する電子スチルカメラや静止画撮影機能を有するビデオカメラである。撮像装置１は、撮影レンズを含む主撮像光学系１０（主光学ユニット）と、２つの撮影レンズを含む副撮像光学系２０（副光学ユニット）と、を筐体の正面に有している。主撮像光学系１０は、主に記録用の静止画や動画の撮像に使用される。副撮像光学系２０は、主撮像光学系１０による撮影を補助するための外測用ＡＦ（Auto Focus）や外測用ＡＥ（Auto Exposure）に使用される。

図１（ｂ）は、第１実施形態に係る撮像装置２を搭載した自動車の外観斜視図である。撮像装置２は、所謂、車載カメラであり、主撮像光学系１０Ａと、副撮像光学系２０Ａと、を車体前面に有している。主撮像光学系１０Ａは、測距や対象物検知用画像の取得に使用される。副撮像光学系２０Ａは、外測用ＡＦや外測用ＡＥに使用される。

撮像装置１の主撮像光学系１０と撮像装置２の主撮像光学系１０Ａの用途及び機能は同等であり、また、撮像装置１の副撮像光学系２０と撮像装置２の副撮像光学系２０Ａの用途及び機能は同等であるため、以下、撮像装置１を例にして説明を続ける。

図２は、撮像装置１のブロック図である。撮像装置１は、主撮像光学系１０、主撮像信号処理部１１、主位相差処理部１２、圧縮伸張部１３、制御部１４、発光部１５、操作部１６、画像表示部１７及び画像記憶部１８を備える。また、撮像装置１は、副撮像光学系２０、副撮像信号処理部２０４及び副位相差処理部２０５を備える。図２中、破線の矢印は被写体からの反射光（入射光）を、一点鎖線の矢印は制御信号や演算処理後の演算値を、実線の矢印は画像信号の流れをそれぞれ表している。

主撮像光学系１０は、第１の光学系としての主光学鏡筒１０１と、主撮像素子１０２を有する。主光学鏡筒１０１は、被写体からの光を主撮像素子１０２に集光するためのレンズと、焦点調節を行うフォーカス機構部１０１１と、光学結像の倍率を可変させるズーム機構部１０１２とを有する。また、主光学鏡筒１０１は、主撮像素子１０２に入射する光量を調整する絞り機構部１０１３と、シャッタ機構部１０１４とを有する。フォーカス機構部１０１１、ズーム機構部１０１２、絞り機構部１０１３及びシャッタ機構部１０１４は、制御部１４からの制御信号に従って駆動される。

主撮像素子１０２は、後述する撮像画素（第１の撮像画素）、焦点検出画素（第２の撮像画素（位相差検出用の画素））からなる画素部、不図示のＡＤコンバータにより構成されるＸＹ読み出し方式のＣＭＯＳ型イメージセンサ等を含む。主撮像素子１０２は、制御部１４からの制御信号に従って露出、信号読み出し、リセット等の撮像動作を実行して画像信号を出力する。

副撮像光学系２０は、光軸が略平行となるように所定の間隔で配置された第２の光学系としての副光学鏡筒２０１及び第３の光学系としての副光学鏡筒２０２と、副撮像素子２０３とを有する。副光学鏡筒２０１，２０２はそれぞれ、主光学鏡筒１０１と同様に、不図示のフォーカス機構部、ズーム機構部及び絞り機構部を内蔵している。副撮像光学系２０は主に外測用ＡＦや外測用ＡＥ処理に用いられるため、副撮像光学系２０で得られる光学像から主撮像光学系１０の撮像状態が把握できればよい。よって、副光学鏡筒２０１，２０２のフォーカス距離、ズーム設定による画角、絞り設定等は、ＡＦやＡＥ処理に適した条件にすればよく、必ずしも主光学鏡筒１０１で設定されている撮影条件と同じにする必要はない。

副光学鏡筒２０１，２０２で集光された被写体からの光はそれぞれ、副撮像素子２０３の面内に離間して照射される。副撮像素子２０３には、主撮像素子１０２と同様に、ＸＹ読み出し方式のＣＭＯＳ型イメージセンサ等が用いられる。副撮像素子２０３は、制御部１４からの制御信号に従って露出、信号読み出し、リセット等の撮像動作を実行して画像信号を出力する。副撮像素子２０３は、主撮像素子１０２とは異なり、焦点検出画素を備えていない。副撮像素子２０３は通常の撮像画素で副光学鏡筒２０１，２０２による各被写体像を撮像し、得られた撮像信号を用いて後述するように視差検出が行われる。

ここで、図３を参照して、副撮像素子２０３に照射される光の撮像領域について説明する。図３（ａ）は、副撮像光学系２０を断面的に示す模式図である。図３（ａ）に示すように、被写体からの光は副光学鏡筒２０１，２０２でそれぞれ集光され、副撮像素子２０３の撮像面に互いに離間して照射される。図３（ｂ）は、副撮像素子２０３の撮像面に照射される光（無限遠被写体像）の撮像領域を説明する平面図である。副光学鏡筒２０１，２０２から照射される被写体像は、副撮像素子２０３の像面に対して副光学鏡筒２０１の像に対応するイメージサークル３０１、副光学鏡筒２０２の像に対応するイメージサークル３０２の領域に被写体像を映し出す。副光学鏡筒２０１により集光された光が第１の撮像領域としてのイメージサークル３０１に結像することにより、イメージサークル３０１内に被写体像が映し出される。同様に、副光学鏡筒２０２により集光された光が第２の撮像領域としてのイメージサークル３０２に結像することにより、イメージサークル３０２内に被写体像が映し出される。このように、１つの撮像素子に２つの光学系によるイメージサークルを別々に映し出すことによって、１つの撮像素子の出力信号から被写体の視差信号を得ることができる。

なお、詳細は後述するが、副位相差処理部２０５は、イメージサークル３０１，３０２内の画像領域３０３，３０４の画像データを用いて視差信号を検出する。副撮像素子２０３から得られる画像データを用いた視差検出方法の詳細については後述する。また、第１実施形態では、２つの光学系に対して１つの副撮像素子を備える構成としているが、２つの光学系のそれぞれに撮像素子を配置し、各撮像素子からの出力（撮像画像）を用いて視差信号を得てもよい。また、撮像装置１を、主位相差処理部１２と副位相差処理部２０５を個別に備える構成（図２）としているが、共通の位相差処理部として備える構成としてもよい。

図２を参照した撮像装置１のブロック構成の説明に戻る。主撮像信号処理部１１は、制御部１４の制御下で、主撮像素子１０２から取得した撮像信号の色補正処理、ＡＥ処理、ホワイトバランス処理、光学シェーディング処理等を行い、生成された画像信号と制御信号を制御部１４へ出力する。制御部１４は、制御部１４内のＲＡＭに主撮像信号処理部１１から取得した画像信号と制御信号を一時的に記憶する。

主位相差処理部１２は、主撮像素子１０２から異なる瞳面の撮像面位相差画像を取得し、取得した撮像面位相差画像の画像信号から公知の位相差検出処理を行うことにより、位相差信号を生成する。圧縮伸張部１３は、制御部１４の制御下で、主撮像信号処理部１１から制御部１４内のＲＡＭに記憶された画像信号を取り出し、ＪＰＥＧ方式等の所定の静止画像データフォーマットで圧縮符号化処理を行う。また、圧縮伸張部１３は、制御部１４から供給された静止画像の符号化データの伸張復号化処理を行う。なお、圧縮伸張部１３は、ＭＰＥＧ方式等により動画像の圧縮符号化／伸張復号化処理を行うことができるようになっていてもよい。

制御部１４は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されるマイクロコントローラであり、ＲＯＭ等に格納されたプログラムをＲＡＭに展開（実行）することにより、撮像装置１の各部を統括的に制御する。発光部１５は、キセノン管を用いたストロボ装置やＬＥＤ発光装置等であり、主撮像信号処理部１１でのＡＥ処理によって被写体の露出値が低いと判断された場合に被写体に対して光を照射する。操作部１６は、例えば、シャッタレリーズボタン等の各種操作キーやレバー、ダイヤル等などから構成され、ユーザによる入力操作に応じた制御信号を制御部１４へ出力する。

画像表示部１７は、ＬＣＤ等の表示デバイスや、これに対するインタフェース回路等で構成され、表示デバイスに表示させるための画像信号を制御部１４から供給された画像信号に基づいて生成し、生成した画像信号を表示デバイスに供給する。これにより、表示デバイスに画像が表示される。画像記憶部１８は、例えば、可搬型の半導体メモリ、光ディスク、ＨＤＤ、磁気テープ等で構成され、圧縮伸張部１３により符号化された画像データを制御部１４から受け取って記憶する。また、画像記憶部１８は、制御部１４からの制御信号に従って指定されたデータを読み出し、制御部１４へ出力する。

副撮像信号処理部２０４は、副撮像素子２０３から画像信号を取得して主撮像信号処理部１１と同様の処理を行うことにより、副撮像素子２０３の撮像制御に必要なＡＥ情報等を生成する。副位相差処理部２０５は、副撮像素子２０３で撮像された画像領域３０３，３０４の画像信号を用いて公知の位相差処理を行うことにより、副光学鏡筒２０１，２０２を通じて得られる撮像画像の視差を求める。視差検出方法の詳細については後述する。

図４（ａ）は、主撮像素子１０２の撮像画素（撮影画像（写真）を得るための画素）を説明する平面図である。図４（ｂ）は、図４（ａ）に示す矢視Ａ−Ａでの断面図であり、撮像画素の近傍の構成を示している。主撮像素子１０２は、２×２の４画素のうち、対角に位置する２つの画素に緑（Ｇ）の分光感度を有する画素が配置され、他の２画素に赤（Ｒ）と青（Ｂ）の分光感度を有する画素を配置したベイヤー配列を有し、２行×２列の構造が繰り返し配置される。主撮像素子１０２では、ベイヤー配列の間に、後述する焦点検出画素が所定の規則に従って分散配置される。副撮像素子２０３での画素配列は、主撮像素子１０２の画素配列と同じである。但し、副撮像素子２０３は、焦点検出画素を備えていない。

各撮像画素は、概略、前面側から背面側へ向かって、オンチップマイクロレンズＭＬ、カラーフィルタＣＦ、信号を伝達する信号線を形成するための配線層ＣＬ、光電変換部であるフォトダイオードＰＤが配置された構造を有する。ここでは、カラーフィルタＣＦとして、赤（Ｒ）のカラーフィルタＣＦ_Ｒと緑（Ｇ）のカラーフィルタＣＦ_Ｇを示している。図４（ｂ）では、主撮像光学系１０に対応する撮像光学系ＴＬが撮像画素の前面に模式的に示されている。

撮像画素のオンチップマイクロレンズＭＬとフォトダイオードＰＤは、撮像光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。つまり、撮像光学系ＴＬの射出瞳ＥＰとフォトダイオードＰＤはオンチップマイクロレンズＭＬにより共役関係にあり、且つ、フォトダイオードＰＤの有効面積は大面積に設計される。なお、図４（ｂ）には画素ＣＦ_Ｒの入射光束を示しているが、緑（Ｇ）と青（Ｂ）のそれぞれの画素ＣＦ_Ｇ，ＣＦ_Ｂも同一構造となっている。こうして、ＲＧＢのそれぞれの画素ＣＦ_Ｒ，ＣＦ_Ｇ，ＣＦ_Ｂに対応した射出瞳ＥＰの径を大きくして被写体からの光束を効率よく取り込むことが可能な構成とすることで、画像信号のＳ／Ｎを向上させている。

図５（ａ）は、主撮像素子１０２での焦点検出画素の配置を説明する平面図である。図５（ｂ）は、図５（ａ）に示す矢視Ｂ−Ｂでの断面図であり、焦点検出画素の近傍の構成を示している。なお、図５では、ベイヤー配列において赤（Ｒ）と青（Ｂ）の撮像画素が配置される位置に焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢが配置された部分を例示している。オンチップマイクロレンズＭＬとカラーフィルタＣＦの構成は、図４（ｂ）に示した撮像画素での構成と同じである。但し、焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢは、それぞれ、白色（Ｗ）のカラーフィルタＣＦ_Ｗを有する。

撮像素子で撮影レンズの水平方向（横方向）に瞳分割を行うために、配線層ＣＬの開口部はオンチップマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、焦点検出画素Ｓ_ＨＡの開口部ＯＰＨＡは右側に偏倚しており、撮像光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、焦点検出画素Ｓ_ＨＢの開口部ＯＰＨＢは左側に偏倚しているため、撮像光学系の右側の射出瞳ＥＰＨＢを通過した光束を受光する。ここで、焦点検出画素Ｓ_ＨＡを水平方向に規則的に配列した画素群により取得される被写体像をＡ像とし、焦点検出画素Ｓ_ＨＢを水平方向に規則的に配列した画素群により取得される被写体像をＢとする。すると、Ａ像とＢ像の相対位置を検出することにより、被写体像のピントずれ量（デフォーカス量）を検出することができる。なお、垂直方向（縦方向）のピントずれ量を検出したい場合、焦点検出画素Ｓ_ＨＡの開口部ＯＰＨＡを上側に、焦点検出画素Ｓ_ＨＢの開口部ＯＰＨＢを下側に偏倚させると共に開口部ＯＰＨＡ，ＯＰＨＢの開口形状を９０度回転させればよい。

図６は、主撮像素子１０２の画素配列を示す平面図であり、主撮像光学系１０側から見たＣＭＯＳ撮像素子センサの縦（Ｙ方向）８行と横（Ｘ方向）８列の範囲を示している。カラーフィルタにはベイヤー配列が適用されており、偶数行の画素には左から順に緑（Ｇ）と青（Ｂ）のカラーフィルタが交互に配置され、奇偶数行の画素には左から順に赤（Ｒ）と緑（Ｇ）のカラーフィルタが交互に配置されている。

焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢは、赤（Ｒ）又は青（Ｂ）のカラーフィルタが配置される位置にある撮像画素を置換する形で配置され、第１実施形態では所定の行間隔で配置されている。ここでは、焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢのフォトダイオードＰＤは、撮像画素のフォトダイオードＰＤと比較すると、面積とＸ方向位置とで相違している（図５（ｂ）参照）。なお、焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢの配置密度や行間隔は、図６に示した画素配列に限定されるものではない。焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢが配置された行からは、焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢに対して周辺の撮像画素を用いて補間補正を行う等して、撮像信号を得ることができる。

次に、像ずれ量からデフォーカス量を算出するためのデフォーカス変換係数の求め方と光束のケラレによる基線長変化について説明する。図７（ａ）は、主撮像素子１０２の中央近傍の画素に対する入射光束が射出瞳面７０１の位置にある結像光学系の絞りによって限定されている様子を示す模式図である。主撮像素子１０２には、主光学鏡筒１０１内の撮影レンズのレンズ保持枠７４０や絞り機構部１０１３内の光学絞り７４１等の幾つかの構成部材によって制限された光束が入射する。図７（ａ）において、主撮像素子１０２の位置７０３，７０４は、デフォーカス量７２９を模式的に示すための主撮像素子１０２の位置を示しており、位置７０３は予定結像面位置を示している。破線７０５は光軸を、点７０６は主撮像素子１０２上での光軸位置を示している。光束７０７，７０８は、光学絞り７４１によって限定された光束の一例を示しており、光束７０９，７２０は光学絞り７４１による限定を受けてない光束を示している。光束７２３，７２４は、光束７０９，７２０の位相検出用光束を示しており、光束７２１，７２２は、光束７０７，７０８の位相検出用光束を示している。点７２７，７２８は、光束７２３，７２４の重心位置を示しており、点７２５，７２６は、光束７２１，７２２の重心位置を示している。

図７（ｂ）は、主撮像素子１０２の中央部にある焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢの射出瞳面７０１での光束のケラレによる重心位置の変化を説明する図である。瞳領域７３３は、主撮像素子１０２の中央の画素に対する限定された光束７０７，７０８の瞳領域を示している。また、瞳領域７３４は、主撮像素子１０２の中央の画素に対する限定されていない光束７０９，７２０の瞳領域を示している。像７３５は焦点検出画素Ｓ_ＨＡ（図５参照）の像の入射角特性を、像７３６は焦点検出画素Ｓ_ＨＢ（図５参照）の像の入射角特性を示している。

焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢにはそれぞれ、瞳領域７３３，７３４で示した形状の内側を透過した光束が像７３５，７３６で図示した感度分布で入射する。なお、感度分布は濃淡で示されており、中心側で強く（濃）、外周側で弱く（淡）なっている。瞳領域７３３，７３４を示している円内を透過したそれぞれの位相検出用光束の分布重心を求めることにより、位相検出用光束が限定されている場合と限定されていない場合の重心間隔を求めることができる。そして、焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢの感度分布情報と結像光学系の口径情報を予め測定や計算により求めて記憶しておくことで、像ずれ量からデフォーカス量を算出するためのデフォーカス変換係数を求めることができる。

図７（ａ）に示すデフォーカス量７２９を“ＤＥＦ”、主撮像素子１０２の位置７０３（予定結像面位置）から射出瞳面７０１までの距離７３０を“Ｌ”とする。位相差検出用光束が限定されている場合の重心間隔（基線長（点７２５，７２６間距離））を“Ｇ１”、位相差検出用光束が限定されていない場合の重心間隔（基線長（点７２７，７２８間距離））を“Ｇ２”とする。像ずれ量７３１を“ＰＲＥＤ１”とし、像ずれ量７３１をデフォーカス量に変換するデフォーカス変換係数を“Ｋ１”とする。また、像ずれ量７３２を“ＰＲＥＤ２”とし、像ずれ量７３２をデフォーカス量に変換するデフォーカス変換係数を“Ｋ２”とする。

この場合、デフォーカス量は、“ＤＥＦ＝Ｋ１×ＰＲＥＤ１＝Ｋ２×ＰＲＥＤ２”、によって求められる。また、デフォーカス変換係数Ｋ１，Ｋ２はそれぞれ、“Ｋ１＝Ｌ／Ｇ１”、“Ｋ２＝Ｌ／Ｇ２”、によって求められる。Ｇ１＜Ｇ２であることからＫ１＞Ｋ２となり、このことは、一般に、焦点検出に用いる光束が限定されているほどデフォーカス変換係数の値が大きくなることを意味している。

焦点検出位置が光軸近傍にない場合、射出瞳面７０１以外の位置にある絞りの射出瞳により、焦点検出用光束のケラレが発生する。また、結像光学系の絞り以外のレンズ保持枠に対応した射出瞳により、絞りの射出瞳よりＦ値が明るい場合であっても、焦点検出用光束のケラレは発生する。

なお、ここではレンズ保持枠と絞りで光束が制限される様子を説明した。これに限られず、主撮像素子１０２からズーム機構部１０１２やフォーカス機構部１０１１の各レンズ群による光学像が作る瞳までの距離（射出瞳距離）の変化によっても、光束が制限される位置は変化する。光束が制限される位置の変化によって基線長が変わり、デフォーカス変換係数は光束が制限される条件に応じて変化する。つまり、像ずれ量に対するデフォーカス量の敏感度は、光束が制限されることによって変わる。焦点検出時の撮影レンズの絞り設定値が大きくなると、デフォーカス変換係数の値が大きくなって像ずれ量に対するデフォーカス量の敏感度が高くなるため、主光学鏡筒１０１における各機構部の設定条件によっては主撮像素子１０２による焦点検出ができなくなる。

撮像装置１では、主撮像素子１０２からの出力信号を用いた焦点検出では精度が低くなってしまう場合又は焦点検出ができない場合に、副撮像素子２０３による焦点検出を行う。そこで、次に、副撮像光学系２０での焦点検出方法について説明する。図８は、副撮像光学系２０を用いた三角測量の原理を説明する図である。図８（ａ）は、副撮像光学系２０と被写体Ｓとの位置関係を幾何学的に示す図である。図８（ｂ）は、画像領域３０３，３０４上の被写体像の位置から視差Δを求める方法を説明する模式図である。

副撮像光学系２０の画角内に被写体Ｓが存在する場合、被写体Ｓの光学像（被写体像）は、副光学鏡筒２０１を介して副撮像素子２０３の画像領域３０３に結像すると共に副光学鏡筒２０２を介して副撮像素子２０３の画像領域３０４に結像する。画像領域３０３に結像する被写体像の任意の点をｓａ、画像領域３０４に結像する被写体像において点ｓａと対応する点をｓｂとすると、点ｓａを画像領域３０３に写像したときの画素位置と画像領域３０４における点ｓｂの画素位置とは視差Δだけ離れている。

副光学鏡筒２０１，２０２の焦点距離を“ｆ”、副撮像光学系２０（副光学鏡筒２０１，２０２の主点）から被写体Ｓまでの距離を“Ｌ”、副光学鏡筒２０１，２０２の光軸間距離を“Ｄ”とする。“Ｌ”が“ｆ”よりも十分に大きな値であるとすると、Ｌ＝Ｄ×ｆ／Δ・・・（式１）、の関係が成り立つ。画像領域３０３，３０４から得られた画像から副位相差処理部２０５にて公知の位相差処理を行うことにより、視差Δを求めることができる。そして、“Ｄ”と“ｆ”は既知であるから、求められた視差Δ、“Ｄ”及び“ｆ”を上記の式１に当て嵌めることにより、距離Ｌを算出する、つまり、測距を行うことができる。

副撮像光学系２０での測距は、副光学鏡筒２０１，２０２の機械的な構成によって基線長が規定されるために基線長は不変となるため、光学条件が変わることによる測距精度の信頼性の低下は起こり難い。また、副光学鏡筒２０１，２０２における絞り設定等の光学的な条件設定は、測距に適した条件とすることができる。

次に、撮像装置１での撮像動作について説明する。図９は、撮像装置１での撮像動作を説明するフローチャートである。図９のフローチャートにＳ番号で示す各処理（ステップ）は、制御部１４が所定のプログラムを実行して、撮像装置１を構成する各部の動作を統括的に制御することによって実現される。

ユーザによる操作部１６の操作や制御部１４の制御命令により撮像動作が開始される。Ｓ５０１では制御部１４は、主撮像光学系１０の動作を開始させる。これにより、主光学鏡筒１０１は初期動作状態とされて、主撮像素子１０２による撮像取得動作が開始される。Ｓ５０２では制御部１４は、操作部１６からの指示、Ｓ５０１で得られた画像信号、主撮像信号処理部１１でのＡＥ演算結果等に基づいて、主撮像光学系１０の撮影条件を決定する。制御部１４は、撮影条件を決定すると、主光学鏡筒１０１内のズーム機構部１０１２や絞り機構部１０１３の駆動制御を行い、また、主撮像素子１０２に対して露出時間や信号増幅による感度調整等の露出制御を行う。

Ｓ５０３では制御部１４は、操作部１６からの指示に基づいて、撮影（画像記憶）を行うか否かを判定する。制御部１４は、撮影を行うと判定した場合（Ｓ５０３でＹＥＳ）、処理をＳ５０４へ進め、撮影を行わないと判定した場合（Ｓ５０３でＮＯ）、処理をＳ５０６へ進める。Ｓ５０４では制御部１４は、被写体に対する焦点検出動作を行う。Ｓ５０４では、主撮像光学系１０による焦点調整動作又は副撮像光学系２０での測距動作による焦点検出動作を行うが、その詳細については、図１０のフローチャートを参照して後述する。なお、第１実施形態では、撮影（画像記憶）を行う際に焦点検出動作を行うとしているが、焦点検出動作は常時行うようにしてもよい。

Ｓ５０５では制御部１４は、Ｓ５０４で取得した焦点検出結果に基づいて、主撮像光学系１０により撮影を行い、所定の画像処理を経て生成された画像データを画像記憶部１８に記憶する。Ｓ５０６では制御部１４は、操作部１６を通じて撮影終了の指示を受け付けたか否かを判定する。制御部１４は、撮影終了の指示を受け付けていないと判定した場合（Ｓ５０６でＮＯ）、処理をＳ５０２へ戻し、撮影終了の指示を受け付けたと判定した場合（Ｓ５０６でＹＥＳ）、撮像装置１を待機状態として、操作部１６を通じたユーザからの指示を待つ。

図１０は、Ｓ５０４での焦点検出動作のフローチャートである。焦点検出動作を開始すると、Ｓ６０１では制御部１４は、主撮像素子１０２を駆動させて画像信号を取得する。この画像信号には、撮像画素から出力される信号と焦点検出画素から出力される信号の両方を含む。Ｓ６０２では制御部１４は、主光学鏡筒１０１内の絞り機構部１０１３の絞り設定値Ｆを取得する。Ｓ６０３では制御部１４は、Ｓ６０２で取得した絞り設定値Ｆが予め定められた所定の絞り閾値Ｆｔｈ以上か否かを判定する。これは、図７を参照して説明したように、絞り径を小さく（つまり、Ｆ値を大きく）すると光束のケラレが発生し、主撮像素子１０２での焦点検出画素における基線長が短くなることでデフォーカス量の敏感度が高くなるからである。そこで、絞り設定値Ｆが主撮像素子１０２が有する焦点検出画素によるデフォーカス量の信頼度を保つことができなくなる下限値としての絞り閾値Ｆｔｈ以上か否かを判定する。制御部１４は、絞り設定値Ｆが絞り閾値Ｆｔｈより小さいと判定した場合（Ｓ６０３でＮＯ）、処理をＳ６０４へ進め、絞り設定値Ｆが絞り閾値Ｆｔｈ以上であると判定した場合（Ｓ６０３でＹＥＳ）、処理をＳ６０５へ進める。

Ｓ６０４では制御部１４は、主位相差処理部１２を動作させて、Ｓ６０１で取得した画像信号のうち焦点検出画素から出力された信号を用いて公知の位相差処理を行い、視差信号を得る。制御部１４は、Ｓ６０４の後、処理をＳ６１０へ進める。

一方、Ｓ６０５では制御部１４は、主撮像光学系１０を通じた焦点検出は困難と判定し、副撮像光学系２０を用いた焦点検出を行うために副撮像光学系２０が動作中か否かを判定する。なお、撮像装置１では、電力消費を抑えるために副撮像光学系２０を使用する必要がないときには副撮像光学系２０を停止状態（スリープ状態）としている。副撮像光学系２０を使用する必要がないときとは、主撮像光学系１０での測距に支障が生じない条件に主撮像光学系１０の状態が設定されているときである。そのため、Ｓ６０５の判定が必要となる。但し、撮像装置１は、副撮像光学系２０を現実には使用していなくとも定常的に動作状態に維持される構成となっていてもよく、この場合にはＳ６０５の判定は不要となるため、Ｓ６０３の判定がＮＯとなった後にはＳ６０７へ処理が進められることになる。副撮像光学系２０を常に動作状態とするか否かは、デフォルト設定又はユーザ設定に従う。制御部１４は、副撮像光学系２０が動作中であると判定した場合（Ｓ６０５でＹＥＳ）、処理をＳ６０７へ進め、副撮像光学系２０が動作中ではないと判定した場合（Ｓ６０５でＮＯ）、処理をＳ６０６へ進める。

Ｓ６０６では制御部１４は、副撮像光学系２０の駆動を開始し、その後、処理をＳ６０７へ進める。Ｓ６０７では制御部１４は、副撮像素子２０３から得られた画像信号に基づいて副撮像光学系２０での撮像条件を設定する。続くＳ６０８では制御部１４は、副撮像素子２０３による撮像を行って、図８を参照して説明した画像領域３０３，３０４の画像を取得する。Ｓ６０９では制御部１４は、副位相差処理部２０５を動作させて、Ｓ６０８で取得した画像領域３０３，３０４の画像を用いて公知の位相差処理を行い、視差信号を得る。制御部１４は、Ｓ６０９の後、処理をＳ６１０へ進める。

Ｓ６１０では制御部１４は、Ｓ６０４又はＳ６０９での処理によって得られた視差信号に基づいてデフォーカス量を算出し、主撮像光学系１０において合焦状態かを判定する。制御部１４は、合焦と判定した場合（Ｓ６１０でＹＥＳ）、処理をＳ６１１へ進め、合焦ではないと判定した場合（Ｓ６１０でＮＯ）、処理をＳ６１２へ進める。Ｓ６１１では制御部１４は、副撮像光学系２０が駆動中の場合に駆動を停止して（スリープ状態として）、本処理を終了させる。これにより、処理はＳ５０５へ進められることになる。一方、Ｓ６１２では制御部１４は、主光学鏡筒１０１内のフォーカス機構部１０１１を駆動し、再度、焦点検出動作を行うために処理をＳ６０１へ戻す。

以上の説明の通り、第１実施形態では、主撮像素子１０２での撮像面位相差方式による測距性能が主光学鏡筒１０１の制御状態に起因して低下した場合に、副撮像光学系２０の複数の光学系による測距動作を用いた焦点検出動作へと切り替える。これにより、撮影画像を得るために最適な撮影条件を主撮像光学系１０に適用しながら、適切な焦点検出を行うことが可能な撮像装置を実現することができる。

なお、上記説明では、主光学鏡筒１０１の制御状態に起因して主撮像素子１０２から出力される画像信号を用いた測距での性能が低下する例として、主光学鏡筒１０１内の絞り機構部１０１３の設定条件に応じて光束のケラレが発生する場合を取り上げた。これに限らず、ズーム機構部１０１２によるズーム位置可変やフォーカス機構部１０１１によるフォーカスレンズ移動に伴う射出瞳距離の変化に応じて、測距を行う光学系を切り換えてもよい。その場合、射出瞳距離が所定の閾値より小さい場合に主撮像光学系１０を用いた測距を行い、射出瞳距離が所定の閾値以上の場合に副撮像光学系２０を用いた測距を行うようにすればよい。

＜第２実施形態＞
第２実施形態では、主撮像素子１０２からの出力信号のノイズ状態に応じて、主撮像光学系１０を用いた測距動作と副撮像光学系２０を用いた測距動作とを切り替える撮像装置について説明する。なお、第２実施形態に係る撮像装置と第１実施形態で説明した撮像装置１とでは、制御部１４が実行する制御の内容のみが異なっており、その他の構成は同じである。よって、以下、第２実施形態での特徴的な事項についてのみ説明を行う。

図５を参照して説明したように、主撮像素子１０２が備える焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢはそれぞれ、配線層ＣＬに形成された開口面積の小さい開口部ＯＰＨＡ，ＯＰＨＢを通じて射出瞳ＥＰＨＡ，ＥＰＨＢからの光束を受光する。焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢは撮像画素よりも開口率が小さいために撮像画素よりも受光感度が低く、よって、焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢから出力される画像信号では信号ノイズ比（ＳＮＲ）の値が小さくなる。つまり、ノイズが多くなって、画像信号の質が低下する。特に低照度環境下では主撮像素子１０２では信号増幅動作によりＳＮＲを上げるが、このとき、受光感度の低い焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢから出力される画像信号ではノイズも増幅されてしまう。その結果、信号ばらつきが大きくなってしまうことで、測距精度の信頼性が低下してしまう。

この問題に対処するため、第２実施形態では、主撮像素子１０２のＳＮＲに応じて副撮像光学系２０を駆動させて測距を行う。これは、副撮像光学系２０の基線長は副光学鏡筒２０１，２０２の機械的構成によって規定されるため、副撮像光学系２０による焦点検出の方が主撮像光学系１０による焦点検出よりも画像信号に重畳するノイズの影響が小さいからである。

図１１は、第２実施形態に係る焦点検出動作のフローチャートである。図１１のフローチャートに示す一連の処理は、図９のフローチャートのＳ５０４で実行可能な処理であり、図１０のフローチャートに示す一連の処理に代えて実行される処理である。なお、図１１のフローチャートにある各種の処理のうち、図１０のフローチャートにある処理と同じものについては、その旨を記して重複する説明を省略する。

Ｓ７０１の処理は、Ｓ６０１の処理と同じであるため、説明を省略する。Ｓ７０２では制御部１４は、主撮像素子１０２のＳＮＲを取得する。具体的には、撮像信号の黒レベルを検出するために主撮像素子１０２に設けられている不図示の遮光画素ＯＰＢの出力標準偏差をＳ７０１で得られた画像信号から求めることで、主撮像素子１０２のＳＮＲを求める。

Ｓ７０３では制御部１４は、Ｓ７０２で取得した主撮像素子１０２のＳＮＲが所定のＳＮＲ閾値ＳＮＲｔｈ以上であるか否かを判定する。具体的には、主撮像素子１０２のＳＮＲが、主撮像素子１０２内の焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢによるデフォーカス量の信頼度を確保することができる最小値であるＳＮＲ閾値ＳＮＲｔｈ以上かを判定する。制御部１４は、主撮像素子１０２のＳＮＲがＳＮＲ閾値ＳＮＲｔｈ以上であると判定した場合（Ｓ７０３でＹＥＳ）、処理をＳ７０４へ進め、主撮像素子１０２の焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢによる焦点検出処理を行う。一方、制御部１４は、主撮像素子１０２のＳＮＲがＳＮＲ閾値ＳＮＲｔｈより小さいと判定した場合（Ｓ７０３でＮＯ）、処理をＳ７０５へ進め、副撮像光学系２０を用いた測距動作を行う。Ｓ７０４〜Ｓ７１２の処理は、Ｓ６０４〜Ｓ６１２の処理と同じであるため、説明を省略する。

このように第２実施形態では、主撮像素子１０２の画像信号のＳＮＲが小さく（ノイズが多く）なって焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢによる焦点検出の信頼性が低下する場合、機械的構成で基線長が規定される副撮像光学系２０を用いて測距、焦点検出を行う。これにより、適切な焦点検出動作を行うことが可能となる。

なお、第２実施形態では、画像信号のＳＮＲ（ノイズの大小）に応じて測距手段を切り替える構成について説明した。しかし、これに限られず、主撮像素子１０２に掛けるゲインの値、主撮像素子１０２の測距範囲内の撮像画素からの出力信号の標準偏差、焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢの各信号振幅比のいずれかに応じて測距手段を切り替えるようにしてもよい。主撮像素子１０２に掛けるゲインの値が所定の閾値より小さい場合には主撮像光学系１０を用いた測距を行い、主撮像素子１０２に掛けるゲインの値が同閾値以上である場合に副撮像光学系２０を用いた測距を行う。主撮像素子１０２の測距範囲内の撮像画素からの出力信号の標準偏差が所定の閾値より小さい場合には主撮像光学系１０を用いた測距を行い、同標準偏差が同閾値以上である場合に副撮像光学系２０を用いた測距を行う。焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢの各信号振幅比が所定の閾値より小さい場合には主撮像光学系１０を用いた測距を行い、同信号振幅比が同閾値以上である場合に副撮像光学系２０を用いた測距を行う。

＜第３実施形態＞
第３実施形態では、主撮像素子の信号飽和状態に応じて主撮像光学系１０を用いた測距動作から副撮像光学系２０用いた測距動作へと切り替える撮像装置について説明する。なお、第３実施形態に係る撮像装置と第１実施形態で説明した撮像装置１とでは、主撮像素子の構造が異なっており、これに応じて制御部１４が実行する制御の内容が異なるが、その他の構成は同じである。よって、以下、第３実施形態に係る特徴的な事項についてのみ説明を行う。

図１２（ａ）は、第３実施形態での主撮像素子１０２Ａにおける画素配列を説明する図である。図１２（ｂ）は、主撮像素子１０２Ａを構成する画素１２０１の構造を説明する図である。第１実施形態での主撮像素子１０２は独立した撮像画素と焦点検出画素とを備える構造となっていたが、第３実施形態での主撮像素子１０２Ａは撮像画素が焦点検出機能を兼ねる構成となる。

画素１２０１は、光学系の瞳の一部を受光する光電変換部１２０１Ｌ（第１の光電変換部）と、光電変換部１２０１Ｌとは異なる瞳の一部を受光する光電変換部１２０１Ｒ（第２の光電変換部）とを有する。同様に、画素１２０２は光電変換部１２０２Ｌ，１２０２Ｒを有し、画素１２０３は光電変換部１２０３Ｌ，１２０３Ｒを有し、画素１２０４は光電変換部１２０４Ｌ，１２０４Ｒを有する。その他の撮像画素については、説明を省略する。主撮像素子１０２Ａにおける画素配列は、２次元画像を提供するために、画素１２０１をはじめとする複数の撮像画素が２次元アレイ状の配列となっている。

主撮像素子１０２Ａを構成する複数の撮像画素の構造はどれも同じであるので、ここでは、画素１２０１を例にその構造について説明する。画素１２０１は、１つのマイクロレンズ１２１と、マイクロレンズ１２１下に設けられたフォトダイオード１２２，１２３（以下「ＰＤ１２２，１２３」と記す）を有する。また、画素１２０１は、ＰＤ１２２，１２３の各々の信号を読み出すトランジスタである転送スイッチ１２４，１２５と、ＰＤ１２２，１２３の信号のそれぞれを一時的に蓄積するフローティングディフュージョン１２６（以下「ＦＤ１２６」と記す）を有する。このように、画素１２０１は、光学系の異なる瞳領域をＰＤ１２２，１２３で読み出すこと以外の構成は、第１実施形態での主撮像素子１０２での撮像画素と同じである。

図１３は、撮影レンズの射出瞳から出た光束が主撮像素子１０２Ａに入射する様子を示す模式図である。図１３には、図１２（ａ）に示す行１２０５の断面の一部である３つの撮像画素が示されている。１つの撮像画素は、１つのマイクロレンズ１２１とＰＤ１２２，１２３に加えて、カラーフィルタ１３０２を有する。

中央のマイクロレンズ１２１を有する撮像画素に対して、撮影レンズの射出瞳１３０３から出た光束の中心を光軸１３０４とする。射出瞳１３０３から出た光は、光軸１３０４を中心として主撮像素子１０２Ａに結像する。光線１３０７，１３０８は、撮影レンズの射出瞳の一部領域である瞳領域１３０５を通過する光の最外周の光線を表している。また、光線１３０９，１３１０は、撮影レンズの射出瞳の一部領域である瞳領域１３０６を通過する光の最外周の光線を表している。図１３からわかるように、射出瞳１３０３から出る光束のうち、光軸１３０４を境にして、上側の光束はＰＤ１２２に入射し、下側の光束はＰＤ１２３に入射する。つまり、ＰＤ１２２，１２３はそれぞれ、撮影レンズの射出瞳１３０３の別の瞳領域１３０５，１３０６を通過した光を受光している。

図１２（ａ）に示す画素１２０１，１２０２，１２０３，１２０４について、光軸１３０４を挟んで一方の射出瞳から出る光束を受光するＰＤ１２２に対応するＰＤ１２０１Ｌ，１２０２Ｌ，１２０３Ｌ，１２０４Ｌ，・・・から得られる像をＡ像とする。そして、その信号をＡ像信号と称呼する。また、光軸１３０４を挟んで他方の射出瞳から出る光束を受光するＰＤ１２３に対応するＰＤ１２０１Ｒ，１２０２Ｒ，１２０３Ｒ，１２０４Ｒ，・・・から得られる像をＢ像とする。そして、その信号をＢ像信号と称呼する。

光軸１３０４を中心に射出瞳１３０３を等分した瞳領域１３０５，１３０６から出る各光束をＰＤ１２２，１２３で受光する。これにより、焦点状態の変化に応じて瞳領域１３０５，１３０６に対応するＡ像信号とＢ像信号の出力が現れる画素１２０１等のアドレス間隔に変化（位相差）が現れる。そこで、このアドレス間隔を検出する（位相差を検出する）ことにより、デフォーカス量を算出することができる。

図１４は、主撮像素子１０２Ａの画素回路構成を説明する等価回路図であり、ここでは、１つの画素１２０１について模式的に示している。画素１２０１の転送スイッチ１２４，１２５はそれぞれ転送パルスφＴｘ１，φＴｘ２によって駆動され、対応するＰＤ１２２，１２３で発生した電荷をＦＤ１２６へ転送する。ＦＤ１２６は、電荷を一時的に蓄積するバッファとしての役割を担う。ＦＤ１２６と、ソースフォロアとして機能する増幅ＭＯＳアンプ１４１と、垂直出力線１４３に接続された定電流源１４５とからフローティングディフュージョンアンプが構成される。垂直選択パルスφＳＥＬによって画素を選択する選択スイッチ１４２で選択された画素のＦＤ１２６の信号電荷がフローティングディフュージョンアンプにより電圧に変換されて垂直出力線１４３に出力され、不図示の水平転送信号線を通して読み出される。ＦＤ１２６は、リセットパルスφＲＥＳを受けてリセットスイッチ１４４がオンすることでＶＤＤによってリセットされる。

ＰＤ１２２，１２３はそれぞれ、対応する転送スイッチ１２４，１２５を持つが、ＦＤ１２６以降で信号読み出しに用いる回路を共有しており、これにより画素の縮小化を図ることができる。また、転送パルスφＴｘ１，φＴｘ２を提供する配線は、各行に配列された画素により共有されている。

図１５は、主撮像素子１０２の駆動方法（駆動パターン）を説明するタイミングチャートであり、位相差情報と画像信号を読み出す動作の関係を示している。期間ｔ１５１において、リセットパルスφＲＥＳと転送パルスφＴｘ１，φＴｘ２が同時に高電位Ｈに制御される。これにより、リセットスイッチ１４４と転送スイッチ１２４，１２５がオンとなり、ＰＤ１２２，１２３及びＦＤ１２６の電位が初期電位ＶＤＤにリセットされる。その後、転送パルスφＴｘ１，φＴｘ２が低電位Ｌになると、ＰＤ１２２，１２３での電荷蓄積が開始される。

電荷蓄積開始から予め定められた所定時間が経過した後、期間ｔ１５３において垂直選択パルスφＳＥＬが高電位Ｈとされて選択スイッチ１４２がオンすることで読み出し行が選択され、１行分の信号の読み出し動作が開始される。これと同時に、リセットパルスφＲＥＳが低電位ＬとされてＦＤ１２６のリセットが解除される。期間ｔ１５４では、φＴＮが高電位Ｈとされることで、ＦＤ１２６のリセット信号であるＮ信号が読み出されて記憶される。なお、不図示であるが、主撮像素子１０２では、φＴＮ、φＳ１、φＳ２の制御に基づいて、ＦＤ１２６の電位が垂直出力線１４３を介して読み出され、それぞれの信号が記憶される。

次に、期間ｔ１５５において、転送パルスφＴｘ１とφＳ１が同時に高電位Ｈとされて転送スイッチ１２４がオンすることで、ＰＤ１２２の光信号（画像信号）とノイズ信号の加算信号である第１ＰＤ信号が読み出され、主撮像素子１０２内に記憶される。その後、リセットスイッチ１４４をオンしない状態で、期間ｔ１５６において転送パルスφＴｘ１、φＴｘ２及びφＳ２が同時に高電位Ｈとされることで、転送スイッチ１２４，１２５がオンする。これにより、ＰＤ１２２，１２３のそれぞれの光信号とノイズ信号とが混合された加算信号である第２ＰＤ信号が読み出され、主撮像素子１０２内に記憶される。

なお、期間ｔ１５５において転送パルスφＴｘ１をオンしてＰＤ１２２から第１ＰＤ信号をＦＤ１２６に読み出しているので、期間ｔ１５６では転送パルスφＴｘ１はオフ状態でもよい。また、厳密には、期間ｔ１５１の終了から期間ｔ１５６の終了までが蓄積期間ｔ１５２となる。転送パルスφＴｘ２を高電位Ｈとして、ＰＤ１２３をリセットするタイミングは、期間ｔ１５５と期間ｔ１５６の時間差分だけ遅らせても良い。

上記の動作で読み出されたＮ信号、第１ＰＤ信号及び第２ＰＤ信号から、第１ＰＤ信号からノイズ信号を差分したＡ像信号と、第２ＰＤ信号からノイズ信号を差分した画像信号が主撮像素子１０２Ａから出力される。第２ＰＤ信号からノイズ信号を差分した画像信号はＰＤ１２２，１２３の信号を合成した信号であるので、この画像信号からＡ像信号を減算することでＢ像信号を生成することができる。主位相差処理部１２は、こうして得られたＡ像信号とＢ像信号を用いて位相差信号を生成する。

主撮像素子１０２Ａは、各画素を構成する複数（２つ）のフォトダイオードから瞳分割した信号を取得するため、フォトダイオードの構造によっては高輝度時に一方のフォトダイオードの信号が他方のフォトダイオードに漏れ出る等の現象が起り得る。この場合、瞳分割による信号を正確に読み出せなくなる可能性がある。つまり、被写体の輝度が一定のレベル以上の撮影環境では、主撮像素子１０２Ａから取得した信号の信頼性が低下してしまい、焦点検出の演算精度が低下する可能性がある。

この問題に対処するため、第３実施形態では、主撮像素子１０２Ａの面内において任意に設定された測距エリア内の画素のＡ像信号又は画像信号（Ａ像信号とＢ像信号の加算信号）の出力値が一定以上のレベルになっている画素の数をカウントする。そして、カウントされた画素数の測距エリア内の全画素数に対する比率が予め定められた閾値以上となった場合に、主撮像光学系１０による測距から副撮像光学系２０による測距へ切り替えて、焦点検出を行う。

図１６は、第３実施形態に係る撮像装置での焦点検出動作のフローチャートである。なお、第３実施形態に係る撮像装置での撮像動作は、図９に示した撮像装置１での撮像動作と同様に行われる。よって、図１６のフローチャートに示す一連の処理は、図９のフローチャートのＳ５０４で実行可能な処理であり、図１０のフローチャートに示す一連の処理に代えて実行される処理である。なお、図１６のフローチャートにある各種の処理のうち、図１０のフローチャートにある処理と同じものについては、その旨を記して重複する説明を省略する。

焦点検出動作が開始されると、Ｓ８０１では制御部１４は、主撮像素子１０２を駆動させて、図１５で説明した動作を行って画像信号を取得する。Ｓ８０２では制御部１４は、主撮像素子１０２の面内に設定された測距エリア内の撮像画素数ＮＰを算出する。撮像画素数ＮＰを算出するのは、後に行われる測距エリア内の飽和画素カウント動作に対するカウント終了条件を定め、また、測距エリア内でのＡ像画素とＢ像画素の飽和画素比率を求めるためである。Ｓ８０３では制御部１４は、測距エリア内画素から出力されるＡ像信号の出力レベルが一定の閾値を超えている場合にカウントするＡ像飽和カウントＣＡの値をゼロ（０）に設定する初期化処理を行う。また、Ｓ８０３では制御部１４は、測距エリア内画素から出力される画像信号（Ａ像信号とＢ像信号の加算信号）の出力レベルが一定の閾値を超えている場合にカウントする画像飽和カウントＣＩの値を（０）に設定する初期化処理を行う。

Ｓ８０４では制御部１４は、測距エリア内での画素アドレスを指し示す“ｎ”に初期値としてゼロ（０）を設定する。なお、“ｎ”は０以上の整数値である。また、測距エリア内での画素アドレスとは、例えば、長方形の測距エリアにおける左上隅等の基準となる点を画素アドレス０として、測距エリア内の全ての画素アドレスを個別に指し示すものである。Ｓ８０５では制御部１４は、Ｓ８０１で得た画像信号から主撮像素子１０２Ａの測距エリア内の画素アドレスｎのＡ像出力値ＳＡ（ｎ）を検出する。

Ｓ８０６では制御部１４は、Ｓ８０５で検出したＡ像出力値ＳＡ（ｎ）が予め定められたＡ像出力閾値ＳＡｔｈ以上か否かを判定する。制御部１４は、Ａ像出力値ＳＡ（ｎ）がＡ像出力閾値ＳＡｔｈ以上であると判定した場合（Ｓ８０６でＹＥＳ）、処理をＳ８０７へ進め、Ａ像出力値ＳＡ（ｎ）がＡ像出力閾値ＳＡｔｈより小さいと判定した場合（Ｓ８０６でＮＯ）、処理をＳ８０８へ進める。Ｓ８０７では制御部１４は、Ａ像飽和カウントＣＡの値を１だけインクリメントし、その後、処理をＳ８０８へ進める。

ここで、焦点検出動作の実行時に画像信号に対して閾値を設ける理由について説明する。図１７（ａ）は、ＰＤ１２２，１２３の間での電荷漏れを説明する模式図であり、ＰＤ１２２，１２３のポテンシャルエネルギーの状態を模式的に示している。ここでは、ＰＤ１２２への入射光量が大きく、ＰＤ１２３への入射光量が小さい場合を想定している。ＰＤ１２２で発生して蓄積される電荷量が一定レベルを超えると、ＰＤ１２２で生じた電荷がＰＤ１２２，１２３間のポテンシャル障壁を超えてＰＤ１２３へ漏れ出す。

図１７（ｂ）は、主撮像素子１０２への入射光量と出力信号との関係を示す図である。ＰＤ１２２に蓄積される電荷が多くなると、ＰＤ１２２からＰＤ１２３への漏れ出しが発生する。つまり、ＰＤ１２２の信号の一部がＰＤ１２３の信号に混入し始める。Ａ像出力閾値ＳＡｔｈは、混入が始まって信号の信頼性が損なわれ始めるレベルに設定される。なお、ここでは、ＰＤ１２２への入射光量がＰＤ１２３への入射光量よりも相対的に大きい場合について説明した。これとは逆に、ＰＤ１２３への入射光量がＰＤ１２２への入射光量よりも相対的に大きい場合には、画像信号ＳＩに対して画像出力閾値ＳＩｔｈが設定される。なお、画像信号ＳＩは、Ａ像信号とＢ像信号の加算信号である。

Ａ像出力閾値ＳＡｔｈと画像出力閾値ＳＩｔｈは、主位相差処理部１２でのレベル判定処理において像信号レベルに応じて設定される。したがって、撮像装置のＩＳＯ感度設定等により主撮像素子１０２のゲイン設定値が変更されると、制御部１４はこれにＡ像出力閾値ＳＡｔｈと画像出力閾値ＳＩｔｈの値を変更する。

図１７（ａ），（ｂ）についての上記説明は、ＩＳＯ感度設定が低い場合の説明である。これに対して、ＩＳＯ感度設定が高く、主撮像素子１０２のゲイン設定値が大きい場合のＡ像出力閾値ＳＡｔｈと画像出力閾値ＳＩｔｈの関係は、図１７（ｃ）に示す通りとなる。即ち、主撮像素子１０２Ａのゲイン設定値が大きい場合、少ない入射光量に対応する小さい信号を増幅して使用することになる。この場合、図１７（ａ）で説明したような画素間での信号混入は発生しない。

しかし、画像信号ＳＩが飽和するような信号レベルの場合には、主位相差処理部１２でＢ像信号を正しく生成することができなくなる。具体的には、図１７（ｃ）に破線で示すグラフ線は、飽和していないレベルの画像信号ＳＩからＡ像信号を減算してＢ像信号を算出したときのＢ像信号の変化を示しており、Ｂ像信号のレベルは入射光量の増加に従って増加している。これに対して、図１７（ｃ）に一点鎖線で示すグラフ線は、画像信号ＳＩが飽和レベルにある場合のＢ像信号のレベル変化を示している。画像信号ＳＩが飽和した時点で、飽和レベル（一定レベル）からＡ像信号のレベルが減算されるので、Ｂ像信号のレベルは入射光量が増加するにつれて減少する。その結果、Ｂ像信号の信頼性が低下する。このような問題の発生を回避するため、制御部１４はＡ像出力閾値ＳＡｔｈ及び画像出力閾値ＳＩｔｈを、低ＩＳＯ感度設定時とは異なる値に設定することにより、信号の信頼性を確保することが可能となる。

図１６のフローチャートの説明に戻る。Ｓ８０８では制御部１４は、主撮像素子１０２Ａの測距エリア内の画素アドレスｎの画像信号出力値ＳＩ（ｎ）を検出する。Ｓ８０９では制御部１４は、Ｓ８０８で検出した画像信号出力値ＳＩ（ｎ）が、図１７を参照して説明した画像出力閾値ＳＩｔｈ以上か否かを判定する。制御部１４は、画像信号出力値ＳＩ（ｎ）が画像出力閾値ＳＩｔｈ以上であると判定した場合（Ｓ８０９でＹＥＳ）、処理をＳ８１０へ進め、画像信号出力値ＳＩ（ｎ）が画像出力閾値ＳＩｔｈより小さいと判定した場合（Ｓ８０９でＮＯ）、処理をＳ８１１へ進める。

Ｓ８１０では制御部１４は、画像飽和カウントＣＩの値を１だけインクリメントし、その後、処理をＳ８１１へ進める。Ｓ８１１では制御部１４は、次の画素アドレスの画像信号レベルをチェックする（画素アドレスｎの隣の画素を確認する）ために、画素アドレスｎを１だけインクリメントする。Ｓ８１２では制御部１４は、撮像画素数ＮＰと画素アドレスｎとを比較して、測距エリア内の全画素に対する飽和カウント動作（Ｓ８０５〜Ｓ８１０）が終了したか否か（ＮＰ＞ｎが成り立つか否か）を判断する。制御部１４は、ＮＰ＜ｎであると判定した場合（Ｓ８１２でＹＥＳ）、処理をＳ８１３へ進め、ＮＰ＜ｎでない（ｎ≦ＮＰである）と判定した場合（Ｓ８１２でＮＯ）、処理をＳ８０５へ戻す。

Ｓ８１３では制御部１４は、最新のＡ像飽和カウントＣＡと画像飽和カウントＣＩを用いて、測距エリア内における飽和画素比率を算出する。具体的には、Ａ像飽和カウント比率ＣＲＡは“ＣＲＡ＝ＣＡ／ＮＰ”により、画像飽和カウント比率ＣＲＩは“ＣＲＩ＝ＣＩ／ＮＰ”によりそれぞれ求められる。Ｓ８１４では制御部１４は、Ｓ８１３で算出したＡ像飽和カウント比率ＣＲＡ又は画像飽和カウント比率ＣＲＩが予め定められた所定の飽和カウント比率閾値Ｃｔｈ以上であるか否かを判定する。飽和カウント比率閾値Ｃｔｈは、主撮像素子１０２Ａによって求められるデフォーカス量の信頼度を保つことができる範囲の上限（デフォーカス量の信頼度が低下する範囲の下限）を表している。

Ａ像飽和カウント比率ＣＲＡ又は画像飽和カウント比率ＣＲＩが飽和カウント比率閾値Ｃｔｈより小さい場合には、主撮像光学系１０を用いて測距を行うことが可能である。よって、制御部１４は、Ｓ８１４の判定がＮＯとなる場合には、処理をＳ８１５へ進める。Ｓ８１５では制御部１４は、主位相差処理部１２を動作させて、図１５を参照して説明した撮像動作により得られたＡ像信号及びＢ像信号を用いた公知の位相差処理を行い、視差信号を得る。制御部１４は、Ｓ８１５の後、処理をＳ８２１へ進める。

Ａ像飽和カウント比率ＣＲＡ又は画像飽和カウント比率ＣＲＩが飽和カウント比率閾値Ｃｔｈ以上の場合には、主撮像光学系１０での焦点検出精度は低下している。そこで、制御部１４は、Ｓ８１４の判定がＹＥＳとなる場合には、主撮像光学系１０を用いた測距から副撮像光学系２０を用いた測距へと切り替えるために、処理をＳ８１６へ進める。Ｓ８１６〜Ｓ８２３の処理は、Ｓ８２２の後に処理がＳ８０１へ戻される点を除いて、Ｓ６０４〜Ｓ６１２の処理（図１０参照）と同じであるため、説明を省略する。

このように第３実施形態では、焦点検出と撮像を兼ねる画素構造を持つ主撮像素子１０２Ａにおいて、主撮像光学系１０を用いた測距の信頼性を担保できない状況となったときに副撮像光学系２０を用いた測距に切り替える。これにより、主撮像光学系１０に最適な撮影条件を適用しながら、適切な測距を行うことが可能になる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１，２ 撮像装置
１０，１０Ａ 主撮像光学系
１２ 主位相差処理部
１４ 制御部
２０，２０Ａ 副撮像光学系
１０１ 主光学鏡筒
１０２，１０２Ａ 主撮像素子
２０１，２０２ 副光学鏡筒
２０３ 副撮像素子
２０５ 副位相差処理部
１０１３ 絞り機構部

Claims (20)

1. 第１の光学系と、前記第１の光学系の射出瞳を通過した光束が結像する第１の撮像画素および前記第１の光学系の異なる瞳領域を通過した光束が結像する第２の撮像画素を有する主撮像素子と、を有する主光学ユニットと、
   第２の光学系と、第３の光学系と、副撮像素子とを有し、前記第２の光学系を通過した光束と前記第３の光学系を通過した光束がそれぞれ前記副撮像素子の異なる領域に結像する副光学ユニットと、
   前記主撮像素子または前記副撮像素子からの出力信号を用いて位相差信号を生成する生成手段と、
   前記主光学ユニットと前記副光学ユニットを制御し、前記主光学ユニットの制御状態に応じて前記主撮像素子からの出力信号と前記副撮像素子からの出力信号のいずれか一方を選択して被写体に対する測距を行う制御手段と、を備えることを特徴とする撮像装置。
2. 前記主光学ユニットの制御状態とは、前記第１の光学系での絞り設定値であり、
   前記制御手段は、前記絞り設定値が所定の閾値より小さい場合には前記主撮像素子の前記第２の撮像画素からの出力信号を用いて被写体に対する測距を行い、前記絞り設定値が前記所定の閾値以上の場合には前記副撮像素子の出力信号を用いて被写体に対する測距を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記主光学ユニットの制御状態とは、前記第１の光学系での射出瞳距離であり、
   前記制御手段は、前記射出瞳距離が所定の閾値より小さい場合には前記主撮像素子の前記第２の撮像画素からの出力信号を用いて被写体に対する測距を行い、前記射出瞳距離が前記所定の閾値以上の場合には前記副撮像素子からの出力信号を用いて被写体に対する測距を行うことを特徴とする請求項１に記載の撮像装置。
4. 前記主光学ユニットの制御状態とは、前記主撮像素子に掛けるゲインであり、
   前記制御手段は、前記主撮像素子に掛けるゲインの値が所定の閾値より小さい場合に前記主撮像素子の前記第２の撮像画素からの出力信号を用いて被写体に対する測距を行い、前記ゲインの値が前記所定の閾値以上の場合に前記副撮像素子からの出力信号を用いて被写体に対する測距を行うことを特徴とする請求項１に記載の撮像装置。
5. 第１の光学系と、前記第１の光学系の射出瞳を通過した光束が結像する第１の撮像画素および前記第１の光学系の異なる瞳領域を通過した光束が結像する第２の撮像画素を有する主撮像素子と、を有する主光学ユニットと、
   第２の光学系と、第３の光学系と、副撮像素子とを有し、前記第２の光学系を通過した光束と前記第３の光学系を通過した光束がそれぞれ前記副撮像素子の異なる領域に結像する副光学ユニットと、
   前記主撮像素子または前記副撮像素子からの出力信号を用いて位相差信号を生成する生成手段と、
   前記主光学ユニットと前記副光学ユニットを制御し、前記主撮像素子から得られる画像信号に応じて前記主撮像素子からの出力信号と前記副撮像素子からの出力信号のいずれか一方を選択して被写体に対する測距を行う制御手段と、を備えることを特徴とする撮像装置。
6. 前記制御手段は、前記主撮像素子から得られる画像信号の信号ノイズ比が所定の閾値より小さい場合には前記副撮像素子からの出力信号を用いて測距を行い、前記信号ノイズ比が前記所定の閾値以上の場合には前記主撮像素子からの出力信号を用いて測距を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記主撮像素子の測距範囲内の前記第１の撮像画素からの出力信号の標準偏差が所定の閾値より小さい場合に前記主撮像素子からの出力信号を用いて測距を行い、前記標準偏差が前記所定の閾値以上である場合には前記副撮像素子からの出力信号を用いて測距を行うことを特徴とする請求項５に記載の撮像装置。
8. 前記制御手段は、前記第２の撮像画素からの出力信号の信号振幅比が所定の閾値より小さい場合に前記主撮像素子からの出力信号を用いて測距を行い、前記信号振幅比が前記所定の閾値以上である場合には前記副撮像素子からの出力信号を用いて測距を行うことを特徴とする請求項５に記載の撮像装置。
9. 第１の光学系と、前記第１の光学系の異なる瞳領域を通過した光束がそれぞれ結像する第１の光電変換部と第２の光電変換部を有する画素からなる主撮像素子と、を有する主光学ユニットと、
   第２の光学系と、第３の光学系と、副撮像素子とを有し、前記第２の光学系を通過した光束と前記第３の光学系を通過した光束がそれぞれ前記副撮像素子の異なる領域に結像する副光学ユニットと、
   前記主撮像素子または前記副撮像素子からの出力信号を用いて位相差信号を生成する生成手段と、
   前記主光学ユニットと前記副光学ユニットを制御し、前記主撮像素子から得られる信号の出力値に応じて前記主撮像素子からの出力信号と前記副撮像素子からの出力信号のいずれか一方を選択して被写体に対する測距を行う制御手段と、を備えることを特徴とする撮像装置。
10. 前記制御手段は、前記主撮像素子に設定された測距エリア内の画素の中から前記第１の光電変換部からの画像信号の出力値が所定のレベルになっている画素の数をカウントし、前記カウントされた画素数の前記測距エリア内の全画素数に対する比率が所定の閾値より小さい場合には前記主撮像素子からの出力信号を用いて測距を行い、前記比率が前記所定の閾値以上である場合には前記副撮像素子からの出力信号を用いて測距を行うことを特徴とする請求項９に記載の撮像装置。
11. 前記制御手段は、前記主撮像素子に設定された測距エリア内の画素の中から前記第１の光電変換部からの画像信号と前記第２の光電変換部からの画像信号の加算信号の出力値が所定のレベルになっている画素の数をカウントし、前記カウントされた画素数の前記測距エリア内の全画素数に対する比率が所定の閾値より小さい場合には前記主撮像素子からの出力信号を用いて測距を行い、前記比率が前記所定の閾値以上である場合には前記副撮像素子からの出力信号を用いて測距を行うことを特徴とする請求項９に記載の撮像装置。
12. 前記制御手段は、前記主撮像素子の感度に応じて前記閾値を変更することを特徴とする請求項１０又は１１に記載の撮像装置。
13. 前記副光学ユニットでの撮影条件は前記主光学ユニットでの撮影条件とは異なる条件に設定することができることを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記第２の光学系と前記第３の光学系は、それぞれの光軸が略平行となるように所定の距離で離間して設けられていることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 前記副撮像素子は、前記第２の光学系を通過した光束が結像する領域と前記第３の光学系を通過した光束が結像する領域とが異なる１つの撮像素子、または、前記第２の光学系を通過した光束が結像する領域と前記第３の光学系を通過した光束が結像する領域のそれぞれに配置された２つの撮像素子、であることを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 前記生成手段は、前記副撮像素子からの出力信号を用いて位相差信号を生成する場合、前記第２の光学系を通過した光束の像の撮像信号と前記第３の光学系を通過した光束の像の撮像信号から位相差信号を生成することを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
17. 撮像装置の制御方法であって、
    撮像画素と撮像面位相差方式による測距を行うための焦点検出画素とを有する第１の撮像素子により第１の光学系を通じて入射する光の光学像を取得するステップと、
    前記焦点検出画素から出力される前記光学像の画像信号を用いて撮像面位相差方式による位相差信号を生成した場合の該位相差信号の信頼性を判定するステップと、
    前記位相差信号の信頼性が高いと判定される場合に、前記焦点検出画素から出力された画像信号を用いて撮像面位相差方式により位相差信号を生成するステップと、
    前記位相差信号の信頼性が低いと判定される場合に、第２の光学系と第３の光学系をそれぞれ通過した光束の光学像を第２の撮像素子により取得し、取得した２つの光学像の撮像信号から位相差信号を生成するステップと、を有することを特徴とする撮像装置の制御方法。
18. 前記位相差信号の信頼性が低いと判定される場合とは、前記第１の光学系での絞り設定値が所定の値以上である場合、前記第１の光学系での射出瞳距離が所定の値以上である場合、前記第１の撮像素子に掛けられるゲインの大きさが所定の値以上である場合、前記第１の撮像素子から出力される画像信号の信号ノイズ比が所定の値より小さい場合、のいずれかの場合であることを特徴とする請求項１７に記載の撮像装置の制御方法。
19. 撮像装置の制御方法であって、
    撮像と撮像面位相差方式による測距を行うための画素を有する第１の撮像素子により第１の光学系を通じて入射する光の光学像を取得するステップと、
    前記第１の撮像素子に設定された測距エリア内の画素から出力される画像信号を用いて撮像面位相差方式による位相差信号を生成した場合の該位相差信号の信頼性を判定するステップと、
    前記位相差信号の信頼性が高いと判定される場合に、前記測距エリア内の画素から出力された画像信号を用いて撮像面位相差方式により位相差信号を生成するステップと、
    前記位相差信号の信頼性が低いと判定される場合に、第２の光学系と第３の光学系をそれぞれ通過した光束の光学像を第２の撮像素子により取得し、取得した２つの光学像の撮像信号から位相差信号を生成するステップと、を有することを特徴とする撮像装置の制御方法。
20. 請求項１７乃至１９のいずれか１項に記載の撮像装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images