JP2020113948A - 撮像素子、撮像装置、及び制御方法、並びにプログラム - Google Patents

Abstract

【課題】幅広い範囲の射出瞳距離に対して、高精度な焦点検出を行うことができる撮像素子、撮像装置、及び制御方法、並びにプログラムを提供する。【解決手段】撮像素子１０６が備える複数の撮像画素は夫々、ｎ型シリコン基板２０１の光入射側の表面に形成された、電気的に分割された２つの副光電変換部２０２ａ，２０２ｂからなる第１の光電変換部２０２と、その上方に、上部透明電極２０５及び電気的に分離された２つの下部透明電極２０８，２０９が形成された、可視光帯域において光の一部を吸収してそれ以外を透過させる第２の光電変換部２０４と、さらにその上方に、撮像素子１０６の撮像面４０６の中央からの距離に応じて偏心して配置されるマイクロレンズ２０７とを備え、第１及び第２の光電変換部２０２，２０４の少なくとも一方からの電気信号は、瞳分割位相差方式の焦点検出を行うために用いられる。【選択図】図６

Description

本発明は、撮像素子、撮像装置、及び制御方法、並びにプログラムに関し、特に、撮像及び焦点検出を行うための撮像素子、撮像装置、及び制御方法、並びにプログラムに関する。

近年、有機光電変換膜とシリコン光電変換部とを積層した構成を用いて、瞳分割位相差検出方式の焦点検出機能を有する撮像画素を撮像面上に複数備えた撮像素子を有する撮像装置が提案されている。

例えば、特許文献１では、光入射側（以下、上部という）に設けられかつ瞳分割構造を有する近赤外光吸収型の有機光電変換膜からの信号を位相差検出に用い、下部のシリコン光電変換部において撮像のためのＲＧＢの光の受光を行う撮像画素が提案されている。
また、特許文献２では、上部の有機光電変換膜及び下部のシリコン光電変換部の両方が瞳分割構造を有し、夫々からの信号をデフォーカスが大きい状態と小さい状態に対応させて焦点検出に用いる撮像画素が提案されている。

特開２０１５―１６２５６２号公報 特開２０１８−１６０７７９号公報

しかしながら、上記従来の撮像画素で焦点検出可能な射出瞳距離の範囲は限られている。その一方、撮像装置の本体に装着される、または付帯しているレンズ（撮像光学系）の射出瞳距離は、交換レンズ種やその状態、及びズームレンズの状態などで大きく変わってくる。よって、上記従来の撮像画素を備える撮像素子を撮像装置に用いたのでは、かかる撮像光学系の状態に応じて変化する幅広い射出瞳距離において、高精度な焦点検出することが困難である。

そこで本発明は、幅広い範囲の射出瞳距離に対して、高精度な焦点検出を行うことができる撮像素子、撮像装置、及び制御方法、並びにプログラムを提供することを目的とする。

本発明の請求項１に係る撮像素子は、撮像面上に複数の撮像画素を備える撮像素子であって、前記複数の撮像画素は夫々、基板の光入射側の表面に形成された、電気的に分割された複数の副光電変換部からなる第１の光電変換部、前記第１の光電変換部より光入射側に設けられ、一方の面に一つの透明電極、他方の面に互いに電気的に分離された少なくとも二つの透明電極が形成された、可視光帯域において光の一部を吸収してそれ以外を透過させる第２の光電変換部、及び前記第２の光電変換部より光入射側に、前記撮像素子の前記撮像面の中央からの距離に応じて偏心して配置されるマイクロレンズを備え、前記第１及び第２の光電変換部の少なくとも一方からの電気信号は、瞳分割位相差方式の焦点検出を行うために用いられることを特徴とする。

本発明の請求項７に係る撮像装置は、結像光学系と、撮像面上に複数の撮像画素を備える撮像素子を有する本体部とを備える撮像装置であって、前記複数の撮像画素は夫々、基板の光入射側の表面に形成された、電気的に分割された複数の副光電変換部からなる第１の光電変換部、前記第１の光電変換部より光入射側に設けられ、一方の面に一つの透明電極、他方の面に互いに電気的に分離された少なくとも二つの透明電極が形成された、可視光帯域において光の一部を吸収してそれ以外を透過させる第２の光電変換部、及び前記第２の光電変換部より光入射側に、前記撮像素子の前記撮像面の中央からの距離に応じて偏心して配置されるマイクロレンズを備え、前記本体部は、前記第１及び第２の光電変換部の少なくとも一方からの信号を用いて瞳分割位相差方式の焦点検出を行うための焦点検出手段と、前記結像光学系のレンズ位置を取得する取得手段と、前記取得したレンズ位置に基づき、前記結像光学系の射出瞳距離を算出する算出手段と、瞳分割位相差方式の焦点検出を行う焦点検出手段と、前記第１の光電変換部と前記マイクロレンズとの位置関係で決定される第１の焦点検出可能射出瞳距離範囲、前記第２の光電変換部と前記マイクロレンズとの位置関係で決定される第２の焦点検出可能射出瞳距離範囲、及び前記算出された前記結像光学系の射出瞳距離の関係から、前記焦点検出を行うために用いられる電気信号を、前記第１及び第２の光電変換部から出力される電気信号の少なくとも一方に設定する設定手段とを備えることを特徴とする。

本発明によれば、幅広い範囲の射出瞳距離に対して、高精度な焦点検出を可能とする。

本発明の実施形態に係る撮像装置としてのデジタルカメラが有する撮像素子における基本撮像画素群及びその配列を表す模式図である。 図１Ａの基本撮像画素群を構成する４種の撮像画素を表す模式図である。 図１Ｂにおける撮像画素のｚｘ面に平行な二点鎖線で示すＡＢ断面を示す図である。 図２におけるカラーフィルターの透過率スペクトルを模式的に示すグラフである。 撮像素子の撮像面における撮像画素の位置と瞳分割との対応関係を示した概略図である。 本発明の実施形態に係る視差画像間の像ずれ量とデフォーカス量の概略関係図である。 図２における第１の光電変換部を焦点検出に用いる場合に定義されるセンサ瞳距離と、図２における第２の光電変換部を焦点検出に用いる場合に定義されるセンサ瞳距離とを示す図である。 図６に示す、第１の光電変換部を焦点検出に用いる場合に定義されるセンサ瞳距離から許容される焦点検出可能射出瞳距離範囲の説明図である。 本発明の実施形態における焦点検出可能射出瞳距離範囲の拡張原理について説明する図である。 本発明の実施形態に係る撮像装置のハードウェア構成を示すブロック図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（撮像素子）
図１Ａは、本発明の実施形態に係る撮像装置としてのデジタルカメラ９が有する撮像素子１０６における複数の基本撮像画素群１０１の配列を示し、図１Ｂは、基本撮像画素群１０１を構成する４種の撮像画素１０２〜１０５を表す模式図である。尚、デジタルカメラ９の全体構成については図９を用いて後述する。

図１Ａに示すように、撮像素子１０６の有効画素領域の水平方向サイズは３６ミリメートル、垂直方向サイズは２４ミリメートルである。また、この撮像素子１０６の有効画素領域において、水平方向の有効画素数は６０００画素であり、垂直方向の有効画素数は４０００画素である。撮像素子１０６は、点線枠により示される２行２列の基本撮像画素群１０１をこの有効画素領域において複数配列する。

以降の説明においては、有効画素領域の水平方向及び垂直方向を、夫々ｘ方向及びｙ方向とし、これに垂直な方向をｚ方向とする。また、光入射側であるｚ方向の＋側を上方、−側を下方と呼ぶ。

図１Ｂに示すように、基本撮像画素群１０１は、赤色相当の波長帯域に分光感度を有する撮像画素１０２、青色相当の波長帯域に分光感度を有する撮像画素１０３、及び緑色相当の波長帯域に分光感度を有する二つの撮像画素１０４，１０５により構成される。

ここで、基本撮像画素群１０１をなす撮像画素１０２〜１０５の基本的な構成は、上記分光感度を決定するカラーフィルターの構造以外同一である。そこで、以下、撮像画素１０２〜１０５の構成の説明は、撮像画素１０２のみに着目して行う。以下、撮像画素１０４，１０５の構成を説明する場合、撮像画素１０２と同様の構成については同様の付番を付す。

図１Ｂにおける撮像画素１０２のｚｘ面に平行な二点鎖線で示すＡＢ断面を図２に示す。

図２に示すように、撮像画素１０２は、第１の光電変換部２０２、第２の光電変換部２０４、カラーフィルター２０６、及びマイクロレンズ２０７を備える。

第１の光電変換部２０２は、ｎ型シリコン基板２０１の光入射側の表面にイオン注入により形成される、分割された副光電変換部２０２ａ，２０２ｂからなる。

第２の光電変換部２０４は、第１の光電変換部２０２の上方に設けられる。

カラーフィルター２０６は、第２の光電変換部２０４の上方に設けられる。

マイクロレンズ２０７は、カラーフィルター２０６の情報に設けられ、撮像画素１０２に入射される光を撮像画素１０２の内部に集光しながら導く。

第１の光電変換部２０２において光電変換された電荷は転送ゲート２１４を介してコンデンサー２１３へ電気信号として出力され、撮像画像データや瞳分割位相差ＡＦで用いられる焦点検出用データの生成に用いられる。

第２の光電変換部２０４の上部には周囲の撮像画素上にも連続的にまたがるように形成された上部透明電極２０５、第２の光電変換部２０４の下部には周囲の撮像画素と互いに電気的に分離した下部透明電極２０８，２０９が形成されている。下部透明電極２０８，２０９の電極パターンは、入射光学系の瞳領域を分割及びパターン化することに相当している。すなわち、分割及びパターン化された異なる瞳領域を通過して入射される光束に属する光を第２の光電変換部２０４が光電変換して電荷を生成すると、その電荷が下部透明電極２０８，２０９を通して電気信号として出力される。この下部透明電極２０８，２０９からの電気信号は、撮像画像データや瞳分割位相差ＡＦで用いられる焦点検出用データの生成に用いられる。

尚、本実施形態では第２の光電変換部２０４の下部には下部透明電極２０８，２０９の２つの透明電極が設けられていたが、２より多い透明電極を設け、その夫々から出力される電気信号を焦点検出用データの生成に用いてもよい。また、第２の光電変換部２０４は、一方の面に一つの透明電極、他方の面に互いに電気的に分離された少なくとも二つの透明電極が形成されていれば本実施形態の構成に限定されない。例えば、下部ではなく、上部に周囲の撮像画素と互いに電気的に分離した複数の透明電極が形成される構成であってもよい。

第２の光電変換部２０４は、可視光帯域において受光感度が確保される限り、有機光電変換膜や量子ドットフィルムなど様々なものが適応可能である。本実施形態では、第２の光電変換部２０４を有機光電変換膜で構成している。また、図２においては不図示であるが、第２の光電変換部２０４は、上部透明電極２０５との間に電子ブロック層、下部透明電極２０８，２０９との間にホールブロック層などを設け、効率的に電荷を電極へ輸送する。電気配線部２１０，２１１は、信号電荷の読み取りやスイッチングを行うための光導波路からなり、下部透明電極２０８，２０９は、ｎ型シリコン基板２０１の上の信号読み取り部２１２，２１５へと接続されている。

本実施形態において、第２の光電変換部２０４の厚さは、第２の光電変換部２０４に入射する光のうちおよそ５０％を吸収し、それ以外を透過させる厚さに設定されている。

図３は、図２におけるカラーフィルター２０６を透過した後の光強度の波長依存性、つまりカラーフィルター２０６の透過率スペクトルを模式的に示すグラフである。

上述のように、第２の光電変換部２０４は有機光電変換膜からなるため、第２の光電変換部２０４は、カラーフィルター２０６から入射した光の一部を吸収し、残りを透過する。具体的には、図３に示すスペクトルのピーク波長λ_０における第２の光電変換部２０４の吸収係数をα（λ_０）［／ｎｍ］とした場合、厚さｔ［ｎｍ］の第２の光電変換部２０４を透過した後のピーク波長λ_０の光強度はｅｘｐ（−α（λ_０）・ｔ）となる。よって、α及びｔの値に基づき、第２の光電変換部２０４の厚さを決定することが可能である。ただし、第２の光電変換部２０４の厚さは、このようなピーク波長λ_０の光強度に応じて決める方法に限定されず、例えば、可視光帯域全体にわたる光強度の積分値に応じて決める方法などであってもよい。

また前述の第２の光電変換部２０４の吸収係数αは、波長λに依存するため、Ｒ、Ｇ、Ｂの夫々のカラーフィルター２０６を透過した後の光に対する第２の光電変換部２０４の吸収係数も夫々異なる。一方、撮像素子１０６上に配置される撮像画素１０２〜１０５の夫々が有する第２の光電変換部２０４の厚さは基本的に一様である。このため、撮像画素１０２〜１０５においてその第２の光電変換部２０４に入射する光の強度が一定だとしても、夫々の第２の光電変換部２０４を透過する光の強度は撮像画素１０２〜１０５の間で異なってしまう。つまり、第１の光電変換部２０２で得られる光強度と第２の光電変換部２０４で得られる光強度が撮像画素１０２〜１０５の間で異なってしまう。

このような場合、例えばカラーフィルター２０６の厚さを、撮像画素１０２〜１０５毎に調整することで、第１の光電変換部２０２で得られる光強度と第２の光電変換部２０４で得られる光強度を撮像画素１０２〜１０５の間で同程度とすることが可能である。尚、可視光帯域の全ての波長帯域（ＲＧＢ）のカラーフィルター２０６の厚さの調整を行うことは難しい場合がある。この場合は、着目する２つの波長帯域、例えば、ＲとＢに分光感度を有する撮像画素１０２，１０３のみがその第２の光電変換部２０４での光の吸収と透過の比率が同程度となるように、そのカラーフィルター２０６の厚さを設定してもよい。

さらに、焦点検出に重要な緑色の波長帯域に分光感度を有する撮像画素１０４，１０５の第２の光電変換部２０４での光の吸収と透過の比が所定の値（本実施形態では１：１）となるように、その第２の光電変換部２０４の厚さを設定してもよい。

また、第２の光電変換部２０４の吸収スペクトルの吸収の小さい波長帯域に分光感度を有する撮像画素の第２の光電変換部２０４での光の吸収と透過の比が所定の値（本実施形態では１：１）となるように、その第２の光電変換部２０４の厚さを設定してもよい。逆に、第２の光電変換部２０４の吸収スペクトルの吸収の大きい波長帯域に分光感度を有する撮像画素に着目し、その第２の光電変換部２０４の厚さを設定するようにしてもよい。

さらに、撮像画素１０２〜１０５のうち、そのカラーフィルター２０６を透過した光の強度が最も高い撮像画素に着目して、その第２の光電変換部２０４での吸収と透過の比を、その第２の光電変換部２０４の厚さで調整することも可能である。また、異なる分光感度を有する撮像画素１０２、撮像画素１０３、及び撮像画素１０４，１０５毎に、第２の光電変換部２０４の厚さを調整してもよい。

上述の方法のいくつかを用いて、第２の光電変換部２０４での光の吸収と透過のＲＧＢ比を調整したとしても、かかるＲＧＢ比がずれる場合がある。このような場合には、予めずれ量を検知しておき、第２の光電変換部２０４からの出力信号と、第１の光電変換部２０２からの出力信号の間で、撮像後に補正量として与えることで、かかるＲＧＢ比のずれを補正することが可能である。

（撮像装置）
図９は、本実施形態にかかる撮像装置であるデジタルカメラ９のハードウェア構成を示すブロック図である。

図９のデジタルカメラ９は、図１Ａで上述した撮像素子１０６を有し、撮像素子１０６の第１及び第２の光電変換部２０２，２０４の少なくとも一方からの信号を瞳分割位相差方式の焦点調節に用いると同時に、撮像に用いる。

本実施形態のデジタルカメラ９はレンズ交換式一眼レフカメラであり、レンズユニット９００とカメラ本体９３１（本体部）とを有する。レンズユニット９００は図中央の点線で示されるマウントＭを介して、カメラ本体９３１に装着される。

レンズユニット９００は、撮像光学系の一部である第１レンズ群９０１、絞り９０２、第２レンズ群９０３、及びフォーカスレンズ群（以下、単に「フォーカスレンズ」という：結像光学系）９０４と、以下後述する駆動／制御系とを有する。このようにレンズユニット９００は、フォーカスレンズ９０４を含み、被写体の光学像を形成する撮影レンズである。

第１レンズ群９０１はレンズユニット９００の先端に配置され、光軸方向ＯＡに移動可能に保持される。絞り９０２は、撮影時の光量を調節する機能のほか、静止画撮影時には露出時間を制御するメカニカルシャッタとしても機能する。ただし、グローバルシャッター機構が設けられている場合などには、必ずしも絞り９０２を用いたメカニカルシャッタを静止画撮影に使用する必要はない。絞り９０２及び第２レンズ群９０３は一体で光軸方向ＯＡに移動可能であり、第１レンズ群９０１と連動して移動することによりズーム機能を実現する。フォーカスレンズ９０４も光軸方向ＯＡに移動可能であり、位置に応じてレンズユニット９００が合焦する被写体距離（合焦距離）が変化する。フォーカスレンズ９０４の光軸方向ＯＡにおける位置を制御することにより、レンズユニット９００の合焦距離を調節する焦点調節を行う。

レンズユニット９００は、駆動系として、ズームアクチュエータ９１１、絞りシャッタアクチュエータ９１２、フォーカスアクチュエータ９１３、ズーム駆動回路９１４、絞りシャッタ駆動回路９１５、及びフォーカス駆動回路９１６を有する。さらに、レンズユニット９００は、制御系として、レンズＭＰＵ９１７、レンズメモリ９１８を有する。

ズーム駆動回路９１４は、ズームアクチュエータ９１１を用いて第１レンズ群９０１や第２レンズ群９０３を光軸方向ＯＡに駆動し、レンズユニット９００の撮像光学系の画角を制御する。

絞りシャッタ駆動回路９１５は、絞りシャッタアクチュエータ９１２を用いて絞り９０２を駆動し、絞り９０２の開口径や開閉動作を制御する。

フォーカス駆動回路９１６は、フォーカスアクチュエータ９１３を用いてフォーカスレンズ９０４を光軸方向ＯＡに駆動し、レンズユニット９００の撮像光学系の合焦距離を変化させる。また、フォーカス駆動回路９１６は、フォーカスアクチュエータ９１３を用いてフォーカスレンズ９０４の現在位置を検出する。

レンズＭＰＵ９１７は、レンズユニット９００に係る全ての演算、制御を行い、ズーム駆動回路９１４、絞りシャッタ駆動回路９１５、フォーカス駆動回路９１６を制御する。また、レンズＭＰＵ９１７は、マウントＭを通じてカメラＭＰＵ９２５と接続され、コマンドやデータを通信する。例えばレンズＭＰＵ９１７はフォーカスレンズ９０４の位置を検出し、カメラＭＰＵ９２５からの要求に対してその検出した位置を示すレンズ位置情報を通知する。このレンズ位置情報は、フォーカスレンズ９０４の光軸方向ＯＡにおける位置、撮像光学系が移動していない状態の射出瞳の光軸方向ＯＡにおける位置及び直径、射出瞳の光束を制限するレンズ枠の光軸方向ＯＡにおける位置及び直径などの情報を含む。またレンズＭＰＵ９１７は、カメラＭＰＵ９２５からの要求に応じて、ズーム駆動回路９１４、絞りシャッタ駆動回路９１５、フォーカス駆動回路９１６を制御する。レンズメモリ９１８は自動焦点検出に必要な光学情報が予め記憶されている。カメラＭＰＵ９２５は例えば内蔵する不揮発性メモリやレンズメモリ９１８に記憶されているプログラムを実行することで、レンズユニット９００の動作を制御する。

カメラ本体９３１は、撮像光学系の一部である光学ローパスフィルタ９２１及び撮像素子１０６と、以下後述する駆動／制御系とを有する。以下、レンズユニット９００の第１レンズ群９０１、絞り９０２、第２レンズ群９０３、フォーカスレンズ９０４と、カメラ本体９３１の光学ローパスフィルタ９２１及び撮像素子１０６とを全体として撮影光学系と称す。

光学ローパスフィルタ９２１は、撮影画像の偽色やモアレを軽減する。

撮像素子１０６は、図２に示すように、マイクロレンズ２０７、上部透明電極２０５、瞳分割のための下部透明電極２０８，２０９、第２の光電変換部２０４、電気配線部２１０，２１１、第１の光電変換部２０２等により構成される。また、撮像素子１０６の有効画素領域は、図１Ａで説明した通り、水平方向の有効画素数は６０００画素であり、垂直方向の有効画素数は４０００画素である。

カメラ本体９３１の駆動／制御系は、撮像素子駆動回路９２３、画像処理回路９２４、カメラＭＰＵ９２５、表示部９２６、操作スイッチ群９２７、メモリ９２８、撮像面位相差焦点検出部９２９、及び切換部９３０を有する。

撮像素子駆動回路９２３は、撮像素子１０６の動作を制御するとともに、撮像素子１０６の第１及び第２の光電変換部２０２，２０４から出力される電気信号をＡ／Ｄ変換し、画像データとして画像処理回路９２４及びカメラＭＰＵ９２５に送信する。

画像処理回路９２４は、撮像素子駆動回路９２３からの画像データから、焦点検出用データと、静止画像や動画像からなる撮像画像データ、表示用画像データ、及び記録用画像データとを生成する。さらに、画像処理回路９２４は、その生成した各画像データに対し、例えばγ変換、ホワイトバランス調整処理、色補間処理、圧縮符号化処理など、デジタルカメラ９で行われる一般的な画像処理を行う。

カメラＭＰＵ９２５は、カメラ本体９３１に係る全ての演算、制御を行い、撮像素子駆動回路９２３、画像処理回路９２４、表示部９２６、操作スイッチ群９２７、メモリ９２８、撮像面位相差焦点検出部９２９を制御する。カメラＭＰＵ９２５はマウントＭの信号線を介してレンズＭＰＵ９１７と接続され、レンズＭＰＵ９１７とコマンドやデータを通信する。カメラＭＰＵ９２５はレンズＭＰＵ９１７に対し、レンズ位置の取得要求や、所定の駆動量での絞り９０２、フォーカスレンズ９０４、第１レンズ群９０１の駆動要求や、レンズユニット９００に固有の光学情報の取得要求などを行う。また、カメラＭＰＵ９２５は、レンズＭＰＵ９１７から取得したレンズ位置に基づきレンズユニット９００の射出瞳距離を算出する。その後、カメラＭＰＵ９２５は、その算出結果に応じて、第１または第２の光電変換部２０２，２０４のどちらから出力された電気信号を焦点検出に用いるかを判断し、判断結果を切換部９３０へ伝達する。切換部９３０は、この判断結果に従って撮像素子駆動回路９２３を制御し、焦点検出に用いる信号を第１及び第２の光電変換部２０２，２０４から出力される電気信号の少なくとも一方とする。カメラＭＰＵ９２５には、カメラ動作を制御するプログラムを格納したＲＯＭ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９２５ａ、変数を記憶するＲＡＭ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９２５ｂが内蔵されている。さらに、カメラＭＰＵ９２５には、諸パラメータを記憶するＥＥＰＲＯＭ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）９２５ｃが内蔵されている。

表示部９２６はＬＣＤ（ＬＣＤ： ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）などから構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群９２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。本実施形態の記録手段としてのメモリ９２８は、着脱可能なフラッシュメモリで、撮影済み画像を記録する。第１及び第２の光電変換部２０２，２０４から出力される電気信号から、静止画像の撮像画像データだけでなく動画像の撮像画像データも生成される場合、メモリ９２８を動画像用と静止画像用とに分けて用意してもよい。

撮像面位相差焦点検出部９２９は、画像処理回路９２４により得られる第１の光電変換部２０２からの焦点検出用データを用いて位相差検出方式で焦点検出処理を行う。具体的には、画像処理回路９２４が、撮像光学系の一対の瞳領域を通過する光束で形成される第１及び第２の光電変換部２０２，２０４の少なくとも一方から出力された電気信号に基づく一対の像データ（視差画像のデータ）を焦点検出用データとして生成する。撮像面位相差焦点検出部９２９はこの一対の像データのずれ量を検出し、その検出したずれ量に基づいて焦点ずれ量（デフォーカス量）を算出する。このように、本実施形態の撮像面位相差焦点検出部９２９は、専用のＡＦセンサを用いず、撮像素子１０６の出力に基づく位相差ＡＦ（瞳分割位相差ＡＦ）を行う。

（瞳分割位相差ＡＦ）
ここで、瞳分割位相差ＡＦの原理について、撮像画素１０２の第２の光電変換部２０４を用いた場合を例として説明する。ただし、瞳分割された光電変換部を用いて焦点検出を行う限り、基本的原理は第１の光電変換部２０２を用いても同じである。

撮像素子１０６の撮像面４０６における撮像画素１０２の位置と瞳分割との対応関係を示した概略図を図４に示す。線４０４は、被写体の位置を示し、位置４０５にあるフォーカスレンズ９０４を通して被写体像を撮像面４０６に形成する。また位置４０９は撮像画素１０２の第２の光電変換部２０４のｚ方向における中央付近を表す。撮像画素１０２の第２の光電変換部２０４は、下部透明電極２０８に対応する光電変換膜部分と下部透明電極２０９に対応する光電変換膜部分において夫々、瞳部分領域４０７と瞳部分領域４０８の異なる瞳部分領域を通過する光束を受光する。

画像処理回路９２４は、撮像画素１０２の下部透明電極２０８，２０９の夫々から出力される電気信号のうち、第２の光電変換部２０４の一対の領域に対応する電気信号を選び出す。すなわち、画像処理回路９２４は、撮像光学系の瞳部分領域４０７と瞳部分領域４０８の中の特定の瞳部分領域に対応した視差画像のデータを焦点検出用データとして生成する。同様の処理を、撮像素子１０６の他の撮像画素について行うことで、瞳部分領域４０７，４０８に対応した有効画素数の解像度の視差画像を得ることができる。

また、画像処理回路９２４は、撮像素子１０６の全ての撮像画素の、下部透明電極２０８に対応する光電変換膜部分と下部透明電極２０９に相当する光電変換部分の電気信号が全て加算された画像データを撮像画像データとする。これにより、撮像素子１０６の全有効画素数を解像度とする視差のない撮像画像が生成される。

なお本実施形態では、図４のように、撮像画素１０２の位置が撮像素子１０６の撮像面４０６の中央から遠いほどそのマイクロレンズ２０７が撮像画素１０２の中央側から偏心している。これは、撮像素子１０６の撮像面４０６の中央から遠い部分では撮像光学系からの主光線の方向がより傾くため、この傾きに対応するためである。

以下、本実施形態における視差画像の像ずれ量とデフォーカス量の関係について説明する。

図５は、本実施形態に係る視差画像間の像ずれ量とデフォーカス量の概略関係図である。撮像面４０６に本実施形態の撮像素子１０６（不図示）が配置され、図４と同様に、撮像光学系の射出瞳が、瞳部分領域４０７と瞳部分領域４０８に２分割される。

デフォーカス量ｄは、被写体の結像位置から撮像面４０６までの距離を大きさ（｜ｄ｜）を示す。また、被写体の結像位置が撮像面４０６より被写体側にある前ピン状態を負符号（ｄ＜０）、被写体の結像位置が撮像面４０６より被写体の反対側にある後ピン状態を正符号（ｄ＞０）を用いる。被写体の結像位置が撮像面４０６にある合焦状態はｄ＝０である。図５で、被写体５０１は合焦状態（ｄ＝０）の例を示しており、被写体５０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体５０２からの光束のうち、瞳部分領域４０７（４０８）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面４０６で被写体像がボケた像となる。ボケた像は、第２の光電変換部２０４の下部透明電極２０８，２０９の夫々に対応する光電変換膜部分により受光され、画像処理回路９２４において２つの視差画像として生成される。さらに、撮像面位相差焦点検出部９２９は、この生成された２つの視差画像間の像ずれ量を検出する。すなわち、撮像面位相差焦点検出部９２９は、この視差画像により重心位置Ｇ１（Ｇ２）に、被写体５０２が幅Γ１（Γ２）にボケた被写体像として取得されたことを検出する。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、視差画像間の被写体像の像ずれ量ｐ（＝Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、視差画像間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。合焦状態（ｄ＝０）では、視差画像間の被写体像の重心位置が一致（ｐ＝０）し、像ずれは生じない。

したがって、第２の光電変換部２０４の下部透明電極２０８，２０９の夫々に対応する光電変換膜部分からの電気信号を用いて得られる二つ（複数）の視差画像の像ずれ量ｐは、視差画像のデフォーカス量ｄの大きさが増加するのに伴い増加する。本実施形態では、撮像素子１０６の各撮像素子について、第２の光電変換部２０４からの信号を用いて視差画像間の像ずれ量ｐを相関演算により算出することで、瞳分割位相差方式の焦点検出を行うことができる。本実施形態では、同様の原理を用いて、第１の光電変換部２０２を用いた場合も瞳分割位相差方式の焦点検出を行うことができる。

（センサ瞳距離の定義）
図２で上述したように、撮像画素１０２は、分割された第１及び第２の光電変換部２０２，２０４を有する。また、図６に示すように、撮像面４０６上における撮像画素１０２の位置に関係なく、焦点検出に用いる光電変換部が第１及び第２の光電変換部２０２，２０４のいずれであるかに応じてセンサ瞳距離が定義される。

図６（ａ）は、第１の光電変換部２０２を焦点検出に用いる場合に定義されるセンサ瞳距離を示し、図６（ｂ）は、第２の光電変換部２０４を焦点検出に用いる場合に定義されるセンサ瞳距離を示す。

図６（ａ），（ｂ）のいずれの場合も、撮像画素１０２が、撮像素子１０６の撮像面４０６における中央に位置する画素（中央画素）である場合と、中央からｘ方向において離れた周辺の位置する画素（周辺画素）である場合を示す。

以下、図６（ａ）を用いてセンサ瞳距離を説明する。ここでは、構造ばらつきなどの原理的に関係の薄い要素は無視する。

１点鎖線で示す主光線６０６，６０７は、第１の光電変換部２０２の分離領域に到達する光線を示す。中央画素の分離領域に到達する主光線６０６は、マイクロレンズ２０７の頂点をとおり、紙面上ｚ方向に平行な光線となる。これに対して、周辺画素のマイクロレンズ２０７は撮像素子１０６の撮像面４０６の中央に向かって偏心（中央方向に向かって偏るように並進操作されている）している。よって、周辺画素の分離領域に到達する主光線６０７は、その偏心したマイクロレンズ２０７の頂点を通る。主光線６０６，６０７は交わり、交点６０９を形成する。この時の、マイクロレンズ２０７の頂点位置６０３から、交点６０９までのｚ方向での距離を、センサ瞳距離と定義する。

上述の通り、撮像画素１０２は、ｚ方向において位置の異なる第１及び第２の光電変換部２０２，２０４がある。よって、図６（ａ），（ｂ）に示すように、第１の光電変換部２０２を用いる場合のセンサ瞳距離６０４と、第２の光電変換部２０４を用いる場合のセンサ瞳距離６０５は異なる。ここでは、第１及び第２の光電変換部２０２，２０４のうち、ｚ方向に関する位置がマイクロレンズ２０７に近いほど、そのセンサ瞳距離は短くなる。

（焦点検出可能射出瞳距離範囲の決定方法）
上述のように、マイクロレンズ２０７と第１及び第２の光電変換部２０２，２０４の夫々との位置関係により、センサ瞳距離が決定される。瞳分割位相差方式の焦点検出性能は、センサ瞳距離と撮像光学系の射出瞳距離の関係に大きく依存し、センサ瞳距離と射出瞳距離が一致する場合に最も性能が高くなる。ここでの性能とは、像ずれ量をデフォーカス量に換算する係数の精度であり、この精度が低いと像ずれ量をデフォーカス量に換算した際の算出デフォーカス量が実際のデフォーカス量から大きくずれてしまう。この結果、算出結果を焦点調節にフィードバックした際に、真の合焦位置を中心とする焦点深度からはずれてしまい、焦点調節をしたにもかかわらず、撮像面４０６で被写体像がボケた像となる。

焦点調節を行った際、焦点深度内におさまる精度を確保できる条件は、センサ瞳距離と射出瞳距離のずれ量がどれだけの範囲に収まっているか、撮像面４０６上のどの領域で焦点検出をするか、及びＦ値などによる。例えば、撮像条件としてＦ値がＦ１６、撮像面４０６上の有効画素領域の中央位置からｘ方向に８０パーセントの位置の領域で焦点検出を行う場合、センサ瞳距離から許容される射出瞳距離のずれ量の範囲は一意に決定される。

例えば第１の光電変換部２０２からの電気信号を焦点検出に用いた場合、図７に示すように、センサ瞳距離６０４から許容される射出瞳距離のずれ量は、範囲７０１となる。つまり、この条件で焦点検出が可能な射出瞳距離（焦点検出可能射出瞳距離範囲）は、距離７０２から距離７０３の範囲に決定される。以下、第１の光電変換部２０２を用いた場合の焦点検出可能射出瞳距離範囲を第１の焦点検出可能射出瞳距離範囲と称し、第２の光電変換部２０４を用いた場合の焦点検出可能射出瞳距離範囲を第２の焦点検出可能射出瞳距離範囲と称す。

ただし現実的には範囲７０１を超えるような範囲７０４に対応すべき状況も多い。かかる状況の場合、第１の光電変換部２０２のみでは、レンズユニット９００の射出瞳距離が範囲７０５や範囲７０６に含まれる場合に焦点検出ができない、もしくは、焦点調節の精度の低くなってしまう。同様のことが、第２の光電変換部２０４のみを用いて焦点検出を行う場合にもいえる。

尚、第１及び第２の焦点検出可能射出瞳距離範囲の調節は上記実施形態の方法に限定されない。例えば、撮像素子１０６の撮像面４０６に平行な面内において、副光電変換部２０２ａ，２０２ｂの分割位置と、下部透明電極２０８，２０９の分離位置を異なる位置とすることでも、調節可能である。

（焦点検出可能射出瞳距離範囲の拡大方法）
撮像画素１０２は、図６で説明したように、２つのセンサ瞳距離６０４，６０５を有する。また、図８に示すように、撮像素子１０６の撮像面４０６を基準とする、マイクロレンズ２０７及び第１の光電変換部２０２から定まる焦点検出が可能な射出瞳距離のずれ量は、範囲８０１となる。同様に、撮像素子１０６の表面４０６を基準とする、マイクロレンズ２０７及び第２の光電変換部２０４から定まる焦点検出が可能な射出瞳距離のずれ量は、範囲８０２となる。

よって、カメラＭＰＵ９２５は、位相差ＡＦを開始すると、まず、レンズユニット９００の性能により焦点検出すべき射出瞳距離範囲を算出する。その後、算出された射出瞳距離範囲と、第１及び第２の焦点検出可能射出瞳距離範囲とから、第１及び第２の光電変換部２０２，２０４の少なくとも一方からの電気信号を焦点検出に用いるように設定する。

例えば、焦点検出に第１の光電変換部２０２から出力される電気信号のみが用いられた場合、レンズユニット９００の性能により焦点検出すべき射出瞳距離範囲として設定すべき範囲８０６のうち、焦点検出が不可能な範囲８０７が生じる。よってカメラＭＰＵ９２５は、範囲８０７に射出瞳距離が含まれる場合、第２の光電変換部２０４から出力される電気信号を焦点検出に用いるように設定する。

これにより、従来の撮像素子のようにセンサ瞳距離が単一の場合の焦点検出可能射出瞳距離範囲よりも、本実施形態に係る撮像素子１０６は、大幅に焦点検出可能射出瞳距離範囲を拡大することができる。

（第１及び第２の焦点検出可能射出瞳距離範囲の設計方法）
また、範囲８０１と範囲８０２を一部がオーバーラップするように（重なるように）設計する。これにより、範囲８０１，８０２の夫々の境界付近の射出瞳距離を有するレンズユニット９００がカメラ本体９３１に装着された場合であっても、焦点検出を精度よく行うことが可能となる。この範囲８０１，８０２がオーバーラップする範囲を図８では重なり範囲８０４として示す。重なり範囲８０４は、第１及び第２の焦点検出可能射出瞳距離範囲のうち長い方（ここでは第１の焦点検出可能射出瞳距離範囲）を基準として、その５パーセント以上４０パーセント以内、好ましくはその１０パーセント以上３０パーセント以内に設定される。具体的には、製造ばらつきなどによる範囲８０１，８０２の重なりのずれ、範囲８０１，８０２の夫々の端では焦点検出の精度がやや落ちること、及び全焦点検出可能射出瞳距離範囲を従来より拡大することの３つ観点から重なり範囲８０４が設定される。

（切換部）
本実施形態に係るレンズユニット９００とカメラ本体９３１の間では、互いの状況の通信が可能である。よって、撮像時に射出瞳距離がレンズユニット９００側からカメラ本体９３１側に伝えられる。また、レンズユニット９００のカメラ本体９３１への装着時や、レンズユニット９００のいずれかのレンズの条件の変更時も、射出瞳距離がカメラ本体９３１に伝えられる。カメラＭＰＵ９２５は、レンズユニット９００側から伝えられた射出瞳距離を検知すると、その検知した射出瞳距離が、図８における範囲８０１，８０２のどちらに含まれるかを判断する。カメラＭＰＵ９２５は、この判断結果に基づき、光電変換部２０２，２０３のどちらからの電気信号を焦点検出に用いるかを決定し、必要に応じて切換部９３０が撮像素子駆動回路９２３を制御し、撮像素子１０６における信号処理のパスの切り換えを行う。射出瞳距離が図６（ａ），（ｂ）のいずれのセンサ瞳距離６０４，６０５に近いかにより上記判断を行うことができるが、これに限定するものではない。

また、重なり範囲８０４に含まれる射出瞳距離については、カメラＭＰＵ９２５は、第１及び第２の光電変換部２０２，２０４の両方からの電気信号を焦点検出に用いると判断する。この場合、撮像面位相差焦点検出部９２９は、第１の光電変換部２０２からの電気信号を用いた焦点検出と、第２の光電変換部２０４からの電気信号を焦点検出の両方を行う。カメラＭＰＵ９２５は、得られた２つ焦点検出結果のうち、信頼性の高い方の結果を撮像時のフォーカスレンズ９０４の焦点調節に用いる。これにより、精度の高い焦点調節を実行することが可能とある。尚、本実施形態では、撮像素子１０６の隣接する撮像画素で得られた視差画像間の像ずれ量の差が小さい程、焦点検出結果の信頼性が高いと判断する。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

［その他の実施例］
本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施例の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。

１０６ 撮像素子
１０２〜１０５ 撮像画素
２０２ａ，２０２ｂ 副光電変換部
２０２ 第１の光電変換部
２０４ 第２の光電変換部
２０５ 上部透明電極
２０８，２０９ 下部透明電極
２０７ マイクロレンズ
９ デジタルカメラ
９０４ フォーカスレンズ
９１７ レンズＭＰＵ
９２５ カメラＭＰＵ
９２９ 撮像面位相差焦点検出部
９３０ 切換部

Claims (12)

1. 撮像面上に複数の撮像画素を備える撮像素子であって、
   前記複数の撮像画素は夫々、
   基板の光入射側の表面に形成された、電気的に分割された複数の副光電変換部からなる第１の光電変換部、
   前記第１の光電変換部より光入射側に設けられ、一方の面に一つの透明電極、他方の面に互いに電気的に分離された少なくとも二つの透明電極が形成された、可視光帯域において光の一部を吸収してそれ以外を透過させる第２の光電変換部、及び
   前記第２の光電変換部より光入射側に、前記撮像素子の前記撮像面の中央からの距離に応じて偏心して配置されるマイクロレンズを備え、
   前記第１及び第２の光電変換部の少なくとも一方からの電気信号は、瞳分割位相差方式の焦点検出を行うために用いられることを特徴とする撮像素子。
2. 前記第１の光電変換部は、前記第１の光電変換部と前記マイクロレンズとの位置関係で決定される第１の焦点検出可能射出瞳距離範囲での瞳分割位相差方式の焦点検出に対応する位置に配置され、前記第２の光電変換部は、前記第２の光電変換部と前記マイクロレンズとの位置関係で決定される第２の焦点検出可能射出瞳距離範囲での瞳分割位相差方式の焦点検出に対応する位置に配置されることを特徴とする請求項１記載の撮像素子。
3. 前記第１及び前記第２の焦点検出可能射出瞳距離範囲の一部は重なる範囲を有し、当該範囲は、前記第１及び第２の焦点検出可能射出瞳距離範囲のうち長い方を基準としてその４０パーセント以内、１０パーセント以上であることを特徴とする請求項２記載の撮像素子。
4. 前記第１の光電変換部の前記複数の副光電変換部の分割位置と、前記第２の光電変換部の前記他方の面に形成された前記電気的に分離された二つの透明電極の分離位置が、前記撮像面に平行な面内において異なる位置にあることを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。
5. 前記第２の光電変換部は、有機光電変換膜からなることを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
6. 前記第２の光電変換部は、量子ドットフィルムであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
7. 結像光学系と、撮像面上に複数の撮像画素を備える撮像素子を有する本体部とを備える撮像装置であって、
   前記複数の撮像画素は夫々、
   基板の光入射側の表面に形成された、電気的に分割された複数の副光電変換部からなる第１の光電変換部、
   前記第１の光電変換部より光入射側に設けられ、一方の面に一つの透明電極、他方の面に互いに電気的に分離された少なくとも二つの透明電極が形成された、可視光帯域において光の一部を吸収してそれ以外を透過させる第２の光電変換部、及び
   前記第２の光電変換部より光入射側に、前記撮像素子の前記撮像面の中央からの距離に応じて偏心して配置されるマイクロレンズを備え、
   前記本体部は、
   前記第１及び第２の光電変換部の少なくとも一方からの信号を用いて瞳分割位相差方式の焦点検出を行うための焦点検出手段と、
   前記結像光学系のレンズ位置を取得する取得手段と、
   前記取得したレンズ位置に基づき、前記結像光学系の射出瞳距離を算出する算出手段と、
   瞳分割位相差方式の焦点検出を行う焦点検出手段と、
   前記第１の光電変換部と前記マイクロレンズとの位置関係で決定される第１の焦点検出可能射出瞳距離範囲、前記第２の光電変換部と前記マイクロレンズとの位置関係で決定される第２の焦点検出可能射出瞳距離範囲、及び前記算出された前記結像光学系の射出瞳距離の関係から、前記焦点検出を行うために用いられる電気信号を、前記第１及び第２の光電変換部から出力される電気信号の少なくとも一方に設定する設定手段とを備えることを特徴とする撮像装置。
8. 前記第１及び前記第２の焦点検出可能射出瞳距離範囲の一部は重なる範囲を有し、
   前記設定手段は、前記算出された前記結像光学系の射出瞳距離が、前記範囲内に含まれる場合、瞳分割位相差方式の焦点検出を行うために用いられる電気信号を、前記第１及び第２の光電変換部の両方から出力される電気信号に設定し、
   前記焦点検出手段は、当該設定がされた場合、前記第１の光電変換部からの電気信号を用いた前記焦点検出、及び前記第２の光電変換部からの電気信号を用いた前記焦点検出を行い、
   前記焦点検出手段による前記焦点検出結果の信頼性の高い方の結果を用いて撮像時の前記結像光学系の焦点調節を行うことを特徴とする請求項７記載の撮像装置。
9. 前記取得手段は、前記結像光学系から前記レンズ位置を取得することを特徴とする請求項７又は８記載の撮像装置。
10. 前記第１及び第２の光電変換部の少なくとも一方の信号を用いて撮像を行う撮像手段をさらに備えることを特徴とする請求項７乃至９のいずれか１項に記載の撮像装置。
11. 結像光学系と、撮像面上に複数の撮像画素を備える撮像素子を有する本体部とを備える撮像装置の制御方法であって、
    前記複数の撮像画素は夫々、
    基板の光入射側の表面に形成された、電気的に分割された複数の副光電変換部からなる第１の光電変換部、
    前記第１の光電変換部より光入射側に設けられ、一方の面に一つの透明電極、他方の面に互いに電気的に分離された少なくとも二つの透明電極が形成された、可視光帯域において光の一部を吸収してそれ以外を透過させる第２の光電変換部、及び
    前記第２の光電変換部より光入射側に、前記撮像素子の前記撮像面の中央からの距離に応じて偏心して配置されるマイクロレンズを備え、
    前記本体部において、
    前記第１及び第２の光電変換部の少なくとも一方からの信号を用いて瞳分割位相差方式の焦点検出を行うための焦点検出ステップと、
    前記結像光学系のレンズ位置を取得する取得ステップと、
    前記取得したレンズ位置に基づき、前記結像光学系の射出瞳距離を算出する算出ステップと、
    瞳分割位相差方式の焦点検出を行う焦点検出ステップと、
    前記第１の光電変換部と前記マイクロレンズとの位置関係で決定される第１の焦点検出可能射出瞳距離範囲、前記第２の光電変換部と前記マイクロレンズとの位置関係で決定される第２の焦点検出可能射出瞳距離範囲、及び前記算出された前記結像光学系の射出瞳距離の関係から、前記焦点検出を行うために用いられる電気信号を、前記第１及び第２の光電変換部から出力される電気信号の少なくとも一方に設定する設定ステップとを有することを特徴とする制御方法。
12. 請求項１１記載の制御方法を実行することを特徴とするプログラム。

Images