JP2012022147A - 位相差検出用情報取得装置、位相差検出装置、撮像装置 - Google Patents

Abstract

【課題】開発コストや製造コストの上昇を抑制しながら、位相差検出用情報の取得を可能とする位相差検出用情報取得装置等を提供する。
【解決手段】光学的な被写体像を形成するレンズと、フォトダイオード３２や遮光マスク３３等を備える画素が撮像面上に複数配列されていて、これらの画素により被写体像を光電変換して出力する撮像素子３と、レンズと撮像素子３との間に配置され、レンズからの光束を、ある画素列へはある瞳領域の光束として通過させ、このある画素列の近傍に平行となるように設けられた他のある画素列へは他のある瞳領域の光束として通過させる光学フィルタ２と、を備えた位相差検出用情報取得装置。
【選択図】図１０

Description

本発明は、異なる瞳領域を通過した光束により各形成される被写体像間の位相差を検出するための位相差検出用情報を取得する位相差検出用情報取得装置、位相差検出装置、撮像装置に関する。

異なる瞳領域を通過した光束により各形成される被写体像間の位相差を検出することによって合焦位置からのずれを検出する位相差ＡＦ検出システムは、従来より製品化され、一眼レフレックスタイプのカメラにおいて広く普及している。

ここに、従来の一般的な位相差ＡＦ検出システムは、撮影用のレンズを通過した光束を複数の瞳に分割して投影するためのコンデンサレンズ、瞳分割マスク、セパレータレンズ、および瞳分割された光束を光電変換するラインセンサなどを備えて構成されている。

このように一般的な位相差ＡＦ検出システムは、被写体の画像を撮像するための撮像素子とは別途に構成されたものとなっていて、クイックリターンミラーの一部をハーフミラーとして、このハーフミラーの背面側に配設されたサブミラーによって反射した光束により検出を行うようになっていた。そして、このような構成の位相差ＡＦ検出システムでは、撮像素子による撮像を行うためにクイックリターンミラーを光路上から退避させている最中はＡＦ検出を行うことができなかった。また、連写撮影においては１枚の画像を撮像する毎にクイックリターンミラーを光路中に挿入しなければ位相差ＡＦ検出を行うことができず、単位時間当たりの連写枚数の上限を抑制するものとなっていた。さらに、クイックリターンミラーを退避させた状態で撮像素子により行われる動画像撮影に対しても、従来の一般的な位相差ＡＦ検出システムは適していなかった。

そこでこうした点を改善し得る技術として、例えば特開２００９−２４４８６２号公報には、通常の撮影画素に加えて、焦点検出を行うための焦点検出画素を配置して、撮像と焦点検出とを同時に行うことができるようにした撮像素子が記載されている。該公報に記載された技術の概要について、図２２〜図２４および図２７を参照して説明する。ここに、図２２は撮像素子に設けられた撮影画素９１の構成を示す図、図２３は撮像素子に設けられた瞳Ａ焦点検出画素９１Ａの構成を示す図、図２４は撮像素子に設けられた瞳Ｂ焦点検出画素９１Ｂの構成を示す図、図２７は撮像素子における各画素９１，９１Ａ，９１Ｂの配置例を示す図である。

まず、図２２〜図２４に示すように、各画素９１，９１Ａ，９１Ｂは、半導体基板３１上にフォトダイオード３２を形成してなる光電変換部と、遮光マスクとを備えている。そしてこれらの図に示す例では、各画素９１，９１Ａ，９１Ｂ上に、開口率を上げるためのマイクロレンズ３４が設けられている。

このような構成において、図２２に示すように、通常の撮影画素９１は、遮光マスク３３が、結像光学系の瞳（本発明に係る図１４の瞳１Ｓ参照）から入射する光束を全てフォトダイオード３２へ通過させることができる大きさの開口を備えている。

一方、図２３に示すように、瞳Ａ焦点検出画素９１Ａは、遮光マスク３３Ａが、結像光学系の瞳（図１４の瞳１Ｓ参照）から入射する光束の内の、一部の瞳領域（図１４の瞳領域１Ａ参照）から入射する光束をフォトダイオード３２へ通過させることができる大きさの開口となるように（従って、遮光マスク３３Ａの開口中心もフォトダイオード３２の中心に立てた垂線からシフトした位置となるように）構成されている。

また、図２４に示すように、瞳Ｂ焦点検出画素９１Ｂは、遮光マスク３３Ｂが、結像光学系の瞳（図１４の瞳１Ｓ参照）から入射する光束の内の、一部の瞳領域（図１４の瞳領域１Ｂ参照）から入射する光束をフォトダイオード３２へ通過させることができる大きさの開口となるように（従って、遮光マスク３３Ｂの開口中心もフォトダイオード３２の中心に立てた垂線から上述した遮光マスク３３Ａの開口中心とは逆方向にシフトした位置となるように）構成されている。

そして、図２７に示すように、上述したような構成の焦点検出画素９１Ａ，９１Ｂが、撮影画素９１が配列された撮像面上に、交互に離散的に配置されている。ここに図２７には、垂直１１画素×水平２８画素の撮像面に、撮影画素９１が２５８個、瞳Ａ焦点検出画素９１Ａが２５個、瞳Ｂ焦点検出画素９１Ｂが２５個、配置された例を示している。

このような構成の撮像素子を用いて撮像を行うと、互いに近傍に位置する、撮影画素９１群と、瞳Ａ焦点検出画素９１Ａ群と、瞳Ｂ焦点検出画素９１Ｂ群と、が合焦時に示す被写体パターンは、そのままで（つまり位相差を考慮しなくても）相関性が高いものになる。これに対して、非合焦時に示す被写体パターンは、焦点ずれ量に応じた位相差を考慮しないと相関性が高いものとはならない（本発明に係る図１６〜図１９等参照）。そこで、位相差と合焦位置からのレンズのずれ量との関係を予め測定もしくは算出等して記憶しておき、検出された位相差に基づいて、その位相差を０にすることができるようなレンズ移動量を求め、求めた移動量だけレンズを駆動することにより自動焦点調節を行うのが、いわゆる位相差ＡＦである。

ところで、このような画素構成の撮像素子の場合には、焦点検出画素９１Ａ，９１Ｂの画素値は、一般に、撮影画素の画素値として使用することはできない。何故ならば、まず第１に、撮影画素９１へ到達する光束と焦点検出画素９１Ａ，９１Ｂへ到達する光束とは瞳径が異なるために、輝度レベルが異なるからである。さらに、仮にゲイン調整を行って輝度レベルを揃えたとしても、依然として使用することができるとは限らない。合焦状態にある焦点検出画素９１Ａ，９１Ｂであれば、該焦点検出画素９１Ａ，９１Ｂが撮影画素である場合と同一空間位置の（同一位相の）被写体部分の情報を取得することができるが、合焦状態にない焦点検出画素９１Ａ，９１Ｂの場合には、撮影画素とは異なる空間位置の（位相が異なる）被写体部分の情報を取得してしまうことになる。そして、複数の焦点検出画素９１Ａ，９１Ｂが全て同時に合焦状態になることは一般的ではない。このような理由から、焦点検出画素９１Ａ，９１Ｂの画素位置については、近傍の撮影画素９１の画素値を用いて補間することにより、撮影画像を生成するようになっている。

特開２００９−２４４８６２号公報

なお、上述したような焦点検出画素９１Ａ，９１Ｂとほぼ同様の機能は、マイクロレンズの位置を調整することによっても達成可能であると考えられる。図２５は撮像素子に設けられた瞳Ａ焦点検出画素の他の構成を示す図、図２６は撮像素子に設けられた瞳Ｂ焦点検出画素の他の構成を示す図である。

図２５に示すように、瞳Ａ焦点検出画素９１Ａは、マイクロレンズ３４Ａが、結像光学系の瞳（図１４の瞳１Ｓ参照）から入射する光束の内の、一部の瞳領域（図１４の瞳領域１Ａ）から入射する光束を集光してフォトダイオード３２へ照射するように、フォトダイオード３２の中心に立てた垂線からシフトした位置に配設されている。

また、図２６に示すように、瞳Ｂ焦点検出画素９１Ｂは、マイクロレンズ３４Ｂが、結像光学系の瞳（図１４の瞳１Ｓ参照）から入射する光束の内の、一部の瞳領域（図１４の瞳領域１Ｂ）から入射する光束を集光してフォトダイオード３２へ照射するように、フォトダイオード３２の中心に立てた垂線から上述したマイクロレンズ３４Ａとは逆方向にシフトした位置に配設されている。

しかしながら、上述したような焦点検出機能を備えた撮像素子は、瞳分割を行うために、焦点検出画素における遮光マスクの開口位置またはマイクロレンズの位置を、撮影画素における該当位置と異ならせる構成であるために、撮像素子自体の構造を、焦点検出機能を備えていない通常の撮像素子とは異ならせる必要がある。従って、開発コストを要するとともに、高い製作精度が要求されることから製造歩留まりも低下すると思われ、すなわち製造コストが高くなることになる。

また、従来の一般的な位相差ＡＦ検出システムは、上述したように、ラインセンサとは別にコンデンサレンズ、瞳分割マスク、セパレータレンズなどが必要であるために、これらの部品コストや組み立てコストなどの製造コストが高くなることになる。

本発明は上記事情に鑑みてなされたものであり、開発コストや製造コストの上昇を抑制しながら、位相差検出用情報の取得を可能とする位相差検出用情報取得装置、位相差検出装置、撮像装置を提供することを目的としている。

上記の目的を達成するために、本発明の第１の態様による位相差検出用情報取得装置は、光学的な被写体像を形成する結像光学系と、上記被写体像が形成される撮像面上に複数の画素が配列されていて、該画素により該被写体像を光電変換して出力する撮像素子と、上記結像光学系と上記撮像素子との間に配置され、上記結像光学系からの光束を、ある画素列へはある瞳領域の光束として通過させ、該ある画素列と平行となるように該ある画素列の近傍に設けられた他のある画素列へは他のある瞳領域の光束として通過させる瞳領域制御光学部材と、を具備したものである。

また、本発明の第２の態様による位相差検出装置は、上記第１の態様による位相差検出用情報取得装置と、上記撮像素子からの上記ある画素列の出力と上記他のある画素列の出力とに基づいて、該ある画素列に結像された被写体像と、該他のある画素列に結像された被写体像と、の位相差を算出する位相差演算部と、を具備したものである。

さらに、本発明の第３の態様による撮像装置は、上記第２の態様による位相差検出装置を具備し、上記瞳領域制御光学部材は、上記撮像素子に配列された複数の画素の内の一部の画素にのみ特定の瞳領域の光束を通過させて、該一部の画素を焦点検出画素として用い得るようにするものであり、上記焦点検出画素以外の画素の少なくとも一部は撮影画素である。

本発明の位相差検出用情報取得装置、位相差検出装置、撮像装置によれば、開発コストや製造コストの上昇を抑制しながら、位相差検出用情報の取得が可能となる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１において、光学フィルタおよび撮像素子の具体的な構成例を示す斜視図。 上記実施形態１において、光学フィルタおよび撮像素子の図２における３−３断面の要部を示す図。 上記実施形態１において、光学フィルタの図２における４−４断面の一部を示す図。 上記実施形態１において、他の構成の光学フィルタにおける視野角制御光学素子のある水平ライン該当部分の断面の一部を示す図。 上記実施形態１において、他の構成の光学フィルタにおける視野角制御光学素子の他の水平ライン該当部分の断面の一部を示す図。 上記実施形態１において、ルーバーフィルムの光学特性を測定するときの設定を示す図。 上記実施形態１において、ルーバーフィルムの光学特性の一例を示す図。 上記実施形態１における撮影画素の構成を示す断面図。 上記実施形態１における瞳Ａ焦点検出画素の構成を示す断面図。 上記実施形態１における瞳Ｂ焦点検出画素の構成を示す断面図。 上記実施形態１における瞳Ａ焦点検出画素の他の構成を示す断面図。 上記実施形態１における瞳Ｂ焦点検出画素の他の構成を示す断面図。 上記実施形態１におけるレンズの瞳および瞳領域を示す図。 上記実施形態１における光学フィルタの製造方法の一例を示す図。 上記実施形態１において、合焦位置から少しだけずれているときのレンズと撮像素子との関係を示す図。 上記実施形態１において、合焦位置から少しだけずれているときの撮影画素、瞳Ａ焦点検出画素、瞳Ｂ焦点検出画素の各出力を示す線図。 上記実施形態１において、合焦位置からのずれが大きくなったときのレンズと撮像素子との関係を示す図。 上記実施形態１において、合焦位置からのずれが大きくなったときの撮影画素、瞳Ａ焦点検出画素、瞳Ｂ焦点検出画素の各出力を示す線図。 上記実施形態１において、十文字状の視野角制御光学素子を設けた光学フィルタおよび撮像素子の構成例を示す斜視図。 上記実施形態１において、瞳Ａ〜Ｄ焦点検出画素の構成を示すｘ方向およびｙ方向断面図。 従来の撮像素子に設けられた撮影画素の構成を示す図。 従来の撮像素子に設けられた瞳Ａ焦点検出画素の構成を示す図。 従来の撮像素子に設けられた瞳Ｂ焦点検出画素の構成を示す図。 撮像素子に設けられた瞳Ａ焦点検出画素の他の構成を示す図。 撮像素子に設けられた瞳Ｂ焦点検出画素の他の構成を示す図。 従来の撮像素子における各画素の配置例を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図２１は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。

この撮像装置は、図１に示すように、レンズ１と、光学フィルタ２および撮像素子３を有する撮像部４と、撮像素子駆動部５と、焦点検出画素分離部６と、位相差演算部７と、デフォーカス量算出部８と、フォーカス駆動部９と、補間部１０と、画像処理部１１と、を備えている。

レンズ１は、光学的な被写体像を撮像素子３の複数の画素が配列された撮像面上に形成するための結像光学系である。このレンズ１は、フォーカスレンズ等を含んで構成されていて、フォーカス位置を調整可能なものとなっている。

光学フィルタ２は、レンズ１と撮像素子３との間に配置され、レンズ１からの光束を、ある画素列へはある瞳領域の光束として通過させ、該ある画素列と平行となるように該ある画素列の近傍に設けられた他のある画素列へは他のある瞳領域の光束として通過させる瞳領域制御光学部材である。

撮像素子３は、上述したレンズ１により形成された光学的な被写体像を、撮像面上の各画素により光電変換して出力するものである。

撮像部４は、光学フィルタ２および撮像素子３を備え、さらに、撮像素子３からアナログの画像信号を読み出してアナログ／デジタル（Ａ／Ｄ）変換回路によりデジタル化して画像データとして出力する撮像素子読出回路なども備えたものとなっている。この撮像部４からは、画像データが、例えば１画素単位で順次出力されるようになっている。

撮像素子駆動部５は、タイミング信号として垂直同期信号や水平同期信号を発生させ、これらタイミング信号に基づき画素リセット信号や画素読出信号などの駆動信号を生成して撮像素子３を駆動するものである。また、撮像素子駆動部５は、読出位置情報を焦点検出画素分離部６へ供給するようになっている。この読出位置情報は、画素読出信号を供給することにより撮像素子３から現在読み出しを行っている画素位置の情報である。さらに、撮像素子駆動部５は、発生したタイミング信号を位相差演算部７やその他の必要な回路（例えば、図示はしないが補間部１０、あるいは画像処理部１１等）に供給するようになっている。

焦点検出画素分離部６は、撮像素子駆動部５から供給された読出位置情報と、予め記憶している焦点検出画素の瞳種別毎の位置情報と、に基づいて、撮像素子３から読み出されている画素が撮影画素と焦点検出画素との内の何れであるかを示す画素種別情報を生成し、撮像部４から順次出力される画素データに同期して、位相差演算部７および補間部１０へ出力するものである。焦点検出画素分離部６は、読み出されている画素が焦点検出画素である場合には、さらに、読み出されている画素がどの瞳領域の光束が結像される画素であるかを示す瞳種別情報（後で説明するある具体例においては、瞳Ａ焦点検出画素（以下では適宜「瞳Ａ画素」などと略称する）であるかまたは瞳Ｂ焦点検出画素（以下では適宜「瞳Ｂ画素」などと略称する）であるかを示す情報）を生成し、撮像部４から順次出力される画素データに同期して位相差演算部７へ出力するようになっている。

位相差演算部７は、撮像素子３からの、ある瞳領域の光束を光電変換して得られた上記ある画素列の出力と、他のある瞳領域の光束を光電変換して得られた上記他のある画素列の出力と、に基づいて、レンズ１によりある瞳領域を通過して該ある画素列に結像された被写体像と、レンズ１により他のある瞳領域を通過して該他のある画素列に結像された被写体像と、の位相差を算出するものである。

すなわち、位相差演算部７は、焦点検出画素分離部６から出力される画素種別情報に基づいて、撮像素子３から読み出されている画素が撮影画素であるかまたは焦点検出画素であるかを判定する。そして、画素が撮影画素である場合には、該画素データは使用しない。一方、画素が焦点検出画素である場合には、さらに、焦点検出画素分離部６から出力される瞳種別情報に応じて区分して、該画素データを自己の内部に備えたバッファに記憶する（例えば、瞳Ａ画素であるかまたは瞳Ｂ画素であるかに応じて区分してバッファに記憶する）。そして、位相差演算に必要な画素データがバッファ内に蓄積されたところで、位相差演算部７は、内部に備える相関演算回路等を用いて相関演算を行う。この相関演算は、第１の瞳領域からの光束が結像される第１の画素列（例えば、後述する瞳Ａ画素列）と、この第１の瞳領域と異なる第２の瞳領域からの光束が結像される第２の画素列（例えば、後述する瞳Ｂ画素列）との画素値同士の差分を合計して相関関連値とすることにより行われる。そして位相差演算部７は、この相関関連値の算出を、第１の画素列と第２の画素列との相対的な画素位置を順次シフトさせながら、複数回に渡って行う。さらに位相差演算部７は、算出された複数の相関関連値の内の、最小の相関関連値（この最小の相関関連値は、相関性が最大であることに対応する）を与えるときの画素位置のシフト量を、位相差（より詳しくは、第１の画素列および第２の画素列の配列方向における空間位相差）としてデフォーカス量算出部８へ出力するようになっている。

デフォーカス量算出部８は、位相差演算部７により算出された位相差に基づいて、レンズ１に含まれるフォーカスレンズの合焦位置からのずれ量であるデフォーカス量を算出し、フォーカス駆動部９へ出力するものである。

フォーカス駆動部９は、デフォーカス量算出部８から受信したデフォーカス量に基づいてフォーカスレンズを駆動することにより、レンズ１のフォーカス位置を調整するものである。

補間部１０は、焦点検出画素の画素値を、該焦点検出画素の近傍に位置する撮影画素の画素値に基づき補間するものである。すなわち補間部１０は、焦点検出画素分離部６から出力される画素種別情報に基づいて、撮像素子３から読み出されている画素が撮影画素であるかまたは焦点検出画素であるかを判定する。そして、画素が撮影画素である場合には、画素データをそのまま画像処理部１１へ出力すると共に、自己の内部に備えた例えば複数ライン分のバッファに記憶する。また、補間部１０は、画素が焦点検出画素である場合には、バッファに記憶している撮影画素の画素データの中の、該焦点検出画素の空間的近傍に位置する１以上の画素の画素データに基づき、公知の補間処理等を行う。そして、補間部１０は、補間処理後の画素データを、該焦点検出画素の画素位置の撮影画素データとして画像処理部１１へ出力する。

画像処理部１１は、補間部１０から出力される画像データに対して、ノイズ除去処理やエッジ強調処理、階調変換処理等の各種の画像処理を行うものである。

このような構成において、結像光学系であるレンズ１と、撮像素子３と、瞳領域制御光学部材である光学フィルタ２とは、位相差検出用情報取得装置に含まれる。また、この位相差検出用情報取得装置と、位相差演算部７とは、位相差検出装置に含まれる。このように撮像装置は、位相差検出用情報取得装置が適用された（具体的には、組み込まれた）ものであり、かつ位相差検出装置が適用された（同、組み込まれた）ものとなっている。

次に、図２は光学フィルタ２および撮像素子３の具体的な構成例を示す斜視図、図３は光学フィルタ２および撮像素子３の図２における３−３断面の要部を示す図、図４は光学フィルタ２の図２における４−４断面の一部を示す図である。

まず、図２、図３に示す例における撮像素子３は、複数の画素が、撮像面上の、あるライン方向と該ライン方向に交差する方向とに配列されたもの、より具体的には、撮像面上の行方向および列方向に配列されたものであることを想定している。

撮像素子３に形成された各画素は、図３に示すように、半導体基板３１上に形成されたフォトダイオード３２と、遮光マスク３３と、を備えている。

ここに、フォトダイオード３２は、受光した光量に応じた電荷を発生させるものであり、光電変換部を構成している。

遮光マスク３３は、フォトダイオード３２以外の部分に形成されている図示しない素子回路部分へ、レンズ１からの光が到達するのを遮断するためのものである。

そして、図２、図３に示す撮像素子３の場合には、各画素上、より詳しくは、遮光マスク３３の開口を介してフォトダイオード３２へ到達するレンズ１からの光束の光路上に、マイクロレンズ３４がさらに設けられている。このマイクロレンズ３４は、集光を行うことにより、レンズ１からフォトダイオード３２へ到達する光の光量を増加させるものであり、いわゆる開口率を上げるためのものである。マイクロレンズ３４の配置は、瞳領域制御光学部材である光学フィルタ２よりも光路上後方であるために、マイクロレンズ３４は光学フィルタ２と画素との間に画素毎に配置されていることになる。

このように撮像素子３は、現在製造されたり販売されたり製品に組み込まれたりしている一般的な撮像素子と同様の構成のものとなっている。従って、本実施形態においては、撮影画素と焦点検出画素は、撮像素子３上の画素自体の構成が異なることによるものではなく、画素とは別体に画素上に配置される光学フィルタ２の構成によって、撮影画素として機能するか、焦点検出画素として機能するか、が分化するものとなっている。

光学フィルタ２は、上述したような構成の撮像素子３の撮像面側に、該撮像素子３とは別部材として配設されたものである。この光学フィルタ２は、例えば図２に示すように、撮像面全体を覆う板状をなす透明部材２２に、撮像面上のあるライン方向（ここに「あるライン方向」は、撮像面上の任意の画素列の方向を指し、特定の読出ライン方向のみを指すものではない）に沿って、瞳領域を制御する機能を有するルーバーフィルムやライトコントロールフィルム等の視野角制御光学素子２１を設けたものとなっている。

この視野角制御光学素子２１は、図３および図４に示す例においては、一対の瞳領域（図１４に示す瞳領域１Ａ（瞳領域Ａ）および瞳領域１Ｂ（瞳領域Ｂ））を形成するものとなっていて、例えば、撮像面の中央付近を通るある水平ライン（行方向の画素列）の一本のレンズ１側に配置されるように構成されている。そして、視野角制御光学素子２１は、図４に示すように、水平ライン方向に沿って、第１の瞳領域（瞳領域Ａ）を形成する第１瞳制御部２１Ａと第２の瞳領域（瞳領域Ｂ）を形成する第２瞳制御部２１Ｂとを１画素単位で交互に配置したものとなっている。ただし、画素単位での交互の配置は、稠密な配置であるに限定されるものではなく、間に撮像画素を挟んでも構わない。このような構成によれば、１ライン分の画素データを読み出すだけで位相差検出を行うことができるために、信号を高速に処理することができる利点がある。

また、図５および図６は、視野角制御光学素子２１の他の構成例を示すものである。図５は他の構成の光学フィルタ２における視野角制御光学素子２１のある水平ライン該当部分の断面の一部を示す図、図６は他の構成の光学フィルタ２における視野角制御光学素子２１の他の水平ライン該当部分の断面の一部を示す図である。

図５および図６に示す視野角制御光学素子２１も、一対の瞳領域（図１４に示す瞳領域１Ａ（瞳領域Ａ）および瞳領域１Ｂ（瞳領域Ｂ））を形成するものとなっていて、第１の瞳領域（瞳領域Ａ）を形成する第１瞳制御部２１Ａと、第２の瞳領域（瞳領域Ｂ）を形成する第２瞳制御部２１Ｂとを、垂直方向（水平ライン方向に交差（直交）する方向）に沿って、撮像面の水平ラインに対応するライン単位で交互に配置したものとなっている。ただし、ライン単位での交互の配置は、稠密な配置であるに限定されるものではなく、間に撮像画素のみで構成される水平ラインを挟んでも構わない。また、第１瞳制御部２１Ａおよび第２瞳制御部２１Ｂは、１ラインずつ設けるに限るものではなく、複数ラインずつ設けても構わない。これら図５および図６に示した構成では、位相差検出を行うためには少なくとも２ライン分の画素データを読み出す必要があるが、第１瞳制御部２１Ａと第２瞳制御部２１Ｂとをライン単位で形成すればよいために、後述するように製造が簡単であり、図３および図４に示す構成よりも製造コストを安価にすることができる利点がある。

視野角制御光学素子２１を構成する第１瞳制御部２１Ａおよび第２瞳制御部２１Ｂは、上述したように、例えばルーバーフィルム等を用いて構成されている。このルーバーフィルムの光学特性について、図７および図８を参照して説明する。図７はルーバーフィルムの光学特性を測定するときの設定を示す図、図８はルーバーフィルムの光学特性の一例を示す図である。

ルーバーフィルムは、図８に示すように、ある入射角で入射した光線を最も高い透過率で透過し、この最大透過率光線から入射角ひいては出射角（視線角度）が異なるほど透過率を低下させながら透過するものとなっている。そこで、図７に示すように、最大透過率光線の角度がフィルム面に対して垂直となるようにルーバーフィルムを形成し、かつフィルム面に垂直な方向を視線角度θ＝０°としてルーバーフィルムの光線透過率を測定したときの結果の一例を示すのがこの図８である。ルーバーフィルムは、この図８に示す例では、視線角度θ＝０°のときには約８０％の光線透過率を示すが、視線角度θが０°から＋方向および−方向の何れにずれても急速に光線透過率が低下し、θ＝±５０°付近で光線透過率がほぼ０％に漸近するような光学特性となっている。

そこで、このような光学特性のルーバーフィルムを、最大透過率光線の角度がフィルム面に立てた垂線に対して斜めとなるある方向（例えば左斜め方向）となるように形成したのが第１瞳制御部２１Ａである。また、最大透過率光線の角度がフィルム面に立てた垂線を挟んでこの第１瞳制御部２１Ａと対称となるように形成したのが第２瞳制御部２１Ｂである。従って、第２瞳制御部２１Ｂは、最大透過率光線の角度がフィルム面に立てた垂線に対して例えば右斜め方向となっている。

すなわち、まず撮影画素は、図９に示すように、レンズ１側に位置するのが透明部材２２であり、図１４に示すようなレンズ１の瞳１Ｓを通過した光束がフォトダイオード３２に入射されるようになっている。ここに図９は、撮影画素の構成を示す断面図、図１４はレンズ１の瞳および瞳領域を示す図である。

また、焦点検出画素の内の瞳Ａ画素は、図１０に示すように、レンズ１側に位置するのが第１瞳制御部２１Ａであり、図１４に示すようなレンズ１の瞳１Ｓの内の、瞳領域１Ａを通過した光束がフォトダイオード３２に入射されるようになっている。ここに図１０は、瞳Ａ焦点検出画素の構成を示す断面図である。

さらに、焦点検出画素の内の瞳Ｂ画素は、図１１に示すように、レンズ１側に位置するのが第２瞳制御部２１Ｂであり、図１４に示すようなレンズ１の瞳１Ｓの内の、瞳領域１Ｂを通過した光束がフォトダイオード３２に入射されるようになっている。ここに図１１は、瞳Ｂ焦点検出画素の構成を示す断面図である。

ただし、ルーバーフィルムの光学特性が図８に示したようなものである場合には、瞳Ａ画素に到達する光束は瞳領域１Ａ内のある一点を通過する光線を最大透過率光線として周辺へ行くに従い透過率が減衰する光束、瞳Ｂ画素に到達する光束は瞳領域１Ｂ内のある一点を通過する光線を最大透過率光線として周辺へ行くに従い透過率が減衰する光束となる。従って、図１４に示した瞳領域１Ａ，１Ｂは模式的なものであり、瞳領域が明確な輪郭をもったものになるとは限らず、瞳領域１Ａと瞳領域１Ｂとに重複部分が存在しないとも限らない。従って、「瞳領域が異なる」とは、より正確には、結像光学系の瞳領域を通過する光束の光量の重心位置が異なる、ということができる。また、視野角制御光学素子２１として図８に示したような光学特性のルーバーフィルムを用いた場合には、結像光学系であるレンズ１の瞳１Ｓを通過するときの最大透過率光線の位置が、瞳Ａ画素と瞳Ｂ画素とで異なる、と言い替えることもできる。

なお、レンズ１が画像を撮影するためのものである場合には、多くの場合に絞りを備えており、この場合には瞳１Ｓの大きさが変化することになる。従って、瞳領域１Ａおよび瞳領域１Ｂを設計する際には、絞り開放のときの瞳１Ｓに含まれるのは勿論、絞り最小のときの瞳１Ｓにも適宜の透過光量を確保できるような大きさで含まれるように設計する必要がある。

次に、図１２は、瞳Ａ焦点検出画素の他の構成を示す断面図である。この図１２に示した瞳Ａ画素は、マイクロレンズを備えていない撮像素子を用いて構成した例を示している。従って、図１０に示した瞳Ａ画素の構成からマイクロレンズ３４を取り除いたものとほぼ同様の構成となっている。

また、図１３は、瞳Ｂ焦点検出画素の他の構成を示す断面図である。この図１３に示した瞳Ｂ画素も、図１２と同様にマイクロレンズを備えていない撮像素子を用いて構成した例を示している。従って、図１１に示した瞳Ｂ画素の構成からマイクロレンズ３４を取り除いたものとほぼ同様の構成となっている。

図２５および図２６を参照して説明したような、マイクロレンズの位置をシフトさせることにより瞳領域を形成する構成においては、マイクロレンズを備えていることが必須であった。これに対して、本実施形態のような視野角制御光学素子２１を用いる構成では、マイクロレンズ３４を備えている撮像素子と、マイクロレンズ３４を備えていない撮像素子と、の何れであっても適用することが可能になっている。

続いて、図１５は、光学フィルタ２の製造方法の一例を示す図である。

まず、図５や図６の構成の場合には、斜め方向のルーバを有するルーバーフィルム（なお、ルーバーフィルム自体の構成や製造方法、使用方法等については、例えば米国特許再発行第２７，６１７号、米国特許第３，７０７，４１６号などに記載された技術やその他公知となっている技術を用いることができる）を、ルーバー配列方向が長手方向となるようにしながら、画素ピッチ幅に複数枚スライスする。そして、これら複数枚のスライスを、ルーバ斜め方向が互い違いの方向となるようにし、かつ必要に応じて画素ピッチの整数倍幅の透明部材を間に挟み込みながら接合することにより、視野角制御光学素子２１を形成する。

また、図４の構成の場合には、斜め方向のルーバを有するルーバーフィルム等を、ルーバー配列方向が画素ピッチ幅方向となるようにしながら、画素ピッチ幅に多数枚スライスする。そして、これら多数枚のスライスを、ルーバ斜め方向が互い違いの方向となるようにしながら接合して、光学フィルタ２として必要な幅を有する光学シートを形成する。さらに、この光学シートを、スライス同士の接合面に直交する方向に、画素ピッチ幅でスライスすることにより、視野角制御光学素子２１を形成する。

このようにして形成された画素ピッチの整数倍幅の視野角制御光学素子２１を、図１５に示すように、ガラス板等で構成される透明部材２２により挟み込んで一体化することにより、光学フィルタ２を形成する。

なお、図１５を参照して説明した製造方法に限らず、例えば、ガラス材料に対してフェムト秒レーザー照射を行うことにより周囲よりも高い屈折率を有する異質相をガラス材料に形成する技術を用いて、光学フィルタ２を製造しても構わない。この場合には、さらに、異質相を形成するガラス材料を、撮像素子ＬＳＩパッケージのカバーガラスとするようにしても良い。

次に、図１６は合焦位置から少しだけずれているときのレンズ１と撮像素子３との関係を示す図、図１７は合焦位置から少しだけずれているときの撮影画素、瞳Ａ焦点検出画素、瞳Ｂ焦点検出画素の各出力を示す線図である。

図１６に示すように、合焦位置から少しのずれが発生しているときには、撮影画素列の出力により形成される１次元画像に対して、瞳Ａ画素列の出力により形成される１次元画像は例えば右側に少しずれ、瞳Ｂ画素列の出力により形成される１次元画像は例えば左側に少しずれる。そして、瞳Ａ画素列の出力と瞳Ｂ画素列の出力との相関を最も高くするために必要な画素列方向の移動量（空間距離）が位相差である。図１６に示す例では合焦位置からのずれが小さいために、図１７に示す位相差は比較的小さいものとなっている。

次に、図１８は合焦位置からのずれが大きくなったときのレンズ１と撮像素子３との関係を示す図、図１９は合焦位置からのずれが大きくなったときの撮影画素、瞳Ａ焦点検出画素、瞳Ｂ焦点検出画素の各出力を示す線図である。

図１８に示すずれは、図１６に示したずれと同様に、いわゆる後ピンの状態（撮像素子３の撮像面に合焦する物体空間内の面が、狙いの被写体よりも遠方になっている状態）に対応するずれであるために、撮影画素列の出力に対する瞳Ａ画素列の出力のずれ方向および瞳Ｂ画素列の出力のずれ方向は図１６と同様であるが、そのずれ量がより大きくなっている。従って図１９に示す位相差も、図１７に示した位相差よりも大きくなっている。

そして、位相差演算部７は、上述したような相関演算を行うことにより、このような位相差を算出するようになっている。

なお、図１７あるいは図１９に示したように、位相差は、瞳Ａ画素と瞳Ｂ画素との間で発生するだけでなく、瞳Ａ画素と撮影画素、または瞳Ｂ画素と撮影画素との間でも発生する。従って、瞳Ａ画素と瞳Ｂ画素の位相差を求める代わりに、瞳Ａ画素と撮影画素、または瞳Ｂ画素と撮影画素の位相差を求めるようにすることも可能である（従って、瞳領域は複数に限定されるものではなく、単数であっても構わない）。ただし、位相差が大きい方が検出精度が高くなること、上述したように瞳Ａ，Ｂ画素と撮影画素とでは出力レベルが異なること、などから、本実施形態では瞳Ａ画素出力と瞳Ｂ画素出力とを位相差検出用情報として、瞳Ａ画素と瞳Ｂ画素の位相差を求めるようにしている。

次に、図２０は十文字状の視野角制御光学素子２１ｖ，２１ｈを設けた光学フィルタ２および撮像素子３の構成例を示す斜視図、図２１は瞳Ａ〜Ｄ焦点検出画素の構成を示すｘ方向およびｙ方向断面図である。

図２０に示す瞳領域制御光学部材である光学フィルタ２は、２対（つまり、４つ）の瞳領域を形成するものであって、行方向（ｘ方向）の視野角制御光学素子２１ｈと列方向（ｙ方向）の視野角制御光学素子２１ｖとを備え、これらが該光学フィルタ２の中央部で交差するように構成されている。

行方向の視野角制御光学素子２１ｈは、図２に示した視野角制御光学素子２１と同様の構成（例えば、図４、または図５および図６、に示したような構成）となっていて、ｘ方向位置が異なる第１の瞳領域（瞳領域Ａ）および第２の瞳領域（瞳領域Ｂ）でなる一方の対の瞳領域を形成する行方向に沿った第１瞳制御部２１Ａおよび第２瞳制御部２１Ｂを備え、各瞳領域Ａ，Ｂを通過した光束により形成される光学像の位相差を検出するためのものである（図２１の瞳Ａ焦点検出画素および瞳Ｂ焦点検出画素の構成を参照）。

また、列方向の視野角制御光学素子２１ｖは、ｙ方向位置が異なる第３の瞳領域（瞳領域Ｃ）および第４の瞳領域（瞳領域Ｄ）でなる他方の対の瞳領域を形成する列方向に沿った第３瞳制御部２１Ｃおよび第４瞳制御部２１Ｄを備え、各瞳領域Ｃ，Ｄを通過した光束により形成される光学像の位相差を検出するためのものである（図２１の瞳Ｃ焦点検出画素および瞳Ｄ焦点検出画素の構成を参照）。従って、視野角制御光学素子２１ｖの構成は、ｘ方向とｙ方向とを読み替えれば、図４、または図５および図６、に示したような構成を採用することができる。

そして、図４に示したような構成を採用する場合には、視野角制御光学素子２１ｈは行方向に沿って第１瞳制御部２１Ａと第２瞳制御部２１Ｂとを交互に配置したものとなり、視野角制御光学素子２１ｖは列方向に沿って第３瞳制御部２１Ｃと第４瞳制御部２１Ｄとを交互に配置したものとなる。

一方、図５および図６に示したような構成を採用する場合には、視野角制御光学素子２１ｈは撮像面の行に対応する行単位で第１瞳制御部２１Ａと第２瞳制御部２１Ｂとを交互に配置したものとなり、視野角制御光学素子２１ｖは撮像面の列に対応する列単位で第３瞳制御部２１Ｃと第４瞳制御部２１Ｄとを交互に配置したものとなる。

これら図２０および図２１に示したような構成によれば、行方向の被写体パターンと、列方向の被写体パターンとの両方に対して位相差検出用情報を取得することが可能となる。

なお、図２に示した例ではライン状をなす視野角制御光学素子２１が１つ、また図２０に示した例では十文字状をなす視野角制御光学素子２１ｖおよび２１ｈが１つ設けられている例を示したが、複数のＡＦ検出領域が必要である場合には、各ＡＦ検出領域毎にこのような視野角制御光学素子２１（または視野角制御光学素子２１ｖおよび２１ｈ）等を１つ以上設ければ良い。

また、図２に示した例ではあるライン方向を行方向とし、図２０に示した例ではあるライン方向と該あるライン方向に交差する方向とを行方向および列方向としたが、これに限るものではない。例えば、あるライン方向を斜め方向としたり、該あるライン方向に交差する方向を該斜め方向に交差する他の斜め方向としたりしても構わない。このような場合には、水平方向の縞模様や垂直方向の縞模様といったパターンを示す被写体であっても、一方の斜め方向の焦点検出画素列のみで位相差検出用情報を取得することができる利点がある。

さらに、異なる色成分間の相関性は高いとは限らないことを考慮すれば、相関関連値の算出を同一の色成分間で行うようにすれば良いことは勿論である。従って、撮像素子３が例えばベイヤー配列のカラーフィルタを備える単板式カラー撮像素子である場合などには、瞳制御部を設けるのを緑（Ｇ）画素に対応する部分のみにする、あるいは緑（Ｇ）画素を含むあるラインについて瞳制御部を設けるが、読み出したラインデータの内の緑（Ｇ）成分のみを相関関連値の算出に用いる、などをすれば良い。

そして、上述では、瞳領域制御光学部材である光学フィルタ２は、撮像素子３に配列された複数の画素の内の、一部の画素にのみ特定の瞳領域の光束を通過させるものであった（すなわち、焦点検出画素以外の撮影画素も備える構成であった）が、これに限るものではない。すなわち、光学フィルタ２は、撮像素子３に配列された複数の画素の全てに特定の瞳領域の光束を通過させるものであっても構わない（つまり、通常の撮影画素が設けられていない構成であっても構わない）。この場合には、光学フィルタ２および撮像素子３により、位相差ＡＦセンサを構成することが可能となる。従って、撮像素子３は、画素が２次元状に配列されたものに限らず、１次元状に配列されたラインセンサ等であっても構わない。そして、このように構成された位相差ＡＦセンサは、レンズ１からの光束をそのまま検出に用いることができるために、コンデンサレンズ、瞳分割マスク、セパレータレンズなどが不要であり、製造コストを抑制し得るという利点がある。

加えて、撮像素子３としては、ＣＣＤやＣＭＯＳなどの撮像素子を広く適用することができ、その素子構造に限定されるものではない。

このような実施形態１によれば、撮像素子３として、従来より用いられている撮像素子をそのまま用いることができ、専用の設計や専用の製造プロセスにより製造される撮像素子である必要がないために、開発コストや製造コストの上昇を抑制することができる。

そして、焦点検出画素以外の撮影画素も備える構成とする場合には、画像の撮影と同時に位相差検出用情報を取得することができる。さらに、取得した位相差検出用情報に基づいて位相差演算部７により位相差を算出することができ、算出された位相差に基づいてデフォーカス量算出部８によりデフォーカス量を算出することができ、デフォーカス量に基づいてフォーカス駆動部９によりレンズ１のフォーカス位置を調整することができる。こうして、位相差に基づく高精度の焦点検出を、画像の撮影と平行して高速に行うことが可能となる。

また、焦点検出画素の近傍に位置する撮影画素の画素値に基づいて、補間部により焦点検出画素の画素値を補間するようにしたために、画素情報の欠落がない撮影画像を得ることができる。

さらに、マイクロレンズ３４を備えている撮像素子と視野角制御光学素子２１とを組み合わせる構成を採用した場合には、焦点検出画素の集光率を上げて、位相差検出用情報の検出感度を向上することができる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…レンズ（結像光学系）
１Ａ…瞳領域（瞳領域Ａ）
１Ｂ…瞳領域（瞳領域Ｂ）
１Ｓ…瞳
２…光学フィルタ（瞳領域制御光学部材）
３…撮像素子
４…撮像部
５…撮像素子駆動部
６…焦点検出画素分離部
７…位相差演算部
８…デフォーカス量算出部
９…フォーカス駆動部
１０…補間部
１１…画像処理部
２１，２１ｖ，２１ｈ…視野角制御光学素子
２１Ａ…第１瞳制御部
２１Ｂ…第２瞳制御部
２１Ｃ…第３瞳制御部
２１Ｄ…第４瞳制御部
２２…透明部材
３１…半導体基板
３２…フォトダイオード
３３…遮光マスク
３４…マイクロレンズ

Claims (9)

1. 光学的な被写体像を形成する結像光学系と、
   上記被写体像が形成される撮像面上に複数の画素が配列されていて、該画素により該被写体像を光電変換して出力する撮像素子と、
   上記結像光学系と上記撮像素子との間に配置され、上記結像光学系からの光束を、ある画素列へはある瞳領域の光束として通過させ、該ある画素列と平行となるように該ある画素列の近傍に設けられた他のある画素列へは他のある瞳領域の光束として通過させる瞳領域制御光学部材と、
   を具備したことを特徴とする位相差検出用情報取得装置。
2. 上記瞳領域制御光学部材は、一対の瞳領域を形成するものであって、第１の瞳領域を形成する第１瞳制御部と、該第１の瞳領域とは異なる第２の瞳領域を形成する第２瞳制御部とを備え、上記撮像面上のあるライン方向に沿って、上記第１瞳制御部と上記第２瞳制御部とを交互に配置したものであることを特徴とする請求項１に記載の位相差検出用情報取得装置。
3. 上記撮像素子は、上記複数の画素が、上記撮像面上の、あるライン方向と該ライン方向に交差する方向とに配列されたものであり、
   上記瞳領域制御光学部材は、一対の瞳領域を形成するものであって、第１の瞳領域を形成する第１瞳制御部と、該第１の瞳領域とは異なる第２の瞳領域を形成する第２瞳制御部とを備え、上記ライン方向に交差する方向に沿って、上記撮像面の上記ラインに対応するライン単位で第１瞳制御部と第２瞳制御部とを交互に配置したものであることを特徴とする請求項１に記載の位相差検出用情報取得装置。
4. 上記撮像素子は、上記複数の画素が、上記撮像面上の行方向および列方向に配列されたものであり、
   上記瞳領域制御光学部材は、２対の瞳領域を形成するものであって、一方の対としての行方向位置が異なる第１および第２の瞳領域を形成する行方向に沿った第１瞳制御部および第２瞳制御部と、他方の対としての列方向位置が異なる第３および第４の瞳領域を形成する列方向に沿った第３瞳制御部および第４瞳制御部とを備え、上記行方向に沿ってまたは上記撮像面の上記行に対応する行単位で上記第１瞳制御部と上記第２瞳制御部とを交互に配置するとともに、上記列方向に沿ってまたは上記撮像面の上記列に対応する列単位で上記第３瞳制御部と上記第４瞳制御部とを交互に配置したものであることを特徴とする請求項１に記載の位相差検出用情報取得装置。
5. 上記撮像素子は、上記瞳領域制御光学部材と上記画素との間に画素毎に配置されたマイクロレンズを備えたものであることを特徴とする請求項１に記載の位相差検出用情報取得装置。
6. 請求項１から請求項５の何れか一項に記載の位相差検出用情報取得装置と、
   上記撮像素子からの上記ある画素列の出力と上記他のある画素列の出力とに基づいて、該ある画素列に結像された被写体像と、該他のある画素列に結像された被写体像と、の位相差を算出する位相差演算部と、
   を具備したことを特徴とする位相差検出装置。
7. 請求項６に記載の位相差検出装置を具備し、
   上記瞳領域制御光学部材は、上記撮像素子に配列された複数の画素の内の一部の画素にのみ特定の瞳領域の光束を通過させて、該一部の画素を焦点検出画素として用い得るようにするものであり、
   上記焦点検出画素以外の画素の少なくとも一部は撮影画素であることを特徴とする撮像装置。
8. 上記結像光学系は、フォーカス位置を調整可能であり、
   上記位相差演算部により算出された位相差に基づいてデフォーカス量を算出するデフォーカス量算出部と、
   上記デフォーカス量に基づき上記結像光学系のフォーカス位置を調整するフォーカス駆動部と、
   をさらに具備したことを特徴とする請求項７に記載の撮像装置。
9. 上記焦点検出画素の画素値を、該焦点検出画素の近傍に位置する上記撮影画素の画素値に基づき補間する補間部をさらに具備したことを特徴とする請求項８に記載の撮像装置。

Images