JP2009069704A - 撮像装置、合焦情報取得装置、合焦装置、撮像方法、合焦情報取得方法および合焦方法 - Google Patents

Abstract

【課題】 被写界像を撮像する撮像素子を合焦制御にも用いる簡単な構成でさまざまな撮像条件に応じてより簡易に、正確に且つ高精度に自動合焦制御する。
【解決手段】 撮像素子３の受光部に画面を横切って直線状に配列される複数のマイクロレンズは、複数画素にわたって受光部を覆い、これら複数画素に撮像光学系１の射出瞳位置に応じて光を導くマイクロレンズアレイを設ける。各マイクロレンズに対応する複数画素のうち、撮像光学系の開口内外を判定し、その判定結果に基づいて、各射出瞳位置に対応する画素データを複数のマイクロレンズにわたって抜き出し、射出瞳位置に応じた複数の一次元像を再構成して、これら複数の一次元像を比較することにより、被写体の合焦情報を得る。撮像素子３のマイクロレンズにより覆われた画素以外の画素による画素データを用いて被写界画像を生成する。
【選択図】 図１

Description

本発明は、例えばディジタルカメラのように被写界像を撮像光学系を介して撮像素子受光部に結像させ被写界の画像データを得る撮像系にて撮像光学系を被写体に合焦させて被写界像を撮像する撮像装置、合焦のための情報を取得する合焦情報取得装置、そのような合焦を行う撮像方法および合焦のための情報を取得する合焦情報取得方法に関するものである。

従来、例えばディジタルカメラ等のように被写界像を撮像光学系を介して撮像素子受光部に結像させ被写界の画像データを得る撮像系を有する撮像装置においては、一般的に、撮像光学系を自動的に被写体にピント合わせ、すなわち合焦をさせるためのＡＦ機能、つまり自動合焦制御機能を備えている。この自動的なピント合わせ（ＡＦ）に用いられるＡＦ（自動合焦制御）方式としては、この種の撮像装置が撮像素子を内蔵していることから、撮像素子の画像データからコントラスト値（合焦評価値）を算出し、撮像レンズの少なくとも一部からなるフォーカシング、つまりピント合わせのためのフォーカシングレンズ（主レンズ）の位置を変えながら取得したコントラスト値が最も高いレンズ位置を最もピントが合っているとして合焦を検出する方式、いわゆる山登り方式、が一般的である。
ところが、この山登り方式は、実際にピント合わせ用の主レンズ（フォーカシングレンズ）を駆動してピントを見つける方式であるので、自動合焦制御に要する時間が長くなる傾向があり、特に長焦点レンズでは、主レンズの駆動量が多くなり自動合焦制御に要する時間が著しく長くなる。
このような山登り方式以外のＡＦ方式としては、三角測距方式や位相差方式が既に知られている。

従来の三角測距方式は、撮像装置の撮像レンズとは別途に設けられた光学系で三角測量を行って測距する方式であり、主レンズを動かすことをせずに、被写体の測距情報から主レンズのピント位置を求めるので、主レンズを合焦位置へ高速に駆動することができる。この三角測距方式は、具体的には、例えば左右別々の光学系で被写体像をそれぞれ、左右の受光センサアレイに結像させ、それら左右像の結像位置のずれを合焦情報として求め、それに基づいて被写体の距離を求めるものである。測距センサについては、このような三角測距方式で撮像視野の複数の領域の測距を行う製品が商品化されている。
このように、三角測距方式においては、実際に撮像レンズを動かすことなく被写体のフォーカス位置を判定することができる。しかしながら、三角測距方式は、原理的に遠距離側で精度が低下するので、望遠レンズやズーム倍率の大きな撮像レンズを用いる撮像装置には向いていない。
そのため、例えば、特許文献１（特開２００４−２７９６８３号）等には、山登り方式と三角測距方式を組み合わせたＡＦ方式が開示されている。しかしながら、このような、三角測距方式を用いるＡＦ方式は、ピント合わせ用の主レンズを含む撮像用の撮像レンズとは別途の光学系および測定用素子等が必要であり、高価で、しかも撮像装置を小型化することができない。

また、位相差方式は、従来、主として一眼レフ（一眼レフレックス）タイプのカメラで採用されており、ピント合わせ用の主レンズの光束をハーフミラーによって別途に用意したピント検出用の光学系に導き、画像生成用の撮像素子とは別途に設けられたピント検出用の受光素子を用いて主レンズのピントのずれを検出するものである。
このような位相差方式を応用したＡＦ技術としては、例えば特許文献２（特開２００２−１６５１２６号）等に、主レンズで代表される撮像レンズからの光をマイクロレンズアレイと、各マイクロレンズ下の一対のフォトセンサにより主レンズに対する瞳分割を行い、その瞳分割画像から撮像レンズの焦点を検出する方式が開示されている。
特許文献２（特開２００２−１６５１２６号）に示されたＡＦ方式は、ＡＦ動作時間が短く、省スペースで、しかも部品点数が少ないＡＦ方式ではあるが、主レンズからの所望の瞳位置をマイクロレンズアレイ下のフォトセンサに分割して、それらの画像から焦点検出する必要がある。その点で、特許文献２（特開２００２−１６５１２６号）に示されたＡＦ方式は、撮像レンズのズーム動作、フォーカス動作によるレンズの位置変化、または主レンズの位置が装置毎に個々にばらついている場合などにおいては、マイクロレンズ下のフォトセンサは、主レンズに代表される撮像レンズの所望の瞳位置からの光を受けることができず、正しく焦点検出できない。

特開２００４−２７９６８３号公報 特開２００２−１６５１２６号公報

これらの従来の技術に対して、本出願人は、先に特願２００７−２１４６５０として、次のような方式を出願している。
すなわち、それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段とを具備する撮像装置に、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有するマイクロレンズアレイを設け、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く構成とする。そして、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成して得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る。このようにして得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させるとともに、前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する。

この場合、撮像レンズのズーム動作またはフォーカス動作によるレンズの位置または開口の変化、あるいは撮像レンズの位置が装置毎にばらついている場合には、各マイクロレンズに対応する撮像素子の画素から、射出瞳位置に対応して選択的に抽出すべき画素を、上述の変化またはばらつきに応じて変更することが望ましい。
上述の出願においては、このような撮像レンズの位置または開口の変化、あるいは撮像レンズの位置の装置毎のばらつきに対処するためには、各マイクロレンズに対応する撮像素子の画素から、射出瞳位置に対応してどの画素を選択的に抽出するかという情報を、与えられる変化またはばらつきの情報に対応させて、予めシステムにテーブルとして保存しておくか、または計算により求める方法をとっていた。このため、変化またはばらつきの種類の数が多い場合には、膨大な数のテーブルを保存しておくか、または膨大な量の計算を行うかしなければならなかった。

本発明は、上述した事情に鑑みてなされたもので、ズーム動作およびフォーカス動作による撮像光学系の位置の変化に対しても、そして撮像光学系の位置が装置毎に個々にばらついている場合にも、自動的に較正し、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離取得して被写界像として再構成し、簡易に且つ正確に合焦検出を行うことを可能とする撮像装置、合焦情報取得装置、撮像方法および合焦情報取得方法を提供することを目的としている。
本発明の請求項１の目的は、特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、簡易に且つ正確に合焦検出を行うことを可能とする撮像装置を提供することにある。
本発明の請求項２の目的は、特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことを可能とする撮像装置を提供することにある。
本発明の請求項３の目的は、特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことを可能とする撮像装置を提供することにある。

本発明の請求項４の目的は、特に、撮像光学系の位置や開口径にかかわらず、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことを可能とする撮像装置を提供することにある。
本発明の請求項５の目的は、特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことを可能とする撮像装置を提供することにある。
本発明の請求項６の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことを可能とする撮像装置を提供することにある。
本発明の請求項７の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことを可能とする撮像装置を提供することにある。
本発明の請求項８の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことを可能とする撮像装置を提供することにある。

本発明の請求項９の目的は、特に、撮像光学系の位置や開口径にかかわらず、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことを可能とする撮像装置を提供することにある。
本発明の請求項１０の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことを可能とする撮像装置を提供することにある。
本発明の請求項１１の目的は、特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得装置を提供することにある。
本発明の請求項１２の目的は、特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得装置を提供することにある。
本発明の請求項１３の目的は、特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得装置を提供することにある。

本発明の請求項１４の目的は、特に、撮像光学系の位置や開口径にかかわらず、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得装置を提供することにある。
本発明の請求項１５の目的は、特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得装置を提供することにある。
本発明の請求項１６の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得装置を提供することにある。
本発明の請求項１７の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得装置を提供することにある。
本発明の請求項１８の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得装置を提供することにある。

本発明の請求項１９の目的は、特に、撮像光学系の位置や開口径にかかわらず、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得装置を提供することにある。
本発明の請求項２０の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得装置を提供することにある。
本発明の請求項２１の目的は、特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、簡易に且つ正確に合焦検出を行うことを可能とする撮像方法を提供することにある。
本発明の請求項２２の目的は、特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことを可能とする撮像方法を提供することにある。
本発明の請求項２３の目的は、特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことを可能とする撮像方法を提供することにある。

本発明の請求項２４の目的は、特に、撮像光学系の位置や開口径にかかわらず、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことを可能とする撮像方法を提供することにある。
本発明の請求項２５の目的は、特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことを可能とする撮像方法を提供することにある。
本発明の請求項２６の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことを可能とする撮像方法を提供することにある。
本発明の請求項２７の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことを可能とする撮像方法を提供することにある。
本発明の請求項２８の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことを可能とする撮像方法を提供することにある。

本発明の請求項２９の目的は、特に、撮像光学系の位置や開口径にかかわらず、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことを可能とする撮像方法を提供することにある。
本発明の請求項３０の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことを可能とする撮像方法を提供することにある。
本発明の請求項３１の目的は、特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得方法を提供することにある。
本発明の請求項３２の目的は、特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得方法を提供することにある。
本発明の請求項３３の目的は、特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得方法を提供することにある。

本発明の請求項３４の目的は、特に、撮像光学系の位置や開口径にかかわらず、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得方法を提供することにある。
本発明の請求項３５の目的は、特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得方法を提供することにある。
本発明の請求項３６の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得方法を提供することにある。
本発明の請求項３７の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得方法を提供することにある。
本発明の請求項３８の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得方法を提供することにある。

本発明の請求項３９の目的は、特に、撮像光学系の位置や開口径にかかわらず、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得方法を提供することにある。
本発明の請求項４０の目的は、特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことを可能とする合焦情報取得方法を提供することにある。

請求項１に記載した本発明に係る撮像装置は、上述した目的を達成するために、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
を具備し、
前記マイクロレンズアレイの各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く撮像装置であって、
前記各マイクロレンズに覆われた画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定手段と、
前記受光状態判定手段により前記撮像光学系からの光を受光していると判定された画素のうち、所定の射出瞳位置に対応する画素を前記各マイクロレンズ毎に選択する画素選択手段と、
前記画素選択手段により選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得手段と、
前記撮像素子の前記複数のマイクロレンズにより覆われていない画素の出力を用いて、被写界画像を生成する画像生成手段と、
を備え、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることを特徴としている。

請求項２に記載した本発明に係る撮像装置は、請求項１の撮像装置であって、
前記画素選択手段は、異なる複数の射出瞳位置に対応する画素を前記マイクロレンズアレイのマイクロレンズ毎に選択する手段であり、且つ
前記合焦情報取得手段は、前記画素選択手段により選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得る手段である
ことを特徴としている。
請求項３に記載した本発明に係る撮像装置は、請求項１または請求項２の撮像装置であって、
前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記マイクロレンズアレイの各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
ことを特徴としている。

請求項４に記載した本発明に係る撮像装置は、請求項３の撮像装置であって、
前記絞り手段を、所定の開口径に絞り込む絞り制御手段を備え、且つ
前記受光状態判定手段は、前記絞り制御手段により前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定する手段である
ことを特徴としている。
請求項５に記載した本発明に係る撮像装置は、請求項１〜請求項４のいずれか１項の撮像装置であって、
前記複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つ前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
ことを特徴としている。

請求項６に記載した本発明に係る撮像装置は、上述した目的を達成するために、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
を具備し、
前記マイクロレンズアレイの各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く
撮像装置であって、
前記マイクロレンズアレイは、第一のマイクロレンズ群と第二のマイクロレンズ群とを含み、前記第一のマイクロレンズ群の各マイクロレンズは、それぞれに覆われる複数の画素のうちの一部の画素のみが前記撮像光学系からの光に対応する第一のマイクロレンズで構成され、前記第二のマイクロレンズ群の各マイクロレンズは、前記第一のマイクロレンズとは異なり、それぞれ前記第一のマイクロレンズが覆う画素よりも少ない画素を覆い、所定の画素に前記撮像光学系からの光を導く第二のマイクロレンズで構成され、且つ
前記第一のマイクロレンズ群の各マイクロレンズに覆われた画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定手段と、
前記受光状態判定手段の判定結果に基づき、前記第二のマイクロレンズ群の各マイクロレンズに覆われた画素のうち、所定の射出瞳位置に対応する画素を、前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する画素選択手段と、
前記画素選択手段により選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得手段と、
前記撮像素子の前記複数のマイクロレンズにより覆われていない画素の出力を用いて、被写界画像を生成する画像生成手段と、
を備え、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることを特徴としている。

請求項７に記載した本発明に係る撮像装置は、請求項６の撮像装置であって、
前記画素選択手段は、異なる複数の射出瞳位置に対応する画素を前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する手段であり、且つ
前記合焦情報取得手段は、前記画素選択手段により選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得る手段である
ことを特徴としている。
請求項８に記載した本発明に係る撮像装置は、請求項６または請求項７の撮像装置であって、
前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記第一のマイクロレンズ群の各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
ことを特徴としている。
請求項９に記載した本発明に係る撮像装置は、請求項８の撮像装置であって、
前記絞り手段を、所定の開口径に絞り込む絞り制御手段を備え、且つ
前記受光状態判定手段は、前記絞り制御手段により前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定する手段である
ことを特徴としている。

請求項１０に記載した本発明に係る撮像装置は、請求項６〜請求項９のいずれか１項の撮像装置であって、
前記第一のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っており、
前記第二のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
ことを特徴としている。
請求項１１に記載した本発明に係る合焦情報取得装置は、上述した目的を達成するために、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
を具備し、
前記マイクロレンズアレイの各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く撮像装置における合焦情報取得装置であって、
前記各マイクロレンズに覆われた画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定手段と、
前記受光状態判定手段により前記撮像光学系からの光を受光していると判定された画素のうち、所定の射出瞳位置に対応する画素を前記各マイクロレンズ毎に選択する画素選択手段と、
前記画素選択手段により選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得手段と、
を備えることを特徴としている。

請求項１２に記載した本発明に係る合焦情報取得装置は、請求項１１の合焦情報取得装置であって、
前記画素選択手段は、異なる複数の射出瞳位置に対応する画素を前記マイクロレンズアレイのマイクロレンズ毎に選択する手段であり、且つ
前記合焦情報取得手段は、前記画素選択手段により選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得る手段である
ことを特徴としている。
請求項１３に記載した本発明に係る合焦情報取得装置は、請求項１１または請求項１２の合焦情報取得装置であって、
前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記マイクロレンズアレイの各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
ことを特徴としている。

請求項１４に記載した本発明に係る合焦情報取得装置は、請求項１３の合焦情報取得装置であって、
前記絞り手段を、所定の開口径に絞り込む絞り制御手段を備え、且つ
前記受光状態判定手段は、前記絞り制御手段により前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定する手段である
ことを特徴としている。
請求項１５に記載した本発明に係る合焦情報取得装置は、請求項１１〜請求項１４のいずれか１項の合焦情報取得装置であって、
前記複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つ前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
ことを特徴としている。

請求項１６に記載した本発明に係る合焦情報取得装置は、上述した目的を達成するために、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
を具備し、
前記マイクロレンズアレイの各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く
撮像装置における合焦情報取得装置であって、
前記マイクロレンズアレイは、第一のマイクロレンズ群と第二のマイクロレンズ群とを含み、前記第一のマイクロレンズ群の各マイクロレンズは、それぞれに覆われる複数の画素のうちの一部の画素のみが前記撮像光学系からの光に対応する第一のマイクロレンズで構成され、前記第二のマイクロレンズ群の各マイクロレンズは、前記第一のマイクロレンズとは異なり、それぞれ前記第一のマイクロレンズが覆う画素よりも少ない画素を覆い、所定の画素に前記撮像光学系からの光を導く第二のマイクロレンズで構成され、且つ
前記第一のマイクロレンズ群の各マイクロレンズに覆われた画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定手段と、
前記受光状態判定手段の判定結果に基づき、前記第二のマイクロレンズ群の各マイクロレンズに覆われた画素のうち、所定の射出瞳位置に対応する画素を、前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する画素選択手段と、
前記画素選択手段により選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得手段と、
を備えることを特徴としている。

請求項１７に記載した本発明に係る合焦情報取得装置は、請求項１６の合焦情報取得装置であって、
前記画素選択手段は、異なる複数の射出瞳位置に対応する画素を前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する手段であり、且つ
前記合焦情報取得手段は、前記画素選択手段により選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得る手段である
ことを特徴としている。
請求項１８に記載した本発明に係る合焦情報取得装置は、請求項１６または請求項１７の合焦情報取得装置であって、
前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記第一のマイクロレンズ群の各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
ことを特徴としている。

請求項１９に記載した本発明に係る合焦情報取得装置は、請求項１８の合焦情報取得装置であって、
前記絞り手段を、所定の開口径に絞り込む絞り制御手段を備え、且つ
前記受光状態判定手段は、前記絞り制御手段により前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定する手段である
ことを特徴としている。
請求項２０に記載した本発明に係る合焦情報取得装置は、請求項１６〜請求項１９のいずれか１項の合焦情報取得装置であって、
前記第一のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っており、
前記第二のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
ことを特徴としている。

請求項２１に記載した本発明に係る撮像方法は、上述した目的を達成するために、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素の出力を用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における撮像方法において、
前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイを備え、各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くよう構成し、且つ
前記マイクロレンズアレイの各マイクロレンズに覆われた前記複数の画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定ステップと、
前記受光状態判定ステップにより前記撮像光学系からの光を受光していると判定された画素のうち、所定の射出瞳位置に対応する画素を前記各マイクロレンズ毎に選択する画素選択ステップと、
前記画素選択ステップにより選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得ステップと、
前記撮像素子の前記複数のマイクロレンズにより覆われていない画素の出力を用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることを特徴としている。

請求項２２に記載した本発明に係る撮像方法は、請求項２１の撮像方法であって、
前記画素選択ステップは、異なる複数の射出瞳位置に対応する画素を前記マイクロレンズアレイのマイクロレンズ毎に選択するステップであり、且つ
前記合焦情報取得ステップは、前記画素選択ステップにより選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得るステップである
ことを特徴としている。
請求項２３に記載した本発明に係る撮像方法は、請求項２１または請求項２２の撮像方法であって、
前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記マイクロレンズアレイの各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
ことを特徴としている。

請求項２４に記載した本発明に係る撮像方法は、請求項２３の撮像方法であって、
前記受光状態判定ステップの前に、前記絞り手段を、所定の開口径に絞り込む絞り制御ステップを有し、且つ
前記受光状態判定ステップは、前記絞り制御ステップにより前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定するステップである
ことを特徴としている。
請求項２５に記載した本発明に係る撮像方法は、請求項２１〜請求項２４のいずれか１項の撮像方法であって、
前記複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つ前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
ことを特徴としている。

請求項２６に記載した本発明に係る撮像方法は、上述した目的を達成するために、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素の出力を用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における撮像方法において、
前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイを備え、各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くとともに、
前記マイクロレンズアレイは、第一のマイクロレンズ群と第二のマイクロレンズ群とを含み、前記第一のマイクロレンズ群の各マイクロレンズは、それぞれに覆われる複数の画素のうちの一部の画素のみが前記撮像光学系からの光に対応する第一のマイクロレンズで構成され、前記第二のマイクロレンズ群の各マイクロレンズは、前記第一のマイクロレンズとは異なり、それぞれ前記第一のマイクロレンズが覆う画素よりも少ない画素を覆い、所定の画素に前記撮像光学系からの光を導く第二のマイクロレンズで構成され、且つ
前記第一のマイクロレンズ群の各マイクロレンズに覆われた前記複数の画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定ステップと、
前記受光状態判定ステップによる判定結果に基づき、前記第二のマイクロレンズ群の各マイクロレンズに覆われた画素のうち、所定の射出瞳位置に対応する画素を、前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する画素選択ステップと、
前記画素選択ステップにより選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得ステップと、
前記撮像素子の前記複数のマイクロレンズにより覆われていない画素の出力を用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることを特徴としている。

請求項２７に記載した本発明に係る撮像方法は、請求項２６の撮像方法であって、
前記画素選択ステップは、異なる複数の射出瞳位置に対応する画素を前記第二のマイクロレンズ群の各マイクロレンズ毎に選択するステップであり、且つ
前記合焦情報取得ステップは、前記画素選択ステップにより選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得るステップである
ことを特徴としている。
請求項２８に記載した本発明に係る撮像方法は、請求項２６または請求項２７の撮像方法であって、
前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記第一のマイクロレンズ群の各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
ことを特徴としている。

請求項２９に記載した本発明に係る撮像方法は、請求項２８の撮像方法であって、
前記受光状態判定ステップの前に、前記絞り手段を、所定の開口径に絞り込む絞り制御ステップを有し、且つ
前記受光状態判定ステップは、前記絞り制御ステップにより前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定するステップである
ことを特徴としている。
請求項３０に記載した本発明に係る撮像方法は、請求項２６〜請求項２９のいずれか１項の撮像方法であって、
前記第一のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っており、
前記第二のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
ことを特徴としている。

請求項３１に記載した本発明に係る合焦情報取得方法は、上述した目的を達成するために、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
を具備する撮像装置における合焦情報を得るための合焦情報取得方法において、
前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイを備え、各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くよう構成し、且つ
前記マイクロレンズアレイの各マイクロレンズに覆われた前記複数の画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定ステップと、
前記受光状態判定ステップにより前記撮像光学系からの光を受光していると判定された画素のうち、所定の射出瞳位置に対応する画素を前記各マイクロレンズ毎に選択する画素選択ステップと、
前記画素選択ステップにより選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得ステップと、
を有することを特徴としている。

請求項３２に記載した本発明に係る合焦情報取得方法は、請求項３１の合焦情報取得方法であって、
前記画素選択ステップは、異なる複数の射出瞳位置に対応する画素を前記マイクロレンズアレイのマイクロレンズ毎に選択するステップであり、且つ
前記合焦情報取得ステップは、前記画素選択ステップにより選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得るステップである
ことを特徴としている。
請求項３３に記載した本発明に係る合焦情報取得方法は、請求項３１または請求項３２の合焦情報取得方法であって、
前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記マイクロレンズアレイの各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
ことを特徴としている。

請求項３４に記載した本発明に係る合焦情報取得方法は、請求項３３の合焦情報取得方法であって、
前記受光状態判定ステップの前に、前記絞り手段を、所定の開口径に絞り込む絞り制御ステップを有し、且つ
前記受光状態判定ステップは、前記絞り制御ステップにより前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定するステップである
ことを特徴としている。
請求項３５に記載した本発明に係る合焦情報取得方法は、請求項３１〜請求項３４のいずれか１項の合焦情報取得方法であって、
前記複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つ前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
ことを特徴としている。

請求項３６に記載した本発明に係る合焦情報取得方法は、上述した目的を達成するために、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
を具備する撮像装置における合焦情報を得るための合焦情報取得方法において、
前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイを備え、各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くとともに、
前記マイクロレンズアレイは、第一のマイクロレンズ群と第二のマイクロレンズ群とを含み、前記第一のマイクロレンズ群の各マイクロレンズは、それぞれに覆われる複数の画素のうちの一部の画素のみが前記撮像光学系からの光に対応する第一のマイクロレンズで構成され、前記第二のマイクロレンズ群の各マイクロレンズは、前記第一のマイクロレンズとは異なり、それぞれ前記第一のマイクロレンズが覆う画素よりも少ない画素を覆い、所定の画素に前記撮像光学系からの光を導く第二のマイクロレンズで構成され、且つ
前記第一のマイクロレンズ群の各マイクロレンズに覆われた前記複数の画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定ステップと、
前記受光状態判定ステップによる判定結果に基づき、前記第二のマイクロレンズ群の各マイクロレンズに覆われた画素のうち、所定の射出瞳位置に対応する画素を、前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する画素選択ステップと、
前記画素選択ステップにより選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得ステップと、
を有することを特徴としている。

請求項３７に記載した本発明に係る合焦情報取得方法は、請求項３６の合焦情報取得方法であって、
前記画素選択ステップは、異なる複数の射出瞳位置に対応する画素を前記第二のマイクロレンズ群の各マイクロレンズ毎に選択するステップであり、且つ
前記合焦情報取得ステップは、前記画素選択ステップにより選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得るステップである
ことを特徴としている。
請求項３８に記載した本発明に係る合焦情報取得方法は、請求項３６または請求項３７の合焦情報取得方法であって、
前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記第一のマイクロレンズ群の各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
ことを特徴としている。

請求項３９に記載した本発明に係る合焦情報取得方法は、請求項３８の合焦情報取得方法であって、
前記受光状態判定ステップの前に、前記絞り手段を、所定の開口径に絞り込む絞り制御ステップを有し、且つ
前記受光状態判定ステップは、前記絞り制御ステップにより前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定するステップである
ことを特徴としている。
請求項４０に記載した本発明に係る合焦情報取得方法は、請求項３６〜請求項３９のいずれか１項の合焦情報取得方法であって、
前記第一のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っており、
前記第二のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
ことを特徴としている。

本発明によれば、ズーム動作およびフォーカス動作による撮像光学系の位置の変化に対しても、そして撮像光学系の位置が装置毎に個々にばらついている場合にも、自動的に較正し、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離取得して被写界像として再構成し、簡易に且つ正確に合焦検出を行うことを可能とする撮像装置、合焦情報取得装置、撮像方法および合焦情報取得方法を提供することができる。

すなわち、本発明の請求項１の撮像装置によれば、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
を具備し、
前記マイクロレンズアレイの各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く撮像装置であって、
前記各マイクロレンズに覆われた画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定手段と、
前記受光状態判定手段により前記撮像光学系からの光を受光していると判定された画素のうち、所定の射出瞳位置に対応する画素を前記各マイクロレンズ毎に選択する画素選択手段と、
前記画素選択手段により選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得手段と、
前記撮像素子の前記複数のマイクロレンズにより覆われていない画素の出力を用いて、被写界画像を生成する画像生成手段と、
を備え、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることにより、
特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項２の撮像装置によれば、請求項１の撮像装置において、
前記画素選択手段は、異なる複数の射出瞳位置に対応する画素を前記マイクロレンズアレイのマイクロレンズ毎に選択する手段であり、且つ
前記合焦情報取得手段は、前記画素選択手段により選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得る手段であることにより、
特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことが可能となる。
また、本発明の請求項３の撮像装置によれば、請求項１または請求項２の撮像装置において、
前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記マイクロレンズアレイの各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導くことにより、
特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項４の撮像装置によれば、請求項３の撮像装置において、
前記絞り手段を、所定の開口径に絞り込む絞り制御手段を備え、且つ
前記受光状態判定手段は、前記絞り制御手段により前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定する手段であることにより、
特に、撮像光学系の位置や開口径にかかわらず、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことが可能となる。
本発明の請求項５の撮像装置によれば、請求項１〜請求項４のいずれか１項の撮像装置において、
前記複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つ前記各マイクロレンズは、連接する複数の画素を排他的に覆っていることにより、
特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項６の撮像装置によれば、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
を具備し、
前記マイクロレンズアレイの各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く
撮像装置であって、
前記マイクロレンズアレイは、第一のマイクロレンズ群と第二のマイクロレンズ群とを含み、前記第一のマイクロレンズ群の各マイクロレンズは、それぞれに覆われる複数の画素のうちの一部の画素のみが前記撮像光学系からの光に対応する第一のマイクロレンズで構成され、前記第二のマイクロレンズ群の各マイクロレンズは、前記第一のマイクロレンズとは異なり、それぞれ前記第一のマイクロレンズが覆う画素よりも少ない画素を覆い、所定の画素に前記撮像光学系からの光を導く第二のマイクロレンズで構成され、且つ
前記第一のマイクロレンズ群の各マイクロレンズに覆われた画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定手段と、
前記受光状態判定手段の判定結果に基づき、前記第二のマイクロレンズ群の各マイクロレンズに覆われた画素のうち、所定の射出瞳位置に対応する画素を、前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する画素選択手段と、
前記画素選択手段により選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得手段と、
前記撮像素子の前記複数のマイクロレンズにより覆われていない画素の出力を用いて、被写界画像を生成する画像生成手段と、
を備え、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項７の撮像装置によれば、請求項６の撮像装置において、
前記画素選択手段は、異なる複数の射出瞳位置に対応する画素を前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する手段であり、且つ
前記合焦情報取得手段は、前記画素選択手段により選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得る手段であることにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことが可能となる。
本発明の請求項８の撮像装置によれば、請求項６または請求項７の撮像装置において、
前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記第一のマイクロレンズ群の各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導くことにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項９の撮像装置によれば、請求項８の撮像装置において、
前記絞り手段を、所定の開口径に絞り込む絞り制御手段を備え、且つ
前記受光状態判定手段は、前記絞り制御手段により前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定する手段であることにより、
特に、撮像光学系の位置や開口径にかかわらず、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことが可能となる。
本発明の請求項１０の撮像装置によれば、請求項６〜請求項９のいずれか１項の撮像装置において、
前記第一のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っており、
前記第二のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っていることにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことが可能となる。

そして、本発明の請求項１１の合焦情報取得装置によれば、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
を具備し、
前記マイクロレンズアレイの各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く撮像装置における合焦情報取得装置であって、
前記各マイクロレンズに覆われた画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定手段と、
前記受光状態判定手段により前記撮像光学系からの光を受光していると判定された画素のうち、所定の射出瞳位置に対応する画素を前記各マイクロレンズ毎に選択する画素選択手段と、
前記画素選択手段により選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得手段と、
を備えることにより、
特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項１２の合焦情報取得装置によれば、請求項１１の合焦情報取得装置において、
前記画素選択手段は、異なる複数の射出瞳位置に対応する画素を前記マイクロレンズアレイのマイクロレンズ毎に選択する手段であり、且つ
前記合焦情報取得手段は、前記画素選択手段により選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得る手段であることにより、
特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことが可能となる。
また、本発明の請求項１３の合焦情報取得装置によれば、請求項１１または請求項１２の合焦情報取得装置において、
前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記マイクロレンズアレイの各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導くことにより、
特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項１４の合焦情報取得装置によれば、請求項１３の合焦情報取得装置において、
前記絞り手段を、所定の開口径に絞り込む絞り制御手段を備え、且つ
前記受光状態判定手段は、前記絞り制御手段により前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定する手段であることにより、
特に、撮像光学系の位置や開口径にかかわらず、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことが可能となる。
本発明の請求項１５の合焦情報取得装置によれば、請求項１１〜請求項１４のいずれか１項の合焦情報取得装置において、
前記複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つ前記各マイクロレンズは、連接する複数の画素を排他的に覆っていることにより、
特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項１６の合焦情報取得装置によれば、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
を具備し、
前記マイクロレンズアレイの各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く
撮像装置における合焦情報取得装置であって、
前記マイクロレンズアレイは、第一のマイクロレンズ群と第二のマイクロレンズ群とを含み、前記第一のマイクロレンズ群の各マイクロレンズは、それぞれに覆われる複数の画素のうちの一部の画素のみが前記撮像光学系からの光に対応する第一のマイクロレンズで構成され、前記第二のマイクロレンズ群の各マイクロレンズは、前記第一のマイクロレンズとは異なり、それぞれ前記第一のマイクロレンズが覆う画素よりも少ない画素を覆い、所定の画素に前記撮像光学系からの光を導く第二のマイクロレンズで構成され、且つ
前記第一のマイクロレンズ群の各マイクロレンズに覆われた画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定手段と、
前記受光状態判定手段の判定結果に基づき、前記第二のマイクロレンズ群の各マイクロレンズに覆われた画素のうち、所定の射出瞳位置に対応する画素を、前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する画素選択手段と、
前記画素選択手段により選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得手段と、
を備えることにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項１７の合焦情報取得装置によれば、請求項１６の合焦情報取得装置において、
前記画素選択手段は、異なる複数の射出瞳位置に対応する画素を前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する手段であり、且つ
前記合焦情報取得手段は、前記画素選択手段により選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得る手段であることにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことが可能となる。
本発明の請求項１８の合焦情報取得装置によれば、請求項１６または請求項１７の合焦情報取得装置において、
前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記第一のマイクロレンズ群の各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導くことにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項１９の合焦情報取得装置によれば、請求項１８の合焦情報取得装置において、
前記絞り手段を、所定の開口径に絞り込む絞り制御手段を備え、且つ
前記受光状態判定手段は、前記絞り制御手段により前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定する手段であることにより、
特に、撮像光学系の位置や開口径にかかわらず、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことが可能となる。
本発明の請求項２０の合焦情報取得装置によれば、請求項１６〜請求項１９のいずれか１項の合焦情報取得装置において、
前記第一のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っており、
前記第二のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っていることにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことが可能となる。

さらに、本発明の請求項２１の撮像方法によれば、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素の出力を用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における撮像方法において、
前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイを備え、各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くよう構成し、且つ
前記マイクロレンズアレイの各マイクロレンズに覆われた前記複数の画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定ステップと、
前記受光状態判定ステップにより前記撮像光学系からの光を受光していると判定された画素のうち、所定の射出瞳位置に対応する画素を前記各マイクロレンズ毎に選択する画素選択ステップと、
前記画素選択ステップにより選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得ステップと、
前記撮像素子の前記複数のマイクロレンズにより覆われていない画素の出力を用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることにより、
特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項２２の撮像方法によれば、請求項２１の撮像方法において、
前記画素選択ステップは、異なる複数の射出瞳位置に対応する画素を前記マイクロレンズアレイのマイクロレンズ毎に選択するステップであり、且つ
前記合焦情報取得ステップは、前記画素選択ステップにより選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得るステップであることにより、
特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことが可能となる。

また、本発明の請求項２３の撮像方法によれば、請求項２１または請求項２２の撮像方法において、
前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記マイクロレンズアレイの各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導くことにより、
特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項２４の撮像方法によれば、請求項２３の撮像方法において、
前記受光状態判定ステップの前に、前記絞り手段を、所定の開口径に絞り込む絞り制御ステップを有し、且つ
前記受光状態判定ステップは、前記絞り制御ステップにより前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定するステップであることにより、
特に、撮像光学系の位置や開口径にかかわらず、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことが可能となる。
本発明の請求項２５の撮像方法によれば、請求項２１〜請求項２４のいずれか１項の撮像方法において、
前記複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つ前記各マイクロレンズは、連接する複数の画素を排他的に覆っていることにより、
特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項２６の撮像方法によれば、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素の出力を用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における撮像方法において、
前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイを備え、各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くとともに、
前記マイクロレンズアレイは、第一のマイクロレンズ群と第二のマイクロレンズ群とを含み、前記第一のマイクロレンズ群の各マイクロレンズは、それぞれに覆われる複数の画素のうちの一部の画素のみが前記撮像光学系からの光に対応する第一のマイクロレンズで構成され、前記第二のマイクロレンズ群の各マイクロレンズは、前記第一のマイクロレンズとは異なり、それぞれ前記第一のマイクロレンズが覆う画素よりも少ない画素を覆い、所定の画素に前記撮像光学系からの光を導く第二のマイクロレンズで構成され、且つ
前記第一のマイクロレンズ群の各マイクロレンズに覆われた前記複数の画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定ステップと、
前記受光状態判定ステップによる判定結果に基づき、前記第二のマイクロレンズ群の各マイクロレンズに覆われた画素のうち、所定の射出瞳位置に対応する画素を、前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する画素選択ステップと、
前記画素選択ステップにより選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得ステップと、
前記撮像素子の前記複数のマイクロレンズにより覆われていない画素の出力を用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項２７の撮像方法によれば、請求項２６の撮像方法において、
前記画素選択ステップは、異なる複数の射出瞳位置に対応する画素を前記第二のマイクロレンズ群の各マイクロレンズ毎に選択するステップであり、且つ
前記合焦情報取得ステップは、前記画素選択ステップにより選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得るステップであることにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことが可能となる。
本発明の請求項２８の撮像方法によれば、請求項２６または請求項２７の撮像方法において、
前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記第一のマイクロレンズ群の各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導くことにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項２９の撮像方法によれば、請求項２８の撮像方法において、
前記受光状態判定ステップの前に、前記絞り手段を、所定の開口径に絞り込む絞り制御ステップを有し、且つ
前記受光状態判定ステップは、前記絞り制御ステップにより前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定するステップであることにより、
特に、撮像光学系の位置や開口径にかかわらず、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことが可能となる。
本発明の請求項３０の撮像方法によれば、請求項２６〜請求項２９のいずれか１項の撮像方法において、
前記第一のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っており、
前記第二のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っていることにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことが可能となる。

また、本発明の請求項３１の合焦情報取得方法によれば、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
を具備する撮像装置における合焦情報を得るための合焦情報取得方法において、
前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイを備え、各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くよう構成し、且つ
前記マイクロレンズアレイの各マイクロレンズに覆われた前記複数の画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定ステップと、
前記受光状態判定ステップにより前記撮像光学系からの光を受光していると判定された画素のうち、所定の射出瞳位置に対応する画素を前記各マイクロレンズ毎に選択する画素選択ステップと、
前記画素選択ステップにより選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得ステップと、
を有することにより、
特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項３２の合焦情報取得方法によれば、請求項３１の合焦情報取得方法において、
前記画素選択ステップは、異なる複数の射出瞳位置に対応する画素を前記マイクロレンズアレイのマイクロレンズ毎に選択するステップであり、且つ
前記合焦情報取得ステップは、前記画素選択ステップにより選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得るステップであることにより、
特に、効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことが可能となる。
また、本発明の請求項３３の合焦情報取得方法によれば、請求項３１または請求項３２の合焦情報取得方法において、
前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記マイクロレンズアレイの各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導くことにより、
特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項３４の合焦情報取得方法によれば、請求項３３の合焦情報取得方法において、
前記受光状態判定ステップの前に、前記絞り手段を、所定の開口径に絞り込む絞り制御ステップを有し、且つ
前記受光状態判定ステップは、前記絞り制御ステップにより前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定するステップであることにより、
特に、撮像光学系の位置や開口径にかかわらず、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項３５の合焦情報取得方法によれば、請求項３１〜請求項３４のいずれか１項の合焦情報取得方法において、
前記複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つ前記各マイクロレンズは、連接する複数の画素を排他的に覆っていることにより、
特に、より効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項３６の合焦情報取得方法によれば、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
を具備する撮像装置における合焦情報を得るための合焦情報取得方法において、
前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイを備え、各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くとともに、
前記マイクロレンズアレイは、第一のマイクロレンズ群と第二のマイクロレンズ群とを含み、前記第一のマイクロレンズ群の各マイクロレンズは、それぞれに覆われる複数の画素のうちの一部の画素のみが前記撮像光学系からの光に対応する第一のマイクロレンズで構成され、前記第二のマイクロレンズ群の各マイクロレンズは、前記第一のマイクロレンズとは異なり、それぞれ前記第一のマイクロレンズが覆う画素よりも少ない画素を覆い、所定の画素に前記撮像光学系からの光を導く第二のマイクロレンズで構成され、且つ
前記第一のマイクロレンズ群の各マイクロレンズに覆われた前記複数の画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定ステップと、
前記受光状態判定ステップによる判定結果に基づき、前記第二のマイクロレンズ群の各マイクロレンズに覆われた画素のうち、所定の射出瞳位置に対応する画素を、前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する画素選択ステップと、
前記画素選択ステップにより選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得ステップと、
を有することにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項３７の合焦情報取得方法によれば、請求項３６の合焦情報取得方法において、
前記画素選択ステップは、異なる複数の射出瞳位置に対応する画素を前記第二のマイクロレンズ群の各マイクロレンズ毎に選択するステップであり、且つ
前記合焦情報取得ステップは、前記画素選択ステップにより選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得るステップであることにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことが可能となる。
本発明の請求項３８の合焦情報取得方法によれば、請求項３６または請求項３７の合焦情報取得方法において、
前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
前記第一のマイクロレンズ群の各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導くことにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、一層簡易に且つ正確に合焦検出を行うことが可能となる。

本発明の請求項３９の合焦情報取得方法によれば、請求項３８の合焦情報取得方法において、
前記受光状態判定ステップの前に、前記絞り手段を、所定の開口径に絞り込む絞り制御ステップを有し、且つ
前記受光状態判定ステップは、前記絞り制御ステップにより前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定するステップであることにより、
特に、撮像光学系の位置や開口径にかかわらず、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、より一層簡易に且つ正確に合焦検出を行うことが可能となる。
本発明の請求項４０の合焦情報取得方法によれば、請求項３６〜請求項３９のいずれか１項の合焦情報取得方法において、
前記第一のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っており、
前記第二のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っていることにより、
特に、さらに効果的に且つ適確に撮像光学系の所望の瞳位置に対応する画素の出力を分離再構成して、さらに一層簡易に且つ正確に合焦検出を行うことが可能となる。

以下、本発明の実施の形態に基づき、図面を参照して本発明の撮像装置および合焦情報取得装置、ならびにこれらの装置にそれぞれ適用される撮像方法および合焦情報取得方法について詳細に説明する。
まず、本発明の第一の実施の形態が適用されるディジタルカメラ等の撮像装置について説明する。図１は、本発明の第一の実施の形態に係る撮像装置としてのディジタルカメラのシステム構成を示している。
図１に示すディジタルカメラは、撮像レンズ１、絞り−シャッタユニット２、マイクロレンズアレイ付き撮像素子３、ＣＤＳ（相関二重サンプリング）−ＡＤ（Ａ／Ｄ（アナログ−ディジタル）変換）部４、ＤＳＰ（ディジタル信号処理）部５、メカニカルドライバ部６、撮像素子駆動回路７、ＣＰＵ（中央処理部）８、メモリ部９、通信ドライバ１０、メモリカード１１、表示部１２、操作部１３、ＡＦ（自動合焦制御）処理部１４、ストロボ発光部１５、ストロボ電源部１６およびストロボ受光部１７を具備している。

図１のディジタルカメラにおいて、撮像レンズ１は、具体的には、例えば、図２に示すような多数のレンズから構成される撮像光学系であり、図１においては、理解を容易にするために、図２のような複数のレンズを代表する１つのメインレンズからなる撮像レンズ１として示している。図２に示す撮像レンズ１は、例えば焦点距離を所望に応じて変更し得るズームレンズとして構成されており、その詳細については、後に説明する。絞り−シャッタユニット２は、機械的な絞りおよびシャッタを備えている。
マイクロレンズアレイ付き撮像素子３は、例えば図３に示すように、ＣＭＯＳ撮像素子またはＣＣＤ撮像素子等のような固体撮像素子を用いて構成した撮像素子本体３１の受光面側に、本発明に係るＡＦ用のマイクロレンズアレイ３２を備えている。
ＣＤＳ−ＡＤ部４は、マイクロレンズアレイ付き撮像素子３から得られる画像信号を相関二重サンプリングし、さらにＡ／Ｄ変換してディジタルデータに変換する。ＤＳＰ部５は、Ａ／Ｄ変換されだディジタル信号を処理するディジタル信号処理装置であり、例えばＲＧＢから、輝度Ｙ、色差Ｕおよび色差ＶのＹＵＶデータに変換したり、そのＹＵＶデータを、例えばＪＰＥＧ（Joint Photographic Experts Group）方式により圧縮したりするなどのディジタル信号処理を行う。

メカニカルドライバ部６は、機械的作動部を駆動するドライバであって、フォーカシングやズーミングに際して撮像レンズ１を駆動するレンズ駆動部および絞り−シャッタユニット２のシャッタ開閉動作を行うシャッタ駆動部等を含んでいる。なお、レンズ駆動部には、レンズを正確に駆動制御するためにレンズ位置を検出するレンズ位置検出部も含んでいる。撮像素子駆動回路７は、撮像素子３を作動させ、撮像レンズ１により撮像素子３の受光面に結像された被写界像を画像信号として撮像素子３から取り出す。ＣＰＵ（中央処理部）８は、上述したＤＳＰ部５、メカニカルドライバ部６および撮像素子駆動回路７、ならびにメモリ部９、通信ドライバ１０、メモリカード１１、操作部１３、ストロボ発光部１５、ストロボ電源部１６およびストロボ受光部１７等と信号の授受を行って、このディジタルカメラシステム全体を制御する。
メモリ部９は、例えば撮像した画像データおよびファイルから読み出した画像データを一時保持すると共に、ＤＳＰ部５およびＣＰＵ８の作動に関連してワークメモリとして使用されるメモリである。通信ドライバ１０は、本ディジタルカメラの外部との通信を行わせるための通信駆動部である。メモリカード１１は、このディジタルカメラに対して着脱可能に設けられ、撮像素子などで得られた画像データ等を記録するためのメモリカードである。表示部１２は、ＬＣＤ（液晶ディスプレイ）等の表示器と、ＤＳＰ部５からの映像出力信号を、ＬＣＤ等を用いた表示器で表示可能な信号に変換する表示コントローラとを含んでおり、ＤＳＰ部５からの映像出力信号を表示器で表示可能な信号に変換し、そしてその画像を表示器にて表示する。

操作部１３は、種々の操作情報をシステムに入力するための各種スイッチ等の操作ボタンまたはレバー等を含み、これら操作ボタンまたはレバーをユーザが操作することにより、各種操作情報をシステムに入力することを可能としている。レリーズボタン、電源ボタン、およびズームボタン等もこの操作部１３に含まれる。ＡＦ処理部１４は、必要に応じて設けられ、本発明に係るＡＦ操作と併用されて粗い非ＴＴＬ方式にてＡＦ操作、例えば、三角測距方式によるＡＦ操作、を行うための処理を行う。
ストロボ発光部１５は、ストロボ光の発光部であり、ＣＰＵ８から、ストロボ光の発光開始／発光停止を制御することが可能である。ストロボ電源部１６は、例えばストロボ発光用のメインコンデンサ等を含むストロボ発光用の電源であり、その充電電圧をＣＰＵ８から検出することが可能である。ストロボ受光部１７は、ストロボ発光部１５によるストロボ光の被写体による反射光を受光する受光光学系および光センサを含んでおり、ＣＰＵ８からの受光開始指示を受けて、受光を開始し、受光量を積分する。ＣＰＵ８は、ストロボ発光部１５を制御してストロボ発光を開始させると同時にストロボ受光部１７に受光開始指示を与える。ストロボ受光部１７は、それ以後の受光積分量が、ＣＰＵ８により予め設定された設定値に達したらストロボ発光部１５に発光停止信号を与えて、発光を停止させる。

ここで、図２〜図６を参照して、本発明に係るディジタルカメラにおけるＡＦ方式についての概略を説明する。このＡＦ方式は、撮像用、つまり画像を撮像するための撮像素子本体およびマイクロレンズアレイのみを用いて、コンパクトでありながら、ＴＴＬ方式で、ピントのずれ量を判定することが可能な方式である。さらに補足すると、従来と同様の撮像レンズと画像用の撮像素子の構成に、撮像素子本体の前面側にマイクロレンズを配置するだけで、単一の撮像素子からピント用情報と画像生成用画素データを得ることを可能とする方法である。
図２は、撮像用の光学系である撮像レンズ１の具体的な構成の一例を示す模式的な断面図、図３は、撮像素子３の受光面に設けられるマイクロレンズアレイの具体的な構成の一例を示す模式的な斜視図、図４は、図１のディジタルカメラに係る撮像原理に係る要部の構成を模式的に示す概念図、図５は、図３のマイクロレンズアレイを構成する個々のマイクロレンズの仕様の一例を説明するための模式図、そして図６は、この構成における撮像レンズと、マイクロレンズアレイのマイクロレンズと、撮像素子の画素群との関係を説明するための模式図である。

図２〜図６に示す撮像系は、図４に示すように、撮像レンズ１、絞り２およびマイクロレンズアレイ付き撮像素子３を具備している。
図４の撮像系において、撮像レンズ１は、具体的には、例えば、図２に示すような多数のレンズから構成される撮像光学系であり、図４等においては、理解を容易にするために、図２のような複数のレンズを代表する１つのメインレンズからなる撮像レンズ１として示している。
図２に示す撮像レンズ１は、例えば焦点距離を所望に応じて変更し得るズームレンズとして構成され、図示のように物体側から、順次、第１レンズ群Ｇ１、第２レンズ群Ｇ２、第３レンズ群Ｇ３および第４レンズ群Ｇ４を配置して構成されている。第１レンズ群Ｇ１は、物体側に凸面を向けた負メニスカスレンズおよび物体側に凸面を向けた正メニスカスレンズを互いに密着させてなる接合レンズと、物体側に凸面を向けた正メニスカスレンズとを物体側から順次配置して構成され、第１のズーム群として機能する。第２レンズ群Ｇ２は、物体側に凸面を向けた負メニスカスレンズと、像面側に凸面を向けた平凸レンズからなる正レンズおよび像面側に凸面を向けた負メニスカスレンズを互いに密着させてなる接合レンズとを物体側から順次配置して構成され、第２のズーム群として機能する。第３レンズ群Ｇ３は、両凸レンズからなる正レンズと、両凸レンズからなる正レンズおよび両凹レンズからなる負レンズを互いに密着させてなる接合レンズとを物体側から順次配置して構成され、フォーカス調整用のフォーカス群として機能する。第４レンズ群Ｇ４は、物体側に強い曲率の凸面を向けた単一の両凸レンズからなる１枚の正レンズで構成される。第２レンズ群Ｇ２と第３レンズ群Ｇ３との間に絞り２が介挿配置され、第４レンズ群Ｇ４の物体から遠い面側に像面、すなわち撮像素子による撮像面が形成される。

図２の撮像レンズは、第１および第２のズーム群である第１レンズ群Ｇ１および第２レンズ群Ｇ２を移動させてズーミングを行い、フォーカス群である第３レンズ群Ｇ３を移動させてピント合わせを行う。
図４においては、絞り２は、撮像レンズ１の光軸（主光軸）とほぼ平行な絞りターレット軸を中心として回転可能に設けられる円盤状の遮光板に口径の異なる開口を同一円周上に複数個配置しており、回転操作により撮像レンズ１の光軸（主光軸）上に所要の口径の開口を挿入することによって絞り開口をターレット形式で選択する方式の、いわゆる絞りターレットとして模式的に示している。ここでは、絞り２は、模式的に、絞りターレットとして示したが、もちろん、絞り２は、複数の絞り羽根の開閉操作により絞り開口を調整する一般的な絞り機構によって構成しても良い。
マイクロレンズアレイ付き撮像素子３は、ＣＭＯＳ（相補型金属酸化物半導体）およびＣＣＤ（電荷結合素子）等からなるイメージセンサとしての固体撮像素子からなる撮像素子本体３１と、その撮像素子本体３１の前面側に配置されるマイクロレンズアレイ３２とを有して構成される。

マイクロレンズアレイ３２は、先に述べた通り、例えば、図３に示すように、撮像素子本体３１の受光面の入射面側に配置され、撮像素子本体３１の受光面を覆うカバーガラスとほぼ同様に形成された光を透過する平板状の板体に、撮像素子本体３１の特定の直線状の画素列に対応して、例えば画面の垂直方向についてのほぼ中央部に水平方向に沿って複数の等寸法で且つ等形状のマイクロレンズを、例えば直線状に配列して形成する。この場合、各マイクロレンズは、配列方向と直交する方向を軸方向とするかまぼこ状の部分円柱レンズを水平方向に稠密に配列して極めて短寸の細長いレンティキュラーレンズのように形成される。マイクロレンズアレイ３２の各マイクロレンズは、各部分円柱レンズの軸方向については例えば１列または数列の画素列に対応する短い寸法に形成され、配列方向については数個以上の画素に対応する寸法に形成されている。また、マイクロレンズアレイ３２の各かまぼこ状のマイクロレンズは、部分円柱状の両端面、すなわちマイクロレンズの列の図示上下面に適宜遮光を施して、各マイクロレンズに対応する画素列にマイクロレンズ部分以外からの光が入射することがないようにする。上記複数のマイクロレンズは、撮像素子本体３１の受光部の受光面上に一次元的に配列され、且つ各マイクロレンズは、連接する複数の画素を排他的に覆っている。これを換言すれば、前記マイクロレンズに覆われた画素は、一つのレンズのみに覆われている（複数のマイクロレンズには覆われていない。）本発明に係るＡＦ動作には、この直線状に配列されたマイクロレンズの列に対応する画素列を用い、撮像素子本体３１のそれ以外の画素は、本来の撮像における画像生成用に使用する。

マイクロレンズアレイ３２の各マイクロレンズに関連する部分の具体的な仕様の一例を、図５に示す模式図を参照して説明する。図５において、マイクロレンズアレイ３２については、撮像レンズ１の光軸上に位置するマイクロレンズのみを模式的に楕円として示しており、撮像素子本体３１についても、当該マイクロレンズに対応する画素群のみを模式的に長方形として示している。
仮に、撮像素子本体３１の画素ピッチを２μｍとし、マイクロレンズアレイ３２の１つのマイクロレンズに対応する画素を１０画素とする。また、撮像レンズ１のＦ値はＦ２．８とする。
１つのマイクロレンズに対応する撮像素子３の画素数が１０画素であるので、対応する画素列の長さは、
２μｍ×１０＝２０μｍ
となる。１つのマイクロレンズの焦点距離をｆとすれば、
ｆ/２０μ＝２．８
であるから、
ｆ＝５６μｍ
となる。

したがって、マイクロレンズアレイ３２の１つのマイクロレンズは、長手方向、つまりマイクロレンズの配列方向についてのレンズ径が２０μｍで焦点距離が５６μｍとなる。
なお、ＡＦ処理に際しては、撮像レンズ１のＦ値は、Ｆ２．８であっても、撮像レンズ１の外周近傍の両端は像性能があまり良好でない場合があるので、ＡＦ処理に供される撮像素子本体３１の画素群としては、より内側のＦ４程度に相当する範囲を見込む領域に対応する画素を使用することが望ましい。
次に、このような構成における本発明の第１の実施の形態に係るディジタルカメラにおけるＡＦ方式の原理について説明する。
まず、図６を参照して、この実施の形態のディジタルカメラにおけるＡＦシステムの基本的な構成について説明する。
図６には、メインレンズとして代表して示される撮像レンズ１と、マイクロレンズアレイ３２のうちの１つのマイクロレンズＭＬαおよび他の１つのマイクロレンズＭＬβと、撮像素子本体３１のうちのマイクロレンズＭＬαおよびマイクロレンズＭＬβにそれぞれ対応する一部の画素部分とを模式的に示している。この場合、図６のように、レンズ系を模式的に示す場合には、その断面形状にかかわらず、複数のレンズからなる撮像レンズ１もマイクロレンズアレイ３２を構成する個々の平凸レンズ状のマイクロレンズも、それぞれ楕円として示している。

図６において、１つのマイクロレンズＭＬαに対応する画素部分内に位置するｎ番目の画素および他の１つのマイクロレンズＭＬβに対応する画素部分内に位置するｍ番目の画素は、それぞれマイクロレンズＭＬαおよびＭＬβによって、撮像レンズ１の点ａからの光を受光するようになっている。
マイクロレンズＭＬαおよびＭＬβ以外のマイクロレンズについても、点ａからの光を受光する画素があるので、それらの画素データを適切に選択して配列すれば、撮像レンズ１の点ａを通る光による被写界の像を構成することができる。同様に、各マイクロレンズに対応して、撮像レンズ１の該当位置を通る光を受光する各画素の画素データを選択して配列することによって、撮像レンズの各位置を通る光による被写界の像を構成することができる。
このように、撮像レンズ１からの光をマイクロレンズアレイ４の各マイクロレンズに対応して受光する画素の画素データから撮像レンズ１の射出瞳位置に応じた被写界の像を作り出すことを、像の再構成と表現することにする。

このようなシステムにより、本発明に係るＡＦ処理が行われる。このＡＦ方式は、基本的に、被写界の画像を撮像するための撮像素子本体３１とマイクロレンズを配列してなるマイクロレンズアレイ３２のみを用いるコンパクトな構成でありながら、ＴＴＬ（Through the Lens）方式で、ピントのずれ量を判定することができるＡＦ方式である。さらに補足すると、従来の撮像レンズと被写界像撮像用の撮像素子との構成に、さらに撮像素子本体の前面にマイクロレンズアレイを配置するだけで、単一の撮像素子からピント合わせ用の情報と被写界画像生成用の画素データを得ることができるものである。
次に、このＡＦ方式の原理について、一般的な被写体における合焦判定を示す図７、図８および図９を参照して、詳細に説明する。
図７は、ちょうどマイクロレンズアレイ３２上で被写体にピントが合っている場合を示している。
被写体のＸ点からの光のうち、撮像レンズ（メインレンズ）１の点ａおよび点ｂを通る光をそれぞれａＸ光線およびｂＸ光線とする。同様に、Ｙ点ならびにＺ点からの光のうちの点ａおよび点ｂを通る光もそれぞれａＹ光線およびｂＹ光線ならびにａＺ光線およびｂＺ光線とする。また、Ｘ点、Ｙ点およびＺ点からの主光線をそれぞれＸ主光線、Ｙ主光線およびＺ主光線とし、これらＸ主光線、Ｙ主光線およびＺ主光線は、それぞれマイクロレンズアレイ３２の異なるマイクロレンズに入射する。

ここで、被写体はマイクロレンズアレイ３２上でピントが合っている状態であるので、Ｘ主光線が入射したマイクロレンズには、ａＸ光線およびｂＸ光線も入射し、このマイクロレンズ下の異なった画素で受光される。なお、点ａおよび点ｂからの光を受光するこれらの画素は、撮像レンズ１とマイクロレンズアレイ３２との距離がｆｍである場合において、点ａおよび点ｂからの光を受光するものとして、予め装置のシステムに認知されている。同様に、Ｙ主光線ならびにＺ主光線が入射するマイクロレンズについても、点ａおよび点ｂからの光が入射して、それぞれ異なる画素で受光される。
システムが認知している撮像レンズ１とマイクロレンズアレイ３２の距離ｆｍにおける各マイクロレンズ下の点ａからの光線の受光画素および点ｂからの光線の受光画素の明るさ、つまり輝度、を抽出してそれぞれ並べると、点ａから見た被写体のコントラストのプロファイルを示すコントラスト像および点ｂから見た被写体のコントラスト像が得られる。これらを点ａ像および点ｂ像とする。点ａ像および点ｂ像において、黒く塗りつぶされている箇所が被写体像の画素であり、その図示横方向の位置、すなわち各ベースライン「０」からの偏倚、が各マイクロレンズ下の抽出された画素における輝度を示している。マイクロレンズアレイ４上で被写体のピントが合っている場合には、図示のように、点ａ像および点ｂ像の位置は同じになる。

以上のようにして、点ａ像および点ｂ像の位置で撮像レンズ１がマイクロレンズアレイ４上にピントが合っていることを知ることができる。
図８は、撮像レンズ１により被写体のピントが、マイクロレンズアレイ３２よりも後方（すなわち撮像素子３１側）にずれている場合を示している。
この場合、ａＸ光線とｂＸ光線、ａＹ光線とｂＹ光線およびａＺ光線とｂＺ光線は、それぞれ交差する前に異なる別々のマイクロレンズに入射する。その結果として、点ａ像と点ｂ像は、相互間に像ずれを発生する。
また、図９は、被写体のピントが、マイクロレンズアレイ３２よりも前方（すなわち物体側）にずれている場合を示している。
この場合、ａＸ光線とｂＸ光線、ａＹ光線とｂＹ光線およびａＺ光線とｂＺ光線は、それぞれ交差した後に異なる別々のマイクロレンズに入射する。その結果として、点ａ像と点ｂ像は、相互間に像ずれを発生する。
なお、図８の場合と、図９の場合とで、像ずれの方向は互いに逆の方向であり、このことによって、撮像レンズ１によるピントが、マイクロレンズアレイ３２の後方および前方のいずれにあるかをも知ることができる。したがって、この像ずれを、合焦状態およびピントずれ状況等を示す合焦情報として利用することができる。

また、撮像レンズ１の中央から射出されるＸ主光線、Ｙ主光線およびＺ主光線などのような主光線を受けるマイクロレンズの像を点ｃ像とすると、図７、図８および図９における点ｃ像は、撮像レンズ１により結像される被写体像のピント面が、マイクロレンズアレイ３２上に位置しているか、マイクロレンズアレイ３２の後方に位置しているか、マイクロレンズアレイ３２の前方に位置しているかにかかわらず、同じ位置に結像される。このため、この点ｃ像を基準として用いると、ピントずれの方向および量の判別が容易になる。
次に図１０および図１１を参照して、具体的な合焦判定の例について説明する。
図１０（ａ）に示すように、撮像レンズ１の点ａ、点ｂおよび点ｃを通る光による像は、合焦被写界点にある被写体が、マイクロレンズアレイ３２上に結像され、合焦被写界点よりも近いニア被写界点（Ｎｅａｒ被写界点）にある被写体は、撮像レンズ１からマイクロレンズアレイ３２よりも遠い箇所に結像され、そして合焦被写界点よりも遠いファー被写界点（Ｆａｒ被写界点）にある被写体は、撮像レンズ１とマイクロレンズアレイ３２との中間位置に結像される。

すなわち、上述のようにして、点ａ、点ｂおよび点ｃを通る光による像、すなわち、点ａ像、点ｂ像および点ｃ像を再構成により形成すれば、それぞれ、ニア被写界点については、図１０（ｂ）、合焦被写界点については、図１０（ｃ）、そしてファー被写界点については、図１０（ｄ）に示すような点ａ像、点ｂ像および点ｃ像が形成される。ここで、点ｃ像の中央部近傍で相関評価ウィンドウを定義する。点ｃ像の中央領域であるので、その像は、撮影レンズ１が垂直に真っ直ぐに貫かれる主光軸上の被写体像である。この相関評価ウィンドウ内のコントラスト像と強い相関を示す、つまりほぼ一致する、像の像位置を、点ａ像および点ｂ像内で検索する。
すなわち、求め方は、点ｃ像で設定した相関を評価するための相関評価ウィンドウ内の像と、点ａ像または点ｂ像とを同じウィンドウ幅で像位置をシフトしながら比較し、相関つまり一致度の高い像位置を求める。一致度は、比較するウィンドウ同士の画素データの差分の積算を計算し、その値が小さければ、一致度が高いということになる。
もしも、点ｃ像、点ａ像および点ｂ像で一致する像が、図１０（ｂ）のように、点ｃ像の像位置を中央に、左側の位置に点ａ像、右側の位置に点ｂ像があったとすると、対象被写体よりも近い被写界点（ニア被写界点）にピントが合っている、いわゆる前ピン状態と判定することができる。そして、点ｃ像、点ａ像および点ｂ像で一致する像が、図１０（ｃ）のように、点ｃ像と点ａ像と点ｂ像の像位置が全て一致していれば、合焦状態と判定することができる。また、もしも、点ｃ像、点ａ像および点ｂ像で一致する像が、図１０（ｄ）のように、点ｃ像の位置を中央に、右側の位置に点ａ像、左側の位置に点ｂ像があったとすると、対象被写体よりも遠い被写界点（ファー被写界点）にピントが合っている、いわゆる後ピン状態と判定することができる。

なお、図１０（ｂ）〜図１０（ｄ）に示した、点ａ像および点ｂ像のみを用いて、各像の中央から相関評価ウィンドウを逆方向にずらしながら、逐次ウィンドウ内の像の一致度を評価して、相関の高い像位置を求めるようにしても、ピントずれを検出することができる。しかしながら、図示のように点ｃ像を加えることによって、３つの像の相関を評価し、より正確な像一致を検出することができる。
図１１は、点ｃ像の相関評価ウィンドウを、中央近傍以外にした場合の一例を示している。図１１（ａ）は、撮像レンズ１、撮像素子３１の画素列およびマイクロレンズアレイ３２、ならびに被写界における合焦被写界点にある被写体、ニア被写界点にある被写体およびファー被写界点にある被写体の光学的幾何学的な関係を示している。図１１（ｂ）はニア被写界点について、図１１（ｃ）は合焦被写界点について、そして図１１（ｄ）はファー被写界点について、それぞれ形成される点ａ像、点ｂ像および点ｃ像を示している。
この場合も、点ｃ像で設定した相関評価ウィンドウ内の像と、点ａ像または点ｂ像とを同じウィンドウ幅で像位置をシフトしながら比較し、一致度の高い像位置を求める。もしも、図１１（ｂ）のように、この場合やや右寄りに位置する点ｃ像の像位置に対して、左側の位置に点ａ像、右側の位置に点ｂ像があったとすると、対象被写体よりも近い被写界点（ニア被写界点）にピントが合っている前ピン状態と判定することができる。

そして、図１１（ｃ）のように、やや右寄りの位置において、点ｃ像と点ａ像と点ｂ像の像位置が全て一致していれば、合焦状態と判定することができる。また、もしも、図１１（ｄ）のように、やや右寄りに位置する点ｃ像の位置を中央に、右側の位置に点ａ像、左側の位置に点ｂ像があれば、対象被写体よりも遠い被写界点（ファー被写界点）にピントが合っている後ピン状態と判定することができる。
なお、図１１（ｂ）〜図１１（ｄ）に示した、点ａ像および点ｂ像のみを用いて、各像の中央から相関評価ウィンドウを逆方向にずらしながら、逐次ウィンドウ内の像の一致度を評価して、相関の高い像位置を求めるようにしても、ピントずれを検出することができる。しかしながら、図示のように点ｃ像を加えることによって、３つの像の相関を評価し、より正確な像一致を検出することができる。
このように、撮像レンズ１の主光軸以外の被写体に対する合焦状態を検出することができるばかりでなく、後ピンおよび前ピンの各ピントずれ状態をも検出することができ、後ピンと前ピンにおける点ａ像および点ｂ像のずれ方向が逆であることから、ピントのずれ方向も判別することができる。このようなピントずれ状態が、検出された場合には、ピントずれの方向とは逆に撮像レンズ（メインレンズ）１を動かすなどして、合焦状態が得られるまで制御すればピントが合った状態とすることができる。

以上において、撮像レンズ１の所定の射出瞳位置に対応する各マイクロレンズ下の所定の画素の出力より、複数の射出瞳位置に対応する視差のある像を再構成して、撮像レンズ１の合焦検出を行う方法を説明したが、実際には、ディジタルカメラ等の撮像装置の撮像レンズは、ズーム変倍により有効位置や有効開口径が変化し、また焦点合わせのためにも有効位置が変化する。さらには、同一モデルであってもディジタルカメラ（撮像装置）毎に、製造工程における各部材の取り付け誤差等によって、撮像レンズ１の位置にばらつきが生じることもある。
すなわち、図１２を参照して、上述のように撮像レンズ１の位置が前後に変化した場合を例にとって説明する。
図１２は、例えばズーミングやフォーカシングによって、撮像レンズ１の位置が移動した場合を示している。撮像レンズ１とマイクロレンズアレイ３２との間の距離が所定距離ｆｍの状態のときに、各マイクロレンズから撮像レンズ１の点ａおよび点ｂを見ていた画素は、図１２に示すように撮像レンズ１とマイクロレンズアレイ３２との間の距離が変化すると、それぞれ撮像レンズ１の点ａおよび点ｂとは異なる点からの光を受光することになり、正しく点ａ像、点ｂ像、および点ｃ像を構成することができなくなる。

撮像レンズ１は、ＣＰＵ８によって位置制御されているので、その距離ｆｍからの位置変化情報をもとに、像を再構成する際の選択画素を変更することも可能ではある。しかしながら、撮像レンズ１の位置検出誤差や光学系の温度変化などの影響も受けるため、煩雑な処理が必要となってしまう。
そこで、その対策として、本発明に係るディジタルカメラの第一の実施の形態においては、図１３に示すように、予めマイクロレンズにより覆われる画素列が、撮像レンズ１の有効開口径内の光と有効開口径外の光との両方を受光できるように、各マイクロレンズおよび画素を配置構成している。具体的には、例えば撮像レンズ１のＦ値よりもマイクロレンズのＦ値を小さく構成し、マイクロレンズが撮像レンズ１の有効開口よりも広い範囲からの光を受光するようにしておく。
図１３においては、各マイクロレンズにより覆われる画素列に撮像レンズ１の有効開口内の光を受光する領域と、有効開口外の光を受光する領域がある。マイクロレンズ下の各画素が有効開口内に対応しているか、有効開口外に対応しているかの判定については、被写界がある程度明るい場合にも、有効開口外に対応する画素には被写界からの光が入射せず、画素出力が暗黒かまたは暗黒に近い画素データとなるので、各マイクロレンズ下の画素出力が暗い部分の画素を、有効開口外に対応する画素と判定する。
尚、ここで、有効開口径とは、一般には、入射瞳の直径のことを指すが、開口径は、円とは限らないので面積に近似する円を描いたときの直径をいう。
実際には、レンズを無限遠にセットし、ピント面に点光源を置き、レンズの前方に置いたスクリーンに投影された像の平均直径を測る。

図１３に示す通り、撮像レンズ１の有効開口径をＤとし、合焦検出に使用する点ａおよび点ｂを、開口径Ｄよりも２０％内側とする。この場合、各マイクロレンズ下の画素列について、開口内と判定したエリアの両側２０％の位置の画素を、選択して像を再構成すれば、点ａ像および点ｂ像を形成することができる。
そして、図１４には、図１３の撮像レンズ１が物体方向に移動した状態が示されている。図１４においては、撮像レンズ１とマイクロレンズアレイ３２との間の距離が図１３の場合よりも長くなるため、撮像レンズ１が移動せずに撮像レンズ１の開口径が小さくなった場合と同様に、マイクロレンズ下の各画素は、有効口径外に対応する画素が増加し、有効口径内に対応する画素が減少する。この場合も撮像レンズ１の有効開口径をＤとし、合焦検出に使用する点ａおよび点ｂを、開口径Ｄよりも例えば１０％内側とすれば、各マイクロレンズ下の画素列について、開口内と判定したエリアの両側１０％の位置の画素を、選択して像を再構成して、点ａ像および点ｂ像を形成することができる。

これが、本発明の第一の実施の形態に係るディジタルカメラのＡＦ方式である。このようにすれば、マクロレンズアレイ３２に対する撮像レンズ１の有効開口径または距離が変化しても、有効開口径の変化を検出し、それに応じて合焦検出に使用する射出瞳位置に対応する画素を適切に選択することができる。したがって、撮像レンズ１の有効開口径または距離の変動にも対応して、適切なＡＦ動作を行うことができる。
ちなみに、マイクロレンズアレイ３２におけるマイクロレンズのピッチは、再構成する点ａ像および点ｂ像の空間のサンプリング間隔になるので、短いほうがＡＦ動作の精度が高くなる。図１５は、撮像レンズ１の有効開口径Ｄ１、マイクロレンズの有効径（有効幅）Ｄ２、撮像レンズ１の焦点距離（撮像レンズ１とマイクロレンズアレイ３２との間の距離）ｆ１、およびマイクロレンズの焦点距離（マイクロレンズアレイ３２と撮像素子３１との間の距離）ｆ２の関係を説明するためのものである。マイクロレンズのピッチは、図１５におけるマイクロレンズの有効径Ｄ２に相当する。

ここで、撮像レンズ１のＦ値（＝＝ｆ１／Ｄ１）と、マイクロレンズのＦ値（＝＝ｆ２／Ｄ２）とが等しいと、図１５に示すように、各マイクロレンズが、撮像レンズ１の開口部のどの点を受光しても、隣接するマイクロレンズの光線と干渉せずに、撮像素子３１でとらえることができる。
したがって、本発明に係る撮像素子（ディジタルカメラ）で用いているＡＦ方式においては、本来、撮像レンズ１とマイクロレンズアレイ３２の各マイクロレンズのＦ値を等しくすることが理想的である。
これに対して、本発明の上述した第一の実施の形態においては、図１６に示すように、マイクロレンズアレイ３２の各マイクロレンズで、撮像レンズ１の有効開口径の内外からの光線を受光し得るようにする。その場合における各マクロレンズの有効径（有効幅）Ｄ３は、撮像レンズ１と各マイクロレンズとのＦ値が等しくなるようにした場合のマイクロレンズ有効径（有効幅）Ｄ２よりも大きくなるように構成する。すなわち、マイクロレンズのＦ値（＝＝ｆ２／Ｄ３）は、前述の図１５におけるＦ値（＝＝ｆ１／Ｄ１＝＝ｆ２／Ｄ２）よりも小さくなるようにする。

次に、上述したような構成のディジタルカメラにおける各部の動作について、図１７に示すフローチャートを参照して説明する。
図１７は、ディジタルカメラにおける撮像記録時の制御を行うメイン処理を示している。なお、明確には図示していないが、操作部１３の状態の読み込みなどは、このメイン処理の起動中にメイン処理と並行して行われる並行処理によって処理される。この並行処理は、メイン処理の状態にかかわらず、例えば定期的なタイマ割り込みによって起動され処理される。ここでは、静止画を記録する場合を例にとって詳細に説明する。
撮像記録モードにおいては、カメラの電源がオンとされると、図１７には示していないが、カメラ内部のハードウェアの初期化や、メモリカード１１内のファイル情報を、メモリ９内に作成するなどの初期処理を行う。その後に、図１７の撮像記録のメイン処理が開始される。
メイン処理においては、まずモニタリング状態をチェックし（ステップＳ１１）、モニタリングが停止状態であれば、モニタリング開始処理を行う（ステップＳ１２）。また、ストロボ発光を必要とする撮像モードが選択されているか否かおよびストロボ電源部１６のメインコンデンサが充分に充電されているか否かに応じて、ストロボ電源部１６のメインコンデンサの充電が必要であるか否かをチェックし（ステップＳ１３）、ストロボ発光を必要とする撮像モードが選択されていて、ストロボ電源部１６のメインコンデンサが充分に充電されておらず、ストロボ電源部１６の充電が必要であれば充電処理を開始する（ステップＳ１４）。

ステップＳ１３において、ストロボ発光を必要とする撮像モードが選択されていない場合、またはストロボ発光を必要とする撮像モードが選択されていて、ストロボ電源部１６のメインコンデンサが充分に充電されている場合、には、ストロボ電源部１６の充電が必要でないので、何もしない（次のステップＳ１５へ進む）。
ステップＳ１２のモニタリング開始処置においては、撮像素子駆動回路７による撮像素子３（すなわち撮像素子本体３１）の駆動を開始し、また並行処理のモニタリング処理を起動する。なお、初めてメイン処理に入った場合にも、上述したステップＳ１２のモニタリング開始処理が実行されることになる。
上述した並行処理におけるモニタリング処理は、カメラのスルー画像を表示している際のＡＥ（自動露出）およびＡＷＢ（自動ホワイトバランス）の追尾処理を実行させるものであり、このようにすることにより、カメラの表示装置に表示している画像を、いつも適正な明るさ、自然な色合いに保つことができる。

具体的には、撮像素子３からＣＤＳ−ＡＤ部４を介して得られる画像データからＤＳＰ部５においてＡＥおよびＡＷＢそれぞれに対する評価値をＣＰＵ８で取得し、その値が所定値となるように、撮像素子駆動回路７に電子シャッタ秒時をセットする。撮像素子３の電子シャッタには、設定可能な最長秒時および最短時間の限界があり、被写体の輝度に応じて、限界以上の露光アンダーまたは露光オーバーがある場合には、ＣＰＵ８は絞り−シャッタユニット２の絞り開口径、つまりＦ値、を変更したり、撮像信号の撮像素子３部分における増幅率を変更したりする。また、ＤＳＰ部５における画像処理色パラメータを調節したりするためのフィードバック制御も行う。
以上のモニタリング処理や、先に述べた操作部１３の状態の読み込み処理の並行処理は、例えば２０ｍｓの定期タイマ割り込みで実行される。
メイン処理におけるステップＳ１１においてモニタリング状態がオンであると判定された場合、ステップＳ１３において充電が不要であると判定された場合、そしてステップＳ１４で充電が開始された場合には、操作部１３のスイッチ等の操作状態を判定する操作判定処理が行われる（ステップＳ１５）。

メイン処理のステップＳ１５の操作判定処理は、上述した２０ｍｓ毎の定期タイマ割り込み処理で、入力されるスイッチ等の操作情報を確定して、操作されたスイッチ等に対応する処理を行う。
ステップＳ１５において、有効な操作情報が検知されなければ、何もせずにステップＳ１１に戻り、再びステップＳ１５の操作判定処理に戻るループを繰り返す。先に述べた通り、この例では、静止画のみについて述べている。
図１７における操作情報に応じたメイン処理動作を、図１を参照しながら説明する。図１に示す構成において、操作部１３には、シャッタのレリーズ操作を行うためのシャッタボタンが含まれている。
静止画の撮像時は、シャッタボタンの半押し、つまり第１段を押下したときに作動する第一スイッチがオンとなると、モニタリングを停止して（ステップＳ１６）、ＡＥ処理を行う（ステップＳ１７）。ステップＳ１７のＡＥ処理においては、撮像データをＤＳＰ部５で評価し、撮影露出時に対応して撮像素子駆動回路７に設定する撮像素子の露光時間値および撮像素子３の増幅率を決定する。

次にＡＦ処理を行う（ステップＳ１８）。ここでは、先に述べた本発明に係る第一の実施の形態におけるＡＦ方式によるＡＦ操作を含むＡＦ操作を行うが、一般的な山登り方式によるＡＦ操作と組み合わせた場合を例にとって説明する。
ＣＰＵ８は、まず、撮像素子駆動回路７を介して撮像素子３（撮像素子本体３１）を駆動して、マイクロレンズアレイ３２の各マイクロレンズにより覆われる画素列から各画素が有効開口内に対応しているか、有効開口外に対応しているかを判定し、その判定結果に基づいて合焦検知用の少なくとも２つの異なる所定の射出瞳位置に対応する画素を選択して、それらの出力を各マイクロレンズ毎に取り出して、像を再構成し、各射出瞳位置に対応する像を形成する。そして、これらの像の位置ずれを判別し、合焦状態／ピントずれ状態を判定する。このようにして判定される合焦情報／ピントずれ情報に基づいて、ピントずれの方向とは逆に撮像レンズ１のフォーカス位置を移動するなどして、合焦状態が得られるまで制御してほぼピントのあった状態とする。

さらに、このような合焦操作の後、それに組み合わせて、さらに山登り方式によるさらに精細なＡＦ操作を行う。すなわち、ＣＰＵ８は、メカニカルドライバ部６により撮像レンズ１のフォーカス位置を移動させながら、合焦評価値として撮像データの先鋭度（鮮明度）を検出し、その検出量がピークとなるフォーカス位置に撮像レンズ１を移動させて停止させる山登り方式によるＡＦ操作を行い、ステップＳ１１に戻る。
そして、第一スイッチがオンとなっている状態で、シャッタボタンを全押し、つまり第２段を押下したときに作動する第二スイッチがオンとなると、モニタリングを停止して（ステップＳ１９）、静止画記録処理を行う（ステップＳ２０）。ステップＳ２０の静止画記録処理においては、撮像データをメモリ部９に取り込み、ＤＳＰ部５において、輝度および色差信号に変換するなどの所要の映像信号処理、またはＪＰＥＧ圧縮処理等の処理を行い、そのような処理が施された画像データをファイルとしてメモリカード１１に書き込む。その後、処理は、ステップＳ１１に戻る。
なお、操作部１３において、その他の操作が行われ、それがステップＳ１５において検出判定されたときは、当該操作に対応する処理が行われて（ステップＳ２１）、ステップＳ１１に戻る。

上述においては、ステップＳ１８におけるＡＦ処理について、山登り方式を例にとって説明したが、この実施の形態のディジタルカメラにおいては、本発明の第一の実施の形態に係るＡＦ操作を含むＡＦ処理を行う。
本発明の第一の実施の形態に係るＡＦ方式は、既に説明したように、画像撮像用の撮像素子として、マイクロレンズアレイ付きの撮像素子３を用い、コンパクトでありながら、ＴＴＬ方式で、ピントのずれ量を判定することが可能なＡＦ方式である。補足すると、従来、一般的に用いられていた撮像レンズと画像撮像用の撮像素子の構成に加えて、撮像素子の前面に複数のマイクロレンズを配列したマイクロレンズアレイを配置することにより、単一の撮像素子を用いてピントずれ情報と画像生成用の画素データを得ることができる。
このようにして、撮像レンズの主光軸以外の被写体に対する合焦状態を検出することができるばかりでなく、ならびに後ピンおよび前ピンの各ピントずれ状態をも検出することができ、後ピンと前ピンにおける点ａ像および点ｂ像のずれ方向が逆であることから、ピントのずれ方向も判別することができる。このようなピントずれ状態が、検出された場合には、ピントずれの方向とは逆に撮像レンズを動かすなどして、合焦状態が得られるまで制御すればピントのあった状態とすることができる。

なお、上述から明らかなように、点ｃ像についての相関評価ウィンドウの設定位置によって、撮像レンズ１の異なる軸外光線上に存在する被写体のピント情報を得られるので、画面の中央だけでなく、画面端の被写体の合焦制御を行うことも可能である。
図１７のステップＳ１８におけるＡＦ処理においては、上述した本発明に係るＡＦ方式に従ったＡＦ処理に加えて、上述した山登り方式によるいわゆるコントラスト情報を用いたＡＦ処理を併用してもよく、上述したこの実施の形態のＡＦ方式に従ったＡＦ処理のみを行うようにしてもよい。
また、図１に示すように三角測距方式によるＡＦ処理部１４を別途に設けている場合には、上述した図１７のステップＳ１８の本発明方式を含むＡＦ処理に先立ってまたは定常的にタイマ割り込みによる並行処理として、アクティブまたはパッシブの三角測距方式のＡＦ操作を行って、図１７のステップＳ１８の本発明方式を含むＡＦ処理の前に、撮像レンズ１を一般的な中央部等の被写体における合焦位置近傍に合わせておけば、ステップＳ１８のＡＦ処理の際の撮像レンズ１８の移動距離が短くて済み、より高速に且つ高精度にＡＦ操作を行うことが可能となる。

しかしながら、図１３、図１４および図１６に示す通りに、マイクロレンズ下の各画素において有効開口内からの光線および有効開口外からの光線を受光し得るようにすると、マイクロレンズのＦ値が小さく、つまりマイクロレンズの有効径（有効幅）Ｄが大きくなり、マイクロレンズアレイ３２におけるマイクロレンズのピッチが大きくなる。
一方、先に述べた通り、マイクロレンズアレイ３２におけるマイクロレンズのピッチは、点ａ像や点ｂ像の再構成のための空間上のピッチにも相当する。本発明で用いているＡＦ方式においては、それら点ａ像および点ｂ像の相関から合焦検出をしているので、マイクロレンズアレイ３２におけるマイクロレンズのピッチが大きくなると、合焦検出性能が低下する。
本発明に係る第二の実施の形態のディジタルカメラ（撮像装置）においては、上述したマイクロレンズピッチに係る合焦検出性能の低下のための対策として、マイクロレンズアレイ３２に、図１８に示すように、各々が撮像レンズ１のＦ値より小さなＦ値を有し、撮像レンズ１の有効開口内と有効開口外とを検知するための複数の開口検知用マイクロレンズにより構成する第一のマイクロレンズ群３２ａと、図１９に示すように、各々が前記開口検知用マイクロレンズのＦ値よりも大きなＦ値を有する、すなわち前記開口検知用マイクロレンズよりも小さな、複数の焦点検出用マイクロレンズにより構成する第二のマイクロレンズ群３２ｂとを設ける構成とする。

これら第一のマイクロレンズ群３２ａおよび第二のマイクロレンズ群３２ｂは、例えば図２０に示すように、光を透過する平板状の板体に、撮像素子本体３１の特定の直線状の画素列に対応して、例えば画面の垂直方向についてのほぼ中央部上段に水平方向に沿って複数の等寸法で且つ等形状の開口検知用マイクロレンズからなる第一のマイクロレンズ群３２ａを、例えば直線状に配列し、画面の垂直方向についてのほぼ中央部下段に水平方向に沿って複数の等寸法で且つ等形状の合焦検出用マイクロレンズからなる第二のマイクロレンズ群３２ｂを、例えば直線状に配列して構成する。すなわち、第一のマイクロレンズ群３２ａと第二のマイクロレンズ群３２ｂは、上述した平板状の板体上に互いに平行に列をなして配列されている。
この場合も、第一のマイクロレンズ群３２ａおよび第二のマイクロレンズ群３２ｂを、それぞれ構成する各マイクロレンズは、配列方向と直交する方向を軸方向とするかまぼこ状の部分円柱レンズを水平方向に稠密に配列して極めて短寸の細長いレンティキュラーレンズのように形成される。マイクロレンズアレイ３２を構成する第一のマイクロレンズ群３２ａおよび第二のマイクロレンズ群３２ｂの各マイクロレンズは、各部分円柱レンズの軸方向については、例えば１列または数列の画素列に対応する短い寸法に形成され、配列方向については数個以上の画素に対応する寸法に形成されている。また、マイクロレンズアレイ３２の各かまぼこ状のマイクロレンズは、部分円柱状の両端面、すなわちマイクロレンズの列の図示上下面に適宜遮光を施して、各マイクロレンズに対応する画素列にマイクロレンズ部分以外からの光が入射することがないようにする。

本発明に係るこの第二の実施の形態に係るディジタルカメラにおけるＡＦ動作には、これらの平行直線状に配列された複数のマイクロレンズの列に対応する画素列を用い、撮像素子本体３１のそれ以外の画素は、本来の撮像における画像生成用に使用する。
このような構成においては、第一のマイクロレンズ群３２ａの開口検知用の複数のマイクロレンズで検知される有効開口内と有効開口外の情報と、これら開口検知用の第一のマイクロレンズ群３２ａと合焦検出用の第二のマイクロレンズ群３２ｂとの静的な関係とに基づいて、第二のマイクロレンズ群３２ｂの焦点検出用の各マイクロレンズ下の画素を選択して像の再構成を行う。
次に、本発明に係る第三の実施の形態のディジタルカメラ（撮像装置）においては、有効開口径の開口縁部が、ＡＦ処理で使用しようとする点ａおよび点ｂの射出瞳位置の近傍に達するまで、絞り−シャッタユニット２の絞りを一旦絞りこみ、それによってマイクロレンズ下の画素列で検知される有効開口内および有効開口外の情報に基づいて、点ａ像および点ｂ像の再構成用の画素を選択するようにする。このようにすれば、撮像レンズ１の交換、ズーミング、および絞り変更による開口Ｆ値の変動、ならびに撮像レンズ１とマイクロレンズアレイ３２との間の距離の変動およびばらつきのいずれにも柔軟に対応することができる。

すなわち、図２１に示すように、ＡＦ処理に先立って、絞り−シャッタユニット２の絞りを、絞りによる有効開口径の開口縁部が、ＡＦ処理で使用したい点ａおよび点ｂの射出瞳位置に、おおよそ近くなるまで、一旦絞り込む。そして、それによってマイクロレンズ下の画素列で検知される有効開口内および有効開口外の情報に基づいて、ＡＦ処理における点ａ像および点ｂ像の再構成用の画素を選択する。そして、ＡＦ動作時には、図２２に示すように、絞り−シャッタユニット２の絞りを開放してＡＦ処理を行う。
このようにして、撮像レンズ１とマイクロレンズアレイ３２の相対位置関係が変わった場合にも、あるいは温度変化等に起因して光学系の位置関係が多少変動した場合にも、点ａ像および点ｂ像等の再構成用の画素を適正に選択することが可能となる。
この第三の実施の形態に係るディジタルカメラの場合にも、メイン処理は、第一の実施の形態の場合と同様に、図１７に示したフローチャートに従って行われる。

すなわち、図１７は、ディジタルカメラにおける撮像記録時の制御を行うメイン処理を示している。操作部１３の状態の読み込みなどは、このメイン処理の起動中にメイン処理と並行して行われる並行処理によって処理される。この並行処理は、メイン処理の状態にかかわらず、例えば定期的なタイマ割り込みによって起動され処理される。ここでは、静止画を記録する場合を例にとって説明している。
撮像記録モードにおいては、操作部１３の操作によって、カメラの電源がオンとされると、カメラ内部のハードウェアの初期化や、メモリカード１１内のファイル情報を、メモリ９内に作成するなどの初期処理を行う。その後に、図１７の撮像記録のメイン処理が開始される。
メイン処理においては、まずモニタリング状態をチェックし（ステップＳ１１）、モニタリングが停止状態であれば、モニタリング開始処理を行う（ステップＳ１２）。次に、ストロボ電源部１６のメインコンデンサの充電が必要であるか否かをチェックし（ステップＳ１３）、ストロボ電源部１６の充電が必要であれば充電処理を開始する（ステップＳ１４）。ステップＳ１３において、ストロボ電源部１６の充電が必要でない場合には、何もせずに、次のステップＳ１５へ進む。

ステップＳ１２のモニタリング開始処置は、撮像素子駆動回路７による撮像素子３（撮像素子本体３１）の駆動を開始し、並行処理のモニタリング処理を起動する。初めてメイン処理に入った場合にも、上述したステップＳ１２のモニタリング開始処理が実行されることになる。
上述した並行処理におけるモニタリング処理は、カメラのスルー画像を表示している際のＡＥ（自動露出）およびＡＷＢ（自動ホワイトバランス）の追尾処理を実行させるものであり、このようにすることにより、カメラの表示装置に表示している画像を、いつも 適正な明るさ、自然な色合いに保つことができる。
以上のモニタリング処理や、先に述べた操作部１３の状態の読み込み処理の並行処理は、例えば２０ｍｓ毎の定期タイマ割り込みで実行される。
メイン処理におけるステップＳ１１においてモニタリング状態がオンであると判定された場合、ステップＳ１３において充電が不要であると判定された場合、そしてステップＳ１４で充電が開始された場合には、操作部１３のスイッチ等の操作状態を判定する操作判定処理が行われる（ステップＳ１５）。
メイン処理のステップＳ１５の操作判定処理は、上述した定期タイマ割り込み処理で、入力されるスイッチ等の操作情報を確定して、操作されたスイッチ等に対応する処理を行う。
ステップＳ１５において、有効な操作情報が検知されなければ、何もせずにステップＳ１１に戻り、再びステップＳ１５の操作判定処理に戻るループを繰り返す。

図１７における操作情報に応じたメイン処理動作を、図１を参照しながら説明する。図１に示す構成において、操作部１３には、シャッタのレリーズ操作を行うためのシャッタボタンも含まれている。
静止画の撮像時は、シャッタボタンの半押し、つまり第１段を押下したときに作動する第一スイッチがオンとなると、モニタリングを停止して（ステップＳ１６）、ＡＥ処理を行う（ステップＳ１７）。ステップＳ１７のＡＥ処理においては、撮像データをＤＳＰ部５で評価し、撮影露出時に対応して撮像素子駆動回路７に設定する撮像素子の露光時間値および撮像素子３の増幅率を決定する。
次にＡＦ処理を行う（ステップＳ１８）。この場合には、本発明に係る第三の実施の形態におけるＡＦ方式に従って、絞りを一旦ＡＦ用絞り開口程度に絞り込んでＡＦ操作を行う。このとき、所望に応じて一般的な山登り方式等による他のＡＦ操作と組み合わせるようにしてもよい。
このステップＳ１８におけるＡＦ処理の一例の詳細を図２３および図２４を参照して説明する。図２３は、ＡＦ処理を詳細に示すフローチャートであり、図２４は、各状態における絞りの変化を模式的に示す図である。

ステップＳ１８に先立つステップＳ１７のＡＥ処理において、撮影用露出値が、Ｅｖｏ（＝Ａｖｏ＋Ｔｖｏ）に決定されたものとする。このとき、図２４に示すように、絞り−シャッタユニット２の絞りは、絞り値Ａｖｏに設定され、シャッタ速度値Ｔｖｏでスルー表示が行われている。
第一スイッチのみがオンとなっている状態でのＡＦ処理においては、ＣＰＵ８は、絞り−シャッタユニット２の絞りを駆動して絞り込み、図２４に示すＡＦ用絞り値Ａｖａｆに設定する（ステップＳ３１。図２３、図２４において※１）。しかしながら、このとき、ＡＥに基づく絞り値ＡｖｏからＡＦ用絞り値Ａｖａｆに変更するので、スルー表示において、明るさが変化しないように、シャッタ速度のＴｖ値Ｔｖａｆを、
Ｔｖａｆ＝Ｔｖｏ＋Ａｖｏ−Ａｖａｆ
なる値に変更する（ステップＳ３２）。そして、撮像データを取り込み（ステップＳ３３）、マイクロレンズ下の画素列からＡＦ用開口内外のエリアを検出する開口内外判定を行い、そのエリアから点ａ像および点ｂ像、ならびに（所望により）点ｃ像を再構成する画素位置を決定しておく（ステップＳ３４）。

次に、絞りを、ＡＦ用の絞り開口に駆動する（ステップＳ３５。図２３、図２４において※２）。この場合、ＡＦ用絞り値Ａｖａｆからの光を受光するので、絞り値Ａｖａｆより小さなＡｖ値にする（例えば図２４に示すように、絞りを開放とする）必要がある。
ステップＳ３５においては、一般的に絞りを開放にすればよい。しかしながら、この場合、ＡＥ時で測定した適正な露出量になるように、シャッタ速度ＴｖをＴｖｏ＋Ａｖｏ−Ａｖ開放＝Ｔｖにセットする（ステップＳ３６）。この状態で、ＡＦ用撮像を行い、各画素から出力される画素データを取り込む（ステップＳ３７）。
ステップＳ３７で取り込んだ画素データから、点ａ像および点ｂ像、ならびに（所望する場合には）点ｃ像、を再構成する画素データを抽出して各点に対応するプロファイル像の再構成を行う（ステップＳ３８）。これら点ａ像および点ｂ像から評価ウインドウで、一致度の高い像部分を検索し、像ずれの方向および量に基づいて、ピントずれの方向および量を計算する（ステップＳ３９）。ステップＳ３９で点ａ像と点ｂ像における像の一致が検知されて、像ずれの方向および量が求められたか否かを判定し（ステップＳ４０）、像ずれの方向および量が求められた場合に、ＡＦ結果がＯＫ（オーケー〜成功）であるとする。もしも、点ａ像と点ｂ像において像の一致がなく、像ずれの方向および量が求められない場合には、ＡＦ結果はＮＧ（エヌジー〜不良）とする。

ステップＳ４０において、ＡＦ結果がＯＫと判定された場合には、フォーカス駆動して（ステップＳ４１）、ＬＣＤモニタ等の表示部１２に図示していないが、例えば緑色のＡＦ枠によりＡＦ結果がＯＫであったことを表示する（ステップＳ４２）。また、ステップＳ４０において、ＡＦ結果がＮＧと判定された場合には、ＬＣＤモニタ等の表示部１２に、ＡＦ結果がＮＧであったことを表示する（ステップＳ４３）。以上のＡＦ操作が終わったら、図２４に示すように、露出パラメータを、図１７のステップ１７のＡＥ処理で決定した絞り値Ａｖｏおよびシャッタ速度値Ｔｖｏに戻し（ステップＳ４４。図２３、図２４において※３）、ＡＦ処理を終了する。
すなわち、図２３に示すＡＦ処理は、次のように行われる。ＣＰＵ８は、まず、一旦、メカニカルドライバ部６を介して絞り−シャッタユニット２を駆動し、絞りを所定の絞り値に絞り込み、撮像素子駆動回路７を介して撮像素子３（撮像素子本体３１）を駆動して、マイクロレンズアレイ３２の各マイクロレンズにより覆われる画素列から各画素が有効開口内に対応しているか、有効開口外に対応しているかを判定し、その判定結果に基づいて合焦検知用の少なくとも２つの異なる所定の射出瞳位置に対応する画素を選択し、絞りを開いて、それらの出力を各マイクロレンズ毎に取り出して、像を再構成し、各射出瞳位置に対応する像を形成する。そして、これらの像の位置ずれを判別し、合焦状態／ピントずれ状態を判定する。このようにして判定される合焦情報／ピントずれ情報に基づいて、ピントずれの方向とは逆に撮像レンズ１のフォーカス位置を移動するなどして、合焦状態が得られるまで制御して、ピントのあった状態として絞りを戻す。これらの絞り操作に対応させてシャッタ速度値を適宜修正する。

そして、図１７のフローチャートに戻り、第一スイッチがオンとなっている状態で、シャッタボタンを全押し、つまり第２段を押下したときに作動する第二スイッチがオンとなると、モニタリングを停止して（ステップＳ１９）、静止画記録処理を行う（ステップＳ２０）。ステップＳ２０の静止画記録処理においては、撮像データをメモリ部９に取り込み、ＤＳＰ部５において、輝度および色差信号に変換するなどの所要の映像信号処理、またはＪＰＥＧ圧縮処理等の処理を行い、そのような処理が施された画像データをファイルとしてメモリカード１１に書き込む。その後、処理は、ステップＳ１１に戻る。
なお、操作部１３において、その他の操作が行われ、それがステップＳ１５において検出判定されたときは、当該操作に対応する処理が行われて（ステップＳ２１）、ステップＳ１１に戻る。
また、スルー表示中や第二スイッチがオンとなることによる静止画記録においては、ＡＦ用の光学系であるマイクロレンズに覆われたもの以外の画素が、静止画生成に使用される。この実施の形態においては、撮像素子本体３１の１ラインの画素列をＡＦ用に使用するものとして説明しているが、このライン部分については、上下周辺ラインから補間演算によって求めたデータを用いればよい。
なお、ＡＦ用のマイクロレンズ列によって覆われる画素はＲ（赤）、Ｇ（緑）およびＢ（青）などの色フィルタのないものがよい。ＡＦ用の像の再構成に際し、異なった色フィルタの画素が並ぶと、像の一致検出が困難となるためである。しかしながら、汎用撮像素子は、多くの場合ベイヤ配列等の配列パターンで既に色フィルタが設けられているものが多い。

そのような場合には、色による影響を受けないようにするために、同一色の画素データ、または同一の組み合わせの複数色の画素データを用いるようにする。すなわち、このようなカラー撮像素子において、マイクロレンズを通した画素データを抽出して点ａ像や点ｂ像を再構成する場合には、同一色の画素データを抽出する必要がある。
このため、複数の色情報が分布配置される通常のカラー撮像素子をそのまま使う場合には、特定の色情報の画素データを抽出することになり、全画素数をＡＦ用に利用することができず、高い分解能が得られない。このような場合には、ＡＦ用のマイクロレンズアレイ４の各マイクロレンズに対応する画素については、色フィルタを除去するなどして、モノクローム化すれば、全画素を抽出対象とすることができるため、高い分解能が得られる。
あるいは、Ｒ、ＢおよびＧの画素が、いわゆるベイヤ配列で分布されたカラー撮像素子において、ＡＦ用のマイクロレンズアレイ３２の各マイクロレンズで、カラー撮像素子の１段（１列）分の画素列を覆う場合には、図２５に示すように、例えばＲ＋Ｇの画素データを単位としてＡＦのための抽出対象とし、像再構成を行うようにしてもよい。

また、図２６に示すように、Ｒ（赤）、Ｇ（緑）およびＢ（青）の画素が、いわゆるベイヤ配列で分布されたカラー撮像素子において、ＡＦ用のマイクロレンズアレイ４の各マイクロレンズで、カラー撮像素子の２段（２列）分の画素列を覆い、例えば上下２段のＧの画素データをＡＦのための抽出対象とすることによって、像再構成の分解能を確保するようにしてもよい。
上述した、本発明に係る撮像装置および撮像方法で用いている合焦情報取得装置および合焦情報取得方法は、上述した撮像装置および撮像方法に限らず、２次元撮像素子を用いて撮像を行うものであれば、どのようなシステムにおいても、合焦情報を取得するために用いることができる。

本発明の第一の実施の形態に係る合焦制御方式が適用される撮像装置としてのディジタルカメラの要部の構成を模式的に示すブロック図である。 図１の撮像装置に用いられる撮像レンズの具体的な構成の一例を模式的に示す断面図である。 図１の撮像装置に用いられるマイクロレンズアレイの具体的な形状および撮像素子の受光面に対する配置構成の一例を模式的に示す斜視図である。 図１の撮像装置の合焦制御の原理を説明するためにその要部の構成を模式的に示す斜視図である。 図１の撮像装置に用いられるマイクロレンズアレイの各マイクロレンズの仕様の一例を説明するための模式図である。 図１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理を説明するために、撮像レンズ、各マイクロレンズおよび各マイクロレンズに対応する画素の関係を説明するための模式図である。 図１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理をさらに詳細に説明するために、被写界、撮像レンズ、各マイクロレンズおよび各マイクロレンズに対応する画素の関係を、合焦時の、被写界におけるＸ点、Ｙ点およびＺ点から撮像レンズ内の点ａ、点ｂおよび点ｃを通る光、ならびに点ａ像、点ｂ像および点ｃ像について説明するための模式図である。 図１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理をさらに詳細に説明するために、撮像レンズ、各マイクロレンズおよび各マイクロレンズに対応する画素の関係を、前ピン時の被写界におけるＸ点、Ｙ点およびＺ点から撮像レンズ内の点ａ、点ｂおよび点ｃを通る光、ならびに点ａ像、点ｂ像および点ｃ像について説明するための模式図である。 図１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理をさらに詳細に説明するために、撮像レンズ、各マイクロレンズおよび各マイクロレンズに対応する画素の関係を、後ピン時の被写界におけるＸ点、Ｙ点およびＺ点から撮像レンズ内の点ａ、点ｂおよび点ｃを通る光、ならびに点ａ像、点ｂ像および点ｃ像について説明するための模式図である。 図１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理を詳細に説明するために、被写界、撮像レンズ、各マイクロレンズおよび各マイクロレンズに対応する画素の関係を、被写界の中央部近傍の点から撮像レンズ内の点ａ、点ｂおよび点ｃを通る光、ならびに点ａ像、点ｂ像および点ｃ像について説明するための模式図であり、（ａ）これらの幾何学的位置関係を模式的に示す図、（ｂ）ニア（Ｎｅａｒ）被写界点に対する点ａ像、点ｂ像および点ｃ像の位置関係を示す図、（ｃ）合焦被写界点に対する点ａ像、点ｂ像および点ｃ像の位置関係を示す図、（ｄ）ファー（Ｆａｒ）ニア被写界点に対する点ａ像、点ｂ像および点ｃ像の位置関係を示す図、である。 図１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理を詳細に説明するために、被写界、撮像レンズ、各マイクロレンズおよび各マイクロレンズに対応する画素の関係を、被写界の左方寄りの点から撮像レンズ内の点ａ、点ｂおよび点ｃを通る光、ならびに点ａ像、点ｂ像および点ｃ像について説明するための模式図であり、（ａ）これらの幾何学的位置関係を模式的に示す図、（ｂ）ニア（Ｎｅａｒ）被写界点に対する点ａ像、点ｂ像および点ｃ像の位置関係を示す図、（ｃ）合焦被写界点に対する点ａ像、点ｂ像および点ｃ像の位置関係を示す図、（ｄ）ファー（Ｆａｒ）ニア被写界点に対する点ａ像、点ｂ像および点ｃ像の位置関係を示す図、である。 図１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理を説明するために、撮像レンズ、各マイクロレンズおよび各マイクロレンズに対応する画素の関係を、撮像レンズの位置が移動した場合について説明するための模式図である。 図１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理、特に本発明の第一の実施の形態について一層詳細に説明するために、撮像レンズ、各マイクロレンズおよび各マイクロレンズに対応する画素の関係における撮像レンズの有効開口内外の判定について説明するための模式図である。 図１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理、特に図１３に示した本発明の第一の実施の形態について一層詳細に説明するために、撮像レンズ、各マイクロレンズおよび各マイクロレンズに対応する画素の関係における撮像レンズが図１３の場合よりもマイクロレンズから離れた場合における有効開口内外の判定について説明するための模式図である。 図１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理、特に本発明の第一の実施の形態についてさらに一層詳細に説明するために、撮像レンズと各マイクロレンズのＦ値および各マイクロレンズに対応する画素の関係における撮像レンズの有効開口内外の判定について説明するための模式図である。 図１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理、特に本発明の第一の実施の形態についてさらに一層詳細に説明するために、撮像レンズと各マイクロレンズのＦ値および各マイクロレンズに対応する画素の関係における撮像レンズの有効開口内外の判定について説明するための模式図である。 図１のディジタルカメラにおける撮像記録処理動作を説明するための模式的なフローチャートである。 図１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理、特に本発明の第二の実施の形態についての合焦原理を説明するための第一のマイクロレンズ群を示す模式図である。 図１８の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理、特に本発明の第二の実施の形態についての合焦原理を説明するための第二のマイクロレンズ群を示す模式図である。 図１８の撮像装置に用いられるマイクロレンズアレイの具体的な形状および撮像素子の受光面に対する配置構成の一例を模式的に示す斜視図である。 図１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理、特に本発明の第三の実施の形態についての合焦原理を説明するための模式図である。 図２１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理、特に本発明の第三の実施の形態についての合焦原理を説明するための模式図である。 図２１のディジタルカメラの撮像記録処理動作におけるＡＦ処理を具体的に説明するための模式的なフローチャートである。 図２１のディジタルカメラの撮像記録処理動作におけるＡＦ処理を具体的に説明するための絞りの動作を説明するための模式図である。 図１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理を詳細に説明するために、マイクロレンズと、マイクロレンズに対応する画素との関係の一例を説明するための模式図である。 図１の撮像装置におけるマイクロレンズアレイを用いた合焦制御方式の原理を詳細に説明するために、マイクロレンズと、マイクロレンズに対応する画素との関係の他の例を説明するための模式図である。

符号の説明

１ 撮像レンズ（撮像光学系）
２ 絞り−シャッタユニット
３ マイクロレンズアレイ付き撮像素子
３１ 撮像素子本体
３２ マイクロレンズアレイ
３２ａ 第一のマイクロレンズ群
３２ｂ 第二のマイクロレンズ群
４ ＣＤＳ（相関二重サンプリング）−ＡＤ（Ａ／Ｄ変換）部
５ ＤＳＰ（ディジタル信号処理）部
６ メカニカルドライバ部
７ 撮像素子駆動回路
８ ＣＰＵ（中央処理部）
９ メモリ部
１０ 通信ドライバ
１１ メモリカード
１２ 表示部
１３ 操作部
１４ ＡＦ（自動合焦制御）処理部
１５ ストロボ発光部
１６ ストロボ電源部
１７ ストロボ受光部
Ｇ１ 第１レンズ群
Ｇ２ 第２レンズ群
Ｇ３ 第３レンズ群
Ｇ４ 第４レンズ群
ＭＬα，ＭＬβ，Ｍ１〜Ｍｘ マイクロレンズ
ｆｍ 撮像レンズとマイクロレンズアレイとの間の距離
Ｎａ１〜Ｎａｘ，Ｎｂ１〜Ｎｂｘ，Ｎｃ１〜Ｎｃｘ 撮像素子の画素

Claims (40)

1. それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
   被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
   前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
   を具備し、
   前記マイクロレンズアレイの各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く撮像装置であって、
   前記各マイクロレンズに覆われた画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定手段と、
   前記受光状態判定手段により前記撮像光学系からの光を受光していると判定された画素のうち、所定の射出瞳位置に対応する画素を前記各マイクロレンズ毎に選択する画素選択手段と、
   前記画素選択手段により選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得手段と、
   前記撮像素子の前記複数のマイクロレンズにより覆われていない画素の出力を用いて、被写界画像を生成する画像生成手段と、
   を備え、
   前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることを特徴とする撮像装置。
2. 前記画素選択手段は、異なる複数の射出瞳位置に対応する画素を前記マイクロレンズアレイのマイクロレンズ毎に選択する手段であり、且つ
   前記合焦情報取得手段は、前記画素選択手段により選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得る手段である
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
   前記マイクロレンズアレイの各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記絞り手段を、所定の開口径に絞り込む絞り制御手段を備え、且つ
   前記受光状態判定手段は、前記絞り制御手段により前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定する手段である
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つ前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
   ことを特徴とする請求項１〜請求項４のいずれか１項に記載の撮像装置。
6. それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
   被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
   前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
   を具備し、
   前記マイクロレンズアレイの各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く
   撮像装置であって、
   前記マイクロレンズアレイは、第一のマイクロレンズ群と第二のマイクロレンズ群とを含み、前記第一のマイクロレンズ群の各マイクロレンズは、それぞれに覆われる複数の画素のうちの一部の画素のみが前記撮像光学系からの光に対応する第一のマイクロレンズで構成され、前記第二のマイクロレンズ群の各マイクロレンズは、前記第一のマイクロレンズとは異なり、それぞれ前記第一のマイクロレンズが覆う画素よりも少ない画素を覆い、所定の画素に前記撮像光学系からの光を導く第二のマイクロレンズで構成され、且つ
   前記第一のマイクロレンズ群の各マイクロレンズに覆われた画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定手段と、
   前記受光状態判定手段の判定結果に基づき、前記第二のマイクロレンズ群の各マイクロレンズに覆われた画素のうち、所定の射出瞳位置に対応する画素を、前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する画素選択手段と、
   前記画素選択手段により選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得手段と、
   前記撮像素子の前記複数のマイクロレンズにより覆われていない画素の出力を用いて、被写界画像を生成する画像生成手段と、
   を備え、
   前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることを特徴とする撮像装置。
7. 前記画素選択手段は、異なる複数の射出瞳位置に対応する画素を前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する手段であり、且つ
   前記合焦情報取得手段は、前記画素選択手段により選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得る手段である
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
   前記第一のマイクロレンズ群の各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
   ことを特徴とする請求項６または請求項７に記載の撮像装置。
9. 前記絞り手段を、所定の開口径に絞り込む絞り制御手段を備え、且つ
   前記受光状態判定手段は、前記絞り制御手段により前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定する手段である
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記第一のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っており、
    前記第二のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
    ことを特徴とする請求項６〜請求項９のいずれか１項に記載の撮像装置。
11. それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
    被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
    前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
    を具備し、
    前記マイクロレンズアレイの各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く撮像装置における合焦情報取得装置であって、
    前記各マイクロレンズに覆われた画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定手段と、
    前記受光状態判定手段により前記撮像光学系からの光を受光していると判定された画素のうち、所定の射出瞳位置に対応する画素を前記各マイクロレンズ毎に選択する画素選択手段と、
    前記画素選択手段により選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得手段と、
    を備えることを特徴とする合焦情報取得装置。
12. 前記画素選択手段は、異なる複数の射出瞳位置に対応する画素を前記マイクロレンズアレイのマイクロレンズ毎に選択する手段であり、且つ
    前記合焦情報取得手段は、前記画素選択手段により選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得る手段である
    ことを特徴とする請求項１１に記載の合焦情報取得装置。
13. 前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
    前記マイクロレンズアレイの各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
    ことを特徴とする請求項１１または請求項１２に記載の合焦情報取得装置。
14. 前記絞り手段を、所定の開口径に絞り込む絞り制御手段を備え、且つ
    前記受光状態判定手段は、前記絞り制御手段により前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定する手段である
    ことを特徴とする請求項１３に記載の合焦情報取得装置。
15. 前記複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つ前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
    ことを特徴とする請求項１１〜請求項１４のいずれか１項に記載の合焦情報取得装置。
16. それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
    被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
    前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
    を具備し、
    前記マイクロレンズアレイの各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く
    撮像装置における合焦情報取得装置であって、
    前記マイクロレンズアレイは、第一のマイクロレンズ群と第二のマイクロレンズ群とを含み、前記第一のマイクロレンズ群の各マイクロレンズは、それぞれに覆われる複数の画素のうちの一部の画素のみが前記撮像光学系からの光に対応する第一のマイクロレンズで構成され、前記第二のマイクロレンズ群の各マイクロレンズは、前記第一のマイクロレンズとは異なり、それぞれ前記第一のマイクロレンズが覆う画素よりも少ない画素を覆い、所定の画素に前記撮像光学系からの光を導く第二のマイクロレンズで構成され、且つ
    前記第一のマイクロレンズ群の各マイクロレンズに覆われた画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定手段と、
    前記受光状態判定手段の判定結果に基づき、前記第二のマイクロレンズ群の各マイクロレンズに覆われた画素のうち、所定の射出瞳位置に対応する画素を、前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する画素選択手段と、
    前記画素選択手段により選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得手段と、
    を備えることを特徴とする合焦情報取得装置。
17. 前記画素選択手段は、異なる複数の射出瞳位置に対応する画素を前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する手段であり、且つ
    前記合焦情報取得手段は、前記画素選択手段により選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得る手段である
    ことを特徴とする請求項１６に記載の合焦情報取得装置。
18. 前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
    前記第一のマイクロレンズ群の各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
    ことを特徴とする請求項１６または請求項１７に記載の合焦情報取得装置。
19. 前記絞り手段を、所定の開口径に絞り込む絞り制御手段を備え、且つ
    前記受光状態判定手段は、前記絞り制御手段により前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定する手段である
    ことを特徴とする請求項１８に記載の合焦情報取得装置。
20. 前記第一のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っており、
    前記第二のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
    ことを特徴とする請求項１６〜請求項１９のいずれか１項に記載の合焦情報取得装置。
21. それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
    被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
    前記撮像素子の画素の出力を用いて、被写界画像を生成する画像生成手段と、
    を具備する撮像装置における撮像方法において、
    前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイを備え、各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くよう構成し、且つ
    前記マイクロレンズアレイの各マイクロレンズに覆われた前記複数の画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定ステップと、
    前記受光状態判定ステップにより前記撮像光学系からの光を受光していると判定された画素のうち、所定の射出瞳位置に対応する画素を前記各マイクロレンズ毎に選択する画素選択ステップと、
    前記画素選択ステップにより選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得ステップと、
    前記撮像素子の前記複数のマイクロレンズにより覆われていない画素の出力を用いて、被写界画像を生成する画像生成ステップと、
    を有し、
    前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることを特徴とする撮像方法。
22. 前記画素選択ステップは、異なる複数の射出瞳位置に対応する画素を前記マイクロレンズアレイのマイクロレンズ毎に選択するステップであり、且つ
    前記合焦情報取得ステップは、前記画素選択ステップにより選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得るステップである
    ことを特徴とする請求項２１に記載の撮像方法。
23. 前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
    前記マイクロレンズアレイの各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
    ことを特徴とする請求項２１または請求項２２に記載の撮像方法。
24. 前記受光状態判定ステップの前に、前記絞り手段を、所定の開口径に絞り込む絞り制御ステップを有し、且つ
    前記受光状態判定ステップは、前記絞り制御ステップにより前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定するステップである
    ことを特徴とする請求項２３に記載の撮像方法。
25. 前記複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つ前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
    ことを特徴とする請求項２１〜請求項２４のいずれか１項に記載の撮像方法。
26. それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
    被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
    前記撮像素子の画素の出力を用いて、被写界画像を生成する画像生成手段と、
    を具備する撮像装置における撮像方法において、
    前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイを備え、各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くとともに、
    前記マイクロレンズアレイは、第一のマイクロレンズ群と第二のマイクロレンズ群とを含み、前記第一のマイクロレンズ群の各マイクロレンズは、それぞれに覆われる複数の画素のうちの一部の画素のみが前記撮像光学系からの光に対応する第一のマイクロレンズで構成され、前記第二のマイクロレンズ群の各マイクロレンズは、前記第一のマイクロレンズとは異なり、それぞれ前記第一のマイクロレンズが覆う画素よりも少ない画素を覆い、所定の画素に前記撮像光学系からの光を導く第二のマイクロレンズで構成され、且つ
    前記第一のマイクロレンズ群の各マイクロレンズに覆われた前記複数の画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定ステップと、
    前記受光状態判定ステップによる判定結果に基づき、前記第二のマイクロレンズ群の各マイクロレンズに覆われた画素のうち、所定の射出瞳位置に対応する画素を、前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する画素選択ステップと、
    前記画素選択ステップにより選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得ステップと、
    前記撮像素子の前記複数のマイクロレンズにより覆われていない画素の出力を用いて、被写界画像を生成する画像生成ステップと、
    を有し、
    前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることを特徴とする撮像方法。
27. 前記画素選択ステップは、異なる複数の射出瞳位置に対応する画素を前記第二のマイクロレンズ群の各マイクロレンズ毎に選択するステップであり、且つ
    前記合焦情報取得ステップは、前記画素選択ステップにより選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得るステップである
    ことを特徴とする請求項２６に記載の撮像方法。
28. 前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
    前記第一のマイクロレンズ群の各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
    ことを特徴とする請求項２６または請求項２７に記載の撮像方法。
29. 前記受光状態判定ステップの前に、前記絞り手段を、所定の開口径に絞り込む絞り制御ステップを有し、且つ
    前記受光状態判定ステップは、前記絞り制御ステップにより前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定するステップである
    ことを特徴とする請求項２８に記載の撮像方法。
30. 前記第一のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っており、
    前記第二のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
    ことを特徴とする請求項２６〜請求項２９のいずれか１項に記載の撮像方法。
31. それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
    被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
    を具備する撮像装置における合焦情報を得るための合焦情報取得方法において、
    前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイを備え、各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くよう構成し、且つ
    前記マイクロレンズアレイの各マイクロレンズに覆われた前記複数の画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定ステップと、
    前記受光状態判定ステップにより前記撮像光学系からの光を受光していると判定された画素のうち、所定の射出瞳位置に対応する画素を前記各マイクロレンズ毎に選択する画素選択ステップと、
    前記画素選択ステップにより選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得ステップと、
    を有することを特徴とする合焦情報取得方法。
32. 前記画素選択ステップは、異なる複数の射出瞳位置に対応する画素を前記マイクロレンズアレイのマイクロレンズ毎に選択するステップであり、且つ
    前記合焦情報取得ステップは、前記画素選択ステップにより選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得るステップである
    ことを特徴とする請求項３１に記載の合焦情報取得方法。
33. 前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
    前記マイクロレンズアレイの各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
    ことを特徴とする請求項３１または請求項３２に記載の合焦情報取得方法。
34. 前記受光状態判定ステップの前に、前記絞り手段を、所定の開口径に絞り込む絞り制御ステップを有し、且つ
    前記受光状態判定ステップは、前記絞り制御ステップにより前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定するステップである
    ことを特徴とする請求項３３に記載の合焦情報取得方法。
35. 前記複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つ前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
    ことを特徴とする請求項３１〜請求項３４のいずれか１項に記載の合焦情報取得方法。
36. それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
    被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
    を具備する撮像装置における合焦情報を得るための合焦情報取得方法において、
    前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の領域のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイを備え、各マイクロレンズは、それぞれ、前記一部の領域内の複数の画素を覆い、これら複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くとともに、
    前記マイクロレンズアレイは、第一のマイクロレンズ群と第二のマイクロレンズ群とを含み、前記第一のマイクロレンズ群の各マイクロレンズは、それぞれに覆われる複数の画素のうちの一部の画素のみが前記撮像光学系からの光に対応する第一のマイクロレンズで構成され、前記第二のマイクロレンズ群の各マイクロレンズは、前記第一のマイクロレンズとは異なり、それぞれ前記第一のマイクロレンズが覆う画素よりも少ない画素を覆い、所定の画素に前記撮像光学系からの光を導く第二のマイクロレンズで構成され、且つ
    前記第一のマイクロレンズ群の各マイクロレンズに覆われた前記複数の画素が、それぞれ、前記撮像光学系からの光を受光しているか否かを判定する受光状態判定ステップと、
    前記受光状態判定ステップによる判定結果に基づき、前記第二のマイクロレンズ群の各マイクロレンズに覆われた画素のうち、所定の射出瞳位置に対応する画素を、前記第二のマイクロレンズ群の各マイクロレンズ毎に選択する画素選択ステップと、
    前記画素選択ステップにより選択された画素の出力を用いて、前記被写界像の合焦情報を得る合焦情報取得ステップと、
    を有することを特徴とする合焦情報取得方法。
37. 前記画素選択ステップは、異なる複数の射出瞳位置に対応する画素を前記第二のマイクロレンズ群の各マイクロレンズ毎に選択するステップであり、且つ
    前記合焦情報取得ステップは、前記画素選択ステップにより選択された画素の出力のうち、第一の射出瞳位置に対応する画素の出力と、第二の射出瞳位置に対応する画素の出力との比較に基づいて、前記被写界像の合焦情報を得るステップである
    ことを特徴とする請求項３６に記載の合焦情報取得方法。
38. 前記撮像装置は、前記撮像光学系の開口径を制限して通過光量を制御する絞り手段を有し、且つ
    前記第一のマイクロレンズ群の各マイクロレンズは、前記撮像光学系および前記絞り手段により形成される開口径に対応する一部の画素のみに、前記撮像光学系からの光を導く
    ことを特徴とする請求項３６または請求項３７に記載の合焦情報取得方法。
39. 前記受光状態判定ステップの前に、前記絞り手段を、所定の開口径に絞り込む絞り制御ステップを有し、且つ
    前記受光状態判定ステップは、前記絞り制御ステップにより前記所定の開口径まで前記絞り手段を絞り込んだ状態で、受光状態を判定するステップである
    ことを特徴とする請求項３８に記載の合焦情報取得方法。
40. 前記第一のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っており、
    前記第二のマイクロレンズ群の複数のマイクロレンズは、前記撮像素子の受光部の受光面上に一次元的に配列され、且つこれら一次元的に配列された前記各マイクロレンズは、連接する複数の画素を排他的に覆っている
    ことを特徴とする請求項３６〜請求項３９のいずれか１項に記載の合焦情報取得方法。

Images